230912 대규모 확장 시 발생할 문제를 고려한 인프라 구성도 회의

[Cyma-s]

안건

• 인프라 개선하기
  • 10시 반 ~ 12시간 반 ⇒ 2시간
  • 팀의 현재 아키텍처를 개선해봅시다.
    • 가용성, 성능, 규모 확장성 측면에서 접근
    • SPOF를 식별하고 제거하기
  • 가정
    • 로드밸런서는 연결된 서버의 IP 주소를 모두 알고 있고, 동적으로 관리할 수 있음
  • 팀에서 논의한 내용을 [디스커션](https://github.com/woowacourse/infra-architecture-4/discussions/5)에 올려주세요.
    • 개선한 인프라 아키텍처
    • 인프라 아키텍처를 변경하면서 고민한 부분
      1. 우리 서비스에서 특별히 고려해야 할 중요한 기능
      2. 현재 아키텍처에서 문제가 될 수 있다고 생각한 부분
      3. 2번의 문제를 해결하기 위해 적용한 방법
      4. 개선한 인프라 아키텍처에서 발생할 수 있을 것으로 예상되는 문제
      5. 4번에서 서술한 문제에 대한 해결 방안 아이디어
• 공부해 올 내용
  • 해당 아키텍처의 SPOF 제거하는 방법 생각해오기
    • nginx
    • spring
    • MySQL
    • Github runner
    • AWS AZ
  • 인프라 아키텍처를 변경 하면서 고민한 부분

[seokhwan-an]

우리 서비스에서 SPOF가 발생할 수 있는 지점에 대해서 생각해보기

1. 우리 서비스에서 특별히 고려해야 할 중요한 기능

• 노래 목록을 “좋아요” 순으로 조회하는 기능에서 복잡한 DB 쿼리가 발생하기 때문에 다중 사용자 요청이 초당 3개 요청까지만 처리되는 문제가 있습니다.
• 서비스 특성상 데이터 조회가 자주 발생한다. 한 페이지 내에서 여러번 요청을 보내는 것이 많아서 초 요청 건수가 많아질 수 있다.
• 현재 서비스에서 “좋아요”는 노래를 정렬하는 큰 역할을 하고 있는데 스프링 서버가 이중화가 되는 경우 “좋아요” 데이터의 정합성이 떨어지는 상황이 발생할 것 같습니다.

2. 현재 아키텍처에서 문제가 될 수 있다고 생각한 부분

• Github Runner의 장애
  • Runner의 메모리 사용량 증가로 인해 WAS 서버에 영향을 미칠 수 있습니다.
• Nginx 장애
  • nginx 장애가 발생하면 WAS 서버의 영향을 미칠 수 있습니다.
  • nginx 장애가 발생하면 요청 자체가 WAS로 전달되지 못합니다.
• WAS 장애
  • 초당 요청이 증가하면 요청 병목이 발생할 수 있습니다.
  • 하나의 WAS에서 스레드와 커넥션 수를 늘린다고 해도 한계가 있습니다. 따라서 다중 요청시 모든 사용자를 수용하기에 어려움이 있습니다.
• DB 장애
  • 데이터를 불러오지 못해 사용자는 원하는 정보를 얻을 수 있습니다.
• AWS AZ 문제
  • WAS 서버와 DB 서버 간의 AZ 불일치

3. 2번의 문제를 해결하기 위해 적용한 방법

• Github runner
  • 현재 WAS와 인스턴스를 공유하던 것을 독립 인스턴스로 옮깁니다.
  • 하나의 Runner는 SPOF가 될 수 있으므로 이중화 작업을 합니다.
• Nginx
  • 현재 WAS와 인스턴스를 공유하던 것을 독립 인스턴스로 옮깁니다.
  • 하나의 nginx는 SPOF가 될 수 있으므로 이중화 작업을 합니다.
• WAS
  • 하나의 nginx는 SPOF가 될 수 있으므로 이중화 작업을 합니다.
  • 로드밸런서를 통해 요청을 분산합니다.
  • 장애가 발생한 WAS가 존재하면 다른 WAS로 요청을 전달합니다.
• DB
  • 하나의 DB는 SPOF가 될 수 있으므로 이중화 작업을 합니다.

4. 개선한 인프라 아키텍처에서 발생할 수 있을 것으로 예상되는 문제

• 여러 인스턴스 사용으로 인한 운영비용이 많이 발생합니다.
• 로드밸런서가 SPOF가 될 수 있습니다.
• “좋아요” 데이터의 정합성이 안맞는 문제가 발생할 수 있습니다.
• 모든 인스턴스의 AZ를 같게 설정하면 AZ 장애가 발생시 이중화한 것이 의미가 없습니다.

5. 4번에서 서술한 문제에 대한 해결 방안 아이디어

• 로드밸런서를 이중화 합니다.
• update + 1 쿼리를 더티 체킹 대신에 사용합니다.
• 이중화한 인스턴스를 각각 다른 AZ로 설정합니다.

[somsom13]

woowacourse/infra-architecture-4#5 (comment)