2장. 개략적인 규모 측정

 

시스템 설계 면접을 볼 때, 시스템 용량이나 성능 요구사항을 개략적으로 추정해 보라는 요구를 받게 된다.

 

구글의 시니어 펠로 제프 딘에 따르면 "개략적인 규모 추정은 보편적으로 통용되는 성능 수치상에서 사고 실험을 행하여 추정치를 계산하는 행위로서, 어떤 설계가 요구사항에 부합할 것인지 보기 위한 것"이다.

 

개략적 규모 추정을 하려면 규모 확장성을 표현하는데 필요한 기본기가 능숙해야 한다.

2의 제곱수나 응답지연(latency) 값, 그리고 가용성에 관련된 수치.

 

2의 제곱수

제대로된 계산 결과를 얻으려면 데이터 볼륨의 단위를 2의 제곱수로 표현하면 어떻게 되는지 알아야 한다.

 

최소 단위는 1바이트이고, 8비트로 구성된다.

아스키 문자 하나가 차지하는 메모리 크기가 1바이트이다.

 

2의 x 제곱	근사치	이름	축약형
10	1천	1킬로바이트	1KB
20	1백만	1메가바이트	1MB
30	10억	1기가바이트	1GB
40	1조	1테라바이트	1TB
50	1000조	1페타바이트	1PB

 

 

모픈 프로그래머가 알아야 하는 응답지연 값

구글의 제프 딘은 2010년에 통상적인 컴퓨터에서 구현된 연산들의 응답지연 값을 공개했다.

아직도 이 수치들은 컴퓨터 연산들의 처리 속도가 어느 정도인지 짐작할 수 있도록 해준다.

 

• 메모리는 빠르지만 디스크는 아직도 느리다
• 디스크 탐색(seek)은 가능한 피하자
• 단순한 압축 알고리즘은 빠르다.
• 데이터를 인터넷으로 전송하기 전에 가능하면 압축하라.
• 데이터 센터는 여러 지역에 분산되어 있고, 센터들 간에 데이터를 주고받는 데는 시간이 걸린다.

 

연산명	시간
L1 캐시 참조	0.5ns
분기 예측 오류	5ns
L2 캐시 참조	7ns
주 메모리 참조	100ns
이하 생략

 

 

가용성에 관계된 수치들

고가용성은 시스템이 오랜 시간 동안 지속적으로 중단 없이 운영될 수 있는 능력을 지칭하는 용어이다.

고가용성을 표현하는 값은 퍼센트로 표현하는데, 100%는 시스템이 단 한 번도 중단된 적이 없었음을 의미한다.

대부분의 서비스는 99%에서 100% 사이의 값을 갖는다.

 

SLA(Service Level Agreement)는 서비스 사업자가 보편적으로 사용하는 용어로, 서비스 사업자와 고객 사이에 맺어진 합의를 의미한다.

해당 합의에는 서비스의 가용시간이 공식적으로 기술되어 있다.

 

아마존, 구글 그리고 마이크로소프트 같은 사업자는 99% 이상의 SLA를 제공한다.

9가 많으면 많을 수록 좋다.

 

가용률	하루당 장애시간	주당 장애시간	이하 생략
99%	14.40분	1.68시간
99.9%	1.44분	10.08분
99.99%	8.64초	1.01분
99.999%	864.00밀리초	6.05초
99.9999%	86.40밀리초	604.80밀리초

 

 

트위터 QPS와 저장소 요구량 추정

가정

• 월간 능동 사용자는 3억 명이다.
• 50%의 사용자가 트위터를 매일 사용한다.
• 평균적으로 각 사용자는 매일 2건의 트윗을 올린다.
• 미디어를 포함하는 트윗은 10%정도다.
• 데이터는 5년간 보관된다.

추정

QPS(Query Per Second) 추정치

• 일간 능동 사용자(Daily Active User, DAU) = 3억 * 50% = 1.5억 명
•  QPS = 1.5억 명 * 2 트윗 / 24 시간 / 3600초 = 약 3500   <=  (1.5억 명 * 2 트윗) / (24 시간 * 3600초) 아닐까?

 

미디어 저장을 위한 저장소 요구량

• 평균 트윗 크기
  • tweet_id 64바이트
  • 텍스트에 140바이트
  • 미디어에 1MB
• 미디어 저장소 요구량: 1.5억 * 2 트윗 * 10% * 1MB = 30TB / 일
• 5년간 미디어를 보관하기 위한 저장소 요구량: 30TB * 365 * 5 = 약 55PB

 

팁

개략적인 규모 추정과 관계된 면접에서 중요한 것은 풀어 나가는 절차이다.

문제 해결능력을 보고 싶어하는 것이다.

 

• 근사치를 활용한 계산
  • 계산 결과를 정확하게 하기보다 근사 값을 사용하자.
• 가정(assumption)을 정하자.
• 단위를 붙이자.
  • 5라고 적으면 5KB인지 5MB인지 모른다.
• 많이 출제되는 개략적 규모 추정 문제
  • QPS
  • 최대 QPS
  • 저장소 요구량
  • 캐시 요구량
  • 서버 수