kafka 4

[KOSTA] Kafka를 이용한 서비스와 데이터 통합 - 1편

Topcis, Partitions, Offsets파티션토픽은 파티션을 나눌 수 있음토픽당 데이터를 분산 처리하는 단위병렬 처리와 많은 양의 데이터 처리를 위해서 파티션을 늘릴 수 있음(늘리기만 하고 줄이는 것은 안됨)파티션의 인덱스는 0부터 1, 2, ... 을 가짐파티션 별로 증가되는 아이디, Offset 값을 가지게 됨.Offset은 파티션에서만 의미가 있음 토픽과 파티션⭐️ 파티션 안에서는 데이터의 순서가 보장-> 다른 파티션의 경우 데이터의 순서성 보장이 안됨파티션에 데이터가 한 번 쓰여지면 변경이 안됨(write once)key를 주지 않으면 어느 ㅍ티션에 데이터가 들어가는지 모름 Broker Zookeeper분산 애플리케이션 코디네이터주키퍼는 브로커를 관리한다.파티션의 리더 선출을 도와준다...

[KOSTA] Kafka with Spring Boot - 1편

※ 보편적으로 많이 사용했던 버전을 기준으로 작성 됨. 최신 버전은 구조가 바뀌어 있을 수 있다. ※ - 내용이 많아서 1편과 2편으로 나눴습니다. -  아파치 카프카 개요Apache Kafka(아파치 카프카)는 LinkedIn에서 개발된 분산 메시징 시스템으로써 2011년에 오픈소스로 공개되었음 카프카는실시간으로기록스트림을 게시,구독,저장및처리할수있는분산데이터 스트리밍 플랫폼게시: 아파트 벽보와 같이 게시를 하는데, 포스트를 하는 사람은 포스트만 하면 됨구독: 아파트 벽보에 있는 게시글을 읽는 행위.저장 및 처리: 이전 게시판에 있던 게시글(메세지)를 저장하고 처리할 수 있어야 한다.대용량의 실시간 로그처리에 특화된 아키텍처 설계를 통하여 기존 메시징 시스템보다 우수한 TPS를 보여주고 있음어떤 특정 ..