[아파치 카프카 애플리케이션 프로그래밍 with 자바] 3-1장 카프카 브로커와 클러스터 주키퍼

카프카 브로커

• 카프카 클라이언트와 데이터를 주고 받기 위해 사용하는 주체
• 장애가 발생하더라도 안전하게 사용하기 위해 데이터를 분산 저장하는 애플리케이션
• 보통 3대 이상의 클러스터로 운영
  • 분산 저장 및 복제

카프카 브로커의 특징

• 전달 받은 데이터를 파티션에 저장 및 전달
  • 파일 시스템에 데이터를 저장
• 메모리나 데이터 베이스가 아닌, 파일 시스템에 저장 => 속도 이슈를 캐싱으로 개선
• 데이터의 복제는 파티션 단위로 이루어짐 => 리더 파티션으로부터 받음

컨트롤러

• 다른 브로커들의 상태 체크 및 하나의 브로커가 제외될 경우, 리더 파티션을 재분배

데이터 삭제

• 카프카는 기본적으로 토픽 데이터 삭제하지 않음.
• 브로커만이 데이터를 삭제 가능함. => 삭제 용량 옵션 값 설정 가능

코디네이터

• 컨슈머 그룹 상태 체크 및 컨슈머와 매칭되는 파티션을 분배
• 리밸런싱