주문이 두 번 도착했고 한 번은 사라졌다
클라우드 네이티브 아키텍처 · 중급 · 이론 4 · 퀴즈 4 · 실습 4
우분투 VM 의 Kafka 4.3 KRaft 단일 노드에서 로그·파티션·오프셋·컨슈머 그룹을 손으로 만져 본 뒤, 프로듀서 재시도가 같은 레코드를 세 벌 남기는 것과 멱등 프로듀서가 한 벌로 만드는 것을 kafka-dump-log 로 확인합니다. 컨슈머의 커밋 시점이 만드는 유실과 되감기가 만드는 중복을 재현하고 멱등 처리기로 막으며, 보존·압축·min.insync.replicas 가 무엇을 남기고 버리는지 봅니다. 큐와 비동기 API 를 다뤄 본 분을 위한 과정입니다.
커리큘럼
Kafka 가 약속하는 것
파티션 안의 순서, 키와 파티션, 컨슈머 그룹의 오프셋과 지연
두 번째 도착
acks·retries·delivery.timeout, 재시도가 만드는 중복과 멱등 프로듀서
한 번 사라짐
커밋 시점과 at-most/at-least-once, 되감기, 멱등 컨슈머, auto.offset.reset
무엇을 남기고 무엇을 버리나
시간 보존과 세그먼트, 로그 압축, max.message.bytes, min.insync.replicas