#스트리밍

스트리밍(Streaming)은 데이터셋을 Cardinality(유한/무한)와 Constitution(Table/Stream) 두 축으로 분리해 정의할 때 비로소 모호함이 사라집니다. 배치와 너무 다르게만 여겨지던 제가 잘못 짜다 두 차원 표로 정리하게 된 경험을 풀어낸 글입니다.

제가 최근 면접에서 Apache Samza를 다루는 질문을 받았을 때, Streams와 Partitions의 차이를 정확히 설명하지 못해 겪은 어려움을 바탕으로 주요 용어를 정리하고 실무 예시와 코드를 제공합니다.

제가 면접에서 TripAdvisor가 Apache Samza를 도입한 사례를 분석했을 때, 실시간 스트림 처리의 장점을 정확히 설명하지 못해 겪은 어려움을 바탕으로 사례를 살펴보고 구현 예시와 코드를 제공합니다.

Slack이 하루 수십억 건의 로그를 배치 없이 near real-time으로 처리하기 위해 Apache Samza를 도입한 과정을 정리합니다. Router-Processor-Converter 3단 파이프라인과 A/B 테스트 실시간 측정 사례를 다룹니다.

LinkedIn ATC 사례를 직접 분석하며 면접에서 '왜 Hadoop 배치가 아니라 Samza였는가'를 정확히 답하지 못해 겪은 경험을 공유합니다. 로컬 상태 RocksDB 설계와 Kafka Streams·Flink와의 차이를 실패에서 배운 시각으로 정리합니다.