728x90 반응형 Consumer Group1 [SpringBoot] Kafka로 분산형 데이터 처리하기 (1) - Kafka란 무엇인가? 안녕하세요. J4J입니다. 이번 포스팅은 kafka로 분산형 데이터 처리하기 첫 번째인 kafka란 무엇인가에 대해 적어보는 시간을 가져보려고 합니다. Kafka란 ? kafka는 실시간 데이터 스트리밍 처리를 도와주는 분산형 스트리밍 플랫폼입니다. 대규모 스트리밍 애플리케이션 구축을 가능하도록 도와주며 실시간 데이터 스트리밍, 메시징 시스템, 로그 수집 등 다양한 곳에서 활용될 수 있습니다. kafka는 2011년 링크드인 (LinkedIn)에서 처음 개발되었습니다. 하루에 1조 이상의 대용량으로 생성되는 데이터들을 처리해야 되는 링크드인에서는 파편화된 데이터 수집 및 처리를 하기 위해 현존하던 다양한 메시징 플랫폼과 ETL 툴들을 적용하여 아키텍처를 구성했다고 합니다. 하지만 초기에는 문제가 .. 2024. 8. 8. 이전 1 다음 728x90 반응형
