728x90 반응형 Producer3 [SpringBoot] Kafka로 분산형 데이터 처리하기 (4) - SpringBoot에 Kafka Producer 사용 환경 설정 안녕하세요. J4J입니다. 이번 포스팅은 kafka로 분산형 데이터 처리하기 네 번쨰인 spring boot에 kafka producer 사용 환경 설정하는 방법에 대해 적어보는 시간을 가져보려고 합니다. 이전 글 [SpringBoot] Kafka로 분산형 데이터 처리하기 (1) - Kafka란 무엇인가?[SpringBoot] Kafka로 분산형 데이터 처리하기 (2) - Virtual Box에서 Kafka 설치하기[SpringBoot] Kafka로 분산형 데이터 처리하기 (3) - Kafka에서 사용하는 명령어 Kafka Producer 란 ? 이전 글들에서 적어두 것처럼 kafka producer는 kafka의 partition에 저장되는 레코드를 전달하는 주체를 의미합니다. 즉, consu.. 2024. 9. 17. [SpringBoot] Kafka로 분산형 데이터 처리하기 (3) - Kafka에서 사용하는 명령어 안녕하세요. J4J입니다. 이번 포스팅은 kafka로 분산형 데이터 처리하기 세 번째인 kafka에서 사용하는 명령어에 대해 적어보는 시간을 가져보려고 합니다. 이전 글 [SpringBoot] Kafka로 분산형 데이터 처리하기 (1) - Kafka란 무엇인가?[SpringBoot] Kafka로 분산형 데이터 처리하기 (2) - Virtual Box에서 Kafka 설치하기 들어가기에 앞서 kafka에서 사용되는 모든 명령어는 kafka가 설치되어 있는 경로를 기반으로 실행할 수 있습니다. 이전 글을 통해 kafka를 설치하신 분들이라면 다음 명령어를 통해 kafka 설치 경로로 이동 후 명령어를 사용해 주시면 됩니다. $ cd /usr/local/kafka Kafka 브로커 (Broker).. 2024. 9. 3. [SpringBoot] Kafka로 분산형 데이터 처리하기 (1) - Kafka란 무엇인가? 안녕하세요. J4J입니다. 이번 포스팅은 kafka로 분산형 데이터 처리하기 첫 번째인 kafka란 무엇인가에 대해 적어보는 시간을 가져보려고 합니다. Kafka란 ? kafka는 실시간 데이터 스트리밍 처리를 도와주는 분산형 스트리밍 플랫폼입니다. 대규모 스트리밍 애플리케이션 구축을 가능하도록 도와주며 실시간 데이터 스트리밍, 메시징 시스템, 로그 수집 등 다양한 곳에서 활용될 수 있습니다. kafka는 2011년 링크드인 (LinkedIn)에서 처음 개발되었습니다. 하루에 1조 이상의 대용량으로 생성되는 데이터들을 처리해야 되는 링크드인에서는 파편화된 데이터 수집 및 처리를 하기 위해 현존하던 다양한 메시징 플랫폼과 ETL 툴들을 적용하여 아키텍처를 구성했다고 합니다. 하지만 초기에는 문제가 .. 2024. 8. 8. 이전 1 다음 728x90 반응형
