728x90 반응형 Kafka8 Kafka Connect, Debezium으로 MySQL CDC 구축: Strimzi 기반 Docker Desktop 로컬 실습 안녕하세요. J4J입니다. 이번 포스팅은 docker desktop 환경에서 strimzi 기반 kafka connect, debezium으로 mysql cdc 구축하는 방법에 대해 적어보는 시간을 가져보려고 합니다. 관련 글 Helm 이란? Helm 입문을 위한 기본 개념 설명 Helm 이란? Helm 입문을 위한 기본 개념 설명안녕하세요. J4J입니다. 이번 포스팅은 helm 입문을 위한 기본 개념 설명하는 시간을 가져보려고 합니다. Helm 이란? helm이라고 하는 것은 kubernetes를 사용하는 환경에서 kubernetes cluster가 관리하는 영jforj.tistory.com Window에서 Chocolately로 Helm 설치하기 & Helm 명령어 정리 Window에서 Choco.. 2025. 8. 13. Kafka Connect, Debezium으로 MySQL CDC 구축: Strimzi 없이 Docker Desktop 로컬 실습 안녕하세요. J4J입니다. 이번 포스팅은 docker desktop 환경에서 strimzi 없이 kafka connect, debezium으로 mysql cdc 구축하는 방법에 대해 적어보는 시간을 가져보려고 합니다. 관련 글 Helm 이란? Helm 입문을 위한 기본 개념 설명 Helm 이란? Helm 입문을 위한 기본 개념 설명안녕하세요. J4J입니다. 이번 포스팅은 helm 입문을 위한 기본 개념 설명하는 시간을 가져보려고 합니다. Helm 이란? helm이라고 하는 것은 kubernetes를 사용하는 환경에서 kubernetes cluster가 관리하는 영jforj.tistory.com Window에서 Chocolately로 Helm 설치하기 & Helm 명령어 정리 Window에서 Choco.. 2025. 8. 4. MSA 환경에서 필요한 CDC 개념 이해: Kafka Connector와 Debezium으로 데이터 동기화 구조 살펴보기 안녕하세요. J4J입니다. 이번 포스팅은 msa 환경에서 필요한 cdc 개념 이해와 kafka connector, debezium에 대해 이해하는 시간을 가져보려고 합니다. CDC 소개 cdc라고 하는 것은 change data capture의 약자로, 데이터베이스의 변경 사항 (생성, 수정, 삭제 등) 들을 감지하고 변경된 사항들을 외부 시스템 및 애플리케이션에서 실시간으로 사용할 수 있도록 도와주는 기술입니다. cdc의 동작에 대해서 가볍게 표현해 보면 다음과 같습니다. mysql, postgresql 등 데이터를 보관하고 있는 데이터베이스에서 변경 사항들이 발생되었을 때 kafka topic과 같은 곳에 실시간으로 데이터가 전송되고, 데이터 정보가 필요한 곳에서 topic에 담겨 있는 메시.. 2025. 7. 27. [SpringBoot] Kafka로 분산형 데이터 처리하기 (5) - SpringBoot에 Kafka Consumer 사용 환경 설정 안녕하세요. J4J입니다. 이번 포스팅은 kafka로 분산형 데이터 처리하기 마지막인 spring boot에 kafka consumer 사용 환경 설정하는 방법에 대해 적어보는 시간을 가져보려고 합니다. 이전 글 [SpringBoot] Kafka로 분산형 데이터 처리하기 (1) - Kafka란 무엇인가?[SpringBoot] Kafka로 분산형 데이터 처리하기 (2) - Virtual Box에서 Kafka 설치하기[SpringBoot] Kafka로 분산형 데이터 처리하기 (3) - Kafka에서 사용하는 명령어[SpringBoot] Kafka로 분산형 데이터 처리하기 (4) - SpringBoot에 Kafka Producer 사용 환경 설정 Kafka Consumer 란? 이전 글들에서 적어둔 .. 2025. 6. 29. [SpringBoot] Kafka로 분산형 데이터 처리하기 (4) - SpringBoot에 Kafka Producer 사용 환경 설정 안녕하세요. J4J입니다. 이번 포스팅은 kafka로 분산형 데이터 처리하기 네 번쨰인 spring boot에 kafka producer 사용 환경 설정하는 방법에 대해 적어보는 시간을 가져보려고 합니다. 이전 글 [SpringBoot] Kafka로 분산형 데이터 처리하기 (1) - Kafka란 무엇인가?[SpringBoot] Kafka로 분산형 데이터 처리하기 (2) - Virtual Box에서 Kafka 설치하기[SpringBoot] Kafka로 분산형 데이터 처리하기 (3) - Kafka에서 사용하는 명령어 Kafka Producer 란 ? 이전 글들에서 적어두 것처럼 kafka producer는 kafka의 partition에 저장되는 레코드를 전달하는 주체를 의미합니다. 즉, consu.. 2024. 9. 17. [SpringBoot] Kafka로 분산형 데이터 처리하기 (3) - Kafka에서 사용하는 명령어 안녕하세요. J4J입니다. 이번 포스팅은 kafka로 분산형 데이터 처리하기 세 번째인 kafka에서 사용하는 명령어에 대해 적어보는 시간을 가져보려고 합니다. 이전 글 [SpringBoot] Kafka로 분산형 데이터 처리하기 (1) - Kafka란 무엇인가?[SpringBoot] Kafka로 분산형 데이터 처리하기 (2) - Virtual Box에서 Kafka 설치하기 들어가기에 앞서 kafka에서 사용되는 모든 명령어는 kafka가 설치되어 있는 경로를 기반으로 실행할 수 있습니다. 이전 글을 통해 kafka를 설치하신 분들이라면 다음 명령어를 통해 kafka 설치 경로로 이동 후 명령어를 사용해 주시면 됩니다. $ cd /usr/local/kafka Kafka 브로커 (Broker).. 2024. 9. 3. [SpringBoot] Kafka로 분산형 데이터 처리하기 (2) - Virtual Box에서 Kafka 설치하기 안녕하세요. J4J입니다. 이번 포스팅은 kafka로 분산형 데이터 처리하기 두 번째인 virtual box에서 kafka 설치하는 방법에 대해 적어보는 시간을 가져보려고 합니다. 이전 글 [SpringBoot] Kafka로 분산형 데이터 처리하기 (1) - Kafka란 무엇인가? Virtual Box 설정하기 spring에서 kafka를 연동하여 사용하기 위해 kafka를 구축해 보겠습니다. kafka를 구축하기 위해 해볼 수 있는 방법은 다양하게 존재합니다. 대표적으로 aws에서 제공해 주는 완전관리형 서비스인 msk도 존재하고, 그 외에도 ec2 등의 서버 등을 통해 자체 구축하는 경우도 있습니다. 이번에 저 같은 경우는 자체 구축을 진행하려고 하며, ec2 등을 통해 서버를 할당받지 않고.. 2024. 8. 25. [SpringBoot] Kafka로 분산형 데이터 처리하기 (1) - Kafka란 무엇인가? 안녕하세요. J4J입니다. 이번 포스팅은 kafka로 분산형 데이터 처리하기 첫 번째인 kafka란 무엇인가에 대해 적어보는 시간을 가져보려고 합니다. Kafka란 ? kafka는 실시간 데이터 스트리밍 처리를 도와주는 분산형 스트리밍 플랫폼입니다. 대규모 스트리밍 애플리케이션 구축을 가능하도록 도와주며 실시간 데이터 스트리밍, 메시징 시스템, 로그 수집 등 다양한 곳에서 활용될 수 있습니다. kafka는 2011년 링크드인 (LinkedIn)에서 처음 개발되었습니다. 하루에 1조 이상의 대용량으로 생성되는 데이터들을 처리해야 되는 링크드인에서는 파편화된 데이터 수집 및 처리를 하기 위해 현존하던 다양한 메시징 플랫폼과 ETL 툴들을 적용하여 아키텍처를 구성했다고 합니다. 하지만 초기에는 문제가 .. 2024. 8. 8. 이전 1 다음 728x90 반응형
