KAFKA/version

[Version] Apache Kafka 3.5

https://www.confluent.io/blog/introducing-apache-kafka-3-5/ Introducing Apache Kafka 3.5.0 This release includes rack-aware partition assignment for Kafka consumers, full support for distributed mode in dedicated MirrorMaker 2.0 clusters, and more! Read more highlights from Mickael Maison. www.confluent.io Kafka Broker, Controller, Producer, Consumer and Admin Client KIP-881: Rack-aware Partitio..

2023. 7. 10. 12:40

KAFKA/version

[Version] Apache Kafka 3.4

https://www.confluent.io/blog/apache-kafka-3-4-0-new-features-and-updates/ Apache Kafka 3.4: New Features and Updates Migrate Kafka clusters from ZooKeeper to KRaft with no downtime (early access), get improvements for Kafka Streams and Kafka Connect, and more. www.confluent.io Kafka Broker, Controller, Producer, Consumer and Admin Client KIP-866: ZooKeeper to KRaft Migration (Early Access) KIP-..

2023. 7. 10. 12:34

KAFKA/Solution

[News] Felice

아파치 카프카 운영-관리 솔루션 Felice http://www.datanet.co.kr/news/articleView.html?idxno=179102 스피타, 아파치 카프카 운영·관리 솔루션 ‘펠리체 2.0’ 출시 - 데이터넷 [데이터넷] 스피타(대표 박성빈)는 아파치 카프카(Apache Kafka) 운영/관리 솔루션 ‘펠리체(Felice) 2.0’ 버전을 출시했다고 밝혔다.펠리체는 기업 사용자들이 오픈소스 분산 메시징 시스템인 아파치 www.datanet.co.kr

2022. 12. 9. 11:26

KAFKA/개념 정리

[KAFKA] APACHE KAFKA 기초

책 '실전 아파치 카프카'를 보며 정리한 내용 2.1 구성 내용 메시지 송수신 기본 시스템 구성 분산 메시징을 위한 구조 데이터 견고함을 담보하는 복제의 구조 2.2 메시지 송수신 기본 카프카의 주요 구성 요소 브로커 데이터를 수신, 전달하는 서비스 메시지 카프카에서 다루는 데이터 최소 단위. 프로듀서 데이터의 생산자, 브로커에 메시지를 보내는 애플리케이션 컨슈머 브로커에서 메시지를 취득하는 애플리케이션 토픽 메시지를 (토픽)별로 관리하는 스토리지. 브로커에 배치되어 관리된다. 2.3 시스템 구성 브로커 브로커 하나의 서버(또는 인스턴스) 당 하나의 데몬 프로세스로 동작. 여러대의 클러스터로 구성 가능. 브로커를 추가함으로 처리량 향상(스케일 아웃)이 가능. 브로커에서 받은 데이터는 모두 디스크로 내보내..

2021. 4. 13. 14:51

KAFKA/개념 정리

[KAFKA] APACHE KAFKA 개요

책 '실전 아파치 카프카'를 보며 정리한 내용 카프카 자격증을 취득하는 그날까지... 1. 아파치 카프카 개요 1.1 목표 아파치 카프카의 용도 아파치 카프카가 탄생한 배경과 영향 1.2 아파치 카프카 여러대의 분산 서버에서 대량의 데이터를 처리하는 분산 메시징 시스템으로 메시지를 받고, 받은 메시지를 다른 시스템이나 장치에 보내기 위해 사용. 여러 시스템과 장치를 연결하는 중요한 역할. 대량의 데이터를 높은 처리량과 실시간으로 취급하기 위한 제품. 확장성 : 여러 서버로 '확장 구성'이 가능, 데이터에 양에 따라 시스템 확장이 가능. 영속성 : 수신한 데이터를 '디스크에 유지' 할 수 있기 때문에 언제든지 데이터 접근. 유연성 : '연계할 수 있는 제품이 많기' 때문에 제품이나 시스템을 연결하는 허브 ..

2021. 4. 13. 14:44

KAFKA/개념 정리

[Kafka] Kafka(카프카)

카프카(Kafka) 개념 pub-sub 모델의 메시지 큐 # 용도 메세지 처리 사용자의 웹 사이트 활동 추적 파이프라인 애플리케이션의 통계 집계 시간순으로 발생하는 이벤트를 저장해 필요한 곳으로 보냄 # Pub-Sub 모델 카프카는 pub-sub(발행/구독) 모델을 사용. pub-sub은 메시지를 특정 수신자에게 직접적으로 보내주는 시스템이 아니다. publisher는 메시지를 topic을 통해서 카테고리화 한다. 분류된 메시지를 받기를 원하는 receiver는 그 해당 topic을 구독(subscribe)함으로써 메시지를 읽어 올 수 있다. 즉, publisher는 topic에 대한 정보만 알고 있고, 마찬가지로 subscriber도 topic만 바라본다. publisher 와 subscriber는 서..

2020. 10. 13. 06:34