KAFKA/개념 정리

[KAFKA] APACHE KAFKA 기초

책 '실전 아파치 카프카'를 보며 정리한 내용 2.1 구성 내용 메시지 송수신 기본 시스템 구성 분산 메시징을 위한 구조 데이터 견고함을 담보하는 복제의 구조 2.2 메시지 송수신 기본 카프카의 주요 구성 요소 브로커 데이터를 수신, 전달하는 서비스 메시지 카프카에서 다루는 데이터 최소 단위. 프로듀서 데이터의 생산자, 브로커에 메시지를 보내는 애플리케이션 컨슈머 브로커에서 메시지를 취득하는 애플리케이션 토픽 메시지를 (토픽)별로 관리하는 스토리지. 브로커에 배치되어 관리된다. 2.3 시스템 구성 브로커 브로커 하나의 서버(또는 인스턴스) 당 하나의 데몬 프로세스로 동작. 여러대의 클러스터로 구성 가능. 브로커를 추가함으로 처리량 향상(스케일 아웃)이 가능. 브로커에서 받은 데이터는 모두 디스크로 내보내..

2021. 4. 13. 14:51
KAFKA/개념 정리

[KAFKA] APACHE KAFKA 개요

책 '실전 아파치 카프카'를 보며 정리한 내용 카프카 자격증을 취득하는 그날까지... 1. 아파치 카프카 개요 1.1 목표 아파치 카프카의 용도 아파치 카프카가 탄생한 배경과 영향 1.2 아파치 카프카 여러대의 분산 서버에서 대량의 데이터를 처리하는 분산 메시징 시스템으로 메시지를 받고, 받은 메시지를 다른 시스템이나 장치에 보내기 위해 사용. 여러 시스템과 장치를 연결하는 중요한 역할. 대량의 데이터를 높은 처리량과 실시간으로 취급하기 위한 제품. 확장성 : 여러 서버로 '확장 구성'이 가능, 데이터에 양에 따라 시스템 확장이 가능. 영속성 : 수신한 데이터를 '디스크에 유지' 할 수 있기 때문에 언제든지 데이터 접근. 유연성 : '연계할 수 있는 제품이 많기' 때문에 제품이나 시스템을 연결하는 허브 ..

2021. 4. 13. 14:44