WIL

사실 카프카에 대해 잘 모르겠다. 아직..
카프카가 고가용성이라고는 하지만 이게 개발자인 나에게 엄청나게 와닿지는 않았다.
나야 프로듀서에서 컨슈머로 데이터만 잘 전달만 하는게 목적이기 때문이라 생각이든다.
그렇다고 해서 저 부분이 중요하지 않는다는건 아니다.

내가 말하고 싶은건 개발자인나에게 저것보다는 어떻게 사용할 수 있는냐가 더 중요하지 않나 생각이든다.
그래서 그 부분에 초점을 맞춰서 공부를 했던거 같다.

프로듀서의 개념
토픽의 개념
파티션키의 개념
컨슈머의 개념
배치 리스너 
오프셋 개념..
등등 여러가지 개념들을 그 초점에 맞추면서 공부를 하였다.
저 개념들을 100% 전부 이해한건 아니지만 이제 시작이라 생각이 든다. 하나하나 전부 이해한것은 아니지만
적어도 커다란 맥락에서 저러한 개념들을 왜 사용하는지 확실하게 이해 한것 같다.

프로듀서 -> 컨슈머로 메시지를 전달하는데 그 메시지에 대한 제목 같은것을 토픽이라고 부른다.
카프카는 여러 메시지를 한번에 보낼때 기준을 정하게 되는데 그것을 파티션이라고 부른다.
다만 개발자가 사용할때는 파티션이 아니라 파티션키로 지정해서 메시지를 전송을 해야 한다.
그 이유는 파티션은 운영측면에서 나누는 기준이라 개발자가 지정하는 것은 아니라는 사실을 배웠다.
그래서 파티션 키를 이용하여 처리가 되어진다.

이번 파트에서 중요한 점은 At least once와 At most once다. 이젝크리 once도 있긴하지만..
이게 뭐냐면 프로듀서 혹은 컨슈머가 최소 한번 최대 한번을 보내거나 받을 수 있는지 체크 하는 거라 생각하면된다
주의할점은 카프카에서 제공하는 기능이 아니라 개념적으로 존재하는 것이기때문에 어떻게 하면 메시지가 원하는 방향으로
전달이 되는지 생각해야 하는 부분이라 생각이 든다.
(프로듀서라면 내가 설정한 방법대로 잘 전달이 되는지 생각을 해야 한다고 생각한다.)

카프카라는 거대한 산을 정복하지는 못했지만 그래도 등반은 할 수 있는거 같은 기분이 든다.
하나하나 노력하다보면 언젠가는 정복할 수 있지 않을까?
(카프카가 목표라면 하지만 나는 카프카가 목표가 아니기 때문에 얼마나 많이 알지는 모르겠지만..)

다음주에는 어떤걸 학습해볼까 ㄷㄱㄷㄱ 한다. 

'루퍼스 > 8주차' 카테고리의 다른 글

카프카 of (프로듀서 and 컨슈머)  (0) 2025.09.05

댓글

Designed by JB FACTORY