행복한디벨로퍼

오늘은 카프카에서 hdfs로 데이터를 적재하는 카뮤(camus)에 대해서 학습하고 생각해보는 시간을 가졌다.

아직 카뮤? 카뮈? 내부 아키텍쳐가 어떻게 설계되어져 있는지 다 확인하지는 못했지만 카뮈를 이용하면 카프카에서 생각보다 쉽게 hdfs에 적재가 가능하다. 카뮈가 아니였다면? 자바로 카프카 컨슈머를 구현하고 hdfs에 적재하는 로직처리를 해줘야 겠지?

그렇게 어플리케이션을 개발하더라도 카뮤에서 카프카 offset을 확인해 데이터 누락을 최소화해주는 부분에 대한 구현은 힘들었을 것 같다.

물론 자바로도 할수 있겠지만....카프카에서 offset정보를 가져와서 처리할 수 있는 api를 제공하는지는 잘모르겠다.

아무쪼록 좀 더 깊이 파고들어 카뮤를 이해하고 실제로 카프카 토픽의 데이터를 받아오는 작업을 진행해보자!

백문이불여일행

앞으로라도 간단히 데이터 엔지니어로서 일을 하면서 경험했던 것들 생각들을 가볍게 공유해보고자 한다.

오늘은 데이터 유입쪽에 대한 파악작업을 진행하였다. 

nginx http요청으로 매체쪽 태그매니저로부터 들어오는 로그들이 어떻게 처리되는지

nginx 설정은 어떻게 되는지에 대해서 확인했다. 

기존 웹 서버 개발할 때는 아파치만 쓰다가 nignx를 보니 뭐 정확하게 어떻게 돌아가는지 정확한 이해는 안갔지만

대충 설정들을 보니 예상정도는 할 수 있었다. 

오늘 이해하고 파악한 부분은 nginx -> fluentd -> kafka 로 통하는 flow에 대한 전반적인 이해를 하였고

실제 알파 클러스터에서 설정을 변경해보며 이것저것 테스트해보았다. 

생각보다 td-agent 쪽에서도 offset 작업이 잘 이루어져 실제 nginx로 데이터가 들어왔을 때 td-agent가 죽어 있었더라도

다시 td-agent를 시작하게되면 읽어오지 않은 데이터부터 읽어 카프카로 전송하더라

아직 유입쪽에 쿠키발급부분이라던지 확인할 부분이 많지만 전반적인 유입 flow와 설정들을 이해한것만으로도 굉장히 뿌듯하다.