데이터 엔지니어로 살아가기 85일 (kafka, camus, hdfs)

오늘은 카프카에서 hdfs로 데이터를 적재하는 카뮤(camus)에 대해서 학습하고 생각해보는 시간을 가졌다.

아직 카뮤? 카뮈? 내부 아키텍쳐가 어떻게 설계되어져 있는지 다 확인하지는 못했지만 카뮈를 이용하면 카프카에서 생각보다 쉽게 hdfs에 적재가 가능하다. 카뮈가 아니였다면? 자바로 카프카 컨슈머를 구현하고 hdfs에 적재하는 로직처리를 해줘야 겠지?

그렇게 어플리케이션을 개발하더라도 카뮤에서 카프카 offset을 확인해 데이터 누락을 최소화해주는 부분에 대한 구현은 힘들었을 것 같다.

물론 자바로도 할수 있겠지만....카프카에서 offset정보를 가져와서 처리할 수 있는 api를 제공하는지는 잘모르겠다.

아무쪼록 좀 더 깊이 파고들어 카뮤를 이해하고 실제로 카프카 토픽의 데이터를 받아오는 작업을 진행해보자!

백문이불여일행