데이터 엔지니어로 살아가기 84일 (nginx, kafka, fluentd)

앞으로라도 간단히 데이터 엔지니어로서 일을 하면서 경험했던 것들 생각들을 가볍게 공유해보고자 한다.

오늘은 데이터 유입쪽에 대한 파악작업을 진행하였다. 

nginx http요청으로 매체쪽 태그매니저로부터 들어오는 로그들이 어떻게 처리되는지

nginx 설정은 어떻게 되는지에 대해서 확인했다. 

기존 웹 서버 개발할 때는 아파치만 쓰다가 nignx를 보니 뭐 정확하게 어떻게 돌아가는지 정확한 이해는 안갔지만

대충 설정들을 보니 예상정도는 할 수 있었다. 

오늘 이해하고 파악한 부분은 nginx -> fluentd -> kafka 로 통하는 flow에 대한 전반적인 이해를 하였고

실제 알파 클러스터에서 설정을 변경해보며 이것저것 테스트해보았다. 

생각보다 td-agent 쪽에서도 offset 작업이 잘 이루어져 실제 nginx로 데이터가 들어왔을 때 td-agent가 죽어 있었더라도

다시 td-agent를 시작하게되면 읽어오지 않은 데이터부터 읽어 카프카로 전송하더라

아직 유입쪽에 쿠키발급부분이라던지 확인할 부분이 많지만 전반적인 유입 flow와 설정들을 이해한것만으로도 굉장히 뿌듯하다.