데이터 엔지니어로 살아가기 198일째(실시간 타겟팅 모니터링 시스템, hadoop balancer)

데이터 엔지니어로 살아가기 198일째(실시간 타겟팅 모니터링 시스템)

기존에 실시간으로 스트림으로 처리되고 있는 관심사, 리타겟팅의 경우 실제로 데이터가 잘들어갔는지 확인 할 수 있는 방법이 없었다.

데이터저장소로 카산드라를 사용하고 있는데 카산드라에서는 mysql처럼 테이블의 데이터 count를 쿼리로 확인하기 힘들다.

따라서 실시간타겟팅들이 정상적으로 동작을 안하고 있는 경우에도 알아차리기 힘들다는 문제가 있었다.

매번 타 부서를 통해 '정상적으로 리타겟팅이 안되는 것 같다' 라는 요청이 오는 경우에 한해 확인해보고 있었고

심각한 경우 하루 이상 실시간 리타겟팅 데이터가 카산드라에 적재되지 않았던 적도 있었다...

이런 문제를 해결하고자 한 시간 단위로 실시간 타겟팅에서 사용하는 데이터를 hdfs에서 가져와 실제로 들어가있는지

샘플로 몇개만 추출해 확인하는 시스템을 만드는 작업을 하였다.

이번 작업을 하며 느낀점은 항상 어떤 시스템을 만들때 만들었다는 그 자체보다는 정상적으로 시스템이 돌아가고 있는지에 대한

모니터링이 잘 작동하고 문제 발생 시 이를 감지할 수 있는 장치가 마련되어있어야 한다는 것이다.

그렇지 않고서는 좋은 시스템이라고 절대 말할 수 없을 것 같다.

꾸준히 포스팅을 하고 싶은데 마음처럼 쉽지 않다. 아마 막상 쓰게 되면 잘써야한다는 심리적 부담감이 어느 정도 작용하는 듯도 하다.

앞으로는 간단하게라도 자주 내 발자취를 기록해 나가도록 해야겠다.

먼 후에 봤을 때 좋은 기억 추억이 될 수 있도록...

아 그리고 오늘 새롭게 안사실은 Hadoop Balancer말고 Disk Balancer가 따로 존재한다는 사실이다.

Hadoop Balancer는 데이터 노드들간의 블럭정도를 balancing해주는 역할을 하고 해당 데이터노드에서 디스크간 balancing을 해주는 역할은

별도의 disk balancer가 존재해 작업을 해준다는 것이다.

이 부분은 나중에 기회가 되면 포스팅을 하도록 하겠다.