오늘은 금요일~~~~ 날씨도 너무 좋고 기분좋은 금요일이다.
오늘 하루는 어제 마무리 짓지 못했던 xx번가 EP 비교 작업을 끝냈다.
하루치끼리 비교한 결과 18기가에서 1.7기가로 사이즈가 확 줄었고 라인수도 500만개로 줄었다.
어떻게 하루만에 상품차이가 500만개나 나는지.....사람이 일일히 상품등록하고 하진 않겠지?.....
아무튼 비교를 잘 끝내고 전체 EP업데이트가 아닌 부분 EP업데이트 하는 부분으로 진행하는 부분에 대해서는 협의가 필요할 듯 싶다.
아무래도 전체 프로세스를 조금씩 손보아야 하기 때문에....
그리고 준형 선임님과 승완씨가 오후 반차로 나와 실장님만 남아 오후를 보내게 되었다.
오후에는 리타겟팅 전반에 대해 flow를 따라가며 파악작업을 진행하였고 중간중간 xx번가 EP가 잘 돌고 있는지 확인하는 작업을 진행하였다.
리타겟팅이 프로세스를 따라가며 파악작업을 진행하며 가장 크게 느낀점은 데이터를 기반으로 한 광고시스템은 너무 매력적이라는 것이다.
실시간으로 사용자의 행동들이 광고 시스템에 반영이되고 그 내부적으로 돌아가는 프로세스와 데이터 flow들을 보고나니 새삼 더 느끼게 되었다.
EP작업도중 고질적으로 발생하는 실시간 리타겟팅 잡이 정상적으로 돌지 못하는 문제가 또 다시 발생하였다.
하루 빨리 EP 프로세스를 수정해 큰 데이터를 처리할 때에도 이런 현상이 발생하지 않도록 개선해야 될 것 같다.
실장님과 커피도 한 잔하면서 데이터엔지니어로써의 방향이나 서로의 생각들을 말하며 즐거운 티타임도 가졌다.
퇴근 후 운동도 열심히 잘했고 이제 어느 정도 리타겟팅 흐름도 머릿속에 쫘~악 그려지고 너무 뿌듯했던 금요일 하루를 보냈다.
오늘의 한마디 '데이터 기반의 광고 시스템은 생각보다 훨씬 매력적이다'
'Life > 개발자 칼럼' 카테고리의 다른 글
데이터 엔지니어로 살아가기 101일(장애공유, Spark Kafka Streaming) (0) | 2017.06.10 |
---|---|
데이터 엔지니어로 살아가기 100일(리타겟팅, 인코딩, 스트림) (0) | 2017.06.08 |
데이터 엔지니어로 살아가기 86일 (EP, 리타겟팅) (0) | 2017.05.26 |
데이터 엔지니어로 살아가기 85일 (kafka, camus, hdfs) (0) | 2017.05.24 |
데이터 엔지니어로 살아가기 84일 (nginx, kafka, fluentd) (0) | 2017.05.24 |