데이터 엔지니어로 살아가기 212일째(리타겟팅 시스템)

 

데이터 엔지니어로 살아가기 212일째(리타겟팅 시스템)

리타겟팅 시스템에 대해 요즘 매력을 느끼고 있다. 

어떻게 보면 참 단순한 프로세스이지만 그 단순한 프로세스로 부터나오는 효율은 단순하다고 말하기 힘들 것 같다. 내가 본 상품에 대한 데이터를 가지고 있다가 후에 내가 다른 사이트에 접근 했을 때 해당 광고를 내보낸다는게 참 쉬워보이지만 그 대상이 100만명 200만명이 되면 말이 달라진다. 

그 이면에는 수많은 작업들이 돌아가고 있을 것이고 그 작업 혹은 시스템에 문제가 없는지에 대해 모니터링을 하기 위한 시스템들이 열심히 돌아가고 있을 것이다. 그 많은 작업들 위에서 데이터 엔지니어들은 작업들이 정상적으로 돌아가고 있는지, 예외적인 케이스로 인해 문제가 발생하지 않는지에 대해 경계하며 좀 더 효율적으로 작업들을 처리하기 위한 방안들을 모색하고 있다. 

요즘 모색하고 있는 방안 중에 하나는 현재 리타겟팅을 위해 광고주별로 추천 상품을 뽑고, 상품들에 대한 비슷한 맥락의 추천상품을 뽑아내는 작업에 대한 부분이다. 이 부분이 현재 pyspark으로 작업이 돌고 있는데 pyspark은 javaspark에 비해서도 성능이 많이 떨어진다. 추후에 기회가 된다면 pyspark으로 작업되어 있는 부분들에 대한 개선 작업을 진행해보고 싶다는 것이다.