데이터 엔지니어로 살아가기 149일째(spark 2.1.1)

데이터 엔지니어로 살아가기 149일째(spark2.1.1) 

오늘 문득 spark2.1.1버전에서 java8 람다식을 활용한 데이터 처리 속도와 

spark1.5(현재 클러스터에서 사용버전)에서 java7을 통한 spark 데이터 처리 속도가 얼마나 나는지 궁금해졌다.

덤으로 scala spark이 동일한 데이터 처리 프로세스를 가지고 spark1.5, spark2.1.1버전에서 돌았을 때 성능도 궁금해져

간단히 70만 라인의 텍스트 파일로 파싱하고 필터링 처리를 하고 text파일과 orc파일로 변환해 적재하는 테스트를 진행하였다.

아직 scala를 spark2.1.1에서 테스트하는 부분은 확인하진 못했지만 확실히 spark2.1.1대 버전에서 java8 람다식을 활용해 처리하는 것

이 제일 빨랐다. 이부분은 좀더 테스트 후 포스팅 하도록 하겠다.

그리고 오전에는 딥러닝에 대한 세미나를 들었다. 세미나 발표를 통해 큰 깨달음이나 감명을 받진 못했지만

꾸준히 관심을 가지고 학습해 추후에 지금 처리하고 있는 데이터들에도 적용할 수 있는 방법을 연구해보면 좋을 것 같다.

아 그리고 틈틈히 scala공부도 하도록하자!