Bigdata/Spark
[Spark] 스파크(Spark) No TypeTag available for 에러
brocess
2017. 7. 27. 01:46
반응형
오늘 스파크 작업중 No TypeTag available for 에러가 발생하였다.
밑에 소스코드 부분에서 val df = sQLContext.createDataFrmae(test_rdd3) 부분에서 발생하였고
case class의 위치를 메소드의 바깥 부분으로 빼내어서 처리하였다.
원인에 대해 참고할 만한 stackoverflow 내용이 있어 참고하였다.
[ 에러 발생 코드 ]
[ 에러 해결 ]
case class를 main method 바깥으로 빼서 처리
뭔가 컴파일 시점에 case class를 정의하는 시점과 case class를 통한 spark의 action이 일어나는 시점과 연관이 있을 것 같
은데 자세한 원인에 대해서는 파악하지 못했다ㅠ 혹시 조언해주실분 있으면 감사하겠습니다.
스칼라 공부를 좀 더 심도있게해야 할듯 싶다.
반응형