반응형
오늘 스파크 작업중 No TypeTag available for 에러가 발생하였다.
밑에 소스코드 부분에서 val df = sQLContext.createDataFrmae(test_rdd3) 부분에서 발생하였고
case class의 위치를 메소드의 바깥 부분으로 빼내어서 처리하였다.
원인에 대해 참고할 만한 stackoverflow 내용이 있어 참고하였다.
[ 에러 발생 코드 ]
[ 에러 해결 ]
case class를 main method 바깥으로 빼서 처리
뭔가 컴파일 시점에 case class를 정의하는 시점과 case class를 통한 spark의 action이 일어나는 시점과 연관이 있을 것 같
은데 자세한 원인에 대해서는 파악하지 못했다ㅠ 혹시 조언해주실분 있으면 감사하겠습니다.
스칼라 공부를 좀 더 심도있게해야 할듯 싶다.
반응형
'Bigdata > Spark' 카테고리의 다른 글
[Spark] spark직렬화 포맷 (0) | 2017.08.11 |
---|---|
[Spark] scala.reflect.api.JavaUniverse.runtimeMirror 에러 (0) | 2017.07.27 |
[Spark] 스파크(spark)버전에 따른 SparkConf와 SparkSession 사용하기 (0) | 2017.07.27 |
[Spark] spark collect연산시 주의사항 (0) | 2017.07.14 |
[Spark] Dateformat orc vs parquet 테스트 (3) | 2017.05.11 |