Spark scala.reflect.api.JavaUniverse.runtimeMirror 에러
Exception in thread "main" java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/lang/ClassLoader;)Lscala/reflect/api/JavaMirrors$JavaMirror;
at com.payco.dmp.orc.converter.ClickerScala$.main(ClickerScala.scala:36)
at com.payco.dmp.orc.converter.ClickerScala.main(ClickerScala.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:743)
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
spark-submit으로 spark 작업 실행 중 다음과 같은 에러 메세지가 떨어졌다면 build.sbt의 scala버전과 spark library의 버전이
서버에서 사용중인 spark 버전과 맞는지 확인하기 바란다.
나의 경우는 spark2.1.1 에서 동작하는 scala spark프로젝트 내부 scalaVersion을 2.10.5에서 2.11.5로 변경하여 해결하였다.
'Bigdata > Spark' 카테고리의 다른 글
[Spark] scala spark(스파크) orc 파일읽기 (spark read hive orc format) (0) | 2017.09.18 |
---|---|
[Spark] spark직렬화 포맷 (0) | 2017.08.11 |
[Spark] 스파크(spark)버전에 따른 SparkConf와 SparkSession 사용하기 (0) | 2017.07.27 |
[Spark] 스파크(Spark) No TypeTag available for 에러 (0) | 2017.07.27 |
[Spark] spark collect연산시 주의사항 (0) | 2017.07.14 |