반응형
jar로 작업된 스파크 프로젝트를 spark-submit 실행시 아래와 같은 에러가 발생했다.
RejectedExecutionException은 첨 겪어봐서 당황했지만....문제의 원인은 단순했다.
java.util.concurrent.RejectedExecutionException: Task org.apache.spark.scheduler.TaskResultGetter$$anon$2@ab4016a rejected from java.util.concurrent.ThreadPoolExecutor@9c5a328[Terminated, pool size = 0, active threads = 0, queued tasks = 0, completed tasks = 603]
at java.util.concurrent.ThreadPoolExecutor$AbortPolicy.rejectedExecution(ThreadPoolExecutor.java:2063)
at java.util.concurrent.ThreadPoolExecutor.reject(ThreadPoolExecutor.java:830)
프로젝트 빌드시 spark driver셋팅을 잘못해준것...
trait InitSpark {
// for local
// val sparkConf = new SparkConf().setAppName("Spark-1.6.x-sample").setMaster("local[*]").set("spark.driver.host", "localhost");
// for build
val sparkConf = new SparkConf().setAppName("Spark-1.6.x-sample")
val sc = new SparkContext(sparkConf)
val sqlContext = new HiveContext(sc)
}로컬모드 (setMaster("local[*]").set("spark.driver.host", "localhost") 로 빌드하고 돌려서 문제가 되었다...
보통은 작업한 스파크 버전과 spark-submit을 실행하는 환경의 스파크 버전이 달라도 발생하는 에러메세지라고 한다.
반응형
'Bigdata > Spark' 카테고리의 다른 글
| Spark(스파크) 작업이 생각보다 너무 느릴 때, repartition (0) | 2019.12.23 |
|---|---|
| [ Spark ] binary형태 데이터 읽기 (0) | 2019.07.24 |
| [ Spark ] sort와 order by 차이점??? (0) | 2019.07.16 |
| [ Spark ] 스파크 작업 중 만난 "no space left on device" 에러 (0) | 2019.06.12 |
| [ Spark ] 스파크 특정 노드에서 기존에 발생하지 않던 이슈가 발생했다면? (0) | 2019.03.27 |
