반응형
Spark 직렬화 포맷
spark는 네트워크로 데이터를 전송하거나 디스크에 쓸 때 객체들을 직렬화해 바이너리 포맷으로 변환한다.
기본적으로 Java에 내장된 직렬화를 이용하지만 spark는 java 직렬화보다 훨씬 향상된 서드파티 라이브러리인
kryo를 쓰는 것을 지원한다.
반응형
'Bigdata > Spark' 카테고리의 다른 글
| [Spark] 하둡 MR보다 스파크(SPARK)를 사용할 때 장점 (0) | 2017.10.24 |
|---|---|
| [Spark] scala spark(스파크) orc 파일읽기 (spark read hive orc format) (0) | 2017.09.18 |
| [Spark] scala.reflect.api.JavaUniverse.runtimeMirror 에러 (0) | 2017.07.27 |
| [Spark] 스파크(spark)버전에 따른 SparkConf와 SparkSession 사용하기 (0) | 2017.07.27 |
| [Spark] 스파크(Spark) No TypeTag available for 에러 (0) | 2017.07.27 |