반응형
Spark datafrmae에서 데이터 정렬할 떄
dataframe.orderBy(desc("columnName"))
dafaframe.sort(desc("columnName"))
두 개 차이점이 뭘까???
OrderBy는 단순히 sort function의 alias라는점!!!...결국 동일하다는 얘기
[ Spark documentation ]
/**
* Returns a new Dataset sorted by the given expressions.
* This is an alias of the `sort` function.
*
* @group typedrel
* @since 2.0.0
*/
@scala.annotation.varargs
def orderBy(sortCol: String, sortCols: String*): Dataset[T] = sort(sortCol, sortCols : _*)
반응형
'Bigdata > Spark' 카테고리의 다른 글
Spark(스파크) 작업이 생각보다 너무 느릴 때, repartition (0) | 2019.12.23 |
---|---|
[ Spark ] binary형태 데이터 읽기 (0) | 2019.07.24 |
[ Spark ] 스파크 작업 중 만난 "no space left on device" 에러 (0) | 2019.06.12 |
[ Spark ] 스파크 특정 노드에서 기존에 발생하지 않던 이슈가 발생했다면? (0) | 2019.03.27 |
[ Spark ] 리눅스 서버에서 스파크(SPARK)버전 확인하기 (0) | 2019.03.13 |