[spark] 스파크 작업 실행하고 처리시간(elapsed) 확인

스칼라쉘에서 스파크로 작업을 작업을 하고 처리시간을 확인하고 싶을때는 SparkSession의 time() 함수를 이용합니다.

spark.time(실행 함수)

spark.time(sql("select * from tbl"))

AWS EMR이의 스파크에는 해당 함수가 없어서 SparkSession에서 함수를 가져와서 이용하면 됩니다. 다른 작업에서도 처리 시간을 알고 싶을 때 이용하면 됩니다.

scala> time(sql("use db"))

Time taken: 12 ms
res7: org.apache.spark.sql.DataFrame = []

위와 같이 처리하면 Time taken으로 처리 시간을 확인할 수 있습니다.

SparkSession 스칼라 소스코드: 바로가기