[Spark] Spark 실행 시간 측정

System.currentTimeMillis()

• console이 아닌 jar file을 통해 Apache Spark를 작업할 때,

• Spark 작업의 부분적인 실행 시간을 확인하고 싶다면, 아래와 같이 로그를 찍어가며 확인 할 수 있다.

• 사용 예제

    // Scala에서 사용할 수 있는 Java 기반 로깅 유틸리티
    import org.apache.log4j.LogManager
    val log = LogManager.getRootLogger
  
    // Time 측정 (ms단위)
    val tik0 = System.currentTimeMillis()
    val tik1 = System.currentTimeMillis()
  
    // 총 실행시간 (ms단위)
    val res = "Time taken : " + (tik1-tik0).toString + " ms"
  
    // 로그로 실행시간 출력
    log.warn(res)