오늘의 인기 글
최근 글
최근 댓글
Today
Total
01-02 02:44
관리 메뉴

우노

[Spark] Spark 로그 확인 라이브러리 본문

Data/Spark

[Spark] Spark 로그 확인 라이브러리

운호(Noah) 2021. 2. 25. 16:57

log4j

  • Apache Spark 작업을 실행할 때, 작업이 어떻게 진행되는지 로그를 찍어가며 확인하고 싶다면

  • Apache log4j을 사용해 Log를 확인할 수 있다.

  • log4j는 Scala에서도 사용할 수 있는 인기있는 Java 기반 로깅 유틸리티이다.

  • 사용 예제

      import org.apache.log4j.LogManager

  val log = LogManager.getRootLogger

  log.warn("test")
저작자표시

'Data > Spark' 카테고리의 다른 글

[Spark] Breeze CSCMatrix * CSCMatrix 분석  (0) 2021.03.17
[Spark] Spark SparseMatrix를 Breeze CSCMatrix로 변환하는 방법  (0) 2021.03.04
[Spark] Matrix를 일정 단위로 slice 한 뒤 각각의 nnz, density 구하기  (0) 2020.11.30
[Spark] java.lang.IllegalArgumentException: requirement failed: dense matrix is too large to allocate , java.lang.NegativeArraySizeException 에러 원인 및 해결 방법  (3) 2020.10.29
[Spark] java.lang.IllegalArgumentException: Required executor memory (13312), overhead (2496 MB), and PySpark memory (0 MB) is above the max threshold (12288 MB) of this cluster! 에러 원인 및 해결 방법  (0) 2020.10.27
'Data/Spark' Related Articles more
Comments