[Spark] spark.executor.heartbeatInterval 오류

• 오류

    WARN Executor: Issue communicating with driver in heartbeater
    org.apache.spark.rpc.RpcTimeoutException: Futures timed out after [10000 milliseconds]

• 원인

  • spark.executor.heartbeatInterval란 드라이버에 대한 각 익스큐터의 하트비트 간격입니다.
    • 하트 비트는 Executor가 아직 실행 중임을 알리고 진행중인 작업을 메트릭으로 업데이트합니다.
  • 따라서, 하트비트 통신 간격이 기본값을 초과하면 오류가 발생합니다.
    • 기본값은 10s입니다.
    • 이 값은 spark.network.timeout 보다 월등히 작아야합니다.

• 해결방법

  • spark.executor.heartbeatInterval 값을 수정합니다.

      --conf spark.executor.heartbeatInterval=10000s

  • 명령어 적용 예

      spark-shell --master local --driver-memory 120G --conf spark.driver.maxResultSize=20g spark.executor.heartbeatInterval=100000ms