오늘의 인기 글
최근 글
최근 댓글
Today
Total
03-29 12:36
관리 메뉴

우노

[Spark] sbt를 사용한 간단한 Jar 파일 빌드 본문

Data/Spark

[Spark] sbt를 사용한 간단한 Jar 파일 빌드

운호(Noah) 2020. 7. 14. 17:42

sbt 설치방법

sbt를 사용한 간단한 Jar 파일 빌드

  • Base Directory 생성 및 접근

      mkdir test && cd test
  • Base Directory 내부에 build.sbt 파일 생성

    • Scala version 확인 후 맞추기

    • 필요한 라이브러리를 Scala version에 맞춰 추가

    • build.sbt 작성 예

          version := "1.0"
          scalaVersion := "2.11.12"
      
          libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.4"
          libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.4.4"
          libraryDependencies += "org.apache.spark" %% "spark-mllib" % "2.4.4" 
      
          artifactName := { (sv: ScalaVersion, module: ModuleID, artifact: Artifact) =>
                  "spark_test.jar"
          }
  • Base Directory 내부에 Scala 파일 생성

      vi test.scala
  • Scala 파일을 Jar 파일로 빌드

      sbt package

'Data > Spark' 카테고리의 다른 글

[Spark] Spark 구조 및 실행 흐름  (1) 2020.07.15
[Spark] yarn 구조 및 실행 순서  (0) 2020.07.14
[Spark] Broadcast 란?  (0) 2020.07.13
[Spark] RDD 란?  (0) 2020.07.13
[Spark] Spark와 Hadoop MapReduce의 차이  (0) 2020.07.12
Comments