[Spark] sbt를 사용한 간단한 Jar 파일 빌드

sbt 설치방법

• https://wooono.tistory.com/32 참고

sbt를 사용한 간단한 Jar 파일 빌드

• Base Directory 생성 및 접근

    mkdir test && cd test

• Base Directory 내부에 build.sbt 파일 생성

  • Scala version 확인 후 맞추기

  • 필요한 라이브러리를 Scala version에 맞춰 추가

    • https://mvnrepository.com/artifact/org.apache.spark

  • build.sbt 작성 예

        version := "1.0"
        scalaVersion := "2.11.12"
    
        libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.4"
        libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.4.4"
        libraryDependencies += "org.apache.spark" %% "spark-mllib" % "2.4.4" 
    
        artifactName := { (sv: ScalaVersion, module: ModuleID, artifact: Artifact) =>
                "spark_test.jar"
        }

• Base Directory 내부에 Scala 파일 생성

    vi test.scala

• Scala 파일을 Jar 파일로 빌드

    sbt package