[Spark] Java, Spark, Scala 버전 변경하기

Java 버전 변경 (openjdk 11.0.2)

# 자바 버전 확인
java -version

# 기본 java 파일 위치 확인
which java
ls -l /usr/bin/java

# /usr/local에 openjdk 설치
cd /usr/local
curl -O https://download.java.net/java/GA/jdk11/9/GPL/openjdk-11.0.2_linux-x64_bin.tar.gz
tar zxvf openjdk-11.0.2_linux-x64_bin.tar.gz

# JAVA_HOME(환경변수) 설정
# 기본 java 파일 위치를 /usr/local/jdk-11.0.2로 설정
sudo vim /etc/profile.d/jdk.sh
export JAVA_HOME=/usr/local/jdk-11.0.2
export PATH=$PATH:$JAVA_HOME/bin

# 파일 업데이트
source /etc/profile

# 기존의 기본 java 파일 삭제
# /usr/bin/java를 /usr/local/jdk-11.0.2/bin/java로 링크
rm /usr/bin/java
ln -s $JAVA_HOME/bin/java /usr/bin/java

# 기본 java 폴더
cd /usr/java/

# 기본 java 폴더(default폴더) 옮기기
mv default temp_default

# 링크 연결
# default -> /usr/local/jdk-11.0.2로 가도록
ln -s /usr/local/jdk-11.0.2/ default

# java 버전 확인
java -version

Spark 버전 변경 (Spark 3.0.0)

# /usr/local에 spark-3.0.0-bin-without-hadoop.tgz 다운로드
cd /usr/local/
wget http://apache.mirror.cdnetworks.com/spark/spark-3.0.0/spark-3.0.0-bin-hadoop3.2.tgz

# 압축해제
tar zxvf spark-3.0.0-bin-hadoop3.2.tgz

# /usr/local에서 spark 지우기
rm spark

# spark의 링크로 spark-3.0.0-bin-without-hadoop 지정
ln -s spark-3.0.0-bin-hadoop3.2 spark

Scala 버전 변경 (Scala 2.12.3)

# 패키지 삭제
sudo apt-get remove scala-library scala -y

# scala 설치
sudo wget https://downloads.lightbend.com/scala/2.12.3/scala-2.12.3.deb
sudo dpkg -i scala-2.12.3.deb
sudo apt-get update
sudo apt-get install scala -y

# 사용되지 않는 패키지 삭제
sudo apt autoremove -y

# scala 실행
scala