목록전체 글 (762)
우노
Java 버전 변경 (openjdk 11.0.2) # 자바 버전 확인 java -version # 기본 java 파일 위치 확인 which java ls -l /usr/bin/java # /usr/local에 openjdk 설치 cd /usr/local curl -O https://download.java.net/java/GA/jdk11/9/GPL/openjdk-11.0.2_linux-x64_bin.tar.gz tar zxvf openjdk-11.0.2_linux-x64_bin.tar.gz # JAVA_HOME(환경변수) 설정 # 기본 java 파일 위치를 /usr/local/jdk-11.0.2로 설정 sudo vim /etc/profile.d/jdk.sh export JAVA_HOME=/usr/loca..
도커파일 생성 생성 방법 https://wooono.tistory.com/123 Image 생성 docker build -t [이미지이름:태그] [도커파일위치] Image 확인 docker images 이미지 삭제 docker rmi [이미지]
이미지를 사용해 컨테이너 생성 명령어 구조 docker run [옵션] [컨테이너이름] [옵션] [이미지[:TAG|@DIGEST]] [명령어] [매개변수] 사용 예1 docker run --name kubia-container -p 8080:8080 -d kubia 사용 예2 docker run --name unho-spark -it kmubigdata/ubuntu-spark bash 옵션 -d detached mode 흔히 말하는 백그라운드 모드 -p 호스트와 컨테이너의 포트를 연결 (포워딩) -v 호스트와 컨테이너의 디렉토리를 연결 (마운트) -e 컨테이너 내에서 사용할 환경변수 설정 -name 컨테이너 이름 설정 -rm 프로세스 종료시 컨테이너 자동 제거 -it -i와 -t를 동시에 사용한 것으로 ..
/ : 최상위 디렉토리(루트 디렉토리) /bin : binary의 약자로 실행파일 모음. 일반적으로 사용하는 mv, cat등 명령어 프로그램들이 있음 /boot : 부팅과 관련된 파일들이 모여있음 /dev : device의 약자로 물리적인 장치들이 파일화 되어 있다. /etc : 각종 환경 설정 파일들이 모여 있음 /home : 개인사용자들 디렉토리 /lib : 각종 라이브러리 저장 디렉토리 /mnt : CD-ROM, 네트워크 파일 시스템 등을 마운트 할때 사용되는 디렉토리 /proc : 현재 실행되고 있는 프로세스들이 파일화 되어서 저장되는 디렉토리 /root : root계정의 홈 디렉토리 /sbin : System-binary의 약자로, 주로 시스템 관리자가 쓰는 시스템 관련 명령어 프로그램들이 모여..
리눅스 환경 설정 파일들을 수정하기만 한다고 바로 내용이 적용되는 것은 아니다. 리부팅이나 쉘에 재로그인 하지 않고 수정된 새로운 환경 설정 내용을 즉시 적용하기 위해서 source 명령어가 사용된다. source [환경설정 파일명]
which 란? which 명령어는, PATH 환경 변수에 설정된, 원하는 파일 또는 디렉토리의 절대 경로를 알 수 있는 명령어입니다. 명령어 예제 # vim 경로를 찾는 예제 $ which vim # /usr/bin/vim
ln ln은 Link 의 약어로서 리눅스 파일시스템에서 링크파일을 만드는 명령어이다. 리눅스에서는 심볼릭링크와 하드링크의 두가지 링크 파일이 존재한다. 심볼릭링크 (Symbolic Link) 단순히 원본파일을 가리키도록 링크만 시켜둔 것으로 MS의 윈도우시스템에서 흔히 사용하는 '바로가기' 같은 것이며, 원본파일을 가리키고만 있으므로 원본파일의 크기와는 무관한다. 그리고 심볼릭링크에서는 원본파일이 삭제되어 존재하지 않을 경우에 링크파일은 깜박거리면서 링크파일의 원본파일이 없다는 것을 알려준다. 하드링크 (Hard Link) 원본파일과 다른 이름으로 존재하는 동일한 파일이며 원본파일과 동일한 내용의 다른 파일이라고 할 수 있다. 그리고 하드링크에서는 원본파일과 링크파일 두개가 서로 다른 파일..
/usr/lib/spark/jars
Spark 구조 분산모드에서 Spark Application는 실제 일을 수행하는 역할을 담당하며 1개의 중앙 조정자(Driver)와 N개의 분산 작업 노드(Executor)로 구성된 마스터/슬레이브 구조입니다. Cluster에서 실행 된다면, 하나의 Spark application은 Cluster Manager라고 불리는 외부 서비스를 사용해 여러 개의 머신에서 실행 됩니다. Cluster Manager에는 standalone(단독 클러스터 매니저), YARN, Mesos 등이 있습니다. Spark 구성 요소 Spark Application Spark에서 수행되는 사용자 프로그램으로 1개의 Driver Program과 N개의 Executor로 구성 Driver Program 프로그램의 Main() 함수..
YARN 구조 Yarn 기본 요소 Resource Manager : 전체적인 자원 할당 관리 Resource Manager는 Client의 요청에 해당하는 Application Manager를 실행 Resource Manager는 Node Manager를 통해 전체 클러스터의 Resource 를 알고 관리할 수 있다. Resource Manager 은 클러스터 당 하나만 있다. Application Manager : Client가 요청한 작업을 전적으로 실행 어플리케이션에 필요한 자원 확인 후 Resource Manager에게 자원 요청 Node Manager에게 컨테이너를 만들라고 지시 할당된 컨테이너들은 Application Manager가 관리 Node Manager : 해당 노드의 자원 관리 No..