우노

진행 순서 AWS 계정 생성 IAM 사용자 생성 (액세스 키 발급) AWS CLI 패키지 설치 AWS CLI 환경 설정 ( 자격 증명 및 구성 파일 생성 ) 1. AWS 계정 생성 계정이 있다고 가정하겠습니다. 보유하고 있는 계정에 로그인 합니다. 2. IAM 사용자 생성 (액세스 키 발급) AWS CLI를 통해 AWS의 Service를 이용하기 위해선 AWS 계정의 액세스 키가 필요합니다. 순서 1) AWS console 상단의 Service 탭에서 IAM 서비스를 찾아 접속합니다. 2) 사용자(Users) 탭 → 사용자추가(Add user)를 클릭합니다. 4) 사용자 이름(User name)을 작성하고 액세스 유형(Access type)에서 프로그래밍 방식 액세스를 활성화합니다. AWS CLI를 이용..

자동화에 필요한 파일 종류 1) jar 파일 1-1) build.sbt 작성 1-2) scala 코드 작성 1-3) 각 scala 코드에 대한 jar 파일 생성 후, s3 에 업로드 2) 실험 쉘스크립트(spmm.sh) 2-1) 작성 후, s3 에 업로드 3) 클러스터 생성 쉘스크립트(createcluster.sh) 4) 입력파일(input.csv) 4-1) s3 에 업로드 1) jar 파일 1-1) build.sbt 작성 version := "1.0" scalaVersion := "2.12.10" libraryDependencies += "org.apache.spark" %% "spark-core" % "3.0.1" libraryDependencies += "org.apache.spark" %% "sp..

AWS EC2 인스턴스 생성 및 접속 AWS EC2 인스턴스 생성 및 접속 방법은 안다고 가정하고 진행 하겠습니다. 원하는 인스턴스 유형을 만들어 접속합니다. 테스트 환경에서는 m5.4xlarge / 16 / 64GB 를 사용했습니다. AWS EC2에 주피터 노트북(Jupyter Notebook) 설치하기 sudo apt-get update -y sudo apt-get install python3-pip -y sudo pip3 install notebook 주피터 노트북(Jupyter Notebook) 비밀번호 설정 및 접속 환경 설정 주피터 노트북 비밀번호 설정 python3 >> from notebook.auth import passwd >> passwd() # 비밀번호 설정 후 암호화 된 값 비밀번..

HTTPS를 사용하려면 SSL/TLS 인증서가 필요하다. SSL/TLS 인증서는 인터넷 같이 TCP/IP 네트워크를 사용하는 통신에 적용되며, 통신 과정에서 전송계층 종단간 보안과 데이터 무결성을 확보해준다. SSL/TLS 인증서를 사용하는 방법은 2가지이다. 1) 서버 내부에 SSL인증서를 설치하고 서비스하는 방법 (일반적인 기존 방식) 2) AWS에서 제공하는 인증서 관리 서비스인 ACM(AWS Certificate Manager)을 적용하는 방법 즉, AWS Certificate Manager(ACM)를 이용하면 AWS 플랫폼에서 SSL/TLS 인증서를 편하게 프로비저닝, 관리, 배포, 갱신할 수 있다. Route 53 도메인 등록 AWS Console → Route 53 → 도메인 → 등록된 도메..

AWS CLI (Command Line Interface) 란? AWS CLI (Command Line Interface) 는 terminal 환경에서 아마존 웹 서비스를 이용할 수 있도록 도와주는 기능입니다. ubuntu 에서 파일 복사, 폴더 생성, 이동, 삭제 등에 이용되는 ls, rm, cp 와 같은 기능을 제공합니다. 이를 이용하려면 먼저 AWS IAM 을 등록해야 합니다. AWS 계정 안에서 각 목적에 따라 이용하는 사용자 계정이라 생각하면 됩니다. IAM 사용자 생성 (액세스 키 발급) AWS CLI를 통해 AWS의 Service를 이용하기 위해선 AWS 계정의 액세스 키가 필요합니다. 순서 1) AWS console 상단의 Service 탭에서 IAM 서비스를 찾아 접속합니다. 2) 사용자..

Amazon EMR에서 yarn-site.xml(Yarn 설정 파일)의 위치는 아래와 같다. /etc/hadoop/conf/yarn-site.xml

yarn resource 재시작 sudo systemctl stop hadoop-yarn-resourcemanager sudo systemctl status hadoop-yarn-resourcemanager sudo systemctl start hadoop-yarn-resourcemanager

ECS란? Docker는 최근 각광 받고 있는 컨테이너 기술이다. 하지만 Docker를 이용해 서비스를 구축 하려면 여러가지 고려 해야할 사항이 많다. 따라서 필연적으로 컨테이너를 적절하게 배치하고 관리할 수 있게 도와주는 컨테이너 오케스트레이션 도구의 필요성을 느끼게 된다. AWS의 ECS는 Amazon에서 제공하는 '완전관리형 컨테이너 오케스트레이션 툴'로써, Docker 컨테이너를 이용하여 인프라 환경을 좀 더 편리하게 운영,관리 할 수 있게 해주는 서비스이다. 비슷한 툴로서는 Kubernetes나 Docker Swarm이 있다. ECS 구성 요소 ECS는 크게 아래와 같은 컴포넌트들로 구성 되어 있다. Task definition Task Service Container Instan..

정의 Amazon EC2 RI(예약 인스턴스)는 온디맨드 요금과 비교하여 상당한 할인 혜택(최대 72%)을 제공하며 특정 가용 영역에서 사용하는 경우에는 용량 예약을 제공합니다. 예약 인스턴스 구매 방법 예약 인스턴스 구매는 간단합니다. AWS Management Console이나 API 도구를 사용하면 구매를 완료할 수 있습니다. AWS Management Console 사용 AWS Management Console에 로그인합니다. Amazon Web Services 메뉴에서 "EC2"를 선택합니다. 왼쪽 탐색 창에서 "Reserved Instances"를 선택합니다. "Purchase Reserved Instances"를 선택합니다. 옵션 선택 후 "Search" 합니다. Platform (운영체제)..

정의 스팟 인스턴스는 사전 약정 없이 사용할 수 있는 EC2 Instance 입니다. 원리 스팟 인스턴스는 사용자 제시 가격(입찰가격)을 정해놓고 저렴할 때 이용할 수 있습니다. 사용자가 제시한 가격보다 인스턴스 시장 가격이 높아지게 되면 인스턴스가 종료됩니다. 시장 가격은 인스턴스 패밀리, 인스턴스 크기, 가용 영역(AZ), 리전(Region) 등에 따라 달라집니다. 또한, 수요와 공급량에 따라 가격이 달라집니다. 종료 되는 시점을 알 수는 없습니다. 하지만 여유 자원에 대한 경매 방식으로 온디멘드 대비 80~90% 저렴합니다. 장점 1~6시간 이내 짧은 워크로드를 다루거나, 갑작스런 피크 타임에 해당하는 컴퓨팅 리소스를 확보해야 할 때 좋다. 즉, 단기적으로 수요가 많을 때 유리하다. 주로 Batch..