목록AWS (37)
우노
/usr/lib/spark/jars
/etc/spark/conf/spark-defaults.conf
sudo stop zeppelin sudo start zeppelin
실험 환경 AWS EMR 환경에서 진행 Input file은 s3에서 가져온다. Output file은 local에 저장한다. 1. scala 코드 작성 spark_test.scala 코드 작성 import org.apache.spark.sql._ import org.apache.spark.sql.functions._ import org.apache.spark.sql.SparkSession import org.apache.spark.ml.linalg.SparseMatrix import java.util.concurrent.TimeUnit.NANOSECONDS // 로컬파일에 결과를 적기 위해 모듈 호출 import java.io.PrintWriter import java.io.File import jav..
데이터셋을 Amazon DocumentDB에 Migration 하기 오프라인 접근 방식 : mongodump 및 mongorestore 도구를 사용하여 Amazon DocumentDB 클러스터로 데이터를 마이그레이션할 수 있다. 순서 MongoDB에 데이터를 업로드 한다. MongoDB의 컬렉션 데이터 및 인덱스를 덤프한다. 덤프한 인덱스를 Amazon DocumentDB 클러스터에 복원한다. 덤프한 컬렉션 데이터를 Amazon DocumentDB 클러스터에 복원한다. Migration 된 Amazon DocumentDB 데이터 확인 Step 1. MongoDB에 데이터를 업로드 한다. docker 설치 및 Mongodb container 생성 sudo yum update -y sudo yum insta..
1. EC2 Instance 접속 ssh -i "Ec2-for-documentDB-access.pem" ec2-user@ec2-54-89-18-159.compute-1.amazonaws.com 2. MongoDB shell 설치 sudo vi /etc/yum.repos.d/mongodb-org-3.6.repo [mongodb-org-3.6] name=MongoDB Repository baseurl=https://repo.mongodb.org/yum/amazon/2013.03/mongodb-org/3.6/x86_64/ gpgcheck=1 enabled=1 gpgkey=https://www.mongodb.org/static/pgp/server-3.6.asc Mongodb shell, Mongdb Tool (..
i 옵션 AWS EC2 pem key 용 r 옵션 여러 파일을 포함하고 있는 디렉토리 이동 시 사용 파일 이동시 //로컬 → AWS EC2 scp -i [pem파일경로] [로컬 파일 경로] [ec2-user계정명]@[ec2 instance의 public DNS]:~/[서버 파일 경로] //AWS EC2 → 로컬 scp -i [pem파일경로] [ec2-user계정명]@[ec2 instance의 public DNS]:~/[서버 파일 경로] [로컬 파일 경로] 디렉토리 이동시 //로컬 → AWS EC2 scp -i [pem파일경로] -r [로컬 폴더 경로] [ec2-user계정명]@[ec2 instance의 public DNS]:~/[서버 폴더 경로] //AWS EC2 → 로컬 scp -i [pem파일경로] ..