목록AWS (37)
우노
DynamoDB + Lambda 를 통해 DynamoDB 테이블 항목을 조작하는 RESTful API 생성 구현 순서 DynamoDB 콘솔을 사용하여, DynamoDB 테이블 생성 DynamoDB 콘솔을 사용하여, DynamoDB 항목 생성 AWS Lambda 콘솔을 사용하여, Lambda 함수 생성 API Gateway 콘솔을 사용하여, REST API 생성 API 테스트 실행 순서 사용자가 REST API 를 호출하면, API Gateway 는 요청을 Lambda 함수로 라우팅 Lambda 함수는 DynamoDB 와 상호 작용하고, API Gateway 에 대한 응답을 반환 API Gateway 는 Lambda 로부터 받은 응답을 사용자에게 반환 1. DynamoDB 테이블 생성 https://con..
aws configure --profile AWS CLI 는 --profile 옵션을 통해, 여러 AWS 계정에 접근하도록 관리할 수 있습니다. AWS CLI 설정 AWS CLI 를 설정하는 것은 어렵지 않습니다. 우선, aws configure 로 접근할 AWS 계정의 Console 화면에 접근한 뒤, IAM 사용자를 생성하고 Access Key를 발급하면 됩니다. https://wooono.tistory.com/188 Access Key 를 발급했다면, 아래 명령어를 통해 aws configure 설정을 진행하며, --profile 옵션에 계정 이름을 할당합니다. aws configure --profile username AWS Access Key ID [None]: AWS Secret Access ..
S3 접근 역할 생성 Lambda에서 S3에 접근하기 위해선 AmazonS3FullAcess 역할이 필요함. IAM → 역할 → 역할 만들기 → 사용 사례 : Lambda → AmazonS3FullAccess 할당 → 역할명 입력 → 역할 생성 Lambda 생성 Lambda → 함수 생성 → 함수 이름 입력 → 런타임 python 3.8 기본 실행 역할 변경 → 기존 역할 사용 → 생성한 S3 접근 역할 선택 → 함수 생성 Lambda 함수 작성 S3 파일 다운로드 import boto3 # 버킷명 BUCKET_NAME = 'unho-spmm' # 객체명 OBJECT_NAME = 'model/sp_smdm_xgb.model' # 파일을 저장할 위치, AWS Lambda에서는 ..
Spark 서브 모듈 빌드 spark 다운로드 사이트 https://github.com/apache/spark Spark release : 3.1.1 package type : Pre-build for Apache Hadoop 2.7 download wget https://mirror.navercorp.com/apache/spark/spark-3.1.1/spark-3.1.1.tgz tar -xvzf spark-3.1.1.tgz 간단한 코드 수정 (오류 시 출력하는 문구 변경) github reference code (Spark sparse - dense multiplication) https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/..
사전 작업 생성할 Custom Sparse Matrix 값이 담겨있는 csv 파일을 s3에 업로드 로컬에 있는 customsparsematrix.sh 수정 생성할 Custom Sparse Matrix 값이 담겨있는 csv s3 경로 수정 생성한 Custom Sparse Matrix를 저장할 s3 경로 수정 AWS CLI Instance 생성 명령어 --user-data : Instance 생성 시 실행할 로컬 쉘 스크립트 경로 aws ec2 run-instances \ --user-data file:///Users/bdlab/Desktop/aws-lab/customsparsematrix.sh \ --image-id ami-00f045aed21a55240 \ --count 1 \ --instance-typ..
기본적인 aws cli 설정 방법은 어렵지 않다. AWS Console의 IAM에서 유저를 생성하고 Access Key를 생성하면 된다. 생성된 키를 통해, 로컬이 AWS의 권한을 갖도록 설정하는 방법은 다음과 같다. aws configure / aws configure set 다음 두 가지 방식 중 하나를 사용해 Access Key, Secret Access Key, Region 및 Output 형식을 설정하면 된다. aws configure #AWS Access Key ID [****************aaaa]: #AWS Secret Access Key [****************aaaa]: #Default region name [ap-northeast-1]: #Default output fo..
아래 명령어를 통해, Instance 내부에서 해당 Instance의 --instance-ids를 얻을 수 있다. $ ec2-metadata -i instance-id: i-1234567890abcdef0
OS는 크게 Windows, Linux, Unix, MacOS 등으로 나뉘며 Linux는 크게 레드햇, 데비안, 우분투로 나뉜다. Linux는 계열에 따라 패키지 관리 명령어가 다르며 레드햇 계열은 yum을 사용하고 데비안, 우분투 계열은 apt-get을 사용한다. 레드햇 계열 (yum) sudo yum update -y sudo yum install python3 pip3 -y python3 --version pip3 --version 우분투 계열 (apt-get) sudo apt-get update -y sudo apt-get install python3 pip3 -y python3 --version pip3 --version
전제 조건 로컬환경에 AWS CLI가 설치 및 구성되어 있다 가정하고 진행하겠습니다. EC2 생성 시, 실행하고자 하는 Shell Script 테스트 환경에서는 실행하고자 하는 Shell Script 파일을 로컬에 저장 후, --user-data 옵션에서 불러오는 방식으로 사용했습니다. #!/bin/bash 로 시작해야합니다. script를 실행하는 유저는 root이기 때문에, sudo를 붙이지 않아도 됩니다. 패키지를 설치할 땐, -y 옵션을 붙여 precess가 멈추는 일을 방지해야 합니다. #!/bin/bash # EC2 생성 시, test 디렉토리 생성 mkdir /home/ec2-user/test AWS CLI를 사용해, EC2 생성 시 Shell Script를 실행하는 방법 AWS CLI의 r..
SSH 접속 시 아래와 같은 에러가 발생했다. @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: UNPROTECTED PRIVATE KEY FILE! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ Permissions 0755 for 'unho-tokyo.pem' are too open. It is required that your private key files are NOT accessible by others. This private key will be ignored. 해결 방법 Private key의 Permission이 너무 공개되어 있어서..