우노

DataFrame에서 랜덤한 행을 추출하는 방법 원하는 개수 만큼 추출할 때 df.sample(n=5) 원하는 % 만큼 추출할 때 df.sample(frac=0.7) DataFrame의 전체 행을 랜덤하게 섞는 방법 frac을 사용해 전체 데이터를 shuffling 할 수 있다. frac=1을 사용해 모든 데이터를 shuffling 해 반환하고 reset_index를 사용해 기존의 index가 아닌 새로운 indexing을 가능케한다. df.sample(frac=1).reset_index(drop=True)

사전 작업 생성할 Custom Sparse Matrix 값이 담겨있는 csv 파일을 s3에 업로드 로컬에 있는 customsparsematrix.sh 수정 생성할 Custom Sparse Matrix 값이 담겨있는 csv s3 경로 수정 생성한 Custom Sparse Matrix를 저장할 s3 경로 수정 AWS CLI Instance 생성 명령어 --user-data : Instance 생성 시 실행할 로컬 쉘 스크립트 경로 aws ec2 run-instances \ --user-data file:///Users/bdlab/Desktop/aws-lab/customsparsematrix.sh \ --image-id ami-00f045aed21a55240 \ --count 1 \ --instance-typ..

Python 파일 자체를 실행하는 방법 #!/bin/bash python3 /Users/bdlab/Desktop/test.py Python 코드를 작성해 실행하는 방법 #!/bin/bash # EOF 내의 명령어는 python3로 수행됨 python3 -

Python 코드에서 Shell 명령어를 실행하고 싶다면, 두 가지 모듈(os, subprocess)을 사용해 수행할 수 있다. os 모듈 사용 # 모듈 import import os # 쉘 명령어 실행 os.system("echo test")

기본적인 aws cli 설정 방법은 어렵지 않다. AWS Console의 IAM에서 유저를 생성하고 Access Key를 생성하면 된다. 생성된 키를 통해, 로컬이 AWS의 권한을 갖도록 설정하는 방법은 다음과 같다. aws configure / aws configure set 다음 두 가지 방식 중 하나를 사용해 Access Key, Secret Access Key, Region 및 Output 형식을 설정하면 된다. aws configure #AWS Access Key ID [****************aaaa]: #AWS Secret Access Key [****************aaaa]: #Default region name [ap-northeast-1]: #Default output fo..

export 변수 명 앞에 export을 붙여주면 환경 변수(environment variable)로 설정되어 Python 파일, 자식 스크립트 등에서 해당 변수 사용이 가능해진다. 예제 1 - Python 파일에서 환경 변수 선언 및 호출 #!/bin/bash # python 코드 안에서 사용할 수 있는 환경 변수 선언 export name="unho" # EOF 내의 명령어는 python3로 수행됨 python3 -

아래 명령어를 통해, Instance 내부에서 해당 Instance의 --instance-ids를 얻을 수 있다. $ ec2-metadata -i instance-id: i-1234567890abcdef0

에러 warning: here-document at line 1 delimited by end-of-file (wanted `EOF') 원인 및 해결 방법 EOF 사용시, EOF 앞과 뒤에 공백이 있을 경우 발생합니다. 공백을 지워 사용하면 됩니다.

OS는 크게 Windows, Linux, Unix, MacOS 등으로 나뉘며 Linux는 크게 레드햇, 데비안, 우분투로 나뉜다. Linux는 계열에 따라 패키지 관리 명령어가 다르며 레드햇 계열은 yum을 사용하고 데비안, 우분투 계열은 apt-get을 사용한다. 레드햇 계열 (yum) sudo yum update -y sudo yum install python3 pip3 -y python3 --version pip3 --version 우분투 계열 (apt-get) sudo apt-get update -y sudo apt-get install python3 pip3 -y python3 --version pip3 --version

전제 조건 로컬환경에 AWS CLI가 설치 및 구성되어 있다 가정하고 진행하겠습니다. EC2 생성 시, 실행하고자 하는 Shell Script 테스트 환경에서는 실행하고자 하는 Shell Script 파일을 로컬에 저장 후, --user-data 옵션에서 불러오는 방식으로 사용했습니다. #!/bin/bash 로 시작해야합니다. script를 실행하는 유저는 root이기 때문에, sudo를 붙이지 않아도 됩니다. 패키지를 설치할 땐, -y 옵션을 붙여 precess가 멈추는 일을 방지해야 합니다. #!/bin/bash # EC2 생성 시, test 디렉토리 생성 mkdir /home/ec2-user/test AWS CLI를 사용해, EC2 생성 시 Shell Script를 실행하는 방법 AWS CLI의 r..