목록2020/11 (26)
우노
COO형식의 Custom Sparse Matrix 생성 코드 코드 import random import os # 생성하고자하는 Sparse matrix의 행,렬,density 입력 row = 10000 col = 10000 density = 0.05 nnz = int(row * col * density) # 결과 파일명 (M_행_열_density_nnz) file = "M_" + str(row) + "_" + str(col) + "_" + str(density) + "_" + str(nnz) # 행,열 중복 확인용 dic dic = {} with open(file,"w") as w: for i in range(nnz): # 행,열,값 난수 생성 row_idx = random.randrange(0,row)..
random 모듈이란? Python에서 난수(random number)를 구할 수 있는 모듈입니다. 일부 자주 사용할 것 같은 함수들만 소개하겠습니다. random 모듈은 import random 한 뒤, random.함수이름() 을 통해 random 모듈에 존재하는 함수들을 가져와 사용할 수 있습니다. import random random.random() (0.0
주성분 분석(PCA, Principal Component Analysis) 데이터의 차원이 커지면 커질수록 계산 복잡도와 정확도가 떨어진다. 다차원 데이터를 설명할 수 있는 핵심 축을 찾는다면, 작은 차원으로 모든 데이터를 설명할 수 있다. 데이터를 작은 차원으로 줄이는 방법 중 한 가지가 PCA이다. 차원 축소 차원 축소 방법 데이터가 아래와 같이 구성되어 있을 때, 어떤 차원으로 축소할 수 있을까? 방법 1) 아무 차원이나 지운다. 차원을 지운 후, 나머지 데이터를 사영시켰을 때, 분산을 최대화 하는 축을 사용한다. 방법 2) 기존의 축이 아닌 새로운 축을 찾는다 ⇒ 주 성분 찾기 기존의 축이 아닌 새로운 축에 사영해, 분산을 최대로 하는 축을 구한다. 축은 어떻게 구하는가? 아무 축이나 찾고, 분산..
AWS EC2 인스턴스 생성 및 접속 AWS EC2 인스턴스 생성 및 접속 방법은 안다고 가정하고 진행 하겠습니다. 원하는 인스턴스 유형을 만들어 접속합니다. 테스트 환경에서는 m5.4xlarge / 16 / 64GB 를 사용했습니다. AWS EC2에 주피터 노트북(Jupyter Notebook) 설치하기 sudo apt-get update -y sudo apt-get install python3-pip -y sudo pip3 install notebook 주피터 노트북(Jupyter Notebook) 비밀번호 설정 및 접속 환경 설정 주피터 노트북 비밀번호 설정 python3 >> from notebook.auth import passwd >> passwd() # 비밀번호 설정 후 암호화 된 값 비밀번..
모듈 호출 import os 폴더 생성 os.mkdir("path") 파일명 변경 # 파일이 현재 디렉토리에 있을 경우 os.rename(file,newfile) # 파일이 다른 디렉토리에 있을 경우 os.rename('./dir/'+file, './dir/'+newfile)
시간 측정 코드 단위는 초 입니다. import time start = time.time() # 시작 시간 저장 # 작업 코드 print("time :", time.time() - start) # 현재시각 - 시작시간 = 실행 시간
python의 SciPy 라이브러리를 활용하면 특정 density를 가진 sprase random matrix를 만들 수 있습니다. reference https://docs.scipy.org/doc/scipy/reference/generated/scipy.sparse.random.html Prameters scipy.sparse.random(m, n, density=0.01, format='coo', dtype=None, random_state=None, data_rvs=None) m, n 행렬의 크기 density 행렬의 밀도 dtype 반환 된 행렬 값의 유형 random_state 난수 시드 data_rvs 확률 분포 지정 Sparse random matrix 생성 Scipy.spar..
import numpy as np import pandas as pd from sklearn.linear_model import LinearRegression from sklearn.metrics import r2_score from sklearn.model_selection import train_test_split # 데이터 input_df = pd.read_csv('./spark-memory.csv') # 데이터에서 feature, target 분리 feature_df = input_df[['matrix_dimension','left_nnz','right_nnz']] target_df = input_df['왼쪽, 오른쪽 희소행렬 저장&..
이 글에선 docker를 이용한 MySQL 설치 및 접속 방법에 대해 알아볼 것이다. Docker가 설치되는 환경은 EC2 라고 가정한다. docker 설치 sudo yum update -y sudo yum install docker -y sudo service docker start sudo usermod -a -G docker ec2-user # 재접속 MySQL 이미지 다운 # 최신버전의 MySQL 이미지 다운로드 docker pull mysql # 가져온 이미지 확인 docker images MySQL 이미지를 사용해 컨테이너 생성 # mysql container DB를 저장할 저장소 mkdir mysqldata # MySQL 이미지를 사용해 컨테이너 생성 docker run -d -p 3306:..
HTTPS를 사용하려면 SSL/TLS 인증서가 필요하다. SSL/TLS 인증서는 인터넷 같이 TCP/IP 네트워크를 사용하는 통신에 적용되며, 통신 과정에서 전송계층 종단간 보안과 데이터 무결성을 확보해준다. SSL/TLS 인증서를 사용하는 방법은 2가지이다. 1) 서버 내부에 SSL인증서를 설치하고 서비스하는 방법 (일반적인 기존 방식) 2) AWS에서 제공하는 인증서 관리 서비스인 ACM(AWS Certificate Manager)을 적용하는 방법 즉, AWS Certificate Manager(ACM)를 이용하면 AWS 플랫폼에서 SSL/TLS 인증서를 편하게 프로비저닝, 관리, 배포, 갱신할 수 있다. Route 53 도메인 등록 AWS Console → Route 53 → 도메인 → 등록된 도메..