우노

이 글에선 docker를 이용한 MySQL 설치 및 접속 방법에 대해 알아볼 것이다. Docker가 설치되는 환경은 EC2 라고 가정한다. docker 설치 sudo yum update -y sudo yum install docker -y sudo service docker start sudo usermod -a -G docker ec2-user # 재접속 MySQL 이미지 다운 # 최신버전의 MySQL 이미지 다운로드 docker pull mysql # 가져온 이미지 확인 docker images MySQL 이미지를 사용해 컨테이너 생성 # mysql container DB를 저장할 저장소 mkdir mysqldata # MySQL 이미지를 사용해 컨테이너 생성 docker run -d -p 3306:..

HTTPS를 사용하려면 SSL/TLS 인증서가 필요하다. SSL/TLS 인증서는 인터넷 같이 TCP/IP 네트워크를 사용하는 통신에 적용되며, 통신 과정에서 전송계층 종단간 보안과 데이터 무결성을 확보해준다. SSL/TLS 인증서를 사용하는 방법은 2가지이다. 1) 서버 내부에 SSL인증서를 설치하고 서비스하는 방법 (일반적인 기존 방식) 2) AWS에서 제공하는 인증서 관리 서비스인 ACM(AWS Certificate Manager)을 적용하는 방법 즉, AWS Certificate Manager(ACM)를 이용하면 AWS 플랫폼에서 SSL/TLS 인증서를 편하게 프로비저닝, 관리, 배포, 갱신할 수 있다. Route 53 도메인 등록 AWS Console → Route 53 → 도메인 → 등록된 도메..

# 데이터 생성 x = np.array([1, 3, 5, 7]) y = np.array([ 6, 3, 9, 5 ]) # 산점도 그리기 plt.plot(x, y, 'o') # m = 기울기, b = 절편 m, b = np.polyfit(x, y, 1) # 직선 그리기 plt.plot(x, m*x + b)

AWS CLI (Command Line Interface) 란? AWS CLI (Command Line Interface) 는 terminal 환경에서 아마존 웹 서비스를 이용할 수 있도록 도와주는 기능입니다. ubuntu 에서 파일 복사, 폴더 생성, 이동, 삭제 등에 이용되는 ls, rm, cp 와 같은 기능을 제공합니다. 이를 이용하려면 먼저 AWS IAM 을 등록해야 합니다. AWS 계정 안에서 각 목적에 따라 이용하는 사용자 계정이라 생각하면 됩니다. IAM 사용자 생성 (액세스 키 발급) AWS CLI를 통해 AWS의 Service를 이용하기 위해선 AWS 계정의 액세스 키가 필요합니다. 순서 1) AWS console 상단의 Service 탭에서 IAM 서비스를 찾아 접속합니다. 2) 사용자..

Pandas를 사용할 때, 숫자가 지수표현식(과학적표기법)으로 나와서 불편할 때가 있습니다. 이럴 때는 Pandas display option을 바꿔주면 실수 표현이 가능합니다. import pandas as pd # 과학적 표기법 대신 소수점 5자리까지 나타낸다. pd.options.display.float_format = '{:.5f}'.format 다시 원래대로 옵션을 변경하고 싶을 때는 아래 명령어를 사용하면 됩니다. pd.reset_option('display.float_format')

Numpy를 사용할 때, 숫자가 지수표현식(과학적표기법)으로 나와서 불편할 때가 있습니다. 이 때, Numpy의 Precision을 사용하면 실수 표현이 가능합니다. import numpy as np # 과학적 표기법 대신 소수점 6자리까지 나타낸다. np.set_printoptions(precision=6, suppress=True)

비지도 학습 비지도 학습이란, 입력 데이터에 대한 출력 값(정답) 없이, 오직 입력 데이터만으로 학습을 진행한 뒤, 데이터로부터 유의미한 정보를 추출하는 머신러닝 기법입니다. 주요 기술 군집화(Clustering) 유사한 데이터들을 그룹화하는 작업 비정상 탐지(Anomaly detection) 예상치 못한 이벤트 또는 결과를 식별하는 작업 차원 축소(Dimension reduction) 고려해야하는 Feature 의 개수를 줄이는 작업 상관관계가 있는 여러 Feature 를 하나로 합치는 작업 K-Means Clustering K-Means Clustering 은 Clustering 기법 중 하나이며, K 는 데이터를 몇 개의 클러스터로 분할할지를 의미합니다. 알고리즘 순서 임의로 k 개의 중심점(cen..

라틴 하이퍼큐브 샘플링 (Latin Hypercube Sampling : LHS) 표본 추출(샘플링) 방법 중 하나로, 위 그림과 같이 데이터가 고르게 분포 되는 특징이 있습니다. python의 Latin Hyper Cube Sampling 라이브러리를 활용하면 고른 분포의 데이터셋을 생성해 줍니다. https://pythonhosted.org/pyDOE/randomized.html 특징 비교적 일관성 있게 샘플링 됩니다. 전반적으로 고른 분포의 표본을 추출하고자 할 때 사용합니다. 분포를 동일한 확률 구간으로 분할합니다. 예제 코드 pyDOE의 라틴 하이퍼 큐브 디자인은 다음과 같은 간단한 구문을 사용하여 만들 수 있습니다. lhs(n, [samples, criterion, iterations]) n ..

MovieLens 데이터 영화 평점 데이터셋 크기별로 다양하게 존재 : 100K, 1M, 10M, 20M 실습에서 사용할 데이터셋 : 100K https://grouplens.org/datasets/movielens/ 데이터 준비 ml-100k.zip 파일을 받아서 적절한 위치에 압축풀기 Pytorch 사용하기 필요한 모듈 import 하기 import torch import pandas as pd import torch.nn.functional as F import matplotlib.pyplot as plt 파일 불러오기 Pandas를 이용하여 파일 불러오기 train = pd.read_csv("../ds_data/ml-100k/ua.base", sep="\t", names=['user&#39..

별점 예측 부분에서 Collaborative filtering보다 동작을 잘하는게 Latent Factor Model이다. 하지만 단점이 존재한다. Collaborative filtering은 근거를 댈 수 있지만 Latent Factor Model은 근거를 댈 수 없다. Latent Factor Model Latent Factor Model은 사용자와 아이템을, 잠재적인 차원(Factor)들을 사용해 나타낼 수 있다고 보는 모델이다. 여기서 차원은 축과 같은 의미로 사용될 수 있다. 예를 들어, 위 그림처럼 x 축을 남성향, 여성향의 정도로 표현하고 y 축을 웃기고, 심각함의 정도로 표현할 수 있다면 사용자와 아이템은 적절한 x, y축 값에 매핑 된다는 것이다. 길동 = ( -3.1, -4.2 ) 테넷..