티스토리

우노

검색하기

블로그 홈

우노

IT 분야 크리에이터

wooono.tistory.com/m

운호(Noah) 님의 블로그입니다.

구독자: 230

방명록 방문하기

반응형

주요 글 목록

[ML] 오프라인 학습과 온라인 학습이란? 오프라인 학습이란? 오프라인 학습은, 모델을 학습시킨 뒤, 더 이상의 학습 없이 제품 시스템에 적용하는 것을 의미합니다. 하지만, 모델 학습을 주어진 훈련 데이터셋 전체를 사용해서 진행해야하기 때문에, 새로운 데이터가 생성되면, 다시 전체 데이터셋을 사용해 모델을 새롭게 학습해야합니다. 일반적으로 이러한 작업들은 몇 시간이 소요될 수 있으므로, 컴퓨팅 자원(CPU, GPU 등)이 충분한 환경에서 사용됩니다. 온라인 학습이란? 온라인 학습은, 학습된 모델이 제품 시스템에 적용된 상태에서도, 적은 양의 데이터셋으로 점진적으로 모델을 추가적으로 학습할 수 있는 것을 의미합니다. 모델 학습은 미니 배치 단위의 데이터로 진행되기 때문에, 일반적인 오프라인 학습에 비해 매 학습 단계가 빠르며, 적은 양의 자원을 사.. 공감수 3 댓글수 0 2022. 3. 30.
[ML] Tensorflow 모델을 TFLite 로 변환하는 방법 들어가기 앞서, 양자화(quantization)는 float32 로 학습된 weight 값들을 float16, int8 등의 형태로 변환하는 작업을 의미합니다. 이 작업을 하게되면, .tflite 의 파일크기가 대략 4분의 1정도로 줄어들게 되지만, 세밀한 데이터값을 버리는 작업이므로, model 의 정확도를 잃을 수 있는 작업이 됩니다. 결과적으로 양자화는, model 의 사이즈를 줄임으로써, 정확도는 떨어지지만 빠른 추론 시간을 얻게 되는 작업이라고 볼 수 있습니다. TFLite 변환 시, FP16 양자화 적용 예제 파일로 저장되어 있는 모델을 load 한 뒤, TFLite 모델로 변환 import tensorflow as tf # 파일로 저장되어 있는 모델을 load 한 뒤, TFLite 모델로 변.. 공감수 3 댓글수 0 2022. 1. 25.
[ML] PCA 와 ICA 란? 들어가기 앞서, PCA(Principal Component Analysis) 와 ICA(Independent Componenet Analysis) 는 모두 차원 축소에 사용되는 기술이다. 주성분 분석 (PCA, Principal Component Analysis) PCA 는 기본적으로 비지도 학습(Unsupervised Learning) 이며, 데이터들의 주성분을 찾을 때, 데이터를 가장 잘 설명할 수 있는 축으로 찾는 기법이다. PCA 의 Principal Component 는 이 축을 의미하며, 분산이 최대가 되는 축이 데이터를 가장 잘 설명하는 축 벡터가 된다. 독립 성분 분석 (ICA, Independent Componenet Analysis) ICA 는 주성분을 이용한다는 점에서 PCA 와 비슷.. 공감수 3 댓글수 0 2021. 12. 1.
[ML] 평균 제곱 오차, 교차 엔트로피 오차, 로그우도 계산 방법 평균 제곱 오차 (MSE, Mean Squared Error) 추가 설명 yi 는 예측값, ti 는 정답값입니다. 예제 코드 import numpy as np from sklearn.metrics import mean_squared_error y_pred = np.array([0.001, 0.9, 0.001, 0.098]) y_real = np.array([0, 0, 0, 1]) # 평균제곱오차 print(mean_squared_error(y_pred, y_real)) print(((0.001-0)**2 + (0.9-0)**2 + (0.001-0)**2 + (0.098-1)**2)/4) 교차 엔트로피 오차(CEE, Cross Entropy Error) 추가 설명 yi 는 예측값, ti 는 정답값입니다. .. 공감수 4 댓글수 0 2021. 11. 30.
[ML] Binary Cross Entropy 와 Cross Entropy 의 차이 들어가기 앞서, Binary Cross Entropy 와 Cross Entropy 의 개념은 자주 헷갈리는 것 같습니다. 따라서, 해당 포스트에서는 Binary Cross Entropy 와 Cross Entropy 의 차이점에 대해서 다뤄볼 것입니다. 진행 순서 이진 분류 멀티 이진 분류 다중 분류 이진 분류 이진 분류란, 데이터가 주어졌을 때, 해당 데이터를 두 가지 정답 중 하나로 분류하는 것을 의미합니다. 예를 들어, 홍길동이라는 데이터가 주어졌을 때, 해당 데이터가 사람이냐 아니냐에 대한 정답이 1 과 0 중 하나라면, 해당 데이터가 1 일 확률이 출력되고, 해당 확률이 0.5 이상이면, 1 로 판단하게 됩니다. Binary Cross Entropy Loss (이진 교차 엔트로피 손실) 이러한 이.. 공감수 7 댓글수 0 2021. 11. 30.
[ML] 비지도 학습 ML 모델 종류 비지도 학습 비지도 학습이란, 입력 데이터에 대한 출력 값(정답) 없이, 오직 입력 데이터만으로 학습을 진행한 뒤, 데이터로부터 유의미한 정보를 추출하는 머신러닝 기법입니다. 정답이 주어지지 않으므로, 학습이 끝난 뒤에도 정확도를 알 수 없습니다. 주요 기술 군집화(Clustering) 유사한 데이터들을 그룹화하는 작업 비정상 탐지(Anomaly detection) 예상치 못한 이벤트 또는 결과를 식별하는 작업 차원 축소(Dimension reduction) 고려해야하는 Feature 의 개수를 줄이는 작업 상관관계가 있는 여러 Feature 를 하나로 합치는 작업 군집화 주요 모델 K-Means Clustering DBSCAN Mean-Shift Clustering EM Clustering using .. 공감수 4 댓글수 0 2021. 11. 20.
[ML] XGBoost version 확인 XGBoost version 확인 코드 $ python > import xgboost as xgb > xgb.__version__ '1.3.3' 공감수 2 댓글수 0 2021. 11. 4.
[ML] Model, Scaler 저장/ 불러오기 Dataset 에 Sklearn Scaler 적용 from sklearn.preprocessing import MinMaxScaler # MinMaxScaler 객체 생성 minmax_scaler = MinMaxScaler() # 훈련데이터의 모수 분포 저장 minmax_scaler.fit(X_train) # 훈련 데이터 스케일링 X_train_scaled = minmax_scaler.transform(X_train) Tensorflow Model 및 Sklearn Scaler 저장 Model 저장 # 모델 생성 및 훈련 model = create_model() model.fit(X_train_scaled, y_train, epochs=5) # 모델을 savedModel 포맷으로 저장 model.save.. 공감수 4 댓글수 0 2021. 9. 27.
[ML] 티처블 머신(Teachable Machine) 사용 방법 티처블 머신이란? 티처블 머신은 구글에서 제공하는 머신러닝 학습 도구이며, 누구나 머신러닝 모델을 쉽고 빠르게 만들 수 있도록 제작된, 웹 기반 도구입니다. 사용자들은 티처블 머신을 사용해 이미지, 사운드, 포즈를 학습할 수 있으며, 생성한 학습 모델을, 사이트, 앱 등 다양한 방법과 용도로 사용할 수 있습니다. 사용방법 1. 공식 홈페이지 접속 공식 홈페이지에 접속합니다. https://teachablemachine.withgoogle.com/ 사용방법 2. 프로젝트 시작 [시작하기] 를 클릭하여, 티처블 머신을 시작합니다. (로그인 없이도 사용 가능합니다.) 좌측 상단의 [햄버거 버튼] 클릭 후, [새 프로젝트] 를 클릭합니다. 티처블 머신 2.0 은 웹 기반으로 동작하기 때문에, 별도의 프로그램 설.. 공감수 8 댓글수 3 2021. 9. 13.
[ML] .h5 란? .h5 이란? 학습 시킨 model 을 파일로 저장할 때, 보통 .h5 확장자로 저장합니다. .h5 확장자는, HDF5 포맷으로 데이터를 저장한다는 것을 의미합니다. .h5 파일은, 모델 및 가중치(weight)를 모두 가지고 있습니다. 공감수 6 댓글수 2 2021. 8. 12.
[ML] Sklearn Permutation Importance 를 사용한 Feature 중요도 파악 Permutation Importance 란? Permutation Importance 는, 모델 예측에 가장 큰 영향을 미치는 Feature 를 파악하는 방법입니다. Permutation Importance 는 모델 훈련이 끝난 뒤에 계산되며, 훈련된 모델이 특정 Feature 를 안 썼을 때, 이것이 성능 손실에 얼마만큼의 영향을 주는지를 통해, 그 Feature 의 중요도를 파악하는 방법입니다. 또한, 어떤 모델이든 적용할 수 있습니다. Permutation Importance 의 장점 Permutation Feature Importance 의 중요한 특징이자 장점은, 모델을 재학습 시킬 필요가 없다는 것입니다. 기존에는 특정 Feature 를 제거하고 모델을 재학습해서 중요도를 파악하는 방법도 있.. 공감수 6 댓글수 2 2021. 7. 21.
[ML] Sklearn Polynomial Regression Linear Regression 이란? Linear Regression 은 선형 회귀이며, 선형 방정식은 아래 공식으로 표현할 수 있습니다. y = ax + b 하지만, 아래 그림처럼, 데이터가 비선형적으로 분포하고 있을 땐, 선형 회귀 모델의 오차는 커지게 됩니다. 따라서 만약, 데이터가 2차원 곡선 형태로 분포되어 있다면, 2차원 곡선 모델로, 3차원 곡선 형태로 분포되어 있다면, 3차원 곡선 모델로 접근하는 것이 오차를 줄이는 방법일 수 있습니다. Polynomial Regression 이란? Polynomial Regression 은 다항 회귀이며, 다항 방정식은 아래 공식으로 표현할 수 있습니다. 따라서, 데이터가 비선형적으로 분포하고 있을 땐, 아래 그림과 같이, 비선형 회귀 모델의 오차가 적.. 공감수 6 댓글수 5 2021. 7. 20.
[ML] TfidfVectorizer를 사용한 Train, Test set 생성 Train Set 생성 from sklearn.feature_extraction.text import TfidfVectorizer import pandas as pd # TfidfVectorizer 객체 생성 vectorizer = TfidfVectorizer() # TfidfVectorizer 할 X_train 데이터 X_train = ['I go to my home my home is very large', 'I went out my home I go to the market'] # vectorizer는 X_train에 등장하는 단어를 통해 단어 사전을 생성한 뒤, # 해당 단어 사전을 사용해 X_train를 TfidfVectorizer 한다. # 따라서, vec_X_tr.. 공감수 3 댓글수 0 2021. 5. 26.
[ML] Isolation Forest Anomaly Detection(이상 탐지)이란? Anomaly Detection(이상 탐지)이란 전체 데이터에서 다른 패턴을 보이는 데이터를 찾는 것을 말한다. 다른 패턴을 보이는 데이터를 이상값(anomaly)라고 부르며, 이상 탐지는 사기 탐지, 침입 탐지, 안전 관리를 포함한 다양한 분야에 널리 활용된다. Anomaly Detection 은 정답 label 이 주어졌냐, 안 주어졌냐에 따라 지도학습이나 비지도학습으로 진행된다. 비지도 학습을 통해 진행하는 Anomaly Detection 의 종류는 아래와 같다. Isolation Forest One Class SVM Etc 따라서, 해당 포스트는 Anomaly Detection 의 비지도 학습 알고리즘 중 하나인, Isolation Forest에 .. 공감수 4 댓글수 1 2021. 3. 8.
[ML] Feature Selection (Filter Method & Wrapper Method & Embedded Method) Feature Selection이란? Feature Selection은 ML에 있어서 매우 중요한 기술입니다. Feature Selection의 기본적인 아이디어는, 모델링 시 raw data의 모든 feature를 사용하는 것은 computing power와 memory 측면에서 매우 비효율적이기 때문에, 일부 필요한 feature만 선택해서 사용하자는 것입니다. 어떻게 보면, Feature Selection은 여러분의 모델 성능을 높이기 위해서 반드시 필요한 기술 중 하나입니다. Feature Selection은 Feature Engineering, Feature Extraction과 유사하지만, 표현 자체는 구분되며, 간단하게 정리하면 아래와 같습니다. Feature Engineering : 도메인.. 공감수 9 댓글수 2 2021. 2. 26.
[ML] XGBoost 모델 저장/불러오기 XGBoost는 내장함수 또는 pickle, joblib 모듈을 사용해 모델을 저장/불러오기 할 수 있습니다. 내장 함수 import xgboost as xgb # 모델 정의 및 학습 xgb_model = xgb.XGBRegressor(**param).fit(trainData.features, trainData.labels) # 파일명 filename = 'xgb_model.model' # 모델 저장 xgb_model.save_model(filename) # 모델 불러오기 new_xgb_model = xgb.XGBRegressor() # 모델 초기화 new_xgb_model.load_model(filename) # 모델 불러오기 pickle import pickle # 모델 정의 및 학습 .. 공감수 5 댓글수 0 2021. 2. 22.
[ML] 분류 성능 평가 지표 - Precision(정밀도), Recall(재현율), Accuracy(정확도) 기계학습에서 모델이나 패턴의 분류 성능 평가에 사용되는 지표들을 다루겠습니다. 어느 모델이든, 발전을 위한 feedback은 현재 모델의 performance를 올바르게 평가하는 것에서부터 시작합니다. 모델이 평가해야하는 요소와 그것을 수치화한 지표들, 그리고 관련 개념들에 대해서 다루도록 하겠습니다. 모델의 분류와 정답 모델을 평가하는 요소는 결국, 모델이 내놓은 답과 실제 정답의 관계로써 정의를 내릴 수 있습니다. 정답이 True와 False로 나누어져있고, 분류 모델 또한 True False의 답을 내놓습니다. 그렇게 하면, 아래와 같이 2x2 matrix로 case를 나누어볼 수 있겠네요. 이제 각 case별로 살펴보겠습니다. True Positive(TP) : 실제 True인 정답을 True라고.. 공감수 4 댓글수 0 2021. 1. 27.
[ML] Bayes error(베이즈 에러)란? Bayes error 달성할 수 있는 가장 낮은 예측 오차로써, 축소할 수 없는 오류와 동일하다. Training error 훈련 데이터의 에러를 말한다. Dev error 검증 데이터의 에러를 말한다. Avoidable bias bayes error와 training error의 차이를 말한다. Variance training error와 dev error의 차이를 말한다. 공감수 2 댓글수 0 2021. 1. 27.
[ML] Multi-Task Learning이란? Multi-Task Learning Multi-Task Learning이란, 하나의 신경망이 여러 작업을 동시에 할 수 있도록 학습하는 것입니다. 신경망 초기 특성들이, 서로 공유(shared low-level features)될 수 있다고 하면, 하나의 신경망을 학습시키는 것이 여러 신경망을 개별 학습시키는 것 보다 효율적입니다. 예를 들어, 사진이 주어졌을 때, 신호등, 보행자, 차량, 표지판을 감지하는 문제가 있다면 이 특성들은 모두 도로의 특성을 가지고 있기 때문에, 서로 공유 될 수 있습니다. Multi-Task Learning은 아래의 상황에서 많이 쓰입니다. 여러 문제들의 하나의 저레벨 특성을 공유할 때 ex) Computer Vision의 물체 감지 데이터가 비슷할때 (항상 만족하는 것은 .. 공감수 1 댓글수 0 2021. 1. 27.
[ML] Sklearn cross_val_score Custom Scoring 사용하기 Sklearn cross_val_score() 사용 시, 이미 존재하는 많은 scoring 방법들을 사용할 수 있지만 경우에 따라 직접 scoring을 만들어 사용하고 싶을 때가 있다. 이 때, 다음과 같이 Custom Scoring을 만들어 사용할 수 있다. Custom Scoring 함수 생성 from sklearn.metrics import r2_score, mean_squared_error def mean_absolute_percentage_error(y_test, y_pred): y_test, y_pred = np.array(y_test), np.array(y_pred) return np.mean(np.abs((y_test - y_pred) / y_test)) * 100 def custom_sc.. 공감수 6 댓글수 0 2021. 1. 4.
[ML] Xgboost Error 해결 방법 에러 WARNING: src/objective/regression_obj.cu:152: reg:linear is now deprecated in favor of reg:squarederror. 해결 방법 회귀 모델 매개 변수 objective = 'reg:lineaqr' 을 'reg:squarederror'로 변경 예 xg_reg = xgb.XGBRegressor(objective='reg:squarederror', colsample_bytree = 0.3, learning_rate = 0.1, max_depth = 5, alpha = 10, n_estimators = 10) 공감수 4 댓글수 0 2021. 1. 4.
[ML] 주성분 분석(PCA, Principal Component Analysis)이란? 주성분 분석(PCA, Principal Component Analysis) 데이터의 차원이 커지면 커질수록 계산 복잡도와 정확도가 떨어진다. 다차원 데이터를 설명할 수 있는 핵심 축을 찾는다면, 작은 차원으로 모든 데이터를 설명할 수 있다. 데이터를 작은 차원으로 줄이는 방법 중 한 가지가 PCA이다. 차원 축소 차원 축소 방법 데이터가 아래와 같이 구성되어 있을 때, 어떤 차원으로 축소할 수 있을까? 방법 1) 아무 차원이나 지운다. 차원을 지운 후, 나머지 데이터를 사영시켰을 때, 분산을 최대화 하는 축을 사용한다. 방법 2) 기존의 축이 아닌 새로운 축을 찾는다 ⇒ 주 성분 찾기 기존의 축이 아닌 새로운 축에 사영해, 분산을 최대로 하는 축을 구한다. 축은 어떻게 구하는가? 아무 축이나 찾고, 분산.. 공감수 2 댓글수 0 2020. 11. 16.
[ML] sklearn LinearRegression 튜토리얼 import numpy as np import pandas as pd from sklearn.linear_model import LinearRegression from sklearn.metrics import r2_score from sklearn.model_selection import train_test_split # 데이터 input_df = pd.read_csv('./spark-memory.csv') # 데이터에서 feature, target 분리 feature_df = input_df[['matrix_dimension','left_nnz','right_nnz']] target_df = input_df['왼쪽, 오른쪽 희소행렬 저장&.. 공감수 1 댓글수 0 2020. 11. 11.
[ML] K-평균(K-Means)이란? 비지도 학습 비지도 학습이란, 입력 데이터에 대한 출력 값(정답) 없이, 오직 입력 데이터만으로 학습을 진행한 뒤, 데이터로부터 유의미한 정보를 추출하는 머신러닝 기법입니다. 주요 기술 군집화(Clustering) 유사한 데이터들을 그룹화하는 작업 비정상 탐지(Anomaly detection) 예상치 못한 이벤트 또는 결과를 식별하는 작업 차원 축소(Dimension reduction) 고려해야하는 Feature 의 개수를 줄이는 작업 상관관계가 있는 여러 Feature 를 하나로 합치는 작업 K-Means Clustering K-Means Clustering 은 Clustering 기법 중 하나이며, K 는 데이터를 몇 개의 클러스터로 분할할지를 의미합니다. 알고리즘 순서 임의로 k 개의 중심점(cen.. 공감수 5 댓글수 0 2020. 11. 2.
[ML] Softmax Regression(소프트맥스 회귀)이란? 이진 분류란? 이진 분류란, 문제에 대한 정답을 두 가지 답 중 하나로 분류하는 것을 의미한다. 예를 들어, 문제에 대한 정답이 0 과 1 중 하나라면, 해당 문제에 대한 정답이 1 일 확률이 출력되고, 해당 확률이 0.5 이상이면 1 로 판단한다. 이러한 이진 분류 문제를 해결하기 위한 회귀 분석 중 하나가, Logistic Regression 이다. Logistic Regression 은, 가설 함수로 시그모이드 함수를 사용하며 비용 함수로는 Binary Cross Entropy 를 사용한다. https://wooono.tistory.com/122 다중 분류란? 다중 분류란, 문제에 대한 정답을 세 가지 이상의 답 중 하나로 분류하는 문제이다. 다중 분류 문제에도, 이진 분류에서 사용된 시그모이드 함.. 공감수 4 댓글수 0 2020. 10. 8.
[ML] Logistic Regression(로지스틱 회귀)이란? 이진 분류(Binary Classification) 이진 분류란, 문제에 대한 정답을 두 가지 답 중 하나로 분류하는 것을 의미한다. 예를 들어, 문제에 대한 정답이 0 과 1 중 하나라면, 해당 문제에 대한 정답이 1 일 확률이 출력되고, 해당 확률이 0.5 이상이면 1 로 판단한다. 그렇다면, 이진 분류 문제는 선형 회귀(Linear Regression)로 해결 할 수 있을까? 선형 회귀는 아래 그림과 같이, Outlier(이상치)에 약하기 때문에 분류 문제에 잘 동작하지 않는다. 따라서, 이러한 이진 분류 문제를 해결하기 위한 회귀 방법 중 하나가, 로지스틱 회귀(Logistic Regression)이다. 로지스틱 회귀(Logistic Regression) 가설(Hypothesis) 선형 회귀(Li.. 공감수 7 댓글수 0 2020. 10. 5.
[ML] 랜덤 포레스트(Random Forest)란? 의사 결정 트리 (Decision Tree) 먼저, 의사 결정 트리 (decision tree)의 개념부터 다뤄보겠습니다. 의사 결정 트리는, 특정 Feature 에 대한 질문을 기반으로 데이터를 분리하는 방법입니다. 사람들이 일상생활에서 어떠한 의사 결정을 내리는 과정과 매우 비슷합니다. 건강 위험도를 결정하는 의사 결정 트리로 예를 들어 보겠습니다. 어떠한 사람에 대한 정보(feature)가 주어졌을 때, “흡연자인지, 몇살인지, 다이어트는 하고 있는지” 등의 질문을 통해, 해당 사람을 논리적으로 분리할 수 있게 됩니다. 랜덤 포레스트 (Random Forest) 이제 Random Forest 에 대해서 다뤄보겠습니다. Forest(숲)은 무엇으로 이루어져 있을까요? 나무입니다. 수많은 나무가 한군데.. 공감수 22 댓글수 14 2020. 9. 16.
[ML] SVM (Support Vector Machine) 이란? Support Vector Machine 이란? 분류(classification), 회귀(regression), 특이점 판별(outliers detection) 에 쓰이는 지도 학습 머신 러닝 방법 중 하나이다. SVM 의 종류 scikit-learn 에서는 다양한 SVM 을 지원한다. SVC Classification 에 사용되는 SVM 모델을 의미하며, SVM 의 끝문자인 M 을 Classification 의 첫 문자인 C 로 바꾼 것이다. SVR Regression 에 사용되는 SVM 모델을 의미하며, SVM 의 끝문자인 M 을 Regression 의 첫 문자인 R 로 바꾼 것이다. 특이점 판별(outlier detection) 에는 OneClassSVM 이 사용된다. SVC (Support Vec.. 공감수 7 댓글수 0 2020. 9. 12.
[ML] 기본선형회귀 모델과 NNLS 모델 비교 코드 sklearn에서 boston data 가져오기 import numpy as np import pandas as pd from sklearn.datasets import load_boston boston = load_boston() # boston data로 feature 생성 data = pd.DataFrame(boston.data, columns=boston.feature_names) # boston data의 target 값도 추가 data['MEDV'] = pd.Series(data=boston.target, index=data.index) feature, target 정의 및 훈련, 테스트 데이터 분리 # feature 값 정의 feature = data.drop('MEDV.. 공감수 3 댓글수 0 2020. 9. 7.
[ML] NNLS(Non-negative least squares)란? 기본 선형 회귀란? 기본 선형 회귀 분석에서는 독립변수 (X)와 종속 변수 (Y)의 최적화 된 선형 관계를 설명하기 위해 적절한 가중치(weight)와 편향(bias)을 찾습니다. NNLS (Non-Negative Least Squares) 회귀란? 이때, NNLS는 가중치(weight)가 음수가 되는 것을 허용하지 않는 수학적 최적화 기술입니다. 독립변수 X와 종속 변수 Y가 주어졌을 때 최적화 하고자 하는 식 여기서 b ≥ 0 은 벡터 b 의 각 성분이 음수가 아니어야 함을 의미하고 ‖ · ‖₂ 는 Euclidean norm 을 나타냅니다 . 즉, 유클리드 표준 값을 최소로 하며 양수값을 가지는 가중치(weight)를 찾는 것 입니다. 간단한 예제 코드 제공하는 독립변수와 종속변수 60 b1 + 90.. 공감수 2 댓글수 0 2020. 9. 7.

반응형

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.