우노

Git 명령어를 사용한 하위 디렉토리 다운로드 Clone 할 로컬 저장소 생성 git init "로컬저장소명" cd "로컬저장소명" 일부 경로의 파일만 다운로드 가능하도록, sparse Checkout 을 True 로 설정 git config core.sparseCheckout true 다운로드 할 원격 저장소 주소 설정 git remote add -f origin "원격저장소주소" 다운로드 받길 원하는 폴더나 파일의 경로를 .git/info/sparse-checkout 파일에 기술 폴더일 경우, 자동으로 하위 폴더가 포함된다. echo "파일및폴더경로" >> .git/info/sparse-checkout git pull 명령어를 사용해, sparse-checkout 에 기술된 경로의 파일만 다운로드 g..

비지도 학습 비지도 학습이란, 입력 데이터에 대한 출력 값(정답) 없이, 오직 입력 데이터만으로 학습을 진행한 뒤, 데이터로부터 유의미한 정보를 추출하는 머신러닝 기법입니다. 정답이 주어지지 않으므로, 학습이 끝난 뒤에도 정확도를 알 수 없습니다. 주요 기술 군집화(Clustering) 유사한 데이터들을 그룹화하는 작업 비정상 탐지(Anomaly detection) 예상치 못한 이벤트 또는 결과를 식별하는 작업 차원 축소(Dimension reduction) 고려해야하는 Feature 의 개수를 줄이는 작업 상관관계가 있는 여러 Feature 를 하나로 합치는 작업 군집화 주요 모델 K-Means Clustering DBSCAN Mean-Shift Clustering EM Clustering using ..

License 란? License 의 복잡한 정의는 아래와 같다. 저작권자의 독점 사용 권리에 대해, 저작권자/사용자 간의 이용 방법 및 조건 범위를 명시해 둔 사용 허가권이다. 쉽게 말해, 오픈소스 사용 및 배포 시, 지켜야할 규칙들을 의미한다. 왜 License 를 달아야하지? 만약, 개발자가 오픈소스를 조금이라도 참고했다면, License 를 명시하는게 좋다. 많은 사람들이 간과하고 있는 사실이지만, 오픈소스 생태계에서 License 는 굉장히 중요한 부분이기 때문이다. 오픈소스란 '누구나 수정/복재/배포가 가능한 소스코드'를 의미하지만, 오픈소스라고 저작권이 없는 것은 '절대' 아니기 때문이다. 오픈소스는 모두 지적재산권 보호를 받으며, 라이센스 위반 시 처벌이 가능하..

R 패키지 버전 확인 방법 packageVersion("패키지명")

string to int 변환 방법 #!/bin/bash # string 선언 STRING="80" # string 을 int 로 변환 INT=$((STRING))

XGBoost version 확인 코드 $ python > import xgboost as xgb > xgb.__version__ '1.3.3'

Tensorflow version 확인 코드 $ python > import tensorflow as tf > tf.__version__ '2.2.0' 참고 https://daeson.tistory.com/295

Spark ML 패키지와 MLlib 패키지의 차이 ML 패키지는 DataFrame 기반의 머신러닝 지원 패키지이다. MLlib 패키지는 RDD 기반의 머신러닝 지원 패키지이다. Spark ML 의 정식 명칭은 'MLlib DataFrame-based API' 이며, DataFrame 이 RDD 보다 Spark 에서의 로딩, 실행 계획 최적화, 언어 간의 API 통일성에 있어 장점이 있기 때문에 ML 패키지가 Spark 2 버전 기준, 머신 러닝을 위한 Primary API 이다. Spark ML, MLlib 패키지 제공 기능 ML Algorithms Classification, Regression, Clustering, Collaborative filtering 등의 머신러닝 알고리즘 제공..

압축 tar 압축 tar -cvf "파일명.tar" "폴더명" tar.gz 압축 tar -zcvf "파일명.tar.gz" "폴더명" zip 압축 zip "파일명.zip" "폴더명" # 해당 폴더의 하위 폴더까지 모두 압축 zip "파일명.zip" -r "폴더명" 압축 해제 tar 압축 해제 tar -xvf "파일명.tar" tar.gz 압축 해제 tar -zxvf "파일명.tar.gz" zip 압축 해제 unzip "파일명.zip" # 특정 폴더에 압축 해제 unzip "파일명.zip" -d "폴더명" 참고 https://brownbears.tistory.com/161

들어가기 앞서, 일반적으로 AWS EC2 는, EC2 생성 시 발급 받은 pem key 를 사용해 SSH 접속한다. 이는, brute force 공격에 의해 암호가 탈취되는 것을 막기 위한 보안 조치이다. 그러나, 특수한 상황에 따라 pem key 없이, 임시적으로 User 를 생성하여, User-password 방식으로 EC2 에 SSH 접속 가능하도록 설정해야 할 수도 있다. 보통, 협업 시 접근 편의성을 위해 해당 방식을 사용한다. 따라서, 해당 포스트에서는 pem key 없이 User-password 방식을 사용해, AWS EC2 에 SSH 접속 가능하도록 설정하는 방법을 다룰것이다. 물론, 보안 측면에서 굉장히 위험하다. 진행 순서 pem key 를 사용하여 EC2 접속 User 및 Passwo..