목록2020/12 (22)
우노
SSH 접속 시 아래와 같은 에러가 발생했다. @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: UNPROTECTED PRIVATE KEY FILE! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ Permissions 0755 for 'unho-tokyo.pem' are too open. It is required that your private key files are NOT accessible by others. This private key will be ignored. 해결 방법 Private key의 Permission이 너무 공개되어 있어서..
역따옴표(``) 사용 역따옴표(``)를 사용하여 명령 실행 결과를 변수로 사용할 수 있다. #!/bin/bash a=`echo helloworld` echo ${a} # helloworld
개요 PageRank 개요 PageRank 란? 하이퍼링크 네트워크란? PageRank 의 응용 PageRank 의 핵심 아이디어 Random Walk Interpretation PageRank 심플버전 PageRank 심플버전 설명 Power Iteration PageRank 오리지널 PageRank Score 심플 버전의 문제점 Random Teleport PageRank 오리지널 버전 설명 PageRank 란? Google 검색 엔진의 기반 알고리즘이다. 하이퍼링크를 이용해 웹 페이지 중요도를 측정한다. 하이퍼링크 네트워크란? Web 을 Directed graph 로 보는 형태이다. Node : 웹페이지 Edge : 하이퍼링크 PageRank 의 응용 모든 그래프에서, 노드의 중요도 측정에 사용한다..
진행 순서 AWS 계정 생성 IAM 사용자 생성 (액세스 키 발급) AWS CLI 패키지 설치 AWS CLI 환경 설정 ( 자격 증명 및 구성 파일 생성 ) 1. AWS 계정 생성 계정이 있다고 가정하겠습니다. 보유하고 있는 계정에 로그인 합니다. 2. IAM 사용자 생성 (액세스 키 발급) AWS CLI를 통해 AWS의 Service를 이용하기 위해선 AWS 계정의 액세스 키가 필요합니다. 순서 1) AWS console 상단의 Service 탭에서 IAM 서비스를 찾아 접속합니다. 2) 사용자(Users) 탭 → 사용자추가(Add user)를 클릭합니다. 4) 사용자 이름(User name)을 작성하고 액세스 유형(Access type)에서 프로그래밍 방식 액세스를 활성화합니다. AWS CLI를 이용..
자동화에 필요한 파일 종류 1) jar 파일 1-1) build.sbt 작성 1-2) scala 코드 작성 1-3) 각 scala 코드에 대한 jar 파일 생성 후, s3 에 업로드 2) 실험 쉘스크립트(spmm.sh) 2-1) 작성 후, s3 에 업로드 3) 클러스터 생성 쉘스크립트(createcluster.sh) 4) 입력파일(input.csv) 4-1) s3 에 업로드 1) jar 파일 1-1) build.sbt 작성 version := "1.0" scalaVersion := "2.12.10" libraryDependencies += "org.apache.spark" %% "spark-core" % "3.0.1" libraryDependencies += "org.apache.spark" %% "sp..
read input.csv에서 개행을 제거 한 후, 쉘 스크립트의 입력으로 넣어줍니다. cat input.csv | tr -d '\r' | ./test.sh read 명령어를 사용해, input.csv 를 line 별로 읽어와 변수로 사용합니다. #!/bin/bash # line 마다 ',' 기준으로 split 해 변수로 사용한다. while IFS=',' read lr lc rc ld rd lnnz rnnz do echo "${lr},${lc},${rc},${ld},${rd},${lnnz},${rnnz}" done lr,lc,rc,ld,rd,lnnz,rnnz 147754,970,3455,0.00082185 ,0.00000464 ,117908,15 170533,..
파입 입력 추후 업데이트 파일 출력 write.csv() : 데이터프레임을 외부 csv 파일로 저장 write.csv(output$design, file="test.csv", row.names=FALSE) # row.names : 행 포함 여부
현재 작업 폴더 경로 확인 getwd() 작업 폴더 경로 변경 '₩' 또는 '' 는 모두 '/'로 바꿔줘야합니다. setwd("경로")
특정 평균 및 표준편차를 만족하는 정규분포 데이터 생성 import numpy as np # 평균:0, 표준편차:1, 생성데이터:실수값하나 np.random.normal(0,1) # 평균:0, 표준편차:1, 생성데이터:2x2행렬 np.random.normal(0,1,(2,2)) # 데이터 각 열에 평균과 표준편차를 다르게 적용할 경우 # 평균:5,15,5 표준편차:3,3,3 생성데이터:1000x3행렬 np.random.normal((5,15,15), (3,3,3), (1000,3)) 평균 0, 분산 1의 표쥰정규분포 데이터 생성 import numpy as np # 요소가 5개인 벡터 생성 np.random.randn(5) # 행렬 형태로 생성 np.random.randn(2, 3) 0 이상 1 미만의 ..
들어가기 앞서, 사용자가 다른 서버에 원격으로 접속하려다 보면, SSH 를 사용해야 하는 경우가 생깁니다. SSH 는, 보안되지 않는 네트워크에서도 네트워크 서비스를 안전하게 운영하기 위한, 암호화 기반 네트워크 프로토콜입니다. 해당 포스트에서는, MacOS 환경에서 SSH 를 생성하고 사용하는 방법에 대해서 알아보겠습니다. 진행 순서 SSH 공개키 존재 여부 확인 SSH 공개키 생성 SSH 공개키 복사 SSH 공개키 등록 1. SSH 공개키 존재 여부 확인 우선, 사용자의 컴퓨터에 이미 SSH 공개키가 있는지 확인합니다. cat ~/.ssh/id_rsa.pub 응답 결과가 아래와 같다면, SSH 공개키가 없는 것이므로, 새로운 SSH 공개키를 생성해야합니다. cat: /.../.ssh/id_rsa.pu..