우노

에러 원인 및 해결 에러 메세지 Error in optFederov(data = input, nTrials = 2, nRepeats = 1, criterion = "D") : nTrials must be greater than or equal to the number of columns in expanded X 원인 및 해결 nTrials 의 값은 data 열의 수보다 같거나 많게 설정해야한다. 에러 원인 및 해결 에러 메세지 Error in optFederov(data = input, nTrials = 1035, nRepeats = 1, criterion = "D") : Singular design. 에러 원인 및 해결 data 열 간 산술 연산한 값이, 추가적인 data 열에 존재하는 경우이므로, 산..

GitHub Workflow Working Directory 프로젝트를 진행하는 작업 공간 파일을 수정(편집, 추가, 삭제 등) 개발한 소스 및 자원 존재 Staging Area Working Directory 에서 작업한 내용을 Local repository 로 커밋 하기 위해, 커밋 대상 목록을 담아두는 장바구니 목록 같은 공간 Local Git repository (HEAD) Remote repository 에 수정된 파일을 업로드 하기 위해, 커밋(commit) 이력과 파일들을 저장해놓은 공간 Remote repository 원격 저장소 (GitHub) Git status (파일들의 상태) Working Directory에 있는 여러가지 파일들은, "Git의 추적 관리 여부"에 따라 Untrack..

aws configure --profile AWS CLI 는 --profile 옵션을 통해, 여러 AWS 계정에 접근하도록 관리할 수 있습니다. AWS CLI 설정 AWS CLI 를 설정하는 것은 어렵지 않습니다. 우선, aws configure 로 접근할 AWS 계정의 Console 화면에 접근한 뒤, IAM 사용자를 생성하고 Access Key를 발급하면 됩니다. https://wooono.tistory.com/188 Access Key 를 발급했다면, 아래 명령어를 통해 aws configure 설정을 진행하며, --profile 옵션에 계정 이름을 할당합니다. aws configure --profile username AWS Access Key ID [None]: AWS Secret Access ..

DataFrame 생성 import pandas as pd data = {'name':['michael','louis','jack','jasmine'], 'grades':[90,80,70,60], 'result':['N/A','N/A','N/A','N/A']} df = pd.DataFrame(data,columns=['name','grades','result']) # name grades result #0 michael 90 N/A #1 louis 80 N/A #2 jack 70 N/A #3 jasmine ..

Hadoop 구성 요소 Hadoop은 다음 세 가지로 구성됩니다. 노드 클러스터에 광범위한 데이터를 저장하기위한 HDFS 파일 시스템 분산 계산을 위해 개발 된 MapReduce 프레임 워크 요청 된 작업에 사용 가능한 리소스를 할당하기위한 YARN HDFS 위 그림은, HDFS의 구조를 나타냅니다. HDFS는 하둡 분산 파일 시스템의 약자로써, 대규모 데이터를 클러스터 내에 분산 저장하는 시스템입니다. 전체 데이터는 128MB 씩 분할 되어, 하나의 블록 내에 저장되며, 하나의 블록은 3개씩 다른 노드에 복제됩니다. 이 값은 기본값이며 변경할 수 있습니다. 따라서, 하나 이상의 노드가 서비스를 중단하면, 다른 노드에 저장된 데이터 복사본으로 부터 데이터를 가져올 수 있습니다. HDFS는 클러스터 내부의..

:set paste 복사한 내용을 vi 에 붙여넣기 할 때, 탭이 마음대로 추가되는 경우가 있다. 이 때, 명령모드에서 아래 명령어를 입력한 후 내용을 붙여넣으면, 내용이 깔끔하게 추가된다. :set paste 원상복구 명령어는 아래와 같다. :set nopaste gg=G 만약, 위 방법을 사용해도 들여쓰기가 정상적으로 적용되지 않는다면, 명령모드에서 아래 명령어를 통해, 전체 코드를 indent 정렬할 수 있다. gg=G 참고 https://www.tuning-java.com/479

json4s 란? spark-shell 에서 Map 을 json 으로 변환할 수 있는 방법 중 하나는, json4s library를 사용하는 것이다. 예제 코드 import org.json4s.jackson.JsonMethods._ import org.json4s.JsonDSL._ // Map 생성 val map : Map[String,org.json4s.JsonAST.JValue] = Map("a"->1, "b"->"cool") // Map to json val json = pretty(render(map)) //{ // "a" : 1, // "b" : "cool" //}

scala.util.matching.Regex 란? scala에서는 scala.util.matching.Regex를 통해 정규표현식을 사용할 수 있으며, 정규표현식을 통해 패턴을 정의하고, 문자열에 패턴을 적용해 원하는 정보만 추출할 수 있다. 예제 코드 정규표현식으로 사용할 패턴 뒤에 .r 을 붙이면, 알아서 Regex 타입의 인스턴스가 생성된다. // 문자열 정의 val sentence = "11-aA_bB_cC_dD-22" // 정규표현식을 통해 패턴 정의 val pattern = "[a-zA-Z_]+".r // 문자열에서 정규표현식에 해당하는 패턴만 추출 val matches = pattern.findAllIn(sentence) println(matches.toList) // List(aA_bB_..

HttpClient란? 간혹 다른 서버로부터 request를 보내 response 받아 데이터를 처리해야할 때가 있는데, 이 때, Apache HttpClient를 이용하면 간편하게 HTTP request를 보낼 수 있습니다. 예제 코드 import org.apache.http.impl.client.HttpClients import org.apache.http.client.methods.HttpPost import org.apache.http.entity.StringEntity import org.apache.http.client.methods.CloseableHttpResponse import org.apache.http.util.EntityUtils // api url 선언 val apiurl = "..

egg 란? 이스트소프트의 알집을 사용한 압축 파일의 압축 포맷(확장자명)은 zip 이다. zip 파일은 다양한 OS(MacOS, WindowOS 등)에서 압축 및 해제 가능하다. 하지만, 알집은 4G가 넘어가는 파일부턴 압축 포맷(확장자명)을 zip이 아닌 egg를 사용한다. egg 파일을 MacOS에서 압축 해제하기 위해선 추가적인 압축 해제 프로그램이 필요하다. 이 때, 사용할 수 있는 압축 해제 프로그램이 '반디집 X(BandizipX)'이다. 반디집X 설치 및 설정 BandizipX 는 아래 링크를 통해 무료로 다운 가능하다. https://www.bandisoft.com/bandizip/x/ 버전이 오래되었지만, 사용하는데에는 문제가 없다. 반디집X 설치 후 실행하면 '환..