목록2020/10 (33)
우노
Spark Property Spark 는 Spark Application 실행과 관련된 자원을 설정할 수 있다. SparkConf, spark-shell, spark-submit, spark-defaults.conf 을 수정함으로써 설정 가능하다. property 적용 순서는 SparkConf, spark-shell, spark-submit, spark-defaults.conf 이다. 자주 사용되는 자원 설정 예 --num-executors : 전체 executor 개수 --executor-cores : 각 executor 당 core 개수 --executor-memory : 각 executor 당 memory 용량 Core, Memory 관련 설정 spark job 을 실행시킬 때, 우리가 컨트롤 할 ..
AWS란? AWS(Amazon Web Service)는 아마존닷컴의 클라우딩 컴퓨팅 사업부이다. 현재 클라우드 분야에서 세계1위의 점유율을 차지하고 있다. 간단하게 말하자면 컴퓨터의 모든 기능을 AWS를 이용해 직접 서버나 컴퓨터를 구매하지 않고 간단하게 구현할 수 있다. EC2란? Elastic Compute Cloud — 줄여서 EC2라고 한다. EC2는 AWS 서비스의 핵심으로써 사용자는 아마존의 가상컴퓨터를 임대받아 그 위에 자신만의 컴퓨터 프로그램을 실행해 원하는 기능을 컴퓨터를 따로 살 필요 없이 필요한 성능, 용량만큼 간단하게 구축할 수 있다. 이 서비스는 CPU사용량(연산횟수)으로 결제하는 것이 아닌 인스턴스를 켜 놓은 시간을 기준으로 결제하는 구조다. EC2 인스턴스 생성 AWS 에 접속..
AWS란? AWS(Amazon Web Service)는 아마존닷컴의 클라우딩 컴퓨팅 사업부이다. 현재 클라우드 분야에서 세계1위의 점유율을 차지하고 있다. 간단하게 말하자면 컴퓨터의 모든 기능을 AWS를 이용해 직접 서버나 컴퓨터를 구매하지 않고 간단하게 구현할 수 있다. EC2란? Elastic Compute Cloud — 줄여서 EC2라고 한다. EC2는 AWS 서비스의 핵심으로써 사용자는 아마존의 가상컴퓨터를 임대받아 그 위에 자신만의 컴퓨터 프로그램을 실행해 원하는 기능을 컴퓨터를 따로 살 필요 없이 필요한 성능, 용량만큼 간단하게 구축할 수 있다. 이 서비스는 CPU사용량(연산횟수)으로 결제하는 것이 아닌 인스턴스를 켜 놓은 시간을 기준으로 결제하는 구조다. EC2 인스턴스 생성 AWS 에 접속..