[Hadoop] hdfs 명령어 정리

HDFS 명령어

• Hadoop 의 Filesystem 인 HDFS 는, 아래와 같은 명령어 구조를 사용해 다룰 수 있다.

• Hadoop-2.6.0 에서는 총 33개의 HDFS 명령어를 지원한다.

    hdfs dfs [GENERIC_OPTIONS] [COMMAND_OPTIONS]

ls

• 특정 디렉토리 또는 디렉토리 내부의 파일을 보여준다.

    hdfs dfs -ls [-R] {args}

  • R : 특정 디렉토리 이하에 대해서 정보를 보여줌

mkdir

• 특정 path 에 directory 를 생성한다.

    hdfs dfs -mkdir [-p] {paths}

cat

• 해당 파일의 내용을 출력한다. (linux 명령어 cat 과 동일)

    hdfs dfs -cat URI [URI ...]

cp

• Hdfs 내부에서 파일을 복사/붙여넣기 한다.

• 만약 복사하고자 하는 대상이 여러개라면, 붙여넣는 곳은 반드시 Directory 여야 한다.

    hdfs dfs -cp [-f] [-p | -p[topax]] URI [URI ...] {dest}

  • f : Overwrite the destination if it already exist
  • p : 파일 속성(timestamps, ownership, permission, ACL, XAttr)을 유지하고 복붙 수행

mv

• Hdfs 내부에서 파일을 옮긴다.

    hdfs dfs -mv URI [URI ...] {dest}

get

• Hdfs 의 파일을 Local directory 로 다운로드한다.

    hdfs dfs -get [-ignorecrc] [-crc] {src} {localdst}

put

• Local 의 파일들을 hdfs 에 저장한다.

    hdfs dfs -put {localsrc} ... {dst}

rm

• Hdfs 의 특정 폴더 혹은 파일을 삭제한다.

    hdfs dfs -rm [-f] [-r|-R] [-skipTrash] URI [URI ...]

  • R : 특정 디렉토리 이하의 폴더 모두 제거
  • r : -R과 동일
  • skipTrash : 즉시 완전 삭제

count

• Directory 개수, file 개수 등을 카운트하여 숫자로 보여준다.

    hdfs dfs -count [-q] [-h]

  • count : DIR_COUNT, FILE_COUNT, CONTENT_SIZE FILE_NAME 을 보여줌
  • count -q : QUOTA, REMAINING_QUATA, SPACE_QUOTA, REMAINING_SPACE_QUOTA, DIR_COUNT, FILE_COUNT, CONTENT_SIZE, FILE_NAME 을 보여줌
  • h : Show sizes human readable format

moveToLocal

• Hdfs 의 파일을 local 에 저장한다. (get 과 비슷하지만, 저장 이후 hdfs file 은 삭제)

    hdfs dfs -moveToLocal [-crc] {src} {dst}

movefromLocal

• Local 의 파일을 hdfs 에 저장한다. (put 과 비슷하지만, 저장 이후 local file 은 삭제)

    hdfs dfs -moveFromLocal {localsrc} {dst}

du

• Hdfs 내부의 특정 file 이나 directory 의 size 를 보여준다.

    hdfs dfs -du [-s] [-h] URI [URI ...]

  • s : 각각의 파일(혹은 directory) size의 sum 값을 보여줌
  • h : Show human-readable format

expunge

• 휴지통 비우기(완전 삭제)

    hdfs dfs -expunge

참고

• https://blog.voidmainvoid.net/175