hadoop 자주쓰는 명령어 / Wordcount.java / wc.jar 파일

WordCount$IntSumReducer.class

WordCount$TokenizerMapper.class

WordCount.class

WordCount.java

wc.jar

정상적인 시스템 구성인 상태

~/.bashrc PATH 설정및 단축 alias

export HADOOP_HOME=/root/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

unalias fs &> /dev/null

alias fs="hadoop fs"

unalias hls &> /dev/null

alias hls="fs -ls"

네임노트 포멧

bin / hdfs namenode -format

하둡 디렉토리 생성 (생성시 외부디렉토리부터생성) ** output 이 존재할경우 리듀스 과정 진행하지않음.

hdfs dfs -mkdir /wordcount/input/

디렉토리 삭제

hdfs dfs -rmr /wordcount/input/

분석할 파일 업로드

hadoop fs -put file* /wordcount/input

분석할 대상 파일 보는법 

hdfs dfs -cat /wordcount/input/file01

하둡 jar 통한 분석 시작

bin/hadoop jar wc.jar WordCount /wordcount/input /wordcount/output

분석완료된 파일 보는법

bin/hdfs dfs -cat /wordcount/output/part-r-00000

하둡에서 로컬로 분석파일 꺼내기

hadoop fs -get /wordcount/output/*