[Hadoop] 우분투(Ubuntu)에서 HDFS에 파일 업로드

Hadoop을 설치했으니, HDFS에다가 파일을 업로드 해보도록 하자. 우선, 업로드할 csv를 준비하기 ! 캐글에서 아래 데이터를 다운 받아 왔다. 

smoking.csv

0.14MB

 

데이터를 다운로드 했으면 이제 본격적으로 스타트!

 

1. 파일을 우분투 서버에 다운로드하기 

wget 명령어를 통해 리눅스 서버로 바로 다운로드 해주자. 

wget https://blog.kakaocdn.net/dn/dZmj9T/btsGd8RAfcZ/Vjc1ijBN0qDkMMupkWbkC1/tfile.csv

ls 를 해보면 tfile.csv로 저장된 것을 확인할 수 있음

cat tifle.csv 를 통해 데이터가 제대로 들어온 것을 확인할 수 있다.

 

 

2. HDFS에 DATA를 넣을 폴더 생성 (선택) 

하둡을 실행시켜주고, 

~/hadoop/sbin/start-all.sh

 

원하는 하둡 경로에 폴더를 생성해준다. 

hadoop fs -mkdir /folder #앞에 / 꼭 붙혀야한다!

hadoop fs -ls /folder

 

3. 파일을 넣어주자 

put 명령어를 통해 파일을 upload 해주면 된다. (반대로, get하면 파일을 local로 가져옴) 

hadoop fs -put ~/tfile.csv /folder/

 

잘들어갔는지 확인하기 

 hadoop fs -ls /folder/

 

위에서는 아무것도 안떴었을 텐데, 지금은 잘 올라간 것을 확인할 수 있다. 간단하게 HDFS에 파일 넣는법 끝! 

 

 

 

 

 

참고자료

https://jerrys-ai-lab.tistory.com/42

https://wikidocs.net/26496#mkdir