하둡 Hadoop
[Hadoop] 우분투(Ubuntu)에서 HDFS에 파일 업로드
sseozytank
2024. 4. 1. 12:32
Hadoop을 설치했으니, HDFS에다가 파일을 업로드 해보도록 하자. 우선, 업로드할 csv를 준비하기 ! 캐글에서 아래 데이터를 다운 받아 왔다.
데이터를 다운로드 했으면 이제 본격적으로 스타트!
1. 파일을 우분투 서버에 다운로드하기
wget 명령어를 통해 리눅스 서버로 바로 다운로드 해주자.
wget https://blog.kakaocdn.net/dna/dZmj9T/btsGd8RAfcZ/AAAAAAAAAAAAAAAAAAAAAFBwYto_8rd0pMSrjfiommB6FL5cGpBlGtHQwNdjA3aS/tfile.csv?credential=yqXZFxpELC7KVnFOS48ylbz2pIh7yKj8&expires=1753973999&allow_ip=&allow_referer=&signature=qRnebK8w6oUa43TitQD8hhIcZB8%3D
2. HDFS에 DATA를 넣을 폴더 생성 (선택)
하둡을 실행시켜주고,
~/hadoop/sbin/start-all.sh
원하는 하둡 경로에 폴더를 생성해준다.
hadoop fs -mkdir /folder #앞에 / 꼭 붙혀야한다!hadoop fs -ls /folder
3. 파일을 넣어주자
put 명령어를 통해 파일을 upload 해주면 된다. (반대로, get하면 파일을 local로 가져옴)
hadoop fs -put ~/tfile.csv /folder/
잘들어갔는지 확인하기
hadoop fs -ls /folder/
위에서는 아무것도 안떴었을 텐데, 지금은 잘 올라간 것을 확인할 수 있다. 간단하게 HDFS에 파일 넣는법 끝!
참고자료