4.0K 207 58

Đã đăng vào thg 11 16, 2020 8:52 SA 7 phút đọc

1.6K

Một số câu lệnh cmd HDFS trong ngôn ngữ Hive

Bài đăng này đã không được cập nhật trong 3 năm

Xin chào mọi người, hôm nay mình sẽ chia sẻ một bài viết về ngôn ngữ Hive, đối với một số người chắc không phải là ngôn ngữ lập trình mới tuy nhiên đối với mình nó mới hoàn toàn =))). Vì vậy bài viết này mục đích để chia sẻ cũng như noted lại những kiến thức mình tự học được. Hive được dùng khá phổ biến khi bạn muốn học về Hadoop hay Spark nói riêng cũng như Bigdata nói chung.

Trong bài viết này mình sẽ hướng dẫn cài đặt Hive cũng như hướng dẫn sử dụng một số câu lệnh cmd để làm việc với ngôn ngữ này.

Install Hive

Để có thể cài đặt được Hive thì việc đầu tiên chúng ta cần làm là phải cài Hadoop trước nhé . Các bạn cài hadoop dựa theo link này nhé.. Nếu mọi người cài bị vướng mắc ở đâu có thể cmt ở dưới bài cho mình biết nhé.

OK! Bắt tay vào cài Hive thôi nào . Tham khảo tại đây

Download Hive

wget https://downloads.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
tar xzf apache-hive-3.1.2-bin.tar.gz

Configure Hive environment

sudo nano .bashrc

export HIVE_HOME= “home/hdoop/apache-hive-3.1.2-bin”
export PATH=$PATH:$HIVE_HOME/bin

source ~/.bashrc

Edit file hive-config.sh

sudo nano $HIVE_HOME/bin/hive-config.sh

thêm dòng export HADOOP_HOME=/home/hdoop/hadoop-3.2.1 vào file hive-config.sh sau đó lưu lại

Tạo Directories trong HDFS

hdfs dfs -mkdir /tmp
hdfs dfs -chmod g+w /tmp
hdfs dfs -ls /

Hình 2: Tạo Directories tmp trong HDFS

hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -chmod g+w /user/hive/warehouse
hdfs dfs -ls /user/hive

Hình 3: tạo directories warehouse

Configure hive-site.xml file

cd $HIVE_HOME/conf

Mọi người tải và thêm file hive-site.xml này vào folder này nhé .

Khởi tạo cơ sở dữ liệu Derby

$HIVE_HOME/bin/schematool –initSchema –dbType derby

Hình4: Khởi tạo cơ sở dữ liệu Derby

Bao giờ kết quả ra như hình 4 là xong nhé.

Fix guava error

ls $HIVE_HOME/lib
ls $HADOOP_HOME/share/hadoop/hdfs/lib
rm $HIVE_HOME/lib/guava-19.0.jar
cp $HADOOP_HOME/share/hadoop/hdfs/lib/guava-27.0-jre.jar $HIVE_HOME/lib/
$HIVE_HOME/bin/schematool –initSchema –dbType derby

cd $HIVE_HOME/bin

hive

Hình5: hive interface

Vậy là đã cài xong hive rồi nhé mọi người. Tiếp theo cùng bước sang phần câu lệnh cmd trong ngôn ngữ Hive này nhé. Khi mọi người cài mà gặp lỗi gì có thể chụp màn hình lại rồi cmt bên dưới nhé ^^.

Câu lệnh cmd HDFS

HDFS là viết tắt của Hadoop Distributed File System, là 1 hệ thống lưu trữ chính được dùng bởi Hadoop. Ban đầu mình cài xong Hive thì khá là hào hứng vậy là vào thử query hay là tạo database các kiểu. Tuy nhiên dữ liệu muốn sử dụng được thì phải đẩy vào local của hdfs, mình cảm thấy khá là phiền phức. Vậy là phải bắt tay vào học thêm mấy câu lệnh cmd của hdfs để phục vụ cho việc thêm dữ liệu, bla bla. Thực chất ban đầu học mình cũng tưởng nó cao siêu lắm, tuy nhiên sau khi học rồi mình cũng thấy nó kha khá giống với một số câu lệnh khi sử dụng với hệ điều hành Linux. Sau đây mình sẽ giới thiệu một số câu lệnh đơn giản và hay dùng nhất .

help

Nếu bạn muốn xem sự trợ giúp hoặc thông tin về common line trong HDFS bạn có thể sử dụng 2 lệnh sau

hdfs dfs -help
hdfs dfs -usage <utility_name>

mkdir

Tiếp tục tương tự như câu lệnh cmd trong Linux thì để tạo folder trong HDFS chúng ta sử dụng dòng cmd như dưới đây:

hdfs dfs -mkdir /newfolder

Ví dụ như khi bạn lo lắng rằng thư mục bạn vừa tạo đã tồn tại thì bạn có thể sử dụng thêm:

hdfs dfs -mkdir -p /newfolder

Với câu lệnh này thì bạn có thể tạo được thư mục ngay cả khi nó đã tồn tại rồi.

ls

Và sau đó sử dụng ls để check xem đã tạo xong thư mục chưa?

hdfs dfs -ls /

Hình 6: check xem đã tạo xong thư mục chưa

Như ở hình 6 thì có thể thấy rằng thư mực mới đã được tạo xong rồi . Còn khi muốn show ra hết các file hay thư mục con chứa trong hdfs thì bạn chỉ cần thêm -R như hình 7:

hdfs dfs -ls -R /

Hình 7: check tất cả các file trong hdfs

put

Sử dụng khi muốn copy một file từ local vào thư mục của hdfs. Ví dụ mình muốn copy một file test.txt vào, tuy nhiên sẽ tạo file test.txt ở bên ngoài local trc nhé

hdfs dfs -put ~/test.txt /newfolder/

Sau khi đã copy xong thì thử check xem file test.txt đã thật sự tông tại trong thư mục chưa. Hình8: check file test.txt

copyFromLocal

Cmd này tương tự như put ở bên trên.

hdfs dfs -copyFromLocal  ~/test.txt /newfolder/

Sau khi thực hiện lệnh này xong kết qủa tương tự như hình 8

get

Ở trên chúng ta đã copy từ local vào hdfs thì với câu lệnh get chúng ta sẽ lấy được file từ hdfs về local.

hdfs dfs -get /newfolder/test.txt /copyfromhdfs/

Kết quả sẽ thu được như hình 9 dưới đây Hình 9: câu lệnh get

copyToLocal

Tương tự như ở trên chúng ta có copyFromLocal thì ở đây cũng có copyToLocal, câu lệnh này giống với get ở bên trên.

hdfs dfs -copyToLocal /newfolder/test.txt /copyfromhdfs/

Kết quả cũng sẽ thu được như hình 9

cat

Giống như trong cmd của linux cat ở hdfs cũng để show xem content ở trong file

 hdfs dfs -cat /newfolder/test.txt

mv

mv dùng để chuyển file hoặc cả thư mục từ thư mục này sang thư mục khác. Như ở hình 10 dưới đây mình đã chuyển thư mục newfolder sang thư mục DR Hình 10: câu lệnh mv

cp

cp dùng để copy từ thư mục này sang thư mục khác ở trong hdfs

hdfs dfs -cp /DR/newfolder/test.txt /DR

Hình 11: câu lệnh cp

rm

rm để xóa file trong hdfs như hình 12 dưới đây.

hdfs dfs -rm /DR/test.txt

Hình 12: câu lệnh rm

Những câu lệnh trên đây là những câu lệnh cơ bản trong hdfs nó khá là giống với câu lệnh cmd trong linux . Nếu mọi người muốn tìm hiểu sâu hơn về HDFS thì tìm hiểu ở đây nhé. Còn nếu muốn tìm hiểu thêm nhiều câu lệnh cmd khác thì xem thêm ở đây.

Kết Luận

Như vậy ở trên mình đã hướng dẫn một số câu lệnh cmd cơ bản của hdfs để việc sử dụng ngôn ngữ Hive nói riêng cũng như Hadoop nói chung một cách đơn giản và dễ dàng hơn rồi. Cảm ơn mọi người đã đọc đến đây, và đừng quên Upvoted cho mình nhé. Hẹn gặp lại mọi người các bài tiếp theo của mình.