[NODEJS] LÀM SAO LẤY DỮ LIỆU TỪ WEBSITE CÓ SỬ DỤNG AJAX BẰNG NODEJS

Question

Hello các thành viên trong nhóm, mình là thành viên đã và đang nghiên cứu về Nodejs. Hôm nay mình có một vấn đề muốn hỏi các pác là: Mình sử dụng Nodejs muốn lấy dữ liệu từ website khác, nhưng có v...

Accepted Answer

Chào bạn!
Với những trang web phức tạp như này thì mình nghĩ nên sử dụng headless browser để lấy dữ liệu. Mình chia thành 2 phần cho dễ theo dõi nhé  :smile:
**1. Giới thiệu chung**
- Theo kiến thức hạn hẹp mình biết thì hiện nay có 2 cách lấy dữ liệu web tự động (trộm) chính đó là:
	- Phương pháp sử dụng request (Request base method): Phù hợp với trang web tĩnh, ít sử dụng ajax, url đối tượng cần get có thể đoán được (?page=1, ?image=2, ...)
	- Phương pháp sử dụng trình duyệt (Browser base method): Áp dụng với trang web động, sử dụng nhiều ajax, đôi tượng cần get rất khó đoán được (do generate từ minified JS ra)
- Trong phạm vi câu hỏi mình sẽ giới thiệu về phương pháp thứ 2. Sở dĩ được gọi là headless browser bởi vì thứ nhất nó là 1 browser, thứ 2 là nó có thể chạy mà không cần tới giao diện người dùng (UI). Bạn có thể điều khiển headless browser thông qua API mà nó cung cấp.
- Với NodeJS thì có một số tên tuổi đình đám sử dụng Chrominum như:
	- PhantomJS https://github.com/ariya/phantomjs
	- NightmareJS https://github.com/segmentio/nightmare
	- Puppeteer của chính Chrome luôn https://github.com/GoogleChrome/puppeteer
- Còn sử dụng Firefox thì có
	- SlimerJS https://github.com/laurentj/slimerjs
- Công dụng chính của headless browser: Để tự động hóa các tác vụ trên trình duyệt (test UI, lấy dữ liệu,...)

**2. Bắt tay vào làm nào**
- Mấy thư viện trên gần như tương tự nhau về mặt chức năng. Mình thì thích API của Puppeteer hơn vì nó sinh sau đẻ muộn và cú pháp nó gắn gọn hơn. Bạn setup theo hướng dẫn tại đây https://github.com/GoogleChrome/puppeteer
- Phương châm khi lấy dữ liệu bằng headless browser đó là: "thấy được lấy được"  :))
- Ok mình demo lấy 5 cái ảnh to sản phẩm ở link này  cho bạn (https://world.tmall.com/item/543285442762.htm). Điểm khó ở đây đó chính là 5 ảnh này chỉ xuất hiện sau khi mình hover => JS sẽ xử lý sự kiện => chạy ajax để lấy ảnh về. Với cách lấy dữ liệu sử dụng cURL thì việc này gần như là bất khả thi vì phải decode 1 đống JS đã minify để xem logic lấy URL ảnh kiểu gì. Do đó chúng ta nên dùng headless browser.
- Loay hoay mãi cũng ra. Mình comment trong code luôn cho bạn dễ hình dung nhé. 
    {@gist: https://gist.github.com/tranduykhanh/7f29d13fb640b49ef4f31e1d5a39b6ad}
- Chạy
```
$ node index.js
```
- Và đây là kết quả trên console
```[ &#x27;https://img.alicdn.com/bao/uploaded/i2/TB1Ka92SXXXXXcCXFXXXXXXXXXX_!!0-item_pic.jpg_430x430q90.jpg&#x27;,
  &#x27;https://img.alicdn.com/imgextra/i3/1695308781/TB2wkICt9hlpuFjSspkXXa1ApXa_!!1695308781.jpg_430x430q90.jpg&#x27;,
  &#x27;https://img.alicdn.com/imgextra/i2/1695308781/TB2uwGFb88kpuFjSspeXXc7IpXa_!!1695308781.jpg_430x430q90.jpg&#x27;,
  &#x27;https://img.alicdn.com/imgextra/i4/1695308781/TB2kzeCb80kpuFjy1XaXXaFkVXa_!!1695308781.jpg_430x430q90.jpg&#x27;,
  &#x27;https://img.alicdn.com/imgextra/i3/1695308781/TB2AouUeYBmpuFjSZFAXXaQ0pXa_!!1695308781.jpg_430x430q90.jpg&#x27; ]
```

Chúc bạn thành công! :smile_cat:

[NODEJS] LÀM SAO LẤY DỮ LIỆU TỪ WEBSITE CÓ SỬ DỤNG AJAX BẰNG NODEJS

1 CÂU TRẢ LỜI

Cảm ơn bác nhiều nhé!