Yêu cầu May 23rd, 2021 2:20 p.m. 77 0 3
  • 77 0 3
+2

em mới tìm hiểu về node js mong mn giúp em ạ

Chia sẻ
  • 77 0 3

em em lấy dữ liệu của 1 trang web nhưng trang web đó block request từ domain ,mọi người cho em hỏi có cách nào lấy được dữ liệu không ạ em cảm ơn ạ

3 CÂU TRẢ LỜI


Đã trả lời May 25th, 2021 2:37 a.m.
Đã được chấp nhận
0

Hình như bạn muốn crawl data từ website nào đó. Nếu bạn muốn crawl data web để không bị block thì nên dùng proxy nhé, proxy sẽ giúp bạn change IP ngẫu nhiên. Không thì IP address của bạn sẽ sớm bị block vì cố tình crawl data gây chậm cho hệ thống của họ. Và cũng nói thêm domain chỉ là định danh thôi không block được gì cả, chỉ là bộ filter được chủ web thiết lập xem là request của bạn là trình duyệt hay qua giả lập (bot, job ...) mới là cái block request.

Chia sẻ
Avatar lâm phong @lamphong
May 25th, 2021 11:40 a.m.

dạ em cảm ơn anh ạ

Đã trả lời May 25th, 2021 7:16 a.m.
+1

Như bạn nói thì mình đang hiểu trang web có api kia, đang block domain của bạn.
Vậy thì bên kia đã setting CORS phía server của họ và bạn không có cách nào call api từ website đó đâu.
Trừ khi bên đó thêm cấu hình chia sẻ cho domain của bạn thì bạn mới call Api đc nhé.
Phần cài đặt CORS đó nằm ở phía server của họ chứ ko phải phía bạn (phía call Api).

Chia sẻ
Avatar lâm phong @lamphong
May 25th, 2021 11:40 a.m.

mình cảm ơn bạn nha

Đã trả lời May 24th, 2021 4:38 a.m.
0

Mình chưa hiểu lắm ý bạn về việc "block request từ domain". Hình như bạn bị lỗi CORS khi test thì phải đúng không? Khi bạn tạo request lấy dữ liệu từ Node.js server thì sẽ không bị lỗi CORS này đâu. Bạn vẫn dùng axios để kéo dữ liệu như thường. Nếu bạn test dưới local thì có thể cài thêm extension để cho Bypass CORS trên browser.

Chia sẻ
Avatar Coderlatoi @phuong.nguyen
May 25th, 2021 2:36 a.m.
Avatar lâm phong @lamphong
May 25th, 2021 11:37 a.m.

dạ em cảm ơn anh nhiều ạ

Viblo
Hãy đăng ký một tài khoản Viblo để nhận được nhiều bài viết thú vị hơn.
Đăng kí