Yêu cầu thg 11 25, 2020 3:43 SA 145 0 1
  • 145 0 1
+1

Hỏi về cách giảm lượt request khi scraping

Chia sẻ
  • 145 0 1

Hiện tại e đang gặp vấn đề là bị giới hạn lượt request trên 1h khi scraping vì vậy e nghĩ giải pháp sẽ là lưu lại url next page và sử dụng crontab để hẹn giờ chạy tiếp. Mong mọi người cho e xin thêm giải pháp để giải quyết vấn đề này ạ.

Avatar Quiet @simple1805
thg 11 25, 2020 8:25 SA

Trước mình cũng có 1 hệ thống xây dựng call đến 1 API nhưng nó chỉ cho mỗi tiếng call 60 request. Nên thi thoảng nó sẽ chết cho bị báo limit.

Mình đành phải chơi tricks mỗi lần call API xong lại sleep() một khoảng thời gian nhất định để giảm request đi cho đỡ bị lỗi limit =))

Avatar DcQ @dcqbean
thg 11 26, 2020 2:32 SA

@huusu1996 mình ko dùng sleep mà dùng crontab hẹn giờ nó request 😃) cứ mỗi giờ lại gửi 1 lượt nhất định.

thg 11 26, 2020 4:37 SA

Dùng proxy nhe

1 CÂU TRẢ LỜI


Đã trả lời thg 11 26, 2020 4:39 SA
+2

dùng proxy nhé, nếu không phải click paid thì dùng tor cho đỡ mất tiền.

Chia sẻ
Viblo
Hãy đăng ký một tài khoản Viblo để nhận được nhiều bài viết thú vị hơn.
Đăng kí