Asked Nov 25th, 2020 3:43 AM 105 0 1
  • 105 0 1
+1

Hỏi về cách giảm lượt request khi scraping

Share
  • 105 0 1

Hiện tại e đang gặp vấn đề là bị giới hạn lượt request trên 1h khi scraping vì vậy e nghĩ giải pháp sẽ là lưu lại url next page và sử dụng crontab để hẹn giờ chạy tiếp. Mong mọi người cho e xin thêm giải pháp để giải quyết vấn đề này ạ.

Nov 25th, 2020 8:25 AM

Trước mình cũng có 1 hệ thống xây dựng call đến 1 API nhưng nó chỉ cho mỗi tiếng call 60 request. Nên thi thoảng nó sẽ chết cho bị báo limit.

Mình đành phải chơi tricks mỗi lần call API xong lại sleep() một khoảng thời gian nhất định để giảm request đi cho đỡ bị lỗi limit =))

+1
| Reply
Share
DcQ @dcqbean
Nov 26th, 2020 2:32 AM

@huusu1996 mình ko dùng sleep mà dùng crontab hẹn giờ nó request 😃) cứ mỗi giờ lại gửi 1 lượt nhất định.

0
| Reply
Share
Nov 26th, 2020 4:37 AM

Dùng proxy nhe

0
| Reply
Share

1 ANSWERS


Answered Nov 26th, 2020 4:39 AM
+2

dùng proxy nhé, nếu không phải click paid thì dùng tor cho đỡ mất tiền.

Share