+1
Hỏi về cách giảm lượt request khi scraping
Hiện tại e đang gặp vấn đề là bị giới hạn lượt request trên 1h khi scraping vì vậy e nghĩ giải pháp sẽ là lưu lại url next page và sử dụng crontab để hẹn giờ chạy tiếp. Mong mọi người cho e xin thêm giải pháp để giải quyết vấn đề này ạ.
Trước mình cũng có 1 hệ thống xây dựng
callđến 1APInhưng nó chỉ cho mỗi tiếng call 60request. Nên thi thoảng nó sẽ chết cho bị báolimit.Mình đành phải chơi
tricksmỗi lần call API xong lạisleep()một khoảng thời gian nhất định để giảm request đi cho đỡ bị lỗi limit =))@huusu1996 mình ko dùng sleep mà dùng crontab hẹn giờ nó request
) cứ mỗi giờ lại gửi 1 lượt nhất định.
Dùng proxy nhe