Lỗi khi lấy dữ liệu trên web bằng Scapy
ai đã từng lấy dữ liệu trên web bằng scapy thì chỉ e với ạ.e chay mà toán báo lỗi . E làm theo hướng dẫn theo bài bạn này viết ạ https://viblo.asia/p/crawl-du-lieu-trang-web-voi-scrapy-E375zWr1KGW
1 CÂU TRẢ LỜI
Nếu nhìn vào shell cmd của bạn thì mình đoán chỉ là bạn chạy lệnh sai thôi. Để chạy 1 crawler bạn không thể chạy lệnh như 1 file python bình thường được. Kiểu như này chạy sẽ báo lỗi như của bạn:
python -u crawler_spider.py
Để chạy được, bạn phải sử dụng lệnh:
scrapy runspider <đường dẫn tới file crawler_spider.py>
Hoặc bạn mở cmd tại thư mục crawler\crawler\spiders, khi đã ở trong thư mực spiders, bạn chạy lệnh
scrapy crawl crawler -o comments.json
minh dung sublitext ma
@MAINT ah minh dung cmd thi file chay.thế làm sao để chay được sublitext bạn ơi
@MAINT Ồ, mình không dùng Sublime text nên không để ý nó không có cmd, vậy thì chỉ có cách là bạn mở cmd bên ngoài để chạy thôi. Code bạn đúng rồi không cần sửa gì, chỉ là mở cmd bên ngoài và chạy như vừa mình bảo thôi.
@QuangPH chen kieu nay a bạn from scrapy import Spider
from scrapy.selector import Selector
from crawler.items import CrawlerItem
scrapy runspider <"C:\Users\MAITHANH\OneDrive\python\scapy\crawler\crawler\spiders">
class CrawlerSpider(Spider): name = "crawler" allowed_domains = ["thegioididong.com"] start_urls = [ "https://www.thegioididong.com/dtdd/samsung-galaxy-a50", ]
@MAINT Ồ, mình không dùng Sublime text nên không để ý nó không có cmd, vậy thì chỉ có cách là bạn mở cmd bên ngoài để chạy thôi. Code bạn đúng rồi không cần sửa gì, chỉ là mở cmd bên ngoài và chạy như vừa mình bảo thôi.
@QuangPH ok thanks ban nhiều nhé
Bạn có thể copy code cho vào trong thẻ code để mình có thể dễ đọc được không? Cho code trong
Như này này,
@QuangPH
đây ban