Yêu cầu thg 8 23, 2019 8:22 SA 413 0 1
  • 413 0 1
0

Lỗi khi lấy dữ liệu trên web bằng Scapy

Chia sẻ
  • 413 0 1

ai đã từng lấy dữ liệu trên web bằng scapy thì chỉ e với ạ.e chay mà toán báo lỗi . E làm theo hướng dẫn theo bài bạn này viết ạ https://viblo.asia/p/crawl-du-lieu-trang-web-voi-scrapy-E375zWr1KGW

thg 8 23, 2019 10:08 SA

Bạn có thể copy code cho vào trong thẻ code để mình có thể dễ đọc được không? Cho code trong

```python

[....]

```

Như này này,

print("i'm Quang")
thg 8 24, 2019 1:51 SA

@QuangPH

from scrapy import Spider
from scrapy.selector import Selector
from crawler.items import CrawlerItem

class CrawlerSpider(Spider):
    name = "crawler"
    allowed_domains = ["thegioididong.com"]
    start_urls = [
        "https://www.thegioididong.com/dtdd/samsung-galaxy-a50",
    ]

    def parse(self, response):
        questions = Selector(response).xpath('//ul[@class="listcomment"]/li')

        for question in questions:
            item = CrawlerItem()

            item['User'] = question.xpath(
                'div[@class="rowuser"]/a/strong/text()').extract_first()
            item['Comment'] = question.xpath(
                'div[@class="question"]/text()').extract_first()
            item['Time'] = question.xpath(
                'div[@class="actionuser"]/a[@class="time"]/text()').extract_first()

            yield item

đây ban

1 CÂU TRẢ LỜI


Đã trả lời thg 8 24, 2019 2:40 SA
Đã được chấp nhận
+1

Nếu nhìn vào shell cmd của bạn thì mình đoán chỉ là bạn chạy lệnh sai thôi. Để chạy 1 crawler bạn không thể chạy lệnh như 1 file python bình thường được. Kiểu như này chạy sẽ báo lỗi như của bạn:

python -u crawler_spider.py

Để chạy được, bạn phải sử dụng lệnh:

scrapy runspider <đường dẫn tới file crawler_spider.py>

Hoặc bạn mở cmd tại thư mục crawler\crawler\spiders, khi đã ở trong thư mực spiders, bạn chạy lệnh

scrapy crawl crawler -o comments.json
Chia sẻ
thg 8 24, 2019 2:55 SA

minh dung sublitext ma

thg 8 24, 2019 2:57 SA

@MAINT ah minh dung cmd thi file chay.thế làm sao để chay được sublitext bạn ơi

thg 8 24, 2019 3:02 SA

@MAINT Ồ, mình không dùng Sublime text nên không để ý nó không có cmd, vậy thì chỉ có cách là bạn mở cmd bên ngoài để chạy thôi. Code bạn đúng rồi không cần sửa gì, chỉ là mở cmd bên ngoài và chạy như vừa mình bảo thôi.

thg 8 24, 2019 3:10 SA

@QuangPH chen kieu nay a bạn from scrapy import Spider

from scrapy.selector import Selector

from crawler.items import CrawlerItem

scrapy runspider <"C:\Users\MAITHANH\OneDrive\python\scapy\crawler\crawler\spiders">

class CrawlerSpider(Spider): name = "crawler" allowed_domains = ["thegioididong.com"] start_urls = [ "https://www.thegioididong.com/dtdd/samsung-galaxy-a50", ]

thg 8 24, 2019 3:50 SA
thg 8 24, 2019 3:53 SA

@MAINT Ồ, mình không dùng Sublime text nên không để ý nó không có cmd, vậy thì chỉ có cách là bạn mở cmd bên ngoài để chạy thôi. Code bạn đúng rồi không cần sửa gì, chỉ là mở cmd bên ngoài và chạy như vừa mình bảo thôi.

thg 8 24, 2019 3:59 SA

@QuangPH ok thanks ban nhiều nhé

Viblo
Hãy đăng ký một tài khoản Viblo để nhận được nhiều bài viết thú vị hơn.
Đăng kí