THẢO LUẬN

em bỏ vào 1 file tieng viet txt vao doc rb thi nó báo lỗi

0
Avatar
đã bình luận cho bài viết
thg 10 28, 2018 2:18 SA

mình chưa hiểu ý bạn lắm, bản thân axios đã là 1 đối tượng Promise rồi mà bạn.

0
thg 10 27, 2018 2:26 CH

oke c. đây là repo của bài này nhé c https://github.com/tranchien2002/CrawlNhaccuatuiLyric

0
thg 10 27, 2018 1:06 CH

Bạn cú thể nói rõ hơn về yêu cầu dự án của bạn được không 🤔 chứ nói chung chung là web service thì hơi khó để người khác có thể đưa ra được lời khuyên gì 😂

0
thg 10 27, 2018 11:19 SA

Sr, tơ quên mất cậu dùng package: scrapy-mysql-pipeline Source code: https://github.com/IaroslavR/scrapy-mysql-pipeline Thanks. 😀

0
thg 10 27, 2018 10:48 SA

Vi dụ pipelines Json của tớ: class ArtistdataPipeline(object): count = 0 def open_spider(self, spider): self.file = open('artists.json', 'wb')

def close_spider(self, spider):
    self.file.close()

def process_item(self, item, spider):
    self.count += 1
    if self.count > 10:
        self.file.close()
        raise CloseSpider("Enough, I need to eat")
    line = json.dumps(dict(item)) + "\n"
    self.file.write(line.encode('utf-8'))
    return item

Phía trên trong items.py tớ mới thấy định nghĩa items fields, phần xử lý pipelines to DB chưa thấy. Cậu share cho tớ source cả project dc chứ, vì phần DB tớ chưa biết xử lí pipelines như thế nào 😄

0
thg 10 27, 2018 10:22 SA

thks bạnh.mình đã implement ở phần settings.py rồi đó bạn

0
thg 10 27, 2018 8:33 SA

À tớ chưa thấy implement của pipelines, đang thắc mắc source code.

0
thg 10 27, 2018 7:26 SA

con mp3 là sml ngay đấy a, do nhaccuatui cây DOM kiểu classic nên mới áp dụng được

0
thg 10 27, 2018 3:59 SA

Rất rất hay luôn ạ. Cảm ơn anh ❤️ E sẽ lưu lại gối đầu giường và thỉnh thoảng đọc đi đọc lại =))

0
thg 10 27, 2018 3:48 SA

bài viết hữu ích. Tks bạn nhiều

0
Avatar
đã bình luận cho bài viết
thg 10 27, 2018 3:18 SA

tks bạn nhiều

0
thg 10 27, 2018 3:17 SA

sắp xếp theo grating rất hay, cảm ơn chia sẻ của bạn

0
thg 10 27, 2018 3:13 SA

qá đẹp them bất động sản này có các nào được free ko bạn 😃

0
thg 10 27, 2018 3:12 SA

hiểu đơn giản là nó sẽ đem lại nhiều lợi ích cho bất động sản tuy nhiên nó cũng sẽ mang lại mặc tiêu cực, sẽ có nhiều vấn đề xuất hiện.

0
thg 10 27, 2018 3:10 SA

mình vẫn chưa hiểu rõ về Blockchain còn khá mập mờ về sự ảnh hưởng của nó đến bất động sản, cảm ơn bạn về bài viết này, giúp mình mở rộng kiến thức hơn

0
thg 10 27, 2018 1:48 SA

Cào dữ liệu như này chỉ ăn đc vs HTML Dom thui e. 😄 nếu nó dùng js để load ra thì lại phải thêm 1 bước gọi JS để lấy dữ liệu mới. Trước anh clone youtube thì các class của div nó riêng biệt nên dễ lấy hơn thằng này =)).

Dù sao bài viêt cũng ok lắm 😄

+1
Avatar
đã bình luận cho bài viết
thg 10 27, 2018 1:41 SA

bạn cho hỏi mình dùng với promise thì ví dụ viết thế nào mình có bao cái request vào 1 đối tượng promise rồi return đối tượng này được ko

0
thg 10 27, 2018 12:58 SA

Thật sự thì cách này của mình mới chỉ bắt được với những cây DOM html chứ chuưa bắt bằng js. Mình sẽ sớm tìm hiều. Có một cách cơ bản thì bạn có thể tìm hiểu và wireshark và bắt gói tin. vdu trang mp3 chẳng hạn, không sử dụng cách crawl này được : https://m.mp3.zing.vn/xhr/lyrics/get-lyrics?media_id=ZW9CAZ9D&fbclid=IwAR075v_Wx7nX2iSG8aNp4VpYUy2C1wyhu6GgT9iCHqsBPVfVi6kDkP9t4nI

0
thg 10 27, 2018 12:56 SA

ý bạn là sao nhỉ ?

0
Viblo
Hãy đăng ký một tài khoản Viblo để nhận được nhiều bài viết thú vị hơn.
Đăng kí