scrapy 2.3 按BFO顺序爬行

2021-06-16 11:38 更新

Scrapy crawls in DFO order by default .

然而,在广泛的爬行中,页面爬行往往比页面处理更快。因此,未处理的早期请求将保留在内存中,直到达到最终深度,这可以显著增加内存使用量。

Crawl in BFO order 而是保存内存。

以上内容是否对您有帮助:
在线笔记
App下载
App下载

扫描二维码

下载编程狮App

公众号
微信公众号

编程狮公众号