scrapy 2.3 解析命令

检查蜘蛛输出的最基本方法是使用 ​parse​ 命令。它允许在方法级别检查spider的不同部分的行为。它的优点是灵活和易于使用，但不允许在方法内部调试代码。

为了查看从特定URL中获取的项目：

$ scrapy parse --spider=myspider -c parse_item -d 2 <item_url>
[ ... scrapy log lines crawling example.com spider ... ]

>>> STATUS DEPTH LEVEL 2 <<<
# Scraped Items  ------------------------------------------------------------
[{'url': <item_url>}]

# Requests  -----------------------------------------------------------------
[]

使用 ​--verbose​ 或 ​-v​ 选项我们可以看到每个深度级别的状态：

$ scrapy parse --spider=myspider -c parse_item -d 2 -v <item_url>
[ ... scrapy log lines crawling example.com spider ... ]

>>> DEPTH LEVEL: 1 <<<
# Scraped Items  ------------------------------------------------------------
[]

# Requests  -----------------------------------------------------------------
[<GET item_details_url>]


>>> DEPTH LEVEL: 2 <<<
# Scraped Items  ------------------------------------------------------------
[{'url': <item_url>}]

# Requests  -----------------------------------------------------------------
[]

检查从一个开始的项目，也可以很容易地实现使用：：

$ scrapy parse --spider=myspider -d 3 'http://example.com/page1'