Scrapy shell¶

Scrapy shell 是一个交互式 shell，您可以在其中快速尝试和调试您的抓取代码，而无需运行爬虫。它旨在用于测试数据提取代码，但实际上您也可以将其用于测试任何类型的代码，因为它也是一个常规的 Python shell。

shell用于测试XPath或CSS表达式，并查看它们如何工作以及从您尝试抓取的网页中提取哪些数据。它允许您在编写蜘蛛时交互式地测试您的表达式，而无需运行蜘蛛来测试每个更改。

一旦你熟悉了Scrapy shell，你会发现它是开发和调试你的爬虫的宝贵工具。

配置shell¶

如果你安装了IPython，Scrapy shell 将会使用它（而不是标准的 Python 控制台）。IPython 控制台功能更加强大，提供了智能自动补全和彩色输出等功能。

我们强烈建议您安装IPython，特别是在Unix系统上工作时（IPython在这些系统上表现出色）。更多信息请参见IPython安装指南。

Scrapy 还支持 bpython，并且会在 IPython 不可用时尝试使用它。

通过Scrapy的设置，您可以配置它使用ipython、bpython或标准的python shell中的任何一个，无论安装了哪个。这是通过设置SCRAPY_PYTHON_SHELL环境变量来完成的；或者通过在您的scrapy.cfg中定义它来实现：

[settings]
shell = bpython

启动shell¶

要启动Scrapy shell，你可以使用shell命令，如下所示：

scrapy shell <url>

其中是您想要抓取的URL。

shell 也适用于本地文件。如果你想在本地网页副本上进行操作，这会非常方便。shell 理解以下本地文件的语法：

# UNIX-style
scrapy shell ./path/to/file.html
scrapy shell ../other/path/to/file.html
scrapy shell /absolute/path/to/file.html

# File URI
scrapy shell file:///absolute/path/to/file.html

注意

使用相对文件路径时，请明确并在前面加上./（或在相关情况下加上../）。 scrapy shell index.html不会像人们预期的那样工作（这是设计上的原因，而不是一个错误）。

因为 shell 更倾向于 HTTP URLs 而不是 File URIs，并且 index.html 在语法上与 example.com 相似， shell 会将 index.html 视为域名并触发 DNS 查找错误：

$ scrapy shell index.html
[ ... scrapy shell starts ... ]
[ ... traceback ... ]
twisted.internet.error.DNSLookupError: DNS lookup failed:
address 'index.html' not found: [Errno -5] No address associated with hostname.

shell 不会预先测试当前目录中是否存在名为 index.html 的文件。再次强调，要明确指定。

使用shell¶

Scrapy shell 只是一个普通的 Python 控制台（或者如果你有的话，也可以是 IPython 控制台），它提供了一些额外的快捷函数以便于使用。

可用快捷键¶

shelp() - 打印帮助信息，列出可用的对象和快捷方式
fetch(url[, redirect=True]) - 从给定的URL获取新的响应，并相应地更新所有相关对象。你可以选择通过传递redirect=False来不跟随HTTP 3xx重定向。
fetch(request) - 从给定的请求中获取一个新的响应，并相应地更新所有相关的对象。
view(response) - 在本地网络浏览器中打开给定的响应，以便进行检查。这将在响应体中添加一个标签，以确保外部链接（如图片和样式表）能够正确显示。但请注意，这将在您的计算机上创建一个临时文件，该文件不会自动删除。

可用的Scrapy对象¶

Scrapy shell 会自动从下载的页面创建一些方便的对象，比如 Response 对象和 Selector 对象（适用于 HTML 和 XML 内容）。

这些对象是：

crawler - 当前的 Crawler 对象。
spider - 已知处理该URL的Spider，或者如果当前URL没有找到Spider，则是一个Spider对象
request - 最后获取页面的Request对象。您可以使用replace()修改此请求，或使用fetch快捷方式获取新请求（无需离开shell）。
response - 一个包含最后获取页面的Response对象
settings - 当前的 Scrapy 设置

Shell会话示例¶

这里有一个典型的shell会话示例，我们首先抓取 https://scrapy.org 页面，然后继续抓取 https://old.reddit.com/ 页面。最后，我们将（Reddit）请求方法修改为POST并重新获取它得到一个错误。我们通过输入Ctrl-D（在Unix系统中）或在Windows中输入Ctrl-Z来结束会话。

请记住，当你尝试时，这里提取的数据可能不一样，因为这些页面不是静态的，可能在你测试时已经发生了变化。这个例子的唯一目的是让你熟悉Scrapy shell的工作原理。

首先，我们启动shell：

scrapy shell 'https://scrapy.org' --nolog

注意

记住在从命令行运行Scrapy shell时，始终将URL用引号括起来，否则包含参数的URL（即&字符）将无法工作。

在Windows上，请使用双引号代替：

scrapy shell "https://scrapy.org" --nolog

然后，shell 获取 URL（使用 Scrapy 下载器）并打印出可用的对象和有用的快捷方式列表（你会注意到这些行都以 [s] 前缀开头）：

[s] Available Scrapy objects:
[s]   scrapy     scrapy module (contains scrapy.Request, scrapy.Selector, etc)
[s]   crawler    <scrapy.crawler.Crawler object at 0x7f07395dd690>
[s]   item       {}
[s]   request    <GET https://scrapy.org>
[s]   response   <200 https://scrapy.org/>
[s]   settings   <scrapy.settings.Settings object at 0x7f07395dd710>
[s]   spider     <DefaultSpider 'default' at 0x7f0735891690>
[s] Useful shortcuts:
[s]   fetch(url[, redirect=True]) Fetch URL and update local objects (by default, redirects are followed)
[s]   fetch(req)                  Fetch a scrapy.Request and update local objects
[s]   shelp()           Shell help (print this help)
[s]   view(response)    View response in a browser

>>>

之后，我们可以开始操作这些对象：

>>> response.xpath("//title/text()").get()
'Scrapy | A Fast and Powerful Scraping and Web Crawling Framework'

>>> fetch("https://old.reddit.com/")

>>> response.xpath("//title/text()").get()
'reddit: the front page of the internet'

>>> request = request.replace(method="POST")

>>> fetch(request)

>>> response.status
404

>>> from pprint import pprint

>>> pprint(response.headers)
{'Accept-Ranges': ['bytes'],
'Cache-Control': ['max-age=0, must-revalidate'],
'Content-Type': ['text/html; charset=UTF-8'],
'Date': ['Thu, 08 Dec 2016 16:21:19 GMT'],
'Server': ['snooserv'],
'Set-Cookie': ['loid=KqNLou0V9SKMX4qb4n; Domain=reddit.com; Max-Age=63071999; Path=/; expires=Sat, 08-Dec-2018 16:21:19 GMT; secure',
                'loidcreated=2016-12-08T16%3A21%3A19.445Z; Domain=reddit.com; Max-Age=63071999; Path=/; expires=Sat, 08-Dec-2018 16:21:19 GMT; secure',
                'loid=vi0ZVe4NkxNWdlH7r7; Domain=reddit.com; Max-Age=63071999; Path=/; expires=Sat, 08-Dec-2018 16:21:19 GMT; secure',
                'loidcreated=2016-12-08T16%3A21%3A19.459Z; Domain=reddit.com; Max-Age=63071999; Path=/; expires=Sat, 08-Dec-2018 16:21:19 GMT; secure'],
'Vary': ['accept-encoding'],
'Via': ['1.1 varnish'],
'X-Cache': ['MISS'],
'X-Cache-Hits': ['0'],
'X-Content-Type-Options': ['nosniff'],
'X-Frame-Options': ['SAMEORIGIN'],
'X-Moose': ['majestic'],
'X-Served-By': ['cache-cdg8730-CDG'],
'X-Timer': ['S1481214079.394283,VS0,VE159'],
'X-Ua-Compatible': ['IE=edge'],
'X-Xss-Protection': ['1; mode=block']}

从蜘蛛调用shell以检查响应¶

有时你可能想要检查在你的爬虫的某个点正在处理的响应，即使只是为了确认你期望的响应是否到达了那里。

这可以通过使用scrapy.shell.inspect_response函数来实现。

以下是如何从你的爬虫中调用它的示例：

import scrapy


class MySpider(scrapy.Spider):
    name = "myspider"
    start_urls = [
        "http://example.com",
        "http://example.org",
        "http://example.net",
    ]

    def parse(self, response):
        # We want to inspect one specific response.
        if ".org" in response.url:
            from scrapy.shell import inspect_response

            inspect_response(response, self)

        # Rest of parsing code.

当你运行爬虫时，你会得到类似这样的结果：

2014-01-23 17:48:31-0400 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://example.com> (referer: None)
2014-01-23 17:48:31-0400 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://example.org> (referer: None)
[s] Available Scrapy objects:
[s]   crawler    <scrapy.crawler.Crawler object at 0x1e16b50>
...

>>> response.url
'http://example.org'

然后，您可以检查提取代码是否正常工作：

>>> response.xpath('//h1[@class="fn"]')
[]

不，它不会。所以你可以在你的网页浏览器中打开响应，看看它是否是你期望的响应：

>>> view(response)
True

最后你按下Ctrl-D（或在Windows中按下Ctrl-Z）退出shell并继续爬取：

>>> ^D
2014-01-23 17:50:03-0400 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://example.net> (referer: None)
...

请注意，由于Scrapy引擎被shell阻塞，您不能在此处使用fetch快捷方式。但是，当您离开shell后，蜘蛛将继续从它停止的地方爬取，如上所示。