Scrapy 是一款由 Python 语言开发高效的爬虫框架，使用 lxml（专业的 XML 处理包）、cssselect 高效地提取 HTML 页面的有效信息，同时它也提供了有效的线程管理。 

可能你会有疑问，requests 和 urllib 同样是爬虫，为什么我们要使用 Scrapy 网络请求框架？

因为 Scrapy 使用了 Twisted 异步网络框架来处理网络通讯。如此，开发者不用自己去实现异步框架，且下载速度可以更快。Scrapy 还包含了各种中间件接口，可以灵活的完成各种需求。

  在学习 Scrapy 框架之前，建议您对 python 语言、xpath 语法、正则表达式、html 状态码等网络爬虫知识有初步的了解。