Scrapy 2.3官方中文文档
Scrapy 2.3官方中文文档
  1. scrapy 2.3 安装指南
    1. scrapy 2.3 安装教程
    2. scrapy 2.3 Windows环境搭建教程
    3. scrapy 2.3 Ubuntu环境搭建教程
    4. scrapy 2.3 macOS环境搭建教程
    5. scrapy 2.3 PyPy环境搭建教程
    6. scrapy 2.3 故障排除
  2. scrapy 2.3 教程
    1. scrapy 2.3 创建项目
    2. scrapy 2.3 创建蜘蛛
    3. scrapy 2.3 如何运行我们的蜘蛛
    4. scrapy 2.3 请求方法快捷方式
    5. scrapy 2.3 提取数据
    6. scrapy 2.3 在蜘蛛中提取数据
    7. scrapy 2.3 存储抓取的数据
    8. scrapy 2.3 数据抓取实例
    9. scrapy 2.3 蜘蛛参数
  3. scrapy 2.3 命令行工具
    1. scrapy 2.3 配置设置
    2. scrapy 2.3 报废项目的默认结构
    3. scrapy 2.3 在项目之间共享根目录
    4. scrapy 2.3 工具
    5. scrapy 2.3 可用工具命令
    6. scrapy 2.3 自定义项目命令
  4. scrapy 2.3 蜘蛛
    1. scrapy 2.3 scrapy.Spider
    2. scrapy 2.3 蜘蛛爬取参数
    3. scrapy 2.3 类蜘蛛CrawlSpider
    4. scrapy 2.3 XMLFeedSpider
    5. scrapy 2.3 CSVFeedSpider
    6. scrapy 2.3 SitemapSpider
  5. scrapy 2.3 选择器
    1. scrapy 2.3 使用选择器
      1. scrapy 2.3 构造选择器
      2. scrapy 2.3 使用选择器
      3. scrapy 2.3 CSS选择器的扩展
      4. scrapy 2.3 嵌套选择器
      5. scrapy 2.3 选择元素属性
      6. scrapy 2.3 将选择器与正则表达式一起用
      7. scrapy 2.3 extract（）和extract_first（）
    2. scrapy 2.3 使用xpaths
      1. scrapy 2.3 使用相对路径
      2. scrapy 2.3 按类查询使用CSS
      3. scrapy 2.3 节点之间的区别
      4. scrapy 2.3 在条件中使用文本节点
      5. scrapy 2.3 xpath表达式中的变量
      6. scrapy 2.3 使用exslt扩展
        1. scrapy 2.3 正则表达式
        2. scrapy 2.3 集合运算
        3. scrapy 2.3 其他XPath扩展
    3. scrapy 2.3 内置选择器引
      1. scrapy 2.3 SelectorList对象
    4. scrapy 2.3 选择器实例
      1. scrapy 2.3 HTML响应的选择器示例
      2. scrapy 2.3 XML响应的选择器示例
  6. scrapy 2.3 项目
    1. scrapy 2.3 项目类型
      1. scrapy 2.3 项目对象
      2. scrapy 2.3 项目数据类对象
      3. scrapy 2.3 项目属性对象
    2. scrapy 2.3 使用项目对象
      1. scrapy 2.3 声明项子类
      2. scrapy 2.3 声明字段
      3. scrapy 2.3 使用项目对象
        1. scrapy 2.3 获取字段值
        2. scrapy 2.3 访问所有填充的值
        3. scrapy 2.3 复制项目
        4. scrapy 2.3 其他常见任务
      4. scrapy 2.3 扩展项子类
    3. scrapy 2.3 支持所有项目类型
    4. scrapy 2.3 与项目相关的其他类别
  7. scrapy 2.3 项目加载器
    1. scrapy 2.3 使用项目加载器填充项目
    2. scrapy 2.3 使用dataclass项
    3. scrapy 2.3 输入和输出处理器
    4. scrapy 2.3 声明项加载器
    5. scrapy 2.3 声明输入和输出处理器
    6. scrapy 2.3 项目加载器上下文
    7. scrapy 2.3 嵌套装载机
    8. scrapy 2.3 重复使用和扩展项目加载器
  8. scrapy 2.3 shell
    1. scrapy 2.3 配置shell
    2. scrapy 2.3 shell启动外壳
    3. scrapy 2.3 shell使用外壳
      1. scrapy 2.3 shell可用快捷方式
      2. scrapy 2.3 Shell可用对象
    4. scrapy 2.3 Shell会话示例
    5. scrapy 2.3 从spiders调用shell来检查响应
  9. scrapy 2.3 项目管道
    1. scrapy 2.3 编写自己的项目管道
    2. scrapy 2.3 项目管道示例
      1. scrapy 2.3 无价格的价格验证和删除项目
      2. scrapy 2.3 将项目写入JSON文件
      3. scrapy 2.3 将项目写入MongoDB
      4. scrapy 2.3 项目截图
      5. scrapy 2.3 重复筛选器
    3. scrapy 2.3 激活项目管道组件
  10. scrapy 2.3 Feed导出
    1. scrapy 2.3 序列化格式
    2. scrapy 2.3 储藏室
    3. scrapy 2.3 存储URI参数
    4. scrapy 2.3 存储后端
    5. scrapy 2.3 Feed导出设置
  11. scrapy 2.3 请求和响应
    1. 无标题文章
      1. scrapy 2.3 向回调函数传递附加数据
      2. scrapy 2.3 使用errbacks捕获请求处理中的异常
      3. scrapy 2.3 访问errback函数中的其他数据
      4. scrapy 2.3 请求.meta特殊键
    2. scrapy 2.3 停止下载响应
    3. scrapy 2.3 请求子类
      1. scrapy 2.3 FormRequest对象
    4. scrapy 2.3 响应子类
  12. scrapy 2.3 链接提取器
  13. scrapy 2.3 设置
    1. scrapy 2.3 填充设置
    2. scrapy 2.3 导入路径和类
    3. scrapy 2.3 如何访问设置
    4. scrapy 2.3 内置设置参考
  14. scrapy 2.3 内置异常引用
  15. scrapy 2.3 登录
    1. scrapy 2.3 日志级别
    2. scrapy 2.3 如何记录消息
    3. scrapy 2.3 从蜘蛛记录
    4. scrapy 2.3 日志记录配置
      1. scrapy 2.3 日志记录设置
      2. scrapy 2.3 命令行选项
      3. scrapy 2.3 自定义日志格式
      4. scrapy 2.3 高级自定义
  16. scrapy 2.3 统计数据集合
    1. scrapy 2.3 常用统计信息收集器使用
  17. scrapy 2.3 发送电子邮件
    1. scrapy 2.3 邮件设置
  18. scrapy 2.3 远程登录控制台
    1. scrapy 2.3 telnet控制台中的可用变量
    2. scrapy 2.3 telnet控制台使用示例
    3. scrapy 2.3 Telnet控制台信号
    4. scrapy 2.3 远程登录设置
  19. scrapy 2.3 常见问题
    1. Scrapy与BeautifulSoup或LXML相比如何
    2. BeautifulSoup能和Scrapy一起使用吗？
    3. Scrapy是否从Django“窃取”X？
    4. Scrapy能与HTTP代理一起工作吗？
    5. Scrapy是以广度优先还是深度优先的顺序爬行？
    6. 响应状态代码999是什么意思？
    7. 我可以从我的蜘蛛调用``pdb.set_trace（）``来调试它们吗？
    8. 如何将我的所有抓取项转储到json/csv/xml文件中？
    9. 我应该使用蜘蛛参数或设置来配置我的蜘蛛吗？
    10. 如何在项目管道中将项目拆分为多个项目？
  20. scrapy 2.3 调试spiders
    1. scrapy 2.3 解析命令
    2. scrapy 2.3 Scrapy Shell
    3. scrapy 2.3 在浏览器中打开
    4. scrapy 2.3 登录
  21. scrapy 2.3 蜘蛛合约
    1. scrapy 2.3 正在检测检查运行
  22. scrapy 2.3 常用做法
    1. scrapy 2.3 怎么从脚本中运行
    2. scrapy 2.3 在同一进程中运行多个spider
    3. scrapy 2.3 分布式爬行
    4. scrapy 2.3 避免被禁止
  23. scrapy 2.3 宽爬行
    1. scrapy 2.3 使用权利
    2. scrapy 2.3 增加并发性
    3. scrapy 2.3 增加Twisted IO线程池的最大大小
    4. scrapy 2.3 设置您自己的DNS
    5. scrapy 2.3 降低日志级别
    6. scrapy 2.3 禁用Cookie
    7. scrapy 2.3 禁用重试
    8. scrapy 2.3 减少下载超时
    9. scrapy 2.3 禁用重定向
    10. scrapy 2.3 启用“Ajax可爬行页”的爬行
    11. scrapy 2.3 按BFO顺序爬行
    12. scrapy 2.3 注意内存泄漏
    13. scrapy 2.3 安装一个特殊的扭曲反应器
  24. scrapy 2.3 使用浏览器的开发人员工具进行抓取
    1. scrapy 2.3 检查实时浏览器DOM时的注意事项
    2. scrapy 2.3 查看网站
    3. scrapy 2.3 网络工具
  25. scrapy 2.3 选择动态加载的内容
    1. scrapy 2.3 查找数据源
    2. scrapy 2.3 检查网页的源代码
    3. scrapy 2.3 复制请求
    4. scrapy 2.3 处理不同的响应格式
    5. scrapy 2.3 分析javascript代码
    6. scrapy 2.3 预渲染JavaScript
    7. scrapy 2.3 使用无头浏览器
  26. scrapy 2.3 调试内存泄漏
    1. scrapy 2.3 内存泄漏的常见原因
    2. scrapy 2.3 使用调试内存泄漏 trackref
    3. scrapy 2.3 用muppy调试内存泄漏
    4. scrapy 2.3 无泄漏泄漏
  27. scrapy 2.3 下载和处理文件和图像
    1. scrapy 2.3 使用文件管道
    2. scrapy 2.3 使用图像管道
    3. scrapy 2.3 启用媒体管道
    4. scrapy 2.3 支持的存储
    5. scrapy 2.3 图像处理实例
    6. scrapy 2.3 下载处理其他功能
    7. scrapy 2.3 扩展媒体管道
    8. scrapy 2.3 自定义图像管道示例
  28. scrapy 2.3 如何部署蜘蛛
  29. scrapy 2.3 AutoThrottle扩展
  30. scrapy 2.3 标杆管理
  31. scrapy 2.3 暂停和恢复爬行
  32. scrapy 2.3 协同程序
  33. scrapy 2.3 asyncio
阅读(1.1k) 书签 赞(0) 我要纠错

scrapy 2.3 避免被禁止

2021-06-16 10:57 更新

一些网站实施了某些措施，以防止僵尸爬行他们，不同程度的复杂度。绕开这些措施既困难又棘手，有时可能需要特殊的基础设施。请考虑联系 commercial support 如果有疑问。

以下是处理此类网站时要记住的一些提示：

  • 将你的用户代理从浏览器中的一个著名的池中轮换出来（用google搜索以获得一个列表）。
  • 禁用cookies（请参见 ​COOKIES_ENABLED​ ）因为有些网站可能会使用cookie来发现机器人行为
  • 使用下载延迟（2或更高）。见 ​DOWNLOAD_DELAY​ 设置。
  • 如果可能，使用 Google cache 获取页面，而不是直接访问站点
  • 使用一个旋转的IP池。例如，自由 Tor project 或者像这样的付费服务 ProxyMesh . 开源替代方案是 scrapoxy ，可以将自己的代理附加到的超级代理。
  • 使用一个在内部绕过BAN的高度分布式下载程序，这样您就可以专注于解析干净的页面。这种下载器的一个例子是 Crawlera

如果您仍然无法阻止您的bot被禁止，请考虑联系 commercial support .

以上内容是否对您有帮助：
← scrapy 2.3 分布式爬行
scrapy 2.3 宽爬行 →

推荐文章

推荐教程

推荐课程

在线笔记
App下载
App下载

扫描二维码

下载编程狮App

公众号
微信公众号

编程狮公众号