scrapy 2.3 存储URI参数

2021-06-09 09:24 更新

存储URI还可以包含在创建源时被替换的参数。这些参数是:

  • %(time)s​ -在创建源时被时间戳替换
  • %(name)s​ -替换为蜘蛛名称

任何其他命名参数都将被同名的spider属性替换。例如, ​%(site_id)s​ 将被替换为 ​spider.site_id​ 属性为正在创建源的时刻。

下面举例说明:

  • 使用每个spider一个目录存储在ftp中:
  • ftp://user:password@ftp.example.com/scraping/feeds/%(name)s/%(time)s.json
  • 使用每个spider一个目录存储在S3中:
  • s3://mybucket/scraping/feeds/%(name)s/%(time)s.json

以上内容是否对您有帮助:
在线笔记
App下载
App下载

扫描二维码

下载编程狮App

公众号
微信公众号

编程狮公众号