Marvis 网页抓取的结果该核哪三项

2026-11-16 19:47 更新

抓取结果要核三样:带时区的时间、唯一标识、币种与含税口径。

网页抓取最容易出问题的地方不是抓不到,是抓到了你不敢用。同一个商品名,不同版本价格差几倍;同一个价格,含税与不含税差一截;同一页价格,今天的和上个月的不是一回事。

本机实测记录如下,Windows 11 build 26200、客户端 1.60.3400.35,一次运行。马维斯返回的不只是书名和价格,还给了读取页面的完整地址、带时区的读取时刻、以及一句「用什么方式读的」。这三样加在一起,结果才敢拿去用。

为了避开真实电商的反爬与价格波动,这次用的是公开的爬虫练习站,书目与价格都是虚构的。

前提与适用

项 说明
适用读者 要用网页数据做比价、做资料核对、做竞品记录的人
事实边界 抓取返回的字段与措辞为本机实测;官方文档只描述「支持网页交互」,未给反爬策略与抓取深度
什么样的页面适合 公开可访问、结构稳定。练习站、官方文档、公开目录页都属于这类
不适用 想知道哪些应用能被操作——见能操作哪些应用;想理解跨端取文件的边界——见连接电脑和手机差在哪

Warning:抓取要守规矩。需要登录才能看的内容、明确禁止抓取的站点、他人隐私数据,都不在这一节的适用范围里。技术上能做到,不等于可以去做。

怎么做

第一步:提问里把三件事写清。

实测的提问大致是:打开某个页面,告诉我书名和售价,并说明是什么时候读到的、读的是哪个页面。

三个要素值得照抄:读哪个页面(给完整地址)、要什么字段(书名、售价)、怎么证明是这次读的(时间与页面地址)。

第三个最容易被忽略,但它决定结果能不能用。不要求它给时间和地址,你拿到的就是一个孤零零的价格——没有时间戳的价格,等于没有日期的新闻。

第二步:认一下谁来干这活。

阶段 界面上看到什么
承接 状态条 dispatch task 已完成,回复「我来打开这个页面并读取信息」
委派 一行小字,说明交给了浏览器管家
执行 气泡署名换成浏览器管家,状态条显示卡片类动作
交回 浏览器管家说「收工,接下来交给其他小马」
汇总 署名换回马维斯给结果

顺带一个界面细节:输入框里的网址会被自动识别成可点链接。这不影响结果,但说明它把你的输入当成了一个可访问的地址,而不是一段文字。

第三步:核对时间,重点是「带时区」。

实测返回的读取时刻是「日期+时分秒+时区」三段式,其中时分秒与时区形如 17:51:06 (UTC+08:00)——三样齐全,缺一样都不能用于跨区比对。

为什么要较真时区:同一时刻在不同时区是不同的字符串。跨地区比价、跨时区协作时,没有时区的时间戳没法对齐。只写「今天下午」的,过两天就没法复现。

第四步:核对唯一标识,别只看名字。

实测返回的表格里除了书名和价格,还有同页面的商品信息:统一商品编码、商品类型、库存、评论数。

字段 为什么必须核
商品编码 同名不同版本靠它区分
详情页地址 能回去复核,也是唯一性的另一半
库存 有价无货和现货是两个结论
评论数 零评论的商品,价格参考意义有限

只给书名的结果不够用。同一本书有平装精装、有不同版次、有不同卖家,价格能差出几倍。没有唯一标识的价格,不能拿去比。

第五步:核对币种与含税口径。

实测返回的售价写成「某币种符号 若干(含税 若干,税 若干)」,把含税价和税额分开列了。

这一步的必要性很实际:跨境比价时币种不同直接没法比;同一币种下,含税和不含税也能差出一截。看到只有一个光秃秃的数字,先问清是哪种口径。

第六步:读那句「怎么读的」。

实测的读取方式声明大意是:使用独立的浏览器实例直接访问该详情页,抓取页面快照中的标题与价格表格字段,未经过任何搜索引擎结果页或缓存。

这句话是整份结果里最容易被跳过、又最该读的一句。它回答了一个关键问题:这个数字是从原始页面读的,还是从二手转述里抄的。

如果换成「据网上信息」,可信度立刻掉一档——你无法判断它读的是原页、聚合页,还是一篇转载文章。

第七步:理解抓取完成后那条插件提示。

抓完之后它另起一条,问要不要给浏览器装个插件,理由是能更快更稳、还能复用网页登录状态。

这条提示本身说明了一件事:默认走的是独立浏览器实例,不接管你已登录的浏览器。 好处是你的登录态和 Cookie 不被动用;代价是需要登录才能看的页面,它抓不到。

想让它复用登录状态,得装插件;不想让它在你的登录态下操作,就保持现状。这是一个明确的选择,不是默认打开的开关。

顺带分清三类抓不到的情况,它们的原因不同,处理方式也不同:

页面类型 表现 处理方向
需要登录才能看 抓到登录页或空内容 装插件复用登录态,或换公开页
做了反爬 返回验证页、内容缺块 换目标,或放慢频率
靠脚本渲染 字段缺失、只有骨架 把要读的字段写具体,或改抓静态版本

把这三类都归到「它抓不到」,就等于放弃了排查。分清之后,多半有一类是可以解决的。

三项核对放到实际场景里是这样的:比价时先看币种是否统一,再看唯一标识是否指向同一件商品,最后才比价格本身。少了第二项,你可能在拿平装版和精装版比;少了第三项,两条记录根本不是同一件东西,只是名字像。

第八步:把三项核对做成固定动作。

拿到任何抓取结果,按这三个问题过一遍:

问题 合格标准
什么时候读的 有日期时间,且带时区
读的是哪一份 有唯一标识(编码或详情页地址)
数字是什么口径 有币种,含税与否分列

三项齐,这个价格可以进决策;缺一项,就降级成「参考信息」,别拿它做判断。

最后一句:把结果连时间地址一起存档。 不是记个数字就行,是记「这个数字、这个时刻、这个页面」。价格会变、页面会改版,三个月后只剩一个数字,谁也说不清它当时对应的是哪一份页面。带上门槛的那三项,这份记录才在事后还能复核。

参数与边界

项 实测表现 证据 使用建议
读取时间 带时区的完整时间戳 本机实测 缺时区的时间不用于跨区比对
读取页面 返回完整详情页地址 本机实测 拿地址回原页复核一次
唯一标识 商品编码+详情页地址 本机实测 只给名称的不比价
价格口径 含税与税额分列 本机实测 看到单值先问口径
读取方式声明 是否经过搜索页或缓存,写明了 本机实测 没这句就当二手结果
默认浏览器 独立实例,不接管用户浏览器 本机实测 需登录的页面抓不到属预期
插件提示 抓完另起一条询问 本机实测 要不要复用登录态,自己定
反爬与限流 未测 未覆盖 高频抓取自行降速
动态渲染页面 未单独验证 未覆盖 结果缺字段时改抓静态页
抓取深度与翻页 未测 未覆盖 需要多页就逐页点名

Warning:抓取结果不是「事实」,是「某个时刻某页面上的表述」。页面改版、价格调整、库存变化,都会让这份结果过期。写进文档时把时间和地址一起带上,否则三个月后没人能确认它当时对不对。

验收清单

# 检查项 通过判据 不通过怎么办
1 时间是否带时区 有完整时间戳与时区标识 只给日期的,要求补时刻
2 是否有唯一标识 有编码或详情页地址 只有名称的,重新抓一次
3 口径是否清楚 币种明确、含税与税额分列 单值价格要追问口径
4 有无读取方式声明 写明未经搜索页或缓存 没写就按二手结果处理
5 能否回原页复核 地址可打开且内容一致 打不开就换源

失败与回滚

现象 原因判据 重试·撤销·恢复 手动兜底
只回了价格,没有时间和地址 提问没要求给凭据 补问「什么时候读的、读的哪一页」 自己打开页面核对一次
页面打不开或返回空 站点限制、需登录或动态渲染 换成公开静态页再试 用浏览器手动打开确认
价格和页面显示不一致 读的是缓存或聚合页 要求直接访问详情页 自己截图留证
需要登录才能看的内容抓不到 默认不接管用户浏览器登录态 可装插件复用登录态 或手动导出页面再处理
抓到的字段少了几列 页面结构变了或渲染不全 明确要求「表格全部字段」 换页面或手动补录
多次抓取价格不同 页面本身在变 以时间戳最新的一次为准 记录两次结果与时间

自检题

问题 参考答案要点
抓取结果必须核对哪三项 带时区的时间、唯一标识(编码或详情页地址)、币种与含税口径。缺一项就只能当参考
为什么「未经搜索页或缓存」这句很重要 它说明数字是从原始页面读的,不是从二手转述抄的;没有这句要假设结果可能来自聚合页
默认抓不到需要登录的页面,为什么 默认用独立浏览器实例,不接管你已登录的浏览器;要复用登录态需装插件

注意与相关

Note:这一节最实用的一句是「没有唯一标识的价格不能拿去比」。名字相同的东西太多了,差一个版次就是两个价。

Warning:抓取要守站点规则。需要登录的内容、明确禁止抓取的站点、他人隐私数据,都不该走这条路。能力边界和许可边界是两件事。

Tip:把「时间+地址+口径」当成三件套固定带上。写进笔记也好、贴进表格也好,三个月后还能回原页核对,这份记录才算成立。

相关:能操作哪些应用(应用清单与权限的关系)、连接电脑和手机差在哪(跨端能力的边界)、验收清单该写哪四项(把抓取验收并进整体口径)。

以上内容是否对您有帮助:
在线笔记
App下载
App下载

扫描二维码

下载编程狮App

公众号
微信公众号

编程狮公众号