我做了一个规则,套用去采几百个网址,采完之后,看到有些字段是空的,但是规则测试时都能抓到呀,为啥批量采就是空的呢
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2016-11-3 10:42

沙发
ym 版主 发表于 2016-11-3 10:23:03 | 只看该作者
出现这种情况,是爬虫生成的数据规则不太适用,一般有如下几种解决方法:
1、对于抓漏的字段,要分析一下它的网页结构dom,如果是有多种网页结构,可以自定义xpath来解决,也可以做多个规则来解决。
2、如果是定位不准确的话,规则里做上定位标志映射,可以精确采集范围,参考教程《定位标志精确采集范围》
举报 使用道具
板凳
正版额外 初级会员 发表于 2016-11-3 10:35:22 | 只看该作者
好的,我检查一下规则,谢谢了
举报 使用道具
地板
Fuller 管理员 发表于 2016-11-3 10:42:09 | 只看该作者
正版额外 发表于 2016-11-3 10:35
好的,我检查一下规则,谢谢了

如果委实解决不了,可以把主题名帖出来,有管理员权限的开发人员会帮你诊断一下问题
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 为BERTopic安装需要的预训练SBERT模型
  • 在什么情况下使用弹窗模式和回退功能?
  • 爬网址做层级采集——以当当商品爬虫为例
  • 网络爬虫采集列表数据
  • UMAP的min_dist参数有什么作用?

热门用户

GMT+8, 2026-8-8 17:16