翻页采集的时候,翻页还没完,就自动中断完成了,日志那边什么都没提示,帮忙测试看看什么问题,谢谢!
规则名:列表翻页测试2
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2017-8-25 10:40

沙发
bowieD 金牌会员 发表于 2017-8-25 09:59:04 | 只看该作者
本帖最后由 bowieD 于 2017-8-25 10:01 编辑

原因可能是翻页到中间后,线索范围的的定位标志与第一页的定位标志不同。
分析第一页和失败页面,找到共有的@class值或者@id值在谋数台中做为线索范围定位标志。
翻页到中间就断掉的解决方法,你先看看这个教程《翻页到中间就失败了怎么解决》,看能不能找到解决方法。
举报 使用道具
板凳
inthin 初级会员 发表于 2017-8-25 10:35:08 | 只看该作者
bowieD 发表于 2017-8-25 09:59
原因可能是翻页到中间后,线索范围的的定位标志与第一页的定位标志不同。
分析第一页和失败页面,找到共有 ...

谢谢,这个可以确定翻页的每个页面都是一样的,目前一个原因可能和网络状况和采集速度有关系
举报 使用道具
地板
bowieD 金牌会员 发表于 2017-8-25 10:40:55 | 只看该作者
本帖最后由 bowieD 于 2017-8-25 11:06 编辑

1,跟网络状况有关就需要你们自己内部解决。采集是在本机上进行的,所以是你们的网络状况有关。
2,跟采集速度有关可以参考这个教程《怎么样优化DS打数机/爬虫参数提高抓取速度》去改善


举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反

热门用户

GMT+8, 2025-5-11 03:51