翻页采集数据中途失败

杜若

请问翻页采集数据的时候中途停止，日志显示定位到重复内容动作中断应该怎么办呢？

Fuller · 发表于 2019-3-10 21:48:05

这种是你设置的参数不合适，DS打数机的菜单高级-》终点标志-》重复内容。不勾他们，就不会中断

Fuller · 发表于 2019-3-10 21:48:32

如果翻页到最后总是重复采集最后一页，那么就要勾上了

杜若 · 发表于 2019-3-10 22:06:59

我觉得它好像一直在重复采集同一页，采集到几百页之后就翻不过去了，不勾重复内容就一直在重复采集

杜若 · 发表于 2019-3-10 22:07:24

Fuller 发表于 2019-3-10 21:48
如果翻页到最后总是重复采集最后一页，那么就要勾上了

我觉得它好像一直在重复采集同一页，采集到几百页之后就翻不过去了，不勾重复内容就一直在重复采集

Fuller · 发表于 2019-3-11 09:20:11

如果总是重复第一页，就不对了

Fuller · 发表于 2019-3-11 09:20:24

是第一页重复还是最后一页重复？

Fuller · 发表于 2019-3-11 09:43:47

我运行了你的规则，很好，是不是到最后一页一直重复？那就要勾上重复内容中断

杜若 · 发表于 2019-3-11 09:43:47

Fuller 发表于 2019-3-11 09:20
是第一页重复还是最后一页重复？

是中间页重复，一共有一千多页，第一次打到300多页的时候就开始重复了，第二次没有勾选重复内容，打到200多页就开始重复

Fuller · 发表于 2019-3-11 09:51:35

杜若发表于 2019-3-11 09:43
是中间页重复，一共有一千多页，第一次打到300多页的时候就开始重复了，第二次没有勾选重复内容，打到200 ...

我还没有运行到那么多，说不定是网站不让翻页了，就像天猫，100页后看不到了，京东100页评论后，就一直重复了

共 17 个关于本帖的回复最后回复于 2019-3-12 20:58

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页