任务名:马蜂窝迪士尼评论
任务名:途牛迪士尼评论
问题:这两个任务是同样的问题,抓取的时候,打数机提示:抓取失败(超时),抓取规则不合适或者超时时间设置太短
我设置的超时时间是120秒,想问一下抓取失败的原因具体是什么

微信图片_20200714064334.png (6.31 KB, 下载次数: 710)

微信图片_20200714064334.png
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2020-7-14 11:19

沙发
小蜜蜂测试162 高级会员 发表于 2020-7-14 09:51:36 | 只看该作者
途牛的规则加载没有问题,可以观察是在第几页失败的

现在需要对这两个采集都做上定位标志映射,来避免采集失败

定位标志教程:https://www.gooseeker.com/doc/article-344-1.html
举报 使用道具
板凳
Fuller 管理员 发表于 2020-7-14 10:46:57 | 只看该作者
马蜂窝那个规则做了样例复制映射了吗?我加载规则看到的只能采集第一条评论
举报 使用道具
地板
Fuller 管理员 发表于 2020-7-14 10:52:20 | 只看该作者


点击测试按钮,切换到数据规则那里,可以看到生成的数据规则中含有唯一性的id,这个id也许是临时生成的,下次加载的时候就会变。所以,要避开这个id,要么自己做定位标志映射,要么选择偏好class,参看下图


举报 使用道具
5#
lan_1985 金牌会员 发表于 2020-7-14 11:19:44 | 只看该作者
本帖最后由 lan_1985 于 2020-7-14 11:25 编辑

加载您的规则,出现了一点问题。无法定位整理箱的容器节点。





可以对马蜂窝这个容器节点,做上定位标志映射,做法如下:(已经测试,可以采集所有的翻页内容)




还需要多做一层整理箱,做样例复制



举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-25 13:26