5 13611

抓取和连续动作

wxq222xcz 于 2018-11-12 15:23 发表 [复制链接]
类似淘宝的商品页面,下面有几个选项卡,类似这种的 ,,
我需要抓取这个说明书里面的内容,,
但是页面刚进去的时候,默认是商品介绍,
所以我用了一个连续动作,模拟单击一下这个说明书选项卡,
但是用打数机进行抓取的时候会匹配失败,然后就中断了,错误提示抓取失败(超时),抓取规则不合适或超时时间设置太短,我设置的延迟10秒,超时40秒,最后也没有模拟这个单击,
我调整了延迟抓取,等设定之后,有时候报发现重复内容,连贯抓取将被中指,
我想问问,这个连续动作能设定在抓取之前或者有别的什么办法让我看到这个选项卡里面的内容然后抓取么 ,


举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2018-11-13 11:57

Fuller 管理员 发表于 2018-11-12 15:34:01 | 显示全部楼层

回帖奖励 +1

爬虫运行的时候,你观察浏览器窗口,如果自动切换到那个选项卡,说明连续动作没有问题,执行了。那就是别的问题了。

另外,连续动作是用xpath定义的,你要测试一下这个xpath是否有效,对于这个需求,只应该点击到一个,所以,用搜索功能,只能搜到一个节点才对 及搜索20181112153337.png
举报 使用道具
Fuller 管理员 发表于 2018-11-12 15:35:15 | 显示全部楼层
还有一个方法,不用连续动作,而是使用类似翻页一样的方法选择选项卡,参看这个教程:https://www.gooseeker.com/doc/article-437-1.html
举报 使用道具
wxq222xcz 初级会员 发表于 2018-11-13 10:58:54 | 显示全部楼层
Fuller 发表于 2018-11-12 15:35
还有一个方法,不用连续动作,而是使用类似翻页一样的方法选择选项卡,参看这个教程:https://www.gooseeke ...

我按这个教程设置了两个规则,也按翻页设置了上下级,但是执行上级的时候,下级没有同时抓取,是我有什么地方没有注意么
举报 使用道具
Fuller 管理员 发表于 2018-11-13 11:40:56 | 显示全部楼层
wxq222xcz 发表于 2018-11-13 10:58
我按这个教程设置了两个规则,也按翻页设置了上下级,但是执行上级的时候,下级没有同时抓取,是我有什么 ...

这两级的主题名分别是什么?管理员可以帮你诊断一下
举报 使用道具
wxq222xcz 初级会员 发表于 2018-11-13 11:57:59 | 显示全部楼层
Fuller 发表于 2018-11-13 11:40
这两级的主题名分别是什么?管理员可以帮你诊断一下

商品详细上级   和  二级测试-W      
我还有一个问题,这个选项卡每个页面里面的内容和结构都不太一样,我在这个选项卡里采集图片,有时候位置不对,抓不到,请问有什么办法解决么。

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-28 22:35