想要爬取网站上所有的产品数据,但是没有默认的列表状态,需要进行至少一次点击操作才能出现列表。看了关于连续动作的内容,能找到的教程里介绍的例子,虽然页面不会跳转,但是链接地址会不一样。但是要爬的网站无论怎么勾选筛选要求,地址都完全一样。请问这样的情况要怎么写规则抓取。

这是网站打开的默认状态,需要至少点击“查询符合条件的机型”才能出现产品

点击之后,会出现产品,但是上面的地址不变,做其他勾选也是如此,请问这种情况要怎么爬取数据呢?
十分感谢



举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2017-3-13 16:15

沙发
ym 版主 发表于 2017-3-9 14:20:52 | 只看该作者
本帖最后由 ym 于 2017-3-9 14:43 编辑

你说的教程只是用了具有独立网址的网页为例而已,但连续动作就是用于网址不变的网页,用来实现自动的点选等智能操作。
你的这种网页就是要设置点击动作,参考一下这篇教程《把信息与连续动作步骤对应起来》
举报 使用道具
板凳
livia1014 初级会员 发表于 2017-3-13 14:21:06 | 只看该作者
ym 发表于 2017-3-9 14:20
你说的教程只是用了具有独立网址的网页为例而已,但连续动作就是用于网址不变的网页,用来实现自动的点选等 ...

看到您的回复特意去实践了,才来回复的。谢谢您!
举报 使用道具
地板
livia1014 初级会员 发表于 2017-3-13 14:49:33 | 只看该作者
本帖最后由 livia1014 于 2017-3-13 14:59 编辑
livia1014 发表于 2017-3-13 14:21
看到您的回复特意去实践了,才来回复的。谢谢您!

因为是同一个页面想请教遇到的第二个问题。这个默认列表有1610页,在写了翻页的规则之后,第一页可以顺利翻到第二页,并采集信息。可是之后会一直重复采集第二页。我在编写规则的页面,先取消了“内容定位”的情况下,也无法翻页到第三页,会一直卡在第二页。我应该怎么解决呢

翻页对应的图片没有连接,是一个onclick触发的
举报 使用道具
5#
Fuller 管理员 发表于 2017-3-13 15:49:38 | 只看该作者
livia1014 发表于 2017-3-13 14:49
因为是同一个页面想请教遇到的第二个问题。这个默认列表有1610页,在写了翻页的规则之后,第一页可以顺利 ...

在火狐上,总xxx页 这个信息显示不出来,这个网页在火狐上有问题,影响到了翻页。“上一页”和“下一页”无效,但是可以直接输入页码,跳转到指定页。用连续动作也能实现,用连续输入和点击按钮
举报 使用道具
6#
livia1014 初级会员 发表于 2017-3-13 16:15:24 | 只看该作者
Fuller 发表于 2017-3-13 15:49
在火狐上,总xxx页 这个信息显示不出来,这个网页在火狐上有问题,影响到了翻页。“上一页”和“下一页” ...

好的!谢谢您!
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-7 00:52