样本网址:http://www.56top.cn/queryMoreReturnDriverInfo.jspx

这个网址点击10次就要输入验证码了。
我想要实现。如(点击北京到安徽,采集完所有的数据,在点击北京到江苏,采集完所有数据,就这样一直采集下去)


亲爱的Fuller,能不能帮帮我,搞的头都大了额。
举报 使用道具
| 回复

共 14 个关于本帖的回复 最后回复于 2016-12-27 14:45

沙发
xandy 论坛元老 发表于 2016-12-21 14:48:29 | 只看该作者
这个页面如果不做筛选就能够显示全部的话,那么就不需要做点击了,直接做规则把列表里的数据抓完就可以了。
如果一定得做点击,这个点击的动作很多,连续点击的教程可以参看这个:《自动点击京东商品价格条件,智能采集价格数据》。
集搜客有自动打码功能,弹验证码不是问题。《加强网络爬虫装备:连发弹仓、飞掠模式、连续打码功能介绍
举报 使用道具
板凳
Givent 中级会员 发表于 2016-12-21 17:54:05 | 只看该作者
xandy 发表于 2016-12-21 14:48
这个页面如果不做筛选就能够显示全部的话,那么就不需要做点击了,直接做规则把列表里的数据抓完就可以了。 ...

就是这个连续点击好麻烦,能有没有其他办法啊。这样做点击动作也太多了吧!
举报 使用道具
地板
xandy 论坛元老 发表于 2016-12-21 17:59:21 | 只看该作者
Givent 发表于 2016-12-21 17:54
就是这个连续点击好麻烦,能有没有其他办法啊。这样做点击动作也太多了吧!
...

这个页面如果不做筛选就能够显示全部的话,那么就不需要做点击了,直接做规则+翻页把列表里的数据抓完就可以了。
举报 使用道具
5#
Fuller 管理员 发表于 2016-12-21 18:53:24 | 只看该作者
这个网站要登录才能看,我测试不了,你可以试试选择了查询条件以后,看到搜索结果以后,看看网页的网址是什么。如果网址中含有搜索条件,那么就可以直接构造网址
举报 使用道具
6#
Givent 中级会员 发表于 2016-12-24 11:00:48 | 只看该作者
Fuller 发表于 2016-12-21 18:53
这个网站要登录才能看,我测试不了,你可以试试选择了查询条件以后,看到搜索结果以后,看看网页的网址是什 ...

点击搜索后网址是这样的:http://www.56top.cn/queryMoreReturnDriverInfo.jspx。可以构造么
举报 使用道具
7#
Fuller 管理员 发表于 2016-12-24 11:09:30 | 只看该作者
Givent 发表于 2016-12-24 11:00
点击搜索后网址是这样的:http://www.56top.cn/queryMoreReturnDriverInfo.jspx。可以构造么
...

构造不了,只能连续动作一层层点进去
举报 使用道具
8#
Givent 中级会员 发表于 2016-12-24 11:16:23 | 只看该作者
提示: 该帖被管理员或版主屏蔽
举报 使用道具
9#
Fuller 管理员 发表于 2016-12-24 16:37:54 | 只看该作者
Givent 发表于 2016-12-24 11:16
**** 该帖被屏蔽 ****

主题名是什么?

你发的含有账号和密码的帖子采取了屏蔽措施
举报 使用道具
10#
Fuller 管理员 发表于 2016-12-24 16:42:51 | 只看该作者
你是要从这个列表点进去采集详细信息吗?

这个列表的每条信息没有@href,要做连续点击动作,而且还需要飞掠模式,因为点击以后会弹出一个新窗口。飞掠模式是旗舰版的功能。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-15 13:35