这是打开网址后的初始页面


我希望采集列表的全部信息,可是电话信息被遮挡住了。这是点击后弹出来的网页。这个点击没有任何链接需要设置模拟动作


而且这个网址点击后网页结构发生变化了,可能里面嵌入了iframe 。
跪求大神请教这个网址怎么采集电话信息呢?谢谢了。
附上网址(各位点击下发货,然后手机收下验证码就可以了)。拜托!!!!
http://m.ttyhuo.com/m/index.html

举报 使用道具
| 回复

共 8 个关于本帖的回复 最后回复于 2016-12-10 10:49

沙发
更新 初级会员 发表于 2016-12-2 17:21:46 | 只看该作者
iframe可以抓取,这个规则需要用连续动作来实现点击,每个司机点击进去抓取电话号码,然后回退抓后一个,后退功能需要购买旗舰版。
举报 使用道具
板凳
scraper 论坛元老 发表于 2016-12-3 14:17:49 | 只看该作者
访问http://m.ttyhuo.com/m/index.html
点击“找货”
这是需要输入手机号和验证码
实际抓取中,这个验证码怎么输入进去呢?
注:这个网站预先登陆是无效的
举报 使用道具
地板
Fuller 管理员 发表于 2016-12-3 15:30:31 | 只看该作者
scraper 发表于 2016-12-3 14:17
访问http://m.ttyhuo.com/m/index.html
点击“找货”
这是需要输入手机号和验证码

可以在DS打数机运行过程中人工输入。到了要输入验证码的时候,因为网页内容没有出来,必然挂在这里,只要在超时之前把验证码输入了,就能走下去
举报 使用道具
5#
scraper 论坛元老 发表于 2016-12-3 19:20:44 | 只看该作者
这个货源信息的爬取,列表页是瀑布流, 点击进入详情页后还要回退, 这个是旗舰版才有的功能
举报 使用道具
6#
Givent 中级会员 发表于 2016-12-10 10:06:54 | 只看该作者
你们技术人人员说,购买旗舰版也只能抓取到20个数据,不能抓到更多了。到底旗舰版能不能实现啊?
举报 使用道具
7#
Givent 中级会员 发表于 2016-12-10 10:08:35 | 只看该作者
scraper 发表于 2016-12-3 14:17
访问http://m.ttyhuo.com/m/index.html
点击“找货”
这是需要输入手机号和验证码

你们技术人员说,购买旗舰版也不行,他测试了只能抓取20个数据。这个是怎么回事。请问您这边是测试过了可以么?求教
举报 使用道具
8#
Fuller 管理员 发表于 2016-12-10 10:47:27 | 只看该作者
Givent 发表于 2016-12-10 10:08
你们技术人员说,购买旗舰版也不行,他测试了只能抓取20个数据。这个是怎么回事。请问您这边是测试过了可 ...

我找技术人员确认一下,也许是他测试过,如果是这个网站做了限制,买什么版都抓不了,但是,如果人工浏览能看到内容,那么软件就有办法采集下来
举报 使用道具
9#
Fuller 管理员 发表于 2016-12-10 10:49:17 | 只看该作者
Givent 发表于 2016-12-10 10:06
你们技术人人员说,购买旗舰版也只能抓取到20个数据,不能抓到更多了。到底旗舰版能不能实现啊? ...

我确认过了,这个网页上有个滚动条,要等下个版本,下周就发布了,旗舰版增加这个内部滚动条滚屏功能
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-29 23:56