本帖最后由 xandy 于 2016-8-11 11:46 编辑

如果网页加载数据用到是,向下滑动加载更多数据,而不是通过点击下一页翻页的形式,该如何抓取数据啊?
举报 使用道具
| 回复

共 8 个关于本帖的回复 最后回复于 2017-9-30 10:45

沙发
Fuller 管理员 发表于 2016-8-7 10:31:00 | 只看该作者
自动滚屏的设置方法是:http://www.gooseeker.com/doc/article-57-17.html
要与连续动作的连续滚屏区分开,连续滚屏是用于滚不到尽头的,而且会产生大量重复结果,因为滚一下抓一下,具体看:http://www.gooseeker.com/doc/article-160-1.html
举报 使用道具
板凳
whusim 中级会员 发表于 2017-9-30 09:52:23 | 只看该作者
C:\Users\Administrator\Desktop

设置了自动滚屏
举报 使用道具
地板
whusim 中级会员 发表于 2017-9-30 09:59:55 | 只看该作者

就总是科室、职称和擅长这三个老抓不到

举报 使用道具
5#
Fuller 管理员 发表于 2017-9-30 10:05:01 | 只看该作者
whusim 发表于 2017-9-30 09:59
就总是科室、职称和擅长这三个老抓不到

规则名是什么?这个网站是公开的吗?如果是公开的,可以帮你诊断一下
举报 使用道具
6#
whusim 中级会员 发表于 2017-9-30 10:18:02 | 只看该作者
【王绿娅】北京安贞医院心脏内科中心_门诊时间_擅长_执业经历_患者就医经验-好大夫在线-智慧互联网医院  http://www.haodf.com/doctor/DE4rO-XCoLUEJ2qrbc1P6dS2aO.htm
举报 使用道具
7#
bowieD 金牌会员 发表于 2017-9-30 10:26:34 | 只看该作者
whusim 发表于 2017-9-30 10:18
【王绿娅】北京安贞医院心脏内科中心_门诊时间_擅长_执业经历_患者就医经验-好大夫在线-智慧互联网医院  ht ...

你的主题规则名是什么?
举报 使用道具
8#
whusim 中级会员 发表于 2017-9-30 10:30:34 | 只看该作者

这个对应的应该是A3……主页二级  
举报 使用道具
9#
bowieD 金牌会员 发表于 2017-9-30 10:45:49 | 只看该作者
你说的那三项数据点击测试都有啊,如果测试有数据而运行打数机爬不到
1,首先把定位标志改成绝对定位
2,给映射的内容做上定位标志映射,精确抓取内容的位置
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-30 23:53