小弟今天刚刚学习,但是在爬取的时候出现了一些问题希望大神们可以慷慨相助


测试数据显示的是正确的

但是DS爬取时显示抓取失败(超时),我试过把页面拉大但是还是不对,且抓取的文字数据没有class也做不了定位标志映射
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2019-1-9 09:34

沙发
maomao 论坛元老 发表于 2019-1-8 17:55:44 | 只看该作者
本帖最后由 maomao 于 2019-1-8 18:00 编辑

你看看,样本页面是做规则的这个页面吗?你是在原来的网页上做了一些点击选择动作,才得到现在这个页面。但是网址没有变化。像这种情况,要做个连续工作,从原来的页面到现在的页面。看一下高级教程里的连续动作。
举报 使用道具
板凳
lifuhao0211 新手上路 发表于 2019-1-9 09:02:19 | 只看该作者
maomao 发表于 2019-1-8 17:55
你看看,样本页面是做规则的这个页面吗?你是在原来的网页上做了一些点击选择动作,才得到现在这个页面。但 ...

谢谢大神,看了你的评论之后我试了一下发现我的网页地址在滚轮向下滚动的时候会变成另外的一个网页,但是之后的这个网页只是之前的网页中的一个内嵌网页,所以和之前的网页匹配不上。之后用MS谋数器代替了集搜客网页打开网址就不会跳变了。
举报 使用道具
地板
Fuller 管理员 发表于 2019-1-9 09:32:10 | 只看该作者
lifuhao0211 发表于 2019-1-9 09:02
谢谢大神,看了你的评论之后我试了一下发现我的网页地址在滚轮向下滚动的时候会变成另外的一个网页,但是 ...

这是个很特别的网页,您竟然探索出来一种方法。MS谋数台本来是要删掉的老程序,MS谋数台的浏览器功能很弱,所以,您所说的自动跳转不了,应该是MS谋数台的功能弱产生的结果。反而您利用到了MS谋数台的这个弱项,看来未来不能简单删除MS谋数台
举报 使用道具
5#
lifuhao0211 新手上路 发表于 2019-1-9 09:34:25 | 只看该作者
Fuller 发表于 2019-1-9 09:32
这是个很特别的网页,您竟然探索出来一种方法。MS谋数台本来是要删掉的老程序,MS谋数台的浏览器功能很弱 ...

是的,如果自动跳转的话我这个网页会变的特别的难爬取数据,因为跳转后的网页没办法回到之前的网页,请务必保留谋数台!万分感谢!!
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-25 12:15