集搜客GooSeeker网络爬虫

标题: 测试数据正常 DS匹配失败 [打印本页]

作者: lifuhao0211    时间: 2019-1-8 11:53
标题: 测试数据正常 DS匹配失败
小弟今天刚刚学习,但是在爬取的时候出现了一些问题希望大神们可以慷慨相助[attach]10499[/attach]


测试数据显示的是正确的
[attach]10500[/attach]
但是DS爬取时显示抓取失败(超时),我试过把页面拉大但是还是不对,且抓取的文字数据没有class也做不了定位标志映射

作者: maomao    时间: 2019-1-8 17:55
本帖最后由 maomao 于 2019-1-8 18:00 编辑

你看看,样本页面是做规则的这个页面吗?你是在原来的网页上做了一些点击选择动作,才得到现在这个页面。但是网址没有变化。像这种情况,要做个连续工作,从原来的页面到现在的页面。看一下高级教程里的连续动作。
作者: lifuhao0211    时间: 2019-1-9 09:02
maomao 发表于 2019-1-8 17:55
你看看,样本页面是做规则的这个页面吗?你是在原来的网页上做了一些点击选择动作,才得到现在这个页面。但 ...

谢谢大神,看了你的评论之后我试了一下发现我的网页地址在滚轮向下滚动的时候会变成另外的一个网页,但是之后的这个网页只是之前的网页中的一个内嵌网页,所以和之前的网页匹配不上。之后用MS谋数器代替了集搜客网页打开网址就不会跳变了。
作者: Fuller    时间: 2019-1-9 09:32
lifuhao0211 发表于 2019-1-9 09:02
谢谢大神,看了你的评论之后我试了一下发现我的网页地址在滚轮向下滚动的时候会变成另外的一个网页,但是 ...

这是个很特别的网页,您竟然探索出来一种方法。MS谋数台本来是要删掉的老程序,MS谋数台的浏览器功能很弱,所以,您所说的自动跳转不了,应该是MS谋数台的功能弱产生的结果。反而您利用到了MS谋数台的这个弱项,看来未来不能简单删除MS谋数台

作者: lifuhao0211    时间: 2019-1-9 09:34
Fuller 发表于 2019-1-9 09:32
这是个很特别的网页,您竟然探索出来一种方法。MS谋数台本来是要删掉的老程序,MS谋数台的浏览器功能很弱 ...

是的,如果自动跳转的话我这个网页会变的特别的难爬取数据,因为跳转后的网页没办法回到之前的网页,请务必保留谋数台!万分感谢!!





欢迎光临 集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/) Powered by Discuz! X3.2