集搜客GooSeeker网络爬虫

标题: 抓第二级时，为什么会显示空白网页？ [打印本页]

作者: gooseeker_info 时间: 2015-9-1 22:33
标题: 抓第二级时，为什么会显示空白网页？
现象：做了两级抓取规则，当抓取第二级的时候，能从DS打数机的浏览器窗口看到空白页面，而且抓取失败。用MS谋数台加载失败线索进行检查的时候，也是空白页面。

原因分析：运行第一级的时候，抓到的网址可能是无效。这种情况有可能发生，比如，一个长网页上显示了大量图片，如果没有滚屏，未被显示出来的图片的网址就可能是无效，必须设置滚屏抓取模式才能避免这个问题。

原因可能有多种，上面是一种，需要具体分析。

检查方法：把第一级抓取结果导入excel，进行排序或者筛选，看看是否有非法的网址

欢迎光临集搜客GooSeeker网络爬虫 (http://www.gooseeker.com/doc/)