网页加载不完全问题

weier_2016

在搜狐网站里可以加载出网页的全部信息。
但是到了MS某数台以后网页底部的翻页点击模块就加载不出来了。
请问有什么解决方法吗？

xandy · 发表于 2017-2-22 17:39:35

用的是GS浏览器的MS谋数台还是火狐爬虫插件的MS谋数台？

Fuller · 发表于 2017-2-22 22:37:58

请把网址贴出来，我们测试一下

weier_2016 · 发表于 2017-2-23 13:34:43

Fuller 发表于 2017-2-22 22:37
请把网址贴出来，我们测试一下

http://news.search.hexun.com/news?key=%D6%D0%B4%A2%B7%A2%D5%B9

weier_2016 · 发表于 2017-2-23 13:52:43

xandy 发表于 2017-2-22 17:39
用的是GS浏览器的MS谋数台还是火狐爬虫插件的MS谋数台？

火狐版插件的

ym · 发表于 2017-2-23 14:25:04

weier_2016 发表于 2017-2-23 13:34
http://news.search.hexun.com/news?key=%D6%D0%B4%A2%B7%A2%D5%B9

这个应该是火狐和爬虫的网页解析程序有漏洞，目前版本是显示不了翻页区块。
目前的解决方法是：和讯新闻的搜索结果，每页都是有独立页码网址的，可以构造出每页网址，然后添加到规则里批量采集，参考《如何构造网址》、《如何管理规则的线索》

weier_2016 · 发表于 2017-2-23 16:26:52

ym 发表于 2017-2-23 14:25
这个应该是火狐和爬虫的网页解析程序有漏洞，目前版本是显示不了翻页区块。
目前的解决方法是：和讯新闻的 ...

谢谢！我还以为我的IP被网站封了呢，非常感谢哈

共 6 个关于本帖的回复最后回复于 2017-2-23 16:26

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页