页面加载不全 怎么办？

大众点评的商店页面爬取时 无法显示网址 是什么情况规则写好了，刚开始爬是没有问题的，第二天爬基本上所有商店都进不去
还以为自己id被封，但是我爬大众列表页是没有问题的

具体如图。

问题2：换了agent是可以运行了，但出来的页面加载不完全，例如大众点评商店右边应该有地图的，我的采集规则包括地图框，结果采集出来的东西它就是空的，
加长了 延时抓取 也是加载不出来。

大众点评网有时候封锁火狐和集搜客的useragent，操作稍微频繁一点就会被封，换一下useragent试一下。
可以参考这个文档：《常用浏览器的useragent》
从中选IE11或者其他IE的试试。

umsung 发表于 2018-1-6 15:55
大众点评网有时候封锁火狐和集搜客的useragent，操作稍微频繁一点就会被封，换一下useragent试一下。
可以 ...

感激，修改了真的可行

umsung 发表于 2018-1-6 15:55
大众点评网有时候封锁火狐和集搜客的useragent，操作稍微频繁一点就会被封，换一下useragent试一下。
可以 ...

有没有遇到过修改agent后，页面加载不全的情况？？延迟抓取也load不出来...

hqiumei 发表于 2018-1-7 14:42
有没有遇到过修改agent后，页面加载不全的情况？？延迟抓取也load不出来...

GS浏览器缺省的UserAgent看到的是这样的，看来不同UserAgent看到的不太一样。你可以换一下其他的试试

Fuller 发表于 2018-1-7 17:02
GS浏览器缺省的UserAgent看到的是这样的，看来不同UserAgent看到的不太一样。你可以换一下其他的试试
...

把上面链接的可选agent都换过了，没有可以打开全部页面的，而且用过的agent一会后也打不开网址，要不停地更换

hqiumei 发表于 2018-1-7 17:09
把上面链接的可选agent都换过了，没有可以打开全部页面的，而且用过的agent一会后也打不开网址，要不停地 ...

这个网站的限制，操作太频繁要适当停一会，换下ip地址。

数据集二期 发表于 2018-1-8 09:59
这个网站的限制，操作太频繁要适当停一会，换下ip地址。

已经停了一下午一晚上了,,刚才也更换ip了，还是没有用

hqiumei 发表于 2018-1-8 10:04
已经停了一下午一晚上了,,刚才也更换ip了，还是没有用

清理cookies，换ip，更换useragent，这个网站操作越频繁封锁的越久。

只采集这一部分的数据的话可以试试大众点评商家详细信息（手机），将链接前面的www改成m。