|
最近大家分析微博舆情的特别多,可能微博网站的负载特别大,一方面速度慢,一方面会不稳定。
我能给出的第一条建议:
自己家里或者办公室的网络要足够快,有些用4G无线,本身就不稳定。当然这条建议似乎没有意义,立马解决网速问题不现实,那么接下来可以做这些工作:
1,经常换一下登录微博的账号,因为一天采集太多,目标网站也会做些限制。可以一天换一个账号,两个账号轮着
2,经常清理一下缓存,最好是彻底清理,就是手工删除AppData下的缓存文件,因为里面可能会有些计数,用于限制访问次数。注意,清理缓存和Cookie以后,一定要先在集搜客浏览器上登录微博再运行爬虫。
参考这个帖子,介绍了两种清理缓存的方法:https://www.gooseeker.com/doc/thread-4503-1-1.html
|
|
共 4 个关于本帖的回复 最后回复于 2020-2-24 16:54