第4期在线培训_微博关键词搜索博文采集

网页采集 ->  高级视频 -> 微博关键词搜索博文采集

不想看广告？直接下视频

老师，你好，我问一下，这个采集到的数据时不包含转发的微博，可是怎么有重复数据，要怎么才可以搜索到所有可以转发的微博数据？

风景不在对岸 发表于 2016-6-5 18:02
老师，你好，我问一下，这个采集到的数据时不包含转发的微博，可是怎么有重复数据，要怎么才可以搜索到所有 ...

把微博采集工具箱组合起来用：http://www.gooseeker.com/land/weibo.html

先用关键词搜索工具，导出excel来以后，把要采集转发的微博网址找出来，存到excel中，批量导入到采集转发的工具中

重复总是难免，新浪微博自身的搜索排序就有重复，所以要在采集下来以后做重复过滤

好的，谢谢老师

为什么我只能翻到第二页？谢谢！

toyaowu 发表于 2016-9-1 00:45
为什么我只能翻到第二页？谢谢！

重点检查如下两方面
1，要登录新浪微博；
2，要把DS打数机窗口放到最大。

最后，就是网速要快一些，观察微博网页的显示速度，如果半天加载不出来，断掉的可能性很大。现在很多杀毒软件开启了在线查杀，每个网页都要过滤一遍，会大大降低抓网页的速度，可以把在线查杀功能关闭