【集微库】微博采集工具箱使用常见问题

pingpingand 发表于 2019-9-10 15:07
请问有没有自己定义规则的文档说明？谢谢！

教程https://www.gooseeker.com/tuto/tutorial.html 请看左侧 初级教程 学习做规则采数据

入门视频教程：https://www.gooseeker.com/doc/forum-53-1.html

使用过程中有问题请加用户群676198154，有技术支持。

请问微博关键词搜索时间段大概三天采集要多久呢？为什么已经两天了程序还在爬？

goeiy_ 发表于 2019-9-20 11:08
请问微博关键词搜索时间段大概三天采集要多久呢？为什么已经两天了程序还在爬？ ...

你观察一下DS打数机的浏览器窗口，微博内容在变化吗？

如果只有一个关键词：假设把要采集的内容按照“1小时”分割，那么一天有24个小时，假设每个时间段有50个分页，那么一天总共24*50=1200页，如果一页8秒钟，那么需要9600秒，采集三天的就需要28,800秒，很快会采集完的。

除非采集过程中有失败的，每次失败会等待60秒，这样就变得很慢了

Fuller 发表于 2019-9-20 11:14
你观察一下DS打数机的浏览器窗口，微博内容在变化吗？

如果只有一个关键词：假设把要采集的内容按照“1 ...

一直还在变化的，可能我中途电脑自动休眠了对它有影响哦？我感觉好几个时间段（我看到的）已经爬过了现在又再重新爬……

goeiy_ 发表于 2019-9-20 11:16
一直还在变化的，可能我中途电脑自动休眠了对它有影响哦？我感觉好几个时间段（我看到的）已经爬过了现在 ...

休眠唤醒以后会接着爬。晚上最好不要休眠，晚上网络状况好。但是要注意一点：微博会统计下载的数量，一天下载太多，会暂时性封锁爬虫。不过微博采集工具箱已经特意把速度调慢了，应该是安全的

Fuller 发表于 2019-9-20 11:23
休眠唤醒以后会接着爬。晚上最好不要休眠，晚上网络状况好。但是要注意一点：微博会统计下载的数量，一天 ...

谢谢！

数据爬取成功后一键打包，然后数据下载到本地打开一直显示压缩包已损坏或压缩格式未知，是不是打包过程中出错了，但是数据已经打包，没办法再次打包了

17839222877 发表于 2019-10-16 20:32
数据爬取成功后一键打包，然后数据下载到本地打开一直显示压缩包已损坏或压缩格式未知，是不是打包过程中出 ...

有没有给采集任务起了比较怪的名字，或者你的MS excel是不是运行正常？可以加用户QQ群676198154，把文件发给管理员，我们打开试试。

17839222877 发表于 2019-10-16 20:32
数据爬取成功后一键打包，然后数据下载到本地打开一直显示压缩包已损坏或压缩格式未知，是不是打包过程中出 ...

你用chrome浏览器下载一下试试。集搜客浏览器的处理能力弱一些，如果任务名中含有空格，就下载不了

在话题微博数据进行采集的时候总是显示已采集，但是数据量非常少，讨论量几万的话题采集结果有的只有几十条，重新添加采集任务后采集的数据很多都是重复的，话题采集也不能输入上次采集到的地方的网址，这个要怎么办呢？