【集微库】微博采集工具箱使用常见问题

粉丝与关注者信息 为什么爬出来的主页链接都是一样的？

spurs20 发表于 2020-3-2 14:25
粉丝与关注者信息 为什么爬出来的主页链接都是一样的？

同一个微博博主的链接是一样的。

你看到了两个不同的博主爬下来的是同一个网址？

爬微博评论，一直显示抓取规则不合适或者超时时间设置太短 怎么办啊

zhaozihan99 发表于 2020-3-4 17:19
爬微博评论，一直显示抓取规则不合适或者超时时间设置太短 怎么办啊

在DS打数机运行的时候，注意观察有没有评论显示出来，现在新浪微博很慢，经常不显示。

另外，DS打数机窗口不能缩小

微博采集的常见问题汇总：https://www.gooseeker.com/doc/thread-17343-1-1.html

求问爬取微博评论页面一直加载中，无法爬取评论怎么解决？单独用其他浏览器打开是可以看到评论的

pypypy 发表于 2020-3-6 22:05
求问爬取微博评论页面一直加载中，无法爬取评论怎么解决？单独用其他浏览器打开是可以看到评论的 ...

按这个帖子一楼的回答清缓存https://www.gooseeker.com/doc/thread-11667-1-1.html

采集状态显示已停止，但没有采集到评论内容怎么办？

1457806332 发表于 2020-3-6 22:08
采集状态显示已停止，但没有采集到评论内容怎么办？

关于微博采集出现的问题，这里有一个总结贴：https://www.gooseeker.com/doc/thread-17343-1-1.html

所说的规范都照做了，包括清缓存、登录微博账号、最大化页面等等，可是每次只能爬取一条微博下的评论数据。那我要爬500条要这样操作500次嘛？枯了。。。。感觉冲的299白瞎了嘤