【集微库】微博采集工具箱使用常见问题

aivykkk 发表于 2018-6-20 19:39
你好，请问为何采集成功后打包数据，显示数据打包成功，可是点开数据下载并没有数据 ...

具体是哪个微博工具？

maomao 发表于 2018-6-20 19:56
具体是哪个微博工具？

关键词搜索

aivykkk 发表于 2018-6-20 20:57
关键词搜索

从后台看，你每次采集都有数据的。我建议你这样做检查：
1，下载数据的时候是不是用了下载工具，比如，迅雷？这样的下载工具很多时候处理不了网页上的程序，请使用浏览器自身的下载功能。
2，你访问集搜客网站是的时候用的是http还是https？如果网络环境不太好，或者是从国外访问，请用https网址，即，https://www.gooseeker.com ，从这里登录会员中心并且进入微博工具箱。https将更加稳定

maomao 发表于 2018-6-20 22:42
从后台看，你每次采集都有数据的。我建议你这样做检查：
1，下载数据的时候是不是用了下载工具，比如，迅 ...

好的谢谢！我试一试！
非常感谢！

jjjj

微博关键词搜索，只能爬取一页的数据是为什么？

spyqwqqwq 发表于 2018-7-10 15:10
微博关键词搜索，只能爬取一页的数据是为什么？

采集前先要在gs浏览器上登录微博账号

bowieD 发表于 2018-7-10 15:22
采集前先要在gs浏览器上登录微博账号

登录了啊，可是还是就返回几条数据

spyqwqqwq 发表于 2018-7-10 15:33
登录了啊，可是还是就返回几条数据

是要在集搜客浏览器中登录微博的。然后在爬虫运行过程中，观察一些加载的网页，有没有自动滚动屏幕，如果只抓一页，那么滚动到底以后，就变成白屏了，上面显示做了什么动作。

爬虫运行的时候，不能把DS打数机窗口最小化。微博这种网页，显示的内容多少跟窗口大小对应的。你可以把其他窗口叠在上面，但是不能最小化

Fuller 发表于 2018-7-10 17:21
是要在集搜客浏览器中登录微博的。然后在爬虫运行过程中，观察一些加载的网页，有没有自动滚动屏幕，如果 ...

是这样的，登录后滚动到底了，没有自动翻页，点击翻页之后大概翻个三次左右，就会自动跳转到微博搜索的页面，之后就白屏了，最多一次抓取了80条数据