在抓取微博主页数据的时候，爬虫窗口都正确打开，但在翻页的时候出现微博登陆窗口，抓取不能继续，如何解决？

Smile爱分享

ym · 发表于 2017-3-3 10:18:34

要先在爬虫浏览器上登录好微博账号，再开爬虫采集

Smile爱分享 · 发表于 2017-3-3 10:18:43

必须这样吗？

ym · 发表于 2017-3-3 10:18:49

是

Smile爱分享 · 发表于 2017-3-3 10:19:04

我是在抓取别人的微博主页

ym · 发表于 2017-3-3 10:20:25

登录你自己的微博就可以了，因为微博是必须登录才能翻页浏览和采集的

Smile爱分享 · 发表于 2017-3-3 10:20:51

停在第一页最尾端不动了，是否正常？

ym · 发表于 2017-3-3 10:22:51

登录之后，为了逼真的模拟人的浏览行为，到了页面底部要等会儿才会点击翻页。

Smile爱分享 · 发表于 2017-3-3 10:26:21

翻了，要等一会，有意思

Smile爱分享 · 发表于 2017-3-3 10:26:41

比如我要抓取2月份的数据，是否可以等翻页到1月31日，就停止采集，直接数据打包下载？
这样数据是否齐全？

共 10 个关于本帖的回复最后回复于 2017-3-3 10:27

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页