集搜客GooSeeker网络爬虫

标题: 【求助】关于滚屏抓取的问题 [打印本页]

作者: closeyoo 时间: 2017-3-28 15:45
标题: 【求助】关于滚屏抓取的问题
本帖最后由 closeyoo 于 2017-3-28 16:56 编辑

想抓取微信游戏圈的话题楼主内容与回复内容，没有下一页，只有[下拉加载更多]，用打数机的自动滚屏会下拉，但是到第一屏底下后就不会加载了，超时后就停止抓取了。
设置连续【连续动作】也是相同的结果。有什么办法吗？~
蟹蟹大神萌！！

样本页面：https://game.weixin.qq.com/cgi-bin/h5/static/community/club_detail.html?jsapi=1&banner_need=1&uin=MTk1NDgwNjk2NA%3D%3D&key=2f4087f3abafa49c7e8a8f63abf2406a9c976df18fc234cf653d4fc6b0e2c6491ac08a4be195e4cdce237f4bf255bb2e434c9f2a151cccec6145df0ec45a38819df2c1a1cb30fe9758dd8df9d4d55579&pass_ticket=fKTP7Ttm%2B7WtB2RCDlIHeJmmm98xU8iph81MNiv3aDA%2BT5NRMTO7Xet7AGMgkjmf&appid=wx95a3a4d7c627e07d&topic_id=7531486&ssid=7&is_self=0&cluster_id=&is_article=

规则名：微信游戏圈-话题页面-gy

作者: HJLing 时间: 2017-3-28 16:11
没有找到这个主题名

作者: closeyoo 时间: 2017-3-28 16:16

HJLing 发表于 2017-3-28 16:11
没有找到这个主题名

哎呀不好意思，主题名是：微信游戏圈-话题页面-gy

作者: HJLing 时间: 2017-3-28 16:28

closeyoo 发表于 2017-3-28 16:16
哎呀不好意思，主题名是：微信游戏圈-话题页面-gy

[attach]5980[/attach]
我直接打开你的样本页面没发现可以加载更多啊

作者: closeyoo 时间: 2017-3-28 16:36

HJLing 发表于 2017-3-28 16:28
我直接打开你的样本页面没发现可以加载更多啊

最下面有一行小灰字【下拉加载更多】~
在浏览器中滚屏滚到底（不需要点击），会继续加载后续的回复内容的，类似今日头条

作者: HJLing 时间: 2017-3-28 16:53

closeyoo 发表于 2017-3-28 16:36
最下面有一行小灰字【下拉加载更多】~
在浏览器中滚屏滚到底（不需要点击），会继续加载后续的回复内容 ...

我用火狐浏览器和用GS浏览器都不能下拉加载更多
你可以？

作者: closeyoo 时间: 2017-3-28 16:56

HJLing 发表于 2017-3-28 16:53
我用火狐浏览器和用GS浏览器都不能下拉加载更多
你可以？

我这边发现GS浏览器也不行
但用chrome可以~

作者: HJLing 时间: 2017-3-28 17:00

closeyoo 发表于 2017-3-28 16:56
我这边发现GS浏览器也不行
但用chrome可以~

不能加载更多所以也采不到更多

作者: closeyoo 时间: 2017-3-28 18:07

HJLing 发表于 2017-3-28 17:00
不能加载更多所以也采不到更多

嗷～好哒！谢谢！！！

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)