集搜客GooSeeker网络爬虫

标题: 微博评论区爬取 [打印本页]

作者: 2794244010 时间: 2024-2-6 19:39
标题: 微博评论区爬取
本帖最后由 2794244010 于 2024-2-6 19:45 编辑

第一级任务：关键词采集微博，批量获取博文地址
第二级任务：【微博爬取第二级】根据地址运行，获取微博评论区的用户的昵称、评论文本、评论中的表情。
但是，第二级任务获取的评论很少，不符合实际数量。每次返回修改，原先内容映射过的字段都对应错误，任务直接报错。很多次都是这个情况。
有试过定位映射，但是class值不唯一，好像弄不了
[attach]16079[/attach]

[attach]16080[/attach]

作者: Fuller 时间: 2024-2-7 11:37
[attach]16081[/attach]
点击dom树中的对应每条评论的节点，你会发现，dom树中的节点顺序跟页面上显示的刚好是反的。如果定义样例规则采集多条评论，就会发现样例规则不适应反的顺序。我的截图红框中是生成的xpath，从第16个div开始采集，其实是最后一个div，按照dom顺序只能采集到一条。

但是，改用定位标志采集多条内容的方法，就可以避免这个问题。每条评论都有相同的class值，刚好作为定位标志。参看教程：https://www.gooseeker.com/doc/article-533-1.html

作者: Fuller 时间: 2024-2-7 12:08
除了我上面说的问题以外，这个网页十分难采集，要想采集全，还要使用很多其他技巧。我建议直接使用微博采集工具箱中的评论采集工具

欢迎光临集搜客GooSeeker网络爬虫 (http://www.gooseeker.com/doc/)