4 21463

知乎数据采集攻略

shenzhenwan10 于 2016-12-29 14:42 发表 [复制链接]
本帖最后由 HJLing 于 2017-1-6 16:23 编辑

知乎数据采集攻略如下(绿框是页面名称,橙色字体是采集结果表中的网址字段或浏览器地址栏复制的网址):

1、采集“知乎_关键词搜索结果列表_内容
方法:

从“知乎_关键词搜索结果列表_内容”展开采集更多页面信息

方法:从“知乎_关键词搜索结果列表_内容”的数据表中,把“详情链接”这列的网址拷贝出来,然后点击“知乎_独立问题所有回复采集”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。其它页面类似。
注意:用户主页链接需要自己在excel中拼上前面的域名“https://www.zhihu.com”才能作为线索添加。


2、采集“知乎_关键词搜索结果列表_话题
方法:


3、从“知乎_独立话题首页”展开采集更多页面信息

方法:从“知乎_独立话题首页”的数据表中,把“话题动态链接”这列的网址拷贝出来,然后点击“知乎_独立话题动态内容采集”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。其它页面类似。


4、从“知乎_独立话题动态内容采集”展开采集更多页面信息

方法:从“知乎_独立话题动态内容采集”的数据表中,把“精华链接”这列的网址拷贝出来,然后点击“知乎_独立话题精华内容采集”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。其它页面类似。
注意:用户主页链接需要自己在excel中拼上前面的域名“https://www.zhihu.com”才能作为线索添加。


5、从“知乎_独立话题精华内容采集”展开采集更多页面信息

方法:从“知乎_独立话题精华内容采集”的数据表中,把“精华链接”这列的网址拷贝出来,然后点击“知乎_独立话题动态内容采集”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。其它页面类似。
注意:用户主页链接需要自己在excel中拼上前面的域名“https://www.zhihu.com”才能作为线索添加。


6、从“知乎_独立话题等待回答采集”展开采集更多页面信息

方法:从“知乎_独立话题等待回答采集”的数据表中,把“精华链接”这列的网址拷贝出来,然后点击“知乎_独立话题动态内容采集”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。其它页面类似。


7、从“知乎_用户详情资料采集”展开采集更多页面信息

方法:从“知乎_用户详情资料采集”的数据表中,把“他关注的人的链接”这列的网址拷贝出来,然后点击“知乎_他关注的人列表采集”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。其它页面类似。


【附注】
数据DIY上可以找到很多网站下不同页面的采集入口,只要与样例网址是相同级别的网页,就可以用该页面的采集入口采集数据。因此,如果从数据DIY某个页面采集到网址,那么就可以找到该网址对应页面的采集入口,把批量网址添加进去,这也是数据DIY的出发点,让用户可以组合任意页面进行批量采集。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2023-7-10 08:20

Cracking666 新手上路 发表于 2023-4-11 18:29:51 | 显示全部楼层
可是很多回答被折叠了,爬取下来的数据全部不是原始文本。而是一大串最后是阅读全文,这个该如何解决呢?
举报 使用道具
Fuller 管理员 发表于 2023-4-11 19:51:31 | 显示全部楼层
Cracking666 发表于 2023-4-11 18:29
可是很多回答被折叠了,爬取下来的数据全部不是原始文本。而是一大串最后是阅读全文,这个该如何解决呢? ...

采集到回答列表以后,导出结果文件,在excel中过滤出来含有阅读全文字样的所有行。他们都含有一列,存了这个回答的网址。把所有行的这一列拷贝出来,批量导入这个快捷采集工具:https://www.gooseeker.com/res/rule_664.html 。再采集一遍全文
举报 使用道具
zhangshiyu0714 新手上路 发表于 2023-7-9 22:31:31 | 显示全部楼层
Fuller 发表于 2023-4-11 19:51
采集到回答列表以后,导出结果文件,在excel中过滤出来含有阅读全文字样的所有行。他们都含有一列,存了 ...

请问知乎上回答的评论也有部分被折叠了,但是“回答评论内容采集”只能采集到没有折叠的评论,请问这个问题有解决办法嘛?
举报 使用道具
Fuller 管理员 发表于 2023-7-10 08:20:55 | 显示全部楼层
zhangshiyu0714 发表于 2023-7-9 22:31
请问知乎上回答的评论也有部分被折叠了,但是“回答评论内容采集”只能采集到没有折叠的评论,请问这个问 ...

要自己定义采集规则,用点击动作点开折叠的内容。采集的时候,有可能会有点漏的时候,而且会采集到大量重复内容,要在excel中把重复的过滤掉。

因为复杂的点击动作不是很可靠,所以,没有快捷采集工具直接用,只能自己定义采集规则,或者委托我们定制规则
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-25 18:36