7 13041

百度数据采集攻略

gz51837844 于 2016-12-28 16:17 发表 [复制链接]
百度的页面包括几部分: 百度新闻百度搜索. 组合采集攻略如下(绿框是页面名称,橙色字体是采集结果表中的网址字段或浏览器地址栏复制的网址):

1、采集“百度新闻搜索结果列表
方法:

2、采集“百度网页关键词搜索结果
方法:

3、使用百度拓词工具采集: 搜索结果列表, 联想词, 相关搜索词
方法:


【附注】
数据DIY上可以找到很多网站下不同页面的采集入口,只要与样例网址是相同级别的网页,就可以用该页面的采集入口采集数据。因此,如果从数据DIY某个页面采集到网址,那么就可以找到该网址对应页面的采集入口,把批量网址添加进去,这也是数据DIY的出发点,让用户可以组合任意页面进行批量采集。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 7 个关于本帖的回复 最后回复于 2022-3-4 18:06

gaoxiaohua 新手上路 发表于 2022-3-3 20:55:14 | 显示全部楼层
为什么只有第一条呀
举报 使用道具
Fuller 管理员 发表于 2022-3-4 07:24:51 | 显示全部楼层
gaoxiaohua 发表于 2022-3-3 20:55
为什么只有第一条呀

你用了哪个快捷采集?你要采集的网址是什么?都发出来我测试一下
举报 使用道具
gaoxiaohua 新手上路 发表于 2022-3-4 16:02:02 | 显示全部楼层
管理员居然回复我了!https://vp.fact.qq.com/home  一个腾讯的较真辟谣平台,我想爬取他的文章列表,爬不出来 您给看看我得用啥
举报 使用道具
Fuller 管理员 发表于 2022-3-4 16:12:35 | 显示全部楼层
gaoxiaohua 发表于 2022-3-4 16:02
管理员居然回复我了!https://vp.fact.qq.com/home  一个腾讯的较真辟谣平台,我想爬取他的文章列表,爬不 ...

要针对这个网站定义采集规则。你定义采集规则了吗?可以把规则名发出来,管理员会帮你检查问题
举报 使用道具
gaoxiaohua 新手上路 发表于 2022-3-4 17:41:45 | 显示全部楼层

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
gaoxiaohua 新手上路 发表于 2022-3-4 17:42:11 | 显示全部楼层
是这样吗应该不是
举报 使用道具
Fuller 管理员 发表于 2022-3-4 18:06:58 | 显示全部楼层
gaoxiaohua 发表于 2022-3-4 17:42
是这样吗应该不是

那个快捷采集是专门采集腾讯新闻的,你要采集的网址不符合这个快捷采集。要自己定义规则
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-10-6 03:48