53 62526

微信数据采集攻略

shenzhenwan10 于 2016-12-29 15:26 发表 [复制链接]
本帖最后由 HJLing 于 2017-1-18 14:49 编辑

微信页面的组合采集攻略如下(绿框是页面名称,橙色字体是网址):

1、“微信文章列表采集

方法:

从“微信文章列表采集”展开采集更多页面信息

方法:从“微信文章列表采集”的数据表中,把“链接”这列的网址拷贝出来,然后点击“微信文章详情内容采集”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。其它页面类似。
注意:这里采集到“链接”和“公众号链接”都带有时间参数,网址具有时效性,超过一定时间(大概十几个小时)后网址会失效无法打开查看页面。

2、“微信公众号搜索列表


方法:

从“微信文章列表采集”展开采集更多页面信息

方法:从“微信公众号搜索列表”的数据表中,把“公众号链接”这列的网址拷贝出来,然后点击“微信公众号文章列表”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。其它页面类似。
注意:这里采集到“公众号链接”和“最近文章链接”都带有时间参数,网址具有时效性,超过一定时间(大概十几个小时)后网址会失效无法打开查看页面。

3.从“微信公众号文章列表展开采集更多页面信息


方法:从“微信公众号文章列表”的数据表中,把“文章链接”这列的网址拷贝出来,然后点击“微信文章详情内容采集”的“输入多条网址”按钮,粘贴网址,就可以用后者实现批量数据采集。
注意:这里采集到“文章链接”都带有时间参数,网址具有时效性,超过一定时间(大概十几个小时)后网址会失效无法打开查看页面。

【附注】
数据DIY上可以找到很多网站下不同页面的采集入口,只要与样例网址是相同级别的网页,就可以用该页面的采集入口采集数据。因此,如果从数据DIY某个页面采集到网址,那么就可以找到该网址对应页面的采集入口,把批量网址添加进去,这也是数据DIY的出发点,让用户可以组合任意页面进行批量采集。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 53 个关于本帖的回复 最后回复于 2020-12-11 11:37

沐雪弦歌 新手上路 发表于 2017-5-13 14:36:48 | 显示全部楼层
搜狗微信的页面只能显示公众号最近10条推送,那采集的时候有没有办法采集到更多的内容?
举报 使用道具
Fuller 管理员 发表于 2017-5-13 15:11:34 | 显示全部楼层
沐雪弦歌 发表于 2017-5-13 14:36
搜狗微信的页面只能显示公众号最近10条推送,那采集的时候有没有办法采集到更多的内容? ...

我们的采集软件没办法采集到超过10条的数据
举报 使用道具
沐雪弦歌 新手上路 发表于 2017-5-13 15:19:15 | 显示全部楼层
Fuller 发表于 2017-5-13 15:11
我们的采集软件没办法采集到超过10条的数据

好的,谢谢
举报 使用道具
algogo001 新手上路 发表于 2017-9-30 18:32:12 | 显示全部楼层
我想采集简书用户
举报 使用道具
Fuller 管理员 发表于 2017-9-30 18:41:01 | 显示全部楼层
algogo001 发表于 2017-9-30 18:32
我想采集简书用户

网页上能看到的内容才能采集
举报 使用道具
哎呀马卡卡的 新手上路 发表于 2017-11-28 01:18:00 | 显示全部楼层
不搜公众号,搜关键词按照时间顺序采集,可以吗
举报 使用道具
umsung 高级会员 发表于 2017-11-28 09:13:01 | 显示全部楼层
哎呀马卡卡的 发表于 2017-11-28 01:18
不搜公众号,搜关键词按照时间顺序采集,可以吗

网页上可以根据关键词按照时间顺序搜索出来,就可以采集
举报 使用道具
jackson456 新手上路 发表于 2018-1-13 23:09:43 | 显示全部楼层
我想采集视频,难道就只能采集到视频的网址,不能连视频文件一并采集吗
举报 使用道具
Fuller 管理员 发表于 2018-1-14 10:02:04 | 显示全部楼层
jackson456 发表于 2018-1-13 23:09
我想采集视频,难道就只能采集到视频的网址,不能连视频文件一并采集吗

下载视频需要另外的辅助程序,如果需要可以洽谈购买
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-5 11:34