集搜客网络爬虫软件能采集微信公众号的历史文章吗？

我也比较好奇，跟chrome或者firefox的开发者工具比起来，有什么不一样？这个fiddler相当于在计算机操作系统层面上分析http消息的吧？是不是有点像wireshark ？

ftest2020 发表于 2020-9-7 16:43
2, 运行微信客户端windows版， 进入要查看的公众号，点击“查看历史消息”， 进入历史文章页面

我倒是对你的截图中的 羊村传播 这个公众号有兴趣，是新闻传播学领域的，应该能有很多我需要的学习资料，像一些内容分析案例之类的，回头我加一下

ftest2020 发表于 2020-9-7 16:51
4，根据上面取得的请求url，通过给offset参数赋予不同的值，可以构造取更多数据的网址。
这些网址就是取文 ...

楼上介绍的这个用fiddler的方法看着挺复杂，有些晕。其实我在做内容分析方面的研究工作中，用搜狗微信搜索基本上满足了研究的需要，而且集搜客快捷采集工具有一系列现成的工具，在这里：https://www.gooseeker.com/res/da ... =%E5%BE%AE%E4%BF%A1

搜狗微信采集太多了会出验证码，还要登录，这些对于研究工作问题不大。因为我会为每项研究任务预留工作需要的时间，有数据采集的时间和数据处理的时间，从来没有假定伸手就能拿到数据。

但是我觉得最麻烦的是搜狗搜索得到的微信文章链接是临时的，很快就会失效，我肯定不能把一个失效的链接放在分析报告中。所以，我有不得不用手机打开这个文章，拷贝得到永久网址。

楼主介绍的fiddler方法能拿到永久网址吗？

发誓学好内容分析 发表于 2020-9-8 09:46
楼上介绍的这个用fiddler的方法看着挺复杂，有些晕。其实我在做内容分析方面的研究工作中，用搜狗微信搜 ...

你这个问题好，目前我也是手工拷贝永久网址，不知道是否有捷径

发誓学好内容分析 发表于 2020-9-8 09:46
楼上介绍的这个用fiddler的方法看着挺复杂，有些晕。其实我在做内容分析方面的研究工作中，用搜狗微信搜 ...

我试了试fiddler的方法， 历史文章列表的网址也是有有效期的， 过了一定时间后会失效，不过每篇文章的网址没失效