如何抓取网页链接内的内容
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2016-7-13 17:03

沙发
ym 版主 发表于 2016-7-13 17:03:00 | 只看该作者
如果一个网页上面有一个或多个下一级页面的链接入口,可以做层级规则来采集,实现的效果是,先获得链接入口,再逐个采集链接内的信息。可参考http://www.gooseeker.com/doc/article-271-1.html

如果是要直接进入到链接内采集网页信息,可以用一个页面做为样本做采集规则,网页结构相同的话,就可以把其他链接导入到规则中,实现批量采集。可参考http://www.gooseeker.com/doc/article-73-1.html
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 为BERTopic安装需要的预训练SBERT模型
  • 在什么情况下使用弹窗模式和回退功能?
  • 爬网址做层级采集——以当当商品爬虫为例
  • 网络爬虫采集列表数据
  • UMAP的min_dist参数有什么作用?

热门用户

GMT+8, 2026-8-1 11:24