用搜狗微信进入公众号抓取信息时,翻页成功,但是只能获取第一页的数据。通过网页结构发现,每页内容都是兄弟级的,也就是第一页10个信息时一组,第二页10个信息时一组,每组都是兄弟关系。所以,虽然翻页成功,但是无法获取其他页面信息。
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2015-11-24 09:32

沙发
Fuller 管理员 发表于 2015-11-24 09:32:20 | 只看该作者
发个网页,截个图看看,我没有遇到搜狗微信的这种情况。可能是我习惯使用定位标志映射。

如果被抓取内容在网页上的位置不是固定的(DOM中的位置会变化),但是网页上比较靠近抓取内容的节点可能含有@class或者@id,因为这个节点与抓取内容节点之间很近,那么,相对位置变化的可能性就很小。用上定位标志映射就会提高规则的适应性。

详细用法参看:http://www.gooseeker.com/doc/article-120-1.html
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • gooseeker分词工具的命名实体识别和词形还
  • 怎样设置LDA模型的超参数alpha(α)和beta(
  • LDA主题分析模型到底是什么?
  • top2vec话题发现原理和使用方法
  • 将文本聚类和LDA分析模块安装在数据盘上的

热门用户

GMT+8, 2026-5-2 13:21