网页上只显示了摘要信息,有个超链接“点击查看全文”,展开后的内容要抓取下来,怎么做?
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2016-10-21 17:21

沙发
Fuller 管理员 发表于 2016-10-21 17:21:28 | 只看该作者
这样分两种情况:1)在网页上只需点击一次;2)在网页上有很多点击位置,要逐个点击

第一种情况其实很类似点击“下一页”,也类似点击淘宝商品上的“累积评价”链接去抓所有评价。具体可以参看这个教程《模拟点击切换到另一标签窗口采数据
另一种境况就需要定义连续动作,只需定义一个点击动作即可,具体参看连续动作教程:http://www.gooseeker.com/doc/article-141-1.html
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 爬网址做层级采集——以当当商品爬虫为例
  • 网络爬虫采集列表数据
  • UMAP的min_dist参数有什么作用?
  • UMAP的n_neighbors参数有什么作用?
  • HDBSCAN的min_samples和min_cluster_size参

热门用户

GMT+8, 2026-7-7 14:55