快捷导航
规则名称:微博抓取_博主首页博文互动数据_第二步
测试链接:https://weibo.com/u/3622512610?is_all=1
https://www.weibo.com/u/2405584352?is_all=1

问题描述:

塔塔鲁斯 2020-02-13 12:07:00

但是实际过程中发现,抓取会失败;因为如果用绝对定位;不同微博博主的首页绝对定位上面的内容不一样;如果用calss,评论、转发、点赞的calss定位是一样的导致抓不到数据


举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2020-2-13 16:04

Fuller 管理员 发表于 2020-2-13 16:04:18 | 显示全部楼层
这里有多个经验贴,关于定位标志相同怎么办:https://www.gooseeker.com/doc/thread-707-1-1.html
我通常使用这种方法:
找到这些节点的父节点或者比较近的祖先节点,如果有合适的定位标志,用他们共同的祖先节点做定位标志映射。这样得到的xpath是相对于他们祖先节点的,那么会用postion函数把这项具有相同定位标志的节点区分开
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 在限定论域的时候,为什么“任何一个”表示
  • 数理逻辑是讲什么的?
  • 内容分析法中的抽样
  • 豆瓣电影的情感分析
  • 一本在线图书——社交网络分析介绍

热门用户

GMT+8, 2020-2-27 11:45