本帖最后由 shchen_13 于 2016-3-24 10:39 编辑

如果在爬取贴吧时,有的评论中存在一些链接,我需要继续深入该链接,爬取里面的内容,该如何做?
PS : 因为有的时候评论也不会有新链接,所以随机性很大,不能按照正常的层级抓取规则去编辑规则
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2016-3-25 18:21

scraper 论坛元老 发表于 2016-3-24 10:58:36 | 显示全部楼层
贴吧评论的链接,如果是超链接的话,就可以通过自定义xpath的方法,抓到评论的链接地址,因为超链接肯定存在@href节点;如果是文本的话,那就不能区分是否链接,只能后期手工筛选出http开头的评论信息,再整理出链接地址
举报 使用道具
shchen_13 初级会员 发表于 2016-3-25 18:21:56 | 显示全部楼层
scraper 发表于 2016-3-24 10:58
贴吧评论的链接,如果是超链接的话,就可以通过自定义xpath的方法,抓到评论的链接地址,因为超链接肯定存 ...

好的,谢谢
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 14:59