微博兴趣搜索_测试悬浮信息

763 182 20 所需积分:0 更新时间:2015-10-17 15:32 类别: 免费资源

规则介绍

这个规则是两个主题中的第一个,按照搜索条件把相同兴趣的人搜出来,而且翻页抓取所有人。这个主题用于演示连续动作,即连续不断地移动鼠标,悬浮则每个人的头像上,把弹出的个人信息抓下来,抓的过程是由第二个主题完成的:微博兴趣搜索_测试悬浮信息_悬浮动作 。详细内容请查看教程板块的连续动作相关文章 注:请先登录所抓取的网站,再运行该规则。 (如果该规则与描述不符或无效,您可 申诉。)

采集内容

信息字段 网页内容
列表
头像网址
名字
性别
地区
微博网址
简介
关注
粉丝
微博
标签表
标签值
标签网址

数据截图

用户评论

  1. Fuller 2018-07-29 09:40

    生成这个xpath挺麻烦的,因为这个网站上有太多的class。我是这样做的: 1,用你原先的xpath进行搜索,得到8个节点 2,搜到第一个节点,点击“显示XPath:绝对定位”按钮,得到第一个节点的完整的xpath 3,把这个xpath拷下来,放在记事本中 4,再次换回去原先的xpath,再搜,得到第二个节点,点击“显示XPath:绝对定位”按钮,得到第二个节点的完整的xpath,也拷到记事本中 5,得到第三个节点的xpath,对比他们三个,从左往右看,发现到某个节点以后就分叉了,一个可能是div[position()=2],另一个分支可能是div[position()=3] 6,在dom上看分叉的节点有什么区别,可能他们的class不同,那么就用这个class构造xpath,原先的xpath就变成了这样 //div[]//div[],中间多了一节// 7,用这个新的xpath再去搜索,看有几个节点,如果还有多个,再次显示绝对定位xpath,观察区别 8,这个网页,我循环了3次,里面有3节 //

  2. DuoRuaiMi 2018-07-28 22:13

    悬浮动作没有设置延时时长,改了一下定位成功了,谢谢。想请教一下一般遇到前面定位模糊的情况要如何自定义xpath以精确定位。

  3. DuoRuaiMi 2018-07-28 21:46

    呜呜呜,很复杂吗,我还要学着把几乎所有的内容都爬下来,我试试这个代码,十分感谢

  4. Fuller 2018-07-28 20:05

    如果你只想悬浮到这一个位置,可以这样写:[code]//div[@class='campaignBody-horizontal']//campaign-product-stage[contains(@class, 'productStage--Desktop')]/div[contains(@class, 'campaignProductStage--desktop')]//div[@class='campaignProductStage-currentStageLabel ng-binding'][/code] 这个网站的网页结构好复杂,仔细分析了DOM结构以后,上面这个xpath可以定位到那一个节点

  5. DuoRuaiMi 2018-07-28 18:11

    怎么做前置动作呢,可不可以直接在xpath后面加[position()=3]定位到第三个呢,还是我悬浮的定位不对

关于作者

作者其他资源更多 >

微博兴趣搜索_测试悬浮信息
这个规则是两个主题中的第一个,按照搜索条件把相同兴趣的人搜出来,而且翻页抓取所有人。这个主题用于演示连续动作,即连续不断地移动鼠标,悬浮则每个人的头像上,把弹出的个人信息抓下来,抓的过程是由第二个主题完成的:微博兴趣搜索_测试悬浮信息_悬浮动作 。详细内容请查看教程板块的连续动作相关文章
微博兴趣搜索_测试悬浮信息_悬浮动作
这是连续动作抓取模式下的第二个主题,不要单独运行这个主题,而是运行第一个:微博兴趣搜索_测试悬浮信息 。运行第一个后,会在网页上连续做鼠标悬浮动作,就能连续使用本规则把个人信息抓取下来。这是用于演示连续动作抓取功能的,详细用法请查看教程板块的相关文章
链家房源列表
这个抓取规则需要一点小技巧,因为在网页上,发布时间、单价和总价所用的html标签和属性完全一样,如果要同时抓取这三个内容,大家都抓成发布时间。这是因为抓取规则自动定位网页上的位置的时候,自动使用了div[@class='div-cun']/text()这个表达式。要解决这个问题,要么自定义xpath。如果嫌麻烦,就用个小技巧,选择包含这三块内容的总DIV,在网页上的位置是div[@class='dealType'],使用他的@class作为定位标志,也就是选择这个div,做定位标志映射,都映射给这3个抓取内容,这样,GooSeeker爬虫会自动计算出他们所在的位置是在这个总div下的不同节点
应用版本:V8.9 | 更新时间:2021年2月2日 | 隐私策略 | 应用权限 | 版权所有 © 2007-2021 GooSeeker 深圳市天据信息技术有限公司
粤ICP备08108565号-1 粤公网安备44030502004363号