快捷导航
任务名:wbfs
任务描述;用来采集微博博主的粉丝,快速采集里能够采集5页左右的粉丝,这个任务页面采集的粉丝因为是移动端的页面,好像不受限制,自己就写了这个采集任务;
问题描述:任务用的是点击回退,加滚屏操作;每次滚屏数我设置了50,碰到问题是每次滚屏很多,但点击回退只有一次,导致不好确定滚屏结束标志,因为滚屏结束了,任务就结束了,但点击可能还没结束,采集还没完成任务就停了。并且想到了了另外个问题,该任务是瀑布流模式,如果是翻页下一页模式,那是不是会出现,上一页的点击回退还没完就翻到下一页了。
举报 使用道具
| 回复

共 10 个关于本帖的回复 最后回复于 2020-5-27 09:12

Fuller 管理员 发表于 2020-5-26 15:53:15 | 显示全部楼层
首先,内容块 这一层其实可以不要,既然创建了,可以利用起来。用一个定位标志映射,把代表整个列表的定位标志映射给他,相当于先在网页上划定一个区域,这样可以提高规则的适应性

内容M截图20200526155209.png
举报 使用道具
Fuller 管理员 发表于 2020-5-26 16:02:23 | 显示全部楼层
其次,第二级中的最新发博时间加载不成功,这个抓取内容不知道要抓取什么,你最好做上定位标志映射,也可能是我选的样本页面不对,这个不重要

然后,DS打数机不能开自动滚屏,因为这是一个瀑布流网页,一开自动滚屏就滚不到底了。如果能到底,倒是可以打开自动滚屏,我一会测试一下。

再有,DS打数机菜单 高级-》中断标志-》重复内容,不能勾,否则,回退回来两次以后,发现第三次看到相同的列表页面,就中断了。

另外,第一个规则里面,可以不用设置连续滚屏,因为点击动作设置了模拟点击,总是会滚动一下,让被点击位置居中,附带完成了滚屏。而且你设置的连续滚屏也不对,滚屏次数是-1,那就是永远滚屏,最后,这个采集就执行不完了。

等我测试一下看
举报 使用道具
Fuller 管理员 发表于 2020-5-26 16:13:31 | 显示全部楼层
我这里一直在运行,看起来运行挺好的,就按我上面说的删掉连续滚屏动作
举报 使用道具
Fuller 管理员 发表于 2020-5-26 16:16:56 | 显示全部楼层
你的第一级规则,点击动作的xpath,会漏掉一种情况,就是那些显示成橙色的博主,他们的xpath应该是不同,你检查一下,把xpath调整一下,让它适应两种情况的
举报 使用道具
maomao 论坛元老 发表于 2020-5-26 16:49:32 | 显示全部楼层
集搜客也有采集weibo.cn端的粉丝快捷工具,可以采集更多的粉丝,可以直接拿来用。
举报 使用道具
lq881016 初级会员 发表于 2020-5-27 08:42:41 | 显示全部楼层
maomao 发表于 2020-5-26 16:49
集搜客也有采集weibo.cn端的粉丝快捷工具,可以采集更多的粉丝,可以直接拿来用。 ...

自带的只能采集五页,这个不受限制好像
举报 使用道具
lq881016 初级会员 发表于 2020-5-27 08:46:41 | 显示全部楼层
Fuller 发表于 2020-5-26 15:53
首先,内容块 这一层其实可以不要,既然创建了,可以利用起来。用一个定位标志映射,把代表整个列表的定位 ...

这里为什么要设置内容块,是因为他是个嵌套样例复制结构(见图1),你说的加定位映射,我加了下,它提示样例复制跟定位映射不能同时存在;

微信图片_20200527084517.png
举报 使用道具
lq881016 初级会员 发表于 2020-5-27 08:47:53 | 显示全部楼层
Fuller 发表于 2020-5-26 16:02
其次,第二级中的最新发博时间加载不成功,这个抓取内容不知道要抓取什么,你最好做上定位标志映射,也可能 ...

那怎么设置任务结束呢?只能手动结束吗?
举报 使用道具
Fuller 管理员 发表于 2020-5-27 09:11:05 | 显示全部楼层
lq881016 发表于 2020-5-27 08:46
这里为什么要设置内容块,是因为他是个嵌套样例复制结构(见图1),你说的加定位映射,我加了下,它提示 ...

你的整理箱结构是  内容块-》内容-》名字。如果采用这样的结构,就在内容上做样例复制,在内容块上做定位标志映射
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-19 15:04