我的规则名:摩点网游戏类项目三级
https://me.modian.com/u/detail?uid=5337556
https://me.modian.com/u/detail?uid=1011894
两个网站的摩点认证采集,class不同,id也不同这种怎么定位,但所要表达的信息都是认证信息。
还有其他信息那几个定位也是有问题,class都一样, 我用谋数台找到了绝对定位的Xpath代码,设置好了,但是在另一个网站又不行了。麻烦大神帮看看
举报 使用道具
| 回复

共 9 个关于本帖的回复 最后回复于 2019-7-18 18:08

沙发
Fuller 管理员 发表于 2019-7-18 10:48:22 | 只看该作者

这里面什么内容是要采集的?
举报 使用道具
板凳
fred590 初级会员 发表于 2019-7-18 10:50:37 | 只看该作者
Fuller 发表于 2019-7-18 10:48
这里面什么内容是要采集的?

摩点认证里的文本,还有其他信息里的发布的项目、关注的项目等信息都爬

举报 使用道具
地板
Fuller 管理员 发表于 2019-7-18 12:16:43 | 只看该作者
fred590 发表于 2019-7-18 10:50
摩点认证里的文本,还有其他信息里的发布的项目、关注的项目等信息都爬

...

认证文本以及下面的其他信息,都可以用样例复制进行采集


举报 使用道具
5#
fred590 初级会员 发表于 2019-7-18 13:29:51 | 只看该作者
Fuller 发表于 2019-7-18 12:16
认证文本以及下面的其他信息,都可以用样例复制进行采集

方便具体说下吗?这跟平常的样例复制不一样呀,像教程的样例一有名称等信息,样例二也是。那这个怎么设置?支持的项目作为样例一,发布的项目为样例二?
举报 使用道具
6#
Fuller 管理员 发表于 2019-7-18 15:11:13 | 只看该作者
fred590 发表于 2019-7-18 13:29
方便具体说下吗?这跟平常的样例复制不一样呀,像教程的样例一有名称等信息,样例二也是。那这个怎么设置 ...



建立一个多层整理箱,最顶上的容器节点“列表”中含有两个第二层容器节点“信息行”和“相关数量”。对于这种多层整理箱,需要先在工作台上创建好。点击鼠标右键,可以有各种新建抓取内容,比如,包容关系和兄弟关系,也可以移动

再做内容映射,比如,419那一个DOM节点映射给“信息行”,内容映射要在DOM上用鼠标右键做。465那一个DOM节点映射给“相关数量”

再做样例复制,因为有两个子容器,要做两个样例复制映射。先选中“认证信息”那个容器,选择上图的上面两个圆圈的节点,分别做第一样例复制和第二样例复制;
再选中“其他信息”那个容器,用下面红圈的节点做样例复制。样例复制映射的教程:https://www.gooseeker.com/doc/article-330-1.html

点击测试,看到采集到很多不要的信息,那么就要用定位标志映射,限定一下范围,像下图那样。定义标志映射的教程:https://www.gooseeker.com/doc/article-344-1.html




举报 使用道具
7#
fred590 初级会员 发表于 2019-7-18 15:55:36 | 只看该作者
Fuller 发表于 2019-7-18 15:11
建立一个多层整理箱,最顶上的容器节点“列表”中含有两个第二层容器节点“信息行”和“相关数量”。对 ...

按您的方法我重新做了一下,第一个网站可以抓出来,但是同样的规则在第二个网站就不行了,认证信息那快,第一个网站的class是detail,第二个网站的class是introduction,id也不同。我试了下仅加载规则,让我联系管理员,如图。

QQ20190718-155059@2x.png (78.77 KB, 下载次数: 784)

QQ20190718-155059@2x.png
举报 使用道具
8#
Fuller 管理员 发表于 2019-7-18 16:41:07 | 只看该作者
fred590 发表于 2019-7-18 15:55
按您的方法我重新做了一下,第一个网站可以抓出来,但是同样的规则在第二个网站就不行了,认证信息那快, ...

如果这种情况只有几种变化,一个简单的方法是针对这些情况定义多个规则,但是他们的任务名一样,规则编号不一样


举报 使用道具
9#
fred590 初级会员 发表于 2019-7-18 16:51:17 | 只看该作者
Fuller 发表于 2019-7-18 16:41
如果这种情况只有几种变化,一个简单的方法是针对这些情况定义多个规则,但是他们的任务名一样,规则编号 ...

那同一任务名下定义两个规则,当爬虫的时候打数机会自动选择规则是吗?
举报 使用道具
10#
Fuller 管理员 发表于 2019-7-18 18:08:50 | 只看该作者
fred590 发表于 2019-7-18 16:51
那同一任务名下定义两个规则,当爬虫的时候打数机会自动选择规则是吗?
...

会自动选择,按照规则编号的顺序,逐个去匹配,最先遇到合适的就用那个
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-19 23:53