一、抓取的这个版块,我分析了下共有三种形式。
1、无内容

2、内容较少,可直接做样例复制。

3、内容较多,仅显示一小部分。全部查看需要点击“展开”才能查看。

感觉做模拟点击,大多数页面也没有“展开“这个点击内容。不做模拟点击,内容又显示不出来。此外,对于板块中的内容,做样例复制的话,很容易出现第一个样例定位不到,导致规则出错。不做样例复制的话,也想不到用什么方法来抓取内容。
二、抓取多个标签内容。

在制作规则的时候,为了方便,我直接对所有便签的大结点做内容映射。省去做样例复制的麻烦,另一方面,也避免出现空白页面,导致样例复制定位不到第一个而出错。但是在数据处理的时候,就比较麻烦了,抓到的内容都放在一起,如果想将标签分类,也没有更好的办法。

对于上述问题,希望大神能指点一二啊!

举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2016-9-19 08:47

沙发
Fuller 管理员 发表于 2016-9-18 10:56:11 | 只看该作者
第一个问题:
你选择一个内容多的样本页面(第三种),做样例复制,也做模拟点击。规则做好以后,当遇到内容少的会自动跳过。当遇到没有内容的,看你的“关键内容”是怎样设置的,如果给投资组合的内容做了“关键内容”设定,那么遇到没有内容的,就会报错。为了避免这个问题,可以选择一个网页上总是有的标志,给他设定“关键内容”,变化的内容不要设置关键内容

第二个问题:
标签还是用样例复制比较好,不要设置“关键内容”
举报 使用道具
板凳
759924607 高级会员 发表于 2016-9-19 08:10:29 | 只看该作者
Fuller 发表于 2016-9-18 10:56
第一个问题:
你选择一个内容多的样本页面(第三种),做样例复制,也做模拟点击。规则做好以后,当遇到内 ...

第一个问题中,之前出错的问题主要是样例复制定位不到第一个内容。如果这个板块中,有内容,肯定不会报错。就是针对没有内容的,我也没有设置关键内容,但是样例复制也出错了。好像一旦做样例复制,必须得定位到第一个的内容才可以
举报 使用道具
地板
Fuller 管理员 发表于 2016-9-19 08:47:28 | 只看该作者
759924607 发表于 2016-9-19 08:10
第一个问题中,之前出错的问题主要是样例复制定位不到第一个内容。如果这个板块中,有内容,肯定不会报错 ...

这个网址是不是公开的?如果是公开的,你把主题名帖出来,管理员帮你看看规则是否合适
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-10 16:12