制订了5个规则,是由首页-》列表页-》详情页-》项目进展-》项目话题,可是如果单搜首页的话,就可以转到列表页,可是5个数据放在一起后首页就总是报错,这是什么问题,首页到列表页是靠搜索框的连续动作,列表页到详情页是靠下级线索,详情页到项目进展和项目话题都是靠模拟点击,实在找不到错误啊!

举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2016-8-24 10:15

沙发
Fuller 管理员 发表于 2016-8-23 16:13:05 | 只看该作者
怎么放在一起的?用爬虫群吗?爬虫群有专门的调度参数的。

你的超时时长设置了多少?
举报 使用道具
板凳
2445406817 中级会员 发表于 2016-8-23 16:17:49 | 只看该作者
Fuller 发表于 2016-8-23 16:13
怎么放在一起的?用爬虫群吗?爬虫群有专门的调度参数的。

你的超时时长设置了多少? ...

我是用连续动作,下级线索,模拟点击把这些网页相关联的,超时时长设置了60秒
举报 使用道具
地板
Fuller 管理员 发表于 2016-8-23 17:13:53 | 只看该作者
2445406817 发表于 2016-8-23 16:17
我是用连续动作,下级线索,模拟点击把这些网页相关联的,超时时长设置了60秒 ...

主题名是什么?我加载上来具体分析一下吧,这样看很难判断问题所在,要做下实验。你用的爬虫版本是什么?刚刚发布的7.0.1解决了一个性能问题,最好升级成这个版本
举报 使用道具
5#
HJLing 版主 发表于 2016-8-23 17:27:02 | 只看该作者
你截图的报错是运行哪个规则报的错?
举报 使用道具
6#
2445406817 中级会员 发表于 2016-8-24 10:14:40 | 只看该作者
Fuller 发表于 2016-8-23 17:13
主题名是什么?我加载上来具体分析一下吧,这样看很难判断问题所在,要做下实验。你用的爬虫版本是什么? ...

现在问题解决了,谢谢,我是半月前下载的火狐和集搜客的包,不知道什么版本
举报 使用道具
7#
2445406817 中级会员 发表于 2016-8-24 10:15:29 | 只看该作者
HJLing 发表于 2016-8-23 17:27
你截图的报错是运行哪个规则报的错?

现在解决了,谢谢
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-3 17:38