大家好,我是新手,问一个可能认为比较菜的问题,是这样,我设置好了规则,采集单网页列表的详细信息,但许多详细信息打开后的网页是错误的(404),每当采集到这种页面时都会等很长时间,想问大家,有没有办法设置,只要是这种错误的页面,采集不到,直接掠过的办法啊?我想可以省许多时间,谢谢!!!在线等!!!
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2017-3-7 11:10

沙发
HJLing 版主 发表于 2017-3-7 11:10:57 | 只看该作者
1.改变超时时长 可以减少等待时间 不过有风险 如果正常页面加载比较慢到达超时时长也会认为是失败
2.做两个规则编号不一样的规则 如果404的页面都是一样 就对这种页面也做一个对应的规则
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-5 01:52