举报 使用道具
| 回复

共 10 个关于本帖的回复 最后回复于 2016-12-5 22:25

沙发
lxacoder 初级会员 发表于 2016-12-4 11:17:48 | 只看该作者
我抓了一晚上,发现很多都失败了
举报 使用道具
板凳
HJLing 版主 发表于 2016-12-4 11:18:58 | 只看该作者
发几个失败的网址
举报 使用道具
地板
lxacoder 初级会员 发表于 2016-12-4 11:22:50 | 只看该作者
HJLing 发表于 2016-12-4 11:18
发几个失败的网址

就是规则加载默认的网址都要失败
举报 使用道具
5#
lxacoder 初级会员 发表于 2016-12-4 11:24:45 | 只看该作者
HJLing 发表于 2016-12-4 11:18
发几个失败的网址

http://club.autohome.com.cn/bbs/thread-c-588-58623502-1.html
http://club.autohome.com.cn/bbs/thread-c-2139-49291492-1.html
http://club.autohome.com.cn/bbs/thread-c-2974-58623847-1.html
http://club.autohome.com.cn/bbs/thread-a-100024-58611542-1.html
举报 使用道具
6#
scraper 论坛元老 发表于 2016-12-4 11:55:59 | 只看该作者
测试了两个页面没有报错 不过有漏采内容 你可以自己重新映射一下 也可以等明天叫作者改好规则你再重新下载
举报 使用道具
7#
lxacoder 初级会员 发表于 2016-12-4 11:59:40 | 只看该作者
scraper 发表于 2016-12-4 11:55
测试了两个页面没有报错 不过有漏采内容 你可以自己重新映射一下 也可以等明天叫作者改好规则你再重新下载 ...

这个很复杂,要是我自己会,我就不会买了。。。等明天啊
举报 使用道具
8#
lxacoder 初级会员 发表于 2016-12-4 12:07:34 | 只看该作者
scraper 发表于 2016-12-4 11:55
测试了两个页面没有报错 不过有漏采内容 你可以自己重新映射一下 也可以等明天叫作者改好规则你再重新下载 ...

算了  漏抓的东西都不太重要
举报 使用道具
9#
ym 版主 发表于 2016-12-5 10:24:01 | 只看该作者
lxacoder 发表于 2016-12-4 12:07
算了  漏抓的东西都不太重要

网页部分结构有变,修改好规则了,你可以重新下载规则。关于漏抓的问题,是因为有些帖子页面不显示某些信息,所以会抓不到,并不是漏抓

举报 使用道具
10#
lxacoder 初级会员 发表于 2016-12-5 12:41:11 | 只看该作者
ym 发表于 2016-12-5 10:24
网页部分结构有变,修改好规则了,你可以重新下载规则。关于漏抓的问题,是因为有些帖子页面不显示某些信 ...

我现在产生了上级120万条线索 ,现在修改有什么影响吗?(比如下载了之后线索消失,又要重新运行一遍上级规则,目前抓了几万了)比如最后转EXCEL的时候,还有就是在会员中心直接暂停调度,然后修改重新下载吗?
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 将文本聚类和LDA分析模块安装在数据盘上的
  • GooSeeker分词软件的tf-idf算法和特征词选
  • 边表格式和矩阵格式的共词矩阵表有什么区别
  • GooSeeker分词、情感分析和文本分析平台简
  • 聚类分析和主题分析中的特征选择参数的设置

热门用户

GMT+8, 2026-3-24 15:43