举报 使用道具
| 回复

共 10 个关于本帖的回复 最后回复于 2016-12-5 22:25

沙发
lxacoder 初级会员 发表于 2016-12-4 11:17:48 | 只看该作者
我抓了一晚上,发现很多都失败了
举报 使用道具
板凳
HJLing 版主 发表于 2016-12-4 11:18:58 | 只看该作者
发几个失败的网址
举报 使用道具
地板
lxacoder 初级会员 发表于 2016-12-4 11:22:50 | 只看该作者
HJLing 发表于 2016-12-4 11:18
发几个失败的网址

就是规则加载默认的网址都要失败
举报 使用道具
5#
lxacoder 初级会员 发表于 2016-12-4 11:24:45 | 只看该作者
HJLing 发表于 2016-12-4 11:18
发几个失败的网址

http://club.autohome.com.cn/bbs/thread-c-588-58623502-1.html
http://club.autohome.com.cn/bbs/thread-c-2139-49291492-1.html
http://club.autohome.com.cn/bbs/thread-c-2974-58623847-1.html
http://club.autohome.com.cn/bbs/thread-a-100024-58611542-1.html
举报 使用道具
6#
scraper 论坛元老 发表于 2016-12-4 11:55:59 | 只看该作者
测试了两个页面没有报错 不过有漏采内容 你可以自己重新映射一下 也可以等明天叫作者改好规则你再重新下载
举报 使用道具
7#
lxacoder 初级会员 发表于 2016-12-4 11:59:40 | 只看该作者
scraper 发表于 2016-12-4 11:55
测试了两个页面没有报错 不过有漏采内容 你可以自己重新映射一下 也可以等明天叫作者改好规则你再重新下载 ...

这个很复杂,要是我自己会,我就不会买了。。。等明天啊
举报 使用道具
8#
lxacoder 初级会员 发表于 2016-12-4 12:07:34 | 只看该作者
scraper 发表于 2016-12-4 11:55
测试了两个页面没有报错 不过有漏采内容 你可以自己重新映射一下 也可以等明天叫作者改好规则你再重新下载 ...

算了  漏抓的东西都不太重要
举报 使用道具
9#
ym 版主 发表于 2016-12-5 10:24:01 | 只看该作者
lxacoder 发表于 2016-12-4 12:07
算了  漏抓的东西都不太重要

网页部分结构有变,修改好规则了,你可以重新下载规则。关于漏抓的问题,是因为有些帖子页面不显示某些信息,所以会抓不到,并不是漏抓

举报 使用道具
10#
lxacoder 初级会员 发表于 2016-12-5 12:41:11 | 只看该作者
ym 发表于 2016-12-5 10:24
网页部分结构有变,修改好规则了,你可以重新下载规则。关于漏抓的问题,是因为有些帖子页面不显示某些信 ...

我现在产生了上级120万条线索 ,现在修改有什么影响吗?(比如下载了之后线索消失,又要重新运行一遍上级规则,目前抓了几万了)比如最后转EXCEL的时候,还有就是在会员中心直接暂停调度,然后修改重新下载吗?
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-29 19:32