Fuller 管理员 发表于 2019-12-10 22:14:20 | 显示全部楼层
我查了一下后台,在8:22到8:49期间,你采集到了442条数据,一条都没有打包出来吗?
举报 使用道具
lukecho 新手上路 发表于 2019-12-10 22:23:53 | 显示全部楼层
Fuller 发表于 2019-12-10 22:12
打包的时候,会提示有多少条数据,如果条数是0,那么很可能是采集失败了,也有可能数据库处理速度有点慢 ...

现在采集成功了,那为什么我解压会失败呢?另外,我加了群,但是管理员一直不通过我,求通过,我已经买了旗舰版
举报 使用道具
lukecho 新手上路 发表于 2019-12-10 22:27:29 | 显示全部楼层
Fuller 发表于 2019-12-10 22:14
我查了一下后台,在8:22到8:49期间,你采集到了442条数据,一条都没有打包出来吗? ...

我这边压缩文件,显示已损坏,打不开,怎么解
举报 使用道具
maomao 论坛元老 发表于 2019-12-10 23:08:30 | 显示全部楼层
lukecho 发表于 2019-12-10 22:27
我这边压缩文件,显示已损坏,打不开,怎么解

你的爬虫是MAC版吗?
举报 使用道具
Fuller 管理员 发表于 2019-12-11 10:14:53 | 显示全部楼层
mac电脑有可能在处理中文名的zip文件的时候会失败,但是最近升级了一个版本,已经修改了这个问题,现在显示文件损坏,很可能是下载过程被中断了,可以重新下载一次
举报 使用道具
carina0622 新手上路 发表于 2019-12-12 16:37:13 | 显示全部楼层
你好我想问下,评论明明有700+但是爬下来只有200多
举报 使用道具
Fuller 管理员 发表于 2019-12-12 16:51:40 | 显示全部楼层
carina0622 发表于 2019-12-12 16:37
你好我想问下,评论明明有700+但是爬下来只有200多

哪个网址?发出来我试试。豆瓣说不定限制了翻页次数
举报 使用道具
kid_aaa 新手上路 发表于 2020-3-9 17:11:07 | 显示全部楼层
是不是收集到442条就不能再收集了,我也是收集了442
举报 使用道具
Fuller 管理员 发表于 2020-3-9 17:38:53 | 显示全部楼层
kid_aaa 发表于 2020-3-9 17:11
是不是收集到442条就不能再收集了,我也是收集了442

每个网站都会设定翻页限制,为了能够采集更多,一般需要登录以后再采集,即便这样,也会达到网站规定的限制数
举报 使用道具
ym 版主 发表于 2020-3-9 17:46:13 | 显示全部楼层
本帖最后由 ym 于 2020-3-9 17:53 编辑
kid_aaa 发表于 2020-3-9 17:11
是不是收集到442条就不能再收集了,我也是收集了442

豆瓣无论是否登陆,都限制了翻页数量,最多可以浏览前25页,所以采集也是一样最多采到前25页,一页20条,单次最多能采集到500条
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 06:32