11#
Fuller 管理员 发表于 2017-10-1 12:35:01 | 只看该作者
simonylan 发表于 2017-10-1 11:06
刚刚发现自己404界面并不是未登录的影响。。

刚刚抓了那么久,发现很多页面都是404,但是也有部分能够抓 ...

似乎是规则的适应性不够,第二级规则,定义的时候,尽量用上定位标志映射。可以提高适应性,这个网站好慢,想加载规则都不行
举报 使用道具
12#
simonylan 中级会员 发表于 2017-10-1 13:40:57 | 只看该作者
Fuller 发表于 2017-10-1 12:35
似乎是规则的适应性不够,第二级规则,定义的时候,尽量用上定位标志映射。可以提高适应性,这个网站好慢 ...

那对于这个网站,有什么方法使它能够进行层级抓取呢
举报 使用道具
13#
Fuller 管理员 发表于 2017-10-1 15:50:11 | 只看该作者
simonylan 发表于 2017-10-1 13:40
那对于这个网站,有什么方法使它能够进行层级抓取呢

把规则的适应性提高就好了
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反

热门用户

GMT+8, 2025-5-17 16:35