规则测试能抓出数据,但是单页或者翻页爬取就显示匹配失败
https://www.atobo.com.cn/Companys/s-p8-s115-k32454/
规则名字 atobo ,请帮忙解决一下,谢谢!
举报 使用道具
| 回复

共 18 个关于本帖的回复 最后回复于 2018-7-26 18:56

Fuller 管理员 发表于 2018-7-21 09:37:52 | 显示全部楼层
我测试了,你这个规则就是翻页会失败。在“爬虫路线”工作台上,有个“定位选项”按钮,选择“偏好class”
举报 使用道具
wangyong 版主 发表于 2018-7-21 09:45:29 | 显示全部楼层

这个规则有问题是在翻页规则上,选择爬虫路线上的定位选项再选择偏好@class

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
hanagosan 初级会员 发表于 2018-7-25 16:07:22 | 显示全部楼层
wangyong 发表于 2018-7-21 09:45
这个规则有问题是在翻页规则上,选择爬虫路线上的定位选项再选择偏好@class
...

谢谢版主和管理员的支持,调整后确实可以正常翻页了。
新一轮问题:还是这个规则,我设置了下一层级的数据抓取,规则更名为 “工会详情” 和 “工会详情2”。

现在遇到的情况是:
1、第一层页面翻页显示有85页,但抓取只到49页;
2、第一级数据获取完后,第二级规则线索只有21条

麻烦给予指导,感谢!


举报 使用道具
Fuller 管理员 发表于 2018-7-25 16:27:36 | 显示全部楼层
我加载了atobo 这个规则,没有看到下级线索
举报 使用道具
hanagosan 初级会员 发表于 2018-7-25 16:30:12 | 显示全部楼层
Fuller 发表于 2018-7-25 16:27
我加载了atobo 这个规则,没有看到下级线索

我把规则名改成 工会详情 了,第二级叫 工会详情2
举报 使用道具
Fuller 管理员 发表于 2018-7-25 16:32:41 | 显示全部楼层
hanagosan 发表于 2018-7-25 16:30
我把规则名改成 工会详情 了,第二级叫 工会详情2

在“爬虫路线”那里,翻页的那个目标主题名不对,现在还是atobo,应该是 工会详情
举报 使用道具
hanagosan 初级会员 发表于 2018-7-25 16:34:39 | 显示全部楼层
Fuller 发表于 2018-7-25 16:32
在“爬虫路线”那里,翻页的那个目标主题名不对,现在还是atobo,应该是 工会详情
...

OK,我修改了试试,多谢多谢!
举报 使用道具
hanagosan 初级会员 发表于 2018-7-25 16:38:03 | 显示全部楼层
Fuller 发表于 2018-7-25 16:32
在“爬虫路线”那里,翻页的那个目标主题名不对,现在还是atobo,应该是 工会详情
...

哈,药到病除了,太感谢了!
举报 使用道具
hanagosan 初级会员 发表于 2018-7-25 16:44:32 | 显示全部楼层
Fuller 发表于 2018-7-25 16:32
在“爬虫路线”那里,翻页的那个目标主题名不对,现在还是atobo,应该是 工会详情
...

@Fuller 大神,现在第一级规则还是没抓全,翻页到50页后停止了,总共是有85页,帮忙看看
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-10-6 03:55