规则制作是正确的,在测试的时候如果没有选择做链接标签,测试的时候数据就全部都能抓取,如果添加了链接标签,并做了内容映射到链接,结果前面的几条链接都可以正常抓取,后面的链接都为空,这个是什么原因造成的????

采集网站:https://guangzhou.anjuke.com/sale/changban/
采集规则名:第一个房产

如图:



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2017-9-1 09:48

沙发
guiguzhu 初级会员 发表于 2017-8-30 23:29:32 | 只看该作者
使用同样的操作步骤做了另外一个规则,所有的数据都可以顺利抓取,那么是什么原因导致我帖子上的抓取出现遗漏了??

同样的步骤测试成功的另外一个
主题名:鬼哥第二个测试
测试链接:http://www.jisouke.com/doc/forum ... mp;orderby=dateline

这个全部抓取都正确
举报 使用道具
板凳
shenzhenwan10 金牌会员 发表于 2017-8-30 23:37:44 | 只看该作者
给“链接”做上定位标志映射,如下图:

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
地板
bowieD 金牌会员 发表于 2017-8-31 09:27:11 | 只看该作者
第一个网址的结构要复杂些,需要给抓取内容做上定位标志映射,爬虫就能精准的抓取需要的信息,如果还不行就改成绝对定位。
举报 使用道具
5#
guiguzhu 初级会员 发表于 2017-8-31 20:07:43 | 只看该作者
bowieD 发表于 2017-8-31 09:27
第一个网址的结构要复杂些,需要给抓取内容做上定位标志映射,爬虫就能精准的抓取需要的信息,如果还不行就 ...

已经解决了  谢谢你的帮助
举报 使用道具
6#
guiguzhu 初级会员 发表于 2017-8-31 20:08:42 | 只看该作者
shenzhenwan10 发表于 2017-8-30 23:37
给“链接”做上定位标志映射,如下图:

已经解决了  谢谢你的帮助

但是请问一下是如何判断出来该网页需要做定位标志映射的了?
举报 使用道具
7#
bowieD 金牌会员 发表于 2017-9-1 09:48:40 | 只看该作者
无论是什么网页,做每一个规则时,最好都做上定位映射,这样爬虫就能精准的抓取需要的信息,避免不必要的错误《定位映射》
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反

热门用户

GMT+8, 2025-5-10 23:56