主题名:                                        [url=]淘宝拖鞋列表详情,  我在爬虫群调度里设置了翻页,可是不起作用,我该怎么办?因为此主题有两个规则,有时候规则1会按设定页数抓取,但规则2则一直抓取下去,不管你是否设置了翻页次数?该怎么办呢?[/url]
举报 使用道具
| 回复

共 13 个关于本帖的回复 最后回复于 2017-8-11 17:49

shenzhenwan10 金牌会员 发表于 2017-8-10 21:25:24 | 显示全部楼层
建议你做如下修改和测试:
1. 检查调度参数里的"滚屏次数"是否是0, 如果是, 改成2
2. 删除连续动作中的2个"滚屏"动作, 只留下2个点击动作, 同时分别把点击动作的高级设置里的"额外延迟"设置成5
3. 在调度参数里设置翻页数为: 限制 , 次数5
举报 使用道具
mingdongtianxia 中级会员 发表于 2017-8-11 09:29:59 | 显示全部楼层
shenzhenwan10 发表于 2017-8-10 21:25
建议你做如下修改和测试:
1. 检查调度参数里的"滚屏次数"是否是0, 如果是, 改成2
2. 删除连续动作中的2个" ...

为什么要这样修改啊?下次我再遇到同样的问题能否意识到这样去修改?删掉滚屏,是因为冲突么还是什么原因?之前我就是和你说的是一样的,唯一区别就是动作高级设置里我设置的是2s而不是5秒。我按你说的修改后确实有效果了,不仅仅只按天猫按指定页数翻页,原来的淘宝页面也能按指定页数翻页了!可是遇到淘宝页面出现了一个问题,就是会规则验证时匹配失败,并停顿。我需要手动去往下拉一下滚屏,才能继续正常抓取!我当初连续动作里加滚屏就是为了解决这个问题。怎么办呀,遇到淘宝页面老是匹配失败,我不能每次守着电脑去往下拉滚屏吧?
举报 使用道具
shenzhenwan10 金牌会员 发表于 2017-8-11 09:39:38 | 显示全部楼层
你写的比较长, 我看你的意思是不是:
1. 指定翻页次数是有效的
2. 天猫抓取没问题
3. 淘宝抓取匹配失败.
你说的淘宝匹配失败, 是指哪一级, 是连续动作那一级? 还是连续动作指向的目标主题?
举报 使用道具
mingdongtianxia 中级会员 发表于 2017-8-11 09:49:53 | 显示全部楼层
本帖最后由 mingdongtianxia 于 2017-8-11 09:51 编辑

奥对不起,以后我尽量写的清楚逻辑一些,标上数字编号。首先,你说的这3条理解都是对的,那么唯一的问题就是3.淘宝抓取匹配失败的问题,如何失败呢?就是说爬虫窗口在爬取的时候,会出现匹配失败,问题应该是你猜测的其中连续动作指向的目标主题匹配失败。截图如下:



另外,还有一个问题就是:你问什么这样修改?以便我可以彻底理解再遇到同样的问题我就可以自行处理了。
1111111111.jpg
举报 使用道具
mingdongtianxia 中级会员 发表于 2017-8-11 09:52:47 | 显示全部楼层
shenzhenwan10 发表于 2017-8-11 09:39
你写的比较长, 我看你的意思是不是:
1. 指定翻页次数是有效的
2. 天猫抓取没问题

你看一下,我给截图了
举报 使用道具
shenzhenwan10 金牌会员 发表于 2017-8-11 10:21:55 | 显示全部楼层
你应该去检查淘宝规则, 加载失败的网址, 分析页面
注意翻页设置也需要检查, 如果"下一页"前后有其它字符, 最好把其它字符删除
举报 使用道具
mingdongtianxia 中级会员 发表于 2017-8-11 12:04:25 | 显示全部楼层
shenzhenwan10 发表于 2017-8-11 10:21
你应该去检查淘宝规则, 加载失败的网址, 分析页面
注意翻页设置也需要检查, 如果"下一页"前后有其它字符,  ...

不是不用删也行么?只要把全匹配的对勾给去掉。另外,规则是没有问题的,完全能后续分析,问题在于爬取时候,只要将页面往下拉一下,就不会提示匹配失败的问题。怎么解决这个问题啊

举报 使用道具
mingdongtianxia 中级会员 发表于 2017-8-11 13:00:51 | 显示全部楼层
本帖最后由 mingdongtianxia 于 2017-8-11 13:46 编辑
shenzhenwan10 发表于 2017-8-11 10:21
你应该去检查淘宝规则, 加载失败的网址, 分析页面
注意翻页设置也需要检查, 如果"下一页"前后有其它字符,  ...

规则是没有问题的,能够完全加载和修改,就是点击分析页面时候没反应,就是在爬行的时候往下拉一下才不会报匹配失败,坐等大神解决啊,你可以加载我的主题运行一下啊,哎弄了一上午了该怎么办啊

举报 使用道具
哥伦比亚 初级会员 发表于 2017-8-11 14:40:34 | 显示全部楼层
淘宝评论的规则里,只把抓评论内容的抓取内容勾上关键内容
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 17:10