本帖最后由 baitongzi521 于 2018-6-14 11:39 编辑

在学习新手教程视频时,按照视频上的操作翻页采集时,中间断了,显示是抓取失败(超时),抓取规则不合适或者超时时间设置太短.

第一个样例里的图和第二个样例里的图,做样例复制第一个和第二个。

翻页区域设置为新建线索。

点击下一页,在网页标签那里把A打开,选择A下面的test,设置为翻页记号。最后存规则,爬数据。这个是过程,不知道哪里错了,求大神解答。

举报 使用道具
| 回复

共 8 个关于本帖的回复 最后回复于 2018-6-16 16:05

shengchengx 金牌会员 发表于 2018-6-14 11:58:01 | 显示全部楼层
规则名称是什么?
举报 使用道具
baitongzi521 初级会员 发表于 2018-6-14 17:06:36 | 显示全部楼层
shengchengx 发表于 2018-6-14 11:58
规则名称是什么?

京东手机test总2
举报 使用道具
shengchengx 金牌会员 发表于 2018-6-14 17:56:18 | 显示全部楼层

在打数机上左上角选择配置,滚屏参数修改一下,滚屏次数换成4,滚屏速度换成-1,然后再启动采集试试
举报 使用道具
baitongzi521 初级会员 发表于 2018-6-15 11:56:55 | 显示全部楼层
shengchengx 发表于 2018-6-14 17:56
在打数机上左上角选择配置,滚屏参数修改一下,滚屏次数换成4,滚屏速度换成-1,然后再启动采集试试
...

好,我试试,那个 延时抓取、超长时长 这两个时间用不用设的时间长点,如果要设的话设多少合适?

举报 使用道具
baitongzi521 初级会员 发表于 2018-6-15 14:57:53 | 显示全部楼层
shengchengx 发表于 2018-6-14 17:56
在打数机上左上角选择配置,滚屏参数修改一下,滚屏次数换成4,滚屏速度换成-1,然后再启动采集试试
...

你好,调过了滚屏参数还是不行,规则名是京东手机test总12345,你看看

举报 使用道具
wangyong 版主 发表于 2018-6-15 15:30:07 | 显示全部楼层
jd.png
给整理箱顶节点和价格做上定位标志映射
举报 使用道具
Fuller 管理员 发表于 2018-6-15 16:36:12 | 显示全部楼层
baitongzi521 发表于 2018-6-15 14:57
你好,调过了滚屏参数还是不行,规则名是京东手机test总12345,你看看

定位标志映射20180615163243.png

你没有做定位标志映射,那么集搜客爬虫软件会自动选择一个定位标志,要么是一个class,要么是一个id,就近选。如上图框出来的,就近的那个class里面含有一串数字,这个数字是这个商品的编号,另一个商品的编号就不一样了。如果自动选了这个,这个规则就没有通用性了。所以,要用定位标志映射避开他。应该选择最上面的那个p-price节点,用这个节点做定位标志映射
举报 使用道具
baitongzi521 初级会员 发表于 2018-6-16 16:05:41 | 显示全部楼层
Fuller 发表于 2018-6-15 16:36
你没有做定位标志映射,那么集搜客爬虫软件会自动选择一个定位标志,要么是一个class,要么是一个id, ...

谢谢,我看看。

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 13:34