采集多层级网页数据

常见问题 > 制作规则—常见问题导航 > 采集多层级网页数据

• 如何抓取多层级网页数据
• 下级线索概念
• 采集到相对网址，要怎么解决
• 怎么把翻页抓取和层级抓取连起来
• 抓第二级时，为什么会显示空白网页
• 如何实现层级抓取图片
• 有第三级弹出页面的，如何抓取呢
• 层级抓取时，第二层规则建立之前如何跟上一层的链接联系起来
• 第一层和第二层一起抓,第二层为什么会少个数
• 做好层级规则后，怎么用DS打数机采集数据
  

请问有什么方法使层级采集运行速度加快吗？看着打数机一页一页地加载再从头浏览到尾感觉效率不高

alexchang 发表于 2016-5-6 11:21
请问有什么方法使层级采集运行速度加快吗？看着打数机一页一页地加载再从头浏览到尾感觉效率不高 ...

你是看到滚屏吧？从头滚到底？

如果是手工启动的抓取，是否滚屏是用DS打数机的配置菜单进行配置的，配置好以后，每个抓取规则都用。

你还可以启动爬虫群，把要抓取的规则设置上调度参数，就会放入爬虫罗盘，然后在DS客户端，启动多个爬虫群窗口，他们就等待接受任务了。多个窗口并行抓取。

配置方法参看：http://www.gooseeker.com/doc/article-197-1.html

进入会员中心就能看到爬虫管理

Fuller 发表于 2016-5-6 12:13
你是看到滚屏吧？从头滚到底？

如果是手工启动的抓取，是否滚屏是用DS打数机的配置菜单进行配置的，配置 ...

谢谢，我是用的最初级的层级采集，第一规则抓取url给第二规则作为线索，然后手动用打数机“单搜”，我看了一下一共60条线索，但是第二规则抓取的时候每条线索走得都很慢，一条线索差不多得3-4分钟甚至更多，这能否通过运用爬虫群提高效率？

你看一下打数机DS菜单项的超时时长参数设置的是多少
缺省应该是1分钟
你的描述是一条线索要3-4分钟，那可能是这个参数设置得太大了

gz51837844 发表于 2016-5-6 14:39
你看一下打数机DS菜单项的超时时长参数设置的是多少
缺省应该是1分钟
你的描述是一条线索要3-4分钟，那可能 ...

好的，谢谢！

有办法把多层级和模拟点击联系起来的办法吗？

BigTwo_2 发表于 2018-4-8 15:15
有办法把多层级和模拟点击联系起来的办法吗？

层级抓取和模拟点击不冲突，可以直接做在一个规则里面结合使用。

数据集 发表于 2018-4-8 15:23
层级抓取和模拟点击不冲突，可以直接做在一个规则里面结合使用。

请问一下我在模拟点击中定义第二规则时，将网页跳转到目标页面的过程中

无法在MS谋数台中打开目标界面怎么办呢？

BigTwo_2 发表于 2018-4-8 15:39
请问一下我在模拟点击中定义第二规则时，将网页跳转到目标页面的过程中

无法在MS谋数台中打开目标界面怎 ...

在ms谋数台中取消内容定位，就可以自由跳转