文档 - 第8页 - 集搜客GooSeeker网络爬虫

通过会员中心实现添加线索的功能，操作如下： 1、进入集搜客官网会员中心规则管理中，点击主题名，进入线索管理页面 2、单条添加：点击“添加线索”，输入线索网址后保存 3、批量添加：用excel存储线索网址并保存为. ...

2015-11-17 18:17

在中国知网通过高级检索，输入关键词后抓取相关文章的标题、作者、摘要、关键词等信息。但是中国知网在输入关键词搜索后网址并不会发生变化，所以在抓取的时候我们需要爬虫自动输入目标关键词搜索后，开始抓取数据。 ...

2015-11-17 14:12

情景说明翻页抓取是最常使用的功能，但是，虽然网页上看起来一样，html源代码中的结构和样式可能差别很大，html的标签元素是一层层嵌套的，如果点击的位置不合适，比如，点击了内层的标签元素，可能起不到作用，所 ...

2015-11-10 17:40

1，场景描述从GooSeeker V5.4.0版本开始，提供自动输入搜索条件的功能。以前要抓取百度搜索结果，通常是构造url网址，比如，百度新闻搜索：http://news.baidu.com/ns?cl=2rn=20tn=newsword=%E5%8D%8E%E4%B8%BA ，后 ...

2015-11-8 00:04

《连续动作应用场景（三）自动输入查询条件微信公众号》一文对连续动作中的自动输入查询条件的场景进行了描述，主要目的是利用搜狗的微信公众号搜索功能，把包含某些关键字的微信抓下来，本文讲解规则定义过程 ... . ...

2015-11-7 23:56

场景描述很早以前的版本就有了自动滚屏功能，GooSeeker V5.4.0新增的连续滚屏是用于很长很长的瀑布流网页抓取的。如果一个网页不是很长，滚几次就能到底，比如，京东和淘宝上的商品详情有很多图片，需要滚好几屏才 ...

2015-11-7 11:05

一个网页上结构相同的数据有很多条，就需要做一个样例复制来批量采集。但是有些网页相同结构的数据又分别包含在不同区块节点中，这种情况下，需要做两次样例复制或更多次（由实际情况决定），即嵌套整理箱的样例复制 ...

2015-10-30 17:08

以采集蘑菇街商品累计评论为例，网页初始状态下加载不显示商品评论内容，需要点击累计评论才会显示，这种情况下就需要做模拟点击。在做抓取规则时需要做两级规则实现模拟点击，第一级规则负责点击，第二级规则负责 ...

2015-10-30 14:58

只有1，2，3，…的页码，没有翻页记号的情况就不适用记号线索做翻页了，这时候，可以通过相对线索来实现翻页，利用当前页码和下一页码的位置自动计算出下一页的位置，实现自动翻页。使用相对线索实现翻页 1、转到爬 ...

2015-10-29 15:20

翻页陷入死循环，原因是翻页标志依然存在，只要存在翻页标志，DS打数机就会一直点击翻页。解决方法有多种，下面介绍手工调整翻页程序的方法：一、分析正常翻页和翻页死循环的dom区别翻页标志的dom（class值/id值 ...

2015-10-28 11:53

什么都不懂的小白们，一开始接触此类软件都会觉得好难啊，怎么这么多专业名词啊，我好晕啊！！！嘛~不要急呐~新技能的get哪会那么容易呢，玩个游戏要玩好都需要时间，更何况咱们还是做这么有技术含量的事呢。废话不 ...

2015-10-21 17:23

连续动作的相关概念连续动作原理：无需规定怎样循环，自动执行连续动作连续动作的应用场景（一）连续动作实战：连续移动鼠标采集微博浮窗个人信息加载以前定义的抓浮窗信息的规则 ... ... ... ... ... ... ... ... . ...

2015-10-19 17:44

原理参看《连续动作实战：连续移动鼠标抓取微博浮动窗信息》定义第二级抓取规则的说明，要比定义普通的抓取规则多几个步骤，因为要抓取的内容是做了动作以后才出现，那么必须先做动作再定义抓取规则。同样的道理， ...

2015-10-19 17:16

阅读指引本文详细记录规则定义过程，为了达到抓取目的，需要做如下步骤在新浪微博上搜索关键词“电商”，专门执行“找人”搜索定义抓取规则：微博兴趣搜索_测试悬浮信息，把搜到结果抓下来在结果列表上连续 ...

2015-10-19 15:27

悬浮显示的微博个人信息如上图，在新浪微博上，想把所有对“登山”有兴趣的人的信息采集下来，鼠标移动到每个头像上，悬浮一会就会显示一个弹出窗体。在一个一个头像上做悬浮动作，这就称为“连续”动作，也就是对 ...

2015-10-19 14:50

文档