集搜客GooSeeker网络爬虫

标题: 请问版主，点击一些元素后抓取后翻页数据，该怎么做？ [打印本页]

作者: myz8110 时间: 2016-1-8 22:45
标题: 请问版主，点击一些元素后抓取后翻页数据，该怎么做？
http://fund.jrj.com.cn/jjsxq/
这是我要抓取数据的地址，过程是点击lof按钮，点击股票型按钮，点击筛选按钮，可以得到37个基金，然后翻页抓取基金简称，基金代码。
就这样，我看过你们的一些教程，我发现做不来，我先是做3个点击的连续动作，但是没有下级线索，那我怎么抓取这37个基金的数据呢？
版主能不能详细的解说下。或者给个相似的教程？？先写过了

作者: Fuller 时间: 2016-1-8 23:03
前面两步要点的按钮，我要试试才行，本来下个版本才支持这样的按钮。如果能点，下面的操作就不成问题了。

37个基金，你想进入每个网页抓取详细内容对吧？所以要定义下级线索，下级线索的抓取方法与普通内容没有太大区别，所以，你不用担心下级线索抓不到。

不要误以为立即从第一级进入第二级，不是那样的。在抓这37个基金简称的时候，只是把下级的网址抓下来。不是立即运行第二级。

第二级是分开运行的，可以在本电脑的另一个窗口同时运行，也可以在另外的计算机上运行

作者: Fuller 时间: 2016-1-8 23:33
明天我试一下

作者: myz8110 时间: 2016-1-9 21:38

Fuller 发表于 2016-1-8 23:33
明天我试一下

尽快出这样的版本吧，我试过一个叫八爪鱼的网络爬虫软件，可以做到这点，但是他们也有他们的缺点，速度不快，重复数据很多，付费系统比较坑，看来网络爬虫软件的提升空间还有很大啊。

作者: myz8110 时间: 2016-1-9 21:43

Fuller 发表于 2016-1-8 23:33
明天我试一下

还有他们软件的操作比你们的还要“傻瓜式“，不过我估计你们也知道的，知己知彼，方能百战百胜嘛！

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)