GooSeeker产品资源教程视频教程使用交流资讯
开启辅助访问 切换风格

集搜客GooSeeker网络爬虫

集搜客GooSeeker网络爬虫 › 官方文档 › 查看评论

如何翻页抓取网页数据——以采集天猫搜索列表为例

评论 (24)|发表评论

评论 maomao 2018-4-14 19:41
现在采集天猫商品信息和评论，可以用Gooseeker数据DIY，更方便简单，输入网址，就可采集，采集的页数，可以设置。http://www.gooseeker.com/res/datadiy.html?category=%E7%94%B5%E5%95%86&web=%E5%A4%A9%E7%8C%AB
评论 umsung 2017-10-10 11:20
Miko_Yang: 微博评论采集为什么“查看更多”只点击了4.5次呢？没有爬全啊
是用的微博工具还是自己做的规则？ 用连续点击动作去点击“查看更多”，只要xpath正确就能点击完，如果xpath正确就是打数机的参数设置不对，需要调慢一点。
评论 Miko_Yang 2017-10-10 11:10
微博评论采集为什么“查看更多”只点击了4.5次呢？没有爬全啊
评论 quyixuan 2017-3-6 14:42
limingzhu123: 为什么我按照教程来操作还是只显示第一页的呢
在谋数台定义规则的时候点击测试只会显示当前页的，要看翻页有没有成功需要先存规则，然后爬数据，在爬的时候看窗口里面的内容有没有翻页
评论 limingzhu123 2017-3-6 13:06
为什么我按照教程来操作还是只显示第一页的呢
评论 xandy 2017-1-20 16:06
snowqqfox: 请问开始翻页后，怎么才能停下来呢？3000多页，我只想爬10页啊。
看这里，http://www.gooseeker.com/doc/thread-917-1-1.html，通过会员中心的设置来控制翻页数量
评论 snowqqfox 2017-1-20 13:05
请问开始翻页后，怎么才能停下来呢？3000多页，我只想爬10页啊。
评论 elegantcoin 2016-8-30 17:27
太棒了，其实很简单，但最开始加了些不懂得术语就觉得难多了
评论 longlongago 2016-8-13 17:07
小试牛刀~可以的哦~
评论 风景不在对岸 2016-6-13 16:14
请问在层级采集中添加记号线索翻页，为什么一直重复爬取第一页的链接，不翻页？
评论 Fuller 2016-5-3 16:27
alexchang: 有些网页“下一页”选项并没有txt内容，比如就是一个小箭头，那么如何进行记号映射？
这种小箭头如果是一个图片，那么就用img标签中的src属性作为记号。做记号映射前先要设置一下记号类型，把“文本记号”那个勾去掉。

如果小箭头是用class表示的，那么就把这个独特的class属性值作为记号
评论 alexchang 2016-5-3 15:51
有些网页“下一页”选项并没有txt内容，比如就是一个小箭头，那么如何进行记号映射？
评论 youzhimeng 2016-4-21 11:57
Fuller: 线索定位变成按钮了，在爬虫路线工作台上，紧挨着“查看”按钮
谢谢，找到了
评论 Fuller 2016-4-20 23:39
youzhimeng: 新版本在哪找线索定位
线索定位变成按钮了，在爬虫路线工作台上，紧挨着“查看”按钮
评论 Fuller 2016-4-20 23:39
youzhimeng: 新版本在哪找线索定位
线索定位变成按钮了，在爬虫路线工作台上，紧挨着“查看”按钮
评论 youzhimeng 2016-4-20 23:10
hotdog16: 更新版本位置变化了，已找到，不好意思
新版本在哪找线索定位
评论 Fuller 2016-4-18 18:27
hotdog16: 设置好以上步骤后，存规则，之后爬数据，显示Failed: Crawl cannot be initiated from the state of FAILED，现实爬虫状态错误，是哪里做错了呢？ ...
先检查DS打数机是否连通服务器了。如果存规则后紧接着抓数据，应该没有连通问题。那么可能是上次运行时，程序出错了。通常程序出错会自动恢复，如果恢复不了，请把 .metaseeker.log.txt 日志文件发给我们分析，也许有程序bug。但是，如果从来没有抓取过数据，很可能DS打数机的程序文件被360删除了一些。你可以这样测试：把DS打数机关了重新运行，如果还出现这个错误，那么可能是程序文件被删除了
评论 hotdog16 2016-4-18 17:04
设置好以上步骤后，存规则，之后爬数据，显示Failed: Crawl cannot be initiated from the state of FAILED，现实爬虫状态错误，是哪里做错了呢？
评论 hotdog16 2016-4-18 16:59
hotdog16: 为什么我的配置里没有线索定位选项？？？？？
更新版本位置变化了，已找到，不好意思
评论 hotdog16 2016-4-18 16:45
为什么我的配置里没有线索定位选项？？？？？
评论 524850118 2016-1-21 13:48
实用
评论 Fuller 2015-12-14 15:24
jinna1993: 怎么在京东里面先做记号映射再做线索定位，记号映射就没有了？但是先做线索定位再做记号映射却可以
具体是怎样的映射过程？要是有个截图和过程描述就好了，可以在 使用交流 版块提出来，我们跟踪检查一下
评论 jinna1993 2015-12-14 13:35
怎么在京东里面先做记号映射再做线索定位，记号映射就没有了？但是先做线索定位再做记号映射却可以
评论 hero2015 2015-11-13 19:28
为什么在大众点评里，翻页到14页就无法翻页了呢？

旧版
网站
社区
支持
常见问题
视频教程
速查手册
指导书
关于
公司简介
联系方式
友情链接
关注
新浪微博

GMT+8, 2024-4-25 04:00