快捷导航
评论 maomao 2018-4-14 19:41
现在采集天猫商品信息和评论,可以用Gooseeker数据DIY,更方便简单,输入网址,就可采集,采集的页数,可以设置。http://www.gooseeker.com/res/datadiy.html?category=%E7%94%B5%E5%95%86&web=%E5%A4%A9%E7%8C%AB
评论 umsung 2017-10-10 11:20
Miko_Yang: 微博评论采集为什么“查看更多”只点击了4.5次呢?没有爬全啊
是用的微博工具还是自己做的规则? 用连续点击动作去点击“查看更多”,只要xpath正确就能点击完,如果xpath正确就是打数机的参数设置不对,需要调慢一点。
评论 Miko_Yang 2017-10-10 11:10
微博评论采集为什么“查看更多”只点击了4.5次呢?没有爬全啊
评论 quyixuan 2017-3-6 14:42
limingzhu123: 为什么我按照教程来操作还是只显示第一页的呢
在谋数台定义规则的时候点击测试只会显示当前页的,要看翻页有没有成功需要先存规则,然后爬数据,在爬的时候看窗口里面的内容有没有翻页
评论 limingzhu123 2017-3-6 13:06
为什么我按照教程来操作还是只显示第一页的呢
评论 xandy 2017-1-20 16:06
snowqqfox: 请问开始翻页后,怎么才能停下来呢?3000多页,我只想爬10页啊。
看这里,http://www.gooseeker.com/doc/thread-917-1-1.html,通过会员中心的设置来控制翻页数量
评论 snowqqfox 2017-1-20 13:05
请问开始翻页后,怎么才能停下来呢?3000多页,我只想爬10页啊。
评论 elegantcoin 2016-8-30 17:27
太棒了,其实很简单,但最开始加了些不懂得术语就觉得难多了
评论 longlongago 2016-8-13 17:07
小试牛刀~可以的哦~
评论 风景不在对岸 2016-6-13 16:14
请问在层级采集中添加记号线索翻页,为什么一直重复爬取第一页的链接,不翻页?
评论 Fuller 2016-5-3 16:27
alexchang: 有些网页“下一页”选项并没有txt内容,比如就是一个小箭头,那么如何进行记号映射?
这种小箭头如果是一个图片,那么就用img标签中的src属性作为记号。做记号映射前先要设置一下记号类型,把“文本记号”那个勾去掉。

如果小箭头是用class表示的,那么就把这个独特的class属性值作为记号
评论 alexchang 2016-5-3 15:51
有些网页“下一页”选项并没有txt内容,比如就是一个小箭头,那么如何进行记号映射?
评论 youzhimeng 2016-4-21 11:57
Fuller: 线索定位变成按钮了,在爬虫路线工作台上,紧挨着“查看”按钮
谢谢,找到了
评论 Fuller 2016-4-20 23:39
youzhimeng: 新版本在哪找线索定位
线索定位变成按钮了,在爬虫路线工作台上,紧挨着“查看”按钮
评论 Fuller 2016-4-20 23:39
youzhimeng: 新版本在哪找线索定位
线索定位变成按钮了,在爬虫路线工作台上,紧挨着“查看”按钮
评论 youzhimeng 2016-4-20 23:10
hotdog16: 更新版本位置变化了,已找到,不好意思
新版本在哪找线索定位
评论 Fuller 2016-4-18 18:27
hotdog16: 设置好以上步骤后,存规则,之后爬数据,显示Failed: Crawl cannot be initiated from the state of FAILED,现实爬虫状态错误,是哪里做错了呢? ...
先检查DS打数机是否连通服务器了。如果存规则后紧接着抓数据,应该没有连通问题。那么可能是上次运行时,程序出错了。通常程序出错会自动恢复,如果恢复不了,请把 .metaseeker.log.txt 日志文件发给我们分析,也许有程序bug。但是,如果从来没有抓取过数据,很可能DS打数机的程序文件被360删除了一些。你可以这样测试:把DS打数机关了重新运行,如果还出现这个错误,那么可能是程序文件被删除了
评论 hotdog16 2016-4-18 17:04
设置好以上步骤后,存规则,之后爬数据,显示Failed: Crawl cannot be initiated from the state of FAILED,现实爬虫状态错误,是哪里做错了呢?
评论 hotdog16 2016-4-18 16:59
hotdog16: 为什么我的配置里没有线索定位选项?????
更新版本位置变化了,已找到,不好意思
评论 hotdog16 2016-4-18 16:45
为什么我的配置里没有线索定位选项?????
评论 524850118 2016-1-21 13:48
实用
评论 Fuller 2015-12-14 15:24
jinna1993: 怎么在京东里面先做记号映射再做线索定位,记号映射就没有了?但是先做线索定位再做记号映射却可以
具体是怎样的映射过程?要是有个截图和过程描述就好了,可以在 使用交流 版块提出来,我们跟踪检查一下
评论 jinna1993 2015-12-14 13:35
怎么在京东里面先做记号映射再做线索定位,记号映射就没有了?但是先做线索定位再做记号映射却可以
评论 hero2015 2015-11-13 19:28
为什么在大众点评里,翻页到14页就无法翻页了呢?

GMT+8, 2024-3-5 11:19