GooSeeker产品资源教程视频教程使用交流资讯
开启辅助访问 切换风格

集搜客GooSeeker网络爬虫

集搜客GooSeeker网络爬虫 › 官方文档 › 查看评论

如何深入多层级网页采集数据——以采集京东商品信息为例

评论 (18)|发表评论

评论 Fuller 2018-3-7 17:46
Jason7227: 我现在遇到的问题是，第一层级和第二层级线索有关联了，但是第三层级和第二层级没有上下关系，下级关系那里我已经设置了第三层级，但是第二层级运行采集的网址不 ...
如果问题解决不了，在论坛那里发帖，贴出来主题名，管理员可以做诊断，还可以贴图给你看。这里帖不了图。http://www.gooseeker.com/doc/forum-54-1.html
评论 bowieD 2018-3-7 17:41
Jason7227: 我现在遇到的问题是，第一层级和第二层级线索有关联了，但是第三层级和第二层级没有上下关系，下级关系那里我已经设置了第三层级，但是第二层级运行采集的网址不 ...
第二层和第三层没有对应上，检查一下第二层规则的下级线索的目标主题名与第三层的主题名是否一致，如果不一致就是没对应上，需要修改
评论 Jason7227 2018-3-7 17:04
Fuller: 如果你按照这个教程做的层级抓取，那么每一层都是独立运行的，前一层为后一层生成线索，但是他们的运行顺序没有绑死，你还可以用爬虫群模式同时运行3个窗口，每 ...
我现在遇到的问题是，第一层级和第二层级线索有关联了，但是第三层级和第二层级没有上下关系，下级关系那里我已经设置了第三层级，但是第二层级运行采集的网址不属于第三层级，这是什么原因呢。
评论 Fuller 2018-3-7 14:44
Jason7227: 如何进行第三层级页面信息抓取呢？
如果你按照这个教程做的层级抓取，那么每一层都是独立运行的，前一层为后一层生成线索，但是他们的运行顺序没有绑死，你还可以用爬虫群模式同时运行3个窗口，每个窗口运行一级
评论 Jason7227 2018-3-7 14:35
如何进行第三层级页面信息抓取呢？
评论 Fuller 2017-6-1 15:32
wingoowin: 第二级有的抓取的内容位置不一样怎么办？
要具体看网址才能提供准确的建议，你可以在论坛版块发一个帖子，帖几个样本网址，我们看看，也许调整一下定位参数就能解决
评论 xandy 2017-6-1 14:10
wingoowin: 第二级有的抓取的内容位置不一样怎么办？
用自定义xpath
评论 wingoowin 2017-6-1 13:30
第二级有的抓取的内容位置不一样怎么办？
评论 Fuller 2016-9-3 16:46
ShelleyWu: 请问如果下级的不是特定指向的url, 而是javascript, 目前有办法做处理吗?
如果这样的下级在网页上只有一个，那么类似于翻页，做一个连贯抓取线索。如果这样的有多个，那么要做连续动作
评论 ShelleyWu 2016-9-3 14:41
请问如果下级的不是特定指向的url, 而是javascript, 目前有办法做处理吗?
评论 Fuller 2016-8-15 22:31
mz2358639: 如果是需要第一级网址翻页，要怎么办？
在教程首页，搜索“层级 翻页”，能看到相关介绍：http://www.gooseeker.com/tuto/tutorial.html
评论 mz2358639 2016-8-15 21:33
如果是需要第一级网址翻页，要怎么办？
评论 风景不在对岸 2016-6-13 15:08
按照上面步骤做京东的没有问题，为什么我用微博抓取的时候，启用样例复制，采集到的url都是javascript:void(0);
评论 Fuller 2015-12-12 23:37
灬奔跑人生: 创建第一级规则的注释有误解吧，是抓取商品的样例复制。
感谢指正，这段文字已经做了修改
评论 灬奔跑人生 2015-12-12 21:24
创建第一级规则的注释有误解吧，是抓取商品的样例复制。
评论 gooseeker_info 2015-8-27 15:55
@lalalaav ,说明这个主题名被别人占用了，输入主题名以后，右边有个按钮“谁在用”，查一下是否有人占用
评论 wangyong 2015-8-27 15:22
lalalaav: 为什么我完成这一步“    在爬虫路线工作台填写下级线索指向的规则主题名，也就是第二级规则抓取京东产品页面的规则”点保存时，出现了“保存信息结构描述文件失 ...
查看第一级、第二级主题名是否已经被占用
评论 lalalaav 2015-8-25 15:52
为什么我完成这一步“    在爬虫路线工作台填写下级线索指向的规则主题名，也就是第二级规则抓取京东产品页面的规则”点保存时，出现了“保存信息结构描述文件失败：not writable”？

旧版
网站
社区
支持
常见问题
视频教程
速查手册
指导书
关于
公司简介
联系方式
友情链接
关注
新浪微博

GMT+8, 2024-4-19 07:52