GooSeeker产品资源教程视频教程使用交流资讯
开启辅助访问 切换风格

集搜客GooSeeker网络爬虫

集搜客GooSeeker网络爬虫 › 官方文档 › 查看评论

采网址做层级采集——以大众点评为例

评论 (27)|发表评论

评论 Fuller 2019-10-21 14:56
JWa317: 你好，按照上述方法爬取天猫商品信息时采集下来的数据为1是怎么回事呢
你说的是线索数为1？
评论 Fuller 2019-10-21 14:37
运行第二级规则的时候，统计线索了吗？有多少线索？
JWa317: 你好，按照上述方法爬取天猫商品信息时采集下来的数据为1是怎么回事呢
评论 JWa317 2019-10-21 13:28
你好，按照上述方法爬取天猫商品信息时采集下来的数据为1是怎么回事呢
评论 Fuller 2019-5-28 19:06
1298681477: 知网爬取论文关键词和摘要时，二级页面的网址和其@href没有关系怎么办？（也就是说用@href的网址打不开二级页面） ...
这个帖子不是你发的吗？我刚才回答过，你去看看吧：https://www.gooseeker.com/doc/thread-11975-1-1.html
评论 1298681477 2019-5-28 18:55
知网爬取论文关键词和摘要时，二级页面的网址和其@href没有关系怎么办？（也就是说用@href的网址打不开二级页面）
评论 Fuller 2018-12-27 20:34
群青: 不知道为什么在做第一个规则的时候，点评数量和人均价格数据测试下来是1
大众点评网做了好多防采，不知道是不是防采的原因，你把主题名发到论坛上吧，我帮你检查一下。论坛在这里：https://www.gooseeker.com/doc/forum-54-1.html
评论 群青 2018-12-27 19:43
不知道为什么在做第一个规则的时候，点评数量和人均价格数据测试下来是1
评论 GooSeekerHi 2018-10-28 17:32
晴时有风阴有时雨: 抓取数据的步骤不是很明确，还是有点搞不懂，分别保存两个规则后该怎么运行，明明在第一个规则里面设置了翻页，抓取数据的时候还是显示的待抓取规则数为1，第二 ...
评论 GooSeekerHi 2018-10-28 17:22
第二层级例如“人均消费”等字段无法爬取到完整内容呢？
评论 Fuller 2018-9-21 11:04
maehot: 挺好用的，就是这个逻辑步骤混乱...比如说采集百度知道，火车头设置列表地址就可以采集出来终极内容页地址，然后还可以多页采集，需要什么数据采集什么数据，数 ...
分成了网页端和客户端，还要来回切换，这个确实是一个问题，未来版本会解决这个问题
评论 maehot 2018-9-21 09:03
挺好用的，就是这个逻辑步骤混乱...比如说采集百度知道，火车头设置列表地址就可以采集出来终极内容页地址，然后还可以多页采集，需要什么数据采集什么数据，数据的保存也很方便，可以入库，生成网页，保存为txt都可以，还可以在线发布。而GS...真不知道是设计简单了，还是更复杂了，在客户端和网页端的会员中心来回切换，逻辑还不是很清晰...打扰了...
评论 Fuller 2018-6-29 15:55
temprani: “2.4 很多网站都采用了相对网址的方式”， 我试了一下，每一条抓到的都是<网址>javascript:;</网址>，这个怎么破？ ...
这种只能做连续点击动作，不能抓层级网址。请到高级教程看连续动作的教程。https://www.gooseeker.com/tuto/tutorial.html
评论 maohui 2018-6-29 14:06
temprani: “2.4 很多网站都采用了相对网址的方式”， 我试了一下，每一条抓到的都是<网址>javascript:;</网址>，这个怎么破？ ...
你具体的规则名是什么？请到社区发帖，可以附图给你解释。
评论 temprani 2018-6-29 11:29
“2.4 很多网站都采用了相对网址的方式”，
我试了一下，每一条抓到的都是<网址>javascript:;</网址>，这个怎么破？
评论 bowieD 2018-4-19 10:14
nixiaoqiang: 二级采集的话还得手动输入采集数是吧，否则就只采集一行数据？
层级采集的两级规则不是连贯的，一级规则会给二级规则生成线索，手动运行二级规则时点击单搜输入要运行的线索数，二级规则就会运行多少条线索，可以先统计二级规则有多少条待抓取的线索数据，再输入线索数运行
评论 nixiaoqiang 2018-4-19 10:03
yangwenge: 需要激活线索，才能重新采集，可以参考管理线索的教程<a href="https://www.gooseeker.com/doc/thread-667-1-1.html" target="_blank">https://www.gooseeker.com/doc/thread-667-1-1.html</a>
二级采集的话还得手动输入采集数是吧，否则就只采集一行数据？
评论 yangwenge 2018-4-18 17:10
nixiaoqiang: 规则采集过来，还想重新采集，为啥就采集不了了，求解释~~~
需要激活线索，才能重新采集，可以参考管理线索的教程https://www.gooseeker.com/doc/thread-667-1-1.html
评论 nixiaoqiang 2018-4-18 16:55
yangwenge: 注意看第一步，上面有写制作了翻页的，如果没有制作翻页，只勾选了下级线索那么就只有线索1。
规则采集过来，还想重新采集，为啥就采集不了了，求解释~~~
评论 yangwenge 2018-4-18 14:22
nixiaoqiang: 2-3步骤我的没有线索2，你们有吗？
注意看第一步，上面有写制作了翻页的，如果没有制作翻页，只勾选了下级线索那么就只有线索1。
评论 nixiaoqiang 2018-4-18 14:11
2-3步骤我的没有线索2，你们有吗？
评论 Fuller 2017-11-12 14:43
轻捻馨香: 我也遇到了这个问题，求指教
新版本把这个提示修改了，只显示主题名可用还是不可用，不再提示那么细了，如果可用，那么就可以存规则，但是要小心，要判断这个规则是不是以前建好的，防止新规则覆盖老规则
评论 轻捻馨香 2017-11-12 14:18
bxuecheng: 有时候做层级采集的时候会存在这样的情况   明明保存了规则    但是第二次新建的时候却显示该名称可以用   正常的不应该是该规则名已被占用 且可被编辑吗  又会 ...
我也遇到了这个问题，求指教
评论 bxuecheng 2017-11-8 16:36
有时候做层级采集的时候会存在这样的情况   明明保存了规则    但是第二次新建的时候却显示该名称可以用   正常的不应该是该规则名已被占用 且可被编辑吗  又会的吗   希望能够解答一下   谢谢
评论 umsung 2017-9-19 14:12
火钳留名: “命名主题里要填第二级主题名（前面第一级规则的下级线索里填的目标主题名）”，结果第二个规则保存不了，显示“主题名被占用，请改名” ...
1，GooSeeker的规则主题名都是唯一的，不能和别人用相同的名字，保存前可以先点击“谁在用”，查一下是否和别人的名字重复了 ，提示被占用就换一个名字，通常可以在规则名字后加上自己的会员名
2. 爬虫路线里的主题名是否被占用. 注意: 爬虫路线里如果有多个线索, 要都检查一下
3. 连续动作里定义的目标主题名是否被占用
评论 火钳留名 2017-9-19 13:19
“命名主题里要填第二级主题名（前面第一级规则的下级线索里填的目标主题名）”，结果第二个规则保存不了，显示“主题名被占用，请改名”
12下一页

旧版
网站
社区
支持
常见问题
视频教程
速查手册
指导书
关于
公司简介
联系方式
友情链接
关注
新浪微博

GMT+8, 2024-4-24 13:08