目录
- 快捷采集
- 初级教程(新版)
- 初级教程(老版)
- 数据转Excel处理
- 爬虫规则管理
- 高级教程(新版)
- 高级教程(老版)
- 用爬虫群分布式高效采集
- 爬虫关键知识拓展
- 问题集锦
- 实战演练案例
- 爬虫安装说明
- 关于集搜客
集搜客交流群
2000人群:点击加入
层级抓取翻页问题
[i=s] 本帖最后由 Eating66 于 2018-2-28 22:23 编辑 [/i] 两层抓取时,设置了翻页,但只输出了两页
翻页和层级(onclick)抓取
本帖最后由 mingliaoren1 于 2018-10-28 08:40 编辑 [/i] 求大神指点: 要采集很多页的列表内容目前,能正常翻页采集列表字段内容,但一添加“连续动作—点击“,打数机就只能采集到第一页的列表内容。
【第19期】 翻页及层级抓取
如果您的采集入口是搜索后的页面,但想要自动点击每条搜索结果,进入到详情页面采数据,这就要用层级采集(对链接设置下级线索),通过链接深入到下一层网页进行采集。如果搜索结果有多页,规则里也可以同时设置上翻 ...
层级和翻页抓取如何实现
比如说,我想要抓取所有页面上(如图1)的美食信息(图2)然后,有一部分信息在第二级链接网页里边,我如何实现在完整地翻页采集之后在实现层级抓取,因为有一个关系我搞不清楚,单独做翻页抓取的时候,会自己新建线索,在单独做层级抓取的时候,在做了第二级链接的映射是,会自动生成一个线索
翻页和层级抓取中的问题
我要抓取https://bj.lianjia.com/ershoufang/co32/网页中今天添加的新房源信息,例如,小区、户型、面积、结构、年代、单价等,先通过层级抓取到该网页中各个链接的地址,然后进行翻页设置,测试结果只有1页的信息,这是为什么啊有两个问题:1、如果只抓取前5页的地址,有什么方法设定吗?2、通过层级抓取到网页中各个链接的地址后,我还需要对各个链接里的例如挂牌时间、成交时间这些字段进行抓取的话,应该怎么做啊?
为什么翻页只能翻两页,而且我层级 好像设置了没有按层级来爬数据
我设置好了翻页线索,但是在翻页的时候只能翻两页,怎么弄都搞不出来,求大神指点,孩子要不行了啊!!!还有层级老是无效,是怎么回事!!!
翻页抓取和层级抓取的问题
1、层级抓取在执行第二层级页面信息抓取时,若有多条二级页面(并行的),抓取出来的xml文件都是分开的,有没有办法直接让这些同级页面信息直接在抓取时就整合在一个xml文件中 2、翻页抓取也会有这个问题,有没有办法让所有的页面都在一个文件中 求教
翻页采集和层级采集遇到问题
主题名: 京东健康保险 翻页采集主题名:淘宝连衣裙详情二级 层级采集 收到的提示都是抓取失败超时,抓取规则不合适或者超时时间设置太短
层级搜索-二级网址(下级搜寻)和翻页都是javascript跳转
size=10.5pt]如果有个网站[/size][size=10.5pt], [/size][size=10.5pt]第一级的翻页[/size][size=10.5pt], [/size][size=10.5pt]或是第二级的公司下级点击[/size]align=left]流程如下:[/align][align=left] [/align][align=left]在第一级时点击指向第二级, 抓取完第二级的数据, 需要在使用点击回到第一级[/align][align=left]但是此时第一级重载, (如此则变得没有一、二级的差别) xpath节点重设, 又会重复采集相同的节点[/align][align=left] [/align][align
翻页和层级抓取时,只有第一页的线索
我的一级规则既有翻页线索又有层级线索,但是跑完第一级之后,统计第二级线索,只有第一页的10条线索,怎么回事?
第19期在线培训_翻页及层级抓取
][size=2][url=http://www.gooseeker.com/doc/forum-53-1.html]网页采集-> [url=http://www.gooseeker.com/doc/thread-2491-1-1.html]高级视频[/url] -> 翻页及层级抓取[/size][/size][/size] [media=x,1000,750]http
请问为什么做层级采取的时候,第一级不翻页?
主题名:数据分析xxxx 第一次做层级采取,以前试过翻页采取,做成功几次了。这次先按照翻页采取一级线索做好,然后设定了二级线索,在打数机里对一级线索“数据分析xxxx”进行单搜,可是只搜了一页信息就停止了
怎么把翻页抓取和层级抓取连起来
[i=s] 本帖最后由 ym 于 2016-6-17 14:40 编辑 [/i] [b]问[/b]:我同时要实现翻页抓取和二级抓取,怎么把翻页抓取和层级抓取连起来 [b]答[/b]:一个规则中可以同时设置翻页和下级线索(层级抓取),两级规则之间通过第一级规则中下级线索的目标主题名联系起来注意:层级规则是互相独立运行的,抓取的时候不会自动从第一级跳到第二级,需要分别运行采数据。层级抓取参看[url=http://www.gooseeker.com/doc/article-75-1.html]《集搜客如何抓取多层级网页
怎么把翻页抓取和层级抓取连起来
[/url] > 怎么把翻页抓取和层级抓取关联起来 [/size][/color]例如两级规则,每一级规则都可以同时做[url=http://www.gooseeker.com/doc/article-89-1.html]翻页[/url]和[url=http://www.gooseeker.com/doc/article-75-1.html]层级[/url],第一级如果有翻页的话,那么抓数据的时候,翻页采集的同时就会把采到的网址自动为下级规则生成[url=http://www.gooseeker.com://www.gooseeker.com/doc/article-89-1.html[/url] 层级采集教程参考
有没有大神会翻页跟层级一起用的,求指导
有没有大神会翻页跟层级一起用的?就是想要商品详细信息跟下一页商品的详细信息。求:(