我想抓取知乎网上的信息,但是在抓取个体的“关注者”,“提问”和“回答”要加载更多的内容都需要点击一个“更多”按钮,我按教程里写的修改了延长模式和积极模式,可是还是不能加载到更多内容,麻烦fuller大神和各位帮忙看一下~~ 抓取关注者的主题名为:followers 谢谢
在Clue Editor工作台上,为了抓取更多关注者,需要定义线内线索,跟翻页类似,需要保持主题名不变,应该是followers,而不是morefollowers
我修改了线内线索名,还是没有办法翻页,继续求助~~
信息结构有两个错误: 1,在Bucket Editor工作台上,至少为一个信息属性设置key特性 2,在Clue Editor工作台上,只能把翻页主题命名为followers,那个info线索的主题应该有自己的名字
fuller~ 同样的问题,登陆知乎后,每自动加载三次后需要点击“更多”才能继续自动加载,怎样才能一直让页面自动加载呢? 谢谢! 主题:互联网观察家_keso
在DataScraper上打开,可以在此网站上搜索“滚屏”,或者参看《设置自动滚屏》,这三次自动加载就用滚屏完成了,而“更多”用翻页规则
请问十多万个数据,怎么能够加快抓取速度
但是在线版的速度有限制
请问抓取一半关闭后线索统计fetch显示1,能够在上次抓取的基础上继续抓取吗,还是一定得激活重头抓取?
因为翻页抓取没有记录中间翻到了第几页,必须一口气翻完,如果中间关闭了,就得激活后从第一页开始抓取。
如果不是翻页抓取,比如,有50个线索,已经抓到20个了,关闭时会有一个正在抓取但是没有完成的,关闭后就是fetched状态,重新激活后可以把剩下的30个抓完
了解!谢谢!
太感谢了~~
需要保持主题名不变
在Clue Editor工作台上,为了抓取更多关注者,需要定义线内线索,跟翻页类似,需要保持主题名不变,应该是followers,而不是morefollowers
修改了,还是不行啊
我修改了线内线索名,还是没有办法翻页,继续求助~~
至少为一个信息属性设置key特性
信息结构有两个错误:
1,在Bucket Editor工作台上,至少为一个信息属性设置key特性
2,在Clue Editor工作台上,只能把翻页主题命名为followers,那个info线索的主题应该有自己的名字
如何让页面自动加载
fuller~
同样的问题,登陆知乎后,每自动加载三次后需要点击“更多”才能继续自动加载,怎样才能一直让页面自动加载呢?
谢谢!
主题:互联网观察家_keso
打开滚屏参数
在DataScraper上打开,可以在此网站上搜索“滚屏”,或者参看《设置自动滚屏》,这三次自动加载就用滚屏完成了,而“更多”用翻页规则
如何加快抓取速度
请问十多万个数据,怎么能够加快抓取速度
多个线程或者多台计算机
但是在线版的速度有限制
请问抓取一半关闭后
请问抓取一半关闭后线索统计fetch显示1,能够在上次抓取的基础上继续抓取吗,还是一定得激活重头抓取?
如果是翻页抓取就得从头开始翻页
因为翻页抓取没有记录中间翻到了第几页,必须一口气翻完,如果中间关闭了,就得激活后从第一页开始抓取。
如果不是翻页抓取,比如,有50个线索,已经抓到20个了,关闭时会有一个正在抓取但是没有完成的,关闭后就是fetched状态,重新激活后可以把剩下的30个抓完
了解!谢谢!
了解!谢谢!
可以了,多谢大神~~~~
太感谢了~~