如何爬取动态变化中的数据?

例如:想爬取很多博客网页的访问量、关注度,博文read、comment数量,网页上显示这些数据的地方在metastudio里面的定位都会直接提示:cannot find the node.

请问这种信息想要提取应该如何进行呢? 因为例如访问量这种数据是在不断变化的,应该只能确定一个时间点,提取出在那个时间点时的数据。但是又想不出如何实现。

望不吝赐教,谢谢!

请搜索AJAX网页内容提取

请在本网站搜索“AJAX”,可以看到一系列文章,讲解AJAX网页内容提取,在AJAX提取方面,MetaSeeker同其它产品相比有很大优势,因为MetaSeeker是在浏览器上扩展的,凡是DOM中的内容都能提取。cannot find the node提示出现的原因是MetaStudio生成DOM树(在MetaStudio的DOM树视窗中显示)的时刻有些DOM节点还没有动态生成,例如,在onload函数中生成的动态内容,那么需要看到MetaStudio下部的浏览器中的网页内容都加载全了,再点击“文件-〉刷新DOM”,可以将这些DOM节点补充上。

还有一些内容需要点击某个链接或者按钮才能生成,MetaStudio都有相应解决方案。请在阅读相关文章时注意几个专有名词:延迟加载、积极模式、延迟模式等等。

刷新DOM,节点生成完成,这个问题就解决了

我再对延迟加载、积极模式、延迟模式这些多进行一些学习,把软件的各个勾选项功能都研究多了解一些,真是非常有必要啊。

谢谢解答,动态节点这个问题解决了. Thanks a lot.