目标页面内容分页显示,MetaSeeker怎样实现翻页抓取内容的?

目标网站上内容很多时会用多个页显示,网页抓取/数据抽取/信息提取工具包MetaSeeker能够翻页并提取每一页的内容,目标网站上展现多页的方法有多种:

1,页面上每一页用另外一个URL地址表示。翻这样的网页是最好实现的,将这个URL提取下来,以后某个时间加载这个地址的页面就行了。而MetaSeeker还可以在一个信息提取事务中将所有的也翻完,在这个会话中这些URL称为线内线索,这些URL没有被记录下来,翻完也就丢掉了,实际上这类URL记录下来的意义不大,目标网站显示多页时往往使用一个服务器动态页面,页码作为参数,例如page=2,这些页面的内容是变化的,例如,一个博客网站,新博文添加以后,原来的分页就变了,原来一篇博文位于页码2,后来就可能位于页码3上了。

2,页面上每一页关联一段Javascript代码,被点击时执行,这是普通爬虫的天敌,一般的爬虫难于提取javascript管理的内容,尤其是用AJAX框架制作的网站,网页抓取/数据抽取/信息提取工具包MetaSeeker能够模拟用户的点击操作,翻页在一个信息提取事务中完成。