关于制定批量网页抓取问题

你好,请问这个软件可以让我们指定抓取的网页吗?例如,按照在metastudio中定义的规则抓取www.XXX.1.html至www.XXX.56987.html网页的内容,没有下一页这样的翻页机制,每个网页都是孤立的,请问可以实现吗?如果不能直接实现,那么如果用程序传参的话,怎么将网址传给datascraper进行爬取呢?谢谢!!

从自己写的网页上抓取

将这些网址写到一个网页上,比如用ul,li存每一个网址。这个网页可以放在本地,也可以放在一个网站服务器上,然后用MetaStudio对其定义抓取规则。

如果网址特别多,可以用个程序生成这个网页。

访问本地文件时,使用file:/// 而不是 http://

如果购买企业版,就有更多的方法,比如,直接往线索数据库中添加网址即可,还可以指定抓取时间。

佩服

谢谢,真是个好办法啊,嘻嘻,佩服佩服,以后要多多向你学习了,哈哈

这是其中一个用户想出来的办法

现在MetaSeeker有1万多个用户了,很多稀奇古怪的网站都有抓取,只可惜只有极少数用户反馈一些技巧,这是其中一个用户教我的技巧。