如果我想抓一个人微博的关注名单，然后在抓他所有关注的人的关注名单，如此不断抓下去

Thu, 09/06/2012 - 22:24 — hammerlet

请教一个问题：
如果我想抓一个人微博的关注名单，然后再抓他所有关注的人的关注名单，然后再抓下一个关注名单里所有人的关注名单。如此不断抓下去。
这个软件可以有帮助到吗？
谢谢啦！

Fri, 09/07/2012 - 08:52 — Fuller

博客、微博、视频、图片和其他各种社交网站都可以这样一层层抓取下去，这是层级抓取，而且是一种特殊的层级抓取，第一层和第二层的主题名是一样的。

抓取结果处理的时候要注意怎样才能恢复社交关系，这也涉及到抓取规则的定义，定义规则时，假设抓取A的关注名单，分别抓取到B、C两个被关注的人。那么抓取规则应该有B和C的名字和网址。而在抓取A的结果文件中，fullpath字段是A的网址，抓取到的内容中有B和C的网址，这样就可以恢复A到B和C的交友关系。

也可以用名字恢复交友关系

GooSeeker