多重信息抓取问题

我以一个用户为起点,抓他的一些信息,和他的关注和粉丝的情况
再抓关注的关注和粉丝的信息
和粉丝的关注和粉丝的信息
这样抓三层
有没有什么类似递归的方法 或 用什么方法??

多层递归抓取的方法就是这样的

您说的对,就是这样的,比如三层,1-〉2-〉3-〉1-〉2-〉3-〉1...这样循环下去

具体怎么做呢

我现在第一层与第二层不能自动跳转,具体应该怎么做才能多层递归抓取呢

多层之间不自动调转

除非设置成线内线索才能自动调转,但是线内线索是有限制的。所以,绝大多数情况下,多层之间不能自动调转,搜索引擎的网络爬虫都是这样的。您可以在crontab.xml中设置多个线程,并行抓取各层