数据爬取时十几分钟就会自动断掉是怎么回事?

我在爬取博主主页，爬取十几分钟就会断掉，是怎么回事？

博主主页建议在cn端采集，可以采集全，而且比较稳定。
微博网页端的博主主页是瀑布流，一直向下滚屏，比较容易断。

而且，数据采集比较多了，要及时清缓存，否则会越来越慢

连续采集的情形下，建议一天清一次缓存。

好的，我试试。