为什么第一层不能自动导向第二层?

是这个schema:hammerlet_list,里面有两个信息结构,一个辅名是forward,一个是back,但是他提取完forward之后,无法自动导向back。手动提出线索。就算使用周期自动提取的那个xml,也必须重启一下datascraper才能提取。这是为什么呢?

还有一个schema:hammerlet_protest,我设置了他的下一级schema:hammerlet_protest_post,但是它无法从第一级导向第二级。

这两个schema我检查了好久,没有发现什么问题,能否请你们帮我瞧瞧?
谢谢啦!

自动导向需要AJAX网页模拟点击抓取模式

在AJAX网页抓取模式下,可以设置模拟点击,能够自动从第一级导向第二级,但是,只能从一个线索导向另一个线索,如果下一级有多个线索,不能一对多导向。

尽量不要采用自动导向模式,因为效率很低,这不是高性能网络爬虫的工作模式。高性能网络爬虫进行多层级爬行的时候,一般不会在一个线程里面做。

所以,应该采用周期性自动抓取方式,在crontab.xml文件中配置多个线程,并行分别抓取不同层的网页。