在采集数据的时候，因为二级网页很多都404了，导致采集速度很慢，应该怎么解决

在采集的时候碰到404页面的时候，会在那个页面停顿很久，应该怎么解决这个问题。

遇到404的话，会等待直到超时，所以，如果经常遇到这种网页，会大大拖慢采集速度。

有些你看到的404其实不是真正的404，而是一个实实在在的网页，只是在网页上显示了“404”这个文字，如果是这种情况，针对这个网页再做一个采集规则，与当前的规则使用相同的主题名，但是规则编号不一样，这样，DS打数机就能自动判断是404还是有内容的网页。