网页结构大体一致，有些变化，怎么做规则

比如科学文章
有的文章有副标题，有的没有；有的有ISBN号，有的没有。这种情况怎么做规则？

方法1：找个信息齐全的网页做采集规则，对于可能没有的信息就不勾关键内容，这样就不影响其他文章的采集。
方法2：找个信息齐全的网页做采集规则，对于可能没有的信息设置自定义xpath，这样也不影响其他文章的采集，参考《自定义xpath：精确采集》
如果网页结构相差很多的话，就得建立新规则来采集不同的网页结构，这个可以参考《采集同一网站的不同网页结构》

ym 发表于 2017-2-23 18:07
方法1：找个信息齐全的网页做采集规则，对于可能没有的信息就不勾关键内容，这样就不影响其他文章的采集。
...

十分感谢