scmp官网全文无法爬取

南 华 早 报 官网 scmp.com在翻墙的情况下无法爬取全文，拿一个网页测试时可以爬取全文，批量爬取时只能爬取“read the article”几行字，已经做过滚屏也没有用，请问应该如何解决？规则名scmp全文爬取

我测试了一下，采集挺好的。还有哪个网址采集不到内容？

主要检查这些方面：
1，是否设置了关键内容
2，采集全文的规则，往往采集内容范围很大，所以有时候即使没有实际内容显示出来，那个范围对应的html节点还是有的，所以，设置了关键内容也会误判，这时候就要放慢采集速度：
a，在DS打数机菜单上（爬虫群的话要在调度参数中设置）设置“延迟时间”
b，在DS打数机菜单上（爬虫群的话要在调度参数中设置）设置“滚屏次数”，可以大一点，花费的时间就更长
c，在DS打数机菜单上（爬虫群的话要在调度参数中设置）设置“滚屏速度”，设置成负数，值越小越慢

Fuller 发表于 2020-1-8 21:42
我测试了一下，采集挺好的。还有哪个网址采集不到内容？

主要检查这些方面：

好的 我试一试