怎样抓取网页上一整块内容

问：抓取百度关键字搜索结果，还想顺着链接进入每个网页抓取详细内容，怎样抓取？

答：要做两方面工作：1）定义 两级抓取规则；2）抓取网页整块内容。

1）定义两级抓取规则：抓新闻搜索列表的时候，能够抓到每条新闻的网址，你是想进入这个网址把里面的抓下来。那么，抓列表是第一级，抓详细内容是第二级。这有个教程：《集搜客如何抓取多层级网页》
2）抓取整页内容：做第二级规则的时候要注意，因为有很多网站，每个网站的结构不一样，需要做一个通用的规则，把html中的整个body抓下来做内容部分。要抓整块的话，需要在整理箱上为抓取内容设置 “高级设置”，里面有“抓取特定内容”->“文本内容”。
可以参照这个老文档，新版本虽然界面有些简化，但是可以参照老文档看：《采集网页文字内容片断》