怎么抓取整个网页？

imhuay

我现在有个课程作业，需要大量的网页做搜索引擎，
我想爬取百度在某一关键词下出现的所有网页内容（html文件），应该怎么做？

shenzhenwan10 · 发表于 2016-10-26 17:06:44

可以用层级抓取来实现
第一级，抓取百度搜索结果列表
第二级，抓取每个网页的html

imhuay · 发表于 2016-10-26 17:28:14

shenzhenwan10 发表于 2016-10-26 17:06
可以用层级抓取来实现
第一级，抓取百度搜索结果列表
第二级，抓取每个网页的html ...

这个第二级怎么做？gooseeker怎么下网页啊？

xandy · 发表于 2016-10-26 17:41:00

imhuay 发表于 2016-10-26 17:28
这个第二级怎么做？gooseeker怎么下网页啊？

抓取HTML文件可以参考这个帖子：集搜客抓取整个html

共 3 个关于本帖的回复最后回复于 2016-10-26 17:41

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页