集搜客GooSeeker网络爬虫

标题: 采集需要登陆的网站,数据是json格式的,怎么采集? [打印本页]

作者: xandy    时间: 2015-12-16 15:41
标题: 采集需要登陆的网站,数据是json格式的,怎么采集?
如题。
作者: Fuller    时间: 2015-12-16 16:29
JSON是 JavaScript Object Notation的首字母缩写,参看百度百科词条:http://baike.baidu.com/view/136475.htm
所谓Object,就是一种结构化格式,我们通常要解决网页的半结构化内容向结构化的转换,GooSeeker网络爬虫和其他类似的网页采集器都是为这个目的开发出来的,一旦变成结构化,就能像操作数据库一样处理网络信息。既然JSON就是结构化的,其实就没有必要用网页采集器进行转换了。

假设存储数据不用关系数据库,而是用NoSQL,像Mongodb的数据表达方式就是JSON,直接入库。





欢迎光临 集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/) Powered by Discuz! X3.2