集搜客GooSeeker网络爬虫
标题:
采集需要登陆的网站,数据是json格式的,怎么采集?
[打印本页]
作者:
xandy
时间:
2015-12-16 15:41
标题:
采集需要登陆的网站,数据是json格式的,怎么采集?
如题。
作者:
Fuller
时间:
2015-12-16 16:29
JSON是 JavaScript Object Notation的首字母缩写,参看百度百科词条:
http://baike.baidu.com/view/136475.htm
所谓Object,就是一种结构化格式,我们通常要解决网页的半结构化内容向结构化的转换,GooSeeker网络爬虫和其他类似的网页采集器都是为这个目的开发出来的,一旦变成结构化,就能像操作数据库一样处理网络信息。既然JSON就是结构化的,其实就没有必要用网页采集器进行转换了。
假设存储数据不用关系数据库,而是用NoSQL,像Mongodb的数据表达方式就是JSON,直接入库。
欢迎光临 集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)
Powered by Discuz! X3.2