集搜客GooSeeker网络爬虫

标题: 数据是一个个文件怎样合并 [打印本页]

作者: gooseeker_info 时间: 2016-10-23 21:10
标题: 数据是一个个文件怎样合并
集搜客网络爬虫产生的采集结果文件是一个个xml，怎样合并起来

作者: Fuller 时间: 2016-10-23 21:14
我不赞成将一个个xml文件合并成一个xml，这样无法处理大量数据，而是推荐如下处理路线

1）将一批xml文件转换成一个excel表，这种适合中小批量数据，一般的数据研究足够用。集搜客提供两种手段：1）用含有宏的excel来导入xml文件；2）导入到会员中心再导出excel。后者特别适合持续不断的抓取过程，一边抓一边导入，具体参看教程《xml转换为excel》

2）将xml导入到数据库，这种适合大批量，以及在线数据处理过程，因为抓取结果是xml格式的，既有数据也有meta信息，最方便转换成其他各种格式

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)