集搜客网络爬虫产生的采集结果文件是一个个xml,怎样合并起来
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2016-10-23 21:14

沙发
Fuller 管理员 发表于 2016-10-23 21:14:03 | 只看该作者
我不赞成将一个个xml文件合并成一个xml,这样无法处理大量数据,而是推荐如下处理路线

1)将一批xml文件转换成一个excel表,这种适合中小批量数据,一般的数据研究足够用。集搜客提供两种手段:1)用含有宏的excel来导入xml文件;2)导入到会员中心再导出excel。后者特别适合持续不断的抓取过程,一边抓一边导入,具体参看教程《xml转换为excel

2)将xml导入到数据库,这种适合大批量,以及在线数据处理过程,因为抓取结果是xml格式的,既有数据也有meta信息,最方便转换成其他各种格式
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-30 18:42