标题
  • 标题
  • 作者
  • 关键词

海量半结构化数据采集、存储及分析——基于实时空气质量数据处理的实践

2014-05-15分类号:TP311.13

【作者】黄恒君  漆威  
【部门】兰州商学院统计学院  兰州商学院金融学院  
【摘要】大数据现象及处理引起了社会各界的关注。本文以大数据宏观层面理论为依据,试图从微观层面讨论一类大数据的具体处理,归纳提出一种基于开源架构的海量半结构化数据采集、存储及分析自动化解决方案,并分析解决方案的开放性、融合性和经济性的特点,指出解决方案的可拓展方面。同时,结合海量空气质量实时数据,分析解决方案的具体开发细节,给出解决方案运行的经验做法,讨论分析过程的大数据压缩机制。
【关键词】大数据  数据挖掘  空气质量  函数型
【基金】教育部人文社会科学重点研究基地重大项目“政府统计数据质量保证体系研究”(12JJD790010);; 全国统计科学研究重点项目“海量异源异构数据的采集、存储和分析方案研究”(2013LZ44);全国统计科学研究重点项目“基于普查涵盖误差测量技术的基本单位名录库维护与更新研究”(2011LX003)资助
【所属期刊栏目】统计研究
文献传递