基于Hadoop的大数据处理平台研究
2017-10-15分类号：TP311.13
【部门】郑州轻工业学院计算机与通信工程学院 郑州轻工业学院软件学院
【摘要】大数据时代的到来伴随着海量数据,进而使得筛选出具有价值的信息成为大数据被广泛应用的核心步骤.在此情况下Apache Hadoop顺势而生,其通过简化数据密集、高度并行的分布式应用来应对大数据带来的挑战.由于目前基于Hadoop的大数据平台在多领域普遍使用,从而平台搭建成为进行大数据探索的第一步.而很多文章介绍的平台搭建是在虚拟机中完成,与真实情况存在相应差异.本文讨论以真实集群为基础搭建Hadoop平台的原因,Hadoop集群的强大功能,搭建平台所需设备、环境、安装、设置及测试过程.
【关键词】Hadoop 大数据 分布式应用
【基金】河南省科技计划项目(152102210357,152102210149);; 河南省高等学校青年骨干教师资助计划项目(2014GGJS-084);; 河南省高等学校重点科研项目(16A520030);; 郑州轻工业学院校级青年骨干教师培养对象资助计划项目(XGGJS02);郑州轻工业学院博士科研基金资助项目(2010BSJJ038);郑州轻工业学院研究生科技创新基金资助项目
【所属期刊栏目】华中师范大学学报(自然科学版)
文献传递
