基于大数据平台的港口数据仓库搭建与运用
2022-01-25分类号:U691.1;TP311.13
【部门】浙江海洋大学船舶与海运学院
【摘要】网络时代,信息技术已被广泛应用在港口的各个方面。这些技术在一定程度上促进了港口的智能化管理,实现了港口资源的优化配置。然而,随着大数据时代的到来,港口的数据信息将以指数的形式爆炸增长,这样海量的数据对港口的信息化管理提出了新的挑战。本文为港口设计了一套集数据传输、数据清洗、数据存储、数据可视化为一体的数据仓库。利用最新的数据传输技术Flume与Fakfa传输数据,并根据Apache基金会下的Hadoop分布式架构框架对数据进行存储,最后采用Hive的框架对采集的数据进行分析和总结。试图通过搭建港口数据仓库,进一步完善港口的信息化管理建设。
【关键词】大数据技术 数据仓库 分布式运算框架 碎片化信息
【基金】
【所属期刊栏目】特区经济
文献传递