FCD大数据并行处理的动态任务调度算法
2018-09-15分类号:TP311.13;U491
【部门】中国科学技术大学信息学院 安徽中科龙安科技股份有限公司 中国科学技术大学计算机学院
【摘要】浮动车数据(floating car data, FCD)技术是大规模城市路网交通流实时采集的有效方法.城市交通的动态诱导和控制需要对海量FCD进行快速处理.鉴于此,提出了FCD并行计算的动态任务调度方法.针对FCD数据包计算时间的不确定性和动态性,根据计算节点的处理能力进行数据包的动态分割,在处理过程中,采用动态任务分配策略以实现计算节点的同步.该方法在龙芯国产大数据一体机平台上进行了实现,并采用现场FCD数据进行了实验验证,结果表明,该方法较轮询和Min-Min调度算法,显著地提高了并行处理的性能.
【关键词】浮动车数据 大数据 并行计算 动态任务划分 动态任务调度
【基金】国家重点研发(973)计划(2017YFC0840206);; 安徽省重大科技专项(17030901007)资助
【所属期刊栏目】中国科学技术大学学报
文献传递