大数据环境下基于SVM-WNB的网络舆情分类研究
2017-07-20分类号:TP18;TP311.13
【部门】四川大学图书馆
【摘要】当前网络舆情信息存在数据量大、流动快及数据非结构化等特点,难以实现对其快速、准确的分类。SVM算法和朴素贝叶斯算法都是性能优秀的传统分类算法,但无法满足快速处理海量数据。文章利用Ha-doop平台可并行处理分布式数据存储的优良特性,提出了HSVM_WNB分类算法,将采集的舆情文档依照HDFS架构进行本地化存储,并通过MapReduce进程完成并行分类处理。最后利用实验验证,本算法能够有效提升网络舆情分类能力与分类效率。
【关键词】大数据 网络舆情 Hadoop云平台 SVM-WNB算法 并行处理
【基金】四川大学中央高校基本科研业务费专项资金资助项目(2014SCU11054)
【所属期刊栏目】统计与决策
文献传递