基于MapReduce的商品评论热点发现算法研究
2019-02-15分类号：TP391.1
【部门】烟台大学计算机与控制工程学院
【摘要】提出一种基于MapReduce框架的商品评论热点发现并行算法——PR-HD算法. PR-HD算法使用爬虫技术提取某电商平台下某热门手机的评论数据生成评论数据集,以TF-IDF算法来计算特征词的权重,通过特征词添加位置权重的方式来得到特征词的最终权值,建立向量空间模型(VSM)计算不同评论语句的相似度,使用Canopy算法和K-means算法相结合从而实现商品评论的热点发现.这使得产品开发人员可以从中获取更直接有效的建议和反馈.
【关键词】评论热点发现 MapReduce Canopy算法 K-means算法
【基金】山东省自然科学基金(ZR2016FM42);; 山东省重点研发计划(2016GGX109004);; 国家海洋局"十三五"海洋经济创新发展示范重点项目(YHC-ZB-P201701);; 国家自然科学基金(61702439)资助
【所属期刊栏目】中国科学技术大学学报
文献传递
