面向情报获取的主题采集工具设计与实现
2014-10-20分类号:TP393.092
【部门】上海宝山钢铁股份有限公司 上海理工大学图书馆 华东师范大学商学院信息学系
【摘要】面向互联网的主题采集是情报获取的重要手段,面对爆发式增长的互联网信息资源,设计并实现一套由采集准备、URL分析及提取、模板学习、正文抽取等几阶段组成的主题采集工具,其中URL分析与提取采用基于链接类型的URL筛选方法,实现正文网页URL的筛选;模板学习和正文抽取部分采用基于DOM树的节点比对方法,完成模板的构建与正文抽取。实验结果表明,本文所提出的主题采集工具采集准确率较高,能够适应目前情报信息采集的需求。
【关键词】网络爬虫 主题采集 链接筛选 DOM树
【基金】上海市科技发展基金软科学研究项目“大数据环境下基于领域本体的情报处理分析方法研究——以钢铁行业为例”(项目编号:14692107100)研究成果之一
【所属期刊栏目】图书情报工作
文献传递