情报学视角下的预训练语言模型研究进展
2024-02-05分类号:TP391.1;G350
【部门】南京大学信息管理学院 江苏省数据工程与知识服务重点实验室 南京农业大学信息管理学院 南京理工大学经济管理学院 江苏省质量和标准化研究院
【摘要】[目的 /意义]对预训练语言模型在情报学与情报工作中的相关研究进行系统性的梳理与分析,为后续预训练模型与情报研究的融合提供借鉴。[方法 /过程]首先,简述预训练模型的基本原理与发展历程,汇总情报研究中应用较为广泛的预训练模型。其次,宏观上分析预训练模型在国内外情报研究中的热点方向,微观上从情报组织、情报检索、情报挖掘等方面调研预训练模型相关研究成果,并细致分析归纳预训练模型的应用方式、改进策略与性能表现。最后,从预训练模型的语料、训练、评价、应用等方面总结当前预训练模型在情报学科中面临的机遇与挑战,展望未来发展。[结果 /结论 ]当前BERT及其改型在情报处理中应用最广、表现最优。结合神经网络与微调的范式被用于各研究场景,尤其是领域信息抽取与文本分类任务。继续预训练、外部知识增强、架构优化等策略可进一步提升性能。如何平衡训练语料的规模与质量、提升模型易用性与安全性、高准度与多维度评价模型真实能力、加速学科知识挖掘工具落地应是未来考虑的关键问题。
【关键词】情报学 情报工作 预训练语言模型 自然语言处理 PLM
【基金】国家自然科学基金面上项目“基于深度学习的学术全文本知识图谱构建及检索研究”(项目编号:71974094);; 南京大学“中央高校基本科研业务费专项资金资助”(项目编号:0108/14370317)研究成果之一~~
【所属期刊栏目】图书情报工作
文献传递