结合提示学习和Qwen大语言模型的裁判文书摘要方法
2024-08-21分类号:D926.13;TP18;TP391.1
【部门】贵州大学计算机科学与技术学院 贵州大学公共大数据国家重点实验室
【摘要】尽管大语言模型在新闻、艺术等领域的文本摘要任务上取得了良好的效果,但由于大语言模型缺乏对司法领域知识的学习,同时难以理解裁判文书的结构特征和逻辑关系,导致生成的裁判文书摘要质量不佳。该文提出结合提示学习和Qwen大语言模型的裁判文书摘要方法,将裁判文书数据作为SFT(supervised fine-tuning)技术对大语言模型微调的输入,增强其法律领域适用性;同时设计融入结构信息与角色指令的提示模板,以优化摘要生成,使其更精准地反映文书结构特征与逻辑关系。实验结果表明,该方法在ROUGE-1、 ROUGE-2和ROUGE-L的F1值上比基线模型分别提升了21.44%、28.50%和28.97%,说明大语言模型经裁判文书数据微调并引入结构信息后,在裁判文书摘要任务中展现了卓越的性能与巨大的应用潜力。
【关键词】裁判文书摘要 文本摘要 大语言模型 提示学习
【基金】国家自然科学基金资助项目(62066008);; 贵州省科学技术基金重点资助项目(黔科合基础[2020]1Z055);贵州省科学技术基金重点资助项目(黔科合重大专项字[2024]003)
【所属期刊栏目】清华大学学报(自然科学版)
文献传递