【摘要】大型语言模型突出的任务理解和指令遵循能力，使用户可以通过简单的指令交互完成复杂的信息处理任务。科技文献分析领域正在积极探索大模型的应用，但尚未形成对指令工程技术和模型能力边界的系统性研究。本文以学术文本挖掘任务为切入点，从上下文学习、思维链推理等角度设计推理端指令策略，构建了涵盖文本分类、信息抽取、文本推理和文本生成4个能力维度共6项任务的大模型学术文本挖掘专业能力评测框架，并选取了7个国内外主流的指令调优模型进行实验，对比了不同指令策略的适用范围和不同参数模型的专业能力。实验结果表明，少样本、思维链等复杂指令策略在分类任务上的应用效果并不显著，而在抽取、生成等难度较高的任务上表现良好。千亿级参数规模的大模型经过指令引导，能够取得与充分训练的深度学习模型相近的效果，但对于十亿级或百亿级规模大模型，推理端的指令策略存在明显上限。为了实现大模型向科技情报领域的深层嵌入，现阶段仍需在调优端对模型参数进行领域化适配。