[目的/意义]政府网络问政平台是政府部门知晓民意的重要途径之一,为提高问政留言分类的精度以及处理留言数据质量差、数量少等问题,对比多种基于BERT改进模型与文本增强技术结合的分类效果并探究其差异原因。[方法/过程]设计网络问政留言分类集成对比模型,文本增强方面采用EDA技术与SimBERT文本增强技术进行对比实验,文本分类模型方面则采用多种基于BERT改进的预训练语言模型(如ALBERT、RoBERTa)进行对比实验。[结果/结论]实验结果表明,基于RoBERTa与SimBERT文本增强的文本分类模型效果最佳,在测试集上的F1值高达92.05%,相比于未进行文本增强的BERT-base模型高出2.89%。同时,SimBERT文本增强后F1值相比未增强前平均提高0.61%。实验证明了基于RoBERTa与SimBERT文本增强模型能够有效提升多类别文本分类的效果,在解决同类问题时具有较强可借鉴性。

[目的 /意义]对预训练语言模型在情报学与情报工作中的相关研究进行系统性的梳理与分析，为后续预训练模型与情报研究的融合提供借鉴。[方法 /过程]首先，简述预训练模型的基本原理与发展历程，汇总情报研究中应用较为广泛的预训练模型。其次，宏观上分析预训练模型在国内外情报研究中的热点方向，微观上从情报组织、情报检索、情报挖掘等方面调研预训练模型相关研究成果，并细致分析归纳预训练模型的应用方式、改进策略与性能表现。最后，从预训练模型的语料、训练、评价、应用等方面总结当前预训练模型在情报学科中面临的机遇与挑战，展望未来发展。[结果 /结论 ]当前BERT及其改型在情报处理中应用最广、表现最优。结合神经网络与微调的范式被用于各研究场景，尤其是领域信息抽取与文本分类任务。继续预训练、外部知识增强、架构优化等策略可进一步提升性能。如何平衡训练语料的规模与质量、提升模型易用性与安全性、高准度与多维度评价模型真实能力、加速学科知识挖掘工具落地应是未来考虑的关键问题。

【目的】针对林业文本利用率低、通用领域预训练语言模型对林业知识理解不足以及模型标注数据耗时费力等问题，研究利用大量林业文本，提出一种融合林业领域知识的预训练语言模型，并通过自动标注训练数据，高效实现林业抽取式问答，为林业决策管理提供智能化信息服务。【方法】首先，基于网络爬虫技术构建包含术语、法律法规和文献3个主题的林业语料库，使用该语料库对通用领域预训练语言模型BERT进行继续预训练，通过掩码语言模型和下一句预测这2个任务进行自监督学习，使BERT能够有效地学习林业语义信息，得到具有林业文本通用特征的预训练语言模型ForestBERT。随后，对预训练语言模型mT5进行微调，实现样本的自动标注，通过人工校正后，构建包含3个主题的共2 280个样本的林业抽取式问答数据集。基于该数据集对BERT、RoBERTa、MacBERT、PERT、ELECTRA、LERT种通用领域的中文预训练语言模型以及本文构建的ForestBERT进行训练和验证，以明确ForestBERT的优势。为了探究不同主题对模型性能的影响，分别基于林业术语、林业法律法规、林业文献3个主题的数据集对所有模型进行微调。此外，将ForestBERT与BERT在林业文献中的问答结果进行可视化比较，以更直观地展现ForestBERT的优势。【结果】ForestBERT在林业领域的抽取式问答任务中整体表现优于其他6个对比模型，与基础模型BERT相比，精确匹配（EM）分数和F1分数分别提升了1.6%和1.72%，在另外5个模型的平均性能上也均提升0.96%。在各个模型最优划分比例下，ForestBERT在EM上分别优于BERT和其他5个模型2.12%和1.2%，在F1上分别优于1.88%和1.26%。此外，ForestBERT在3个林业主题上也均表现优异，术语、法律法规、文献任务的评估分数分别比其他6个模型平均提升了3.06%、1.73%、2.76%。在所有模型中，术语任务表现最佳，F1的平均值达到87.63%，表现最差的法律法规也达到82.32%。在文献抽取问答任务中，ForestBERT相比BERT提供了更准确、全面的答案。【结论】采用继续预训练的方式来增强通用领域预训练语言模型的林业专业知识，可以有效提升模型在林业抽取式问答任务中的表现，为林业文本和其他领域的文本处理和应用提供了一种新思路。

随着深度学习的迅速发展和领域数据的快速积累，领域化的预训练模型在知识组织和挖掘中发挥了越来越重要的支撑作用。面向海量的中文政策文本，结合相应的预训练策略构建中文政策文本预训练模型，不仅有助于提升中文政策文本智能化处理的水平，而且为政策文本数据驱动下的精细化和多维度分析与探究奠定了坚实的基础。面向国家级、省级和市级平台上的政策文本，通过自动抓取和人工辅助相结合的方式，在去除非政策文本的基础上，确定了131390份政策文本，总字数为305648206。面向所构建的中文政策文本语料库，基于BERT-base-Chinese和Chinese-RoBERTa-wwm-ext，本研究利用MLM (masked language model)和WWM (whole word masking)任务构建了中文政策文本预训练模型（ChpoBERT），并在Github上对该模型进行了开源。在困惑度评价指标和政策文本自动分词、词性自动标注、命名实体识别下游任务上，ChpoBERT系列模型均表现出了较优的性能，可为政策文本的智能知识挖掘提供领域化的基础计算资源支撑。

古代中国医学文献是中华古籍的重要组成部分，含有丰富的中医学知识，是中医理论研究的重要载体和思想源泉。标注古代中医文献的命名实体，能进一步挖掘其蕴藏的中医学知识，推进中医现代化发展。文章基于BERT-base、RoBERTa、SikuBERT、SikuRoBERTa预训练模型，以《黄帝内经·素问》为研究对象、Flat-lattice Transformer结构为微调模型，构建中医文献中病证、病理、经络、穴位、五行等命名实体识别任务。实验结果表明：直接使用古文繁体BERT模型对古代中医文献进行领域命名实体识别，则基于繁体《四库全书》的SikuBERT、SikuRoBERTa预训练模型效果要优于BERT-base、RoBERTa模型；在引入Flat-lattice Transformer（FLAT）结构作为微调模型后，SikuBERT在有标点情况下表现最优，识别效果可以提升4%左右，SikuRoBERTa在无标点情况下表现最优，识别效果可以提高2%～3%。实验验证了FLAT作为微调模型对BERT模型在中医专业领域中古文献命名实体识别工作上的有效性。该微调模型可以有效避免分词错误引起的实体识别传播错误，进而提高中医命名实体的识别效率。

针对高校网络增强型课程的评价,可采用层次分析法来建立评价指标体系。本研究通过研究网络课程评价指标,建立指标层次模型,同时充分采纳评价主体对评价指标的两两重要性比较的定量描述,构造判断矩阵,依据判断矩阵结果计算出指标的权重赋值。北京建筑工程学院实践表明,基于层次分析法的网络增强型课程教学评价指标体系客观、科学、操作性强。

[目的/意义]互联网开源信息具有海量、多源异构等特点，如何从中及时发现有价值的信息，并对信息加以情报利用一直是情报研究和实践应用的重点领域之一。本文提出一套开源的学术会议领域信息抽取框架，解决信息抽取语义理解和关联融合的问题，并将其应用于情报研究中，为解决情报分析的智能应用提供工具和方法。[方法/过程]采集网络上新闻报道的内容，采用预训练语言模型方法挖掘学术会议事件信息，提出面向特定领域的信息抽取框架，实现会议名称及其举办时间、地点、出席人物、发言人物信息的抽取，并进行实际的情报利用研究案例分析。[结果/结论]相较于单一抽取实体的方法，抽取会议核心元素更具有情报关联性和准确性，可以更好地对开源热点事件发现和跟踪监测、目标人物轨迹动向分析等研究提供方法，为情报分析应用和情报研判奠定基础。

四库分类体系具有深远的影响。为解决古籍残本难以辨识所属类别问题，提供面向数字人文领域研究的方法工具，基于面向古文自然语言处理的Siku BERT和Siku Ro BERTa预训练语言模型，在《四库全书》子部14个类别的古籍文本上开展典籍自动分类模型的构建，并与BERT、BERT-wwm、Ro BERTa和Ro BERTa-wwm基线模型进行对比。文章提出的两种分类模型效果均优于基线模型，Siku BERT模型取得90.39%的整体分类F值，在天文算法类古籍上达98.83%的分类F值。在类别自动识别任务中，Siku Ro BERTa的预测正确率达95.30%。基于Siku BERT和Siku Ro BERTa预训练语言模型的四库自动分类体系可以有效的将典籍文本划分为所属子部类别，所构建的分类工具为高效自动化典籍分类提供了新的途径。

[目的]针对水稻病虫害图像分类技术缺少对病症描述的问题，本文提出一种轻量化的水稻病虫害图像描述模型，对水稻病虫害图像进行更为具体的描述。[方法]以白叶枯病、细菌性条斑病、恶苗病、三化螟虫、稻瘟病、稻曲病、纹枯病、飞虱、稻蓟马、胡麻斑病这十类常见的水稻病虫害开展研究，构建了水稻病虫害图像中文描述数据集。首先采用多模态预训练模型CLIP生成图像向量，其中包含基本的图像信息以及丰富的语义信息，采用映射网络将图像向量映射到文本空间里生成文本提示向量，语言模型GPT-2根据文本提示向量生成图像描述。[结果]试验结果表明，在水稻病虫害图像描述数据集上，本文模型的指标总体明显优于其他模型，本文算法的BLEU-1、BLEU-2、BLEU-3、BLEU-4、ROUGE、METEOR指标较传统的CNN＿LSTM模型分别提升0.26、0.27、0.24、0.22、0.22、0.14。生成的图像描述具有准确、详细、语义丰富等优点。另外使用实际稻田图片对模型进行测试，实际田间的场景更为复杂多样，生成的图像描述指标与数据集指标对比总体仅有轻微下降，仍高于其他对比模型。本文模型对水稻病虫害的总体识别准确率达97.28%。[结论]基于多模态预训练模型的水稻病虫害图像描述方法能够准确识别水稻病虫害病症并形成相应的病症描述，为水稻病虫害检测提供一种新思路。

为了优化网络化飞行训练下通用教练机(初级、中级、高级)机队配置以降低机队训练成本,将网络化训练下多训练基地、多执照阶段的航空驾驶员培训过程抽象为一个带权有向网络图,通过综合考虑航空驾驶学员总人数限制和流动平衡条件,教练机机队可用飞行时间限制,以及各类通用教练机在训练基地的最少投放飞机数限制等因素,构建以通用教练机机队训练成本最小化为目标函数的机队配置优化数学模型。针对"3个训练基地,一个训练周期培养1 000名航线驾驶员"的案例,仿真结果表明,与飞行航校现有普遍的训练模式相比,该模型能够在培训同等航空驾驶学员数量基础上将3个训练基地所配置的通用教练机机型数量分别降至2种、1种和2种,且将机队训练总成本降低2.7%。研究结果表明,网络化训练模式能够减少训练基地配置的教练机机型数量,并显著降低机队训练总成本。

为了优化网络化飞行训练下通用教练机(初级、中级、高级)机队配置以降低机队训练成本,将网络化训练下多训练基地、多执照阶段的航空驾驶员培训过程抽象为一个带权有向网络图,通过综合考虑航空驾驶学员总人数限制和流动平衡条件,教练机机队可用飞行时间限制,以及各类通用教练机在训练基地的最少投放飞机数限制等因素,构建以通用教练机机队训练成本最小化为目标函数的机队配置优化数学模型。针对"3个训练基地,一个训练周期培养1 000名航线驾驶员"的案例,仿真结果表明,与飞行航校现有普遍的训练模式相比,该模型能够在培训同等航空驾驶

文章将粒子群优化算法用于神经网络预测模型的学习训练,并且将这种方法用于股票预测中。实验结果表明,基于粒子群训练的神经网络学习算法更易于实现,且准确率较高。

近年来,预训练模型(pre-trained models, PTMs)被广泛应用于说话人验证(speaker verification, SV)系统,通过在预训练模型下游接入说话人分类网络,并进行微调,可大幅提升系统性能。然而,目前基于预训练模型的SV研究大多在有标签的数据集上进行微调,需要大量目标域带标注数据。该文提出一种基于预训练模型的半监督说话人验证系统,首先,利用少量带标注数据训练一个种子模型;其次,利用该种子模型结合无监督聚类算法为无标注数据生成伪标签;再次,联合真实标注数据和伪标注数据进行模型重训练;最后,通过多轮迭代提升模型性能。在仅有100 h带标签说话人数据的条件下,该文提出的半监督系统在Vox Celeb1-O测试集的等错误率为1.02%,比基线系统降低了86.8%,表明该文所提出的半监督说话人验证系统的有效性。

可以降低信息获取成本，对篇幅长而句子短、文字理解门槛高的古籍文献而言尤其必要，但针对古文的自动摘要研究少。文章面向《资治通鉴》语料，基于Siku BERT预训练模型进行自动摘要实验，并对比传统抽取式自动摘要算法和百度智能云摘要分析算法在《资治通鉴》语料上的表现。实验结果表明，基于Siku BERT预训练模型生成的摘要结果在稳定性、覆盖度等方面均优于其他两种方法；通过专家人工打分方式，基于Siku BERT预训练模型生成的摘要结果平均得分最高。实验验证了使用数字人文技术对古文进行自动摘要任务的可行性和利用Siku BERT预训练模型对古文进行信息处理的适用性。

古籍自动标点研究成为推动古籍研究在人文社科领域发展的关键环节。文章利用SIKU-BERT模型，以中国哲学书电子化计划古籍数据中的先秦两汉典籍为数据来源进行自动标点模型训练，探索了基于深度学习技术的古文自动标点模型。实验结果表明，SIKU-BERT模型对先秦两汉典籍自动标点的整体效果均比较优越，对于书名号、冒号、句号以及逗号，预测表现良好，尤其是书名号与问号标签的识别准确率、召回率与F1值表现最为优越，均达到95%以上。文章验证了BERT模型在古籍文本自动标点中的可行性，有助于推动数字人文在古籍研究中的发展。