针对真实复杂背景下小样本水稻害虫识别模型泛化能力弱,易受复杂背景干扰以及重要特征表达能力不强等问题,提出了一种基于卷积块注意力胶囊网络的小样本水稻害虫识别方法。采用数据增强的方法扩充数据,以提高模型的泛化能力同时预防过拟合;利用GrabCut算法去除图像中的复杂背景,减小复杂背景对水稻害虫识别的干扰;将空间注意机制和通道注意机制相结合的卷积块注意模块(Convolutional block attention module,CBAM)引入到胶囊网络中,提高模型对水稻害虫特征的表达能力,使模型关注重要特征,抑制不必要的特征。其中胶囊网络主要用来更加敏锐地发现小样本图像中水稻害虫的相对位置和角度等信息。结果表明:在对复杂背景下小样本水稻害虫的识别时,本研究方法准确识别率达99.19%,优于支持向量机(Support vector machine,SVM)、k近邻(k-nearest neighbors,kNN)等浅层网络方法,也优于VGG16、GoogLeNet以及Mobilenet等深度网络方法,可实现复杂背景下的小样本水稻害虫的准确识别。

【目的】田间水稻害虫识别是精确防治水稻害虫的重要前提。由于水稻害虫种类多，同种害虫形状大小、颜色、分布变化多样，且田间环境背景复杂，使得传统方法与基于卷积神经网络的方法识别准确率较低。【方法】针对现有方法对位置、姿势多变的水稻害虫识别准确率低等问题，在胶囊网络（Capsule Network， CapsNet）的基础上，提出一种基于多尺度双路注意力胶囊网络（Multi-scale Dual-path Attention Capsule Network ， MDACapsNet）的水稻害虫识别方法。MDACapsNet由编码模块、重构模块与分类模块组成。在MDACapsNet编码模块中，多尺度双路注意力模块与局部共享动态路由算法用于提高网络的特征提取能力并降低网络计算量；在MDACapsNet的损失函数中增加重构图像损失项，加速网络训练。【结果】在复杂背景下的水稻害虫图像数据集进行实验，识别准确率为95.31%。与VGG16、CapsNet、ResNet相比较，MDACapsNet的识别准确率分别提高5.47%、19.83%、2.83%。【结论】MDACapsNet能较好地识别大小不同、背景复杂、姿势多样的水稻害虫，可应用于田间水稻害虫自动检测系统中。

文本序列中各单词的重要程度及其之间的依赖关系对于识别文本类别有重要影响。胶囊网络不能选择性关注文本中重要单词,并且由于不能编码远距离依赖关系,在识别具有语义转折的文本时有很大局限性。为解决上述问题,该文提出了一种基于多头注意力的胶囊网络模型,该模型能编码单词间的依赖关系、捕获文本中重要单词,并对文本语义编码,从而有效提高了文本分类任务的效果。结果表明:该文模型在文本分类任务中效果明显优于卷积神经网络和胶囊网络,在多标签文本分类任务上效果更优,能更好地从注意力中获益。

【目的】遥感图像分类技术在森林资源调查、生态工程规划以及森林病虫害防控等林业监测业务中,扮演着至关重要的角色。通过引入自注意力模块增强卷积网络对遥感图像的特征刻画能力,以期提高遥感图像的分类效果。【方法】该文提出了一种融合自注意力机制和残差卷积网络的遥感图像分类方法,首先利用卷积神经网络提取丰富的深度纹理语义特征,然后在卷积网络的最后3个瓶颈层嵌入多头自注意力模块,挖掘遥感图像复杂的全局结构信息。嵌入自注意力模块的卷积分类网络,能够有效提升遥感图像的分类精确度。该研究使用RSSCN7、EuroSAT与PatternNet 3个公开的遥感图像数据集,基于Pytorch深度学习库训练与测试该方法,并增加与已有分类框架算法精度和性能的对比试验。同时,使用不同批次、不同数量大小的数据训练改进研究提出的方法,并测试分类效果。【结果】试验得出,该研究提出的方法在3个遥感分类数据集上的平均识别率分别达到了91.30%、97.88%和97.37%,其中在前两个数据集上较现有的基于深度卷积网络的算法分别提升了2.26%和3.73%。同时,该算法的总参数量为2.08×10~7,较现有参数量最低的方法减少了5.2×10~6。【结论】相比已有的遥感图像分类框架,该研究提出的方法能够在图形处理器(GPU)加速的环境中,取得更为准确的分类效果。同时有效减少了模型的参数量,提高了算法执行的效率,便于后续的实际应用部署。

【目的】智能虫情测报灯诱捕到的农业害虫因种类繁多、虫体姿态多样、鳞片脱落等原因造成有些害虫图像存在种间相似和种内差异的现象。为了提高农业灯诱害虫识别率,针对YOLOv4检测模型检测到且容易混淆的19种灯诱害虫,本文提出了基于双线性注意力网络的农业灯诱害虫细粒度图像识别模型。【方法】首先,根据灯诱害虫外观图像的相似性和检测误检的情况,将19种害虫分为6类;将所有害虫图像通过补边操作使得长宽相等,并缩放至统一尺寸224×224像素。为了提高模型的鲁棒性和泛化能力,对害虫图像进行镜像翻转、旋转180度、高斯噪声和均值滤波的数据增强,训练集、验证集和测试集样本量按照8﹕1﹕1比例划分。然后,针对6类19种农业灯诱害虫细粒度图像,建立了基于双线性注意力网络的农业灯诱害虫识别模型(bilinear-attention pest net,BAPest-net),模型包括双线性特征提取、注意力机制和分类识别3个模块;通过修改特征提取模块的下采样方式提高特征提取能力;添加注意力机制模块让整个模型更关注于局部细节的特征,将双线性结构中的上下两个注意力机制的输出进行外积运算增加细粒度特征的权重,提高识别的准确性和学习效率;模型优化器使用随机梯度下降法SGD,分类模块中使用全局平均池化,旨在对整个网络从结构上做正则化防止过拟合。最后,在同一个训练集训练VGG19、Densenet、ResNet50、BCNN和BAPest-net 5个模型,对6类相似的19种农业灯诱害虫进行识别,以精准率、Precision-Recall(PR)曲线和平均识别率作为模型的评价指标。【结果】BAPest-net对6类相似的19种农业灯诱害虫平均识别率最高,达到94.9%;BCNN次之,为90.2%;VGG19模型最低,为82.1%。BAPest-net识别的6类害虫中4类鳞翅目害虫的平均识别率均大于95%,表明该模型能较好地识别出鳞翅目害虫。测试结果中仍存在少数相似度较高的害虫误判,特别当害虫腹部朝上或侧身,种类特征不够明显的时候容易引起相似害虫的误判。对于区分度较低的相似害虫需要更多的训练样本以获取更多的特征,提高模型的识别率和泛化能力。【结论】基于双线性注意力网络的农业灯诱害虫细粒度图像识别模型可以自动识别6类相似的19种农业灯诱害虫,提高了农业灯诱害虫自动识别的准确率。

[目的/意义]许多现有研究依赖于专利数据来识别颠覆性技术，但这些方法在专利文本的主题聚类分析方面仍有进一步优化的潜力。[方法/过程]通过构建基于新闻影响力增强的图注意力网络，以及自适应分配注意力权重，有效捕捉和充分利用技术主题词共现网络节点关系，在生成有代表性的节点向量后再进行专利文本主题聚类分析，可以进一步辅助识别潜在的颠覆性技术。[结果/结论 ]为进一步验证方法的有效性，选择智慧城市和工业互联网两个新兴技术领域进行实证检验。理论和实证分析显示，这种融合新闻影响力的图注意力网络聚类方法可以进一步丰富当前有关颠覆性技术识别的方法体系。

[目的]针对育肥猪采食行为识别误差大、检测速度慢等问题，提出一种具有轻量化结构的育肥猪采食行为检测模型，实现对育肥猪采食行为的快速检测与采食时长统计。[方法]以YOLO v5L目标检测算法为基础，构建侧视视角下的猪只采食行为检测模型。对比更换不同轻量化主干网络后对模型检测效果的影响，选取性能最优的模型；改进ShuffleNet V2网络结构基本单元，采用Mish激活函数提高模型泛化能力与推理速度，引入SE注意力机制给予目标特征更高的权重以提高目标识别精度；对比模型增加非营养性访问行为检测前、后的采食行为识别准确率。[结果]优化后的育肥猪采食行为检测模型大小为38.2 MB，计算量为37.8 GFLOPs，视频检测平均帧耗时7.6 ms。与非营养性访问行为进行区分识别后，猪只采食行为检测识别准确率为96.4%，召回率为92.5%。模型检测采食时长与人工统计采食时长相对误差为6.1%。[结论] 改进的YOLO v5L-ShuffleNet网络模型检测速度和模型大小均能满足实际生产需求，可在复杂养殖环境中全天候识别育肥猪采食行为。

[目的/意义]当前社交媒体中的虚假、劣质信息层出不穷，极大地干扰了正常的网络公共秩序。对发布异常信息、呈现异常行为的异常用户进行预测治理，能够有效实现网络公共空间的正本清源。[方法/过程]在既有研究的基础上，本文融合用户个体特征、行为、关系、文本主题和情感特征，构建社交媒体异常用户特征体系，并利用图注意力网络构建异常用户分类预测模型。[结果/结论]本文所构建的社交媒体异常用户特征体系具备完整性和普适性，且异常用户预测模型的分类准确率达到92.8%。相比其他分类模型，本文所构建的图注意力预测模型能够有效识别社交媒体中的异常用户。此外，关系特征、主题特征以及用户注册时间对预测异常用户的贡献度较高，在体征体系中具有较高的重要性。

大数据时代,深度学习算法的不断完善丰富了量化投资领域的分析方法,在众多量化投资策略中,多因子选股策略因其稳定的收益而备受投资者青睐。本文借助Tushare Pro金融大数据平台和聚宽量化交易平台,选取2009年10月至2019年3月沪深300各成分股日度数据作为研究对象,全面选取行情类、财务类、技术类和投资者情绪类四个类别共117个因子构建初始因子池,利用集成思想综合计算Pearson相关系数、距离相关系数、基于AIC准则的Elastic Net、基于BIC准则的Elastic Net、随机森林和GBDT共六个模型对于各个因子的重要性进行评分,筛选出68个因子;运用自注意力神经网络模型,通过过去60个交易日的因子数据,预测各成分股未来一个月的价格变动趋势,按上涨概率大小选取出前50只股票按等权重的资金分配方式构建投资组合,以月为周期进行投资组合的更新。实证结果表明,该投资策略相比于沪深300指数具有更高的收益和较低的风险。

【目的】针对物候期识别传统方法特征提取不充分、未对关键特征进行区分,导致方法泛化能力较差、迁移应用识别精度低的问题,本研究将注意力机制引入残差神经网络,结合基于数字照相的物候观测方式,提出具有较强细粒度特征识别能力且实用性较强的林木物候期识别方法,从而为林木的长期实时物候监测提供技术支撑。【方法】以PhenoCam中的栎林及槭林像片为研究材料,选取2017—2018年的数据作为训练集,以2019年的数据评价模型的泛化能力。研究结合实地观测数据对研究区的林木物候期进行划分,设计数据裁剪公式,在增强数据的同时均衡各个物候期数据的数量。研究基于ResNet50残差神经网络设计了深度学习模型,针对林木物候期差异较小的特性引入了注意力机制,注意力模块在通道及空间维度对神经网络提取的特征进行再处理,提升了模型对细粒度图像差异的识别能力。【结果】注意力机制的引入有效提升了模型的泛化能力,增强了模型对易混淆物候期的识别能力,在未参与训练的19年数据集的栎林物候期识别取得了90.58%的准确率,槭林物候期识别准确率为89.27%,较引入前模型准确率在两个研究区分别提升21.86%与13.15%,优于传统AlexNet和HOG-SVM方法。【结论】基于残差注意力网络的林木物候期识别方法较好解决了原有方法泛化能力较差的问题,该方法具有准确度高、迁移应用能力强等优势,能对易混淆的林木物候期进行精准区分,适用于林木物候的长期观测。

由于背景噪声、混响以及人声干扰等因素,远场语音识别任务一直充满挑战性。该文针对远场语音识别任务,提出基于注意力机制和多任务学习框架的长短时记忆递归神经网络(long short-term memory,LSTM)声学模型。模型中嵌入的注意力机制使其自动学习调整对扩展上下文特征输入的关注度,显著提升了模型对远场语音的建模能力。为进一步提高模型的鲁棒性,引入多任务学习框架,使其联合预测声学状态和干净特征。AMI数据集上的实验结果表明:与基线模型相比,引入注意力机制和多任务学习框架的LSTM模型获得了1.5%的

既要了解受众注意的内容和方式，更要对传播的内容和接受方式进行价值倾向的引导。充分发挥群体的影响力和感召力，发现和整合受众的政治态度和政治倾向。有意识、有目的地干预受众心理倾向，在其注意力形成的源头把好关。

为解决字符分割错误造成的车牌识别错误,提出一种基于卷积神经网络的端到端的车牌识别算法,该算法首先采用基于颜色定位、文字定位和边缘检测的方法从自然场景中提取出车牌,由于样本量的问题,采用车牌生成器对车牌样本进行扩充,得到80602张车牌数据,将车牌按照7:1分为训练集和测试集,使用改进的AlexNet网络生成端到端的深度学习模型进行训练,并使用得到的模型进行车牌字符识别,车牌识别准确率达到96.7%。实验结果表明,该方法车牌识别准确率高,且鲁棒性较好。

针对基于卷积神经网络的图像识别采用随机初始化网络权值的方法易收敛到局部最优值的问题,该文提出了一种结合无监督和有监督学习的网络权值预训练算法。融合零成分分析白化与深度信念网络预学习得到的特征,对卷积神经网络权值进行初始化;通过卷积、池化等操作,对训练样本进行特征提取并使用全连接网络对特征进行分类;计算分类损失函数并优化网络参数。在公开图像数据库中进行了大量实验,与公开最佳算法比较,该算法在MNIST中的识别错误率降低了0.1%,在Caltech101中的分类准确率提升了0.56%,验证了该算法优于现有算法。

针对双流卷积神经网络存在的网络结构较浅、时间流及空间流网络均为独立训练学习、并未学习到时空网络之间关联信息等问题,文章设计了基于双流卷积神经网络的人体动作识别改进算法。采用Res Net-34对原网络进行替换,加深网络结构;将时间流、空间流网络提前进行特征图融合,加强时空网络信息融合的充分性。文章还对具体的融合方式和融合位置进行了实验研究,确定了网络最佳融合策略,在UCF-101数据集上的识别率为91.5%,相较于原网络以及其他相关识别方法有更高的识别精度。