CN113313169B - 基于深度学习的训练素材智能识别方法、装置和设备 - Google Patents

基于深度学习的训练素材智能识别方法、装置和设备 Download PDF

Info

Publication number
CN113313169B
CN113313169B CN202110594522.9A CN202110594522A CN113313169B CN 113313169 B CN113313169 B CN 113313169B CN 202110594522 A CN202110594522 A CN 202110594522A CN 113313169 B CN113313169 B CN 113313169B
Authority
CN
China
Prior art keywords
training
image
scale
small
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110594522.9A
Other languages
English (en)
Other versions
CN113313169A (zh
Inventor
徐庆尧
侯翔
耿艳栋
杨超
唐立文
周雯雯
涂遗
王代强
胥霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Original Assignee
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peoples Liberation Army Strategic Support Force Aerospace Engineering University filed Critical Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority to CN202110594522.9A priority Critical patent/CN113313169B/zh
Publication of CN113313169A publication Critical patent/CN113313169A/zh
Application granted granted Critical
Publication of CN113313169B publication Critical patent/CN113313169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及基于深度学习的训练素材智能识别方法、装置和设备，方法包括：获取不同型号和分辨率的训练采集图像，对各训练采集图像进行标准化处理得到尺寸统一的各训练图像；采用小尺度判别模型进行各训练图像的归属部位及质量判别，得到小尺度判别结果；采用基于监督式生成对抗网络的图像显著性检测模型，对判别的非显性训练图像进行非显著性信息识别检测，输出精确的显著图像；非显性训练图像为小尺度判别结果中识别到疑似非规范动作的训练图像；采用大尺度判别模型对显著图像进行特征识别，得到代表显著图像对应的训练图像的最优特征图。大幅提升了训练图像数据采集质量。

Description

基于深度学习的训练素材智能识别方法、装置和设备
技术领域
本申请涉及大数据处理与应用技术领域，特别是涉及一种基于深度学习的训练素材智能识别方法、装置和设备。
背景技术
随着军队信息化建设向纵深推进和以云计算、大数据、人工智能为代表的新技术的飞速发展，军事训练领域迎来了思想观念上的变革和方法手段上的革新。数字化、网络化程度不断提升，军事训练活动中产生数据的种类日益增多且数量成倍增长，用大数据理念指导军事训练实践，已经成为各级对训练规律认识、训练效果评估、训练效益评价和训练质量监察必不可少的基础支撑。
深入发掘训练数据的潜在价值，分析大数据技术在军事训练中的应用，积极探索推进军事训练大数据建设的对策措施，对于提高军事训练效益，推进军事训练创新发展具有十分重要的意义。然而，在实现本发明过程中，发明人发现前述传统的军事训练数据的处理方法中，除了装备产生的数据可以自动记录和采集外，大量训练数据需要人工采集，存在着训练图像数据采集质量不高的技术问题。
发明内容
基于此，有必要针对上述技术问题，提供一种显著提升训练图像数据采集质量的基于深度学习的训练素材智能识别方法、一种基于深度学习的训练素材智能识别装置、一种计算机设备以及一种计算机可读存储介质。
为了实现上述目的，本发明实施例采用以下技术方案：
一方面，本发明实施例提供一种基于深度学习的训练素材智能识别方法，包括步骤：
获取不同型号和分辨率的训练采集图像，对各训练采集图像进行标准化处理得到尺寸统一的各训练图像；
采用小尺度判别模型进行各训练图像的归属部位及质量判别，得到小尺度判别结果；小尺度判别模型为基于深度卷积神经网络搭建的训练数据质量及部位的小尺度判别模型，小尺度判别结果包括图像质量的达标情况以及图像所属的部位；
采用基于监督式生成对抗网络的图像显著性检测模型，对判别的非显性训练图像进行非显著性信息识别检测，输出精确的显著图像；非显性训练图像为小尺度判别结果中识别到疑似非规范动作的训练图像；
采用大尺度判别模型对显著图像进行特征识别，得到代表显著图像对应的训练图像的最优特征图；大尺度判别模型为基于多尺度特征融合的训练图像质量及部位的大尺度判别模型。
另一方面，还提供一种基于深度学习的训练素材智能识别装置，包括：
数据标准化模块，用于获取不同型号和分辨率的训练采集图像，对各训练采集图像进行标准化处理得到尺寸统一的各训练图像；
小尺度识别模块，用于采用小尺度判别模型进行各训练图像的归属部位及质量判别，得到小尺度判别结果；小尺度判别模型为基于深度卷积神经网络搭建的训练数据质量及部位的小尺度判别模型，小尺度判别结果包括图像质量的达标情况以及图像所属的部位；
对抗识别模块，用于采用基于监督式生成对抗网络的图像显著性检测模型，对判别的非显性训练图像进行非显著性信息识别检测，输出精确的显著图像；非显性训练图像为小尺度判别结果中识别到疑似非规范动作的训练图像；
大尺度识别模块，用于采用大尺度判别模型对显著图像进行特征识别，得到代表显著图像对应的训练图像的最优特征图；大尺度判别模型为基于多尺度特征融合的训练图像质量及部位的大尺度判别模型。
又一方面，还提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述基于深度学习的训练素材智能识别方法的步骤。
再一方面，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述基于深度学习的训练素材智能识别方法的步骤。
上述技术方案中的一个技术方案具有如下优点和有益效果：
上述基于深度学习的训练素材智能识别方法、装置和设备，首先对不同型号和分辨率的训练采集图像进行标准化处理，以消除图像量纲影响，提高模型精度和收敛速度；然后先后采用小尺度判别模型、基于监督式生成对抗网络的图像显著性检测模型和大尺度判别模型进行各阶段的识别检测，从而实现训练图像的归属部位及图像质量检测识别、非显性信息识别以及特定区域图像质量及部位的大尺度识别，有效地大幅提升训练图像数据采集质量。通过数据增强处理来扩充训练样本，降低模型过拟合的可能性，提升模拟的泛化能力和鲁棒性。
附图说明
图1为一个实施例中基于深度学习的训练图像智能化识别模型示意图；
图2为一个实施例中基于深度学习的训练素材智能识别方法的流程示意图；
图3为一个实施例中监督式生成对抗网络结构的示意图；
图4为一个实施例中多尺度特征融合深度卷积结构设计示意图；
图5为一个实施例中基于深度学习的训练素材智能识别装置的模块结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明针对传统的军事训练数据的处理方法中，存在的训练图像数据采集质量不高的技术问题，提出了有效的解决方法，通过采用训练的小尺度判别模型、基于监督式生成对抗网络的图像显著性检测模型和大尺度判别模型改进搭建基于深度学习的训练图像智能化识别模型，如图1所示，对训练采集图像进行智能识别处理，实现训练图像的归属部位及图像质量检测识别、非显性信息识别以及特定区域图像质量及部位的大尺度识别，从而有效地大幅提升训练图像数据采集质量。
请参阅图2，在一个实施例中，本发明提供一种基于深度学习的训练素材智能识别方法，包括如下步骤S12至S18：
S12，获取不同型号和分辨率的训练采集图像，对各训练采集图像进行标准化处理得到尺寸统一的各训练图像。
可以理解，计算设备获取不同型号和分辨率的训练采集图像的方式例如但不限于：可以通过人工收集并输入计算设备中而获得，或者可以直接从采集并存储这些训练采集图像的数据库服务器上请求获得。此步骤中，首先进行数据预处理，将不同型号和分辨率的训练采集图像进行标准化处理，统一尺寸，消除图像量纲影响，提高模型精度和收敛速度。标准化处理的过程中所采用的统一尺寸，可以是本领域中各类标准尺寸，只要能够满足实际处理的需要即可。
S14，采用小尺度判别模型进行各训练图像的归属部位及质量判别，得到小尺度判别结果；小尺度判别模型为基于深度卷积神经网络搭建的训练数据质量及部位的小尺度判别模型，小尺度判别结果包括图像质量的达标情况以及图像所属的部位。
可以理解，针对训练数据采集部位多、尺度不一、质量参差不齐的情况，为配合训练数据控制管理采集规范体系和图像的采集质量，可以设计并训练一个基于深度学习的训练数据质量及部位的小尺度判别模型，用以识别图像属于哪个部位，是否满足设定的质量要求，为下一步识非规范动作图像的识别检测奠定数据基础，为训练数据质量控制体系的可操作性提供工具支撑。图像质量可以预先给定，例如但不限于像素值标准、清晰度标准和对比度标准等。
在一些实施方式中，用于训练得到小尺度判别模型的深度卷积神经网络包括VGGNet、GoogleNet、ResNet和SENet。
可以理解，前述各深度卷积神经网络均为本领域已有并广泛应用的神经网络。在技术路线上，基于深度学习的训练数据质量及部位的多尺度判别模型属于图像分类的问题，采用典型的VGGNet、GoogleNet、ResNet和SENet分别进行训练数据场景实验并结合实际应用加以改进，训练得到所需的小尺度判别模型，以提高训练图像考核与评估过程中判别训练图像归属部位及相关质量的能力。小尺度判别模型采用典型深度卷积神经网络进行训练改进的方式，可以参照本领域中深度卷积神经网络的训练方式同理理解，结合本申请的训练采集数据进行场景实验并加以调整，直至达到所需的识别检测效果即可。
S16，采用基于监督式生成对抗网络的图像显著性检测模型，对判别的非显性训练图像进行非显著性信息识别检测，输出精确的显著图像；非显性训练图像为小尺度判别结果中识别到疑似非规范动作的训练图像。
可以理解，非规范动作是指军事训练中参训人员实施的未符合标准动作的训练动作。在完成小尺度训练数据质量及部位判别模型基础上，采用基于监督式生成对抗网络的图像显著性区域检测方法，模仿人眼的视觉注意机制，自动预测、定位和挖掘训练图像数据中的非显性信息。其中，卷积神经网络的布局接近于实际的生物神经网络，其稀疏交互、权值参数共享等特性在图像分析处理方面有着特定的优势，适用于训练数据多显著性特征区域的检测。传统的卷积神经网络一般在完整的图像数据上进行训练后提取图像的多尺度对比度显著特征，并通过网络训练学习获取高质量的图像显著性模型，如U-Net、Mask RCNN、DeepLab、Deep Extreme Cut、Two Stream Fusion和SegFast等传统卷积神经网络。前述各传统模型普遍存在复杂场景检测效果不好，显著对象边界不清晰等问题。
因此，针对疑似非规范动作的训练图像，研究基于监督式生成对抗网络的训练图像显著性区域检测方法，利用显著性识别模仿人眼的视觉注意机制，自动预测、定位和挖掘训练图像中的非显性信息，利用卷积神经网络稀疏交互、权值参数共享等特性在图像分析方面的优势，选用特定网络结构构建监督式生成对抗网络，经生成器网络与鉴别器网络间交替训练、相互对抗来提高各自的性能，同时采用改进的损失函数计算方法，使用鉴别器的误差来计算梯度，通过研究显著性区域检测的方法来增强训练图像的智能化识别能力。
在一些实施方式中，采用基于监督式生成对抗网络的图像显著性检测方法，利用深度卷积神经网络构建监督式生成对抗网络，经生成器网络与鉴别器网络两个子网络间交替训练，相互对抗以提高各自的性能，使网络准确学习到图像显著区域的特征，进而使生成器输出精确的显著对象分布图。模型总体结构如图3所示，基于监督式生成对抗网络的图像显著性检测模型包括生成器网络和鉴别器网络，生成器网络为U-Net网络结构。需要说明的是，图3中，GS表示生成器，DJ表示鉴别器。
可以理解，生成器选用U-Net网络结构代替传统的编码器-鉴别器结构。关于上述步骤S16中，对判别的非显性训练图像进行非显著性信息识别检测，输出精确的显著图像的过程，具体可以包括如下处理步骤：
S162，将非显性训练图像经过生成器网络和鉴别器网络进行交替训练，提取图像高级显著特征并将编码器输出直连至同层级的解码器；
S164，通过鉴别器采用监督式学习调整优化网络参数且生成器持续更新参数输出更逼真图，进行对抗训练；
S166，采用混合损失函数进行预测图像处理，输出精确的显著图像；混合损失函数包括基础损失函数和改进损失函数，改进损失函数为：
Figure BDA0003090443340000071
其中，x表示输入像素，
Figure BDA0003090443340000081
表示真值图像的代取期望，
Figure BDA0003090443340000082
表示图像元素的代取期望，D(x,y)表示采样数据，y表示真值图像数据，G(x)表示生成器输出值。
具体的，生成器通过一系列卷积、激活和池化等操作逐步提取图像高级显著特征，网络同时将编码器输出直接连接到同层级的解码器上，避免信息被过度压缩而导致生成图像质量下降。鉴别器采用监督式学习来调整优化网络参数，生成器也不断更新参数输出更逼真图。其中，卷积层有多个卷积核，可提取多个特征：
Figure BDA0003090443340000083
其中，x表示待处理数据矩阵，f表示激活函数，Mj表示选用的输入图像集合，k表示卷积核矩阵，b表示偏置矩阵，i表示输入图像通道，j表示输出图像通道，l表示卷积层层数。激活函数为ReLU函数。池化层将原图像中的各像素块(N×N)压缩为一个像素来减小参数数量，同时能缓解过拟合。
最大池化为：
Figure BDA0003090443340000084
其中，x表示输入像素，x'表示输出像素，m表示像素行值，n表示像素列值。卷积层加池化层对图像进行尺寸压缩，同时深度增加。相比传统网络的输入为随机噪声，对抗网络输入为原始图像起到了有条件监督，能使预测图像尽量逼近真值图。传统的损失函数采用预测图像与真值图像素之间的绝对距离(L1误差)来计算的方式，会导致预测图像模糊。
传统的损失函数为：
Figure BDA0003090443340000085
其中，y表示真值图像数据，G(x)表示生成器输出值。前述基础损失函数也即已有的前述传统的损失函数。本申请中，引入改进的损失函数LG(G,D)，然后与传统的损失函数结合，获得最终的损失函数，也即前述混合损失函数：
Figure BDA0003090443340000091
其中，Loss(G,D)表示混合损失函数，
Figure BDA0003090443340000092
表示权重，其值可以通过实验设置，如可以结合两个损失函数进行实验，根据实验效果最佳或应用所需实际效果来设置合适的权重值。
新的损失函数计算方法，使用鉴别器的误差来计算梯度，当鉴别器的性能越来越好时，对抗生成网络将会自动训练生成器去对抗鉴别器；反过来，生成器也能通过误差函数梯度下降法来学习到更好的映射函数，从而产生更佳的输出显著图像。
S18，采用大尺度判别模型对显著图像进行特征识别，得到代表显著图像对应的训练图像的最优特征图；大尺度判别模型为基于多尺度特征融合的训练图像质量及部位的大尺度判别模型。
可以理解，针对特定区域的图像，传统卷积神经网络的低层次特征缺乏代表性，而高层次的特征则对小尺度目标的监测能力弱，结合训练图像中分形、纹理、边缘等低层次特征，引入多个不同层次的卷积层进行特征提取，设计并训练一个多尺度特征融合的深度学习训练图像质量及部位的大尺度判别模型，例如可以通过在传统卷积神经网络的基础上，引出多个不同层次的卷积层并增加BN层(Batch Normalization layer，批量规范化层)来实现所需模型的构建与训练，以将高层次的深度学习特征和低层次的图像特征融合，获得训练数据图像著性区域原始图像数据的最优特征表示，使得诊断信息更加完整，以提高分类识别精度。
上述基于深度学习的训练素材智能识别方法，首先对不同型号和分辨率的训练采集图像进行标准化处理，以消除图像量纲影响，提高模型精度和收敛速度；然后先后采用小尺度判别模型、基于监督式生成对抗网络的图像显著性检测模型和大尺度判别模型进行各阶段的识别检测，从而实现训练图像的归属部位及图像质量检测识别、非显性信息识别以及特定区域图像质量及部位的大尺度识别，有效地大幅提升训练图像数据采集质量。通过数据增强处理来扩充训练样本，降低模型过拟合的可能性，提升模拟的泛化能力和鲁棒性。
请参阅图4，在一个实施例中，大尺度判别模型通过在经典卷积神经网络的基础上，引出conv4_3、conv7、conv8_2、conv9_2、conv10_2和conv11_2卷积层并在不同方向的特征图前增加BN层训练得到。
可以理解，在技术路线上看，大尺度判别模型的设计框架，可以在经典卷积神经网络(也即传统CNN网络)的基础上，引出conv4_3、conv7、conv8_2、conv9_2、conv10_2和conv11_2等多个不同层次的卷积层进行特征提取，框架如图4所示。其中，conv4_3提取到更加细微的信息，conv11_2充分获取全局信息。为避免低层特征图与高层特征图中信息分布不同，直接融合造成特征图之间信息差异较大的情况，在不同方向的特征图前增加BN层，以加快模型收敛速度，同时缓解深层网络的梯度弥散，使得网络的训练更加容易和稳定。
在一个实施例中，关于上述步骤S18，具体可以包括如下处理步骤：
S182，获取大尺度判别模型进行特征识别输出的融合后的特征图；
S184，采用3×3卷积核进行卷积处理，得到保留多尺度特征的特定训练数据区域特征图；
S186，对特定训练数据区域特征图进行聚合后利用非极大抑制处理，得到最优特征图。
具体的，将融合后的特征图采用3×3卷积核进行卷积处理操作，减小特征图融合后的混叠效应。最后获得保留多尺度特征的特定训练数据区域特征图；对预测框进行聚合，最后利用非极大抑制(NMS)实现最终的检测效果。
应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且图2的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
请参阅图5，还提供了一种基于深度学习的训练素材智能识别装置100，包括数据标准化模块13、小尺度识别模块15、对抗识别模块17和大尺度识别模块19。其中，数据标准化模块13用于获取不同型号和分辨率的训练采集图像，对各训练采集图像进行标准化处理得到尺寸统一的各训练图像。小尺度识别模块15用于采用小尺度判别模型进行各训练图像的归属部位及质量判别，得到小尺度判别结果；小尺度判别模型为基于深度卷积神经网络搭建的训练数据质量及部位的小尺度判别模型，小尺度判别结果包括图像质量的达标情况以及图像所属的部位。对抗识别模块17用于采用基于监督式生成对抗网络的图像显著性检测模型，对判别的非显性训练图像进行非显著性信息识别检测，输出精确的显著图像；非显性训练图像为小尺度判别结果中识别到疑似非规范动作的训练图像。大尺度识别模块19用于采用大尺度判别模型对显著图像进行特征识别，得到代表显著图像对应的训练图像的最优特征图；大尺度判别模型为基于多尺度特征融合的训练图像质量及部位的大尺度判别模型。
上述基于深度学习的训练素材智能识别装置100，通过各模块的协作，首先对不同型号和分辨率的训练采集图像进行标准化处理，以消除图像量纲影响，提高模型精度和收敛速度；然后先后采用小尺度判别模型、基于监督式生成对抗网络的图像显著性检测模型和大尺度判别模型进行各阶段的识别检测，从而实现训练图像的归属部位及图像质量检测识别、非显性信息识别以及特定区域图像质量及部位的大尺度识别，有效地大幅提升训练图像数据采集质量。通过数据增强处理来扩充训练样本，降低模型过拟合的可能性，提升模拟的泛化能力和鲁棒性。
在一个实施例中，上述小尺度识别模块15中，用于训练得到小尺度判别模型的深度卷积神经网络包括VGGNet、GoogleNet、ResNet和SENet。
在一个实施例中，上述对抗识别模块17实现的处理功能中，基于监督式生成对抗网络的图像显著性检测模型包括生成器网络和鉴别器网络，生成器网络为U-Net网络结构。
上述对抗识别模块17实现的处理功能中，在用于实现对判别的非显性训练图像进行非显著性信息识别检测，输出精确的显著图像的过程中，具体可以用于实现如下处理功能：
将非显性训练图像经过生成器网络和鉴别器网络进行交替训练，提取图像高级显著特征并将编码器输出直连至同层级的解码器；通过鉴别器采用监督式学习调整优化网络参数且所述生成器持续更新参数输出更逼真图，进行对抗训练；采用混合损失函数进行预测图像处理，输出精确的所述显著图像。
混合损失函数包括基础损失函数和改进损失函数，改进损失函数为：
Figure BDA0003090443340000121
其中，x表示输入像素，
Figure BDA0003090443340000122
表示真值图像的代取期望，
Figure BDA0003090443340000123
表示图像元素的代取期望，D(x,y)表示采样数据，y表示真值图像数据，G(x)表示生成器输出值。
在一个实施例中，上述大尺度识别模块19中，大尺度判别模型通过在经典卷积神经网络的基础上，引出conv4_3、conv7、conv8_2、conv9_2、conv10_2和conv11_2卷积层并在不同方向的特征图前增加BN层训练得到。
在一个实施例中，上述大尺度识别模块19具体可以用于实现如下功能：获取大尺度判别模型进行特征识别输出的融合后的特征图；采用3×3卷积核进行卷积处理，得到保留多尺度特征的特定训练数据区域特征图；对特定训练数据区域特征图进行聚合后利用非极大抑制处理，得到最优特征图。
关于基于深度学习的训练素材智能识别装置100的具体限定，可以参见上文中基于深度学习的训练素材智能识别方法的相应限定，在此不再赘述。上述基于深度学习的训练素材智能识别装置100中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于具体数据处理功能的设备中，也可以软件形式存储于前述设备的存储器中，以便于处理器调用执行以上各个模块对应的操作，前述设备可以是本领域各类计算机设备。
又一方面，还提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时可以实现以下步骤：获取不同型号和分辨率的训练采集图像，对各训练采集图像进行标准化处理得到尺寸统一的各训练图像；采用小尺度判别模型进行各训练图像的归属部位及质量判别，得到小尺度判别结果；小尺度判别模型为基于深度卷积神经网络搭建的训练数据质量及部位的小尺度判别模型，小尺度判别结果包括图像质量的达标情况以及图像所属的部位；采用基于监督式生成对抗网络的图像显著性检测模型，对判别的非显性训练图像进行非显著性信息识别检测，输出精确的显著图像；非显性训练图像为小尺度判别结果中识别到疑似非规范动作的训练图像；采用大尺度判别模型对显著图像进行特征识别，得到代表显著图像对应的训练图像的最优特征图；大尺度判别模型为基于多尺度特征融合的训练图像质量及部位的大尺度判别模型。
在一个实施例中，处理器执行计算机程序时还可以实现上述基于深度学习的训练素材智能识别方法各实施例中增加的步骤或者子步骤。
再一方面，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取不同型号和分辨率的训练采集图像，对各训练采集图像进行标准化处理得到尺寸统一的各训练图像；采用小尺度判别模型进行各训练图像的归属部位及质量判别，得到小尺度判别结果；小尺度判别模型为基于深度卷积神经网络搭建的训练数据质量及部位的小尺度判别模型，小尺度判别结果包括图像质量的达标情况以及图像所属的部位；采用基于监督式生成对抗网络的图像显著性检测模型，对判别的非显性训练图像进行非显著性信息识别检测，输出精确的显著图像；非显性训练图像为小尺度判别结果中识别到疑似非规范动作的训练图像；采用大尺度判别模型对显著图像进行特征识别，得到代表显著图像对应的训练图像的最优特征图；大尺度判别模型为基于多尺度特征融合的训练图像质量及部位的大尺度判别模型。
在一个实施例中，计算机程序被处理器执行时，还可以实现上述基于深度学习的训练素材智能识别方法各实施例中增加的步骤或者子步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线式动态随机存储器(Rambus DRAM，简称RDRAM)以及接口动态随机存储器(DRDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可做出若干变形和改进，都属于本申请保护范围。因此本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于深度学习的训练素材智能识别方法，其特征在于，包括步骤：
获取不同型号和分辨率的训练采集图像，对各所述训练采集图像进行标准化处理得到尺寸统一的各训练图像；
采用小尺度判别模型进行各所述训练图像的归属部位及质量判别，得到小尺度判别结果；所述小尺度判别模型为基于深度卷积神经网络搭建的训练数据质量及部位的小尺度判别模型，所述小尺度判别结果包括图像质量的达标情况以及图像所属的部位；
采用基于监督式生成对抗网络的图像显著性检测模型，对判别的非显性训练图像进行非显著性信息识别检测，输出精确的显著图像；所述非显性训练图像为所述小尺度判别结果中识别到疑似非规范动作的所述训练图像；
采用大尺度判别模型对所述显著图像进行特征识别，得到代表所述显著图像对应的所述训练图像的最优特征图；所述大尺度判别模型为基于多尺度特征融合的训练图像质量及部位的大尺度判别模型。
2.根据权利要求1所述的基于深度学习的训练素材智能识别方法，其特征在于，所述基于监督式生成对抗网络的图像显著性检测模型包括生成器网络和鉴别器网络，所述生成器网络为U-Net网络结构；
对判别的非显性训练图像进行非显著性信息识别检测，输出精确的显著图像的过程，包括：
将所述非显性训练图像经过所述生成器网络和鉴别器网络进行交替训练，提取图像高级显著特征并将编码器输出直连至同层级的解码器；
通过所述鉴别器采用监督式学习调整优化网络参数且所述生成器持续更新参数输出更逼真图，进行对抗训练；
采用混合损失函数进行预测图像处理，输出精确的所述显著图像；所述混合损失函数包括基础损失函数和改进损失函数，所述改进损失函数为：
Figure FDA0003090443330000021
其中，x表示输入像素，
Figure FDA0003090443330000022
表示真值图像的代取期望，
Figure FDA0003090443330000023
表示图像元素的代取期望，D(x,y)表示采样数据，y表示真值图像数据，G(x)表示生成器输出值。
3.根据权利要求1或2所述的基于深度学习的训练素材智能识别方法，其特征在于，所述大尺度判别模型通过在经典卷积神经网络的基础上，引出conv4_3、conv7、conv8_2、conv9_2、conv10_2和conv11_2卷积层并在不同方向的特征图前增加BN层训练得到。
4.根据权利要求3所述的基于深度学习的训练素材智能识别方法，其特征在于，采用大尺度判别模型对所述显著图像进行特征识别，得到代表所述显著图像对应的所述训练图像的最优特征图的步骤，包括：
获取所述大尺度判别模型进行特征识别输出的融合后的特征图；
采用3×3卷积核进行卷积处理，得到保留多尺度特征的特定训练数据区域特征图；
对所述特定训练数据区域特征图进行聚合后利用非极大抑制处理，得到所述最优特征图。
5.根据权利要求1所述的基于深度学习的训练素材智能识别方法，其特征在于，用于训练得到所述小尺度判别模型的所述深度卷积神经网络包括VGGNet、GoogleNet、ResNet和SENet。
6.一种基于深度学习的训练素材智能识别装置，其特征在于，包括：
数据标准化模块，用于获取不同型号和分辨率的训练采集图像，对各所述训练采集图像进行标准化处理得到尺寸统一的各训练图像；
小尺度识别模块，用于采用小尺度判别模型进行各所述训练图像的归属部位及质量判别，得到小尺度判别结果；所述小尺度判别模型为基于深度卷积神经网络搭建的训练数据质量及部位的小尺度判别模型，所述小尺度判别结果包括图像质量的达标情况以及图像所属的部位；
对抗识别模块，用于采用基于监督式生成对抗网络的图像显著性检测模型，对判别的非显性训练图像进行非显著性信息识别检测，输出精确的显著图像；所述非显性训练图像为所述小尺度判别结果中识别到疑似非规范动作的所述训练图像；
大尺度识别模块，用于采用大尺度判别模型对所述显著图像进行特征识别，得到代表所述显著图像对应的所述训练图像的最优特征图；所述大尺度判别模型为基于多尺度特征融合的训练图像质量及部位的大尺度判别模型。
7.根据权利要求6所述的基于深度学习的训练素材智能识别装置，其特征在于，所述基于监督式生成对抗网络的图像显著性检测模型包括生成器网络和鉴别器网络，所述生成器网络为U-Net网络结构。
8.根据权利要求6所述的基于深度学习的训练素材智能识别装置，其特征在于，所述大尺度判别模型通过在经典卷积神经网络的基础上，引出conv4_3、conv7、conv8_2、conv9_2、conv10_2和conv11_2卷积层并在不同方向的特征图前增加BN层训练得到。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述基于深度学习的训练素材智能识别方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现权利要求1至5中任一项所述基于深度学习的训练素材智能识别方法的步骤。
CN202110594522.9A 2021-05-28 2021-05-28 基于深度学习的训练素材智能识别方法、装置和设备 Active CN113313169B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110594522.9A CN113313169B (zh) 2021-05-28 2021-05-28 基于深度学习的训练素材智能识别方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110594522.9A CN113313169B (zh) 2021-05-28 2021-05-28 基于深度学习的训练素材智能识别方法、装置和设备

Publications (2)

Publication Number Publication Date
CN113313169A CN113313169A (zh) 2021-08-27
CN113313169B true CN113313169B (zh) 2022-10-11

Family

ID=77376172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110594522.9A Active CN113313169B (zh) 2021-05-28 2021-05-28 基于深度学习的训练素材智能识别方法、装置和设备

Country Status (1)

Country Link
CN (1) CN113313169B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023220891A1 (en) * 2022-05-16 2023-11-23 Intel Corporation Resolution-switchable segmentation networks
CN116311081B (zh) * 2023-05-12 2023-08-22 天津医科大学 一种基于图像识别的医学实验室监控图像分析方法和***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135366B (zh) * 2019-05-20 2021-04-13 厦门大学 基于多尺度生成对抗网络的遮挡行人重识别方法
CN110689599B (zh) * 2019-09-10 2023-05-19 上海大学 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN112348762A (zh) * 2020-11-30 2021-02-09 上海海事大学 一种基于多尺度融合生成对抗网络的单幅图像去雨方法

Also Published As

Publication number Publication date
CN113313169A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN111291755B (zh) 对象检测模型训练及对象检测方法、装置、计算机设备和存储介质
WO2020253629A1 (zh) 检测模型训练方法、装置、计算机设备和存储介质
CN108830326B (zh) 一种mri图像的自动分割方法及装置
CN110852316B (zh) 一种采用密集结构卷积网络的图像篡改检测和定位方法
JP6330385B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN113313169B (zh) 基于深度学习的训练素材智能识别方法、装置和设备
CN111260055A (zh) 基于三维图像识别的模型训练方法、存储介质和设备
CN111291809A (zh) 一种处理装置、方法及存储介质
CN110246579B (zh) 一种病理诊断方法及装置
CN113111716B (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN115439654B (zh) 动态约束下的弱监督农田地块精细化分割方法及***
CN111160389A (zh) 一种基于融合vgg的岩性识别方法
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN111815609A (zh) 基于情境感知及多模型融合的病理图像分类方法及***
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
CN114049935A (zh) 一种基于多卷积神经网络的her2图像分类***
CN112529025A (zh) 一种数据处理方法及装置
CN113591608A (zh) 一种基于深度学习的高分辨率遥感影像不透水面提取方法
CN113570573A (zh) 混合注意力机制的肺结节假阳性排除方法、***、设备
CN110991408B (zh) 基于深度学习方法分割脑白质高信号的方法和装置
CN112465821A (zh) 一种基于边界关键点感知的多尺度害虫图像检测方法
CN117253192A (zh) 用于桑蚕养殖的智能***及方法
CN116563205A (zh) 基于小目标检测和改进YOLOv5的麦穗计数检测方法
Ekman et al. Task based semantic segmentation of soft X-ray CT images using 3D convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant