CN112308138B - 模型采样方法、装置、计算机设备及存储介质 - Google Patents

模型采样方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112308138B
CN112308138B CN202011185071.5A CN202011185071A CN112308138B CN 112308138 B CN112308138 B CN 112308138B CN 202011185071 A CN202011185071 A CN 202011185071A CN 112308138 B CN112308138 B CN 112308138B
Authority
CN
China
Prior art keywords
images
image
group
detected
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011185071.5A
Other languages
English (en)
Other versions
CN112308138A (zh
Inventor
梅栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN202011185071.5A priority Critical patent/CN112308138B/zh
Publication of CN112308138A publication Critical patent/CN112308138A/zh
Application granted granted Critical
Publication of CN112308138B publication Critical patent/CN112308138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术领域，尤其涉及一种模型采样方法、装置、设备及存储介质。该模型采样方法包括获取低分辨率图像；其中，所述低分辨率图像包括多个特征通道；对所述多个特征通道进行均匀分组，得到多组待测图像；将每组所述待测图像输入至预先训练好的注意力模型中，得到每组所述待测图像对应的权重图像；采用每组所述待测图像对应的权重图像对每组所述待测图像进行不均匀采样处理，得到每组所述待测图像对应的显著图像；对多个所述显著图像进行融合处理，得到待分类图像；将所述待分类图像输入至分类网络中进行分类。该模型采样方法可通过不均匀采样的方式突出图像中重点关注区域，从而提升后续分类网络的准确率。

Description

模型采样方法、装置、计算机设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种模型采样方法、装置、计算机设备及存储介质。
背景技术
随着深度学习的普及，现代的图像描述方法通常采用卷积神经网络(Convolutional Neural Network，CNN)进行图像检测。但对于图像检测任务，检测物的大小会影响不同卷积层对其的检测效果，高层卷积将原图像缩小的比例高，导致网络对小物体检测性能较差。
目前，为保证检测性能，一般是通过采用多尺度特征融合的方式，即使用不同层的输出作为对不同尺度物体识别的特征图输入，但这样会引入较大计算量，且不同层的输出结果的融合效果也无法保证。
发明内容
本发明实施例提供一种模型采样方法、装置、计算机设备及存储介质，以解决目前卷积神经网络中，由于高层卷积将原图像缩小的比例高，导致卷积网络对小物体检测性能较差的问题。
一种模型采样方法，包括：
获取低分辨率图像；其中，所述低分辨率图像包括多个特征通道；
对所述多个特征通道进行均匀分组，得到多组待测图像；
将每组所述待测图像输入至预先训练好的注意力模型中，得到每组所述待测图像对应的权重图像；
采用每组所述待测图像对应的权重图像对每组所述待测图像进行不均匀采样处理，得到每组所述待测图像对应的显著图像；
对多个所述显著图像进行融合处理，得到待分类图像；
将所述待分类图像输入至分类网络中进行分类。
一种模型采样方法装置，包括：
低分辨率图像获取模块，用于获取低分辨率图像；其中，所述低分辨率图像包括多个特征通道；
通道分组模块，用于对所述多个特征通道进行均匀分组，得到多组待测图像；
注意力处理模块，用于将每组所述待测图像输入至预先训练好的注意力模型中，得到每组所述待测图像对应的权重图像；
不均匀采样模块，用于采用每组所述待测图像对应的权重图像对每组所述待测图像进行不均匀采样处理，得到每组所述待测图像对应的显著图像；
图像融合模块，用于对多个所述显著图像进行融合处理，得到待分类图像；
图像分类模块，用于将所述待分类图像输入至分类网络中进行分类。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述模型采样方法的步骤。
一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述模型采样方法的步骤。
上述模型采样方法、装置、计算机设备及存储介质中，通过获取低分辨率图像，以便对多个特征通道进行均匀分组，得到多组待测图像，然后，将每组待测图像输入至预先训练好的注意力模型中，得到每组待测图像对应的权重图像，以使不同组的待测图像对应不同的权重图像，使模型可学习到不同权重图像的特征，从而提高模型的泛化性和鲁棒性。接着，采用每组待测图像对应的权重图像对每组待测图像进行不均匀采样处理，得到每组待测图像对应的显著图像，以完成在通道维度上的不均匀采样，实现增强待测图像中重要的特征，减弱不重要的特征，从而使提取的特征图像指向性更强，即使小物体在高层卷积中会由于被缩小的比例高，而使其重要的特征被弱化，但由于通过注意力模型将小物体的重要特征突出，不重要的特征减弱，故可使后续的分类网络可重点关注图像中的重要特征，有利于提升后续对小物体的检测性能，从而提高分类网络的分类准确率。最后，对多个显著图像进行融合处理，得到待分类图像，将待分类图像输入至分类网络中进行分类，可使分类网络更关注于图像的重点关注区域，从而提高分类网络的准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中模型采样方法的一应用环境示意图；
图2是本发明一实施例中模型采样方法的一流程图；
图3是图2中步骤S201的一具体流程图；
图4是图2中步骤S205的一具体流程图；
图5是图2中步骤S203的一具体流程图；
图6是本发明一实施例中模型采样方法的一流程图；
图7是本发明一实施例中模型采样方法装置的一示意图；
图8是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
该模型采样方法可应用在如图1的应用环境中，其中，计算机设备通过网络与服务器进行通信。计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器来实现。
在一实施例中，如图2所示，提供一种模型采样方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：
S201：获取低分辨率图像；其中，低分辨率图像包括多个特征通道。
其中，本方法可应用在任一图像预测或分类任务中，通过提高对小物体区域的采样密度，降低对无关区域的采样密度，以放大待分类的特征图中关注区域的面积，改善对小物体的检测效果，提高后续图像分类的准确率。
其中，低分辨率图像是通过对高分辨率图像进行均匀采样后所得到的特征图像。该图像特征提取网络即指特征提取骨干网络(backbone)。该低分辨率图像包括多个特征通道，每一特征通道用于描述不同的图像特征。
S202：对多个特征通道进行均匀分组，得到多组待测图像。
具体地，由于卷积网络通道数较多，故本实施例中通过将低分辨率图像的通道分组，以使不同组的待测图像对应不同的权重图像，使模型可学习到不同权重图像的特征，从而提高模型的泛化性和鲁棒性。
具体地，通过预先根据经验设定分组数量(例如8组)，以根据该分组数量对特征通道进行均匀分组，多个特征通道对应的图像组成待测图像，示例性地，若低分辨率图像中包括N个特征通道，分组数量为z，则可将N个特征通道分为Z组，每组包括相同(N/Z)个特征通道。
S203：将每组待测图像输入至预先训练好的注意力模型中，得到每组待测图像对应的权重图像。
其中，注意力模型为预先基于注意力机制训练好的显著性预测的CNN网络。显著图像即为注意力模型输出的注意力图像，该显著图像中的每一特征通道均被赋予对应的权重。注意力模型能够硬性选择输入的某些部分，或者给输入的不同部分配不同的权重，即每一特征通道的重要性。具体地，通过该注意力模型中的注意力机制，以放大待测图像中需要关注的区域，即对影响任务性能的区域赋予较高权重，从而提升后续分类网络的准确率。
本实施例中，通过将每组待测图像输入至预先训练好的注意力模型中，得到每组待测图像对应的权重图像，由于注意模型根据输入图像的不同，可输出不同的权重图像，故通过将多组待测图像输入至预先训练好的注意力模型中，可得到不同的权重图像，以使现图像预测/分类任务的网络可学习到不同的注意力模型参数，从而提高模型的泛化性和鲁棒性。
S204：采用每组待测图像对应的权重图像对每组待测图像进行不均匀采样处理，得到每组待测图像对应的显著图像。
其中，显著图像即突出图像重要特征的待测图像。具体地，可采用scale函数将1*1*D的权重图像通过乘法逐通道加权到先前的特征上，以完成在通道维度上的不均匀采样，实现增强待测图像中重要的特征，减弱不重要的特征，从而使提取的特征图像指向性更强，有利于提升后续分类的准确率。
S205：对多个显著图像进行融合处理，得到待分类图像。
具体地，可通过极大值融合或均值融合的方式将多个显著图像进行融合处理，以得到最终的待分类图像。进一步地，在步骤S205之后，还可将待分类图像与残差块结合，即将待分类图像与低分辨率图像进行相加处理，以避免梯度消散的情况。
S206：将待分类图像输入至分类网络中进行分类。
其中，分类网络机制传统深度学习网络架构中的解码器，用于对待分类图像进行解码，以得到分类结果。
可以理解地，通过将每组待测图像输入至预先训练好的注意力模型中，得到每组待测图像对应的权重图像，以通过该注意力模型中的注意力机制，放大待测图像中需要关注的区域，即对影响任务性能的区域赋予较高权重，从而提升后续分类网络的准确率。此外，由于注意模型根据输入图像的不同，可输出不同的权重图像故通过将多组待测图像输入至预先训练好的注意力模型中，可得到不同的权重图像，以使现图像预测分类任务的网络可学习到不同的注意力模型参数，从而提高模型的泛化性和鲁棒性。
本实施例中，通过获取低分辨率图像，以便对多个特征通道进行均匀分组，得到多组待测图像，然后，将每组待测图像输入至预先训练好的注意力模型中，得到每组待测图像对应的权重图像，以使不同组的待测图像对应不同的权重图像，使模型可学习到不同权重图像的特征，从而提高模型的泛化性和鲁棒性。接着，采用每组待测图像对应的权重图像对每组待测图像进行不均匀采样处理，得到每组待测图像对应的显著图像，以完成在通道维度上的不均匀采样，实现增强待测图像中重要的特征，减弱不重要的特征，从而使提取的特征图像指向性更强，即使小物体在高层卷积中会由于被缩小的比例高，而使其重要的特征被弱化，但由于通过注意力模型将小物体的重要特征突出，不重要的特征减弱，故可使后续的分类网络可重点关注图像中的重要特征，有利于提升后续对小物体的检测性能，从而提高分类网络的分类准确率。最后，对多个显著图像进行融合处理，得到待分类图像，将待分类图像输入至分类网络中进行分类，可使分类网络更关注于图像的重点关注区域，从而提高分类网络的准确率。
在一实施例中，如图3所示，步骤S201中，即获取低分辨率图像，具体包括如下步骤：
S301：获取高分辨率图像。
其中，高分辨率图像可以为输入的高分辨率的原图像或者特征提取骨干网络提取的底层图像特征。示例性地，本实施例中的实现图像预测分类任务的网络结构为：传统的特征提取骨干网络+注意力模型+分类网络。其中，特征提取骨干网络(backbone)可对输入的原图像进行特征提取，以得到特征提取骨干网络输出的高分辨率图像。
S302：对高分辨率图像均匀采样处理，得到低分辨率图像。
具体地，通过对高分辨率图像均匀采样处理，即对高分辨率图像按照一定的采样密度，采用最大池化或平均池化以对高分辨率图像进行均匀采样处理，得到低分辨率图像。需要说明的是，本实施例中所提到的高分辨率图像和低分辨率图像为相对概念，并不限定图像的分辨率大小。
在一实施例中，分类网络对应一任务类型；步骤S205中，即对多个显著图像进行融合处理，得到待分类图像，具体为：
S401：采用与任务类型对应的融合方式，对多个显著图像进行融合处理，得到待分类图像。
可以理解地，对于此处的特征融合本案可针对不同的任务类型采用不同的特征融合方式进行融合，针对性强，且可进一步保证后续分类的准确性。其中，任务类型包括但不限于分类任务或目标检测任务。
在一实施例中，如图4所示，步骤S401中，即采用与任务类型对应的融合方式，对多个显著图像进行融合处理，得到待分类图像，具体包括如下步骤：
S501：若任务类型为目标检测任务，则对多个显著图像进行取均值处理，得到待分类图像。
具体地，若任务类型为目标检测任务，由于目标检测一般是识别图像中的不同区域对应的物体是什么，即需要融合多个显著图像的特征，以便检测多物体，故本实施例中通过elementwise-mean函数对多组待测图像对应的显著图像进行取均值处理，以融合不同显著图像中的特征，得到待分类图像，从而保证后续分类任务的准确性。示例性地，假设显著图像为2个，则待分类图像中每一像素点的值即这两个图像中同一检测区域内所有像素点的均值。
S502：若任务类型为分类任务，则对多个显著图像进行取极值处理，得到待分类图像。
具体地，若任务类型为一分类任务，由于该任务类型仅关注对分类任务影响较大的特征，故可通过elementwise-maximum函数直接将多个显著图像中的每一个像素点取极大值的方式对多个显著图像进行融合，得到待分类图像，从而保证后续分类任务的准确性。示例性地，假设显著图像为2个，则待分类图像中每一像素点的值即这两个图像中同一检测区域内所有像素点的极大值。
本实施例中，通过对不同的任务类型采用不同的特征融合方式对多个显著图像进行融合，以得到待分类图像，针对性强且可进一步保证后续分类的准确性。
在一实施例中，如图5所示，注意力模型包括全局池化层、第一全连接层、第二全连接层、第一非线性变换层以及第二非线性变换层；步骤S203中，即将每组待测图像输入至预先训练好的注意力模型中，得到每组待测图像对应的权重图像，具体包括如下步骤：
S601：将每组待测图像输入至全局池化层中进行全局池化处理，得到池化后的每组待测图像对应的池化图像。
本实施例中，该全局池化处理，即对每组待测图像中的所有像素点全局平均输出一个值，即将W*H*D的待测图像变成1*1*D的池化图像。其中，W为图像的宽度，H为图像的高度，D为图像的特征通道数。
可以理解地，按照空间维度对待测图像进行特征压缩，将每个二维的特征通道变为一个实数，该实数可认为具有全局的感受野，并且该实数的输出维度和输入的特征通道数相匹配，表征着在特征通道上响应的全局分布，使得靠近输入的层也可以获得全局的感受野。
S602：将池化图像输入至第一全连接层进行降维，得到第一图像。
其中，第一全连接层即用于对池化图像进行降维的全连接层。通过第一全连接可将该将分布式特征表示映射到样本标记空间，以便后续采用第一非线性变换层中的激活函数进行非线性变换处理。
具体地，通过将1*1*D的池化图像输入至第一全连接层进行降维，即得到1*1*D/r的第二图像，其中，r根据实际的网络结构参数确定，例如16，此处不做限定。
S603：将第一图像输入至第一非线性变换层进行处理，得到第二图像。
其中，第一非线性变换层可通过包括但不限于sigmoid、relu或tanh等激活函数实现，以得到非线性变换后的第二图象。
S604：将第二图像输入至第二全连接层进行升维，得到第三图像，以使第三图像的特征通道数与池化图像的特征通道数相同。
其中，第一全连接层即用于对池化图像进行降维的全连接层。第二全连接层是用于对降维图像进行升维的全连接层，使第二图像的特征通道数与池化图像的特征通道数相同。
具体地，通过先将池化图像输入至第一全连接层进行降维，得到降维后的第一图像，然后再将该降维图像输入至第二全连接层进行升维，得到第二图像，即将1*1*D/r的第二图像转换为1*1*D的第三图像，以得到更多的非线性，可以更好地拟合通道间复杂的相关性，且可有效减少参数量和计算量。
S605：将第三图像输入至第二非线性变换层进行处理，得到每组待测图像对应的权重图像。
其中，第二非线性变换层可通过包括但不限于sigmoid、relu或tanh等激活函数实现，以得到第二图像中不同特征通道的权重，表征低分辨率图像中每一特征通道的重要性，即第二图像对应的权重图像，该权重图像为1*1*D的图像。需要说明的是，本实施例中的第一非线性变换层和第二非线性变换层可采用相同或不同的激活函数实现，此处不做限定。
在一实施例中，如图6所示，步骤S203之后，且在步骤S204之前，该模型采样方法还包括如下步骤：
S701：获取低分辨率图像；其中，低分辨率图像包括多个特征通道。
具体地，步骤S701与步骤S201的执行步骤保持一致，为避免重复，此处不再赘述。
S702：对多个特征通道进行均匀分组，得到多组待测图像。
具体地，步骤S701与步骤S202的执行步骤保持一致，为避免重复，此处不再赘述。
S703：将每组待测图像输入至预先训练好的注意力模型中，得到每组待测图像对应的权重图像。
具体地，步骤S701与步骤S203的执行步骤保持一致，为避免重复，此处不再赘述。
S704：采用高斯核对权重图像进行平滑处理，得到每组待测图像对应的更新后的权重图像。
其中，高斯核是预先设置好的用于对权重图中的像素进行平滑处理的因子，通过设定高斯核函数中的(如I/3)，即可对权重图中的每一像素点进行高斯变换。
具体地，通过将1*1*D的图像与高斯核相乘，以对权重图进行平滑处理，使权重图像中的像素符合正态分布，使得图像的处于中心位置的像素点得到较高权重，随着向周边靠近权重递减，即注意力图上权值较大的像素，其对周围像素的影响就越大，换句话说注意力图上权值较大的点a会使其周围点b依据点a进行采样，而非均匀采样时b点对应的原图区域，以使关注区域的采样密度更大，起到对小物体输出放大的作用。
S705：采用每组待测图像对应的权重图像对每组待测图像进行不均匀采样处理，得到每组待测图像对应的显著图像。
具体地，步骤S701与步骤S204的执行步骤保持一致，为避免重复，此处不再赘述。
S706：对多个显著图像进行融合处理，得到待分类图像。
具体地，步骤S701与步骤S205的执行步骤保持一致，为避免重复，此处不再赘述。
S707：将待分类图像输入至分类网络中进行分类。
具体地，步骤S701与步骤S206的执行步骤保持一致，为避免重复，此处不再赘述。
本实施例中，通过将每组待测图像输入至预先训练好的注意力模型中，得到每组所述待测图像对应的权重图像，以通过该注意力模型中的注意力机制，以放大待测图像中需要关注的区域，即对影响任务性能的区域赋予较高权重，从而提升后续分类网络的准确率。此外，由于注意模型根据输入图像的不同，可输出不同的权重图像，再根据不同的权重图像对待测图像进行均匀采样处理，以使现图像预测分类任务的网络可学***滑处理，得到每组所述待测图像对应的更新后的显著图像，使权重图像中的像素符合正态分布，使得图像的处于中心位置的像素点得到较高权重，随着向周边靠近权重递减，起到对小物体输出放大的作用。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种模型采样方法装置，该模型采样方法装置与上述实施例中模型采样方法一一对应。如图7所示，该模型采样方法装置包括低分辨率图像获取模块10、通道分组模块20、注意力处理模块30、不均匀采样模块40、图像融合模块50和图像分类模块60。各功能模块详细说明如下：
低分辨率图像获取模块10，用于获取低分辨率图像；其中，所述低分辨率图像包括多个特征通道。
通道分组模块20，用于对所述多个特征通道进行均匀分组，得到多组待测图像。
注意力处理模块30，用于将每组所述待测图像输入至预先训练好的注意力模型中，得到每组所述待测图像对应的权重图像。
不均匀采样模块40，用于采用每组所述待测图像对应的权重图像对每组所述待测图像进行不均匀采样处理，得到每组所述待测图像对应的显著图像。
图像融合模块50，用于对多个所述显著图像进行融合处理，得到待分类图像。
图像分类模块60，用于将所述待分类图像输入至分类网络中进行分类。
具体地，低分辨率图像获取模块包括高分辨率图像获取模块和均匀采样模块。
高分辨率图像获取模块，用于获取高分辨率图像。
均匀采样模块，用于对所述高分辨率图像均匀采样处理，得到所述低分辨率图像。
具体地，所述分类网络对应一任务类型；图像融合模块具体包括图像融合单元。
采用与所述任务类型对应的融合方式，对多个所述显著图像进行融合处理，得到待分类图像。
具体地，图像融合单元包括均值融合子单元和极值融合子单元。
均值融合子单元，用于若所述任务类型为目标检测任务，则对所述多个显著图像进行取均值处理，得到待分类图像。
极值融合子单元，用于若所述任务类型为分类任务，则对所述所述多个显著图像进行取极值处理，得到待分类图像。
具体地，所述注意力模型包括全局池化层、第一全连接层、第二全连接层、第一非线性变换层以及第二非线性变换层；注意力处理模块包括池化单元、降维单元、第一非线性变换单元、升维单元以及第二非线性变换单元单元。
池化单元，用于将每组所述待测图像输入至所述全局池化层中进行全局池化处理，得到池化后的每组所述待测图像对应的池化图像。
降维单元，用于将所述池化图像输入至所述第一全连接层进行降维，得到第一图像。
第一非线性变换单元，用于将所述第一图像输入至第一非线性变换层进行处理，得到第二图像。
升维单元，用于将所述第二图像输入至所述第二全连接层进行升维，得到第三图像，以使所述第三图像的特征通道数与所述池化图像的特征通道数相同。
第二非线性变换单元单元，用于将所述第三图像输入至第二非线性变换层进行处理，得到每组所述待测图像对应的权重图像。
具体地，该模型采样装置还包括高斯平滑模块，用于采用高斯核对所述权重图像进行平滑处理，得到每组所述待测图像对应的更新后的权重图像。
关于模型采样方法装置的具体限定可以参见上文中对于模型采样方法的限定，在此不再赘述。上述模型采样方法装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括计算机存储介质、内存储器。该计算机存储介质存储有操作***、计算机程序和数据库。该内存储器为计算机存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种模型采样方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的模型采样方法的步骤，例如图2所示的步骤S201-S206，或者图3至图6中所示的步骤。或者，处理器执行计算机程序时实现模型采样方法装置这一实施例中的各模块/单元的功能，例如图7所示的各模块/单元的功能，为避免重复，这里不再赘述。
在一实施例中，提供一计算机存储介质，该计算机存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中模型采样方法的步骤，例如图2所示的步骤S201-S206，或者图3至图6中所示的步骤，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现上述模型采样方法装置这一实施例中的各模块/单元的功能，例如图7所示的各模块/单元的功能，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (9)

1.一种模型采样方法，其特征在于，包括：
获取低分辨率图像；其中，所述低分辨率图像包括多个特征通道；
对所述多个特征通道进行均匀分组，得到多组待测图像；
将每组所述待测图像输入至预先训练好的注意力模型中，得到每组所述待测图像对应的权重图像；
采用每组所述待测图像对应的权重图像对每组所述待测图像进行不均匀采样处理，得到每组所述待测图像对应的显著图像；
对多个所述显著图像进行融合处理，得到待分类图像；
将所述待分类图像输入至分类网络中进行分类；
所述注意力模型包括全局池化层、第一全连接层、第二全连接层、第一非线性变换层以及第二非线性变换层；
所述将每组所述待测图像输入至预先训练好的注意力模型中，得到每组所述待测图像对应的权重图像，包括：
将每组所述待测图像输入至所述全局池化层中进行全局池化处理，得到池化后的每组所述待测图像对应的池化图像；
将所述池化图像输入至所述第一全连接层进行降维，得到第一图像；
将所述第一图像输入至第一非线性变换层进行处理，得到第二图像；
将所述第二图像输入至所述第二全连接层进行升维，得到第三图像，以使所述第三图像的特征通道数与所述池化图像的特征通道数相同；
将所述第三图像输入至第二非线性变换层进行处理，得到每组所述待测图像对应的权重图像。
2.如权利要求1所述模型采样方法，其特征在于，所述获取低分辨率图像，包括：
获取高分辨率图像；
对所述高分辨率图像均匀采样处理，得到所述低分辨率图像。
3.如权利要求1所述模型采样方法，其特征在于，所述分类网络对应一任务类型；
所述对多个所述显著图像进行融合处理，得到待分类图像，包括：
采用与所述任务类型对应的融合方式，对多个所述显著图像进行融合处理，得到待分类图像。
4.如权利要求3所述模型采样方法，其特征在于，所述采用与所述任务类型对应的融合方式，对多个所述显著图像进行融合处理，得到待分类图像，包括：
若所述任务类型为目标检测任务，则对所述多个显著图像进行取均值处理，得到所述待分类图像；
若所述任务类型为分类任务，则对所述多个显著图像进行取极值处理，得到所述待分类图像。
5.如权利要求1所述模型采样方法，其特征在于，在所述将每组所述待测图像输入至预先训练好的注意力模型中，得到每组所述待测图像对应的权重图像之后，且在所述采用每组所述待测图像对应的权重图像对每组所述待测图像进行不均匀采样处理，得到每组所述待测图像对应的显著图像的步骤之前，所述模型采样方法还包括：
采用高斯核对所述权重图像进行平滑处理，得到每组所述待测图像对应的更新后的权重图像。
6.一种模型采样装置，其特征在于，包括：
低分辨率图像获取模块，用于获取低分辨率图像；其中，所述低分辨率图像包括多个特征通道；
通道分组模块，用于对所述多个特征通进行均匀分组，得到多组待测图像；
注意力处理模块，用于将每组所述待测图像输入至预先训练好的注意力模型中，得到每组所述待测图像对应的权重图像；
不均匀采样模块，用于采用每组所述待测图像对应的权重图像对每组所述待测图像进行不均匀采样处理，得到每组所述待测图像对应的显著图像；
图像融合模块，用于对多个所述显著图像进行融合处理，得到待分类图像；
图像分类模块，用于将所述待分类图像输入至分类网络中进行分类；
所述注意力模型包括全局池化层、第一全连接层、第二全连接层、第一非线性变换层以及第二非线性变换层；
所述将每组所述待测图像输入至预先训练好的注意力模型中，得到每组所述待测图像对应的权重图像，包括：
将每组所述待测图像输入至所述全局池化层中进行全局池化处理，得到池化后的每组所述待测图像对应的池化图像；
将所述池化图像输入至所述第一全连接层进行降维，得到第一图像；
将所述第一图像输入至第一非线性变换层进行处理，得到第二图像；
将所述第二图像输入至所述第二全连接层进行升维，得到第三图像，以使所述第三图像的特征通道数与所述池化图像的特征通道数相同；
将所述第三图像输入至第二非线性变换层进行处理，得到每组所述待测图像对应的权重图像。
7.如权利要求6所述模型采样装置，其特征在于，所述模型采样装置还包括：
高斯平滑模块，用于采用高斯核对所述权重图像进行平滑处理，得到每组所述待测图像对应的更新后的权重图像。
8.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述模型采样方法的步骤。
9.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述模型采样方法的步骤。
CN202011185071.5A 2020-10-30 2020-10-30 模型采样方法、装置、计算机设备及存储介质 Active CN112308138B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011185071.5A CN112308138B (zh) 2020-10-30 2020-10-30 模型采样方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011185071.5A CN112308138B (zh) 2020-10-30 2020-10-30 模型采样方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112308138A CN112308138A (zh) 2021-02-02
CN112308138B true CN112308138B (zh) 2024-04-09

Family

ID=74332236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011185071.5A Active CN112308138B (zh) 2020-10-30 2020-10-30 模型采样方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112308138B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345892A (zh) * 2018-01-03 2018-07-31 深圳大学 一种立体图像显著性的检测方法、装置、设备及存储介质
CN108764303A (zh) * 2018-05-10 2018-11-06 电子科技大学 一种基于注意力机制的遥感图像自然语言生成方法
CN111259982A (zh) * 2020-02-13 2020-06-09 苏州大学 一种基于注意力机制的早产儿视网膜图像分类方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9317781B2 (en) * 2013-03-14 2016-04-19 Microsoft Technology Licensing, Llc Multiple cluster instance learning for image classification
US11321613B2 (en) * 2016-11-17 2022-05-03 Irida Labs S.A. Parsimonious inference on convolutional neural networks
TWI649659B (zh) * 2017-10-27 2019-02-01 財團法人工業技術研究院 自動光學檢測影像分類方法、系統及含有該方法之電腦可讀取媒體

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345892A (zh) * 2018-01-03 2018-07-31 深圳大学 一种立体图像显著性的检测方法、装置、设备及存储介质
CN108764303A (zh) * 2018-05-10 2018-11-06 电子科技大学 一种基于注意力机制的遥感图像自然语言生成方法
CN111259982A (zh) * 2020-02-13 2020-06-09 苏州大学 一种基于注意力机制的早产儿视网膜图像分类方法和装置

Also Published As

Publication number Publication date
CN112308138A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
US11710293B2 (en) Target detection method and apparatus, computer-readable storage medium, and computer device
CN109241904B (zh) 文字识别模型训练、文字识别方法、装置、设备及介质
CN110517278B (zh) 图像分割和图像分割网络的训练方法、装置和计算机设备
CN110348562B (zh) 神经网络的量化策略确定方法、图像识别方法和装置
CN111667011A (zh) 损伤检测模型训练、车损检测方法、装置、设备及介质
CN111950329A (zh) 目标检测及模型训练方法、装置、计算机设备和存储介质
CN109886077B (zh) 图像识别方法、装置、计算机设备和存储介质
CN109783604B (zh) 基于少量样本的信息提取方法、装置和计算机设备
CN113807353B (zh) 图像转换模型训练方法、装置、设备及存储介质
CN112183295A (zh) 行人重识别方法、装置、计算机设备及存储介质
CN111401473B (zh) 基于注意力机制卷积神经网络的红外目标分类方法
CN113705685B (zh) 疾病特征识别模型训练、疾病特征识别方法、装置及设备
CN111178358A (zh) 文本识别方法、装置、计算机设备和存储介质
CN111062324A (zh) 人脸检测方法、装置、计算机设备和存储介质
CN111428854A (zh) 一种结构搜索方法及结构搜索装置
CN112132278A (zh) 模型压缩方法、装置、计算机设备及存储介质
CN111783935B (zh) 卷积神经网络构建方法、装置、设备及介质
CN111047088A (zh) 预测图像获取方法、装置、计算机设备和存储介质
CN112241646A (zh) 车道线识别方法、装置、计算机设备和存储介质
CN111666974B (zh) 图像匹配方法、装置、计算机设备及存储介质
CN111666931A (zh) 基于混合卷积文字图像识别方法、装置、设备及存储介质
CN113283388B (zh) 活体人脸检测模型的训练方法、装置、设备及存储介质
CN111178162B (zh) 图像识别方法、装置、计算机设备和存储介质
CN111639523B (zh) 目标检测方法、装置、计算机设备和存储介质
CN112308138B (zh) 模型采样方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant