CN111767934A - 一种图像识别方法、装置及电子设备 - Google Patents
一种图像识别方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111767934A CN111767934A CN201911054684.2A CN201911054684A CN111767934A CN 111767934 A CN111767934 A CN 111767934A CN 201911054684 A CN201911054684 A CN 201911054684A CN 111767934 A CN111767934 A CN 111767934A
- Authority
- CN
- China
- Prior art keywords
- image
- sampling
- magnification
- under
- recognized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000005070 sampling Methods 0.000 claims abstract description 333
- 230000004927 fusion Effects 0.000 claims abstract description 94
- 238000012545 processing Methods 0.000 claims description 20
- 230000011218 segmentation Effects 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种图像识别方法、装置及电子设备。其中，所述方法包括：获取待识别图像在多个不同降采样倍率下的多个图像特征；针对所述多个不同降采样倍率中的每个降采样倍率，融合所述多个图像特征在该降采样倍率下的投影，得到所述待识别图像在该将降采样倍率下的融合特征；根据所述待识别图像在所有降采样倍率下的融合特征，确定所述待识别图像的识别结果。可以通过融合不同采样倍率下的图像特征，得到同时包括较完整的纹理信息和语义信息的融合特征，因此该融合特征可以适用于多种不同的图像识别任务，即可以通过同一个流程完成不同的图像识别任务，因此简化了图像识别流程。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像识别方法、装置及电子设备。
背景技术
在一些应用场景中，出于实际需求，可能需要利用机器对图像进行识别。例如，智能交通中可能需要自动识别图像中的车辆，又例如商场管理中可能需要识别图像中的人员。例如，可以是利用多个串联的卷积层反复提取待识别图像的图像特征，直至得到满足条件的图像特征，再利用多个串联的卷积层或者反卷积层将得到的深层图像特征经过多次映射，映射至识别结果。
但是如果提取的图像特征是深层图像特征，则图像特征中可能缺少较多的纹理信息，如果提取的图像特征是浅层图像特征，则图像特征中可能缺少较多的语义信息，因此提取到的图像特征难以适用于不同的图像识别任务，需要针对不同的图像识别任务采用不同的方式提取图像特征，导致图像识别流程复杂。
发明内容
本发明实施例的目的在于提供一种图像识别方法、装置及电子设备，以实现简化图像识别的流程。具体技术方案如下：
在本发明实施例的第一方面，提供了一种图像识别方法，所述方法包括：
获取待识别图像在多个不同降采样倍率下的多个图像特征；
针对所述多个不同降采样倍率中的每个降采样倍率，融合所述多个图像特征在该降采样倍率下的投影，得到所述待识别图像在该将降采样倍率下的融合特征；
根据所述待识别图像在所有降采样倍率下的融合特征，确定所述待识别图像的识别结果。
结合第一方面，在第一种可能的实现方式中，所述针对所述多个不同降采样倍率中的每个降采样倍率，融合所述多个图像特征在该降采样倍率下的投影，得到所述待识别图像在该将采样倍率下的融合特征，包括：
针对所述多个不同降采样倍率中的每个降采样倍率，重复执行以下步骤直至重复执行的次数达到预设次数，所述预设次数不小于所述多个不同采样倍率的数目：
将所述待识别图像在与该降采样倍率的相邻降采样倍率下的图像特征投影至该降采样倍率，得到投影特征，所述相邻降采样倍率为将所述多个降采样倍率按照由大到小或由小到大的顺序进行排序时与该降采样倍率相邻的降采样倍率；
融合所述投影特征与所述待识别图像在该降采样倍率下的图像特征，得到所述待识别图像在该降采样倍率下的新的图像特征；
当重复执行的次数到达预设次数时，将每个降采样倍率下的图像特征作为所述待识别图像在该将降采样倍率下的融合特征。
结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述融合所述投影特征与所述待识别图像在该降采样倍率下的图像特征，得到所述待识别图像在该降采样倍率下的新的图像特征，包括：
如果不是第预设次数重复执行，则融合所述投影特征与所述待识别图像在该降采样倍率下最新的图像特征，得到所述待识别图像在该降采样倍率下的新的图像特征；
如果是第预设次数重复执行，则融合所述投影特征、所述待识别图像在该降采样倍率下最新的图像特征、以及所述待识别图像在该降采样倍率下初始的图像特征。
结合第一方面的第一种可能的实现方式，在第三种可能的实现方式中，所述将所述待识别图像在与该降采样倍率的相邻降采样倍率下的图像特征投影至该降采样倍率，得到投影特征，包括：
对相邻降采样倍率中小于该降采样倍率的降采样倍率下的图像特征，进行步长大于1的池化处理，得到在该降采样倍率下的投影特征；
对相邻降采样倍率中大于该降采样倍率的降采样倍率下的图像特征，进行上采样处理，得到在该降采样倍率下的投影特征。
结合第一方面，在第四种可能的实现方式中，所述根据所述待识别图像在所有降采样倍率下的融合特征，确定所述待识别图像的识别结果，包括：
将所述待识别图像在所有降采样倍率下的融合特征，输入至预先建立的识别模型进行识别，得到所述待识别图像的识别结果；
所述识别模型包括多个目标检测子模型、语义分割子模型、实例分割子模型以及姿态点估计子模型中的多个子模型；
所述识别模型通过以下方式训练：
获取样本图像在所述多个不同降采样倍率下的多个图像特征，所述样本图像针对每个子模型标注有真值；
针对所述多个不同降采样倍率中的每个降采样倍率，融合所述多个图像特征在该降采样倍率下的投影，得到所述样本图像在该将降采样倍率下的融合特征；
将所述待识别图像在所有降采样倍率下的融合特征，输入至所述识别模型的每个子模型，得到所述识别模型的所有子模型输出的预测值；
针对每个子模型，根据该子模型输出的预测值与所述样本图像针对该子模型标注的真值间的损失，通过针对该子模型预设的训练方式，调整该子模型的模型参数。
在本发明实施例的第二方面，提供了一种图像识别装置，所述装置包括：
特征提取模块，用于获取待识别图像在多个不同降采样倍率下的多个图像特征；
特征融合模块，用于针对所述多个不同降采样倍率中的每个降采样倍率，融合所述多个图像特征在该降采样倍率下的投影，得到所述待识别图像在该将降采样倍率下的融合特征；
识别模块，用于根据所述待识别图像在所有降采样倍率下的融合特征，确定所述待识别图像的识别结果。
结合第二方面，在第一种可能的实现方式中，所述特征融合模块，具体用于针对所述多个不同降采样倍率中的每个降采样倍率，重复执行以下步骤直至重复执行的次数达到预设次数，所述预设次数不小于所述多个不同采样倍率的数目：
将所述待识别图像在与该降采样倍率的相邻降采样倍率下的图像特征投影至该降采样倍率，得到投影特征，所述相邻降采样倍率为将所述多个降采样倍率按照由大到小或由小到大的顺序进行排序时与该降采样倍率相邻的降采样倍率；
融合所述投影特征与所述待识别图像在该降采样倍率下的图像特征，得到所述待识别图像在该降采样倍率下的新的图像特征；
当重复执行的次数到达预设次数时，将每个降采样倍率下的图像特征作为所述待识别图像在该将降采样倍率下的融合特征。
结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述特征融合模块，具体用于如果不是第预设次数重复执行，则融合所述投影特征与所述待识别图像在该降采样倍率下最新的图像特征，得到所述待识别图像在该降采样倍率下的新的图像特征；
如果是第预设次数重复执行，则融合所述投影特征、所述待识别图像在该降采样倍率下最新的图像特征、以及所述待识别图像在该降采样倍率下初始的图像特征。
结合第二方面的第一种可能的实现方式，在第三种可能的实现方式中，所述特征融合模块，具体用于对相邻降采样倍率中小于该降采样倍率的降采样倍率下的图像特征，进行步长大于1的池化处理，得到在该降采样倍率下的投影特征；
对相邻降采样倍率中大于该降采样倍率的降采样倍率下的图像特征，进行上采样处理，得到在该降采样倍率下的投影特征。
结合第二方面，在第四种可能的实现方式中，所述识别模块，具体用于将所述待识别图像在所有降采样倍率下的融合特征，输入至预先建立的识别模型进行识别，得到所述待识别图像的识别结果；
所述识别模型包括多个目标检测子模型、语义分割子模型、实例分割子模型以及姿态点估计子模型中的多个子模型；
所述识别模型通过以下方式训练：
获取样本图像在所述多个不同降采样倍率下的多个图像特征，所述样本图像针对每个子模型标注有真值；
针对所述多个不同降采样倍率中的每个降采样倍率，融合所述多个图像特征在该降采样倍率下的投影，得到所述样本图像在该将降采样倍率下的融合特征；
将所述待识别图像在所有降采样倍率下的融合特征，输入至所述识别模型的每个子模型，得到所述识别模型的所有子模型输出的预测值；
针对每个子模型，根据该子模型输出的预测值与所述样本图像针对该子模型标注的真值间的损失，通过针对该子模型预设的训练方式，调整该子模型的模型参数。
在本发明实施例的第三方面，提供了一种电子设备，包括：
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法步骤。
在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
本发明实施例提供的图像识别方法、装置及电子设备，可以通过融合不同采样倍率下的图像特征，得到同时包括较完整的纹理信息和语义信息的融合特征，因此该融合特征可以适用于多种不同的图像识别任务，即可以通过同一个流程完成不同的图像识别任务，因此简化了图像识别流程。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像识别方法的一种流程示意图；
图2为本发明实施例提供的图像识别框架的一种结构示意图；
图3a为本发明实施例提供的特征融合框架的一种结构示意图；
图3b为本发明实施例提供的特征融合框架的另一种结构示意图；
图4为本发明实施例提供的特征融合框架的一种原理示意图；
图5为本发明实施例提供的图像识别框架训练方法的一种流程示意图；
图6为本发明实施例提供的图像识别装置的一种结构示意图；
图7为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1所示为本发明实施例提供的图像识别方法的一种流程示意图，可以包括：
S101，获取待识别图像在多个不同降采样倍率下的多个图像特征。
待识别图像根据应用场景的不同可以不同，并不特指某张图像。多个不同降采样倍率也可以根据应用场景的不同而不同，为描述方便，下面假设多个不同降采样倍率分别为：2倍、4倍、8倍、16倍、32倍。
x倍降采样倍率下的图像特征的尺度为待识别图像的x分之一，例如假设待识别图像的分辨率为800*600，则2倍降采样下的图像特征的分辨率为400*300。多个不同降采样倍率下的图像特征，可以是利用多个串联的池化层对待识别图像进行池化处理得到的。以多个不同降采样倍率分别为：2倍、4倍、8倍、16倍、32倍为例，可以是利用5个串联的池化层连续对待识别图像进行步长为2的池化处理，每一个池化层的输入为上一个池化层的输出，则第一个池化层输出的即为2倍降采样下的图像特征，第二个池化层输出的即为4倍降采样下的图像特惠正，依次类推。
可以理解的是，降采样倍率越低的图像特征中所包括的语义信息越少，纹理信息越多，降采样倍率越高的图像特征中所包括的纹理信息越少，语义信息越多。
S102，针对多个不同降采样倍率中的每个降采样倍率，融合多个图像特征在该降采样倍率下的投影，得到待识别图像在该降采样倍率下的融合特征。
一个图像特征在一个降采样倍率下的投影，可以是指通过上采样或者下采样将该图像特征缩放至该降采样倍率对应的尺度所得到的图像特征。示例性，假设待识别图像在2倍降采样率下的图像特征的分辨率为400*300，则待识别图像在4倍降采样率下的图像特征的分辨率为200*150。2倍降采样率下的图像特征在4倍降采样率下的投影，可以是将2倍降采样率下的图像特征经过2倍下采样得到的200*150的图像特征，也可以是将2倍降采样率下的图像特征经过4倍下采样再经过2倍上采样得到的200*150的图像特征，本实施例对此不做限制。
融合得到的每个融合特征中，可以包括低采样倍率下的图像特征中较完整的纹理信息，同时也可以高采样倍率下的图像特征中较完整的语义信息。
S103，根据待识别图像在所有降采样倍率下的融合特征，确定待识别图像的识别结果。
可以是将待识别图像在所有降采样倍率下的融合特征，输入至识别模型，得到识别模型输出的识别结果，其中，识别模型为预先经过训练的用于实现特征到识别结果的映射的模型。该模型可以是基于深度学习得到的神经网络，也可以是基于传统机器学习得到的算法模型，本实施例对崔不做限制。
选用该实施例可以通过融合不同采样倍率下的图像特征，得到同时包括较完整的纹理信息和语义信息的融合特征，因此该融合特征可以适用于多种不同的图像识别任务，即可以通过同一个流程完成不同的图像识别任务，因此简化了图像识别流程。
相关技术中由于图像特征中无法同时包含较完整的纹理信息和语义信息，因此特征提取得到的图像特征无法适用于多种不同的图像识别任务，因此需要针对不同的图像识别任务分别设计不同的图像识别网络，导致图像识别流程繁琐，有鉴于此，本发明实施例提供了一种统一的图像识别框架，该图像识别框架的结构可以如图2所示，包括：特征提取模型210、特征融合模型220以及图像识别模型230。
其中，特征提取模型210用于提取输入的图像在多个不同降采样倍率下的图像特征，并将这些图像特征输入至特征融合模型220，特征融合模型220用于在融合所输入的图像特征在各个降采样倍率下的投影，得到各个降采样倍率下的融合特征，并将各个降采样倍率下的融合特征，输入至图像识别模型230。
图像识别模型230可以包括目标检测子模型231、语义分割子模型232、实例分割子模型233以及姿态点估计子模型234，在其他可能的实施例中，图像识别模型230中也可以只包括这些子模型中的部分(一个或多个)子模型，而并非所有子模型。
当图像识别模型230只包括一个子模型时，可以是将各个降采样倍率下的融合特征输入至该子模型，并将该子模型的输出作为识别结果。当图像识别模型230包括多个子模型时，可以是将各个降采样倍率下的融合特征分别输入至每个子模型，并将所有子模型的输出作为识别结果。
选用该实施例，可以充分利用得到的融合特征可以适用于多种不同的图像识别任务的特点，使得多个实现不同图像识别任务的子模型共享相同的特征提取模型和特征融合模型，可以利用同一个框架实现多种不同的图像识别任务，并且有效节省了计算量。
为更清楚的对本发明实施例提供的图像识别方法进行说明，下面将结合图2所示的图像识别框架中的特征融合模型，对本发明实施例提供的图像识别方法中的特征融合进行说明。
为描述方便，仍以多个不同降采样倍率分别为：2倍、4倍、8倍、16倍、32倍为例进行说明，则特征融合模型的结构可以如图3a所示，包括五行多列的单元，其中标注有S2的单元表示该单元用于对2倍采样率下的图像特征进行处理，标注有S4的单元表示该单元用于对4倍采样率下的图像特征进行处理，标注有S8的单元表示该单元用于对8倍采样率下的图像特征进行处理，标注有S16的单元表示该单元用于对16倍采样率下的图像特征进行处理，标注有S32的单元表示该单元用于对32倍采样率下的图像特征进行处理。在其他可能的实施例中，特征融合模型也可以是其他结构的，本实施例对此不做限制。
横向箭头表示卷积操作，可以是利用任意尺寸的卷积核进行步长为1的卷积处理。斜向上的箭头表示上采样处理，例如可以是最近邻插值处理，也可以是双线性插值处理。斜向下的箭头表示下采样处理，例如可以是步长为2的池化处理。
该结构的第一列可以视为输入，最后一列可以视为输出，即第一列的单元可以表示待识别图像在对应的降采样倍率下初始的图像特征，例如第一行第一列的单元为待识别图像在2倍降采样下初始的图像特征，第二行第一列的单元为待识别图像在4倍降采样下初始的图像特征，依次类推。
除第一列以外的其他列可以视为重复进行特征融合。例如，第一行第二列的单元为经过一次特征融合后待识别图像在2倍降采样下的新的图像特征，第一行第三列的单元为经过二次特征融合后待识别图像在2倍降采样下的新的图像特征，依次类推。
为保证输出的融合特征中融合了待识别图像在每个降采样倍率下的初始的图像特征，以使得融合特征中包括尽可能多的图像信息，在该实施例中，重复图像融合的次数应该不少于多个不同的降采样倍率的数目，以该应用场景为例，重复图像融合的次数应该不少于5次。
以图中第二行第二列的单元为例，该单元为经过二次特征融合后待识别图像在2倍降采样下的新的图像特征，该新的图像特征是通过以下步骤计算得到的：
步骤1、对第一行第一列的单元进行下采样，得到投影特征。
步骤2、对第二行第一列的单元进行卷积处理，得到待处理图像在4倍采样率下的图像特征。
步骤3、对第三行第一列的单元进行上采样，得到投影特征。
步骤4、融合步骤1-3中得到的所有特征，得到第二行第二列的单元。
为更清楚的进行描述，下面将对该结构的原理进行原理性说明，可以参见图4，包括：
S401，将待识别图像在与该降采样倍率的相邻降采样倍率下的图像特征投影至该降采样倍率，得到投影特征。
其中，相邻降采样倍率为将多个降采样倍率按照由大到小或由小到大的顺序进行排序时与该降采样倍率相邻的降采样倍率。例如，对于4倍降采样，相邻降采样倍率为2倍降采样和8倍降采样，对于2倍降采样，相邻降采样倍率为4倍降采样。
S402，融合投影特征与待识别图像在该降采样倍率下的图像特征，得到待识别图像在该降采样倍率下的新的图像特征。
可以参见前述关于图3a的说明，在此不再赘述。
S403，返回执行S401，直至重复执行的次数达到预设次数。
其中，预设次数不小于多个不同采样倍率的数目，该预设次数对应于该结构中除第一列以外的其他列的数目。
S404，将每个降采样倍率下的图像特征作为待识别图像在该将降采样倍率下的融合特征。
选用该实施例，可以通过稠密连接的方式，以相对简单的架构实现对不同降采样倍率下的图像特征的融合。但是，随着重复融合的次数变多，得到的融合特征中可能丢失初始的图像特征中的部分信息，有鉴于此，本发明实施例提供了另一种特征融合架构，可以如图3b所示，其中虚线部分表示捷径连接(shotcut)。
图3b所示的特征融合架构与图3a所示的特征融合架构的原理相近，区别仅在于最后一列的运算规则。即原理上区别在于重复执行第预设次数时，图3a所示的特征融合架构，仍是融合投影特征与待识别图像在该降采样倍率下最新的图像特征，而图3b所示的特征融合架构中，则是融合投影特征、待识别图像在该降采样倍率下最新的图像特征、以及待识别图像在该降采样倍率下初始的图像特征。即额外融合了待识别图像在该降采样倍率下初始的图像特征，使得输出的融合特征中能够尽可能保留初始的图像特征中的信息。
下面将对图2的图像识别框架的训练过程进行说明，可以参见图5，包括：
S501，获取样本图像在多个不同降采样倍率下的多个图像特征。
其中，样本图像针对每个子模型标注有真值，以图2为例，则样本图像中标注有4个真值，分别为目标检测的真值、语义分割的真值、实例分割的真值以及姿态点估计的真值。
S502，针对多个不同降采样倍率中的每个降采样倍率，融合多个图像特征在该降采样倍率下的投影，得到样本图像在该将降采样倍率下的融合特征。
该步骤与S102相同，区别仅在于对象从待识别图像变为样本图像。可以参见前述关于S102的描述，在此不再赘述。
S503，将待识别图像在所有降采样倍率下的融合特征，输入至识别模型的每个子模型，得到识别模型的所有子模型输出的预测值,。
以图2为例，则可以得到4个预测值，分别为目标检测的预测值、语义分割的预测值、实例分割的预测值以及姿态点估计的预测值
S504，针对每个子模型，根据该子模型输出的预测值与样本图像针对该子模型标注的真值间的损失，通过针对该子模型预设的训练方式，调整该子模型的模型参数。
示例性的，对于目标检测子模型可以采用YOLO、SSD等one-stage的方式进行训练，也可以采用Faster-RCNN等two-stage的方式进行训练，对于语义分割子模型、实例分割子模型可以分别采用交叉熵损失的方式进行训练，对于姿态点估计子模型可以采用L2损失的方式进行训练。在其他可能的实施例中，也可以是采用其他方式进行训练，本实施例对此不做限制。
参见图6，图6所示为本发明实时提供的图像识别装置的一种结构示意图，可以包括：
特征提取模块601，用于获取待识别图像在多个不同降采样倍率下的多个图像特征；
特征融合模块602，用于针对多个不同降采样倍率中的每个降采样倍率，融合多个图像特征在该降采样倍率下的投影，得到待识别图像在该将降采样倍率下的融合特征；
识别模块603，用于根据待识别图像在所有降采样倍率下的融合特征，确定待识别图像的识别结果。
在一种可能的实施例中，特征融合模块602，具体用于针对多个不同降采样倍率中的每个降采样倍率，重复执行以下步骤直至重复执行的次数达到预设次数，预设次数不小于多个不同采样倍率的数目：
将待识别图像在与该降采样倍率的相邻降采样倍率下的图像特征投影至该降采样倍率，得到投影特征，相邻降采样倍率为将多个降采样倍率按照由大到小的顺序进行排序时与该降采样倍率相邻的降采样倍率；
融合投影特征与待识别图像在该降采样倍率下的图像特征，得到待识别图像在该降采样倍率下的新的图像特征；
当重复执行的次数到达预设次数时，将每个降采样倍率下的图像特征作为待识别图像在该将降采样倍率下的融合特征。
在一种可能的实施例中，特征融合模块602，具体用于如果不是第预设次数重复执行，则融合投影特征与待识别图像在该降采样倍率下最新的图像特征，得到待识别图像在该降采样倍率下的新的图像特征；
如果是第预设次数重复执行，则融合投影特征、待识别图像在该降采样倍率下最新的图像特征、以及待识别图像在该降采样倍率下初始的图像特征。
在一种可能的实施例中，特征融合模块602，具体用于对相邻降采样倍率中小于该降采样倍率的降采样倍率下的图像特征，进行步长大于1的池化处理，得到在该降采样倍率下的投影特征；
对相邻降采样倍率中大于该降采样倍率的降采样倍率下的图像特征，进行上采样处理，得到在该降采样倍率下的投影特征。
在一种可能的实施例中，识别模块603，具体用于将待识别图像在所有降采样倍率下的融合特征，输入至识别模型，得到识别模型输出的识别结果，识别模型为预先经过训练的用于实现特征到识别结果的映射的模型。
在一种可能的实施例中，识别模型包括多个目标检测子模型、语义分割子模型、实例分割子模型以及姿态点估计子模型中的多个子模型；
识别模型通过以下方式训练：
获取样本图像在多个不同降采样倍率下的多个图像特征，样本图像针对每个子模型标注有真值；
针对多个不同降采样倍率中的每个降采样倍率，融合多个图像特征在该降采样倍率下的投影，得到样本图像在该将降采样倍率下的融合特征；
将待识别图像在所有降采样倍率下的融合特征，输入至识别模型的每个子模型，得到识别模型的所有子模型输出的预测值；
针对每个子模型，根据该子模型输出的预测值与样本图像针对该子模型标注的真值间的损失，通过针对该子模型预设的训练方式，调整该子模型的模型参数。
本发明实施例还提供了一种电子设备，如图7所示，包括：
存储器701，用于存放计算机程序；
处理器702，用于执行存储器701上所存放的程序时，实现如下步骤：
获取待识别图像在多个不同降采样倍率下的多个图像特征；
针对多个不同降采样倍率中的每个降采样倍率，融合多个图像特征在该降采样倍率下的投影，得到待识别图像在该将降采样倍率下的融合特征；
根据待识别图像在所有降采样倍率下的融合特征，确定待识别图像的识别结果。
在一种可能的实施例中，针对多个不同降采样倍率中的每个降采样倍率，融合多个图像特征在该降采样倍率下的投影，得到待识别图像在该将采样倍率下的融合特征，包括：
针对多个不同降采样倍率中的每个降采样倍率，重复执行以下步骤直至重复执行的次数达到预设次数，预设次数不小于多个不同采样倍率的数目：
将待识别图像在与该降采样倍率的相邻降采样倍率下的图像特征投影至该降采样倍率，得到投影特征，相邻降采样倍率为将多个降采样倍率按照由大到小的顺序进行排序时与该降采样倍率相邻的降采样倍率；
融合投影特征与待识别图像在该降采样倍率下的图像特征，得到待识别图像在该降采样倍率下的新的图像特征；
当重复执行的次数到达预设次数时，将每个降采样倍率下的图像特征作为待识别图像在该将降采样倍率下的融合特征。
在一种可能的实施例中，融合投影特征与待识别图像在该降采样倍率下的图像特征，得到待识别图像在该降采样倍率下的新的图像特征，包括：
如果不是第预设次数重复执行，则融合投影特征与待识别图像在该降采样倍率下最新的图像特征，得到待识别图像在该降采样倍率下的新的图像特征；
如果是第预设次数重复执行，则融合投影特征、待识别图像在该降采样倍率下最新的图像特征、以及待识别图像在该降采样倍率下初始的图像特征。
在一种可能的实施例中，将待识别图像在与该降采样倍率的相邻降采样倍率下的图像特征投影至该降采样倍率，得到投影特征，包括：
对相邻降采样倍率中小于该降采样倍率的降采样倍率下的图像特征，进行步长大于1的池化处理，得到在该降采样倍率下的投影特征；
对相邻降采样倍率中大于该降采样倍率的降采样倍率下的图像特征，进行上采样处理，得到在该降采样倍率下的投影特征。
在一种可能的实施例中，根据待识别图像在所有降采样倍率下的融合特征，确定待识别图像的识别结果，包括：
将待识别图像在所有降采样倍率下的融合特征，输入至识别模型，得到识别模型输出的识别结果，识别模型为预先经过训练的用于实现特征到识别结果的映射的模型。
在一种可能的实施例中，识别模型包括多个目标检测子模型、语义分割子模型、实例分割子模型以及姿态点估计子模型中的多个子模型；
识别模型通过以下方式训练：
获取样本图像在多个不同降采样倍率下的多个图像特征，样本图像针对每个子模型标注有真值；
针对多个不同降采样倍率中的每个降采样倍率，融合多个图像特征在该降采样倍率下的投影，得到样本图像在该将降采样倍率下的融合特征；
将待识别图像在所有降采样倍率下的融合特征，输入至识别模型的每个子模型，得到识别模型的所有子模型输出的预测值；
针对每个子模型，根据该子模型输出的预测值与样本图像针对该子模型标注的真值间的损失，通过针对该子模型预设的训练方式，调整该子模型的模型参数。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一图像识别方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像识别方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质以及计算机程序产品的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (12)
1.一种图像识别方法，其特征在于，所述方法包括：
获取待识别图像在多个不同降采样倍率下的多个图像特征；
针对所述多个不同降采样倍率中的每个降采样倍率，融合所述多个图像特征在该降采样倍率下的投影，得到所述待识别图像在该将降采样倍率下的融合特征；
根据所述待识别图像在所有降采样倍率下的融合特征，确定所述待识别图像的识别结果。
2.根据权利要求1所述的方法，其特征在于，所述针对所述多个不同降采样倍率中的每个降采样倍率，融合所述多个图像特征在该降采样倍率下的投影，得到所述待识别图像在该将采样倍率下的融合特征，包括：
针对所述多个不同降采样倍率中的每个降采样倍率，重复执行以下步骤直至重复执行的次数达到预设次数，所述预设次数不小于所述多个不同采样倍率的数目：
将所述待识别图像在与该降采样倍率的相邻降采样倍率下的图像特征投影至该降采样倍率，得到投影特征，所述相邻降采样倍率为将所述多个降采样倍率按照由大到小或由小到大的顺序进行排序时与该降采样倍率相邻的降采样倍率；
融合所述投影特征与所述待识别图像在该降采样倍率下的图像特征，得到所述待识别图像在该降采样倍率下的新的图像特征；
当重复执行的次数到达预设次数时，将每个降采样倍率下的图像特征作为所述待识别图像在该将降采样倍率下的融合特征。
3.根据权利要求2所述的方法，其特征在于，所述融合所述投影特征与所述待识别图像在该降采样倍率下的图像特征，得到所述待识别图像在该降采样倍率下的新的图像特征，包括：
如果不是第预设次数重复执行，则融合所述投影特征与所述待识别图像在该降采样倍率下最新的图像特征，得到所述待识别图像在该降采样倍率下的新的图像特征；
如果是第预设次数重复执行，则融合所述投影特征、所述待识别图像在该降采样倍率下最新的图像特征、以及所述待识别图像在该降采样倍率下初始的图像特征。
4.根据权利要求2所述的方法，其特征在于，所述将所述待识别图像在与该降采样倍率的相邻降采样倍率下的图像特征投影至该降采样倍率，得到投影特征，包括：
对相邻降采样倍率中小于该降采样倍率的降采样倍率下的图像特征，进行步长大于1的池化处理，得到在该降采样倍率下的投影特征；或，
对相邻降采样倍率中大于该降采样倍率的降采样倍率下的图像特征，进行上采样处理，得到在该降采样倍率下的投影特征。
5.根据权利要求1所述的方法，其特征在于，所述根据所述待识别图像在所有降采样倍率下的融合特征，确定所述待识别图像的识别结果，包括：
将所述待识别图像在所有降采样倍率下的融合特征，输入至预先建立的识别模型进行识别，得到所述待识别图像的识别结果；
所述识别模型包括目标检测子模型、语义分割子模型、实例分割子模型以及姿态点估计子模型中的多个子模型；
所述识别模型通过以下方式训练：
获取样本图像在所述多个不同降采样倍率下的多个图像特征，所述样本图像针对每个子模型标注有真值；
针对所述多个不同降采样倍率中的每个降采样倍率，融合所述多个图像特征在该降采样倍率下的投影，得到所述样本图像在该将降采样倍率下的融合特征；
将所述待识别图像在所有降采样倍率下的融合特征，输入至所述识别模型的每个子模型，得到所述识别模型的所有子模型输出的预测值；
针对每个子模型，根据该子模型输出的预测值与所述样本图像针对该子模型标注的真值间的损失，通过针对该子模型预设的训练方式，调整该子模型的模型参数。
6.一种图像识别装置，其特征在于，所述装置包括：
特征提取模块，用于获取待识别图像在多个不同降采样倍率下的多个图像特征；
特征融合模块，用于针对所述多个不同降采样倍率中的每个降采样倍率，融合所述多个图像特征在该降采样倍率下的投影，得到所述待识别图像在该将降采样倍率下的融合特征；
识别模块，用于根据所述待识别图像在所有降采样倍率下的融合特征，确定所述待识别图像的识别结果。
7.根据权利要求6所述的装置，其特征在于，所述特征融合模块，具体用于针对所述多个不同降采样倍率中的每个降采样倍率，重复执行以下步骤直至重复执行的次数达到预设次数，所述预设次数不小于所述多个不同采样倍率的数目：
将所述待识别图像在与该降采样倍率的相邻降采样倍率下的图像特征投影至该降采样倍率，得到投影特征，所述相邻降采样倍率为将所述多个降采样倍率按照由大到小或由小到大的顺序进行排序时与该降采样倍率相邻的降采样倍率；
融合所述投影特征与所述待识别图像在该降采样倍率下的图像特征，得到所述待识别图像在该降采样倍率下的新的图像特征；
当重复执行的次数到达预设次数时，将每个降采样倍率下的图像特征作为所述待识别图像在该将降采样倍率下的融合特征。
8.根据权利要求7所述的装置，其特征在于，所述特征融合模块，具体用于如果不是第预设次数重复执行，则融合所述投影特征与所述待识别图像在该降采样倍率下最新的图像特征，得到所述待识别图像在该降采样倍率下的新的图像特征；
如果是第预设次数重复执行，则融合所述投影特征、所述待识别图像在该降采样倍率下最新的图像特征、以及所述待识别图像在该降采样倍率下初始的图像特征。
9.根据权利要求7所述的装置，其特征在于，所述特征融合模块，具体用于对相邻降采样倍率中小于该降采样倍率的降采样倍率下的图像特征，进行步长大于1的池化处理，得到在该降采样倍率下的投影特征；或，
对相邻降采样倍率中大于该降采样倍率的降采样倍率下的图像特征，进行上采样处理，得到在该降采样倍率下的投影特征。
10.根据权利要求6所述的装置，其特征在于，所述识别模块，具体用于将所述待识别图像在所有降采样倍率下的融合特征，输入至预先建立的识别模型进行识别，得到所述待识别图像的识别结果；
所述识别模型包括多个目标检测子模型、语义分割子模型、实例分割子模型以及姿态点估计子模型中的多个子模型；
所述识别模型通过以下方式训练：
获取样本图像在所述多个不同降采样倍率下的多个图像特征，所述样本图像针对每个子模型标注有真值；
针对所述多个不同降采样倍率中的每个降采样倍率，融合所述多个图像特征在该降采样倍率下的投影，得到所述样本图像在该将降采样倍率下的融合特征；
将所述待识别图像在所有降采样倍率下的融合特征，输入至所述识别模型的每个子模型，得到所述识别模型的所有子模型输出的预测值；
针对每个子模型，根据该子模型输出的预测值与所述样本图像针对该子模型标注的真值间的损失，通过针对该子模型预设的训练方式，调整该子模型的模型参数。
11.一种电子设备，其特征在于，包括：
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911054684.2A CN111767934B (zh) | 2019-10-31 | 2019-10-31 | 一种图像识别方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911054684.2A CN111767934B (zh) | 2019-10-31 | 2019-10-31 | 一种图像识别方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111767934A true CN111767934A (zh) | 2020-10-13 |
| CN111767934B CN111767934B (zh) | 2023-11-03 |
Family
ID=72718978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911054684.2A Active CN111767934B (zh) | 2019-10-31 | 2019-10-31 | 一种图像识别方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111767934B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114296629A (zh) * | 2021-12-28 | 2022-04-08 | 五邑大学 | 一种信号采集方法和*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460403A (zh) * | 2018-01-23 | 2018-08-28 | 上海交通大学 | 一种图像中多尺度特征融合的目标检测方法与*** |
| US20190156144A1 (en) * | 2017-02-23 | 2019-05-23 | Beijing Sensetime Technology Development Co., Ltd | Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device |
| CN109872364A (zh) * | 2019-01-28 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 图像区域定位方法、装置、存储介质和医学影像处理设备 |
| CN109948524A (zh) * | 2019-03-18 | 2019-06-28 | 北京航空航天大学 | 一种基于空基监视的交通车辆密度估计方法 |
-
2019
- 2019-10-31 CN CN201911054684.2A patent/CN111767934B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190156144A1 (en) * | 2017-02-23 | 2019-05-23 | Beijing Sensetime Technology Development Co., Ltd | Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device |
| CN108460403A (zh) * | 2018-01-23 | 2018-08-28 | 上海交通大学 | 一种图像中多尺度特征融合的目标检测方法与*** |
| CN109872364A (zh) * | 2019-01-28 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 图像区域定位方法、装置、存储介质和医学影像处理设备 |
| CN109948524A (zh) * | 2019-03-18 | 2019-06-28 | 北京航空航天大学 | 一种基于空基监视的交通车辆密度估计方法 |
Non-Patent Citations (2)
| Title |
|---|
| TAO YANG ET AL: "Semantic segmentation via highly fused convolutional network with multiple soft cost functions", 《COGNITIVE SYSTEMS RESEARCH》 * |
| 赵振兵;李胜利;戚银城;翟永杰;张珂;: "一种改进FCN的输电线路航拍图像语义分割方法", 中国科技论文, no. 14 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114296629A (zh) * | 2021-12-28 | 2022-04-08 | 五邑大学 | 一种信号采集方法和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111767934B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6902611B2 (ja) | 物体検出方法、ニューラルネットワークの訓練方法、装置および電子機器 | |
| JP6755849B2 (ja) | 人工ニューラルネットワークのクラスに基づく枝刈り | |
| JP6384065B2 (ja) | 情報処理装置、学習方法、及び、プログラム | |
| CN109492674B (zh) | 用于目标检测的ssd框架的生成方法及装置 | |
| CN112749726B (zh) | 目标检测模型的训练方法、装置、计算机设备和存储介质 | |
| CN111080304A (zh) | 一种可信关系识别方法、装置及设备 | |
| CN112862005B (zh) | 视频的分类方法、装置、电子设备和存储介质 | |
| CN114580263A (zh) | 基于知识图谱的信息***故障预测方法及相关设备 | |
| CN117215728B (zh) | 一种基于代理模型的仿真模拟方法、装置及电子设备 | |
| CN115016965A (zh) | 计量自动化主站的故障检测方法、装置、设备及存储介质 | |
| CN113825165B (zh) | 基于时间图网络的5g切片网络拥塞预警方法及装置 | |
| CN111767934A (zh) | 一种图像识别方法、装置及电子设备 | |
| CN115567371B (zh) | 一种异常检测方法、装置、设备及可读存储介质 | |
| CN116524296A (zh) | 设备缺陷检测模型的训练方法、装置和设备缺陷检测方法 | |
| CN114397306B (zh) | 一种电网均压环超复杂类别缺陷多阶段模型联合检测方法 | |
| CN110705889A (zh) | 一种企业筛选方法、装置、设备及存储介质 | |
| CN112801045B (zh) | 一种文本区域检测方法、电子设备及计算机存储介质 | |
| CN113239272B (zh) | 一种网络管控***的意图预测方法和意图预测装置 | |
| US20200387811A1 (en) | Systems and methods for neighbor frequency aggregation of parametric probability distributions with decision trees | |
| CN114241411A (zh) | 基于目标检测的计数模型处理方法、装置及计算机设备 | |
| CN111767935B (zh) | 一种目标检测方法、装置及电子设备 | |
| CN110705437A (zh) | 一种基于动态级联回归的人脸关键点检测方法及*** | |
| CN117611906A (zh) | 病害识别模型训练的方法及装置、电子设备和存储介质 | |
| CN117909926A (zh) | 一种风险识别方法、装置、存储介质及电子设备 | |
| CN114757263A (zh) | 增加训练数据的方法、相关设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |