CN112990381B - 畸变图像目标识别方法及装置 - Google Patents

Abstract

本发明公开了一种畸变图像目标识别方法，使用识别模型对畸变图像中的目标图像进行识别；所述识别模型是以从畸变图像中所采集的各类别目标图像作为训练样本，使用畸变修正损失函数对深度神经网络进行训练得到的畸变修正识别模型；所述畸变修正损失函数是以所述训练样本在普通分类模型上对应类别的分类置信值作为该训练样本的畸变度量参数，利用该畸变度量参数对基础损失函数进行畸变修正得到；所述普通分类模型是以从非畸变图像中所采集的各类别目标图像作为训练样本对深度神经网络进行训练得到。本发明还公开了一种畸变图像目标识别装置。本发明无需进行任何畸变图像矫正处理，即可实现对畸变图像目标的识别，且算法简单，易于实现。

Description

畸变图像目标识别方法及装置

技术领域

本发明涉及一种目标识别方法，尤其涉及一种畸变图像目标识别方法，属于机器学习与图像处理、计算机视觉的交叉技术领域。

背景技术

以鱼眼镜头所拍摄图像为代表的畸变图像具有焦距短、视场大的特点，在全方位视觉***有广泛的市场需求。畸变图像能够达到接近或者大于180°的超大视角，利用畸变图像能够捕捉更大范围的景象，因此，畸变图像具有巨大的潜在应用价值。例如，将畸变图像应用于一些公共场合的视频监控***，采用吸顶的安装方式，则可以使整个区域的景象被记录。这样人们就不需要在不同的区域安装多个监控摄像头，以节约空间、资源及使用成本。又例如人们在日常生活中总会遇到这种情况，明明感觉眼前的景致很美，却怎么也不能用手中的摄影摄像设备将其记录下来，这很大一部分原因是摄影摄像设备的视角能力不能达到人眼所能看到的范围。

虽然畸变图像具有视场大的优点，能够达到甚至超出人眼所能看到的范围，但是畸变图像的这种超大的视角是通过牺牲被拍摄物以其原有形态呈现来达到的；也就是说，畸变图像中相比非畸变图像发生了畸变，这也对畸变图像的目标检测、目标识别与目标跟踪带来了巨大困难。为了提高检测和识别精度，现有技术对于畸变图像的目标检测与识别，通常需要先对畸变图像进行极其复杂的图像矫正，然后利用矫正后的图像进行后续的模型训练以及目标检测及分类识别，这样做的代价显然是巨大的。

也有部分研究者提出直接采用畸变图像来训练识别模型，为了克服图像畸变的影响，将畸变图像按照畸变程度划分成若干个区域，对各个畸变不同的区域训练检测器和分类器，例如中国发明专利申请CN109840883A所公开的《一种训练物体识别神经网络的方法、装置及计算设备》，该方案虽然考虑了图像畸变的问题，但是针对不同区域分别训练检测器和分类器过于繁琐。此外，由于图像畸变是个连续的过程，人工标注图像畸变程度往往受主观影响较大，因此，训练样本的畸变程度标注也是个极大的难点。

发明内容

本发明所要解决的技术问题在于克服现有技术不足，提供一种畸变图像目标识别方法，无需进行任何畸变图像矫正处理，即可实现对畸变图像目标的快速准确识别，且算法简单，易于实现。

本发明具体采用以下技术方案解决上述技术问题：

一种畸变图像目标识别方法，使用识别模型对畸变图像中的目标图像进行识别；所述识别模型是以从畸变图像中所采集的各类别目标图像作为训练样本，使用畸变修正损失函数对深度神经网络进行训练得到的畸变修正识别模型；所述畸变修正损失函数是以所述训练样本在普通分类模型上对应类别的分类置信值作为该训练样本的畸变度量参数，利用该畸变度量参数对基础损失函数进行畸变修正得到；所述普通分类模型是以从非畸变图像中所采集的各类别目标图像作为训练样本对深度神经网络进行训练得到。

作为其中一个优选方案，所述基础损失函数为对比损失函数ContrastLoss，所述畸变修正损失函数SimilarityContrastloss具体如下：

式中，d表示本迭代批次所输入所有N个训练样本中的样本i和样本j识别特征的欧氏距离；y为样本i和样本j是否为同一类别的标签，y=1代表两个样本为同一类别，y=0代表不是同一类别；margin为设定的阈值；max（）为取最大值函数；similarity为样本i和样本j在普通分类模型上对应类别的分类置信值之间的归一化相似度。

进一步优选地，所述相似度为欧式距离或L1距离。

作为其中另一个优选方案，所述基础损失函数为交叉熵损失函数CrossEntropyLoss，所述畸变修正交叉熵损失函数similarityCrossEntropyLoss具体如下：

式中，N表示样本数量；i表示样本序号； c表示类别序号； M表示类别总数；y _ic 为类标变量,如果该类别和样本i的类别相同就是1，否则是0；p _ic 表示样本i属于类别c的预测概率，log为对数函数，score _ic 表示第i个样本在普通分类模型上对应第c个类别类别的分类置信值。

基于同一发明构思还可以得到以下技术方案：

一种畸变图像目标识别装置，包括用于对畸变图像中的目标图像进行识别的识别模型；所述识别模型是以从畸变图像中所采集的各类别目标图像作为训练样本，使用畸变修正损失函数对深度神经网络进行训练得到的畸变修正识别模型；所述畸变修正损失函数是以所述训练样本在普通分类模型上对应类别的分类置信值作为该训练样本的畸变度量参数，利用该畸变度量参数对基础损失函数进行畸变修正得到；所述普通分类模型是以从非畸变图像中所采集的各类别目标图像作为训练样本对深度神经网络进行训练得到。

作为其中一个优选方案，所述基础损失函数为对比损失函数ContrastLoss，所述畸变修正损失函数SimilarityContrastloss具体如下：

式中，d表示本迭代批次所输入所有N个训练样本中的样本i和样本j识别特征的欧氏距离；y为样本i和样本j是否为同一类别的标签，y=1代表两个样本为同一类别，y=0代表不是同一类别；margin为设定的阈值；max（）为取最大值函数；similarity为样本i和样本j在普通分类模型上对应类别的分类置信值之间的归一化相似度。

进一步优选地，所述相似度为欧式距离或L1距离。

作为其中另一个优选方案，所述基础损失函数为交叉熵损失函数CrossEntropyLoss，所述畸变修正交叉熵损失函数similarityCrossEntropyLoss具体如下：

式中，N表示样本数量；i表示样本序号； c表示类别序号； M表示类别总数；y _ic 为类标变量,如果该类别和样本i的类别相同就是1，否则是0；p _ic 表示样本i属于类别c的预测概率，log为对数函数，score _ic 表示第i个样本在普通分类模型上对应第c个类别类别的分类置信值。

相比现有技术，本发明技术方案具有以下有益效果：

本发明首次提出以畸变目标图像在普通分类模型上对应类别的分类置信值作为该畸变目标图像的畸变度量参数，该参数可较好地区分同一物体在畸变图像中不同位置处所产生的畸变程度的不同，并基于这一畸变度量参数对识别模型中的训练损失函数进行畸变修正，从而使得所训练得到的畸变修正识别模型可以对畸变目标图像进行准确地识别、分类；并且由于本发明技术方案不需要进行畸变图像矫正或分区域训练检测器、分类器等复杂操作，因此相比现有技术更易于实现，且实时性更好，对软硬件资源的需求更少。

具体实施方式

为了能快速准确地对畸变图像目标进行识别，本发明的解决思路是以畸变目标图像在普通分类模型上对应类别的分类置信值作为该畸变目标图像的畸变度量参数，并基于这一畸变度量参数对识别模型中的训练损失函数进行畸变修正，从而使得所训练得到的畸变修正识别模型可以对畸变目标图像进行准确地识别、分类；并且由于不需要进行畸变图像矫正或分区域训练检测器、分类器等复杂操作，因此更易于实现，且实时性更好，对软硬件资源的需求更少。

在以鱼眼相机所拍摄图像为代表的畸变图像中，同一物体在不同位置其图像畸变程度是不同的，因此有必要对这一畸变程度进行较准确的表征。如果以从非畸变图像中所采集的各类别目标图像作为训练样本对深度神经网络进行训练所得到的普通分类模型对鱼眼相机下同一物体不同位置的图像进行分类，可以得到该物体标注类别在普通分类模型上对应类别的分类置信值。这个变化范围为[0,1]的分类置信值可以反映图像畸变程度，受畸变的影响同一物体在不同位置的的分类置信值会不同，在畸变较小的位置，畸变的物体图像是最接近普通相机下的物体图像，那么分类置信值应该是最高的；在畸变较大的位置，畸变的物体图像会明显区别于普通相机下的物体图像，那么分类置信值识别应该较低。因此，本发明提出将这个分类置信度作为评估图像畸变的指标，并依据这一指标对识别模型的训练损失函数进行畸变修正。本发明所提出的畸变图像目标识别方法具体如下：

使用识别模型对畸变图像中的目标图像进行识别；所述识别模型是以从畸变图像中所采集的各类别目标图像作为训练样本，使用畸变修正损失函数对深度神经网络进行训练得到的畸变修正识别模型；所述畸变修正损失函数是以所述训练样本在普通分类模型上对应类别的分类置信值作为该训练样本的畸变度量参数，利用该畸变度量参数对基础损失函数进行畸变修正得到；所述普通分类模型是以从非畸变图像中所采集的各类别目标图像作为训练样本对深度神经网络进行训练得到。

为了便于公众理解，下面以自动售贩机的瓶装饮料自动识别为例来对本发明技术方案进行进一步详细说明：

首先进行训练样本的准备和标记。利用鱼眼相机采集所有类别的瓶装饮料图像，通过人工将图像中的每个饮料的可见的瓶盖区域通过矩形框的形式标记出来，同时记录对应的饮料类别。按照人工标注的矩形框将图像中的瓶盖区域截取出来并且保存，送入普通分类模型进行分类识别，普通分类模型是通过普通相机所采集的所有类别的瓶装饮料图像训练得到，其分类类别至少包含自动售贩机所售贩的所有类别瓶装饮料，当然也可以是能识别更多其它类型饮料的普通分类模型；普通分类模型根据已知的标注类别对所截取的各个类别的瓶盖区域图像（即目标图像）进行分类识别，得到每个目标图像普通分类模型上对应类别的分类置信值，其取值在0-1范围内，记录下每个目标图像的分类置信值，并以其表征目标图像的畸变程度，该值越大表明畸变越大。

将以上标记了类别且获得了在普通分类模型上对应类别的分类置信值的各个类别的瓶盖区域图像作为训练样本，送入深度神经网络（如resne18）进行训练，获得相应的识别特征。假设一次送入所述神经网络的训练样本数量N为32，每张图像的识别特征维度为1×512，那么这一批图像的识别特征矩阵维度为32*512。在普通相机视角下，图像没有畸变，识别难度较低，类与类之间容易分开。但是在畸变视角下，受畸变的影响，可能不同类别的目标图像在畸变较大的情况下比较相似，如果仍然采用传统的损失函数，会造成类与类之间的不可分或者类与类边界的混淆。为此，本发明以传统的损失函数（例如交叉熵损失函数CrossEntropyLoss、对比损失函数ContrastLoss等）作为基础损失函数，利用训练样本在普通分类模型上对应类别的分类置信值对基础损失函数进行畸变修正。所得到的畸变修正损失函数依据基础损失函数的不同而有不同的形式，下面分别以ContrastLoss和CrossEntropyLoss为例来进行说明。

（一）传统ContrastLoss函数如下式所示：

式中，d表示本迭代批次所输入所有N个训练样本中的样本i和样本j识别特征的欧氏距离；y为样本i和样本j是否为同一类别的标签，y=1代表两个样本为同一类别，y=0代表不是同一类别；margin为设定的阈值；max（）为取最大值函数。

本发明基于对比损失函数ContrastLoss改进得到的畸变修正损失函数SimilarityContrastloss具体如下：

式中，d表示本迭代批次所输入所有N个训练样本中的样本i和样本j识别特征的欧氏距离；y为样本i和样本j是否为同一类别的标签，y=1代表两个样本为同一类别，y=0代表不是同一类别；margin为设定的阈值；max（）为取最大值函数；similarity为样本i和样本j在普通分类模型上对应类别的分类置信值之间的归一化相似度。

具体地，将这32个识别特征进行互不重复的一一组合，得到共计16*31个组合对，根据32张图像的标注类标对16*31个组合重新打标，同一类标对组合的新类标为1，不同类的组合新类标为0，即式中的y；同时计算16*31个组合中每一组合对中两个训练样本在普通分类模型上对应类别的分类置信值的相似度，相似度的度量具体可以采用欧式距离、L距离等常用度量方式，然后将所得到的相似度归一化至[0,1]的范围内，即得到相应的similarity。依据以上的畸变修正损失函数SimilarityContrastloss计算网络损失并进行网络参数的更新；依次类推，对所有训练样本进行训练，直到网络收敛至预设指标或者达到预设迭代次数，训练完成，得到训练好的畸变修正识别模型。

采用以上训练好的畸变修正识别模型即可对从畸变图像中检测到的目标测试图像进行准确识别。具体识别时，预先为各个类别的饮料选取鱼眼相机下畸变较小的一张瓶盖区域图像作为底库照片，通过训练好的畸变修正主体网络模型计算出各个类别底库照片的识别特征并保存；将检测器检测出来的瓶盖区域图像送入训练好的畸变修正主体网络模型，计算对应的识别特征，与底库中各个类别的识别特征进行比对，相似度最高的类别即认为是识别类别。由于训练好的识别网络具有很强的特征提取能力，在应对新增类别时，无需额外的标注和数据，也可以提取出区别于已有类别的特征，从而可以避免因为新增商品类别进行频繁迭代模型。

（二）传统交叉熵损失函数CrossEntropyLoss的表达式为：

式中，N表示样本数量；i表示样本序号； c表示类别序号； M表示类别总数；y _ic 为类标变量,如果该类别和样本i的类别相同就是1，否则是0；p _ic 表示样本i属于类别c的预测概率，log为对数函数。

本发明基于传统交叉熵损失函数CrossEntropyLoss改进得到的畸变修正交叉熵损失函数similarityCrossEntropyLoss具体如下：

式中，N表示样本数量；i表示样本序号； c表示类别序号； M表示类别总数；y _ic 为类标变量,如果该类别和样本i的类别相同就是1，否则是0；p _ic 表示样本i属于类别c的预测概率，log为对数函数，score _ic 表示第i个样本在普通分类模型上对应第c个类别类别的分类置信值。

具体地，将这32个1*512维的识别特征再送入全连接层，该全连接层输出的维度对应于样本类别总数，每一张图像输出1*类别数的分类置信值特征，32张图像对应的分类置信值矩阵维度应为32*类别数，将32张图对应的分类置信值矩阵，对应的类标和对应的每张图像的畸变分值送入对应的畸变修正交叉熵损失函数中计算网络损失并进行网络参数的更新；依次类推，对所有训练样本进行训练，直到网络收敛至预设指标或者达到预设迭代次数，训练完成，得到训练好的畸变修正识别（分类）模型。

上述畸变修正识别（分类）模型最后具有一层全连接层，该层全连接层的输出维度对应着商品的类别总数，每一列的索引与类别一一对应。具体识别时，将检测器检测出来的瓶盖区域图像送入训练好的畸变修正识别（分类）模型，计算对应维度为1*类别数的分类置信值，这个分类置信值中取最大值对应的类标作为识别结果。由于分类网络的分类种类是固定的，在新增类别时，需要人工标注和数据，如果新增商品次数频繁，那么分类模型需要频繁的迭代，不利于维护。

为了验证本发明技术方案的效果，采用自主售货柜下的畸变图像测试集10个类别，每个类别300张作为畸变图像测试集。无畸变图像10个类别，每个类别300张作为无畸变图像测试集。统计的指标为准确率，即识别（分类）正确图像总数量/总图像数量。表1中，普通识别模型和本发明识别模型的深度神经网络均为resnet18，普通识别模型的损失函数为contrast loss，本发明识别模型的损失函数为similarity contrast loss。表2中，普通分类模型和本发明分类模型的深度神经网络均为resnet18，普通分类模型的损失函数为交叉熵损失函数，本发明分类模型的损失函数为畸变修正交叉熵损失函数。

表1

	畸变图像测试集	无畸变图像测试集
			普通识别模型	87.7%	92.3%
本发明识别模型	91.3%	93.3%

表2

	畸变图像测试集	无畸变图像测试集
			普通分类模型	82.5%	94.2%
本发明分类模型	92.6%	94.9%

本发明针对以鱼眼相机所拍摄图像为代表的畸变图像的目标识别。由于图像畸变是个连续的过程，人工标注图像畸变成度往往受主观影响较大，因此本发明提出利用现有的普通分类模型实现畸变图像畸变程度的表征和自动标注，这个过程无需额外的人工。其次，现有的识别算法在鱼眼相机或者畸变视角下需要对图像进行矫正，训练过程中没有利用图像的畸变信息来监督学习，或者需要强行划分畸变区域，每个区域训练一个模型。本发明在现有深度神经网络的基础上，融合了图像畸变信息来对识别模型进行训练，从而使得模型在变化丰富的畸变图像下仍然能够取得不错的识别精度，并不需要对图像进行矫正或者其它复杂操作，也不需要分区域训练不同的模型，在实时性和实现成本方面具有显著优势。

Claims (4)

1.一种畸变图像目标识别方法，使用识别模型对畸变图像中的目标图像进行识别；其特征在于，所述识别模型是以从畸变图像中所采集的各类别目标图像作为训练样本，使用畸变修正损失函数对深度神经网络进行训练得到的畸变修正识别模型；所述畸变修正损失函数是以所述训练样本在普通分类模型上对应类别的分类置信值作为该训练样本的畸变度量参数，利用该畸变度量参数对基础损失函数进行畸变修正得到；所述普通分类模型是以从非畸变图像中所采集的各类别目标图像作为训练样本对深度神经网络进行训练得到；

所述基础损失函数为对比损失函数ContrastLoss，畸变修正对比损失函数SimilarityContrastloss具体如下：

式中，SCL表示畸变修正对比损失函数SimilarityContrastloss；d表示本迭代批次所输入所有N个训练样本中的样本i和样本j识别特征的欧氏距离；y为样本i和样本j是否为同一类别的标签，y=1代表两个样本为同一类别，y=0代表不是同一类别；margin为设定的阈值；max（）为取最大值函数；similarity为样本i和样本j在普通分类模型上对应类别的分类置信值之间的归一化相似度；

或者，所述基础损失函数为交叉熵损失函数CrossEntropyLoss，所述畸变修正交叉熵损失函数similarityCrossEntropyLoss具体如下：

式中，SCEL表示畸变修正交叉熵损失函数similarityCrossEntropyLoss；N表示样本数量；i表示样本序号； c表示类别序号； M表示类别总数；y _ic 为类标变量,如果该类别和样本i的类别相同就是1，否则是0；p _ic 表示样本i属于类别c的预测概率，log为对数函数，score _ic 表示第i个样本在普通分类模型上对应第c个类别的分类置信值。

2.如权利要求1所述畸变图像目标识别方法，其特征在于，所述相似度为欧式距离或L1距离。

3.一种畸变图像目标识别装置，包括用于对畸变图像中的目标图像进行识别的识别模型；其特征在于，所述识别模型是以从畸变图像中所采集的各类别目标图像作为训练样本，使用畸变修正损失函数对深度神经网络进行训练得到的畸变修正识别模型；所述畸变修正损失函数是以所述训练样本在普通分类模型上对应类别的分类置信值作为该训练样本的畸变度量参数，利用该畸变度量参数对基础损失函数进行畸变修正得到；所述普通分类模型是以从非畸变图像中所采集的各类别目标图像作为训练样本对深度神经网络进行训练得到；

所述基础损失函数为对比损失函数ContrastLoss，畸变修正对比损失函数SimilarityContrastloss具体如下：

式中，SCL表示畸变修正对比损失函数SimilarityContrastloss；d表示本迭代批次所输入所有N个训练样本中的样本i和样本j识别特征的欧氏距离；y为样本i和样本j是否为同一类别的标签，y=1代表两个样本为同一类别，y=0代表不是同一类别；margin为设定的阈值；max（）为取最大值函数；similarity为样本i和样本j在普通分类模型上对应类别的分类置信值之间的归一化相似度；

或者，所述基础损失函数为交叉熵损失函数CrossEntropyLoss，所述畸变修正交叉熵损失函数similarityCrossEntropyLoss具体如下：

式中，SCEL表示畸变修正交叉熵损失函数similarityCrossEntropyLoss；N表示样本数量；i表示样本序号； c表示类别序号； M表示类别总数；y _ic 为类标变量,如果该类别和样本i的类别相同就是1，否则是0；p _ic 表示样本i属于类别c的预测概率，log为对数函数，score _ic 表示第i个样本在普通分类模型上对应第c个类别的分类置信值。

4.如权利要求3所述畸变图像目标识别装置，其特征在于，所述相似度为欧式距离或L1距离。