CN107516322B - 一种基于对数极空间的图像物体大小和旋转估计计算方法 - Google Patents

Abstract

本发明公开了一种基于对数极空间的图像物体大小和旋转估计计算方法。输入待测图像和模板图像，并对待测图像进行对数极坐标变换；将变换后的物体图像进行特征提取，获得特征图像；利用提取的特征通过相位相关法计算得到图像物体相对于模板图像的大小和旋转变化的响应图；通过响应图中最大值周边区域内的响应值及其坐标位置来计算相对位移；通过相对位移来计算出待测图像中物体相对于模板图像中物体的大小和旋转变化量。本发明方法创新地利用了对数极空间作为图像操作空间，从而快速有效地同时估计出物体的大小和旋转变化，为上层应用提供快速算法支持。

Description

一种基于对数极空间的图像物体大小和旋转估计计算方法

技术领域

本发明涉及计算机视觉领域以及图像处理的相关技术，尤其涉及了一种基于对数极空间的图像物体大小和旋转估计计算方法。

背景技术

经过近些年的探索和发展，计算机视觉以及图像处理相关技术已经在人工智能、机械加工、交通运输、娱乐、医疗、安防、军事等很多领域具有应用场景。准确快速的图像物体大小和旋转估计作为计算机视觉领域中的基础研究部分，更是物体跟踪、物体检测等应用领域的重要组成部分。本发明致力于提出一种快速有效的图像物体大小和旋转估计计算方法。图像物体大小和旋转估计是物体姿态估计、 物体图像匹配等课题的研究基础和前提，一个优秀的大小和旋转估计计算方法能为以上诸多研究课题提供强有力的支持和保障。

图像物体大小和旋转估计计算方法的主要任务是估算输入图像物体和算法模型的相对大小变化以及旋转变化，即物体在图像平面中2个自由度的相对变化。在大量计算机视觉应用中，例如行人检测、物体检测、物体跟踪等中，都需要对物体进行位置姿态估计，图像物体大小和旋转估计计算方法便可以提供除了位置坐标外的物体大小和旋转的信息，从而使应用具有更完整的物体信息作为输出，在算法匹配时可以使算法具有更好的准确性。因此，图像物体大小和旋转估计计算方法不仅提供了物体的姿态信息，并且在提高算法精度上有重大贡献，是物体检测、行人检测、物体跟踪以及视频分析等***的重要组成部分，具有至关重要的作用。

在目前的视觉算法中，主流的图像物体大小方法主要为图像金字塔算法。其主要思想为对图像物体进行大小不一的采样，形成类似于金字塔的图像堆，再对金字塔中图像物体逐一进行模型匹配，从而得到图像物体的大小估计。而旋转估计的主流方法为暴力穷举法，即对所有的旋转角度都进行采样，在进行模型匹配，从而得到图像物体的旋转估计。这些方法都需要涉及大量的图像采样，以及重复的匹配过程，需要占用大量的计算资源。在实时应用环境下，需要减少金字塔以及穷举的采样数量，从而大大降低了算法的准确性。

因此，现有的图像物体大小旋转估计方法都不能满足既快速又准确的实际应用要求。

发明内容

为了解决背景技术中存在的问题，本发明提出了基于对数极空间的图像物体大小和旋转估计计算方法，用以解决从图像或视频序列中快速并且准确地估计物体相对于算法所学模型的大小和旋转变化的问题。

本发明采用的技术方案是包括如下步骤：

1)输入待测图像和模板图像(模板图像是已经经过极坐标变换以及特征提取的)，并对待测图像进行对数极坐标变换；

待测图像和模板图像均包含完整的目标物体，并且两幅图像的目标物体中心位置已知。模板图像中的目标物体的大小和旋转角度已知。

2)将变换后的物体图像进行特征提取，获得特征图像；

3)利用提取的特征通过相位相关法计算得到图像物体相对于模板图像的大小和旋转变化的响应图；

4)通过响应图中最大值周边区域内的响应值及其坐标位置来计算相对位移；

5)通过相对位移来计算出待测图像中物体相对于模板图像中物体的大小和旋转变化量。

所述步骤1)中的对数极坐标变换是以图像中物体的几何中心为极点的对数极坐标变换。将图像物体从平面空间变化到对数极空间，这样物体的相对大小和旋转变化则对应于对数极空间中的横纵坐标移动，从而把大小旋转估计的问题转化成了图像域中横纵坐标偏移量估计的问题。

所述的特征为图像梯度特征。

所述步骤2)通过提取特征信息，使算法对物体光线变化、物体变形以及姿态变化等情况更为鲁棒。此外，在步骤1)之后才进行特征提取有效地减少了对数极空间转化时对特征值的影响，从而更准确地估计出物体旋转以及大小变化。

所述步骤3)具体为：

3.1)先采用以下公式计算获得

其中，R表示频域响应图，G_a为特征图像傅里叶变换结果，G_b为模板图像傅里叶变换结果，G_a ^*为特征图像傅里叶变换结果的共轭，G_b ^*为模板图像傅里叶变换结果的共轭，

g_a为步骤2)获得的特征图像，F 为傅里叶变换函数，g_b为模板图像，

为阿达马乘法(Hadamard product)计算，即逐单位乘法。

3.2)将频域响应图R采用以下公式计算，将频域响应图变换回时域，作为响应图r：

其中，F^-1表示傅里叶反变换函数。

本发明步骤3)中通过相位相关法计算所求图像物体与算法所学模型中物体的相对变化获得响应图，响应图用于步骤4)中来计算出图像物体的相对大小和旋转变化。通过相位相关法使逐个像素的匹配算法变成傅里叶空间中的元素乘积操作，从而大大减少了计算量得到快速估计的效果。在保证速度的同时，由于卷积理论，可以做到精确的估计大小旋转变化。

所述的模板图像为本发明方法所需估计相对变化的参照物，具体为一张特征图像或是一系列特征图像的平均值。

当模板图像为一系列特征图像的平均值时，其为一系列图像的图像线性融合。

具体是在估计完当前图像物体大小旋转后，对该图像物体进行重采样，即按照大小旋转参数对齐图像物体，再进行线性融合，即：

其中，g_b ^new为线性融合后的模板图像，g_b ^old为线性融合前的模板图像，g_resample表示线性融合加入的模板图像，λ为学习参数。

所述步骤4)具体使用最大值周边区域的响应值作为最大值周边区域中坐标位置的权重，加权平均计算后减去响应图中最大值坐标，从而对坐标位置插值计算获得具有浮点数的相对位移，计算处理公式为：

其中，△x,△y分别为沿图像横纵方向的相对位移，x_o,y_o分别为频域图像原点的横纵方向坐标，频域图像原点为频域中频率为零的原点位置，r (i,j)为响应图中坐标位置，Φ为最大值周边区域，该具体实施中Φ为2个像素范围内，最大值周边区域具有25个响应值；ε表示调整参数，具体为一个很小的值，防止公式中除以零的情况发生。

所述步骤4)的上述处理可以得到更精确的相对位移，从而不止是离散化的得到物体大小和旋转的估计，可以得到连续的估计值从而更精确地估计出物体大小和旋转的变化情况。

所述步骤5)中通过标准化横纵坐标相对位移，对大小估计进行指数变化得到物体大小的相对变化，以及对旋转估计进行归一化得到旋转的相对变化。

所述步骤5)具体为：

先归一化处理步骤4)所得到的相对位移，再采用以下公式计算获得物体相对大小和旋转的变化量：

s＝e^Δx

其中，h为图像大小，θ表示旋转的变化量，s表示大小的变化量。

所述步骤5)的上述处理把相对位移从图像大小边界空间中，转化归一为大小的倍数变化，以及旋转的角度变化中，从而给出最终其他模块可以用的估计信息。

本发明方法在具体实施采用包括以下三个模块的***：

1)输入模块，用于接收采集到的图像数据或视频序列；

2)大小旋转估计模块，用于分析图像，估计出图像物体相对于所学模型的相对大小旋转变化；

3)输出模块，输出所估计的物体大小旋转变化值。

本发明的有益效果是：

本发明实现了快速准确地对于图像物体的大小和旋转进行估计计算，通过对数极坐标转换，将大小和旋转估计问题变成横纵坐标偏移量估计问题，又通过提取图像特征使得该算法在光照变化和物体形变等情况下仍有较好的鲁棒性，同时提高了算法的有效性和时效性，能满足实时图像快速处理的需求。

附图说明

图1为本发明算法的整体结构示意图。

图2为本发明方法的流程图。

图3为实施例在测试图像中的原始坐标与对数极坐标比较示意图。

图4为实施例在数据上的实施例结果示意图。

图5为实施例在物体跟踪算法数据集OTB100上的正确率图。

图6为实施例在物体跟踪算法数据集OTB100上的成功率图。

具体实施方式

下面将结合本发明中的附图，对本发明的技术方案进行清晰、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的目的、技术方案及优点更加清楚明白，接下来将参照附图对本发明实施例进行详细的说明。

本发明的实施例如下：

如图1所示，实施例具体实施的***模块为：

输入模块，用来接收用户提供的图像数据或者视频序列，接下来送入物体大小旋转估计模块进行估计。

物体大小旋转估计模块，把接收到的图像进行对数极坐标变换，然后对新坐标系下图像进行特征提取，再进行相位相关法，通过与算法中所学模型的比较，估计出图像中物体相对于算法模型的大小和旋转，并送入输出模块。

输出模块，用于显示大小旋转的估计结果，把物体大小旋转估计模块所估计出的物体信息参数在原图像中的相应位置上标注出来。

如图2所示，物体大小旋转估计模块主要完成本发明方法在图像中的物体大小和旋转估计工作，对已找到中心点的物体图片(可通过物体检测器或物体***等获得)，采用固定窗口大小，放缩图像的方式进行，主要分为以下几个步骤：

1)对输入图像做对数极坐标变换。从图像坐标系转化为对数极坐标的公式如下所示：

其中x,y为笛卡尔坐标系下对齐坐标。在转换坐标系之前，需要对图像原点进行对齐，即使物体中心点位于坐标系原点，即x＝x^image–x₀,y＝y^image–y₀。图 3为原始坐标系下图像与对数极坐标系下的示意图。

2)对步骤1)所得到的对数极坐标图像进行特征提取，该具体实施中，我们使用Histogram of Gradient(HoG)特征进行特征提取，在其他实施中，可使用其他特征，例如原始图像、深度学习特征等。

3)通过相位相关法得到图像物体相对于算法模型的大小和旋转响应图。其中相位相关法(Phase Correlation)的计算公式如下：

其中，

g_a为步骤2)特征图像，F为傅里叶变化。 g_b为算法所学得模型。

为阿达马乘法(Hadamard product)，即逐单位乘法。

将频域响应图R采用以下公式计算，将频域响应图变换回时域，作为响应图r：

其中，F^-1表示傅里叶反变换函数。

算法所学得模型为算法所需估计相对变化的参照物，可以有多种形式，例如一张参照图像或是一系列图片的平均值。该具体实施中为之前算法所测试的图像线性融合。在估计完当前图像物体大小旋转后，对该图像物体进行重采样，即按照大小旋转参数对齐图像物体，并按照步骤1)和2)进行处理，再与现有模型进行线性融合，即：

其中，g_b ^new为线性融合后的模板图像，g_b ^old为线性融合前的模板图像，g_resample表示线性融合加入的模板图像，λ为学习参数。

4)通过响应图中最大值周边区域内的响应值及坐标位置来计算相对位移。由于最大值总是存在于单个离散的位置，所以需要对坐标位置进行插值从而得到浮点数的坐标值。具体插值计算方法如下：

其中，△x,△y为相对位移，x_o,y_o为图像原点坐标，r (i,j)为响应图中坐标位置，Φ为最大值周边区域，该具体实施中Φ为2个像素范围内，最大值周边区域具有25个响应值；∈表示调整参数，具体为一个很小的值，防止公式中除以零的情况发生。

5)通过相对位移来计算出物体的大小和旋转变化。通过归一化步骤4)所得到的相对位移，再采用以下公式计算获得物体相对大小和旋转的变化量：

s＝e^Δx

其中，h为图像大小，θ表示旋转的变化量，s表示大小的变化量。

图4为结果示意图，其中每一行为依次实施过程，从中可以看到算法可以精确的估计出旋转和大小的变化。图中，第一列为本发明实施具体中的模板图像，后四列为具体估计情况展示，其中灰色四边形框为估计结果展示。

因此图中可见，本发明实施结果是在多种场景下都能对物体的大小和旋转角度进行较好的估计，即始终使灰色四边形框包含物体。

为验证本发明，在本领域已公开的具有挑战的物体跟踪数据集OTB100上进行设计实验，将本发明算法嵌入物体跟踪算法KCF后与公开的物体大小估计 fDSST算法以及SAMF进行对比，把实验结果与测试集的标注框(ground truth) 进行对比，绘制出重叠率曲线以及误差率曲线作为衡量算法性能的标准。

物体跟踪数据集OTB100中包含了100个视频序列，并包含丰富的标注信息，如图5所示，本发明算法的准确性相比传统的fDSST方法约提高了6-9％。

如图5可见，本发明OURS在重叠率曲线以及误差率曲线两个评价标准下都对比其他公开的物体大小估计算法有明显提高，从而说明本发明在各种场景下都有较好的鲁棒性。

图5是跟踪数据测试集OTB100正确率图，其中横坐标为物体中心点与标注中心点的误差距离，纵坐标为在某一个误差距离内的百分比，其中可见本发明实施方案较其他方法，在各个误差范围内都具有更好的效果，从而说明本发明实施方案具有更好的鲁棒性。

图6是跟踪数据测试集OTB100成功率图，其中横坐标为算法框与标注框的重叠率，纵坐标为在某一个重叠率内的百分比，其中可见本发明实施方案较其他方法在各个重叠率上，都更好的拟合了标注框，从而说明本发明具有更好的性能。

由此可见本发明算法均取得比物体大小旋转估计中常用的算法更优秀的实验结果。

最后，应当指出，以上实施例仅是本发明较有代表性的例子。显然，本发明的技术方案并不限于上述实施例，还可以有许多变形。本领域的普通技术人员可在不脱离本发明的发明思想情况下，对于上述实施例做出种种修改或变化，因而本发明的保护范围并不被上述实施例所限，而应该是符合权利要求书提到的创新性特征的最大范围。

Claims (6)

1.一种基于对数极空间的图像物体大小和旋转估计计算方法，其特征在于包括如下步骤：

1)输入待测图像和模板图像，并对待测图像进行对数极坐标变换；

2)将变换后的物体图像进行特征提取，获得特征图像；

3)利用提取的特征通过相位相关法计算得到图像物体相对于模板图像的大小和旋转变化的响应图；

4)通过响应图中最大值周边区域内的响应值及其坐标位置来计算相对位移；

5)通过相对位移来计算出待测图像中物体相对于模板图像中物体的大小和旋转变化量；

所述步骤4)具体使用最大值周边区域的响应值作为最大值周边区域中坐标位置的权重，加权平均计算后减去响应图中最大值坐标，从而对坐标位置插值计算获得具有浮点数的相对位移，计算处理公式为：

其中，△x,△y分别为沿图像横纵方向的相对位移，x_o,y_o分别为频域图像原点的横纵方向坐标，频域图像原点为频域中频率为零的原点位置，r(i,j)为响应图中坐标位置，Φ为最大值周边区域，ε表示调整参数。

2.根据权利要求1所述的一种基于对数极空间的图像物体大小和旋转估计计算方法，其特征在于：所述步骤1)中的对数极坐标变换是以图像中物体的几何中心为极点的对数极坐标变换。

3.根据权利要求1所述的一种基于对数极空间的图像物体大小和旋转估计计算方法，其特征在于：所述的特征为图像梯度特征。

4.根据权利要求1所述的一种基于对数极空间的图像物体大小和旋转估计计算方法，其特征在于：所述步骤3)具体为：

3.1)先采用以下公式计算获得

其中，R表示频域响应图，G_a为特征图像傅里叶变换结果，G_b为模板图像傅里叶变换结果，G_a ^*为特征图像傅里叶变换结果的共轭，G_b ^*为模板图像傅里叶变换结果的共轭，

g_a为步骤2)获得的特征图像，F为傅里叶变换函数，g_b为模板图像，

为阿达马乘法计算，即逐单位乘法；

3.2)将频域响应图R采用以下公式计算，将频域响应图变换回时域，作为响应图r：

其中，F^-1表示傅里叶反变换函数。

5.根据权利要求1所述的一种基于对数极空间的图像物体大小和旋转估计计算方法，其特征在于：所述的模板图像为一张特征图像或是一系列特征图像的平均值。

6.根据权利要求1所述的一种基于对数极空间的图像物体大小和旋转估计计算方法，其特征在于：所述步骤5)中通过标准化横纵坐标相对位移，对大小估计进行指数变化得到物体大小的相对变化，以及对旋转估计进行归一化得到旋转的相对变化；

所述步骤5)具体为：

先归一化处理步骤4)所得到的相对位移，再采用以下公式计算获得物体相对大小和旋转的变化量：

s＝e^Δx

其中，h为图像大小，θ表示旋转的变化量，s表示大小的变化量。

Images