CN110211025A - 用于图像拼接的捆绑调整方法、存储介质和计算设备 - Google Patents

Abstract

本发明涉及用于图像拼接的捆绑调整方法、存储介质和计算设备，方法包括：S1：初始化设置，包括：预置待拼接图像上的对应点对之间的变换矩阵，初始化累积梯度为零，预置误差的阈值；S2：构造误差函数，以计算变换矩阵的误差函数值，并构造变换矩阵的误差函数值对虚拟目标变换矩阵的梯度函数；S3：计算虚拟目标变换矩阵，并根据梯度函数计算变换矩阵的误差函数值对虚拟目标变换矩阵的梯度；S4：根据虚拟目标变换矩阵的梯度，更新累积梯度并更新变换矩阵；S5：计算更新后的变换矩阵的误差函数值；S6：当更新后的变换矩阵的误差函数值小于阈值时，输出更新后的变换矩阵，否则，更新迭代次数并以更新后的变换矩阵重复步骤S3～S6。

Description

用于图像拼接的捆绑调整方法、存储介质和计算设备

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种用于图像拼接的捆绑调整方法、存储介质和计算设备。

背景技术

图像拼接属于计算机视觉领域。当使用相机对实际场景进行拍摄时，往往无法同时达到较宽的视场与较高的分辨率，因此产生了图像拼接技术，即使用多个相机对实际场景的不同区域进行拍摄，或者使用同一相机对实际场景的不同区域进行多次拍摄，再利用计算机进行后期的合成，从而同时满足宽视场与高分辨率的要求。

在后期合成中，拼接的关键在于寻找实际场景中相邻的两张图像之间的变换关系，而线索在于两张图像的重叠部分中的某些对应点对。图1示意性示出了两个待拼接图像上的对应点对和对应点对的坐标。为了便于展示，只在图1中标记了5个对应点对。如图1所示，对于序列号1～5的任意一个对应点对而言，每个对应点对都有两个点，这两个点具有相同的图像内容，在左图上的点的坐标以(x₁，y₁)表示，在右图上对应点的坐标以(x₂，y₂)表示。在图像拼接时，这两点的坐标遵循下列如式(1)和式(2)所示的仿射变换规律：

x₂＝(h₁x₁+h₂y₁+h₃)/(h₇x₁+h₈y₁+h₉) (1)

y₂＝(h₄x₁+h₅y₁+h₆)/(h₇x₁+h₈y₁+h₉) (2)

在式(1)和式(2)中，变换矩阵H＝[h₁,h₂,h₃,h₄,h₅,h₆,h₇,h₈,h₉]为未知参数，因此，需要使用某种计算方法来对其进行求解，对于计算变换矩阵H的方法统称为捆绑调整法。捆绑调整法的目的是寻找适当的变换矩阵H，使得第一张图像经过变换矩阵H变换后，与第二张图像之间的误差最小。换言之，捆绑调整法是一个寻找变换矩阵H的最优解的过程。

目前，现有技术中捆绑调整法包括：梯度下降法、牛顿法和拟牛顿法。即通常采用梯度下降法、牛顿法、拟牛顿法等优化方法来对变换矩阵H进行迭代求解，但这些方法都存在着各自的弊端。

梯度下降法只需要计算待求参数的梯度，也就是一阶导数即可，因为梯度的方向就是函数上升最快的方向，因此只需要向着梯度的负方向不断地迭代即可找到最优解。但是梯度下降法的缺点在于：迭代速度较低，且容易产生在最优点处的局部振荡等问题。

牛顿法需要计算待求参数的一阶导数与二阶导数，相对于梯度下降法而言具有特别快的迭代速度。但是牛顿法的缺点在于：待求参数的二阶导数需要耗费很大的计算量。

拟牛顿法是对牛顿法的一种改进。拟牛顿法不需要直接计算待求参数的二阶导数，而是通过对待求参数的一阶导数的迭代，来近似地得到二阶导数，从而减少一定的计算量。但是拟牛顿法的缺点在于：近似得到待求参数的二阶导数的迭代过程依旧十分复杂。

发明内容

为了解决现有的捆绑调整法计算复杂、迭代速度低以及容易出现在最优点处局部振荡的技术问题，本发明提供了一种基于Nesterov加速梯度法的用于图像拼接的捆绑调整方法、存储介质和计算设备，在迭代求取变换矩阵H的最优解时，不仅考虑了前几次迭代对本次迭代的影响，还考虑了下次迭代将要产生的影响，从而保证了迭代的可靠性，即不会停留在局部最优解，而能够收敛至全局最优解，同时也保证了迭代的有效性，即不会在最优解附近震荡，而是高效地迭代至最优解。

根据本发明的一个方面，提供了一种用于图像拼接的捆绑调整方法，包括：

步骤S1：初始化设置，包括：预置待拼接图像上的对应点对之间的变换矩阵，初始化累积梯度为零，预置误差的阈值；

步骤S2：构造误差函数，以计算所述变换矩阵的误差函数值，并构造所述变换矩阵的误差函数值对虚拟目标变换矩阵的梯度函数；

步骤S3：计算虚拟目标变换矩阵，并根据所述梯度函数计算所述变换矩阵的误差函数值对所述虚拟目标变换矩阵的梯度；

步骤S4：根据所述变换矩阵的误差函数值对所述虚拟目标变换矩阵的梯度，更新累积梯度并更新变换矩阵；

步骤S5：计算更新后的变换矩阵的误差函数值；以及

步骤S6：当所述更新后的变换矩阵的误差函数值小于所述误差的阈值时，输出所述更新后的变换矩阵，否则，更新迭代次数并以所述更新后的变换矩阵重复步骤S3～S6。

优选地，用于图像拼接的捆绑调整方法还包括：

在步骤S1中，初始化迭代次数为零，并且预置最大迭代次数；以及

在步骤S6中，当迭代次数大于或等于所述最大迭代次数时，输出最后一次迭代更新后的变换矩阵。

优选地，在步骤S2中，通过计算待拼接图像上的对应点对经过变换矩阵变换后的欧氏距离之和构造所述变换矩阵的误差函数。

优选地，用于图像拼接的捆绑调整方法还包括：

在步骤S1中，预置累积梯度权值；以及

在步骤S3中，计算累积梯度和累积梯度权值的乘积，并通过计算所述变换矩阵与所述乘积之差计算所述虚拟目标变换矩阵。

优选地，用于图像拼接的捆绑调整方法还包括：

在步骤S1中，预置虚拟目标变换矩阵的梯度权值；以及

在步骤S4中，通过将累积梯度和累积梯度权值的乘积加上所述变换矩阵的误差函数值对所述虚拟目标变换矩阵的梯度与虚拟目标变换矩阵的梯度权值的乘积，得到更新的累积梯度。

优选地，用于图像拼接的捆绑调整方法还包括：

在步骤S4中，通过计算当前的变换矩阵与更新的累积梯度的差值，得到更新的变换矩阵。

优选地，预置累积梯度权值为0.9，预置虚拟目标梯度权值为0.8。

优选地，预置最大迭代次数为1000。

根据本发明的另一个方面，提供了一种存储介质，其上存储有可执行代码，所述可执行代码在被处理器执行时，使所述处理器执行上述的捆绑调整方法。

根据本发明的另一个方面，还提供了一种计算设备，包括：

处理器；以及

存储器，其上存储有可执行代码，所述可执行代码在被所述处理器执行时，使所述处理器执行上述的捆绑调整方法。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

应用本发明一实施例提供的用于图像拼接的捆绑调整方法、存储介质和计算设备，克服了现有的捆绑调整法计算复杂、迭代速度低以及容易出现在最优点处局部振荡的问题，本发明在考虑累积梯度的同时，能够预测下一次迭代到达位置的梯度，并使用这一预测梯度来对当前位置的梯度加以修正，使得变换矩阵H在沿着梯度的负方向更新时，能够更快速且稳定地迭代至最优解，同时也避免了局部振荡等问题的发生。

本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及说明书附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。

图1示意性示出了两个待拼接图像上的对应点对和对应点对的坐标。

图2为根据本发明一实施例的用于图像拼接的捆绑调整方法的流程图。

图3为根据本发明另一实施例的用于图像拼接的捆绑调整方法的流程图。

图4为根据本发明一实施例的用于图像拼接的捆绑调整方法的更新变换矩阵H的原理图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

同时，在以下说明中，出于解释的目的而阐述了许多具体细节，以提供对本发明实施例的彻底理解。然而，对本领域的技术人员来说显而易见的是，本发明可以不用这里的具体细节或者所描述的特定方式来实施。

为了解决在图像拼接时现有的捆绑调整法计算复杂、迭代速度低以及容易出现在最优点处局部振荡的技术问题，本发明一实施例提供了一种用于图像拼接的捆绑调整方法，其目的在于：通过使用Nesterov加速梯度法来解决图像拼接时的捆绑调整计算问题，在保证计算准确性的前提下，提高计算的效率，从而提高图像拼接的有效性与可靠性。

下面结合附图及实施例来对本发明进行具体说明，但本发明并不局限于以下具体实施例。

如图1所示，在本发明一实施例中，将左图定义为第一张图像，将右图定义为第二张图像，该实施例的目的是计算出最优的变换矩阵以将这两张图像进行拼接。

设待拼接的这两张图像间的对应点对为：

{(x_1,i,y_1,i),(x_2,i,y_2,i)|i＝1,2,...,m}，

其中，i表示对应点对的序列号，i＝1,2,…，m，m为正整数；x_1,i和y_1,i表示第i个对应点对中一个点在第一张图像上实际的横纵坐标；x_2,i和y_2,i表示第i个对应点对中另一个点(对应点)在第二张图像上实际的横纵坐标。

针对待拼接的两张图像间的对应点对{(x_1,i,y_1,i),(x_2,i,y_2,i)|i＝1,2,...,m}，通过如下用于图像拼接的捆绑调整方法来计算变换矩阵H的最优解。

图2为根据本发明一实施例的用于图像拼接的捆绑调整方法的流程图。如图2所示，该方法包括：

步骤S1：初始化设置，包括：预置待拼接图像上的对应点对之间的变换矩阵，初始化累积梯度为零，预置误差的阈值；

步骤S2：构造误差函数，以计算所述变换矩阵的误差函数值，并构造所述变换矩阵的误差函数值对虚拟目标变换矩阵的梯度函数；

步骤S3：计算虚拟目标变换矩阵，并根据所述梯度函数计算所述变换矩阵的误差函数值对所述虚拟目标变换矩阵的梯度；

步骤S4：根据所述变换矩阵的误差函数值对所述虚拟目标变换矩阵的梯度，更新累积梯度并更新变换矩阵；

步骤S5：计算更新后的变换矩阵的误差函数值；以及

步骤S6：当所述更新后的变换矩阵的误差函数值小于所述误差的阈值时，输出所述更新后的变换矩阵，否则，更新迭代次数并以所述更新后的变换矩阵重复步骤S3～S6。

具体地，步骤S1：初始化设置，包括：随机预置一个初始变换矩阵，设为H₀，其中，变换矩阵H₀中的元素h₁～h₉是随机设置的且设置后已知；初始化累积梯度θ_n＝[0,0,0,0,0,0,0,0,0]；预置累积梯度权值α与虚拟目标变换矩阵的梯度权值β；预置误差的阈值τ；初始化迭代次数n＝0；预置最大迭代次数N。

优选地，在本发明一实施例中，预置累积梯度权值α为0.9，预置虚拟目标梯度权值β为0.8，预置最大迭代次数N为1000。但是，上述参数也可以是其他合理的数值，本发明不限于此。

接下来，执行步骤S2：构造误差函数，计算所述变换矩阵的误差函数值，并构造所述变换矩阵的误差函数值对虚拟目标变换矩阵的梯度函数。在步骤S2中，通过计算待拼接图像上的对应点对经过变换矩阵变换后的欧氏距离之和构造误差函数。构造的误差函数表达式如下：

其中，i表示对应点对的序列号，i＝1,2,…，m；n表示迭代次数；H_n表示第n次迭代的变换矩阵；x_2,i和y_2,i表示第i个对应点对中一个点在第二张图像上实际的横纵坐标；x'_1,i和y'_1,i表示第i个对应点对中另一个点经过变换矩阵变换后在第二张图像上的横纵坐标。

误差函数可以表示两张图像在拼接后的误差，误差越小则拼接效果越好。

在步骤S2中，接下来，根据误差函数计算出变换矩阵的误差函数值。在第一次迭代，即迭代次数n＝0时，将步骤S1中预置的变换矩阵H₀代入误差函数，得到变换矩阵H₀的误差函数值J(H₀)。

在步骤S2中，接下来，构造变换矩阵的误差函数值对虚拟目标变换矩阵的梯度函数，表达式如下：

其中，为偏导数符号，H'_n为第n次迭代的虚拟目标变换矩阵，h₁＇～h₉＇为虚拟目标变换矩阵中的元素。

由上述表达式可以看出，变换矩阵的误差函数值对虚拟目标变换矩阵的梯度函数是一个求偏导函数，式中J(H_n)表示的是第n次迭代的变换矩阵的误差函数值，是一个数值；该梯度函数就是求虚拟目标变换矩阵中的每个元素对这个数值的偏导。

构造梯度函数的目的在于：这样在每次迭代时，只需要将第n次迭代的虚拟目标变换矩阵和第n次迭代的变换矩阵的误差函数值代入该梯度函数，就能得到第n次迭代的变换矩阵的误差函数值对虚拟目标变换矩阵的梯度。

接下来，执行步骤S3：计算虚拟目标变换矩阵，并根据所述梯度函数计算所述变换矩阵的误差函数值对所述虚拟目标变换矩阵的梯度。

首先，计算虚拟目标变换矩阵H'_n，表达式如下：

H'_n＝H_n-αθ_n，

其中，α表示累积梯度权值，θ_n表示累积梯度。

由上述表达式可以看出，在步骤S3中，虚拟目标变换矩阵等于变换矩阵H_n与累积梯度和累积梯度权值的乘积之差。

在步骤S3中，接下来，根据梯度函数计算所述变换矩阵的误差函数对虚拟目标变换矩阵H'_n的梯度，具体为：将得到的虚拟目标变换矩阵H'_n和得到的变换矩阵的误差函数值J(H_n)代入到步骤S2的变换矩阵的误差函数对虚拟目标变换矩阵的梯度函数之中，进而得到变换矩阵的误差函数值J(H_n)对虚拟目标变换矩阵H'_n的梯度。

例如，在迭代次数n＝0时，计算变换矩阵H₀的误差函数值J(H₀)对虚拟目标变换矩阵H'_n的梯度。

接下来，执行步骤S4：根据所述变换矩阵的误差函数对所述虚拟目标变换矩阵的梯度，更新累积梯度并更新变换矩阵。具体地，在步骤S4中，通过将累积梯度和累积梯度权值的乘积加上变换矩阵的误差函数值对虚拟目标变换矩阵的梯度与虚拟目标变换矩阵的梯度权值的乘积，得到更新的累积梯度。

更新累积梯度为θ_n+1，表达式如下：

其中，β表示虚拟目标的梯度权值。

具体为：计算累积梯度θ_n与累积梯度权值α的乘积，再加上步骤S3得到的变换矩阵的误差函数值对虚拟目标变换矩阵的梯度与虚拟目标变换矩阵的梯度权值β的乘积，将结果赋给更新后的累积梯度θ_n+1。

在步骤S4中，接下来，通过计算当前的变换矩阵与更新的累积梯度的差值，得到更新的变换矩阵。

更新当前变换矩阵为H_n+1，表达式如下：

H_n+1＝H_n-θ_n+1。

具体为：计算变换矩阵H_n与累积梯度θ_n+1的差值，将结果赋给更新后的变换矩阵为H_n+1。

接下来，执行步骤S5：计算更新后的变换矩阵H_n+1的误差函数值J(H_n+1)。

具体为：将在步骤S4得到的更新后的变换矩阵H_n+1带入到步骤S2的误差函数中，得到更新后的变换矩阵H_n+1的误差函数值J(H_n+1)。

接下来，执行步骤S6：当所述更新后的变换矩阵的误差函数值小于所述误差的阈值时，输出所述更新后的变换矩阵，否则，更新迭代次数并以所述更新后的变换矩阵重复步骤S3～S6。

具体为：判断更新后的变换矩阵H_n+1的误差函数值J(H_n+1)与所述预置的误差阙值τ之间的大小关系，

若J(H_n+1)≤τ，则结束步骤S1～S6，并输出更新后的变换矩阵H_n+1；

否则，更新迭代次数n＝n+1，并以更新后的变换矩阵重复步骤S3～S6。

在本发明一实施例中，通过步骤S1到步骤S6，即可根据待拼接的两张图像间的对应点对，完成变换矩阵H的最优解H_n+1的计算。

图3为根据本发明另一实施例的用于图像拼接的捆绑调整方法的流程图。如图3所示，在本发明另一实施例中，该方法还包括：在步骤S6中：当迭代次数大于或等于所述最大迭代次数时，输出所述更新后的变换矩阵。

具体为：判断当前迭代次数与所述预置的最大迭代次数之间的大小关系，若n≥最大迭代次数N，则结束步骤S1～S6，并输出最后一次迭代更新后的变换矩阵H_n+1；

否则，以更新后的变换矩阵重复步骤S3～S6。

在本发明另一实施例中，通过步骤S1到步骤S6，即可根据待拼接的两张图像间的对应点对，完成变换矩阵H的最优解H_n+1的计算。

图4为根据本发明一实施例的用于图像拼接的捆绑调整方法的步骤S3和步骤S4中更新变换矩阵H的原理图。如图4所示，在第n+1次迭代的当前变换矩阵至第n+2次迭代的当前变换矩阵的过程中，如果只考虑累积梯度的影响，那么迭代结果只会得到第n+1次迭代的虚拟目标变换矩阵，这样就会使得每次的迭代结果与实际的迭代结果出现偏差，进而使得迭代次数增多，迭代时间延长。为了解决上述技术问题，本发明的步骤S3和步骤S4在迭代结果为虚拟目标变换矩阵的基础上，又考虑了虚拟目标变换矩阵的梯度，即在考虑累积梯度的同时，能够预测下一次迭代到达位置的梯度，并使用这一预测梯度来对当前位置的梯度加以修正，使得步骤S4输出的迭代结果为第n+2次迭代的当前变换矩阵，从而提高了迭代计算的效率。

相应地，本发明一实施例还提供了一种存储介质，其上存储有可执行代码，所述可执行代码在被处理器执行时，使所述处理器执行上述的用于图像拼接的捆绑调整方法。

相应地，本发明一实施例还提供了一种计算设备，包括：

处理器；以及

存储器，其上存储有可执行代码，所述可执行代码在被所述处理器执行时，使所述处理器执行上述的用于图像拼接的捆绑调整方法。

综上所述，本发明提供了一种基于Nesterov加速梯度法的用于图像拼接的捆绑调整方法、存储介质和计算设备，在迭代求取变换矩阵H的最优解时，由于考虑了前几次迭代对本次迭代的影响，进而保证了迭代的可靠性，即不会停留在局部最优解，而能够收敛至全局最优解。同时，由于考虑了下次迭代将要产生的影响，进而保证了迭代的有效性，即不会在最优解附近震荡，而是高效地迭代至最优解。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“实施例”意指结合实施例描述的特定特征、或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语或“实施例”并不一定均指同一个实施例。

此外，所描述的特征或特性可以任何其他合适的方式结合到一个或多个实施例中。在上面的描述中，提供一些具体的细节，例如厚度、数量等，以提供对本发明的实施例的全面理解。然而，相关领域的技术人员将明白，本发明无需上述一个或多个具体的细节便可实现，或者也可采用其它方法、组件、材料等实现。

虽然上述示例用于说明本发明在一个或多个应用中的原理，但对于本领域的技术人员来说，在不背离本发明的原理和思想的情况下，明显可以在形式上、用法及实施的细节上作各种修改而不用付出创造性劳动。因此，本发明由所附的权利要求书来限定。

Claims (10)

1.一种用于图像拼接的捆绑调整方法，包括：

步骤S1：初始化设置，包括：预置待拼接图像上的对应点对之间的变换矩阵，初始化累积梯度为零，预置误差的阈值；

步骤S2：构造误差函数，以计算所述变换矩阵的误差函数值，并构造所述变换矩阵的误差函数值对虚拟目标变换矩阵的梯度函数；

步骤S3：计算虚拟目标变换矩阵，并根据所述梯度函数计算所述变换矩阵的误差函数值对所述虚拟目标变换矩阵的梯度；

步骤S4：根据所述变换矩阵的误差函数值对所述虚拟目标变换矩阵的梯度，更新累积梯度并更新变换矩阵；

步骤S5：计算更新后的变换矩阵的误差函数值；以及

步骤S6：当所述更新后的变换矩阵的误差函数值小于所述误差的阈值时，输出所述更新后的变换矩阵，否则，更新迭代次数并以所述更新后的变换矩阵重复步骤S3～S6。

2.根据权利要求1所述的捆绑调整方法，还包括：

在步骤S1中，初始化迭代次数为零，并且预置最大迭代次数；以及

在步骤S6中，当迭代次数大于或等于所述最大迭代次数时，输出最后一次迭代更新后的变换矩阵。

3.根据权利要求2所述的捆绑调整方法，其中，在步骤S2中，通过计算待拼接图像上的对应点对经过变换矩阵变换后的欧氏距离之和构造所述误差函数。

4.根据权利要求2所述的捆绑调整方法，还包括：

在步骤S1中，预置累积梯度权值；以及

在步骤S3中，计算累积梯度和累积梯度权值的乘积，并通过计算所述变换矩阵与所述乘积之差计算所述虚拟目标变换矩阵。

5.根据权利要求4所述的捆绑调整方法，还包括：

在步骤S1中，预置虚拟目标变换矩阵的梯度权值；以及

在步骤S4中，通过将累积梯度和累积梯度权值的乘积加上所述变换矩阵的误差函数值对所述虚拟目标变换矩阵的梯度与虚拟目标变换矩阵的梯度权值的乘积，得到更新的累积梯度。

6.根据权利要求5所述的捆绑调整方法，还包括：

在步骤S4中，通过计算当前的变换矩阵与更新的累积梯度的差值，得到更新的变换矩阵。

7.根据权利要求5所述的捆绑调整方法，其中，预置累积梯度权值为0.9，预置虚拟目标梯度权值为0.8。

8.根据权利要求2所述的捆绑调整方法，其中，预置最大迭代次数为1000。

9.一种存储介质，其上存储有可执行代码，所述可执行代码在被处理器执行时，使所述处理器执行根据权利要求1至8中任一项所述的捆绑调整方法。

10.一种计算设备，包括：

处理器；以及

存储器，其上存储有可执行代码，所述可执行代码在被所述处理器执行时，使所述处理器执行根据权利要求1至8中任一项所述的捆绑调整方法。