CN105243636A - 一种基于mrls-tps的图像变形方法及*** - Google Patents

Abstract

本发明公开了一种基于MRLS-TPS的图像变形方法及***，该方法包括以下步骤：S1、输入原图像、权值参数α和正则化参数λ，并从原图像中选取控制点集合和该控制点集合对应的目标点集合S2、取径向基函数作为TPS核，根据TPS核构建控制点集合的核矩阵K，并根据TPS模型构建变形映射模拟函数f_p，f_p可以分解为一个全局的仿射变换矩阵A和一个局部的弯曲函数g_p；S3、根据S2中的公式求解原图像中每个像素点的权重矩阵W、核向量K_p及变形映射函数f_p；S4、根据变形映射函数的集合{f_p(p)}，通过逆向映射获得变形图像。本发明的优点为：(1)变形后的图像可以很好地保留细节；(2)变形函数具有简单封闭解；(3)它具有非常高的计算效率。

Description

一种基于MRLS-TPS的图像变形方法及***

技术领域

本发明涉及数字图像处理领域，尤其涉及一种基于MRLS-TPS的图像变形方法及***。

背景技术

图像变形技术是计算机图形学里的一项重要技术，与多门学科融合的应用范围。但该技术不是特别成熟，所以近年来很多学者在尽其所能地提高图像变形算法的性能。一个好的图像变形算法不仅要有较高变形的质量，还需要减少运行时间、简化变性控制操作。

图像变形最简单的方法产生于20世纪60年代，通过交叉分解的方法把一副数字图像平滑地过渡到另外一副图像。但是该方法所使用的线性插值让它的视觉效果较差。20世纪80年代，DouglasSmythe在电影制作的过程中提出并且使用了基于网格扭曲的变形方法。该方法首先利用网格来控制图像的扭曲程度，把图像中有限的控制点变换到目标位置，让其他的点根据某种约束方法自动调整，同时保证控制点对其他点的影响，再想办法获得中间图像。该方法的缺点是变形后的图像因为网格的关系可能并不平滑，而且需要把控制点和网格线进行对齐，操作麻烦。

Blanco和Oliverira曾经提出一种基于特征曲线的网格变形法，用构成网格的直线集合合成参数曲线并且使用它们进行变形。从图像的边界或者关节可以自动提取特征曲线。因为不需要对图像进行预处理，所以该方法比较节约时间，对于使用者来说也比较方便，产生的变形也具有一定的真实感。Beier和Neely等人在1992年提出了一种基于特征线段的图形变形方法，该方法以网格变形技术为基础，使用了谢泼德插值，完成了较为平滑的变形，但是该方法有一定的折叠性。Koba提出了一种表面变形算法，把不同的变形方法使用于同一个图像中。Bookstein使用了一种特殊的基于光线的函数，提出了一种基于点约束的方法，这种方法与仿射变换很相似，但是这种方法会让原图像损失一些特征。

近年来，Igarashi提出了一种基于特征点的图像变形技术，主要用于动漫人物的变形。该方法要求尽可能保持目标的刚性特征，从而得到比较平滑的目标图像。运用基于人体的仿真模型可以让人体尽可能刚性变形，质点-弹簧模型的使用最为广泛，但是它的收敛性较差，而且需要特别麻烦的分析和实验，降低了算法的可用性以及效率。

2006年，Schaefer等人提出了基于移动最小二乘(MLS)的图像变形方法，该方法基于Igarashi的变形算法，它只需要在每个网格上定点求出一个线性方程组的解，这样可以提高求解效率。而且该方法不需要对图像进行三角网格化，这使得变形效果相当平滑。该方法不仅可以使用控制点进行控制变形，还可以使用特征线段对变形进行控制。使用MLS方法使得变形可以“尽可能的刚性”，并且可以很好地保留全局形状和局部细节。图像变形算法多采用尽可能刚性的原则，这在物体姿态变化的问题上是合理的，该类图像变形可以认为是分段刚性的变形。

因此，一般的图像变形算法以刚性变换模型或仿射变换模型来建模。然而，在某些情况下，例如蜡烛火焰的摆动，心脏的跳动，表情的变化，以及衣服的褶皱，其形变不再具有分段刚性的性质，“尽可能的刚性”这个规则就失去了意义。

发明内容

本发明要解决的技术问题在于针对现有技术中刚性变换模型和仿射变换模型等图像变换算法无法应对不具备分段刚性性质的情况的缺陷，提供一种能够更加准确和快速进行图像变换的基于MRLS-TPS的图像变形方法及***。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种基于MRLS-TPS的图像变形方法，包括以下步骤：

S1、输入原图像、权值参数α和正则化参数λ，并从原图像中选取控制点集合和该控制点集合对应的目标点集合

S2、取径向基函数作为TPS核，根据TPS核构建控制点集合的核矩阵K，其公式为：

K(p,p_i)＝||p-p_i||²log||p-p_i||

并根据TPS模型构建变形映射模拟函数f_p，f_p可以分解为一个全局的仿射变换矩阵A和一个局部的弯曲函数g_p，其公式为：

$f_p=A\stackrel{\‾}{p}+g_p$

$g_p=\underset{i=1}{\overset{N}{\Σ}}K(p,x_i)c_i$

其中，A为一个3×3的矩阵，表示全局的仿射变换，p和p_i分别表示需要变形的像素点和第i个控制点，为点p的齐次坐标表示，且c_i为一个3×1的矩阵；

S3、根据S2中的公式求解原图像中每个像素点的权重矩阵W、核向量K_p及变形映射函数f_p；

S4、根据变形映射函数的集合{f_p(p)}，通过逆向映射获得变形图像。

进一步地，本发明的步骤S3中权重矩阵W为n阶对角矩阵，其对角上的第i个元素为w_i(p)，其公式为：

w_i(p)＝||p-x_i||^-2α

其中，α为权值参数，p为图像中任意像素点、x_i为第i个控制点。

进一步地，本发明的步骤S3中使用MRLS法求解变形映射函数f_p的最优拟合函数，其移动正则最小二乘误差的公式为：

$\underset{i}{\Σ}{w}_i\left(p\right)\left|\right|f_p\left(x_i\right)-y_i|{|}^2+\mathrm{\λ}\mathrm{\φ}\left(f_p\right)$

其中，w_i(p)表示每个图像点p的权值，为一组控制点，是其对应变形位置，其中x_i和y_i是列向量。f_p(x_i)表示图像点x_i变形后的位置。

进一步地，本发明的步骤S3中根据移动正则最小二乘误差、变形映射拟合函数f_p和弯曲函数g_p计算TPS能量函数，其公式为：

$E(A,C)=\left|\right|W^{1/2}(\stackrel{\‾}{Y}-\stackrel{\‾}{X}{A}^T-KC)|{|}^2+\mathrm{\λ}tr\left(C^{T}KC\right)$

其中， $\stackrel{\‾}{Y}={({\stackrel{\‾}{y}}_1,{\stackrel{\‾}{y}}_2,...,{\stackrel{\‾}{y}}_N)}^T,\stackrel{\‾}{X}={({\stackrel{\‾}{x}}_1,{\stackrel{\‾}{x}}_2,...,{\stackrel{\‾}{x}}_N)}^T,$ C＝(c₁,c₂,…c_N)^T，C表示弯曲系数，为N×3维矩阵，K为核矩阵，A和C为TPS参数对；

对TPS能量函数求解可得：

$C=Q_2\tilde{C}=Q_2{(S^{T}S+\mathrm{\λ}T+\mathrm{\ϵ}I)}^{-1}{S}^T{Q}_2^T\tilde{Y}$

$A={(\tilde{Y}-W^{1/2}KC)}^T{Q}_1{R}^{-T}$

f_p(p)＝Ap+(K_pC)^T

其中，εI表示数值的稳定性，Q₁和Q₂分别为N×3和N×(N-3)维的正交矩阵，R为一个3×3的上三角矩阵， $\tilde{X}=W^{1/2}\stackrel{\‾}{X}.$

本发明提供一种基于MRLS-TPS的图像变形***，包括：

数据输入单元，用于输入原图像、权值参数α和正则化参数λ，并从原图像中选取控制点集合和该控制点集合对应的目标点集合

模型构建单元，用于取径向基函数作为TPS核，根据TPS核构建控制点集合的核矩阵K，其公式为：

K(p,p_i)＝||p-p_i||²log||p-p_i||

并根据TPS模型构建变形映射模拟函数f_p，f_p可以分解为一个全局的仿射变换矩阵A和一个局部的弯曲函数g_p，其公式为：

$f_p=A\stackrel{\‾}{p}+g_p$

$g_p=\underset{i=1}{\overset{N}{\Σ}}K(p,x_i)c_i$

其中，A为一个3×3的矩阵，表示全局的仿射变换，为点的齐次坐标表示，且c_i为一个3×1的矩阵；

变形映射函数计算单元，用于求解原图像中每个像素点的权重矩阵W、核向量K_p及变形映射函数f_p；

变形图像计算单元，用于根据变形映射函数的集合{f_p(p)}，通过逆向映射获得变形图像。

本发明产生的有益效果是：本发明的基于MRLS-TPS的图像变形算法，针对图像变形中经典算法难以解决非刚性形变的问题，引入薄板样条函数，并对其局部非线性变形部分进行正则化约束，其弯曲能量函数也在一个再生希尔伯特空间内，并且是非刚性的，该方法的优点为：(1)变形后的图像可以很好地保留细节；(2)变形函数具有简单封闭解；(3)它具有非常高的计算效率。该方法基于非刚性模型，因此可以看作是对现有的以刚性模型为基础的方法的一个补充。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的基于MRLS-TPS的图像变形方法的流程图；

图2是本发明实施例的基于MRLS-TPS的图像变形方法的原图像和控制点；

图3是本发明实施例的基于MRLS-TPS的图像变形方法的变形后的图像和目标点；

图4是本发明实施例的基于MRLS-TPS的图像变形***的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例的基于MRLS-TPS的图像变形方法，包括以下步骤：

S1、输入原图像、权值参数α和正则化参数λ，并从原图像中选取控制点集合和该控制点集合对应的目标点集合

S2、取径向基函数作为TPS核，根据TPS核构建控制点集合的核矩阵K，其公式为：

K(p,p_i)＝||p-p_i||²log||p-p_i||

并根据TPS模型构建变形映射模拟函数f_p，f_p可以分解为一个全局的仿射变换矩阵A和一个局部的弯曲函数g_p，其公式为：

$f_p=A\stackrel{\‾}{p}+g_p$

$g_p=\underset{i=1}{\overset{N}{\Σ}}K(p,x_i)c_i$

其中，A为一个3×3的矩阵，表示全局的仿射变换，p和p_i分别表示需要变形的像素点和第i个控制点，为点p的齐次坐标表示，且c_i为一个3×1的矩阵；

S3、根据S2中的公式求解原图像中每个像素点的权重矩阵W、核向量K_p及变形映射函数f_p；

S4、根据变形映射函数的集合{f_p(p)}，通过逆向映射获得变形图像。

本发明的方法是基于薄板样条的移动正则最小二乘(movingregularizedleastsquaresbasedonthin-platesplines,MRLS-TPS)最优化方法。针对图像变形中经典算法难以解决非刚性形变的问题，引入薄板样条函数，并对其局部非线性变形部分进行正则化约束。其弯曲能量函数也在一个再生希尔伯特空间内，并且是非刚性的。

在本发明的另一个实施例中，本发明方法的具体步骤为：

1、输入原图像、权值参数α和正则化参数λ，原图像如图2所示，并从原图像中选取控制点集合和该控制点集合对应的目标点集合

2、根据TPS核构建基于控制点的核矩阵K，根据TPS模型构建变形拟合函数f_p；

其中计算核函数K的方法为：

取径向基函数为TPS核，则有：

K(p,p_i)＝||p-p_i||²log||p-p_i||(1)

核矩阵为：K_N×N＝{K(x_i,x_j)}，K(x_i,x_j)＝||x_i-x_j||²log||x_i-x_j||

TPS模型构造变形映射拟合函数：

拟合函数f_p可以分解为一个全局的仿射变换和一个局部的弯曲函数，分别由仿射矩阵A和弯曲函数g_p来控制，即：

$f_p=A\stackrel{\‾}{p}+g_p---\left(2\right)$

$g_p=\underset{i=1}{\overset{N}{\Σ}}K(p,x_i)c_i---\left(5\right)$

其中，A为一个3×3的矩阵，表示全局的仿射变换。为点的齐次坐标表示，且c_i为一个3×1的矩阵。

3、求解原图像中每个像素点的权重矩阵W、核向量K_p及变形映射函数f_p；

权重矩阵W：W为n阶对角矩阵，对角上的第i个元素为w_i(p)，且：

w_i(p)＝||p-x_i||^-2α(4)

其中α为权值参数、p为图像中任意像素点、x_i为第i个控制点。

核向量K_p：K_p为一个1×N的行向量，其中第i个元素为K(p,x_i)。

映射函数f_p的求解方法为：

MRLS法求解最优拟合函数，拟合函数的移动正则最小二乘误差如下：

$\underset{i}{\Σ}{w}_i\left(p\right)\left|\right|f_p\left(x_i\right)-y_i|{|}^2+\mathrm{\λ}\mathrm{\φ}\left(f_p\right)---\left(5\right)$

其中w_i(p)表示每个图像点p的权值，为一组控制点，是其对应变形位置，其中x_i和y_i时列向量，f_p(x_i)表示图像点x_i变形后的位置。

将公式(2)和公式(3)代入公式(5)中，λ为正则化参数，则非线性映射f可以通过最小化的如下TPS能量函数求得：

$E(A,C)=\left|\right|W^{1/2}(\stackrel{\‾}{Y}-\stackrel{\‾}{X}{A}^T-KC)|{|}^2+\mathrm{\λ}tr\left(C^{T}KC\right)---\left(6\right)$

其中， $\stackrel{\‾}{Y}={({\stackrel{\‾}{y}}_1,{\stackrel{\‾}{y}}_2,...,{\stackrel{\‾}{y}}_N)}^T,\stackrel{\‾}{X}={({\stackrel{\‾}{x}}_1,{\stackrel{\‾}{x}}_2,...,{\stackrel{\‾}{x}}_N)}^T,$ C＝(c₁,c₂,…c_N)^T，C为N×3维矩阵，表示弯曲系数，K为核矩阵。

为了求解TPS参数对A和C，首先对矩阵采用QR分解：

$\stackrel{\‾}{X}=\[Q_1|Q_2\]\left[\begin{array}{c}R\\ 0\end{array}\right]$

其中Q₁和Q₂分别为N×3和N×(N-3)维的正交矩阵，R为一个3×3的上三角矩阵。令并将QR分解代入公式(6)，得出：

$E(A,\tilde{C})=\left|\right|Q_2^T(\tilde{Y}-W^{1/2}{\mathrm{KQ}}_2\tilde{C})|{|}^2+||Q_1^T\tilde{Y}-{\mathrm{RA}}^T-Q_1^T{W}^{1/2}{\mathrm{KQ}}_2\tilde{C}|{|}^2+\mathrm{\λ}tr\left({\tilde{C}}^T{Q}_2^T{\mathrm{KQ}}_2\tilde{C}\right)---\left(7\right)$

其中，且为一个(N-3)×3维的矩阵。

对能量函数计算关于和A最小化，即可得到：

$C=Q_2\tilde{C}=Q_2{(S^{T}S+\mathrm{\λ}T+\mathrm{\ϵ}I)}^{-1}{S}^T{Q}_2^T\tilde{Y}---\left(8\right)$

$A={(\tilde{Y}-W^{1/2}KC)}^T{Q}_1{R}^{-T}---\left(9\right)$

其中，εI用来表示数值的稳定性。将公式(8)和公式(9)代入公式(2)和公式(3)中，可以得到f_p的封闭解：

f_p(p)＝Ap+(K_pC)^T(10)

其中K_p为核向量。

4、根据变形映射函数的集合{f_p(p)}，通过逆向映射获得变形图像，变形后图像和目标点如图3所示。

如图4所示，本发明实施例的基于MRLS-TPS的图像变形***用于实现本发明实施例的基于MRLS-TPS的图像变形方法，包括：

数据输入单元401，用于输入原图像、权值参数α和正则化参数λ，并从原图像中选取控制点集合和该控制点集合对应的目标点集合

模型构建单元402，用于取径向基函数作为TPS核，根据TPS核构建控制点集合的核矩阵K，其公式为：

K(p,p_i)＝||p-p_i||²log||p-p_i||

并根据TPS模型构建变形映射模拟函数f_p，f_p可以分解为一个全局的仿射变换矩阵A和一个局部的弯曲函数g_p，其公式为：

$f_p=A\stackrel{\‾}{p}+g_p$

$g_p=\underset{i=1}{\overset{N}{\Σ}}K(p,x_i)c_i$

其中，A为一个3×3的矩阵，表示全局的仿射变换，为点的齐次坐标表示，且c_i为一个3×1的矩阵；

变形映射函数计算单元403，用于求解原图像中每个像素点的权重矩阵W、核向量K_p及变形映射函数f_p；

变形图像计算单元404，用于根据变形映射函数的集合{f_p(p)}，通过逆向映射获得变形图像。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (5)

1.一种基于MRLS-TPS的图像变形方法，其特征在于，包括以下步骤：

S1、输入原图像、权值参数α和正则化参数λ，并从原图像中选取控制点集合和该控制点集合对应的目标点集合

S2、取径向基函数作为TPS核，根据TPS核构建控制点集合的核矩阵K，其公式为：

K(p,p_i)＝||p-p_i||²log||p-p_i||

并根据TPS模型构建变形映射模拟函数f_p，f_p可以分解为一个全局的仿射变换矩阵A和一个局部的弯曲函数g_p，其公式为：

$f_p=A\stackrel{\‾}{p}+g_p$

$g_p=\underset{i=1}{\overset{N}{\Σ}}K(p,x_i)c_i$

其中，A为一个3×3的矩阵，表示全局的仿射变换，p和p_i分别表示需要变形的像素点和第i个控制点，为点p的齐次坐标表示，且c_i为一个3×1的矩阵；

S3、根据S2中的公式求解原图像中每个像素点的权重矩阵W、核向量K_p及变形映射函数f_p；

S4、根据变形映射函数的集合{f_p(p)}，通过逆向映射获得变形图像。

2.根据权利要求1所述的基于MRLS-TPS的图像变形方法，其特征在于，步骤S3中权重矩阵W为n阶对角矩阵，其对角上的第i个元素为w_i(p)，其公式为：

w_i(p)＝||p-x_i||^-2α

其中，α为权值参数，p为图像中任意像素点、x_i为第i个控制点。

3.根据权利要求2所述的基于MRLS-TPS的图像变形方法，其特征在于，步骤S3中使用MRLS法求解变形映射函数f_p的最优拟合函数，其移动正则最小二乘误差的公式为：

$\underset{i}{\Σ}{w}_i\left(p\right)\left|\right|f_p\left(x_i\right)-y_i|{|}^2+\mathrm{\λ}\mathrm{\φ}\left(f_p\right)$

其中，w_i(p)表示每个图像点p的权值，为一组控制点，是其对应变形位置，其中x_i和y_i是列向量。f_p(x_i)表示图像点x_i变形后的位置。

4.根据权利要求3所述的基于MRLS-TPS的图像变形方法，其特征在于，步骤S3中根据移动正则最小二乘误差、变形映射拟合函数f_p和弯曲函数g_p计算TPS能量函数，其公式为：

$E(A,C)=\left|\right|W^{1/2}(\stackrel{\‾}{Y}-\stackrel{\‾}{X}{A}^T-KC)|{|}^2+\mathrm{\λ}tr\left(C^{T}KC\right)$

其中， $\stackrel{\‾}{Y}={({\stackrel{\‾}{y}}_1,{\stackrel{\‾}{y}}_2,...,{\stackrel{\‾}{y}}_N)}^T,\stackrel{\‾}{X}={({\stackrel{\‾}{x}}_1,{\stackrel{\‾}{x}}_2,...,{\stackrel{\‾}{x}}_N)}^T,$ C＝(c₁,c₂,…c_N)^T，C表示弯曲系数，为N×3维矩阵，K为核矩阵，A和C为TPS参数对；

对TPS能量函数求解可得：

$C=Q_2\tilde{C}=Q_2{(S^{T}S+\mathrm{\λ}T+\mathrm{\ϵ}I)}^{-1}{S}^T{Q}_2^T\tilde{Y}$

$A={(\tilde{Y}-W^{1/2}KC)}^T{Q}_1{R}^{-T}$

f_p(p)＝Ap+(K_pC)^T

其中，εI表示数值的稳定性，Q₁和Q₂分别为N×3和N×(N-3)维的正交矩阵，R为一个3×3的上三角矩阵， $\tilde{X}=W^{1/2}\stackrel{\‾}{X}.$

5.一种基于MRLS-TPS的图像变形***，其特征在于，包括：

数据输入单元，用于输入原图像、权值参数α和正则化参数λ，并从原图像中选取控制点集合和该控制点集合对应的目标点集合

模型构建单元，用于取径向基函数作为TPS核，根据TPS核构建控制点集合的核矩阵K，其公式为：

K(p,p_i)＝||p-p_i||²log||p-p_i||

并根据TPS模型构建变形映射模拟函数f_p，f_p可以分解为一个全局的仿射变换矩阵A和一个局部的弯曲函数g_p，其公式为：

$f_p=A\stackrel{\‾}{p}+g_p$

$g_p=\underset{i=1}{\overset{N}{\Σ}}K(p,x_i)c_i$

其中，A为一个3×3的矩阵，表示全局的仿射变换，为点的齐次坐标表示，且c_i为一个3×1的矩阵；

变形映射函数计算单元，用于求解原图像中每个像素点的权重矩阵W、核向量K_p及变形映射函数f_p；

变形图像计算单元，用于根据变形映射函数的集合{f_p(p)}，通过逆向映射获得变形图像。