CN107424122A - 一种大位移下形变辅助的图像插补方法 - Google Patents

Abstract

本发明公开了一种大位移下形变辅助的图像插补方法，基本目标是对给出的两幅存在较大位移的源图像进行插补实现源图像到目标图像的平滑过渡，首先对输入的源图像和目标图像进行关联点标注。进而根据关联点，对图像作形变操作，得到前向和后向形变图像序列。考虑源相似性和时间相关性，用一种迭代优化策略融合前向和后向形变图像序列，从而插补得到平滑自然的图像中间过渡帧。

Description

一种大位移下形变辅助的图像插补方法

技术领域

本发明涉及一种目标图像和源图像存在大位移情况的图像插补方法，属于图像插补领域。

背景技术

在现有的图像插补技术中，通常涉及如下技术要点：源图像与目标图像关联特征点确定、中间过渡像素运动路径的确定、插补映射空间和混合投影像素。

基于网格的插补算法[1,2]，不仅需要大量的人工标注工作，由于网格变化的全局特性，不适用于局部大尺度变化的图像过渡。基于点的插补算法[3,4,5,6,7]，直接利用图像结构、颜色等信息计算出源图像与目标图像的特征关联点，然而当图像间差异太大时，很难实现准确的图像匹配。基于块的插补算法[8,9]，直接限制目标图像和源图像之间的局部相似性，同时能较好地保留图像结构和细节，但同样无法很好处理目标图像和源图像存在大位移的情况。

由于传统的图像插补方法依赖于准确的图像匹配，因此上述各技术均并不适用于大位移下图像插补问题。

[1]Smythe DB.A two-pass mesh warping algorithm for objecttransformation and image interpolation[J].Rapport technique,1990,1030:31.

[2]Wu E,Liu F.Robust image metamorphosis immune from ghost and blur[J].The Visual Computer,2013,29(4):311-321.

Lee,S.,Chwa,K.Y.,Hahn,J.,Shin,S.Y.,Wolberg,G..Image metamorphosisusing snakes and free-form deformations[C]//InProceedings of SIGGRAPH 95,1995:439–448.

[3]Baker S,Scharstein D,Lewis J P,et al.A database and evaluationmethodology for optical flow[J].International Journal of Computer Vision,2011,92(1):1-31.

[4]Liu C,Yuen J,Torralba A.Sift flow:Dense correspondence acrossscenes and its applications[J].IEEE transactions on pattern analysis andmachine intelligence,2011,33(5):978-994.

[5]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International journal of computer vision,2004,60(2):91-110.

[6]Lipski,C.,Linz,C.,Magnor,M.Belief propagation optical Flow forhigh-resolution image morphing[C]//ACM SIGGRAPH 2010Posters,ACM,2010:67.

[7]Linz,C.,Lipski,C.,Magnor,M.Multi-image interpolation based ongraph-cuts and symmetric optic flow[C]//ACM SIGGRAPH 2010Posters,ACM,2010:115–122.

[8]Shechtman E,Rav-Acha A,Irani M,et al.Regenerative morphing[C]//Computer Vision and Pattern Recognition(CVPR),2010IEEE Conference on.IEEE,2010:615-622.

[9]Darabi S,Shechtman E,Barnes C,et al.Image melding:Combininginconsistent images using patch-based synthesis[J].ACM Trans.Graph.,2012,31(4):82:1-82:10.

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种大位移下形变辅助的图像插补方法，对源图像和目标图像进行插补，实现具有较大位移情况下的平滑过渡。

为了实现上述目的，现提出的方案如下：

步骤S101：对输入的源图像和目标图像进行关联点标注，从而实现人工控制插补路径；

步骤S102：根据步骤S101中的关联点，对源图像和目标图像分别作形变操作，得到前向和后向形变图像序列；

步骤S103：考虑源相似性和时间相关性，利用一种迭代优化策略，融合步骤S102得到的前向和后向形变图像序列，从而插补得到平滑自然的图像中间过渡帧。

步骤S101：对输入的源图像和目标图像进行关联点标注时，根据源图像与目标图像形状和结构特征，对源图像和目标图像进行人工标记特征关联点，实现用户控制图像插补路径。

步骤S102中：对源图像和目标图像作形变操作，得到前向和后向形变图像序列，包括以下步骤：

(1)对输入源图像和目标图像分别提取前景并进行三角网格化，得到一个前景的三角网格；

(2)利用用户人工标记的关联点作为图柄，基于一种局部控制的近似刚性形变模型LC-ARAP(locally controlled as-rigid-as-possible,LC-ARAP)对所述三角网格进行形变操作，在求解三角网格中单个三角形的最优变换和整体三角网格形变位移中迭代解三角网格的形变结果；

(3)根据三角网格的形变结果，对源图像和目标图像分别插值得到前向和后向形变图像序列。

步骤S03中，融合步骤S102得到的前向和后向形变图像序列，从而得到图像插补结果，具体包括：

(1)根据源相似性和时间相关性要求，即待插补图像与相邻前向、后向形变图像和相邻前帧、后帧插补图像的相似性要求，确定能量函数，将图像插补问题转化为目标能量函数优化问题；

(2)基于图像的拉普拉斯金字塔和高斯金字塔，确定相似性度量，利用“重建-融合”两步迭代算法优化所述目标能量函数，得到满足源相似性和时间相关性的中间过渡帧。

所述步骤(2)中，基于一种局部控制的近似刚性形变模型LC-ARAP具体过程如下：

(21)根据形变的近似刚性、局部控制性、形状感知性和平滑性要求，确定目标能量函数，所述目标能量函数包括近似刚性能量项、稀疏能量项和平滑能量项；

(22)采用两步迭代“局部-全局”算法解出满足所述能量函数的最优形变位移：“局部”阶段，固定位移矩阵D，计算三角网格中每个三角形的最优变换矩阵R_t；“全局”阶段，固定R_t，利用快速交替方向乘子法计算出全局最优位移D，据此对三角网格进行位移得到三角网格的形变结果。

所述步骤(2)具体过程如下：

(31)基于图像的拉普拉斯金字塔和高斯金字塔，确定基于块的双向相似性度量；

(32)利用“重建-融合”两步迭代算法优化前述目标能量函数：“重建”过程，根据当前过渡图像帧不仅与时间相邻过渡图像帧相关而且与其对应的前向、后向形变图像相似的特点，基于块的双向相似性度量方法，采用双向最近邻映射重建出当前过渡图像帧与相邻四幅图像，即前向、后向形变图像，相邻前帧、后帧图像的双向映射高斯金字塔和拉普拉斯金字塔；“融合”过程，融合重建的高斯金字塔和拉普拉斯金字塔，获得更新的当前插补过渡图像帧；

(33)对所有帧实施“重建-融合”过程并迭代多次，得到满足源相似性和时间相关性的中间过渡帧。

本发明与现有技术相比的优点在于：本发明首先利用一种局部控制的图像形变算法对源图像和目标图像进行形变操作，在满足形变局部控制性、近似刚性、形状感知性和平滑性要求的基础上，矫正源图像和目标图像之间存在的较大的位移；其次利用基于块的拉普拉斯图像融合方法，迭代融合前向和后向形变图像序列获得平滑自然的图像中间过渡帧。与现有方法相比，本发明能很好地处理源图像和目标图像存在较大位移的情况，改善传统图像插补方法在源图像和目标图像未能精确对准带来的严重的鬼影现象。在融合形变图像序列的过程中本发明采用了基于块的插补算法，能更好地保留图像细节并处理图像未精确配准的情况。同时，本发明相比于传统的基于梯度算子或泊松融合方法，降低了计算量。通过评估，上述策略使本发明公开的图像方法在源图像和目标图像存在大位移下的图像插补问题上表现出良好的性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了本发明一个实施例公开的一种大位移情况下形变辅助的图像插补方法的基本流程；

图2示出了本发明的公开方法的一种形象化的表示；

图3示出了本发明在人脸过渡实施例的实施结果；

图4示出了本发明在手语视频合成过渡帧插补实施例的实施结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

1、如图1所示，对输入的源图像和目标图像进行关联点标注，从而实现人工控制插补路径；

2、根据关联点，对源图像和目标图像分别作形变操作，得到前向和后向形变图像序列，包括：

对输入源图像和目标图像分别提取前景，并用二维Delaunay三角网格对前景进行三角网格化；

利用用户人工标记的关联点作为图柄，考虑形变位移的近似刚性、局部控制性、形状感知性和平滑性，基于一种局部控制的近似刚性形变模型LC-ARAP对网格进行形变操作，采用一种轮换最小平方策略——“局部-全局”算法对模型求解，迭代计算单个最优三角形变换和计算整体三角网格形变位移；

根据形变网格，对源图像和目标图像分别插值得到前向和后向形变序列。

3、融合前向和后向形变序列，从而得到从源图像到目标图像平滑自然过渡的图像插补结果。包括：

根据前向后和向形变图像序列对待插补图像进行初始化；

考虑源相似性和时间相关性，定义目标能量函数，将图像插补问题转化为目标函数优化问题；

基于上采样高斯金字塔和拉普拉斯金字塔，定义双向相似性距离；

分别针对当前待更新的过渡帧与相邻过渡帧和相邻形变图像的块的相似性，迭代搜索双向最近邻映射，获取并叠加双向更新的金字塔，重建过渡帧的上采样高斯金字塔和拉普拉斯金字塔；

根据目标能量函数，加权叠加重建过程获取的四个上采样高斯金字塔，对表示高频成分的拉普拉斯金字塔采用一种贪婪的近似，融合最终的上采样高斯金字塔和拉普拉斯金字塔更新当前的插补过渡帧。

更新所有插补过渡帧，迭代上述重建和融合过程，得到满足源相似性和时间相关性的平滑自然的图像中间过渡帧。

本发明一个实施例公开公开的一种大位移下二维图像形变辅助的图像插补方法。

由图1可知，该方法包括：

S101：对输入的源图像和目标图像标注关联点。

为了控制图像插补的路径，需输入的源图像和目标图像进行关联点标注。如图2源图像A和目标图像B所示，线段端点即为标注的关联点。

S102：根据关联点，对源图像和目标图像分别进行形变操作，获得前向和后向形变图像序列。

本发明提出一种改进的基于稀疏模型的近似刚性形变模型——局部控制的近似刚性形变模型LC-ARAP。

(1)模型构建

首先对输入源图像和目标图像分别提取前景并进行三角网格化。将提取的前景二维形状三角剖分为包含n个顶点的三角网格S，在网格上设置m个形变约束。令为点b在网格S中的位置，代表图柄约束(Ω是图柄集)。形变的目标就是计算出根据约束变形后形状S′中各点的位置p′_i。定义形变位移矩阵(由点位移d_i＝p′_i-p_i构成的矩阵)，其中第i行d_i为点v_i的位移向量。

目标函数定义如下：

上式中，E_arap是目标形状的近似刚性能量，E_sparse衡量位移的稀疏性，E_smooth避免位移突变，非负权重α、β分别反映局部性和平滑性在形变中的重要性。

定义形变方程f在点p的雅克比矩阵为J_f(p)，点p的线性变换方程定义为h(p)，则ARAP能量为：

这里||·||_F是Frobenius范数，衡量局部形变和线性变换的差异。

为了实现局部控制，在目标函数中引入稀疏项：

形变位移D的范数等价于向量[||d₁||,||d₂||,...,||d_n||]的范数，用于惩罚位移非零区域的多少。φ_i是惩罚权重，与网格点到控制图柄的距离相关。采用双调和距离(计算表面上两点的距离，有全局形状感知性)用于构建点v_i的惩罚权重方程：

φ_i＝g(min(x_i))

x_i＝[x_i1,x_i2,...,x_im]是双调和距离向量，其中x_ij是点v_i到图柄H_j的双调和距离，g(·)是单调递增的函数。min(·)挑选最小距离，意味着点的移动是由最近的图柄控制的。该稀疏项的引入，使得形变模型同时满足局部性和形状感知性。

为了在局部控制的同时更好地保持形状特性，在目标函数中引入平滑正则项如下：

在上式中，Δ是拉普拉斯算子，d_x(v_i)＝d_ix，d_y(v_i)＝d_iy。位移向量d_i＝[d_ix,d_iy]是由两个相互垂直方向的位移d_ix和d_iy构成。拉普拉斯能量使得位移在表面各处C^∞连续，在图柄处C¹连续。

(2)模型求解

模型求解采用轮换最小平方策略——“局部-全局”算法，先求解单个三角形的最优变换，然后组合所有变换后的三角形构成整个三角网格。用二维Delaunay三角网格网格化形状。假设三角形网格S由标记为t＝1,2,...,F的三角形构成。定义三角形t的线性变换的矩阵为与点v_i相邻接的点集为N(i)。ARAP能量式可以离散化为如下形式：

是三角形t内点v_i的余切角，R′_t＝R_t-I，Γ_t是三角形L_p内的顶点集合。用有限元方法离散化平滑能量式，得到如下：

上式中，Q＝LM^-1L，是由两个互相垂直的位移向量和组成的矩阵。在标准线性FEM拉普拉斯算子M^-1L中，M是集中质量矩阵，L是对称刚度矩阵。

“局部”阶段。固定位移矩阵D，计算每个三角形的最优变换矩阵R_t；当D为定值时，稀疏项E_sparse和平滑项E_smooth是常数。三角形t的局部ARAP能量如下：

从而得到：

tr(·)表示矩阵的迹。将协方差矩阵定义为：

上式中，U_t和V_t是正交矩阵，Σ_t是对角矩阵，则：

令则M是正交矩阵，即从而推得m_ij≤1。因此，可以得到：

当m_ii＝1，上式达到最大值。此时则最优变换矩阵R_t可以通过奇异值分解求得：

“全局”阶段。固定R_t，计算全局最优位移D。根据“局部”阶段得到的R_t，求解全局形变位移的问题可以视为一个凸优化问题。图柄上的点位移是用户预设的，记为D_Ω＝{d_i|v_i∈Ω}，形变目标则是求剩余位置的位移因此，可以将平滑项重写为：

类似地，ARAP能量可以转化为：

上式中，变换矩阵已经在“局部”阶段解得，则A，B和C是常数矩阵。因此，将“全局”优化目标重新表达为：

求解全局最优位移，采用快速交替方向乘子法(fast alternating directionmethod of multiplies，FADMM)。引入变量Z，则全局优化问题可以表示为：

増广拉格朗日方程为：

惩罚项使得对偶函数在更一般的条件下可导。是拉格朗日乘子，μ是惩罚参数，是对角化权重矩阵。<A,B>＝tr(A^TB)表示两矩阵的内积。引入变量 更新步长t和更新步长γ。迭代过程如下：

Step1更新Z^(k+1)

Step2更新

Step3更新Λ^(k+1)和c^(k+1)

Step4更新和

如果c^(k+1)＜ηc^(k)(0＜η＜1)：

否则t^(k+1)＝1，c^(k+1)＝c^(k)/η。

直到达到迭代次数上限或者位移更新小于阈值，停止迭代，输出形变位移，据此对三角网格进行位移得到三角网格的形变结果。

S103：用一种迭代优化策略融合前向和后向形变图像序列，得到最终的图像插补结果。

采用简单的插值融合方法会使得融合结果因为待融合图像不对准而出现伪影现象。为提高融合质量，融合所得的过渡帧需同时满足源相似性和时间相干性，即图3中的T_n既要与A_n和B_n相似，又要与T_n-1和T_n+1相似。定义目标能量函数：

α₁、α₂、α₃和α₄为分别为T_n与A_n、B_n、T_n-1和T_n+1的相似性权重。给定的两幅图像I₁和I₂的相似性采用双向相似性进行评价，

E_bds(I₁,I₂)＝E_complete(I₁,I₂)+E_coherence(I₁,I₂)

其中，P和Q为图像I₁和I₂中大小为w×w的块，E(P,Q)为P和Q的距离度量，E_complete和E_coherence分别表示双向相似性距离中的完整性度量和一致性度量。完整性度量保证生成的每一帧尽可能地描述源图像的信息，而一致性度量避免了目标图像出现源图像没有的信息和不自然的结构。利用拉普拉斯金字塔的低计算复杂度和的良好结构保持特性，采用拉普拉斯金字塔对图像块表示。对一幅图像I建立高斯金字塔和拉普拉斯金字塔，且有：

为图像I的第i+1层高斯金字塔，为第i层拉普拉斯金字塔。则E(P,Q)可表示为：

其中，和分别为I₁和I₂对应U金字塔的块P和块Q。D₂为均方距离和，D₀为范数距离。λ因子决定距离度量中低频成分和高频成分所占权重的比。

目标能量函数的求解采用一种包含重建和融合两步的迭代优化算法。

(1)重建过程

记图像I₁的金字塔为I₂的金字塔为首先根据完整性要求，优化E_complete。依据距离度量E(P,Q)，从I₂金字塔中选择与I₁金字塔中块P最相似的块，构建各尺度下图像I₂→I₁的最近邻块映射NNF。记第i层尺度对应的最近邻块映射关系为NNFⁱ。假定金字塔共有0,1,...,s共s+1层，在给出的初始化下，初始化最近邻块映射：

在尺度i下，I₁重构金字塔坐标为(x,y)的像素值：

其中Q_x,y表示像素(x,y)在左上角的w×w的块，为未更新中的块Q_x,y在中的最近邻图像块。由上式可见，更新后即为在尺度i下根据最近邻场对应关系下中块Q_x,y的最近邻图像块像素平均值。同理。此时，重构高斯金字塔：

为将以上过程拓展到更精细尺度上，在i＞0时，对尺度i-1的金字塔初始化采用如下方式，

NNF^i-1＝upsample(NNFⁱ)

在上继续搜索更新最近邻场并重复以上过程至尺度i＝0。得到依据完整性的I₁金字塔重建结果：

类似地，依据相干性要求，可以求解出和再根据双向相似性距离要求，得到最终关于图像I₁和I₂的重建金字塔：

(2)融合过程

根据重建过程得到与T_n相关的如下金字塔：

根据公式得：

为避免损失过多的源图像细节，本发明对高频成分采用一种贪婪的近似，即：

这样就将4个拉普拉斯金字塔中具有最大加权幅度的像素作为最终输出拉普拉斯金字塔的像素。最后，融合和得到更新的中间过渡帧：

迭代上述重建和融合过程至预先设置的终止条件(如迭代次数)，获得最终的满足源相似性和时间相关性的平滑自然的图像中间过渡帧。

图3和图4分别示出了以上过程在人脸变换过渡和手语过渡帧插补的实施结果。图3人脸变换实施例中，左右两端为给出的源图像和目标图像，基本实施流程：先采用ASM(Active shape model)算法检测源图像和目标图像中人脸的关键点，并标记为关联点；再用本发明提出的局部控制的近似刚性形变模型LC-ARAP对源图像和目标图像进行形变得到前向形变图像序列和后向图像形变序列；最后利用本发明的基于块的图像插补算法融合前向、后向形变图像序列，得到平滑自然过渡的人脸变换序列。图4手语过渡帧插补实施例的目标是插补过渡帧实现手部存在错位的两幅图像的自然过渡，用于手语的视频合成。该实施例基本流程与上述类似，只在关联点标注上略有不同，其关联点采用的是手工标注或人体骨骼点检测算法检测的人体骨骼点。图4显示，运用本发明的方法实现了两个具有较大手部错位的手语图像帧之间的平滑过渡。

总之，本发明相比于传统的图像插补方法，本发明针对传统方法难以处理的源图像和目标图像之间存在大位移情况，采用一种局部控制的近似刚性形变模型LC-ARAP对源图像与目标图像进行变形生成前向和后向的形变图像序列；再基于源相似性和时间相干性，采用一种迭代优化的方式对目标能量函数进行优化将形变图像序列进行融合，生成平滑自然的过渡帧。本发明可应用于视频过渡帧的插补生成等场景，例如手语视频合成。

最后，还需要说明的是，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (6)

1.一种大位移下形变辅助的图像插补方法，其特征在于，包括：

步骤S101：对输入的源图像和目标图像进行关联点标注，从而实现人工控制插补路径；

步骤S102：根据步骤S101中的关联点，对源图像和目标图像分别作形变操作，得到前向和后向形变图像序列；

步骤S103：考虑源相似性和时间相关性，利用一种迭代优化策略，融合步骤S102得到的前向和后向形变图像序列，从而插补得到平滑自然的图像中间过渡帧。

2.根据权利要求1所述的方法，其特征在于：步骤S101：对输入的源图像和目标图像进行关联点标注时，根据源图像与目标图像形状和结构特征，对源图像和目标图像进行人工标记特征关联点，实现用户控制图像插补路径。

3.根据权利要求1所述的方法，其特征在于：步骤S102中：对源图像和目标图像作形变操作，得到前向和后向形变图像序列，包括以下步骤：

(1)对输入源图像和目标图像分别提取前景并进行三角网格化，得到一个前景的三角网格；

(2)利用用户人工标记的关联点作为图柄，基于一种局部控制的近似刚性形变模型LC-ARAP(locally controlled as-rigid-as-possible,LC-ARAP)对所述三角网格进行形变操作，在求解三角网格中单个三角形的最优变换和整体三角网格形变位移中迭代解三角网格的形变结果；

(3)根据三角网格的形变结果，对源图像和目标图像分别插值得到前向和后向形变图像序列。

4.根据权利要求1所述的方法，其特征在于：步骤S03中，融合步骤S102得到的前向和后向形变图像序列，从而得到图像插补结果，具体包括：

(1)根据源相似性和时间相关性要求，即待插补图像与相邻前向、后向形变图像和相邻前帧、后帧插补图像的相似性要求，确定能量函数，将图像插补问题转化为目标能量函数优化问题；

(2)基于图像的拉普拉斯金字塔和高斯金字塔，确定相似性度量，利用“重建-融合”两步迭代算法优化所述目标能量函数，得到满足源相似性和时间相关性的中间过渡帧。

5.根据权利要求3所述的方法，其特征在于：所述步骤(2)中，基于一种局部控制的近似刚性形变模型LC-ARAP具体过程如下：

(21)根据形变的近似刚性、局部控制性、形状感知性和平滑性要求，确定目标能量函数，所述目标能量函数包括近似刚性能量项、稀疏能量项和平滑能量项；

(22)采用两步迭代“局部-全局”算法解出满足所述能量函数的最优形变位移：“局部”阶段，固定位移矩阵D，计算三角网格中每个三角形的最优变换矩阵R_t；“全局”阶段，固定R_t，利用快速交替方向乘子法计算出全局最优位移D，据此对三角网格进行位移得到三角网格的形变结果。

6.根据权利要求4所述的方法，其特征在于：所述步骤(2)具体过程如下：

(31)基于图像的拉普拉斯金字塔和高斯金字塔，确定基于块的双向相似性度量；

(32)利用“重建-融合”两步迭代算法优化前述目标能量函数：“重建”过程，根据当前过渡图像帧不仅与时间相邻过渡图像帧相关而且与其对应的前向、后向形变图像相似的特点，基于块的双向相似性度量方法，采用双向最近邻映射重建出当前过渡图像帧与相邻四幅图像，即前向、后向形变图像，相邻前帧、后帧图像的双向映射高斯金字塔和拉普拉斯金字塔；“融合”过程，融合重建的高斯金字塔和拉普拉斯金字塔，获得更新的当前插补过渡图像帧；

(33)对所有帧实施“重建-融合”过程并迭代多次，得到满足源相似性和时间相关性的中间过渡帧。