CN102663812B - 基于变分光流的三维运动检测与稠密结构重建的直接方法 - Google Patents

Abstract

本发明提出一种基于变分光流的三维运动检测与稠密结构重建的直接方法，涉及三维运动物体的视频仿真技术，该方法特点是：(1)推导出三维运动基本守恒假设。(2)设计一个检测目标物体三维运动速度的能量函数。(3)采用变分方法推导出检测三维运动速度的迭代模型，根据该模型可以直接通过给定图像序列检测目标物体的三维运动。(4)根据目标物体的三维运动参数重建其表面稠密结构。本发明的优点是：可以直接利用给定图像序列检测目标物体的三维运动并重建其表面稠密结构，避免了中间过程对重建结果的误差影响，能够恢复图像中目标运动物体表面的三维稠密结构，更有助于观察物体表面的细节信息；计算精度较高，鲁棒性好。

Description

基于变分光流的三维运动检测与稠密结构重建的直接方法

技术领域

本发明涉及一种三维运动物体的重建技术，特别是通过基于光流方法的三维运动物体的重建技术。

背景技术

现有的真实的世界是三维的，长久以来由于受到科学技术发展水平的限制，我们所能够得到并能对之进行有效处理及分析的绝大多数是二维数据，使得大量的物体的三维信息丢失。随着计算机技术的发展，人们对信息的获取已经从传统的二维平面图像，转向了三维立体图像。三维重建技术大体可分为两类：基于特征的方法和基于光流的方法。

基于特征的三维重建技术已经有了较好的发展，例如使用图像中的角点、直线、曲线等特征可以计算图像中运动物体的三维运动参数及检测到的特征的相对深度信息。但是由于基于特征的方法只能恢复图像中运动物体的部分特征三维结构，而丢失了物体表面的大量细节信息，这使得重建结果无法满足更深层次的要求。

近年来，变分光流计算技术得到了快速发展，根据该方法可以得到图像序列中真实运动物体的图像光流，使用光流进行三维重建可以较好的描述物体表面的细节信息，因此利用这些光流数据来进行真实世界的三维建模得到了很多关注。

发明内容

本发明目的提供一种基于变分光流的三维运动检测与稠密结构重建的直接方法，能快速检测图像序列中目标运动物体的三维运动参数；能重建图像中目标物体表面的三维稠密结构，更有助于观察物体的细节信息。

为了解决上述的技术问题，本发明提出一种基于变分光流的三维运动检测与稠密结构重建的直接方法，其包括：

拍摄获得一组目标运动物体的图像序列；

定义三维运动基本守恒假设；

三维运动检测及结构重建，其包括：

根据变分光流计算方法中的全局平滑约束策略，设计一个基于三维空间滤波的平滑约束项；

将平滑约束项与三维运动基本守恒假设结合，构造一个三维运动检测能量函数；

利用变分原理将所述能量函数分别对三维运动速度求偏导，然后采用（Gauss-Seilel）迭代，检测出目标运动物体的三维运动速度，利用三维运动速度得到目标运动物体表面像素点的相对深度坐标；

依据相对深度坐标得到目标运动物体表面像素点的相对三维坐标，然后根据相对三维坐标重建目标运动物体的表面像素点以及恢复物体的表面的三维结构。

本发明的有益效果：

相比现有技术，本发明可以直接利用给定图像序列检测目标物体的三维运动并重建其表面稠密结构。本方法能够恢复图像中目标运动物体表面的三维稠密结构，更有助于观察物体表面的细节信息；计算精度较高，鲁棒性好。

附图说明

图1是 三维点与图像投影点的透视投影关系图。

图2是立方体实施例的两个帧原图像。

图3是立方体三维运动检测结果。

图4是立方体表面像素点的相对深度坐标灰度图。

图5是立方体表面重建结果。

具体实施方式

本发明提出一种基于变分光流的三维运动检测与稠密结构重建的直接方法，其包括：

拍摄获得一组目标运动物体的图像序列；

定义三维运动基本守恒假设；

三维运动检测及结构重建，其包括：根据变分光流计算方法中的全局平滑约束策略，设计一个基于三维空间滤波的平滑约束项；将平滑约束项与三维运动基本守恒假设结合，构造一个三维运动检测能量函数；利用变分原理将所述能量函数分别对三维运动速度求偏导，然后采用迭代（如Gauss-Seilel迭代），检测出目标运动物体的三维运动速度，利用三维运动速度得到目标运动物体表面像素点的相对深度坐标；依据相对深度坐标得到目标运动物体表面像素点的相对三维坐标，然后根据相对三维坐标重建目标运动物体的表面像素点以及恢复物体的表面的三维结构。

以下通过实施例对发明的技术方案进行说明。

1、拍摄一组包含运动物体的图像序列，如图1所示为三维点与图像投影点的透视投影关系。摄像机的光轴与Z轴重合，四边形为图像平面。

图1中，令摄像机位于三维坐标***0点处，在摄像机拍摄视野内存在一个运动物体，该物体的旋转速度为                                               ，平移速度为。使用摄像机拍摄获得一组运动物体的图像序列。

2、定义三维运动基本守恒假设。

假设点Q是运动物体表面可被摄像机观察到的一点，点Q的三维坐标为，q点是三维空间点Q在摄像机成像平面的对应投影点，假设点q坐标为。为摄像机焦距。那么，三维空间内点Q和它在图像平面上的对应点q的坐标存在如下关系：

，                                (1) 

不失一般性，设定。已知运动物体上点Q的状态方程为：

                             (2)

式(2)中是向量差乘，是Q点坐标对时间的导数，将式(2)展开后可得：

                                    (3)

已知图像光流矢量是像素点坐标变化的瞬时速度，假设投影平面点q处的光流为，则有：

                                       (4)

将式(1)中点q的坐标分别对时间求差分，并代入式(4)中可得图像光流与三维运动速度及深度坐标的对应关系式：

                       (5)

令为时刻图像点q处的灰度值，则有图像灰度守恒假设：

                                   (6)                                                

式(6)中，，和分别表示图像中像素点灰度沿X, Y轴和时间方向的梯度。将式(5)代入式(6)中并整理后可得三维运动基本守恒假设：

           (7)         

其中：

  

式(7)中，是目标运动物体的三维旋转速度，是包含了深度坐标Z的平移速度。是图像序列已知参数。

3、三维运动检测及结构重建。

借鉴变分光流计算方法中的全局平滑约束策略，设计一个基于三维空间滤波的平滑约束条件：

                              (8)

式(8)中，称为三维梯度平滑因子，用公式表示如下：

                               (9)                              

使用这样的平滑约束项，既可以保证计算简单，同时又可以获得图像中运动物体表面的稠密运动速度。将平滑项与三维运动基本守恒假设相结合可以构造一个三维运动检测能量函数：

             (10) 

式(10)中，为平滑项权重系数，它的取值要考虑图像中的噪声情况，当图像本身置信度较高时，取较大值，三维运动速度的估计主要依靠三维运动基本守恒假设；当图像本身置信度较低时，取较小值，三维运动速度的估计主要依靠平滑项从像素点邻域填充信息。不失一般性，这里令。

利用变分原理将能量函数分别对三维运动速度求偏导数并整理可得：

    (11)                 

式(11)中，为邻域的均值，为邻域的均值，采用Gauss- Seidel迭代求解式(11)，将式(11)整理后可得如下形式的迭代方程组：

  (12)               

式(12)中，n是迭代次数，经实验证明，当迭代次数大于500次时，三维运动速度不再有明显变化，因此设定迭代次数n=500。令目标运动物体的初始运动参数为0，通过500次迭代可以检测出目标运动物体的三维旋转速度和相对平移速度。   

根据前面的定义可知，计算出的平移速度是包含了深度坐标Z的相对速度。首先设定，则有：

         (13)

令，即计算出的平移速度是运动物体的平移方向，而不是其真实平移速度。根据式(13)可以计算出运动物体表面像素点的相对深度坐标:

                                (14)

则运动物体的平移方向和三维空间坐标计算公式分别为：

                         (15)                                    

                            (16)                           

    下面使用合成立方体运动图像序列进行说明：

使用计算机合成立方体运动图像序列如图2所示，该图像序列（a）和（b）分别为第7和第8帧原图。

根据透视投影模型确定三维运动基本守恒假设如式(1’)所示。

          (1’)

式(1’)中，是目标运动物体的三维旋转速度和包含了相对深度坐标的三维平移速度。是图像序列已知参数，由下式可以计算得到。

  

利用三维运动基本守恒假设，通过添加平滑约束项构造一个三维运动检测能量函数如式(2’)所示。

              (2’)                   

式(2’)中，是基于扩散思想的平滑约束项，当在图像数据本身置信度较低的区域，主要依靠平滑项从邻域填充信息。为平滑项权重系数，通常情况下的值取常数1。

使用变分方法得到三维运动检测能量函数的对应迭代模型如式(3’)所示。

                    (3’)                

设定目标运动物体的初始运动参数为0，通过500次迭代可以检测出目标运动物体的三维旋转速度和相对平移速度如图3所示。

然后根据式(4’)计算出目标运动物体表面像素点的相对深度坐标，使用灰度图像表示如图4所示。再由式(5’)得到目标物体的平移速度。进而由式(6’)得到物体表面像素点的三维坐标，根据该三维坐标恢复物体的表面的三维结构如图5所示。

                                (4’)                                             

                       (5’) 

                          (6’) 

Claims (2)

1.一种基于变分光流的三维运动检测与稠密结构重建的直接方法，其包括：

拍摄获得一组目标运动物体的图像序列；

定义三维运动基本守恒假设；所述三维运动基本守恒假设由图像光流与图像灰度守恒假设结合构造形成，其中，摄像机成像的图像对时间求差分，并与摄像机成像的图像的光流结合，得到图像光流与三维运动速度及深度坐标的对应关系，将含有该对应关系的图像光流与图像灰度守恒假设结合；

三维运动检测及结构重建，其包括：

根据变分光流计算方法中的全局平滑约束策略，设计一个基于三维空间滤波的平滑约束项；基于三维空间滤波的平滑约束条件如下：

${\mathrm{\ϵ}}_{\mathrm{smooth}}=\underset{\mathrm{\Ω}}{\∫\∫}[{(\▿\mathrm{\ω})}^2+{(\▿T^{\′})}^2]\mathrm{dxdy}---\left(8\right)$

式(8)中，ε_smooth是平滑约束项，(▽ω,▽T')称为三维梯度平滑因子，且满足下面的条件，用公式表示如下：

$\▿\mathrm{\ω}=\frac{\∂\mathrm{\ω}}{\∂X}+\frac{\∂\mathrm{\ω}}{\∂Y}+\frac{\∂\mathrm{\ω}}{\∂Z}=0$

$\▿T^{\′}=\frac{\∂T^{\′}}{\∂X}+\frac{\∂T^{\′}}{\∂Y}+\frac{\∂T^{\′}}{\∂Z}=0---\left(9\right)$

将平滑约束项与三维运动基本守恒假设结合，构造一个三维运动检测能量函数；其中，

三维运动基本守恒假设为：

a_xω_x+a_yω_y+a_zω_z+b_xT_x'+b_yT_y'+b_zT_z'+f_t＝0        (7)

其中

a＝[a_x,a_y,a_z]^T

＝[-xyf_x-(1+y²)f_y,(1+x²)f_x+xyf_y,-yf_x+xf_y]^T

b＝[b_x,b_y,b_z]^T＝[f_x,f_y,-xf_x-yf_y]^T

$T^{\′}={[{T_x}^{\′},{T_y}^{\′},{T_z}^{\′}]}^T={[\frac{T_x}{Z},\frac{T_y}{Z},\frac{T_z}{Z}]}^T=\frac{T}{Z}$

式(7)中，(ω_x,ω_y,ω_z)是目标运动物体的三维旋转速度，(T_x',T_y',T_z')是包含了深度坐标Z的平移速度，(a_x,a_y,a_z,b_x,b_y,b_z)是图像序列已知参数；f_x、f_y和f_t分别表示图像中像素点灰度沿X,Y轴和时间t方向的梯度；T表示图像像素点的真实三维平移速度；(T_x,T_y,T_z)表示物体平移速度；

三维运动检测能量函数为：

ε＝∫∫_Ω{(a^T·ω+b^T·T'+f_t)²+λ²[(▽ω)²+(▽T')²]}dxdy        (10)

式(10)中，λ为平滑项权重系数；a^T，b^T分别表示a，b的转置矩阵；

利用变分原理将所述三维运动检测能量函数分别对三维运动速度求偏导，然后采用迭代，检测出目标运动物体的三维运动速度，即三维旋转速度和相对平移速度，利用相对平移速度得到目标运动物体表面像素点的相对深度坐标；

依据相对深度坐标得到目标运动物体表面像素点的相对三维坐标，然后根据相对三维坐标重建目标运动物体的表面像素点以及恢复物体的表面的三维结构。

2.根据权利要求1所述的基于变分光流的三维运动检测与稠密结构重建的直接方法，其特征在于：所述迭代次数为500次。