CN102663812B - 基于变分光流的三维运动检测与稠密结构重建的直接方法 - Google Patents
基于变分光流的三维运动检测与稠密结构重建的直接方法 Download PDFInfo
- Publication number
- CN102663812B CN102663812B CN201210082929.4A CN201210082929A CN102663812B CN 102663812 B CN102663812 B CN 102663812B CN 201210082929 A CN201210082929 A CN 201210082929A CN 102663812 B CN102663812 B CN 102663812B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msup
- dimensional
- mfrac
- dimensional motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 title claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 239000011541 reaction mixture Substances 0.000 claims description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000004088 simulation Methods 0.000 abstract 1
- 238000004800 variational method Methods 0.000 abstract 1
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 241000135164 Timea Species 0.000 description 1
- 239000003054 catalyst Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出一种基于变分光流的三维运动检测与稠密结构重建的直接方法,涉及三维运动物体的视频仿真技术,该方法特点是:(1)推导出三维运动基本守恒假设。(2)设计一个检测目标物体三维运动速度的能量函数。(3)采用变分方法推导出检测三维运动速度的迭代模型,根据该模型可以直接通过给定图像序列检测目标物体的三维运动。(4)根据目标物体的三维运动参数重建其表面稠密结构。本发明的优点是:可以直接利用给定图像序列检测目标物体的三维运动并重建其表面稠密结构,避免了中间过程对重建结果的误差影响,能够恢复图像中目标运动物体表面的三维稠密结构,更有助于观察物体表面的细节信息;计算精度较高,鲁棒性好。
Description
技术领域
本发明涉及一种三维运动物体的重建技术,特别是通过基于光流方法的三维运动物体的重建技术。
背景技术
现有的真实的世界是三维的,长久以来由于受到科学技术发展水平的限制,我们所能够得到并能对之进行有效处理及分析的绝大多数是二维数据,使得大量的物体的三维信息丢失。随着计算机技术的发展,人们对信息的获取已经从传统的二维平面图像,转向了三维立体图像。三维重建技术大体可分为两类:基于特征的方法和基于光流的方法。
基于特征的三维重建技术已经有了较好的发展,例如使用图像中的角点、直线、曲线等特征可以计算图像中运动物体的三维运动参数及检测到的特征的相对深度信息。但是由于基于特征的方法只能恢复图像中运动物体的部分特征三维结构,而丢失了物体表面的大量细节信息,这使得重建结果无法满足更深层次的要求。
近年来,变分光流计算技术得到了快速发展,根据该方法可以得到图像序列中真实运动物体的图像光流,使用光流进行三维重建可以较好的描述物体表面的细节信息,因此利用这些光流数据来进行真实世界的三维建模得到了很多关注。
发明内容
本发明目的提供一种基于变分光流的三维运动检测与稠密结构重建的直接方法,能快速检测图像序列中目标运动物体的三维运动参数;能重建图像中目标物体表面的三维稠密结构,更有助于观察物体的细节信息。
为了解决上述的技术问题,本发明提出一种基于变分光流的三维运动检测与稠密结构重建的直接方法,其包括:
拍摄获得一组目标运动物体的图像序列;
定义三维运动基本守恒假设;
三维运动检测及结构重建,其包括:
根据变分光流计算方法中的全局平滑约束策略,设计一个基于三维空间滤波的平滑约束项;
将平滑约束项与三维运动基本守恒假设结合,构造一个三维运动检测能量函数;
利用变分原理将所述能量函数分别对三维运动速度求偏导,然后采用(Gauss-Seilel)迭代,检测出目标运动物体的三维运动速度,利用三维运动速度得到目标运动物体表面像素点的相对深度坐标;
依据相对深度坐标得到目标运动物体表面像素点的相对三维坐标,然后根据相对三维坐标重建目标运动物体的表面像素点以及恢复物体的表面的三维结构。
本发明的有益效果:
相比现有技术,本发明可以直接利用给定图像序列检测目标物体的三维运动并重建其表面稠密结构。本方法能够恢复图像中目标运动物体表面的三维稠密结构,更有助于观察物体表面的细节信息;计算精度较高,鲁棒性好。
附图说明
图1是 三维点与图像投影点的透视投影关系图。
图2是立方体实施例的两个帧原图像。
图3是立方体三维运动检测结果。
图4是立方体表面像素点的相对深度坐标灰度图。
图5是立方体表面重建结果。
具体实施方式
本发明提出一种基于变分光流的三维运动检测与稠密结构重建的直接方法,其包括:
拍摄获得一组目标运动物体的图像序列;
定义三维运动基本守恒假设;
三维运动检测及结构重建,其包括:根据变分光流计算方法中的全局平滑约束策略,设计一个基于三维空间滤波的平滑约束项;将平滑约束项与三维运动基本守恒假设结合,构造一个三维运动检测能量函数;利用变分原理将所述能量函数分别对三维运动速度求偏导,然后采用迭代(如Gauss-Seilel迭代),检测出目标运动物体的三维运动速度,利用三维运动速度得到目标运动物体表面像素点的相对深度坐标;依据相对深度坐标得到目标运动物体表面像素点的相对三维坐标,然后根据相对三维坐标重建目标运动物体的表面像素点以及恢复物体的表面的三维结构。
以下通过实施例对发明的技术方案进行说明。
1、拍摄一组包含运动物体的图像序列,如图1所示为三维点与图像投影点的透视投影关系。摄像机的光轴与Z轴重合,四边形为图像平面。
图1中,令摄像机位于三维坐标***0点处,在摄像机拍摄视野内存在一个运动物体,该物体的旋转速度为 ,平移速度为。使用摄像机拍摄获得一组运动物体的图像序列。
2、定义三维运动基本守恒假设。
假设点Q是运动物体表面可被摄像机观察到的一点,点Q的三维坐标为,q点是三维空间点Q在摄像机成像平面的对应投影点,假设点q坐标为。为摄像机焦距。那么,三维空间内点Q和它在图像平面上的对应点q的坐标存在如下关系:
, (1)
不失一般性,设定。已知运动物体上点Q的状态方程为:
(2)
式(2)中是向量差乘,是Q点坐标对时间的导数,将式(2)展开后可得:
(3)
已知图像光流矢量是像素点坐标变化的瞬时速度,假设投影平面点q处的光流为,则有:
(4)
将式(1)中点q的坐标分别对时间求差分,并代入式(4)中可得图像光流与三维运动速度及深度坐标的对应关系式:
(5)
令为时刻图像点q处的灰度值,则有图像灰度守恒假设:
(6)
式(6)中,,和分别表示图像中像素点灰度沿X, Y轴和时间方向的梯度。将式(5)代入式(6)中并整理后可得三维运动基本守恒假设:
(7)
其中:
式(7)中,是目标运动物体的三维旋转速度,是包含了深度坐标Z的平移速度。是图像序列已知参数。
3、三维运动检测及结构重建。
借鉴变分光流计算方法中的全局平滑约束策略,设计一个基于三维空间滤波的平滑约束条件:
(8)
式(8)中,称为三维梯度平滑因子,用公式表示如下:
(9)
使用这样的平滑约束项,既可以保证计算简单,同时又可以获得图像中运动物体表面的稠密运动速度。将平滑项与三维运动基本守恒假设相结合可以构造一个三维运动检测能量函数:
(10)
式(10)中,为平滑项权重系数,它的取值要考虑图像中的噪声情况,当图像本身置信度较高时,取较大值,三维运动速度的估计主要依靠三维运动基本守恒假设;当图像本身置信度较低时,取较小值,三维运动速度的估计主要依靠平滑项从像素点邻域填充信息。不失一般性,这里令。
利用变分原理将能量函数分别对三维运动速度求偏导数并整理可得:
(11)
式(11)中,为邻域的均值,为邻域的均值,采用Gauss- Seidel迭代求解式(11),将式(11)整理后可得如下形式的迭代方程组:
(12)
式(12)中,n是迭代次数,经实验证明,当迭代次数大于500次时,三维运动速度不再有明显变化,因此设定迭代次数n=500。令目标运动物体的初始运动参数为0,通过500次迭代可以检测出目标运动物体的三维旋转速度和相对平移速度。
根据前面的定义可知,计算出的平移速度是包含了深度坐标Z的相对速度。首先设定,则有:
(13)
令,即计算出的平移速度是运动物体的平移方向,而不是其真实平移速度。根据式(13)可以计算出运动物体表面像素点的相对深度坐标:
(14)
则运动物体的平移方向和三维空间坐标计算公式分别为:
(15)
(16)
下面使用合成立方体运动图像序列进行说明:
使用计算机合成立方体运动图像序列如图2所示,该图像序列(a)和(b)分别为第7和第8帧原图。
根据透视投影模型确定三维运动基本守恒假设如式(1’)所示。
(1’)
式(1’)中,是目标运动物体的三维旋转速度和包含了相对深度坐标的三维平移速度。是图像序列已知参数,由下式可以计算得到。
利用三维运动基本守恒假设,通过添加平滑约束项构造一个三维运动检测能量函数如式(2’)所示。
(2’)
式(2’)中,是基于扩散思想的平滑约束项,当在图像数据本身置信度较低的区域,主要依靠平滑项从邻域填充信息。为平滑项权重系数,通常情况下的值取常数1。
使用变分方法得到三维运动检测能量函数的对应迭代模型如式(3’)所示。
(3’)
设定目标运动物体的初始运动参数为0,通过500次迭代可以检测出目标运动物体的三维旋转速度和相对平移速度如图3所示。
然后根据式(4’)计算出目标运动物体表面像素点的相对深度坐标,使用灰度图像表示如图4所示。再由式(5’)得到目标物体的平移速度。进而由式(6’)得到物体表面像素点的三维坐标,根据该三维坐标恢复物体的表面的三维结构如图5所示。
(4’)
(5’)
(6’)
Claims (2)
1.一种基于变分光流的三维运动检测与稠密结构重建的直接方法,其包括:
拍摄获得一组目标运动物体的图像序列;
定义三维运动基本守恒假设;所述三维运动基本守恒假设由图像光流与图像灰度守恒假设结合构造形成,其中,摄像机成像的图像对时间求差分,并与摄像机成像的图像的光流结合,得到图像光流与三维运动速度及深度坐标的对应关系,将含有该对应关系的图像光流与图像灰度守恒假设结合;
三维运动检测及结构重建,其包括:
根据变分光流计算方法中的全局平滑约束策略,设计一个基于三维空间滤波的平滑约束项;基于三维空间滤波的平滑约束条件如下:
式(8)中,εsmooth是平滑约束项,(▽ω,▽T')称为三维梯度平滑因子,且满足下面的条件,用公式表示如下:
将平滑约束项与三维运动基本守恒假设结合,构造一个三维运动检测能量函数;其中,
三维运动基本守恒假设为:
axωx+ayωy+azωz+bxTx'+byTy'+bzTz'+ft=0 (7)
其中
a=[ax,ay,az]T
=[-xyfx-(1+y2)fy,(1+x2)fx+xyfy,-yfx+xfy]T
b=[bx,by,bz]T=[fx,fy,-xfx-yfy]T
式(7)中,(ωx,ωy,ωz)是目标运动物体的三维旋转速度,(Tx',Ty',Tz')是包含了深度坐标Z的平移速度,(ax,ay,az,bx,by,bz)是图像序列已知参数;fx、fy和ft分别表示图像中像素点灰度沿X,Y轴和时间t方向的梯度;T表示图像像素点的真实三维平移速度;(Tx,Ty,Tz)表示物体平移速度;
三维运动检测能量函数为:
ε=∫∫Ω{(aT·ω+bT·T'+ft)2+λ2[(▽ω)2+(▽T')2]}dxdy (10)
式(10)中,λ为平滑项权重系数;aT,bT分别表示a,b的转置矩阵;
利用变分原理将所述三维运动检测能量函数分别对三维运动速度求偏导,然后采用迭代,检测出目标运动物体的三维运动速度,即三维旋转速度和相对平移速度,利用相对平移速度得到目标运动物体表面像素点的相对深度坐标;
依据相对深度坐标得到目标运动物体表面像素点的相对三维坐标,然后根据相对三维坐标重建目标运动物体的表面像素点以及恢复物体的表面的三维结构。
2.根据权利要求1所述的基于变分光流的三维运动检测与稠密结构重建的直接方法,其特征在于:所述迭代次数为500次。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210082929.4A CN102663812B (zh) | 2012-03-27 | 2012-03-27 | 基于变分光流的三维运动检测与稠密结构重建的直接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210082929.4A CN102663812B (zh) | 2012-03-27 | 2012-03-27 | 基于变分光流的三维运动检测与稠密结构重建的直接方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102663812A CN102663812A (zh) | 2012-09-12 |
CN102663812B true CN102663812B (zh) | 2015-02-11 |
Family
ID=46773289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210082929.4A Active CN102663812B (zh) | 2012-03-27 | 2012-03-27 | 基于变分光流的三维运动检测与稠密结构重建的直接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102663812B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103279942A (zh) * | 2013-04-10 | 2013-09-04 | 北京航空航天大学 | 一种基于环境感受器的2d屏幕上虚拟3d展示的控制方法 |
CN104777329B (zh) * | 2014-01-13 | 2018-06-05 | 北京航空航天大学 | 一种用于粒子图像测速三维粒子场重构的线性规划算法 |
CN103914874B (zh) * | 2014-04-08 | 2017-02-01 | 中山大学 | 一种无特征提取的紧致sfm三维重建方法 |
CN108986150B (zh) * | 2018-07-17 | 2020-05-22 | 南昌航空大学 | 一种基于非刚性稠密匹配的图像光流估计方法及*** |
CN113077460B (zh) * | 2021-04-28 | 2022-10-04 | 河北工业大学 | 试件形变量的确定方法、装置及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101581575A (zh) * | 2009-06-19 | 2009-11-18 | 南昌航空大学 | 基于激光和摄像机数据融合的三维重建方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8457410B2 (en) * | 2007-02-14 | 2013-06-04 | Technion Research And Development Foundation Ltd. | Over-parameterized variational optical flow method |
-
2012
- 2012-03-27 CN CN201210082929.4A patent/CN102663812B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101581575A (zh) * | 2009-06-19 | 2009-11-18 | 南昌航空大学 | 基于激光和摄像机数据融合的三维重建方法 |
Non-Patent Citations (3)
Title |
---|
图像序列中机动目标三维运动和结构的计算;陈震等;《航空学报》;20040131;第25卷(第1期);55-58 * |
图像序列光流场计算及三维场景恢复研究;陈震;《万方学位论文》;20040704;44-47 * |
基于光流场的视频运动检测;董颖;《万方学位论文》;20081229;21-22 * |
Also Published As
Publication number | Publication date |
---|---|
CN102663812A (zh) | 2012-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102663812B (zh) | 基于变分光流的三维运动检测与稠密结构重建的直接方法 | |
Li et al. | Bundled depth-map merging for multi-view stereo | |
Liu et al. | Continuous depth estimation for multi-view stereo | |
CN106550174A (zh) | 一种基于单应性矩阵的实时视频稳像方法 | |
CN106101535B (zh) | 一种基于局部及整体运动差异补偿的视频稳定方法 | |
CN106340036A (zh) | 一种基于双目立体视觉的立体匹配方法 | |
CN107657644B (zh) | 一种移动环境下稀疏场景流检测方法和装置 | |
Wang et al. | Quasi-perspective projection model: Theory and application to structure and motion factorization from uncalibrated image sequences | |
US10229508B2 (en) | Dynamic particle filter parameterization | |
Yuan et al. | Temporal upsampling of depth maps using a hybrid camera | |
Herlin et al. | Divergence-free motion estimation | |
CN109215118A (zh) | 一种基于图像序列的增量式运动结构恢复优化方法 | |
Ye et al. | Accurate and dense point cloud generation for industrial Measurement via target-free photogrammetry | |
Pan et al. | Surface Reconstruction with higher-order smoothness | |
EP3906530B1 (en) | Method for 3d reconstruction of an object | |
Gallego et al. | Variational stereo imaging of oceanic waves with statistical constraints | |
Ferstl et al. | CP-Census: A Novel Model for Dense Variational Scene Flow from RGB-D Data. | |
Sugimoto et al. | A direct and efficient method for piecewise-planar surface reconstruction from stereo images | |
Lasinger et al. | Variational 3D-PIV with sparse descriptors | |
Liu et al. | A novel visual measurement method for three-dimensional trajectory of underwater moving objects based on deep learning | |
Petit et al. | Surface flow from visual cues | |
Balzer et al. | Second-order shape optimization for geometric inverse problems in vision | |
Wu et al. | An accurate novel circular hole inspection method for sheet metal parts using edge-guided robust multi-view stereo | |
Tykkälä | Real-time image-based RGB-D camera motion tracking and environment mapping | |
Xiaojun et al. | High accurate 3D reconstruction method using binocular stereo based on multiple constraints |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |