CN107767393B - 一种面向移动硬件的场景流估计方法 - Google Patents
一种面向移动硬件的场景流估计方法 Download PDFInfo
- Publication number
- CN107767393B CN107767393B CN201710804875.0A CN201710804875A CN107767393B CN 107767393 B CN107767393 B CN 107767393B CN 201710804875 A CN201710804875 A CN 201710804875A CN 107767393 B CN107767393 B CN 107767393B
- Authority
- CN
- China
- Prior art keywords
- cost
- parallax
- scene flow
- scene
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种面向移动硬件的场景流估计方法,包括如下步骤:步骤1)中通过融合光流的非局部立体匹配算法,融入光流改善最小生成树的构建,进而优化代价累积区域和累积权重,得到粗匹配视差图;步骤2)进行场景流估计求解。有益效果:方法中的时域融合的非局部立体匹配算法,可以提高视差估计的精度;本发明建立场景流估计的能量泛函以及求解泛函的迭代方法,能够充分利用移动异构CPU/GPU并行特性加速求解场景流,满足实时处理要求。
Description
技术领域
本发明涉及计算机图像视频技术领域,尤其涉及一种面向移动硬件的场景流估计方法。
背景技术
场景流估计方法可以分为立体匹配和光流运动估计两个独立模块。分别优化两个独立模块将很大程度上改善场景流估计的精度。其中传统立体匹配方法因忽略了时域信息,导致较高的视差误匹配率。场景流估计的迭代求解也没有充分考虑移动异构***的优化可行性。Vedula在1999年首次提出场景流(Scene Flow) 的概念,即“空间点的三维运动场”。但是直到最近的10年间,关于场景流的研究才陆续开展并得以真正实现。简单的来讲,光流表示平面上物体运动的二维信息,而场景流则包括了空间中物体运动的三维信息。光流估计往往是基于目标刚体或分片刚体假设的二维运动重构方法,而场景流则假设目标完全非刚体,各点运动彼此独立,并同时估计三维场景的运动和结构。因而场景流是运动估计方法由传统二维到三维的一个飞跃,也成为三维视觉最有前景的方向之一。近年来在计算机视觉领域如3D视频与3D重建,增强现实(Augmented Reality,简称AR) 与混合现实(Mixreality,简称MR)等都涉及到了场景流估计的求解与应用。
发明内容
本发明目的在于克服现有三维视觉工程项目在执行过程中遇到问题时,提供了一种面向移动硬件的场景流估计方法,具体由以下技术方案实现:
所述面向移动硬件的场景流估计方法,包括如下步骤:
步骤1)导入成对的左右图像,并求得左右图像的残差图像,根据所述参差图像再通过融合光流的非局部立体匹配算法,融入光流改善最小生成树的构建,进而优化代价累积区域和累积权重,得到粗匹配视差图;
步骤2)进行场景流估计求解:
所述面向移动硬件的场景流估计方法的进一步设计在于,所述步骤1)中融合光流的非局部立体匹配算法选用非局部代价累积方法进行双目立体匹配,基于原始匹配代价与混合先验模型优化的改进。
所述面向移动硬件的场景流估计方法的进一步设计在于,原始匹配代价的改进为:将改进型稀疏Census变换、背景减除双边滤波器和加速稳健特征SURF 算法三种处理方式进行融合。
所述面向移动硬件的场景流估计方法的进一步设计在于,所述改进的混合先验模型优化为:采用八邻域的无向图来构建最小生成树。
所述面向移动硬件的场景流估计方法的进一步设计在于,所述改进的混合先验模型优化采用edge prior边缘先验和superpixel prior超像素先验的混合型先验模型,其实现步骤如下:
a)借助t时刻和t+1时刻的图像帧,计算出当前匹配图像的光流图;
b)分别对所述光流图进行边缘edge分割和超像素superpixel分割,并设定只有被edge和superpixel两种先验模型同时检测到的边缘,才认定为视差的边界对应地融合运动幅度权重的边权值w(s,r)被重新定义,如式(1):
w(s,r)是由亮度权重项和运动幅度权重项两部分组成。其中Is和Ir是邻域像素s和r的亮度值,用来表示两个邻域像素s和r的运动 幅度,τ是截断阈值,σi和σm分别是亮度权重项和运动幅度权重项调节系数; c)利用克鲁斯卡尔算法移除权值较大的边,再通过最小权重构造生成MST即最 佳的代价累积支撑区域。
所述面向移动硬件的场景流估计方法的进一步设计在于,所述非局部立体匹配算法包括如下步骤:
步骤1-1)代价累积从叶子节点至根节点,代价累积的中间结果表示如式(2):
其中,d表示当前视差,P(q)表示像素q的父节点。代价累积的权重σ是用以调节像素p和q相似度的常数,对于图像I中的任意两个像素p和q来说,D(p,q)表示MST中连接两个像素最小路径中所有边权重w(s,r)之和。
步骤1-2)根据式(3)代价累积根节点至叶子节点,得到代价累积的最终结果;
所述面向移动硬件的场景流估计方法的进一步设计在于,所述步骤1)中进行非局部立体匹配算法的步骤1-1)与步骤1-2)后,执行视差选择与优化操作,
所述视差选择与优化操作具体包括如下步骤:
步骤Ⅰ)依据胜者全拿原则,设定拥有最小匹配代价的候选像素为最佳匹配像素,待匹配像素与最佳匹配像素间的位移为视差值,并计算得到左右图像的粗视差图;
步骤Ⅱ)采用left-right check,找出粗视差图中所有不稳定视差像素;
步骤Ⅳ)重复步骤1-1)与步骤1-2)的代价累积公式(2)和(3),得到最终优化后的视差图。
所述面向移动硬件的场景流估计方法的进一步设计在于,所述步骤Ⅱ)中,采用基于3×3窗口的拉普拉斯遮挡填充方法,将识别的不稳定视差像素填充新的视差值,生成新的视差图Disparity。
所述面向移动硬件的场景流估计方法的进一步设计在于,步骤2)中三维场景流[u,v,p]T,其中[u,v]代表二维的光流信息反映两帧图像内像素点在x,y方向上的运动,p表示视差的变化,得到光流场的扩展[u(x,y,t),v(x,y,t)]T以及一个反映视差变化的分量p(x,y,t)=dt+1-dt,dt和dt+1分别为t和t+1时刻的视差,场景流估计求解具体包括如下步骤:
步骤2-1)构架一个能量泛函如式(7):
E(u,v,p)=Edata(u,v,p)+Esmooth(u,v,p) (7)
设定能量泛函的数据项采用最基础的亮度不变;
步骤2-2)定义L(x,y,t)和R(x,y,t)分别为左、右视图t时刻像(x,y)的亮度值,设定数据项的约束条件别为:左光流约束、右光流约束以及交叉约束,如式(8):
Efl=L(x+u,y+v,t+1)-L(x,y,t)=0
Efr=R(x+u+dt+1,y+v,t+1)-R(x+dt,y,t)=0
Ecr=R(x+u+dt+1,y+v,t+1)-L(x,y,t)=0 (8)
步骤2-3)数据项使用L2范式ψ来约束能量泛函为凸,其数据项定义如式(9):
滑项同样采用如公式(10)所示的L2范式ψ,通过常数λ和γ限定平滑项中光流和视差变化的权重。
得到能量泛函的定义如公式(11)所示:
步骤2-4)通过指定所述三条约束条件,再由欧拉-拉格朗日方程,利用最小变分方法,分别对u,v,p求偏导;
步骤2-5)通过红黑超松弛迭代法和多分辨率算法迭代求解方程(11);
重复步骤2-3)至步骤2-5)求解能量最小化对应的三维速度矢量[u,v,p],即场景流信息。
所述面向移动硬件的场景流估计方法的进一步设计在于,在场景流估计求解过程中对移动设备的处理器进行加速优化,具体为:加入新的约束项来区分移动设备引起的全局运动与物体自身的局部运动,能量泛函重新定义如式(12):
E(u,v,p)=Edata(u,v,p)+Esmooth(u,v,p)+Elocal(u,v,p) (12)
本发明的优点如下:
(1)本发明提出一种时域融合的非局部立体匹配算法,可以提高视差估计的精度。
(2)本发明建立场景流估计的能量泛函以及求解泛函的迭代方法,能够充分利用移动异构CPU/GPU并行特性加速求解场景流,满足实时处理要求。
附图说明
图1为本发明面向移动硬件的场景流估计方法的流程示意图。
图2(a)为四邻域结构比较示意图。
图2(b)为八邻域结构比较示意图。
图3a为非局部代价累积框架的先验模型的t时刻视图。
图3b为非局部代价累积框架的先验模型的t+1时刻视图。
图3c为非局部代价累积框架的先验模型的光流图。
图3d为非局部代价累积框架的先验模型的光流edge prior(sobel)分割结果。
图3e为非局部代价累积框架的先验模型的光流superpixel prior分割结果。
图3f为非局部代价累积框架的先验模型的混合先验模型结果。
图4为MST非局部代价累积过程示例示意图。
图5(a)为MST的第一步代价累积示意图(第一步叶子节点→根节点)。
图5(b)为MST的第二步代价累积示意图(第二步根节点→叶子节点)。
图6为场景流估计的运动和视差约束示意图。
具体实施方式
下面结合附图对本申请技术方案进一步说明。
如图1,本实施例提供的场景流估计的求解过程是一个迭代优化过程。作为初始量的视差,其匹配的结果越好,场景流估计算法迭代收敛越快,估计效果也就越好。因此本发明通过融入光流改善MST的构建,进而优化代价累积区域和累积权重,得到粗匹配视差图。再通过一些后处理方法优化粗视差图,提高视差估计的精度,从而提高场景流估计的精度。如图1所示,本发明的具体实施步骤如下:
步骤1)通过融合光流的非局部立体匹配算法,融入光流改善MST的构建,进而优化代价累积区域和累积权重,得到粗匹配视差图。
首先选用非局部代价累积Non-Local Cost Aggregation(简称NLCA)方法进行双目立体匹配,并在该方法基础上加以改进,具体实施细节如下:
(1)原始匹配代价:本发明通过文献调研和大量实验验证,优选改进型稀疏Census变换、背景减除双边滤波器以及SURF(Speed Up Robust Feature)特征差异作为原始匹配代价。
本发明将选用多种测试数据集进行综合测试对比,选用一种合理的非线性融合方法,将改进型稀疏Census变换,背景减除双边滤波器和SURF三种差异融合为原始匹配代价,尽最大可能精确表示待匹配像素和候选像素的差异。
(2)混合先验模型优化:区别于传统的NLCA方法的四邻域MST,本发明采用八邻域的无向图来构建MST。如图2所示,像素p的八邻域相较于四邻域可以连接除水平垂直四个方向外,还可以连接其余四个对角线的邻域像素。因此匹配图像 I可以由八邻域的无向图G=(V,E)表示。无向图G中的节点V代表图像中的像素,而E代表连接两个相邻像素的边。当依靠边权重值来构建MST时,八邻域能够保证可靠信息从更多的方向传递到像素p。NLCA方法假设视差在每一个像素点都是平滑的,如果单纯依靠传统的截断阈值构建MST,然后再进行代价累积,视差边缘往往会变得模糊。因此需要考虑采取稳健的先验模型(prior)来标示视差边缘。本发明采用edge prior边缘先验和superpixel prior超像素先验的混合型先验模型,其实现步骤如下:
①一般来说在场景流估计中运动物体的优先级高于静止的背景和物体,因此假设连续图像帧间的视差变化是平滑的。借助t时刻和t+1时刻图像帧,计算出当前匹配图像I的光流图,如图3c所示。
②根据Menze和Gong等的研究可以得知运动边界(时域相关)常发生在三维空间的不连续区域,其投影到二维平面后不连续区域就是物体的边缘(与视差空间域相关),即相邻帧时域信息可以交叉验证视差的空间信息。因此我们做出如下假设“光流运动的边界和视差图像边缘具有高相关性”。
③如图3d、e所示,分别对场景的光流图进行edge和superpixel分割。为了充分利用两种先验模型优点,本发明假设“只有被edge和superpixel两种先验模型同时检测到的边缘,才认定为视差的边界”。通过理论分析和实验验证,这种混合先验模型能够消除大部分检测错误的边缘,保证真实视差边界生成。因此一种融合运动幅度权重的边权值被重新定义为:
由图3f分析得到,混合先验模型很好的识别出了运动边缘。当在运动边缘外(图中白色区域)计算边权重时,静止的背景和静止物体像素间运动幅度由此边权重的运动幅度项将不会影响最终的权重值。 edge(s,r)∩theprior表示无向图G中连接像素s和r的边穿过混合先验模型中的边界。当边落在运动物体内部或者跨越运动边缘,运动幅度项才会影响边权重的计算。
④利用上述公式计算无向图G中的各条边权值后,再利用克鲁斯卡尔 (kruskal)算法移除权值较大的边,然后通过最小权重构造生成MST即最佳的代价累积支撑区域。图6所示运用混合先验模型为非局部代价累积选取的局部最优支撑区域。与传统的局部固定窗口的代价累积相比较,借助光流运动估计的时域信息和时域权值,并结合混合先验模型可以构建任意形状和大小支撑区域,提高代价累积的精度。
(3)NLCA代价累积:
依靠最小权重树来进行非局部代价匹配可以保证每一个像素收到来自图像I 中其他所有像素的权重支持,但是由此带来的计算量也是难以承受的。如图5 所示,本发明采用Yang提出的基于最小权重树的两步式代价累积方法。
第一步:代价累积从叶子节点→根节点,其中间结果表示为:
第二步:代价累积根节点→叶子节点:代价累积的最终结果:
其中d表示当前视差,P(q)表示像素q的父节点。代价累积的权重σ是用以调节像素p和q相似度的常数。对于图像I 中的任意两个像素p和q来说,D(p,q)表示MST中连接两个像素最小路径中所有边权重w(s,r)之和,因此融合时域信息的累积权重会在运动区域影响代价累积的结果。
(4)视差选择与优化:
①完成原始匹配代价累积后,依据胜者全拿(Winner Takes At All)原则,拥有最小匹配代价的候选像素即为最佳匹配像素,待匹配像素与最佳匹配像素间的位移即为视差值,分别计算得到左右图像的粗视差图(Raw disparity)。
②采用left-right check,找出粗视差图中所有不稳定视差像素。避免将视差的误匹配带入后续的光流-场景流计算当中。基于观察得知,视差变化一般都是邻域小窗口的像素颜色或亮度值线性相关。因此本发明采用基于3×3窗口的拉普拉斯遮挡填充方法,将识别的不稳定视差像素填充新的视差值,生成新的视差图 Disparity。
步骤2)场景流估计与异构CPU/GPU优化加速
如图6所示,场景流[u,v,p]T可以由光流场[u(x,y,t),v(x,y,t)]T的扩展以及一个反映视差变化的的分量p(x,y,t)=dt+1-dt来表示。其中t和t+1时刻的视差dt 和dt+1由3.1.1小节给定的立体匹配算法计算得到,而二维的光流以及视差的变化需要我们从t时刻和t+1时刻左右图像和求解得到。
(1)场景流估计求解:
①由1.1.2小结公式(2)得知场景流的求解需要构架一个能量泛函如下:
E(u,v,p)=Edata(u,v,p)+Esmooth(u,v,p)
而本发明场景流估计,能量泛函的数据项采用最基础的亮度不变假设,即像素点t时刻图像移动t+1时刻图像时,像素点的亮度或者颜色保持不变。
②定义L(x,y,t)和R(x,y,t)分别为左右视图t时刻像(x,y)的亮度值。由图6可以推算出下面三条数据项的约束条件:分别是为左光流约束,右光流约束和交叉约束。
Efl=L(x+u,y+v,t+1)-L(x,y,t)=0
Efr=R(x+u+dt+1,y+v,t+1)-R(x+dt,y,t)=0
Ecr=R(x+u+dt+1,y+v,t+1)-L(x,y,t)=0 (7)
③本实施例构建的数据项也使用L2范式ψ来约束能量泛函为凸。其数据项定义如公式(8)所示:
其中如果像素点(x,y)没有给定相应的视差d,那么 c(x,y,t)=0,反之c(x,y,t)=1。为了应对场景流中的空间不连续性,平滑项同样采用如公式(9)所示的L2范式ψ,用以约束邻域像素的视差平滑性,从而提高函数的鲁棒性。并通过常数λ和γ限定平滑项中光流和视差变化的权重。
这样就可以得到能量泛函的定义如公式(10)所示:
④通过指定如上三条约束,再由能量泛函(12)列出对应欧拉-拉格朗日(Euler-Lagrange)方程,利用最小变分方法,分别对u,v,p求偏导,并进一步离散化。
⑤本发明利用红黑超松弛迭代法和多分辨率算法迭代求解方程,求解能量最小化对应的三维速度矢量[u,v,p],即场景流信息。
⑥考虑移动设备作为一种手持设备,使用过程会引起摄像机的移动这种情况。就需要加入新的约束项来区分相机引起的全局运动与物体自身的局部运动。因此能量泛函重新定义为:
E(u,v,p)=Edata(u,v,p)+Esmooth(u,v,p)+Elocal(u,v,p) (13)
具体场景流求解过程重复③-⑤步骤。
⑦评价标准:本发明采用以下三种评价标准the average endpoint error(EPE),the root mean square error(RMSE)以及the average angular error(AAE)完成场景流估计结果的综合评估。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。
Claims (7)
1.一种面向移动硬件的场景流估计方法,其特征在于包括如下步骤:
步骤1)导入成对的左右图像,并求得左右图像的残差图像,根据所述残差图像再通过融合光流的非局部立体匹配算法,融入光流改善最小生成树的构建,进而优化代价累积区域和累积权重,得到粗匹配视差图;
步骤2)进行场景流估计求解;
所述步骤1)中融合光流的非局部立体匹配算法选用非局部代价累积方法进行双目立体匹配,基于原始匹配代价与混合先验模型优化的改进;
所述改进的混合先验模型优化为:采用八邻域的无向图来构建最小生成树;
所述改进的混合先验模型优化采用edge prior边缘先验和superpixel prior超像素先验的混合型先验模型,其实现步骤如下:
a)借助t时刻和t+1时刻的图像帧,计算出当前匹配图像的光流图;
b)分别对所述光流图进行边缘edge分割和超像素superpixel分割,并设定只有被edge和superpixel两种先验模型同时检测到的边缘,才认定为视差的边界;其对应地融合运动幅度权重的边权值w(s,r)被重新定义,如式(1):
w(s,r)是由亮度权重项和运动幅度权重项两部分组成, 其中Is和Ir是邻域像素s和r的亮度值,用来表示两个邻域像素s和r的运动幅度,τ是截断阈值,σi和σm分别是亮度权重项和运动幅度权重项调节系数;
c)利用克鲁斯卡尔算法移除权值较大的边,再通过最小权重构造生成MST即最佳的代价累积支撑区域。
2.根据权利要求1所述的面向移动硬件的场景流估计方法,其特征在于原始匹配代价的改进为:将改进型稀疏Census变换、背景减除双边滤波器和加速稳健特征SURF算法三种处理方式进行融合。
4.根据权利要求3所述的面向移动硬件的场景流估计方法,其特征在于所述步骤1)中进行非局部立体匹配算法的步骤1-1)与步骤1-2)后,执行视差选择与优化操作,所述视差选择与优化操作具体包括如下步骤:
步骤Ⅰ)依据胜者全拿原则,设定拥有最小匹配代价的候选像素为最佳匹配像素,待匹配像素与最佳匹配像素间的位移为视差值,并计算得到左右图像的粗视差图;
步骤Ⅱ)采用left-right check,找出粗视差图中所有不稳定视差像素;
5.根据权利要求4所述的面向移动硬件的场景流估计方法,其特征在于所述步骤Ⅱ)中,采用基于3×3窗口的拉普拉斯遮挡填充方法,将识别的不稳定视差像素填充新的视差值,生成新的视差图Disparity。
6.根据权利要求1所述的面向移动硬件的场景流估计方法,其特征在于步骤2) 中三维场景流[u,v,p]T,其中[u,v]代表二维的光流信息反映两帧图像内像素点在x,y方向上的运动,p表示视差的变化,得到光流场的扩展[u(x,y,t),v(x,y,t)]T以及一个反映视差变化的分量p(x,y,t)=dt+1-dt,dt和dt+1分别为t和t+1时刻的视差,场景流估计求解具体包括如下步骤:
步骤2-1)构架一个能量泛函如式(7):
E(u,v,p)=Edata(u,v,p)+Esmooth(u,v,p) (7)
设定能量泛函的数据项采用最基础的亮度不变;
步骤2-2)定义L(x,y,t)和R(x,y,t)分别为左、右视图t时刻像(x,y)的亮度值,设定数据项的约束条件别为:左光流约束、右光流约束以及交叉约束,如式(8):
Efl=L(x+u,y+v,t+1)-L(x,y,t)=0
Efr=R(x+u+dt+1,y+v,t+1)-R(x+dt,y,t)=0
Ecr=R(x+u+dt+1,y+v,t+1)-L(x,y,t)=0 (8)
步骤2-3)数据项使用L2范式ψ来约束能量泛函为凸,其数据项定义如式(9):
滑项同样采用如公式(10)所示的L2范式ψ,通过常数λ和γ限定平滑项中光流和视差变化的权重;
得到能量泛函的定义如公式(11)所示:
步骤2-4)通过指定所述三条约束条件,再由欧拉-拉格朗日方程,利用最小变分方法,分别对u,v,p求偏导;
步骤2-5)通过红黑超松弛迭代法和多分辨率算法迭代求解方程(11);
重复步骤2-3)至步骤2-5)求解能量最小化对应的三维速度矢量[u,v,p],即场景流信息。
7.根据权利要求1所述的面向移动硬件的场景流估计方法,其特征在于在场景流估计求解过程中对移动设备的处理器进行加速优化,具体为:加入新的约束项来区分移动设备引起的全局运动与物体自身的局部运动,能量泛函重新定义如式(12):
E(u,v,p)=Edata(u,v,p)+Esmooth(u,v,p)+Elocal(u,v,p) (12)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710804875.0A CN107767393B (zh) | 2017-09-07 | 2017-09-07 | 一种面向移动硬件的场景流估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710804875.0A CN107767393B (zh) | 2017-09-07 | 2017-09-07 | 一种面向移动硬件的场景流估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107767393A CN107767393A (zh) | 2018-03-06 |
CN107767393B true CN107767393B (zh) | 2021-05-25 |
Family
ID=61265977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710804875.0A Active CN107767393B (zh) | 2017-09-07 | 2017-09-07 | 一种面向移动硬件的场景流估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107767393B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108932725B (zh) * | 2018-06-08 | 2021-10-26 | 哈尔滨工程大学 | 基于卷积神经网络的场景流估计方法 |
CN110047093B (zh) * | 2019-04-23 | 2021-04-27 | 南昌航空大学 | 高精度边缘保护型rgbd场景流估计方法 |
CN111325774B (zh) * | 2020-02-14 | 2023-04-18 | 上海交通大学 | 基于几何关系的光流无监督损失计算方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103646396A (zh) * | 2013-11-29 | 2014-03-19 | 清华大学深圳研究生院 | 双目立体匹配算法的匹配代价算法和非局部立体匹配算法 |
CN104680544A (zh) * | 2015-03-18 | 2015-06-03 | 哈尔滨工程大学 | 基于3维流场正则化的变分场景流估计方法 |
CN104980726A (zh) * | 2015-06-12 | 2015-10-14 | 南京信息工程大学 | 一种联合运动向量的双目视频立体匹配方法 |
CN106485675A (zh) * | 2016-09-27 | 2017-03-08 | 哈尔滨工程大学 | 一种基于3d局部刚性和深度图引导各向异性平滑的场景流估计方法 |
CN106504202A (zh) * | 2016-09-27 | 2017-03-15 | 哈尔滨工程大学 | 一种基于自适应非局部平滑的3d场景流估计方法 |
-
2017
- 2017-09-07 CN CN201710804875.0A patent/CN107767393B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103646396A (zh) * | 2013-11-29 | 2014-03-19 | 清华大学深圳研究生院 | 双目立体匹配算法的匹配代价算法和非局部立体匹配算法 |
CN104680544A (zh) * | 2015-03-18 | 2015-06-03 | 哈尔滨工程大学 | 基于3维流场正则化的变分场景流估计方法 |
CN104980726A (zh) * | 2015-06-12 | 2015-10-14 | 南京信息工程大学 | 一种联合运动向量的双目视频立体匹配方法 |
CN106485675A (zh) * | 2016-09-27 | 2017-03-08 | 哈尔滨工程大学 | 一种基于3d局部刚性和深度图引导各向异性平滑的场景流估计方法 |
CN106504202A (zh) * | 2016-09-27 | 2017-03-15 | 哈尔滨工程大学 | 一种基于自适应非局部平滑的3d场景流估计方法 |
Non-Patent Citations (5)
Title |
---|
3D cost aggregation with multiple minimum spanning trees for stereo matching;LINCHENG LI等;《Applied Optics》;20170420;第3411-3420页 * |
A Continuous Optimization Approach for Efficient and Accurate Scene Flow;Zhaoyang Lv等;《arXiv:1607.07983v1 [cs.CV]》;20160727;第1-16页 * |
Cross-trees, edge and superpixel priors-based cost aggregation for stereo matching;Feiyang Cheng等;《Pattern Recognition》;20150114;第2269–2278页 * |
Prototyping Metho dology with Motion Estimation Algorithm;Jinglin Zhang等;《spring》;20161127;第338-344页 * |
基于Census变换的立体匹配算法研究与实现;赵劲松;《万方数据知识服务平台》;20170811;摘要、第2-4章 * |
Also Published As
Publication number | Publication date |
---|---|
CN107767393A (zh) | 2018-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2017324923B2 (en) | Predicting depth from image data using a statistical model | |
CN106651938B (zh) | 一种融合高分辨率彩色图像的深度图增强方法 | |
CN108986136B (zh) | 一种基于语义分割的双目场景流确定方法及*** | |
CN105654492B (zh) | 基于消费级摄像头的鲁棒实时三维重建方法 | |
CN108027984B (zh) | 用于在3d重建中检测和组合结构特征的方法和*** | |
US8896665B2 (en) | Camera calibration method and medium and 3D object reconstruction method and medium using the same | |
JP3679426B2 (ja) | 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム | |
EP2595116A1 (en) | Method for generating depth maps for converting moving 2d images to 3d | |
CN110211169B (zh) | 基于多尺度超像素和相位相关的窄基线视差的重构方法 | |
CN110853151A (zh) | 一种基于视频的三维立体点集恢复方法 | |
CN107767393B (zh) | 一种面向移动硬件的场景流估计方法 | |
CN110245199A (zh) | 一种大倾角视频与2d地图的融合方法 | |
Tzovaras et al. | 3D object articulation and motion estimation in model-based stereoscopic videoconference image sequence analysis and coding | |
CN114996814A (zh) | 一种基于深度学习与三维重建的家具设计*** | |
CN114677479A (zh) | 一种基于深度学习的自然景观多视图三维重建方法 | |
Saxena et al. | 3-d reconstruction from sparse views using monocular vision | |
Koch | Automatic reconstruction of buildings from stereoscopic image sequences | |
Lee et al. | Automatic 2d-to-3d conversion using multi-scale deep neural network | |
CN117132952A (zh) | 一种基于多摄像头的鸟瞰视角车辆感知*** | |
Chen et al. | Bidirectional optical flow NeRF: high accuracy and high quality under fewer views | |
CN113920254B (zh) | 一种基于单目rgb的室内三维重建方法及其*** | |
CN109951705B (zh) | 一种面向监控视频中车辆对象编码的参考帧合成方法及装置 | |
Liu et al. | Disparity Estimation in Stereo Sequences using Scene Flow. | |
Mitiche et al. | MDL estimation of a dense map of relative depth and 3D motion from a temporal sequence of images | |
Gkamas et al. | Guiding optical flow estimation using superpixels |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 210044 No. 219 Ning six road, Jiangbei new district, Nanjing, Jiangsu Applicant after: Nanjing University of Information Science and Technology Address before: No. 69, Jianye District, Jianye District, Nanjing, Jiangsu Applicant before: Nanjing University of Information Science and Technology |
|
GR01 | Patent grant | ||
GR01 | Patent grant |