CN112581494B - 基于金字塔块匹配的双目场景流计算方法 - Google Patents

基于金字塔块匹配的双目场景流计算方法 Download PDF

Info

Publication number
CN112581494B
CN112581494B CN202011600696.3A CN202011600696A CN112581494B CN 112581494 B CN112581494 B CN 112581494B CN 202011600696 A CN202011600696 A CN 202011600696A CN 112581494 B CN112581494 B CN 112581494B
Authority
CN
China
Prior art keywords
image
pyramid
points
matching
binocular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011600696.3A
Other languages
English (en)
Other versions
CN112581494A (zh
Inventor
陈震
倪晶晶
张聪炫
胡卫明
黎明
陈昊
葛利跃
江少锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Hangkong University
Original Assignee
Nanchang Hangkong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Hangkong University filed Critical Nanchang Hangkong University
Priority to CN202011600696.3A priority Critical patent/CN112581494B/zh
Publication of CN112581494A publication Critical patent/CN112581494A/zh
Application granted granted Critical
Publication of CN112581494B publication Critical patent/CN112581494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于金字塔块匹配的双目场景流计算方法，所述方法包括以下步骤：（1）获取双目图像序列，所述双目图像序列包括多帧图像，每帧图像均包括左目图像和右目图像；（2）采用Stereo‑SLIC算法对所述双目图像进行超像素分割。该方法首先采用Stereo‑SLIC算法和SPS‑Stereo算法分别对图像进行超像素分割和视差计算，然后建立基于金字塔块匹配的运动模型初始化场景中所有对象的运动参数，接着将块匹配得到的稀疏匹配关系作为能量泛函数据项的惩罚约束项，通过离散标签将超像素和对象相关联，构造优化能量函数，最后通过最大乘积粒子置信传播算法和重加权近似消息传递算法最小化能量函数，对所有对象运动参数进行优化处理，得到最终的场景流。

Description

基于金字塔块匹配的双目场景流计算方法
技术领域
本发明涉及场景流优化技术领域，具体涉及一种基于金字塔块匹配的双目场景流计算方法。
背景技术
场景流是三维空间中物体表面的三维运动场，或者说，它显示了两帧之间每个表面像素点的三维运动矢量，就像光流是图像中像素点的二维运动矢量。任意光流都是将场景流通过摄像机投影到图像平面上。但场景流提供了额外的深度变化信息，能够更好地反映物体的三维结构以及真实运动。
近年来，随着计算机应用技术的不断发展，图像3D场景流计算及其相关技术研究逐渐成为计算机视觉与模式识别等研究领域的热点问题，研究成果广泛应用于航空航天、军事、工业、安全防护、文物保护与复原、医学影像处理与分析等领域。各种场景流计算方法的准确度也正在逐步提高。然而，即使是目前最先进的场景流方法在大位移、运动遮挡以及强光照场景下估计效果仍然表现不佳。如何提升在大位移、运动遮挡以及强光照等复杂场景下的场景流的估计精度一直是场景流计算方法中需要解决的难点。
发明内容
本发明提供一种基于金字塔块匹配的双目场景流计算方法，通过金字塔块匹配结果，有效地解决大位移、运动遮挡和强光照问题，最终达到提高场景流准确度的目的。所述技术方案如下：
第一方面，提供了一种基于金字塔块匹配的双目场景流计算方法，所述方法包括：(1)获取双目图像序列，所述双目图像序列包括多帧图像，每帧图像均包括左目图像和右目图像；
(2)采用Stereo-SLIC算法对所述双目图像进行超像素分割；
(3)采用SPS-Stereo算法计算所述双目图像的左右目的视差信息；
(4)采用Classic+NL算法计算所述双目图像左目的背景光流信息；
(5)建立金字塔块匹配模型，所述金字塔块匹配模型的输入为左目连续两帧图像，输出为图像的匹配对应坐标；
(6)根据金字塔块匹配结果和背景光流信息，建立基于金字塔块匹配的运动模型，计算出对象的运动参数；
(7)通过超像素平面参数以及对象刚性运动参数构建优化能量函数模型；
(8)采用最大乘积粒子置信传播算法和重加权近似消息传递算法最小化能量函数，对刚性运动参数进行优化处理，确定双目图像序列场景流。
进一步的，建立金字塔块匹配模型，所述金字塔块匹配模型的输入为左目连续两帧图像，输出为图像的匹配对应坐标，包括：对左目连续两帧图像通过下采样因子构成l层的图像金字塔，其中下采样因子η(η＝0.5)，金字塔第l层的图像表示为
Figure BDA0002871272370000021
金字塔的底层
Figure BDA0002871272370000022
是原始图像；
在每层金字塔图像进行边长为d个像素的网格划分，以网格交叉点为中心点构建种子集合，将在l层的种子集合{sl}的位置p{sl}表示为最底层金字塔种子集合的降尺度版本；
对金字塔顶层图像中种子点随机赋予一个偏置量，依据随机赋予的偏置量在对应图像中找到与之相对应的种子点，随机赋予的偏置量通过迭代细化，当搜索半径小于1个像素距离时停止搜索，得到金字塔顶层的匹配结果；
进一步的，在每一层的匹配结束之后，进行前后一致性检验，最终获得匹配结果；将上一层得到的匹配结果作为下一层匹配的初始化，通过下一层进行传播和搜索至金字塔最底层，得到最终的匹配结果。
进一步的，根据金字塔块匹配结果和背景光流信息，建立基于金字塔块匹配的运动模型，计算出对象运动参数，包括：
设定视差阈值为M个像素点，大于M个像素点的为有效视差值，计算有效视差值处的二维匹配点坐标，根据二维匹配点坐标计算初始匹配光流信息；
设定端点误差阈值为N个像素点，根据匹配光流信息和背景光流信息，计算其两者间的端点误差，保留端点误差大于N个像素点的对应匹配点处的二维坐标，根据双目相机参数和视差信息将二维匹配点投影到三维空间，获取匹配点所在位置的三维坐标；
在获取的三维坐标点中随机选取一个点为中心点建立半径为p个像素的超球面，对超球面内部的点随机采样3个点使用Ransac随机一致性算法拟合刚性运动模型，然后验证其他适合此模型的匹配点，经过n次迭代得到最佳刚性运动模型，进而计算出所有对象刚性运动参数。
通过超像素平面参数以及对象刚性运动参数构建优化能量函数模型；
Figure BDA0002871272370000031
s＝{si|1≤i≤ζ},o＝{ok|1≤k≤Ο}，si＝(ni,li),ok＝(Rk,tk)
其中，ζ表示参考视图中超像素的集合，Ο表示场景中对象的集合，θ表示ζ中相邻的超像素，ni表示超像素平面的法向量，ok表示对象，离散标签li表示每个超像素与对象对应，Rk,tk分别表示对象的刚性运动参数；
D(si,o)为数据项，表示图像在四个视图中保持外观一致性，这种一致性假设是通过惩罚参考视图中的超像素与其他三个目标视图投影之间的差异来实现的。可表示为：
Figure BDA0002871272370000041
其中[·]表示当标签与对象对应时为1，否则为0，Di(ni,ok)表示超像素平面法向量与对象刚性运动的非相似性度量，为了获取图像更多的信息，分别从flow，stereo，cross三个方面进行度量，具体表示为：
Figure BDA0002871272370000042
其中，flow表示t0时刻的左目图像与t1时刻的左目图像之间的约束，stereo表示t0时刻的左目图像与t0时刻的右目图像之间的约束，cross表示t0时刻的左目图像与t1时刻的右目图像之间的约束；每一项术语分别定义为超像素块中每个像素的匹配代价之和，匹配代价通过对象的运动参数变换计算得出，表示为：
Figure BDA0002871272370000043
其中，x∈{flow,stereo,cross}，K∈Z3×3表示相机内参，[Rx(o)|tx(o)]∈Z3×4表示刚性运动参数，匹配代价Cx(p,q)表示参考视图的像素位置与目标视图的像素位置的非相似性，采用稠密匹配和稀疏匹配图像特征计算代价值，可表示为：
Figure BDA0002871272370000044
Figure BDA0002871272370000045
Figure BDA0002871272370000046
其中，β1，β2表示权重，
Figure BDA0002871272370000051
表示通过汉明距离计算参考图像与目标图像的相似程度，目的是为了保持图像的外观一致性；
Figure BDA0002871272370000052
表示通过金字塔块匹配的得到的稀疏匹配关系，目的是为了保持位移一致性；
ψ(si,sj)表示为正则化项，鼓励相邻超像素块的平滑，由深度项、几何项和运动项三部分构成，表示为：
Figure BDA0002871272370000053
Figure BDA0002871272370000054
为深度项，表示为：
Figure BDA0002871272370000055
其中，d(n,p)函数表示像素P在两个相邻超像素边界处的视差值，
Figure BDA0002871272370000056
表示惩罚函数，在超像素边界深度不连续的地方施加约束；
Figure BDA0002871272370000057
为几何项，表示为：
Figure BDA0002871272370000058
几何项为了保持相邻超像素块平面的法向量的方向一致性，
Figure BDA0002871272370000059
为运动项，表示为：
Figure BDA00028712723700000510
运动项采用Potts模型鼓励指定对象索引的一致性，当相邻的超像素被分配给不同的对象的情况下，施加一个约束,w(·,·)为权重。
采用最大乘积粒子置信传播算法和重加权近似消息传递算法最小化能量函数，对刚性运动参数进行优化处理，确定双目图像序列场景流。
本发明公开了一种基于金字塔块匹配的双目场景流计算方法，该方法首先采用Stereo-SLIC算法和SPS-Stereo算法分别对图像进行超像素分割和视差计算，然后建立基于金字塔块匹配的运动模型初始化场景中所有对象的运动参数，接着将块匹配得到的稀疏匹配关系作为能量泛函数据项的惩罚约束项，通过离散标签将超像素和对象相关联，构造能量函数，最后通过最大乘积粒子置信传播算法和重加权近似消息传递算法最小化能量函数，对所有对象运动参数进行优化处理，得到最终的场景流。
本发明提供一种基于金字塔块匹配的双目场景流计算方法，通过建立金字塔块匹配运动模型和优化能量函数模型，有效地解决大位移、运动遮挡和强光照问题，最终达到提高场景流准确度的目的。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的基于金字塔块匹配的双目场景流计算方法的左目第一帧图像；
图2是本发明一个实施例提供的基于金字塔块匹配的双目场景流计算方法的左目第二帧图像；
图3是本发明一个实施例提供的基于金字塔块匹配的双目场景流计算方法的右目第一帧图像；
图4是本发明一个实施例提供的基于金字塔块匹配的双目场景流计算方法的右目第二帧图像；
图5是本发明一个实施例提供的基于金字塔块匹配的双目场景流计算方法的左目第一帧超像素分割图；
图6是本发明一个实施例提供的基于金字塔块匹配的双目场景流计算方法的右目第一帧超像素分割图；
图7是本发明一个实施例提供的基于金字塔块匹配的双目场景流计算方法的使用金字塔块匹配模型的得到匹配结果；
图8是本发明一个实施例提供的基于金字塔块匹配的双目场景流计算方法的最终光流结果示意图；
图9是本发明一个实施例提供的基于金字塔块匹配的双目场景流计算方法的最终视差结果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
请参阅图1-图9，本发明提供一种基于金字塔块匹配的双目场景流计算方法，所述方法包括以下步骤：
(1)获取双目图像序列；所述双目图像序列包括多帧图像；每帧图像均包括左目图像和右目图像；
(2)采用Stereo-SLIC算法对所述双目图像进行超像素分割；
(3)采用SPS-Stereo算法计算所述双目图像的左右目的视差信息；
(4)采用Classic+NL算法计算所述双目图像左目的背景光流信息；
(5)建立金字塔块匹配模型；所述金字塔块匹配模型的输入为左目连续两
帧图像，输出为图像的匹配对应坐标；具体过程包括：
对左目连续两帧图像通过下采样因子构成l层的图像金字塔，其中下采样因子η(η＝0.5)，金字塔第l层的图像表示为
Figure BDA0002871272370000081
金字塔的底层
Figure BDA0002871272370000082
是原始图像；
在每层金字塔图像进行边长为d个像素的网格划分，设定d＝3,以网格交叉点为中心点构建种子集合，将在l层的种子集合{sl}的位置p{sl}表示为最底层金字塔种子集合的降尺度版本，即：
p{sl}＝η{sl-1},l≥1
对金字塔顶层图像中种子点随机赋予一个偏置量，依据随机赋予的偏置量在对应图像中找到与之相对应的种子点，由于随机赋予得到的是一个初始匹配结果，在初始操作之后，进行迭代细化，迭代细化包括传播和随机搜索部分，通过迭代次数的增加，当搜索半径小于1个像素距离时停止搜索，得到金字塔顶层的匹配结果；
在每一层的匹配结束之后，都进行前后一致性检验，剔除错误匹配点，最终获得精度较高的匹配结果；
将上一层得到的匹配结果作为下一层匹配的初始化，下一层继续进行传播和搜索，依次进行到金字塔最底层，得到最终的匹配结果。
(6)根据金字塔块匹配结果和背景光流信息，建立基于金字塔块匹配的运动模型，计算出对象运动参数；其具体包括：
设定视差阈值为5个像素点，大于5个像素点的为有效视差值，计算有效视差值处的二维匹配点坐标，根据二维匹配点坐标计算初始匹配光流信息；
设定端点误差阈值为9个像素点，根据匹配光流信息和背景光流信息，计算其两者间的端点误差，保留端点误差大于9个像素点的对应匹配点处的二维坐标，根据双目相机参数和视差信息将二维匹配点投影到三维空间，获取匹配点所在位置的三维坐标；
在获取的三维坐标点中随机选取一个点，以此点为中心点建立半径为2.5个像素的超球面，对超球面内部的点随机采样3个点使用Ransac随机一致性算法拟合刚性运动模型，然后验证其他适合此模型的匹配点，经过200次迭代得到最佳刚性运动模型，进而计算出所有对象刚性运动参数；
(7)通过超像素平面参数以及对象刚性运动参数构建优化能量函数模型；
Figure BDA0002871272370000091
s＝{si|1≤i≤ζ},o＝{ok|1≤k≤Ο}，si＝(ni,li),ok＝(Rk,tk)
其中，ζ表示参考视图中超像素的集合，Ο表示场景中对象的集合，θ表示ζ中相邻的超像素，ni表示超像素平面的法向量，ok表示对象，离散标签li表示每个超像素与对象对应，Rk,tk分别表示对象的刚性运动参数；
D(si,o)为数据项，表示图像在四个视图中保持外观一致性，这种一致性假设是通过惩罚参考视图中的超像素与其他三个目标视图投影之间的差异来实现的。可表示为：
Figure BDA0002871272370000092
其中[·]表示当标签与对象对应时为1，否则为0，Di(ni,ok)表示超像素平面法向量与对象刚性运动的非相似性度量，为了获取图像更多的信息，分别从flow，stereo，cross三个方面进行度量，具体表示为：
Figure BDA0002871272370000093
其中，flow表示t0时刻的左目图像与t1时刻的左目图像之间的约束，stereo表示t0时刻的左目图像与t0时刻的右目图像之间的约束，cross表示t0时刻的左目图像与t1时刻的右目图像之间的约束；每一项术语分别定义为超像素块中每个像素的匹配代价之和，匹配代价通过对象的运动参数变换计算得出，表示为：
Figure BDA0002871272370000101
其中，x∈{flow,stereo,cross}，K∈Z3×3表示相机内参，[Rx(o)|tx(o)]∈Z3×4表示刚性运动参数，匹配代价Cx(p,q)表示参考视图的像素位置与目标视图的像素位置的非相似性，采用稠密匹配和稀疏匹配图像特征计算代价值，可表示为：
Figure BDA0002871272370000102
Figure BDA0002871272370000103
Figure BDA0002871272370000104
其中，β1，β2表示权重，
Figure BDA0002871272370000105
表示通过汉明距离计算参考图像与目标图像的相似程度，目的是为了保持图像的外观一致性；
Figure BDA0002871272370000106
表示通过金字塔块匹配的得到的稀疏匹配关系，目的是为了保持位移一致性；
ψ(si,sj)表示为正则化项，鼓励相邻超像素块的平滑，由深度项、几何项和运动项三部分构成，表示为：
Figure BDA0002871272370000107
Figure BDA0002871272370000108
为深度项，表示为：
Figure BDA0002871272370000109
其中，d(n,p)函数表示像素P在两个相邻超像素边界处的视差值，
Figure BDA00028712723700001010
表示惩罚函数，在超像素边界深度不连续的地方施加约束；
Figure BDA0002871272370000111
为几何项，表示为：
Figure BDA0002871272370000112
几何项为了保持相邻超像素块平面的法向量的方向一致性，
Figure BDA0002871272370000113
为运动项，表示为：
Figure BDA0002871272370000114
运动项采用Potts模型鼓励指定对象索引的一致性，当相邻的超像素被分配给不同的对象的情况下，施加一个约束,w(·,·)为权重。
(8)采用最大乘积粒子置信传播算法和重加权近似消息传递算法最小化能量函数，对刚性运动参数进行优化处理，确定双目图像序列场景流。
本发明公开了一种基于金字塔块匹配的双目场景流计算方法，该方法首先采用Stereo-SLIC算法和SPS-Stereo算法分别对图像进行超像素分割和视差计算，然后建立基于金字塔块匹配的运动模型初始化场景中所有对象的运动参数，接着将块匹配得到的稀疏匹配关系作为能量泛函数据项的惩罚约束项，通过离散标签将超像素和对象相关联，构造能量函数，最后通过最大乘积粒子置信传播算法和重加权近似消息传递算法最小化能量函数，对所有对象运动参数进行优化处理，得到最终的场景流。
本发明提供一种基于金字塔块匹配的双目场景流计算方法，通过建立金字塔块匹配运动模型和优化能量函数模型，有效地解决大位移、运动遮挡和强光照问题，最终达到提高场景流准确度的目的。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含所指示的技术特征的数量。由此，限定的“第一”、“第二”的特征可以明示或隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于金字塔块匹配的双目场景流计算方法，其特征在于，所述方法包括以下步骤：（1）获取双目图像序列，所述双目图像序列包括多帧图像，每帧图像均包括左目图像和右目图像；
（2）采用Stereo-SLIC算法对所述双目图像进行超像素分割；
（3）采用SPS-Stereo算法计算所述双目图像的左右目的视差信息；
（4）采用Classic+NL算法计算所述双目图像左目的背景光流信息；
（5）建立金字塔块匹配模型，所述金字塔块匹配模型的输入为左目连续两帧图像，输出为图像的匹配结果；
（6）根据金字塔块匹配结果和背景光流信息，建立基于金字塔块匹配的运动模型，计算出对象的运动参数；
（7）通过超像素平面参数以及对象刚性运动参数构建优化能量函数模型；
（8）采用最大乘积粒子置信传播算法和重加权近似消息传递算法最小化能量函数，对刚性运动参数进行优化处理，确定双目图像序列场景流；
所述金字塔块匹配模型的输入为左目连续两帧图像，输出为图像的匹配结果，包括：对左目连续两帧图像通过下采样因子构成层的图像金字塔，其中下采样因子η，η=0.5；金字塔第层的图像表示为，,，金字塔的底层是原始图像；
在每层金字塔图像进行边长为d个像素的网格划分,以网格交叉点为中心点构建种子集合，将在层的种子集合的位置表示为最底层金字塔种子集合的降尺度版本；
对金字塔顶层图像中种子点随机赋予一个偏置量，依据随机赋予的偏置量在对应图像中找到与之相对应的种子点，随机赋予的偏置量通过迭代细化，当搜索半径小于1个像素距离时停止搜索，得到金字塔顶层的匹配结果；
根据金字塔块匹配结果和背景光流信息，建立基于金字塔块匹配的运动模型，计算出对象的运动参数，包括：
设定视差阈值为M个像素点，大于M个像素点的为有效视差值，计算有效视差值处的二维匹配点坐标，根据二维匹配点坐标计算初始匹配光流信息；
设定端点误差阈值为N个像素点，根据匹配光流信息和背景光流信息，计算其两者间的端点误差，保留端点误差大于N个像素点的对应匹配点处的二维坐标，根据双目相机参数和视差信息将二维匹配点投影到三维空间，获取匹配点所在位置的三维坐标；
在获取的三维坐标点中随机选取一个点为中心点建立半径为p个像素的超球面，对超球面内部的点随机采样3个点使用Ransac随机一致性算法拟合刚性运动模型，然后验证其他适合此模型的匹配点，经过n次迭代得到最佳刚性运动模型，进而计算出所有对象刚性运动参数。
2.根据权利要求1所述的方法，其特征在于，在每一层的匹配结束之后，进行前后一致性检验，最终获得匹配结果；将上一层得到的匹配结果作为下一层匹配的初始化，通过下一层进行传播和搜索至金字塔最底层，得到最终的匹配结果。
CN202011600696.3A 2020-12-30 2020-12-30 基于金字塔块匹配的双目场景流计算方法 Active CN112581494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011600696.3A CN112581494B (zh) 2020-12-30 2020-12-30 基于金字塔块匹配的双目场景流计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011600696.3A CN112581494B (zh) 2020-12-30 2020-12-30 基于金字塔块匹配的双目场景流计算方法

Publications (2)

Publication Number Publication Date
CN112581494A CN112581494A (zh) 2021-03-30
CN112581494B true CN112581494B (zh) 2023-05-02

Family

ID=75144113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011600696.3A Active CN112581494B (zh) 2020-12-30 2020-12-30 基于金字塔块匹配的双目场景流计算方法

Country Status (1)

Country Link
CN (1) CN112581494B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341815A (zh) * 2017-06-01 2017-11-10 哈尔滨工程大学 基于多目立体视觉场景流的剧烈运动检测方法
CN108776971A (zh) * 2018-06-04 2018-11-09 南昌航空大学 一种基于分层最近邻域的变分光流确定方法及***
CN108986136A (zh) * 2018-07-23 2018-12-11 南昌航空大学 一种基于语义分割的双目场景流确定方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914874B (zh) * 2014-04-08 2017-02-01 中山大学 一种无特征提取的紧致sfm三维重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341815A (zh) * 2017-06-01 2017-11-10 哈尔滨工程大学 基于多目立体视觉场景流的剧烈运动检测方法
CN108776971A (zh) * 2018-06-04 2018-11-09 南昌航空大学 一种基于分层最近邻域的变分光流确定方法及***
CN108986136A (zh) * 2018-07-23 2018-12-11 南昌航空大学 一种基于语义分割的双目场景流确定方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Robust Non-Local TV-L1 Optical Flow Estimation With Occlusion Detection;Congxuan Zhang;《IEEE》;全文 *
深度学习光流计算技术研究进展;张聪炫;《电子学报》(第undefined期);全文 *

Also Published As

Publication number Publication date
CN112581494A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN108509848B (zh) 三维物体的实时检测方法及***
CN108986136B (zh) 一种基于语义分割的双目场景流确定方法及***
Sun et al. Layered RGBD scene flow estimation
CN103702098B (zh) 一种时空域联合约束的三视点立体视频深度提取方法
CN102930530B (zh) 一种双视点图像的立体匹配方法
US11170202B2 (en) Apparatus and method for performing 3D estimation based on locally determined 3D information hypotheses
CN111783582A (zh) 一种基于深度学习的无监督单目深度估计算法
CN103996201A (zh) 一种基于改进梯度和自适应窗口的立体匹配方法
CN110853151A (zh) 一种基于视频的三维立体点集恢复方法
CN103996202A (zh) 一种基于混合匹配代价和自适应窗口的立体匹配方法
CN106056622B (zh) 一种基于Kinect相机的多视点深度视频复原方法
CN111105451B (zh) 一种克服遮挡效应的驾驶场景双目深度估计方法
Zhang et al. Simultaneous multi-body stereo and segmentation
CN102740096A (zh) 一种基于时空结合的动态场景立体视频匹配方法
CN107330930B (zh) 三维图像深度信息提取方法
CN115482268A (zh) 一种基于散斑匹配网络的高精度三维形貌测量方法与***
Yan et al. Rethinking disparity: a depth range free multi-view stereo based on disparity
Quan et al. Image-based modeling by joint segmentation
Yong-guo et al. The navigation of mobile robot based on stereo vision
CN117726747A (zh) 补全弱纹理场景的三维重建方法、装置、存储介质和设备
CN115761116B (zh) 一种基于单目相机的透视投影下三维人脸重建方法
CN112581494B (zh) 基于金字塔块匹配的双目场景流计算方法
CN116630423A (zh) 一种基于orb特征的微小型机器人多目标双目定位方法及***
Mahmoud et al. Fast 3d structure from motion with missing points from registration of partial reconstructions
Park et al. A tensor voting approach for multi-view 3D scene flow estimation and refinement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant