CN112767441B - 一种基于残差场和位移场的图像光流优化方法及*** - Google Patents
一种基于残差场和位移场的图像光流优化方法及*** Download PDFInfo
- Publication number
- CN112767441B CN112767441B CN202110022829.1A CN202110022829A CN112767441B CN 112767441 B CN112767441 B CN 112767441B CN 202110022829 A CN202110022829 A CN 202110022829A CN 112767441 B CN112767441 B CN 112767441B
- Authority
- CN
- China
- Prior art keywords
- optical flow
- field
- decoder
- image
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 194
- 238000006073 displacement reaction Methods 0.000 title claims abstract description 56
- 238000005457 optimization Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012952 Resampling Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000010586 diagram Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于残差场和位移场的图像光流优化方法及***。该方法包括:获取参考图像;采用光流估计方法对所述参考图像进行估计,得到初始光流场;获取光流优化模型;所述光流优化模型包括图像编码器、光流编码器、第一解码器和子解码器;将所述参考图像和所述初始光流场输入所述光流优化模型,输出残差场和位移场;将所述初始光流场与所述残差场叠加,得到初步优化的光流场;利用所述位移场对所述初步优化的光流场进行重采样,得到优化后的光流场。本发明可以提高图像序列光流估计在运动边界区域的精度和鲁棒性。
Description
技术领域
本发明涉及图像序列光流计算领域,特别是涉及一种基于残差场和位移场的图像光流优化方法及***。
背景技术
光流是运动物体或场景表面像素点在投影平面的二维瞬时速度,其不仅能够提供图像中运动目标和景物的运动参数信息,还能够提供丰富的三维结构信息,是图像处理、计算机视觉等领域的热点问题。近年来,随着深度学习理论与技术的快速发展,卷积神经网络模型被广泛应用于光流估计技术研究,由于该类方法具有计算速度快、稳定性高等显著优点,因此逐渐成为遮挡检测研究领域的热点,研究成果被广泛应用于动作识别、人体姿态识别、光流估计、人脸识别、目标跟踪和三维重建等更高级视觉任务。
目前,基于卷积神经网络的光流估计技术是图像序列光流计算技术中最常采用的一类光流估计技术,该类方法通常会在物体运动边界区域导致过度平滑现象,并且对于包含非刚性运动和大位移的图像序列边缘模糊现象更为严重,限制了此类方法在各个领域的应用。
发明内容
本发明的目的是提供一种基于残差场和位移场的图像光流优化方法及***,以提高图像序列光流估计在运动边界区域的精度和鲁棒性。
为实现上述目的,本发明提供了如下方案:
一种基于残差场和位移场的图像光流优化方法,包括:
获取参考图像;
采用光流估计方法对所述参考图像进行估计,得到初始光流场;
获取光流优化模型;所述光流优化模型包括图像编码器、光流编码器、第一解码器和子解码器;
将所述参考图像和所述初始光流场输入所述光流优化模型,输出残差场和位移场;
将所述初始光流场与所述残差场叠加,得到初步优化的光流场;
利用所述位移场对所述初步优化的光流场进行重采样,得到优化后的光流场。
可选的,所述图像编码器包括多层卷积层;所述光流编码器包括多层卷积层;所述第一解码器包括多个卷积层;所述子解码器包括第一子解码器和第二子解码器。
可选的,所述将所述参考图像和所述初始光流场输入所述光流优化模型,输出残差场和位移场,具体包括:
利用所述图像编码器对所述参考图像进行特征金字塔下采样分层,得到多个分辨率不同的图像特征图;
利用所述光流编码器对所述初始光流场进行特征金字塔下采样分层,得到多个分辨率不同的光流场特征图;
根据所述多个分辨率不同的图像特征图和所述多个分辨率不同的光流场特征图,利用所述第一解码器生成解码器特征图;
根据所述解码器特征图,利用所述第一子解码器计算残差场;
根据所述解码器特征图,利用所述第二子解码器计算位移场。
可选的,所述根据所述多个分辨率不同的图像特征图和所述多个分辨率不同的光流场特征图,利用所述第一解码器生成解码器特征图,具体包括:
利用公式生成解码特征图;所述第一解码器包括四层卷积层,其中,D1为第一卷积层的卷积操作,/>为所述第一解码器输出的解码特征图,concatenate是通道叠加运算,/>D2为第二卷积层的卷积操作,/>D3为第三卷积层的卷积操作,/>D4为第四卷积层的卷积操作,/>和/>为所述图像编码器输出的多个分辨率不同的图像特征图,/>和/>为所述光流编码器输出的多个分辨率不同的光流场特征图。
本发明还提供一种基于残差场和位移场的图像光流优化***,包括:
参考图像获取模块,用于获取参考图像;
光流估计模块,用于采用光流估计方法对所述参考图像进行估计,得到初始光流场;
光流优化模型获取模块,用于获取光流优化模型;所述光流优化模型包括图像编码器、光流编码器、第一解码器和子解码器;
残差场和位移场计算模块,用于将所述参考图像和所述初始光流场输入所述光流优化模型,输出残差场和位移场;
叠加模块,用于将所述初始光流场与所述残差场叠加,得到初步优化的光流场;
重采样模块,用于利用所述位移场对所述初步优化的光流场进行重采样,得到优化后的光流场。
可选的,所述图像编码器包括多层卷积层;所述光流编码器包括多层卷积层;所述第一解码器包括多个卷积层;所述子解码器包括第一子解码器和第二子解码器。
可选的,所述残差场和位移场计算模块,具体包括:
图像特征提取单元,用于利用所述图像编码器对所述参考图像进行特征金字塔下采样分层,得到多个分辨率不同的图像特征图;
光流场特征提取单元,用于利用所述光流编码器对所述初始光流场进行特征金字塔下采样分层,得到多个分辨率不同的光流场特征图;
第一解码单元,用于根据所述多个分辨率不同的图像特征图和所述多个分辨率不同的光流场特征图,利用所述第一解码器生成解码器特征图;
残差场计算单元,用于根据所述解码器特征图,利用所述第一子解码器计算残差场;
位移场计算单元,用于根据所述解码器特征图,利用所述第二子解码器计算位移场。
可选的,所述第一解码单元,具体包括:
解码子单元,用于利用公式生成解码特征图;所述第一解码器包括四层卷积层,其中,D1为第一卷积层的卷积操作,/>为所述第一解码器输出的解码特征图,concatenate是通道叠加运算,/>D2为第二卷积层的卷积操作,/>D3为第三卷积层的卷积操作,/>D4为第四卷积层的卷积操作,/>和/>为所述图像编码器输出的多个分辨率不同的图像特征图,/>和/>为所述光流编码器输出的多个分辨率不同的光流场特征图。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明采用残差场和位移场优化运动边界区域的光流估计,通过残差场进行优化,对于包含非刚性运动和大位移等图像序列具有更好的计算精度。通过位移场的进一步优化,图像中物体运动边界处的光流场精度得到了显著提高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于残差场和位移场的图像光流优化方法的流程示意图;
图2为本发明参考图像的示例;
图3为本发明的初始光流场;
图4为本发明的光流优化模型总体图;
图5为本发明经光流优化模型优化后的光流场;
图6为本发明基于残差场和位移场的图像光流优化***的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明基于残差场和位移场的图像光流优化方法的流程示意图。如图1所示,本发明基于残差场和位移场的图像光流优化方法包括以下步骤:
步骤100:获取参考图像。参考图像为图像序列中的任一帧图像。如图2所示,图2为ambush5图像序列的第一帧图像。
步骤200:采用光流估计方法对参考图像进行估计,得到初始光流场。采用现有的光流估计方法对参考图像进行光流估计,得到的估计结果作为初始光流场。以图2示例的参考图像,进行光流估计后的初始光流场如图3所示。
步骤300:获取光流优化模型。如图4所示,本发明的光流优化模型包括图像编码器、光流编码器、第一解码器和子解码器。其中,图像编码器Er由三层3×3卷积和/>组成,用于对参考图像进行特征金字塔下采样分层,得到三层分辨率不同的图像特征图和/>计算方式如下:
表示图像编码器的第一卷积层/>对参考图像I进行的卷积操作,得到第一卷积层输出的图像特征图/> 表示图像编码器的第二卷积层/>对图像特征图/>进行的卷积操作,得到第二卷积层输出的图像特征图/> 表示图像编码器的第三卷积层/>对图像特征图/>进行的卷积操作,得到第三卷积层输出的图像特征图/>
其中,为光流编码器第一卷积层/>对初始光流场Finit进行的卷积操作,得到光流特征图/> 为光流编码器第二卷积层/>对光流特征图/>进行的卷积操作,得到光流特征图/> 为光流编码器第三卷积层/>对光流特征图/>进行的卷积操作,得到光流特征图/>
式中:表示第四卷积层基于光流特征图/>进行的卷积操作,得到特征图 表示第三卷积层基于特征图/>以及光流特征图进行的卷积操作,得到特征图/>concatenate是通道叠加运算;/>表示第二卷积层基于特征图/>和光流特征图以及图像特征图进行的卷积操作,得到特征图/> 为第一卷积层基于特征图/>和光流特征图以及图像特征图进行的卷积操作,卷积结果与图像特征图/>叠加,得到特征图/>即所述第一解码器输出的解码特征图。
步骤400:将参考图像和初始光流场输入光流优化模型,输出残差场和位移场。将参考图像和初始光流场输入光流优化模型后,如图4所示,依次经过图像编码器、光流编码器和第一解码器后,输出解码特征图。本发明的子解码器包括第一子解码器和第二子解码器,第一子解码器和第二子解码器均为3×3卷积层。第一子解码器用于计算残差场,第二子解码器用于计算位移场。公式如下:
步骤500:将初始光流场与残差场叠加,得到初步优化的光流场。公式如下:
式中:p代表了参考图像I中的一个像素坐标位置,Finit(p)是光流场中的坐标p处的光流值,fres(p)表示图像坐标系下坐标p处的初始残差,Finit+res(p)是坐标p处初始光流值与残差的叠加结果,即坐标p处初步优化的光流值。
步骤600:利用位移场对初步优化的光流场进行重采样,得到优化后的光流场。公式如下:
计算方式如下:
式中,frefined(p)是对光流场按所需的像素坐标位置p+fdis(p)重新采样后得到的优化后的光流场,优化后的光流场如图5所示。
下面举例说明重采样过程,假设重采样前的光流场fold在坐标p=(10,5)处的光流为fold(p)=(3,2),该点的位移场fdis(p)=(2,-1),则光流场fnew在坐标p=(10,5)处的光流fnew(p)将从坐标取值,计算方式为:fnew(p)=fold(p+fdis(p))=fold(12,4)。
本发明还提供一种基于残差场和位移场的图像光流优化***,图6为本发明基于残差场和位移场的图像光流优化***的结构示意图。如图6所示,本发明基于残差场和位移场的图像光流优化***包括:
参考图像获取模块601,用于获取参考图像。
光流估计模块602,用于采用光流估计方法对所述参考图像进行估计,得到初始光流场。
光流优化模型获取模块603,用于获取光流优化模型;所述光流优化模型包括图像编码器、光流编码器、第一解码器和子解码器。
残差场和位移场计算模块604,用于将所述参考图像和所述初始光流场输入所述光流优化模型,输出残差场和位移场。
叠加模块605,用于将所述初始光流场与所述残差场叠加,得到初步优化的光流场。
重采样模块606,用于利用所述位移场对所述初步优化的光流场进行重采样,得到优化后的光流场。
作为具体实施例,本发明基于残差场和位移场的图像光流优化***中,所述图像编码器包括多层卷积层;所述光流编码器包括多层卷积层;所述第一解码器包括多个卷积层;所述子解码器包括第一子解码器和第二子解码器。
作为具体实施例,本发明基于残差场和位移场的图像光流优化***中,所述残差场和位移场计算模块604,具体包括:
图像特征提取单元,用于利用所述图像编码器对所述参考图像进行特征金字塔下采样分层,得到多个分辨率不同的图像特征图。
光流场特征提取单元,用于利用所述光流编码器对所述初始光流场进行特征金字塔下采样分层,得到多个分辨率不同的光流场特征图。
第一解码单元,用于根据所述多个分辨率不同的图像特征图和所述多个分辨率不同的光流场特征图,利用所述第一解码器生成解码器特征图。
残差场计算单元,用于根据所述解码器特征图,利用所述第一子解码器计算残差场。
位移场计算单元,用于根据所述解码器特征图,利用所述第二子解码器计算位移场。
作为具体实施例,本发明基于残差场和位移场的图像光流优化***中,所述第一解码单元,具体包括:
解码子单元,用于利用公式生成解码特征图;所述第一解码器包括四层卷积层,其中,D1为第一卷积层的卷积操作,/>为所述第一解码器输出的解码特征图,concatenate是通道叠加运算,/>D2为第二卷积层的卷积操作,/>D3为第三卷积层的卷积操作,/>D4为第四卷积层的卷积操作,/>和/>为所述图像编码器输出的多个分辨率不同的图像特征图,/>和/>为所述光流编码器输出的多个分辨率不同的光流场特征图。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (2)
1.一种基于残差场和位移场的图像光流优化方法,其特征在于,包括:
获取参考图像;
采用光流估计方法对所述参考图像进行估计,得到初始光流场;
获取光流优化模型;所述光流优化模型包括图像编码器、光流编码器、第一解码器和子解码器;
将所述参考图像和所述初始光流场输入所述光流优化模型,输出残差场和位移场;
将所述初始光流场与所述残差场叠加,得到初步优化的光流场;
利用所述位移场对所述初步优化的光流场进行重采样,得到优化后的光流场;
所述图像编码器包括多层卷积层;所述光流编码器包括多层卷积层;所述第一解码器包括多个卷积层;所述子解码器包括第一子解码器和第二子解码器;
所述将所述参考图像和所述初始光流场输入所述光流优化模型,输出残差场和位移场,具体包括:
利用所述图像编码器对所述参考图像进行特征金字塔下采样分层,得到多个分辨率不同的图像特征图;
利用所述光流编码器对所述初始光流场进行特征金字塔下采样分层,得到多个分辨率不同的光流场特征图;
根据所述多个分辨率不同的图像特征图和所述多个分辨率不同的光流场特征图,利用所述第一解码器生成解码器特征图;
根据所述解码器特征图,利用所述第一子解码器计算残差场;
根据所述解码器特征图,利用所述第二子解码器计算位移场;
所述根据所述多个分辨率不同的图像特征图和所述多个分辨率不同的光流场特征图,利用所述第一解码器生成解码器特征图,具体包括:
2.一种基于残差场和位移场的图像光流优化***,其特征在于,包括:
参考图像获取模块,用于获取参考图像;
光流估计模块,用于采用光流估计方法对所述参考图像进行估计,得到初始光流场;
光流优化模型获取模块,用于获取光流优化模型;所述光流优化模型包括图像编码器、光流编码器、第一解码器和子解码器;
残差场和位移场计算模块,用于将所述参考图像和所述初始光流场输入所述光流优化模型,输出残差场和位移场;
叠加模块,用于将所述初始光流场与所述残差场叠加,得到初步优化的光流场;
重采样模块,用于利用所述位移场对所述初步优化的光流场进行重采样,得到优化后的光流场;
所述图像编码器包括多层卷积层;所述光流编码器包括多层卷积层;所述第一解码器包括多个卷积层;所述子解码器包括第一子解码器和第二子解码器;
所述残差场和位移场计算模块,具体包括:
图像特征提取单元,用于利用所述图像编码器对所述参考图像进行特征金字塔下采样分层,得到多个分辨率不同的图像特征图;
光流场特征提取单元,用于利用所述光流编码器对所述初始光流场进行特征金字塔下采样分层,得到多个分辨率不同的光流场特征图;
第一解码单元,用于根据所述多个分辨率不同的图像特征图和所述多个分辨率不同的光流场特征图,利用所述第一解码器生成解码器特征图;
残差场计算单元,用于根据所述解码器特征图,利用所述第一子解码器计算残差场;
位移场计算单元,用于根据所述解码器特征图,利用所述第二子解码器计算位移场;
所述第一解码单元,具体包括:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110022829.1A CN112767441B (zh) | 2021-01-08 | 2021-01-08 | 一种基于残差场和位移场的图像光流优化方法及*** |
US17/570,836 US20220222833A1 (en) | 2021-01-08 | 2022-01-07 | Method and system for optimizing optical flow for images based on residual field and displacement field |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110022829.1A CN112767441B (zh) | 2021-01-08 | 2021-01-08 | 一种基于残差场和位移场的图像光流优化方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112767441A CN112767441A (zh) | 2021-05-07 |
CN112767441B true CN112767441B (zh) | 2023-06-06 |
Family
ID=75700984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110022829.1A Active CN112767441B (zh) | 2021-01-08 | 2021-01-08 | 一种基于残差场和位移场的图像光流优化方法及*** |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220222833A1 (zh) |
CN (1) | CN112767441B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109816611B (zh) * | 2019-01-31 | 2021-02-12 | 北京市商汤科技开发有限公司 | 视频修复方法及装置、电子设备和存储介质 |
CN113239814B (zh) * | 2021-05-17 | 2024-02-02 | 平安科技(深圳)有限公司 | 基于光流重构的面部表情识别方法、装置、设备及介质 |
CN113613003B (zh) * | 2021-08-30 | 2024-03-22 | 北京市商汤科技开发有限公司 | 视频压缩、解压缩方法及装置、电子设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6370196B1 (en) * | 1997-07-28 | 2002-04-09 | Idt International Digital Technologies Deutschland Gmbh | Method and apparatus for multiresolution object-oriented motion estimation |
CN108776971A (zh) * | 2018-06-04 | 2018-11-09 | 南昌航空大学 | 一种基于分层最近邻域的变分光流确定方法及*** |
CN110111366A (zh) * | 2019-05-06 | 2019-08-09 | 北京理工大学 | 一种基于多级损失量的端到端光流估计方法 |
CN111340844A (zh) * | 2020-02-24 | 2020-06-26 | 南昌航空大学 | 基于自注意力机制的多尺度特征光流学习计算方法 |
CN111612825A (zh) * | 2020-06-28 | 2020-09-01 | 南昌航空大学 | 基于光流与多尺度上下文的图像序列运动遮挡检测方法 |
-
2021
- 2021-01-08 CN CN202110022829.1A patent/CN112767441B/zh active Active
-
2022
- 2022-01-07 US US17/570,836 patent/US20220222833A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6370196B1 (en) * | 1997-07-28 | 2002-04-09 | Idt International Digital Technologies Deutschland Gmbh | Method and apparatus for multiresolution object-oriented motion estimation |
CN108776971A (zh) * | 2018-06-04 | 2018-11-09 | 南昌航空大学 | 一种基于分层最近邻域的变分光流确定方法及*** |
CN110111366A (zh) * | 2019-05-06 | 2019-08-09 | 北京理工大学 | 一种基于多级损失量的端到端光流估计方法 |
CN111340844A (zh) * | 2020-02-24 | 2020-06-26 | 南昌航空大学 | 基于自注意力机制的多尺度特征光流学习计算方法 |
CN111612825A (zh) * | 2020-06-28 | 2020-09-01 | 南昌航空大学 | 基于光流与多尺度上下文的图像序列运动遮挡检测方法 |
Non-Patent Citations (1)
Title |
---|
反馈调节的局部正则化鲁棒光流估计;路子;高隽;韩晓新;李援;卢鹏;;光子学报(第08期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112767441A (zh) | 2021-05-07 |
US20220222833A1 (en) | 2022-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112767441B (zh) | 一种基于残差场和位移场的图像光流优化方法及*** | |
CN110782490B (zh) | 一种具有时空一致性的视频深度图估计方法及装置 | |
CN110490919B (zh) | 一种基于深度神经网络的单目视觉的深度估计方法 | |
CN109003325B (zh) | 一种三维重建的方法、介质、装置和计算设备 | |
US6819318B1 (en) | Method and apparatus for modeling via a three-dimensional image mosaic system | |
CN108776971B (zh) | 一种基于分层最近邻域的变分光流确定方法及*** | |
CN108876836B (zh) | 一种深度估计方法、装置、***及计算机可读存储介质 | |
CN108062769B (zh) | 一种用于三维重建的快速深度恢复方法 | |
CN111339870B (zh) | 一种针对物体遮挡场景的人体形状和姿态估计方法 | |
CN111105432B (zh) | 基于深度学习的无监督端到端的驾驶环境感知方法 | |
EP3751517A1 (en) | Fast articulated motion tracking | |
CN111612825B (zh) | 基于光流与多尺度上下文的图像序列运动遮挡检测方法 | |
CN112308918B (zh) | 一种基于位姿解耦估计的无监督单目视觉里程计方法 | |
CN111311664B (zh) | 一种深度、位姿与场景流的联合无监督估计方法及*** | |
CN112862736B (zh) | 一种基于点的实时三维重建与优化方法 | |
CN115035171A (zh) | 基于自注意力导向特征融合的自监督单目深度估计方法 | |
CN113838102B (zh) | 一种基于各向异性稠密卷积的光流确定方法和*** | |
CN110889868A (zh) | 一种结合梯度和纹理特征的单目图像深度估计方法 | |
Al Ismaeil et al. | Real-time enhancement of dynamic depth videos with non-rigid deformations | |
CN112419411A (zh) | 一种基于卷积神经网络和光流特征视觉里程计的实现方法 | |
CN115937002B (zh) | 用于估算视频旋转的方法、装置、电子设备和存储介质 | |
Cho et al. | Depth map up-sampling using cost-volume filtering | |
CN112435345B (zh) | 一种基于深度学习的人体三维测量方法及*** | |
CN111611997B (zh) | 一种基于人体动作迁移的卡通定制形象运动视频生成方法 | |
Murayama et al. | Depth Image Noise Reduction and Super-Resolution by Pixel-Wise Multi-Frame Fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |