CN111292357B - 一种基于相关滤波的视频帧间快速运动估计方法 - Google Patents
一种基于相关滤波的视频帧间快速运动估计方法 Download PDFInfo
- Publication number
- CN111292357B CN111292357B CN202010136402.XA CN202010136402A CN111292357B CN 111292357 B CN111292357 B CN 111292357B CN 202010136402 A CN202010136402 A CN 202010136402A CN 111292357 B CN111292357 B CN 111292357B
- Authority
- CN
- China
- Prior art keywords
- reference frame
- block
- frame
- search area
- motion estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于相关滤波的视频帧间快速运动估计方法。该方法首先对基准帧和参考帧进行预处理,通过进行对数变换提高图像对比度,其次将基准帧划分成大小相等的网格,依次提取基准块Bcur,在参考帧中依据基准块的对应位置提取参考区域,并从中依次提取参考块,通过相关滤波计算运动矢量。本发明能显著提高传统运动估计方法的鲁棒性,可以克服传统运动估计方法对于非刚性运动无法准确获取运动矢量的缺陷,并通过改进搜索策略降低运算复杂度。
Description
技术领域
本发明属于数字视频图像处理与显示技术领域,具体涉及一种基于相关滤波的视频帧间快速运动估计方法。
背景技术
随着视频处理技术的不断发展与人们对视频显示质量要求的不断提高,高刷新率的超高清显示设备已经实现了广泛的普及和应用。运动估计作为视频处理技术的核心模块,负责追踪视频帧内所有物体的运动情况。其主要采用高效的块匹配模式,即将基准帧以一定粒度分割为互不交叠的基准块,并以这些基准块为基准,在其参考帧对应块位置的一定范围内寻找其最佳匹配块。块匹配方法主要有两种:全搜索与快速运动估计。全搜索需要遍历搜索范围内的所有位置来找到最匹配的运动向量,从而导致极大的计算量。因此诸多快速运动估计算法被提出来,通过一定的规则只比较一些关键的候选位置,从而极大的降低运算量。然而这些快速运动估计算法容易获得局部最优解,获取的运动矢量的准确度不如全搜索。因此现在的运动估计算法需要在计算资源和计算准确度之间进行权衡。现有的运动估计算法通常使用绝对差值和(SAD)作为损失函数,SAD计算基准块和搜索块中对应位置像素差值的绝对值和,若两帧中发生非刚性变换(如:缩放、旋转、仿射等)或发生较大位移,使用SAD作为损失函数的运动估计方法往往会获得错误的运动矢量。与此同时,现实世界中的图像常常存在对比度低、场景复杂等问题,这些问题都进一步对运动估计算法提出了挑战。
发明内容
本发明的目的在于提供一种基于相关滤波的视频帧间快速运动估计方法。该方法利用相关滤波作为损失函数,通过对输入图像进行对数转换提高对比度,通过改进搜索步骤降低计算量,实现了更为准确且快速的运动估计。
本发明采用如下技术方案来实现的:
一种基于相关滤波的视频帧间快速运动估计方法,该方法首先对原始视频流中提取出的基准帧和参考帧进行预处理,通过进行对数变换提高图像对比度,其次将基准帧划分成大小相等的网格,依次提取基准块Bcur,在参考帧中依据基准块的对应位置提取参考区域,并从中依次提取参考块,通过相关滤波计算运动矢量。
本发明进一步的改进在于,该方法具体包括如下实现步骤:
5)从原始视频流中依次提取出基准帧和参考帧,对基准帧和参考帧分别进行预处理;
6)从预处理后的基准帧和参考帧中依次提取基准块Bcur和搜索区域;
7)依照搜索流程将基准块Bcur和搜索区域中对应搜索块转到频域中,通过相关滤波计算相关性;
8)找出相关性最大的点的坐标(x,y),取坐标(x,y)与搜索区域中心点的位移为运动矢量。
本发明进一步的改进在于,步骤1)的具体实现方法如下:
101)从视频流中依次提取出基准帧和参考帧,将视频流的当前帧作为基准帧,下一帧作为参考帧;
102)对基准帧和参考帧分别进行对数变化,用以提高图像的对比度。
本发明进一步的改进在于,步骤2)的具体实现方法如下:
201)将基准帧划分成数个大小相等且互不交叠的矩形,依次令矩形为基准块Bcur;
202)将参考帧中对应位置及以对应位置为中心,以s为半径的块形区域作为搜索区域,其中对搜索区域超过参考帧大小的部分进行补0。
本发明进一步的改进在于,步骤3)的具体实现方法如下:
304)将基准块Bcur转入频域;
305)以搜索区域的中心块为中心块,进入运动估计;
306)将搜索区域的中心块和周围八个块转入频域,通过相关滤波的相关公式计算响应值,将响应值转入时域中,如果最大响应值Gmax在中心块中,则进入下一步,否则令最大响应值Gmax所在的块为中心块,进入步骤302)。
本发明进一步的改进在于,步骤4)的具体实现方法如下:
403)根据步骤3)计算得到的最大响应值Gmax,记录它在搜索区域中的坐标(x,y);
404)计算(x,y)和搜索区域中心点(0,0)之间的差值,作为运动矢量进行输出。
与现有技术相比,本发明至少具有如下有益的技术效果:
本发明通过对输入图像进行对数转换,提高了原始图像的对比度,克服了现实场景中图像对比度低的问题。由于使用相关滤波作为损失函数进行运动估计,很好的克服了现有运动估计对于图像发生非刚性变换时无法得到准确运动矢量的问题。由于每一个位置上的滤波器都从之前对应位置的滤波器中进行学习,解决了位移较大时获取错误运动矢量的问题。同时,本发明对运动估计的搜索策略进行改进,在保证输出高精度运动矢量的同时,降低了计算量,提高了计算效率。
附图说明
图1为本发明基于相关滤波的视频帧间运动估计整体框架;
图2为相关滤波原理示意图;
图3为单向运动估计示意图;
图4为本发明的搜索过程示意图;
图5为本发明相关滤波流程示意图。
具体实施方式
以下结合附图和实例对本发明作进一步的详细说明。
参考图1-5,本发明提供的基于相关滤波的视频帧间快速运动估计方法,包括如下几个步骤:
1)从原始视频流中依次提取基准帧和参考帧,令视频流中当前帧为基准帧,其后一帧为参考帧。对基准帧和参考帧进行预处理,即对图像进行对数变换,以提高图像对比度,改善当原始图像对比度低时无法获取准确的运动矢量的问题。
2)将基准帧划分为互不交叠且大小一致的宏块,依次作为基准块Bcur,将参考帧中对应位置及以对应位置为中心,以s为半径的块形区域作为搜索区域,其中对搜索区域超过参考帧大小的部分进行补0,进行运动估计。
3)在运动估计的过程中,使用相关滤波作为损失函数,相关滤波的原理如图2所示。图像的相关滤波可以描述为:找到一个滤波器h,与输入图像f求相关性,得到响应图g,其中响应图g描述目标响应,越相近时越大。
4)本发明的搜索策略是基于单向运动估计算法,如图3所示,图3是单向运动估计示意图,单向运动估计通常在连续两帧之间进行,以某一帧为基准帧,另一帧则为参考帧。用基准帧中的每个基准块在参考帧中按照一定的搜索策略搜索对应的块,获取运动矢量。图4为本发明的搜索策略示意图,图中的每一个点代表对应的搜索块的左上角,每个点间的距离为基准块的大小,箭头代表搜索方向。圆形点为第一次搜索的搜索块,最中心的圆形点在搜索区域的中心,和基准块在帧内的位置相同。以图4为例,首先根据本发明的原理计算九个圆形点代表的搜索块与基准块之间的响应,记这些搜索块为Bref,i(i=1,2,3,...,9),找出响应最大的点Gmax,1所在的块位置,如果在中心则停止,返回对应坐标。图4中Gmax,1在中心搜索块的上方Bref,2找到,所以进入第二步,计算以Bref,2为中心的九个搜索块与基准块之间的响应,由于此时Bref,i(i=4,5,6,...,9)均已被计算过,此时只用计算图中表示为方形点的三个搜索块,同理记录此时响应最大的点Gmax,2所在的块位置,如果在中心则停止,返回对应坐标。图4中Gmax,2在Bref,3找到,所以进入第三步,以Bref,3为中心,计算周围的九个搜索块与基准块之间的响应,由于此时Bref,i(i=4,5,7,8)均已被计算过,此时只用计算图中表示为五角形点的五个搜索块即可,若此时Gmax,3出现在中心,则返回对应坐标,否则返回第一步中找到的Gmax,1对应的坐标,计算运动矢量。通过这种方式,在满足了高精度运动矢量的同时,计算量依旧较低。
5)图5所示为相关滤波的原理示意图,将基准块Bcur转换到频域生成频域图BFcur,再求其共轭图像BF* cur,则第j帧中某一位置的滤波器Hj可以初始化为:
其中,G为理想高斯分布,σ为学习率,Hj-1为上一帧中对应块的滤波器。
按照搜索策略依次提取搜索区域中的各个搜索块Bref,i,将搜索块Bref,i转换到频域生成频域图BFref,i,则第j帧中某一位置的响应图GF可以由以下公式得到:
GF=BFref,i·Hj
将响应图GF转换到时域可以得到响应图G,在G中找到最大值Gmax,记录Gmax的坐标(x,y)和此时的块位置。重复以上过程直到完成搜索步骤。若Gmax对应的值在中心块上,则停止搜索,返回此时的坐标计算运动矢量。否则以Gmax对应的块为中心块,继续搜索步骤。
Claims (2)
1.一种基于相关滤波的视频帧间快速运动估计方法,其特征在于,该方法首先对原始视频流中提取出的基准帧和参考帧进行预处理,通过进行对数变换提高图像对比度,其次将基准帧划分成大小相等的网格,依次提取基准块Bcur,在参考帧中依据基准块的对应位置提取参考区域,并从中依次提取参考块,通过相关滤波计算运动矢量;
该方法具体包括如下实现步骤:
1)从原始视频流中依次提取出基准帧和参考帧,对基准帧和参考帧分别进行预处理;
2)从预处理后的基准帧和参考帧中依次提取基准块Bcur和搜索区域;具体实现方法如下:
201)将基准帧划分成数个大小相等且互不交叠的矩形,依次令矩形为基准块Bcur;
202)将参考帧中对应位置及以对应位置为中心,以s为半径的块形区域作为搜索区域,其中对搜索区域超过参考帧大小的部分进行补0;
3)依照搜索流程将基准块Bcur和搜索区域中对应搜索块转到频域中,通过相关滤波计算相关性;具体实现方法如下:
301)将基准块Bcur转入频域;
302)以搜索区域的中心块为中心块,进入运动估计;
303)将搜索区域的中心块和周围八个块转入频域,通过相关滤波的相关公式计算响应值,将响应值转入时域中,如果最大响应值Gmax在中心块中,则进入下一步,否则令最大响应值Gmax所在的块为中心块,进入步骤302);
4)找出相关性最大的点的坐标(x,y),取坐标(x,y)与搜索区域中心点的位移为运动矢量;具体实现方法如下:
401)根据步骤3)计算得到的最大响应值Gmax,记录它在搜索区域中的坐标(x,y);
402)计算(x,y)和搜索区域中心点(0,0)之间的差值,作为运动矢量进行输出。
2.根据权利要求1所述的一种基于相关滤波的视频帧间快速运动估计方法,其特征在于,步骤1)的具体实现方法如下:
101)从视频流中依次提取出基准帧和参考帧,将视频流的当前帧作为基准帧,下一帧作为参考帧;
102)对基准帧和参考帧分别进行对数变化,用以提高图像的对比度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010136402.XA CN111292357B (zh) | 2020-03-02 | 2020-03-02 | 一种基于相关滤波的视频帧间快速运动估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010136402.XA CN111292357B (zh) | 2020-03-02 | 2020-03-02 | 一种基于相关滤波的视频帧间快速运动估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111292357A CN111292357A (zh) | 2020-06-16 |
CN111292357B true CN111292357B (zh) | 2023-04-14 |
Family
ID=71020192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010136402.XA Active CN111292357B (zh) | 2020-03-02 | 2020-03-02 | 一种基于相关滤波的视频帧间快速运动估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111292357B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113542588A (zh) * | 2021-05-28 | 2021-10-22 | 上海第二工业大学 | 一种基于视觉显著性的抗干扰电子稳像方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5731850A (en) * | 1995-06-07 | 1998-03-24 | Maturi; Gregory V. | Hybrid hierarchial/full-search MPEG encoder motion estimation |
CN1633184A (zh) * | 2005-01-14 | 2005-06-29 | 北京航空航天大学 | 基于有效区域的多参考帧快速运动估计方法 |
CN101888546A (zh) * | 2010-06-10 | 2010-11-17 | 北京中星微电子有限公司 | 一种运动估计的方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200633539A (en) * | 2005-03-09 | 2006-09-16 | Pixart Imaging Inc | Estimation method of motion vector based on distance weighted searching sequence |
-
2020
- 2020-03-02 CN CN202010136402.XA patent/CN111292357B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5731850A (en) * | 1995-06-07 | 1998-03-24 | Maturi; Gregory V. | Hybrid hierarchial/full-search MPEG encoder motion estimation |
CN1633184A (zh) * | 2005-01-14 | 2005-06-29 | 北京航空航天大学 | 基于有效区域的多参考帧快速运动估计方法 |
CN101888546A (zh) * | 2010-06-10 | 2010-11-17 | 北京中星微电子有限公司 | 一种运动估计的方法及装置 |
Non-Patent Citations (2)
Title |
---|
余志雄 ; 孙洪 ; 贺军 ; .基于低频子图的运动估计算法.计算机应用.2006,(05),全文. * |
李绍滋 ; 苏松志 ; 成运 ; 孙岩 ; 郭锋 ; .H.264中的运动估计和帧内预测算法研究.电子学报.2008,(S1),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111292357A (zh) | 2020-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ding et al. | Spatio-temporal recurrent networks for event-based optical flow estimation | |
Jiang et al. | Video object detection with locally-weighted deformable neighbors | |
CN106210449B (zh) | 一种多信息融合的帧率上变换运动估计方法及*** | |
CN110796010A (zh) | 一种结合光流法和卡尔曼滤波的视频稳像方法 | |
CN110796662B (zh) | 一种实时的语义视频分割方法 | |
CN110753181A (zh) | 一种基于特征跟踪和网格路径运动的视频稳像方法 | |
CN102098440A (zh) | 针对摄像机抖动下运动目标检测的电子稳像方法及*** | |
CN105872345A (zh) | 基于特征匹配的全帧电子稳像方法 | |
CN108460792B (zh) | 一种基于图像分割的高效聚焦立体匹配方法 | |
CN111160295A (zh) | 基于区域引导和时空注意力的视频行人重识别方法 | |
CN112183675B (zh) | 一种基于孪生网络的针对低分辨率目标的跟踪方法 | |
CN111292357B (zh) | 一种基于相关滤波的视频帧间快速运动估计方法 | |
CN101272450B (zh) | Sprite编码中的全局运动估计外点去除及运动参数细化方法 | |
CN114973399A (zh) | 一种基于关键点运动估计的人体连续姿态估计方法 | |
Zhang et al. | Dyna-depthformer: Multi-frame transformer for self-supervised depth estimation in dynamic scenes | |
CN113870307A (zh) | 一种基于帧间信息的目标检测方法及装置 | |
Sun et al. | An effective three-step search algorithm for motion estimation | |
CN202931463U (zh) | 基于特征块的视频稳像装置 | |
Puglisi et al. | Fast block based local motion estimation for video stabilization | |
CN112561001A (zh) | 一种基于时空特征可变形卷积融合的视频目标检测方法 | |
KR101220003B1 (ko) | 시차 맵 생성 방법 | |
CN113205544B (zh) | 基于交并比估计的空间注意力强化学习跟踪方法 | |
CN118172390B (zh) | 一种基于深度学习的目标跟踪方法 | |
CN117474956B (zh) | 基于运动估计注意力的光场重建模型训练方法及相关设备 | |
CN113947782B (zh) | 一种基于注意力机制的行人目标对齐方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |