CN101009841A - 视频快速运动估计方法 - Google Patents
视频快速运动估计方法 Download PDFInfo
- Publication number
- CN101009841A CN101009841A CN 200610033468 CN200610033468A CN101009841A CN 101009841 A CN101009841 A CN 101009841A CN 200610033468 CN200610033468 CN 200610033468 CN 200610033468 A CN200610033468 A CN 200610033468A CN 101009841 A CN101009841 A CN 101009841A
- Authority
- CN
- China
- Prior art keywords
- point
- search
- mad
- central point
- rhombus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种视频快速运动估计方法，该方法包括以下步骤：(a)计算搜索块中心点和以该点为中心的大菱形和小菱形各顶点的平均绝对差(MAD)；(b)根据步骤(a)中确定的最小MAD点的位置，采用逐步缩小正方形搜索区域的方法进行精细搜索。本发明所述方法是针对H.264中多参考帧运动估计进行速度优化，优于目前流行的几种运动估计快速算法，大大降低了块匹配的计算量，最大的优点在于特别适合硬件实现，从而其恢复视频质量和压缩效率，本发明所述方法简单有效，通用性很强，不但适合于H.264标准，其他广为流行的H.261、H.263、MPEG－2、MPEG－4等视频编码国际标准也都可以使用。
Description
技术领域
本发明属于数字视频处理技术领域，尤其涉及一种特别适合硬件实现的，能减少计算复杂性的视频快速运动估计方法。
背景技术
对于视频序列，相邻帧之间存在很大的时间相关性，即时间冗余，通过减少时间冗余，可大幅度提高视频编码的效率。基于块匹配的运动估计算法是减少时间冗余信息的一种有效的方法，这种技术广泛应用于视频压缩的国际标准中，如ITU-T H.261/263，MPEG1/2/4，以及由ITU-T VCEG和MPEG组织共同制定的H.264视频编码标准，其实现效果主要取决于三个因素：匹配准则、搜索范围和搜索方式。实用的匹配准则大多采用平均绝对误差(MAD)准则，搜索范围一般以宏块和块为单位，而搜索方式是影响块匹配法性能的主要因素，也是运动估计算法中的关键技术。
H.264标准是一种新颖的视频编码标准，它在压缩率和视频恢复质量方面都取得了很大的成功，但是其计算复杂度太大，这在一定程度上限制了H.264标准的应用，尤其是实时视频应用。从运动估计方面来说，H.264标准允许多参考帧、多种宏块划分方式以及1/4像素精度运动矢量，这都大大提高了H.264标准运动估计的复杂度。因此，需要研究适合H.264标准的快速运动估计方法，而且不影响压缩率和视频恢复质量，否则就失去了H.264标准在压缩率和恢复质量上的优势。
根据传统运动估计方法减少冗余的一个例子是采用全搜索(FS)作为块匹配法。全搜索算法(FS)精度最高，它对搜索范围内的每一个像素点进行匹配运算，以得到一个最优的运动矢量，但它的计算复杂度太高，使得运动估计要占到整个编码运算量的60％～80％，不适合实时应用，同时也不利于软硬件实现。针对于此，科研人员相继提出了多种快速搜索算法，如三步法(TSS)，新三步法(NTSS)，菱形法(DS)等，其思想都是通过设计不同的搜索模板和搜索方法，来限制搜索位置的数目以便减少计算量，从而实现运动矢量的快速有效估计。
经典的三步法(TSS)由于简单有效，已为H.261的RM8和MPEG的SM3所推荐。基于中心的新三步搜索法(NTSS)是对三步法(TSS)的一个改进，采用半步停的方法减少了计算时间。菱形法(DS)是一种在时间性能和精度指标上都比较突出的快速算法。上述快速搜索算法只对搜索窗口中的部分像素点所决定的宏块进行匹配比较，获取一个最佳近似的运动矢量，所以在计算复杂度上比全搜索算法(FS)明显减少，然而和全搜索(FS)相比，正是由于快速运动估计算法减少了搜索点数，可能使得运动估计不充分，从而使得编码压缩率降低或者恢复质量下降，这些下降对于某些视频应用是非常不利的。因此，还是需要在保证压缩率和恢复视频质量的前提下，通过减小计算复杂性来进行快速块匹配的运动估计方法。
发明内容
为了解决上述问题，本发明提供了一种在保证压缩率和视频恢复质量的前提下，快速有效的块匹配运动估计方法，大量统计试验表明，一般物体在水平和垂直方向上运动的概率比较大，图像的频谱多成类似菱形的分布，能全面覆盖一个搜索平面的正多边形有正三角形，正方形，正六边形三种，由于菱形搜索和正方形搜索各有长处，为了更好地综合考虑这两种搜索模式的优点。本发明公开了一种视频快速运动估计方法，其特征在于该方法包括以下步骤：
(a)计算搜索块中心点和以该点为中心的大菱形和小菱形各顶点的平均绝对差(MAD)；
(b)根据步骤(a)中确定的最小MAD点的位置，采用逐步缩小正方形搜索区域的方法进行精细搜索。
其中，步骤(a)中的大菱形顶点到小菱形顶点与小菱形顶点到中心点具有相同的预定步长。
上述大菱形四个顶点到中心点的距离都相等，小菱形四个顶点到其中心点的距离也相等。
上述步骤(b)中还包括以下步骤：(1)以步骤(a)中确定的最小MAD点为中心，引进预定数量的新搜索点，这些新搜索点与中心点具有预定像素距离的位移，计算所引进搜索点的MAD值，在中心点和所引进搜索点中确定具有最小MAD的值点的位置；(2)重复上述步骤(1)，其中引进的新搜索点与中心点的位移减半；(3)以步骤(2)中确定的最小MAD点为中心，引进预定数量的新搜索点，这些新搜索点与中心点具有预定像素距离的位移，且位移减半，计算所引进新搜索点的MAD值，在中心点和所引进搜索点中确定具有最小MAD值的点的位置，即该点的位移矢量即为运动矢量。
上述方法中所计算的点的平均绝对差(MAD)也可以是计算点的平均方差(MSD)，采用同样的方法进行运动矢量的搜索。
本发明是针对H.264中多参考帧运动估计进行速度优化，优于目前流行的几种运动估计快速算法，不仅大大降低了块匹配的计算量，而且搜索的运动矢量和全搜索(FS)运动矢量具有很高的匹配率，最大的优点在于特别适合硬件实现，从而其恢复视频质量和压缩效率，几乎不受搜索点数的影响。本发明所述方法简单有效，通用性很强，不但适合于H.264标准，其他广为流行的H.261、H.263、MPEG-2、MPEG-4等视频编码国际标准也都可以使用。
附图说明
图1为本发明所述方法的流程图；
图2a、2b、2c和2d分别表示四种正交通用中间格式示意图，如“Carphone”、“Foreman”、“Mom&Daughter”和“Susie”的每个图像序列中的运动矢量分布；
图3表示本发明所述方法步骤b的处理过程示意图；
图4表示交叉-准菱形搜索模式示意图；
图5表示估计运动矢量(9，-13)的实例示意图。
具体实施方式
以下将结合附图对本发明所述方法进行详细阐述。
图1为本发明所述方法的流程图，依据本发明的运动估计方法利用的事实是，在每秒20～30帧的运动图像中，约70％的运动矢量都集中于运动矢量坐标(0，0)。图2a、2b、2c和2d表示图像序列中四种正交通用中间格式，如“Carphone”、“Foreman”、“Mom&Daughter”和“Susie”的每个图像序列中的运动矢量分布。参考附图2，运动矢量分布都集中在(0，0)周围。
本发明的运动估计方法考虑到大多数的运动矢量趋向于预定的平均误差(MSD)或平均绝对差(MAD)最小的方向运动，这在局部最小点处很容易找到，而且，很可能在局部最小点的周围方向上存在运动。因此，如果将任意一个搜索点确定为在该点方向上的MAD值较小时，则在该点周围进行精细搜索。运动矢量分布在水平和垂直方向的概率要比分布在相同半径下的其他方向大。例如，约有74.76％的运动矢量是分布在水平和垂直方向上，而总共只有7.05％的运动矢量分布在相同半径的其他方向上。这说明矢量分布具有交叉偏置特性。依据该特性，设计了交叉-准菱形搜索模板，如图4所示，本发明所述方法有两种基本搜索形状，菱形和正方形，方法第一步中采用两个不同尺寸的菱形进行大范围搜索，其中，交叉-准菱形加强了对中心区域的搜索，以后采用逐步缩小正方形尺寸的方法进行精细搜索。
附图3表示本发明所述方法步骤b的处理过程示意图，如图3所示，中心点及距离中心点步长分别为8和16的菱形顶点被确定为新的搜索点，在所确定的新搜索点处计算MAD值；对于每个MAD值，确定最小MAD值的点的位置，以该点为下一步中正方形搜索的中心，确定与该点位移为±4像素的8个搜索点，计算所确定搜索点的MAD值；确定上述九个点中最小MAD值的点的位置，作为下一步中正方形搜索的中心点；增加与所确定的搜索中心点位移为±2像素距离的8个搜索点，采用小正方形进行聚焦搜索，计算新确定搜索点的MAD值，找出九个点中MAD值最小的点的位置作为该步骤中小正方形的中心；增加与所确定的搜索中心点有±1估算距离的8个搜索点，计算中心点及所增加搜索点的MAD值，并将具有最小MAD值的搜索点的位移矢量确定为运动矢量。
图5表示一个估计运动矢量的实例。参考附图5，在第一步的菱形大范围粗略搜索中，最小MAD值的搜索点是(8，-8)。依据本发明所述方法，下面应采用正方形进行精细搜索，首先，确定点(8，-8)为新的搜索中心点。并且确定从这个新的搜索中心(8，-8)位移±4像素距离的八个搜索点；然后计算所确定搜索点的MAD值，比较得出最小MAD值的点的位置(12，-12)，作为下一步的搜索中心，确定从这个搜索中心点(12，-12)位移±2像素的八个搜索点；计算所确定搜索点的MAD值，以最小MAD值点(10，-14)为新的搜索中心点，引进从所确定的搜索中心点位移±1像素的八个搜索点，在中心点及给出的八个搜索点中确定MAD值最小的最优点(9，-13)，并且用最优点的位移矢量作为定运动矢量。
可以看出，通过上述步骤完成确定运动矢量的搜索，搜索点的数量为“13+8+8+8＝37”，同直接寻找需要1089次，计算量减少很多。也就是说，依据本发明的运动估计方法显著地减少了计算的复杂性，并提高了图像压缩速度。尽管依据本发明的运动估计方法搜索点数大大下降，但是得到的视频恢复质量和全搜索的基本相当，以分贝(db)表示的PSNR作为比较项目。表1表示的是对每种测试图像的100帧测量平均PSNR的结果：
表1
| Carphone | Foreman | Mom&Daughter | Susie | |
| FS | 32.1984 | 30.619 | 37.4603 | 35.3273 |
| 本发明 | 32.1098 | 30.4358 | 37.3986 | 35.2165 |
参考表1，本发明的运动估计方法与传统的运动估计方法不同，在图像压缩期间不会损坏图像质量，而且大大降低了计算复杂度，保持了H.264标准在压缩率和恢复质量上的优势。
Claims (6)
1、视频快速运动估计方法，其特征在于该方法包括以下步骤：
(a)计算搜索块中心点和以该点为中心的大菱形和小菱形各顶点的平均绝对差(MAD)；
(b)根据步骤(a)中确定的最小MAD点的位置，采用逐步缩小正方形搜索区域的方法进行精细搜索。
2、根据权利要求1所述的视频快速运动估计方法，其特征在于该方法步骤(a)中的大菱形顶点到小菱形顶点与小菱形顶点到中心点具有相同的预定步长。
3、根据权利要求1所述的视频快速运动估计方法，其特征在于该方法步骤(a)中的大菱形四个顶点到中心点的距离相等，小菱形四个顶点到其中心点的距离相等。
4、根据权利要求1所述的视频快速运动估计方法，其特征在于所述方法步骤(b)中还包括如下的具体步骤：
(1)以步骤(a)中确定的最小MAD点为中心，引进预定数量的新搜索点，这些新搜索点与中心点具有预定像素距离的位移，计算所引进搜索点的MAD值，在中心点和所引进搜索点中确定具有最小MAD的值点的位置；
(2)重复上述步骤(1)，其中所引进的新搜索点与中心点的位移减半；
(3)以步骤(2)中确定的最小MAD点为中心，引进预定数量的新搜索点，这些新搜索点与中心点具有预定像素距离的位移，且位移减半，计算所引进新搜索点的MAD值，在中心点和所引进搜索点中确定具有最小MAD值的点的位置，该点的位移矢量即为运动矢量。
5、根据权利要求1所述的视频快速运动估计方法，其特征在于该方法步骤(a)中的计算的点的平均绝对差(MAD)也可以是计算点的平均方差(MSD)。
6、根据权利要求4中所述的预定数量的新搜索点，其特征在于搜索点的数量为8个。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200610033468 CN100496130C (zh) | 2006-01-26 | 2006-01-26 | 视频快速运动估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200610033468 CN100496130C (zh) | 2006-01-26 | 2006-01-26 | 视频快速运动估计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101009841A true CN101009841A (zh) | 2007-08-01 |
| CN100496130C CN100496130C (zh) | 2009-06-03 |
Family
ID=38697916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200610033468 Expired - Fee Related CN100496130C (zh) | 2006-01-26 | 2006-01-26 | 视频快速运动估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100496130C (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101771870A (zh) * | 2009-01-06 | 2010-07-07 | 上海中科计算技术研究所 | 一种视频编码技术中块运动匹配的快速搜索方法 |
| CN101984651A (zh) * | 2010-09-08 | 2011-03-09 | 北京中星微电子有限公司 | 图像稳定***、显示装置及稳定图像的方法 |
| CN102025989A (zh) * | 2010-11-05 | 2011-04-20 | 北京理工大学 | 一种用于数字视频图像运动估计的快速搜索方法 |
| CN102075748A (zh) * | 2010-12-27 | 2011-05-25 | 北京自动测试技术研究所 | 用于视频编码运动估计的搜索方法 |
| CN102790883A (zh) * | 2012-07-26 | 2012-11-21 | 中国航天科工集团第三研究院第八三五七研究所 | 一种图像压缩运动向量搜索方法 |
| CN102074017B (zh) * | 2009-11-23 | 2012-11-28 | 北京工业大学 | 一种杠铃中心点检测及跟踪的方法和装置 |
| CN106331722A (zh) * | 2015-07-03 | 2017-01-11 | 华为技术有限公司 | 图像预测方法和相关设备 |
| CN108141607A (zh) * | 2015-07-03 | 2018-06-08 | 华为技术有限公司 | 视频编码和解码方法、视频编码和解码装置 |
| US10986209B2 (en) | 2018-04-19 | 2021-04-20 | Futurewei Technologies, Inc. | Secure and reliable on-demand source routing in an information centric network |
-
2006
- 2006-01-26 CN CN 200610033468 patent/CN100496130C/zh not_active Expired - Fee Related
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101771870A (zh) * | 2009-01-06 | 2010-07-07 | 上海中科计算技术研究所 | 一种视频编码技术中块运动匹配的快速搜索方法 |
| CN101771870B (zh) * | 2009-01-06 | 2013-06-19 | 上海中科计算技术研究所 | 一种视频编码技术中块运动匹配的快速搜索方法 |
| CN102074017B (zh) * | 2009-11-23 | 2012-11-28 | 北京工业大学 | 一种杠铃中心点检测及跟踪的方法和装置 |
| CN101984651A (zh) * | 2010-09-08 | 2011-03-09 | 北京中星微电子有限公司 | 图像稳定***、显示装置及稳定图像的方法 |
| CN102025989A (zh) * | 2010-11-05 | 2011-04-20 | 北京理工大学 | 一种用于数字视频图像运动估计的快速搜索方法 |
| CN102075748B (zh) * | 2010-12-27 | 2013-12-25 | 北京自动测试技术研究所 | 用于视频编码运动估计的搜索方法 |
| CN102075748A (zh) * | 2010-12-27 | 2011-05-25 | 北京自动测试技术研究所 | 用于视频编码运动估计的搜索方法 |
| CN102790883B (zh) * | 2012-07-26 | 2015-06-10 | 中国航天科工集团第三研究院第八三五七研究所 | 一种图像压缩运动向量搜索方法 |
| CN102790883A (zh) * | 2012-07-26 | 2012-11-21 | 中国航天科工集团第三研究院第八三五七研究所 | 一种图像压缩运动向量搜索方法 |
| CN106331722A (zh) * | 2015-07-03 | 2017-01-11 | 华为技术有限公司 | 图像预测方法和相关设备 |
| CN108141607A (zh) * | 2015-07-03 | 2018-06-08 | 华为技术有限公司 | 视频编码和解码方法、视频编码和解码装置 |
| CN106331722B (zh) * | 2015-07-03 | 2019-04-26 | 华为技术有限公司 | 图像预测方法和相关设备 |
| US10523965B2 (en) | 2015-07-03 | 2019-12-31 | Huawei Technologies Co., Ltd. | Video coding method, video decoding method, video coding apparatus, and video decoding apparatus |
| US10560714B2 (en) | 2015-07-03 | 2020-02-11 | Huawei Technologies Co., Ltd. | Picture prediction method and picture prediction apparatus |
| US10771809B2 (en) | 2015-07-03 | 2020-09-08 | Huawei Technologies Co., Ltd. | Picture prediction method and picture prediction apparatus |
| US11240529B2 (en) | 2015-07-03 | 2022-02-01 | Huawei Technologies Co., Ltd. | Picture prediction method and picture prediction apparatus |
| US11831902B2 (en) | 2015-07-03 | 2023-11-28 | Huawei Technologies Co., Ltd. | Picture prediction method and picture prediction apparatus |
| US10986209B2 (en) | 2018-04-19 | 2021-04-20 | Futurewei Technologies, Inc. | Secure and reliable on-demand source routing in an information centric network |
Also Published As
| Publication number | Publication date |
|---|---|
| CN100496130C (zh) | 2009-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100496130C (zh) | 视频快速运动估计方法 | |
| US7099392B2 (en) | Motion vector searching method using plural search areas | |
| EP1198140A1 (en) | Method and apparatus for hybrid-type high speed motion estimation | |
| JP2009545931A (ja) | 領域変換を用いたメッシュベースのビデオ圧縮 | |
| JPH0634651A (ja) | 運動ベクター検出方法および装置 | |
| JP2009105950A (ja) | 動きベクトル導出方法、動きベクトル導出プログラム及びこの動きベクトル導出プログラムを格納したデータ記憶媒体 | |
| Chao et al. | A novel hybrid motion estimator supporting diamond search and fast full search | |
| EP1389875A2 (en) | Method for motion estimation adaptive to DCT block content | |
| KR20050055553A (ko) | 동영상 부호화를 위한 움직임 추정 방법 및 이를 구현하기위한 프로그램이 기록된 기록 매체 | |
| CN103957420A (zh) | 一种h.2***估计编码的全面运动估计改进算法 | |
| Tedmori et al. | Hierarchical stochastic fast search motion estimation algorithm | |
| Manjunatha et al. | Comparison and implementation of fast block matching motion estimation algorithms for video compression | |
| KR100575733B1 (ko) | 압축 동영상의 움직임 객체 분할 방법 | |
| CN110557642A (zh) | 一种视频帧编码运动搜索方法及图像编码器 | |
| Chan et al. | Adaptive partial distortion search for block motion estimation | |
| US20040233985A1 (en) | Motion estimation method using multilevel successive elimination algorithm | |
| CN108347618A (zh) | 视频传输中的快速块匹配运动估计方法 | |
| US10075691B2 (en) | Multiview video coding method using non-referenced view video group | |
| KR100451184B1 (ko) | 모션 벡터 탐색 방법 | |
| Pal | An optimized block matching algorithm for motion estimation using logical image | |
| EP1176829A1 (en) | Motion estimation | |
| CN111292357A (zh) | 一种基于相关滤波的视频帧间快速运动估计方法 | |
| Pyko et al. | Motion Vectors Estimation for Video Encoding Based on the Macroblock Signatures | |
| Wang et al. | An improve algorithm of motion compensation MPEG video compression | |
| CN103139557A (zh) | 一种视频编码中的运动估计方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: WUXI XIANGJIN COMPUTER TECHNOLOGY CO., LTD. Free format text: FORMER OWNER: AIKE CHUANGXIN MICROELECTRONIC CO., LTD. Effective date: 20120518 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 518057 SHENZHEN, GUANGDONG PROVINCE TO: 214008 WUXI, JIANGSU PROVINCE |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20120518 Address after: 214008 No. 401 Xingyuan North Road, Jiangsu, Wuxi Patentee after: Wuxi Xiang Xiang computer technology Co., Ltd. Address before: 518057, room 4, building 4, two software park, Nanshan District hi tech Zone, Shenzhen, Guangdong, 406-421 Patentee before: Aike Chuangxin Microelectronic Co., Ltd. |
|
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090603 Termination date: 20140126 |