CN1913629B - 线性正方形并行搜索快速运动估计方法 - Google Patents
线性正方形并行搜索快速运动估计方法 Download PDFInfo
- Publication number
- CN1913629B CN1913629B CN 200510031998 CN200510031998A CN1913629B CN 1913629 B CN1913629 B CN 1913629B CN 200510031998 CN200510031998 CN 200510031998 CN 200510031998 A CN200510031998 A CN 200510031998A CN 1913629 B CN1913629 B CN 1913629B
- Authority
- CN
- China
- Prior art keywords
- search
- point
- template
- algorithm
- square
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 229910000614 lithium tin phosphorous sulfides (LSPS) Inorganic materials 0.000 claims abstract description 16
- 238000012360 testing method Methods 0.000 claims description 8
- 238000010845 search algorithm Methods 0.000 abstract description 4
- 238000013461 design Methods 0.000 abstract description 3
- 230000003247 decreasing effect Effects 0.000 abstract 1
- 238000013508 migration Methods 0.000 abstract 1
- 230000005012 migration Effects 0.000 abstract 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 17
- 229910003460 diamond Inorganic materials 0.000 description 5
- 239000010432 diamond Substances 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种线性正方形并行搜索快速运动估计方法，简称LSPS算法，该方法根据SAD分布的空间方向性进行线性搜索，对于大运动序列，减少了搜索冗余，提高了算法速度；根据运动矢量分布的中心偏移性，设计了9搜索点、8虚拟搜索点的正方形模板，保证了搜索算法的精度；在确定搜索方向时，同时进行精确搜索，对于小运动序列，减少了搜索冗余，提高了算法速度；从算法的实现步骤上看，算法复杂度低，便于软硬件实现。
Description
技术领域
本发明涉及视频图像处理领域的视频编码技术，具体的说，涉及基于块匹配的线性正方形并行搜索的新型快速运动估计算法。
背景技术
在块匹配算法(Block-Matching Algorithm，BMA)中，首先将图像分成N×N的宏块(Macro Block，MB)，并假设块内像素作相同的运动，且只做平移运动，然后用当前图像的每一个宏块在上一帧的一定范围内搜索或穷举，得到一个最优的运动矢量(Motion Vector，MV)。在块匹配运动估计算法中，全搜索(FS)算法精度最高，但是运算量太大，软件实时性差。后来人们相继提出了许多快速运动估计算法，如Li R等人提出的三步法(TSS，A new three-step search algorithm for block motion estimation.IEEE Trans Circuits Systems for Video Technology，1994，4(4)：438-442.)，Po M L等人提出的四步法(FSS，A novel four-step searchalgorithm for fast block motion estimation.IEEE Trans CircuitsSystems for Video Technology，19966(6)：313-317.)和Zhu S等人提出的菱形法(DS，A novel unrestricted center-biased diamond searchalgorithm for block motion estimation.IEEE Trans Circuits Systemsfor Video Technology，1998，8(8)：369-377.)等。
在这些快速运动估计算法之中，DS算法即菱形搜索(Diamond Search)算法是其中性能最为优异的算法，它的综合性能(速度、准确度)明显优于其它的几种快速算法。DS算法是MPEG-4VM(验证模型)编码器中采用的快速运动估计算法，其综合性能代表了当前的国际先进水平。
搜索模板的形状和大小不但影响整个算法的运行速度，而且也影响它的性能。块匹配的误差实际上是在搜索范围内建立的误差表面函数，全局最小点即对应着最佳运动矢量。由于这个误差表面通常并不是单调的，所以搜索窗口太小，就容易陷入局部最优；而搜索窗口太大，又容易产生错误的搜索路径。另外，统计数据表明，在对视频图像进行运动估值时，最优点通常在零矢量周围(以搜索窗口中心为圆心，两像素为半径的圆内)，如图1所示。
基于这两点事实，DS算法采用了两种搜索模板，分别是有9个搜索点的大模板LSPSP(Large Diamond Search Pattern)和有5个搜索点的小模板SDSP(Small Diamond Search Pattern)，如图2和图3所示。搜索时先用大模板计算，当最小块误差MBD(Minimum Block Distortion)点出现在中心点处时，将大模板LSPSP换为SDSP，再进行匹配计算，这时5个点中的MBD即为最优匹配点。否则，改变中心点位置，仍用LSPSP重复计算。
DS算法的特点在于它分析了视频图像中运动矢量的基本规律，选用了大小两种形状的搜索模板LSPSP和SDSP。先用LSPSP大范围搜索，再用SDSP来准确定位，所以它的性能优于其它算法。但是，DS算法只是一种搜索策略的折衷处理，其性能上的缺陷表现在两个方面：(1)对于运动大的序列，DS算法在搜索最佳点所在区域时，并没有充分利用SAD(The Sum ofAbsolute Difference)的空间分布特性，而是同等地对待各部分，这造成较大的搜索冗余，影响了算法的搜索速度；(2)对于保持静止的图像序列，即运动矢量为零的情况，DS算法要经历由大模板(LSPSP)到小模板(SDSP)的变化过程，要对13个搜索点进行搜索，而理想情况是只需搜索5个点，即对于小运动序列DS算法还有待改进。
发明内容
针对上述DS算法的这些问题，本发明的目的是在提出的SDS算法的基础上进一步发展提出了线性正方形并行搜索(Line-Square ParallelSearch)快速运动估计方法，简称LSPS算法，该LSPS算法能够较好地解决了DS算法存在的问题。对于各种运动序列，LDPS算法的搜索速度都明显优于包括DS在内的以往各种快速运动估计算法，在精度上，对于小运动序列LDPS比DS略低，对于大运动序列要好于DS算法。
LSPS算法根据视觉的并行处理思想，以及SAD分布的空间方向性和运动矢量分布的中心偏移性，设计了正方形搜索模板和线性搜索方法。通过并行搜索和线性搜索减少了搜索冗余提高了算法速度，使用小的正方形模板保证了算法的搜索精度。LSPS算法在保证一定的搜索精度的同时，很好地克服了DS等快速算法搜索速度慢的缺点。
本发明是通过下述方法实现的：
基于块的快速运动估计算法的搜索模板和搜索策略决定了整个算法的搜索速度和准确度。为了设计合理的搜索模板和搜索方法，研究视频序列中块运动的基本性质是非常重要的。下面是关于块运动估计的三条基本性质：
性质1：运动矢量的分布具有中心偏移特性，即大部分块是静止的或准静止的。如图4显示：图4显示了Miss America序列在±7个像素的搜索范围内的运动矢量分布情况，从统计结果可以看出，运动矢量主要分布在零矢量周围的±2像素范围之内。所以，设计搜索模板时应该考虑运动矢量分布的中心偏移性。
性质2：误差曲面具有多峰分布的特性，在大多数情况下，误差曲面含有一个或多个局部极小点。因为这种多峰分布的特性，所以搜索模板不能太小，以免陷入局部极小点。
性质3：SAD(The Sum of Absolute Difference)的分布具有空间方向性，即一般SAD值沿着某一个梯度下降的方向趋向极小点。如图5所示：图5是Miss America某一块在35×35搜索窗内的SAD分布图，从图中可以看出SAD的分布具有明显的方向性，除了(0，0)附件的SAD值较小外(为最佳点所在区域)，其余的SAD值都较大，且基本沿着某一个固定方向趋向最佳点所在区域。所以，搜索方法应该体现梯度下降法的基本思想。
根据以上基本性质及视觉的并行处理思想，本发明人设计了LSPS算法的搜索模板和搜索方法。LSPS算法的基本原理是：利用沿梯度下降方向的线性搜索代替传统方法的大模板搜索，减少了搜索冗余；同时用正方形模板保证了精细搜索的准确度，并且可以用其并行地确定下一步的搜索方向。
具体步骤如下：
一种线性正方形并行搜索快速运动估计方法，简称LSPS算法，该方法包括以下步骤：
a.构建正方形模板，该模板包括内模板和外模板，所述内模板包括9个搜索点，该9个搜索点由外面的8个搜索点和中心的一个搜索点组成，所述外模板包括8个虚拟搜索点，内模板的外面8个搜索点用于确定下一步线性搜索的方向，外模板上的8个虚拟搜索点根据前面9个搜索点的搜索情况来决定是否进行搜索和进行何种搜索；
b.以搜索区原点为正方形模板的中心点，在内模板上的9个搜索点处分别计算出对应的绝对差和SAD，找出最小块误差点即MBD点，若MBD点位于中心点，则执行步骤d；如果不是，则以此MBD点为线搜索点，执行步骤c；
c.在中心点和线搜索点所确定的方向上计算下一个检测点的SAD，若其SAD值小于线搜索点的SAD值，则以线搜索点为中心点，以此检测点为线搜索点，重新执行步骤c；否则，以线搜索点为正方形模板，即SP模板的中心点，执行步骤b；
d.将该MBD点作为最佳匹配点，得到运动矢量.
所述步骤b还可以为如下步骤，以搜索区原点为正方形模板的中心点，在内模板上的9个搜索点处分别计算出对应的绝对差和SAD，找出最小块误差点即MBD点，若MBD点位于中心点，则执行步骤d，如果MBD点为内模板外面的8个搜索点之一，则在此点所确定的搜索方向上进行线性搜索，即搜索外模板此方向上的虚拟搜索点，并且在这个方向上继续进行线性搜索，直到当前搜索点的SAD值大于前一个搜索点的SAD值才结束线性搜索，以上述最后得到的SAD值最小的搜索点为线搜索点，执行步骤c。
所述“中心点”指正方形模板，即SP模板的中心位置。所述“线搜索点”是指在正方形模板，即SP模板中SAD值最小的一个方向上的搜索点，中心点和线搜索点一起确定线搜索的方向。
根据运动矢量分布的中心偏移性及并行处理的思想，并考虑到视觉中心凹的特点(中心密，四周疏)，上述的正方形模板(Square Pattern，SP)上有9个搜索点(称为内模板)和8个虚拟搜索点(称为外模板)，该9个搜索点由外面的8个搜索点和中心的一个搜索点组成，所述外面的8个搜索点用于确定下一步线性搜索的方向，如图6(b)所示的8个搜索方向，外模板上的8个虚拟搜索点(图6中的虚线圆)根据前面内模板的9个点的搜索情况来决定是否进行搜索以及进行何种搜索。这种模板体现了视觉中心凹的特性，即中心密、四周疏。
本发明LSPS算法首先计算内模板上的9个搜索点，如果MBD(MinimumBlock Distortion)点为中心点，则算法终止，这体现了算法的并行处理能力，即在判断下一步搜索方向的同时对此区域进行精确搜索。显然，对于静止块，LSPS算法只需对9个搜索点进行搜索，比DS算法少搜索4个点(DS需对13个搜索点进行搜索)。
如果MBD点为内模板外面的8个点之一，则在此点所确定的搜索方向上进行线性搜索，即搜索外模板此方向上的虚拟搜索点，图6(c)和图6(d)分别说明了MBD在水平方向和对角线方向上的线性搜索方法。并且在这个方向上继续进行线性搜索，直到当前搜索点的值大于前一个搜索点的值线性搜索才结束，并利用正方形模板，即SP模板重新确定搜索方向，如图6(c)和图6(d)中的第五步
附图说明
图1最优点分布规律。
图2大模板LSPSP。
图3小模板SDSP。
图4Miss America序列在±7个像素的搜索范围内的运动矢量分布。
图5Miss America某一块在35×35搜索窗内的SAD分布图
图6LSPS算法的模板和搜索策略。
图6LSPS算法的模板和搜索方法。
具体实施方式：
LSPS算法的具体实施例1的搜索步骤如下：
Starting：以搜索区原点作为正方形模板，即SP模板(SquarePattern)的中心点；
Line Search：在中心点和线搜索点所确定的方向上计算下一个检测点的SAD，若其SAD值小于线搜索点的SAD，则以线搜索点为中心点，以此检测点为线搜索点，转Line Search；否则，以线搜索点为正方形模板，即SP模板的中心点，转Selecting the search direction；
LSPS算法的具体实施例2的搜索步骤如下：
Selecting the search direction：在正方形模板，即SP模板上的9个点处分别计算出对应的SAD，找出MBD(Minimum Block Distortion)点，若MBD点位于中心，则转Ending；若MBD点为内模板外面的8个搜索点之一，则在此点所确定的搜索方向上进行线性搜索，即搜索外模板此方向上的虚拟搜索点，并且在这个方向上继续进行线性搜索，直到当前搜索点的SAD值大于前一个搜索点的SAD值才结束线性搜索，以上述最后得到的SAD值最小的搜索点为线搜索点，转Line Search；
Line Search：在中心点和线搜索点所确定的方向上计算下一个检测点的SAD，若其SAD值小于线搜索点的SAD，则以线搜索点为中心点，以此检测点为线搜索点，转Line Search；否则，以线搜索点为正方形模板，即SP模板的中心点，转Selecting the search direction；
本发明LSPS算法具有以下优点：
Claims (4)
1.一种线性正方形并行搜索快速运动估计方法，简称LSPS算法，该方法包括以下步骤：
a.构建正方形模板，该模板包括内模板和外模板，所述内模板包括9个搜索点，该9个搜索点由外面的8个搜索点和中心的一个搜索点组成，所述外模板包括8个虚拟搜索点，内模板的外面8个搜索点用于确定下一步线性搜索的方向，外模板上的8个虚拟搜索点根据前面内模板的9个搜索点的搜索情况来决定是否进行搜索和进行何种搜索；
b.以搜索区原点为正方形模板的中心点，在内模板上的9个搜索点处分别计算出对应的绝对差和SAD，找出最小块误差点即MBD点，若MBD点位于中心点，则执行步骤d；如果不是，则以此MBD点为线搜索点，执行步骤c；
c.在中心点和线搜索点所确定的方向上计算下一个检测点的SAD，若其SAD值小于线搜索点的SAD值，则以线搜索点为中心点，以此检测点为线搜索点，重新执行步骤c；否则，以线搜索点为正方形模板即SP模板的中心点，执行步骤b；
d.将该MBD点作为最佳匹配点，得到运动矢量。
2.据权利要求1所述的线性正方形并行搜索快速运动估计方法，其特征在于：所述步骤b为，以搜索区原点为正方形模板的中心点，在内模板上的9个搜索点处分别计算出对应的绝对差和SAD，找出最小块误差点即MBD点，若MBD点位于中心点，则执行步骤d，如果MBD点为内模板外面的8个搜索点之一，则在此点所确定的搜索方向上进行线性搜索，即搜索外模板此方向上的虚拟搜索点，并且在这个方向上继续进行线性搜索，直到当前搜索点的SAD值大于前一个搜索点的SAD值才结束线性搜索，以上述最后得到的SAD值最小的搜索点为线搜索点，执行步骤c。
3.据权利要求1或2所述的线性正方形并行搜索快速运动估计方法，其特征在于：所述中心点，指的是正方形模板即SP模板的中心位置。
4.据权利要求1或2所述的线性正方形并行搜索快速运动估计方法，其特征在于：所述“线搜索点”是指在正方形模板即SP模板中SAD值最小的一个方向上的搜索点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200510031998 CN1913629B (zh) | 2005-08-11 | 2005-08-11 | 线性正方形并行搜索快速运动估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200510031998 CN1913629B (zh) | 2005-08-11 | 2005-08-11 | 线性正方形并行搜索快速运动估计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1913629A CN1913629A (zh) | 2007-02-14 |
| CN1913629B true CN1913629B (zh) | 2011-06-29 |
Family
ID=37722372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200510031998 Expired - Fee Related CN1913629B (zh) | 2005-08-11 | 2005-08-11 | 线性正方形并行搜索快速运动估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1913629B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101771870B (zh) * | 2009-01-06 | 2013-06-19 | 上海中科计算技术研究所 | 一种视频编码技术中块运动匹配的快速搜索方法 |
| CN102025989A (zh) * | 2010-11-05 | 2011-04-20 | 北京理工大学 | 一种用于数字视频图像运动估计的快速搜索方法 |
| CN102547289B (zh) * | 2012-01-17 | 2015-01-28 | 西安电子科技大学 | 基于gpu并行实现的快速运动估计方法 |
| CN104469380B (zh) * | 2014-12-25 | 2019-05-03 | 中国电子科技集团公司第四十一研究所 | 基于h.264/avc标准的视频图像预测搜索方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1396774A (zh) * | 2002-07-12 | 2003-02-12 | 清华大学 | 基于预测方向校正/统计预判的快速亚象素运动估计方法 |
| CN1516460A (zh) * | 2003-01-09 | 2004-07-28 | 北京泰美世纪科技有限公司 | 在数字视频广播中利用时间域扩频信标进行同步的方法 |
| CN1545321A (zh) * | 2002-07-12 | 2004-11-10 | 清华大学 | 基于预测方向校正/统计预判的快速亚象素运动估计方法 |
| CN1589031A (zh) * | 2004-10-13 | 2005-03-02 | 西安电子科技大学 | 基于数学模型预测的运动估计快速半像素级搜索方法 |
-
2005
- 2005-08-11 CN CN 200510031998 patent/CN1913629B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1396774A (zh) * | 2002-07-12 | 2003-02-12 | 清华大学 | 基于预测方向校正/统计预判的快速亚象素运动估计方法 |
| CN1545321A (zh) * | 2002-07-12 | 2004-11-10 | 清华大学 | 基于预测方向校正/统计预判的快速亚象素运动估计方法 |
| CN1516460A (zh) * | 2003-01-09 | 2004-07-28 | 北京泰美世纪科技有限公司 | 在数字视频广播中利用时间域扩频信标进行同步的方法 |
| CN1589031A (zh) * | 2004-10-13 | 2005-03-02 | 西安电子科技大学 | 基于数学模型预测的运动估计快速半像素级搜索方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1913629A (zh) | 2007-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1913629B (zh) | 线性正方形并行搜索快速运动估计方法 | |
| CN100527848C (zh) | 运动矢量检测装置及运动矢量检测方法 | |
| CN107590827A (zh) | 一种基于Kinect的室内移动机器人视觉SLAM方法 | |
| CN102291581B (zh) | 支持帧场自适应运动估计的实现方法 | |
| CN105516726B (zh) | 视频编码的运动补偿匹配方法和*** | |
| CN102129691B (zh) | 一种采用Snake轮廓模型的视频对象跟踪分割方法 | |
| CN105654483A (zh) | 三维点云全自动配准方法 | |
| CN100511269C (zh) | 一种基于角点引导的图像快速边缘匹配方法 | |
| CN103617624B (zh) | 用于高速视觉测量的基于合作目标的实时全局搜索方法 | |
| Parmar et al. | Enhanced Test Zone search motion estimation algorithm for HEVC | |
| CN106771329B (zh) | 一种无人机减速过程中运行速度的检测方法 | |
| JP3230804B2 (ja) | ターゲットウィンドウの移動を通したブロックマッチング方法 | |
| Chen et al. | Deep Kalman filter with optical flow for multiple object tracking | |
| CN110113608B (zh) | 一种基于率失真优化的gpu中视频编码快速搜索方法 | |
| CN105263026B (zh) | 基于概率统计与图像梯度信息的全局矢量获取方法 | |
| CN1322758C (zh) | 基于对象的纹理快速运动估值的方法 | |
| KR0147218B1 (ko) | 에이치디티브이의 고속 움직임 추정방법 | |
| CN101169693B (zh) | 光学运动感知方法 | |
| CN108924734B (zh) | 一种三维传感器节点定位方法及*** | |
| Bin et al. | Image stabilization by combining gray-scale projection and block matching algorithm | |
| Wang et al. | Tracking facial feature points with prediction-assisted view-based active shape model | |
| CN100366092C (zh) | 一种视频编码中基于运动矢量预测的搜索方法 | |
| CN107945277A (zh) | 基于增材再制造点云模型的等距曲面分层方法 | |
| KR100431075B1 (ko) | 동영상 부호화기를 위한 고속 블록 정합 움직임 추정방법 | |
| CN102238375B (zh) | 用于视频编码的十字形搜索方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C57 | Notification of unclear or unknown address | ||
| DD01 | Delivery of document by public notice |
Addressee: Liu Dawan Document name: Notice of publication of application for patent for invention |
|
| C57 | Notification of unclear or unknown address | ||
| DD01 | Delivery of document by public notice |
Addressee: Liu Dawan Document name: Notification before expiration of term |
|
| C57 | Notification of unclear or unknown address | ||
| DD01 | Delivery of document by public notice |
Addressee: Liu Dawan Document name: Notification that Application Deemed to be Withdrawn |
|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C57 | Notification of unclear or unknown address | ||
| DD01 | Delivery of document by public notice |
Addressee: Liu Dawan Document name: Notification of Passing Examination on Formalities |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110629 |