CN100393136C - 一种活动图像序列运动向量的搜索方法 - Google Patents

Abstract

本发明涉及一种活动图像序列运动向量的搜索方法，属于数字视频压缩领域。在现有的各种运动向量的搜索方法中，有些方法优先考虑中心的搜索区域，比如十字搜索算法，适合运动不剧烈的图像序列；有些方法对全局的运动向量搜索是平均考虑的。比如菱形搜索算法等；在速度上十字搜索算法是优于菱形搜索算法，但十字搜索是基于运动向量中心分布的，因此很容易陷入局部最小运动向量，而降低压缩后的图像质量。本发明所述的方法提出一种基于前项搜索结果预测本次搜索结果的搜索方法，可以自动地调整运动向量的搜索方法。采用本发明所述的方法可以得到与菱形搜索算法相当的图像质量，与十字搜索相当的搜索速度的压缩结果。

Description

一种活动图像序列运动向量的搜索方法

技术领域

本发明属于数字视频压缩领域，具体涉及一种活动图像序列运动向量的搜索方法。

背景技术

现有的技术中，在数字视频压缩领域中，视频文件常常都非常大，通常都在100M字节以上，为了节约存储空间，经常需要对视频文件进行压缩。每一段视频文件都是由单张的图片流组成的，每单张图片能分成许多16×16像素的“宏块”，这种分块方法简化了视频文件的压缩方法中每个步骤的处理过程。举例来说，从标准清晰度标准视频流解决方案(720×480)中截取的一张图片被分成1350(45×30)个宏块，然后在宏块的层次进行进一步的处理。

MPEG2视频标准定义了三种图像：帧内图像I(intra)，预测图像P(predicted)和双向预测图像B(bidirectionally interpolated)，典型的排列方式如附图2所示。这三种图像采用三种不同的方法进行压缩：(1)I帧是帧内压缩，不依赖于其它帧，而且作为P帧和B帧的运动向量搜索的参考图像；(2)P帧以前面的I帧或P帧为搜索参考图像进行压缩，P帧是前后的B帧和后继的P帧的运动向量搜索的参考图像；(3)B帧是基于内插重建的帧，使用双向预测，以前后的两个I、P帧或P、P帧为运动向量搜索的参考图像。

运动估计用来确定和消除存在于视频流中不同图片之间的时间冗余。若活动图像序列中的图像上的物体在空间上有一位移，那么就可以用有限的运动参数即运动向量来对其运动加以描述。在参考图像中搜索一个与当前图像中宏块最相似的宏块，搜索结果用运动向量来表示，计算原宏块与经过搜索得到的最佳匹配宏块之间的差值即进行运动补偿，然后将此差值和运动向量加以编码，差值相对于本来的当前图像具有更多的零序列信息，这样经过离散余弦变换〔DCT〕和变长编码后能得到更大的压缩率，由此可见，运动向量搜索的结果对压缩效果和压缩速度是非常重要的，其中，活动图像序列的运动向量搜索是视频图像(活动图像序列)压缩的关键，也是压缩中最耗时的部分。

在现有的各种运动向量的搜索方法中，有的算法优先考虑中心的搜索区域，如十字搜索算法，这种算法的搜索速度较快，适合视频会议等运动不剧烈的图像序列的运动向量搜索；有的算法对全局的运动向量搜索是平均考虑的，例如菱形搜索算法、四步搜索算法等，这些算法对压缩后的图像质量影响小，但是搜索速度较慢，适合体育新闻等运动比较剧烈的图像序列的运动向量搜索。虽然在速度上十字搜索算法优于菱形搜索算法和四步搜索算法，但十字搜索算法是基于运动向量中心分布的，很容易陷入局部最小运动向量，从而降低压缩后的图像质量，因此当运动向量分布偏离中心时，应该采取菱形搜索算法或者四步搜索算法来扩大搜索模板，避免陷入局部最小值，得到和全搜索更加相近的运动向量搜索结果，保证压缩后图像序列的图像质量，但是如果仅仅单纯采用菱形搜索算法或者四步搜索算法又会降低搜索的速度，影响图像的压缩效率。

发明内容

针对现有技术中存在的缺陷，本发明的目的是提供一种活动图像序列运动向量的搜索方法，解决现有方法中搜索速度和搜索质量不能兼顾的问题，实现活动图像序列在进行运动向量搜索时既能得到与菱形搜索算法相当的图像质量，同时，能得到与十字搜索算法相当的搜索效率和速度。

为达到以上目的，本发明采用的技术方案是：一种活动图像序列运动向量的搜索方法，包括以下步骤：

(1)在图像序列中找到待压缩图像的压缩参考图像，然后根据待压缩图像的类型确定相应的压缩参考图像中的搜索区域；

(2)按照下面所述的搜索方法在步骤(1)中确定的搜索区域内搜索与待压缩图像中的宏块最佳匹配的宏块，搜索结果用运动向量来表示，具体方法如下：

1)计算预测参考图像：

计算待压缩图像的预测参考图像，预测参考图像的选取规则是压缩图像序列中压缩参考图像与当前待压缩图像的压缩参考图像为同一图像，并且与当前待压缩图像最相邻的已压缩图像；

2)预测运动向量的所在区域：

根据预测参考图像的宏块的运动向量所在区域来预测当前待压缩图像的相应宏块的运动向量的所在区域；

3)搜索当前运动向量：

根据步骤2)中预测的运动向量的所在区域，采用运动向量位于此区域时的最佳的运动向量搜索方法进行运动向量搜索，如果搜索过程中得到的匹配差值即BDM等于零则直接结束搜索；

(3)记录步骤(2)中经过搜索得到的运动向量，然后对运动向量进行编码。

更进一步，为使本发明获得更好地发明效果，步骤(2)中第3)步根据预测的运动向量的所在区域，采用运动向量位于此区域时的最佳的运动向量搜索方法进行运动向量搜索时，采用如下方法进行：

如果预测的运动向量的所在区域在十字区域内，则采用十次搜索算法；如果运动向量的所在区域在中心区域则采用菱形搜索算法；如果运动向量的所在区域在***区域则采用四步搜索算法。

更进一步，为使本发明获得更好地发明效果，步骤(3)中记录下搜索得到的运动向量时，采用如下方法进行：

搜索得到待压缩图像的宏块的运动向量后，再记录下此次搜索得到的运动向量所处区域，作为后面压缩图像的预测参考；记录的预测参考包括紧相邻的前面三个搜索结果：P图像的搜索结果，B图像的前向运动向量搜索结果和B图像的后向运动向量搜索结果，所述的P图像是指预测图像，B图像是指双向预测图像B。

本发明的效果在于：采用本发明所述的方法，对于运动不剧烈的图像序列，搜索速度和十字搜索相近，而压缩图像质量和菱形搜索一致；对于运动剧烈的图像序列的，可以自动地调整运动向量的搜索方法，保证了图像的质量和快速的搜索速度。

附图说明

图1是一种活动图像序列运动向量的搜索方法流程图；

图2是MPEG的一个图像序列示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述，本发明的流程图如图1所示。

下面以图像组(GOP，Group Of Pictures)长度为12，基准帧的重复频率为3的图像序列为例，来说明用本发明所述的方法进行运动向量搜索时的步骤。

假设一段图像序列播放的帧顺序为...BBIBBPBBPBBPBBI...，在压缩序列中应该为...IBBPBBPBBPBBIBB...，为了说明的方便对其进行编号，编号后播放序列为...B₀₁B₀₂I₁B₁₁B₁₂P₁B₂₁B₂₂P₂B₃₁B₃₂P₃B₄₁B₄₂I₂...，压缩序列为...I₁B₀₁B₀₂P₁B₁₁B₁₂P₂B₂₁B₂₂P₃B₃₁B₃₂I₂B₄₁B₄₂...。

在本具体实施例中，本发明所述一种活动图像序列运动向量的搜索方法，包括以下步骤：

(1)在图像序列中找到待压缩图像的压缩参考图像，然后根据待压缩图像的类型确定相应的压缩参考图像中的搜索区域；

(2)按照下面所述的搜索方法在步骤(1)中确定的搜索区域内搜索与待压缩图像中的宏块最佳匹配的宏块，搜索结果用运动向量来表示，具体方法如下：

1)计算预测参考图像：

计算待压缩图像的预测参考图像，预测参考图像的选取规则是压缩图像序列中压缩参考图像与当前待压缩图像的压缩参考图像为同一图像，并且与当前待压缩图像最相邻的已压缩图像。如附图2所示的压缩图像序列，其中的第一个P图像是以I图像为参考图像的，而也以此I图像为参考图像的离此P图像最近的图像是第二个B图像的前向运动向量搜索；其中的第三个B图像前向运动向量搜索的参考图像是第一个P图像，而也以此P图像为参考图像的离此B图像最近的图像是第二个B图像的后向运动向量搜索。在本实施例中，P₁帧压缩时的搜索参考帧为I₁，离P₁最近的也是以I₁为搜索参考帧的是B₀₂，B₀₂以I₁为后向预测的参考帧，所以选择B₀₂的后向运动向量为P₁运动向量的预测参考运动向量，类似的选择B₁₁的前向运动向量为B₁₂的前向运动向量的预测参考运动向量，B₁₁的后向运动向量为B₁₂的后向运动向量的预测参考运动向量，B₀₂的后向运动向量为B₁₁的前向运动向量的预测参考运动向量，P₁的运动向量为B₁₁的后向运动向量的预测参考运动向量。

2)预测运动向量的所在区域：

根据预测参考图像的宏块的运动向量所在区域来预测当前待压缩图像的相应宏块的运动向量的所在区域。

3)搜索当前运动向量：

根据步骤2)中预测的运动向量的所在区域，如果预测的运动向量的所在区域在十字区域内，则采用十次搜索算法，如果运动向量的所在区域在中心区域则采用菱形搜索算法，如果运动向量的所在区域在***区域则采用四步搜索算法；如果搜索过程中得到的匹配差值(block distortion measure，BDM)等于零则直接结束搜索。本实施例中，如果I₁帧的运动向量所在区域为中心区域，则P₁采用十字搜索算法。离P₁最近的也是以I₁为参考帧的是B₀₂B₀₂以I₁为后向预测的参考帧，所以选择B₀₂的后向运动向量为P₁前向运动向量的预测参考运动向量。

(3)记录下搜索得到的运动向量，然后对运动向量进行编码，同时记录此次搜索得到运动向量所处的区域，作为后面压缩图像的预测参考；记录的预测参考包括紧相邻的前面三个搜索结果：P图像的搜索结果，B图像的前向运动向量搜索结果和B图像的后向运动向量搜索结果，所述的P图像是指预测图像，B图像是指双向预测图像B。

采用本发明所述的方法对运动不剧烈的视频图像序列进行运动向量搜索，可达到和十字菱形搜索相近的搜索速度，而在SAD、离全局最佳点距离和找到全局最佳点概率上保持和菱形搜索接近的搜索结果，即在保持和菱形搜索相近的图像质量的同时，本发明所述的方法的搜索速度提高到和十字菱形搜索相近；而对运动比较剧烈的视频图像序列进行运动向量搜索时，十字菱形搜索得到的搜索结果虽然搜索速度比菱形算法等快，但其搜索结果的SAD和全搜索的结果已有明显的差距，找到全局最佳点的概率只有60％左右，而本发明提出的搜索方法则保持了和菱形搜索、四步搜索相近的SAD和找到全局最佳点的概率，即保持了相近的图像质量，虽然此时代表搜索速度的搜索点数也会变得和菱形搜索相近，但是依然比菱形搜索快。本发明提出的搜索方法能自适应于运动向量的位置分布而采用最佳的搜索算法，在运动向量中心分布时，采用十字菱形搜索，从而得到和十字菱形搜索相近的搜索速度，同时，在运动向量偏移中心较大时，自动的采用菱形搜索或者四步搜索，避免十次菱形容易陷入局部最小点的弊端，从而保持和菱形搜索相近图像质量。

本发明所述的方法并不限于具体实施方式中所述的实施例，本领域技术人员根据本发明的技术方案得出其他的实施方式，同样属于本发明的技术创新范围。

Claims (3)

1.一种活动图像序列运动向量的搜索方法，包括以下步骤：

(1)在图像序列中找到待压缩图像的压缩参考图像，然后根据待压缩图像的类型确定相应的压缩参考图像中的搜索区域；

(2)按照下面所述的搜索方法在步骤(1)中确定的搜索区域内搜索与待压缩图像中的宏块最佳匹配的宏块，搜索结果用运动向量来表示，具体方法如下：

1)计算预测参考图像：

计算待压缩图像的预测参考图像，预测参考图像的选取规则是压缩图像序列中压缩参考图像与当前待压缩图像的压缩参考图像为同一图像，并且与当前待压缩图像最相邻的已压缩图像；

2)预测运动向量的所在区域：

根据预测参考图像的宏块的运动向量所在区域来预测当前待压缩图像的相应宏块的运动向量的所在区域；

3)搜索当前运动向量：

根据步骤2)中预测的运动向量的所在区域，采用运动向量位于此区域时的最佳的运动向量搜索方法进行运动向量搜索，如果搜索过程中得到的匹配差值即BDM等于零则直接结束搜索；

(3)记录步骤(2)中经过搜索得到的运动向量，然后对运动向量进行编码。

2.如权利要求1所述的一种活动图像序列运动向量的搜索方法，其特征是步骤(2)中的第3)步根据预测的运动向量的所在区域，采用运动向量位于此区域时的最佳的运动向量搜索方法进行运动向量搜索时，采用如下方法进行：

如果预测的运动向量的所在区域在十字区域内，则采用十字搜索算法；如果运动向量的所在区域在中心区域则采用菱形搜索算法；如果运动向量的所在区域在***区域则采用四步搜索算法。

3.如权利要求1所述的一种活动图像序列运动向量的搜索方法，其特征是步骤(3)中记录下搜索得到的运动向量时，采用如下方法进行：

搜索得到待压缩图像的宏块的运动向量后，再记录下此次搜索得到的运动向量所处区域，作为后面压缩图像的预测参考；记录的预测参考包括紧相邻的前面三个搜索结果：P图像的搜索结果，B图像的前向运动向量搜索结果和B图像的后向运动向量搜索结果，所述的P图像是指预测图像，B图像是指双向预测图像B。

Images