CN1127969A - 用于在帧削减视频编码器中检测运动矢量的方法及装置 - Google Patents

Abstract

一种改进的运动估算方法，用于确定当前帧及其上一被选择帧之间的运动矢量组，在当前帧与上一被选择帧之间跳过了N个帧。这种方法使用了当前帧、上一被选择帧及N个被跳过的帧，以便对在上一被选择帧内的一搜索点获得一系列运动矢量。所述一系列运动矢量然后被累加起来，确定出代表一搜索点与当前帧中相应的最佳匹配点间位移的一个目标运动矢量。重复该过程，直到对包括在上一被选择帧中的所有搜索点的目标运动矢量组被检测出来。

Description

用于在帧削减视频编码器中检测运动 矢量的方法及装置

本发明涉及对视频信号编码的方法及装置，更具体地，涉及使用帧削减技术及以逐帧为基础的运动估算和数据压缩补偿来估算帧削减视频编码器中的运动矢量的方法及装置。

正如众所周知的，数字化视频信号传输可以传送比模拟信号传输质量高得多的视频图象。当包括一系列图象“帧”的图象信号用数字形式表达时，就产生了大量的用以传输的数据，尤其在高清晰度电视***中更是如此。但是，由于在传统传输频道中可得到的频带宽度是有限的，为了通过有限的频带宽度传输大量的数字数据，就不可避免地要压缩或削减被传输数据的量。在各种视频压缩技术中，所谓混合编码技术，即将时间及空间压缩技术与统计编码技术相结合的技术，被认为是最有效的。

大部分混合编码技术使用了运动补偿DPCM(差分脉冲码调制)，二维DCT(离散余弦变换)，DCT系数量化及VLC(可变长度编码)。运动补偿DPCM是，确定当前帧与其上一帧之间物体运动，并根据物体的运动流预测当前帧，以便产生代表当前帧及其预测之间差值的差分信号的一种方法。这种方法例如被描述在“用于混合预测/变换编码的固定及自适应预测器”Staffan Ericsson著，IEEE Transaction on Communications COM-33，No.12(1985年12月)中；及“用于电视图象的运动补偿帧间编码方案”，Ninomiya及Ohtswka著，IEEETransaction on Communications，COM-30，No.1(1982年1月)中。

具体地，在运动补偿DPCM中，基于当前帧及上一帧之间的运动估算从相应的上一帧数据中预测目前帧数据。这种被估算的运动可以用代表上一帧及当前帧之间象素位移的二维运动矢量的术语来描述。

对于估算物体象素位移已具有许多方案，总地，它们可以被划分成两类，即以一块接一块为基础的和以一个象素接一个素为基础的运动估算。

在以逐块为基础的运动估算中在当前帧中的一个块与它的上一帧中的多个块进行比较，直到确定出最佳匹配为止。为此，对于整个块的帧间运动矢量(该块已在帧间运动了多少)能够对于被传输的当前帧作出估算。但是在逐块为基础的运动估算中，在运动补偿过程中在一个块的边界处可能发生阻塞(blocking)效应；如果在该块中的所有象素不是以同一方式运动，则可能产生差的估算结果，由此减小了整体编码效率。

另一方面，当使用逐个象素的方法时，对于每一个象素均确定其位移。这种技术能更精确地估算象素值，并具有易于处理比例变化(例如变焦，垂直于图象表面的运动)的能力。但是在逐个象素的方法中，因为运动矢量要在每一个象素上确定，因而在实际中不可能将所有的运动矢量传输到接收机。因此，将对于一组被选择象素，即特征点的运动矢量传输到接收机，其中每个特征点被定义为能代表它附近象素的象素的位置，以便使在接收机中对于非特征点的运动矢量能由特征点的运动矢量来再生。本发明主要涉及使用特征点的运动估算。在一种采用基于特征点的运动估算的编码器中，首先从包括在上一帧中所有的象素中选出多个特征点。然后，对于每个被选出的特征点确定其运动矢量，其中每个运动矢量是当前帧中特征点及上一帧中相应匹配点、即最相似的象素之间的空间运动。具体地，对于每个特征点在一个参考帧中的搜索区域中搜索匹配点，该参考帧例如是一个在前帧，其中搜索区域定义为包围了它的相应特征点位置的一个预定区域。

另一种易于实现的压缩技术是帧削减方法，它使用仅对于在视频信号中选出的帧进行编码及传输，跳过它们之间的帧或削减在它们之间具有的剩余帧(例如参看：“用于P×64kb/s的视听服务的视频编码解码器”，CCITT规则H.261，CDMXV-R37E，国际电报电话咨询委员会(CCITT)，1990年8月)。

通常，输入到视频编码器的是一个30帧/秒的视频信号。在每两个被编码帧之间跳过一个、两个或三个帧所产生的帧速率典型地分别为15，10或7.5帧/秒。

在同时使用混合编码及帧削减技术的传统视频编码器中，对视频信号的被选择帧同时使用帧间及变换编码方法来编码，由帧间编码获得的运动矢量在两个相继的被编码帧之间被检测出来。因为某些帧被跳过，在两个相继被编码帧之间的运动间距或位移量变得比未削减的原始视频信号更突变，这将导致产生较大的运动矢量。因此，为了在两个被编码帧之间检测最佳运动矢量，应在上一被编码帧中使用较大的搜索区域，该区域的规模取决于被编码帧的帧速率或削减度。因为块匹配算法的计算复杂程度通常正比于搜索区域的规模，在采用帧削减技术的视频编码器上对于估算运动矢量体现了较大的计算负担。

因此本发明的主要目的在于提供一种在帧削减视频编码器中采用的多个步骤中对两个被编码帧之间特征点的运动矢量进行检测的改进方法及装置，由此减小视频编码器的总体计算复杂性。

根据本发明提供了一种在当前帧及其上一被选择帧之间对于一组搜索点确定目标运动矢量的方法，其中在当前帧及上一被选择帧之间跳过了N个帧，所述N是包括1在内的正整数，在上一被选择帧中所含的搜索点组是预定的，该方法包括以下步骤：

(a)存储N个被跳过的帧；

(b)设定一个搜索点作为参考搜索点；

(c)对于参考搜索点，确定包括第i个被跳过的帧中的相应搜索区域内的最佳匹配点，由此产生出代表在参考搜索点及最佳匹配点之间位移的第i个运动矢量，并将该最佳匹配点设为参考搜索点，其中i是从1至N的递增数列中选择的一个数，i的数越小，涉及在时间上越接近上一被选择帧的帧；

(d)存储第i个运动矢量；

(e)重复上述步骤(c)至(d)，直到获得第一至第N个运动矢量为止；

(f)对于参考搜索点，确定包括在当前帧中的相应搜索区域内的最佳匹配点，由此产生出代表在参考搜索点及最佳匹配点之间位移的第(N＋1)个运动矢量；

(g)将(N＋1)个运动矢量相加，由此提供代表在所述一个搜索点及当前帧中相应的最佳匹配点之间位移的一个目标运动矢量；及

(h)重复上述步骤(b)至(g)，直到对于所有的搜索点的目标运动矢量组被检测出来为止。

通过以下结合附图对优选实施例的描述，将会使本发明的上述及另外的目的及特征更为明了，其附图为：

图1是使用了本发明的运动估算单元的视频编码器的一个方框图；

图2A及2B表示本发明方法与现有技术运动估算技术之间的区别；

图3表示本发明运动估算单元的方框图；

图4是表示图1中所示的预测单元的方框图；

图5用于检测对于非特征点的运动矢量的一个示范方法。

参照图1，它表示使用了本发明的运动估算单元126的一个视频编码器的方框图。输入数字视频信号提供到帧削减器101及运动估算单元。在帧削减器101上，以代表削减度的预定帧削减率跳过帧之间的中间帧来选择待编码的帧，并将其供给一个减法器102。例如，当预定削减率为2或3时，则帧削减器101分别选择或使用视频信号的每第二个帧或每第三个帧。

在运动估算单元126上，将线L10上的当前帧信号或被漏选的帧信号及来自帧存储器124的线L12上的重建的上一被编码帧信号进行处理，以计算及估算第一组运动矢量，它们中的每个代表当前帧的特征点及包括在前一被编码帧中相应搜索区域中最佳匹配点之间的位移。

根据本发明，两个被选择帧，即当前帧及上一被编码帧之间的运动矢量将用多个步骤进行检测，这在下文中将参照图2A及3进行描述。在每个步骤中，对在两个相继帧(包括被漏选帧及被编码帧)之间的运动矢量进行检测及存储，然后利用加上被存储运动矢量提供两个被编码帧之间的运动矢量。

由运动估算器单元126提供在线L20上的运动矢量被提供给一个预测单元122及一个熵编码器107。

响应于该运动矢量，在预测单元122上基于如根据图4中所描述的一个象素接一个象素地确定出一个预测信号，并将它经由线L30提供给减法器102及加法器115。

来自预测单元122的预测信号在减法器102上被从当前帧信号中减去，所产生的数据，即为指示象素差值的误差信号，被送到一个图像信号编码器105，在其中借助于例如离散余弦变换(DCT)及任何公知的量化方法将一组误差信号编码成一组被量化转换的系数。然后通过两个信号路径来传输该组被量化转换的系数，一个路径是导向熵编码器107，在其中这些被量化转换的系数和通过线L20提供来的运动矢量在一起，借助于例如用于传输它们的运行长度及可变长度编码技术的组合被编码，而另一路径是导向一个图象信号解码器113，在其中借助于反向量化及反向转换，将这些被量化转换系数转换回重建的差分误差信号。为了编码器监控接收机中的解码器性能，以便能阻止解码器的重建信号偏离当前帧信号，故需要重新产生误差信号。

由图象信号解码器113来的重建误差信号及来自预测单元122的预测信号在加法器115中被组合，以提供一个被写入到帧存储器124中的重建当前帧信号。

图2A及2B分别概要地表示根据本发明的运动矢量检测方法及传统的运动矢量检测方法。为了本图解起见，假定帧削减率为3，即在上一被编码帧及当前选择的待编码帧之间跳过了两个帧。图2A表示根据本发明的，对当前帧F1及存储在帧存储器124中的上一被编码帧F4之间的运动矢量估算的过程。两个被漏选的帧F2及F3被存储在帧存储栈190中，如图3所示，图3表示图1中所示运动估算单元126的细节。首先，在其接着跳过的帧F3中确定与上一被编码帧F4的搜索点SP4相对应的搜索区域SR3，其中搜索点SP4是上一被编码帧F4的一个特征点。从搜索区域SR3中确定出SP4的最佳匹配点，在F4及F3之间提供出一个运动矢量MV3。然后，利用F3中的最佳匹配点SP3作为新的搜索点，在其接着跳过的帧F2中确定出相应的搜索区域SR2，它是由搜索区域SR3位移了MV3得到的。在SR2中检测搜索点SP3的最佳匹配点，在F3及F2之间提供出一个运动矢量MV2。用相似方式，在F2及当前帧F1之间检测出运动矢量MV1。在当前帧F1及上一被编码帧F4之间的运动矢量是MV1，MV2及MV3的矢量和，它表示于F4中搜索点SP4与F1中最佳匹配点之间的位移。

上述的对于上一被编码帧中特征点的运动矢量的估算过程将对上一被编码帧中所有的其它特征点重复。

图2B表示利用现有技术的运动估算方案对上一被编码帧F4与当前帧F1之间的运动矢量进行检测的过程。在其中搜索点SP4的最佳匹配点是直接地决定在F1中的搜索区域中的。如果其中使用了和图2A中所示方法相同大小的搜索区域(例如SR5)的话，则由图2A的方法在当前帧F1中确定的最佳匹配点SP1将位于搜索区域SR5的边界以外。因此，为了得到更精确的运动矢量，需使用较大的搜索区域，例如SR6。事实上，当前帧及上一被编码帧之间的运动幅度主要取决于帧削减率。因此，为了获得更精确的运动矢量，在当前帧中应使用正比于帧削减率的较大搜索区域。如果使用了较大的搜索区域，例如SR6来获取精确的运动矢量时，在搜索区域中确定最佳匹配点的计算复杂程度将与搜索区域规的大小正比地增加。因而，除去所需的执行多步骤处理的附加计算时间外，图2A的方法比图2B的方法体现出较小的计算负担。

参见图3，它表示图1所示本发明运动估算单元126的详细方框图。

由线L10输入运动估算单元126的视频信号供给到一个帧存储栈190。具体地，将视频信号的被跳过的帧及当前帧供给到帧存储栈190，在其中存储它们并再从这里提供给运动矢量检测单元210。

自帧存储器124检索的上一被编码帧经由线L12被输入到一个特征点选择单元200及运动矢量检测单元210。在特征点选择单元200中，对包含在上一被编码帧中的象素内的多个特征点作出选择。每个特征点被定义为能代表其周围象素的一个象素的位置。

每个被选择特征点被提供给一个特征点更新单元220，并象以下描述地在其中进行更新。被更新的特征点作为搜索点被供给到运动矢量检测单元210，如参照图2A所解释地，对更新的特征点的运动矢量进行检测。在处理开始时，被更新的特征点是和从特征点选择单元200提供的特征点相同的。运动矢量检测单元210在被跳过的帧F3的搜索区域SR3中搜索对于特征点(例如图2A中搜索点SP4)的最佳匹配点，由此确定搜索点SP4及搜索区域SR3中的最佳匹配点之间的运动矢量MV3。对于检测特征点的运动矢量具有许多处理算法。其中一种处理算法是首先建立对于一个特征点的一定大小的块，然后使用一种公知的块匹配算法检测对于特征点的运动矢量。

运动矢量MV3被传送到运动矢量累加器230并被存储在其中，并被传送到特征点更新单元220，由此将最佳匹配点SP3作为新的更新特征点提供给运动矢量检测单元210。在运动矢量检测单元210中，对于新搜索点、即图2A中的新特征点SP3，在被跳过的帧F2的搜索区域SR2中确定最佳匹配点，由此就确定了搜索点SP3及搜索区域SR2中最佳匹配点SP2之间的运动矢量MV2。该运动矢量MV3然后被传送到运动矢量累加器230中与MV3相加，并被传送到特征点更新单元220。这种检测运动矢量及更新特征点的过程在被跳过的帧F2及当前帧F1之间重复进行。利用累加被检测的运动矢量、例如：MV1、MV2及MV3，运动矢量累加器220将提供出最终的运动矢量，例如如图2B中所示的上一被编码帧中的特征点SP4及在线L20上的当前帧中相应搜索区域，如SR1中的最佳匹配点，如SP1之间的MV。对于在上一被编码帧中的所有特征点重复进行上述过程，由此提供给图1中所示的预测单元122第一组对于特征点的运动矢量。

虽然本发明是针对帧削减率为3进行描述的，但是各种帧削减方案或削减率均可使用在视频信号的编码中，并且可用与这里提出的相似方式计算运动矢量。

现在参照图4，这是表示预测单元122的详细方框图，第一组对于特征点的运动矢量经由线L20从运动估算单元126提供给一个非特征点运动估算器214。在非特征点运动估算器214中，通过使用对于特征点的第一组运动矢量确定出对于每个非特征点、即除去特征点外的上一被编码帧中的点的第二组运动矢量。

图5表示在特征点在整个帧中不规则分布的情况下检测非特征点运动矢量的一个示范方法。利用位于在具有半径为dr＋da的圆边界内的特征点对于带有星标记的非特征点象素计算其运动矢量，其中da是从星标记的象素位置到最近特征点的距离，dr是能包括到运动矢量计算中使用的另外特征点的一个预定扩展半径。例如，如果到星标记的象素的最近特征点是“Y”，而特征点“X”位于半径为(da＋dr)的圆边界以内，则对于星标记的象素的运动矢量(MVx，MVy)的计算如下： $M{V}_x,M{V}_y=\frac{\frac{1}{d_x}{(M{V}_x,M{V}_y)}_X+\frac{1}{d_Y}{\left(M{V}_{x,}M{V}_y\right)}_Y}{\frac{1}{d_X}+\frac{1}{d_Y}}$ 式中dx及dy是特征点X和Y分别距离星形标记的象素位置的距离；及(MVx，MVy)x及(MVx，MVy)y是对于特征点的各运动矢量。

回过来参看图4，将被确定的对于非特征点的第二组运动矢量提供给逐个象素预测器216，在其中利用这两组运动矢量确定出包含在被预测的当前帧中的每个象素值。

虽然对于本发明是针对特定实施例进行描述的，但是，在不脱离如下权利要求书所限定的本发明精神及范围的情况下，显然对于本领域中的技术人员来说还可做出各种变化及改型。

Claims (2)

1、一种在当前帧及其上一被选择帧之间对于一组搜索点确定目标运动矢量的方法，其中在当前帧及上一被选择帧之间跳过了N个帧，所述N是包括1的正整数，在上一被选择帧中所含的搜索点组是预定的，该方法包括以下步骤：

(a)存储N个被跳过的帧；

(b)设定一个搜索点作为参考搜索点；

(c)对于该参考搜索点，确定包括在第i个被跳过的帧中的相应搜索区域内的最佳匹配点，由此产生出代表在该参考搜索点及该最佳匹配点之间位移的第i个运动矢量，并将该最佳匹配点设为参考搜索点，其中i是在从1至N的递增数列中选择的一个数，i的数值越小，涉及在时间上越接近上一被选择的帧的帧；

(d)存储第i个运动矢量；

(e)重复上述步骤(c)至(d)，直到获得第一至第N个运动矢量为止；

(f)对于该参考搜索点，确定包括在当前帧中的相应搜索区域内的最佳匹配点，由此产生出代表在该参考搜索点及该最佳匹配点之间位移的第(N＋1)个运动矢量；

(g)将(N＋1)个运动矢量相加，由此提供代表在所述搜索点之一及当前帧中相应的最佳匹配点之间位移的一个目标运动矢量；及

(h)重复上述步骤(b)至(g)，直到对于所有搜索点的目标运动矢量组被检测出来为止。

2、一种运动估算装置，用于在当前帧及其上一被选择帧之间对于一组搜索点确定目标运动矢量，其中在当前帧及上一被选择帧之间跳过了N个帧，所述N是包括1的正整数，该搜索点组包括在上一被选择帧内，该装置包括：

用于存储N个被跳过的帧的存储装置；

用于在上一被选择帧中选择搜索点组的装置；

用于提供参考帧中参考搜索点的装置，其中，如果没有运动矢量输入时，在上一被选择帧中选出的一个搜索点被确定为参考搜索点，而如果有运动矢量输入时，则响应于该运动矢量，将参考搜索点更新成包括在参考点的后继帧中的参考搜索点的最佳匹配点，所述提供(N＋1)个参考搜索点是对于所有搜索点进行的；

运动矢量检测装置，用于对于参考搜索点确定一包括在参考帧后继帧中搜索区域内的最佳匹配点，由此产生出代表参考搜索点及最佳匹配点之间位移的(N＋1)个相继的运动矢量之一；及

用于存储及累加(N＋1)个相继的运动矢量以提供代表所述搜索之一及当前帧中相应最佳匹配点之间的位移的一目标运动矢量的装置，由此提供出对于所有搜索点的目标运动矢量组。

Images