CN1852442A - 一种分层运动估计方法和超大规模集成电路 - Google Patents

Abstract

一种分层运动估计方法，对预测宏块的运动估计分别在多种采样率下进行，在低采样率下作较大范围的搜索，在原始图像上作较小范围的搜索，从而既保证了搜索的准确率又保证了方法的执行速度。实现该方法的超大规模集成电路由一个共N×N个处理单元组成的处理阵列、控制电路、存储区域和比较判别器组成。本发明实现了一个结构简单、功耗低、尺寸小，搜索速度也要明显优于全搜索算法的分层运动估计超大规模集成电路，同时，该超大规模集成电路在不增加计算量和阵列尺寸的前提下支持MPEG－4标准下的高级预测模式。

Description

一种分层运动估计方法和超大规模集成电路

技术领域

本发明涉及一种MPEG-4中的运动估计方法和超大规模集成电路，具体地说，涉及MPEG-4中的一种分层运动估计方法和超大规模集成电路。

背景技术

当今时代，信息技术和计算机互联网飞速发展，多媒体信息已成为人类获取信息的最主要载体，多媒体信息数据量非常大，对信息存储设备及通信网络均提出了很高要求，从而成为阻碍人们有效获取和使用信息的重大瓶颈，因此研究高效的多媒体数据压缩编码方法，以压缩形式存储和传输数字化的多媒体信息具有重要意义。国际标准化组织于1998年成立了运动图像压缩编码组织(MPEG)，经过专家组不懈的努力，制定了几种视频压缩标准，其中MPEG-4标准已成为现今国际上的研究热点。

MPEG-4只处理图像帧与帧之间有差异的元素而舍弃相同的部分，大大减少了数据量。运动估计是去除时间冗余的有效方法，所谓的时间冗余是指图像帧与帧之间有大量相同元素的存在。MPEG-4中提供了基于块的运动估计和补偿技术来有效地处理各帧之间的时间冗余。MPEG-4认为当前帧每一个图像块，都能在下一帧图像中找到对应块，在此基础上，下一帧图像的对应块就能够通过前一帧的图像块加上一个预测运动向量来重建。MPEG-4中的运动估计就是要找出当前帧中各图像块的预测运动向量。上述图像块的大小为16×16、8×8等，16×16、8×8是指，图像块在x方向和y方向的宽度都为16或8个象素，整个图像块是由256或64个象素点构成的正方形图像区域。在MPEG中，所处理的图像块为16×16，当前帧中要计算预测运动向量的图像块被称为预测宏块，下一帧图像中与当前图像块进行匹配操作的图像块被称为搜索图像块，当前图像块在下一帧图像中要作搜索的整个图像区域称为搜索窗。

运动估计算法的研究已经比较深入，提出了许多有效的方法，比如全搜索算法、三步法、菱形算法等等。同时，随着手持视频终端市场的发展，对低功耗、小尺寸的处理芯片的要求越来越迫切。

在全搜索算法中，需要对当前帧中的预测宏块与下一帧中的预测宏块的搜索窗内的每一个与预测宏块相同大小的图像块进行匹配，因而全搜索算法虽然性能好，算法规整，便于硬件实现，但是计算量太大，需要的计算阵列也比较庞大，功耗较高，不适合现有市场的需求，其他算法虽然计算量少，但是算法不规律，算法的每一个步骤取决于之前预测宏块和搜索图像块已经匹配的具体结果，不适合硬件实现。

发明内容

本发明所要解决的技术问题是：设计一种分层运动估计方法和超大规模集成电路，用于数字视频编码应用中，使采用该方法和超大规模集成电路的视频编码芯片的尺寸和功耗大为降低，并且支持MPEG-4标准下的高级预测模式。MPEG-4的高级预测模式是指在运动估计中，不仅提供16×16预测宏块的运动估计结果，还要提供预测宏块中4个8×8子图像块的运动估计结果。

本发明的目的是这样实现的：一种分层运动估计方法，该方法包括以下步骤：

A)对原始图像进行至少一次低采样率采样，在每次低采样率采样时，反复调用N×N图像块的匹配搜索来实现预测宏块的匹配搜索，得到预测宏块在低采样率下的预测运动矢量，所述N表示图像块的宽度或高度；

B)直接处理原始图像，以A)中获取的预测宏块在低采样率下的预测运动矢量为初始位置作匹配搜索，得到预测宏块的最终预测运动矢量。

所述N的值取8，4或2。

所述步骤A)包括：

A1)对原始图像进行4∶1的采样，在预测宏块对应位置处[-4，3]范围内作匹配搜索，得到预测运动矢量V1；

A2)对原始图像进行2∶1的采样，以A1)中获取的V1为初始位置作[-2，1]范围内的匹配搜索，得到预测宏块在低采样率下的预测运动矢量。

所述步骤A2)进一步包括：

A21)采用中值法从预测宏块的三个相邻宏块的预测运动矢量中获得预测运动矢量V2；

A22)对原始图像进行2∶1的采样，分别以A1)中获取的V1和A21)中获取的V2为初始位置作[-2，1]范围内的匹配搜索，得到预测宏块在低采样率下的预测运动矢量。

所述步骤A1)包括：

对原始图像进行4∶1的采样，预测宏块被抽样为一个4×4的当前图像块，预测宏块在对应位置处[-4，3]范围内的匹配搜索被分解为当前图像块在4个起始位置处的匹配搜索进行。

所述步骤A2)包括：

对原始图像进行2∶1的采样，预测宏块被抽样为一个8×8的当前图像块，预测宏块在对应位置处[-2，1]范围内的匹配搜索被分解为4个4×4图像块的匹配搜索进行，把这4个4×4图像块与对应搜索图像块的绝对误差和累加得到当前8×8图像块的绝对误差和。

所述步骤B)包括：

直接处理预测宏块，当前图像块的大小为16×16，预测宏块在对应位置处[-2，1]范围内的匹配搜索被分解为16个4×4图像块的匹配搜索进行，把这16个4×4图像块与对应搜索图像块的绝对误差和累加得到当前图像块的绝对误差和。

所述步骤B)进一步包括，通过以下方式实现MPEG-4的高级预测模式：

预测宏块在对应位置处[-2，1]范围内的匹配搜索被分解为16个4×4图像块的匹配搜索进行，把这16个4×4图像块再分成分别组成预测宏块的4个8×8子图像块的4组，把4组4×4图像块的绝对误差和累加起来并输出、比较，得到预测宏块的4个8×8子图像块的预测运动矢量即MPEG-4的高级预测结果。

本发明的目的是这样实现的：一种分层运动估计超大规模集成电路，其特征在于：该电路包括处理单元阵列、数据存储区、控制器和比较判别器，其中：

数据存储区存储预测宏块数据和搜索窗数据；

处理单元阵列包括N×N个处理单元，用于计算当前N×N图像块与某一位置处[-N/2，N/2-1]范围内N×N个N×N搜索图像块的绝对误差和；

比较判决器用于根据处理单元阵列输出的计算结果，得到预测运动矢量并送给控制器；

控制器用于：从数据存储区把当前N×N图像块数据和搜索图像块数据送到处理单元阵列，控制处理单元阵列的操作，把处理单元阵列的计算结果送给比较判决器，以及从比较判决器得到预测宏块的预测运动矢量。

所述的处理单元在控制器的控制下实现当前N×N图像块与某一位置处[-N/2，N/2-1]范围内的N×N个搜索图像块中一个块的绝对误差和的计算，所述搜索图像块在[-N/2，N/2-1]范围内的相对位置是固定的。

所述的处理单元在控制器的控制下实现当前N×N图像块与多个搜索N×N图像块的绝对误差和累加的计算。

所述的处理单元进一步包括一个由4个累加器组成的累加器组和一个大小为4的寄存器，用以实现MPEG-4的高级预测，其中4个累加器负责分别累加预测宏块的4个8×8子图像块与搜索图像块的绝对误差和，寄存器负责保存4个子图像块的预测运动矢量。

所述控制器用于从数据存储区把搜索图像块数据送到处理单元阵列的方式为：

控制器用于把搜索图像块数据以流水线方式分奇数和偶数列像素值两路送入所述处理单元阵列，奇数列数据比偶数列数据迟滞4个周期，并控制处理单元阵列每隔四个周期其取值对象由其中一路转换为另一路。

所述控制器用于从数据存储区把当前N×N图像块数据送到处理单元阵列的方式为：

控制器用于把当前图像块数据以并行方式送入处理单元阵列，在同一个周期中，所有处理单元使用当前图像块中同一像素值。

本发明是一种分层运动估计方法和超大规模集成电路，通过在多种采样率下进行匹配搜索并把用到的匹配搜索都分解为多个基本搜索单元来进行，从而取得了以下的积极效果：搜索速度明显优于全搜索算法；超大规模集成电路的阵列结构简单，功耗低、尺寸小，在不增加计算量和运算阵列的前提下，利用在处理单元中增加的由4个累加器组成的累加器组和一个大小为4的寄存器就能支持MPEG-4标准下的高级预测模式。

附图说明

图1是分层运动估计方法流程图。

图2是子块搜索顺序图。

图3是电路整体示意图。

图4是PE阵列结构图。

图5是PE结构图。

图6是用于高级预测模式的累加器组结构图。

图7是数据的水平交叠特性图。

图8是PE阵列的输入时序图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明，在以下的介绍中，N取值为4，图像块的匹配搜索都通过反复调用4×4图像块的匹配搜索来实现，PE阵列中PE的数目等于4×4，即16。

本发明是一种分层运动估计方法，该方法把MPEG-4中对16×16预测宏块的运动估计分为四个步骤来实现，整个方法流程参见图1所示，子块搜索顺序参见图2所示。

101)对原始图像进行4∶1的采样，在4∶1采样下，从x方向4个象素点宽度、y方向4个象素点宽度的一个4×4图像块内抽取一个象素点作为该图像块的采样值，在MPEG-4中，预测宏块的大小为16×16，在4∶1采样下被采样为1个4×4当前图像块。在预测宏块对应位置处[-4，3]范围内搜索最佳匹配位置，得到预测运动矢量V1。在预测宏块对应位置处[-4，3]范围内搜索最佳匹配位置，被分解为当前图像块在4个起始位置处的基本搜索单元进行，基本搜索单元是指一个4×4当前图像块在某一位置处[-2，1]范围内的匹配搜索。在本发明中，搜索最佳匹配位置采用的准则是绝对误差和(SAD)准则，与当前图像块匹配最佳的搜索图像块是：与当前图像块在相同位置处象素点值差的绝对值之和最小的图像块。。

步骤101)中所述的对应位置处[-4，3]的范围是指以预测宏块对应位置为中心的、x坐标在[-4，3]范围内、y坐标也在[-4，3]范围内的一个8×8块，在预测宏块对应位置处[-4，3]范围内搜索最佳匹配位置，就是把预测宏块与以这8×8块内每一个点为中心的搜索图像块、共64个搜索图像块进行匹配。

102)采用中值法从预测宏块的三个相邻宏块的预测运动矢量中获得一个该预测宏块的预测运动矢量V2。所述的三个相邻宏块为MPEG-4所规定，在此前的预测中，这三个宏块的预测运动矢量已经取得。

103)对原始图像进行2∶1的采样，预测宏块被采样为1个8×8的当前图像块，当前8×8图像块在两个初始位置V1和V2处作[-2，1]范围内的匹配搜索，获得一个最佳匹配位置，得到对应的预测运动矢量V3。8×8当前图像块在某一位置处[-2，1]范围内的匹配搜索被分解为4个4×4图像块的基本搜索单元进行，在匹配搜索过程中，累加4个4×4图像块的绝对误差和得到当前8×8图像块的绝对误差和。

所述的步骤101)和102)中，采用分层运动估计方法与相邻宏块预测运动矢量相结合的方法，为步骤103)提供了两个初始匹配点，提高了运动估计精度。

104)直接处理原始图像，预测宏块就是当前图像块，大小为16×16，当前图像块在V3处作[-2，1]范围内的匹配搜索，得到预测宏块的最终预测运动矢量。当前图像块所作的[-2，1]范围内的匹配搜索被分解为16个4×4图像块的基本搜索单元进行，把这16个4×4图像块的SAD累加得到当前图像块的SAD。在上述过程中，可以通过以下方式实现MPEG-4的高级预测模式：当前图像块由16个4×4图像块组成，这16个图像块又可以分成4组，分别组成预测宏块的4个8×8子图像块，在进行这16个4×4图像块的SAD累加时，把4组4×4图像块的绝对误差和累加起来并输出、比较，得到预测宏块的4个8×8子图像块的预测运动矢量即MPEG-4的高级预测结果。

本发明还提供了一种超大规模集成电路，由PE阵列、数据存储区、控制器和比较判别器组成，其中数据存储区由当前数据存储区域和搜索数据存储区域2个部分组成，整体电路如图3所示，图中：当前数据存储区域，用于存储预测宏块数据，在运行过程中需要反复读取；搜索数据存储区域，用于存储整个搜索窗的数据；控制器，用于控制当前图像块和搜索图像块的读取，处理单元阵列和比较判决器；PE阵列，用于实现基本搜索单元；比较判决器，用于对各个基本搜索单元的计算结果进行比较判决。

所述的PE阵列由16个PE组成，与判决比较器一起，在控制器的控制下完成4×4图像块在某一位置处[-2，1]范围内的匹配搜索，这一匹配搜索称作基本搜索单元。所述的PE阵列结构如图4所示，图中：SW，搜索图像块数据；Cur，当前块数据；S00，搜索图像块第0列第一个像素值；PE，处理单元；Acc^*，累加器组。

所述的PE完成一个4×4图像块与某一位置处[-2，1]范围内的16个图像块中的一个块的匹配，得到当前4×4图像块与该块的SAD，并能在控制下累加多个4×4图像块的SAD，每个PE还有一个由4个累加器组成的累加器组和一个大小为4的寄存器，以实现MPEG-4的高级预测。PE的结构组成如图5所示，图中：Cur，当前块数据；SW，搜索图像块数据；Reg，寄存器；Acc，累加器。

所述的PE还包含用于高级预测模式的累加器组，其结构如图6所示：PE计算得到的16个当前4×4图像块与搜索4×4图像块的SAD值被分成4组，分别送入4个累加器中，累加得到预测宏块的4个8×8子图像块的SAD值。

本发明超大规模集成电路通过以下方式实现一个基本搜索单元，即一个4×4当前图像块在某一位置处[-2，1]范围内的匹配搜索。在这一过程中，利用到数据的水平交叠特性。水平交叠特性如图7所示，是指与当前图像块先后进行匹配的两个搜索图像块有交叠，即有共同的若干列数据。据此特性，搜索图像块数据被分为奇偶两列采取流水线的方式进入PE阵列，其中偶数列数据要比奇数列迟滞4个周期，搜索图像块数据在PE阵列的输入时序如图8所示，图中：C()代表预测宏块，S()代表搜索图像块，黑体数据表示该数据取自搜索图像块的奇数列，其他数据取自搜索图像块的偶数列。每个PE通过控制器控制的二选一的多路复用器选择其中一路数据，与当前4×4图像块的数据计算差值，并将差值送入累加器累加。在开始计算前，需要经过16个周期的数据预载，使数据在寄存器组中逐步移位至图4所示状态，在这之前复用器处于高阻状态，累加器不从PE接受数据。然后复用器进入工作状态，从两路数据中选择一路数据送入PE，与当前图像块数据计算差值，将结果送入累加器累加。前四个计算周期内，序号为0～3和8～11的PE从奇数列取值，其他PE从偶数列取值。四个周期后，他们取值的对象刚好调换，序号为0～3和8～11的PE从偶数列取值，其他单元从奇数列取值，此后每隔四个周期再次调换，直到完成一次4×4块的搜索。计算过程中，两列寄存器的数据继续保持移位操作。在十六个周期后，PE阵列得到当前4×4图像块与某一位置处[-2，1]范围内共16个搜索图像块的SAD值，这些SAD值由各PE输入到比较判决器，比较判决器确定其中的最小值。每个PE计算的搜索图像块在[-2，1]范围内的相对位置是固定的，比较判决器只需要判断最小的SAD值来自哪个PE，就可以得到对应的预测运动矢量，不需要添加专门存储位置的附加电路，使本发明超大规模集成电路结构更加简洁。

在本发明中，分层运动估计方法的所有搜索，都通过对基本搜索单元的反复调用实现。下面分别说明本发明超大规模集成电路如何实现所述分层运动估计方法中需要用到的各个搜索功能。

当前4×4当前图像块在对应位置处[-4，3]范围内的搜索：被分解为4个基本搜索单元进行，在这四个基本搜索单元中，由控制电路从搜索数据存储区域向PE阵列分别载入整个[-4，3]范围内的某个位置处[-2，1]范围内的数据。

当前8×8图像块在某一位置处[-2，1]范围内的匹配搜索：被分解为4个4×4图像块的基本搜索单元进行，在搜索过程中，由控制电路对基本搜索单元加以控制，累加这4个4×4图像块的SAD得到当前8×8图像块的SAD。具体地说，与在基本搜索单元中PE计算完一个4×4的块就将结果输出到比较判决器中、同时进行清零操作不同，在这一搜索中，计算完一个4×4的块后PE的累加器不清零，在预载下一个4×4块数据的时段内保持其值不变，等待下一个4×4块计算，连续计算完四个4×4块才将结果输出，即需要累加64次。

当前16×16图像块在某一位置处[-2，1]范围内的匹配搜索：被分解为16个4×4图像块的基本搜索单元进行，由控制电路对基本搜索单元加以控制，把这16个4×4图像块的SAD累加得到当前图像块的SAD，具体地说，在这一搜索中，计算完一个4×4的块后PE的累加器不清零，在预载下一个4×4块数据的时段内保持其值不变，等待下一个4×4块计算，连续计算完16个4×4块才将结果输出，即需要累加256次。

MPEG-4的高级预测模式：在进行16×16图像块在某一位置处[-2，1]范围内的匹配搜索过程中，分别组成16×16预测宏块的4个8×8子图像块的4组4×4图像块的SAD值在控制器的指令下，被输入到PE的累加器组中对应该8×8子图像块的一个累加器中去，由这4个累加器分别累加这4组4×4图像块的SAD，并输出结果给寄存器，就得到了MPEG-4的高级预测结果。

在上述实施例的介绍中，N取值为4，本发明中N的取值还可以为8，2，具体实施方式与上述实施例类似。

本发明并不局限于上述实施例的具体介绍。本发明可进一步更新，或者对本发明所公开的特征加以新的组合，也可对本发明所公开的任何方法或者过程进行更新或者进行新组合。

Claims (14)

1、一种分层运动估计方法，其特征在于，该方法包括以下步骤：

A)对原始图像进行至少一次低采样率采样，在每次低采样率采样时，反复调用N×N图像块的匹配搜索来实现预测宏块的匹配搜索，得到预测宏块在低采样率下的预测运动矢量，所述N表示图像块的宽度或高度；

B)直接处理原始图像，以A)中获取的预测宏块在低采样率下的预测运动矢量为初始位置作匹配搜索，得到预测宏块的最终预测运动矢量。

2、根据权利要求1所述的分层运动估计方法，其特征在于，N的值取8，4或2。

3、根据权利要求1所述的分层运动估计方法，其特征在于，所述步骤A)包括：

A1)对原始图像进行4∶1的采样，在预测宏块对应位置处[-4，3]范围内作匹配搜索，得到预测运动矢量V1；

A2)对原始图像进行2∶1的采样，以A1)中获取的V1为初始位置作[-2，1]范围内的匹配搜索，得到预测宏块在低采样率下的预测运动矢量。

4、根据权利要求3所述的分层运动估计方法，其特征在于，所述步骤A2)进一步包括：

A21)采用中值法从预测宏块的三个相邻宏块的预测运动矢量中获得预测运动矢量V2；

A22)对原始图像进行2∶1的采样，分别以A1)中获取的V1和A21)中获取的V2为初始位置作[-2，1]范围内的匹配搜索，得到预测宏块在低采样率下的预测运动矢量。

5、根据权利要求3所述的分层运动估计方法，其特征在于，所述步骤A1)包括：

对原始图像进行4∶1的采样，预测宏块被抽样为一个4×4的当前图像块，预测宏块在对应位置处[-4，3]范围内的匹配搜索被分解为当前图像块在4个起始位置处的匹配搜索进行。

6、根据权利要求3所述的分层运动估计方法，其特征在于，所述步骤A2)包括：

对原始图像进行2∶1的采样，预测宏块被抽样为一个8×8的当前图像块，预测宏块在对应位置处[-2，1]范围内的匹配搜索被分解为4个4×4图像块的匹配搜索进行，把这4个4×4图像块与对应搜索图像块的绝对误差和累加得到当前8×8图像块的绝对误差和。

7、根据权利要求1所述的分层运动估计方法，其特征在于，所述步骤B)包括：

直接处理预测宏块，当前图像块的大小为16×16，预测宏块在对应位置处[-2，1]范围内的匹配搜索被分解为16个4×4图像块的匹配搜索进行，把这16个4×4图像块与对应搜索图像块的绝对误差和累加得到当前图像块的绝对误差和。

8、根据权利要求1所述的分层运动估计方法，其特征在于，所述步骤B)进一步包括，通过以下方式实现MPEG-4的高级预测模式：

预测宏块在对应位置处[-2，1]范围内的匹配搜索被分解为16个4×4图像块的匹配搜索进行，把这16个4×4图像块再分成分别组成预测宏块的4个8×8子图像块的4组，把4组4×4图像块的绝对误差和累加起来并输出、比较，得到预测宏块的4个8×8子图像块的预测运动矢量即MPEG-4的高级预测结果。

9、一种分层运动估计超大规模集成电路，其特征在于：该电路包括处理单元阵列、数据存储区、控制器和比较判别器，其中：

数据存储区存储预测宏块数据和搜索窗数据；

处理单元阵列包括N×N个处理单元，用于计算当前N×N图像块与某一位置处[-N/2，N/2-1]范围内N×N个N×N搜索图像块的绝对误差和；

比较判决器用于根据处理单元阵列输出的计算结果，得到预测运动矢量并送给控制器；

控制器用于：从数据存储区把当前N×N图像块数据和搜索图像块数据送到处理单元阵列，控制处理单元阵列的操作，把处理单元阵列的计算结果送给比较判决器，以及从比较判决器得到预测宏块的预测运动矢量。

10、根据权利要求9所述的分层运动估计超大规模集成电路，其特征在于：

所述的处理单元在控制器的控制下实现当前N×N图像块与某一位置处[-N/2，N/2-1]范围内的N×N个搜索图像块中一个块的绝对误差和的计算，其中，所述搜索图像块在[-N/2，N/2-1]范围内的相对位置是固定的。

11、根据权利要求9所述的分层运动估计超大规模集成电路，其特征在于：

所述的处理单元在控制器的控制下实现当前N×N图像块与多个搜索N×N图像块的绝对误差和累加的计算。

12、根据权利要求9所述的分层运动估计超大规模集成电路，其特征在于：

所述的处理单元进一步包括一个由4个累加器组成的累加器组和一个大小为4的寄存器，用以实现MPEG-4的高级预测，其中4个累加器负责分别累加预测宏块的4个8×8子图像块与搜索图像块的绝对误差和，寄存器负责保存4个子图像块的预测运动矢量。

13、根据权利要求9所述的分层运动估计超大规模集成电路，其特征在于，所述控制器用于从数据存储区把搜索图像块数据送到处理单元阵列的方式为：

控制器用于把搜索图像块数据以流水线方式分奇数和偶数列像素值两路送入所述处理单元阵列，偶数列数据比奇数列数据迟滞4个周期，并控制处理单元阵列每隔四个周期其取值对象由其中一路转换为另一路。

14、根据权利要求9所述的分层运动估计超大规模集成电路，其特征在于，所述控制器用于从数据存储区把当前N×N图像块数据送到处理单元阵列的方式为：

控制器用于把当前图像块数据以并行方式送入处理单元阵列，在同一个周期中，所有处理单元使用当前图像块中同一像素值。

Images