CN103618904A - 基于像素的运动估计方法及装置 - Google Patents

Abstract

本发明实施例公开了基于像素的运动估计方法及装置。所述方法包括：生成输入图像相对于参考图像在每个候选矢量下的初始代价图；根据所述初始代价图生成候选代价图；根据所述候选代价图为所述输入图像的像素选取代价最小的候选矢量作为该像素的运动矢量。所述装置包括：生成单元，候选单元，选择单元。采用本发明实施例公开的方法及装置，进行基于像素的运动估计，获取基于像素的运动矢量，不需要进行密集运算，处理效率相对较高。

Description

基于像素的运动估计方法及装置

技术领域

本发明涉及视频处理领域，尤其涉及基于像素的运动估计方法及装置。

背景技术

在帧序列图像中，邻近图像帧中的景物通常存在着一定的相关性，不同的图像帧中可能含有相同的景物。但是，在不同的图像帧中，相同的景物的空间位置可能不同。某景物在输入图像中的空间位置，相对于该景物在参考图像中的空间位置，会存在一个相对偏移量，该相对偏移量就是通常所指的运动矢量。获取该物运动矢量的过程被称为运动估计（Motion Estimation）。

运动估计是视频编码和视频处理中广泛使用的一种技术。在视频编码中，运动矢量可以用来寻找参考图像帧中相关性最高的图像宏块，从而减少视频内容的冗余度。视频编码中最常见的运动估计方法是基于规则宏块的运动估计。基于规则宏块的运动估计，通常首先把输入图像划分为若干个大小相等的宏块；然后计算每一个宏块在不同候选矢量下对应的绝对差之和（SAD，Sum of Absolute Difference）；最后选取最小SAD值对应的候选矢量为该宏块的运动矢量。在视频处理中，许多技术的实现同样需要使用运动矢量。例如，视频去隔行技术、时域的超分辨率技术、时域的降噪技术以及视频插帧技术等都需要用到运动矢量。与视频编码中使用的运动矢量不同的是，视频处理通常是以像素为处理单元，因此，视频处理中需要使用基于像素的运动矢量。基于像素的运动矢量需要用基于像素的运动估计方法获取。

基于像素的运动估计方法有多种。其中比较常用的方法有基于特征跟踪的运动估计方法、全局光流法等。基于特征跟踪的运动估计方法，首先生成稀疏光流；然后对稀疏光流进行插值得到像素级别的密集光流；根据密集光流确定每一个像素的运动矢量。其中，对稀疏光流进行插值的过程需要进行密集运算。全局光流法，需要按照一定的规则对全局光流的代价进行统一建模；经过迭代运算并对光流图进行优化，在达到代价最小时输出最小代价对应的光流图；然后根据光流图确定每一个像素所对应的运动矢量。其中，迭代运算并对光流图进行优化的过程同样需要进行密集运算。

从上述内容可以看出，采用现有方法进行运动估计，获取基于像素的运动矢量，需要进行插值或迭代等密集运算，处理效率低。

发明内容

本发明实施例提供了基于像素的运动估计方法及装置，以解决现有方法需要进行密集运算，处理效率低的问题。

第一方面，本发明实施例提供了一种基于像素的运动估计方法，包括：生成输入图像相对于参考图像在每个候选矢量下的初始代价图；根据所述初始代价图生成候选代价图；根据所述候选代价图为所述输入图像的像素选取代价最小的候选矢量作为该像素的运动矢量。

结合第一方面，在第一方面第一种可能的实现方式中，所述生成输入图像相对于参考图像在每个候选矢量下的初始代价图，包括：采用计算对应像素的像素绝对差与梯度绝对差之和方式，生成输入图像相对于参考图像在每个候选矢量下的初始代价图。

结合第一方面或第一方面第一种可能的实现方式，在第一方面第二种可能的实现方式中，所述根据所述初始代价图生成候选代价图，包括：对每一幅所述初始代价图进行平滑得到平滑代价图；根据所述平滑代价图确定候选代价图。

结合第一方面第二种可能的实现方式，在第一方面第三种可能的是实现方式中，所述对每一幅所述初始代价图进行平滑得到平滑代价图，包括：计算每一幅所述初始代价图与所述输入图像之间的线性关系；根据所述线性关系对每一幅所述初始代价图进行平滑得到平滑代价图。

结合第一方面第三种可能的实现方式，在第一方面第四种可能的是实现方式中，在所述计算每一幅所述初始代价图与所述输入图像之间的线性关系之前，还包括：对每一幅所述初始代价图进行下采样生成采样代价图；对所述输入图像进行下采样生成采样图像；所述计算每一幅所述初始代价图与所述输入图像之间的线性关系，包括：计算每一幅所述采样代价图与所述采样图像之间的所述线性关系。

结合第一方面第四种可能的实现方式，在第一方面第五种可能的是实现方式中，所述获取每一幅所述采样代价图与所述采样图像之间的线性关系，包括:采用线性衰退法计算每一幅所述采样代价图与所述采样图像之间的线性关系。

结合第一方面第四种可能的实现方式或第一方面第五种可能的实现方式，在第一方面第六种可能的是实现方式中，所述对每一幅所述初始代价图进行下采样生成采样代价图，之前还包括：对每一幅所述初始代价图进行均值滤波；所述对每一幅所述初始代价图进行下采样生成采样代价图，包括：对均值滤波后的每一幅所述初始代价图进行下采样生成采样代价图。

结合第一方面第四种可能的实现方式、第一方面第五种可能的实现方式或第一方面第六种可能的是实现方式，在第一方面第七种可能的是实现方式中，所述对所述输入图像进行下采样生成采样图像之前，还包括：对所述输入图像进行均值滤波；所述对所述输入图像进行下采样生成采样图像，包括：对均值滤波后的输入图像进行下采样生成采样图像。

结合第一方面第四种可能的实现方式、第一方面第五种可能的实现方式、第一方面第六种可能的是实现方式或第一方面第七种可能的是实现方式，在第一方面第八种可能的是实现方式中，所述根据所述平滑代价图确定候选代价图，包括：将所述平滑代价图作为所述候选代价图；或者，根据所述采样代价图选择代价最小的预选矢量；使用所述预选矢量对每一幅所述平滑代价图进行修正得到所述候选代价图。

另一方面，本发明实施例还提供了一种基于像素的运动估计装置，包括：生成单元，用于生成输入图像相对于参考图像在每个候选矢量下的初始代价图；候选单元，用于根据所述生成单元生成的所述初始代价图生成候选代价图；选择单元，用于根据所述候选单元生成的所述候选代价图为所述输入图像的像素选取代价最小的候选矢量作为该像素的运动矢量。

结合第二方面，在第二方面第一种可能的实现方式中，所述生成单元，用于采用计算对应像素的像素绝对差与梯度绝对差之和方式，生成输入图像相对于参考图像在每个候选矢量下的初始代价图。

结合第二方面或第二方面第一种可能的实现方式，在第二方面第二种可能的实现方式中，所述候选单元包括：平滑子单元，用于对每一幅所述初始代价图进行平滑得到平滑代价图；确定子单元，用于根据所述平滑代价图确定候选代价图。

结合第二方面第二种可能的实现方式，在第二方面第三种可能的是实现方式中，所述平滑子单元包括：关系计算子单元，用于计算每一幅所述初始代价图与所述输入图像之间的线性关系；线性平滑子单元，用于根据关系计算子单元计算得出的所述线性关系对每一幅所述初始代价图进行平滑得到平滑代价图。

结合第二方面第三种可能的实现方式，在第二方面第四种可能的是实现方式中，所述平滑子单元还包括：第一下采样子单元，用于对每一幅所述初始代价图进行下采样生成采样代价图；第二下采样子单元，用于对所述输入图像进行下采样生成采样图像；所述关系计算子单元，用于计算所述第一下采样子单元生成的每一幅所述采样代价图与所述第二下采样子单元生成的所述采样图像之间的所述线性关系。

结合第二方面第四种可能的实现方式，在第二方面第五种可能的是实现方式中，所述关系计算子单元，用于采用线性衰退法计算所述第一下采样子单元生成的每一幅所述采样代价图与所述第二下采样子单元生成的所述采样图像之间的线性关系。

结合第二方面第四种可能的实现方式或第二方面第五种可能的实现方式，在第二方面第六种可能的是实现方式中，所述平滑子单元还包括：第一滤波子单元，用于对每一幅所述初始代价图进行均值滤波；所述第一下采样子单元，用于对所述第一滤波子单元均值滤波后的每一幅所述初始代价图进行下采样生成采样代价图。

结合第二方面第四种可能的实现方式、第二方面第五种可能的实现方式或第二方面第六种可能的是实现方式，在第二方面第七种可能的是实现方式中，所述平滑子单元还包括：第二滤波子单元，用于对所述输入图像进行均值滤波；所述第二下采样子单元，用于对所述第二滤波子单元均值滤波后的输入图像进行下采样生成采样图像。

结合第二方面第四种可能的实现方式、第二方面第五种可能的实现方式、第二方面第六种可能的是实现方式或第二方面第七种可能的是实现方式，在第二方面第八种可能的是实现方式中，所述选择单元，用于将所述平滑代价图作为所述候选代价图；或者，根据所述采样代价图选择代价最小的预选矢量；使用所述预选矢量对每一幅所述平滑代价图进行修正得到所述候选代价图。

本发明实施例中，生成输入图像相对于参考图像在每个候选矢量下的初始代价图；根据所述初始代价图生成候选代价图；根据所述候选代价图为所述输入图像的像素选取代价最小的候选矢量作为该像素的运动矢量。应用本发明的实施例，进行基于像素的运动估计，获取基于像素的运动矢量，不需要进行插值或迭代等密集运算，处理效率相对较高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。通过附图所示，本发明的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本发明的主旨。

图1为本发明基于像素的运动估计方法一个实施例的流程图；

图2为本发明基于像素的运动估计方法另一个实施例的流程图；

图3为本发明基于像素的运动估计装置一个实施例的框图；

图4为本发明基于像素的运动估计装置候选单元一个实施例的框图；

图5A为本发明基于像素的运动估计装置平滑子单元一个实施例的框图；

图5B为本发明基于像素的运动估计装置平滑子单元一个实施例的框图；

图5C为本发明基于像素的运动估计装置平滑子单元一个实施例的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，为本发明基于像素的运动估计方法一个实施例的流程图。该实施例包括如下步骤：

步骤101，生成输入图像相对于参考图像在每个候选矢量下的初始代价图。

为加快处理速度，并保持最终结果的一致性，在进行基于像素的运动估计时，可以预先选取N个矢量作为候选矢量，其中N≥2；然后从该N个候选矢量中为输入图像每一个像素选出代价最小的一个候选矢量，作为该像素的运动矢量。此时，运动估计的过程即为从候选矢量中为每一个像素选取运动矢量的过程。候选矢量的选取方式有多种，例如，可以将已处理图像像素的运动矢量作为候选矢量，其中，已处理图像可以是与输入图像同在一个图像序列中的图像。

在选取运动矢量时，首先需要计算输入图像相对于参考图像在每一个候选矢量下的初始代价图。初始代价图由输入图像中每一个像素相对于参考图像中的对应像素，在候选矢量下的代价构成。如果有N个候选矢量，那么可以得到N幅初始代价图，N个候选矢量与N幅初始代价图一一对应。

步骤102，根据所述初始代价图生成候选代价图。

在获取到初始代价图后，可以首先生成每一幅初始代价图对应的平滑代价图；然后根据平滑代价图确定与每一幅初始代价图对应的候选代价图。如果有N幅初始代价图，相应可以生成N幅平滑代价图，N幅候选代价图与N幅初始代价图一一对应。

生成平滑代价图时可以采用直接平滑的方式。具体来说，可以根据初始代价图与输入图像之间的线性关系，对初始代价图进行平滑，得到平滑代价图。对初始代价图进行平滑，可以使运动矢量的选取更加准确，并且具有较好的一致性。初始代价图与输入图像之间的线性关系，可以采用线性衰退法计算。

生成平滑代价图时也可以采用先采样后平滑的方式。具体来说，可以先对初始代价图进行下采样得到采样代价图，并且对输入图像进行下采样得到采样图像；然后根据采样代价图与采样图像之间的线性关系，对采样代价图进行平滑，生成平滑代价图。对初始代价图及输入图像进行下采样，可以在保证运动矢量选取准确的前提下，减少计算复杂度。采样代价图与采样图像之间的线性关系，也可以采用线性衰退法计算。

在对初始代价图进行采样之前，还可以先对初始代价图进行均值滤波；同样的，在对输入图像进行采样之前，也可以先对输入图像进行采样进行均值滤波。先对初始代价图及输入图像进行均值滤波，然后再进行采样，可以增加处理过程的鲁棒性，减少图像噪声的影响。

根据平滑代价图确定候选代价图也可以有多种方式。例如，可以在获取到平滑代价图后，直接将平滑代价图作为候选代价图；或者，也可以先根据初始代价图，为每一个像素选择一个预选矢量，然后使用预选矢量对平滑代价图进行修正，将修正后的平滑代价图作为候选代价图，从而提高预选矢量被选中的概率。

当初始代价图为N幅时，对每一幅初始代价图都可以采用前述方法进行平滑。

步骤103，根据所述候选代价图为所述输入图像的像素选取代价最小的候选矢量作为该像素的运动矢量。

从前述获取候选代价图的过程可知，根据与N个候选矢量对应的N幅候选代价图，可以知道像素j相对于像素mi+j，在每个候选矢量下的代价，其中，像素j为输入图像中的像素，像素mi+j为参考图像中与像素j对应的像素；从而可以为输入图像I中每一个像素选择一个代价最小的候选矢量作为运动矢量。在为每一个像素选取运动矢量时，可以依据胜者全拿（WTA，Winner Take All）规则，具体的选取过程在此就不再赘述。

本发明实施例中，生成输入图像相对于参考图像在每个候选矢量下的初始代价图；根据所述初始代价图生成候选代价图；根据所述候选代价图为所述输入图像的像素选取代价最小的候选矢量作为该像素的运动矢量。应用本实施例，进行基于像素的运动估计，获取基于像素的运动矢量，不需要进行密集运算，处理效率相对较高。

参见图2，为本发明基于像素的运动估计方法另一个实施例的流程图，该实施例详细说明了本发明基于像素的运动估计方法。

步骤201，采用计算对应像素的像素绝对差与梯度绝对差之和方式，生成输入图像相对于参考图像在每个候选矢量下的初始代价图。

为便于描述，输入图像可以记为I，参考图像可以记为R，候选矢量可以记为i，初始代价图可以记为C。输入图像I的像素可以记为j，参考图像R中与像素j对应的像素可以记为mi+j，输入图像I相对于参考图像R在候选矢量i下初始代价图可以记为C_i。输入图像I中的像素j，相对于参考图像R中与像素j对应的像素mi+j，在候选矢量i下的初始代价可以简称为像素j的初始代价。

初始代价图C_i可以由输入图像I中每一个像素的代价构成。像素j的初始代价可以用像素j与像素mi+j的像素绝对差与像素j与像素mi+j的梯度绝对差计算。在候选矢量i下，像素j的初始代价C_i,j＝|I_j-R_mi+j|+|D_j-D_mi+j|，其中|I_j-R_mi+j|为像素j与像素mi+j像素绝对差，|D_j-D_mi+j|为像素j与像素mi+j梯度绝对差。由于每一个像素可以通过其在图像中的坐标值来表示，因此，像素j与像素mi+j的像素绝对差可以根据像素j的坐标值与像素mi+j坐标值进行计算，像素j与像素mi+j的梯度绝对差可以利用像素j的梯度值与像素mi+j梯度值进行计算，具体计算过程在此就不再赘述。

当候选矢量有多个时，可以采用上述方法分别获取与每一个候选矢量对应的初始代价图。采用像素绝对差与梯度绝对差之和计算每一个像素的代价，计算过程简单并能在代价图中保留输入图像的边缘特性。

步骤202，对每一幅所述初始代价图进行均值滤波。

均值滤波是一种典型的线性滤波算法，它是指在图像上为目标像素设定一个滤波模板，该模板包括目标像素周围的临近像素，例如，以目标像素为中心的周围8个像素，构成一个滤波模板；再用模板中的全体像素的平均值来代替原来像素值，这里的平均值及像素值可以是色彩值、灰度值等。均值滤波的具体实现方法有很多，在此就不再赘述。对初始代价图进行均值滤波，可以减小图像噪声对运动矢量选取结果的影响。

步骤203，对均值滤波后的每一幅所述初始代价图进行下采样得到采样代价图。

为减少计算过程复杂度，可以对均值滤波后的初始代价图进行下采样。下采样的比例可以根据需要进行设定。例如，可以对初始代价图水平方向进行四倍采样，垂直方向进行三倍采样。如果有N幅初始代价图，则分别对每一幅初始代价图进行下采样，生成每一幅初始代价图对应的采样代价图。

步骤204，对所述输入图像进行均值滤波。

对输入图像进行均值滤波，可以减小噪声对运动矢量选取结果的影响。

步骤205，对均值滤波后的所述输入图像进行下采样得到采样图像。

为减少计算过程复杂度，还可以对均值滤波后的输入图像进行下采样。下采样的比例可以与对初始代价图进行下采样的比例相同。

在此需要说明的是，可以先执行步骤202至步骤203，再执行步骤204至步骤205；也可以先执行步骤204至步骤205，再执行步骤202至步骤203，对此本发明不做限定。

步骤206，计算每一幅所述采样代价图与所述采样图像之间的所述线性关系；

采样代价图与采样图像之间的线性关系，由采样图像中每一个像素与采样代价图中该像素对应的代价之间的线性关系构成。像素与该像素对应的代价之间的线性关系，可以根据像素亮度与该像素对应的代价计算。当有N幅采样代价图时，可以采用线性衰退法逐一获取每一幅采样代价图与采样图像之间的线性关系。

采样图像中像素与采样代价图中该像素对应的代价之间的线性关系，由二者之间的线性关系系数决定，只要获取到二者之间的线性关系系数，就可以确定二者之间的线性关系。在计算某个像素的线性关系系数时，首先为该像素在采样图像上设定一个局部图像窗口，局部图像窗口中包含该像素。局部图像的大小可以根据需求进行设定。例如，可以采用13*13的图像块作为局部图像窗口。计算过程可以包括如下步骤：计算局部图像窗口中各个像素的平均亮度

及亮度的标准方差var(I′I′)，其中

计算在候选矢量i下，局部图像窗口中像素的平均代价值

及局部图像窗口中像素代价值的协方差cov(C_i′I′)，其中根据上述平均亮度

亮度的标准方差var(I′I′)、平均代价值

及代价值的协方差cov(C_i'I')，可以计算出该像素计算线性关系系数。线性关系系数包括斜率a_i和截距b_i，其中，

如前述公式所示，在计算标准方差和协方差可以用局部图像窗口的均值运算。使用积分图等技术可以使得运算复杂度与窗口大小无关。计算线性关系系数的方法还有多种，这里不再详细介绍。

如果有N幅采样代价图，可以采用前述方法，分别获取每一幅采样代价图与输入图像之间的线性关系，得到与N幅采样代价图一一对应的N个线性关系。采用线性衰退的方法来计算下采样图像亮度与采样代价图之间的线性关系，可以只进行一次扫描，从而降低运算复杂度。

步骤207，根据所述线性关系对每一幅所述初始代价图进行平滑得到平滑代价图。

在获取到采样代价图与采样图像之间的线性关系后，可根据所述线性关系，对采样代价图进行平滑。与采样代价图C_i'对应的平滑代价图可以记为C_i″。对采样代价图C_i'进行平滑，可以通过对采样代价图C_i'中包括的每一个像素的代价进行平滑实现。例如，在候选矢量i下，输入图像I中像素j，在与输入图像对应的采样图像中，与像素j对应的采样后像素k，则像素j经过平滑后为的代价可以记为C"_ik，可知C"_ik＝a_ik*I_j+b_ik，其中a_ik为与像素j对应的斜率，b_ik为与像素j对应的截距，I_j为像素j的亮度。

步骤208，根据所述采样代价图选择代价最小的预选矢量。

在对每一幅所述初始代价图进行下采样得到采样代价图后，可以根据采样代价图，为每一个像素预先选取一个代价最小的运动矢量，作为预选矢量。在为每一个像素选取预选矢量时，可以依据胜者全拿（WTA，Winner Take All）规则，具体的选取过程在此就不再赘述。

步骤209，使用所述预选矢量对每一幅所述平滑代价图进行修正，生成候选代价图。

在获取到预选矢量后，可以根据预选矢量对平滑代价图进行修正，生成候选代价图，提高预选矢量被选中的概率。例如，若采样图像中，与输入图像I中像素j对应的像素k的预选矢量为t。预选矢量t对应的平滑代价图C_t″中，像素k所对应的代价可以表示为C_tk″，则可将C_tk″乘以小于1的系数，从而提高运动矢量t成为输入图像I中像素j代价最小候选矢量的概率。预选矢量作为矢量选择时的一个参考，在纹理稀少或者噪声较大的输入图像中，可以提高运动矢量的一致性。

步骤210，根据所述候选代价图为所述输入图像的像素选取代价最小的候选矢量作为该像素的运动矢量。

在获取到候选代价图之后，依据WTA规则，为每一个像素选择一个代价最小的运动矢量。

在此需要说明的是，在执行完步骤207后可以直接执行步骤210，即，在获取到平滑代价图之后，可以不对平滑代价图进行修正，直接将平滑代价图作为候选代价图；然后为每一个像素选择一个代价最小的运动矢量。直接将平滑代价图作为候选代价图，可以简化处理过程，减少数据计算量。

从上述实施例可以看出，应用实施例进行基于像素的运动估计，不但计算简单，处理效率相对较高，适合使用硬件实现，而且能够准确选取运动矢量，使选取到的运动矢量有比较好的一致性，同时还有较好的鲁棒性。

与本发明基于像素的运动估计方法相对应，本发明还提供了基于像素的运动估计装置。

参见图3，为本发明基于像素的运动估计装置一个实施例框图。

该装置包括：生成单元301，候选单元302，选择单元303。

其中，所述生成单元301，用于生成输入图像相对于参考图像在每个候选矢量下的初始代价图。

生成单元301生成输入图像相对于参考图像在每个候选矢量下的初始代价图的具体方式可以有多种。例如，生成单元301可以用于采用计算对应像素的像素绝对差与梯度绝对差之和方式，生成输入图像相对于参考图像在每个候选矢量下的初始代价图。具体生成过程在此就不再赘述。

所述候选单元302，用于根据所述生成单元301生成的所述初始代价图生成候选代价图。

在生成单元301生成初始代价图后，候选单元302可以首先生成每一幅初始代价图对应的平滑代价图；然后根据平滑代价图确定与每一幅初始代价图对应的候选代价图。

如图4所示，候选单元302可以包括：平滑子单元401及确定子单元402。平滑子单元401用于对每一幅所述初始代价图进行平滑得到平滑代价图；确定子单元402用于根据所述平滑代价图确定候选代价图。

如图5A所示，平滑子单元401可以包括：关系计算子单元501，线性平滑子单元502。其中，所述关系计算子单元501，用于计算每一幅所述初始代价图与所述输入图像之间的线性关系；所述线性平滑子单元502，用于根据计算子单元501计算得出的所述线性关系对每一幅所述初始代价图进行平滑得到平滑代价图。

为减少数据计算量，加快处理速度，如图5B所示，平滑子单元401还可以包括：第一下采样子单元503及第二下采样子单元504。其中，第一下采样子单元503，用于对每一幅所述初始代价图进行下采样生成采样代价图；第二下采样子单元504，用于对所述输入图像进行下采样生成采样图像。当平滑子单元401包括第一下采样子单元503及第二下采样子单元504时，关系计算子单元501，可以用于计算所述第一下采样子单元503生成的每一幅所述采样代价图与所述第二下采样子单元504生成的所述采样图像之间的所述线性关系。

为减少图像中噪声点的影响，如图5C所示，平滑子单元401还可以包括：第一滤波子单元505及第二滤波子单元506。其中，第一滤波子单元505，用于对每一幅所述初始代价图进行均值滤波；第二滤波子单元506，用于对所述输入图像进行均值滤波。当平滑子单元包括第一滤波子单元505时，所述第一下采样子单元503，可以用于对所述第一滤波子单元505均值滤波后的每一幅所述初始代价图进行下采样生成采样代价图。当平滑子单元包括第二滤波子单元506时，所述第二下采样子单元504，可以用于对所述第二滤波子单元506均值滤波后的输入图像进行下采样生成采样图像。

若所述平滑子单元401包括所述第一下采样子单元503，则所述确定子单元402可以用于根据所述第一下采样子单元503生成的所述采样代价图选择代价最小的预选矢量；然后使用所述预选矢量对每一幅所述平滑代价图进行修正得到所述候选代价图。

所述选择单元303，用于根据所述候选单元302生成的所述候选代价图为所述输入图像的像素选取代价最小的候选矢量作为该像素的运动矢量。

从上述实施例可以看出，采用本实施例提供的基于像素的运动估计装置，进行基于像素的运动估计，获取基于像素的运动矢量，不需要进行密集运算，处理效率相对较高。由于计算过程简单，不需要插值或重复扫描，适合硬件实现。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种基于像素的运动估计方法，其特征在于，包括：

生成输入图像相对于参考图像在每个候选矢量下的初始代价图；

根据所述初始代价图生成候选代价图；

根据所述候选代价图为所述输入图像的像素选取代价最小的候选矢量作为该像素的运动矢量。

2.如权利要求1所述的方法，其特征在于，所述生成输入图像相对于参考图像在每个候选矢量下的初始代价图，包括：

采用计算对应像素的像素绝对差与梯度绝对差之和方式，生成输入图像相对于参考图像在每个候选矢量下的初始代价图。

3.如权利要求1或2所述的方法，其特征在于，所述根据所述初始代价图生成候选代价图，包括：

对每一幅所述初始代价图进行平滑得到平滑代价图；

根据所述平滑代价图确定候选代价图。

4.如权利要求3所述的方法，其特征在于，所述对每一幅所述初始代价图进行平滑得到平滑代价图，包括：

计算每一幅所述初始代价图与所述输入图像之间的线性关系；

根据所述线性关系对每一幅所述初始代价图进行平滑得到平滑代价图。

5.如权利要求4所述的方法，其特征在于，在所述计算每一幅所述初始代价图与所述输入图像之间的线性关系之前，还包括：

对每一幅所述初始代价图进行下采样生成采样代价图；

对所述输入图像进行下采样生成采样图像；

所述计算每一幅所述初始代价图与所述输入图像之间的线性关系，包括：

计算每一幅所述采样代价图与所述采样图像之间的所述线性关系。

6.如权利要求5所述的方法，其特征在于，所述获取每一幅所述采样代价图与所述采样图像之间的线性关系，包括:

采用线性衰退法计算每一幅所述采样代价图与所述采样图像之间的线性关系。

7.如权利要求5或6所述的方法，其特征在于，所述对每一幅所述初始代价图进行下采样生成采样代价图，之前还包括：

对每一幅所述初始代价图进行均值滤波；

所述对每一幅所述初始代价图进行下采样生成采样代价图，包括：

对均值滤波后的每一幅所述初始代价图进行下采样生成采样代价图。

8.如权利要求5至7任意一项权利要求所述的方法，其特征在于，所述对所述输入图像进行下采样生成采样图像之前，还包括：

对所述输入图像进行均值滤波；

所述对所述输入图像进行下采样生成采样图像，包括：

对均值滤波后的输入图像进行下采样生成采样图像。

9.如权利要求5至8任意一项权利要求所述的方法，其特征在于，所述根据所述平滑代价图确定候选代价图，包括：

将所述平滑代价图作为所述候选代价图；或者，

根据所述采样代价图选择代价最小的预选矢量；使用所述预选矢量对每一幅所述平滑代价图进行修正得到所述候选代价图。

10.一种基于像素的运动估计装置，其特征在于，包括：

生成单元，用于生成输入图像相对于参考图像在每个候选矢量下的初始代价图；

候选单元，用于根据所述生成单元生成的所述初始代价图生成候选代价图；

选择单元，用于根据所述候选单元生成的所述候选代价图为所述输入图像的像素选取代价最小的候选矢量作为该像素的运动矢量。

11.如权利要求10所述的装置，其特征在于，

所述生成单元，用于采用计算对应像素的像素绝对差与梯度绝对差之和方式，生成输入图像相对于参考图像在每个候选矢量下的初始代价图。

12.如权利要求10或11所述的装置，其特征在于，所述候选单元包括：

平滑子单元，用于对每一幅所述初始代价图进行平滑得到平滑代价图；

确定子单元，用于根据所述平滑代价图确定候选代价图。

13.如权利要求12所述的装置，其特征在于，所述平滑子单元包括：

关系计算子单元，用于计算每一幅所述初始代价图与所述输入图像之间的线性关系；

线性平滑子单元，用于根据关系计算子单元计算得出的所述线性关系对每一幅所述初始代价图进行平滑得到平滑代价图。

14.如权利要求13所述的装置，其特征在于，所述平滑子单元还包括：

第一下采样子单元，用于对每一幅所述初始代价图进行下采样生成采样代价图；

第二下采样子单元，用于对所述输入图像进行下采样生成采样图像；

所述关系计算子单元，用于计算所述第一下采样子单元生成的每一幅所述采样代价图与所述第二下采样子单元生成的所述采样图像之间的所述线性关系。

15.如权利要求14所述的装置，其特征在于，

所述关系计算子单元，用于采用线性衰退法计算所述第一下采样子单元生成的每一幅所述采样代价图与所述第二下采样子单元生成的所述采样图像之间的线性关系。

16.如权利要求14或15所述的装置，其特征在于，所述平滑子单元还包括：

第一滤波子单元，用于对每一幅所述初始代价图进行均值滤波；

所述第一下采样子单元，用于对所述第一滤波子单元均值滤波后的每一幅所述初始代价图进行下采样生成采样代价图。

17.如权利要求14至16任意一项权利要求所述的装置，其特征在于，所述平滑子单元还包括：

第二滤波子单元，用于对所述输入图像进行均值滤波；

所述第二下采样子单元，用于对所述第二滤波子单元均值滤波后的输入图像进行下采样生成采样图像。

18.如权利要求14至17任意一项权利要求所述的装置，其特征在于，

所述选择单元，用于将所述平滑代价图作为所述候选代价图；或者，

根据所述采样代价图选择代价最小的预选矢量；使用所述预选矢量对每一幅所述平滑代价图进行修正得到所述候选代价图。

Images