CN102378009A

CN102378009A - 一种视差估计快速算法

Info

Publication number: CN102378009A
Application number: CN2011103595176A
Authority: CN
Inventors: 王好谦; 杜成立; 戴琼海
Original assignee: Shenzhen Graduate School Tsinghua University
Current assignee: Shenzhen Graduate School Tsinghua University
Priority date: 2011-11-14
Filing date: 2011-11-14
Publication date: 2012-03-14
Anticipated expiration: 2031-11-14
Also published as: HK1164598A1; CN102378009B

Abstract

本发明公开了一种利用Kalman滤波优化的视差估计方法，在视差估计时，先利用传统的快速块匹配算法得到视差向量，对视差向量的结果进行kalman滤波，使其更接近全搜索算法得到的结果，同时经过kalman滤波优化处理，视差向量精确度能提高到分数级别，且避免了传统的分数精度搜索所带来的插值运算及搜索次数增加。

Description

一种视差估计快速算法

技术领域

本发明涉及视频编码领域的多视点视频编码技术，尤其是涉及一种视差估计快速算法。

背景技术

多视点视频编码是立体视频应用的关键技术，相比传统的双目立体视频，它提供了多个视点，为观察者在不同角度欣赏立体视频成为可能，也增强了立体视频的真实性。

多视点视频序列包括多个摄像机在同一时间拍摄的多路视频，因此，多视点视频序列包含极大地数据量，这就给多视点视频序列的应用带来了诸多不便，高效的多视点视频压缩技术成为亟待解决的问题。

目前，多视点视频编码技术已经有一定的研究成果，在相关的编码标准中也有一定程度的应用。最直接的编码方案是将各路视频单独编码，这种方案虽然简单，但是没有充分利用多视点序列视点间的相关性，即不能降低视点间冗余，压缩效率并不理想。为了充分利用视点间相关性，基于视差估计的视差补偿是一个不错的选择。鉴于此，对于多视点视频序列的压缩，一方面类似普通2D视频，通过运动补偿（MCP）的方式降低时域冗余以减少多视点视频序列的数据量，另一方面，通过视差补偿（DCP）的方法降低视点间冗余。为了提高估计的精度，运动向量和视差向量的精度都提高到了分数精度，同时运算量也进一步增加，并且很大程度上限制了编码效率的提升。

为了降低运算量，现有的解决方法主要集中在快速块匹配搜索算法，例如，优化的搜索路径（三步搜索等），分层搜索，根据运动特性自适应调整搜索中心和范围等。这些方法基本思想都是减少搜索点来降低运算量，虽然简便易行，但同样存在一些不足之处，例如，环境条件假设不尽合理，忽略了环境噪声的存在和影响，快速搜索算法仅能得到局部最优结果。

发明内容

本发明所要解决的技术问题是提供一种利用Kalman滤波优化的视差估计方法，充分利用多视点视频序列视点间的相关性，保证运算量在可接受的范围内，且尽可能的提高视差估计的精度。

本发明的技术问题通过以下技术手段予以解决：

一种利用Kalman滤波优化的视差估计方法，包括以下步骤：

A）以待估计的第一视点视频序列各帧作为锚定帧，第二视点视频序列各帧作为预测帧，其中第一视点视频序列的第n帧记为Pln、第二视点视频序列的第n帧记为Prn；并将第一视点视频序列和第二视点视频序列的各帧分成预定大小的多个宏块；

B）对于首帧Pl1和Pr1，采用全搜索块匹配算法确定Pr1各个宏块在Pl1中的最佳匹配块，进而得到各个宏块的视差向量Xr1（r，s），其中，r、s分别用于标识该宏块位于该帧的第r列，第s行；

C）对于首帧图像以外的第n（n＞1）帧，分别进行如下处理：

C-1）计算预测帧各个宏块与锚定帧对应宏块之间灰度值的平均绝对误差值，通过排序算法将各宏块的平均绝对误差值由大到小进行排序，将排在预定位置的宏块的平均绝对误差值设为阈值T；

C-2）对预测帧Prn的每一宏块，采用快速块匹配算法依次在锚定帧Pln的预定搜索区域确定其最佳匹配块，进而得到相应的视差向量Yrn（r，s）；

C-3）计算预测帧Prn的每一宏块与其最佳匹配块之间灰度值的平均绝对误差Tn，若Tn＜T则将步骤C-2）计算得到的视差向量Yrn（r，s）作为最终的视差向量；否则执行步骤D）；

D）将预测帧Prn每一宏块的视差向量Xrn（r，s）视为与前一帧对应块的视差向量Xrn-1（r，s）仅相差一个噪声信号Wrn（r，s），从而构建Kalman滤波的***状态方程；将Yrn（r，s）视为被噪声V rn(r,s)污染的观测结果从而构建Kalman滤波的观测方程；设定噪声信号Wrn（r，s）和V rn(r,s)的值进行Kalman滤波从而得到最终的分数级视差向量Xrn（r，s）。

与现有技术相比，本发明的上述方案，仅仅对待估计序列的第一帧采用全搜索的方法得到较精确的视差向量，为其他各帧的Kalman滤波提供准确的参考，由于仅是第一帧采用全搜索方法，所以对视差估计的整体运算量而言，其影响可以忽略不计；对于第一帧以外的其他各帧，采用快速匹配算法确定匹配块，并计算出相应的视差向量，通过锚定帧与预测帧对应宏块灰度值的MAD(Mean Absolute Deviation平均绝对误差)判断图像的复杂程度，对于简单的宏块，由于快速搜索算法计算得到的视差向量已经接近全局最优，则不进行滤波处理，从而降低了滤波带来的计算量；对于复杂的宏块（即：MAD大于阈值的宏块），利用其与前一时刻对应块的相关性进行Kalman滤波处理得到分数级的视差向量，而避免了传统的分数精度搜索所带来的插值运算及搜索次数增加。

优选地，所述步骤D）中，噪声信号Wrn（r，s）的方差取0.375T，Vrn(r,s)的方差取0.125T。

优选地，所述步骤C-1）中，所述阈值T的取值范围为排在60%~80%的某一宏块的平均绝对误差值。视差主要是由于摄像头摆放位置差异造成的，故而所有的宏块都存在视差，而且由于内容的不同MAD无法设定为固定的，所以采用自适应的方式，对MAD由大到小的前60~80%进行滤波处理，将MAD排序得到相应阈值T，大于阈值的滤波，其他宏块则选择跳过，同时兼顾计算精度和计算量。

优选地，所述步骤C-2）中，所述快速块匹配算法采用三步搜索法或菱形搜索法。

优选地，所述步骤C-2）中快速块匹配算法的搜索半径为15像素。

附图说明

图1是本发明具体实施方式构建AR模型的对应块示意图；

图2是本发明具体实施方式的流程图；

图3是本发明具体实施方式的当前帧处理流程图。

具体实施方式

下面对照附图，以多视点视频序列任意两路相邻序列获取视差向量为例对本发明作进一步说明。

1）对于待处理的两路视频序列，左路第n帧，记为Pln，右路第n帧，记为Prn，其中n=1，2，3…….，左路相应各帧作为锚定帧，右路各帧作为预测帧。具体实现时，将各帧分成若干个预定大小的宏块，例如16x16像素大小。

2）首帧Pl1和Pr1，作为第一组没有可以参考的前两帧的视差向量，故而可以采用全搜索的方法确定Pr1各个宏块在Pl1中的最佳匹配块，进而得到较精确的视差向量Xr1（r，s）（其中，r、s分别用于标识该宏块位于该帧的第r列，第s行）为后面帧参考提供较准确的依据，由于仅是第一帧采用全搜索，所以对算法的总体运算量来说，其影响可以忽略不计

3）对于首帧图像以外的第n（n＞1）帧，分别进行如下处理：

3-1）计算当前预测帧各个宏块与锚定帧对应宏块之间灰度值的平均绝对误差值（MAD），通过排序算法将各宏块的平均绝对误差值由大到小进行排序，将排在预定位置的某一宏块的平均绝对误差值设为阈值T，该阈值T可以根据实际需要取排在第60%~80%中任一位置的宏块的MAD值，本实施例选择80%位置的宏块的MAD值为阈值。

3-2）对预测帧Prn的每一宏块，采用快速块匹配算法依次在锚定帧Pln的预定搜索区域确定其最佳匹配块，进而得到相应的视差向量Yrn（r，s）；所述预定搜索区域可以根据实际需要进行选择，本实施方式选择搜索半径为15像素的区域为预定搜索区域。

3-3）计算预测帧Prn的当前宏块与其最佳匹配块之间灰度值的平均绝对误差Tn，若Tn＜T则将步骤3-2）计算得到的视差向量Yrn（r，s）作为最终的视差向量；否则执行步骤4）；

4）将预测帧Prn每一宏块的视差向量Xrn（r，s）视为与前一帧对应块的视差向量Xrn-1（r，s）仅相差一个噪声信号Wrn（r，s），从而构建Kalman滤波的***状态方程；将Yrn（r，s）视为被噪声V rn(r,s)污染的观测结果从而构建Kalman滤波的观测方程；设定噪声信号Wrn（r，s）和V rn(r,s)的值进行Kalman滤波从而得到最终的分数级视差向量Xrn（r，s）。即：

4-1）选择前一时刻两帧视差场对应块，如图1，此时可以构建简化的一维AR模型如下：Xrn(r,s) = a Xrn-1(r,s) + Wrn(r,s)，其中Wrn (r,s)为噪声信号，a是构造的线性模型的参数，即当前变量和参考变量呈线性关系，本实施方式a=1。

4-2）将Yrn（r，s）视为被噪声V rn(r,s)污染的观测结果，即： Yrn(r,s) = h Xrn(r,s) + V rn(r,s)，其中， V rn(r,s)为噪声信号，h为观测参数，本实施方式h=1。

4-3）根据上述两个等式可以得到：

***的状态方程： x(k) = ax(k-1) + w(k)

观测方程： y(k) = hx(k) + v(k)

选择合适的噪声信号的均值和方差，经Kalman滤波得到分数级别的视差向量。其中，噪声信号为W和V，假设二者都为高斯分布的噪声信号，且均值为0。噪声信号W方差选取0.375T，V选择0.125T。T为前述的阈值，噪声信号方差的选取跟阈值是有相关性的，且比较小，故而采用T乘以系数的方式选取，而***方程中噪声一般大于观测方程。

5）检查当前帧所有宏块是否处理完成，若没有则重复前述步骤3）、4）对下一宏块进行处理，若完成则执行步骤6）。

6）处理第N+1帧，直至处理完所有帧。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims

1.一种利用Kalman滤波优化的视差估计方法，其特征在于，包括以下步骤：

C）对于首帧图像以外的第n（n＞1）帧，分别进行如下处理：

D）将预测帧Prn每一宏块的视差向量Xrn（r，s）视为与前一帧对应块的视差向量Xrn-1（r，s）仅相差一个噪声信号Wrn（r，s），从而构建Kalman滤波的***状态方程；将Yrn（r，s）视为被噪声Vrn(r,s)污染的观测结果从而构建Kalman滤波的观测方程；设定噪声信号Wrn（r，s）和V rn(r,s)的值进行Kalman滤波从而得到最终的分数级视差向量Xrn（r，s）。

2.根据权利要求1所述利用Kalman滤波优化的视差估计方法，其特征在于：所述步骤D）中，噪声信号Wrn（r，s）的方差取0.375T，Vrn(r,s)的方差取0.125T。

3.根据权利要求1所述的利用Kalman滤波优化的视差估计方法，其特征在于：所述步骤C-1）中，所述阈值T的取值范围为排在60%~80%的宏块的平均绝对误差值。

4.根据权利要求1所述的利用Kalman滤波优化的视差估计方法，其特征在于：所述步骤C-2）中，所述快速块匹配算法采用三步搜索法或菱形搜索法。

5.根据权利要求4所述的利用Kalman滤波优化的视差估计方法，其特征在于：所述步骤C-2）中快速块匹配算法的搜索半径为15像素。