CN102427540B - 一种立体图像滤波方法及相应的图像处理装置、终端设备 - Google Patents

Abstract

一种立体图像滤波方法及相应的图像处理装置、终端设备，该方法包括：获取立体图像上各像素点的视差；对立体图像上的一像素点滤波时，根据该像素点的视差确定该像素点的卷积模板的大小，再按照该卷积模板的大小对该像素点进行滤波；其中，像素点的视差的绝对值或该绝对值所在视差取值区间的取值越大，为该像素点确定的卷积模板越大。相应地，该终端设备中的图像处理装置包括视差获取单元、模板确定单元和滤波单元。本发明使得立体图像具有更高的真实度。

Description

一种立体图像滤波方法及相应的图像处理装置、终端设备

技术领域

本发明涉及一种图形处理技术，特别是涉及一种立体图像滤波方法及相应的图像处理装置和终端设备。

背景技术

人类的眼睛在观察三维世界的时候，会有一个聚合点（convergence），或者称为关注点，一般情况下，这个位置的图像是在视网膜上成最清晰的像，在这个位置之前或者之后的物体成像开始模糊，而且距离这个点的绝对距离越远，那么成像越模糊。例如图1所示，物体B、C位于聚合点所在的平面M上，平面M也称为零视差面，物体A和D分别位于零视差面M之前和之后，物体A和D的视差用于表示物体A和D与零视差面的相对距离关系。在人眼成像中，B、C最清晰，A和D就会变得模糊一些，距离M越远就会越模糊。需要说明，图1只是一个简化图，实际的人眼成像是很复杂的，对图像的畸变、光线的影响等因素这里都没有进一步的考虑，只是在最基本的原理基础上进行分析。

现有技术中，在立体图像制作或者采集过程中，并没有充分考虑这种现象，比如摄像机（camera）的焦距不一定就在零视差面上，这样得到的图像并不符合人眼的成像特点，相应地，得到的立体图像的真实度低。而现有的图像处理中，对像素点进行滤波处理时，采用的是相同大小的卷积模板，不能够改善立体图像的显示效果。

发明内容

本发明要解决的技术问题是提供一种使得立体图像具有更高的真实度的立体图像滤波方法及相应的图像处理装置、终端设备。

为了解决上述问题，本发明提供了一种立体图像滤波方法，包括：

获取立体图像上各像素点的视差；

对立体图像上的一像素点滤波时，根据该像素点的视差确定该像素点的卷积模板的大小，再按照该卷积模板的大小对该像素点进行滤波；

其中，像素点的视差的绝对值或该绝对值所在视差取值区间的取值越大，为该像素点确定的卷积模板越大；

所述按照该卷积模板的大小对该像素点进行滤波，包括：采用低通滤波器在以该像素点为中心的卷积模板范围内进行滤波，且在卷积模板范围内的距离该像素点越近的像素点的权值越大；

所述卷积模板范围内的像素点的权值通过下式确定：

$W_{P,P^{\′}}=\frac{\mathrm{floor}\left(\frac{S\left(\mathrm{dP}\right)}{2}\right)+1-\sqrt{{(x^{\′}-x)}^2+{(y^{\′}-y)}^2}}{\mathrm{floor}\left(\frac{S\left(\mathrm{dP}\right)}{2}\right)+1}$

其中，W_P,P'表示对像素点P滤波时，在像素点P的卷积模板范围内的像素点P’的权值，(x,y)是像素点P的坐标，(x’,y’)是像素点P’的坐标，S(dP)表示像素点P的卷积模板的大小，floor(·)表示向下取整。

所述根据该像素点的视差确定所述像素点的卷积模板的大小，包括：

将该像素点的视差代入预设的卷积模板的大小与视差取值之间的非线性函数，计算出该像素点的卷积模板的大小；或者

确定该像素点的视差的绝对值所在的视差取值区间，到预先保存的卷积模板的大小与视差取值区间之间的对应关系中查找到该视差取值区间对应的卷积模板的大小。

较佳地，

获取立体图像上各像素点的视差之后，是对所述立体图像上的每一像素点进行滤波；或者

获取立体图像上各像素点的视差之后，还包括：逐一判断所述立体图像上的各像素点的视差是否大于或大于等于预设的阈值，只对视差大于或大于等于预设阀值的像素点进行滤波。

较佳地，

所述根据该像素点的视差确定所述像素点的卷积模板的大小，是将该像素点的视差代入预设的卷积模板的大小与视差取值之间的非线性函数，计算出该像素点的卷积模板的大小，其中，所述非线性函数为三次方程，抛物线方程或者对数方程。

相应地，本发明提供的一种图像处理装置包括：

视差获取单元，用于获取立体图像上各像素点的视差；

模板确定单元，用于对立体图像上要滤波的像素点，根据该像素点的视差确定该像素点的卷积模板的大小；其中，像素点的视差的绝对值或该绝对值所在视差取值区间的取值越大，为该像素点确定的卷积模板越大；

滤波单元，用于对确定了卷积模板的大小的像素点进行滤波；所述滤波单元按照该卷积模板的大小对该像素点进行滤波，包括：采用低通滤波器在以该像素点为中心的卷积模板范围内进行滤波，且在卷积模板范围内的距离该像素点越近的像素点的权值越大；所述滤波单元采用低通滤波器在以该像素点为中心的卷积模板范围内进行滤波时，卷积模板范围内的像素点的权值通过下式确定：

$W_{P,P^{\′}}=\frac{\mathrm{floor}\left(\frac{S\left(\mathrm{dP}\right)}{2}\right)+1-\sqrt{{(x^{\′}-x)}^2+{(y^{\′}-y)}^2}}{\mathrm{floor}\left(\frac{S\left(\mathrm{dP}\right)}{2}\right)+1}$

其中，W_P,P'表示对像素点P滤波时，在像素点P的卷积模板范围内的像素点P’的权值，(x,y)是像素点P的坐标，(x’,y’)是像素点P’的坐标，S(dP)表示像素点P的卷积模板的大小，floor(·)表示向下取整。

较佳地，

所述模板确定单元根据该像素点的视差确定所述像素点的卷积模板的大小，包括：

将该像素点的视差代入预设的卷积模板的大小与视差取值之间的非线性函数，计算出该像素点的卷积模板的大小；或者

确定该像素点的视差的绝对值所在的视差取值区间，到预先保存的卷积模板的大小与视差取值区间之间的对应关系中查找到该视差取值区间对应的卷积模板的大小。

较佳地，

所述模板确定单元是对所述立体图像上的每一像素点，根据该像素点的视差确定该像素点的卷积模板的大小；或者

所述模板确定单元只对视差大于或大于等于预设阀值的像素点，根据该像素点的视差确定该像素点的卷积模板的大小。

相应地，本发明又提供了一种终端设备，包括图像处理装置和立体显示装置，其中，所述图像处理装置采用的是上述图像处理装置中的任意一种。

上述方案中，考虑零视差面对成像的影响，基于视差确定像素点的卷积模板的大小，进而对像素点进行滤波，使得立体图像显示时可以具有更高的真实度。

附图说明

图1是人眼观看图像时聚合点对图像清晰度的影响的原理图；

图2是本发明实施例立体图像滤波方法的流程示意图；

图3是本发明实施例方法中卷积模板大小与视差的关系的示意图；

图4是本发明实施例提供的立体图像滤波的方法中卷积模板上权值的分布示意图；

图5是本发明实施例提供的立体图像滤波的设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

本发明实施例提供一种立体图像滤波的方法，如图2所示，包括：

步骤201，获取立体图像上各像素点的视差；

立体图像的相关数据中可能存在立体图像的视差信息，此时可根据该视差信息直接获取立体图像上各像素点的视差。如果不存在该视差信息，也可以通过比较立体图像上每一个像素点的差异，计算得到立体图像上各像素点的视差，本发明不局限于任何一种特定的视差计算方法。

步骤202，对立体图像上要滤波的每一像素点，根据该像素点的视差确定该像素点的卷积模板的大小，像素点视差的绝对值或该绝对值所在视差取值区间的取值越大，为该像素点确定的卷积模板越大；

假设一个像素点为P，其坐标是(x,y)，视差值是d，abs(d)表示d的绝对值，卷积模板的大小（指面积）为S。本实施例中，卷积模板为正方形，S=s*s，但本发明中，卷积模板也可以是矩形或其他形状。

在一个示例中，s是abs(d)的非线性函数，可以表示为s(abs(d))，abs(d)越大，即像素点距离零视差面的距离越远，s越大。人的眼睛对距离的感知是非线性的，距离我们很远的物体，已经很难明确的分辨出层次关系。可以设计很多不同的非线性函数关系：比如，三次方程，抛物线方程或者对数方程等等。该非线性函数可以在实际中来验证和调整。

在另一个示例中，可以先保存一个记录有s与d的对应关系的表，通过查表来确定d对应的s。在表中将abs(d)或者abs(d)与图像视差范围的比值划分为多个视差取值区间，每一视差取值区间对应于一个卷积模板大小，视差取值区间的取值（可以用视差取值区间上的任一abs(d)来表征）越大，该视差取值区间对应的s值也就越大。具体的对应关系可以根据经验值或相关的数学模型来设置，还可以根据滤波效果加以调整。

本发明根据d确定s的方式不局限于以上几种。

如图3中所示，P1和P2是图像中的两个像素点，由于具有不同的视差，因此对应的卷积模板大小不同。

步骤203，对立体图像上要滤波的每一像素点，根据确定的该像素点的卷积模板的大小，对该像素点进行滤波。

本步骤中，可以利用低通滤波器，在大小为s*s的卷积模板范围内对位于中心的像素点进行滤波。为了进一步提高滤波的效果，可以对卷积模板上的像素点的权值进行设置。

优选的，距离待滤波像素点越近的像素点具有越高的权值。以待滤波像素点P为例，在卷积模板内的其他像素点为P’，则P’距离P越远，权值越小，反之权值越大。对P点滤波时，像素点P’的权值W_P,P'可以但不限于通过下式计算：

$W_{P,P^{\′}}=\frac{\mathrm{floor}\left(\frac{S\left(\mathrm{dP}\right)}{2}\right)+1-\sqrt{{(x^{\′}-x)}^2+{(y^{\′}-y)}^2}}{\mathrm{floor}\left(\frac{S\left(\mathrm{dP}\right)}{2}\right)+1}$

其中，W_P,P'表示对像素点P滤波时在像素点P的卷模板范围内的像素点P’的权值，(x,y)是像素点P的坐标，(x’,y’)是像素点P’的坐标，S(dP)表示像素点P的卷积模板的大小，floor(·)表示向下取整。

本实施例中，是对立体图像上的每一像素点进行滤波。但在另一实施例中，可以不对立体图像上的每一像素点进行上述处理，如可以设置一个视差的阈值，在步骤202之前先判断像素点的视差是否大于或大于等于该阈值，在步骤202中，只对立体图像上视差大于或大于等于该阈值的像素点进行处理。对于视差小于该阈值的像素点不进行滤波。

相应地，本实施例还提供一种立体图像处理装置，如图5所示，包括：

视差获取单元11，用于获取立体图像上各个像素点的视差。

模板确定单元12，用于对要滤波的每一像素点，根据该像素点的视差确定该像素点的卷积模板的大小，像素点视差的绝对值或该绝对值所在视差取值区间的取值越大，为该像素点确定的卷积模板越大。可以对立体图像上的每一像素点，根据该像素点的视差确定该像素点的卷积模板的大小；也可以只对视差大于或大于等于预设阀值的像素点，根据该像素点的视差确定该像素点的卷积模板的大小。具体计算方法可以采用上文步骤202中提到的两种方式，不再赘述。

滤波处理单元13，用于根据确定的立体图像上各像素点的卷积模板的大小，对各像素点分别进行滤波。具体可以采用上文步骤203中的处理方式。

上述立体图像处理装置可以包括在具有立体显示装置的终端设备中，如手机、电脑、摄像机、照相机等等。上述立体图像处理装置可以和立体显示装置或图像输入装置合设，也可以单独设置，用于对图像输入装置输入的立体图像或者已存储的立体图像进行处理，处理后的信号再通过立体显示装置进行显示。

上述实施例考虑了零视差面对成像的影响，基于视差确定像素点的卷积模板的大小，进而对像素点进行滤波，使得立体图像在显示时可以具有更高的真实度。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各装置/模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种立体图像滤波方法，包括：

获取立体图像上各像素点的视差；

对立体图像上的一像素点滤波时，根据该像素点的视差确定该像素点的卷积模板的大小，再按照该卷积模板的大小对该像素点进行滤波；

其中，像素点的视差的绝对值或该绝对值所在视差取值区间的取值越大，为该像素点确定的卷积模板越大；

所述按照该卷积模板的大小对该像素点进行滤波，包括：采用低通滤波器在以该像素点为中心的卷积模板范围内进行滤波，且在卷积模板范围内的距离该像素点越近的像素点的权值越大；

所述卷积模板范围内的像素点的权值通过下式确定：

$W_{P,P^{\′}}=\frac{\mathrm{floor}\left(\frac{S\left(\mathrm{dP}\right)}{2}\right)+1-\sqrt{{(x^{\′}-x)}^2+{(y^{\′}-y)}^2}}{\mathrm{floor}\left(\frac{S\left(\mathrm{dP}\right)}{2}\right)+1}$

其中，W_P,P'表示对像素点P滤波时，在像素点P的卷积模板范围内的像素点P’的权值，(x,y)是像素点P的坐标，(x’,y’)是像素点P’的坐标，S(dP)表示像素点P的卷积模板的大小，floor(·)表示向下取整。

2.如权利要求1所述的方法，其特征在于，所述根据该像素点的视差确定所述像素点的卷积模板的大小，包括：

将该像素点的视差代入预设的卷积模板的大小与视差取值之间的非线性函数，计算出该像素点的卷积模板的大小；或者

确定该像素点的视差的绝对值所在的视差取值区间，到预先保存的卷积模板的大小与视差取值区间之间的对应关系中查找到该视差取值区间对应的卷积模板的大小。

3.如权利要求1或2所述的方法，其特征在于，

获取立体图像上各像素点的视差之后，是对所述立体图像上的每一像素点进行滤波；或者

获取立体图像上各像素点的视差之后，还包括：逐一判断所述立体图像上的各像素点的视差是否大于或大于等于预设的阈值，只对视差大于或大于等于预设阀值的像素点进行滤波。

4.如权利要求2所述的方法，其特征在于：

所述根据该像素点的视差确定所述像素点的卷积模板的大小，是将该像素点的视差代入预设的卷积模板的大小与视差取值之间的非线性函数，计算出该像素点的卷积模板的大小，其中，所述非线性函数为三次方程，抛物线方程或者对数方程。

5.一种图像处理装置，其特征在于，包括：

视差获取单元，用于获取立体图像上各像素点的视差；

模板确定单元，用于对立体图像上要滤波的像素点，根据该像素点的视差确定该像素点的卷积模板的大小；其中，像素点的视差的绝对值或该绝对值所在视差取值区间的取值越大，为该像素点确定的卷积模板越大；

滤波单元，用于对确定了卷积模板的大小的像素点进行滤波；所述滤波单元按照该卷积模板的大小对该像素点进行滤波，包括：采用低通滤波器在以该像素点为中心的卷积模板范围内进行滤波，且在卷积模板范围内的距离该像素点越近的像素点的权值越大；所述滤波单元采用低通滤波器在以该像素点为中心的卷积模板范围内进行滤波时，卷积模板范围内的像素点的权值通过下式确定：

$W_{P,P^{\′}}=\frac{\mathrm{floor}\left(\frac{S\left(\mathrm{dP}\right)}{2}\right)+1-\sqrt{{(x^{\′}-x)}^2+{(y^{\′}-y)}^2}}{\mathrm{floor}\left(\frac{S\left(\mathrm{dP}\right)}{2}\right)+1}$

其中，W_P,P'表示对像素点P滤波时，在像素点P的卷积模板范围内的像素点P’的权值，(x,y)是像素点P的坐标，(x’,y’)是像素点P’的坐标，S(dP)表示像素点P的卷积模板的大小，floor(·)表示向下取整。

6.如权利要求5所述的图像处理装置，其特征在于：

所述模板确定单元根据该像素点的视差确定所述像素点的卷积模板的大小，包括：

将该像素点的视差代入预设的卷积模板的大小与视差取值之间的非线性函数，计算出该像素点的卷积模板的大小；或者

确定该像素点的视差的绝对值所在的视差取值区间，到预先保存的卷积模板的大小与视差取值区间之间的对应关系中查找到该视差取值区间对应的卷积模板的大小。

7.如权利要求5所述的图像处理装置，其特征在于，

所述模板确定单元是对所述立体图像上的每一像素点，根据该像素点的视差确定该像素点的卷积模板的大小；或者

所述模板确定单元只对视差大于或大于等于预设阀值的像素点，根据该像素点的视差确定该像素点的卷积模板的大小。

8.一种终端设备，包括图像处理装置和立体显示装置，其特征在于，所述图像处理装置采用的是如权利要求5至7中任一权利要求所述的图像处理装置。

Images