CN102957844B

CN102957844B - 图像处理设备和图像处理方法

Info

Publication number: CN102957844B
Application number: CN201210274226.1A
Authority: CN
Inventors: 明官佳宏
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-08-12
Filing date: 2012-08-03
Publication date: 2017-03-01
Anticipated expiration: 2032-08-03
Also published as: CN102957844A; US8860829B2; US20130038745A1; JP2013059016A

Abstract

本发明提供了一种图像处理设备、图像处理方法和图像处理程序，该图像处理设备包括：计算部，被配置成基于在空间上与输入图像相关的参考图像在时间方向上的变化来计算反馈调整量；运动补偿部，被配置成基于参考图像的空间信息，对输出图像执行运动补偿，其中该输出图像是从与期望处理的当前帧紧邻的在前帧的输入图像获得的；以及混合部，被配置成通过基于反馈调整量将通过运动补偿获得的插值输出图像与当前帧的输入图像混合，生成当前帧的输出图像。

Description

图像处理设备和图像处理方法

技术领域

本公开内容涉及一种图像处理设备、图像处理方法和图像处理程序，具体而言，涉及能够通过滤波处理获得具有较少噪声的图像的图像处理设备、图像处理方法和图像处理程序。

背景技术

在过去，已知一种无线脉冲响应(IIR)滤波器作为用于降低图像的噪声的滤波器。

另外，已提出一种用于执行时间滤波器与空间滤波器的组合的滤波处理以降低图像噪声的技术(例如，参见日本专利申请公布第S62-299181)。在该技术中，基于图像运动的检测结果，将使用图像的时间方向(即，帧之间的相关性)进行噪声降低的结果和使用图像的空间方向(即，线之间的相关性)进行噪声降低的结果中的任何一个输出作为滤波处理的结果。

因此，与仅使用时间滤波器和空间滤波器之一的技术相比，可以获得更大噪声降低效果。

发明内容

然而，难以根据上述技术获得令人满意的噪声降低效果。

例如，对于根据现有技术的IIR滤波器，如果在图像的帧之间检测到对象的运动，则在图像中存在变化的区域(即，图像中存在运动的区域)内降低了与原始图像的时间相关性，从而导致该区域中出现运动模糊。另一方面，对于使用时间滤波器与空间滤波器的组合的技术，如果要处理的目标图像包括许多噪声成分，则难以根据该技术获得令人满意的噪声降低效果。

鉴于上述状况，本公开内容针对一种用于通过滤波处理获得具有较少噪声的图像的技术。

根据本公开内容的一个实施例，提供了一种图像处理设备，包括：计算部，被配置成基于在空间上与输入图像相关的参考图像在时间方向上的变化来计算反馈调整量；运动补偿部，被配置成基于参考图像的空间信息，对输出图像执行运动补偿以获得插值输出图像，该输出图像是从与期望处理的当前帧紧邻的在前帧的输入图像获得的；以及混合部，被配置成通过基于反馈调整量将通过运动补偿获得的插值输出图像与当前帧的输入图像混合，生成当前帧的输出图像。

运动补偿部可被配置成通过将权重应用于在前帧的输出图像中与当前帧的参考图像上的关注像素相邻的像素来生成插值输出图像，其中该权重是由关注像素与在前帧的参考图像上与该关注像素相邻的像素之间的亮度差来确定的。

图像处理设备还可包括：视差检测部，被配置成生成视差图像作为输入图像，该视差图像表示用于显示立体图像的右图像与左图像之间的视差；以及参考图像生成部，被配置成基于右图像或左图像生成参考图像。

根据本公开内容的另一实施例，提供了一种图像处理方法或图像处理程序，包括：基于在空间上与输入图像相关的参考图像在时间方向上的变化来计算反馈调整量；基于参考图像的空间信息，对输出图像执行运动补偿，该输出图像是从与期望处理的当前帧紧邻的在前帧的输入图像获得的；以及通过基于反馈调整量将通过运动补偿获得的插值输出图像与当前帧的输入图像混合，生成当前帧的输出图像。

根据本公开内容的另一实施例，基于在空间上与输入图像相关的参考图像在时间方向上的变化来计算反馈调整量；基于参考图像的空间信息，对输出图像执行运动补偿，该输出图像是从与期望处理的当前帧紧邻的在前帧的输入图像获得的；以及通过基于反馈调整量将通过运动补偿获得的插值输出图像与当前帧的输入图像混合，生成当前帧的输出图像。

根据本公开内容的实施例，可以通过滤波处理获得具有较少噪声的图像。

附图说明

图1是示出根据本公开内容的实施例的图像处理设备的结构的图；

图2是示出滤波更新处理的流程图；

图3是示出差分估计值与反馈量之间的关系的图；

图4是示出差分量与权重系数之间的关系的图；

图5是示出通过运动补偿与无线脉冲响应(IIR)滤波处理的组合所获得的效果的图；

图6是示出根据本公开内容的另一实施例的图像处理设备的结构的图；

图7是示出从左图像和右图像获得的每个图像的图；

图8是示出视差检测处理的流程图；

图9是示出逆伽马处理的图；以及

图10是示出计算机的结构的图。

具体实施方式

下文中，将参照附图详细描述本公开内容的优选实施例。应注意，在该说明书和附图中，以相同的附图标记表示具有基本上相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。

<第一实施例>

[图像处理设备的结构]

图1是示出根据本公开内容的实施例的图像处理设备的结构的图。

图像处理设备11适于通过使用参考图像G_in的在空间上与关注的输入图像I_in的图像信号相关的图像信号对输入图像I_in执行空时滤波处理，获得与输入图像I_in相比噪声成分减少的滤波输出图像I_out的图像信号。

例如，参考图像G_in包括关于与输入图像I_in的对象相同的对象的信息，并且比输入图像I_in包括更多的信息，即，随机地比输入图像I_in包括更少的噪声。具体地，例如，由于输入图像I_in和参考图像G_in是从相同图像生成的图像，因此，输入图像I_in的像素和参考图像G_in中位于与输入图像I_in的该像素的位置相同的位置处的像素包括关于相同对象的相同位置的信息。即，输入图像I_in和参考图像G_in彼此在空间上相关。

图像处理设备11包括帧存储器21、运动检测部22、帧存储器23、运动补偿部24和混合部25。

帧存储器21临时存储并保持所提供的期望处理的帧(下文中，称为“当前帧”)的参考图像，使该参考图像延迟与一帧对应的时间段，并且将参考图像提供给运动检测部22和运动补偿部24。运动检测部22根据所提供的当前帧的参考图像和在当前帧往前一帧的帧(即，紧邻在当前帧之前的帧(下文中，称为“在前帧”))的参考图像(从帧图像存储器21提供该参考图像)执行运动检测。运动检测部22基于检测结果计算反馈调整量，并且将反馈调整量提供给混合部25。

反馈调整量指的是表示经运动补偿的在前帧的滤波输出图像对当前帧的滤波输出图像的贡献率的IIR反馈量。

帧存储器23将从混合部25提供的滤波输出图像延迟与一帧对应的时长，并且将滤波输出图像提供给运动补偿部24。运动补偿部24对所提供的参考图像、来自帧存储器21的在前帧的参考图像以及来自帧存储器23的在前帧的滤波输出图像执行运动补偿。运动补偿部24将经运动补偿的滤波输出图像提供给混合部25。

混合部25基于来自运动检测部22的反馈调整量将所提供的输入图像与来自运动补偿部24的滤波输出图像混合，并且输出当前帧的滤波输出图像。

混合部25包括乘法器31、乘法器32和加法器33。乘法器31将所提供的输入图像与从运动检测部22提供的反馈调整量相乘，并且将输入图像与反馈调整量的乘积提供给加法器33。

乘法器32将从运动补偿部24提供的在前帧的滤波输出图像与从运动检测部22提供的反馈调整量相乘，并且将在前帧的滤波输出图像与反馈调整量的乘积提供给加法器33。加法器33将来自乘法器31的输入图像与来自乘法器32的滤波输出图像相加，并且输出输入图像与滤波输出图像的总和作为当前帧的滤波输出图像。

[滤波更新处理]

当图1的图像处理设备11接收到输入图像和参考图像，并且被指示对输入图像执行空时滤波处理时，图像处理设备11执行滤波更新处理以生成滤波输出图像，并且输出滤波输出图像。将参照图2的流程图描述图像处理设备11的滤波更新处理。

在步骤S11中，运动检测部22基于参考图像的帧之间的差来计算反馈调整量。

即，如果当前帧的参考图像被提供给图像处理设备11，则帧存储器21将先前提供并存储在其中的、在前帧的参考图像提供给运动检测部22和运动补偿部24。

运动检测部22计算差分估计值(difference evaluation value)，该差分估计值表示所提供的当前帧的参考图像与来自帧存储器21的在前帧的参考图像之间的差。

具体地，例如，运动检测部22根据如下等式1计算在当前帧的参考图像的坐标(x,y)处的像素的像素值(亮度值)G(x,y)与在前帧的参考图像的坐标(x,y)处的像素的像素值G_old(x,y)之间的差的绝对值，作为坐标(x,y)处的差分估计值d(x,y)。

d(x，y)＝|G(x，y）-G_old(x，y)|…(1)

坐标(x,y)表示如下坐标系内的x坐标和y坐标：在该坐标系中，在参考图像上彼此正交的x方向和y方向分别被设置为x轴和y轴。差分估计值d(x,y)可以是表示当前帧的参考图像与在前帧的参考图像之间的差量的任何值。

在计算差分估计值d(x,y)之后，运动检测部22根据如下等式2来计算坐标(x,y)处的反馈系数α(x,y)。

α(x , y)＝g(d(x，y))…(2)

也就是说，运动检测部22通过将根据等式1获得的差分估计值d(x,y)替代预定函数g(k)中的k来计算反馈系数α(x,y)。

例如，函数g(k)是用于根据差分估计值d(x,y)确定IIR反馈量的函数。函数g(k)被配置成减小参考图像中存在运动的部分的IIR反馈量，并且输出应用于当前帧的输入图像的反馈系数α(x,y)。具体地，函数g(k)是由例如如下等式3表达的函数。

在等式3中，α是当参考图像的帧之间不存在运动时的反馈系数α(x,y)，例如，α＝0.9375。另外，k₀和k₁是表示通过检测参考图像的帧之间的运动而连续地减小反馈系数的差分估计值的范围的阈值，例如，k₀＝5，k₁＝15。

因此，例如，如图3所示，差分估计值d(x,y)越小，函数g(k)的值就越大，即，反馈系数α(x,y)就越大。在图3中，横轴表示差分估计值d(x,y)，而纵轴表示函数g(k)的值。

例如，在图3中，对于在0与k₀之间的差分估计值d(x,y)，函数g(k)＝α。对于在k₀与k₁之间的差分估计值d(x,y)，即，k₀<d(x,y)≤k₁，函数g(k)＝α(1-((k-k₀)/(k₁-k₀)))。也就是说，随着差分估计值增大，函数g(k)线性减小。对于大于k₁的差分估计值d(x,y)，函数g(k)＝0。

运动检测部22将这样获得的反馈系数α(x,y)作为在前帧的滤波输出图像的反馈调整量提供给乘法器32。另外，运动检测部22将通过从1减去反馈系数α(x,y)所获得的值(1-α(x,y))作为输入图像的反馈调整量提供给乘法器31。

参考图像的帧之间的差越大，即，参考图像中对象的运动越大，与在前帧的滤波输出图像相乘的反馈调整量α(x,y)就越小。也就是说，在参考图像中存在较大运动的区域中，在前帧的滤波输出图像对当前帧的滤波输出图像的生成的贡献率降低，从而抑制了在滤波输出图像中出现运动模糊。

返回参照图2的流程图，在步骤S12中，运动补偿部24基于参考图像对在前帧的滤波输出图像执行运动补偿，并且将经运动补偿的滤波输出图像提供给乘法器32。也就是说，运动补偿部24使用当前帧的参考图像的纹理信息来对在前帧的滤波输出图像执行运动补偿。

例如，如果当前帧的参考图像被提供给运动补偿部24，则帧存储器23将已从加法器33提供并存储在其中的在前帧的滤波输出图像提供给运动补偿部24。帧存储器24也将在前帧的参考图像提供给运动补偿部24。

运动补偿部24基于所提供的当前帧的参考图像、来自帧存储器21的在前帧的参考图像以及来自帧存储器23的在前帧的滤波输出图像，根据等式4获得经运动补偿的在前帧的滤波输出图像。也就是说，计算在经运动补偿的在前帧的滤波输出图像的坐标(x,y)处的像素的像素值I_old’(x,y)。

在等式4中，G_old(x+i,y+j)表示在前帧的参考图像的坐标(x+i,y+j)处的像素的像素值(亮度值)，以及G(x,y)表示在当前帧的参考图像的坐标(x,y)处的像素的像素值(亮度值)。另外，I_old(x+i,y+j)表示在前帧的滤波输出图像的坐标(x+i,y+j)处的像素的像素值，以及函数w(k)表示预定函数。

假设当前帧的参考图像的位于坐标(x,y)处的像素被称为关注像素，并且由(2M+1)×(2M+1)个像素组成的块被称为关注块，其中，在前帧的参考图像中位于与关注像素的位置相同的位置处的像素位于(2M+1)×(2M+1)个像素的中心处。在这种情况下，像素值I_old’(x,y)可通过利用权重来对在前帧的滤波输出图像中与关注块相同的区域内的像素进行加权来获得，其中，该权重基于在前帧的参考图像的关注块内的像素与关注像素之间的亮度差的绝对值。也就是说，像素值I_old’(x,y)是通过利用基于参考图像的关注像素周围的亮度差的绝对值的权重进行插值而获得的。

用于确定关注块的大小的常数M表示相对于关注像素的坐标(x,y)在x轴方向和y轴方向上搜索哪些像素。例如，如果3像素×3像素的块是关注块，则M＝(3-1)/2＝1。

在等式4中，函数w(k)是权重的函数，其中权重随着参考图像的像素的亮度差(即，k＝|G_old(x+i,y+j)-G(x,y)|)的减小而增大。例如，函数w(k)由如下等式5表达。

在等式5中，N表示参考图像的像素的像素值的最大可能值。例如，如果对于8位的精度，像素值是0至255中的任一个，则N＝255。另外，在等式5中，σ²表示方差，例如，σ²＝0.01。

因此，例如，如图4所示，随着参考图像的像素的亮度差(即，|G_old(x+i,y+j)-G(x,y)|)减小，表示权重与滤波输出图像的像素相乘的函数w(k)的值增大。也就是说，由于参考图像的像素的亮度的变化小并且对象中没有运动的区域大，因此，对通过运动补偿所生成的滤波输出图像的贡献率增大，从而抑制在滤波输出图像中出现运动模糊。

与当前帧的参考图像的关注像素(下文中，称为“参考像素”)的亮度差小的在前帧的参考图像的像素非常可能是与关注像素高度相关的像素(类似像素)，并且具有关于与关注像素相同的对象的信息。也就是说，参考像素非常可能是关注像素的运动位置的像素。

滤波输出图像和参考图像彼此在空间上相关。因此，位于与关注像素的位置相同的位置处的、当前帧的滤波输出图像上的像素和位于与参考像素的位置相同的位置处的、在前帧的滤波输出图像上的像素会与关注像素和参考像素具有相同的相关度。

因此，如果通过根据参考图像的像素的亮度差获得的权重对与在前帧的滤波输出图像上的、位于与关注帧的像素的位置相同的位置处的像素相邻的每个像素进行加权，则可获得位于当前帧的滤波输出图像上的与关注像素的位置相同的位置处的像素的估计值。根据等式4获得的滤波输出图像是通过对在前帧的滤波输出图像的运动补偿所估计的当前帧的滤波输出图像。

函数w(k)的值(即，权重)的计算不限于等式5，而可通过查表处理或分段线性近似法来执行。另外，为了通过牺牲一些插值性能来降低处理成本(参见存储器)，在用当前帧的参考图像的像素的像素值即G(x+i,y+j)在等式4中替代像素值G_old(x+i,y+j)之后，可仅使用关于当前帧的参考图像的信息来执行插值。

返回参考图2的流程图，在步骤S13中，混合部25基于来自运动检测部22的反馈调整量，将来自运动补偿部24的在前帧的滤波输出图像与所提供的当前帧的输入图像混合。

具体地，乘法器31将所提供的输入图像在坐标(x,y)处的像素的像素值I_in(x,y)与从运动检测部22提供的反馈调整量(1-α(x,y))相乘，并且将像素值I_in(x,y)与反馈调整量(1-α(x,y))的乘积提供给加法器33。乘法器32将从运动补偿部24提供的经运动补偿的在前帧的滤波输出图像的坐标(x,y)处的像素的像素值I_old’(x,y)与从运动检测部22提供的反馈调整量α(x,y)相乘，并且将像素值I_old’(x,y)与反馈调整量α(x,y)的乘积提供给加法器33。

加法器33将来自乘法器31的输入图像的像素的像素值与来自乘法器32的滤波输出图像的像素的像素值相加，以生成当前帧的滤波输出图像的坐标(x,y)处的像素的像素值I_out(x,y)，并且输出这样获得的滤波输出图像。

通过上述处理，执行以下等式6的计算。即，基于反馈系数α(x,y)对输入图像的图像信号执行无限脉冲响应(IIR)滤波处理，从而生成滤波输出图像的图像信号。

I_out(x，y)＝(1-α(x，y))I_in(x，y)+α(x，y)I_old’(x，y)…(6)

在步骤S14中，图像处理设备11确定是否结束滤波更新处理。例如，如果对输入图像的全部帧执行了滤波更新处理，则确定结束滤波更新处理。

如果在步骤S14中确定不结束滤波更新处理，则滤波更新处理返回到步骤S11，并且重复执行上述处理。

如果在步骤S14中确定结束滤波更新处理，则图像处理设备11的每个元件均停止处理，并且结束滤波更新处理。

如上所述，图像处理设备11检测参考图像的运动，基于检测结果确定反馈调整量，并且控制在前帧的滤波输出图像对当前帧的滤波输出图像的生成的贡献率。另外，图像处理设备11基于参考图像的空间相关性对在前帧的滤波输出图像执行运动补偿，并且将经运动补偿的滤波输出图像与输入图像混合以生成当前帧的滤波输出图像。

因此，通过控制反馈调整量或者对滤波输出图像进行运动补偿，可以简单地获得具有较少噪声成分的滤波输出图像。

仅对于根据现有技术的简单IIR滤波器，如果输入图像中存在对象的运动，则运动模糊出现在滤波输出图像中的运动区域内。相反，如果存在在空间上与输入图像相关且与输入图像相比统计上具有较少噪声成分的图像，则可以根据本技术通过将该图像作为参考图像并且对参考图像执行空时运动补偿来改善运动区域内出现的运动模糊。

另外，通过结合对滤波输出图像的运动补偿和对输入图像的无限脉冲响应(IIR)滤波处理，可以在更宽的范围内执行运动补偿。

例如，如图5的右侧所示，假设帧(n-1)的滤波输出图像I_out(n-1)上的目标像素被称为关注像素G_n-1，并且在根据等式4计算运动补偿时的关注块具有3像素×3像素的大小。另外，在图5中，每幅图像上的一个正方形表示一个像素。

在这种情况下，滤波输出图像I_out(n-1)中由3×3像素构成的区域AR11是参考范围，在该参考范围中，关注像素G_n-1位于中心处，并且在经运动补偿的帧(n-1)的滤波输出图像中获得位于与关注像素G_n-1的位置相同的位置处的像素。即，通过使用区域AR11中的像素进行滤波处理，根据等式4计算位于与关注像素G_n-1的位置相同的位置处的、经运动补偿的帧(n-1)的滤波输出图像的像素的像素值I_old’(x,y)。

另外，根据等式6，通过将帧n的输入图像的像素与经运动补偿的帧(n-1)的滤波输出图像的像素混合来生成帧n的滤波输出图像的每个像素，其中，这些像素位于相同位置处。

因此，可通过将帧n的输入图像的像素与帧(n-1)的滤波输出图像的3×3像素的参考范围内的滤波输出混合来生成帧n的滤波输出图像的像素。

另外，考虑到紧邻在帧(n-1)之前的帧，例如，通过将与帧(n-2)的滤波输出图像I_out(n-2)的区域AR12对应的参考范围内的滤波器输出与帧(n-1)的输入图像的像素混合，生成区域AR11内的像素G11。区域AR12是由3×3像素构成的区域，其中，滤波输出图像I_out(n-2)上位于与像素G11的位置相同的位置处的像素位于区域AR12的中心处。

因此，可以看到，通过将帧(n-1)的输入图像和与滤波输出图像I_out(n-2)的区域AR13对应的参考范围内的滤波器输出混合来生成滤波输出图像I_out(n-1)的区域AR11。区域AR13是由5×5像素构成的区域，其中，滤波输出图像I_out(n-2)上位于与关注像素G_n-1的位置相同的位置处的像素位于区域AR13的中心处。

另外，考虑到紧邻在帧(n-1)之前的帧，通过将帧(n-2)的输入图像和与帧(n-3)的滤波输出图像I_out(n-3)的区域AR14对应的参考范围内的滤波器输出混合来生成区域AR13。区域AR14是由7×7像素构成的区域，其中，在滤波输出图像I_out(n-3)上位于与关注像素G_n-1的位置相同的位置处的像素位于区域AR14的中心处。

同样地，执行运动补偿与IIR滤波处理的组合的图像处理设备11参考每个在前帧的滤波器输出区域上的参考范围，以生成经运动补偿的滤波输出图像的像素。另外，可以看到，考虑的帧越旧，为了生成经运动补偿的滤波输出图像的像素所参考的滤波输出图像上的参考范围就越宽。

因此，尽管对具有相对小的区域(诸如，3×3像素的大小)的关注块执行了运动补偿，但是在计算等式4时，可通过重复执行IIR滤波处理参考关于像素的宽区域的信息。即，可以通过参考滤波输出图像的充分宽的参考范围来执行运动补偿。另外，由于参考范围宽，因此，还可以由于空间反锯齿(spatial anti-aliasing)而获得噪声降低效果。

同样地，通过执行运动补偿与IIR滤波处理的组合，可以显著地减少使用窄参考范围的运动补偿中每帧的计算量，并且获得的效果与在宽参考范围内执行运动补偿的情况的效果相同。

<第二实施例>

[图像处理设备的结构]

空时滤波处理可应用于例如对立体摄像装置拍摄的立体图像的视差检测。在这种情况下，执行视差检测的图像处理设备可例如如图6所示那样配置。在图6中，与图1的元件对应的元件以相同的附图标记表示，并因而将省略对其的详细描述。

在图6中，图像处理设备101包括块立体匹配部111、图像缩小部112、逆伽马部113和空时滤波部114。

图像处理设备101接收构成立体图像的左图像的图像信号和右图像的图像信号。左图像和右图像是通过从不同视点拍摄相同对象所获得的且相对于彼此具有视差的图像。

块立体匹配部111基于左图像和右图像对预定大小的块单位执行立体匹配处理，以生成表示左图像的每个区域与右图像的每个区域的视差的输入视差图像。块立体匹配部111将所生成的输入视差图像提供给空时滤波部114。

下文中，将描述将右图像当作基本图像的立体匹配处理。

图像缩小部112缩小所提供的右图像以生成缩小图像，并且将缩小图像提供给逆伽马部113。逆伽马部113对从图像缩小部112提供的缩小图像执行逆伽马处理，并且将逆伽马处理后的缩小图像提供给空时滤波部114。

空时滤波部114使用来自逆伽马部113的缩小图像来对来自块立体匹配部111的输入视差图像执行空时滤波处理，以生成并输出与输入视差图像相比噪声成分减少的输出视差图像。

空时滤波部114包括帧存储器21、运动检测部22、帧存储器23、运动补偿部24和混合部25，这些部分以与图1的图像处理设备11的方式相同的方式配置。在空时滤波部114中，输入视差图像、逆伽马处理后的缩小图像和输出视差图像分别对应于输入图I_in、参考图像G_in和滤波输出图像I_out。

[要处理的目标图像]

例如，如图7所示，图像处理设备101接收由立体摄像装置等拍摄到的左图像PL和右图像PR。例如，左图像PL和右图像PR是均由320像素×240像素组成的黑白图像。

例如，块立体匹配部111以块大小BlockSize为4像素×4像素的块单位来执行立体匹配处理，以生成由80像素×60像素组成的输入视差图像D_in。

执行立体匹配处理，以通过从与另一未选图像的搜索范围对应的区域中搜索该另一未选图像中与基本图像的各点对应的各点，来获得从基本图像的各点的视差，其中基本图像是从具有不同视点的左图像和右图像当中选择的图像。

参照图7，由于从被选作基本图像的右图像PR的每个块获得一个视差，因此，所获得的输入视差图像D_in的大小水平地且垂直地变为右图像PR的大小的四分之一。因此，在输入视差图像D_in在X-Y坐标系内的坐标(x,y)处的像素的像素值表示右图像PR中的如下块与左图像中与右图像PR的该块对应的块之间的视差：其中，在右图像PR上的坐标(4x,4y)和(4x+3,4y+3)处的像素被当作彼此相对的顶点。

这样获得的输入视差图像D_in被认为是经过空时滤波处理的图像，即，对应于图1的输入图像I_in的图像。通常，通过立体匹配处理获得的输入视差图像包含许多误差。即，由于输入视差图像的像素当中可能存在不具有表示实际视差的像素值(真值)的一些像素，因此，可将输入视差图像认为是包含许多噪声的图像。

图像缩小部112通过将右图像PR水平地且垂直地缩小至右图像PR的大小的四分之一来生成缩小图像SR，其中，该右图像PR在立体匹配处理中被选作基本图像。因此，缩小图像SR的大小与输入视差图像D_in的大小相同，即，80像素×60像素。

这样获得的缩小图像SR是通过缩小处理而减小了摄像装置噪声的图像。缩小图像SR是通过缩小处理而降低了摄像装置噪声的并且在空间上与原始右图像PR或输入视差图像D_in高相关的图像。具体地，与输入视差图像D_in相比，缩小图像SR具有较少的噪声成分。

在图像处理设备101中，缩小图像SR是相对于要经过空时滤波处理(即，要经过噪声降低)的输入视差图像D_in的参考图像。也就是说，缩小图像SR是与图1的参考图像G_in对应的图像。

另外，空时滤波部114通过参考缩小图像SR并对输入视差图像D_in执行空时滤波处理，生成输出视差图像D_out。这样生成的输出视差图像D_out是与从其排除了噪声的输入视差图像D_in对应的图像。输出视差图像D_out是与输入视差图像D_in具有相同大小的图像，即，由80像素×60像素组成的图像。输出视差图像D_out对应于图1的滤波输出图像I_out。

[视差检测处理的描述]

将描述图像处理设备101的操作。

如果图像处理设备101接收由左图像和右图像构成的立体图像，并且被指示检测立体图像的视差，则图像处理设备101执行视差检测处理以生成输出视差图像。将参照图8的流程图描述图像处理设备101的视差检测处理。

在步骤S61中，块立体匹配部111基于左图像和右图像执行立体匹配处理。

例如，块立体匹配部111根据以下等式7，针对相对于关注像素的视差d，计算差分绝对值之和SAD_RightBase(x,y,d)，其中，关注像素是位于输入视差图像D_in的坐标(x,y)处的像素。

在等式7中，L(4x+i+d,4y+j)表示在左图像PL的坐标(4x+i+d,4y+j)处的像素的像素值，以及R(4x+i,4y+j)表示在右图像PR的坐标(4x+i,4y+j)处的像素的像素值。BlockSize表示作为处理单位的块单位的大小。在本实施例中，BlockSize＝4。

因此，通过获得右图像PR上要处理的块内的每个像素的像素值与左图像PL上在如下区域内的每个像素的像素值之间的差分绝对值之和来计算差分绝对值之和SAD_RightBase(x,y,d)：该区域位于在x方向上从与右图像PR上的该块的位置相同的位置偏离了视差d的位置处。在这种情况下，右图像PR上要处理的块是4像素×4像素的块，该块包括与输入视差图像D_in的关注像素对应的像素。

在获得差分绝对值之和SAD_RightBase(x,y,d)之后，对于预定范围内的每个视差d，块立体匹配部111选择差分绝对值之和中的最小值，并且将所选择的差分绝对值之和的视差d设置为关注像素的视差。即，所选择的差分绝对值之和的视差d的值是关注像素的像素值。例如，如果视差d具有从0至63的范围，则针对0至63的视差值中的每一个计算差分绝对值之和。

块立体匹配部111通过又将输入视差图像D_in的每个像素设置为关注像素并获得关注像素的像素值，生成输入视差图像D_in。块立体匹配部111将所获得的输入视差图像D_in提供给空时滤波部114的乘法器31。

在立体匹配处理中，预先校准用于拍摄期望处理的左图像和右图像的立体摄像装置的左光轴和右光轴，以使得光轴相互平行。另外，通过将左图像和右图像的视差d在无穷远处设置为零来计算视差d。

左图像和右图像的视差检测不限于根据等式7使用亮度的差分绝对值之和的方法，而可以使用将被选作基本图像的图像上的小区域与其他未选图像的搜索区域内的小区域进行比较、并且计算表示这些小区域的纹理图案之间的相似度的估计值的任何方法。例如，可将差分平方和或归一化相关性用作估计值。

另外，可通过使用动态编程使成本函数最小化来获得视差d，其中，成本函数被定义为强加视差d在水平方向(x方向)上连续改变的约束条件。

另外，可通过在左图像被选作基本图像时根据如下等式8获得差分绝对值之和SAD_LeftBase(x,y,d)、并且将差分绝对值之和SAD_rightBase(x,y,d)与差分绝对值之和SAD_LeftBase(x,y,d)合并，来获得视差d，从而可以随机地减少视差检测的误差。

返回参照图8的流程图，如果生成输入视差图像，则在步骤S62中，图像缩小部112对所提供的右图像执行缩小处理，以生成大小与输入视差图像的大小相同的缩小图像SR。

例如，图像缩小部112通过对右图像上的预定大小的块内的像素的像素值平滑化来根据如下等式9计算在缩小图像SR中的坐标(x,y)处的像素的像素值R_small(x,y)。

在等式9中，R(4x+j,4y+i)表示在右图像PR的坐标(4x+j,4y+i)处的像素的像素值。在步骤S61的立体匹配处理中，BlockSize表示作为处理单位的块单位的大小。在本实施例中，BlockSize＝4。

因此，右图像上的块内的像素的像素值的平均值是与该块对应的缩小图像的像素的像素值。因此，通过对右图像执行空间抗锯齿，可以获得噪声成分显著减少的缩小图像。

对右图像的缩小处理不限于上述等式9，而可通过其他缩小算法来执行，诸如三次插值(双三次插值)。

图像缩小部112将所获得的缩小图像提供给逆伽马部113，并且视差检测处理前进到步骤S63。

在步骤S63中，逆伽马部113对从图像缩小部112提供的缩小图像执行逆伽马处理，并且将经逆伽马处理的缩小图像提供给空时滤波部114中的帧存储器21、运动检测部22和运动补偿部24。

例如，逆伽马部113对在缩小图像SR上的坐标(x,y)处的像素的像素值R_small(x,y)执行逆伽马处理，以根据以下等式10计算经逆伽马处理的像素的像素值R_small’(x,y)。

R_small’(x，y)＝Gamma_inv(Rs_mall(x，y))…(10)

在等式10中，函数Gamma_inv(k)是通过例如以下等式11表达的函数。

Gamma_inv(k)＝N(k/N)^r…(11)

在等式11中，N表示像素值R_small(x,y)的最大可能值，即，k。例如，如果像素值k按8位是0至255中的任一个，则N＝255。另外，r表示伽马值。使用伽马值r，以使得噪声的波动相对于输入信号的量(像素的像素值)变得恒定。例如，伽马值是r＝1.5。

用于拍摄左图像和右图像的摄像装置一般对图像执行伽马校正，以按照位数获得动态范围。例如，如图9的左边所示，由于噪声而导致的值的波动趋向于随着输入信号量(像素值)变小而增大。为了减轻该趋势，按照需要对图像执行逆伽马处理(逆伽马转换)，从而如图9的右边所示那样校正值的波动。

在图9中，纵轴表示输入信号量(像素值)，以及横轴表示入射到像素(传感器)上的、用于拍摄图像的光量。

在对缩小图像执行逆伽马处理之后，逆伽马部113将经逆伽马处理的缩小图像作为参考图像提供给空时滤波部114。逆伽马处理不限于上述等式10的计算，而是可以通过分段线性近似法或查表来执行。

在对缩小图像执行逆伽马处理之后，执行步骤S64至S67，并且结束视差检测处理。步骤S64至S67与图2中的步骤S11至S13相同，因此，将省略对其的详细描述。

然而，在步骤S64至S67中，基于缩小图像的帧之间的差计算反馈调整量，并且同时，基于缩小图像执行对在前帧的输出视差图像的运动补偿。然后，混合经运动补偿的输出视差图像和当前帧的输入视差图像，并且生成当前帧的输出视差图像。

同样地，图像处理设备101通过利用立体匹配处理生成输入视差图像并同时缩小右图像以生成缩小图像、并且使用缩小图像作为参考图像来对输入视差图像执行空时滤波处理，来生成噪声降低的输出视差图像。

在空时滤波处理中，可以简单地通过基于缩小图像的运动确定反馈调整量或者对在前帧的输出视差图像执行运动补偿，来获得具有较少噪声成分的输出视差图像。

通常，尽管通过立体匹配处理获得的输入视差图像由于匹配误差而包含大量噪声，但是由于作为输入视差图像的源的左图像和右图像在空间上与输入视差图像高相关，因此，左图像和右图像相比于输入视差图像包含较少的噪声成分。在通过块立体匹配获取缩小视差的***(诸如，图像处理设备101)中，可以通过将输入视差图像、缩小图像和输出视差图像分别设置为输入图像、参考图像和滤波输出图像、并且执行空时滤波处理，来获得高噪声降低效果。

具体地，尽管通过块立体匹配获取缩小视差的***将缩小图像(其通过缩小在块立体匹配中被选择作为基本图像的原始右图像以适合输入视差图像而获得)用作参考图像，但是这样的缩小处理是对图像的空间抗锯齿。因此，由于可以通过缩小处理来使用参考图像获得噪声成分显著减少的图像，因此，可以在空时滤波处理期间非常有效地减少噪声成分。

另外，通常，空间运动补偿处理的处理成本很高。然而，如果假设在空间上连续改变的图像(诸如，视差图像)，则可仅通过使用当前帧的参考图像的关注像素与在前帧的参考图像中与该关注像素相邻的像素之间的差量、将空间权重应用于与在前帧的输出视差图像的关注像素相邻的像素来对图像进行抗锯齿，从而执行运动补偿。同样地，可以通过简单的处理容易地实现运动补偿。

上述一系列处理可由硬件来执行或者由软件来执行。当这系列处理由软件来执行时，形成软件的程序安装在并入专用硬件中的计算机中，或者从程序存储介质安装到例如可以通过安装各种类型的程序来执行各种类型的功能的通用个人计算机中。

图10是示出使用程序执行上述系列处理的计算机的硬件配置示例的框图。

在计算机中，中央处理单元(CPU)201、只读存储器(ROM)202和随机存取存储器(RAM)203通过总线204相互连接。

另外，输入/输出接口205连接到总线204。由键盘、鼠标、麦克风等构成的输入单元206，由显示器、扬声器等构成的输出单元207，由硬盘、非易失性存储器等构成的存储单元208，由网络接口等构成的通信单元209，以及驱动可移除介质211的驱动器210连接到输入/输出接口205，其中，可移除介质211是磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机中，CPU 201将存储在例如存储单元208中的程序经由输入/输出接口205和总线204装载到RAM 203上，并且执行程序。因此，执行了上述系列处理。

由计算机(CPU 201)执行的程序被记录在可移除介质211中，可移除介质211是由例如磁盘(包括软盘)、光盘(包括致密盘只读存储器(CD-ROM)和数字多功能盘(DVD)等)、磁光盘、或者半导体存储器等构成的封装介质。替选地，经由有线或无线传输介质如局域网、因特网或者数字卫星广播来提供程序。

然后，通过将可移除介质211***驱动器210，可以将程序经由输入/输出接口205安装在存储单元208中。此外，程序可以经由有线或无线传输介质而被通信单元209接收，并且安装在存储单元208上。此外，程序可预先安装在ROM 202或存储单元208中。

应该注意，计算机执行的程序可以是根据说明书中描述的顺序按时序处理的程序、或者是并行或当调用时在必要的时候处理的程序。

本领域技术人员应理解，在所附权利要求或其等同方案的范围内，根据设计要求和其它因素，可进行各种修改、组合、子组合和变更。

另外，本技术可以如下进行配置。

(1)一种图像处理设备，包括：

计算部，被配置成被配置成基于在空间上与输入图像相关的参考图像在时间方向上的变化来计算反馈调整量；

运动补偿部，被配置成基于所述参考图像的空间信息，对输出图像执行运动补偿以获得插值输出图像，所述输出图像是从与期望处理的当前帧紧邻的在前帧的所述输入图像获得的；以及

混合部，被配置成通过基于所述反馈调整量将通过所述运动补偿获得的所述插值输出图像与所述当前帧的输入图像混合，生成所述当前帧的输出图像。

(2)根据(1)所述的图像处理设备，

其中，所述运动补偿部被配置成通过将权重应用于所述在前帧的输出图像中与所述当前帧的参考图像上的关注像素相邻的像素来生成所述插值输出图像，其中所述权重是由所述关注像素与所述在前帧的参考图像上与所述关注像素相邻的像素之间的亮度差来确定的。

(3)根据(2)所述的图像处理设备，还包括：

视差检测部，被配置成生成视差图像作为所述输入图像，所述视差图像表示用于显示立体图像的右图像与左图像之间的视差；以及

生成部，被配置成基于所述右图像或所述左图像生成所述参考图像。

本公开内容包含的主题内容与2011年12月7日向日本专利局提交的日本在先专利申请JP 2011-267506中公开的主题内容相关，其全部内容通过引用合并于此。

Claims

1.一种图像处理设备，包括：

计算部，被配置成基于在空间上与期望处理的当前帧的输入图像相关的参考图像在时间方向上的变化来计算反馈调整量；

运动补偿部，被配置成基于所述参考图像的空间信息，对输出图像执行运动补偿以获得插值输出图像，其中所述输出图像是从与期望处理的当前帧紧邻的在前帧的输入图像获得的；以及

2.根据权利要求1所述的图像处理设备，

3.根据权利要求1或2所述的图像处理设备，还包括：

视差检测部，被配置成生成视差图像作为所述当前帧的输入图像，所述视差图像表示用于显示立体图像的右图像与左图像之间的视差；以及

4.一种图像处理方法，包括：

基于在空间上与期望处理的当前帧的输入图像相关的参考图像在时间方向上的变化来计算反馈调整量；

基于所述参考图像的空间信息，对输出图像执行运动补偿，其中所述输出图像是从与期望处理的当前帧紧邻的在前帧的输入图像获得的；以及

通过基于所述反馈调整量将通过所述运动补偿获得的插值输出图像与所述当前帧的输入图像混合，生成所述当前帧的输出图像。