CN101676951A - 图像处理设备和方法及其程序 - Google Patents

Abstract

本发明提供了一种图像处理设备和方法及其程序，其中该图像处理设备包括以下单元：深度值检测单元，配置用来检测输入图像的各个像素的深度值；积分单元，配置用来对输入图像的每个预定区域中的深度值进行积分；分析单元，配置用来分析在输入图像的每个预定区域中的深度值的积分结果的趋势；以及处理单元，配置用来基于由分析单元获得的分析结果而处理输入图像。

Description

图像处理设备和方法及其程序

技术领域

本发明涉及一种信息处理设备和方法以及程序，并且特别涉及一种用于使得可以精确地获得图像中的拍摄主体的深度值并且基于所获得的深度值而处理图像的信息处理设备和方法以及程序。

背景技术

已提出了用于为图像中的每个拍摄主体设置深度值并且根据深度值处理图像的技术(日本未审查专利申请公布No.2002-197486)。另外，已提出这样的处理，即从图像提取拍摄主体的深度值并且根据所提取的深度值而应用上述图像处理。

发明内容

当要从图像的轮廓分量或高频分量检测深度值时，因为这种分量通常仅仅取决于亮度信息，所以由于在平坦部分中轮廓和高频分量非常小而可能不能精确地获得在平坦部分中的深度值。因此，可能不能适当地执行图像处理。另外，在暗区域中，轮廓和高频分量较小。因此，可能不能获得精确的深度值，并且因此可能不能适当地执行图像处理。

本发明提供这样的技术，其使得可以即使在图像内的诸如暗部的平坦部分中也精确地设置深度值，并且根据深度值而适当地处理图像。

根据本发明的实施例的图像处理设备包括以下元件：深度值检测装置，用于检测输入图像的各个像素的深度值；积分装置，用于对输入图像的每个预定区域中的深度值进行积分；分析装置，用于分析在输入图像的每个预定区域中的深度值的积分结果的趋势；以及处理装置，用于基于由分析装置获得的分析结果而处理输入图像。

深度值检测装置可以包括以下元件：焦点信息提取装置，用于针对输入图像的每个像素而从周边像素的亮度信号提取高频分量作为焦点信息；区域合并装置，用于通过逐像素地对周边像素的焦点信息项进行合并而生成经合并的焦点信息；暗部处理装置，用于通过逐像素地以这样的值替代像素的焦点信息来生成输入图像的暗部焦点信息，所述值是基于在周边像素的焦点信息项当中大于所述像素的焦点信息的焦点信息而获得的值；照明分量提取装置，用于通过将每个像素的亮度信号与周边像素的亮度信号合并来提取照明分量；亮度/暗度合并装置，用于通过对经合并的焦点信息和暗部焦点信息执行乘积和运算来计算每个像素的深度值，其中乘积和运算包括使用照明分量的系数；标准化装置，用于对每个像素的深度值进行标准化；色调曲线控制装置，用于使用色调曲线来控制由标准化装置标准化的深度值；饱和度检测装置，用于检测每个像素的饱和度；以及饱和度控制装置，用于使用饱和度对由色调曲线控制装置使用色调曲线控制的深度值进行控制。

所述处理装置可以基于分析结果而增强输入图像的图像质量。

所述处理装置可以基于分析结果而压缩输入图像。

一种根据本发明的实施例的图像处理方法包括以下步骤：检测输入图像的各个像素的深度值；对在输入图像的每个预定区域中的深度值进行积分；分析在输入图像的每个预定区域中的深度值的积分结果的趋势；以及基于分析结果而处理输入图像。

一种根据本发明的实施例的程序使计算机执行包括以下步骤的处理：检测输入图像的各个像素的深度值；对在输入图像的每个预定区域中的深度值进行积分；分析在输入图像的每个预定区域中的深度值的积分结果的趋势；以及基于分析结果而处理输入图像。

根据本发明的实施例，检测输入图像的各个像素的深度值；对在输入图像的每个预定区域中的深度值进行积分；分析在输入图像的每个预定区域中的深度值的积分结果的趋势；并且基于分析结果而处理输入图像。

根据本发明的实施例的图像处理设备可以是独立设备或者执行图像处理的组件。

根据本发明的实施例，使得可以精确地获得在图像中的拍摄主体的深度值并且根据深度值而适当地处理图像。

附图说明

图1是示出根据本发明的实施例的图像处理设备的结构示例的框图；

图2是示出图1所示的深度检测单元的结构示例的框图；

图3是示出图2所示的焦点信息提取组件的结构示例的框图；

图4是示出水平方向高通滤波器(HPF)和垂直方向HPF的结构示例的框图；

图5是示出图2所示的深度生成组件的结构示例的框图；

图6是描述由图1所示的图像处理设备执行的图像处理的流程图；

图7是描述深度检测处理的流程图；

图8是描述焦点信息提取处理的流程图；

图9是描述暗部处理组件的操作的图解；

图10是描述深度生成处理的流程图；

图11是描述深度生成处理的曲线图；

图12是描述色调曲线的曲线图；

图13是描述在饱和度S和系数B之间的关系的曲线图；

图14包括描述开阔天空区域加权平均值和画像(portrait)区域加权平均值的图解；

图15是描述在开阔天空的程度与开阔天空区域加权平均值之间的关系或者在画像的程度与画像区域加权平均值之间的关系的曲线图；

图16是描述在开阔天空的程度、画像的程度以及布局之间的关系的图解；

图17是描述另一开阔天空区域加权平均值和另一画像区域加权平均值的图解；

图18是示出根据本发明的实施例的另一图像处理设备的结构示例的框图；

图19是描述由图18所示的图像处理设备执行的图像处理的流程图；以及

图20是示出个人计算机的结构示例的框图。

具体实施方式

现在将描述本发明的最佳方式(在下文中被称作实施例)。将按以下次序给出描述：

1：第一实施例(图像质量增强处理)

2：第二实施例(压缩处理)

1.第一实施例

图像处理设备的结构示例

图1示出了根据本发明的实施例的图像处理设备的结构示例。

图1所示的图像处理设备1包括：图像分析装置2和图像质量增强处理装置3。图像处理设备1分析输入图像的布局并且根据所分析的布局来执行图像质量增强处理。

图像分析装置2包括：YUV分离单元11、深度检测单元12、块积分单元13和积分值分析单元14。图像分析装置2从输入图像中获得图像内的延伸，即输入图像的各个像素的深度值，根据所获得的深度值而分析输入图像的布局，并且将分析结果提供到图像质量增强处理装置3。

YUV分离单元11通过逐像素地将RGB信号转换为YUV信号(亮度信号Y以及色度信号U和V)而将例如由RGB信号构成的输入图像分离为例如YUV信号，并且将YUV信号提供到深度检测单元12。深度检测单元12从亮度信号Y以及色度信号U和V获得每个像素的深度值d，并且将各个像素的深度值d提供到块积分单元13。稍后将参考图2描述深度检测单元12的详细结构示例。

块积分单元13基于各个像素的深度值d而对在输入图像的每个预定区域中的深度值d进行积分，并且将每个区域中的积分结果提供到积分值分析单元14。更具体地说，块积分单元13包括开阔天空区域积分组件13a和画像区域积分组件13b。关于这些组件，开阔天空区域积分组件13a对包括输入图像的上部区域的开阔天空区域中的深度值d进行积分，并且获得开阔天空区域加权平均值sdo。画像区域积分组件13b对包括输入图像的左右侧区域的画像区域中的深度值d进行积分，并且获得画像区域加权平均值sdp。块积分单元13将开阔天空区域加权平均值sdo和画像区域加权平均值sdp提供到积分值分析单元14。

积分值分析单元14基于开阔天空区域加权平均值sdo和画像区域加权平均值sdp而分析开阔天空的程度和画像的程度，基于作为分析结果的开阔天空程度和画像程度而指定布局，并且将关于所指定布局的信息提供到图像质量增强处理装置3。稍后将详细地描述开阔天空程度和画像程度与布局的对应关系。

图像质量增强处理装置3基于在开阔天空程度和画像程度基础上指定的输入图像的布局而增强输入图像的图像质量，并且输出图像质量经增强的输入图像。

深度检测单元的结构示例

现在将参考图2描述深度检测单元12的详细结构示例。

深度检测单元12包括：焦点信息提取组件31、区域合并组件32、暗部处理组件33、深度生成组件34、照明分量提取组件35和饱和度检测组件36。深度检测单元12从亮度信号Y以及色度信号U和V获得每个像素的深度值d，并且将深度值d提供到块积分单元13。

焦点信息提取组件31通过将亮度信号Y乘以水平高通滤波器(HPF)和垂直HPF来提取高频分量，并且将所提取的高频分量作为焦点信息F提供到区域合并组件32和暗部处理组件33。稍后将参考图3详细地描述焦点信息提取组件31的结构示例。

区域合并组件32包括低通滤波器(LPF)。区域合并组件32通过逐像素地对焦点信息F进行平滑化以使得焦点信息F将变得更接近于周边像素的焦点信息项F的值而合并焦点信息F，从而生成焦点信息FL，并且将所生成的焦点信息FL提供到深度生成组件34。由于区域合并组件32可以是任何组件，只要该组件可以执行合并处理以使得焦点信息F更接近于周边像素的焦点信息项F的值即可，因此除LPF之外，区域合并组件32还可以包括有限脉冲响应(FIR)滤波器、无限脉冲响应(HR)滤波器、ε滤波器或中值滤波器。

暗部处理组件33逐像素地通过将目标像素的焦点信息F与周边像素的焦点信息项F进行比较来获得大于目标像素的焦点信息F的值的平均值。暗部处理组件33通过以所获得的平均值替代目标像素的焦点信息F来执行处理以使得暗部更亮，从而生成焦点信息FD，并且将所生成的焦点信息FD提供到深度生成组件34。

照明分量提取组件35包括LPF。照明分量提取组件35通过对亮度信号Y进行平滑化来执行处理以使得亮度信号Y更接近于周边像素的亮度信号Y，从而提取照明分量LF，并且将所提取的照明分量LF提供到深度生成组件34。

饱和度检测组件36从色度信号U和V检测饱和度S，并且将所检测的饱和度S提供到深度生成组件34。

深度生成组件34基于焦点信息FL和FD、照明分量LF和饱和度S而生成和输出深度值d。稍后将参考图5详细地描述深度生成组件34。焦点信息提取组件的结构示例

现在将参考图3描述焦点信息提取组件31的详细结构示例。

焦点信息提取组件31包括：水平方向HPF 51、绝对值处理部件52、最大值提取部件53、垂直方向HPF 54和绝对值处理部件55。焦点信息提取组件31提取亮度信号Y的高频分量并且输出所提取的高频分量作为焦点信息F。

水平方向HPF 51例如是诸如图4上部所示的、提取水平方向高频分量的HPF。水平方向HPF 51提取输入亮度信号Y的水平方向高频分量YH，并且将所提取的水平方向高频分量YH输出到绝对值处理部件52。

绝对值处理部件52获得被提取作为水平方向高频分量的高频分量YH的绝对值，并且将所获得的绝对值提供到最大值提取部件53。

垂直方向HPF 54例如是诸如图4的下部所示的、提取垂直方向高频分量的HPF。垂直方向HPF 54提取输入亮度信号Y的垂直方向高频分量YV，并且将所提取的垂直方向高频分量YV输出到绝对值处理部件55。

绝对值处理部件55获得被提取作为垂直方向高频分量的高频分量YV的绝对值，并且将所获得的绝对值提供到最大值提取部件53。

最大值提取部件53提取高频分量YH和YV的最大值，并且输出所提取的最大值作为焦点信息F。

深度生成组件的结构示例

现在将参考图5描述深度生成组件34的详细结构示例。

深度生成组件34包括：亮度/暗度合并部件71、标准化部件72、色调曲线控制部件73和饱和度控制部件74。深度生成部件34基于焦点信息FL和FD、照明分量LF和饱和度S而生成和输出深度值d。

亮度/暗度合并部件71以基于从光照分量提取组件35提供的照明分量LF的比率，将来自区域合并组件32的亮度信号YL与来自暗部处理组件33的亮度信号YD进行组合，从而将亮度信号的亮部与暗部合并，并且将组合信号g提供到标准化部件72。

标准化部件72对从亮度/暗度合并部件71提供的组合信号g进行标准化，并且将经标准化的组合信号g′提供到色调曲线控制部件73。

色调曲线控制部件73通过根据预设的色调曲线控制组合信号g′而生成深度值dg，并且将所生成的深度值dg提供到饱和度控制部件74。

饱和度控制部件74通过将从色调曲线控制部件73提供的深度值dg乘以基于从饱和度检测组件36提供的饱和度S而设置的系数，生成深度值d，并且将所生成的深度值d提供到块积分单元13。

由图1中的图像处理设备执行的图像处理

现在将参考图6所示的流程图来描述由图1所示的图像处理设备1执行的图像处理。

在步骤S11中，YUV分离单元11确定是否提供了新图像，并且重复相同处理直至提供新图像。当在步骤S11中输入了新图像时，流程前进到步骤S12。

在步骤S12中，YUV分离单元11以像素为单位将输入图像转换和分离为YUV信号，并且将亮度信号Y以及色度信号U和V提供到深度检测单元12。

在步骤S13中，深度检测单元12通过基于亮度信号Y以及色度信号U和V执行深度检测处理来获得每个像素的深度值d，并且将各个像素的深度值d提供到块积分单元13。

深度检测处理

现在将参考图7所示的流程图描述深度检测处理。

在步骤S31中，饱和度检测组件36通过计算下面的方程式(1)而从所提供的色度信号U和V获得饱和度S，并且将所获得的饱和度S提供到深度生成组件34：

$S=\sqrt{(U^2+V^2)}...\left(1\right)$

其中U和V是色度信号。也就是说，饱和度S是作为色度信号U和V的平方和的平方根而获得的。

在步骤S32中，照明分量提取组件35通过基于周边像素的亮度信号Y而对每个像素的亮度信号Y进行平滑化来执行处理，以使得每个像素的亮度信号Y将变得更接近于周边像素的亮度信号Y，从而提取照明分量LF，并且将照明分量LF提供到深度生成组件34。也就是说，即使在焦点对准(in-focus)的状态中，亮色区域也具有较小的高频分量。因此，提取更接近于周边像素的亮度信号Y的值作为照明分量LF。

在步骤S33中，焦点信息提取组件31通过对每个像素执行焦点信息提取处理来从亮度信号Y获得焦点信息F，并且将所获得的焦点信息F提供到区域合并组件32和暗部处理组件33。

焦点信息提取处理

现在将参考图8所示的流程图描述焦点信息提取处理。

在步骤S51中，水平方向HPF 51通过将诸如图4的上部所示的水平方向滤波处理应用于输入亮度信号Y来提取高频分量YH，并且将所提取的高频分量YH提供到绝对值处理部件52。

在步骤S52中，绝对值处理部件52获得被提取作为水平方向高频分量的高频分量YH的绝对值，并且将绝对值提供到最大值提取部件53。

在步骤S53中，垂直方向HPF 54通过将诸如图4的下部所示的垂直方向滤波处理应用于输入亮度信号Y来提取高频分量YV，并且将所提取的高频分量YV提供到绝对值处理部件55。

在步骤S54中，绝对值处理部件55获得被提取作为垂直方向高频分量的高频分量YV的绝对值，并且将绝对值提供到最大值提取部件53。

在步骤S55中，最大值提取部件53提取高频分量YH和YV的最大值，也就是说，两个分量YH和YV中的较大值，并且将最大值作为焦点信息F输出到区域合并组件32和暗部处理组件33。

通过前述处理，将输入图像P的每个像素的水平方向和垂直方向的高频分量的较大值作为焦点信息F输出。

描述返回到参考图7所示的流程图。

在步骤S34中，区域合并组件32通过对焦点信息F进行平滑化以使得焦点信息F将变得更接近于周边像素的焦点信息项F的值来生成焦点信息FL，并且将焦点信息FL提供到深度生成组件34。也就是说，通过该处理，认为由高频分量构成整个图像的区域合并组件32对焦点信息F进行平滑化以生成焦点信息FL，并且将所生成的焦点信息FL提供到深度生成组件34。

在步骤S35中，暗部处理组件33逐像素地将作为处理目标的像素(即目标像素)的焦点信息F与周边像素的焦点信息项F进行比较，并且获得大于目标像素的焦点信息F的周边像素的焦点信息项F的平均值。也就是说，在作为处理目标的像素(即由图9中的黑圆表示的目标像素)周围、沿着诸如垂直方向或水平方向的一维范围W内的焦点信息项F当中，暗部处理组件33获得由粗线表示的大于目标像素的焦点信息F的值的平均值FA(图9中的白圆)。暗部处理组件33通过以所获得的平均值FA替代目标像素的焦点信息F来生成焦点信息FD。通过该处理，逐像素地以在周边像素的焦点信息项F当中大于目标像素的焦点信息F的焦点信息项F的平均值FA来替代目标像素的焦点信息F，从而生成焦点信息FD。这样，执行处理以使得暗部更亮。也就是说，例如，对存在于图像的暗色区中的像素进行处理，以使得这些像素将变得更亮。在由暗部处理组件33执行的处理中，仅仅需要使用在作为处理目标的像素周围的预定范围内的值的平均值。或者，例如，可以以在作为处理目标的像素周围的二维范围内且大于作为处理目标的像素的焦点信息F的值的平均值替代作为处理目标的像素的焦点信息F。

在步骤S36中，深度生成组件34通过执行深度生成处理，基于焦点信息FL和FD、照明分量LF以及饱和度S而生成深度值d，并且将所生成的深度值d提供到块积分单元13。

深度生成处理

现在将参考图10所示的流程图描述深度生成处理。

在步骤S71中，亮度/暗度合并部分71通过计算下面的方程式(2)以生成组合信号g，以基于照明分量LF的比率将亮度信号YL与亮度信号YD进行组合，并且将组合信号g提供到标准化部件72：

g＝A×FD+(1-A)×FL    …(2)

其中g表示组合信号，FD表示暗部的亮度信号，FL表示亮色部分的亮度信号，以及A表示基于照明分量LF确定的系数，如图11所示。也就是说，系数A是在0到1.0的范围内的值。当照明分量LF接近于0时，系数A变为1.0。系数A保持为1.0直至照明分量LF变为预定值。当照明分量LF变得大于预定值时，系数A随着光照分量LF变得越大而线性地变得越小。当照明分量LF超过预定值时，系数A变为0。

因此，在照明分量LF很大的总体亮的图像中，亮度/暗度合并部件71将亮色部分的亮度信号YL与暗部的亮度信号YD进行组合，以使得亮色部分的亮度信号YL的比例将变得更大。相反地，在光照分量LF小的总体暗的图像中，亮度/暗度合并部分71将亮色部分的亮度信号YL与暗部的亮度信号YD进行组合，以使得暗部的亮度信号YD的比例将变得更大。

结果，当输入图像P是总体亮的图像时，根据具有非常大的高频分量的亮度信号YL来调整焦点信息F。相反地，当输入图像P是总体暗的图像时，根据经过了暗部处理的亮度信号YD来调整焦点信息F。

在步骤S72中，标准化部件72通过计算下面的方程式(3)对组合信号g进行标准化，并且将经标准化的组合信号g′提供到色调曲线控制部件73：

g′＝(g-gmin)/(gmax-gmin)        …(3)

其中g′表示经标准化的组合信号，g表示在进行标准化之前的组合信号，gmax表示在输入图像的各个像素的组合信号g中的最大值，以及gmin表示输入图像的各个像素的组合信号g的最小值。

在步骤S73中，色调曲线控制部件73通过根据诸如图12所示的色调曲线对组合信号g′进行控制来生成深度值dg，并且将深度值dg提供到饱和度控制部件74。也就是说，如图12所示，在预设的色调曲线中，当组合信号g′是接近于0或接近于1的值时，深度值dg逐渐增大。当组合信号g′接近于0.4时，深度值dg突然增大。因此，当组合信号g′很大时，将深度值dg设置为小。当组合信号g′小时，将深度值dg设置为很大。另外，深度值dg取决于组合信号g′的大小而变为接近于0或1.0的值。因此，执行控制，使得可以以相对清晰的方式区分某一对象朝前还是朝后存在(即深度)。

在步骤S74中，饱和度控制部件74将从色调曲线控制部件73提供的深度值dg乘以如图13所示的基于从饱和度检测组件36提供的饱和度S而设置的系数B，从而生成在饱和度S的控制下的深度值d。更具体地说，饱和度控制部件74通过计算下面的方程式(4)来计算深度值d，并且将所计算的深度值d提供到块积分单元13：

d＝B×dg    …(4)

其中d表示在饱和度S的控制下的深度值，B表示如图13所示的基于饱和度S而设置的系数，以及dg表示在经过基于饱和度S的控制之前的深度值。

如图13所示，系数B是在预设系数B的最小值Bmin到最大值Bmax的范围内的值。系数B是相对于输入图像的饱和度S的最小值Smin到最大值Smax的范围而线性转换的值。也就是说，控制深度值d，以使得作为经过控制之前的值的深度值dg随着饱和度S变得越大而变得越大，并且，相反地，控制深度值d，以使得作为经过控制之前的值的深度值dg随着饱和度S变得越小而变得越小。因此，饱和度S越大，深度值d就越大。以这种方式，可以将深度值d设置为基于其可以更清晰地识别深度的值。饱和度S越小，深度值d就越小。以这种方式，可以将深度值d设置为基于其更难以识别深度的值。

通过前述处理，基于组合信号g设置深度值d，其中组合信号g是根据输入图像的各个像素的亮度/暗度、照明分量LF和饱和度S设置的。因此，可以适当地计算深度值d。

描述返回到参考图6所示的流程图。

也就是说，当在图7所示的流程图的步骤S36中的深度生成处理完成时，在图6所示的流程图的步骤S13中的深度检测处理完成。流程前进到步骤S14。

在步骤S14中，块积分单元13控制开阔天空区域积分组件13a，以对包括输入图像的上部区域的开阔天空区域中的深度值d进行积分并且获得开阔天空区域加权平均值sdo。也就是说，开阔天空区域例如是在图14的左部所示的输入图像P中被表示为斜线部分的区域Z1。开阔天空区域积分组件13a对属于被表示为区域Z1的开阔天空区域的像素的深度值d进行积分，并且使用诸如由图14左部的左上角中的曲线所示的权重W(x，y)来获得开阔天空区域加权平均值sdo，其中权重w(x，y)沿垂直方向分布以使得在垂直方向的中心处变为最大值μy。

在步骤S15中，块积分单元13控制画像区域积分组件13b，以对包括输入图像的左右侧区域的画像区域中的深度值d进行积分，并且获得画像区域加权平均值sdp。也就是说，画像区域包括例如在图14右部所示的输入图像P中被表示为斜线部分的区域Z2。画像区域积分组件13b对属于被表示为区域Z2的画像区域的像素的深度值d进行积分，并且使用诸如由图14的右部较下方的左右角中的曲线所示的权重w(x，y)来获得画像区域加权平均值sdp，其中权重w(x，y)沿水平方向分布以使得在水平方向的中心处变为最大值μx。

在步骤S16中，块积分单元13将开阔天空区域加权平均值sdo和画像区域加权平均值sdp提供到积分值分析单元14。积分值分析单元14使用诸如图15所示的关系，从开阔天空区域加权平均值sdo和画像区域加权平均值sdp获得开阔天空程度和画像程度。此外，积分值分析单元14分析开阔天空程度和画像程度，并且将关于输入图像的布局的信息提供到图像质量增强处理装置3。在图15中，在横坐标中标绘平均值d_ave，其表示开阔天空区域加权平均值sdo或画像区域加权平均值sdp，并且在纵坐标中标绘开阔天空程度或画像程度。也就是说，开阔天空程度和画像程度都取最大值直至平均值d_ave达到预定值。当平均值d_ave变得大于或等于预定值时，开阔天空程度和画像程度就随着平均值d_ave变大而变小。当平均值d_ave变得大于或等于预定值时，开阔天空程度和画像程度变为0。

这里，随着开阔天空区域加权平均值sdo变小，开阔天空的程度变大，其中开阔天空区域加权平均值sdo是在如图14的左部所示的图像的区域Z1中的深度值d的加权平均值。因此，当开阔天空的程度很大时，图像具有上部具有深度的布局。这种布局非常可能是在图像上部包括具有深度的对象(诸如天空)的捕获图像的布局。

另外，随着画像区域加权平均值sdp变大，画像的程度变小，其中画像区域加权平均值sdp是在如图14的右部所示的图像的区域Z2中的深度值d的加权平均值。因此，当画像程度很大时，图像具有在左右侧具有深度的布局。这种布局非常可能是在图像左右部包括具有深度的对象(诸如墙或天空)的捕获图像的布局。

因此，积分值分析单元14认为开阔天空程度和画像程度具有如图16所示的趋势，并且基于开阔天空程度和画像程度而分析布局。在图16中，将开阔天空程度标绘在横坐标中，并且将画像程度标绘在纵坐标中。

也就是说，当开阔天空程度和画像程度都高时，积分值分析单元14分析图像具有诸如图16的布局K1所示的布局，其中拍摄主***于中央，并且背景或天空位于上部和侧部。在布局K1中，示出四个具有这样布局的图像，即拍摄主***于中央并且背景或天空位于上部和侧部。

当开阔天空程度低并且画像程度高时，积分值分析单元14分析图像具有诸如图16的布局K2所示的布局，其中拍摄主***于中央，并且墙等位于侧部。在布局K2中，示出四个具有这样布局的图像，即拍摄主***于中央并且墙等位于侧部。

此外，当开阔天空程度和画像程度都低时，积分值分析单元14分析图像具有诸如图16的布局K3所示的布局，其中拍摄主体占据整个图像，并且在图像中不存在具有深度的对象。在布局K3中，示出四个具有这样布局的图像，即拍摄主体占据整个图像并且在图像中不存在具有深度的对象。

当开阔天空程度高并且画像程度低时，积分值分析单元14分析图像具有诸如图16的布局K4所示的布局，例如，其中具有深度的天空或旷野在整个图像中延伸。在布局K4中，示出四个具有这样布局的图像，即具有深度的天空或旷野在整个图像中延伸。

在步骤S17中，图像质量增强处理装置3基于关于布局的信息而对输入图像P执行图像质量增强处理，其中布局是从积分值分析单元14提供的分析结果，并且输出作为处理结果的图像P′。

例如，当提供了关于与上述布局K1对应的布局的信息时，图像质量增强处理装置3通过考虑输入图像是拍摄主***于中央且天空或背景位于上部和侧部的图像来执行图像质量增强。在这种情况下，如图16的布局K1所示，输入图像非常可能是通过从远距离位置捕获以天空等为背景的较大建筑物等的图像来获得的图像。因此，图像质量增强处理装置3例如通过基于图像是在户外捕获的设想而调整白平衡来增强输入图像的图像质量。

例如，当提供了关于与上述布局K2对应的布局的信息时，图像质量增强处理装置3通过考虑输入图像是拍摄主***于中央且墙或背景位于侧部的图像来执行图像质量增强。在这种情况下，如图16的布局K2所示，输入图像非常可能是通过捕获位于中央处的拍摄主体的图像而获得的图像。因此，通过使用拍摄主体识别功能等来检测拍摄主体的位置并且例如对拍摄主体的检测位置处的拍摄主体应用颜色校正，图像质量增强处理装置3增强输入图像的图像质量。

例如，当提供了关于与上述布局K3对应的布局的信息时，图像质量增强处理装置3通过考虑输入图像的整个区域包括拍摄主体来执行图像质量增强。在这种情况下，如图16的布局K3所示，输入图像非常可能是通过捕获在拍摄主体存在于整个图像中的状态下的图像而获得的图像，并且输入图像非常可能是整体上包括很多高频分量的图像。因此，图像质量增强处理装置3例如通过增强整个图像的清晰度和对比度来增强输入图像的图像质量。

例如，当提供了关于与上述布局K4对应的布局的信息时，图像质量增强处理装置3通过考虑输入图像的整个区域包括具有深度的对象来执行图像质量增强。在这种情况下，如图16的布局K4所示，输入图像非常可能是通过捕获在具有深度的对象存在于整个图像中的状态下的图像来获得的图像。因此，图像质量增强处理装置3例如通过使用深度值d在整体上改变在前景和背景之间的清晰度和对比度来增强输入图像的图像质量。

在上面的描述中，如图14所示，描述了这样的示例，即获得开阔天空区域加权平均值sdo和画像区域加权平均值sdp作为在如区域Z1和Z2所示的区域中的深度值d的加权平均值。然而，在其中获得开阔天空区域加权平均值sdo和画像区域加权平均值sdp的区域不限于图14所示的区域Z1和Z2，并且可以是其他区域。

例如，如图17所示，在图像P的顶部处的区域Z11中的深度值d的加权平均值可以用作开阔天空区域加权平均值sdo，并且在作为除区域Z11之外的侧部区域的区域Z12中的深度值d的加权平均值可以用作画像区域加权平均值sdp。

此外，权重w(x，y)的分布可以不必是图14所示的分布，并且可以是在图17的较下方的左右部分中示出的分布，其中在图17中关于权重w(x，y)的分布，达到最大值的位置可以沿着图像P的横向移动。

通过前述处理，精确地获得输入图像的各个像素的深度值d。因此，可以根据深度值d的积分值的平均值来估计输入图像的布局，从而根据布局实现图像处理。

2.第二实施例

在前面描述中，描述了这样的示例，即根据输入图像的各个像素的深度值d获得布局并且增强输入图像的图像质量。可替选地，可以基于所获得的布局而适当地压缩输入图像。

图像处理设备的结构示例

图18示出基于所获得的布局而适当地压缩输入图像的图像处理设备1的结构示例。在图18中，具有与图1所示的装置和单元相同功能的装置和单元以相同名称和相同标号给出，并且适当地省略其描述。

也就是说，图18中的图像处理设备1的结构与图1中的图像处理设备1的结构的不同之处在于，提供了图像压缩处理装置101而不是图像质量增强处理装置3。

图像压缩处理装置101基于关于从图像分析组件2提供的布局的信息而适当地压缩输入图像。

由图18中的图像处理设备执行的图像处理

现在将参考图19所示的流程图描述由图18所示的图像处理设备1执行的图像处理。由于在图19的流程图的步骤S111到S116中的处理与参考图6的流程图描述的步骤S11到S16的处理相同，因此省略其描述。

在步骤S117中，图像压缩处理装置101基于关于从图像分析组件2提供的布局的信息而压缩输入图像。也就是说，例如当提供表示图16中的布局K1的信息作为关于布局的信息时，与图14中的区域Z1和Z2对应的区域非常可能包括天空。因此，图像压缩处理装置101改进(增大)关于非常可能包括天空的区域Z1和Z2的信息的压缩比率，从而增大压缩比率并执行压缩。通过该处理，可以适当地压缩图像而不降低图像质量。

或者，当提供表示布局K3的信息作为关于布局的信息时，输入图像整体上非常可能包括很多高频分量。因此，图像压缩处理装置101执行压缩而不减小压缩比率。通过该处理，可以通过根据布局调整要被降低的图像质量的级别来适当地压缩图像。

根据本发明的实施例，可以精确地获得图像的各个像素的深度值。使用所获得的深度值，可以识别图像的布局，并且可以根据所识别的布局来实现适当的图像处理。

上述系列处理可以通过硬件来执行或者可以通过软件来执行。当要通过软件来执行系列处理时，构成软件的程序可以从记录介质被安装到嵌入在专用硬件中的计算机中，或者被安装到例如能够使用安装在其中的各种程序来执行各种功能的通用个人计算机中。

图20示出通用个人计算机的结构示例。个人计算机包括中央处理单元(CPU)1001。输入/输出接口1005经由总线1004连接到CPU 1001。只读存储器(ROM)1002和随机存取存储器(RAM)1003连接到总线1004。

输入/输出接口1005连接到以下单元：输入单元1006，其包括键盘、鼠标等等，用户使用其来输入操作命令；输出单元1007，其将处理操作屏幕或处理结果的图像输出到显示设备；存储单元1008，其包括硬盘驱动器等等，其存储程序和各种数据项；以及通信单元1009，其经由以因特网为代表的网络执行通信处理。另外，输入/输出接口1005连接到对可拆卸介质1011读取/写入数据的驱动器1010，其中可拆卸介质1011诸如为磁盘(包括软盘)、光盘(包括致密盘-只读存储器(CD-ROM)和数字多功能盘(DVD))、磁光盘(包括迷你盘(MD))、半导体存储器等等。

CPU 1001根据存储在ROM 1002中的程序或者从诸如磁盘、光盘、磁光盘或半导体存储器等可拆卸介质1011读取并安装到存储单元1008中以及从存储单元1008装载到RAM 1003的程序来执行各种处理。另外，RAM 1003适当地存储CPU 1001执行各种处理必须的数据。

在说明书中，描述记录在记录介质中的程序的步骤包括根据说明书中描述的次序以时间顺序执行的处理，并且可以包括不是必须以时间顺序执行而是并行或单独地执行的处理。

本申请包含与2008年9月19日向日本专利局提交的日本优先权专利申请JP 2008-240334中公开的主题内容相关的主题内容，在此通过引用将其全文合并于此。

本领域的技术人员应当理解，可以在所附权利要求或其等价物的范围内根据设计要求或其它因素进行各种修改、组合、子组合和变更。

Claims (7)

1.一种图像处理设备，其包括：

深度值检测装置，用于检测输入图像的各个像素的深度值；

积分装置，用于对所述输入图像的每个预定区域中的所述深度值进行积分；

分析装置，用于分析在所述输入图像的每个预定区域中的所述深度值的积分结果的趋势；以及

处理装置，用于基于由所述分析装置获得的分析结果而处理所述输入图像。

2.根据权利要求1所述的图像处理设备，其中所述深度值检测装置包括：

焦点信息提取装置，用于针对所述输入图像的每个像素，从周边像素的亮度信号提取高频分量作为焦点信息；

区域合并装置，用于逐像素地通过对周边像素的焦点信息项进行合并而生成经合并的焦点信息；

暗部处理装置，用于逐像素地通过以基于周边像素的焦点信息项当中大于像素的焦点信息的焦点信息而获得的值替代所述像素的焦点信息，生成所述输入图像的暗部焦点信息；

照明分量提取装置，用于通过将每个所述像素的亮度信号与所述周边像素的亮度信号合并来提取照明分量；

亮度/暗度合并装置，用于通过对所述经合并的焦点信息和所述暗部焦点信息执行乘积和运算来计算每个所述像素的深度值，其中所述乘积和运算包括使用所述照明分量的系数；

标准化装置，用于对每个所述像素的所述深度值进行标准化；

色调曲线控制装置，用于使用色调曲线来控制由所述标准化装置标准化的所述深度值；

饱和度检测装置，用于检测每个所述像素的饱和度；以及

饱和度控制装置，用于使用所述饱和度对由所述色调曲线控制装置使用所述色调曲线控制的所述深度值进行控制。

3.根据权利要求1所述的图像处理设备，其中所述处理装置基于所述分析结果而增强所述输入图像的图像质量。

4.根据权利要求1所述的图像处理设备，其中所述处理装置基于所述分析结果而压缩所述输入图像。

5.一种图像处理方法，其包括以下步骤：

检测输入图像的各个像素的深度值；

对所述输入图像的每个预定区域中的所述深度值进行积分；

分析在所述输入图像的每个预定区域中的所述深度值的积分结果的趋势；以及

基于分析结果而处理所述输入图像。

6.一种程序，其使计算机执行包括以下步骤的处理：

检测输入图像的各个像素的深度值；

对所述输入图像的每个预定区域中的所述深度值进行积分；

分析在所述输入图像的每个预定区域中的所述深度值的积分结果的趋势；以及

基于分析结果而处理所述输入图像。

7.一种图像处理设备，其包括：

深度值检测单元，配置用来检测输入图像的各个像素的深度值；

积分单元，配置用来对所述输入图像的每个预定区域中的所述深度值进行积分；

分析单元，配置用来分析在所述输入图像的每个预定区域中的所述深度值的积分结果的趋势；以及

处理单元，配置用来基于由所述分析单元获得的分析结果而处理所述输入图像。

Images