CN106485670A

CN106485670A - 图像处理设备及图像处理方法

Info

Publication number: CN106485670A
Application number: CN201610797434.8A
Authority: CN
Inventors: 关根寿人
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-09-01
Filing date: 2016-08-31
Publication date: 2017-03-08
Also published as: US10027897B2; KR20170027301A; EP3139343B1; JP6579868B2; JP2017050683A; US20170064177A1; EP3139343A1; KR102058775B1

Abstract

本发明涉及一种图像处理设备及图像处理方法。可以对已针对各局部区域进行了对比度校正的图像的亮度进行调整。该图像处理设备对已针对各局部区域进行了用于去除散射光成分的对比度校正的处理后的图像的亮度进行调整，该图像处理设备包括：估计单元，用于基于针对各局部区域进行对比度校正之前的输入图像的亮度和与该亮度相对应的透过率来估计处理后的图像的亮度；参数计算单元，用于基于输入图像的亮度和估计单元所估计出的处理后的图像的亮度来计算曝光校正参数；以及曝光校正单元，用于通过使用曝光校正参数来针对处理后的图像进行曝光校正。

Description

图像处理设备及图像处理方法

技术领域

本发明涉及用以减少由细颗粒引起的散射光的影响的图像处理。

背景技术

在监视照相机等领域，由存在于照相机和被摄体之间的细颗粒(例如，废物、尘、雾)引起的所拍摄图像的图像质量的降低已成问题。图像质量的降低是由如下原因所引起的：光在穿过空气时由于细颗粒而发生散射，并且结果使所拍摄图像的对比度降低。光散射的散射程度根据相对于被摄体的距离而改变。由此，在拍摄混合地存在相对于被摄体的不同距离的场景的情况下，可能会获得如下的图像，其中在该图像中，对比度的降低的程度在图像区域之间有所不同。作为针对诸如这种对比度已经降低的图像的通用对比度校正技术，存在通过根据所拍摄图像来计算直方图并基于该直方图对图像进行校正来校正图像的技术(参见日本专利3614692)。然而，利用日本专利3614692中所述的方法，无法充分地校正对比度的降低的程度在区域之间有所不同的图像。结果，作为用以针对各区域来校正对比度的降低的技术，存在使用暗通道优先(dark channel prior)的技术(参见美国专利8340461)。在该技术中，根据所拍摄图像的局部区域中的RGB最小值(暗通道)，来估计由细颗粒引起的光的散射的程度，并且针对各局部区域进行对比度校正。

然而，在通过使用美国专利8340461中所述的方法来进行针对各局部区域的对比度校正的情况下，无法保证整个图像的亮度，因此，整个图像的亮度与适当的亮度相比可能会变得更亮或者更暗。

发明内容

由此，本发明的目的是将已针对各局部区域进行了对比度校正的图像的亮度调整到适当亮度。

根据本发明的图像处理设备是一种图像处理设备，用于调整针对各局部区域进行了对比度校正的处理后的图像的亮度，所述对比度校正用于去除散射光的成分，所述图像处理设备包括：估计单元，用于基于针对各局部区域进行所述对比度校正之前的输入图像的亮度以及与该亮度相对应的透过率来估计所述处理后的图像的亮度；参数计算单元，用于基于所述输入图像的亮度以及所述估计单元所估计出的所述处理后的图像的亮度来计算曝光校正参数；以及曝光校正单元，用于通过使用所述曝光校正参数，针对所述处理后的图像进行曝光校正。

根据本发明的图像处理设备是一种图像处理设备，包括：获取单元，用于获取通过进行摄像所获得的拍摄图像；生成单元，用于通过针对所获取到的拍摄图像进行用以针对各像素位置去除像素值中所包括的散射光成分的对比度校正，来生成处理后的图像；估计单元，用于基于所述拍摄图像的亮度和与该亮度相对应的透过率来估计所述处理后的图像的亮度；参数计算单元，用于基于所述拍摄图像的亮度和所述估计单元所估计出的所述处理后的图像的亮度来计算曝光校正参数；以及曝光校正单元，用于通过使用所述曝光校正参数，针对所述处理后的图像进行曝光校正。

根据本发明的图像处理方法是一种图像处理方法，用于调整针对各局部区域进行了对比度校正的处理后的图像的亮度，所述对比度校正用于去除散射光的成分，所述图像处理方法包括以下步骤：估计步骤，用于基于针对各局部区域进行所述对比度校正之前的输入图像的亮度以及与该亮度相对应的透过率来估计所述处理后的图像的亮度；基于所述输入图像的亮度以及所述估计步骤中所估计出的所述处理后的图像的亮度来计算曝光校正参数；以及通过使用所述曝光校正参数，针对所述处理后的图像进行曝光校正。

通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出第一实施例中的图像处理设备的硬件结构的框图；

图2是示出第一实施例中的图像处理设备的软件结构的框图；

图3是示出第一实施例中的图像处理设备的处理的流程图；

图4是示出散射光去除处理单元的内部结构的框图；

图5是示出散射光去除处理单元的处理的流程图；

图6是示出暗通道提取单元得出与特定关注像素相对应的暗通道的处理的示意图；

图7是示出基准强度计算单元的处理的流程图；

图8A～8D是用于说明基准像素值的提取方法的说明图；

图9是示出第一实施例中的曝光校正参数计算单元的内部结构的框图；

图10是示出第一实施例中的曝光校正参数计算单元的处理的流程图；

图11A和11B是用于说明用以搜索与平均亮度相对应的透过率的处理的说明图；

图12A～12D是用于说明第一实施例的效果的说明图；

图13是示出第二实施例中的曝光校正参数计算单元的内部结构的框图；以及

图14是示出第二实施例中的曝光校正参数计算单元的处理的流程图。

具体实施方式

第一实施例

图1是示出第一实施例中的图像处理设备101的硬件结构的框图。在图1中，示出了本实施例中的包括图像处理设备101的摄像设备。除图像处理设备101以外，图1中示出的摄像设备还包括外部存储器110、摄像单元111，和显示单元。外部存储器110可以被配置为以使得能够可从摄像设备拆卸。也就是说，摄像设备可以不包括外部存储器110。

图像处理设备101包括CPU 102、RAM 103、ROM 104、HDD I/F 105、HDD 106、输入I/F 107、输出I/F 108和***总线109。

CPU 102是集中地控制图像处理设备101的各组件的处理器。

RAM 103是用作CPU 102的主存储器或CPU 102的工作区域的存储器。

ROM 104是用于存储负责图像处理设备101中所进行的处理的程序的存储器。

HDD I/F 105是诸如串行ATA(SATA)等的接口。HDD I/F 105将作为次级存储装置的HDD 106连接至***总线109。CPU 102可以经由HDD I/F 105从HDD 106读取数据以及向HDD 106写入数据。此外，CPU 102还可以将HDD 106中所存储的数据展开在RAM 103上，以及将展开在RAM 103上的数据保存在HDD 106中。在本实施例中，CPU 102将ROM 104或HDD 106中所存储的程序(例如，用于集中地控制各组件的程序)展开在RAM 103上，并执行该程序。

HDD 106是诸如硬盘驱动器(HDD)等的次级存储装置。除HDD之外，HDD 106还可以是诸如光盘驱动器等的存储装置。

输入I/F 107是诸如USB和IEEE1394等的串行总线接口。图像处理设备101经由输入I/F107连接至外部存储器110和摄像单元111。CPU 102可以经由输入I/F 107从外部存储器110和摄像单元111获取数据。

输出I/F 108是诸如数字视频接口(DVI)和高清晰度多媒体接口(HDMI)(注册商标)等的视频输出接口。图像处理装置101经由输出I/F 108连接到显示单元112。

***总线109是各种数据的传送路径。图像处理设备101的各组件经由***总线109彼此连接。

外部存储器110是诸如硬盘、存储卡、CF卡、SD卡和USB存储器等的存储介质。外部设备110保存图像处理设备101所处理的图像数据等。

摄像单元111接收被摄体的光信息并且获取图像。摄像单元111将所获取到的图像作为数字数据输出。以下，摄像单元111所输出的数字数据被称为图像数据。

显示单元112是诸如显示器等的显示装置。本实施例中，CPU 102将图像数据经由输出I/F 108输出至显示单元112，并且显示单元112显示输入图像数据所表示的图像。

如上所述，在诸如尘等的细颗粒存在于摄像单元111和被摄体之间的情况下，摄像设备111所获取到的图像的对比度由于光散射而降低。因此，在本实施例中，图像处理设备101生成如下的图像数据，其中在该图像数据中，散射光的影响通过进行针对摄像单元111所输出的图像数据的处理而有所减少。

整个处理的流程

图2是示出第一实施例中的图像处理设备101的软件结构的框图。如图2所示，图像处理设备101包括拍摄执行单元1011、显像处理单元1012、散射光去除处理单元1013、曝光校正参数计算单元1014、曝光校正单元1015、伽马校正单元1016和图像输出单元1017。

以下，通过使用图3来说明本实施例的图像处理设备101中的处理的流程。

图3是示出第一实施例中的图像处理设备101的处理的流程图。在本实施例中，负责图3所示的处理的程序存储在ROM 104或HDD 106中，并且图2所示的各组件通过CPU 102加载并执行相关程序来工作。

首先，在步骤S201中，拍摄执行单元1011针对摄像单元111设置适合于拍摄被摄体的拍摄条件。拍摄执行单元1011通过执行一般自动曝光控制等来设置最佳拍摄条件。

在步骤S202中，拍摄执行单元1011使得基于步骤S201的处理中所设置的拍摄条件来驱动摄像单元111，并且进行拍摄。

在步骤S203中，显像处理单元1012针对步骤S202的处理中从摄像单元111所输出的图像数据进行显像处理。在显像处理中，进行诸如白平衡、去马赛克、颜色转换、噪声降低和边缘增强处理等的一般显像处理。然后，生成各像素具有R、G和B颜色的图像。

在步骤S204中，散射光去除处理单元1013针对已在步骤S203的处理中进行了显像处理的图像数据的各局部区域进行对比度校正。本实施例中，散射光去除处理单元1013进行作为针对各局部区域的对比度校正的要在后面说明的散射光去除处理。

在步骤S205中，曝光校正参数计算单元1014根据已在步骤S204的处理中针对各局部区域进行了对比度校正的图像数据,来计算曝光校正参数α。后面将说明曝光校正参数α的计算处理。

在步骤S206中，曝光校正单元1015根据如下表达式1通过使用步骤S205的处理中所计算出的曝光校正参数α来进行曝光校正。

o(x，y，c)＝α·j’(x，y，c)···(表达式1)

这里，O表示曝光校正后的图像数据，j’表示散射光去除处理后的图像数据，以及c表示颜色层。

在步骤S207中，伽马校正单元1016针对已在步骤S206的处理中进行了曝光校正的图像数据(以下称为曝光校正后的图像数据)进行伽马校正。

最后，在步骤S208中，图像输出单元1017将已在步骤S207的处理中进行了伽马校正的图像数据经由HDD I/F 105输出至HDD 106。图像输出单元1017也可以将图像数据保存在其它存储介质中。例如，图像输出单元1017还可以将图像数据经由输入I/F 107输出至外部存储器110。

散射光去除处理

以下，说明步骤S204中的散射光去除处理。

图4是示出散射光去除处理单元1013的内部结构的框图。如图4所示，散射光去除处理单元1013包括输入图像获取单元301、暗通道提取单元302、基准强度计算单元(也称为基准强度得出单元)303、滤波处理单元304、透过率计算单元305、散射光去除单元306、散射光去除图像输出单元307、透过率图像输出单元308和基准强度输出单元309。

图5是示出散射光去除处理单元1013的处理的流程图。本实施例中，负责图5所示的处理的程序存储在ROM 104或HDD 106中，并且图4所示的各组件通过CPU 102加载并执行相关程序来进行工作。图4所示的所有组件可以不包括在散射光去除处理单元1013中，并且可以在图像处理设备101内新设置与各组件相对应的处理电路。

首先，在步骤S401中，输入图像获取单元301获取步骤S203的处理中进行了显像的图像数据。以下，将图像数据所表示的图像称为输入图像或所拍摄图像。输入图像获取单元301将所获取到的图像数据输出至暗通道提取单元302、基准强度计算单元303和散射光去除单元306。此外，输入图像获取单元301将输入图像数据经由HDD I/F 105输出至HDD 106。输入图像获取单元301也可以将输入图像数据保存在其它存储介质中。例如，输入图像获取单元301还可以将输入图像数据经由输入I/F 107输出至外部存储器110。

在步骤S402中，暗通道提取单元302根据从输入图像获取单元301输出的图像数据，针对各像素位置来提取暗通道。暗通道提取单元302将通过并排放置所提取到的暗通道而构成的图像数据输出至基准强度计算单元303。以下，将该图像数据称为暗通道图像数据。此外，将暗通道图像数据所表示的图像称为暗通道图像。

这里，暗通道是特定像素中具有R、G和B的各通道的像素值中的最小像素值的通道。在R、G和B的各通道的像素值中的最小像素值中，由散射光得到的成分的比例很大。结果，暗通道图像是比彩色图像更加可以反映散射光成分的强度的图像。

图6是示出暗通道提取单元302得出与特定关注像素相对应的暗通道的处理的示意图。如图6中的左图所示，假定输入的关注像素T的像素值是(R0,G0,B0)。此时，在像素值的绝对值的顺序为R0>G0>B0的情况下，如图6中的右图所示，关注像素T的暗通道是B0。此后，暗通道提取单元302通过对所有像素应用该处理来生成暗通道图像数据。

在步骤S403中，基准强度计算单元303通过使用从暗通道提取单元302输出的暗通道图像数据以及从输入图像获取单元301输出的输入图像数据来计算散射光的各颜色成分的基准强度。基准强度计算单元303将所计算出的基准强度输出至透过率计算单元305、散射光去除单元306和基准强度输出单元309。这里，基准强度是在确定了图像数据的各像素位置的散射光的各颜色成分的大小的情况下取为基准的值。基于诸如散射光成分占主导并且由于雾等而模糊成白色的天空的像素等的像素的像素值来确定基准强度。后面将说明该处理的细节。

在步骤S404中，基准强度输出单元309将步骤S403的处理中所计算出的基准强度输出至RAM 103。

在步骤S405中，滤波处理单元304针对从暗通道提取单元302输出的暗通道图像数据进行最小值滤波处理。然后，滤波处理单元304将已进行了最小值滤波处理的暗通道图像数据输出至透过率计算单元305。这里，最小值滤波处理是用以使图像中的局部结构或者噪声被误认为是由散射光导致的局部结构或者噪声的可能性降低的处理。

在步骤S406中，透过率计算单元305基于从滤波处理单元304输出的最小值滤波处理后的暗通道图像数据以及从基准强度计算单元303输出的散射光的基准强度来确定输入图像的像素位置(x,y)处的透过率t(x,y)。这里，t(x,y)通过下面的表达式2来表示。

这里，D是步骤S405的处理中所输出的最小值滤波处理后的暗通道图像。A是步骤S403中所计算出的散射光的基准强度，以及ω是假定用于计算散射光的基准强度的像素的透过率的系数。在本实施例中，假定ω是0.9。也可以调整ω的值，以使散射光去除处理后的图像数据所表示的图像变成良好的图像。

透过率计算单元305通过用所获取到的值替换表达式2中的各变量来计算各像素的透过率。透过率计算单元305将计算出的透过率输出至散射光去除单元306和透过率图像输出单元308。代替基于表达式2确定透过率，也可以基于例如通过使用立体摄像机等所获取的相对于被摄体的距离来确定透过率。

在步骤S407中，透过率图像输出单元308获取步骤S406的处理中计算出的透过率t(x,y)作为透过率图像数据，并且将该透过率图像数据输出至RAM103。以下，将透过率图像数据所表示的图像称为透过率图像。

在步骤S408中，散射光去除单元306通过使用从透过率计算单元305输出的透过率、从输入图像获取单元301输出的输入图像数据以及从基准强度计算单元303输出的散射光的基准强度来进行输入图像的散射光去除处理。通过使用下面的表达式3来进行散射光去除处理。

这里，J(x,y,c)表示散射光去除处理后的图像的像素值。I(x,y,c)表示输入图像的像素值，c表示颜色层，以及t₀是用于调整J的值的系数。在本实施例中，例如，t₀设置为0.1。这里，t₀是为了防止在t(x,y,c)无限接近于0的情况下由于I的值的微小差导致J的值大幅改变而设置的常数。也可以将t₀设置为除0.1之外的值，以使得获得更良好的图像。

散射光去除单元306通过用所获取到的值替换表达式3中的各参数来计算各像素的J。散射光去除单元306将所计算出的J作为散射光去除处理后的图像数据输出至散射光去除图像输出单元307。以下，将散射光去除处理后的图像数据所表示的图像称为散射光去除图像或散射光去除处理后的图像。

在步骤S409，散射光去除图像输出单元307获取从散射光去除单元306输出的散射光去除处理后的图像数据，并且将该图像数据经由HDD I/F 105输出至HDD 106。

基准强度的计算

以下，说明步骤S403中的基准强度计算处理。图7是示出基准强度计算单元303的处理的流程图。

在步骤S601中，基准强度计算单元303获取从暗通道提取单元302输出的暗通道图像数据。

在步骤S602中，基准强度计算单元303基于步骤S601中所获取到的暗通道图像数据来确定用于进行基准强度的计算的像素(以下，称为基准像素)。本实施例中，暗通道图像的像素中的像素值为像素值最大的前1％以内的像素被视为基准像素。暗通道图像是散射光的强度反映在像素值中的图像，因此，可以认为暗通道图像中具有大的像素值的像素是散射光成分占主导的像素。

这里，选择像素值为像素值最大的前1％以内的像素作为基准像素，但是该百分比不限于1％。例如，还可以根据拍摄场景来设置该百分比。此外，基准强度计算单元303也可以选择暗通道图像的像素中像素值大于或者等于阈值的像素。在基准强度计算单元303通过使用阈值来选择基准像素的情况下，还可以使用根据拍摄场景所设置的阈值。

在步骤S603中，基准强度计算单元303获取从输入图像获取单元301输出的输入图像数据。

在步骤S604中，基准强度计算单元303基于步骤S603的处理中所获取到的输入图像数据和步骤S602中所确定的基准像素来提取基准强度的计算所用的基准像素值。

这里，通过使用图8A～8D来说明基准像素值提取方法。图8A～8D是用于说明基准像素值提取方法的说明图。

图8A示出暗通道图像的示例。这里，以从图8A所示的5×5像素的暗通道图像中提取基准像素值的情况作为示例。在图8A～8D中，按从左上角的像素到右下角的像素(图8A～8D中从左上角到右下角)的顺序将编号1～25分配给各像素。对于暗通道图像的各像素，分配输入图像的各像素的像素值(Rk,Gk,Bk)[k＝1～25]中像素值最小的颜色的像素值。图8A～8D所示的圆圈表示附有圆圈的像素是被选择为基准像素的像素。在步骤S604中，提取与输入图像的R图像、G图像和B图像的基准像素相对应的像素的像素值作为基准像素值。也就是说，在如图8A所示选择像素3、12、13和18作为暗通道图像中的基准像素的情况下，如图8B～8D所示，分别提取R图像、G图像和B图像的像素3、12、13和18的像素值作为基准像素值。如上所述，在本实施例中，基准强度计算单元303通过针对各颜色提取被确定为散射光占主导的像素的像素的像素值来计算基准强度，因此，可以计算反映散射光的波长依赖性的基准强度。

在步骤S605，基准强度计算单元303基于步骤S604的处理中所提取的基准像素值来计算与R、G和B的各通道相对应的散射光的基准强度A。在步骤S604的处理中针对R图像、G图像和B图像所提取的基准像素值分别取值为Rs、Gs和Bs，并且所提取的基准像素值的平均值分别取值为AR、AG和AB的情况下，基准强度A通过下面的表达式4来表示。

AR＝ΣRs/n

AG＝ΣGs/n

AB＝ΣBs/n

A＝(AR+AG+AB)/3···(表达式4)

这里，n是各图像中基准像素的数量。基准强度计算单元303通过将步骤S604的处理中所提取的基准像素值代入表达式4来计算基准强度A。

在步骤S606，基准强度计算单元303将步骤S605的处理中所计算出的散射光的基准强度A输出至透过率计算单元305、散射光去除单元306和基准强度输出单元309。

以上是本实施例中的散射光的基准强度计算处理。在该处理中，基准强度计算所使用的像素是基于暗通道图像来确定的，因此，可以准确地得到基准强度。

计算曝光校正参数

以下，说明步骤S205中的曝光校正参数计算处理。

图9是示出第一实施例中的曝光校正参数计算单元1014的内部结构的框图。如图9所示，曝光校正参数计算单元1014包括输入图像获取单元801、透过率图像获取单元802、亮度信号计算单元803、平均亮度计算单元804、平均亮度透过率搜索单元805、基准强度获取单元806、参数计算单元807和参数输出单元808。

图10是示出第一实施例中的曝光校正参数计算单元1014的处理的流程图。本实施例中，负责图10所示的处理的程序存储在ROM 104或HDD 106中，并且图9所示的各组件通过CPU 102加载并执行相关程序来进行工作。图9所示的所有组件可以不包括在曝光校正参数计算单元1014中，并且可以在图像处理设备101内新设置与各组件相对应的处理电路。

首先，在步骤S901中，输入图像获取单元801从HDD 106获取步骤S401的处理中存储在HDD 106中的输入图像数据。

在步骤S902中，亮度信号计算单元803根据步骤S901的处理中所获取到的输入数据来生成亮度信号，并且将该亮度信号作为亮度图像数据输出至平均亮度计算单元804和平均亮度透过率搜索单元805。本实施例中，亮度信号计算单元803通过使用如下所示的亮度信号的一般生成表达式来生成亮度信号。

Y＝0.257*R+0.504*G+0.098*B (表达式5)

上面的表达式5是用于根据输入图像数据的RGB值生成亮度Y的表达式。亮度信号的生成表达式不限于该表达式，并且可以接受除表达式5以外的表达式。

在步骤S903中，平均亮度计算单元804根据从亮度信号计算单元803输出的亮度图像数据来计算整个图像的平均亮度。然后，平均亮度计算单元804将所计算出的平均亮度输出至平均亮度透过率搜索单元805和参数计算单元807。

在步骤S904中，透过率图像获取单元802获取图3所示的步骤S204中(具体为图5所示的步骤S407的处理中)存储在RAM 103中的透过率图像数据，并且将该透过率图像数据输出至平均亮度透过率搜索单元805。

在步骤S905，平均亮度透过率搜索单元805通过使用平均亮度、亮度图像数据和透过率图像数据来搜索与平均亮度相对应的透过率。然后，平均亮度透过率搜索单元805将与平均亮度相对应的透过率输出至参数计算单元807。

这里，通过使用图11A和11B来说明与平均亮度相对应的透过率的搜索处理。图11A和11B是用于说明与平均亮度相对应的透过率的搜索处理的说明图。在图11A和11B中，分别示出了用于示出通过拍摄三角形物体所获得的输入图像的亮度的亮度图像(图11A)以及用于示出该输入图像的透过率的透过率图像(图11B)。这里，由平均亮度透过率搜索单元805输入的平均亮度取值为Y0。平均亮度透过率搜索单元805在图11A所示的亮度图像内搜索包括表示与Y0相同的亮度的一个或多个像素的区域。图11A中阴影区域代表表示与Y0相同的亮度的区域。接下来，平均亮度透过率搜索单元805在透过率图像内搜索同表示与Y0相同的亮度的区域相对应的区域(图11B中的阴影区域)。最后，平均亮度透过率搜索单元805获取图11B的阴影区域中的各像素位置处的透过率，并且计算这些透过率的平均值作为与平均亮度相对应的透过率t0。这里，平均亮度透过率搜索单元805搜索表示与Y0相同的亮度的区域，但平均亮度透过率搜索单元805也可以搜索表示与Y0相对应的亮度的区域。例如，在Y0是包括小数点的值的情况下，平均亮度透过率搜索单元805还可以搜索表示与通过将Y0四舍五入为最接近的整数所获得的值相同的亮度的区域。此外，例如，平均亮度透过率搜索单元805也可以搜索表示与Y0相差预先确定的阈值以下的亮度的区域。

在步骤S906中，基准强度获取单元806获取图3所示的步骤S204中(具体为图5所示的步骤S404的处理中)存储在RAM 103中的基准强度并且将该基准强度输出至参数计算单元807。

在步骤S907中，参数计算单元807通过使用步骤S903的处理中所计算出的平均亮度、步骤S905的处理中所计算出的与平均亮度相对应的透过率以及步骤906的处理中所获取到的基准强度，根据以下表达式6和7来计算曝光校正参数α。

首先，参数计算单元807通过使用表达式6来估计散射光去除图像的平均亮度，即去除了散射光成分的情况下的平均亮度Y'。Y0是步骤S903的处理中所计算出的平均亮度。A是步骤S605的处理中所计算出的散射光的基准强度。接下来，参数计算单元807根据表达式7，即通过将Y0除以Y'，来计算曝光校正参数α。在步骤S908中，参数输出单元808将步骤S907的处理中所计算出的曝光校正参数α输出至曝光校正单元1015。

以上是本实施例中的曝光校正参数的计算方法。

这里，通过使用图12A～12D来说明本实施例的效果。图12A～12D是用于说明第一实施例的效果的说明图。

在图12A和12B中，示出了根据输入图像所获得的亮度图像和透过率图像的示例。在图12A和12B中，通过阴影示出具有与平均亮度Y0(根据图12A所示的各像素位置处的亮度所计算出的平均值182.88(≈183))相对应的亮度的像素的位置。根据图12B可知与平均亮度相对应的透过率t0是0.22。

在图12C中，示出了根据散射光去除图像(通过对上述的输入图像进行散射光去除处理所获得的图像)所获得的亮度图像，该亮度图像是曝光校正前的亮度图像。图12C中的平均亮度是157.96(≈158)，因此，可知存在与输入图像的平均亮度Y0的差。也就是说，不能说图12C所示的曝光校正前的图像的亮度是适当的亮度。

这里，散射光的基准强度A是190。该值是通过对根据输入图像所获得的R图像、G图像和B图像(没有示出)应用上述的步骤S403中的基准强度计算处理而获得的值。然后，根据表达式6，按照如下来估计Y'。

Y'＝(Y0-A)/t0+A＝157.64

根据所计算出的Y'变成与图12C中的平均亮度(＝157.96)接近的值显而易见，通过使用表达式6可以准确估计散射光去除图像的平均亮度。

然后，通过将Y0除以所估计出的Y'，按照如下来计算α。

α＝Y0/Y'＝182.88/157.64≈1.16

在图12D中，示出了根据散射光去除图像(通过对上述的输入图像进行散射光去除处理而获得的图像)获得的亮度图像，该亮度图像是使用所计算出的α进行曝光校正后的亮度图像。图12D中的平均亮度是183.6(≈184)，并且可知该值接近于图12A中的平均亮度Y0(≈183)。也就是说，通过将本实施例中的曝光校正应用到散射光去除处理后的图像可知，可以将散射光去除处理后的图像的亮度调整为合适的亮度。

如上所述，在本实施例中，通过使用输入图像的适当的曝光值(对应于本实施例的平均亮度)以及与该适当的曝光值相对应的透过率(对应于本实施例的与平均亮度相对应的透过率)，根据表达式6来估计输入图像的适当的曝光值如何变化。结果，与计算图像的直方图等以及通过使用根据该直方图的直方图扩展等来进行曝光校正的一般技术相比，在本实施例中可以在无需计算直方图等的情况下更简单地执行曝光校正。此外，通过进行诸如此类的基于估计的曝光校正，如12D所示，可以将散射光去除处理后的图像的亮度调整为适当的亮度。

在本实施例中，作为表示适当的曝光值的指标，采用平均亮度作为示例，但也可以使用除平均亮度以外的参数(例如，从内置于摄像设备中的曝光计获得的拍摄场景的大致亮度等)作为适当的曝光值。根据这一方面，可以更简单地估计输入图像的适当曝光值如何变化。

第二实施例

在第一实施例中，采用通过计算平均亮度并且通过搜索与所计算出的平均亮度相对应的透过率来计算曝光校正参数的情况作为示例。在本实施例中，首先，计算平均透过率，然后通过搜索与平均透过率相对应的亮度来计算曝光校正参数。

代替曝光校正参数计算单元1014，本实施例中的图像处理设备包括曝光校正参数计算单元2014。图像处理设备的其它结构和图像处理设备的整个处理的流程与第一实施例相同。结果，在下文中，仅说明本实施例中的曝光校正参数计算处理。

图13是示出第二实施例中的曝光校正参数计算单元2014的内部结构的框图。如图13所示，第二实施例中的曝光校正参数计算单元2014包括输入图像获取单元801、透过率图像获取单元802、亮度信号计算单元803、平均透过率计算单元1101、平均透过率亮度搜索单元1102、基准强度获取单元806、参数计算单元807和参数输出单元808。

图14是示出第二实施例中的曝光校正计算单元2014的处理的流程图。在本实施例中，负责图14所示的处理的程序存储在ROM 104或HDD 106中，并且图13所示的各组件通过CPU 102加载并执行相关程序来进行工作。图13所示的所有组件可以不包括在曝光校正参数计算单元中，并且可以在图像处理设备内新设置与各块相对应的处理电路。

首先，在步骤S1201中，输入图像获取单元801从HDD 106获取步骤S401的处理中存储在HDD 106中的输入图像数据。

在步骤S1202中，亮度信号计算单元803根据步骤S901的处理中所获取到的输入图像数据生成亮度信号，并且将该亮度信号作为亮度图像数据输出至平均透过率亮度搜索单元1102。用以生成亮度信号的处理与步骤S902中的处理相同。

在步骤S1203中，透过率图像获取单元802获取图3所示的步骤S204中(具体为图5所示的步骤S407的处理中)存储在RAM 103中的透过率图像数据，并且将透过率图像数据输出至平均透过率计算单元1101。

在步骤S1204中，平均透过率计算单元1101根据步骤S1203的处理中所获取到的透过率图像数据来计算整个图像的平均透过率。然后，平均透过率计算单元1101将所计算出的平均透过率输出至平均透过率亮度搜索单元1102。

在步骤S1205中，平均透过率亮度搜索单元1102通过使用平均透过率、亮度图像数据和透过率图像数据来搜索与平均透过率相对应的亮度。然后，平均透过率亮度搜索单元1102将与平均透过率相对应的亮度输出至参数计算单元807。以同进行步骤S905中的用以搜索与平均亮度相对应的透过率的处理相同的方式来进行用以搜索与平均透过率相对应的亮度的处理。给出简要说明。首先，平均透过率亮度搜索单元1102通过使用透过率图像数据来搜索表示与所输入的平均透过率相对应的透过率的像素位置。接下来，平均透过率亮度搜索单元1102从亮度图像数据中获取被搜索到的各像素位置的亮度。然后，平均透过率亮度搜索单元1102计算所获取到的亮度的平均值，作为与平均透过率相对应的亮度。

在步骤S1206中，基准强度获取单元806获取图3所示的步骤S204中(具体为图5所示的步骤S404的处理中)存储在RAM 103中的基准强度，并且将该基准强度输出至参数计算单元807。

在步骤S1207中，参数计算单元807通过使用步骤S1204的处理中所计算出的平均透过率、步骤S1205的处理中所计算出的与平均透过率相对应的亮度以及步骤S1206中所获取到的基准强度，根据表达式6和7来计算曝光校正参数α。此时，作为表达式6中的Y0，代替平均亮度，设置步骤S1205的处理中所计算出的与平均透过率相对应的亮度。此外，作为表达式6中的t0，代替与平均亮度相对应的透过率，设置步骤S1204的处理中所计算出的平均透过率。在步骤S1208中，参数输出单元808将步骤S1207的处理中所计算出的曝光校正参数α输出至曝光校正单元1015。

以上是本实施例中的曝光校正参数的计算方法。

如上说明，在本实施例中，通过使用输入图像的适当的曝光值(对应于本实施例中的与平均透过率相对应的亮度)以及与该适当的曝光值相对应的透过率(对应于本实施例中的平均透过率)，根据表达式6来估计输入图像的适当的曝光值如何变化。利用这一方面，如同第一实施例那样，可以在无需计算直方图等的情况下更简单地进行曝光校正。此外，通过进行诸如此类的基于估计的曝光校正，可以将散射光去除处理后的图像的亮度调整为适当的亮度。

在上述的实施例中，描述了进行直到用以输出基准强度的处理和用以输出透过率图像的处理为止的示例，但是可以根据需要跳过这些处理，并且仅需要能够至少输出散射光去除图像即可。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

根据本发明，可以将已经针对各局部区域进行了对比度校正的图像的亮度调整为适当的亮度。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims

1.一种图像处理设备，用于调整针对各局部区域进行了对比度校正的处理后的图像的亮度，所述对比度校正用于去除散射光的成分，所述图像处理设备的特征在于包括：

估计单元，用于基于针对各局部区域进行所述对比度校正之前的输入图像的亮度以及与该亮度相对应的透过率来估计所述处理后的图像的亮度；

参数计算单元，用于基于所述输入图像的亮度以及所述估计单元所估计出的所述处理后的图像的亮度来计算曝光校正参数；以及

曝光校正单元，用于通过使用所述曝光校正参数，针对所述处理后的图像进行曝光校正。

2.根据权利要求1所述的图像处理设备，其中，还包括：

基准强度得出单元，用于根据所述输入图像来得出所述散射光的基准强度；

亮度计算单元，用于计算所述输入图像的亮度的平均值；以及

透过率计算单元，用于计算所述输入图像中的具有与所述亮度计算单元所计算出的亮度的平均值相对应的亮度的一个或多个像素位置的透过率的平均值，

其中，所述估计单元基于所述亮度计算单元所计算出的亮度的平均值、所述透过率计算单元所计算出的透过率的平均值和所述基准强度得出单元所得出的散射光的基准强度，来估计所述处理后的图像的亮度的平均值。

3.根据权利要求1所述的图像处理设备，其中，还包括：

透过率计算单元，用于计算所述输入图像的透过率的平均值；以及

亮度计算单元，用于计算所述输入图像中的具有与所述透过率计算单元所计算出的透过率的平均值相对应的透过率的一个或多个像素位置的亮度的平均值，

4.根据权利要求2或3所述的图像处理设备，其中，

所述参数计算单元通过将所述亮度计算单元所计算出的亮度的平均值除以所述估计单元所估计出的亮度的平均值来计算曝光校正参数。

5.根据权利要求1或2所述的图像处理设备，其中，

所述输入图像的亮度是从内置于摄像设备中的曝光计所获得的亮度。

6.一种图像处理设备，包括：

获取单元，用于获取通过进行摄像所获得的拍摄图像；以及

生成单元，用于通过针对所获取到的拍摄图像进行用以针对各像素位置去除像素值中所包括的散射光成分的对比度校正，来生成处理后的图像，

所述图像处理设备的特征在于还包括：

估计单元，用于基于所述拍摄图像的亮度和与该亮度相对应的透过率来估计所述处理后的图像的亮度；

参数计算单元，用于基于所述拍摄图像的亮度和所述估计单元所估计出的所述处理后的图像的亮度来计算曝光校正参数；以及

7.一种图像处理方法，用于调整针对各局部区域进行了对比度校正的处理后的图像的亮度，所述对比度校正用于去除散射光的成分，所述图像处理方法的特征在于包括以下步骤：

估计步骤，用于基于针对各局部区域进行所述对比度校正之前的输入图像的亮度以及与该亮度相对应的透过率来估计所述处理后的图像的亮度；

基于所述输入图像的亮度以及所述估计步骤中所估计出的所述处理后的图像的亮度来计算曝光校正参数；以及

通过使用所述曝光校正参数，针对所述处理后的图像进行曝光校正。