CN103248809A - 图像信号处理装置、摄像装置以及图像处理装置 - Google Patents

Abstract

本发明涉及图像信号处理装置、摄像装置以及图像处理装置。图像信号处理装置具备：图像信号输入单元；噪声校正单元，对输入的图像信号进行噪声校正处理，输出进行了噪声校正的图像信号；图像信号校正单元，对噪声校正单元输出的图像信号进行信号电平校正处理，输出进行了电平校正的图像信号；图像信号校正强度控制单元，决定图像信号校正单元中的信号电平校正处理的校正强度，使信号电平校正处理的输入输出特性变化；信号扩展推测单元，根据校正强度，推测图像信号校正单元的信号电平校正处理的信号扩展的程度；以及噪声校正强度控制单元，与信号扩展推测单元推测出的信号扩展的程度连动运算噪声校正单元中的噪声校正处理的校正强度而进行控制。

Description

图像信号处理装置、摄像装置以及图像处理装置

技术领域

本发明涉及图像信号处理装置、摄像装置以及图像处理程序。例如，涉及进行噪声校正、和使信号电平变化的各种图像校正的图像信号处理装置等。

背景技术

作为本技术的背景领域，例如有专利文献1。在专利文献1中，以“在抑制低亮度、高亮度部分的噪声的同时实现该亮度部分的高对比度、并且实现图像的特征部分的高对比度”为目的，公开了“具有：第1区域输入输出特性控制单元3，与输入亮度信号的值连动地针对每任意的区域控制输入输出特性的变化；第1区域亮度信号校正单元1，根据第1区域输入输出特性控制单元的输出，使亮度信号的输入输出特性变化；第2区域输入输出特性控制单元2，与第1区域亮度信号校正单元的输出连动地针对每任意的区域控制输入输出特性的变化；第2区域亮度信号校正单元2，根据第2区域输入输出特性控制单元的输出，使亮度信号的输入输出特性变化；颜色信号输入输出特性控制单元5，利用第1区域输入输出特性控制单元的输出和第2区域输入输出特性控制单元的输出，控制输入颜色信号的输入输出特性的变化；以及颜色信号校正单元6，根据颜色信号输入输出特性控制单元的输出，使颜色信号的输入输出特性变化”这样的技术。

专利文献1：日本特开2010－278937号公报

发明内容

近年来，通过参照输入图像的整体或者每一个区域的直方图进行利用图像处理的信号扩展、灰度校正等，实现各种场景中的视觉辨认性的提高的图像校正功能的实用化得到了发展。作为图像校正功能，例如，有逆光校正功能、雾/霭校正功能、宽动态范围功能等，用于民用照相机、监视照相机等。

在上述专利文献1中，记载了用于实现对比度提高的技术。但是，通过扩展信号，与对比度同时在输入图像中本来存在的噪声分量也被强调，但在上述专利文献1中，对于与对比度校正相伴的噪声的方面没有考虑。

本发明解决上述课题，提供一种图像信号处理装置、摄像装置以及图像处理程序，能够低成本地生成适合地抑制了噪声的高画质的图像信号。

如果简单说明在本申请中公开的发明中的代表性的发明的概要，则如下所述。

例如，一种以在对图像信号进行校正信号电平的图像校正时，根据图像校正的校正强度，控制噪声校正的校正强度为特征的图像信号处理装置。由此，能够抑制噪声被强调，能够实现高画质化。另外，一种根据图像校正处理中的校正强度和成为基准的图像校正处理的输入输出特性，推测利用图像校正处理的信号的扩展率，与推测结果连动地控制噪声校正的校正强度的图像信号处理装置。由此，能够通过控制软件进行噪声校正的校正强度的控制，能够实现低成本化。

另外，一种图像信号处理装置，其特征在于，具备：

图像信号输入单元，输入图像信号；

噪声校正单元，对从该图像信号输入单元输入的图像信号进行噪声校正处理，并输出进行了噪声校正的图像信号；

图像信号校正单元，对该噪声校正单元输出的图像信号进行信号电平校正处理，并输出进行了电平校正的图像信号；

图像信号校正强度控制单元，决定该图像信号校正单元中的信号电平校正处理的校正强度，而使该信号电平校正处理的输入输出特性变化；

信号扩展推测单元，根据该图像信号校正强度控制单元决定的校正强度，推测所述图像信号校正单元的信号电平校正处理的信号扩展的程度；以及

噪声校正强度控制单元，与该信号扩展推测单元推测出的信号扩展的程度连动地运算所述噪声校正单元中的噪声校正处理的校正强度而进行控制。

另外，一种摄像装置，其特征在于，具备：

摄像单元，输出对被摄体进行摄像而得到的图像信号；

图像信号处理单元，对来自所述摄像单元的图像信号，通过根据所述图像信号的信号电平校正处理的校正强度而控制的校正强度进行噪声校正处理并输出，

所述图像信号处理单元与根据所述信号电平校正处理的校正强度推测出的所述信号电平校正处理的信号扩展的程度连动地，控制所述噪声校正处理的校正强度。

根据本发明，能够提供能够根据图像校正的效果低成本地生成适合地抑制了噪声的高画质的图像信号的图像信号处理装置、摄像装置以及图像处理程序。

附图说明

图1是示出本发明的第1实施例的图像信号处理装置的第一示意图。

图2（a）是示出使用了本发明的第1实施例的统计信息的信号电平校正的校正强度控制方法的一个例子的第1图。

图2（b）是示出本发明的第1实施例的信号电平校正方法的一个例子的第1图。

图3（a）是示出使用了本发明的第1实施例的统计信息的信号电平校正的校正强度控制方法的一个例子的第2图。

图3（b）是示出本发明的第1实施例的信号电平校正方法的一个例子的第2图。

图4是示出本发明的第1实施例的噪声校正的校正强度控制方法的一个例子的图。

图5（a）是示出本发明的第1实施例的利用高斯滤波器的噪声校正方法的一个例子的图。

图5（b）是示出本发明的第1实施例的利用高斯滤波器的噪声校正的校正强度控制方法的一个例子的第1图。

图5（c）是示出本发明的第1实施例的利用高斯滤波器的噪声校正的校正强度控制方法的一个例子的第2图。

图6（a）是示出本发明的第1实施例的利用三维噪声校正处理的噪声校正方法的一个例子的图。

图6（b）是示出使用了本发明的第1实施例的三维噪声校正处理的情况的噪声校正的校正强度控制方法的一个例子的图。

图7是示出本发明的第1实施例的图像信号处理装置的第二示意图。

图8（a）是示出本发明的第1实施例的信号电平校正方法的一个例子的第3图。

图8（b）是示出本发明的第1实施例的信号扩展推测信息的一个例子的第1图。

图8（c）是示出使用了本发明的第1实施例的信号扩展推测信息的信号扩展推测方法的一个例子的第1图。

图8（d）是示出使用了本发明的第1实施例的信号扩展推测信息的信号扩展推测方法的一个例子的第2图。

图9（a）是示出本发明的第1实施例的信号电平校正方法的一个例子的第4图。

图9（b）是示出本发明的第1实施例的信号扩展推测信息的一个例子的第2图。

图10（a）是示出使用了本发明的第1实施例的统计信息的信号电平校正的校正强度控制方法的一个例子的第3图。

图10（b）是示出本发明的第1实施例的信号扩展推测信息的一个例子的第3图。

图11是示出本发明的第2实施例的图像信号处理装置的示意图。

图12（a）是示出本发明的第2实施例的信号扩展推测方法的一个例子的图。

图12（b）是示出本发明的第2实施例的噪声校正强度控制方法的一个例子的图。

图13是示出本发明的第3实施例的图像信号处理装置的示意图。

图14是示出本发明的第3实施例的边缘强调的强调强度控制方法的一个例子的图。

图15是示出本发明的第4实施例的图像信号处理装置的示意图。

图16（a）是示出本发明的第4实施例的利用曝光控制信息的噪声校正的校正强度中间值的控制方法的一个例子的图。

图16（b）是示出本发明的第4实施例的利用信号扩展度的噪声校正的校正强度控制方法的一个例子的图。

图16（c）是示出本发明的第4实施例的利用曝光控制信息和信号扩展度的噪声校正的校正强度控制方法的一个例子的图。

图17（a）是示出本发明的第4实施例的利用双向滤波器的噪声校正处理的一个例子的图。

图17（b）是示出本发明的第4实施例的利用双向滤波器的噪声校正的噪声判别程度的控制方法的一个例子的图。

图17（c）是示出本发明的第4实施例的利用双向滤波器的噪声校正的校正强度的控制方法的一个例子的图。

图18（a）是示出本发明的第4实施例的活动自适应型的三维噪声校正处理的一个例子的图。

图18（b）是示出本发明的第4实施例的活动自适应型的三维噪声校正的噪声判别程度的控制方法的一个例子的图。

图18（c）是示出本发明的第4实施例的活动自适应型的三维噪声校正的校正强度的控制方法的一个例子的图。

图19是示出本发明的第4实施例的信号范围校正处理的校正强度控制方法的一个例子的图。

图20是示出本发明的第5实施例的边缘强调的强调强度控制方法的一个例子的图。

（符号说明）

0101：图像信号输入部；0102：噪声校正部；0103：图像信号校正部；0104：统计信息取得部；0105：信号校正强度控制部；0106：信号扩展推测部；0107：噪声校正强度控制部；0701：图像信号输入部；0702：噪声校正部；0703：图像信号校正部；0704：统计信息取得部；0705：信号校正强度控制部；0706：信号扩展推测部；0707：噪声校正强度控制部；0708：信号扩展推测信息储存部；1101：图像信号输入部；1102：噪声校正部；1103：第一图像信号校正部；1104：第一统计信息取得部；1105：第一信号校正强度控制部；1106：信号扩展推测部；1107：噪声校正强度控制部；1108：信号扩展推测信息储存部；1109：第二图像信号校正部；1110：第二统计信息取得部；1111：第二信号校正强度控制部；1301：图像信号输入部；1302：高画质化信号处理部；1302_1：噪声校正部；1302_2：边缘强调部；1303：图像信号校正部；1304：统计信息取得部；1305：信号校正强度控制部；1306：信号扩展推测部；1307：画质控制部；1307_1：噪声校正强度控制部；1307_2：边缘强调强度控制部；1308：信号扩展推测信息储存部；1501：摄像部；1502：照相机信号处理部；1502_1：曝光量检测部；1502_2：数字增益部；1502_3：噪声校正部；1503：图像信号校正部；1504：统计信息取得部；1505：信号校正强度控制部；1506：信号扩展推测部；1507：噪声校正强度控制部；1508：信号扩展推测信息储存部；1512：曝光控制部；2001：图像信号输入部；2003：图像信号校正部；2004：统计信息取得部；2005：信号校正强度控制部；2006：信号扩展推测部；2007：噪声校正强度控制部；2008：信号扩展推测信息储存部；2013：通信部；2014：图像信号处理装置；2015：具备噪声校正调整功能的摄像装置。

具体实施方式

以下，参照附图，说明本发明的实施例。

【实施例1】

图1是示出本发明的第1实施例的图像信号处理装置的第一示意图。在图1中，0101是图像信号输入部、0102是噪声校正部、0103是图像信号校正部、0104是统计信息取得部、0105是信号校正强度控制部、0106是信号扩展推测部、0107是噪声校正强度控制部。

在图1所示的图像信号处理装置中，图像信号输入部0101经由与影像电缆连接的采集卡、LAN、USB等而与摄像设备或者影像设备连接，输入图像信号。或者，图像信号输入部0101也可以采用具备镜头以及摄像元件以及A/D变换部，通过进行摄像处理而生成图像信号这样的方式。或者，也可以采用读入在未图示的图像记录部中预先储存的图像信号这样的方式。

噪声校正部0102取得从图像信号输入部0101输入的图像信号，实施：使用了高斯滤波器等平滑化滤波器、或中值滤波器等具有去除噪声分量的效果的空间滤波器的二维噪声校正处理；在从图像信号输入部0101输入的图像信号是运动图像的情况下，通过取时间轴方向的信号电平的加权平均而校正随机噪声的三维噪声校正处理等信号处理，生成并输出校正了噪声的图像信号。此时，也可以构成为通过多级地组合使用特性不同的多个种类的二维噪声校正处理或者三维噪声校正处理、或者对相同的输入信号并行地进行不同的处理之后合成，去除特性不同的噪声分量。另外，也可以构成为通过将所输入的图像信号通过预处理分离为低频分量和高频分量，并分别进行不同的噪声校正处理，在保留边缘的精细感的同时有效地仅去除噪声。

图像信号校正部0103根据信号校正强度控制部0105输出的信号电平校正的校正强度，决定图像信号的输入输出特性，根据该输入输出特性，校正从噪声校正部0102输入的图像信号的每个像素的信号值即信号电平而生成输出信号。图像信号校正部0103实施的图像信号的校正包括通过校正信号电平而进行的逆光校正、雾/霭校正、宽动态范围化处理等，例如，能够通过预先将针对输入值的输出值的对应保持为函数的系数、对应起来的查找表，根据信号电平校正的校正强度来校正函数的系数、查找表的值而决定输入输出特性，根据该输入输出特性来变换图像信号的信号电平来实现。另外，也可以预先保持多个与多个校正强度对应的用于校正的函数的系数、对应起来的查找表，在处理时根据信号校正强度控制部0105输出的校正强度，对所使用的函数的系数、对应起来的查找表进行选择或者进行插值而使用，来降低运算成本。另外，也可以将所输入的图像信号分离为多个分量来进行分别不同的校正处理并合成。例如，能够通过在预处理中分离为低频分量和高频分量，并分别进行不同的信号电平校正处理，来分别校正被摄体的明亮度和边缘的精细感。另外，也可以通过针对图像信号中的每个区域根据不同的输入输出特性进行信号电平校正处理，针对图像内的每个被摄体进行最佳的校正。另外，也可以使由噪声校正部0102实施的噪声校正处理、由图像信号校正部0103实施的信号电平校正处理成为对图像信号中的在亮度信号和颜色信号实施不同的特性的处理、或者仅对某一方的信号实施处理这样的结构，而实现性能或者计算成本的最佳化。

统计信息取得部0104将噪声校正部0102输出的图像信号作为输入，测定并输出信号值的统计信息。此处，统计信息是指，例如图像信号中的各像素的信号值的直方图分布、或者平均值、最大值、最小值、标准偏差等统计量，用于使信号校正强度控制部0105判别图像信号中的场景，图像信号校正部0103校正信号电平时的校正强度变得适当。此时，也可以通过取得图像信号中的预定的规定的区域内的像素的信号值的统计信息、或者取得通过图像识别检测出的被摄体存在的区域内的像素的信号值的统计信息、或者仅针对信号值是规定的范畴内的像素取得统计信息，提高场景的判别性能。例如，在图像信号校正部0103针对图像信号中的每个区域根据不同的输入输出特性进行信号范围校正处理的情况下，通过以与该区域相符的单位取得统计信息，能够针对每个区域实现最佳的信号范围校正处理。

信号校正强度控制部0105根据统计信息取得部0104输出的统计信息，判别图像信号中的场景，决定图像信号校正部0103校正信号电平时的校正强度。在图像信号校正部0103针对图像信号中的每个区域根据不同的输入输出特性进行信号范围校正处理的情况下，也可以按照与该区域相符的单位取得信号校正强度控制部0105测定出的统计信息，针对每个区域决定校正强度。对于该信号电平校正处理的校正强度的控制方法，使用图2以及图3而后述。

信号扩展推测部0106根据信号校正强度控制部0105决定的校正强度，推测表示通过由图像信号校正部0103进行的信号电平的校正而信号被放大何种程度的评价值、即信号扩展度。对于信号扩展度的推测，最简单地，在以信号电平校正的校正强度越大，使信号扩展度越大的方式，具有正的相关的情况下，将信号电平校正的校正强度原样地看作信号扩展度处理即可。另外，也可以通过根据将信号电平校正的校正强度和信号扩展度对应起来的函数的系数、变换表格，依照信号电平校正的校正强度计算信号扩展度，来提高精度。

噪声校正强度控制部0107根据信号扩展推测部0106推测出的信号扩展度，决定并控制噪声校正部0102进行的噪声校正处理的校正强度。噪声校正部0102通过根据该校正强度进行噪声校正，能够根据图像信号校正部0103进行的信号电平校正处理的校正强度，进行噪声校正。

另外，也可以是代替噪声校正部0102输出的图像信号，统计信息取得部0104从图像信号输入部0101输出的图像信号取得统计信息的结构。另外，也可以是信号校正强度控制部0105不使用统计信息取得部0104输出的统计信息，而将从未图示的输入部输入的值决定为信号电平校正处理的校正强度的结构。在该情况下，虽然无法进行与图像信号中的场景连动的校正强度的控制，但能够省略统计信息取得部0104，能够实现通过软件实现的情况的计算时间缩短、通过硬件实现的情况的开发成本降低。另外，噪声校正处理、信号电平校正处理、统计信息取得处理、信号电平校正的校正强度控制处理、信号扩展度推测处理、噪声校正的校正强度控制处理在例如个人计算机时通过CPU上的应用程序实施，在嵌入设备时通过微型计算机、DSP、专用的LSI等实施。另外，也可以通过用DSP、专用的LSI实施作为信号处理的噪声校正处理、信号电平校正处理、统计信息取得处理，用微型计算机实施作为控制处理的信号电平校正的校正强度控制处理、信号扩展度推测处理、噪声校正的校正强度控制处理，来实现成本、性能的最佳化。

另外，图1所示的图像信号处理装置也可以是通过多个软件以及多个硬件实现的结构。例如，也可以采用通过不同的DSP、专用的LSI实施噪声校正处理和信号电平校正处理以及统计信息取得处理，通过共用的微型计算机实施信号电平校正的校正强度控制处理、信号扩展度推测处理以及噪声校正的校正强度控制处理这样的结构。另外，也可以是通过第一DSP以及微型计算机实现噪声校正处理和噪声校正的校正强度控制处理，通过第二DSP以及微型计算机实现信号电平校正处理、统计信息取得处理、信号电平校正的校正强度控制处理、信号扩展度推测处理那样的结构。

图2是示出本发明的第1实施例的信号电平校正的校正强度控制方法的一个例子的第1图。在本发明中，信号电平校正的校正强度控制处理由信号校正强度控制部0105实施。图2（a）是示出使用了统计信息的信号电平校正的校正强度控制方法的一个例子的第1图，图2（b）是示出通过所决定的校正强度由图像信号校正部0103进行的信号电平校正方法的一个例子的第1图，示出通过伽马处理那样的具有非线性输入输出特性的信号电平的校正，提高暗的区域的视觉辨认性的处理。如图2（a）所示，在统计信息取得部0104中，作为统计信息，测定并输出图像信号的亮度直方图的重心、即亮度值的平均值。统计信息取得部0104也可以仅输出亮度直方图，根据信号校正强度控制部0105输入的亮度直方图来计算重心。信号校正强度控制部0105在亮度直方图的重心小的情况下，判定为场景暗而增大信号电平校正处理的校正强度；在亮度直方图的重心存在于中心附近的情况下，判定为场景的明亮度接近适当而减小信号电平校正处理的校正强度。如图2（b）所示，图像信号校正部0103在信号校正强度控制部0105决定的校正强度大的情况下，增大输入输出特性的暗部的斜率；在校正强度小的情况下，使输入输出特性接近线性。由此，在图像信号中的场景暗的情况下，以变亮的方式校正图像信号；在图像信号中的场景接近适当的明亮度的情况下，设为接近输入的图像信号，从而能够生成不依赖于图像信号中的场景而校正为适当的明亮度的图像信号。

图3是示出本发明的第1实施例的信号电平校正的校正强度控制方法的一个例子的第2图。在本发明中，信号电平校正的校正强度控制处理由信号校正强度控制部0105实施。图3（a）是示出使用了统计信息的信号电平校正的校正强度控制方法的一个例子的第2图，图3（b）是示出通过所决定的校正强度而由图像信号校正部0103进行的信号电平校正方法的一个例子的第2图，示出通过扩大规定的范畴的信号范围那样的校正，提高灰度匮乏的场景下的视觉辨认性的处理。如图2（a）所示，统计信息取得部0104根据图像信号的亮度直方图来测定并输出信号范围，作为统计信息。能够将信号范围测定为例如亮度信号的最大值与最小值之差、或者具有规定的比率以上的出现频度的亮度信号的最大值与最小值之差。统计信息取得部0104也可以仅输出亮度直方图，根据信号校正强度控制部0105输入的亮度直方图来计算信号范围。信号校正强度控制部0105在亮度直方图的信号范围窄的情况下，判定为灰度匮乏而增大信号电平校正处理的校正强度；在亮度直方图的信号范围宽的情况下，判定为灰度充分而减小信号电平校正处理的校正强度。如图3（b）所示，图像信号校正部0103在信号校正强度控制部0105决定的校正强度大的情况下，设为将信号范围大幅扩大那样的输入输出特性；在校正强度小的情况下，接近几乎不扩大信号范围那样的输入输出特性。由此，能够生成不依赖于图像信号中的场景而适当地校正了对比度的图像信号。

图4是示出本发明的第1实施例的噪声校正的校正强度控制方法的一个例子的图。在本发明中，噪声校正的校正强度控制处理由噪声校正强度控制部0107实施。如图4所示，噪声校正强度控制部0107根据由信号扩展度推测部0106取得的信号扩展度，控制噪声校正部0102的噪声校正处理的校正强度。此时，随着信号扩展度变大，增大噪声校正处理的校正强度。由此，在信号校正强度控制部0105以扩展信号的方式进行了信号范围校正处理的情况下，通过根据信号扩展度来加强噪声的校正效果，能够抑制噪声分量也被同时强调所致的画质降低。此时，如图4所示，在例如信号扩展度小于规定的阈值1的情况下，通过使噪声校正强度不低于最小值，即使在信号范围校正处理的效果弱的情况下，也能够进行恒定的噪声校正。另外，在信号扩展度大于规定的阈值2的情况下，通过使噪声校正强度不高于最大值，能够防止过多地进行噪声校正而精细感过度地损失，能够使噪声校正强度不超过可设定的范畴。另外，在图4中为了简化说明，信号扩展度和噪声校正强度在阈值1与阈值2之间线性地变化，但也可以控制为非线性地变化、或者控制为在其间进一步设置阈值而用多个线段来插值、或者控制为离散地设置校正强度而不连续地变化。

图5是示出本发明的第1实施例的噪声校正方法的一个例子的第1图。在本发明中，噪声校正处理由噪声校正部0102实施。在图5中示出在噪声校正部0102中作为噪声校正处理进行了使用了高斯滤波器的二维噪声校正处理的情况的例子。图5（a）是示出利用高斯滤波器的噪声校正方法的一个例子的图，图5（b）是示出利用高斯滤波器的噪声校正的校正强度控制方法的一个例子的第1图，图5（c）是示出利用高斯滤波器的噪声校正的校正强度控制方法的一个例子的第2图。在如图5（a）所示，在噪声校正部0102中作为噪声校正处理进行了利用高斯滤波器的二维噪声校正处理的情况下，对所输入的图像信号，进行利用规定的滤波系数的滤波处理而校正噪声，生成输出的图像信号。高斯滤波器是根据距关注像素的距离具有依照高斯分布的权重的空间滤波器，通过变更高斯分布的标准偏差，能够使用于噪声校正的平滑化效果可变。在图5（b）所示的例子中，噪声校正强度控制部0107决定为随着信号扩展度变大而增大滤波系数的高斯分布的标准偏差。噪声校正部0102根据噪声校正强度控制部0107决定的滤波系数的高斯分布的标准偏差，决定滤波系数而实施滤波处理。由此，通过根据信号校正强度控制部0105的信号电平校正处理的信号扩展度来增强噪声的校正效果，能够抑制噪声分量也被同时强调所致的画质降低。在图5（c）所示的例子中，采用预先保持校正效果不同的多个滤波系数的组合，根据信号扩展度的大小来选择所使用的滤波系数的方法。在ST0501中将信号扩展度与阈值1进行比较，在小于阈值1的情况下进入ST0502，否则进入ST0503。在ST0502中选择滤波系数1。在ST0503中将信号扩展度与阈值2进行比较，在小于阈值2的情况下进入ST0504，否则进入ST0505。在ST0504中选择滤波系数2。在ST0505中选择滤波系数3。通过以相比于滤波系数1使滤波系数2的噪声校正效果更大，相比于滤波系数2使滤波系数3的噪声校正效果更大的方式来选择滤波系数，能够根据信号校正强度控制部0105的信号电平校正处理的信号扩展度来增强噪声的校正效果。在图5（c）所示的例子中，能够低成本地实现与图5（b）所示的例子同样的效果。

图6是示出本发明的第1实施例的噪声校正方法的一个例子的第2图。在本发明中，噪声校正处理由噪声校正部0102实施。在图6中，示出在噪声校正部0102中作为噪声校正处理进行了三维噪声校正处理的情况的例子。图6（a）是三维噪声校正处理的一个例子，图6（b）是示出使用了三维噪声校正处理的情况的噪声校正的校正强度控制方法的一个例子的图。如图6（a）所示，在噪声校正部0102作为噪声校正处理进行了三维噪声校正处理的情况下，对于所输入的图像信号，经由图像存储器，针对关注图像的图像信号和在连续的时间轴上捕捉同一场景而得到的1个或者多个不同的图像信号，通过规定的权重系数进行加权平均而校正噪声，生成输出的图像信号。由此，能够有效地校正随机噪声，通过变更关注图像的权重系数能够使噪声校正的效果可变。在图6（b）所示的例子中，噪声校正强度控制部0107决定为随着信号扩展度变大而增大加权平均的关注图像的权重系数。噪声校正部0102根据噪声校正强度控制部0107决定的权重系数，实施加权平均处理。由此，通过根据信号校正强度控制部0105的信号电平校正处理的信号扩展度，增强噪声的校正效果，能够抑制噪声分量也被同时强调所致的画质降低。

图7是示出本发明的第1实施例的图像信号处理装置的第二示意图。在图7中，0701是图像信号输入部、0702是噪声校正部、0703是图像信号校正部、0704是统计信息取得部、0705是信号校正强度控制部、0706是信号扩展推测部、0707是噪声校正强度控制部、0708是信号扩展推测信息储存部，成为对表示图1所示的本发明的第1实施例的图像信号处理装置的第一示意图追加了信号扩展推测信息储存部0708的结构。

在图7所示的图像信号处理装置中，信号扩展推测信息储存部0708相当于对于程序的ROM区域、非易失性存储器、记录介质等，存储用于信号扩展推测部0706推测图像信号校正部0703根据信号校正强度控制部0705决定的信号电平校正的校正强度来进行信号电平校正时的信号扩展度的信号扩展推测信息。对于信号扩展推测信息，在图像信号校正部0703中的信号电平校正的输入输出特性既知的情况下，预先求出并储存依照该输入输出特性的信号扩展度即可，如果未知则存储通过事先的校正推测出的值即可。信号扩展推测部0706通过使用信号校正强度控制部0705决定的信号电平校正的校正强度和从信号扩展推测信息储存部0708取得的信号扩展推测信息，能够高精度地推测依照图像信号校正部0703的信号电平校正的输入输出特性的信号扩展度。由此，能够根据信号电平校正处理的校正效果进行最佳的噪声校正，能够生成高画质并且视觉辨认性高的图像信号。

图8是示出使用了本发明的第1实施例的信号扩展推测信息的信号扩展推测处理的一个例子的第1图。在本发明中，信号扩展推测处理由信号扩展推测部0706实施。图8（a）是示出信号电平校正方法的一个例子的第3图，示出通过伽马处理那样的具有非线性输入输出特性的信号电平的校正，提高暗的区域的视觉辨认性的处理。图8（b）是示出信号扩展推测信息的一个例子的第1图，图8（c）是示出使用了信号扩展推测信息的信号扩展推测方法的一个例子的第1图，图8（d）是示出使用了信号扩展推测信息的信号扩展推测方法的一个例子的第2图。

如图8（a）所示，图像信号校正部0703在信号校正强度控制部0705决定的校正强度大的情况下，增大输入输出特性的暗部的斜率；在校正强度小的情况下，使输入输出特性接近线性。在该例子中，图像信号校正部0703保持成为基准的输入输出特性，根据信号校正强度控制部0705决定的校正强度，对成为基准的输入输出校正的强度进行放大，从而实现了校正。此时，如图8（b）所示，信号扩展推测信息储存部0708存储成为基准的输入输出校正中的代表性的信号电平的输入信号值a与输出信号值b之比、即基准信号扩展度，作为信号扩展推测信息。作为代表性的信号电平，例如选择输入信号值a与输出信号值b之比成为最大那样的信号电平即可，在该情况下能够将通过信号电平校正处理将信号放大得最多的情况的放大率看作基准信号扩展度。如图8（c）所示，信号扩展推测部0706在信号范围校正的校正强度是通过成为基准的输入输出特性校正那样的校正强度的情况下，作为推测了基准信号扩展度的信号扩展度，在校正强度从其增减了的情况下，作为推测了通过校正强度校正了基准信号扩展度的结果的信号扩展度。由此，能够实现依照实际的信号电平校正的输入输出特性的信号扩展度的推测。图8（d）是信号扩展推测处理的第2例，在该情况下，信号扩展推测信息储存部0708预先将与信号电平校正处理的校正强度对应的多个基准信号扩展度存储为控制点，信号扩展推测部0706根据附近的控制点进行插值而求出与实际的校正强度对应的信号扩展度，从而即使在校正强度与信号扩展度的关系是非线性的情况下也能够实现高精度的推测。

图9是示出使用了本发明的第1实施例的信号扩展推测信息的信号扩展推测处理的一个例子的第2图。在本发明中，信号扩展推测处理由信号扩展推测部0706实施。图9（a）是示出信号电平校正方法的一个例子的第4图，示出通过扩大规定的范畴的信号范围那样的校正，提高灰度匮乏的场景下的视觉辨认性的处理。图9（b）是示出信号扩展推测信息的一个例子的第2图。

如图9（a）所示，图像信号校正部0703在信号校正强度控制部0705决定的校正强度大的情况下，增大信号范围的扩大比例；在校正强度小的情况下，减小信号范围的扩大比例。在该例子中，图像信号校正部0703保持成为基准的输入输出特性，根据信号校正强度控制部0705决定的校正强度，对成为基准的输入输出校正的强度进行放大，从而实现校正。此时，如图9（b）所示，信号扩展推测信息储存部0708存储成为基准的输入输出校正中的代表性的2点间的信号电平的输入信号差分值Δa、与输出信号差分值Δb之比即基准信号扩展度，作为信号扩展推测信息。作为代表性的信号电平，选择例如输入信号差分值Δa与输出信号差分值Δb之比成为最大那样的信号电平即可，在该情况下能够将通过信号电平校正处理将信号最扩展的情况的扩展率看作基准信号扩展度。这样，通过根据图像信号校正部0703的信号电平校正处理的输入输出特性，存储适合的信号扩展推测信息，能够实现依照实际的信号电平校正的输入输出特性的信号扩展度的推测。

图10是示出使用了本发明的第1实施例的信号扩展推测信息的信号扩展推测处理的一个例子的第3图。在本发明中，信号扩展推测处理由信号扩展推测部0706实施。图10（a）是示出使用了统计信息的信号电平校正的校正强度控制方法的一个例子的第3图，图10（b）是示出信号扩展推测信息的一个例子的第3图。

如图10（a）所示，信号校正部0703也可以针对图像信号中的每个区域根据不同的输入输出特性进行信号电平校正处理，例如在信号范围窄的区域1中，增大信号电平校正处理的校正强度；在信号范围宽的区域2中，减小信号电平校正处理的校正强度。由此，能够在图像信号中的所有区域中进行最佳的校正。如图10（b）所示，信号扩展推测部0706取在各个区域中推测出的信号扩展度的统计，将统计量作为噪声校正强度控制部0707使用的信号扩展度进行输出。作为统计量，例如，选择在各个区域中推测出的信号扩展度的平均值a、第N个大的值b、最大值c等而计算即可。在使用了平均值a的情况下，能够与图像整体的平均的信号扩展度相符地进行噪声的校正，能够生成整体地降低了噪声感的图像，在使用了最大值c的情况下，能够生成在信号的扩展度最大的区域中降低了噪声感的图像。另外，在使用了第N个大的值b的情况下，即使是在最大值c受到了干扰等的影响的区域中计算出的值，也能够生成在去除了该影响的基础之上，与扩展度大的区域相符地降低了噪声感的图像。这样，对于统计量，根据目的选择即可，除了上述以外也可以使用根据图像中的位置附加了权重的权重平均值、中央值等。

这样，根据本实施例，通过根据信号电平校正的校正强度的控制信息，决定噪声校正的校正强度，根据信号电平校正的效果实施最佳的噪声校正，能够低成本地生成高画质并且视觉辨认性高的图像。

【实施例2】

图11是示出本发明的第2实施例的图像信号处理装置的示意图。在图11中，1101是图像信号输入部、1102是噪声校正部、1103是第一图像信号校正部、1104是第一统计信息取得部、1105是第一信号校正强度控制部、1106是信号扩展推测部、1107是噪声校正强度控制部、1108是信号扩展推测信息储存部、1109是第二图像信号校正部、1110是第二统计信息取得部、1111是第二信号校正强度控制部，成为对图7所示的图像信号处理装置追加了第二图像信号校正部1109、第二统计信息取得部1110、第二信号校正强度控制部1111的结构。图11所示的图像信号处理装置和图7所示的图像信号处理装置的特征性的差异在于，在图11所示的图像信号处理装置中分别具备多个图像信号校正部、统计信息取得部、信号校正强度控制部。

在图11所示的图像信号处理装置中，第二图像信号校正部1109将第一图像信号校正部1103输出的图像信号作为输入，通过与第一图像信号校正部1103不同的输入输出特性实施信号电平校正处理。第二统计信息取得部1110将第一图像信号校正部1103输出的图像信号作为输入，测定并输出信号值的统计信息。作为统计信息，选择适合于控制第二图像信号校正部1109校正信号电平时的输入输出特性的信息即可，而也可以与第一统计信息取得部1104测定的统计信息不同。第二信号校正强度控制部1111根据第二统计信息取得部1110输出的统计信息来判别图像信号中的场景，决定第二图像信号校正部1109校正信号电平时的校正强度。另外，在第二信号校正强度控制部1111能够共用第一统计信息取得部1104测定的统计信息的情况下，也可以设为输入第一统计信息取得部1104测定的统计信息的结构，省略第二统计信息取得部1110而降低成本。信号扩展推测部1106根据第一信号校正强度控制部1105决定的第一图像信号校正部1103的信号电平校正的校正强度、和第二信号校正强度控制部1111决定的第二图像信号校正部1109的信号电平校正的校正强度，推测综合了通过第一图像信号校正部1103的信号电平校正处理进行的信号扩展度、和通过第二图像信号校正部1111的信号电平校正处理进行的信号扩展度的图像信号校正部整体的信号扩展度，输出到噪声校正强度控制部1107。噪声校正强度控制部1107使用图像信号校正部整体的信号扩展度来控制噪声校正的校正强度。由此，即使在组合了多个信号电平校正处理的情况下，也能够根据整体的信号扩展的影响决定噪声校正的强度，提高画质。另外，在图11所示的图像信号处理装置中，设为分别具备2个图像信号校正部、统计信息取得部、信号校正强度控制部的结构，但当然也可以是具备3个以上的结构。

图12是示出本发明的第2实施例的信号扩展推测方法以及噪声校正强度控制方法的一个例子的图。在本发明中，信号扩展推测处理由信号扩展推测部1106实施。图12（a）是示出信号扩展推测方法的一个例子的图，图12（b）是示出噪声校正强度控制方法的一个例子的图。

如图12（a）所示，信号扩展度是表示信号的放大率、扩展率的评价值，所以通过对通过根据第一信号校正强度控制部1105决定的第一图像信号校正部1103的信号电平校正的校正强度推测出的第一图像信号校正部1103的信号电平校正得到的信号扩展度、和通过根据第二信号校正强度控制部1111决定的第二图像信号校正部1109的信号电平校正的校正强度推测出的第二图像信号校正部1109的信号电平校正得到的信号扩展度进行乘法运算，能够计算图像信号校正部整体的信号扩展度。此时，也可以通过使乘法运算结果不超过最大值，防止信号扩展度的计算结果超过可控制的范畴。另外，只要信号扩展度是例如与实际的信号的放大率、扩展率处于对数关系的评价值，则也可以代替乘法运算而进行加法运算，这样，也可以与信号扩展度的特性相符地变更计算方法。如图12（b）所示，噪声校正强度控制部1107使用通过图像信号校正部整体得到的信号扩展度来控制噪声校正的校正强度。由此，即使在组合了多个信号电平校正处理的情况下，也能够根据整体的信号扩展的影响来决定噪声校正的强度，提高画质。

这样，在本实施例中，即使在进行了输入输出特性不同的多个信号电平校正处理的情况下，也能够实施最佳的噪声校正，而低成本地生成高画质并且视觉辨认性高的图像。

【实施例3】

图13是示出本发明的第3实施例的图像信号处理装置的示意图。在图13中，1301是图像信号输入部、1302是高画质化信号处理部、1302_1是噪声校正部、1302_2是边缘强调部、1303是图像信号校正部、1304是统计信息取得部、1305是信号校正强度控制部、1306是信号扩展推测部、1307是画质控制部、1307_1是噪声校正强度控制部、13072是边缘强调强度控制部、1308是信号扩展推测信息储存部，成为将图7所示的图像信号处理装置的噪声校正部0702置换为高画质化信号处理部1302，将噪声校正强度控制部0707置换为画质控制部1707，在噪声校正部0702的高画质化信号处理部1302的内部具备噪声校正部1302_1并在画质控制部1707的内部具备噪声校正强度控制部1307_1和边缘强调强度控制部1307_2的结构。图13所示的图像信号处理装置和图7所示的图像信号处理装置的特征性的差异在于，作为用于高画质化的信号处理，除了噪声校正部以外还具备边缘强调部。

在图13所示的图像信号处理装置中，边缘校正部13022在对从噪声校正部1302_1输入的图像信号进行了边缘强调处理之后生成输出的图像信号。边缘强调处理例如能够通过针对所输入的图像信号用高通滤波器、带通滤波器提取规定频域的信号分量并进行了增益处理之后加到输入的图像信号来实现。边缘校正强度控制部1307_2根据信号扩展推测部1306推测出的信号扩展度，决定并控制边缘强调部1302_2进行的边缘强调处理的强调强度。边缘强调部1302_2通过根据该强调强度进行边缘强调，能够根据图像信号校正部1303进行的信号电平校正处理的校正强度进行边缘强调。另外，在图13所示的图像信号处理装置中，通过在高画质化信号处理部1302的内部，将噪声校正部1302_1输出的图像信号作为边缘强调部1302_2的输入，成为能够抑制在边缘强调处理时噪声也被强调的结构，但也可以是将边缘强调部1302_2输出的图像信号输出到噪声校正部1302_1的结构、在边缘强调部1302_2与噪声校正部1302_1之间、前后具备其他高画质化信号处理的结构。另外，也可以是通过将输入到高画质化信号处理部1302的图像信号通过预处理分离为低频分量和高频分量，并分别进行不同的噪声校正处理、边缘强调处理而能够在强调边缘的精细感的同时有效地去除噪声的结构。另外，对于包括噪声校正处理、和边缘强调处置的高画质化信号处理、包括噪声校正强度控制处理、和边缘强调强度控制处置的画质控制处理，例如在个人计算机时通过CPU上的应用程序实施，在嵌入设备时通过微型计算机、DSP、专用的LSI等实施。另外，也可以通过用DSP、专用的LSI实施作为信号处理的高画质化信号处理，用微型计算机实施作为控制处理的画质控制处理，来实现成本、性能的最佳化。

图14是示出本发明的第3实施例的边缘强调的强调强度控制方法的一个例子的图。在本发明中，边缘强调的强调强度控制处理由边缘强调强度控制部1307_2实施。如图14所示，边缘强调强度控制部1307_2根据从信号扩展度推测部1306取得的信号扩展度，控制边缘强调部1302_2的边缘强调处理的校正强度。此时，随着信号扩展度变大而减小边缘强调处理的强调强度。由此，在信号校正强度控制部1305以使信号扩展的方式进行了信号范围校正处理的情况下，通过根据信号扩展度减弱边缘的强调效果，能够抑制在边缘强调时强调的噪声分量被进一步强调所致的画质降低。此时，如图14所示，例如在信号扩展度大于规定的阈值4的情况下，通过使边缘强调强度不低于最小值，即使在信号范围校正处理的效果强的情况下，也能够进行恒定的边缘强调。另外，在信号扩展度小于规定的阈值3的情况下，通过使边缘强调强度不高于最大值，能够防止过多地进行边缘强调而精细感过度地损失，能够使边缘强调强度不超过可设定的范畴。另外，在图14中为简化说明，信号扩展度和边缘强调强度在阈值3与阈值4之间线性地变化，但也可以控制为非线性地变化、或者控制为在其间进一步设置阈值而用多个线段来插值、或者控制为离散地设置校正强度而不连续地变化。

这样，根据本实施例，通过根据信号电平校正的校正强度的控制信息来决定噪声校正的校正强度以及边缘强调的强调强度，根据信号电平校正的效果实施最佳的画质控制，能够低成本地生成高画质并且视觉辨认性高的图像。

【实施例4】

图15是示出本发明的第4实施例的摄像装置的示意图。在图15中，1501是摄像部、1502是照相机信号处理部、1502_1是曝光量检测部、1502_2是数字增益部、1502_3是噪声校正部、1503是图像信号校正部、1504是统计信息取得部、1505是信号校正强度控制部、1506是信号扩展推测部、1507是噪声校正强度控制部、1508是信号扩展推测信息储存部、1512是曝光控制部。

在图15所示的摄像装置中，摄像部1501是适宜使用包括变焦镜头以及聚焦镜头的镜头组、光圈、快门、CCD或者CMOS等摄像元件、CDS、AGC、AD转换器等而构成的，对由摄像元件受光的光学像进行光电变换，作为图像信号输出。

照相机信号处理部1502至少具备曝光量检测部1502_1、数字增益部1502_2、噪声校正部1502_3，对摄像部1501输出的图像信号，进行曝光量的评价值的检测处理、数字增益处理、噪声校正处理，生成输出的图像信号。另外，也可以进行分离为亮度信号和颜色信号的分离处理、边缘强调处理、伽马处理、色差变换处理、白平衡校正处理、数字变焦等各种数字信号处理，进行高画质化、功能附加。对于在进行各信号处理时使用的系数、例如明亮度校正量、伽马特性等，既可以使用预先设定并在非易失性存储器等中储存的值，也可以根据从图像信号检测出的亮度分布等各种信息来变更控制值。

图像信号校正部1503根据信号校正强度控制部1505输出的信号电平校正的校正强度，决定图像信号的输入输出特性，并根据该输入输出特性，校正从照相机信号处理部1502输入的图像信号的每个像素的信号值即信号电平而生成输出信号。图像信号校正部1503实施的图像信号的校正包括通过校正信号电平而进行的逆光校正、雾/霭校正、宽动态范围化处理等，例如，能够通过预先将针对输入值的输出值的对应保持为函数的系数、对应起来的查找表，根据信号电平校正的校正强度，校正函数的系数、查找表的值来确定输入输出特性，并根据该输入输出特性变换图像信号的信号电平来实现。另外，也可以预先保持多个与多个校正强度对应的用于校正的函数的系数、对应起来的查找表，在处理时根据信号校正强度控制部1505输出的校正强度，选择或者插值而使用所使用的函数的系数、对应起来的查找表，降低运算成本。另外，也可以对各个亮度信号和颜色信号，根据不同的输入输出特性进行校正处理。另外，也可以使所输入的图像信号分离为多个分量而分别进行不同的校正处理并合成。例如，能够通过在预处理中分离为低频分量和高频分量，并分别进行不同的信号电平校正处理，而分别校正被摄体的明亮度和边缘的精细感。另外，也可以通过针对图像信号中的每个区域根据不同的输入输出特性进行信号电平校正处理，而针对图像内的每个被摄体进行最佳的校正。另外，也可以设为在图像信号中的亮度信号和颜色信号中实施不同的特性的处理、或者仅对某一方的信号实施处理这样的结构，来实现性能或者计算成本的最佳化。

统计信息取得部1504将照相机信号处理部1502输出的图像信号作为输入，测定并输出信号值的统计信息。此处，统计信息是指，例如图像信号中的各像素的信号值的直方图分布、或者平均值、最大值、最小值、标准偏差等统计量，用于信号校正强度控制部1505判别图像信号中的场景，而使图像信号校正部1503校正信号电平时的校正强度变得适当。此时，也可以通过取得图像信号中的预定的规定的区域内的像素的信号值的统计信息、或者取得通过图像识别检测出的被摄体存在的区域内的像素的信号值的统计信息、或者仅针对信号值是规定的范畴内的像素取得统计信息来提高场景的判别性能。例如，在图像信号校正部1503针对图像信号中的每个区域根据不同的输入输出特性进行信号范围校正处理的情况下，通过以与该区域相符的单位取得统计信息，能够针对每个区域实现最佳的信号范围校正处理。

信号校正强度控制部1505根据统计信息取得部1504输出的统计信息来判别图像信号中的场景，决定图像信号校正部1503校正信号电平时的校正强度。在图像信号校正部1503针对图像信号中的每个区域根据不同的输入输出特性进行信号范围校正处理的情况下，也可以以与该区域相符的单位取得信号校正强度控制部1505测定出的统计信息，针对每个区域决定校正强度。另外，也可以是统计信息取得部1504处于照相机信号处理部1502的内部，根据从摄像部1501输入的图像信号或者数字信号处理的途中的图像信号取得统计信息的结构。在该情况下，能够将照相机信号处理部1502中的各种信号处理的控制中使用的统计信息也实际应用于图像信号校正部1503中的信号电平校正处理的校正强度的控制，降低成本。另外，也可以是信号校正强度控制部1505不使用统计信息取得部1504输出的统计信息，而将从未图示的输入部输入的值决定为信号电平校正处理的校正强度的结构。在该情况下，虽然无法进行与图像信号中的场景连动的校正强度的控制，但能够省略统计信息取得部1504，能够实现通过软件实现的情况的计算时间缩短、通过硬件实现的情况的开发成本降低。另外，也可以是针对信号校正强度控制部1505决定的校正强度，根据从曝光控制部1512取得的曝光控制信息进一步进行校正，将运算出的最终的校正强度作为控制值输出的结构。由此，能够与曝光控制的状态和图像信号中的场景这两方连动地，控制图像信号校正部1503中的信号电平校正处理的校正强度。对于使用了曝光控制信息的信号电平校正处理的校正强度的控制方法，使用图19而后述。

信号扩展推测部1506推测表示通过根据信号校正强度控制部1505决定的校正强度和从信号扩展推测信息储存部1508取得的信号扩展推测信息，由图像信号校正部1503进行的信号电平的校正而信号被放大何种程度的评价值、即信号扩展度。信号扩展推测信息储存部1508相当于对于程序的ROM区域、非易失性存储器、记录介质等，存储用于信号扩展推测部1506推测根据信号校正强度控制部1505决定的信号电平校正的校正强度，由图像信号校正部1503进行信号电平校正时的信号扩展度的信号扩展推测信息。对于信号扩展推测信息，在图像信号校正部1503中的信号电平校正的输入输出特性既知的情况下，预先求出并储存依照该输入输出特性的信号扩展度即可，如果未知则存储通过事先的校正推测出的值即可。

噪声校正强度控制部1507根据信号扩展推测部1506推测出的信号扩展度和从曝光控制部1512取得的曝光控制信息，决定并控制噪声校正部1502_3进行的噪声校正处理的校正强度。噪声校正部1502_3通过根据该校正强度进行噪声校正，能够根据图像信号校正部1503进行的信号电平校正处理的校正强度进行噪声校正。曝光控制部1512从曝光量检测部1502_1取得光量的评价值，以使实际的曝光量接近作为目标的规定的曝光量的方式，控制摄像部1501的光圈的扩减、快门定时、AGC的模拟增益量、数字增益部1502_2的数字增益量等。另外，同时将光圈的扩减程度、快门打开的期间的时间、模拟增益量、数字增益量、或者利用模拟增益、数字增益的信号的放大率等作为曝光控制信息输出。由此，噪声校正强度控制部1507能够与通过曝光控制进行的信号放大和通过信号电平校正处理进行的信号扩展这两方连动地进行最佳的噪声校正的校正强度控制，实现高画质化。也可以是通过噪声校正强度控制部1507与曝光控制信息和信号范围校正处理的校正强度连动地，不仅是照相机信号处理部1502的噪声校正处理的校正强度，而且还同样地控制边缘强调处理的强调强度、伽马处理的伽马校正强度等各种信号处理的效果，将信号处理整体的画质与曝光控制和信号范围校正处理这双方连动地控制为最佳的结构。另外，例如，照相机信号处理、信号电平校正处理、统计信息取得处理通过DSP、专用的LSI等实施，信号电平校正的校正强度控制处理、信号扩展度推测处理、噪声校正的校正强度控制处理、曝光控制处理通过微型计算机等实施。

图16是示出本发明的第4实施例的噪声校正的校正强度控制方法的一个例子的第1图。图16（a）是示出利用曝光控制信息的噪声校正的校正强度中间值的控制方法的一个例子的图，图16（b）是示出利用信号扩展度的噪声校正的校正强度控制方法的一个例子的图，图16（c）是示出利用曝光控制信息和信号扩展度的噪声校正的校正强度控制方法的一个例子的图。在本发明中，噪声校正的校正强度控制处理由噪声校正强度控制部1507实施。

如图16（a）所示，噪声校正强度控制部1507根据从曝光控制部1512取得的曝光控制信息，控制噪声校正部1502_3的噪声校正处理的校正强度的中间值。此时，随着利用模拟增益、数字增益的信号放大率变大，增大噪声校正处理的校正强度的中间值。由此，在摄影场景并非充分明亮，而曝光控制部1512以增大增益量的方式进行了控制的情况下，通过根据增益量来增强噪声的校正效果，能够抑制噪声分量也被同时放大所致的画质降低。如图16（b）所示，噪声校正强度控制部1507将根据曝光控制信息计算出的噪声校正处理的校正强度的中间值作为基准，进而根据从信号扩展度推测部1506取得的信号扩展度，控制噪声校正处理的校正强度。由此，能够在信号电平校正处理的校正强度小的情况下，进行与曝光控制连动的噪声校正；在信号电平校正处理的校正强度大的情况下，进行与曝光控制和信号电平校正处理这两方连动的噪声校正。另外，如图16（c）所示，在作为曝光控制信息，运算利用模拟增益、数字增益的信号的放大率，作为信号扩展度，运算利用信号电平校正处理的信号的扩展率并取得了的情况下，能够以相同的单位处理各个信息，无需计算噪声校正处理的校正强度的中间值，就可以根据通过处理整体进行的信号的放大率一起直接决定噪声校正处理的校正强度而进行控制。由此，能够简化控制。

图17是示出本发明的第4实施例的噪声校正的校正强度控制方法的一个例子的第2图。在图17中，示出在噪声校正部1502_3中作为噪声校正处理进行了使用了双向滤波器的二维噪声校正处理的情况的例子。图17（a）是示出利用双向滤波器的噪声校正处理的一个例子的图，图17（b）是示出利用双向滤波器的噪声校正的噪声判别程度的控制方法的一个例子的图，图17（c）是示出利用双向滤波器的噪声校正的校正强度的控制方法的一个例子的图。在本发明中，噪声校正的校正强度控制处理由噪声校正强度控制部1507实施。

如图17（a）所示，在噪声校正部1502_3进行了利用双向滤波器的二维噪声校正处理作为噪声校正处理的情况下，对所输入的图像信号，进行利用规定的滤波系数的滤波处理而校正噪声，生成输出的图像信号。双向滤波器作为通过具有根据距关注像素的距离具有依照高斯分布的权重的滤波系数、和根据从关注像素的亮度差分具有依照高斯分布的权重的滤波系数校正系数，能够根据被摄体的噪声相似度使平滑化效果不同的边缘保存型的空间滤波器而已知。此时，通过变更滤波系数的高斯分布的标准偏差，能够使用于噪声校正的平滑化效果可变，通过变更滤波系数校正系数的高斯分布的标准偏差，能够使噪声相似度的判别的程度可变。如图5（b）所示，噪声校正强度控制部1507决定为随着利用模拟增益、数字增益的信号放大率变大而增大滤波系数校正系数的高斯分布的标准偏差。由此，曝光控制的结果，能够根据通过输入到噪声校正部1502_3的图像信号而噪声被强调何种程度来控制噪声判别的程度。如图5（c）所示，噪声校正强度控制部1507决定为随着利用模拟增益、数字增益的信号放大率和利用信号电平校正处理的信号扩展度变大，增大滤波系数的高斯分布的标准偏差。由此，通过根据模拟增益量、数字增益量和信号电平校正处理的信号扩展度这两方来增强噪声的校正效果，能够抑制噪声分量也被同时强调所致的画质降低。这样，即使在进行了边缘保存型的噪声校正处理的情况下，也能够与曝光控制、信号范围校正处理连动地进行适合的噪声校正处理。另外，在图17中，以使用了双向滤波器的噪声校正处理为例子，但即使是其他边缘保存型的噪声校正处理，通过根据曝光控制信息来控制用于噪声判别的评价值，根据曝光控制信息和信号范围校正处理的校正强度来控制噪声校正的校正强度，也能够期待同样的效果。

图18是示出本发明的第4实施例的噪声校正的校正强度控制方法的一个例子的第3图。在图18中，示出在噪声校正部1502_3进行了活动自适应型的三维噪声校正处理作为噪声校正处理的情况的例子。图18（a）是示出活动自适应型的三维噪声校正处理的一个例子的图，图18（b）是示出活动自适应型的三维噪声校正的噪声判别程度的控制方法的一个例子的图，图18（c）是示出活动自适应型的三维噪声校正的校正强度的控制方法的一个例子的图。在本发明中，噪声校正的校正强度控制处理由噪声校正强度控制部1507实施。

如图18（a）所示，噪声校正部1502_3在作为噪声校正处理进行了活动自适应型的三维噪声校正处理的情况下，对于所输入的图像信号，经由图像存储器，针对关注图像的图像信号和在连续的时间轴上捕捉同一场景而得到的1个或者多个不同的图像信号，通过规定的权重系数进行加权平均而校正噪声，生成输出的图像信号。此时，对于权重系数，通过根据每个像素的信号值的帧间的差分值而使权重系数变化，能够分离噪声和被摄体的活动所致的信号值的变化，而有效地仅校正随机噪声。对于权重系数，也可以通过根据每个像素的信号值的帧间的差分值、和关注像素与周边的像素值的相关这双方而使权重系数变化。此时，能够通过变更关注图像的权重系数而使噪声校正的效果可变，通过变更用于校正权重系数的成为基准的信号量的差分值的控制阈值而使噪声相似度的判别的程度可变。

如图18（b）所示，噪声校正强度控制部1507决定为随着利用模拟增益、数字增益的信号放大率变大而增大权重系数校正阈值。由此，曝光控制的结果，能够根据通过输入到噪声校正部15023的图像信号而噪声被强调何种程度来控制噪声判别的程度。

如图18（c）所示，噪声校正强度控制部1507决定为随着利用模拟增益、数字增益的信号放大率和利用信号电平校正处理的信号扩展度变大而增大权重系数。由此，通过根据模拟增益量、数字增益量和信号电平校正处理的信号扩展度这两方来增强噪声的校正效果，能够抑制噪声分量也被同时强调所致的画质降低。这样，即使在进行了活动自适应型的三维噪声校正处理的情况下，也能够与曝光控制、信号范围校正处理连动地进行适合的噪声校正处理。

图19是示出本发明的第4实施例的信号范围校正处理的校正强度控制方法的一个例子的图。在本发明中，信号范围校正处理的校正强度控制处理由信号校正强度控制部1505实施。

如图19所示，信号校正强度控制部1505对根据统计信息取得部1504输出的统计信息决定的信号范围校正处理的校正强度的中间值，进行与曝光控制信息对应的校正而决定并输出最终的校正强度。例如，控制为在通过曝光控制进行的模拟增益量、数字增益量小的情况下，原样地使用根据统计信息决定的控制值，随着模拟增益量、数字增益量变大而使用以使根据统计信息决定的控制值向基准变小的方式校正的值。由此，在无法对模拟增益量、数字增益量大且噪声被非常强调的图像充分进行噪声校正处理的情况下，能够通过进行信号电平校正处理，来防止噪声被非常强调而视觉辨认性降低。另外，与信号范围校正处理的校正强度连动地计算信号扩展度推测部1506推测的信号扩展度，所以噪声校正强度控制部1507控制的噪声校正的校正强度也与信号范围校正处理的校正强度连动地确定。因此，在模拟增益量、数字增益量大的情况下，信号范围校正处理的校正强度小，所以主要依赖于模拟增益量、数字增益量而控制噪声校正的校正强度，所以得到与不存在信号范围校正处理的情况同样的效果，得到与使使用了信号范围校正处理的功能关闭的情况等同的画质。另外，在该例子中，记载了随着模拟增益量、数字增益量变大而减弱信号范围校正处理的校正强度的方法，但也可以进行根据统计信息来减弱信号范围校正处理的校正强度以及噪声校正强度的控制。例如，在图像信号中的平均亮度低于规定的阈值时、或者在针对图像信号中的每个区域得到统计信息的结构中，每个区域的平均亮度低于规定的阈值的区域数存在一定以上时，通过减弱信号范围校正处理的校正强度，能够防止在所输入的影像非常暗的情况下通过信号电平校正处理噪声被非常强调。

这样，根据本实施例，通过根据信号电平校正的校正强度的控制信息和曝光控制信息来决定噪声校正的校正强度，根据曝光的状态、信号电平校正的效果实施最佳的噪声校正，能够低成本地拍摄高画质并且视觉辨认性高的图像。

【实施例5】

图20是示出本发明的第5实施例的图像信号处理装置以及摄像装置的示意图。在图20中，2001是图像信号输入部、2003是图像信号校正部、2004是统计信息取得部、2005是信号校正强度控制部、2006是信号扩展推测部、2007是噪声校正强度控制部、2008是信号扩展推测信息储存部、2013是通信部、2014是具备实现图像信号输入部2001至信号扩展推测信息储存部2008的图像处理程序的图像信号处理装置、2015是适宜具备噪声校正调整功能的摄像装置。图20所示的图像信号处理装置与图1所示的图像信号处理装置的特征性的差异在于，并非在图像信号处理装置2014内，而在具备噪声校正调整功能的摄像装置2015中进行噪声校正处理，经由通信部2013从图像信号处理装置2014向适宜具备噪声校正调整功能的摄像装置2015发送噪声校正处理的校正强度作为调整值。

在图20所示的图像信号处理装置以及摄像装置中，图像信号输入部2001经由与影像电缆连接的采集卡、LAN、USB等而与具备噪声校正调整功能的摄像装置2015连接，输入具备噪声校正调整功能的摄像装置2015摄像了的图像信号。图像信号校正部2003根据信号校正强度控制部2005输出的信号电平校正的校正强度，决定图像信号的输入输出特性，根据该输入输出特性，校正从图像信号输入部2001输入的图像信号的每个像素的信号值即信号电平而生成输出信号。统计信息取得部2004将图像信号输入部2001输出的图像信号作为输入，测定并输出信号值的统计信息。噪声校正强度控制部2007根据信号扩展推测部2006推测出的信号扩展度，决定具备噪声校正调整功能的摄像装置2015的噪声校正调整值，输出到通信部2013。通信部2013通过经由了串行端口、并行端口、LAN的通信等向具备噪声校正调整功能的摄像装置2015发送噪声校正调整值。由此，即使是进行包括噪声校正处理的照相机信号处理的摄像装置、和进行信号电平校正处理的图像信号处理装置是不同的装置，也能够根据信号电平校正处理的校正强度实施最佳的噪声校正，而低成本地拍摄高画质并且视觉辨认性高的图像。

另外，本发明不限于上述实施例，而包括各种变形例。例如，上述实施例为了易于理解地进行说明而详细说明本发明，而不限于必需具备说明的所有结构。另外，能够将某实施例的结构的一部分置换为其他实施例的结构，并且，还能够对某实施例的结构追加其他实施例的结构。另外，例如，能够在民用、监视、车载、业务用途中，在摄像装置、PC应用程序、图像处理装置等中利用本发明，但不限于此。

Claims (21)

1.一种图像信号处理装置，其特征在于，具备：

图像信号输入单元，输入图像信号；

噪声校正单元，对从该图像信号输入单元输入的图像信号进行噪声校正处理，并输出进行了噪声校正的图像信号；

图像信号校正单元，对该噪声校正单元输出的图像信号进行信号电平校正处理，并输出进行了电平校正的图像信号；

图像信号校正强度控制单元，决定该图像信号校正单元中的信号电平校正处理的校正强度，而使该信号电平校正处理的输入输出特性变化；

信号扩展推测单元，根据该图像信号校正强度控制单元决定的校正强度，推测所述图像信号校正单元的信号电平校正处理的信号扩展的程度；以及

噪声校正强度控制单元，与该信号扩展推测单元推测出的信号扩展的程度连动地运算所述噪声校正单元中的噪声校正处理的校正强度而进行控制。

2.根据权利要求1所述的图像信号处理装置，其特征在于，

还具备统计信息取得单元，该统计信息取得单元将从所述图像信号输入单元输入的图像信号或者所述噪声校正单元输出的进行了噪声校正的图像信号中的某一个作为输入，计算并输出该图像信号的信号值的分布或者统计量而作为统计信息，

所述图像信号校正强度控制单元根据该统计信息取得单元输出的统计信息，控制所述图像信号校正单元中的信号电平校正处理的校正强度。

3.根据权利要求1或者2所述的图像信号处理装置，其特征在于，

还具备信号扩展推测信息储存部，该信号扩展推测信息储存部将用于推测与所述图像信号校正强度控制单元决定的信号电平校正处理的校正强度对应的所述图像信号校正单元的信号电平校正处理的信号扩展的程度的信息储存为信号扩展推测信息扩展，

所述信号扩展推测部从该信号扩展推测信息储存部取得信号扩展推测信息，根据该信号扩展推测信息和所述图像信号校正强度控制单元决定的校正强度，推测所述图像信号校正单元的信号电平校正处理的信号扩展的程度。

4.根据权利要求1~3中的任意一项所述的图像信号处理装置，其特征在于，

在所述信号扩展推测信息储存部中作为所述信号扩展推测信息，储存所述基准图像信号校正的信号电平校正处理的输入输出特性中的代表性的信号电平的输入值与输出值的比例。

5.根据权利要求1~3中的任意一项所述的图像信号处理装置，其特征在于，

在所述信号扩展推测信息储存部中作为所述信号扩展推测信息，储存所述基准图像信号校正的信号电平校正处理的输入输出特性中的代表性的2个信号电平之间的输入值的差分与输出值的差分的比例。

6.根据权利要求2~5中的任意一项所述的图像信号处理装置，其特征在于，

所述统计信息取得单元计算并输出所输入的图像信号的每任意的区域的统计信息，

所述图像信号校正强度控制单元根据从所述统计信息取得单元输出的每任意的区域的统计信息，针对每任意的区域决定所述图像信号校正单元中的信号电平校正处理的校正强度，使信号电平校正处理的输入输出特性针对每任意的区域变化，

所述图像信号校正单元针对所述噪声校正单元输出的图像信号，根据所述针对每任意的区域变化的输入输出特性，进行信号电平校正处理，

所述信号扩展推测部根据所述信号校正强度控制单元决定的每任意的区域的校正强度，推测所述图像信号校正单元的信号电平的校正的校正前后的代表性的信号扩展的程度，

与所述信号扩展推测单元推测出的代表性的信号扩展的程度连动地，运算所述噪声校正单元中的校正噪声的信号处理的校正强度而进行控制。

7.一种图像信号处理装置，其特征在于，具备：

图像信号输入单元，输入图像信号；

噪声校正单元，对从该图像信号输入单元输入的图像信号进行噪声校正处理，并输出进行了噪声校正的图像信号；

多个图像信号校正单元，针对该噪声校正单元输出的图像信号，按照不同的输入输出特性，在多阶段中，进行信号电平校正处理，并输出进行了电平校正的图像信号；

图像信号校正强度控制单元，决定该多个图像信号校正单元中的各个信号电平校正处理的校正强度，而使各个信号电平校正处理的输入输出特性变化；

信号扩展推测单元，根据该信号校正强度控制单元决定的校正强度，推测所述多个图像信号校正单元的各个信号电平校正处理的信号扩展的程度；以及

噪声校正强度控制单元，与该信号扩展推测部推测出的信号扩展的程度连动地，运算所述噪声校正单元中的噪声校正处理的校正强度并进行控制，

在所述噪声校正单元中的噪声校正处理的校正强度的运算中，综合使用所述信号扩展推测单元推测出的所述多个图像信号校正单元的各个信号电平校正处理的信号扩展的程度。

8.根据权利要求7所述的图像信号处理装置，其特征在于，

还具备多个统计信息取得单元，该多个统计信息取得单元计算并输出对所述多个图像信号校正单元输入的图像信号的信号值的分布或者统计量而作为统计信息，

所述图像信号校正强度控制单元根据该多个统计信息取得单元输出的统计信息，控制对应的图像信号校正单元中的信号电平校正处理的校正强度。

9.根据权利要求1~8中的任意一项所述的图像信号处理装置，其特征在于，

所述图像信号输入单元在输入了运动图像而作为图像信号的情况下，

所述噪声校正单元作为噪声校正处理，针对从所述图像信号输入单元输入的图像信号，进行根据图像信号中的关注的像素与周边的像素的信号电平的相关进行噪声校正的二维噪声校正处理、和根据关注的像素的时间轴上连续的图像之间的信号电平的相关进行噪声校正的三维噪声校正处理中的至少一方。

10.根据权利要求9所述的图像信号处理装置，其特征在于，

所述噪声校正单元作为噪声校正处理进行二维噪声校正处理和三维噪声校正处理这双方的情况下，

所述噪声校正强度控制单元作为噪声校正处理的校正强度，分别运算与二维噪声校正处理对应的校正强度和与三维噪声校正处理对应的校正强度而进行控制。

11.一种图像信号处理装置，其特征在于，具备：

图像信号输入单元，输入图像信号；

高画质化信号处理单元，进行从该图像信号输入单元输入的图像信号的噪声校正处理以及边缘强调处理，并输出校正了的图像信号；

图像信号校正单元，对该高画质化信号处理单元输出的图像信号进行信号电平校正处理，并输出进行了电平校正的图像信号；

图像信号校正强度控制单元，决定该图像信号校正单元中的信号电平校正处理的校正强度，而使该信号电平校正处理的输入输出特性变化；

信号扩展推测单元，根据该图像信号校正强度控制单元决定的校正强度，推测所述图像信号校正单元的信号电平的校正处理的信号扩展的程度；以及

画质控制单元，与该信号扩展推测部推测出的信号扩展的程度连动地，分别运算所述高画质化信号处理单元中的噪声校正处理的校正强度以及边缘强调处理的校正强度而进行控制。

12.一种摄像装置，其特征在于，

具备权利要求1~11中的任意一项所述的图像信号处理装置。

13.一种摄像装置，其特征在于，具备：

摄像单元，输出对被摄体进行摄像而得到的图像信号；

图像信号处理单元，对来自所述摄像单元的图像信号，通过根据所述图像信号的信号电平校正处理的校正强度而控制的校正强度进行噪声校正处理并输出，

所述图像信号处理单元与根据所述信号电平校正处理的校正强度推测出的所述信号电平校正处理的信号扩展的程度连动地，控制所述噪声校正处理的校正强度。

14.一种图像信号处理装置，其特征在于，具备：

摄像单元，进行摄像而生成并输出图像信号；

曝光量检测部，检测该摄像单元的曝光量；

曝光控制单元，根据该曝光量检测部检测出的曝光量，控制所述摄像单元的曝光；

噪声校正单元，对所述摄像单元输出的图像信号进行噪声校正处理，并输出进行了噪声校正的图像信号；

图像信号校正单元，对该噪声校正单元输出的图像信号进行信号电平校正处理，并输出进行了电平校正的图像信号；

图像信号校正强度控制单元，决定该图像信号校正单元中的信号电平校正处理的校正强度，而使该信号电平校正处理的输入输出特性变化；

信号扩展推测单元，根据该图像信号校正强度控制单元决定的校正强度，推测所述图像信号校正单元的信号电平校正处理的信号扩展的程度；以及

噪声校正强度控制单元，与该信号扩展推测部推测出的信号扩展的程度和所述曝光控制单元中的曝光控制的程度连动地，运算所述噪声校正单元中的噪声校正处理的校正强度并进行控制。

15.根据权利要求14所述的图像信号处理装置，其特征在于，

所述噪声校正单元针对所述摄像单元输出的图像信号，进行根据图像信号中的关注的像素与周边的像素的信号电平的相关进行噪声校正的二维噪声校正处理、和根据关注的像素的时间轴上连续的图像之间的信号电平的相关进行噪声校正的三维噪声校正处理中的至少一方。

16.根据权利要求15所述的图像信号处理装置，其特征在于，

在所述噪声校正单元中的二维噪声校正处理中，将图像信号中的关注的像素与周边的像素的信号电平的相关的程度和基准值进行比较，而切换针对该关注的像素有无噪声校正或者校正方法的类别来实施信号处理，

所述噪声校正强度控制单元仅使用所述曝光控制单元中的曝光控制的程度来控制所述噪声校正单元中的基准值，使用所述信号扩展推测部推测出的信号扩展的程度和所述曝光控制单元中的曝光控制的程度这两方来控制所述噪声校正单元中的噪声校正处理的校正强度。

17.根据权利要求15所述的图像信号处理装置，其特征在于，

在所述噪声校正单元中的三维噪声校正处理中，将关注的像素的时间轴上连续的图像之间的信号电平的相关的程度或者关注的像素与周边的像素的信号电平的相关分别和基准值进行比较，而切换针对该关注的像素有无噪声校正或者校正方法的类别来实施信号处理，

所述噪声校正强度控制单元仅使用所述曝光控制单元中的曝光控制的程度来控制所述噪声校正单元中的基准值，使用所述信号扩展推测部推测出的信号扩展的程度和所述曝光控制单元中的曝光控制的程度这两方来控制所述噪声校正单元中的噪声校正处理的校正强度。

18.根据权利要求14~17中的任意一项所述的图像信号处理装置，其特征在于，

所述图像信号校正强度控制单元与所述曝光控制单元中的曝光控制的程度连动地，校正所述图像信号校正单元中的信号电平校正处理的校正强度。

19.根据权利要求18所述的图像信号处理装置，其特征在于，

所述图像信号校正强度控制单元随着所述曝光控制单元进行信号增益变大的曝光控制而减小信号电平校正处理的校正强度。

20.一种图像处理程序，其特征在于，

实现权利要求1~11中的任意一项所述的图像信号处理装置。

21.一种图像处理装置，其特征在于，具备：

图像信号输入单元，与具备噪声校正调整功能的摄像装置连接并输入图像信号；

图像信号校正单元，对从该图像信号输入单元输入的图像信号进行信号电平校正处理，并输出进行了电平校正的图像信号；

图像信号校正强度控制单元，决定该图像信号校正单元中的信号电平校正处理的校正强度，而使该信号电平校正处理的输入输出特性变化；

信号扩展推测单元，根据该信号校正强度控制单元决定的校正强度，推测所述图像信号校正单元的信号电平校正处理的信号扩展的程度；

噪声校正强度控制单元，与该信号扩展推测部推测出的信号扩展的程度连动地，运算所述摄像装置中的噪声校正调整功能的设定值；以及

通信单元，将该噪声校正强度控制单元运算出的所述摄像装置中的噪声校正调整功能的设定值发送到所述摄像装置。

Images