CN111988594B - 图像处理设备及其控制方法、摄像设备、监视***和介质 - Google Patents

Abstract

本发明提供一种图像处理设备及其控制方法、摄像设备、监视***和介质。为了抑制可见光图像或通过对可见光图像和红外光图像进行合成所获得的合成图像中的颜色再现性的劣化，该图像处理设备获得用于基于来自成像光学***的入射光生成可见范围图像的第一摄像元件所获得的第一图像，估计进入第一摄像元件的红外光的接收光强度，以及基于估计单元所估计的接收光强度来控制对第一图像的白平衡调整。

Description

图像处理设备及其控制方法、摄像设备、监视***和介质

技术领域

本发明通常涉及一种图像处理设备及其控制方法、摄像设备、监视***和记录介质，具体地，涉及用于提高可见光图像中的颜色再现性(color reproducibility)的技术。

背景技术

需要用于监视目的等的摄像设备，使得即使在诸如夜间等的低光强度的情况下也获得清晰的被摄体图像。因此，提出了如下摄像设备，该摄像设备包括具有针对红外光的感光度的固态摄像元件，使得即使在低光强度的情况下也可以获得清晰的被摄体图像。还提出了如下的摄像设备(例如，日本特开2017-156464(专利文献1))，该摄像设备通过对由具有针对可见光的感光度的固态摄像元件获得的图像和由具有针对红外光的感光度的固态摄像元件获得的图像进行合成来显示合成图像。

在专利文献1中，使用波长选择棱镜来将可见光和红外光相分离，并且将可见光和红外光分别引导至用于拍摄可见光的固态摄像元件和用于拍摄红外光的固态摄像元件。然而，在从红外照明单元发射强光的情况下，可能导致一些红外光束将经由波长选择棱镜漏入到用于可见光的固态摄像元件中的现象。因此，要通过用于可见光的固态摄像元件获得的图像的颜色再现性将劣化，并且合成图像的颜色再现性也将成为问题地劣化。

发明内容

根据本发明的一个方面，一种图像处理设备，包括：获得单元，其被配置为获得用于基于来自成像光学***的入射光生成可见范围图像的第一摄像元件所获得的第一图像；估计单元，其被配置为估计进入所述第一摄像元件的红外光的接收光强度；以及控制单元，其被配置为基于所述估计单元所估计的接收光强度来控制对所述第一图像的白平衡调整

根据本发明的另一个方面，一种图像处理设备的控制方法，所述控制方法包括：获得用于基于来自成像光学***的入射光生成可见范围图像的第一摄像元件所获得的第一图像；估计进入所述第一摄像元件的红外光的接收光强度；以及基于在所述估计中所估计的接收光强度来控制对所述第一图像的白平衡调整。

根据本发明的又一个方面，一种摄像设备，包括：成像光学***；光分离单元，其被配置为将来自所述成像光学***的入射光分离成可见光分量和红外光分量；第一摄像元件，其被配置为基于所述可见光分量来生成可见光范围的图像；第二摄像元件，其被配置为基于所述红外光分量来生成红外光范围的图像；调整单元，其被配置为对所述第一摄像元件所获得的第一图像进行白平衡调整；控制单元，其被配置为基于进入所述第一摄像元件的红外光的接收光强度来控制所述调整单元的所述白平衡调整；以及合成单元，其被配置为通过对应用了所述调整单元的所述白平衡调整的第一图像以及所述第二摄像元件所获得的第二图像进行合成来生成合成图像。

根据本发明的再一个方面，一种监视***，其包括经由网络彼此连接的摄像设备和客户端设备，其中，所述摄像设备包括：成像光学***，光分离单元，其被配置为将来自所述成像光学***的入射光分离成可见光分量和红外光分量，第一摄像元件，其被配置为基于所述可见光分量来生成可见光范围的图像，第二摄像元件，其被配置为基于所述红外光分量来生成红外光范围的图像，调整单元，其被配置为对所述第一摄像元件所获得的第一图像进行白平衡调整，控制单元，其被配置为基于进入所述第一摄像元件的红外光的接收光强度来控制所述调整单元的所述白平衡调整，以及合成单元，其被配置为通过对应用了所述调整单元的所述白平衡调整的第一图像以及所述第二摄像元件所获得的第二图像进行合成来生成合成图像，以及所述客户端设备接收所述摄像设备所获得的图像。

根据本发明的又一个方面，一种非暂时性计算机可读记录介质，其存储有程序，所述程序使计算机执行上述控制方法。

本发明抑制了可见光图像或通过对可见光图像和红外光图像进行合成所获得的合成图像中的颜色再现性的劣化。

通过以下(参考附图)对典型实施例的描述，本发明的其它特征将变得明显。

附图说明

并入说明书中并构成说明书一部分的附图示出发明的实施例，并且与说明书一起用于说明发明的原理。

图1是示例地示出根据第一实施例的摄像设备的结构的图；

图2是示例地示出波长选择棱镜的透射率/反射率特性的图；

图3A是用于说明在不存在红外照明的情况下进行的白平衡调整的图；

图3B是示出在不存在红外照明的情况下的白平衡调整之后的白色点位置的坐标平面；

图4A是用于说明在红外照明高的情况下进行的白平衡调整的图；

图4B是示出在红外照明高的情况下的白平衡调整之后的白色点位置的坐标平面；

图5A是用于说明根据第一实施例的白平衡调整的图；

图5B是示出根据第一实施例的白平衡调整之后的白色点位置的坐标平面；

图6是示例地示出在红外照明强度变化的情况下的可见光的信号电平变化的图；以及

图7是示出包括摄像设备的监视***的总体结构的框图。

具体实施方式

在下文中，将参考附图详细描述实施例。注意，以下实施例不旨在限制所要求保护的发明的范围。尽管实施例中描述了多个特征，但是并不对需要所有这些特征的发明构成限制，并且可以适当组合多个这些特征。此外，在附图中，相同或相似的结构被给予相同的附图标记，并且省略重复描述。

(第一实施例)

下文中将描述被配置为能够生成通过对可见光图像和红外光图像进行合成所获得的合成图像的摄像设备的示例，作为根据本发明的图像处理设备的第一实施例。

<设备结构>

图1是示例地示出根据第一实施例的摄像设备的结构的图。摄像设备100包括成像光学***101、光分离单元102、摄像元件(可见光)103、摄像元件(红外光)104、合成处理单元105、控制单元106、红外照明单元110和白平衡调整单元111。

光分离单元102将已经通过成像光学***101的入射光分量中的可见光分量引导至摄像元件103，并且将红外光分量引导至摄像元件104。更具体地，光分离单元102是由波长选择棱镜形成的。具有比特定阈值的波长更短的波长的光(可见光分量)透射通过波长选择棱镜，并且具有比特定阈值的波长更长的波长的光(红外光分量)被波长选择棱镜反射。注意，这种情况下的术语“透射/反射”表示大部分光(例如，80％以上)被透射/反射。此外，将特定阈值设置为例如落在600nm至750nm内的值。即，将可见光和红外光之间的边界设置为600nm至750nm。此外，红外光表示波长等于或小于2,500nm的光。通过上述结构，可见光将进入摄像元件103，并且红外光将进入摄像元件104。

图2是示例地示出透射率/反射率特性(光谱透射谱图/光谱反射谱图)的图。实线表示透射率，以及虚线表示反射率。如从图2可以理解，尽管通过波长选择棱镜的大部分红外光被反射，但是一些红外光束被透射。在传统摄像设备中该透射分量成为导致颜色再现性劣化的原因，然而稍后将描述详情。

摄像元件103具有针对至少可见光的感光度，并且摄像元件104具有针对至少红外光的感光度。例如，可以使用具有针对380nm至1,100nm的波长的光的感光度的摄像元件来作为摄像元件103和摄像元件104。因此，使用Si(硅)作为光电转换单元的材料的固态摄像元件可以被使用。

用于拍摄可见光的摄像元件103的各像素被安装有例如红色(R)滤色器、绿色(G)滤色器或蓝色(B)滤色器。例如，摄像元件103包括RGB拜耳阵列的片上(on-chip)滤色器。通过这种结构，摄像元件103的各像素被形成为用于检测与R分量、G分量和B分量其中之一相对应的波长区域的可见光的像素。在下文中，与R分量、G分量和B分量相对应的像素将分别被称为红色像素、绿色像素和蓝色像素。

通过上述结构，除了可以从通过摄像元件103获得的可见光图像107中获得亮度信息之外还可以获得颜色信息(即，R分量、G分量和B分量其中之一)。另一方面，可以从通过摄像元件104获得的红外光图像108中仅获得亮度信息。控制单元106控制摄像元件103和104各自的驱动和读出。

红外照明单元110是利用红外光对包括被摄体的摄像范围进行照射的光源，并且是例如由诸如AlGaAs等的化合物半导体制成的发光二极管。布置成使得可以改变来自红外照明单元110的发射光强度(发射强度)，并且由于被摄体的反射红外光随着强度的增加而增加，因此进入摄像元件104的红外光量增加。因此，可以通过利用红外光适当地照射被摄体来提高红外光图像108的S/N比。

例如，可以通过摄像环境等的光强度来确定来自红外照明单元110的发射光强度，并且通过控制单元106来控制该发射光强度。更具体地，可以进行控制使得来自红外照明单元110的发射光强度将随着摄像环境的光强度的降低而增加。可以在通过用于可见光的摄像元件103获得的可见光图像的各像素的信号电平低的情况下，或者在可见光强度传感器(未显示)的信号电平低的情况下，判断为摄像环境具有低光强度。

白平衡(WB)调整单元111是用于调整通过摄像元件103获得的可见光图像107的颜色的部件。尽管稍后将描述详情，根据第一实施例的摄像设备100被配置为：在通过白平衡调整单元111进行白平衡调整之前，将针对红色像素的信号电平的颜色增益和针对蓝色像素的信号电平的颜色增益相比较，并且相对地增加针对绿色像素的信号电平的颜色增益。这使得能够抑制颜色再现性的劣化。注意，尽管以下将描述在白平衡调整之前单独进行颜色增益调整的结构，但也可以与白平衡调整一起进行颜色增益调整。

合成处理单元105对白平衡调整后的可见光图像107和红外光图像108进行合成，以生成合成图像109。首先，对以拜耳阵列的RGB格式读出的可见光图像107进行去马赛克处理和显像处理，以将该图像转换成YUV格式图像。将Y1、U1和V1分别作为所获得的YUV格式可见光图像107的Y信号、U信号和V信号。以相同的方式，对红外光图像108进行显像并转换成YUV格式图像。在这种情况下，将Y2作为红外光图像108的Y信号。注意，由于红外光图像108不包括如上所述的颜色信息，因此U信号和V信号的值为零。

接着，对Y1信号和Y2信号进行合成以生成合成图像109。更具体地，将Y3、U3和V3分别作为合成图像109的Y信号、U信号和V信号，通过以下等式生成该合成图像109：

Y3＝α×Y1+(1-α)×Y2...(1)

U3＝U1...(2)

V3＝V1...(3)

其中，α是等于或大于0且等于或小于1的实数。如根据等式(1)可以理解，合成图像109将是随着α值的增大而更接近于可见光图像107的图像，并且合成图像109将是随着α值的减小而更接近于红外光图像108的图像。

如上所述，摄像设备100在诸如夜间等的低光强度时，通过由红外照明单元110对被摄体进行照射来提高红外光图像108的S/N比。因此，可以通过由合成处理单元105进行合成处理来生成具有S/N比优于可见光图像107的S/N比的颜色信息和亮度信息的合成图像109。

<图像处理的详情>

下文中将详细给出作为传统技术的问题的颜色再现性劣化的说明和作为针对该问题的解决方案的根据第一实施例的图像处理的说明。

首先，将描述在传统摄像设备中来自红外照明单元的发射光强度高的情况下合成图像和/或通过用于可见光的固态摄像元件所获得的可见光图像中的颜色再现性劣化的原因。注意，尽管传统摄像设备的结构与根据第一实施例的摄像设备的结构几乎相同，但是控制单元106的控制和白平衡调整单元111的调整的内容详情是不同的。

图3A和3B是用于说明在来自红外照明单元110的发射光强度为零的情况下进行的白平衡调整的图。另一方面，图4A和4B是用于说明在来自红外照明单元110的发射光强度高的情况下对白平衡调整的影响的图。特别地，图形300a和400a示例地示出摄像元件103(在白平衡调整单元111的白平衡调整之前)的红色信号电平、蓝色信号电平和绿色信号电平。图形300b和400b示例地示出在白平衡调整之后的红色信号电平、蓝色信号电平和绿色信号电平。此外，图3B和图4B各自示例地示出在白平衡调整后进行了YUV显像处理之后的UV平面上的白色点的位置。

首先，将参考图形300a描述来自红外照明单元110的发射光强度为零的情况。图形300a示出绿色像素的信号电平比红色像素的信号电平和蓝色像素的信号电平更高的示例。通常，根据人类观察者的光谱发光效率(spectral luminous efficiency)来设计用于可见光获得的固态摄像元件的感光度。更具体地，设计成使得：在可见光波长范围中，绿色像素的感光度将比红色像素的感光度和蓝色像素的感光度更高。因此，在白平衡调整之前，如图形300a所示，绿色像素的信号电平比红色像素的信号电平和蓝色像素的信号电平更高。

此外，进入红色像素、蓝色像素和绿色像素各自的光量根据环境光的色温而变化。由此，为了调整由于环境光的色温而导致的颜色平衡的变化，将搜索被包括在图像中的白色(包括灰色)被摄体。随后，如图形300b所示，将各颜色的像素信号乘以增益来使白色被摄体的红色像素的信号电平、绿色像素的信号电平和蓝色像素的信号电平一致。此时针对各颜色像素的信号电平的增益被称为白平衡增益。

通过进行白平衡调整以使各个像素的信号电平一致，如图3B所示，当进行YUV转换时，在白平衡调整后的图像中U信号的值和Y信号的值将变为零。即，无论环境光的色温如何，白色被摄体均可以被表现为白色图像。

另一方面，在来自红外照明单元110的发射光强度高的情况下，透射通过光分离单元102(波长选择棱镜)的一些红外光束将进入摄像元件103的像素。即，如参考图2所述，一些红外光束将透射并将进入摄像元件103。

在这种情况下，然而对于用于可见光获得的摄像元件103的各颜色像素，存在与针对可见光的感光度有关的要求，但不存在与针对红外光的感光度有关的要求。因此，可见光获得用的摄像元件103针对红外光的波长范围的感光度在红色像素、绿色像素和蓝色像素方面大约相同。

因此，在来自红外照明单元的一些发射光束混入到摄像元件103的像素中的情况下，获得如图形400a所示的状态。在图形400a中，阴影线部分示例地示出由于混入到像素中的红外光束而导致的分量。如从图形400a可以理解，在各个颜色的信号电平的比率方面，绿色像素的信号电平相对低，而红色像素的信号电平和蓝色像素的信号电平相对高。因此，如果直接使用在来自红外照明单元的发射光强度为零的情况下所获得的白平衡增益，则如图形400b所示，红色像素的信号电平和蓝色像素的信号电平将比绿色像素的信号电平更高。因此，如图4B所示，U信号和V信号将移动到正侧，并且在整个可见光图像中将发生品红色(***)方向上的颜色偏移。

如上所述，由于红外光图像108不包括颜色信息，因此在可见光图像107的颜色在品红色方向上偏移的情况下，在合成图像109中也将发生品红色方向上的颜色偏移。即，在合成处理后的合成图像109中，颜色再现性也将劣化。

因此，在根据第一实施例的摄像设备100中，在进行白平衡调整之前，通过在白平衡调整单元111中将针对红色像素和蓝色像素各自的增益设置得比针对绿色像素的增益更高，来抑制颜色再现性的劣化。

图5A是用于说明根据第一实施例的在来自红外照明单元110的发射光强度高的情况下进行的白平衡调整的图。图形500a示例地示出摄像元件103(在白平衡调整单元111的白平衡调整之前)的红色信号电平、蓝色信号电平和绿色信号电平。图形500c示例地示出在白平衡调整之后的红色信号电平、蓝色信号电平和绿色信号电平。此外，图5B示例地示出在白平衡调整后进行了YUV显像处理之后的UV平面上的白色点的位置。

在摄像设备100中，以与传统摄像设备相同的方式，来自红外照明单元的一些发射光束也将混入到摄像元件103的像素中。即，图形500a中所示的各个颜色像素的信号电平与图形400a中所示的各个颜色像素的信号电平相等，但与图形300a中所示的各个颜色像素的信号电平不同。

因此，在摄像设备100中，在白平衡调整之前，将绿色像素的信号电平乘以与红色像素的信号电平和蓝色像素的信号电平各自所乘的增益相比相对更高的颜色增益。图形500b示例地示出在图形500a中所示的各颜色像素的信号电平已经乘以相应颜色增益的情况下的红色信号电平、蓝色信号电平和绿色信号电平。随后，通过直接使用来自红外照明单元110的发射光强度为零的情况的白平衡增益，来对图形500b中所示的各个颜色像素的信号电平进行白平衡调整。作为该结构的结果，与图形400b相比，在图形500c中可以更好地抑制颜色像素的信号电平之间的差。结果，如通过参考图形500c和图5B可以理解，与传统摄像设备相比，可以抑制可见光图像中的品红色方向上的颜色偏移。即，还可以抑制合成处理后的合成图像109中的颜色再现性的劣化。

<白平衡调整之前的(针对各颜色的颜色增益的)电平调整的详情>

为了提高白平衡调整之后的颜色再现性(以使得白色点更接近于图5B中的原点)，在图形500a中，需要知道由于混入到像素中的红外光所导致的信号分量(将称为杂散光分量)的接收光强度。以下将描述用于估计杂散光分量的接收光强度的两个方法。

第一方法是如下方法：在根据经过的时间改变来自红外照明单元110的发射光强度的情况下，在多个不同时刻获得图像，以评价各个颜色像素的信号电平。

图6是示例地示出在来自红外照明单元110的发射光强度改变的情况下的可见光的信号电平的变化的图。图形600a示例地示出摄像元件103的红色信号电平、蓝色信号电平和绿色信号电平，并且图形600a与图形400a和图形500a相同。图形600b示例地示出在来自红外照明单元110的发射光强度相对于图形600a加倍的情况下获得的摄像元件103的红色信号电平、蓝色信号电平和绿色信号电平。

如参考图形600a和600b可以理解，在图形600b中，相对于图形600a，仅各杂散光分量改变。因此，可以通过从图形600b的各信号电平中减去图形600a的相应信号电平来估计杂散光分量。因此，通过减去从图形600a中所示的相应信号电平所获得的杂散光分量，可以获得图形600c中所示的排除了杂散光分量的相应颜色像素的信号电平。即，理论上，可以以与图形300a相同的方式获得各个颜色像素的信号电平。在获得了排除了杂散光分量的各颜色像素的信号电平的情况下，可以在白平衡调整之前将所获得的各信号电平乘以相应颜色增益，以使得可以以与图形600c的比率相同的比率再现红色像素、绿色像素和蓝色像素。

注意，尽管为了描述方便起见，在上述示例中发射光强度被加倍，但是获得彼此具有不同强度的两个任意不同类型的发射光束的信号电平就已足够。即，可以通过使用仅包含杂散光分量的相应信号电平来获得处于任意发射光束的强度的各信号电平，该杂散光分量是通过从处于第二发射光束的强度的相应信号电平(图形600b)中减去处于第一发射光束的强度的相应信号电平(图形600a)来获得的。

此外，如通过对图形600a和图形600b进行比较可以理解，优选的是，随着来自红外照明单元110的发射光强度的增加，使针对绿色像素的信号电平的颜色增益比针对红色像素的信号电平和蓝色像素的信号电平的颜色增益更高。

第二方法是使用来自红外照明单元110的发射光强度的空间分布的方法。通常，来自LED的发射光的分布在沿着LED的光轴的方向上最高，并且发射光强度随着与光轴的距离的增加而降低。因此，在红外照明单元110的光轴与摄像设备100在摄像方向上的中心(成像光学***101的光轴)一致的情况下，杂散光分量将随着摄像元件103的图像高度的增加而降低。

由此，通过在图像内获得具有不同图像高度的多个图像区域(像素位置)的信号电平，可以获得仅各自杂散光分量不同的多个信号电平。因此，通过以与参考图6所描述的第一方法相同的方式进行仅各自杂散光分量不同的多个信号电平之间的差计算，可以获得排除了相应杂散光分量的各颜色像素的信号电平。

注意，可以每当来自红外照明单元110的发射光强度改变时进行杂散光分量的估计，或者可以在安装摄像设备100时进行该估计并可以参考该数据。尽管在前者情况下杂散光分量估计精度将较高，但是由于需要图像获得来进行杂散光估计，因此将延长获得颜色再现性的劣化被抑制的图像所需要的时间。另一方面，尽管在后者情况下杂散光分量估计精度将较低，但是可以缩短获得颜色再现性的劣化被抑制的图像所需要的时间。

通常，基于三个因素(即，包括环境光的照明光的光谱分布、被摄体的光谱反射率和像素的光谱感光度)来确定信号电平。在这种情况下，如果假设了正在拍摄固定点的摄像设备，则白色被摄体(不为移动体)的位置将没有变化。因此，仅照明光的光谱分布将是时间上变化的因素。此外，在红外光的波长范围中，与环境光相比，来自红外照明单元110的发射光是更主导的。因此，杂散光分量的接收光强度将几乎不变，只要来自红外照明单元110的发射光没有变化即可。

由此，在为了监视目的等而将要对固定点进行拍摄的情况下，即使采用后者的结构(在安装摄像设备100时预先进行杂散光分量估计的结构)也可以以良好的精度和短时间来抑制颜色再现性的劣化。

如上所述，根据第一实施例，在白平衡调整之前调整针对各颜色的颜色增益。特别地，将针对绿色像素的颜色增益设置得比针对红色像素的颜色增益和针对蓝色像素的颜色增益更高。该结构可以抑制可见光图像在品红色方向上的颜色偏移。即，在合成处理后的合成图像中也可以抑制颜色再现性的劣化。注意，尽管以上描述了仿佛摄像设备100将总是生成合成图像109，但是可以设置用于输出可见光图像107或红外光图像108的操作模式。例如，可以布置成使得在可见光范围内存在足够的光强度的情况下将输出可见光图像107，并且在光强度已降低的情况下将输出合成图像109或仅红外光范围的红外光图像108。注意，可以布置成使得根据光强度的降低，顺次从可见光图像107到合成图像109以及从合成图像109到红外光图像108切换并输出图像。

(变型例)

如上所述，杂散光分量的接收光强度依赖于波长选择棱镜的特性(更具体地，红外光波长范围中的透射率)。因此，可以布置成使得在红外光波长范围中的透射率等于或大于预定因子(例如，1％或10％等)的情况下将进行上述颜色增益调整。注意，尽管已经描述了通过使用波长选择棱镜来将可见光和红外光相分离的结构，但是可以布置成使得通过使用分离的光学***来独立获取可见光和红外光。

注意，在来自红外照明单元110的发射光强度改变之后，可以自动搜索白色被摄体并且调整白平衡(所谓的自动白平衡(AWB))。然而，优选的是，在来自红外照明单元110的发射光强度发生改变的同时进行颜色增益调整。

即，如果布置成使得在来自红外照明单元110的发射光强度改变之后调整白平衡，则将需要重新进行用于白平衡调整的图像获得。因此，将需要更长的时间直到获得颜色再现性的劣化被抑制的图像为止。另一方面，通过在来自红外照明单元110的发射光强度发生改变的同时进行颜色增益调整，可以通过大约实时地跟随来自红外照明单元110的发射光强度的变化来精确地进行白平衡调整。

此外，在来自红外照明单元110的发射光强度过高的情况下，变得难以搜索白色被摄体，并且因此白平衡调整趋向于变得不足。这是因为在来自红外照明单元110的发射光强度高的情况下，白色被摄体中将强烈地发生品红色方向上的颜色偏移。在这种情况下，摄像设备100将把白色被摄体判断为品红色被摄体，并且因此白平衡调整量将变得不足。

注意，可以布置成使得将在来自红外照明单元110的发射光强度发生改变的同时进行使用颜色增益的第一颜色调整操作，并且使得将在照明光的强度改变之后(即，在应用第一颜色调整之后)进行第二颜色调整操作(自动白平衡调整)。在这样的结构的情况下，可以进行在颜色增益调整时粗略地调整白平衡、以及在照明光的强度实际改变之后更加精细地调整白平衡的两级调整。

与仅进行颜色增益调整的结构相比，在即使在颜色增益调整时未精确地获得杂散光分量的情况下也可以抑制颜色再现性的劣化这一点上，该两级调整是优选的。与仅进行自动白平衡调整的结构相比，在来自红外照明单元110的发射光强度高的情况下白色被摄体可以被正确地识别为白色被摄体的这一点上，该两级调整也是优选地。

当然，可以布置成使得用户将能够选择是使用通过杂散光分量估计的颜色增益调整还是自动白平衡调整。

(第二实施例)

第二实施例将描述作为包括监视设备和客户端设备的监视***所进行的实施例。

图7是示出包括摄像设备203的监视***的总体结构的框图。在这种情况下，摄像设备203是包括与根据第一实施例的摄像设备100的硬件结构相同的硬件结构(图1)的设备。然而，布置成使得通过由用户操作的客户端设备201来进行控制单元106所进行的一些控制操作。摄像设备203和客户端设备201经由网络202彼此通信连接。注意，尽管图7示出仅一个摄像设备203和一个客户端设备201，但可以布置成使得将使用多个摄像设备和多个客户端设备。

客户端设备201发送用于控制摄像设备203的各种类型的命令。基于从客户端设备201接收的命令，摄像设备203向客户端设备201发送与命令相对应的响应或拍摄的图像数据。可以由用户经由客户端设备201选择摄像设备203摄像所用的参数。

客户端设备201是例如诸如PC等的装置，并且网络202是由有线LAN或无线LAN等形成的。此外，可以布置成使得将经由网络202向摄像设备203的电源供电。

如上所述，根据第二实施例，由用户操作的客户端设备201被形成为与摄像设备203相分离。该结构将允许用户控制位于远程位置的摄像设备203。此外，还将允许用户集中地管理多个摄像设备203。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附的权利要求的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

Claims (17)

1.一种图像处理设备，包括：

获得单元，其被配置为获得由基于来自成像光学***的入射光生成可见范围图像的第一摄像元件所获得的第一图像；

估计单元，其被配置为估计进入所述第一摄像元件的红外光的强度；以及

控制单元，其被配置为基于进入所述第一摄像元件的红外光的估计的强度来控制对所述第一图像的白平衡调整。

2.根据权利要求1所述的图像处理设备，其中，所述第一图像是由红色像素、绿色像素和蓝色像素形成的，以及

所述控制单元进行控制，以通过随着红外光的估计的强度的增加而将所述第一图像中的针对所述绿色像素的颜色增益设置得高于针对所述红色像素的颜色增益和针对所述蓝色像素的颜色增益来进行所述白平衡调整。

3.根据权利要求2所述的图像处理设备，还包括：

照明单元，其被配置为向包括所述第一图像中所包括的被摄体的摄像范围发射红外光，

其中，所述估计单元基于从所述照明单元发射的红外光的发射强度来估计所述强度。

4.根据权利要求3所述的图像处理设备，其中，所述照明单元被配置为使得能够根据时间的经过来改变所述红外光的发射强度，以及

所述控制单元通过对所述第一摄像元件在所述照明单元的发射强度不同的多个时刻所获得的多个第一图像的信号电平进行比较，来确定针对所述绿色像素、所述红色像素和所述蓝色像素各自的颜色增益。

5.根据权利要求3所述的图像处理设备，其中，所述照明单元被配置为以针对所述摄像范围具有预定空间分布的发射强度来发射所述红外光，以及

所述控制单元通过对所述第一图像中的多个像素位置的信号电平进行比较，来确定所述绿色像素、所述红色像素和所述蓝色像素各自的颜色增益。

6.根据权利要求2所述的图像处理设备，其中，所述白平衡调整包括用于基于所述颜色增益进行调整的第一颜色调整以及用于搜索白色被摄体以调整所述第一颜色调整所调整的图像的白平衡的第二颜色调整。

7.根据权利要求1所述的图像处理设备，其中，所述第一摄像元件被配置为基于光分离单元所分离的可见光分量来生成所述可见范围图像，所述光分离单元被配置为将来自所述成像光学***的入射光分离成所述可见光分量和红外光分量,

所述获得单元被配置为还获得用于基于所述光分离单元所分离的红外光分量生成红外光范围的图像的第二摄像元件所获得的第二图像，以及

所述图像处理设备还包括合成单元，所述合成单元被配置为生成通过对应用了所述白平衡调整的第一图像以及第二图像进行合成所获得的合成图像。

8.一种图像处理设备的控制方法，所述控制方法包括：

获得由基于来自成像光学***的入射光生成可见范围图像的第一摄像元件所获得的第一图像；

估计进入所述第一摄像元件的红外光的强度；以及

基于在所述估计中所估计的强度来控制对所述第一图像的白平衡调整。

9.根据权利要求8所述的控制方法，其中，所述第一图像是由红色像素、绿色像素和蓝色像素形成的，以及

在所述控制中，进行控制，以通过随着所述强度的增加而将所述第一图像中的针对所述绿色像素的颜色增益设置得高于针对所述红色像素的颜色增益和针对所述蓝色像素的颜色增益来进行所述白平衡调整。

10.根据权利要求9所述的控制方法，还包括：

对照明单元进行照明控制，以向包括所述第一图像中所包括的被摄体的摄像范围发射所述红外光，

其中，在所述估计中基于从所述照明单元发射的红外光的发射强度来估计所述强度。

11.根据权利要求10所述的控制方法，其中，在所述照明控制中，进行控制以使得根据时间的经过来改变所述红外光的发射强度，以及

在所述控制中，通过对所述第一摄像元件在所述照明单元的发射强度不同的多个时刻所获得的多个第一图像的信号电平进行比较，来确定针对所述绿色像素、所述红色像素和所述蓝色像素各自的颜色增益。

12.一种摄像设备，包括：

成像光学***；

光分离单元，其被配置为将来自所述成像光学***的入射光分离成可见光分量和红外光分量；

第一摄像元件，其被配置为基于所述可见光分量来生成可见光范围的图像；

第二摄像元件，其被配置为基于所述红外光分量来生成红外光范围的图像；

调整单元，其被配置为对所述第一摄像元件所获得的第一图像进行白平衡调整；

控制单元，其被配置为基于进入所述第一摄像元件的红外光的强度来控制所述调整单元的所述白平衡调整；以及

合成单元，其被配置为通过对应用了所述调整单元的所述白平衡调整的第一图像以及所述第二摄像元件所获得的第二图像进行合成来生成合成图像。

13.根据权利要求12所述的摄像设备，其中，所述第一图像是由红色像素、绿色像素和蓝色像素形成的，以及

所述控制单元进行控制，以通过随着所述强度的增加而将所述第一图像中的针对所述绿色像素的颜色增益设置得高于针对所述红色像素的颜色增益和针对所述蓝色像素的颜色增益来进行所述白平衡调整。

14.根据权利要求13所述的摄像设备，还包括：

照明单元，其被配置为向包括所述第一图像中所包括的被摄体的摄像范围发射所述红外光，

其中，所述控制单元基于从所述照明单元发射的红外光的发射强度来估计所述强度。

15.根据权利要求14所述的摄像设备，其中，所述照明单元被配置为能够根据时间的经过来改变所述红外光的发射强度，以及

所述控制单元通过对所述第一摄像元件在所述照明单元的发射强度不同的多个时刻所获得的多个第一图像的信号电平进行比较，来确定针对所述绿色像素、所述红色像素和所述蓝色像素各自的颜色增益。

16.一种监视***，其包括经由网络彼此连接的摄像设备和客户端设备，

其中，所述摄像设备包括：

成像光学***，

光分离单元，其被配置为将来自所述成像光学***的入射光分离成可见光分量和红外光分量，

第一摄像元件，其被配置为基于所述可见光分量来生成可见光范围的图像，

第二摄像元件，其被配置为基于所述红外光分量来生成红外光范围的图像，

调整单元，其被配置为对所述第一摄像元件所获得的第一图像进行白平衡调整，

控制单元，其被配置为基于进入所述第一摄像元件的红外光的强度来控制所述调整单元的所述白平衡调整，以及

合成单元，其被配置为通过对应用了所述调整单元的所述白平衡调整的第一图像以及所述第二摄像元件所获得的第二图像进行合成来生成合成图像，以及

所述客户端设备接收所述摄像设备所获得的图像。

17.一种非暂时性计算机可读记录介质，其存储有程序，所述程序使计算机用作图像处理设备，所述图像处理设备包括：

获得单元，其被配置为获得由基于来自成像光学***的入射光生成可见范围图像的第一摄像元件所获得的第一图像；

估计单元，其被配置为估计进入所述第一摄像元件的红外光的强度；以及

控制单元，其被配置为基于由所述估计单元估计的强度来控制对所述第一图像的白平衡调整。

Images