CN101272505A - 摄像装置以及摄像方法 - Google Patents

Abstract

本发明涉及摄像装置，尤其是进行白色平衡控制的摄像装置和方法。本发明以减少发生肤色变得极端苍白或偏红等色彩故障为目的，提出以下处理流程方案。S1：读取图像的指定部分或者全部的R、G、B信号积分值。S2：计算WB评价值R/G增益和B/G增益。S3：将得到的WB评价值在以R/G和B/G为轴的色彩空间上打点进行白色检测。S4：根据白色检测判断光源种类，求出WB补偿值的平均，计算并决定一个画面的AWB计算增益。S5：取得检测到的脸区域在色彩空间上的WB评价值。S6：从脸区域的WB评价值中求出的脸计算增益并取代S4中的AWB计算增益，进行脸检测补偿。

Description

摄像装置以及摄像方法

技术领域

本发明涉及数码照相机等摄像装置，尤其涉及实行自动白色平衡控制的摄像装置以及摄像方法。

背景技术

以往，在录像摄影机、VTR一体型摄影机、以及电子静像摄像机等的摄像装置，者移动终端附属摄像装置中，为了在彩色摄像时稳定地重现色彩，进行自动白色平衡(以下称为AWB)处理，用以在纪录图像上重现被摄体中的人体上呈白色的部分。

通常，实现AWB的控制方法为，从被摄体中抽取白色部分即无色彩部分，根据抽取区域的色彩信息计算WB补偿值。比如，对一个以16×16等分分割成256个区域的画面，计算各个区域中的R、G、B信号积分值，然后求得每个该分割区域中R、B信号积分值与G信号积分值的比R/G、B/G。

其次，将求出的256个积分值的比，在以R/G为横轴、B/G为纵轴的色彩空间即白色平衡空间上打点，根据这些积分值的比的分布进行白色检测。为了进行白色检测，预先作好把色彩空间上在改变光源的色温，例如太阳光或钨丝灯光等光源的色温时的黑体辐射轨迹作为参考增益的准备，将打点的256个控制值对照该参考增益，由此可以实现各种光源下的白色检测。

根据该白色检测判断被摄体中的光源种类，相对判断得到的光源，将白色平衡增益(WB补偿值)与各个像素相乘，使得R、G、B信号的积分值的比成为R∶G∶B＝1∶1∶1，实现白色平衡(WB)补偿。该方法是基于人的色彩适应原理，即基于所谓色彩适应的假设，也就是说，即便在不同的光源照射下，白色的东西总是被看成白色。

因此，所谓AWB，即为在将整体为白色的画面作为基准被摄体进行拍摄时，能够实现将摄像信号的R信号、G信号、B信号调整到相等输出水平的调整动作。为了使R信号、G信号、B信号的输出水平相等，对R信号、G信号、B信号分别乘以系数，该系数即为白色平衡系数，也称之为白色平衡增益。

但是，这种方法存在如下缺点，即在被摄体中不存在无色彩部分，或者被摄体几乎被有色彩部分即物体色彩所占据的情况下，不能进行白色检测，或者白色检测精度降低，其结果为导致进行错误的白色平衡控制。在可以具体例举出这样的问题，在高色温的光源下由于人的肤色亮度增强，发生了误将人的肌肤色彩判断为低色温光源下的白色即无色彩，从而将人的肌肤补偿成显得苍白。还有，比如在像森林那样以绿色所占比例较大的场合下，会发生误将光源判断为日光灯的误判。

如此错误的白色平衡控制被称为色彩故障(color failure)。以下例举出能够减轻色彩故障的白色平衡控制的例子。

在专利文献1即特开2004-64676号公报中，公开了一种即使在电子变焦摄像时也着意进行适当控制白色平衡的摄像装置，该摄像装置根据以摄像装置拍摄的摄像元件上的区域和变焦区域的选择装置所选择的变焦显示区域，抽取用于白色平衡控制的特征。

在专利文献2即特开2004-312139号公报中，公开了一种着意解决误将在高色温下拍摄的肤色判断为低色温下的白色，从而使人的肤色变得偏白的问题的摄像装置。专利文献2公开的摄像装置在拍摄画面内，由操作者选择人的肤色，并在所选择的检测框内进行色彩评价，用以设定白色平衡。这样，即便未能进行白色检测即AWB可靠性较低时，根据该专利文献2，也能够比如，只要知道被选择的检测框为肤色，就能通过利用该检测区域内的色彩信息，设定以肤色为目标即重现肤色的白色平衡，具有防止人的肤色变得苍白的效果。

专利文献4即特开2006-211416号公报公开了对人物等主要被摄体的形状或位置作适当加重的测光或测色的技术，专利文献5即特开2006-203393号公报描述了，当画面内的各个存在有色彩部分或者画块中RGB值不一致时，可以通过稳定调整白色平衡来进行白色平衡调整的技术。

但是，对于上述专利文献1公开的以往摄像装置，当整个画面中不存在白色即无色彩时，不能进行上述白色抽取，因而依然存在不能适当设定白色平衡的问题。此外还存在发生色彩故障的问题，比如在肖像模式等以人物为主要被摄体，尤其是在进行电子变焦使得整个画面都存在人的肌肤那样的情况下，会发生将人的肌肤误认为低色温方面的白色，从而把肌肤颜色拍摄得泛白，其结果造成人的肌肤显得苍白。

在专利文献2中，操作者必须用某种方法指定肌肤颜色部分，而如果每次摄像都要进行这样的操作则会失去按快门的时机。

此外，在通过白色平衡减轻肌肤颜色的色彩故障这一点上，虽然专利文献2的目的与本发明的目的相类似，但本发明是利用检测到的脸区域的色彩信息来减轻发生人的肌肤变得偏红或偏蓝之类的色彩故障，与判断或误判肌肤色彩的概念无关。因此，在减轻色彩故障所采用的原理和方法上，本发明不同于专利文献2。

专利文献3即特开2005-176272号公报公开了根据摄像状态选择图像数据存储方式的摄像方法以及摄像装置，例如专利文献3中例举了根据白色平衡处理的可靠性选择图像数据的存储方式。也就是说，当AWB的可靠程度较低时，除了RAW数据以外，还可以选择与RAW不同格式的数据，比如以JPEG(Joint Photographic Experts Group)格式存储。

在专利文献4中，实行抽出人物等主要被摄体的形状作为用于进行主要被摄体的测光/测色的区域，以及分别对于每个分割区域算出的测定值决定加重系数。例如对16×16的分割区域，通过利用脸等主要被摄体的形状位置信息，决定相对于各个分割区域中的加重区域。

进而，决定相对于各个加重区域的加重系数，计算附加加重系数的评定值作为AE·AWB计算的评定值。

以上为重点附加主要被摄体评定值的AE·AWB控制。按照以上所述，需要对于主要被摄体进行加重，或者有考虑检测到的主要被摄体的头发区域、肌肤区域、***区域等加重区域。

专利文献5在用于确定光源的白色检测中，针对以16×16等分割画面的各个画块，从构成一个画块的像素群中检测特征像素，通过比较该特征像素中得到的色差与代表画块的色差，检查代表画块的色差是否反映了输入图像的光源，用以减少色彩故障。

当画块内部同时存在无色彩部分和有色彩部分时，上述方法被认为是有效于减少色彩故障的方法。但当画块内部只存在有色彩部分时，就难以对代表值的色差和特征像素的色差作比较。此外，出于光源的影响会发生误将有色彩判断为无色彩，这样就无法解决色彩故障的问题。

另外还有以下技术。出于操作者的期望获得艺术效果意图，故意将设定偏离白色平衡等等。在这种情况下，对于白色平衡处理等图像处理加工之前的RAW数据，即对来自CCD的信号输出进行了A/D变换以后的原始数据进行最小限度的图像处理，并且将该数据进行存储，然后按照个人嗜好的图像处理参数，包括白色平衡，用PC等将RAW数据再现图像。

但是，对于保存RAW数据地方法，可以列举出下述的几个问题。

1)与JPEG数据相比，RAW数据容量大，因此需要大容量存储装置。

2)必须具备再现RAW数据图像的装置。利用RAW数据其本来的目的是在于实现操作者所嗜好的具体图像设定，但可以断定目前还不存在支持RAW数据显像功能并有望达到上述目的的的照相机。因此，从根本上来说必须用计算机应用程序等专门的再现图像的软件，在设定了操作者所期望的具体的画质参数的基础上进行显现处理。

3)必须具有高度的有关再现图像的专业知识。

因此，以上所述的摄影装置，对于轻松享受的用户，或者还未习惯于操作的操作者来说，其功能的难度较高。

本发明意在解决上述以往技术的问题，并以提供能够实现减少色彩故障的白色平衡控制的摄像装置和摄像方法为目的。即，即使在采用以往技术会使人的肌肤显得苍白或者偏红的那样的光源照射下，本发明也不会致使人的肌肤显得极端苍白或者偏红。

发明内容

为了达到上述目的，本发明提供以下摄像装置和摄像方法。

(1)一种摄像装置，具有：摄像单元，将光学成像变换成电图像信号；色彩信号抽取单元，根据所述图像信号的色彩信息，抽取用于白色平衡控制的色彩信号并在色彩空间上展开；色彩信号选择单元，在色彩空间上选择色彩信号；以及白色平衡控制单元，用根据色彩空间上的色彩信号算出的补偿值进行白色平衡控制，其特征为，具备脸检测单元，从图像信号中检测人物脸区域的位置，选择对应于检测到的脸区域抽取的色彩空间上的色彩信号，根据从选择了的色彩信号中算出的计算值，改变用于进行白色平衡控制而算出的补偿值。该摄像装置能够减少脸色变得苍白或者太红的色彩故障。

(2)根据(1)所述的摄像装置，其特征为，色彩信号抽取单元在抽取了色彩信号的一个画面的分割区域上，从色彩信号的R、G、B信号中分别求出各个分割区域的积分值，算出每个区域的R与G之比R/G以及B与G之比B/G；或者，在以R/G和B/G为轴并且展开了色彩信号抽取单元所抽取的色彩信号的色彩空间上，改变用于进行所述白色平衡控制而算出的补偿值，使得该补偿值与从对应检测到的脸区域所选择的色彩信号中算出的计算值之间的距离在规定范围以内；或者，在以R/G和B/G为轴并且展开了色彩信号抽取单元所抽取的色彩信号的色彩空间上，对于用于进行所述白色平衡控制而算出的补偿值与从对应于检测到的脸区域所选择的色彩信号中算出的计算值之间用直线连接的距离，以规定的比率进行外插或者内插，将补偿值改变为该外插或者内插的位置。这样，可将色彩空间上的补偿值与计算值之间的距离控制在规定范围以内，从而在某种程度上保留了脸区域的色调感觉，而且，通过以规定比率对以直线连接的补偿值与计算值之间的距离进行外插或者内插，可以简单地在二元空间上求取计算值，根据该计算值改变补偿值，很少发生严重失去白色平衡，减少了脸色变得苍白或偏红的色彩故障。

(3)根据(2)所述摄像装置，其特征为，脸检测单元以规定大小检测大的脸区域；或者，当脸检测单元检测到多个脸区域时，从对应于各个脸区域选择的色彩信号中算出计算值，并求出该计算值的平均，根据求出平均的计算值改变用于进行白色平衡控制而算出的补偿值；或者，具有主要被摄体决定单元，从脸检测单元检测到的多个脸区域中决定主要被摄体，并根据从对应于已定的主要被摄体的脸区域选择的色彩信号中算出的计算值，改变为进行白色平衡控制而算出的补偿值；进而，主要被摄体决定单元根据预先在摄像装置中作了登录的的脸区域数据决定主要被摄体。这样，根据以上所述，当脸区域相对图像整体较小时，可以使图像整体的补偿优先于脸的补偿，通过使用检测到的多个脸区域的各个计算值的平均，对所有的脸区域设定相对优选的补偿值，进而，选择主要被摄体，对优先被摄体设定优选补偿值，随之，根据识别人脸的脸区域数据，在可能进行识别的情况下作为主要被摄体，设定优选补偿值。

(4)一种摄像方法，包括将光学成像转换为电图像信号的处理、根据图像信号的色彩信息抽取用于白色平衡控制的色彩信号并将该色彩信号在色彩空间上进行展开的处理、从色彩空间上选择色彩信号的处理、以及为了进行白色平衡控制，求出根据所述色彩空间上的所述色彩信号算出补偿值的处理，其特征为，还包括从所述图像信号中检测人物脸区域的位置的处理，选择对应于检测到的脸区域抽取的色彩空间上的色彩信号，根据从所选择的色彩信号中算出的计算值，改变用于进行所述白色平衡控制而算出的补偿值，进而根据改变了的补偿值进行白色平衡控制。这样可以减少脸色变得苍白或者偏红的色彩故障。

本发明具有以下效果，即，通过利用脸区域的色彩信号，即使处于会使人的肌肤显得苍白或偏红的光源照射下，也能够通过白色平衡控制，减少脸色变成苍白或偏红的色彩故障的。

附图说明

图1显示了本发明实施方式的数码照相机外观，A为上视图、B为正视图、C为后视图。

图2是显示本实施方式的数码照相机内部的功能模块的概略结构示意图。

图3是本实施方式的WB控制方法流程图。

图4是例举在色彩空间上打点本实施方式的分割区域的WB评价值的分布图。

图5是在色彩空间上打点本实施方式的脸区域WB评价值、脸计算增益以及AWB计算增益的图。

图6是用于说明本实施方式在色彩空间上的脸计算增益和AWB计算增益之间距离的示意图。

图7是显示本实施方式在将脸色补偿呈苍白时色彩空间上的脸计算增益和AWB计算增益的图。

图8是例举了本实施方式在将脸色补偿成偏红时在色彩空间上通过脸计算增益补偿AWB计算增益的示意图。

图9是本实施方式的脸检测补偿的概略示意图。

图10是用以说明本实施方式在沿着黑体辐射轨迹进行脸检测补偿的范围的示意图。

具体实施方式

以下，参考附图对本发明的实施方式进行详细说明。

图1显示了本发明实施方式的摄像***即数码照相机的外观，A为上视图、B为正视图、C为后视图。在图1A、B、C中，相机机身的上部设有释放开关(即所谓快门按钮)SW1、模式盘SW2、以及副LCD即副液晶显示器1。相机机身正面设有闪光灯发光部3、测距组件5、以及遥控器受光部6。此外，光学取景器4的对物面位于该相机机身的正面，镜筒组件7的对物面也朝正面设置。镜筒组件7内含摄像镜头。

相机机身背面设有电源开关SW13、LCD监视器10、AF LED即自动聚焦发光二极管8、闪光灯LED 9、广角方向聚焦按钮SW3、望远方向聚焦按钮SW4、自拍定时器/取消按钮SW5、菜单按钮SW6、上移动·闪光灯按钮SW7、右移动按钮SW8、显示器开关SW9、下移动·微距按钮SW10、左移动·图像核实按钮SW11、以及实行按钮SW12。

光学取景器4的主要部分被收藏于相机机身内部，但其目视表面被设置在相机的背面部分上。在相机机身侧部设有存储卡/电池仓盖2。因这些部分的一般功能已广为所知，所以在此省略对其详细说明。

另外，本发明的摄像装置外观并不一定局限于图1A、B、C所示的外观，也可以具有其他外观。在本实施方式中虽然采用数码静像照相机的摄像模式即摄像***作为图像输入装置，但并不局限于这样的摄像***，也可以手提式扫描器+PAD等具有图像输入装置和图像处理装置以及显示装置的图像处理***。

图2为本发明实施方式的数码照相机内部功能模块结构的概略示意图。在图2中，对于操作上述图1所示机械部件的电路元件采用同样的符号表示。本实施方式的摄像装置具备：目镜组件71，用于对被摄体的光学图像进行集光；光圈部72，用于对通过镜头组件71集光的光束进行收缩聚焦；马达驱动器75，用于移动未图示的多个透镜来核准焦点，或者驱动光圈部72，或者驱动未图示的机械快门；CCD(Charge Coupled Device，电荷耦合元件)101，输入通过镜头组件71和光圈部72的光学图像并将该光学图像变换为模拟图像信号。

CCD101将被摄体像转换成图像信号输出到F/E-IC(前置回路-集成电路)102中。F/E-IC 102具备：CDS(Correlated Double Sampling，相关二重取样)1021，从来自CCD101的图像信号中取样减小杂质信号；AGC(自动增益控制)1022，调整CDS1021的输出增益；A/D变换器1023，将AGC1022输出的模拟图像信号变换成数字图像信号；TG(时间信号发生器)1024，发生时间信号用以指示A/D变换器1023的动作时机。

本实施方式的摄像装置还具备：SDRAM103即图像纪录装置，记录拍摄图像和存储经过图像处理的图像如JPEG压缩数据或者显示用的数据等；信号处理IC104，根据输入的图像信号以及图像参数进行图像处理；操作部105，具备用户操作本装置用的按钮，如图1所示的释放开关SW1等；ROM106，用于存放控制下述CPU1043的控制程序或者数据；存储卡107，用于存放由下述压缩扩张部1045压缩的图像数据。还具有LCD显示器(参见图1C)10，用于显示通过下述显示输出控制部1046的图像数据。

信号处理IC104具备：CCD接口部(I/F)1041，在向CCD101输出同期信号的同时，取得与同期信号相应的图像数据；存储控制器1042，向SDRAM103传送图像数据；CPU1043，按照ROM106中存放的控制程序对本装置进行总体控制或者抽取色彩信息等；YUV变换部(数据形式变换装置)1044，将输入的图像数据变换成可以显示或者可以存储的YUV的数据格式；压缩扩张部1045，对经过信号处理IC104处理的图像数据进行压缩，或者扩张恢复到原图像数据大小。

此外，还具备：显示输出控制部1046，控制来自于信号处理IC104的显示输出，并将其输出到内藏于本装置中的LCD中；图像大小处理部1047，根据显示或者存储的容量大小改变图像文件大小；存储媒介I/F(接口部)1048，以JEPG存储时控制压缩扩张部1045中的数据压缩处理，或者写入图像数据存储卡107的写入处理。

以下，对本实施方式的数码照相机的基本动作进行说明。经过镜筒组件7中的镜头组件71和光圈部72后在CCD101受光的被摄体图像，由CDS1021进行相关二重取样消除图像杂质信号后，由AGC1022调整增益，进而通过A/D变换器1023变换成数字映像信号输入信号处理IC104。在信号处理IC104中，CCDI/F1041向CCD101输出同期信号，并同时取得与同期信号相应的图像数据。

存储控制器1042向SDRAM103传输需要保存的图像数据。CPU1043按照ROM106中存放的控制程序对本装置作总体控制。YUV变换部1044在CPU1043的控制下，将输入的图像数据变换成可以进行显示和记录的YUV数据格式。压缩扩张部1045经控制器1042接受经过信号处理IC104处理的图像数据，并将其扩张恢复到原图像文件大小后，送回存储控制器1042。

显示输出控制部1046经存储控制器1042接受来自信号处理IC104的显示输出并显示在LCD显示器10上。图像大小处理部1047经存储控制器1042取得图像数据，按照显示或存储的容量大小改变图像文件的大小。存储媒介I/F1048经存储控制器1042取得图像数据，并将该图像数据写入存储卡107，或者进一步从存储卡107中读取图像数据，进而，在以JPEG保存时控制压缩扩张部1045中的数据压缩处理。

另外，在SDRAM103中具备用于暂时保存图像数据和JPEG压缩数据的存储器、和保持显示用的数据的存储器、以及CPU1043使用的RAM。

以下，以拍摄静止画为例，对本实施方式的数码照相机具有的特征动作进行详细说明。

当按下释放开关SW1的按钮时，AF功能先于拍摄开始动作。这样，比如可以一边移动聚焦镜一边进行寻找最大对比度的登山AF处理等，将焦点对准被摄体。

上述处理是利用映像信号G信号或者辉度值Y信号中的高频成份作出AF评价，算出该AF评价值为最大时的聚焦镜位置，然后移动聚焦镜的处理。关于获得AF评价值的区域，具有对被摄体考虑多个区域的多区域AF，或者只考虑一部分区域的点区域AF等等。根据AF评价值，算出适合于拍摄画面的焦点位置，将聚焦镜移到该点上。聚焦镜可以根据CPU1043的指令，用镜头组件71的马达驱动器75使其移动。

接着，进行静止画用的电子快门设定、AGC1022的计算/设定、以及聚焦部72的计算/设定，而后进行AE(Auto Exposure)处理和记录用的曝光。电子快门设定和AGC1022设定可以按照来自CPU1043的指令，通过控制CCD101驱动的TG1024和F/E-IC102分别进行。当用于静止画的曝光结束时，机械快门关闭，由CCD101输出静止画用的RAW数据。配有释放第一处理即半按，和释放第二处理即全按的摄像***，一般在释放第一处理时控制执行AF或AE的计算，在释放第二处理时控制执行记录用的曝光。

静止画用的RAW数据经信号处理IC104被收入SDRAM103中。在信号处理IC104中对该RAW数据进行黑色水平补偿、缺陷画素补偿、以及色彩浓淡补偿等图像处理，而后以RAW数据格式写入SDRAM103中。如果是交错传送，则通过多次传送将CCD的输出数据以RAW数据格式写入SDRAM103中。

写入SDRAM103中的所有RAW数据，再次通过信号处理IC104，经WB增益乘法计算、伽马补偿、以及RGB补间处理，而后在YUV变换部1044进行轮廓强调、色彩设定等各种图像处理，与此同时被变换成辉度/色差信号的YUV数据格式，返回SDRAM103中。关于本发明涉及的白色平衡控制，在后篇作详细叙述。

变换成YUV格式的数据文件为全尺寸即CCD尺寸，如果图像需要以小于CCD尺寸的大小进行记录，则通过信号处理IC104的图像大小处理部1047缩小图像文件。经过图像大小处理部1047处理的准备用于纪录的YUV图像文件，在压缩扩张部1045按照规定的格式进行压缩处理，比如，进行JEPG压缩处理。经JPEG压缩后的压缩文件返回SDRAM103，在进行了追加前注等处理后经存储控制器1042保存到存储卡107等记录媒体中。以上是拍摄静止画的一般处理。

其次，参考附图对本实施方式中的白色平衡(WB)控制进行说明。图3为显示本实施方式中WB控制方法的流程图。在图3所示流程图中，至算出AWB补偿值(AWB计算增益)为止的处理即是以往AWB控制的基本动作即算法。

首先对该基本动作作简单说明。

处理S1：经图2所示的镜头组件71，被摄体像入射到CCD101。CCD101将被摄体像转换成电信号即模拟图像数据后，输出R、G、B信号的模拟图像数据。该模拟图像数据通过A/D转换器1023将色彩信息的R、G、B信号转换成数字图像信号。经转换的数字图像数据保存在未图示的帧存储器中。此时，信号处理IC104读取在取得数字图像数据时在CCD-I/F1041中算出的指定部分或者图像所有的R、G、B信号的各个积分值。

处理S2：控制部CPU1043读取该R、G、B信号的积分值，检测特征并计算能够形成适当的白色平衡的WB评价值即R/G增益和B/G增益。

例如，在处理S1中，将一个画面以16×16分割形成256个区域，对每个分割区域分别计算R、G、B信号的积分值，通过处理S2计算该每个分割区域中R信号积分值以及B信号积分值与G信号积分值之比，即R/G增益和B/G增益。

处理S3：在上述的基础上，从被摄体中抽取白色部分即无色彩部分作为检测到的特征，从抽取区域的色彩信息中计算AWB评价值即色彩信号。也就是说，将求出的256个积分值的比即WB评价值，在以R/G和B/G为轴的色彩空间上打点，从该分布中进行白色检测。进行白色检测需要预先准备好把在色彩空间上改变光源即太阳光或钨丝灯光的色温时的黑体辐射轨迹作为参考增益，然后将256个控制值对照该参考增益，实现在各种光源下的白色检测。

处理S4：通过白色检测判断被摄体的光源种类，获得相对于所判断的光源，R、G、B信号的积分比成为R∶G∶B＝1∶1∶1的WB增益即WB补偿值，将该WB增益分别与各个画素相乘，由此实现WB补偿。根据这样求得的WB补偿值的平均计算并决定整个画面的AWB补偿值即AWB计算增益。另外，在YUV变换部1044中将R、G、B信号数据变换成辉度Y和色差Cb、Cr数据并输出到帧存储器中。在进行该图像变换时，由CPU1043对YUV变换部1044设定AWB补偿值。

处理S5：如同上述处理S1至S3，对于从图像信号中检测到的一个画面中的人物的脸区域求出色彩空间上的WB评价值。关于求取检测脸区域的WB评价值的方法，可以根据脸区域的检测处理，比如以左上、有上、左下、右下4点坐标表示脸区域，以该4点坐标映射到上述16×16块区上，从该区域的R、G、B信号积分值中计算得到WB评价值。

处理S6：从所述脸区域WB评价值的平均得到的计算值中算出脸计算增益，改变在处理S4中得到的AWB计算增益，进行补偿，即脸检出补偿。此外，上述脸区域的WB评价值根据脸区域的大小而不同，至少在1以上。

根据检测到的脸区域与用于获得WB评价值的分割区域之间的大小差别，判断是否需要取得脸区域中的WB评价值，这样可以在考虑补偿效果的基础上进行处理。即，当脸区域较小时，没有必要对脸区域进行补偿处理，因而不将脸区域作为补偿对象而采用一个画面的AWB补偿值。

此外，有关脸区域的检测方法，公知技术中提出了各种算法(algorithm)方案。本发明虽然不指定采用何种方法，但在检测到的脸区域中，由于包含在所述左上、右上、左下、右下4点坐标中的脸上的眼睛、嘴巴，与脸的肌肤在色调感觉上不同，因而取得WB评价值的脸区域范围较小。

还有，在根据脸区域检测方法检测到的多个脸区域中，不仅可以自动地将最大的脸区域或者位于一个画面中心附近的的脸区域作为主要被摄体进行处理，而且可以根据由操作部任意选择决定的装置决定主要被摄体来进行处理。另外，还可以应用脸区域检测相关技术，从一个画面中指定已作了登录的人物，即认证技术，通过登录所检测到的人物的脸区域信息即特征，用特征数据指定在先登录的人物，并仅对该人物进行处理。

图4显示了在本实施方式中将一个画面分割成256个区域后，在以R/G和B/G为轴的色彩空间上打点每个区域的WB评价值即R/G增益和B/G增益所得分布图的一个例子。

信号处理IC104根据各个分割区域的WB评价值分布来判断摄像时的光源。光源判断是通过利用无色彩部分的WB评价值在黑体辐射轨迹上的分布实现的。例如，图4的示例中，在(R/G，B/G)＝(1.2，0.6)附近的黑体辐射轨迹曲线上分布的WB评价值较多，因此可以推测光源是蓝色光源。而后，对R以1.2倍补偿相乘、B以0.6倍补偿相乘，用于作为YUV变换部1044的WB补偿，使该区域的信号数据成为灰色，这样白色平衡得以调整到接近人的视觉。

此外，出于CCD101的分光感度分布，即使是相同的照明、相同的被摄体、WB评价值也会不同，为此需要决定配合CCD101的WB评价值的参考。在实际的摄像装置中，出于减少色彩故障或者迎合用户嗜好进行色彩加工的目的，AWB补偿值是将WB的算法经种种处理后才作出最终决定的。还可以采纳根据数码相机具有的诸如室内、室外、以及闪光拍摄等各种摄像条件的预先设定的设定值来决定AWB补偿值。

对于WB控制中发生色彩故障造成人的肤色变得苍白或偏红的条件，可以用脸区域的WB评价值与最终设定的WB补偿值之间的关系来进行说明。也就是说，在脸区域的WB评价值的R/G增益和B/G增益与最终设定的AWB补偿值的R/G增益和B/G增益的两者之间，如果不存在差，脸色会变白即变得苍白，相反，如果存在较大的差，则脸色偏红或者偏蓝。

对此，本发明实行如下控制。即，对取决于脸区域WB评价值的脸计算增益，与取决于求取AWB补偿值算法的AWB计算增益之间的关系进行比较，以脸计算增益来补偿AWB计算增益，由此最终设定AWB补偿值。

图5是在以R/G和B/G为轴的色彩空间上，将检测到的脸区域的WB评价值，和根据求取AWB补偿值的算法所决定的AWB计算增益打点的图。在图5所示的例中，由脸区域WB评价值决定的脸计算增益为(R/G，B/G)＝(0.4，1.2)，AWB计算增益为(0.9，0.9)。

图6为相对图5考虑色彩空间上脸区域的脸计算增值和AWB计算增值之间间隔的图。出于方便本实施方式中简称该间隔为距离。图6中色彩空间上的脸计算增值与AWB计算增值之间的直线近似距离x，通过下式(1)计算，

$x=\sqrt{{(0.4-0.9)}^2+{(1.2-0.9)}^2}$ 式(1)

由此得到x为0.5283。

图7是将脸色补偿成苍白时的例子，图中显示了此时色彩空间上的脸计算增益以及AWB计算增益。由于0.2小于上述脸区域的脸计算增益与AWB计算增益之间的距离x，因此采用AWB计算增益作为AWB补偿值会使得脸色变得苍白。图8是将脸色补偿成偏红时的例子，该图中显示了此时色彩空间上的脸计算增益以及AWB计算增益。

参考图8，举例说明用脸计算增益补偿AWB计算增益，使得脸区域的色彩不会变得偏红。如图8所示，色彩空间上以直线近似的距离为1.0大于上述脸区域的脸计算增益与AWB计算增益之间的距离x，为此，如果将AWB计算增益作为最终AWB补偿值会使得脸色偏红。另一方面，如果补偿后的距离为0.7，该差值可以减少脸色偏红。

下面，对本实施方式中AWB补偿值的补偿方法进行说明。

图9为脸检测补偿思想方法的概略示意图。在图9中，圆心为脸计算增益，十字形标记的点为AWB计算增益，星形标记点分别为相对AWB计算增值应用脸检测补偿所得到的AWB计算增益。脸区域色彩再现性的优选条件是，脸计算增益与AWB计算增益之间距离为0.4至0.8，具体的下限范围为0.4至0.6，上限范围位0.6至0.8，优选0.5至0.7的范围，根据该距离进行以下补偿。上述距离数值是为了使拍摄图像中的脸区域色彩再现性处于更加优选的状态，通过实验所得的数值。

对应于上述色彩空间上求得的脸计算增益与AWB计算增益之间距离的补偿如下进行，

(1)当脸计算增益与AWB计算增益之间的距离为0.4至0.8，优选0.5至0.7时，将AWB计算增益作为AWB补偿值。

(2)当脸计算增益与AWB计算增益之间的距离小于0.4，优选小于0.5时，在连接脸计算增益与AWB计算增益之间的直线上，求出距离脸计算增益位置为0.4的点，优选0.5的点，以该点AWB计算增益为AWB补偿值。

(3)当脸计算增益与AWB计算增益之间的距离大于0.8，优选大于0.7时，在连接脸计算增益与AWB计算增益之间的直线上，求出距离脸计算增益位置为0.8的点，优选0.7的点，以该点AWB计算增益为AWB补偿值。

具体可以作以下简单运算，即，以脸计算增益的位置为A，AWB计算增益位置为B，该两者之间的距离为D，在上述(2)的条件下成为以0.4∶D，优选0.5∶D，对连接线AB进行外插所得的外插点，在所述(3)的条件下成为以0.8∶D，优选0.7∶(D-0.7)进行内插的内插点。

在所述补偿AWB计算增益的脸计算增益和距离中，沿着色彩空间上黑体辐射轨迹曲线，在垂直于该曲线切线方向，画出如同以前者为长轴、后者为短轴的椭圆的距离范围进行补偿。具体如图10所示范围，沿着黑体辐射轨迹的椭圆长轴方向的距离为0.4至0.8，即下限范围为0.4至0.6，上限范围位0.6至0.8，短轴方向的距离为0.2至0.4，即下限范围为0.2至0.3，上限范围位0.3至0.4。

另外，当从一个画面上检测到多个脸区域时，对每个检测到的脸区域求出脸计算增益，用这些脸计算增益的平均作为脸计算增益。

以上所述脸检出补偿具有以下效果：

(1)相比以往用AWB补偿值算法从WB评价值中算出的AWB计算增益，只要加上在先从脸区域中得到的WB评价值中求出的脸计算增益，即可简单地实现补偿。另外，当检测到的脸区域中的信息可靠性较小时，容易进行减小控制补偿程度等控制。

(2)以AWB计算增益和脸计算增益这两个信息决定AWB补偿值，这样可以只对脸作适当的白色平衡补偿，而其他非主要被摄体的WB不会发生极端的偏离。

(3)对AWB补偿值进行补偿时保留了脸区域的色调感觉，因此，无论是脸色变得偏红还是偏蓝都可以补偿。

本发明的实用性在于，本法明涉及的摄像装置以及摄像方法通过利用脸区域的色彩信号，使得即使在容易造成人的肤色呈苍白或者偏红的光源照射下，也能够进行减少色彩故障的白色平衡控制，抑止脸色变得苍白或偏红。本法明涉及数码照相机等摄像装置，尤其适用于自动白色平衡控制。

Claims (9)

1.一种摄像装置，具有：

摄像单元，将光学成像变换成电图像信号；

色彩信号抽取单元，根据所述图像信号中的色彩信息，抽取用于白色平衡控制的色彩信号并在色彩空间上展开；

色彩信号选择单元，在所述色彩空间上选择色彩信号；

白色平衡控制单元，用根据所述色彩空间上的所述色彩信号算出的补偿值进行白色平衡控制，

其特征为，具备脸检测单元，从所述图像信号中检测人物的脸区域的位置，

选择对应于检测到的所述脸区域抽取的所述色彩空间上的色彩信号，根据从所述选择了的色彩信号中算出的计算值，改变用于进行所述白色平衡控制而算出的补偿值。

2.根据权利要求1所述的摄像装置，其特征为，所述色彩信号抽取单元在抽取了色彩信号的一个画面的分割区域上，从所述色彩信号的R、G、B信号中分别求出各个分割区域的积分值，算出每个所述区域的R与G之比R/G以及B与G之比B/G。

3.根据权利要求1或者2所述的摄像装置，其特征为，在以R/G和B/G为轴并且展开了所述色彩信号抽取单元所抽取的色彩信号的色彩空间上，改变用于进行所述白色平衡控制而算出的补偿值，使得该补偿值与从对应于检测到的脸区域选择的色彩信号中算出的计算值之间的距离在规定范围以内。

4.根据权利要求1或者2所述的摄像装置，其特征为，在以R/G和B/G为轴并且展开了所述色彩信号抽取单元所抽取的色彩信号的色彩空间上，对用于进行所述白色平衡控制而算出的补偿值与从对应于检测到的脸区域所选择的色彩信号中算出的计算值之间用直线连接的距离，以规定的比率进行外插或者内插，并将所述补偿值改变为该外插或者内插的位置。

5.根据权利要求1至4之中任意一项所述的摄像装置，其特征为，所述脸检测单元以规定大小检测大的脸区域。

6.根据权利要求1至5之中任意一项所述的摄像装置，其特征为，当所述脸检测单元检测到多个脸区域时，从对应于各个脸区域选择的色彩信号中算出计算值，并求出该计算值的平均，根据求出平均的计算值改变用于进行白色平衡控制而算出的补偿值。

7.根据权利要求1至5之中任意一项所述的摄像装置，其特征为，具有主要被摄体决定单元，从所述脸检测单元检测到的多个脸区域中决定主要被摄体，并根据从对应于已定的所述主要被摄体的脸区域所选择的色彩信号中算出的计算值，改变用于进行白色平衡控制而算出的补偿值。

8.根据权利要求7所述的摄像装置，其特征为，所述主要被摄体决定单元根据预先在摄像装置中作了登录的脸区域的数据决定主要被摄体。

9.一种摄像方法，包括以下处理：

将光学成像转换为电图像信号的处理；

根据所述图像信号的色彩信息，抽取用于白色平衡控制的色彩信号，并将该色彩信号在色彩空间上进行展开的处理；

从所述色彩空间上选择色彩信号的处理；以及，

为了进行白色平衡控制，求出根据所述色彩空间上的所述色彩信号算出的补偿值的处理，

其特征为，还包括从所述图像信号中检测人物的脸区域的位置的处理，

选择对应于检测到的所述脸区域而抽取的所述色彩空间上的色彩信号，根据从所述选择的色彩信号中算出的计算值，改变用于进行所述白色平衡控制而算出的补偿值，根据所述改变了的补偿值进行白色平衡控制。

Images