CN101166286B - 图像拾取装置和方法、图像处理装置和方法 - Google Patents

图像拾取装置和方法、图像处理装置和方法 Download PDF

Info

Publication number
CN101166286B
CN101166286B CN2007101628893A CN200710162889A CN101166286B CN 101166286 B CN101166286 B CN 101166286B CN 2007101628893 A CN2007101628893 A CN 2007101628893A CN 200710162889 A CN200710162889 A CN 200710162889A CN 101166286 B CN101166286 B CN 101166286B
Authority
CN
China
Prior art keywords
color component
skin
color
image
component signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007101628893A
Other languages
English (en)
Other versions
CN101166286A (zh
Inventor
黄华坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101166286A publication Critical patent/CN101166286A/zh
Application granted granted Critical
Publication of CN101166286B publication Critical patent/CN101166286B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

一种图像拾取装置包括:颜色分量获取单元,其获取表示拾取的图像的颜色分量的拾取图像颜色分量信号;脸部检测单元,其检测脸部;皮肤颜色区域颜色分量获取单元,其在拾取的图像包括脸部时获取基于脸部检测结果的皮肤颜色区域颜色分量信号;皮肤颜色已消除分量信号信息创建单元,其创建皮肤颜色已消除分量信号信息,该皮肤颜色已消除分量信号信息是通过从由颜色分量获取单元所获得的拾取图像颜色分量信号中消除由皮肤颜色区域颜色分量获取单元所获得的皮肤颜色区域颜色分量信号而获得的;白平衡增益设定单元,其通过使用皮肤颜色已消除分量信号信息来设定白平衡增益;以及白平衡控制单元,其通过用白平衡增益来执行拾取的图像的颜色分量的白平衡调整。

Description

图像拾取装置和方法、图像处理装置和方法
技术领域
本发明涉及图像拾取装置、图像拾取方法、图像处理装置、图像处理方法和图像处理程序。具体而言,本发明涉及具有白平衡功能的图像拾取装置、图像拾取方法、图像处理装置、图像处理方法、图像处理程序。
背景技术
近年来,诸如数字静态照相机和数字视频摄像机之类的数字图像拾取装置被越来越多的使用,并且这些产品变得越来越精密复杂。因此,图像拾取装置的制造者想要通过为其产品提供更先进的功能来增加其产品的商业价值。
自动白平衡功能就是一种这样的图像拾取装置功能。在自动白平衡功能中,通过将RGB(红、绿、蓝)的比例设为相同,可以将原始的白色再现为白,以自动地适应对象的光源的色调(tint)变化。
一般来说,具有自动白平衡功能的图像拾取装置执行颜色控制,在该颜色控制中,对象上的无彩色部分(achromatic color portion)被提取并且被设定为无色的。在该控制中,由于对象的颜色取决于光而变化,因此在自然光下无彩色部分的颜色范围被认为是无彩色检测范围。
但是,由于在低色温光源下,脸部皮肤颜色非常接近于无彩色部分的色调,因此该控制可能错误地判定皮肤颜色是无色的。尤其是当图像具有很大的皮肤颜色区域时,这一可能性很高。这造成白平衡增益的偏移,从而导致图像偏蓝。
因此,已知一种白平衡增益设定方法(例如参见日本未经实审专利申请公布No.2003-189325)。在该方法中,当通过检测所拾取的图像中包括的脸部来检测脸部时,通过将用于设定白平衡增益的白平衡估计值获取区域移动到除脸部外的区域,可以防止执行脸部部分白平衡的计算。
发明内容
在该白平衡增益设定方法中,由于白平衡估计值获取区域在被设定之前被从脸部部分移开并且白平衡估计值被获取,因此当所拾取的图像包括多个脸部时,除脸部之外的区域是不规则的,从而使得难以获取白平衡估计值。
此外,在所拾取的图像包括多个脸部的情况下,当由于错误检测而存在未检测到的脸部时,存在这样一个问题,即自动白平衡处理受未检测到的脸部的皮肤颜色的影响。
本发明是考虑到上述情况而作出的。希望提供用于促进白平衡控制的图像拾取装置、图像拾取方法、图像处理装置、图像处理方法和图像处理程序。
根据本发明的一个实施例,提供了一种用于通过用固态图像传感器件来拾取图像的图像拾取装置。该图像拾取装置包括:颜色分量获取单元,其获取表示拾取的图像的颜色分量的拾取图像颜色分量信号;脸部检测单元,其从拾取的图像中检测脸部;皮肤颜色区域颜色分量获取单元,其在拾取的图像包括脸部时获取基于脸部检测结果的皮肤颜色区域颜色分量信号;皮肤颜色已消除分量信号信息创建单元,其创建皮肤颜色已消除分量信号信息,该皮肤颜色已消除分量信号信息是通过从由颜色分量获取单元所获得的拾取图像颜色分量信号中减去由皮肤颜色区域颜色分量获取单元所获得的皮肤颜色区域颜色分量信号而获得的;白平衡增益设定单元,其通过使用皮肤颜色已消除分量信号信息来设定白平衡增益;以及白平衡控制单元,其通过使用白平衡增益来执行拾取的图像的颜色分量的白平衡调整。
根据该图像拾取装置,颜色分量获取单元获取表示拾取的图像的颜色分量的拾取图像颜色分量信号。脸部检测单元从拾取的图像中检测脸部;当拾取的图像包括脸部时,皮肤颜色区域颜色分量获取单元获取基于脸部检测结果的皮肤颜色区域颜色分量信号。然后,皮肤颜色已消除分量信号信息创建单元创建皮肤颜色已消除分量信号信息,该皮肤颜色已消除分量信号信息是通过从由颜色分量获取单元所获得的拾取图像颜色分量信号中减去由皮肤颜色区域颜色分量获取单元所获得的皮肤颜色区域颜色分量信号而获得的。白平衡增益设定单元通过使用皮肤颜色已消除分量信号信息来设定白平衡增益。白平衡控制单元通过使用白平衡增益来执行拾取的图像的颜色分量的白平衡调整。
根据本发明的一个实施例,当拾取的图像包括脸部时,基于脸部检测结果的皮肤颜色区域颜色分量信号,以及通过从拾取图像颜色分量信号中减去皮肤颜色区域颜色分量信号而获得的皮肤颜色已消除分量信号信息被创建。皮肤颜色已消除分量信号信息被用于设定白平衡增益。从而,即使所拾取的图像包括多个脸部,也可从脸部检测结果中指定要经历检测的区域。因此,促进了白平衡控制。
尤其地,在通过对拾取图像颜色分量信号分别进行积分来生成颜色分量积分值,通过对检测到的脸部的颜色分量信号分别进行积分来生成皮肤颜色区域颜色分量积分值,通过使用皮肤颜色区域颜色分量积分值来计算阈值并获取满足阈值的拾取图像颜色分量积分值,并且通过计算颜色分量积分值和满足阈值的颜色分量积分值之间的差来创建皮肤颜色已消除分量信号信息的情况下,可以实现十分精确的白平衡控制。
附图说明
图1是示出根据本发明第一实施例的图像拾取装置的配置的框图;
图2是示出根据第一实施例的图像拾取装置的操作的流程图;
图3是所拾取的图像的图示;
图4是在所拾取的图像上的脸部检测的结果的图示;
图5是示出根据本发明第二实施例的图像拾取装置的操作的流程图;
图6是示出根据第二实施例的图像拾取装置的操作的流程图;
图7是示出用于计算皮肤颜色阈值的方法的图;
图8是使用阈值的检测的结果的图示;
图9是示出根据第一和第二实施例的图像拾取装置的操作的示意图。
具体实施方式
以下参考附图描述本发明的实施例。
图1是示出根据本发明第一实施例的图像拾取装置1的配置的框图。
图像拾取装置1包括光学块2、驱动器2a、驱动单元2b、图像传感器3、定时生成电路(TG)3a、AFE(模拟前端)电路4、WB(白平衡)放大器5、信号处理电路6、压缩/转换电路7、信号检测单元8、***控制器9、操作单元10、图形界面11和显示器(图像监视器)11a。
光学块2包括:透镜单元,用于将来自光源的入射光和来自对象的光(反射光)聚集到图像传感器3;驱动机构,用于通过移动透镜单元来执行聚焦和变焦;快门机构;以及光圈机构,用于通过根据对象的照度调整透镜光阑(lens stop)来确定经过透镜单元的光量,即曝光。
基于来自***控制器9的控制信号,驱动器2a输出驱动信号,用于控制光学块2中的机构的驱动(例如光阑驱动)。
驱动单元2b响应于来自驱动器2a的驱动信号,驱动光学块2的驱动机构。
图像传感器3例如是CCD(电荷耦合器件)型或CMOS(互补金属氧化物半导体)型的固态图像传感器件。图像传感器3对经过光学块2的光图像进行光电转换,并且将转换后的信号发送到AFE电路4。
在***控制器9的控制下,TG 3a输出用于控制图像传感器3的驱动的定时信号。
AFE电路4包括保持和增益控制电路41和A/D(模数)转换电路42。AFE电路4例如形成为单个IC(集成电路)。保持和增益控制电路41通过执行CDS(相关双采样)来对从图像传感器3输出的图像信号执行采样和保持,以维持良好的S/N(信号/噪声)比,并且还执行AGC(自动增益控制)处理以控制增益。A/D转换电路42通过执行A/D转换来输出数字图像信号。用于执行CDS处理的电路可以与图像传感器3形成在同一衬底上。
基于输入的自动白平衡增益(白平衡控制信号),WB放大器5生成具有经调整的白平衡的图像信号。具体而言,在白平衡调整中,RGB增益中的每一个根据白平衡控制信号而被调整,并且从A/D转换电路42输出的图像信号的RGB幅度中的每一个被放大。以下将WB放大器5所进行的控制称为“自动白平衡控制”。
信号处理电路6对输入的图像信号执行数字信号处理,例如线性矩阵处理、伽玛处理和色差矩阵处理。
信号处理电路6通过根据来自***控制器9的控制信号对来自WB放大器5的图像信号执行各种类型的图像质量校正,来生成对象的视频信号(亮度和色差信号)。
信号处理电路6还具有从输入图像中检测人的脸部的功能。信号处理电路6从来自WB放大器5的图像信号中检测包括人的脸部的区域,并且将检测结果提供给***控制器9。
压缩/转换电路7基于亮度和色差信号而执行压缩编码。被压缩/转换电路7压缩的信号作为图像文件被记录在记录介质(未示出)上。
信号检测单元8从信号中检测用于白平衡控制的RGB分量。根据本发明的一个实施例,信号检测单元8在图像拾取装置中形成颜色分量获取单元和皮肤颜色区域颜色分量获取单元的每个主要部分。信号检测单元8的细节在后面描述。
***控制器9是微控制器,其例如包括CPU(中央处理单元)、ROM(只读存储器)和RAM(随机访问存储器)。通过执行存储在ROM等等之中的程序,***控制器9总体地控制图像拾取装置1的部分,例如光学块2、图像传感器3、AFE电路4、WB放大器5和信号处理电路6,从而自动聚焦、自动曝光和白平衡被自动控制,以生成图像被拾取的对象的优选视频信号。根据本发明的一个实施例,***控制器9在图像拾取装置中形成皮肤颜色已消除分量信号信息(skin-color-eliminated componentsignal information)创建单元和白平衡增益设定单元中的每一个的主要部分。
操作单元10例如包括诸如快门开关按钮,手柄和调节控制盘之类的各种操作键,并且基于用户的输入操作向***控制器9输出控制信号。
图形界面11从通过***控制器9由信号处理电路6提供的图像信号中生成用于在显示器11a上显示图像的图像信号。通过提供生成的图像信号,图形界面11在显示器11a上显示图像。显示器11a例如是由LCD(液晶显示器)形成的,并且基于记录在记录介质(未示出)上的数据而显示图像,例如被拾取的经过照相机的图像和重放的图像。
在图像拾取装置1中,来自对象的图像光(反射光)在光学块2中会聚并且入射在图像传感器3上。入射在图像传感器3上的图像光被光电转换成电信号。所获得的电信号被输入到保持和增益控制电路41,并且通过保持和增益控制电路41中的采样和增益控制而获得的信号被输入到A/D转换电路42。输入到A/D转换电路42的信号被转换成数字信号,并且该数字信号被输入到WB放大器5和信号检测单元8。
在用于白平衡控制的RGB分量被从数字信号中检测出之后,检测结果被信号检测单元8发送到***控制器9。
此时,信号处理电路6为输入到***控制器9的输入数字信号检测包括人的脸部的区域。当包括脸部时,***控制器9设定自动白平衡增益值,以便原始白色由白表示。
WB放大器5基于设定的自动白平衡增益值生成调整了白平衡的图像信号,并且将生成的图像信号输入到信号处理电路6。信号处理电路6对输入的图像信号执行数字信号处理,例如线性矩阵处理。处理后的信号被压缩/转换电路7压缩和转换,并且所获得的信号作为图像文件被记录在记录介质(未示出)上。
接下来,根据第一实施例的图像拾取装置1的操作描述如下。
图2是示出根据第一实施例的图像拾取装置1的操作的流程图。图3是所拾取的图像的图示。
在步骤S1中,***控制器9将所拾取的图像中的全屏幕区域21(见图3)设定为信号检测框,并且向信号检测单元8发送信号检测请求。
在步骤S11中,通过利用预设的无彩色提取参数在全屏幕区域21上执行信号检测,信号检测单元8计算全屏幕区域21中的颜色分量信号的积分值(由∑R、∑G和∑B表示)和积分面积(由A表示),作为全屏幕区域信号检测结果,并将其发送到***控制器9。
在步骤S2中,***控制器9获取全屏幕区域信号检测结果并将其存储在RAM中。积分面积(A)表示所拾取的图像中实际经历积分的区域的面积(即像素数目)。
在步骤S3中,基于来自信号处理电路6的检测信号,***控制器9确定是否在全屏幕区域21中检测到脸部。
如果在全屏幕区域21未检测到脸部(步骤S3中的“否”),则***控制器9前进到步骤S7。
或者,如果在全屏幕区域21中检测到了脸部(步骤S3中的“是”),则***控制器9创建用于消除脸部的皮肤颜色的信息。更具体而言,在步骤S4中,在每个检测到的脸部区域22中(见图3)设定用于自动白平衡控制的信号检测框,并且将针对脸部区域22的信号检测请求发送到信号检测单元8。
在步骤S12中,信号检测单元8通过使用与步骤S11中使用的参数相同的参数在脸部区域22上执行信号检测,并且计算脸部的皮肤颜色区域中的颜色分量积分值(由∑RF、∑GF和∑BF表示)和皮肤颜色积分面积(由AF表示),作为脸部区域信号检测结果,并将其发送到***控制器9。
在步骤S5中,***控制器9获取脸部区域信号检测结果。在步骤S6中,通过计算脸部区域22中的颜色分量积分值(∑RF、∑GF和∑RF)和皮肤颜色积分面积(AF)与全屏幕区域21中的颜色分量积分值(∑R、∑G和∑B)和积分面积(A)(在步骤S2中获得)的差,***控制器9计算用于自动白平衡控制的积分值(皮肤颜色已消除分量信号信息)和积分面积(皮肤颜色已消除分量信号信息)。皮肤颜色积分面积(AF)表示脸部区域22中实际经历积分的每个区域的面积(像素数目。
所获得的积分值(∑RW、∑GW、∑BW)和积分面积(AW)由表示为
∑RW=∑R-∑RF
∑GW=∑G-∑GF
∑BW=∑B-∑BF
AW=A-AF
在步骤S7中,***控制器9通过利用所获得的积分值来计算用于自动白平衡控制的最终自动白平衡增益。具体而言,当在全屏幕区域21未检测到脸部时,通过使用积分值(∑R、∑G、∑B)和积分面积(A)来计算自动白平衡增益。如果在全屏幕区域21检测到了脸部,则通过使用积分值(∑RW、∑GW、∑BW)和积分面积(AW)来计算RGB分量相等的自动白平衡增益。
虽然,在步骤S11的检测中基本上将整个图像设定为信号检测框,但实际上可能不检测图像的所有像素信号。例如,可以只检测亮度值等于或大于预定的亮度阈值的像素。或者,可以以某些间隔来设定检测区域。类似地,在步骤S12的检测中,可能不检测脸部区域22中的所有像素信号。例如,在步骤S12中,可以将与步骤S11中不同的亮度阈值设定为脸部检测特定的检测参数,并且可以只检测亮度值等于或大于所设定的亮度阈值的像素。如上所述,当在步骤S11和S12中设定不同的检测参数时,在步骤S7中,通过使用以积分值(∑RW、∑GW、∑BW)除以积分面积(AW)获得的平均值来计算自动白平衡增益,可以提高计算精度。
在步骤S8中,***控制器9向WB放大器5输出计算出的自动白平衡增益。WB放大器5将自动白平衡增益应用到输入的图像信号,从而调整白平衡。
如上所述,在根据第一实施例的图像拾取装置1中,当脸部被信号处理电路6检测时,脸部区域22的皮肤颜色上的信号检测被执行,并且,通过计算脸部区域22中的颜色分量积分值(∑RF、∑GF、∑BF)和皮肤颜色积分面积(AF)与全屏幕区域21中的颜色分量积分值(∑R、∑G、∑B)和积分面积(A)的差,可以计算用于自动白平衡控制的积分值和积分面积。这样就从自动白平衡增益的计算中排除了脸部皮肤颜色的影响。从而,可以实现十分精确的自动白平衡控制。
此外,即使所拾取的图像包括多个脸部,图像拾取装置1也对脸部的检测区域做出响应,换言之,图像拾取装置1只是简单地执行具有矩形信号检测框的检测。因此,不论脸部数目为多少,通过指定脸部区域22,可以防止由于皮肤颜色影响而引起的自动白平衡增益的错误控制(设定)。
虽然,在第一实施例中,脸部检测是由信号处理电路6执行的,但是并不局限于此,通过提供专用的单独的脸部检测电路,全屏幕区域21中的脸部可被检测。
如上所述,当所拾取的图像包括多个脸部时,如果由于错误检测而存在未检测到的脸部,则存在这样的问题,即自动白平衡处理受到未检测到的脸部的皮肤颜色的影响。
图4是在所拾取的图像中的脸部检测的结果的图示。
如图4所示,由于错误检测,只有全屏幕区域21中的右面脸部被检测并且被设定为脸部区域22。在这种情况下,未检测到的左面的脸部区域23处于用于计算颜色分量积分值(∑RF、∑GF、∑BF)的信号检测范围之外。从而,在自动白平衡增益中出现误差。下面描述根据本发明第二实施例的用于解决此问题的图像拾取装置。
对于根据第二实施例的图像拾取装置,主要描述与第一实施例的差异,省略相似的描述。
下面描述根据第二实施例的图像拾取装置的操作。
图5和6是示出根据本发明第二实施例的图像拾取装置的操作的流程图。
图5中的***控制器9的步骤S1a至S4a和信号检测单元8的步骤S21a和S22a分别与图2中的***控制器9的步骤S1至S4和信号检测单元8的步骤S11和S12相似。因此,下面省略对它们的描述。
在执行步骤S4a之后,在步骤S5a中,***控制器9获取脸部区域信号检测结果。在步骤S6a中,***控制器9计算在计算出的脸部区域22的积分值绘于色差图时获得的皮肤颜色阈值。此处理是通过使用(B-Y,R-Y)平面为例来描述的。
图7是示出用于计算皮肤颜色阈值的方法的图。
如图7所示,在步骤S5a中获得的脸部检测区域中的颜色分量积分值被绘制在色差平面上一般表示皮肤颜色的区域中。在这种情况下,被置于离所绘坐标预定距离处以围绕该坐标的Y轴最大值(R-Ymax)和最小值(R-Ymin)以及X轴最大值(B-Ymax)和最小值(B-Ymin)被设定为皮肤颜色阈值。
通过预先在ROM等之中存储Ymax和Ymin的多个组合,并且相应于所绘坐标,读取Ymax和Ymin(即坐标存在于由阈值限定的区域中的值)的一个组合,可以确定皮肤颜色阈值。此外,存储的Ymax和Ymin的组合可以对应于预先为自动白平衡控制而确定的光源类型(例如日光、电灯泡、荧光等等)。
在步骤S7a中,***控制器9将全屏幕区域21设定为信号检测框,并且向信号检测单元8发送针对全屏幕区域21的信号检测请求,以便使用皮肤颜色阈值进行检测。
在步骤S23a中,信号检测单元8使用皮肤颜色阈值来在全屏幕区域21上执行信号检测。信号检测单元8计算满足全屏幕区域21中的阈值(换言之,对应于由阈值围绕的区域中的值)的颜色分量积分值(由∑R’、∑G’、∑B’表示)和积分面积(由A’)表示,作为基于阈值的全屏幕区域信号检测结果,并将其发送到***控制器9。
图8是使用阈值的检测的结果的图示。
在步骤S22a的处理中,除了右面脸部24的颜色分量积分值之外,在步骤S3a中未从脸部检测信号中检测到的左面脸部25的颜色分量积分值也被包括在基于阈值的全屏幕区域信号检测结果中。
在步骤S8a中,***控制器9获取基于阈值的全屏幕区域信号检测结果。在步骤S9a中,通过计算满足阈值的颜色分量积分值(∑R’、∑G’、∑B’)和积分面积(A’)与全屏幕区域21中的颜色分量积分值(∑R、∑G、∑B)和积分面积(A)(在步骤S2a中获得)的差,***控制器9计算用于自动白平衡控制的积分值(皮肤颜色已消除分量信号信息)和积分面积(皮肤颜色已消除分量信号信息)。
所获得的积分值(由∑BW1、∑GW1、∑BW1表示)和积分面积(由AW1表示)表示为
∑RW1=∑R-∑R’
∑GW1=∑G-∑G’
∑BW1=∑B-∑B’
AW1=A-A’
在步骤S10a中,***控制器9通过使用所获得的积分值来计算用于自动白平衡控制的最终自动白平衡增益。具体而言,当在全屏幕区域21未检测到脸部时,通过用积分值(∑R、∑G、∑B)和积分面积(A)来计算自动白平衡增益。如果在全屏幕区域21检测到了脸部,则通过使用积分值(∑RW1、∑GW1、∑BW1)和积分面积(AW1)来计算自动白平衡增益。
在步骤S11a中,***控制器9向WB放大器5输出计算出的自动白平衡增益。
然后,WB放大器5通过使用自动白平衡增益来执行自动白平衡控制,以使得R=G=B。
图9是示出根据第一和第二实施例的图像拾取装置的操作的示意图。
在图9中,标号P1表示在存在未检测到的脸部时由根据第二实施例的图像拾取装置的操作获得的用于自动白平衡控制的积分值。标号P2表示在存在未检测到的脸部时由根据第一实施例的图像拾取装置1的操作获得的用于自动白平衡控制的积分值。从图9可以发现,在使用积分值P2的自动白平衡控制中,图像偏蓝,因为B分量的增益比使用积分值P1的自动白平衡控制中B分量的增益要高。
按照根据第二实施例的图像拾取装置,获得了与第一实施例中类似的优点。
按照根据第二实施例的图像拾取装置,基于检测到的脸部区域的颜色信息,阈值限定所拾取的图像中的皮肤颜色区域,并且该阈值被用于检测全屏幕区域21中的皮肤颜色。如果在步骤S3a中存在未检测到的脸部,则在步骤S6a至S8a中的图像拾取装置的操作中,未检测到的脸部的皮肤颜色被提取,从而实现不受皮肤颜色影响的自动白平衡控制。
此外,按照根据第二实施例的图像拾取装置,不仅可以提取脸部的颜色,而且可以提取满足皮肤颜色阈值的所有皮肤颜色,即导致自动白平衡控制中的错误检测的皮肤颜色(例如人手臂的皮肤颜色、纸板颜色等等)。从而实现了十分精确的自动白平衡控制。
虽然,在第二实施例中,设定阈值使得皮肤颜色区域是矩形的,但是该区域并不限于矩形,可以设定阈值使得皮肤区域是椭圆的。
如上所述,已经参考附图描述了根据本发明实施例的图像拾取装置、图像拾取方法、图像处理装置、图像处理方法和图像处理程序,但是本发明并不限于上述实施例。每个组件的配置可由具有类似功能的任意组件所替换。此外,在本发明的实施例中,可以添加任意的不同要素和步骤。
此外,本发明的实施例可以具有前述实施例中的每一个中的两个或更多个任意的特征。
对于本发明的实施例所应用到的图像拾取装置并没有特别限制。这种图像拾取装置例如包括数字静态照相机、数字视频摄像机、蜂窝电话和PDA(个人数字助理)。
虽然,在前述每个实施例中,本发明都被应用到图像拾取装置,但是并不限于此,本发明也可应用到用于处理输入图像的图像处理装置。对于图像处理装置没有特别限制。例如,它们包括打印机。
上述处理功能可由计算机实现(具体而言,通过允许计算机执行预定的图像处理程序来实现)。在这种情况下,提供了描述图像拾取装置和图像处理装置的处理细节的程序。通过在计算机上执行程序,在计算机上实现了处理功能。描述处理细节的程序可被记录在计算机可读的记录介质上。计算机可读记录介质例如包括磁记录设备、光盘、磁光记录介质和半导体存储器。磁记录设备例如包括HDD(硬盘驱动器)、FD(柔性盘)和磁带。光盘例如包括DVD(数字多功能盘)、DVD-RAM(随机访问存储器)、CD-ROM(紧致盘只读存储器)和CD-R(可记录)和CD-RW(可改写)。磁光记录介质例如包括MO(磁光盘)。
程序发布时,例如,包含程序的诸如DVD和CD-ROM之类的便携式记录介质被销售。此外,通过将程序存储在服务器计算机的存储设备中,程序可被从服务器计算机传送到另一计算机。
执行程序的计算机在其存储设备中存储了例如便携式记录介质中包含的程序或者从服务器计算机传送来的程序。计算机从其存储设备读取程序并且根据该程序执行处理。计算机还可通过直接从便携式记录介质读取程序来根据程序执行处理。此外,每当程序被从服务器计算机传送来时,计算机就可根据接收到的程序顺序地执行处理。
本领域的技术人员应当理解,取决于设计要求和其他因素,可以进行各种修改、组合、子组合和变更,只要它们处于所附权利要求或其等同物的范围之内。
本发明包含与2006年10月20日向日本专利局递交的日本专利申请JP 2006-286017相关的主题,这里通过引用将其全部内容并入。

Claims (10)

1.一种用于通过使用固态图像传感器件来拾取图像的图像拾取装置,该图像拾取装置包括:
颜色分量获取单元,其获取表示拾取的图像的颜色分量的拾取图像颜色分量信号;
脸部检测单元,其从所述拾取的图像中检测脸部;
皮肤颜色区域颜色分量获取单元,其在所述拾取的图像包括脸部时获取基于脸部检测结果的皮肤颜色区域颜色分量信号;
皮肤颜色已消除分量信号信息创建单元,其创建皮肤颜色已消除分量信号信息,该皮肤颜色已消除分量信号信息是通过从由所述颜色分量获取单元获得的所述拾取图像颜色分量信号中减去由所述皮肤颜色区域颜色分量获取单元获得的所述皮肤颜色区域颜色分量信号而获得的;
白平衡增益设定单元,其通过使用所述皮肤颜色已消除分量信号信息来设定白平衡增益;以及
白平衡控制单元,其通过使用所述白平衡增益来执行所述拾取的图像的颜色分量的白平衡调整。
2.如权利要求1所述的图像拾取装置,其中:
所述颜色分量获取单元通过对所述拾取图像颜色分量信号分别进行积分来生成颜色分量积分值;
所述皮肤颜色区域颜色分量获取单元通过对由所述脸部检测单元检测到的脸部的颜色分量信号分别进行积分来生成皮肤颜色区域颜色分量积分值;并且
所述皮肤颜色已消除分量信号信息创建单元通过计算所述颜色分量积分值和所述皮肤颜色区域颜色分量积分值之间的差来创建所述皮肤颜色已消除分量信号信息。
3.如权利要求1所述的图像拾取装置,其中,所述皮肤颜色区域颜色分量获取单元计算限定从所述脸部检测结果提取的皮肤颜色区域的颜色分量阈值,并且使用所述颜色分量阈值来获取表示所述拾取的图像中的皮肤颜色区域的颜色分量信号。
4.如权利要求3所述的图像拾取装置,其中:
所述颜色分量获取单元通过对所述拾取图像颜色分量信号分别进行积分来生成颜色分量积分值;
在所述皮肤颜色区域颜色分量获取单元通过对所述脸部检测单元所检测的脸部的颜色分量信号分别进行积分而生成皮肤颜色区域颜色分量积分值之后,所述皮肤颜色区域颜色分量获取单元通过使用所述皮肤颜色区域颜色分量积分值来计算所述颜色分量阈值,并且获取满足所述颜色分量阈值的所述拾取的图像的颜色分量积分值;并且
所述皮肤颜色已消除分量信号信息创建单元通过计算所述颜色分量积分值和满足所述颜色分量阈值的所述拾取的图像的颜色分量积分值之间的差,来创建所述皮肤颜色已消除分量信号信息。
5.一种用于通过使用固态图像传感器件来拾取图像的图像拾取方法,该图像拾取方法包括以下步骤:
颜色分量获取步骤,获取表示拾取的图像的颜色分量的拾取图像颜色分量信号;
脸部检测步骤,从所述拾取的图像中检测脸部;
皮肤颜色区域颜色分量获取步骤,在所述拾取的图像包括脸部时,获取基于脸部检测结果的皮肤颜色区域颜色分量信号;
皮肤颜色已消除分量信号信息创建步骤,创建皮肤颜色已消除分量信号信息,该皮肤颜色已消除分量信号信息是通过从所述拾取图像颜色分量信号中减去所述皮肤颜色区域颜色分量信号而获得的;
白平衡增益设定步骤,通过使用所述皮肤颜色已消除分量信号信息来设定白平衡增益;以及
白平衡控制步骤,通过使用所述白平衡增益来执行所述拾取的图像的颜色分量的白平衡调整。
6.如权利要求5所述的图像拾取方法,其中:
所述颜色分量获取步骤通过对所述拾取图像颜色分量信号分别进行积分来生成颜色分量积分值;
所述皮肤颜色区域颜色分量获取步骤通过对由所述脸部检测步骤检测到的脸部的颜色分量信号分别进行积分来生成皮肤颜色区域颜色分量积分值;并且
所述皮肤颜色已消除分量信号信息创建步骤通过计算所述颜色分量积分值和所述皮肤颜色区域颜色分量积分值之间的差来创建所述皮肤颜色已消除分量信号信息。
7.如权利要求5所述的图像拾取方法,其中,所述皮肤颜色区域颜色分量获取步骤计算限定从所述脸部检测结果提取的皮肤颜色区域的颜色分量阈值,并且使用所述颜色分量阈值来获取表示所述拾取的图像中的皮肤颜色区域的颜色分量信号。
8.如权利要求7所述的图像拾取方法,其中:
所述颜色分量获取步骤通过对所述拾取图像颜色分量信号分别进行积分来生成颜色分量积分值;
在所述皮肤颜色区域颜色分量获取步骤通过对所述脸部检测步骤所检测的脸部的颜色分量信号分别进行积分而生成皮肤颜色区域颜色分量积分值之后,所述皮肤颜色区域颜色分量获取步骤通过使用所述皮肤颜色区域颜色分量积分值来计算所述颜色分量阈值,并且获取满足所述颜色分量阈值的所述拾取的图像的颜色分量积分值;并且
所述皮肤颜色已消除分量信号信息创建步骤通过计算所述颜色分量积分值和满足所述颜色分量阈值的所述拾取的图像的颜色分量积分值之间的差,来创建所述皮肤颜色已消除分量信号信息。
9.一种用于对输入图像执行白平衡处理的图像处理装置,该图像处理装置包括:
颜色分量获取单元,其获取表示所述输入图像的颜色分量的输入图像颜色分量信号;
脸部检测单元,其从所述输入图像中检测脸部;
皮肤颜色区域颜色分量获取单元,其在所述输入图像包括脸部时获取基于脸部检测结果的皮肤颜色区域颜色分量信号;
皮肤颜色已消除分量信号信息创建单元,其创建皮肤颜色已消除分量信号信息,该皮肤颜色已消除分量信号信息是通过从由所述颜色分量获取单元获得的所述输入图像颜色分量信号中减去由所述皮肤颜色区域颜色分量获取单元获得的所述皮肤颜色区域颜色分量信号而获得的;
白平衡增益设定单元,其通过使用所述皮肤颜色已消除分量信号信息来设定白平衡增益;以及
白平衡控制单元,其通过使用所述白平衡增益来执行所述输入图像的颜色分量的白平衡调整。
10.一种用于对输入图像执行白平衡处理的图像处理方法,该图像处理方法包括以下步骤:
颜色分量获取步骤,获取表示所述输入图像的颜色分量的输入图像颜色分量信号;
脸部检测步骤,从所述输入图像中检测脸部;
皮肤颜色区域颜色分量获取步骤,在所述输入图像包括脸部时,获取基于脸部检测结果的皮肤颜色区域颜色分量信号;
皮肤颜色已消除分量信号信息创建步骤,创建皮肤颜色已消除分量信号信息,该皮肤颜色已消除分量信号信息是通过从所述输入图像颜色分量信号中减去所述皮肤颜色区域颜色分量信号而获得的;
白平衡增益设定步骤,通过使用所述皮肤颜色已消除分量信号信息来设定白平衡增益;以及
白平衡控制步骤,通过使用所述白平衡增益来执行所述输入图像的颜色分量的白平衡调整。
CN2007101628893A 2006-10-20 2007-10-22 图像拾取装置和方法、图像处理装置和方法 Expired - Fee Related CN101166286B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006286017A JP4254841B2 (ja) 2006-10-20 2006-10-20 撮像装置、撮像方法、画像処理装置、画像処理方法および画像処理プログラム
JP2006286017 2006-10-20
JP2006-286017 2006-10-20

Publications (2)

Publication Number Publication Date
CN101166286A CN101166286A (zh) 2008-04-23
CN101166286B true CN101166286B (zh) 2010-06-02

Family

ID=39317508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101628893A Expired - Fee Related CN101166286B (zh) 2006-10-20 2007-10-22 图像拾取装置和方法、图像处理装置和方法

Country Status (3)

Country Link
US (1) US8654207B2 (zh)
JP (1) JP4254841B2 (zh)
CN (1) CN101166286B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101595254B1 (ko) * 2009-02-20 2016-02-18 삼성전자주식회사 화이트 밸런스 조정 방법, 상기 방법을 기록한 기록 매체, 화이트 밸런스 조정 장치
US8605167B2 (en) 2010-09-01 2013-12-10 Apple Inc. Flexible color space selection for auto-white balance processing
US9398205B2 (en) 2010-09-01 2016-07-19 Apple Inc. Auto-focus control using image statistics data with coarse and fine auto-focus scores
US8531542B2 (en) 2010-09-01 2013-09-10 Apple Inc. Techniques for acquiring and processing statistics data in an image signal processor
US8922704B2 (en) 2010-09-01 2014-12-30 Apple Inc. Techniques for collection of auto-focus statistics
US8508612B2 (en) 2010-09-30 2013-08-13 Apple Inc. Image signal processor line buffer configuration for processing ram image data
US8629913B2 (en) 2010-09-30 2014-01-14 Apple Inc. Overflow control techniques for image signal processing
US8488055B2 (en) 2010-09-30 2013-07-16 Apple Inc. Flash synchronization using image sensor interface timing signal
US8786625B2 (en) * 2010-09-30 2014-07-22 Apple Inc. System and method for processing image data using an image signal processor having back-end processing logic
US9014504B2 (en) 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
US9332239B2 (en) 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
US9025867B2 (en) 2012-05-31 2015-05-05 Apple Inc. Systems and methods for YCC image processing
US8817120B2 (en) 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US9031319B2 (en) 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US9077943B2 (en) 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US8917336B2 (en) 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US9743057B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
JP6348762B2 (ja) * 2014-04-17 2018-06-27 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム
CN106375610B (zh) * 2016-11-30 2020-05-01 瑞安市任想科技有限责任公司 一种照片处理方法和终端
WO2019041493A1 (zh) * 2017-08-31 2019-03-07 广东欧珀移动通信有限公司 白平衡调整方法和装置
KR102397396B1 (ko) * 2017-09-13 2022-05-12 삼성전자주식회사 자동 화이트 밸런스를 위한 이미지 처리 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005136497A (ja) * 2003-10-28 2005-05-26 Canon Inc 画像処理方法、画像処理装置
CN1663287A (zh) * 2002-06-25 2005-08-31 皇家飞利浦电子股份有限公司 使用脸部颜色作为参考信号来白平衡图像的方法和***
US20050219587A1 (en) * 2004-03-30 2005-10-06 Ikuo Hayaishi Image processing device, image processing method, and image processing program
JP2006042152A (ja) * 2004-07-29 2006-02-09 Canon Inc ホワイトバランス装置、撮像装置、ホワイトバランス処理方法、及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US219587A (en) * 1879-09-16 Improvement sn postmarking and canceling machines
JP3927802B2 (ja) * 2001-12-19 2007-06-13 株式会社リコー 画像処理装置
JP4352730B2 (ja) * 2003-03-12 2009-10-28 セイコーエプソン株式会社 オートホワイトバランス処理装置及び方法並びに画像信号処理装置
JP4328956B2 (ja) * 2004-01-07 2009-09-09 富士フイルム株式会社 デジタルカメラの制御方法及び装置
JP4154400B2 (ja) * 2004-04-01 2008-09-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP2006148326A (ja) * 2004-11-17 2006-06-08 Canon Inc 撮像装置及び撮像装置の制御方法
JP4849818B2 (ja) * 2005-04-14 2012-01-11 イーストマン コダック カンパニー ホワイトバランス調整装置及び色識別装置
GB2432659A (en) * 2005-11-28 2007-05-30 Pixology Software Ltd Face detection in digital images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1663287A (zh) * 2002-06-25 2005-08-31 皇家飞利浦电子股份有限公司 使用脸部颜色作为参考信号来白平衡图像的方法和***
JP2005136497A (ja) * 2003-10-28 2005-05-26 Canon Inc 画像処理方法、画像処理装置
US20050219587A1 (en) * 2004-03-30 2005-10-06 Ikuo Hayaishi Image processing device, image processing method, and image processing program
JP2006042152A (ja) * 2004-07-29 2006-02-09 Canon Inc ホワイトバランス装置、撮像装置、ホワイトバランス処理方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
全文.

Also Published As

Publication number Publication date
JP2008104051A (ja) 2008-05-01
US20080094485A1 (en) 2008-04-24
JP4254841B2 (ja) 2009-04-15
US8654207B2 (en) 2014-02-18
CN101166286A (zh) 2008-04-23

Similar Documents

Publication Publication Date Title
CN101166286B (zh) 图像拾取装置和方法、图像处理装置和方法
JP4443735B2 (ja) 撮像装置およびその動作制御方法
US8576327B2 (en) Focus bracket photographing imaging apparatus, reproduction display apparatus, image recording method, and reproduction displaying method
CN101325658B (zh) 成像设备和成像方法
CN104159021A (zh) 成像设备、成像方法和程序
JP2007036462A (ja) 画像処理装置
JP2013106284A (ja) 光源推定装置、光源推定方法、光源推定プログラムおよび撮像装置
JP2010028608A (ja) 画像処理装置、撮像装置、再生装置及び画像処理方法
US8212916B2 (en) Image display device, image pickup apparatus, and image display method that allow focus assistant display
JP2005229144A (ja) 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム
JP3997786B2 (ja) 撮像装置、表示装置、画像記録装置および画質補正方法
JP3630149B2 (ja) 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム
CN100525383C (zh) 图像数据噪声降低设备及其控制方法
JP4752381B2 (ja) 撮像装置
CN101631221A (zh) 视频记录设备、视频记录方法、以及记录介质
KR20110027118A (ko) 디지털 촬영장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체
JP2009038818A (ja) 画像処理方法及びデジタルカメラ
JP2007336125A (ja) 撮像装置およびその制御方法
JP2002218479A (ja) 撮像装置
JP4129188B2 (ja) 撮像装置の色バランス調整装置および方法
JP2003304543A (ja) 撮像装置
US20240163567A1 (en) Image processing apparatus, image processing method, and image capture apparatus
JP4954658B2 (ja) 画像処理装置
JP2010016783A (ja) 撮像装置
JP2004179708A (ja) ディジタル・カメラおよびその制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100602

Termination date: 20151022

EXPY Termination of patent right or utility model