CN100344150C - 图像处理装置以及摄像装置 - Google Patents

图像处理装置以及摄像装置 Download PDF

Info

Publication number
CN100344150C
CN100344150C CNB2005100780907A CN200510078090A CN100344150C CN 100344150 C CN100344150 C CN 100344150C CN B2005100780907 A CNB2005100780907 A CN B2005100780907A CN 200510078090 A CN200510078090 A CN 200510078090A CN 100344150 C CN100344150 C CN 100344150C
Authority
CN
China
Prior art keywords
image
mentioned
color
pupil
taken
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2005100780907A
Other languages
English (en)
Other versions
CN1717001A (zh
Inventor
池田荣一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN1717001A publication Critical patent/CN1717001A/zh
Application granted granted Critical
Publication of CN100344150C publication Critical patent/CN100344150C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/624Red-eye correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30216Redeye defect

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本发明提供了图像处理装置以及摄像装置。图像处理装置通过从拍摄的图像检测瞳孔的颜色,从拍摄图像检测人物,生成人物的特征信息,基于所生成的人物的特征信息,把瞳孔的颜色变更为与检测出的瞳孔的颜色不同的颜色。

Description

图像处理装置以及摄像装置
技术领域
本发明涉及由数码照相机、数码摄像机、照相机内置便携电话机等摄像装置所取得的图像的处理技术。
背景技术
在用数码照相机、数码摄像机、照相机内置便携电话机等摄像装置在黑暗的场所拍摄作为被拍摄体的人物时,作为照明光使闪光灯发光。在黑暗的场所由于人的瞳孔张大,因此在使闪光灯发光时,由于在视网膜的毛细血管反射的光,大多成为人的眼睛看起来是红色的所谓红眼状态。为此,具有通过在即将摄影之前向被拍摄体照射光使瞳孔缩小,减少由视网膜的毛细血管反射的光到达摄像装置,缓和红眼的功能的摄像装置。
但是,在这种摄像装置中,如果被拍摄体为了缓和红眼而不凝视照射的光,则具有不能够有效地得到其效果的问题。
因此,在特开2004-145287号公报中,公开了对于包括红眼的图像实施图像处理,修正红眼的技术。这是使用计算机上的软件(程序)检测包含在摄影图像中的人物的瞳孔,进而判别该瞳孔是否是红眼,通过预定的色变换处理修正红眼。
然而,在上述的用软件进行的红眼修正中,具有即使消除图像内的红眼,也不能够反映被拍摄体的瞳孔的原有颜色的问题。像有蓝色瞳孔的人与茶色瞳孔的人那样,在人的瞳孔颜色上具有个人差异。由此,如果对于所有的人通过实施预定的色变换处理进行红眼修正,则反而成为不自然的眼睛颜色。
另外,一般使用图像处理用的软件能够变更摄影图像的瞳孔的部分颜色,但是变换后的颜色只是其软件使用者选择,不能够进行自动的红眼修正处理。
本发明例示的目的之一在于提供自动地而且能够反映被拍摄体的瞳孔的原有颜色那样修正摄影图像中的红眼的图像处理装置。
发明内容
本发明的目的在于在所拍摄的图像中所包含的人物的瞳孔不是原有颜色时,能够根据包含在该图像中的人物的特征信息修正到原有瞳孔颜色的图像处理装置、摄像装置以及图像处理方法。
作为本发明的一个方案的图像处理装置的特征是具有检测装置,从通过摄像所生成的第1图像,检测具有第1颜色的瞳孔;以及变更装置,把在上述检测装置检测出的瞳孔的颜色变更为与上述第1颜色不同的第2颜色,所述图像处理装置的特征在于包括:存储装置,存储通过摄像所生成的第2图像;以及搜寻装置,从上述第1图像检测表示具有上述第1颜色的瞳孔的被拍摄体的特征的特征信息,从上述第2图像中搜寻与上述特征信息对应的被拍摄体,上述变更装置基于由上述搜索装置搜索到的上述被拍摄体的瞳孔的颜色,设定第2颜色。
另外,作为本发明另一个方案的图像处理装置的特征是具有检测步骤,从通过摄像所生成的第1图像,检测具有第1颜色的瞳孔;以及变更步骤,把在上述检测步骤检测出的瞳孔的颜色变更为与上述第1颜色不同的第2颜色,所述图像处理方法的特征在于包括:存储步骤,存储通过摄像所生成的第2图像;以及搜寻步骤,从上述第1图像检测表示具有上述第1颜色的瞳孔的被拍摄体的特征的特征信息,从上述第2图像中搜寻与上述特征信息对应的被拍摄体,在上述变更步骤中,基于由上述搜索步骤搜索到的上述被拍摄体的瞳孔的颜色,设定第2颜色。
另外,作为本发明另一个方案的摄像装置的特征是具有从通过摄像所生成的第1图像,检测包括在该第1图像中的被拍摄体的第1颜色的瞳孔的检测装置、把上述第1颜色的瞳孔变更为与该第1颜色不同的第2颜色的变更装置和从上述第1图像生成表示上述被拍摄体的特征的特征信息的特征信息生成装置,上述变更装置基于上述特征信息变更为上述第2颜色。
另外,作为本发明另一个方案的摄像装置的特征是具有从通过使用了第1照明光的摄像所生成的第1图像,检测包含在该第1图像中的被拍摄体的第1颜色的瞳孔的检测装置和把上述第1颜色的瞳孔变更为与该第1颜色不同的第2颜色的变更装置,上述变更装置从由使用了比上述第1照明光的发光量低的第2照明光的摄像以及没有使用上述第1照明光的摄像的某一方生成的第2图像,检测包含在该第2图像中的上述人物的瞳孔的颜色,把该检测出的颜色设定为上述第2颜色。
另外,作为本发明另一个侧面的摄像装置的特征是具有拍摄被拍摄体生成第1图像的图像生成装置、从上述第1图像检测包含在该第1图像中的人物的第1颜色的瞳孔的检测装置和在检测出上述第1颜色的瞳孔时进行警告动作的警告装置。
另外,作为本发明另一个方案的图像处理方法的特征是具有从通过摄像所生成的第1图像,检测包含在该第1图像中的被拍摄体的第1颜色的瞳孔的检测过程、把上述第1颜色的瞳孔变更为与该第1颜色不同第2颜色的变更过程、从上述第1图像生成上述被拍摄体的特征的特征信息的特征信息生成过程,上述变更方法基于上述特征信息变更为上述第2颜色。
另外,作为本发明另一个侧面的图像处理方法的特征是具有从通过使用了第1照明光的摄像所生成的第1图像,检测包含在该第1图像中的被拍摄体的第1颜色的瞳孔的检测过程和把上述第1颜色的瞳孔变更为与该第1颜色不同的第2颜色的变更过程,上述变更过程从由使用了比上述第1照明光的发光量低的第2照明光的摄像以及没有使用上述第1照明光的摄像中的某一方生成的第2图像,检测包含在该第2图像中的上述人物的瞳孔的颜色,把该检测出的颜色设定为上述第2颜色。
附图说明
图1是表示作为本发明实施例1的图像处理装置的一个例子的摄像装置的结构的框图。
图2是表示作为本发明实施例1的图像处理装置的一个例子的个人计算机的图。
图3是表示本发明实施例1的摄像装置中的红眼修正处理单元的结构的框图。
图4是表示本发明实施例1的摄像装置中的人物信息的结构的图。
图5是表示本发明实施例1的摄像装置中的照相机控制单元和红眼修正处理单元的动作的流程图。
图6是表示本发明实施例2的摄像装置中的照相机控制单元和红眼修正处理单元的动作的流程图。
图7是用于被拍摄体区域检测的亮度信号分组的图。
图8是用于被拍摄体区域检测的色差信号分组的图。
具体实施方式
以下,参照附图详细地说明本发明优选的实施形态。
第1实施形态
图1是表示作为本实施形态的图像处理装置的一个例子的摄像装置100的结构图。摄像装置100由数码照相机、数码摄像机、照相机内置便携电话机等能够作为数码照相机动作的装置所构成,而在本实施形态中,以摄像装置100是数码照相机的情况为例进行说明。
在图1中,101是摄影镜头单元,102是把由摄影镜头单元101形成的被拍摄体图像进行光电变换的CCD传感器,是具有CMOS传感器等光电变换功能的摄影元件。
103是把来自摄影元件102的输出信号进行A/D变换的A/D变换器,104是在来自A/D变换器103的数字信号上实施各种处理,生成图像信号(以下称为图像)的图像生成单元。
另外,112是修正在图像生成单元104生成的图像中的红眼的红眼修正处理单元。113是存储保存在图像生成单元104生成的图像或者其它信息(后述的特征信息、人物信息等)的存储器。
图1的摄像装置100是把使用摄影元件102生成图像的图像生成装置105和进行红眼修正的图像处理装置110构成为一体的装置。另外,120是显示从图像生成单元104输出的图像或者从红眼修正处理单元112输出的红眼修正图像的由液晶显示屏等构成的显示单元。另外,130是把从图像生成单元104输出的图像或者从红眼修正处理单元112输出的红眼修正图像写入到记录媒体(半导体存储器、光盘、磁盘等),或者从该记录媒体读出图像的记录单元。
进而,140是将作为照明光的闪光灯光照射到被拍摄体的照明单元,150是主管包括图像生成装置105、图像处理装置110以及照明单元140的摄像装置100的整体控制的照相机控制单元。
另一方面,图2是表示作为本实施形态的图像处理装置的一个例子的个人计算机300的图。在数码照相机、数码摄像机、照相机内置便携电话机等摄像装置200中,生成被拍摄体的图像。该图像记录在记录媒体201中,或者经过线缆202或通过未图示的无线装置输出到外部。
个人计算机300例如通过安装在插槽中的记录了图像的记录媒体201,能够从该记录媒体201读入图像信号。另外,经过线缆202能够从摄像装置200直接取入图像。
在个人计算机300中,主要是内部的CPU与安装在硬盘或者存储器中的图像处理程序一起,起到图1所示的红眼修正处理单元112以及存储器113的作用。
图3表示红眼修正处理单元112的更详细的结构。112a是从输入的图像检测与包含在该图像中的人物的面部相当的区域(面部区域)的面部检测单元。面部的检测可以使用众所周知的方法。作为众所周知的方法,例如有基于边缘检测或者形状图形检测的面部检测方法,基于色调抽取或者肤色抽取的面部检测方法等。
例如,在特开2000-137788号公报中,公开了把候选区域分割为小区域,把每个分割区域的特征点与预先设定的面部图像对照,从其准确度抽取面部区域的方法。在特开2000-149018号公报中,公开了抽取成为面部候选的多个候选区域,从各候选区域的重复度评价准确度,抽取面部区域的方法。另外,在特开2000-148980号公报中,公开了首先抽取成为面部候选的多个候选区域,接着,在各候选区域的浓度是与预定的阈值相对应的值的情况下,抽取躯体候选区域,使用面部以及躯体候选区域的浓度或者色度反差评价准确度,抽取面部区域的方法。
112b是从由面部检测单元112a检测出的面部区域的图像,检测因闪光灯光在视网膜的反射成为第1颜色的红色的眼睛(瞳孔),即检测红眼的红眼检测单元。关于从抽取出的面部区域检测红眼的方法也可以使用众所周知的方法。例如,有进行使用了边缘检测、形状图形检测、位置检测、色调信息等的瞳孔抽取,从色度或者色调检测红眼的方法。除此以外,还可以举出使用边缘检测、形状图形检测、位置信息等抽取瞳孔,从该眼睛的图像数据的亮度直方图抽取低亮度区域,把抽取出的低亮度区域进行压缩处理,抽取瞳孔的区域,从色度或者色调检测红眼的方法等。
例如,在特开2000-076427号公报中,公开了把面部候选区域作为xy平面,针对每个像素分别求解使用了色调等的图像特征点z。然后,设定xyz的三维空间,从z值的山峰形分布分割xy平面,在每个分割区域从形状信息或者统计的图像特征点等检测红眼的方法。
另外,在红眼检测单元112b中,也可以首先从面部区域的图像,使用边缘检测、图形形状检测、位置信息、色调信息等检测眼睛整体的区域,进而,判别瞳孔是否成为红色(红眼)。例如,能够采用在检测出的眼睛的区域计算色差信号Cr、Cb的平均值,用公式
【数1】
θ = tan - 1 Cr Cb
计算色调角,以进入预先设定的红色的角度为条件,判断红眼的方法。
112c是从由面部检测单元112a检测出的面部区域的图像生成表示面部特征的信息的特征信息计算单元。作为特征信息,包括眉毛或者眼睛的距离、面部的轮廓、鼻子或者嘴的形状、皮肤的颜色等,从这些多个特征信息进行人物(个人)的识别。另外,例如,还可以包含使用众所周知的小波(wavelet)方法处理面部图像得到的面部的浓淡或者锐度。进而,作为特征信息,还生成包括在图像上的形状识别或者执行图形匹配法等时使用的面部的特征性部位的图像图形。
另外,可以在面部检测单元112a以及红眼检测单元112b中采用的检测方法不限于上述的方法,只要是最终能够以可允许的精度检测出红眼或者面部特征信息的方法,则就可以是众所周知的方法以及将来开发的方法的任一种。
112d是在输入图像上,进行用于变更由红眼检测单元112b检测出的红眼的颜色的修正处理的颜色修正单元。关于这里的处理在后面叙述。
存储器113中存储一个人或者多人的人物信息。作为人物信息,如图4所示,除去人物(个人)的眉毛或眼睛的距离、面部的轮廓、鼻子或者嘴的形状、皮肤的颜色等上述说明过的面部的特征信息以外,还包括通过根据该人物的姓名或者瞳孔的颜色信息、皮肤的颜色进行分组得到的皮肤的组信息、与该组信息相对应的瞳孔的颜色等信息。另外,在存储器113中,存储包括成为本次被拍摄体的人物的摄影图像(第2图像)的没有发生红眼的图像,在该图像的存储目标的地址中也包括人物信息。
图5是表示上述摄像装置100中的照相机控制单元150以及红眼修正处理单元112执行的从摄像到红眼修正处理的过程的流程图。照相机控制单元150以及红眼修正处理单元112根据计算机程序(图像处理程序)进行该处理。但是也可以硬件地执行。另外,图5中,把各步骤简记为S。
首先,在步骤S101中,照相机控制单元150根据摄影者的拍摄开关的操作使照明单元140发光,进行闪光灯摄像。由此,在图像生成单元140中生成作为第1图像的摄影图像(图像信号)。
接着,在步骤S102中,面部检测单元112a检测包含在摄影图像中的面部区域,进而,红眼检测单元112b判别在检测出的面部区域中是否有红眼。在没有红眼的情况下进入到步骤S103-2,在有红眼的情况下进入到步骤S103-1。
在步骤S103-2中,未图示的CPU把没有红眼的摄影图像记录在存储媒体中。
另一方面,在步骤S103-1中,特征信息计算单元112c从判别有红眼的面部区域计算该面部的特征信息。
然后,在步骤S104中,在色修正单元112d中,把预先登录在存储器113中的一个人或者多人的人物信息中包含的特征信息与在步骤S103-1中计算出的特征信息进行比较。比较的结果,在能够特定包括准确度为预定值以上的特征信息的人物信息的情况下进入到步骤S105,在不能够特定的情况下进入到步骤S106。这里,在存在多个包括准确度为预定值以上的特征信息的人物信息的情况下,选择准确度最高的人物信息,或者添加比较的信息,选择一个人物信息。
在步骤S105中,红眼修正处理单元112从在步骤S104中检测出的特定人物信息读出该人物的原来的瞳孔颜色,使用该颜色(第2颜色)修正第1图像上的人物的红眼区域。具体地讲,红眼修正处理单元112用与第2颜色对应的色差信号值置换在步骤S102中检测中的红眼区域的色差信号值。接着,在步骤S107中,未图示的CPU把红眼被变更为原来瞳孔颜色的修正图像记录在记录媒体中。
另一方面,在步骤S106中,面部检测单元112a在存储器113中所记录的一个人或者多人的摄影图像(第2图像)中,搜寻与在第1图像中成为被拍摄体的人物相同人物的摄影图像。这里,根据使用了上述的图像图形的图像匹配法或者通用的形状识别方法进行搜寻。当能够发现同一个人物时,进入到步骤S108。当不能够发现同一个人物时进入到步骤S110。
在步骤S108中,红眼检测单元112b从发现了该同一个人物的搜寻图像检测该人物的瞳孔及其颜色(第2颜色)。然后,用检测出的颜色的色差信号置换第1摄影图像中的红眼区域的色差信号,进行红眼修正,然后进入到步骤S109,未图示的CPU把修正图像记录在记录媒体中。
另外,在步骤S110中,未图示CPU从面部区域根据成为被拍摄体的人物的皮肤颜色进行被拍摄体所属的组判别。例如,未图示的CPU使用作为在步骤S103-1中检测出的特征信息的皮肤颜色判别被拍摄体所属的组。在能够判别的情况下,进入到步骤S111,色修正单元112d根据所判定的被拍摄体所属的组,作为一般的瞳孔颜色用记述在人物信息中的颜色的色差信号置换红眼区域的色差信号,修正红眼。然后,进入到步骤S112,未图示的CPU把修正图像记录在记录媒体中。
图7和图8表示这里的基于皮肤颜色的被拍摄体所属的分组的情况。图7根据皮肤颜色的状态把亮度信号分为被拍摄体所属的组,横轴表示亮度值。图8根据皮肤颜色的状态把色差信号分为被拍摄体所属的组,纵轴表示-Cd信号,横轴表示Cr信号。
例如,皮肤的颜色偏白,则分组成为图7中的303、图8中的402,如果偏黄,则分组成为图7中的302、图8中的401,如果偏黑,则分组成为图7中的301、图8中的403。
然后,把皮肤的亮度信号与图7的组,把皮肤的色差信号的色度坐标位置与图8中的进行比较,决定被拍摄体属于哪个组。在表示分别为不同的组的情况下,使相关性高的一方优先,决定被拍摄体所属的组。另外,在皮肤的颜色与哪一个组都不一致的情况下视为不是面部区域。另外,由于考虑到日照等对于皮肤颜色的影响,因此除去皮肤的亮度信号、色差信号以外,还可以加入在步骤S103-1中计算出的特征信息中与面部的形状有关的要素,进行分组。
在步骤S111中,当未图示的CPU不能够判定被拍摄体所属的组时,进入到步骤S113,色修正单元112d使用设定为默认颜色的颜色(例如黑)或者摄影者指定的颜色进行红眼修正。而且,在步骤S114中,未图示的CPU把修正图像记录在记录媒体中。
通过在摄影装置中使闪光灯发光进行人物摄影,进行以上的处理,可以得到红眼修正了的图像。
另外,这里说明了摄像装置中的处理的过程,在采用个人计算机进行本实施形态的处理的情况下,在步骤S101中从记录媒体或者摄像装置读入经闪光灯摄像的图像,从步骤S102开始进行同样的处理。修正图像的记录可以在个人计算机内的硬件中进行。
第2实施形态
图6是表示本实施形态的摄像装置100中的照相机控制单元150以及红眼修正处理单元112中执行的从摄像到红眼修正处理的过程的流程图。执行本处理的摄像装置由于与在第1实施形态中说明过的相同,因此在这里,在各构成要素上标注在第1实施形态中使用的符号进行说明。照相机控制单元150以及红眼修处理单元112根据计算机程序(图像处理程序)进行该处理。但是也可以硬件地进行。另外,图6中,把各步骤简记为S。
首先,在步骤S201中,照相机控制单元150使闪光灯发光,进行第1次摄像,图像生成单元104生成作为第1图像的摄影图像。
接着,在步骤S202中,与第1实施形态的步骤S102相同,面部检测单元112a从摄影图像检测面部区域,红眼检测单元112b判定在检测出的面部区域中是否有红眼。在没有红眼的情况下,进入到步骤S204,未图示的CPU把摄影图像记录在记录媒体中。在有红眼的情况下,进入到步骤S203。
在步骤S203中,照相机控制单元150使闪光灯不发光或者使发光量比第1次低,进行第2次摄像。图像生成单元104生成作为第2图像的摄影图像。
接着,在步骤S205中,在色修正单元112d中,从第2图像搜寻与第1图像中的被摄像人物相同的人物。搜寻方法与第1实施形态的步骤S106相同。当能够检测出同一个人物时进入到步骤205,当不能够检测出时进入到步骤208。
在步骤S206中,红眼检测单元112b检测第2图像中的人物的瞳孔颜色。然后,色修正单元112d使用该颜色(第2颜色)修正第1图像中的红眼。修正方法与第1实施形态相同。接着,在步骤S207中,未图示的CPU把修正图像记录在记录媒体中。
另一方面,在步骤S207中,未图示的CPU与第1实施形态的步骤S110相同,根据人物的皮肤颜色进行被拍摄体所属的组判定。当未图示的CPU能够判定被拍摄体所属的组时,进入到步骤S209,色修正单元112d与第1实施形态的步骤S111相同,按照基于被拍摄体所属的组的瞳孔颜色修正第1图像的红眼。接着,在步骤210中,未图示的CPU把修正图像记录在记录媒体中。
在步骤S208中,当未图示的CPU不能够判定被拍摄体所属的组时,进入到步骤S211,色修正单元112d与第1实施形态的步骤S113相同,按照默认颜色或者摄影者的指定颜色修正红眼,在步骤S212中,未图示的CPU把修正图像记录在记录媒体中。
这里,在步骤211中,也可以不进行红眼修正,而在显示单元120上进行警告显示或者从扬声器发生警告音。这一点在第1实施形态的步骤S113中也相同。
通过在摄影装置中使闪光灯发光进行人物摄影,进行以上的处理,可以得到红眼修正了的图像。
另外,这里说明了摄像装置中的处理的流程,在用个人计算机进行上述处理的情况下,从记录媒体或者摄像装置读入在步骤S201中用闪光灯拍摄的图像以及使闪光灯不发光拍摄的或者降低发光亮拍摄的图像,进行除去步骤S203以外的步骤S202以后的处理。修正图像的记录可以在个人计算机内的硬件中进行。
另外,第2图像也可以不是在步骤S203的第2次摄像中得到的图像,而使用在步骤S201的第1次摄像之前得到的用于进行AE(自动曝光)、AF(自动聚焦)的图像。
在上述各实施形态中,以第1颜色为红色进行了说明,而实际上摄影的红眼的颜色不限于单纯的红色。这种情况下,可以预先把在该摄像装置中摄影了的红眼的颜色设定为第1颜色,进行各检测处理。
另外,也可以不是用单色构成的第2颜色置换红眼,而是用多色构成的第2颜色置换红眼。
另外,在步骤S111或者步骤S209中,也可以对应被拍摄体所属的组,显示能够成为候选的多个瞳孔颜色,使得使用者从中选择。
另外,图像生成装置105、面部检测单元112a、红眼检测单元112b、特征信息计算单元112c、色修正单元112d以及存储器113不一定需要设置在同一个装置内部,通过根据有线或无线通信相互收发必要的信息,也能够执行上述红眼修正的流程。
另外,通过把记录了实现上述实施形态的功能的软件程序代码的存储媒体(记录媒体)供给到通过通信能够控制摄像装置的摄像***或者摄像装置中,该摄像***的计算机或者摄像装置的微机读出并执行保存在存储媒体中的程序代码也能够达到本发明的目的。在这种情况下,从存储媒体读出的程序代码自身实现上述实施形态的功能,存储了该程序代码的存储媒体构成本发明。另外,通过计算机执行所读出的程序代码,不仅实现上述实施形态的功能,根据该程序代码的指示,在计算机上工作的操作***(OS)等进行实际处理的一部分或者全部,通过该处理实现上述实施形态的功能的情况也包括在内。
进而,从存储媒体读出的程序代码在写入到***在摄像***或者摄像装置中的功能扩展板,或者与摄像***的计算机或摄像装置的微机连接的功能扩展单元所具备的存储器中以后,根据该程序代码的指示,该功能扩展板或者功能扩展单元具备的CPU等进行实际处理的一部分或者全部,通过该处理实现上述实施形态的功能的情况也包括在内。

Claims (7)

1.一种图像处理装置,具有:
检测装置,从通过摄像所生成的第1图像,检测具有第1颜色的瞳孔;以及
变更装置,把在上述检测装置检测出的瞳孔的颜色变更为与上述第1颜色不同的第2颜色,
所述图像处理装置的特征在于包括:
存储装置,存储通过摄像所生成的第2图像;以及
搜寻装置,从上述第1图像检测表示具有上述第1颜色的瞳孔的被拍摄体的特征的特征信息,从上述第2图像中搜寻与上述特征信息对应的被拍摄体,
上述变更装置基于由上述搜索装置搜索到的上述被拍摄体的瞳孔的颜色,设定第2颜色。
2.根据权利要求1所述的图像处理装置,其特征在于:
所谓上述第1颜色是使用了照明光的摄像结果引起的红眼现象的颜色。
3.根据权利要求1所述的图像处理装置,其特征在于:
上述特征信息是表示上述被拍摄体的面部特征的信息。
4.根据权利要求3所述的图像处理装置,其特征在于:
表示上述面部特征的信息包括被拍摄体的眉毛或者眼睛的距离、面部的轮廓、鼻子或者嘴的形状以及皮肤的颜色中的至少某一个。
5.根据权利要求1所述的图像处理装置,其特征在于:
上述第1图像是使用了照明光进行拍摄所产生的图像,
上述第2图像是通过使用了发光量比产生上述第1图像时的照明光低的照明光进行拍摄所产生的图像以及通过不使用上述照明光进行拍摄所产生的图像中的任意一个图像。
6.一种图像处理方法,具有:
检测步骤,从通过摄像所生成的第1图像,检测具有第1颜色的瞳孔;以及
变更步骤,把在上述检测步骤检测出的瞳孔的颜色变更为与上述第1颜色不同的第2颜色,
所述图像处理方法的特征在于包括:
存储步骤,存储通过摄像所生成的第2图像;以及
搜寻步骤,从上述第1图像检测表示具有上述第1颜色的瞳孔的被拍摄体的特征的特征信息,从上述第2图像中搜寻与上述特征信息对应的被拍摄体,
在上述变更步骤中,基于由上述搜索步骤搜索到的上述被拍摄体的瞳孔的颜色,设定第2颜色。
7.根据权利要求6所述的图像处理方法,其特征在于:
上述第1图像是使用了照明光进行拍摄所产生的图像,
上述第2图像是通过使用了发光量比产生上述第1图像时的照明光低的照明光进行拍摄所产生的图像以及通过不使用上述照明光进行拍摄所产生的图像中的任意一个图像。
CNB2005100780907A 2004-06-14 2005-06-14 图像处理装置以及摄像装置 Expired - Fee Related CN100344150C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004176184A JP4078334B2 (ja) 2004-06-14 2004-06-14 画像処理装置および画像処理方法
JP2004176184 2004-06-14

Publications (2)

Publication Number Publication Date
CN1717001A CN1717001A (zh) 2006-01-04
CN100344150C true CN100344150C (zh) 2007-10-17

Family

ID=35460102

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100780907A Expired - Fee Related CN100344150C (zh) 2004-06-14 2005-06-14 图像处理装置以及摄像装置

Country Status (3)

Country Link
US (1) US7751615B2 (zh)
JP (1) JP4078334B2 (zh)
CN (1) CN100344150C (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7042505B1 (en) 1997-10-09 2006-05-09 Fotonation Ireland Ltd. Red-eye filter method and apparatus
US7738015B2 (en) 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US7630006B2 (en) 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US7970182B2 (en) 2005-11-18 2011-06-28 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7689009B2 (en) 2005-11-18 2010-03-30 Fotonation Vision Ltd. Two stage detection for photographic eye artifacts
US8036458B2 (en) 2007-11-08 2011-10-11 DigitalOptics Corporation Europe Limited Detecting redeye defects in digital images
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US8170294B2 (en) 2006-11-10 2012-05-01 DigitalOptics Corporation Europe Limited Method of detecting redeye in a digital image
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7920723B2 (en) 2005-11-18 2011-04-05 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7336821B2 (en) 2006-02-14 2008-02-26 Fotonation Vision Limited Automatic detection and correction of non-red eye flash defects
US9412007B2 (en) 2003-08-05 2016-08-09 Fotonation Limited Partial face detector red-eye filter method and apparatus
US8520093B2 (en) 2003-08-05 2013-08-27 DigitalOptics Corporation Europe Limited Face tracker and partial face tracker for red-eye filter method and apparatus
JP4078334B2 (ja) 2004-06-14 2008-04-23 キヤノン株式会社 画像処理装置および画像処理方法
US7599577B2 (en) 2005-11-18 2009-10-06 Fotonation Vision Limited Method and apparatus of correcting hybrid flash artifacts in digital images
WO2007076891A1 (en) * 2005-12-30 2007-07-12 Telecom Italia S.P.A. Average calculation in color space, particularly for segmentation of video sequences
DE602007012246D1 (de) 2006-06-12 2011-03-10 Tessera Tech Ireland Ltd Fortschritte bei der erweiterung der aam-techniken aus grauskalen- zu farbbildern
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
WO2008109708A1 (en) 2007-03-05 2008-09-12 Fotonation Vision Limited Red eye false positive filtering using face location and orientation
JP4175425B2 (ja) * 2007-03-15 2008-11-05 オムロン株式会社 瞳色補正装置およびプログラム
JP4214420B2 (ja) * 2007-03-15 2009-01-28 オムロン株式会社 瞳色補正装置およびプログラム
US8503818B2 (en) 2007-09-25 2013-08-06 DigitalOptics Corporation Europe Limited Eye defect detection in international standards organization images
US8212864B2 (en) 2008-01-30 2012-07-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
US8081254B2 (en) 2008-08-14 2011-12-20 DigitalOptics Corporation Europe Limited In-camera based method of detecting defect eye with high accuracy
US8705887B2 (en) * 2008-08-22 2014-04-22 Weyerhaeuser Nr Company Method and apparatus for filling in or replacing image pixel data
JP2011239314A (ja) * 2010-05-13 2011-11-24 Sanyo Electric Co Ltd 撮像装置、画像処理方法、画像処理プログラム
CN110648296B (zh) * 2019-09-24 2022-10-11 Oppo广东移动通信有限公司 一种瞳孔颜色修正方法、修正装置、终端设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000305141A (ja) * 1999-04-21 2000-11-02 Olympus Optical Co Ltd 電子カメラ
JP2001148780A (ja) * 1999-09-07 2001-05-29 Fuji Photo Film Co Ltd 赤目修正対象領域の設定方法および赤目修正方法
US6278491B1 (en) * 1998-01-29 2001-08-21 Hewlett-Packard Company Apparatus and a method for automatically detecting and reducing red-eye in a digital image
JP2003036438A (ja) * 2001-07-25 2003-02-07 Minolta Co Ltd 画像中の赤目を特定するプログラム、記録媒体、画像処理装置及び赤目特定方法
JP2003179807A (ja) * 2001-12-13 2003-06-27 Fuji Photo Film Co Ltd 撮像装置
CN1437160A (zh) * 2002-01-17 2003-08-20 富士胶片株式会社 红眼检测及修正方法
JP2004164276A (ja) * 2002-11-13 2004-06-10 Seiko Epson Corp 赤目修正装置、赤目修正方法および赤目修正プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3279913B2 (ja) * 1996-03-18 2002-04-30 株式会社東芝 人物認証装置、特徴点抽出装置及び特徴点抽出方法
US7106887B2 (en) * 2000-04-13 2006-09-12 Fuji Photo Film Co., Ltd. Image processing method using conditions corresponding to an identified person
US6859565B2 (en) * 2001-04-11 2005-02-22 Hewlett-Packard Development Company, L.P. Method and apparatus for the removal of flash artifacts
US7035462B2 (en) * 2002-08-29 2006-04-25 Eastman Kodak Company Apparatus and method for processing digital images having eye color defects
JP2004206688A (ja) * 2002-12-12 2004-07-22 Fuji Photo Film Co Ltd 顔認識方法、顔切出方法、および撮像装置
US20050024516A1 (en) * 2003-07-31 2005-02-03 Robert Fish Digital camera
JP4345622B2 (ja) 2003-11-05 2009-10-14 オムロン株式会社 瞳色推定装置
JP4078334B2 (ja) 2004-06-14 2008-04-23 キヤノン株式会社 画像処理装置および画像処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278491B1 (en) * 1998-01-29 2001-08-21 Hewlett-Packard Company Apparatus and a method for automatically detecting and reducing red-eye in a digital image
JP2000305141A (ja) * 1999-04-21 2000-11-02 Olympus Optical Co Ltd 電子カメラ
JP2001148780A (ja) * 1999-09-07 2001-05-29 Fuji Photo Film Co Ltd 赤目修正対象領域の設定方法および赤目修正方法
JP2003036438A (ja) * 2001-07-25 2003-02-07 Minolta Co Ltd 画像中の赤目を特定するプログラム、記録媒体、画像処理装置及び赤目特定方法
JP2003179807A (ja) * 2001-12-13 2003-06-27 Fuji Photo Film Co Ltd 撮像装置
CN1437160A (zh) * 2002-01-17 2003-08-20 富士胶片株式会社 红眼检测及修正方法
JP2004164276A (ja) * 2002-11-13 2004-06-10 Seiko Epson Corp 赤目修正装置、赤目修正方法および赤目修正プログラム

Also Published As

Publication number Publication date
CN1717001A (zh) 2006-01-04
US20050275734A1 (en) 2005-12-15
US7751615B2 (en) 2010-07-06
JP2005353010A (ja) 2005-12-22
JP4078334B2 (ja) 2008-04-23

Similar Documents

Publication Publication Date Title
CN100344150C (zh) 图像处理装置以及摄像装置
JP5530503B2 (ja) 視線測定のための方法及び装置
CN104092947B (zh) 摄像装置、脸辨别方法以及记录介质
JP4709147B2 (ja) デジタル画像から赤目現象を除去するシステム及びその方法
JP4732299B2 (ja) 特定被写体像の検出方法およびデジタルカメラ
CN101001318B (zh) 图像拍摄设备及其控制方法
US20100014719A1 (en) Storage apparatus and method, program, and playback apparatus and method
US8760551B2 (en) Systems and methods for image capturing based on user interest
US9549111B2 (en) Image capturing apparatus and control program product with speed detection features
US20090141141A1 (en) Imaging apparatus having focus control function
US20050200722A1 (en) Image capturing apparatus, image capturing method, and machine readable medium storing thereon image capturing program
JP2007503030A5 (zh)
CN1604621A (zh) 摄像装置及其控制方法
US20170078611A1 (en) Camera user input based image value index
CN1658055A (zh) 闪光装置的发光控制方法及图像摄取装置
CN1764238A (zh) 摄像装置
CN1638443A (zh) 图像处理装置及其方法和摄像装置
JP5246078B2 (ja) 被写***置特定用プログラム、およびカメラ
CN1940941A (zh) 图像分析装置和图像分析程序存储介质
US8625896B2 (en) Image matting
CN109271552A (zh) 通过图片检索视频的方法、装置、电子设备及存储介质
CN1694508A (zh) 数码相机
Rahman et al. Real-time face-priority auto focus for digital and cell-phone cameras
CN107148237B (zh) 信息处理装置、信息处理方法和程序
CN1645236A (zh) 摄像装置及摄像方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20071017

Termination date: 20150614

EXPY Termination of patent right or utility model