CN1691743A - 红眼修正方法、程序及实施该方法的装置 - Google Patents
红眼修正方法、程序及实施该方法的装置 Download PDFInfo
- Publication number
- CN1691743A CN1691743A CNA2005100638812A CN200510063881A CN1691743A CN 1691743 A CN1691743 A CN 1691743A CN A2005100638812 A CNA2005100638812 A CN A2005100638812A CN 200510063881 A CN200510063881 A CN 200510063881A CN 1691743 A CN1691743 A CN 1691743A
- Authority
- CN
- China
- Prior art keywords
- red
- eye correction
- face area
- eye
- pupil
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000593989 Scardinius erythrophthalmus Species 0.000 title claims abstract description 115
- 238000012937 correction Methods 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 title claims description 22
- 210000001747 pupil Anatomy 0.000 claims abstract description 69
- 238000012545 processing Methods 0.000 claims abstract description 44
- 201000005111 ocular hyperemia Diseases 0.000 claims description 137
- 208000024754 bloodshot eye Diseases 0.000 claims description 29
- 238000000605 extraction Methods 0.000 claims description 9
- 239000000470 constituent Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009966 trimming Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 11
- 230000015654 memory Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 7
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 7
- 229910052721 tungsten Inorganic materials 0.000 description 7
- 239000010937 tungsten Substances 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 210000000887 face Anatomy 0.000 description 5
- 239000000306 component Substances 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000002224 dissection Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 238000005755 formation reaction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241001062009 Indigofera Species 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010070834 Sensitisation Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000010612 desalination reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008313 sensitization Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B27/00—Photographic printing apparatus
- G03B27/72—Controlling or varying light intensity, spectral composition, or exposure time in photographic printing apparatus
- G03B27/73—Controlling exposure by variation of spectral composition, e.g. multicolor printers
- G03B27/735—Controlling exposure by variation of spectral composition, e.g. multicolor printers in dependence upon automatic analysis of the original
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/624—Red-eye correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30216—Redeye defect
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Multimedia (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
本发明涉及红眼修正处理单元(90),包括:根据脸检出组件(80)得到的脸部区域包含的象素的象素值,计算脸部区域的颜色模糊度的颜色模糊度计算部(91);根据求出的颜色模糊度,决定红眼修正的修正度的红眼修正度决定部(92);从脸检出组件(80)得到的脸部区域中抽出瞳孔区域的瞳孔抽出部(93);根据红眼修正度决定部(92)决定的红眼修正度,对瞳孔区域进行红眼修正的红眼修正部(94)。提供在类似钨灯照明这种红色光系照明下,采用不充分的闪光灯拍摄的摄影图象的整个脸胧区域都带红色时,能够实施维持和整个脸胧的颜色平衡的红眼修正,或者停止红眼修正的红眼修正技术。
Description
技术领域
本发明涉及一种修正摄影图象中产生的红眼的方法、红眼修正程序及实施该红眼修正方法的图象处理装置。
背景技术
以人及动物等为被拍摄对象进行闪光灯摄影时,闪光灯光的一部分光线被眼球内的血管等反射后返回照相机一侧,从而往往在摄影图象中产生所谓“红眼现象”,即眼睛的中央成为红色或与实际根本不同的颜色。随着数码相机的普及以及将底片的摄影图象数字化的胶片扫描器的普及,利用图象处理技术解决红眼问题的方案,已有多种问世。毫无疑问,也能依靠作业人员的技术进行这种修正作业,即作业人员通过监视器一边用眼睛确认红眼部分的象素,一边将该象素的色调修正成实际的色调。但是,考虑到进行这种作业的繁琐性及所需技术熟练的程度等,可知它并非一件易事。因此,想到了利用图像识别技术等,抽出瞳孔位置,或抽出图象内的红色部分,对该部分进行颜色变换这种自动化技术。但是现有技术中,难以正确地认识红眼,即使认识了红眼区域,图象处理技术也变得异常复杂,装置本身也相当的昂贵。
例如,有一种技术是:首先指定包含色调不良的眼区域在内的区域,在该区域中使用组合明亮度及红色的程度的特征量,利用红眼部分和与之相邻的白眼及皮肤部分之间出现的低谷,按照所述特征量的每个峰值进行区域分割,从而将红眼部分和白眼及皮肤部分分离(例如,参阅专利文献1)。该技术中,利用红眼部分由于来自瞳孔部中心附近的视网膜的反射强,明亮度具有从中央向周边部分逐渐下降的趋势,所以包含捕捉光在内,明亮度分布成山峰状,以及虹彩部在蓝眼人种的眼睛中红色程度的值的大小和成了红眼的瞳孔部形成的低谷。就是说,根据有关带有红色程度的颜色在眼睛区域的强度分布,区别红眼、白眼及皮肤部分。因此,在闪光灯的光不够大、例如室内的钨灯光的影响很大的脸部照片中,尽管不仅瞳孔部分,而且整个脸胧都带红色,但还是实施通常的红眼修正后,经过红眼修正的瞳孔的色调和整个脸胧的色调就要产生不协调的感觉,作为人物照片的质量,很有可能反而要恶化。
另外,还有的技术是抽出面部特有的多个颜色成分图象,检测被拍摄者的红眼位置,即:从拍摄的图象内抽出低色度区域及低照度区域中的至少一个区域和肤色区域,使用这些抽出信号,例如取其逻辑积,抽出包含人物的眼睛在内的区域,进而使用抽出的红色部分的信号,从包含眼睛在内的区域,在发生红眼时,抽出该红眼位置,根据这样得到的红眼位置数据,将红眼位置的红色修正成别的颜色,例如一般的黑眼睛的颜色(例如,参阅专利文献2)。该技术预先自动选择眼睛区域,所以与上述现有技术相比,即使进而由于闪光灯光以外的原因,使包括瞳孔在内的整个脸胧区域都带红色时,实施红眼修正可能性也很大,尽管如此,由于没有考虑对特别在钨灯照明下摄影中容易产生的整个脸胧区域都带红色的摄影图象避免红眼修正,所以红眼修正有可能引起意想不到的失败。
[专利文献1]特开2000-76427号公报(段落号0009-0011、0058-0071、第10图)
[专利文献2]特开平6-258732号公报(段落号0006-0009、0019-0023、第6图)
发明内容
鉴于上述实况,本发明的课题是提供在类似钨灯照明这种红色光系照明下,采用不充分的闪光灯拍摄的摄影图象的整个脸胧区域都带红色时,能够实施维持和整个脸胧的颜色平衡的红眼修正,或者停止红眼修正的红眼修正技术。
为了达到上述目的,采用本发明的修正摄影图象产生的红眼的红眼修正方法,由以下步骤构成:根据被摄影图象选择的脸部区域包含的象素的象素值,计算脸部区域的红色系颜色模糊度的颜色模糊度计算步骤;根据所述颜色模糊度,决定红眼修正的修正度的红眼修正度决定步骤;从所述脸部区域抽出瞳孔区域的瞳孔抽出步骤;根据所述红眼修正度对所述瞳孔区域进行红眼修正的红眼修正步骤。
在该构成中,在进行红眼修正之前,根据构成脸部区域的象素的象素值,检查脸部区域是否受到钨灯照明等的影响而成为红色系的颜色模糊,根据得到的颜色模糊度,决定红眼修正的修正度(修正强度)后,对采用家喻户晓的抽出算法抽出的瞳孔区域,进行必要的红眼修正。因此,对在钨灯照明下,采用不充分的闪光灯拍摄的脸部区域带红色的摄影图象,采用减弱的修正度进行红眼修正,或者在颜色模糊度很大时不进行红眼修正,从而可以避免不必要的红眼修正造成人物(脸部)照片的不协调。
作为求出上述颜色模糊度的简单而快速的计算方法,在本发明中提出了将所述脸部区域包含的象素的红色成分浓度值的平均值和蓝色成分浓度值的平均值的差分值,作为所述颜色模糊度的方案。通过对在各种条件下拍摄的许多脸部区域的摄影图象的统计性的考察后,查明:脸部区域包含的象素的红色成分浓度值的平均值和蓝色成分浓度值的平均值的差分值,与红色系颜色模糊的程度密切相关,可以作出将该差分值作为参数的红色系颜色模糊的概率函数。就是说,该差分值小于下限值时,可以认为其脸部区域差不多以100%的概率不产生红色系颜色模糊,所以如果瞳孔区域带红色,就积极地(即以很高的修正度)进行红眼修正;该差分值大于下限值时,可以认为其脸部区域差不多以100%的概率产生红色系颜色模糊(受到钨灯照明等的影响),红眼修正反而会使照片质量下降,所以就不进行红眼修正。该差分值在下限值和上限值之间时,以按照其微妙的概率决定的修正度进行红眼修正,就可以制作出适当的照片。
此外,在1个摄影图象中,往往包含许多脸(区域)。这时,有两种处理方法可供选择:其一是对各个脸部区域逐一决定红眼修正度,对各个脸部区域逐一进行红眼修正,虽然耗时,但却是最可靠的处理;其二是使用根据一个脸部区域决定的红眼修正度,对所有人脸部区域进行红眼修正,考虑到受到钨灯照明等的影响造成的红色系颜色模糊遍及摄影图象整体,1张脸的红色系颜色模糊度也适用于所有的脸,虽然也许对可靠性有点影响,但却可以使处理高速化。由于可以根据照片质量的要求对这种处理进行选择,所以最好采用可以任意选择这两种处理方法的结构。
另外,本发明还将使计算机实施上述红眼修正方法的程序及记录该程序的媒体,作为权利的对象。
进而,本发明还将实施上述红眼修正方法的图象处理装置,作为权利的对象,这种图象处理装置,包括:根据被摄影图象选择的脸部区域包含的象素的象素值,计算脸部区域的红色系颜色模糊度的颜色模糊度计算部;根据所述颜色模糊度,决定红眼修正的修正度的红眼修正度决定部;从所述脸部区域抽出瞳孔区域的瞳孔抽出部;根据所述红眼修正度对所述瞳孔区域进行红眼修正的红眼修正部。当然,这种图象处理装置也可以获得上述红眼修正方法中所有的作用效果。
本发明的其它特征及优点,可通过使用以下附图的实施方式的讲述得到揭示。
附图说明
图1是采用本发明的红眼修正技术的照片打印装置的外形图。
图2是照片打印装置的印刷台结构的示意图。
图3是讲述照片打印装置的控制器内各部件的功能要素的方框图。
图4是表示红眼修正处理单元的功能构成的方框图。
图5是讲述根据颜色模糊度决定修正度的函数的说明图。
图6是红眼处理的流程图。
具体实施方式
关于本发明的实施方式,根据附图进行讲述。
图1是表示采用本发明的红眼修正技术的相片打印装置的外形图。该相片打印装置,由作为对感光纸P进行曝光处理和显影处理的相片打印机的印刷台1B,和对从显影后的底片2a及数码相机的存储卡2b等图象输入介质中取得的摄影图象进行处理,生成、传输在印刷台1B中使用的打印数据的操作台1A构成。
该相片打印装置,也被称作“数字微型印像室”,由图2可知:印刷台1B在拉出存放在2个感光纸盒11中的滚筒状的感光纸P后,用片式切断刀12将其切成打印尺寸,与此同时还用背后打印机部13,将颜色修正信息及每格图象的编号等打印处理信息打印在该被切断的感光纸P的背面,并且用打印曝光部14,对感光纸P的表面进行摄影图象曝光,将该曝光后的感光纸P送入具有多个显影处理槽的处理槽组件15中进行显影处理。在干燥之后,由装置上部的横向进给输送带16输送到分类器17的感光纸P即相片打印件P,在该分类器17的多个托盘上,以用户单位分开的状态存放(参阅图1)。
为了用与上述的对感光纸P进行的各种处理一致的输送速度输送感光纸P,敷设着感光纸输送机构18。感光纸输送机构18由包含对感光纸输送方向而言,配置在打印曝光部14的前后的夹取式感光纸输送组件18a在内的多个夹持输送滚轮对构成。
在打印曝光部14中,相对于沿副扫描方向输送的感光纸P,设置着根据来自操作台1A的打印数据沿主扫描方向照射R(红)、G(绿)、B(蓝)3原色的激光光线的线曝光头。处理槽组件15包括:贮存成色显影处理液的成色显影槽15a、贮存漂白定影处理液的漂白定影槽15b和贮存稳定处理液的稳定槽15c。
在所述操作台1A的台状托架的上部位置,配置着从相片底片2a的一格摄影图象中取得摄影图象数据(以下除了特别的场合外,简称“摄影图象”)的胶片扫描器20。从数码相机等安装的作为摄影图象记录媒体2b使用的各种半导体存储器及CD-R等中取得图象数据的介质阅读器21,组装在作为该相片打印装置的控制器3而发挥作用的通用计算机中。该通用计算机进而还与显示各种信息的监视器23、作为在进行各种设定及调整之际使用的输入操作部而利用的操作输入器件——键盘24及鼠标25连接。
该相片打印装置的控制器3,以CPU为核心部件,用硬件或软件或它们两者构成旨在进行相片打印装置的各种动作的功能部。如图3所示,作为与本发明特别相关的功能部,可以列举:调出由胶片扫描器20及介质阅读器21读取的图象数据,为下面的处理而进行必要的预处理的图象输入部31;构成编制包含各种窗口及各种操作按钮等在内的图形操作画面及用户通过这种图形操作画面的操作输入(利用键盘24及鼠标25等)生成控制指令的图形用户接口(以下简称“GUI”)的GUI部33;根据GUI部33发送来的控制指令及直接由键盘24等输入的操作指令,为了生成所需的打印数据,对由图象输入部31传发给存储器30的摄影图象进行图象处理的打印管理部32;在颜色修正等的预先判断打印作业时,生成旨在使监视器23显示作为打印源图象及预想精修图象的模拟图象并且由GUI部33发送来的图形数据的摄象信号的摄象控制部35;根据图象处理结束后处理过的图象数据,生成适合于安装在印刷台1B上的打印曝光部14的打印数据的打印数据生成部36;按照顾客的需要,将原始的图象数据及图象处理结束后处理过的图象数据等转换成旨在写入CD-R的形式格式化的格式部37等。
图象输入部31,在摄影图象记录媒体是底片2a时,将预扫描方式和正式扫描方式的扫描数据分别发送给存储器30,进行符合各自目的的前处理。另外,摄影图象记录媒体是存储卡2b时,调出的摄影图象如果包含简略图象数据(低析象度数据),就与旨在用监视器23一览显示等而使用的摄影图象的正式数据(高析象度数据)分别发送给存储器30。但假如不包含简略图象数据时,则根据正式数据制作缩小的图象,作为简略图象数据发送给存储器30。另外,该图象输入部31还与被称作“相片打印受理装置”的采用自助方式接收相片打印的装置连接,从该相片打印受理装置接收记录着打印尺寸及打印张数的打印定货数据、记录着摄影条件等的图象属性数据和图象数据后,将图象数据传发给存储器30;将打印定货数据及图象属性数据传发给打印管理部32。在通常的相片打印定货时,打印尺寸及打印张数的打印定货数据以及需要时有无闪光灯摄影及被拍摄对象的信息、照相机种类等属性数据,由操作人员通过键盘24的操作输入,给予打印管理部32。
打印管理部32包括:管理打印尺寸及打印张数等的打印定货处理组件60,对存储器30展开的图象数据实施颜色修正及过滤(淡化及锐化等)之类的照片修描处理的图象处理组件70,以及在该实施方式中,还包括从存储器30中展开的摄影图象中检出脸部区域,给予其座标位置及朝向等的脸检出信息的脸检出组件80。该脸检出组件80,可以使用通用的,但在这里,使用的是根据脸检出算法检出认为是摄影图象中的脸的区域,将由该脸的位置和尺寸(以脸位置为基点的矩形像素区域的纵横尺寸)构成的脸部区域数据以及将脸的正立、倒立这种构图姿势作为脸角度表现的脸姿势数据作为脸检出信息输出的。根据图象数据检出脸的脸检出算法,为人所知的已有好多种,例如可以参照特开平11-339084号公报、特开2000-99722号公报、特开2000-22929号公报。
在图象处理组件70中,除了上述功能之外,还包含实施具有本发明的特征的红眼修正处理的红眼修正处理单元90。该红眼修正处理单元90,如图4所示,由下列部件构成:根据脸检出组件80得到的脸部区域包含的象素的象素值,计算脸部区域的颜色模糊度的颜色模糊度计算部91;根据求出的颜色模糊度,决定红眼修正的修正度的红眼修正度决定部92;从脸检出组件80得到的脸部区域中抽出瞳孔区域的瞳孔抽出部93;根据红眼修正度决定部92决定的红眼修正度,对瞳孔区域进行红眼修正的红眼修正部94。
颜色模糊度计算部91,根据脸检出组件80给予的脸部区域数据,求出存储器30中展开的摄影图象的脸部区域的所有象素(具有R·G·B的彩色象素值的彩色象素)中的红色成分的浓度值:R的平均值:Rave和蓝色成分的浓度值:B的平均值:Bave,将其差分值:D=Rave-Bave作为红色系颜色模糊度。毫无疑问,作为该颜色模糊度,最好用最大值及浓度平均值等将差分值:D归一化。但在这里,为了使说明简单,而将差分值:D作为颜色模糊度。红眼修正度决定部92,根据颜色模糊度计算部91得到的颜色模糊度:D,决定例如按照图5所示的曲线图表示的颜色模糊度:D而变化的红眼修正的修正度(修正强度):δ。在图5的示例中,表示颜色模糊度:D和修正度:δ的关系的函数:F,在颜色模糊度的下限值:d1以下的区域修正度:δ为1,即成为最大强度,在颜色模糊度的上限值:d2以上的区域修正度:δ为0,即不进行红眼修正。该下限值:d1和上限值:d2是通过统计性地而且是经验性地考察获得的,但是例如8比特彩色时,其差分值可以成为0~255的值,所以其百分之几左右的值就成为基准。
在进行红眼修正前,需要抽出作为红眼的瞳孔的区域包含的象素,这在瞳孔抽出部93中进行。在本实施方式中,由脸检出组件80从摄影图象中弄清脸部区域的位置及脸角度(脸姿势),所以可以用比较简单的算法抽出瞳孔区域象素。在典型的例子中,可以使用根据各种颜色成分的浓度值的肤色检出条件抽出肤色象素,同时使用依赖于抽出的肤色象素的浓度值后决定的白色检出条件抽出白色(白眼)象素,然后考虑眼睛的几何形状,决定瞳孔区域象素。但也可以使用其它众所周知的适当的瞳孔检出算法。瞳孔抽出部93,根据决定的瞳孔区域象素,编制规定瞳孔象素位置的瞳孔象素映象93a。
这样,编制摄影图象中规定瞳孔象素位置的瞳孔象素映象93a后,通过安装着适当的红眼修正算法的红眼修正部94,在瞳孔区域被判定为红眼时修正该瞳孔区域包含的象素即红眼象素。瞳孔区域是不是红眼,可以用和上述红色系颜色模糊度同样的判定条件,最好用更严格的进行判定。
关于该红眼修正部94的红眼修正,在本实施方式中,通过降低红眼象素的色度进行红眼修正。该减少色度的计算公式,使用前面决定的修正度:δ后,成为如下所示:
d=(R+G+B)/3、
R’=δ×d+(1-δ)×R、
G’=δ×d+(1-δ)×G、
B’=δ×d+(1-δ)×B。
就是说,判定为红眼的瞳孔象素的浓度值(R、G、B)变更成(R’、G’、B’),红眼成为低色度的瞳孔颜色(色度降低的程度当然随着δ的值而异)。在这个计算式中,修正度:δ为“1”时,成为不修正,修正度:δ为“0”时,修正的程度成为最大,即其颜色成为灰色。修正度:δ取“1”及“0”及其周边的值,是极端的时候,在通常的红眼修正中,修正度:δ为0.45~0.55左右。
此外,降低红眼象素的色度进行红眼修正,在实际的瞳孔颜色为明亮的蓝色及绿色时,未必能产生好的结果。在这种情况下,作为红眼修正处理可以采样如下的处理,使红眼象素的光亮度值接近以选项方式而具备的瞳孔颜色设定部设定输入的瞳孔颜色所具有的光亮度值。
下面,讲述使用这种结构的红眼处理单元90进行红眼修正的步骤。如图6的流程图所示,首先使用存储器30展示的摄影图象,脸检出组件80进行脸检出处理,将脸检出信息向红眼处理单元90输出(#01)。红眼处理单元90从接收脸检出信息的中,掌握成为处理对象的摄影图象中不包含脸部后,就结束对该摄影图象的红眼修正处理(#02No分岔);从摄影图象中检出脸部时(#02Yes分岔),则对存储器30上的摄影图象设定其脸部区域(#03)。在对本实施方式中,在1个摄影图象中检出多张脸时,从脸部尺寸和脸部位置上选择成为主要的1张脸,根据这个脸部区域,进行以下的决定修正度的步骤,然后以决定的修正度,对所有的脸的瞳孔进行红眼处理。但是毫无疑问,对于检出的所有的脸,也可以从以下讲述的决定修正度开始,独立地进行瞳孔检出及红眼修正。
设定脸部区域后,颜色模糊度计算部91使用脸部区域包含的象素,求出其红色成分的浓度值:R的比均值:Rave和蓝色成分的浓度值:B的比均值:Bave,将其差分值:D=Rave-Bave作为红色系颜色模糊度计算出(#04)。接着,红眼修正度决定部92使用图5所示的那种函数,根据颜色模糊度:D决定修正度:δ(#05)。决定修正度后,该修正度的值为“0”时,判断至少脸部区域以很高的概率带红色,所以即使瞳孔成为红眼,对它进行红眼修正后,反而使瞳孔的色调和整个脸胧的色调产生不协调的感觉,使整个照片的平衡受到破坏,考虑到这一点后,就停止红眼修正,结束该程序(#06Yes分岔)。修正度的值不为“0”时,如果瞳孔是红眼,就可以按照修正度进行或强或弱的红眼修正,所以移到下道步骤,由瞳孔抽出部93进行瞳孔检出处理(#07)。瞳孔检出完毕后,瞳孔区域的位置写入瞳孔象素映象93a,所以可以一边参照该瞳孔象素映象93a,一边依次指定应该判定为红眼的瞳孔区域进行处理。首先检查是否存在应该处理的瞳孔区域(#08),存在还未处理的瞳孔区域时(#08Yes分岔),指定该瞳孔区域进行红眼判定(#09)。红眼判定将指定的瞳孔区域的象素中的红色成分的比例超过所定值,作为判定条件进行。在指定的瞳孔区域未见到红眼时(#09No分岔),就跳过步骤#08,检查是否存在还有未处理的瞳孔区域。指定的瞳孔区域见到红眼时(#09Yes分岔),红眼修正部94使用在步骤#05中决定的修正度:δ,使用上述的修正式,进行红眼修正(#10)。步骤#08~#10的处理,反复进行到没有瞳孔区域为止(检出的脸为1张时,通常要进行二次)。
此外,为了提高处理速度,本发明还提出了如下方案:在上述步骤#01~#10的图象处理中,从脸检出起到修正度决定为止的处理,以低析象度进行,从瞳孔检出起到红眼修正为止的处理,以高析象度进行。
以适当的程度进行红眼修正处理的摄影图象及避免了红眼修正处理的摄影图象,总之,在实施其它必要的图象处理后,变换成打印数据,传输给打印曝光部14。打印曝光部14,根据打印数据,使最终成为照片打印件的感光纸P曝光。
在上述实施实施方式中,利用脸检出组件80,自动从摄影图象中检出脸部。但也可以在监视器上显示摄影图象,由操作人员人工设定脸部区域。
Claims (7)
1、一种红眼修正方法,修正摄影图象中产生的红眼,其特征在于,由以下步骤构成:
根据包含在从摄影图象中选择的脸部区域中的象素的象素值,计算脸部区域的红色系颜色模糊度的颜色模糊度计算步骤;
根据所述颜色模糊度,决定红眼修正的修正度的红眼修正度决定步骤;
从所述脸部区域中抽出瞳孔区域的瞳孔抽出步骤;以及
根据所述红眼修正度对所述瞳孔区域进行红眼修正的红眼修正步骤。
2、如权利要求1所述的红眼修正方法,其特征在于:在所述颜色模糊度计算步骤中,将所述脸部区域包含的象素的红色成分浓度值的平均值与蓝色成分浓度值的平均值的差值,作为所述颜色模糊度。
3、如权利要求1或2所述的红眼修正方法,其特征在于:在所述红眼修正度决定步骤中,对于超过所定的颜色模糊度的脸部区域,停止红眼修正。
4、如权利要求1~3任一项所述的红眼修正方法,其特征在于:在所述摄影图象中包含多个脸部区域时,对各个脸部区域逐一决定红眼修正度后,对各个脸部区域进行红眼修正。
5、如权利要求1~3任一项所述的红眼修正方法,其特征在于:在所述摄影图象中包含多个脸部区域时,使用根据一个脸部区域决定的红眼修正度,对所有的脸部区域进行红眼修正。
6、一种红眼修正程序,其特征在于,为了修正摄影图象中产生的红眼而使计算机实施下述功能:
根据包含在从摄影图象中选择的脸部区域中的象素的象素值,计算脸部区域的红色系颜色模糊度的颜色模糊度计算功能;
根据所述颜色模糊度,决定红眼修正的修正度的红眼修正度决定功能;
从所述脸部区域中抽出瞳孔区域的瞳孔抽出功能;以及
根据所述红眼修正度对所述瞳孔区域进行红眼修正的红眼修正功能。
7、一种图象处理装置,修正摄影图象中产生的红眼,其特征在于:包括:
根据包含在从摄影图象中选择的脸部区域中的象素的象素值,计算脸部区域的红色系颜色模糊度的颜色模糊度计算部;
根据所述颜色模糊度,决定红眼修正的修正度的红眼修正度决定部;
从所述脸部区域中抽出瞳孔区域的瞳孔抽出部;以及
根据所述红眼修正度对所述瞳孔区域进行红眼修正的红眼修正部。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004128482 | 2004-04-23 | ||
JP2004128482A JP4496465B2 (ja) | 2004-04-23 | 2004-04-23 | 赤目補正方法、プログラム、及びこの方法を実施する装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1691743A true CN1691743A (zh) | 2005-11-02 |
CN100366047C CN100366047C (zh) | 2008-01-30 |
Family
ID=34935376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2005100638812A Expired - Fee Related CN100366047C (zh) | 2004-04-23 | 2005-04-08 | 红眼修正方法及实施该方法的装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7460707B2 (zh) |
EP (1) | EP1589481B1 (zh) |
JP (1) | JP4496465B2 (zh) |
CN (1) | CN100366047C (zh) |
DE (1) | DE602005004195T2 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102761705A (zh) * | 2011-04-25 | 2012-10-31 | 奥林巴斯映像株式会社 | 图像记录装置、图像编辑装置以及摄像装置 |
CN110648296A (zh) * | 2019-09-24 | 2020-01-03 | Oppo广东移动通信有限公司 | 一种瞳孔颜色修正方法、修正装置、终端设备及存储介质 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5074777B2 (ja) * | 2006-05-22 | 2012-11-14 | キヤノン株式会社 | 撮像機能付表示装置、画像処理装置、画像処理方法、および、画像表示システム |
US8315463B2 (en) * | 2006-11-14 | 2012-11-20 | Eastman Kodak Company | User interface for face recognition |
JP4883783B2 (ja) * | 2006-12-22 | 2012-02-22 | キヤノン株式会社 | 画像処理装置およびその方法 |
US20080310712A1 (en) * | 2007-06-12 | 2008-12-18 | Edgar Albert D | Method and system to detect and correct whiteness with a digital image |
JP5089405B2 (ja) | 2008-01-17 | 2012-12-05 | キヤノン株式会社 | 画像処理装置及び画像処理方法並びに撮像装置 |
JP5144487B2 (ja) * | 2008-12-15 | 2013-02-13 | キヤノン株式会社 | 主顔選択装置、その制御方法、撮像装置及びプログラム |
US9721160B2 (en) | 2011-04-18 | 2017-08-01 | Hewlett-Packard Development Company, L.P. | Manually-assisted detection of redeye artifacts |
JP5273208B2 (ja) * | 2011-06-07 | 2013-08-28 | オムロン株式会社 | 画像処理装置、画像処理方法、および制御プログラム |
US9041954B2 (en) | 2011-06-07 | 2015-05-26 | Hewlett-Packard Development Company, L.P. | Implementing consistent behavior across different resolutions of images |
US8970902B2 (en) | 2011-09-19 | 2015-03-03 | Hewlett-Packard Development Company, L.P. | Red-eye removal systems and method for variable data printing (VDP) workflows |
US9256927B2 (en) * | 2012-07-06 | 2016-02-09 | Yissum Research Development Companyof The Hebrew University of Jerusalem Ltd. | Method and apparatus for enhancing a digital photographic image |
TWI707307B (zh) * | 2018-11-08 | 2020-10-11 | 瑞昱半導體股份有限公司 | 影像調整方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3036285B2 (ja) | 1993-03-05 | 2000-04-24 | ミノルタ株式会社 | 赤目位置検出装置 |
JP2907120B2 (ja) * | 1996-05-29 | 1999-06-21 | 日本電気株式会社 | 赤目検出補正装置 |
JPH10322580A (ja) * | 1997-05-20 | 1998-12-04 | Minolta Co Ltd | 電子スチルカメラ |
US6292574B1 (en) * | 1997-08-29 | 2001-09-18 | Eastman Kodak Company | Computer program product for redeye detection |
US6407777B1 (en) * | 1997-10-09 | 2002-06-18 | Deluca Michael Joseph | Red-eye filter method and apparatus |
US6016354A (en) * | 1997-10-23 | 2000-01-18 | Hewlett-Packard Company | Apparatus and a method for reducing red-eye in a digital image |
US6631208B1 (en) * | 1998-05-29 | 2003-10-07 | Fuji Photo Film Co., Ltd. | Image processing method |
JP3590265B2 (ja) * | 1998-06-11 | 2004-11-17 | 富士写真フイルム株式会社 | 画像処理方法 |
JP4050842B2 (ja) * | 1998-06-15 | 2008-02-20 | 富士フイルム株式会社 | 画像処理方法 |
JP2000134486A (ja) * | 1998-10-22 | 2000-05-12 | Canon Inc | 画像処理装置及び画像処理方法及び記憶媒体 |
JP4482956B2 (ja) * | 1999-06-03 | 2010-06-16 | 株式会社ニコン | 画像補正装置及び画像補正プログラムを記録した記録媒体。 |
JP2001148780A (ja) * | 1999-09-07 | 2001-05-29 | Fuji Photo Film Co Ltd | 赤目修正対象領域の設定方法および赤目修正方法 |
US6728401B1 (en) * | 2000-08-17 | 2004-04-27 | Viewahead Technology | Red-eye removal using color image processing |
JP2002281333A (ja) * | 2001-03-16 | 2002-09-27 | Canon Inc | 画像処理装置およびその方法 |
US7289664B2 (en) * | 2002-01-17 | 2007-10-30 | Fujifilm Corporation | Method of detecting and correcting the red eye |
US7035462B2 (en) * | 2002-08-29 | 2006-04-25 | Eastman Kodak Company | Apparatus and method for processing digital images having eye color defects |
US7397969B2 (en) * | 2002-08-30 | 2008-07-08 | Fujifilm Corporation | Red eye compensation method, image processing apparatus and method for implementing the red eye compensation method, as well as printing method and printer |
JP2004112494A (ja) * | 2002-09-19 | 2004-04-08 | Ricoh Co Ltd | 画像処理装置、画像処理方法および記録媒体 |
JP2004158917A (ja) * | 2002-11-01 | 2004-06-03 | Canon Inc | 画像処理方法 |
JP4123954B2 (ja) * | 2003-02-07 | 2008-07-23 | 株式会社ニコン | 赤目領域補正方法、赤目領域補正処理プログラム、画像処理装置 |
-
2004
- 2004-04-23 JP JP2004128482A patent/JP4496465B2/ja not_active Expired - Fee Related
-
2005
- 2005-04-08 CN CNB2005100638812A patent/CN100366047C/zh not_active Expired - Fee Related
- 2005-04-19 EP EP05008512A patent/EP1589481B1/en not_active Expired - Fee Related
- 2005-04-19 DE DE602005004195T patent/DE602005004195T2/de active Active
- 2005-04-22 US US11/112,448 patent/US7460707B2/en not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102761705A (zh) * | 2011-04-25 | 2012-10-31 | 奥林巴斯映像株式会社 | 图像记录装置、图像编辑装置以及摄像装置 |
CN102761705B (zh) * | 2011-04-25 | 2015-07-22 | 奥林巴斯映像株式会社 | 图像记录装置、图像编辑装置以及摄像装置 |
CN110648296A (zh) * | 2019-09-24 | 2020-01-03 | Oppo广东移动通信有限公司 | 一种瞳孔颜色修正方法、修正装置、终端设备及存储介质 |
CN110648296B (zh) * | 2019-09-24 | 2022-10-11 | Oppo广东移动通信有限公司 | 一种瞳孔颜色修正方法、修正装置、终端设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20050254725A1 (en) | 2005-11-17 |
DE602005004195T2 (de) | 2009-01-15 |
JP2005309971A (ja) | 2005-11-04 |
US7460707B2 (en) | 2008-12-02 |
EP1589481B1 (en) | 2008-01-09 |
JP4496465B2 (ja) | 2010-07-07 |
CN100366047C (zh) | 2008-01-30 |
EP1589481A1 (en) | 2005-10-26 |
DE602005004195D1 (de) | 2008-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100366047C (zh) | 红眼修正方法及实施该方法的装置 | |
CN1267855C (zh) | 红眼修正方法及实施该方法的装置 | |
CN1691063A (zh) | 白眼修正方法及实施该方法的装置 | |
US7764846B2 (en) | Adaptive red eye correction | |
US7062086B2 (en) | Red-eye detection based on red region detection with eye confirmation | |
US20030044070A1 (en) | Method for the automatic detection of red-eye defects in photographic image data | |
US20080317358A1 (en) | Class-based image enhancement system | |
US20030044063A1 (en) | Method for processing digital photographic image data that includes a method for the automatic detection of red-eye defects | |
US20030044177A1 (en) | Method for the automatic detection of red-eye defects in photographic image data | |
US20040042680A1 (en) | System and method for enhancement of document images | |
CN1674630A (zh) | 缺陷象素修正方法、程序及实现该方法的缺陷象素修正*** | |
JP2007148537A (ja) | 画像処理方法および画像処理プログラムならびに画像処理装置 | |
JP2000149018A (ja) | 画像処理方法、画像処理装置及び記録媒体 | |
JP2005092759A (ja) | 画像処理装置、画像処理方法、および赤目検出方法ならびにプログラム | |
US20060062476A1 (en) | Control of image scanning device | |
Willamowski et al. | Probabilistic automatic red eye detection and correction | |
CN1614992A (zh) | 图象锐化处理方法和实施该方法的图象处理装置 | |
JP4655210B2 (ja) | 濃度補正曲線生成方法と濃度補正曲線生成モジュール | |
JPH09101579A (ja) | 顔領域抽出方法及び複写条件決定方法 | |
JP4441853B2 (ja) | 濃度補正のための顔選別方法及びこの方法を実施する装置 | |
Gasparini et al. | Automatic redeye removal for smart enhancement of photos of unknown origin | |
JP2006059162A (ja) | 歯画像補正方法及び装置 | |
JP4831413B2 (ja) | 赤目補正装置及び赤目補正プログラム | |
JPH06350861A (ja) | 画像種別の自動判別方法及び装置並びにその判別用の閾値の決定方法及び装置 | |
JP2001167277A (ja) | 画像処理方法、装置、記録媒体及び伝送媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20080130 Termination date: 20110408 |