CN100592760C - 拍照时自动检测并矫正红眼的方法 - Google Patents

拍照时自动检测并矫正红眼的方法 Download PDF

Info

Publication number
CN100592760C
CN100592760C CN200710040778A CN200710040778A CN100592760C CN 100592760 C CN100592760 C CN 100592760C CN 200710040778 A CN200710040778 A CN 200710040778A CN 200710040778 A CN200710040778 A CN 200710040778A CN 100592760 C CN100592760 C CN 100592760C
Authority
CN
China
Prior art keywords
red
image
blood
reference picture
correcting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200710040778A
Other languages
English (en)
Other versions
CN101309342A (zh
Inventor
王翼
林福辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN200710040778A priority Critical patent/CN100592760C/zh
Priority to PCT/CN2008/071009 priority patent/WO2008141581A1/zh
Publication of CN101309342A publication Critical patent/CN101309342A/zh
Priority to US12/615,882 priority patent/US8311325B2/en
Application granted granted Critical
Publication of CN100592760C publication Critical patent/CN100592760C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30216—Redeye defect

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明公开了一种拍照时自动检测并矫正红眼的方法，该方法通过利用当前数码相机都具备的预览(Preview)的功能，在需要使用闪光灯拍摄照片时，根据按下快门时刻读取并存储预览图像序列中最接近按下快门时刻的图像，然后使用该图像与实际拍摄的图像的各种相关信息(比如色度信息)对红眼区域进行检测，再对检测出来的红眼区域进行矫正处理，将矫正过的图像作为最终的图像存储在拍摄设备的存储器。从而在正常的单次暴光拍摄过程中快速准确的对红眼进行了去除，获取了无红眼的图像数据。

Description

拍照时自动检测并矫正红眼的方法
技术领域
本发明涉及一种数字图像处理的方法，尤其涉及一种拍照时自动检测并去除红眼的方法。
背景技术
通常在光线较暗的情况下使用闪光灯拍摄照片时人眼会呈现红色，这被称为“红眼现象”。这是因为闪光灯发射出来的亮度很强的灯光在眼球内部反射视网膜上的血管造成的。而且由于现在数码照相机的小型化，闪光灯和镜头的距离越来越小，这种问题日益严重。
现在已经有很多照相机具有了自动防红眼的功能，主要分为两种技术，一种利用预闪预防红眼，另一种利用图像处理消除红眼。
中国发明专利申请公开说明书CN 1100814A(公告日1995年3月29日)公开了一种使用预闪光让瞳孔收缩，减少反射的红光的装置。但是利用这种装置只能在某种程度上减小红眼的现象，不能完全的去除，而且由于预闪光会使得人的面部表情不自然，两次闪光也会消耗更多的电能，因此实际应用效果并不是很理想。
中国发明专利申请公开说明书CN 1750017A(公告日2006年3月22日)公开了一种使用后处理消除红眼的方法，该方法通过对已经产生红眼的图像使用人脸识别或者其他的目标检测的方法定位红眼区域，然后对红眼区域的颜色等信息进行调节以达到矫正的目的。但是这种方法也存在检测速度比较慢，受噪声影响比较大，而且准确度不高，在手持或移动设备上很少有能达到实用的。
日本专利申请公开说明书JP,2000-299812,A(公告日2000年10月24日)，公开了一种照相设备，通过拍摄一张使用闪光灯的照片和一张不使用闪光灯的照片，并根据其相互关系来提取红眼部分的数据，然后对其进行纠正。但是这种方法需要同时拍摄两张相同场景的照片，增加了拍摄延时，重复拍摄也带来了较低的效率。
发明内容
本发明要解决的技术问题是提供一种简单快速的拍照时自动检测并矫正红眼的方法，从而可以在不改变现有数码相机设备，不降低效率的情况下拍摄出没有红眼的照片。
为解决以上技术问题，本发明的拍照时自动检测并矫正红眼的方法，使用预览模式下的图像信息与实际拍摄的图像信息进行红眼的自动检测和矫正，包括以下步骤：
(1)获取按下快门时刻T；所述的按下快门时刻，是从开始按下快门到开始暴光成像这个时间段中的任意时刻；
(2)获取预览图像序列S中最接近按下快门时刻T的图像，作为矫正参考图像P1；
(3)获取实际带闪光灯拍摄的图像，作为被矫正图像P2；
(4)使用矫正参考图像P1和被矫正图像P2的信息进行红眼检测，确定红眼区域Rredeye；
(5)使用矫正参考图像P1和被矫正图像P2的信息，对检测到的红眼区域Rredeye进行红眼矫正。
本发明的拍照时自动检测并矫正红眼的方法，矫正后的图像Pcorrected即为最终用户得到的去除了红眼的图像。
因为本发明使用了预览模式中的最接近拍摄时刻的图像，因此不需要对一个场景拍摄两次以获得两张照片，避免了重复拍摄；另外本发明不需要增加任何额外的设备，只要拍摄设备具有预览功能就可以实现，实施非常方便；本发明还可以根据预览图像和实际拍摄的图像的相关信息获得红眼范围并矫正，不需要人脸识别等一系列复杂度很高的区域检测算法，提高了效率。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细说明。
图1是本发明的工作流程图；
图2是本发明的一个实施例；
图3是采用本发明进行红眼检测的一个实施例；
图4是采用本发明进行红眼矫正的一个实施例。
具体实施方式
本发明是基于预览图像信息与拍摄到的实际图像的信息进行红眼检测和矫正的。具体的实现流程如图1所示，详细的描述如下：
首先获取按下快门时刻T，即从开始按下快门到开始暴光成像这个时间段中的任意一个时刻。
接着根据获得的按下快门时刻T，获取预览图像序列S中最接近按下快门时刻T的图像，作为矫正参考图像P1，并将其存储在一个临时的存储单元。
然后使用拍摄单元获取实际带闪光灯拍摄的图像，作为被矫正图像P2，并将其存储在一个临时的存储单元。
再使用存储在临时单元的矫正参考图像P1和被校正图像P2的相关信息检测红眼区域Rredeye。
最后对检测出来的红眼区域Rredeye利用矫正参考图像P1和被矫正图像P2的相关信息进行矫正，并存储矫正后的图像Pcorrected作为最终用户得到的图像。
下面用图2所示的实施例对本发明做进一步的说明。
首先在一块缓冲区存储预览图像序列S，此缓冲区大小应至少能存放一帧以上图像，当缓冲区发生溢出时，按照先入先出的原则解决，即最先存入的图像被移出以释放空间来存放新的图像。接着获取按下快门时刻T，按下快门时刻T是从开始按下快门到开始暴光成像这个时间段中的任意时刻，也可以是快门按下1/2、1/3、或1/4的时刻(图2所示的实施例采用快门按下1/2的时刻作为快门按下的时刻T)，检测快门是否按下了1/2，如果没有，则继续进行预览；如果快门已经按下1/2，预览被停止，同时记录当前时刻为按下快门时刻T。然后在预览图像序列S中寻找最接近按下快门时刻T的图像作为矫正参考图像，并存储为P1(通常可以取最后一张预览图像)。再等待快门完全按下，若此时释放快门按钮，则退出拍摄模式，恢复预览模式，若快门完全按下，则开始拍摄实际带闪光灯的图像作为被矫正图像，并存储为P2。最后读取矫正参考图像P1和被矫正图像P2，根据两张图像的相关信息检测红眼区域Rredeye。如果没有检测到红眼则将P2存储为用户最终得到的图片，否则对检测到的图像进行红眼矫正处理，并将矫正后的图像Pcorrected存储为用户最终得到的图片。
如图3是采用本发明进行红眼检测的一个实施例。
首先输入矫正参考图像P1和被矫正图像P2，判断两幅图像是否需要配准，如果需要，则配准图像，并获得配准后的新的矫正参考图像P1和被矫正图像P2，如果不需要配准，则直接进入下一步。
接着计算矫正参考图像P1和被矫正图像P2的各像素红色成分的比例并分别得到红色成分比例图P1red和P2red。
然后对得到的红色成分比例图P1red和P2red求差值，获得差值图像Pdiff。
再对差值图像Pdiff和红色成分比例图P2red进行扫描，对于任意的u(i，j)∈差值图像Pdiff，v(i，j)∈红色成分比例图P2red，如果当i＝a，j＝b时，满足如下条件：①u(a，b)＞给定的差值的域值M，本实施例M值采用的是0.07，②v(a，b)＞给定的红色比例成分的域值N，本实施例N值采用的是0.4，则像素(a，b)被标记为红眼像素，扫描完毕后，将红眼像素组合为不同的封闭区域R(i)，即为候选红眼区域。
最后对每一个候选红眼区域R(i)进行判断，判断条件如下：①候选红眼区域R(a)的面积Rs＞给定的面积的S_min，本实施例S_min的值采用的是6；②R(a)的周长/R(a)的面积∈(r_min，r_max)区间，本实施例中，因为R(a)近似为圆形，r_min采用的值是0.7，r_max采用的值是1.3，所以判断公式记为：P2/(Rs×4π)∈(0.7，1.3)。如果当i＝a时，满足上述条件，区域R(a)就被记录为红眼区域Rredeye(i)，否则将其排除，直到所有的R(i)判断完毕，结束红眼检测过程。
另外采用本发明进行红眼监测也可以将图像转换到其他的颜色空间YUV(表示色彩信息的一种方法，PAL彩色电视制的彩色分量格式，Y代表亮度，U、V代表两个色差)或者CIELAB(国际照明协会根据人眼视觉的特性，把光线波长转换为亮度和色相的一套描述色彩数据，其中L描述色彩的亮度，A描述色彩的范围从绿色到红色，B描述色彩的范围从蓝色到皇色)后再进行红眼检测处理
如图4是采用本发明进行红眼矫正的一个实施例。
首先计算矫正参考图像P1中坐标x，y∈红眼区域Rredeye(i)的像素RGB(x，y)的红绿蓝三色分量各自的比例r_red(x，y)，r_green(x，y)，r_blue(x，y)。
然后计算被矫正图像P2中坐标x，y∈红眼区域Rredeye(i)的像素RGB(x，y)的亮度信息I(x，y)。
再根据相应的矫正公式计算矫正后的红眼区域Rredeye的三原色的值，矫正公式如下：Rc(x，y)＝I(x，y)*r_red(x，y)，Gc(x，y)＝I(x，y)*r_green(x，y)，Bc(x，y)＝I(x，y)*r_blue(x，y)。
最后使用矫正值Rc、Gc、Bc代替对应的被矫正图像P2中的红眼区域Rredeye的像素值，结束红眼矫正过程。

Claims (5)

1、一种拍照时自动检测并矫正红眼的方法，其特征在于，使用预览模式下的图像的信息与实际拍摄的图像的信息进行红眼的自动检测和矫正，包括如下的步骤：
(1)获取按下快门时刻；
所述的按下快门时刻，是从开始按下快门到开始暴光成像这个时间段中的任意时刻；
(2)获取预览图像序列中最接近按下快门时刻的图像，作为矫正参考图像；
(3)获取实际带闪光灯拍摄的图像，作为被矫正图像；
(4)使用矫正参考图像和被矫正图像的信息进行红眼检测，确定红眼区域；
(5)使用矫正参考图像和被矫正图像的信息，对检测到的红眼区域进行红眼矫正。
2、如权利要求1所述的拍照时自动检测并矫正红眼的方法，其特征在于，步骤(1)所述的按下快门时刻是快门按下1/2，或者1/3，或者1/4的时刻。
3、如权利要求1所述的拍照时自动检测并矫正红眼的方法，其特征在于，步骤(4)中所述的红眼检测，包括如下步骤：
(1)判断矫正参考图像和被矫正图像是否需要配准，需要时对矫正参考图像和被矫正图像进行配准；
(2)计算出矫正参考图像和被矫正图像中的有效反映红色成分信息的值，并分别得到矫正参考图像和被矫正图像的红色成分比例图；
(3)对矫正参考图像的红色成分比例图和被矫正图像的红色成分比例图进行差值处理，获得差值图像；
(4)对于任意的u(i，j)∈差值图像的红色成分比例图，v(i，j)∈被矫正图像的红色成分比例图，如果当i＝a，j＝b时，满足如下条件：①u(a，b)＞给定的差值的域值M，②v(a，b)＞给定的红色比例成分的域值N，则像素(a，b)被标记为红眼像素，扫描完毕后，将红眼像素组合为不同的封闭区域R(i)，即为候选红眼区域R(a)；
(5)①候选红眼区域R(a)的面积Rs＞给定的面积的S_min，②候选红眼区域R(a)的周长/候选红眼区域R(a)的面积∈(r_min，r_max)区间，如果当i＝a时，满足上述条件，候选红眼区域R(a)就被记录为红眼区域Rredeye(i)，否则将其排除，直到所有的R(i)判断完毕，结束红眼检测过程。
4、如权利要求1所述的拍照时自动检测并矫正红眼的方法，其特征在于，步骤(4)中，所述的红眼检测是先将图像进行转换到其他的颜色空间YUV或者CIELAB的处理，再进行红眼检测处理，所述的矫正参考图像和被矫正图像的信息包含图像的原始信息，和进行处理后生成的图像的信息。
5、如权利要求1所述的拍照时自动检测并矫正红眼的方法，其特征在于，步骤(5)中所述的红眼矫正，包括如下步骤：
(1)计算矫正参考图像的红眼区域范围内的像素的颜色比例值；
(2)计算被矫正图像的红眼区域范围内的像素的亮度；
(3)计算被矫正图像的红眼区域范围内的像素的矫正值；
(4)将被矫正图像的红眼区域范围内的像素用其对应的矫正值替换。
CN200710040778A 2007-05-17 2007-05-17 拍照时自动检测并矫正红眼的方法 Active CN100592760C (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN200710040778A CN100592760C (zh) 2007-05-17 2007-05-17 拍照时自动检测并矫正红眼的方法
PCT/CN2008/071009 WO2008141581A1 (fr) 2007-05-17 2008-05-19 Procédé pour détecter et corriger automatiquement des yeux rouges lors de la prise de photos
US12/615,882 US8311325B2 (en) 2007-05-17 2009-11-10 Method of detecting and rectifying red-eyes automatically when taking photos

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200710040778A CN100592760C (zh) 2007-05-17 2007-05-17 拍照时自动检测并矫正红眼的方法

Publications (2)

Publication Number Publication Date
CN101309342A CN101309342A (zh) 2008-11-19
CN100592760C true CN100592760C (zh) 2010-02-24

Family

ID=40031422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200710040778A Active CN100592760C (zh) 2007-05-17 2007-05-17 拍照时自动检测并矫正红眼的方法

Country Status (3)

Country Link
US (1) US8311325B2 (zh)
CN (1) CN100592760C (zh)
WO (1) WO2008141581A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2564351B1 (en) * 2010-04-30 2020-10-21 Provenance Asset Group LLC Method, apparatus and computer program product for compensating eye color defects
WO2012001220A1 (en) * 2010-06-28 2012-01-05 Nokia Corporation Method, apparatus and computer program product for compensating eye color defects
CN103778594B (zh) * 2014-01-16 2017-01-25 天津大学 一种基于闪光灯非闪光灯图像对的红眼检测方法
CN110264413B (zh) * 2019-05-17 2021-08-31 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7042505B1 (en) * 1997-10-09 2006-05-09 Fotonation Ireland Ltd. Red-eye filter method and apparatus
JP2003030647A (ja) * 2001-07-11 2003-01-31 Minolta Co Ltd 画像処理装置、画像処理方法、及びプログラム
US7133070B2 (en) * 2001-09-20 2006-11-07 Eastman Kodak Company System and method for deciding when to correct image-specific defects based on camera, scene, display and demographic data
US7587085B2 (en) * 2004-10-28 2009-09-08 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
EP1499111B1 (en) * 2003-07-15 2015-01-07 Canon Kabushiki Kaisha Image sensiting apparatus, image processing apparatus, and control method thereof
JP2005167697A (ja) * 2003-12-03 2005-06-23 Canon Inc 赤目補正機能を有する電子カメラ
KR20050087956A (ko) * 2004-02-27 2005-09-01 삼성전자주식회사 무손실 오디오 부호화/복호화 방법 및 장치
CN1265323C (zh) * 2004-06-25 2006-07-19 闫宇松 一种高压缩比人像编解码方法
JP4757559B2 (ja) * 2004-08-11 2011-08-24 富士フイルム株式会社 被写体の構成要素を検出する装置および方法
JP4974608B2 (ja) * 2006-08-11 2012-07-11 オリンパスイメージング株式会社 画像撮影装置

Also Published As

Publication number Publication date
CN101309342A (zh) 2008-11-19
US20100124374A1 (en) 2010-05-20
US8311325B2 (en) 2012-11-13
WO2008141581A1 (fr) 2008-11-27

Similar Documents

Publication Publication Date Title
TWI508555B (zh) 用於進行影像合成的影像處理設備和影像處理方法
JP4254873B2 (ja) 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
US7787762B2 (en) Image photographing apparatus, image photographing method, and computer program
US8045013B2 (en) Imaging device, imaging method and computer program
JP5736796B2 (ja) 電子カメラ、プログラム及び記録媒体
CN103716547A (zh) 一种智能模式的拍照方法
WO2008054422A2 (en) Digital image processing using face detection and skin tone information
JP2004128584A (ja) 撮像装置
JP2003030647A (ja) 画像処理装置、画像処理方法、及びプログラム
CN107454322A (zh) 拍照方法、装置、计算机可存储介质和移动终端
JP2007188126A (ja) 画像明るさ算出装置および方法並びにプログラム
CN100592760C (zh) 拍照时自动检测并矫正红眼的方法
CN108052883B (zh) 用户拍照方法、装置及设备
US20160088266A1 (en) Automatic image color correciton using an extended imager
US11120533B2 (en) Information processing method and information processing apparatus
CN108289170B (zh) 能够检测计量区域的拍照装置、方法及计算机可读介质
JP2024036370A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム及び記録媒体
JP5048599B2 (ja) 撮像装置
JP2007208355A (ja) 撮影装置および方法並びにプログラム
JP2017147535A (ja) ホワイトバランス調整装置、ホワイトバランス調整方法、ホワイトバランス調整プログラム及び撮影装置
JP5847280B2 (ja) 撮影装置、撮影装置の制御方法、および撮影方法
JP2004112487A (ja) 撮影条件判断装置
JP6192789B2 (ja) 撮影装置、および撮影装置の制御方法
KR20090102259A (ko) 카메라 동작 제어 장치 및 방법
JP2009017184A (ja) デジタルカメラ、撮影方法及び撮影プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190315

Address after: 101399 Building 8-07, Ronghui Garden 6, Shunyi Airport Economic Core Area, Beijing

Patentee after: Xin Xin finance leasing (Beijing) Co.,Ltd.

Address before: 201203 Building 1, exhibition hall, 2288 lane, 2288 Chong, road, Zhangjiang hi tech park, Shanghai

Patentee before: SPREADTRUM COMMUNICATIONS (SHANGHAI) Co.,Ltd.

TR01 Transfer of patent right
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20081119

Assignee: SPREADTRUM COMMUNICATIONS (SHANGHAI) Co.,Ltd.

Assignor: Xin Xin finance leasing (Beijing) Co.,Ltd.

Contract record no.: X2021110000008

Denomination of invention: Method of automatic detection and correction of red eye when taking pictures

Granted publication date: 20100224

License type: Exclusive License

Record date: 20210317

EE01 Entry into force of recordation of patent licensing contract
TR01 Transfer of patent right

Effective date of registration: 20221020

Address after: 201203 Shanghai city Zuchongzhi road Pudong New Area Zhangjiang hi tech park, Spreadtrum Center Building 1, Lane 2288

Patentee after: SPREADTRUM COMMUNICATIONS (SHANGHAI) Co.,Ltd.

Address before: 101399 Building 8-07, Ronghui Garden 6, Shunyi Airport Economic Core Area, Beijing

Patentee before: Xin Xin finance leasing (Beijing) Co.,Ltd.

TR01 Transfer of patent right