CN101983507A - 自动红眼检测 - Google Patents

自动红眼检测 Download PDF

Info

Publication number
CN101983507A
CN101983507A CN2008801284408A CN200880128440A CN101983507A CN 101983507 A CN101983507 A CN 101983507A CN 2008801284408 A CN2008801284408 A CN 2008801284408A CN 200880128440 A CN200880128440 A CN 200880128440A CN 101983507 A CN101983507 A CN 101983507A
Authority
CN
China
Prior art keywords
candidate
blood
region
eye illness
metric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2008801284408A
Other languages
English (en)
Inventor
M·D·高巴茨
R·A·乌利奇尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN101983507A publication Critical patent/CN101983507A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/624—Red-eye correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30216—Redeye defect

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

确定输入图像(20)中的候选红眼区域(24)。在这个过程中，将一个或多个红眼度量值(28)的相应集合与每个候选红眼区域(24)相关联。查明输入图像(20)中的候选面部区域(30)。在这个过程中，将一个或多个面部度量值(34)的相应集合与每个候选面部区域(30)相关联。给每个候选红眼区域(24)分配相应联合度量向量(78)。该联合度量向量(78)包括从与候选面部区域(30)的所选择的一个相关联的面部度量值(34)的集合和红眼度量值(28)的相应集合中导出的度量值。基于分配给候选红眼区域(24)的相应联合度量向量(78)，把一个或多个候选红眼区域(24)中的每一个分类为红眼伪影或非红眼伪影。

Description

自动红眼检测
背景技术
红眼是在由照相机用闪光灯照明所捕获的图像中出现的人的瞳孔的不自然的微红色外观。红眼是由来自闪光灯的、反射离开人的视网膜中的血管且返回到照相机的光所引起的。
提出了若干技术来减少红眼效应。对于具有小的透镜到闪光灯距离的照相机的常用红眼减少解决方案是在使用最后闪光来曝光和捕获图像之前使用一个或多个预曝光闪光。每个预曝光闪光倾向于减小人的瞳孔的尺寸，并且因此减小来自最后闪光的光将从人的视网膜反射并被照相机捕获的可能性。一般而言，预曝光闪光技术典型地仅将减少但不消除红眼。
提出了大量的图像处理技术来检测和校正彩色图像中的红眼。一般而言，这些技术典型地是半自动的或自动的。半自动的红眼检测技术依靠人工输入。例如，在一些半自动的红眼减少***中，用户在可以校正缺陷之前必须向***手动识别包含红眼的图像区域。许多自动红眼减少***在检测红眼区域之前依靠初步的面部检测步骤。常用的自动方法涉及检测图像中的面部以及随后检测每个所检测到的面部内的眼睛。在定位眼睛后，基于与所检测的眼睛位置对应的图像区域的形状、着色和明亮度来识别红眼。
发明内容
在一个方面中，本发明特征在于一种处理输入图像的方法。依据本发明方法，在输入图像中确定候选红眼区域。在这个过程中，将一个或多个红眼度量值的相应集合与每个候选红眼区域相关联。在输入图像中查明(ascertain)候选面部区域。在这个过程中，将一个或多个面部度量值的相应集合与每个候选面部区域相关联。给每个候选红眼区域分配相应联合度量向量。该联合度量向量包括从与候选面部区域中的选择一个相关联的面部度量值的集合和红眼度量值的相应集合导出的度量值。一个或多个候选红眼区域中的每一个基于分配给该候选红眼区域的相应联合度量向量而被分类为红眼伪影或非红眼伪影。被分类为红眼伪影的至少其中一个候选红眼区域被校正。
本发明特征还在于存储计算机可读指令的计算机可读介质和设备，所述计算机可读指令使计算机实施上面描述的方法。
通过包括附图和权利要求书的以下描述，本发明的其他特征和优点将变得显而易见。
附图说明
图1是包括红眼检测模块、面部检测模块、红眼分类模块和红眼校正模块的图像处理***的实施例的框图。
图2是图像处理方法的实施例的流程图。
图3是图1所示的红眼检测模块的实施例的框图。
图4是图1所示的面部检测模块的实施例的框图。
图5是图4所示的面部检测模块的实施方式中的单个分类级的实施例的框图，其被设计为评估图像中的候选面部块片(patch)。
图6是图1所示的红眼分类模块的实施例的框图。
图7是红眼分类方法的实施例的流程图。
图8是训练图6所示的联合度量映射模块的实施例的方法的流程图。
图9是红眼分类方法的实施例的流程图。
图10是示出在图9的方法中定义的分类空间的示例性图示的文氏(Venn)图。
图11A和11B示出位于被注解训练图像集合中的面部区域中的红眼的与分辨率无关的位置的直方图。
图12是在图1所示的面部检测模块的实施例中使用的图像和重叠面部搜索空间的图解视图。
图13是合并了图1所示的图像处理***的嵌入式实施例的打印机***的图解视图。
图14是合并了图1所示的图像处理***的实施例的数字照相机***的实施例的框图。
图15是可编程以实施图1所示的图像处理***的实施例的计算机***的实施例的框图。
具体实施方式
在以下的描述中，相同的参考数字用来识别相同的元件。而且，附图旨在以图解的方式说明示例性实施例的主要特征。附图不旨在描绘实际实施例的每个特征也不旨在描绘所描绘元件的相对尺寸，并且不是按比例绘制的。
I.概述
本文详细描述的实施例能够检测图像中的红眼伪影。这些实施例利用红眼检测和面部检测过程来以低的错检(false positives)率实现红眼伪影的准确检测。以此方式，这些实施例实现了错检和检测到的伪影之间的更好折衷。另外，这些实施例可以以面部检测部件的减少的计算代价被实施。由于它们对处理和存储器资源的高效使用，本文描述的实施例可以容易地被实施在各种不同的应用环境中，包括经受显著的处理和存储器约束的诸如嵌入式环境的应用环境。
II.术语的定义
如本文使用的，术语“特征”指的是应用于图像的一般邻域操作(特征提取器或特征检测器)的结果以及图像本身中的特定结构或多个结构中的一者或两者。这些结构典型地从简单的结构(例如，点和边缘)变化到更复杂的结构(例如，对象)。
“特征向量”是包含关于图像或部分图像(例如，图像的一个或多个图像形成元素)的信息的数值特征值的N维向量，其中N具有比一大的整数值。
术语“图像形成元素”指的是图像的可寻址区。在一些实施例中，图像形成元素对应于像素，所述像素是图像的最小可寻址单元。每个图像形成元素具有由一个或多个比特表示的至少一个相应值。例如，RGB色空间中的图像形成元素包括颜色红色、绿色和蓝色的每个的相应值，其中每个值可以由一个或多个比特表示。
“图像区域”(也被称为“图像块片”)意指构成图像的一部分的邻接图像形成元素的集合。
术语“数据结构”指的是按其组织和存储数据的物理布局(或格式)。
“计算机”是一种根据暂时地或永久地存储在机器可读介质上的机器可读指令(例如，软件)来处理数据的机器。执行特定任务的这样的指令集被称为程序或软件程序。
术语“机器可读介质”指的是能够承载可由机器(例如，计算机)读取的信息的任何介质。适合于有形地包含这些指令和数据的存储设备包括但不限于所有形式的非易失性计算机可读存储器，包括例如半导体存储器设备(诸如EPROM、EEPROM和闪存设备)、磁盘(诸如内部硬盘和可移动硬盘)、磁光盘、DVD-ROM/RAM以及CD-ROM/RAM。
III.介绍
图1示出包括红眼检测模块12、面部检测模块14、红眼分类模块16和红眼校正模块18的图像处理***10的实施例。在操作中，图像处理***10处理输入图像信号20以产生红眼校正的输出图像22。
输入图像20可以对应于任何类型的数字图像，包括由图像传感器(例如，数字摄像机、数字静止图像照相机或光学扫描仪)捕获的原始图像(例如，视频帧、静止图像或扫描图像)或者这种原始图像的经过处理的(例如，下采样、滤波、重新格式化、场景平衡或以其他方式增强或修改的)版本。在一些实施例中，输入图像20是原始全尺寸图像，面部检测模块14处理原始全尺寸图像的下采样版本，并且红眼检测模块12和红眼校正模块18二者都处理原始全图像20。
图2示出由图像处理***10实施的方法的实施例。
红眼检测模块12确定输入图像20中的候选红眼区域24(图2，块26)。在这个过程中，红眼检测模块12将一个或多个红眼度量值28的相应集合与每个候选红眼区域24相关联。每个红眼度量值28提供相应候选红眼区域对应于红眼伪影的程度的相应指示。在一些实施例中，红眼度量值28中的至少一个对应于相关候选红眼区域24对应于红眼伪影的置信度的量度(例如，概率)，并且其他红眼度量值28的一个或多个提供相关候选红眼区域24包括相应红眼特征的相应指示。
面部检测模块14查明输入图像20中的候选面部区域30(图2，块32)。在这个过程中，面部检测模块14将一个或多个面部度量值34的相应集合与每个候选面部区域30相关联。每个面部度量值34提供相应候选面部区域对应于面部的程度的相应指示。在一些实施例中，面部度量值34中的至少一个对应于相应候选面部区域30对应于面部的置信度的量度(例如，概率)，并且其他面部度量值34的一个或多个提供候选面部区域30包括相应面部特征的相应指示。
红眼分类模块16给每个候选红眼区域24分配相应联合度量向量，该联合度量向量包括从与候选面部区域30中的所选择一个相关联的面部度量值34的集合和红眼度量值28的相应集合中导出的度量值(图2，块36)。红眼分类模块16也基于分配给候选红眼区域的相应联合度量向量把一个或多个候选红眼区域24中的每一个分类为红眼伪影或非红眼伪影(图2，块38)。红眼分类模块16把分类结果40传送到红眼校正模块18。分类结果40可以以各种不同的数据结构格式(例如，向量、表或列表)提供给红眼校正模块18。在一些实施例中，分类结果以XML(可扩展标记语言)文件格式被存储在机器可读介质上。
基于分类结果40，红眼校正模块18校正被分类为红眼伪影的候选红眼区域24的至少一个(图2，块42)。图像处理***10输出所得到的输出图像22(例如，把输出图像22存储在易失性或非易失性计算机可读介质上的数据库中，把输出图像22再现在显示器上，或者把输出图像22再现在诸如纸的打印介质上)。
IV.图像处理***及其部件的示例性实施例
A.概述
图像处理***10典型地由一个或多个分立数据处理模块(或部件)实施，所述数据处理模块(或部件)不限于任何特定硬件、固件或软件配置。例如，在一些实施方式中，图像处理***10嵌入在各种各样的电子设备的任一种的硬件中，所述电子设备包括打印机、图像与视频记录及回放设备(例如，数字静止照相机和摄像机、VCR和DVR)、能够解码和播放付费视频节目的电缆或卫星机顶盒、便携式收音机和卫星广播接收器、以及便携式电信设备。红眼检测模块12、面部检测模块14、红眼分类模块16和红眼校正模块18是数据处理部件，其可以被实施在任何计算或数据处理环境中，包括实施在数字电子电路(例如，专用集成电路，诸如数字信号处理器(DSP))中或实施在计算机硬件、固件、设备驱动器或软件中。在一些实施例中，这些数据处理部件12-18的功能性被组合到单个数据处理部件中。在一些实施例中，这些数据处理部件12-18的一个或多个的每个的相应功能性由多个数据处理部件的相应集合执行。
在一些实施方式中，用于实施由图像处理***10执行的方法的过程指令(例如，机器可读代码，诸如计算机软件)以及其生成的数据被存储在一个或多个机器可读介质中。适合于有形地包含这些指令和数据的存储设备包括所有形式的非易失性计算机可读存储器，包括例如半导体存储器设备(诸如EPROM、EEPROM和闪存设备)、磁盘(诸如内部硬盘和可移动硬盘)、磁光盘、DVD-ROM/RAM以及CD-ROM/RAM。
B.红眼检测模块的示例性实施例
如上面所解释的，红眼检测模块12确定输入图像20中的候选红眼区域24(图2，块26)。
图3是红眼检测模块12(参见图1)的实施例44的框图。红眼检测模块44包括初始候选检测模块46和初始候选红眼验证模块48。初始候选检测模块46识别输入图像20中的候选红眼区域的初始集合50。在一些实施例中，初始候选检测模块46使用多个不同的红眼颜色模型来识别初始候选红眼区域50并且把所识别的区域合并到候选红眼区域50的包含(inclusive)初始集合中。初始候选红眼验证模块48从候选红眼区域50的初始集合中滤除虚警报(即，具有对应于输入图像20中的实际红眼伪影的低可能性的初始候选红眼区域)以识别候选红眼区域24。在一些实施例中，初始候选红眼验证模块48基于使用机器学习框架并行考虑多个特征来分类初始候选红眼区域50从而以更高的准确度和更高的效率验证初始候选红眼区域50对应于输入图像20中的实际红眼。
可以从2003年8月29日提交的共同待决的美国专利申请号10/653,019中获取关于初始候选检测模块46和初始候选红眼验证模块48的结构和操作的附加细节。
在一些实施例中，红眼检测模块44以边界框列表的形式输出候选红眼区域24，每个边界框对所检测的候选红眼区域的相应一个进行划界。与每个这样的边界框相关联的是由该边界框划界的图像块片表示红眼伪影的置信度(例如，概率)的测量、以及表示置信度测量集的红眼度量值的相应特征向量，每个置信度测量指示在相关边界框中存在特定红眼伪影特征的置信度。在一个示例性表示中，I(x，y)表示输入图像20中在位置(x，y)处的图像形成元素，a对由红眼检测模块12输出的边界框进行索引，并且候选红眼区域的总数由A给出。表示每个候选红眼边界框的拐角的坐标分别由(xa TL，ya TL)和(xa BR，ya BR)给出，其中“TL”表示“左上”并且“BR”表示“右下”。置信度量度(或等级)被表示为ca，并且特征向量由Va＝[Va 1，Va 2，...，Va N]表示。在一些实施例中，红眼检测模块44将置信度等级ca与经验确定的阈值T伪影进行比较以确定对应的图像块片是应当被分类为候选红眼区域24还是分类为非红眼区域。
C.面部检测模块的示例性实施例
如上面所解释的，面部检测模块14查明输入图像20中的候选面部区域30(图2，块32)。
以下是面部检测模块14查明输入图像20中的候选面部区域30所用的方法的实施例的伪代码表示(参见图1)。
dX＝1，dY＝1，
Figure BPA00001233257600071
while size＜height/2
       y＝1
       while y≤(height-size)+1
             x＝1
             while x≤(width-size)+1
                   寻找框{(x，y)，(x+size-1，y+size-1)}中的面部
                x＝x+dX
           end
           y＝y+dY
    end
    size＝round(size*dS)
end
在这个实施例中，面部检测模块14寻找位于输入图像12中的每个位置(x，y)处的方形“size(尺寸)”x“size”边界框内的候选面部区域，输入图像12具有分别对应于上面列举的伪代码中的参数“width”和“height”的宽度和高度。针对不同尺寸的方形边界框重复这个过程。
图4是面部检测模块14的实施例52的框图。面部检测模块52包括分类级(C1，C2，...，Cn，其中n具有大于1的整数值)(在本文中也被称为“分类器”)的级联54、面部概率生成器56和面部分类模块57。在操作中，每个分类级执行二元判别函数，其基于根据从输入图像20中导出的图像块片58的一个或多个面部特征(也被称为“属性”)计算的判别量度而将图像块片58分类成面部类(“是”)或非面部类(“否”)。每个分类级的判别函数被典型地设计成检测单个姿态或面部视图中的面部(例如，正面的直立面部)。根据级联54产生的评估结果，面部概率生成器56给每个图像块片58分配相应的面部概率值59。面部分类模块57将所分配的面部概率值59与经验确定的面部阈值T面部进行比较以确定是把图像块片58分类为候选面部区域30还是非面部区域。
级联54的每个分类级Ci具有由相应阈值ti控制的相应分类边界，其中i＝1，...，n。相对于对应阈值的所计算的判别量度值确定每个分类级将图像块片46分类到其中的类。例如，如果为图像块片58计算的判别量度大于分类级的阈值，则图像块片58被分类为面部类(是)，而如果计算的判别量度低于阈值，则图像块片58被分类为非面部类(否)。以此方式，面部检测模块52通过图像块片评估过程部分地拒绝图像块片58，其中随着评估继续，被分类为“面部”的块片群体渐进地越来越可能对应于输入图像的面部区域。面部概率生成器56使用评估过程的出口点来导出块片是面部的置信度量度。
图5示出分类器级联54的实施例中的单个分类级62的示例性实施例。在这个实施例中，依据特征定义64的集合将图像块片58投影到特征空间中。图像块片58包括与输入图像20的区域有关的任何信息，包括输入图像像素的颜色值以及从输入图像20导出的计算特征权重所需的其它信息。每个特征由描述如何计算或测量图像块片的相应权重(w0，w1，...，WL)的规则定义，所述权重对应于在由特征64的集合跨越的特征空间中该特征对图像块片表示的贡献。为图像块片计算的权重(w0，w1，...，WL)集合构成特征向量66。特征向量66被输入到分类级62中。分类级62把图像块片58分类到候选面部区域的集合68或非面部区域的集合70中。如果图像块片58被分类为面部区域30，则其被传送到下一分类级，该下一分类级实施不同的判别函数。
在一些实施方式中，分类级62实施在方程(1)中定义的判别函数：
Σ l = 1 L g l h l ( u ) > 0 - - - ( 1 )
其中u包含对应于图像块片46的值并且gl是分类级62应用于对应的阈值函数hl(u)的权重，hl(u)由下式定义：
Figure BPA00001233257600092
变量pl具有+1或-1的值并且函数wl(u)是用于计算特征向量66的特征的评估函数。
可以从2007年5月29日提交的共同待决的美国专利申请号11/754,711和美国专利号7,099,510中获取关于分类器级联42的构造和操作的附加细节。
在一些实施例中，每个图像块片58被传送经过被配置成评估不同的相应面部视图的至少两个平行分类器级联。依据在Jones和Viola的“Fast Multi-view Face Detection，”Mitsubishi Electric ResearchLaboratories，MERL-TR2003-96，2003年7月(也出版在IEEEConference on Computer Vision and Pattern Recognition，2003年6月18)中描述的多视图面部检测方法中的一种或多种来实施这些实施例中的一些实施例。
在一些实施例中，面部检测模块52以边界框列表的形式输出候选面部区域30，每个边界框对所检测的候选面部区域30的相应一个进行划界。与每个这样的边界框相关联的是该边界框表示面部的置信度(例如，概率)的测量、以及表示置信度测量集合的面部度量值的相应特征向量30，每个置信度测量指示在相关边界框中存在与面部相关联的特定特征的置信度。在一个示例性表示中，I(x，y)表示输入图像20中在位置(x，y)处的图像形成元素，f对由面部检测模块14输出的边界框进行索引，并且候选面部区域的总数由F给出。表示每个候选面部边界框的拐角的坐标分别由(xf TL，yf TL)和(xf BR，yf BR)给出。置信度量度(或等级)被表示为cf，并且特征向量由Vf＝[Vf 1，Vf 2，...，Vf M]表示。如果在I(x，y)中没有检测到候选面部区域，面部检测模块52设定cf＝0以及Vf＝[0，...，0]。在这些实施例中，面部分类模块57基于相关置信度度量cf与面部阈值T面部的相应比较来确定每个图像块片58的分类。
在一些实施例中，面部阈值T面部和红眼伪影阈值T伪影的值被设定成使得由红眼检测模块14返回的与由面部检测模块14返回的候选面部区域重叠的所有红眼伪影的集合具有大致相等数量的检测和错检。
D.红眼分类模块的示例性实施例
如上面所解释的，红眼分类模块16给每个候选红眼区域24分配包括从与候选面部区域30的选择的一个相关联的面部度量值34的集合和红眼度量值28的相应集合中导出的度量值的相应联合度量向量(图2，块36)。
图6示出红眼分类模块16(参见图1)的实施例72。红眼分类模块72包括联合度量向量产生模块74和联合度量向量映射模块76。联合度量向量产生模块74从红眼检测模块12接收红眼度量值28，从面部检测模块14接收面部度量值34，从红眼检测模块12接收候选红眼区域24，从面部检测模块14接收候选面部区域30，并且为每个候选红眼区域24产生联合度量向量78。联合度量向量映射模块76从联合度量向量产生模块74接收联合度量向量78。基于所接收的数据，联合度量向量映射模块76把一个或多个候选红眼区域的每一个分类为红眼伪影类80和非红眼伪影类82之一。
图7示出红眼分类模块72实施的红眼分类方法的实施例。
依据图7的实施例，对于每个候选红眼区域24(图7，块84)，联合度量向量产生模块74选择候选面部区域30的相应一个(图7，块86)。所选择的候选面部区域30典型地是最靠近输入图像20中的相应候选红眼区域24(例如，最接近的相邻候选面部区域30或与相应候选红眼区域24重叠的候选面部区域30)定位的候选面部区域30。
对于每个候选红眼区域24(图7，块84)，联合度量向量产生模块74从与选择的候选面部区域30相关联的面部度量值34的集合和红眼度量值28的相应集合中导出相应联合度量向量78(图7，块88)。在一些实施例中，联合向量产生模块74为每个候选红眼区域24形成由联合索引j＝(a，f)进行索引的相应联合向量Vj 融合＝[ca va cf vf]。
联合度量向量映射模块76把每个联合度量向量78映射到红眼伪影类80或非红眼伪影类82(图7，块90)。一般而言，联合度量向量映射模块76可以以各种不同的方式分类联合度量向量。在一些实施例中，联合度量向量映射模块76基于机器学习分类过程来分类联合度量向量78。在其它实施例中，联合度量向量映射模块76使用基于规则的分类过程来分类联合度量向量78。
以下是使用上面描述的符号的图9的方法的伪代码描述：
1)对于每个伪影，找出由f进行索引的最接近面部以形成联合索引j＝(a，f)和联合向量Vj 融合＝[ca va cf vf]。如果在I(x，y)中没有检测到面部，则设定cf＝0以及Vf＝[0，...，0]。
2)使用机器学习算法，把每个联合向量Vj 融合分类为与红眼伪影或非红眼伪影相关联。
3)对于与红眼伪影相关联的每个索引j，校正在由{(xa TL，ya TL)，(xa BR，ya BR)}指定的范围中I(x，y)的像素。
图8示出训练联合度量映射模块76的基于机器学习的实施例的方法的实施例。
依据图8的实施例，红眼检测模块12和面部检测模块14(参见图1)处理训练图像92的集合以生成候选红眼区域24和相关红眼度量值的相应集合、以及候选面部区域14和相关面部度量值的相应集合。每个所检测的候选红眼区域24对照在训练图像92中包含的由人类专家(或管理员)手动标记的红眼伪影区域的集合进行比较，以确定每个候选是表示红眼伪影(正样本)还是表示非红眼伪影(负样本)(步骤94)。联合度量向量产生模块74(参见图6)处理从红眼检测模块12和面部检测模块14接收的输出数据以为正样本和负样本生成联合度量向量78的相应集合(图8，块96、98)。所得到的训练数据100、102被发送到机器学习模型104以训练联合度量向量映射模块76。在一些实施方式中，机器学习模型104同时选择特征并且训练联合度量向量映射模块76。在一个示例性实施方式中，机器学习模型104是基于Adaboost机器学习技术(例如参见Y.Freund和R.Schapire的“A short introduction to boosting”，J.Of Japanese Societyfor AI，pp.771-780，1999)。给定特征集设计，基于Adaboost的机器学习模型同时执行特征选择和分类器训练。可以通过从训练单眼分类引擎148的过程进行类推来获取关于联合度量映射模块76的训练的附加细节，所述单眼分类引擎148被描述在2003年8月29日提交的共同待决的美国专利申请号10/653,019中。
图9示出由联合度量映射模块76实施的方法的基于规则的实施例的示例。对于每个候选红眼区域24(图9，块110)，如果ca＞T强(图9，块112)，则联合度量向量映射模块76把候选红眼区域24分类为红眼伪影(图9，块114)。如果ca≤T强(图9，块112)但T强＞ca＞T伪影并且候选红眼区域24与候选面部区域30之一吻合(即重叠)(图9，块116)，则联合度量向量映射模块76把候选红眼区域24分类为红眼伪影(图9，块114)。否则，联合度量向量映射模块76把候选红眼区域24分类为非红眼伪影(图9，块118)。在这个实施例中，置信度量度阈值T强典型地具有大于T伪影的值并且根据经验确定为产生错检率和红眼伪影检测率之间的良好折衷。
以下是使用上面描述的符号的图9方法的伪代码描述：
a)如果ca＞T强，则分类为红眼伪影，跳到d)。
b)如果(T强＞ca＞T伪影)且对于某个f，{(xa TL，ya TL)，(xa BR，ya BR)}与{(xf TL，yf TL)，(xf BR，yf BR)}重叠，则分类为红眼伪影，跳到d)。
c)分类为非红眼伪影。
d)返回到步骤a)。
图10是示出在图9的方法中定义的分类空间的示例性图示的文氏图。具体而言，图9的方法把搜索空间分成强候选红眼区域(即，其中ca＞T强)的集合120、弱候选红眼区域(即，其中T强＞ca＞T伪影)的集合122和候选面部的集合124。仅仅由红眼分类器“强”分类为红眼伪影或者被认为是红眼伪影且与候选面部区域重叠的伪影被分类为红眼伪影。这个集合对应于图10中黑线所包围的项目。使用诸如这样的机制产生可以找出在所检测面部之外的红眼而且具有少量的错检的检测器。基于这种决策结构，存在使面部检测器加速的若干方式，这在部分V中进行描述。
E.红眼校正模块的示例性实施例
如上面所解释的，红眼校正模块18校正被分类为红眼伪影的候选红眼区域的至少一个(图2，块42)。红眼校正模块18可以以各种不同的方式执行红眼校正。
在一些实施例中，红眼校正模块18依据与在R.Ulichney和M.Gaubatz的“Perceptual-Based Correction Of Photo Redeye”，Proc.Ofthe 7th IASTED International Conf.on Signal and Image Processing，2005中描述的那些类似的一种或多种红眼校正方法来校正一个或多个候选红眼区域。在这些实施例中，红眼校正模块18识别要校正的每个红眼伪影的区。在这个过程中，红眼校正模块18(1)去饱和所识别的区，并且(2)依据把输入区平均亮度Yavg转换为目标平均亮度f(Yavg)的映射把平均区亮度设定为一定值。为了保持眼睛中的精细亮度结构，将每个红眼亮度值乘上目标亮度与原始平均亮度之比。
对于去饱和及亮度调节二者，锥形递减(taper)校正也是重要的以避免在眼睛中引起人工硬边缘。发现在眼睛区的直径D的10％上延伸的锥形获得良好的结果。在一些实施例中，红眼校正模块18对已被识别进行校正的红眼伪影区应用锥形校正遮罩。锥形遮罩的值典型地落在范围[0，1]中。在一个示例性实施例中，p表示单个位置处的锥形遮罩的值。这个值表示根据给定的方案将像素色度或亮度所减少的百分比。Y，Cb和Cr是所识别的区内的原始像素值。针对这个像素所修改的色度值Cb’和Cr’的方程如下给出：
Cb’＝(1-p)*Cb    (3)
Cr’＝(1-p)*Cr    (4)
Y表示像素的亮度并且Yavg表示紧邻所检测伪影的所有像素的平均像素亮度(以数字计数)。调节的像素亮度Y’然后由下式给出：
Y’＝(1-p)*Y+p*f(Yavg)/Yavg*Y    (5)
其中f(Yavg)＝0.167*Yavg+11.523。这个方程因此可以重新写成：
Y’＝(1-p)*Y+p*(0.167+11.523/Yavg)*Y    (6)
在其他实施例中，红眼校正模块18依据在2003年8月29日提交的共同待决的美国专利申请号10/653,019中描述的一种或多种红眼校正方法来校正一个或多个候选红眼区域。
V.面部检测模块的可选实施例
存在可以提高面部检测模块14的计算效率的若干方式。
在一些实施例中，利用红眼检测模块12的检测结果允许面部检测模块14以准确度减少的模式操作且对图像处理***10的总体红眼检测性能仅有小的影响。具体地，对输入图像20的下采样版本运行面部检测模块14。在这些实施例的一些中，面部检测模块14下采样输入图像20以产生输入图像20的分辨率减小的版本并且在输入图像20的分辨率减小的版本中检测候选红眼区域。除减少计算和存储器开销之外，在执行面部检测之前下采样图像的影响类似于把dX、dY设定为大于1的值(请参考在部分IV.C中给出的伪代码)。
在一些实施例中，其中应用面部检测模块14的输入图像20的区(即，其中检测器“寻找面部”的区)被约束为包括坐标{(xa TL，ya TL)，(xa BR，ya BR)}的区。也就是说，在这些实施例中，面部检测模块14仅在输入图像20的包含候选红眼区域24的那些相应候选红眼区域的坐标的区中确定候选面部区域30。以此方式，可以减少面部检测模块14的计算要求。
在先前段落中描述的一些实施例中，基于观察到大多数眼睛/红眼伪影一般出现在面部内的子区中(参见图2)，面部检测搜索空间被进一步减小为其中每个候选面部边界框的子区包含候选红眼区域24的坐标的区域。在这些实施例中，面部检测模块14仅在输入图像20的如下区中搜索每个候选面部区域30：所述区包含候选红眼区域24的那些相应候选红眼区域的坐标并且由仅包围部分候选面部区域30的相应滑动窗口的位置划界。这些实施例可以参考图11A和11B进行解释，图11A和11B示出从被注解图像的示例集合中确定的、面部中的红眼伪影的与分辨率无关的位置的直方图。尽管伪影出现在相当宽的位置范围(参见图11A)，但是它们一般出现在垂直地狭窄的区内(参见图11B)；大多数出现在面部的总面积的三分之一内。下面示出上面在部分IV.C中描述的面部检测方法的修改版本的伪代码表示。在这种表示中，phigh和plow表示从面部边界框的顶部到面部边界框内眼睛通常出现的垂直位置的相对距离。
set dX＞1，dY＞1，
Figure BPA00001233257600151
while size＜height/2
       a＝1
       while a≤A
             ymin＝MAX(1，MIN(height-size+1，ya BR-plow))
             ymax＝MAX(1，MIN(height-size+1，ya TL-phigh))
             xmin＝MAX(xa BR-size+1，1)
             xmax＝MIN(xa TL，width-size+1)
             y＝ymin
             while y≤ymax
                   x＝xmin
                   while x≤xmax
                                         在框{(x，y)，(x+size-1，
y+size-1)}中寻找面部
                         x＝x+dX
                   end
                   y＝y+dY
             end
             a＝a+1
       end
       size＝round(size*dS)
end
图12比较上面描述的不同面部检测方法所需的面部检测搜索空间。在正常操作(参见在部分IV.C中描述的伪代码)下，为了在当前尺度下检测面部，面部检测模块14将需要评估在整个输入图像132中具有虚线方形130大小的每个块片。虚线方形130表示候选面部窗口，且实线134、136对这个窗口内的其中依据上面指出的观察出现大多数红眼伪影的区进行划界。在优化的情况(参见在先前段落中描述的伪代码)下，面部检测模块14仅需要搜索虚线外矩形138内的每个这样的块片而不是整个图像132，原因在于仅在这个矩形138内所检测的(非强)红眼伪影将与上实线134和下实线136之间的虚方形130中的区重叠。使用在联合度量向量映射模块76的基于规则的实施例中给出的准则，“强”红眼伪影(例如，所检测的红眼伪影139)自动被认为是有效伪影，不管是否检测到重叠的候选面部区域。
V.图像处理***的示例性架构和相关应用环境
A.第一示例性图像处理***架构和应用环境
图13示出本文描述的检测与校正实施例的示例性应用环境140。数字照相机142(例如，可从美国加利福尼亚州Palo Alto的惠普公司获得的
Figure BPA00001233257600161
数字照相机)捕获场景的图像并且把捕获的图像存储在存储卡144(例如，安全数字(SD)多媒体卡(MMC))上。存储卡144可以***到包括图像处理***10的嵌入式实施例的打印机***148(例如，可从美国加利福尼亚州Palo Alto的惠普公司获得的
Figure BPA00001233257600162
打印机)的插槽146中。打印机***148访问与存储在存储卡144上的输入图像对应的数据，自动检测和校正输入图像中的红眼，并且打印校正的输出图像22的硬拷贝150。在一些实施方式中，在打印校正的图像22之前，打印机***148显示校正的图像22的预览并且等待用户确认以继续进行打印。
B.第二示例性图像处理***架构和应用环境
图14示出包含图像处理***10的实施例的数字照相机***152的实施例。数字照相机***152可以被配置成捕获静止图像和视频图像帧中的一者或两者。数字照相机***152包括图像传感器154(例如，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器)、传感器控制器156、存储器158、帧缓冲器160、微处理器162、ASIC(专用集成电路)164、DSP(数字信号处理器)166、I/O(输入/输出)适配器168、以及存储介质170。从图像传感器154输出的值可以是例如8比特数字或12比特数字，其值在从0(无光)到255或4095(最大明亮度)的范围中。一般而言，图像处理***10可以由一个或多个硬件和固件部件实施。在所示出的实施例中，图像处理***10以加载到存储器158中的固件实施。存储介质170可以由任何类型的图像存储技术实施，包括紧凑闪存卡和数字视频盒式磁带。存储在存储介质170中的图像数据可以经由I/O子***168被转移到外部处理***(例如，计算机或工作站)的存储设备(例如，硬盘驱动器、软盘驱动器、CD-ROM驱动器或非易失性数据存储设备)。
微处理器162对数字照相机***152的操作进行流程设计(choreograph)，包括依据本文描述的图像处理方法来处理图像传感器154捕获的输入图像。然而，在检测和校正红眼伪影之前，微处理器152典型地被编程为对图像传感器154捕获的图像数据执行各种操作，包括以下操作中的一个或多个：去马赛克；颜色校正；和图像压缩。微处理器152典型地被编程为对所得到的红眼校正的输出图像22执行各种操作，包括一个或多个存储操作和一个或多个传输操作。
B.第三示例性图像处理***架构和应用环境
图15示出包含图像处理***10的实施例的计算机***180的实施例。计算机***180包括处理单元182(CPU)、***存储器184和把处理单元182耦合到计算机***180的各个部件的***总线186。处理单元182典型地包括一个或多个处理器，每个处理器的形式可以是各种商业上可获得的处理器的任何一种。***存储器184典型地包括只读存储器(ROM)和随机存取存储器(RAM)，所述只读存储器存储包含计算机***180的启动例程的基本输入/输出***(BIOS)。***总线186可以是存储器总线、***总线或本地总线，并且可以与包括PCI、VESA、Microchannel、ISA和EISA的各种总线协议的任何一种兼容。计算机***180也包括永久存储存储器188(例如，硬驱动器、软驱动器、CD ROM驱动器、磁带驱动器、闪存设备和数字视频盘)，其连接到***总线186并且包含一个或多个计算机可读介质盘，该计算机可读介质盘为数据、数据结构和计算机可执行指令提供非易失性或永久性存储。
用户可以使用一个或多个输入设备190(例如，键盘、计算机鼠标、麦克风、操纵杆和触摸垫)来与计算机***180交互(例如，输入命令或数据)。信息可以通过图形用户界面(GUI)被呈现，在由显示控制器184控制的显示监视器192上向用户显示所述图形用户界面。计算机***180也典型地包括***输出设备，诸如扬声器和打印机。一个或多个远程计算机可以通过网络接口卡(NIC)196而连接到计算机***180。
如图12所示，***存储器184也存储数据库200、GUI驱动器198和图像处理***10的实施例，该数据库200包含与输入图像20和红眼校正的输出图像22对应的图像文件、中间处理数据和其他数据。在一些实施例中，图像处理***10与GUI驱动器198和用户输入190交互以控制对输入图像20执行的红眼校正操作。在一些实施例中，计算机***180另外包括图形应用程序，其被配置成在显示监视器192上再现图像数据并且对输入图像20和红眼校正的输出图像22中的一者或两者执行各种图像处理操作。
VI.结论
本文详细描述的实施例能够检测图像中的红眼伪影。这些实施例利用红眼检测和面部检测过程来以低的错检率实现红眼伪影的准确检测。以此方式，这些实施例实现了错检和所检测伪影之间的更好折衷。另外，这些实施例可以以面部检测部件的减少的计算开支被实施。由于它们对处理和存储器资源的高效使用，本文描述的实施例可以容易地被实施在各种不同的应用环境中，包括经受显著的处理和存储器约束的诸如嵌入式环境的应用环境。
其他实施例在权利要求书的范围内。

Claims (20)

1.一种处理输入图像(20)的机器实施的方法，包括：
确定输入图像(20)中的候选红眼区域(24)，其中该确定包括将一个或多个红眼度量值(28)的相应集合与每个候选红眼区域(24)相关联；
查明输入图像(20)中的候选面部区域(30)，其中该查明包括将一个或多个面部度量值(34)的相应集合与每个候选面部区域(30)相关联；
给每个候选红眼区域(24)分配相应联合度量向量(78)，该联合度量向量(78)包括从与候选面部区域(30)的所选择的一个相关联的面部度量值(34)的集合和红眼度量值(28)的相应集合中导出的度量值；
基于分配给候选红眼区域(24)的相应联合度量向量(78)把一个或多个候选红眼区域(24)中的每一个分类为红眼伪影或非红眼伪影；以及
校正被分类为红眼伪影的候选红眼区域(24)的至少一个。
2.权利要求1的方法，其中每个红眼度量值(28)提供相应候选红眼区域(24)对应于红眼伪影的程度的相应指示，并且每个面部度量值(34)提供相应候选面部区域(30)对应于面部的程度的相应指示。
3.权利要求2的方法，其中该确定包括将对应于相应候选红眼区域(24)对应于红眼伪影的置信度量度的红眼度量值(28)的相应一个与每个候选红眼区域(24)相关联。
4.权利要求2的方法，其中该确定包括将提供候选红眼区域(24)包括相应红眼特征的相应指示的红眼度量值(28)的那些红眼度量值与每个候选红眼区域(24)相关联。
5.权利要求2的方法，其中该查明包括将对应于相应候选面部区域(30)对应于面部的置信度量度的面部度量值(34)的相应一个与每个候选面部区域(30)相关联。
6.权利要求2的方法，其中该查明包括将提供候选面部区域(30)包括相应面部特征的相应指示的面部度量值(34)的那些面部度量值与每个候选面部区域(30)相关联。
7.权利要求1的方法，其中该分配包括对于每个候选红眼区域(24)：
选择候选面部区域(30)的相应一个，以及
从与选择的候选面部区域(30)相关联的面部度量值(34)的集合和红眼度量值(28)的相应集合中导出相应联合度量向量(78)。
8.权利要求7的方法，其中该选择包括选择最靠近输入图像(20)中的候选红眼区域(28)定位的候选面部区域(30)。
9.权利要求1的方法，其中该分类包括把每个相应联合度量向量(78)映射到红眼伪影类或非红眼伪影类。
10.权利要求9的方法，其中每个联合度量向量(78)包括指示相应候选红眼区域(24)对应于红眼伪影的程度的红眼置信度量度值、指示选择的候选面部区域(30)对应于面部的程度的面部置信度量度值、对应于相应候选红眼区域(28)包括相应红眼特征的相应指示的至少一个度量值、以及对应于选择的候选面部区域(30)包括相应面部特征的相应指示的至少一个度量值。
11.权利要求10的方法，其中该映射包括把包括高于第一阈值的相应红眼概率值的联合度量向量(78)中的那些联合度量向量映射到红眼伪影类。
12.权利要求11的方法，其中该映射包括把与和相关候选面部区域(30)重叠的候选红眼区域(24)中的相应一个相关联的且包括在第一阈值和比第一阈值小的第二阈值之间的相应红眼概率值的每个联合度量向量(78)映射到红眼伪影类。
13.权利要求1的方法，其中该查明包括下采样输入图像(20)以产生输入图像(20)的分辨率减小的版本并且在输入图像(20)的分辨率减小的版本中检测候选红眼区域(24)。
14.权利要求1的方法，其中该查明包括仅在包含候选红眼区域(30)的那些相应候选红眼区域的坐标的输入图像(20)的区中确定候选面部区域(30)。
15.权利要求14的方法，其中该查明包括仅在包含候选红眼区域(24)的那些相应候选红眼区域的坐标的且由仅包围部分候选面部区域(30)的相应滑动窗口的位置所划界的输入图像(20)的区中确定每个候选面部区域(30)。
16.一种用于处理输入图像(20)的设备，包括：
存储器(184)；以及
处理单元(182)，其耦合到存储器(184)并且在操作中用来执行包括以下的操作：
确定输入图像(20)中的候选红眼区域(24)，其中在该确定中处理单元(182)在操作中执行包括将一个或多个红眼度量值(28)的相应集合与每个候选红眼区域(24)相关联的操作；
查明输入图像(20)中的候选面部区域(30)，其中在该查明中处理单元(155)在操作中执行包括将一个或多个面部度量值(34)的相应集合与每个候选面部区域(30)相关联的操作；
给每个候选红眼区域(24)分配相应联合度量向量(78)，该联合度量向量(78)包括从与候选面部区域(30)的所选择的一个相关联的面部度量值(34)的集合和红眼度量值(28)的相应集合中导出的度量值；
基于分配给候选红眼区域(24)的相应联合度量向量(78)把一个或多个候选红眼区域(24)中的每一个分类为红眼伪影或非红眼伪影；以及
校正被分类为红眼伪影的候选红眼区域(24)的至少一个。
17.权利要求16的设备，其中每个红眼度量值(28)提供相应候选红眼区域(24)对应于红眼伪影的程度的相应指示，并且每个面部度量值(34)提供相应候选面部区域(30)对应于面部的程度的相应指示。
18.权利要求16的设备，其中在该分配中处理单元(182)在操作中执行包括以下的操作：对于每个候选红眼区域(24)：
选择候选面部区域(30)的相应一个，以及
从与选择的候选面部区域(30)相关联的面部度量值(34)的集合和红眼度量值(28)的相应集合中导出相应联合度量向量(78)。
19.权利要求16的设备，其中在该查明中处理单元(182)在操作中执行包括仅在包含候选红眼区域(24)的那些相应候选红眼区域的坐标的输入图像(20)的区中确定候选面部区域(30)的操作。
20.一种存储计算机可读指令的计算机可读介质(188)，所述计算机可读指令使计算机(180)执行包括以下的操作：
确定输入图像(20)中的候选红眼区域(24)，其中该确定包括将一个或多个红眼度量值(28)的相应集合与每个候选红眼区域(24)相关联；
查明输入图像(20)中的候选面部区域(30)，其中该查明包括将一个或多个面部度量值(34)的相应集合与每个候选面部区域(30)相关联；
给每个候选红眼区域(24)分配相应联合度量向量(78)，该联合度量向量(78)包括从与候选面部区域(30)的所选择的一个相关联的面部度量值(34)的集合和红眼度量值(28)的相应集合中导出的度量值；
基于分配给候选红眼区域(24)的相应联合度量向量(78)把一个或多个候选红眼区域(24)中的每一个分类为红眼伪影或非红眼伪影；以及
校正被分类为红眼伪影的候选红眼区域(24)的至少一个。
CN2008801284408A 2008-02-01 2008-02-01 自动红眼检测 Pending CN101983507A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2008/001380 WO2009096920A1 (en) 2008-02-01 2008-02-01 Automatic redeye detection

Publications (1)

Publication Number Publication Date
CN101983507A true CN101983507A (zh) 2011-03-02

Family

ID=40913066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801284408A Pending CN101983507A (zh) 2008-02-01 2008-02-01 自动红眼检测

Country Status (6)

Country Link
US (1) US8446494B2 (zh)
EP (1) EP2238744A4 (zh)
JP (1) JP2011511358A (zh)
KR (1) KR20100124738A (zh)
CN (1) CN101983507A (zh)
WO (1) WO2009096920A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106471521A (zh) * 2014-06-25 2017-03-01 柯达阿拉里斯股份有限公司 自适应眼睛伪影识别及校正***

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8170332B2 (en) * 2009-10-07 2012-05-01 Seiko Epson Corporation Automatic red-eye object classification in digital images using a boosting-based framework
US20120008856A1 (en) * 2010-07-08 2012-01-12 Gregory Robert Hewes Automatic Convergence Based on Face Detection for Stereoscopic Imaging
US9721160B2 (en) 2011-04-18 2017-08-01 Hewlett-Packard Development Company, L.P. Manually-assisted detection of redeye artifacts
US9041954B2 (en) 2011-06-07 2015-05-26 Hewlett-Packard Development Company, L.P. Implementing consistent behavior across different resolutions of images
US8594453B2 (en) 2011-08-18 2013-11-26 Hewlett-Packard Development Company, L.P. Method of robust alignment and payload recovery for data-bearing images
US8970902B2 (en) 2011-09-19 2015-03-03 Hewlett-Packard Development Company, L.P. Red-eye removal systems and method for variable data printing (VDP) workflows
US8244061B1 (en) * 2011-10-10 2012-08-14 Doug Carson & Associates, Inc. Automated detection of source-based artifacts in an information signal
US8433143B1 (en) 2012-01-04 2013-04-30 Doug Carson & Associates, Inc. Automated detection of video artifacts in an information signal
US9129185B1 (en) * 2012-05-21 2015-09-08 The Boeing Company System and method for reducing image clutter
EP3167407A4 (en) * 2014-08-07 2017-11-08 Huawei Technologies Co. Ltd. A processing device and method for face detection
JP6546271B2 (ja) * 2015-04-02 2019-07-17 株式会社日立製作所 画像処理装置、物体検知装置、画像処理方法
US10585902B2 (en) * 2016-05-24 2020-03-10 International Business Machines Corporation Cognitive computer assisted attribute acquisition through iterative disclosure
US10410091B2 (en) * 2017-08-10 2019-09-10 International Business Machines Corporation Detecting artifacts based on digital signatures
US11204896B2 (en) 2017-08-18 2021-12-21 International Business Machines Corporation Scalable space-time density data fusion
US11360970B2 (en) 2018-11-13 2022-06-14 International Business Machines Corporation Efficient querying using overview layers of geospatial-temporal data in a data analytics platform

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5432863A (en) * 1993-07-19 1995-07-11 Eastman Kodak Company Automated detection and correction of eye color defects due to flash illumination
US20020191877A1 (en) 1997-04-16 2002-12-19 Hironori Suzuki Rolling bearing unit with shield plate
US6009209A (en) * 1997-06-27 1999-12-28 Microsoft Corporation Automated removal of red eye effect from a digital image
US6292574B1 (en) * 1997-08-29 2001-09-18 Eastman Kodak Company Computer program product for redeye detection
US6016354A (en) * 1997-10-23 2000-01-18 Hewlett-Packard Company Apparatus and a method for reducing red-eye in a digital image
US6678827B1 (en) * 1999-05-06 2004-01-13 Watchguard Technologies, Inc. Managing multiple network security devices from a manager device
US6873743B2 (en) * 2001-03-29 2005-03-29 Fotonation Holdings, Llc Method and apparatus for the automatic real-time detection and correction of red-eye defects in batches of digital images or in handheld appliances
EP1288858A1 (de) 2001-09-03 2003-03-05 Agfa-Gevaert AG Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotographischen Bilddaten
CA2477097A1 (en) * 2002-02-22 2003-08-28 Pixology Software Limited Detection and correction of red-eye features in digital images
US7155058B2 (en) * 2002-04-24 2006-12-26 Hewlett-Packard Development Company, L.P. System and method for automatically detecting and correcting red eye
US20040196503A1 (en) * 2003-04-07 2004-10-07 Eastman Kodak Company Index print having a correction indicator thereon and a method of making the index print
US7116820B2 (en) * 2003-04-28 2006-10-03 Hewlett-Packard Development Company, Lp. Detecting and correcting red-eye in a digital image
US7343028B2 (en) * 2003-05-19 2008-03-11 Fujifilm Corporation Method and apparatus for red-eye detection
US7689009B2 (en) * 2005-11-18 2010-03-30 Fotonation Vision Ltd. Two stage detection for photographic eye artifacts
US20050031224A1 (en) * 2003-08-05 2005-02-10 Yury Prilutsky Detecting red eye filter and apparatus using meta-data
US7333653B2 (en) * 2003-08-29 2008-02-19 Hewlett-Packard Development Company, L.P. Detecting and correcting redeye in an image
US7376270B2 (en) * 2003-12-29 2008-05-20 Canon Kabushiki Kaisha Detecting human faces and detecting red eyes
JP4373828B2 (ja) * 2004-03-22 2009-11-25 富士フイルム株式会社 特定領域検出方法、特定領域検出装置、およびプログラム
JP2005286830A (ja) * 2004-03-30 2005-10-13 Fuji Photo Film Co Ltd 画像処理方法、画像処理装置、およびプログラム
JP4320272B2 (ja) * 2004-03-31 2009-08-26 富士フイルム株式会社 特定領域検出方法、特定領域検出装置、およびプログラム
JP2005322220A (ja) * 2004-04-06 2005-11-17 Fuji Photo Film Co Ltd 特定領域検出方法、特定領域検出装置、およびプログラム
JP2006018805A (ja) * 2004-06-02 2006-01-19 Fuji Photo Film Co Ltd 特定領域検出方法、特定領域検出装置、およびプログラム
US20050276481A1 (en) * 2004-06-02 2005-12-15 Fujiphoto Film Co., Ltd. Particular-region detection method and apparatus, and program therefor
JP4757559B2 (ja) * 2004-08-11 2011-08-24 富士フイルム株式会社 被写体の構成要素を検出する装置および方法
JP4378258B2 (ja) * 2004-10-14 2009-12-02 富士フイルム株式会社 画像補正装置およびその制御方法
KR100727935B1 (ko) * 2005-05-24 2007-06-14 삼성전자주식회사 이미지 보정 방법 및 장치
JP2008022502A (ja) 2006-07-14 2008-01-31 Canon Inc 撮像装置、撮像方法、撮像プログラム及び画像処理装置
US20080170778A1 (en) * 2007-01-15 2008-07-17 Huitao Luo Method and system for detection and removal of redeyes
KR101159830B1 (ko) * 2007-03-05 2012-06-26 디지털옵틱스 코포레이션 유럽 리미티드 얼굴 위치 및 방위를 이용한 적목 거짓 양성 필터링 방법
US8031961B2 (en) * 2007-05-29 2011-10-04 Hewlett-Packard Development Company, L.P. Face and skin sensitive image enhancement
KR100894485B1 (ko) * 2007-07-06 2009-04-22 캐논 가부시끼가이샤 촬상장치 및 그 제어방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106471521A (zh) * 2014-06-25 2017-03-01 柯达阿拉里斯股份有限公司 自适应眼睛伪影识别及校正***
CN106471521B (zh) * 2014-06-25 2020-10-23 柯达阿拉里斯股份有限公司 自适应眼睛伪影识别及校正***

Also Published As

Publication number Publication date
US20110001850A1 (en) 2011-01-06
EP2238744A4 (en) 2011-08-03
KR20100124738A (ko) 2010-11-29
US8446494B2 (en) 2013-05-21
JP2011511358A (ja) 2011-04-07
EP2238744A1 (en) 2010-10-13
WO2009096920A1 (en) 2009-08-06

Similar Documents

Publication Publication Date Title
CN101983507A (zh) 自动红眼检测
US7724950B2 (en) Image processing apparatus, image processing method, computer program, and storage medium
US8675960B2 (en) Detecting skin tone in images
JP4549352B2 (ja) 画像処理装置および方法，ならびに画像処理プログラム
US7907786B2 (en) Red-eye detection and correction
US20060280363A1 (en) Image processing apparatus and method, computer program, and storage medium
JP2007534179A (ja) デジタル画像の明度の調整
JP2007504719A (ja) 組み込みアプリケーションに適した、画像における赤目の検出と補正を行うシステム及び方法
US9256928B2 (en) Image processing apparatus, image processing method, and storage medium capable of determining a region corresponding to local light from an image
US20090285488A1 (en) Face tracking method for electronic camera device
JP2010045819A (ja) 顔を検出するカメラ及び方法
CN111985465A (zh) 文本识别方法、装置、设备及存储介质
CN112396050B (zh) 图像的处理方法、设备以及存储介质
JP4901229B2 (ja) 赤目検出方法および装置並びにプログラム
JP5640622B2 (ja) 赤目オブジェクト候補を分類する方法、コンピューター読み取り可能な媒体および画像処理装置
US8885971B2 (en) Image processing apparatus, image processing method, and storage medium
CN108965646A (zh) 图像处理装置、图像处理方法和存储介质
JP4148903B2 (ja) 画像処理装置、画像処理方法およびデジタルカメラ
JP2006323779A (ja) 画像処理方法、画像処理装置
JP2005049979A (ja) 顔検知装置及びインターホン装置
JP4496005B2 (ja) 画像処理方法および画像処理装置
EP2541469B1 (en) Image recognition device, image recognition method and image recognition program
JP4522229B2 (ja) 画像処理方法及びその装置
JP4789526B2 (ja) 画像処理装置、画像処理方法
JP2007025901A (ja) 画像処理装置、画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110302