CN106973278B - 一种参照人脸色彩特征的自动白平衡装置及方法 - Google Patents
一种参照人脸色彩特征的自动白平衡装置及方法 Download PDFInfo
- Publication number
- CN106973278B CN106973278B CN201710284810.8A CN201710284810A CN106973278B CN 106973278 B CN106973278 B CN 106973278B CN 201710284810 A CN201710284810 A CN 201710284810A CN 106973278 B CN106973278 B CN 106973278B
- Authority
- CN
- China
- Prior art keywords
- color
- face
- user
- illumination
- color character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012937 correction Methods 0.000 claims abstract description 27
- 230000000694 effects Effects 0.000 claims abstract description 9
- 238000005286 illumination Methods 0.000 claims description 82
- 238000013507 mapping Methods 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 24
- 238000010801 machine learning Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 8
- 239000012141 concentrate Substances 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000004441 surface measurement Methods 0.000 claims 8
- 238000012545 processing Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 230000011218 segmentation Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 210000001508 eye Anatomy 0.000 description 10
- 238000001514 detection method Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000007493 shaping process Methods 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 238000005303 weighing Methods 0.000 description 3
- 230000005457 Black-body radiation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004587 chromatography analysis Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002500 effect on skin Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
本发明涉及一种参照人脸色彩特征的自动白平衡装置和方法,可在具有前置摄像模式的电子媒体装置或多个电子媒体装置上实现。通过获取用户的人脸色彩特征集,以及在判定待处理图像中含有该用户的人脸时,获取该用户当前人脸色彩特征,合同预先获取的用户的人脸色彩在人脸特征集中的数据,作为对当前色温及色彩估计及自动白平衡矫正和色彩增强的参考依据。本发明还介绍了多种可选目标值的方法,来进行自动白平衡矫正和色彩增强,以达到改进用户体验的效果。
Description
技术领域
本发明涉及影像技术和电子设备领域,特别的是摄像头图像处理***中的色彩控制、处理和增强。
背景技术
自动白平衡通常包括照明色彩及色温估计,色彩通道的增益调节和色彩矫正和增强。肤色物体表面通常是白平衡照明色彩及色温估计的比较棘手的场景。其一是种族和个体的肤色差,以及个人化妆等带来的随机变异。其二是白色或其它物体表面在一定的色温光照下和肤色难以分辨,从而使目前流行的一些白平衡算法如A.灰色世界、B.完全反射、C.多表面相关等在肤色充盈的场景下对环境色温发生误判。即便在主流品牌的摄像产品中,肤色引起的白平衡误差和肤色色彩还原误差也颇为多见。因此,美国专利申请公开号US2008037975A1中主张将人脸肤色从环境色温的估计中剔除。自动白平衡的一个主要难点是在估计环境色温时,摄像头看到的是未知光源的光照在未知色彩表面物体上的混叠。如果场景中有已知色彩的表面,比如像专业摄像常用的现场白平衡的灰板,计算则很简单。但这对普通照相用户是不方便的。
发明内容
本发明的目的在于提供一种适用于电子媒体装置的自动白平衡装置。
解决本发明的目的所采取的方案是:采用一种电子媒体装置,包括至少一个前置工作模式的摄像头,所述摄像头的前置工作模式的拍摄视场中通常含有该电子媒体装置的用户;
一个或多个处理器,其中一个处理器用于控制该电子媒体装置的***;
存储器,用于存有可供处理器读取的指令集及;
缓存帧图像和其它数据,以及处理器用来执行指令;
可通过网络或其它媒介接收和传送图像、视频或其它数据的装置;
可显示图像和图形的显示屏;
用户可控的人机交互界面;
其中,所述摄像头包括镜头、图像传感器、存储器、摄像头控制器、及图像处理器等模块;该图像处理器将图像传感器传过来的信号处理成符合应用格式化的图像或视频;
其中,所述摄像头的上述部分或全部模块是资源独立的,或者是和宿主电子媒体装置资源共享的;
在本发明中,该图像处理器包括自动白平衡模块,该自动白平衡模块包括电子逻辑和控制处理电路及控制处理软件,通过该电子逻辑和控制处理电路及控制处理软件在视频预览、录像或抓拍过程中将该图像处理器流水线上的帧图像缓存于独立的或共享的存储器中,进行人脸检测、分割和识别,提取用户人脸的色彩特征作为自动白平衡的参考表面,利用该表面色彩特征进行更为准确的白平衡的照明色温及色彩估计,并可对人脸及人体裸露的肤色、图像的其它部分进行有区别的白平衡的调节和色彩增强。此外,通过人机交互界面可获取用户对自己人脸色彩的喜好作为AWB调节的参考目标值,以达到一对一的用户人脸色彩表达的体验效果。
本发明的另一个目的在于提供一种更灵活的可由多个电子媒体装置架构实现的上述自动白平衡装置。
在第一电子媒体装置上实现所述获取人脸色彩特征集的步骤,在第二电子媒体装置上实现所述获取图像的步骤,在第一、或第二、或第三电子媒体装置上实现所述确认、提取以及自动白平衡的色温及色彩估计以及色彩调节的步骤,或其它不同的步骤与装置的组合;其中:实现所述自动白平衡的色温及色彩估计以及色彩调节的步骤的电子媒体装置包括接收由拍照获得的所述数字图像和/或已提取的所述用户人脸色彩特征和/或人脸色彩特征集。
综合上述两种不同架构实现的自动白平衡装置及下述的具体实现步骤,本发明提供了一种参照人脸色彩特征的自动白平衡方法,该方法适用于在一个或多个电子媒体置上实现图像及视频媒体的自动白平衡装置,包括以下步骤:
获取包括用户人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集;
获取一幅数字图像;
确认该图像中至少含有一个用户人脸,且人脸色彩特征集中已获取该用户上述至少一个部位的色彩特征,则提取该图像中该用户人脸的所述人脸相应部位的色彩特征,参照该图像中该用户人脸的所述人脸相应部位的色彩特征及该用户在人脸色彩特征集中的数据对该图像进行自动白平衡的色温及色彩估计以及色彩调节。
附图说明
图1为前摄平台的示意图;
图2为自动白平衡(AWB)模块的ISP示意流程图;
图3为自动白平衡(AWB)模块的另一ISP示意流程图;
图4为后处理模式的流程图示意图;
图5为人脸色彩特征获取模式的流程图;
图6为AWB调节模式的流程图;
图7为AWB机器学习模式的示意图;
图8为将人脸分割成肤色区、眼白、牙齿的示意图;
图9为白点轨迹和肤色轨迹在一个色坐标系中的示意图;
图10为一种AWB调节的方法,使用同一个C3对整幅图像进行同一处理;
图11为另一种AWB调节的方法:使用C3有区别的对人脸和背景图像进行处理,以白平衡标准参考光源照明下的白点位置为目标;
图12为另一种AWB调节的方法:使用C3有区别的对人脸和背景图像进行处理,并以用户喜好的色彩表达为目标;
图13为一种检测人脸以外其他裸露皮肤的方法;
图14为用户人机界面的实现方法示意图;
图15为AWB反馈学习示意图;
图16为人脸色彩特征用于人脸识别的辅助矢量的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了便于理解,对涉及到专用符号或名词进行如下解释:
C1、C2、C3:
将图像分割成人脸部分和背景部分,C1,C2,C3指自动白平衡(Automatic WhiteBalance:AWB)的照明色温及色彩估计基于背景、人脸和全图的计算过程和结果。该结果通常由某一色空间或色坐标系中的坐标点位置来表示。用来计算色温的方法可以用上述背景技术中提到的A、B、C或其它方法。
人脸色彩特征:在本发明中指人脸分割后,包括人脸肤色,眼白以及牙齿部位中至少一个部位的统计色彩特征,包括其本征值及目标值,对应于AWB常用的光照色温区间的照明色温及色彩。
人脸色彩特征集:在本发明中指包括所有用户的对应于AWB常用的光照色温区间的照明色温及色彩的人脸色彩特征的数据集合和结构。
前摄平台:指摄像头或其它含有摄像头电子媒体装置,在操作中至少有一个模式,其中一个摄像头的视场通常含有该装置的使用者。
机主:前摄平台的机主或管理员,有权使用并授权平台使用者用户权,使其有使用本发明的体验的权利。
用户:前摄平台具有用户权的使用者,用户权也有可以有前摄平台的服务程序直接开放授权,直至用户群达到***支持的最大限度。
ISP(Image Signal Processor:图像信号处理装置或图像信号处理器):摄像头的图像信号处理***,包括图像传感器的接口、与宿主设备的控制和信号通讯接口、图像信号处理的电子电路的计算和逻辑硬件引擎、数据和程序使用的存储器,可编程的处理器及控制和处理软件等。
鉴于观测到用户人脸常常是前摄平台的主要摄像目标并占据了拍摄图像的较大的画面,而手机后置摄像头和其它摄像装置也经常拍摄人脸肖像;并由于智能手机及其它前摄平台的日益扩展和普及应用,使得利用现场拍摄到的图像中用户人脸的色彩特征作为AWB的参考表面成为一个实用可行的技术。
本发明自动白平衡(AWB)装置作为摄像头ISP的一个模块适用于前摄平台,也可应用于其它摄像平台的自动白平衡的方法和装置,包括电子逻辑和控制处理电路,和控制处理软件。其主要工作过程为首先获取人脸色彩特征集,其次在实时工作中将ISP流水线上的帧图像缓存于存储器中,进行人脸检测、分割和识别,提取用户人脸的色彩特征作为自动白平衡的参考表面,利用该表面色彩特征以及人脸色彩特征集中的数据进行更为准确的白平衡的照明色温及色彩估计,并可对人脸及人体裸露的肤色、图像的其它部分进行有区别的白平衡的调节和色彩增强。此外,通过人机交互界面可获取用户对自己人脸色彩的喜好作为AWB调节的参考目标值,以达到一对一的用户人脸色彩表达的体验效果。
本发明所述的电子媒体装置包括:一个或多个摄像头,其中至少一个摄像头的一个工作模式中摄像头的视场通常可见该装置的使用者。
一个或多个可编程处理器,其中一个为***控制器;存储器,可存有可供***处理器读取的指令集和缓存数据,以及控制器用来执行指令;可通过网络或其它媒介接收和传送图像、视频或其它数据的装置。
前摄平台的摄像头包括镜头和图像传感器;ISP***;图像传感器与ISP***的接口;专用的或与宿主平台控制器兼用的可编程摄像头控制器;自带的或与宿主平台共享的显示屏;自带的或与宿主平台共享的图像或视频的抓拍存储传输装置;自带的或与宿主平台共享的存储器,可存储可供摄像头控制器读取的指令集及缓存帧图像和其它数据,以及摄像头控制器用来执行指令;可通过网络或其它媒介接收和传送图像、视频或其它数据的装置;摄像头具有关机、开机、待机、预览、视频抓拍和图像抓拍等工作状态,由摄像头专用控制器或平台***控制器根据用户的需求来切换。在预览或抓拍工作模式下,帧图像经图像传感器的接口,再经过ISP的前级处理后储存于缓存中。然后一个或多个控制器或其它专用逻辑计算电路对图像进行人脸检测,分割和识别以及人脸色彩特征的提取以及基于人脸色彩特征的AWB增益调节和色彩增强,并将图像传输到耦合的ISP下游模块做进一步处理并产生格式化的输出或显示,存储在本机的固态存储单元中,或经由网络输出。图2和图3是简化的摄像头及ISP的工作示意图。人脸色彩特征的获取也可以把抓拍的图像输出储存为通用的图像文件,由其它具有计算功能的平台来分析处理。
本发明的AWB装置作为ISP的一个模块,其功能包括对照明色温及色彩进行估计,再根据估计的结果将图像从当前照明矫正到在白平衡标准参考光源照明如D50照明下的状态,或将图像矫正到一个非标准但更与人眼感觉更吻合的照明下的状态,或将图像矫正到本机用户偏爱的目标状态。特别的色彩增强可以与AWB的增益调节同时进行,或在AWB增益调节后进行。AWB模块可以用如图2或图3的方法实现,也可以在ISP内不同的位置实现,如Bayer域中,或如图4所示的后处理模块,或在其它平台上作为一个脱机模块来实现。如图2所示的实施例的实现中,抓拍的图像或视频的帧图像在经过前处理里后被存于缓存260中。控制器230通过对缓存260的读写和运算进行人脸检测和识别,人脸特征获取,照明色温及色彩估计,白平衡增益调节,色彩矫正和增强。如有专门设计的硬件加速运算电路,高速控制器和充足的和动态缓存空间会大大提高运算速度和图像处理的质量和效果。
本发明披露的AWB装置有3种工作模式:
AWB人脸色彩特征获取模式如图5所示;
AWB色彩调节模式如图6所示;
AWB的机器学习模式如图7所示。
在AWB人脸色彩特征获取模式下,模块53对经过前处理的缓存51中的图像进行人脸检测,分割和识别;模块52获取被识别认可的用户的人脸色彩特征的本征值,并通过人机交互模块55提取人脸色彩特征的目标值,并将结果存在模块54人脸色彩特征集中。其中,缓存51中的图像也可以经过进一步处理输出为格式化的图像文件,提取人脸色彩特征可以在本装置或其它装置上进行。
在AWB调节模式下,模块63进行人脸检测,分割和识别和人脸色彩特征提取,64根据上述的结果以及人脸色彩特征集62中的人脸色彩特征数据进行照明色温及色彩估计并获取C1,C2,C3,根据C1,C2,C3和人脸色彩特征集中的数据进行白平衡的增益调节和色彩增强。
在AWB的机器学习模式中,AWB控制起初完全基于C1的计算,人脸色彩特征的获取和学习过程在后台运行。当学习过程收敛之后,如上述基于C1,C2,C3的AWB调节模式在前台运行。
以下对上述三种模式进行详细描述。
AWB人脸色彩特征获取模式:
人脸检测、分割和识别的实时算法实现,已在智能手机和其它视频***中大量使用。前摄平台可以利用用户群有限和多种用户的辅助身份信息如密码、指纹等,以及利用下述的人脸色彩特征集作为人脸识别的辅助特征矢量,使人脸识别的计算量进一步简化。因此,人脸检测、分割和识别的实时算法实现在本发明中作为现有技术而不作详细叙述。
AWB人脸色彩特征获取模式包括:标准光源多点标测模式、标准色板多点标测模式、单点插值标测模式,和机器学习自动测试模式。
标准光源多点标测模式:
在AWB适用的参考光源照明下,拍摄含有人脸的图像,对人脸进行检测,和分割和识别,并提取包括肤色,眼白和牙齿部位的色彩特征。具体地,可以在D50或其他标准光源和合适的亮度照明下,在摄像平台的自动曝光和对焦稳定后,先用灰卡做手动白平衡,然后关闭白平衡的功能:拍摄用户脸部正面图像,并在显示屏幕显示上述所拍的图像,使其脸部轮廓的尺度足够大,眼白、牙齿清晰可见;测试软件对人脸进行检查和定位,并提取各部位的统计色彩特征,输入到人脸色彩特征集对应于该用户该照明光源的本征值表项中;测试软件再调节人脸肤色在某一色空间的位置,将效果和调节方法在显示屏上显示如图14,并由用户通过人机交互界面来调节选择最佳效果,测试软件再根据用户的选择将人脸肤色在色空间中选定的位置坐标作为目标值输入至人脸色彩特征集对应于该用户该照明光源的目标值表项中;保持自动白平衡关闭,改变照明光源,逐一重复上述步骤,但在本征值测量时不再做手动白平衡,在目标值测量时做手动白平衡,即可获得对应于新的光源点的人脸色彩特征值。使测量的光源以一定的间隔(1000K-2000K)覆盖白平衡需要覆盖的色温区间(如2500K-12000K),则测试完成。以下以肤色区为例,更为详细的表述本征值的获取过程。如图8所示,首先将肤色区880的像素点从RGB空间转化到HSL空间,并采用一个数据结构使每一个像素点在RGB空间图像矩阵中的位置不被丢失。其次用大小可调的亮度阈值来去除过亮和过暗的像素点。再次对通过滤波的像素点做一个对应于H和S的二维直方图,保留近直方图峰值中心区域约80%的像素点作为肤色特征统计的优选点,并在RGB空间原矩阵中计算这些优选点各个坐标分量的平均值,其结果就作为用户的肤色特征本征值r110,g110,b110输入到人脸色彩特征集中对应于该用户表项在该色温下的本征值的位置。提取眼白和牙齿的本征值的过程与之相似,但人眼区830以及嘴巴区820在上述提取前需经进一步分割以得到准确的眼球和牙齿的轮廓边缘。
标准灰板多点标测模式:
由于标准光源设备的昂贵和上述操作的不方便,可以做如下简易的标测:用含有标准灰板或白色表面的背景在室内外常用环境下拍摄含有上述参考表面的用户脸部图像,可选择例如“日光灯”、“白炽灯”、“阳光下”、“树荫下”等场景,以包含AWB所需覆盖的色温和色谱区间;用户通过上述人机交互界面做色彩调整,选择喜爱的最佳肤色效果;测试程序会根据标准灰板或白色表面来计算环境色温,和与之对应的人脸色彩特征本征值和目标值。
单点插值标测模式:
如图9所示,人类肤色在某一色坐标系中的在自然光照明下的色彩分布可以通过大量经验数据来获取,可以通过上述两种方法之一获取一个色温点的人脸色彩本征值点的坐标P,再根据人类肤色的在色坐标系中的统计分布及其与摄像头标测的白点分布在该色坐标系中的位置的相关性进行外插,即可获取足够多的色温点的本征值。
上述三种人脸色彩特征提取过程是由测试程序对缓存中的图像进行的,也可以将图像抓拍或视频录像,输入到其它平台或装置上进行人脸检测、分割、识别、特征提取以及白平衡的照明估计、矫正和增强。
上述的人脸色彩特征获取过程可以在用户的启动下随时进行或由***服务程序启动,人脸色彩特征集的数据也随之更新。如果人脸识别不能确认画面中的人脸为用户,可将检测到的人脸部分从C1白平衡色温估计中剔除。C2不做计算
以下表一为人脸色彩特征集对应于自然光照明在RGB色空间的坐标示例。
表一:人脸色彩特征集表项结构示意
AWB色彩调节模式
如图6所示,首先模块63对缓存中的图像进行人脸检测、分割和识别,确认为用户后,模块64进行自动白平衡的环境色温估计。以一种基于黑体辐射的光源特性的照明估计方法为例:
C1计算方式如下:
如图9所示,设背景中任一像素点为ib,其R、G、B分量为rib,gib,bib。背景像素点总和为T1,平均色温的估计为
αib为加权因子,与该点的色彩特征及亮度相关。
将垂直投影到最近的白点轨迹曲线,即可得到色温估计值C1。
C2的计算,其基本原理与C1计算相似。每个人脸部位都可以看成是一个独立的参考表面,根据其实测的统计平均值在该表面的色温曲线中的投影位置,以及与色温估计的置信度相关的权重,可算出其对C2的贡献。设人脸图像上任一点ifj,j对应于各个不同的分割部位,与人脸色彩特征集表中的行列序号相对应,各部位的色温估计先分别进行计算,然后再加以综合,以肤色为例:
肤色区的图像像素点坐标值乘以一个系数为该点对平均色温估计的贡献,可与该点的色彩特征及亮度相关。
其中代表人脸肤色像素点总数。
如图10所示,图中为某一用户人脸肤色的平均估计在色坐标系中的位置,对应该用户肤色本征值色温曲线上的投影Pfm即为上述肤色的色温估计
人脸其余部位的色温估计,与肤色相似,令眼白的色温估计为牙齿为在计算C2,时,还需要再次通过查找人脸色彩特征值将 和映射到白点轨迹上得到相应的和
其中θj为估计的置信度加权因子。
把C1,C2的坐标看成一个矢量,则全图的色温估计
C3=(C1*k1+C2*k2)/(k1+k2); 【4】
其中(0<k1<1,0<k2<1;0<w1<1,0<w2<1),k1,k2是加权系数,可以是置信度w1,w2的一个函数。
对于色彩与黑体辐射的光源特性的照明有一定差异的、需要做白平衡矫正的人工光源的照明色温和色彩估计和白平衡矫正,C1即为即统计估计总体平均值不向白点色温曲线作投影,C2的人脸各部位计算与之类似。
自动白平衡矫正与色彩增强:
本发明可根据色温及色彩估计C1或C2或C3或C1、C2、C3的任意组合对图像进行白平衡矫正和色彩增强,以下是一些可行的实例:
(1)用C3对背景和人脸进行同一白平衡的矫正和人脸的色彩增强(参见图10)在标准色温照明下,白点的这通常是在ISP***调试过程中各个色彩通道的增益作了对应于传感器像素光谱以及其它模块作了相应的预处理调节。如果当前的照明色温估计C3在(B/G,R/G)色坐标系中的坐标是则,对应于R通道和B通道的附加的白平衡增益调节为G/R1和G/B1,G通道增益通常不变,以保证自动曝光不受白平衡的影响。白平衡调节之后,还要进行一个3*3CCM色彩矫正矩阵[R′,G′,B′]=A*[R,G,B]T。【5】
(2)用C3对背景和人脸分别进行白平衡的矫正和人脸的色彩增强(参见图11)。人脸的各个部位和背景被从各自当前的C3位置调节到各自的D50本征值位置。这种方法会使各个部位的色彩还原最佳,但计算量较大,还要处理好边界的平滑,以避免噪声和不自然的图像失真。
(3)另一种实施的方法是用C2和C1来分别处理人脸及人体的肤色与其它背景图像,这对人脸和背景照明色谱差异较大时特别有效,并基于用户优选的目标值的白平衡矫正(如图12所示)。人脸各个部位的色彩从对应于当前估计的C2的本征值位置调节到对应于C2的目标值位置。每一个用户都有一组本征值和目标值。在某一用户没有目标值选项的情况下,就只能纠正到该用户的标准参考光源下的本征值。如图10和图11所示。
先来考虑人脸的肤色,假设Rref,Bref和Gref肤色的目标值,并且Rcurrent,Bcurrent和Gcurrent是对应于C3的当前估计值,肤色的矫正可以由以下公式来计算:
虽然上式满足了用户喜好的色彩表达,但由于在自动曝光的过程中,Gref可能不等于Gcurrent,从而引起人脸亮度的变化。解决这个问题的一种方法可以把肤色像素点从RGB空间转换到比如HSL空间,再将色彩和饱和度矫正到用户优选的目标值,保持亮度不变,再将矫正后的像素点转换回RGB空间。色彩和饱和度的调节具体实现,首先在HSL空间里,计算当前估计值作为一个总体平均值以及目标值在HSL空间里的坐标,(Hcurrent,Scurrent,Lcurrent)以及Href,Sref,Lref),然后计算H和S分量的差值ΔH=Href-Hcurrent;ΔS=Sref-Scurrent。对与肤色区某一像素点(hcurrent,scurrent,lcurrent)的调节可以采用以下公式;
hcurrent1=hcurrent0+γ×ΔH; 【7】
scurrent1=scurrent0+θ×ΔS; 【8】
其中,γ和θ是一个与亮度相关的加权因子。
为了使人脸区的肤色与人体其他裸露部位的肤色的表达一致性,可以采取如下的处理(参见图13):
首先,进行人体肤色裸露部位的检测和定位,如图8所示,根据人脸的大小和方向性,预测一个人体区间矩形(或用其它现有技术更精准的方法,获取人体的轮廓),将矩形的像素从RGB空间转变到YCbCr空间,在CbCr坐标系里以当前色温参考肤色的位置,f为核心的一个邻域,为运算和说明方便起见,如半径为L(大小可调)的圆为肤色滤波器,对上述人体矩形区进行滤波,对位于圆内的像素,再计算其与人体形态各部位的位置相关性等特征以及人体肤色区部位的连通性特征,若被判断为裸露的肤色部位,则采用与上述人脸肤色相同的增益调节方法。人脸的其他部位如牙齿和眼白可以按照各自的本征值和目标值进行类似肤色的矫正和增强,或和背景同样处理。
AWB的机器学习特征获取和色彩矫正模式:
首先,通过机器学习来获取用户人脸色彩特征的本征值,具体的:
获取需要进行白平衡矫正的图像,对该图像进行人脸检测、分割、和识别,确认该图像含有用户人脸;
用C1作为照明的色温及色彩估计来进行白平衡调整,在无监督学习模式下,在某个估计的光照色温下,当估计的置信度w1高于某个阈值wt,进行人脸色彩特征本征值数据提取采集,缓存于一个候选数组中,当在同一个估计的光照色温下采集的候选数组中人脸色彩特征本征值数据对应于均值的均方差小于某个阈值的概率P1大于某个阈值P1t时,则认为C1的检测准确,将候选数组中的人脸色彩特征集本征值的均值进行采集,并录入人脸色彩特征集该用户该色温的表项,或者:
在用户监督学***衡和色彩矫正正确,对该用户进行人脸色彩特征集本征值数据提取采集,录入人脸色彩特征集中该用户对应于当前估计的照明的本征值的表项;
或者:
在用户监督学***衡和色彩矫正正确,对该用户进行人脸色彩特征集本征值数据提取采集,录入人脸色彩特征集中该用户对应于当前估计的照明的本征值的表项;
目标值的获取方法是,通过人机界面显示一幅或多幅经过色彩增强的图像,或提供由用户自行调节人脸色彩和饱和度的界面,或并用上述两种方法,提示并获取用户的输入,根据用户的输入确定提取目标值,同时获取对应于从原始图像变换到用户确认图像的变换函数;将所获取的目标值及变换函数输入至人脸色彩特征集中对应于该用户该色温估计的表项;
当用上述方法采集的人脸色彩特征集的数据充分覆盖了AWB所需覆盖的照明色温及色彩区时,学***衡的色温及色彩估计和矫正就可以使用上述数据来实现步骤二和步骤三;
上述的机器学习还具有更新的模式,在该模式下,用户随时启动学习过程,更新本征值或目标值。
本发明所披露的方法与装置也适用不同于前摄平台的其它影像装置,例如,后置摄像头和数码相机在自拍的模式时,可以拍到用户人脸。此外,前置摄像头获取的照明估计对后置摄像头的白平衡也是有用的信息,尤其在一些场景,当后置摄像头自动白平衡的照明估计置信度较低时,后置摄像头向***控制器发出请求前置摄像头获取照明估计信息,***控制器在***资源许可时,批准该请求,并在用户不在使用前置摄像头时启动前置摄像头获取照明估计的工作;后置摄像头采用或参考前置摄像头的照明估计相关的判定条件和方法是:前、后置摄像头同时工作且视场的照明相同或相关时;该照明相同或相关的判定条件和方法是:可通过自动曝光和其它场景分析算法判定两摄像头的视场同为室内或室外;通过自动对焦或其它测距算法判定前、后置摄像头的场景与摄像头的距离远近;在前置摄像头的场景中检测到的照明光源与后置摄像头的白平衡模块估计的环境照明光源相同或相近;前置摄像头的白平衡模块估计的环境照明光源与后置摄像头的白平衡模块估计的环境照明光源相同或相近;
后置摄像头的白平衡模块与前置摄像头的白平衡模块的同时工作可以是常态的,也可以是间隙的;当用户在使用后置摄像头而不在使用前置摄像头时,后置摄像头的白平衡模块有权实时通过***控制程序来启动或关闭前置摄像头及其白平衡模块以获取场景分析和照明色温及色彩估计性息,且前置摄像头在后台工作,不做白平衡矫正及ISP的下游处理,以降低功耗。
本发明的AWB模块的实施结构可以有多种选择。在图2中,帧图像缓存是设在RGB的处理域中;自动白平衡模块可设在图像处理器内的Bayer域中、或RGB域中、或后处理模块,或以分布式的处理架构涉及所述电子媒体装置多项资源,或在其它平台装置上作为一个脱机模块来实现,包括在第一电子媒体装置上实现步骤一的获取图像部分,在第二电子媒体装置上实现步骤一的人脸色彩特征提取部分,在第三电子媒体装置上上实现步骤二、或步骤二及步骤三,或其它步骤与媒体装置的组合;其中,第二或第三电子媒体装置带或不带摄像头,包括电视机、显示屏、游戏机、电脑、视频或图像压缩编码器、或网络传输装置。
摄像头上的ISP***中的自动白平衡装置包括基于电子电路的逐点处理(硬件),比如统计数据采集模块,增益调节模块,色彩矫正(CCM)模块或专业ASIC的处理模块;基于可编程控制器或DSP、GPU的软件模块,如照明色温估计,增益调节值等计算,以及整个过程的控制。要完成上述的人脸检测,分割和识别,以及基于人脸色彩特征的自动白平衡任务需要合理配置计算资源。专用的硬件加速单元越多,控制器的速度越快,图像质量就越好,延迟也越小,但功耗和成本会越高。比如,当图像中检测出多个用户的人脸时候,计算量会显著增加,在这种情况下,可以事先赋予人脸色彩特征集中不同用户不同的优先权,首先满足优先权级别最高的用户的需求,保证其色彩还原的效果最佳,并优先采用该用户的人脸色彩特征作为C2计算的参考,另一个方法是同时参照多个用户的人脸色彩特征来计算C2,在综合时考虑到优先权以及个体估计的置信度等作为权重的影响因素。在作白平衡矫正和色彩增强时,是否用多用户模式可以有机主设定。如果机主希望自己在图像中色彩还原最好,可以只采用单用户。反之比如是一个家庭合影,人人都希望表现出色,就可以设成多用户模式,显然多用户模式会占用较多的***资源和较多的处理时间。如前所述,小样本集的实时人脸检测和识别在智能手机上已经可以实时实现,因此,本发明提出的方法在计算资源上是现实可行的,尤其是像对于用C3对全图进行统一增益调节的实施方法。
如图16所示,人脸色彩特征集可以作为一个辅助的或独立的特征向量集应用于本发明中的人脸识别的模块,也可以用于其它人脸识别的场合如视频监控或网络视频和图像检索。
Claims (15)
1.一种电子媒体装置,其特征在于,包含由一个或多个电子媒体设备估计数字图像和/或视频媒体中人脸的照明色温及色彩,包括:
人脸色彩特征集获取模块,用于获取包含至少一个用户人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征的人脸色彩特征集;
图像获取模块,用于获取一幅数字图像或一帧视频图像;
人脸照明的色温及色彩估计模块,用于确认所述一幅数字图像或一帧视频图像中含有的用户人脸,且所述人脸色彩特征集中已获取所述用户人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征的本征值;提取所述一幅数字图像或一帧视频图像中含有的所述用户人脸的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征,参照所述人脸色彩特征集中的所述本征值,估计所述一幅数字图像或一帧视频图像中含有的所述用户人脸的照明的色温及色彩。
2.如权利要求1所述的装置,其特征在于,当所述电子媒体装置工作在多用户模式下时,对应于人脸色彩特征集中不同用户设置不同的优先权级别;当图像中检测出多个用户人脸时候,按所述优先权级别高低按由高至低的次序来优先实现色彩还原和/或色彩增强的效果。
3.如权利要求1所述的装置,其特征在于,所述人脸色彩特征集获取模块由用户或***服务程序启动或更新,包含至少下述一种模式:
模式一、在多种标测光源的每一种标测光源下拍摄含有用户人脸的图像,提取对应于所述每一种标测光源的所述用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集;或在多种照明的每一种照明下拍摄同时含有标准参考色彩表面和用户人脸的图像,并利用所述参考色彩表面测定所述每一种照明的色温及色彩,提取对应于所述每一种照明的色温及色彩的所述用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集;
模式二、在一种标测光源下拍摄含有用户人脸的图像,提取对应于所述标测光源的所述用户的人脸肤色色彩特征至人脸色彩特征集, 或在一种照明下拍摄同时含有标准参考色彩表面和用户人脸的图像,并利用所述参考色彩表面测定所述照明的色温及色彩,提取对应于所述一种照明的色温及色彩的所述用户的人脸肤色色彩特征至人脸色彩特征集,结合人脸肤色色彩特征经验统计数据来获取所述用户人脸肤色在多种标测光源下或多种照明下的本征值至人脸色彩特征集;
模式三、通过机器学习的方法获取用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征的本征值至人脸色彩特征集。
4.如权利要求1所述的装置,其特征在于,所述一个或多个电子媒体设备中任一个电子媒体设备能够实现所述人脸色彩特征集获取模块、所述图像获取模块、所述人脸照明的色温及色彩估计模块中至少一个模块的部分或全部功能。
5.一种电子媒体设备,其特征在于:包含至少一个前置工作模式的摄像头,所述电子媒体设备参照人脸色彩特征实现所述摄像头的自动白平衡、色彩校正、色彩增强中的一项或多项,包括以下的步骤:
步骤一、获取包含至少一个用户人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征的人脸色彩特征集;
步骤二、获取需要进行自动白平衡、色彩校正、色彩增强中的一项或多项的一幅数字图像或一帧视频图像;
步骤三、确认所述一幅数字图像或一帧视频图像中含有的用户人脸,且所述人脸色彩特征集中已获取所述用户人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征;提取所述一幅数字图像或一帧视频图像中含有的所述用户人脸的所述至少一个部位的色彩特征,参照所述人脸色彩特征集中已获取的所述用户人脸的所述至少一个部位的色彩特征的本征值,估计所述一幅数字图像或一帧视频图像中含有的所述用户人脸的照明的色温及色彩;
步骤四、估计所述一幅数字图像或一帧视频图像的非所述用户人脸部分的照明色温及色彩;参照非所述用户人脸的图像部分的照明的色温及色彩,以及所述步骤三所估计的所述用户人脸的照明的色温及色彩,估计所述一幅数字图像或一帧视频图像的全图的照明色温及色彩;
步骤五、根据所述步骤三所估计的所述用户人脸的照明的色温及色彩,和/或所述步骤四所估计的所述非用户人脸的图像部分的照明色温及色彩,和/或所述步骤四所估计的所述全图的照明色温及色彩,参照所述人脸色彩特征集中所述用户人脸肤色、眼白和牙齿部位中所述至少一个部位的色彩特征的目标值和/或对应于非用户人脸的图像部分或全图的目标值,对所述一幅数字图像或一帧视频图像实现自动白平衡、色彩矫正、色彩增强中的一项或多项。
6.如权利要求5所述的电子媒体设备,其特征在于,所述步骤一由用户或***服务程序启动或更新,包含至少下述一种模式:
模式一、在多种标测光源的每一种标测光源下拍摄含有用户人脸的图像,提取对应于所述每一种标测光源的所述用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集;或在多种照明的每一种照明下拍摄同时含有标准参考色彩表面和用户人脸的图像,并利用所述参考色彩表面测定所述每一种照明的色温及色彩,提取对应于所述每一种照明的色温及色彩的所述用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集;
模式二、在一种标测光源下拍摄含有用户人脸的图像,提取对应于所述标测光源的所述用户的人脸肤色色彩特征至人脸色彩特征集, 或在一种照明下拍摄同时含有标准参考色彩表面和用户人脸的图像,并利用所述参考色彩表面测定所述照明的色温及色彩,提取对应于所述一种照明的色温及色彩的所述用户的人脸肤色色彩特征至人脸色彩特征集,结合人脸肤色色彩特征经验统计数据来获取所述用户人脸肤色在多种标测光源下或多种照明下的本征值至人脸色彩特征集;
模式三、通过机器学习的方法获取用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集。
7.如权利要求5所述的电子媒体设备,其特征在于, 所述前置工作模式的摄像头的估计照明色温及色彩包含协助所述电子媒体设备的后置摄像头的自动白平衡的工作模式;其中,当所述电子媒体设备的后置摄像头自动白平衡对照明色温和色彩的估计的置信度低时,所述后置摄像头向所述电子媒体设备的***控制器发出请求启动所述前置工作模式的摄像头的自动白平衡获取照明的色温及色彩估计信息,所述***控制器在***资源许可时,启动所述前置工作模式的摄像头的自动白平衡获取照明的色温及色彩估计信息;其中,所述前置工作模式的摄像头的自动白平衡协助所述电子媒体设备的所述后置摄像头的自动白平衡的工作模式是常态的或者是间隙的;其中,如果所述前置工作模式的摄像头和所述后置摄像头同时工作且视场的照明相同或相关,所述发出请求的后置摄像头采用或参考所述前置工作模式的摄像头的所述对照明的色温及色彩估计信息进行自动白平衡;其中,判断所述前置工作模式的摄像头和所述后置摄像头视场的照明相同或相关的条件包含:
判定所述前置工作模式的摄像头的场景和所述后置摄像头的视场同为室内或室外;和/或判定所述前置工作模式的摄像头的场景和所述后置摄像头的场景与摄像头的距离;和/或判定在所述前置工作模式的摄像头的场景中检测到的照明光源与所述后置摄像头的白平衡模块估计的环境照明光源相同或相近;和/或判定所述前置工作模式的摄像头与所述后置摄像头估计的环境照明光源相同或相近。
8.如权利要求5所述的电子媒体设备,其特征在于, 所述摄像头在多用户模式下,对应于人脸色彩特征集中不同用户设置不同的优先权级别;当图像中检测出多个用户人脸时候,按所述优先权级别高低按由高至低的次序来优先实现色彩还原和/或色彩增强的效果。
9.一种估计照明色温及色彩的方法,其特征在于,包括以下步骤:
步骤一、获取包含至少一个用户人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征的人脸色彩特征集;
步骤二、获取一幅数字图像或一帧视频图像;
步骤三、确认所述一幅数字图像或一帧视频图像中含有的用户人脸,且所述人脸色彩特征集中已获取所述用户人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征的本征值;提取所述一幅数字图像或一帧视频图像中含有的所述用户人脸的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征,参照所述人脸色彩特征集中的所述本征值,估计所述一幅数字图像或一帧视频图像中含有的所述用户人脸的照明的色温及色彩。
10.如权利要求9所述的方法,其特征在于,所述方法还包括:
在多用户模式下,对应于人脸色彩特征集中不同用户设置不同的优先权级别;当图像中检测出多个用户的人脸时候,按所述优先权级别高低次序来优先实现色彩还原和/或增强的效果。
11.如权利要求9所述的方法,
其特征在于,所述步骤一由用户或***服务程序启动或更新,包含至少下述一种模式:
模式一、在多种标测光源的每一种标测光源下拍摄含有用户人脸的图像,提取对应于所述每一种标测光源的所述用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集;或在多种照明的每一种照明下拍摄同时含有标准参考色彩表面和用户人脸的图像,并利用所述参考色彩表面测定所述每一种照明的色温及色彩,提取对应于所述每一种照明的色温及色彩的所述用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集;
模式二、在一种标测光源下拍摄含有用户人脸的图像,提取对应于所述标测光源的所述用户的人脸肤色色彩特征至人脸色彩特征集, 或在一种照明下拍摄同时含有标准参考色彩表面和用户人脸的图像,并利用所述参考色彩表面测定所述照明的色温及色彩,提取对应于所述一种照明的色温及色彩的所述用户的人脸肤色色彩特征至人脸色彩特征集,结合人脸肤色色彩特征经验统计数据来获取所述用户人脸肤色在多种标测光源下或多种照明下的本征值至人脸色彩特征集;
模式三、通过机器学习的方法获取用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集。
12.一种电子媒体设备的图像处理的方法,其特征在于,包括参照人脸色彩特征估计人脸的照明的色温及色彩,对数字图像和/或视频媒体进行自动白平衡、色彩矫正、色彩增强中的一项或多项;
所述参照人脸色彩特征估计人脸的照明的色温及色彩,对数字图像和/或视频媒体进行自动白平衡、色彩矫正、色彩增强中的一项或多项,包括以下步骤:
步骤一、获取包含至少一个用户人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征的人脸色彩特征集;
步骤二、获取一幅数字图像或一帧视频图像;
步骤三、确认所述一幅数字图像或一帧视频图像中含有的用户人脸,且所述人脸色彩特征集中已获取所述用户人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征;提取所述一幅数字图像或一帧视频图像中含有的所述用户人脸的所述至少一个部位的色彩特征,参照所述人脸色彩特征集中已获取的所述用户人脸的所述至少一个部位的色彩特征的本征值,估计所述一幅数字图像或一帧视频图像中所述用户人脸的照明的色温及色彩;
步骤四、估计所述一幅数字图像或一帧视频图像的非所述用户人脸部分的照明色温及色彩;参照非所述用户人脸的图像部分的照明的色温及色彩,以及所述步骤三所估计的所述用户人脸的照明的色温及色彩,估计所述一幅数字图像或一帧视频图像的全图的照明色温及色彩;
步骤五、根据所述步骤三所估计的所述用户人脸的照明的色温及色彩,和/或所述步骤四所估计的所述非用户人脸的图像部分的照明色温及色彩,和/或所述步骤四所估计的所述全图的照明色温及色彩,参照所述人脸色彩特征集中所述用户人脸肤色、眼白和牙齿部位中所述至少一个部位的色彩特征的目标值和/或对应于非用户人脸的图像部分或/或全图的目标值对所述一幅数字图像或一帧视频图像实现自动白平衡、色彩矫正、色彩增强中的一项或多项。
13.如权利要求12所述的方法,其特征在于,在多用户模式下,对应于人脸色彩特征集中不同用户设置不同的优先权级别;当图像中检测出多个用户的人脸时候,按所述优先权级别高低次序来优先实现色彩还原和/或增强的效果。
14.如权利要求12所述的方法,其特征在于,包含由一个或多个电子媒体设备实现,所述一个或多个电子媒体设备中任一个电子媒体设备能够实现所述步骤一至步骤五中至少任一步骤的部分或全部。
15.如权利要求13所述的方法,其特征在于,所述步骤一由用户或***服务程序启动或更新,包含至少下述一种模式:
模式一、在多种标测光源的每一种标测光源下拍摄含有用户人脸的图像,提取对应于所述每一种标测光源的所述用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集;或在多种照明的每一种照明下拍摄同时含有标准参考色彩表面和用户人脸的图像,并利用所述参考色彩表面测定所述每一种照明的色温及色彩,提取对应于所述每一种照明的色温及色彩的所述用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集;
模式二、在一种标测光源下拍摄含有用户人脸的图像,提取对应于所述标测光源的所述用户的人脸肤色色彩特征至人脸色彩特征集, 或在一种照明下拍摄同时含有标准参考色彩表面和用户人脸的图像,并利用所述参考色彩表面测定所述照明的色温及色彩,提取对应于所述一种照明的色温及色彩的所述用户的人脸肤色色彩特征至人脸色彩特征集,结合人脸肤色色彩特征经验统计数据来获取所述用户人脸肤色在多种标测光源下或多种照明下的本征值至人脸色彩特征集;
模式三、通过机器学习的方法获取用户的人脸肤色、眼白和牙齿部位中至少一个部位的色彩特征至人脸色彩特征集。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2014106308374 | 2014-11-11 | ||
CN201410630837 | 2014-11-11 | ||
CN201510230311.1A CN105187810B (zh) | 2014-11-11 | 2015-05-04 | 一种基于人脸色彩特征的自动白平衡方法及电子媒体装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510230311.1A Division CN105187810B (zh) | 2014-11-11 | 2015-05-04 | 一种基于人脸色彩特征的自动白平衡方法及电子媒体装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106973278A CN106973278A (zh) | 2017-07-21 |
CN106973278B true CN106973278B (zh) | 2018-08-28 |
Family
ID=54909632
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510230311.1A Expired - Fee Related CN105187810B (zh) | 2014-11-11 | 2015-05-04 | 一种基于人脸色彩特征的自动白平衡方法及电子媒体装置 |
CN201710284810.8A Expired - Fee Related CN106973278B (zh) | 2014-11-11 | 2015-05-04 | 一种参照人脸色彩特征的自动白平衡装置及方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510230311.1A Expired - Fee Related CN105187810B (zh) | 2014-11-11 | 2015-05-04 | 一种基于人脸色彩特征的自动白平衡方法及电子媒体装置 |
Country Status (2)
Country | Link |
---|---|
US (2) | US11153547B1 (zh) |
CN (2) | CN105187810B (zh) |
Families Citing this family (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105608677B (zh) * | 2015-12-28 | 2018-08-03 | 成都品果科技有限公司 | 一种任意光线环境下的图像肤色美化方法及*** |
CN105681775B (zh) * | 2016-03-08 | 2017-12-19 | 福州瑞芯微电子股份有限公司 | 一种白平衡方法和装置 |
CN105956022B (zh) * | 2016-04-22 | 2021-04-16 | 腾讯科技(深圳)有限公司 | 电子镜图像处理方法和装置、图像处理方法和装置 |
CN106097261B (zh) * | 2016-06-01 | 2019-10-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及终端设备 |
TWI615833B (zh) * | 2016-06-28 | 2018-02-21 | 群邁通訊股份有限公司 | 電子裝置及其色溫調節方法 |
CN106296620B (zh) * | 2016-08-14 | 2019-06-04 | 遵义师范学院 | 一种基于直方图平移的色彩还原方法 |
CN106357988B (zh) * | 2016-11-09 | 2020-03-06 | Oppo广东移动通信有限公司 | 白平衡调整方法、装置和终端设备 |
CN106375610B (zh) * | 2016-11-30 | 2020-05-01 | 瑞安市任想科技有限责任公司 | 一种照片处理方法和终端 |
CN106878695A (zh) * | 2017-02-13 | 2017-06-20 | 广东欧珀移动通信有限公司 | 白平衡处理的方法、装置和计算机设备 |
CN106875885A (zh) * | 2017-02-14 | 2017-06-20 | 广东欧珀移动通信有限公司 | 色温调节方法和装置 |
CN106960426B (zh) * | 2017-04-05 | 2019-12-03 | 上海弘矽半导体有限公司 | 基于图像内容的自适应阳光下可读图像增强的方法 |
CN107123083B (zh) * | 2017-05-02 | 2019-08-27 | 中国科学技术大学 | 人脸编辑方法 |
CN107483906B (zh) * | 2017-07-25 | 2019-03-19 | Oppo广东移动通信有限公司 | 图像的白平衡处理方法、装置和终端设备 |
CN107396079B (zh) * | 2017-08-31 | 2019-06-07 | Oppo广东移动通信有限公司 | 白平衡调整方法和装置 |
CN107610080B (zh) * | 2017-09-11 | 2020-08-07 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子装置和计算机可读存储介质 |
EP3680853A4 (en) | 2017-09-11 | 2020-11-04 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | IMAGE PROCESSING PROCESS AND DEVICE, ELECTRONIC DEVICE AND COMPUTER READABLE INFORMATION MEDIA |
CN107644396B (zh) * | 2017-10-18 | 2021-02-02 | 维沃移动通信有限公司 | 一种唇色调整方法和装置 |
CN107846554B (zh) * | 2017-10-31 | 2020-09-01 | 努比亚技术有限公司 | 一种图像处理方法、终端和计算机可读存储介质 |
CN108024055B (zh) * | 2017-11-03 | 2019-09-17 | Oppo广东移动通信有限公司 | 白平衡处理的方法、装置、移动终端和存储介质 |
CN107959843B (zh) * | 2017-12-25 | 2019-07-05 | Oppo广东移动通信有限公司 | 图像处理方法及装置、计算机可读存储介质和计算机设备 |
CN107959851B (zh) * | 2017-12-25 | 2019-07-19 | Oppo广东移动通信有限公司 | 色温检测方法及装置、计算机可读存储介质和计算机设备 |
CN108335271B (zh) * | 2018-01-26 | 2022-03-18 | 努比亚技术有限公司 | 一种图像处理的方法、设备及计算机可读存储介质 |
CN110392245B (zh) * | 2018-04-20 | 2021-07-16 | 瑞昱半导体股份有限公司 | 基于肤色信息的白平衡校正方法及其图像处理装置 |
CN108810397B (zh) * | 2018-04-23 | 2021-01-19 | 深圳和而泰数据资源与云技术有限公司 | 一种图像色偏校正方法及终端设备 |
CN110570476A (zh) * | 2018-06-06 | 2019-12-13 | 英属开曼群岛商玩美股份有限公司 | 执行于计算设备的***、方法及存储媒体 |
US10753734B2 (en) | 2018-06-08 | 2020-08-25 | Dentsply Sirona Inc. | Device, method and system for generating dynamic projection patterns in a confocal camera |
CN110739047A (zh) * | 2018-07-19 | 2020-01-31 | 脉景(杭州)健康管理有限公司 | 患者图像色彩还原方法、装置、设备及可读存储介质 |
CN109561291A (zh) * | 2018-10-23 | 2019-04-02 | Oppo广东移动通信有限公司 | 色温补偿方法、装置、存储介质及移动终端 |
CN109451292B (zh) * | 2018-12-15 | 2020-03-24 | 深圳市华星光电半导体显示技术有限公司 | 图像色温校正方法及装置 |
CN109788268A (zh) * | 2018-12-25 | 2019-05-21 | 努比亚技术有限公司 | 终端及其白平衡校正控制方法、及计算机可读存储介质 |
EP3674974A1 (en) * | 2018-12-31 | 2020-07-01 | Samsung Electronics Co., Ltd. | Apparatus and method with user verification |
CN109784304B (zh) * | 2019-01-29 | 2021-07-06 | 北京字节跳动网络技术有限公司 | 用于标注牙齿图像的方法和装置 |
KR102170912B1 (ko) * | 2019-05-15 | 2020-10-28 | 한국과학기술원 | 얼굴 피부 컬러 판정을 위한 인물 영상 촬영 용 컬러 팔레트 및 그를 이용한 방법 및 장치 |
GB201908521D0 (en) * | 2019-06-13 | 2019-07-31 | Spectral Edge Ltd | Image white balance processing system and method |
CN112149468A (zh) * | 2019-06-28 | 2020-12-29 | 瑞昱半导体股份有限公司 | 肤色影像的色域权重侦测方法及其装置 |
CN110544257A (zh) * | 2019-08-20 | 2019-12-06 | 成都品果科技有限公司 | 一种快速的肤色分割方法 |
TWI723551B (zh) * | 2019-09-20 | 2021-04-01 | 宏碁股份有限公司 | 調整白平衡的方法及其影像處理裝置與系統 |
CN112866656B (zh) * | 2019-11-26 | 2022-05-31 | Oppo广东移动通信有限公司 | 一种白平衡校正方法、装置、存储介质及终端设备 |
CN111064938A (zh) * | 2019-12-30 | 2020-04-24 | 西安易朴通讯技术有限公司 | 一种多肤色加权的白平衡矫正方法、其***和存储介质 |
CN111583127B (zh) * | 2020-04-03 | 2023-08-15 | 浙江大华技术股份有限公司 | 人脸肤色校正方法、装置、计算机设备和可读存储介质 |
CN115118947B (zh) * | 2021-03-23 | 2023-11-24 | 北京小米移动软件有限公司 | 图像的处理方法、装置、电子设备及存储介质 |
CN113177886B (zh) * | 2021-04-14 | 2023-05-05 | RealMe重庆移动通信有限公司 | 图像处理方法、装置、计算机设备及可读存储介质 |
CN114143526A (zh) * | 2021-11-19 | 2022-03-04 | 昆山丘钛光电科技有限公司 | 图像处理方法、装置、终端设备及可读存储介质 |
CN114403650B (zh) * | 2022-01-21 | 2022-11-01 | 南京投石智能***有限公司 | 一种用于全息展示柜的控制*** |
CN114598852B (zh) * | 2022-03-07 | 2023-06-09 | 杭州国芯科技股份有限公司 | 摄像机人脸区域白平衡的优化方法 |
CN114845044B (zh) * | 2022-03-23 | 2024-03-22 | 上海传英信息技术有限公司 | 图像处理方法、智能终端及存储介质 |
CN114945087B (zh) * | 2022-06-06 | 2023-10-03 | 安谋科技(中国)有限公司 | 基于人脸特征的图像处理方法、装置、设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009218642A (ja) * | 2008-03-07 | 2009-09-24 | Fujitsu Ltd | 色温度設定装置、色温度設定プログラム、および色温度設定方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6975759B2 (en) * | 2002-06-25 | 2005-12-13 | Koninklijke Philips Electronics N.V. | Method and system for white balancing images using facial color as a reference signal |
JP4232498B2 (ja) * | 2003-03-24 | 2009-03-04 | 富士ゼロックス株式会社 | 被写体撮影状態判定装置、画質調整装置、及び画像撮影装置 |
JP2007110576A (ja) * | 2005-10-17 | 2007-04-26 | Fujifilm Corp | 被写体像データの色補正装置およびその制御方法 |
JP4244063B2 (ja) * | 2006-11-06 | 2009-03-25 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
US8355567B2 (en) * | 2008-12-12 | 2013-01-15 | Tektronix, Inc. | Method and apparatus for implementing moving image color appearance model for video quality ratings prediction |
US8675091B2 (en) * | 2008-12-15 | 2014-03-18 | Nvidia Corporation | Image data processing with multiple cameras |
JP4788792B2 (ja) * | 2009-03-11 | 2011-10-05 | カシオ計算機株式会社 | 撮像装置、撮像方法、及び撮像プログラム |
CN102013005B (zh) * | 2009-09-07 | 2013-04-24 | 泉州市铁通电子设备有限公司 | 一种基于局部动态阈值色彩平衡的偏色光的人脸检测的方法 |
JP2011109411A (ja) * | 2009-11-17 | 2011-06-02 | Nikon Corp | ホワイトバランス補正係数決定方法、ホワイトバランス補正係数決定装置、ホワイトバランス補正方法、ホワイトバランス補正装置、及び撮像装置 |
US9106879B2 (en) * | 2011-10-04 | 2015-08-11 | Samsung Electronics Co., Ltd. | Apparatus and method for automatic white balance with supplementary sensors |
KR101896386B1 (ko) * | 2011-11-22 | 2018-09-11 | 삼성전자주식회사 | 화이트 밸런스 조절장치 및 방법 |
US20140063288A1 (en) * | 2012-08-30 | 2014-03-06 | Pantech Co., Ltd. | Imaging apparatus, electronic device and method providing exposure compensation |
JP2014053855A (ja) * | 2012-09-10 | 2014-03-20 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US9247223B2 (en) * | 2013-01-25 | 2016-01-26 | Blackberry Limited | Reduce operating environment effect using multiple cameras |
CN104320641B (zh) * | 2013-03-13 | 2017-04-12 | 豪威科技股份有限公司 | 电子照相机的自动白平衡的自动化自我训练的装置及方法 |
US20140378810A1 (en) * | 2013-04-18 | 2014-12-25 | Digimarc Corporation | Physiologic data acquisition and analysis |
CN103699222B (zh) * | 2013-12-11 | 2016-09-07 | 天津三星电子有限公司 | 显示终端画质自动调节方法及显示终端 |
-
2015
- 2015-05-04 CN CN201510230311.1A patent/CN105187810B/zh not_active Expired - Fee Related
- 2015-05-04 CN CN201710284810.8A patent/CN106973278B/zh not_active Expired - Fee Related
-
2021
- 2021-01-17 US US17/151,166 patent/US11153547B1/en active Active
- 2021-06-24 US US17/356,677 patent/US11265523B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009218642A (ja) * | 2008-03-07 | 2009-09-24 | Fujitsu Ltd | 色温度設定装置、色温度設定プログラム、および色温度設定方法 |
Also Published As
Publication number | Publication date |
---|---|
US20210329208A1 (en) | 2021-10-21 |
CN106973278A (zh) | 2017-07-21 |
US11153547B1 (en) | 2021-10-19 |
CN105187810B (zh) | 2017-06-06 |
CN105187810A (zh) | 2015-12-23 |
US11265523B2 (en) | 2022-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106973278B (zh) | 一种参照人脸色彩特征的自动白平衡装置及方法 | |
USRE47960E1 (en) | Methods and devices of illuminant estimation referencing facial color features for automatic white balance | |
US8224036B2 (en) | Image editing apparatus, method for controlling image editing apparatus, and recording medium storing image editing program | |
US20200059575A1 (en) | Systems and methods for capturing digital images | |
US10120267B2 (en) | System and method for re-configuring a lighting arrangement | |
US11082677B2 (en) | White balance processing method and apparatus | |
US8902328B2 (en) | Method of selecting a subset from an image set for generating high dynamic range image | |
US9460521B2 (en) | Digital image analysis | |
CN109844804B (zh) | 一种图像检测的方法、装置及终端 | |
CN106878695A (zh) | 白平衡处理的方法、装置和计算机设备 | |
CN108668093A (zh) | Hdr图像的生成方法及装置 | |
CN107483906B (zh) | 图像的白平衡处理方法、装置和终端设备 | |
US10965924B2 (en) | Correlating illuminant estimation by a plurality of cameras | |
WO2008054422A2 (en) | Digital image processing using face detection and skin tone information | |
JP2014053855A (ja) | 画像処理装置および方法、並びにプログラム | |
CN105718922B (zh) | 虹膜识别的适应性调节方法和装置 | |
CN111698409A (zh) | 一种室内拍照灯光调光方法 | |
JP2007094535A (ja) | 認証システム及び認証方法 | |
CN106815803A (zh) | 图片的处理方法及装置 | |
CN108270914A (zh) | 一种智能拍照方法及装置、智能终端 | |
CN113630535B (zh) | 基于电视机的人脸摄像补光方法、设备、存储介质及装置 | |
JP3497801B2 (ja) | 顔画像の表示方法および顔画像の処理装置 | |
CN110248104B (zh) | 一种图像处理方法、装置及电子设备 | |
Sun et al. | Active lighting for video conferencing | |
JP2007316892A (ja) | 自動トリミング方法および装置ならびにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20180509 Address after: 518000 3 326, Zhongxing Industrial Town, Chuang Chuang Road, Nanshan District, Shenzhen, Guangdong. Applicant after: Shenzhen top image technology Co., Ltd. Address before: 518000 3 326, Zhongxing Industrial Town, Chuang Chuang Road, Nanshan District, Shenzhen, Guangdong. Applicant before: Huai Xiaoning |
|
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180828 Termination date: 20200504 |