CN103685926B - 面部区域的影像处理方法以及使用此方法的电子装置 - Google Patents
面部区域的影像处理方法以及使用此方法的电子装置 Download PDFInfo
- Publication number
- CN103685926B CN103685926B CN201310418338.4A CN201310418338A CN103685926B CN 103685926 B CN103685926 B CN 103685926B CN 201310418338 A CN201310418338 A CN 201310418338A CN 103685926 B CN103685926 B CN 103685926B
- Authority
- CN
- China
- Prior art keywords
- mentioned
- image
- facial
- module
- deformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例提出一种瘦脸方法，应用于由电子装置拍摄的一系列影像中。此流程开始于从影像系列中接收一张目前影像，并且检测相应于目前影像的面部区域的至少一个面部特征。比较目前影像中的面部特征以及参考特征，并且据以调整变形屏蔽。接着，依据变形屏蔽调整目前影像中的面部区域的一尺寸，其中，变形屏蔽相应于面部特征的位置。
Description
技术领域
本发明是关于一种电子装置及其方法，用以调整影像中面部区域的方法，特别是一种电子装置及其方法，用以根据变形屏蔽(distortion mask)降低或减少面部区域中的透视变形(perspective distortion)。
背景技术
广角相机(wide-angle cameras)通常被广为使用以于聚焦镜较小的情况下增加景深，以及减少镜片的厚度。所以，广角相机在手机相机的应用上变得越来越广泛。然而，当近距离拍摄立体物体时，由于焦距短而使得广角相机有着容易造成透视变形的缺点。这样的现象通常发生在视频聊天的应用上，因为于聊天时，使用者的脸通常接近相机，使得使用者的脸相较于远距离拍摄时会显得更大(或者是更宽)。因此，需要一种减少或消除面部区域因为使用广角相机近距离拍摄所产生的透视变形现象(perspective distortion)的方法。此外，从近代审美的品味来说，较瘦的脸通常被认为具有较佳的美感。此外，为了要让显示出的脸更具美感，本发明还提出一种瘦脸的方法，用以产生具有较瘦的脸的影像。
发明内容
本发明的实施例提出一种瘦脸方法，应用于由电子装置拍摄的一系列影像中。此流程开始于从影像系列中接收一张目前影像，并且检测对应于目前影像的面部区域的至少一个面部特征。比较目前影像中的面部特征以及参考特征，并且据以调整变形屏蔽。接着，依据变形屏蔽调整目前影像中的面部区域的一尺寸，其中，变形屏蔽对应于面部特征的位置。
本发明的实施例还提出一种电子装置，包含：相机模块、影像处理模块以及影像输出模块。相机模块用来拍摄一系列影像，其中包含使用者的脸。影像处理模块用来接收此影像系列，为每一目前影像决定面部区域的至少一 个面部特征，比较目前影像中的面部特征以及参考特征，依据以上的比较结果调整面部区域的尺寸。影像输出模块用来传送此系列的调整后的影像。
本发明的实施例还提出一种影像处理方法，使用于电子装置中。此方法包含拍摄一系列影像，并且从每一影像中检测出使用者的面部区域。定义对应于面部区域的变形屏蔽的范围，调整每一影像中落入变形屏蔽中的面部区域的尺寸，以及编码调整后的影像成为一视频串流。
附图说明
图1是依据本发明实施例的用以产生具有较小或降低的透视变形的视频画面的***方块图。
图2是依据本发明实施例的变形屏蔽产生示意图。
图3显示在变形屏蔽中的透视变形的示意图。
图4显示从相机模块所拍摄的影像中所产生的变形屏蔽。
图5显示使用像素登记模块所得到的调整前与调整后的范例影像。
图6显示用以稳定对象特征信息的整体处理流程。
图7显示特征稳定判定的示意图。
图8是依据本发明实施例的依据稳定后的面部特征来调整变形屏蔽中的面部区域的方法流程图。
图9显示用以稳定面部特征信息的范例流程图。
图10为应用于位置/长度特征的判定上的空间条件检查示意图。
图11为应用于角度特征的判定上的空间条件检查示意图。
图12是依据本发明实施例的中央处理单元/图形处理单元混和式处理架构图。
[标号说明]
10～装置； 110～相机模块；
120～面部检测与追踪模块；
130～变形还原模块； 131～变形屏蔽产生模块；
132～像素登记模块； 140～结果影像；
C1～主要控制圆； C2～凹进控制圆；
200～变形屏蔽； 210～人中位置；
220～主要控制圆半径； 230～凹进控制圆心；
240～单元偏移； 250～凹进控制圆半径；
260～角度； 300～变形屏蔽；
400～影像； 410～变形屏蔽；
510～原始影像； 520～处理过的影像；
610～相机模块； 620～画面缓冲器；
621～影像； 630～面部检测与追踪模块；
631～面部检测模块； 632～面部区域；
633～面部特征检测模块； 634～原始面部特征信息；
640～特征稳定模块； 641～空间条件判定模块；
642～不稳定计数值； 643～时间条件判定模块；
644～输出特征位置； 650～面部区域；
651～变形屏蔽产生模块； 652～变形屏蔽信息；
653～像素注册模块； 654～调整过的影像；
660～影像输出模块； 700～稳定窗口；
710～参考特征位置； 720～目前的特征位置；
S811～S843～方法步骤； 901～目前面部特征；
902～参考面部特征； 910～面部移动检查模块；
920～稳定条件检查模块； 930～人中位置稳定模块；
940～脸颊宽度稳定模块； 950～下巴长度稳定模块；
960～角度稳定模块； 970～特征重设模块；
A10、B10～窗口； C10～画面缓存区；
C20～色彩转换模块； C30～面部前处理模块；
C40～图形处理单元/中央处理单元通讯缓存区；
C50～面部后处理模块； C60～色彩转换模块。
具体实施方式
以下说明为完成发明的较佳实现方式，其目的在于描述本发明的基本精神，但并不用以限定本发明。实际的发明内容必须参考之后的权利要求范围。
虽然本发明的实施例辅以图示来进行描述，但是发明并不受图示所局限，而只受到权利要求范围的限制。以下图示说明只为了示意，而非用以限缩。
必须了解的是，使用于本说明书中的“包含”、“包括”等词，是用以表示 存在特定的技术特征、数值、方法步骤、作业处理、元件以及/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件，或以上的任意组合。
图1是依据本发明实施例的用以产生具有较小或降低的透视变形的视频画面(video frame)的***方块图。装置10可实施面部处理方法，以及包含至少两个主要模块，例如面部检测与追踪模块120及变形还原模块130。面部检测与追踪模块120分析储存于画面缓冲器(frame buffer)中由相机模块110拍摄的影像，追踪影像中出现了几张脸，以及针对每一张脸的面部特征，例如，转角(roll angle)、左脸颊位置、右脸颊位置、人中(philtrum)位置、下巴位置、任两个位置间的长度，或其它参数，以及输出追踪结果至变形还原模块130。相机模块110可包含影像感测器，例如，互补式金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)、电荷耦合元件(charge-coupleddevice,CCD)等感测器，用以感测由红、绿、蓝光强度所形成的影像，以及包含读取电子电路，用以从影像感测器搜集感测到的数据。面部检测与追踪模块120及变形还原模块130可于初始化实时视频通讯应用程序时启动，此实时视频通讯应用程序可用以拍摄位于相机模块110前方的脸，并且将拍摄到的影像传送至对口装置(peer device)，例如，远程笔记本型计算机、远程手机等，用以于视频对话时显示。
变形还原模块130可包含变形屏蔽产生模块131以及像素登记模块132。变形屏蔽产生模块131可依据从面部检测及追踪模块120接收的信息定义变形屏蔽。像素登记模块132可采用算法调整所定义的变形屏蔽中的影像像素，用以减少或消除面部区域中的透视变形，并且输出结果影像140。如上所述的模块110、120、130、131及132可被整合至一个外壳中而成为一个电子装置，例如，笔记本型计算机、手机或其它的电子装置。如上所述的模块110、120、130、131及132可以如下所述的任一方式实施。例如，可使用硬件、软件或两者的结合来实施。需要理解的是，用于执行如上/之后所述功能的任何元件或多个元件形成的集合，可被概念上视为执行如上/之后所述功能的控制器。控制器可以采用数种方式实施，例如，专用设计的硬件，或可执行微指令(microcode)或软件的一般通用的硬件(一或多个处理器等)，用以执行如上/之后所述功能。面部检测与追踪模块120及变形还原模块130可被集合起来视为影像处理模块。
图2是依据本发明实施例的变形屏蔽产生示意图。变形屏蔽产生模块131可接收关于由面部检测与追踪模块120所检测到的一张脸的面部特征信息，并据以产生如图2或图3所示的弦月形屏蔽200或300。变形屏蔽200的中心点210可由从面部检测与追踪模块120所接收到的人中的位置来决定，而用以表示枕状变形(pincushion distortion)强度的变形屏蔽200的半径220可依据接收到的人中位置及左脸颊位置之间的长度、人中位置及右脸颊位置之间的长度、或以上两个长度的平均值来决定。例如，变形屏蔽200的半径220可以是人中位置与左/右脸颊位置间的长度加上一段预定长度、人中位置与左脸颊位置间的长度以及人中位置与右脸颊位置间的长度的最大值再加上一段预定长度、或是其它的计算结果。图3显示变形屏蔽的透视变形(perspective distortion)的示意图。图4显示从相机模块110所拍摄的影像400中所产生的变形屏蔽410。由此可观察出变形屏蔽410涵盖了大约在人中以及脸颊以下的面部区域。最后，像素登记模块132逐点扫描存在于变形屏蔽410中的每一个像素，为每一个像素决定一个目标像素，所决定的目标像素较此像素距离变形屏蔽410的中心点的长度更长，以及依据目标像素的色彩值调整此像素的色彩值。以上所述的作业可以被当作是一种调整面部区域尺寸的瘦脸(face-slimming)方法。图5显示使用像素登记模块132所得到的调整前与调整后的范例影像。左边的影像510为由相机模块110所拍摄的原始影像，而右边的影像520为由像素登记模块132使用瘦脸方法所处理过的影像。也就是说，从图5可以发现目前影像中被变形屏蔽410所涵盖的面部区域的面积被调整成较未调整影像中的面部区域来得小，造成脸看起来较瘦。需注意的是，本发明并非局限使用如上所述的瘦脸技术，任何可依据本发明实施例所提出的使用面部屏蔽的面部变形(facemorphing)技术，亦在范围内。
像素登记模块132所使用的变形屏蔽产生方法，搭配图2描述如下。以下所述为输入参数。
效果控制器α(主要控制圆C1)
α1圆心坐标
α2变形位准
α3变形半径
角度控制器β(凹进控制圆C2)
β1关联于影像x平面的凹进角度
β2凹进控制圆心的单位距离偏移
β3单位度量
主要控制圆C1为如图2所示左下方的圆圈，而凹进控制圆C2为如图2所示右上方的圆圈。圆心坐标α1可以是由面部检测与追踪模块120识别出的人中位置，可参考图2中的210位置。变形半径α2系事先定义好的常数。
变形位准α2可使用以下的公式(1)定义：
α2=typeweight(1.1+0.1(level))α3 0.3。
在这里，当面部检测与追踪模块120决定目标面部为一张瘦脸时，变量“typeweight”设为0.5，否则，设为1.0。于另一些实施例中，可依据检测到的面部区域的原始大小将变量“typeweight”设为其它的值。变量“level”为事先决定从0到10之间的一个值。
β2为事先决定从0到1之间的一个值，例如0.55，用以代表距离凹进控制圆心230的单元偏移240。
单位度量β3可使用以下的公式(2)及(3)定义：
β3=1.1/(1/distortion ratio)；
distortion ratio=(chin distance/cheek distance)。
变量“chin distance”代表由面部检测与追踪模块120所识别出人中位置与下巴位置之间的长度，变量“cheek distance”代表由面部检测与追踪模块120所识别出人中位置与左/右脸颊位置间的长度。
像素登记模块132用来进行变形瘦脸的算法描述如下。
针对每一个于Pi(x,y)的像素i：
1.计算从Pi(x,y)至C1圆心α1:(x1,y1)的长度d1；
2.计算从Pi(x,y)至C2圆心的长度d2；
其中，C2=α1+(α3*[cosβ1,Sinβ1,])*β2
3.依据以下程序计算目标坐标P(x’,y’)并取得其像素值i’的以作为一个参考值：
(1)决定初始目标坐标为Pt=Pi*(1+d1*α2)；
(2)决定效果比率为此为控制线性混和比率(controllinear blending ratio)，介于0.0至1.0之间；
(3)决定目标坐标为P(x’,y’)=r*(Pt)+(1-r)*(Pi)；
(4)依据于决定出的目标坐标为P(x’,y’)的色彩值调整于Pi(x,y)的色彩值。
面部特征信息，例如面部区域、眼睛位置、鼻子位置、两个位置间(如人中与左/右脸颊间)的长度，是由如上所述的面部检测与追踪模块120中的人脸检测引擎进行检测。
然而，面部特征数据会随着不同时间拍摄的影像而有所变化，而且对于后续的变形瘦脸处理可能不够稳定。图6显示用以稳定对象特征信息的整体处理流程。面部检测与追踪模块630包含面部检测模块631及面部特征检测模块633。面部检测模块631决定有几张脸出现于从画面缓冲器620取得的影像621中，此影像是由相机模块610拍摄，接着，输出检测到的面部区域632至面部特征检测模块633。针对每一个检测到的面部区域632，面部特征检测模块633使用对象检测算法检测面部特征633，例如AdaBoost算法、以规则为基础的算法(rule-based algorithms)、或其它算法。原始的面部特征信息634接着被传送到特征稳定模块640进行微调。一开始，举例来说，输入影像621中所检测到的特征位置被设定为参考特征位置。接着，(请参考图7的显示特征稳定判定的示意图)，包含在参考特征位置710的特定区域设定为稳定窗口700。如果目前的特征位置720落入于窗口700中，参考特征位置则被设定为输出特征位置644，以供变形还原模块650使用。结果，变形屏蔽产生模块651依据参考特征位置定义变形屏蔽的范围。或者是，如果没有特征信息被输出时，变形屏蔽产生模块651再使用之前定义的变形屏蔽。也就是说，当检测到的脸并没有移动超出容忍的区域时，此时使用的变形屏蔽与之前使用者屏蔽相同。特征稳定模块640中的空间条件判定模块(spatial condition determination module)641计算相符结果的持续数目。如果目前特征位置超出了稳定窗口700，则不稳定计数值642加一。否则，不稳定计数值642设为零。接着，不稳定计数值642输出至时间条件判定模块(temporal condition determinationmodule)643。如果特征位置的不稳定计数值642大于阈值，则时间条件判定模块643将参考特征位置重新设定至目前特征位置，并且设定目前特征位置为输出特征位置644。 因此，输出位置信息644被传送到变形还原模块650，并且为了因应检测到脸部在预定数目的连续影像中皆移动超出容忍范围，变形屏蔽产生模块651依据目前特征位置重新定义变形屏蔽的范围。之后，像素注册模块653使用如上所述的算法调整影像621中变形屏蔽的区域，并且影像输出模块660输出调整过的影像654。影像输出模块660还可对调整影像654进行编码并产生视频串流，用以于无线网络上传输。影像输出模块660可于其中实施视频编码技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264、AVC(Advanced Video Coding，先进视频编码)、HEVC(High Efficiency Video Coding，高效视频编码)等组织所制定的标准，以及这些标准的扩充。无线网络可乘载视频串流至对口装置。例如，使用GPRS(General PacketRadio Service，通用封包无线服务)、UMTS(Universal Mobile TelecommunicationsSystem，全球移动通讯***)、TD-SCDMA(Time Division-Synchronous Code DivisionMultiple Access，时分-同步码分多址接入)、LTE(Long Term Evolution，长程演进)等标准或这些标准的扩充。对口装置可以是远程笔记本型计算机、远程手机或其它电子装置。如上所述的模块610、620、630、640、650及660可被整合至一个外壳中而成为一个电子装置，例如，笔记本型计算机、手机或其它的电子装置。如上所述的模块630、640及650可以如下所述的任一方式实施。例如，可使用硬件、软件或两者的结合来实施。需要理解的是，用于执行如上/之后所述功能的任何元件或多个元件形成的集合，可被概念上视为执行如上/之后所述功能的控制器。控制器可以采用数种方式实施，例如，专用设计的硬件，或可执行微指令或软件的一般通用的硬件(一或多个处理器等)，用以执行如上/之后所述功能。以上所述模块630、640及650可被集合起来视为影像处理模块。
图8是依据本发明实施例的依据稳定后的面部特征来调整变形屏蔽中的面部区域的方法流程图。此方法开始于由面部检测模块631从画面缓冲器620接收影像序列的一个目前影像(步骤S811)。面部检测模块631检测存在于目前影像中的面部区域，并输出至面部特征检测模块633(步骤S812)。面部特征检测模块633检测存在于面部区域中的面部特征，并输出至空间条件判定模块641(步骤S813)。空间条件判定模块641决定检测到的面部特征与参考特征间的差异(步骤S814)，并决定此差异是否高于空间阈值(步骤S821)。若是，则空间条件判定模块641将不稳定计数值加一，并且输出至时间条件判定模块643(步骤S831)；否则，此流程继续执行步骤S841的“否”条件分支，之后的处 理将于以后描述。“面部特征”一词于此定义为一或多个参数值的集合，而且“参考面部特征”一词也是定义为一或多个参数值的集合。时间条件判定模块643决定不稳定计数值是否高于时间阈值(步骤S832)。若是，则将参考面部特征设为目前面部特征(步骤S833)，变形屏蔽产生模块651以新的参考面部特征重新定义变形屏蔽的范围(步骤S834)，像素登记模块653则依据重新定义的变形屏蔽调整面部区域(步骤S843)。否则，直接输出参考面部特征(步骤S842)，像素登记模块653则依据原来的变形屏蔽调整面部区域(步骤S843)。请参考回步骤S821，如果检测到的差异不高于空间阈值，空间条件判定模块641将不稳定计数值设为零(步骤S841)，输出参考面部特征(步骤S842)，像素登记模块653则依据原来的变形屏蔽调整面部区域(步骤S843)。本领域技术人员应该理解，当拍摄到的脸移出可容许范围一段短时间后又移动回原来的位置时，以上所述的时间条件判定可用以避免无谓的变形屏蔽调整，而此短时间的设定是使用时间阈值控制。
稳定条件需求会根据不同的对象类型而有所不同。图9显示用以稳定面部特征信息的范例流程图。第一个步骤由面部移动检查模块910执行，藉由比较参考面部特征902(于处理之前的影像时决定)与目前面部特征901来决定拍摄到的脸是否已经移动。若是(亦可视为处于面部移动状态)，则执行包含模块920至960的稳定程序。于稳定程序中，稳定条件检查模块920执行两个稳定条件判断，用以为后续的调整提升特征的稳定性。稳定条件检查模块920首先检查如上所述的空间条件，接着检查如上所述的时间条件。图10为应用于位置/长度特征的判定上的空间条件检查示意图，例如，人中位置、脸颊长度、下巴长度或以上的任意组合。窗口A10的设定是根据参考位置/长度特征902(于处理之前的影像时决定)以及事先决定的步长值(step value)。如果目前位置/长度特征901落入到窗口A10中(亦可视为处于些微移动状态)，则维持参考位置/长度特征902不变，并且将不稳定计数值设为零。于重设处理中，特征重设模块970输出参考位置/长度902。否则，将不稳定计数值加一，以及相应于不稳定计数值高于阈值时(亦可视为处于剧烈移动状态)，参考位置/长度特征902会依据目前位置/长度特征901被重新设定。例如，人中位置稳定模块930将参考人中位置设定为目前人中位置，或者更加上事先决定的步长值。脸颊宽度稳定模块940及下巴长度稳定模块950可执行类似的运算，用以分别调整参考脸颊宽度以及参考下巴长度。
图11为应用于角度特征的判定上的空间条件检查示意图，例如绕垂直轴旋转角度(yaw angle)、绕横轴旋转角度(pitch angle)以及绕纵轴旋转角度(roll angle)。窗口B10的设定是根据参考角度特征902(于处理之前的影像时决定)以及事先决定的步长值。如果目前角度特征901落入到窗口B10中(亦可视为处于些微移动状态)，则维持参考角度特征902不变，并且将不稳定计数值设为零。于重设处理中，特征重设模块970输出参考角度902。否则，将不稳定计数值加一，以及相应于不稳定计数值高于阈值时(亦可视为处于剧烈移动状态)，参考角度特征902会依据目前角度特征901被重新设定。例如，角度稳定模块960将参考角度特征902设定为目前角度，或者更加上事先决定的步长值。
为了实施如上所述的面部影像处理，例如瘦脸、产生变形屏蔽、面部亮化、面部红化及相关算法，运算量将过于繁重。运算工作可分配给中央处理单元(CPU,centralprocessing unit)及图形处理单元(GPU,graphics processing unit)协同处理。中央处理单元及图形处理单元可利用纹理串流(streaming texture)技术进行彼此间的沟通。本发明实施例揭露多处理器的混和架构，用以处理上述的运算。图形处理单元或中央处理单元可包含多个运算逻辑单元(ALUs,arithmetic logic units)或处理“核”。这些处理单元拥有大量平行运算的能力。
图12是依据本发明实施例的中央处理单元/图形处理单元(hybrid CPU/GPU)混和式处理架构图。画面缓存区C10储存包含至少一张脸的来源影像。来源影像的色彩格式会因使用不同的软件/硬件平台而有所不同，例如，yuv420sp格式通常应用在相机拍摄以及视频录像中，而RGB565格式通常应用于使用者接口以及静态影像解码中。为了让处理中的色彩格式趋于一致，***使用图形处理单元来执行色彩转换模块C20，用以将来源影像的色彩格式转换成其它可供处理的格式。因为HSI(hue,saturation and intensity)格式适合让面部处理算法使用，来源影像可被转换成HSI色彩格式。
于色彩转换后，每一张来源影像被传送至图形处理单元中的面部前处理模块C30。面部前处理模块C30中包含两个主要的处理：变形屏蔽建构及面部色彩处理。因为图形处理单元是设计来执行平行像素存取，相较于中央处理单元，使用图形处理单元来执行以上所述的两个处理可获得较佳的效能。面部前处理模块C30用以绘制结果并储存至图形处理单元/中央处理单元通讯缓存区C40。图形处理单元/中央处理单元通讯缓存区C40可设置于动态存取存储 器(random access memory,RAM)中，用以将纹理(texture)整理成串流数据，并且储存于图形处理单元/中央处理单元通讯缓存区C40中的数据可被图形处理单元及中央处理单元存取。图形处理单元/中央处理单元通讯缓存区C40可储存四个频道(channel)的影像，其中每一个像素使用32位作为表示。前三个频道用以储存HSI数据，而第四个频道用以储存以上所述的变形屏蔽信息，其中，变形屏蔽是由执行于中央处理单元或图形处理单元中的算法决定。变形屏蔽可参考图4中的410，每个像素中的第四个频道可储存一个值，用以指示此像素是否落入变形屏蔽中。
图形处理单元/中央处理单元通讯缓存区C40中所储存的数据***图形处理单元中的面部前处理模块C30绘制，并被传送至中央处理单元。相较于图形处理单元，由于中央处理单元于动态存取存储器上拥有较高速的存储器输入/输出存取率(I/O access rate)并且拥有较高的运算能力，中央处理单元可较有效率地执行若干像素运算作业，例如，面部平滑(face smoothing)、消除油光(anti-shining)等。最后，中央处理单元于结束作业后，图形处理单元/中央处理单元通讯缓存区540中储存的数据会被传送至图形处理单元中的面部后处理模块C50，用以进行后制处理，例如瘦脸、或其它后制处理。图形处理单元中的色彩转换模块C60可将目前的色彩格式，例如HSI色彩格式，转换回原先来源影像所使用的色彩格式，接着，绘制出调整后的影像并储存至画面缓存区C10中。如上所述的中央处理单元/图形处理单元混和式处理架构，提供了较佳的效能以及较少的中央处理单元使用率。相较于仅使用中央处理单元，如上所述的减少或消除透视变形的整体效能可提升四倍。
虽然本发明使用以上实施例进行说明，但需要注意的是，这些描述并非用以限缩本发明。相反地，此发明涵盖了本领域技术人员显而易见的修改与相似设置。所以，申请权利要求范围须以最宽广的方式解释来包含所有显而易见的修改与相似设置。
Claims (7)
1.一种瘦脸方法，用于由一电子装置拍摄的一影像序列中，包含：
接收一目前影像；
检测相应于上述目前影像中的一面部区域的一面部特征；
比较上述目前影像中的上述面部特征以及一参考特征；
依据上述比较结果调整一变形屏蔽；以及
依据上述变形屏蔽调整上述目前影像中的上述面部区域的一尺寸；
其中，上述变形屏蔽相应于上述面部特征的一位置，
其中于比较面部特征的步骤中，还包含：
决定上述面部特征的上述位置是否落入一稳定窗口中；
因应上述面部特征的上述位置不落入上述稳定窗口时，一不稳定计数值增加一；
决定上述不稳定计数值是否超过一事先决定的阈值；以及
因应上述不稳定计数值超过上述事先决定的阈值时，以上述目前影像的上述面部特征更新上述参考特征，
其中，上述稳定窗口是依据上述参考特征的上述位置进行定义。
2.根据权利要求1所述的瘦脸方法，其中于调整上述变形屏蔽的步骤中，还包含于上述变形屏蔽中调整上述面部特征的位置，其中上述面部特征包含一人中参数、一脸颊参数、一下巴参数以及一面部角度参数的一集合。
3.根据权利要求1所述的瘦脸方法，其中于接收上述目前影像中，还包含：
初始化一实时视频通讯应用程序；以及
藉由上述电子装置中的一相机模块拍摄包含上述目前影像的上述影像序列。
4.一种电子装置，包含：
一相机模块，用来拍摄一影像序列，上述影像序列包含一使用者的脸；
一影像处理模块，用来接收上述影像序列，为每一目前影像决定上述目前影像中的一面部区域的至少一面部特征，比较上述目前影像中的上述面部特征以及一参考特征，依据上述比较结果调整上述面部区域的一尺寸；以及一影像输出模块，用来传送上述影像序列中上述调整后的影像，
其中，上述影像处理模块还包含：
一空间条件判定模块，用来决定上述目前影像的上述面部特征是否落入一稳定窗口中，以及因应上述面部特征的位置不落入上述稳定窗口时，一不稳定计数值增加一，其中，上述稳定窗口是依据上述参考特征的上述位置定义；
一时间条件判定模块，用来决定上述不稳定计数值是否超过一事先决定的阈值，以及用来因应上述不稳定计数值超过上述事先决定的阈值时，以上述目前影像的上述面部特征更新上述参考特征；
一变形屏蔽产生模块，用来依据上述比较结果调整相应于上述面部区域的一变形屏蔽；以及
一像素注册模块，用来依据上述变形屏蔽调整上述目前影像中的上述面部区域的上述尺寸；
其中，上述变形屏蔽相应于上述面部特征的位置。
5.根据权利要求4所述的电子装置，其中，上述影像处理模块还包含：
一面部检测模块，用来检测上述影像序列中上述面部区域；以及
一面部特征检测模块，用来决定上述面部区域的上述面部特征的一位置。
6.根据权利要求4所述的电子装置，其中上述面部特征包含一人中参数、一脸颊参数、一下巴参数以及一面部角度参数的一集合。
7.根据权利要求4所述的电子装置，其中上述影像输出模块用来将上述影像序列编码成可通过一无线网络传送的一视频串流。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710235668.8A CN107087104B (zh) | 2012-09-21 | 2013-09-13 | 面部区域的影像处理方法以及使用此方法的电子装置 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261704247P | 2012-09-21 | 2012-09-21 | |
| US61/704,247 | 2012-09-21 | ||
| US13/974,912 | 2013-08-23 | ||
| US13/974,912 US9049355B2 (en) | 2012-09-21 | 2013-08-23 | Methods for image processing of face regions and electronic devices using the same |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710235668.8A Division CN107087104B (zh) | 2012-09-21 | 2013-09-13 | 面部区域的影像处理方法以及使用此方法的电子装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103685926A CN103685926A (zh) | 2014-03-26 |
| CN103685926B true CN103685926B (zh) | 2017-05-10 |
Family
ID=50322085
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710235668.8A Expired - Fee Related CN107087104B (zh) | 2012-09-21 | 2013-09-13 | 面部区域的影像处理方法以及使用此方法的电子装置 |
| CN201310418338.4A Expired - Fee Related CN103685926B (zh) | 2012-09-21 | 2013-09-13 | 面部区域的影像处理方法以及使用此方法的电子装置 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710235668.8A Expired - Fee Related CN107087104B (zh) | 2012-09-21 | 2013-09-13 | 面部区域的影像处理方法以及使用此方法的电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN107087104B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104219443A (zh) * | 2014-08-21 | 2014-12-17 | 深圳市金立通信设备有限公司 | 一种终端 |
| CN104217397B (zh) * | 2014-08-21 | 2018-05-15 | 深圳市金立通信设备有限公司 | 一种图像处理方法 |
| CN104754221B (zh) * | 2015-03-11 | 2018-11-16 | 广东欧珀移动通信有限公司 | 一种拍照方法及移动终端 |
| US10453270B2 (en) * | 2015-09-11 | 2019-10-22 | Intel Corporation | Scalable real-time face beautification of video images |
| CN107203963B (zh) * | 2016-03-17 | 2019-03-15 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及装置、电子设备 |
| CN106372616B (zh) * | 2016-09-18 | 2019-08-30 | Oppo广东移动通信有限公司 | 人脸识别方法、装置及终端设备 |
| WO2018098677A1 (zh) * | 2016-11-30 | 2018-06-07 | 深圳市大疆创新科技有限公司 | 处理视频流的方法和终端 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5116652B2 (ja) * | 2008-12-24 | 2013-01-09 | 三洋電機株式会社 | 撮像装置および笑顔記録プログラム |
| US8416277B2 (en) * | 2009-12-10 | 2013-04-09 | Apple Inc. | Face detection as a metric to stabilize video during video chat session |
| JP5240795B2 (ja) * | 2010-04-30 | 2013-07-17 | オムロン株式会社 | 画像変形装置、電子機器、画像変形方法、および画像変形プログラム |
| JP2012023502A (ja) * | 2010-07-13 | 2012-02-02 | Canon Inc | 撮影支援システム、撮影支援方法、サーバ、撮影装置およびプログラム |
-
2013
- 2013-09-13 CN CN201710235668.8A patent/CN107087104B/zh not_active Expired - Fee Related
- 2013-09-13 CN CN201310418338.4A patent/CN103685926B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN107087104B (zh) | 2019-09-10 |
| CN103685926A (zh) | 2014-03-26 |
| CN107087104A (zh) | 2017-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103685926B (zh) | 面部区域的影像处理方法以及使用此方法的电子装置 | |
| EP3477931B1 (en) | Image processing method and device, readable storage medium and electronic device | |
| TWI485647B (zh) | 面部區域之影像處理方法以及使用此方法的電子裝置 | |
| CN108038422B (zh) | 摄像装置、人脸识别的方法及计算机可读存储介质 | |
| US9710923B2 (en) | Information processing system, information processing device, imaging device, and information processing method | |
| US10055815B2 (en) | Image processing apparatus, image processing system, imaging apparatus and image processing method | |
| CN109639982A (zh) | 一种图像降噪方法、装置、存储介质及终端 | |
| WO2018103244A1 (zh) | 直播视频处理方法、装置及电子设备 | |
| JP3879732B2 (ja) | 物体検出装置、物体検知方法、およびコンピュータプログラム | |
| CN102884536A (zh) | 用于视频会议压缩的肤色与特征检测 | |
| WO2021232963A1 (zh) | 视频去噪方法、装置、移动终端和存储介质 | |
| EP4156082A1 (en) | Image transformation method and apparatus | |
| EP3371966B1 (en) | Depth camera based image stabilization | |
| CN107613216A (zh) | 对焦方法、装置、计算机可读存储介质和电子设备 | |
| CN107438161A (zh) | 拍摄画面处理方法、装置和终端 | |
| EP4175275A1 (en) | White balance processing method and electronic device | |
| KR20240068636A (ko) | 전자 디바이스들을 위한 관심 영역 캡처 | |
| CN112333385A (zh) | 电子防抖控制方法及装置 | |
| US11202045B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| US8625933B2 (en) | Image processing apparatus and method for the same | |
| CN116208851A (zh) | 图像处理方法及相关装置 | |
| CN116258633A (zh) | 图像去反光的方法、图像去反光模型的训练方法与装置 | |
| CN112507948A (zh) | 口罩佩戴提示方法及相关装置 | |
| CN115955611B (zh) | 图像处理方法与电子设备 | |
| Rahman et al. | Real-time face-based auto-focus for digital still and cell-phone cameras |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170510 Termination date: 20200913 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |