CN110555351B - 前景影像的提取方法与电子装置 - Google Patents

Abstract

本发明提供了一种前景影像的提取方法与电子装置，其利用红外线(Infrared；IR)来进行前景影像提取，以降低环境光影响与背景噪声。更进一步来说，本发明的提取方法与电子装置可以在不同的IR强度下提取代表亮灯状态的一IR亮帧影像、代表暗灯状态的一IR暗帧影像与一彩色影像(如RGB影像、YUV影像等)，并通过一简单运算计算IR亮帧影像与IR暗帧影像之间的关系与彩色影像的相关数值以藉此切割出较佳的前景影像(包含使用者的人脸部分、身体部分与头发部分)，并可降低运算量而达到即时处理。

Description

前景影像的提取方法与电子装置

技术领域

本发明提供一种前景影像的提取方法与电子装置，且特别是关于一种能够切割出合适的前景影像的提取方法与电子装置。

背景技术

在影像合成技术中，前景影像提取大致上可分为三类，其分别是色键(Chromakey)技术；背景相减法与特征检测法。

色键技术的概念是将背景改为单一颜色，并藉由前景与背景的颜色差距来去除背景，以切割出前景。然而，色键技术需要使用者额外架设单一颜色的布幕，对于使用者来说非常不便。

背景相减法的概念是当前景像素值与背景像素值相差很大时，即可切割出前景影像。然而，背景影像容易受到噪声的干扰，使得提取出来的前景影像常会包含部分的背景影像。

而特征检测法通常是针对某特定物体进行前景影像提取。以人脸影像为例，首先执行脸部特征检测，接着再针对脸部特征找到轮廓而提取人脸影像。然而，脸部特征检测很容易受到环境光影响而检测不到人脸影像。此外，较佳的脸部特征检测会造成复杂计算，进而无法达到即时处理。

因此，在前景影像提取的过程中，若可以降低环境光影响、背景噪声与运算量，将可提取出较佳的前景影像。

发明内容

本发明提供了一种前景影像的提取方法与电子装置，其利用红外线(Infrared；IR)来进行前景影像提取，以降低环境光影响与背景噪声。更进一步来说，本发明的提取方法与电子装置可以在不同的IR强度下提取代表亮灯状态的一IR亮帧影像、代表暗灯状态的一IR暗帧影像与一彩色影像(如RGB影像、YUV影像等)，并通过一简单运算计算IR亮帧影像与IR暗帧影像之间的关系与彩色影像的相关数值以藉此切割出较佳的前景影像(包含使用者的人脸部分、身体部分与头发部分的前景影像)，并可降低运算量而达到即时处理。

本发明实施例提供一种前景影像的提取方法，且适用于一电子装置。前景影像的提取方法包括如下步骤：(A)在一IR发射器由一暗灯状态到一亮灯状态再回到暗灯状态的过程中，提取具有一使用者的多个帧影像；(B)在这些帧影像中提取代表亮灯状态的一IR亮帧影像，提取代表暗灯状态的一IR暗帧影像，且提取一彩色影像；(C)计算IR亮帧影像与IR暗帧影像的一差值影像，且将差值影像二值化以产生一二值化影像，其中二值化影像具有多个前景像素与多个背景像素；(D)根据一人脸代表图框的一图框位置取得二值化影像中的一感兴趣区域，其中感兴趣区域对应到使用者的一人脸部分与一头发部分；(E)根据差值影像、彩色影像与感兴趣区域中的每一个像素位置与一中心点的距离关系调整感兴趣区域中的该些前景像素与该些背景像素以产生一二值化增强影像，其中二值化增强影像具有多个第二前景像素与多个第二背景像素；以及(F)根据二值化增强影像中的该些第二前景像素，将彩色影像中对应的像素决定为前景影像。

本发明实施例提供一种电子装置，且用以提取一前景影像。电子装置包括一IR发射器、一影像提取装置与一影像处理器。IR发射器发射一IR信号。影像提取装置接收关联于IR信号的一IR反射信号且接收一可见光信号。影像处理器耦接IR发射器与影像提取装置，且用以执行下列步骤：(A)控制IR发射器由一暗灯状态到一亮灯状态再回到暗灯状态，且根据IR反射信号与可见光信号提取具有一使用者的多个帧影像；(B)在这些帧影像中提取代表亮灯状态的一IR亮帧影像，提取代表暗灯状态的一IR暗帧影像，且提取一彩色影像；(C)计算IR亮帧影像与IR暗帧影像的一差值影像，且将差值影像二值化以产生一二值化影像，其中二值化影像具有多个前景像素与多个背景像素；(D)根据一人脸代表图框的一图框位置取得二值化影像中的一感兴趣区域，其中感兴趣区域对应到使用者的一人脸部分与一头发部分；(E)根据差值影像、彩色影像与感兴趣区域中的每一个像素位置与一中心点的距离关系调整感兴趣区域中的该些前景像素与该些背景像素以产生一二值化增强影像，其中二值化增强影像具有多个第二前景像素与多个第二背景像素；以及(F)根据二值化增强影像中的该些第二前景像素，将彩色影像中对应的像素决定为前景影像。

为使能更进一步了解本发明的技术内容，请参阅以下有关本发明的详细说明与附图，但是这些说明与所附图式仅是用来说明本发明，而非对本发明的权利范围作任何的限制。

附图说明

图1是本发明一实施例的电子装置与使用者的位置关系图。

图2是本发明一实施例的电子装置的示意图。

图3是本发明一实施例的基于前景影像的背景虚化方法的流程图。

图4A至图4D是本发明一实施例的影像处理器提取四个帧影像的示意图。

图5是本发明一实施例的计算二值化影像的示意图。

图6A是本发明一实施例的取得二值化影像的流程图。

图6B是本发明一实施例的取得人脸代表图框的流程图。

图6C是本发明一实施例的人脸代表图框的示意图。

图6D是本发明一实施例的感兴趣区域的示意图。

图7A是本发明一实施例的调整感兴趣区域中的前景像素与背景像素的流程图。

图7B是本发明一实施例的差值影像示意图。

图7C是本发明一实施例的二值化影像的示意图。

图8是本发明一实施例的渐进影像的示意图。

图9是本发明一实施例的混合影像的示意图。

具体实施方式

在下文中，将藉由图式说明本发明的各种例示实施例来详细描述本发明。然而，本发明概念可能以许多不同形式来体现，且不应解释为限于本文中所阐述的例示性实施例。此外，图式中相同参考数字可用以表示类似的元件。

本发明实施例所提供的前景影像的提取方法与电子装置，其控制一IR发射器由一暗灯状态到一亮灯状态，再由亮灯状态到暗灯状态。而在上述过程中，前景影像的提取方法与电子装置将在不同的IR强度下提取代表亮灯状态的一IR亮帧影像、代表暗灯状态的一IR暗帧影像与一彩色影像。接着根据IR亮帧影像与IR暗帧影像的差值产生具有多个前景像素与多个背景像素的二值化影像。再来根据一人脸代表图框的一图框位置取得二值化影像中的一感兴趣区域(对应到使用者的人脸部分与头发部分)。接着再调整感兴趣区域中的前景像素与背景像素以产生一二值化增强影像，其中二值化增强影像具有多个第二前景像素与多个第二背景像素。最后，根据二值化增强影像中的该些第二前景像素，彩色影像中对应的像素(作为头发部分的背景像素)会被决定为前景影像。

藉此，本发明的前景影像的提取方法与电子装置可以通过上述简单运算切割出较佳的前景影像(包含使用者的人脸部分、身体部分与头发部分的前景影像)。而在取得前景影像后，电子装置可以根据前景影像来对彩色影像进行背景虚化，以藉此产生一背景虚化影像。更进一步来说，电子装置将根据前景影像与电子装置之间的距离来对彩色影像进行不同程度的背景虚化，以更贴近真实的虚化场景。以下将进一步介绍本发明公开的前景影像的提取方法与电子装置。

首先，请参考图1至图2，图1示出本发明一实施例的电子装置与使用者的位置关系图，且图2是本发明一实施例的电子装置的示意图。如图1至图2所示，电子装置100设置在一使用者FC附近，用来拍摄具有使用者FC的一动态影像，并从动态影像中提取具有使用者FC的多个帧(frame)影像。电子装置100具有一IR发射器120、一影像提取装置110与一影像处理器130。影像处理器130耦接影像提取装置110与IR发射器120。在本实施例中，电子装置100可为智能手机、监视器、平板电脑、笔记型电脑或其他可同时提取IR影像与RGB影像的电子装置，本发明对此不作限制。

如图1所示，IR发射器120发射一IR信号Si至使用者FC，使用者FC将会反射一IR反射信号Sr。此时，影像提取装置110将接收到使用者FC反射的IR反射信号Sr与一环境光所产生的一可见光信号Sv。更进一步来说，IR发射器120可以是由一颗或多颗IR发光二极体(LED)组成，且设置在影像提取装置110附近。在本实施例中，IR发射器120是由一颗IR LED组成，且设置在影像提取装置110的下方。本实施例的影像提取装置110为红绿蓝-红外(RGB-IR)感测器，使得影像提取装置110可以同时接收到IR反射信号Sr与可见光信号Sv。当然，影像提取装置110亦可以由二个独立的RGB感测器与IR感测器组成，本发明对此不作限制。

而影像处理器130将控制IR发射器120由一暗灯状态到一亮灯状态再回到暗灯状态。在上述过程中，影像处理器130将接收IR反射信号Sr与可见光信号Sv，且根据IR反射信号Sr与可见光信号Sv产生一动态影像，并执行下列步骤，进而从动态影像中提取具有使用者FC的前景影像。

请同时参考图3，其示出本发明一实施例的基于前景影像的背景虚化方法的流程图。首先，电子装置100的影像处理器130将从动态影像中提取具有使用者FC的多个帧影像(步骤S310)，并从这些帧影像中提取代表亮灯状态的一IR亮帧影像、提取代表暗灯状态的一IR暗帧影像与提取一彩色影像(步骤S320)。

更进一步来说，请同时参考图4A至图4D，影像处理器130将依序提取具有使用者FC的四个帧影像。这四个帧影像分别包括由暗灯状态转换为亮灯状态的一第一帧影像410、在亮灯状态下的一第二帧影像420、由亮灯状态转换为暗灯状态的一第三帧影像430、与在暗灯状态下的一第四帧影像440。在这四个帧影像中，第一帧影像410与第三帧影像430为IR光源尚未全亮或全暗时的影像，且第二帧影像420与第四帧影像440为IR光源已全亮或全暗时的影像。因此，影像提取器110将提取第二帧影像420中的IR影像作为IR亮帧影像(如图5的IR亮帧影像510)，提取第四帧影像440中的IR影像作为IR暗帧影像(如图5的IR暗帧影像520)，且提取第三帧影像430中的RGB影像作为彩色影像。

值得注意的是，提取第三帧影像430时，IR光源尚未全暗，使得第三帧影像430中的RGB影像很容易受到红外线干扰。因此，上述RGB影像会经过一补偿技术(例如串扰补偿(crosstalk compensation))来减缓红外线干扰。而有关上述补偿技术为所属领域普通技术人员所悉知，故在此不再赘述。

而在其他实施例中，影像处理器130也可以依序提取具有使用者FC的六个帧影像(未绘于图式中)。六个帧影像分别包括由暗灯状态转换为亮灯状态的一第一帧影像、在亮灯状态下的一第二帧影像、由亮灯状态转换为暗灯状态的一第三帧影像、在暗灯状态下的一第四帧影像、一第五帧影像与一第六帧影像。在这六个帧影像中，第一帧影像与第三帧影像为IR光源尚未全亮或全暗时的影像，且第二帧影像、第四帧影像、第五帧影像与第六帧影像为IR光源已全亮或全暗时的影像。因此，影像处理器130将提取第二帧影像中的IR影像作为IR亮帧影像，提取第五帧影像中的IR影像作为IR暗帧影像，且提取第四帧影像或者第六帧影像中的RGB影像作为彩色影像。

值得注意的是，第四帧影像或第六帧影像为IR光源已全暗时的影像，因此，第四帧影像不会受到红外线干扰而不需要再经过其他的补偿技术的处理。而影像处理器130也可以利用其他方式提取IR亮帧影像、IR暗帧影像与彩色影像，本发明对此不作限制。

接下来，请同时参考图5，在取得IR亮帧影像、IR暗帧影像与彩色影像(即步骤S320)后，影像处理器130接着将计算IR亮帧影像510与IR暗帧影像520的一差值影像530(步骤S330)，且将差值影像530二值化以产生一二值化影像540(步骤S340)，以将差值影像530中的使用者FC(前景部分)与非使用者FCN(背景部分)分开。此时，二值化影像540将具有多个前景像素542与多个背景像素544。

更进一步来说，影像处理器130首先将在IR亮帧影像510与IR暗帧影像520中，依序提取同一个像素位置的像素值。再来，影像处理器130将依序计算同一个像素位置的像素值的差值，以产生差值影像530。差值影像530的每一个像素位置的像素值可以下述式(1)来表示。

IRdif(x,y)＝(IRb(x,y)-IRd(x,y))/2 式(1)

其中，(x,y)为像素位置，IRb(x,y)为IR亮帧影像510的某个像素位置的像素值，IRb(x,y)为IR暗帧影像520的某个像素位置的像素值，且IRdif(x,y)为差值影像530的某个像素位置的像素值。需说明的是，差值影像的像素值可以有不同的定义，式(1)只是本实施例所使用的其中一种定义。

相较于背景部分，前景部分较靠近IR发射器120。因此，比较前景部分在亮灯状态及暗灯状态下所反射的IR反射信号Sr的强度，两个状态之间的强度会有较大的差异。相对地，背景部分在亮灯状态及暗灯状态下所反射的IR反射信号Sr强度，其两个状态之间的强度差异较小。

举例来说，影像处理器130提取IR亮帧影像510与IR暗帧影像520中，同一个像素位置(x,y)＝(10,50)的像素值，且像素值分别为50与20。而影像处理器130将通过式(1)来计算差值影像530的像素位置(10,50)的像素值IRdif(10,50)，即IRdif(10,50)＝(IRb(10,50)-IRd(10,50))/2＝(50-20)/2＝15。再举例来说，于IR亮帧影像510与IR暗帧影像520中，同一个像素位置(x,y)＝(100,100)的像素值，且像素值分别为150与30。影像处理器130将通过式(1)来计算差值影像530的像素位置(100,100)的像素值IRdif(100,100)，即IRdif(100,100)＝(IRb(100,100)-IRd(100,100))/2＝(150-30)/2＝60。而差值影像530中其他像素位置的像素值同样以式(1)计算而得。

请同时参考图6A，在影像处理器130将差值影像530二值化以产生二值化影像540(即步骤S340)的过程中，影像处理器130将判断差值影像530中的每一个像素(以下称为差值像素)的像素值是否大于等于一门槛值(步骤S410)。若差值像素的像素值大于等于门槛值，影像处理器130将此差值像素视为二值化影像540的前景像素542(步骤S420)。反之，若差值像素的像素值小于门槛值，影像处理器130则将此差值像素视为二值化影像540的背景像素544(步骤S430)。

承接上述例子，门槛值设定为25。因此，影像处理器130判断此差值像素的像素值IR(10,50)＝15小于门槛值25，并将差值像素(10,50)视为二值化影像540的背景像素544。而影像处理器130判断此差值像素的像素值(100,100)＝60大于等于门槛值25，并将差值像素(100,100)视为二值化影像540的前景像素542。在本实施例中，前景像素542的像素值为255(代表白色)，背景像素544的像素值为0(代表黑色)。而前景像素542的像素值与背景像素544的像素值也可以依照实际状况作设定，本发明对此不作限制。

而上述差值影像530与二值化影像540的计算以及门槛值的设定也可以照实际状况来作修正，本发明对此不作限制。

需说明的是，若使用者FC的头发部分(实际上属于前景像素542)颜色较深而对于红外线的反射性不佳，差值影像530中的头发部分经过上述二值化的实施方式后会被认定为背景像素，如图5的二值化影像540中的背景像素544。影像处理器130有必要将使用者FC的头发部分改变为前景像素544。藉此，影像处理器130将执行步骤S440与S450，以取得具有使用者FC的人脸部分与头发部分的前景像素。

在步骤S440中，影像处理器130将根据一人脸代表图框RFr的一图框位置取得二值化影像540中的一感兴趣区域ROI。而感兴趣区域ROI将会对应到使用者FC的一人脸部分与一头发部分。

更进一步来说，影像处理器130将通过图6B的流程图来取得人脸代表图框RFr的图框位置。首先，影像处理器130判断是否有前一个人脸图框(步骤S341)。在本实施例中，前一个人脸图框是影像处理器130前一次取得的人脸代表图框，也可以是前几次取得的人脸代表图框，本发明对此不作限制。

若影像处理器130判断有前一个人脸图框时，表示影像处理器130也许可以延用之前取得人脸代表图框来进行后续处理，来降低重新寻找人脸代表图框的计算量。此时，影像处理器130将前一个人脸图框的一图框位置对应到二值化影像540(步骤S342)。

接着，影像处理器130将进一步判断前一个人脸图框的图框位置中的这些前景像素的数量是否大于等于一预定数量(步骤S343)。若影像处理器130判断上述数量大于等于预定数量(例如50*50个)时，表示可以延用之前取得人脸代表图框来进行后续处理。此时，影像处理器130将前一个人脸图框的图框位置作为人脸代表图框RFr的图框位置(步骤S344)，如图6C所示。反之，若影像处理器130判断上述数量小于预定数量时，表示使用者FC的移动幅度过大，不可以延用之前取得人脸代表图框来进行后续处理。此时，影像处理器130将由二值化影像540取得一目前人脸图框(步骤S345)，且判断目前人脸图框的一图框位置中的这些前景像素的数量是否大于等于预定数量(例如40*40个)(步骤S346)。

若影像处理器130判断上述数量大于等于预定数量时，代表影像处理器130在二值化影像540找到正确的目前人脸图框(即对应到使用者FC的人脸部分)。此时，影像处理器130将目前人脸图框的图框位置作为人脸代表图框RFr的图框位置(步骤S347)，如图6C所示。反之，若影像处理器130判断上述数量小于预定数量时，代表影像处理器130在二值化影像540找到错误的目前人脸图框NFr(即没有对应到使用者FC的人脸部分)。此时，影像处理器130将认定没有取得人脸代表图框的图框位置(步骤S348)，并回到步骤S345以重新计算二值化影像540的目前人脸图框来进行步骤S346的判断。在本实施例中，影像处理器130可以由任一人脸检测演算法来取得二值化影像540中的目前人脸图框，本发明对此不作限制。

再请回到图6B的步骤341：判断是否有前一个人脸图框。若影像处理器130判断没有前一个人脸图框时，表示影像处理器130第一次执行取得人脸代表图框的步骤又或者无法延用之前的人脸代表图框。此时，影像处理器130将执行步骤S345-S346，以藉此将目前人脸图框的图框位置作为人脸代表图框RFr的图框位置。而有关步骤S345-S346的实施方式已于上述作说明，故在此不再赘述。

再请回到图6A，影像处理器130在取得例如图6C的人脸代表图框RFr的图框位置(即步骤S344与S347)后，将根据人脸代表图框RFr的图框位置取得二值化影像540中的感兴趣区域ROI。更进一步来说，如图6D所示，由于使用者FC的头发部分位于人脸部分的左边、右边与上面。因此，影像处理器130将人脸代表图框RFr向左扩大一第一预定距离A1、向右扩大一第二预定距离A2，且向上扩大一第三预定距离A3，以藉此产生感兴趣区域ROI。在本实施例中，人脸代表图框RFr具有一图框长度D1。影像处理器130将人脸代表图框RFr向左扩大30％的图框长度D1(即第一预定距离A1)、向右扩大30％的图框长度D1(即第二预定距离A2)，且向上扩大50％的图框长度D1(即第三预定距离A3)，以藉此产生感兴趣区域ROI。因此，感兴趣区域ROI将会对应到使用者FC的人脸部分与头发部分。

为了将使用者FC的头发部分改变为前景像素，在取得感兴趣区域ROI(即步骤S440)后，影像处理器130将根据差值影像530、彩色影像、与二值化影像540的感兴趣区域ROI中的每一个像素位置与一中心点Ct的距离关系，调整感兴趣区域ROI中的这些前景像素与这些背景像素，且将二值化影像540中的这些前景像素作为前景影像(步骤S450)。需说明的是，差值影像530、彩色影像与二值化影像540之间具有一像素位置对应关系。举例来说，差值影像530中的像素位置(10,10)会对应到彩色影像中的像素位置(10,10)与对应到二值化影像540中的像素位置(10,10)。而上述影像的其他像素位置也是依照此对应关系来作设置。

更进一步来说，请同时参考图6D、图7A、图7B与图7C。图7A示出本发明一实施例的调整感兴趣区域中的前景像素与背景像素的流程图。影像处理器130首先将二值化影像540中感兴趣区域ROI的像素位置对应到差值影像530，并取得差值影像530中位于感兴趣区域ROI内的多个差值像素(步骤S351)。接下来，影像处理器130将依序在同一个像素位置中，根据差值影像530的差值像素的一像素值、彩色影像的亮度值、此像素位置与感兴趣区域ROI的中心点Ct之间的距离关系计算一转换值(步骤S353)。

接着，影像处理器130将判断此转换值是否大于等于一预定转换值(步骤S355)。若转换值大于等于预定转换值，代表影像处理器130判断此像素位置为使用者FC的头发部分。此时，影像处理器130将此像素位置对应到前景像素的像素值(步骤S357)。反之，若转换值小于预定转换值，代表影像处理器130判断此像素位置不为使用者FC的头发部分。此时，影像处理器130将维持此像素位置的像素值(步骤S359)。

而依照前景像素542(对应到使用者FC)在差值影像530、彩色影像与感兴趣区域ROI的特性。当差值影像530的差值像素的像素值越高，代表越有可能是前景像素；当彩色影像的亮度值越低，代表越有可能是前景像素；当彩色影像的彩度值越低，代表越有可能是前景像素；以及当感兴趣区域ROI中的某一个像素位置距离与中心点Ct越近，代表越有可能是前景像素。

因此，影像处理器130可以将步骤S351-S359整理为下述式(2)-式(6)，以藉此调整感兴趣区域ROI中的前景像素与背景像素，进而产生(调整后的)二值化影像640。需特别说明的是，为了区分调整前的二值化影像540与调整后的二值化影像640，本发明的实施例亦将调整后的二值化影像640称为二值化增强影像640。

POW＝256-IRdif(x,y) 式(3)

LUM＝256*Y(x,y)/Ymax 式(4)

RAD＝R_cur(x,y)/R_roi 式(5)

UV＝|U(x,y)-128|+|V(x,y)-128|+1式(6)

其中，FG(x,y)为二值化影像640的某个像素位置的像素值，(x,y)为某个像素位置，Fmax为二值化影像640中前景像素的像素值(本实施例中为255(代表白色))，Fbi(x,y)为像素位置(x,y)于(调整前的)二值化影像540中的像素值，IRdif(x,y)为差值影像530的某个像素位置的像素值，Y(x,y)为彩色影像的某个像素位置的亮度值，Ymax为彩色影像的最大亮度值，R_cur(x,y)为感兴趣区域ROI的某个像素位置与中心点Ct的距离，R_roi为感兴趣区域ROI的所有像素位置与中心点Ct的最远距离，U(x,y)与V(x,y)为彩色影像的某个像素位置的彩度资讯，TRS为转换值，ROI_TH为预定转换值。需说明的是，二值化影像640的像素值可以有不同的定义，式(2)-式(6)只是本实施例所使用的其中一种定义。

请同时参考图7B至图7C，其分别示出本发明一实施例的差值影像与二值化影像的示意图。举例来说，像素位置(x,y)＝(100,10)，前景像素的像素值Fmax＝255，最大亮度值Ymax＝255，最远距离R_roi＝100，且预定转换值ROI_TH＝250。而于同一个像素位置(100,10)中，影像处理器130计算差值影像530的像素值IRdif(100,10)＝30，彩色影像的亮度值Y(100,10)＝10，感兴趣区域ROI的像素位置(100,10)与中心点Ct的距离R_cur(100,10)＝35，彩色影像的彩度资讯U(100,10)＝15与V(100,10)＝30。

因此，POW＝256-IRdif(100,10)＝256-30＝226。LUM＝256*Y(100,10)/Ymax＝256*10/255＝10。RAD＝R_cur(100,10)/R_roi＝35/100＝0.35。UV＝|U(100,10)-128|+|V(100,10)-128|+1＝|15-128|+|30-128|+1＝212。影像处理器130将根据上述数值套用到式(2)计算转换值TRS，如下所示。

影像处理器130判断转换值TRS大于等于预定转换值，代表像素位置(100,10)为使用者FC的头发部分。此时，影像处理器130将像素位置(100,10)对应到前景像素的像素值Fmax＝255，即影像处理器130将图7B中差值影像530的像素位置(100,10)的像素值0转为图7C中二值化影像640的像素位置(100,10)的像素值255。

再举例来说，像素位置(x,y)＝(80,30)，前景像素的像素值Fmax＝255，最大亮度值Ymax＝255，最远距离R_roi＝100，且预定转换值ROI_TH＝250。而于同一个像素位置(80,30)中，影像处理器130计算差值影像530的像素值IRdif(80,30)＝2，彩色影像的亮度值Y(80,30)＝100，感兴趣区域ROI的像素位置(80,30)与中心点Ct的距离R_cur(80,30)＝50，彩色影像的彩度资讯U(100,10)＝3与V(100,10)＝4。

因此，POW＝256-IRdif(80,30)＝256-2＝254。LUM＝256*Y(80,30)/Ymax＝256*100/255＝100。RAD＝R_cur(80,30)/R_roi＝50/100＝0.5。UV＝|U(80,30)-128|+|V(80,30)-128|+1＝|3-128|+|4-128|+1＝250。影像处理器130将根据上述数值套用到式(2)计算转换值TRS，如下所示。

影像处理器130判断转换值TRS小于预定转换值，代表像素位置(80,30)不是使用者FC的头发部分。此时，影像处理器130将维持像素位置(80,30)的像素值Fbi(x,y)＝0。即影像处理器130维持图7B中差值影像530的像素位置(80,30)的像素值0。

而二值化影像640中其他像素位置的像素值同样以式(2)-式(6)计算而得。因此，影像处理器130将根据上述式(2)-式(6)计算出二值化影像640，并提取二值化影像640中的这些前景像素(即白色部分)作为前景影像IFr(步骤S350)。由上述说明可知，使用者FC的头发部分将由背景像素(如图6C的二值化影像540的像素值0)转变成前景像素(如图7C的二值化增强影像640的像素值255)，以藉此产生具有使用者的人脸部分、身体部分与头发部分的前景像素，进而切割出较佳的前景影像IFr。此时，前景影像IFr的像素位置对应到使用者位于二值化影像640中的像素位置且对应到使用者位于彩色影像中的像素位置。

请回到图3，在取得前景影像IFr(即步骤S350)后，影像处理器130可以根据前景影像来对彩色影像进行背景虚化，以藉此产生一背景虚化影像。详细说明如步骤S360-S380所述。

为了方便说明，以下前景影像以图7C的二值化影像640中的前景影像IFr作说明。因此，在取得前景影像IFr(即步骤S350)后，影像处理器130将取得差值影像530中前景部分的一平均IR亮度值(步骤S360)。更进一步来说，影像处理器130针对差值影像530中对应于图7C的前景影像IFr的每一个像素位置取得像素值，且平均这些像素值以产生平均IR亮度值。而由于头发部分的像素值很低，容易影响平均IR亮度值的结果。故在其他实施例中，影像处理器130也可以将图6C的二值化影像540中的每一个前景像素的像素位置对应到差值影像530(即排除作为头发部分的前景像素)，影像处理器130再于差值影像530中取得对应像素位置的多个像素值，并平均这些像素值以产生平均IR亮度值。

而为了更贴近真实的虚化场景，影像处理器130将根据平均IR亮度值计算一模糊半径，以藉此根据前景影像IFr与电子装置100之间的距离来对彩色影像进行不同程度的背景虚化(步骤S370)。在计算模糊半径的过程中，平均IR亮度值越大，模糊半径就越大(即平均IR亮度值与模糊半径成正相关)。前景影像IFr离电子装置100越近，平均IR亮度值越亮。反之，前景影像IFr离电子装置100越远，平均IR亮度值越暗。

藉此，影像处理器130可以将步骤S360-S370整理为下述式(7)，以根据平均IR亮度值计算模糊半径。

其中，Rmax为最大模糊半径，IRdif_max为最大IR亮度值，IRdif_mean为平均IR亮度值，且Ract为模糊半径。需说明的是，模糊半径Ract可以有不同的定义，式(7)只是本实施例所使用的其中一种定义。举例来说，最大模糊半径Rmax＝15，最大IR亮度值IRdif_max＝200，且平均IR亮度值为IRdif_mean＝55。因此，影像处理器130将根据式(7)计算出模糊半径Ract＝15*(55/200)＝4。

在取得模糊半径(即步骤S370)后，影像处理器130将根据模糊半径对彩色影像进行滤波(例如二次均值滤波)以产生一背景虚化影像(步骤S380)。举例来说，若模糊半径Ract＝3，代表遮罩大小为3*3。因此，影像处理器130将根据3*3的遮罩(即模糊半径Ract＝3)对彩色影像进行滤波(例如二次均值滤波)以产生一背景虚化影像(未绘于图式中)。再举例来说，若模糊半径Ract＝4，代表遮罩大小为4*4。而在实际作法中，4*4的遮罩为3*3的遮罩与5*5的遮罩的组合。因此，影像处理器130将分别根据3*3的遮罩与5*5的遮罩对彩色影像进行滤波(例如二次均值滤波)以产生第一虚化影像与第二虚化影像(未绘于图式中)。影像处理器130最后再依序平均第一虚化影像与第二虚化影像中同一个像素位置的像素值，以据此产生背景虚化影像(未绘于图式中)。

而在其他实施例中，影像处理器130也可以根据其他遮罩大小来组合成所需的模糊半径，本发明对此不作限制。有关影像处理器130对一张影像进行二次均值滤波的实施方式为所属领域普通技术人员所悉知，故在此不再赘述。

而在取得更贴近真实的虚化场景的其它作法，影像处理器130也可以在取得二值化影像后，进一步对二值化影像进行一均值滤波以产生一渐进影像。以图7C的二值化影像640为例作说明。请同时参考图7C与8，影像处理器130将对二值化影像640进行均值滤波以产生一渐进影像740。渐进影像740具有多个渐进像素742。渐进像素742由多个前景调整像素P1、多个灰阶像素P2与多个背景调整像素P3组成。在本实施例中，前景调整像素P1的像素值为255，且在渐进像素742中代表白色。背景调整像素P3的像素值为0，且在渐进影像740中代表黑色。而灰阶像素P2的像素值为介于1-254之间，且在渐进影像740中代表灰阶颜色。更进一步来说，影像处理器130可以根据实际状况来设计不同遮罩(mask)，例如3*3的遮罩，并将设计的遮罩对二值化增强影像640进行均值滤波以产生渐进影像740，本发明对此不作限制。

相较于上述实施例中影像处理器130利用单一个模糊半径对彩色影像进行滤波，本实施例的影像处理器130也可以针对渐进影像740中的每一个灰阶像素，根据其不同的像素值来决定出不同的模糊半径，并利用这些模糊半径来对彩色影像中对应于渐进影像740中灰阶像素的部分进行滤波，以更贴近真实的虚化场景。因此，如图8所示，影像处理器130将根据每一个灰阶像素P2的像素值与一最大像素值之间的比值调整模糊半径，以于每一个灰阶像素的像素位置对应产生一渐进模糊半径。

藉此，影像处理器130可以将上述计算渐进模糊半径的方法整理为下述式(8)，以于每一个灰阶像素P2的像素位置对应产生一个渐进模糊半径。

其中，(a,b)为渐进影像740中的某一个灰阶像素P2的像素位置，Ract为式(7)所计算出的模糊半径，Pmax为最大像素值，P2(a,b)为某个灰阶像素P2的像素值，且Rgray(a,b)为某个灰阶像素P2的渐进模糊半径。需说明的是，渐进模糊半径Rgray(a,b)可以有不同的定义，式(8)只是本实施例所使用的其中一种定义。举例来说，模糊半径Ract＝4，灰阶像素P2的某个像素位置(a,b)＝(120,10)且其像素值P2(a,b)＝130，最大像素值Pmax＝255。因此，影像处理器130将根据式(8)计算不同于模糊半径Ract的渐进模糊半径Rgray(120,10)＝4*130/255＝2。

请同时参考图8，在影像处理器130计算出前景调整像素P1与背景调整像素P3对应的单一模糊半径Ract与计算出每一个灰阶像素P2对应的一渐进模糊半径Rgray(a,b)后，影像处理器130将据此对彩色影像进行滤波(例如二次均值滤波)。更进一步来说，在彩色影像中，影像处理器130将对应于这些前景调整像素P1与这些背景调整像素P3的像素位置的像素值作为多个第一彩色值，且将对应于这些灰阶像素P2的像素位置的像素值作为多个第二彩色值。接下来，影像处理器130将根据模糊半径Ract依序将这些第一彩色值进行滤波，且根据这些渐进模糊半径Rgray(a,b)依序将对应的第二彩色值进行滤波以藉此产生背景虚化影像。

而上述背景虚化影像的产生，虽然有将模糊半径Ract应用于彩色影像中对应于前景调整像素P1的像素位置的像素值，但在下一步骤中(如式(9)以及以下相关段落所述)，藉由权重的调整，将使得混合影像900中对应于前景调整像素P1的像素没有被虚化。

由上述说明可知，影像处理器130可以根据前景影像与电子装置之间的距离来对彩色影像进行不同程度的背景虚化，以更贴近真实的虚化场景。

而为了使最后得到的影像突显出前景影像，影像处理器130可以针对每一像素位置，根据图8渐进影像740中对应的渐进像素742的像素值，来混合(blend)彩色影像中对应的像素值与背景虚化影像中对应的像素值，以在一混合影像900中的像素位置产生一混合像素值。更进一步来说，在混合影像900中的像素位置产生混合像素值的过程中，影像处理器130首先将根据对应的渐进像素740的像素值计算一第一权重比例与一第二权重比例，且第一权重比例与第二权重比例的总和为1。接下来，影像处理器130将根据第一权重比例与第二权重比例来混合彩色影像与背景虚化影像，以产生此像素位置的混合像素值。

藉此，影像处理器130可以将上述混合方法整理为下述式(9)，以在对应的像素位置中计算混合像素值，混合像素值可表示如下：

其中，(m,n)为某个像素位置，Irgb(m,n)为彩色影像中某个像素位置的像素值，Pgr(m,n)为渐进影像740中某个像素位置的像素值(而第一权重比例为Pgr(m,n)/Pmax，且第二权重比例为(1-(Pgr(m,n)/Pmax))，Iblur(m,n)为背景虚化影像中某个像素位置的像素值，Pmax为最大像素值(例如255)，且Pmix(m,n)为某个像素位置的混合像素值。需说明的是，混合像素值Pmix(m,n)可以有不同的定义，式(9)只是本实施例所使用的其中一种定义。

由式(9)可知，对前景调整像素P1而言，由于Pgr(m,n)＝255，故其彩色影像Irgb(m,n)的权重比例(即第一权重比例)为1，且背景虚化影像Iblur(m,n)的权重比例(即第二权重比例)为0；对背景调整像素P3而言，由于Pgr(m,n)＝0，故其彩色影像Irgb(m,n)的权重比例(即第一权重比例)为0，且背景虚化影像Iblur(m,n)的权重比例(即第二权重比例)为1。藉此可使混合影像900的背景虚化并突显出前景影像。

请参考图9，举例来说，像素位置(m,n)＝(120,10)，彩色影像中像素位置(120,10)的像素值Irgb(120,10)＝40，渐进影像740中像素位置(120,10)的像素值Pgr(m,n)＝180，背景虚化影像中像素位置(120,10)的像素值Iblur(120,10)＝50，最大像素值Pmax＝255。因此，影像处理器130将根据式(9)计算混合像素值Pmix(120,10)＝40*(180/255)+50*(1-(180/255))＝43。

据此，影像处理器130可以混合彩色影像与背景虚化影像，以藉此产生混合影像900中的每一个像素位置的混合像素值，并使混合影像900中对应到渐进影像740的灰阶像素P2的影像将会更平滑，以更贴近真实的虚化场景。

综上所述，本发明实施例所提供的一种前景影像的提取方法与电子装置，可以通过上述简单运算切割出较佳的前景影像(包含使用者的人脸部分、身体部分与头发部分的前景影像)。而在取得前景影像后，电子装置可以根据前景影像来对彩色影像进行背景虚化，以藉此产生一背景虚化影像。更进一步来说，电子装置将根据前景影像与电子装置之间的距离来对彩色影像进行不同程度的背景虚化，以更贴近真实的虚化场景。

以上所述仅为本发明的实施例，其并非用以局限本发明的专利范围。

符号说明

100：电子装置

110：影像提取装置

120：IR发射器

130：影像处理器

Si：IR信号

Sr：反射信号

Sv：可见光信号

FC：使用者

FCN：非使用者

S310、S320、S330、S340、S350、S360、S370、S380：步骤

410：第一帧影像

420：第二帧影像

430：第三帧影像

440：第四帧影像

510：IR亮帧影像

520：IR暗帧影像

530：差值影像

540：二值化影像

542：前景像素

544：背景像素

S410、S420、S430、S440、S450：步骤

S341、S342、S343、S344、S345、S346、S347、S348：步骤

RFr：人脸代表图框

NFr：目前人脸图框

ROI：感兴趣区域

A1：第一预定距离

A2：第二预定距离

A3：第三预定距离

Ct：中心点

D1：图框长度

S351、S353、S355、S357、S359：步骤

640：二值化增强影像

IFr：前景影像

740：渐进影像

742：渐进像素

P1：前景调整像素

P2：灰阶像素

P3：背景调整像素

900：混合影像

(80,30)、(100,10)、(120,10)：像素位置。

Claims (9)

1.一种前景影像的提取方法，适用于一电子装置，用以提取一前景影像，且该提取方法包括：

在一红外线发射器由一暗灯状态到一亮灯状态再回到该暗灯状态的过程中，提取具有一使用者的多个帧影像；

在该些帧影像中提取代表该亮灯状态的一红外线亮帧影像，提取代表该暗灯状态的一红外线暗帧影像，且提取一彩色影像；

计算该红外线亮帧影像与该红外线暗帧影像的一差值影像，且将该差值影像二值化以产生一二值化影像，其中该二值化影像具有多个前景像素与多个背景像素；

根据一人脸代表图框的一图框位置取得该二值化影像中的一感兴趣区域，其中该感兴趣区域对应到该使用者的一人脸部分与一头发部分；

根据该差值影像、该彩色影像与该感兴趣区域中的每一个像素位置与一中心点的距离关系调整该感兴趣区域中的该些前景像素与该些背景像素以产生一二值化增强影像，其中该二值化增强影像具有多个第二前景像素与多个第二背景像素；以及

根据该二值化增强影像中的该些第二前景像素，将彩色影像中对应的像素决定为该前景影像；

其中，在调整该感兴趣区域中的该些前景像素与该些背景像素中，还包括：将该感兴趣区域的一区域位置对应到该差值影像，并取得该差值影像中位于该感兴趣区域内的多个差值像素；依序在同一个像素位置中，根据该差值像素的像素值、该彩色影像的一亮度值、该像素位置与该感兴趣区域的一中心点之间的该距离关系计算一转换值；判断该转换值是否大于等于一预定转换值；以及若该转换值大于等于该预定转换值，将该像素位置的像素值对应到该前景像素的像素值，且若该转换值小于该预定转换值，维持该像素位置的像素值。

2.如权利要求1所述的前景影像的提取方法，其中，在提取该红外线亮帧影像、该红外线暗帧影像与该彩色影像的步骤中，还包括：

依序提取该些四个帧影像，其中该些四个帧影像分别包括由该暗灯状态转换为该亮灯状态的一第一帧影像、在该亮灯状态下的一第二帧影像、由该亮灯状态转换为该暗灯状态的一第三帧影像、在该暗灯状态下的一第四帧影像；以及

提取该第二帧影像中的一红外线影像作为该红外线亮帧影像，提取该第四帧影像中的该红外线影像作为该红外线暗帧影像，且提取该第三帧影像中的一RGB影像作为该彩色影像。

3.如权利要求1所述的前景影像的提取方法，其中，在提取该红外线亮帧影像、该红外线暗帧影像与该彩色影像的步骤中，还包括：

依序提取该些六个帧影像，其中该些六个帧影像分别包括由该暗灯状态转换为该亮灯状态的一第一帧影像、在该亮灯状态下的一第二帧影像、由该亮灯状态转换为该暗灯状态的一第三帧影像、在该暗灯状态下的一第四帧影像、一第五帧影像与一第六帧影像；以及

提取该第二帧影像中的一红外线影像作为该红外线亮帧影像，提取该第五帧影像中的该红外线影像作为该红外线暗帧影像，且提取该第四帧影像或该第六帧影像中的一RGB影像作为该彩色影像。

4.如权利要求1所述的前景影像的提取方法，其中，在计算该差值影像与该二值化影像的步骤中，还包括：

在该红外线亮帧影像与该红外线暗帧影像中，依序提取同一个像素位置的像素值；

依序计算该同一个像素位置的该些像素值的差值，以产生该差值影像；

判断该差值影像中的每一差值像素的像素值是否大于等于一门槛值；

若该差值像素的该像素值大于等于该门槛值，将该差值像素视为该二值化影像的该前景像素；以及

若该差值像素的该像素值小于该门槛值，将该差值像素视为该二值化影像的该背景像素。

5.如权利要求1所述的前景影像的提取方法，其中，在取得该人脸代表图框的该图框位置的过程中，还包括：

判断是否有前一个人脸图框，且若判断有该前一个人脸图框时，将该前一个人脸图框的一图框位置对应到该二值化影像；以及

判断该前一个人脸图框的该图框位置中的该些前景像素的数量是否大于等于一预定数量，且若判断该数量大于等于该预定数量时，将该前一个人脸图框的该图框位置作为该人脸代表图框的该图框位置。

6.如权利要求5所述的前景影像的提取方法，其中，在判断是否有该前一个人脸图框的步骤中，若判断没有该前一个人脸图框时，由该二值化影像取得一目前人脸图框，且判断该目前人脸图框的一图框位置中的该些前景像素的数量是否大于等于该预定数量；

其中，若判断该数量大于等于该预定数量时，将该目前人脸图框的该图框位置作为该人脸代表图框的该图框位置；以及

其中，若判断该数量小于该预定数量时，表示没有取得该人脸代表图框的该图框位置。

7.如权利要求5所述的前景影像的提取方法，其中，在判断该前一个人脸图框的该图框位置中的该些前景像素的数量是否大于等于该预定数量的步骤中，若判断该数量小于该预定数量时，由该二值化影像取得一目前人脸图框，且判断该目前人脸图框的一图框位置中的该些前景像素的数量是否大于等于该预定数量；

其中，若判断该数量大于等于该预定数量时，将该目前人脸图框的该图框位置作为该人脸代表图框的该图框位置；以及

其中，若判断该数量小于该预定数量时，表示没有取得该人脸代表图框的该图框位置。

8.如权利要求1所述的前景影像的提取方法，其中，在取得该二值化影像中的该感兴趣区域的步骤中，还包括：

将该人脸代表图框向左扩大一第一预定距离、向右扩大一第二预定距离且向上扩大一第三预定距离，以产生该感兴趣区域。

9.一种电子装置，用以提取一前景影像，该电子装置包括：

一红外线发射器，发射一红外线信号；

一影像提取装置，接收关联于该红外线信号的一红外线反射信号，且接收一可见光信号；以及

一影像处理器，耦接该红外线发射器与该影像提取装置，且用以执行下列步骤：

控制该红外线发射器由一暗灯状态到一亮灯状态再回到该暗灯状态，且根据该红外线反射信号与该可见光信号提取具有一使用者的多个帧影像；

在该些帧影像中提取代表该亮灯状态的一红外线亮帧影像，提取代表该暗灯状态的一红外线暗帧影像，且提取一彩色影像；

计算该红外线亮帧影像与该红外线暗帧影像的一差值影像，且将该差值影像二值化以产生一二值化影像，其中该二值化影像具有多个前景像素与多个背景像素；

根据一人脸代表图框的一图框位置取得该二值化影像中的一感兴趣区域，其中该感兴趣区域对应到该使用者的一人脸部分与一头发部分；

根据该差值影像、该彩色影像与该感兴趣区域中的每一个像素位置与一中心点的距离关系调整该感兴趣区域中的该些前景像素与该些背景像素以产生一二值化增强影像，其中该二值化增强影像具有多个第二前景像素与多个第二背景像素；以及

根据该二值化增强影像中的该些第二前景像素，将彩色影像中对应的像素决定为该前景影像；

其中，在调整该感兴趣区域中的该些前景像素与该些背景像素中，还包括：将该感兴趣区域的一区域位置对应到该差值影像，并取得该差值影像中位于该感兴趣区域内的多个差值像素；依序在同一个像素位置中，根据该差值像素的像素值、该彩色影像的一亮度值、该像素位置与该感兴趣区域的一中心点之间的该距离关系计算一转换值；判断该转换值是否大于等于一预定转换值；以及若该转换值大于等于该预定转换值，将该像素位置的像素值对应到该前景像素的像素值，且若该转换值小于该预定转换值，维持该像素位置的像素值。

Images