一种图像的处理方法、装置及设备
技术领域
本文件涉及计算机技术领域,尤其涉及一种图像的处理方法、装置及设备。
背景技术
人脸识别技术因为其识别率的越来越高和应用的便利性而得到了越来越广泛的应用,例如,视频监控、访问控制、智能身份证等。目前,随着摄像头的普及,越来越多的场景如无人值守的自助类商业场景、安防场景都需要在用户无感知的情况下,识别出出现在摄像头中的用户的身份等。
在人脸识别的应用场景中,经常需要通过人脸识别过程截取当前用户某一时刻的面部图像,作为本次显示输出的用户头像,以供用户确认自身的相关信息是否准确。而上述显示输出的面部图像在截取的过程中较随机,而且该面部图像也未经过任何处理,因此,显示输出的面部图像中经常出现如闭眼、张嘴、歪头等面部姿态,由于该面部图像会显示在公共机具(如自助类商业场景中的自助结算机具或人脸售卖机具等)上,如果该面部图像并不美观,导致用户使用上述场景中的人脸识别机具的次数减少,从而造成人脸识别对应的场景或机具的使用率低下,为此,需要提供一种应用于面部识别中为用户选取一张显示输出的面部图像的处理机制。
发明内容
本说明书实施例的目的是提供一种图像的处理方法、装置及设备,以提供一种应用于面部识别中为用户选取一张显示输出的面部图像的处理机制。
为了实现上述技术方案,本说明书实施例是这样实现的:
本说明书实施例提供的一种图像的处理方法,所述方法包括:
当触发对目标用户的面部识别时,获取所述目标用户的多个面部图像;
对所述面部图像进行预定的关键点检测,基于关键点检测结果对所述面部图像中所述目标用户的面部姿态进行打分;
基于所述面部图像中所述目标用户的面部姿态的打分结果,确定所述多个面部图像中用于显示输出的面部图像。
本说明书实施例中,所述方法还包括:
当检测到所述目标用户触发用于面部识别的按键时,生成面部识别指令,以触发对所述目标用户的面部识别;或者,
当检测到所述目标用户进入预定识别区域时,触发对所述目标用户的面部识别;或者,
当检测到所述目标用户进入预定识别区域,且在所述预定识别区域内停留的时长超过预定时长时,触发对所述目标用户的面部识别。
本说明书实施例中,所述多个面部图像中包括深度图像、红外图像和RGB图像中的一种或多种。
本说明书实施例中,所述基于所述面部图像中所述目标用户的面部姿态的打分结果,确定所述多个面部图像中用于显示输出的面部图像,包括:
获取对所述目标用户的面部识别对应的业务信息,以及所述业务信息对应的面部筛选条件;
根据所述业务信息对应的面部筛选条件,将所述多个面部图像中不符合所述面部筛选条件的面部图像删除,得到筛选后的面部图像;
基于筛选后的面部图像中所述目标用户的面部姿态的打分结果,确定所述筛选后的面部图像中用于显示输出的面部图像。
本说明书实施例中,所述方法还包括:
根据所述业务信息对应的面部筛选条件,获取所述多个面部图像中不符合所述面部筛选条件的面部图像;
将获取的面部图像中满足预定的面部质量规则的面部图像作为候选面部图像,获取所述目标用户的多个面部图像。
本说明书实施例中,所述基于筛选后的面部图像中所述目标用户的面部姿态的打分结果,确定所述筛选后的面部图像中用于显示输出的面部图像,包括:
根据筛选后的面部图像中所述目标用户的面部姿态的打分结果,确定筛选后的面部图像中所述目标用户的面部姿态的端正程度;
将所述筛选后的面部图像中所述目标用户的面部姿态的端正程度大于预定阈值的面部图像作为用于显示输出的面部图像。
本说明书实施例中,所述对所述面部图像进行预定的关键点检测,基于关键点检测结果对所述面部图像中所述目标用户的面部姿态进行打分,包括:
对所述面部图像进行预定的关键点检测,得到所述面部图像中的关键点数据;
对所述面部图像中的关键点数据进行分类,得到所述面部图像中包含的类别;
对所述面部图像中包含的类别进行面部姿态打分,以确定所述面部图像中所述目标用户的面部姿态的打分结果。
本说明书实施例中,所述所述面部图像中所述目标用户的面部姿态的打分结果中包括眼睛睁开程度的打分结果、双眼相对水平程度的打分结果、双眼的深度距离的打分结果、口部张开程度的打分结果、面部完整度的打分结果、面部倾斜程度的打分结果和面部表情的打分结果中的一项或多项。
本说明书实施例提供的一种图像的处理装置,所述装置包括:
面部图像获取模块,用于当触发对目标用户的面部识别时,获取所述目标用户的多个面部图像;
打分模块,用于对所述面部图像进行预定的关键点检测,基于关键点检测结果对所述面部图像中所述目标用户的面部姿态进行打分;
显示图像确定模块,用于基于所述面部图像中所述目标用户的面部姿态的打分结果,确定所述多个面部图像中用于显示输出的面部图像。
本说明书实施例中,所述显示图像确定模块,包括:
筛选条件获取单元,用于获取对所述目标用户的面部识别对应的业务信息,以及所述业务信息对应的面部筛选条件;
图像筛选单元,用于根据所述业务信息对应的面部筛选条件,将所述多个面部图像中不符合所述面部筛选条件的面部图像删除,得到筛选后的面部图像;
显示图像确定单元,用于基于筛选后的面部图像中所述目标用户的面部姿态的打分结果,确定所述筛选后的面部图像中用于显示输出的面部图像。
本说明书实施例中,所述装置还包括:
筛选模块,用于根据所述业务信息对应的面部筛选条件,获取所述多个面部图像中不符合所述面部筛选条件的面部图像;
候选图像获取模块,用于将获取的面部图像中满足预定的面部质量规则的面部图像作为候选面部图像,获取所述目标用户的多个面部图像。
本说明书实施例中,所述打分模块,包括:
关键点检测单元,用于对所述面部图像进行预定的关键点检测,得到所述面部图像中的关键点数据;
分类单元,用于对所述面部图像中的关键点数据进行分类,得到所述面部图像中包含的类别;
打分单元,用于对所述面部图像中包含的类别进行面部姿态打分,以确定所述面部图像中所述目标用户的面部姿态的打分结果。
本说明书实施例提供的一种图像的处理设备,所述图像的处理设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
当触发对目标用户的面部识别时,获取所述目标用户的多个面部图像;
对所述面部图像进行预定的关键点检测,基于关键点检测结果对所述面部图像中所述目标用户的面部姿态进行打分;
基于所述面部图像中所述目标用户的面部姿态的打分结果,确定所述多个面部图像中用于显示输出的面部图像。
由以上本说明书实施例提供的技术方案可见,本说明书实施例通过在目标用户进行面部识别时,基于关键点检测对面部图像中目标用户的面部姿态进行打分,进而确定用于显示输出的面部图像,这样,可以从多个面部图像中选取面部姿态较好的面部图像进行显示,避免由于随机选取方式而出现如闭眼、张嘴、歪头等面部姿态,使得选取的面部图像更加美观,用户更加情愿使用人脸识别机具,保证了人脸识别对应的场景或机具的使用率。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书一种图像的处理方法实施例;
图2为本说明书另一种图像的处理方法实施例;
图3为本说明书一种面部识别的机具与目标用户构成的示意图;
图4为本说明书一种图像的处理装置实施例;
图5为本说明书一种图像的处理设备实施例。
具体实施方式
本说明书实施例提供一种图像的处理方法、装置及设备。
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本文件保护的范围。
实施例一
如图1所示,本说明书实施例提供一种图像的处理方法,该方法的执行主体可以为用于人脸识别的机具,其中,该机具可以是一个独立终端设备,并可以与相应的服务器相连接,该服务器可以是某项业务(如进行交易的业务等)的后台服务器,也可以是某应用(如金融类应用层)的后台服务器等,该机具具体如自助收银机具、自助售卖机具或自动柜员机等。该方法可以用于在进行面部识别过程中确定用于显示输出的面部图像等处理中。该方法具体可以包括以下步骤:
在步骤S102中,当触发对目标用户的面部识别时,获取目标用户的多个面部图像。
其中,目标用户可以是任意需要进行面部识别的用户,还可以任意执行某项业务的用户,且该业务需要对该用户进行面部识别,例如自助结算业务、刷脸支付业务等。面部图像可以是包含用户面部的相关特征的图像,用户面部的相关特征可以包括如眼睛的相关特征、眉毛的相关特征、鼻子的相关特征、耳朵的相关特征和口部的相关特征中的一种或多种等。
在实施中,人脸识别技术因为其识别率的越来越高和应用的便利性而得到了越来越广泛的应用,例如,视频监控、访问控制、智能身份证等。目前,随着摄像头的普及,越来越多的场景如无人值守的自助类商业场景、安防场景都需要在用户无感知的情况下,识别出出现在摄像头中的用户的身份等。
在人脸识别的应用场景中,经常需要通过人脸识别过程截取当前用户某一时刻的面部图像,作为本次显示输出的用户头像,以供用户确认自身的相关信息是否准确。而上述显示输出的面部图像在截取的过程中较随机,而且该面部图像也未经过任何处理,因此,显示输出的面部图像中经常出现如闭眼、张嘴、歪头等面部姿态,由于该面部图像会显示在公共机具(如自助类商业场景中的自助结算机具或人脸售卖机具等)上,如果该面部图像并不美观,导致用户使用上述场景中的人脸识别机具的次数减少,从而造成人脸识别对应的场景或机具的使用率低下,为此,需要提供一种应用于面部识别中为用户选取一张显示输出的面部图像的处理机制,本说明书实施例提供一种上述处理机制,具体可以包括以下内容:
以无人值守的自助类商业场景(如人脸自助结算场景或人脸售卖场景等)为例,当用户在某线下商场完成购物时,可以携带购买的商品到人脸结算机具处进行结算,该人脸结算机具中可以设置有结算按键。当用户(即目标用户)需要对购买的商品进行结算时,可以点击该结算按键以触发人脸结算机具对该目标用户进行面部识别处理,此时,人脸结算机具可以启动摄像组件(如摄像头等),摄像组件可以对预定区域拍摄图像或对预定区域进行录像,这样,人脸结算机具或人脸售卖机具可以通过摄像组件拍摄目标用户的多张面部图像,或者,可以通过摄像组件摄取目标用户的多帧面部图像。其中,摄像组件可以包括多种,例如摄像组件可以由深度摄像组件、红外摄像组件和RGB摄像组件中的一种或多种构成,对于摄像组件由多种不同的摄像组件构成的情况,摄像组件可以分别通过相应的摄像组件获取相应的图像,例如摄像组件由深度摄像组件和红外摄像组件构成,则摄像组件可以同时获取目标用户的深度图像和红外图像等。此外,摄像组件的摄像区域可以根据实际情况设定,此外,由于需要对目标用户进行面部识别,因此,摄像组件的摄像区域可以是目标用户的面部所在的区域,例如人脸结算机具顶部的斜下方区域或人脸结算机具的正前方区域等。
在步骤S104中,对面部图像进行预定的关键点检测,基于关键点检测结果对面部图像中目标用户的面部姿态进行打分。
其中,关键点检测可以是对面部图像中的指定部位或区域内的关键点进行检测等,例如,可以对面部图像中目标用户的眼部的关键点进行检测。面部姿态可以包括眼睛、眉毛、鼻子、耳朵和口部等中的一个或多个部分的姿态,以及面部的整体样式或姿态等,相应的,面部姿态可以包括双眼睁开、双眼的水平距离、口部张开、口部闭合等,还可以包括面部的倾斜角度、面部表情(如喜、怒、哀、乐的表情等)等。进行关键点检测的面部图像可以是上述得到的多个面部图像中的任一个面部图像,也可以是多个面部图像中的多个(如2个或大于2的正整数个等)面部图像,还可以是对多个面部图像中的每个面部图像进行关键点检测等。
在实施中,为了准确检测出面部图像中目标用户的面部姿态,以确定该面部图像是否符合显示输出的要求,可以针对面部的不同区域或部位设置相应的检测关键点,例如眼睛部位的多个关键点和口部的多个关键点等,为了识别目标用户的面部姿态更加准确,可以为每个或者其中的任一个或多个区域(或部位)设定较多较详细的关键点。当通过上述步骤S102的处理得到目标用户的多个面部图像后,可以对每个面部图像或者其中的任一个或多个面部图像分别执行上述关键点检测,由于设定的关键点较多且将详细,因此,可以准确获取目标图像中的不同区域或部位的姿态。通过上述关键点检测,可以首先判定面部图像中是否存在人脸,如果面部图像中不存在人脸,则可以对下一张面部图像进行检测,如果获取的多张图像中均不存在人脸,则可以通过人脸结算机具等继续采集目标用户的面部图像,并继续执行上述关键点检测,直到在面部图像中检测到人脸,并得到相应的关键点检测结果。
为了充分表征面部图像中目标用户的面部姿态,可以根据关键点检测结果对面部图像中目标用户的面部姿态进行打分,例如,通过上述处理过程,可以得到多个面部图像中任一个或多个面部图像中双眼睁开程度的分值、双眼的水平距离的分值、口部张开的分值、口部闭合的分值、面部的倾斜角度的分值、面部表情(如喜、怒、哀、乐的表情等)的分值等。
需要说明的是,上述对面部图像中目标用户的面部姿态的打分可以通过多种方式实现,例如,可以预先设定打分算法对目标用户的面部姿态进行直接打分,或者,可以设定不同面部姿态的标准姿态,可以将获取的面部图像中目标用户的面部姿态与上述设定的标准姿态进行相似度计算,得到两者的相似度数值,可以基于该相似度数值确定相应的面部姿态的分值等,具体的打分方式可以根据实际情况设定,本说明书实施例对此不做限定。
在步骤S106中,基于面部图像中目标用户的面部姿态的打分结果,确定多个面部图像中用于显示输出的面部图像。
在实施中,通过上述的打分处理,可以得到面部图像中目标用户的面部姿态的打分结果,可以根据实际情况,为每一种面部姿态设定相应的阈值,然后,可以将某面部图像中目标用户的面部姿态与相应的阈值进行比较,如果该面部图像中目标用户的面部姿态均大于相应的阈值,则可以将该面部图像确定为用于显示输出的面部图像。此外,如果面部姿态均大于相应的阈值的面部图像包括多个,则可以将面部姿态的打分结果的总和最大的面部图像确定为用于显示输出的面部图像等。
需要说明的是,上述确定多个面部图像中用于显示输出的面部图像的方式可以多种多样,除了可以通过上述方式实现外,还可以通过其它多种方式实现,具体可以根据实际情况设定,本说明书实施例对此不做限定。
本说明书实施例提供一种图像的处理方法,通过在目标用户进行面部识别时,基于关键点检测对面部图像中目标用户的面部姿态进行打分,进而确定用于显示输出的面部图像,这样,可以从多个面部图像中选取面部姿态较好的面部图像进行显示,避免由于随机选取方式而出现如闭眼、张嘴、歪头等面部姿态,使得选取的面部图像更加美观,用户更加情愿使用人脸识别机具,保证了人脸识别对应的场景或机具的使用率。
实施例二
如图2所示,本说明书实施例提供一种图像的处理方法,该方法的执行主体可以为用于人脸识别的机具,其中,该机具可以是一个独立终端设备,并可以与相应的服务器相连接,该服务器可以是某项业务(如进行交易的业务等)的后台服务器,也可以是某应用(如金融类应用层)的后台服务器等,该机具具体如自助收银机具、自助售卖机具或自动柜员机等。该方法可以用于在进行面部识别过程中确定用于显示输出的面部图像等处理中。该方法具体可以包括以下步骤:
在步骤S202中,当检测到目标用户触发用于面部识别的按键时,生成面部识别指令,以触发对目标用户的面部识别。
在实施中,可以通过多种方式触发对目标用户的面部识别,在人脸识别的应用场景中,用于人脸识别的机具中可以设置有摄像头、显示屏等,并且该机具中还可以设置有面部识别的按键,当用户(即目标用户)需要进行人脸识别时(如进行购物或结算时),可以点击显示屏中用于面部识别的按键,此时,该机具可以监测到目标用户的点击操作,可以生成面部识别指令。通过面部识别指令,可以启动该机具的摄像头等摄像组件,并触发对目标用户的面部识别。
上述步骤S202的处理仅是触发对目标用户的面部识别的一种方式,在实际应用中还可以包括多种不同的方式,以下还提供两种可选的方式,具体可以参见下述方式一和方式二。
方式一,当检测到目标用户进入预定识别区域时,触发对目标用户的面部识别。
在实施中,如图3所示,用于人脸识别的机具的摄像等摄像组件可以保持开启状态,并采集预定识别区域或预定识别位置的人脸图像,当用户(即目标用户)需要进行人脸识别时(如进行购物或结算时),可以进入上述预定识别区域或预定识别位置,此时,机具可以检测到目标用户进入预定识别区域,机具可以启动对目标用户的面部识别。
方式二,当检测到目标用户进入预定识别区域,且在预定识别区域内停留的时长超过预定时长时,触发对目标用户的面部识别。
其中,预定时长可以是任意时长,具体可以根据实际情况设定,本说明书实施例对此不做限定。
在实施中,如图3所示,用于人脸识别的机具的摄像等摄像组件可以保持开启状态,并采集预定识别区域或预定识别位置的人脸图像,当目标用户需要进行人脸识别时,可以进入上述预定识别区域或预定识别位置,为了减少对用户的误识别,目标用户刚刚进入预定识别区域时,机具可以不对目标用户进行面部识别,当目标用户在预定识别区域内停留的时长超过预定时长,机具可以启动对目标用户的面部识别。
在步骤S204中,当触发对目标用户的面部识别时,获取目标用户的多个面部图像。
其中,多个面部图像中可以包括深度图像、红外图像和RGB图像中的一种或多种。
在实施中,当触发对目标用户的面部识别时,可以根据实际情况获取目标用户的不同种类的面部图像,例如,通过机具上的深度摄像头获取目标用户的深度图像、通过机具上的红外摄像头获取目标用户的红外图像和通过机具上的摄像头获取目标用户的RGB图像中的一种或多种。
在步骤S206中,对面部图像进行预定的关键点检测,得到面部图像中的关键点数据。
在实施中,为了准确检测出面部图像中目标用户的面部姿态,以确定该面部图像是否符合显示输出的要求,可以针对面部的不同区域或部位设置相应的检测关键点。为了识别目标用户的面部姿态更加准确,可以为每个或者其中的任一个或多个区域(或部位)设定较多较详细的关键点。可以对每个或者其中的任一个或多个面部图像执行上述关键点检测,得到面部图像中的关键点数据。
在步骤S208中,对面部图像中的关键点数据进行分类,得到面部图像中包含的类别。
在实施中,可以根据实际情况,将面部预先划分多个类别,例如,可以将面部划分为5个类别,可以分别为眼睛、眉毛、鼻子、耳朵和口部等5个类别,然后,可以对面部图像中的关键点数据进行分类,可以分别将每个面部图像中的属于眼睛类别的关键点数据划分为眼睛类别,将面部图像中的属于眉毛类别的关键点数据划分为眉毛类别,将面部图像中的属于鼻子类别的关键点数据划分为鼻子类别,将面部图像中的属于耳朵类别的关键点数据划分为耳朵类别,将面部图像中的属于口部类别的关键点数据划分为口部类别等,从而得到面部图像中包含的类别。
需要说明的是,对面部图像中的关键点数据进行分类的处理,可以通过预定的分类算法或分类模型实现,例如决策树分类算法、朴素的贝叶斯分类算法、基于支持向量机的分类算法、神经网络方法,k-近邻kNN算法等,具体选择哪种分类算法或分类模型可以根据实际情况选取,本说明书实施例对此不做限定。通过预定的分类算法或分类模型对每个面部图像中的关键点数据进行分类的处理,可以基于相应的分类算法或分类模型的具体计算方法实现,在此不再赘述。
在步骤S210中,对面部图像中包含的类别进行面部姿态打分,以确定面部图像中目标用户的面部姿态的打分结果。
在实施中,为了充分表征面部图像中目标用户的面部姿态,可以对面部图像中包含的类别进行面部姿态打分,即可以分别对每个或者其中的任一个或多个面部图像中眼睛、眉毛、鼻子、耳朵和口部等类别进行面部姿态打分,具体如,通过上述处理过程,可以得到多个面部图像中任一个或多个面部图像中双眼睁开程度的分值、双眼的水平距离的分值、双眼的深度距离、口部张开的分值、口部闭合的分值、面部的倾斜角度的分值、面部完整度的分值、面部表情(如喜、怒、哀、乐的表情等)的分值等。
在步骤S212中,获取对目标用户的面部识别对应的业务信息,以及业务信息对应的面部筛选条件。
其中,业务信息可以是与某业务相关的信息,例如,某业务的名称、标识等。面部筛选条件可以是也与相应的业务相关的条件,例如筛选面部表情为喜或乐的面部图像等。
在实施中,不同的业务可能会设置有符合其业务需求的面部筛选条件,因此,可以根据目标识别所属的业务,确定相应的业务信息,具体地,可以获取对目标用户的面部识别对应的业务信息,并可以获取业务信息对应的面部筛选条件。
在步骤S214中,根据上述业务信息对应的面部筛选条件,将多个面部图像中不符合面部筛选条件的面部图像删除,得到筛选后的面部图像。
需要说明的是,如果根据上述业务信息对应的面部筛选条件,确定上述获取的多个面部图像均不符合面部筛选条件,则可以重新设置面部筛选条件中涉及到的阈值,以使得获取的面部图像中存在符合面部筛选条件的面部图像。
在步骤S216中,基于筛选后的面部图像中目标用户的面部姿态的打分结果,确定筛选后的面部图像中用于显示输出的面部图像。
其中,面部图像中目标用户的面部姿态的打分结果中可以包括眼睛睁开程度的打分结果、双眼相对水平程度的打分结果、双眼的深度距离的打分结果、口部张开程度的打分结果、面部完整度的打分结果、面部倾斜程度的打分结果和面部表情的打分结果中的一项或多项。
上述步骤S216的处理可以多种多样,以下提供一种可选的处理方式,具体可以包括以下步骤一和步骤二的处理。
步骤一,根据筛选后的面部图像中目标用户的面部姿态的打分结果,确定筛选后的面部图像中目标用户的面部姿态的端正程度。
其中,端正程度可以是与常规的面部姿态相比,两者的差距等。
步骤二,将筛选后的面部图像中目标用户的面部姿态的端正程度大于预定阈值的面部图像作为用于显示输出的面部图像。
在实施中,可以根据实际情况,为每一种面部姿态设定相应的端正程度阈值,然后,可以将某面部图像中目标用户的面部姿态与相应的阈值进行比较,如果该面部图像中目标用户的面部姿态均大于相应的阈值,则可以将该面部图像确定为用于显示输出的面部图像。此外,如果面部姿态均大于相应的阈值的面部图像包括多个,则可以将面部姿态的打分结果的总和最大的面部图像确定为用于显示输出的面部图像等。
此外,对于多个面部图像中不符合面部筛选条件的面部图像,可以通过下述步骤S218和步骤S220的处理过程处理。
在步骤S218中,根据上述业务信息对应的面部筛选条件,获取多个面部图像中不符合面部筛选条件的面部图像。
在步骤S220中,将获取的面部图像中满足预定的面部质量规则的面部图像作为候选面部图像,获取目标用户的多个面部图像。
其中,面部质量规则可以根据实际情况设定,本说明书实施例对此不做限定。
在实施中,对于不符合面部筛选条件的面部图像,可以将该面部图像与预定的面部质量规则进行匹配,并可以将满足预定的面部质量规则的面部图像作为候选面部图像,以便与后续作为显示输出的面部图像进行对比比较,进一步确定作为显示输出的面部图像。具体地,可以获取目标用户的多个面部图像,并可以执行上述各个步骤,得到作为显示输出的候选面部图像,然后,可以结合上述得到的候选面部图像,进一步确定作为显示输出的面部图像。
本说明书实施例提供一种图像的处理方法,通过在目标用户进行面部识别时,基于关键点检测对面部图像中目标用户的面部姿态进行打分,进而确定用于显示输出的面部图像,这样,可以从多个面部图像中选取面部姿态较好的面部图像进行显示,避免由于随机选取方式而出现如闭眼、张嘴、歪头等面部姿态,使得选取的面部图像更加美观,用户更加情愿使用人脸识别机具,保证了人脸识别对应的场景或机具的使用率。而且,针对目标用户的面部识别对应的业务信息的面部筛选条件,去除不符合面部筛选条件的面部图像,然后,再从剩余的图像中选取用于显示输出的面部图像,使得选取的图像既满足业务需求,而且更加美观,进一步提高了机具的使用率。
实施例三
以上为本说明书实施例提供的图像的处理方法,基于同样的思路,本说明书实施例还提供一种图像的处理装置,如图4所示。
该图像的处理装置包括:面部图像获取模块401、打分模块402和显示图像确定模块403,其中:
面部图像获取模块401,用于当触发对目标用户的面部识别时,获取所述目标用户的多个面部图像;
打分模块402,用于对所述面部图像进行预定的关键点检测,基于关键点检测结果对所述面部图像中所述目标用户的面部姿态进行打分;
显示图像确定模块403,用于基于所述面部图像中所述目标用户的面部姿态的打分结果,确定所述多个面部图像中用于显示输出的面部图像。
本说明书实施例中,所述装置还包括:
指令生成模块,用于当检测到所述目标用户触发用于面部识别的按键时,生成面部识别指令,以触发对所述目标用户的面部识别;或者,
检测模块,用于当检测到所述目标用户进入预定识别区域时,触发对所述目标用户的面部识别;或者,
触发模块,用于当检测到所述目标用户进入预定识别区域,且在所述预定识别区域内停留的时长超过预定时长时,触发对所述目标用户的面部识别。
本说明书实施例中,所述多个面部图像中包括深度图像、红外图像和RGB图像中的一种或多种。
本说明书实施例中,所述显示图像确定模块403,包括:
筛选条件获取单元,用于获取对所述目标用户的面部识别对应的业务信息,以及所述业务信息对应的面部筛选条件;
图像筛选单元,用于根据所述业务信息对应的面部筛选条件,将所述多个面部图像中不符合所述面部筛选条件的面部图像删除,得到筛选后的面部图像;
显示图像确定单元,用于基于筛选后的面部图像中所述目标用户的面部姿态的打分结果,确定所述筛选后的面部图像中用于显示输出的面部图像。
本说明书实施例中,所述装置还包括:
筛选模块,用于根据所述业务信息对应的面部筛选条件,获取所述多个面部图像中不符合所述面部筛选条件的面部图像;
候选图像获取模块,用于将获取的面部图像中满足预定的面部质量规则的面部图像作为候选面部图像,获取所述目标用户的多个面部图像。
本说明书实施例中,所述候选图像获取模块,包括:
端正程度确定单元,用于根据筛选后的面部图像中所述目标用户的面部姿态的打分结果,确定筛选后的面部图像中所述目标用户的面部姿态的端正程度;
候选图像获取单元,用于将所述筛选后的面部图像中所述目标用户的面部姿态的端正程度大于预定阈值的面部图像作为用于显示输出的面部图像。
本说明书实施例中,所述打分模块402,包括:
关键点检测单元,用于对所述面部图像进行预定的关键点检测,得到所述面部图像中的关键点数据;
分类单元,用于对所述面部图像中的关键点数据进行分类,得到所述面部图像中包含的类别;
打分单元,用于对所述面部图像中包含的类别进行面部姿态打分,以确定所述面部图像中所述目标用户的面部姿态的打分结果。
本说明书实施例中,所述所述面部图像中所述目标用户的面部姿态的打分结果中包括眼睛睁开程度的打分结果、双眼相对水平程度的打分结果、双眼的深度距离的打分结果、口部张开程度的打分结果、面部完整度的打分结果、面部倾斜程度的打分结果和面部表情的打分结果中的一项或多项。
本说明书实施例提供一种图像的处理装置,通过在目标用户进行面部识别时,基于关键点检测对面部图像中目标用户的面部姿态进行打分,进而确定用于显示输出的面部图像,这样,可以从多个面部图像中选取面部姿态较好的面部图像进行显示,避免由于随机选取方式而出现如闭眼、张嘴、歪头等面部姿态,使得选取的面部图像更加美观,用户更加情愿使用人脸识别机具,保证了人脸识别对应的场景或机具的使用率。而且,针对目标用户的面部识别对应的业务信息的面部筛选条件,去除不符合面部筛选条件的面部图像,然后,再从剩余的图像中选取用于显示输出的面部图像,使得选取的图像既满足业务需求,而且更加美观,进一步提高了机具的使用率。
实施例四
以上为本说明书实施例提供的图像的处理装置,基于同样的思路,本说明书实施例还提供一种图像的处理设备,如图5所示。
所述图像的处理设备可以为上述实施例提供的用于面部识别的机具。
图像的处理设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器501和存储器502,存储器502中可以存储有一个或一个以上存储应用程序或数据。其中,存储器502可以是短暂存储或持久存储。存储在存储器502的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对图像的处理设备中的一系列计算机可执行指令。更进一步地,处理器501可以设置为与存储器502通信,在图像的处理设备上执行存储器502中的一系列计算机可执行指令。图像的处理设备还可以包括一个或一个以上电源503,一个或一个以上有线或无线网络接口504,一个或一个以上输入输出接口505,一个或一个以上键盘506。
具体在本实施例中,图像的处理设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对图像的处理设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
当触发对目标用户的面部识别时,获取所述目标用户的多个面部图像;
对所述面部图像进行预定的关键点检测,基于关键点检测结果对所述面部图像中所述目标用户的面部姿态进行打分;
基于所述面部图像中所述目标用户的面部姿态的打分结果,确定所述多个面部图像中用于显示输出的面部图像。
本说明书实施例中,还包括:
当检测到所述目标用户触发用于面部识别的按键时,生成面部识别指令,以触发对所述目标用户的面部识别;或者,
当检测到所述目标用户进入预定识别区域时,触发对所述目标用户的面部识别;或者,
当检测到所述目标用户进入预定识别区域,且在所述预定识别区域内停留的时长超过预定时长时,触发对所述目标用户的面部识别。
本说明书实施例中,所述多个面部图像中包括深度图像、红外图像和RGB图像中的一种或多种。
本说明书实施例中,所述基于所述面部图像中所述目标用户的面部姿态的打分结果,确定所述多个面部图像中用于显示输出的面部图像,包括:
获取对所述目标用户的面部识别对应的业务信息,以及所述业务信息对应的面部筛选条件;
根据所述业务信息对应的面部筛选条件,将所述多个面部图像中不符合所述面部筛选条件的面部图像删除,得到筛选后的面部图像;
基于筛选后的面部图像中所述目标用户的面部姿态的打分结果,确定所述筛选后的面部图像中用于显示输出的面部图像。
本说明书实施例中,还包括:
根据所述业务信息对应的面部筛选条件,获取所述多个面部图像中不符合所述面部筛选条件的面部图像;
将获取的面部图像中满足预定的面部质量规则的面部图像作为候选面部图像,获取所述目标用户的多个面部图像。
本说明书实施例中,所述基于筛选后的面部图像中所述目标用户的面部姿态的打分结果,确定所述筛选后的面部图像中用于显示输出的面部图像,包括:
根据筛选后的面部图像中所述目标用户的面部姿态的打分结果,确定筛选后的面部图像中所述目标用户的面部姿态的端正程度;
将所述筛选后的面部图像中所述目标用户的面部姿态的端正程度大于预定阈值的面部图像作为用于显示输出的面部图像。
本说明书实施例中,所述对所述面部图像进行预定的关键点检测,基于关键点检测结果对所述面部图像中所述目标用户的面部姿态进行打分,包括:
对所述面部图像进行预定的关键点检测,得到所述面部图像中的关键点数据;
对所述面部图像中的关键点数据进行分类,得到所述面部图像中包含的类别;
对所述面部图像中包含的类别进行面部姿态打分,以确定所述面部图像中所述目标用户的面部姿态的打分结果。
本说明书实施例中,所述所述面部图像中所述目标用户的面部姿态的打分结果中包括眼睛睁开程度的打分结果、双眼相对水平程度的打分结果、双眼的深度距离的打分结果、口部张开程度的打分结果、面部完整度的打分结果、面部倾斜程度的打分结果和面部表情的打分结果中的一项或多项。
本说明书实施例提供一种图像的处理设备,通过在目标用户进行面部识别时,基于关键点检测对面部图像中目标用户的面部姿态进行打分,进而确定用于显示输出的面部图像,这样,可以从多个面部图像中选取面部姿态较好的面部图像进行显示,避免由于随机选取方式而出现如闭眼、张嘴、歪头等面部姿态,使得选取的面部图像更加美观,用户更加情愿使用人脸识别机具,保证了人脸识别对应的场景或机具的使用率。而且,针对目标用户的面部识别对应的业务信息的面部筛选条件,去除不符合面部筛选条件的面部图像,然后,再从剩余的图像中选取用于显示输出的面部图像,使得选取的图像既满足业务需求,而且更加美观,进一步提高了机具的使用率。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字***“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的***、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书的实施例可提供为方法、***、或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书的实施例是参照根据本说明书实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程图像的处理设备的处理器以产生一个机器,使得通过计算机或其他可编程图像的处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程图像的处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程图像的处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、***或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。