CN115376196B - 图像处理方法、金融隐私数据的安全处理方法及装置 - Google Patents

图像处理方法、金融隐私数据的安全处理方法及装置 Download PDF

Info

Publication number
CN115376196B
CN115376196B CN202211306183.0A CN202211306183A CN115376196B CN 115376196 B CN115376196 B CN 115376196B CN 202211306183 A CN202211306183 A CN 202211306183A CN 115376196 B CN115376196 B CN 115376196B
Authority
CN
China
Prior art keywords
image
face
difference
target image
description information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211306183.0A
Other languages
English (en)
Other versions
CN115376196A (zh
Inventor
王帅
李悦
王爽
郑灏
李帜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Nowei Information Technology Co.,Ltd.
Original Assignee
Shanghai Lianyi Biotechnology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Lianyi Biotechnology Co ltd filed Critical Shanghai Lianyi Biotechnology Co ltd
Priority to CN202211306183.0A priority Critical patent/CN115376196B/zh
Publication of CN115376196A publication Critical patent/CN115376196A/zh
Application granted granted Critical
Publication of CN115376196B publication Critical patent/CN115376196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种图像处理方法、金融隐私数据的安全处理方法及装置,其中方法包括:将当前获取的人脸图像分割为目标图像和其它图像,目标图像和其它图像均包括脸部的部分五官特征;根据所述目标图像中的五官特征,确定其它图像的五官特征对应的差异描述信息,所述差异描述信息用于表示相对于所述目标图像中的五官特征的差异;将所述目标图像以及所述差异描述信息发送至服务器,以使所述服务器基于所述目标图像以及所述差异描述信息还原所述人脸图像,并对还原的人脸图像进行认证。本申请实施例能够克服现有技术无法在可信执行环境中降低数据传输量,进而无法提高人脸识别效率,导致用户等待多久,使得用户体验差的问题。

Description

图像处理方法、金融隐私数据的安全处理方法及装置
技术领域
本申请实施例涉及图像处理技术领域,尤其涉及一种图像处理方法、金融隐私数据的安全处理方法及装置。
背景技术
随着移动互联网的发展,社会的开放程度也越来越高,用户通过与终端设备(例如手机、平板电脑、具有识别***的智能终端产品等)进行人机交互,能做很多的事情。
其中,人脸识别已经成为一种重要的人机交互方式,被广泛地应用于安防监控、智能支付、社交媒体、医疗等领域。常见的人脸识别,在可信执行环境中,通常是上传整张人脸图像数据给服务端(比如服务器),传输数据量大。
发明内容
本申请实施例提供一种图像处理方法、金融隐私数据的安全处理方法及装置,以克服现有技术在可信执行环境中进行人脸识别的传输数据量大的问题。
第一方面,本申请实施例提供一种图像处理方法,包括:
将当前获取的人脸图像分割为目标图像和其它图像,目标图像和其它图像均包括脸部的部分五官特征;所述部分五官特征包括五官特征中至少一个特征,所述目标图像中包括的部分五官特征和其它图像中包括的部分五官特征构成完整的五官特征,且所述目标图像中包括的部分五官特征和其它图像中包括的部分五官特征之间没有重复的特征;
根据所述目标图像中的五官特征,确定其它图像的五官特征对应的差异描述信息,所述差异描述信息用于表示相对于所述目标图像中的五官特征的差异;
将所述目标图像以及所述差异描述信息发送至服务器,以使所述服务器基于所述目标图像以及所述差异描述信息还原所述人脸图像,并对还原的人脸图像进行认证。
第二方面,本申请实施例提供一种图像处理方法,应用于服务器,包括:
获取终端设备发送的人脸图像对应的目标图像以及差异描述信息;其中,所述差异描述信息是由终端设备根据所述目标图像中的五官特征确定的,所述差异描述信息用于表示其它图像的五官特征相对于所述目标图像中的五官特征的差异;所述目标图像和所述其它图像是由终端设备将当前获取的人脸图像进行脸部分割得到的;
根据所述目标图像以及所述差异描述信息,还原所述人脸图像;
依据还原的人脸图像和预设图像模板,对还原的人脸图像进行认证。
在一种可能的设计中,所述差异描述信息中包括固定差异信息和时效性差异信息;所述根据所述目标图像以及所述差异描述信息,还原所述人脸图像,包括:
对固定差异信息和时效性差异信息进行标记,确定固定差异信息和时效性差异信息分别对应的还原人脸图像的权重;
根据所述目标图像、所述差异描述信息以及所述权重,通过存储的预设图像模板,还原所述人脸图像;
其中,所述方法还包括:
确定所述固定差异信息是否更新,若更新,则根据所述固定差异信息,更新预设图像模板。
第三方面,本申请实施例提供一种金融隐私数据的安全处理方法,包括:
响应于用户触发的隐私数据的查询请求,采集所述用户当前的人脸图像,并将所述当前的人脸图像分割为目标图像和其它图像,目标图像和其它图像均包括脸部的部分五官特征;所述部分五官特征包括五官特征中至少一个特征,所述目标图像中包括的部分五官特征和其它图像中包括的部分五官特征构成完整的五官特征,且所述目标图像中包括的部分五官特征和其它图像中包括的部分五官特征之间没有重复的特征;
根据所述目标图像中的五官特征,确定其它图像的五官特征对应的差异描述信息,所述差异描述信息用于表示相对于所述目标图像中的五官特征的差异;
将所述目标图像以及所述差异描述信息发送至服务器,以使所述服务器基于所述目标图像以及所述差异描述信息还原所述人脸图像;
若接收到服务器发送的认证成功的指示信息,则向所述用户提供所述用户的金融隐私数据。
第四方面,本申请实施例提供一种图像处理装置,应用于终端设备,包括:
图像分割模块,用于将当前获取的人脸图像分割为目标图像和其它图像,目标图像和其它图像均包括脸部的部分五官特征;所述部分五官特征包括五官特征中至少一个特征,所述目标图像中包括的部分五官特征和其它图像中包括的部分五官特征构成完整的五官特征,且所述目标图像中包括的部分五官特征和其它图像中包括的部分五官特征之间没有重复的特征;
差异分析模块,用于根据所述目标图像中的五官特征,确定其它图像的五官特征对应的差异描述信息,所述差异描述信息用于表示相对于所述目标图像中的五官特征的差异;
传输模块,用于将所述目标图像以及所述差异描述信息发送至服务器,以使所述服务器基于所述目标图像以及所述差异描述信息还原所述人脸图像,并对还原的人脸图像进行认证。
本实施例提供的图像处理方法、金融隐私数据的安全处理方法及装置,首先将当前获取的人脸图像分割为目标图像和其它图像,目标图像和其它图像均包括脸部的部分五官特征;然后根据所述目标图像中的五官特征,确定其它图像的五官特征对应的差异描述信息,所述差异描述信息用于表示相对于所述目标图像中的五官特征的差异;再将所述目标图像以及所述差异描述信息发送至服务器,以使所述服务器基于所述目标图像以及所述差异描述信息还原所述人脸图像,并对还原的人脸图像进行认证。通过人脸分割,提取部分五官特征,并分析得到剩余部分五官特征的差异,将部分五官特征以及剩余部分五官特征的差异发送给服务器,由服务器还原人脸图像并认证,区别于现有技术传输整张图像数据而导致传输的数据量大,该传输方式通过传输部分五官特征以及剩余部分五官特征的差异,降低了数据传输量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像处理方法的场景示意图;
图2为本申请实施例提供的金融隐私数据的安全处理方法的信令交互图;
图3为本申请实施例提供的图像处理方法的流程示意图;
图4为本申请另一实施例提供图像处理方法的场景示意图;
图5为本申请再一实施例提供的图像处理方法的流程示意图;
图6为本申请实施例提供的图像处理装置的结构示意图;
图7为本申请又一实施例提供的图像处理装置的结构示意图;
图8为本申请实施例提供的金融隐私数据的安全处理装置的结构示意图;
图9为本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例,例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前,常见的人脸识别,通常是上传整张人脸图像数据给服务端(比如服务器),传输数据量大。
因此,针对上述问题,本申请的技术构思是通过处理部分人脸部位,将部分人脸的信息传输至服务器,以使服务器只对部分五官进行识别还原人脸,大大的缩短了识别的时间,复杂度变低,同时以文本的形式辅助识别剩余部分五官,进而还原人脸图像,进而加快了比对的速度,提高了识别效率。解决了现有技术传输数据量大的问题。
在实际应用中,参见图1所示,图1为本申请实施例提供的图像处理方法的场景示意图。终端设备安装有采集装置,比如摄像头,该摄像头可以实时采集人脸图像,然后终端设备中的处理器可以对人脸图像进行脸部分割。以终端设备为手机为例,通过手机中的摄像头可以采集用户的人脸图像,并将人脸图像分割为均包含部分五官特征的目标图像和其它图像,这里的目标图像可以包括含有一条眉毛的图像(即一条眉毛图像)、含有一只眼睛的图像(即一只眼睛图像)、含有完整的鼻子的图像(即完整的鼻子图像)、含有半个嘴唇的图像(即半个嘴唇图像)、含有一只耳朵的图像(即一只耳朵图像)。
终端设备将一条眉毛图像、一只眼睛图像、完整的鼻子图像、半个嘴唇图像以及一只耳朵图像中各自包含的五官特征与分割后剩下的五官特征(即其它图像的五官特征)进行差异分析,得到其它图像的五官特征相对于目标图像中的五官特征的差异,并将该差异以及目标图像,结合脸部描述信息(比如脸型)发送至服务器,服务器根据接收的内容,通过预先训练的人脸还原模型,还原出包含完整五官特征的人脸图像,并基于存储的预设数量的预设图像模板对该还原的人脸图像进行匹配,如果匹配成功,再对该人脸图像对应的用户进行活体识别,如果识别为活体,则说明人脸认证成功,并向终端设备发送认证成功的指示信息,指示终端设备向用户开放授权的权限。这里的开放授权的权限,比如开放门禁权限,允许用户进;或者,获取用户的隐私数据的权限,向用户提供自身的隐私数据(比如在支付平台、社保平台等进行查询的隐私数据,比如交易数据、账单信息、公积金等)。
本申请可以应用于金融、医疗等领域,用户可以查询自身的隐私数据,为了保证隐私数据的安全查询,可以通过人脸认证的方式,给用户授予查询的权限,用以提供隐私数据。其中,用户的人脸图像经过用户授权可以存储在服务器中,当用户有登录平台或查询需求时,可以通过实时采集的人脸图像与服务器存储的预设图像模板进行匹配,如果匹配成功,则对该用户进行活体识别,确定为活体后,则认为人脸认证成功。
需要说明的是,下述人脸图像的采集、历史人脸图像的获取等隐私数据均是由用户授权的,合规的,下述不再赘述。
以下本申请实施例提供了一种金融隐私数据的安全处理方法,可以通过以下步骤实现:
步骤a1、响应于用户触发的隐私数据的查询请求,采集所述用户当前的人脸图像,并将所述当前的人脸图像分割为目标图像和其它图像,目标图像和其它图像均包括脸部的部分五官特征;所述部分五官特征包括五官特征中至少一个特征,所述目标图像中包括的部分五官特征和其它图像中包括的部分五官特征构成完整的五官特征,且所述目标图像中包括的部分五官特征和其它图像中包括的部分五官特征之间没有重复的特征;
步骤a2、根据所述目标图像中的五官特征,确定其它图像的五官特征对应的差异描述信息,所述差异描述信息用于表示相对于所述目标图像中的五官特征的差异;
步骤a3、将所述目标图像以及所述差异描述信息发送至服务器,以使所述服务器基于所述目标图像以及所述差异描述信息还原所述人脸图像;
步骤a4、若接收到服务器发送的认证成功的指示信息,则向所述用户提供所述用户的金融隐私数据。
具体地,结合图2所示,图2为本申请实施例提供的金融隐私数据的安全处理方法的信令交互图。终端设备根据用户触发的隐私数据的查询请求,采集用户当前的人脸图像,并对当前的人脸图像进行分割以及差异描述,得到分割后的目标图像以及其它图像的五官特征对应的差异描述信息;终端设备将目标图像以及差异描述信息发送至服务器,服务器基于目标图像以及所述差异描述信息还原人脸图像,并根据还原的人脸图像进行人脸认证,如果还原的人脸图像匹配成功,则服务器向终端设备下发活体识别的指令,终端设备接收到活体识别的指令后,采集用户执行相应动作的多帧图像,并发送多帧图像给服务器,服务器进行活体识别,如果确认为活体,则说明人脸认证成功,并向终端设备发送认证成功的指示信息,终端设备接收到认证成功的指示信息后,向用户提供用户的隐私数据,这里的隐私数据可以指金融隐私数据,或者医疗隐私数据。
示例性的,以金融领域为例,用户可以在支付平台、社保平台等查询用户自身的隐私数据。比如,场景1、支付平台的查询场景:
用户可以在支付平台上查询历史账单等交易数据,在进入支付平台查询时,为了保护隐私数据,同时减少用户的等待时长,对用户进行人脸认证的过程可以为:用户通过与终端设备(比如,手机或平台等智能终端产品)交互,触发查询交易数据等隐私数据的查询请求,终端设备响应于用户触发的隐私数据的查询请求,实时采集该用户当前的人脸图像,为了减少用户等待的识别时间,可以通过降低服务器的识别维度以及处理数据量,因此,可以将终端设备传输给服务器做认证提供的数据量减少,可以采用人脸分割的方式,将当前的人脸图像分割为目标图像和其它图像,目标图像和其它图像均包括脸部的部分五官特征,这里的目标图像可以包括一条眉毛图像、一只眼睛图像、完整的鼻子图像、半个嘴唇图像以及一只耳朵图像。
然后根据目标图像中的五官特征,分析其它图像的五官特征相对于目标图像中的五官特征的差异,以文字形式描述其对应的差异描述信息,比如,其它图像的五官特征中的眼睛上相对于目标图像中的五官特征的眼睛存在一个痦子、其它图像的五官特征中的半个嘴巴相对于目标图像中的五官特征的半个嘴巴存在创口等。为了降低传输数据的数据量,终端设备可以将目标图像、差异描述信息结合脸部描述信息(比如,脸型是瓜子脸、圆脸等)发送至服务器,服务器将接收到的目标图像、差异描述信息以及脸部描述信息输入到预先训练的人脸还原模型中,还原出人脸图像,通过还原的人脸图像可以保证识别的准确率。其中,人脸认证包括人脸图像匹配以及活体识别:服务器基于存储的预设数量的预设图像模板与该还原的人脸图像进行匹配,如果匹配成功,则对该用户进行活体识别,如果确认为活体,则说明是用户本人进行的操作,并向终端设备发送认证成功的指示信息,终端设备接收到服务器发送的认证成功的指示信息时,授予用户登录或查询的权限,向该用户提供自身的交易数据等金融隐私数据。
场景2、社保平台的查询场景:
用户可以在社保平台上查询社保缴费信息、公积金余额等隐私数据,在进入社保平台查询时,为了保护金融隐私数据,同时减少用户的等待时长,对用户进行人脸认证的过程可以为:用户通过与终端设备(比如,手机或平台等智能终端产品)交互,触发查询社保缴费信息、公积金余额等隐私数据的查询请求,终端设备响应于用户触发的隐私数据的查询请求,实时采集该用户当前的人脸图像,为了减少用户等待的识别时间,可以通过降低服务器的识别维度以及处理数据量,因此,可以将终端设备传输给服务器做认证提供的数据量减少,可以采用人脸分割的方式,将当前的人脸图像分割为目标图像和其它图像,目标图像和其它图像均包括脸部的部分五官特征,这里的目标图像可以包括一条眉毛图像、一只眼睛图像、完整的鼻子图像、半个嘴唇图像以及一只耳朵图像。
然后根据目标图像中的五官特征,分析其它图像的五官特征相对于目标图像中的五官特征的差异,以文字形式描述其对应的差异描述信息,比如,其它图像的五官特征中的眼睛上相对于目标图像中的五官特征的眼睛存在一个痦子、其它图像的五官特征中的半个嘴巴相对于目标图像中的五官特征的半个嘴巴存在创口等。为了降低传输数据的数据量,终端设备可以将目标图像、差异描述信息结合脸部描述信息(比如,脸型是瓜子脸、圆脸等)发送至服务器,服务器将接收到的目标图像、差异描述信息以及脸部描述信息输入到预先训练的人脸还原模型中,还原出人脸图像,通过还原的人脸图像可以保证识别的准确率。其中,人脸认证包括人脸图像匹配以及活体识别:服务器基于存储的预设数量的预设图像模板与该还原的人脸图像进行匹配,如果匹配成功,则对该用户进行活体识别,如果确认为活体,则说明是用户本人进行的操作,并向终端设备发送认证成功的指示信息,终端设备接收到服务器发送的认证成功的指示信息时,授予用户登录或查询的权限,向该用户提供自身的社保缴费信息、公积金余额等金融隐私数据。
示例性的,以医疗领域为例,用户可以在就医平台、体检平台等查询用户自身的身体状态等隐私数据。比如,体检平台的查询体检报告场景:
用户可以在体检平台上查询自身的体检报告等隐私数据,在进入体检平台查询时,为了保护隐私数据,同时减少用户的等待时长,对用户进行人脸认证的过程可以为:用户通过与终端设备(比如,手机或平台等智能终端产品)交互,触发查询交易数据等隐私数据的查询请求,终端设备响应于用户触发的隐私数据的查询请求,实时采集该用户当前的人脸图像,为了减少用户等待的识别时间,可以通过降低服务器的识别维度以及处理数据量,因此,可以将终端设备传输给服务器做认证提供的数据量减少,可以采用人脸分割的方式,将当前的人脸图像分割为目标图像和其它图像,目标图像和其它图像均包括脸部的部分五官特征,这里的目标图像可以包括一条眉毛图像、一只眼睛图像、完整的鼻子图像、半个嘴唇图像以及一只耳朵图像。
然后根据目标图像中的五官特征,分析其它图像的五官特征相对于目标图像中的五官特征的差异,以文字形式描述其对应的差异描述信息,比如,其它图像的五官特征中的眼睛上相对于目标图像中的五官特征的眼睛存在一个痦子、其它图像的五官特征中的半个嘴巴相对于目标图像中的五官特征的半个嘴巴存在创口等。为了降低传输数据的数据量,终端设备可以将目标图像、差异描述信息结合脸部描述信息(比如,脸型是瓜子脸、圆脸等)发送至服务器,服务器将接收到的目标图像、差异描述信息以及脸部描述信息输入到预先训练的人脸还原模型中,还原出人脸图像,通过还原的人脸图像可以保证识别的准确率。其中,人脸认证包括人脸图像匹配以及活体识别:服务器基于存储的预设数量的预设图像模板与该还原的人脸图像进行匹配,如果匹配成功,则对该用户进行活体识别,如果确认为活体,则说明是用户本人进行的操作,并向终端设备发送认证成功的指示信息,终端设备接收到服务器发送的认证成功的指示信息时,授予用户登录或查询的权限,向该用户提供自身的体检报告等隐私数据。
因此,通过人脸分割,提取部分五官特征,并分析得到剩余部分五官特征的差异,将部分五官特征以及剩余部分五官特征的差异发送给服务器,由服务器还原人脸图像并认证,区别于现有技术传输整张图像数据而导致传输的数据量大,该传输方式通过传输部分五官特征以及剩余部分五官特征的差异,使得在可信执行环境中降低数据传输量,同时降低了服务器识别图像的维度,进而提高人脸识别效率,避免了由于识别时间长,用户等待过久,导致用户体验差的问题出现。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图3为本申请实施例提供的图像处理方法的流程示意图,该方法可以包括:
S301、将当前获取的人脸图像分割为目标图像和其它图像,目标图像和其它图像均包括脸部的部分五官特征。
其中,所述部分五官特征包括五官特征中至少一个特征,所述目标图像中包括的部分五官特征和其它图像中包括的部分五官特征构成完整的五官特征,且所述目标图像中包括的部分五官特征和其它图像中包括的部分五官特征之间没有重复的特征。
本实施例中,执行主体可以是图像处理装置,该图像处理装置可以配置在终端设备中,该终端设备可以安装有采集装置,比如摄像头。下述以终端设备为例,对图像处理方法进行详细说明。
其中,所述部分五官特征包括五官特征中至少一个特征,所述目标图像中包括的部分五官特征和其它图像中包括的部分五官特征构成完整的五官特征,且所述目标图像中包括的部分五官特征和其它图像中包括的部分五官特征之间没有重复的特征,在此对目标图像和其他图像具体包括的具体哪些五官特征不做具体限定。
具体地,为了减少用户等待的识别时间,可以通过降低服务器的识别维度以及处理数据量,因此,可以通过降低终端设备传输给服务器做认证提供的数据量,可以采用人脸分割的方式,将当前获取的人脸图像分割为目标图像和其它图像。其中,目标图像和其它图像均包括脸部的部分五官特征,保留五官特征可以有效地保证人脸认证的准确率,同时,达到了降低终端设备向服务器传输数据量的目的。
S302、根据所述目标图像中的五官特征,确定其它图像的五官特征对应的差异描述信息,所述差异描述信息用于表示相对于所述目标图像中的五官特征的差异。
本实施例中,为了提高人脸认证的准确率,可以分析其它图像的五官特征相比目标图像中的五官特征的差异,得到其它图像的五官特征对应的差异描述信息,并将差异描述信息结合目标图像中的五官特征上传给服务器,在降低传输数据量的同时,保证人脸认证的准确率。
S303、将所述目标图像以及所述差异描述信息发送至服务器,以使所述服务器基于所述目标图像以及所述差异描述信息还原所述人脸图像,并对还原的人脸图像进行认证。
其中,这里的还原的人脸图像用于支持终端设备确定是否向人脸图像对应的用户提供该用户的隐私数据或是否允许用户通过门禁等。
本实施例中,终端设备将含有部分五官特征的目标图像以及剩下部分五官特征的差异描述信息上传至服务器,让服务器基于目标图像以及差异描述信息来还原人脸图像,无需多维度识别人脸特征,进而降低识别时间,减少用户等待时间,使得用户体验较好。
本实施例提供的图像处理方法,首先将当前获取的人脸图像分割为目标图像和其它图像,目标图像和其它图像均包括脸部的部分五官特征;然后根据所述目标图像中的五官特征,确定其它图像的五官特征对应的差异描述信息,所述差异描述信息用于表示相对于所述目标图像中的五官特征的差异;再将所述目标图像以及所述差异描述信息发送至服务器,以使所述服务器基于所述目标图像以及所述差异描述信息还原所述人脸图像,并对还原的人脸图像进行认证。通过人脸分割,提取部分五官特征,并分析得到剩余部分五官特征的差异,将部分五官特征以及剩余部分五官特征的差异发送给服务器,由服务器还原人脸图像并认证,区别于现有技术传输整张图像数据而导致传输的数据量大,该传输方式通过传输部分五官特征以及剩余部分五官特征的差异,使得在可信执行环境中降低数据传输量,同时降低了服务器识别图像的维度,进而提高人脸识别效率,避免了由于识别时间长,用户等待过久,导致用户体验差的问题出现。
在一种可能的设计中,将当前获取的人脸图像分割为目标图像和其它图像,可以通过以下至少两种方式实现:
方式1:先分割再提取特征,分割方式为将脸部分为两半,一半人脸用来提取部分五官特征;另一半人脸用来提供差异描述信息:
步骤b1、从所述人脸图像中分别确定鼻翼分割点、第一中轴点以及第二中轴点,并将所述鼻翼分割点、第一中轴点以及第二中轴点进行连接,得到第一半张人脸的五官特征图像和第二半张人脸的五官特征图像;其中,所述鼻翼分割点用于表示脸部一侧的鼻翼点,所述第一中轴点用于表示人脸中额头部位的中轴点,所述第二中轴点用于表示人脸中下巴部位的中轴点;
步骤b2、从所述第一半张人脸的五官特征图像中分别提取包含眉毛、眼睛、鼻子、嘴唇、耳朵的特征,得到目标图像;其中,所述目标图像包括一条眉毛图像、一只眼睛图像、完整的鼻子图像、半个嘴唇图像以及一只耳朵图像;所述第二半张人脸的五官特征图像为所述其它图像。
示例性的,该方式1中,目标图像中包括的部分五官特征为从该第一半张人脸的五官特征图像中分别提取的包含眉毛、眼睛、鼻子、嘴唇、耳朵的特征,即一条眉毛、一只眼睛、完整的鼻子、半个嘴唇以及一只耳朵等特征;其它图像中包括的部分五官特征为第二半张人脸的五官特征图像中的眉毛、眼睛、嘴唇、耳朵的特征,即另一条眉毛、另一只眼睛、另外半个嘴唇以及另一只耳朵等特征。
本实施例中,完整的鼻子可以确定人脸倾斜情况,该第一半张人脸的五官特征图像中可以包含完整的鼻子,能够提高还原人脸图像的准确度。通过三个分割点提取包含完整鼻子的半张人脸图像,然后对半张人脸图像提取五官特征,得到一条眉毛图像、一只眼睛图像、完整的鼻子图像、半个嘴唇图像、一只耳朵图像。其中,一条眉毛图像、一只眼睛图像、半个嘴唇图像、一只耳朵图像属于脸部的同一侧。
具体地,结合图4所示,图4为本申请另一实施例提供图像处理方法的场景示意图。终端设备采集人脸图像时,首先判断人脸否充满了定位框,判断人脸轮廓与定位框边缘是否重合,重合时,获取人脸图像,并以定位框的中轴线为人脸的中轴线。拿到人脸图像后,首先找到一侧的鼻翼(或鼻翼点作为鼻翼分割点),然后拿到额头部位的中轴点 (即上中轴点,作为第一中轴点),下巴部位的中轴点 (即下中轴点,作为第二中轴点),连接三个分割点,拿到一部分脸部图像,这里指第一半张人脸的五官特征图像(参见图4中所示的右半边脸部101)。其中,剩下的部分脸部图像(即其它图像)指第二半张人脸的五官特征图像(参见图4中所示的左半边脸部102)。
然后对拿到的第一半张人脸的五官特征图像进行分割,获取一侧眉毛、一侧眼睛、完整的鼻子、半个嘴唇、一侧耳朵分别对应的子图像,即一条眉毛图像、一只眼睛图像、完整的鼻子图像、半个嘴唇图像以及一只耳朵图像。
方式2、先提取五官特征图像再分割,分割方式为将五官特征进行分割,一半人脸用来提取部分五官特征;另一半人脸用来提供差异描述信息:
步骤c1、识别所述人脸图像的五官特征,得到包含五官特征的图像;
步骤c2、从所述包含五官特征的图像中提取完整的鼻子的特征,得到含有完整鼻子的图像;
步骤c3、将包含五官特征的图像中的眉毛、眼睛、嘴巴、耳朵,分别按照对称关系进行分割,得到一条眉毛图像、一只眼睛图像、半个嘴唇图像以及一只耳朵图像;
步骤c4、将含有完整鼻子的图像、一条眉毛图像、一只眼睛图像、半个嘴唇图像以及一只耳朵图像构成所述目标图像,以及将包含五官特征的图像中除了所述目标图像以外的图像作为所述其它图像。
本实施例中,先提取五官特征,得到新的图像(这里指包含五官特征的图像),再对新的图像先提取完整的鼻子图像,同时,按照五官对称的关系进行分割,得到一条眉毛图像、一只眼睛图像、半个嘴唇图像、一只耳朵图像。
示例性的,该方式2中,目标图像中包括的部分五官特征为从该整张人脸的五官特征图像中分别提取的包含眉毛、眼睛、鼻子、嘴唇、耳朵的特征,即一条眉毛、一只眼睛、完整的鼻子、半个嘴唇以及一只耳朵等特征;其它图像中包括的部分五官特征为整张人脸的五官特征图像中剩下的眉毛、眼睛、嘴唇、耳朵的特征,即另一条眉毛、另一只眼睛、另外半个嘴唇以及另一只耳朵等特征。其中,一条眉毛图像、一只眼睛图像、半个嘴唇图像、一只耳朵图像为包含五官特征的图像中的同一侧五官特征的图像或不同侧五官特征的图像。在此对提取的五官是否属于脸部同一侧不做具体限定。
因此,基于方式1或方式2,通过处理半个脸部部位,而且只对五官进行识别,大大的缩短了识别的时间,复杂度变低。
在一种可能的设计中,所述根据所述目标图像中的五官特征,确定其它图像的五官特征对应的差异描述信息,可以通过以下步骤实现:
步骤d1、根据所述目标图像中的五官特征,分析其它图像中的五官特征与所述目标图像中的五官特征的差异,得到固定差异信息和时效性差异信息;其中,所述固定差异信息用于表示随着时间迁移区别于所述目标图像中的五官特征的持久性区别特征,所述时效性差异信息用于表示随着时间迁移区别于所述目标图像中的五官特征的暂时性区别特征;
步骤d2、根据固定差异信息和时效性差异信息,以文字的形式进行描述,生成差异描述信息;
步骤d3、将所述固定差异信息和时效性差异信息发送至服务器,以使所述服务器根据目标人脸图像、固定差异信息和时效性差异信息以及分别对应的权重,还原人脸图像;
其中,所述固定差异信息还用于支持服务器更新预设图像模板;所述预设图像模板用于支持与还原的人脸图像进行匹配操作。
本实施例中,持久性区别特征,比如痦子、斑迹等特征,不易随着时间愈合或消失等;暂时性区别特征,比如 青春痘、烫伤、创伤等,易随着时间愈合或消失等。其中,持久性区别特征和暂时性区别特征的特性,持久性区别特征可以作为固定差异,定期更新,更新频率较慢;暂时性区别特征可以作为时效性差异,每次进行人脸认证时进行更新,更新频率较快。
因此,结合暂时性区别特征以及持久性区别特征,生成差异描述信息,基于一部分五官特征以及另一部分五官特征对应的差异描述信息进行数据传输,降低了传输数据量,然后基于一部分五官特征以及另一部分五官特征对应的差异描述信息进行人脸认证,降低识别维度的同时,能够提高还原人脸的准确率,进而提高人脸认证效率。
此外,将所述固定差异信息和时效性差异信息发送至服务器,服务器可以依据差异还原出整张人脸,并对固定差异和时效差异进行标记。比如,时效性差异还可以依据时效性差异的大小确定,大的差异可以作为固定差异;固定差异和时效差异,具有相应的权重(比如,固定差异权重高于时效差异),可以根据标记确定权重,提升识别准确性。还可以根据后台人工调整,改变权重,在此不做具体限定。
其中,服务器还可以判断固定差异是否更新,若更新,则更新图像模板。比如,时效性差异可以不更新,因为权重低。在此不对时效性差异是否更新进行限定,可以依据具体场景灵活配置。
在一种可能的设计中,所述方法还可以通过以下步骤实现:
将所述固定差异信息和/或时效性差异信息发送至服务器,使得服务器认证成功后,根据存储的预设数量的预设图像模板,确定所述固定差异信息和/或时效性差异信息是否存在更新,若存在更新,则更新存储的预设数量的预设图像模板;
其中,所述预设图像模板用于支持与还原的人脸图像进行匹配操作,所述预设数量的预设图像模板包括原预设图像模板和非原预设图像模板,所述非原预设图像模板用于表示区别于原预设图像模板且通过人脸匹配成功的面部图像构成的模板。
本实施例中,将固定差异信息和/或时效性差异信息发送给服务器,由服务器来判断存储的模板是否更新,不断地更新模板,来提高人脸认证的准确性。
具体地,服务器可以根据在固定差异更新时,且还原的人脸图像与存储的预设图像模板匹配成功(说明该人脸图像是该用户本人的人脸,为了避免隐私数据的泄漏,防止某些软件或设备盗用用户的图像进行隐私数据的获取),更新服务器中存储的预设图像模板。其中,服务器可以保存预设数量的预设图像模板,预设数量中有至少一个基础模板(这里指原预设图像模板,比如一个设备录入用户人脸信息时,初次录入并存储的面部图像)。
在模板总数超过预设数量时,删除匹配成功率最低的非基础模板,这里的非基础模板可以指非原预设图像模板。比如,以用户开门禁锁为例,用户在通过人脸识别开启门禁锁的过程中,每次开启需要实时采集用户当前的人脸图像,如果人脸图像认证成功,可以将其存储在服务器中,更新服务器中存储的预设图像模板;下次比对时,由于模板是逐一比对,因此,为了节约比对时间,可以从最近一次存储的模板中比对,但是,由于每次采集用户的人脸图像的角度可能不同,所以采集到并存储的人脸图像作为模板进行匹配时,可能存在匹配不成功的情况,导致匹配成功率较低,为了提高匹配成功率,需要不断地更新服务器存储的预设图像模板,比如删除匹配成功率最低的非基础模板;或者,当存储的预设图像模板的数量超过预设数量时,删除匹配成功率最低的非基础模板。
在一种可能的设计中,所述将所述目标图像以及所述差异描述信息发送至服务器,以使所述服务器基于所述目标图像以及所述差异描述信息还原所述人脸图像,并对还原的人脸图像进行认证,可以通过以下步骤实现:
将获取的人脸图像对应的脸部描述信息、所述目标图像以及所述差异描述信息发送至服务器,以使所述服务器基于预先训练的人脸还原模型还原所述人脸图像,并对还原的人脸图像进行认证;
其中,人脸还原模型是以获取的历史隐私数据中的历史人脸图像、历史人脸图像对应的历史目标图像、历史脸部描述信息以及历史差异描述信息作为训练样本,通过历史目标图像中完整的鼻子确定的人脸倾斜信息、历史脸部描述信息确定的人脸轮廓、历史目标图像中的五官特征以及历史差异描述信息,调整网络模型参数,训练得到的。
其中,通过图像增强处理,使得五官特征得到增强,能够增强识别效果,再对五官进行分割,使得上传给服务器的五官特征以及描述信息等进行认证的准确率较高。
本实施例中,终端设备将分割后的五官特征以及另外部分五官特征对应的差异化描述、脸型等文字,上传到服务器,服务器依据五官特征还原整张脸。服务器可以预先训练人脸还原模型,通过模型来还原;比如,可以通过整个鼻子确定人脸倾斜情况,通过轮廓和倾斜情况还原脸部,并通过半侧的特征还原另外半侧的特征,通过文字还原人脸差异。具体地,将所述脸部描述信息、所述目标图像以及所述差异描述信息输入到人脸还原模型中,输出整张人脸图像。
因此,为了提高还原人脸的准确度,进而提高认证的准确率,可以结合脸部描述信息,比如脸型,增加了人脸还原模型的输入特征,使得输出结果更加准确。
在一种可能的设计中,所述方法还可以通过以下步骤实现:
步骤e1、接收服务器发送的实时动作指令;
步骤e2、根据所述实时动作指令,获取使用所述终端设备的用户执行相应动作的多帧图像;
步骤e3、将所述多帧图像发送至所述服务器,以使所述服务器基于还原的人脸图像,对所述用户进行人脸认证。
其中,若接收到服务器发送的认证成功的指示信息,则向所述用户开放授权的权限。
本实施例中,终端设备将所述目标图像以及所述差异描述信息发送至服务器后,由服务器基于还原的人脸进行人脸认证。以通过活体识别对整张脸做认证为例,首先服务器向终端设备下发实时动作指令,比如让用户进行摇头、眨眼、张嘴操作。
具体地,在进行眨眼操作时,终端设备利用人脸关键点预测器找到左眼右眼相应的点,然后截取到多帧(如10帧)眼部部分的图片(非整张人脸)给服务器,通过眼睛大小的变化,来识别活体。
在进行摇头操作时利用人脸关键点预测器找到鼻子所在的位置,截取到多帧鼻子的位置信息和脸部轮廓变化信息 (文字)给服务器,通过判断鼻子相对中轴线的偏移量来判断是否为活体。
在进行张嘴操作时利用人脸关键点预测器找到嘴唇的位置,然后截取到多帧嘴部的图片和脸部竖向轮廓变化(文字)给服务端,通过上下嘴唇的距离,来识别活体。
示例性的,以通过人脸识别开启门禁锁场景为例,为了减少用户等待时长,在人脸识别的过程,可以为服务器中存储的多个人脸图像(这里指预设图像模板)进行排序,以按顺序进行匹配。排序规则可以为时间信息(如刷脸进出小区或银行人员刷脸进出银行某个门,工作日进出时间是比较固定的,可以将固定进入某个门的人员对应的预设图像模板排列在整个模板的前面,用以实现快速匹配 )等,进而提高了识别效率,使得用户等待时间较短,提高了用户体验。
需要说明的是,终端设备也可以实现活体识别,其处理过程与上述服务器进行活体识别过程类似,在此不再赘述。
参见图5所示,图5为本申请再一实施例提供的图像处理方法的流程示意图。该图像处理方法应用于服务器,具体步骤为:
S501、获取终端设备发送的人脸图像对应的目标图像以及差异描述信息;其中,所述差异描述信息是由终端设备根据所述目标图像中的五官特征确定的,所述差异描述信息用于表示其它图像的五官特征相对于所述目标图像中的五官特征的差异;所述目标图像和所述其它图像是由终端设备将当前获取的人脸图像进行脸部分割得到的。
本实施例中,执行主体可以是图像处理装置,该图像处理装置可以部署在服务器中。下述以服务器为例,对图像处理方法进行详细说明。
具体地,为了减少用户等待的识别时间,可以通过降低服务器的识别维度以及处理数据量,因此,可以通过降低终端设备传输给服务器做认证提供的数据量,终端设备可以采用人脸分割的方式,将当前获取的人脸图像分割为目标图像和其它图像。其中,目标图像和其它图像均包括脸部的部分五官特征,保留五官特征可以有效地保证人脸认证的准确率,同时,达到了降低终端设备向服务器传输数据量的目的。
为了提高人脸认证的准确率,可以分析其它图像的五官特征相比目标图像中的五官特征的差异,得到其它图像的五官特征对应的差异描述信息,并将差异描述信息结合目标图像中的五官特征上传给服务器,服务器接收目标图像以及所述差异描述信息。在降低传输数据量的同时,保证人脸认证的准确率。
S502、根据所述目标图像以及所述差异描述信息,还原所述人脸图像。
本实施例中,终端设备将含有部分五官特征的目标图像以及剩下部分五官特征的差异描述信息上传至服务器后,服务器基于目标图像以及差异描述信息来还原人脸图像,无需多维度识别人脸特征,进而降低识别时间,减少用户等待时间,使得用户体验较好。
其中,终端设备分割人脸图像可以参照上述方式1和方式2,因此,目标图像中包括的部分五官特征为一条眉毛、一只眼睛、完整的鼻子、半个嘴唇以及一只耳朵等特征;其它图像中包括的部分五官特征为另一条眉毛、另一只眼睛、另外半个嘴唇以及另一只耳朵等特征。
需要说明的是,目标图像中包括的部分五官特征,比如一条眉毛图像、一只眼睛图像、半个嘴唇图像、一只耳朵图像属于脸部的同一侧或不同侧,在此不做具体限定,可以依据不同分割方式确定。
其中,分割的目标图像中包含完整的鼻子可以确定人脸倾斜情况,能够提高还原人脸图像的准确度。
S503、依据还原的人脸图像和预设图像模板,对还原的人脸图像进行认证。
本实施例中,服务器可以基于存储的预设图像模板对还原的人脸图像进行匹配,如果匹配成功,则进行活体识别,若确认为活体,则认证成功或完成认证。
本申请实施例提供的图像处理方法,首先获取终端设备发送的人脸图像对应的目标图像以及差异描述信息;其中,所述差异描述信息是由终端设备根据所述目标图像中的五官特征确定的,所述差异描述信息用于表示其它图像的五官特征相对于所述目标图像中的五官特征的差异;所述目标图像和所述其它图像是由终端设备将当前获取的人脸图像进行脸部分割得到的,然后根据所述目标图像以及所述差异描述信息,还原所述人脸图像,依据还原的人脸图像和预设图像模板,对还原的人脸图像进行认证。因此,通过接收终端设备上传的部分五官特征以及剩余部分五官特征的差异,来还原人脸图像并认证,区别于现有技术传输整张图像数据而导致传输的数据量大,该传输方式通过传输部分五官特征以及剩余部分五官特征的差异,使得在可信执行环境中降低数据传输量,同时降低了服务器识别图像的维度,进而提高人脸识别效率,避免了由于识别时间长,用户等待过久,导致用户体验差的问题出现。
在一种可能的设计中,所述差异描述信息中包括固定差异信息和时效性差异信息;所述根据所述目标图像以及所述差异描述信息,还原所述人脸图像,可以通过以下步骤实现:
步骤f1、对固定差异信息和时效性差异信息进行标记,确定固定差异信息和时效性差异信息分别对应的还原人脸图像的权重;
步骤f2、根据所述目标图像、所述差异描述信息以及所述权重,通过存储的预设图像模板,还原所述人脸图像;
其中,所述方法还包括:
确定所述固定差异信息是否更新,若更新,则根据所述固定差异信息,更新预设图像模板。
本实施例中,所述固定差异信息用于表示随着时间迁移区别于所述目标图像中的五官特征的持久性区别特征,所述时效性差异信息用于表示随着时间迁移区别于所述目标图像中的五官特征的暂时性区别特征;结合暂时性区别特征以及持久性区别特征,生成差异描述信息,基于一部分五官特征以及另一部分五官特征对应的差异描述信息进行数据传输,降低了传输数据量,然后基于一部分五官特征以及另一部分五官特征对应的差异描述信息进行人脸认证,降低识别维度的同时,能够提高还原人脸的准确率,进而提高人脸认证效率。
具体地,终端设备将所述固定差异信息和时效性差异信息发送至服务器,服务器可以依据差异还原出整张人脸,并对固定差异和时效差异进行标记。比如,时效性差异还可以依据时效性差异的大小确定,大的差异可以作为固定差异;固定差异和时效差异,具有相应的权重(比如,固定差异权重高于时效差异),可以根据标记确定权重,提升识别准确性。还可以根据后台人工调整,改变权重,在此不做具体限定。
此外,服务器还可以判断固定差异是否更新,若更新,则更新图像模板。比如,时效性差异可以不更新,因为权重低。在此不对时效性差异是否更新进行限定,可以依据具体场景灵活配置。在一种可能的设计中,人脸还原模型的训练过程可以为:
步骤g1、以获取的历史隐私数据中的历史人脸图像、历史人脸图像对应的历史目标图像、历史脸部描述信息以及历史差异描述信息作为训练样本,通过历史目标图像中完整的鼻子确定人脸倾斜信息,以及通过历史脸部描述信息确定人脸轮廓;
步骤g2、通过人脸倾斜信息、人脸轮廓、历史目标图像中的五官特征以及历史差异描述信息,调整网络模型参数,训练得到人脸还原模型。
本实施例中,首先,确定训练样本,以及对训练样本进一步处理,然后结合进一步处理的数据调整网络模型参数,直至训练结束。由于结合了五官特征以及差异性描述,区别于对整张人脸进行特征提取带来的处理数据量大且等待时间长看,因此,使用一半的五官特征结合差异性描述,使得模型还原人脸更为精准以及整体的处理数据量减少。
相应的,所述根据所述目标图像以及所述差异描述信息,还原所述人脸图像,还可以通过以下步骤实现:
步骤k1、获取终端设备发送的人脸图像对应的脸部描述信息;
步骤k2、根据所述脸部描述信息、所述目标图像以及所述差异描述信息,通过预先训练的人脸还原模型还原所述人脸图像。
本实施例中,将一半五官特征以及另一半五官特征对应的差异结合人脸描述信息,输入到人脸还原模型中,输出还原的人脸图像。
具体地,服务器可以预先训练人脸还原模型,通过模型来还原;比如,可以通过整个鼻子确定人脸倾斜情况,通过轮廓和倾斜情况还原脸部,并通过半侧的特征还原另外半侧的特征,通过文字还原人脸差异。具体地,将所述脸部描述信息、所述目标图像以及所述差异描述信息输入到人脸还原模型中,输出整张人脸图像。通过处理半个部位,并且只对五官进行识别大大的缩短了识别的时间,复杂度变低,同时以文本的形式辅助识别,进一步加快了比对的速度。
因此,为了提高还原人脸的准确度,进而提高认证的准确率,可以结合脸部描述信息,比如脸型,增加了人脸还原模型的输入特征,使得输出结果更加准确。
在一种可能的设计中,所述差异描述信息是由终端设备根据固定差异信息和时效性差异信息,以文字的形式进行描述生成的;其中,所述方法还可以通过以下步骤实现:
步骤m1、根据存储的预设数量的预设图像模板,确定所述固定差异信息和/或时效性差异信息是否存在更新;其中,所述预设数量的预设图像模板包括原预设图像模板和非原预设图像模板,所述非原预设图像模板用于表示区别于原预设图像模板且通过人脸匹配成功的面部图像构成的模板;
步骤m2、若确定所述固定差异信息和/或时效性差异信息存在更新且由服务器认证成功,则根据更新后的固定差异信息和/或时效性差异信息更新存储的预设数量的预设图像模板;
步骤m3、若存储后模板总数超过所述预设数量,则删除匹配成功率最低的非原预设图像模板。
本实施例中,服务器接收终端设备发送的固定差异信息和/或时效性差异信息,进而判断存储的模板是否更新,不断地更新模板,来提高人脸认证的准确性。
具体地,服务器可以根据在固定差异更新时,且还原的人脸图像与存储的预设图像模板匹配成功(说明该人脸图像是该用户本人的人脸,为了避免隐私数据的泄漏,防止某些软件或设备盗用用户的图像进行隐私数据的获取),更新服务器中存储的预设图像模板。其中,服务器可以保存预设数量的预设图像模板,预设数量中有至少一个基础模板(这里指原预设图像模板,比如一个设备录入用户人脸信息时,初次录入并存储的面部图像)。
在模板总数超过预设数量时,删除匹配成功率最低的非基础模板,这里的非基础模板可以指非原预设图像模板。比如,以用户开门禁锁为例,用户在通过人脸识别开启门禁锁的过程中,每次开启需要实时采集用户当前的人脸图像,如果人脸图像认证成功,可以将其存储在服务器中,更新服务器中存储的预设图像模板;下次比对时,由于模板是逐一比对,因此,为了节约比对时间,可以从最近一次存储的模板中比对,但是,由于每次采集用户的人脸图像的角度可能不同,所以采集到并存储的人脸图像作为模板进行匹配时,可能存在匹配不成功的情况,导致匹配成功率较低,为了提高匹配成功率,需要不断地更新服务器存储的预设图像模板,比如删除匹配成功率最低的非基础模板;或者,当存储的预设图像模板的数量超过预设数量时,删除匹配成功率最低的非基础模板。
在一种可能的设计中,所述依据还原的人脸图像和预设图像模板,对还原的人脸图像进行认证,可以通过以下步骤实现:
步骤n1、根据预设数量的预设图像模板,对还原的人脸图像进行匹配;
步骤n2、若匹配成功,向终端设备发送实时动作指令,所述实时动作指令用于指示使用所述终端设备的用户执行相应动作;
步骤n3、获取所述用户执行相应动作的多帧图像,基于还原的人脸图像,对所述用户进行人脸认证;
步骤n4、向终端设备发送是否认证成功的指示信息;其中,认证成功的指示信息用于指示终端设备向所述用户开放授权的权限。
本实施例中,服务器基于还原的人脸进行人脸认证。首先,服务器基于存储的预设图像模板,对还原的人脸进行匹配,如果匹配成功,说明该人脸图像是用户本人的,然后为了避免隐私数据的泄露风险,可以通过活体识别,确认当前操作的是活体,而不是照片等。活体识别的过程中,服务器可以向终端设备下发实时动作指令,比如让用户进行摇头、眨眼、张嘴操作。
具体地,在进行眨眼操作时,终端设备利用人脸关键点预测器找到左眼右眼相应的点,然后截取到多帧(如10帧)眼部部分的图片(非整张人脸)给服务器,通过眼睛大小的变化,来识别活体。
在进行摇头操作时利用人脸关键点预测器找到鼻子所在的位置,截取到多帧鼻子的位置信息和脸部轮廓变化信息 (文字)给服务器,通过判断鼻子相对中轴线的偏移量来判断是否为活体。
在进行张嘴操作时利用人脸关键点预测器找到嘴唇的位置,然后截取到多帧嘴部的图片和脸部竖向轮廓变化(文字)给服务端,通过上下嘴唇的距离,来识别活体。
示例性的,以通过人脸识别开启门禁锁场景为例,为了减少用户等待时长,在人脸识别的过程,可以为服务器中存储的多个人脸图像(这里指预设图像模板)进行排序,以按顺序进行匹配。排序规则可以为时间信息(如刷脸进出小区或银行人员刷脸进出银行某个门,工作日进出时间是比较固定的,可以将固定进入某个门的人员对应的预设图像模板排列在整个模板的前面,用以实现快速匹配 )等,进而提高了识别效率,使得用户等待时间较短,提高了用户体验。
为了实现所述图像处理方法,本实施例提供了一种图像处理装置,应用于终端设备。参见图6,图6为本申请实施例提供的图像处理装置的结构示意图;所述图像处理装置,包括:图像分割模块601、差异分析模块602以及传输模块603。
其中,图像分割模块601,用于将当前获取的人脸图像分割为目标图像和其它图像,目标图像和其它图像均包括脸部的部分五官特征;所述部分五官特征包括五官特征中至少一个特征,所述目标图像中包括的部分五官特征和其它图像中包括的部分五官特征构成完整的五官特征,且所述目标图像中包括的部分五官特征和其它图像中包括的部分五官特征之间没有重复的特征;
差异分析模块602,用于根据所述目标图像中的五官特征,确定其它图像的五官特征对应的差异描述信息,所述差异描述信息用于表示相对于所述目标图像中的五官特征的差异;
传输模块603,用于将所述目标图像以及所述差异描述信息发送至服务器,以使所述服务器基于所述目标图像以及所述差异描述信息还原所述人脸图像,并对还原的人脸图像进行认证。
本实施例中,通过图像分割模块601、差异分析模块602以及传输模块603,用于将当前获取的人脸图像分割为目标图像和其它图像,目标图像和其它图像均包括脸部的部分五官特征;然后根据所述目标图像中的五官特征,确定其它图像的五官特征对应的差异描述信息,所述差异描述信息用于表示相对于所述目标图像中的五官特征的差异;再将所述目标图像以及所述差异描述信息发送至服务器,以使所述服务器基于所述目标图像以及所述差异描述信息还原所述人脸图像,并对还原的人脸图像进行认证。通过人脸分割,提取部分五官特征,并分析得到剩余部分五官特征的差异,将部分五官特征以及剩余部分五官特征的差异发送给服务器,由服务器还原人脸图像并认证,区别于现有技术传输整张图像数据而导致传输的数据量大,该传输方式通过传输部分五官特征以及剩余部分五官特征的差异,使得在可信执行环境中降低数据传输量,同时降低了服务器识别图像的维度,进而提高人脸识别效率,避免了由于识别时间长,用户等待过久,导致用户体验差的问题出现。
本实施例提供的装置,可用于执行上述应用于终端设备的方法实施例的技术方案,其实现原理和技术效果类似,本实施例此处不再赘述。
在一种可能的设计中,所述图像分割模块,具体用于:
从所述人脸图像中分别确定鼻翼分割点、第一中轴点以及第二中轴点,并将所述鼻翼分割点、第一中轴点以及第二中轴点进行连接,得到第一半张人脸的五官特征图像和第二半张人脸的五官特征图像;其中,所述鼻翼分割点用于表示脸部一侧的鼻翼点,所述第一中轴点用于表示人脸中额头部位的中轴点,所述第二中轴点用于表示人脸中下巴部位的中轴点;
从所述第一半张人脸的五官特征图像中分别提取包含眉毛、眼睛、鼻子、嘴唇、耳朵的特征,得到目标图像;其中,所述目标图像包括一条眉毛图像、一只眼睛图像、完整的鼻子图像、半个嘴唇图像以及一只耳朵图像;所述第二半张人脸的五官特征图像为所述其它图像。
在一种可能的设计中,所述图像分割模块,具体用于:
识别所述人脸图像的五官特征,得到包含五官特征的图像;
从所述包含五官特征的图像中提取完整的鼻子的特征,得到含有完整鼻子的图像;
将包含五官特征的图像中的眉毛、眼睛、嘴巴、耳朵,分别按照对称关系进行分割,得到一条眉毛图像、一只眼睛图像、半个嘴唇图像以及一只耳朵图像;
将含有完整鼻子的图像、一条眉毛图像、一只眼睛图像、半个嘴唇图像以及一只耳朵图像构成所述目标图像,以及将包含五官特征的图像中除了所述目标图像以外的图像作为所述其它图像。
在一种可能的设计中,所述差异分析模块,具体用于:
根据所述目标图像中的五官特征,分析其它图像中的五官特征与所述目标图像中的五官特征的差异,得到固定差异信息和时效性差异信息;其中,所述固定差异信息用于表示随着时间迁移区别于所述目标图像中的五官特征的持久性区别特征,所述时效性差异信息用于表示随着时间迁移区别于所述目标图像中的五官特征的暂时性区别特征;
根据固定差异信息和时效性差异信息,以文字的形式进行描述,生成差异描述信息;
将所述固定差异信息和时效性差异信息发送至服务器,以使所述服务器根据目标人脸图像、固定差异信息和时效性差异信息以及分别对应的权重,还原人脸图像;
其中,所述固定差异信息还用于支持服务器更新预设图像模板;所述预设图像模板用于支持与还原的人脸图像进行匹配操作。
在一种可能的设计中,所述图像处理装置,还可以包括:处理模块;该处理模块,用于将所述固定差异信息和/或时效性差异信息发送至服务器,使得服务器认证成功后,根据存储的预设数量的预设图像模板,确定所述固定差异信息和/或时效性差异信息是否存在更新,若存在更新,则更新存储的预设数量的预设图像模板;
其中,所述预设图像模板用于支持与还原的人脸图像进行匹配操作,所述预设数量的预设图像模板包括原预设图像模板和非原预设图像模板,所述非原预设图像模板用于表示区别于原预设图像模板且通过人脸匹配成功的面部图像构成的模板。
在一种可能的设计中,所述传输模块,具体用于:
将获取的人脸图像对应的脸部描述信息、所述目标图像以及所述差异描述信息发送至服务器,以使所述服务器基于预先训练的人脸还原模型还原所述人脸图像,并对还原的人脸图像进行认证;
其中,人脸还原模型是以获取的历史隐私数据中的历史人脸图像、历史人脸图像对应的历史目标图像、历史脸部描述信息以及历史差异描述信息作为训练样本,通过历史目标图像中完整的鼻子确定的人脸倾斜信息、历史脸部描述信息确定的人脸轮廓、历史目标图像中的五官特征以及历史差异描述信息,调整网络模型参数,训练得到的。
在一种可能的设计中,所述图像处理装置,还可以包括认证模块;该认证模块,用于:
接收服务器发送的实时动作指令;
根据所述实时动作指令,获取使用所述终端设备的用户执行相应动作的多帧图像;
将所述多帧图像发送至所述服务器,以使所述服务器基于还原的人脸图像,对所述用户进行人脸认证。
为了实现所述图像处理方法,本实施例提供了一种图像处理装置,应用于服务器。参见图7,图7为本申请又一实施例提供的图像处理装置的结构示意图;所述图像处理装置,包括:传输模块701、图像还原模块702以及认证模块703。
传输模块701,用于获取终端设备发送的人脸图像对应的目标图像以及差异描述信息;其中,所述差异描述信息是由终端设备根据所述目标图像中的五官特征确定的,所述差异描述信息用于表示其它图像的五官特征相对于所述目标图像中的五官特征的差异;所述目标图像和所述其它图像是由终端设备将当前获取的人脸图像进行脸部分割得到的;
图像还原模块702,用于根据所述目标图像以及所述差异描述信息,还原所述人脸图像;
认证模块703,用于依据还原的人脸图像和预设图像模板,对还原的人脸图像进行认证。
本实施例中,通过传输模块701、图像还原模块702以及认证模块703,通过接收终端设备上传的部分五官特征以及剩余部分五官特征的差异,来还原人脸图像并认证,区别于现有技术传输整张图像数据而导致传输的数据量大,该传输方式通过传输部分五官特征以及剩余部分五官特征的差异,使得在可信执行环境中降低数据传输量,同时降低了服务器识别图像的维度,进而提高人脸识别效率,避免了由于识别时间长,用户等待过久,导致用户体验差的问题出现。
本实施例提供的装置,可用于执行上述应用于服务器的方法实施例的技术方案,其实现原理和技术效果类似,本实施例此处不再赘述。
在一种可能的设计中,所述差异描述信息中包括固定差异信息和时效性差异信息;图像还原模块,具体用于:
对固定差异信息和时效性差异信息进行标记,确定固定差异信息和时效性差异信息分别对应的还原人脸图像的权重;
根据所述目标图像、所述差异描述信息以及所述权重,通过存储的预设图像模板,还原所述人脸图像。
在一种可能的设计中,所述图像处理装置还包括:更新模块;更新模块,用于确定所述固定差异信息是否更新,若更新,则根据所述固定差异信息,更新预设图像模板。
在一种可能的设计中,所述图像处理装置还包括:模型训练模块;该模型训练模块,用于:
以获取的历史隐私数据中的历史人脸图像、历史人脸图像对应的历史目标图像、历史脸部描述信息以及历史差异描述信息作为训练样本,通过历史目标图像中完整的鼻子确定人脸倾斜信息,以及通过历史脸部描述信息确定人脸轮廓;
通过人脸倾斜信息、人脸轮廓、历史目标图像中的五官特征以及历史差异描述信息,调整网络模型参数,训练得到人脸还原模型。
在一种可能的设计中,所述图像还原模块,具体用于:
获取终端设备发送的人脸图像对应的脸部描述信息;
根据所述脸部描述信息、所述目标图像以及所述差异描述信息,通过预先训练的人脸还原模型还原所述人脸图像。
在一种可能的设计中,所述差异描述信息是由终端设备根据固定差异信息和时效性差异信息,以文字的形式进行描述生成的;所述图像处理装置还包括:处理模块;该处理模块,用于:
根据存储的预设数量的预设图像模板,确定所述固定差异信息和/或时效性差异信息是否存在更新;其中,所述预设数量的预设图像模板包括原预设图像模板和非原预设图像模板,所述非原预设图像模板用于表示区别于原预设图像模板且通过人脸匹配成功的面部图像构成的模板;
在确定所述固定差异信息和/或时效性差异信息存在更新且由服务器认证成功时,根据更新后的固定差异信息和/或时效性差异信息更新存储的预设数量的预设图像模板;
在存储后模板总数超过所述预设数量时,删除匹配成功率最低的非原预设图像模板。
在一种可能的设计中,所述认证模块,具体用于:
根据预设数量的预设图像模板,对还原的人脸图像进行匹配;
在匹配成功时,终端设备发送实时动作指令,所述实时动作指令用于指示使用所述终端设备的用户执行相应动作;
获取所述用户执行相应动作的多帧图像,基于还原的人脸图像,对所述用户进行人脸认证;
向终端设备发送是否认证成功的指示信息;其中,认证成功的指示信息用于指示终端设备向所述用户开放授权的权限。
为了实现所述金融隐私数据的安全处理方法,本实施例提供了一种金融隐私数据的安全处理装置。参见图8,图8为本申请实施例提供的金融隐私数据的安全处理装置的结构示意图;所述图像处理装置,包括:查询模块801、分析模块802、传输模块803以及安全处理模块804。
查询模块801,用于响应于用户触发的隐私数据的查询请求,采集所述用户当前的人脸图像,并将所述当前的人脸图像分割为目标图像和其它图像,目标图像和其它图像均包括脸部的部分五官特征;所述部分五官特征包括五官特征中至少一个特征,所述目标图像中包括的部分五官特征和其它图像中包括的部分五官特征构成完整的五官特征,且所述目标图像中包括的部分五官特征和其它图像中包括的部分五官特征之间没有重复的特征;
分析模块802,用于根据所述目标图像中的五官特征,确定其它图像的五官特征对应的差异描述信息,所述差异描述信息用于表示相对于所述目标图像中的五官特征的差异;
传输模块,用于将所述目标图像以及所述差异描述信息发送至服务器,以使所述服务器基于所述目标图像以及所述差异描述信息还原所述人脸图像;
安全处理模块803,用于在接收到服务器发送的认证成功的指示信息时,向所述用户提供所述用户的金融隐私数据。
本实施例提供的装置,可用于执行上述金融隐私数据的安全处理方法实施例的技术方案,其实现原理和技术效果类似,本实施例此处不再赘述。
本实施例提供的金融隐私数据的安全处理装置,通过人脸分割,提取部分五官特征,并分析得到剩余部分五官特征的差异,将部分五官特征以及剩余部分五官特征的差异发送给服务器,由服务器还原人脸图像并认证,区别于现有技术传输整张图像数据而导致传输的数据量大,该传输方式通过传输部分五官特征以及剩余部分五官特征的差异,使得在可信执行环境中降低数据传输量,同时降低了服务器识别图像的维度,进而提高人脸识别效率,避免了由于识别时间长,用户等待过久,导致用户体验差的问题出现。
为了实现上述实施例的方法,本实施例提供了一种电子设备。图9为本申请实施例提供的电子设备的结构示意图。如图9所示,本实施例的电子设备90包括:处理器901以及存储器902;其中,存储器902,用于存储计算机执行指令;处理器901,用于执行存储器存储的计算机执行指令,以实现上述实施例中所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当处理器执行计算机执行指令时,实现如上的方法。
本申请实施例还提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上的方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。另外,在本申请各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本申请各个实施例方法的部分步骤。应理解,上述处理器可以是中央处理单元(英文:CentralProcessing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:DigitalSignal Processor,简称:DSP)、专用集成电路(英文:Application Specific IntegratedCircuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器,还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。总线可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(PeripheralComponent,PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture,EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中的总线并不限定仅有一根总线或一种类型的总线。上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits,简称:ASIC)中。当然,处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (9)

1.一种图像处理方法,其特征在于,应用于终端设备,包括:
将当前获取的人脸图像分割为目标图像和其它图像,目标图像和其它图像均包括脸部的部分五官特征;所述部分五官特征包括五官特征中至少一个特征,所述目标图像中包括的部分五官特征和其它图像中包括的部分五官特征构成完整的五官特征,且所述目标图像中包括的部分五官特征和其它图像中包括的部分五官特征之间没有重复的特征;
根据所述目标图像中的五官特征,确定其它图像的五官特征对应的差异描述信息,所述差异描述信息用于表示相对于所述目标图像中的五官特征的差异;
将所述目标图像以及所述差异描述信息发送至服务器,以使所述服务器基于所述目标图像以及所述差异描述信息还原所述人脸图像,并对还原的人脸图像进行认证;
所述将所述目标图像以及所述差异描述信息发送至服务器,以使所述服务器基于所述目标图像以及所述差异描述信息还原所述人脸图像,并对还原的人脸图像进行认证,包括:
将获取的人脸图像对应的脸部描述信息、所述目标图像以及所述差异描述信息发送至服务器,以使所述服务器基于预先训练的人脸还原模型还原所述人脸图像,并对还原的人脸图像进行认证;
其中,人脸还原模型是以获取的历史隐私数据中的历史人脸图像、历史人脸图像对应的历史目标图像、历史脸部描述信息以及历史差异描述信息作为训练样本,通过历史目标图像中完整的鼻子确定的人脸倾斜信息、历史脸部描述信息确定的人脸轮廓、历史目标图像中的五官特征以及历史差异描述信息,调整网络模型参数,训练得到的。
2.根据权利要求1所述的方法,其特征在于,所述将当前获取的人脸图像分割为目标图像和其它图像,包括:
从所述人脸图像中分别确定鼻翼分割点、第一中轴点以及第二中轴点,并将所述鼻翼分割点、第一中轴点以及第二中轴点进行连接,得到第一半张人脸的五官特征图像和第二半张人脸的五官特征图像;其中,所述鼻翼分割点用于表示脸部一侧的鼻翼点,所述第一中轴点用于表示人脸中额头部位的中轴点,所述第二中轴点用于表示人脸中下巴部位的中轴点;
从所述第一半张人脸的五官特征图像中分别提取包含眉毛、眼睛、鼻子、嘴唇、耳朵的特征,得到目标图像;其中,所述目标图像包括一条眉毛图像、一只眼睛图像、完整的鼻子图像、半个嘴唇图像以及一只耳朵图像;所述第二半张人脸的五官特征图像为所述其它图像。
3.根据权利要求1所述的方法,其特征在于,所述将当前获取的人脸图像分割为目标图像和其它图像,包括:
识别所述人脸图像的五官特征,得到包含五官特征的图像;
从所述包含五官特征的图像中提取完整的鼻子的特征,得到含有完整鼻子的图像;
将包含五官特征的图像中的眉毛、眼睛、嘴巴、耳朵,分别按照对称关系进行分割,得到一条眉毛图像、一只眼睛图像、半个嘴唇图像以及一只耳朵图像;
将含有完整鼻子的图像、一条眉毛图像、一只眼睛图像、半个嘴唇图像以及一只耳朵图像构成所述目标图像,以及将包含五官特征的图像中除了所述目标图像以外的图像作为所述其它图像。
4.根据权利要求2或3所述的方法,其特征在于,所述根据所述目标图像中的五官特征,确定其它图像的五官特征对应的差异描述信息,包括:
根据所述目标图像中的五官特征,分析其它图像中的五官特征与所述目标图像中的五官特征的差异,得到固定差异信息和时效性差异信息;其中,所述固定差异信息用于表示随着时间迁移区别于所述目标图像中的五官特征的持久性区别特征,所述时效性差异信息用于表示随着时间迁移区别于所述目标图像中的五官特征的暂时性区别特征;
根据固定差异信息和时效性差异信息,以文字的形式进行描述,生成差异描述信息;
将所述固定差异信息和时效性差异信息发送至服务器,以使所述服务器根据目标人脸图像、固定差异信息和时效性差异信息以及分别对应的权重,还原人脸图像;
其中,所述固定差异信息还用于支持服务器更新预设图像模板;所述预设图像模板用于支持与还原的人脸图像进行匹配操作。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
接收服务器发送的实时动作指令;
根据所述实时动作指令,获取使用所述终端设备的用户执行相应动作的多帧图像;
将所述多帧图像发送至所述服务器,以使所述服务器基于还原的人脸图像,对所述用户进行人脸认证。
6.一种图像处理方法,其特征在于,应用于服务器,包括:
获取终端设备发送的人脸图像对应的目标图像以及差异描述信息;其中,所述差异描述信息是由终端设备根据所述目标图像中的五官特征确定的,所述差异描述信息用于表示其它图像的五官特征相对于所述目标图像中的五官特征的差异;所述目标图像和所述其它图像是由终端设备将当前获取的人脸图像进行脸部分割得到的;
根据所述目标图像以及所述差异描述信息,还原所述人脸图像;
依据还原的人脸图像和预设图像模板,对还原的人脸图像进行认证;
所述方法还包括:获取终端设备发送的人脸图像对应的脸部描述信息;
所述根据所述目标图像以及所述差异描述信息,还原所述人脸图像,包括:
根据所述脸部描述信息、所述目标图像以及所述差异描述信息,通过预先训练的人脸还原模型还原所述人脸图像,其中,人脸还原模型是以获取的历史隐私数据中的历史人脸图像、历史人脸图像对应的历史目标图像、历史脸部描述信息以及历史差异描述信息作为训练样本,通过历史目标图像中完整的鼻子确定的人脸倾斜信息、历史脸部描述信息确定的人脸轮廓、历史目标图像中的五官特征以及历史差异描述信息,调整网络模型参数,训练得到的。
7.根据权利要求6所述的方法,其特征在于,所述差异描述信息中包括固定差异信息和时效性差异信息;所述根据所述目标图像以及所述差异描述信息,还原所述人脸图像,包括:
对固定差异信息和时效性差异信息进行标记,确定固定差异信息和时效性差异信息分别对应的还原人脸图像的权重;
根据所述目标图像、所述差异描述信息以及所述权重,通过存储的预设图像模板,还原所述人脸图像;
其中,所述方法还包括:
确定所述固定差异信息是否更新,若更新,则根据所述固定差异信息,更新预设图像模板。
8.一种金融隐私数据的安全处理方法,其特征在于,包括:
响应于用户触发的隐私数据的查询请求,采集所述用户当前的人脸图像,并将所述当前的人脸图像分割为目标图像和其它图像,目标图像和其它图像均包括脸部的部分五官特征;所述部分五官特征包括五官特征中至少一个特征,所述目标图像中包括的部分五官特征和其它图像中包括的部分五官特征构成完整的五官特征,且所述目标图像中包括的部分五官特征和其它图像中包括的部分五官特征之间没有重复的特征;
根据所述目标图像中的五官特征,确定其它图像的五官特征对应的差异描述信息,所述差异描述信息用于表示相对于所述目标图像中的五官特征的差异;
将所述目标图像以及所述差异描述信息发送至服务器,以使所述服务器基于所述目标图像以及所述差异描述信息还原所述人脸图像;
若接收到服务器发送的认证成功的指示信息,则向所述用户提供所述用户的金融隐私数据;
所述将所述目标图像以及所述差异描述信息发送至服务器,以使所述服务器基于所述目标图像以及所述差异描述信息还原所述人脸图像,包括:
将获取的人脸图像对应的脸部描述信息、所述目标图像以及所述差异描述信息发送至服务器,以使所述服务器基于预先训练的人脸还原模型还原所述人脸图像;
其中,人脸还原模型是以获取的历史隐私数据中的历史人脸图像、历史人脸图像对应的历史目标图像、历史脸部描述信息以及历史差异描述信息作为训练样本,通过历史目标图像中完整的鼻子确定的人脸倾斜信息、历史脸部描述信息确定的人脸轮廓、历史目标图像中的五官特征以及历史差异描述信息,调整网络模型参数,训练得到的。
9.一种图像处理装置,其特征在于,应用于终端设备,包括:
图像分割模块,用于将当前获取的人脸图像分割为目标图像和其它图像,目标图像和其它图像均包括脸部的部分五官特征;所述部分五官特征包括五官特征中至少一个特征,所述目标图像中包括的部分五官特征和其它图像中包括的部分五官特征构成完整的五官特征,且所述目标图像中包括的部分五官特征和其它图像中包括的部分五官特征之间没有重复的特征;差异分析模块,用于根据所述目标图像中的五官特征,确定其它图像的五官特征对应的差异描述信息,所述差异描述信息用于表示相对于所述目标图像中的五官特征的差异;
传输模块,用于将所述目标图像以及所述差异描述信息发送至服务器,以使所述服务器基于所述目标图像以及所述差异描述信息还原所述人脸图像,并对还原的人脸图像进行认证;
所述传输模块,具体用于:
将获取的人脸图像对应的脸部描述信息、所述目标图像以及所述差异描述信息发送至服务器,以使所述服务器基于预先训练的人脸还原模型还原所述人脸图像,并对还原的人脸图像进行认证;
其中,人脸还原模型是以获取的历史隐私数据中的历史人脸图像、历史人脸图像对应的历史目标图像、历史脸部描述信息以及历史差异描述信息作为训练样本,通过历史目标图像中完整的鼻子确定的人脸倾斜信息、历史脸部描述信息确定的人脸轮廓、历史目标图像中的五官特征以及历史差异描述信息,调整网络模型参数,训练得到的。
CN202211306183.0A 2022-10-25 2022-10-25 图像处理方法、金融隐私数据的安全处理方法及装置 Active CN115376196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211306183.0A CN115376196B (zh) 2022-10-25 2022-10-25 图像处理方法、金融隐私数据的安全处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211306183.0A CN115376196B (zh) 2022-10-25 2022-10-25 图像处理方法、金融隐私数据的安全处理方法及装置

Publications (2)

Publication Number Publication Date
CN115376196A CN115376196A (zh) 2022-11-22
CN115376196B true CN115376196B (zh) 2023-01-31

Family

ID=84072925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211306183.0A Active CN115376196B (zh) 2022-10-25 2022-10-25 图像处理方法、金融隐私数据的安全处理方法及装置

Country Status (1)

Country Link
CN (1) CN115376196B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104904203A (zh) * 2013-09-30 2015-09-09 酷派软件技术(深圳)有限公司 图像编码、解码方法和***以及终端
CN111507138A (zh) * 2019-01-31 2020-08-07 北京奇虎科技有限公司 图像识别方法、装置、计算机设备及存储介质
CN112419170B (zh) * 2020-10-16 2023-09-22 上海哔哩哔哩科技有限公司 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN112884770B (zh) * 2021-04-28 2021-07-02 腾讯科技(深圳)有限公司 图像分割处理方法、装置及计算机设备

Also Published As

Publication number Publication date
CN115376196A (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
US10992666B2 (en) Identity verification method, terminal, and server
US9704051B2 (en) Method and system for verifying identities
US20190114467A1 (en) Human face authentication method and apparatus, and storage medium
KR101710478B1 (ko) 다중 생체 인증을 통한 모바일 전자 문서 시스템
EP3067829A1 (en) Person authentication method
US8340366B2 (en) Face recognition system
CN109697416A (zh) 一种视频数据处理方法和相关装置
CN107451453B (zh) 解锁控制方法及相关产品
CN105975837B (zh) 计算设备、生物特征识别方法和模板注册方法
CN110555926B (zh) 一种基于多证件识别的门禁方法及相应的装置
CN111753271A (zh) 基于ai识别的开户身份验证方法、装置、设备及介质
CN112364827A (zh) 人脸识别方法、装置、计算机设备和存储介质
EP3893192A1 (en) Information processing system, information processing device, information processing method, and program
CN111597910A (zh) 一种人脸识别方法、装置、终端设备及介质
US20160217565A1 (en) Health and Fitness Monitoring via Long-Term Temporal Analysis of Biometric Data
CN111178233A (zh) 基于活体认证的身份认证方法及装置
CN111738078A (zh) 一种人脸识别方法和装置
WO2024131291A1 (zh) 一种人脸活体检测方法、装置、设备及存储介质
CN115376196B (zh) 图像处理方法、金融隐私数据的安全处理方法及装置
US20120219192A1 (en) Method of controlling a session at a self-service terminal, and a self-service terminal
CN115588225A (zh) 基于智能摄像头识别用户的安全防护方法、装置及介质
KR101066097B1 (ko) 안경 착용자에 대한 오인식을 최소화한 얼굴 인식 장치 및 이를 이용한 안경 착용자에 대한 얼굴 오인식 최소화 방법
CN205377891U (zh) 一种身份认证装置及***
CN113705366A (zh) 人员管理***身份识别方法、装置及终端设备
CN114550253B (zh) 用于在排队的场景下对人脸图像进行预处理的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Room 19207, Floor 2, Building 8, No. 498, Guoshoujing Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai, March 2012

Patentee after: Shanghai Nowei Information Technology Co.,Ltd.

Address before: Room 19207, Floor 2, Building 8, No. 498, Guoshoujing Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai, March 2012

Patentee before: Shanghai Lianyi Biotechnology Co.,Ltd.