CN111523499B - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请实施例提供一种图像处理方法、装置、电子设备和计算机可读存储介质。上述方法包括：若第一处理单元接收到第二处理单元发送的图像采集指令，根据所述图像采集指令控制摄像头模组采集目标图像；对所述目标图像进行校正，得到校正后目标图像；将所述校正后目标图像发送给所述第二处理单元，所述校正后目标图像用于人脸检测和获取人脸的深度信息中至少一种。上述方法，提高了第二处理单元对图像的处理效率。

Description

图像处理方法、装置、电子设备和计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。

背景技术

随着智能电子设备和结构光技术的迅速发展，结构光技术在智能电子设备上的应用越来越普遍。电子设备可根据结构光获取的红外图像进行人脸识别、活体检测以及获取人脸的深度信息等，进而支持电子设备中人脸解锁、人脸支付、人脸3D美颜、根据人脸制作表情包等操作。

发明内容

本申请实施例提供一种图像处理方法、装置、电子设备和计算机可读存储介质，可以提高数据处理的效率。

一种图像处理方法，应用于电子设备，电子设备包括摄像头模组、第一处理单元和第二处理单元，第一处理单元连接在第二处理单元与摄像头模组之间；该方法包括：

所述第二处理单元发送的图像采集指令以控制摄像头模组采集目标图像；

第一处理单元对目标图像进行校正，得到校正后目标图像；

第一处理单元将校正后目标图像发送给第二处理单元，校正后目标图像用于指示第二处理单元对校正后目标图像进行人脸检测和/或获取人脸的深度信息，并将得到的结果通过安全通道或者普通通道发送至电子设备的应用程序。

一种图像处理装置，包括：

采集模块，用于所述第二处理单元发送的图像采集指令以控制摄像头模组采集目标图像；

校正模块，用于对目标图像进行校正，得到校正后目标图像；

发送模块，用于将校正后目标图像发送给第二处理单元，校正后目标图像用于指示第二处理单元对校正后目标图像进行人脸检测和/或获取人脸的深度信息，并将得到的结果通过安全通道或者普通通道发送至电子设备的应用程序。

一种电子设备，包括：存储器和处理器，处理器包括第一处理单元和第二处理单元，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像处理方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述图像处理方法的步骤。

本申请实施例中方法、装置、电子设备和计算机可读存储介质，通过在第二处理单元和摄像头模组之间连接第一处理单元，上述第一处理单元可对摄像头模组获取的图像进行校正，再将校正后图像发送给第二处理单元，提高了第二处理单元对图像的处理效率；且，第二处理单元对校正后图像进行人脸检测和/或获取人脸的深度信息后将得到的结果通过安全通道或者普通通道发送至电子设备的应用程序，提高了应用程序传输数据时的安全性或传输速度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用场景图；

图2为一个实施例中图像处理方法的流程图；

图3为另一个实施例中图像处理方法的流程图；

图4为另一个实施例中图像处理方法的流程图；

图5为另一个实施例中图像处理方法的流程图；

图6为一个实施例中实现图像处理方法的软件架构示意图；

图7为一个实施例中图像处理装置的结构框图；

图8为另一个实施例中图像处理装置的结构框图；

图9为另一个实施例中图像处理装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中图像处理方法的应用场景图。如图1所示，电子设备10可包括摄像头模组110、第二处理单元120，第一处理单元130。上述第二处理单元120可为CPU(Central Processing Unit，中央处理器)模块。上述第一处理单元130可为MCU(Microcontroller Unit，微控制单元)模块130等。其中，第一处理单元130连接在第二处理单元120和摄像头模组110之间，上述第一处理单元130可控制摄像头模组110中激光摄像头112、泛光灯114和镭射灯118，上述第二处理单元120可控制摄像头模组110中RGB(Red/Green/Blue，红/绿/蓝色彩模式)摄像头116。

摄像头模组110中包括激光摄像头112、泛光灯114、RGB摄像头116和镭射灯118。上述激光摄像头112为红外摄像头，用于获取红外图像。上述泛光灯114为可发射红外光的面光源；上述镭射灯118为可发生激光的点光源且为带有图案的点光源。其中，当泛光灯114发射面光源时，激光摄像头112可根据反射回的光线获取红外图像。当镭射灯118发射点光源时，激光摄像头112可根据反射回的光线获取散斑图像。上述散斑图像是镭射灯118发射的带有图案的点光源被反射后图案发生形变的图像。

第二处理单元120可包括在TEE(Trusted execution environment，可信运行环境)环境下运行的CPU内核和在REE(Rich Execution Environment，自然运行环境)环境下运行的CPU内核。其中，TEE环境和REE环境均为ARM模块(Advanced RISC Machines，高级精简指令集处理器)的运行模式。其中，TEE环境的安全级别较高，第二处理单元120中有且仅有一个CPU内核可同时运行在TEE环境下。通常情况下，电子设备10中安全级别较高的操作行为需要在TEE环境下的CPU内核中执行，安全级别较低的操作行为可在REE环境下的CPU内核中执行。

第一处理单元130包括PWM(Pulse Width Modulation，脉冲宽度调制)模块132、SPI/I2C(Serial Peripheral Interface/Inter－Integrated Circuit，串行外设接口/双向二线制同步串行接口)接口134、RAM(Random Access Memory，随机存取存储器)模块136和深度引擎138。上述PWM模块132可向摄像头模组发射脉冲，控制泛光灯114或镭射灯118开启，使得激光摄像头112可采集到红外图像或散斑图像。上述SPI/I2C接口134用于接收第二处理单元120发送的图像采集指令。上述深度引擎138可对散斑图像进行处理得到深度视差图。

当第二处理单元120接收到应用程序的数据获取请求时，例如，当应用程序需要进行人脸解锁、人脸支付时，可通过运行在TEE环境下的CPU内核向第一处理单元130发送图像采集指令。当第一处理单元130接收到图像采集指令后，可通过PWM模块132发射脉冲波控制摄像头模组110中泛光灯114开启并通过激光摄像头112采集红外图像、控制摄像头模组110中镭射灯118开启并通过激光摄像头112采集散斑图像。摄像头模组110可将采集到的红外图像和散斑图像发送给第一处理单元130。第一处理单元130可对接收到的红外图像进行处理得到红外视差图；对接收到的散斑图像进行处理得到散斑视差图或深度视差图。其中，第一处理单元130对上述红外图像和散斑图像进行处理是指对红外图像或散斑图像进行校正，去除摄像头模组110中内外参数对图像的影响。其中，第一处理单元130可设置成不同的模式，不同模式输出的图像不同。当第一处理单元130设置为散斑图模式时，第一处理单元130对散斑图像处理得到散斑视差图，根据上述散斑视差图可得到目标散斑图像；当第一处理单元130设置为深度图模式时，第一处理单元130对散斑图像处理得到深度视差图，根据上述深度视差图可得到深度图像，上述深度图像是指带有深度信息的图像。第一处理单元130可将上述红外视差图和散斑视差图发送给第二处理单元120，第一处理单元130也可将上述红外视差图和深度视差图发送给第二处理单元120。第二处理单元120可根据上述红外视差图获取目标红外图像、根据上述深度视差图获取深度图像。进一步的，第二处理单元120可根据目标红外图像、深度图像来进行人脸识别、人脸匹配、活体检测以及获取检测到的人脸的深度信息。

第一处理单元130与第二处理单元120之间通信是通过固定的安全接口，用以确保传输数据的安全性。如图1所示，第二处理单元120发送给第一处理单元130的数据是通过SECURE SPI/I2C 140，第一处理单元130发送给第二处理单元120的数据是通过SECUREMIPI(Mobile Industry Processor Interface，移动产业处理器接口)150。

在一个实施例中，第一处理单元130也可根据上述红外视差图获取目标红外图像、上述深度视差图计算获取深度图像，再将上述目标红外图像、深度图像发送给第二处理单元120。

在一个实施例中，第一处理单元130可根据上述目标红外图像、深度图像进行人脸识别、人脸匹配、活体检测以及获取检测到的人脸的深度信息。其中，第一处理单元130将图像发送给第二处理单元120是指第一处理单元130将图像发送给第二处理单元120中处于TEE环境下的CPU内核。

本申请实施例中电子设备可为手机、平板电脑、个人数字助理或可穿戴设备等。

图2为一个实施例中图像处理方法的流程图。如图2所示，一种图像处理方法，包括：

步骤202，若第一处理单元接收到处于第二处理单元发送的图像采集指令，根据图像采集指令控制摄像头模组采集目标图像。

上述第一处理单元是指用于处理数据的处理器，例如图1中MCU模块130。上述第二处理单元是指用于处理数据的处理器，例如图1中CPU模块120。上述第一处理单元连接在第二处理单元与摄像头模组之间，可根据第一处理单元的指令控制摄像头模组。第二处理单元可运行在第一运行环境下，当第一处理单元接收到处于第一运行环境下第二处理单元发送的图像采集指令时，可根据接收到的图像采集指令控制摄像头模组采集目标图像。第一运行环境是指安全级别较高的运行环境，例如TEE运行环境。可选地，电子设备中还包括第二运行环境，上述第二运行环境是指安全级别较低的运行环境，例如REE运行环境。上述目标图像包括红外图像和散斑图像。

当电子设备中应用程序需要获取人脸深度信息时，可向第二处理单元发送数据获取请求，上述数据获取请求可包括人脸深度信息获取指令、RGB图像采集指令等。当第二处理单元接收到上述数据获取请求时，若检测到上述数据获取请求中包括人脸深度信息获取指令，则将当前第二处理单元切换到第一运行环境下，通过第一运行环境下第二处理单元向第一处理单元发送图像采集指令。上述图像采集指令可包括采集红外图像、散斑图像。可选地，上述图像采集指令还可包括采集RGB图像。

当第一处理单元接收到上述图像采集指令时，第一处理单元可控制摄像头模组中泛光灯开启并通过激光摄像头采集红外图像、控制摄像头模组中镭射灯开启并通过激光摄像头采集散斑图像。其中，第一处理单元通过发射脉冲来控制泛光灯开启或镭射灯开启。上述泛光灯发射的为红外光，上述镭射灯发射的是激光。上述镭射灯发射激光可由结构光模组中准直镜和DOE(Diffractive Optical Elements，衍射光学元件)衍射元件进行衍射，镭射灯再将衍射形成的图像发射出去，激光摄像头根据反射回的光线生成散斑图像。

步骤204，对目标图像进行校正，得到校正后目标图像。

激光摄像头在获取到红外图像和散斑图像后，可将上述红外图像和散斑图像发送给第一处理单元，第一处理单元可对上述红外图像和散斑图像分别进行校正，得到校正后红外图像和校正后散斑图像。其中，第一处理单元对上述红外图像和散斑图像分别进行校正是指校正上述红外图像和散斑图像中内外参数，例如激光摄像头偏转角度、激光摄像头等。在对上述红外图像校正后可得到校正后红外图像，上述校正后红外图像即为红外视差图；上述校正后散斑图像可为散斑视差图或深度视差图。上述视差图是表示与标准图像视差值的图像，根据上述视差图中视差值可获取标准图像，上述标准图像即校正过内外参数后的图像。例如，根据上述红外视差图可得目标红外图像，根据上述散斑视差图可用于获取目标散斑图像，根据上述深度视差图可用于获取深度图像。上述目标红外图像是指校正内外参数后红外图像，上述目标散斑图像是校正内外参数后散斑图像，上述深度图像是校正内外参数后带有深度信息的图像。

其中，第一处理单元可处于不同的运行模式，在不同运行模式下对散斑图像的处理方式不同。当第一处理单元设置为深度图模式时，第一处理单元对散斑图像处理得到深度视差图；当第一处理单元设置为散斑图模式时，第一处理单元对散斑图像处理得到散斑视差图，根据上述散斑视差图可得到目标散斑图像。

步骤206，将校正后目标图像发送给第二处理单元，校正后目标图像用于人脸检测和获取人脸的深度信息中至少一种。

第一处理单元可将上述校正后红外图像和校正后散斑图像发送给处于第一运行环境下第二处理单元。例如，第一处理单元将红外视差图和深度视差图发送给处于TEE环境下第二处理单元；或第一处理单元将红外视差图和散斑视差图发送给处于TEE环境下运行的第二处理单元。其中，第一处理单元与第二处理单元之间通信时通信通道均为安全通道。例如，第二处理单元将图像采集指令发送给第一处理单元是通过SECURE SPI/I2C，第一处理单元将图像发送给第二处理单元是通过SECURE MIPI。上述第一处理单元仅与处于第一运行环境下的第二处理单元进行数据交互，可以确保数据交互的安全性。

当第一处理单元将上述校正后红外图像和校正后散斑图像发送给处于第一运行环境下的第二处理单元后，第二处理单元可根据上述校正后红外图像得到目标红外图像，根据上述校正后散斑图像得到目标散斑图像或深度图像。第二处理单元可根据上述红外图像和深度图像进行人脸检测，上述人脸检测可包括人脸识别、人脸匹配和活体检测。上述人脸识别是指识别图像中是否存在人脸，上述人脸匹配是指将图像中人脸与预存的人脸进行匹配，上述活体检测是指检测图像中人脸是否具有生物活性。当检测到图像中存在人脸且人脸具有生物活性时，第二处理单元还可根据上述红外图像和深度图像获取检测到的人脸的深度信息。

第二处理单元在获取到上述检测到的人脸的深度信息后，可将上述人脸的深度信息发送给应用程序。上述应用程序可根据接收到的人脸的深度信息进行人脸解锁、人脸支付、人脸3D美颜、三维建模等。

通常情况下，当电子设备中第二处理单元运行于第一运行环境中时，处理速度往往有限，数据处理的效率较低。以电子设备CPU内核为例，同时处于TEE环境下的CPU内核有且仅有一个，即在TEE环境下仅有一个CPU内核能够处于数据，因此处理数据的效率较低。

本申请实施例中方法，通过在第二处理单元和摄像头模组之间连接第一处理单元，上述第一处理单元可对摄像头模组获取的图像进行预处理，再将预处理后图像发送给第二处理单元，提高了第二处理单元的处理效率。

在一个实施例中，校正后目标图像包括校正后红外图像和校正后散斑图像；根据校正后目标图像进行人脸检测的方法包括：

根据校正后红外图像进行人脸识别，检测是否存在第一人脸。若存在第一人脸，根据校正后散斑图像获取深度图像。根据校正后红外图像和深度图像进行活体检测。

第二处理单元在接收到上述校正后红外图像和校正后散斑图像后，可根据上述校正后红外图像获取目标红外图像，再对目标红外图像进行人脸识别，检测上述目标红外图像中是否存在第一人脸。上述第一人脸即在目标红外图像存在的人脸。当上述目标红外图像中存在第一人脸时，第二处理单元可通过校正后散斑图像获取深度图像，即通过深度视差图获取深度图像，根据上述深度图像进行活体检测。其中，根据上述深度图像进行活体检测包括：在深度图像中查找与第一人脸区域对应的人脸区域，检测上述与第一人脸区域对应的人脸区域是否有深度信息，且上述深度信息是否符合人脸立体规则。若上述深度图像中与第一人脸区域对应的人脸区域有深度信息，且上述深度信息符合人脸立体规则，则第一人脸具有生物活性。上述人脸立体规则是带有人脸三维深度信息的规则。可选地，第二处理单元还可采用人工智能模型对上述目标红外图像和深度图像进行人工智能识别，获取第一人脸表面的纹理，检测上述纹理的方向、纹理的密度、纹理的宽度等是否符合人脸规则，若符合人脸规则，则判定第一人脸具有生物活性。

在一个实施例中，在根据校正后散斑图像获取深度图像之前，上述方法还包括：

将第一人脸与第二人脸进行匹配，确定第一人脸与第二人脸匹配成功；第二人脸是已存储的人脸。

在检测到目标红外图像中存在第一人脸后，第二处理单元还可将第一人脸与第二人脸进行匹配。上述第二人脸是已存储的人脸。例如，电子设备机主的人脸。其中，上述第二人脸可为电子设备侧存储的人脸，也可为服务器侧存储的人脸。第二处理单元可将上述与第二人脸匹配成功的第一人脸作为目标人脸。在将上述第一人脸与第二人脸匹配成功后，第二处理单元再获取深度图像，根据上述目标红外图像和深度图像检测目标人脸是否具有生物活性。在检测到上述目标人脸具有生物活性时，再获取上述目标人脸的深度信息，并将上述目标人脸的深度信息发送给应用程序。

可选的，在获取到第一人脸后，第二处理单元可对第一人脸进行活体检测，检测上述第一人脸是否具有生物活性。当检测到第一人脸具有生物活性时，再将具有生物活性的第一人脸与第二人脸进行匹配，获取匹配成功的目标人脸。再根据深度图像获取上述目标人脸的深度信息，并将上述目标人脸的深度信息发送给应用程序。

当第二处理单元接收到的数据获取请求时，可根据上述数据获取请求识别应用程序是仅需人脸的深度信息还是目标人脸的深度信息。例如，当需要人脸的深度信息用于3D美颜时，第二处理单元仅需将识别到人脸的深度信息发送给应用程序，而无需识别是否为目标人脸。当需要人脸的深度信息用于人脸解锁时，第二处理单元在识别出人脸后，还需检测上述识别出的人脸是否为目标人脸，在上述识别出的人脸为目标人脸时，再将目标人脸的深度信息发送给应用程序。

本申请实施例中方法，第二处理单元通过人脸识别、人脸匹配和活体检测等步骤可确定目标人脸，有利于快速获取目标人脸的深度信息。

在一个实施例中，根据图像采集指令控制摄像头模组采集目标图像包括：

根据图像采集指令控制摄像头模组采集红外图像。根据图像采集指令控制摄像头模组采集散斑图像。其中，采集红外图像的第一时刻与采集散斑图像的第二时刻之间的时间间隔小于第一阈值。

第一处理单元可控制摄像头模组中红外灯开启并通过激光摄像头采集红外图像，第一处理单元还可控制摄像头模组中镭射灯开启并通过激光摄像头采集散斑图像。为保证上述红外图像和散斑图像的画面内容的一致，摄像头模组采集上述红外图像的第一时刻与采集散斑图像的第二时刻之间的时间间隔应小于第一阈值。例如，第一时刻与第二时刻之间的时间间隔小于5毫秒。

其中，第一处理单元控制摄像头模组采集红外图像和散斑图像的方法包括：

(1)在摄像头模组中设置泛光灯控制器和镭射灯控制器，第一处理单元通过两路PWM分别连接泛光灯控制器和镭射灯控制器，当第一处理单元需要控制泛光灯开启时，可通过一路PWM向泛光灯控制器发射脉冲波控制泛光灯开启；当第一处理单元需要控制镭射灯开启时，可通过另一路PWM向镭射灯控制器发射脉冲波控制镭射灯开启。第一处理单元可通过控制两路PWM分别向泛光灯控制器和镭射灯控制器发射脉冲波的时间间隔使得第一时刻与第二时刻之间的时间间隔小于第一阈值。

(2)在摄像头模组中设置一个控制器用于控制泛光灯和镭射灯，第一处理单元通过一路PWM连接上述控制器，当第一处理单元需要控制泛光灯开启时，可通过上述PWM向泛光灯控制器发射脉冲波控制泛光灯开启；当第一处理单元需要控制镭射灯开启时，可控制上述PWM切换并向镭射灯控制器发射脉冲波控制镭射灯开启。第一处理单元通过控制上述PWM切换的时间间隔使得第一时刻与第二时刻之间的时间间隔小于第一阈值。

本申请实施例中方法，采集到的红外图像和散斑图像之间的时间间隔低于第一阈值，可保证采集到的红外图像和散斑图像的一致，避免红外图像和散斑图像之间存在较大的误差，提高了对数据处理的准确性。

在一个实施例中，目标图像包括红外图像和散斑图像；根据图像采集指令控制摄像头模组采集目标图像包括：

获取图像采集指令中时间戳。确定采集红外图像的第一时刻与时间戳之间的时间间隔小于第二阈值。确定采集散斑图像的第二时刻与时间戳之间的时间间隔小于第三阈值。

第二处理单元接收到的图像采集指令中还包括时间戳。上述时间戳可为应用程序发送数据获取请求的时刻。第二处理单元在接收到上述图像采集指令后，可将图像采集指令发送给第一处理单元，第一处理单元根据上述图像采集指令控制摄像头模组采集红外图像和散斑图像。其中，在第一处理单元控制上述摄像头模组采集红外图像和散斑图像时，需确定采集红外图像的第一时刻与时间戳之间的时间间隔小于第二阈值、采集散斑图像的第二时刻与时间戳之间的时间间隔小于第三阈值。上述第二阈值可为相同值或不同值，例如，3秒、5秒等。

当第二处理单元采集红外图像的第一时刻与时间戳之间的时间间隔小于第二阈值，或采集散斑图像的第二时刻与时间戳之间的时间间隔小于第三阈值时，第二处理单元可向第一处理单元返回无效指令，第一处理单元可将上述无效指令返回给发送数据获取请求的应用程序，使得应用程序重新发送数据获取请求。

本申请实施例中方法，通过控制采集红外图像的第一时刻与图像采集指令中时间戳之间的时间间隔、控制采集散斑图像的第二时刻与图像采集指令中时间戳之间的时间间隔，可确保采集的红外图像和散斑图像的时效性。

在一个实施例中，如图3所示，一种图像处理方法包括：

步骤302，若第一处理单元接收到处于第二处理单元发送的图像采集指令，根据图像采集指令控制摄像头模组采集目标图像。

步骤304，对目标图像进行校正，得到校正后目标图像。

步骤306，将校正后目标图像发送给第二处理单元，校正后目标图像用于人脸检测和获取人脸的深度信息中至少一种。

步骤308，若图像采集指令中包括采集可见光图像，根据图像采集指令控制摄像头模组同时采集红外图像和可见光图像。

当图像采集指令中还包括采集可见光图像时，第二处理单元可控制摄像头模组中RGB摄像头采集可见光图像。其中，第一处理单元控制激光摄像头采集红外图像和散斑图像，第二处理单元控制RGB摄像头采集可见光图像。为确保采集图像的一致，可在上述激光摄像头和RGB摄像头之间添加时序同步线，使得摄像头模组可同时采集上述红外图像和可见光图像。

本申请实施例中方法，通过控制摄像头模组同时采集红外图像和可见光图像，使得采集的红外图像和可见光图像一致，提高了图像处理的准确性。

在一个实施例中，如图4所示，一种图像处理方法包括：

步骤402，若第一处理单元接收到处于第二处理单元发送的图像采集指令，根据图像采集指令控制摄像头模组采集目标图像。

步骤404，对目标图像进行校正，得到校正后目标图像。

步骤406，将校正后目标图像发送给第二处理单元，校正后目标图像用于人脸检测和获取人脸的深度信息中至少一种。

步骤408，若接收到应用程序的数据获取请求，获取应用程序的安全级别。

步骤410，查找与安全级别对应的精度级别。

步骤412，根据精度级别调整深度图像的精度，将调整后的深度图像发送给应用程序。

若第二处理单元接收到应用程序的数据获取请求，可检测上述应用程序的安全级别。其中，电子设备可对应用程序设定对应的安全级别，不同安全级别的应用程序对应的数据精度级别不同。例如，电子设备中支付软件的安全级别较高，第二处理单元发送给支付软件的数据精度较高，而图像软件的安全级别较低，第二处理单元发送给图像软件的数据精度较低。

第二处理单元在获取到应用程序对应的安全级别后，可查找上述安全级别对应的精度级别。其中，安全级别与上述精度级别为正相关，即应用程序的安全级别越高，上述安全级别对应的精度级别越高。上述精度级别越高写图像越清晰。第二单元在获取到应用程序的安全级别对应的精度级别后，可根据上述精度级别调整深度图像的精度，再将调整后深度图像发送给应用程序，使得深度图像可根据上述深度图像进行人脸解锁、人脸支付或人脸3D美颜等。

在一个实施例中，根据精度级别调整目标图像的精度包括：

(1)根据精度级别调整深度图像的分辨率。

(2)根据精度级别调整摄像头模组采集的散斑图像中散斑点的个数。

第二处理单元调整深度图像的精度时，可调整上述深度图像的分辨率。当深度图像的精度级别高时，上述深度图像的分辨率高；当深度图像的精度级别低时，上述深度图像的分辨率低。上述调整图像的分辨率可通过调整图像中像素个数来实现。

在摄像头模组中镭射灯可预置不同的DOE衍射元件，其中不同DOE衍射元件衍射形成的散斑点的个数不同。当应用程序对应的精度级别较高时，镭射灯可控制散斑点个数较多的DOE衍射元件来发射激光，从而获取散斑点个数较多的散斑图像；当应用程序对应的精度级别较低时，镭射灯可控制散斑点个数较少的DOE衍射元件来发射激光，从而获取散斑点个数较少的散斑图像。

本申请实施例中方法，根据应用程序的安全级别来调整深度图像的精度，使得不同安全级别的应用程序可获取不同精度的深度图像，减少了安全级别较低的应用程序泄露数据的风险，提高了数据的安全性

在一个实施例中，如图5所示，一种图像处理方法包括：

步骤502，若第一处理单元接收到处于第二处理单元发送的图像采集指令，根据图像采集指令控制摄像头模组采集目标图像。

步骤504，对目标图像进行校正，得到校正后目标图像。

步骤506，将校正后目标图像发送给第二处理单元，校正后目标图像用于人脸检测和获取人脸的深度信息中至少一种。

步骤508，若接收到应用程序的数据获取请求，获取应用程序的安全级别。

步骤510，确定应用程序的安全级别对应的数据通道。

步骤512，将深度图像通过对应的数据传输通道发送给应用程序。

第二处理单元在接收到应用程序的数据获取请求后，可识别上述应用程序的安全级别。第二处理单元可通过安全通道或普通通道将深度图像传输给应用程序时。上述安全通道和普通通道的安全级别不同。可选地，上述安全通道的安全级别较高，普通通道的安全级别较低。当数据在安全通道中传输时，可对数据进行加密，避免数据泄露或被窃取。电子设备可根据应用程序的安全级别设置对应的数据通道。可选地，安全级别高的应用程序可对应安全通道，安全级别低的应用程序可对应普通通道。例如，支付类应用程序对应安全通道，图像类应用程序对应普通通道。第二处理单元在获取应用程序的安全级别对应的数据通道后，可将深度图像通过对应的数据通道发送给应用程序，使得应用程序根据上述深度图像进行下一步操作。

本申请实施例中方法，根据应用程序的安全级别选取对应的数据通道来传输数据，保证了对安全级别较高的应用程序传输数据时的安全性。对安全级别低的应用程序，直接传输数据无需对数据进行加密操作，提高了对安全级别较低的应用程序传输数据的速度。

在一个实施例中，一种图像处理方法，包括：

(1)若第一处理单元接收到第二处理单元发送的图像采集指令，根据图像采集指令控制摄像头模组采集目标图像。

(2)对目标图像进行校正，得到校正后目标图像。

(3)将校正后目标图像发送给第二处理单元，校正后目标图像用于人脸检测和获取人脸的深度信息中至少一种。

可选地，校正后目标图像包括校正后红外图像和校正后散斑图像；根据校正后目标图像进行人脸检测的方法包括：根据校正后红外图像进行人脸识别，检测是否存在第一人脸；若存在第一人脸，根据校正后散斑图像获取深度图像；根据校正后红外图像和深度图像进行活体检测。

可选地，在根据校正后散斑图像获取深度图像之前，方法还包括：将第一人脸与第二人脸进行匹配；确定第一人脸与第二人脸匹配成功；第二人脸是已存储的人脸。

可选地，根据图像采集指令控制摄像头模组采集目标图像包括：根据图像采集指令控制摄像头模组采集红外图像；根据图像采集指令控制摄像头模组采集散斑图像；其中，采集红外图像的第一时刻与采集散斑图像的第二时刻之间的时间间隔小于第一阈值。

可选地，根据图像采集指令控制摄像头模组采集目标图像包括：获取图像采集指令中时间戳；确定采集红外图像的第一时刻与时间戳之间的时间间隔小于第二阈值；确定采集散斑图像的第二时刻与时间戳之间的时间间隔小于第三阈值。

可选地，目标图像包括红外图像；上述方法还包括：若图像采集指令中包括采集可见光图像，根据图像采集指令控制摄像头模组同时采集红外图像和可见光图像。

可选地，上述方法还包括：若接收到应用程序的数据获取请求，获取应用程序的安全级别；查找与安全级别对应的精度级别；根据精度级别调整深度图像的精度，将调整后的深度图像发送给应用程序。

可选地，根据精度级别调整目标图像的精度包括：根据精度级别调整深度图像的分辨率；或根据精度级别调整摄像头模组采集的散斑图像中散斑点的个数。

可选地，上述方法还包括：若接收到应用程序的数据获取请求，获取应用程序的安全级别；确定应用程序的安全级别对应的数据通道；将深度图像通过对应的数据传输通道发送给应用程序。

本申请实施例中方法，通过在第二处理单元和摄像头模组之间连接第一处理单元，上述第一处理单元可对摄像头模组获取的图像进行预处理，再将预处理后图像发送给第二处理单元，提高了第二处理单元的处理效率，且上述第一处理单元仅与处于第一运行环境下的第二处理单元进行数据交互，可以确保数据交互的安全性。

图6为一个实施例中实现图像处理方法的软件架构示意图。如图6所示，该软件架构包括应用层610、操作***620和第一运行环境630，上述第一运行环境630为可信运行环境。其中，硬件层包括泛光灯&镭射灯631、摄像头632、微控制单元633。安全服务模块634和加密模块635可运行在第一运行环境下。上述安全服务模块634可为在第一运行环境下运行的第二处理单元，如在TEE环境下运行的CPU内核。操作***630中包含安全管理模块621、人脸管理模块622、摄像头驱动623和摄像头框架624；应用层610中包含应用程序611。应用程序611可以发起图像采集指令，电子设备会通过图像采集指令驱动泛光灯&镭射灯631和摄像头632进行工作。例如，在通过采集人脸进行支付、解锁、美颜等操作时，应用程序会发起采集人脸图像的图像采集指令。摄像头获取到红外图像和散斑图像之后，会根据图像采集指令判断当前获取的图像是用于安全应用操作还是非安全应用操作。当获取的深度图像是用于支付、解锁等安全应用操作时，会通过安全通道将采集的红外图像和散斑图像发送到微控制单元633，微控制单元633再根据散斑图像进行计算得到深度视差图，再根据深度视差图计算得到深度图像。并将计算得到的深度图像和红外图像发送给安全服务模块634。可以理解的是，根据散斑图像计算得到深度图像的过程也可以在安全服务模块634中进行。安全服务模块634会将红外图像与深度图像发送到加密模块635，加密模块635可以根据预先存储的散斑图像将深度图像和红外图像进行加密处理，也可以根据实时获取的散斑图像将深度图像和红外图像进行加密处理，然后再将加密处理后的深度图像和红外图像发送给安全管理模块621。一般地，不同的应用程序611都有对应的安全管理模块621，安全管理模块621会将加密后的深度图像和红外图像进行解密处理，并将解密处理后得到的深度图像和红外图像发送给相应的人脸管理模块622。人脸管理模块622会根据红外图像和深度图像进行人脸检测、识别、验证等处理，再将处理结果发送给上层的应用程序611，应用程序611再根据处理结果进行安全应用操作。当获取的深度图像是用于美颜、AR(Augmented Reality，增强现实技术)等非安全应用时，摄像头632采集的红外图像和散斑图像可以直接通过非安全通道发送给摄像头驱动623，摄像头驱动623可以根据散斑图像计算视差图，并根据视差图计算得到深度图像。摄像头驱动623可以将红外图像和深度图像发送给摄像头框架624，再由摄像头框架624发送给人脸管理模块622或应用程序611。其中，安全通道和非安全通道的切换是由微控制单元633来完成的。

图7为一个实施例中图像处理装置的结构框图。如图7所示，一种图像处理装置，包括：

采集模块702，用于若第一处理单元接收到第二处理单元发送的图像采集指令，根据图像采集指令控制摄像头模组采集目标图像；

校正模块704，用于对目标图像进行校正，得到校正后目标图像；

发送模块706，用于将校正后目标图像发送给第二处理单元，校正后目标图像用于人脸检测和获取人脸的深度信息中至少一种。

图8为另一个实施例中图像处理装置的结构框图。如图8所示，一种图像处理装置，包括：采集模块802、校正模块804、发送模块806和检测模块808。其中，采集模块802、校正模块804、发送模块806与图7中对应的模块功能相同。

校正后目标图像包括校正后红外图像和校正后散斑图像；检测模块808根据校正后目标图像进行人脸检测的方法包括：根据校正后红外图像进行人脸识别，检测是否存在第一人脸；若存在第一人脸，根据校正后散斑图像获取深度图像；根据校正后红外图像和深度图像进行活体检测。

在一个实施例中，检测模块808还用于在根据校正后散斑图像获取深度图像之前，将第一人脸与第二人脸进行匹配；确定第一人脸与第二人脸匹配成功；第二人脸是已存储的人脸。

在一个实施例中，采集模块802根据图像采集指令控制摄像头模组采集目标图像包括：根据图像采集指令控制摄像头模组采集红外图像；根据图像采集指令控制摄像头模组采集散斑图像；其中，采集红外图像的第一时刻与采集散斑图像的第二时刻之间的时间间隔小于第一阈值。

在一个实施例中，目标图像包括红外图像和散斑图像；采集模块802根据图像采集指令控制摄像头模组采集目标图像包括：获取图像采集指令中时间戳；确定采集红外图像的第一时刻与时间戳之间的时间间隔小于第二阈值；确定采集散斑图像的第二时刻与时间戳之间的时间间隔小于第三阈值。

在一个实施例中，目标图像包括红外图像；采集模块802还用于若图像采集指令中包括采集可见光图像，根据图像采集指令控制摄像头模组同时采集红外图像和可见光图像。

图9为另一个实施例中图像处理装置的结构框图。如图9所示，一种图像处理装置，包括：采集模块902、校正模块904、发送模块906、获取模块908、查找模块910。其中，采集模块902、校正模块904、发送模块906与图7中对应的模块功能相同。

获取模块908，用于若接收到应用程序的数据获取请求，获取应用程序的安全级别。

查找模块910，用于查找与安全级别对应的精度级别。

发送模块906，还用于根据精度级别调整深度图像的精度，将调整后的深度图像发送给应用程序。

在一个实施例中，发送模块906根据精度级别调整目标图像的精度包括：根据精度级别调整深度图像的分辨率；或根据精度级别调整摄像头模组采集的散斑图像中散斑点的个数。

在一个实施例中，获取模块908还用于若接收到应用程序的数据获取请求，获取应用程序的安全级别。

查找模块910还用于确定应用程序的安全级别对应的数据通道。

发送模块906还用于将深度图像通过对应的数据传输通道发送给应用程序。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种电子设备，上述电子设备包括：第一处理单元120、第二处理单元130和摄像头模组110。

第一处理单元120分别连接第二处理单元130和摄像头模组110。

第一处理单元120用于接收第二处理单元130发送的图像采集指令，根据图像采集指令控制摄像头模组110采集目标图像。

第一处理单元120还用于对目标图像进行校正，得到校正后目标图像。

第一处理单元120还用于将校正后目标图像发送给第二处理单元130。

第二处理单元130用于根据校正后目标图像进行人脸检测和获取人脸的深度信息中至少一种。

在一个实施例中，校正后目标图像包括校正后红外图像和校正后散斑图像；第二处理单元130据校正后目标图像进行人脸检测的方法包括：根据校正后红外图像进行人脸识别，检测是否存在第一人脸；若存在第一人脸，根据校正后散斑图像获取深度图像；根据校正后红外图像和深度图像进行活体检测。

在一个实施例中，第二处理单元130还用于在根据校正后散斑图像获取深度图像之前，将第一人脸与第二人脸进行匹配；确定第一人脸与第二人脸匹配成功；第二人脸是已存储的人脸。

在一个实施例中，第一处理单元120根据图像采集指令控制摄像头模组110采集目标图像包括：第一处理单元120根据图像采集指令控制摄像头模组110采集红外图像；第一处理单元120根据图像采集指令控制摄像头模组110采集散斑图像；其中，采集红外图像的第一时刻与采集散斑图像的第二时刻之间的时间间隔小于第一阈值。

在一个实施例中，目标图像包括红外图像和散斑图像；第一处理单元120根据图像采集指令控制摄像头模组110采集目标图像包括：获取图像采集指令中时间戳；确定采集红外图像的第一时刻与时间戳之间的时间间隔小于第二阈值；确定采集散斑图像的第二时刻与时间戳之间的时间间隔小于第三阈值。

在一个实施例中，目标图像包括红外图像；第一处理单元120还用于若图像采集指令中包括采集可见光图像，根据图像采集指令控制摄像头模组110同时采集红外图像和可见光图像。

在一个实施例中，第二处理单元130还用于若接收到应用程序的数据获取请求，获取应用程序的安全级别；查找与安全级别对应的精度级别；根据精度级别调整深度图像的精度，将调整后的深度图像发送给应用程序。

在一个实施例中，第二处理单元130根据精度级别调整目标图像的精度包括：根据精度级别调整深度图像的分辨率；或根据精度级别调整摄像头模组110采集的散斑图像中散斑点的个数。

在一个实施例中，第二处理单元130还用于若接收到应用程序的数据获取请求，获取应用程序的安全级别；确定应用程序的安全级别对应的数据通道；将深度图像通过对应的数据传输通道发送给应用程序。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行图像处理方法的步骤。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (18)

1.一种图像处理方法，其特征在于，应用于电子设备，所述电子设备包括摄像头模组、第一处理单元和第二处理单元，所述第一处理单元连接在所述第二处理单元与所述摄像头模组之间，所述方法包括：

所述第二处理单元发送图像采集指令以控制所述摄像头模组采集目标图像；所述目标图像包括红外图像和散斑图像；

所述第一处理单元对所述目标图像中内外参数进行校正，得到校正后目标图像；所述校正后目标图像包括校正后红外图像和校正后散斑图像；所述校正后红外图像为红外视差图，所述校正后散斑图像为散斑视差图或深度视差图；其中，所述第一处理单元包括不同的模式，不同模式输出的图像不同，当所述第一处理单元设置为散斑图模式时，所述第一处理单元对所述散斑图像处理得到散斑视差图，当所述第一处理单元设置为深度图模式时，所述第一处理单元对所述散斑图像处理得到深度视差图；

所述第一处理单元将所述校正后目标图像发送给所述第二处理单元，所述校正后目标图像用于指示所述第二处理单元对所述校正后目标图像进行人脸检测和/或获取人脸的深度信息，并将得到的结果通过安全通道或者普通通道发送至所述电子设备的应用程序；所述安全通道或者普通通道与所述应用程序的安全等级关联。

2.根据权利要求1所述的方法，其特征在于，所述对所述校正后目标图像进行人脸检测和/或获取人脸的深度信息的方法包括：

根据所述校正后红外图像进行人脸识别，检测是否存在第一人脸；

若存在所述第一人脸，根据所述校正后散斑图像获取深度图像；

根据所述深度图像进行活体检测；所述活体检测表示检测所述第一人脸是否具有生物活性。

3.根据权利要求2所述的方法，其特征在于，所述根据所述深度图像进行活体检测，包括：

在所述深度图像中查找与所述第一人脸的区域对应的人脸区域，检测所述与所述第一人脸的区域对应的人脸区域是否有深度信息，且所述深度信息是否符合人脸立体规则；所述人脸立体规则表示带有人脸三维深度信息的规则；

若所述与所述第一人脸的区域对应的人脸区域有深度信息，且所述深度信息符合人脸立体规则，则确定所述第一人脸具有生物活性。

4.根据权利要求2所述的方法，其特征在于，所述根据所述深度图像进行活体检测，包括：

采用预设的人工智能模型对所述校正后红外图像和所述深度图像进行人工智能识别，获取所述第一人脸的表面的纹理信息；所述纹理信息包括纹理的方向、纹理的密度和纹理的宽度；

若所述纹理信息符合人脸规则，则确定所述第一人脸具有生物活性。

5.根据权利要求2-4任一项所述的方法，其特征在于，在所述根据所述深度图像进行活体检测之后，所述方法还包括：

若检测到所述校正后目标图像中存在第一人脸，且，所述第一人脸具有生物活性，则将所述第一人脸的深度信息发送至所述应用程序；所述第一人脸的深度信息用于指示所述应用程序进行人脸解锁、人脸支付、人脸3D美颜、三维建模中至少一个。

6.根据权利要求2-4任一项所述的方法，其特征在于，所述方法还包括：

将所述第一人脸与第二人脸进行匹配；

若所述第一人脸与所述第二人脸匹配成功，执行根据所述校正后散斑图像获取深度图像的步骤；所述第二人脸是已存储的人脸。

7.根据权利要求1-4任一项所述的方法，其特征在于，所述控制摄像头模组采集目标图像包括：

根据所述图像采集指令控制所述摄像头模组采集红外图像；

根据所述图像采集指令控制所述摄像头模组采集散斑图像；

其中，采集所述红外图像的第一时刻与采集所述散斑图像的第二时刻之间的时间间隔小于第一阈值。

8.根据权利要求7所述的方法，其特征在于，所述摄像头模组包括泛光灯和镭射灯；

若所述第一处理单元通过两路脉冲宽度调制PWM分别连接所述泛光灯的控制器和所述镭射灯的控制器，则所述第一处理单元通过控制所述两路PWM分别向所述泛光灯的控制器和所述镭射灯的控制器发射脉冲波的时间间隔，使得所述第一时刻与所述第二时刻之间的时间间隔小于所述第一阈值；

若所述第一处理单元通过一路PWM连接所述泛光灯和所述镭射灯的总控制器，则所述第一处理单元通过控制所述PWM切换的时间间隔，使得所述第一时刻与所述第二时刻之间的时间间隔小于所述第一阈值。

9.根据权利要求1-4任一项所述的方法，其特征在于，所述控制摄像头模组采集目标图像包括：

获取所述图像采集指令中时间戳；

控制采集所述红外图像的第一时刻与所述时间戳之间的时间间隔小于第二阈值；

控制采集所述散斑图像的第二时刻与所述时间戳之间的时间间隔小于第三阈值。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：向所述应用程序发送无效指令，所述无效指令用于指示所述应用程序重新向所述第二处理单元发送数据获取请求；所述数据获取请求用于指示所述第二处理单元重新发送所述图像采集指令；

其中，所述无效指令为所述第一时刻与所述时间戳之间的时间间隔小于所述第二阈值，或者，所述第二时刻与所述时间戳之间的时间间隔小于所述第三阈值时，所述第二处理单元向所述第一处理单元发送的指令。

11.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

若所述图像采集指令中还包括采集可见光图像，根据所述图像采集指令控制所述摄像头模组同时采集所述红外图像和所述可见光图像。

12.根据权利要求11所述的方法，其特征在于，在采集所述可见光图像的摄像头和采集所述红外图像的摄像头之间设置时序同步线；所述时序同步线用于控制所述摄像头模组同时采集所述红外图像和所述可见光图像。

13.根据权利要求2-4任一项所述的方法，其特征在于，所述方法还包括：

若接收到所述应用程序的数据获取请求，获取所述应用程序的安全级别；

查找与所述安全级别对应的精度级别；

根据所述精度级别调整所述深度图像的精度，将调整后的深度图像发送给所述应用程序。

14.根据权利要求13所述的方法，其特征在于，所述根据所述精度级别调整所述目标图像的精度包括：

根据所述精度级别调整所述深度图像的分辨率；

或，根据所述精度级别调整所述摄像头模组采集的所述散斑图像中散斑点的个数。

15.根据权利要求2-4任一项所述的方法，其特征在于，所述方法还包括：

若接收到应用程序的数据获取请求，获取所述应用程序的安全级别；

确定所述应用程序的安全级别对应的数据通道；所述数据通道包括安全通道和普通通道；

将所述深度图像通过所述对应的数据通道发送给所述应用程序。

16.一种图像处理装置，其特征在于，应用于电子设备，所述电子设备包括摄像头模组、第一处理单元和第二处理单元，所述第一处理单元连接在所述第二处理单元与所述摄像头模组之间，所述装置包括：

采集模块，用于接收所述第二处理单元发送的图像采集指令以控制所述摄像头模组采集目标图像；所述目标图像包括红外图像和散斑图像；

校正模块，用于控制所述第一处理单元对所述目标图像中内外参数进行校正，得到校正后目标图像；所述校正后目标图像包括校正后红外图像和校正后散斑图像；所述校正后红外图像为红外视差图，所述校正后散斑图像为散斑视差图或深度视差图；其中，所述第一处理单元包括不同的模式，不同模式输出的图像不同，当所述第一处理单元设置为散斑图模式时，所述第一处理单元对所述散斑图像处理得到散斑视差图，当所述第一处理单元设置为深度图模式时，所述第一处理单元对所述散斑图像处理得到深度视差图；

发送模块，用于将所述校正后目标图像发送给所述第二处理单元，所述校正后目标图像用于指示所述第二处理单元对所述校正后目标图像进行人脸检测和/或获取人脸的深度信息，并将得到的结果通过安全通道或者普通通道发送至所述电子设备的应用程序；所述安全通道或者普通通道与所述应用程序的安全等级关联。

17.一种电子设备，其特征在于，包括存储器和处理器，所述处理器包括第一处理单元和第二处理单元，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至15中任一项所述的图像处理方法的步骤。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至15中任一项所述的图像处理方法的步骤。