CN114331915B

CN114331915B - 图像处理方法及电子设备

Info

Publication number: CN114331915B
Application number: CN202210217112.7A
Authority: CN
Inventors: 周俊伟; 刘小伟; 王国毅
Original assignee: Honor Device Co Ltd
Current assignee: Shanghai Glory Smart Technology Development Co ltd
Priority date: 2022-03-07
Filing date: 2022-03-07
Publication date: 2022-08-05
Anticipated expiration: 2042-03-07
Also published as: CN114331915A

Abstract

本申请实施例提供了一种图像处理方法及电子设备。在该图像处理方法中，针对存在无效深度值的深度图像，电子设备首先将其转换为点云图像，并对该点云图像进行修复，再将修复后的点云图像转换回深度图像，以此实现对深度图像的校正，提高深度图像的精准度。

Description

图像处理方法及电子设备

技术领域

本申请涉及智能终端技术领域，尤其涉及一种图像处理方法及电子设备。

背景技术

深度图像（depth image）是指将从图像采集器到场景中各点的垂直距离（深度）作为像素值的图像。深度图像直接反映了物体可见表面的几何形状，是物体的三维表示形式。其中，深度图像可以通过飞行时间（Time of Flight，TOF）相机获取。但是，通过TOF相机获取的深度图可能会存在误差。

发明内容

为了解决上述技术问题，本申请实施例提供一种图像处理方法及电子设备。在本方法中，基于点云图像修复的方式实现对深度图像的校正，以此提高深度图像的精准度。

第一方面，本申请实施例提供一种图像处理方法。其中，该方法包括：电子设备获取第一深度图像；其中，第一深度图像中目标像素点的深度值为无效值；电子设备将第一深度图像转换为第一点云图像；电子设备对第一点云图像进行修复，得到第二点云图像；电子设备将第二点云图像转换为第二深度图像。这样，实现了基于点云像修复的方式达到了校正深度图像的效果，提高了深度图像的精准度。

其中，第一深度图像可以理解为待校正的深度图像，在该深度图像中存在深度值为无效值的像素点。相应的，第二深度图像可以理解为与第一深度图像对应的已校正深度图像。

其中，第一点云图像，可以理解为待修复的点云图像。例如可以采用孔洞修补的方式实现对第一点云图像的修复。相应的，第二点云图像可以理解为是与第一点云图像对应的已修复点云图像。

根据第一方面，电子设备在获取第一深度图像之前，还包括：电子设备获取第三深度图像，以及与第三深度图像对应的红外图像；其中，第三深度图像和红外图像是通过第一TOF相机采集的，第一TOF相机设置于电子设备的显示屏下；电子设备使用衍射光斑模板集合，在红外图像上进行多目标模板匹配，确定匹配成功的目标衍射光斑模板；电子身边将第三深度图像目标区域中像素点的深度值设置为无效值，得到第一深度图像；其中，目标区域为与目标衍射光斑模板匹配成功的区域。

这样，在由于发生衍射而导致深度图像不精准的情况下，可以基于点云像修复的方式对衍射区域像素的深度值进行校正，以此提高深度图像的精准度。

其中，第三深度图像可以理解为通过屏下TOF相机直接获取的深度图像，此时第一深度图像是对第三深度图像进行处理后得到的图像。在第一深度图像中，衍射区域像素点的深度值被设置为无效值。

其中，衍射光斑模板集合中包括大量的衍射光斑模板，每个衍射光斑模板用于描述一种衍射情形。红外图像中能够与衍射光斑模板匹配成功的目标区域即为需要深度值校正的衍射区域。

根据第一方面，或者以上第一方面的任意一种实现方式，电子设备在确定匹配成功的目标衍射光斑模板之后，还包括：电子设备统计目标衍射光斑模板中的衍射像素点数量。相应的，电子设备将第三深度图像目标区域中像素点的深度值设置为无效值，可以包括：如果目标衍射光斑模板中的衍射像素点数量未超过预设数量阈值，则电子设备将第三深度图像目标区域中像素点的深度值设置为无效值。

由于衍射光斑模板中的衍射像素点数量可以用于指示衍射程度，衍射像素点数量越大，衍射程度越严重。因此，在红外图像能够与衍射光斑模板匹配成功的情况下，只有匹配成功的衍射光斑模板中的衍射像素点数量未超过预设数量阈值时，也即红外图像中涉及的衍射情况不太严重时，才基于点云像修复的方式对衍射区域像素的深度值进行校正，以此保证深度图像的校正效果，避免出现深度图像校正无效的问题。

根据第一方面，或者以上第一方面的任意一种实现方式，该图像处理方法，还包括：如果目标衍射光斑模板中的衍射像素点数量超过预设数量阈值，则电子设备显示提示信息；其中，提示信息用于指示用户调整拍摄角度重新拍摄。

这样，在红外图像能够与衍射光斑模板匹配成功的情况下，如果匹配成功的衍射光斑模板中的衍射像素点数量超过预设数量阈值时，也即红外图像中涉及的衍射情况比较严重时，不采用基于点云像修复的方式对衍射区域像素的深度值进行校正，而是提示用户调整拍摄角度重新拍摄，以此降低衍射程度。

根据第一方面，或者以上第一方面的任意一种实现方式，电子设备将第三深度图像目标区域中像素点的深度值设置为无效值，可以包括：将第三深度图像目标区域中衍射像素点的深度值设置为无效值；其中，衍射像素点在红外图像中的灰度值高于预设灰度阈值。

这样，只将衍射区域中衍射程度较高的像素点的深度值设置为无效值，有针对性地对这些像素点的深度值进行校正，能够提高深度图像校正的可靠性，保证深度图像的校正效果。

根据第一方面，或者以上第一方面的任意一种实现方式，衍射光斑模板的生成方法包括：电子设备获取衍射仿真点扩展函数；电子设备创建空白图像矩阵掩膜；电子设备在空白图像矩阵掩膜中心创建多边形光斑，得到光斑掩膜；电子设备在光斑掩膜中将多边形光斑的中心能量进行重新分配，得到光斑调整掩膜；电子设备将衍射仿真点扩展函数与光斑调整掩膜进行卷积，得到衍射光斑模板。由此，基于预先生成的衍射光斑模板可以有效对红外图像中的衍射区域进行识别。

其中，多边形光斑的形状可以根据实际成像***中的反射光斑形状确定，以模拟实际的衍射光斑。电子设备在空白图像矩阵掩膜中心创建的多边形光斑的大小不同、数量不同，创建的多个多边形光斑的位置排列不同，得到的光斑掩膜就不同，以此可以模拟不同情形的衍射光斑。针对每一个光斑掩膜，电子设备可以将多边形光斑的中心能量进行不同程度的放大，并将放大后的能量重新随机分配给光斑中心的周围的像素点，以此可以得到与该光斑掩膜对应的多种不同光斑调整掩膜。这样，电子设备可以生成一系列光斑调整掩膜。

根据第一方面，或者以上第一方面的任意一种实现方式，电子设备在将第二点云图像转换为第二深度图像之后，还包括：电子根据目标衍射光斑模板的灰度值的亮度掩膜，得到由衍射造成的亮度差异模板；电子设备计算第二深度图像和第三深度图像中衍射区域像素点的深度值差异，得到深度差异模板；如果亮度差异模板和深度差异模板的变化规律一致，且深度差异模板中各个像素点的深度差值在预设深度差异范围内，则电子设备计算第二深度图像和第三深度图像的结构相似性；如果结构相似性超过预设相似阈值，则电子设备确定第二深度图像校正正确。这样，电子设备对校正后的深度图像进行正确性验证，进一步保证深度图像的校正效果，尽量避免出现深度图像校正无效或错误的问题。

根据第一方面，或者以上第一方面的任意一种实现方式，该图像处理方法还包括：如果电子设备确定第二深度图像校正不正确，则电子设备显示提示信息；其中，提示信息用于指示用户调整拍摄角度重新拍摄。

这样，在校正后的深度图像未通过正确性验证时，校正后的深度图像无法被应用程序使用，此时电子设备提示用户调整拍摄角度重新拍摄，以此降低衍射程度，使应用程序可以基于精准度较高的深度图像进行相关操作。

根据第一方面，或者以上第一方面的任意一种实现方式，在电子设备获取第一深度图像之前，还包括：电子设备获取第四深度图像，以及第四深度图像中的过曝像素点；其中，第四深度图像是通过TOF相机采集的；在第四深度图像中，电子设备将过曝像素点的深度值设置为无效值，得到第一深度图像。

这样，在由于发生过曝而导致深度图像不精准的情况下，可以基于点云像修复的方式对过曝像素的深度值进行校正，以此提高深度图像的精准度。

其中，第四深度图像可以理解为通过TOF相机直接获取的深度图像，此时第一深度图像是对第四深度图像进行处理后得到的图像。在第一深度图像中，过曝像素点的深度值被设置为无效值。

第二方面，本申请实施例提供一种电子设备。该电子设备包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中一个或多个计算机程序存储在存储器上，当计算机程序被一个或多个处理器执行时，使得电子设备执行如第一方面以及第一方面中任意一项的图像处理方法。

第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

第三方面，本申请实施例提供一种计算机可读存储介质。该计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行第一方面以及第一方面中任意一项的图像处理方法。

第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

第四方面，本申请实施例提供一种计算机程序产品，包括计算机程序，当计算机程序被运行时，使得计算机执行如第一方面或第一方面中任意一项的图像处理方法。

第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

附图说明

图1a为示例性示出的通过TOF相机获取的深度图之一；

图1b为示例性示出的通过屏下TOF相机获取的深度图之一；

图1c为示例性示出的通过屏下TOF相机获取的深度图之一；

图2为示例性示出的电子设备的硬件结构示意图；

图3为示例性示出的电子设备的软件结构示意图；

图4为本申请实施例提供的模块交互示意图；

图5为本申请实施例提供的深度图像校正流程示意图；

图6为本申请实施例提供的衍射光斑模板生成流程示意图；

图7a为示例性示出的一系列光斑掩膜；

图7b为示例性示出的一系列衍射光斑模板；

图7c为示例性示出的另一系列衍射光斑模板；

图8为示例性示出的应用场景示意图之一；

图9为示例性示出的红外图像匹配成功的衍射光斑模板的变化；

图10为示例性示出的待校正深度图像和与其对应的待修复点云图像；

图11为示例性示出的待修复点云图像和与其对应的已修复点云图像；

图12为示例性示出的深度图像校正流程各阶段得到的深度图像；

图13为本申请实施例提供的深度图像校正正确性的验证流程示意图；

图14为本申请实施例提供的深度图像校正流程示意图；

图15为示例性示出的待校正深度图像和与其对应的待修复点云图像；

图16为本申请实施例提供的深度图像校正正确性的验证流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一目标对象和第二目标对象等是用于区别不同的目标对象，而不是用于描述目标对象的特定顺序。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。例如，多个处理单元是指两个或两个以上的处理单元；多个***是指两个或两个以上的***。

在一种应用场景下，当TOF相机发射的能量遇到高反区域（如眼镜镜片等）或者曝光时间过长时，会出现过曝现象，此时由TOF相机采集数据计算得到的深度值的置信度会比较低。通常，过曝区域的深度值会被判定为无效深度，进而导致该区域的深度信息丢失。由此，通过TOF相机获取的深度图是存在误差的，需要进行校正，以提高深度图的精准度。

图1a示例性示出了通过TOF相机获取的深度图（图1a中深度图以灰度图的形式示出）。TOF相机采集图像时，由于发射的能量遇到眼镜镜片而导致过曝现象，过曝区域如图1a中区域1和区域2所示。在区域1和区域2中，过曝像素点的深度值的置信度比较低，通常会被判定为无效深度。由此，如图1a所示的深度图是存在误差的，需要进行校正。

在另一种应用场景下，TOF相机设置于电子设备（例如手机等）屏幕下。在此情形下，当TOF相机采集数据时，由于屏幕的结构会导致衍射现象的发生。此时，在通过TOF相机获取的深度图中，衍射区域像素点的深度值与实际深度值会产生偏差。由此，通过电子设备屏下TOF相机获取的深度图也是存在误差的，需要进行校正，以提高深度图的精准度。

图1b和图1c分别示例性示出了通过屏下TOF相机获取的深度图（图1b和图1c中深度图以灰度图的形式示出）。屏下TOF相机采集图像时会出现衍射现象，衍射区域可以参见图1b中区域3所示，以及图1c中区域4和区域5所示。在区域3、区域4和区域5中，大量像素点的深度值与实际深度值存在偏差。由此，如图1b和图1c所示的深度图也是存在误差的，需要进行校正。

将存在误差的深度图用于3D防伪、深度测量、人脸支付等应用中，无疑会对相应的识别结果或测量结果等产生影响。因此，对通过TOF相机获取的且存在误差的深度图进行校正以提高深度图的精准度，是亟待解决的技术问题。

如图2所示为电子设备100的结构示意图。可选地，电子设备100可以为终端，也可以称为终端设备，终端可以为蜂窝电话（cellular phone）或平板电脑（pad）等，本申请不做限定。需要说明的是，电子设备100的结构示意图可以适用于图1a~图1c中设置TOF相机的电子设备，例如手机等。应该理解的是，图2所示电子设备100仅是电子设备的一个范例，并且电子设备100可以具有比图中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图2中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器，陀螺仪传感器，加速度传感器，温度传感器，运动传感器，气压传感器，磁传感器，距离传感器，接近光传感器，指纹传感器，触摸传感器，环境光传感器，骨传导传感器等。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器110中还可以设置存储器，用于存储指令和数据。

充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星***(globalnavigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP 用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

在本申请实施例中，摄像头193可以包括TOF摄像头（或者称之为TOF相机）。TOF相机用于采集TOF数据。在某些实现方式中，TOF相机被设置为电子设备的前置相机，用于采集电子设备的显示屏前方的TOF数据。例如，采集位于电子设备的显示屏之前的人脸的TOF数据。

在某些实现方式中，TOF相机包括TOF传感器、TOF传感器控制器、TOF光源以及TOF光源控制器。

在某些实施方式中，TOF光源控制器受TOF传感器控制器的控制，实现对TOF光源的控制。TOF光源在TOF光源控制器的控制下，发射红外（Infrared Radiation，IR）光。TOF传感器用于感应红外光在物体（例如人脸等）反射的光线，以采集TOF数据。TOF传感器控制器以及TOF光源控制器可以与处理器110通信。其中，处理器110还可以用于根据TOF相机采集的TOF数据生成TOF图像，包括红外图像和深度图像。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理，使得电子设备100实现本申请实施例中的图像处理方法。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

压力传感器用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器可以设置于显示屏194。电子设备100也可以根据压力传感器的检测信号计算触摸的位置。

触摸传感器，也称“触控面板”。触摸传感器可以设置于显示屏194，由触摸传感器与显示屏194组成触摸屏，也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。

按键190包括开机键（或称电源键），音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息。

电子设备100的软件***可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的操作***为例，示例性说明电子设备100的软件结构。

图3是本申请实施例的电子设备100的软件结构框图。

电子设备100的分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android***分为四层，从上至下分别为应用程序层，应用程序框架层，硬件抽象层（hardware abstraction layer，HAL）和内核层。

应用程序层可以包括一系列应用程序包。

如图3所示，应用程序包可以包括支付应用、3D防伪应用、深度测量应用、深度图校正应用等应用程序。

其中，深度图校正应用可以用于对深度图中的衍射区域和过曝区域进行像素深度校正。

在某些实施方式中，深度图校正应用可以为***级应用程序。

在某些实施方式中，深度图校正应用可以调整为应用程序框架层中的深度图校正服务，本申请对此不做限定。

应用程序框架层为应用程序层的应用程序提供应用编程接口（ApplicationProgramming Interface，API）和编程框架，包括各种组件和服务来支持开发者的安卓开发。应用程序框架层包括一些预先定义的函数。如图3所示，应用程序框架层可包括视图***、窗口管理器、摄像头服务等。其中，

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

视图***包括可视控件，例如显示文字的控件，显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

摄像头服务用于响应于应用的请求，调用摄像头（包括前置摄像头和后置摄像头）。

HAL层为位于操作***内核与硬件电路之间的接口层。如图3所示，HAL层包括但不限于：摄像头硬件抽象层（Camera HAL）。其中，Camera HAL用于对图像流进行处理。

内核层是硬件和上述软件层之间的层。内核层至少包含显示驱动，TOF相机驱动，传感器驱动。其中，该硬件可以包括TOF相机，显示屏，处理器，以及存储器等器件。

可以理解的是，图3示出的软件结构中的层以及各层中包含的部件，并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的层，以及每个层中可以包括更多或更少的部件，本申请不做限定。

可以理解的是，电子设备为了实现本申请实施例中的图像处理方法，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例提供一种图像处理方法，具体的，针对待校正深度图像，电子设备在将其衍射区域像素点和/或过曝像素点的深度值设置为无效值后，首先将待校正深度图像转换为待修复点云图像，然后对待修复点云图像进行修复得到已修复点云图像，再将已修复点云图像转换回深度图像，作为与待校正深度图像对应的已校正深度图像，以此实现对通过TOF相机获取的深度图像的校正，提高深度图像的精准度。

在一个可能的场景中，一些应用程序是基于深度图像实现相关功能的，例如3D防伪、深度测量、人脸识别等。若深度图像存在误差，必然会对应用程序的处理结果产生影响，因此需要提高深度图像的精准度。下述以支付应用为例，对相关应用场景进行详细解释说明。关于深度测量应用、3D防伪应用等，也是类似的，本申请实施例不再赘述。

下面结合图4所示的各模块的交互流程示意图，对支付应用基于深度图像进行人脸识别的过程进行详细说明，参照图4，具体包括：

S401, 支付应用调用摄像头服务，摄像头服务进行相应处理。

示例性的，在支付应用启动后，响应于用户的相关操作，例如可以是点击某个选项等，支付应用启动摄像头服务。可选的，支付应用向摄像头服务发送请求消息，请求小时中可以包括但不限于支付应用的应用ID（例如可以是应用程序包名）。

关于摄像头服务的处理流程可以参照已有技术，在此不再赘述。

S402，摄像头服务调用Camera Hal。

S403，Camera Hal调用内核层中的摄像头驱动。

S404，摄像头驱动调用TOF相机。

示例性的，摄像头服务调用Carema Hal，Carema Hal进行相应处理，例如建立对应的实例。示例性的，Carema Hal调用摄像头驱动，摄像头驱动进行相应处理，例如建立对应的实例。

示例性的，TOF相机响应于摄像头驱动的调用，开始采集TOF数据，TOF数据可以生成红外图像和深度图像。其中，TOF相机采集图像的红外图像和深度图像的像素点是一一对应的。关于红外图像和深度图像的生成过程，可以参照已有技术实施例中技术方案，在此不再赘述。

S405，TOF相机将采集到的图像输出至摄像头驱动。

S406，摄像头驱动图像输出至Camera Hal。

S407，Camera Hal将图像输出至摄像头服务。

示例性的，摄像头驱动获取TOF相机采集的图像，并将TOF相机采集的图像输出至Carema Hal。Carema Hal将TOF相机采集的图像输出至摄像头服务。

其中，TOF相机采集的图像可以包括红外图像和深度图像。

S408，摄像头服务将图像输出至深度图像校正应用。

摄像头服务将TOF相机采集的图像（包括红外图像和深度图像）图像输出至深度图像校正应用，以通过深度图像校正应用对深度图像进行校正，提高深度图像的精准度。

在另一种可能的实施方式中，摄像头服务将图像输出至支付应用，支付应用在将图像发送至深度图像校正应用，以通过深度图像校正应用对深度图像进行校正。

S409，深度图像校正应用对深度图像进行校正，并将校正后的深度图像发送至支付应用。

在另一种可能的实施方式中，深度图像校正应用在对深度图像进行校正后，可以将校正后的深度图像以及红外图像一同发送至支付应用。本申请对此不做限定。

进而，支付应用可以根据校正后的深度图像进行人脸识别以及其他相关操作。其中，支付应用的相关操作，可以参照已有技术实施例中技术方案，在此不再赘述。

一个可能的场景为：TOF相机设置于电子设备屏下（TOF相机可以称之为屏下TOF相机）。此时，通过TOF相机采集图像，图像衍射区域中像素点的深度值与实际深度存在偏差，需要进行深度值修正。另个一个可能的场景为：TOF相机设置于无屏环境下（也即TOF相机非屏下TOF相机，或者TOF相机可以称之为无屏TOF相机）。此时，通过TOF相机采集图像，图像中过曝像素点的深度值的置信度比较低。

由此，通过TOF相机获取的深度图像需要被校正，可以将其称之为待校正深度图像。深度图像校正应用接收到待校正深度图像之后，对其进行校正，并将校正后的深度图像发送至支付应用，以使支付应用可以根据较为精准的深度图像进行人脸识别以及其他相关操作。

场景一

在本场景中，TOF相机为屏下TOF相机，深度图像校正应用需要对衍射区域像素点的深度值进行校正。下述对深度图像的校正流程进行详细解释说明。

如图5所示为深度图像校正流程示意图。参照图5，本实施例提供的深度图像校正应用对深度图像进行校正的流程，具体包括：

S501, 深度图像校正应用获取红外图像和衍射光斑模板集合，并在红外图像上进行多目标模板匹配。

由于，TOF相机采集图像的深度图像和红外图像的像素点是一一对应的。在本实施例中，基于红外图像进行衍射区域的识别。具体的，深度图像校正应用基于衍射光斑模板集合在红外图像上进行多目标模板匹配，以识别红外图像中的衍射区域。

其中，衍射光斑模板集合中包括一系列衍射光斑模板。衍射光斑模板，也可以称之为衍射光斑模板图像。不同衍射光斑模板用于描述不同的衍射情形。

针对同一种形状的衍射光斑，可以预设有对应的多个衍射光斑模板。衍射光斑模板集合中可以包括与多种形状的衍射光斑分别对应的多个衍射光斑模板。示例性的，衍射光斑模板的图像尺寸可以为137*137像素。

如图6所示为衍射光斑模板的生成流程示意图。参照图6，本实施例提供的衍射光斑模板的生成流程，具体包括：

S601,电子设备获取衍射仿真PSF。

PSF（Point Spread Function，点扩展函数），用于描述成像***对点源或点对象的响应，也可以称之为用于描述聚焦光学***的脉冲响应。在本实施例中，电子设备获取的PSF是与衍射相关的，用于进行衍射仿真的。

S602, 电子设备创建一个空白图像矩阵掩膜。

其中，空白图像矩阵掩膜指的是不包含任何图像内容的图像矩阵掩膜，例如可以是点像素值均为0的图像矩阵掩膜。示例性的，空白图像矩阵掩膜的图像尺寸为137*137像素。

S603,电子设备在空白图像矩阵掩膜中心创建多边形光斑，得到光斑掩膜。

示例性的，在光斑掩膜中，多边形光斑的像素值为1。

其中，多边形光斑的形状可以根据实际成像***中的反射光斑形状确定，以模拟实际情形。本实施例不对多边形光斑的形状进行限定。

电子设备在空白图像矩阵掩膜中心创建的多边形光斑的大小不同、数量不同，创建的多个多边形光斑的位置排列不同，得到的光斑掩膜就不同，以此可以模拟不同情形的衍射光斑。

电子设备基于空白图像矩阵掩膜和多种不同的多边形光斑，即可得到一系列光斑掩膜。图7a示例性的示出了一系列光斑掩膜，图7a中的（1）~（6）均是光斑掩膜的一种示例。

S604,电子设备在光斑掩膜中将多边形光斑的中心能量进行重新分配，得到光斑调整掩膜。

示例性的，电子设备在光斑掩膜中根据传感器（sensor）的cross talk进行光斑中心点的能量恢复，并将能量随机重新分配给光斑中心的周围的像素点，以得到光斑调整掩膜。其中，光斑调整掩膜是在空白图像矩阵掩膜的基础上模拟光斑后得到的图像矩阵掩膜。

针对每一个光斑掩膜，电子设备可以将多边形光斑的中心能量进行不同程度的放大，并将放大后的能量重新随机分配给光斑中心的周围的像素点，以此可以得到与该光斑掩膜对应的多种不同光斑调整掩膜。这样，电子设备可以生成一系列光斑调整掩膜。

S605,电子设备将衍射仿真PSF与光斑调整掩膜进行卷积，得到一个衍射光斑模板。

其中，光斑调整掩膜不同的，得到的衍射光斑模板就不同。

针对一系列光斑调整掩膜，电子设备将衍射仿真PSF分别与各个光斑调整掩膜进行卷积，即可得到一系列衍射光斑模板。

图7b示例性的示出了与图7a中一系列光斑掩膜对应的一系列衍射光斑模板，图7c示例性的示出了与图7a中一系列光斑掩膜对应的另一系列衍射光斑模板。以图7a中的（1）所示的光斑掩膜为例，图7b中的（1）和图7c中的（1）所示的衍射光斑模板均是与该光斑掩膜对应的，且图7b中的（1）所示的衍射光斑模板与图7c中的（1）所示的衍射模板所对应的光斑能量是不同的。关于图7a中的（2）~（6）所示的光斑掩膜，也是类似的，在此不再赘述。

需要注意的是，执行衍射光斑模板的生成流程的电子设备，可以是执行深度图像校正流程的电子设备，也可以是其他电子设备，本实施例对此不做限定。示例性的，若执行衍射光斑模板的生成流程的电子设备为执行深度图像校正流程的电子设备，则可以通过电子设备应用程序层中的模板生成模块执行衍射光斑模板的生成流程。

S502, 深度图像校正应用判断是否匹配到衍射光斑模板，若是，则执行S503，若否，则执行S511。

如果红外图像不能匹配到任意一个衍射光斑模板，则表明与红外图像对应的深度图像是不需要校正的。此时，深度图像校正应用可以将接收到深度图像作为已校正深度图像发送给支付应用。

如果红外图像匹配到任意一个衍射光斑模板，则表明与红外图像对应的深度图像是需要校正的。此时，深度图像校正应用继续执行对接收到深度图像进行校正的操作。

S503, 深度图像校正应用统计目标衍射光斑模板中的衍射像素点数量，其中，目标衍射光斑模板为匹配成功的衍射光斑模板。

深度图像校正应用基于衍射光斑模板集合在红外图像上进行多目标模板匹配，若红外图像中某区域与某个衍射光斑模板匹配成功，则将该衍射光斑模板作为目标衍射光斑模板，将该区域作为需要进行深度校正的区域，可以称该区域为目标区域或衍射区域。

在每个衍射光斑模板中，各个像素点的衍射强度不同。其中，衍射强度可以根据像素点的灰度值确定，灰度值越大，衍射强度越高。

深度图像校正应用可以根据像素点的衍射强度在衍射光斑模板中划分衍射像素点和非衍射像素点。示例性的，若像素点的灰度值大于第一灰度阈值，则将该像素点划分为衍射像素点，否则将该像素点划分为非衍射像素点。

S504, 深度图像校正应用判断是否存在衍射像素点数量超过预设数量阈值的目标衍射光斑模板，若是，则执行S505，若否，则执行S506。

针对每个目标衍射光斑模板，统计该衍射光斑模板中衍射像素点的数量，与预设数量阈值进行比较。其中，衍射光斑模板中衍射像素点的数量可以用于表示衍射光斑模板中衍射区域的尺寸，预设数量阈值可以用于对衍射光斑模板中的衍射区域的大小进行评估。

示例性的，若目标衍射光斑模板中衍射像素点数量超过预设数量阈值，则深度图像校正应用可以认为与该目标衍射光斑模板匹配的目标区域的校正难度较高，或者称该目标区域无法被校正。若目标衍射光斑模板中衍射像素点数量未超过预设数量阈值，则深度图像校正应用可以认为与该目标衍射光斑模板匹配的目标区域的校正难度较低，或者称该目标区域可以被校正。

S505, 深度图像校正应用向支付应用发送指示信息。

当红外图像能够匹配成功任意一个衍射像素点数量超过预设数量阈值的衍射光斑模板时，深度图像校正应用可以向支付应用发送指示信息，以指示深度图像无法被校正，需要调整拍摄方向后重新采集TOF图像等。

示例性的，指示信息中可以包括但不限于指示内容和TOF图像采集调整方式等。其中，指示内容例如可以是用于指示需要重新采集TOF图像的标识等；TOF图像采集调整方式例如可以是拍摄角度调整方向和/或调整幅度等。

示例性的，深度图像校正应用可以根据衍射像素点数量超过预设数量阈值的目标衍射光斑模板中衍射区域的大小，以及与该目标衍射光斑模板匹配的目标区域在红外图像中的位置，确定拍摄角度调整方向和/或调整幅度等。

进而，支付应用接收到指示信息后，通过信息提示框向用户进行提示，以提示用户调整角度后使TOF相机重新进行图像采集。

一般情况下，图像中衍射光斑的大小以及数量与拍摄角度相关。当衍射光斑太大时，图像的整体质量偏差，深度图的校正难度增大准确度也会降低。因此，为了提高拍摄图像的质量，电子设备可以根据当前拍摄的图像进行判别，并进行相应的拍摄指导。

图8中（1）和图8中（2）分别示例性的示出了一种应用场景。如图8中（1）所示，支付应用通过提示框801提示用户调整拍摄角度重新进行图像采集；如图8中（2）所示，支付应用通过提示框802提示用户调整拍摄角度重新进行图像采集，以及提示角度调整方向。

在用户调整拍摄角度后，电子设备重新执行如上所示的S401~S408的步骤，深度图校正应用接收到TOF相机重新采集的红外图像之后，重复执行如图5所示的深度图像校正流程。如果TOF相机再次采集到的红外图像，依旧能够匹配成功任意一个衍射像素点数量超过预设数量阈值的衍射光斑模板，则深度图像校正应用继续向支付应用发送指示信息，以指示用户调整拍摄角度重新进行图像采集，直至红外图像无法匹配成功任意一个衍射光斑模板，或者匹配成功的任意衍射光斑模板中的衍射像素点数量均不超过预设数量阈值。

图9示例性的示出了一种应用场景。随着用户拍摄角度的调整，TOF相机采集到的红外图像能够匹配成功的衍射光斑模板的变化，可以参照图9。如图9所示，当TOF相机采集到的红外图像，能够匹配成功衍射光斑模板901时，若衍射光斑模板901中衍射像素点数量超过预设数量阈值，则电子设备提示用户调整拍摄角度。当用户调整拍摄角度之后，假设TOF相机重新采集到的红外图像能够匹配成功衍射光斑模板902，若衍射光斑模板902中衍射像素点数量依旧超过预设数量阈值，则电子设备再次提示用户调整拍摄角度。当用户再次调整拍摄角度之后，假设TOF相机重新采集到的红外图像能够匹配成功衍射光斑模板903，若衍射光斑模板903中衍射像素点数量依旧超过预设数量阈值，则电子设备再次提示用户调整拍摄角度。当用户又一次调整拍摄角度之后，假设TOF相机重新采集到的红外图像能够匹配成功衍射光斑模板904，若衍射光斑模板904中衍射像素点数量未超过预设数量阈值，则电子设备通过深度图像校正应用进行深度图像校正。

S506, 深度图像校正应用将深度图像中目标区域中的像素点的深度值设置为无效值；其中，目标区域为与目标衍射光斑模板匹配成功的区域。

在红外图像能够匹配成功的任意一个衍射光斑模板中，如果衍射像素点数量均未超过预设数量阈值，则深度图像校正应用对相应的深度图像进行校正。

首先，深度图像校正应用将深度图像中与各个目标衍射光斑模板匹配成功的目标区域（也即衍射区域）中各像素点的深度值设置为无效值，例如设置为0。

由于实际分析可知，衍射区域各像素点的深度值差异跟衍射的强度相关。因此，作为一种可选的实施方式，深度图像校正应用将衍射区域中灰度值高于第二灰度阈值的像素点的深度值设置为无效值。

S507, 深度图像校正应用将深度图像转换为点云图像。

针对衍射区域像素点重设无效深度值后的深度图像，深度图像校正应用将其转换为点云图像。

示例性的，深度图像校正应用利用TOF相机的内参参数，将深度图像转换为点云图像，此时得到的点云图像可以称之为待修复点云图像。

其中，TOF相机的内参主要包括光心（或称投影中心）C（cx,cy），以及焦距F（fx,fy）。

深度图像变换到点云图像的计算公式如下：

。

其中，x、y、z是点云坐标，x’、y’是图像像素的坐标，D表示图像像素点的深度值。

图10示例性的示出了一种应用场景。图10中（1）示例性的示出了衍射区域像素点重设无效深度值后的深度图像（以灰度图形式示出），图10中（2）示例性的示出了由图10中（1）所示的深度图转换后得到的点云图像（以灰度图形式示出）。参照图10中（1），区域1001和区域1002为衍射区域，区域内部分像素点的深度值为无效值。参照图10中（2），区域1003和区域1004为待修复的点云区域。

S508, 深度图像校正应用对点云图像进行修复。

深度图像校正应用将待校正的深度图像映射为点云图像之后，可以基于点云补洞的算法进行点云信息修复。

示例性的，深度图像校正应用首先对输入的点云图像进行预处理去噪，然后提取孔洞的边界点，最后通过迭代传播的方式缩小孔洞区域，直到没有新的填充点生成，以此完成对点云图像的修复。

其中，深度图像校正应用在进行点云图像修复时，可以只针对衍射区域和过曝区域进行。图11示例性的示出了一种应用场景。图11中（1）示例性的示出了孔洞修补前的点云图像（以灰度图形式示出），图11中（2）示例性的示出了孔洞修补后的点云图像（以灰度图形式示出）。参照图11中（1），区域1101和区域1102示出了衍射区域点云未修复的情形。参照图11中（2），区域1103和区域1104示出了衍射区域点云修复后的情形。

除此之外，参照图11中（1），区域1105示例性示出了非衍射区域中点云孔洞情形。上述对衍射区域和过曝区域中点云孔洞的修补方法，也可以用于对非衍射区域中点云孔洞进行修补。

S509, 深度图像校正应用将修复完成的点云图像转换为深度图像，作为校正后的深度图像。

示例性的，深度图像校正应用利用TOF相机的内外参参数，将修复完成的点云图像转换为深度图像，此时得到的深度图像可以称之为已校正深度图像。

其中，点云图像变换到深度图像的计算公式如下：

。

其中，（cx,cy）为光心（或称投影中心），（fx,fy）为焦距，（x,y,z）为点云坐标，（u,v）是图像像素的坐标，z为对应的像素坐标的深度值，可以在像素点（u,v）对应的位置填入深度z值。

需要注意的是，深度图像校正应用在将点云图像变换到深度图像时，需要考虑遮挡效应和投射问题，以提高深度图像的准确性。

在本实施例中，深度图像校正应用在将点云图像变换到深度图像时，为了消除遮挡效应，当存在映射到相同像素坐标的多个物体时，在深度图像中仅保留深度值最小的物体，也即与该像素坐标对应的多个深度值中选取最小的一个深度值，作为与该像素坐标对应的目标深度值。

在本实施例中，深度图像校正应用在将点云图像变换到深度图像时，为了解决透射问题，采用灰度图形态学滤波的方法。其中，常规的形态学滤波一般作用于二值图像，灰度图的形态学滤波则包含基于灰度图的形态学膨胀和腐蚀。在这里，将深度图当成灰度图，使用腐蚀运算或膨胀运算调整窗口中心点像素的深度值。具体的，如果某个窗口中心点的深度值大于窗口中心点周围其他像素点的深度值时，根据中心点周围其他像素点的深度值重新确定窗口中心点的深度值。其中，

深度图形态学膨胀运算的计算公式为：

。

其中，

为膨胀后的深度图。

深度图形态学腐蚀运算的计算公式为：

。

其中，

为腐蚀后的深度图。

至此，深度图像校正应用对待校正深度图像（存在衍射区域）完成校正，得到校正后的深度图像。

图12示例性的示出了一种应用场景。图12中（1）示例性的示出了受衍射的深度图图像（以灰度图形式示出），也即待校正的深度图像，其中，衍射区域可以参照区域1201所示。深度图像校正应用在与图12中（1）所示的深度图像对应的红外图像上进行多目标模板匹配，假设区域1201与某个匹配成功，且在该衍射光斑模板种衍射像素点数量未超过预设数量阈值，则可以将区域1201中衍射较强（如中灰度值高于第二灰度阈值）的像素点的深度值设置为无效值，此时深度图像可以参照图12中（2）（以灰度图形式示出），衍射区域可以参照区域1202所示。深度图像校正应用将如图12中（2）所示的深度图像转换为点云图像，并在对该点云图像进行孔洞修补后，再将其转换为深度图像，得到已校正的深度图像，可以参照图12中（3）（以灰度图形式示出），校正后的衍射区域可以参照区域1203所示。

S510, 深度图像校正应用验证校正后的深度图像是否正确，若是，则执行S511，若否，则执行S505。

深度图像校正应用对校正后的深度图像进行正确性验证。如果验证结果指示正确，则深度图像校正应用将校正后的深度图像发送至支付应用；如果验证结果指示不正确，则深度图像校正应用可以向支付应用发送指示信息，以指示深度图像无法被校正，需要调整拍摄方向后重新采集TOF图像等。

图13示例性的示出了一种深度图像校正正确性验证的方法流程图。参照图15，针对校正衍射区域像素点的深度值得到的深度图像，深度图像校正应用进行深度图像校正正确性验证的过程，具体包括：

S1301, 深度图像校正应用根据目标衍射光斑模板的灰度值的亮度掩膜，得到由衍射造成的亮度差异模板。

其中，目标衍射光斑模板为与红外图像匹配成功的衍射光斑模板。

示例性的，亮度差异模板中各个像素点的亮度差值为：本像素点与中心像素点的亮度差值。

S1302, 深度图像校正应用计算校正前后衍射区域像素点的深度值差异，得到深度差异模板。

其中，深度差异模板中各个像素点的深度差值为：衍射区域校正后像素点的深度值与衍射区域校正前像素点的深度值的差值。

S1303, 深度图像校正应用判断亮度差异模板和深度差异模板的变化规律是否一致，若是，则执行S1304，若否，则执行S1308。

S1304, 深度图像校正应用判断深度差异模板中各个像素点的深度差值是否在预设深度差异范围内，若是，则执行S1305，若否，则执行S1308。

其中，假设衍射区域除了中心过曝区域的最大深度偏差为d_max，最小深度偏差为d_min，则在预设深度差异范围为[d_min, dmax]。

S1305, 深度图像校正应用计算校正前后深度图像的结构相似性。

在前述判断条件均满足的前提下，深度图像校正应用基于类似于灰度图相似度计算的方式，计算校正前后深度图像的SSIM（Structural Similarity，结构相似性）值，以最终确认校正前后深度图像的相似度值。

关于图像SSIM值的计算方式，可以参照已有技术，在此不再赘述。

S1306, 深度图像校正应用判断结构相似性是否超过预设相似阈值，若是，则执行S1307，若否，则执行S1308。

如果深度图像校正应用判断出结构相似性超过预设相似阈值，则可以认定校正后的深度图像是正确的，否则可以认定校正后的深度图像是不正确的。

S1307, 深度图像校正应用验证校正后的深度图像正确。

S1308, 深度图像校正应用验证校正后的深度图像不正确。

至此，针对校正衍射区域像素点的深度值得到的深度图像，深度图像校正应用完成对深度图像校正正确性的验证。

由实际分析可知，通常衍射区域的深度值变化存在一定的范围。因此，可以预设一个上下深度偏差阈值，深度图像校正应用根据该上下深度偏差阈值以及未发生衍射的相邻像素点的深度值对校正后的深度图像进行校验，以得到校正后的深度图像的正确性炎验证结果。

S511, 深度图像校正应用向支付应用发送深度图像。

在一种情形下，如果红外图像不能匹配到任意一个衍射光斑模板，则表明与红外图像对应的深度图像是不需要校正的。此时，深度图像校正应用可以将接收到深度图像作为已校正深度图像发送给支付应用。

在另一种情形下，深度图像校正应用对接收到的深度图像进行校正，并将校正完成且完成正确性验证的深度图像发送至支付应用。

进而，支付应用可以根据精准度较高的深度图像进行人脸识别以及其他相关操作。

场景二

在本场景中，TOF相机为无屏TOF相机，深度图像校正应用需要对过曝像素点的深度值进行校正。下述对深度图像的校正流程进行详细解释说明。

如图14所示为深度图像校正流程示意图。参照图14，本实施例提供的深度图像校正应用对深度图像进行校正的流程，具体包括：

S1401, 深度图像校正应用将深度图像中过曝像素点的深度值设置为无效值。

示例性的，无效值可以为0。

S1402, 深度图像校正应用将深度图像转换为点云图像。

针对深度图像中过曝像素点重设无效深度值后的深度图像，深度图像校正应用将其转换为点云图像。

深度图像变换到点云图像的计算公式如下：

。

图15示例性的示出了一种应用场景。图15中（1）示例性的示出了存在过曝像素点的深度图像（以灰度图形式示出），图15中（2）示例性的示出了由图15中（1）所示的深度图转换后得到的点云图像（以灰度图形式示出）。参照图15中（1），区域1501中包括过曝像素点。参照图15中（2），区域1502为待修复的点云区域。

S1403, 深度图像校正应用对点云图像进行修复。

S1404, 深度图像校正应用将修复完成的点云图像转换为深度图像，作为校正后的深度图像。

其中，点云图像变换到深度图像的计算公式如下：

。

深度图形态学膨胀运算的计算公式为：

。

其中，

为膨胀后的深度图。

深度图形态学腐蚀运算的计算公式为：

。

其中，

为腐蚀后的深度图。

至此，深度图像校正应用对待校正深度图像（包括过曝像素点）完成校正，得到校正后的深度图像。

进一步的，深度图像校正应用可以对校正后的深度图像进行正确性验证。如果验证结果指示正确，则深度图像校正应用将校正后的深度图像发送至支付应用；如果验证结果指示不正确，则深度图像校正应用可以向支付应用发送指示信息，以指示深度图像无法被校正，需要调整拍摄方向后重新采集TOF图像等。

图16示例性的示出了一种深度图像校正正确性验证的方法流程图。参照图16，针对校正过曝像素点的深度值得到的深度图像，深度图像校正应用进行深度图像校正正确性验证的过程，具体包括：

S1601, 深度图像校正应用计算校正前后深度图像的结构相似性。

深度图像校正应用基于类似于灰度图相似度计算的方式，计算校正前后深度图像的SSIM值，以确认校正前后深度图像的相似度值。

S1602, 深度图像校正应用判断结构相似性是否超过预设相似阈值，若是，则执行S1603，若否，则执行S1604。

S1603, 深度图像校正应用验证校正后的深度图像正确。

S1604, 深度图像校正应用验证校正后的深度图像不正确。

至此，针对校正过曝像素点的深度值得到的深度图像，深度图像校正应用完成对深度图像校正正确性的验证。

需要指出的是，针对不同的场景，例如深度图像校正应用对衍射区域像素点的深度值进行校正，又例如深度图像校正应用对过曝像素点的深度值进行校正，深度图像校正应用进行深度图像校正正确性验证的方法可以是不同的，本申请实施例对此不做限定。

本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的图像处理方法。

本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的图像处理方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的图像处理方法。

其中，本实施例提供的电子设备（如手机等）、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims

1.一种图像处理方法，其特征在于，包括：

获取第一深度图像；其中，所述第一深度图像中目标像素点的深度值为无效值；

将所述第一深度图像转换为第一点云图像；

对所述第一点云图像进行修复，得到第二点云图像；

将第二点云图像转换为第二深度图像；其中，所述第二深度图像为与所述第一深度图像对应的已校正深度图像；

其中，在所述获取第一深度图像之前，还包括：

获取第三深度图像，以及与所述第三深度图像对应的红外图像；其中，所述第三深度图像和所述红外图像是通过第一TOF相机采集的；所述第一TOF相机设置于电子设备的显示屏下；

使用衍射光斑模板集合，在所述红外图像上进行多目标模板匹配，确定匹配成功的目标衍射光斑模板；

将所述第三深度图像目标区域中像素点的深度值设置为无效值，得到所述第一深度图像；其中，所述目标区域为与所述目标衍射光斑模板匹配成功的区域。

2.根据权利要求1所述的方法，其特征在于，在确定匹配成功的目标衍射光斑模板之后，还包括：

统计所述目标衍射光斑模板中的衍射像素点数量；

将所述第三深度图像目标区域中像素点的深度值设置为无效值，包括：

如果所述目标衍射光斑模板中的衍射像素点数量未超过预设数量阈值，则将所述第三深度图像目标区域中像素点的深度值设置为无效值。

3.根据权利要求2所述的方法，其特征在于，还包括：

如果所述目标衍射光斑模板中的衍射像素点数量超过预设数量阈值，则显示提示信息；其中，所述提示信息用于指示用户调整拍摄角度重新拍摄。

4.根据权利要求1或2所述的方法，其特征在于，将所述第三深度图像目标区域中像素点的深度值设置为无效值，包括：

将所述第三深度图像目标区域中衍射像素点的深度值设置为无效值；其中，所述衍射像素点在所述红外图像中的灰度值高于预设灰度阈值。

5.根据权利要求1所述的方法，其特征在于，所述衍射光斑模板的生成方法包括：

获取衍射仿真点扩展函数；

创建空白图像矩阵掩膜；

在所述空白图像矩阵掩膜中心创建多边形光斑，得到光斑掩膜；

在所述光斑掩膜中将多边形光斑的中心能量进行重新分配，得到光斑调整掩膜；

将所述衍射仿真点扩展函数与所述光斑调整掩膜进行卷积，得到所述衍射光斑模板。

6.根据权利要求1所述的方法，其特征在于，在将第二点云图像转换为第二深度图像之后，还包括：

根据所述目标衍射光斑模板的灰度值的亮度掩膜，得到由衍射造成的亮度差异模板；

计算所述第二深度图像和所述第三深度图像中衍射区域像素点的深度值差异，得到深度差异模板；

如果所述亮度差异模板和所述深度差异模板的变化规律一致，且所述深度差异模板中各个像素点的深度差值在预设深度差异范围内，则计算所述第二深度图像和所述第三深度图像的结构相似性；

如果所述结构相似性超过预设相似阈值，则确定所述第二深度图像校正正确。

7.根据权利要求6所述的方法，其特征在于，还包括：

如果确定所述第二深度图像校正不正确，则显示提示信息；其中，所述提示信息用于指示用户调整拍摄角度重新拍摄。

8.根据权利要求1所述的方法，其特征在于，在所述获取第一深度图像之前，还包括：

获取第四深度图像，以及所述第四深度图像中的过曝像素点；其中，所述第四深度图像是通过第二TOF相机采集的；

在所述第四深度图像中，将所述过曝像素点的深度值设置为无效值，得到所述第一深度图像。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

以及一个或多个计算机程序，其中所述一个或多个计算机程序存储在所述存储器上，当所述计算机程序被所述一个或多个处理器执行时，使得所述电子设备执行权利要求1至8中任一项所述的图像处理方法。

10.一种计算机可读存储介质，包括计算机程序，其特征在于，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1-8中任意一项所述的图像处理方法。