CN115880206A - 图像准确度判断方法、装置、设备及存储介质、程序产品 - Google Patents
图像准确度判断方法、装置、设备及存储介质、程序产品 Download PDFInfo
- Publication number
- CN115880206A CN115880206A CN202111130794.XA CN202111130794A CN115880206A CN 115880206 A CN115880206 A CN 115880206A CN 202111130794 A CN202111130794 A CN 202111130794A CN 115880206 A CN115880206 A CN 115880206A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- image
- picture
- cloud picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本申请提供了一种图像准确度判断方法、装置、设备及存储介质、程序产品；本申请实施例可以应用于云技术、人工智能、智慧交通、车载等各种场景，涉及图像处理技术；该方法包括：获取待判断深度图，以及待判断深度图所包含的拍摄对象的基准点云图；其中，基准点云图是扫描得到的精度不小于精度阈值的点云图；针对待判断深度图进行点云图的转换，得到转换点云图；其中，转换点云图记录了基于待判断深度图所记录的深度值重建出的拍摄对象各点的三维坐标信息；基于对转换点云图和基准点云图进行重合度检测，确定出待判断深度图的准确度，实现图像准确度判断。通过本申请，能够提高图像准确度的判断精度。
Description
技术领域
本申请涉及图像处理技术，尤其涉及一种图像准确度判断方法、装置、设备及存储介质、程序产品。
背景技术
深度图是指将从图像采集器到拍摄场景中的各点的深度作为像素值的图像，能够反映拍摄场景中的物体的深度信息。深度图一般由深度相机采集得到，深度相机广泛应用在人脸支付***、自动驾驶***中。
深度相机在使用之前，需要先经过对其所采集的深度图进行准确性验证，从而保证实际使用过程中深度相机所采集的深度图可信的。相关技术中，存在针对深度图的立体准确度的判断效果较差的问题，最终使得图像准确度判断的精度较低。
发明内容
本申请实施例提供一种图像准确度判断方法、装置及存储介质、程序产品，能够提高图像准确度的判断精度。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种图像准确度判断方法，包括：
获取待判断深度图，以及所述待判断深度图所包含的拍摄对象的基准点云图；其中，所述基准点云图是扫描得到的精度不小于精度阈值的点云图，所述基准点云图记录了所述拍摄对象各点的真实的三维坐标信息；
针对所述待判断深度图进行点云图的转换，得到转换点云图；其中，所述转换点云图记录了基于所述待判断深度图所记录的深度值重建出的所述拍摄对象各点的三维坐标信息；
基于对所述转换点云图和所述基准点云图进行重合度检测，确定出所述待判断深度图的准确度，实现图像准确度判断。
本申请实施例提供一种图像准确度判断装置，包括：。
图像获取模块，用于获取待判断深度图，以及所述待判断深度图所包含的拍摄对象的基准点云图；其中，所述基准点云图是扫描得到的精度不小于精度阈值的点云图，所述基准点云图记录了所述拍摄对象各点的真实的三维坐标信息；
图像转换模块，用于针对所述待判断深度图进行点云图的转换，得到转换点云图；其中，所述转换点云图记录了基于所述待判断深度图所记录的深度值重建出的所述拍摄对象各点的三维坐标信息；
准确度判断模块，用于基于对所述转换点云图和所述基准点云图进行重合度检测，确定出所述待判断深度图的准确度，实现图像准确度判断。
在本申请的一些实施例中，所述准确度判断模块，还用于通过将所述转换点云图与所述基准点云图进行配准，生成多个匹配点对；基于对所述多个匹配点对分别进行重合度计算，得到所述待判断深度图的所述准确度。
在本申请的一些实施例中，所述准确度判断模块，还用于对所述多个匹配点对的每个匹配点对所包含的至少两点进行距离计算，得到多个点对距离；依据所述多个点对距离，计算出所述转换点云图与所述基准点云图的重合度；将所述重合度转换为所述待判断深度图的准确度。
在本申请的一些实施例中，所述准确度判断模块，还用于从所述多个点对距离中，分别筛选出所述转换点云图中与坐标原点最近的N个点对应的第一距离，以及与所述坐标原点最远的N个点对应的第二距离；将N个第一距离的均值与N个第二距离的均值的差异，确定为所述转换点云图与所述基准点云图的所述重合度；其中，N为正整数。
在本申请的一些实施例中，所述准确度判断模块，还用于从所述多个点对距离中，筛选出处于所述转换点云图的目标区域的M个点所对应的第三距离；对M个第三距离进行高斯分布方差的计算，得到所述转换点云图与所述基准点云图的所述重合度；其中，M为正整数。
在本申请的一些实施例中，所述图像准确度判断装置还包括：参数确定模块，用于依据所述转换点云图确定出所述拍摄对象的重建形状参数，并依据所述基准点云图，确定出所述拍摄对象的基准形状参数；
所述准确度判断模块，还用于通过所述重建形状参数和所述基准形状参数之间的差异，确定出所述待判断深度图的所述准确度。
在本申请的一些实施例中，所述转换点云图包括：多个点云图；所述准确度判断模块，还用于针对所述多个点云图中每个点云图的每个点，从所述基准点云图中筛选出距离最小的候选点；基于所述每个点云图中的每个点和对应的候选点之间的刚体变换，生成所述每个点云图对应的变换点云图；从所述基准点云图中，筛选出与所述每个点云图对应的所述变换点云图的每个点距离最小的匹配点，并利用所述变换点云图的每个点和对应的匹配点，生成多个变换点对；将所述每个点云图对应的变换点云图进行融合，得到融合点云图，并针对所述融合点云图中的每个点，从所述多个变换点对中确定出所述多个匹配点对。
在本申请的一些实施例中，所述变换参数包括：旋转参数和平移参数；所述准确度判断模块，还用于通过对所述每个点云图的每个点和对应的所述候选点进行距离最小的刚体变换，确定出所述旋转参数和所述平移参数；针对所述每个点云图进行所述旋转参数和所述平移参数所对应的变换，得到所述每个点云图对应的所述变换点云图。
在本申请的一些实施例中，所述准确度判断模块，还用于从所述每个点云图对应的变换点云图中，筛选出目标变换点云图；针对所述目标变换点云图中的每个点，计算出与其他变换点云图中的各个点的法向差距和空间距离；其中，所述其他变换点云图是指所述每个点云图对应的变换点云图中除所述目标变换点云图之外的变换点云图；依据所述法向差距和所述空间距离，针对所述目标变换点云图的每个点，从所述其他变换点云图中筛选出待融合点；将所述目标变换点云图的每个点和对应的所述待融合点进行加权融合，得到所述融合点云图。
在本申请的一些实施例中，所述准确度判断模块，还用于针对所述目标变换点云图的每个点，从所述基准点云图中确定出目标匹配点，以及针对所述待融合点，从所述基准点云图中确定出融合匹配点；利用所述目标变换点云图中的每个点与所述目标匹配点之间的距离，确定出所述目标变换点云图每个点的第一融合权重；利用所述待融合点与所述融合匹配点之间的距离，确定出所述待融合点的第二融合权重；依据所述第一融合权重和所述第二融合权重，对所述目标变换点云图的每个点和所述待融合点进行加权融合，得到所述融合点云图。
在本申请的一些实施例中，所述待判断深度图包括：连续的多个深度图；所述图像转换模块，还用于对所述多个深度图分别进行降采样，得到多个降采样深度图；将所述多个降采样深度图，以及所述多个深度图均进行图像转换，得到多个点云图；将所述多个点云图，确定为所述转换点云图。
本申请实施例提供一种用于图像准确度判断的电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的图像准确度判断方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的图像准确度判断方法。
本申请实施例提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现本申请实施例提供的图像准确度判断方法。
本申请实施例具有以下有益效果：电子设备能够将待判断深度图转换成点云图，通过计算转换点云图与基准点云图的重合度，明确依据待判断深度值重建出的拍摄对象的各点的三维坐标信息，与拍摄对象的各点的真实三维坐标信息之间的差异，从而能够判断依据深度图所确定出的物体的空间坐标是否与物体实际的空间坐标相符，提高了对深度图的立体准确度的判断效果，也就提升了图像准确度的判断精度。
附图说明
图1是散斑结构光成像***的示意图；
图2是点云图的示意图；
图3是本申请实施例提供的图像准确度判断***的架构示意图；
图4是本申请实施例提供的图3中的终端的结构示意图；
图5是本申请实施例提供的图像准确度判断方法的流程示意图一；
图6是本申请实施例提供的基准点云图的示意图；
图7是本申请实施例提供的相机坐标系转换为像素坐标系的示意图；
图8是本申请实施例提供的转换关系的示意图；
图9是本申请实施例提供的相机外参的示意图；
图10是本申请实施例提供的图像准确度判断方法的流程示意图二；
图11是本申请实施例提供的用于进行重合度判断的参考点的示意图；
图12是本申请实施例提供的图像准确度判断方法的流程示意图三；
图13是本申请实施例提供的图像准确度判断方法的流程示意图四；
图14是本申请实施例提供的判断人脸支付***中的3D相机所拍摄的深度图的准确度的原理示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)深度相机，是指能够拍摄出拍摄空间的景深距离的相机。相比于普通的彩色相机，深度相机能够记录物体与相机的距离，从而能够得到图像中的每个点的三维坐标，通过三维坐标就能够还原真实场景，实现场景建模等应用。
2)彩色图，是指由彩色传感器采集自然光并成像所得到的。彩色图像利用红、绿、蓝三元组(三种基色)的二维矩阵来表示，三种基色的每个数值处于0-255之间，0表示相应的基色在该像素点中没有出现，而255表示相应基色在该像素中取得最大值。
3)深度图，是指将从图像采集器到拍摄场景中的各点的深度作为像素值的图像。深度图可以由红外传感器采集散斑结构红外光，然后再解析散斑得到深度图。深度图是一种图像或图像通道，其中包含与常见对象的表面到视点的深度信息。深度图的每个像素点表示深度相机平面与被拍摄物体平面之间的垂直距离。需要说明的是，深度图中虽然也包含物体的深度信息，但是物体的x坐标和y坐标，是像素坐标。
4)红外图，是由红外传感器采集泛红外光呈现的红外图。
5)散斑结构光，是指通过红外散斑投射器投出的按一定结构规律排列的点阵光。
6)散斑结构光成像，是深度相机常见的一种成像方式。在散斑结构光成像中，一般由一个红外激光投射器向物体表面投射散斑结构光，再由一个红外传感器进行采集，从而根据三角测量原理就可以还原出物体表面的三维(3D)坐标信息，获得深度图。
示例性的，图1是散斑结构光成像***的示意图。散斑结构光成像***1-1对人脸1-2进行扫描，就能够得到人脸的深度图。其中，散斑结构光成像***1-1中包括红外散斑投射器1-11和红外传感器1-12，红外散斑投射器1-11用于向人脸1-2投射结构光图案，红外传感器1-12用于采集人脸表面反射的结构光图案，以便于通过结构光图案的形变来计算人脸表面的空间信息，得到深度图。
7)点云图，记录了物体在真实世界中的立体(3D)坐标信息。点云图可以通过深度图和相机参数计算获得。点云图可以在3D渲染引擎中显示，以反映不同的点的3D位置关系。
示例性的，图2是点云图的示意图，在点云图中通过点云2-1，表示了真实世界中的手部的3D坐标信息。
8)相机内参，是用来描述真实世界中的物体在相机传感器上成像时，3D坐标与成像后的像素坐标之间的转换关系的参数。深度图和点云图可以通过相机参数相互转换。
9)相机坐标系，是指以相机光心为坐标原点，光轴为z轴，x轴、y轴平行于相机成像的像素平面的x轴、y轴的坐标系。需要说明的是，通过深度图和相机内参转化获得的3D坐标就是在相机坐标系下的坐标。
10)相机外参，是用来描述其他3D坐标系与相机坐标系转换关系的参数。当有多个相机时，物体点在一个相机的相机坐标系坐标通过旋转矩阵和平移矩阵转换到另一个相机坐标系时，旋转矩阵和平移矩阵就是这不同相机之间的外参，从而，相机外参描述了不同相机坐标之间的转换关系。
11)活体检测，判断利用深度相机进行检测的对象是否为活体的过程。例如，在人脸支付中，通常是判断刷脸者是真人、照片还是硅胶模型，一般来说，可以通过深度图来判断刷脸者是否为相片，通过红外图的亮度来判断刷脸者是否为硅胶模型。
12)对比识别，即识别人脸支付时的刷脸者是哪个用户的过程，一般是通过彩色图提取特征，进行特征相似度的比对，然后通过深度图辅佐对比三维特征相似度，以得到识别结果。
深度图是指将从图像采集器到拍摄场景中的各点的深度作为像素值的图像，能够反映拍摄场景中的物体的深度信息。深度图一般由深度相机采集得到，深度相机广泛应用在人脸支付***中的活体检测和对比识别，以及自动驾驶***中。
深度相机在使用之前，需要先经过对其所采集的深度图进行准确性验证，从而保证实际使用过程中深度相机所采集的深度图可信的。
相关技术中，通常利用深度图所反映的水平面的深度，与测量得到的水平面的实际深度进行比较，利用深度图所反映的深度距离和实际距离的差值大小，来判断出深度图的准确度。然而，这种方式能够得到物体到相机平面的距离的准确程度，即适用于判断深度图水平面的准确度，而难以判断依据深度图所确定出的物体的空间坐标是否与物体实际的空间坐标相符，从而不适用于判断深度图的立体准确度，使得针对深度图的立体准确度的判断效果较差，最终使得图像准确度的判断精度较低。
本申请实施例提供一种图像准确度判断方法、装置、设备和存储介质、程序产品，能够提高图像准确度的判断精度。下面说明本申请实施例提供的用于进行图像准确度判断的电子设备的示例性应用，本申请实施例提供的电子设备可以实施为笔记本电脑，平板电脑，台式计算机，移动设备等各种类型的用户终端，也可以实施为服务器。下面，将说明电子设备实施为终端时的示例性应用。
参见图3，图3是本申请实施例提供的图像准确度判断***的架构示意图。为实现支撑一个图像准确度判断应用，在图3所示出的图像准确度判断***100中，终端400通过网络300连接深度相机200和高精度扫描仪500，网络300可以是广域网或者局域网，又或者是二者的组合。
终端400用于从深度相机200获取待判断深度图，以及从高精度扫描仪500获取待判断深度图所包含的拍摄对象的基准点云图，其中，基准点云图是高精度扫描仪500扫描得到的精度不小于精度阈值的点云图，基准点云图记录了拍摄对象各点的真实的三维坐标信息；针对待判断深度图进行点云图的转换，得到转换点云图，其中，转换点云图记录了基于待判断深度图所记录的深度值重建出的拍摄对象的三维坐标信息；基于对待判断点云图和基准点云图进行重合度检测，确定出待判断深度图的准确度，实现图像准确度判断。
在一些实施例中，终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能家电、车载终端等，但并不局限于此。终端400和深度相机200、高精度扫描仪500可以通过有线或无线通信方式进行直接或间接地连接，本发明实施例中不做限制。
参见图4，图4是本申请实施例提供的图3中的终端的结构示意图，图4所示的终端400包括：至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。终端400中的各个组件通过总线***440耦合在一起。可理解，总线***440用于实现这些组件之间的连接通信。总线***440除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图4中将各种总线都标为总线***440。
处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器450可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。
存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。
在一些实施例中，存储器450能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作***451，包括用于处理各种基本***服务和执行硬件相关任务的***程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块452，用于经由一个或多个(有线或无线)网络接口420到达其他计算设备，示例性的网络接口420包括：蓝牙、无线相容性认证(Wi-Fi)、和通用串行总线(USB，Universal Serial Bus)等；
呈现模块453，用于经由一个或多个与用户接口430相关联的输出装置431(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作***设备和显示内容和信息的用户接口)；
输入处理模块454，用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本申请实施例提供的装置可以采用软件方式实现，图4示出了存储在存储器450中的图像准确度判断装置455，其可以是程序和插件等形式的软件，包括以下软件模块：图像获取模块4551、图像转换模块4552、准确度判断模块4553和参数确定模块4554，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在另一些实施例中，本申请实施例提供的图像准确度判断装置可以采用硬件方式实现，作为示例，本申请实施例提供的图像准确度判断装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的图像准确度判断方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
示例性的，本申请实施例提供一种用于图像准确度判断的电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的图像准确度判断方法。
在一些实施例中，电子设备可以通过运行计算机程序来实现本申请实施例提供的图像准确度判断方法。举例来说，计算机程序可以是操作***中的原生程序或软件模块；可以是本地(Native)应用程序(APP，Application)，即需要在操作***中安装才能运行的程序；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。
本申请实施例提供的图像准确度判断方法可以应用于云技术、人工智能、智慧交通、车载等各种场景。下面，将结合本申请实施例提供的用于图像准确度判断的电子设备的示例性应用和实施，说明本申请实施例提供的图像准确度判断方法。
参见图5，图5是本申请实施例提供的图像准确度判断方法的流程示意图一，将结合图5示出的步骤进行说明。
S101、获取待判断深度图，以及待判断深度图所包含的拍摄对象的基准点云图。
本申请实施例是在判断深度图的准确度的场景下实现的，例如，对人脸支付***中的深度相机，或者是自动驾驶***中的深度相机所拍摄的深度图进行准确度判断，以通过深度图的准确度来明确这些深度相机是否准确，或者是对任意深度图进行准确度判断，以明确深度图是否需要重新采集等。电子设备可以从自身的存储空间中获取待判断深度图和基准点云图，也可以从网络上下载待判断深度图和基准点云图，还可以直接调用与其连接的深度相机和用于扫描点云图的高精度扫描仪，通过深度相机对拍摄对象进行拍摄，以获得待判断深度图，通过高精度扫描仪对拍摄对象进行扫描，以获得基准点云图。
需要说明的是，为了准确反映拍摄对象的各点的三维坐标信息，要求基准点云图是扫描得到的精度不小于精度阈值的点云图，即认为基准点云图是拍摄对象准确的点云图，从而，基准点云图记录了拍摄对象各点的真实的三维坐标信息。可以理解的是，待判断深度图和基准点云图的拍摄对象是相同的，如此，才能够准确地确定出待判断深度图的准确度。
可以理解的是，拍摄对象可以是专用的硅胶头模，也可以是，还可以是人脸、常见的物品等等，本申请在此不作限定。
在一些实施例中，待判断深度图中可以包括多个深度图，多个深度图可以是由深度相机对拍摄对象进行连续拍摄所得到的，多个深度图的可以是从相同的拍摄角度对拍摄对象进行拍摄得到的，也可以是从不同的拍摄角度来对拍摄对象进行拍摄得到的。类似的，基准点云图中也可以包括多个基准图，这多个基准图可以是按照同一个角度对拍摄对象进行扫描得到的，也可以是按照不同的角度对拍摄对象进行扫描得到的，本申请在此不作限定。
示例性的，图6是本申请实施例提供的基准点云图的示意图。图像6-1中展示了拍摄对象6-11，电子设备可以通过调用高精度扫描仪，对拍摄对象6-11分别在侧面、正面两个角度进行扫描，得到侧面基准图6-2和正面基准图6-3,。侧面基准图6-2和正面基准图6-3就是基准点云图。
S102、针对待判断深度图进行点云图的转换，得到转换点云图。
电子设备获取待判断深度图对应的相机参数，然后依据相机参数将待判断深度图中的像素点，从像素坐标系转换到三维的相机坐标系，即针对深度图中的每个像素点确定出其在真实世界中的物理坐标，从而得到转换点云图。
也就是说，转换点云图记录了基于待判断深度图所记录的深度值重建出的拍摄对象各点的三维坐标信息，待判断深度图的准确与否，直接决定了这个三维坐标信息是否准确，从而，将其与基准点云图所反映的三维坐标信息进行联合分析，就能够明确待判断深度图是不是准确的。
可以理解的是，待判断深度图对应的相机参数，是指拍摄待判断深度图的深度相机的相机内参。电子设备利用相机内参将相机坐标系的点转换为像素坐标系的点的过程，可以通过图7来说明。
图7是本申请实施例提供的相机坐标系转换为像素坐标系的示意图。在图7中，Oc-XcYcZc是相机坐标系，光心Oc为其原点，单位为m，o-xy是图像坐标系，光心为图像中点，单位为m，uv是像素坐标系，原点为图像的左上角，单位为像素，P(Xc，Yc，Zc)是世界坐标系中的一点，p(x，y)是点P在图像中的成像点，其在图像坐标系(o-x-y)中的坐标为(x，y)，在像素坐标系(o-u-v)中的坐标为(u，v)，f是焦距，此时，从相机坐标系到像素坐标系的转换，可以表示为式(1)：
其中，(u0,v0)表示像素坐标系原点的坐标，fx＝f/dx，fy＝f/dy。
需要说明的是，相机内参反映了深度相机在成像时三维坐标信息与成像后的像素坐标之间的转换关系。示例性的，图8是本申请实施例提供的转换关系的示意图。参见图8，相机平面8-1(坐标系O-x-y-z)上的光心O8-11，到成像平面8-2(O’-x’-y’-z)的垂直距离，就是焦距8-3。三维空间中的任意一点P经过光心8-11在成像平面8-2上的投影为P’，据此，就可以得到相似三角形8-4，例如O-A-P所构成的三角形和O-B-P’构成的三角形，依据相似三角形8-4中的x’和f与真实点P的X和Z之间，就存在着转换关系。
进一步的，深度相机可以是双目相机，而利用双目相机生成深度图时，首先需要将双目相机分别所拍摄到的图像转换到同一个相机坐标系下，即确定出左右相机中哪两个点是对应的。相机外参描述了两个相机坐标系之间转换关系。
示例性的，图9是本申请实施例提供的相机外参的示意图。双目相机中的左相机中心为c0，右相机的中心为c1，P为空间中任意一点，P在c0、c1对应的像平面上的投影分别为x0和x1。c0和c1的连线与像平面9-1和像平面9-2的交点e0和e1为极点，l0和l1为极线，c0、c1和P组成了极平面9-3。可见，左相机的相机坐标系和右相机的相机坐标系，可以通过旋转矩阵R和平移矩阵t来进行转换，即(R，t)来进行转换，旋转矩阵R和平移矩阵t就是相机外参。
需要说明的是，当待判断深度图中包括多个深度图时，电子设备会将多个深度图均转换为点云图，从而转换点云图中包括了多个点云图。
S103、基于对转换点云图和基准点云图进行重合度检测，确定出待判断深度图的准确度，实现图像准确度判断。
待判断点云图和基准点云图的重合程度，能够说明依据待判断深度图所重建出的拍摄对象的三维坐标信息，与拍摄对象真实的三维坐标信息之间的差异情况，从而就能够反映待判断深度图的立体准确度。因此，本申请实施例中，电子设备计算待判断点云图和基准点云图的重合程度，然后依据重合程度，确定出待判断深度图的准确度。如此，能够准确地对待判断深度图的立体准确度进行判断，从而能够更为精确地判断出深度图的准确度。
需要说明的是，电子设备可以直接将转换点云图与基准点云图的重合度，确定为待判断深度图的准确度，也基于转换点云图与基准点云图的重合度，与多个重合级别所对应的阈值进行比较，将该重合度命中的重合级别的预设准确度，确定为待判断深度图的准确度，本申请在此不作限定。
可以理解的是，当转换点云图包括多个点云图时，电子设备可以将多个点云图融合，然后再与基准点云图所包含的多个基准图的融合结果进行重合度检测，也可以先针对每个点云图与多个基准图中与其处于相同角度的基准图进行重合度检测，得到多个重合度，然后将多个重合度进行加权融合，得到待判断深度图的准确度。
本申请实施例中，相比于相关技术中的基于深度图反映的水平面深度，与测量得到的水平面的实际深度确定图像准确度的方式，能够将待判断深度图转换成点云图，通过计算转换点云图与基准点云图的重合度，明确依据待判断深度值重建出的拍摄对象的各点的三维坐标信息，与拍摄对象的各点的真实三维坐标信息之间的差异，从而能够判断依据深度图所确定出的物体的空间坐标是否与物体实际的空间坐标相符，提高了对深度图的立体准确度的判断效果，也就终提升了图像准确度的判断精度。进一步的，由于深度图转换成点云图需要借助于相机参数才能实现，从而通过计算转换点云图和基准点云图的重合度，也能够辅助判断出深度相机的相机参数的准确度。
基于图5，参见图10，图10是本申请实施例提供的图像准确度判断方法的流程示意图二。在本申请的一些实施例中，基于对转换点云图和基准点云图进行重合度检测，确定出待判断深度图的准确度，即S103的具体实现过程，可以包括：S1031-S1032，如下：
S1031、通过将转换点云图与基准点云图进行配准，生成多个匹配点对。
电子设备通过将转换点云图与基准点云图进行配准，从而针对转换点云图中的每个点，在基准点云图中查找到对应的匹配点，利用每个点及其匹配点进行组对，生成多个匹配点对。其中，匹配点对中的各个点分别表征了针对现实世界中的点所重建出的三维坐标信息(转换点云图中的点)，以及现实世界中的点的真实的三维坐标信息(基准点云图中的点)。
S1032、基于对多个匹配点对分别进行重合度计算，得到待判断深度图的准确度。
电子设备针对每个匹配点对中的两个点，进行重合度的计算，得到每个匹配点对的重合度，然后再对每个匹配点对的重合度进行分析，以明确转换点云图与基准点云图的差异，从而就能够准确地分析出待判断深度图的准确度了。
可以理解的是，电子设备可以通过计算每个匹配点对中的各个点的空间距离，来确定出每个匹配点对的重合度，也可以通过计算每个匹配点对中的两个点的投影位置，来确定出每个匹配点对的重合度，还可以通过其他可行的方式确定出每个匹配点对的重合度，本申请在此不作限定。
本申请实施例中，电子设备通过将转换点云图都与基准点云图进行配准，得到多个匹配点对，然后在匹配点对的维度上进行重合度的计算，即针对待判断深度图进行点维度的准确度判断，从而准确度的判断维度更加细致，准确度也就更加精确。
在本申请的一些实施例中，基于对多个匹配点对进行重合度计算，得到待判断深度图的准确度，即S1032的具体实现过程，可以包括：S1032a-S1032c，如下：
S1032a、对多个匹配点对的每个匹配点对所包含的至少两点进行距离计算，得到多个点对距离。
本申请实施例中，每个匹配点对中包含了至少两点。电子设备针对每个匹配点对所包含的至少两点进行距离计算，将计算出的距离作为每个匹配点对所对应的点对距离。在电子设备为多个匹配点对均完成距离计算时，就得到了多个点对距离。
可以理解的是，当每个匹配点对仅包含两个点时，电子设备将这两点间的空间距离，确定为点对距离。当每个匹配点对中包含两个以上的点时，电子设备针对这些点两两求取距离，然后将距离的均值作为最终的点对距离。
S1032b、依据多个点对距离，确定出转换点云图与基准点云图的重合度。
电子设备对多个点对距离进行分析，以明确现实世界中的每个点的重建出的三维坐标信息，以及真实的三维坐标信息的距离，根据该距离就能够判断出转换点云图与基准点云图的差距，得到重合度。
在一些实施例中，电子设备可以直接将多个点对距离的最小距离，或者最大距离确定为重合度，也可以对多个点对距离求平均，将距离均值作为重合度，还可以从多个点对距离中，筛选出处于点云图的特定区域的点所对应的点对距离，以对这些特定区域所对应的点对距离进行分析，得到重合度等，本申请在此不作限定。
S1032c、将重合度转换为待判断深度图的准确度。
电子设备可以直接将重合度确定为待判断深度图的准确度，也可以针对重合度取整、折半、求百分比等转换处理，得到待判断深度图的准确度。
例如，当重合度为0.823时，电子设备可以通过取整，将待判断深度图的准确度确定为0.8等，本申请在此不作限定。
本申请实施例中，电子设备通过计算匹配点对的点对距离，对点对距离进行分析以得到待判断深度图的准确度，从而能够实现在空间距离的维度上衡量待判断深度图的准确度，所求得的准确度更加精确。
在本申请的一些实施例中，依据多个点对距离，计算出转换点云图与基准点云图的重合度，即S1032b的具体实现过程，可以包括：S201-S202，如下：
S201、从多个点对距离中，分别筛选出转换点云图中与坐标原点最近的N个点对应的第一距离，以及与坐标原点最远的N个点对应的第二距离。
电子设备将先从转换点云图中所包含的点中，选择出与相机坐标系的坐标原点最为接近的N个点，以及最远离坐标原点的N个点，作为用于进行重合度判断的参考点。转换点云图中的每个点都有其所属的匹配点对，匹配点对与点对距离之间存在着对应关系，由此，电子设备能够从多个点对距离中，筛选出与坐标原点最近的N个点各自所对应的第一距离，从而得到N个第一距离，以及筛选出与坐标原点最远的N个点各自所对应的第二距离，从而得到N个第二距离，以在后续利用N个第一距离和N个第二距离分析出转换点云图中不同区域的点对的误差分布情况。
可以理解的是，N为正整数。N的数值可以是设置好的，例如，100、200等，也可以是根据转换点云图所包含的点的总数，和电子设备自动生成的取点比例所计算出的。其中，取点比例是指所要提取的点占据转换点云图所包含的点的总数的比例，例如30％，50％等，取点比例可以是电子设备随机生成的，也可以是电子设备根据时间、匹配点对的总数等自动选定的。
示例性的，图11是本申请实施例提供的用于进行重合度判断的参考点的示意图。在图11中，用黑色实心点表示转换点云图中的各个点11-1，电子设备将与坐标原点11-2最接近的30％的点11-3(包含了2个点)，以及与坐标原点11-2最远的30％的点11-4(包含了3个点)，筛选出来作为用于进行重合度判断的参考点，提取这些点所对应的点对距离。
S202、将N个第一距离的均值与N个第二距离的均值的差异，确定为转换点云图与基准点云图的重合度。
电子设备对N个第一距离进行均值计算，得到N个第一距离的均值，同时对N个第二距离进行均值计算，得到N个第二距离的均值。接着，电子设备计算N个第一距离的均值和N个第二距离的均值之间的差异，所计算出的差异结果就是转换点云图与基准点云图之间的准确度。
可以理解的是，电子设备可以通过将N个第一距离的均值和N个第二距离的均值相减，得到差异结果，也可以通过将N个第一距离的均值和N个第二距离的均值相比，得到差异结果，本申请在此不作限定。
本申请实施例中，电子设备可以通过计算转换点云图中不同区域的点的误差情况，来明确转换点云图与基准点云图的重合度，不仅使得通过点对距离计算重合度的方式更加多样，而且对比了不同区域的误差，使得重合度更加准确。
在本申请的一些实施例中，依据多个点对距离，计算出转换点云图与基准点云图的重合度，即S1032b的具体实现过程，可以包括：S203-S204，如下：
S203、从多个点对距离中，筛选出处于转换点云图的目标区域的M个点所对应的第三距离。
电子设备将处于筛选转换点云图的目标区域的M个点筛选出来，作为用于进行判断重合度的参考点，然后从多个点对距离中，获取M个点中的每个点所属的匹配点对所对应的点对距离，将该点对距离记为第三距离，从而，电子设备能够得到M个第三距离。
可以理解的是，目标区域可以是转换点云图中的任意区域，例如，与相机坐标系的坐标原点最接近的30％的区域，也可以是转换点云图中点最密集的区域，本申请在此不作限定。
S204、对M个第三距离进行高斯分布方差的计算，得到转换点云图与基准点云图的重合度。
电子设备针对M个第三距离进行高斯分布的拟合，并计算拟合出的高斯分布进行方差计算，将计算出的方差，确定为重合度，其中，M为正整数。
本申请实施例中，电子设备能够基于对相同区域中的点的点对距离进行统计性的分析，计算出重合度，从而不仅计算重合度的方式更加多样，而且重合度会更加准确。
基于图5，参见图12，图12是本申请实施例提供的图像准确度判断方法的流程示意图三。在本申请的一些实施例中，针对待判断深度图进行点云图的转换，得到转换点云图之后，即在S102之后，该方法还可以包括：S104-S105，如下：
S104、依据转换点云图确定出拍摄对象的重建形状参数，并依据基准点云图，确定出拍摄对象的基准形状参数。
电子设备依据转换点云图，测量出拍摄对象的半径、边长、高度等与形状相关的参数，将这些参数记为重建形状参数。同时，电子设备根据基准点云图，也测量出拍摄对象的半径、边长、高度等与参数，由于基准点云图是准确的，从而依据基准点云图所得到的基准形状参数也是准确的。
S105、通过重建形状参数和基准形状参数之间的差异，确定出待判断深度图的准确度。
电子设备将重建形状参数和基准形状参数相比较，确定出重建形状参数与基准形状参数之间的差异，例如半径的差值、高度的差值等。然后，电子设备对所得到的差异进行进一步的分析处理，例如，将半径的差值、高度的差值的倒数，作为准确度，或者是将差异部分的占比与1的差值，确定为准确度等等，本申请在此不作限定。
进一步的，可以要求拍摄对象是标准形状的物体，例如，正方体、圆柱体、球体等，以便于能够准确地得到待判断深度图的准确度。
本申请实施例中，电子设备还能够基于对拍摄对象进行形状测量，确定出待判断深度图的准确度，从而准确度的判断方式更加多样化。
基于图10，参见图13，图13是本申请实施例提供的图像准确度判断方法的流程示意图四。在本申请的一些实施例中，转换点云图包括：多个点云图，通过将转换点云图与基准点云图进行配准，生成多个匹配点对，即S1031的具体实现过程，可以包括：S1031a-S1031d，如下：
S1031a、针对多个点云图中每个点云图的每个点，从基准点云图中筛选出距离最小的候选点。
电子设备将每个点云图中的每个点，与基准点云图中的各个点进行距离计算，然后从基准点云图中，为每个点云图中的每个点，筛选出与其距离最小的点，将该点确定为每个点所对应的候选点。
也就是说，电子设备针对每个点云图中的每个点，在基准点云图中进行候选点的索引，索引的目标是距离最小。
可以理解的是，电子设备可以针对每个点云图中的每个点的三维坐标信息，与基准点云图中的三维坐标信息进行空间距离计算，得到每个点与基准点云图中的各个点的距离。空间距离的公式如式(2)所示：
其中，(x1,y1,z1)表示每个点云图中的每个点的三维坐标信息，(x2,y2,z2)表示基准点云图中的各个点的三维坐标信息，E是计算出的距离。
S1031b、基于每个点云图中的每个点和对应的候选点之间的刚体变换，生成每个点云图对应的变换变云图。
电子设备求解每个点云图中的每个点，以及其所对应的候选点相互进行刚体变换时的变换参数，然后利用该变换参数，对每个点云图进行变换，得到每个点云图所对应的变换点云图。
需要说明的是，本申请实施例的变换点云图是指与每个点云图的平均距离(即各点距离的平均值)小于预设阈值的变换点云图，在得到变换点云图之前，设备可能会对每个点云图经过了多次迭代变换，直至达到距离阈值要求时，将最后一次迭代变换所得到的点云图确定为变换点云图。
也就是说，电子设备先是针对每个点云图利用变换参数进行变换，得到新的点云图，然后计算新的点云图与原来的每个点云图的平均距离，并判断此时的平均距离是否小于距离阈值，在小于距离阈值时，将新的点云图作为变换点云图，在不小于距离阈值时，将继续对新的点云图进行变换，直至得到满足距离阈值要求的变换点云图。
S1031c、从基准点云图中，筛选出与每个点云图对应的变换点云图的每个点距离最小的匹配点，并利用变换点云图的每个点和对应的匹配点，生成多个变换点对。
电子设备针对变换点云图的每个点，从基准点云图中搜寻与其距离最小的点，将搜寻到的点确定为匹配点。接着，电子设备将变换点云图中的每个点，以及其所对应的匹配点进行组对，就能生成多个变换点对。
S1031d、将每个点云图对应的变换点云图进行融合，得到融合点云图，并针对融合点云图中的每个点，从多个变换点对中确定出多个匹配点对。
每个点云图的变换点云图可能是拍摄对象不同角度的点云图，也可以是拍摄对象相同角度的多个点云图。为了使得拍摄对象的点云图的质量更好，电子设备会将每个点云图所对应的变换点云图进行融合，从而得到拍摄对象的全局点云图，或者是拍摄对应的同一角度的质量更好的点云图，所得到的点云图就是融合点云图。在融合时，电子设备可能会将一些不同的点融合为同一个点，或者将一些点舍弃，从而融合点云图中的各个点是所有点云图对应的变换点云图的各个点中的一部分，从而，电子设备会依据融合点云图中的每个点，从变换点对中确定出其所属的点对，从而得到多个匹配点对。
可以理解的是，当电子设备将不同的点融合为一个点时，可以针对这些点所属的变换点对进行对应融合，融合后的点对就是匹配点对。当电子设备通过舍弃一些点而得到融合点云图时，可以仅将保留下的点所属的变换点对，确定为匹配点对。
本申请实施例中，电子设备能够通过先为每个点云图中的每个点筛选出候选点，然后对每个点云图进行变换，再继续进行匹配点的筛选，从而能够更加精准地确定出每个点所对应的匹配点，最后将每个点云图所对应的变换点云图进行融合，以得到质量更好的点云图，通过该质量更好的点云图中的点与基准点云图中的点所组成的匹配点对，能够在后续更加准确地计算出重合度。
在本申请的一些实施例中，变换参数包括：旋转参数和平移参数，此时，基于每个点云图中的每个点和对应的候选点之间的刚体变换，生成每个点云图对应的变换点云图，即S1031b的具体实现过程，可以包括：S301-S302，如下：
S301、通过对每个点云图的每个点和对应的候选点进行距离最小的刚体变换，确定出旋转参数和平移参数。
S302、针对每个点云图进行旋转参数和平移参数所对应的变换，得到每个点云图对应的变换点云图。
电子设备对每个点云图的每个点，以及所对应的候选点进行距离最小的刚体变换的求解，得到使得每个点和其对应的候选点进行刚体变换时距离最小的旋转参数和平移参数，然后再将每个点云图按照旋转参数进行旋转，按照平移参数进行平移，就得到了对应的变换点云图。
可以理解的是，旋转参数表征了每个点云图需要旋转的度量，平移参数表征了每个点云图需要平移的度量。
本申请实施例中，电子设备可以依据所求得旋转参数和平移参数，来对每个点云图进行相应的变换，从而使得每个点云图进行刚体变换之后成为变换点云图。
在本申请的一些实施例中，将每个点云图对应的变换点云图进行融合，得到融合点云图，即S1031d的具体实现过程，可以包括：S303-S306，如下：
S303、从每个点云图对应的变换点云图中，筛选出目标变换点云图。
电子设备可以从每个点云图对应的变化点云图中，任选一个作为目标变换点云图，也可以是将首个点云图所对应的变换点云图，确定为目标变换点云图，本申请在此不作限定。
S304、针对目标变换点云图中的每个点，计算出与其他变换点云图中的各个点的法向差距和空间距离。
其中，其他变换点云图是指每个点云图对应的变换点云图中除目标变换点云图之外的变换点云图。
也就是说，电子设备计算融合基准点云图的每个点，与除目标变换点云图之外其他变换点云图的各个点的法向差距和空间距离。其中，法向差距是指法向量之间的差距。
S305、依据法向差距和空间距离，针对目标变换点云图的每个点，从所述其他变换点云图中筛选出待融合点。
电子设备将其他变换点云图中，与目标变换点云图的每个点的法向差距小于差距阈值，且空间距离小于距离阈值的点筛选出来，所筛选出的点就是与目标变换点云图的每个点足够接近的点，可以用来进行融合，从而得到待融合点。
需要说明的是，其他变换点云图中，与目标变换点云图的某个点的法向差距不小于差距阈值，或者是空间距离不小于距离阈值的点，电子设备可以将其在融合过程中舍弃，此时，电子设备可以直接将该点确定为融合点云图中的点，也可以将该点舍弃，即找不到对应的待融合的点不参与融合过程。
S306、将目标变换点云图的每个点和对应的待融合点进行加权融合，得到融合点云图。
电子设备针对目标变换点云图中的每个点计算出融合权重，然后利用通过该权重将目标变换点云图中的每个点和对应的待融合点进行带权融合，所得到的融合结果就是融合点云图。
在本申请的一些实施例中，将目标变换点云图的每个点和对应的待融合点进行加权融合，得到融合点云图，即S306的具体实现过程，可以包括：S3061-S3064，如下：
S3061、针对目标变换点云图的每个点，从基准点云图中确定出目标匹配点，以及针对待融合点，从基准点云图中确定出融合匹配点。
电子设备在前述步骤中针对变换点云图中的每个点均从基准点云图中确定出了匹配点，而目标变换点云图与其他变换点云图均属于变换点云图，因此，其每个点也会具有对应的匹配点。电子设备将目标变换点云图的每个点所对应的匹配点记为目标匹配点，将其他变换点云图的待融合点所对应的匹配点记为融合匹配点。
S3062、利用目标变换点云图中的每个点与目标匹配点之间的距离，确定出目标变换点云图每个点的第一融合权重。
S3063、利用待融合点与融合匹配点之间的距离，确定出待融合点的第二融合权重。
电子设备对目标变换点云图的每个点与对应的目标匹配点之间的进行距离计算，得到第一匹配点距离，并对待融合点与融合匹配点进行距离计算，得到第二匹配点距离。接着，电子设备对第一匹配点距离的绝对值进行反比例的拟合处理，例如求取倒数(距离小于1时与1做差，大于1时求取倒数)等，得到第一融合权重。同理的，电子设备会按照待融合点与融合匹配点之间的距离，确定出第二融合权重。
也就是说，第一融合权重和第一匹配点距离，第二融合权重和第二匹配点距离之间均是成反比的，距离越小对应的融合权重就越大。
可以理解的是，在一些实施例中，电子设备可以先执行S3063再执行S3062，也可以同时执行S3062和S3063，本申请在此不作限定。
S3064、依据第一融合权重和第二融合权重，对目标变换点云图的每个点和待融合点进行加权融合，得到融合点云图。
电子设备给目标变换点云图的每个点的三维坐标信息添加第一融合权重，给待融合点的三维坐标信息添加第二融合权重，然后将带权重的两个三维坐标信息相加，就实现了对目标变换点云图的每个点和对应的待融合点的带权融合，从而得到融合点云图。
本申请实施例中，电子设备可以通过目标变换点云图的每个点与对应的目标匹配点之间的距离，以及待融合点和融合匹配点之间的距离，确定出与距离成反比的融合权重，依据该融合权重来进行加权融合，使得与现实世界中真实的点更为解决的点，在融合中占据更大的作用，提高了融合点云图的精准度。
在本申请的一些实施例中，待判断深度图包括：连续的多个深度图，针对待判断深度图进行点云图的转换，得到转换点云图，即S102的具体实现过程，可以包括：S1021-S1023，如下：
S1021、对多个深度图分别进行降采样，得到多个降采样深度图。
电子设备可以通过均值降采样，或者是最大降采样，来将多个深度图进行缩小一倍或者是若干倍，将缩小后的深度图确定为降采样深度图，从而得到多个降采样深度图。
可以理解的是，降采样深度图的数量可以等于深度图的数量，即电子设备针对每个深度图仅进行一次降采样，从而针对每个深度图仅得到对应的一个降采样深度图；降采样深度图的数量也可以大于深度图的数量，即电子设备针对每个深度图进行若干次降采样，从而针对一个深度图得到若干个降采样深度图。
S1022、将多个降采样深度图，以及多个深度图均进行图像转换，得到多个点云图。
S1023、将多个点云图，确定为转换点云图。
由于不同的分辨率的深度图的特征可能会有所不同，因此，为了全方面地对待判断深度图进行准确度的分析，电子设备会将多个降采样深度图，以及多个深度图均进行点云图的转换，从而得到多个点云图，最后利用多个点云图组成转换点云图，以与基准深度图进行重合度的判断。
本申请实施例中，电子设备可以通过降采样来得到不同分辨率下的深度图，并将不同分辨率下的深度图均转换为点云图，以便于在后续与基准点云图进行重合度检测时，能够针对不同分辨率的深度图所对应的点云图都能进行重合度检测，提升重合度检测的全面性，提高图像准确度判断的精度。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。
本申请实施例是在对人脸支付***中的3D相机所拍摄的深度图进行准确度的判断下实现的。此时的3D相机使用的可以是散斑成像***，也可以是彩色双目成像***。
图14是本申请实施例提供的判断人脸支付***中的3D相机所拍摄的深度图的准确度的原理示意图，终端(电子设备)先对拍摄到的深度图14-1(待判断深度图)利用相机内参14-2进行转换，得到点云图14-3(转换点云图)，并针对人脸头模(拍摄对象)等物体，用高精度扫描仪生成标准点云图14-4(基准点云图)，将标准点云图与3D相机拍摄到的深度图14-1所生成的点云图14-3检测点云重合度14-5(对转换深度图和基准深度图进行重合度检测)，从而判断出3D摄像头的重建精度，即深度图的准确度14-6。
进一步，该过程的具体步骤如下：
步骤一：深度图转换为点云图(针对待判断深度图进行点云图的转换，得到转换点云图)，深度图与点云图的坐标转换关系可以通过相机内参来换算，换算时的公式可以参见式(1)。
步骤二：对深度图进行均值降采样(对多个深度图分别进行降采样)，缩小一倍后再次计算三维点和法向量，以便转换为点云图(将多个降采样深度图，以及多个深度图均进行图像转换，得到多个点云图)。
步骤三：使用高精度扫描仪，扫描人体头模等物体，生成高精度的标准点云图(基准点云图是扫描得到的精度不小于精度阈值的点云图)。
步骤四：确定依据3D相机拍摄的深度图生成的点云图，与高精度的标准点云图的对应点对，即将点云图与标准点云图配准(通过将转换点云图与基准点云图进行配准，生成多个匹配点对)。该过程包括了以下步骤：
第一步：假设依据3D相机拍摄的深度图生成的点云图为X2，高精度的标准点云图为X1，计算X2中的每个点在X1中的对应近点(针对多个点云图中每个点云图的每个点，从基准点云图中筛选出距离最小的候选点)，该计算过程可以通过使得式(2)最小实现。
第二步：求解使得第一步中的点对平均距离最小的刚体变换(每个点云图的每个点和对应的候选点进行距离最小刚体变换)，得到平移参数和旋转参数。
第三步：对X2使用第二步所求的的平移参数和旋转参数，得到新的变换点集。
第四步：若新的变换点集与参考点集，即X2满足平均距离小于给定阈值时，则停止迭代，否则新的变换点集作为新的X2继续迭代，直到满足给定阈值的要求，得到变换后的X2(变换点云图)。
第五步：计算变换后的X2的每个点在X1中的对应近点，即确定最终点对(多个变换点对)。
至此，点云图与标准点云图配准过程就完成了。
步骤五：依据将3D摄像头所拍摄到的深度图生成的点云融合到场景的全局模型中，例如，连续取25帧深度图(连续的多个深度图)，对每一帧深度图对应的点云图进行融合。具体在融合时，是将25帧变换后的X2进行融合(将每个点云图对应的变换点云图进行融合)，此时，是将空间距离和法向量差距较小的点进行对应融合(依据法向差距和空间距离，针对目标变换点云图中的每个点，从其他变换点云图中筛选出待融合点，以进行融合)，融合时的权重可以参考与标准点云图的距离值(利用目标变换点云图中的每个点与目标匹配点之间的距离，确定出第一融合权重，以及利用待融合点与融合匹配点之间的距离，确定出第二融合权重)，一般来说，距离值越小权重越大。
步骤六：点云重合度计算，终端将步骤五所得到的融合后的点云图，与标准点云图对应的点计算重合度(针对融合点云图中的每个点，确定出多个匹配点对，基于对多个匹配点对分别进行重合度计算，得到待判断深度图的准确度)。判断重合度的方法可以包括以下方法：
1)求取点对间的最小误差得到重合度，即点对间最小的距离。
2)求取点对间的最大误差得到重合度，即点对间的最大的距离。
3)求取点对间的平均误差得到重合度，即点对的平均距离。
4)求取不同区域的点对误差分布差距得到重合度，例如取离原点最近的30％的点云(与坐标原点最近的N个点对)和最远的30％的点对(与坐标原点最远的N个点对)，计算这些点对的平均距离的差距(N个第一距离的均值与N个第二距离的均值的差异，确定为重合度)。
5)相同区域的点对误差波动情况确定重合度，例如，取离原点最近的50％的点(转换点云图的目标区域的M个点)，拟合点对距离的高斯分布，计算高斯分布的方差(对M个第三距离进行高斯分布方差的计算)，得到重合度。
除了通过重合度判断之外，终端还可以使用标准形状测量点对误差，得到重合度，标准形状包括但不限于正方体、圆柱体、球体等，通过依据3D相机拍摄的深度图所生成的点云图，测量出半径、边长、高度等数据(重建形状参数)，将这些参数与从基准点云图所测量出的数据(基准形状参数)进行对比，直接得到3D相机拍摄的深度图的准确度。
通过上述方式，能够基于3D相机拍摄的深度图所生成的点云图，即实测点云图，与高精度扫描仪扫描得到的标准点云图，即实际点云图之间的重合度，确定出深度图的立体准确度，提升了深度图准确度判断的精度。同时还能够用于判断相机内参和外参的准确性。
下面继续说明本申请实施例提供的图像准确度判断装置455的实施为软件模块的示例性结构，在一些实施例中，如图4所示，存储在存储器450的图像准确度判断装置455中的软件模块可以包括：
图像获取模块4551，用于获取待判断深度图，以及所述待判断深度图所包含的拍摄对象的基准点云图；其中，所述基准点云图是扫描得到的精度不小于精度阈值的点云图，所述基准点云图记录了所述拍摄对象各点的真实的三维坐标信息；
图像转换模块4552，用于针对所述待判断深度图进行点云图的转换，得到转换点云图；其中，所述转换点云图记录了基于所述待判断深度图所记录的深度值重建出的所述拍摄对象各点的三维坐标信息；
准确度判断模块4553，用于基于对所述转换点云图和所述基准点云图进行重合度检测，确定出所述待判断深度图的准确度，实现图像准确度判断。
在本申请的一些实施例中，所述准确度判断模块4553，还用于通过将所述转换点云图与所述基准点云图进行配准，生成多个匹配点对；基于对所述多个匹配点对分别进行重合度计算，得到所述待判断深度图的所述准确度。
在本申请的一些实施例中，所述准确度判断模块4553，还用于对所述多个匹配点对的每个匹配点对所包含的至少两点进行距离计算，得到多个点对距离；依据所述多个点对距离，计算出所述转换点云图与所述基准点云图的重合度；将所述重合度转换为所述待判断深度图的准确度。
在本申请的一些实施例中，所述准确度判断模块4553，还用于从所述多个点对距离中，分别筛选出所述转换点云图中与坐标原点最近的N个点对应的第一距离，以及与所述坐标原点最远的N个点对应的第二距离；将N个第一距离的均值与N个第二距离的均值的差异，确定为所述转换点云图与所述基准点云图的所述重合度；其中，N为正整数。
在本申请的一些实施例中，所述准确度判断模块4553，还用于从所述多个点对距离中，筛选出处于所述转换点云图的目标区域的M个点所对应的第三距离；对M个第三距离进行高斯分布方差的计算，得到所述转换点云图与所述基准点云图的所述重合度；其中，M为正整数。
在本申请的一些实施例中，所述图像准确度判断装置455还包括：参数确定模块4554，用于依据所述转换点云图确定出所述拍摄对象的重建形状参数，并依据所述基准点云图，确定出所述拍摄对象的基准形状参数；
所述准确度判断模块4553，还用于通过所述重建形状参数和所述基准形状参数之间的差异，确定出所述待判断深度图的所述准确度。
在本申请的一些实施例中，所述转换点云图包括：多个点云图；所述准确度判断模块4553，还用于针对所述多个点云图中每个点云图的每个点，从所述基准点云图中筛选出距离最小的候选点；基于所述每个点云图中的每个点和对应的候选点之间的刚体变换，生成所述每个点云图对应的变换点云图；从所述基准点云图中，筛选出与所述每个点云图对应的所述变换点云图的每个点距离最小的匹配点，并利用所述变换点云图的每个点和对应的匹配点，生成多个变换点对；将所述每个点云图对应的变换点云图进行融合，得到融合点云图，并针对所述融合点云图中的每个点，从所述多个变换点对中确定出所述多个匹配点对。
在本申请的一些实施例中，所述变换参数包括：旋转参数和平移参数；所述准确度判断模块4553，还用于通过对所述每个点云图的每个点和对应的所述候选点进行距离最小的刚体变换，确定出所述旋转参数和所述平移参数；针对所述每个点云图进行所述旋转参数和所述平移参数所对应的变换，得到所述每个点云图对应的所述变换点云图。
在本申请的一些实施例中，所述准确度判断模块4553，还用于从所述每个点云图对应的变换点云图中，筛选出目标变换点云图；针对所述目标变换点云图中的每个点，计算出与其他变换点云图中的各个点的法向差距和空间距离；其中，所述其他变换点云图是指所述每个点云图对应的变换点云图中除所述目标变换点云图之外的变换点云图；依据所述法向差距和所述空间距离，针对所述目标变换点云图的每个点，从所述其他变换点云图中筛选出待融合点；将所述目标变换点云图的每个点和对应的所述待融合点进行加权融合，得到所述融合点云图。
在本申请的一些实施例中，所述准确度判断模块4553，还用于针对所述目标变换点云图的每个点，从所述基准点云图中确定出目标匹配点，以及针对所述待融合点，从所述基准点云图中确定出融合匹配点；利用所述目标变换点云图中的每个点与所述目标匹配点之间的距离，确定出所述目标变换点云图每个点的第一融合权重；利用所述待融合点与所述融合匹配点之间的距离，确定出所述待融合点的第二融合权重；依据所述第一融合权重和所述第二融合权重，对所述目标变换点云图的每个点和所述待融合点进行加权融合，得到所述融合点云图。
在本申请的一些实施例中，所述待判断深度图包括：连续的多个深度图；所述图像转换模块4552，还用于对所述多个深度图分别进行降采样，得到多个降采样深度图；将所述多个降采样深度图，以及所述多个深度图均进行图像转换，得到多个点云图；将所述多个点云图，确定为所述转换点云图。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行本申请实施例上述的图像准确度判断方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的图像准确度判断方法，例如，如图5示出的图像准确度判断方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件***中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个电子设备上执行，或者在位于一个地点的多个电子设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个电子设备上执行。
综上所述，通过本申请实施例，能够将待判断深度图转换成点云图，通过计算转换点云图与基准点云图的重合度，明确依据待判断深度值重建出的拍摄对象的各点的三维坐标信息，与各点的实际三维坐标信息的差异，从而能够提高对深度图的立体准确度的判断效果，也就终提升了图像准确度的判断精度。进一步的，由于深度图转换成点云图需要借助于相机参数才能实现，从而通过计算转换点云图和基准点云图的重合度，也能够辅助判断出深度相机的相机参数的准确度。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。
Claims (15)
1.一种图像准确度判断方法，其特征在于，所述图像准确度判断方法包括：
获取待判断深度图，以及所述待判断深度图所包含的拍摄对象的基准点云图；其中，所述基准点云图是扫描得到的精度不小于精度阈值的点云图，所述基准点云图记录了所述拍摄对象各点的真实的三维坐标信息；
针对所述待判断深度图进行点云图的转换，得到转换点云图；其中，所述转换点云图记录了基于所述待判断深度图所记录的深度值重建出的所述拍摄对象各点的三维坐标信息；
基于对所述转换点云图和所述基准点云图进行重合度检测，确定出所述待判断深度图的准确度，实现图像准确度判断。
2.根据权利要求1所述的方法，其特征在于，所述基于对所述转换点云图和所述基准点云图进行重合度检测，确定出所述待判断深度图的准确度，包括：
通过将所述转换点云图与所述基准点云图进行配准，生成多个匹配点对；
基于对所述多个匹配点对分别进行重合度计算，得到所述待判断深度图的所述准确度。
3.根据权利要求2所述的方法，其特征在于，所述基于对所述多个匹配点对分别进行重合度计算，得到所述待判断深度图的所述准确度，包括：
对所述多个匹配点对的每个匹配点对所包含的至少两点进行距离计算，得到多个点对距离；
依据所述多个点对距离，计算出所述转换点云图与所述基准点云图的重合度；
将所述重合度转换为所述待判断深度图的准确度。
4.根据权利要求3所述的方法，其特征在于，所述依据所述多个点对距离，计算出所述转换点云图与所述基准点云图的重合度，包括：
从所述多个点对距离中，分别筛选出所述转换点云图中与坐标原点最近的N个点对应的第一距离，以及与所述坐标原点最远的N个点对应的第二距离；
将N个第一距离的均值与N个第二距离的均值的差异，确定为所述转换点云图与所述基准点云图的所述重合度；其中，N为正整数。
5.根据权利要求3所述的方法，其特征在于，所述依据所述多个点对距离，计算出所述转换点云图与所述基准点云图的重合度，包括：
从所述多个点对距离中，筛选出处于所述转换点云图的目标区域的M个点所对应的第三距离；
对M个第三距离进行高斯分布方差的计算，得到所述转换点云图与所述基准点云图的所述重合度；其中，M为正整数。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述针对所述待判断深度图进行点云图的转换，得到转换点云图之后，所述方法还包括：
依据所述转换点云图确定出所述拍摄对象的重建形状参数，并依据所述基准点云图，确定出所述拍摄对象的基准形状参数；
通过所述重建形状参数和所述基准形状参数之间的差异，确定出所述待判断深度图的所述准确度。
7.根据权利要求2所述的方法，其特征在于，所述转换点云图包括：多个点云图；所述通过将所述转换点云图与所述基准点云图进行配准，生成多个匹配点对，包括：
针对所述多个点云图中每个点云图的每个点，从所述基准点云图中筛选出距离最小的候选点；
基于所述每个点云图中的每个点和对应的候选点之间的刚体变换，生成所述每个点云图对应的变换点云图；
从所述基准点云图中，筛选出与所述每个点云图对应的所述变换点云图的每个点距离最小的匹配点，并利用所述变换点云图的每个点和对应的匹配点，生成多个变换点对；
将所述每个点云图对应的变换点云图进行融合，得到融合点云图，并针对所述融合点云图中的每个点，从所述多个变换点对中确定出所述多个匹配点对。
8.根据权利要求7所述的方法，其特征在于，所述变换参数包括：旋转参数和平移参数；所述基于所述每个点云图中的每个点和对应的候选点之间的刚体变换，生成所述每个点云图对应的变换点云图，包括：
通过对所述每个点云图的每个点和对应的所述候选点进行距离最小的刚体变换，确定出所述旋转参数和所述平移参数；
针对所述每个点云图进行所述旋转参数和所述平移参数所对应的变换，得到所述每个点云图对应的所述变换点云图。
9.根据权利要求7或8所述的方法，其特征在于，所述将所述每个点云图对应的变换点云图进行融合，得到融合点云图，包括：
从所述每个点云图对应的变换点云图中，筛选出目标变换点云图；
针对所述目标变换点云图中的每个点，计算出与其他变换点云图中的各个点的法向差距和空间距离；其中，所述其他变换点云图是指所述每个点云图对应的变换点云图中除所述目标变换点云图之外的变换点云图；
依据所述法向差距和所述空间距离，针对所述目标变换点云图的每个点，从所述其他变换点云图中筛选出待融合点；
将所述目标变换点云图的每个点和对应的所述待融合点进行加权融合，得到所述融合点云图。
10.根据权利要求9所述的方法，其特征在于，所述将所述目标变换点云图的每个点和对应的所述待融合点进行加权融合，得到所述融合点云图，包括：
针对所述目标变换点云图的每个点，从所述基准点云图中确定出目标匹配点，以及针对所述待融合点，从所述基准点云图中确定出融合匹配点；
利用所述目标变换点云图中的每个点与所述目标匹配点之间的距离，确定出所述目标变换点云图每个点的第一融合权重；
利用所述待融合点与所述融合匹配点之间的距离，确定出所述待融合点的第二融合权重；
依据所述第一融合权重和所述第二融合权重，对所述目标变换点云图的每个点和所述待融合点进行加权融合，得到所述融合点云图。
11.根据权利要求1至5、7或8任一项所述的方法，其特征在于，所述待判断深度图包括：连续的多个深度图；所述针对所述待判断深度图进行点云图的转换，得到转换点云图，包括：
对所述多个深度图分别进行降采样，得到多个降采样深度图；
将所述多个降采样深度图，以及所述多个深度图均进行图像转换，得到多个点云图；
将所述多个点云图，确定为所述转换点云图。
12.一种图像准确度判断装置，其特征在于，所述图像准确度判断装置包括：
图像获取模块，用于获取待判断深度图，以及所述待判断深度图所包含的拍摄对象的基准点云图；其中，所述基准点云图是扫描得到的精度不小于精度阈值的点云图，所述基准点云图记录了所述拍摄对象各点的真实的三维坐标信息；
图像转换模块，用于针对所述待判断深度图进行点云图的转换，得到转换点云图；其中，所述转换点云图记录了基于所述待判断深度图所记录的深度值重建出的所述拍摄对象各点的三维坐标信息；
准确度判断模块，用于基于对所述转换点云图和所述基准点云图进行重合度检测，确定出所述待判断深度图的准确度，实现图像准确度判断。
13.一种用于图像准确度判断的电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至11任一项所述的图像准确度判断方法。
14.一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求1至11任一项所述的图像准确度判断方法。
15.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现权利要求1至11任一项所述的图像准确度判断方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111130794.XA CN115880206A (zh) | 2021-09-26 | 2021-09-26 | 图像准确度判断方法、装置、设备及存储介质、程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111130794.XA CN115880206A (zh) | 2021-09-26 | 2021-09-26 | 图像准确度判断方法、装置、设备及存储介质、程序产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115880206A true CN115880206A (zh) | 2023-03-31 |
Family
ID=85762649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111130794.XA Pending CN115880206A (zh) | 2021-09-26 | 2021-09-26 | 图像准确度判断方法、装置、设备及存储介质、程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115880206A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576355A (zh) * | 2024-01-17 | 2024-02-20 | 南昌大藏科技有限公司 | 一种基于ar的文创产品展示方法及展示设备 |
-
2021
- 2021-09-26 CN CN202111130794.XA patent/CN115880206A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576355A (zh) * | 2024-01-17 | 2024-02-20 | 南昌大藏科技有限公司 | 一种基于ar的文创产品展示方法及展示设备 |
| CN117576355B (zh) * | 2024-01-17 | 2024-04-19 | 南昌大藏科技有限公司 | 一种基于ar的文创产品展示方法及展示设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11748906B2 (en) | Gaze point calculation method, apparatus and device | |
| CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
| CN109242961B (zh) | 一种脸部建模方法、装置、电子设备和计算机可读介质 | |
| CN112444242B (zh) | 一种位姿优化方法及装置 | |
| US20130335535A1 (en) | Digital 3d camera using periodic illumination | |
| CN111091063A (zh) | 活体检测方法、装置及*** | |
| CN111444744A (zh) | 活体检测方法、装置以及存储介质 | |
| CN112927363B (zh) | 体素地图构建方法及装置、计算机可读介质和电子设备 | |
| WO2021136386A1 (zh) | 数据处理方法、终端和服务器 | |
| TW201619910A (zh) | 監控系統及其影像處理方法 | |
| CN110213491B (zh) | 一种对焦方法、装置及存储介质 | |
| JP2016537901A (ja) | ライトフィールド処理方法 | |
| CN114219855A (zh) | 点云法向量的估计方法、装置、计算机设备和存储介质 | |
| CN111563924A (zh) | 图像深度确定方法及活体识别方法、电路、设备和介质 | |
| CN115035235A (zh) | 三维重建方法及装置 | |
| WO2023284358A1 (zh) | 相机标定方法、装置、电子设备及存储介质 | |
| CN113298708A (zh) | 三维房型的生成方法、装置及设备 | |
| CN116051736A (zh) | 一种三维重建方法、装置、边缘设备和存储介质 | |
| TW202242803A (zh) | 定位方法、裝置、電子設備及儲存媒體 | |
| WO2020151078A1 (zh) | 一种三维重建的方法和装置 | |
| CN115880206A (zh) | 图像准确度判断方法、装置、设备及存储介质、程序产品 | |
| CN113281780A (zh) | 对图像数据进行标注的方法、装置及电子设备 | |
| CN110288707B (zh) | 一种三维动态建模的方法及其*** | |
| CN113592777B (zh) | 双摄拍照的图像融合方法、装置和电子*** | |
| CN116051876A (zh) | 三维数字化模型的相机阵列目标识别方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |