CN114723796A - 一种三维点云生成方法、装置及电子设备 - Google Patents

Abstract

本公开提供了一种三维点云生成方法、装置及电子设备，涉及人工智能领域，尤其涉及虚拟实现、增强现实、计算机视觉等技术领域。具体方案为：生成第一三维图像的二维深度图；计算二维深度图中多个像素的梯度值，基于多个像素的梯度值对二维深度图进行过滤处理，得到目标深度图；基于目标深度图生成第一三维图像的三维点云。本公开可以提高三维点云的生成效率。

Description

一种三维点云生成方法、装置及电子设备

技术领域

本公开涉及虚拟实现、增强现实、计算机视觉等人工智能技术领域，尤其涉及一种三维点云生成方法、装置及电子设备。

背景技术

在一些场景下，例如，虚拟现实(Virtual Reality，VR)或者增强现实(AugmentedReality，AR)看房等场景，需要获取三维点云。

目前，常用获取三维点云的方式是先基于深度学习直接进行单目深度估计生成三维点云，然后对三维点云进行降噪，然而，这样点云降噪是在三维空间内进行操作，对生成的三维点云进行数学计算。

发明内容

本公开提供了一种用于三维点云生成方法、装置、电子设备及存储介质。

根据本公开的一方面，提供了一种实施例的三维点云生成方法，包括：

生成第一三维图像的二维深度图；

计算二维深度图中多个像素的梯度值，基于所述多个像素的梯度值对所述二维深度图进行过滤处理，得到目标深度图；

基于所述目标深度图生成所述第一三维图像的三维点云。

根据本公开的第二方面，提供了一种实施例的三维点云生成装置，包括：

第一生成模块，用于生成第一三维图像的二维深度图；

过滤模块，用于计算二维深度图中多个像素的梯度值，基于所述多个像素的梯度值对所述二维深度图进行过滤处理，得到目标深度图；

第二生成模块，用于基于所述目标深度图生成所述第一三维图像的三维点云。

第三方面，本公开一个实施例还提供一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开如第一方面提供的三维点云生成方法。

第四方面，本公开一个实施例还提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开如第一方面提供的三维点云生成方法。

第五方面，本公开一个实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开如第一方面提供的三维点云生成方法。

在本公开的实施例中，由于生成第一三维图像的二维深度图，对二维深度图进行过滤处理，再基于过滤后的目标深度图生成三维图像的三维点云，这样可以实现在二维图像上进行过滤，从而节约处理时间，以提高三维点云的生成效率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开提供的一个实施例的三维点云生成方法的流程示意图之一；

图2是本公开提供的一个实施例的三维点云生成方法的流程示意图之二；

图3是本公开提供的一个实施例的三维点云生成方法的流程示意图之三；

图4a是本公开提供的一个实施例的三维点云生成装置的结构示意图之一；

图4b是本公开提供的一个实施例的三维点云生成装置的结构示意图之二；

图4c是本公开提供的一个实施例的三维点云生成装置的结构示意图之三；

图5是用来实现本公开实施例的三维点云生成方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

如图1所示，根据本公开的实施例，本公开提供一种三维点云生成方法，可应用于电子设备，该方法包括：

步骤S101：生成第一三维图像的二维深度图。

可预先获取第一三维图像，第一三维图像可以是任一对象的三维图像，三维图像可以是对象的全景图，可用于VR浏览等。获取第一三维图像后，可生成对应的二维深度图，一方面，可生成第一三维图像对应的深度图，另一方面，可实现从三维到二维的降维处理，得到的深度图为二维深度图。

步骤S102：计算二维深度图中多个像素的梯度值，基于多个像素的梯度值对二维深度图进行过滤处理，得到目标深度图。

在一些实施方式中，上述多个像素可以是上述二维深度图中的每个像素，或者，另一些实施方式中，上述多个像素可以是上述二维深度图中的部分像素，例如：在一些场景中，对于一些边缘区域，可以只计算部分像素，因为，在一些场景中边缘区域像素的梯度值往往是相同或者近似的。

像素的梯度值可以表示该像素在某方向上相对相邻像素的变化率。在本实施例中，可计算二维深度图中多个像素的梯度值，利用二维深度图中多个像素值的梯度值，对二维深度图进行过滤处理，可实现二维深度图中噪声像素的删除，即实现二维深度图降噪，得到目标深度图。可以理解，由于深度图是二维空间的图，在过滤处理过程中，是在二维空间内进行降噪处理，实现图像降噪，得到目标深度图，得到的目标深度图是二维空间的图。

步骤S103：基于目标深度图生成第一三维图像的三维点云。

对二维深度图进行过滤处理得到目标深度图之后，可将二维的目标深度图映射为第一三维图像的三维点云，实现三维点云的生成，由于目标深度图是经过过滤降噪后的深度图，利用目标深度图生成的三维点云，可以理解是降噪后的三维点云，即实现三维点云的降噪。需要说明的是，生成第一三维图像的三维点云的方式有多种，在本实施例中不作具体限定，例如，一个示例中，可通过三维(3D)几何，将目标深度图映射为第一三维图像的三维点云。

在本公开的实施例中，由于生成第一三维图像的二维深度图，对二维深度图进行过滤处理，再基于过滤后的目标深度图生成三维图像的三维点云，这样可以实现在二维图像上进行过滤，从而节约处理时间，以提高三维点云的生成效率。

另外，由于目标深度图是经过过滤处理的深度图，可实现目标深度图中像素数量的减少，如此，利用像素数量减少的目标深度图生成三维点云，减少生成三维点云的耗时，进一步提高获取三维点云的效率。另外，由于目标深度图中像素数量的减少，在生成三维点云的过程中，可减少内存的占用，即可节省内存。

如图2所示，在一个实施例中，包括如下步骤：

步骤S201：生成第一三维图像的二维深度图。

步骤S202：计算二维深度图中多个像素在第一方向和第二方向上的梯度值，其中，第一方向和第二方向垂直；

步骤S203：将二维深度图中第一方向和第二方向上的梯度值均大于预设阈值的像素删除，得到目标深度图。

步骤S204：基于目标深度图生成第一三维图像的三维点云。

其中，像素的梯度值包括第一方向上的梯度值和第二方向上的梯度值，第一方向上的梯度值表示像素在第一方向上的变化率，第二方向上的梯度值标识像素在第二方向上的变化率。第一方向和第二方向垂直，例如，第一方向可以为水平方向(x方向)，则第二方向可以为垂直方向(y方向)，或者，第一方向可以为垂直方向，则第一方向可以为水平方向。

可将二维深度图的像素在第一方向和在第二方向上的梯度值分别与预设阈值进行比较，是将二维深度图中第一方向和第二方向上的梯度值均大于预设阈值的像素删除，实现对二维深度图的像素过滤，即实现对二维深度图的降噪，得到目标深度图。

在本实施例对二维深度图进行像素过滤的过程中，由于是将像素在两个方向上是的梯度值分别与预设阈值比较，像素在两个方向上的梯度值均大于预设阈值的情况下，将该像素删除，实现像素过滤，可提高对二维深度图中像素过滤的准确性。

在一个实施例中，计算二维深度图中多个像素在第一方向和第二方向上的梯度值，包括：

通过预设定义的两个卷积核对二维深度图进行卷积操作，得到二维深度图中多个像素在第一方向和第二方向上的梯度值，其中，两个卷积核分别与第一方向和第二方向对应。

可以理解，二维深度图中多个像素在第一方向上的梯度值通过一个卷积核对二维深度图进行卷积处理得到，二维深度图中多个像素在第二方向上的梯度值通过另一个卷积核对二维深度图进行卷积处理得到。一个示例中，两个卷积核的维度大小可以相同，本实施例中，对卷积核的维度大小不作具体限定，例如，一个示例中，两个卷积核和的维度大小均可以是M×M，即M行M列的卷积核，M为大于1的整数。例如，M可以取3，两个卷积核的形式可分别如表1和表2所示：

表1

-2	0	2
			-4	0	4
-2	0	2

表2

-2	-4	2
			0	0	0
2	4	2

在本实施例中，二维深度图中多个像素在第一方向和第二方向上的梯度值，可通过两个不同的卷积核对二维深度图进行卷积处理得到，以提高二维深度图中多个像素在第一方向和第二方向上的梯度值的准确性。

如图3所示，在一个实施例中，包括以下步骤：

步骤S301：生成第一三维图像的二维深度图。

步骤S302：计算二维深度图中多个像素的梯度值，基于多个像素的梯度值对二维深度图进行过滤处理，得到目标深度图。

步骤S303：基于目标深度图生成第一三维图像的三维点云。

步骤S304：将第一三维图像尺寸进行压缩，得到压缩三维图像；

步骤S305：基于压缩三维图像，计算第一三维图像和第二三维图像的相对位姿，第二三维图像的拍摄点位与第一三维图像的拍摄点位相邻，且第一三维图像和第二三维图像为在相邻拍摄点位对目标对象拍摄得到全景图像；

步骤S306：基于相对位姿将第一三维图像的三维点云与第二三维图像的三维点云进行合并，得到目标对象的三维点云。

需要说明的是，压缩方式有多种，在本实施例中，对第一三维图像进行压缩采用的方式不作具体限定。可预先在相邻拍摄点位分别对目标对象进行拍摄，得到第一三维图像和第二三维图像，例如，摄像机在第一拍摄点位进行拍摄，得到目标对象的第一三维图像，摄像机改变拍摄点位，在与第一拍摄点位相邻的第二拍摄点位进行拍摄，得到目标对象的第二三维图像。需要说明的是，目标对象可以是任一对象，例如，在VR看房场景下，目标对象可以是房间等。

在本实施例中，相对位姿可以反映第一三维图像和第二三维图像之间的位姿差异，由于第一三维图像和第二三维图像是在不同拍摄点位拍摄的图像，两者之间的位姿可能存在差异，可计算第一三维图像和第二三维图像的相对位姿，以确定第一三维图像和第二三维图像之间的位姿差异，再利用相对位姿对第一三维图像的三维点云与第二三维图像的三维点云进行合并，得到目标对象的三维点云，可提高得到的三维点云的准确性。另外，在计算相对位姿之前，可先对第一三维图像尺寸进行压缩，可减少图像尺寸，得到压缩三维图像，在计算相对位姿的过程中，是利用图像尺寸减小的压缩三维图像，计算第一三维图像和第二三维图像的相对位姿，这样可减少计算量且减少内存消耗，提高计算相对位姿的效率，再基于相对位姿将第一三维图像的三维点云与第二三维图像的三维点云进行合并，得到目标对象的三维点云，从而可提高得到目标对象的三维点云的效率。

在一个实施例中，基于压缩三维图像，计算第一三维图像和第二三维图像的相对位姿，包括：

提取压缩三维图像的第一特征点信息；

基于第一特征点信息和第二三维图像的第二特征点信息，计算第一三维图像和第二三维图像的相对位姿。

特征点可以理解是图像中特别、具有代表性或比较显著的点，是可以反应图像一些特征的点，需要说明的是，提取特征点信息的方式有多种，本公开实施中不作具体限定，例如，一个示例中，可通过ORB((Oriented FAST and Rotated BRIEF，快速特征点提取和描述)算子提取压缩三维图像的第一特征点信息，预先可通过ORB算子提取第二三维图像的第二特征点信息，利用第一特征点信息和第二三维图像的第二特征点信息，计算相对位姿。

在本实施例中，在计算相对位姿过程中，提取的是图像尺寸减小的压缩三维图像的第一特征点信息，可提高特征点信息提取效率，而且利用的是第一三维图像的第一特征点信息和第二三维图像的第二特征点信息计算第一三维图像和第二三维图像的相对位姿，可无需利用整张图像的点计算相对位姿，这样可减少计算量且减少内存消耗，从而，可得到相对位姿的效率，再基于相对位姿将第一三维图像的三维点云与第二三维图像的三维点云进行合并，得到目标对象的三维点云，从而可提高得到目标对象的三维点云的效率。与此同时，第一特征点信息可以反映第一三维图像的特别点、具有代表性的点或显著点，第二特征点信息可以反映第二三维图像的特别点、具有代表性的点或显著点，利用第一特征点信息和第二特征点信息，计算第一三维图像和第二三维图像的相对位姿，可提高得到的相对位姿的准确性。

在一个实施例中，基于第一特征点信息和第二三维图像的第二特征点信息，计算第一三维图像和第二三维图像的相对位姿，包括：

基于第一特征点信息和第二三维图像的第二特征点信息，确定第一三维图像和第二三维图像的N个特征点对，其中，N个特征点对中至少部分特征点对的相似度高于其他特征点对的相似度，其他特征点对为第一三维图像和第二三维图像中N个特征点对之外的特征点对，且N为大于1的整数；

基于N个特征点对计算第一三维图像和第二三维图像的本质矩阵。

通过本质矩阵确定第一三维图像和第二三维图像的相对位姿。

可以理解，第一三维图像对应第一特征点信息，第二三维图像对应第一特征点信息，这样，对于第一三维图像和第二三维图像，可形成多个特征点对，任一特征点对中包括第一特征点信息中一个特征点信息以及第二特征点信息中的一个特征点信息，其他特征点对可以为多个特征点对中除N个特征点对之外的特征点对。上述N个特征点对中至少部分特征点对的相似度高于其他特征点对的相似度可以是，N个特征点对中任一特征点对的相似度高于其他特征点对的相似度，即N个特征点对为第一三维图像和第二三维图像中相似度较高的特征点对；上述N个特征点对中至少部分特征点对的相似度高于其他特征点对的相似度可以是，上述N个特征点对N-1或者N-2个特征点对的相似度高于其他特征点对的相似度，该情况下同样可以计算第一三维图像和第二三维图像的本质矩阵。

基于N个特征点对计算第一三维图像和第二三维图像的本质矩阵的过程中，基于N个特征点对对初始本质矩阵进行求解，得到第一三维图像和第二三维图像的本质矩阵，例如：上述N为8的情况下，直接使用8点法求解第一三维图像和第二三维图像的本质矩阵，需要说明的是，本公开除了N为8之外，N还可以等于16、24等数值，这样可以基于更多特征点对求解第一三维图像和第二三维图像的本质矩阵，而对于一些简单的三维图像，也可以采用5个特征点，采用采用5点法对求解第一三维图像和第二三维图像的本质矩阵。

本质矩阵(Essential Matrix)用于反映空间一像素点在不同视角摄像机下的三维图像之间的关系，这样通过本质矩阵可以确定第一三维图像和第二三维图像中多个像素点之间的关系，从而得到第一三维图像和第二三维图像的相对位姿，例如：对本质矩阵进行奇异值分解以得到奇异值分解结果，基于奇异值分解结果确定第一三维图像和第二三维图像的相对位姿。

本实施例中，通过本质矩阵确定第一三维图像和第二三维图像的相对位姿，可以提高相对位姿的准确性。

下面以一个具体实施例对上述三维点云生成方法的过程加以具体说明，以应用于VR看房场景为例，上述方法的过程如下：

首先，可获取房间的第一全景图，估计第一全景图的二维深度图。

然后，可计算二维深度图中多个像素在x方向和y方向上的梯度，例如，可预先分别定义两个卷积核，利用两个卷积核分别对二维深度图进行卷积处理，从而获得二维深度图中多个像素在x方向和y方向上的梯度值。

根据预设阈值筛选像素，即将二维深度图中在x方向和y方向上的梯度值均大于预设阈值的像素作为噪声像素，将其删除，实现噪声过滤，得到目标深度图。

其次，将目标深度图，通过三维几何，映射为第一三维图像的三维点云。

另外，可将第一全景图进行缩小，减小其尺寸，得到压缩三维图像，可使用ORB算子提取压缩三维图像的第一特征点信息，可提高特征点信息提取效率以及减少内存消耗。还可提取第二全景图的第二特征点信息，第二全景图的拍摄点位与第一全景图的拍摄点位相邻，且所述第一全景图和第二全景图为在相邻拍摄点位对房间拍摄得到全景图像，第二全景图的第二特征点信息提取过程与提取压缩三维图像的第一特征点信息的方式相同，不同点在于图像不同，前者是第二全景图，后者是压缩三维图像。

确定相邻的第一全景图和第二全景图中最相似的8个特征点对，使用8点法求解第一全景图和第二全景图的本质矩阵，利用本质矩阵确定第一全景图和第二全景图的相对位姿，可提高获取相对位置的效率。

通过相对位姿将第一全景图的三维点云与第二全景图的三维点云进行合并，得到房间的三维点云，可提高得到的房间的三维点云的准确性。

本公开实施例改进了点云降噪方式，在二维图像上计算要比三维点云上更节省内存以及耗时。另外可通过选择拍摄位置点相邻的三维图像中相似度最高的N个特征点对计算相对位姿，而非使用全部的特合点对，在确保相对位姿的准确性的同时，可进一步降低运行时间。

如图4a所示，根据本公开的实施例，本公开提供一种三维点云生成装置400，可应用于电子设备，该装置400包括：

第一生成模块401，用于生成第一三维图像的二维深度图；

过滤模块402，用于计算二维深度图中多个像素的梯度值，基于多个像素的梯度值对二维深度图进行过滤处理，得到目标深度图；

第二生成模块403，用于基于目标深度图生成第一三维图像的三维点云。

如图4b所示，在一个实施例中，过滤模块402，包括：

第一计算模块4021，用于计算二维深度图中多个像素在第一方向和第二方向上的梯度值，其中，第一方向和第二方向垂直；

删除模块4022，用于将二维深度图中第一方向和第二方向上的梯度值均大于预设阈值的像素删除，得到目标深度图。

在一个实施例中，计算二维深度图中多个像素在第一方向和第二方向上的梯度值，包括：

通过预设定义的两个卷积核对二维深度图进行卷积操作，得到二维深度图中多个像素在第一方向和第二方向上的梯度值，其中，两个卷积核分别与第一方向和第二方向对应。

如图4c所示，在一个实施例中，装置还包括：

压缩模块404，用于将第一三维图像尺寸进行压缩，得到压缩三维图像；

第二计算模块405，用于基于压缩三维图像，计算第一三维图像和第二三维图像的相对位姿，第二三维图像的拍摄点位与第一三维图像的拍摄点位相邻，且第一三维图像和第二三维图像为在相邻拍摄点位对目标对象拍摄得到全景图像；

合并模块406，用于基于相对位姿将第一三维图像的三维点云与第二三维图像的三维点云进行合并，得到目标对象的三维点云。

在一个实施例中，第二计算模块405，包括：

提取模块，用于提取压缩三维图像的第一特征点信息；

计算单元，用于基于第一特征点信息和第二三维图像的第二特征点信息，计算第一三维图像和第二三维图像的相对位姿。

在一个实施例中，计算单元，包括：

特征点对确定子单元，用于基于第一特征点信息和第二三维图像的第二特征点信息，确定第一三维图像和第二三维图像的N个特征点对，其中，N个特征点对中至少部分特征点对的相似度高于其他特征点对的相似度，其他特征点对为第一三维图像和第二三维图像中N个特征点对之外的特征点对，且N为大于1的整数；

矩阵计算子单元，用于基于N个特征点对计算第一三维图像和第二三维图像的本质矩阵；

位姿确定子单元，用于通过本质矩阵确定第一三维图像和第二三维图像的相对位姿。

上述各实施例的三维点云生成装置为实现上述各实施例的三维点云生成方法的装置，技术特征对应，技术效果对应，在此不再赘述。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如三维点云生成方法。例如，在一些实施例中，三维点云生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的三维点云生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行三维点云生成方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式***的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种三维点云生成方法，包括：

生成第一三维图像的二维深度图；

计算二维深度图中多个像素的梯度值，基于所述多个像素的梯度值对所述二维深度图进行过滤处理，得到目标深度图；

基于所述目标深度图生成所述第一三维图像的三维点云。

2.根据权利要求1所述的方法，其中，所述计算二维深度图中多个像素的梯度值，基于所述多个像素的梯度值对所述二维深度图进行过滤处理，得到目标深度图，包括：

计算所述二维深度图中多个像素在第一方向和第二方向上的梯度值，其中，所述第一方向和所述第二方向垂直；

将所述二维深度图中第一方向和第二方向上的梯度值均大于预设阈值的像素删除，得到所述目标深度图。

3.根据权利要求2所述的方法，其中，所述计算所述二维深度图中多个像素在第一方向和第二方向上的梯度值，包括：

通过预设定义的两个卷积核对所述二维深度图进行卷积操作，得到所述二维深度图中多个像素在第一方向和第二方向上的梯度值，其中，所述两个卷积核分别与所述第一方向和所述第二方向对应。

4.根据权利要求1至3中任一项所述的方法，所述方法还包括：

将所述第一三维图像尺寸进行压缩，得到压缩三维图像；

基于所述压缩三维图像，计算所述第一三维图像和第二三维图像的相对位姿，所述第二三维图像的拍摄点位与所述第一三维图像的拍摄点位相邻，且所述第一三维图像和所述第二三维图像为在相邻拍摄点位对目标对象拍摄得到全景图像；

基于所述相对位姿将所述第一三维图像的三维点云与所述第二三维图像的三维点云进行合并，得到所述目标对象的三维点云。

5.根据权利要求4所述的方法，其中，所述基于所述压缩三维图像，计算所述第一三维图像和所述第二三维图像的相对位姿，包括：

提取所述压缩三维图像的第一特征点信息；

基于所述第一特征点信息和所述第二三维图像的第二特征点信息，计算所述第一三维图像和所述第二三维图像的相对位姿。

6.根据权利要求5所述的方法，其中，所述基于所述第一特征点信息和所述第二三维图像的第二特征点信息，计算所述第一三维图像和所述第二三维图像的相对位姿，包括：

基于所述第一特征点信息和所述第二三维图像的第二特征点信息，确定所述第一三维图像和所述第二三维图像的N个特征点对，其中，所述N个特征点对中至少部分特征点对的相似度高于其他特征点对的相似度，所述其他特征点对为所述第一三维图像和所述第二三维图像中所述N个特征点对之外的特征点对，所述N为大于1的整数；

基于所述N个特征点对计算所述第一三维图像和所述第二三维图像的本质矩阵；

通过所述本质矩阵确定所述第一三维图像和所述第二三维图像的相对位姿。

7.一种三维点云生成装置，包括：

第一生成模块，用于生成第一三维图像的二维深度图；

过滤模块，用于计算二维深度图中多个像素的梯度值，基于所述多个像素的梯度值对所述二维深度图进行过滤处理，得到目标深度图；

第二生成模块，用于基于所述目标深度图生成所述第一三维图像的三维点云。

8.根据权利要求7所述的装置，其中，所述过滤模块，包括：

第一计算模块，用于计算所述二维深度图中多个像素在第一方向和第二方向上的梯度值，其中，所述第一方向和所述第二方向垂直；

删除模块，用于将所述二维深度图中第一方向和第二方向上的梯度值均大于预设阈值的像素删除，得到所述目标深度图。

9.根据权利要求8所述的装置，其中，所述计算所述二维深度图中多个像素在第一方向和第二方向上的梯度值，包括：

通过预设定义的两个卷积核对所述二维深度图进行卷积操作，得到所述二维深度图中多个像素在第一方向和第二方向上的梯度值，其中，所述两个卷积核分别与所述第一方向和所述第二方向对应。

10.根据权利要求7至8中任一项所述的装置，所述装置还包括：

压缩模块，用于将所述第一三维图像尺寸进行压缩，得到压缩三维图像；

第二计算模块，用于基于所述压缩三维图像，计算所述第一三维图像和第二三维图像的相对位姿，所述第二三维图像的拍摄点位与所述第一三维图像的拍摄点位相邻，且所述第一三维图像和所述第二三维图像为在相邻拍摄点位对目标对象拍摄得到全景图像；

合并模块，用于基于所述相对位姿将所述第一三维图像的三维点云与所述第二三维图像的三维点云进行合并，得到所述目标对象的三维点云。

11.根据权利要求10所述的装置，其中，所述第二计算模块，包括：

提取模块，用于提取所述压缩三维图像的第一特征点信息；

计算单元，用于基于所述第一特征点信息和所述第二三维图像的第二特征点信息，计算所述第一三维图像和所述第二三维图像的相对位姿。

12.根据权利要求11所述的装置，其中，所述计算单元，包括：

特征点对确定子单元，用于基于所述第一特征点信息和所述第二三维图像的第二特征点信息，确定所述第一三维图像和所述第二三维图像的N个特征点对，其中，所述N个特征点对中至少部分特征点对的相似度高于其他特征点对的相似度，所述其他特征点对为所述第一三维图像和所述第二三维图像中所述N个特征点对之外的特征点对，所述N为大于1的整数；

矩阵计算子单元，用于基于所述N个特征点对计算所述第一三维图像和所述第二三维图像的本质矩阵；

位姿确定子单元，用于通过所述本质矩阵确定所述第一三维图像和所述第二三维图像的相对位姿。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。

Images