CN112734825A - 3d点云数据的深度补全方法和装置 - Google Patents

3d点云数据的深度补全方法和装置 Download PDF

Info

Publication number
CN112734825A
CN112734825A CN202011628608.0A CN202011628608A CN112734825A CN 112734825 A CN112734825 A CN 112734825A CN 202011628608 A CN202011628608 A CN 202011628608A CN 112734825 A CN112734825 A CN 112734825A
Authority
CN
China
Prior art keywords
image
depth
point cloud
cloud data
completion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011628608.0A
Other languages
English (en)
Inventor
陈海波
翟云龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenlan Artificial Intelligence Shenzhen Co Ltd
Original Assignee
Shenlan Artificial Intelligence Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenlan Artificial Intelligence Shenzhen Co Ltd filed Critical Shenlan Artificial Intelligence Shenzhen Co Ltd
Priority to CN202011628608.0A priority Critical patent/CN112734825A/zh
Publication of CN112734825A publication Critical patent/CN112734825A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种3D点云数据的深度补全方法和装置，所述方法包括以下步骤：将待补全的3D点云数据转换为至少两个相机视角下的分别对应的至少两个第一2D图像；基于膨胀操作对每个所述第一2D图像分别进行深度补全，得到对应至少两个第二2D图像；将每个所述第二2D图像转换为对应的3D点云数据，并对转换得到对应的至少两个3D点云数据进行拼接，得到补全后的3D点云数据。本发明能够方便、快速、准确地实现3D点云数据的深度补全。

Description

3D点云数据的深度补全方法和装置
技术领域
本发明涉及点云数据处理技术领域，具体涉及一种3D点云数据的深度补全方法、一种3D点云数据的深度补全装置、一种计算机设备和一种非临时性计算机可读存储介质。
背景技术
激光雷达所采集的3D点云数据属于稀疏点云，而在实际应用中希望得到密集点云。目前，一般采用深度补全技术将稀疏点云补全成密集点云。现有技术通常采用深度学习的方式实现3D点云数据的深度补全，这种方式存在以下缺陷：1、需要大量的训练数据；2、需要硬件GPU支持；3、速度慢，无法实现实时处理。
发明内容
本发明为解决上述技术问题，提供了一种3D点云数据的深度补全方法和装置，能够方便、快速、准确地实现3D点云数据的深度补全。
本发明采用的技术方案如下：
一种3D点云数据的深度补全方法，包括以下步骤：将待补全的3D点云数据转换为至少两个相机视角下的分别对应的至少两个第一2D图像；基于膨胀操作对每个所述第一2D图像分别进行深度补全，得到对应至少两个第二2D图像；将每个所述第二2D图像转换为对应的3D点云数据，并对转换得到对应的至少两个3D点云数据进行拼接，得到补全后的3D点云数据。
所述待补全的3D点云数据由激光雷达获取，所述至少两个相机中的一个相机的位置和光轴均与所述激光雷达相同、其他相机的位置或光轴与所述激光雷达不同。
基于膨胀操作对所述第一2D图像进行深度补全，具体包括：对所述第一2D图像进行深度反转处理，得到第三2D图像；通过膨胀操作填补所述第三2D图像的深度信息，得到第四2D图像；通过闭运算填充所述第四2D图像中的孔洞，得到第五2D图像；对所述第五2D图像进行滤波，得到第六2D图像；对所述第六2D图像进行深度反转处理，得到所述第二2D图像。
在对所述第五2D图像进行中值滤波后，还包括：对中值滤波后的2D图像进行深度拓展、再次填充孔洞和再次滤波。
对2D图像进行深度反转处理，具体包括：对于2D图像中的每一点，判断深度值是否大于预设阈值；如果深度值大于所述预设阈值，则对该点的深度值进行反转。
在通过膨胀操作填补深度信息时，对不同深度的区域使用不同尺寸的卷积核。
一种3D点云数据的深度补全装置，包括：第一转换模块，用于将待补全的3D点云数据转换为至少两个相机视角下的分别对应的至少两个第一2D图像；深度补全模块，用于基于膨胀操作对每个所述第一2D图像分别进行深度补全，得到对应至少两个第二2D图像；第二转换模块，用于将每个所述第二2D图像转换为对应的3D点云数据；拼接模块，用于对转换得到对应的至少两个3D点云数据进行拼接，得到补全后的3D点云数据。
所述待补全的3D点云数据由激光雷达获取，所述至少两个相机中的一个相机的位置和光轴均与所述激光雷达相同、其他相机的位置或光轴与所述激光雷达不同。
所述深度补全模块包括：第一深度反转单元，用于对所述第一2D图像进行深度反转处理，得到第三2D图像；膨胀单元，用于通过膨胀操作填补所述第三2D图像的深度信息，得到第四2D图像；第一填充单元，用于通过闭运算填充所述第四2D图像中的孔洞，得到第五2D图像；第一滤波单元，用于对所述第五2D图像进行滤波，得到第六2D图像；第二深度反转单元，用于对所述第六2D图像进行深度反转处理，得到所述第二2D图像。
所述膨胀单元在通过膨胀操作填补深度信息时，对不同深度的区域使用不同尺寸的卷积核。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述3D点云数据的深度补全方法。
一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述3D点云数据的深度补全方法。
本发明的有益效果：
本发明通过将待补全的3D点云数据转换为至少两个相机视角下的2D图像，然后基于膨胀操作对每个2D图像分别进行深度补全，最后将每个深度补全后的2D图像转换为对应的3D点云数据，并对转换得到的3D点云数据进行拼接，得到补全后的3D点云数据，相对于基于深度学习算法的深度补全来说，利用成熟的2D图像处理技术，运算量小，硬件要求低，处理速度快，可靠性高，并且通过对多视角下的2D图像进行并行处理，能够保证3D点云数据的准确性，由此，能够方便、快速、准确地实现3D点云数据的深度补全。
附图说明
图1为本发明实施例的3D点云数据的深度补全方法的流程图；
图2为本发明实施例的3D点云数据的深度补全装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例的3D点云数据的深度补全方法包括以下步骤：
S1，将待补全的3D点云数据转换为至少两个相机视角下的分别对应的至少两个第一2D图像。
其中，待补全的3D点云数据由激光雷达获取。对于激光雷达获取的3D点云数据，首先可通过预先标定得到的激光雷达与相机的转换矩阵，将3D点云数据转换为2D图像。
应当理解的是，激光雷达的视野范围一般比相机的视野范围大，因此激光雷达获取的数据无法全部转换到一个相机的视野范围内，因此，本发明实施例将待补全的3D点云数据转换为至少两个相机视角下的分别对应的至少两个2D图像，能够扩充视野范围，从而尽可能地避免数据失真。其中，至少两个相机中的一个相机的位置和光轴均与激光雷达相同，其他相机的位置或光轴与激光雷达不同。也就是说，待补全的3D点云数据到至少两个第一2D图像的转换中，只有一个是真实的转换，其它均为虚拟的转换。
S2，基于膨胀操作对每个第一2D图像分别进行深度补全，得到对应至少两个第二2D图像。
具体地，首先可对步骤S1转换得到的第一2D图像进行深度反转处理，得到第三2D图像，再通过膨胀操作填补第三2D图像的深度信息，得到第四2D图像，然后通过闭运算填充第四2D图像中的孔洞，得到第五2D图像，并对第五2D图像进行中值滤波，得到第六2D图像，最后对第六2D图像进行深度反转处理，得到第二2D图像。
在本发明的另一个实施例中，在对第五2D图像进行中值滤波后，还可进一步地对中值滤波后的2D图像进行深度拓展、再次填充孔洞和再次滤波。
其中，对2D图像进行深度反转处理过程如下：对于2D图像中的每一点，判断深度值是否大于预设阈值，如果深度值大于预设阈值，则对该点的深度值进行反转，如果深度值不大于预设阈值，则该点深度值保持不变。对图像中的点的深度值进行反转所依据的反转规则为：d1＝100-d0，其中，d0为反转前的深度值，d1为反转后的深度值。
在通过膨胀操作填补深度信息时，对不同深度的区域可使用不同尺寸的卷积核。具体地，深度较大的区域使用小尺寸的卷积核，深度中等的区域使用中等尺寸的卷积核，深度较小的区域使用大尺寸的卷积核。应当理解，上述的深度较大、深度中等与深度较小，以及小尺寸、中等尺寸与大尺寸，均是一个相对的概念，例如，深度较大的区域、深度中等的区域、深度较小的区域中的深度值的最小值、均值、中位数或数值范围等依次减小，小尺寸的卷积核、中等尺寸的卷积核大尺寸的卷积核中的卷积核尺寸依次增大。深度较大、深度中等、深度较小的区域，以及小尺寸、中等尺寸、大尺寸的卷积核的具体划分可依据相应的划分阈值，在此不便限定通用的范围。举例而言，对于深度范围为1～33的区域，可使用7×7的卷积核，深度范围为34～66的区域，可使用5×5的卷积核，对于深度范围为67～99的区域，可使用3×3的卷积核。
对于第五2D图像的滤波，可采用中值滤波，滤除不合理的点，如与邻域点的深度值相差较大的点。对于深度拓展与再次填充孔洞后的再次滤波，可采用中值滤波和高斯滤波，以滤除经深度拓展和再次填充孔洞所产生的不合理的点。
深度拓展可以为对图像某一位置处的深度值进行拓展，例如可将图像顶部各点的深度值，均拓展为图像顶部的最大深度值。
S3，将每个第二2D图像转换为对应的3D点云数据，并对转换得到对应的至少两个3D点云数据进行拼接，得到补全后的3D点云数据。
2D图像转换为3D点云数据为上述步骤S1中3D点云数据转换为2D图像的逆运算，在将至少两个深度补全后的2D图像转换得到对应的至少两个3D点云数据后，将至少两个3D点云数据聚集至同一坐标空间内，实现转换得到的所有3D点云数据的拼接。通过将深度补全后得到的2D图像进行3D点云的转换和拼接，能够得到补全后的3D点云数据。
根据本发明实施例的3D点云数据的深度补全方法，通过将待补全的3D点云数据转换为至少两个相机视角下的2D图像，然后基于膨胀操作对每个2D图像分别进行深度补全，最后将每个深度补全后的2D图像转换为对应的3D点云数据，并对转换得到的3D点云数据进行拼接，得到补全后的3D点云数据，相对于基于深度学习算法的深度补全来说，利用成熟的2D图像处理技术，运算量小，硬件要求低，处理速度快，可靠性高，并且通过对多视角下的2D图像进行并行处理，能够保证3D点云数据的准确性，由此，能够方便、快速、准确地实现3D点云数据的深度补全。
对应上述实施例的3D点云数据的深度补全方法，本发明还提出一种3D点云数据的深度补全装置。
如图2所示，本发明实施例的3D点云数据的深度补全装置包括：第一转换模块10、深度补全模块20、第二转换模块30和拼接模块40。其中，第一转换模块10用于将待补全的3D点云数据转换为至少两个相机视角下的分别对应的至少两个第一2D图像；深度补全模块20用于基于膨胀操作对每个第一2D图像分别进行深度补全，得到对应至少两个第二2D图像；第二转换模块30用于将每个第二2D图像转换为对应的3D点云数据；拼接模块40用于对转换得到对应的至少两个3D点云数据进行拼接，得到补全后的3D点云数据。
其中，待补全的3D点云数据由激光雷达获取。对于激光雷达获取的3D点云数据，首先可由第一转换模块10通过预先标定得到的激光雷达与相机的转换矩阵，将3D点云数据转换为2D图像。
应当理解的是，激光雷达的视野范围一般比相机的视野范围大，因此激光雷达获取的数据无法全部转换到一个相机的视野范围内，因此，本发明实施例的第一转换模块10将待补全的3D点云数据转换为至少两个相机视角下的分别对应的至少两个2D图像，能够扩充视野范围，从而尽可能地避免数据失真。其中，至少两个相机中的一个相机的位置和光轴均与激光雷达相同，其他相机的位置或光轴与激光雷达不同。也就是说，待补全的3D点云数据到至少两个第一2D图像的转换中，只有一个是真实的转换，其它均为虚拟的转换。
深度补全模块20具体包括第一深度反转单元、膨胀单元、第一填充单元、第一滤波单元和第二深度反转单元。其中，第一深度反转单元用于对第一2D图像进行深度反转处理，得到第三2D图像；膨胀单元用于通过膨胀操作填补第三2D图像的深度信息，得到第四2D图像；第一填充单元用于通过闭运算填充第四2D图像中的孔洞，得到第五2D图像；第一滤波单元用于对第五2D图像进行滤波，得到第六2D图像；第二深度反转单元用于对第六2D图像进行深度反转处理，得到第二2D图像。
在本发明的另一个实施例中，在第一滤波单元对第五2D图像进行中值滤波后，还可进一步地通过拓展单元对中值滤波后的2D图像进行深度拓展，通过第二填充模块再次填充孔洞，以及通过第二滤波模块进行再次滤波。
其中，第一深度反转单元和第二深度反转单元具体用于：对于2D图像中的每一点，判断深度值是否大于预设阈值，如果深度值大于预设阈值，则对该点的深度值进行反转，如果深度值不大于预设阈值，则该点深度值保持不变。对图像中的点的深度值进行反转所依据的反转规则为：d1＝100-d0，其中，d0为反转前的深度值，d1为反转后的深度值。
膨胀单元在通过膨胀操作填补深度信息时，对不同深度的区域可使用不同尺寸的卷积核。具体地，深度较大的区域使用小尺寸的卷积核，深度中等的区域使用中等尺寸的卷积核，深度较小的区域使用大尺寸的卷积核。应当理解，上述的深度较大、深度中等与深度较小，以及小尺寸、中等尺寸与大尺寸，均是一个相对的概念，例如，深度较大的区域、深度中等的区域、深度较小的区域中的深度值的最小值、均值、中位数或数值范围等依次减小，小尺寸的卷积核、中等尺寸的卷积核大尺寸的卷积核中的卷积核尺寸依次增大。深度较大、深度中等、深度较小的区域，以及小尺寸、中等尺寸、大尺寸的卷积核的具体划分可依据相应的划分阈值，在此不便限定通用的范围。举例而言，对于深度范围为1～33的区域，可使用7×7的卷积核，深度范围为34～66的区域，可使用5×5的卷积核，对于深度范围为67～99的区域，可使用3×3的卷积核。
第一滤波单元可采用中值滤波，滤除不合理的点，如与邻域点的深度值相差较大的点。第二滤波单元可采用中值滤波和高斯滤波，以滤除经深度拓展和再次填充孔洞所产生的不合理的点。
拓展单元可以对图像某一位置处的深度值进行拓展，例如可将图像顶部各点的深度值，均拓展为图像顶部的最大深度值。
第二转换模块30所做的2D图像到3D点云数据的转换，为第一转换模块10所做的3D点云数据到2D图像的转换的逆运算，在第二转换模块30将至少两个深度补全后的2D图像转换得到对应的至少两个3D点云数据后，拼接模块40可将至少两个3D点云数据聚集至同一坐标空间内，实现转换得到的所有3D点云数据的拼接。通过将深度补全后得到的2D图像进行3D点云的转换和拼接，能够得到补全后的3D点云数据。
根据本发明实施例的3D点云数据的深度补全装置，通过将待补全的3D点云数据转换为至少两个相机视角下的2D图像，然后基于膨胀操作对每个2D图像分别进行深度补全，最后将每个深度补全后的2D图像转换为对应的3D点云数据，并对转换得到的3D点云数据进行拼接，得到补全后的3D点云数据，相对于基于深度学习算法的深度补全来说，利用成熟的2D图像处理技术，运算量小，硬件要求低，处理速度快，可靠性高，并且通过对多视角下的2D图像进行并行处理，能够保证3D点云数据的准确性，由此，能够方便、快速、准确地实现3D点云数据的深度补全。
对应上述实施例，本发明还提出一种计算机设备。
本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该计算机程序时，可实现根据本发明上述实施例所述的3D点云数据的深度补全方法。
根据本发明实施例的计算机设备，处理器执行存储在存储器上的计算机程序时，通过将待补全的3D点云数据转换为至少两个相机视角下的2D图像，然后基于膨胀操作对每个2D图像分别进行深度补全，最后将每个深度补全后的2D图像转换为对应的3D点云数据，并对转换得到的3D点云数据进行拼接，得到补全后的3D点云数据，相对于基于深度学习算法的深度补全来说，利用成熟的2D图像处理技术，运算量小，硬件要求低，处理速度快，可靠性高，并且通过对多视角下的2D图像进行并行处理，能够保证3D点云数据的准确性，由此，能够方便、快速、准确地实现3D点云数据的深度补全。
对应上述实施例，本发明还提出一种非临时性计算机可读存储介质。
本发明实施例的非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时可实现根据本发明上述实施例所述的3D点云数据的深度补全方法。
根据本发明实施例的非临时性计算机可读存储介质，处理器执行存储在其上的计算机程序时，通过将待补全的3D点云数据转换为至少两个相机视角下的2D图像，然后基于膨胀操作对每个2D图像分别进行深度补全，最后将每个深度补全后的2D图像转换为对应的3D点云数据，并对转换得到的3D点云数据进行拼接，得到补全后的3D点云数据，相对于基于深度学习算法的深度补全来说，利用成熟的2D图像处理技术，运算量小，硬件要求低，处理速度快，可靠性高，并且通过对多视角下的2D图像进行并行处理，能够保证3D点云数据的准确性，由此，能够方便、快速、准确地实现3D点云数据的深度补全。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种3D点云数据的深度补全方法，其特征在于，包括以下步骤：
将待补全的3D点云数据转换为至少两个相机视角下的分别对应的至少两个第一2D图像；
基于膨胀操作对每个所述第一2D图像分别进行深度补全，得到对应至少两个第二2D图像；
将每个所述第二2D图像转换为对应的3D点云数据，并对转换得到对应的至少两个3D点云数据进行拼接，得到补全后的3D点云数据。
2.根据权利要求1所述的3D点云数据的深度补全方法，其特征在于，所述待补全的3D点云数据由激光雷达获取，所述至少两个相机中的一个相机的位置和光轴均与所述激光雷达相同、其他相机的位置或光轴与所述激光雷达不同。
3.根据权利要求1或2所述的3D点云数据的深度补全方法，其特征在于，基于膨胀操作对所述第一2D图像进行深度补全，具体包括：
对所述第一2D图像进行深度反转处理，得到第三2D图像；
通过膨胀操作填补所述第三2D图像的深度信息，得到第四2D图像；
通过闭运算填充所述第四2D图像中的孔洞，得到第五2D图像；
对所述第五2D图像进行滤波，得到第六2D图像；
对所述第六2D图像进行深度反转处理，得到所述第二2D图像。
4.根据权利要求3所述的3D点云数据的深度补全方法，其特征在于，在对所述第五2D图像进行中值滤波后，还包括：
对中值滤波后的2D图像进行深度拓展、再次填充孔洞和再次滤波。
5.根据权利要求4所述的3D点云数据的深度补全方法，其特征在于，对2D图像进行深度反转处理，具体包括：
对于2D图像中的每一点，判断深度值是否大于预设阈值；
如果深度值大于所述预设阈值，则对该点的深度值进行反转。
6.根据权利要求5所述的3D点云数据的深度补全方法，其特征在于，在通过膨胀操作填补深度信息时，对不同深度的区域使用不同尺寸的卷积核。
7.一种3D点云数据的深度补全装置，其特征在于，包括：
第一转换模块，用于将待补全的3D点云数据转换为至少两个相机视角下的分别对应的至少两个第一2D图像；
深度补全模块，用于基于膨胀操作对每个所述第一2D图像分别进行深度补全，得到对应至少两个第二2D图像；
第二转换模块，用于将每个所述第二2D图像转换为对应的3D点云数据；
拼接模块，用于对转换得到对应的至少两个3D点云数据进行拼接，得到补全后的3D点云数据。
8.根据权利要求7所述的3D点云数据的深度补全装置，其特征在于，所述待补全的3D点云数据由激光雷达获取，所述至少两个相机中的一个相机的位置和光轴均与所述激光雷达相同、其他相机的位置或光轴与所述激光雷达不同。
9.根据权利要求7或8所述的3D点云数据的深度补全装置，其特征在于，所述深度补全模块包括：
第一深度反转单元，用于对所述第一2D图像进行深度反转处理，得到第三2D图像；
膨胀单元，用于通过膨胀操作填补所述第三2D图像的深度信息，得到第四2D图像；
第一填充单元，用于通过闭运算填充所述第四2D图像中的孔洞，得到第五2D图像；
第一滤波单元，用于对所述第五2D图像进行滤波，得到第六2D图像；
第二深度反转单元，用于对所述第六2D图像进行深度反转处理，得到所述第二2D图像。
10.根据权利要求9所述的3D点云数据的深度补全装置，其特征在于，所述膨胀单元在通过膨胀操作填补深度信息时，对不同深度的区域使用不同尺寸的卷积核。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现根据权利要求1-6中任一项所述的3D点云数据的深度补全方法。
12.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现根据权利要求1-6中任一项所述的3D点云数据的深度补全方法。
CN202011628608.0A 2020-12-31 2020-12-31 3d点云数据的深度补全方法和装置 Pending CN112734825A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011628608.0A CN112734825A (zh) 2020-12-31 2020-12-31 3d点云数据的深度补全方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011628608.0A CN112734825A (zh) 2020-12-31 2020-12-31 3d点云数据的深度补全方法和装置

Publications (1)

Publication Number Publication Date
CN112734825A true CN112734825A (zh) 2021-04-30

Family

ID=75608179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011628608.0A Pending CN112734825A (zh) 2020-12-31 2020-12-31 3d点云数据的深度补全方法和装置

Country Status (1)

Country Link
CN (1) CN112734825A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152066A (zh) * 2023-02-14 2023-05-23 苏州赫芯科技有限公司 一种元件完整形貌的点云检测方法、***、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110312123A (zh) * 2019-06-28 2019-10-08 长春理工大学 利用彩色图像和深度图像的集成成像显示内容生成方法
CN110349087A (zh) * 2019-07-08 2019-10-18 华南理工大学 基于适应性卷积的rgb-d图像高质量网格生成方法
CN110852949A (zh) * 2019-11-07 2020-02-28 上海眼控科技股份有限公司 点云数据补全方法、装置、计算机设备和存储介质
CN111107337A (zh) * 2018-10-29 2020-05-05 曜科智能科技（上海）有限公司 深度信息补全方法及其装置、监控***和存储介质
CN111150175A (zh) * 2019-12-05 2020-05-15 新拓三维技术(深圳)有限公司 一种双足三维扫描方法、装置及***
CN112154394A (zh) * 2019-10-31 2020-12-29 深圳市大疆创新科技有限公司 地形检测方法、可移动平台、控制设备、***及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111107337A (zh) * 2018-10-29 2020-05-05 曜科智能科技（上海）有限公司 深度信息补全方法及其装置、监控***和存储介质
CN110312123A (zh) * 2019-06-28 2019-10-08 长春理工大学 利用彩色图像和深度图像的集成成像显示内容生成方法
CN110349087A (zh) * 2019-07-08 2019-10-18 华南理工大学 基于适应性卷积的rgb-d图像高质量网格生成方法
CN112154394A (zh) * 2019-10-31 2020-12-29 深圳市大疆创新科技有限公司 地形检测方法、可移动平台、控制设备、***及存储介质
CN110852949A (zh) * 2019-11-07 2020-02-28 上海眼控科技股份有限公司 点云数据补全方法、装置、计算机设备和存储介质
CN111150175A (zh) * 2019-12-05 2020-05-15 新拓三维技术(深圳)有限公司 一种双足三维扫描方法、装置及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JASON KU等: "In Defense of Classical Image Processing: Fast Depth Completion on the CPU", 《2018 15TH CONFERENCE ON COMPUTER AND ROBOT VISION (CRV), TORONTO, ON, CANADA, 2018》, pages 16 - 22 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152066A (zh) * 2023-02-14 2023-05-23 苏州赫芯科技有限公司 一种元件完整形貌的点云检测方法、***、设备及介质
CN116152066B (zh) * 2023-02-14 2023-07-04 苏州赫芯科技有限公司 一种元件完整形貌的点云检测方法、***、设备及介质

Similar Documents

Publication Publication Date Title
CN110674829B (zh) 一种基于图卷积注意网络的三维目标检测方法
US8818125B2 (en) Scene adaptive filter design for improved stereo matching
CN111445418A (zh) 图像去雾处理方法、装置及计算机设备
EP3629288B1 (en) Method for detecting flying spot on edge of depth image, electronic device, and computer readable storage medium
CN112329702B (zh) 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
CN109977952B (zh) 基于局部最大值的候选目标检测方法
US11869172B2 (en) Kernel reshaping-powered splatting-based efficient image space lens blur
CN111028170A (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质
CN112699885A (zh) 一种基于对抗生成网络gan的语义分割训练数据增广方法和***
CN112734825A (zh) 3d点云数据的深度补全方法和装置
CN115457354A (zh) 融合方法、3d目标检测方法、车载设备及存储介质
CN115424221A (zh) 点云与图像融合的方法、相关检测方法、设备及存储介质
CN113281779B (zh) 一种3d物体快速检测方法、装置、设备及介质
EP2660781A1 (en) Three-dimensional model generation
CN114359891A (zh) 一种三维车辆检测方法、***、装置及介质
EP3928706A1 (en) Ai identification method of embolism based on vrds 4d medical image, and product
US9077963B2 (en) Systems and methods for generating a depth map and converting two-dimensional data to stereoscopic data
JP2013539033A (ja) フェーズドアレイデータの再現
CN112907733A (zh) 重建三维模型的方法及装置和三维模型采集及重建***
CN117455936B (zh) 点云数据处理方法、装置及电子设备
WO2022193080A1 (zh) 点云处理方法、装置及计算机可读存储介质
US20220076426A1 (en) Method for segmenting an image
CN112381823B (zh) 用于图像的几何特征的提取方法和相关产品
EP2977955B1 (en) Method for projection and back-projection for image processing, and image processing apparatus therefor
NL2005197C2 (en) Computer controlled evaluation of binary images.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination