CN114677315B - 基于图像与激光点云的图像融合方法、装置、设备和介质 - Google Patents

基于图像与激光点云的图像融合方法、装置、设备和介质 Download PDF

Info

Publication number
CN114677315B
CN114677315B CN202210375538.5A CN202210375538A CN114677315B CN 114677315 B CN114677315 B CN 114677315B CN 202210375538 A CN202210375538 A CN 202210375538A CN 114677315 B CN114677315 B CN 114677315B
Authority
CN
China
Prior art keywords
target
point cloud
image
cloud data
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210375538.5A
Other languages
English (en)
Other versions
CN114677315A (zh
Inventor
单佳炜
郑睿童
王世玮
沈罗丰
李洪鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tanway Technology Co ltd
Original Assignee
Tanway Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tanway Technology Co ltd filed Critical Tanway Technology Co ltd
Priority to CN202210375538.5A priority Critical patent/CN114677315B/zh
Priority to PCT/CN2022/088255 priority patent/WO2023197351A1/zh
Priority to US18/255,164 priority patent/US11954835B2/en
Publication of CN114677315A publication Critical patent/CN114677315A/zh
Application granted granted Critical
Publication of CN114677315B publication Critical patent/CN114677315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及图像融合技术领域，提供了一种基于图像与激光点云的图像融合方法，包括：获取第一图像以及稀疏点云数据，其中，稀疏点云数据的每个通道包括的点云数据与第一图像包括的像素点分别对应，稀疏点云数据与第一图像具有空间以及时间同步性；根据第一图像，得到第一图像包括的至少一个目标像素点对应的目标梯度值，其中，目标像素点为所述第一图像的非边缘像素点；基于至少一个目标梯度值，对稀疏点云数据进行上采样，得到稠密点云数据，其中，目标梯度值是根据稀疏点云数据的相邻通道之间对应的目标像素点确定的；基于第一图像以及所述稠密点云数据，得到目标融合图，采用该方式能够减少计算量，提高点云数据的分辨率。

Description

基于图像与激光点云的图像融合方法、装置、设备和介质
技术领域
本公开涉及图像融合技术领域，特别是涉及一种基于图像与激光点云的图像融合方法、装置、设备和介质。
背景技术
近年来，在无人驾驶、同步定位与建图（Simultaneous Localization andMapping，SLAM）等应用领域中，主要通过不同的传感器获取图像数据，以此感知外界的世界。目前，多采用单一的传感器获取图像数据，其中，相机作为主流的传感器，能够获取分辨率较高的二维图像，但是无法提供被拍摄目标的三维信息，而激光雷达能够获取被拍摄目标的三维点云信息，且受外界干扰影响较小，但是，通过激光雷达获得的点云信息相对于二维图像来说，信息量较小，且分辨率较低，存在边缘模糊的问题。
基于此，现有技术中，通过利用深度学习的方式进行边缘检测，结合初始化深度图的初始深度边缘获取目标深度边缘，并对目标深度边缘与初始深度边缘进行插值填充，以此解决边缘模糊的问题，提高深度图像的分辨率。
然而，采用现有技术，由于利用深度学习提取边缘信息，因此存在计算量大、效率低的问题。
发明内容
基于此，有必要针对上述技术问题，提供了一种基于图像与激光点云的图像融合方法、装置、设备和介质。
第一方面，本公开实施例提供了一种基于图像与激光点云的图像融合方法，所述方法包括：
获取第一图像以及稀疏点云数据，其中，所述稀疏点云数据的每个通道包括的点云数据与所述第一图像包括的像素点分别对应，所述稀疏点云数据与所述第一图像具有空间以及时间同步性；
根据所述第一图像，得到所述第一图像包括的至少一个目标像素点对应的目标梯度值，其中，所述目标像素点为所述第一图像的非边缘像素点；
基于至少一个所述目标梯度值，对所述稀疏点云数据进行上采样，得到稠密点云数据，其中，所述目标梯度值是根据所述稀疏点云数据的相邻通道之间对应的目标像素点确定的；
基于所述第一图像以及所述稠密点云数据，得到目标融合图。
在一个实施例中，所述根据所述第一图像，得到所述第一图像包括的至少一个目标像素点对应的目标梯度值，包括：
对所述第一图像包括的每个像素点进行梯度计算，得到每个像素点对应的梯度值；
根据所述每个像素点对应的梯度值，确定所述目标像素点对应的目标梯度值。
在一个实施例中，所述根据所述每个像素点对应的梯度值，确定所述目标像素点对应的目标梯度值，包括：
判断所述每个像素点对应的梯度值是否小于或等于预设梯度值；
当确定所述像素点对应的梯度值小于或等于所述预设梯度值时，根据当前所述像素点对应的梯度值，确定所述目标像素点对应的目标梯度值。
在一个实施例中，所述基于至少一个所述目标梯度值，对所述稀疏点云数据进行上采样，得到稠密点云数据，包括：
依次遍历获取所述稀疏点云数据包括的前一通道对应的第一深度信息、以及后一通道对应的第二深度信息，直至所述后一通道为所述稀疏点云数据的最后一个通道；
基于至少一个所述目标梯度值、所述第一深度信息以及所述第二深度信息，得到目标通道对应的第三深度信息，其中，所述目标通道是根据所述前一通道与所述后一通道之间的目标像素点确定的；
基于至少一个所述第一深度信息、至少一个所述第二深度信息以及至少一个所述第三深度信息，得到所述稠密点云数据。
在一个实施例中，所述基于至少一个所述目标梯度值、所述第一深度信息以及第二深度信息，得到目标通道对应的第三深度信息，包括：
获取所述前一通道与所述目标通道之间的至少一个目标像素点的目标梯度值、以及所述后一通道与所述目标通道之间的至少一个目标像素点的目标梯度值；
对所述前一通道与所述目标通道之间的至少一个目标像素点的目标梯度值进行均值计算，得到第一目标梯度均值；
对所述后一通道与所述目标通道之间的至少一个目标像素点的目标梯度值进行均值计算，得到第二目标梯度均值；
根据所述第一目标梯度均值、所述第二目标梯度均值、所述第一深度信息以及所述第二深度信息，确定所述目标通道对应的第三深度信息。
在一个实施例中，所述根据所述第一目标梯度均值、所述第二目标梯度均值、所述第一深度信息以及所述第二深度信息，确定所述目标通道对应的第三深度信息，包括：
对所述第一目标梯度均值、所述第二目标梯度均值、所述第一深度信息以及所述第二深度信息进行加权求和，以确定所述目标通道对应的第三深度信息。
在一个实施例中，所述目标通道是根据所述前一通道与所述后一通道之间的目标像素点确定的，包括：
统计所述前一通道与所述后一通道之间的目标像素点的个数；
基于所述目标像素点的个数，确定所述目标通道对应的所述目标像素点。
第二方面，本公开实施例提供了一种基于图像与激光点云的图像融合装置，包括：
获取模块，用于获取第一图像以及稀疏点云数据，其中，所述稀疏点云数据的每个通道包括的点云数据与所述第一图像包括的像素点分别对应，所述稀疏点云数据与所述第一图像具有空间以及时间同步性；
目标梯度值得到模块，用于根据所述第一图像，得到所述第一图像包括的至少一个目标像素点对应的目标梯度值，其中，所述目标像素点为所述第一图像的非边缘像素点；
稠密点云数据得到模块，用于基于至少一个所述目标梯度值，对所述稀疏点云数据进行上采样，得到稠密点云数据，其中，所述目标梯度值是根据所述稀疏点云数据的相邻通道之间对应的目标像素点确定的；
目标融合图得到模块，用于基于所述第一图像以及所述稠密点云数据，得到目标融合图。
第三方面，本公开实施例提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面所述基于图像与激光点云的图像融合方法的步骤。
第四方面，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述基于图像与激光点云的图像融合方法的步骤。
本公开实施例所提供的一种基于图像与激光点云的图像融合方法、装置、设备和介质，采用该方式通过获取第一图像以及稀疏点云数据，其中，稀疏点云数据的每个通道包括的点云数据与第一图像包括的像素点分别对应，稀疏点云数据与第一图像具有空间以及时间同步性；根据第一图像，得到第一图像包括的至少一个目标像素点对应的目标梯度值，其中，目标像素点为所述第一图像的非边缘像素点；基于至少一个目标梯度值，对稀疏点云数据进行上采样，得到稠密点云数据，其中，目标梯度值是根据稀疏点云数据的相邻通道之间对应的目标像素点确定的；基于第一图像以及所述稠密点云数据，得到目标融合图。这样，通过获取具有时间以及空间同步的第一图像和稀疏点云数据，并利用稀疏点云数据的相邻通道之间与第一图像中对应的多个非边缘像素点的目标梯度值，引导对稀疏点云数据进行上采样，以此得到稠密点云数据，并将稠密点云数据映射到第一图像上，以获取目标融合图，避免了现有技术中利用深度学习提取边缘信息，实现对稀疏点云数据的上采样，从而减少了计算量，提高了点云数据的分辨率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种基于图像与激光点云的图像融合方法的流程示意图；
图2为本公开实施例提供的另一种基于图像与激光点云的图像融合方法的流程示意图；
图3为本公开实施例提供的再一种基于图像与激光点云的图像融合方法的流程示意图；
图4为本公开实施例提供的又一种基于图像与激光点云的图像融合方法的流程示意图；
图5为本公开实施例提供的又一种基于图像与激光点云的图像融合方法的流程示意图；
图6为本公开实施例提供的一种基于图像与激光点云的图像融合装置的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
近年来，在无人驾驶、同步定位与建图（Simultaneous Localization andMapping，SLAM）等应用领域中，主要通过不同的传感器获取图像数据，以此感知外界的世界。目前，多采用单一的传感器获取图像数据，其中，相机作为主流的传感器，能够获取分辨率较高的二维图像，但是无法提供被拍摄目标的三维信息，而激光雷达能够获取被拍摄目标的三维点云信息，且受外界干扰影响较小，但是，通过激光雷达获得的点云信息相对于二维图像来说，信息量较小，且分辨率较低，存在边缘模糊的问题。
基于此，现有技术中，通过利用深度学习的方式进行边缘检测，结合初始化深度图的初始深度边缘获取目标深度边缘，并对目标深度边缘与初始深度边缘进行插值填充，以此解决边缘模糊的问题，提高深度图像的分辨率。然而，采用现有技术，由于利用深度学习提取边缘信息，因此存在计算量大、效率低的问题。
因此，本公开提供了一种基于图像与激光点云的图像融合方法，通过获取第一图像以及稀疏点云数据，其中，稀疏点云数据的每个通道包括的点云数据与第一图像包括的像素点分别对应，稀疏点云数据与第一图像具有空间以及时间同步性；根据第一图像，得到第一图像包括的至少一个目标像素点对应的目标梯度值，其中，目标像素点为所述第一图像的非边缘像素点；基于至少一个目标梯度值，对稀疏点云数据进行上采样，得到稠密点云数据，其中，目标梯度值是根据稀疏点云数据的相邻通道之间对应的目标像素点确定的；基于第一图像以及所述稠密点云数据，得到目标融合图。这样，通过获取具有时间以及空间同步的第一图像和稀疏点云数据，并利用稀疏点云数据的相邻通道之间与第一图像中对应的多个非边缘像素点的目标梯度值，引导对稀疏点云数据进行上采样，以此得到稠密点云数据，并将稠密点云数据映射到第一图像上，以获取目标融合图，避免了现有技术中利用深度学习提取边缘信息，实现对稀疏点云数据的上采样，从而减少了计算量，提高了点云数据的分辨率。
在一个实施例中，如图1所示，图1为本公开实施例提供的一种基于图像与激光点云的图像融合方法的流程示意图，具体包括以下步骤：
S10：获取第一图像以及稀疏点云数据。
其中，稀疏点云数据的每个通道包括的点云数据与第一图像包括的像素点分别对应；稀疏点云数据与第一图像具有空间以及时间同步性。
上述点云数据是指利用激光雷达获取的具有三维空间坐标的一组向量的集合，由于数量大且密集，因此被称为点云，点云数据包括但不限于几何位置信息、颜色信息、强度信息，由于点云数据带有空间坐标，因此被广泛的应用于测绘、电力、建筑、工业、汽车、游戏、刑侦等相当多的领域，但不限于此，本公开不具体限制，本领域人员可根据实际情况设置。上述通道是指用来存储点云数据包括的几何位置信息、颜色信息、强度信息的。稀疏点云数据是指利用激光雷达在获取具有三维空间坐标的一组向量时，并不能完全获取与稀疏点云数据对应的二维图像中的每个像素点对应的点云数据。
需要说明的是，上述第一图像以及稀疏点云数据是基于同一雷达探测***中包括的图像探测模组以及光电探测模组获取的，主要通过将激光发射模组与图像探测模组同时触发，以此实现第一图像以及稀疏点云数据获取层面上的时间对准，从而保证了同一时刻激光和图像测到同一个物体，进而实现点云数据和图像数据的时间同步以及空间同步。
具体的，同时触发激光发射模组与图像探测模组，利用图像探测模组获取第一图像，利用激光发射模组获取稀疏点云数据。
S12：根据第一图像，得到第一图像包括的至少一个目标像素点对应的目标梯度值。
其中，目标像素点为第一图像的非边缘像素点；梯度值是指针对第一图像中每个像素点在X与Y方向上的变化率，由X轴的变化与Y轴的变化两个分量组成的，可以理解为与相邻像素进行比较的变化，相当于通过两个相邻像素之间的差值，来表示第一图像中的边缘，即当第一图像中存在边缘时，该边缘处对应的像素点具有较大的梯度值，因此，通过获取第一图像的每个像素点梯度值，从而进行边缘轮廓检测，进一步确定为非边缘像素点对应的目标梯度值。
在上述实施例的基础上，在本公开一些实施例中，如图2所示，根据第一图像，得到第一图像包括的至少一个目标像素点对应的目标梯度值，一种可以实现的方式为：
S121：对第一图像包括的每个像素点进行梯度计算，得到每个像素点对应的梯度值。
具体的，通过对第一图像中包括的每个像素点进行梯度计算，以此得到每个像素点的梯度值。
示例性的，对于每个像素点的梯度值计算可以通过采用对第一图像中的像素邻域设置梯度算子，该梯度算子例如索贝尔算子（Sobeloperator）、拉普拉斯算子（LaplaceOperator），并利用区域卷积核对每个像素点进行卷积计算，以此得到每个像素点的梯度值，但不限于此，本公开不具体限制，本领域人员可根据实际情况设置。
S122：根据每个像素点对应的梯度值，确定目标像素点对应的目标梯度值。
具体的，通过对第一图像中的每个像素点进行梯度计算，以此得到得到每个像素点对应的梯度值，进一步的，根据每个像素点对应的梯度值确定一个或多个非边缘像素点对应的目标梯度值。
在上述实施例的基础上，在本公开一些实施例中，判断每个像素点对应的梯度值是否小于或等于预设梯度值，如图3所示，根据每个像素点对应的梯度值，确定目标像素点对应的目标梯度值，一种可以实现的方式为：
S1221：当确定像素点对应的梯度值小于或等于预设梯度值时，根据当前像素点对应的梯度值，确定目标像素点对应的目标梯度值。
其中，预设梯度值是用来根据第一图像中每个像素点对应的梯度值，判断该像素点是否为非边缘像素点所设置的参数值，对于预设梯度值的取值，本公开不具体限定，本领域技术人员可根据实际情况具体设置。
具体的，通过对第一图像中每个像素点进行梯度计算，以此得到每个像素点对应的梯度值，判断每个像素点对应的梯度值是否小于或等于预设梯度阈值，当确定像素点对应的梯度值小于或等于预设梯度阈值，则表明当前像素点为非边缘像素点，以此得到目标像素点对应的目标梯度值。
这样，本公开提供的基于图像与激光点云的图像融合方法，通过计算第一图像中每个像素点的梯度值，并设置合适的预设梯度阈值以此确定非边缘像素点对应的目标梯度值，以此保证利用第一图像中的非边缘像素点对应的目标梯度值对稀疏点云数据进行上采样，又因为非边缘像素点属于第一图像中同一联通区域，因此基于非边缘像素点对应的目标梯度值对稀疏点云数据进行上采样，能够提高获取稠密点云数据的准确性。
S14：基于至少一个目标梯度值，对稀疏点云数据进行上采样，得到稠密点云数据。
其中，目标梯度值是根据稀疏点云数据的相邻通道之间对应的目标像素点确定的。采样是指对数字信号进行重采，重采的采样率与原来获得该数字信号的采样率比较，大于原信号的称为上采样，小于的则称为下采样。其中，上采样也称增取样或者是内插，其实质也就是内插或插值。
在上述实施例的基础上，在本公开的一些实施例中，如图4所示，基于至少一个目标梯度值，对稀疏点云数据进行上采样，得到稠密点云数据，一种实现方式可以是：
S141：依次遍历获取稀疏点云数据包括的前一通道对应的第一深度信息、以及后一通道对应的第二深度信息，直至后一通道为稀疏点云数据的最后一个通道。
其中，深度信息是指存储每个像素所用的位数，它也是用来度量图像的分辨率，其决定彩色图像的每个像素颜色数，或者确定灰度图像的每个像素可能有的灰度级数。
具体的，对于光电探测模组获取的获取的稀疏点云数据，依次获取稀疏点云数据包括的前一通道对应的第一深度信息，以及后一通道对应的第二深度信息，直至后一通道为稀疏点云数据包括的所有通道的最后一个通道。
需要说明的是，对于稀疏点云数据包括的所有通道并不是与第一图像中的每个像素点一一对应，而是与第一图像中的部分像素点分别对应，可以理解的是，对于相邻的两个通道之间可能存在多个目标像素点。
S142：基于至少一个目标梯度值、第一深度信息以及第二深度信息，得到目标通道对应的第三深度信息。
其中，目标通道是根据前一通道与后一通道之间的目标像素点确定的，目标通道为前一通道与后一通道之间进行上采样之后所得到的通道。
可选的，在上述实施例的基础上，在本公开的一些实施例中，目标通道的一种确定方式可以是：
统计前一通道与后一通道之间的目标像素点的个数。
基于目标像素点的个数，确定目标通道对应的目标像素点。
示例性的，上述第一图像为254*254大小的图像，对于前一通道是与第一图像中的第10行第10列像素点对应的，后一通道为第一图像中的第10行第20列像素点对应的，则统计前一通道与后一通道之间在第10行的目标像素点个数为10，则根据目标像素点个数，确定第第一图像中的第10行第15列像素点为目标通道对应的目标像素点，但不限于此，本公开不具体限制，本领域技术人员可根据实际情况确定目标通道。
进一步的，在上述实施例的基础上，在本公开的一些实施例中，如图5所示，S142的一种实现方式可以是：
S1421：获取前一通道与目标通道之间的至少一个目标像素点的目标梯度值、以及后一通道与目标通道之间的至少一个目标像素点的目标梯度值。
具体的，当确定目标通道之后，获取稀疏点云数据包括的前一通道与目标通道之间的一个或多个目标像素点即非边缘像素点分别对应的目标梯度值，以及获取稀疏点云数据包括的后一通道与目标通道之间的一个或多个目标像素点即非边缘像素点分别对应的目标梯度值。
S1422：对前一通道与目标通道之间的至少一个目标像素点的目标梯度值进行均值计算，得到第一目标梯度均值。
S1423：对后一通道与目标通道之间的至少一个目标像素点的目标梯度值进行均值计算，得到第二目标梯度均值。
S1424：根据第一目标梯度均值、第二目标梯度均值、第一深度信息以及所述第二深度信息，确定目标通道对应的第三深度信息。
具体的，当获取的前一通道与目标通道之间的一个或多个目标像素点即非边缘像素点分别对应的目标梯度值，以及后一通道与目标通道之间的一个或多个目标像素点即非边缘像素点分别对应的目标梯度值之后，分别计算前一通道与目标通道之间的一个或多个非边缘像素点对应的目标梯度值的均值，以确定前一通道对应的第一目标梯度均值，以及后一通道与目标通道之间的一个或多个非边缘像素点对应的目标梯度值的均值，以确定后一通道对应的第二目标梯度均值。进一步的，根据前一通道对应的第一目标梯度均值、第一深度信息以及后一通道对应的第二目标梯度均值、第二深度信息，计算得到目标通道对应的第三深度信息。
可选的，在上述实施例的基础上，在本公开的一些实施例中，S1424的一种实现方式可以是：
对第一目标梯度均值、第二目标梯度均值、第一深度信息以及第二深度信息进行加权求和，以确定目标通道对应的第三深度信息。
根据公式
Figure 805868DEST_PATH_IMAGE001
确定目标通道对应的第三深度信息。
其中，D n 表示前一通道对应的第一深度信息，Grad n 表示前一通道与目标通道之间的多个目标像素点对应的第一目标梯度均值，
Figure 807322DEST_PATH_IMAGE002
表示前一通道对应的权重，D n+1 表示后一通道对应的第二深度信息，Grad n+1 表示后一通道与目标通道之间的多个目标像素点对应的第二目标梯度均值，
Figure 911282DEST_PATH_IMAGE003
表示前一通道对应的权重，对于
Figure 845740DEST_PATH_IMAGE002
以及
Figure 42366DEST_PATH_IMAGE003
的取值，本公开不具体限制，本领域技术人员可根据实际情况设置。
S143：基于至少一个第一深度信息、至少一个第二深度信息以及至少一个第三深度信息，得到稠密点云数据。
具体的，根据稀疏点云数据中包括的所有通道，依次得到多个第一深度信息、多个第二深度信息以及多个第三深度信息，基于该多个第一深度信息、多个第二深度信息以及多个第三深度信息，确定稠密点云数据。
这样，本实施例提供的基于图像与激光点云的图像融合方法，通过获取稀疏点云数据相邻通道之间的非边缘像素点对应的目标梯度值，对稀疏点云数据进行上采样，即在稀疏点云数据相邻通道之间进行插值，以此得到稠密有规则的点云数据，相当于利用第一图像的非边缘像素点对应的梯度值引导对稀疏点云数据的上采样，以此提高了稠密点云数据的分辨率。
S16:基于第一图像以及稠密点云数据，得到目标融合图。
具体的，将得到的稠密点云数据映射到第一图像中，以此得到目标融合图。
这样，本实施例提供的基于图像与激光点云的图像融合方法，通过获取第一图像以及稀疏点云数据，其中，稀疏点云数据的每个通道包括的点云数据与第一图像包括的像素点分别对应，稀疏点云数据与第一图像具有空间以及时间同步性；根据第一图像，得到第一图像包括的至少一个目标像素点对应的目标梯度值，其中，目标像素点为所述第一图像的非边缘像素点；基于至少一个目标梯度值，对稀疏点云数据进行上采样，得到稠密点云数据，其中，目标梯度值是根据稀疏点云数据的相邻通道之间对应的目标像素点确定的；基于第一图像以及所述稠密点云数据，得到目标融合图。这样，通过获取具有时间以及空间同步的第一图像和稀疏点云数据，并利用稀疏点云数据的相邻通道之间与第一图像中对应的多个非边缘像素点的目标梯度值，引导对稀疏点云数据进行上采样，以此得到稠密点云数据，并将稠密点云数据映射到第一图像上，以获取目标融合图，避免了现有技术中利用深度学习提取边缘信息，实现对稀疏点云数据的上采样，从而减少了计算量，提高了点云数据的分辨率。
应该理解的是，虽然图1-图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种基于图像与激光点云的图像融合装置，包括：获取模块10、目标梯度值得到模块12、稠密点云数据得到模块14以及目标融合图得到模块16。
其中，获取模块10，用于获取第一图像以及稀疏点云数据，其中，稀疏点云数据的每个通道包括的点云数据与第一图像包括的像素点分别对应，稀疏点云数据与第一图像具有空间以及时间同步性；
目标梯度值得到模块12，用于根据第一图像，得到第一图像包括的至少一个目标像素点对应的目标梯度值，其中，目标像素点为第一图像的非边缘像素点；
稠密点云数据得到模块14，用于基于至少一个目标梯度值，对稀疏点云数据进行上采样，得到稠密点云数据，其中，目标梯度值是根据稀疏点云数据的相邻通道之间对应的目标像素点确定的；
目标融合图得到模块16，用于基于第一图像以及稠密点云数据，得到目标融合图。
在本发明实施例一实施方式中，目标梯度值得到模块12，具体用于对第一图像包括的每个像素点进行梯度计算，得到每个像素点对应的梯度值；根据每个像素点对应的梯度值，确定目标像素点对应的目标梯度值。
在本发明实施例一实施方式中，目标梯度值得到模块12，具体还用于判断每个像素点对应的梯度值是否小于或等于预设梯度值；当确定像素点对应的梯度值小于或等于预设梯度值时，根据当前像素点对应的梯度值，确定目标像素点对应的目标梯度值。
在本发明实施例一实施方式中，稠密点云数据得到模块14，具体用于依次遍历获取稀疏点云数据包括的前一通道对应的第一深度信息、以及后一通道对应的第二深度信息，直至后一通道为稀疏点云数据的最后一个通道；基于至少一个目标梯度值、第一深度信息以及第二深度信息，得到目标通道对应的第三深度信息，其中，目标通道是根据前一通道与后一通道之间的目标像素点确定的；基于至少一个第一深度信息、至少一个第二深度信息以及至少一个第三深度信息，得到稠密点云数据。
在本发明实施例一实施方式中，稠密点云数据得到模块14，具体还用于获取前一通道与目标通道之间的至少一个目标像素点的目标梯度值、以及后一通道与目标通道之间的至少一个目标像素点的目标梯度值；对前一通道与目标通道之间的至少一个目标像素点的目标梯度值进行均值计算，得到第一目标梯度均值；对后一通道与目标通道之间的至少一个目标像素点的目标梯度值进行均值计算，得到第二目标梯度均值；根据第一目标梯度均值、第二目标梯度均值、第一深度信息以及第二深度信息，确定目标通道对应的第三深度信息。
在本发明实施例一实施方式中，稠密点云数据得到模块14，具体还用于对第一目标梯度均值、第二目标梯度均值、第一深度信息以及第二深度信息进行加权求和，以确定目标通道对应的第三深度信息。
在本发明实施例一实施方式中，稠密点云数据得到模块14，具体还用于统计前一通道与后一通道之间的目标像素点的个数；基于目标像素点的个数，确定目标通道对应的目标像素点。
在上述实施例中，获取模块10，用于获取第一图像以及稀疏点云数据，其中，稀疏点云数据的每个通道包括的点云数据与第一图像包括的像素点分别对应，稀疏点云数据与第一图像具有空间以及时间同步性；目标梯度值得到模块12，用于根据第一图像，得到第一图像包括的至少一个目标像素点对应的目标梯度值，其中，目标像素点为第一图像的非边缘像素点；稠密点云数据得到模块14，用于基于至少一个目标梯度值，对稀疏点云数据进行上采样，得到稠密点云数据，其中，目标梯度值是根据稀疏点云数据的相邻通道之间对应的目标像素点确定的；目标融合图得到模块16，用于基于第一图像以及稠密点云数据，得到目标融合图。这样，通过获取具有时间以及空间同步的第一图像和稀疏点云数据，并利用稀疏点云数据的相邻通道之间与第一图像中对应的多个非边缘像素点的目标梯度值，引导对稀疏点云数据进行上采样，以此得到稠密点云数据，并将稠密点云数据映射到第一图像上，以获取目标融合图，避免了现有技术中利用深度学习提取边缘信息，实现对稀疏点云数据的上采样，从而减少了计算量，提高了点云数据的分辨率。
关于基于图像与激光点云的图像融合装置的具体限定可以参见上文中对于基于图像与激光点云的图像融合方法的限定，在此不再赘述。上述服务器中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本公开实施例提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时可以实现本公开实施例提供的基于图像与激光点云的图像融合方法，例如，处理器执行计算机程序时可以实现图1到图5任一所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时可以实现本公开实施例提供的基于图像与激光点云的图像融合方法，例如，计算机程序被处理器执行时实现图1到图5任一所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本公开所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，比如静态随机存取存储器（Static Random Access Memory，SRAM）和动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本公开的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本公开构思的前提下，还可以做出若干变形和改进，这些都属于本公开的保护范围。因此，本公开专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于图像与激光点云的图像融合方法，其特征在于，包括：
获取第一图像以及稀疏点云数据，其中，所述稀疏点云数据的每个通道包括的点云数据与所述第一图像包括的像素点分别对应，所述稀疏点云数据与所述第一图像具有空间以及时间同步性；
根据所述第一图像，得到所述第一图像包括的至少一个目标像素点对应的目标梯度值，其中，所述目标像素点为所述第一图像的非边缘像素点；
基于至少一个所述目标梯度值，对所述稀疏点云数据进行上采样，得到稠密点云数据，其中，所述目标梯度值是根据所述稀疏点云数据的相邻通道之间对应的目标像素点确定的；
基于所述第一图像以及所述稠密点云数据，得到目标融合图；
其中，所述基于至少一个所述目标梯度值，对所述稀疏点云数据进行上采样，得到稠密点云数据，包括：
依次遍历获取所述稀疏点云数据包括的前一通道对应的第一深度信息、以及后一通道对应的第二深度信息，直至所述后一通道为所述稀疏点云数据的最后一个通道；
基于至少一个所述目标梯度值、所述第一深度信息以及所述第二深度信息，得到目标通道对应的第三深度信息，其中，所述目标通道是根据所述前一通道与所述后一通道之间的目标像素点确定的；
基于至少一个所述第一深度信息、至少一个所述第二深度信息以及至少一个所述第三深度信息，得到所述稠密点云数据；
所述基于至少一个所述目标梯度值、所述第一深度信息以及第二深度信息，得到目标通道对应的第三深度信息，包括：
获取所述前一通道与所述目标通道之间的至少一个目标像素点的目标梯度值、以及所述后一通道与所述目标通道之间的至少一个目标像素点的目标梯度值；
对所述前一通道与所述目标通道之间的至少一个目标像素点的目标梯度值进行均值计算，得到第一目标梯度均值；
对所述后一通道与所述目标通道之间的至少一个目标像素点的目标梯度值进行均值计算，得到第二目标梯度均值；
根据所述第一目标梯度均值、所述第二目标梯度均值、所述第一深度信息以及所述第二深度信息，确定所述目标通道对应的第三深度信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像，得到所述第一图像包括的至少一个目标像素点对应的目标梯度值，包括：
对所述第一图像包括的每个像素点进行梯度计算，得到每个像素点对应的梯度值；
根据所述每个像素点对应的梯度值，确定所述目标像素点对应的目标梯度值。
3.根据权利要求2所述的方法，其特征在于，所述根据所述每个像素点对应的梯度值，确定所述目标像素点对应的目标梯度值，包括：
判断所述每个像素点对应的梯度值是否小于或等于预设梯度值；
当确定所述像素点对应的梯度值小于或等于所述预设梯度值时，根据当前所述像素点对应的梯度值，确定所述目标像素点对应的目标梯度值。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一目标梯度均值、所述第二目标梯度均值、所述第一深度信息以及所述第二深度信息，确定所述目标通道对应的第三深度信息，包括：
对所述第一目标梯度均值、所述第二目标梯度均值、所述第一深度信息以及所述第二深度信息进行加权求和，以确定所述目标通道对应的第三深度信息。
5.根据权利要求1所述的方法，其特征在于，所述目标通道是根据所述前一通道与所述后一通道之间的目标像素点确定的，包括：
统计所述前一通道与所述后一通道之间的目标像素点的个数；
基于所述目标像素点的个数，确定所述目标通道对应的所述目标像素点。
6.一种基于图像与激光点云的图像融合装置，其特征在于，包括：
获取模块，用于获取第一图像以及稀疏点云数据，其中，所述稀疏点云数据的每个通道包括的点云数据与所述第一图像包括的像素点分别对应所述稀疏点云数据与所述第一图像具有空间以及时间同步性；
目标梯度值得到模块，用于根据所述第一图像，得到所述第一图像包括的至少一个目标像素点对应的目标梯度值，其中，所述目标像素点为所述第一图像的非边缘像素点；
稠密点云数据得到模块，用于基于至少一个所述目标梯度值，对所述稀疏点云数据进行上采样，得到稠密点云数据，其中，所述目标梯度值是根据所述稀疏点云数据的相邻通道之间对应的目标像素点确定的；
目标融合图得到模块，用于基于所述第一图像以及所述稠密点云数据，得到目标融合图；
稠密点云数据得到模块，具体用于依次遍历获取所述稀疏点云数据包括的前一通道对应的第一深度信息、以及后一通道对应的第二深度信息，直至所述后一通道为所述稀疏点云数据的最后一个通道；
基于至少一个所述目标梯度值、所述第一深度信息以及所述第二深度信息，得到目标通道对应的第三深度信息，其中，所述目标通道是根据所述前一通道与所述后一通道之间的目标像素点确定的；
基于至少一个所述第一深度信息、至少一个所述第二深度信息以及至少一个所述第三深度信息，得到所述稠密点云数据；
稠密点云数据得到模块，具体还用于获取所述前一通道与所述目标通道之间的至少一个目标像素点的目标梯度值、以及所述后一通道与所述目标通道之间的至少一个目标像素点的目标梯度值；
对所述前一通道与所述目标通道之间的至少一个目标像素点的目标梯度值进行均值计算，得到第一目标梯度均值；
对所述后一通道与所述目标通道之间的至少一个目标像素点的目标梯度值进行均值计算，得到第二目标梯度均值；
根据所述第一目标梯度均值、所述第二目标梯度均值、所述第一深度信息以及所述第二深度信息，确定所述目标通道对应的第三深度信息。
7.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述基于图像与激光点云的图像融合方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任一项所述基于图像与激光点云的图像融合方法的步骤。
CN202210375538.5A 2022-04-11 2022-04-11 基于图像与激光点云的图像融合方法、装置、设备和介质 Active CN114677315B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210375538.5A CN114677315B (zh) 2022-04-11 2022-04-11 基于图像与激光点云的图像融合方法、装置、设备和介质
PCT/CN2022/088255 WO2023197351A1 (zh) 2022-04-11 2022-04-21 基于图像与激光点云的图像融合方法、装置、设备和介质
US18/255,164 US11954835B2 (en) 2022-04-11 2022-04-21 Methods, devices, apparatuses, and media for image fusion utilizing images and LiDAR point clouds

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210375538.5A CN114677315B (zh) 2022-04-11 2022-04-11 基于图像与激光点云的图像融合方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN114677315A CN114677315A (zh) 2022-06-28
CN114677315B true CN114677315B (zh) 2022-11-29

Family

ID=82078924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210375538.5A Active CN114677315B (zh) 2022-04-11 2022-04-11 基于图像与激光点云的图像融合方法、装置、设备和介质

Country Status (3)

Country Link
US (1) US11954835B2 (zh)
CN (1) CN114677315B (zh)
WO (1) WO2023197351A1 (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017023210A1 (en) * 2015-08-06 2017-02-09 Heptagon Micro Optics Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
CN107610084A (zh) * 2017-09-30 2018-01-19 驭势科技（北京）有限公司 一种对深度图像和激光点云图进行信息融合的方法与设备
CN108701374A (zh) * 2017-02-17 2018-10-23 深圳市大疆创新科技有限公司 用于三维点云重建的方法和装置
CN111563923A (zh) * 2020-07-15 2020-08-21 浙江大华技术股份有限公司 获得稠密深度图的方法及相关装置
CN111724478A (zh) * 2020-05-19 2020-09-29 华南理工大学 一种基于深度学习的点云上采样方法
CN112102472A (zh) * 2020-09-01 2020-12-18 北京航空航天大学 稀疏三维点云稠密化方法
CN112766328A (zh) * 2020-01-05 2021-05-07 北京航空航天大学 融合激光雷达、双目相机和ToF深度相机数据的智能机器人深度图像构建方法
CN113160390A (zh) * 2021-04-28 2021-07-23 北京理工大学 一种三维稠密重建方法及***
CN113160327A (zh) * 2021-04-09 2021-07-23 上海智蕙林医疗科技有限公司 一种点云补全的实现方法和***
WO2022045495A1 (en) * 2020-08-25 2022-03-03 Samsung Electronics Co., Ltd. Methods for depth map reconstruction and electronic computing device for implementing the same
CN114140758A (zh) * 2021-11-30 2022-03-04 北京超星未来科技有限公司 一种目标检测方法、装置及计算机设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9972067B2 (en) 2016-10-11 2018-05-15 The Boeing Company System and method for upsampling of sparse point cloud for 3D registration
US11341615B2 (en) * 2017-09-01 2022-05-24 Sony Corporation Image processing apparatus, image processing method, and moving body to remove noise in a distance image
US10628671B2 (en) * 2017-11-01 2020-04-21 Here Global B.V. Road modeling from overhead imagery
CN108061904B (zh) 2017-12-29 2020-12-22 华为技术有限公司 多线激光雷达
WO2020009806A1 (en) * 2018-07-05 2020-01-09 Optimum Semiconductor Technologies Inc. Object detection using multiple sensors and reduced complexity neural networks
CN109300190B (zh) * 2018-09-06 2021-08-10 百度在线网络技术（北京）有限公司 三维数据的处理方法、装置、设备和存储介质
CN112085842B (zh) 2019-06-14 2024-04-09 北京京东乾石科技有限公司 深度值确定方法及装置、电子设备和存储介质
CN111161338B (zh) 2019-12-26 2022-05-17 浙江大学 一种基于二维图像灰度进行深度预测的点云密度提升方法
CN112150595A (zh) 2020-09-21 2020-12-29 广东博智林机器人有限公司 一种点云数据处理方法、装置、设备及介质
CN112731436B (zh) * 2020-12-17 2024-03-19 浙江大学 基于点云上采样的多模态数据融合可行驶区域检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017023210A1 (en) * 2015-08-06 2017-02-09 Heptagon Micro Optics Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
CN108701374A (zh) * 2017-02-17 2018-10-23 深圳市大疆创新科技有限公司 用于三维点云重建的方法和装置
CN107610084A (zh) * 2017-09-30 2018-01-19 驭势科技（北京）有限公司 一种对深度图像和激光点云图进行信息融合的方法与设备
CN112766328A (zh) * 2020-01-05 2021-05-07 北京航空航天大学 融合激光雷达、双目相机和ToF深度相机数据的智能机器人深度图像构建方法
CN111724478A (zh) * 2020-05-19 2020-09-29 华南理工大学 一种基于深度学习的点云上采样方法
CN111563923A (zh) * 2020-07-15 2020-08-21 浙江大华技术股份有限公司 获得稠密深度图的方法及相关装置
WO2022045495A1 (en) * 2020-08-25 2022-03-03 Samsung Electronics Co., Ltd. Methods for depth map reconstruction and electronic computing device for implementing the same
CN112102472A (zh) * 2020-09-01 2020-12-18 北京航空航天大学 稀疏三维点云稠密化方法
CN113160327A (zh) * 2021-04-09 2021-07-23 上海智蕙林医疗科技有限公司 一种点云补全的实现方法和***
CN113160390A (zh) * 2021-04-28 2021-07-23 北京理工大学 一种三维稠密重建方法及***
CN114140758A (zh) * 2021-11-30 2022-03-04 北京超星未来科技有限公司 一种目标检测方法、装置及计算机设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Sparse-to-Dense Multi-Encoder Shape Completion of Unstructured Point Cloud";Yanjun Peng 等;《IEEE Access》;20200210;30969-30978 *
"影像匹配点云与地面激光点云配准技术研究";汤念;《中国优秀硕士学位论文全文数据库-基础科学辑》;20220115;第2022年卷(第1期);A005-279 *

Also Published As

Publication number Publication date
CN114677315A (zh) 2022-06-28
WO2023197351A1 (zh) 2023-10-19
US20240037707A1 (en) 2024-02-01
US11954835B2 (en) 2024-04-09

Similar Documents

Publication Publication Date Title
TWI762860B (zh) 目標檢測及目標檢測網路的訓練方法、裝置、設備及儲存媒體
CN107230225B (zh) 三维重建的方法和装置
KR102459853B1 (ko) 디스패리티 추정 장치 및 방법
US10621446B2 (en) Handling perspective magnification in optical flow processing
US8330852B2 (en) Range measurement using symmetric coded apertures
WO2011137140A1 (en) Range measurement using a coded aperture
CN112381847B (zh) 管路端头空间位姿测量方法及***
CN111401387B (zh) 异常样本构建方法、装置、计算机设备和存储介质
KR101854048B1 (ko) 스테레오 매칭 깊이맵의 신뢰도 측정 방법 및 장치
US20220180476A1 (en) Systems and methods for image feature extraction
CN101976436A (zh) 一种基于差分图修正的像素级多聚焦图像融合方法
CN112287824A (zh) 基于双目视觉的三维目标检测方法、装置及***
CN109214254B (zh) 一种确定机器人位移的方法及装置
KR20210074163A (ko) 공동 검출 및 기술 시스템 및 방법
CN109447902B (zh) 一种图像拼接方法、装置、储存介质及设备
KR20190140828A (ko) 이미지에서 극점의 서브 픽셀 위치를 추정하기 위한 방법, 장치 및 시스템
CN112184809A (zh) 相对位姿的估计方法、装置、电子设备及介质
CN114821087A (zh) 一种深度图像关键点的检测与描述模型及方法
KR101799143B1 (ko) 타깃 사이즈를 추정하기 위한 시스템 및 방법
CN114648547A (zh) 用于反无人机红外探测***的弱小目标检测方法和装置
CN116912675B (zh) 一种基于特征迁移的水下目标检测方法及***
CN114677315B (zh) 基于图像与激光点云的图像融合方法、装置、设备和介质
JP6080424B2 (ja) 対応点探索装置、そのプログラムおよびカメラパラメータ推定装置
CN115272067A (zh) 一种基于神经网络的激光雷达三维距离像超分辨率重建方法
CN112270693B (zh) 一种飞行时间深度相机运动伪差检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant