CN114764746A - 激光雷达的超分辨率方法和装置、电子设备及存储介质 - Google Patents

激光雷达的超分辨率方法和装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114764746A
CN114764746A CN202111109236.5A CN202111109236A CN114764746A CN 114764746 A CN114764746 A CN 114764746A CN 202111109236 A CN202111109236 A CN 202111109236A CN 114764746 A CN114764746 A CN 114764746A
Authority
CN
China
Prior art keywords
point cloud
super
resolution
point
distance function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111109236.5A
Other languages
English (en)
Inventor
李鹏飞
周谷越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202111109236.5A priority Critical patent/CN114764746A/zh
Publication of CN114764746A publication Critical patent/CN114764746A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种激光雷达的超分辨率方法和装置、电子设备及存储介质，其中所述方法包括：将原始点云输入到判别式模型中，得到与原始点云对应的点云块的形状嵌入；原始点云是对扫描得到的激光雷达点云数据进行约束后得到；将目标分辨率的目标网格点的三维坐标及其对应的形状嵌入值拼接在一起后输入到生成式模型中，得到所述目标网格点的符号距离函数值；目标网格点对应的形状嵌入值是基于点云块的形状嵌入通过线性插值得到的；符号距离函数值用于得到超分辨重建结果。所述判别式模型和生成式模型是基于点云样本数据和对应的重建后的点云样本数据进行协同训练后得到。本发明能够在任意分辨率上实现对新激光雷达数据的快速超分辨重建过程。

Description

激光雷达的超分辨率方法和装置、电子设备及存储介质
技术领域
本发明涉及光学领域，尤其涉及一种激光雷达的超分辨率方法和装置、电子设备及存储介质。
背景技术
激光雷达是一种光学遥感技术，通过向目标发射脉冲激光来测量目标的距离等参数。超分辨率是通过硬件或软件的方法提高原有图像的分辨率的过程。符号距离函数可以表述为一个度量空间中的点到该空间的一个子集区域边界的带符号距离值：点在区域边界内部为正，外部为负，边界上为0。
单独对激光雷达数据的处理、对图像的超分辨重建的现有技术均较多，而围绕激光雷达数据的超分辨重建技术研究较少。且在这些技术中，大多采用了结合多帧图像或结合3D激光雷达数据与2D图像数据的方法实现超分辨重建，没有在单帧3D激光雷达数据上直接进行超分辨率重建的技术，且存在复杂度高、处理速度慢，设备成本高的缺陷。更重要的是，现有技术的超分辨重建局限于重建到指定高分辨率，而不能实现重建到任意分辨率的目标。
发明内容
本发明提供一种激光雷达的超分辨率方法和装置、电子设备及存储介质，用以解决现有技术中存在的技术缺陷。
本发明提供一种激光雷达的超分辨率方法，包括：
将原始点云输入到判别式模型中，得到与所述原始点云对应的点云块的形状嵌入；其中，所述原始点云是对扫描得到的激光雷达点云数据进行约束后得到；
将目标分辨率的目标网格点的三维坐标及其对应的形状嵌入值拼接在一起后输入到生成式模型中，得到所述目标网格点的符号距离函数值；所述目标网格点对应的形状嵌入值是基于所述点云块的形状嵌入通过线性插值得到的；所述符号距离函数值用于构成超分辨重建后的点云结果；
其中，所述判别式模型和生成式模型是基于点云样本数据和对应的重建后的点云样本数据进行协同训练后得到。
根据本发明所述的激光雷达的超分辨率方法，其中，所述将目标网格点的三维坐标及其对应的形状嵌入值拼接在一起后输入到生成式模型中，得到所述目标网格点的符号距离函数值之后，包括：
基于所述目标网格点的符号距离函数值的绝对值和预设阈值的比较结果，选取出用于优化补全的网格点，以构成超分辨重建后的点云结果。
根据本发明所述的激光雷达的超分辨率方法，其中，所述基于所述目标网格点的符号距离函数值的绝对值和预设阈值的比较结果，选取出用于优化补全的网格点，包括：
将所述目标网格点的符号距离函数值的绝对值和预设阈值进行比较，得到比较结果；
若所述比较结果为所述目标网格点的符号距离函数值的绝对值小于预设阈值，将所述目标网格点作为用于优化补全的网格点。
根据本发明所述的激光雷达的超分辨率方法，其中，所述方法还包括：
将原始点云输入到所述判别式模型中，得到对应的相同分辨率下补全后的、带有类别概率值的点云；
其中，所述判别式模型是基于点云样本数据和对应的重建后的点云类别样本进行训练后得到。
根据本发明所述的激光雷达的超分辨率方法，其中，所述判别式模型和生成式模型协同训练的损失函数
Figure BDA0003273663140000031
为：
Figure BDA0003273663140000032
Figure BDA0003273663140000033
Figure BDA0003273663140000034
其中，
Figure BDA0003273663140000035
表示判别式模型的第一项损失函数，为二分类交叉熵损失函数：i表示判别式模型的每一层，一共m层；j表示第i层得到的网格中第j个点，每一层一共ni个点；yi，j表示第i层第j个点存在的真实概率，pi，j表示第i层第j个点存在的预测概率；
Figure BDA0003273663140000036
表示判别式模型的第二项损失函数，为多分类交叉熵损失函数：n指补全后的点云中的n个点，k为类别的总数，yi,c指第i个点属于第c类的真实概率，pi,c为预测出的第i个点属于第c类的预测概率；
Figure BDA0003273663140000037
Figure BDA0003273663140000038
表示生成式模型的损失函数，Ω为整个三维空间，Ω0为物体表面，函数φ为生成式模型表征的符号距离函数，x为三维坐标点，
Figure BDA0003273663140000039
为符号距离函数的梯度，n(x)为坐标点x的法向量，ψ(φ (x))＝exp(-α|φ(x)|)，α>>1。
本发明还提供了一种激光雷达的超分辨率装置，包括：
形状嵌入确定模块，用于将原始点云输入到判别式模型中，得到与所述原始点云对应的点云块的形状嵌入；其中，所述原始点云是对扫描得到的激光雷达点云数据进行约束后得到；
符号距离函数值确定模块，用于将目标分辨率的目标网格点的三维坐标及其对应的形状嵌入值拼接在一起后输入到生成式模型中，得到所述目标网格点的符号距离函数值；所述目标网格点对应的形状嵌入值是基于所述点云块的形状嵌入通过线性插值得到的；所述符号距离函数值用于构成超分辨重建后的点云结果；
其中，所述判别式模型和生成式模型是基于点云样本数据和对应的重建后的点云样本数据进行协同训练后得到。
根据本发明所述的激光雷达的超分辨率装置，其中，所述激光雷达的超分辨率装置还包括：
网格点筛选模块，用于基于所述目标网格点的符号距离函数值的绝对值和预设阈值的比较结果，选取出用于优化补全的网格点；
超分辨重建模块，用于基于所述用于优化补全的网格点，对所述目标点云进行超分辨重建，得到优化后的目标点云。
根据本发明所述的激光雷达的超分辨率装置，其中，所述激光雷达的超分辨率装置还包括分类模块，所述分类模块用于：
将原始点云输入到所述判别式模型中，得到对应的相同分辨率下补全后的、带有类别概率值的点云；
其中，所述判别式模型是基于点云样本数据和对应的重建后的点云类别样本进行训练后得到。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述激光雷达的超分辨率方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述激光雷达的超分辨率方法的步骤。
本发明结合生成式模型与判别式模型，通过对已有的高分辨率数据的学习，实现对新激光雷达数据的快速超分辨重建过程。由于本发明建模了场景物体的符号距离函数，能够预测出用于重建到任意分辨率结果的符号距离函数，实现了对物体表面的连续表征，故能够在任意分辨率下实现对激光雷达点云数据的超分辨重建；通过对大批量场景数据中的信息进行了学习，使得补全的过程在利用了几何学原理的基础上进一步利用了大数据先验知识，从而取得了比现有技术更优的超分辨重建结果；对激光雷达扫描得到的目标点云数据能够进行快速的补全、提高分辨率的处理，从而实现了实时反馈优化完善后的点云结果的效果；本发明无需复杂硬件设备的支持，只需要利用所述简单电子设备及存储介质，并执行所述程序对点云数据进行处理即可实现超分辨重建，故可以直接应用到现有的使用了激光雷达设备的***中，可移植性强。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的激光雷达的超分辨率方法的流程示意图；
图2是本发明提供的激光雷达的超分辨率装置的结构示意图；
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1描述本发明的一种激光雷达的超分辨率方法，该方法包括：
S1、将原始点云输入到判别式模型中，得到与所述原始点云对应的点云块的形状嵌入；其中，所述原始点云是对扫描得到的激光雷达点云数据进行约束后得到；
原始点云用于生成原始点云对应的点云块的形状嵌入。对扫描得到的激光雷达点云数据进行约束，可以得到包含若干个点云块的原始点云。约束具体可以是：将激光雷达扫描得到的点云数据约束到一个指定的长方体范围内，该范围即为实际应用场景中所需要关注的部分。
在所述判别式模型中：前半部分使用U-Net结构、并连接若干个卷积神经网络层，将稀疏点云补全并给每个点进行分类，并将分类结果输出；后半部分连接若干个卷积神经网络层，最终输出点云块的形状嵌入。此时，所述判别式模型有以下输入输出形式：输入“约束后的激光雷达点云”；输出“对应的相同分辨率下补全后的、带有类别概率值的点云”、“点云块的形状嵌入”。
S2、将目标分辨率的目标网格点的三维坐标及其对应的形状嵌入值拼接在一起后输入到生成式模型中，得到所述目标网格点的符号距离函数值；所述目标网格点对应的形状嵌入值是基于所述点云块的形状嵌入通过线性插值得到的；所述生成式模型是由若干个全连接层构成的神经网络；所述符号距离函数值用于构成超分辨重建后的点云结果；
在将这些点输入到生成式模型中时，不只是将点的三维坐标(x、 y、z值)输入，而是将坐标拼接上“从判别式模型中预测出点云块的形状嵌入，再线性插值得到的每个目标网格点的形状嵌入”，即输入有这样的形式：(S1,S2,...,Sn,x,y,z)，其中(S1,S2,...,Sn)为(x,y,z)点对应的形状嵌入向量，共n个维度。
训练过程的最终输出是：输入到生成式模型中的每个点所对应的符号距离函数值。
所述判别式模型和生成式模型是基于点云样本数据和对应的重建后的点云样本数据进行协同训练后得到。在训练过程中，使用自监督训练和有监督训练相结合的方法，通过梯度下降、反向传播的方式对预测形状嵌入的判别式模型和拟合符号距离函数的生成式模型进行优化。
具体地，在训练阶段：首先将约束后的原始点云输入到一个判别式模型中，该网络将每一帧激光雷达扫描到的原始稀疏点云映射到其对应的分布均匀、稀疏程度低的点云数据的一些形状嵌入上。而后将该帧对应的优化重建点云中的点、在约束空间内随机取得的点以及每个点对应的形状嵌入输入到生成式模型中，对生成式模型进行拟合训练。在生成式模型这里，对多帧点云数据同时进行训练，训练过程中所有的点云共享同一个生成式模型。为了区分不同点云的符号距离函数，在输入中将点云的三维坐标拼接了表征该点所在场景及位置的形状嵌入值。由于每一帧点云存在很多相似的场景，所以在训练预测形状嵌入的判别式模型时将每个场景均匀划分成若干个点云块，对每一个块分别赋予一个形状嵌入值。对训练数据提供的优化重建的点云中的每个点，通过线性插值的方式得到该点对应的形状嵌入值，进而输入生成式模型中训练。由于整个计算过程可导，可以通过上述端到端的方式进行训练。
生成式模型中输入的三维坐标可以通过编码的方式进行改进。也就是将三维坐标映射到m维。这样生成式模型的输入就变成了(m+n) 维的数据。其中有m维编码后的坐标、n维形状嵌入。也就是分别把x、 y、z编码成：
(sin(πx),cos(πx),sin(2πx),cos(2πx),……)
(sin(πy),cos(πy),sin(2πy),cos(2πy),……)
(sin(πz),cos(πz),sin(2πz),cos(2πz),……)
各为m/3维。
本发明结合生成式模型与判别式模型，通过对已有的高分辨率数据的学习，实现对新激光雷达数据的快速超分辨重建过程，由于本发明建模了场景物体的符号距离函数，实现了对物体表面的连续表征，故能够在任意分辨率上实现对激光雷达点云数据的超分辨重建；这种特性使得用户可以根据应用场景自主选择重建后的分辨率大小，而不需要进行复杂的算法修改、硬件设备更换。同时，建模了物体的符号距离函数使得对物体的渲染成为可能，满足了更多应用需求。
本发明通过对大批量场景数据中的信息进行了学习，使得补全的过程在利用了几何学原理的基础上进一步利用了大数据先验知识，从而取得了比现有技术更优的超分辨重建结果；经激光雷达扫描得到的目标点云数据能够快速进行补全、提高分辨率的处理，从而实现了实时反馈优化完善后的点云结果的效果；本发明无需复杂硬件设备的支持，只需要利用所述简单电子设备及存储介质，并执行所述程序对点云数据进行处理即可实现超分辨重建，故可以直接应用到现有的使用了激光雷达设备的***中，可移植性强。
根据本发明所述的激光雷达的超分辨率方法，其中，所述将目标网格点的三维坐标及其对应的形状嵌入值拼接在一起后输入到生成式模型中，得到所述目标网格点的符号距离函数值之后，包括：
基于所述目标网格点的符号距离函数值的绝对值和预设阈值的比较结果，选取出用于优化补全的网格点。这些得到的所有用于优化补全的网格点可以构成超分辨重建后的点云结果。
也就是说，得到符号距离函数值后，可以限定一个较小的预设阈值(预设阈值可以设置为接近零的数，例如0.001、0.01等)，将符号距离函数值绝对值小于该阈值的点视作符号距离函数值为零的点，即物体表面上的点，其他点视作不在表面上的点。这样便预测出了对输入点云进行优化改善、超分辨重建后得到的结果。
根据本发明所述的激光雷达的超分辨率方法，其中，所述基于所述目标网格点的符号距离函数值的绝对值和预设阈值的比较结果，选取出用于优化补全的网格点，包括：
将所述目标网格点的符号距离函数值的绝对值和预设阈值进行比较，得到比较结果；
若所述比较结果为所述目标网格点的符号距离函数值的绝对值小于预设阈值，将所述目标网格点作为用于优化补全的网格点。
若所述比较结果为所述目标网格点的符号距离函数值的绝对值不小于预设阈值，则将所述目标网格点视为不在物体表面的网格点，可以将不在物体表面的网格点丢弃，无需考虑。
根据本发明所述的激光雷达的超分辨率方法，其中，所述方法还包括：
将原始点云输入到所述判别式模型中，得到对应的相同分辨率下补全后的、带有类别概率值的点云；
其中，所述判别式模型是基于点云样本数据和对应的重建后的点云类别样本进行训练后得到。
在超分辨重建时，我们将稀疏点云输入超分辨重建的网络中，得到最终预测出的任意分辨率下的重建点云A、和输入点云对应的分辨率下带有类别信息的重建点云B。接着，对A中的每个点a，在B中通过最近邻搜索找到距离a最近的点b，并将点b的类别信息赋予点a。这样，A中的每个点都有了类别信息。即最终得到了任意分辨率下的、带有类别信息的超分辨点云重建结果。
由于判别式模型的输出连接到了生成式模型中，整个计算过程可导，所以可以通过以下损失函数的优化过程来实现对判别式模型、生成式模型的同时训练。根据本发明所述的激光雷达的超分辨率方法，其中，所述判别式模型和生成式模型协同训练的损失函数
Figure BDA0003273663140000101
为：
Figure BDA0003273663140000102
Figure BDA0003273663140000103
Figure BDA0003273663140000104
其中，
Figure BDA0003273663140000105
表示判别式模型的第一项损失函数，为二分类交叉熵损失函数：(对应的训练过程是：输出点云块的形状嵌入的训练过程)， i表示判别式模型的每一层，一共m层；j表示第i层得到的网格中第j个点，每一层一共ni个点；yi，j表示第i层第j个点存在的真实概率， pi，j表示第i层第j个点存在的预测概率；
Figure 1
表示判别式模型的第二项损失函数，为多分类交叉熵损失函数(对应的训练过程是：输出点云块对应的相同分辨率下补全后的、带有类别概率值的点云的训练过程)，n指补全后的点云中的n个点， k为类别的总数，yi，c指第i个点属于第c类的真实概率(对于每个点i，有且只有一类下的真实概率为1，其他类下的真实概率为0，即该点的真实类别只能为某一类)，pi，c为预测出的第i个点属于第c类的预测概率；
在判别式模型中：前半部分使用U-Net结构、并连接若干个卷积神经网络层，将稀疏点云补全并给每个点进行分类，并将分类结果输出；后半部分连接若干个卷积神经网络层，最终输出点云块的形状嵌入。此时，我们的判别式模型有以下输入输出形式：输入“约束后的激光雷达点云”；输出“对应的相同分辨率下补全后的、带有类别概率值的点云”、“点云块的形状嵌入”。以上分类和生成点云块的形状嵌入的过程是同步进行的，在训练阶段也是一起协同训练的。
Figure BDA0003273663140000111
Figure BDA0003273663140000112
表示生成式模型的损失函数，Ω为整个三维空间，Ω0为物体表面，函数φ为生成式模型表征的符号距离函数，x为三维坐标点，
Figure BDA0003273663140000113
为符号距离函数的梯度，n(x)为坐标点x的法向量，ψ(φ (x))＝exp(-α|φ(x)|)，α>>1。在最小化该loss时：公式中第一个积分项使得符号距离函数在整个空间中梯度的模长趋于1(物理上反映了符号距离函数在空间场中的特性)；第二个积分项里第一个加项使得在表面上的点的符号距离函数值趋于0(物理上反映了表面上的点到表面的距离为0)，第二个加项使得表面上的点的梯度和该点的法向量趋于同向(物理上，梯度表征了函数值变化最快的方向，对于符号距离函数，表面法向量方向恰好为函数值变化最快的方向)；第三个积分项利用exp指数函数，使得不在表面上的点的符号距离函数值趋于无穷大。
在生成式模型中，利用该损失函数训练时：对于每一帧对应的优化重建点云中的点(在物体表面上)，将预测出的它们的符号距离函数值优化到零；对于在约束空间内随机取得的点(不在物体表面上)，可以将预测出的它们的符号距离函数值优化到它们的真实符号距离函数值上，但由于在超分辨率重建过程中关心的为物体表面，即符号距离函数值为零的点，故选择将这些不在表面上的点的预测符号距离函数值优化到无穷大，从而增强对表面的辨别程度。
对于激光雷达数据，其点云存在较大的稀疏性。虽然可以只使用单独的退化的生成式模型对原始点云数据直接进行超分辨率重建，但得到的结果会存在分布不均匀、重建结果细节不理想、数据噪声较大等问题。故为了实现较好结果的超分辨重建，需要弥补这种稀疏性，即实现对稀疏区域的补全。本发明中生成式模型与判别式模型相结合的方式使得补全过程可以伴随着超分辨重建过程进行。
参见图2，下面对本发明提供的激光雷达的超分辨率装置进行描述，下文描述的激光雷达的超分辨率装置与上文描述的激光雷达的超分辨率方法可相互对应参照，所述激光雷达的超分辨率装置包括：
形状嵌入确定模块10，用于将原始点云输入到判别式模型中，得到与所述原始点云对应的点云块的形状嵌入；其中，所述原始点云是对扫描得到的激光雷达点云数据进行约束后得到；
原始点云用于生成原始点云对应的点云块的形状嵌入，对扫描得到的激光雷达点云数据进行约束，可以得到包含若干个点云块的原始点云。约束具体可以是：首先将激光雷达扫描得到的点云数据约束到一个指定的长方体范围内，该范围即为实际应用场景中所需要关注的部分。
符号距离函数值确定模块20，用于将目标分辨率的目标网格点的三维坐标及其对应的形状嵌入值拼接在一起后输入到生成式模型中，得到所述目标网格点的符号距离函数值；所述目标网格点对应的形状嵌入值是基于所述点云块的形状嵌入通过线性插值得到的；所述符号距离函数值用于构成超分辨重建后的点云结果；
其中，所述判别式模型和生成式模型是基于点云样本数据和对应的重建后的点云样本数据进行协同训练后得到。
在将这些点输入到生成式模型中时，不只是将点的三维坐标(x、 y、z值)输入，而是将坐标拼接上“从判别式模型中预测出点云块的形状嵌入，再线性插值得到的每个目标网格点的形状嵌入值(也就是形状嵌入向量)”即输入有这样的形式：(S1，S2，...，Sn，x，y，z)，其中 (S1,S2,...，Sn)为(x，y，z)点对应的形状嵌入向量，共n个维度。
训练过程的最终输出是：输入到生成式模型中的每个点所对应的符号距离函数值。
所述判别式模型和生成式模型是基于点云样本数据和对应的重建后的点云样本数据进行协同训练后得到。在训练过程中，使用自监督训练和有监督训练相结合的方法，通过梯度下降、反向传播的方式对预测形状嵌入的判别式模型和拟合符号距离函数的生成式模型进行优化。
具体地，在训练阶段：首先将约束后的原始点云输入到一个判别式模型中，该网络将每一帧激光雷达扫描到的原始稀疏点云映射到其对应的分布均匀、稀疏程度低的点云数据的一些形状嵌入上。而后将该帧对应的优化重建点云中的点、在约束空间内随机取得的点以及每个点对应的形状嵌入输入到生成式模型中，对生成式模型进行拟合训练。在生成式模型这里，对多帧点云数据同时进行训练，训练过程中所有的点云共享同一个生成式模型。为了区分不同点云的符号距离函数，在输入中将点云的三维坐标拼接了表征该点所在场景及位置的形状嵌入值。由于每一帧点云存在很多相似的场景，所以在训练预测形状嵌入的判别式模型时将每个场景均匀划分成若干个点云块，对每一个块分别赋予一个形状嵌入值。对训练数据提供的优化重建的点云中的每个点，通过线性插值的方式得到该点对应的形状嵌入值，进而输入生成式模型中训练。由于整个计算过程可导，可以通过上述端到端的方式进行训练。
根据本发明所述的激光雷达的超分辨率装置，其中，所述激光雷达的超分辨率装置还包括：
超分辨重建模块，用于基于所述目标网格点的符号距离函数值的绝对值和预设阈值的比较结果，选取出用于优化补全的网格点，以构成超分辨重建后的点云结果。
也就是说，得到符号距离函数值后，可以限定一个较小的预设阈值(预设阈值可以设置为接近零的数，例如0.001、0.01等)，将符号距离函数值绝对值小于该阈值的点视作符号距离函数值为零的点，即为物体表面上的点，其他点视作不在表面上的点。这样便预测出了对输入点云进行优化改善、超分辨重建后得到的结果。
根据本发明所述的激光雷达的超分辨率装置，其中，所述超分辨重建模块具体用于：
将所述目标网格点的符号距离函数值的绝对值和预设阈值进行比较，得到比较结果；
若所述比较结果为所述目标网格点的符号距离函数值的绝对值小于预设阈值，将所述目标网格点作为用于优化补全的网格点。
若所述比较结果为所述目标网格点的符号距离函数值的绝对值不小于预设阈值，则将所述目标网格点视为不在物体表面的网格点，可以将不在物体表面的网格点丢弃，无需考虑。
由于判别式模型的输出连接到了生成式模型中，整个计算过程可导，所以可以通过对以下损失函数的优化过程来实现对判别式模型、生成式模型的同时训练。根据本发明所述的激光雷达的超分辨率方法，其中，
所述判别式模型和生成式模型协同训练的损失函数
Figure BDA0003273663140000141
为：
Figure BDA0003273663140000142
Figure BDA0003273663140000143
Figure BDA0003273663140000144
其中，
Figure BDA0003273663140000151
表示判别式模型的第一项损失函数(对应的训练过程是：输出点云块的形状嵌入的训练过程)，i表示判别式模型的每一层，一共m层；j表示第i层得到的网格中第j个点，每一层一共ni个点； yi，j表示第i层第j个点存在的真实概率，pi，j表示第i层第j个点存在的预测概率；
Figure BDA0003273663140000152
表示判别式模型的第二项损失函数(对应的训练过程是：输出点云块对应的相同分辨率下补全后的、带有类别概率值的点云的训练过程)，n指补全后的点云中的n个点，k为类别的总数，yi,c指第i 个点属于第c类的真实概率(对于每个点i，有且只有一类下的真实概率为1，其他类下的真实概率为0，即该点的真实类别只能为某一类)，pi,c为预测出的第i个点属于第c类的预测概率；
在判别式模型中：前半部分使用U-Net结构、并连接若干个卷积神经网络层，将稀疏点云补全并给每个点进行分类，并将分类结果输出；后半部分连接若干个卷积神经网络层，最终输出点云块的形状嵌入。此时，我们的判别式模型有以下输入输出形式：输入“约束后的激光雷达点云”；输出“对应的相同分辨率下补全后的、带有类别概率值的点云”、“点云块的形状嵌入”。以上分类和生成点云块的形状嵌入的过程是同步进行的，在训练阶段也是一起协同训练的。
Figure BDA0003273663140000153
Figure BDA0003273663140000154
表示生成式模型的损失函数，Ω为整个三维空间，Ω0为物体表面，函数φ为生成式模型表征的符号距离函数，x为三维坐标点，
Figure BDA0003273663140000155
为符号距离函数的梯度，n(x)为坐标点x的法向量，ψ(φ (x))＝exp(-α|φ(x)|)，α>>1。在最小化该loss时：公式中第一个积分项使得符号距离函数在整个空间中梯度模长趋于1(物理上反映了符号距离函数在空间场中的特性)；第二个积分项里第一个加项使得在表面上的点的符号距离函数值趋于0(物理上反映了表面上的点到表面的距离为0)，第二个加项使得表面上的点的梯度和该点的法向量趋于同向(物理上，梯度表征了函数值变化最快的方向，对于符号距离函数，表面法向量方向恰好为函数值变化最快的方向)；第三个积分项利用exp指数函数，使得不在表面上的点的符号距离函数值趋于无穷大。
在生成式模型中，利用该损失函数训练时：对于每一帧对应的优化重建点云中的点(在物体表面上)，将预测出的它们的符号距离函数值优化到零；对于在约束空间内随机取得的点(不在物体表面上)，可以将预测出的它们的符号距离函数值优化到它们的真实符号距离函数值上，但由于在超分辨率重建过程中关心的为物体表面，即符号距离函数值为零的点，故选择将这些不在表面上的点的预测符号距离函数值优化到无穷大，从而增强对表面的辨别程度。
对于激光雷达数据，其点云存在较大的稀疏性。虽然可以只使用单独的退化的生成式模型对原始点云数据直接进行超分辨率重建，但得到的结果会存在分布不均匀、重建结果细节不理想、数据噪声较大等问题。故为了实现较好结果的超分辨重建，需要弥补这种稀疏性，即实现对稀疏区域的补全。本发明中生成式模型与判别式模型相结合的方式使得补全过程可以伴随着超分辨重建过程进行。
根据本发明所述的激光雷达的超分辨率装置，其中，所述激光雷达的超分辨率装置还包括分类模块，所述分类模块用于：
将原始点云输入到所述判别式模型中，得到对应的相同分辨率下补全后的、带有类别概率值的点云；
其中，所述判别式模型是基于点云样本数据和对应的重建后的点云类别样本进行训练后得到。
图3示例了一种电子设备的实体结构示意图，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口 320，存储器330通过通信总线340完成相互间的通信。处理器310 可以调用存储器330中的逻辑指令，以执行激光雷达的超分辨率方法，该方法包括：
S1、将原始点云输入到判别式模型中，得到与所述原始点云对应的点云块的形状嵌入；其中，所述原始点云是对扫描得到的激光雷达点云数据进行约束后得到；
S2、将目标分辨率的目标网格点的三维坐标及其对应的形状嵌入值拼接在一起后输入到生成式模型中，得到所述目标网格点的符号距离函数值；所述目标网格点对应的形状嵌入值是基于所述点云块的形状嵌入通过线性插值得到的；所述符号距离函数值用于构成超分辨重建后的点云结果；
其中，所述判别式模型和生成式模型是基于点云样本数据和对应的重建后的点云样本数据进行协同训练后得到。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的激光雷达的超分辨率方法，该方法包括：
S1、将原始点云输入到判别式模型中，得到与所述原始点云对应的点云块的形状嵌入；其中，所述原始点云是对扫描得到的激光雷达点云数据进行约束后得到；
S2、将目标分辨率的目标网格点的三维坐标及其对应的形状嵌入值拼接在一起后输入到生成式模型中，得到所述目标网格点的符号距离函数值；所述目标网格点对应的形状嵌入值是基于所述点云块的形状嵌入通过线性插值得到的；所述符号距离函数值用于构成超分辨重建后的点云结果；
其中，所述判别式模型和生成式模型是基于点云样本数据和对应的重建后的点云样本数据进行协同训练后得到。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的激光雷达的超分辨率方法，该方法包括：
S1、将原始点云输入到判别式模型中，得到与所述原始点云对应的点云块的形状嵌入；其中，所述原始点云是对扫描得到的激光雷达点云数据进行约束后得到；
S2、将目标分辨率的目标网格点的三维坐标及其对应的形状嵌入值拼接在一起后输入到生成式模型中，得到所述目标网格点的符号距离函数值；所述目标网格点对应的形状嵌入值是基于所述点云块的形状嵌入通过线性插值得到的；所述符号距离函数值用于构成超分辨重建后的点云结果；
其中，所述判别式模型和生成式模型是基于点云样本数据和对应的重建后的点云样本数据进行协同训练后得到。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种激光雷达的超分辨率方法，其特征在于，包括：
将原始点云输入到判别式模型中，得到与所述原始点云对应的点云块的形状嵌入；其中，所述原始点云是对扫描得到的激光雷达点云数据进行约束后得到；
将目标分辨率的目标网格点的三维坐标及其对应的形状嵌入值拼接在一起后输入到生成式模型中，得到所述目标网格点的符号距离函数值；所述目标网格点对应的形状嵌入值是基于所述点云块的形状嵌入通过线性插值得到的；所述符号距离函数值用于构成超分辨重建后的点云结果；
其中，所述判别式模型和生成式模型是基于点云样本数据和对应的重建后的点云样本数据进行协同训练后得到。
2.根据权利要求1所述的激光雷达的超分辨率方法，其特征在于，所述将目标网格点的三维坐标及其对应的形状嵌入值拼接在一起后输入到生成式模型中，得到所述目标网格点的符号距离函数值之后，包括：
基于所述目标网格点的符号距离函数值的绝对值和预设阈值的比较结果，选取出用于优化补全的网格点，以构成超分辨重建后的点云结果。
3.根据权利要求2所述的激光雷达的超分辨率方法，其特征在于，所述基于所述目标网格点的符号距离函数值的绝对值和预设阈值的比较结果，选取出用于优化补全的网格点，包括：
将所述目标网格点的符号距离函数值的绝对值和预设阈值进行比较，得到比较结果；
若所述比较结果为所述目标网格点的符号距离函数值的绝对值小于预设阈值，将所述目标网格点作为用于优化补全的网格点。
4.根据权利要求1所述的激光雷达的超分辨率方法，其特征在于，所述方法还包括：
将原始点云输入到所述判别式模型中，得到对应的相同分辨率下补全后的、带有类别概率值的点云；
其中，所述判别式模型是基于点云样本数据和对应的重建后的点云类别样本进行训练后得到。
5.根据权利要求4所述的激光雷达的超分辨率方法，其特征在于，所述判别式模型和生成式模型协同训练的损失函数
Figure FDA0003273663130000021
为：
Figure FDA0003273663130000022
Figure FDA0003273663130000023
Figure FDA0003273663130000024
其中，
Figure FDA0003273663130000025
表示判别式模型的第一项损失函数，为二分类交叉熵损失函数：i表示判别式模型的每一层，一共m层；j表示第i层得到的网格中第j个点，每一层一共ni个点；yi，j表示第i层第j个点存在的真实概率，pi，j表示第i层第j个点存在的预测概率；
Figure FDA0003273663130000026
表示判别式模型的第二项损失函数，为多分类交叉熵损失函数：n指补全后的点云中的n个点，k为类别的总数，yi,c指第i个点属于第c类的真实概率，pi,c为预测出的第i个点属于第c类的预测概率；
Figure FDA0003273663130000027
Figure FDA0003273663130000028
表示生成式模型的损失函数，Ω为整个三维空间，Ω0为物体表面，函数φ为生成式模型表征的符号距离函数，x为三维坐标点，
Figure FDA0003273663130000029
为符号距离函数的梯度，n(x)为坐标点x的法向量，ψ(φ(x))＝exp(-α|φ(x)|)，α>>1。
6.一种激光雷达的超分辨率装置，其特征在于，包括：
形状嵌入确定模块，用于将原始点云输入到判别式模型中，得到与所述原始点云对应的点云块的形状嵌入；其中，所述原始点云是对扫描得到的激光雷达点云数据进行约束后得到；
符号距离函数值确定模块，用于将目标分辨率的目标网格点的三维坐标及其对应的形状嵌入值拼接在一起后输入到生成式模型中，得到所述目标网格点的符号距离函数值；所述目标网格点对应的形状嵌入值是基于所述点云块的形状嵌入通过线性插值得到的；所述符号距离函数值用于构成超分辨重建后的点云结果；
其中，所述判别式模型和生成式模型是基于点云样本数据和对应的重建后的点云样本数据进行协同训练后得到。
7.根据权利要求6所述的激光雷达的超分辨率装置，其特征在于，所述激光雷达的超分辨率装置还包括：
超分辨重建模块，用于基于所述目标网格点的符号距离函数值的绝对值和预设阈值的比较结果，选取出用于优化补全的网格点，以构成超分辨重建后的点云结果。
8.根据权利要求6所述的激光雷达的超分辨率装置，其特征在于，所述激光雷达的超分辨率装置还包括分类模块，所述分类模块用于：
将原始点云输入到所述判别式模型中，得到对应的相同分辨率下补全后的、带有类别概率值的点云；
其中，所述判别式模型是基于点云样本数据和对应的重建后的点云类别样本进行训练后得到。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述的激光雷达的超分辨率方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一项所述的激光雷达的超分辨率方法的步骤。
CN202111109236.5A 2021-09-22 2021-09-22 激光雷达的超分辨率方法和装置、电子设备及存储介质 Pending CN114764746A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111109236.5A CN114764746A (zh) 2021-09-22 2021-09-22 激光雷达的超分辨率方法和装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111109236.5A CN114764746A (zh) 2021-09-22 2021-09-22 激光雷达的超分辨率方法和装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114764746A true CN114764746A (zh) 2022-07-19

Family

ID=82365187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111109236.5A Pending CN114764746A (zh) 2021-09-22 2021-09-22 激光雷达的超分辨率方法和装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114764746A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116128727A (zh) * 2023-02-02 2023-05-16 中国人民解放军国防科技大学 极化雷达图像超分辨方法、***、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493407A (zh) * 2018-11-19 2019-03-19 腾讯科技（深圳）有限公司 实现激光点云稠密化的方法、装置及计算机设备
US20200158869A1 (en) * 2018-11-19 2020-05-21 Elmira Amirloo Abolfathi System, device and method of generating a high resolution and high accuracy point cloud
CN112561796A (zh) * 2020-12-02 2021-03-26 西安电子科技大学 基于自注意生成对抗网络的激光点云超分辨率重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493407A (zh) * 2018-11-19 2019-03-19 腾讯科技（深圳）有限公司 实现激光点云稠密化的方法、装置及计算机设备
US20200158869A1 (en) * 2018-11-19 2020-05-21 Elmira Amirloo Abolfathi System, device and method of generating a high resolution and high accuracy point cloud
CN112561796A (zh) * 2020-12-02 2021-03-26 西安电子科技大学 基于自注意生成对抗网络的激光点云超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TAKAYUKI SHINOHARA等: "Point2Wave: 3-D Point Cloud to Waveform Translation Using a Conditional Generative Adversarial Network With Dual Discriminators", IEEE, 2 September 2021 (2021-09-02) *
龚道然 等: "激光雷达三维距离像超分辨重构方法研究", 《红外与激光工程》, vol. 49, no. 8, 31 August 2020 (2020-08-31) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116128727A (zh) * 2023-02-02 2023-05-16 中国人民解放军国防科技大学 极化雷达图像超分辨方法、***、设备及介质

Similar Documents

Publication Publication Date Title
Jam et al. A comprehensive review of past and present image inpainting methods
Wang et al. Hf-neus: Improved surface reconstruction using high-frequency details
CN111325851B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
Wynn et al. Diffusionerf: Regularizing neural radiance fields with denoising diffusion models
WO2021027759A1 (en) Facial image processing
EP3963516B1 (en) Teaching gan (generative adversarial networks) to generate per-pixel annotation
Ghorai et al. Multiple pyramids based image inpainting using local patch statistics and steering kernel feature
JP2023533907A (ja) 自己注意ベースのニューラルネットワークを使用した画像処理
US12026892B2 (en) Figure-ground neural radiance fields for three-dimensional object category modelling
US20240119697A1 (en) Neural Semantic Fields for Generalizable Semantic Segmentation of 3D Scenes
CN113095333B (zh) 无监督特征点检测方法及装置
CN118202391A (zh) 从单二维视图进行对象类的神经辐射场生成式建模
Ahmad et al. 3D capsule networks for object classification from 3D model data
CN112528811A (zh) 行为识别方法和装置
Wang et al. Improved surface reconstruction using high-frequency details
CN114764746A (zh) 激光雷达的超分辨率方法和装置、电子设备及存储介质
Jain et al. Adaptive & multi-resolution procedural infinite terrain generation with diffusion models and Perlin noise
JP2018124990A (ja) モデル生成装置、評価装置、モデル生成方法、評価方法及びプログラム
Ervan et al. A histogram‐based sampling method for point cloud registration
JP7337303B2 (ja) 学習装置、及び学習方法
WO2023086198A1 (en) Robustifying nerf model novel view synthesis to sparse data
CN110490235B (zh) 一种面向2d图像的车辆对象视点预测与三维模型恢复方法及装置
CN112184611A (zh) 图像生成模型训练方法以及装置
Medi et al. FullFormer: Generating Shapes Inside Shapes
CN117333627B (zh) 一种自动驾驶场景的重建与补全方法、***及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination