CN114549605B - 基于点云匹配的图像优化方法、装置、设备及存储介质 - Google Patents

基于点云匹配的图像优化方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114549605B
CN114549605B CN202111666665.2A CN202111666665A CN114549605B CN 114549605 B CN114549605 B CN 114549605B CN 202111666665 A CN202111666665 A CN 202111666665A CN 114549605 B CN114549605 B CN 114549605B
Authority
CN
China
Prior art keywords
point cloud
image
transformation
optimized
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111666665.2A
Other languages
English (en)
Other versions
CN114549605A (zh
Inventor
王钟绪
韩旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Jingqi Technology Co ltd
Original Assignee
Guangzhou Jingqi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Jingqi Technology Co ltd filed Critical Guangzhou Jingqi Technology Co ltd
Priority to CN202111666665.2A priority Critical patent/CN114549605B/zh
Publication of CN114549605A publication Critical patent/CN114549605A/zh
Application granted granted Critical
Publication of CN114549605B publication Critical patent/CN114549605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及自动驾驶领域，公开了一种基于点云匹配的图像优化方法、装置、设备及存储介质。该方法包括：采集待优化的图像对应的点云数据，并根据点云数据，识别图像中姿态变换对应的空间变换信息；根据空间变换信息，采用预设的概率分布优化算法计算图像中姿态变换对应的不确定性数值；根据不确定性数值对点云数据进行优化，并根据优化后的点云数据生成优化图像。本发明提升了基于点云匹配的图像优化的精准度，同时减少了优化计算量，提升了优化效率。

Description

基于点云匹配的图像优化方法、装置、设备及存储介质
技术领域
本发明涉及自动驾驶领域，尤其涉及一种基于点云匹配的图像优化方法、装置、设备及存储介质。
背景技术
在自动驾驶的路线规划时，需要通过如雷达之类的传感器采集驾驶场景中的物体信息，有利于自动驾驶车辆实现定位和障碍物的跟踪。针对驾驶场景的采集方式，通常是传感器按照一定路径进行扫描，并对多个扫描的图像进行糅合，即可得到当前的驾驶场景图像。由于每次扫描的时间存在间隔，使得每次扫描到的场景坐标在不断发生变化，最终扫描得到的图像累计误差较大，估计在得到扫描的驾驶场景信息后，一般需要进行基于点云匹配的图像优化，来增加最终驾驶场景图像的准确性。
现有基于点云匹配的图像优化的方法主要有Hector SLAM，Gmapping算法、Lsd-Slam、SVO、Orb-Slam算法等SLAM(simultaneous localization and mapping，即时定位与地图构建)算法以及各种滤波优化算法，利用每个扫描点的偏移量，来调整每个点的实际位置坐标，以用于构建驾驶场景图像，具体通过每个点之间以连接边表示约束关系，来求解每个点之间的偏移量。但是通过该类型方法进行基于点云匹配的图像优化时，在保证精准度的时候往往需要大量的计算。
发明内容
本发明的主要目的在于解决现有针对自动驾驶的驾驶场景基于点云匹配的图像优化时存在保证精准度的时候往往需要大量的计算的技术问题。
本发明第一方面提供了一种基于点云匹配的图像优化方法，包括：采集待优化的图像对应的点云数据，并根据所述点云数据，识别所述图像中姿态变换对应的空间变换信息；根据所述空间变换信息，采用预设的概率分布优化算法计算所述图像中姿态变换对应的不确定性数值；根据所述不确定性数值对所述点云数据进行优化，并根据优化后的点云数据生成优化图像。
可选的，在本发明第一方面的第一种实现方式中，所述根据所述空间变换信息，采用预设的概率分布优化算法计算所述图像中姿态变换对应的不确定性数值包括：根据所述空间变换信息，采用高斯分布算法计算所述图像中姿态变换对应的无损得分；计算所述无损得分相对于所述图像中姿态变换的n阶梯度向量，其中，所述n为大于1的整数；根据所述n阶梯度向量，确定所述图像中姿态变换对应的不确定性数值。
可选的，在本发明第一方面的第二种实现方式中，所述根据所述不确定性数值对所述点云数据进行优化包括：计算所述无损得分相对于所述图像中姿态变换的一阶梯度向量，并采用所述所述一阶梯度向量和所述不确定性数值，构建最优姿态变换方程；求解所述最优姿态变换方程，得到最优姿态变换，并根据所述最优姿态变换，对所述点云数据进行优化。
可选的，在本发明第一方面的第三种实现方式中，所述根据所述最优姿态变换，对所述点云数据进行优化包括：识别所述点云数据对应的各个待优化节点，并识别各所述待优化节点对应的点云属性；基于所述最优姿态变换和点云匹配的预置图像优化算法，对各所述待优化节点中的点云属性进行优化。
可选的，在本发明第一方面的第四种实现方式中，所述采集待优化的图像对应的点云数据包括：将待优化的图像划分成多个单元结构，以及提取所述待优化的图像中的各个点云结构；识别各所述单元结构所包含的点云结构，并分别对各所述单元结构包含的点云结构进行组合，得到多个点云集；分别获取各所述点云集对应的点云语义信息，并对各所述点云语义信息进行组合，得到所述图像对应的点云数据。
可选的，在本发明第一方面的第五种实现方式中，所述根据所述点云数据，识别所述图像中姿态变换对应的空间变换信息包括：构建所述图像中各所述单元结构中对应的姿态变换与对应点云变换之间的转换关系；根据所述转换关系，采用所述点云数据计算所述图像中各单元结构对应的姿态变换的空间位移，得到所述图像对应的空间变换信息。
本发明第二方面提供了一种基于点云匹配的图像优化装置，包括：识别模块，用于采集待优化的图像对应的点云数据，并根据所述点云数据，识别所述图像中姿态变换对应的空间变换信息；计算模块，用于根据所述空间变换信息，采用预设的概率分布优化算法计算所述图像中姿态变换对应的不确定性数值；优化模块，用于根据所述不确定性数值对所述点云数据进行优化，并根据优化后的点云数据生成优化图像。
可选的，在本发明第二方面的第一种实现方式中，所述计算模块包括：得分计算单元，用于根据所述空间变换信息，采用高斯分布算法计算所述图像中姿态变换对应的无损得分；向量计算单元，用于计算所述无损得分相对于所述图像中姿态变换的n阶梯度向量，其中，所述n为大于1的整数；确定单元，用于根据所述n阶梯度向量，确定所述图像中姿态变换对应的不确定性数值。
可选的，在本发明第二方面的第二种实现方式中，所述优化模块用于：函数构建单元，用于计算所述无损得分相对于所述图像中姿态变换的一阶梯度向量，并采用所述所述一阶梯度向量和所述不确定性数值，构建最优姿态变换方程；优化单元，用于求解所述最优姿态变换方程，得到最优姿态变换，并根据所述最优姿态变换，对所述点云数据进行优化。
可选的，在本发明第二方面的第三种实现方式中，所述优化单元还用于：识别所述点云数据对应的各个待优化节点，并识别各所述待优化节点对应的点云属性；基于所述最优姿态变换和点云匹配的预置图像优化算法，对各所述待优化节点中的点云属性进行优化。
可选的，在本发明第二方面的第四种实现方式中，所述识别模块包括：划分单元，用于将待优化的图像划分成多个单元结构，以及提取所述待优化的图像中的各个点云结构；结构组合单元，用于识别各所述单元结构所包含的点云结构，并分别对各所述单元结构包含的点云结构进行组合，得到多个点云集；信息组合单元，用于分别获取各所述点云集对应的点云语义信息，并对各所述点云语义信息进行组合，得到所述图像对应的点云数据。
可选的，在本发明第二方面的第五种实现方式中，所述识别模块还包括：关系构建单元，用于构建所述图像中各所述单元结构中对应的姿态变换与对应点云变换之间的转换关系；位移计算单元，用于根据所述转换关系，采用所述点云数据计算所述图像中各单元结构对应的姿态变换的空间位移，得到所述图像对应的空间变换信息。
本发明第三方面提供了一种基于点云匹配的图像优化设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于点云匹配的图像优化设备执行上述的基于点云匹配的图像优化方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于点云匹配的图像优化方法。
本发明提供的技术方案中，通过利用待优化图像的点云数据，结合点云匹配的不确定性来参与基于点云匹配的图像优化，在该方法中，更注重图像中姿态变换的不确定性，将基于点云匹配的图像优化的细粒度从点到姿态，同时进行大量点云分布的估算，并以不确定性数值表示，再将得到的不确定性数值运用到图生成过程中，来先对点云数据进行优化，以用于生成优化图像，利用点云不确定性和注重姿态变换的位移，对图像进行基于点云匹配的图像优化，大大减少计算量，同时保证优化图像生成的准确度。
附图说明
图1为本发明中基于点云匹配的图像优化方法的第一个实施例示意图；
图2为本发明中基于点云匹配的图像优化方法的第二个实施例示意图；
图3为本发明中基于点云匹配的图像优化方法的第三个实施例示意图；
图4为本发明中基于点云匹配的图像优化装置的一个实施例示意图；
图5为本发明中基于点云匹配的图像优化装置的另一个实施例示意图；
图6为本发明中基于点云匹配的图像优化设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于点云匹配的图像优化方法、装置、设备及存储介质，采集待优化的图像对应的点云数据，并根据点云数据，识别图像中姿态变换对应的空间变换信息；根据空间变换信息，采用预设的概率分布优化算法计算图像中姿态变换对应的不确定性数值；根据不确定性数值对点云数据进行优化，并根据优化后的点云数据生成优化图像。本发明提升了基于点云匹配的图像优化的精准度，同时减少了优化计算量，提升了优化效率。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于点云匹配的图像优化方法的第一个实施例包括：
101、采集待优化的图像对应的点云数据，并根据所述点云数据，识别所述图像中姿态变换对应的空间变换信息；
可以理解的是，本发明的执行主体可以为基于点云匹配的图像优化装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。需注意的是，本发明应用的领域可以为自动驾驶领域，也可以是其他图像处理领域，比如虚拟现实领域、无人机领域、智能机器人领域等，此处不作具体限定，下面以自动驾驶为例进行说明。
本实施例中，通过安装在自动驾驶车辆上的雷达、红外、摄像机之类的等传感器，扫描驾驶场景对应的图像，此处待优化的图像对应的点云数据则指的是从扫描到的初始图像中采集到的点云数据。在扫描过程中，得到具有时间顺序关系的多张待优化的图像，其优化过程即将每张待优化的图像的点云数据预测匹配为相同时间节点的一张图像的点云数据。
本实施例中，采集得到点云数据后，可以用X＝{x1，x2，……，xn}表示，通过点云数据可以识别到图像中自动驾驶的驾驶姿态，用p表示，当前待优化的图像相对于其他待优化图像进行变换的空间变换信息，可以用一个空间变换函数T(p，xn)表示。而在确定空间变换信息后，点云数据的位移位置和驾驶的姿态变换之间相互关联，即通过求解最佳姿态变换或者求解最佳点云位移位置都可以最终求得图像优化的结果。则针对图像的优化，本质上是求空间变换信息的最优解。
102、根据所述空间变换信息，采用预设的概率分布优化算法计算所述图像中姿态变换对应的不确定性数值；
本实施例中，在识别得到空间变换信息T(p，xn)后，为求得空间变换信息的最优解有两种方式，第一种是求点云的最佳位移位置，第二种是求最佳的姿态变换，分别对两种方式对应的点云位移或姿态变换进行参数优化，即可得到空间变换的最优解。
具体的，此处优选利用姿态变换作为待优化的参数，然后以最大似然的结果来评估该待优化的参数，而优化的结果则以姿态变换的不确定性数值来表示，即当前待优化的图像匹配到目标图像中的姿态变换对应的分布概率，分布概率越高，则待优化的图像匹配到的位置越符合匹配要求。
103、根据所述不确定性数值对所述点云数据进行优化，并根据优化后的点云数据生成优化图像。
本实施例中，点云数据中包含有一个或多个点云语义信息，比如点云的三维坐标、颜色信息(RGB)或反射强度信息等，在对点云数据的优化过程中，是对点云数据的每个点云语义信息进行优化，即是将点云匹配到目标图像上。此处根据不确定性数值可以确定点云匹配到目标图像上时，根据姿态变换得到点云迁移的位置，即对点云数据的位移位置信息进行优化。在点云数据中的位移位置信息优化后，即可确定点云在目标图像上的位置，即可得到用于与该目标图像组合的优化图像。
本发明实施例中，通过利用待优化图像的点云数据，结合点云匹配的不确定性来参与基于点云匹配的图像优化，在该方法中，更注重图像中姿态变换的不确定性，将基于点云匹配的图像优化的细粒度从点到姿态，同时进行大量点云分布的估算，并以不确定性数值表示，再将得到的不确定性数值运用到图生成过程中，来先对点云数据进行优化，以用于生成优化图像，利用点云不确定性和注重姿态变换的位移，对图像进行基于点云匹配的图像优化，大大减少计算量，同时保证优化图像生成的准确度。
请参阅图2，本发明实施例中基于点云匹配的图像优化方法的第二个实施例包括：
201、将待优化的图像划分成多个单元结构，以及提取所述待优化的图像中的各个点云结构；
202、识别各所述单元结构所包含的点云结构，并分别对各所述单元结构包含的点云结构进行组合，得到多个点云集；
203、分别获取各所述点云集对应的点云语义信息，并对各所述点云语义信息进行组合，得到所述图像对应的点云数据，并根据所述点云数据，识别所述图像中姿态变换对应的空间变换信息；
本实施例中，通过将待优化的图像初始化(Initialisation)并划分为多个单元结构，即将待优化的图像对应的姿态变换细分为多个单元结构对应的姿态变换，同时提取图像中的每个点云结构，并识别出每个单元结构包含的点云结构，在每个单元结构中来确定点云数据与姿态变换之间的关系。其中，每个单元结构对应一个点云集，包括{x1，x2，……xk}k个单元结构对应的点云集。
204、根据所述空间变换信息，采用高斯分布算法计算所述图像中姿态变换对应的无损得分；
205、计算所述无损得分相对于所述图像中姿态变换的n阶梯度向量，其中，所述n为大于1的整数；
206、根据所述n阶梯度向量，确定所述图像中姿态变换对应的不确定性数值；
本实施例中，此处图像中姿态变换对应的无损得分指的是图像每个点云结构对对应的姿态变换的影响得分，或者点云集中每个点云结构对对应的姿态变换的影响得分，或者是点云集对应姿态变换对图像整体姿态变换的影响。后续再通过计算一阶梯度向量和n阶梯度向量来计算图像中姿态变换对应的不确定性数值。
优选地，对上述的计算应用NDT(Nondestructive Testing，无损检测)算法，针对当前待优化的图像的点云匹配，通过不确定性数值来确定点云位移位置，由此说明不确定性数值在于求空间变换信息的最优解，针对k个单元结构，在于优化在k个单元结构的最大似然结果：
其中，P(T(p,xk))即为空间变换信息对应变换的概率。然后其等价于对取负对数后的最大似然结果的优化：
由于在该方程中，正态分布的负对数似然值对远离均值的点进行无界增长。因此，采集得到的点云数据中的异常值可能会对整体似然结果有很大的影响。故使用高斯分布和均匀分布的线性组合来代替单元结构对应姿态变化部分的似然结果，具体如下所示：
其中，P0是异常值的预期比率，c1和c2为预设常数项，可以通过同一个单元结构内的p(X)概率量等于1来确定。
然后可以通过一个近似高斯分布来表示，以用于最终计算图像中单元结构对应的姿态变换的无损得分，具体为：
其中，d3＝-log(c2)；d1＝-log(c1+c2)-d3；d2＝-2log((-log(c1exp(-1/2)+c2)-d3)/d1)，μk和是xk所在单元结构的平均值和协方差。
另外，在计算得到图像姿态变换对应的无损得分后，再回到整体图像空间变换信息的似然结果，可以将空间变换信息T(p，xk)，可以将xk变换为p，进行前面初始的最大似然函数的重组，着手于极大似然结果的计算：
由于此时只关注关于姿态变换的位移，此时s(p)的概率分布为关于位移的联合高斯分布，再将前面推导得到的p(x)代入s(p)中，还将xk≡T(p，xk)，即点云结构的转换取决于姿态变换对应的空间变换信息，x’k相当于每个单元结构的中心点，再根据每个单元结构在图像中位置设海森矩阵Hij并求解，来等价计算每个单元结构对应点云集的分布不确定性，同时第i行的单元结构的无损得分pi和第j列的单元结构的无损得分pj，则海森矩阵包括：
其中，Hij即为图像中第i行j列的单元结构的不确定性数值。且此处为所述无损得分相对于所述图像中姿态变换的2阶梯度向量，其中n的数量取决于变换函数T()。
207、计算所述无损得分相对于所述图像中姿态变换的一阶梯度向量，并采用所述所述一阶梯度向量和所述不确定性数值，构建最优姿态变换方程；
208、求解所述最优姿态变换方程，得到最优姿态变换，并根据所述最优姿态变换，对所述点云数据进行优化。
本实施例中，在根据不确定性数值对点云数据进行优化时，先求一阶梯度向量：
然后根据公式H△p＝-g，结合一阶梯度向量和二阶梯度向量来计算姿态变换的位移量△p，△p+p即可得到最终优化后的姿态变换，再通过T(p，xk)来计算每个点云xk的位移位置信息。
请参阅图3，本发明实施例中基于点云匹配的图像优化方法的第三个实施例包括：
301、采集待优化的图像对应的点云数据，并构建所述图像中各所述单元结构中对应的姿态变换与对应点云变换之间的转换关系；
302、根据所述转换关系，采用所述点云数据计算所述图像中各单元结构对应的姿态变换的空间位移，得到所述图像对应的空间变换信息；
本实施例中，此处将对图像中点云结构移动位置的估计与图像的姿态变换之间的转换关系，转换成图像与每个单元结构的姿态变换之间的空间变换信息。具体先通过构建各单元结构姿态变换与对应点云变换之间的转换关系，然后再根据点云变换与图像姿态变换之间的关系计算得到图像与各单元结构之间的空间位移对应的空间变换信息，即从函数T(p，xn)变成T(p，Xk)，Xk为k个单元结构对应的点云集，以提升优化的效率。
303、根据所述空间变换信息，采用高斯分布算法计算所述图像中姿态变换对应的无损得分；
304、根据所述空间变换信息，采用预设的概率分布优化算法计算所述图像中姿态变换对应的不确定性数值；
305、计算所述无损得分相对于所述图像中姿态变换的一阶梯度向量，并采用所述所述一阶梯度向量和所述不确定性数值，构建最优姿态变换方程；
306、求解所述最优姿态变换方程，得到最优姿态变换，并识别所述点云数据对应的各个待优化节点，以及识别各所述待优化节点对应的点云属性；
307、基于所述最优姿态变换和点云匹配的预置图像优化算法，对各所述待优化节点中的点云属性进行优化。
本实施例中，在点云数据每个待优化节点中，对对应的点云属性进行优化，比如每个点云结构在图像中的坐标值(x，y，z)、颜色数值RGB、反射强度值R等。根据xk对坐标值(x，y，z)、颜色数值RGB、反射强度值R等进行调整，最后根据图像中每个调整后的点云xn生成优化图像。
上面对本发明实施例中基于点云匹配的图像优化方法进行了描述，下面对本发明实施例中基于点云匹配的图像优化装置进行描述，请参阅图4，本发明实施例中基于点云匹配的图像优化装置一个实施例包括：
识别模块401，用于采集待优化的图像对应的点云数据，并根据所述点云数据，识别所述图像中姿态变换对应的空间变换信息；
计算模块402，用于根据所述空间变换信息，采用预设的概率分布优化算法计算所述图像中姿态变换对应的不确定性数值；
优化模块403，用于根据所述不确定性数值对所述点云数据进行优化，并根据优化后的点云数据生成优化图像。
本发明实施例中，通过利用待优化图像的点云数据，结合点云匹配的不确定性来参与基于点云匹配的图像优化，在该方法中，更注重图像中姿态变换的不确定性，将基于点云匹配的图像优化的细粒度从点到姿态，同时进行大量点云分布的估算，并以不确定性数值表示，再将得到的不确定性数值运用到图生成过程中，来先对点云数据进行优化，以用于生成优化图像，利用点云不确定性和注重姿态变换的位移，对图像进行基于点云匹配的图像优化，大大减少计算量，同时保证优化图像生成的准确度。
请参阅图5，本发明实施例中基于点云匹配的图像优化装置的另一个实施例包括：
识别模块401，用于采集待优化的图像对应的点云数据，并根据所述点云数据，识别所述图像中姿态变换对应的空间变换信息；
计算模块402，用于根据所述空间变换信息，采用预设的概率分布优化算法计算所述图像中姿态变换对应的不确定性数值；
优化模块403，用于根据所述不确定性数值对所述点云数据进行优化，并根据优化后的点云数据生成优化图像。
具体的，所述计算模块402包括：
得分计算单元4021，用于根据所述空间变换信息，采用高斯分布算法计算所述图像中姿态变换对应的无损得分；
向量计算单元4022，用于计算所述无损得分相对于所述图像中姿态变换的n阶梯度向量，其中，所述n为大于1的整数；
确定单元4023，用于根据所述n阶梯度向量，确定所述图像中姿态变换对应的不确定性数值。
具体的，所述所述优化模块403包括：
函数构建单元4031，用于计算所述无损得分相对于所述图像中姿态变换的一阶梯度向量，并采用所述所述一阶梯度向量和所述不确定性数值，构建最优姿态变换方程；
优化单元4032，用于求解所述最优姿态变换方程，得到最优姿态变换，并根据所述最优姿态变换，对所述点云数据进行优化。
具体的，所述优化单元4032还用于：
识别所述点云数据对应的各个待优化节点，并识别各所述待优化节点对应的点云属性；
基于所述最优姿态变换和点云匹配的预置图像优化算法，对各所述待优化节点中的点云属性进行优化。
具体的，所述识别模块401包括：
划分单元4011，用于将待优化的图像划分成多个单元结构，以及提取所述待优化的图像中的各个点云结构；
结构组合单元4012，用于识别各所述单元结构所包含的点云结构，并分别对各所述单元结构包含的点云结构进行组合，得到多个点云集；
信息组合单元4013，用于分别获取各所述点云集对应的点云语义信息，并对各所述点云语义信息进行组合，得到所述图像对应的点云数据。
具体的，所述识别模块401还包括：
关系构建单元4014，用于构建所述图像中各所述单元结构中对应的姿态变换与对应点云变换之间的转换关系；
位移计算单元4015，用于根据所述转换关系，采用所述点云数据计算所述图像中各单元结构对应的姿态变换的空间位移，得到所述图像对应的空间变换信息。
上面图4和图5从模块化功能实体的角度对本发明实施例中的基于点云匹配的图像优化装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于点云匹配的图像优化设备进行详细描述。
图6是本发明实施例提供的一种基于点云匹配的图像优化设备的结构示意图，该基于点云匹配的图像优化设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)610(例如，一个或一个以上处理器)和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对基于点云匹配的图像优化设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在基于点云匹配的图像优化设备600上执行存储介质630中的一系列指令操作。
基于点云匹配的图像优化设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作***631，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的基于点云匹配的图像优化设备结构并不构成对基于点云匹配的图像优化设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种基于点云匹配的图像优化设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于点云匹配的图像优化方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于点云匹配的图像优化方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于点云匹配的图像优化方法，其特征在于，所述图像优化方法包括：
采集多张具有时间顺序关系的待优化的图像对应的点云数据，并根据所述点云数据，识别每张所述图像中相对于其他待优化的图像进行姿态变换对应的空间变换信息；
根据所述空间变换信息，采用预设的概率分布优化算法计算所述图像中姿态变换对应的不确定性数值；
计算所述图像中姿态变换对应的无损得分相对于所述图像中姿态变换的一阶梯度向量，并采用所述一阶梯度向量和所述不确定性数值，构建最优姿态变换方程，其中，所述无损得分为所述图像中每个点云结构对应的姿态变换的影响得分、或者所述图像对应点云集中每个点云结构对应的姿态变换的影响得分、或者点云集对应姿态变换对图像整体姿态变换的影响得分；
求解所述最优姿态变换方程，得到最优姿态变换，并识别所述点云数据对应的各个待优化节点，并识别各所述待优化节点对应的每个点云结构在图像中的坐标值、颜色数值和反射强度值；
基于所述最优姿态变换和点云匹配的预置图像优化算法，对各所述待优化节点中的坐标值、颜色数值和反射强度值进行优化，并根据优化后的坐标值、颜色数值和反射强度值生成在相同时间节点下的优化图像；
所述根据所述空间变换信息，采用预设的概率分布优化算法计算所述图像中姿态变换对应的不确定性数值包括：
根据所述空间变换信息，采用高斯分布算法计算所述图像中姿态变换对应的无损得分；
计算所述无损得分相对于所述图像中姿态变换的n阶梯度向量，其中，所述n为大于1的整数；
根据所述n阶梯度向量，确定所述图像中姿态变换对应的不确定性数值。
2.根据权利要求1所述的基于点云匹配的图像优化方法，其特征在于，采集待优化的图像对应的点云数据包括：
将待优化的图像划分成多个单元结构，以及提取所述待优化的图像中的各个点云结构；
识别各所述单元结构所包含的点云结构，并分别对各所述单元结构包含的点云结构进行组合，得到多个点云集；
分别获取各所述点云集对应的点云语义信息，并对各所述点云语义信息进行组合，得到所述图像对应的点云数据。
3.根据权利要求2所述的基于点云匹配的图像优化方法，其特征在于，根据所述点云数据，识别所述图像中姿态变换对应的空间变换信息包括：
构建所述图像中各所述单元结构中对应的姿态变换与对应点云变换之间的转换关系；
根据所述转换关系，采用所述点云数据计算所述图像中各单元结构对应的姿态变换的空间位移，得到所述图像对应的空间变换信息。
4.一种基于点云匹配的图像优化装置，其特征在于，所述基于点云匹配的图像优化装置包括：
识别模块，用于采集多张具有时间顺序关系的待优化的图像对应的点云数据，并根据所述点云数据，识别每张所述图像中相对于其他待优化的图像进行姿态变换对应的空间变换信息；
计算模块，用于根据所述空间变换信息，采用预设的概率分布优化算法计算所述图像中姿态变换对应的不确定性数值；
优化模块，用于根据所述不确定性数值对所述点云数据进行优化，并根据优化后的点云数据生成在相同时间节点下的优化图像；
其中，所述优化模块包括：函数构建单元，用于计算无损得分相对于所述图像中姿态变换的一阶梯度向量，并采用所述所述一阶梯度向量和所述不确定性数值，构建最优姿态变换方程，其中，所述无损得分为所述图像中每个点云结构对应的姿态变换的影响得分、或者所述图像对应点云集中每个点云结构对应的姿态变换的影响得分、或者点云集对应姿态变换对图像整体姿态变换的影响得分；优化单元，用于求解所述最优姿态变换方程，得到最优姿态变换，并根据所述最优姿态变换，对所述点云数据进行优化；
其中，所述优化单元还用于：识别所述点云数据对应的各个待优化节点，并识别各所述待优化节点对应的每个点云结构在图像中的坐标值、颜色数值和反射强度值；基于所述最优姿态变换和点云匹配的预置图像优化算法，对各所述待优化节点中的坐标值、颜色数值和反射强度值进行优化；
所述计算模块包括：
得分计算单元，用于根据所述空间变换信息，采用高斯分布算法计算所述图像中姿态变换对应的无损得分；
向量计算单元，用于计算所述无损得分相对于所述图像中姿态变换的n阶梯度向量，其中，所述n为大于1的整数；
确定单元，用于根据所述n阶梯度向量，确定所述图像中姿态变换对应的不确定性数值。
5.根据权利要求4所述的基于点云匹配的图像优化装置，其特征在于，所述识别模块包括：
划分单元，用于将待优化的图像划分成多个单元结构，以及提取所述待优化的图像中的各个点云结构；
结构组合单元，用于识别各所述单元结构所包含的点云结构，并分别对各所述单元结构包含的点云结构进行组合，得到多个点云集；
信息组合单元，用于分别获取各所述点云集对应的点云语义信息，并对各所述点云语义信息进行组合，得到所述图像对应的点云数据。
6.根据权利要求5所述的基于点云匹配的图像优化装置，其特征在于，所述识别模块还包括：
关系构建单元，用于构建所述图像中各所述单元结构中对应的姿态变换与对应点云变换之间的转换关系；
位移计算单元，用于根据所述转换关系，采用所述点云数据计算所述图像中各单元结构对应的姿态变换的空间位移，得到所述图像对应的空间变换信息。
7.一种基于点云匹配的图像优化设备，其特征在于，所述基于点云匹配的图像优化设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于点云匹配的图像优化设备执行如权利要求1-3中任意一项所述的基于点云匹配的图像优化方法的各个步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-3中任意一项所述基于点云匹配的图像优化方法的各个步骤。
CN202111666665.2A 2021-12-31 2021-12-31 基于点云匹配的图像优化方法、装置、设备及存储介质 Active CN114549605B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111666665.2A CN114549605B (zh) 2021-12-31 2021-12-31 基于点云匹配的图像优化方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111666665.2A CN114549605B (zh) 2021-12-31 2021-12-31 基于点云匹配的图像优化方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114549605A CN114549605A (zh) 2022-05-27
CN114549605B true CN114549605B (zh) 2023-08-04

Family

ID=81669746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111666665.2A Active CN114549605B (zh) 2021-12-31 2021-12-31 基于点云匹配的图像优化方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114549605B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949349A (zh) * 2019-01-24 2019-06-28 北京大学第三医院（北京大学第三临床医学院） 一种多模态三维图像的配准及融合显示方法
CN111033299A (zh) * 2018-07-02 2020-04-17 北京嘀嘀无限科技发展有限公司 基于点云利用位姿预估的车辆导航***
CN111161412A (zh) * 2019-12-06 2020-05-15 苏州艾吉威机器人有限公司 三维激光建图方法及***
CN111383324A (zh) * 2018-12-29 2020-07-07 广州文远知行科技有限公司 点云地图的构建方法、装置、计算机设备和存储介质
CN111539999A (zh) * 2020-04-27 2020-08-14 深圳南方德尔汽车电子有限公司 基于点云配准的3d地图构建方法、装置、计算机设备及存储介质
CN111812658A (zh) * 2020-07-09 2020-10-23 北京京东乾石科技有限公司 位置确定方法、装置、***和计算机可读存储介质
CN112837354A (zh) * 2021-02-02 2021-05-25 北京超星未来科技有限公司 一种基于gpu的ndt点云配准算法、装置及电子设备
CN113177974A (zh) * 2021-05-19 2021-07-27 上海商汤临港智能科技有限公司 一种点云配准方法、装置、电子设备及存储介质
CN113192142A (zh) * 2021-05-27 2021-07-30 中国人民解放军国防科技大学 复杂环境下的高精度地图构建方法、装置和计算机设备
CN113252051A (zh) * 2020-02-11 2021-08-13 北京图森智途科技有限公司 一种地图构建方法及装置
WO2021218620A1 (zh) * 2020-04-30 2021-11-04 上海商汤临港智能科技有限公司 地图构建方法、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10657388B2 (en) * 2018-03-13 2020-05-19 Honda Motor Co., Ltd. Robust simultaneous localization and mapping via removal of dynamic traffic participants
CN108921947B (zh) * 2018-07-23 2022-06-21 百度在线网络技术（北京）有限公司 生成电子地图的方法、装置、设备、存储介质以及采集实体

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111033299A (zh) * 2018-07-02 2020-04-17 北京嘀嘀无限科技发展有限公司 基于点云利用位姿预估的车辆导航***
CN111383324A (zh) * 2018-12-29 2020-07-07 广州文远知行科技有限公司 点云地图的构建方法、装置、计算机设备和存储介质
CN109949349A (zh) * 2019-01-24 2019-06-28 北京大学第三医院（北京大学第三临床医学院） 一种多模态三维图像的配准及融合显示方法
CN111161412A (zh) * 2019-12-06 2020-05-15 苏州艾吉威机器人有限公司 三维激光建图方法及***
CN113252051A (zh) * 2020-02-11 2021-08-13 北京图森智途科技有限公司 一种地图构建方法及装置
CN111539999A (zh) * 2020-04-27 2020-08-14 深圳南方德尔汽车电子有限公司 基于点云配准的3d地图构建方法、装置、计算机设备及存储介质
WO2021218620A1 (zh) * 2020-04-30 2021-11-04 上海商汤临港智能科技有限公司 地图构建方法、装置、设备及存储介质
CN111812658A (zh) * 2020-07-09 2020-10-23 北京京东乾石科技有限公司 位置确定方法、装置、***和计算机可读存储介质
CN112837354A (zh) * 2021-02-02 2021-05-25 北京超星未来科技有限公司 一种基于gpu的ndt点云配准算法、装置及电子设备
CN113177974A (zh) * 2021-05-19 2021-07-27 上海商汤临港智能科技有限公司 一种点云配准方法、装置、电子设备及存储介质
CN113192142A (zh) * 2021-05-27 2021-07-30 中国人民解放军国防科技大学 复杂环境下的高精度地图构建方法、装置和计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进NDT算法的城市场景三维点云配准;赵凯;《军事交通学院学报》;第21卷(第03期);第80-84页 *

Also Published As

Publication number Publication date
CN114549605A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN111429574B (zh) 基于三维点云和视觉融合的移动机器人定位方法和***
CN109579849B (zh) 机器人定位方法、装置和机器人及计算机存储介质
EP2202672B1 (en) Information processing apparatus, information processing method, and computer program
Hähnel et al. Map building with mobile robots in populated environments.
CN111443359B (zh) 定位方法、装置及设备
US8861785B2 (en) Information processing device, information processing method and program
US7747106B2 (en) Method and system for filtering, registering, and matching 2.5D normal maps
CN111445531B (zh) 一种多目相机导航方法、装置、设备及存储介质
Jellal et al. LS-ELAS: Line segment based efficient large scale stereo matching
Blanco et al. Subjective local maps for hybrid metric-topological SLAM
Einhorn et al. Attention-driven monocular scene reconstruction for obstacle detection, robot navigation and map building
CN111354022B (zh) 基于核相关滤波的目标跟踪方法及***
Kim et al. Planning for grasp selection of partially occluded objects
CN110738650A (zh) 一种传染病感染识别方法、终端设备及存储介质
CN113516750B (zh) 三维点云地图构建方法、***、电子设备及存储介质
Wnuk et al. Tracking branched deformable linear objects with structure preserved registration by branch-wise probability modification
Martín et al. Kullback–Leibler divergence-based global localization for mobile robots
CN114549605B (zh) 基于点云匹配的图像优化方法、装置、设备及存储介质
Pedrosa et al. A non-linear least squares approach to SLAM using a dynamic likelihood field
Kanhere et al. LiDAR SLAM utilizing normal distribution transform and measurement consensus
Klippenstein et al. Feature initialization for bearing-only visual slam using triangulation and the unscented transform
CN113971687A (zh) 对象跟踪方法、装置电子设备及存储介质
CN111462321A (zh) 点云地图处理方法、处理装置、电子装置和车辆
CN115375713B (zh) 地面点云的分割方法、装置及计算机可读存储介质
Truax et al. Using prioritized relaxations to locate objects in points clouds for manipulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant