CN115082290A - 激光雷达点云的投影方法、装置、设备及存储介质 - Google Patents

激光雷达点云的投影方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115082290A
CN115082290A CN202210552013.4A CN202210552013A CN115082290A CN 115082290 A CN115082290 A CN 115082290A CN 202210552013 A CN202210552013 A CN 202210552013A CN 115082290 A CN115082290 A CN 115082290A
Authority
CN
China
Prior art keywords
point cloud
target
laser radar
camera
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210552013.4A
Other languages
English (en)
Inventor
陈连胜
杜杭肯
韩旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Weride Technology Co Ltd
Original Assignee
Guangzhou Weride Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Weride Technology Co Ltd filed Critical Guangzhou Weride Technology Co Ltd
Priority to CN202210552013.4A priority Critical patent/CN115082290A/zh
Publication of CN115082290A publication Critical patent/CN115082290A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明涉及自动驾驶技术领域，公开了一种激光雷达点云的投影方法、装置、设备及存储介质，用于提高激光雷达与相机信息融合的准确度。所述激光雷达点云的投影方法包括：获取激光雷达扫描的原始点云，并对原始点云进行运动畸变去除，得到第一点云；基于原始相机图像的目标曝光时刻，将第一点云转换至相机坐标系，得到第二点云；对第二点云进行相机运动畸变添加，得到目标点云，并将目标点云投影至原始相机图像。

Description

激光雷达点云的投影方法、装置、设备及存储介质
技术领域
本发明涉及自动驾驶技术领域，尤其涉及一种激光雷达点云的投影方法、装置、设备及存储介质。
背景技术
在自动驾驶技术领域中，为了提高环境感知的准确性，通常需要将不同传感器采集的信息进行融合，其中将激光雷达传感器和图像传感器的信息融合是传感器信息融合的重点，而保证传感器信息融合的准确度是保证环境感知准确度的基础。
现有的激光雷达和相机的投影方式一般是分别对二者采集的点云和图像进行去畸变，再对去畸变之后的点云和图像进行投影叠加，但由于去畸变的原理不同，导致去畸变之后的投影叠加仍存在较大误差，使得激光雷达与相机信息融合的准确度降低。
发明内容
本发明提供了一种激光雷达点云的投影方法、装置、设备及存储介质，用于提高激光雷达与相机信息融合的准确度。
本发明第一方面提供了一种激光雷达点云的投影方法，包括：
获取激光雷达扫描的原始点云，并对所述原始点云进行运动畸变去除，得到第一点云；
基于原始相机图像的目标曝光时刻，将所述第一点云转换至相机坐标系，得到第二点云；
对所述第二点云进行相机运动畸变添加，得到目标点云，并将所述目标点云投影至所述原始相机图像。
可选的，所述获取激光雷达扫描的原始点云，并对所述原始点云进行运动畸变去除，得到第一点云，包括：
获取激光雷达的第一外参，所述第一外参用于指示所述激光雷达与自车坐标系之间的相对位置参数；
获取所述激光雷达扫描的原始点云，并确定所述原始点云的起始扫描时刻；
获取所述起始扫描时刻与每个激光雷达点的扫描时刻之间的第一自车位姿变化，并通过所述第一自车位姿变化和所述第一外参将所述原始点云中的每个激光雷达点转换至自车坐标系，得到第一点云。
可选的，所述基于原始相机图像的目标曝光时刻，将所述第一点云转换至相机坐标系，得到第二点云，包括：
获取相机的第二外参，所述第二外参用于指示所述相机与自车坐标系之间的相对位置参数；
获取所述相机采集的原始相机图像的目标曝光时刻，并获取所述起始扫描时刻与所述目标曝光时刻之间的第二自车位姿变化，所述目标曝光时刻用于指示所述原始相机图像的中间行或中间列的曝光时刻；
通过所述第二自车位姿变化和所述第二外参，将所述第一点云中每个激光雷达点转换至相机坐标系，得到第二点云。
可选的，所述对所述第二点云进行相机运动畸变添加，得到目标点云，包括：
确定目标投影时间差值，所述目标投影时间差值用于指示每个激光雷达点在目标投影位置的曝光时刻和所述目标曝光时刻之间的差值；
基于预置的相机畸变内参和所述目标投影时间差值，对所述第二点云进行相机运动畸变增加，得到目标点云，所述目标点云包括每个激光雷达点在所述目标投影位置的坐标信息。
可选的，所述确定目标投影时间差值，包括：
获取所述原始相机图像的单位曝光时刻差值和所述原始点云的扫描时段内的自车运动参数，所述单位曝光时刻差值用于指示所述相邻行或相邻列的曝光时刻差值；
通过所述单位曝光时刻差值、所述自车运动参数、预置的相机畸变内参以及预置同步时间误差，计算目标投影时间差值。
可选的，所述基于预置的相机畸变内参和所述目标投影时间差值，对所述第二点云进行相机运动畸变增加，得到目标点云，包括：
通过所述目标投影时间差值，计算所述第二点云中每个激光雷达点在所述目标投影时间差值时段内的第三自车位姿变化；
通过所述第三自车位姿变化和预置的相机畸变内参计算每个激光雷达点的目标投影位置，得到目标点云，所述目标投影位置用于指示每个激光雷达点在所述目标点云中的坐标信息。
可选的，所述目标点云的计算公式为：
P0＝R*P1+v*ti
其中，P0表示目标点云中一个激光雷达点的坐标信息，R表示自车的旋转矩阵，P1表示所述第二点云中对应激光雷达点的坐标信息，v表示自车在原始点云的扫描时段内的平均速度，ti表示所述单位曝光时刻差值。
本发明第二方面提供了一种激光雷达点云的投影装置，包括：
获取模块，用于获取激光雷达扫描的原始点云，并对所述原始点云进行运动畸变去除，得到第一点云；
转换模块，用于基于原始相机图像的目标曝光时刻，将所述第一点云转换至相机坐标系，得到第二点云；
投影模块，用于对所述第二点云进行相机运动畸变添加，得到目标点云，并将所述目标点云投影至所述原始相机图像。
可选的，所述获取模块具体用于：
获取激光雷达的第一外参，所述第一外参用于指示所述激光雷达与自车坐标系之间的相对位置参数；
获取所述激光雷达扫描的原始点云，并确定所述原始点云的起始扫描时刻；
获取所述起始扫描时刻与每个激光雷达点的扫描时刻之间的第一自车位姿变化，并通过所述第一自车位姿变化和所述第一外参将所述原始点云中的每个激光雷达点转换至自车坐标系，得到第一点云。
可选的，所述转换模块具体用于：
获取相机的第二外参，所述第二外参用于指示所述相机与自车坐标系之间的相对位置参数；
获取所述相机采集的原始相机图像的目标曝光时刻，并获取所述起始扫描时刻与所述目标曝光时刻之间的第二自车位姿变化，所述目标曝光时刻用于指示所述原始相机图像的中间行或中间列的曝光时刻；
通过所述第二自车位姿变化和所述第二外参，将所述第一点云中每个激光雷达点转换至相机坐标系，得到第二点云。
可选的，所述投影模块包括：
确定单元，用于确定目标投影时间差值，所述目标投影时间差值用于指示每个激光雷达点在目标投影位置的曝光时刻和所述目标曝光时刻之间的差值；
增加单元，用于基于预置的相机畸变内参和所述目标投影时间差值，对所述第二点云进行相机运动畸变增加，得到目标点云，所述目标点云包括每个激光雷达点在所述目标投影位置的坐标信息。
可选的，所述确定单元具体用于：
获取所述原始相机图像的单位曝光时刻差值和所述原始点云的扫描时段内的自车运动参数，所述单位曝光时刻差值用于指示所述相邻行或相邻列的曝光时刻差值；
通过所述单位曝光时刻差值、所述自车运动参数、预置的相机畸变内参以及预置同步时间误差，计算目标投影时间差值。
可选的，所述增加单元具体用于：
通过所述目标投影时间差值，计算所述第二点云中每个激光雷达点在所述目标投影时间差值时段内的第三自车位姿变化；
通过所述第三自车位姿变化和预置的相机畸变内参计算每个激光雷达点的目标投影位置，得到目标点云，所述目标投影位置用于指示每个激光雷达点在所述目标点云中的坐标信息。
可选的，所述目标点云的计算公式为：
P0＝R*P1+v*ti
其中，P0表示目标点云中一个激光雷达点的坐标信息，R表示自车的旋转矩阵，P1表示所述第二点云中对应激光雷达点的坐标信息，v表示自车在原始点云的扫描时段内的平均速度，ti表示所述单位曝光时刻差值。
本发明第三方面提供了一种激光雷达点云的投影设备，包括：存储器和至少一个处理器，所述存储器中存储有计算机程序；所述至少一个处理器调用所述存储器中的所述计算机程序，以使得所述激光雷达点云的投影设备执行上述的激光雷达点云的投影方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述的激光雷达点云的投影方法。
本发明提供的技术方案中，获取激光雷达扫描的原始点云，并对所述原始点云进行运动畸变去除，得到第一点云；基于原始相机图像的目标曝光时刻，将所述第一点云转换至相机坐标系，得到第二点云；对所述第二点云进行相机运动畸变添加，得到目标点云，并将所述目标点云投影至所述原始相机图像。本发明实施例中，为了避免激光雷达点云与相机图像的畸变去除原理不同导致的投影误差，在获取激光雷达扫描的原始点云之后，仅对原始点云进行运动畸变去除，得到基于目标参照物坐标系的第一点云，再将第一点云转换至相机坐标系，从而获得与原始相机图像在同一坐标系的第二点云，最后基于相机的运动畸变原理，向第二点云添加与原始相机图像相同的运动畸变，从而得到目标点云，并将目标点云投影至原始相机图像，得到激光雷达与相机信息融合的目标点云图像，使得激光雷达点云拥有与相机图像相同的运动畸变，后续采用相同的图像去畸变原理即可同时对目标点云图像中的激光雷达点云和相机图像进行运动畸变去除，因此，本发明可以提高激光雷达与相机信息融合的准确度。
附图说明
图1为本发明实施例中激光雷达点云的投影方法的一个实施例示意图；
图2为本发明实施例中激光雷达点云的投影方法的另一个实施例示意图；
图3为本发明实施例中激光雷达点云的投影装置的一个实施例示意图；
图4为本发明实施例中激光雷达点云的投影装置的另一个实施例示意图；
图5为本发明实施例中激光雷达点云的投影设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种激光雷达点云的投影方法、装置、设备及存储介质，用于提高激光雷达与相机信息融合的准确度。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
可以理解的是，本发明的执行主体可以为激光雷达点云的投影装置，还可以是终端或者服务器，终端可以是自动驾驶终端，具体此处不做限定。本发明实施例以终端为执行主体为例进行说明。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中激光雷达点云的投影方法的一个实施例包括：
101、获取激光雷达扫描的原始点云，并对原始点云进行运动畸变去除，得到第一点云；
需要说明的是，激光雷达扫描的原始点云是指激光雷达基于内部原理扫描的点云，原始点云为基于激光雷达坐标系的激光雷达点数据集合。可以理解的是，原始点云不是在瞬间扫描出来的，而是在激光雷达完成一圈扫描时得到的，例如，假设激光雷达完成一圈扫描所需时长为100ms，那么，原始点云则是这100ms内激光雷达扫描到的点数据集合。如果自车运动，那么激光雷达扫描到的原始点云则存在运动畸变，因此，为了提高激光雷达与相机信息融合的准确度，通过对原始点云进行运动畸变去除，能够得到无运动畸变的第一点云，用于后续的进一步计算。
在一种实施方式中，为了对原始点云进行运动畸变去除，通过将原始点云转换到同一时刻的目标坐标系即可，具体的，终端获取激光雷达与目标坐标系之间的相对位置参数(即外参)，再确定待转换的目标扫描时刻，其中，目标扫描时刻可以为原始点云中任意一个激光雷达点的扫描时刻，基于激光雷达与目标坐标系之间的相对位置参数目标扫描时刻与每个激光雷达点的扫描时刻之间的激光雷达位姿变化，终端将原始点云中的每个激光雷达点转化至目标扫描时刻的目标坐标系，得到第一点云，其中，目标坐标系可以是任何与待投影相机存在映射关系的参照物坐标系，如世界坐标系、自车坐标系(即baselink坐标系)、虚拟相机或其它相机等，具体此处不做限定。
102、基于原始相机图像的目标曝光时刻，将第一点云转换至相机坐标系，得到第二点云；
需要说明的是，原始相机图像为待投影相机拍摄的图像，即原始点云待投影的图像，相机坐标系为待投影相机的坐标系，为了将第二点云与原始相机图像融合，终端基于原始相机图像的目标曝光时刻，将第一点云转换至相机坐标系，得到第二点云，其中，待投影相机采用逐行或逐列曝光方式进行扫描，从而得到原始相机图像，待投影相机如：卷帘快门(rolling shutter)相机。可以理解的是，以逐行曝光方式进行扫描的待投影相机为例，在自车运动的情况下，以逐行曝光方式进行扫描得到原始相机图像存在果冻效验，即原始相机图像中每行像素的曝光时刻不同，导致原始相机图像存在运动畸变。
在一种实施方式中，为了使第二点云与原始相机图像处于同一坐标系下，基于原始相机图像的目标曝光时刻对第一点云进行相机坐标系转换，得到第二点云，其中，目标曝光时刻用于指示原始相机图像的目标行或目标列的曝光时刻，例如，目标曝光时刻可以是原始相机图像曝光时刻最早的行或列曝光时刻，也可以是原始相机图像曝光时刻最晚的行或列曝光时刻，具体此处不做限定。具体的，终端通过目标曝光时刻到目标扫描时刻之间的相机位姿变化和待投影相机与目标坐标系之间的相对位置参数(即外参)，将第一点云转换至目标曝光时刻的相机坐标系，得到第二点云。
103、对第二点云进行相机运动畸变添加，得到目标点云，并将目标点云投影至原始相机图像。
可以理解的是，为了提高激光雷达与相机信息融合的准确度，终端通过向第二点云添加与原始相机图像相同运动畸变，得到目标点云，再将目标点云投影至原始相机图像，得到融合点云图像，以使得按照相同的图像去畸变算法即可同时对融合点云图像中的点云和图像进行去畸变，从而准确地融合激光雷达点云和相机图像。这种方式相比于分别对激光雷达点云和相机图像进行去畸变后再融合，能够减少融合过程产生的数据损失，且提高了激光雷达点云和相机图像的同步程度。
需要说明的是，由于通过逐行或逐列曝光方式扫描的相机图像，图像的曝光时长不容忽略，约为50ms，若仅考虑单一曝光时刻进行处理，将会使得添加相机运动畸变后的目标点云与实际存在运动畸变的原始相机图像仍存在偏差，因此，为了进一步提高相机运动畸变添加的准确度，在一种实施方式中，终端首先计算目标点云中每个激光雷达点的目标投影位置的曝光时刻与目标曝光时刻之间的差值，其中，每个激光雷达点的目标投影位置的曝光时刻为未知变量，但是二者之间的差值能够通过已知数据求得，再根据二者之间的差值计算每个激光雷达点的目标投影时刻，目标投影时刻用于指示该激光雷达点的真实投影时刻，最后根据每个激光雷达点在真实投影时刻到目标曝光时刻之间的相机位姿变化，确定目标点云，并将目标点云投影至原始相机图像。
本发明实施例中，为了避免激光雷达点云与相机图像的畸变去除原理不同导致的投影误差，在获取激光雷达扫描的原始点云之后，仅对原始点云进行运动畸变去除，得到基于目标参照物坐标系的第一点云，再将第一点云转换至相机坐标系，从而获得与原始相机图像在同一坐标系的第二点云，最后基于相机的运动畸变原理，向第二点云添加与原始相机图像相同的运动畸变，从而得到目标点云，并将目标点云投影至原始相机图像，得到激光雷达与相机信息融合的目标点云图像，使得激光雷达点云拥有与相机图像相同的运动畸变，后续采用相同的图像去畸变原理即可同时对目标点云图像中的激光雷达点云和相机图像进行运动畸变去除，因此，本发明可以提高激光雷达与相机信息融合的准确度。
请参阅图2，本发明实施例中激光雷达点云的投影方法的另一个实施例包括：
201、获取激光雷达扫描的原始点云，并对原始点云进行运动畸变去除，得到第一点云；
具体的，步骤201包括：获取激光雷达的第一外参，第一外参用于指示激光雷达与自车坐标系之间的相对位置参数；获取激光雷达扫描的原始点云，并确定原始点云的起始扫描时刻；获取起始扫描时刻与每个激光雷达点的扫描时刻之间的第一自车位姿变化，并通过第一自车位姿变化和第一外参将原始点云中的每个激光雷达点转换至自车坐标系，得到第一点云。
本实施方式中，为了提高激光雷达与相机信息融合的准确度，以自车坐标系作为激光雷达与相机之间坐标系转换的桥梁，因此，终端获取激光雷达的第一外参，其中，第一外参用于指示激光雷达与自车坐标系之间的相对位置参数，终端再通过原始点云中每个激光雷达点的扫描时刻确定扫描时刻最早的激光雷达点，并将最早扫描时刻确定为原始点云的起始扫描时刻，接着，终端计算起始扫描时刻到原始点云中每个激光雷达点的扫描时刻的第一自车位姿变化，最后，终端基于第一外参和第一自车位姿变化，将原始点云中的每个激光雷达点转换至起始扫描时刻的自车坐标系，得到第一点云，第一点云包括每个激光雷达点在起始扫描时刻的自车坐标信息。
202、基于原始相机图像的目标曝光时刻，将第一点云转换至相机坐标系，得到第二点云；
具体的，步骤202包括：获取相机的第二外参，第二外参用于指示相机与自车坐标系之间的相对位置参数；获取相机采集的原始相机图像的目标曝光时刻，并获取起始扫描时刻与目标曝光时刻之间的第二自车位姿变化，目标曝光时刻用于指示原始相机图像的中间行或中间列的曝光时刻；通过第二自车位姿变化和第二外参，将第一点云中每个激光雷达点转换至相机坐标系，得到第二点云。
本实施方式中，与步骤201同理，终端获得自车坐标系下的第一点云之后，获取待投影相机的第二外参，其中，第二外参用于指示待投影相机与自车坐标系之间的相对位置参数，再计算起始扫描时刻到目标曝光时刻的第二自车位姿变化，并通过第二自车位姿变化和第二外参，将第一点云中的每个激光雷达点转换至目标曝光时刻的相机坐标系，得到第二点云，第二点云包括每个激光雷达点在目标曝光时刻的相机坐标信息。需要说明的是，目标曝光时刻为原始相机图像的中间行或中间列的曝光时刻。
203、确定目标投影时间差值，目标投影时间差值用于指示每个激光雷达点在目标投影位置的曝光时刻和目标曝光时刻之间的差值；
需要说明的是，目标投影位置用于指示对应激光雷达点的真实投影位置，即对应激光雷达点在原始相机图像中的投影位置，由于目标投影位置为未知参数，但是目标投影时间差值能够通过已知参数计算得到，因此，终端首先计算目标投影时间差值，再通过目标投影时间差值进行后续的处理，从而确定目标点云中每个激光雷达点的目标投影位置。本实施方式中，由于激光雷达点的真实投影位置难以直接预测，因此，通过预测真实投影位置的曝光时刻与目标曝光时刻之间的时间差值，间接地预测真实投影位置，从而提高真实投影位置计算的准确度，进而提高激光雷达与相机信息融合的准确度。
具体的，步骤203包括：获取原始相机图像的单位曝光时刻差值和原始点云的扫描时段内的自车运动参数，单位曝光时刻差值用于指示相邻行或相邻列的曝光时刻差值；通过单位曝光时刻差值、自车运动参数、预置的相机畸变内参以及预置同步时间误差，计算目标投影时间差值。
本实施方式中，为了确定目标投影时间差值，终端通过原始相机图像的单位曝光时刻差值、自车运动参数、预置的相机畸变内参以及预置同步时间误差等参数计算目标投影时间差值，其中，自车运动参数包括平均旋转角速度和平均速度，相机畸变内参包括相机焦距，预置同步时间误差为原始相机图像中间行或中间列同步时间戳误差值。
具体的，对于逐行曝光方式扫描的相机，求解目标投影时间差值首先求解以下一元二次方程得到
Figure BDA0003650434870000101
Figure BDA0003650434870000102
其中，上述一元二次方程中的Z2、Z1、Y2、Y1为已知的中间变量，计算公式如下：
Z2＝[ω*f*ti]×*Zc+v*f*ti
Z1＝Zc+[ω*tmse]×+v*tmse
Y2＝[ω*f*ti]×*Yc+v*f*ti
Y1＝Yc+[ω*tmse]×+v*tmse
再根据
Figure BDA0003650434870000103
求得目标投影时间差值，目标投影时间差值Δt的计算公式为：
Figure BDA0003650434870000104
上述，ω表示自车在原始点云的扫描时段内的平均旋转角速度，f表示相机焦距，ti表示单位曝光时刻差值，Zc表示第二点云中目标激光雷达点的Z坐标，v表示自车在原始点云的扫描时段内的平均速度，tmse表示预置同步时间误差，Yc表示第二点云中目标激光雷达点的Y坐标，Yp表示目标点云中目标激光雷达点的Y坐标，Zp表示目标点云中目标激光雷达点的Z坐标。
进一步的，确定目标投影时间差值之后，即可确定目标点云中每个激光雷达点的坐标，目标点云中每个激光雷达点坐标的计算公式为：
P0＝R*P1+v*ti
其中，P0表示目标点云中一个激光雷达点的坐标信息，R表示自车的旋转矩阵，P1表示第二点云中对应激光雷达点的坐标信息，v表示自车在原始点云的扫描时段内的平均速度，ti表示单位曝光时刻差值。
204、基于预置的相机畸变内参和目标投影时间差值，对第二点云进行相机运动畸变增加，得到目标点云，目标点云包括每个激光雷达点在目标投影位置的坐标信息。
具体的，步骤204包括：通过目标投影时间差值，计算第二点云中每个激光雷达点在目标投影时间差值时段内的第三自车位姿变化；通过第三自车位姿变化和预置的相机畸变内参计算每个激光雷达点的目标投影位置，得到目标点云，目标投影位置用于指示每个激光雷达点在目标点云中的坐标信息。
本实施方式中，终端确定目标投影时间差值之后，可以通过第二点云中每个激光雷达点的投影时刻和目标投影时间差值确定每个激光雷达点的真实投影时刻，即每个激光雷达点在目标投影位置的曝光时刻，再计算第二点云中每个激光雷达点的投影时刻与真实投影时刻之间的第三自车位姿变化，最后，根据第三自车位姿变化和相机畸变内参确定每个激光雷达点的目标投影位置，得到目标点云，其中，目标投影位置用于指示每个激光雷达点在目标点云中的坐标信息。
本发明实施例中，为了避免激光雷达点云与相机图像的畸变去除原理不同导致的投影误差，在获取激光雷达扫描的原始点云之后，仅对原始点云进行运动畸变去除，得到基于目标参照物坐标系的第一点云，再将第一点云转换至相机坐标系，从而获得与原始相机图像在同一坐标系的第二点云，最后基于相机的运动畸变原理，预测目标投影时间差值，并通过目标投影时间差值向第二点云添加与原始相机图像相同的运动畸变，从而得到目标点云，并将目标点云投影至原始相机图像，得到激光雷达与相机信息融合的目标点云图像，使得激光雷达点云拥有与相机图像相同的运动畸变，后续采用相同的图像去畸变原理即可同时对目标点云图像中的激光雷达点云和相机图像进行运动畸变去除，因此，本发明可以提高激光雷达与相机信息融合的准确度。
上面对本发明实施例中激光雷达点云的投影方法进行了描述，下面对本发明实施例中激光雷达点云的投影装置进行描述，请参阅图3，本发明实施例中激光雷达点云的投影装置一个实施例包括：
获取模块301，用于获取激光雷达扫描的原始点云，并对所述原始点云进行运动畸变去除，得到第一点云；
转换模块302，用于基于原始相机图像的目标曝光时刻，将所述第一点云转换至相机坐标系，得到第二点云；
投影模块303，用于对所述第二点云进行相机运动畸变添加，得到目标点云，并将所述目标点云投影至所述原始相机图像。
本发明实施例中，为了避免激光雷达点云与相机图像的畸变去除原理不同导致的投影误差，在获取激光雷达扫描的原始点云之后，仅对原始点云进行运动畸变去除，得到基于目标参照物坐标系的第一点云，再将第一点云转换至相机坐标系，从而获得与原始相机图像在同一坐标系的第二点云，最后基于相机的运动畸变原理，向第二点云添加与原始相机图像相同的运动畸变，从而得到目标点云，并将目标点云投影至原始相机图像，得到激光雷达与相机信息融合的目标点云图像，使得激光雷达点云拥有与相机图像相同的运动畸变，后续采用相同的图像去畸变原理即可同时对目标点云图像中的激光雷达点云和相机图像进行运动畸变去除，因此，本发明可以提高激光雷达与相机信息融合的准确度。
请参阅图4，本发明实施例中激光雷达点云的投影装置的另一个实施例包括：
获取模块301，用于获取激光雷达扫描的原始点云，并对所述原始点云进行运动畸变去除，得到第一点云；
转换模块302，用于基于原始相机图像的目标曝光时刻，将所述第一点云转换至相机坐标系，得到第二点云；
投影模块303，用于对所述第二点云进行相机运动畸变添加，得到目标点云，并将所述目标点云投影至所述原始相机图像。
可选的，所述获取模块301具体用于：
获取激光雷达的第一外参，所述第一外参用于指示所述激光雷达与自车坐标系之间的相对位置参数；
获取所述激光雷达扫描的原始点云，并确定所述原始点云的起始扫描时刻；
获取所述起始扫描时刻与每个激光雷达点的扫描时刻之间的第一自车位姿变化，并通过所述第一自车位姿变化和所述第一外参将所述原始点云中的每个激光雷达点转换至自车坐标系，得到第一点云。
可选的，所述转换模块302具体用于：
获取相机的第二外参，所述第二外参用于指示所述相机与自车坐标系之间的相对位置参数；
获取所述相机采集的原始相机图像的目标曝光时刻，并获取所述起始扫描时刻与所述目标曝光时刻之间的第二自车位姿变化，所述目标曝光时刻用于指示所述原始相机图像的中间行或中间列的曝光时刻；
通过所述第二自车位姿变化和所述第二外参，将所述第一点云中每个激光雷达点转换至相机坐标系，得到第二点云。
可选的，所述投影模块303包括：
确定单元3031，用于确定目标投影时间差值，所述目标投影时间差值用于指示每个激光雷达点在目标投影位置的曝光时刻和所述目标曝光时刻之间的差值；
增加单元3032，用于基于预置的相机畸变内参和所述目标投影时间差值，对所述第二点云进行相机运动畸变增加，得到目标点云，所述目标点云包括每个激光雷达点在所述目标投影位置的坐标信息。
可选的，所述确定单元3031具体用于：
获取所述原始相机图像的单位曝光时刻差值和所述原始点云的扫描时段内的自车运动参数，所述单位曝光时刻差值用于指示所述相邻行或相邻列的曝光时刻差值；
通过所述单位曝光时刻差值、所述自车运动参数、预置的相机畸变内参以及预置同步时间误差，计算目标投影时间差值。
可选的，所述增加单元3032具体用于：
通过所述目标投影时间差值，计算所述第二点云中每个激光雷达点在所述目标投影时间差值时段内的第三自车位姿变化；
通过所述第三自车位姿变化和预置的相机畸变内参计算每个激光雷达点的目标投影位置，得到目标点云，所述目标投影位置用于指示每个激光雷达点在所述目标点云中的坐标信息。
可选的，所述目标点云的计算公式为：
P0＝R*P1+v*ti
其中，P0表示目标点云中一个激光雷达点的坐标信息，R表示自车的旋转矩阵，P1表示所述第二点云中对应激光雷达点的坐标信息，v表示自车在原始点云的扫描时段内的平均速度，ti表示所述单位曝光时刻差值。
本发明实施例中，为了避免激光雷达点云与相机图像的畸变去除原理不同导致的投影误差，在获取激光雷达扫描的原始点云之后，仅对原始点云进行运动畸变去除，得到基于目标参照物坐标系的第一点云，再将第一点云转换至相机坐标系，从而获得与原始相机图像在同一坐标系的第二点云，最后基于相机的运动畸变原理，预测目标投影时间差值，并通过目标投影时间差值向第二点云添加与原始相机图像相同的运动畸变，从而得到目标点云，并将目标点云投影至原始相机图像，得到激光雷达与相机信息融合的目标点云图像，使得激光雷达点云拥有与相机图像相同的运动畸变，后续采用相同的图像去畸变原理即可同时对目标点云图像中的激光雷达点云和相机图像进行运动畸变去除，因此，本发明可以提高激光雷达与相机信息融合的准确度。
上面图3和图4从模块化功能实体的角度对本发明实施例中的激光雷达点云的投影装置进行详细描述，下面从硬件处理的角度对本发明实施例中激光雷达点云的投影设备进行详细描述。
图5是本发明实施例提供的一种激光雷达点云的投影设备的结构示意图，该激光雷达点云的投影设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对激光雷达点云的投影设备500中的一系列计算机程序操作。更进一步地，处理器510可以设置为与存储介质530通信，在激光雷达点云的投影设备500上执行存储介质530中的一系列计算机程序操作。
激光雷达点云的投影设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作***531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的激光雷达点云的投影设备结构并不构成对激光雷达点云的投影设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读计算机程序，计算机可读计算机程序被处理器执行时，使得处理器执行上述各实施例中的所述激光雷达点云的投影方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得计算机执行所述激光雷达点云的投影方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干计算机程序用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-onlymemory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种激光雷达点云的投影方法，其特征在于，所述激光雷达点云的投影方法包括：
获取激光雷达扫描的原始点云，并对所述原始点云进行运动畸变去除，得到第一点云；
基于原始相机图像的目标曝光时刻，将所述第一点云转换至相机坐标系，得到第二点云；
对所述第二点云进行相机运动畸变添加，得到目标点云，并将所述目标点云投影至所述原始相机图像。
2.根据权利要求1所述的激光雷达点云的投影方法，其特征在于，所述获取激光雷达扫描的原始点云，并对所述原始点云进行运动畸变去除，得到第一点云，包括：
获取激光雷达的第一外参，所述第一外参用于指示所述激光雷达与自车坐标系之间的相对位置参数；
获取所述激光雷达扫描的原始点云，并确定所述原始点云的起始扫描时刻；
获取所述起始扫描时刻与每个激光雷达点的扫描时刻之间的第一自车位姿变化，并通过所述第一自车位姿变化和所述第一外参将所述原始点云中的每个激光雷达点转换至自车坐标系，得到第一点云。
3.根据权利要求1所述的激光雷达点云的投影方法，其特征在于，所述基于原始相机图像的目标曝光时刻，将所述第一点云转换至相机坐标系，得到第二点云，包括：
获取相机的第二外参，所述第二外参用于指示所述相机与自车坐标系之间的相对位置参数；
获取所述相机采集的原始相机图像的目标曝光时刻，并获取所述起始扫描时刻与所述目标曝光时刻之间的第二自车位姿变化，所述目标曝光时刻用于指示所述原始相机图像的中间行或中间列的曝光时刻；
通过所述第二自车位姿变化和所述第二外参，将所述第一点云中每个激光雷达点转换至相机坐标系，得到第二点云。
4.根据权利要求1所述的激光雷达点云的投影方法，其特征在于，所述对所述第二点云进行相机运动畸变添加，得到目标点云，包括：
确定目标投影时间差值，所述目标投影时间差值用于指示每个激光雷达点在目标投影位置的曝光时刻和所述目标曝光时刻之间的差值；
基于预置的相机畸变内参和所述目标投影时间差值，对所述第二点云进行相机运动畸变增加，得到目标点云，所述目标点云包括每个激光雷达点在所述目标投影位置的坐标信息。
5.根据权利要求4所述的激光雷达点云的投影方法，其特征在于，所述确定目标投影时间差值，包括：
获取所述原始相机图像的单位曝光时刻差值和所述原始点云的扫描时段内的自车运动参数，所述单位曝光时刻差值用于指示所述相邻行或相邻列的曝光时刻差值；
通过所述单位曝光时刻差值、所述自车运动参数、预置的相机畸变内参以及预置同步时间误差，计算目标投影时间差值。
6.根据权利要求4所述的激光雷达点云的投影方法，其特征在于，所述基于预置的相机畸变内参和所述目标投影时间差值，对所述第二点云进行相机运动畸变增加，得到目标点云，包括：
通过所述目标投影时间差值，计算所述第二点云中每个激光雷达点在所述目标投影时间差值时段内的第三自车位姿变化；
通过所述第三自车位姿变化和预置的相机畸变内参计算每个激光雷达点的目标投影位置，得到目标点云，所述目标投影位置用于指示每个激光雷达点在所述目标点云中的坐标信息。
7.根据权利要求5所述的激光雷达点云的投影方法，其特征在于，所述目标点云的计算公式为：
P0＝R*P1+v*ti
其中，P0表示目标点云中一个激光雷达点的坐标信息，R表示自车的旋转矩阵，P1表示所述第二点云中对应激光雷达点的坐标信息，v表示自车在原始点云的扫描时段内的平均速度，ti表示所述单位曝光时刻差值。
8.一种激光雷达点云的投影装置，其特征在于，所述激光雷达点云的投影装置包括：
获取模块，用于获取激光雷达扫描的原始点云，并对所述原始点云进行运动畸变去除，得到第一点云；
转换模块，用于基于原始相机图像的目标曝光时刻，将所述第一点云转换至相机坐标系，得到第二点云；
投影模块，用于对所述第二点云进行相机运动畸变添加，得到目标点云，并将所述目标点云投影至所述原始相机图像。
9.一种激光雷达点云的投影设备，其特征在于，所述激光雷达点云的投影设备包括：存储器和至少一个处理器，所述存储器中存储有计算机程序；
所述至少一个处理器调用所述存储器中的所述计算机程序，以使得所述激光雷达点云的投影设备执行如权利要求1-7中任意一项所述的激光雷达点云的投影方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述激光雷达点云的投影方法。
CN202210552013.4A 2022-05-18 2022-05-18 激光雷达点云的投影方法、装置、设备及存储介质 Pending CN115082290A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210552013.4A CN115082290A (zh) 2022-05-18 2022-05-18 激光雷达点云的投影方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210552013.4A CN115082290A (zh) 2022-05-18 2022-05-18 激光雷达点云的投影方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115082290A true CN115082290A (zh) 2022-09-20

Family

ID=83250077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210552013.4A Pending CN115082290A (zh) 2022-05-18 2022-05-18 激光雷达点云的投影方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115082290A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116577796A (zh) * 2022-11-17 2023-08-11 昆易电子科技(上海)有限公司 对齐参数的验证方法、装置、存储介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116577796A (zh) * 2022-11-17 2023-08-11 昆易电子科技(上海)有限公司 对齐参数的验证方法、装置、存储介质及电子设备
CN116577796B (zh) * 2022-11-17 2024-03-19 昆易电子科技(上海)有限公司 对齐参数的验证方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
EP2959315B1 (en) Generation of 3d models of an environment
CN110880189B (zh) 联合标定方法及其联合标定装置和电子设备
CN112219087A (zh) 位姿预测方法、地图构建方法、可移动平台及存储介质
CN110873883B (zh) 融合激光雷达和imu的定位方法、介质、终端和装置
CN109631911B (zh) 一种基于深度学习目标识别算法的卫星姿态转动信息确定方法
CN112837352B (zh) 基于图像的数据处理方法、装置及设备、汽车、存储介质
JPH1183530A (ja) 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム
US20180075614A1 (en) Method of Depth Estimation Using a Camera and Inertial Sensor
CN111623773B (zh) 一种基于鱼眼视觉和惯性测量的目标定位方法及装置
CN114708583A (zh) 目标物的检测方法、装置、设备及存储介质
CN115082290A (zh) 激光雷达点云的投影方法、装置、设备及存储介质
CN113587934B (zh) 一种机器人、室内定位方法、装置和可读存储介质
CN115097419A (zh) 一种激光雷达到imu的外参标定方法及装置
CN114821497A (zh) 目标物位置的确定方法、装置、设备及存储介质
JP2022034034A (ja) 障害物検出方法、電子機器、路側機器、及びクラウド制御プラットフォーム
CN111351487B (zh) 多传感器的时钟同步方法、装置及计算设备
CN112184906A (zh) 一种三维模型的构建方法及装置
CN115309630A (zh) 自动驾驶仿真数据的生成方法、装置、设备及存储介质
CN115082289A (zh) 激光雷达点云的投影方法、装置、设备及存储介质
CN114879168A (zh) 一种激光雷达与imu标定方法及***
CN110232715B (zh) 一种多深度相机自校准的方法、装置及***
CN116977226B (zh) 点云数据分层的处理方法、装置、电子设备及存储介质
CN117495900B (zh) 基于相机运动趋势估计的多目标视觉跟踪方法
CN117649619B (zh) 无人机视觉导航定位回收方法、***、装置及可读存储介质
CN116363173A (zh) 车辆驾驶数据的处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination