CN113866779A - 点云数据的融合方法、装置、电子设备及存储介质 - Google Patents
点云数据的融合方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113866779A CN113866779A CN202010618348.2A CN202010618348A CN113866779A CN 113866779 A CN113866779 A CN 113866779A CN 202010618348 A CN202010618348 A CN 202010618348A CN 113866779 A CN113866779 A CN 113866779A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- reflectivity
- target
- radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title description 6
- 238000002310 reflectometry Methods 0.000 claims abstract description 437
- 238000000034 method Methods 0.000 claims abstract description 65
- 238000012545 processing Methods 0.000 claims description 32
- 230000004927 fusion Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 101150007742 RING1 gene Proteins 0.000 description 11
- 208000035217 Ring chromosome 1 syndrome Diseases 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 208000032825 Ring chromosome 2 syndrome Diseases 0.000 description 2
- 208000032836 Ring chromosome 15 syndrome Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
- G01S13/872—Combinations of primary radar and secondary radar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
- G01S13/878—Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
- G01S7/4004—Means for monitoring or calibrating of parts of a radar system
- G01S7/4021—Means for monitoring or calibrating of parts of a radar system of receivers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本公开提供了一种点云数据的融合方法、装置、电子设备及存储介质,该方法包括:获取设置在目标车辆上的主雷达和副雷达分别采集得到的点云数据;主雷达为目标车辆上的雷达中的一个,副雷达为目标车辆上的雷达中除主雷达以外的雷达;基于预先确定的副雷达的反射率标定表,对副雷达采集的点云数据中的反射率进行调整,得到副雷达的调整后的点云数据;其中,反射率标定表表征副雷达的每条扫描线对应的每种反射率所匹配的主雷达的目标反射率信息;将主雷达采集到的点云数据与副雷达对应的调整后的点云数据进行融合,得到融合后的点云数据。
Description
技术领域
本公开涉及计算机视觉技术领域,具体而言,涉及一种点云数据的融合方法、装置、电子设备及存储介质。
背景技术
激光雷达是通过反射激光束探测目标的位置,具有探测距离远、测量精度高的特点,故可以广泛应用于自动驾驶领域。
一般的,为减小探测盲区,增大探测距离,可以在车辆上安装有多颗激光雷达。安装的多颗激光雷达对应的厂家可能不同,或者,多颗激光雷达对应的型号可能不同,从而导致多颗激光雷达测量反射率的标准不一致,使得融合后的不同点云数据对应的反射率的测量标准不一致,导致融合后的点云数据所表征的目标物失真,进而基于融合后的点云数据执行目标检测,目标跟踪,高精度地图建图等任务时,执行结果准确率较低。
发明内容
有鉴于此,本公开至少提供一种点云数据的融合方法、装置、电子设备及存储介质。
第一方面,本公开提供了一种点云数据的融合方法,包括:
获取设置在目标车辆上的主雷达和副雷达分别采集得到的点云数据;所述主雷达为所述目标车辆上的雷达中的一个,所述副雷达为所述目标车辆上的雷达中除主雷达以外的雷达;
基于预先确定的所述副雷达的反射率标定表,对所述副雷达采集的点云数据中的反射率进行调整,得到所述副雷达的调整后的点云数据;其中,所述反射率标定表表征所述副雷达的每条扫描线对应的每种反射率所匹配的主雷达的目标反射率信息;
将所述主雷达采集到的点云数据与所述副雷达对应的调整后的点云数据进行融合,得到融合后的点云数据。
采用上述方法,预先生成了反射率标定表,该反射率标定表表征副雷达的每条扫描线对应的每种反射率所匹配的主雷达的目标反射率信息,从而在得到副雷达采集的点云数据后,可以根据反射率标定表对副雷达采集的点云数据中的反射率进行调整,使得主雷达采集到的点云数据与副雷达采集的调整后的点云数据中的反射率对应的测量标准一致,进而可以缓解融合后的点云数据的失真问题,提高进行目标检测等的准确性。
一种可能的实施方式中,根据下述步骤确定所述反射率标定表:
获取设置在样本车辆上的所述主雷达采集得到的第一样本点云数据,以及设置在所述样本车辆上的所述副雷达采集得到的第二样本点云数据;
基于所述第一样本点云数据,生成体素地图数据,其中,所述体素地图数据包括多个三维体素网格的数据,每个三维体素网格的数据包括基于该三维体素网格内的多个扫描点的点云数据确定的反射率信息;
基于所述第二样本点云数据以及所述多个三维体素网格的数据,生成所述反射率标定表。
上述实施方式提供了一种生成反射率标定表的方法,通过基于第一样本点云数据,生成体素地图数据,得到第一样本点云数据在每个三维体素网格上的反射率信息,进而再基于第二样本点云数据以及体素地图数据,生成反射率标定表,该反射率标定表可以较准确的反应副雷达的每条扫描线的每种反射率匹配的主雷达的目标反射率信息,即生成的反射率标定表的准确度较高。
一种可能的实施方式中,所述基于所述第一样本点云数据,生成体素地图数据,包括:
获取所述样本车辆在移动过程中依次采集的多个位姿数据;
基于所述多个位姿数据对所述第一样本点云数据进行去畸变处理,得到处理后的第一样本点云数据;
基于处理后的第一样本点云数据,生成体素地图数据。
上述实施方式中,去畸变处理过程可以消除第一样本点云数据中,不同帧第一样本点云数据和每一帧第一样本点云数据中不同批次第一样本点云数据对应的雷达位置不同导致的偏差,使得处理后的第一样本点云数据可以理解为在同一雷达位置时测量的第一样本点云数据,使得基于去畸变处理后得到的第一样本点云数据,生成体素地图数据时,可以提高生成的体素地图数据的准确度,进而可以使得生成的反射率标定表的准确度较高。
一种可能的实施方式中,所述反射率信息包括反射率平均值,根据以下步骤确定所述体素地图数据中包括的每个三维体素网格的数据:
针对所述每个三维体素网格,基于该三维体素网格内各个扫描点的点云数据中的反射率,确定该三维体素网格对应的反射率平均值;
基于所述第二样本点云数据以及所述多个三维体素网格的数据,生成所述反射率标定表,包括:
针对所述副雷达的每条扫描线的每种反射率,从所述第二样本点云数据中,确定与该种反射率对应的多个目标扫描点的位置信息,所述多个目标扫描点是由该条扫描线扫描得到的扫描点;基于所述多个目标扫描点的位置信息,确定所述多个目标扫描点对应的至少一个三维体素网格;基于所述至少一个三维体素网格分别对应的所述反射率平均值,确定该条扫描线的该种反射率所匹配的所述主雷达的目标反射率信息;
基于确定的所述副雷达的每条扫描线的每种反射率所匹配的所述主雷达的所述目标反射率信息,生成所述反射率标定表。
一般的,不同雷达发射的扫描线打在相同物体上时,对应的反射率应该一致,即可以认为在同一个三维体素网格中,主雷达扫描得到的扫描点的反射率与副雷达扫描得到的扫描点的反射率一致。因此,可以确定副雷达的每条扫描线的每种反射率对应的至少一个三维体素网格,根据至少一个三维体素网格对应的反射率平均值,较准确的确定该条扫描线的该种反射率匹配的主雷达的目标反射率信息,进而可以生成较准确的反射率标定表。
一种可能的实施方式中,所述三维体素网格的数据中包括所述反射率平均值和权重影响因子,所述权重影响因子包括反射率方差和/或扫描点数量;
在所述至少一个三维体素网格为多个三维体素网格的情况下,基于所述至少一个三维体素网格分别对应的所述反射率平均值,确定该条扫描线的该种反射率匹配的所述主雷达的目标反射率信息,包括:
基于所述权重影响因子,确定所述至少一个三维体素网格中每个所述三维体素网格对应的权重;
基于所述每个三维体素网格对应的权重及其对应的所述反射率平均值,确定该条扫描线的该种反射率所匹配的所述主雷达的所述目标反射率信息。
这里,可以为每个三维体素网格确定一个权重,将可信度较高的三维体素网格的权重设置的较大(比如,反射率方差较小且扫描点数量较多的三维体素网格的可信度较高),将可信度较低的三维体素网格的权重设置的较小,使得基于每个三维体素网格对应的权重和反射率平均值,可以较准确的确定该条扫描线的该种反射率匹配的主雷达的目标反射率信息,进而可以使得得到的反射率标定表的准确度较高。
一种可能的实施方式中,基于所述第二样本点云数据以及所述多个三维体素网格的数据,生成所述反射率标定表,包括:
获取所述样本车辆在移动过程中依次采集的多个位姿数据,并基于所述多个位姿数据对所述第二样本点云数据进行去畸变处理,得到处理后的第二样本点云数据;
基于所述主雷达在所述样本车辆上的位置信息以及所述副雷达在所述样本车辆上的位置信息,确定所述第一样本点云数据与所述第二样本点云数据之间的相对位置信息;
利用所述相对位置信息对处理后的第二样本点云数据进行坐标转换,得到目标坐标系下的第二样本点云数据;其中,所述目标坐标系为所述第一样本点云数据对应的坐标系;
基于所述目标坐标系下的第二样本点云数据以及所述多个三维体素网格的数据,生成所述反射率标定表。
上述实施方式中,先对第二样本点云数据进行去畸变处理,消除第二样本点云数据中,每一批次第二样本点云数据和每一帧第二样本点云数据对应的雷达位置不同导致的偏差;再将第二样本点云数据转换至第一样本点云数据对应的目标坐标系下,消除第二样本点云数据与第一样本点云数据对应的雷达位置不同导致的偏差,使得基于去畸变处理和坐标转换后得到的第二样本点云数据,生成反射率标定表时,可以提高生成的反射率标定表的准确度。
一种可能的实施方式中,将所述第一样本点云数据和所述第二样本点云数据分别作为目标样本点云数据,在所述目标样本点云数据为第一样本点云数据时,将所述主雷达作为目标雷达,在所述目标样本点云数据为第二样本点云数据时,将所述副雷达作为目标雷达;所述目标样本点云数据中有多帧,每帧目标样本点云数据包括目标雷达发射多条扫描线采集到的目标样本点云数据;其中,所述目标雷达按照预设频率分批次发射扫描线,每批次发射多条扫描线;
根据以下步骤对目标样本点云数据进行去畸变处理:
基于所述多个位姿数据,确定所述目标雷达在发射每批次扫描线时的位姿信息;
针对每帧目标样本点云数据中非首批次发射扫描线所采集到的目标样本点云数据,基于所述目标雷达在发射该批次扫描线时的位姿信息,将发射该批次扫描线所采集到的目标样本点云数据的坐标,转换到该帧目标样本点云数据中发射首批次扫描线所采集到的目标样本点云数据所对应的目标雷达的坐标系下,得到该帧目标样本点云数据对应的第一次去畸变后的目标样本点云数据;
针对第一次去畸变后的多帧目标样本点云数据中任一非首帧目标样本点云数据,基于所述目标雷达在扫描得到该帧目标样本点云数据时的位姿信息,将该帧目标样本点云数据的坐标转换到首帧目标样本点云数据对应的目标雷达的坐标系下,得到该帧目标样本点云数据对应的第二次去畸变后的目标样本点云数据。
上述实施方式中,将每帧目标样本点云数据中非首批次扫描线采集到的目标样本点云数据、和不同帧目标样本点云数据中非首帧目标样本点云数据,统一变换到首帧目标样本点云数据中的首批次目标样本点云数据对应的目标雷达的坐标系下,进而提高生成的反射率标定表的准确度。
一种可能的实施方式中,在生成所述反射率标定表之后,包括:
在所述反射率标定表中,确定不存在匹配的目标反射率信息的扫描线的反射率;
基于所述反射率标定表中所述主雷达的所述目标反射率信息,确定所述不存在匹配的目标反射率信息的扫描线的反射率所对应的主雷达的目标反射率信息;
基于确定的所述不存在匹配的目标反射率信息的扫描线的反射率所对应的主雷达的目标反射率信息,更新所述反射率标定表。
上述实施方式下,由于生成的反射率标定表中可能存在部分格子无对应的目标反射率信息,即可能存在生成的反射率标定表是不完整的情况,为了保障反射率标定表的完整性,可以基于反射率标定表中存在的主雷达的目标反射率信息,确定反射率标定表中缺少的目标反射率信息,对反射标定表进行补齐,生成更新后的反射率标定表,即得到了完整的反射率标定表。
以下装置、电子设备等的效果描述参见上述方法的说明,这里不再赘述。
第二方面,本公开提供了一种点云数据的融合装置,包括:
获取模块,用于获取设置在目标车辆上的主雷达和副雷达分别采集得到的点云数据;所述主雷达为所述目标车辆上的雷达中的一个,所述副雷达为所述目标车辆上的雷达中除主雷达以外的雷达;
调整模块,用于基于预先确定的所述副雷达的反射率标定表,对所述副雷达采集的点云数据中的反射率进行调整,得到所述副雷达的调整后的点云数据;其中,所述反射率标定表表征所述副雷达的每条扫描线对应的每种反射率所匹配的主雷达的目标反射率信息;
融合模块,用于将所述主雷达采集到的点云数据与所述副雷达的调整后的点云数据进行融合,得到融合后的点云数据。
一种可能的实施方式中,所述融合装置还包括:反射率标定确定模块;
所述反射率标定确定模块,用于根据下述步骤确定所述反射率标定表:
获取设置在样本车辆上的所述主雷达采集得到的第一样本点云数据,以及设置在所述样本车辆上的所述副雷达采集得到的第二样本点云数据;
基于所述第一样本点云数据,生成体素地图数据,其中,所述体素地图数据包括多个三维体素网格的数据,每个三维体素网格的数据包括基于该三维体素网格内的多个扫描点的点云数据确定的反射率信息;
基于所述第二样本点云数据以及所述多个三维体素网格的数据,生成所述反射率标定表。
一种可能的实施方式中,所述反射率标定确定模块,在基于所述第一样本点云数据,生成体素地图数据时,用于:
获取所述样本车辆在移动过程中依次采集的多个位姿数据;
基于所述多个位姿数据对所述第一样本点云数据进行去畸变处理,得到处理后的第一样本点云数据;
基于处理后的第一样本点云数据,生成体素地图数据。
一种可能的实施方式中,所述反射率信息包括反射率平均值,所述反射率标定确定模块,用于根据以下步骤确定所述体素地图数据中包括的每个三维体素网格的数据:
针对所述每个三维体素网格,基于该三维体素网格内各个扫描点的点云数据中的反射率,确定该三维体素网格对应的反射率平均值;
所述反射率标定确定模块,在基于所述第二样本点云数据以及所述多个三维体素网格的数据,生成所述反射率标定表时,用于:
针对所述副雷达的每条扫描线的每种反射率,从所述第二样本点云数据中确定与该种反射率对应的多个目标扫描点的位置信息,所述多个目标扫描点是由该条扫描线扫描得到的扫描点;基于所述多个目标扫描点的位置信息,确定所述多个目标扫描点对应的至少一个三维体素网格;基于所述至少一个三维体素网格分别对应的所述反射率平均值,确定该条扫描线的该种反射率所匹配的所述主雷达的目标反射率信息;
基于确定的所述副雷达的每条扫描线的每种反射率所匹配的所述主雷达的所述目标反射率信息,生成所述反射率标定表。
一种可能的实施方式中,所述三维体素网格的数据中包括所述反射率平均值和权重影响因子,所述权重影响因子包括反射率方差和/或扫描点数量;
在所述至少一个三维体素网格为多个三维体素网格的情况下,所述反射率标定确定模块,在基于所述至少一个三维体素网格分别对应的所述反射率平均值,确定该条扫描线的该种反射率匹配的所述主雷达的目标反射率信息时,用于:
基于所述权重影响因子,确定所述至少一个三维体素网格中每个所述三维体素网格对应的权重;
基于所述每个三维体素网格对应的权重及其对应的所述反射率平均值,确定该条扫描线的该种反射率所匹配的所述主雷达的所述目标反射率信息。
一种可能的实施方式中,所述反射率标定确定模块,在基于所述第二样本点云数据以及所述多个三维体素网格的数据,生成所述反射率标定表时,用于:
获取所述样本车辆在移动过程中依次采集的多个位姿数据,并基于所述多个位姿数据对所述第二样本点云数据进行去畸变处理,得到处理后的第二样本点云数据;
基于所述主雷达在所述样本车辆上的位置信息以及所述副雷达在所述样本车辆上的位置信息,确定所述第一样本点云数据与所述第二样本点云数据之间的相对位置信息;
利用所述相对位置信息对处理后的第二样本点云数据进行坐标转换,得到目标坐标系下的第二样本点云数据;其中,所述目标坐标系为所述第一样本点云数据对应的坐标系;
基于所述目标坐标系下的第二样本点云数据以及所述多个三维体素网格的数据,生成所述反射率标定表。
一种可能的实施方式中,将所述第一样本点云数据和所述第二样本点云数据分别作为目标样本点云数据,在所述目标样本点云数据为第一样本点云数据时,将所述主雷达作为目标雷达,在所述目标样本点云数据为第二样本点云数据时,将所述副雷达作为目标雷达;所述目标样本点云数据中有多帧,每帧目标样本点云数据包括目标雷达发射多条扫描线采集到的目标样本点云数据;其中,所述目标雷达按照预设频率分批次发射扫描线,每批次发射多条扫描线;
所述反射率标定确定模块,用于根据以下步骤对目标样本点云数据进行去畸变处理:
基于所述多个位姿数据,确定所述目标雷达在发射每批次扫描线时的位姿信息;
针对每帧目标样本点云数据中非首批次发射扫描线所采集到的目标样本点云数据,基于所述目标雷达在发射该批次扫描线时的位姿信息,将发射该批次扫描线所采集到的目标样本点云数据的坐标,转换到该帧目标样本点云数据中发射首批次扫描线所采集到的目标样本点云数据所对应的目标雷达的坐标系下,得到该帧目标样本点云数据的第一次去畸变后的目标样本点云数据;
针对第一次去畸变后的多帧目标样本点云数据中任一非首帧目标样本点云数据,基于所述目标雷达在扫描得到该帧目标样本点云数据时的位姿信息,将该帧目标样本点云数据的坐标转换到首帧目标样本点云数据对应的目标雷达的坐标系下,得到该帧目标样本点云数据对应的第二次去畸变后的目标样本点云数据。
一种可能的实施方式中,在生成所述反射率标定表之后,还包括:更新模块,用于:
在所述反射率标定表中,确定不存在匹配的目标反射率信息的扫描线的反射率;
基于所述反射率标定表中所述主雷达的所述目标反射率信息,确定所述不存在匹配的目标反射率信息的扫描线的反射率所对应的主雷达的目标反射率信息;
基于确定的所述不存在匹配的目标反射率信息的扫描线的反射率所对应的主雷达的目标反射率信息,更新所述反射率标定表。
第三方面,本公开提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的点云数据的融合方法的步骤。
第四方面,本公开提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的点云数据的融合方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种点云数据的融合方法的流程示意图;
图2示出了本公开实施例所提供的一种点云数据的融合方法中,确定反射率标定表的方式的流程示意图;
图3示出了本公开实施例所提供的一种点云数据的融合装置的架构示意图;
图4示出了本公开实施例所提供的一种电子设备400的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
一般的,可以在目标车辆上设置多个雷达,每个雷达分别采集得到点云数据,将多个雷达采集到的点云数据进行融合,得到较为丰富的融合后的点云数据,进而可以基于融合后的点云数据执行目标检测、或目标追踪。但是,由于不同雷达之间对应的反射率可能不一致,使得不同源点云数据融合时反射率不统一,得到的融合后的点云数据存在失真的问题,降低了执行结果的准确率。
本公开实施例中的雷达包括激光雷达、毫米波雷达和超声波雷达等,进行点云数据融合的雷达可以为同一类型的雷达,也可以为不同类型的雷达。本公开实施例中仅以进行点云数据融合的雷达均为激光雷达为例进行说明。
为了解决不同源点云数据融合时反射率不统一的问题,本公开实施例提供了一种点云数据的融合方法。
为便于对本公开实施例进行理解,首先对本公开实施例所公开的一种点云数据的融合方法进行详细介绍。
参见图1所示,为本公开实施例所提供的点云数据的融合方法的流程示意图,该方法包括S101-S103,其中:
S101,获取设置在目标车辆上的主雷达和副雷达分别采集得到的点云数据;主雷达为目标车辆上的雷达中的一个,副雷达为目标车辆上的雷达中除主雷达以外的雷达;
S102,基于预先确定的副雷达对应的反射率标定表,对副雷达采集的点云数据中的反射率进行调整,得到副雷达的调整后的点云数据;其中,反射率标定表表征副雷达的每条扫描线对应的每种反射率所匹配的主雷达的目标反射率信息;
S103,将主雷达采集到的点云数据与副雷达对应的调整后的点云数据进行融合,得到融合后的点云数据,以根据融合后的点云数据对目标车辆进行控制。
在实际应用中,可以根据融合后的点云数据进行目标检测、目标跟踪,并根据检测、跟踪结果对目标车辆进行控制。
上述方法中,预先生成了反射率标定表,该反射率标定表表征副雷达的每条扫描线对应的每种反射率所匹配的主雷达的目标反射率信息,从而在得到副雷达采集的点云数据后,可以根据反射率标定表对副雷达采集的点云数据中的反射率进行调整,使得主雷达采集到的点云数据与副雷达采集的调整后的点云数据中的反射率对应的测量标准一致,进而可以缓解融合后的点云数据的失真问题,提高进行目标检测等的准确性。
下述对S101-S103进行详细说明。
针对S101:
主雷达和副雷达可以为设置在目标车辆上不同位置处的雷达,主雷达和副雷达可以为多线雷达。其中,主雷达和副雷达的类型和设置位置可以根据实际需要进行设置,以及副雷达的数量可以为多个。比如,主雷达可以为设置在目标车辆的正中间位置处的激光雷达,即主激光雷达,两个副雷达可以为设置的目标车辆的两侧位置处的激光雷达,即副激光雷达;主雷达可以为16线、32线、64线、或128线等的激光雷达,副雷达可以为16线、32线、64线、或128线等的激光雷达。
在主雷达和副雷达采集到点云数据之后,可以获取主雷达和副雷达分别采集得到的点云数据。一般的,主雷达采集到的点云数据中包括多个扫描点分别对应的数据,每个扫描点对应的数据中包括该扫描点在主雷达对应的直角坐标系下的位置信息和反射率;副雷达采集到的点云数据,每个扫描点对应的数据中包括该扫描点在副雷达对应的直角坐标系下的位置信息和反射率。
针对S102以及S103:
在获取主雷达和副雷达分别对应的点云数据之后,将副雷达对应的点云数据进行坐标转换,使得转换后的点云数据与主雷达采集到的点云数据位于同一坐标系下,即使得转换后的点云数据位于主雷达对应的直角坐标系下。再可以利用预先确定的副雷达的反射率标定表,对副雷达采集的点云数据中的反射率进行调整,得到副雷达对应的调整后的点云数据。再将主雷达采集到的点云数据与副雷达对应的调整后的点云数据进行融合,得到融合后的点云数据。
若副雷达的数量为多个,则可以为每个副雷达生成对应的反射率标定表,并可以利用每个副雷达对应的反射率标定表,对对应的副雷达采集得到的点云数据进行调整,得到每个副雷达对应的调整后的点云数据。
在实际应用中,反射率标定表可以如下表1所示,该反射率标定表可以为16线副激光雷达对应的反射率标定表。其中,表1中包括该副激光雷达中每一扫描线每种反射率匹配的主激光雷达的目标反射率信息,每一扫描线对应的256种反射率(256种反射率可以为反射率为0的一种反射率、反射率为1的一种反射率、……、反射率为255的一种反射率),即该反射率标定表中包括16线中每一扫描线的每种反射率匹配的目标反射率信息。目标反射率信息可以包括目标反射率平均值、目标反射率方差等,其中,目标反射率平均值可以为正整数,目标反射率方差可以为正实数。比如,扫描线Ring0且反射率为0匹配的主激光雷达的目标发射率信息可以为信息X00;扫描线Ring15且反射率为255匹配的主激光雷达的目标发射率信息可以为信息X15255。
表1反射率标定表
一种可选实施方式中,参见图2所示,根据下述步骤确定反射率标定表:
S201,获取设置在样本车辆上的主雷达采集得到的第一样本点云数据,以及设置在所述样本车辆上的副雷达采集得到的第二样本点云数据。
S202,基于第一样本点云数据,生成体素地图数据,其中,体素地图数据包括多个三维体素网格的数据,每个三维体素网格的数据包括基于该三维体素网格内的多个扫描点的点云数据确定的反射率信息。
S203,基于第二样本点云数据以及多个三维体素网格的数据,生成反射率标定表。
对S201进行说明,样本车辆可以与目标车辆为同一车辆,也可以为不同车辆。可以控制设置有主雷达和副雷达的样本车辆,在预设道路上行驶预设距离,得到第一样本点云数据和第二样本点云数据。若副雷达为多个时,可以得到每个副雷达分别对应的第二样本点云数据。
对S202以及S203进行说明,可以基于第一样本点云数据,生成体素地图数据。具体实施时,可以根据第一样本点云数据确定体素地图的范围,比如,若第一样本点云数据为第一距离范围内的样本点云数据,则可以从第一距离范围中,确定体素地图对应的第二距离范围,其中,体素地图对应的第二距离范围位于第一距离范围之内。再将第二距离范围的体素地图进行划分,得到第二距离范围内的多个三维体素网格,确定每个三维体素网格的初始数据,即将每个三维体素网格的初始数据设置为预设的初始值。比如,在三维体素网格的数据包括反射率平均值、反射率方差以及扫描点数量时,则每个三维体素网格的初始数据可以为反射率平均值为0、反射率方差为0、扫描点数量为0。再利用第一样本点云数据中多个扫描点的点云数据,更新每个三维体素网格的初始数据,得到更新后的每个三维体素网格的数据。
上述实施方式提供了一种生成反射率标定表的方法,通过基于第一样本点云数据,生成体素地图数据,得到第一样本点云数据在每个三维体素网格上的反射率信息,进而再基于第二样本点云数据以及体素地图数据,生成反射率标定表,该反射率标定表可以较准确的反应副雷达的每条扫描线的每种反射率匹配的主雷达的目标反射率信息,即生成的反射率标定表的准确度较高。
一种可选实施方式中,基于第一样本点云数据,生成体素地图数据,包括:
获取样本车辆在移动过程中依次采集的多个位姿数据。
基于多个位姿数据对第一样本点云数据进行去畸变处理,得到处理后的第一样本点云数据。
基于处理后的第一样本点云数据,生成体素地图数据。
示例性的,样本车辆上可以设置有全球导航卫星***-惯性导航***GNSS-INS等定位设备,通过定位设备对样本车辆进行定位,得到样本车辆在移动过程中依次采集的多个位姿数据。或者,也可以控制样本车辆匀速行驶,根据主雷达或副雷达发射和接收无线电波束的时间,计算得到多个位姿数据。
可以利用多个位姿数据对第一样本点云数据进行去畸变处理,得到处理后的第一样本点云数据。由于雷达是通过扫描周期扫描环境来获得点云数据,但是当雷达处于运动状态时,会使得产生的点云数据发生畸变,而去畸变的方式是将得到的点云数据变换到同一时刻,即去畸变后的点云数据可以认为是同一时刻得到的点云数据。因此,处理后的第一样本点云数据可以理解为同一时刻得到的第一样本点云数据。进而可以基于处理后的第一样本点云数据,生成体素地图数据。
上述实施方式中,去畸变处理过程可以消除第一样本点云数据中,不同帧第一样本点云数据和每一帧第一样本点云数据中不同批次第一样本点云数据对应的雷达位置不同导致的偏差,使得处理后的第一样本点云数据可以理解为在同一雷达位置时测量的第一样本点云数据,使得基于去畸变处理后得到的第一样本点云数据,生成体素地图数据时,可以提高生成的体素地图数据的准确度,进而可以使得生成的反射率标定表的准确度较高。
一种可选实施方式中,反射率信息包括反射率平均值,根据以下步骤确定体素地图数据中包括的每个三维体素网格的数据:
针对每个三维体素网格,基于该三维体素网格内各个扫描点的点云数据中的反射率,确定该三维体素网格对应的反射率平均值。
本公开实施例中,可以根据第一样本点云数据中每个扫描点对应的位置信息,确定每个扫描点所处的三维体素网格,则可以得到每个三维体素网格包括的各个扫描点。针对每个三维体素网格,将该三维体素网格内各个扫描点的反射率求平均,得到该三维体素网格对应的反射率平均值。
具体实施时,基于第二样本点云数据以及多个三维体素网格的数据,生成反射率标定表,可以包括:
针对副雷达的每条扫描线的每种反射率,从第二样本点云数据中,确定与该种反射率对应的多个目标扫描点的位置信息,多个目标扫描点是由该条扫描线扫描得到的扫描点;基于多个目标扫描点的位置信息,确定多个目标扫描点对应的至少一个三维体素网格;基于至少一个三维体素网格分别对应的反射率平均值,确定该条扫描线的该种反射率所匹配的主雷达的目标反射率信息;
基于确定的副雷达的每条扫描线的每种反射率所匹配的主雷达的目标反射率信息,生成反射率标定表。
比如,针对副雷达的扫描线Ring1且反射率为1,从第二样本点云数据中确定扫描线Ring1扫描得到的扫描点,在可以从Ring1扫描得到的扫描点中确定反射率为1的多个目标扫描点;根据多个目标扫描点的位置信息,确定多个目标扫描点对应的至少一个三维体素网格;可以基于至少一个三维体素网格分别对应的反射率平均值,计算得到扫描线Ring1且反射率为1匹配的主雷达的目标反射率平均值、目标反射率方差(目标反射率平均值、目标反射率方差即为目标反射率信息)。进而可以基于副雷达的每条扫描线的每种反射率匹配的主雷达的目标反射率信息,生成反射率标定表。
具体实施时,通过遍历第二样本点云数据,确定了每条扫描线的每种反射率对应的多个目标扫描点;再基于多个目标扫描点的位置信息,确定每条扫描线的每种反射率对应的至少一个三维体素网格;进而可以基于每条扫描线的每种反射率对应的至少一个三维体素网格分别对应的反射率平均值,确定了每条扫描线的每种反射率分别匹配的主雷达的目标反射率信息;最后基于每条扫描线的每种反射率分别匹配的主雷达的目标反射率信息,生成了反射率标定表。
通过遍历第二样本点云数据,确定了每条扫描线的每种反射率对应的多个目标扫描点;再基于多个目标扫描点的位置信息,确定每条扫描线的每种反射率对应的至少一个三维体素网格,即确定了反射标定表中每个格子对应的至少一个三维体素网格;进而可以基于每个格子对应的至少一个三维体素网格分别对应的反射率平均值,确定了每个格子的目标反射率信息,生成了反射率标定表。
一般的,不同雷达发生的无线电波束打在相同物体上时,对应的反射率应该一致,即可以认为在同一个三维体素网格中,主雷达扫描得到的扫描点的反射率与副雷达扫描得到的扫描点的反射率一致。因此,可以确定副雷达的每条扫描线的每种反射率对应的至少一个三维体素网格,根据至少一个三维体素网格对应的反射率平均值,较准确的确定该条扫描线的该种反射率匹配的主雷达的目标反射率信息,进而可以生成较准确的反射率标定表。
一种可选实施方式中,三维体素网格的数据中包括反射率平均值和权重影响因子,权重影响因子包括反射率方差和/或扫描点数量。
在至少一个三维体素网格为多个三维体素网格的情况下,基于至少一个三维体素网格分别对应的反射率平均值,确定该条扫描线的该种反射率匹配的主雷达的目标反射率信息,包括:
基于权重影响因子,确定至少一个三维体素网格中每个三维体素网格对应的权重;
基于每个三维体素网格对应的权重及其对应的反射率平均值,确定该条扫描线的该种反射率所匹配的主雷达的目标反射率信息。
这里,可以在确定了副雷达的每条扫描线的每种反射率对应的至少一个三维体素网格之后,根据权重影响因子,确定至少一个三维体素网格中每个三维体素网格对应的权重。
比如,在权重影响因子为反射率方差值时,可以将反射率方差大的三维体素网格的权重设置的较小,可以将反射率方差小的三维体素网格的权重设置的较大。在权重影响因子为扫描点数量,可以将扫描点数量多的三维体素网格的权重设置的较大,可以将扫描点数量少的三维体素网格的权重设置的较小。在权重影响因子包括反射率方差和扫描点数量时,将反射率方差小以及扫描点数量多的三维体素网格的权重设置的较大,将反射率方差大、以及扫描点数据少的三维体素网格的权重设置的较小等。
进而可以基于每个三维体素网格对应的权重和反射率平均值,加权求平均得到目标反射率平均值,加权求方差得到目标反射率方差,即得到了每条扫描线的每种反射率匹配的主雷达的目标反射率信息。
上述实施方式中,可以为每个三维体素网格确定一个权重,将可信度较高的三维体素网格的权重设置的较大(比如,反射率方差较小且扫描点数量较多的三维体素网格的可信度较高),将可信度较低的三维体素网格的权重设置的较小,使得基于每个三维体素网格对应的权重和反射率平均值,可以较准确的确定该条扫描线的该种反射率匹配的主雷达的目标反射率信息,进而可以使得得到的反射率标定表的准确度较高。
一种可选实施方式中,基于第二样本点云数据以及多个三维体素网格的数据,生成反射率标定表,包括:
一、获取样本车辆在移动过程中依次采集的多个位姿数据,并基于多个位姿数据对第二样本点云数据进行去畸变处理,得到处理后的第二样本点云数据。
二、基于主雷达在样本车辆上的位置信息以及副雷达在样本车辆上的位置信息,确定第一样本点云数据与第二样本点云数据之间的相对位置信息。
三、利用相对位置信息对处理后的第二样本点云数据进行坐标转换,得到目标坐标系下的第二样本点云数据;其中,目标坐标系为第一样本点云数据对应的坐标系。
四、基于目标坐标系下的第二样本点云数据以及多个三维体素网格的数据,生成反射率标定表。
这里,可以通过获取的样本车辆对应的多个位姿数据,并基于多个位姿数据对第二样本点云数据进行去畸变处理,得到处理后的第二样本点云数据。并利用确定的相对位置信息,对第二样本点云数据进行坐标转换,得到目标坐标系下的第二样本点云数据,使得坐标转换后得到的第二样本点云数据与第一样本点云数据位于同一坐标系中;最后,利用目标坐标系下的第二样本点云数据以及多个三维体素网格的数据,生成反射率标定表。
上述实施方式中,先对第二样本点云数据进行去畸变处理,消除第二样本点云数据中,每一批次样本点云数据和每一帧样本点云数据对应的雷达位置不同导致的偏差;再将第二样本点云数据转换至第一样本点云数据对应的目标坐标系下,消除第二样本点云数据与第一样本点云数据对应的雷达位置不同导致的偏差,使得基于去畸变处理和坐标转换后得到的第二样本点云数据,生成反射率标定表时,可以提高生成的反射率标定表的准确度。
一种可选实施方式中,将第一样本点云数据和第二样本点云数据分别作为目标样本点云数据,在目标样本点云数据为第一样本点云数据时,将主雷达作为目标雷达,在目标样本点云数据为第二样本点云数据时,将副激光雷达作为目标雷达;目标样本点云数据中有多帧,每帧目标样本点云数据包括目标雷达发射多条扫描线采集到的目标样本点云数据;其中,目标雷达按照预设频率分批次发射扫描线,每批次发射多条扫描线;
根据以下步骤对目标样本点云数据进行去畸变处理:
基于多个位姿数据,确定目标雷达在发射每批次扫描线时的位姿信息;
针对每帧目标样本点云数据中非首批次发射扫描线所采集到的目标样本点云数据,基于目标雷达在发射该批次扫描线时的位姿信息,将该批次扫描线所采集到的目标样本点云数据的坐标,转换到该帧目标样本点云数据中发射首批次扫描线所采集到的目标样本点云数据所对应的目标雷达的坐标系下,得到该帧目标样本点云数据对应的第一次去畸变后的目标样本点云数据;
针对第一次去畸变后的多帧目标样本点云数据中任一非首帧目标样本点云数据,基于目标雷达在扫描得到该帧目标样本点云数据时的位姿信息,将该帧目标样本点云数据的坐标转换到首帧目标样本点云数据对应的目标雷达的坐标系下,得到该帧目标样本点云数据对应的第二次去畸变后的目标样本点云数据。
这里,在目标样本点云数据为第一样本点云数据时,第一样本点云数据中可以包括多帧第一样本点云数据,每帧第一样本点云数据包括多批次的第一样本点云数据。在对第一样本点云数据进行去畸变处理时,可以先针对第一样本点云数据中的每帧第一样本点云数据,将该帧第一样本点云数据中非首批次发射扫描线所采集到的第一样本点云数据转换到该帧第一样本点云数据中首批次扫描线发射时刻对应的主雷达的坐标系下,完成第一次去畸变处理。在第一次去畸变处理之后,还可以针对多帧第一样本点云数据中任一非首帧第一样本点云数据,将该帧第一样本点云数据的坐标转换到首帧第一样本点云数据对应的主雷达的坐标系下,完成第二去畸变处理。
比如,若第一样本点云数据中包括50帧第一样本点云数据,即第一帧第一样本点云数据、第二帧第一样本点云数据、……、第五十帧第一样本点云数据,每帧第一样本点云数据中包括10批次第一样本点云数据,即第一批次第一样本点云数据、第二批次第一样本点云数据、……、第十批次第一样本点云数据。针对每帧第一样本点云数据中,第二批次第一样本点云数据至第十批次第一样本点云数据中每一批次第一样本点云数据,通过插值法确定主雷达发射该批次扫描线时的位姿信息,将该批次第一样本点云数据(即该批次扫描线采集到的第一样本点云数据)的坐标转换到该帧第一样本点云数据中第一批次扫描线发射时刻对应的主雷达的坐标系下,即转换到该帧第一样本点云数据中第一批次第一样本点云数据对应的主雷达的坐标系下,进而可以得到每帧第一样本点云数据对应的第一次去畸变后的第一样本点云数据。
针对第二帧第一样本点云数据至第五十帧第一样本点云数据中每帧第一样本点云数据,基于主雷达在扫描得到该帧第一样本点云数据时的位姿信息,将该帧第一样本点云数据的坐标转换到第一帧第一样本点云数据对应的主雷达的坐标系下,进而可以得到第一样本点云数据对应的第二次去畸变后的第一样本点云数据。
其中,第二样本点云数据的去畸变处理过程可参考第一样本点云数据的去畸变处理过程,此处不再进行赘述。
这里,将每帧目标样本点云数据中非首批次扫描线采集到的目标样本点云数据、和不同帧目标样本点云数据中非首帧目标样本点云数据,统一变换到首帧目标样本点云数据中的首批次目标样本点云数据对应的目标雷达的坐标系下,进而提高生成的反射率标定表的准确度。
一种可选实施方式中,在生成反射率标定表之后,包括:
在反射率标定表中,确定不存在匹配的目标反射率信息的扫描线的反射率。
基于反射率标定表中主雷达的目标反射率信息,确定不存在匹配的目标反射率信息的扫描线的反射率所对应的主雷达的目标反射率信息。
基于确定的不存在匹配的目标反射率信息的扫描线的反射率所对应的主雷达的目标反射率信息,更新反射率标定表。
这里,在生成的反射率标定表中,每条扫描线的每种反射率都存在匹配的目标反射率信息时,即生成的反射率标定表中的每一格内均存在对应的目标反射率信息时,则无需对该反射率标定表进行更新。
在生成的反射率标定表中,存在扫描线的至少一种反射率无匹配的目标反射率信息时(即生成的反射率标定表中存在部分格子内无对应的目标反射率信息时),则可以通过线性插值法,得到至少一种反射率匹配的目标反射率信息。
比如,若Ring1且反射率为5对应的格子内无匹配的目标反射率信息时,同时,Ring1且反射率为4对应的格子存在目标反射率信息,和Ring1且反射率为6对应的格子存在目标反射率信息,则可以根据反射率标定表中,Ring1且反射率为4对应的格子中的目标反射率信息、和Ring1且反射率为6对应的格子中的目标反射率信息,通过线性插值法,得到Ring1且反射率为5对应的格子中的目标反射率信息。
或者,若Ring1且反射率为5对应的格子内无匹配的目标反射率信息时,同时,Ring0且反射率为5对应的格子内存在目标反射率信息,和Ring2且反射率为5对应的格子内存在目标反射率信息,则可以根据反射率标定表中,Ring0且反射率为5对应的格子中的目标反射率信息、和Ring2且反射率为5对应的格子中的目标反射率信息,通过线性插值法,得到Ring1且反射率为5对应的格子中的目标反射率信息。
这里,可以基于确定的至少一种反射率对应的主雷达的目标反射率信息对反射率标定表进行更新,生成更新后的反射率标定表,其中,更新后的反射率标定表中,目标反射率信息中的目标反射率平均值可以为正整数,即可以将反射率标定表中每个格子对应的目标反射率平均值通过四舍五入的方式调整为正整数,生成更新后的反射率标定表。
其中,上述确定至少一种反射率对应的主雷达的目标反射率信息的方式有多种,此处仅为示例性说明。
上述实施方式下,由于生成的反射率标定表中可能存在部分格子无对应的目标反射率信息,即可能存在生成的反射率标定表是不完整的情况,为了保障反射率标定表的完整性,可以基于反射率标定表中存在的主雷达的目标反射率信息,确定反射率标定表中缺少的目标反射率信息,对反射标定表进行补齐,生成更新后的反射率标定表,即得到了完整的反射率标定表。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于相同的构思,本公开实施例还提供了一种点云数据的融合装置,参见图3所示,为本公开实施例提供的一种点云数据的融合装置的架构示意图,包括获取模块301、调整模块302、融合模块303、以及反射率标定确定模块304、更新模块305,具体的:
获取模块301,用于获取设置在目标车辆上的主雷达和副雷达分别采集得到的点云数据;所述主雷达为所述目标车辆上的雷达中的一个,所述副雷达为所述目标车辆上的雷达中除主雷达以外的雷达;
调整模块302,用于基于预先确定的所述副雷达的反射率标定表,对所述副雷达采集的点云数据中的反射率进行调整,得到所述副雷达的调整后的点云数据;其中,所述反射率标定表表征所述副雷达的每条扫描线对应的每种反射率所匹配的主雷达的目标反射率信息;
融合模块303,用于将所述主雷达采集到的点云数据与所述副雷达对应的调整后的点云数据进行融合,得到融合后的点云数据,以根据融合后的点云数据对目标车辆进行控制。
一种可能的实施方式中,所述融合装置还包括:反射率标定确定模块304;
所述反射率标定确定模块304,用于根据下述步骤确定所述反射率标定表:
获取设置在样本车辆上的所述主雷达采集得到的第一样本点云数据,以及设置在所述样本车辆上的所述副雷达采集得到的第二样本点云数据;
基于所述第一样本点云数据,生成体素地图数据,其中,所述体素地图数据包括多个三维体素网格的数据,每个三维体素网格的数据包括基于该三维体素网格内的多个扫描点的点云数据确定的反射率信息;
基于所述第二样本点云数据以及所述多个三维体素网格的数据,生成所述反射率标定表。
一种可能的实施方式中,所述反射率标定确定模块304,在基于所述第一样本点云数据,生成体素地图数据时,用于:
获取所述样本车辆在移动过程中依次采集的多个位姿数据;
基于所述多个位姿数据对所述第一样本点云数据进行去畸变处理,得到处理后的第一样本点云数据;
基于处理后的第一样本点云数据,生成体素地图数据。
一种可能的实施方式中,所述反射率信息包括反射率平均值,所述反射率标定确定模块304,用于根据以下步骤确定所述体素地图数据中包括的每个三维体素网格的数据:
针对所述每个三维体素网格,基于该三维体素网格内各个扫描点的点云数据中的反射率,确定该三维体素网格对应的反射率平均值;
所述反射率标定确定模块304,在基于所述第二样本点云数据以及所述多个三维体素网格的数据,生成所述反射率标定表时,用于:
针对所述副雷达的每条扫描线的每种反射率,从所述第二样本点云数据中确定该种反射率对应的多个目标扫描点的位置信息,所述多个目标扫描点是由该条扫描线扫描得到的扫描点;基于所述多个目标扫描点的位置信息,确定所述多个目标扫描点对应的至少一个三维体素网格;基于所述至少一个三维体素网格分别对应的所述反射率平均值,确定该条扫描线的该种反射率所匹配的所述主雷达的目标反射率信息;
基于确定的所述副雷达的每条扫描线的每种反射率所匹配的所述主雷达的所述目标反射率信息,生成所述反射率标定表。
一种可能的实施方式中,所述三维体素网格的数据中包括所述反射率平均值和权重影响因子,所述权重影响因子包括反射率方差和/或扫描点数量;
在所述至少一个三维体素网格为多个三维体素网格的情况下,所述反射率标定确定模块304,在基于所述至少一个三维体素网格分别对应的所述反射率平均值,确定该条扫描线的该种反射率匹配的所述主雷达的目标反射率信息时,用于:
基于所述权重影响因子,确定所述至少一个三维体素网格中每个所述三维体素网格对应的权重;
基于所述每个三维体素网格对应的权重及其对应的所述反射率平均值,确定该条扫描线的该种反射率所匹配的所述主雷达的所述目标反射率信息。
一种可能的实施方式中,所述反射率标定确定模块304,在基于所述第二样本点云数据以及所述多个三维体素网格的数据,生成所述反射率标定表时,用于:
获取所述样本车辆在移动过程中依次采集的多个位姿数据,并基于所述多个位姿数据对所述第二样本点云数据进行去畸变处理,得到处理后的第二样本点云数据;
基于所述主雷达在所述样本车辆上的位置信息以及所述副雷达在所述样本车辆上的位置信息,确定所述第一样本点云数据与所述第二样本点云数据之间的相对位置信息;
利用所述相对位置信息对处理后的第二样本点云数据进行坐标转换,得到目标坐标系下的第二样本点云数据;其中,所述目标坐标系为所述第一样本点云数据对应的坐标系;
基于所述目标坐标系下的第二样本点云数据以及所述多个三维体素网格的数据,生成所述反射率标定表。
一种可能的实施方式中,将所述第一样本点云数据和所述第二样本点云数据分别作为目标样本点云数据,在所述目标样本点云数据为第一样本点云数据时,将所述主雷达作为目标雷达,在所述目标样本点云数据为第二样本点云数据时,将所述副激光雷达作为目标雷达;所述目标样本点云数据中有多帧,每帧目标样本点云数据包括目标雷达发射多条扫描线采集到的样本点云数据;其中,所述目标雷达按照预设频率分批次发射扫描线,每批次发射多条扫描线;
所述反射率标定确定模块304,用于根据以下步骤对目标样本点云数据进行去畸变处理:
基于所述多个位姿数据,确定所述目标雷达在发射每批次扫描线时的位姿信息;
针对每帧目标样本点云数据中非首批次发射扫描线所采集到的目标样本点云数据,基于所述目标雷达在发射该批次扫描线时的位姿信息,将发射该批次扫描线所采集到的目标样本点云数据的坐标,转换到该帧目标样本点云数据中发射首批次扫描线所采集到的目标样本点云数据所对应的目标雷达的坐标系下,得到该帧目标样本点云数据的第一次去畸变后的目标样本点云数据;
针对第一次去畸变后的多帧目标样本点云数据中任一非首帧目标样本点云数据,基于所述目标雷达在扫描得到该帧目标样本点云数据时的位姿信息,将该帧目标样本点云数据的坐标转换到首帧目标样本点云数据对应的目标雷达的坐标系下,得到该帧目标样本点云数据对应的第二次去畸变后的目标样本点云数据。
一种可能的实施方式中,在生成所述反射率标定表之后,还包括:更新模块305,用于:
在所述反射率标定表中,确定不存在匹配的目标反射率信息的扫描线的反射率;
基于所述反射率标定表中所述主雷达的所述目标反射率信息,确定所述不存在匹配的目标反射率信息的扫描线的反射率所对应的主雷达的目标反射率信息;
基于确定的所述不存在匹配的目标反射率信息的扫描线的反射率所对应的主雷达的目标反射率信息,更新所述反射率标定表。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
基于同一技术构思,本公开实施例还提供了一种电子设备。参照图4所示,为本公开实施例提供的电子设备的结构示意图,包括处理器401、存储器402、和总线403。其中,存储器402用于存储执行指令,包括内存4021和外部存储器4022;这里的内存4021也称内存储器,用于暂时存放处理器401中的运算数据,以及与硬盘等外部存储器4022交换的数据,处理器401通过内存4021与外部存储器4022进行数据交换,当电子设备400运行时,处理器401与存储器402之间通过总线403通信,使得处理器401在执行以下指令:
获取设置在目标车辆上的主雷达和副雷达分别采集得到的点云数据;所述主雷达为所述目标车辆上的雷达中的一个,所述副雷达为所述目标车辆上的雷达中除主雷达以外的雷达;
基于预先确定的所述副雷达对应的反射率标定表,对所述副雷达采集的点云数据中的反射率进行调整,得到所述副雷达对应的调整后的点云数据;其中,所述反射率标定表表征所述副雷达的每条扫描线对应的每种反射率所匹配的主雷达的目标反射率信息;
将所述主雷达采集到的点云数据与所述副雷达对应的调整后的点云数据进行融合,得到融合后的点云数据。
此外,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的点云数据的融合方法的步骤。
本公开实施例所提供的点云数据的融合方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的点云数据的融合方法的步骤,具体可参见上述方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。
Claims (11)
1.一种点云数据的融合方法,其特征在于,包括:
获取设置在目标车辆上的主雷达和副雷达分别采集得到的点云数据;所述主雷达为所述目标车辆上的雷达中的一个,所述副雷达为所述目标车辆上的雷达中除主雷达以外的雷达;
基于预先确定的所述副雷达的反射率标定表,对所述副雷达采集的点云数据中的反射率进行调整,得到所述副雷达的调整后的点云数据;其中,所述反射率标定表表征所述副雷达的每条扫描线对应的每种反射率所匹配的主雷达的目标反射率信息;
将所述主雷达采集到的点云数据与所述副雷达的调整后的点云数据进行融合,得到融合后的点云数据。
2.根据权利要求1所述的点云数据的融合方法,其特征在于,根据下述步骤确定所述反射率标定表:
获取设置在样本车辆上的所述主雷达采集得到的第一样本点云数据,以及设置在所述样本车辆上的所述副雷达采集得到的第二样本点云数据;
基于所述第一样本点云数据,生成体素地图数据,其中,所述体素地图数据包括多个三维体素网格的数据,每个三维体素网格的数据包括基于该三维体素网格内的多个扫描点的点云数据确定的反射率信息;
基于所述第二样本点云数据以及所述多个三维体素网格的数据,生成所述反射率标定表。
3.根据权利要求2所述的点云数据的融合方法,其特征在于,所述基于所述第一样本点云数据,生成体素地图数据,包括:
获取所述样本车辆在移动过程中依次采集的多个位姿数据;
基于所述多个位姿数据对所述第一样本点云数据进行去畸变处理,得到处理后的第一样本点云数据;
基于处理后的第一样本点云数据,生成体素地图数据。
4.根据权利要求2或3所述的点云数据的融合方法,其特征在于,所述反射率信息包括反射率平均值,根据以下步骤确定所述体素地图数据中包括的每个三维体素网格的数据:
针对所述每个三维体素网格,基于该三维体素网格内各个扫描点的点云数据中的反射率,确定该三维体素网格对应的反射率平均值;
基于所述第二样本点云数据以及所述多个三维体素网格的数据,生成所述反射率标定表,包括:
针对所述副雷达的每条扫描线的每种反射率,从所述第二样本点云数据中,确定与该种反射率对应的多个目标扫描点的位置信息,所述多个目标扫描点是由该条扫描线扫描得到的扫描点;基于所述多个目标扫描点的位置信息,确定所述多个目标扫描点对应的至少一个三维体素网格;基于所述至少一个三维体素网格分别对应的所述反射率平均值,确定该条扫描线的该种反射率所匹配的所述主雷达的目标反射率信息;
基于确定的所述副雷达的每条扫描线的每种反射率所匹配的所述主雷达的所述目标反射率信息,生成所述反射率标定表。
5.根据权利要求4所述的点云数据的融合方法,其特征在于,所述三维体素网格的数据中包括所述反射率平均值和权重影响因子,所述权重影响因子包括反射率方差和/或扫描点数量;
在所述至少一个三维体素网格为多个三维体素网格的情况下,基于所述至少一个三维体素网格分别对应的所述反射率平均值,确定该条扫描线的该种反射率匹配的所述主雷达的目标反射率信息,包括:
基于所述权重影响因子,确定所述至少一个三维体素网格中每个所述三维体素网格对应的权重;
基于所述每个三维体素网格对应的权重及其对应的反射率平均值,确定该条扫描线的该种反射率所匹配的所述主雷达的所述目标反射率信息。
6.根据权利要求2-5任一所述的点云数据的融合方法,其特征在于,基于所述第二样本点云数据以及所述多个三维体素网格的数据,生成所述反射率标定表,包括:
获取所述样本车辆在移动过程中依次采集的多个位姿数据,并基于所述多个位姿数据对所述第二样本点云数据进行去畸变处理,得到处理后的第二样本点云数据;
基于所述主雷达在所述样本车辆上的位置信息以及所述副雷达在所述样本车辆上的位置信息,确定所述第一样本点云数据与所述第二样本点云数据之间的相对位置信息;
利用所述相对位置信息对处理后的第二样本点云数据进行坐标转换,得到目标坐标系下的第二样本点云数据;其中,所述目标坐标系为所述第一样本点云数据对应的坐标系;
基于所述目标坐标系下的第二样本点云数据以及所述多个三维体素网格的数据,生成所述反射率标定表。
7.根据权利要求3或6所述的点云数据的融合方法,其特征在于,将所述第一样本点云数据和所述第二样本点云数据分别作为目标样本点云数据,在所述目标样本点云数据为第一样本点云数据时,将所述主雷达作为目标雷达,在所述目标样本点云数据为第二样本点云数据时,将所述副雷达作为目标雷达;所述目标样本点云数据中有多帧,每帧目标样本点云数据包括目标雷达发射多条扫描线采集到的目标样本点云数据;其中,所述目标雷达按照预设频率分批次发射扫描线,每批次发射多条扫描线;
根据以下步骤对目标样本点云数据进行去畸变处理:
基于所述多个位姿数据,确定所述目标雷达在发射每批次扫描线时的位姿信息;
针对每帧目标样本点云数据中非首批次发射扫描线所采集到的目标样本点云数据,基于所述目标雷达在发射该批次扫描线时的位姿信息,将发射该批次扫描线所采集到的目标样本点云数据的坐标,转换到该帧目标样本点云数据中发射首批次扫描线所采集到的目标样本点云数据所对应的目标雷达的坐标系下,得到该帧目标样本点云数据的第一次去畸变后的目标样本点云数据;
针对第一次去畸变后的多帧目标样本点云数据中任一非首帧目标样本点云数据,基于所述目标雷达在扫描得到该帧目标样本点云数据时的位姿信息,将该帧目标样本点云数据的坐标转换到首帧目标样本点云数据对应的目标雷达的坐标系下,得到该帧目标样本点云数据对应的第二次去畸变后的目标样本点云数据。
8.根据权利要求2-7任一所述的点云数据的融合方法,其特征在于,在生成所述反射率标定表之后,所述方法还包括:
在所述反射率标定表中,确定不存在匹配的目标反射率信息的扫描线的反射率;
基于所述反射率标定表中所述主雷达的所述目标反射率信息,确定所述不存在匹配的目标反射率信息的扫描线的反射率所对应的主雷达的目标反射率信息;
基于确定的所述不存在匹配的目标反射率信息的扫描线的反射率所对应的主雷达的目标反射率信息,更新所述反射率标定表。
9.一种点云数据的融合装置,其特征在于,包括:
获取模块,用于获取设置在目标车辆上的主雷达和副雷达分别采集得到的点云数据;所述主雷达为所述目标车辆上的雷达中的一个,所述副雷达为所述目标车辆上的雷达中除主雷达以外的雷达;
调整模块,用于基于预先确定的所述副雷达的反射率标定表,对所述副雷达采集的点云数据中的反射率进行调整,得到所述副雷达的调整后的点云数据;其中,所述反射率标定表表征所述副雷达的每条扫描线对应的每种反射率所匹配的主雷达的目标反射率信息;
融合模块,用于将所述主雷达采集到的点云数据与所述副雷达的调整后的点云数据进行融合,得到融合后的点云数据。
10.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至8任一所述的点云数据的融合方法的步骤。
11.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至8任一所述的点云数据的融合方法的步骤。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010618348.2A CN113866779A (zh) | 2020-06-30 | 2020-06-30 | 点云数据的融合方法、装置、电子设备及存储介质 |
KR1020217037652A KR102359063B1 (ko) | 2020-06-30 | 2021-04-23 | 포인트 클라우드 데이터의 융합 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 |
PCT/CN2021/089444 WO2022001325A1 (zh) | 2020-06-30 | 2021-04-23 | 点云数据的融合方法、装置、电子设备、存储介质和计算机程序 |
JP2021564866A JP2022541976A (ja) | 2020-06-30 | 2021-04-23 | 点群データの融合方法、装置、電子機器、記憶媒体及びコンピュータプログラム |
US17/653,275 US20220214448A1 (en) | 2020-06-30 | 2022-03-02 | Point cloud data fusion method and apparatus, electronic device, storage medium and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010618348.2A CN113866779A (zh) | 2020-06-30 | 2020-06-30 | 点云数据的融合方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113866779A true CN113866779A (zh) | 2021-12-31 |
Family
ID=78981860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010618348.2A Pending CN113866779A (zh) | 2020-06-30 | 2020-06-30 | 点云数据的融合方法、装置、电子设备及存储介质 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220214448A1 (zh) |
JP (1) | JP2022541976A (zh) |
KR (1) | KR102359063B1 (zh) |
CN (1) | CN113866779A (zh) |
WO (1) | WO2022001325A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114763997A (zh) * | 2022-04-14 | 2022-07-19 | 中国第一汽车股份有限公司 | 车辆采集到的雷达点云数据的处理方法、装置及电子设备 |
CN114842075A (zh) * | 2022-06-30 | 2022-08-02 | 小米汽车科技有限公司 | 数据标注方法、装置、存储介质及车辆 |
CN115966095A (zh) * | 2022-12-02 | 2023-04-14 | 云控智行科技有限公司 | 基于车辆的交通数据融合处理方法、装置、设备及介质 |
CN116184342A (zh) * | 2023-04-27 | 2023-05-30 | 无锡智鸿达电子科技有限公司 | 一种基于多雷达组网的测云雷达数据校准方法及*** |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2596867A (en) * | 2020-07-10 | 2022-01-12 | Scout Drone Inspection As | Inspection device for inspecting a building or structure |
CN118226421A (zh) * | 2024-05-22 | 2024-06-21 | 山东大学 | 基于反射率图的激光雷达-相机在线标定方法及*** |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102084253B1 (ko) * | 2013-11-20 | 2020-03-03 | 한국전자통신연구원 | 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치 및 방법 |
CN105184852B (zh) * | 2015-08-04 | 2018-01-30 | 百度在线网络技术(北京)有限公司 | 一种基于激光点云的城市道路识别方法及装置 |
KR102373926B1 (ko) * | 2016-02-05 | 2022-03-14 | 삼성전자주식회사 | 이동체 및 이동체의 위치 인식 방법 |
JP6938846B2 (ja) * | 2016-03-14 | 2021-09-22 | 株式会社デンソー | 物体認識装置 |
CN109425365B (zh) * | 2017-08-23 | 2022-03-11 | 腾讯科技(深圳)有限公司 | 激光扫描设备标定的方法、装置、设备及存储介质 |
CN109839624A (zh) * | 2017-11-27 | 2019-06-04 | 北京万集科技股份有限公司 | 一种多激光雷达位置标定方法及装置 |
CN110007300B (zh) * | 2019-03-28 | 2021-08-06 | 东软睿驰汽车技术(沈阳)有限公司 | 一种得到点云数据的方法及装置 |
CN109991984B (zh) * | 2019-04-22 | 2024-04-30 | 上海蔚来汽车有限公司 | 用于生成高精细地图的方法、装置和计算机存储介质 |
CN110221275B (zh) * | 2019-05-21 | 2023-06-23 | 菜鸟智能物流控股有限公司 | 一种激光雷达与相机之间的标定方法和装置 |
CN110658530B (zh) * | 2019-08-01 | 2024-02-23 | 北京联合大学 | 一种基于双激光雷达数据融合的地图构建方法、***及地图 |
CN110850394B (zh) * | 2019-12-02 | 2023-08-15 | 苏州智加科技有限公司 | 一种自动驾驶激光雷达强度标定方法 |
WO2021189439A1 (zh) * | 2020-03-27 | 2021-09-30 | 深圳市速腾聚创科技有限公司 | 基于连续波测距的补偿方法、装置和激光雷达 |
-
2020
- 2020-06-30 CN CN202010618348.2A patent/CN113866779A/zh active Pending
-
2021
- 2021-04-23 KR KR1020217037652A patent/KR102359063B1/ko active IP Right Grant
- 2021-04-23 WO PCT/CN2021/089444 patent/WO2022001325A1/zh active Application Filing
- 2021-04-23 JP JP2021564866A patent/JP2022541976A/ja active Pending
-
2022
- 2022-03-02 US US17/653,275 patent/US20220214448A1/en not_active Abandoned
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114763997A (zh) * | 2022-04-14 | 2022-07-19 | 中国第一汽车股份有限公司 | 车辆采集到的雷达点云数据的处理方法、装置及电子设备 |
CN114842075A (zh) * | 2022-06-30 | 2022-08-02 | 小米汽车科技有限公司 | 数据标注方法、装置、存储介质及车辆 |
CN114842075B (zh) * | 2022-06-30 | 2023-02-28 | 小米汽车科技有限公司 | 数据标注方法、装置、存储介质及车辆 |
CN115966095A (zh) * | 2022-12-02 | 2023-04-14 | 云控智行科技有限公司 | 基于车辆的交通数据融合处理方法、装置、设备及介质 |
CN116184342A (zh) * | 2023-04-27 | 2023-05-30 | 无锡智鸿达电子科技有限公司 | 一种基于多雷达组网的测云雷达数据校准方法及*** |
Also Published As
Publication number | Publication date |
---|---|
US20220214448A1 (en) | 2022-07-07 |
WO2022001325A1 (zh) | 2022-01-06 |
KR20220004099A (ko) | 2022-01-11 |
KR102359063B1 (ko) | 2022-02-08 |
JP2022541976A (ja) | 2022-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113866779A (zh) | 点云数据的融合方法、装置、电子设备及存储介质 | |
CN108921947B (zh) | 生成电子地图的方法、装置、设备、存储介质以及采集实体 | |
CN111077506B (zh) | 对毫米波雷达进行标定的方法、装置及*** | |
JP4650750B2 (ja) | 三次元形状データの記憶・表示方法と装置および三次元形状の計測方法と装置 | |
US10764487B2 (en) | Distance image acquisition apparatus and application thereof | |
EP4130798A1 (en) | Target identification method and device | |
CN107728131B (zh) | 激光雷达及激光雷达控制方法 | |
CN111913169B (zh) | 激光雷达内参、点云数据的修正方法、设备及存储介质 | |
CN110873883A (zh) | 融合激光雷达和imu的定位方法、介质、终端和装置 | |
CN112106111A (zh) | 一种标定方法、设备、可移动平台及存储介质 | |
US20220276360A1 (en) | Calibration method and apparatus for sensor, and calibration system | |
CN112965047B (zh) | 一种车辆多激光雷达标定方法、***、终端及存储介质 | |
EP4198901A1 (en) | Camera extrinsic parameter calibration method and apparatus | |
CN116736266B (zh) | 一种用于扫描激光雷达的码盘角度方法 | |
CN115421127A (zh) | 一种激光雷达仿真模型的生成方法、装置及电子设备 | |
CN110018491B (zh) | 激光扫描方法、装置及激光雷达 | |
CN113240745A (zh) | 点云数据标定方法、装置、计算机设备和存储介质 | |
CN115100287A (zh) | 外参标定方法及机器人 | |
JP6947853B2 (ja) | 周辺情報処理方法 | |
CN113805157A (zh) | 基于标靶的高度测量方法、装置及设备 | |
JP6823690B2 (ja) | 位置調整方法、位置調整装置、及び、位置調整プログラム | |
CN109212540B (zh) | 基于激光雷达***的测距方法、装置及可读存储介质 | |
EP4318027A1 (en) | Synchronous control device and method for lidar | |
CN117579793A (zh) | 投影校正方法及投影设备 | |
CN117710485A (zh) | 一种基于双目相机的棉花激光打顶机激光器振镜***标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40057515 Country of ref document: HK |