CN112230240A - 激光雷达与相机数据的时空同步***、装置及可读介质 - Google Patents

激光雷达与相机数据的时空同步***、装置及可读介质 Download PDF

Info

Publication number
CN112230240A
CN112230240A CN202011069485.1A CN202011069485A CN112230240A CN 112230240 A CN112230240 A CN 112230240A CN 202011069485 A CN202011069485 A CN 202011069485A CN 112230240 A CN112230240 A CN 112230240A
Authority
CN
China
Prior art keywords
camera
fpga
time
laser radar
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011069485.1A
Other languages
English (en)
Inventor
陈海波
吴在刚
周源思
张保群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenlan Artificial Intelligence Shenzhen Co Ltd
Original Assignee
Shenlan Artificial Intelligence Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenlan Artificial Intelligence Shenzhen Co Ltd filed Critical Shenlan Artificial Intelligence Shenzhen Co Ltd
Priority to CN202011069485.1A priority Critical patent/CN112230240A/zh
Publication of CN112230240A publication Critical patent/CN112230240A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种激光雷达与相机数据的时空同步***，包括：FPGA本地时钟校正模块、FPGA与激光雷达同步模块；FPGA触发相机模块将包含相机内部时间戳相机的图片发送至工控机；相机图片时间戳模块，FPGA接收相机曝光时产生的闪光灯脉冲，给相机图片的曝光时刻标记上FPGA时钟***下的时间戳；时间戳匹配模块，FPGA触发相机模块发送的带有相机内部时间戳相机图片，接收FPGA发送的带有FPGA时钟***下的时间戳的相机图片进行匹配；点云数据补偿及融合模块，将点云补偿到相机曝光时刻的位置；再根据测量的激光雷达和相机的外参，对点云数据和相机图片进行对准融合。本发明实现相机与激光雷达的同步采集。

Description

激光雷达与相机数据的时空同步***、装置及可读介质
技术领域
本发明涉及自动驾驶技术领域，具体涉及车辆激光雷达、相机两种传感器的时间同步与空间对准的方法。
背景技术
目前的自动驾驶***包括感知、定位、决策规划、控制等模块，这些模块的正常运行需要依靠各种不同类型的传感器数据的准确融合。尤其是激光雷达与相机这两种传感器在感、知定位模块中起着至关重要的作用。机械式旋转扫描激光雷达本身较低的扫描频率，而车辆经常运行在高速、高机动的运动状态下，造成激光雷达测量的点云会产生运动畸变。而在激光雷达与相机图片的融合过程中，也会由于数据采集的不同步造成的一定测量偏差，这个偏差会随着车辆的运动速度增加而被放大。在车辆高速行驶时，即使是微小的时间偏差会对最终的激光点云和图像的时空对准造成影响，进而对融合定位、融合感知等的结果造成很大的偏差，从而影响自动驾驶的安全运行。为了满足自动驾驶***对安全性和稳定性的高要求，需要保证不同传感器数据融合的准确性和可靠性。现有技术中的无人机电力巡检的多传感器时间同步方法与***，采用ARM***进行PPS脉冲的检测和处理，实时性较差，精度不高。不满足自动驾驶领域的需求。
现有技术中的多路高速脉冲输入时间同步设备，采用MCU做为脉冲检测和处理设备，同时进行了RS232到网口的转换，时间同步精度和***可靠性均不满足自动驾驶需求。
发明内容
1、本发明的目的
本发明为了解决激光雷达与相机的时间同步和空间对准问题，而提出了一种激光雷达与相机数据的时空同步方法。
2、本发明所采用的技术方案
本发明提供了一种激光雷达与相机数据的时空同步***，包括：FPGA本地时钟校正模块、FPGA与激光雷达同步模块；
FPGA触发相机模块，将包含相机内部时间戳相机的图片，发送至工控机；
相机图片时间戳模块，FPGA接收相机曝光时产生的闪光灯脉冲，给相机图片的曝光时刻标记上FPGA时钟***下的时间戳，通过串口发送给工控机；
时间戳匹配模块，FPGA触发相机模块发送的带有相机内部时间戳相机图片，以及接收到的FPGA发送的带有FPGA时钟***下的时间戳的相机图片进行匹配，调整FPGA对相机的触发脉冲频率，添加相机曝光触发脉冲；
点云数据补偿及融合模块，对FPGA与激光雷达同步模块获取的具有时间戳的激光点云数据和带有时间戳的相机图片，利用测量出的运动信息，先对点云数据进行运动畸变补偿，将点云补偿到相机曝光时刻的位置；再根据测量的激光雷达和相机的外参，对采集到的激光三维点云数据和相机图片进行对准融合。
优选的，FPGA本地时钟校正模块，组合惯导模块产生的PPS秒脉冲+GPRMC报文传输至FPGA，对本地时钟进行校正；如GNSS信号受阻时，FPGA的自身晶振保持时钟精度。
优选的，FPGA与激光雷达同步模块，FPGA发送PPS秒脉冲+GPRMC报文至激光雷达，使激光雷达内部的时钟***与FPGA的时钟***同步；激光雷达将具备时间戳的点云数据发送给工控机。
优选的，FPGA触发相机模块，FPGA对相机定时发送触发脉冲，脉冲频率与激光雷达的扫描频率一致；设置激光雷达的相位锁定角度与实际安装的相机镜头的视角一致，实现激光雷达和相机数据同步采集；相机的图片，包含相机内部时间戳，发送至工控机。
优选的，所述的时间戳匹配模块，FPGA对相机触发同步：设置相机为硬触发模式；FPGA触发信号以固定的时间间隔周期性产生触发脉冲，但每隔更长的时间间隔添加一个相机曝光触发脉冲，使得FPGA曝光时间序列与相机内部时间序列的一一对齐，用以辅助匹配纠错和触发相机曝光；并将对齐后的FPGA时间序列中的时间戳与相应图像数据一起封装。
优选的，所述的FPGA与激光雷达同步模块，FPGA对激光雷达授时及设置激光雷达扫描相位与相机拍照同步：在GPS板卡内设定PPS的周期；GPS板卡对FPGA授时，FPGA转发PPS脉冲和GPRMC时间信息给激光雷达；激光雷达检测到第一个PPS到来后，串口解析GPS板卡输出报文GPRMC，得到UTC时间；等待下一个PPS到来时，将解析到的UTC时间整秒加一即为当前时间UTC；根据当前时刻的UTC，对RTC的时间进行校准；
通过上述时钟同步，激光雷达每一帧点云可输出与FPGA同步过的时间标签。
优选的，相机图像与激光雷达数据融合时，需要保证在雷达扫描到相应区域时，触发相机对该区域曝光成像；
在PPS脉冲触发的时刻，机械旋转式激光雷达旋转到预设的角度发射激光；
FPGA的触发相机端口的脉冲，与PPS同步，为PPS信号的倍频；利用脉冲对相机进行曝光触发，实现在激光雷达旋转到相应的相位角度时触发相机曝光。
优选的，所述的点云数据补偿及融合模块，对激光雷达点云进行运动畸变补偿并与相机图片对准：
激光雷达的数据为三维点云数据，相机的数据为没有深度信息的二维图片；将三维点云数据与相机图片进行空间对准，先要对激光点云数据进行运动畸变的去除，将激光点云的位置补偿到与相机图片曝光相同时刻的位置；
一帧激光雷达点云的扫描过程中，组合惯导采集车辆的运动状态；任意时刻t的车辆运动状态均能通过组合惯导进行插值得到，设t时刻惯导的运动状态(包括：位置、姿态、速度)为
Figure BDA0002712304000000031
其中
Figure BDA0002712304000000032
表示t时刻imu导航坐标系下的三维位置矢量，
Figure BDA0002712304000000033
表示t时刻imu在导航坐标系下的姿态四元素，
Figure BDA0002712304000000034
表示t时刻imu在导航坐标系下的三维速度矢量；其中位置
Figure BDA0002712304000000035
和姿态
Figure BDA0002712304000000036
可合并采用4×4的位姿矩阵表示为
Figure BDA0002712304000000037
一帧激光雷达的扫描包含多个点云，每个激光雷达点云的精确坐标和时间戳可通过解析得到，设激光雷达点云中的某个点i的在雷达体坐标系下的三维坐标及时间信息表示为
Figure BDA0002712304000000038
Figure BDA0002712304000000039
表示点i在激光雷达体坐标系下的三维位置，
Figure BDA00027123040000000310
表示点i测量时刻的时间戳；该帧激光扫描对应的相机的图片的时间戳记为timage；激光雷达与组合惯导的相对安装位置记为
Figure BDA00027123040000000311
相机与激光雷达的相对安装位置记为
Figure BDA00027123040000000312
将激光雷达的点云与相机图片数据融合，将激光点云的坐标统一转化到的同一时刻的相机体坐标系下；
首先对激光点云进行运动补偿，转化到统一的图片时间戳timage下；对激光雷达在图片时间戳timage时刻下的位置和姿态记为
Figure BDA0002712304000000041
同样，对激光雷达的某个点云i，对应时间
Figure BDA0002712304000000042
的激光雷达的位置和姿态矩阵记为
Figure BDA0002712304000000043
将该点进行运动补偿得到的点表示为
Figure BDA0002712304000000044
即该点在timage时刻下在激光雷达体坐标系下的三维位置表示
Figure BDA0002712304000000045
补偿公式为
Figure BDA0002712304000000046
进一步，将激光雷达体坐标系下的点云i的坐标
Figure BDA0002712304000000047
转化为相机体坐标系下表示的点坐标
Figure BDA0002712304000000048
有
Figure BDA0002712304000000049
在相机体坐标系下，点i的位置和时间可记为
Figure BDA00027123040000000410
转到相机体坐标系下表示的激光雷达点云，可进一步通过相机的投影方程投影到相机的图片的像素坐标系下；得到每个激光点云与图片中的像素点的对应关系。
优选的，FPGA与激光雷达同步模块，激光雷达通过UDP协议将时间戳的点云数据发送给工控机。
本发明的提出的一种激光雷达与相机数据的时空同步装置，包括存储器和处理器，存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述的***调用步骤。
本发明提出的一种计算机可度存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时实现所述的***调用步骤。
3、本发明所采用的有益效果
(1)本发明FPGA触发相机曝光并接收相机反馈的闪光灯脉冲信号，记录相机图片的精确曝光时间，可实现对相机曝光的精确触发控制，使相机的图像采集与激光雷达的扫描协同，提升激光雷达点云与相机图片数据融合的一致性。
(2)本发明通过非均匀脉冲序列将FPGA记录的相机图片时间戳与相机图片进行匹配；设置激光雷达的相位锁定角度与调整FPGA的触发时间，使激光雷达与相机同步采集；对激光雷达点云进行运动畸变的补偿及与相机图片进行空间对准。同时可实现激光雷达点云数据的运动畸变进行补偿，将激光点云的位置补偿到与相机同步采集的图像相同的时间和空间上，从而实现不同传感器的信息融合时的空对准功能。
(3)本发明够解决目前车辆自动驾驶***中的常见传感器如惯导、相机、激光雷达等时间同步问题：解决单独GNSS设备时间输出不稳定的问题；可以较低成本对相机实现高精度的时间同步；实现相机与激光雷达的同步采集；大大提升自动驾驶融合感知模块在动态环境下的识别能力。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为总体硬件框图；
图2为添加特殊脉冲进行时间戳匹配；
图3为激光雷达进行相位锁定；
图4为本发明的流程图；
图5为本发明时间戳匹配流程图；
图6为本发明FPGA与激光雷达时间同步流程图；
图7为本发明点云数据运动畸变补偿及融合步骤。
具体实施方式
下面结合本发明实例中的附图，对本发明实例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
下面将结合附图对本发明实例作进一步地详细描述。
实施例：
为了解决前述背景技术中的技术问题，下面对该虚拟现实对象控制方法进行详细介绍。
本发明所述的基于FPGA的自动驾驶激光雷达与相机的时间与空间同步方案，其硬件核心如图1所示，包括：FPGA模块、工控机，传感器模块包括：组合惯导模块、激光雷达、相机等。如图4为本发明的流程图。
S100、FPGA接收外部授时，组合惯导模块产生的PPS秒脉冲+GPRMC报文，对本地时钟进行校正；即使在GNSS信号受阻时，FPGA靠自身晶振仍可保持一定时间的时钟精度；
S200、FPGA对激光雷达发送PPS秒脉冲+GPRMC报文，使激光雷达内部的时钟***与FPGA的时钟***同步。激光雷达通过UDP协议将具备高精度时间戳的点云数据发送给工控机。
S300、FPGA对相机定时发送触发脉冲，脉冲频率与激光雷达的扫描频率一致。设置激光雷达的相位锁定角度与实际安装的相机镜头的视角一致，可实现激光雷达和相机数据同步采集。相机的图片，包含相机内部时间戳，通过千兆网发送给工控机。
S400、FPGA接收相机曝光时产生的闪光灯脉冲，给相机图片的曝光时刻标记上FPGA时钟***下的精确时间戳，通过串口发送给工控机。
S500、工控机接收到相机发送的图片与FPGA发送的曝光时间戳进行对应匹配，为了保证匹配的一致性，调整FPGA对相机的触发脉冲频率，定时添加一个特殊的触发脉冲。
S600、工控机对获取的具有高精度时间戳的激光点云数据和相机图片数据，利用组合惯导等设备测量出的运动信息，先对点云数据进行运动畸变补偿，将点云补偿到相机曝光时刻的位置。再根据测量的激光雷达和相机的外参，对采集到的激光三维点云数据和相机图片进行对准融合。
FPGA对相机触发及给对应图片打时间戳
其中，简单采用FPGA对相机进行触发曝光同步，存在如下问题：
相机在实际使用过程中，存在闪光灯脉冲信号野值、图像传输延时不稳定、丢帧等问题，因此基于硬触发的相机时间同步方法存在相机输出的图像与FPGA标记的时间戳两者之间匹配查找模糊的问题。相机内部有自己的时钟，输出的图像包含相机内部时间戳。通过比对相机内部时间序列，可以辅助图像与FPGA标记的UTC时间戳两者之间准确匹配，消除传输延迟不稳定、野值和丢帧等对匹配的影响。
如图5所示，本发明中FPGA对相机触发同步的方案如下：
S501、设置相机为硬触发模式；
S502、FPGA触发信号按如下序列产生，用以触发相机曝光：以固定的时间间隔(如100毫秒)周期性产生触发脉冲，但每隔更长的时间间隔(如1秒)添加一个相机曝光触发脉冲，用以辅助匹配纠错。如图2所示。
S503、FPGA接收相机曝光指示的闪光灯脉冲信号，记录下该脉冲到达时的FPGA内部的时间戳作为相机拍摄的该帧图片的时间戳，并通过RS232串口发送给工控机；
S504、工控机同时接收相机通过千兆网口传输来的图像，以及相机内部标记的对应图像时间戳信息；工控机通过如图3所示的固定长时间间隔的特殊脉冲，确保FPGA曝光时间序列与相机内部时间序列的一一对齐，避免前后帧匹配错位，并将对齐后的FPGA时间序列中的时间戳与相应图像数据一起封装。
2.FPGA对激光雷达授时及设置激光雷达扫描相位与相机拍照同步
采用FPGA设备对激光雷达授时，激光雷达内部时钟(RTC)进行守时。基本原理与GPS板卡与激光雷达的时间同步方案一样，但是用FPGA转发GNSS板卡的PPS脉冲和时间信息，如图6所示，其主要如下：
S201、在GPS板卡内设定PPS的周期为1s；
S202、GPS板卡对FPGA授时，FPGA转发PPS脉冲和GPRMC时间信息给激光雷达。
S203、激光雷达检测到第一个PPS到来后，串口解析GPS板卡输出报文GPRMC，得到UTC时间；
S204、等待下一个PPS到来时，将解析到的UTC时间整秒加一即为当前时间UTC；
S205、根据当前时刻的UTC，对RTC的时间进行校准。
通过上述时钟同步，激光雷达每一帧点云可输出与FPGA同步过的时间标签。
由于激光雷达的单次连续扫描一圈的时间为100ms，频率较低。在车辆快速运动过程中，如果激光扫描时刻与相机曝光时间不一致，两者的测量区域并不相同。相机图像与激光雷达数据融合时，需要保证在雷达扫描到相应区域时，触发相机对该区域曝光成像。
机械旋转式激光雷达一般具备相位锁定功能，在PPS脉冲触发的时刻，雷达旋转到特定的角度发射激光，如图3所示，激光雷达旋转到0°，135°，270°时发射激光。
PPS的发送频率为1Hz,且在整秒的时刻触发，激光雷达的旋转速度为0.1s/圈。假设设置相位锁定角为0°后，激光雷达扫描频率设置为10Hz后，会在每个0.1s的整数倍的时刻旋转到0°发射激光。
FPGA的触发相机端口可产生10Hz的脉冲，与PPS同步，为PPS信号的倍频。利用event out脉冲对相机进行曝光触发，可实现在激光雷达旋转到相应的相位角度时触发相机曝光。
3.对激光雷达点云进行运动畸变补偿并与相机图片对准
如图7所示，激光雷达的数据为三维点云数据，相机的数据为没有深度信息的二维图片。激光雷达的点云为100毫秒的时间段内产生的，是动态的过程。在车辆快速运动过程中，激光雷达点云会产生运动畸变。图片的曝光时间很短，约为1～2毫秒，可认为是一瞬间完成的。为了将三维点云数据与相机图片进行空间对准，先要对激光点云数据进行运动畸变的去除，将激光点云的位置补偿到与相机图片曝光相同时刻的位置。
一帧激光雷达点云的扫描过程中，车辆的运动状态可由组合惯导精确给出。任意时刻t的车辆运动状态均能通过组合惯导进行插值得到，设t时刻惯导的运动状态为
Figure BDA0002712304000000081
其位置和姿态采用4×4的位姿矩阵表示为
Figure BDA0002712304000000082
每个激光雷达点云的精确坐标和时间戳可通过解析得到，设激光雷达点云中的某个点i的在雷达体坐标系下的三维坐标及时间信息表示为
Figure BDA0002712304000000083
对应的相机的图片的时间戳记为timage。激光雷达与组合惯导的相对安装位置记为
Figure BDA0002712304000000084
相机与激光雷达的相对安装位置记为
Figure BDA0002712304000000085
为了将激光雷达的点云与相机图片数据融合，可将激光点云的坐标统一转化到的同一时刻的相机体坐标系下。
首先对激光点云进行运动补偿，转化到统一的图片时间戳timage下。对激光雷达在timage时刻下的位置和姿态记为
Figure BDA0002712304000000091
同样，对激光雷达的某个点云i，对应时间
Figure BDA0002712304000000092
的激光雷达的位置和姿态矩阵记为
Figure BDA0002712304000000093
将该点进行运动补偿得到的点记为
Figure BDA0002712304000000094
补偿公式为
Figure BDA0002712304000000095
进一步，将激光雷达体坐标系下的点云坐标转化为相机体坐标系下表示的点，有
Figure BDA0002712304000000096
记为
Figure BDA0002712304000000097
转到相机体坐标系下表示的激光雷达点云，可进一步通过相机的投影方程投影到相机的图片的像素坐标系下。从而可知每个激光点云与图片中的像素点的对应关系。
现有的时间同步方案多采用ARM、MCU等微处理器，或者基于UPD的NTP协议，时间同步精度不高，仅能达到数十毫秒的时间同步精度。对于自动驾驶等高动态、高实时性需求的应用，现有的时间同步方案难以满足需求。本发明的基于FPGA的时间同步方案精度可达纳秒级，完全满足自动驾驶时间同步精度需求。
机器可读存储介质作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的虚拟现实对象控制方法对应的程序指令/模块(所示的获取模块、第一确定模块、第二确定模块以及对象控制模块)。处理器通过检测存储在机器可读存储介质中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述的虚拟现实对象控制方法，在此不再赘述。
机器可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，机器可读存储介质可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(SynchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DR RAM)。应注意，本文描述的***和方法的存储器旨在包括但不限于这些和任意其它适合发布节点的存储器。在一些实例中，机器可读存储介质可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至虚拟现实设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、虚拟现实设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、虚拟现实设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的虚拟现实设备、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本申请实施例是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (11)

1.一种激光雷达与相机数据的时空同步***，其特征在于，包括：FPGA本地时钟校正模块、FPGA与激光雷达同步模块；
FPGA触发相机模块，将包含相机内部时间戳相机的图片，发送至工控机；
相机图片时间戳模块，FPGA接收相机曝光时产生的闪光灯脉冲，给相机图片的曝光时刻标记上FPGA时钟***下的时间戳，通过串口发送给工控机；
时间戳匹配模块，FPGA触发相机模块发送的带有相机内部时间戳相机图片，以及接收到的FPGA发送的带有FPGA时钟***下的时间戳的相机图片进行匹配，调整FPGA对相机的触发脉冲频率，添加相机曝光触发脉冲；
点云数据补偿及融合模块，对FPGA与激光雷达同步模块获取的具有时间戳的激光点云数据和带有时间戳的相机图片，利用测量出的运动信息，先对点云数据进行运动畸变补偿，将点云补偿到相机曝光时刻的位置；再根据测量的激光雷达和相机的外参，对采集到的激光三维点云数据和相机图片进行对准融合。
2.根据权利要求1所述的激光雷达与相机数据的时空同步***，其特征在于，FPGA本地时钟校正模块，组合惯导模块产生的PPS秒脉冲+GPRMC报文传输至FPGA，对本地时钟进行校正；如GNSS信号受阻时，FPGA的自身晶振保持时钟精度。
3.根据权利要求2所述的激光雷达与相机数据的时空同步***，其特征在于，FPGA与激光雷达同步模块，FPGA发送PPS秒脉冲+GPRMC报文至激光雷达，使激光雷达内部的时钟***与FPGA的时钟***同步；激光雷达将具备时间戳的点云数据发送给工控机。
4.根据权利要求3所述的激光雷达与相机数据的时空同步***，其特征在于，FPGA触发相机模块，FPGA对相机定时发送触发脉冲，脉冲频率与激光雷达的扫描频率一致；设置激光雷达的相位锁定角度与实际安装的相机镜头的视角一致，实现激光雷达和相机数据同步采集；相机的图片，包含相机内部时间戳，发送至工控机。
5.根据权利要求1所述的激光雷达与相机数据的时空同步***，其特征在于，所述的时间戳匹配模块，FPGA对相机触发同步：设置相机为硬触发模式；FPGA触发信号以固定的时间间隔周期性产生触发脉冲，但每隔更长的时间间隔添加一个相机曝光触发脉冲，使得FPGA曝光时间序列与相机内部时间序列的一一对齐，用以辅助匹配纠错和触发相机曝光；并将对齐后的FPGA时间序列中的时间戳与相应图像数据一起封装。
6.根据权利要求1所述的激光雷达与相机数据的时空同步***，其特征在于，所述的FPGA与激光雷达同步模块，FPGA对激光雷达授时及设置激光雷达扫描相位与相机拍照同步：在GPS板卡内设定PPS的周期；GPS板卡对FPGA授时，FPGA转发PPS脉冲和GPRMC时间信息给激光雷达；激光雷达检测到第一个PPS到来后，串口解析GPS板卡输出报文GPRMC，得到UTC时间；等待下一个PPS到来时，将解析到的UTC时间整秒加一即为当前时间UTC；根据当前时刻的UTC，对RTC的时间进行校准；
通过上述时钟同步，激光雷达每一帧点云可输出与FPGA同步过的时间标签。
7.根据权利要求1所述的激光雷达与相机数据的时空同步***，其特征在于，相机图像与激光雷达数据融合时，需要保证在雷达扫描到相应区域时，触发相机对该区域曝光成像；
在PPS脉冲触发的时刻，机械旋转式激光雷达旋转到预设的角度发射激光；
FPGA的触发相机端口的脉冲，与PPS同步，为PPS信号的倍频；利用脉冲对相机进行曝光触发，实现在激光雷达旋转到相应的相位角度时触发相机曝光。
8.根据权利要求1所述的激光雷达与相机数据的时空同步***，其特征在于，所述的点云数据补偿及融合模块，对激光雷达点云进行运动畸变补偿并与相机图片对准：
激光雷达的数据为三维点云数据，相机的数据为没有深度信息的二维图片；将三维点云数据与相机图片进行空间对准，先要对激光点云数据进行运动畸变的去除，将激光点云的位置补偿到与相机图片曝光相同时刻的位置；
一帧激光雷达点云的扫描过程中，组合惯导采集车辆的运动状态；任意时刻t的车辆运动状态均能通过组合惯导进行插值得到，设t时刻惯导的运动状态(包括：位置、姿态、速度)为
Figure FDA0002712303990000021
其中
Figure FDA0002712303990000022
表示t时刻imu导航坐标系下的三维位置矢量，
Figure FDA0002712303990000023
表示t时刻imu在导航坐标系下的姿态四元素，
Figure FDA0002712303990000024
表示t时刻imu在导航坐标系下的三维速度矢量；其中位置
Figure FDA0002712303990000025
和姿态
Figure FDA0002712303990000026
可合并采用4×4的位姿矩阵表示为
Figure FDA0002712303990000027
一帧激光雷达的扫描包含多个点云，每个激光雷达点云的精确坐标和时间戳可通过解析得到，设激光雷达点云中的某个点i的在雷达体坐标系下的三维坐标及时间信息表示为
Figure FDA0002712303990000031
Figure FDA0002712303990000032
表示点i在激光雷达体坐标系下的三维位置，
Figure FDA0002712303990000033
表示点i测量时刻的时间戳；该帧激光扫描对应的相机的图片的时间戳记为timage；激光雷达与组合惯导的相对安装位置记为
Figure FDA0002712303990000034
相机与激光雷达的相对安装位置记为
Figure FDA0002712303990000035
将激光雷达的点云与相机图片数据融合，将激光点云的坐标统一转化到的同一时刻的相机体坐标系下；
首先对激光点云进行运动补偿，转化到统一的图片时间戳timage下；对激光雷达在图片时间戳timage时刻下的位置和姿态记为
Figure FDA0002712303990000036
同样，对激光雷达的某个点云i，对应时间
Figure FDA0002712303990000037
的激光雷达的位置和姿态矩阵记为
Figure FDA0002712303990000038
将该点进行运动补偿得到的点表示为
Figure FDA0002712303990000039
即该点在timage时刻下在激光雷达体坐标系下的三维位置表示
Figure FDA00027123039900000310
补偿公式为
Figure FDA00027123039900000311
进一步，将激光雷达体坐标系下的点云i的坐标
Figure FDA00027123039900000312
转化为相机体坐标系下表示的点坐标
Figure FDA00027123039900000313
有
Figure FDA00027123039900000314
在相机体坐标系下，点i的位置和时间可记为
Figure FDA00027123039900000315
转到相机体坐标系下表示的激光雷达点云，可进一步通过相机的投影方程投影到相机的图片的像素坐标系下；得到每个激光点云与图片中的像素点的对应关系。
9.根据权利要求1所述的激光雷达与相机数据的时空同步***，其特征在于，FPGA与激光雷达同步模块，激光雷达通过UDP协议将时间戳的点云数据发送给工控机。
10.一种激光雷达与相机数据的时空同步装置，包括存储器和处理器，存储器存储有计算机程序，其特征在于；所述处理器执行所述计算机程序时实现如权利要求1-9任一所述的***调用步骤。
11.一种计算机可度存储介质，其上存储有计算机程序，其特征在于：所述的计算机程序被处理器执行时实现如权利要求1-9任一所述的***调用步骤。
CN202011069485.1A 2020-09-30 2020-09-30 激光雷达与相机数据的时空同步***、装置及可读介质 Pending CN112230240A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011069485.1A CN112230240A (zh) 2020-09-30 2020-09-30 激光雷达与相机数据的时空同步***、装置及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011069485.1A CN112230240A (zh) 2020-09-30 2020-09-30 激光雷达与相机数据的时空同步***、装置及可读介质

Publications (1)

Publication Number Publication Date
CN112230240A true CN112230240A (zh) 2021-01-15

Family

ID=74121027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011069485.1A Pending CN112230240A (zh) 2020-09-30 2020-09-30 激光雷达与相机数据的时空同步***、装置及可读介质

Country Status (1)

Country Link
CN (1) CN112230240A (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819861A (zh) * 2021-02-26 2021-05-18 广州小马慧行科技有限公司 点云的运动补偿方法、装置与计算机可读存储介质
CN112861660A (zh) * 2021-01-22 2021-05-28 上海西井信息科技有限公司 激光雷达阵列与相机同步装置、方法、设备及存储介质
CN112953670A (zh) * 2021-01-26 2021-06-11 中电海康集团有限公司 一种融合感知同步曝光方法、装置及可读存储介质
CN113099211A (zh) * 2021-03-31 2021-07-09 华南理工大学 一种具备时间同步的立体视觉数据采集***及方法
CN113219479A (zh) * 2021-05-13 2021-08-06 环宇智行科技(苏州)有限公司 智能驾驶控制***的摄像头和激光雷达同步方法及***
CN113240813A (zh) * 2021-05-12 2021-08-10 北京三快在线科技有限公司 三维点云信息确定方法及装置
CN113256740A (zh) * 2021-06-29 2021-08-13 湖北亿咖通科技有限公司 一种雷达与相机的标定方法、电子设备及存储介质
CN113643321A (zh) * 2021-07-30 2021-11-12 北京三快在线科技有限公司 一种无人驾驶设备的传感器数据采集方法及装置
CN113640824A (zh) * 2021-08-20 2021-11-12 西安外事学院 一种光摄一体式控制***及控制方法
CN113671483A (zh) * 2021-08-19 2021-11-19 上海无线电设备研究所 一种基于秒脉冲的星载复合数据融合方法
CN113724303A (zh) * 2021-09-07 2021-11-30 广州文远知行科技有限公司 点云与图像匹配方法、装置、电子设备和存储介质
CN113734197A (zh) * 2021-09-03 2021-12-03 合肥学院 一种基于数据融合的无人驾驶的智能控制方案
CN113839732A (zh) * 2021-09-18 2021-12-24 阿里巴巴达摩院(杭州)科技有限公司 时钟同步方法、装置及设备
CN113970756A (zh) * 2021-11-01 2022-01-25 中国海洋大学 一种波浪的激光测量装置与三维波浪场时空反演重构方法
CN113985389A (zh) * 2021-09-30 2022-01-28 苏州浪潮智能科技有限公司 一种时间同步校准装置、自动识别路径设备、方法及介质
CN114157382A (zh) * 2021-12-28 2022-03-08 中电海康集团有限公司 一种光视一体机时间同步控制***
CN114217665A (zh) * 2021-12-21 2022-03-22 清华大学 一种相机和激光雷达时间同步方法、装置及存储介质
CN114614934A (zh) * 2022-03-28 2022-06-10 智己汽车科技有限公司 一种时间同步触发装置及方法
CN114755693A (zh) * 2022-06-15 2022-07-15 天津大学四川创新研究院 基于多旋翼无人机的基建设施测量***和方法
CN114754769A (zh) * 2022-06-15 2022-07-15 天津大学四川创新研究院 激光雷达与惯性传感器的数据同步授时***和方法
CN114812673A (zh) * 2022-04-02 2022-07-29 北京卫星环境工程研究所 多参数多模块光纤数据同步测试方法
CN114964175A (zh) * 2022-03-30 2022-08-30 华南理工大学 多传感器数据同步采集装置及采集方法
CN115184958A (zh) * 2022-09-13 2022-10-14 图达通智能科技(武汉)有限公司 用于激光雷达的帧同步方法、装置和计算机可读存储介质
CN115267746A (zh) * 2022-06-13 2022-11-01 广州文远知行科技有限公司 激光雷达点云投影错误的定位方法及相关设备
CN115421125A (zh) * 2022-11-07 2022-12-02 山东富锐光学科技有限公司 一种基于数据融合的雷达点云数据惯性校正方法
WO2023103198A1 (zh) * 2021-12-08 2023-06-15 深圳奥锐达科技有限公司 一种计算测距***相对外参的方法、装置和存储介质
CN116736322A (zh) * 2023-08-15 2023-09-12 山东科技大学 融合相机图像与机载激光雷达点云数据的速度预测方法
CN116772869A (zh) * 2023-03-28 2023-09-19 苏州天准科技股份有限公司 一种数据处理方法、装置和电子设备
CN117714620A (zh) * 2024-02-05 2024-03-15 中国科学院自动化研究所 一种用于实现多类型传感器同步采集的方法及***

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10350940A1 (de) * 2003-10-31 2005-05-25 Ina-Schaeffler Kg Spannvorrichtung
CN101949715A (zh) * 2010-08-10 2011-01-19 武汉武大卓越科技有限责任公司 高精度时空数据获取的多传感器集成同步控制方法和***
CN104503306A (zh) * 2014-11-26 2015-04-08 北京航空航天大学 一种多相机同步触发装置及控制方法
CN104764442A (zh) * 2015-04-15 2015-07-08 中测新图(北京)遥感技术有限责任公司 测定轻小型无人机中航测相机曝光时刻的方法及装置
US20170031032A1 (en) * 2015-07-27 2017-02-02 Qualcomm Incorporated Visual inertial odometry attitude drift calibration
CN106443687A (zh) * 2016-08-31 2017-02-22 欧思徕（北京）智能科技有限公司 一种基于激光雷达和全景相机的背负式移动测绘***
CN109029433A (zh) * 2018-06-28 2018-12-18 东南大学 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN109544638A (zh) * 2018-10-29 2019-03-29 浙江工业大学 一种用于多传感器融合的异步在线标定方法
CN110087060A (zh) * 2019-03-11 2019-08-02 歌尔股份有限公司 深度相机的快门触发时刻调整方法、装置和设备
CN110161488A (zh) * 2018-02-14 2019-08-23 福特全球技术公司 使用车辆相机***执行视觉测距的方法和设备
CN110517216A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种基于多类型相机的slam融合方法及其***
CN110567453A (zh) * 2019-08-21 2019-12-13 北京理工大学 仿生眼多通道imu与相机硬件时间同步方法和装置
CN110855902A (zh) * 2019-12-19 2020-02-28 成都纵横自动化技术股份有限公司 基于fpga的高精度多路航测相机曝光时间同步装置及方法
CN111239758A (zh) * 2020-03-13 2020-06-05 苏州天准科技股份有限公司 地图采集设备
CN210927785U (zh) * 2019-12-19 2020-07-03 成都纵横自动化技术股份有限公司 一种高精度多路航测相机曝光时间同步装置
CN111435162A (zh) * 2020-03-03 2020-07-21 深圳市镭神智能***有限公司 激光雷达与相机同步方法、装置、设备和存储介质
CN111474532A (zh) * 2020-04-10 2020-07-31 北京建筑大学 车载移动激光雷达测量***时间同步方法及装置
CN211180212U (zh) * 2019-11-29 2020-08-04 北京四维图新科技股份有限公司 采集地图数据的移动终端及地图采集***
CN211318758U (zh) * 2019-11-14 2020-08-21 北京图森智途科技有限公司 一种机载同步装置及智能机器

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10350940A1 (de) * 2003-10-31 2005-05-25 Ina-Schaeffler Kg Spannvorrichtung
CN101949715A (zh) * 2010-08-10 2011-01-19 武汉武大卓越科技有限责任公司 高精度时空数据获取的多传感器集成同步控制方法和***
CN104503306A (zh) * 2014-11-26 2015-04-08 北京航空航天大学 一种多相机同步触发装置及控制方法
CN104764442A (zh) * 2015-04-15 2015-07-08 中测新图(北京)遥感技术有限责任公司 测定轻小型无人机中航测相机曝光时刻的方法及装置
US20170031032A1 (en) * 2015-07-27 2017-02-02 Qualcomm Incorporated Visual inertial odometry attitude drift calibration
CN106443687A (zh) * 2016-08-31 2017-02-22 欧思徕（北京）智能科技有限公司 一种基于激光雷达和全景相机的背负式移动测绘***
CN110161488A (zh) * 2018-02-14 2019-08-23 福特全球技术公司 使用车辆相机***执行视觉测距的方法和设备
CN109029433A (zh) * 2018-06-28 2018-12-18 东南大学 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN109544638A (zh) * 2018-10-29 2019-03-29 浙江工业大学 一种用于多传感器融合的异步在线标定方法
CN110087060A (zh) * 2019-03-11 2019-08-02 歌尔股份有限公司 深度相机的快门触发时刻调整方法、装置和设备
CN110567453A (zh) * 2019-08-21 2019-12-13 北京理工大学 仿生眼多通道imu与相机硬件时间同步方法和装置
CN110517216A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种基于多类型相机的slam融合方法及其***
CN211318758U (zh) * 2019-11-14 2020-08-21 北京图森智途科技有限公司 一种机载同步装置及智能机器
CN211180212U (zh) * 2019-11-29 2020-08-04 北京四维图新科技股份有限公司 采集地图数据的移动终端及地图采集***
CN110855902A (zh) * 2019-12-19 2020-02-28 成都纵横自动化技术股份有限公司 基于fpga的高精度多路航测相机曝光时间同步装置及方法
CN210927785U (zh) * 2019-12-19 2020-07-03 成都纵横自动化技术股份有限公司 一种高精度多路航测相机曝光时间同步装置
CN111435162A (zh) * 2020-03-03 2020-07-21 深圳市镭神智能***有限公司 激光雷达与相机同步方法、装置、设备和存储介质
CN111239758A (zh) * 2020-03-13 2020-06-05 苏州天准科技股份有限公司 地图采集设备
CN111474532A (zh) * 2020-04-10 2020-07-31 北京建筑大学 车载移动激光雷达测量***时间同步方法及装置

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861660A (zh) * 2021-01-22 2021-05-28 上海西井信息科技有限公司 激光雷达阵列与相机同步装置、方法、设备及存储介质
CN112861660B (zh) * 2021-01-22 2023-10-13 上海西井科技股份有限公司 激光雷达阵列与相机同步装置、方法、设备及存储介质
CN112953670A (zh) * 2021-01-26 2021-06-11 中电海康集团有限公司 一种融合感知同步曝光方法、装置及可读存储介质
CN112953670B (zh) * 2021-01-26 2022-06-21 中电海康集团有限公司 一种融合感知同步曝光方法、装置及可读存储介质
CN112819861A (zh) * 2021-02-26 2021-05-18 广州小马慧行科技有限公司 点云的运动补偿方法、装置与计算机可读存储介质
CN112819861B (zh) * 2021-02-26 2024-06-04 广州小马慧行科技有限公司 点云的运动补偿方法、装置与计算机可读存储介质
CN113099211A (zh) * 2021-03-31 2021-07-09 华南理工大学 一种具备时间同步的立体视觉数据采集***及方法
CN113240813A (zh) * 2021-05-12 2021-08-10 北京三快在线科技有限公司 三维点云信息确定方法及装置
CN113219479A (zh) * 2021-05-13 2021-08-06 环宇智行科技(苏州)有限公司 智能驾驶控制***的摄像头和激光雷达同步方法及***
CN113256740A (zh) * 2021-06-29 2021-08-13 湖北亿咖通科技有限公司 一种雷达与相机的标定方法、电子设备及存储介质
CN113643321A (zh) * 2021-07-30 2021-11-12 北京三快在线科技有限公司 一种无人驾驶设备的传感器数据采集方法及装置
CN113671483A (zh) * 2021-08-19 2021-11-19 上海无线电设备研究所 一种基于秒脉冲的星载复合数据融合方法
CN113671483B (zh) * 2021-08-19 2024-02-20 上海无线电设备研究所 一种基于秒脉冲的星载复合数据融合方法
CN113640824A (zh) * 2021-08-20 2021-11-12 西安外事学院 一种光摄一体式控制***及控制方法
CN113734197A (zh) * 2021-09-03 2021-12-03 合肥学院 一种基于数据融合的无人驾驶的智能控制方案
CN113724303A (zh) * 2021-09-07 2021-11-30 广州文远知行科技有限公司 点云与图像匹配方法、装置、电子设备和存储介质
CN113724303B (zh) * 2021-09-07 2024-05-10 广州文远知行科技有限公司 点云与图像匹配方法、装置、电子设备和存储介质
CN113839732A (zh) * 2021-09-18 2021-12-24 阿里巴巴达摩院(杭州)科技有限公司 时钟同步方法、装置及设备
CN113985389B (zh) * 2021-09-30 2024-02-09 苏州浪潮智能科技有限公司 一种时间同步校准装置、自动识别路径设备、方法及介质
CN113985389A (zh) * 2021-09-30 2022-01-28 苏州浪潮智能科技有限公司 一种时间同步校准装置、自动识别路径设备、方法及介质
CN113970756A (zh) * 2021-11-01 2022-01-25 中国海洋大学 一种波浪的激光测量装置与三维波浪场时空反演重构方法
WO2023103198A1 (zh) * 2021-12-08 2023-06-15 深圳奥锐达科技有限公司 一种计算测距***相对外参的方法、装置和存储介质
CN114217665A (zh) * 2021-12-21 2022-03-22 清华大学 一种相机和激光雷达时间同步方法、装置及存储介质
CN114157382A (zh) * 2021-12-28 2022-03-08 中电海康集团有限公司 一种光视一体机时间同步控制***
CN114157382B (zh) * 2021-12-28 2024-02-09 中电海康集团有限公司 一种光视一体机时间同步控制***
CN114614934A (zh) * 2022-03-28 2022-06-10 智己汽车科技有限公司 一种时间同步触发装置及方法
CN114614934B (zh) * 2022-03-28 2024-05-14 智己汽车科技有限公司 一种时间同步触发装置及方法
CN114964175A (zh) * 2022-03-30 2022-08-30 华南理工大学 多传感器数据同步采集装置及采集方法
CN114812673B (zh) * 2022-04-02 2023-11-10 北京卫星环境工程研究所 多参数多模块光纤数据同步测试方法
CN114812673A (zh) * 2022-04-02 2022-07-29 北京卫星环境工程研究所 多参数多模块光纤数据同步测试方法
CN115267746A (zh) * 2022-06-13 2022-11-01 广州文远知行科技有限公司 激光雷达点云投影错误的定位方法及相关设备
CN114754769B (zh) * 2022-06-15 2022-11-18 天津大学四川创新研究院 激光雷达与惯性传感器的数据同步授时***和方法
CN114754769A (zh) * 2022-06-15 2022-07-15 天津大学四川创新研究院 激光雷达与惯性传感器的数据同步授时***和方法
CN114755693A (zh) * 2022-06-15 2022-07-15 天津大学四川创新研究院 基于多旋翼无人机的基建设施测量***和方法
CN115184958A (zh) * 2022-09-13 2022-10-14 图达通智能科技(武汉)有限公司 用于激光雷达的帧同步方法、装置和计算机可读存储介质
CN115421125A (zh) * 2022-11-07 2022-12-02 山东富锐光学科技有限公司 一种基于数据融合的雷达点云数据惯性校正方法
CN116772869A (zh) * 2023-03-28 2023-09-19 苏州天准科技股份有限公司 一种数据处理方法、装置和电子设备
CN116736322A (zh) * 2023-08-15 2023-09-12 山东科技大学 融合相机图像与机载激光雷达点云数据的速度预测方法
CN116736322B (zh) * 2023-08-15 2023-10-20 山东科技大学 融合相机图像与机载激光雷达点云数据的速度预测方法
CN117714620A (zh) * 2024-02-05 2024-03-15 中国科学院自动化研究所 一种用于实现多类型传感器同步采集的方法及***

Similar Documents

Publication Publication Date Title
CN112230240A (zh) 激光雷达与相机数据的时空同步***、装置及可读介质
US10324195B2 (en) Visual inertial odometry attitude drift calibration
CN103744372B (zh) 无人机电力巡检的多传感器时间同步方法与***
CN111860604B (zh) 数据融合方法、***及计算机存储介质
US20080319664A1 (en) Navigation aid
US10771669B1 (en) Time synchronization of sensor data
US10708572B2 (en) Photogrammetric system and photogrammetric method
CN113273105B (zh) 用于对自动驾驶车辆的多个辅助设备进行时间同步的方法、车辆、计算机设备和存储介质
CN111934843A (zh) 一种面向智能无人***的多传感器数据同步采集方法
CN104748730A (zh) 测定无人机中航测相机曝光时刻的装置及方法
CN112485806B (zh) 一种激光雷达和相机时间同步***及方法
JP2018532984A (ja) クレードル回転インセンシティブ慣性ナビゲーション
CN114025055A (zh) 一种数据处理的方法、装置、***、设备及存储介质
US10697771B2 (en) Survey system
WO2021053795A1 (ja) 位置計測システム、測位演算装置、位置計測方法、及びプログラム
KR101402088B1 (ko) 위성항법 시스템과 비전 시스템 융합 기술 기반 이동체의 자기위치 측위방법 및 장치
KR20200023974A (ko) 회전형 라이다와 다중 카메라간의 센서 동기화 방법 및 그 장치
US20220178689A1 (en) Camera triggering and multi-camera photogrammetry
CN111279637B (zh) 一种信息同步方法、无人机、负载设备、***及存储介质
Wu et al. A soft time synchronization framework for multi-sensors in autonomous localization and navigation
CN116684740A (zh) 感知训练数据生成方法、装置、计算机设备和存储介质
CN112995524A (zh) 高精采集车及其照片曝光信息生成***、方法和同步装置
CN104296726B (zh) 双面阵推扫立体测绘成像方法及成像***
WO2020113370A1 (zh) 一种飞行器、数据处理***及针对飞行器的数据处理方法
CN115454040A (zh) 多传感器的同步控制方法、设备、无人驾驶***和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination