CN112787740A - 一种多传感器时间同步装置及方法 - Google Patents

Abstract

本发明提供一种多传感器时间同步装置及方法，该装置包括：采集数据处理模块、分频器、相机、激光雷达和数据存储模块，利用GPS模块输出的秒脉冲信号PPS作为传感器时间同步的时间基准，触发相机和激光雷达采集数据，并利用GPS模块从卫星获取的UTC时间作为***时钟源，为图像数据和点云数据添加时间戳，从而实现多传感器的时间同步，保障时间同步结果准确可靠,可避免传感器对PTP协议功能的依赖以及网络不稳定带来的影响。

Description

一种多传感器时间同步装置及方法

技术领域

本发明涉及自动驾驶数据采集领域，尤其涉及一种多传感器时间同步装置及方法。

背景技术

当前自动驾驶感知***的核心传感器主要是相机和激光雷达，二者对障碍物检测和识别在功能上相互冗余，在性能缺陷上相互弥补，自动驾驶感知***功能可靠性的一个关键因素在于感知融合技术，而感知融合需要保证传感器间的时间同步。

当前，数据采集***的时间同步方法包括：直接采用记录***时间方法来对传感器保存的数据帧打上时间戳来实现粗略的时间同步；或采用PTP协议对多个传感器节点进行时间同步。前者一种方法中，各传感器在数据采集、传输和保存过程中存在时间偏差，且偏差不固定，不同数据帧之间的时间间隔是变化的，因而时间同步误差较大；后者一种方法虽然理论上能达到毫秒级的同步精度，但是存在多种因素的影响时间同步的效果，如网络的不平稳性、网卡对信息包的缓存效应以及操作***进程调度的影响,这些因素通常不可预测并且无法控制,造成时钟同步不可靠，且需要传感器支持PTP协议功能，而多数相机并不具备该功能。

发明内容

有鉴于此，本发明实施例提供了一种多传感器时间同步装置及方法，以解决传感器采集数据时间同步结果不可靠的问题。

在本发明实施例的第一方面，提供了一种多传感器时间同步装置，至少包括采集数据处理模块、分频器、相机、激光雷达和数据存储模块，所述采集数据处理模块、所述分频器、所述激光雷达均与GPS模块相连，至少一个相机与所述分频器相连；

所述分频器用于接收GPS模块发送的秒脉冲PPS信号，将秒脉冲PPS信号分频后，发送至相连的相机；

所述相机用于根据分频器发送的秒脉冲PPS信号，触发图像数据采集；

所述激光雷达用于根据GPS模块发送的秒脉冲PPS信号，触发点云数据采集；

所述采集数据处理模块用于接收GPS模块发送的GPGGA报文，从GPGGA报文中提取UTC时间作为***时间源，以及接收采集的图像数据和点云数据，并根据***时间源为图像数据和点云数据添加时间戳；

所述数据存储模块，用于存储添加过时间戳的图像数据和点云数据。

在本发明实施例的第二方面，提供了一种多传感器时间同步方法，包括：

GPS模块发送秒脉冲PPS信号至分频器和激光雷达，分频器将秒脉冲PPS信号分频后发送至与分频器相连的相机，触发相机进行图像采集，激光雷达接收到秒脉冲PPS信号后进行点云数据采集；

采集数据处理模块接收GPS模块发送GPGGA报文，从所述GPGGA报文中提取UTC时间作为***时间源；

采集数据处理模块接收采集的图像数据和点云数据，根据所述***时间源为图像数据和点云数据添加时间戳。

在本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第二方面所述方法的步骤。

本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第二方面提供的所述方法的步骤。

本发明实施例中，基于GPS模块输出的秒脉冲PPS信号，将其作为时间同步基准，触发相机和激光雷达进行数据采集，并根据GPS模块从卫星获得的UTC时间作为***时间源，为图像数据和点云数据添加时间戳，从而实现传感器采集数据的时间同步，并能保障时间同步结果准确可靠。避免了传感器对PTP协议功能的依赖，减少了数据采集中传感器选型限制，同时，传感器数量易于扩展。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。

图1为本发明的一个实施例提供的一种多传感器时间同步装置的结构示意图；

图2为本发明的一个实施例提供的相机与激光雷达水平采集角度的示意图；

图3为本发明的一个实施例提供的一种多传感器时间同步方法的流程示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或***、设备没有限定于已列出的步骤或单元。

本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或***、设备没有限定于已列出的步骤或单元。此外，“第一”“第二”用于区分不同对象，并非用于描述特定顺序.

请参阅图1，图1为本发明一个实施例提供的一种多传感器时间同步装置的结构示意图，至少包括采集数据处理模块110、分频器120、相机130、激光雷达140和数据存储模块150，所述采集数据处理模块110、所述分频器120、所述激光雷达140均与GPS模块相连，至少一个相机130与所述分频器120相连；

所述分频器120用于接收GPS模块发送的秒脉冲PPS(Pu l se Per Second)信号，将秒脉冲PPS信号分频后，发送至相连的相机130；

所述相机130用于根据分频器120发送的秒脉冲PPS信号，触发图像数据采集；

所述激光雷达140用于根据GPS模块发送的秒脉冲PPS信号，触发点云数据采集；

所述采集数据处理模块110用于接收GPS模块发送的GPGGA报文，从GPGGA报文中提取UTC(即协调世界时)时间作为***时间源，以及接收采集的图像数据和点云数据，并根据***时间源为图像数据和点云数据添加时间戳；

所述数据存储模块150，用于存储添加过时间戳的图像数据和点云数据。

具体的，GPS模块发送GPGGA报文的接口RS232与采集数据处理模块相连，GPS模块分别连接到激光雷达的外触发输入接口和分频器的输入端，分频器将分频后的脉冲信号发送至相连接的相机的外触发输入接口；相机和激光雷达的数据接口与采集数据处理模块相连。

分频器接收到秒脉冲PPS信号，立即同步输出脉冲信号至相机，用于触发相机曝光。将相机的GPIO接口模式配置成外部触发曝光的模式，多个相机的外触发脉冲信号均是来自同一个脉冲源，保证多个相机接收到的脉冲触发信号是同步接收的，当相机检测到脉冲触发信号时进行图像的采集。

示例性的，每个PPS信号经过分频器后，触发相机在1秒内输出20帧图像数据。

激光雷达通过上位机将时间源配置为PPS模式，并设置扫描频率，如将扫描频率设置为10Hz，则当激光雷达检测到PPS信号时，在接下来1秒内输出10帧点云数据。

可以理解的是，由于激光雷达工作的触发信号是GPS的PPS信号，而相机工作的触发信号是来自PPS信号分频后的脉冲信号，二者的触发时间基准均为PPS信号发出的时刻，由此，保证了激光雷达和相机采集时刻为同一时刻，又由于相机的采集频率是激光雷达扫描频率的整数倍，所以每一帧点云数据都有与之对齐的图像数据，从而实现相机和激光雷达的时间同步。

所述采集数据处理模块接收到GPS发送来的GPGGA报文，从GPGGA报文中提取UTC时间作为***时间源。数据接收处理模块接收到相机的图像数据和激光雷达的点云数据，并将此时提取到的UTC时间在图像数据和点云数据包上打上时间戳。

虚线框内还可以表示为需要进行时间同步的数据采集***，GPS模块为数据采集***提供精确到毫秒的PPS信号和UTC时间。

相机曝光的方式可以通过GPIO接口配置为外部触发曝光的模式，一个脉冲信号触发相机曝光记一次，采集一帧图像数据。示例性的，当分频器收到PPS信号时立即同步输出频率为20Hz的脉冲信号，触发相机以20Hz的频率连续采集20帧图像数据，多个相机的外触发信号源相同，均来自分频器输出的20Hz脉冲信号，从而实现了多个相机的时间同步。

通过上位机将激光雷达的扫描频率设置为10Hz，由于激光雷达水平扫描一周的时间为100ms，激光雷达采集到的每帧的点云数据的首、尾点云在时间上实际相差了100ms。应理解，为了降低时间差带来的点云与图像数据时间同步的影响，激光雷达的起始扫描角度设置在相机的视角范围内，可以使与图像同步的点云数据在更短时间扫描完成。如图2所示，假设相机和激光雷达的安装水平方向角度是相同的，相机的水平视角为α度，通过上位机将激光雷达的时间源配置为PPS模式，且将PPS信号同步的角度参数设置为-0.5α度。当激光雷达接收到PPS信号时就从-0.5α度开始进行扫描，通常数据采集***所选用的相机水平视角α在60°左右，激光雷达完成α度的扫描行程所需的时间远低于扫描一周360°所用的时间，从而降低了时间同步的偏差。

GPS模块以1Hz的频率持续发送PPS信号和GPGGA报文。激光雷达接收到PPS信号开始进行点云数据采集，相机同步接收到PPS经过分频后的20Hz脉冲信号开始采集图像数据，此时相机和激光雷达多个传感器获取到的数据信息均是同一个时刻的。但由于激光雷达的点云数据和相机的图像数据在传输过程中存在时间偏差，数据采集处理模块接收到的点云数据和图像数据的时刻并不相同。

采集数据处理模块接收到点云数据时***时间为T_{re_lidar}，采集数据处理模块接收到图像数据的***时间为T_{re_camera}，则激光点云数据的时间戳为：T_lidar＝T_{re_lidar}-T_{delay_lidar}，图像数据的时间戳为T_camera＝T_{re_camera}-T_{delay_camera}。

其中，分别测量出采集数据处理模块接收到的点云数据与激光雷达接收到PPS信号的平均时延T_{delay_lidar}，以及采集数据处理模块接收到的图像数据与分频器接收到的PPS信号的平均时延T_{delay_camera}。

采集数据处理模块接收到GPGGA报文，提取UTC时间信息并更新***时间，由于GPGGA报文和PPS信号是同一时刻发出来的，因此数据采集处理模块从当前GPGGA报文中提取的UTC时间即为传感器采集数据时刻的时间。数据采集***接收到激光雷达点云数据时***时间为T_{re_lidar}，采集数据处理模块接收到相机数据的***时间为T_{re_camera}。据此，可计算得到激光雷达点云的时间戳为T_lidar＝T_{re_lidar}-T_{delay_lidar}，相机图像的时间戳T_camera＝T_{re_camera}-T_{delay_camera}。

需要说明的是，理论上的T_lidar值和T_camera的值相同，但由于每一帧的激光雷达数据和相机数据在传输、接收过程中存在微小的时间偏差以及丢帧的情况，因此，需要采集数据处理模块对接收到的数据进一步处理，以确保每帧点云和相机的数据在时间上是对齐的。激光雷达的采样频率是相机的一半，以激光雷达的点云数据为核心帧，数据处理模块从缓冲区读取接收到的点云数据，通过索引时间戳，找到该帧点云前后两帧的图像数据并进行时间对比，从两帧数据中找到与点云数据时间最近的一帧图像数据与点云数据一起打包，并记上序列号行成数据包进行存储。

本实施例中，以高精度的PPS信号为时间基准同步触发相机和激光雷达多传感器进行数据采集，并利用通过卫星获取的精准UTC时间记录采集到的图像和点云数据的时间戳，实现了数据采集***多传感器的毫秒级的时间同步。

相比于现有技术，本实施例提供的多传感器时间同步方法的优势在于：1.GPS能输出精确到毫秒的秒脉冲信号PPS，为采集***的传感器提供了精准的触发基准信号，时间同步精度能达到毫秒级；2.避免了传感器对PTP协议功能的依赖，减少了数据采集***传感器选型限制；3.时间同步的传感器数量易扩展，增、减激光雷达或相机只需要增、减脉冲触发信号线即可。

图3为本发明实施例提供的一种多传感器时间同步方法的流程示意图，该方法包括：

S301、GPS模块发送秒脉冲PPS信号至分频器和激光雷达，分频器将秒脉冲PPS信号分频后发送至与分频器相连的相机，触发相机进行图像采集，激光雷达接收到秒脉冲PPS信号后进行点云数据采集；

其中，将相机的GPIO接口模式配置成外部触发曝光的模式，多个相机的外部触发脉冲信号来自同一脉冲源。

优选的，通过上位机将激光雷达配置为PPS模式，并设置激光雷达的扫描频率，其中，相机采集频率为激光雷达扫描频率的整数倍。

优选的，将激光雷达的起始扫描角度设置在相机的视角范围内，使与图像同步的点云数据在更短时间扫描完成。

S302、采集数据处理模块接收GPS模块发送GPGGA报文，从所述GPGGA报文中提取UTC时间作为***时间源；

需要说明的是，所述采集数据处理模块一般用于接收相机采集的图像数据和激光雷达采集的点云数据，接收GPS模块发送的GPGGA报文，并根据GPS模块提供的UTC时间为图像数据和点云数据添加时间戳。

S303、采集数据处理模块接收采集的图像数据和点云数据，根据所述***时间源为图像数据和点云数据添加时间戳。

具体的，所述根据所述***时间源为图像数据和点云数据添加时间戳包括：

分别测量出数据处理模块接收到的点云数据与激光雷达接收到PPS信号的平均时延T_{delay_lidar}，以及数据处理模块接收到的图像数据与分频器接收到的PPS信号的平均时延T_{delay_camera}；

采集数据处理模块接收到点云数据时***时间为T_{re_lidar}，采集数据处理模块接收到图像数据的***时间为T_{re_camera}，则激光点云数据的时间戳为：T_lidar＝T_{re_lidar}-T_{delay_lidar}，图像数据的时间戳为T_camera＝T_{re_camera}-T_{delay_camera}。

可以理解的是，由于每一帧的激光雷达数据和相机数据在传输、接收过程中存在微小的时间偏差及丢帧，因此，需要对接收到的点云和图像数据进一步处理，以确保每帧点云和相机的数据在时间上是对齐的，保证添加的时间戳的准确性。

应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

可以理解的是，在一个实施例中，所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行所述计算机程序时实现多传感器时间同步。本领域普通技术人员还可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括步骤S301～S303，所述的存储介质包括如：ROM/RAM、光盘等。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种多传感器时间同步装置，至少包括采集数据处理模块、分频器、相机、激光雷达和数据存储模块，其特征在于，所述采集数据处理模块、所述分频器、所述激光雷达均与GPS模块相连，至少一个相机与所述分频器相连；

所述分频器用于接收GPS模块发送的秒脉冲PPS信号，将秒脉冲PPS信号分频后，发送至相连的相机；

所述相机用于根据分频器发送的秒脉冲PPS信号，触发图像数据采集；

所述激光雷达用于根据GPS模块发送的秒脉冲PPS信号，触发点云数据采集；

所述采集数据处理模块用于接收GPS模块发送的GPGGA报文，从GPGGA报文中提取UTC时间作为***时间源，以及接收采集的图像数据和点云数据，并根据***时间源为图像数据和点云数据添加时间戳；

所述数据存储模块，用于存储添加过时间戳的图像数据和点云数据。

2.根据权利要求1所述装置，其特征在于，将相机的GPIO接口模式配置成外部触发曝光的模式，多个相机的外部触发脉冲信号来自同一脉冲源。

3.根据权利要求1所述装置，其特征在于，通过上位机将激光雷达配置为PPS模式，并设置激光雷达的扫描频率，其中，相机采集频率为激光雷达扫描频率的整数倍。

4.根据权利要求1所述的装置，其特征在于，将激光雷达的起始扫描角度设置在相机的视角范围内。

5.根据权利要求1所述的装置，其特征在于，所述根据***时间源为图像数据和点云数据添加时间戳包括：

分别测量出数据处理模块接收到的点云数据与激光雷达接收到PPS信号的平均时延T_{delay_lidar}，以及数据处理模块接收到的图像数据与分频器接收到的PPS信号的平均时延T_{delay_camera}；

采集数据处理模块接收到点云数据时***时间为T_{re_lidar}，采集数据处理模块接收到图像数据的***时间为T_{re_camera}，则激光点云数据的时间戳为T_lidar＝T_{re_lidar}-T_{delay_lidar}，图像数据的时间戳为T_camera＝T_{re_camera}-T_{delay_camera}。

6.一种多传感器时间同步方法，其特征在于，包括：

GPS模块发送秒脉冲PPS信号至分频器和激光雷达，分频器将秒脉冲PPS信号分频后发送至与分频器相连的相机，触发相机进行图像采集，激光雷达接收到秒脉冲PPS信号后进行点云数据采集；

采集数据处理模块接收GPS模块发送GPGGA报文，从所述GPGGA报文中提取UTC时间作为***时间源；

采集数据处理模块接收采集的图像数据和点云数据，根据所述***时间源为图像数据和点云数据添加时间戳。

7.根据权利要求6所述的方法，其特征在于，将相机的GPIO接口模式配置成外部触发曝光的模式，多个相机的外部触发脉冲信号来自同一脉冲源。

8.根据权利要求6所述的方法，其特征在于，通过上位机将激光雷达配置为PPS模式，并设置激光雷达的扫描频率，其中，相机采集频率为激光雷达扫描频率的整数倍。

9.根据权利要求6所述的方法，其特征在于，将激光雷达的起始扫描角度设置在相机的视角范围内。

10.根据权利要求6所述的方法，其特征在于，所述根据所述***时间源为图像数据和点云数据添加时间戳包括：

分别测量出数据处理模块接收到的点云数据与激光雷达接收到PPS信号的平均时延T_{delay_lidar}，以及数据处理模块接收到的图像数据与分频器接收到的PPS信号的平均时延T_{delay_camera}；

采集数据处理模块接收到点云数据时***时间为T_{re_lidar}，采集数据处理模块接收到图像数据的***时间为T_{re_camera}，则激光点云数据的时间戳为T_lidar＝T_{re_lidar}-T_{delay_lidar}，图像数据的时间戳为T_camera＝T_{re_camera}-T_{delay_camera}。

Images