CN114608566A - 自主车辆中的异构传感器的基于硬件的时间同步 - Google Patents

自主车辆中的异构传感器的基于硬件的时间同步 Download PDF

Info

Publication number
CN114608566A
CN114608566A CN202011461771.2A CN202011461771A CN114608566A CN 114608566 A CN114608566 A CN 114608566A CN 202011461771 A CN202011461771 A CN 202011461771A CN 114608566 A CN114608566 A CN 114608566A
Authority
CN
China
Prior art keywords
trigger pulses
unit
sensor
synchronization
navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011461771.2A
Other languages
English (en)
Inventor
韩晓凌
辛君君
聂磊
潘岳
张瑜
杰德·E·戴
黄泽铧
伊萨亚斯·奈兹希
计平元
龚至祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Tucson Ltd
Original Assignee
Beijing Tusimple Technology Co Ltd
Tucson Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Technology Co Ltd, Tucson Ltd filed Critical Beijing Tusimple Technology Co Ltd
Priority to CN202011461771.2A priority Critical patent/CN114608566A/zh
Priority to US17/186,476 priority patent/US20220182213A1/en
Publication of CN114608566A publication Critical patent/CN114608566A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/0016—Arrangements for synchronising receiver with transmitter correction of synchronization errors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W56/00—Synchronisation arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

描述了用于异构传感器的基于硬件的时间同步的设备、***和方法。一种示例方法包括：由同步单元产生具有标称秒脉冲PPS速率的多个输入触发脉冲；基于从所述多个输入触发脉冲导出的定时信息，产生多个输出触发脉冲；以及向多个传感器中的传感器发送所述多个输出触发脉冲，其中，所述多个输出触发脉冲的频率对应于所述传感器的目标操作频率，其中，在耦合至同步单元的导航***在正确工作的情况下，所述多个输入触发脉冲是基于来自导航单元的标称PPS信号来产生的，以及其中，在导航***不在正确工作的情况下，所述多个输入触发脉冲是基于同步单元的模拟的时钟源来产生的。

Description

自主车辆中的异构传感器的基于硬件的时间同步
技术领域
本文总体涉及控制车辆，并且具体地，涉及产生用于自主车辆的计算高效的控制命令。
背景技术
自主车辆导航是一种用于感测车辆的位置和运动，并且基于该感测自主地控制车辆向目的地导航的技术。自主车辆在人员、货物和服务的运输中具有重要的应用。确保有助于导航和自主驾驶其他功能的不同传感器之间的精确同步对于车辆及其乘客以及车辆附近的人员和财产的安全至关重要。
发明内容
公开了用于异构传感器的基于硬件的时间同步的设备、***和方法。在一个示例中，这是通过基于输入组的触发脉冲中的定时信息产生输出组的触发脉冲，使得输出组的触发脉冲的频率与传感器的目标操作频率相匹配来实现的。因此，通过产生输出组的触发脉冲，其中每个输出组的触发脉冲与相应传感器的目标操作频率相匹配，来同步多个传感器。
在一个方面，所公开的技术可以用于提供一种车辆中的同步的方法。所述方法包括：由同步单元产生具有标称秒脉冲(PPS)速率的多个输入触发脉冲；基于从所述多个输入触发脉冲导出的定时信息，产生多个输出触发脉冲；以及向多个传感器中的传感器发送所述多个输出触发脉冲，其中，所述多个输出触发脉冲的频率对应于所述传感器的目标操作频率，其中，在耦合至同步单元的导航***在正确工作的情况下，所述多个输入触发脉冲是基于来自导航单元的标称PPS信号来产生的，以及其中，在导航***不在正确工作的情况下，所述多个输入触发脉冲是基于同步单元的模拟的时钟源来产生的。
在另一方面，所公开的技术可以用于提供一种用于车辆中的同步的***。所述***包括：传感器，用于为车辆导航提供感测能力并且以目标操作频率工作；第一导航单元；第一同步单元，耦合到传感器和第一导航单元，用于：产生具有标称秒脉冲(PPS)速率的多个输入触发脉冲，基于从所述多个输入触发脉冲导出的定时信息，产生多个输出触发脉冲，以及向传感器发送所述多个输出触发脉冲；第二导航单元；以及第二同步单元，耦合至传感器和第二导航单元，用于向传感器发送所述多个输出触发脉冲，其中，所述多个输出触发脉冲的频率对应于传感器的目标操作频率，其中，在第一导航单元在正确工作的情况下，所述多个输入触发脉冲是基于来自第一导航单元的标称PPS信号来产生的，以及其中，在第一导航单元不在正确工作的情况下，所述多个输入触发脉冲是基于第一同步单元的模拟的时钟源来产生的。
在另一方面，上述方法是以处理器可执行代码的形式实现的，并存储在计算机可读程序介质中。
在另一方面，公开了一种被配置为或可操作为执行上述方法的设备。所述设备可以包括被编程为实现该方法的处理器。
在附图、说明书和权利要求书中更详细地描述了所公开技术的上述和其他方面以及特征。
附图说明
图1示出了示例性车辆生态***的框图，其中，位于车辆中的车载控制计算机包括同步单元，该同步单元可以对多个异构传感器进行同步。
图2示出了不同传感器之间的定时差异的示例。
图3示出了用于同步的示例***的框图。
图4示出了用于同步的另一示例***的框图。
图5示出了用于同步的又一示例***的框图。
图6示出了示例同步单元的框图。
图7A-7D示出了针对不同相机传感器的频率稳定性的示例。
图8示出了用于车辆中的同步的示例性方法的流程图。
图9示出了可以实现本文中描述的一些方法和技术的硬件平台的示例。
具体实施方式
运输业正在经历以使用技术来控制车辆的操作的方式的重大变化。如在汽车乘用车中所例示的，已经朝着将更多的操作和导航决策从人工驾驶转移到车载计算能力方面取得了总体进步。众多正在开发的自主车辆极致地例示了这一点。当前的实现处于中间阶段，例如某些车辆中的部分自主操作(例如，自主加速和导航，但需要现场和专心的驾驶员)，某些车辆的安全保护操作(例如，保持安全跟随距离和自动制动)，某些车辆的安全保护警告(例如，后视镜中的盲点指示器和接近传感器)，以及易于使用的操作(例如，自主并行停车)。
任何级别的自主导航都依赖于多个传感器(例如，相机、LiDAR(光检测和测距)、雷达、超声波等)，所有这些传感器都需要以同步方式工作。当对象出现在每个传感器的视野(FOV)中时，传感器开始处理输入数据，并在处理完成后输出图像信息。但是，由于不同传感器的复杂性不同，即使对象同时出现，不同传感器的输出也将在不同时间可用。在另一个示例中，以不同帧速率工作的类似传感器也将在不同时间输出其结果。如果多个传感器中获取和/或处理的起始点未对齐，则输出也将不对齐。
现有***不提供如本专利文件中所描述的实现多个传感器的同步的技术方案。在一个示例中，对于典型的L2***(即，包括先进的驾驶员辅助***的自主车辆，该***控制转向、加速和减速，但始终需要人工驾驶)，由于传感器是自由运行的，不需要精确的时间同步。通常，在这些***中，可以设置传感器的更新频率，并且传感器以独立方式运行并输出信号，而不管是否需要该信息。在这些L2***中，通常没有“触发”要求，并且***仅被配置为确保所有传感器都不易受到丢帧影响。
在另一个示例中，对于高级的L2+或L3***(即具有“环境检测”能力的自主***，其可以做出基于信息的决定，但要求驾驶员保持警觉并准备采取控制)，将附加传感器添加到***，并且可以安装软件触发***，以根据需要向不同的传感器发出软件触发消息。软件触发***可以被配置为同时或以时间偏移的方式将触发消息发送给不同的传感器。但是，软件触发***不是很可靠，如果触发是通过公共以太网络传输的，则触发可能会丢失。
在又一个示例中，现有***没有实现满足汽车安全完整性等级D(ASIL D)要求所必需的冗余硬件，因为它们需要持续的人工监督和间歇的人工干预。在现有***中通常不会实现独立的时间源并对齐其时间戳。
图1示出了示例车辆生态***100的框图，其中位于自主车辆105中的车载控制计算机150包括对多个异构传感器进行同步的同步单元。如图1所示，自主车辆105可以是半挂车。车辆生态***100包括可以产生和/或向可能位于自主车辆105中的车载控制计算机150传送一个或多个信息/数据源和相关服务的多个***和组件。车载控制计算机150可以与多个车辆子***140进行数据通信，多个车辆子***140可以全部驻留在车辆自主105中。车载计算机150和多个车辆子***140可以被称为自主驾驶***(ADS)。车辆子***接口160被提供以促进车载控制计算机150和多个车辆子***140之间的数据通信。在一些实施例中，车辆子***接口160可以包括控制器区域网络控制器，以与车辆子***140中的设备进行通信。
自主车辆105可以包括支持自主车辆105的操作的各种车辆子***。车辆子***可以包括车辆驱动子***142、车辆传感器子***144和车辆控制子***146。车辆驱动子***142、车辆传感器子***144和车辆控制子***146的组件或设备如示例所示。在一些实施例中，可以将附加组件或设备添加到各种子***，或者可以移除一个或多个组件或设备。车辆驱动子***142可以包括可操作以为自主车辆105提供动力运动的组件。在示例实施例中，车辆驱动子***142可以包括发动机或电动机、车轮/轮胎、变速器、电气子***和能源。
车辆传感器子***144可以包括多个传感器，该多个传感器被配置为感测关于自主车辆105在其中操作的环境或自主车辆105状况的信息。车辆传感器子***144可以包括：一个或多个相机或图像捕捉设备、一个或多个温度传感器、惯性测量单元(IMU)、全球定位***(GPS)设备、激光测距仪/LiDAR单元、雷达单元、和/或无线通信单元(例如，蜂窝通信收发器)。车辆传感器子***144还可以包括被配置为监测自主车辆105的内部***的传感器(例如，O2监测器、燃料表、发动机油温等)。在一些实施例中，车辆传感器子***144可以包括除了图1中所示的传感器之外的传感器。
IMU可以包括被配置为基于惯性加速度感测自主车辆105的位置和取向变化的传感器(例如，加速度计和陀螺仪)的任何组合。GPS设备可以是被配置为估计自主车辆105的地理位置的任何传感器。为此，GPS设备可以包括可操作以提供关于自主车辆105相对于地球的位置的信息的接收器/发送器。雷达单元可以表示利用无线电信号来感测自主车辆105在其中操作的环境内的对象的***。在一些实施例中，除了感测对象之外，雷达单元还可以被配置为感测自主车辆105附近的对象的速度和行进方向。激光测距仪或LiDAR单元可以是被配置为使用激光来感测自主车辆105所在环境中的对象的任何传感器。LiDAR单元可以是旋转LiDAR单元或固态LiDAR单元。相机可以包括一个或多个相机，被配置为捕捉自主车辆105的环境的多个图像。相机可以是静止图像相机或运动摄像机。
车辆控制子***146可以被配置为控制自主车辆105及其组件的操作。因此，车辆控制子***146可包括各种元件，如：油门和排挡、制动单元、导航单元、转向***、和/或自主控制单元。油门可以被配置为控制例如发动机的操作速度，并进而控制自主车辆105的速度。挡位可以被配置为控制变速器的挡位选择。制动单元可以包括被配置为使自主车辆105减速的机构的任何组合。制动单元可以以标准方式使用摩擦力使车轮减速。制动单元可以包括防抱死制动***(ABS)，ABS可以防止在施加制动器时制动器抱死。导航单元可以是被配置为确定自主车辆105的行驶路径或路线的任何***。导航单元可以被附加地配置为在自主车辆105操作时动态地更新行驶路径。在一些实施例中，导航单元可以被配置为合并来自GPS设备和一个或多个预定地图的数据，以便确定自主车辆105的行驶路径。转向***可以表示可以是可操作以在自主模式或驾驶员控制模式下调整自主车辆105的前进方向的机构的任何组合。
自主控制单元可以表示被配置为识别、评估、避免或以其他方式越过自主车辆105的环境中的潜在障碍的控制***。通常，自主控制单元可以被配置为控制自主车辆105在没有驾驶员的情况下进行操作或提供驾驶员辅助以控制自主车辆105。在一些实施例中，自主控制单元可以被配置为合并来自GPS设备、雷达、LiDAR、相机和/或其他车辆子***的数据，以确定自主车辆105的行驶路径或轨迹。
牵引力控制***(TCS)可以表示被配置为防止自主车辆105在道路上时急转或失去控制的控制***。例如，TCS可以获得来自IMU的信号和发动机扭矩值，以确定它是否应干预并且向自主车辆105上的一个或多个制动器发送指令以减轻自主车辆105的急转。TCS是一种主动的车辆安全功能，被设计为帮助车辆有效利用道路上的牵引力，例如，在低摩擦力路面上加速时。当没有TCS的车辆试图在冰、雪或松散的碎石等光滑表面上加速时，车轮会打滑并可能导致危险的驾驶情况。TCS也可以称为电子稳定性控制(ESC)***。
自主车辆105的许多或全部功能可以由车载控制计算机150控制。车载控制计算机150可以包括至少一个处理器170(可以包括至少一个微处理器)，其执行存储在非暂时性计算机可读介质(例如存储器175)中的指令。车载控制计算机150还可以表示多个计算设备，其可以用于以分布式方式控制自主车辆105的各个组件或子***。在一些实施例中，存储器175可以包含处理器170可执行以执行自主车辆105的各种方法和/或功能(包括如针对本专利文件中所解释的同步单元165所描述的方法和/或功能)的处理指令(例如，程序逻辑)。例如，处理器170执行与同步单元165相关联的操作，以对在不同目标操作频率处工作的多个异构传感器进行同步。同步单元165的操作在本专利文件中进一步描述。
存储器175也可以包含附加指令，包括将数据发送给车辆驱动子***142、车辆传感器子***144和车辆控制子***146中的一个或多个，从车辆驱动子***142、车辆传感器子***144和车辆控制子***146中的一个或多个接收数据，与车辆驱动子***142、车辆传感器子***144和车辆控制子***146中的一个或多个交互或控制车辆驱动子***142、车辆传感器子***144和车辆控制子***146中的一个或多个的指令。车载控制计算机150可以基于从各种车辆子***(例如，车辆驱动子***142、车辆传感器子***144和车辆控制子***146)接收到的输入来控制自主车辆105的功能。
图2示出了由使用软件触发***引起的不同传感器之间的定时差异的示例。如其中所示，由于经由UDP协议的触发命令的传播，导致LiDAR节点和相机设备的触发之间的定时差异。在图2中，“真实触发时间”对应于LiDAR传感器旋转到特定角度的绝对时间，“触发时间(定时器激发)”对应于相机节点通过UDP协议向相机设备发出触发命令的时间。在相机设备接收到UDP触发命令时，它开始曝光。因此，“触发命令延迟”是在相机设备处开始曝光的时间与从相机节点发出触发命令的时间之间的差。
由此产生的定时差异反映在以下事实中：两个帧之间的标称时间间隔为50ms(如针对LiDAR节点所示)，而真实时间间隔确定为((Delay_4-Delay_3)+50)ms，这主要是因为触发命令的UDP传输的延迟。
针对于异构传感器的基于硬件的时间同步的公开技术的实施例克服了图2中讨论的缺点。所描述的实施例包括针对不同传感器具有不同频率和占空比的硬件和/或软件触发脉冲的产生，以及时间戳同步服务，其可以在示例中为自主驾驶***提供更高水平的时间同步。
图3示出了用于同步的示例***300的框图，其包括以下子组件：
-第一导航***(320-1)，
-第二(冗余)导航***(320-2)，
-第一同步单元(310-1)，耦合到第一导航***(320-1)，以及
-第一相机(330-1)，
-第一左LiDAR单元(340-1)，
-第一右LiDAR单元(340-2)，
-惯性测量单元(IMU)(350)，以及
-中央LiDAR单元(360)，
-第二同步单元(310-2)，耦合到第二导航***(320-2)，以及
-第二相机(330-2)，
-第二(冗余)左LiDAR单元(340-4)，以及
-第二(冗余)右LiDAR单元(340-3)。
所公开技术的实施例旨在将具有不同于1Hz秒脉冲(PPS)信号的频率的基于硬件的触发信号从导航单元传递到在相应的不同目标频率处操作的每个传感器。
在一些实施例中，第一同步单元310-1用作集中式硬件触发分发中心。如上所述，它可以被配置为以与相应传感器的操作频率匹配的不同频率向不同传感器发送触发脉冲。在示例中，第一相机330-1以20Hz操作，因此第一同步单元310-1为第一相机330-1产生20Hz信号。在另一示例中，惯性测量单元(IMU)350以100Hz操作，因此第一同步单元310-1为IMU350产生100Hz信号。
在一些实施例中，自主车辆在各个位置(例如，车顶、座舱、底盘、传感器架等)配备有多个IMU，并且所公开技术的实施例有利地确保了多个IMU中的每一个都被同步。
在一些实施例中，硬件触发源是从导航***(例如，全球定位***(GPS)单元)接收的1Hz秒脉冲(PPS)信号。如图3所示，第一导航***320-1将1Hz PPS信号提供给第一同步单元310-1，并且第二(冗余)导航***320-2将1Hz PPS信号提供给第二同步单元310-2。
仅当导航单元在正确工作时，1Hz PPS信号才可用。在一些实施例中，由于阻挡(例如，GPS信号被相对于接收器位置的高大建筑物或地形阻挡)、设备错误、GPS信号拥塞等，可能无法使用1Hz PPS信号。在这些场景中，第一和第二同步单元被配置为产生模拟的PPS信号以保持整个***运行。在一个示例中，基于同步单元中的模拟的时钟，产生与通常从导航单元接收的1Hz PPS信号基本匹配的PPS信号。
在一些实施例中，如图3所示，耦合到第二导航单元320-2的第二同步单元310-2为第一同步单元310-1提供冗余，以确保硬件触发始终可靠地可用，这在自主驾驶应用中是至关重要的。在一个示例中，第一和第二同步单元可以被配置为恒定地或周期性地共享信息。在另一示例中，同步单元之一可以被配置为在从另一个同步单元接收到错误或失败信号的情况下完全接管。
在一些实施例中，由同步单元产生的硬件触发被发送给相机以控制相机的快门来拍照。在一个示例中，硬件触发控制(或选通)相机的曝光开始时间。在另一个示例中，第一和第二同步单元以20Hz产生针对第一和第二相机的硬件触发，以匹配相机***的目标操作频率。
在一些实施例中，由同步单元产生的硬件触发被发送给旋转(或转动)LiDAR单元以控制LiDAR单元的0度相位。在一个示例中，接收硬件触发将旋转LiDAR单元重置至0度相位。在另一示例中，第一和第二同步单元以1Hz产生针对左旋和右旋LiDAR单元的硬件触发，以匹配这些单元的目标操作频率。
在一些实施例中，由同步单元产生的硬件触发被发送给固态LiDAR单元360以控制LiDAR单元的扫描起始点。在一个示例中，接收到硬件触发将重置固态LiDAR单元的扫描起始点。在另一个示例中，第二同步单元以10Hz产生针对固态LiDAR单元的硬件触发，以匹配该单元的目标操作频率。
在一些实施例中，由同步单元产生的硬件触发被发送给惯性测量单元(IMU)350以控制采样开始时间。在一个示例中，接收硬件触发重置IMU的采样操作的开始时间。在另一示例中，第一同步单元以100Hz产生针对IMU的硬件触发，以匹配该单元的目标操作频率。
在一些实施例中，1Hz PPS信号中的脉冲的上升沿与发送给传感器的硬件触发(具有不同的操作目标频率)的上升沿对齐。在一个示例中，跨异构传感器对齐上升沿使得抖动和偏斜效应得以减轻。
在一些实施例中，同步单元可以被配置为实现异构传感器的协调操作，以准确地捕捉已经进入自主车辆传感器的视野的对象。在一个示例中，自主车辆可以支持指向多个方向的多个相机，并且当旋转LiDAR单元旋转到特定方向时，指向该方向的相机接收硬件触发以开始曝光。有利地，这使得多个感测输出能够更精确地匹配，以实现外部对象的更高的检测率。
在一些实施例中，同步***接收绝对时间，如图4和5中的示例所示。
图4示出了用于同步的另一示例***400的框图。该示例包括与图3所示并且如上所述的相似的一些特征和/或(子)组件。这些特征和/或(子)组件中的至少一些可能在本节中未单独描述。如其中所示，该***包括以下子组件：
-第一导航***(420-1)，
-第二(冗余)导航***(420-2)，
-第一同步单元(410-1)，耦合到第一导航***(420-1)，以及
-第一左LiDAR单元(440-1)，以及
-第一右LiDAR单元(440-2)，
-第二同步单元(410-2)，耦合到第二导航***(420-2)，以及
-第二(冗余)左LiDAR单元(440-3)，以及
-第二(冗余)右LiDAR单元(440-4)。
在一些实施例中，如图4所示，来自通用异步接收器/发送器(UART)/RS232接口的定时信号在第一和第二同步单元(分别为410-1和410-2)处被接收，并直接被发送给旋转LiDAR单元(440-1至440-4)。在一个示例中，UART定时信号包括与绝对时间相对应的时间戳。在另一个示例中，如前所述，经由UART/RS232将绝对时间发送给同步单元(而不是直接发送给传感器)，可以有力地实现对数据链的监视，使得可以检测到失败，并且如果检测到导航***中的失败，则可以产生模拟的信号。
图5示出了用于同步的又一示例***500的框图。该示例包括与图3和4所示并且如上所述的相似的一些特征和/或(子)组件。这些特征和/或(子)组件中的至少一些可能在本节中未单独描述。如其中所示，该***包括以下子组件：
-第一导航***(520-1)，
-第二(冗余)导航***(520-2)，
-第一精确时间协议(PTP)(从)服务器(515-1)，
-第二PTP(从)服务器(515-2)，
-第一同步(PTP主)单元(510-1)，耦合到第一导航***(520-1)，第一PTP服务器(515-1)，以及
-第一左LiDAR单元(540-1)，
-第一右LiDAR单元(540-2)，
-第一相机(530-1)，以及
-中央LiDAR单元(560)，
-第二同步(PTP从)单元(510-2)，耦合到第二导航***(520-2)，第二PTP服务器(515-2)，以及
-第二左激光雷达单元(540-3)，
-第二右LiDAR单元(540-4)，
-第二相机(530-2)，
-超声传感器(570)，以及
-雷达单元(580)。
在一些实施例中，如图5所示，每个异构传感器以及第二同步单元(PTP从)510-2使用第一同步单元(PTP主)510-1或单独的导航(例如GPS)源提供的PTP服务来接收绝对时间。在一个示例中，如果第一同步单元经历失败，则第二同步单元可以用于支持和提供PTP服务。
在一些实施例中，来自第一导航单元和第二导航单元的标称PPS信号被对齐以确保***在正确操作。在示例中，第一和第二同步单元对来自两个导航单元的时间戳进行交叉检查，以确保时间戳之间的差小于预定阈值(例如，亚毫秒或更小)。如果差超过阈值，则触发错误状况，并且车辆将从默认操作模式切换到最小风险状况(MRC)模式，在MRC模式下，例如，车辆在其车道上平缓停车或靠边到最近的预先指定的安全位置。
如图5所示，第一和第二同步单元耦合到独立的导航单元和PTP源。在一些实施例中，两个同步单元被配置为交换心跳消息，心跳消息是由硬件或软件组件产生以指示正常操作的周期性信号。在示例中，心跳消息的周期***换的中断指示PTP主或PTP从服务失败，在这种情况下，正确工作的同步单元将接管，并向所有车载组件提供定时信息(例如，经由广播)。
在一些实施例中，中央LiDAR单元支持用于时钟同步的网络时间协议(NTP)。超声波传感器能够看穿对象，并且可以在恶劣的天气(例如，雨、雪、尘)中，以及在有雾和昏暗的低照度夜间情况下运行，从而克服了LiDAR单元和相机的某些相应缺点。
图3至图5中描述的实施例包括第一同步单元和第二同步单元，第一同步单元和第二同步单元在示例中均可以被配置为用作主设备。如果同步单元中的一个行为异常，则另一个同步单元可以传播触发信号以确保连续可靠的操作。
在一些实施例中，第一和第二同步单元被配置为使用来自全球定位***(GPS)单元的相同信号源时钟(例如，PPS信号)。这确保了如果同步单元之一发生故障(例如，网络信号差、信号获取失败、无法解码所获取的数据)，则可以从另一个同步单元获得PPS信号。
在一些实施例中，第一和第二同步单元被配置为确保如果两个同步单元都经历失败，则使用已经在配置文件中被预先指定为主设备的同步单元的***时间来传播触发信号。
此外，在图3至图5中描述的实施例至少提供以下优点：
-建立稳定的帧率输出，例如，丢帧率为10-6，具有＞99.9％的可靠时间同步可用性状态，
-将针对单个传感器的延迟减少到低于预定阈值，以及
-控制异构传感器之间的时间变化。
图6示出了示例同步单元600(例如，图3-5中所示的同步单元)的框图。如图6所示，同步单元包括顶层同步模块(在图6中被称为“顶层同步模块”610)，其接收PPS信号并控制所有传感器的硬件触发和同步，这些传感器可以包括LiDAR、IMU和图像传感器。如上所述，PPS信号是基本触发信号，它在顶层同步模块中被缩放到不同的频率，然后发送给不同的传感器。在一个示例中，可以在顶层同步模块中调整发送给传感器的各个触发信号的相位。
在该示例中，同步单元在现场可编程门阵列(FPGA)602-1上实现，该FPGA被配置为与ARM处理器602-2上的传感器应用603双向通信。这里，由FPGA 602-1提供给ARM处理器602-2的传感器反馈可以提供传感器的实际触发频率，并且可以通过将其与“顶层同步模块”610提供的频率进行比较来检测异常。
继续图6的描述，顶层同步模块610与用于每个传感器的同步模块(例如，用于“lidar1”640-1和“lidar2”640-2传感器(分别为640-1和640-2)的“lidar同步”(641-1和641-2)，以及用于“imu1”和“imu2”传感器(分别为650-1和650-2)的“imu同步”(651-1和651-2))接口连接。每个传感器同步模块控制相应传感器的同步，并基于接收到的触发信号来控制传感器本身以精确地操作。
顶层同步模块610还与每个“图像传感器”(分别为638-1和638-2)的“图像传感器处理触发模块”(631-1和631-2)接口连接。如图6所示，图像传感器封装(630-1或630-2)包括图像传感器(分别为638-1或638-2)和交换像素和同步信息的数据接口(分别为636-1或636-2，例如，串行化器接口)，“图像传感器处理触发模块”(631-1和631-2)使用另一个数据接口(分别为634-1和634-2，例如，解串行化器接口)与图像传感器封装进行通信。“图像传感器处理触发模块”还与数据获取接口(分别为632-1和632-2，例如，支持标准图像数据传输协议的移动行业处理器接口(MIPI))接口连接，该数据获取接口可以提供来自图像传感器封装的反馈。在一个示例中，图像传感器封装是高分辨率相机。
在图3-6所示的实施例中，每个传感器的硬件触发信号是根据来自GPS单元的公共PPS信号以不同的频率产生的。在示例中，使用100MHz时钟来采样PPS信号，并检测PPS信号的连续上升沿之间的间隔。在预定数量的周期(例如4个周期)上计算连续上升沿之间的间隔的平均值，以产生PPS间隔的值(表示为T)。在图像传感器的情况下，然后将PPS间隔除以20，以获得T/20的间隔，该间隔对应于20Hz的频率，然后将其作为图像传感器的硬件触发信号发送给该传感器。通常，通过将PPS间隔除以N以获得与所需的N Hz频率相对应的T/N的间隔来产生N Hz触发信号。如在图3-6中的示例实施例中所示，对于LiDAR传感器，N＝1或N＝10，对于IMU，N＝100。
图7A-7D示出了针对不同相机传感器的频率稳定性的示例。其中示出的每个图都针对不同的相机传感器(例如分别是图7A-7D所示的相机#2、#3、#5和#6)绘出了丢帧率(总帧数中丢失的百分比)作为窗口数(处理预定量数据的持续时间)的函数。
在此示例中，每个图覆盖约54000帧，其中图7A和7B示出没有丢帧，图7C和7D分别示出了两个丢帧的两个和一个实例。如这里所示，所公开技术的实施例可以提供大约4×10-5％的丢帧率，这明显优于现有方法。
图8示出了用于控制车辆的示例性方法800的流程图。方法800包括：在操作810，由同步单元(例如，图6中所示的同步单元)产生具有标称秒脉冲(PPS)速率的多个输入触发脉冲。
方法800包括：在操作820，基于从所述多个输入触发脉冲导出的定时信息，产生多个输出触发脉冲。
方法800包括：在操作830，向多个传感器中的传感器发送所述多个输出触发脉冲。在一些实施例中，所述多个输出触发脉冲的频率对应于传感器的目标操作频率，在耦合至同步单元的导航***在正确工作的情况下，所述多个输入触发脉冲是基于来自导航单元的标称PPS信号来产生的；在导航***不在正确工作的情况下，所述多个输入触发脉冲是基于同步单元的模拟的时钟源来产生的。
在一些实施例中，方法800还包括以下操作：接收与标称PPS信号不同的参考定时信号，其中，所述多个输出触发脉冲还基于从参考定时信号导出的定时信息。
在一些实施例中，参考定时信号是从直接通用异步接收器/发送器(UART)接口接收的。
在一些实施例中，参考定时信号是经由以太网接口从精确时间协议(PTP)接收的。
在一些实施例中，标称PPS信号包括1Hz PPS信号。
在一些实施例中，所述多个传感器包括光检测和测距(LiDAR)传感器、相机和惯性测量单元(IMU)，例如，如图3所示。
在一些实施例中，LiDAR传感器是旋转LiDAR传感器(例如，图3和4中的1Hz LiDAR)或固态LiDAR传感器(例如，图3中的10Hz LiDAR)。
在一些实施例中，公开了一种用于控制车辆的***。该***包括：传感器，用于为车辆导航提供感测能力并且以目标操作频率工作；第一导航单元；第一同步单元，耦合到传感器和第一导航单元，用于：产生具有标称秒脉冲(PPS)速率的多个输入触发脉冲，基于从所述多个输入触发脉冲导出的定时信息，产生多个输出触发脉冲，以及向传感器发送所述多个输出触发脉冲；第二导航单元；以及第二同步单元，耦合至传感器和第二导航单元，用于向传感器发送所述多个输出触发脉冲，其中，所述多个输出触发脉冲的频率对应于传感器的目标操作频率，其中，在第一导航单元在正确工作的情况下，所述多个输入触发脉冲是基于来自第一导航单元的标称PPS信号来产生的，以及其中，在第一导航单元不在正确工作的情况下，所述多个输入触发脉冲是基于第一同步单元的模拟的时钟源来产生的。
在一些实施例中，第一同步单元耦合到第二导航单元，第一同步单元还被配置为：在来自第一导航单元的第一时间戳和来自第二导航单元的第二时间戳之间执行对齐操作。
在一些实施例中，第一同步单元还被配置为：确定来自第一导航单元的第一时间戳与来自第二导航单元的第二时间戳之间的差；以及基于所述差超过阈值，将车辆的操作从默认操作模式切换到最小风险状况模式。
在一些实施例中，所述多个输出触发脉冲还基于从与所述标称PPS信号不同的参考定时信号导出的定时信息，所述第一同步单元和所述第二同步单元被配置为执行心跳消息的周期***换，以及所述周期***换的中断指示参考定时信号中的错误。
在一些实施例中，参考定时信号是经由以太网接口从精确时间协议(PTP)接收的。
在一些实施例中，产生多个输出触发脉冲包括：使所述多个输入触发脉冲中的至少一个输入触发脉冲的上升沿与所述多个输出触发脉冲中的至少一个输出触发脉冲的上升沿同步。
在一些实施例中，所述传感器是相机，以及，所述多个输出触发脉冲中的所述至少一个输出触发脉冲的上升沿对应于所述相机的曝光开始时间。
在一些实施例中，所述传感器是旋转光检测和测距(LiDAR)单元，以及，所述多个输出触发脉冲中的所述至少一个输出触发脉冲的上升沿对应于旋转LiDAR单元的0度相位。
在一些实施例中，所述传感器是固态光检测和测距(LiDAR)单元，以及，所述多个输出触发脉冲中的所述至少一个输出触发脉冲的上升沿对应于固态LiDAR单元的扫描起始点。
在一些实施例中，所述传感器是惯性测量单元(IMU)，以及，所述多个输出触发脉冲中的所述至少一个输出触发脉冲的上升沿对应于采样开始时间。
在一些实施例中，公开了一种用于控制车辆的设备。该设备包括：处理器，被配置为：由同步单元产生具有标称秒脉冲(PPS)速率的多个输入触发脉冲；基于从所述多个输入触发脉冲导出的定时信息，产生多个输出触发脉冲；以及向多个传感器中的传感器发送所述多个输出触发脉冲，其中，所述多个输出触发脉冲的频率对应于所述传感器的目标操作频率，其中，所述多个输出触发脉冲中的至少一个输出触发脉冲的上升沿重置所述传感器的至少一个参数，其中，在耦合至同步单元的导航***在正确工作的情况下，所述多个输入触发脉冲是基于来自导航单元的标称PPS信号来产生的，以及其中，在导航***不在正确工作的情况下，所述多个输入触发脉冲是基于同步单元的模拟的时钟源来产生的。
在一些实施例中，导航单元是全球定位***(GPS)单元，或更一般地，是全球导航卫星***(GNSS)单元。备选地或附加地，也可以使用其他导航方法，例如信号三角测量法或使用路侧标记或地标的导航。
在一些实施例中，产生所述多个输出触发脉冲包括上采样操作或下采样操作。
图9示出了可以用于实现本文中描述的一些技术的硬件平台900的示例。例如，硬件平台900可以实现方法800或可以实现本文所述的各种模块。硬件平台900可以包括可以执行代码以实现方法的处理器902。硬件平台900可以包括可以用于存储处理器可执行代码和/或存储数据的存储器904。硬件平台900可以进一步包括控制接口906。例如，控制接口906可以实现一个或多个车内通信协议。硬件平台可以进一步包括传感器910、导航单元920和同步单元930。在一些实施例中，可以在处理器902中实现导航单元920和/或同步单元930的某个部分或全部。在实施例中，存储器904可以包括多个存储器，其中一些存储器由导航单元和/或同步单元专用。
本专利文件中描述的主题和功能操作的实施方式可以在各种***、数字电子电路中或在计算机软件、固件或硬件中实现，包括在本说明书中公开的结构及其结构等同物、或其一个或多个的组合。在本说明书中描述的主题的实施方式可以被实施为在有形非瞬时计算机可读介质上编码的一个或多个计算机程序程序产品，例如计算机程序指令的一个或多个模块，用于由数据处理装置执行或者控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质组成或它们中的一个或多个的组合。术语“数据处理单元”或“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，例如包括可编程处理器、计算机或多个处理器或计算机。除了硬件以外，所述装置可以包括为所讨论的计算机程序创建运行环境的代码，例如，构成处理器固件、协议栈、数据库管理***、操作***、或者上述各项中的一项或多项的组合的代码。
可以以任何形式的编程语言来编写计算机程序(也称为程序、软件、软件应用、脚本或代码)，该编程语言包括：编译或解释语言，并且可以以任何形式来部署计算机程序，包括部署为独立的程序或者部署为适合于用于计算环境的模块、组件、子例程，或者其它单元。计算机程序不必与文件***中的文件相对应。程序可以存储在保存其它程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中，存储在所讨论的程序专用的单个文件中，或存储在多个协调文件(例如存储一个或多个模块、子程序或代码的一部分的文件)中。计算机程序可以被部署为在一个计算机上或者在位于一个站点或分布在多个站点并且通过通信网络互连的多个计算机上执行。
本说明书中描述的过程和逻辑流可以由一个或多个可编程处理器来执行，所述一个或多个可编程计算机执行一个或多个计算机程序以通过操作输入数据并且产生输出来执行功能。所述处理和逻辑流程也可以由专用逻辑电路(例如FPGA(现场可编程门阵列)或ASIC(专用集成电路))执行，并且装置也可以实现为该专用逻辑电路。
适用于执行计算机程序的处理器包括例如通用和专用微处理器以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或者这二者接收指令和数据。计算机的必不可少的元件是用于执行指令的处理器和用于存储指令和数据的一个或更多个存储器设备。通常，计算机还将包括用于存储数据的一个和或更多个大容量存储设备(例如，磁盘、磁光盘或光盘)，或可操作耦接以便从所述一个或更多个大容量存储设备接收或向其发送数据。然而，计算机不需要具有这些设备。适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，其包括例如半导体存储器设备、例如EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路来补充或者并入到专用逻辑电路中。
虽然本专利文件包含许多细节，但是这些不应该被解释为对任何发明或可以要求保护的内容的范围的限制，而是作为可以特定于特定发明的特定实施例的特征的描述。在本专利文件中在分开的实施例的上下文中描述的特定特征也可以以组合的形式实现在单个实施例中。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中分开地实现或以任何合适的子组合的方式实现。此外，尽管特征可以在上面描述为在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合的一个或多个特征在一些情况下可以从组合中删除，并且所要求保护的组合可以针对子组合或子组合的变体。
类似地，尽管在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以示出的特定顺序或以顺序次序执行，或者需要执行所有示出的操作来实现期望的结果。此外，在本专利文件中描述的实施例中的各种***组件的分离不应被理解为在所有实施例中都要求如此分离。
仅描述了几个实施方式和示例，并且可以基于本专利文件中描述和示出的内容来产生其他实施方式、增强和变化。

Claims (20)

1.一种车辆中的同步的方法，包括：
由同步单元产生具有标称秒脉冲PPS速率的多个输入触发脉冲；
基于从所述多个输入触发脉冲导出的定时信息，产生多个输出触发脉冲；以及
向多个传感器中的传感器发送所述多个输出触发脉冲，
其中，所述多个输出触发脉冲的频率对应于所述传感器的目标操作频率，
其中，在耦合至同步单元的导航***在正确工作的情况下，所述多个输入触发脉冲是基于来自导航单元的标称PPS信号来产生的，以及
其中，在导航***不在正确工作的情况下，所述多个输入触发脉冲是基于同步单元的模拟的时钟源来产生的。
2.根据权利要求1所述的方法，还包括：
接收与标称PPS信号不同的参考定时信号，其中，所述多个输出触发脉冲还基于从参考定时信号导出的定时信息。
3.根据权利要求2所述的方法，其中，所述参考定时信号是从直接通用异步接收器/发送器UART接口接收的。
4.根据权利要求2所述的方法，其中，所述参考定时信号是经由以太网接口从精确时间协议PTP接收的。
5.根据权利要求1所述的方法，其中，所述标称PPS信号包括1Hz PPS信号。
6.根据权利要求1所述的方法，其中，所述多个传感器包括光检测和测距LiDAR传感器，相机和惯性测量单元IMU。
7.根据权利要求6所述的方法，其中，所述LiDAR传感器是旋转LiDAR传感器或固态LiDAR传感器。
8.一种用于车辆中的同步的***，包括：
传感器，用于为车辆导航提供感测能力并且以目标操作频率工作；
第一导航单元；
第一同步单元，耦合到传感器和第一导航单元，用于：
产生具有标称秒脉冲PPS速率的多个输入触发脉冲，
基于从所述多个输入触发脉冲导出的定时信息，产生多个输出触发脉冲，以及
向传感器发送所述多个输出触发脉冲；
第二导航单元；以及
第二同步单元，耦合至传感器和第二导航单元，用于向传感器发送所述多个输出触发脉冲，
其中，所述多个输出触发脉冲的频率对应于传感器的目标操作频率，
其中，在第一导航单元在正确工作的情况下，所述多个输入触发脉冲是基于来自第一导航单元的标称PPS信号来产生的，以及
其中，在第一导航单元不在正确工作的情况下，所述多个输入触发脉冲是基于第一同步单元的模拟的时钟源来产生的。
9.根据权利要求8所述的***，其中，所述第一同步单元耦合到第二导航单元，所述第一同步单元还被配置为：
在来自第一导航单元的第一时间戳和来自第二导航单元的第二时间戳之间执行对齐操作。
10.根据权利要求9所述的***，其中，所述第一同步单元还被配置为：
确定来自第一导航单元的第一时间戳与来自第二导航单元的第二时间戳之间的差；以及
基于所述差超过阈值，将车辆的操作从默认操作模式切换到最小风险状况模式。
11.根据权利要求8所述的***，其中，所述多个输出触发脉冲还基于从与所述标称PPS信号不同的参考定时信号导出的定时信息，其中，所述第一同步单元和所述第二同步单元被配置为执行心跳消息的周期***换，以及其中所述周期***换的中断指示参考定时信号中的错误。
12.根据权利要求11所述的***，其中，所述参考定时信号是经由以太网接口从精确时间协议PTP接收的。
13.根据权利要求8所述的***，其中，产生多个输出触发脉冲包括：使所述多个输入触发脉冲中的至少一个输入触发脉冲的上升沿与所述多个输出触发脉冲中的至少一个输出触发脉冲的上升沿同步。
14.根据权利要求13所述的***，其中，所述传感器是相机，以及其中，所述多个输出触发脉冲中的所述至少一个输出触发脉冲的上升沿对应于所述相机的曝光开始时间。
15.根据权利要求13所述的***，其中，所述传感器是旋转光检测和测距LiDAR单元，以及其中，所述多个输出触发脉冲中的所述至少一个输出触发脉冲的上升沿对应于旋转LiDAR单元的0度相位。
16.根据权利要求13所述的***，其中，所述传感器是固态光检测和测距LiDAR单元，以及其中，所述多个输出触发脉冲中的所述至少一个输出触发脉冲的上升沿对应于固态LiDAR单元的扫描起始点。
17.根据权利要求13所述的***，其中，所述传感器是惯性测量单元IMU，以及其中，所述多个输出触发脉冲中的所述至少一个输出触发脉冲的上升沿对应于采样开始时间。
18.一种用于车辆中的同步的设备，包括：
处理器，被配置为：
由同步单元产生具有标称秒脉冲PPS速率的多个输入触发脉冲；
基于从所述多个输入触发脉冲导出的定时信息，产生多个输出触发脉冲；以及
向多个传感器中的传感器发送所述多个输出触发脉冲，
其中，所述多个输出触发脉冲的频率对应于所述传感器的目标操作频率，
其中，所述多个输出触发脉冲中的至少一个输出触发脉冲的上升沿重置所述传感器的至少一个参数，
其中，在耦合至同步单元的导航***在正确工作的情况下，所述多个输入触发脉冲是基于来自导航单元的标称PPS信号来产生的，以及
其中，在导航***不在正确工作的情况下，所述多个输入触发脉冲是基于同步单元的模拟的时钟源来产生的。
19.根据权利要求18所述的设备，其中，所述导航单元是全球定位***GPS单元。
20.根据权利要求18所述的设备，其中，产生所述多个输出触发脉冲包括上采样操作或下采样操作。
CN202011461771.2A 2020-12-08 2020-12-08 自主车辆中的异构传感器的基于硬件的时间同步 Pending CN114608566A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011461771.2A CN114608566A (zh) 2020-12-08 2020-12-08 自主车辆中的异构传感器的基于硬件的时间同步
US17/186,476 US20220182213A1 (en) 2020-12-08 2021-02-26 Hardware-based time synchronization for heterogeneous sensors in autonomous vehicles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011461771.2A CN114608566A (zh) 2020-12-08 2020-12-08 自主车辆中的异构传感器的基于硬件的时间同步

Publications (1)

Publication Number Publication Date
CN114608566A true CN114608566A (zh) 2022-06-10

Family

ID=81849590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011461771.2A Pending CN114608566A (zh) 2020-12-08 2020-12-08 自主车辆中的异构传感器的基于硬件的时间同步

Country Status (2)

Country Link
US (1) US20220182213A1 (zh)
CN (1) CN114608566A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11599119B2 (en) * 2021-07-28 2023-03-07 Embark Trucks, Inc Method and system for a sensor trigger hub
CN115269718A (zh) * 2022-06-20 2022-11-01 北京航天控制仪器研究所 一种用于光电吊舱的毫秒级数据同步装置及方法
AU2023200522B1 (en) * 2022-06-24 2023-04-13 Commonwealth Scientific And Industrial Research Organisation Clock synchronisation
US11818329B1 (en) * 2022-09-21 2023-11-14 Ghost Autonomy Inc. Synchronizing stereoscopic cameras using padding data setting modification
CN115801165B (zh) * 2022-09-29 2024-06-21 重庆赛力斯凤凰智创科技有限公司 一种车载控制器的时间同步方法、***、设备和介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7249272B1 (en) * 2000-10-11 2007-07-24 General Dynamics Advanced Information Systems, Inc. Apparatus and method for coordinating activities of one or more computers
CN102016679B (zh) * 2008-03-28 2013-07-03 松下电器产业株式会社 照相机***
JP5230010B2 (ja) * 2009-04-09 2013-07-10 古野電気株式会社 基準信号発生システム、タイミング信号供給装置及び基準信号発生装置
WO2012167367A1 (en) * 2011-06-09 2012-12-13 Trusted Positioning Inc. Method and apparatus for real-time positioning and navigation of a moving platform
US10720168B2 (en) * 2015-07-29 2020-07-21 Mueller International, Llc PPS tagging of acoustic sample data
CN104998393B (zh) * 2015-08-25 2018-02-06 国家体育总局体育科学研究所 一种网球运动员动作技术综合分析***
US10114103B2 (en) * 2016-03-31 2018-10-30 Uber Technologies, Inc. System and method for sensor triggering for synchronized operation
US10890914B2 (en) * 2018-08-24 2021-01-12 Baidu Usa Llc Trigger logic to trigger sensors of an autonomous driving vehicle for capturing data
US10788841B2 (en) * 2018-08-24 2020-09-29 Baidu Usa Llc Hardware centralized time synchronization hub for an autonomous driving vehicle
IL270540A (en) * 2018-12-26 2020-06-30 Yandex Taxi Llc Method and system for training a machine learning algorithm to recognize objects from a distance
US10778530B2 (en) * 2018-12-27 2020-09-15 Intel Corporation Device discovery using heartbeat signals
US11467265B2 (en) * 2019-08-20 2022-10-11 Luminar, Llc Coherent pulsed lidar system
US11335141B2 (en) * 2019-10-22 2022-05-17 Argo AI, LLC Checkpoint-based tracing for monitoring a robotic system
CN110830141B (zh) * 2019-11-26 2021-11-16 北京小马慧行科技有限公司 时间同步方法、***、存储介质及处理器
US20220107401A1 (en) * 2020-10-02 2022-04-07 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Distributed Clock System for the Synchronization of Instrumentation

Also Published As

Publication number Publication date
US20220182213A1 (en) 2022-06-09

Similar Documents

Publication Publication Date Title
CN114608566A (zh) 自主车辆中的异构传感器的基于硬件的时间同步
US11009874B2 (en) Fault-tolerant control of an autonomous vehicle with multiple control lanes
US12043287B2 (en) Vehicle safety system for autonomous vehicles
US8599038B2 (en) Vehicular wireless communication apparatus and communication system
CA2988690C (en) Parking lot mapping system
US10303168B2 (en) On-vehicle control device, host vehicle position and posture specifying device, and on-vehicle display device
US10933912B2 (en) Driving support device, driving support method, and computer readable storage medium
US20200133259A1 (en) Intermittent delay mitigation for remote vehicle operation
EP3782000B1 (en) A method for controlling a string of vehicles
EP3929051A2 (en) Redundant hardware and software architecture for autonomous vehicles
US20160040994A1 (en) Vehicle navigation system
JP7252801B2 (ja) 自動運転車両の交通制御システム
WO2018225347A1 (ja) 走行障害検出装置及び車両ナビゲーションシステム
US10885774B2 (en) Travel control system for vehicle
CN115808923A (zh) 用于运载工具的方法和***
CN114475556A (zh) 用于自主车辆的制动控制架构
EP4113063A1 (en) Localization of autonomous vehicles using camera, gps, and imu
US20230159041A1 (en) Vehicle safety system for autonomous vehicles
WO2022149302A1 (ja) 制御システム、車載装置、および管制装置
US20240020257A1 (en) Autonomous vehicle compute controller
US20230391350A1 (en) Systems and methods for hybrid open-loop and closed-loop path planning
US20210394794A1 (en) Assessment of a vehicle control system
US20240010211A1 (en) Systems and methods for selectively using a vehicle trajectory
US20230259124A1 (en) Control device, control method, and non-transitory computer-readable recording medium
CN115675517A (zh) 发生故障时控制车辆驾驶行为的技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination