CN112041767A - 用于同步车辆传感器和设备的***和方法 - Google Patents
用于同步车辆传感器和设备的***和方法 Download PDFInfo
- Publication number
- CN112041767A CN112041767A CN201880092869.XA CN201880092869A CN112041767A CN 112041767 A CN112041767 A CN 112041767A CN 201880092869 A CN201880092869 A CN 201880092869A CN 112041767 A CN112041767 A CN 112041767A
- Authority
- CN
- China
- Prior art keywords
- signal
- reference timing
- vehicle
- timing signal
- trigger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000000630 rising effect Effects 0.000 claims description 21
- 230000001360 synchronised effect Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000001960 triggered effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011152 fibreglass Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W56/00—Synchronisation arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q2209/00—Arrangements in telecontrol or telemetry systems
- H04Q2209/70—Arrangements in the main station, i.e. central controller
- H04Q2209/75—Arrangements in the main station, i.e. central controller by polling or interrogating the sub-stations
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Abstract
本申请的实施例提供了用于同步车辆传感器的方法和***。汽车同步***可以包括被配置为提供参考定时信号的GPS接收器和被配置为提供车速信号的总线。汽车同步***还可包括至少一个传感器。汽车同步***还可以包括同步控制面板,其被配置为基于参考定时信号和车速信号确定触发信号,并且使用触发信号触发至少一个传感器,以获取至少两个图像。
Description
技术领域
本申请涉及车辆传感器和设备的同步,更具体地说,涉及使用基于秒脉冲(PPS)信号的同步控制电路来同步车辆传感器和设备的方法和***。
背景技术
自动驾驶技术在很大程度上依赖于高清地图。例如,导航地图的准确性对于自动驾驶车辆的功能是至关重要的,比如定位、环境识别、决策和控制。高清地图可以通过在车辆行驶时聚集由车辆上的各种传感器、检测器和其他设备获取的图像和信息来获取。例如,车辆可以配备有光检测和测距(LiDAR)雷达、相机、全球定位***(GPS)和惯性测量单元(IMU)等,以捕获车辆行驶的道路或周围物体的位置和特征。捕获的数据可以包括例如车道的中心线坐标或扩展边线坐标、目标,例如地标或交通标志,的坐标和图像。
为了聚合由不同传感器和设备捕获的数据,需要同步数据。例如,特定时间点的GPS坐标数据必须与在同一时间点拍摄的周围物体的LiDAR图像配准,以便使用GPS坐标将该物体精确地定位在地图上。同步可以在两个阶段内执行:获取数据时的获取阶段,以及处理和聚合获取的数据时的后处理阶段。在后处理阶段完全同步往往不太准确且低效。在获取期间传感器和设备的同步通常难以实现。一种现有方法使用定制设计的相机,例如具有同步功能的全景相机或双目相机的高端机型。然而,由于这种相机的选择有限,硬件配置不灵活且难以扩展。另一种方法使用触发服务器通过“软”信号触发传感器和设备。这种解决方案缺乏准确性或安全性。因此,需要用于同步车辆传感器和设备的改进***和方法,以便获取可以稍后聚合的同步数据以创建高清晰度地图。
本申请的实施例通过用于同步车辆传感器和设备的***和方法解决了上述问题。
发明内容
本申请的实施例提供了一种车辆同步***。车辆同步***可以包括被配置为提供参考定时信号的GPS接收器和被配置为提供车速信号的总线。车辆同步***还可包括至少一个传感器。车辆同步***还可以包括同步控制面板,其被配置为基于参考定时信号和车速信号确定触发信号,并且使用触发信号触发至少一个传感器,以获取至少两个图像。
本申请的实施例还披露了一种同步车辆传感器的方法。该方法可以包括从GPS接收器接收参考定时信号和从总线接收车速信号。该方法还可以包括:使用同步控制面板,基于参考定时信号和车速信号确定触发信号,并使用触发信号触发至少一个传感器,以获取至少两个图像。
本申请的实施例还披露了一种同步控制面板。同步控制面板可包括至少一个输入引脚,其被配置为接收参考定时信号和车速信号。同步控制面板还可包括至少一个输出引脚,其被配置为向至少一个传感器提供触发信号。触发信号可以基于参考定时信号和车速信号确定。同步控制面板还可以包括反馈引脚,其被配置为处理器提供参考定时信号。
应该理解,前面的一般性描述和下面的详细描述都只是示例性和说明性的,并不是对要求保护的本发明的限制。
附图说明
图1根据本申请的实施例,示出了配备有传感器的示例性车辆的示意图。
图2根据本申请的实施例,示出了用于同步车辆传感器的示例性汽车同步***的示意图。
图3根据本申请的实施例,示出了示例性同步控制面板的示意图。
图4根据本申请的实施例,示出了使用参考定时信号同步的示例性触发信号。
图5根据本申请的实施例,示出了用于同步车辆传感器获取的数据的示例性同步计算机的示意图。
图6根据本申请的实施例,示出了用于同步车辆传感器的示例性方法的流程图。
具体实施方式
现在将详细参考示例性实施例,其示例在附图中示出。只要有可能,在整个附图中将使用相同的附图标记来表示相同或相似的部分。
图1根据本申请的实施例,示出了具有至少两个传感器141、142和150的示例性车辆100的示意图。与一些实施例一致,车辆100可以是调查车辆,其被配置为获取用于构建高清地图的数据或三维(3-D)城市建模的数据。可以预期,车辆100可以是电动车辆,燃料电池车辆,混合动力车辆或传统的内燃机车辆。车辆100可具有车身110和至少一个车轮120。车身110可以是任何车身类型,例如运动车辆、轿跑车、轿车、皮卡车、旅行车、运动型多功能车(SUV)、小型货车或转换车房车。在一些实施例中,车辆100可包括一对前轮和一对后轮,如图1所示。然而,可以预期,车辆100可具有更多或更少的车轮或等效结构,使车辆100能够四处移动。车辆100可以被配置为全轮驱动(AWD)、前轮驱动(FWR)或后轮驱动(RWD)。在一些实施例中,车辆100可以被配置为由占用车辆的操作员操作、由操作员远程控制和/或自主操作。
如图1所示,车辆100可以配备通过安装结构130安装到车身110的传感器141和142。安装结构130可以是安装或以其他方式附接到车辆100的车身110的机电设备。在一些实施例中,安装结构130可以使用螺钉、粘合剂或其他安装机构。车辆100可以使用任何合适的安装机构,在车身110内部或外部另外配备传感器150。可以设想,传感器141、142或150可以装配在车辆100上的方式不受图1所示的例子限制,并且可以根据141、142或150和/或车辆100的传感器的类型进行修改,以实现期望的感测性能。
在一些实施例中,当车辆100沿轨迹行进时,传感器141、142和150可以被配置为捕获数据。与本申请一致,传感器141可以是拍摄照片或以其他方式收集图像数据的相机。例如,传感器141可包括单目、双目或全景相机。当车辆100沿着轨迹移动时,传感器141可以获取至少两个图像(每个图像作为一个图像帧)。每个图像帧是在触发信号触发的时间点获取的。
与本申请一致,传感器142可以是配置为扫描周围并获取点云的LiDAR扫描器。LiDAR通过用脉冲激光照射目标并用传感器测量反射脉冲,测量到目标的距离。然后可以使用激光返回时间和波长的差异,制作目标的数字t3-D表示。用于LiDAR扫描的光可以是紫外线、可见光或近红外线。由于窄激光束能够以非常高的分辨率绘制物理特征,因此LiDAR扫描仪特别适用于高清地图测量。在一些实施例中,LiDAR扫描仪可以捕获点云。类似于传感器141,当车辆100沿着轨迹移动时,传感器142还可以获取至少两个点云(每个点云都称为点云帧)。每个点云帧是在触发信号触发的时间点获取的。信号触发传感器142可以与信号触发传感器141相同或不同。
当车辆100沿着轨迹行进时,传感器141和142可以连续地捕获数据。在特定时间点捕获的每组场景数据被称为数据帧。例如,传感器141可以记录在多个时间点捕获的多个图像帧组成的视频。同时,传感器142可以在多个时间点捕获一系列点云数据。
如图1所示,车辆100可以另外配备传感器150,传感器150可以包括导航单元中使用的传感器,例如GPS接收器和一个或以上IMU传感器。GPS是一种全球导航卫星***,为GPS接收器提供地理定位和时间信息。IMU是一种电子设备,使用各种惯性传感器(例如加速度计和陀螺仪,有时还有磁力计)测量和提供车辆的比力、角速率,有时还提供车辆周围的磁场。通过组合GPS接收器和IMU传感器,传感器150可以在车辆100行进时提供车辆100的实时位姿信息,包括车辆100在每个时间点的位置和方向(例如,欧拉角)。
GPS/IMU传感器使用精确的秒脉冲(PPS)信号来计算其获取时间。PPS信号是一种每秒精确地重复一次的电信号,其宽度小于一秒并且有急剧上升的沿或突然下降的沿。在一些实施例中,PPS脉冲可以包含与每个协调世界时(UTC)秒的开始相对应的的上升沿。对应的准确性可以在纳秒内。因此,PPS信号可用于精确计时和时间测量。
与本申请一致,车辆100可包括同步***以使传感器141、142和150同步,使得由传感器141捕获的图像帧、由传感器142捕获的点云、由传感器150捕获的位姿信息都在相同的时间点被捕获。同步图像帧、点云和相关位姿信息可以共同用于定位车辆100。与本申请一致,由GPS/IMU传感器提供的PPS信号可用于同步传感器141、142和150的获取。
图2根据本申请的实施例,示出了用于同步车辆传感器的示例性车辆同步***200的示意图。汽车同步***200可包括同步控制面板210、控制器区域网络(CAN)总线220和同步计算机230。与本申请一致,***200被配置为同步传感器141、142和150。可以预期,***200可包括额外组件。
同步控制面板210可以是被配置为接收各种输入信号并提供各种输出信号的电路板。在一些实施例中,同步控制面板210可以是印刷电路板(PCB),其由绝缘体(例如,玻璃纤维)组成,其中导电材料的线路在基于板的基础上充当导线。在一些实施例中,同步控制面板210可以是集成电路(也称为IC、芯片或微芯片),它包括在一小块扁平半导体材料(例如硅)上的大量电子元件(例如,晶体管、电阻器、电容器、电感器等)。
例如,图3根据本申请的实施例,示出了示例性同步控制面板210的示意图。同步控制面板210可以是具有若干输入引脚的芯片,例如引脚311-313,以及若干输出引脚,例如引脚314-317。尽管图3将同步控制面板210示为STM 32IC芯片,但是可以预期,可以使用其他合适的芯片或电路。还可以预期,同步控制面板210可包括比图3中所示更多或更少的引脚。
在一些实施例中,同步控制面板210可以通过引脚311,从传感器150接收PPS信号。例如,PPS信号可以是1Hz的方波,因此脉冲的每个上升沿对应于UTC秒的开始(以下称为“GPS全秒时间”)。因为GPS被认为是一个0阶层源,可以采用低延迟、低抖动的有线连接,将PPS信号提供给PC.2引脚(引脚311)。在一些实施例中,同步控制面板210可通过来自CAN总线220的RxD引脚(引脚312),另外地接收车速信号。CAN总线220可以是控制器区域网络总线,其被配置为允许车辆中的微控制器和设备在没有主计算机的应用中彼此通信。来自车辆100周围的多种传感器输入可以通过CAN总线220收集和整理。例如,CAN总线220可以收集由速度传感器测量的车速信息。同步控制面板210可以通过GND引脚(引脚313)接地。
与本申请一致,同步控制面板210可以使用由GPS/IMU传感器150提供的PPS信号作为参考定时信号。在一些实施例中,基于该参考定时信号和CAN总线220提供的车速信号,同步控制面板210确定用于触发传感器141和142的触发信号。在一些实施例中,同步控制面板210可以将参考定时信号首先转换为更高的频率。例如,同步控制面板210可以将1Hz PPS信号转换为10-20Hz信号。转换后的信号可以用于触发传感器141和142,以获取每个数据帧(即,图像帧或点云帧)。例如,获取可以通过信号中脉冲的上升沿来触发。
在一些实施例中,触发信号的频率可以基于CAN总线220提供的车速信号来确定和调整。例如,当车辆100以相对低的速度移动时,触发频率可以设置得低;当车辆100以相对高的速度移动时,可以将触发频率设置得高,以捕获足够的数据帧覆盖特定区域。在一些实施例中,触发信号的频率与参考定时信号的频率之间的比率可以与车辆速度成比例。例如,该比率可以与车辆速度线性相关。在一些实施例中,传感器142的触发信号的频率可以与传感器141的触发信号的频率不同。例如,1Hz触发信号可能足以用于LiDAR获取,而10-20Hz触发信号可用于相机获取。
在一些实施例中,同步控制面板210可以使用参考定时信号来校正触发信号并确保触发信号与UTC同步。因为触发信号的生成是部分基于同步控制面板210自己的时钟,所以它可能包含由板时钟引起的累积误差。例如,图4根据本申请的实施例,示出了使用参考定时信号同步的示例性触发信号400。例如,触发信号400包括分别在时间点t0-t4具有上升沿的脉冲401-405。在时间点t5,同步控制面板210可以检测参考定时信号中的上升沿,指示GPS全秒时间。同步控制面板210可以相应地使触发信号相移,使得下一个脉冲410具有与参考定时信号的上升沿相匹配的上升沿。随后的脉冲411将相应地移位,以在时间点t6处具有其上升沿。t5和t6之间的时间间隔将保持与t0和t1之间的时间间隔相同,以使触发信号保持在相同的频率。在一些实施例中,触发信号校正可以由参考定时信号中的每个上升沿触发。
如图3所示,同步控制面板210可以分别通过PA引脚315-317向传感器141(例如,包括相机141-1和141-2)和传感器142(例如,LiDAR)提供触发信号。在一些实施例中,触发信号可以是脉冲宽度调制的(PWM)。另外,同步控制面板210可以通过反馈引脚314将参考定时信号(例如,PPS信号)和/或触发信号作为串行输出信号提供给同步计算机230。参考定时信号可以由同步计算机230用于获取后同步。
返回到图2,除了在获取期间被配置为同步传感器的同步控制面板210之外,***200还可以包括同步计算机230,其被配置为在获取之后,同步传感器测量。同步计算机230可以是通用计算机,或专门设计用于传感器同步的专有设备。可以设想,同步计算机230可以是单独的***或车辆控制器的集成部件,例如发动机控制单元(ECU)。在一些实施例中,同步计算机230可以包括子***,其中一些子***可以是远程的。
图5根据本申请的实施例,示出了用于同步车辆传感器获取的数据的示例性同步计算机230的示意图。在一些实施例中,同步计算机230可以包括通信接口502、处理器504、内存512和存储器514。在一些实施例中,同步计算机230可以在单个设备中具有不同的模块,例如集成电路(IC)芯片(实现为专用集成电路(ASIC)或现场可编程门阵列(FPGA)),或具有专用功能的单独设备。在一些实施例中,同步计算机230的一个或以上组件可以位于车辆100内、或远程,例如云中、移动设备或其他分布式位置。同步计算机230的组件可以在集成设备中、或者分布在不同的位置,但是通过网络(未示出)彼此通信。
通信接口502可以通过通信电缆、无线局部区域网络(WLAN)、广域网(WAN)、无限网(例如,无线电波)、蜂窝网络、和/或本地或短程无线网络(例如,蓝牙TM),或其他通信方法,向诸如传感器150和CAN总线220的组件发送数据和从其接收数据。在一些实施例中,通信接口502可以是综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器、或提供数据通信连接的调制解调器。又例如,通信接口502可以是局域网(LAN)卡,以提供与兼容LAN的数据通信连接。无线链路也可以由通信接口502实现。在这样的实现中,通信接口502可以发送和接收电信号、电磁信号或光信号,这些信号通过网络,携带表示各种类型信息的数字数据流。
与一些实施例一致,通信接口502可以接收由传感器150提供的参考定时信号和由同步控制面板210提供的触发信号。通信接口502还可以接收由传感器141捕获的图像帧、由传感器142捕获的点云数据、以及由传感器150捕获的位姿信息。通信接口502还可以将所接收的数据、信号和信息提供给内存512/存储器514以供存储或提供给处理器504以进行处理。
处理器504可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器504可以被配置为专用于同步所获取的传感器数据的单独处理器模块。或者,处理器504可以被配置为共享处理器模块,用于执行与传感器同步无关的其他功能。
如图5所示,处理器504可以包括多个模块,例如参考图像触发时间判断单元506,参考图像确定单元508和图像获取时间确定单元510等。这些模块(以及任何相应的子模块或子单元)可以是处理器504的硬件单元(例如,集成电路的部分),其被设计为与处理器504通过执行程序的至少一部分而实现的其他组件或软件单元一起使用。程序可以存储在计算机可读介质上,并且当由处理器504执行时,它可以执行一个或以上的功能。尽管图5示出了在一个处理器504内的所有单元506-510,但是可以预期,这些单元可以分布在彼此靠近或远离的多个处理器之间。
参考图像触发时间确定单元506可以被配置为确定与GPS全秒时间相对应的时间点T,即PPS信号脉冲的上升沿。在一些实施例中,参考图像触发时间确定单元506可以在GTIMU消息中查询GPS时间。由于该GPS时间通常滞后于GPS全秒时间的开始,因此参考图像触发时间确定单元506可以对GPS时间的向下取整作为参考图像触发时间T。
在传感器141接收的图像序列中,参考图像确定单元508可以识别在参考图像触发时间T触发时,由传感器141捕获的参考图像。在一些实施例中,为了识别参考图像,同步控制面板210可以将两个触发脉冲之间的时间间隔指定为Ti。假设在全秒内存在N个脉冲,则参考图像和恰好在其之前的图像之间的时间间隔将是Tr=1000ms-(N-1)*Ti。因此,参考图像确定单元508可以识别被分开捕获的由Tr分隔开的一对图像,并且将该对中的后一图像确定为参考图像。例如,如果N=10(即,10Hz触发信号)并且Ti=105ms,则Tr=1000ms-(10-1)*105ms=55ms。参考图像确定单元508可以将相隔55ms捕获的图像对中的第二图像识别为参考图像。
在传感器141被触发时的参考图像触发时间T与实际捕获参考图像时的获取时间T0之间存在Ts0时间延迟,其对应于传感器141的快门速度(或曝光时间)。因此,参考图像的GPS时间为T0=T+Ts0。曝光时间是相机内的胶片或数字传感器曝光的时间长度,当拍摄图像时相机的快门打开时也是如此。在一些实施例中,时间戳Ts0可以是为传感器141预定的或由传感器141自动计算的相机参数。
一旦识别出参考图像并确定其GPS时间T0,图像获取时间确定单元510可以确定剩余图像的GPS时间。例如,Tn可以是参考图像后面的第n个图像的获取时间。在一些实施例中,Tn可以被确定为Tn=T0+(Trn-Tr0)+Tsn,其中T0是由参考图像确定单元508确定的参考图像的GPS时间,Trn是第n个图像的原始时间,Tsn是第n个图像的快门时间。原始时间Trn和快门时间Tsn都是由传感器141创建的时间戳。
在一些实施例中,通过使参考图像触发时间与GPS全秒时间同步,将不累积GPS时间误差。结果,即使参考图像丢失,例如在从传感器141的传输期间丢失,也可以使用为前一秒确定的参考图像来计算图像序列的GPS时间。
内存512和存储器514可以包括任何适当类型的大容量存储器,其被提供处理器504可能需要操作的任何类型的信息。内存512和存储器514可以是易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的存储设备或有形(即,非暂时性)计算机可读介质,包括但不限于ROM、闪存、动态RAM和静态RAM。内存512和/或存储器514可以被配置为存储由处理器504执行的一个或以上计算机程序,以执行本文公开的传感器同步功能。例如,内存512和/或存储器514可以被配置为存储由处理器504执行的程序,以同步传感器获取的信息。
内存512和/或存储器514可以进一步被配置为存储信息和存储处理器504使用的数据。例如,内存512和/或存储器514可以被配置为存储由传感器150和CAN总线220提供的各种类型的信号(例如,参考定时信号、车速信号等)、以及由传感器141、142和150捕获的各种类型的数据(例如,图像帧、点云数据、位姿信息等)。内存512和/或存储器514还可以存储中间信号和数据,例如触发信号、相机参数等。在处理一部分数据之后,可以永久地存储、定期移除或立即忽略各种类型的数据。
图6根据本申请的实施例,示出了用于同步车辆传感器的示例性方法600的流程图。在一些实施例中,方法600可以由车辆同步***200实现,其包括同步控制面板210和同步计算机230等。例如,方法600的步骤S602-S610可以由同步控制面板210执行,并且步骤S612-S618可以由同步计算机230执行。应当理解,一些步骤可以是可选的,以执行本文提供的本申请。此外,一些步骤可以同时执行,或者以与图6中所示不同的顺序执行。
在步骤S602,同步控制面板210可以接收参考定时信号。在一些实施例中,参考定时信号可以是由GPS/IMU传感器150提供的PPS信号。例如,在1Hz PPS信号中,每个脉冲的上升沿对应于UTC秒的开始。在步骤S604中,同步控制面板210可以接收车速信号。例如,车速信号可以由CAN总线220提供,CAN总线220通过车辆100的速度传感器获取信息。
在步骤S606中,同步控制面板210可以分别基于在步骤S602和S604中接收的参考定时信号和车速信号生成触发信号。触发信号可以是类似于参考定时信号的脉冲波信号,但是频率更高。在一些实施例中,触发信号的频率可以基于车速信号确定。在一些实施例中,触发信号的频率与参考定时信号的频率之间的比率可以与车辆速度成线性相关。例如,当车辆100以相对低的速度移动时,触发频率可以设置得低,并且当车辆100以相对高的速度移动时,可以将触发频率设置得高,以捕获足够的数据帧覆盖特定区域。
在一些实施例中,作为步骤S606的一部分,同步控制面板210可以为传感器141生成一个触发信号,并且为传感器142生成另一个触发信号。传感器141的触发信号的频率可以与传感器142的触发信号的频率不同。例如,用于LiDAR获取的触发信号可以是1Hz,而用于相机获取的触发信号可以是10-20Hz。
在步骤S608中,同步控制面板210可以使用参考定时信号校正触发信号,并确保触发信号在每秒开始时同步。例如,同步控制面板210可以检测参考定时信号中的上升沿,指示GPS全秒时间,并且相应地使触发信号发生相位移,使得触发信号中的下一个脉冲具有与参考定时信号中的上升沿相匹配的上升沿。在一些实施例中,触发信号的校正可以由参考定时信号中的每个上升沿触发。
在步骤S610中,由同步控制面板210产生的触发信号可以被提供给各个传感器141和142,用于触发传感器获取的信息。例如,可以触发传感器141和142,以在触发信号中的每个脉冲的上升沿捕获数据帧。在步骤S612,同步计算机230可以接收这些捕获的数据帧。例如,同步计算机230可以从传感器141接收图像序列(图像帧)并且从传感器142接收点云帧。
在步骤S614-S618期间,同步计算机230可以对所获取的数据执行获取后同步。在步骤S614,参考图像触发时间确定单元506可以确定与GPS全秒时间相对应的参考图像触发时间T,即PPS信号中脉冲的上升沿。在一些实施例中,可以通过在GTIMU消息中对GPS时间应用向下取整操作来确定时间T。
在步骤S616,参考图像确定单元508可以识别在参考图像触发时间T时,触发传感器141所捕获的参考图像。在一些实施例中,参考图像可以被识别为相隔Tr时间间隔获取的一对图像中的第二图像。Tr可以被确定为Tr=1000ms-(N-1)*Ti,其中Ti是两个触发脉冲之间的时间间隔,并且N是全秒内的脉冲数。作为步骤S616的一部分,参考图像确定单元508还可以确定与捕获参考图像时的GPS时间相对应的获取时间T0。在一些实施例中,T0可以被确定为T0=T+Ts0,其中Ts0是与传感器141的快门速度(或曝光时间)相对应的时间延迟。时间戳Ts0可以是为传感器141预确的或由传感器141自动计算的相机参数。
在步骤S618,图像获取时间确定单元510可以确定与捕获剩余图像的GPS时间相对应的获取时间。例如,Tn可以是参考图像后面的第n个图像的获取时间。在一些实施例中,Tn可以被确定为Tn=T0+(Trn-Tr0)+Tsn,其中T0是在步骤S616中确定的参考图像的GPS时间,Trn是第n个图像的原始时间,并且Tsn是第n个图像的快门时间。原始时间Trn和快门时间Tsn都是由传感器141创建的时间戳。
本申请的另一方面涉及一种存储指令的非暂时性计算机可读介质,所述指令在被执行时使得一个或以上处理器执行如上所述的方法。所述计算机可读介质包括易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的计算机可读介质或计算机可读存储设备。例如,如本申请的计算机可读介质可以是存储设备或其上存储有计算机指令的内存模块。在一些实施例中,计算机可读介质可以是其上存储有计算机指令的盘或闪存驱动器。
显而易见,本领域普通技术人员可以对本申请的***和相关方法进行各种修改和变化。考虑到本申请的***和相关方法的说明书和实践,其他实施例对于本领域普通技术人员是显而易见的。
本申请中的说明书和示例的目的仅被认为是示例性的,真正的范围由以下权利要求及其等同物限定。
Claims (20)
1.一种汽车同步***,包括:
GPS接收器,其被配置为提供参考定时信号;
总线,其被配置为提供车速信号;
至少一个传感器;以及
同步控制面板,其被配置为:
基于所述参考定时信号和所述车速信号,确定触发信号;以及
使用所述触发信号,触发所述至少一个传感器,以获取至少两个图像。
2.根据权利要求1所述的汽车同步***,其特征在于,所述参考定时信号是PPS信号。
3.根据权利要求1所述的汽车同步***,其特征在于,所述参考定时信号包括第一频率的脉冲,并且所述触发信号包括第二频率的脉冲,其中所述第二频率与所述第一频率之间的比率与所述车速信号相对应。
4.根据权利要求1所述的汽车同步***,其特征在于,所述同步控制面板被配置为使用所述参考定时信号的脉冲上升沿作为用于同步所述触发信号的参考。
5.根据权利要求1所述的汽车同步***,其特征在于,所述至少一个传感器包括相机或激光雷达(LiDAR)。
6.根据权利要求1所述的汽车同步***,还包括处理器,所述处理器被配置为:
从所述同步控制面板,接收所述参考定时信号;
从所述至少一个传感器,接收所述至少两个图像和对应于每个图像的一组时间戳;以及
基于所述参考定时信号和所述时间戳,确定每个图像的获取时间。
7.根据权利要求6所述的汽车同步***,其特征在于,所述处理器还被配置为:
基于所述参考定时信号,确定参考图像触发时间;
识别在所述参考图像触发时间内获取的所述至少两个图像中的参考图像;以及
基于所述参考图像触发时间和所述相应的一组时间戳,确定所述剩余图像中的每一个图像的获取时间。
8.根据权利要求7所述的汽车同步***,其特征在于,所述一组时间戳包括原始时间和快门时间。
9.一种同步车辆传感器的方法,包括:
从GPS接收器接收参考定时信号;
从总线接收车速信号;
使用同步控制面板,基于所述参考定时信号和所述车速信号,确定触发信号;以及
使用所述触发信号,触发至少一个传感器,以获取至少两个图像。
10.根据权利要求9所述的方法,其特征在于,所述参考定时信号是由所述GPS接收器生成的PPS信号。
11.根据权利要求9所述的方法,还包括使用所述参考定时信号的脉冲上升沿作为同步所述触发信号的参考。
12.根据权利要求9所述的方法,其特征在于,所述至少一个传感器包括相机或激光雷达(LiDAR)。
13.根据权利要求9所述的方法,进一步包括:
从所述同步控制面板,接收所述参考定时信号;
从所述至少一个传感器,接收所述至少两个图像和对应于每个图像的一组时间戳;以及
基于所述参考定时信号和所述时间戳,使用处理器,确定每个图像的获取时间。
14.根据权利要求13所述的方法,其特征在于,确定所述获取时间还包括:
基于所述参考定时信号,确定参考图像触发时间;
识别在所述参考图像触发时间获取的所述至少两个图像中的参考图像;以及
基于所述参考图像触发时间和所述相应的一组时间戳,确定所述剩余图像中的每一个图像的获取时间。
15.一种同步控制面板,包括:
至少一个输入引脚,其被配置为接收参考定时信号和车速信号;
至少一个输出引脚,其被配置为向至少一个传感器提供触发信号,其中所述触发信号是基于所述参考定时信号和所述车速信号确定的;以及
反馈引脚,其被配置为处理器提供所述参考定时信号。
16.根据权利要求15所述的同步控制面板,其特征在于,所述参考定时信号是由GPS或IMU生成的PPS信号。
17.根据权利要求15所述的同步控制面板,其特征在于,所述参考定时信号包括第一频率的脉冲,并且所述触发信号包括第二频率的脉冲,其中所述第二频率与所述第一频率之间的比率对应于所述车速。
18.根据权利要求15所述的同步控制面板,其特征在于,所述同步控制面板被配置为使用所述参考定时信号的脉冲上升沿作为用于同步所述触发信号的参考。
19.根据权利要求15所述的同步控制面板,其特征在于,从CAN总线接收所述车速信号。
20.根据权利要求15所述的同步控制面板,其特征在于,所述至少一个传感器包括相机或激光雷达(LiDAR)。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2018/118866 WO2020113358A1 (en) | 2018-12-03 | 2018-12-03 | Systems and methods for synchronizing vehicle sensors and devices |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112041767A true CN112041767A (zh) | 2020-12-04 |
Family
ID=70973993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880092869.XA Pending CN112041767A (zh) | 2018-12-03 | 2018-12-03 | 用于同步车辆传感器和设备的***和方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112041767A (zh) |
WO (1) | WO2020113358A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113325838A (zh) * | 2021-04-23 | 2021-08-31 | 武汉光庭信息技术股份有限公司 | 一种基于相机曝光特性的多传感器时间同步方法及装置 |
CN113954771A (zh) * | 2021-11-01 | 2022-01-21 | 武汉萨普科技股份有限公司 | 一种房车监控*** |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112865902B (zh) * | 2020-12-24 | 2023-06-23 | 深兰人工智能(深圳)有限公司 | 数据采集和时间同步方法、装置、电子设备及存储介质 |
AU2023200522B1 (en) * | 2022-06-24 | 2023-04-13 | Commonwealth Scientific And Industrial Research Organisation | Clock synchronisation |
CN115603849B (zh) * | 2022-11-24 | 2023-04-07 | 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) | 多传感器触发控制方法、装置、设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101949715A (zh) * | 2010-08-10 | 2011-01-19 | 武汉武大卓越科技有限责任公司 | 高精度时空数据获取的多传感器集成同步控制方法和*** |
CN203133590U (zh) * | 2013-03-14 | 2013-08-14 | 武汉大学 | 一种车载同步控制器 |
CN103744372A (zh) * | 2013-12-23 | 2014-04-23 | 广东电网公司电力科学研究院 | 无人机电力巡检的多传感器时间同步方法与*** |
CN104902021A (zh) * | 2015-05-25 | 2015-09-09 | 北京嘀嘀无限科技发展有限公司 | 同步信息的方法及装置 |
CN105940390A (zh) * | 2013-12-30 | 2016-09-14 | 谷歌技术控股有限责任公司 | 用于同步从设备的多个传感器接收的数据的方法和*** |
US9537956B1 (en) * | 2015-12-11 | 2017-01-03 | Uber Technologies, Inc. | System for acquiring time-synchronized sensor data |
CN107533801A (zh) * | 2013-11-01 | 2018-01-02 | 国际智能技术公司 | 使用测绘车辆的地图测绘技术 |
CN108168918A (zh) * | 2017-12-25 | 2018-06-15 | 中铁第四勘察设计院集团有限公司 | 用于轨道自动测量车同步测量的同步自动控制***及方法 |
CN108761475A (zh) * | 2017-04-20 | 2018-11-06 | 通用汽车环球科技运作有限责任公司 | 用于自主车辆操作的校准验证 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1707225A (zh) * | 2004-06-11 | 2005-12-14 | 东软集团有限公司 | 一种车辆走行真实位置的记录方法 |
CN100487481C (zh) * | 2007-05-25 | 2009-05-13 | 北京航空航天大学 | 一种位置姿态***的硬件时间同步方法 |
US9139203B2 (en) * | 2011-11-04 | 2015-09-22 | GM Global Technology Operations LLC | Lane tracking system |
CN106043169A (zh) * | 2016-07-01 | 2016-10-26 | 百度在线网络技术(北京)有限公司 | 环境感知设备和应用于环境感知设备的信息获取方法 |
-
2018
- 2018-12-03 CN CN201880092869.XA patent/CN112041767A/zh active Pending
- 2018-12-03 WO PCT/CN2018/118866 patent/WO2020113358A1/en active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101949715A (zh) * | 2010-08-10 | 2011-01-19 | 武汉武大卓越科技有限责任公司 | 高精度时空数据获取的多传感器集成同步控制方法和*** |
CN203133590U (zh) * | 2013-03-14 | 2013-08-14 | 武汉大学 | 一种车载同步控制器 |
CN107533801A (zh) * | 2013-11-01 | 2018-01-02 | 国际智能技术公司 | 使用测绘车辆的地图测绘技术 |
CN103744372A (zh) * | 2013-12-23 | 2014-04-23 | 广东电网公司电力科学研究院 | 无人机电力巡检的多传感器时间同步方法与*** |
CN105940390A (zh) * | 2013-12-30 | 2016-09-14 | 谷歌技术控股有限责任公司 | 用于同步从设备的多个传感器接收的数据的方法和*** |
CN104902021A (zh) * | 2015-05-25 | 2015-09-09 | 北京嘀嘀无限科技发展有限公司 | 同步信息的方法及装置 |
US9537956B1 (en) * | 2015-12-11 | 2017-01-03 | Uber Technologies, Inc. | System for acquiring time-synchronized sensor data |
CN108761475A (zh) * | 2017-04-20 | 2018-11-06 | 通用汽车环球科技运作有限责任公司 | 用于自主车辆操作的校准验证 |
CN108168918A (zh) * | 2017-12-25 | 2018-06-15 | 中铁第四勘察设计院集团有限公司 | 用于轨道自动测量车同步测量的同步自动控制***及方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113325838A (zh) * | 2021-04-23 | 2021-08-31 | 武汉光庭信息技术股份有限公司 | 一种基于相机曝光特性的多传感器时间同步方法及装置 |
CN113954771A (zh) * | 2021-11-01 | 2022-01-21 | 武汉萨普科技股份有限公司 | 一种房车监控*** |
Also Published As
Publication number | Publication date |
---|---|
WO2020113358A1 (en) | 2020-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3612854B1 (en) | Vehicle navigation system using pose estimation based on point cloud | |
CA3028653C (en) | Methods and systems for color point cloud generation | |
CA3027921C (en) | Integrated sensor calibration in natural scenes | |
CN112041767A (zh) | 用于同步车辆传感器和设备的***和方法 | |
EP3598874B1 (en) | Systems and methods for updating a high-resolution map based on binocular images | |
CN112005079B (zh) | 用于更新高清地图的***和方法 | |
CN112861660A (zh) | 激光雷达阵列与相机同步装置、方法、设备及存储介质 | |
WO2020118619A1 (en) | Method for detecting and modeling of object on surface of road | |
AU2018102199A4 (en) | Methods and systems for color point cloud generation | |
RU2789923C2 (ru) | Способы и системы для синхронизации датчиков беспилотных транспортных средств (sdv) онлайн | |
CN114937091A (zh) | 一种车道线的检测方法、***、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |