CN115454040A - 多传感器的同步控制方法、设备、无人驾驶***和介质 - Google Patents
多传感器的同步控制方法、设备、无人驾驶***和介质 Download PDFInfo
- Publication number
- CN115454040A CN115454040A CN202211099893.0A CN202211099893A CN115454040A CN 115454040 A CN115454040 A CN 115454040A CN 202211099893 A CN202211099893 A CN 202211099893A CN 115454040 A CN115454040 A CN 115454040A
- Authority
- CN
- China
- Prior art keywords
- sensor
- synchronized
- reference point
- preset reference
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 207
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000005070 sampling Methods 0.000 claims abstract description 69
- 230000008569 process Effects 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 10
- 230000000737 periodic effect Effects 0.000 claims description 9
- 239000013078 crystal Substances 0.000 claims description 8
- 238000009434 installation Methods 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 abstract description 3
- 238000005259 measurement Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/90—Single sensor for two or more measurements
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
Abstract
本发明提供了一种多传感器的同步控制方法、设备、无人驾驶***和介质，包括基于待同步传感器对应的预设参考点的坐标和待同步传感器的控制特性，确定待同步传感器的延迟时长；基于预设目标采样时刻和延迟时长，确定待同步传感器的触发时刻；利用触发时刻，对待同步传感器对应的同步时钟信号进行触发，以便待同步传感器在目标采样时刻对预设参考点进行数据采样，这样，可以针对每个传感器设置不同的触发时刻，并使所有传感器能够在预设目标采样时刻针对对应的参考点进行采样，实现了所有传感器针对同一物体的同步采样，提高了感知***的感知结果的精度，进而提高了无人驾驶***的稳定性和安全性。
Description
技术领域
本发明涉及无人驾驶技术领域，具体提供一种多传感器的同步控制方法、设备、无人驾驶***和介质。
背景技术
高级驾驶辅助***(Advanced Driving Assistance System，ADAS)的功能越来越受到大家的关注，而且使用的场景随着传感器和信息技术的进步，功能的体验也进一步提升。
现有的ADAS中由于各传感器的扫描方式不同，传感器采样数据对应的时间不统一，同一物体在不同传感器中对应位置不一致，这样，感知***基于各个传感器的数据结果进行目标识别，随后进行融合校验得到最终的感知结果精度较低，进而降低了无人驾驶***的稳定性和安全性。
发明内容
为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决感知***基于各个传感器的数据结果进行目标识别，随后进行融合校验得到最终的感知结果精度较低，进而降低了无人驾驶***的稳定性和安全性的技术问题的多传感器的同步控制方法、设备、无人驾驶***和介质。
在第一方面，本发明提供一种多传感器的同步控制方法，所述多传感器的同步控制方法包括：
基于待同步传感器对应的预设参考点的坐标和所述待同步传感器的控制特性，确定所述待同步传感器的延迟时长；其中，所述延迟时长为所述待同步传感器的触发时刻到所述待同步传感器的预设目标采样时刻之间的时长；
基于预设目标采样时刻和所述延迟时长，确定所述待同步传感器的触发时刻；
利用所述触发时刻，对所述待同步传感器对应的基于预先提供的时钟信号源得到的同步时钟信号进行触发，以便所述待同步传感器在所述目标采样时刻对所述预设参考点进行数据采样。
进一步地，上述所述的多传感器的同步控制方法中，所述同步时钟信号根据如下方式获得：
基于预先提供的时钟信号源，利用与所述待同步传感器的采样频率相同的分频器对所述时钟信号源进行分频，得到所述同步时钟信号；或者
基于预先提供的时钟信号源，按照固定频率对所述待同步传感器的本地时钟进行校正，得到所述同步时钟信号。
基于待同步传感器对应的预设参考点的坐标和所述待同步传感器的控制特性，确定所述待同步传感器的延迟时长，包括：
基于所述预设参考点的坐标，确定所述待同步传感器的第一延迟时长；
基于待同步传感器的控制特性，确定所述待同步传感器的第二延迟时长；
将所述第一延迟时长与所述第二延迟时长的和作为所述延迟时长。
进一步地，上述所述的多传感器的同步控制方法中，基于待同步传感器对应的预设参考点的坐标和所述待同步传感器的控制特性，确定所述待同步传感器的延迟时长，包括：
基于所述预设参考点的坐标，确定所述待同步传感器的第一延迟时长；
基于待同步传感器的控制特性，确定所述待同步传感器的第二延迟时长；
将所述第一延迟时长与所述第二延迟时长的和作为所述延迟时长。
进一步地，上述所述的多传感器的同步控制方法中，基于所述预设参考点的坐标，确定所述待同步传感器的第一延迟时长，包括：
基于预设的坐标与延迟时长的关联关系，确定所述预设参考点的坐标对应的第一延迟时长；
基于待同步传感器的控制特性，确定所述待同步传感器的第二延迟时长，包括：
基于所述待同步传感器的响应时长和/或采样频率，确定所述第二延迟时长。
进一步地，上述所述的多传感器的同步控制方法中，基于待同步传感器对应的预设参考点的坐标和所述待同步传感器的控制特性，确定所述待同步传感器的延迟时长之前，还包括：
在设置所述待同步传感器的无人驾驶***的坐标系下，选择至少一个指定方向上多个传感器的采样范围的公共点作为每个指定方向上的预设参考点；
其中，所述传感器的采样范围根据所述传感器的安装角度和位置确定。
进一步地，上述所述的多传感器的同步控制方法中，基于待同步传感器对应的预设参考点的坐标和所述待同步传感器的控制特性，确定所述待同步传感器的触发时刻的延迟时之前，还包括：
在所述待同步传感器的坐标系下，选择指定位置的点作为所述预设参考点。
进一步地，上述所述的多传感器的同步控制方法，还包括：
若所述预设参考点为在所述待同步传感器的坐标系下，选择指定位置的点，根据所述待同步传感器的外参，对所述待同步传感器采样的所述数据进行校正。
进一步地，上述所述的多传感器的同步控制方法中，所述时钟信号源的获取过程包括：
利用高精度温度漂移补偿晶振产生频率固定的周期性波形；
将所述周期性波形作为所述时钟信号源。
在第二方面，本发明提供一种多传感器的同步控制设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述任一项所述的多传感器的同步控制方法。
在第三方面，提供一种无人驾驶***，其特征在于，包括如上所述的多传感器的同步控制设备。
在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述任一项技术方案所述的多传感器的同步控制方法。
方案1.一种多传感器的同步控制方法，其特征在于，包括：
基于待同步传感器对应的预设参考点的坐标和所述待同步传感器的控制特性，确定所述待同步传感器的延迟时长；其中，所述延迟时长为所述待同步传感器的触发时刻到所述待同步传感器的预设目标采样时刻之间的时长；
基于预设目标采样时刻和所述延迟时长，确定所述待同步传感器的触发时刻；
利用所述触发时刻，对所述待同步传感器对应的基于预先提供的时钟信号源得到的同步时钟信号进行触发，以便所述待同步传感器在所述目标采样时刻对所述预设参考点进行数据采样。
方案2.根据方案1所述的多传感器的同步控制方法，其特征在于，所述同步时钟信号根据如下方式获得：
基于预先提供的时钟信号源，利用与所述待同步传感器的采样频率相同的分频器对所述时钟信号源进行分频，得到所述同步时钟信号；或者
基于预先提供的时钟信号源，按照固定频率对所述待同步传感器的本地时钟进行校正，得到所述同步时钟信号。
方案3.根据方案1所述的多传感器的同步控制方法，其特征在于，基于待同步传感器对应的预设参考点的坐标和所述待同步传感器的控制特性，确定所述待同步传感器的延迟时长，包括：
基于所述预设参考点的坐标，确定所述待同步传感器的第一延迟时长；
基于待同步传感器的控制特性，确定所述待同步传感器的第二延迟时长；
将所述第一延迟时长与所述第二延迟时长的和作为所述延迟时长。
方案4.根据方案3所述的多传感器的同步控制方法，其特征在于，基于所述预设参考点的坐标，确定所述待同步传感器的第一延迟时长，包括：
基于预设的坐标与延迟时长的关联关系，确定所述预设参考点的坐标对应的第一延迟时长；
基于待同步传感器的控制特性，确定所述待同步传感器的第二延迟时长，包括：
基于所述待同步传感器的响应时长和/或采样频率，确定所述第二延迟时长。
方案5.根据方案1所述的多传感器的同步控制方法，其特征在于，基于待同步传感器对应的预设参考点的坐标和所述待同步传感器的控制特性，确定所述待同步传感器的延迟时长之前，还包括：
在设置所述待同步传感器的无人驾驶***的坐标系下，选择至少一个指定方向上多个传感器的采样范围的公共点作为每个指定方向上的预设参考点；
其中，所述传感器的采样范围根据所述传感器的安装角度和位置确定。
方案6.根据方案1所述的多传感器的同步控制方法，其特征在于，基于待同步传感器对应的预设参考点的坐标和所述待同步传感器的控制特性，确定所述待同步传感器的触发时刻的延迟时之前，还包括：
在所述待同步传感器的坐标系下，选择指定位置的点作为所述预设参考点。
方案7.根据方案6所述的多传感器的同步控制方法，其特征在于，还包括：
若所述预设参考点为在所述待同步传感器的坐标系下，选择指定位置的点，根据所述待同步传感器的外参，对所述待同步传感器采样的所述数据进行校正。
方案8.根据方案1所述的多传感器的同步控制方法，其特征在于，所述时钟信号源的获取过程包括：
利用高精度温度漂移补偿晶振产生频率固定的周期性波形；
将所述周期性波形作为所述时钟信号源。
方案9.一种多传感器的同步控制设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行方案1至8中任一项所述的多传感器的同步控制方法。
方案10.一种无人驾驶***，其特征在于，包括如方案9所述的多传感器的同步控制设备。
方案11.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行方案1至8中任一项所述的多传感器的同步控制方法。
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
在实施本发明的技术方案中，基于待同步传感器对应的预设参考点的坐标和所述待同步传感器的控制特性，确定所述待同步传感器的延迟时长；基于预设目标采样时刻和所述延迟时长，确定所述待同步传感器的触发时刻；利用所述触发时刻，对所述待同步传感器对应的同步时钟信号进行触发，以便所述待同步传感器在所述预设目标采样时刻对所述预设参考点进行数据采样，这样，可以针对每个传感器设置不同的触发时刻，并使所有传感器能够在预设目标采样时刻针对对应的参考点进行采样，实现了所有传感器针对同一物体的同步采样，提高了感知***的感知结果的精度，进而提高了无人驾驶***的稳定性和安全性。
附图说明
参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：
图1是根据本发明的一个实施例的智能家居设备的控制方法的主要步骤流程示意图；
图2是根据本发明的一个实施例的多传感器的同步控制***的主要结构框图；
图3是两个不同摄像头进行采样的具体时序控制图；
图4是毫米波雷达的时序控制图；
图5是本发明的多传感器同步控制的时序图；
图6是根据本发明的一个实施例的多传感器的同步控制设备的主要结构框图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
现有的ADAS中由于各传感器的扫描方式不同，传感器采样数据对应的时间不统一，同一物体在不同传感器中对应位置不一致，这样，感知***基于各个传感器的数据结果进行目标识别，随后进行融合校验得到最终的感知结果精度较低，进而降低了无人驾驶***的稳定性和安全性。
因此，为了解决上述技术问题，本发明提供了以下技术方案：
参阅附图1，图1是根据本发明的一个实施例的智能家居设备的控制方法的主要步骤流程示意图。如图1所示，本发明实施例中的多传感器的同步控制方法主要包括下列步骤101-步骤103。
步骤101、基于待同步传感器对应的预设参考点的坐标和所述待同步传感器的控制特性，确定所述待同步传感器的延迟时长；
在一个具体实现过程中，待同步传感器的延迟时长为所述待同步传感器的触发时刻到所述待同步传感器的预设目标采样时刻之间的时长，即ADAS发出触发信号后，经过该延迟时长后，待同步传感器可以在预设目标采用时刻进行采样。
在一个具体实现过程中，ADAS中存在多个传感器，可以根据实际需求针对每个传感器设定对应的参考点，以使每个传感器能够在预设参考点进行数据采样。
在一个具体实现过程中，该预设参考点的设置方式可以包括如下两种设置方式：
第一种：在设置所述待同步传感器的无人驾驶***的坐标系下，选择至少一个指定方向上多个传感器的采样范围的公共点作为每个指定方向上的预设参考点。其中，传感器的采样范围可以包括传感器的覆盖范围和/或传感器的视距范围。也就是说，可以针对指定方向上选取多个传感器均能扫描到的交点作为指定方向上的预设参考点。其中，可以包括位于车辆前后左右4个指定方向，以便对车辆周围360°范围进行扫描。
在一个具体实现过程中，可以根据所述传感器的安装角度和位置确定传感器的采样范围，这样，传感器因为汽车震动或其他因素导致安装角度和位置产生变化时，传感器的采样范围可能会发生变化，从而可以对预设参考点进行更新，得到更新后的预设参考点的坐标，得到比较准去的待同步传感器的延迟时长，以降低同步精度的误差。
第二种：在所述待同步传感器的坐标系下，选择指定位置的点作为所述预设参考点。其中，该方式下可以免去传感器外参因素影响，对于相同类型传感器可以选择近似的参考点，以便节省资源。但是最终同步过程中转换到无人驾驶***的坐标系下会存在由于传感器位置不同引入的同步点空间上无法准确对齐的问题，在后续的感知融合中基于外参对传感器数据进行校正和处理。
在一个具体实现过程中，可以获取需要控制的待同步传感器对应的预设参考点的坐标，然后利用该预设参考点的坐标，确定所述待同步传感器的第一延迟时长。
具体地，待同步传感器对应的预设参考点的坐标不同，其对应的延迟时长是不同的，因此，可以根据理论计算的值，针对待同步传感器预先设置一个坐标与延迟时长的关联关系，这样，在获取到待同步传感器对应的预设参考点的坐标后，可以通过该坐标与延迟时长的关联关系，进行查找，得到对应的延迟时长作为待同步传感器的第一延迟时长。其中，若预设参考点采用上述第一种方式设置，可以针对每个方向的预设参考点和传感器各自的外参，得到对应方向视距范围内预设参考点转化后的坐标。
在一个具体实现过程中，还可以基于待同步传感器的控制特性，确定所述待同步传感器的第二延迟时长，然后将所述第一延迟时长与所述第二延迟时长的和作为所述延迟时长。
具体地，不同传感器的响应时长和/或采样频率等控制特性不同，接收到ADAS控制器发出的控制信号的时刻也是不同的，因此，可以基于所述待同步传感器的响应时长和/或采样频率，确定所述第二延迟时长。其中，该响应时长为传感器的控制闭环环路所对应时间段。
步骤102、基于预设目标采样时刻和所述延迟时长，确定所述待同步传感器的触发时刻；
在一个具体实现过程中，可以针对所有传感器设置一个同时进行数据采用的时间作为预设目标采样时刻，这样，在得到待同步传感器的延迟时长后，在预设目标采样时刻基础上向前推延迟时长，得到对应的时刻作为待同步传感器的触发时刻，即ADAS控制器发出控制信号的时刻。
步骤103、利用所述触发时刻，对所述待同步传感器对应的同步时钟信号进行触发，以便所述待同步传感器在所述目标采样时刻对所述预设参考点进行数据采样。
在一个具体实现过程中，ADAS控制器可以基于待同步传感器的触发时刻，对所述待同步传感器对应的同步时钟信号进行触发，从而向待同步传感器发送控制信号，然后经过延迟时长后，待同步传感器在预设目标采样时刻接收到该控制信号，然后待同步传感器对所述预设参考点进行数据采样。
在一个具体实现过程中，所述同步时钟信号根据如下方式获得：
可以基于预先提供的时钟信号源，利用与所述待同步传感器的采样频率相同的分频器对所述时钟信号源进行分频，得到所述同步时钟信号，或者，基于预先提供的时钟信号源，采用以太网的广义精确时钟协议(Generalized Precision Time Protocol，gPTP)时间同步机制，按照固定频率对所述待同步传感器的本地时钟进行校正，得到所述同步时钟信号。以保证所有传感器的时间轴统一。
具体地，可以利用晶振提供时钟信号源，也可以是其他可以产生时钟信号源的器件或电路。晶振采用高精度温度漂移补偿晶振，以便晶振内部通过附加的温度补偿电路使得由周围温度变化产生的振荡频率变化量被削减。
具体地，可以利用高精度温度漂移补偿晶振产生频率固定的周期性波形；将所述周期性波形作为所述时钟信号源。其中，频率固定的周期性波形可以包括方形波、三角波、正弦波等，本实施例不做具体限制。
本实施例的多传感器的同步控制方法，基于待同步传感器对应的预设参考点的坐标和所述待同步传感器的控制特性，确定所述待同步传感器的延迟时长；基于预设目标采样时刻和所述延迟时长，确定所述待同步传感器的触发时刻；利用所述触发时刻，对所述待同步传感器对应的同步时钟信号进行触发，以便所述待同步传感器在所述预设目标采样时刻对所述预设参考点进行数据采样，这样，可以针对每个传感器设置不同的触发时刻，并使所有传感器能够在预设目标采样时刻针对对应的参考点进行采样，实现了所有传感器针对同一物体的同步采样，提高了感知***的感知结果的精度，进而提高了无人驾驶***的稳定性和安全性。
下面以具体示例对本发明的技术方案进行详细描述：
参见图2，图2是根据本发明的一个实施例的多传感器的同步控制***的主要结构框图。如图2所示，本实施例的多传感器的同步控制***可以包括整车时间***20、ADAS21、相位控制模块22、摄像头23、激光雷达24、毫米波雷达25、惯性测量单元26、超声波传感器27、控制芯片28等。
对于摄像头23而言，摄像头23的触发时刻即为摄像头23触发时刻和延迟值用于配置传感器的寄存器，摄像头23与ADAS21通过硬线连接传输，摄像头23的响应时长可以忽略，并基于摄像头23对应的参考点的坐标反推第一延迟时长，从而得到摄像头23的触发时刻。
需要说明的是，在相位控制模块22输出指令时已经基于链路传输延迟和曝光延迟等信息做了检验和计算，摄像头23无需做额外的计算和补偿，直接配置写入寄存器后同步生效即可。图3是两个不同摄像头进行采样的具体时序控制图。如图3所示，上下两个平行四边形为两个摄像头分别对应的扫描结果，二者的中心位置始终对齐，这样则表明上下两个摄像头23均在同一时刻采集预设参考点的数据。参见线x和线y。
对于激光雷达24而言，激光雷达24的触发时刻为参考点对应的扫描时刻。激光雷达24与ADAS21通过以太网链接传输。该方案依托于激光雷达24的扫描方式，需要根据激光雷达24的扫描方式得到坐标与延迟时长的关联关系，根据激光雷达24对应的参考点的坐标反推第一延迟时长，同时结合Lidar本身电机控制闭环特性(响应时长和控制频率等)给出激光雷达24的第二延迟时长，进而得到激光雷达24的触发时刻。
对于毫米波雷达25而言，毫米波雷达25的触发时刻为电磁波发射持续时间的中点时刻。毫米波雷达25与ADAS21通过以太网链接传输，其得到毫米波雷达25与得到激光雷达24的触发时刻类似，详细请参考上述相关记载，在此不再赘述。可以通过调整电磁波发送时刻和发送时长来控制中点时刻实现同步。图4是毫米波雷达的时序控制图。如图4所示，(a)为未同步控制的时序，(b)为提前触发的时序，(c)为延后触发的时序。
对于惯性测量单元26，其触发周期达到200Hz，相较于其他传感器频率高出一个数量级。基于全局时钟提供PPS信号做频率校正，但是，不进行触发主动同步功能，理论上惯性测量单元26的数据与全局时钟下其他传感器的采样同步点最大偏差为5ms，可以在算法端基于惯性测量单元26的时间戳对数据结果进行补偿以实现传感器间的融合。其中，惯性测量单元26与ADAS21也通过硬线连接传输，惯性测量单元26的响应时长可以忽略，并基于惯性测量单元26对应的参考点的坐标反推第一延迟时长，从而得到惯性测量单元26的触发时刻。
需要说明的是，惯性测量单元26的响应时长也可以不忽略，并将其作为第二延时时长，然后结合基于惯性测量单元26对应的参考点的坐标反推第一延迟时长，可以得到惯性测量单元26的触发时刻。
对于超声波传感器27而言，可以通过控制芯片28基于gPTP与ADAS21完成时间轴同步，通过以太网接收触发时间信息完成对驱动层的触发的过程，或者，通过控制芯片28控制发射命令，完成对驱动层的触发的过程。
需要说明的是，对于激光雷达24、毫米波雷达25、超声波传感器27而言，由于其与ADAS21通过以太网传输数据，其受各自的控制特性影响较大，因此，相位控制模块22还可以根据各个传感器的上一周期的采样时刻，对下一周期的各个传感器的触发时刻进行纠正，以进一步保证与其他传感器的同步采样精度。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
图5是本发明的多传感器同步控制的时序图，如图5所示，对于第一摄像头A1、第二摄像头A2、第一毫米波雷达B1、第一毫米波雷达B2、激光雷达而言，其可以在预先提供的时钟信号源Fsync对应的统一时间轴下，实现时间和空间的同步采样。
需要说明的是，第一毫米波雷达B1的采样频率、第一毫米波雷达B2的采样频率、激光雷达的采样频率与第一摄像头A1的采样频率以及第二摄像头A2的采样频率不同，因此，在特定的时刻下，第一摄像头A1、第二摄像头A2、第一毫米波雷达B1、第一毫米波雷达B2、激光雷达能够达到同步采样。而对于第一摄像头A1和第二摄像头A2而言，二者的采样频率相同，可以在每个时刻进行同步采样。
本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
进一步，本发明还提供了一种多传感器的同步控制设备。
参阅附图6，图6是根据本发明的一个实施例的多传感器的同步控制设备的主要结构框图。如图6所示，本发明实施例中的多传感器的同步控制设备包括处理器60和存储装置61。
存储装置61可以被配置成存储执行上述方法实施例的多传感器的同步控制方法的程序，处理器60可以被配置成用于执行存储装置61中的程序，该程序包括但不限于执行上述方法实施例的多传感器的同步控制方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该多传感器的同步控制设备局可以是包括各种电子设备形成的控制设备。
进一步，本发明还提供了一种无人驾驶***，该无人驾驶***包括上述实施例的多传感器的同步控制设备。
进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的多传感器的同步控制方法的程序，该程序可以由处理器加载并运行以实现上述多传感器的同步控制方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种多传感器的同步控制方法，其特征在于，包括：
基于待同步传感器对应的预设参考点的坐标和所述待同步传感器的控制特性，确定所述待同步传感器的延迟时长；其中，所述延迟时长为所述待同步传感器的触发时刻到所述待同步传感器的预设目标采样时刻之间的时长；
基于预设目标采样时刻和所述延迟时长，确定所述待同步传感器的触发时刻；
利用所述触发时刻，对所述待同步传感器对应的基于预先提供的时钟信号源得到的同步时钟信号进行触发，以便所述待同步传感器在所述目标采样时刻对所述预设参考点进行数据采样。
2.根据权利要求1所述的多传感器的同步控制方法，其特征在于，所述同步时钟信号根据如下方式获得：
基于预先提供的时钟信号源，利用与所述待同步传感器的采样频率相同的分频器对所述时钟信号源进行分频，得到所述同步时钟信号；或者
基于预先提供的时钟信号源，按照固定频率对所述待同步传感器的本地时钟进行校正，得到所述同步时钟信号。
3.根据权利要求1所述的多传感器的同步控制方法，其特征在于，基于待同步传感器对应的预设参考点的坐标和所述待同步传感器的控制特性，确定所述待同步传感器的延迟时长，包括：
基于所述预设参考点的坐标，确定所述待同步传感器的第一延迟时长；
基于待同步传感器的控制特性，确定所述待同步传感器的第二延迟时长；
将所述第一延迟时长与所述第二延迟时长的和作为所述延迟时长。
4.根据权利要求3所述的多传感器的同步控制方法，其特征在于，基于所述预设参考点的坐标，确定所述待同步传感器的第一延迟时长，包括：
基于预设的坐标与延迟时长的关联关系，确定所述预设参考点的坐标对应的第一延迟时长；
基于待同步传感器的控制特性，确定所述待同步传感器的第二延迟时长，包括：
基于所述待同步传感器的响应时长和/或采样频率，确定所述第二延迟时长。
5.根据权利要求1所述的多传感器的同步控制方法，其特征在于，基于待同步传感器对应的预设参考点的坐标和所述待同步传感器的控制特性，确定所述待同步传感器的延迟时长之前，还包括：
在设置所述待同步传感器的无人驾驶***的坐标系下，选择至少一个指定方向上多个传感器的采样范围的公共点作为每个指定方向上的预设参考点；
其中，所述传感器的采样范围根据所述传感器的安装角度和位置确定。
6.根据权利要求1所述的多传感器的同步控制方法，其特征在于，基于待同步传感器对应的预设参考点的坐标和所述待同步传感器的控制特性，确定所述待同步传感器的触发时刻的延迟时之前，还包括：
在所述待同步传感器的坐标系下，选择指定位置的点作为所述预设参考点。
7.根据权利要求6所述的多传感器的同步控制方法，其特征在于，还包括：
若所述预设参考点为在所述待同步传感器的坐标系下，选择指定位置的点，根据所述待同步传感器的外参，对所述待同步传感器采样的所述数据进行校正。
8.根据权利要求1所述的多传感器的同步控制方法，其特征在于，所述时钟信号源的获取过程包括：
利用高精度温度漂移补偿晶振产生频率固定的周期性波形；
将所述周期性波形作为所述时钟信号源。
9.一种多传感器的同步控制设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至8中任一项所述的多传感器的同步控制方法。
10.一种无人驾驶***，其特征在于，包括如权利要求9所述的多传感器的同步控制设备。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211099893.0A CN115454040A (zh) | 2022-09-07 | 2022-09-07 | 多传感器的同步控制方法、设备、无人驾驶***和介质 |
| PCT/CN2023/114242 WO2024051489A1 (zh) | 2022-09-07 | 2023-08-22 | 多传感器的同步控制方法、设备、无人驾驶***和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211099893.0A CN115454040A (zh) | 2022-09-07 | 2022-09-07 | 多传感器的同步控制方法、设备、无人驾驶***和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115454040A true CN115454040A (zh) | 2022-12-09 |
Family
ID=84303001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211099893.0A Pending CN115454040A (zh) | 2022-09-07 | 2022-09-07 | 多传感器的同步控制方法、设备、无人驾驶***和介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115454040A (zh) |
| WO (1) | WO2024051489A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024051489A1 (zh) * | 2022-09-07 | 2024-03-14 | 安徽蔚来智驾科技有限公司 | 多传感器的同步控制方法、设备、无人驾驶***和介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3842835A1 (en) * | 2019-12-24 | 2021-06-30 | Yandex Self Driving Group Llc | Methods and systems for online synchronization of sensors of self-driving vehicles (sdv) |
| CN111983948A (zh) * | 2020-07-07 | 2020-11-24 | 宝能(广州)汽车研究院有限公司 | 多传感器数据同步方法及其设备 |
| CN112067004B (zh) * | 2020-09-16 | 2023-03-28 | 上海商汤临港智能科技有限公司 | 自动驾驶***的时域同步方法和装置 |
| CN113887557A (zh) * | 2021-08-28 | 2022-01-04 | 苏州浪潮智能科技有限公司 | 一种多传感器数据融合的方法、***、设备和存储介质 |
| CN114006672B (zh) * | 2021-09-17 | 2024-04-02 | 东风汽车集团股份有限公司 | 一种车载多传感器数据同步采集方法及*** |
| CN115454040A (zh) * | 2022-09-07 | 2022-12-09 | 安徽蔚来智驾科技有限公司 | 多传感器的同步控制方法、设备、无人驾驶***和介质 |
-
2022
- 2022-09-07 CN CN202211099893.0A patent/CN115454040A/zh active Pending
-
2023
- 2023-08-22 WO PCT/CN2023/114242 patent/WO2024051489A1/zh unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024051489A1 (zh) * | 2022-09-07 | 2024-03-14 | 安徽蔚来智驾科技有限公司 | 多传感器的同步控制方法、设备、无人驾驶***和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024051489A1 (zh) | 2024-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10746841B2 (en) | System and method of sensor triggering for synchronized operation | |
| US9785150B2 (en) | Formatting sensor data for use in autonomous vehicle communications platform | |
| CN112230240A (zh) | 激光雷达与相机数据的时空同步***、装置及可读介质 | |
| US20190004530A1 (en) | Formatting sensor data for use in autonomous vehicle communications platform | |
| CN111585682B (zh) | 传感器时间同步方法、装置及终端设备 | |
| JP6463495B2 (ja) | システム間のグローバルクロックの確定方法及び確定構造 | |
| US11789119B2 (en) | Time synchronization and latency compensation for emulation test system | |
| CN111860604B (zh) | 数据融合方法、***及计算机存储介质 | |
| CN111934843A (zh) | 一种面向智能无人***的多传感器数据同步采集方法 | |
| WO2024051489A1 (zh) | 多传感器的同步控制方法、设备、无人驾驶***和介质 | |
| US9596666B1 (en) | System for processing asynchronous sensor data | |
| WO2020113358A1 (en) | Systems and methods for synchronizing vehicle sensors and devices | |
| CN110785950B (zh) | 时间同步方法、装置及***、存储介质 | |
| KR20220038603A (ko) | 레이더 구성 방법, 장치, 전자 기기 및 저장 매체 | |
| US20220260828A1 (en) | Frame synchronization method for scanning galvanometer and lidar | |
| CN111307174A (zh) | 一种传感器的标定方法、运动物体及存储介质 | |
| CN112067004A (zh) | 自动驾驶***的时域同步方法和装置 | |
| CN113671531A (zh) | 激光雷达同步方法、装置、可读存储介质及无人驾驶设备 | |
| WO2021245818A1 (ja) | 計測装置、計測方法、および計測プログラム | |
| CN112995524A (zh) | 高精采集车及其照片曝光信息生成***、方法和同步装置 | |
| CN109873576B (zh) | 一种分布式电机同步控制方法及装置 | |
| CN114740459A (zh) | 一种激光雷达校准方法及装置 | |
| CN113985431A (zh) | 一种数据采集方法、***、装置、电子设备及存储介质 | |
| Steinbaeck et al. | A hybrid timestamping approach for multi-sensor perception systems | |
| EP4339638A1 (en) | Frame synchronization method and apparatus for lidar system, and computer-readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |