CN117795579A - 一种数据融合方法、装置、设备、存储介质、车辆 - Google Patents
一种数据融合方法、装置、设备、存储介质、车辆 Download PDFInfo
- Publication number
- CN117795579A CN117795579A CN202180018741.0A CN202180018741A CN117795579A CN 117795579 A CN117795579 A CN 117795579A CN 202180018741 A CN202180018741 A CN 202180018741A CN 117795579 A CN117795579 A CN 117795579A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- information
- obstacle
- road
- list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title abstract description 43
- 230000002159 abnormal effect Effects 0.000 claims abstract description 195
- 230000004927 fusion Effects 0.000 claims abstract description 128
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 230000008447 perception Effects 0.000 claims description 62
- 239000000523 sample Substances 0.000 claims 1
- 239000000758 substrate Substances 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 14
- 238000004891 communication Methods 0.000 description 29
- 239000011159 matrix material Substances 0.000 description 19
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000005856 abnormality Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000007774 longterm Effects 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241000925028 Nitzschia sigma Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
一种数据融合方法、装置、设备、存储介质和车辆。其中,在车辆感知状态异常时,使用其他车辆的融合信息作为车辆的有效定位信息。本方法能够避免车辆定位错误,提升车辆定位精度,使得车辆在行驶过程中的定位漂移、传感器安装位置偏移、自车的障碍物误检或漏检等感知异常情况下,仍可稳定运行,提升了车辆行驶安全性。
Description
本申请涉及智能驾驶领域,尤其涉及一种数据融合方法、装置、设备、存储介质、车辆。
智能驾驶场景复杂且多样。为提高车辆感知数据的精度,引入诸如车联网(vehicle to everything,V2X)等车用无线通信技术是一种趋势。通常,通过直接融合各类数据,包含自车的感知数据和借由车用无线通信技术获取的数据等,来提高感知数据的精度或实现超距感知。然而,在车辆行驶过程中的定位漂移、因车辆的震动或碰撞而引起的传感器安装位置偏移、自车的障碍物误检或漏检等情况下,车辆的感知数据精度仍较低,降低了车辆定位精度,存在较大安全隐患。
发明内容
为解决上述技术问题,本申请实施例提供了一种数据融合方法、装置、设备、存储介质、车辆,能够在车辆感知状况欠佳的情况下,避免车辆定位错误,提升车辆定位精度。
本申请第一方面提供了一种数据融合方法,包括:
获取第一车辆所处路段的融合障碍物列表和车端状态列表,车端状态列表包括第一车辆的状态值,第一车辆的状态值用于判定第一车辆的感知状态,当第一车辆感知状态异常时融合障碍物列表包含第一车辆的融合信息;
根据第一车辆的状态值判定第一车辆感知状态异常时,使用第一车辆的融合信息作为第一车辆的有效定位信息;
其中,第一车辆的融合信息通过融合第一车辆所处路段中其他车辆检测到的第一车辆的信息而获得。
由此,车辆能够通过其状态值及时发现自身定位漂移等感知状态异常,并能够在感知状态异常的情况下,使用相应路段中其他车辆的融合信息作为车辆的有效定位信息,提高车辆在如定位漂移等情况下的定位精度,使得车辆在例如定位漂移等情况下仍可稳定运行。
作为第一方面的一种可能的实现方式,方法还包括:根据第一车辆的状态值判定第一车辆感知状态正常时,使用第一车辆的自车信息作为第一车辆的有效定位信息。
由此,在车辆感知状态正常时,使用可靠性和实时性均较高的自车信息作为车辆的有效定位信息,有利于提高车辆的定位精度和数据实时性。
作为第一方面的一种可能的实现方式,第一车辆的状态值用于指示第一车辆所处路段中的其他车辆中第一其他车辆的数量,第一其他车辆检测到的第一车辆的信息与第一车辆的自车信息不匹配;方法还包括:在第一车辆的状态值大于预设状态阈值时, 判定第一车辆感知状态异常。
由此,可通过车辆与其他车辆之间的信息差异判定车辆的状态。
作为第一方面的一种可能的实现方式,第一其他车辆为不符合第二预设条件的其他车辆,第二预设条件包括:其他车辆检测到的第一车辆的位置与第一车辆的自车信息中的位置之间的距离小于或等于预设的第二距离阈值。
由此,可通过车辆与其他车辆之间的位置信息的差异判定车辆的状态。
作为第一方面的一种可能的实现方式,方法还包括:获取第一车辆所处路段的路端障碍物列表,路端障碍物列表包含第一车辆所处路段中感知状态正常的车辆的自车信息;根据路端障碍物列表和第一车辆检测到的障碍物的信息,获得第一车辆的有效障碍物信息。
由此,便于车辆结合感知状态正常的其他车辆的信息,确定自身的障碍物及其信息,从而提高车辆障碍物信息的准确性和完整性。
作为第一方面的一种可能的实现方式,根据路端障碍物列表和第一车辆检测到的障碍物的信息,获得第一车辆的有效障碍物信息,包括:根据路端障碍物列表与第一车辆检测到的障碍物的信息,确定第一车辆的第一障碍物和第一车辆的异常障碍物比例;在第一车辆的异常障碍物比例小于或等于预设的第一比例阈值时,根据路端障碍物列表和第一车辆检测到的障碍物的信息确定第一障碍物的信息,并将第一障碍物的信息添加到第一车辆的有效障碍物信息中;其中,当第一车辆的第一障碍物在路端障碍物列表中的对应信息与第一车辆检测到的第一障碍物的信息不匹配时,第一车辆的第一障碍物为第一车辆的异常障碍物。
由此,便于结合感知状态正常的其他车辆的信息,确定车辆自身感知状况,同时提高车辆障碍物信息的准确性和完整性。
作为第一方面的一种可能的实现方式,异常障碍物为不满足第一预设条件的第一障碍物,第一预设条件包括:通过路端障碍物列表得到的第一障碍物的位置,与第一车辆检测到的第一障碍物的位置,之间的距离小于或等于预设的第一距离阈值。
由此,可通过车辆与感知状态正常的其他车辆之间的障碍物位置信息差异,准确定位车辆的异常障碍物。
作为第一方面的一种可能的实现方式,根据路端障碍物列表和第一车辆检测到的障碍物的信息,获得第一车辆的有效障碍物信息,还包括:对于路端障碍物列表中除第一障碍物之外的障碍物,将通过路端障碍物列表得到的第一障碍物的信息添加到第一车辆的有效障碍物信息中。
由此,便于结合感知状态正常的其他车辆的信息,获取车辆的超视距障碍物的信息,提高车辆的障碍物信息的准确性和完整性。
作为第一方面的一种可能的实现方式,还包括:在第一车辆的异常障碍物比例大于第一比例阈值时,检测第一车辆的出错传感器。
由此,便于结合感知状态正常的其他车辆的信息,确认车辆自身感知状况异常时,自动并及时地检测出车辆的出错传感器,降低车辆长期运行或者碰撞造成传感器安装位置偏移带来的安全风险。
作为第一方面的一种可能的实现方式,检测第一车辆的出错传感器,包括:根据 第一车辆的第一传感器感知到的障碍物信息与路端障碍物列表,确定第一传感器的第一障碍物、第一传感器的异常障碍物和第一传感器的异常障碍物比例;在第一传感器的异常障碍物比例大于或等于预设的第二比例阈值时,确定第一传感器出错;其中,当第一传感器的第一障碍物在路端障碍物列表中的对应信息与第一传感器感知到的第一障碍物的信息不匹配时,第一传感器的第一障碍物为第一传感器的异常障碍物。
由此,可结合感知状态正常的其他车辆的信息,确认车辆的传感器是否出错。
作为第一方面的一种可能的实现方式,数据融合方法还包括:根据第一传感器感知到的第一障碍物的信息和路端障碍物列表,确定第一传感器的补偿参数,第一传感器的补偿参数用于对第一传感器感知到的信息进行补偿。
由此,可结合感知状态正常的其他车辆的信息,对车辆的出错传感器的参数进行及时地补偿,降低车辆长期运行或者碰撞造成传感器安装位置偏移带来的安全风险。
作为第一方面的一种可能的实现方式,数据融合方法还包括:向路端设备发送第一车辆的车端信息,车端信息包括第一车辆的自车信息和第一车辆的异常障碍物的信息。
由此,可便于路端设备将结合车辆的信息确定路段中各车辆的状态和障碍物的信息。
作为第一方面的一种可能的实现方式,数据融合方法还包括:在如下一种或多种情况下告警:确定第一车辆的感知状态异常;检测到第一车辆的出错传感器;第一车辆的出错传感器属于预定的必要传感器。
由此,可及时提示用户,同时提升车辆行驶的安全性。
本申请第二方面提供了一种数据融合方法,包括:
获取第一车辆所处路段中其他车辆的车端信息,当第一车辆感知状态异常时,其他车辆的车端信息包括其他车辆检测到的第一车辆的信息;
根据其他车辆检测到的第一车辆的信息,获得第一车辆的融合信息;
向第一车辆发送融合障碍物列表,融合障碍物列表包含第一车辆的融合信息。
由此,可通过收集路段中多台车辆的信息来获得感知状态异常的车辆的融合信息,便于感知状态异常的车辆能够根据该融合信息进行实时定位,从而使得车辆在感知状态异常的情况下仍能够稳定运行。
作为第二方面的一种可能的实现方式,数据融合方法还包括:获取第一车辆的自车信息;根据其他车辆检测到的第一车辆的信息和第一车辆的自车信息,更新第一车辆的状态值,状态值用于判定第一车辆的感知状态;向第一车辆发送车端状态列表,车端状态列表包括第一车辆的状态值。
由此,可通过收集路段中多台车辆的信息来确定各台车辆的状态,便于车辆及时获知自身感知状况,从而使得车辆在感知状态异常的情况下能够避免定位错误。
作为第二方面的一种可能的实现方式,根据其他车辆检测到的第一车辆的信息和第一车辆的自车信息,更新第一车辆的状态值,包括:根据第一车辆的自车信息和其他车辆检测到的第一车辆的信息,确定第一其他车辆的数量,第一其他车辆检测到的第一车辆的信息与第一车辆的自车信息不匹配;根据第一其他车辆的数量更新第一车辆的状态值。
作为第二方面的一种可能的实现方式,第一其他车辆为不满足第二预设条件的其他车辆,第二预设条件包括:其他车辆检测到的第一车辆的位置与第一车辆的自车信息中的位置之间的距离小于或等于预设的第二距离阈值。
作为第二方面的一种可能的实现方式,其他车辆的车端信息还包括其他车辆的自车信息,车端状态列表还包括其他车辆的状态值;数据融合方法还包括:根据其他车辆的自车信息与状态值、第一车辆的自车信息与状态值,更新路端障碍物列表,路端障碍物列表包括第一车辆所处路段中感知状态正常的车辆的自车信息;向第一车辆和其他车辆发送路端障碍物列表。
由此,可将路段中感知状态正常的车辆的信息提供给各个车辆,以便各个车辆据此及时确定自身感知状况、传感器的出错情况以及确定出错传感器的补偿参数。
本申请第三方面提供了一种数据融合装置,包括:
第一获取单元,用于获取第一车辆所处路段的融合障碍物列表和车端状态列表,车端状态列表包括第一车辆的状态值,第一车辆的状态值用于判定第一车辆的感知状态,当第一车辆感知状态异常时融合障碍物列表包含第一车辆的融合信息;
第一确定单元,用于根据第一车辆的状态值判定第一车辆感知状态异常时,使用第一车辆的融合信息作为第一车辆的有效定位信息;
其中,第一车辆的融合信息通过融合第一车辆所处路段中其他车辆检测到的第一车辆的信息而获得。
作为第三方面的一种可能的实现方式,第一确定单元,还用于根据第一车辆的状态值判定第一车辆感知状态正常时,使用第一车辆的自车信息作为第一车辆的有效定位信息。
作为第三方面的一种可能的实现方式,第一获取单元,还用于获取第一车辆所处路段的路端障碍物列表,路端障碍物列表包含第一车辆所处路段中感知状态正常的车辆的自车信息;数据融合装置还包括:第二确定单元,用于根据路端障碍物列表和第一车辆检测到的障碍物的信息,获得第一车辆的有效障碍物信息。
作为第三方面的一种可能的实现方式,第二确定单元,还用于:对于路端障碍物列表中除第一障碍物之外的障碍物,将通过路端障碍物列表得到的第一障碍物的信息添加到第一车辆的有效障碍物信息中。
作为第三方面的一种可能的实现方式,数据融合装置还包括:传感器检测单元,用于检测第一车辆的出错传感器;第二确定单元,还用于在第一车辆的异常障碍物比例大于第一比例阈值时,通知传感器检测单元执行检测。
作为第三方面的一种可能的实现方式,数据融合装置还包括:补偿参数确定单元,用于在传感器检测单元检测到第一车辆的第一传感器为出错传感器时,根据第一传感器感知到的第一障碍物的信息和路端障碍物列表,确定第一传感器的补偿参数,第一传感器的补偿参数用于对第一传感器感知到的信息进行补偿。
作为第三方面的一种可能的实现方式,数据融合装置还包括:第一发送单元,用于向路端设备发送第一车辆的车端信息,车端信息包括第一车辆的自车信息和第一车辆的异常障碍物的信息。
作为第三方面的一种可能的实现方式,数据融合装置还包括:告警单元,具体用 于在如下一种或多种情况下告警:确定第一车辆的感知状态异常;检测到第一车辆的出错传感器;第一车辆的出错传感器属于预定的必要传感器。
本申请第四方面提供了一种数据融合装置,包括:
第二获取单元,用于获取第一车辆所处路段中其他车辆的车端信息,当第一车辆感知状态异常时,其他车辆的车端信息包括其他车辆检测到的第一车辆的信息;
融合单元,用于根据其他车辆检测到的第一车辆的信息,获得第一车辆的融合信息;
第二发送单元,用于向第一车辆发送融合障碍物列表,融合障碍物列表包含第一车辆的融合信息。
作为第四方面的一种可能的实现方式,第二获取单元,还用于获取第一车辆的自车信息;数据融合装置还包括:状态更新单元,用于根据其他车辆检测到的第一车辆的信息和第一车辆的自车信息,更新第一车辆的状态值,状态值用于判定第一车辆的感知状态;第二发送单元,还用于向第一车辆发送车端状态列表,车端状态列表包括第一车辆的状态值。
作为第四方面的一种可能的实现方式,其他车辆的车端信息还包括其他车辆的自车信息,车端状态列表还包括其他车辆的状态值;数据融合装置还可包括:路端障碍物更新单元,用于根据其他车辆的自车信息与状态值、第一车辆的自车信息与状态值,更新路端障碍物列表,路端障碍物列表包括第一车辆所处路段中感知状态正常的车辆的自车信息;第二发送单元,还可用于向第一车辆和其他车辆发送路端障碍物列表。
本申请第五方面提供了一种计算设备,包括至少一个处理器和至少一个存储器,存储器存储有程序指令,程序指令当被至少一个处理器执行时使得至少一个处理器执行第一方面的数据融合方法和/或第二方面的数据融合方法。
本申请第六方面提供了一种计算设备,包括处理器和接口电路,处理器通过接口电路访问存储器,存储器存储有程序指令,程序指令当被处理器执行时使得处理器执行第一方面的数据融合方法和/或第二方面的数据融合方法。
本申请第七方面提供了一种计算机可读存储介质,其上存储有程序指令,其特征在于,程序指令当被计算机执行时使得计算机执行第一方面的数据融合方法或者第二方面的数据融合方法。
本申请第八方面提供了一种计算机程序产品,其包括计算机程序,计算机程序在被处理器运行时使得该处理器执行第一方面的数据融合方法或者第二方面的数据融合方法。
本申请第九方面提供了一种车辆,包括第五方面的计算设备或第六方面提供的计算设备。
本申请实施例中,在第一车辆感知状态异常时,使用基于其他车辆检测到的第一车辆的信息融合得到的融合信息代替第一车辆的自车信息,作为车辆的有效定位信息,可提高车辆感知异常时例如规划决策等后续处理的可靠性和准确性,使车辆在自身定位错误的情况下仍可稳定运行,避免无人驾驶等场景中交通事故的发生,提高了车辆行驶的安全性。
本申请的这些和其它方面在以下(多个)实施例的描述中会更加简明易懂。
以下参照附图来进一步说明本申请的各个特征和各个特征之间的联系。附图均为示例性的,一些特征并不以实际比例示出,并且一些附图中可能省略了本申请所涉及领域的惯常的且对于本申请非必要的特征,或是额外示出了对于本申请非必要的特征,附图所示的各个特征的组合并不用以限制本申请。另外,在本说明书全文中,相同的附图标记所指代的内容也是相同的。具体的附图说明如下:
图1是本申请实施例的示例性应用场景的示意图。
图2是本申请实施例的车辆的示例性结构图。
图3是本申请实施例提供的一种数据融合方法的流程示意图。
图4是本申请实施例告警的场景示例图。
图5是本申请实施例提供的另一种数据融合方法的流程示意图。
图6是本申请实施例路端设备侧的数据融合方法的具体实现流程示意图。
图7是本申请实施例车端设备侧的数据融合方法的具体实现流程示意图。
图8是本申请实施例一示例中路端与车端实现数据融合的交互流程示意图。
图9是本申请实施例提供的一种数据融合装置的结构示意图。
图10是本申请实施例提供的另一种数据融合装置的具体实现结构示意图。
图11是本申请一实施例中数据融合装置在车端设备中的部署示意图。
图12是本申请实施例提供的计算设备的结构示意图。
首先简要说明本申请实施例中涉及的概念及术语:
感知(perceptive):传感器或其他感知设备对自身的周边环境进行探测,获得周边环境中的物体的信息的过程。
感知信息:一个传感器或一组传感器感知到的车辆周围环境中的障碍物的信息和车辆的信息。
障碍物:包括道路上的物体和道路周边的交通标识与交通设施。道路上的物体包括:行人、车辆、动物等;道路周边的交通标识与交通设施包括:信号灯、路牌、电线杆、车道线、引导线、建筑区标识、交警手势、限速标识等。
障碍物的信息:包括障碍物的类型、位置(例如,世界坐标系下的位置)、速度、障碍物尺寸、朝向、时间戳等信息中的一种或多种。
异常障碍物:本申请实施例中,若一障碍物的车端设备侧信息(例如,车辆检测到的障碍物信息或者某一个或一组传感器感知到的障碍物信息)与其路端设备侧信息(例如,路端障碍物列表中的信息)不匹配,该障碍物即可视为异常障碍物。
异常障碍物的信息:包括异常障碍物的路端编码、类型、位置(例如,世界坐标系下的位置)、速度、尺寸、朝向、时间戳等信息中的一种或多种。
车辆检测到的信息:通过融合车辆的各个或各组传感器感知到的信息而得到的信息。
本申请实施例可应用于V2X场景中。例如,V2X场景可具体为以下任意一种: 车车通信(vehicle to vehicle,V2V)、车人通信(vehicle to pedestrian,V2P)、车-网络(vehicle to network,V2N)业务和车与基础设施通信(vehicle to infrastructure,V2I)等。这里,V2X可以是长期演进(long term evolution,LTE)V2X、新无线(new radio,NR)V2X,还可以是随着技术的发展可能出现的其他通信***中的V2X。
本申请实施例可适用于各种场景。本申请实施例尤其适用于诸如容易出现漏检、车辆传感器位置容易发生偏移等车辆感知状态容易受到影响的场景。例如,本申请实施例尤其适用于智慧工地、智慧矿场等车辆运行震动大、时间长使得传感器安装位置容易出现偏移的场景,再例如,本申请实施例尤其适用于粉尘较大容易出现障碍物漏检的场景。当然,本申请实施例还可适用于其他场景,例如,车辆行驶在各种道路中的场景等。
本申请实施例中的“车辆”可以是任何可适用的类型。例如,这里的“车辆”可以是但不限于私人汽车、商用汽车、公共汽车、客运车、高铁、地铁、无人车、无人机、物流运输车、无人运输车、船只、飞行器等,“车辆”的动力类型可以为燃油驱动、纯电动、氢燃料电池驱动、混合动力等。此外,这里的“车辆”可以是人为驾驶的车辆、自动驾驶的车辆、无人驾驶的车辆或其他类型的车辆。
图1示出了本申请实施例所适用***的示例性架构示意图。参见图1所示,本申请实施例适用的***可以包括:车端设备110和路端设备120,车端设备110装载在车辆上,路端设备120布设在道路旁,不同车端设备110之间、车端设备110与路端设备120之间能够通信。
图1的示例中,车辆1、车辆2、车辆3、车辆4、车辆5上分别装载有车端设备110,在车辆1、车辆2、车辆3、车辆4、车辆5进入路端设备120管辖的路段H1后,车辆1、车辆2、车辆3、车辆4、车辆5可通过其车端设备110与路端设备120通信。在车辆间距合适的情况下,车辆1、车辆2、车辆3、车辆4、车辆5的车端设备110可以彼此通信。
示例性地,车端设备110可以是作为一个或多个部件或者单元而内置于车辆的车载模块、车载模组、车载部件、车载芯片或者车载单元。不同车端设备110之间、车端设备110与路端设备120之间均可通过V2X通信。
示例性地,车辆具有传感器***,传感器***为包含至少一种传感器或感知设备的***,通过传感器***可以获得车辆周边环境中的障碍物的信息。
示例性地,传感器或感知设备可以包括但不限于激光雷达、摄像头、毫米波雷达、全球定位***(global positioning system,GPS)、惯性测量单元(Inertial Measuring Unit,IMU)等。传感器或感知设备与车端设备110之间可以通过以太网、蓝牙(Bluetooth,BT)、无线保真(wireless fidelity,WiFi)网络、蜂窝网络、控制器局域网络(Controller Area Network,CAN)总线、局部互联网络(local interconnect network,LIN)总线等各种方式通信。图2示出了具有传感器***的车辆的示例性结构。
为描述简洁清楚,下文使用车辆代替车辆中的车端设备110。也即,本申请实施例中车辆执行的动作、方法或流程、车端侧的方法或流程均是指该车辆中的车端设备110执行的动作、方法或流程。
图3示出了本申请实施例提供的数据融合方法300的流程示意图。参见图3所示, 车端侧的数据融合方法300可以包括如下步骤:
步骤S310,获取第一车辆所处路段的融合障碍物列表和车端状态列表;
这里,车端状态列表包括第一车辆的状态值,第一车辆的状态值用于判定第一车辆的感知状态。
这里,当第一车辆感知状态异常时,融合障碍物列表包含第一车辆的融合信息;当第一车辆感知状态正常时,融合障碍物列表可以不包含第一车辆的融合信息。
这里,车辆的融合信息通过融合第一车辆所处路段中其他车辆检测到的第一车辆的信息而获得。
一些实施例中,第一车辆的融合信息可以包括融合位置、融合朝向、速度、车辆尺寸、时间戳等信息中的一种或多种。一些实现方式中,可以采用无损卡尔曼滤波算法或其他类似的算法将包含其他车辆检测到的第一车辆的位置与朝向融合,以获得融合位置和融合朝向。融合信息中的车辆大小、时间戳等信息可来自第一车辆的自车信息。
为便于区分不同车辆,第一车辆的融合信息中还可包括第一车辆的路端编码,该路端编码是第一车辆与路端设备建立通讯后由路端设备分配给第一车辆的。
具体地,路端编码可用于区分不同车辆。与某台车辆建立通讯后,路端设备120或自车的车端设备110可为该车辆分配唯一的路端编码,以便通过路端编码识别车辆和区分不同车辆的相关信息。
一些实施例中,车辆与路端设备120首次通讯时,路端编码可以为空或默认的初始值(例如,0)。建立通讯后,也即在路端设备120为车辆分配路端编码后,路端编码的取值即为路端设备120为车辆分配的路端编码的数值。
路端编码可自定义。示例性地,路端编码可以包含路端设备的唯一标识和车辆的唯一标识,这样,不仅可通过路端编码区分车辆,还可通过路端编码区分路段或者路端设备。例如,路端编码可以包括路端设备的编号和路端设备分配给特定车辆的车辆编号,路端设备的编号可以为1~K(K为预设值,不小于1的整数)的数值,车辆编号可以为1~M(M为预设值,不小于1的整数)的数值,路端编号可表示为“AB”,A表示路端设备的编号,取值为1~K;B表示车辆编号,取值为1~M。
需要说明的是,对于路端编码的具体内容、编码规则、格式等,本申请实施例均不做限制。
步骤S320,根据第一车辆的状态值判定第一车辆感知状态异常时,使用第一车辆的融合信息作为第一车辆的有效定位信息。
本申请实施例中,有效定位信息可用于例如规划决策等后续处理。
通常,使用车辆的自车信息作为车辆的有效定位信息。若车辆感知状态异常,车辆自身定位错误,车辆的自车信息失去准确性,若仍使用车辆的自车信息用于例如规划决策等后续处理,必然会导致例如规划决策等后续处理发生错误,影响车辆行驶功能,甚至造成车辆无法稳定运行,若涉及无人驾驶,很可能还会引起交通事故。本申请实施例中,在第一车辆感知状态异常时,使用融合信息代替第一车辆的自车信息,作为车辆的有效定位信息,因融合信息是基于其他车辆检测到的信息融合得到,其可靠性较高、准确性良好,因此,可提高例如规划决策等后续处理的可靠性和准确性, 使车辆在自身定位错误的情况下能够稳定运行,同时还可避免无人驾驶等场景中交通事故的发生,提高车辆行驶的安全性。
通常,若一台车辆检测到的信息,相较于多台其他车辆检测的信息,存在较大偏差,则该车辆检测到的信息可靠性不足,可以认为该车辆感知状态异常。本申请实施例中,感知状态异常可以体现为如下一种或多种情况:1)车辆因传感器位置偏移而导致检测到的信息与其他车辆检测到的信息存在较大偏差;2)因车辆行驶过程中的定位漂移造成车辆检测到的信息与其他车辆检测到的信息存在较大偏差;3)因信息错误(例如,故意发错误信息/消息传输过程被篡改)造成车辆检测到的信息与其他车辆检测到的信息存在较大偏差;4)因车辆传感器感知范围有限导致车辆检测到的信息不完整。
本申请实施例中,若一台车辆检测到的信息,相较于多台其他车辆检测的信息,均不存在较大偏差,也即,该车辆检测到的信息仅与少量的其他车辆检测到的信息存在较大偏差,此时,该车辆检测到的信息比较可靠,可以认为该车辆感知状态正常。例如,尽管车辆传感器位置可能发生了偏移,但其感知信息可通过补偿来弥补,该车辆可视为感知状态正常。
一些实施例中,本申请实施例的数据融合方法300还可包括:步骤S330,根据第一车辆的状态值判定第一车辆感知状态正常时,使用第一车辆的自车信息为第一车辆的有效定位信息。
通常,按照可信程度从高到低,车辆具有三个可信域:一级可信域、二级可信域和三级可信域,自车为一级可信域,路端设备为二级可信域,其他车辆为三级可信域,也即,自车的信息最为可靠,路端设备的信息次之,其他车辆提供的信息的可靠性则弱于路端设备的信息。因此,在车辆感知状态正常时,优选使用车辆的自车信息作为用于例如规划决策等后续处理的有效定位信息,有利于提高例如规划决策等后续处理的可靠性、准确性和执行效率。
本申请实施例中,状态值可用于判定车辆的感知状态。可以理解,状态值可以设置为任何可用于判定车辆感知状态的信息,不限于下述的第一其他车辆的数量。对于状态值的具体定义、实现形式等,本申请实施例不做限制。
一些实施例中,第一车辆的状态值可用于指示第一车辆所处路段中的其他车辆中第一其他车辆的数量,第一其他车辆检测到的第一车辆的信息与第一车辆的自车信息不匹配。换言之,状态值可指示第一车辆检测到的信息与多少台其他车辆检测信息存在较大偏差,若状态值大于预设状态阈值,即表明第一车辆检测到的信息与多台其他车辆检测信息存在较大偏差,车辆感知状态异常。由此,通过状态值可高效准确地确定第一车辆的感知状态。
一些实施例中,例如在步骤S320中或者步骤S320之前,本申请实施例的数据融合方法300还可包括:根据第一车辆的状态值和预设状态阈值,确定第一车辆感知状态是否异常。具体地,在第一车辆的状态值大于预设状态阈值时,判定第一车辆感知状态异常;在第一车辆的状态值小于或等于预设状态阈值时,判定第一车辆感知状态异常。
具体应用中,可根据场景或其他需求,预先设置预设状态阈值(也即,下文的状 态阈值x)。示例性地,预设状态阈值可以设置为大于1的整数。例如,预设状态阈值可以设定为2、3或4。此外,还可根据路段的道路情况动态调整预设状态阈值。对于预设状态阈值的具体取值、调整方式、设置方式等,本申请实施例均不做限制。
以前文图1所示场景中的车辆2为例,判断车辆2的状态值是否大于预设的状态阈值x,如果车辆2的状态值大于状态阈值x,表示有x台以上的其他车辆(例如,车辆1、车辆3和车辆4)检测到的车辆2的信息与车辆2的自车信息偏差较大(例如,不符合下文的第二预设条件),说明车辆2感知状态异常,例如,定位出现漂移、故意发错误信息或者消息传输过程被篡改等异常。若车辆2的状态值小于或等于预设的状态阈值x,表示检测到的相关信息与车辆2的自车信息之间偏差较大的其他车辆不超过x台,说明车辆2感知状态可视为正常。
一些实施例中,第一其他车辆可以为不符合第二预设条件的其他车辆。换言之,当其他车辆不满足第二预设条件时,该其他车辆检测到的第一车辆的信息与第一车辆的自车信息不匹配,该其他车辆即属于第一其他车辆。当其他车辆满足第二预设条件时,该其他车辆检测到的第一车辆的信息与第一车辆的自车信息匹配,该其他车辆便不属于第一其他车辆。
一些实施例中,第二预设条件可以包括如下之一或两项:1)其他车辆检测到的第一车辆的位置与第一车辆的自车信息中的位置之间的距离小于或等于预设的第二距离阈值;2)其他车辆检测到的第一车辆的朝向,相较于第一车辆的自车信息中的朝向,偏移量小于或等于预设的第二朝向偏移阈值。具体应用中,第二距离阈值、第二朝向偏移阈值等均可取经验值。此外,第二预设条件也可根据需要灵活设定。对于第二预设条件的具体内容、具体规则、相关阈值的设置和具体取值等,本申请实施例均不做限制。
一些实施例中,本申请实施例提供的数据融合方法300还可以包括:
步骤S340,获取第一车辆所处路段的路端障碍物列表,路端障碍物列表中包含第一车辆所处路段中感知状态正常的车辆的自车信息;
步骤S350,根据路端障碍物列表和第一车辆检测到的障碍物的信息,获得第一车辆的有效障碍物信息,该有效障碍物信息可用于执行例如规划决策等后续处理。
本实施例中,通过车端的障碍物信息与路端障碍物列表的结合来获得车辆的有效障碍物信息,可在例如第一车辆感知状态异常、第一车辆感知范围有限、第一车辆感知正常等各类情况下,提高障碍物数据的准确性和完整性,从而提升诸如规划决策等后续处理的可靠性和准确性,进而使得车辆能够在道路上平稳运行、安全行驶。
车辆的自车定位出错或传感器安装位置偏移时,车辆的异常障碍物比例通常比较高,也即异常障碍物比例会超过一定阈值。也就是说,若第一车辆的异常障碍物比例高于第一比例阈值时,可以认为第一车辆的自车定位出错或传感器安装位置发生了偏移,其感知数据不可用。若第一车辆的异常障碍物比例不高于第一比例阈值,可认为第一车辆的定位功能未出错,其感知数据仍可用。
一些实施例中,步骤S350具体可以包括如下的步骤a1和步骤a2:
步骤a1,根据路端障碍物列表与第一车辆检测到的障碍物的信息,确定第一车辆的第一障碍物和第一车辆的异常障碍物比例;
一些实施例中,可以采用例如匈牙利匹配等算法,对时间补偿后的路端障碍物列表与第一车辆检测到的障碍物的信息进行匹配,以确定第一障碍物。这里,第一车辆的第一障碍物是既包含在路端障碍物列表、同时又能够被第一车辆检测到的障碍物。
一些实施例中,当第一障碍物在路端障碍物列表中的对应信息与第一车辆检测到的第一障碍物的信息不匹配时,该第一车辆的第一障碍物可视为第一车辆的异常障碍物。当第一障碍物在路端障碍物列表中的对应信息与第一车辆检测到的第一障碍物的信息匹配时,该第一车辆的第一障碍物不属于第一车辆的异常障碍物。这里,第一车辆的异常障碍物即为第一车辆确定的感知状态异常的其他车辆。
一些实施例中,第一车辆的异常障碍物可以为不满足第一预设条件的第一车辆的第一障碍物。换言之,当第一障碍物不满足第一预设条件时,第一障碍物在路端障碍物列表中的对应信息与第一车辆检测到的第一障碍物的信息不匹配,该第一障碍物为第一车辆的异常障碍物。当第一障碍物满足第一预设条件时,第一障碍物在路端障碍物列表中的对应信息与第一车辆检测到的第一障碍物的信息匹配,该第一障碍物不属于第一车辆的异常障碍物。
一些实施例中,第一预设条件可以包括但不限于如下之一或两项:1)通过路端障碍物列表获得的第一障碍物的位置,与第一车辆检测到的第一障碍物的位置,之间的距离小于或等于预设的第一距离阈值;2)通过路端障碍物列表获得的第一障碍物的朝向,与第一车辆检测到的第一障碍物的朝向,之间的偏移量小于或等于预设的第一朝向偏移阈值。需要说明的是,可以根据需要灵活设定第一预设条件。对于第一预设条件的具体内容、具体规则等,本申请实施例不做限制。
这里,通过路端障碍物列表获得的第一障碍物的位置可以是:对路端障碍物列表中第一障碍物的位置进行时间补偿后得到的第一障碍物的位置,时间补偿后得到的第一障碍物的位置,与第一车辆检测到的第一障碍物的位置,时间信息(例如,时间戳)相同。
这里,通过路端障碍物列表获得的第一障碍物的朝向可以是:对路端障碍物列表中第一障碍物的朝向进行时间补偿后得到的第一障碍物的朝向,时间补偿后得到的第一障碍物的朝向,与第一车辆检测到的第一障碍物的朝向,时间信息(例如,时间戳)相同。
这里,第一车辆的异常障碍物比例可以为第一车辆的异常障碍物数量与第一车辆的第一障碍物数量的比值。
步骤a2,在第一车辆的异常障碍物比例小于或等于预设的第一比例阈值时,根据路端障碍物列表和第一车辆检测到的障碍物的信息确定第一障碍物的信息,并将第一障碍物的信息添加到第一车辆的有效障碍物信息中。
这里,第一比例阈值可以预先配置,其数值可以根据场景需求自由设定。例如,第一比例阈值可以为10%~20%之间的数值,比如,第一比例阈值可以设定为10%、12%、15%、17%、20%等。
一些实施例中,步骤a2中,第一车辆的异常障碍物比例小于或等于预设的第一比例阈值,说明第一车辆的异常障碍物数量相对较少,第一车辆的感知状态正常,此时,“通过路端障碍物列表获得的第一障碍物的信息”和“第一车辆检测到的第一障 碍物的信息”都是可靠的。步骤a2中,根据路端障碍物列表和第一车辆检测到的障碍物的信息确定第一障碍物的信息,可以包括:可从“根据路端障碍物列表获得的第一障碍物的信息”和“第一车辆检测到的第一障碍物的信息”中任选其一作为第一障碍物的信息,或者通过两者的融合获得第一障碍物的信息。由此,可进一步提高车辆障碍物数据的准确性。
一些实施例中,步骤S350还可以包括:步骤a3,对于路端障碍物列表中除第一障碍物之外的障碍物,将通过路端障碍物列表得到的第一障碍物的信息添加到第一车辆的有效障碍物信息中。路端障碍物列表中除第一障碍物之外的障碍物,属于第一车辆自身未能检测到的障碍物,但这些障碍物位于第一车辆所处路段,也即,路端障碍物列表中除第一障碍物之外的障碍物属于第一车辆的超视距障碍物,将这些障碍物的信息添加到第一车辆的有效障碍物信息中,可提高车辆障碍物数据的完整性,弥补车辆感知范围有限的缺陷。
这里,“通过路端障碍物列表获得的第一障碍物的信息”可以是:对路端障碍物列表中第一障碍物的信息进行时间补偿后得到的信息。时间补偿后得到的信息,与第一车辆检测到的第一障碍物的信息,时间信息(例如,时间戳)相同。
一些实施例中,本申请实施例提供的数据融合方法300还可以包括:步骤S360,在第一车辆的异常障碍物比例大于第一比例阈值时,检测第一车辆的出错传感器。通常,车辆的异常障碍物比例较高,表明该车辆检测到的信息与多台其他车辆检测到的信息不匹配,也即,该车辆可能存在感知异常的情况,该感知异常的情况多数属于诸如传感器位置偏移、传感器功能异常等情况,此时,及时检测车辆的出错传感器,可有效辅助用户解决车辆感知功能异常的问题,从而提升用户体验和车辆行驶的安全性。
这里,第一传感器为第一车辆的任何一个或一组传感器。
一些实施例中,步骤S360具体可以包括:步骤b1,根据装载于第一车辆的第一传感器感知到的障碍物信息与路端障碍物列表,确定第一传感器的第一障碍物、第一传感器的异常障碍物和第一传感器的异常障碍物比例;步骤b2,在第一传感器的异常障碍物比例大于预设的第二比例阈值时,确定第一传感器出错。步骤b3,在第一传感器的异常障碍物比例小于或等于预设的第二比例阈值时,确定第一传感器正常。
这里,第一传感器的第一障碍物是既包含在路端障碍物列表、同时又能够被第一传感器感知到的障碍物。当第一传感器的第一障碍物在路端障碍物列表中的对应信息与第一传感器感知到的第一障碍物的信息不匹配时,该第一传感器的第一障碍物即为第一传感器的异常障碍物。当第一传感器的第一障碍物在路端障碍物列表中的对应信息与第一传感器感知到的第一障碍物的信息匹配时,该第一传感器的第一障碍物不属于第一传感器的异常障碍物。
一些实施例中,若第一传感器的第一障碍物不满足前述的第一预设条件,该第一传感器的第一障碍物即可视为第一传感器的异常障碍物。若第一传感器的第一障碍物满足前述的第一预设条件,该第一传感器的第一障碍物即不属于第一传感器的异常障碍物。换言之,当第一传感器的第一障碍物不满足第一预设条件时,第一传感器的第一障碍物在路端障碍物列表中的对应信息,与第一传感器感知到的第一障碍物的信息,不匹配。当第一传感器的第一障碍物满足第一预设条件时,第一传感器的第一障碍物 在路端障碍物列表中的对应信息,与第一传感器感知到的第一障碍物的信息,匹配。
一些实施例中,第一传感器感知到的障碍物信息包括第一传感器感知到的障碍物的位置、第一传感器感知到的障碍物的速度、障碍物的尺寸、第一传感器感知到的障碍物的朝向、时间戳等内容。这里,时间戳指示获得该障碍物的信息的时间。这里,第一传感器感知到的障碍物的位置和朝向,根据第一传感器采集到的数据得到。例如,第一传感器是摄像头时,第一传感器感知到的障碍物的位置和朝向可以通过第一传感器采集到的图像获得。
一些实施例中,本申请实施例提供的数据融合方法300还可以包括:根据第一传感器感知到的第一障碍物的信息和路端障碍物列表,确定第一传感器的补偿参数,第一传感器的补偿参数用于对第一传感器感知到的信息进行补偿,由此,可基于第一传感器的补偿参数对第一传感器感知到的信息进行补偿,从而弥补因诸如第一传感器位置偏移等因素而造成的感知信息的误差。
以摄像机为例,摄像机外参与摄像机的安装位置直接相关,因此,若摄像机出错,需要确定摄像机的补偿外参。摄像机的外参可以包括旋转矩阵和平移矩阵,即,摄像机出错时,需要首先确定摄像机的补偿旋转矩阵和补偿平移矩阵。
假设,路端设备120的路端障碍物列表中第一障碍物位置的集合为X={x
1,x
2,x
3,...x
m},x
i(i=1,2,3,......,m)表示路端障碍物列表中第i个第一障碍物的位置坐标,某一个或一组传感器感知到的第一障碍物位置的集合为P={p
1,p
2,p
3,...,p
m},p
i(i=1,2,3,......,m)表示某一个或一组传感器感知到的第i个第一障碍物的位置坐标,m为第一障碍物的数量,m为大于或等于2的整数。
当一个或一组传感器感知到的第i个第一障碍物的位置坐标为p
i时,该第i个第一障碍物的补偿后位置坐标p′
i可以通过如下式(1)得到:
p′
i=Rp
i+t (1)
其中,i=1、2、3、……、m,R表示P到X的旋转矩阵,即摄像机的补偿旋转矩阵,t表示P到X的平移矩阵,也即为摄像机的补偿平移矩阵。
一些实现方式中,可以通过奇异值分解来确定补偿旋转矩阵R和补偿平移矩阵t。具体地,补偿旋转矩阵R和补偿平移矩阵t可以通过如下式(2)~(9)得到。
R=UV
T (2)
t=u
x-Ru
p (3)
X′={x
j-u
x}={x′
j} (6)
P′={p
j-u
p}={p′
j} (7)
W=U∑V
T (9)
其中,T表示转置,U和V均为酉矩阵,U是一个m*m的矩阵,V是一个n*n的矩阵。∑是一个m*n的矩阵,除了主对角线上的元素以外全为0,主对角线上的每 个元素称为奇异值,u
x为n个x的平均值,u
p为n个p的平均值,n为x和p的个数。
根据奇异值分解(singular value decomposition,SVD)原理,将W的转置和W做矩阵乘法,可以得到n*n的矩阵V;将W与W的转置做矩阵乘法,可以得到m*m的矩阵U;∑中的奇异值满足下式(10):
式(10)中,v
j为V的特征向量,u
j为U的特征向量,λ
j为V和U的特征值,σ
j为∑中的奇异值,j=1、2、3、……、n。
一些实施例中,本申请实施例提供的数据融合方法300还可以包括:向路端设备发送第一车辆的车端信息,车端信息包括第一车辆的自车信息和第一车辆的异常障碍物的信息,以便路端设备120收集管辖路段中各车辆的信息来执行相关处理。
一些实施例中,第一车辆的异常障碍物的信息可以包括异常障碍物(即,第一车辆确定的感知状态异常的其他车辆)的路端编码、第一车辆检测到的异常障碍物的位置、第一车辆检测到的异常障碍物的速度、第一车辆检测到的异常障碍物的朝向、异常障碍物的尺寸、时间戳等内容。这里,时间戳指示获得该异常障碍物的信息的时间。这里,第一车辆检测到的异常障碍物的位置和朝向,通过融合第一车辆中各个或各组传感器感知到的异常障碍物的位置和朝向而得到。这里,融合可采用诸如无损卡尔曼滤波等算法实现。
一些实施例中,第一车辆的自车信息可以包括:第一车辆的路端编码、第一车辆检测到的自身的位置、第一车辆检测到的自身的速度、第一车辆检测到的自身的朝向、第一车辆的尺寸、时间戳等内容。这里,时间戳指示获得该自车信息的时间。这里,第一车辆检测到的自身的位置和朝向,根据第一车辆中各个或各组传感器感知到的车辆自身的位置和朝向采用诸如无损卡尔曼滤波等算法融合得到。
以图1场景为例,假设车辆2感知状态异常,车辆1可确定车辆2为自己的异常障碍物,车辆1的异常障碍物的信息可以包括车辆1检测到的车辆2的信息。再假设,车辆2和车辆3均感知状态异常,车辆1可确定车辆2和车辆3均为自己的异常障碍物,车辆1确定的异常障碍物的信息可以包括车辆1检测到的车辆2的信息和车辆1检测到的车辆3的信息。
一些实施例中,本申请实施例提供的数据融合方法300还可以包括:在如下一种或多种情况下告警:
1)确定第一车辆的感知状态异常;
这里,第一车辆的感知状态异常包括但不限于:1)根据第一车辆的状态值判定第一车辆感知状态异常;2)第一车辆的异常障碍物比例大于第一比例阈值。
2)检测到第一车辆的出错传感器;
这里,无论出错传感器是否属于预定的必要传感器,均可告警,以提示用户及时查看相关传感器的情况,适时维修。
3)在出错传感器属于预定的必要传感器时。
这里,如果出错传感器属于预先配置的必要传感器列表中的传感器,可通过告警提示用户及时停车检查、司机接管,以确保行车安全,避免因传感器出错而引起事故。
一些实施例中,告警的方式可以包括以下列举且未来不仅限于此:1、仪表文字与图标提示;2、告警音提示;3、语音播报提示;4、方向盘震动提醒;5、空调吹风提示;6、氛围灯变换提示;7、音乐声音调高提醒;8、地图自动导航去附近休息区提示;9、手动驾驶模式切换为辅助驾驶模式;10、自动驾驶主动接管驾驶操作。可以理解的,仪表文字与图标提示可以包括通过中控屏、仪表盘、抬头显示***(Head-up display,HUD)等车载显示***或与车辆连接的移动终端(如,手机、平板、手环)进行的文字和/或图标提示。
图4示出了本申请实施例中一示例性场景中出错传感器的告警示意图。图4的示例中,传感器出错时通过仪表文字提示进行告警。
图5示出了本申请实施例提供的数据融合方法500的流程示意图。参见图5所示,路端的数据融合方法500可以包括如下步骤:
步骤S510,获取第一车辆所处路段中其他车辆的车端信息;
这里,当第一车辆感知状态异常时,其他车辆的车端信息包括其他车辆检测到的第一车辆的信息。当第一车辆感知状态正常时,其他车辆的车端信息可以不包括其他车辆检测到的第一车辆的信息。
步骤S520,根据其他车辆检测到的第一车辆的信息,获得第一车辆的融合信息;
步骤S530,向第一车辆发送融合障碍物列表,融合障碍物列表包含第一车辆的融合信息。
一些实施例中,车端信息可以包含车辆通过其传感器***检测到的自车信息和车端障碍物列表,车端障碍物列表包含车辆通过其传感器***检测到的障碍物的信息。
车端障碍物列表可以包含车辆通过其传感器***检测到的障碍物的信息,车端障碍物列表中障碍物的信息可以包括但不限于障碍物的类型、位置、大小、速度、朝向、时间戳等。这里,车端障碍物列表中障碍物的信息是通过融合传感器***中各感知节点的障碍物信息得到的,每个感知节点对应一个或一组传感器。
因同一路段的车辆彼此互为障碍物,这些车辆的周围环境中的障碍物也大多相同,因此,这些车辆的障碍物信息将存在大量冗余信息,为避免信息冗余带来的计算资源消耗和时间延迟,车辆的车端信息可以仅包含部分障碍物的信息,例如,车辆的车端信息可以仅包含车辆的异常障碍物。也就是说,一些实施例中,车端信息可以包括车辆的自车信息和异常障碍物的信息。若车辆没有检测到异常障碍物,该车辆的车端信息可以仅包含车辆的自车信息。如此,可大幅减少车端信息的冗余,降低运算量和计算复杂度,有效提升路端设备120的处理效率,从而满足无人驾驶等场景中对数据实时性的需求。
一些实施例中,融合障碍物列表可以包含感知状态异常的车辆的融合信息。一些示例中,为便于信息的区分和查询,融合障碍物列表中还可包括感知状态异常的车辆的路端编码,该路端编码可以记录在相应车辆的融合信息中。以图1为例,假设车辆2和车辆3感知状态异常,车辆1、车辆4和车辆5感知状态正常,融合障碍物列表可以包括车辆2的融合信息与路端编码、车辆3的融合信息与路端编码。
一些实施例中,车端状态列表可以包含第一车辆所处路段中车辆的状态值。一些示例中,为便于区分和查询,车端状态列表还可包括相应车辆的路端编码,该路端编 码与车辆的状态值对应记录,或者可记录在车辆的状态值中。以图1为例,车端状态列表可以包括路段H1中车辆1、车辆2、车辆3、车辆4和车辆5的状态值和路端编号。
一些实施例中,步骤S510还可以包括:获取第一车辆的自车信息;步骤S520还可以包括:根据其他车辆检测到的第一车辆的信息和第一车辆的自车信息,更新第一车辆的状态值;步骤S530还可以包括:向第一车辆发送车端状态列表,车端状态列表包括第一车辆的状态值。
一些实施例中,以状态值用于指示车辆所处路段中第一其他车辆的数量为例,根据其他车辆检测到的第一车辆的信息和第一车辆的自车信息,更新第一车辆的状态值,可以包括:确定每台其他车辆检测到的第一车辆的信息与第一车辆的自车信息是否匹配,每有一台其他车辆检测到的第一车辆的信息与第一车辆的自车信息不匹配,将第一车辆的状态值加1。
这里,确定每台其他车辆检测到的第一车辆的信息与第一车辆的自车信息是否匹配,可以包括:判断每台其他车辆检测到的第一车辆的信息与第一车辆的自车信息是否满足第二预设条件。如果满足第二预设条件,则两者匹配,如果不满足第二预设条件,则两者不匹配。关于第二预设条件的相关细节,可参见前文相关描述,此处不再赘述。
以前文图1所示场景中车辆1为例,路端设备120判断车辆1的自车信息与每台其他车辆(即车辆2、车辆3)的车端信息中相同路端编码的异常障碍物信息是否满足第二预设条件,每有一台其他车辆不满足第二预设条件,说明新增了一台其他车辆检测到车辆1的信息与车辆1的自车信息偏差较大,将车辆1的状态值加1;如果所有其他车辆均满足第二预设条件,或者不存在与车辆1路端编码相同的异常障碍物信息,说明所有的其他车辆检测到的车辆1的信息与车辆1的自车信息之间的偏差均在合理范围内,车辆1的状态值可保持不变。
一些实施例中,其他车辆的车端信息还包括其他车辆的自车信息,车端状态列表还包括其他车辆的状态值,路端的数据融合方法500还可以包括:
步骤S540,根据其他车辆的自车信息与状态值、第一车辆的自车信息与状态值,更新路端障碍物列表;
一些实施例中,路端障碍物列表可以包括第一车辆所处路段中感知状态正常的车辆的自车信息。此外,路端障碍物列表还可包括其他车辆的信息,例如,首次通讯的车辆的自车信息。
为便于区分不同车辆的信息,一些示例中,路端障碍物列表可以包含感知状态正常的车辆的路端编码与自车信息、首次通讯的车辆的自车信息和为该车辆分配的路端编码,路端编码可以记录在相应车辆的自车信息中。以图1为例,假设车辆2和车辆3感知状态异常,车辆1首次通讯,车辆4和车辆5感知状态正常,路段H1的路端障碍物列表可以包括车辆1的自车信息与路端编码、车辆4的自车信息与路端编码、以及车辆5的自车信息与路端编码。
一些实施例中,对于非首次通讯的车辆,可以根据该车辆的路端编码从车端状态列表查询到该车辆的状态值,若根据车辆的状态值判定车辆感知状态正常,则可以将 该车辆此次提供的自车信息更新到路端障碍物表中。若根据车辆的状态值判定车辆感知状态异常,则移除路端障碍物列表中该车辆的对应信息。
一些实施例中,对于首次通讯的车辆,可以在为该车辆分配路端编码后,将该车辆的路端编码记入该车辆的自车信息中,并将该车辆的自车信息添加到路端障碍物列表中。
步骤S550,向第一车辆和其他车辆发送路端障碍物列表。
本申请实施例的数据融合方法500,通过收集同一路段多台车辆检测到的信息,获得感知状态异常的车辆的融合信息,使车辆能够在自身感知状态异常的情况下使用融合信息代替其自车信息执行后续规划决策等处理,从而确保感知状态异常的车辆能够平稳运行、安全行驶。
具体应用中,本申请实施例的数据融合方法500可通过路端设备120执行,也可由车辆的车端设备110执行。
下面结合实例来说明本申请实施例的具体实施方式。
图6示出了本申请实施例数据融合方法的示例性具体实现流程示意图。参见图6所示,路端设备120执行的数据融合方法的具体实现流程可以包括如下步骤:
步骤S601,路端设备120接收自身管辖路段中各车辆的车端信息;
车端信息包括车辆的自车信息和车辆的异常障碍物的信息。若车辆不具有异常障碍物,其车端信息可仅包括车辆的自车信息。自车信息包含车辆的路端编码,异常障碍物的信息包括异常障碍物的路端编码。
步骤S602,判断是否存在首次通讯的车辆,对于首次通讯的车辆继续步骤S603~S604,对于非首次通讯的车辆继续步骤S605;
若车辆的车端信息中路端编码为初始值或为空,则属于首次通讯,若车端信息中的路端编码不属于初始值且有效(例如,满足预设的编码规则),则属于非首次通讯。
步骤S603,路端设备120为首次通讯的车辆分配路端编码,将该路端编码发送给相应车辆。
步骤S604,路端设备120将首次通讯的车辆的路端编码记入该车辆的自车信息中,并将该车辆的自车信息添加到路端障碍物列表中,返回步骤S609。
步骤S605,对于非首次通讯的车辆,路端设备120根据车端状态列表判断车辆的感知状态是否异常,对于感知状态异常的非首次通讯车辆,继续执行步骤S606,对于感知状态正常的非首次通讯车辆,继续执行步骤S607;
步骤S606,对于感知状态异常的车辆,从路端障碍物列表中移除该车辆的自车信息,获得该车辆的融合信息并添加到融合障碍物列表中,跳转至步骤S609;
首先,从其他车辆的异常障碍物的信息中,提取包含感知状态异常的车辆的路端编码的障碍物信息,该障碍物信息即为其他车辆检测到的感知状态异常的车辆的信息;然后,采用诸如无损卡尔曼滤波等算法,将其他车辆检测到的感知状态异常的车辆的信息融合,即可获得感知状态异常的车辆的融合信息。
步骤S607,对于感知状态正常的车辆,将路端障碍物列表中该车辆的信息更新为该车辆此次提供的自车信息;
这里,更新的过程可以包括:查找路端障碍物列表中包含车辆的路端编码的信息,将该信息替换为该车辆此次提供的自车信息。
步骤S608,更新车端状态列表中各车辆的状态值。
这里,路端设备120根据各车辆的自车信息与其他车辆的异常障碍物的信息,更新车辆的状态值。具体细节可参见前文相关描述,此处不再赘述。
步骤S609,将最新的路端障碍物列表、融合障碍物列表和车端状态列表发送给自身管辖路段中各车辆,返回步骤S601。
以图1所示场景为例,省略车辆4和车辆5的情况下,路端设备120已分别为车辆1、车辆2、车辆3、车辆4和车辆5分配了路端编码1、路端编码2、路端编码3、路段编码4、路端编码5,路端编码1用于唯一标识车辆1,路端编码2用于唯一标识车辆2,路端编码3可用于唯一标识车辆3,路端编码4用于唯一标识车辆4,路端编码5可用于唯一标识车辆5。假设车辆1的状态值为3,车辆2~车辆5(即,车辆2、车辆3、车辆4和车辆5)的状态值为0,车辆1感知状态异常,车辆2~车辆5的感知状态正常。
车辆1的异常障碍物包括车辆2~车辆5,车辆2~车辆5的异常障碍物均包括车辆1。因车辆1的异常障碍物比例超出其第一比例阈值,因此,车辆1的车端信息不包含其异常障碍物的信息,仅包含其自车信息,也即,车辆1发送给路端设备120的车端信息包括:车辆1的自车信息(包含路端编码1)。因车辆2感知状态正常,其异常障碍物比例不会超出其第一比例阈值,因此,车辆2的车端信息包含其异常障碍物的信息和自车信息,也即,车辆2发送给路端设备120的车端信息包括:车辆2的自车信息(包含路端编码2)和路端编码2车辆2检测到的车辆1的信息(包含路端编码1)。与车辆2同理,车辆3发送给路端设备120的车端信息包括:车辆3的自车信息(包含路端编码3)和车辆3检测的车辆1的信息(包含路端编码1),车辆4发送给路端设备120的车端信息包括:车辆4的自车信息(包含路端编码4)和车辆4检测的车辆1的信息(包含路端编码1),车辆5发送给路端设备120的车端信息包括:车辆5的自车信息(包含路端编码5)和车辆5检测的车辆1的信息(包含路端编码1)。
车辆1的状态值大于预设的状态阈值x(假设x=2),路端设备120可确认车辆1感知状态异常,可通过融合车辆2检测的车辆1信息和车辆3检测的车辆1信息得到车辆1的融合信息,将车辆1的融合信息添加到融合障碍物列表中,并将路端障碍物列表中车辆1的自车信息删除。
车辆2~车辆5的状态值均小于状态阈值x(假设x=2),路端设备120可确认车辆2~车辆5感知状态正常,将车辆2~车辆5的自车信息更新到路端障碍物列表中。
路端设备120更新车端状态列表中车辆1、车辆2和车辆3的状态值的过程如下:
车辆3检测到的车辆1信息中的位置与车辆1自车信息中的位置间距超过了第二距离阈值,车辆2检测的车辆1信息中的位置与车辆1自车信息中的位置间距也超过第二距离阈值,将车辆1的状态值加4,车辆1的状态值应由3变为7,但因路段H1总共有5台车辆,车辆1的异常障碍物最多包含4台其他车辆,因此,车辆1的状态值最终更新为4。
对于车辆2~车辆5,因不存在包含这些车辆的路端编码的异常障碍物的信息,也即,这些车辆不属于其他车辆的异常障碍物,其状态值仍保持为0。
可见,只有车辆1的状态值超过状态阈值x,车辆2~车辆5的状态值均未超出状态阈值x,可确认车辆1感知状态异常,而车辆2~车辆5均正常。
最后,路端设备120将更新后的融合障碍物列表、路端障碍物列表以及车端状态列表发送给车辆1~车辆5。其中,融合障碍物列表包含车辆1的融合信息+路端编码1,路端障碍物列表包含车辆2~车辆5的自车信息,车端状态列表包括车辆1~车辆5的状态值及其路端编码。
图7示出了本申请实施例数据整合方法的示例性具体实现流程示意图。参见图7所示,车端设备110执行的数据整合方法的具体实现流程可以包括如下步骤:
步骤S701,车辆接收来自路端设备的路端障碍物列表、融合障碍物列表和车端状态列表,车辆通过自身传感器***获取自车信息和车端障碍物列表。
车端障碍物列表包括车辆检测到的障碍物的信息。
步骤S702,车辆判断自身感知状态是否正常,感知状态异常时继续执行步骤S703,感知状态正常时继续执行步骤S704。
具体地,车辆根据自身的路端编码从车端状态列表中查询到自身的状态值,判断状态值是否超过状态阈值x,如果状态值超过阈值x,则判定感知状态异常,继续步骤S702,若状态值小于或等于状态阈值x,则判定感知状态正常。
步骤S703,定位漂移,发出告警,使用融合障碍物列表中对应自身路端编码的融合信息代替自车信息,作为有效定位信息提供给规控节点,继续步骤S705。
本步骤中,必要时也可对融合障碍物列表中车辆的融合信息进行时间补偿。
步骤S704,使用车辆的自车信息作为有效定位信息,提供给规控节点,继续步骤S705。
步骤S705,对路端障碍物列表中的信息进行时间补偿,获得与车端障碍物列表时间戳一致的路端障碍物列表;
因数据传输存在短暂时间延迟,路端障碍物列表中的信息时间戳早于车端障碍物列表的时间戳,通过时间补偿可以获得时间戳与车辆检测到的信息一致的路端障碍物列表。时间补偿可以包括位置、朝向等信息的补偿。例如,位置的补偿可以是:根据路端障碍物列表中某车辆的自车信息中的速度、位置和时间戳,预测该车辆在车端障碍物列表中时间戳所指示时刻的位置。
步骤S706,采用匈牙利匹配算法将时间补偿后的路端障碍物列表与车端障碍物列表匹配,以区分出第一障碍物和第二障碍物。
第一障碍物,可称为匹配障碍物,是路端障碍物列表和车端障碍物列表中均包含的障碍物。第二障碍物,可称为非匹配障碍物,是路端障碍物列表包含、车端障碍物列表未包含的障碍物。
步骤S707,将时间补偿后的路端障碍物列表中第二障碍物的信息添加到车辆的融合输出障碍物队列中。
这里,融合输出障碍物队列包括车辆的有效障碍物信息。
这里,第二障碍物很可能就是车辆的超视距障碍物(也即,超出车辆传感器***感知范围的障碍物),通过将第二障碍物的信息添加到车辆的融合输出障碍物队列中,可提升车辆障碍物信息的完整性,弥补车辆感知范围有限的缺陷。
步骤S708,找出第一障碍物中的异常障碍物,记录异常障碍物的路端编码;
对于每个第一障碍物,根据时间补偿后的路端障碍物列表中第一障碍物的信息和车端障碍物列表中第一障碍物的信息,判断第一障碍物是否满足第一预设条件,如果满足第一预设条件,该第一障碍物不属于异常障碍物,如果不满足第一预设条件,该第一障碍物为异常障碍物。关于第一预设条件,可参见前文相关描述,此处不再赘述。
步骤S709,对于不属于异常障碍物的第一障碍物,利用时间补偿后的路端障碍物列表中第一障碍物的自车信息更新车辆的融合输出障碍物队列。
具体地,对于不属于异常障碍物的第一障碍物,可以直接将时间补偿后的路端障碍物列表中第一障碍物的自车信息添加到车辆的融合输出障碍物队列中;或者,可以将车端障碍物列表中第一障碍物的信息添加到车辆的融合输出障碍物队列中;或者,可以将时间补偿后的路端障碍物列表中第一障碍物的自车信息与车端障碍物列表中第一障碍物的信息融合得到第一障碍物的融合信息,并将第一障碍物的融合信息添加到车辆的融合输出障碍物队列中。
步骤S710,判断车辆的异常障碍物比例是否小于或等于预设的第一比例阈值,如果车辆的异常障碍物比例小于或等于第一比例阈值,说明车辆感知数据可用,继续步骤S711,如果车辆的异常障碍物比例大于第一比例阈值,说明车辆感知数据不可用,可以启动出错传感器的检测及参数补偿流程,即继续执行步骤S712~步骤S719。
这里,车辆的异常障碍物比例等于车辆的异常障碍物数量与车辆的第一障碍物数量的比值。
步骤S711,将车辆的融合输出障碍物队列发送给规控节点,将车辆的车端信息发送给路端设备120,返回步骤S701。
这里,车端信息可以包含车辆的自车信息和车辆的异常障碍物的信息。如果不存在异常障碍物,车端信息中可以仅包含车辆的自车信息。
步骤S712,将每个感知节点的感知障碍物列表与时间补偿后的路端障碍物列表匹配,以确定感知节点的第一障碍物,找出每个感知节点的第一障碍物中的异常障碍物,计算出每个感知节点的异常障碍物比例。
这里,每个感知节点对应一个或一组传感器。感知节点的感知障碍物列表可以根据相应传感器采集的数据获得,感知障碍物列表可以包括相应传感器感知到的障碍物的信息,该障碍物的信息可以包括但不限于障碍物的类型、位置、大小、速度、朝向、时间戳等。具体应用中,不同传感器的感知范围、感知算法存在差异,因此,不同感知节点的感知障碍物列表中的障碍物也不完全相同。
这里,感知节点的异常障碍物比例等于感知节点的异常障碍物数量与感知节点的第一障碍物数量的比值。
这里,匹配的算法与前文步骤S706相同,异常障碍物的确定等与前文步骤S706相似,不再赘述。
步骤S713,异常障碍物比例大于或等于预设的第二比例阈值的感知节点对应的 传感器为出错传感器,将出错传感器记入出错传感器列表中,继续步骤S714和步骤S715。
这里,异常障碍物比例小于第二比例阈值的感知节点对应的传感器为正常的传感器,对于正常的传感器,无需执行后续处理。
步骤S714,发出告警,以提示用户出错传感器的位置,可继续步骤S715。
例如,可以通过车辆的显示装置向用户显示出错传感器的位置,便于用户直观、准确地确认出错传感器。
步骤S715,判断出错传感器列表中是否存在必要传感器;
具体地,可以将出错传感器列表与必要传感器列表匹配,确定出错传感器列表中是否存在必要传感器以及哪些出错传感器是必要传感器。这里,必要传感器列表可以预先配置,也可通过查询传感器的优先级生成。
这里,必要传感器是指车辆定位时必需的传感器或者优先级高于预定值的传感器,非必要传感器是指车辆定位时非必需的传感器或者优先级低于预定值的传感器。
步骤S716,若出错传感器列表中包含必要传感器,也即,有必要传感器出错,发出告警,例如提示司机接管,结束流程。
步骤S717,若出错传感器列表中不包含必要传感器,也即,出错传感器都不属于必要传感器,可以对出错传感器感知到的信息进行补偿,出错传感器感知到的信息包括出错传感器检测到的自车信息和障碍物信息。
这里,可以首先确定出错传感器的补偿参数,再利用出错传感器的补偿参数对出错传感器的感知信息进行补偿。具体细节可参见前文描述,此处不再赘述。
步骤S718,校验出错传感器连续多次的补偿后信息或者预定时长内的补偿后信息是否正常,若正常,说明补偿之后的出错传感器可用,可以直接返回步骤S701,若不正常,说明补偿之后出错传感器仍不可用,可以继续步骤S719;
这里,校验出错传感器的补偿后信息是否正常的实现方式如步骤S712~S713,若校验次数达到预定的校验次数上限或预定时长的多次校验,利用出错传感器的补偿后感知信息确定的异常障碍物比例仍大于或等于第二比例阈值,说明出错传感器连续多次的补偿后信息或者预定时长内的补偿后信息校验不正常或异常,补偿之后的出错传感器仍不可用,若校验次数未达到校验次数上限或预定时长的多次校验中,利用出错传感器的补偿后感知信息确定的异常障碍物比例小于第二比例阈值,则说明出错传感器连续多次的补偿后信息或者预定时长内的补偿后信息校验正常,补偿之后的出错传感器可用。
步骤S719,停止相应出错传感器的接收,并返回步骤S701。
以图1场景为例,车辆1、车辆2和车辆3互为障碍物,均行驶在同一路端设备120管理的路段中,图8示出了图1的示例性场景的具体实现流程示意图,图8中省去了车辆4和车辆5。图8中,车辆2和车辆3不属于首次通讯,车辆1属于首次通讯,路端设备120已分别为车辆2和车辆3分配了路端编码2和路端编码3,路端编码2用于唯一标识车辆2,路端编码3可用于唯一标识车辆3。在与车辆1建立通讯后,路端设备120为车辆1分配路端编码1,路端编码1用于唯一标识车辆1。t1时刻早于t2时刻,t3时刻在t2时刻之后。需要说明的是,图8仅作为示例,并非用于 限制本申请实施例的具体实现方式。
图9示出了本申请实施例提供的一种数据融合装置的结构示意图。参见图8所示,该数据融合装置900可以包括:
第一获取单元910,用于获取第一车辆所处路段的融合障碍物列表和车端状态列表,车端状态列表包括第一车辆的状态值,第一车辆的状态值用于判定第一车辆的感知状态,当第一车辆感知状态异常时融合障碍物列表包含第一车辆的融合信息;
第一确定单元920,用于根据第一车辆的状态值判定第一车辆感知状态异常时,使用第一车辆的融合信息作为第一车辆的有效定位信息;
其中,第一车辆的融合信息通过融合第一车辆所处路段中其他车辆检测到的第一车辆的信息而获得。
一些实施例中,第一确定单元920,还可用于根据第一车辆的状态值判定第一车辆感知状态正常时,使用第一车辆的自车信息作为第一车辆的有效定位信息。
一些实施例中,第一车辆的状态值用于指示第一车辆所处路段中的其他车辆中第一其他车辆的数量。这里,第一其他车辆可以为不符合第二预设条件的其他车辆,第二预设条件包括:其他车辆检测到的第一车辆的位置与第一车辆的自车信息中的位置之间的距离小于或等于预设的第二距离阈值。
一些实施例中,第一其他车辆检测到的第一车辆的信息与第一车辆的自车信息不匹配;第一确定单元920,还可用于根据第一车辆的状态值和预设状态阈值确定第一车辆的感知状态。具体地,第一确定单元920用于在第一车辆的状态值大于预设状态阈值时判定第一车辆感知状态异常,在第一车辆的状态值小于或等于预设状态阈值时判定第一车辆感知状态正常。
一些实施例中,第一获取单元910,还可用于获取第一车辆所处路段的路端障碍物列表,路端障碍物列表包含第一车辆所处路段中感知状态正常的车辆的自车信息;数据融合装置900还可以包括:第二确定单元930,用于根据路端障碍物列表和第一车辆检测到的障碍物的信息,获得第一车辆的有效障碍物信息。
一些实施例中,第二确定单元930,具体可用于:根据路端障碍物列表与第一车辆检测到的障碍物的信息,确定第一车辆的第一障碍物和第一车辆的异常障碍物比例;在第一车辆的异常障碍物比例小于或等于预设的第一比例阈值时,根据路端障碍物列表和第一车辆检测到的障碍物的信息确定第一障碍物的信息,并将第一障碍物的信息添加到第一车辆的有效障碍物信息中;其中,当第一车辆的第一障碍物在路端障碍物列表中的对应信息与第一车辆检测到的第一障碍物的信息不匹配时,第一车辆的第一障碍物为第一车辆的异常障碍物。
一些实施例中,异常障碍物为不满足第一预设条件的第一障碍物,第一预设条件包括:通过路端障碍物列表得到的第一障碍物的位置,与第一车辆检测到的第一障碍物的位置,之间的距离小于或等于预设的第一距离阈值。
一些实施例中,第二确定单元930,还可用于:对于路端障碍物列表中除第一障碍物之外的障碍物,将通过路端障碍物列表得到的第一障碍物的信息添加到第一车辆的有效障碍物信息中。
一些实施例中,数据融合装置900还可包括:传感器检测单元940,用于检测第 一车辆的出错传感器;第二确定单元930,还可用于在第一车辆的异常障碍物比例大于第一比例阈值时,通知传感器检测单元执行检测。
一些实施例中,传感器检测单元940,具体可用于:根据第一车辆的第一传感器感知到的障碍物信息与路端障碍物列表,确定第一传感器的第一障碍物、第一传感器的异常障碍物和第一传感器的异常障碍物比例;在第一传感器的异常障碍物比例大于或等于预设的第二比例阈值时,确定第一传感器出错;其中,当第一传感器的第一障碍物在路端障碍物列表中的对应信息与第一传感器感知到的第一障碍物的信息不匹配时,第一传感器的第一障碍物为第一传感器的异常障碍物。
一些实施例中,数据融合装置900还可包括:补偿参数确定单元950,用于在传感器检测单元940检测到第一车辆的第一传感器为出错传感器时,根据第一传感器感知到的第一障碍物的信息和路端障碍物列表,确定第一传感器的补偿参数,第一传感器的补偿参数用于对第一传感器感知到的信息进行补偿。
一些实施例中,数据融合装置900还可包括:第一发送单元960,用于向路端设备发送第一车辆的车端信息,车端信息包括第一车辆的自车信息和第一车辆的异常障碍物的信息。
一些实施例中,数据融合装置900还可包括:告警单元970,具体用于在如下一种或多种情况下告警:确定第一车辆的感知状态异常;检测到第一车辆的出错传感器;第一车辆的出错传感器属于预定的必要传感器。
图10示出了本申请实施例提供的另一种数据融合装置的结构示意图。参见图9所示,该数据融合装置1000可以包括:
第二获取单元1010,用于获取第一车辆所处路段中其他车辆的车端信息,当第一车辆感知状态异常时,其他车辆的车端信息包括其他车辆检测到的第一车辆的信息;
融合单元1020,用于根据其他车辆检测到的第一车辆的信息,获得第一车辆的融合信息;
第二发送单元1030,用于向第一车辆发送融合障碍物列表,融合障碍物列表包含第一车辆的融合信息。
一些实施例中,第二获取单元1010,还可用于获取第一车辆的自车信息;数据融合装置1000还可包括:状态更新单元1040,用于根据其他车辆检测到的第一车辆的信息和第一车辆的自车信息,更新第一车辆的状态值,状态值用于判定第一车辆的感知状态;第二发送单元1030,还用于向第一车辆发送车端状态列表,车端状态列表包括第一车辆的状态值。
一些实施例中,其他车辆的车端信息还包括其他车辆的自车信息,车端状态列表还包括其他车辆的状态值;数据融合装置1000还可包括:路端障碍物更新单元1050,用于根据其他车辆的自车信息与状态值、第一车辆的自车信息与状态值,更新路端障碍物列表,路端障碍物列表包括第一车辆所处路段中感知状态正常的车辆的自车信息;第二发送单元1030,还可用于向第一车辆和其他车辆发送路端障碍物列表。
一些实施例中,数据融合装置900可部署于车端设备110或者通过车端设备110实现,数据融合装置1000可部署于车端设备110或者路端设备120中,或者可通过车端设备110或者路端设备120实现。具体应用中,数据融合装置900和/或数据融合 装置1000分别可以通过软件、硬件或两者的结合实现。
图11示出了车端设备110的示例性功能框架示意图。参见图10所示,车端设备110除包含前述的数据融合装置900之外,还可包括规控节点1110、F个感知节点1120(F为大于或等于1的整数)和融合模块1130,每个感知节点1120对应一个或一组传感器,用于根据该一个或一组传感器采集的数据获得感知信息,该感知信息可以包括前文所述的传感器感知到的自车信息和传感器感知到的障碍物的信息,融合模块1130用于通过融合各个感知节点1120获得的感知信息获得车辆的感知数据,该车辆的感知数据可以包括前文所述的车辆检测到的自车信息和车辆检测到的障碍物的信息。一些示例中,融合模块1130可采用诸如卡尔曼滤波等算法实现其融合功能。规控节点1110,用于根据数据融合装置900提供的车辆的有效障碍物信息和/或有效定位信息执行路径规划等处理,并将其处理结果以例如控制信号的方式提供给车辆的控制器,以便车辆的控制器响应于该控制信号控制车辆按照规划路径行驶。
一些实施例中,F个感知节点1120可以包括但不限于激光雷达(lidar)感知节点、雷达(radar)感知节点、摄像头(camera)感知节点等。
一些实施例中,图11还可包括:发送管理模块1140、接收管理模块1150,发送管理模块1140用于对需要发出的信息进行管理并执行发送,接收管理模块1150用于接收来自外部设备或模块的信息并对这些信息进行管理。一些实施例中,数据融合装置900中的第一获取单元910可以通过接收管理模块1150实现,数据融合装置900中的第一发送单元960可以通过发送管理模块1140实现。
图12是本申请实施例提供的一种计算设备1200的结构性示意性图。该计算设备1200包括:处理器1210和存储器1220。
其中,处理器1210可以与存储器1220连接。存储器1220可以用于存储该程序代码和数据。因此,存储器1220可以是处理器1210内部的存储单元,也可以是与处理器1210独立的外部存储单元,还可以是包括处理器1210内部的存储单元和与处理器1210独立的外部存储单元的部件。
可选地,计算设备1200还可包括通信接口1230。应理解,图12所示的计算设备1200中的通信接口1230可以用于与其他设备之间进行通信。
可选的,计算设备1200还可以包括总线。其中,存储器1220、通信接口1230可以通过总线与处理器1210连接。为便于表示,图12中仅用一条线表示总线,但并不表示仅有一根总线或一种类型的总线。
应理解,在本申请实施例中,处理器1210可以采用中央处理单元(central processing unit,CPU)。该处理器还可以是其它通用处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(field programmable gate Array,FPGA)、CPLD或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。或者,处理器1210采用一个或多个集成电路,用于执行相关程序,以实现本申请实施例所提供的技术方案。
存储器1220可以包括只读存储器和随机存取存储器,并向处理器1210提供指令和数据。处理器1210的一部分还可以包括非易失性随机存取存储器。例如,处理器 1210还可以存储设备类型的信息。
在计算设备1200运行时,处理器1210执行存储器1220中的计算机执行指令执行上述任一种或两种数据融合方法的操作步骤。
应理解,根据本申请实施例的计算设备1200可以对应于执行根据本申请各实施例的方法中的相应主体,并且计算设备1200中的各个模块的上述和其它操作和/或功能分别为了实现本实施例各方法的相应流程,为了简洁,在此不再赘述。
本申请还提供了另一种计算设备,包括处理器和接口电路,处理器通过接口电路访问存储器,存储器存储有程序指令,程序指令当被处理器执行时使得处理器执行上述的任一种或两种数据融合方法。
本申请实施例还提供一种车辆,其包括上述的任一种计算设备。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器运行时使得处理器执行上述的任一种或两种数据融合方法。这里,计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是,但不限于电、磁、光、电磁、红外线、半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器、只读存储器、可擦式可编程只读存储器、光纤、便携式紧凑磁盘只读存储器、光存储器件、磁存储器件或者上述的任意合适的组合。
本申请实施例还提供一种计算机程序产品,其包括计算机程序,所述计算机程序在被处理器运行时使得该处理器执行上述的任一种或两种数据融合方法。这里,计算机程序产品的程序设计语言可以是一种或多种,该程序设计语言可以包括但不限于诸如Java、C++等面向对象的程序设计语言、诸如“C”语言等的常规过程式程序设计语言。
注意,上述仅为本申请的较佳实施例及所运用的技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请的构思的情况下,还可以包括更多其他等效实施例,均属于本申请的保护范畴。
Claims (30)
- 一种数据融合方法,其特征在于,包括:获取第一车辆所处路段的融合障碍物列表和车端状态列表,所述车端状态列表包括所述第一车辆的状态值,所述第一车辆的状态值用于判定所述第一车辆的感知状态,当所述第一车辆感知状态异常时所述融合障碍物列表包含第一车辆的融合信息;根据所述第一车辆的状态值判定所述第一车辆感知状态异常时,使用所述第一车辆的融合信息作为所述第一车辆的有效定位信息;其中,所述第一车辆的融合信息通过融合所述第一车辆所处路段中其他车辆检测到的所述第一车辆的信息而获得。
- 根据权利要求1所述的方法,其特征在于,所述方法还包括:根据所述第一车辆的状态值判定所述第一车辆感知状态正常时,使用所述第一车辆的自车信息作为所述第一车辆的所述有效定位信息。
- 根据权利要求1所述的方法,其特征在于,所述第一车辆的状态值用于指示所述第一车辆所处路段中的其他车辆中第一其他车辆的数量,所述第一其他车辆检测到的第一车辆的信息与所述第一车辆的自车信息不匹配;所述方法还包括:在所述第一车辆的状态值大于预设状态阈值时,判定所述第一车辆感知状态异常。
- 根据权利要求3所述的方法,其特征在于,所述第一其他车辆为不符合第二预设条件的其他车辆,所述第二预设条件包括:所述其他车辆检测到的第一车辆的位置与所述第一车辆的自车信息中的位置之间的距离小于或等于预设的第二距离阈值。
- 根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:获取所述第一车辆所处路段的路端障碍物列表,所述路端障碍物列表包含第一车辆所处路段中感知状态正常的车辆的自车信息;根据所述路端障碍物列表和所述第一车辆检测到的障碍物的信息,获得所述第一车辆的有效障碍物信息。
- 根据权利要求5所述的方法,其特征在于,所述根据所述路端障碍物列表和所述第一车辆检测到的障碍物的信息,获得所述第一车辆的有效障碍物信息,包括:根据所述路端障碍物列表与所述第一车辆检测到的障碍物的信息,确定所述第一车辆的第一障碍物和所述第一车辆的异常障碍物比例;在所述第一车辆的异常障碍物比例小于或等于预设的第一比例阈值时,根据所述路端障碍物列表和所述第一车辆检测到的障碍物的信息确定所述第一障碍物的信息,并将所述第一障碍物的信息添加到所述第一车辆的有效障碍物信息中;其中,当所述第一车辆的第一障碍物在路端障碍物列表中的对应信息与所述第一车辆检测到的所述第一障碍物的信息不匹配时,所述第一车辆的第一障碍物为所述第一车辆的异常障碍物。
- 根据权利要求6所述的方法,其特征在于,所述异常障碍物为不满足第一预设条件的所述第一障碍物,所述第一预设条件包括:通过所述路端障碍物列表得到的第一障碍物的位置,与所述第一车辆检测到的所述第一障碍物的位置,之间的距离小于或等于预设的第一距离阈值。
- 根据权利要求5所述的方法,其特征在于,所述根据所述路端障碍物列表和所述第一车辆检测到的障碍物的信息,获得所述第一车辆的有效障碍物信息,还包括:对于所述路端障碍物列表中除所述第一障碍物之外的障碍物,将通过所述路端障碍物列表得到的第一障碍物的信息添加到所述第一车辆的有效障碍物信息中。
- 根据权利要求6-8任一项所述的方法,其特征在于,还包括:在所述第一车辆的异常障碍物比例大于所述第一比例阈值时,检测所述第一车辆的出错传感器。
- 根据权利要求9所述的方法,其特征在于,所述检测所述第一车辆的出错传感器,包括:根据所述第一车辆的第一传感器感知到的障碍物信息与所述路端障碍物列表,确定所述第一传感器的第一障碍物、所述第一传感器的异常障碍物和所述第一传感器的异常障碍物比例;在所述第一传感器的异常障碍物比例大于或等于预设的第二比例阈值时,确定所述第一传感器出错;其中,当所述第一传感器的第一障碍物在所述路端障碍物列表中的对应信息与所述第一传感器感知到的所述第一障碍物的信息不匹配时,所述第一传感器的第一障碍物为所述第一传感器的异常障碍物。
- 根据权利要求10所述的方法,其特征在于,还包括:根据所述第一传感器感知到的第一障碍物的信息和所述路端障碍物列表,确定所述第一传感器的补偿参数,所述第一传感器的补偿参数用于对所述第一传感器感知到的信息进行补偿。
- 根据权利要求6-11任一项所述的方法,其特征在于,还包括:向路端设备发送所述第一车辆的车端信息,所述车端信息包括所述第一车辆的自车信息和所述第一车辆的异常障碍物的信息。
- 根据权利要求1-12任一项所述的方法,其特征在于,还包括:在如下一种或多种情况下告警:确定所述第一车辆的感知状态异常;检测到所述第一车辆的出错传感器;所述第一车辆的出错传感器属于预定的必要传感器。
- 一种数据融合方法,其特征在于,包括:获取第一车辆所处路段中其他车辆的车端信息,当所述第一车辆感知状态异常时,所述其他车辆的车端信息包括所述其他车辆检测到的第一车辆的信息;根据所述其他车辆检测到的第一车辆的信息,获得所述第一车辆的融合信息;向所述第一车辆发送融合障碍物列表,所述融合障碍物列表包含所述第一车辆的融合信息。
- 根据权利要求14所述的方法,其特征在于,还包括:获取所述第一车辆的自车信息;根据所述其他车辆检测到的第一车辆的信息和所述第一车辆的自车信息,更新所述第一车辆的状态值,所述状态值用于判定所述第一车辆的感知状态;向所述第一车辆发送车端状态列表,所述车端状态列表包括所述第一车辆的状态值。
- 根据权利要求15所述的方法,其特征在于,所述其他车辆的车端信息还包括所述其他车辆的自车信息,所述车端状态列表还包括所述其他车辆的状态值;所述方法还包括:根据所述其他车辆的自车信息与状态值、所述第一车辆的自车信息与状态值,更新路端障碍物列表,所述路端障碍物列表包括第一车辆所处路段中感知状态正常的车辆的自车信息;向所述第一车辆和所述其他车辆发送所述路端障碍物列表。
- 一种数据融合装置,其特征在于,包括:第一获取单元,用于获取第一车辆所处路段的融合障碍物列表和车端状态列表,所述车端状态列表包括所述第一车辆的状态值,所述第一车辆的状态值用于判定所述第一车辆的感知状态,当所述第一车辆感知状态异常时所述融合障碍物列表包含第一车辆的融合信息;第一确定单元,用于根据所述第一车辆的状态值判定所述第一车辆感知状态异常时,使用所述第一车辆的融合信息作为所述第一车辆的有效定位信息;其中,所述第一车辆的融合信息通过融合所述第一车辆所处路段中其他车辆检测到的所述第一车辆的信息而获得。
- 根据权利要求17所述的装置,其特征在于,所述第一确定单元,还用于根据所述第一车辆的状态值判定所述第一车辆感知状态正常时,使用所述第一车辆的自车信息作为所述第一车辆的所述有效定位信息。
- 根据权利要求17或18所述的装置,其特征在于,所述第一获取单元,还用于获取所述第一车辆所处路段的路端障碍物列表,所述路端障碍物列表包含第一车辆所处路段中感知状态正常的车辆的自车信息;所述装置还包括:第二确定单元,用于根据所述路端障碍物列表和所述第一车辆检测到的障碍物的信息,获得所述第一车辆的有效障碍物信息。
- 根据权利要求19所述的装置,其特征在于,所述第二确定单元,还用于:对于所述路端障碍物列表中除所述第一障碍物之外的障碍物,将通过所述路端障碍物列表得到的第一障碍物的信息添加到所述第一车辆的有效障碍物信息中。
- 根据权利要求19或20所述的装置,其特征在于,所述装置还包括:传感器检测单元,用于检测所述第一车辆的出错传感器;所述第二确定单元,还用于在所述第一车辆的异常障碍物比例大于所述第一比例阈值时,通知所述传感器检测单元执行所述检测。
- 根据权利要求21所述的装置,其特征在于,所述装置还包括:补偿参数确定单元,用于在所述传感器检测单元检测到所述第一车辆的第一传感器为出错传感器时,根据所述第一传感器感知到的第一障碍物的信息和所述路端障碍物列表,确定所述第一传感器的补偿参数,所述第一传感器的补偿参数用于对所述第一传感器感知到的信息进行补偿。
- 根据权利要求19-22任一项所述的装置,其特征在于,所述装置还包括:第一发送单元,用于向路端设备发送所述第一车辆的车端信息,所述车端信息包括所述第一车辆的自车信息和所述第一车辆的异常障碍物的信息。
- 根据权利要求17-23任一项所述的装置,其特征在于,所述装置还包括:告警单元,具体用于在如下一种或多种情况下告警:确定所述第一车辆的感知状态异常;检测到所述第一车辆的出错传感器;所述第一车辆的出错传感器属于预定的必要传感器。
- 一种数据融合装置,其特征在于,包括:第二获取单元,用于获取第一车辆所处路段中其他车辆的车端信息,当所述第一车辆感知状态异常时,所述其他车辆的车端信息包括所述其他车辆检测到的第一车辆的信息;融合单元,用于根据所述其他车辆检测到的第一车辆的信息,获得所述第一车辆的融合信息;第二发送单元,用于向所述第一车辆发送融合障碍物列表,所述融合障碍物列表包含所述第一车辆的融合信息。
- 根据权利要求25所述的装置,其特征在于,所述第二获取单元,还用于获取所述第一车辆的自车信息;所述装置还包括:状态更新单元,用于根据所述其他车辆检测到的第一车辆的信息和所述第一车辆的自车信息,更新所述第一车辆的状态值,所述状态值用于判定所述第一车辆的感知状态;所述第二发送单元,还用于向所述第一车辆发送车端状态列表,所述车端状态列表包括所述第一车辆的状态值。
- 一种计算设备,其特征在于,包括至少一个处理器和至少一个存储器,所述存储器存储有程序指令,所述程序指令当被所述至少一个处理器执行时使得所述至少一个处理器执行权利要求1-13任一项所述的方法和/或权利要求14-16任一项所述的方法。
- 一种计算设备,其特征在于,包括处理器和接口电路,所述处理器通过所述接口电路访问存储器,所述存储器存储有程序指令,所述程序指令当被所述处理器执行时使得处理器执行权利要求1-13任一项所述的方法和/或权利要求14-16任一项所述的方法。
- 一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令当被计算机执行时使得所述计算机执行权利要求1-13任一项所述的方法或者权利要求14-16任一项所述的方法。
- 一种车辆,其特征在于,包括权利要求27所述的计算设备或者权利要求28所述的计算设备。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2021/135177 WO2023097626A1 (zh) | 2021-12-02 | 2021-12-02 | 一种数据融合方法、装置、设备、存储介质、车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117795579A true CN117795579A (zh) | 2024-03-29 |
Family
ID=86611313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180018741.0A Pending CN117795579A (zh) | 2021-12-02 | 2021-12-02 | 一种数据融合方法、装置、设备、存储介质、车辆 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117795579A (zh) |
WO (1) | WO2023097626A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
MX343922B (es) * | 2014-02-20 | 2016-11-29 | Ford Global Tech Llc | Tratamiento de fallas en un vehículo autónomo. |
US9953535B1 (en) * | 2016-06-27 | 2018-04-24 | Amazon Technologies, Inc. | Annotated virtual track to inform autonomous vehicle control |
US11260876B2 (en) * | 2018-11-05 | 2022-03-01 | Robert Bosch Gmbh | Inter-vehicle sensor validation using senso-fusion network |
JP7382791B2 (ja) * | 2019-10-30 | 2023-11-17 | 株式会社日立製作所 | 異常判定装置、車両支援システム |
CN112085960A (zh) * | 2020-09-21 | 2020-12-15 | 北京百度网讯科技有限公司 | 车路协同信息处理方法、装置、设备及自动驾驶车辆 |
-
2021
- 2021-12-02 WO PCT/CN2021/135177 patent/WO2023097626A1/zh active Application Filing
- 2021-12-02 CN CN202180018741.0A patent/CN117795579A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2023097626A1 (zh) | 2023-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11238738B2 (en) | Information providing system, server, mobile terminal, and computer program | |
CN107972670B (zh) | 车辆虚拟地图 | |
JP6699230B2 (ja) | 道路異常警告システム及び車載機 | |
WO2018220971A1 (ja) | 通信制御装置、通信制御方法、及びコンピュータプログラム | |
US20180090009A1 (en) | Dynamic traffic guide based on v2v sensor sharing method | |
KR101500472B1 (ko) | 차량 내외로 차량 관련 정보를 전송하는 방법 및 장치 | |
US9373255B2 (en) | Method and system for producing an up-to-date situation depiction | |
JP7459276B2 (ja) | ナビゲーション方法および装置 | |
US10540895B2 (en) | Management of mobile objects | |
US20230227057A1 (en) | Reminding method and apparatus in assisted driving, reminding method and apparatus in map-assisted driving, and map | |
CN111699523B (zh) | 信息生成装置、信息生成方法、计算机程序和车内装置 | |
US11244565B2 (en) | Method and system for traffic behavior detection and warnings | |
CN108399792A (zh) | 一种无人驾驶车辆避让方法、装置和电子设备 | |
US20200193821A1 (en) | Control device for vehicle and automatic driving system | |
EP3994423B1 (en) | Collecting user-contributed data relating to a navigable network | |
JP2020027645A (ja) | サーバ、無線通信方法、コンピュータプログラム、及び車載装置 | |
JP6903598B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、および移動体 | |
US20210200241A1 (en) | Mobility information provision system, server, and vehicle | |
JP2020091652A (ja) | 情報提供システム、サーバ、及びコンピュータプログラム | |
JP2019079453A (ja) | 情報生成システム、情報生成装置、情報生成方法およびコンピュータプログラム | |
US12047853B2 (en) | Method and device for determining a position of a vehicle | |
KR20210057276A (ko) | 내비게이션 장치 및 그의 개인화 지도 서비스 방법 | |
US11897510B2 (en) | Estimating trip duration based on vehicle reroute probabilities | |
CN117795579A (zh) | 一种数据融合方法、装置、设备、存储介质、车辆 | |
WO2021117370A1 (ja) | 動的情報の更新装置、更新方法、情報提供システム、及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |