CN110132290A - 感知信息融合处理方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种感知信息融合处理方法、装置、设备和存储介质，其中，该方法包括：接收目标区域内的感知信息集合，其中，感知信息集合中包括由不同路侧设备传输的感知子信息，感知子信息基于不同路侧设备之间的时间校准具有相同的时间戳；利用融合算法，对感知信息集合进行融合处理。本发明实施例解决了行车过程中车载传感装置的感知范围较小以及车辆上部署较多传感装置的成本较高的问题，扩展了行车过程中的感知探测范围，降低了单车传感装置的部署成本，保证了融合处理结果的准确性，有助于促进智能交通技术的推广。

Description

感知信息融合处理方法、装置、设备和存储介质

技术领域

本发明实施例涉及智能交通技术领域，尤其涉及一种感知信息融合处理方法、装置、设备和存储介质。

背景技术

智能驾驶作为“智能制造”和“互联网+”时代的产物，引起了汽车产业生态及商业模式的全面升级与重塑，对于促进国家科技进步、经济发展与社会和谐以及提升综合国力等方面均有着重大的意义。

环境感知是智能驾驶技术的基础。通过在车辆上安装传感装置感知周围环境，实现智能化的辅助驾驶。然而，车辆传感装置由于位置固定或者视角有限等因素，导致感知范围有限，进而获取的感知信息难以满足智能驾驶的要求，尤其是在自动驾驶方面，为保证驾驶安全，对全面的环境信息的需求更高。此外，如果每辆车均安装多种传感装置，车主需要承担的部署成本也相对较高。

发明内容

本发明实施例提供一种感知信息融合处理方法、装置、设备和存储介质，以扩展行车过程中的感知探测范围，保证融合处理结果的准确性，降低单车传感器的部署成本。

第一方面，本发明实施例提供了一种感知信息融合处理方法，该方法包括：

接收目标区域内的感知信息集合，其中，所述感知信息集合中包括由不同路侧设备传输的感知子信息，所述感知子信息基于不同路侧设备之间的时间校准具有相同的时间戳；

利用融合算法，对所述感知信息集合进行融合处理。

第二方面，本发明实施例还提供了一种感知信息融合处理装置，该装置包括：

感知信息集合获取模块，用于接收目标区域内的感知信息集合，其中，所述感知信息集合中包括由不同路侧设备传输的感知子信息，所述感知子信息基于不同路侧设备之间的时间校准具有相同的时间戳；

融合处理模块，用于利用融合算法，对所述感知信息集合进行融合处理。

第三方面，本发明实施例还提供了一种设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的感知信息融合处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的感知信息融合处理方法。

本发明实施例通过在道路上布设分布式的路侧感知***，由该***中预先指定的目标设备接收该***中不同路侧设备传输的关于车辆行驶环境的感知子信息，其中由不同路侧设备传输的感知子信息具有相同的时间戳，进行融合处理后，将融合处理结果传输至车辆，从而应用于辅助驾驶。一方面，本发明实施例利用路侧端传感装置探测范围较广的优势，解决了行车过程中车载传感装置的感知范围较小的问题，扩展了行车过程中的感知探测范围，补充了车载感知的盲区，可以为车辆提供更多的环境感知信息，保证了驾驶决策制定的合理性，同时，感知子信息的时间戳一致性，保证了在没有GPS信号同步的行车场景下融合处理结果的准确性和实时性；另一方面，由于本发明实施例不需要依赖车载传感装置采集环境数据，解决了车辆上部署较多传感装置的成本较高的问题，降低了单车传感装置的部署成本，有助于促进智能交通技术的推广。

附图说明

图1是本发明实施例一提供的感知信息融合处理方法的流程图；

图2是本发明实施例一提供的路侧感知***和终端进行通信的一种结构示意图；

图3是本发明实施例二提供的感知信息融合处理方法的流程图；

图4是本发明实施例三提供的感知信息融合处理方法的流程图；

图5是本发明实施例三提供的另一感知信息融合处理方法的流程图；

图6是本发明实施例四提供的感知信息融合处理装置的结构示意图；

图7是本发明实施例五提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一提供的感知信息融合处理方法的流程图，本实施例可适用于在路侧端对车辆行驶环境的感知信息进行采集并融合处理，然后将融合处理结果发送至车辆上的终端，例如车载设备或移动终端等，从而用于辅助驾驶的情况。该方法可以由感知信息融合处理装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在任意的能够执行感知信息融合处理操作的设备上，例如路侧感知***中的具有计算处理能力的路侧设备。

本实施例可以应用在无法接收GPS信号的行车场景中，例如隧道和地下车库等，此时，不同设备之间很难利用GPS信号自动进行时间同步。基于具体行车场景中的道路分布，确定多个目标区域(该区域大小可适应性设置)，在每个目标区域内部署路侧感知***时，需要利用预设时间校准方法对行车环境中部署的路侧感知***中不同设备进行时间校准，然后对车辆的行驶环境数据进行实时而全面的采集，经过融合处理发送至车辆上的终端。

示例性的，在每个目标区域内，路侧感知***均包括多种传感装置、计算装置和通信装置等设备。其中，计算装置包括但不限于路侧计算单元(Road Side Computing Unit，RSCU)，通信装置包括但不限于路侧单元(Road Side Unit，RSU)，传感装置的类型包括但不限于图像传感器(摄像头)、毫米波雷达、激光雷达和超声波传感器等，每种类型的传感装置的部署数量可以根据实际需要进行设置。每个计算装置均可以与至少一种类型下的多个传感装置连接，并对传感装置采集的环境数据进行初步处理，得到对应的感知子信息，该感知子信息可以对应于目标区域内的一部分感知区域。不同计算装置之间可以基于有线或者无线通信方式进行数据交互，例如通过光纤连接相互通信。每个目标区域内计算装置的部署密集度可以根据需求进行设置，本实施例不作具体限定。

进一步的，在每个目标区域内的多个计算装置中，可以预先指定一个或者多个计算装置作为目标设备，用于执行本实施例的技术方案，即目标设备不仅需要对与之连接的传感装置采集的环境数据进行初步处理，还需要实时接收与之连接的其他计算装置传输的感知子信息，进行由多个计算装置传输的感知子信息之间的融合处理。目标设备可以通过一个或者多个通信装置将最终的融合处理结果发送至车辆上的终端。通信装置的数量可以少于计算装置的数量。在车辆行驶过程中，终端可以根据通信距离，从任意通信装置中直接获取所需的感知信息融合处理结果，无需自行执行融合处理，示例性的，该终端上可以集成车载单元(On board Unit，OBU)，用于与通信装置进行通信，获取感知信息融合处理结果。

在保证可以充分获取当前行驶环境的感知信息的基础上，路侧感知***中各个设备的部署密集度可以根据需求进行设置，本实施例不作具体限定，例如可以根据不同设备之间的通信距离和/或感知探测范围的分区数量确定。目标设备和通信装置之间的距离需要满足可通信距离要求。此外，目标设备和通信装置也可以集成为一个设备。

图2作为示例，示出了本发明实施例提供的一种路侧感知***和终端进行通信的结构示意图，但不应理解为对本实施例的具体限定。如图2所示，路侧感知***中包括分布式部署的传感装置、路侧计算单元和路侧单元，在目标区域内，每个路侧计算单元用于对多个传感装置采集的环境数据进行初步处理，得到感知子信息，并传输至作为目标设备的路侧计算单元，目标设备对接收的多个感知子信息进行融合处理后，通过与之连接的路侧单元发送至车辆上的终端。其中，路侧单元上可以集成发送模块，该发送模块可以预先订阅感知信息融合处理结果的主题(topic)，并将接收的融合处理结果广播出去。以下结合附图对本发明实施例的技术方案进行详细说明：

如图1所示，本实施例提供的感知信息融合处理方法可以包括：

S110、接收目标区域内的感知信息集合，其中，感知信息集合中包括由不同路侧设备传输的感知子信息，感知子信息基于不同路侧设备之间的时间校准具有相同的时间戳。

针对具体的行车环境，可以预先将该行车环境划分为多个目标区域，每个目标区域中可以包括多个感知范围分区，每个目标区域内均部署有路侧感知***，以获取感知信息集合。本实施例中，传输感知子信息的不同路侧设备是指接收传感装置采集的环境数据并进行初步处理，从而得到感知子信息的设备，具体可以是指路侧感知***中的计算装置，而用于执行本实施例技术方案的目标设备可以是多个路侧设备中预先指定的一个或者多个设备。

示例性的，在部署路侧感知***的过程中，可以使用交换机作为网络的核心交换设备，把包括上述路侧设备在内的多个设备组成一个分布式局域网，在任意一个路侧设备上设置一个本地网络时间协议服务器(Network Time Protocol Server)，并将其本地时间作为基准时间，其他各个设备均基于该基准时间进行校时，从而实现路侧感知***中各个设备的时间一致性，进而保持整个行车环境中部署的路侧感知***中所有设备均时间同步。其中，网络时间协议(Network Time Protocol)即用于同步网络中各个计算机时间的协议。当不同路侧设备的本地时间一致，感知信息集合中的感知子信息便具有相同的时间戳，从而确保了感知信息集合的融合处理结果的准确性和实时性。

S120、利用融合算法，对感知信息集合进行融合处理。

本实施例中，融合算法可以是现有技术中任意可用的能够对感知子信息进行融合处理的算法，包括但不限于航迹关联算法、匈牙利算法和二分图最大权匹配算法(Kuhn-Munkres，KM算法)等。进一步的，该方法还包括：将融合处理结果传输至车辆，例如传输至车辆上的车联网通信设备(Vehicle To X，V2X设备)、智能手机和个人电脑等终端，从而辅助车辆***制定驾驶决策。

通过道路上部署的路侧感知***获取车辆当前行驶环境的感知信息并进行融合处理，对于每辆车而言，只需要部署与路侧感知***进行交互的终端，从路侧感知***获取所需的融合处理结果，因此，可以节省单车部署较多传感装置的成本；并且，路侧感知***中传感装置采集环境数据的视角更广，也更加灵活，尤其是对于依赖单车传感装置采集环境数据的过程中存在感知盲区的情况，基于路侧感知***中传感装置与路侧设备的部署全面性，则可以克服该感知盲区，对该感知盲区内的感知信息进行补充，从而提高驾驶决策制定的准确性，提高驾驶安全，减少交通事故。

可选的，利用融合算法，对感知信息集合进行融合处理，包括：在感知信息集合中引入虚拟感知子信息，并利用融合算法，对感知信息集合进行融合处理，其中，虚拟感知子信息用于关联由不同路侧设备传输的感知子信息。

在融合处理过程中，虚拟感知子信息相当于由路侧感知***中不同路侧设备传输的感知子信息之间的关联桥梁，使得任意两个或者多个路侧设备传输的感知子信息之间均相互关联，例如利用该虚拟感知子信息，对由不同路侧设备传输的感知子信息进行循环式的关联融合处理，这可以避免部分感知子信息之间未进行融合而导致融合处理结果不准确和不完整，进而影响驾驶决策的制定。

可选的，对感知信息集合进行融合处理，包括：

将感知信息集合中由不同路侧设备传输的重合感知子信息进行去重；

将感知信息集合中由不同路侧设备传输的不重合感知子信息进行融合。

在目标区域内部署的多个传感装置的感知区域存在重合，因此，不同路侧设备传输的感知子信息存在重合信息，可以基于特征识别与匹配，去除重合的感知子信息；然后，将不重合感知子信息进行整合，从而得到车辆当前行驶环境的完整感知信息。

本实施例的技术方案通过在道路上布设分布式的路侧感知***，由该***中预先指定的目标设备接收该***中不同路侧设备传输的关于车辆行驶环境的感知子信息，其中由不同路侧设备传输的感知子信息具有相同的时间戳，进行融合处理后，将融合处理结果传输至车辆，从而应用于辅助驾驶。一方面，本实施例的技术方案利用路侧端传感装置探测范围较广的优势，解决了行车过程中车载传感装置的感知范围较小的问题，扩展了行车过程中的感知探测范围，补充了车载感知的盲区，可以为车辆提供更多的环境感知信息，保证了驾驶决策制定的合理性，同时，感知子信息的时间戳一致性，保证了在没有GPS信号同步的行车场景下融合处理结果的准确性和实时性；另一方面，由于本实施例的技术方案不需要依赖车载传感装置采集环境数据，解决了车辆上部署较多传感装置的成本较高的问题，降低了单车传感装置的部署成本，有助于促进智能交通技术的推广，构建社会智能交通***。

实施例二

图3是本发明实施例二提供的感知信息融合处理方法的流程图，本实施例是在上述实施例的基础上进一步进行优化。如图3所示，该方法可以包括：

S210、接收目标区域内的感知信息集合，其中，感知信息集合中包括由不同路侧设备传输的感知子信息，感知子信息基于不同路侧设备之间的时间校准具有相同的时间戳。

S220、在感知信息集合中引入虚拟感知子信息，并将感知信息集合中由任一路侧设备传输的感知子信息确定为目标感知子信息，利用目标感知子信息对虚拟感知子信息进行初始化。

例如，目标设备根据当前时间戳选取一定时间范围内的所有感知子信息，组成感知信息集合{A，B，C}，该感知信息集合中包括分别由三个路侧设备传输的感知子信息A、感知子信息B和感知子信息C，在该感知信息集合中引起虚拟感知子信息V⁰，得到感知信息集合{V⁰，A，B，C}；使用感知子信息A对虚拟感知子信息V⁰进行初始化，此时，虚拟感知子信息V⁰与感知子信息A包含的信息内容是相同的。

S230、利用融合算法，将初始化的虚拟感知子信息与感知信息集合中除目标感知子信息之外的由任一路侧设备传输的感知子信息进行融合处理，得到当前融合处理结果。

继续以上述示例为例，可以利用任一种融合算法，在感知信息集合{V⁰，A，B，C}中，将初始化后的虚拟感知子信息V⁰与感知子信息B和感知子信息C中的任一个进行融合处理，例如，将初始化后的虚拟感知子信息V⁰与感知子信息B进行融合处理，得到融合处理结果X，然后利用该融合处理结果X对初始化后的虚拟感知子信息V⁰进行更新，得到更新的虚拟感知子信息V¹，此时，更新的虚拟感知子信息V¹中实质上同时包含了感知子信息A和感知子信息B的内容。

S240、利用当前融合处理结果对初始化的虚拟感知子信息进行更新，并将更新的虚拟感知子信息作为新的初始化虚拟子信息，重复执行初始化的虚拟感知子信息与感知信息集合中未参与融合处理的由任一路侧设备传输的感知子信息之间的融合处理，直至感知信息集合中的感知子信息均参与融合处理。

在上述示例中，感知信息集合{A，B，C}中的感知子信息C还未参与融合处理，则继续将更新的虚拟感知子信息V¹与感知子信息C进行融合处理，此时，相当于感知子信息A和感知子信息B同时与感知子信息C进行融合处理，得到融合处理结果Y，该融合处理结果Y中同时包括感知子信息A、B和C的内容。如果感知信息集合中仍存在未参与融合处理的感知子信息，则可以使用融合处理结果Y更新虚拟感知子信息V¹，得到更新的虚拟感知子信息V²，并利用当前更新的虚拟感知子信息V²与剩余的未参与融合处理的感知子信息进行融合处理。即针对感知信息集合中由不同路侧设备传输的感知子信息，每一次融合处理操作结束后都需要对虚拟感知子信息进行动态更新。

相比于现有技术中通常采用感知信息之间单独的两两融合处理的方式，例如，首先将感知子信息A和B进行融合处理，然后再将感知子信息B和C进行融合处理，从而将上述两次融合处理的结果作为感知子信息A、B和C之间的融合处理结果，这其中忽略了感知子信息A和C之间的融合处理，当不同路侧设备传输的感知子信息之间存在较大的关联性时，便会导致融合处理结果中存在信息缺失问题，从而使得融合处理结果不准确、不完整，然而，利用本实施例的技术方案，则可以解决上述问题，保证融合处理结果的准确性与完整性。

本实施例的技术方案，一方面，利用路侧端传感装置探测范围较广的优势，解决了行车过程中车载传感装置的感知范围较小的问题，扩展了行车过程中的感知探测范围，补充了车载感知的盲区，可以为车辆提供更多的环境感知信息，保证了驾驶决策制定的合理性；同时，感知子信息的时间戳一致性，保证了在没有GPS信号同步的行车场景下融合处理结果的准确性和实时性；虚拟感知子信息的引入，保证了融合处理结果的准确性与完整性，进一步保证了驾驶决策制定的准确性，确保了智能驾驶的实现安全性；另一方面，由于本实施例的技术方案不需要依赖车载传感装置采集环境数据，解决了车辆上部署较多传感装置的成本较高的问题，降低了单车传感装置的部署成本，有助于促进智能交通技术的推广，构建社会智能交通***。

实施例三

图4是本发明实施例三提供的感知信息融合处理方法的流程图，本实施例是在上述实施例的基础上进一步进行优化与扩展。如图4所示，该方法可以包括：

S310、接收目标区域内的感知信息集合，其中，感知信息集合中包括由不同路侧设备传输的感知子信息，感知子信息基于不同路侧设备之间的时间校准具有相同的时间戳。

S320、遍历由不同路侧设备传输的感知子信息，得到至少一组航迹对，其中，航迹对包括分别对应不同路侧设备的任意两个目标对象。

路侧感知***中不同路侧设备传输的感知子信息中可以包括不同目标对象的信息，目标对象包括但不限于道路上的障碍物、行人、车辆、建筑物和交通标志等。通过遍历感知信息集合，将不同路侧设备传输的感知子信息中涉及的目标对象进行两两分组。例如，分别由两个路侧设备传输的感知子信息A和B，感知子信息A中包括2个目标对象：m1、m2，感知子信息B中包括3个目标对象n1、n2、n3，遍历感知子信息A和B，可以得到6组航迹对，分别为：(m1，n1)、(m1，n2)、(m1，n3)、(m2，n1)、(m2，n2)、(m2，n3)。

可选的，在对感知信息集合进行融合处理之前，该方法还包括：

在感知信息集合中，为由任一路侧设备传输的感知子信息中的目标对象分配子标识，其中，子标识用于区分对应不同路侧设备的目标对象，该子标识包括目标对象的子ID。即由不同路侧设备传输的感知子信息中，涉及的目标对象均对应唯一的子标识，并且该子标识对应不同路侧设备不存在重合，从而在融合处理过程中实现对应不同路侧设备的目标对象之间的区分。例如对于任意航迹对而言，航迹对中的两个目标对象分别对应不同的子标识。

S330、根据每组航迹对中目标对象各自的信息，确定每组航迹对中两个目标对象之间的距离。

不同路侧设备传输的感知子信息中可以包括至少一个目标对象的位置、速度、运动方向、加速度、几何形状、旋转角和颜色等特征信息。根据航迹对中两个目标对象的位置信息可以两者之间的距离。

S340、根据确定的距离，在至少一组航迹对中确定满足距离阈值的航迹对子集合。

具体的，可以将两个目标对象之间的距离小于预设距离阈值(或称为跟踪门限)时对应的航迹对确定为目标航迹对，由确定的多个目标航迹对组成航迹对子集合，即可以基于贪心算法思想对得到的至少一组航迹对进行筛选。其中，距离阈值可以根据需求进行设置，本实施例不作具体限定。继续以上述示例进行说明，在上述6组航迹对中：(m1，n1)、(m1，n2)、(m1，n3)、(m2，n1)、(m2，n2)、(m2，n3)，通过确定每组航迹对中目标对象之前的距离，并与预设距离阈值进行比较，如果符合阈值条件的只有2组航迹对：(m1，n2)、(m2，n3)，后续便可利用融合算法对该2组航迹对优先进行融合处理。航迹对中两个目标对象之间的距离越近，属于行车环境中的同一目标对象的可能性越大，进行融合处理的价值更大，对筛选的航迹对进行优先融合处理，还可以减小融合处理的数据处理量，提高融合处理效率。

可选的，根据确定的距离，在至少一组航迹对中确定满足距离阈值的航迹对子集合，包括：根据确定的距离，将至少一组航迹对中满足距离阈值的航迹对存储至顺序表(SeqList)中，得到航迹对子集合。即每次确定出目标航迹对后，可以依次将目标航迹对信息存入顺序表中。顺序表作为一种数组结构，具有固定的存储容量，但可以存储任意类型的数据。

S350、利用融合算法，对航迹对子集合进行融合处理。

示例性的，在航迹对子集合中引入虚拟感知子信息，可以利用该航迹对子集合中任一航迹对中的一个目标对象的信息，对虚拟感知子信息进行初始化，将初始化的虚拟感知子信息与参与初始化的航迹对中另一目标对象的信息进行融合处理，利用当前融合处理结果对初始化的虚拟感知子信息进行动态更新，然后，依次与航迹对子集合中未参与融合处理的航迹对进行融合处理，即重复执行虚拟感知子信息的动态更新，以及与未参与融合处理的目标对象信息之间的融合处理，直至航迹对子集合中所有目标对象的信息均参与融合处理。

当得到该航迹对子集合的融合处理结果后，可以基于该融合处理结果以及当前获取的感知信息集合，继续添加除航迹对子集合对应的感知区域之外的感知区域的信息，从而得到车辆当前行驶环境的完整融合处理结果。

在上述技术方案的基础上，可选的，根据确定的距离，在至少一组航迹对中确定满足距离阈值的航迹对子集合之后，该方法还包括：

在航迹对子集合中，依据目标对象之间的距离，依次对每组航迹对进行特征匹配，确定特征匹配成功的航迹对，以对特征匹配成功的航迹对进行融合处理。

例如，可以按照两个目标对象的距离由小到大的排序结果，依次对每组航迹对进行特征匹配。航迹对中目标对象之间的距离作为第一层筛选条件，确定出符合距离阈值的航迹对子集合后，进一步根据目标对象之间的特征匹配结果进行筛选，从而得到距离较近且特征相匹配的优选航迹对，可以提高融合处理的效率与针对性。

进一步的，该方法还包括：

如果在依次对每组航迹对进行特征匹配的过程中，特征匹配失败，则将该特征匹配失败的航迹对从航迹对子集合中删除；

如果在依次对每组航迹对进行特征匹配的过程中，特征匹配成功，则将与该特征匹配成功的航迹对中任一目标对象相关联的其他航迹对从航迹对子集合中删除。

在每次特征匹配过程中，如果特征匹配失败，则说明当前航迹对中的两个目标对象不属于行车环境中的同一目标对象，即不满足当前优选航迹对的筛选条件，因而将特征匹配失败的航迹对从航迹对子集合中删除；如果特征匹配成功(即航迹对关联成功)，则说明当前航迹对中目标对象属于同一目标对象，而其他的与当前航迹对中任一目标对象相关联的航迹对，则不属于包含同一目标对象的航迹对，可以进行删除，然后对特征匹配成功的航迹对添加关联信息，以进行融合处理。此外，如果航迹对子集合中的航迹对是以顺序表的形式进行存储，则依次从该顺序表中删除满足删除条件的航迹对，并将特征匹配成功的航迹对存储至其他区域，以待融合处理，直至该顺序表为空。

图5以目标对象是障碍物为例，示出了本实施例提供的另一感知信息融合处理方法的流程图。如图5所示，在目标区域内，路侧感知***中的目标设备通过不同路侧设备获取车辆行驶环境的感知信息集合，然后为对应不同路侧设备的障碍物重新分配子ID，以实现对障碍物的区分，该子ID区别于路侧感知***中的设备ID，不同路侧设备向目标设备传输感知子信息时，感知子信息中便会携带不同的设备ID，同一路侧设备传输的感知子信息中对应相同路侧设备ID；子ID重新分配后，计算每组航迹对中两个障碍物之间的距离，根据该距离与跟踪门限的关系，实现航迹对的第一层筛选，并将满足跟踪门限的航迹对存储至顺序表中，然后在顺序表中，可以根据距离对航迹对进行排序，并按照距离由小到大的排序结果，依次对航迹对进行特征匹配，通过特征匹配实现对航迹对的第二层筛选，进而确定出优选航迹对(即关联成功的航迹对)，同时将不满足条件的航迹对从顺序表中删除；最后基于确定的优选航迹对以及关联信息，进行去重处理，基于去重处理得到的融合结果，继续添加非冗余区域的障碍物信息，即不重合的障碍物信息，从而得到车辆当前行驶环境的完整融合处理结果，以用于驾驶决策的制定。

本实施例的技术方案通过遍历依赖不同路侧设备获取的感知信息集合，得到至少一组航迹对，基于每组航迹对中目标对象之间的距离与特征匹配，实现对航迹对的筛选，得到优选航迹对，从而利用航迹关联算法等融合算法对优选航迹对进行优先融合处理，提高了融合处理的效率，并保证了融合处理结果的准确性，确保了车辆***中驾驶决策制定的合理性与准确性；同时，本实施例的技术方案解决了行车过程中车载传感装置的感知范围较小以及车辆上部署较多传感装置的成本较高的问题，扩展了行车过程中的感知探测范围，补充了车载感知的盲区，可以为车辆提供更多的环境感知信息，而且降低了单车传感装置的部署成本，有助于促进智能交通技术的推广。

实施例四

图6是本发明实施例四提供的感知信息融合处理装置的结构示意图，本实施例可适用于在路侧端对车辆行驶环境的感知信息进行采集并融合处理，然后将融合处理结果发送至车辆上的终端，例如车载设备或移动终端等，从而用于辅助驾驶的情况。该装置可以采用软件和/或硬件的方式实现，并可集成在任意的能够执行感知信息融合处理操作的设备上，例如路侧感知***中的路侧设备等。

如图6所示，本实施例提供的感知信息融合处理装置可以包括感知信息集合获取模块410和融合处理模块420，其中：

感知信息集合获取模块410，用于接收目标区域内的感知信息集合，其中，感知信息集合中包括由不同路侧设备传输的感知子信息，感知子信息基于不同路侧设备之间的时间校准具有相同的时间戳；

融合处理模块420，用于利用融合算法，对感知信息集合进行融合处理。

可选的，融合处理模块420具体用于：

在感知信息集合中引入虚拟感知子信息，并利用融合算法，对感知信息集合进行融合处理，其中，虚拟感知子信息用于关联由不同路侧设备传输的感知子信息。

进一步的，融合处理模块420包括：

虚拟感知子信息初始化单元，用于在感知信息集合中引入虚拟感知子信息，并将感知信息集合中由任一路侧设备传输的感知子信息确定为目标感知子信息，利用目标感知子信息对虚拟感知子信息进行初始化；

第一融合处理单元，用于利用融合算法，将初始化的虚拟感知子信息与感知信息集合中除目标感知子信息之外的由任一路侧设备传输的感知子信息进行融合处理，得到当前融合处理结果；

融合处理重复执行单元，用于利用当前融合处理结果对初始化的虚拟感知子信息进行更新，并将更新的虚拟感知子信息作为新的初始化虚拟子信息，重复执行初始化的虚拟感知子信息与感知信息集合中未参与融合处理的由任一路侧设备传输的感知子信息之间的融合处理，直至感知信息集合中的感知子信息均参与融合处理。

可选的，该装置还包括：

子标识分配模块，用于在融合处理模块420执行对感知信息集合进行融合处理的操作之前，在感知信息集合中，为由任一路侧设备传输的感知子信息中的目标对象分配子标识，其中，子标识用于区分对应不同路侧设备的目标对象。

可选的，该装置还包括，

航迹对确定模块，用于在融合处理模块420执行对感知信息集合进行融合处理的操作之前，遍历由不同路侧设备传输的感知子信息，得到至少一组航迹对，其中，航迹对包括分别对应不同路侧设备的任意两个目标对象；

目标对象距离确定模块，用于根据每组航迹对中目标对象各自的信息，确定每组航迹对中两个目标对象之间的距离；

航迹对子集合确定模块，用于根据确定的距离，在至少一组航迹对中确定满足距离阈值的航迹对子集合，以对航迹对子集合进行融合处理。

可选的，该装置还包括：

特征匹配模块，用于在航迹对子集合确定模块执行根据确定的距离，在至少一组航迹对中确定满足距离阈值的航迹对子集合之后，在航迹对子集合中，依据目标对象之间的距离，依次对每组航迹对进行特征匹配，确定特征匹配成功的航迹对，以对特征匹配成功的航迹对进行融合处理。

可选的，该装置还包括：

第一航迹对删除模块，用于如果在依次对每组航迹对进行特征匹配的过程中，特征匹配失败，则将该特征匹配失败的航迹对从航迹对子集合中删除；

第二航迹对删除模块，用于如果在依次对每组航迹对进行特征匹配的过程中，特征匹配成功，则将与该特征匹配成功的航迹对中任一目标对象相关联的其他航迹对从航迹对子集合中删除。

可选的，航迹对子集合确定模块具体用于：

根据确定的距离，将至少一组航迹对中满足距离阈值的航迹对存储至顺序表中，得到航迹对子集合。

可选的，融合处理模块420包括：

感知子信息去重单元，用于将感知信息集合中由不同路侧设备传输的重合感知子信息进行去重；

感知子信息融合单元，用于将感知信息集合中由不同路侧设备传输的不重合感知子信息进行融合。

可选的，该装置还包括：

结果传输模块，用于将融合处理结果传输至车辆。

本发明实施例所提供的感知信息融合处理装置可执行本发明任意实施例所提供的感知信息融合处理方法，具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本发明任意方法实施例中的描述。

实施例五

图7是本发明实施例五提供的一种设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性设备512的框图。图7显示的设备512仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。该设备512典型地可以是能够执行感知信息融合处理操作的设备，例如路侧感知***中的计算装置等。

如图7所示，设备512以通用设备的形式表现。设备512的组件可以包括但不限于：一个或者多个处理器516，存储装置528，连接不同***组件(包括存储装置528和处理器516)的总线518。

总线518表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及***组件互连(Peripheral Component Interconnect，PCI)总线。

设备512典型地包括多种计算机***可读介质。这些介质可以是任何能够被设备512访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储装置528可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(Random Access Memory，RAM)530和/或高速缓存存储器532。设备512可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***534可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM),数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储装置528可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块542的程序/实用工具540，可以存储在例如存储装置528中，这样的程序模块542包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本发明所描述的实施例中的功能和/或方法。

设备512也可以与一个或多个外部设备514(例如键盘、指向终端、显示器524等)通信，还可与一个或者多个使得用户能与该设备512交互的终端通信，和/或与使得该设备512能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且，设备512还可以通过网络适配器520与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器520通过总线518与设备512的其它模块通信。应当明白，尽管图中未示出，可以结合设备512使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)***、磁带驱动器以及数据备份存储***等。

处理器516通过运行存储在存储装置528中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的感知信息融合处理方法，该方法可以包括：

接收目标区域内的感知信息集合，其中，所述感知信息集合中包括由不同路侧设备传输的感知子信息，所述感知子信息基于不同路侧设备之间的时间校准具有相同的时间戳；

利用融合算法，对所述感知信息集合进行融合处理。

实施例六

本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的感知信息融合处理方法，该方法可以包括：

接收目标区域内的感知信息集合，其中，所述感知信息集合中包括由不同路侧设备传输的感知子信息，所述感知子信息基于不同路侧设备之间的时间校准具有相同的时间戳；

利用融合算法，对所述感知信息集合进行融合处理。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (13)

1.一种感知信息融合处理方法，其特征在于，所述方法包括：

接收目标区域内的感知信息集合，其中，所述感知信息集合中包括由不同路侧设备传输的感知子信息，所述感知子信息基于不同路侧设备之间的时间校准具有相同的时间戳；

利用融合算法，对所述感知信息集合进行融合处理。

2.根据权利要求1所述的方法，其特征在于，所述利用融合算法，对所述感知信息集合进行融合处理，包括：

在所述感知信息集合中引入虚拟感知子信息，并利用所述融合算法，对所述感知信息集合进行融合处理，其中，所述虚拟感知子信息用于关联由不同路侧设备传输的感知子信息。

3.根据权利要求2所述的方法，其特征在于，在所述感知信息集合中引入虚拟感知子信息，并利用所述融合算法，对所述感知信息集合进行融合处理，包括：

在所述感知信息集合中引入虚拟感知子信息，并将所述感知信息集合中由任一路侧设备传输的感知子信息确定为目标感知子信息，利用所述目标感知子信息对所述虚拟感知子信息进行初始化；

利用所述融合算法，将初始化的虚拟感知子信息与所述感知信息集合中除所述目标感知子信息之外的由任一路侧设备传输的感知子信息进行融合处理，得到当前融合处理结果；

利用所述当前融合处理结果对所述初始化的虚拟感知子信息进行更新，并将更新的虚拟感知子信息作为新的初始化虚拟子信息，重复执行所述初始化的虚拟感知子信息与所述感知信息集合中未参与融合处理的由任一路侧设备传输的感知子信息之间的融合处理，直至所述感知信息集合中的感知子信息均参与融合处理。

4.根据权利要求1所述的方法，其特征在于，在对所述感知信息集合进行融合处理之前，所述方法还包括：

在所述感知信息集合中，为由任一路侧设备传输的感知子信息中的目标对象分配子标识，其中，所述子标识用于区分对应不同路侧设备的目标对象。

5.根据权利要求1所述的方法，其特征在于，在对所述感知信息集合进行融合处理之前，所述方法还包括：

遍历所述由不同路侧设备传输的感知子信息，得到至少一组航迹对，其中，所述航迹对包括分别对应不同路侧设备的任意两个目标对象；

根据每组航迹对中目标对象各自的信息，确定每组航迹对中两个目标对象之间的距离；

根据所述距离，在所述至少一组航迹对中确定满足距离阈值的航迹对子集合，以对所述航迹对子集合进行融合处理。

6.根据权利要求5所述的方法，其特征在于，根据所述距离，在所述至少一组航迹对中确定满足距离阈值的航迹对子集合之后，所述方法还包括：

在所述航迹对子集合中，依据目标对象之间的距离，依次对每组航迹对进行特征匹配，确定特征匹配成功的航迹对，以对所述特征匹配成功的航迹对进行融合处理。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

如果在所述依次对每组航迹对进行特征匹配的过程中，特征匹配失败，则将该特征匹配失败的航迹对从所述航迹对子集合中删除；

如果在所述依次对每组航迹对进行特征匹配的过程中，特征匹配成功，则将与该特征匹配成功的航迹对中任一目标对象相关联的其他航迹对从所述航迹对子集合中删除。

8.根据权利要求5所述的方法，其特征在于，根据所述距离，在所述至少一组航迹对中确定满足距离阈值的航迹对子集合，包括：

根据所述距离，将所述至少一组航迹对中满足距离阈值的航迹对存储至顺序表中，得到所述航迹对子集合。

9.根据权利要求1所述的方法，其特征在于，对所述感知信息集合进行融合处理，包括：

将所述感知信息集合中由不同路侧设备传输的重合感知子信息进行去重；

将所述感知信息集合中由不同路侧设备传输的不重合感知子信息进行融合。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将融合处理结果传输至车辆。

11.一种感知信息融合处理装置，其特征在于，所述装置包括：

感知信息集合获取模块，用于接收目标区域内的感知信息集合，其中，所述感知信息集合中包括由不同路侧设备传输的感知子信息，所述感知子信息基于不同路侧设备之间的时间校准具有相同的时间戳；

融合处理模块，用于利用融合算法，对所述感知信息集合进行融合处理。

12.一种设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的感知信息融合处理方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的感知信息融合处理方法。