CN110781949A - 基于异步式串行多传感器的航迹数据融合方法及存储介质 - Google Patents
基于异步式串行多传感器的航迹数据融合方法及存储介质 Download PDFInfo
- Publication number
- CN110781949A CN110781949A CN201911011310.2A CN201911011310A CN110781949A CN 110781949 A CN110781949 A CN 110781949A CN 201911011310 A CN201911011310 A CN 201911011310A CN 110781949 A CN110781949 A CN 110781949A
- Authority
- CN
- China
- Prior art keywords
- data
- sensor
- track
- target
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种基于异步式串行多传感器的航迹数据融合方法及存储介质，所述方法包括以下步骤：通过多传感器采集目标数据，所述目标数据包括基础数据以辅助数据，所述多传感器包括主传感器及辅助传感器；从主传感器中选取同一类的传感器作为基准传感器；通过以基准传感器采集的基准数据为起点，依照串行顺序依次与其他传感器采集的目标数据进行预融合得到预融合数据；将得到的预融合数据与历史轨迹数据进行匹配融合得到航迹更新数据；将得到的航迹更新数据与其他传感器采集的目标数据进行后融合得到最终航迹数据。解决现有的融合算法基本为同步融合的问题，同时将“异步串行”的融合算法框架进行模块化，进而达到通用性强的效果。
Description
技术领域
本发明涉及航迹数据融合技术领域，特别涉及一种基于异步式串行多传感器的航迹数据融合方法及存储介质。
背景技术
如今，ADAS(Advanced Driving Assistant System高级辅助驾驶***)已然成为了技术发展的一大热点，无论是主机厂还是供应商都将大量的精力投至其中。并且就车辆方面而言，安装ADAS后的“成品车”无论在操稳性还是安全性方面都得到了巨大的提升，甚至在某些地区已将ADAS部分功能列入“强制安装”的法规中。ADAS技术可大致分为“感知”、“决策”以及“控制”三大模块：“感知***”主要负责获取外界环境信息数据，传输至“决策***”进行分析处理，再形成控制信号输入“控制***”，而控制后的信息再次被“感知***”捕获，最终形成“感知-决策-控制-感知”的闭环***。其中，“感知***”输出数据的准确性和全面性从根本上影响了决策以及控制，进而决定了产品的优劣。
目前，有关“感知***”方面的设计，开发者一般倾向于采用异质多传感器数据融合的设计方案，理由包括以下几点：
a、单一传感器存在较大的局限性，检测范围无法满足需求，输出数据类型单一等；
b、多种廉价传感器(精度低)组合的方案替代高价传感器(精度高)，有效降低成本；
c、采用异质多传感器组合的方式具有较强的鲁棒性，可适应多种不同工作环境；
d、多传感器更容易符合ISO26262功能安全标准(ASIL D等级)。
基于上述原因，“多传感器数据融合算法”即显得尤为重要。融合算法的工作主要包括将来自相同目标的数据进行整合关联；管理现存航迹并记录相关历史数据。但是，各类传感器本身均存在弊端给后端的融合算法带来了不小的“开发难度”，其中包括：
毫米波雷达：位置、速度信息准确，但存在大量虚警点、虚假航迹以及重复目标的问题；
视觉传感器：可探测目标类型信息，但是在深度方向上跳变较大；
激光雷达：无法检测速度信息。
就目前发展状况而言，融合算法存在几种主流方案，其中包括：最近邻匹配(Nearest Neighbor,NN)、联合概率数据关联(Joint Probabilistic Data Association,JPDA)以及多假设跟踪(Multiple Hypothesis Tracking,MHT)等。其根本机理是：将上一时刻的目标位置(Previous Location)预测至当前时刻下，再将预测位置(PredictedLocation)与当前时刻下的目标位置(Current Location)通过相关规则进行匹配关联，从而更新航迹，实现目标追踪并将“有效点”与“失效点”进行区分。但是，以上算法均属于融合算法中数据关联部分，针对融合算法整体框架的设计方案较少且大多为“同步融合”，即只使用当前时刻下的传感器数据，在通过时间与空间校正后进行数据关联，以此实现数据更新。并且融合算法步骤、接口较为杂乱，针对异质传感器通用性差。
发明内容
为此，需要提供一种基于异步式串行多传感器的航迹数据融合方法及存储介质，解决现有的航迹数据融合算法中多为同步融合，算法步骤及接口较为杂乱，以及针对异质传感器通用性差的问题。
为实现上述目的，发明人提供了一种基于异步式串行多传感器的航迹数据融合方法，包括以下步骤：
通过多传感器采集目标数据，所述目标数据包括基础数据以辅助数据，所述多传感器包括主传感器及辅助传感器，所述主传感器用于采集基础数据及辅助数据，所述辅助传感器用于采集辅助数据；
从主传感器中选取同一类的传感器作为基准传感器，所述基准传感器采集的目标数据为检测目标的基准数据；
通过以基准传感器采集的基准数据为起点，依照串行顺序依次与其他传感器采集的目标数据进行预融合得到预融合数据；
将得到的预融合数据与历史轨迹数据进行匹配融合得到航迹更新数据；
将得到的航迹更新数据与其他传感器采集的目标数据进行后融合得到最终航迹数据。
进一步优化，所述“将得到的预融合数据与历史轨迹数据进行匹配融合得到航迹更新数据”具体包括以下步骤：
判断当前时刻基准传感器采集的目标数据是否处于时间戳阈值内，
若不是，则清除历史航迹信息，并根据当前基准传感器采集的目标数据生成新的航迹数据；
若是，根据历史航迹轨迹得到历史航迹数据，将基准传感器采集的目标数据与历史航迹数据进行融合得到新的航迹数据。
进一步优化，还包括以下步骤：
若检测到基准传感器损坏，则切换其他类的主传感器作为新的基准传感器，直至所有的主传感器损坏。
进一步优化，还包括以下步骤：
对于多传感器采集的目标数据，将同一类传感器采集的数据进行合并形成数据层。
进一步优化，还包括以下步骤：
分别对主传感器采集的目标数据、辅助传感器采集的目标数据以及历史轨迹数据进行预处理。
发明人还提供了另一个技术方案：一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器运行时，则执行以下步骤：
通过多传感器采集目标数据，所述目标数据包括基础数据以辅助数据，所述多传感器包括主传感器及辅助传感器，所述主传感器用于采集基础数据及辅助数据，所述辅助传感器用于采集辅助数据；
从主传感器中选取同一类的传感器作为基准传感器，所述基准传感器采集的目标数据为检测目标的基准数据；
通过以基准传感器采集的基准数据为起点，依照串行顺序依次与其他传感器采集的目标数据进行预融合得到预融合数据；
将得到的预融合数据与历史轨迹数据进行匹配融合得到航迹更新数据；
将得到的航迹更新数据与其他传感器采集的目标数据进行后融合得到最终航迹数据。
进一步优化，所述计算机程序被处理器运行，执行步骤“将得到的预融合数据与历史轨迹数据进行匹配融合得到航迹更新数据”时，具体执行以下步骤：
判断当前时刻基准传感器采集的目标数据是否处于时间戳阈值内，
若不是，则清除历史航迹信息，并根据当前基准传感器采集的目标数据生成新的航迹数据；
若是，根据历史航迹轨迹得到历史航迹数据，将基准传感器采集的目标数据与历史航迹数据进行融合得到新的航迹数据。
进一步优化，所述计算机程序被处理器运行，还执行步骤：
若检测到基准传感器损坏，则切换其他类的主传感器作为新的基准传感器，直至所有的主传感器损坏。
进一步优化，所述计算机程序被处理器运行，还执行步骤：
对于多传感器采集的目标数据，将同一类传感器采集的数据进行合并形成数据层。
进一步优化，所述计算机程序被处理器运行，还执行步骤：
分别对主传感器采集的目标数据、辅助传感器采集的目标数据以及历史轨迹数据进行预处理。
区别于现有技术，上述技术方案，通过根据不同传感器的特性，将传感器分为主传感器以及辅助传感器，同时在主传感器选取一类传感器作为基准传感器，并将基准传感器采集的目标数据作为当前时刻下检测目标的基准数据，依照串行顺序依次与其他传感器采集的目标数据以及历史航迹数据进行融合，其中融合内容包括对基础数据的迭代更新，以及添加其他额外信息，进而得到输出的航迹数据，通过根据不同传感器的特性，基于“异步串行”融合的算法框架对传感器采集的目标数据进行融合，解决现有的融合算法基本为同步融合的问题，同时将“异步串行”的融合算法框架进行模块化，进而达到通用性强的效果。
附图说明
图1为具体实施方式所述基于异步式串行多传感器的航迹数据融合方法的一种流程示意图；
图2为具体实施方式所述传感器分类的一种结构示意图；
图3为具体实施方式所述航迹预测的时间轴流程的一种流程示意图；
图4为具体实施方式所述数据层预处理的过程的一种流程示意图。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
请参阅图1，本实施例提供了一种基于异步式串行多传感器的航迹数据融合方法，包括以下步骤：
步骤S110：通过多传感器采集目标数据，所述目标数据包括基础数据以辅助数据，所述多传感器包括主传感器及辅助传感器，所述主传感器用于采集基础数据及辅助数据，所述辅助传感器用于采集辅助数据；
请参阅图2所示的传感器分类，通过基于传感器输出数据的描述对象对传感器进行分类，主要分类原则为：将可描述潜在移动目标(车辆、骑车人、行人等)属性(位置、速度、加速度、方位角、目标类型等)的传感器分为第一类，如毫米波雷达Radar、摄像机Camera、激光雷达Lidar等；将可描述其他交通信息以及自车信息(车道线、交通标识、自车车速、自车横摆角速度等)的传感器分为第二类，如高精度图HD Map、RTK、摄像机Camera、惯性导航单元IMU、高精度地图HD MAP及实时差分定位***RTD-GPS等。同时，第二类传感器主要功能为辅助计算第一类传感器输出数据，使得目标表述信息更加丰富。其中第一类传感器为主传感器，第二类传感器为辅助传感器。其中，图2中，下半部分的传感器属于“第一类传感器(TypeⅠSensor)”，其通过“大写英文字母+***数字下标”组成，其中大写英文字母表示传感器种类(相同字母表示相同类型传感器)，而数字则表示同类型传感器个数。而上半部分传感器则属于“第二类传感器(TypeⅡSensor)”，不同希腊字符表示不同种类的传感器。并且，该类型下的各种类传感器均只需装载一个即可，因此并不存在同种类传感器个数问题。
基于上述分类原则，部分传感器根据其输出的数据类型可能被同时分配至第一和第二类传感器。例如视觉传感器，其输出数据包括检测目标属性信息、车道线信息、以及交通标识信息，因此将被同时划分至两种不同类型的传感器范畴。但是就软件层面而言，以上分类冲突并不会对本专利融合算法框架产生影响，因为本专利所述融合算法框架输入并不是以传感器为单位，而是以“数据类型”为单位，如速度、位置、角度、类型等。
根据传感器输出数据所描述的物理信息不同，本专利将传感器输出数据分为“基础数据(Fundamental Data)”和“辅助数据(Subsidiary Data)”。其中，“基础数据”描述的是目标属性的个体信息(如位置、速度、类型)，并且大概率存在重复现象，即有多个传感器均可输出基础数据。而“辅助数据”则主要描述共有信息，辅助基础数据进行计算(如交通信息、自车信息)，使得目标能够携带更多的信息内容，并且辅助信息并不存在重复现象，即一类辅助数据只能由一个传感器单独输出。同时，第一类传感器(主传感器)可输出“基础数据”和“辅助数据”，而第二类传感器(辅助传感器)则只能输出“辅助数据”。例如，自车毫米波雷达(第一类传感器)探测到前方目标车辆输出其位置、速度信息(基础数据)，同时结合摄像头(第二类传感器)输出的车道线信息(辅助数据)，即能够判断出目标车辆所在车道编号(新产生的信息内容)。
步骤S120：从主传感器中选取同一类的传感器作为基准传感器，所述基准传感器采集的目标数据为检测目标的基准数据；其中，以主传感器输出的数据中的基础数据(位置、速度、角度、加速度等)的精确性和稳定性为主要参考依据，在多种主传感器中选出唯一类作为“基准传感器”，同时在航迹管理的环节中，只有来自基准传感器的数据允许生成新的航迹，而其他主传感器无权生成航迹，此外，若基准传感器损毁，无法正常发送数据时，则自行寻找下一类主传感器作为基准传感器，直至所有主传感器全部损毁。
步骤S130：通过以基准传感器采集的基准数据为起点，依照串行顺序依次与其他传感器采集的目标数据进行预融合得到预融合数据；
步骤S140：将得到的预融合数据与历史轨迹数据进行匹配融合得到航迹更新数据；
步骤S150：将得到的航迹更新数据与其他传感器采集的目标数据进行后融合得到最终航迹数据。
其中，数据融合包括航迹数据融合和辅助数据融合，又可以分为预融合、主融合以及后融合三部分，其中预融合和后融合均属于辅助数据融合，而主融合属于航迹数据融合；航迹数据融合指代当前检测目标数据(目标数据包括基础数据和辅助数据)与历史航迹(航迹数据包括基础数据和辅助数据)间的互相融合。其中，主要是使用目标基础数据更新航迹基础数据。例如当自车前方出现目标车辆时将被主传感器探测，主传感器将输出位置、速度等基础数据，并与航迹数据进行匹配，在确认数据来自相同目标后使用当前目标基础数据更新航迹基础数据，更新方式包括权重相加等，具体方式可以根据实际需要极性选择。此外，为保证输出数据信息的全面性，还应为航迹输出结果添加目标辅助信息。同时，在完成航迹数据更新后，还需完成航迹管理相关工作，即生成新航迹、销毁丢失航迹等。
辅助数据融合指代不同类型传感器间的数据融合，一般位于航迹数据融合之后，但部分辅助数据融合存在于主融合之前，例如历史数据融合匹配时需计算目标动静状态，因此需事先利用自车车速、横摆角速度等数据计算目标动静状态，通过辅助数据计算使得融合后的输出数据能够携带更多的信息。由于辅助数据融合中不存在数据重复的问题，因此无需匹配，基础数据更新等环节。如计算目标所在车道一例，“车道线”为共享信息相对于任何目标并无差异，因此无需“匹配”一环，同时“所在车道”为辅助信息，由于信息的离散性，可直接进行状态更新，亦不存在“权重相加”等问题。
通过根据不同传感器的特性，将传感器分为主传感器以及辅助传感器，同时在主传感器选取一类传感器作为基准传感器，并将基准传感器采集的目标数据作为当前时刻下检测目标的基准数据，依照串行顺序依次与其他传感器采集的目标数据以及历史航迹数据进行融合，其中融合内容包括对基础数据的迭代更新，以及添加其他额外信息，进而得到输出的航迹数据，通过根据不同传感器的特性，基于“异步串行”融合的算法框架对传感器采集的目标数据进行融合，解决现有的融合算法基本为同步融合的问题，同时将“异步串行”的融合算法框架进行模块化，进而达到通用性强的效果。
在本实施例中，由于在运行的过程中，极大可能发生部分软件或硬件损毁状况，进而导致一些传感器无法正常输出相关数据。因此，为增强融合算法的鲁棒性，本融合算法框架将“主数据融合”和“辅助数据融合”相互剥离：当辅助传感器损毁时，在无法正常接收辅助数据的情况下，依旧能够输出检测目标信息(位置、速度、角度等主数据正常)，但部分信息(由辅助数据计算而来的信息)将会缺失；而当主传感器全部损毁时，将无法工作，但若只有部分主传感器全部损毁(仍存在可正常运作的主传感器)，融合***将进行数据切换并依旧保持正常工作。
请参阅图3所示的航迹预测的时间轴流程，而在本实施例中，本方法采用异步式串行多传感器融合架构，不再强制对不同来源的数据进行同步，进而取代的是：将现存的历史航迹进行航迹预测至当前时刻下，同时定义时间戳阈值，当时间戳阈值内的传感器采集的数据将对航迹进行更新，即融合，所述“将得到的预融合数据与历史轨迹数据进行匹配融合得到航迹更新数据”具体包括以下步骤：
判断当前时刻基准传感器采集的目标数据是否处于时间戳阈值内，
若不是，则清除历史航迹信息，并根据当前基准传感器采集的目标数据生成新的航迹数据；
若是，根据历史航迹轨迹得到历史航迹数据，将基准传感器采集的目标数据与历史航迹数据进行融合得到新的航迹数据。
通过记录每一帧的主程序处理时间作为基准时间，其中，一方面基准时间可以用于计算各个数据的时间戳阈值，另一方面每相邻两帧的基准时间之差将被作为航迹预测的预测步长，具体公式为：δstep＝tcurrent-tlast。在得到预测步长后，通过在预测模型将上一帧输出的“历史航迹数据”预测至当前时刻下，其中，预测模型包括常速模型(ConstantVelocity Model)、常加速模型(Constant Acceleration Model)、常速过弯模型(ConstantTurning Rate Model)、交互多模型(Interacting Multiple Model)等。将预测后的航迹时间戳作为基准时间，取前后N帧时间作为时间戳阈值，其中数据周期由传感器自身或自主定义。检验基准传感器采集的目标数据的时间戳是否位于时间戳阈值内，若校验结果为真则根据历史航迹轨迹得到历史航迹数据，将基准传感器采集的目标数据与历史航迹数据进行融合得到新的航迹数据，若基准传感器数据时间戳处于阈值之外，则立即清除历史航迹信息，同时使用当前基准传感器数据生成新航迹，并以当前基准传感器数据时间戳为基准更新“时间戳阈值”。并且，本实施例中所提及的几处时间戳筛选并非必须统一设计方式，可各自选定合适的阈值。
在本实施例中，可能存在基准传感器损坏情况发生，故为了解决该问题，还包括以下步骤：
若检测到基准传感器损坏，则切换其他类的主传感器作为新的基准传感器，直至所有的主传感器损坏。
通过前期对各类传感器基础数据比较，选取精确性、稳定性高的传感器作为基准传感器。而在融合***运行过程中，可通过对输出数据校验以此确认基准传感器是否正常工作，若发现基准传感器损毁，则切换至其他主传感器作为基准传感器，并将其基础数据作为检测目标基准数据。
请参阅图4所示的数据层预处理的过程，在本实施例中，为了满足感知范围需求，还包括以下步骤：
对于多传感器采集的目标数据，将同一类传感器采集的数据进行合并形成数据层。
由于单一传感器感知范围较小，通常会采用多个同类传感器以此覆盖需求的感知范围，通过对传感器采集的数据进行融合之前，将来源属于同类传感器的数据进行合并，形成数据层，其中，在本实施例中，将历史航迹数据定位为第一数据层，2-N层为主传感器采集的数据层，而对于辅助传感器采集的数据则以各个辅助传感器为单位，各为一层。
在本实施例中，还包括对传感器采集的数据进行转换，首先将传感器采集的数据统一转换至直角坐标系或极坐标下，同时将基准传感器采集的数据转换至公共坐标系下，以便后续进行匹配。
在本实施例中，还可以基于指标要求将传感器的感知区域分为感兴趣区域和无效区域，其中保留感兴趣区内的数据而舍弃无效区域内的数据，同时感兴趣区域操作冗余存在，即不论在极坐标下、直角坐标下、同类传感器结合前/后均存在感兴趣区域判断，但这个感兴趣区域判断并不是必须的。
在本实施例中，在主传感器采集的数据中可能出现多个来自相同目标的数据点，此处需进行聚类处理以避免相同航迹的重复生成。例如毫米波雷达反馈多个相同目标点迹，或激光雷达点云数据中，大量来自相同目标的重复点云。其中，聚类处理方式有K-mean、密度聚类、栅格聚类等。
在本实施例中，还包括以下步骤：
分别对主传感器采集的目标数据、辅助传感器采集的目标数据以及历史轨迹数据进行预处理。
由于目标个数较多，需对目标个数进行校验，确保在循环中对每一个目标都进行了相应操作，而在本实施例中，通过在对基准传感器采集的基准数据预处理的过程中，对基准数据进行CRC校验，进而对目标个数进行校验。其步骤包括：首先对于基准传感器采集的基准数据进行感兴趣区域判断，若在感兴趣区域内，则对基准传感器采集的基础数据进行坐标转换至公共坐标系下，再次进行感兴趣区域判断，再次判断在感兴趣区域内后，进行转换后的基准数据进行同源组合，再此进行感兴趣区域判断，判断在感兴趣区域内时，则对组合的基准数据进行聚类，聚类后的基准数据进行时间戳阈值判断，若在时间戳阈值内，则进行CRC校验，校验通过，则输出基准数据，而不在时间戳阈值内，则清楚历史航迹，根据基准数据生成新的航迹，更新时间戳阈值，然后再进行CRC校验后，输出新的航迹。
对于主传感器采集的目标数据的预处理，与基准传感器采集的基准数据的预处理步骤差不多，对主传感器采集的数据进行传感器数据转换、同类传感器数据结合、感兴趣区域判断、相同目标数据聚类、时间戳阈值刷选，以及目标个数冗余校验。具体步骤包括：首先对于主传感器采集的目标数据进行感兴趣区域判断，若在感兴趣区域内，则对主传感器采集的目标数据进行坐标转换，然后再次进行感兴趣区域判断，判断在感兴趣区域内后，进行转换后的目标数据进行同源组合，接着再此进行感兴趣区域判断，判断在感兴趣区域内时，则对组合的目标数据进行聚类，聚类后的基准数据进行时间戳阈值判断，若在时间戳阈值内，则进行CRC校验，校验通过，则输出主传感器采集的目标数据，而若不在时间戳阈值内，则直接舍弃位于时间戳阈值外的主传感器采集的数据。
而对于辅助传感器采集的辅助数据的预处理，其主要处理方式为时间戳筛选，即对辅助传感器采集的辅助数据进行判断是否在时间戳阈值内，若在，则选用辅助数据，若不在时间戳阈值内，则弃置位于时间戳阈值外的辅助数据。
而对于历史航迹数据的预处理，主要为对经过航迹预测后的历史航迹，进行合理性判断，若现存的历史航迹合理，则加以使用，若不合理，则弃置不合理的历史航迹数据，其中合理性判断包括：预测后的航迹数应等于上帧输出的航迹数以及航迹状态不应该发生变换。
在本实施例中，预融合属于辅助融合类型，融合内容主要包括基准传感器数据-基础数据融合、以及基准传感器数据-辅助数据融合两部分。以上两部分融合算法在顺序上并无强制要求，其主要功能均是为基准数据添加更多的物理信息。其中，基准传感器数据-基础数据融合主要指代基准传感器数据中的基础数据和其他主部分主传感器中的基础数据之间的融合。由于以上两部分数据所包含的物理信息均是针对每个探测目标进行描述。因此该部分需完成目标匹配环节，在确认信息来自相同目标后才能进行融合操作。在目标匹配过程中还涉及匹配度(描述信息来自相同目标的可信程度)计算方式，最后再进行加权融合，若基础数据为连续变量则采用权重相加的方法进行融合；若基础数量为离散变量则直接更新变量状态即可。并且匹配度计算方式多样，其中包括点积计算(Dot-Product)、最近邻(欧式距离)计算、JPDA/MHT、以及残差(马氏距离)计算等，具体方式可以根据实际需要进行选择。同时，加权融合也非硬性要求，根据鲁棒性/精确性需求，权重系数可由多种方式生成。本实施例中的异步式串行融合框架中，选取输出数据精确度最高、稳定性最好的主传感器作为基准传感器，而其他主传感器只负责将自身离散信息添加至基准传感器数据中。因此将基准传感器数据中的联系变量权重设为1，而其他主传感器输出数据中的连续变量权重设为0。基准传感器数据-辅助数据融合主要指代基准传感器采集的基准数据与其他传感器输出的辅助数据之间的融合，其中基准数据只能来自于基准传感器，但是辅助数据可同时来源于主传感器和辅助传感器。辅助数据的描述内容主要针对非目标个体的统一信息，例如交通信息、自车信息等，因此基准数据-辅助数据融合无需目标匹配环节，直接根据辅助数据计算更多目标额外物理信息，并附加于主数据流中。
而对于主数据融合，属于航迹融合，主要针对基准数据与预测后航迹数据进行操作，以下进行详细描述：
(1)目标数据状态定义
无效目标：当目标数据位于ROI(感兴趣区域)之外，或所携带时间戳不满足基准时间戳阈值；
选中目标：该目标数据与某航迹匹配度高于门限值；
匹配目标：目标数据成功匹配至某航迹并对其航迹数据更新；
有效目标：其余未进行任何操作的数据点为有效目标。
(2)航迹状态定义
空航迹：被复位的航迹缓存空间；
有效航迹：成功被当前时刻下的目标数据匹配更新的航迹；
丢失航迹：当前帧下未被目标数据匹配更新的航迹；
无效航迹：连续多帧未被目标数据匹配更新的航迹，以及为被匹配帧数多于成功匹配帧数的航迹。
(3)相关参数定义
航迹可见次数：该航迹被检测目标数据更新过的次数；
航迹丢失次数：该航迹于检测目标匹配失败的次数；
匹配度门限值：基准数据与航迹的匹配度高于某数值时，匹配度将被记录于匹配矩阵相应位置，否则将复位置零；
连续丢失次数门限值：当丢失航迹的连续丢帧次数大于该门限值时，该丢失航迹将转变为无效航迹，进而被复位至空航迹。
在主数据融合过程包括对航迹数据更新及航迹管理。对于航迹数据更新，首先进行当前目标信息和航迹信息的匹配操作，大于门限值的匹度将被记录。并对目标数据状态进行第一次，即标记选中目标；之后，按匹配度“由高至低”进行排列，基于航迹序列匹配度高的配对将优先进行更新操作，成功被更新过的配对将不再参与之后的筛选操作。但是，此处可能存在“多个目标匹配至同一航迹”、以及“多条航迹匹配至同一目标”问题，具体解决方法可采用权重占比、直接选取最优配对等，或由开发者根据相关需求自主定义，此处不再赘述。最后，对目标数据状态进行第二次更新，即标记成功匹配目标状态。同时还需完成航迹状态的第一次更新，即标记有效航迹。而对于航迹管理，首先根据航迹状态(是否成功匹配当前目标数据)更新该航迹的可见次数和丢失次数，具体更新方式是：本帧匹配成功的航迹可见次数加一，不可见次数复位置零；本帧匹配失败的航迹不可见次数加一，可见次数不变。此处逻辑由开发者自行设计，不做强制要求。之后进行第二次航迹状态更新，将本帧未成功匹配航迹标记为丢失航迹，并保留航迹预测数值。再根据航迹丢失次数与连续丢失次数门限值比较，挑选出无效航迹进行复位置零。最后，将状态为“有效”的当前目标数据填充至空航迹中作为新航迹生成，并进行第三次目标状态更新以及第三次航迹状态更新，即将有效目标状态转换为匹配目标和空航迹状态转换为有效航迹状态。
对于后融合，属于辅助融合类型，输入数据为更新后的“新航迹数据”以及其他主传感器数据和辅助传感器数据。融合内容主要包括新航迹数据-基础数据融合、以及新航迹数据-辅助数据融合两部分。以上两部分融合算法在顺序上并无强制要求，其主要功能均是为新航迹数据添加更多的物理信息。该模块在异步式串行融合框架中位于主融合模块之后，基本流程于预融合相同，只是将“基准数据”替换为“新航迹数据”。
在本实施例中，在预融合环节和后融合环节涉及到多种传感器融合，不论主传感器还是辅助传感器均无具体融合顺序，可以根据实际需要进行选择，但融合数据必须包含基准传感器数据。
在另一个实施例重，一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器运行时，则执行以下步骤：
通过多传感器采集目标数据，所述目标数据包括基础数据以辅助数据，所述多传感器包括主传感器及辅助传感器，所述主传感器用于采集基础数据及辅助数据，所述辅助传感器用于采集辅助数据；
请参阅图2所示的传感器分类，通过基于传感器输出数据的描述对象对传感器进行分类，主要分类原则为：将可描述潜在移动目标(车辆、骑车人、行人等)属性(位置、速度、加速度、方位角、目标类型等)的传感器分为第一类，如毫米波雷达Radar、摄像机Camera、激光雷达Lidar等；将可描述其他交通信息以及自车信息(车道线、交通标识、自车车速、自车横摆角速度等)的传感器分为第二类，如高精度图HD Map、RTK、摄像机Camera、惯性导航单元IMU、高精度地图HD MAP及实时差分定位***RTD-GPS等。同时，第二类传感器主要功能为辅助计算第一类传感器输出数据，使得目标表述信息更加丰富。其中第一类传感器为主传感器，第二类传感器为辅助传感器。其中，图2中，下半部分的传感器属于“第一类传感器(TypeⅠSensor)”，其通过“大写英文字母+***数字下标”组成，其中大写英文字母表示传感器种类(相同字母表示相同类型传感器)，而数字则表示同类型传感器个数。而上半部分传感器则属于“第二类传感器(TypeⅡSensor)”，不同希腊字符表示不同种类的传感器。并且，该类型下的各种类传感器均只需装载一个即可，因此并不存在同种类传感器个数问题。
基于上述分类原则，部分传感器根据其输出的数据类型可能被同时分配至第一和第二类传感器。例如视觉传感器，其输出数据包括检测目标属性信息、车道线信息、以及交通标识信息，因此将被同时划分至两种不同类型的传感器范畴。但是就软件层面而言，以上分类冲突并不会对本专利融合算法框架产生影响，因为本专利所述融合算法框架输入并不是以传感器为单位，而是以“数据类型”为单位，如速度、位置、角度、类型等。
根据传感器输出数据所描述的物理信息不同，本专利将传感器输出数据分为“基础数据(Fundamental Data)”和“辅助数据(Subsidiary Data)”。其中，“基础数据”描述的是目标属性的个体信息(如位置、速度、类型)，并且大概率存在重复现象，即有多个传感器均可输出基础数据。而“辅助数据”则主要描述共有信息，辅助基础数据进行计算(如交通信息、自车信息)，使得目标能够携带更多的信息内容，并且辅助信息并不存在重复现象，即一类辅助数据只能由一个传感器单独输出。同时，第一类传感器(主传感器)可输出“基础数据”和“辅助数据”，而第二类传感器(辅助传感器)则只能输出“辅助数据”。例如，自车毫米波雷达(第一类传感器)探测到前方目标车辆输出其位置、速度信息(基础数据)，同时结合摄像头(第二类传感器)输出的车道线信息(辅助数据)，即能够判断出目标车辆所在车道编号(新产生的信息内容)。
从主传感器中选取同一类的传感器作为基准传感器，所述基准传感器采集的目标数据为检测目标的基准数据；其中，以主传感器输出的数据中的基础数据(位置、速度、角度、加速度等)的精确性和稳定性为主要参考依据，在多种主传感器中选出唯一类作为“基准传感器”，同时在航迹管理的环节中，只有来自基准传感器的数据允许生成新的航迹，而其他主传感器无权生成航迹，此外，若基准传感器损毁，无法正常发送数据时，则自行寻找下一类主传感器作为基准传感器，直至所有主传感器全部损毁。
通过以基准传感器采集的基准数据为起点，依照串行顺序依次与其他传感器采集的目标数据进行预融合得到预融合数据；
将得到的预融合数据与历史轨迹数据进行匹配融合得到航迹更新数据；
将得到的航迹更新数据与其他传感器采集的目标数据进行后融合得到最终航迹数据。
其中，数据融合包括航迹数据融合和辅助数据融合，又可以分为预融合、主融合以及后融合三部分，其中预融合和后融合均属于辅助数据融合，而主融合属于航迹数据融合；航迹数据融合指代当前检测目标数据(目标数据包括基础数据和辅助数据)与历史航迹(航迹数据包括基础数据和辅助数据)间的互相融合。其中，主要是使用目标基础数据更新航迹基础数据。例如当自车前方出现目标车辆时将被主传感器探测，主传感器将输出位置、速度等基础数据，并与航迹数据进行匹配，在确认数据来自相同目标后使用当前目标基础数据更新航迹基础数据，更新方式包括权重相加等，具体方式可以根据实际需要极性选择。此外，为保证输出数据信息的全面性，还应为航迹输出结果添加目标辅助信息。同时，在完成航迹数据更新后，还需完成航迹管理相关工作，即生成新航迹、销毁丢失航迹等。
辅助数据融合指代不同类型传感器间的数据融合，一般位于航迹数据融合之后，但部分辅助数据融合存在于主融合之前，例如历史数据融合匹配时需计算目标动静状态，因此需事先利用自车车速、横摆角速度等数据计算目标动静状态，通过辅助数据计算使得融合后的输出数据能够携带更多的信息。由于辅助数据融合中不存在数据重复的问题，因此无需匹配，基础数据更新等环节。如计算目标所在车道一例，“车道线”为共享信息相对于任何目标并无差异，因此无需“匹配”一环，同时“所在车道”为辅助信息，由于信息的离散性，可直接进行状态更新，亦不存在“权重相加”等问题。
通过根据不同传感器的特性，将传感器分为主传感器以及辅助传感器，同时在主传感器选取一类传感器作为基准传感器，并将基准传感器采集的目标数据作为当前时刻下检测目标的基准数据，依照串行顺序依次与其他传感器采集的目标数据以及历史航迹数据进行融合，其中融合内容包括对基础数据的迭代更新，以及添加其他额外信息，进而得到输出的航迹数据，通过根据不同传感器的特性，基于“异步串行”融合的算法框架对传感器采集的目标数据进行融合，解决现有的融合算法基本为同步融合的问题，同时将“异步串行”的融合算法框架进行模块化，进而达到通用性强的效果。
在本实施例中，由于在运行的过程中，极大可能发生部分软件或硬件损毁状况，进而导致一些传感器无法正常输出相关数据。因此，为增强融合算法的鲁棒性，本融合算法框架将“主数据融合”和“辅助数据融合”相互剥离：当辅助传感器损毁时，在无法正常接收辅助数据的情况下，依旧能够输出检测目标信息(位置、速度、角度等主数据正常)，但部分信息(由辅助数据计算而来的信息)将会缺失；而当主传感器全部损毁时，将无法工作，但若只有部分主传感器全部损毁(仍存在可正常运作的主传感器)，融合***将进行数据切换并依旧保持正常工作。
请参阅图3所示的航迹预测的时间轴流程，而在本实施例中，本方法采用异步式串行多传感器融合架构，不再强制对不同来源的数据进行同步，进而取代的是：将现存的历史航迹进行航迹预测至当前时刻下，同时定义时间戳阈值，当时间戳阈值内的传感器采集的数据将对航迹进行更新，即融合，所述计算机程序被处理器运行，执行步骤“将得到的预融合数据与历史轨迹数据进行匹配融合得到航迹更新数据”时，具体执行以下步骤：
判断当前时刻基准传感器采集的目标数据是否处于时间戳阈值内，
若不是，则清除历史航迹信息，并根据当前基准传感器采集的目标数据生成新的航迹数据；
若是，根据历史航迹轨迹得到历史航迹数据，将基准传感器采集的目标数据与历史航迹数据进行融合得到新的航迹数据。
通过记录每一帧的主程序处理时间作为基准时间，其中，一方面基准时间可以用于计算各个数据的时间戳阈值，另一方面每相邻两帧的基准时间之差将被作为航迹预测的预测步长，具体公式为：δstep＝tcurrent-tlast。在得到预测步长后，通过在预测模型将上一帧输出的“历史航迹数据”预测至当前时刻下，其中，预测模型包括常速模型(ConstantVelocity Model)、常加速模型(Constant Acceleration Model)、常速过弯模型(ConstantTurning Rate Model)、交互多模型(Interacting Multiple Model)等。将预测后的航迹时间戳作为基准时间，取前后N帧时间作为时间戳阈值，其中数据周期由传感器自身或自主定义。检验基准传感器采集的目标数据的时间戳是否位于时间戳阈值内，若校验结果为真则根据历史航迹轨迹得到历史航迹数据，将基准传感器采集的目标数据与历史航迹数据进行融合得到新的航迹数据，若基准传感器数据时间戳处于阈值之外，则立即清除历史航迹信息，同时使用当前基准传感器数据生成新航迹，并以当前基准传感器数据时间戳为基准更新“时间戳阈值”。并且，本实施例中所提及的几处时间戳筛选并非必须统一设计方式，可各自选定合适的阈值。
在本实施例中，可能存在基准传感器损坏情况发生，故为了解决该问题，还执行步骤：
若检测到基准传感器损坏，则切换其他类的主传感器作为新的基准传感器，直至所有的主传感器损坏。
通过前期对各类传感器基础数据比较，选取精确性、稳定性高的传感器作为基准传感器。而在融合***运行过程中，可通过对输出数据校验以此确认基准传感器是否正常工作，若发现基准传感器损毁，则切换至其他主传感器作为基准传感器，并将其基础数据作为检测目标基准数据。
请参阅图4所示的数据层预处理的过程，在本实施例中，为了满足感知范围需求，所述计算机程序被处理器运行，还执行步骤：
对于多传感器采集的目标数据，将同一类传感器采集的数据进行合并形成数据层。
由于单一传感器感知范围较小，通常会采用多个同类传感器以此覆盖需求的感知范围，通过对传感器采集的数据进行融合之前，将来源属于同类传感器的数据进行合并，形成数据层，其中，在本实施例中，将历史航迹数据定位为第一数据层，2-N层为主传感器采集的数据层，而对于辅助传感器采集的数据则以各个辅助传感器为单位，各为一层。
在本实施例中，还包括对传感器采集的数据进行转换，首先将传感器采集的数据统一转换至直角坐标系或极坐标下，同时将基准传感器采集的数据转换至公共坐标系下，以便后续进行匹配。
在本实施例中，还可以基于指标要求将传感器的感知区域分为感兴趣区域和无效区域，其中保留感兴趣区内的数据而舍弃无效区域内的数据，同时感兴趣区域操作冗余存在，即不论在极坐标下、直角坐标下、同类传感器结合前/后均存在感兴趣区域判断，但这个感兴趣区域判断并不是必须的。
在本实施例中，在主传感器采集的数据中可能出现多个来自相同目标的数据点，此处需进行聚类处理以避免相同航迹的重复生成。例如毫米波雷达反馈多个相同目标点迹，或激光雷达点云数据中，大量来自相同目标的重复点云。其中，聚类处理方式有K-mean、密度聚类、栅格聚类等。
在本实施例中，所述计算机程序被处理器运行，还执行步骤：
分别对主传感器采集的目标数据、辅助传感器采集的目标数据以及历史轨迹数据进行预处理。
由于目标个数较多，需对目标个数进行校验，确保在循环中对每一个目标都进行了相应操作，而在本实施例中，通过在对基准传感器采集的基准数据预处理的过程中，对基准数据进行CRC校验，进而对目标个数进行校验。其步骤包括：首先对于基准传感器采集的基准数据进行感兴趣区域判断，若在感兴趣区域内，则对基准传感器采集的基础数据进行坐标转换至公共坐标系下，再次进行感兴趣区域判断，再次判断在感兴趣区域内后，进行转换后的基准数据进行同源组合，再此进行感兴趣区域判断，判断在感兴趣区域内时，则对组合的基准数据进行聚类，聚类后的基准数据进行时间戳阈值判断，若在时间戳阈值内，则进行CRC校验，校验通过，则输出基准数据，而不在时间戳阈值内，则清楚历史航迹，根据基准数据生成新的航迹，更新时间戳阈值，然后再进行CRC校验后，输出新的航迹。
对于主传感器采集的目标数据的预处理，与基准传感器采集的基准数据的预处理步骤差不多，对主传感器采集的数据进行传感器数据转换、同类传感器数据结合、感兴趣区域判断、相同目标数据聚类、时间戳阈值刷选，以及目标个数冗余校验。具体步骤包括：首先对于主传感器采集的目标数据进行感兴趣区域判断，若在感兴趣区域内，则对主传感器采集的目标数据进行坐标转换，然后再次进行感兴趣区域判断，判断在感兴趣区域内后，进行转换后的目标数据进行同源组合，接着再此进行感兴趣区域判断，判断在感兴趣区域内时，则对组合的目标数据进行聚类，聚类后的基准数据进行时间戳阈值判断，若在时间戳阈值内，则进行CRC校验，校验通过，则输出主传感器采集的目标数据，而若不在时间戳阈值内，则直接舍弃位于时间戳阈值外的主传感器采集的数据。
而对于辅助传感器采集的辅助数据的预处理，其主要处理方式为时间戳筛选，即对辅助传感器采集的辅助数据进行判断是否在时间戳阈值内，若在，则选用辅助数据，若不在时间戳阈值内，则弃置位于时间戳阈值外的辅助数据。
而对于历史航迹数据的预处理，主要为对经过航迹预测后的历史航迹，进行合理性判断，若现存的历史航迹合理，则加以使用，若不合理，则弃置不合理的历史航迹数据，其中合理性判断包括：预测后的航迹数应等于上帧输出的航迹数以及航迹状态不应该发生变换。
在本实施例中，预融合属于辅助融合类型，融合内容主要包括基准传感器数据-基础数据融合、以及基准传感器数据-辅助数据融合两部分。以上两部分融合算法在顺序上并无强制要求，其主要功能均是为基准数据添加更多的物理信息。其中，基准传感器数据-基础数据融合主要指代基准传感器数据中的基础数据和其他主部分主传感器中的基础数据之间的融合。由于以上两部分数据所包含的物理信息均是针对每个探测目标进行描述。因此该部分需完成目标匹配环节，在确认信息来自相同目标后才能进行融合操作。在目标匹配过程中还涉及匹配度(描述信息来自相同目标的可信程度)计算方式，最后再进行加权融合，若基础数据为连续变量则采用权重相加的方法进行融合；若基础数量为离散变量则直接更新变量状态即可。并且匹配度计算方式多样，其中包括点积计算(Dot-Product)、最近邻(欧式距离)计算、JPDA/MHT、以及残差(马氏距离)计算等，具体方式可以根据实际需要进行选择。同时，加权融合也非硬性要求，根据鲁棒性/精确性需求，权重系数可由多种方式生成。本实施例中的异步式串行融合框架中，选取输出数据精确度最高、稳定性最好的主传感器作为基准传感器，而其他主传感器只负责将自身离散信息添加至基准传感器数据中。因此将基准传感器数据中的联系变量权重设为1，而其他主传感器输出数据中的连续变量权重设为0。基准传感器数据-辅助数据融合主要指代基准传感器采集的基准数据与其他传感器输出的辅助数据之间的融合，其中基准数据只能来自于基准传感器，但是辅助数据可同时来源于主传感器和辅助传感器。辅助数据的描述内容主要针对非目标个体的统一信息，例如交通信息、自车信息等，因此基准数据-辅助数据融合无需目标匹配环节，直接根据辅助数据计算更多目标额外物理信息，并附加于主数据流中。
而对于主数据融合，属于航迹融合，主要针对基准数据与预测后航迹数据进行操作，以下进行详细描述：
(4)目标数据状态定义
无效目标：当目标数据位于ROI(感兴趣区域)之外，或所携带时间戳不满足基准时间戳阈值；
选中目标：该目标数据与某航迹匹配度高于门限值；
匹配目标：目标数据成功匹配至某航迹并对其航迹数据更新；
有效目标：其余未进行任何操作的数据点为有效目标。
(5)航迹状态定义
空航迹：被复位的航迹缓存空间；
有效航迹：成功被当前时刻下的目标数据匹配更新的航迹；
丢失航迹：当前帧下未被目标数据匹配更新的航迹；
无效航迹：连续多帧未被目标数据匹配更新的航迹，以及为被匹配帧数多于成功匹配帧数的航迹。
(6)相关参数定义
航迹可见次数：该航迹被检测目标数据更新过的次数；
航迹丢失次数：该航迹于检测目标匹配失败的次数；
匹配度门限值：基准数据与航迹的匹配度高于某数值时，匹配度将被记录于匹配矩阵相应位置，否则将复位置零；
连续丢失次数门限值：当丢失航迹的连续丢帧次数大于该门限值时，该丢失航迹将转变为无效航迹，进而被复位至空航迹。
在主数据融合过程包括对航迹数据更新及航迹管理。对于航迹数据更新，首先进行当前目标信息和航迹信息的匹配操作，大于门限值的匹度将被记录。并对目标数据状态进行第一次，即标记选中目标；之后，按匹配度“由高至低”进行排列，基于航迹序列匹配度高的配对将优先进行更新操作，成功被更新过的配对将不再参与之后的筛选操作。但是，此处可能存在“多个目标匹配至同一航迹”、以及“多条航迹匹配至同一目标”问题，具体解决方法可采用权重占比、直接选取最优配对等，或由开发者根据相关需求自主定义，此处不再赘述。最后，对目标数据状态进行第二次更新，即标记成功匹配目标状态。同时还需完成航迹状态的第一次更新，即标记有效航迹。而对于航迹管理，首先根据航迹状态(是否成功匹配当前目标数据)更新该航迹的可见次数和丢失次数，具体更新方式是：本帧匹配成功的航迹可见次数加一，不可见次数复位置零；本帧匹配失败的航迹不可见次数加一，可见次数不变。此处逻辑由开发者自行设计，不做强制要求。之后进行第二次航迹状态更新，将本帧未成功匹配航迹标记为丢失航迹，并保留航迹预测数值。再根据航迹丢失次数与连续丢失次数门限值比较，挑选出无效航迹进行复位置零。最后，将状态为“有效”的当前目标数据填充至空航迹中作为新航迹生成，并进行第三次目标状态更新以及第三次航迹状态更新，即将有效目标状态转换为匹配目标和空航迹状态转换为有效航迹状态。
对于后融合，属于辅助融合类型，输入数据为更新后的“新航迹数据”以及其他主传感器数据和辅助传感器数据。融合内容主要包括新航迹数据-基础数据融合、以及新航迹数据-辅助数据融合两部分。以上两部分融合算法在顺序上并无强制要求，其主要功能均是为新航迹数据添加更多的物理信息。该模块在异步式串行融合框架中位于主融合模块之后，基本流程于预融合相同，只是将“基准数据”替换为“新航迹数据”。
在本实施例中，在预融合环节和后融合环节涉及到多种传感器融合，不论主传感器还是辅助传感器均无具体融合顺序，可以根据实际需要进行选择，但融合数据必须包含基准传感器数据。
需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。
Claims (10)
1.一种基于异步式串行多传感器的航迹数据融合方法，其特征在于，包括以下步骤：
通过多传感器采集目标数据，所述目标数据包括基础数据以辅助数据，所述多传感器包括主传感器及辅助传感器，所述主传感器用于采集基础数据及辅助数据，所述辅助传感器用于采集辅助数据；
从主传感器中选取同一类的传感器作为基准传感器，所述基准传感器采集的目标数据为检测目标的基准数据；
通过以基准传感器采集的基准数据为起点，依照串行顺序依次与其他传感器采集的目标数据进行预融合得到预融合数据；
将得到的预融合数据与历史轨迹数据进行匹配融合得到航迹更新数据；
将得到的航迹更新数据与其他传感器采集的目标数据进行后融合得到最终航迹数据。
2.根据权利要求1所述基于异步式串行多传感器的航迹数据融合方法，其特征在于，所述“将得到的预融合数据与历史轨迹数据进行匹配融合得到航迹更新数据”具体包括以下步骤：
判断当前时刻基准传感器采集的目标数据是否处于时间戳阈值内，
若不是，则清除历史航迹信息，并根据当前基准传感器采集的目标数据生成新的航迹数据；
若是，根据历史航迹轨迹得到历史航迹数据，将基准传感器采集的目标数据与历史航迹数据进行融合得到新的航迹数据。
3.根据权利要求1所述基于异步式串行多传感器的航迹数据融合方法，其特征在于，还包括以下步骤：
若检测到基准传感器损坏，则切换其他类的主传感器作为新的基准传感器，直至所有的主传感器损坏。
4.根据权利要求1所述基于异步式串行多传感器的航迹数据融合方法，其特征在于，还包括以下步骤：
对于多传感器采集的目标数据，将同一类传感器采集的数据进行合并形成数据层。
5.根据权利要求1所述基于异步式串行多传感器的航迹数据融合方法，其特征在于，还包括以下步骤：
分别对主传感器采集的目标数据、辅助传感器采集的目标数据以及历史轨迹数据进行预处理。
6.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器运行时，则执行以下步骤：
通过多传感器采集目标数据，所述目标数据包括基础数据以辅助数据，所述多传感器包括主传感器及辅助传感器，所述主传感器用于采集基础数据及辅助数据，所述辅助传感器用于采集辅助数据；
从主传感器中选取同一类的传感器作为基准传感器，所述基准传感器采集的目标数据为检测目标的基准数据；
通过以基准传感器采集的基准数据为起点，依照串行顺序依次与其他传感器采集的目标数据进行预融合得到预融合数据；
将得到的预融合数据与历史轨迹数据进行匹配融合得到航迹更新数据；
将得到的航迹更新数据与其他传感器采集的目标数据进行后融合得到最终航迹数据。
7.根据权利要求6所述存储介质，其特征在于，所述计算机程序被处理器运行，执行步骤“将得到的预融合数据与历史轨迹数据进行匹配融合得到航迹更新数据”时，具体执行以下步骤：
判断当前时刻基准传感器采集的目标数据是否处于时间戳阈值内，
若不是，则清除历史航迹信息，并根据当前基准传感器采集的目标数据生成新的航迹数据；
若是，根据历史航迹轨迹得到历史航迹数据，将基准传感器采集的目标数据与历史航迹数据进行融合得到新的航迹数据。
8.根据权利要求6所述存储介质，其特征在于，所述计算机程序被处理器运行，还执行步骤：
若检测到基准传感器损坏，则切换其他类的主传感器作为新的基准传感器，直至所有的主传感器损坏。
9.根据权利要求6所述存储介质，其特征在于，所述计算机程序被处理器运行，还执行步骤：
对于多传感器采集的目标数据，将同一类传感器采集的数据进行合并形成数据层。
10.根据权利要求6所述存储介质，其特征在于，所述计算机程序被处理器运行，还执行步骤：
分别对主传感器采集的目标数据、辅助传感器采集的目标数据以及历史轨迹数据进行预处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911011310.2A CN110781949B (zh) | 2019-10-23 | 2019-10-23 | 基于异步式串行多传感器的航迹数据融合方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911011310.2A CN110781949B (zh) | 2019-10-23 | 2019-10-23 | 基于异步式串行多传感器的航迹数据融合方法及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110781949A true CN110781949A (zh) | 2020-02-11 |
| CN110781949B CN110781949B (zh) | 2020-12-25 |
Family
ID=69386516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911011310.2A Active CN110781949B (zh) | 2019-10-23 | 2019-10-23 | 基于异步式串行多传感器的航迹数据融合方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110781949B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111766557A (zh) * | 2020-05-31 | 2020-10-13 | 宁夏隆基宁光仪表股份有限公司 | 一种基于K-Means算法分析影响电能表检测精度的方法 |
| CN111912295A (zh) * | 2020-06-22 | 2020-11-10 | 中国人民解放军63850部队 | 一种弹道落点预测*** |
| CN112541527A (zh) * | 2020-11-26 | 2021-03-23 | 深兰科技（上海）有限公司 | 多传感器同步方法、装置、电子设备和存储介质 |
| CN112924960A (zh) * | 2021-01-29 | 2021-06-08 | 重庆长安汽车股份有限公司 | 目标尺寸实时检测方法、***、车辆及存储介质 |
| CN112946624A (zh) * | 2021-03-01 | 2021-06-11 | 西安交通大学 | 一种基于航迹管理方法的多目标跟踪算法 |
| CN113536057A (zh) * | 2021-07-29 | 2021-10-22 | 中国第一汽车股份有限公司 | 一种航迹管理方法、装置、计算机设备以及存储介质 |
| CN113556366A (zh) * | 2020-04-07 | 2021-10-26 | 舜宇光学（浙江）研究院有限公司 | 多传感器数据同步方法及其***和电子设备 |
| CN115545004A (zh) * | 2022-09-27 | 2022-12-30 | 北京有竹居网络技术有限公司 | 导航方法、装置和电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102494687A (zh) * | 2011-10-19 | 2012-06-13 | 清华大学 | 一种高精度姿态/轨道一体化测量装置 |
| CN102833882A (zh) * | 2011-06-15 | 2012-12-19 | 中国科学院声学研究所 | 一种基于水声传感器网络的多目标数据融合方法及*** |
| CN106017475A (zh) * | 2016-07-04 | 2016-10-12 | 四川九洲电器集团有限责任公司 | 一种航迹更新方法及装置 |
| CN106840242A (zh) * | 2017-01-23 | 2017-06-13 | 驭势科技（北京）有限公司 | 一种智能驾驶汽车的传感器自检***及多传感融合*** |
| CN107063259A (zh) * | 2017-03-08 | 2017-08-18 | 四川九洲电器集团有限责任公司 | 一种航迹关联方法及电子设备 |
| US20170332203A1 (en) * | 2016-05-11 | 2017-11-16 | Mapsted Corp. | Scalable indoor navigation and positioning systems and methods |
| CN109858526A (zh) * | 2019-01-08 | 2019-06-07 | 沈阳理工大学 | 一种目标跟踪中基于传感器的多目标轨迹融合方法 |
-
2019
- 2019-10-23 CN CN201911011310.2A patent/CN110781949B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102833882A (zh) * | 2011-06-15 | 2012-12-19 | 中国科学院声学研究所 | 一种基于水声传感器网络的多目标数据融合方法及*** |
| CN102494687A (zh) * | 2011-10-19 | 2012-06-13 | 清华大学 | 一种高精度姿态/轨道一体化测量装置 |
| US20170332203A1 (en) * | 2016-05-11 | 2017-11-16 | Mapsted Corp. | Scalable indoor navigation and positioning systems and methods |
| CN106017475A (zh) * | 2016-07-04 | 2016-10-12 | 四川九洲电器集团有限责任公司 | 一种航迹更新方法及装置 |
| CN106840242A (zh) * | 2017-01-23 | 2017-06-13 | 驭势科技（北京）有限公司 | 一种智能驾驶汽车的传感器自检***及多传感融合*** |
| CN107063259A (zh) * | 2017-03-08 | 2017-08-18 | 四川九洲电器集团有限责任公司 | 一种航迹关联方法及电子设备 |
| CN109858526A (zh) * | 2019-01-08 | 2019-06-07 | 沈阳理工大学 | 一种目标跟踪中基于传感器的多目标轨迹融合方法 |
Non-Patent Citations (3)
| Title |
|---|
| MICHAEL AEBERHARD ETAL.: "Track-to-Track Fusion With Asynchronous Sensors Using Information Matrix Fusion for Surround Environment Perception", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 * |
| 董劲松等: "一种异类传感器之间的异步航迹融合算法", 《空军雷达学院学报》 * |
| 郭明等: "集中式多雷达***的数据融合", 《雷达与对抗》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113556366A (zh) * | 2020-04-07 | 2021-10-26 | 舜宇光学（浙江）研究院有限公司 | 多传感器数据同步方法及其***和电子设备 |
| CN113556366B (zh) * | 2020-04-07 | 2023-09-26 | 舜宇光学（浙江）研究院有限公司 | 多传感器数据同步方法及其***和电子设备 |
| CN111766557A (zh) * | 2020-05-31 | 2020-10-13 | 宁夏隆基宁光仪表股份有限公司 | 一种基于K-Means算法分析影响电能表检测精度的方法 |
| CN111912295A (zh) * | 2020-06-22 | 2020-11-10 | 中国人民解放军63850部队 | 一种弹道落点预测*** |
| CN112541527A (zh) * | 2020-11-26 | 2021-03-23 | 深兰科技（上海）有限公司 | 多传感器同步方法、装置、电子设备和存储介质 |
| CN112924960A (zh) * | 2021-01-29 | 2021-06-08 | 重庆长安汽车股份有限公司 | 目标尺寸实时检测方法、***、车辆及存储介质 |
| CN112924960B (zh) * | 2021-01-29 | 2023-07-18 | 重庆长安汽车股份有限公司 | 目标尺寸实时检测方法、***、车辆及存储介质 |
| CN112946624A (zh) * | 2021-03-01 | 2021-06-11 | 西安交通大学 | 一种基于航迹管理方法的多目标跟踪算法 |
| CN112946624B (zh) * | 2021-03-01 | 2023-06-27 | 西安交通大学 | 一种基于航迹管理方法的多目标跟踪方法 |
| CN113536057A (zh) * | 2021-07-29 | 2021-10-22 | 中国第一汽车股份有限公司 | 一种航迹管理方法、装置、计算机设备以及存储介质 |
| CN113536057B (zh) * | 2021-07-29 | 2023-03-07 | 中国第一汽车股份有限公司 | 一种航迹管理方法、装置、计算机设备以及存储介质 |
| CN115545004A (zh) * | 2022-09-27 | 2022-12-30 | 北京有竹居网络技术有限公司 | 导航方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110781949B (zh) | 2020-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110781949B (zh) | 基于异步式串行多传感器的航迹数据融合方法及存储介质 | |
| Xia et al. | An automated driving systems data acquisition and analytics platform | |
| Shin et al. | Roarnet: A robust 3d object detection based on region approximation refinement | |
| JP7140922B2 (ja) | マルチセンサデータ融合方法、及び装置 | |
| US10035508B2 (en) | Device for signalling objects to a navigation module of a vehicle equipped with this device | |
| CN109212521B (zh) | 一种基于前视相机与毫米波雷达融合的目标跟踪方法 | |
| CN109086788B (zh) | 用于从异构装置感测的多种不同格式的数据的多模式融合处理的设备、方法和*** | |
| JP2021504796A (ja) | センサーデータセグメンテーション | |
| WO2019136479A1 (en) | Surround vehicle tracking and motion prediction | |
| CN110009029B (zh) | 基于点云分割的特征匹配方法 | |
| Schueler et al. | 360 degree multi sensor fusion for static and dynamic obstacles | |
| US11472444B2 (en) | Method and system for dynamically updating an environmental representation of an autonomous agent | |
| CN116685874A (zh) | 摄像机-激光雷达融合对象检测***和方法 | |
| García et al. | Context aided pedestrian detection for danger estimation based on laser scanner and computer vision | |
| US20220343637A1 (en) | Traffic flow machine-learning modeling system and method applied to vehicles | |
| CN116830164A (zh) | LiDAR去相关对象检测***与方法 | |
| CN113269811A (zh) | 数据融合方法、装置及电子设备 | |
| CN114842445A (zh) | 基于多途径融合的目标检测方法、装置、设备及介质 | |
| CN115311512A (zh) | 数据标注方法、装置、设备及存储介质 | |
| KR101937267B1 (ko) | 차량용 트래킹 시스템 및 그것의 동작 방법 | |
| CN112036422A (zh) | 一种基于多传感器信息融合的航迹管理方法、***及计算机可读介质 | |
| US11142212B2 (en) | Safety-aware comparator for redundant subsystems in autonomous vehicles | |
| CN116975781A (zh) | 一种自动驾驶车辆行为决策***和方法 | |
| Ouyang et al. | Semantic slam for mobile robot with human-in-the-loop | |
| Yan et al. | Int2: Interactive trajectory prediction at intersections |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |