CN105005505A - 空中多目标轨迹预测的并行处理方法 - Google Patents

Abstract

本发明公开了空中多目标轨迹预测的并行处理方法，属于空中多目标轨迹预测的技术领域。在集群环境下构建包含：负责任务调度和逻辑事务管理的主节点、预测多目标轨迹的计算节点的分布式框架，采用MPI标准与Pthreads标准两级并行的方式实现主节点、计算节点之间的通信、逻辑事务的并行，并提出一种基于飞行器状态的任务分配策略，在有效缩短通信时间的前提下使得各个计算节点的任务分配更加均衡，解决了单个计算机节点处理容量低以及不能满足***实时性的技术问题。

Description

空中多目标轨迹预测的并行处理方法

技术领域

本发明公开了空中多目标轨迹预测的并行处理方法，属于空中多目标轨迹预测的技术领域。

背景技术

空中多目标轨迹预测需要对大量空中目标进行跟踪，提供目标的瞬时位置、速度和预示落点等信息。***须在极短的时间内分配和计算大量数据，实时性要求极高。

多目标轨迹预测任务数据具有以下特点：①横向独立性，即各批目标之间相互独立；②纵向相关性，即对同一批目标定轨及轨迹修正需要进行数据回溯；③单目标数据稳定性，即在目标不飞离监控区域的前提下会连续得到该目标数据；④目标数量不稳定性，即新目标产生、旧目标消失。

目前在处理多目标轨迹预测任务时使用的是串行处理方式，即在单台计算机上按照数据到来的时间顺序依次进行处理。这样既无法充分利用多核CPU的计算能力，也无法满足实时性需求。尤其是随着空中目标数量的增多，产生的任务数据量激增，对***处理能力的要求更加苛刻。

利用由多台计算机组成的集群环境和并行编程技术(如MPI，MessagePassing Interface，消息传递函数库的标准规范)，将任务进行合理划分后分配到各个计算机节点上同时进行任务处理可以大大缩短整体任务的执行时间，从而满足实时性需求。多目标轨迹预测任务特点中的横向独立性使整体任务具有较高的并行特性，其纵向相关性又使得集群环境下任务调度方案的制定具有一定的挑战性。

针对多目标轨迹预测任务处理的研究主要集中在轨迹计算算法上，目前的专利和文献中还没有将多目标轨迹预测任务部署在集群环境下的并行处理方法。

发明内容

本发明所要解决的技术问题是针对上述背景技术的不足，提供了空中多目标轨迹预测的并行处理方法，考虑到多目标轨迹预测的横向独立性、纵向相关性，提出一种基于计算机集群的并行处理方案，并提出一种基于飞行器状态的任务分配策略，在有效缩短通信时间的前提下使得各个计算节点的任务分配更加均衡，解决了单个计算机节点处理容量低以及不能满足***实时性的技术问题。

本发明为实现上述发明目的采用如下技术方案：

空中多目标轨迹预测的并行处理方法，包括如下步骤：

在集群环境下构建包含：负责任务调度和逻辑事务管理的主节点、预测多目标轨迹的计算节点的***，各计算节点相互独立，所述***采用MPI标准与Pthreads标准两级并行的方式实现主节点、计算节点之间的通信、逻辑事务的并行；

主节点将目标数据按批号分类后存入map映射表，根据任务调度策略将分类后的目标数据发送给计算节点，以Taskassign表记录每批目标数据被分配到的计算节点的编号，以Proctasknum表记录分配到各计算节点的任务量；

计算节点内目标数据接收线程和轨迹计算线程并行执行，以partial map表记录目标数据接收线程接收到并按批号分类的目标数据，轨迹计算线程完成计算后发送轨迹预测结果给主节点。

作为所述空中多目标轨迹预测的并行处理方法的进一步优化方案，由表达式：得到分配到计算节点i的任务量P_i，j为计算节点i当前目标任务的编号，m_i为计算节点i当前目标任务的数目，为目标数据消失的概率函数，其中，分别为第i个计算节点上第j个目标任务到达时间、初始位置、当前状态，Δt表示在此时间段内新任务不消失。

进一步的，所述空中多目标轨迹预测的并行处理方法中map映射表的构建方法为：

按照初始目标数据的批号生成记录目标数据的矢量，记录各批目标数据的矢量构成map映射表，

在有新的目标数据到来时，对于已记录批号的新目标数据将其追加到对应的矢量中，对于未记录批号的新目标数据生成与其批号对应的矢量，

在检测到目标离开监控范围后，删除map映射表中有关该目标数据的记录。

更进一步的，所述空中多目标轨迹预测的并行处理方法中，根据任务调度策略将分类后的目标数据发送给计算节点的方法为：在新的目标数据到来后，当新目标数据的长度大于目标数据包发送阈值时，主节点将新目标数据发送给任务量最小的计算节点。

更进一步的，所述空中多目标轨迹预测的并行处理方法，以N×T+a为时间阈值来检测目标是否离开监控范围，N为目标数据包发送阈值，T为目标第一次出现到消失之间的时间间隔，a为网络传输延迟上限。

作为所述空中多目标轨迹预测的并行处理方法的进一步优化方案，目标数据接收线程和轨迹计算线程采用信号量机制进行交互：在计算节点接收到数据时信号量加1，轨迹计算线程从partial map表中拷贝数据后信号量减1。

作为所述空中多目标轨迹预测的并行处理方法的进一步优化方案，记录各批目标数据的矢量包括：目标位置坐标、经向速度、纬向速度、观测时刻。

本发明采用上述技术方案，具有以下有益效果：

1、由于任务数据具有纵向相关性，即对同一批目标定轨及轨迹修正需要进行数据回溯，本发明采用任务与计算节点绑定的方式，即相同目标的数据只能发送到同一个计算节点上进行计算，这样所有历史数据都存储在本地节点上，数据回溯时无需与其它节点传输数据，大大缩减通信时间；

2、在任务和计算节点绑定的方式下，提出一种基于飞行器状态的任务调度策略，利用目标消失的概率对其产生的任务量进行估计，在任务分配时以此为参考标准，使得各个计算节点的任务分配更加均衡；

3、由于任务数据是实时到来的，计算节点sThread0：接收Master节点发送的数据，将数据重新分类，恢复成Master节点中map表的形式，记为partial map，sThread0在接收数据时首先使用MPI异步探测函数MPI_IProbe检测MPI缓冲区，有数据到来时再使用MPI同步接收函数接收数据，避免了CPU一直占用的情况；

4、在设计sThread0和sThread1的交互时使用信号量机制，具体操作如下：当sThread0接收到数据时，信号量加1；sThread1到partial map表中拷贝数据，信号量减1，然后进行计算，计算完成后直接将结果返回给主节点，使用信号量机制可以避免循环遍历partial map表、没有数据使得CPU空转的情况，节省计算资源。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1为空中多目标轨迹预测并行处理框架；

图2为map表构建实时过程；

图3(1)、图3(2)分别为计算节点sThread0和sThread1处理流程；

图4为Master节点Thread1一轮处理流程图；

图5(1)为初始map表；

图5(2)为目标ph5到来后的map表；

图6为Taskassign表；

图7为Proctasknum表。

具体实施方式

下面详细描述本发明的实施方式，下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组合。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本领域的技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有本发明所属技术领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

ph为目标批号,***对每批目标的唯一标识；T为判断目标消失的时间阈值，即从目标第一次出现到T秒后没有出现则认为目标消失；N为每批目标数据包发送阈值，即对于每批目标数据，积累N包后再发送从而减少网络通信。

(1)架构设计

轨迹预测任务处理的整体架构采用主从模式(Master/Slave)构建，将计算机节点分为两类：任务调度和逻辑事务管理节点(Master节点，只有一个)和计算节点(Slave节点，有多个)。其中Master节点负责接收原始数据、任务分类、任务分发调度以及计算结果回收等，Slave节点负责轨迹计算。该计算框架采用MPI(Massage Passing Interface)+Pthreads两级并行方式。MPI负责上层节点间通信，Pthread负责底层节点内各逻辑事务并行。采用这种分布式架构，当任务数超出***负载时可通过增加计算节点的方式灵活方便的进行扩展。其并行处理框架见附图1。

(2)Master节点设计

Master节点主要负责原始数据接收、数据分类、任务分配、结果回收以及其它逻辑性处理事务。Master节点中开启一个MPI进程，在该进程中使用pthread创建了三个数据处理线程。在数据处理过程中，这些线程是并行工作的。三个数据处理线程如下：

1)Thread0接收原始目标数据(乱序，各批目标数据混杂在一起)，并将数据直接存入缓冲区buffer；

2)Thread1如图4所示有三个任务：①从缓冲区中读数据，按照目标批号ph进行分类，并存入map映射表，②根据任务调度策略(后面重点描述)将分类好的数据发送给计算节点，③检测目标是否还在监控范围内，如果T秒内目标没有新数据到来，则认为该目标消失，继而释放相应的数据空间并清除记录；

3)Thread2负责接收计算节点返回的计算结：

Thread1是Master节点中最复杂的线程，也是实现任务调度的关键线程；对于buffer中的乱序数据，Thread1需要按照ph进行分类以方便后续任务分发，分类后的数据存入一张map映射表中,map映射表中的key值是ph，同一批目标数据的ph值相同，map映射表中的value值为接收到的原始数据，以vector向量的形式存储；value中每一项数据称为一包，包含某一时刻的目标位置坐标、经向速度、纬向速度、观测时刻等信息，因单目标数据稳定性和目标数量不稳定性，所以对map表进行实时构建，其构建方法如下，其流程图见附图2，

新数据data到来：

①计算data的ph'值；

②在map表中查找ph'，若找到，执行③，否则执行④；

③在ph'所在行追加数据，同时统计value值的长度len；若len大于阈值N,向计算节点发送，执行⑤；

④map表增加一行，将ph'和data存入；执行⑤；

⑤结束。

(3)计算节点设计

计算节点中可根据计算基本身的计算能力决定开辟几个MPI计算进程(对于普通计算机一般只开启一个，下面方法描述中默认每个计算节点开启一个计算进程)，每个计算节点中创建两个线程，一个负责接收Master节点分配的数据，一个负责计算并返回结果，处理流程见图3(1)以及图3(2)。

1)sThread0：接收Master节点发送的数据，将数据重新分类，恢复成Master节点中map表的形式，记为partial map；因为数据是实时的，所以sThread0在接收数据时首先使用MPI异步探测函数MPI_IProbe检测MPI缓冲区，有数据到来时再使用MPI同步接收函数接收数据，避免了CPU一直占用的情况。

2)sThread1：在设计sThread0和sThread1的交互时使用信号量机制，具体操作如下：当sThread0接收到数据时，信号量加1；sThread1到partial map表中拷贝数据，信号量减1，然后进行计算。计算完成后直接将结果返回给主节点，使用信号量机制可以避免循环遍历partial map表、没有数据使得CPU空转的情况，节省计算资源。

(4)Master节点与计算节点同步

由于目标数量具有不稳定性，Master节点与计算节点在任务添加与撤销时需要保持一致。本发明采取省略控制信息的方式，具体过程如下：

1)目标任务添加过程较为简单，map表构建算法中已实现Master节点任务添加，除此之外还需更新Taskassign表和Proctasknum表(下面任务调度策略中提及)，计算节点partial map表参照map表构建方法，任务添加过程与之相同，因此新目标到来时Master节点与计算节点完成任务同步；

2)目标撤销相对复杂，本发明在Master节点的map中设置时间戳一项，用来记录最后一次数据到达的时间，当遍历map表时计算当前时间与时间戳之差，差值大于阈值T则认为此目标已经飞离监控区域，在map表中删除目标信息，同时更新Taskassign表和Proctasknum表，在计算节点中使用同样的方法维护partialmap表，但此时的阈值至少为N×T+a，其中，a为网络传输延迟上限。这样便不需要控制信息，Master节点和计算节点的映射表会基本保持同步；

(5)任务分配策略

对于每一批目标，Master节点接收到适当数量的数据包(N包)后发送给计算节点，为了实现***负载均衡，本发明设计了两张表来管理任务分配情况：Taskassign表记录每批目标被分配到的计算节点编号，Proctasknum表记录每个计算节点已经分配的任务量，在实际处理过程中，针对单目标数据稳定性、目标数量不稳定性以及任务与计算节点绑定的设计，本发明建立下述任务模型，根据目标飞行状态预估任务量，提出计算机集群环境下的任务分配策略。

任务模型：①每个目标数据到达的速度相同，每组数据处理时间均为c；②目标以某个概率消失，且不变；③不同目标消失概率不同，且与某些信息有关，如初始位置、飞行状态等。假设每个目标预期消失的概率由函数f(t,X,S)决定。其中，t为时间，X为目标初始位置，S为目标状态(当前的速度、加速度)；④Δt时刻内新任务不消失；⑤没有超出***的最大处理能力。

在该任务模型下，***延迟包括两部分，分别为数据处理延迟(包括数据计算和传输)和排队延迟，排队延迟取决于数据计算时间和当前节点任务数，当第k个节点任务数增加1，排队延迟上限线性增长，即ΔG＝c×(2m_k+1)，其中，m_k为第k个节点当前目标任务数，利用排队模型，以Δt时刻***排队延迟上限增量最小为目标，选择最小的计算节点。当有新任务TASK到来时，处理过程如下：

①根据Taskassign表，利用公式f(t,X,S)更新Proctasknum表中各计算节点的任务量P_i,得到分配到计算节点i的任务量P_i，j为计算节点i当前目标任务的编号，m_i为计算节点i当前目标任务的数目，为目标数据消失的概率函数，其中，分别为第i个计算节点上第j个目标任务到达时间、初始位置、当前状态，Δt表示假设在此时间段内新任务不消失；

②查询Proctasknum表，寻找任务量最小的计算节点P_min；

③Taskassign表中增加一行，记录TASK的批号和P_min；

④将TASK分配到P_min节点。

该任务调度方案没有直接采用各个计算节点的任务数作为评判节点负载的指标，是因为每个目标持续的时间可能不同，如某些目标因为处在监控区域的时间较长，对应的任务量大；而其它计算节点分配的目标可能在很短时间内就离开监控范围，对应的任务量小，这样实际上每个计算节点需要处理的数据量差别很大，会造成各个节点计算负载不均，该方案的优点在于利用目标消失的概率对其产生的任务量进行估计，使得每个计算节点的任务分配更加均衡，对函数f(t,X₀,S)的选择，通常根据监控目标的特点进行定义。

上述分配策略的计算复杂度非常低，为Ο(n+m)，其中，n为计算节点数，m为目标数。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

假设：①有一个Master节点，三个Slave节点，编号依次为1、2、3，每个Slave节点上开辟一个计算进程；②当前map表的中记录见附图5(1)，即现已出现5批目标，分别为ph1,ph2,ph3,ph4,ph5；③当前的Taskassign表见附图6，即ph1和ph5目标被分配到计算节点1，ph2和ph4目标被分配到计算节点2，ph3目标被分配到计算节点3；④当前的Proctasknum表见附图7，其中任务量一栏的评价标准是：

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

例一：目标数据ph5到来(即已存在的目标数据到来，一直未消失)

步骤1：Master节点的Thread0通过网络接口接收到目标数据，放入开辟的缓冲区buffer中，本次接收到ph5目标的数据；

步骤2：Thread1从buffer中读取数据ph5，查询map表，此时map表中存在目标ph5的数据，所以在map表ph5所在行的value中追加数据，变成图5(2)的形式，同时记录目标数据到达的时间；

步骤3：检查ph5的value中数据包的长度len，如果len小于设定的发送阈值N，则不发送数据，对ph5的处理过程结束，如果len等于发送阈值N，则准备发送数据，首先遍历Taskassign表(图6)，查找该目标所在的计算节点1，调用MPI_Send()函数将N包数据发送到计算节点1；

步骤4：Slave节点的sThread0接收到任务数据ph5，首先遍历partial map表，如果不存在该目标的数据，则在表的最后一行添加，如果存在，则将数据追加到partial map表中ph5对应的value值中，同时，信号量signal加1，通知sThread1有数据到来；

步骤5：sThread1发现信号量signal大于0，则从partial map表中读出数据，并写入sThread1的缓冲区，之后signal减1变为0；

步骤6：sThread1开始计算进行轨迹计算，计算完之后，调用MPI_Send()函数将结果返回给Master节点；

步骤7：Master节点的Thread2接收Slave节点的sThread1返回的结果，Thread2在接收数据时调用MPI_Recv()函数，且需要使用MPI_ANY_SOURCE参数，这样即使编号较小的计算节点没有结果返回，也不会影响后面其他计算节点结果的接收；

步骤8：至此，对目标ph5数据的一轮处理流程结束。

例二：目标数据ph6到来(即新目标数据到来)

步骤1：Master节点的Thread0通过网络接口接收到目标数据，放入开辟的缓冲区buffer中，本次接收到ph6目标的数据；

步骤2：Thread1从buffer中读取数据ph6，查询map表，此时map表中不存在目标ph6的数据，所以在map表ph6所在行的value中追加数据，同时记录目标数据到达的时间；

步骤3：此时ph6的value中数据包的长度len为1，小于设定的发送阈值N，则不发送数据，对ph6的第一轮处理过程结束，之后ph6的数据连续到来，当len的长度等于发送阈值N，则使用任务调度策略准备发送数据；

步骤4：使用公式评估各个计算节点的任务量，从中选择最小的P_min，将ph6任务分配给该节点，此时，更新Taskassign表，在最下面一行***记录ph6分配给了pmin，更新Proctasknum表(图7)，存入pmin节点的任务量，调用MPI_Send()函数将N包数据发送到计算节点1；

步骤5：后面步骤同例一的步骤4、5、6、7、8。

例三：目标消失处理，以ph4为例

步骤1：每次Master节点Thread1将到来的数据ph4***map表时，会计算当前时间与该目标时间戳记录之差；

步骤2：若差值大于N，则认为之前ph4目标已经消失，从map表中删除之前的记录，同时更新Taskassign表和Proctasknum表；

步骤3：认为目标ph4为新目标，按照新目标到来的方式处理，如例一；

步骤4：Slave节点的sThread0使用同样的方法维护partial map表，但此时的阈值至少为N×T+a，其中a为网络传输延迟上限。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案实质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器，或者网络设备等)执行本发明的实施例或实施例的某些部分所述的方法。

Claims (7)

1.空中多目标轨迹预测的并行处理方法，其特征在于，包括如下步骤：

在集群环境下构建包含：负责任务调度和逻辑事务管理的主节点、预测多目标轨迹的计算节点的***，各计算节点相互独立，所述***采用MPI标准与Pthreads标准两级并行的方式实现主节点、计算节点之间的通信、逻辑事务的并行；

主节点将目标数据按批号分类后存入map映射表，根据任务调度策略将分类后的目标数据发送给计算节点，以Taskassign表记录每批目标数据被分配到的计算节点的编号，以Proctasknum表记录分配到各计算节点的任务量；

计算节点内目标数据接收线程和轨迹计算线程并行执行，以partial map表记录目标数据接收线程接收到并按批号分类的目标数据，轨迹计算线程完成计算后发送轨迹预测结果给主节点。

2.根据权利要求1所述的空中多目标轨迹预测的并行处理方法，其特征在于，由表达式：得到分配到计算节点i的任务量P_i，j为计算节点i当前目标任务的编号，m_i为计算节点i当前目标任务的数目，为目标数据消失的概率函数，其中，分别为第i个计算节点上第j个目标任务到达时间、初始位置、当前状态，Δt表示在此时间段内新任务不消失。

3.根据权利要求1或2所述的空中多目标轨迹预测的并行处理方法，其特征在于，所述map映射表的构建方法为：

按照初始目标数据的批号生成记录目标数据的矢量，记录各批目标数据的矢量构成map映射表，

在有新的目标数据到来时，对于已记录批号的新目标数据将其追加到对应的矢量中，对于未记录批号的新目标数据生成与其批号对应的矢量，

在检测到目标离开监控范围后，删除map映射表中有关该目标数据的记录。

4.根据权利要求3所述的空中多目标轨迹预测的并行处理方法，其特征在于，根据任务调度策略将分类后的目标数据发送给计算节点的方法为：在新的目标数据到来后，当新目标数据的长度大于目标数据包发送阈值时，主节点将新目标数据发送给任务量最小的计算节点。

5.根据权利要求3所述的空中多目标轨迹预测的并行处理方法，其特征在于，以N×T+a为时间阈值来检测目标是否离开监控范围，N为目标数据包发送阈值，T为目标第一次出现到消失之间的时间间隔，a为网络传输延迟上限。

6.根据权利要求1所述的空中多目标轨迹预测的并行处理方法，其特征在于，所述目标数据接收线程和轨迹计算线程采用信号量机制进行交互：在计算节点接收到数据时信号量加1，轨迹计算线程从partial map表中拷贝数据后信号量减1。

7.根据权利要求3所述的空中多目标轨迹预测的并行处理方法，其特征在于，所述记录各批目标数据的矢量包括：目标位置坐标、经向速度、纬向速度、观测时刻。