CN113129330B - 一种可移动设备的轨迹预测方法及装置 - Google Patents

Abstract

公开了一种可移动设备的轨迹预测方法及装置，包括：利用预设的网络模型从图像帧序列中确定目标可移动设备的第一特征图；从所述图像帧序列中的当前帧图像中获取目标可移动设备的第二特征图；从后续帧图像中获取各待测可移动设备各自对应的第三特征图；根据所述第二特征图和所述第三特征图，确定所述目标可移动设备与所述各待测可移动设备之间的关系特征图；根据所述关系特征图和所述第一特征图确定所述目标可移动设备的第四特征图；利用所述网络模型，根据所述第四特征图确定所述目标可移动设备的轨迹预测结果。

Description

一种可移动设备的轨迹预测方法及装置

技术领域

本公开涉及图像分析技术领域，尤其涉及一种可移动设备的轨迹预测方法及装置。

背景技术

可移动设备的轨迹预测，是自动驾驶/辅助驾驶技术中非常重要的组成部分。其预测原理是根据过去一段时间内，连续多帧关于可移动设备的图像进行分析和计算，以确定未来一段时间内可移动设备可能行驶轨迹。

对于可移动设备的追踪，即是在上述的连续多帧图像中，确定出同一个可移动设备，以此为轨迹预测的基础。但是现有的追踪算法准确度并不理想，无法有效的应对比较复杂的情况。导致轨迹预测的效果不佳。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种可移动设备的轨迹预测方法及装置，通过对于可移动设备更准确的追踪，从而提高轨迹预测的效果。

根据本公开的第一个方面，提供了一种可移动设备的轨迹预测方法，包括：

利用预设的网络模型从图像帧序列中确定目标可移动设备的第一特征图；

从所述图像帧序列中的当前帧图像中获取目标可移动设备的第二特征图；

从后续帧图像中获取各待测可移动设备各自对应的第三特征图；

根据所述第二特征图和所述第三特征图，确定所述目标可移动设备与所述各待测可移动设备之间的关系特征图；

根据所述关系特征图和所述第一特征图确定所述目标可移动设备的第四特征图；

利用所述网络模型，根据所述第四特征图确定所述目标可移动设备的轨迹预测结果。

根据本公开的第二个方面，提供了一种可移动设备的轨迹预测装置，包括：

第一特征图确定模块，用于利用预设的网络模型从图像帧序列中确定目标可移动设备的第一特征图；

第二特征图获取模块，用于从所述图像帧序列中的当前帧图像中获取目标可移动设备的第二特征图；

第三特征图获取模块，用于从后续帧图像中获取各待测可移动设备各自对应的第三特征图；

关系特征图确定模块，用于根据所述第二特征图和所述第三特征图，确定所述目标可移动设备与所述各待测可移动设备之间的关系特征图；

第四特征图确定模块，用于根据所述关系特征图和所述第一特征图确定所述目标可移动设备的第四特征图；

轨迹预测模块，用于利用所述网络模型，根据所述第四特征图确定所述目标可移动设备的轨迹预测结果。

根据本公开的第三方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面中所述的可移动设备的轨迹预测方法。

根据本公开的第四方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现上述第一方面中所述的可移动设备的轨迹预测方法。

与现有技术相比，采用本公开提供的可移动设备的轨迹预测方法及装置，利用第二特征图与第三特征图进行特征信息的分析，以确定能够体现目标可移动设备与待测可移动设备间的对应关系的关系特征图，并结合关系特征图与第一特征图得到第四特征图；通过网络模型根据第四特征图进行目标可移动设备的轨迹预测，即可在在确保追踪更加准确的情况下得到轨迹预测结果；关系特征图中涉及的可移动设备追踪运算无需结合场景进行适应性调整，具有泛用性，且无需结合人工操作。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为现有技术中轨迹预测方法的示意图；

图2为本公开一示例性实施例提供的可移动设备的轨迹预测***的结构示意图；

图3为本公开一示例性实施例中当前帧图像与后续帧图像的示意图；

图4为本公开一示例性实施例提供的可移动设备的轨迹预测方法的流程示意图；

图5为本公开一示例性实施例提供的可移动设备的轨迹预测方法的流程示意图；

图6为本公开一示例性实施例提供的可移动设备的轨迹预测方法中各种特征图的关系示意图；

图7为本公开一示例性实施例提供的可移动设备的轨迹预测装置的结构示意图；

图8为本公开一示例性实施例提供的可移动设备的轨迹预测装置中关系特征图确定模块的结构示意图；

图9为本公开一示例性实施例提供的可移动设备的轨迹预测装置中关系特征图确定单元的结构示意图；

图10为本公开一示例性实施例提供的可移动设备的轨迹预测装置中轨迹预测模块的结构示意图；

图11为本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于终端设备、计算机***、服务器等电子设备，其可与众多其它通用或专用计算***环境或配置一起操作。适于与终端设备、计算机***、服务器等电子设备一起使用的众所周知的终端设备、计算***、环境和/或配置的例子包括但不限于：个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***、大型计算机***和包括上述任何***的分布式云计算技术环境，等等。

终端设备、计算机***、服务器等电子设备可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算***存储介质上。

申请概述

可移动设备的轨迹预测，是根据过去一段时间内，连续多帧关于可移动设备的图像进行分析和计算，以确定未来一段时间内可移动设备可能行驶轨迹。在现有技术中，轨迹预测可以通过特定的网络模型实现。具体的，网络模型可以包括编码网络和解码网络两部分。如图1所示，将针对可移动设备的图像帧序列输入编码网络进行解析，即可获得相应的特征图。然后将特征图输入解码网络进行分析，可得到轨迹预测结果。通常，轨迹预测结果可以体现为预测轨迹线，即在图像帧上以轨迹线的形式体现可移动设备未来的行驶轨迹。

对于轨迹预测来说，可移动设备的追踪是非常重要的技术环节。即在上述的连续多帧图像中，确定出同一个可移动设备。由此才能够对可移动设备过去一段时间内连续的行驶状态进行分析，达成轨迹预测。特别是在针对路面拍摄的图像帧序列当中，各帧图像往往都会包括多个可移动设备，则必须准确的确定各可移动设备在各帧图像之间的对应关系。

在相对简单的情况下，由于可移动设备的移动过程是连续的，所以可利用网络模型中的追踪算法，在图像帧序列中基于各可移动设备的位置关系“就近”实现追踪。不过对于追踪算法的设计来说，算法中可移动设备的匹配条件必须结合实际场景进行调整，无法泛用。例如在高速公路和城区拥堵路段两个不同场景下，可移动设备的速度有级数的差距，显然匹配条件无法通用。而在相对复杂的场景下，则不得不依赖人工进行追踪，或者人工与算法相结合的追踪。

示例性***

有鉴于上述存在的问题，本公开涉及的可移动设备的轨迹预测***，将结合图像分析技术实现更加准确的可移动设备追踪，从而保证轨迹预测的效果。该***的结构参照图2所示。

假设当前时刻为t0，此时采集到的图像帧序列可以是一段截止到t0时刻的视频。图像帧序列中的最后一帧，即对应当前时刻t0的当前帧图像。而在t0之后的后续时刻t1，采集到了对应后续时刻t1的后续帧图像。如图3所示，当前帧图像中包括了A、B、C、D共4个可移动设备，后续帧图像中包括了a、b、c、d共4个可移动设备。则上述***能够通过可移动设备的追踪，确定前后两帧图像中各可移动设备的对应关系。

一方面类似于现有技术，该***中同样将图像帧序列输入到网络模型的编码网络中，确定图像帧序列中各个可移动设备(即可移动设备A、B、C、D)的第一特征图。

与此同时，还将利用预设的神经网络模型分别对于当前帧图像和后续帧图像进行解析。获得当前帧图像中可移动设备A、B、C、D的第二特征图，和后续帧图像中可移动设备a、b、c、d的第三特征图。然后将各第二特征图和第三特征图两两进行拼接，并输入到感知模型中，以获得针对前帧图像中各可移动设备的关系特征图。即可移动设备A、B、C、D各自有一个相应的关系特征图，该关系特征图中包括其对应于可移动设备a、b、c、d的概率分布。

也就是说，关系特征图体现了前后两帧图像中各个可移动设备的对应关系，能够实现更理想的可移动设备追踪效果。将可移动设备对应的第一特征图和关系特征图进一步拼接，并输入到网络模型的解码网络中，即实现了轨迹预测。即在更准确的可移动设备追踪的基础上，实现了对于可移动设备的轨迹预测。

示例性方法

图4是本公开一示例性实施例提供的可移动设备的轨迹预测方法的流程示意图。本实施例可应用在电子设备上，如图4所示，本实施例包括如下步骤：

步骤401、利用预设的网络模型从图像帧序列中确定目标可移动设备的第一特征图。

本实施例中涉及的网络模型，类似于现有技术中进行轨迹预测所应用的网络模型。对于网络模型的具体结构和内部的计算原理不做限定，任何能够实现相同或类似功能的网络模型均可结合在本实施整体技术方案当中。本步骤中同样是利用网络模型中的编码网络对图像帧序列进行解析。

图像帧序列，是按照时间顺序进行排列的一系列图像帧。具体的，图像帧序列可以通过针对路面或车辆拍摄的视频提取得到。图像帧序列中包括的场景，通常应当在特定的空间范围之内。图像帧序列中将包括至少一个可移动设备。而图像帧序列中包括的任意可移动设备均可作为目标可移动设备。目标可移动设备即本实施例中进行轨迹预测(以及相应追踪)的对象。通过图像帧序列能够反映出该目标可移动设备在图像帧序列覆盖的时间范围内的行驶状态(速度、行驶方向等)。

本实施例中，将图像帧序列输入网络模型的编码网络中，编码网络即可输出目标可移动设备的第一特征图。

步骤402、从图像帧序列中的当前帧图像中获取目标可移动设备的第二特征图。

当前帧图像，可以是图像帧序列中的最后一帧图像。其对应的时刻为图像帧序列截至的时刻，或称之为当前时刻。当前帧序列中包括上述的目标可移动设备。

根据当前帧图像获取目标可移动设备的第二特征图，具体可以是将当前帧图像输入到卷积神经网络进行卷积操作，以得到目标可移动设备的第二特征图。利用卷积神经网络进行图像分析并得到相应的特征图属于现有技术。本实施例中不赘述，亦不对卷积神经网络的具体网络结构及网络参数进行限定。并且在另外一些情况下，还可采取卷积神经网络以外的其他方式完成图像分析，并获得第二特征图。任何能实现相同或类似功能的图像分析方式均可结合在本实施例整体方案中。

步骤403、从后续帧图像中获取各待测可移动设备各自对应的第三特征图。

后续帧图像，是当前时刻之后特定的后续时刻采集到的图像帧。通常，后续帧图像所包括的场景应当等同或相近于的图像帧序列所对应的空间范围。后续帧图像中包括至少一个可移动设备，且后续帧图像中所有可移动设备均为待测可移动设备。实际上，本实施例涉及的对于可移动设备的追踪，即是判断前述的目标可移动设备，与哪个待测可移动设备相匹配(即为同一个可移动设备)的过程。

本实施例中，针对后续帧图像中的每个待测可移动设备，均相应的获得一个第三特征图。获得第三特征图的过程与获得第二特征图的过程同理，在此不重复叙述。

步骤404、根据第二特征图和第三特征图，确定目标可移动设备与各待测可移动设备之间的关系特征图。

基于卷积神经网络的原理可以理解的是，第二特征图中包括了目标可移动设备的特征信息，第三特征图中包括了相应的待测可移动设备的特征信息。进而结合第二特征图和各个第三特征图进行分析和判断，即可根据特征信息的内容，分析得到目标可移动设备与各待测可移动设备相匹配的概率。而上述的关系特征图中，即体现了目标可移动设备与各待测可移动设备的匹配概率的概率分布。若当前帧图像中具有多个目标可移动设备，则每个目标可移动设备具有一个相应的关系特征图。

可以认为，关系特征图是利用卷积神经网络，从特征信息的角度表达了目标可移动设备与待测可移动设备间的对应关系，也就是在一定程度上完成了对于可移动设备的追踪。

步骤405、根据关系特征图和第一特征图确定目标可移动设备的第四特征图。

在现有技术中，第一特征图将直接输入网络模型的解码网络以进行轨迹预测。而本实施例中为了解决现有技术中存在的问题，将对第一特征图进行进一步处理。也就是，将目标可移动设备对应的关系特征图和第一特征图相融合，以确定第四特征图。

关系特征图和第一特征图本质上都属于多维矩阵，所以二者的融合可以是多维矩阵拼接。例如，假设关系特征图和第一特征图均为维度是(H，W，C)的多维矩阵。则二者拼接后得到的多维矩阵的维度是(2H，W，C)。拼接后得到的新的多维矩阵即第四特征图。可见，第四特征图中的一个维度的数值，等于关系特征图和第一特征图的该维度的数值之和。可以理解的是，由于关系特征图中附带了可移动设备的“追踪效果”，即包括了目标可移动设备与各待测可移动设备相匹配的概率，体现了目标可移动设备与待测可移动设备间的对应关系。所以在第四特征图中，也同样包括了这一“追踪效果”。

步骤406、利用网络模型，根据第四特征图确定目标可移动设备的轨迹预测结果。

本是实施例中将第四特征图替代第一特征图输入到网络模型的解码网络中，即可使得解码网络在确保追踪更加准确的情况下，进一步的针对目标可移动设备进行轨迹预测，确定目标可移动设备的轨迹预测结果。

通过以上技术方案可知，本实施例存在的有益效果是：利用第二特征图与第三特征图进行特征信息的分析，以确定能够体现目标可移动设备与待测可移动设备间的对应关系的关系特征图，并结合关系特征图与第一特征图得到第四特征图；通过网络模型根据第四特征图进行目标可移动设备的轨迹预测，即可在在确保追踪更加准确的情况下得到轨迹预测结果；关系特征图中涉及的可移动设备追踪运算无需结合场景进行适应性调整，具有泛用性，且无需结合人工操作。

如图4所示仅为本公开方法的基础实施例，在其基础上进行一定的优化和拓展，还能够得到方法的其他优选实施例。

如图5所示，是本公开另一示例性实施例提供的可移动设备的轨迹预测方法的流程示意图。本实施例可应用在电子设备上。本实施例将在图4所示实施例的基础上进行更加具体的阐述。本实施例中，该方法具体包括如下步骤：

步骤501、利用预设的网络模型从图像帧序列中确定目标可移动设备的第一特征图。

结合图3中所示的当前帧图像，假设可移动设备A作为目标可移动设备。则本步骤中利用网络模型的编码网络，得到可移动设备A对应的第一特征图。本实施例中将可移动设备A对应的第一特征图称为第一特征图A，如图6所示。

步骤502、从图像帧序列中的当前帧图像中获取目标可移动设备的第二特征图。

同样，本步骤中利用卷积神经网络对当前帧图像进行解析，得到可移动设备A对应的第二特征图。由于本实施例中第二特征图通过卷积神经网络解析得到，则基于卷积神经网络的特点，第二特征图将包括目标可移动设备的颜色信息、尺寸信息和/或形状信息。本实施例中将可移动设备A对应的第二特征图称为第二特征图A，如图6所示。

步骤503、从后续帧图像中获取各待测可移动设备各自对应的第三特征图。

结合图3中所示的后续帧图像，其中可移动设备a、b、c、d均为待测可移动设备。利用卷积神经网络对后续帧图像进行解析，得到各个待测可移动设备对应的第三特征图。即针对可移动设备a、b、c、d各得到1个第三特征图。

由于本实施例中第三特征图通过卷积神经网络解析得到，则基于卷积神经网络的特点，第三特征图将包括待测可移动设备的颜色信息、尺寸信息和/或形状信息。

本步骤中为了便于叙述，将可移动设备a对应的第三特征图称为第三特征图a，将可移动设备b对应的第三特征图称为第三特征图b，将可移动设备c对应的第三特征图称为第三特征图c，将可移动设备d对应的第三特征图称为第三特征图d。

步骤504、根据第二特征图与各待测可移动设备对应的第三特征图，分别确定各待测可移动设备相应的第五特征图。

具体的，本实施例中可将第二特征图分别与各第三特征图拼接，以得到相应的第五特征图。第二特征图和第三特征图本质上都属于多维矩阵，所以二者的融合可以是多维矩阵拼接。拼接后得到的新的多维矩阵即第五特征图。

本实施例中该拼接过程如图6所示，即将第二特征图A分别与第三特征图a、第三特征图b、第三特征图c和第三特征图d进行拼接，得到相应的第五特征图a、第五特征图b、第五特征图c和第五特征图d。

步骤505、利用预设的感知模型，根据各待测可移动设备相应的第五特征图确定目标可移动设备与各待测可移动设备之间的关系特征图。

感知模型，具体可以是多层感知机(Multilayer Perceptron，简称MLP)。本实施例中对于感知模型的具体结构和计算原理不做限定，任何能够实现相同或类似功能的感知模型，均可结合在本实施例整体方案当中。将各第五特征图输入感知模型，能够获得概率分布矩阵。该概率分布矩阵包括目标可移动设备与各待测可移动设备之间的匹配概率分布。根据概率分布矩阵可确定关系特征图。

如图6所示，将第五特征图a、第五特征图b、第五特征图c和第五特征图d输入感知模型，可得到可移动设备A与可移动设备a、b、c、d之间的关系特征图，即关系特征图A。在关系特征图A中，包括了可移动设备A分别与可移动设备a、b、c、d之间的匹配概率分布。

另外若假设其中可移动设备A与可移动设备a的匹配概率最高，且高于一定的门限值，即可认为二者相匹配。也就是说可认为可移动设备A与可移动设备a实际为同一个可移动设备。可见，关系特征图中体现了目标可移动设备与待测可移动设备间的对应关系，即实现了对于目标可移动设备的追踪。

步骤506、将关系特征图与第一特征图拼接，以得到第四特征图。

同理的，关系特征图和第一特征图本质上都属于多维矩阵，所以二者的融合可以是多维矩阵拼接。拼接后得到的新的多维矩阵即第四特征图。

结合图6所示，本实施例中将关系特征图A与第一特征图A拼接，得到第四特征图A。

步骤507、利用网络模型，根据第四特征图确定在后续帧图像中目标可移动设备的预测轨迹线。

在本实施例中，轨迹预测结果以后续帧图像中目标可移动设备的预测轨迹线的形式呈现。也就是说，本实施例中将第四特征图A输入网络模型的解码网络中之后，网络模型将预测得到可移动设备A在未来一段时间的行驶轨迹，进而将该行驶轨迹以预测轨迹线的形式体现在后续帧图像中。至此，本实施例在对可移动设备进行准确追踪的技术上，实现了对于目标可移动设备的轨迹预测。

示例性装置

图7是本公开一示例性实施例提供的可移动设备的轨迹预测装置的结构示意图。本实施例装置，即用于执行图4～图5方法的实体装置。其技术方案本质上与上述实施例一致，上述实施例中的相应描述同样适用于本实施例中。本实施例中装置包括：

第一特征图确定模块701，用于利用预设的网络模型从图像帧序列中确定目标可移动设备的第一特征图。

第二特征图获取模块702，用于从图像帧序列中的当前帧图像中获取目标可移动设备的第二特征图。

第三特征图获取模块703，用于从后续帧图像中获取各待测可移动设备各自对应的第三特征图。

关系特征图确定模块704，用于根据第二特征图和第三特征图，确定目标可移动设备与各待测可移动设备之间的关系特征图。

第四特征图确定模块705，用于根据关系特征图和第一特征图确定目标可移动设备的第四特征图。

轨迹预测模块706，用于利用网络模型，根据第四特征图确定目标可移动设备的轨迹预测结果。

图8是本公开另一示例性实施例提供的可移动设备的轨迹预测装置中关系特征图确定模块704的结构示意图。如图8所示，在示例性实施例中，关系特征图确定模块704包括：

第五特征图确定单元811，用于将第二特征图分别与各第三特征图拼接，以得到相应的第五特征图。

关系特征图确定单元812，用于利用预设的感知模型，根据各待测可移动设备相应的第五特征图确定目标可移动设备与各待测可移动设备之间的关系特征图。

图9是本公开另一示例性实施例提供的可移动设备的轨迹预测装置中关系特征图确定单元812的结构示意图。如图9所示，在示例性实施例中，关系特征图确定单元812包括：

匹配概率分布确定子单元921，用于将各第五特征图输入感知模型，以获得概率分布矩阵，概率分布矩阵包括目标可移动设备与各待测可移动设备之间的匹配概率分布；

关系特征图确定子单元922，用于根据概率分布矩阵确定关系特征图。

图10是本公开另一示例性实施例提供的可移动设备的轨迹预测装置中轨迹预测模块706的结构示意图。如图10所示，在示例性实施例中，轨迹预测模块706包括：

轨迹线确定单元1001，用于利用网络模型，根据第四特征图确定目标可移动设备的预测轨迹线。

轨迹线绘制单元1002，用于将目标可移动设备的预测轨迹线绘制在后续帧图像中。

示例性电子设备

下面，参考图11来描述根据本公开实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图11图示了根据本公开实施例的电子设备的框图。

如图11所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的可移动设备的轨迹预测方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是第一设备100或第二设备200时，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。

此外，该输入设备13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图11中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的可移动设备的轨迹预测方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的可移动设备的轨迹预测方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种可移动设备的轨迹预测方法，包括：

利用预设的网络模型从图像帧序列中确定目标可移动设备的第一特征图；

从所述图像帧序列中的当前帧图像中获取目标可移动设备的第二特征图；

从后续帧图像中获取各待测可移动设备各自对应的第三特征图；

根据所述第二特征图和所述第三特征图，确定所述目标可移动设备与所述各待测可移动设备之间的关系特征图；

根据所述关系特征图和所述第一特征图确定所述目标可移动设备的第四特征图；

利用所述网络模型，根据所述第四特征图确定所述目标可移动设备的轨迹预测结果。

2.根据权利要求1所述方法，其中，所述根据所述第二特征图和所述第三特征图，确定所述目标可移动设备与所述各待测可移动设备之间的关系特征图包括：

根据所述第二特征图与各待测可移动设备对应的所述第三特征图，分别确定各待测可移动设备相应的第五特征图；

利用预设的感知模型，根据所述各待测可移动设备相应的第五特征图确定所述目标可移动设备与所述各待测可移动设备之间的关系特征图。

3.根据权利要求2所述方法，其中，所述根据所述第二特征图与各待测可移动设备对应的所述第三特征图，分别确定各待测可移动设备相应的第五特征图；包括：

将所述第二特征图分别与各所述第三特征图拼接，以得到相应的第五特征图。

4.根据权利要求2所述方法，其中，所述利用预设的感知模型，根据所述各待测可移动设备相应的第五特征图确定所述目标可移动设备与所述各待测可移动设备之间的关系特征图包括：

将所述第五特征图输入所述感知模型，以获得概率分布矩阵，所述概率分布矩阵包括所述目标可移动设备与所述各待测可移动设备之间的匹配概率分布；

根据所述概率分布矩阵确定所述关系特征图。

5.根据权利要求1所述方法，其中，所述根据所述关系特征图和所述第一特征图确定所述目标可移动设备的第四特征图包括：

将所述关系特征图与所述第一特征图拼接，以得到所述第四特征图。

6.根据权利要求1所述方法，其中，所述确定所述目标可移动设备的轨迹预测结果包括：

在所述后续帧图像中确定所述目标可移动设备的预测轨迹线。

7.根据权利要求1～6任意一项所述方法，其中：

所述第二特征图包括，目标可移动设备的颜色信息、尺寸信息和/或形状信息；

所述第三特征图包括，待测可移动设备的颜色信息、尺寸信息和/或形状信息。

8.一种可移动设备的轨迹预测装置，包括：

第一特征图确定模块，用于利用预设的网络模型从图像帧序列中确定目标可移动设备的第一特征图；

第二特征图获取模块，用于从所述图像帧序列中的当前帧图像中获取目标可移动设备的第二特征图；

第三特征图获取模块，用于从后续帧图像中获取各待测可移动设备各自对应的第三特征图；

关系特征图确定模块，用于根据所述第二特征图和所述第三特征图，确定所述目标可移动设备与所述各待测可移动设备之间的关系特征图；

第四特征图确定模块，用于根据所述关系特征图和所述第一特征图确定所述目标可移动设备的第四特征图；

轨迹预测模块，用于利用所述网络模型，根据所述第四特征图确定所述目标可移动设备的轨迹预测结果。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于被处理器执行以实现上述权利要求1-7任一所述的可移动设备的轨迹预测方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7任一所述的可移动设备的轨迹预测方法。