CN111639591B - 轨迹预测模型生成方法、装置、可读存储介质及电子设备 - Google Patents

轨迹预测模型生成方法、装置、可读存储介质及电子设备 Download PDF

Info

Publication number
CN111639591B
CN111639591B CN202010469558.XA CN202010469558A CN111639591B CN 111639591 B CN111639591 B CN 111639591B CN 202010469558 A CN202010469558 A CN 202010469558A CN 111639591 B CN111639591 B CN 111639591B
Authority
CN
China
Prior art keywords
initial model
track
loss value
determining
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010469558.XA
Other languages
English (en)
Other versions
CN111639591A (zh
Inventor
范坤
陈迈越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Horizon Robotics Science and Technology Co Ltd
Original Assignee
Shenzhen Horizon Robotics Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Horizon Robotics Science and Technology Co Ltd filed Critical Shenzhen Horizon Robotics Science and Technology Co Ltd
Priority to CN202010469558.XA priority Critical patent/CN111639591B/zh
Publication of CN111639591A publication Critical patent/CN111639591A/zh
Application granted granted Critical
Publication of CN111639591B publication Critical patent/CN111639591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例公开了一种轨迹预测模型生成方法和装置，其中，该方法包括：获取样本图像序列，其中，样本图像序列中的样本图像包括可移动物体；利用预设的初始模型集合中的每个初始模型，对样本图像序列进行轨迹预测，得到每个初始模型分别对应的预测轨迹张量，其中，预测轨迹张量用于表征可移动物体的移动轨迹；对于初始模型集合中的每个初始模型，确定该初始模型对应的预测轨迹张量到其他初始模型分别对应的预测轨迹张量的距离；基于所得到的各个距离，确定该初始模型的损失值；基于损失值，训练该初始模型，得到轨迹预测模型。本公开实施例可以提高模型的轨迹预测性能，有助于降低轨迹预测模型的复杂性，提高模型训练和模型应用的效率。

Description

轨迹预测模型生成方法、装置、可读存储介质及电子设备
技术领域
本公开涉及计算机技术领域，尤其是一种轨迹预测模型生成方法、装置、可读存储介质及电子设备。
背景技术
现有的针对车辆等可移动物体的预测算法大多基于深度神经网络模型，利用拍摄的视频进行轨迹、障碍物等各种类型的预测，由于利用视频进行预测，计算过程十分复杂，因此往往需要较为复杂的神经网络模型来完成任务。
发明内容
本公开的实施例提供了一种轨迹预测模型生成方法、装置、计算机可读存储介质及电子设备。
本公开的实施例提供了一种轨迹预测模型生成方法，该方法包括：获取样本图像序列，其中，样本图像序列中的样本图像包括可移动物体；利用预设的初始模型集合中的每个初始模型，对样本图像序列进行轨迹预测，得到每个初始模型分别对应的预测轨迹张量，其中，预测轨迹张量用于表征可移动物体的移动轨迹；对于初始模型集合中的每个初始模型，确定该初始模型对应的预测轨迹张量到其他初始模型分别对应的预测轨迹张量的距离；基于所得到的各个距离，确定该初始模型的损失值；基于损失值，训练该初始模型，得到轨迹预测模型。
根据本公开实施例的另一个方面，提供了一种轨迹预测模型生成装置，该装置包括：获取模块，用于获取样本图像序列，其中，样本图像序列中的样本图像包括可移动物体；预测模块，用于利用预设的初始模型集合中的每个初始模型，对样本图像序列进行轨迹预测，得到每个初始模型分别对应的预测轨迹张量，其中，预测轨迹张量用于表征可移动物体的移动轨迹；训练模块，用于对于初始模型集合中的每个初始模型，确定该初始模型对应的预测轨迹张量到其他初始模型分别对应的预测轨迹张量的距离；基于所得到的各个距离，确定该初始模型的损失值；基于损失值，训练该初始模型，得到轨迹预测模型。
根据本公开实施例的另一个方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序用于执行上述轨迹预测模型生成方法。
根据本公开实施例的另一个方面，提供了一种电子设备，电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于从存储器中读取可执行指令，并执行指令以实现上述轨迹预测模型生成方法。
基于本公开上述实施例提供的轨迹预测模型生成方法、装置、计算机可读存储介质及电子设备，通过获取样本图像序列，利用预设的初始模型集合中的每个初始模型对样本图像序列进行轨迹预测，得到每个初始模型分别对应的预测轨迹张量，对于每个初始模型，确定该初始模型与其他各个初始模型的距离，基于得到的距离确定损失值，基于损失值训练该初始模型，最终得到多个轨迹预测模型，从而实现了对多个模型同时训练，在训练过程中，每个模型的损失函数均与其他模型产生联系，即通过多个模型相互学习，提高模型的轨迹预测性能，有助于降低轨迹预测模型的复杂性，提高模型训练和模型应用的效率。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本公开所适用的***图。
图2是本公开一示例性实施例提供的轨迹预测模型生成方法的流程示意图。
图3是本公开的实施例的轨迹预测模型生成方法的一个应用场景的示意图。
图4是本公开另一示例性实施例提供的轨迹预测模型生成方法的流程示意图。
图5是本公开一示例性实施例提供的轨迹预测模型生成装置的结构示意图。
图6是本公开另一示例性实施例提供的轨迹预测模型生成装置的结构示意图。
图7是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机***、服务器等电子设备，其可与众多其它通用或专用计算***环境或配置一起操作。适于与终端设备、计算机***、服务器等电子设备一起使用的众所周知的终端设备、计算***、环境和/或配置的例子包括但不限于：个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***、大型计算机***和包括上述任何***的分布式云计算技术环境，等等。
终端设备、计算机***、服务器等电子设备可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算***存储介质上。
申请概述
现有的预测模型由于采用复杂的神经网络，因此其包括巨大的参数量。这对模型的训练以及预测速度都带来了很大的限制。这个问题反映到推断上面尤其严重，因为将预测模型应用到实际场景中需要满足十分苛刻的速度要求，否则就不能保证自动驾驶等场景的安全性。
示例性***
图1示出了可以应用本公开的实施例的轨迹预测模型生成方法或轨迹预测模型生成装置的示例性***架构100。
如图1所示，***架构100可以包括终端设备101、网络102、服务器103和摄像头104。网络102用于在终端设备101、服务器103和摄像头104之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101通过网络102与服务器103交互，以接收或发送消息等。终端设备101上可以安装有各种通讯客户端应用，例如监控类应用、地图类应用、图像处理类应用等。
终端设备101可以是各种电子设备，包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等。
服务器103可以是提供各种服务的服务器，例如使用终端设备101或摄像头104采集的图像序列训练轨迹预测模型的后台模型训练服务器。后台模型训练服务器可以利用获取的样本图像序列，对初始模型集合中的每个初始模型进行训练，得到多个轨迹预测模型。
需要说明的是，本公开的实施例所提供的轨迹预测模型生成方法可以由服务器103执行，也可以由终端设备101执行，相应地，轨迹预测模型生成装置可以设置于服务器103中，也可以设置于终端设备101中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
示例性方法
图2是本公开一示例性实施例提供的轨迹预测模型生成方法的流程示意图。本实施例可应用在电子设备(如图1所示的终端设备101或服务器103)上，如图2所示，该方法包括如下步骤：
步骤201，获取样本图像序列。
在本实施例中，电子设备可以从本地或从远程获取样本图像序列。例如，样本图像序列可以是如图1所示的摄像头104拍摄的。样本图像序列可以包括多个以时间顺序排列的样本图像，样本图像序列中的样本图像可包括可移动物体。应当理解，可移动物体可以是各种实际的可以移动的物体(例如车辆、行人等)映射到样本图像中的影像。需要说明的是，每个样本图像中的可移动物体的数量可以是至少一个。
步骤202，利用预设的初始模型集合中的每个初始模型，对样本图像序列进行轨迹预测，得到每个初始模型分别对应的预测轨迹张量。
在本实施例中，电子设备可以利用预设的初始模型集合中的每个初始模型，对样本图像序列进行轨迹预测，得到每个初始模型分别对应的预测轨迹张量。其中，预测轨迹张量用于表征可移动物体的移动轨迹。作为示例，预测轨迹张量可以包括样本图像中的每个像素点属于可移动物体的概率。
上述初始模型集合中的初始模型可以是深度神经网络模型，初始模型可以包括但不限于以下至少一种：卷积神经网络、循环神经网络等。初始模型可以直接接收样本图像序列进行轨迹预测，也可以接收对样本图像序列进行格式转换后得到的图像进行轨迹预测。
步骤203，对于初始模型集合中的每个初始模型，确定该初始模型对应的预测轨迹张量到其他初始模型分别对应的预测轨迹张量的距离；基于所得到的各个距离，确定该初始模型的损失值；基于损失值，训练该初始模型，得到轨迹预测模型。
在本实施例中，对于初始模型集合中的每个初始模型，电子设备可以执行如下步骤：
步骤2031，确定该初始模型对应的预测轨迹张量到其他初始模型分别对应的预测轨迹张量的距离。其中，上述距离用于表征两个预测轨迹张量的相似程度。作为示例，距离可以包括但不限于以下至少一种：欧氏距离、余弦距离等。
在一些可选的实现方式中，上述距离为信息散度值。其中，信息散度又称为相对熵(relative entropy)，又被称为KL散度(Kullback-Leibler divergence)或KL距离，它衡量的是相同事件空间里的两个概率分布的差异情况。
假设两个概率分布P1和P2，则P1到P2的KL距离如下述式(1)所示：
Figure BDA0002513854440000061
由于KL距离是非对称的，因此P1到P2的KL距离和P2到P1的KL距离通常是不相等的。使用信息散度作为两个预测轨迹张量的距离，可以在训练模型时使两个预测轨迹张量的概率分布趋于一致，即使各个模型的预测效果接近一致，从而可以实现各个模型的相互学习，提高训练得到的轨迹预测模型的预测精度。
步骤2032，基于所得到的各个距离，确定该初始模型的损失值。
具体地，对于某个初始模型，可以在该初始模型的损失函数的基础上，添加与所得到的各个距离相关的函数。
作为示例，假设初始模型集合包括的初始模型为Θ1,Θ2,…,ΘK(K≥2)，针对一个初始模型Θk，该初始模型的原损失函数为
Figure BDA0002513854440000062
则添加与所得到的各个距离相关的函数后，新的损失函数如下述式(2)所示：
Figure BDA0002513854440000063
其中，w为权重，可以为固定值，例如1、0.1、0.2等，也可以与初始模型的数量相关，例如为1/(K-1)。按照上述新的损失函数，可以计算得到损失值。
步骤2033，基于损失值，训练该初始模型，得到轨迹预测模型。
具体地，电子设备可以利用梯度下降算法和反向传播算法，对初始模型的参数进行调整，以使损失值最小，当初始模型满足预设条件时，确定训练后的初始模型为轨迹预测模型。其中，预设条件可以包括但不限于以下至少一种：训练次数超过预设次数，训练时长超过预设时长，损失值小于预设损失值阈值。
应当理解，上述步骤2031-步骤2033是对初始模型集合中的每个初始模型进行处理的，即每个初始模型对应于训练得到的一个轨迹预测模型。
轨迹预测模型在使用时，可以向其输入图像序列，其中，输入的图像序列是对可移动物体拍摄的图像序列。轨迹预测模型可以对图像序列中指定的可移动物体(可以是每个可移动物体，也可以是个别可移动物体)进行轨迹预测，得到可移动物体的预测轨迹信息。
在一些可选的实现方式中，电子设备可以按照如下步骤确定该初始模型的损失值：
首先，确定所得到的各个距离的平均值。作为示例，当上述式(2)中的w为1/(K-1)时，即可以得到各个距离的平均值。
然后，基于平均值，确定该初始模型的损失值。作为示例，可以将平均值与该初始模型的原始损失函数确定的损失值相加、相乘或按其他方式计算，得到该初始模型的损失值。本可选的实现方式，由于平均值可以体现各个距离的相互关系，因此，通过距离的平均值得到损失值，可以在训练过程中，更准确地体现各个初始模型的相互关系，从而进一步提高训练得到的轨迹预测模型的预测精度。
在一些可选的实现方式中，基于上述可选的实现方式中描述的平均值，电子设备可以按照如下步骤确定该初始模型的损失值：
首先，基于预设的损失函数，确定初始损失值。作为示例，如上述式(2)所示，基于该初始模型对应的预设的损失函数可以得到损失值
Figure BDA0002513854440000071
然后，将初始损失值与平均值相加，得到该初始模型的损失值。
作为示例，损失值可以基于如下损失函数得到：
Figure BDA0002513854440000081
通过将距离的平均值与初始损失值相加得到新的损失值，可以在初始损失值的基础上，通过距离的平均值进一步体现各个初始模型的相互关系，从而进一步提高训练得到的轨迹预测模型的预测精度。
在一些可选的实现方式中，在步骤203之后，电子设备还可以从所得到的各个轨迹预测模型中，选择符合预设条件的轨迹预测模型作为用于实时预测可移动物体的运动轨迹的轨迹预测模型。作为示例，预设条件可以包括但不限于以下至少一种：经过测试后准确率最高、属于用户指定的轨迹预测模型等。在实际的应用场景中，可以将选择出的轨迹预测模型作为实际使用的模型。由于各个轨迹预测模型是同时训练的，因此，训练时，模型的预测性能会同时提高，从中选择出的模型可以在实际的预测轨迹的场景中，使得预测准确性更高。
参见图3，图3是根据本实施例的轨迹预测模型生成方法的应用场景的一个示意图。在图3的应用场景中，电子设备301首先获取安装在道路上方的摄像头302对道路上行驶的车辆(即可移动物体)拍摄的样本图像序列303。然后，电子设备301获取初始模型集合，其中，初始模型集合包括初始模型A(如图中304所示)和初始模型B(如图中305所示)。电子设备301利用初始模型A和初始模型B，对样本图像序列进行轨迹预测，得到初始模型A和初始模型B分别对应的预测轨迹张量P1和P2。再然后，电子设备301对初始模型A和初始模型B进行训练，训练时，对于初始模型A，在初始模型A的损失函数LA的基础上，加上P1到P2的KL距离DKL(p2||p1)，计算得到初始模型A的损失值LA′。对于初始模型B，在初始模型B的损失函数LB的基础上，加上P2到P1的KL距离DKL(p1||p2)，计算得到初始模型B的损失值LB′。最后，利用反向传播算法和梯度下降算法，训练初始模型A和初始模型B，得到轨迹预测模型C(如图中的306所示)和轨迹预测模型D(如图中的307所示)。
本公开的上述实施例提供的方法，通过获取样本图像序列，利用预设的初始模型集合中的每个初始模型对样本图像序列进行轨迹预测，得到每个初始模型分别对应的预测轨迹张量，对于每个初始模型，确定该初始模型与其他各个初始模型的距离，基于得到的距离确定损失值，基于损失值训练该初始模型，最终得到多个轨迹预测模型，从而实现了对多个模型同时训练，在训练过程中，每个模型的损失函数均与其他模型产生联系，即通过多个模型相互学习，提高模型的轨迹预测性能，有助于降低轨迹预测模型的复杂性，提高模型训练和模型应用的效率。
进一步参考图4，示出了轨迹预测模型生成方法的又一个实施例的流程示意图。如图4所示，在上述图2所示实施例的基础上，步骤202可以包括如下步骤：
步骤2021，将样本图像序列中的样本图像转换为用于表征可移动物体的运动轨迹的轨迹图像，得到轨迹图像序列。
在本实施例中，轨迹图像用于表征可移动物体的运动轨迹，即每个轨迹图像突出了可移动物体的位置。作为示例，轨迹图像可以由预设的用于检测可移动物体的位置的目标检测模型(例如Unet网络)从样本图像序列中的样本图像中检测出。电子设备可以将各个可移动物体突出显示，例如将可移动物体覆盖的像素颜色设置为白色，将其他像素的颜色设置为黑色。
在一些可选的实现方式中，步骤2021可以如下执行：
将样本图像序列中的样本图像转换为占据栅格图像，得到占据栅格图像序列作为轨迹图像序列。其中，占据栅格图像(Occupancy grid)中的每个像素点可以对应于表征其属于目标可移动物体的概率。本实现方式中，每个可移动物体映射到占据栅格图像中的影像可以为一个中间亮边缘暗的平滑二维高斯核。将样本图像转换为占据栅格图像，可以更准确地表征可移动物体在各个样本图像中的位置，从而有利于在训练模型时，使模型更准确地预测可移动物体的轨迹。
步骤2022，将轨迹图像序列输入预设的初始模型集合中的每个初始模型，得到每个初始模型分别对应的预测轨迹张量。
在本实施例中，初始模型集合中的每个初始模型可以利用轨迹图像序列表征的可移动物体的实际行驶轨迹，对可移动物体未来的行驶轨迹进行预测，从而得到预测轨迹张量。本步骤中的初始模型用于表征轨迹图像序列与预测轨迹张量的对应关系。上述初始模型集合中的初始模型可以是深度神经网络模型，初始模型可以包括但不限于以下至少一种：卷积神经网络、循环神经网络等。
上述图4对应实施例提供的方法，通过将样本图像转换为轨迹图像，利用轨迹图像进行轨迹预测，由于轨迹图像可以准确地表征可移动物体已经走过的轨迹，因此，可以使模型根据轨迹图像更准确地进行轨迹预测。
示例性装置
图5是本公开一示例性实施例提供的轨迹预测模型生成装置的结构示意图。本实施例可应用在电子设备上，如图5所示，轨迹预测模型生成装置包括：获取模块501，用于获取样本图像序列，其中，样本图像序列中的样本图像包括可移动物体；预测模块502，用于利用预设的初始模型集合中的每个初始模型，对样本图像序列进行轨迹预测，得到每个初始模型分别对应的预测轨迹张量，其中，预测轨迹张量用于表征可移动物体的移动轨迹；训练模块503，用于对于初始模型集合中的每个初始模型，确定该初始模型对应的预测轨迹张量到其他初始模型分别对应的预测轨迹张量的距离；基于所得到的各个距离，确定该初始模型的损失值；基于损失值，训练该初始模型，得到轨迹预测模型。
在本实施例中，获取模块501可以从本地或从远程获取样本图像序列。例如，样本图像序列可以是如图1所示的摄像头104拍摄的。样本图像序列可以包括多个以时间顺序排列的样本图像，样本图像序列中的样本图像可以包括可移动物体。应当理解，可移动物体可以是各种实际的可以移动的物体(例如车辆、行人等)映射到样本图像中的影像。。需要说明的是，每个样本图像中的可移动物体的数量可以是至少一个。
在本实施例中，预测模块502可以利用预设的初始模型集合中的每个初始模型，对样本图像序列进行轨迹预测，得到每个初始模型分别对应的预测轨迹张量。其中，预测轨迹张量用于表征可移动物体的移动轨迹。作为示例，预测轨迹张量可以包括样本图像中的每个像素点属于可移动物体的概率。
上述初始模型集合中的初始模型可以是深度神经网络模型，初始模型可以包括但不限于以下至少一种：卷积神经网络、循环神经网络等。
在本实施例中，对于初始模型集合中的每个初始模型，训练模块503可以执行如下步骤：
步骤5031，确定该初始模型对应的预测轨迹张量到其他初始模型分别对应的预测轨迹张量的距离。其中，上述距离用于表征两个预测轨迹张量的相似程度。作为示例，距离可以包括但不限于以下至少一种：欧氏距离、余弦距离等。
步骤5032，基于所得到的各个距离，确定该初始模型的损失值。
具体地，对于某个初始模型，可以在该初始模型的损失函数的基础上，添加与所得到的各个距离相关的函数。
步骤5033，基于损失值，训练该初始模型，得到轨迹预测模型。
具体地，训练模块503可以利用梯度下降算法和反向传播算法，对初始模型的参数进行调整，以使损失值最小，当初始模型满足预设条件时，确定训练后的初始模型为轨迹预测模型。其中，预设条件可以包括但不限于以下至少一种：训练次数超过预设次数，训练时长超过预设时长，损失值小于预设损失值阈值。
应当理解，上述步骤5031-步骤5033是对初始模型集合中的每个初始模型进行处理的，即每个初始模型对应于训练得到的一个轨迹预测模型。
轨迹预测模型在使用时，可以向其输入图像序列，其中，输入的图像序列是对可移动物体拍摄的图像序列。轨迹预测模型可以对图像序列中指定的可移动物体(可以是每个可移动物体，也可以是个别可移动物体)进行轨迹预测，得到可移动物体的预测轨迹信息。
参照图6，图6是本公开另一示例性实施例提供的轨迹预测模型生成装置的结构示意图。
在一些可选的实现方式中，预测模块502可以包括：转换单元5021，用于将样本图像序列中的样本图像转换为用于表征可移动物体的运动轨迹的轨迹图像，得到轨迹图像序列；预测单元5022，用于将轨迹图像序列输入预设的初始模型集合中的每个初始模型，得到每个初始模型分别对应的预测轨迹张量。
在一些可选的实现方式中，转换单元5021可以进一步用于：将样本图像序列中的样本图像转换为占据栅格图像，得到占据栅格图像序列作为轨迹图像序列。
在一些可选的实现方式中，该装置还可以包括：选择模块504，用于从所得到的各个轨迹预测模型中，选择符合预设条件的轨迹预测模型作为用于实时预测可移动物体的运动轨迹的轨迹预测模型。
在一些可选的实现方式中，距离为信息散度值。
在一些可选的实现方式中，训练模块503可以包括：第一确定单元5031，用于确定所得到的各个距离的平均值；第二确定单元5032，用于基于平均值，确定该初始模型的损失值。
在一些可选的实现方式中，第二确定单元5032可以包括：第一确定子单元50321，用于基于预设的损失函数，确定初始损失值；第二确定子单元50322，用于将初始损失值与平均值相加，得到该初始模型的损失值。
本公开上述实施例提供的轨迹预测模型生成装置，通过获取样本图像序列，利用预设的初始模型集合中的每个初始模型对样本图像序列进行轨迹预测，得到每个初始模型分别对应的预测轨迹张量，对于每个初始模型，确定该初始模型与其他各个初始模型的距离，基于得到的距离确定损失值，基于损失值训练该初始模型，最终得到多个轨迹预测模型，从而实现了对多个模型同时训练，在训练过程中，每个模型的损失函数均与其他模型产生联系，即通过多个模型相互学习，提高模型的轨迹预测性能，有助于降低轨迹预测模型的复杂性，提高模型训练和模型应用的效率。
示例性电子设备
下面，参考图7来描述根据本公开实施例的电子设备。该电子设备可以是如图1所示的终端设备101和服务器103中的任一个或两者、或与它们独立的单机设备，该单机设备可以与终端设备101和服务器103进行通信，以从它们接收所采集到的输入信号。
图7图示了根据本公开实施例的电子设备的框图。
如图7所示，电子设备700包括一个或多个处理器701和存储器702。
处理器701可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备700中的其他组件以执行期望的功能。
存储器702可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器701可以运行程序指令，以实现上文的本公开的各个实施例的轨迹预测模型生成方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备700还可以包括：输入装置703和输出装置704，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。
例如，在该电子设备是终端设备101或服务器103时，该输入装置703可以是鼠标、键盘、摄像头等设备，用于输入样本图像。在该电子设备是单机设备时，该输入装置703可以是通信网络连接器，用于从终端设备101和服务器103接收所输入的样本图像。
该输出装置704可以向外部输出各种信息，包括轨迹预测模型。该输出设备704可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图7中仅示出了该电子设备700中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备700还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的轨迹预测模型生成方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的轨迹预测模型生成方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于***实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种轨迹预测模型生成方法，包括：
获取样本图像序列，其中，所述样本图像序列中的样本图像中包括可移动物体；
利用预设的初始模型集合中的每个初始模型，对所述样本图像序列进行轨迹预测，得到所述每个初始模型分别对应的预测轨迹张量，其中，所述预测轨迹张量用于表征可移动物体的移动轨迹；
对于所述初始模型集合中的每个初始模型，确定该初始模型对应的预测轨迹张量与所述初始模型集合中的其他初始模型分别对应的预测轨迹张量之间的距离；基于所得到的各个距离，确定该初始模型的损失值；基于所述损失值，训练该初始模型，得到该初始模型对应的轨迹预测模型；
所述基于所得到的各个距离，确定该初始模型的损失值，包括：
基于所得到的各个距离和预设的权重，确定距离相关的损失值；
基于该初始模型的原始损失函数，确定原始损失值；
基于所述原始损失值和所述距离相关的损失值，确定该初始模型的损失值；
所述基于所得到的各个距离和预设的权重，确定距离相关的损失值，包括：
确定所得到的各个距离的和值；
基于所述和值和预设的权重，确定距离相关的损失值。
2.根据权利要求1所述的方法，其中，所述利用预设的初始模型集合中的每个初始模型，对所述样本图像序列进行轨迹预测，包括：
将所述样本图像序列中的样本图像转换为用于表征所述可移动物体的运动轨迹的轨迹图像，得到轨迹图像序列；
将所述轨迹图像序列输入预设的初始模型集合中的每个初始模型，得到所述每个初始模型分别对应的预测轨迹张量。
3.根据权利要求2所述的方法，其中，所述将所述样本图像序列中的样本图像转换为用于表征所述可移动物体的运动轨迹的轨迹图像，得到轨迹图像序列，包括：
将所述样本图像序列中的样本图像转换为占据栅格图像，得到占据栅格图像序列作为轨迹图像序列。
4.根据权利要求1所述的方法，其中，所述方法还包括：
从所得到的各个轨迹预测模型中，选择符合预设条件的轨迹预测模型作为用于实时预测可移动物体的运动轨迹的轨迹预测模型。
5.根据权利要求1-4之一所述的方法，其中，所述基于所述原始损失值和所述距离相关的损失值，确定该初始模型的损失值，包括：
确定所得到的各个距离的平均值；
基于所述原始损失值和所述平均值，确定该初始模型的损失值。
6.根据权利要求5所述的方法，其中，所述基于所述原始损失值和所述平均值，确定该初始模型的损失值，包括：
基于预设的损失函数，确定原始损失值；
将所述原始损失值与所述平均值相加，得到该初始模型的损失值。
7.一种轨迹预测模型生成装置，包括：
获取模块，用于获取样本图像序列，其中，所述样本图像序列中的样本图像包括可移动物体；
预测模块，用于利用预设的初始模型集合中的每个初始模型，对所述样本图像序列进行轨迹预测，得到所述每个初始模型分别对应的预测轨迹张量，其中，所述预测轨迹张量用于表征可移动物体的移动轨迹；
训练模块，用于对于所述初始模型集合中的每个初始模型，确定该初始模型对应的预测轨迹张量到其他初始模型分别对应的预测轨迹张量的距离；基于所得到的各个距离，确定该初始模型的损失值；基于所述损失值，训练该初始模型，得到轨迹预测模型；
所述训练模块进一步用于：
基于所得到的各个距离和预设的权重，确定距离相关的损失值；
基于该初始模型的原始损失函数，确定原始损失值；
基于所述原始损失值和所述距离相关的损失值，确定该初始模型的损失值；
所述训练模块进一步用于：
确定所得到的各个距离的和值；
基于所述和值和预设的权重，确定距离相关的损失值。
8.根据权利要求7所述的装置，其中，所述预测模块包括：
转换单元，用于将所述样本图像序列中的样本图像转换为用于表征所述可移动物体的运动轨迹的轨迹图像，得到轨迹图像序列；
预测单元，用于将所述轨迹图像序列输入预设的初始模型集合中的每个初始模型，得到所述每个初始模型分别对应的预测轨迹张量。
9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-6任一所述的方法。
10.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-6任一所述的方法。
CN202010469558.XA 2020-05-28 2020-05-28 轨迹预测模型生成方法、装置、可读存储介质及电子设备 Active CN111639591B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010469558.XA CN111639591B (zh) 2020-05-28 2020-05-28 轨迹预测模型生成方法、装置、可读存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010469558.XA CN111639591B (zh) 2020-05-28 2020-05-28 轨迹预测模型生成方法、装置、可读存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN111639591A CN111639591A (zh) 2020-09-08
CN111639591B true CN111639591B (zh) 2023-06-30

Family

ID=72328912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010469558.XA Active CN111639591B (zh) 2020-05-28 2020-05-28 轨迹预测模型生成方法、装置、可读存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111639591B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283576B (zh) * 2020-09-28 2023-03-31 华为技术有限公司 一种车辆意图预测方法及相关装置
CN112486318A (zh) * 2020-11-26 2021-03-12 北京字跳网络技术有限公司 图像显示方法、装置、可读介质及电子设备
CN112373471B (zh) * 2021-01-12 2021-05-04 禾多科技（北京）有限公司 用于控制车辆行驶的方法、装置、电子设备和可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902678A (zh) * 2019-02-12 2019-06-18 北京奇艺世纪科技有限公司 模型训练方法、文字识别方法、装置、电子设备及计算机可读介质
CN110737968A (zh) * 2019-09-11 2020-01-31 北京航空航天大学 基于深层次卷积长短记忆网络的人群轨迹预测方法及***
CN110751683A (zh) * 2019-10-28 2020-02-04 北京地平线机器人技术研发有限公司 轨迹预测方法、装置、可读存储介质及电子设备
WO2020087974A1 (zh) * 2018-10-30 2020-05-07 北京字节跳动网络技术有限公司 生成模型的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020087974A1 (zh) * 2018-10-30 2020-05-07 北京字节跳动网络技术有限公司 生成模型的方法和装置
CN109902678A (zh) * 2019-02-12 2019-06-18 北京奇艺世纪科技有限公司 模型训练方法、文字识别方法、装置、电子设备及计算机可读介质
CN110737968A (zh) * 2019-09-11 2020-01-31 北京航空航天大学 基于深层次卷积长短记忆网络的人群轨迹预测方法及***
CN110751683A (zh) * 2019-10-28 2020-02-04 北京地平线机器人技术研发有限公司 轨迹预测方法、装置、可读存储介质及电子设备

Also Published As

Publication number Publication date
CN111639591A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN111626219B (zh) 轨迹预测模型生成方法、装置、可读存储介质及电子设备
CN109816589B (zh) 用于生成漫画风格转换模型的方法和装置
CN111639591B (zh) 轨迹预测模型生成方法、装置、可读存储介质及电子设备
CN108898086B (zh) 视频图像处理方法及装置、计算机可读介质和电子设备
CN109740499A (zh) 视频分割方法、视频动作识别方法、装置、设备及介质
KR20210006971A (ko) 지오로케이션 예측을 위한 시스템 및 방법
CN109145828B (zh) 用于生成视频类别检测模型的方法和装置
CN109697387A (zh) 运动方向预测方法、装置、电子设备及存储介质
Gupta et al. A novel finetuned YOLOv6 transfer learning model for real-time object detection
CN114565812A (zh) 语义分割模型的训练方法、装置和图像的语义分割方法
CN115393592A (zh) 目标分割模型的生成方法及装置、目标分割方法及装置
Ilina et al. Robustness study of a deep convolutional neural network for vehicle detection in aerial imagery
CN114758068A (zh) 空间几何信息估计模型的训练方法及装置
KR20200138668A (ko) 동작 정보를 이용한 고해상도 동영상 생성 방법 및 장치
CN111383245B (zh) 视频检测方法、视频检测装置和电子设备
CN115049730B (zh) 零件装配方法、装置、电子设备及存储介质
CN113111692B (zh) 目标检测方法、装置、计算机可读存储介质及电子设备
JP2023036795A (ja) 画像処理方法、モデル訓練方法、装置、電子機器、記憶媒体、コンピュータプログラム及び自動運転車両
CN116012677A (zh) 用于轨迹预测的训练数据增强方法、装置、介质和设备
US20220237884A1 (en) Keypoint based action localization
CN115527163A (zh) 目标检测模型优化方法、装置、电子设备及可读存储介质
CN114648712B (zh) 视频分类方法、装置、电子设备及计算机可读存储介质
CN114596475A (zh) 单应性流估计模型的训练方法、单应性流估计方法和装置
CN110753239B (zh) 视频预测方法、视频预测装置、电子设备和车辆
CN112199978A (zh) 视频物体检测方法和装置、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant