CN111767475A - 一种目标行人轨迹预测模型训练方法、装置、电子设备及存储介质 - Google Patents
一种目标行人轨迹预测模型训练方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111767475A CN111767475A CN202010199619.5A CN202010199619A CN111767475A CN 111767475 A CN111767475 A CN 111767475A CN 202010199619 A CN202010199619 A CN 202010199619A CN 111767475 A CN111767475 A CN 111767475A
- Authority
- CN
- China
- Prior art keywords
- position vector
- historical
- vector set
- preset
- target pedestrian
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 title claims abstract description 41
- 239000013598 vector Substances 0.000 claims abstract description 263
- 230000002093 peripheral effect Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 10
- 238000007499 fusion processing Methods 0.000 claims description 4
- 238000005314 correlation function Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请一种目标行人轨迹预测模型训练方法、装置、电子设备及存储介质,该方法包括:将第一历史位置向量集合和第二历史位置向量集合输入目标行人轨迹预测模型中,得到预测位置向量集合;将真实位置向量集合和预测位置向量集合输入判别模型中,得到距离集合对应的损失值;若损失值不符合预设条件,基于损失值训练目标行人轨迹预测模型中的参数,直至损失值符合预设条件;第一历史位置向量集合由目标行人在多个历史预设时刻的第一历史位置向量构成,第二历史位置向量集合由每个周围行人对应的第二历史位置向量子集合构成的,如此,可以基于时间维度上和空间维度上的数据特征训练目标行人轨迹预测模型,可以提高目标行人轨迹预测模型预测能力。
Description
技术领域
本申请涉及行人轨迹预测领域,特别涉及一种目标行人轨迹预测模型 训练方法、装置、电子设备及存储介质。
背景技术
行人的轨迹预测指根据行人历史的运动路径,预测其未来的轨迹,其 应用场景广泛,在智能驾驶、移动出行和服务机器人导航等领域中都有广 泛应用。
目前,相关技术中,行人的轨迹预测方法可以是将行人的历史运动轨 迹输入到已训练的模型中,输出行人的预测轨迹;模型训练的过程是:将 大量的行人的轨迹输入到模型中,对模型进行训练。但现有的许多行人轨 迹的预测方法往往采用手动设计许多函数对行人运动进行建模,这样的方 式使得模型无法充分学习数据的全部特征,只会侧重于人工设计的某一方 面的特征,如此,导致训练的模型的预测能力较弱。
发明内容
本申请实施例要解决的是现有技术中的训练的只会侧重于人工设计的 某一方面的特征的技术问题。
为解决上述技术问题,一方面,本申请实施例提供了一种目标行人轨 迹预测模型训练方法,该方法包括:
获取第一历史位置向量集合,第一历史位置向量集合由目标行人在多 个历史预设时刻的第一历史位置向量构成;
获取第二历史位置向量集合,第二历史位置向量集合由预设个周围行 人中每个周围行人在多个历史预设时刻的第二历史位置向量子集合构成;
获取真实位置向量集合,真实位置向量集合由目标行人在多个当前或 未来预设时刻的真实位置向量构成;
将第一历史位置向量集合和第二历史位置向量集合输入目标行人轨迹 预测模型中,得到预测位置向量集合,预测位置向量集合由目标行人在多 个当前或未来预设时刻的预测位置向量组成;
将真实位置向量集合和预测位置向量集合输入判别模型中,得到距离 集合对应的损失值;距离集合由真实位置向量集合中的每个真实位置与预 测位置向量集合中每个预测位置之间的距离构成;
若损失值不符合预设条件,基于损失值训练目标行人轨迹预测模型中 的参数,返回将第一历史位置向量集合和第二历史位置向量集合和获取真 实位置向量集合输入目标行人轨迹预测模型中的操作,直至损失值符合预 设条件;其中参数包括目标行人轨迹预测模型中与第一历史位置向量集合 和第一历史位置向量集合相关的权重系数。
另一方面,本申请实施例提供了一种目标行人轨迹预测模型训练装置, 该装置包括:
第一获取模块,用于获取第一历史位置向量集合,第一历史位置向量 集合由目标行人在多个历史预设时刻的第一历史位置向量构成;
第二获取模块,用于获取第二历史位置向量集合,第二历史位置向量 集合由预设个周围行人中每个周围行人在多个历史预设时刻的第二历史位 置向量子集合构成;
第三获取模块,用于获取真实位置向量集合,真实位置向量集合由目 标行人在多个当前或未来预设时刻的真实位置向量构成;
预测模块,用于将第一历史位置向量集合和第二历史位置向量集合输 入目标行人轨迹预测模型中,得到预测位置向量集合,预测位置向量集合 由目标行人在多个当前或未来预设时刻的预测位置向量组成;
损失值确定模块,用于将真实位置向量集合和预测位置向量集合输入 判别模型中,得到距离集合对应的损失值;距离集合由真实位置向量集合 中的每个真实位置与预测位置向量集合中每个预测位置之间的距离构成;
参数调整模块,用于若损失值不符合预设条件,返回将第一历史位置 向量集合和第二历史位置向量集合和获取真实位置向量集合输入目标行人 轨迹预测模型中的操作,训练目标行人轨迹预测模型中的参数,直至损失 值符合预设条件;其中参数包括目标行人轨迹预测模型中与第一历史位置 向量集合和第一历史位置向量集合相关的权重系数。
另一方面,本申请实施例提供了一种电子设备,该电子设备包括处理 器和存储器,存储器中存储有至少一条指令、至少一段程序、代码集或指 令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执 行以实现如上述的目标行人轨迹预测模型训练方法。
另一方面,本申请实施例提供了一种计算机可读存储介质,该存储介 质中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指 令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上述的 目标行人轨迹预测模型训练方法。
采用上述技术方案,本申请实施例所述的一种目标行人轨迹预测模型 训练方法、装置、电子设备及存储介质具有如下有益效果:
通过获取第一历史位置向量集合,第一历史位置向量集合由目标行人 在多个历史预设时刻的第一历史位置向量构成;获取第二历史位置向量集 合,第二历史位置向量集合由预设个周围行人中每个周围行人在多个历史 预设时刻的第二历史位置向量子集合构成;获取真实位置向量集合,真实 位置向量集合由目标行人在多个当前或未来预设时刻的真实位置向量构成; 将第一历史位置向量集合和第二历史位置向量集合输入目标行人轨迹预测 模型中,得到预测位置向量集合,预测位置向量集合由目标行人在多个当 前或未来预设时刻的预测位置向量组成;将真实位置向量集合和预测位置 向量集合输入判别模型中,得到距离集合对应的损失值;距离集合由真实 位置向量集合中的每个真实位置与预测位置向量集合中每个预测位置之间 的距离构成;若损失值不符合预设条件,基于损失值训练目标行人轨迹预 测模型中的参数,返回将第一历史位置向量集合和第二历史位置向量集合 和获取真实位置向量集合输入目标行人轨迹预测模型中的操作,直至损失 值符合预设条件;其中参数包括目标行人轨迹预测模型中与第一历史位置 向量集合和第一历史位置向量集合相关的权重系数。本申请实施例中,第 一历史位置向量集合由目标行人在多个历史预设时刻的第一历史位置向量 构成,第二历史位置向量集合由预设个周围行人中每个周围行人在多个历 史预设时刻的第二历史位置向量子集合构成的,第一历史位置向量集合由 目标行人在多个历史预设时刻的第一历史位置向量构成,第二历史位置向 量集合由每个周围行人对应的第二历史位置向量子集合构成的,如此,可 以基于时间维度上和空间维度上的数据特征训练目标行人轨迹预测模型, 可以提高目标行人轨迹预测模型预测能力。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述 中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅 是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性 劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种应用环境示意图;
图2是本申请实施例提供的一种目标行人轨迹预测模型训练方法的流 程示意图;
图3是本申请实施例提供的一种目标行人轨迹预测模型结构示意图;
图4是本申请实施例提供的一种目标行人轨迹预测模型训练方法的流 程示意图;
图5是本申请实施例提供的一种目标行人轨迹预测模型结构示意图的 数据传输示意图;
图6是本申请实施例提供的一种目标行人轨迹预测模型训练装置的结 构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进 行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例, 而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没 有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护 的范围。
此处所称的“一个实施例”或“实施例”是指可包含于本申请至少一 个实现方式中的特定特征、结构或特性。在本申请的描述中,需要理解的 是,术语“上”、“下”、“顶”、“底”等指示的方位或位置关系为基 于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而 不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第 二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明 所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以 明示或者隐含的包括一个或者更多个该特征。而且,术语“第一”、“第 二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。 应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请 的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
请参阅图1,图1是本申请实施例提供的一种应用场景的示意图,包括 数据获取模块101、轨迹预测模块102、判别模块103和参数调整模块104,
数据获取模块101获取第一历史位置向量集合,第一历史位置向量集 合由目标行人在多个历史预设时刻的第一历史位置向量构成;
数据获取模块101获取第二历史位置向量集合,第二历史位置向量集 合由预设个周围行人中每个周围行人在多个历史预设时刻的第二历史位置 向量子集合构成;
数据获取模块101获取真实位置向量集合,真实位置向量集合由目标 行人在多个当前或未来预设时刻的真实位置向量构成;
轨迹预测模块102将第一历史位置向量集合和第二历史位置向量集合 输入目标行人轨迹预测模型中,得到预测位置向量集合,预测位置向量集 合由目标行人在多个当前或未来预设时刻的预测位置向量组成;
判别模块103将真实位置向量集合和预测位置向量集合输入判别模型 中,得到距离集合对应的损失值;距离集合由真实位置向量集合中的每个 真实位置与预测位置向量集合中每个预测位置之间的距离构成;若损失值 不符合预设条件,返回将第一历史位置向量集合和第二历史位置向量集合 和获取真实位置向量集合输入目标行人轨迹预测模型中的操作,参数调整 模块104训练目标行人轨迹预测模型中的参数,直至损失值符合预设条件; 其中参数包括目标行人轨迹预测模型中与第一历史位置向量集合和第一历 史位置向量集合相关的权重系数。
本申请实施例中,数据获取模块101、轨迹预测模块102、判别模块103 和参数调整模块104可以被设置在同一个设备中,比如移动终端、计算机 终端、服务器或者类似的运算装置;可选的,数据获取模块101、轨迹预测 模块102、判别模块103和参数调整模块104可以被设置在多个设备中,该 多个设备处于一个***中;可选的,数据获取模块101、轨迹预测模块102、 判别模块103和参数调整模块104可以被设置在一个平台上。因此,本申 请实施例的执行主体可以是移动终端、计算机终端、服务器或者类似的运 算装置;可以是某个***,还可以是某个平台;
以下介绍本申请一种目标行人轨迹预测模型训练方法的具体实施例, 图2是一种目标行人轨迹预测模型训练方法的流程示意图,本说明书提供 了如实施例或流程图的方法操作步骤,但基于常规或者无创造性的劳动可 以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步 骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的***或服 务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行 执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示,该 方法可以包括:
S201:获取第一历史位置向量集合,第一历史位置向量集合由目标行人 在多个历史预设时刻的第一历史位置向量构成;
本申请实施例中,可以通过GPS获取第一历史位置向量集合;也可以 通过服务器提取图片中第一历史位置向量集合;也可以通过传感器获取第 一历史位置向量集合;
第一历史位置向量可以为在历史预设时刻,在一个标准坐标系下,x轴 坐标、y轴坐标和在该坐标下的速度组成的向量;
S202:获取第二历史位置向量集合,第二历史位置向量集合由预设个周 围行人中每个周围行人在多个历史预设时刻的第二历史位置向量子集合构 成;
本申请实施例中,第二历史位置向量可以为在历史预设时刻,在一个 标准坐标系下,x轴坐标、y轴坐标和在该坐标下的速度组成的向量;第二 历史位置向量集合由与预设个周围行人对应的第二历史位置向量子集合构 成,第二历史位置向量子集合为一个周围行人在多个历史预设时刻的第二 历史位置向量构成。
S203:获取真实位置向量集合,真实位置向量集合由目标行人在多个当 前或未来预设时刻的真实位置向量构成;
本申请实施例中,目标行人的数量可以为1个或者多个。
若目标行人的数量为1个,则第一历史位置向量集合由1目标行人在 多个历史预设时刻的第一历史位置向量构成;若目标行人的数量为2个, 则第一历史位置向量集合由2目标行人对应的第一历史位置向量子集合构 成;第一历史位置向量子集合由每个目标行人在多个历史预设时刻的第一 历史位置向量构成。
本申请实施例中,真实位置向量集合可以为目标行人在多个当前或未 来预设时刻,在一个标准坐标系下,x轴坐标、y轴坐标和在该坐标下的速 度组成的向量;
S204:将第一历史位置向量集合和第二历史位置向量集合输入目标行 人轨迹预测模型中,得到预测位置向量集合,预测位置向量集合由目标行 人在多个当前或未来预设时刻的预测位置向量组成;
S205:将真实位置向量集合和预测位置向量集合输入判别模型中,得到 距离集合对应的损失值;距离集合由真实位置向量集合中的每个真实位置 与预测位置向量集合中每个预测位置之间的距离构成;
S206:判断损失值是否符合预设条件,若否,则基于损失值训练目标行 人轨迹预测模型中的参数,转至步骤S201;直至损失值符合预设条件;其中 参数包括目标行人轨迹预测模型中与第一历史位置向量集合和第一历史位 置向量集合相关的权重系数。可选的,若否,则结束训练过程;
于一种可选的实施方式中,损失值为距离集合中的距离值大于预设距 离阈值的概率;预设条件问预设概率。
本申请实施例中,请参阅图3,图3是本申请实施例提供的一种目标行 人轨迹预测模型结构示意图,如图3所示,该目标行人轨迹预测模型包括 编码器模型301、注意力层模型302和解码器模型303;
编码器模型301的输出端与注意力层模型302的输入端连接;注意力 层模型302的输出端与解码器模型303的输入端连接;解码器模型303的 输出端与编码器模型301的输入端连接。
本申请实施例中,编码器模型301又叫做编码器层,注意力层模型302 又叫做注意力层,解码器模型303又叫做解码器层;
于一种可选的实施例中,编码器模型的输出端根据第一历史位置向量 集合和第二历史位置向量集合输出第一隐藏状态集合,在注意力层模型中, 该方法包括:
S401:
将第一隐藏状态集合中目标行人对应的第一隐藏状态进行加权融合处 理得到目标行人对应的第一注意力状态集合;
第一注意力状态集合为:t为历史预设时刻,Tobs为历 史预设时刻的个数的上限值,j为多个历史预设时刻对应中每个历史预设时 刻对应的序号;j为正整数,为第一权重系数;为第二历史位置向量 子集合中多个历史预设时刻中每个历史预设时刻对应得编码器的输出;此 处的i为目标行人对应的标号。
S402:
将第一注意力状态集合中预设个周围行人对应的第一注意力状态进行 加权融合处理得到第三注意力状态集合;
于一种可选的实施方式中,
S403:将第一注意力状态集合和第三注意力状态集合输入解码器模型 中。
于一种可选的实施例中,如图5所示,图5是本申请实施例提供的一 种目标行人轨迹预测模型结构示意图的数据传输示意图;如图5所示:第 一历史位置向量集合X=X1,X2,...,Xn,预测位置向量集合Y=Y1,Y2,...,Yn。第 一历史位置向量集合中第一历史位置向量:行人i的历史位置信息为 其中t=1,...,tobs。真实位置向量集合其 中t=tobs+1,...,tpred。预测的轨迹为Obs为observe,即未来轨迹从 可观测到的最后一帧的下一帧开始。Pred为prediction,表示预测轨迹最 远的时间点。
基于循环神经网络(Recurrent Neural Network,RNN)RNN的编码器, 通过长短期记忆网络模型LSTM中的编码器计算得到每个时间点,每个行人 运动包括目标行人和预设个周围行人,即多个历史预设时刻对应的每个行 人运动的隐藏状态:
注意力层既引入了时间维度上的变化对最终预测轨迹的影响,又将不 同行人之间的相互影响加入其中。利用注意力机制,加权融合历史所有时 间点,即多个历史预设时刻对应的行人运动的隐藏状态。原因在于,解码 器输出的预测轨迹实际上对于编码器的不同时间点的状态的关注是不一样 的,若不加入注意力层,解码器只能利用编码器的最后一层的输出结果进 行解析,这与实际情况不符。第一注意力状态集合中目标行人和预设个周围行人对应的第一注意力状态子集合加权融合的方式如下:
其中,
函数A为相关性函数。
第三注意力状态集合中每个目标行人和周围行人对应的第三注意力状 态加权融合的方式;
目标行人和周围行人的数量为N。观测的行人位置信息通过单层MLP(多 层感知机)转化为一个固定长度的向量,以作为编码器LSTM单元的输入。 构成张量Tt的每个元素为带有时间维度特征的其他行人的上下文向量加 权平均获得。权重计算方式如下:
其中,B函数为带有ReLU(线性整流函数,Rectified Linear Unit) 非线性的多层感知机。
然后,将Ci和Tt输入到解码器层,预测位置向量集合。
解码器层的预测轨迹输出为:
本申请实施例还提供了一种目标行人轨迹预测模型训练装置,图6是 本申请实施例提供的一种目标行人轨迹预测模型训练装置的结构示意图, 如图6所示,该装置包括:
第一获取模块601,用于获取第一历史位置向量集合,第一历史位置向 量集合由目标行人在多个历史预设时刻的第一历史位置向量构成;
第二获取模块602,用于获取第二历史位置向量集合,第二历史位置向 量集合由预设个周围行人中每个周围行人在多个历史预设时刻的第二历史 位置向量子集合构成;
第三获取模块603,用于获取真实位置向量集合,真实位置向量集合由 目标行人在多个当前或未来预设时刻的真实位置向量构成;
预测模块604,用于将第一历史位置向量集合和第二历史位置向量集合 输入目标行人轨迹预测模型中,得到预测位置向量集合,预测位置向量集 合由目标行人在多个当前或未来预设时刻的预测位置向量组成;
损失值确定模块605,用于将真实位置向量集合和预测位置向量集合输 入判别模型中,得到距离集合对应的损失值;距离集合由真实位置向量集 合中的每个真实位置与预测位置向量集合中每个预测位置之间的距离构成;
参数调整模块606,用于若损失值不符合预设条件,基于损失值训练目 标行人轨迹预测模型中的参数,返回将第一历史位置向量集合和第二历史 位置向量集合和获取真实位置向量集合输入目标行人轨迹预测模型中的操 作,直至损失值符合预设条件;其中参数包括目标行人轨迹预测模型中与 第一历史位置向量集合和第一历史位置向量集合相关的权重系数。
本申请实施例中的装置与方法实施例基于同样的申请构思。
本申请的实施例还提供了一种电子设备,所述电子设备包括处理器和 存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指 令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所 述处理器加载并执行以实现上述目标行人轨迹预测模型训练方法。
本申请的实施例还提供了一种计算机可读存储介质,所述存储介质可 设置于服务器之中以保存用于实现方法实施例中一种图片识别方法相关的 至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至 少一段程序、该代码集或指令集由该处理器加载并执行以实现上述目标行 人轨迹预测模型训练方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网 络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介 质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随 机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘 等各种可以存储程序代码的介质。
由上述本申请提供的目标行人轨迹预测模型训练方法、装置、电子设 备及存储介质的实施例可见,本申请中通过获取第一历史位置向量集合, 第一历史位置向量集合由目标行人在多个历史预设时刻的第一历史位置向 量构成;获取第二历史位置向量集合,第二历史位置向量集合由预设个周 围行人中每个周围行人在多个历史预设时刻的第二历史位置向量子集合构 成;获取真实位置向量集合,真实位置向量集合由目标行人在多个当前或未来预设时刻的真实位置向量构成;将第一历史位置向量集合和第二历史 位置向量集合输入目标行人轨迹预测模型中,得到预测位置向量集合,预 测位置向量集合由目标行人在多个当前或未来预设时刻的预测位置向量组 成;将真实位置向量集合和预测位置向量集合输入判别模型中,得到距离 集合对应的损失值;距离集合由真实位置向量集合中的每个真实位置与预 测位置向量集合中每个预测位置之间的距离构成;若损失值不符合预设条件,返回将第一历史位置向量集合和第二历史位置向量集合和获取真实位 置向量集合输入目标行人轨迹预测模型中的操作,训练目标行人轨迹预测 模型中的参数,直至损失值符合预设条件;其中参数包括目标行人轨迹预 测模型中与第一历史位置向量集合和第一历史位置向量集合相关的权重系 数。本申请实施例中,第一历史位置向量集合由目标行人在多个历史预设 时刻的第一历史位置向量构成,第二历史位置向量集合由预设个周围行人中每个周围行人在多个历史预设时刻的第二历史位置向量子集合构成的, 第一历史位置向量集合由目标行人在多个历史预设时刻的第一历史位置向 量构成,第二历史位置向量集合由每个周围行人对应的第二历史位置向量 子集合构成的,如此,可以基于时间维度上和空间维度上的数据特征训练 目标行人轨迹预测模型,可以提高目标行人轨迹预测模型预测能力。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实 施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所 附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步 骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。 另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能 实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的 或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相 同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的 不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例, 所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以 通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可 以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存 储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申 请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在 本申请的保护范围之内。
Claims (10)
1.一种目标行人轨迹预测模型训练方法,其特征在于,所述方法包括:
获取第一历史位置向量集合,所述第一历史位置向量集合由目标行人在多个历史预设时刻的第一历史位置向量构成;
获取第二历史位置向量集合,所述第二历史位置向量集合由预设个周围行人中每个周围行人在多个历史预设时刻的第二历史位置向量子集合构成;
获取真实位置向量集合,所述真实位置向量集合由目标行人在多个当前或未来预设时刻的真实位置向量构成;
将第一历史位置向量集合和第二历史位置向量集合输入目标行人轨迹预测模型中,得到预测位置向量集合,所述预测位置向量集合由目标行人在多个当前或未来预设时刻的预测位置向量组成;
将真实位置向量集合和预测位置向量集合输入判别模型中,得到距离集合对应的损失值;所述距离集合由真实位置向量集合中的每个真实位置与预测位置向量集合中每个预测位置之间的距离构成;
若损失值不符合预设条件,基于损失值训练目标行人轨迹预测模型中的参数,返回将第一历史位置向量集合和第二历史位置向量集合和获取真实位置向量集合输入目标行人轨迹预测模型中的操作,直至损失值符合预设条件;其中所述参数包括目标行人轨迹预测模型中与所述第一历史位置向量集合和所述第一历史位置向量集合相关的权重系数。
2.根据权利要求1所述的目标行人轨迹预测模型训练方法,其特征在于,所述目标行人轨迹预测模型包括编码器模型、注意力层模型和解码器模型;
所述编码器模型的输出端与所述注意力层模型的输入端连接;
所述注意力层模型的输出端与所述解码器模型的输入端连接;
所述解码器模型的输出端与所述编码器模型的输入端连接。
3.根据权利要求2所述的目标行人轨迹预测模型训练方法,其特征在于,所述编码器模型的输出端根据第一历史位置向量集合和第二历史位置向量集合输出第一隐藏状态集合,在所述注意力层模型中,所述方法包括:
将第一隐藏状态集合中目标行人对应的第一隐藏状态进行加权融合处理得到目标行人对应的第一注意力状态集合;
将第一注意力状态集合中预设个周围行人对应的第一注意力状态进行加权融合处理得到第三注意力状态集合;
将第一注意力状态集合和第三注意力状态集合输入解码器模型中。
4.根据权利要求3所述的目标行人轨迹预测模型训练方法,其特征在于,所述第一隐藏状态集合为:其中,i为整数,i大于等于1,i是目标行人和预设个周围行人中每个行人对应的标号,用于区别预设个周围行人中的不同行人,t为多个预设时刻中的每个时刻;
所述第一注意力状态集合为:t为历史预设时刻,Tobs为历史预设时刻的个数的上限值,j为多个历史预设时刻对应中每个历史预设时刻对应的序号;j为正整数,为第一权重系数;为第二历史位置向量子集合中多个历史预设时刻中每个历史预设时刻对应得所述编码器的输出;此处的i为目标行人对应的标号。
6.根据权利要求4所述的目标行人轨迹预测模型训练方法,其特征在于,所述编码器模型为长短期记忆网络模型中的编码器模型。
7.根据权利要求1所述的目标行人轨迹预测模型训练方法,其特征在于,所述损失值为距离集合中的距离值大于预设距离阈值的概率;所述预设条件问预设概率。
8.一种目标行人轨迹预测模型训练装置,其特征在于,所述装置包括:
第一获取模块,用于获取第一历史位置向量集合,所述第一历史位置向量集合由目标行人在多个历史预设时刻的第一历史位置向量构成;
第二获取模块,用于获取第二历史位置向量集合,所述第二历史位置向量集合由预设个周围行人中每个周围行人在多个历史预设时刻的第二历史位置向量子集合构成;
第三获取模块,用于获取真实位置向量集合,所述真实位置向量集合由目标行人在多个当前或未来预设时刻的真实位置向量构成;
预测模块,用于将第一历史位置向量集合和第二历史位置向量集合输入目标行人轨迹预测模型中,得到预测位置向量集合,所述预测位置向量集合由目标行人在多个当前或未来预设时刻的预测位置向量组成;
损失值确定模块,用于将真实位置向量集合和预测位置向量集合输入判别模型中,得到距离集合对应的损失值;所述距离集合由真实位置向量集合中的每个真实位置与预测位置向量集合中每个预测位置之间的距离构成;
参数调整模块,用于若损失值不符合预设条件,基于损失值训练目标行人轨迹预测模型中的参数,返回将第一历史位置向量集合和第二历史位置向量集合和获取真实位置向量集合输入目标行人轨迹预测模型中的操作,直至损失值符合预设条件;其中所述参数包括目标行人轨迹预测模型中与所述第一历史位置向量集合和所述第一历史位置向量集合相关的权重系数。
9.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-7任一所述的目标行人轨迹预测模型训练方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-7任一所述的目标行人轨迹预测模型训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010199619.5A CN111767475A (zh) | 2020-03-20 | 2020-03-20 | 一种目标行人轨迹预测模型训练方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010199619.5A CN111767475A (zh) | 2020-03-20 | 2020-03-20 | 一种目标行人轨迹预测模型训练方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111767475A true CN111767475A (zh) | 2020-10-13 |
Family
ID=72720794
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010199619.5A Pending CN111767475A (zh) | 2020-03-20 | 2020-03-20 | 一种目标行人轨迹预测模型训练方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111767475A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112215429A (zh) * | 2020-10-20 | 2021-01-12 | 清华大学 | 基于历史轨迹的轨迹预测方法及装置 |
CN112785075A (zh) * | 2021-01-31 | 2021-05-11 | 江苏商贸职业学院 | 一种基于rfid定位的行人行为预测方法及*** |
CN113077489A (zh) * | 2021-04-21 | 2021-07-06 | 中国第一汽车股份有限公司 | 一种行人轨迹预测方法、装置、设备及储存介质 |
CN113112264A (zh) * | 2021-04-19 | 2021-07-13 | 中国工商银行股份有限公司 | 乘车码自动展示方法、装置、计算机***和可读存储介质 |
CN113255738A (zh) * | 2021-05-06 | 2021-08-13 | 武汉象点科技有限公司 | 一种基于自注意力生成对抗网络的异常图像检测方法 |
CN113344056A (zh) * | 2021-05-31 | 2021-09-03 | 北京邮电大学 | 一种人员移动性预测模型的训练方法及装置 |
CN113569980A (zh) * | 2021-08-12 | 2021-10-29 | 中山大学 | 一种复杂环境下的行人移动轨迹在线预测方法及*** |
CN114239974A (zh) * | 2021-12-21 | 2022-03-25 | 清华大学 | 多智能体的位置预测方法、装置、电子设备及存储介质 |
CN114419105A (zh) * | 2022-03-14 | 2022-04-29 | 深圳市海清视讯科技有限公司 | 多目标行人轨迹预测模型训练方法、预测方法及装置 |
CN115071704A (zh) * | 2022-07-19 | 2022-09-20 | 小米汽车科技有限公司 | 轨迹预测方法、装置、介质、设备、芯片和车辆 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160300485A1 (en) * | 2015-04-10 | 2016-10-13 | Honda Motor Co., Ltd. | Pedestrian path predictions |
CN109508812A (zh) * | 2018-10-09 | 2019-03-22 | 南京航空航天大学 | 一种基于深度记忆网络的航空器航迹预测方法 |
CN110163439A (zh) * | 2019-05-24 | 2019-08-23 | 长安大学 | 一种基于注意力机制的城市规模出租车轨迹预测方法 |
CN110610271A (zh) * | 2019-09-17 | 2019-12-24 | 北京理工大学 | 一种基于长短记忆网络的多重车辆轨迹预测方法 |
CN110737968A (zh) * | 2019-09-11 | 2020-01-31 | 北京航空航天大学 | 基于深层次卷积长短记忆网络的人群轨迹预测方法及*** |
CN110781838A (zh) * | 2019-10-28 | 2020-02-11 | 大连海事大学 | 一种复杂场景下行人的多模态轨迹预测方法 |
-
2020
- 2020-03-20 CN CN202010199619.5A patent/CN111767475A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160300485A1 (en) * | 2015-04-10 | 2016-10-13 | Honda Motor Co., Ltd. | Pedestrian path predictions |
CN109508812A (zh) * | 2018-10-09 | 2019-03-22 | 南京航空航天大学 | 一种基于深度记忆网络的航空器航迹预测方法 |
CN110163439A (zh) * | 2019-05-24 | 2019-08-23 | 长安大学 | 一种基于注意力机制的城市规模出租车轨迹预测方法 |
CN110737968A (zh) * | 2019-09-11 | 2020-01-31 | 北京航空航天大学 | 基于深层次卷积长短记忆网络的人群轨迹预测方法及*** |
CN110610271A (zh) * | 2019-09-17 | 2019-12-24 | 北京理工大学 | 一种基于长短记忆网络的多重车辆轨迹预测方法 |
CN110781838A (zh) * | 2019-10-28 | 2020-02-11 | 大连海事大学 | 一种复杂场景下行人的多模态轨迹预测方法 |
Non-Patent Citations (2)
Title |
---|
BHUJEL N , ET AL: "Pedestrian Trajectory Prediction Using RNN Encoder-Decoder with Spatio-Temporal Attentions", 《2019 IEEE 5TH INTERNATIONAL CONFERENCE ON MECHATRONICS SYSTEM AND ROBOTS (ICMSR)》 * |
高志强等, 中国铁道出版社 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112215429A (zh) * | 2020-10-20 | 2021-01-12 | 清华大学 | 基于历史轨迹的轨迹预测方法及装置 |
CN112785075A (zh) * | 2021-01-31 | 2021-05-11 | 江苏商贸职业学院 | 一种基于rfid定位的行人行为预测方法及*** |
CN112785075B (zh) * | 2021-01-31 | 2022-11-25 | 江苏商贸职业学院 | 一种基于rfid定位的行人行为预测方法及*** |
CN113112264A (zh) * | 2021-04-19 | 2021-07-13 | 中国工商银行股份有限公司 | 乘车码自动展示方法、装置、计算机***和可读存储介质 |
CN113077489A (zh) * | 2021-04-21 | 2021-07-06 | 中国第一汽车股份有限公司 | 一种行人轨迹预测方法、装置、设备及储存介质 |
CN113077489B (zh) * | 2021-04-21 | 2024-03-15 | 中国第一汽车股份有限公司 | 一种行人轨迹预测方法、装置、设备及储存介质 |
CN113255738A (zh) * | 2021-05-06 | 2021-08-13 | 武汉象点科技有限公司 | 一种基于自注意力生成对抗网络的异常图像检测方法 |
CN113344056B (zh) * | 2021-05-31 | 2022-11-22 | 北京邮电大学 | 一种人员移动性预测模型的训练方法及装置 |
CN113344056A (zh) * | 2021-05-31 | 2021-09-03 | 北京邮电大学 | 一种人员移动性预测模型的训练方法及装置 |
CN113569980A (zh) * | 2021-08-12 | 2021-10-29 | 中山大学 | 一种复杂环境下的行人移动轨迹在线预测方法及*** |
CN113569980B (zh) * | 2021-08-12 | 2023-09-01 | 中山大学 | 一种复杂环境下的行人移动轨迹在线预测方法及*** |
CN114239974A (zh) * | 2021-12-21 | 2022-03-25 | 清华大学 | 多智能体的位置预测方法、装置、电子设备及存储介质 |
CN114419105A (zh) * | 2022-03-14 | 2022-04-29 | 深圳市海清视讯科技有限公司 | 多目标行人轨迹预测模型训练方法、预测方法及装置 |
CN114419105B (zh) * | 2022-03-14 | 2022-07-15 | 深圳市海清视讯科技有限公司 | 多目标行人轨迹预测模型训练方法、预测方法及装置 |
CN115071704A (zh) * | 2022-07-19 | 2022-09-20 | 小米汽车科技有限公司 | 轨迹预测方法、装置、介质、设备、芯片和车辆 |
CN115071704B (zh) * | 2022-07-19 | 2022-11-11 | 小米汽车科技有限公司 | 轨迹预测方法、装置、介质、设备、芯片和车辆 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111767475A (zh) | 一种目标行人轨迹预测模型训练方法、装置、电子设备及存储介质 | |
KR20210024124A (ko) | 목표 객체 검출 방법 및 장치, 전자 디바이스 및 기록 매체 | |
WO2019229125A1 (en) | Deep reinforcement learning with fast updating recurrent neural networks and slow updating recurrent neural networks | |
JP5346701B2 (ja) | 学習制御システム及び学習制御方法 | |
CN110234018B (zh) | 多媒体内容描述生成方法、训练方法、装置、设备及介质 | |
WO2020152364A1 (en) | Multi-agent reinforcement learning with matchmaking policies | |
CN117218498B (zh) | 基于多模态编码器的多模态大语言模型训练方法及*** | |
WO2017154655A1 (ja) | 群衆種類識別システム、群衆種類識別方法および群衆種類識別プログラムを記憶する記憶媒体 | |
CN110955965A (zh) | 一种考虑交互作用的行人运动预测方法及*** | |
CN111047088A (zh) | 预测图像获取方法、装置、计算机设备和存储介质 | |
CN113348465A (zh) | 图像中对象的关联性预测方法、装置、设备和存储介质 | |
CN112329645A (zh) | 图像检测方法、装置、电子设备及存储介质 | |
CN113112525A (zh) | 目标跟踪方法、网络模型及其训练方法、设备和介质 | |
CN115847422A (zh) | 一种用于遥操作的姿态识别方法、装置及*** | |
CN116092055A (zh) | 训练方法、获取方法、装置、设备及自动驾驶车辆 | |
CN115222061A (zh) | 基于持续学习的联邦学习方法以及相关设备 | |
CN113435531B (zh) | 零样本图像分类方法、***、电子设备及存储介质 | |
CN114715145A (zh) | 一种轨迹预测方法、装置、设备及自动驾驶车辆 | |
CN113269008B (zh) | 一种行人轨迹预测方法、装置、电子设备及存储介质 | |
CN112560959B (zh) | 骨骼动画的姿态匹配方法、装置、电子设备及存储介质 | |
CN115331179A (zh) | 高实时性的行人追踪方法、装置及可读介质 | |
CN114283460A (zh) | 一种特征提取方法、装置、计算机设备及存储介质 | |
CN115731588B (zh) | 模型处理方法及装置 | |
CN115761815B (zh) | 人体检测模型的训练方法及人体检测方法、设备、介质 | |
CN115100419B (zh) | 目标检测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201013 |