CN116071925A - 轨迹预测方法、装置及电子处理装置 - Google Patents
轨迹预测方法、装置及电子处理装置 Download PDFInfo
- Publication number
- CN116071925A CN116071925A CN202310120681.4A CN202310120681A CN116071925A CN 116071925 A CN116071925 A CN 116071925A CN 202310120681 A CN202310120681 A CN 202310120681A CN 116071925 A CN116071925 A CN 116071925A
- Authority
- CN
- China
- Prior art keywords
- information
- vector information
- environment
- track
- dynamic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000012545 processing Methods 0.000 title claims abstract description 34
- 239000013598 vector Substances 0.000 claims abstract description 256
- 238000013528 artificial neural network Methods 0.000 claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims description 61
- 230000003993 interaction Effects 0.000 claims description 26
- 238000005070 sampling Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 17
- 230000007246 mechanism Effects 0.000 claims description 13
- 238000013135 deep learning Methods 0.000 claims description 11
- 230000007613 environmental effect Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 5
- 230000002829 reductive effect Effects 0.000 abstract description 17
- 230000008569 process Effects 0.000 description 33
- 238000004364 calculation method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 238000009877 rendering Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 7
- 239000003795 chemical substances by application Substances 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0133—Traffic data processing for classifying traffic situation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Analytical Chemistry (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Chemical & Material Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供了一种轨迹预测方法、装置及电子处理装置。其中,该方法包括:获取目标对象的动态信息和环境信息;将所述动态信息和所述环境信息编码为动态矢量信息和环境矢量信息;通过神经网络对所述动态矢量信息和所述环境矢量信息进行特征提取,并建立所述动态矢量信息和所述环境矢量信息的关联关系,以通过所述关联关系进行轨迹预测。本申请通过将目标对象的动态信息和环境信息转换为矢量信息,以将该矢量信息输入到神经网络中对目标对象进行轨迹预测。通过将多总信息都转换为矢量信息,统一了神经网络的输入。另外,将所有的信息转换为矢量信息进行输入,替代了传统的图像输入,减少了计算资源开销,提高了预测速度。
Description
技术领域
本申请涉及无人驾驶领域,具体而言,涉及一种轨迹预测方法、装置及电子处理装置。
背景技术
在现有的轨迹预测算法中,主要使用基于光栅渲染表示的方法,这种方法的思想将当前复杂的环境信息和智能体历史状态渲染到鸟瞰视角的图像中作为输入形式,并使用卷积神经网络来提取特征与解码预测信息。在上述的方法中使用卷积神经网络进行图像层面的特征提为密集型计算,计算量较大,轨迹预测效率较低。
发明内容
有鉴于此,本申请实施例的目的在于提供一种轨迹预测方法、装置及电子处理装置,能够提高轨迹预测效率。
第一方面,本申请实施例提供了一种轨迹预测方法,包括:获取目标对象的动态信息和环境信息;将所述动态信息和所述环境信息编码为动态矢量信息和环境矢量信息;通过神经网络对所述动态矢量信息和所述环境矢量信息进行特征提取,并建立所述动态矢量信息和所述环境矢量信息的关联关系,以通过所述关联关系进行轨迹预测。
在上述实现过程中,通过将目标对象的动态信息和环境信息均编码为矢量信息,并将该矢量信息作为神经网络的输入,不仅统一了目标对象静态信息和动态信息输入的表征形式,降低了神经网络模型构建的难度。另外,由于神经网络的输入由矢量信息代替图像信息,对该矢量信息的处理不需要再进行渲染,也不需要进行密集型计算,减少了计算资源开销,提高了预测速度。
在一个实施例中,所述神经网络包括多层感知机,所述通过所述神经网络对所述动态矢量信息和所述环境矢量信息进行特征提取,并建立所述动态矢量信息和所述环境矢量信息的关联关系,以通过所述关联关系进行轨迹预测,包括:通过多层感知机提取所述动态矢量信息和所述环境矢量信息的中间特征;根据所述动态矢量信息和所述环境矢量信息的中间特征建立所述动态矢量信息和所述环境矢量信息的关联关系,以通过所述关联关系进行轨迹预测。
在上述实现过程中,通过多层感知机对输入的动态矢量信息和环境矢量信息进行中间特征提取,以实现不同矢量信息分别提取,防止了各个矢量信息之间的相互干扰,提高了特征提取的准确性。
在一个实施例中,所述神经网络还包括:自注意力机制和全连接图网络,所述根据所述动态矢量信息和所述环境矢量信息的中间特征建立所述动态矢量信息和所述环境矢量信息的关联关系,以通过所述关联关系进行轨迹预测,包括:通过所述全连接图网络获取所述动态矢量信息和所述环境矢量信息的中间特征间的交互关系;通过所述自注意力机制将所述中间特征间的交互关系进行全局信息的提取,以确定出所述动态矢量信息和所述环境矢量信息的关联关系,以通过所述关联关系进行轨迹预测。
在上述实现过程中,自注意力机制将中间特征间的交互关系进行全局信息的提取,能够准确的捕捉目标对象与周围环境的交互信息,提高轨迹预测的准确性。
在一个实施例中,所述目标对象的轨迹预测为多条预测轨迹,所述通过所述关联关系进行轨迹预测之后,所述方法包括:基于深度学习确定每个预测轨迹对应的概率;输出概率最高的预测轨迹为所述目标对象的最终预测轨迹。
在上述实现过程中,在确定出多条预测轨迹时,通过神经网络确定多条预测轨迹发生的概率,以将发生概率最大的预测轨迹作为最终预测轨迹,提高了轨迹的预测准确性。
在一个实施例中,所述环境信息包括车道信息,所述车道信息包括:车道线和车道中心线,所述环境矢量信息包括车道矢量信息,所述车道线及车道中心线通过设置间隔第一预设距离的第一采样点构建为多段折线形式,所述将所述动态信息和所述环境信息分别编码为动态矢量信息和环境矢量信息,包括:将所述车道信息中各第一采样点的位置信息编码为第一位置向量;根据所述第一位置向量构建车道二维矩阵,以形成车道矢量信息。
在上述实现的过程中,由于车道信息通常为连续的直线,在进行矢量编码时,通过将该直线转换为多段折线的形式,分别获取车道信息中各第一采样点的位置信息以构建车道二维矩阵,将车道信息转换为矢量信息,不需要再通过图像处理的方式对车道信息进行提取,减少了密集型计算,减少了计算资源开销。另外,还防止了图像渲染过程中的信息损失,提高了车道信息传输的完整性。
在一个实施例中,所述环境信息包括闭环拓扑信息,所述环境矢量信息包括闭环拓扑矢量信息,所述闭环拓扑信息通过设置间隔第二预设距离的第二采样点构建为闭环连接的多段折线形式,所述将所述动态信息和所述环境信息分别编码为动态矢量信息和环境矢量信息,包括:将所述闭环拓扑信息各第二采样点的位置信息编码为第二位置向量;根据所述第二位置向量构建闭环拓扑二维矩阵,以形成闭环拓扑矢量信息;其中,所述闭环拓扑二维矩阵中起始的二维矩阵中的起始二维向量与所述闭环拓扑二维矩阵中最后二维矩阵中的最后二维向量相等。
在上述实现过程中,由于该闭环拓扑信息在进行编码时,将该闭环拓扑信息转换为闭环连接的多段折线形式,能够获取到该闭环拓扑信息中的所有特征信息,提高了闭环拓扑信息编码的完整性和准确性。另外,将闭环拓扑信息转换为矢量信息,不需要再通过图像处理的方式对闭环拓扑信息进行提取,减少了密集型计算,减少了计算资源开销,还防止了图像渲染过程中的信息损失,提高了车道信息传输的完整性。
在一个实施例中,所述动态信息包括历史轨迹信息,所述动态矢量信息包括轨迹矢量信息,所述将所述动态信息和所述环境信息分别编码为动态矢量信息和环境矢量信息,包括:将所述历史轨迹信息中各轨迹点的位置信息编码为轨迹点位置向量;根据所述轨迹点位置向量构建轨迹二维矩阵,以形成轨迹矢量信息。
在上述实现过程中,由于目标对象在行驶过程中,形成的历史轨迹是过去的每个时间点的轨迹点的集合,通过根据将各个轨迹点编码为轨迹点位置向量,以构建轨迹二维矩阵,将历史轨迹信息转换为矢量信息,不需要再通过图像处理的方式对历史轨迹信息进行提取,减少了密集型计算,减少了计算资源开销。另外,还防止了图像渲染过程中的信息损失,提高了历史轨迹信息传输的完整性。
第二方面,本申请实施例还提供一种轨迹预测装置,包括:获取模块:用于获取目标对象的动态信息和环境信息;编码模块:用于将所述动态信息和所述环境信息编码为动态矢量信息和环境矢量信息;预测模块:用于通过神经网络对所述动态矢量信息和所述环境矢量信息进行特征提取,并建立所述动态矢量信息和所述环境矢量信息的关联关系,以通过所述关联关系进行轨迹预测。
第三方面,本申请实施例还提供一种电子处理装置,包括:处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,当处理装置运行时,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面的任一种可能的实施方式中的方法的步骤。
第四方面,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面的任一种可能的实施方式中轨迹预测方法的步骤。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的定位装置与处理装置进行交互的示意图;
图2为本申请实施例提供的电子处理装置的方框示意图;
图3为本申请实施例提供的轨迹预测方法的流程图;
图4为本申请实施例提供的单个节点特征提取示意图;
图5为本申请实施例提供的步骤203实现过程示意图;
图6为本申请实施例提供的邻接矩阵示意图;
图7为本申请实施例提供的轨迹预测结果示意图;
图8为本申请实施例提供的轨迹预测装置的功能模块示意图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
动态复杂环境下的智能体轨迹预测是智能无人车与自动驾驶领域的重要问题。在轨迹预测任务中,算法需要根据当前环境智能体的历史轨迹信息与周围道路环境,预测出智能体在未来一定时间段内的多条可能轨迹及其对应的概率。对于复杂环境,智能体不仅需要考虑历史轨迹信息,也要分析与周围智能体可能产生的交互信息以及路面拓扑信息。
本申请发明人经长期研究发现,目前常用的通过图像渲染的方式进行轨迹预测的方式存在以下缺陷:第一,在将所有信息映射到鸟瞰图的渲染过程中是具有信息损失的,比如时序信息就很难精确地表示在统一的图像中。第二,使用卷积神经网络进行图像层面的特征提取是计算密集型的,在计算资源有限的边缘设备上代价过高。第三,卷积神经网络提取特征的能力受感受野限制,并不能很好地兼顾全局信息以学习智能体间的高级交互过程。因此,目前的轨迹预测方法的预测效率较低。
另外,由于智能体的行为意图不可观测,所以其轨迹是高自由度且不断变化的,这要求模型具有表征这种高自由度输出的能力。其次,模型的输入通常是多模态异构的信息,比如历史轨迹,道路地图,障碍物类别等静态与动态混合的信息,这导致模型很难提取多模态输入特征中的有效信息。因此,要实现准确高效的轨迹预测比较困难。
有鉴于此,本申请发明人提出一种轨迹预测方法,通过将目标对象的动态信息和环境信息转换为矢量信息输入到多层感知机和自注意力机制中进行中间特征提取以建立各矢量信息之间的关联关系,以及各矢量信息与全局的关联关系,完成轨迹预测,通过将神经网络的输入转换为矢量,统一了动态与静态输入的表征形式,同时新的输入表征替代了图像级的输入,大量减少了计算资源开销,提高模型计算速度。
为便于对本实施例进行理解,首先对执行本申请实施例所公开的一种轨迹预测方法的运行环境进行详细介绍。
如图1所示,是本申请实施例提供的定位装置与处理装置进行交互的示意图。所述处理装置100通过网络与一个或多个定位装置200进行通信连接,以进行数据通信或交互。所述处理装置100可以是网络服务器、数据库服务器等,也可以是个人电脑(personalcomputer,PC)、平板电脑、智能手机、个人数字助理(personal digital assistant,PDA)等。该处理装置100还可以是集成在目标对象的控制***的一个模块等。该处理装置的设置方式可以根据实际情况进行调整,本申请不做具体限制。
这里的定位装置200可以是GPS导航器、北斗导航***等。该定位装置200设置在目标对象的上,用于实时获取目标对象的位置信息。
可选地,该目标对象周围其他对象上也可以设置该定位装置200,以获取目标对象周围其他对象的位置信息。
可以理解地,该定位装置200在获取到位置信息后,将该位置信息发送到处理装置100。该处理装置100通过对该位置信息进行处理后,对目标对象的轨迹进行预测。
为便于对本实施例进行理解,下面对执行本申请实施例所公开的轨迹预测方法的处理装置进行详细介绍。
如图2所示,是电子处理装置的方框示意图。电子处理装置100可以包括存储器111和处理器113。本领域普通技术人员可以理解,图2所示的结构仅为示意,其并不对电子处理装置100的结构造成限定。例如,电子处理装置100还可包括比图2中所示更多或者更少的组件,或者具有与图2所示不同的配置。
上述的存储器111和处理器113相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。上述的处理器113用于执行存储器中存储的可执行模块。
其中,存储器111可以是,但不限于,随机存取存储器(Random Access Memory,简称RAM),只读存储器(Read Only Memory,简称ROM),可编程只读存储器(ProgrammableRead-Only Memory,简称PROM),可擦除只读存储器(Erasable Programmable Read-OnlyMemory,简称EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory,简称EEPROM)等。其中,存储器111用于存储程序,所述处理器113在接收到执行指令后,执行所述程序,本申请实施例任一实施例揭示的过程定义的电子处理装置100所执行的方法可以应用于处理器113中,或者由处理器113实现。
上述的处理器113可能是一种集成电路芯片,具有信号的处理能力。上述的处理器113可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(digital signalprocessor,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本实施例中的电子处理装置100可以用于执行本申请实施例提供的各个方法中的各个步骤。下面通过几个实施例详细描述轨迹预测方法的实现过程。
请参阅图3,是本申请实施例提供的轨迹预测方法的流程图。下面将对图3所示的具体流程进行详细阐述。
步骤201,获取目标对象的动态信息和环境信息。
这里的目标对象可以是智能小车、智能汽车、机器人、自动配送机、智能搬运装置等。
上述的环境信息包括车道信息,该车道信息包括目标对象所在车道的车道线、车道中心线的信息、闭环拓扑信息等信息。其中,该闭环拓扑信息为目标对象行驶轨迹上的闭环信息,例如,路口信息。该动态信息包括历史轨迹信息,该历史轨迹信息可以包括目标对象自身的历史轨迹信息和目标对象周围其他对象的历史轨迹信息等。
可以理解地,可以通过在目标对象上设置定位装置对目标对象进行定位,获取目标对象在任意时刻的位置信息,以根据目标对象在任意时刻的位置信息确定出目标对象的历史轨迹信息。
另外,在确定出目标对象的位置信息后,还可以根据该位置信息确定出目标对象的环境信息。例如,可以通过将位置信息输入到AI模型,该AI模型提前存储有该目标对象行驶路段的所有环境特征。在该AI模型根据目标设备的位置信息确定出相应的位置后,可以基于该位置确定出该位置周围的环境信息。
在一些实施例中,还可以在目标对象上设置信息采集装置,实时获取目标对象周围的环境信息。该信息采集装置包括但不限于图像获取装置、红外传感装置、激光装置等。
步骤202,将动态信息和环境信息编码为动态矢量信息和环境矢量信息。
其中,环境矢量信息包括车道矢量信息、闭环拓扑矢量信息等。该动态矢量信息可以包括目标对象自身的轨迹矢量信息和目标对象周围其他对象的轨迹矢量信息等。
由于车道线、车道中心线等环境特征为连续的线条信息,在对车道线或车道中心线等环境信息进行编码时,可以将该车道线及车道中心线通过设置间隔第一预设距离的第一采样点构建为多段折线形式,以分别取各个第一采样点的位置坐标编码为第一位置向量,通过将每个折线中的多个第一位置向量构建为二维矩阵向量,并将多个折线的二维矩阵向量在第0维度上进行拼接(即以点的形式进行拼接),以获得车道二维矩阵。经上述编码方式编码后的多段折线为无向线段。
同样的,在对闭环拓扑信息进行编码时,也可以通过将该闭环拓扑信息通过设置间隔第二预设距离的第二采样点构建为闭环连接的多段折线形式,以分别将各个第二采样点的位置坐标编码为第二位置向量,通过将每个折线中的多个第二位置向量构建为二维矩阵向量,并将多个折线的二维矩阵向量在第0维度上进行拼接,以获得折线二维矩阵,并在该折线二维矩阵的基础上拼接闭环拓扑信息中相对应的语义信息,以确定出闭环拓扑二维矩阵。
而目标对象的历史轨迹信息是由目标对象行驶过程中多个轨迹点的位置确定的,在对历史轨迹信息进行编码时,将目标对象行驶过程中每个轨迹点的位置坐标编码为轨迹点位置向量,通过轨迹中多个轨迹点位置向量构建轨迹二维矩阵向量。例如,轨迹点的位置可以通过(x,y)表示,则该轨迹二维矩阵向量可以为:[(x1,y1),(x2,y2)…(xn,yn)]。
在一些实施例中,该环境信息还包括点信息(如交通信号灯、路牌等),该点信息为无法通过用向量表示的信息,可以将该点信息编码为起点与终点一致的矢量信息。例如,该点信息的位置可以通过(x,y)表示,则该点信息二维矩阵向量为:[(x1,y1),(x1,y1)…(x1,y1),(0,1)]。其中,(0,1)为点信息中属性对应的语义信息。
可以理解地,上述的环境信息和动态信息的编码方式仅是示例性地,该环境信息和动态信息的编码方式可以根据实际情况进行调整,本申请不做具体限制。
这里的车道二维矩阵、闭环拓扑二维矩阵、轨迹二维矩阵向量以及点信息二维矩阵向量的表现形式是相同的。
步骤203,通过神经网络对动态矢量信息和环境矢量信息进行特征提取,并建立动态矢量信息和环境矢量信息的关联关系,以通过关联关系进行轨迹预测。
其中,该神经网络可以包括多层感知机、自注意力机制和全连接图网络等多种深度学习模型。该多层感知机用于对输入的动态矢量信息和环境矢量信息提取特征提取,该自注意力机制和全连接图网络用于建立各个局部特征以及局部特征与全局特征之间的关联关系。
在上述实现过程中,通过将目标对象的动态信息和环境信息均编码为矢量信息,并将该矢量信息作为神经网络的输入,不仅统一了目标对象静态信息和动态信息输入的表征形式,降低了神经网络模型构建的难度。另外,由于神经网络的输入由矢量信息代替图像信息,对该矢量信息的处理不需要再进行渲染,也不需要进行密集型计算,减少了计算资源开销,提高了预测速度。
在一种可能的实现方式中,步骤203,包括:通过多层感知机提取动态矢量信息和环境矢量信息的中间特征;根据动态矢量信息和环境矢量信息的中间特征建立动态矢量信息和环境矢量信息的关联关系,以通过关联关系进行轨迹预测。
可以理解地,在对上述动态矢量信息和环境矢量信息进行处理时,可以先分别根据动态矢量信息和环境矢量信息进行特征提取,以分别提取到动态矢量信息特征和环境矢量信息特征。当动态矢量信息或环境矢量信息存在多个信息时,该多个信息可以进行分别提取。该多层感知机可以设置多个通道,每个通道分别提取对应信息的特征。例如,若车道矢量信息中包括多个车道线信息,则在对车道矢量信息进行特征提取时,分别将每个车道线信息输入相应的通道,分别对每个车道线信息进行特征提取。
这里的动态矢量信息和环境矢量信息的中间特征提取可以同时通过不同通道一起提取,也可以按照顺序依次提取。示例性地,如图4所示,单个节点提取特征时,该多层感知机对该单个节点的多个信息进行分层特征提取。
上述的多层感知机对动态矢量信息和环境矢量信息进行特征提取后,得到的中间特征可以用于不同信息间的交互。即,将上述环境矢量信息以及动态矢量信息的所有中间特征或部分中间特征分别进行连接,以分别确定各种信息之间的关联关系。例如,在提取出目标对象的轨迹特征后,可以通过神经网络的深度学习网络将该轨迹特征分别与该轨迹特征左侧车道线、右侧车道线、左侧对象的轨迹、右侧对象的轨迹分别连接,以确定与轨迹特征分别与其他特征之间的关联关系。
u输入到多层感知机后,经多层感知机进行中间特征提取得到eV1 l......eVi l..........eVu l。并将上述环境矢量信息以及动态矢量信息的所有中间特征或部分中间特征分别进行连接,以分别确定各种信息之间的关联关系,最后基于该关联关系将有关联关系的中间特征连接得到eVi i+l。
可以理解的,这里的神经网络可以有深度学习的能力,在确定出某一信息的局部特征后,可以根据深度学习结果确定出该局部特征初步确定相关性较高的其他特征,在分别将该局部特征与相关性较高的其他特征分别建立关联关系,进而确定出所有信息的全局关系,以进行轨迹预测。当然,该神经网络也可以不具备深度学习的能力,若该神经网络不具备深度学习的能力,在确定出某一信息的局部特征后,将该局部特征分别与其他所有特征建立关联关系,进而确定出所有信息的全局关系,以进行轨迹预测。
在上述实现过程中,通过多层感知机对输入的动态矢量信息和环境矢量信息进行中间特征提取,以实现不同矢量信息分别提取,防止了各个矢量信息之间的相互干扰,提高了特征提取的准确性。
在一种可能的实现方式中,步骤203,包括:通过全连接图网络获取动态矢量信息和环境矢量信息的中间特征间的交互关系;通过自注意力机制将中间特征间的交互关系进行全局信息的提取,以确定出动态矢量信息和环境矢量信息的关联关系,以通过关联关系进行轨迹预测。
这里的交互关系包括环境信息与目标对象的交互、目标对象之间的交互以及目标对象历史轨迹信息与环境信息的交互等。该交互关系可以通过maxpool、concat等构建。
其中,通过全连接图网络获取动态矢量信息和环境矢量信息的中间特征间的交互关系包括通过全连接的邻接矩阵编码所有特征的信息交互。该邻接矩阵可以如图6所示,其中,邻接矩阵中相邻特征之间连接表示这两个相邻特征之间有连接关系,邻接矩阵中相邻特征之间不连接表示这两个相邻特征之间没有连接关系。如图6所示,该邻接矩阵为对角线对称,用于表示各个目标对象轨迹或车道线之间是否有交互。
在确定出邻接矩阵后,将该邻接矩阵、动态矢量信息和环境矢量信息通过自注意力机制进行全局信息的提取。
上述的自注意力机制可以通过如下结构表示:
其中,PQ、PK、PV为对全连接矩阵P在各个反向的正交投影向量,GAN(GraphAttention Networks,中文名称:图自注意力网络)为图自注意力网络。
在上述实现过程中,自注意力机制将中间特征间的交互关系进行全局信息的提取,能够准确的捕捉目标对象与周围环境的交互信息,提高轨迹预测的准确性。
在一种可能的实现方式中,步骤203之后,该方法还包括:基于深度学习确定每个预测轨迹对应的概率;输出概率最高的预测轨迹为目标对象的最终预测轨迹。
可以理解的,通过上述方式对目标对象进行轨迹预测后,得到的预测轨迹可能不止一条(如图7所示,图7中示出5条预测轨迹)。进一步通过深度学习网络确定目标对象各个预测轨迹可能发生的概率。将概率最高的预测轨迹作为目标对象的最终预测轨迹。
在一些实施例中,深度学习网络确定目标对象各个预测轨迹可能发生的概率后,也可以将所有预测轨迹及对应的概率直接输出,以供目标对象对自行基于该预测轨迹及对应的概率选择相应的最终预测轨迹。
可以理解的,本申请实施例中预测的轨迹是通过矢量信息确定的,在输出该预测轨迹和相应的概率时,需要对该预测轨迹和概率解码,以通过轨迹的形式输出。
在上述实现过程中,在确定出多条预测轨迹时,通过神经网络确定多条预测轨迹发生的概率,以将发生概率最大的预测轨迹作为最终预测轨迹,提高了轨迹的预测准确性。
在一种可能的实现方式中,步骤202,包括:将车道信息中各第一采样点的位置信息编码为第一位置向量;根据第一位置向量构建车道二维矩阵,以形成车道矢量信息。
其中,该车道信息中的多段折线为无向线段。在对车道信息进行处理时,可以对车道信息中的方向信息进行平均化、过滤、弱化等处理,以获得没有方向信息的车道信息。或在对车道信息进行编码时,不对该车道信息的方向信息进行编码。
可以理解地,该车道信息对方向不敏感,在对车道信息进行训练时,车道信息的起点可以选择任意第一采样点。不同起始第一采样点构建的车道二维矩阵的第一位置向量相同,但是车道二维矩阵表现形式可以不同。
在上述实现的过程中,由于车道信息通常为连续的直线,在进行矢量编码时,通过将该直线转换为多段折线的形式,分别获取车道信息中各第一采样点的位置信息以构建车道二维矩阵,将车道信息转换为矢量信息,不需要再通过图像处理的方式对车道信息进行提取,减少了密集型计算,减少了计算资源开销。另外,还防止了图像渲染过程中的信息损失,提高了车道信息传输的完整性。
在一种可能的实现方式中,步骤202,还包括:将闭环拓扑信息各第二采样点的位置信息编码为第二位置向量;根据第二位置向量构建闭环拓扑二维矩阵,以形成闭环拓扑矢量信息。
其中,闭环拓扑二维矩阵中起始的二维矩阵中的起始二维向量与闭环拓扑二维矩阵中最后二维矩阵中的最后二维向量相等,即该闭环拓扑信息中的起点和终点一致,以形成闭环二维向量。
在一些实施例中,该闭环二维向量中还编码有语义信息,该语义信息可以采用二分类编码进行表示。例如,第二采样点的位置可以通过(x,y)表示,车道线对应属性为双黄线,则该属性对应的语义信息为:[‘double’,‘yellow’],可编码为[0,1]。再通过将编码的语义信息可与矢量进行拼接,以获得[(x1,y1),(x2,y2)…(xn,yn),(0,1)]的闭环拓扑二维矩阵。
其中,该闭环拓扑信息中的多段折线为无向线段。在对闭环拓扑信息进行处理时,可以对闭环拓扑信息中的方向信息进行平均化、过滤、弱化等处理,以获得没有方向信息的闭环拓扑信息。或在对闭环拓扑信息进行编码时,不对该闭环拓扑信息的方向信息进行编码。
可以理解地,该闭环拓扑信息对方向不敏感,在对闭环拓扑信息进行训练时,闭环拓扑信息的起点可以选择任意第二采样点。不同起始第二采样点构建的闭环拓扑二维矩阵的第二位置向量信息相同,但是该闭环拓扑二维矩阵表现形式可以不同。
在上述实现过程中,由于该闭环拓扑信息在进行编码时,将该闭环拓扑信息转换为闭环连接的多段折线形式,能够获取到该闭环拓扑信息中的所有特征信息,提高了闭环拓扑信息编码的完整性和准确性。另外,将闭环拓扑信息转换为矢量信息,不需要再通过图像处理的方式对闭环拓扑信息进行提取,减少了密集型计算,减少了计算资源开销,还防止了图像渲染过程中的信息损失,提高了车道信息传输的完整性。
在一种可能的实现方式中,步骤202,还包括:将历史轨迹信息中各轨迹点的位置信息编码为轨迹点位置向量;根据轨迹点位置向量构建轨迹二维矩阵,以形成轨迹矢量信息。
该历史轨迹信息为有向信息。在对历史轨迹信息进行编码时,需要编码成带有方向信息的轨迹点位置向量。在对历史轨迹信息进行训练时,历史轨迹信息的起点为固定的轨迹点。
在上述实现过程中,由于目标对象在行驶过程中,形成的历史轨迹是过去的每个时间点的轨迹点的集合,通过根据将各个轨迹点编码为轨迹点位置向量,以构建轨迹二维矩阵,将历史轨迹信息转换为矢量信息,不需要再通过图像处理的方式对历史轨迹信息进行提取,减少了密集型计算,减少了计算资源开销。另外,还防止了图像渲染过程中的信息损失,提高了历史轨迹信息传输的完整性。
基于同一申请构思,本申请实施例中还提供了与轨迹预测方法对应的轨迹预测装置,由于本申请实施例中的装置解决问题的原理与前述的轨迹预测方法实施例相似,因此本实施例中的装置的实施可以参见上述方法的实施例中的描述,重复之处不再赘述。
请参阅图8,是本申请实施例提供的轨迹预测装置的功能模块示意图。本实施例中的轨迹预测装置中的各个模块用于执行上述方法实施例中的各个步骤。轨迹预测装置包括获取模块301、编码模块302、预测模块303;
其中,
获取模块301用于获取目标对象的动态信息和环境信息。
编码模块302用于将所述动态信息和所述环境信息编码为动态矢量信息和环境矢量信息。
预测模块303用于通过神经网络对所述动态矢量信息和所述环境矢量信息进行特征提取,并建立所述动态矢量信息和所述环境矢量信息的关联关系,以通过所述关联关系进行轨迹预测。
一种可能的实施方式中,预测模块303,还用于:通过多层感知机提取所述动态矢量信息和所述环境矢量信息的中间特征;根据所述动态矢量信息和所述环境矢量信息的中间特征建立所述动态矢量信息和所述环境矢量信息的关联关系,以通过所述关联关系进行轨迹预测。
一种可能的实施方式中,预测模块303,具体用于:通过所述全连接图网络获取所述动态矢量信息和所述环境矢量信息的中间特征间的交互关系;通过所述自注意力机制将所述中间特征间的交互关系进行全局信息的提取,以确定出所述动态矢量信息和所述环境矢量信息的关联关系,以通过所述关联关系进行轨迹预测。
一种可能的实施方式中,该轨迹预测装置还包括确定模块,用于基于深度学习确定每个预测轨迹对应的概率;输出概率最高的预测轨迹为所述目标对象的最终预测轨迹。
一种可能的实施方式中,编码模块302,还用于:将所述车道信息中各第一采样点的位置信息编码为第一位置向量;根据所述第一位置向量构建车道二维矩阵,以形成车道矢量信息。
一种可能的实施方式中,编码模块302,还用于:将所述闭环拓扑信息各第二采样点的位置信息编码为第二位置向量;根据所述第二位置向量构建闭环拓扑二维矩阵,以形成闭环拓扑矢量信息;其中,所述闭环拓扑二维矩阵中起始的二维矩阵中的起始二维向量与所述闭环拓扑二维矩阵中最后二维矩阵中的最后二维向量相等。
一种可能的实施方式中,编码模块302,还用于:将所述历史轨迹信息中各轨迹点的位置信息编码为轨迹点位置向量;根据所述轨迹点位置向量构建轨迹二维矩阵,以形成轨迹矢量信息。
此外,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的轨迹预测方法的步骤。
本申请实施例所提供的轨迹预测方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的轨迹预测方法的步骤,具体可参见上述方法实施例,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种轨迹预测方法,其特征在于,包括:
获取目标对象的动态信息和环境信息;
将所述动态信息和环境信息编码为动态矢量信息和环境矢量信息;
通过神经网络对所述动态矢量信息和所述环境矢量信息进行特征提取,并建立所述动态矢量信息和所述环境矢量信息的关联关系,以通过所述关联关系进行轨迹预测。
2.根据权利要求1所述的方法,其特征在于,所述神经网络包括多层感知机,所述通过所述神经网络对所述动态矢量信息和所述环境矢量信息进行特征提取,并建立所述动态矢量信息和所述环境矢量信息的关联关系,以通过所述关联关系进行轨迹预测,包括:
通过多层感知机提取所述动态矢量信息和所述环境矢量信息的中间特征;
根据所述动态矢量信息和所述环境矢量信息的中间特征建立所述动态矢量信息和所述环境矢量信息的关联关系,以通过所述关联关系进行轨迹预测。
3.根据权利要求2所述的方法,其特征在于,所述神经网络还包括:自注意力机制和全连接图网络,所述根据所述动态矢量信息和所述环境矢量信息的中间特征建立所述动态矢量信息和所述环境矢量信息的关联关系,以通过所述关联关系进行轨迹预测,包括:
通过所述全连接图网络获取所述动态矢量信息和所述环境矢量信息的中间特征间的交互关系;
通过所述自注意力机制将所述中间特征间的交互关系进行全局信息的提取,以确定出所述动态矢量信息和所述环境矢量信息的关联关系,以通过所述关联关系进行轨迹预测。
4.根据权利要求1-3任意一项所述的方法,其特征在于,所述目标对象的轨迹预测为多条预测轨迹,所述通过所述关联关系进行轨迹预测之后,所述方法包括:
基于深度学习确定每个预测轨迹对应的概率;
输出概率最高的预测轨迹为所述目标对象的最终预测轨迹。
5.根据权利要求1-3任意一项所述的方法,其特征在于,所述环境信息包括车道信息,所述车道信息包括:车道线和车道中心线,所述环境矢量信息包括车道矢量信息,所述车道线及车道中心线通过设置间隔第一预设距离的第一采样点构建为多段折线形式,所述将所述动态信息和所述环境信息分别编码为动态矢量信息和环境矢量信息,包括:
将所述车道信息中各第一采样点的位置信息编码为第一位置向量;
根据所述第一位置向量构建车道二维矩阵,以形成车道矢量信息。
6.根据权利要求1-3任意一项所述的方法,其特征在于,所述环境信息包括闭环拓扑信息,所述环境矢量信息包括闭环拓扑矢量信息,所述闭环拓扑信息通过设置间隔第二预设距离的第二采样点构建为闭环连接的多段折线形式,所述将所述动态信息和所述环境信息分别编码为动态矢量信息和环境矢量信息,包括:
将所述闭环拓扑信息各第二采样点的位置信息编码为第二位置向量;
根据所述第二位置向量构建闭环拓扑二维矩阵,以形成闭环拓扑矢量信息;
其中,所述闭环拓扑二维矩阵中起始的二维矩阵中的起始二维向量与所述闭环拓扑二维矩阵中最后二维矩阵中的最后二维向量相等。
7.根据权利要求1-3任意一项所述的方法,其特征在于,所述动态信息包括历史轨迹信息,所述动态矢量信息包括轨迹矢量信息,所述将所述动态信息和所述环境信息分别编码为动态矢量信息和环境矢量信息,包括:
将所述历史轨迹信息中各轨迹点的位置信息编码为轨迹点位置向量;
根据所述轨迹点位置向量构建轨迹二维矩阵,以形成轨迹矢量信息。
8.一种轨迹预测装置,其特征在于,包括:
获取模块:用于获取目标对象的动态信息和环境信息;
编码模块:用于将所述动态信息和环境信息编码为动态矢量信息和环境矢量信息;
预测模块:用于通过神经网络对所述动态矢量信息和所述环境矢量信息进行特征提取,并建立所述动态矢量信息和所述环境矢量信息的关联关系,以通过所述关联关系进行轨迹预测。
9.一种电子处理装置,其特征在于,包括:处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,当处理装置运行时,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的方法的步骤。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任一所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310120681.4A CN116071925B (zh) | 2023-02-13 | 2023-02-13 | 轨迹预测方法、装置及电子处理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310120681.4A CN116071925B (zh) | 2023-02-13 | 2023-02-13 | 轨迹预测方法、装置及电子处理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116071925A true CN116071925A (zh) | 2023-05-05 |
CN116071925B CN116071925B (zh) | 2024-04-12 |
Family
ID=86179947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310120681.4A Active CN116071925B (zh) | 2023-02-13 | 2023-02-13 | 轨迹预测方法、装置及电子处理装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116071925B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210174668A1 (en) * | 2019-12-10 | 2021-06-10 | Samsung Electronics Co., Ltd. | Systems and methods for trajectory prediction |
CN113128381A (zh) * | 2021-04-06 | 2021-07-16 | 浙江吉利控股集团有限公司 | 障碍物轨迹预测方法、***及计算机存储介质 |
CN114707630A (zh) * | 2022-02-16 | 2022-07-05 | 大连理工大学 | 一种通过注意场景和状态的多模态轨迹预测方法 |
CN114802296A (zh) * | 2022-03-17 | 2022-07-29 | 浙江工业大学 | 一种基于动态交互图卷积的车辆轨迹预测方法 |
CN115221970A (zh) * | 2022-07-28 | 2022-10-21 | 重庆长安汽车股份有限公司 | 目标轨迹预测方法、***、设备及介质 |
WO2022222095A1 (zh) * | 2021-04-22 | 2022-10-27 | 深圳元戎启行科技有限公司 | 轨迹预测方法、装置、计算机设备和存储介质 |
-
2023
- 2023-02-13 CN CN202310120681.4A patent/CN116071925B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210174668A1 (en) * | 2019-12-10 | 2021-06-10 | Samsung Electronics Co., Ltd. | Systems and methods for trajectory prediction |
CN113128381A (zh) * | 2021-04-06 | 2021-07-16 | 浙江吉利控股集团有限公司 | 障碍物轨迹预测方法、***及计算机存储介质 |
WO2022222095A1 (zh) * | 2021-04-22 | 2022-10-27 | 深圳元戎启行科技有限公司 | 轨迹预测方法、装置、计算机设备和存储介质 |
CN114707630A (zh) * | 2022-02-16 | 2022-07-05 | 大连理工大学 | 一种通过注意场景和状态的多模态轨迹预测方法 |
CN114802296A (zh) * | 2022-03-17 | 2022-07-29 | 浙江工业大学 | 一种基于动态交互图卷积的车辆轨迹预测方法 |
CN115221970A (zh) * | 2022-07-28 | 2022-10-21 | 重庆长安汽车股份有限公司 | 目标轨迹预测方法、***、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116071925B (zh) | 2024-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Mozaffari et al. | Deep learning-based vehicle behavior prediction for autonomous driving applications: A review | |
Hou et al. | Interactive trajectory prediction of surrounding road users for autonomous driving using structural-LSTM network | |
KR102539942B1 (ko) | 궤적 계획 모델을 훈련하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램 | |
CN113159403B (zh) | 路口行人轨迹预测的方法及装置 | |
Katariya et al. | Deeptrack: Lightweight deep learning for vehicle trajectory prediction in highways | |
Gao et al. | A data-driven lane-changing behavior detection system based on sequence learning | |
Xie et al. | Congestion-aware multi-agent trajectory prediction for collision avoidance | |
GB2562049A (en) | Improved pedestrian prediction by using enhanced map data in automated vehicles | |
CN115909749B (zh) | 车辆运行道路风险预警方法、装置、设备及存储介质 | |
Azadani et al. | A novel multimodal vehicle path prediction method based on temporal convolutional networks | |
CN115690153A (zh) | 一种智能体轨迹预测方法及*** | |
Kolekar et al. | Behavior prediction of traffic actors for intelligent vehicle using artificial intelligence techniques: A review | |
CN114792148A (zh) | 一种运动轨迹的预测方法及装置 | |
CN114372570A (zh) | 一种多模态车辆轨迹预测方法 | |
CN116737857A (zh) | 道路数据处理方法、相关装置和介质 | |
Gross et al. | Route and stopping intent prediction at intersections from car fleet data | |
Zhang et al. | A learning-based method for predicting heterogeneous traffic agent trajectories: Implications for transfer learning | |
Selvaraj et al. | Edge learning of vehicular trajectories at regulated intersections | |
Ni et al. | Pedestrians crossing intention anticipation based on dual‐channel action recognition and hierarchical environmental context | |
CN116071925B (zh) | 轨迹预测方法、装置及电子处理装置 | |
CN113119996B (zh) | 一种轨迹预测方法、装置、电子设备及存储介质 | |
Gao et al. | Deep learning‐based hybrid model for the behaviour prediction of surrounding vehicles over long‐time periods | |
CN115719547A (zh) | 基于多重交互行为的交通参与者轨迹预测方法及*** | |
Li et al. | Personalized trajectory prediction for driving behavior modeling in ramp-merging scenarios | |
Popescu et al. | A lane assessment method using visual information based on a dynamic bayesian network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |