CN110020748A - 轨迹预测方法、装置、设备和存储介质 - Google Patents
轨迹预测方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN110020748A CN110020748A CN201910201344.1A CN201910201344A CN110020748A CN 110020748 A CN110020748 A CN 110020748A CN 201910201344 A CN201910201344 A CN 201910201344A CN 110020748 A CN110020748 A CN 110020748A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- information
- barrier
- position information
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
- G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供一种轨迹预测方法、装置、设备和存储介质,该方法包括:获取车辆在采样时刻的车辆位置信息和车辆运动信息,并确定采样时刻下与车辆位置信息对应的周围区域,其中,周围区域中包括障碍物;获取障碍物在采样时刻下的障碍物运动信息;根据车辆位置信息、车辆运动信息和障碍物运动信息,确定车辆的预测轨迹信息。本申请提供的轨迹预测方法,充分考虑了车辆所在交通场景中,障碍物对车辆驾驶轨迹的影响,利用车辆位置信息、车辆运动信息和障碍物运动信息来进行车辆驾驶轨迹预测,所得到的预测轨迹信息准确度高,适用于针对复杂交通场景中的自动驾驶轨迹预测,能够有效保证自动驾驶车辆的安全驾驶。
Description
技术领域
本申请涉及自动驾驶领域,尤其涉及一种轨迹预测方法、装置、设备和存储介质。
背景技术
随着自动驾驶技术的发展,自动驾驶车辆开始得到发展和应用。自动驾驶车辆需要依据预测出的轨迹进行自动驾驶,可知,在自动驾驶车辆驾驶的过程中,需要对轨迹进行预测。
现有技术中,在对自动驾驶车辆进行轨迹预测的时候,可以依据自动驾驶车辆的运动规律对轨迹进行计算和预测,例如采用概率轨迹模型法预测出自动驾驶车辆的轨迹。
然而现有技术中,在自动驾驶车辆的实际驾驶过程中,自动驾驶车辆的周围环境是较为复杂的。只是依据自动驾驶车辆的运动规律对轨迹进行预测,没有充分考虑到周围环境对轨迹的影响,所得到的轨迹是不够准确的;轨迹预测结果的准确性和精准度较低,会进一步影响到自动驾驶车辆的安全驾驶。
发明内容
本申请提供一种轨迹预测方法、装置、设备和存储介质,用以解决针对复杂交通场景中的自动驾驶轨迹预测问题。
第一方面,本申请提供一种轨迹预测方法,包括:
获取车辆在采样时刻的车辆位置信息和车辆运动信息,并确定所述采样时刻下与所述车辆位置信息对应的周围区域,其中,所述周围区域中包括障碍物;
获取所述障碍物在所述采样时刻下的障碍物运动信息;
根据所述车辆位置信息、所述车辆运动信息和所述障碍物运动信息,确定所述车辆的预测轨迹信息。
进一步地,根据所述车辆位置信息、所述车辆运动信息和所述障碍物运动信息,确定所述车辆的预测轨迹信息,包括:
根据所述车辆位置信息、所述车辆运动信息和所述障碍物运动信息,确定所述车辆的驾驶行为;
根据所述车辆位置信息和所述车辆运动信息,确定所述车辆在所述驾驶行为下的轨迹信息;
根据所述轨迹信息,确定所述车辆的预测轨迹信息。
进一步地,根据所述车辆位置信息、所述车辆运动信息和所述障碍物运动信息,确定所述车辆的驾驶行为,包括:
根据所述车辆位置信息、所述车辆运动信息和所述障碍物运动信息,确定第一特征向量;
将所述第一特征向量,输入到不同驾驶行为对应的分类模型中,得到所述第一特征向量属于不同驾驶行为的概率值;
确定概率值最大的驾驶行为,为所述车辆的驾驶行为。
进一步地,所述第一特征向量包括:所述车辆位置信息和所述车辆运动信息;且所述第一特征向量还包括:所述车辆与所述障碍物间的相对位置信息、和/或所述车辆与所述障碍物间的相对运动信息;
所述车辆位置信息为所述车辆到车道中心线的距离值;所述车辆运动消息包括车辆速度值和车辆运动方向。
进一步地,根据所述车辆位置信息和所述车辆运动信息,确定所述车辆在所述驾驶行为下的轨迹信息,包括:
将所述车辆位置信息和所述车辆运动信息,构成第二特征向量;
根据所述第二特征向量,确定所述轨迹信息。
进一步地,所述轨迹信息为一个位置点,根据所述第二特征向量,确定所述轨迹信息,包括:
将所述第二特征向量,输入到预设的与所述驾驶行为对应的混合高斯模型中,得到所述车辆在所述驾驶行为下的位置区域,其中,所述位置区域中包括多个位置点,每一个位置点对应一个轨迹概率值;
确定轨迹概率值最大的位置点,为所述轨迹信息。
进一步地,所述第二特征向量包括:所述车辆位置信息和所述车辆运动信息;
所述车辆位置信息为所述车辆到车道中心线的距离值;所述车辆运动消息包括车辆速度值和车辆运动方向。
进一步地,根据所述轨迹信息,确定所述车辆的预测轨迹信息,包括:
将所述轨迹信息所表征的位置点,作为起始位置;
选取预设障碍物轨迹中以所述起始位置为起点的轨迹段,为所述预测轨迹信息。
进一步地,所述驾驶行为是以下任意一种:
左变道前期行为、左变道中期行为、左变道后期行为、直行行为、右变道前期行为、右变道中期行为、右变道后期行为。
第二方面,本申请提供一种轨迹预测装置,包括:
第一获取单元,用于获取车辆在采样时刻的车辆位置信息和车辆运动信息,并确定所述采样时刻下与所述车辆位置信息对应的周围区域,其中,所述周围区域中包括障碍物;
第二获取单元,用于获取所述障碍物在所述采样时刻下的障碍物运动信息;
确定单元,用于根据所述车辆位置信息、所述车辆运动信息和所述障碍物运动信息,确定所述车辆的预测轨迹信息。
进一步地,确定单元,包括:
第一确定单元,用于根据所述车辆位置信息、所述车辆运动信息和所述障碍物运动信息,确定所述车辆的驾驶行为;
第二确定单元,用于根据所述车辆位置信息和所述车辆运动信息,确定所述车辆在所述驾驶行为下的轨迹信息;
第三确定单元,用于根据所述轨迹信息,确定所述车辆的预测轨迹信息。
进一步地,第一确定单元,包括:
第一确定子单元,用于根据所述车辆位置信息、所述车辆运动信息和所述障碍物运动信息,确定第一特征向量;
第一操作子单元,用于将所述第一特征向量,输入到不同驾驶行为对应的分类模型中,得到所述第一特征向量属于不同驾驶行为的概率值;
第二确定子单元,用于确定概率值最大的驾驶行为,为所述车辆的驾驶行为。
进一步地,所述第一特征向量包括:所述车辆位置信息和所述车辆运动信息;且所述第一特征向量还包括:所述车辆与所述障碍物间的相对位置信息、和/或所述车辆与所述障碍物间的相对运动信息;
所述车辆位置信息为所述车辆到车道中心线的距离值;所述车辆运动消息包括车辆速度值和车辆运动方向。
进一步地,第二确定单元,包括:
第一操作子单元,用于将所述车辆位置信息和所述车辆运动信息,构成第二特征向量;
第一确定子单元,用于根据所述第二特征向量,确定所述轨迹信息。
进一步地,所述轨迹信息为一个位置点,第一确定子单元,包括:
第一操作模块,用于将所述第二特征向量,输入到预设的与所述驾驶行为对应的混合高斯模型中,得到所述车辆在所述驾驶行为下的位置区域,其中,所述位置区域中包括多个位置点,每一个位置点对应一个轨迹概率值;
第一确定模块,用于确定轨迹概率值最大的位置点,为所述轨迹信息。
进一步地,所述第二特征向量包括:所述车辆位置信息和所述车辆运动信息;
所述车辆位置信息为所述车辆到车道中心线的距离值;所述车辆运动消息包括车辆速度值和车辆运动方向。
进一步地,第三确定单元,包括:
第一操作子单元,用于将所述轨迹信息所表征的位置点,作为起始位置;
第二操作子单元,用于选取预设障碍物轨迹中以所述起始位置为起点的轨迹段,为所述预测轨迹信息。
进一步地,所述驾驶行为是以下任意一种:
左变道前期行为、左变道中期行为、左变道后期行为、直行行为、右变道前期行为、右变道中期行为、右变道后期行为。
第三方面,本申请提供了一种轨迹预测设备,包括:处理器、存储器以及计算机程序;
其中,计算机程序存储在存储器中,并被配置为由处理器执行以实现如上任一项的方法。
第四方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行以实现如上任一项的方法。
本申请提供的轨迹预测方法、装置、设备和存储介质,通过获取车辆在采样时刻的车辆位置信息和车辆运动信息,并确定采样时刻下与车辆位置信息对应的周围区域,其中,周围区域中包括障碍物;获取障碍物在采样时刻下的障碍物运动信息;根据车辆位置信息、车辆运动信息和障碍物运动信息,确定车辆的预测轨迹信息。充分考虑了车辆所在的交通场景中,障碍物对车辆驾驶轨迹的影响,利用车辆位置信息、车辆运动信息和障碍物运动信息来进行车辆驾驶轨迹预测,得到的预测轨迹信息准确度高,轨迹预测结果精准度高,适用于针对复杂交通场景的自动驾驶轨迹预测,能够有效保证自动驾驶车辆的安全驾驶。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1为本申请实施例提供的一种轨迹预测方法的流程示意图;
图2为本申请实施例提供的又一种轨迹预测方法的流程示意图;
图3为本申请实施例提供的一种轨迹预测装置的结构示意图;
图4为本申请实施例提供的又一种轨迹预测装置的结构示意图;
图5为本申请实施例提供的一种轨迹预测设备的结构示意图。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本申请具体的应用场景为:现有技术对车辆的驾驶行为预测主要基于车辆的当前状态,基于交通规则进行预测;对车辆的驾驶轨迹预测主要基于车辆运动学模型,根据车辆运动约束条件进行预测,如采用概率轨迹模型法对车辆驾驶轨迹进行预测。然而现有技术中,对车辆的驾驶行为进行预测时,未能充分考虑环境对车辆的驾驶行为的影响,预测精度较低;对车辆的驾驶轨迹进行预测时,由于实际过程中车辆的驾驶轨迹具有很强的不确定性,仅通过简单的运动学模型很难准确预测车辆的驾驶轨迹。同时,现有技术将车辆的驾驶行为预测和驾驶轨迹预测独立分开进行,进一步降低了预测结果的准确性和精度。
本申请提供的轨迹预测方法、装置、设备和存储介质,旨在解决现有技术中的如上技术问题。
首先对本申请所涉及的名词进行解释:
分类模型:数据挖掘中对样本进行分类的工具的统称,包含决策树、逻辑回归、朴素贝叶斯、神经网络等算法。
混合高斯模型:利用多个高斯模型作为一个像素位置的模型,其定义如下:其中wk、μk和σk分别表示混合高斯模型的第k个组分的权重、期望和协方差矩阵。其中,
图1为本申请实施例提供的一种轨迹预测的方法的流程示意图,如图1所示,该方法包括:
步骤101、获取车辆在采样时刻的车辆位置信息和车辆运动信息,并确定采样时刻下与车辆位置信息对应的周围区域,其中,周围区域中包括障碍物。
在本实施例中,具体的,本实施例的执行主体为车辆的控制器、或者安装在车辆上的控制器、或者终端、或者其他可以执行本实施例的装置或设备。本实施例以执行主体为车辆的控制器进行说明(下文中使用“控制器”指代“车辆的控制器”),可以在控制器中设置应用软件,然后,控制器控制应用软件执行本实施例提供的方法。
对于自动驾驶车辆来说,车辆通过控制器自动规划行车路线,并控制车辆到达预定目标。因此,在自动驾驶车辆驾驶的过程中,需要对驾驶轨迹进行预测。
首先,控制器对车辆的驾驶轨迹进行离散,将车辆连续的动态驾驶场景离散成不同时刻的驾驶场景。控制器确定根据某时刻或某些时刻的驾驶场景来进行车辆的轨迹信息预测,上述某时刻或某些时刻即为采样时刻。控制器获取车辆在采样时刻的车辆位置信息和车辆运动信息,车辆位置信息可以是车辆距离车道中心线的距离,也可以是车辆所在位置的经纬度信息;车辆运动信息包括车辆朝向、车辆速度值、车辆的加速度值等。
车辆的位置信息表征着车辆的具***置,控制器以采样时刻下车辆位置信息表征的位置为中心确定周围区域,周围区域中可能包括动态障碍物,和/或静态障碍物。周围区域为设置在车辆上的传感器能够检测到的交通场景,确定采样时刻下与车辆位置信息对应的周围区域,即为确定采样时刻下设置在车辆上的传感器检测到的包含障碍物的区域。
步骤102、获取障碍物在采样时刻下的障碍物运动信息。
在本实施例中,具体的,障碍物可能具有连续的动态运动场景,控制器确定了采样时刻下与车辆位置信息对应的周围区域,因此,对于周围区域内的障碍物来说,其运动信息是一个离散值。障碍物的运动信息可以包括障碍物的位置信息、障碍物的运动朝向、障碍物的速度值、障碍物的运动加速度值等等。控制器可通过设置在车辆上的传感器获取障碍物的运动信息,具体获取过程可采用现有技术实现,本申请不做赘述。
步骤103、根据车辆位置信息、车辆运动信息和障碍物运动信息,确定车辆的预测轨迹信息。
在本实施例中,具体的,控制器利用获取的车辆位置信息、车辆运动信息和障碍物运动信息,完成车辆的驾驶行为的预测;利用获取的车辆位置信息和车辆运动信息,完成车辆的轨迹信息的预测;然后,结合利用预测的车辆的驾驶行为和轨迹信息,来确定车辆的预测轨迹信息。
本实施例通过将车辆的连续动态驾驶场景离散化,得到不同时刻的车辆驾驶场景,选取其中某个时刻或某些时刻作为采样时刻,获取车辆在采样时刻下的车辆位置信息和车辆运动信息,以采样时刻下车辆位置信息表征的位置为中心确定周围区域,周围区域中包括障碍物;获取采样时刻下每个障碍物的运动信息,即获取周围区域中每个障碍物的运动信息;根据车辆位置信息、车辆运动信息和障碍物运动信息确定车辆的预测轨迹信息。在进行车辆的驾驶轨迹预测时,充分考虑了车辆所在的交通场景中,障碍物对车辆驾驶轨迹的影响,利用车辆位置信息、车辆运动信息和障碍物运动信息来进行车辆驾驶轨迹预测,得到的预测轨迹信息准确度高,轨迹预测结果精准度高,适用于针对复杂交通场景的自动驾驶轨迹预测,能够有效保证自动驾驶车辆的安全驾驶。
图2为本申请实施例提供的又一种轨迹预测方法的流程示意图,如图2所示,该方法包括:
步骤201、获取车辆在采样时刻的车辆位置信息和车辆运动信息,并确定采样时刻下与车辆位置信息对应的周围区域,其中,周围区域中包括障碍物。
在本实施例中,具体的,本步骤可以参见图1的步骤101,不再赘述。
举例来说,控制器获取车辆在采样时刻下的车辆位置信息和车辆运动信息(d,v,heading),其中,d表示车辆到车道中心线的距离值、v表示车辆速度值、heading表示车辆的运动方向。确定采样时刻下与车辆位置信息对应的周围区域,周围区域是以车辆位置信息表征的位置为中心,尺寸为200*200米(m)的矩形区域,周围区域中存在3个障碍车辆,3个障碍车辆分别位于车辆的正前方、左前方和右后方。
周围区域的形状包括但不限于方形、圆形、矩形、椭圆形。
步骤202、获取障碍物在采样时刻下的障碍物运动信息。
在本实施例中,具体的,本步骤可以参见图1的步骤101,不再赘述。
举例来说,控制器获取3个障碍车辆在采样时刻下的障碍物运动信息,障碍物运动信息包括障碍物在车辆坐标系中的位置,以及障碍物的速度信息。例如,控制器获取的3个障碍车辆的障碍物运动信息分别为其中,分别表示3个障碍车辆在以车辆为原点,以车辆运动方向为y轴的坐标系中的位置,v1、v2、v3分别表示3个障碍车辆的速度值,heading1、heading2、heading3分别表示3个障碍车辆的运动方向。
步骤203、根据车辆位置信息、车辆运动信息和障碍物运动信息,确定车辆的驾驶行为。
可选的,步骤203具体包括:根据车辆位置信息、车辆运动信息和障碍物运动信息,确定第一特征向量;将第一特征向量,输入到不同驾驶行为对应的分类模型中,得到第一特征向量属于不同驾驶行为的概率值;确定概率值最大的驾驶行为,为车辆的驾驶行为。
第一特征向量包括:车辆位置信息和车辆运动信息;且第一特征向量还包括:车辆与障碍物间的相对位置信息、和/或车辆与障碍物间的相对运动信息。车辆位置信息可以是车辆到车道中心线的距离值,也可以是车辆到车道边沿线的距离;车辆运动消息包括车辆速度值和车辆运动方向。
驾驶行为是以下任意一种:左变道前期行为、左变道中期行为、左变道后期行为、直行行为、右变道前期行为、右变道中期行为、右变道后期行为。
在本实施例中,具体的,控制器根据步骤201获取的车辆在采样时刻下的车辆位置信息和车辆运动信息,和步骤202获取的障碍物在采样时刻下的障碍物运动信息,确定第一特征向量。第一特征向量包括两部分内容,一部分内容是车辆位置信息和车辆运动信息,具体包括车辆位置信息、车辆速度值和车辆运动方向,车辆位置信息可以是车辆到车道中心线的距离值;另一部分内容是车辆与障碍物间的相对位置信息、和/或车辆与障碍物间的相对运动信息,相对运动信息包括相对速度值、相对运动方向、相对加速度值、相对加速度方向等等。控制器将第一特征向量输入到不同驾驶行为对应的分类模型中,得到第一特征向量属于不同驾驶行为的概率值,分类模型包括但不限于随机森林、人工神经网络和支持向量机。分类模型为事先采用大量采样数据训练而成,训练过程可采用现有技术实现,本申请不做赘述。不同驾驶行下的第一特征向量对应不同的概率值,其中最大概率值对应的驾驶行为是车辆最有可能的驾驶行为,确定概率值最大的驾驶行为,为车辆的驾驶行为。
举例来说,控制器确定第一特征向量为[d,v,heading, Δv1,Δv2,Δv3],其中,Δv1,Δv2,Δv3表示车辆与三个障碍车辆的相对速度值大小。将第一特征向量输入到七种驾驶行为分别对应的分类模型中,分别得到第一特征向量属于左变道前期行为、左变道中期行为、左变道后期行为、直行行为、右变道前期行为、右变道中期行为、右变道后期行为时的概率值:0.02、0.02、0.01、0.2、0.45、0.2、0.1,可判断第一特征向量属于右变道前期行为时的概率值最大,因此,确定车辆的驾驶行为是右变道前期行为。
步骤204、根据车辆位置信息和车辆运动信息,确定车辆在驾驶行为下的轨迹信息;
可选的,步骤204具体包括:轨迹信息为一个位置点,将车辆位置信息和车辆运动信息,构成第二特征向量;将第二特征向量,输入到预设的与驾驶行为对应的混合高斯模型中,得到车辆在驾驶行为下的位置区域,其中,位置区域中包括多个位置点,每一个位置点对应一个轨迹概率值;确定轨迹概率值最大的位置点为车辆的轨迹信息。
第二特征向量包括:车辆位置信息和车辆运动信息,车辆位置信息为车辆到车道中心线的距离值,车辆运动消息包括车辆速度值和车辆运动方向。车辆位置信息可以是车辆到车道中心线的距离值,也可以是车辆到车道边沿线的距离;车辆运动消息包括车辆速度值和车辆运动方向。
在本实施例中,具体的,控制器将步骤201获取的车辆在采样时刻下的车辆位置信息和车辆运动信息,构成第二特征向量。根据步骤203确定的车辆的驾驶行为,将第二特征向量输入到驾驶行为对应的混合高斯模型中,得到车辆在该驾驶行为下的位置区域,位置区域包括车辆所有可能的位置点,每个位置点对应一个概率值,确定车辆的轨迹信息为概率值最大时对应的位置点。优选的,第一特征向量对应的采样时刻,与第二特征向量对应的采样时刻可以相同,也可以不同。
举例来说,控制器构建第二特征向量为(d,v,heading),并将第二特征向量输入到右变道前期行为对应的混合高斯模型中,得到车辆在右变道前期行为下的位置区域,位置区域中包括车辆所有可能的位置点,假设位置区域的中心位置对应的概率值最大,则确定车辆的轨迹信息为位置区域的中心位置。车辆的轨迹信息的本质为位置点,当第二特征向量对应的采样时刻为一个时刻时,车辆的轨迹信息为一个位置点;当第二特征向量对应的采样时刻为多个时刻时,车辆的轨迹信息为多个位置点。
步骤205、根据轨迹信息,确定车辆的预测轨迹信息。
可选的,步骤205具体包括:将轨迹信息所表征的位置点,作为起始位置;选取预设障碍物轨迹中以起始位置为起点的轨迹段,为车辆的预测轨迹信息。
在本实施例中,具体的,由于交通场景中障碍物的运动具有较强的约束条件和明显的运动规律,我们可以预先设置好预设障碍物轨迹。例如,为轿车、卡车、摩托车等设置不同的预设车辆轨迹,预设障碍物轨迹的设置可采用现有技术实现,本申请不做赘述。将步骤204确定的车辆的轨迹信息所表征的位置点,作为起始位置,选取预设障碍物轨迹中以起始位置为起点的轨迹段,为车辆的预测轨迹信息。
本实施例通过获取车辆在采样时刻下的车辆位置信息和车辆运动信息,以采样时刻下车辆位置信息表征的位置为中心确定周围区域,获取周围区域中的障碍物在采样时刻下的障碍物运动信息,利用车辆位置信息、车辆运动信息和障碍物运动信息构建第一特征向量,将第一特征向量输入到不同驾驶行为对应的分类模型中,得到第一特征向量属于不同驾驶行为的概率值,并确定概率值最大的驾驶行为,为车辆的驾驶行为。在进行车辆的驾驶行为预测时,充分考虑了交通场景中障碍物对车辆的驾驶轨迹的影响,适用于复杂交通场景中的驾驶行为预测,预测准确度高。还利用车辆位置信息和车辆运动信息构建第二特征向量,将第二特征向量输入到车辆的驾驶行为对应的混合高斯模型中,得到车辆在该驾驶行为下的位置区域,并确定位置区域中概率值最大的位置点为车辆的轨迹信息。在对车辆的轨迹信息进行预测时,将第二特征向量输入到混合高斯模型中,使用多个高斯模型作为车辆的轨迹信息的模型,使得车辆的轨迹信息预测在多模态的复杂交通场景中具有鲁棒性,适用于复杂交通场景中的轨迹信息预测,预测准确度高。同时,车辆的驾驶行为预测和轨迹信息预测结合进行,得到的预测轨迹信息准确度高,轨迹预测结果精准度高,适用于针对复杂交通场景的自动驾驶轨迹预测,能够有效保证自动驾驶车辆的安全驾驶。
图3为本申请实施例提供的一种预测装置的结构示意图,如图3所示,该装置包括:
第一获取单元1,用于获取车辆在采样时刻的车辆位置信息和车辆运动信息,并确定采样时刻下与车辆位置信息对应的周围区域,其中,周围区域中包括障碍物;
第二获取单元2,用于获取障碍物在采样时刻下的障碍物运动信息;
确定单元3,用于根据车辆位置信息、车辆运动信息和障碍物运动信息,确定车辆的预测轨迹信息。
本实施例的轨迹预测装置可以实施本发明实施例提供的轨迹预测方法,其实现原理类似,本处不再赘述。
本实施例通过将车辆的连续动态驾驶场景离散化,得到不同时刻的离散的车辆驾驶场景,获取车辆在采样时刻下的车辆位置信息和车辆运动信息,以采样时刻下车辆位置信息表征的位置为中心确定周围区域,周围区域中包括障碍物;获取采样时刻下每个障碍物的运动信息,即获取周围区域中每个障碍物的运动信息;根据车辆位置信息、车辆运动信息和障碍物运动信息确定车辆的预测轨迹信息。在进行车辆的驾驶轨迹预测时,充分考虑了车辆所在的交通场景中,障碍物对车辆驾驶轨迹的影响,利用车辆位置信息、车辆运动信息和障碍物运动信息来进行车辆驾驶轨迹预测,得到的预测轨迹信息准确度高,轨迹预测结果精准度高,适用于针对复杂交通场景的自动驾驶轨迹预测,能够有效保证自动驾驶车辆的安全驾驶。
图4为本申请实施例提供的又一种轨迹预测装置的结构示意图,在图3所示实施例的基础上,如图4所示,
确定单元3,包括:
第一确定单元31,用于根据车辆位置信息、车辆运动信息和障碍物运动信息,确定车辆的驾驶行为;
第二确定单元32,用于根据车辆位置信息和车辆运动信息,确定车辆在驾驶行为下的轨迹信息;
第三确定单元33,用于根据轨迹信息,确定车辆的预测轨迹信息。
第一确定单元31,包括:
第一确定子单元311,用于根据车辆位置信息、车辆运动信息和障碍物运动信息,确定第一特征向量;
第一操作子单元312,用于将第一特征向量,输入到不同驾驶行为对应的分类模型中,得到第一特征向量属于不同驾驶行为的概率值;
第二确定子单元313,用于确定概率值最大的驾驶行为,为车辆的驾驶行为。
第一特征向量包括:车辆位置信息和车辆运动信息;且第一特征向量还包括:车辆与障碍物间的相对位置信息、和/或车辆与障碍物间的相对运动信息;
车辆位置信息为车辆到车道中心线的距离值;车辆运动消息包括车辆速度值和车辆运动方向。
第二确定单元32,包括:
第一操作子单元321,用于将车辆位置信息和车辆运动信息,构成第二特征向量;
第一确定子单元322,用于根据第二特征向量,确定轨迹信息。
轨迹信息为一个位置点,第一确定子单元322,包括:
第一操作模块3221,用于将第二特征向量,输入到预设的与驾驶行为对应的混合高斯模型中,得到车辆在驾驶行为下的位置区域,其中,位置区域中包括多个位置点,每一个位置点对应一个轨迹概率值;
第一确定模块3222,用于确定轨迹概率值最大的位置点,为轨迹信息。
第二特征向量包括:车辆位置信息和车辆运动信息;车辆位置信息为车辆到车道中心线的距离值;车辆运动消息包括车辆速度值和车辆运动方向。
第三确定单元33,包括:
第一操作子单元331,用于将轨迹信息所表征的位置点,作为起始位置;
第二操作子单元332,用于选取预设障碍物轨迹中以起始位置为起点的轨迹段,为预测轨迹信息。
驾驶行为是以下任意一种:
左变道前期行为、左变道中期行为、左变道后期行为、直行行为、右变道前期行为、右变道中期行为、右变道后期行为。
本实施例通过获取车辆在采样时刻下的车辆位置信息和车辆运动信息,以采样时刻下车辆位置信息表征的位置为中心确定周围区域,获取周围区域中的障碍物在采样时刻下的障碍物运动信息,利用车辆位置信息、车辆运动信息和障碍物运动信息构建第一特征向量,将第一特征向量输入到不同驾驶行为对应的分类模型中,得到第一特征向量属于不同驾驶行为的概率值,并确定概率值最大的驾驶行为,为车辆的驾驶行为。在进行车辆的驾驶行为预测时,充分考虑了交通场景中障碍物对车辆的驾驶轨迹的影响,适用于复杂交通场景中的驾驶行为预测,预测准确度高。还利用车辆位置信息和车辆运动信息构建第二特征向量,将第二特征向量输入到车辆的驾驶行为对应的混合高斯模型中,得到车辆在该驾驶行为下的位置区域,并确定位置区域中概率值最大的位置点为车辆的轨迹信息。在对车辆的轨迹信息进行预测时,将第二特征向量输入到混合高斯模型中,使用多个高斯模型作为车辆的轨迹信息的模型,使得车辆的轨迹信息预测在多模态的复杂交通场景中具有鲁棒性,适用于复杂交通场景中的轨迹信息预测,预测准确度高。同时,车辆的驾驶行为预测和轨迹信息预测结合进行,得到的预测轨迹信息准确度高,轨迹预测结果精准度高,适用于针对复杂交通场景的自动驾驶轨迹预测,能够有效保证自动驾驶车辆的安全驾驶。
图5为本申请实施例提供的一种轨迹预测设备的结构示意图,如图5所示,本申请实施例提供了一种轨迹预测设备,可以用于执行图1-图2所示实施例中轨迹预测设备动作或步骤,具体包括:处理器501,存储器502和通信接口503。
存储器502,用于存储计算机程序。
处理器501,用于执行存储器502中存储的计算机程序,以实现图1-图4所示实施例中轨迹预测设备的动作,不再赘述。
可选的,轨迹预测设备还可以包括总线504。其中,处理器501、存储器502以及通信接口503可以通过总线504相互连接;总线504可以是外设部件互连标准(PeripheralComponent Interconnect,简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture,简称EISA)总线等。上述总线504可以分为地址总线、数据总线和控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
在本申请实施例中,上述各实施例之间可以相互参考和借鉴,相同或相似的步骤以及名词均不再一一赘述。
或者,以上各个模块的部分或全部也可以通过集成电路的形式内嵌于该轨迹预测设备的某一个芯片上来实现。且它们可以单独实现,也可以集成在一起。即以上这些模块可以被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(Digital Singnal Processor,简称DSP),或,一个或者多个现场可编程门阵列(FieldProgrammable Gate Array,简称FPGA)
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行以实现上述处理方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、轨迹预测设备或数据中心通过有线(例如,同轴电缆、光纤、数字用户线(digitalsubscriber line,DSL))或无线(例如,红外、无线、微波等)方式向另一个网站站点、计算机、轨迹预测设备或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的轨迹预测设备、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如,固态硬盘(solid state disk,SSD))等。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本申请实施例描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
Claims (12)
1.一种轨迹预测方法,其特征在于,包括:
获取车辆在采样时刻的车辆位置信息和车辆运动信息,并确定所述采样时刻下与所述车辆位置信息对应的周围区域,其中,所述周围区域中包括障碍物;
获取所述障碍物在所述采样时刻下的障碍物运动信息;
根据所述车辆位置信息、所述车辆运动信息和所述障碍物运动信息,确定所述车辆的预测轨迹信息。
2.根据权利要求1所述的方法,其特征在于,根据所述车辆位置信息、所述车辆运动信息和所述障碍物运动信息,确定所述车辆的预测轨迹信息,包括:
根据所述车辆位置信息、所述车辆运动信息和所述障碍物运动信息,确定所述车辆的驾驶行为;
根据所述车辆位置信息和所述车辆运动信息,确定所述车辆在所述驾驶行为下的轨迹信息;
根据所述轨迹信息,确定所述车辆的预测轨迹信息。
3.根据权利要求2所述的方法,其特征在于,根据所述车辆位置信息、所述车辆运动信息和所述障碍物运动信息,确定所述车辆的驾驶行为,包括:
根据所述车辆位置信息、所述车辆运动信息和所述障碍物运动信息,确定第一特征向量;
将所述第一特征向量,输入到不同驾驶行为对应的分类模型中,得到所述第一特征向量属于不同驾驶行为的概率值;
确定概率值最大的驾驶行为,为所述车辆的驾驶行为。
4.根据权利要求3所述的方法,其特征在于,所述第一特征向量包括:所述车辆位置信息和所述车辆运动信息;且所述第一特征向量还包括:所述车辆与所述障碍物间的相对位置信息、和/或所述车辆与所述障碍物间的相对运动信息;
所述车辆位置信息为所述车辆到车道中心线的距离值;所述车辆运动消息包括车辆速度值和车辆运动方向。
5.根据权利要求2所述的方法,其特征在于,根据所述车辆位置信息和所述车辆运动信息,确定所述车辆在所述驾驶行为下的轨迹信息,包括:
将所述车辆位置信息和所述车辆运动信息,构成第二特征向量;
根据所述第二特征向量,确定所述轨迹信息。
6.根据权利要求5所述的方法,其特征在于,所述轨迹信息为一个位置点,根据所述第二特征向量,确定所述轨迹信息,包括:
将所述第二特征向量,输入到预设的与所述驾驶行为对应的混合高斯模型中,得到所述车辆在所述驾驶行为下的位置区域,其中,所述位置区域中包括多个位置点,每一个位置点对应一个轨迹概率值;
确定轨迹概率值最大的位置点,为所述轨迹信息。
7.根据权利要求5所述的方法,其特征在于,所述第二特征向量包括:所述车辆位置信息和所述车辆运动信息;
所述车辆位置信息为所述车辆到车道中心线的距离值;所述车辆运动消息包括车辆速度值和车辆运动方向。
8.根据权利要求2所述的方法,其特征在于,根据所述轨迹信息,确定所述车辆的预测轨迹信息,包括:
将所述轨迹信息所表征的位置点,作为起始位置;
选取预设障碍物轨迹中以所述起始位置为起点的轨迹段,为所述预测轨迹信息。
9.根据权利要求2-8所述的方法,其特征在于,所述驾驶行为是以下任意一种:
左变道前期行为、左变道中期行为、左变道后期行为、直行行为、右变道前期行为、右变道中期行为、右变道后期行为。
10.一种轨迹预测装置,其特征在于,包括:
第一获取单元,用于获取车辆在采样时刻的车辆位置信息和车辆运动信息,并确定所述采样时刻下与所述车辆位置信息对应的周围区域,其中,所述周围区域中包括障碍物;
第二获取单元,用于获取所述障碍物在所述采样时刻下的障碍物运动信息;
确定单元,用于根据所述车辆位置信息、所述车辆运动信息和所述障碍物运动信息,确定所述车辆的预测轨迹信息。
11.一种轨迹预测设备,其特征在于,包括:处理器、存储器以及计算机程序;
其中,计算机程序存储在存储器中,并被配置为由处理器执行以实现如权利要求1-9任一项的方法。
12.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,计算机程序被处理器执行以实现如权利要求1-9任一项的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910201344.1A CN110020748B (zh) | 2019-03-18 | 2019-03-18 | 轨迹预测方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910201344.1A CN110020748B (zh) | 2019-03-18 | 2019-03-18 | 轨迹预测方法、装置、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110020748A true CN110020748A (zh) | 2019-07-16 |
CN110020748B CN110020748B (zh) | 2022-02-15 |
Family
ID=67189577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910201344.1A Active CN110020748B (zh) | 2019-03-18 | 2019-03-18 | 轨迹预测方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110020748B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110400490A (zh) * | 2019-08-08 | 2019-11-01 | 腾讯科技(深圳)有限公司 | 轨迹预测方法和装置 |
CN110908375A (zh) * | 2019-11-14 | 2020-03-24 | 北京三快在线科技有限公司 | 获取变道决策信息的方法、装置、存储介质和车辆 |
CN111009153A (zh) * | 2019-12-04 | 2020-04-14 | 珠海深圳清华大学研究院创新中心 | 一种轨迹预测模型的训练方法、装置和设备 |
CN111027195A (zh) * | 2019-12-03 | 2020-04-17 | 北京百度网讯科技有限公司 | 仿真场景的生成方法、装置及设备 |
CN111284485A (zh) * | 2019-10-10 | 2020-06-16 | 中国第一汽车股份有限公司 | 一种障碍车辆驾驶行为预测方法、装置、车辆及存储介质 |
CN111929715A (zh) * | 2020-06-28 | 2020-11-13 | 杭州云起智慧校园科技有限公司 | 一种用于校徽的定位方法、装置、设备及存储介质 |
CN112612277A (zh) * | 2020-12-23 | 2021-04-06 | 禾多科技(北京)有限公司 | 车辆轨迹规划方法、装置、设备和计算机可读介质 |
WO2021062596A1 (en) * | 2019-09-30 | 2021-04-08 | Beijing Voyager Technology Co., Ltd. | Systems and methods for predicting a vehicle trajectory |
CN112839854A (zh) * | 2021-01-15 | 2021-05-25 | 华为技术有限公司 | 一种信息处理方法及相关装置 |
CN113537258A (zh) * | 2020-04-16 | 2021-10-22 | 北京京东乾石科技有限公司 | 行动轨迹预测方法、装置、计算机可读介质及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106950956A (zh) * | 2017-03-22 | 2017-07-14 | 合肥工业大学 | 融合运动学模型和行为认知模型的行车轨迹预测*** |
CN107422730A (zh) * | 2017-06-09 | 2017-12-01 | 武汉市众向科技有限公司 | 基于视觉导引的agv运输***及其驾驶控制方法 |
CN108072382A (zh) * | 2016-11-11 | 2018-05-25 | 现代自动车株式会社 | 用于自主驾驶车辆的路径确定装置及路径确定方法 |
CN108241866A (zh) * | 2016-12-26 | 2018-07-03 | ***通信有限公司研究院 | 一种对驾驶行为进行引导的方法、装置和车辆 |
CN108550279A (zh) * | 2018-04-03 | 2018-09-18 | 同济大学 | 基于机器学习的车辆驾驶行为预测方法 |
-
2019
- 2019-03-18 CN CN201910201344.1A patent/CN110020748B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108072382A (zh) * | 2016-11-11 | 2018-05-25 | 现代自动车株式会社 | 用于自主驾驶车辆的路径确定装置及路径确定方法 |
CN108241866A (zh) * | 2016-12-26 | 2018-07-03 | ***通信有限公司研究院 | 一种对驾驶行为进行引导的方法、装置和车辆 |
CN106950956A (zh) * | 2017-03-22 | 2017-07-14 | 合肥工业大学 | 融合运动学模型和行为认知模型的行车轨迹预测*** |
CN107422730A (zh) * | 2017-06-09 | 2017-12-01 | 武汉市众向科技有限公司 | 基于视觉导引的agv运输***及其驾驶控制方法 |
CN108550279A (zh) * | 2018-04-03 | 2018-09-18 | 同济大学 | 基于机器学习的车辆驾驶行为预测方法 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110400490A (zh) * | 2019-08-08 | 2019-11-01 | 腾讯科技(深圳)有限公司 | 轨迹预测方法和装置 |
WO2021062596A1 (en) * | 2019-09-30 | 2021-04-08 | Beijing Voyager Technology Co., Ltd. | Systems and methods for predicting a vehicle trajectory |
CN111284485B (zh) * | 2019-10-10 | 2021-06-18 | 中国第一汽车股份有限公司 | 一种障碍车辆驾驶行为预测方法、装置、车辆及存储介质 |
CN111284485A (zh) * | 2019-10-10 | 2020-06-16 | 中国第一汽车股份有限公司 | 一种障碍车辆驾驶行为预测方法、装置、车辆及存储介质 |
CN110908375A (zh) * | 2019-11-14 | 2020-03-24 | 北京三快在线科技有限公司 | 获取变道决策信息的方法、装置、存储介质和车辆 |
CN111027195A (zh) * | 2019-12-03 | 2020-04-17 | 北京百度网讯科技有限公司 | 仿真场景的生成方法、装置及设备 |
CN111027195B (zh) * | 2019-12-03 | 2023-02-28 | 阿波罗智能技术(北京)有限公司 | 仿真场景的生成方法、装置及设备 |
CN111009153A (zh) * | 2019-12-04 | 2020-04-14 | 珠海深圳清华大学研究院创新中心 | 一种轨迹预测模型的训练方法、装置和设备 |
CN111009153B (zh) * | 2019-12-04 | 2021-10-15 | 珠海深圳清华大学研究院创新中心 | 一种轨迹预测模型的训练方法、装置和设备 |
CN113537258A (zh) * | 2020-04-16 | 2021-10-22 | 北京京东乾石科技有限公司 | 行动轨迹预测方法、装置、计算机可读介质及电子设备 |
CN113537258B (zh) * | 2020-04-16 | 2024-04-05 | 北京京东乾石科技有限公司 | 行动轨迹预测方法、装置、计算机可读介质及电子设备 |
CN111929715A (zh) * | 2020-06-28 | 2020-11-13 | 杭州云起智慧校园科技有限公司 | 一种用于校徽的定位方法、装置、设备及存储介质 |
CN112612277A (zh) * | 2020-12-23 | 2021-04-06 | 禾多科技(北京)有限公司 | 车辆轨迹规划方法、装置、设备和计算机可读介质 |
CN112612277B (zh) * | 2020-12-23 | 2023-03-07 | 禾多科技(北京)有限公司 | 车辆轨迹规划方法、装置、设备和计算机可读介质 |
CN112839854A (zh) * | 2021-01-15 | 2021-05-25 | 华为技术有限公司 | 一种信息处理方法及相关装置 |
WO2022151369A1 (zh) * | 2021-01-15 | 2022-07-21 | 华为技术有限公司 | 一种信息处理方法及相关装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110020748B (zh) | 2022-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110020748A (zh) | 轨迹预测方法、装置、设备和存储介质 | |
CN114080634B (zh) | 使用锚定轨迹的代理轨迹预测 | |
US11726477B2 (en) | Methods and systems for trajectory forecasting with recurrent neural networks using inertial behavioral rollout | |
JP6875330B2 (ja) | ビークルの自律動作能力の構成 | |
JP7367183B2 (ja) | 占有予測ニューラルネットワーク | |
US11256983B2 (en) | Neural networks for vehicle trajectory planning | |
JP7203224B2 (ja) | 開放された車両ドアを検出するための分類器のトレーニング | |
WO2021222375A1 (en) | Constraining vehicle operation based on uncertainty in perception and/or prediction | |
JP2018173946A (ja) | 自動運転車両に用いる畳み込みニューラルネットワークモデルのコンボリューション/デコンボリューション層とバッチ正規化層のオフライン組み合わせ | |
WO2021113244A1 (en) | Simulation architecture for on-vehicle testing and validation | |
CN109934164A (zh) | 基于轨迹安全度的数据处理方法和装置 | |
US20210109546A1 (en) | Predictive landing for drone and moving vehicle | |
CN113052321B (zh) | 从短期意图和长期结果生成轨迹标记 | |
CN107678418A (zh) | 自适应巡航测试方法及装置 | |
US12037025B2 (en) | Systems and methods for motion forecasting and planning for autonomous vehicles | |
KR102589587B1 (ko) | 자율 주행 차량용 동적 모델 평가 패키지 | |
US20230037071A1 (en) | Method and system for training an autonomous vehicle motion planning model | |
CN116194351A (zh) | 使用目标位置的代理轨迹预测 | |
US12030523B2 (en) | Agent trajectory planning using neural networks | |
CN115158309A (zh) | 使用上下文敏感融合的因素轨迹预测 | |
CN114446046A (zh) | 一种基于lstm模型的弱势交通参与者轨迹预测方法 | |
CN116301022A (zh) | 基于深度强化学习的无人机集群任务规划方法和装置 | |
CN110377982A (zh) | 自动驾驶性能的测试方法及***、电子设备、存储介质 | |
CN114580702A (zh) | 多模态多代理轨迹预测 | |
US12049221B2 (en) | Multi-modal multi-agent trajectory prediction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |