CN112597822A - 车辆的轨迹确定方法、装置、电子设备及计算机存储介质 - Google Patents

车辆的轨迹确定方法、装置、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN112597822A
CN112597822A CN202011438299.0A CN202011438299A CN112597822A CN 112597822 A CN112597822 A CN 112597822A CN 202011438299 A CN202011438299 A CN 202011438299A CN 112597822 A CN112597822 A CN 112597822A
Authority
CN
China
Prior art keywords
track
vehicle
target
road
historical traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011438299.0A
Other languages
English (en)
Other versions
CN112597822B (zh
Inventor
殷艳坤
杜孝平
乌尼日其其格
段华旭
褚文博
邓亚辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd
Original Assignee
Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd filed Critical Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd
Priority to CN202011438299.0A priority Critical patent/CN112597822B/zh
Publication of CN112597822A publication Critical patent/CN112597822A/zh
Application granted granted Critical
Publication of CN112597822B publication Critical patent/CN112597822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供了一种车辆的轨迹确定方法、装置、电子设备及计算机存储介质。该车辆的轨迹确定方法,包括:获取目标车辆的位置特征和运动特征;基于位置特征和运动特征,从各个预设的道路模式中匹配出目标道路模式;其中,道路模式是通过对路侧摄像机获取的历史车流数据进行预处理,基于预处理后的历史车流数据进行聚类而得到的模式;基于目标道路模式的轨迹末端计算区域约束点;基于区域约束点,生成候选轨迹集合;依据目标车辆的运动模型,从候选轨迹集合中确定目标轨迹。根据本申请实施例,能够更加准确地确定车辆的轨迹。

Description

车辆的轨迹确定方法、装置、电子设备及计算机存储介质
技术领域
本申请属于智能交通技术领域,尤其涉及一种车辆的轨迹确定方法、装置、电子设备及计算机存储介质。
背景技术
目前单车智能已实现了大部分交通场景,但是其存在对周围环境的感知范围有限的自身局限性。自动驾驶领域轨迹预测大部分算法是基于车端传感器实时获取车端状态信息,预测未来车辆行驶轨迹。上述算法的实施大都依赖车端传感器的实时车端状态数据,而且自动驾驶车辆对道路的全局感知范围有限,对于由于遮挡等原因对周围环境的感知错误更易发生。
因此,如何更加准确地确定车辆的轨迹是本领域技术人员亟需解决的技术问题。
发明内容
本申请实施例提供一种车辆的轨迹确定方法、装置、电子设备及计算机存储介质,能够更加准确地确定车辆的轨迹。
第一方面,本申请实施例提供一种车辆的轨迹确定方法,包括:
获取目标车辆的位置特征和运动特征;
基于位置特征和运动特征,从各个预设的道路模式中匹配出目标道路模式;其中,道路模式是通过对路侧摄像机获取的历史车流数据进行预处理,基于预处理后的历史车流数据进行聚类而得到的模式;
基于目标道路模式的轨迹末端计算区域约束点;
基于区域约束点,生成候选轨迹集合;
依据目标车辆的运动模型,从候选轨迹集合中确定目标轨迹。
可选的,在基于位置特征和运动特征,从各个预设的道路模式中匹配出目标道路模式之前,还包括:
获取各个路侧摄像机感知范围内的历史视频流数据;
基于历史视频流数据,利用检测追踪算法得到历史车流数据;
对历史车流数据进行预处理,得到预处理后的历史车流数据;
利用预处理后的历史车流数据进行聚类,得到各个道路模式。
可选的,对历史车流数据进行预处理,得到预处理后的历史车流数据,包括:
对历史车流数据进行无效短轨迹过滤、轨迹点时间归一化,得到预处理后的历史车流数据。
可选的,利用预处理后的历史车流数据进行聚类,得到各个道路模式,包括:
基于预处理后的历史车流数据,计算轨迹相似度矩阵;
依据轨迹相似度矩阵,计算每条轨迹的局部密度值和簇间距离;
基于每条轨迹的局部密度值和簇间距离进行划分,得到各个道路模式。
可选的,基于每条轨迹的局部密度值和簇间距离进行划分,得到各个道路模式,包括:
根据局部密度值和簇间距离的乘积值,获得轨迹权重字典;
根据轨迹权重字典和获取的道路环境信息进行划分,得到各个道路模式。
可选的,基于位置特征和运动特征,从各个预设的道路模式中匹配出目标道路模式,包括:
基于位置特征和运动特征,分别计算目标车辆与各个道路模式的主轨迹匹配度;
依据各个主轨迹匹配度,确定目标道路模式。
可选的,依据目标车辆的运动模型,从候选轨迹集合中确定目标轨迹,包括:
计算目标车辆分别在第一方向和第二方向上的平均分速度和速度变化率;其中,第一方向垂直于第二方向;
基于平均分速度和速度变化率,从候选轨迹集合中确定目标轨迹。
第二方面,本申请实施例提供了一种车辆的轨迹确定装置,包括:
第一获取模块,用于获取目标车辆的位置特征和运动特征;
匹配模块,用于基于位置特征和运动特征,从各个预设的道路模式中匹配出目标道路模式;其中,道路模式是通过对路侧摄像机获取的历史车流数据进行预处理,基于预处理后的历史车流数据进行聚类而得到的模式;
计算模块,用于基于目标道路模式的轨迹末端计算区域约束点;
生成模块,用于基于区域约束点,生成候选轨迹集合;
确定模块,用于依据目标车辆的运动模型,从候选轨迹集合中确定目标轨迹。
可选的,该装置还包括:
第二获取模块,用于获取各个路侧摄像机感知范围内的历史视频流数据;
第三获取模块,用于基于历史视频流数据,利用检测追踪算法得到历史车流数据;
预处理模块,用于对历史车流数据进行预处理,得到预处理后的历史车流数据;
聚类模块,用于利用预处理后的历史车流数据进行聚类,得到各个道路模式。
可选的,预处理模块,包括:
预处理单元,用于对历史车流数据进行无效短轨迹过滤、轨迹点时间归一化,得到预处理后的历史车流数据。
可选的,聚类模块,包括:
第一计算单元,用于基于预处理后的历史车流数据,计算轨迹相似度矩阵;
第二计算单元,用于依据轨迹相似度矩阵,计算每条轨迹的局部密度值和簇间距离;
划分单元,用于基于每条轨迹的局部密度值和簇间距离进行划分,得到各个道路模式。
可选的,划分单元,包括:
获取子单元,用于根据局部密度值和簇间距离的乘积值,获得轨迹权重字典;
划分子单元,用于根据轨迹权重字典和获取的道路环境信息进行划分,得到各个道路模式。
可选的,匹配模块,包括:
第三计算单元,用于基于位置特征和运动特征,分别计算目标车辆与各个道路模式的主轨迹匹配度;
第一确定单元,用于依据各个主轨迹匹配度,确定目标道路模式。
可选的,确定模块,包括:
第四计算单元,用于计算目标车辆分别在第一方向和第二方向上的平均分速度和速度变化率;其中,第一方向垂直于第二方向;
第二确定单元,用于基于平均分速度和速度变化率,从候选轨迹集合中确定目标轨迹。
第三方面,本申请实施例提供了一种电子设备,电子设备包括:处理器以及存储有计算机程序指令的存储器;
处理器执行计算机程序指令时实现如第一方面所示的车辆的轨迹确定方法。
第四方面,本申请实施例提供了一种计算机存储介质,计算机存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现如第一方面所示的车辆的轨迹确定方法。
本申请实施例的车辆的轨迹确定方法、装置、电子设备及计算机存储介质,能够更加准确地确定车辆的轨迹。该车辆的轨迹确定方法,获取目标车辆的位置特征和运动特征;基于位置特征和运动特征,从各个预设的道路模式中匹配出目标道路模式;其中,道路模式是通过对路侧摄像机获取的历史车流数据进行预处理,基于预处理后的历史车流数据进行聚类而得到的模式;基于目标道路模式的轨迹末端计算区域约束点;基于区域约束点,生成候选轨迹集合;依据目标车辆的运动模型,从候选轨迹集合中确定目标轨迹。可见,该方法中利用路侧摄像机获取历史车流数据,路侧摄像机具备范围广,背景固定等优势,也即具备比单车传感器更开阔的视角,感知范围更大,感知能力能够持续感知到静态环境信息,对感知到的噪声信息不敏感等优势。所以,本申请能够将位置定位和利用历史车流数据深度挖掘出的道路模式结合,提前预知当前感知范围内车辆未来轨迹及行驶去向,掌控全局车辆的行驶轨迹,尤其是在交叉路口,可提前预警车辆存在的潜在碰撞风险,帮助减少交通事故的发生,并且可在小范围内对车流进行优化,减少交通拥堵情况。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的车辆的轨迹确定方法的流程示意图;
图2是本申请另一个实施例提供的车辆的轨迹确定方法的流程示意图;
图3是本申请一个实施例提供的局部密度-簇间距离可视化示意图;
图4是本申请一个实施例提供的局部密度-簇间距乘积值可视化示意图;
图5是本申请一个实施例提供的主轨迹匹配度计算流程图;
图6是本申请一个实施例提供的单模式-多模式示意图;
图7是本申请一个实施例提供的轨迹预测过程说明示意图;
图8是本申请一个实施例提供的轨迹预测实例示意图;
图9是本申请一个实施例提供的车辆的轨迹确定装置的结构示意图;
图10是本申请一个实施例提供的电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例,为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本申请进行进一步详细描述。应理解,此处所描述的具体实施例仅意在解释本申请,而不是限定本申请。对于本领域技术人员来说,本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
由背景技术可知,自动驾驶领域轨迹预测大部分算法是基于车端传感器实时获取车端状态信息,预测未来车辆行驶轨迹。上述算法的实施大都依赖车端传感器的实时车端状态数据,而且自动驾驶车辆的对道路的全局感知范围有限,对于由于遮挡等原因对周围环境的感知错误更易发生。
为了解决现有技术问题,本申请实施例提供了一种车辆的轨迹确定方法、装置、电子设备及计算机存储介质。下面首先对本申请实施例所提供的车辆的轨迹确定方法进行介绍。
图1示出了本申请一个实施例提供的车辆的轨迹确定方法的流程示意图。如图1所示,该车辆的轨迹确定方法可以包括:
S101、获取目标车辆的位置特征和运动特征。
S102、基于位置特征和运动特征,从各个预设的道路模式中匹配出目标道路模式;其中,道路模式是通过对路侧摄像机获取的历史车流数据进行预处理,基于预处理后的历史车流数据进行聚类而得到的模式。
在一个实施例中,基于位置特征和运动特征,从各个预设的道路模式中匹配出目标道路模式,包括:基于位置特征和运动特征,分别计算目标车辆与各个道路模式的主轨迹匹配度;依据各个主轨迹匹配度,确定目标道路模式。
在一个实施例中,在基于位置特征和运动特征,从各个预设的道路模式中匹配出目标道路模式之前,还包括:
获取各个路侧摄像机感知范围内的历史视频流数据;
基于历史视频流数据,利用检测追踪算法得到历史车流数据;
对历史车流数据进行预处理,得到预处理后的历史车流数据;
利用预处理后的历史车流数据进行聚类,得到各个道路模式。
在一个实施例中,对历史车流数据进行预处理,得到预处理后的历史车流数据,包括:
对历史车流数据进行无效短轨迹过滤、轨迹点时间归一化,得到预处理后的历史车流数据。
在一个实施例中,利用预处理后的历史车流数据进行聚类,得到各个道路模式,包括:
基于预处理后的历史车流数据,计算轨迹相似度矩阵;
依据轨迹相似度矩阵,计算每条轨迹的局部密度值和簇间距离;
基于每条轨迹的局部密度值和簇间距离进行划分,得到各个道路模式。
在一个实施例中,基于每条轨迹的局部密度值和簇间距离进行划分,得到各个道路模式,包括:
根据局部密度值和簇间距离的乘积值,获得轨迹权重字典;
根据轨迹权重字典和获取的道路环境信息进行划分,得到各个道路模式。
S103、基于目标道路模式的轨迹末端计算区域约束点。
S104、基于区域约束点,生成候选轨迹集合。
S105、依据目标车辆的运动模型,从候选轨迹集合中确定目标轨迹。
在一个实施例中,依据目标车辆的运动模型,从候选轨迹集合中确定目标轨迹,包括:
计算目标车辆分别在第一方向和第二方向上的平均分速度和速度变化率;其中,第一方向垂直于第二方向;
基于平均分速度和速度变化率,从候选轨迹集合中确定目标轨迹。
该车辆的轨迹确定方法,获取目标车辆的位置特征和运动特征;基于位置特征和运动特征,从各个预设的道路模式中匹配出目标道路模式;其中,道路模式是通过对路侧摄像机获取的历史车流数据进行预处理,基于预处理后的历史车流数据进行聚类而得到的模式;基于目标道路模式的轨迹末端计算区域约束点;基于区域约束点,生成候选轨迹集合;依据目标车辆的运动模型,从候选轨迹集合中确定目标轨迹。可见,该方法中利用路侧摄像机获取历史车流数据,路侧摄像机具备范围广,背景固定等优势,也即具备比单车传感器更开阔的视角,感知范围更大,感知能力能够持续感知到静态环境信息,对感知到的噪声信息不敏感等优势。所以,本申请能够将位置定位和利用历史车流数据深度挖掘出的道路模式结合,提前预知当前感知范围内车辆未来轨迹及行驶去向,掌控全局车辆的行驶轨迹,尤其是在交叉路口,可提前预警车辆存在的潜在碰撞风险,帮助减少交通事故的发生,并且可在小范围内对车流进行优化,减少交通拥堵情况。
下面以一个具体场景实施例对上述技术方案进行说明。
本实施例提供的方法主要可分为三个部分:1)首先利用检测追踪算法在路侧摄像机拍摄的历史视频流收集历史车流信息,并进行车流轨迹预处理;2)基于快速聚类算法将车流轨迹聚类提取特征,通过位置定位判断车辆未来行驶模式;3)基于车辆未来行驶模式下的轨迹簇计算出未来车辆末端的可能行驶区域,通过该区域约束调整车辆的行驶轨迹。
该方法的总体流程图具体可参见图2,基于图2下面就基于历史车流的道路模式提取问题和最优轨迹预测问题进行展开说明。首先,对基于历史车流的道路模式提取问题进行展开说明。
为了获取道路模式及对应的轨迹簇,本实施例需进行轨迹获取、轨迹过滤和历史车流的主轨迹选择三个过程。
1.轨迹获取:
1)获取当前路侧摄像机感知范围内历史视频流数据,选择天气晴朗、清晰度高的视频流;
2)基于选择的视频流数据,利用检测追踪算法得到经过该路侧摄像机的所有车辆轨迹,并将车辆轨迹保存。
2.轨迹预处理:
1)过滤无效短轨迹。无效的短轨迹在本实施例中主要包含过短轨迹和停止轨迹,由于目标检测或追踪的误差,可能会出现轨迹点较少的轨迹,本实施例中最小轨迹点阈值设置为100,该最小轨迹点阈值根据轨迹总数量可进行调整。停止轨迹是指有些车在路边停车等待的非行驶车辆轨迹,此类轨迹对车辆行驶模式提供的信息较少,还有可能成为噪声轨迹,本实施例中通过以轨迹首尾点距离为参考依据,将距离小于60的轨迹删除。
2)轨迹点时间归一化。车辆行驶轨迹不存在统一的时间标准,因此,为了轨迹做差值处理,需要先将时间对齐,以Traj轨迹为例,将该轨迹时间对齐处理:
t′i=ti-t1
即当前时间减去轨迹第一个轨迹点时间,将所有轨迹归一化从0时刻开始计算。经过轨迹筛选后的轨迹集合定义为
Figure BDA0002829755270000091
Tn表示轨迹数量,
Figure BDA0002829755270000092
其中Pn表示轨迹点数量,表示该轨迹其中一位置点信息,Pk={tid,cxk,cyk,t′k},tid表示车辆编号,tk表示在轨迹中的时间顺序。
3.历史车流的主轨迹选择:
本实施例将历史车流信息聚类,聚类的中心轨迹成为主轨迹,同一聚类簇的其他轨迹称为次轨迹。
1)计算轨迹相似度矩阵。轨迹相似度矩阵为非实时更新数据,在计算时可单纯考虑准确性和适用性,不需要考虑实时性,因此,本实施例选择了最长公共子串算法。
假设轨迹Ti和Tj长度分别为
Figure BDA0002829755270000093
Figure BDA0002829755270000094
那么轨迹最长公共子序列长度为:
Figure BDA0002829755270000095
其中,γ是轨迹点的相似阈值,
Figure BDA0002829755270000096
轨迹之间相似度为:
Figure BDA0002829755270000097
得到轨迹相关度矩阵:SMat=(Si,j),i,j∈[1,Tn]
2)依据轨迹相关度矩阵SMat,计算每条轨迹的局部密度值,计算公式如下:
Figure BDA0002829755270000098
其中函数
Figure BDA0002829755270000101
Sc>0且为整数,为截断距离,该值由用户指定。ρi表示第i条轨迹与其他轨迹小于Sc距离的轨迹数。
3)依据轨迹相关度矩阵,计算每条轨迹的簇间距离,计算公式如下:
Figure BDA0002829755270000102
其中α为自定义项,本实施例将其设置为0.1。图3是本申请一个实施例提供的局部密度-簇间距可视化示意图,ρ与δ分别表示图3的横纵坐标。
4)计算每个轨迹的ρi·δi值,进行降序排序后,如图4所示,圆点表示主轨迹,五角星表示次轨迹,结合当前摄像机下的道路复杂度,选择前C个对应的轨迹,做为感知范围内的道路模式,主轨迹表示为
Figure BDA0002829755270000103
C表示轨迹簇数。
5)将其他轨迹根据相关度划分到对应的道路模式,得到道路模式及对应模式下的次轨迹。
以上已经对基于历史车流的道路模式提取问题进行展开说明,下面对最优轨迹预测问题进行展开说明。
1.依据位置特征和运动特征,计算目标车辆与C个道路模式下主轨迹的匹配程度。
计算当前车辆轨迹与历史车辆行驶主模式距离匹配度,及对应的点索引值,遍历主轨迹
Figure BDA0002829755270000104
计算目标车辆w与每个主轨迹距离,按值由小到大排序表示为P={PosDisw_k},k∈[1,C],车辆w与每个主模式距离小于阈值时,表明车辆有该方向的行驶意图,计算流程如参见图5。
通过距离匹配度可能会有多个行驶模式,如图6中的单模式和多模式。假设过滤得到Z,Z≤C个主模式,为了获取当前车辆最优道路模式,基于目标车辆w最新n个轨迹点和Z个主轨迹的对应的轨迹点,计算目标车辆与主轨迹k的x轴平均速度
Figure BDA0002829755270000105
Figure BDA0002829755270000106
和加速度
Figure BDA0002829755270000107
y轴平均速度
Figure BDA0002829755270000108
Figure BDA0002829755270000109
和加速度
Figure BDA00028297552700001010
得到基于运动状态的相关度:
Figure BDA0002829755270000111
该值由小到大排序表示为M={MoveDisw_k},k∈[1,Z],选择最小值对应的主轨迹作为目标车辆当前最优行驶模式。
2.最优行驶模式下车辆轨迹预测。
1)最优行驶模式的轨迹末端计算区域约束点。基于车辆的行驶模式及对应的轨迹簇准备数据集,从轨迹簇抽取特征表示为F={f1,f2,f3,f4},标签为label,f1表示轨迹驶出路口时与车道中心线距离,f2表示速度,f3表示加速度,f4表示方位角,label表示轨迹经过交叉路口驶入道路时与车道中心线距离。
选择线性回归算法研究label与特征F之间的关系,求解公式label=WT·F+w0中参数W和w0,当求取参数后,抽取目标车辆特征输入公式,得到预测值
Figure BDA0002829755270000112
即为图7中“×”所示的区域约束点。
2)基于区域约束点,生成候选轨迹集合。区域约束点是基于当前车辆行驶信息结合历史车流得到的预测轨迹末端最可能经过的地方,如图7所示,“◇”表示当前车辆历史轨迹,“○”表示真实轨迹,黑色实线是通过参数ξ和η调整得到的候选轨迹集合,η表示与baseline线最远点距离,ξ表示最远点在baseline投影后与初始点距离。
3)依据运动模型,选择最优轨迹。
计算目标车辆当前速度在x轴、y轴的平均分速度和速度变化率α,车辆根据匀变速公式预测车辆轨迹,如图7虚线所示。
Figure BDA0002829755270000113
Figure BDA0002829755270000114
运动模型预测k个轨迹点与候选轨迹之间的平均最小距离,选择对应最小距离的候选轨迹作为当前的车辆预测轨迹。
本实施例充分利用路侧感知设备优势,基于历史车流提取道路模式及对应轨迹簇,对当前目标车辆进行行驶模式预测,再结合行驶模式和对应轨迹簇的候选终点区域,通过候选终点区域约束车辆速度、加速度,对车辆达到较优的拟合状态,从而达到了车辆轨迹预测的最终目的。
如图8所示,轨迹②的得到行驶模式后,基于该模式下历史车流预测得到约束区域点“×”,生成的候选轨迹集,通过运动模型预测轨迹选择候选轨迹集中最优轨迹。
如图9所示,本申请一个实施例还提供一种车辆的轨迹确定装置,该车辆的轨迹确定装置,包括:
第一获取模块901,用于获取目标车辆的位置特征和运动特征;
匹配模块902,用于基于位置特征和运动特征,从各个预设的道路模式中匹配出目标道路模式;其中,道路模式是通过对路侧摄像机获取的历史车流数据进行预处理,基于预处理后的历史车流数据进行聚类而得到的模式;
计算模块903,用于基于目标道路模式的轨迹末端计算区域约束点;
生成模块904,用于基于区域约束点,生成候选轨迹集合;
确定模块905,用于依据目标车辆的运动模型,从候选轨迹集合中确定目标轨迹。
在一个实施例中,该车辆的轨迹确定装置还包括:
第二获取模块,用于获取各个路侧摄像机感知范围内的历史视频流数据;
第三获取模块,用于基于历史视频流数据,利用检测追踪算法得到历史车流数据;
预处理模块,用于对历史车流数据进行预处理,得到预处理后的历史车流数据;
聚类模块,用于利用预处理后的历史车流数据进行聚类,得到各个道路模式。
在一个实施例中,预处理模块,包括:
预处理单元,用于对历史车流数据进行无效短轨迹过滤、轨迹点时间归一化,得到预处理后的历史车流数据。
在一个实施例中,聚类模块,包括:
第一计算单元,用于基于预处理后的历史车流数据,计算轨迹相似度矩阵;
第二计算单元,用于依据轨迹相似度矩阵,计算每条轨迹的局部密度值和簇间距离;
划分单元,用于基于每条轨迹的局部密度值和簇间距离进行划分,得到各个道路模式。
在一个实施例中,划分单元,包括:
获取子单元,用于根据局部密度值和簇间距离的乘积值,获得轨迹权重字典;
划分子单元,用于根据轨迹权重字典和获取的道路环境信息进行划分,得到各个道路模式。
在一个实施例中,匹配模块902,包括:
第三计算单元,用于基于位置特征和运动特征,分别计算目标车辆与各个道路模式的主轨迹匹配度;
第一确定单元,用于依据各个主轨迹匹配度,确定目标道路模式。
在一个实施例中,确定模块905,包括:
第四计算单元,用于计算目标车辆分别在第一方向和第二方向上的平均分速度和速度变化率;其中,第一方向垂直于第二方向;
第二确定单元,用于基于平均分速度和速度变化率,从候选轨迹集合中确定目标轨迹。
图9所示装置中的各个模块/单元具有实现图1中各个步骤的功能,并能达到其相应的技术效果,为简洁描述,在此不再赘述。
图10示出了本申请实施例提供的电子设备的结构示意图。
电子设备可以包括处理器1001以及存储有计算机程序指令的存储器1002。
具体地,上述处理器1001可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器1002可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器1002可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器1002可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器1002可在电子设备的内部或外部。在特定实施例中,存储器1002可以是非易失性固态存储器。
在一个实例中,存储器1002可以是只读存储器(Read Only Memory,ROM)。在一个实例中,该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器1001通过读取并执行存储器1002中存储的计算机程序指令,以实现上述实施例中的任意一种车辆的轨迹确定方法。
在一个示例中,电子设备还可包括通信接口1003和总线1010。其中,如图10所示,处理器1001、存储器1002、通信接口1003通过总线1010连接并完成相互间的通信。
通信接口1003,主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线1010包括硬件、软件或两者,将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、***组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线1010可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
另外,本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种车辆的轨迹确定方法。
需要明确的是,本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本申请的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本申请的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能模块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本申请中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或***。但是,本申请不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解,流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器,以产生一种机器,使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解,框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合,也可以由执行指定的功能或动作的专用硬件来实现,或可由专用硬件和计算机指令的组合来实现。
以上所述,仅为本申请的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的***、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种车辆的轨迹确定方法,其特征在于,包括:
获取目标车辆的位置特征和运动特征;
基于所述位置特征和所述运动特征,从各个预设的道路模式中匹配出目标道路模式;其中,所述道路模式是通过对路侧摄像机获取的历史车流数据进行预处理,基于预处理后的历史车流数据进行聚类而得到的模式;
基于所述目标道路模式的轨迹末端计算区域约束点;
基于所述区域约束点,生成候选轨迹集合;
依据所述目标车辆的运动模型,从所述候选轨迹集合中确定目标轨迹。
2.根据权利要求1所述的车辆的轨迹确定方法,其特征在于,在所述基于所述位置特征和所述运动特征,从各个预设的道路模式中匹配出目标道路模式之前,还包括:
获取各个所述路侧摄像机感知范围内的历史视频流数据;
基于所述历史视频流数据,利用检测追踪算法得到所述历史车流数据;
对所述历史车流数据进行预处理,得到所述预处理后的历史车流数据;
利用所述预处理后的历史车流数据进行聚类,得到各个所述道路模式。
3.根据权利要求2所述的车辆的轨迹确定方法,其特征在于,所述对所述历史车流数据进行预处理,得到所述预处理后的历史车流数据,包括:
对所述历史车流数据进行无效短轨迹过滤、轨迹点时间归一化,得到所述预处理后的历史车流数据。
4.根据权利要求2所述的车辆的轨迹确定方法,其特征在于,所述利用所述预处理后的历史车流数据进行聚类,得到各个所述道路模式,包括:
基于所述预处理后的历史车流数据,计算轨迹相似度矩阵;
依据所述轨迹相似度矩阵,计算每条轨迹的局部密度值和簇间距离;
基于每条轨迹的所述局部密度值和所述簇间距离进行划分,得到各个所述道路模式。
5.根据权利要求4所述的车辆的轨迹确定方法,其特征在于,所述基于每条轨迹的所述局部密度值和所述簇间距离进行划分,得到各个所述道路模式,包括:
根据所述局部密度值和所述簇间距离的乘积值,获得轨迹权重字典;
根据所述轨迹权重字典和获取的道路环境信息进行划分,得到各个所述道路模式。
6.根据权利要求1所述的车辆的轨迹确定方法,其特征在于,所述基于所述位置特征和所述运动特征,从各个预设的道路模式中匹配出目标道路模式,包括:
基于所述位置特征和所述运动特征,分别计算所述目标车辆与各个所述道路模式的主轨迹匹配度;
依据各个所述主轨迹匹配度,确定所述目标道路模式。
7.根据权利要求1所述的车辆的轨迹确定方法,其特征在于,所述依据所述目标车辆的运动模型,从所述候选轨迹集合中确定目标轨迹,包括:
计算所述目标车辆分别在第一方向和第二方向上的平均分速度和速度变化率;其中,所述第一方向垂直于所述第二方向;
基于所述平均分速度和所述速度变化率,从所述候选轨迹集合中确定所述目标轨迹。
8.一种车辆的轨迹确定装置,其特征在于,包括:
第一获取模块,用于获取目标车辆的位置特征和运动特征;
匹配模块,用于基于所述位置特征和所述运动特征,从各个预设的道路模式中匹配出目标道路模式;其中,所述道路模式是通过对路侧摄像机获取的历史车流数据进行预处理,基于预处理后的历史车流数据进行聚类而得到的模式;
计算模块,用于基于所述目标道路模式的轨迹末端计算区域约束点;
生成模块,用于基于所述区域约束点,生成候选轨迹集合;
确定模块,用于依据所述目标车辆的运动模型,从所述候选轨迹集合中确定目标轨迹。
9.一种电子设备,其特征在于,所述电子设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如权利要求1-7任意一项所述的车辆的轨迹确定方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的车辆的轨迹确定方法。
CN202011438299.0A 2020-12-11 2020-12-11 车辆的轨迹确定方法、装置、电子设备及计算机存储介质 Active CN112597822B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011438299.0A CN112597822B (zh) 2020-12-11 2020-12-11 车辆的轨迹确定方法、装置、电子设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011438299.0A CN112597822B (zh) 2020-12-11 2020-12-11 车辆的轨迹确定方法、装置、电子设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN112597822A true CN112597822A (zh) 2021-04-02
CN112597822B CN112597822B (zh) 2023-08-15

Family

ID=75192342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011438299.0A Active CN112597822B (zh) 2020-12-11 2020-12-11 车辆的轨迹确定方法、装置、电子设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN112597822B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157848A (zh) * 2021-05-06 2021-07-23 清华大学 航路确定方法及装置、电子设备和存储介质
CN113221677A (zh) * 2021-04-26 2021-08-06 阿波罗智联(北京)科技有限公司 一种轨迹异常检测方法、装置、路侧设备和云控平台
CN113252062A (zh) * 2021-06-01 2021-08-13 智道网联科技(北京)有限公司 生成实时地图的方法、装置及电子设备、存储介质
CN113593219A (zh) * 2021-06-30 2021-11-02 北京百度网讯科技有限公司 车流的统计方法、装置、电子设备及存储介质
CN113763430A (zh) * 2021-09-13 2021-12-07 智道网联科技(北京)有限公司 检测移动目标的方法、装置和计算机可读存储介质
CN113836358A (zh) * 2021-09-14 2021-12-24 北京百度网讯科技有限公司 数据处理方法、装置、电子设备及存储介质
CN113879333A (zh) * 2021-09-30 2022-01-04 深圳市商汤科技有限公司 轨迹预测方法、装置、电子设备及存储介质
CN114092911A (zh) * 2021-11-23 2022-02-25 北京百度网讯科技有限公司 一种道路识别方法、装置、电子设备以及存储介质
CN114355839A (zh) * 2022-03-18 2022-04-15 浙江西图盟数字科技有限公司 一种运动轨迹处理方法、装置、设备及存储介质
CN114973684A (zh) * 2022-07-25 2022-08-30 深圳联和智慧科技有限公司 一种建筑工地定点监控方法及***
CN115238024A (zh) * 2022-09-26 2022-10-25 交通运输部科学研究院 高速公路设施定位方法、装置、电子设备及存储介质
CN115423393A (zh) * 2022-08-12 2022-12-02 北京邮电大学 一种基于lstm的动态自适应调度周期的订单调度方法及装置
CN115907159A (zh) * 2022-11-22 2023-04-04 应急管理部国家减灾中心 一种相似路径台风的确定方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5266948A (en) * 1990-11-28 1993-11-30 Honda Giken Kogyo Kabushiki Kaisha Apparatus and method for displaying a travel position
US20050228584A1 (en) * 2002-03-29 2005-10-13 Shinya Adachi Map matching method, map matching device, database for shape matching, and shape matching device
US20080004761A1 (en) * 2006-06-30 2008-01-03 Denso Corporation Control information storage apparatus and program for same
JP2010190721A (ja) * 2009-02-18 2010-09-02 Aisin Aw Co Ltd 車載ナビゲーション装置及び車両方位変更箇所判定プログラム
US20110238294A1 (en) * 2010-03-23 2011-09-29 Denso Corporation Vehicular navigation device
CN111402580A (zh) * 2020-03-04 2020-07-10 杭州海康威视***技术有限公司 车辆行驶轨迹预测方法、装置及电子设备
US20200265710A1 (en) * 2019-02-20 2020-08-20 Baidu Online Network Technology (Beijing) Co., Ltd. Travelling track prediction method and device for vehicle

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5266948A (en) * 1990-11-28 1993-11-30 Honda Giken Kogyo Kabushiki Kaisha Apparatus and method for displaying a travel position
US20050228584A1 (en) * 2002-03-29 2005-10-13 Shinya Adachi Map matching method, map matching device, database for shape matching, and shape matching device
US20080004761A1 (en) * 2006-06-30 2008-01-03 Denso Corporation Control information storage apparatus and program for same
JP2010190721A (ja) * 2009-02-18 2010-09-02 Aisin Aw Co Ltd 車載ナビゲーション装置及び車両方位変更箇所判定プログラム
US20110238294A1 (en) * 2010-03-23 2011-09-29 Denso Corporation Vehicular navigation device
US20200265710A1 (en) * 2019-02-20 2020-08-20 Baidu Online Network Technology (Beijing) Co., Ltd. Travelling track prediction method and device for vehicle
CN111402580A (zh) * 2020-03-04 2020-07-10 杭州海康威视***技术有限公司 车辆行驶轨迹预测方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙棣华;王春丽;: "基于模糊模式识别的车辆定位地图匹配算法", 计算机工程与应用, no. 25, pages 231 - 234 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221677A (zh) * 2021-04-26 2021-08-06 阿波罗智联(北京)科技有限公司 一种轨迹异常检测方法、装置、路侧设备和云控平台
CN113221677B (zh) * 2021-04-26 2024-04-16 阿波罗智联(北京)科技有限公司 一种轨迹异常检测方法、装置、路侧设备和云控平台
CN113157848A (zh) * 2021-05-06 2021-07-23 清华大学 航路确定方法及装置、电子设备和存储介质
CN113252062A (zh) * 2021-06-01 2021-08-13 智道网联科技(北京)有限公司 生成实时地图的方法、装置及电子设备、存储介质
CN113593219B (zh) * 2021-06-30 2023-02-28 北京百度网讯科技有限公司 车流的统计方法、装置、电子设备及存储介质
CN113593219A (zh) * 2021-06-30 2021-11-02 北京百度网讯科技有限公司 车流的统计方法、装置、电子设备及存储介质
CN113763430A (zh) * 2021-09-13 2021-12-07 智道网联科技(北京)有限公司 检测移动目标的方法、装置和计算机可读存储介质
CN113836358A (zh) * 2021-09-14 2021-12-24 北京百度网讯科技有限公司 数据处理方法、装置、电子设备及存储介质
CN113879333A (zh) * 2021-09-30 2022-01-04 深圳市商汤科技有限公司 轨迹预测方法、装置、电子设备及存储介质
CN113879333B (zh) * 2021-09-30 2023-08-22 深圳市商汤科技有限公司 轨迹预测方法、装置、电子设备及存储介质
CN114092911B (zh) * 2021-11-23 2023-08-01 北京百度网讯科技有限公司 一种道路识别方法、装置、电子设备以及存储介质
CN114092911A (zh) * 2021-11-23 2022-02-25 北京百度网讯科技有限公司 一种道路识别方法、装置、电子设备以及存储介质
CN114355839A (zh) * 2022-03-18 2022-04-15 浙江西图盟数字科技有限公司 一种运动轨迹处理方法、装置、设备及存储介质
CN114355839B (zh) * 2022-03-18 2022-07-29 浙江西图盟数字科技有限公司 一种运动轨迹处理方法、装置、设备及存储介质
CN114973684A (zh) * 2022-07-25 2022-08-30 深圳联和智慧科技有限公司 一种建筑工地定点监控方法及***
CN114973684B (zh) * 2022-07-25 2022-10-14 深圳联和智慧科技有限公司 一种建筑工地定点监控方法及***
CN115423393B (zh) * 2022-08-12 2023-04-18 北京邮电大学 一种基于lstm的动态自适应调度周期的订单调度方法及装置
CN115423393A (zh) * 2022-08-12 2022-12-02 北京邮电大学 一种基于lstm的动态自适应调度周期的订单调度方法及装置
CN115238024B (zh) * 2022-09-26 2022-12-20 交通运输部科学研究院 高速公路设施定位方法、装置、电子设备及存储介质
CN115238024A (zh) * 2022-09-26 2022-10-25 交通运输部科学研究院 高速公路设施定位方法、装置、电子设备及存储介质
CN115907159A (zh) * 2022-11-22 2023-04-04 应急管理部国家减灾中心 一种相似路径台风的确定方法、装置、设备及介质
CN115907159B (zh) * 2022-11-22 2023-08-29 应急管理部国家减灾中心 一种相似路径台风的确定方法、装置、设备及介质

Also Published As

Publication number Publication date
CN112597822B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN112597822A (zh) 车辆的轨迹确定方法、装置、电子设备及计算机存储介质
CN106980113B (zh) 物体检测装置和物体检测方法
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
US7298394B2 (en) Method and apparatus for processing pictures of mobile object
CN112665590A (zh) 车辆的轨迹确定方法、装置、电子设备及计算机存储介质
CN111524350B (zh) 车路协同异常行驶状况检测方法、***、终端设备及介质
CN112465868B (zh) 一种目标检测跟踪方法、装置、存储介质及电子装置
JP4420512B2 (ja) 移動物体間動作分類方法及び装置並びに画像認識装置
CN110705484B (zh) 利用行车轨迹识别连续变更车道违法行为的方法
CN115618932A (zh) 基于网联自动驾驶的交通事件预测方法、装置及电子设备
CN108520528B (zh) 基于改进差分阈值和位移匹配模型的移动车辆跟踪方法
CN114694060B (zh) 一种道路抛洒物检测方法、电子设备及存储介质
CN112395976A (zh) 一种摩托车载人识别方法、装置、设备及存储介质
JP5573780B2 (ja) 進路評価装置及び進路評価方法
CN114822044B (zh) 一种基于隧道的行车安全预警方法及设备
CN111488417A (zh) 信息处理方法、***、装置、设备及计算机存储介质
CN112572471B (zh) 自动驾驶方法、装置、电子设备及计算机存储介质
CN113799715B (zh) 车辆异常原因的确定方法、装置、通信设备及存储介质
CN117523914A (zh) 碰撞预警方法、装置、设备、可读存储介质及程序产品
JP7172491B2 (ja) 交通流予測装置、交通流予測方法及びプログラム
Englund Aware and Intelligent Infrastructure for Action Intention Recognition of Cars and Bicycles.
CN116894225B (zh) 驾驶行为异常分析方法及其装置、设备、介质
CN116630765B (zh) 一种基于多元信息的单车融合感知***
Tseng et al. Turn prediction for special intersections and its case study
Shaqib et al. Vehicle Speed Detection System Utilizing YOLOv8: Enhancing Road Safety and Traffic Management for Metropolitan Areas

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant