CN115797578A - 一种高精地图的处理方法和装置 - Google Patents
一种高精地图的处理方法和装置 Download PDFInfo
- Publication number
- CN115797578A CN115797578A CN202211475093.4A CN202211475093A CN115797578A CN 115797578 A CN115797578 A CN 115797578A CN 202211475093 A CN202211475093 A CN 202211475093A CN 115797578 A CN115797578 A CN 115797578A
- Authority
- CN
- China
- Prior art keywords
- map
- information
- vehicle
- detection frame
- precision map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明实施例涉及一种高精地图的处理方法和装置,所述方法包括:在第一车辆行驶过程中对行驶道路前方进行环视图拍摄生成第一环视图;对第一环视图进行目标检测生成多个第一目标检测框;根据所有第一目标检测框确认前方道路场景是否为道路路口场景;若确认为道路路口场景,则分选出地图信息标定板检测框和定位标定板检测框;根据地图信息标定板检测框进行标准高精地图获取得到第一标准高精地图;根据所有定位标定板检测框和第一标准高精地图进行自车地图坐标确认生成第一车辆地图坐标;根据第一车辆地图坐标和所有第一目标检测框对第一标准高精地图进行路口目标融合生成第一路口高精度图。本发明有助提高车辆自动驾驶***在道路路口的响应速度。
Description
技术领域
本发明涉及数据处理技术领域,特别涉及一种高精地图的处理方法和装置。
背景技术
自动驾驶车辆在行驶过程中需要及时更新车辆所在位置的高精地图,尤其在复杂交通道路路口位置。现阶段常规的高精地图更新方式是通过车辆定位模块获得自车经纬度参数,并基于自车经纬度参数查询高精地图数据库获得对应的高精地图。这种处理方式存在一些问题:1)定位模块无法定位或定位误差较大时,会出现高精地图无法及时更新或更新地图发生偏差的问题;2)在车辆处于道路路口时获得的高精地图只是一个不带实时障碍物目标信息的标准高精地图。这些问题都会影响车辆自动驾驶***在道路路口的响应速度。
发明内容
本发明的目的,就是针对现有技术的缺陷,提供一种高精地图的处理方法、装置、电子设备及计算机可读存储介质;预先在各个道路路口的各条驶入道路路侧安装一个地图信息标定板和至少两个定位标定板;并在车辆行驶过程中通过对道路前方环视图进行目标检测获得所有障碍物目标的实时信息;并通过对所有障碍物目标的类型进行识别确认是否即将达到道路路口;并在确认即将达到道路路口时对环视图中地图信息标定板和定位标定板上的二维码信息进行识别获得对应的标准高精地图和定位标定板标识;并基于定位标定板标识在标准高精地图上确认对应的定位标定板位置;并基于定位标定板位置与自车的相对位移关系在标准高精地图上融入实时的自车语义信息,并基于自车与各个障碍物目标的相对位移关系在标准高精地图上融入实时的障碍物目标语义信息,由此就能得到融合了自车和障碍物目标实时信息的实景路口高精地图。通过本发明,可以解决由定位模块故障造成的高精地图获取不及时的问题,可以给出一个融合了实景交通状况的路口高精地图,有助于提高车辆自动驾驶***在道路路口的响应速度。
为实现上述目的,本发明实施例第一方面提供了一种高精地图的处理方法,所述方法包括:
在第一车辆行驶过程中对行驶道路前方进行环视图拍摄生成对应的第一环视图;
对所述第一环视图进行目标检测处理生成多个第一目标检测框;
根据所有所述第一目标检测框对前方道路场景是否为道路路口场景进行确认;若确认前方道路场景为道路路口场景,则从得到的多个所述第一目标检测框中分选出地图信息标定板检测框和定位标定板检测框;
根据所述地图信息标定板检测框进行标准高精地图获取处理生成对应的第一标准高精地图;
根据所有所述定位标定板检测框和所述第一标准高精地图进行自车地图坐标确认处理生成对应的第一车辆地图坐标;
根据所述第一车辆地图坐标和所有所述第一目标检测框对所述第一标准高精地图进行路口目标融合处理生成对应的第一路口高精度图。
优选的,在所述在第一车辆行驶过程中对行驶道路前方进行环视图拍摄生成对应的第一环视图之前,所述方法还包括:
预先在各个道路路口的各条驶入道路路侧安装一个地图信息标定板和至少两个定位标定板;所述地图信息标定板和所述定位标定板的形状默认为矩形;所述地图信息标定板上预先绘制一个带有标定板类型信息、地图信息标定板标识信息和标准高精地图信息的二维码;所述定位标定板上预先绘制一个带有所述标定板类型信息和定位标定板标识信息的二维码;所述标定板类型信息包括地图信息标定板类型和定位标定板类型。
优选的,所述对所述第一环视图进行目标检测处理生成多个第一目标检测框,具体包括:
基于预设的图像目标检测模型对所述第一环视图进行图像目标检测处理得到多个所述第一目标检测框;所述第一目标检测框包括第一检测框中心点坐标、第一检测框朝向角、第一检测框尺寸和第一检测框目标类型;所述第一检测框目标类型包括车辆类型、动物类型、人类型、交通障碍物类型、建筑物类型、标定板类型和红绿灯类型;所述第一检测框中心点坐标的坐标系为自车坐标系。
优选的,所述根据所有所述第一目标检测框对前方道路场景是否为道路路口场景进行确认,具体包括:
对得到的所有所述第一目标检测框的所述第一检测框目标类型中是否存在红绿灯类型进行确认;若确认存在,则确认前方道路场景为道路路口场景;若确认不存在,则确认前方道路场景为非道路路口场景。
优选的,所述从得到的多个所述第一目标检测框中分选出地图信息标定板检测框和定位标定板检测框,具体包括:
将所述第一检测框目标类型为标定板类型的所述第一目标检测框记为对应的第一标定板检测框;
将所述第一环视图上与各个所述第一标定板检测框对应的子图像提取出来作为对应的第一标定板图像;
对各个第一标定板图像进行二维码信息识别处理得到对应的第一二维码信息;所述第一二维码信息包括标定板类型信息;所述标定板类型信息包括地图信息标定板类型和定位标定板类型;所述标定板类型信息为地图信息标定板类型时,所述第一二维码信息由所述标定板类型信息、地图信息标定板标识信息和标准高精地图信息组成;所述标定板类型信息为定位标定板类型时,所述第一二维码信息由所述标定板类型信息和定位标定板标识信息组成;
将所述标定板类型信息为地图信息标定板类型的所述第一标定板图像对应的所述第一目标检测框作为对应的所述地图信息标定板检测框;并将所述标定板类型信息为定位标定板类型的所述第一标定板图像对应的所述第一目标检测框作为对应的所述定位标定板检测框。
优选的,所述根据所述地图信息标定板检测框进行标准高精地图获取处理生成对应的第一标准高精地图,具体包括:
将所述地图信息标定板检测框对应的所述第一二维码信息的所述标准高精地图信息作为对应的所述第一标准高精地图;所述第一标准高精地图的地图坐标系为道路路口坐标系;所述第一标准高精地图为一个语义地图,所述第一标准高精地图的语义信息包括道路语义信息、道路边缘语义信息、车道语义信息、车道中心线语义信息、车道边线语义信息、红绿灯语义信息、定位标志板语义信息和人行道语义信息;所述定位标志板语义信息包括定位标志板语义类型、定位标志板标识和定位标志板坐标。
优选的,所述根据所有所述定位标定板检测框和所述第一标准高精地图进行自车地图坐标确认处理生成对应的第一车辆地图坐标,具体包括:
根据各个所述定位标定板检测框的所述第一检测框中心点坐标计算出当前定位标定板检测框与自车间的直线间距作为对应的第一间距d;
将各个所述定位标定板检测框对应的所述第一二维码信息的所述定位标定板标识信息作为对应的第二标识;并将所述第一标准高精地图上与各个所述第二标识匹配的所述定位标志板标识对应的所述定位标志板语义信息的所述定位标志板坐标提取出来作为对应的第一定位坐标;
在所述第一标准高精地图上,以各个所述定位标定板检测框的所述第一定位坐标为圆心、以对应的所述第一间距d为半径做圆形绘制处理得到对应的第一圆形;并将所有所述第一圆形的共同相交点作为对应的第一交点;并对所述第一交点的数量进行统计生成对应的第一交点数量;所述第一交点数量大于或等于1;
当所述第一交点数量为1时,以所述第一交点在所述第一标准高精地图上的地图坐标作为对应的所述第一车辆地图坐标输出;
当所述第一交点数量大于1时,对各个所述第一交点进行遍历;遍历时,将当前遍历的所述第一交点作为对应的当前交点;并以所述当前交点为自车坐标系原点构建对应的自车坐标系记为对应的当前自车坐标系;并对各个所述定位标定板检测框的所述第一定位坐标进行从道路路口坐标系到当前自车坐标系的坐标转换处理得到对应的第二定位坐标;并对各个所述定位标定板检测框的所述第一检测框中心点坐标与所述第二定位坐标的坐标偏差进行计算生成对应的第一坐标偏差;并对得到的所有所述定位标定板检测框对应的所述第一坐标偏差是否都低于预设的最小坐标偏差阈值进行识别;若否,则转至下一个所述第一交点继续遍历直到最后一个所述第一交点遍历结束为止;若是,则停止遍历并将所述当前交点在所述第一标准高精地图上的地图坐标作为对应的所述第一车辆地图坐标输出。
优选的,所述根据所述第一车辆地图坐标和所有所述第一目标检测框对所述第一标准高精地图进行路口目标融合处理生成对应的第一路口高精度图,具体包括:
以所述第一车辆地图坐标为自车坐标系原点构建对应的自车坐标系记为对应的当前自车坐标系;并对所述当前自车坐标系与所述第一标准高精地图的道路路口坐标系的坐标转换关系进行确认得到对应的第一转换关系;并根据所述第一转换关系对各个所述第一目标检测框的所述第一检测框中心点坐标和所述第一检测框朝向角进行修正生成对应的第二检测框中心点坐标和第二检测框朝向角;
在所述第一标准高精地图上,基于所述第一车辆的车辆朝向、形状尺寸和所述第一车辆地图坐标进行自车语义信息添加处理;并基于各个所述第一目标检测框的所述第二检测框中心点坐标、所述第二检测框朝向角、所述第一检测框尺寸和所述第一检测框目标类型进行障碍物目标语义信息添加处理;
将完成自车和所有障碍物目标语义信息添加处理的所述第一标准高精地图作为对应的所述第一路口高精度图输出。
本发明实施例第二方面提供了一种用于实现上述第一方面所述的高精地图的处理方法的装置,所述装置包括:环视图处理模块、目标检测处理模块、标准高精地图处理模块和高精地图融合处理模块;
所述环视图处理模块用于在第一车辆行驶过程中对行驶道路前方进行环视图拍摄生成对应的第一环视图;
所述目标检测处理模块用于对所述第一环视图进行目标检测处理生成多个第一目标检测框;
所述标准高精地图处理模块用于根据所有所述第一目标检测框对前方道路场景是否为道路路口场景进行确认;若确认前方道路场景为道路路口场景,则从得到的多个所述第一目标检测框中分选出地图信息标定板检测框和定位标定板检测框;并根据所述地图信息标定板检测框进行标准高精地图获取处理生成对应的第一标准高精地图;
所述高精地图融合处理模块用于根据所有所述定位标定板检测框和所述第一标准高精地图进行自车地图坐标确认处理生成对应的第一车辆地图坐标;并根据所述第一车辆地图坐标和所有所述第一目标检测框对所述第一标准高精地图进行路口目标融合处理生成对应的第一路口高精度图。
本发明实施例第三方面提供了一种电子设备,包括:存储器、处理器和收发器;
所述处理器用于与所述存储器耦合,读取并执行所述存储器中的指令,以实现上述第一方面所述的方法步骤;
所述收发器与所述处理器耦合,由所述处理器控制所述收发器进行消息收发。
本发明实施例第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,当所述计算机指令被计算机执行时,使得所述计算机执行上述第一方面所述的方法的指令。
本发明实施例提供了一种高精地图的处理方法、装置、电子设备及计算机可读存储介质;预先在各个道路路口的各条驶入道路路侧安装一个地图信息标定板和至少两个定位标定板;并在车辆行驶过程中通过对道路前方环视图进行目标检测获得所有障碍物目标的实时信息;并通过对所有障碍物目标的类型进行识别确认是否即将达到道路路口;并在确认即将达到道路路口时对环视图中地图信息标定板和定位标定板上的二维码信息进行识别获得对应的标准高精地图和定位标定板标识;并基于定位标定板标识在标准高精地图上确认对应的定位标定板位置;并基于定位标定板位置与自车的相对位移关系在标准高精地图上融入实时的自车语义信息,并基于自车与各个障碍物目标的相对位移关系在标准高精地图上融入实时的障碍物目标语义信息,由此就能得到融合了自车和障碍物目标实时信息的实景路口高精地图。通过本发明,解决了由定位模块故障造成的高精地图获取不及时的问题,给出了一个融合实景交通状况的路口高精地图,提高了车辆自动驾驶***在道路路口的响应速度。
附图说明
图1为本发明实施例一提供的一种高精地图的处理方法示意图;
图2为本发明实施例二提供的一种高精地图的处理装置的模块结构图;
图3为本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明实施例一提供一种高精地图的处理方法,如图1为本发明实施例一提供的一种高精地图的处理方法示意图所示,本方法主要包括如下步骤:
步骤1,在第一车辆行驶过程中对行驶道路前方进行环视图拍摄生成对应的第一环视图;
这里,本发明实施例一的第一车辆为正在进行自动驾驶或无人驾驶的机动车辆,下文中的“自车”也指的是该第一车辆;第一车辆具有一个自动驾驶***用于进行自动驾驶或无人驾驶规划;本发明实施例一的自动驾驶***会在第一车辆行驶过程中,调用第一车辆上安装的摄像头按一个预设的拍摄频率对车辆行驶道路前方持续进行环视图拍摄,并将每次拍摄得到的环视图作为当次获得的第一环视图;这里的第一环视图可以是由自动驾驶***调用多个不同拍摄角度的摄像头同时拍摄的多角度图像拼接而成的环视图,也可以是由自动驾驶***调用一个摄像头通过旋转不同拍摄角度拍摄的多角度图像拼接而成的环视图。
需要说明的是,本发明实施例一方法在上述步骤1在行驶过程中对道路前方进行环视图拍摄生成对应的第一环视图之前,还包括:
预先在各个道路路口的各条驶入道路路侧安装一个地图信息标定板和至少两个定位标定板;地图信息标定板和定位标定板的形状默认为矩形;地图信息标定板上预先绘制一个带有标定板类型信息、地图信息标定板标识信息和标准高精地图信息的二维码;定位标定板上预先绘制一个带有标定板类型信息和定位标定板标识信息的二维码;标定板类型信息包括地图信息标定板类型和定位标定板类型。这里的两类标定板将会在后续步骤中用于标准高精地图获取和自车坐标定位,需要说明的是若预先安装的定位标定板的数量为2则默认分别安装在对应道路的两侧,若预先安装的定位标定板的数量大于2则应保证在对应道路的两侧都应安装至少一个定位标定板。
步骤2,对第一环视图进行目标检测处理生成多个第一目标检测框;
具体包括:基于预设的图像目标检测模型对第一环视图进行图像目标检测处理得到多个第一目标检测框;
其中,第一目标检测框包括第一检测框中心点坐标、第一检测框朝向角、第一检测框尺寸和第一检测框目标类型;第一检测框目标类型包括车辆类型、动物类型、人类型、交通障碍物类型、建筑物类型、标定板类型和红绿灯类型;第一检测框中心点坐标的坐标系为自车坐标系。
这里,本发明实施例一自动驾驶***使用的图像目标检测模型为预先训练成熟可用于对车辆、动物、人、交通障碍物、建筑物、标定板和红绿灯进行目标检测的模型;该图像目标检测模型的输出结构由一个或多个第一目标检测框(bound i ng box,bbox)构成,每个第一目标检测框对应一个检测出的障碍物目标;第一检测框中心点坐标、第一检测框朝向角、第一检测框尺寸分别为对应目标检测框的中心点坐标、朝向角和尺寸(诸如高度、宽度),第一检测框目标类型则为对应目标检测框的障碍物目标类型;
本发明实施例一的图像目标检测模型有多种实现方式,包括:基于Faster RCNN模型结构实现的图像目标检测模型、基于YO l O系列模型结构实现的图像目标检测模型、基于SSD模型结构实现的图像目标检测模型等;在训练该图像目标检测模型时,预先采集大量的含有车辆、动物、人、交通障碍物、建筑物、标定板或红绿灯等障碍物目标的环视图作为训练数据对该图像目标检测模型进行训练,直到模型输出的各个目标检测框与环视图上各个车辆、动物、人、交通障碍物、建筑物、标定板或红绿灯等障碍物目标的检测误差收敛到指定误差范围为止。
步骤3,根据所有第一目标检测框对前方道路场景是否为道路路口场景进行确认;若确认前方道路场景为道路路口场景,则从得到的多个第一目标检测框中分选出地图信息标定板检测框和定位标定板检测框;
具体包括:步骤31,根据所有第一目标检测框对前方道路场景是否为道路路口场景进行确认;
具体包括:对得到的所有第一目标检测框的第一检测框目标类型中是否存在红绿灯类型进行确认;若确认存在,则确认前方道路场景为道路路口场景;若确认不存在,则确认前方道路场景为非道路路口场景;
这里,若确认所有第一目标检测框的第一检测框目标类型中存在红绿灯类型就说明前方道路出现一个交通道路路口的几率非常高,此时本发明实施例一的自动驾驶***确认前方道路场景为道路路口场景,并继续执行后续步骤;反之,若确认所有第一目标检测框的第一检测框目标类型中不存在红绿灯类型就说明前方道路出现一个交通道路路口的几率非常低,此时本发明实施例一的自动驾驶***确认前方道路场景为非道路路口场景,并停止执行后续步骤;
步骤32,若确认前方道路场景为道路路口场景,则从得到的多个第一目标检测框中分选出地图信息标定板检测框和定位标定板检测框;
具体包括:步骤321,将第一检测框目标类型为标定板类型的第一目标检测框记为对应的第一标定板检测框;
步骤322,将第一环视图上与各个第一标定板检测框对应的子图像提取出来作为对应的第一标定板图像;
步骤323,对各个第一标定板图像进行二维码信息识别处理得到对应的第一二维码信息;
其中,第一二维码信息包括标定板类型信息;标定板类型信息包括地图信息标定板类型和定位标定板类型;标定板类型信息为地图信息标定板类型时,第一二维码信息由标定板类型信息、地图信息标定板标识信息和标准高精地图信息组成;标定板类型信息为定位标定板类型时,第一二维码信息由标定板类型信息和定位标定板标识信息组成;
这里,本发明实施例一的自动驾驶***在对各个第一标定板图像进行二维码信息识别处理时,会调用预设的二维码图像处理接口对各个第一标定板图像进行二维码图像滤波、校准和二维码编码识别从而得到对应的二维码识别信息即第一二维码信息;此处二维码图像处理接口的实现过程采用常规的二维码图像识别技术实现,在此不做进一步赘述;此处的二维码码制,也可根据具体实施需求进行指定,在此也不做进一步赘述;
需要说明的是,如前文所示地图信息标定板上会预先绘制一个带有标定板类型信息、地图信息标定板标识信息和标准高精地图信息的二维码,定位标定板上会预先绘制一个带有标定板类型信息和定位标定板标识信息的二维码,所以当前步骤识别出的第一二维码信息在标定板类型信息为地图信息标定板类型时由标定板类型信息、地图信息标定板标识信息和标准高精地图信息组成,在标定板类型信息为定位标定板类型时由标定板类型信息和定位标定板标识信息组成;
步骤324,将标定板类型信息为地图信息标定板类型的第一标定板图像对应的第一目标检测框作为对应的地图信息标定板检测框;并将标定板类型信息为定位标定板类型的第一标定板图像对应的第一目标检测框作为对应的定位标定板检测框。
这里,如前文所示预先会在各个道路路口的各条驶入道路路侧安装一个地图信息标定板和至少两个定位标定板,所以此处得到的地图信息标定板检测框的数量应为1,而定位标定板检测框的数量则应大于或等于2。
步骤4,根据地图信息标定板检测框进行标准高精地图获取处理生成对应的第一标准高精地图;
具体包括:将地图信息标定板检测框对应的第一二维码信息的标准高精地图信息作为对应的第一标准高精地图;
其中,第一标准高精地图的地图坐标系为道路路口坐标系;第一标准高精地图为一个语义地图,第一标准高精地图的语义信息包括道路语义信息、道路边缘语义信息、车道语义信息、车道中心线语义信息、车道边线语义信息、红绿灯语义信息、定位标志板语义信息和人行道语义信息;定位标志板语义信息包括定位标志板语义类型、定位标志板标识和定位标志板坐标。
这里需要说明的是,本发明实施例一的标准高精地图信息实际就是一个标准高精地图的语义地图矢量数据,该语义地图矢量数据的地图矢量编码规则是已知的,该规则可以是常规的地图矢量编码规则、也可根据应用需求定制,在此不做进一步赘述。
步骤5,根据所有定位标定板检测框和第一标准高精地图进行自车地图坐标确认处理生成对应的第一车辆地图坐标;
具体包括:步骤51,根据各个定位标定板检测框的第一检测框中心点坐标计算出当前定位标定板检测框与自车间的直线间距作为对应的第一间距d;
这里,因为在自车坐标系下都是以自车为原点,所以第一间距d实际就是在自车坐标系下第一检测框中心点坐标对应点到原点的直线距离;
步骤52,将各个定位标定板检测框对应的第一二维码信息的定位标定板标识信息作为对应的第二标识;并将第一标准高精地图上与各个第二标识匹配的定位标志板标识对应的定位标志板语义信息的定位标志板坐标提取出来作为对应的第一定位坐标;
这里,各个第一定位坐标实际就是各个定位标志板在第一标准高精地图的道路路口坐标系下的定位坐标;
步骤53,在第一标准高精地图上,以各个定位标定板检测框的第一定位坐标为圆心、以对应的第一间距d为半径做圆形绘制处理得到对应的第一圆形;并将所有第一圆形的共同相交点作为对应的第一交点;并对第一交点的数量进行统计生成对应的第一交点数量;
其中,第一交点数量大于或等于1;
这里,第一交点数量在实际应用中最常见取值状态就是要么为1、要么为2,很少有大于2的情况出现;
步骤54,当第一交点数量为1时,以第一交点在第一标准高精地图上的地图坐标作为对应的第一车辆地图坐标输出;
这里,若第一交点数量等于1说明这个唯一的第一交点就是自车在第一标准高精地图上的真实坐标点,因此将这个唯一的第一交点在第一标准高精地图上的地图坐标作为对应的第一车辆地图坐标输出;
步骤55,当第一交点数量大于1时,对各个第一交点进行遍历;遍历时,将当前遍历的第一交点作为对应的当前交点;并以当前交点为自车坐标系原点构建对应的自车坐标系记为对应的当前自车坐标系;并对各个定位标定板检测框的第一定位坐标进行从道路路口坐标系到当前自车坐标系的坐标转换处理得到对应的第二定位坐标;并对各个定位标定板检测框的第一检测框中心点坐标与第二定位坐标的坐标偏差进行计算生成对应的第一坐标偏差;并对得到的所有定位标定板检测框对应的第一坐标偏差是否都低于预设的最小坐标偏差阈值进行识别;若否,则转至下一个第一交点继续遍历直到最后一个第一交点遍历结束为止;若是,则停止遍历并将当前交点在第一标准高精地图上的地图坐标作为对应的第一车辆地图坐标输出。
这里,若第一交点数量大于1则需要对各个第一交点是否为自车在第一标准高精地图上的真实坐标点进行挨个确认,所以要对各个第一交点进行遍历;遍历时,将当前遍历的第一交点的位置作为当前的自位置并基于当前自车位置构建自车坐标系即当前自车坐标系,并将各个定位标定板也就是各个定位标定板检测框在第一标准高精地图上的定位坐标也就是第一定位坐标转换到当前自车坐标系下得到对应的当前自车坐标系坐标也就是第二定位坐标,原理上若当前遍历的第一交点就是自车在第一标准高精地图上的真实坐标点,那么各个定位标定板的第二定位坐标应与对应的第一检测框中心点坐标应是重合的,但在实际计算过程中可能会存在转换误差,所以本发明实施例一会预先设置一个较小的误差阈值即最小坐标偏差阈值,只要各个定位标定板对应的第二定位坐标和第一检测框中心点坐标的坐标偏差即第一坐标偏差小于该最小坐标偏差阈值就等同视为二者重合,所以在得到所有定位标定板的第一坐标偏差之后要对得到的所有第一坐标偏差是否都低于预设的最小坐标偏差阈值进行识别,若是就说明当前遍历的第一交点就是自车在第一标准高精地图上的真实坐标点,此时立即结束遍历并当前遍历的第一交点即当前交点在第一标准高精地图上的地图坐标作为对应的第一车辆地图坐标输出。
步骤6,根据第一车辆地图坐标和所有第一目标检测框对第一标准高精地图进行路口目标融合处理生成对应的第一路口高精度图;
具体包括:步骤61,以第一车辆地图坐标为自车坐标系原点构建对应的自车坐标系记为对应的当前自车坐标系;并对当前自车坐标系与第一标准高精地图的道路路口坐标系的坐标转换关系进行确认得到对应的第一转换关系;并根据第一转换关系对各个第一目标检测框的第一检测框中心点坐标和第一检测框朝向角进行修正生成对应的第二检测框中心点坐标和第二检测框朝向角;
这里,当前自车坐标系是以自车为原点的二维或三维坐标系,第一标准高精地图的道路路口坐标系是以道路路口中心点为原点二维或三维坐标系,二者之间的转换关系即第一转换关系可视为由自车在道路路口坐标系的坐标即第一车辆地图坐标的两个或三个坐标分量组成的转换关系向量;基于这个转换关系向量对自车坐标系下的检测框中心点坐标即第一检测框中心点坐标做转换就能得到在道路路口坐标系中的对应坐标也就是第二检测框中心点坐标,基于这个转换关系向量对自车坐标系下的检测框朝向角做角度调整就能得到在道路路口坐标系中的对应朝向角也就是第二检测框朝向角;因为这种两种坐标系下的坐标和朝向角转换是一种公开的常规转换技术,所以在此就不对具体的计算过程进行进一步赘述了;
步骤62,在第一标准高精地图上,基于第一车辆的车辆朝向、形状尺寸和第一车辆地图坐标进行自车语义信息添加处理;并基于各个第一目标检测框的第二检测框中心点坐标、第二检测框朝向角、第一检测框尺寸和第一检测框目标类型进行障碍物目标语义信息添加处理;
这里,在得到自车和各个障碍物目标在第一标准高精地图上的坐标、朝向、形状尺寸之后,就可以在第一标准高精地图上确定出与自车和各个障碍物目标匹配的地图空间;向与自车匹配的地图空间的语义信息集合中加入自车也就是第一车辆的车辆朝向、形状尺寸和第一车辆地图坐标就完成了对第一标准高精地图的自车语义信息添加;向与各个障碍物目标的地图空间的语义信息集合中加入第二检测框中心点坐标、第二检测框朝向角、第一检测框尺寸和第一检测框目标类型就完成了对第一标准高精地图的障碍物目标语义信息添加;
步骤63,将完成自车和所有障碍物目标语义信息添加处理的第一标准高精地图作为对应的第一路口高精度图输出。
这里,最终得到的第一路口高精度图就是一个融合了实景交通状况的路口高精地图。本发明实施一的自动驾驶***此时基于该第一路口高精度图进行车辆行驶策略决策和行驶轨迹规划,就能缩短决策时间、加快轨迹规划速度,从而达到在道路路口提高***响应速度的目的。
图2为本发明实施例二提供的一种高精地图的处理装置的模块结构图,该装置为实现前述方法实施例的终端设备或者服务器,也可以为能够使得前述终端设备或者服务器实现前述方法实施例的装置,例如该装置可以是前述终端设备或者服务器的装置或芯片***。如图2所示,该装置包括:环视图处理模块201、目标检测处理模块202、标准高精地图处理模块203和高精地图融合处理模块204。
环视图处理模块201用于在第一车辆行驶过程中对行驶道路前方进行环视图拍摄生成对应的第一环视图。
目标检测处理模块202用于对第一环视图进行目标检测处理生成多个第一目标检测框。
标准高精地图处理模块203用于根据所有第一目标检测框对前方道路场景是否为道路路口场景进行确认;若确认前方道路场景为道路路口场景,则从得到的多个第一目标检测框中分选出地图信息标定板检测框和定位标定板检测框;并根据地图信息标定板检测框进行标准高精地图获取处理生成对应的第一标准高精地图。
高精地图融合处理模块204用于根据所有定位标定板检测框和第一标准高精地图进行自车地图坐标确认处理生成对应的第一车辆地图坐标;并根据第一车辆地图坐标和所有第一目标检测框对第一标准高精地图进行路口目标融合处理生成对应的第一路口高精度图。
本发明实施例提供的一种高精地图的处理装置,可以执行上述方法实施例中的方法步骤,其实现原理和技术效果类似,在此不再赘述。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,目标检测处理模块可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所描述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(App l i cat ion Spec i f ic I ntegrated Ci rcu it,ASIC),或,一个或多个数字信号处理器(Digita l Signa l Processor,DSP),或,一个或者多个现场可编程门阵列(Fi e l d Programmab l e Gate Array,FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(Centra l Process i ng Un it,CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上***(System-on-a-ch i p,SOC)的形式实现。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照前述方法实施例所描述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线路((D i gita l Subscr i ber L i ne,DSL))或无线(例如红外、无线、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(so l i d state d i sk,SSD))等。
图3为本发明实施例三提供的一种电子设备的结构示意图。该电子设备可以为前述的终端设备或者服务器,也可以为与前述终端设备或者服务器连接的实现本发明实施例方法的终端设备或服务器。如图3所示,该电子设备可以包括:处理器301(例如CPU)、存储器302、收发器303;收发器303耦合至处理器301,处理器301控制收发器303的收发动作。存储器302中可以存储各种指令,以用于完成各种处理功能以及实现前述方法实施例描述的处理步骤。优选的,本发明实施例涉及的电子设备还包括:电源304、***总线305以及通信端口306。***总线305用于实现元件之间的通信连接。上述通信端口306用于电子设备与其他外设之间进行连接通信。
在图3中提到的***总线305可以是外设部件互连标准(Per iphera l ComponentI nterconnect,PCI)总线或扩展工业标准结构(Extended I ndustry Standard Architecture,EISA)总线等。该***总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory,RAM),也可能还包括非易失性存储器(Non-Vol at i l e Memory),例如至少一个磁盘存储器。
上述的处理器可以是通用处理器,包括中央处理器CPU、网络处理器(NetworkProcessor,NP)、图形处理器(Graph ics Process i ng Un it,GPU)等;还可以是数字信号处理器DSP、专用集成电路ASI C、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是,本发明实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中提供的方法和处理过程。
本发明实施例还提供一种运行指令的芯片,该芯片用于执行前述方法实施例描述的处理步骤。
本发明实施例提供了一种高精地图的处理方法、装置、电子设备及计算机可读存储介质;预先在各个道路路口的各条驶入道路路侧安装一个地图信息标定板和至少两个定位标定板;并在车辆行驶过程中通过对道路前方环视图进行目标检测获得所有障碍物目标的实时信息;并通过对所有障碍物目标的类型进行识别确认是否即将达到道路路口;并在确认即将达到道路路口时对环视图中地图信息标定板和定位标定板上的二维码信息进行识别获得对应的标准高精地图和定位标定板标识;并基于定位标定板标识在标准高精地图上确认对应的定位标定板位置;并基于定位标定板位置与自车的相对位移关系在标准高精地图上融入实时的自车语义信息,并基于自车与各个障碍物目标的相对位移关系在标准高精地图上融入实时的障碍物目标语义信息,由此就能得到融合了自车和障碍物目标实时信息的实景路口高精地图。通过本发明,解决了由定位模块故障造成的高精地图获取不及时的问题,给出了一个融合实景交通状况的路口高精地图,提高了车辆自动驾驶***在道路路口的响应速度。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (11)
1.一种高精地图的处理方法,其特征在于,所述方法包括:
在第一车辆行驶过程中对行驶道路前方进行环视图拍摄生成对应的第一环视图;
对所述第一环视图进行目标检测处理生成多个第一目标检测框;
根据所有所述第一目标检测框对前方道路场景是否为道路路口场景进行确认;若确认前方道路场景为道路路口场景,则从得到的多个所述第一目标检测框中分选出地图信息标定板检测框和定位标定板检测框;
根据所述地图信息标定板检测框进行标准高精地图获取处理生成对应的第一标准高精地图;
根据所有所述定位标定板检测框和所述第一标准高精地图进行自车地图坐标确认处理生成对应的第一车辆地图坐标;
根据所述第一车辆地图坐标和所有所述第一目标检测框对所述第一标准高精地图进行路口目标融合处理生成对应的第一路口高精度图。
2.根据权利要求1所述的高精地图的处理方法,其特征在于,在所述在第一车辆行驶过程中对行驶道路前方进行环视图拍摄生成对应的第一环视图之前,所述方法还包括:
预先在各个道路路口的各条驶入道路路侧安装一个地图信息标定板和至少两个定位标定板;所述地图信息标定板和所述定位标定板的形状默认为矩形;所述地图信息标定板上预先绘制一个带有标定板类型信息、地图信息标定板标识信息和标准高精地图信息的二维码;所述定位标定板上预先绘制一个带有所述标定板类型信息和定位标定板标识信息的二维码;所述标定板类型信息包括地图信息标定板类型和定位标定板类型。
3.根据权利要求1所述的高精地图的处理方法,其特征在于,所述对所述第一环视图进行目标检测处理生成多个第一目标检测框,具体包括:
基于预设的图像目标检测模型对所述第一环视图进行图像目标检测处理得到多个所述第一目标检测框;所述第一目标检测框包括第一检测框中心点坐标、第一检测框朝向角、第一检测框尺寸和第一检测框目标类型;所述第一检测框目标类型包括车辆类型、动物类型、人类型、交通障碍物类型、建筑物类型、标定板类型和红绿灯类型;所述第一检测框中心点坐标的坐标系为自车坐标系。
4.根据权利要求3所述的高精地图的处理方法,其特征在于,所述根据所有所述第一目标检测框对前方道路场景是否为道路路口场景进行确认,具体包括:
对得到的所有所述第一目标检测框的所述第一检测框目标类型中是否存在红绿灯类型进行确认;若确认存在,则确认前方道路场景为道路路口场景;若确认不存在,则确认前方道路场景为非道路路口场景。
5.根据权利要求3所述的高精地图的处理方法,其特征在于,所述从得到的多个所述第一目标检测框中分选出地图信息标定板检测框和定位标定板检测框,具体包括:
将所述第一检测框目标类型为标定板类型的所述第一目标检测框记为对应的第一标定板检测框;
将所述第一环视图上与各个所述第一标定板检测框对应的子图像提取出来作为对应的第一标定板图像;
对各个第一标定板图像进行二维码信息识别处理得到对应的第一二维码信息;所述第一二维码信息包括标定板类型信息;所述标定板类型信息包括地图信息标定板类型和定位标定板类型;所述标定板类型信息为地图信息标定板类型时,所述第一二维码信息由所述标定板类型信息、地图信息标定板标识信息和标准高精地图信息组成;所述标定板类型信息为定位标定板类型时,所述第一二维码信息由所述标定板类型信息和定位标定板标识信息组成;
将所述标定板类型信息为地图信息标定板类型的所述第一标定板图像对应的所述第一目标检测框作为对应的所述地图信息标定板检测框;并将所述标定板类型信息为定位标定板类型的所述第一标定板图像对应的所述第一目标检测框作为对应的所述定位标定板检测框。
6.根据权利要求5所述的高精地图的处理方法,其特征在于,所述根据所述地图信息标定板检测框进行标准高精地图获取处理生成对应的第一标准高精地图,具体包括:
将所述地图信息标定板检测框对应的所述第一二维码信息的所述标准高精地图信息作为对应的所述第一标准高精地图;所述第一标准高精地图的地图坐标系为道路路口坐标系;所述第一标准高精地图为一个语义地图,所述第一标准高精地图的语义信息包括道路语义信息、道路边缘语义信息、车道语义信息、车道中心线语义信息、车道边线语义信息、红绿灯语义信息、定位标志板语义信息和人行道语义信息;所述定位标志板语义信息包括定位标志板语义类型、定位标志板标识和定位标志板坐标。
7.根据权利要求6所述的高精地图的处理方法,其特征在于,所述根据所有所述定位标定板检测框和所述第一标准高精地图进行自车地图坐标确认处理生成对应的第一车辆地图坐标,具体包括:
根据各个所述定位标定板检测框的所述第一检测框中心点坐标计算出当前定位标定板检测框与自车间的直线间距作为对应的第一间距d;
将各个所述定位标定板检测框对应的所述第一二维码信息的所述定位标定板标识信息作为对应的第二标识;并将所述第一标准高精地图上与各个所述第二标识匹配的所述定位标志板标识对应的所述定位标志板语义信息的所述定位标志板坐标提取出来作为对应的第一定位坐标;
在所述第一标准高精地图上,以各个所述定位标定板检测框的所述第一定位坐标为圆心、以对应的所述第一间距d为半径做圆形绘制处理得到对应的第一圆形;并将所有所述第一圆形的共同相交点作为对应的第一交点;并对所述第一交点的数量进行统计生成对应的第一交点数量;所述第一交点数量大于或等于1;
当所述第一交点数量为1时,以所述第一交点在所述第一标准高精地图上的地图坐标作为对应的所述第一车辆地图坐标输出;
当所述第一交点数量大于1时,对各个所述第一交点进行遍历;遍历时,将当前遍历的所述第一交点作为对应的当前交点;并以所述当前交点为自车坐标系原点构建对应的自车坐标系记为对应的当前自车坐标系;并对各个所述定位标定板检测框的所述第一定位坐标进行从道路路口坐标系到当前自车坐标系的坐标转换处理得到对应的第二定位坐标;并对各个所述定位标定板检测框的所述第一检测框中心点坐标与所述第二定位坐标的坐标偏差进行计算生成对应的第一坐标偏差;并对得到的所有所述定位标定板检测框对应的所述第一坐标偏差是否都低于预设的最小坐标偏差阈值进行识别;若否,则转至下一个所述第一交点继续遍历直到最后一个所述第一交点遍历结束为止;若是,则停止遍历并将所述当前交点在所述第一标准高精地图上的地图坐标作为对应的所述第一车辆地图坐标输出。
8.根据权利要求6所述的高精地图的处理方法,其特征在于,所述根据所述第一车辆地图坐标和所有所述第一目标检测框对所述第一标准高精地图进行路口目标融合处理生成对应的第一路口高精度图,具体包括:
以所述第一车辆地图坐标为自车坐标系原点构建对应的自车坐标系记为对应的当前自车坐标系;并对所述当前自车坐标系与所述第一标准高精地图的道路路口坐标系的坐标转换关系进行确认得到对应的第一转换关系;并根据所述第一转换关系对各个所述第一目标检测框的所述第一检测框中心点坐标和所述第一检测框朝向角进行修正生成对应的第二检测框中心点坐标和第二检测框朝向角;
在所述第一标准高精地图上,基于所述第一车辆的车辆朝向、形状尺寸和所述第一车辆地图坐标进行自车语义信息添加处理;并基于各个所述第一目标检测框的所述第二检测框中心点坐标、所述第二检测框朝向角、所述第一检测框尺寸和所述第一检测框目标类型进行障碍物目标语义信息添加处理;
将完成自车和所有障碍物目标语义信息添加处理的所述第一标准高精地图作为对应的所述第一路口高精度图输出。
9.一种用于执行权利要求1-8任一项所述的高精地图的处理方法的装置,其特征在于,所述装置包括:环视图处理模块、目标检测处理模块、标准高精地图处理模块和高精地图融合处理模块;
所述环视图处理模块用于在第一车辆行驶过程中对行驶道路前方进行环视图拍摄生成对应的第一环视图;
所述目标检测处理模块用于对所述第一环视图进行目标检测处理生成多个第一目标检测框;
所述标准高精地图处理模块用于根据所有所述第一目标检测框对前方道路场景是否为道路路口场景进行确认;若确认前方道路场景为道路路口场景,则从得到的多个所述第一目标检测框中分选出地图信息标定板检测框和定位标定板检测框;并根据所述地图信息标定板检测框进行标准高精地图获取处理生成对应的第一标准高精地图;
所述高精地图融合处理模块用于根据所有所述定位标定板检测框和所述第一标准高精地图进行自车地图坐标确认处理生成对应的第一车辆地图坐标;并根据所述第一车辆地图坐标和所有所述第一目标检测框对所述第一标准高精地图进行路口目标融合处理生成对应的第一路口高精度图。
10.一种电子设备,其特征在于,包括:存储器、处理器和收发器;
所述处理器用于与所述存储器耦合,读取并执行所述存储器中的指令,以实现权利要求1-8任一项所述的方法步骤;
所述收发器与所述处理器耦合,由所述处理器控制所述收发器进行消息收发。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,当所述计算机指令被计算机执行时,使得所述计算机执行权利要求1-8任一项所述的方法的指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211475093.4A CN115797578A (zh) | 2022-11-23 | 2022-11-23 | 一种高精地图的处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211475093.4A CN115797578A (zh) | 2022-11-23 | 2022-11-23 | 一种高精地图的处理方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115797578A true CN115797578A (zh) | 2023-03-14 |
Family
ID=85440588
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211475093.4A Pending CN115797578A (zh) | 2022-11-23 | 2022-11-23 | 一种高精地图的处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115797578A (zh) |
-
2022
- 2022-11-23 CN CN202211475093.4A patent/CN115797578A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111695546B (zh) | 用于无人车的交通信号灯识别方法和装置 | |
CN112069856A (zh) | 地图生成方法、驾驶控制方法、装置、电子设备及*** | |
CN110758477B (zh) | 基于二维码识别的列车定位方法及*** | |
US20220277478A1 (en) | Positioning Method and Apparatus | |
CN110363735B (zh) | 一种车联网图像数据融合方法及相关装置 | |
CN109815831B (zh) | 一种车辆朝向获取方法及相关装置 | |
Zou et al. | Real-time full-stack traffic scene perception for autonomous driving with roadside cameras | |
CN111353453B (zh) | 用于车辆的障碍物检测方法和装置 | |
CN112753038B (zh) | 识别车辆变道趋势的方法和装置 | |
WO2023123837A1 (zh) | 地图的生成方法、装置、电子设备及存储介质 | |
CN112654998B (zh) | 一种车道线检测方法和装置 | |
WO2023155580A1 (zh) | 一种对象识别方法和装置 | |
CN111950428A (zh) | 目标障碍物识别方法、装置及运载工具 | |
CN114627409A (zh) | 一种车辆异常变道的检测方法及装置 | |
CN111754388B (zh) | 一种建图方法及车载终端 | |
CN116664498A (zh) | 车位检测模型的训练方法、车位检测方法、装置和设备 | |
CN116503819A (zh) | 一种车路协同端到端3d目标检测方法、***、设备、存储介质 | |
CN115797578A (zh) | 一种高精地图的处理方法和装置 | |
CN115249407B (zh) | 指示灯状态识别方法、装置、电子设备、存储介质及产品 | |
CN113469045B (zh) | 无人集卡的视觉定位方法、***、电子设备和存储介质 | |
CN114782496A (zh) | 一种对象的跟踪方法、装置、存储介质及电子装置 | |
CN117274402B (zh) | 相机外参的标定方法、装置、计算机设备及存储介质 | |
WO2022082574A1 (zh) | 一种车道线检测方法和装置 | |
US20230068375A1 (en) | Method and system for detecting a three-dimensional object in a two-dimensional image | |
CN114092916B (zh) | 图像处理方法、装置、电子设备、自动驾驶车辆及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |