CN110057373A - 用于生成高精细语义地图的方法、装置和计算机存储介质 - Google Patents
用于生成高精细语义地图的方法、装置和计算机存储介质 Download PDFInfo
- Publication number
- CN110057373A CN110057373A CN201910323449.4A CN201910323449A CN110057373A CN 110057373 A CN110057373 A CN 110057373A CN 201910323449 A CN201910323449 A CN 201910323449A CN 110057373 A CN110057373 A CN 110057373A
- Authority
- CN
- China
- Prior art keywords
- map
- fine
- point cloud
- image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000003068 static effect Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 55
- 238000012937 correction Methods 0.000 claims description 25
- 238000002310 reflectometry Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000009933 burial Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013507 mapping Methods 0.000 abstract description 3
- 241001269238 Data Species 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000004387 environmental modeling Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及车辆导航技术和自动驾驶技术,特别涉及用于生成高精细语义地图的方法、装置、计算机存储介质以及包含该装置的导航地图测绘车辆。按照本发明一个方面的用于生成高精细语义地图的方法包含下列步骤:获取与周围环境相关的点云地图和多个图像;由图像中识别的目标和点云地图中对应的目标确定语义识别对象,该对象与位于与地面相交的平面内的物体相关联;从点云地图中提取静态环境语义特征;将语义识别对象和关于静态环境语义特征的描述符保存在语义地图定位图层内;由图像和点云地图生成用于提取地面标线的精细地理类别概率地图;以及利用语义识别对象和所述精细地理类别概率地图生成高精细语义地图规划图层,该规划图层包含道路拓扑关系、车道拓扑关系和基本道路指示信息。
Description
技术领域
本发明涉及车辆导航技术和自动驾驶技术,特别涉及用于生成高精细语义地图的方法、装置、计算机存储介质以及包含所述装置的导航地图测绘车辆。
背景技术
传统导航地图由于精度不足而无法满足自动驾驶的需要。高精细地图作为无人驾驶中必要的一环渐渐成为产业里的共识,其具有精度高和维度多等优点。高精细地图能够为驾驶***提供更前瞻的信息指示和信息冗余,实现汽车的匹配定位,使得驾驶***能够感知到更大范围的交通态势,保证自动驾驶的安全。
在高精细地图中,点云地图由于其不受环境光照影响和环境建模精确等优点而倍受自动驾驶产业界的青睐。但是点云地图的数据量庞大,这给地图存储和在线匹配定位都带来了极大的阻碍。近年来,产业界虽然对传感器融合以及点云地图内部语义结构等方面作了研究,但是尚未提供能够在保持高精度的同时有效减少数据量的高精细地图生成方法和装置。
发明内容
本发明的一个目的是提供一种用于生成高精细语义地图的方法、装置和计算机存储介质,其能够在确保地图高精细等级的情况下减少地图的数据量。
按照本发明一个方面的用于生成高精细语义地图的方法包含下列步骤:
获取与周围环境相关的点云地图和多个图像;
由所述图像中识别的目标和所述点云地图中对应的目标确定语义识别对象,所述语义识别对象与位于与地面相交的平面内的物体相关联;
从所述点云地图中提取静态环境语义特征;
将所述语义识别对象和关于静态环境语义特征的描述符保存在语义地图定位图层内;
由所述图像和点云地图生成用于提取地面标线的精细地理类别概率地图;以及
利用语义识别对象和精细地理类别概率地图生成高精细语义地图规划图层,所述高精细语义地图规划图层包含道路拓扑关系、车道拓扑关系和基本道路指示信息。
可选地,在上述方法中,每个所述图像按照下列方式获取:
利用内部标定参数对多个单目相机摄取的单目图像进行畸变校正处理;以及
利用外部标定参数,将多个经过畸变校正处理的单目图像拼接为一个图像。
可选地,在上述方法中,所述点云地图按照下列方式获取:
对点云数据帧进行反射率校正处理和运动误差补偿处理;以及
根据定位信息,将经过反射率校正处理和运动误差补偿处理的点云数据帧拼接在一起以得到所述点云地图。
可选地,在上述方法中,通过将下列中的两种或更多种数据作融合滤波解算处理得到所述定位信息:GNSS/INS组合导航数据、轮速数据、基于激光雷达点云数据的同时定位与建图定位数据和多相机的同时定位与建图定位数据。
可选地,在上述方法中,所述目标为交通标志、交通信号灯和静态障碍物中的至少一种。
可选地,在上述方法中,确定语义识别对象的步骤包括:
在所述图像中识别所述目标;
在所述点云地图中识别对应的目标;以及
借助所述图像与点云地图之间的联合标定变换关系将所述图像中识别的目标与所述点云地图中对应的目标进行融合匹配处理以确定所述语义识别对象。
可选地,在上述方法中,所述静态环境语义特征包括点云数据帧中的边缘特征和平面特征。
可选地,在上述方法中,所述语义识别对象以矢量化形式保存在所述语义地图定位图层内。
可选地,在上述方法中,按照下列方式生成用于提取地面标线的精细地理类别概率地图:
由所述图像生成用于提取地面标线的第一地理类别概率地图;
由所述点云数据帧生成用于提取地面标线的第二地理类别概率地图;以及
通过融合所述第一地理类别概率地图和第二地理类别概率地图生成所述精细地理类别概率地图。
可选地,在上述方法中,所述精细地理类别概率地图以矢量化形式保存在所述语义地图规划图层内。
可选地,在上述方法中,生成高精细语义地图规划图层的步骤包括:
根据所述语义识别对象,由所述精细地理类别概率地图中提取的车道分隔线、道路边沿和停止线生成车道拓扑图和道路拓扑组图。
按照本发明另一个方面的用于生成高精细语义地图的车载***包含:
图像采集单元,配置为获取与周围环境相关的多个图像;
点云数据采集单元,配置为获取与周围环境相关的点云地图;
处理单元,配置为执行下列步骤:
由所述图像中识别的目标和所述点云地图中对应的目标确定语义识别对象,所述语义识别对象与位于与地面相交的平面内的物体相关联;
从所述点云地图中提取静态环境语义特征;
将所述语义识别对象和关于静态环境语义特征的描述符保存在语义地图定位图层内;
由所述图像和点云地图生成用于提取地面标线的精细地理类别概率地图;以及
利用语义识别对象和精细地理类别概率地图生成高精细语义地图规划图层,所述高精细语义地图规划图层包含车道拓扑图、道路拓扑图和基本道路指示信息。
可选地,在上述车载***中,所述图像采集单元包括:
多个单目相机;
图像处理器,配置为执行下列步骤:
利用内部标定参数对单目相机拍摄的单目图像进行畸变校正处理,所述内部标定参数根据一个单目相机以不同角度和不同距离拍摄的同一标定物的图像数据确定;
利用外部标定参数将多个经过畸变校正处理的单目图像拼接为一个图像,所述外部标定参数根据多个单目相机拍摄的同一标定物的图像确定。
可选地,在上述车载***中,所述点云数据采集单元包括:
激光雷达,配置为发射第一激光束并接收反射的第二激光束;
处理器,配置为执行下列步骤:
对点云数据帧进行反射率校正处理和运动误差补偿处理;以及
根据定位信息,将经过反射率校正处理和运动误差补偿处理的点云数据帧拼接在一起以得到所述点云地图。
可选地,在上述车载***中,进一步包括:
GNSS/INS单元,配置为提供GNSS/INS组合导航数据;
车辆轮速计单元,配置为提供轮速数据;
多传感器数据时间同步单元,配置为使所述图像采集单元、点云数据采集单元、GNSS/INS单元和车辆轮速计单元的数据同步,
所述处理单元配置为通过将下列中的两种或更多种数据作融合滤波解算处理得到所述定位信息:GNSS/INS组合导航数据、轮速数据、基于激光雷达点云数据的同时定位与建图定位数据和多相机的同时定位与建图定位数据。
按照本发明另一个方面的用于生成高精细语义地图的装置包含存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其执行所述程序以实现如上所述的方法。
按照本发明还有一个方面的计算机可读存储介质,其上存储计算机程序,其中,该程序被处理器执行时实现如上所述的方法。
按照本发明还有一个方面的导航地图测绘车辆,其包含具有如上所述一个或多个特征的用于生成高精细语义地图的装置。
在按照本发明的一个或多个实施例中,语义识别对象和关于静态环境语义特征的描述符被保存在语义地图定位图层内,并且基于语义识别对象,由语义地图规划图层生成高精细语义地图规划图层,这使得所生成的高精细语义地图具有灵活、可扩展的图层结构,不仅有助于与自动驾驶所需的匹配定位功能和路径规划功能对接,而且便于维护和更新。此外,以矢量方式保存语义识别对象、描述符和精细地理类别概率地图可以有效减少数据量。
附图说明
本发明的上述和/或其它方面和优点将通过以下结合附图的各个方面的描述变得更加清晰和更容易理解,附图中相同或相似的单元采用相同的标号表示。附图包括:
图1为按照本发明一个实施例的用于生成高精细语义地图的车载***的框图。
图2A和2B分别为为按照本发明另一个实施例的导航地图测绘车辆的俯视图和侧视图。
图3为按照本发明还有一个实施例的用于生成高精细语义地图的方法的流程图。
图4为按照本发明还有一个实施例的用于生成高精细语义地图的装置的框图。
具体实施方式
下面参照其中图示了本发明示意性实施例的附图更为全面地说明本发明。但本发明可以按不同形式来实现,而不应解读为仅限于本文给出的各实施例。给出的上述各实施例旨在使本文的披露全面完整,以将本发明的保护范围更为全面地传达给本领域技术人员。
在本说明书中,诸如“包含”和“包括”之类的用语表示除了具有在说明书和权利要求书中有直接和明确表述的单元和步骤以外,本发明的技术方案也不排除具有未被直接或明确表述的其它单元和步骤的情形。
诸如“第一”和“第二”之类的用语并不表示单元在时间、空间、大小等方面的顺序而仅仅是作区分各单元之用。
图1为按照本发明一个实施例的用于生成高精细语义地图的车载***的框图。
图1所示的用于生成高精细语义地图的车载***10包含图像采集单元110、点云数据采集单元120、处理单元130、全球卫星导航-惯性导航组合(GNSS/INS)单元140、车辆轮速计单元150和多传感器数据时间同步单元160。需要指出的是,可选地,GNSS/INS单元140、车辆轮速计单元150和多传感器数据时间同步单元160可以视为车载***10的外部单元。
在图1所示的车载***中10中,图像采集单元110配置为获取与周围环境相关的多个图像,点云数据采集单元120配置为获取与周围环境相关的点云地图。GNSS/INS单元140配置为提供GNSS/INS组合导航数据,车辆轮速计单元150配置为提供轮速数据。
可选地,图像采集单元110包括多个单目相机111和与单目相机耦合的图像处理器112。图像处理112配置为按照下列方式生成一幅图像:接收同一时刻由多个单目相机111拍摄的多个单目图像,随后根据每个单目相机的内部标定参数对该单目相机拍摄的图像进行畸变校正处理,接着利用外部标定参数将多个经过畸变校正处理的单目图像拼接在一起,由此生成一幅图像。在本实施例中,可选地,可根据一个单目相机以不同角度和不同距离拍摄的同一标定物的图像数据来确定内部标定参数,并且根据多个单目相机拍摄的同一标定物的图像确定外部标定参数。
可选地,点云数据采集单元120包括激光雷达121(例如倾斜多线激光雷达)和处理器122。激光雷达121配置为向周围环境发射第一激光束并接收环境中物体(例如建筑物、交通信号灯、交通标识、车辆、行人、道路隔离带、道路等)反射的第二激光束。处理器122配置为按照下列方式生成点云地图:对每个点云数据帧进行反射率校正处理和运动误差补偿处理,随后根据定位信息,将经过反射率校正处理和运动误差补偿处理的点云数据帧拼接在一起以得到点云地图。
定位信息可以来自与下列中的一种或多种定位数据:GNSS/INS组合导航数据、轮速数据、基于激光雷达点云数据的同时定位与建图定位数据和多相机的同时定位与建图定位数据。当采用多种定位数据时,处理单元130配置为通过将两种或更多种数据作融合滤波解算处理来得到定位信息。
可选地,利用基于基于反射率校正算法得到的反射率校正表对点云数据帧进行校正处理,并且基于组合导航数据(例如由GNSS/INS单元140提供)和轮速数据(例如由车辆轮速计单元150)对点云数据帧进行运动误差的补偿。
如图1所示,多传感器数据时间同步单元160与图像采集单元110、点云数据采集单元120、处理单元130、GNSS/INS单元140、车辆轮速计单元150耦合,其配置为使图像采集单元、点云数据采集单元、GNSS/INS单元、车辆轮速计单元获取的数据同步。
处理单元130与图像采集单元110、点云数据采集单元120、GNSS/INS单元140、车辆轮速计单元150耦合。
在本实施例中,处理单元130配置为执行传感器数据的标定操作,包括但不限于激光雷达和组合导航的数据的联合标定、单目相机内部标定参数的标定、多相机外部标定参数的标定以及图像采集单元和激光雷达的数据的联合标定。例如,处理单元130可以对激光雷达采集的点云数据、GNSS/INS组合导航数据和车辆轮速计采集的轮速数据进行联合标定,从而得到激光雷达传感器坐标系和组合导航传感器坐标系的变换关系。又如,处理单元130可根据一个单目相机以不同角度和不同距离拍摄的同一标定物的图像数据来确定该单目相机的内部标定参数,并且根据多个单目相机拍摄的同一标定物的图像确定外部标定参数。还如,处理单元130可以根据标定图像(例如按照前述利用内部和外部标定参数方式拼接的图像)和标定的激光雷达的点云数据(例如基于点云数据、GNSS/INS组合导航数据和轮速数据的联合标定方式)确定图像与点云地图之间的联合标定变换关系。
在本实施例中,处理单元130还配置为生成包含语义地图定位图层和语义地图规划图层的高精细语义地图。
可选地,语义地图定位图层包含语义识别对象和关于静态环境语义特征的描述符。这里所述的语义识别对象可与位于与地面相交的平面内的物体相关联,例如包括但不限于交通标志、交通信号灯和静态障碍物。在本实施例中,可以下列方式确定语义识别对象:在图像中识别目标(例如交通标志、交通信号灯和诸如交通隔离栏(墩)、路灯之类的静态障碍物等)并且在点云地图中识别对应的目标,接着借助图像与点云地图之间的联合标定变换关系将图像中识别的目标与所述点云地图中对应的目标进行融合匹配处理以确定语义识别对象。
在本实施例中,静态环境语义特征提取自点云地图并且关于静态环境语义特征的描述符被保存在语义地图定位图层内。可选地,静态环境语义特征包括点云数据帧中的边缘特征和平面特征。
在本实施例中,高精细语义地图规划图层包含车道拓扑图、道路拓扑图和基本道路指示信息。例如,可以由图像和点云地图生成用于提取地面标线的精细地理类别概率地图并将其保存在语义地图规划图层内,然后根据语义识别对象,由精细地理类别概率地图中提取的车道分隔线、道路边沿和停止线生成车道拓扑图和道路拓扑组图。
可选地,可以下列方式生成精细地理类别概率地图:由图像生成用于提取地面标线的第一地理类别概率地图,然后由点云地图生成用于提取地面标线的第二地理类别概率地图,随后通过融合第一地理类别概率地图和第二地理类别概率地图生成精细地理类别概率地图。通常而言,第一地理类别概率地图的精细程度优于第二地理类别概率地图。
图2A和2B分别为为按照本发明另一个实施例的导航地图测绘车辆的俯视图和侧视图。
如图2A和2B所示,多个单目相机210被设置在车辆20的外部(例如车辆上表面的前部)。如图所示,单目相机210的安装高度例如被设定为确保它们所提供的单目图像的组合能够覆盖至少三条车道并且同时保证两个单目相机之间有足够的视场重叠;GNSS模块220(例如双天线GNSS信号接收模块)被例如安装在车辆20的上表面的中部,相互的间距不小于1m,可选地为1.2~1.5米;激光雷达230(例如倾斜多线激光雷达模块)被安装在车辆20的上表面的后部,其安装高度例如选定为确保其不被车尾遮挡,安装的倾斜角度在30度~60度的范围内,以保证其视场不被遮挡且尽可能在车尾安全车距内;车辆轮速计单元240被安装在车轮附近(例如后轮附近);组合导航定位单元250被安装在车辆中轴线上靠近车辆后轴中心位置并且安装角度例如设定为尽可能对准车辆中轴线方向,其包含加速计、陀螺仪和处理单元,该处理器配置为将GNSS模块220接收的卫星定位信号与基于加速计、陀螺仪的惯性导航信号融合以生成GNSS/INS组合导航数据。如图所示,车辆20还包括设置于车辆侧面的多传感器数据时间同步模块260。
图3为按照本发明还有一个实施例的用于生成高精细语义地图的方法的流程图。示例性地,这里以图1所示的装置作为实施本实施例方法的实体,但是需要指出的是,本实施例以及对其的改进、改动或改变并不仅适合于图1所示的装置,其还可应用于具有其它结构的装置。
如图3所示,在步骤310,处理单元130从图像采集单元110和点云数据采集单元120分别接收与周围环境相关的多个图像和点云地图。示例性地,可以利用由多个单目相机来获取每个图像。例如如上所述,可以利用内部标定参数对多个单目相机摄取的单目图像进行畸变校正处理并且利用外部标定参数将多个经过畸变校正处理的单目图像拼接为一个图像,激光雷达的点云地图可以根据定位信息,将经过反射率校正处理和运动误差补偿处理的点云数据帧拼接在一起得到。
同样地,定位信息可以是一种定位数据,也可以通过融合多种定位数据而得到。例如可将GNSS/INS导航定位数据、轮速数据、基于激光雷达点云数据的同时定位与建图定位数据和多相机的同时定位与建图定位数据中的两种或更多种数据作融合滤波解算处理来得到定位信息。
随后进入步骤320,处理单元130由图像中识别的目标和点云地图中对应的目标确定语义识别对象。在步骤320中,处理单元130可以借助图像与点云地图之间的联合标定变换关系将图像中识别的目标与所述点云地图中对应的目标进行融合匹配处理,从而确定语义识别对象。
接着进入步骤330,处理单元130从点云地图中提取静态环境语义特征。需要指出的是,步骤320与330的顺序是可以互换的。
随后在步骤340中,处理单元130将语义识别对象和关于静态环境语义特征的描述符保存在语义地图定位图层内。可选地,语义识别对象以矢量化形式保存在语义地图定位图层内。
在步骤340之后,图3所示的方法流程进入步骤350。在该步骤中,处理单元130由图像和点云地图生成用于提取地面标线的精细地理类别概率地图并保存在语义地图规划图层内。可选地,在步骤350中,按照下列方式生成用于提取地面标线的精细地理类别概率地图:由图像生成用于提取地面标线的第一地理类别概率地图并且由点云数据帧生成用于提取地面标线的第二地理类别概率地图,随后通过融合第一地理类别概率地图和第二地理类别概率地图生成精细地理类别概率地图。可选地,精细地理类别概率地图以矢量化形式保存在语义地图规划图层内。
接着进入步骤360,处理单元130基于语义识别对象,由语义地图规划图层生成高精细语义地图规划图层。示例性地,处理单元130根据语义识别对象,由精细地理类别概率地图中提取的车道分隔线、道路边沿和停止线生成车道拓扑图和道路拓扑组图。
图4为按照本发明还有一个实施例的用于生成高精细语义地图的装置的框图。
图4所示的装置40包含存储器410、处理器420以及存储在存储器410上并可在处理器420上运行的计算机程序430,其中,执行计算机程序430可以实现上面借助图3所述的方法。
按照本发明的另一方面,还提供了一种计算机可读存储介质,其上存储计算机程序,该程序被处理器执行时可实现上面借助图3所述的方法。
提供本文中提出的实施例和示例,以便最好地说明按照本技术及其特定应用的实施例,并且由此使本领域的技术人员能够实施和使用本发明。但是,本领域的技术人员将会知道,仅为了便于说明和举例而提供以上描述和示例。所提出的描述不是意在涵盖本发明的各个方面或者将本发明局限于所公开的精确形式。
鉴于以上所述,本公开的范围通过以下权利要求书来确定。
Claims (21)
1.一种用于生成高精细语义地图的方法,其特征在于,包含下列步骤:
获取与周围环境相关的点云地图和多个图像;
由所述图像中识别的目标和所述点云地图中对应的目标确定语义识别对象,所述语义识别对象与位于与地面相交的平面内的物体相关联;
从所述点云地图中提取静态环境语义特征;
将所述语义识别对象和关于静态环境语义特征的描述符保存在语义地图定位图层内;
由所述图像和点云地图生成用于提取地面标线的精细地理类别概率地图;以及
利用语义识别对象和精细地理类别概率地图生成高精细语义地图规划图层,所述高精细语义地图规划图层包含道路拓扑关系、车道拓扑关系和基本道路指示信息。
2.如权利要求1所述的方法,其中,每个所述图像按照下列方式获取:
利用内部标定参数对多个单目相机摄取的单目图像进行畸变校正处理;以及
利用外部标定参数,将多个经过畸变校正处理的单目图像拼接为一个图像。
3.如权利要求1所述的方法,其中,所述点云地图按照下列方式获取:
对点云数据帧进行反射率校正处理和运动误差补偿处理;以及
根据定位信息,将经过反射率校正处理和运动误差补偿处理的点云数据帧拼接在一起以得到所述点云地图。
4.如权利要求3所述的方法,其中,通过将下列中的两种或更多种数据作融合滤波解算处理得到所述定位信息:组合导航定位数据、轮速数据、基于激光雷达点云数据的同时定位与建图定位数据和多相机的同时定位与建图定位数据。
5.如权利要求1所述的方法,其中,所述目标为交通标志、交通信号灯和静态障碍物中的至少一种。
6.如权利要求1所述的方法,其中,确定语义识别对象的步骤包括:
在所述图像中识别所述目标;
在所述点云地图中识别对应的目标;以及
借助所述图像与点云地图之间的联合标定变换关系将所述图像中识别的目标与所述点云地图中对应的目标进行融合匹配处理以确定所述语义识别对象。
7.如权利要求1所述的方法,其中,所述静态环境语义特征包括点云数据帧中的边缘特征和平面特征。
8.如权利要求1所述的方法,其中,所述语义识别对象以矢量化形式保存在所述语义地图定位图层内。
9.如权利要求1所述的方法,其中,按照下列方式生成用于提取地面标线的精细地理类别概率地图:
由所述图像生成用于提取地面标线的第一地理类别概率地图;
由所述点云数据帧生成用于提取地面标线的第二地理类别概率地图;以及
通过融合所述第一地理类别概率地图和第二地理类别概率地图生成所述精细地理类别概率地图。
10.如权利要求9所述的方法,其中,所述精细地理类别概率地图以矢量化形式保存在所述语义地图规划图层内。
11.如权利要求1所述的方法,其中,生成高精细语义地图规划图层的步骤包括:
根据所述语义识别对象,由所述精细地理类别概率地图中提取的车道分隔线、道路边沿和停止线生成车道拓扑图和道路拓扑组图。
12.一种用于生成高精细语义地图的车载***,其特征在于,包含:
图像采集单元,配置为获取与周围环境相关的多个图像;
点云数据采集单元,配置为获取与周围环境相关的点云地图;
处理单元,配置为执行下列步骤:
由所述图像中识别的目标和所述点云地图中对应的目标确定语义识别对象,所述语义识别对象与位于与地面相交的平面内的物体相关联;
从所述点云地图中提取静态环境语义特征;
将所述语义识别对象和关于静态环境语义特征的描述符保存在语义地图定位图层内;
由所述图像和点云地图生成用于提取地面标线的精细地理类别概率地图;以及
利用语义识别对象和精细地理类别概率地图生成高精细语义地图规划图层,所述高精细语义地图规划图层包含车道拓扑图、道路拓扑图和基本道路指示信息。
13.如权利要求12所述的车载***,其中,所述图像采集单元包括:
多个单目相机;
图像处理器,配置为执行下列步骤:
利用内部标定参数对单目相机拍摄的单目图像进行畸变校正处理,所述内部标定参数根据一个单目相机以不同角度和不同距离拍摄的同一标定物的图像数据确定;
利用外部标定参数将多个经过畸变校正处理的单目图像拼接为一个图像,所述外部标定参数根据多个单目相机拍摄的同一标定物的图像确定。
14.如权利要求12所述的车载***,其中,所述点云数据采集单元包括:
激光雷达,配置为发射第一激光束并接收反射的第二激光束;
处理器,配置为执行下列步骤:
对点云数据帧进行反射率校正处理和运动误差补偿处理;以及
根据定位信息,将经过反射率校正处理和运动误差补偿处理的点云数据帧拼接在一起以得到所述点云地图。
15.如权利要求14所述的车载***,其中,进一步包括:
GNSS/INS单元,配置为提供GNSS/INS组合导航数据;
车辆轮速计单元,配置为提供轮速数据;
多传感器数据时间同步单元,配置为使所述图像采集单元、点云数据采集单元、GNSS/INS单元和车辆轮速计单元的数据同步,
所述处理单元配置为通过将下列中的两种或更多种数据作融合滤波解算处理得到所述定位信息:GNSS/INS组合导航数据、轮速数据、基于激光雷达点云数据的同时定位与建图定位数据和多相机的同时定位与建图定位数据。
16.如权利要求12所述的车载***,其中,所述处理单元按照下列方式确定语义识别对象:
在所述图像中识别所述目标;
在所述点云地图中识别对应的目标;以及
借助所述图像与点云地图之间的联合标定变换关系将所述图像中识别的目标与所述点云地图中对应的目标进行融合匹配处理以确定所述语义识别对象。
17.如权利要求12所述的车载***,其中,所述处理单元按照下列方式生成用于提取地面标线的精细地理类别概率地图:
由所述图像生成用于提取地面标线的第一地理类别概率地图;
由所述点云地图生成用于提取地面标线的第二地理类别概率地图;以及
通过融合所述第一地理类别概率地图和第二地理类别概率地图生成所述精细地理类别概率地图。
18.如权利要求12所述的车载***,其中,所述处理单元按照下列方式生成高精细语义地图规划图层:
根据所述语义识别对象,由所述精细地理类别概率地图中提取的车道分隔线、道路边沿和停止线生成车道拓扑图和道路拓扑组图。
19.一种用于生成高精细语义地图的装置,其包含存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,执行所述程序以实现如权利要求1-11中任一项所述的方法。
20.一种计算机可读存储介质,其上存储计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-11中任一项所述的方法。
21.一种导航地图测绘车辆,其特征在于,包含如权利要求12-19中任意一项所述的用于生成高精细语义地图的装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910323449.4A CN110057373B (zh) | 2019-04-22 | 2019-04-22 | 用于生成高精细语义地图的方法、装置和计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910323449.4A CN110057373B (zh) | 2019-04-22 | 2019-04-22 | 用于生成高精细语义地图的方法、装置和计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110057373A true CN110057373A (zh) | 2019-07-26 |
CN110057373B CN110057373B (zh) | 2023-11-03 |
Family
ID=67320043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910323449.4A Active CN110057373B (zh) | 2019-04-22 | 2019-04-22 | 用于生成高精细语义地图的方法、装置和计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110057373B (zh) |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110825093A (zh) * | 2019-11-28 | 2020-02-21 | 安徽江淮汽车集团股份有限公司 | 自动驾驶策略生成方法、装置、设备及存储介质 |
CN110986945A (zh) * | 2019-11-14 | 2020-04-10 | 上海交通大学 | 基于语义高度地图的局部导航方法和*** |
CN111008660A (zh) * | 2019-12-03 | 2020-04-14 | 北京京东乾石科技有限公司 | 语义地图的生成方法、装置、***、存储介质及电子设备 |
CN111025331A (zh) * | 2019-12-25 | 2020-04-17 | 湖北省国土资源研究院(湖北省国土资源厅不动产登记中心) | 一种基于旋转结构的激光雷达建图方法及其扫描*** |
CN111176279A (zh) * | 2019-12-31 | 2020-05-19 | 北京四维图新科技股份有限公司 | 易受攻击人群区域的确定方法、装置、设备及存储介质 |
CN111192341A (zh) * | 2019-12-31 | 2020-05-22 | 北京三快在线科技有限公司 | 生成高精地图的方法、装置、自动驾驶设备及存储介质 |
CN111207762A (zh) * | 2019-12-31 | 2020-05-29 | 深圳一清创新科技有限公司 | 地图生成方法、装置、计算机设备和存储介质 |
CN111311709A (zh) * | 2020-02-05 | 2020-06-19 | 北京三快在线科技有限公司 | 一种生成高精地图的方法及装置 |
CN111710040A (zh) * | 2020-06-03 | 2020-09-25 | 纵目科技(上海)股份有限公司 | 一种高精度地图的构建方法、***、终端和存储介质 |
CN111958592A (zh) * | 2020-07-30 | 2020-11-20 | 国网智能科技股份有限公司 | 一种变电站巡检机器人图像语义分析***及方法 |
CN112254737A (zh) * | 2020-10-27 | 2021-01-22 | 北京晶众智慧交通科技股份有限公司 | 地图数据转换方法 |
CN112419404A (zh) * | 2019-08-21 | 2021-02-26 | 北京初速度科技有限公司 | 一种地图资料的获取方法和装置 |
CN112556654A (zh) * | 2020-12-17 | 2021-03-26 | 武汉中海庭数据技术有限公司 | 一种高精度地图数据采集装置及方法 |
CN112802095A (zh) * | 2019-11-14 | 2021-05-14 | 北京四维图新科技股份有限公司 | 定位方法、装置及设备、以及自动驾驶定位*** |
CN112986979A (zh) * | 2019-12-17 | 2021-06-18 | 动态Ad有限责任公司 | 使用融合的照相机/LiDAR数据点的自动对象标注 |
WO2021135371A1 (zh) * | 2019-12-31 | 2021-07-08 | 华为技术有限公司 | 一种自动驾驶方法、相关设备及计算机可读存储介质 |
CN113269977A (zh) * | 2020-01-29 | 2021-08-17 | 丰田自动车株式会社 | 地图生成用数据收集装置以及地图生成用数据收集方法 |
CN113418528A (zh) * | 2021-05-31 | 2021-09-21 | 江苏大学 | 一种面向智能汽车的交通场景语义建模装置、建模方法以及定位方法 |
CN113419245A (zh) * | 2021-06-23 | 2021-09-21 | 北京易航远智科技有限公司 | 一种基于v2x的实时建图***及建图方法 |
WO2021223116A1 (zh) * | 2020-05-06 | 2021-11-11 | 上海欧菲智能车联科技有限公司 | 感知地图生成方法、装置、计算机设备和存储介质 |
CN113656525A (zh) * | 2021-08-19 | 2021-11-16 | 广州小鹏自动驾驶科技有限公司 | 一种地图处理的方法和装置 |
WO2021227520A1 (zh) * | 2020-05-14 | 2021-11-18 | 广州文远知行科技有限公司 | 可视化界面的显示方法、装置、电子设备和存储介质 |
WO2021232470A1 (zh) * | 2020-05-19 | 2021-11-25 | 北京数字绿土科技有限公司 | 基于多传感器融合的slam制图方法、*** |
CN113721599A (zh) * | 2020-05-25 | 2021-11-30 | 华为技术有限公司 | 定位方法和定位装置 |
CN113945222A (zh) * | 2021-10-14 | 2022-01-18 | 华为技术有限公司 | 道路信息的识别方法、装置、电子设备、车辆及介质 |
CN113978484A (zh) * | 2021-09-30 | 2022-01-28 | 东风汽车集团股份有限公司 | 车辆控制方法、装置、电子设备及存储介质 |
CN114973910A (zh) * | 2022-07-27 | 2022-08-30 | 禾多科技(北京)有限公司 | 地图生成方法、装置、电子设备和计算机可读介质 |
CN115100631A (zh) * | 2022-07-18 | 2022-09-23 | 浙江省交通运输科学研究院 | 一种多源信息复合特征提取的道路地图采集***与方法 |
CN115164918A (zh) * | 2022-09-06 | 2022-10-11 | 联友智连科技有限公司 | 语义点云地图构建方法、装置及电子设备 |
CN112419404B (zh) * | 2019-08-21 | 2024-07-02 | 北京初速度科技有限公司 | 一种地图资料的获取方法和装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107063258A (zh) * | 2017-03-07 | 2017-08-18 | 重庆邮电大学 | 一种基于语义信息的移动机器人室内导航方法 |
CN107451526A (zh) * | 2017-06-09 | 2017-12-08 | 蔚来汽车有限公司 | 地图的构建及其应用 |
US20180232583A1 (en) * | 2017-02-16 | 2018-08-16 | Honda Motor Co., Ltd. | Systems for generating parking maps and methods thereof |
CN109117718A (zh) * | 2018-07-02 | 2019-01-01 | 东南大学 | 一种面向道路场景的三维语义地图构建和存储方法 |
CN109410301A (zh) * | 2018-10-16 | 2019-03-01 | 张亮 | 面向无人驾驶汽车的高精度语义地图制作方法 |
CN109461211A (zh) * | 2018-11-12 | 2019-03-12 | 南京人工智能高等研究院有限公司 | 基于视觉点云的语义矢量地图构建方法、装置和电子设备 |
CN109556615A (zh) * | 2018-10-10 | 2019-04-02 | 吉林大学 | 基于自动驾驶的多传感器融合认知的驾驶地图生成方法 |
CN109556617A (zh) * | 2018-11-09 | 2019-04-02 | 同济大学 | 一种自动建图机器人的地图要素提取方法 |
-
2019
- 2019-04-22 CN CN201910323449.4A patent/CN110057373B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180232583A1 (en) * | 2017-02-16 | 2018-08-16 | Honda Motor Co., Ltd. | Systems for generating parking maps and methods thereof |
CN107063258A (zh) * | 2017-03-07 | 2017-08-18 | 重庆邮电大学 | 一种基于语义信息的移动机器人室内导航方法 |
CN107451526A (zh) * | 2017-06-09 | 2017-12-08 | 蔚来汽车有限公司 | 地图的构建及其应用 |
CN109117718A (zh) * | 2018-07-02 | 2019-01-01 | 东南大学 | 一种面向道路场景的三维语义地图构建和存储方法 |
CN109556615A (zh) * | 2018-10-10 | 2019-04-02 | 吉林大学 | 基于自动驾驶的多传感器融合认知的驾驶地图生成方法 |
CN109410301A (zh) * | 2018-10-16 | 2019-03-01 | 张亮 | 面向无人驾驶汽车的高精度语义地图制作方法 |
CN109556617A (zh) * | 2018-11-09 | 2019-04-02 | 同济大学 | 一种自动建图机器人的地图要素提取方法 |
CN109461211A (zh) * | 2018-11-12 | 2019-03-12 | 南京人工智能高等研究院有限公司 | 基于视觉点云的语义矢量地图构建方法、装置和电子设备 |
Non-Patent Citations (1)
Title |
---|
杨玉荣;李峰;: "基于激光点云扫描的高精导航地图关键技术研究", no. 09 * |
Cited By (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112419404B (zh) * | 2019-08-21 | 2024-07-02 | 北京初速度科技有限公司 | 一种地图资料的获取方法和装置 |
CN112419404A (zh) * | 2019-08-21 | 2021-02-26 | 北京初速度科技有限公司 | 一种地图资料的获取方法和装置 |
CN110986945A (zh) * | 2019-11-14 | 2020-04-10 | 上海交通大学 | 基于语义高度地图的局部导航方法和*** |
CN112802095B (zh) * | 2019-11-14 | 2024-04-16 | 北京四维图新科技股份有限公司 | 定位方法、装置及设备、以及自动驾驶定位*** |
CN112802095A (zh) * | 2019-11-14 | 2021-05-14 | 北京四维图新科技股份有限公司 | 定位方法、装置及设备、以及自动驾驶定位*** |
CN110986945B (zh) * | 2019-11-14 | 2023-06-27 | 上海交通大学 | 基于语义高度地图的局部导航方法和*** |
CN110825093A (zh) * | 2019-11-28 | 2020-02-21 | 安徽江淮汽车集团股份有限公司 | 自动驾驶策略生成方法、装置、设备及存储介质 |
CN111008660A (zh) * | 2019-12-03 | 2020-04-14 | 北京京东乾石科技有限公司 | 语义地图的生成方法、装置、***、存储介质及电子设备 |
CN112986979A (zh) * | 2019-12-17 | 2021-06-18 | 动态Ad有限责任公司 | 使用融合的照相机/LiDAR数据点的自动对象标注 |
CN111025331A (zh) * | 2019-12-25 | 2020-04-17 | 湖北省国土资源研究院(湖北省国土资源厅不动产登记中心) | 一种基于旋转结构的激光雷达建图方法及其扫描*** |
CN111176279A (zh) * | 2019-12-31 | 2020-05-19 | 北京四维图新科技股份有限公司 | 易受攻击人群区域的确定方法、装置、设备及存储介质 |
CN111207762B (zh) * | 2019-12-31 | 2021-12-07 | 深圳一清创新科技有限公司 | 地图生成方法、装置、计算机设备和存储介质 |
CN111176279B (zh) * | 2019-12-31 | 2023-09-26 | 北京四维图新科技股份有限公司 | 易受攻击人群区域的确定方法、装置、设备及存储介质 |
CN111207762A (zh) * | 2019-12-31 | 2020-05-29 | 深圳一清创新科技有限公司 | 地图生成方法、装置、计算机设备和存储介质 |
CN111192341A (zh) * | 2019-12-31 | 2020-05-22 | 北京三快在线科技有限公司 | 生成高精地图的方法、装置、自动驾驶设备及存储介质 |
WO2021135371A1 (zh) * | 2019-12-31 | 2021-07-08 | 华为技术有限公司 | 一种自动驾驶方法、相关设备及计算机可读存储介质 |
CN113269977A (zh) * | 2020-01-29 | 2021-08-17 | 丰田自动车株式会社 | 地图生成用数据收集装置以及地图生成用数据收集方法 |
CN111311709A (zh) * | 2020-02-05 | 2020-06-19 | 北京三快在线科技有限公司 | 一种生成高精地图的方法及装置 |
CN111311709B (zh) * | 2020-02-05 | 2023-06-20 | 北京三快在线科技有限公司 | 一种生成高精地图的方法及装置 |
WO2021223116A1 (zh) * | 2020-05-06 | 2021-11-11 | 上海欧菲智能车联科技有限公司 | 感知地图生成方法、装置、计算机设备和存储介质 |
WO2021227520A1 (zh) * | 2020-05-14 | 2021-11-18 | 广州文远知行科技有限公司 | 可视化界面的显示方法、装置、电子设备和存储介质 |
WO2021232470A1 (zh) * | 2020-05-19 | 2021-11-25 | 北京数字绿土科技有限公司 | 基于多传感器融合的slam制图方法、*** |
EP4141600A4 (en) * | 2020-05-25 | 2023-11-01 | Huawei Technologies Co., Ltd. | POSITIONING METHOD AND APPARATUS |
CN113721599A (zh) * | 2020-05-25 | 2021-11-30 | 华为技术有限公司 | 定位方法和定位装置 |
CN113721599B (zh) * | 2020-05-25 | 2023-10-20 | 华为技术有限公司 | 定位方法和定位装置 |
CN111710040B (zh) * | 2020-06-03 | 2024-04-09 | 纵目科技(上海)股份有限公司 | 一种高精度地图的构建方法、***、终端和存储介质 |
CN111710040A (zh) * | 2020-06-03 | 2020-09-25 | 纵目科技(上海)股份有限公司 | 一种高精度地图的构建方法、***、终端和存储介质 |
CN111958592B (zh) * | 2020-07-30 | 2021-08-20 | 国网智能科技股份有限公司 | 一种变电站巡检机器人图像语义分析***及方法 |
CN111958592A (zh) * | 2020-07-30 | 2020-11-20 | 国网智能科技股份有限公司 | 一种变电站巡检机器人图像语义分析***及方法 |
CN112254737A (zh) * | 2020-10-27 | 2021-01-22 | 北京晶众智慧交通科技股份有限公司 | 地图数据转换方法 |
CN112556654A (zh) * | 2020-12-17 | 2021-03-26 | 武汉中海庭数据技术有限公司 | 一种高精度地图数据采集装置及方法 |
CN113418528A (zh) * | 2021-05-31 | 2021-09-21 | 江苏大学 | 一种面向智能汽车的交通场景语义建模装置、建模方法以及定位方法 |
CN113419245A (zh) * | 2021-06-23 | 2021-09-21 | 北京易航远智科技有限公司 | 一种基于v2x的实时建图***及建图方法 |
CN113656525A (zh) * | 2021-08-19 | 2021-11-16 | 广州小鹏自动驾驶科技有限公司 | 一种地图处理的方法和装置 |
CN113656525B (zh) * | 2021-08-19 | 2024-04-16 | 广州小鹏自动驾驶科技有限公司 | 一种地图处理的方法和装置 |
CN113978484A (zh) * | 2021-09-30 | 2022-01-28 | 东风汽车集团股份有限公司 | 车辆控制方法、装置、电子设备及存储介质 |
CN113945222A (zh) * | 2021-10-14 | 2022-01-18 | 华为技术有限公司 | 道路信息的识别方法、装置、电子设备、车辆及介质 |
CN113945222B (zh) * | 2021-10-14 | 2024-04-12 | 华为技术有限公司 | 道路信息的识别方法、装置、电子设备、车辆及介质 |
CN115100631A (zh) * | 2022-07-18 | 2022-09-23 | 浙江省交通运输科学研究院 | 一种多源信息复合特征提取的道路地图采集***与方法 |
CN114973910B (zh) * | 2022-07-27 | 2022-11-11 | 禾多科技(北京)有限公司 | 地图生成方法、装置、电子设备和计算机可读介质 |
CN114973910A (zh) * | 2022-07-27 | 2022-08-30 | 禾多科技(北京)有限公司 | 地图生成方法、装置、电子设备和计算机可读介质 |
CN115164918A (zh) * | 2022-09-06 | 2022-10-11 | 联友智连科技有限公司 | 语义点云地图构建方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110057373B (zh) | 2023-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110057373A (zh) | 用于生成高精细语义地图的方法、装置和计算机存储介质 | |
CN109991984A (zh) | 用于生成高精细地图的方法、装置和计算机存储介质 | |
JP7077520B2 (ja) | 自律車両の車線割り当てを決定するシステム、自律車両の車線割り当てを決定するためにコンピュータで実装された方法、およびコンピュータプログラム | |
CN108801276B (zh) | 高精度地图生成方法及装置 | |
JP7127941B2 (ja) | 方法、システム及びプログラム | |
CN106441319B (zh) | 一种无人驾驶车辆车道级导航地图的生成***及方法 | |
JP5227065B2 (ja) | 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置 | |
CN106461402B (zh) | 用于确定相对于数字地图的位置的方法及*** | |
EP3650814B1 (en) | Vision augmented navigation | |
US20190101649A1 (en) | Systems, devices, and methods for autonomous vehicle localization | |
Brenner | Extraction of features from mobile laser scanning data for future driver assistance systems | |
CN109870689A (zh) | 毫米波雷达与高精矢量地图匹配的车道级定位方法与*** | |
CN110906954A (zh) | 一种基于自动驾驶平台的高精度地图测试评估方法和装置 | |
CN110211228A (zh) | 用于建图的数据处理方法及装置 | |
CN111426320B (zh) | 一种基于图像匹配/惯导/里程计的车辆自主导航方法 | |
CN106501829A (zh) | 一种无人机导航方法和装置 | |
CN109753084A (zh) | 一种无人驾驶设备和方法 | |
US11866167B2 (en) | Method and algorithm for flight, movement, autonomy, in GPS, communication, degraded, denied, obstructed non optimal environment | |
Shunsuke et al. | GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon | |
US8325065B2 (en) | Self-orienting sighting reticle for vehicle aiming equipment | |
CN109446973A (zh) | 一种基于深度神经网络图像识别的车辆定位方法 | |
CN109490931A (zh) | 飞行定位方法、装置及无人机 | |
CN110388939A (zh) | 一种基于航拍图像匹配的车载惯导定位误差修正方法 | |
CN110220517A (zh) | 一种结合环境语意的室内机器人鲁棒slam方法 | |
CN115027482A (zh) | 智能驾驶中的融合定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |