CN110070139B - 面向自动驾驶环境感知的小样本在环学习***和方法 - Google Patents
面向自动驾驶环境感知的小样本在环学习***和方法 Download PDFInfo
- Publication number
- CN110070139B CN110070139B CN201910347340.4A CN201910347340A CN110070139B CN 110070139 B CN110070139 B CN 110070139B CN 201910347340 A CN201910347340 A CN 201910347340A CN 110070139 B CN110070139 B CN 110070139B
- Authority
- CN
- China
- Prior art keywords
- learning
- image
- data
- target
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明的一种面向自动驾驶环境感知的小样本在环学***台配合仿真软件,解决了实车自动驾驶环境感知算法开发中大规模数据获取困难的问题,实现场景自定义功能,模拟生成大量实际情况中很难实现的场景数据,增加了实验开发的安全性。
Description
技术领域
本发明涉及智能驾驶领域,具体涉及一种面向自动驾驶环境感知的小样本在环学习***和方法。
背景技术
基于摄像头硬件的自动驾驶环境感知***是自动驾驶汽车智能化***的最重要组成部分之一。自动驾驶智能化***主要实现的功能包括:传感、感知、决策、控制等内容,自动驾驶汽车开发的工作中,大部分的技术难题和挑战都来自于环境感知和计算机视觉部分。
目前自动驾驶环境感知技术的解决方案主要基于计算机视觉和机器学习,面向计算机视觉的机器学习方法以深度学习为主,深度学习的是数据驱动的机器学习方法,其对学习模型的训练依赖大量的多样化的准确标记的数据集,存在长尾分布、标记困难、数据不足和认知机理四个方面的局限,进而在自动驾驶技术产品化的进程中逐渐受到限制,因此不依赖于大规模数据的小样本学习方法成为迫切的技术需求。深度学习和小样本学习的对比如下文所述:
一、长尾分布
以某自动驾驶场景数据集为例,共200种类别,其中10个高频率类别的样本量覆盖整体数据集45%,190个低频率类别的样本量覆盖整体数据集55%,自动驾驶场景大多数为低频率样本,难以面向深度学习模型采集大规模数据进行算法训练。
二、标记困难
面向自动驾驶环境感知的深度学习模型训练往往需要100K规模的数据集,大规模的数据集在人工标注方面存在成本高和人工误差两方面的劣势,进而导致自动驾驶公司在数据标记中开销很大,并且无法得到精准标注的数据。
三、数据不足
在面向算法模型训练的大规模样本数据采集中,存在采集数据成本过高、周期过长、危险场景数据难以采集等问题,进而导致自动驾驶公司往往存在样本数据不足的问题。
四、认知机理
以深度学习为代表的数据驱动型的机器学习模型,并非模拟人类大脑认知的学习机理,实际上,人类学习是理解驱动型的学习,如人类通过一次观察认知物体、基于描述识别初次见到的物体、基于描述想象未曾见到的物体,基于概念***匹配和模型驱动的小样本学习与人类识别的机理更为相似,可以极大的提升计算机视觉的工作效率。
发明内容
针对上述现有技术存在的问题,本发明提供了一种面向自动驾驶环境感知的小样本在环学***台,对比实体车辆开发成本降低、实验效率高;模拟生成大量实际情况中很难实现的场景数据,以及生成面向极端工况目标检测的复杂场景或者危险场景,增加了实验开发的安全性。
本发明提供了一种面向自动驾驶环境感知的小样本在环学习***,所述***基于数据训练集对目标学习模型进行算法训练,获取目标检测算法,在物理ECU模块进行小样本训练集训练学习,获取目标感知算法,通过获取的目标检测算法和目标感知算法进行所述***的目标算法测试,所述***包括:
样本输入模块,用于输入小样本测试集实验数据;
图像采集模块,用于采集实验用道路图像以及视频数据;
图像显示模块,用于显示实验过程的模拟道路图像数据;
物理ECU模块,用于集成小样本训练集训练学习的目标感知算法,进程目标场景的物体检测;
结果输出模块,用于所述***通过目标算法对环境进行感知的结果输出。
作为上述方案的进一步优化,所述物理ECU模块进行小样本训练学习获取目标感知算法包括如下:
(1)通过数据输入接口输入实验用数据;
(2)基于训练数据集进行模型学习训练获取目标分类器;
(3)对比目标相机采集的图像以及用于对比的标准图像,分析并计算获取图像转换参数,进行相机标定;
(4)获取目标相机采集的图像,采用畸变矩阵、内参数矩阵、旋转向量、位移向量作为计算参数,对采集的车道线图像进行畸变矫正,获取矫正后的图像;
(5)基于概念匹配学***;
采用数学模型,将小样本数据扩展为大样本数据,通过大样本数据的机器学习模型进行感知操作;
(6)优化机器学习模型,将数据驱动学习转化为模型驱动学习,进行模型增强学习;
(7)输出训练学习模型训练的目标算法。
作为上述方案的进一步优化,所述针对采集的车道线图像进行畸变矫正的过程包括如下:
相机标定,采集拍摄对象的数据图像,获取世界坐标系点以及与世界坐标系对应的图像点,通过世界坐标系点和图像点计算相机的畸变矩阵、内参数矩阵、旋转向量和位移向量;
图像畸变矫正,获取目标图像的世界坐标系点和图像点,采用畸变矩阵、内参数矩阵、旋转向量和位移向量为计算参数,对采集的车道线图像进行畸变矫正,获取矫正图像。
作为上述方案的进一步优化,所述相机标定包括如下:
(11)设置世界坐标系XO1Y,O1点为坐标系原点,即车道检测算法在环仿真开发方法中相机进行图像数据采集视野下边沿的中心,Y轴为车辆坐标系的纵向,表示车辆前进方向,X轴为横向,表示车辆右转方向,坐标系内的物点坐标用(x,y)表示,单位cm;
(12)设置图像坐标系UO2V,O2点为坐标系原点,即车道检测算法在环仿真开发方法中相机图像平面的右上角,U轴是图像上边的一行元素,方向向左,V轴是图像右边的一列像素,方向向下,坐标系内的像素点坐标用(u,v)表示,表征该像素点位于图像数组的列数和行数,单位为像素;
(13)构建纵向畸变矫正算法模型,截取世界坐标系XO1Y的Y轴,即车辆纵向的纵向切面,存在地平面上的一点I,世界坐标系中I点坐标为(0,y),图像坐标系中I′点坐标为(u,v),I点和I′点为相互映射关系,两坐标系纵向的V轴和Y轴的对应关系为:
公式(1)中,h为摄像头的高度,θ为摄像头俯仰角,α为摄像头张角,f为摄像头焦距;
(14)构建横向畸变矫正算法模型,截取世界坐标系XO1Y的Y轴,即车辆纵向的纵向切面,地平面上的一点I,世界坐标系中I点坐标为(0,y),图像坐标系中I′点坐标为(u,v),I点和I′为相互映射关系,两坐标系横向的U轴和X轴的对应关系为:
公式(2)中,l为摄像头视野下部的宽度,N为像素的总列数。
作为上述方案的进一步优化,所述概念匹配学习通过构建直接属性预测模型执行,设m为样本空间,n为类别空间,z为属性空间,p=1表示条件判断为真,p=0表示条件判断为假,i为自然数,具体包括如下:
(21)训练概率分类器模型
针对任意目标属性zm,基于小样本训练数据集进行学习训练,构建概率分类器模型;
(22)构建图像-属性匹配规则,基于步骤(21)构建的概率分类器模型,对咪表概率进行预测,获取完整的图像-属性匹配规则,如下式:
(23)测试概率分类器模型
通过集合属性的匹配特征,针对测试数据集不可见类图像的识别,设定测试数据集每个类别n确定包含其对应的属性向量zn,即:
p(z|n)=[[z=zn]] (4)
基于贝叶斯法则得到属性-类别的关联表示如下所示:
通过式(3)和(5),获取小样本测试数据集中图像和类别的对应关系:
(24)基于直接属性预测的小样本数据分类器模型,设定样本数据集相同类别的数据具有先验性,忽略类别因子p(n);
设定一个属性因子p(z),分布公式如下:
采用经验平均值,基于样本训练数据集,其属性优先级的表示如下:
基于决策规则f:m→n,根据小样本测试数据集的所有类别,为目标测试样本m分配最佳输出类别,设定l为获取小样本测试数据集的目标图像分类器模型如下
作为上述方案的进一步优化,所述概念匹配学习还通过构建间接属性预测模型执行,基于直接属性预测进行相关内容的优化工作,获取间接属性预测的内容,具体优化工作包括如下:
(31)基于小样本训练数据集的类别wk,k=1,2,3...k,训练学习一个统计型多类别分类器模型p(wk|m);
(32)基于直接属性预测,设定属性与类别的确定依赖关系,如下所示:
(33)根据步骤(31)和(32),获取间接属性与样本关联的概率分类器模型,
(34)将优化后的概率分类器模型代入直接属性预测任务,获取最终的目标分类器模型。
作为上述方案的进一步优化,所述图像匹配学习通过目标样本数据的语义属性概念,合成新的虚拟图像,进行不可见类图像的识别;所述图像匹配学习包括如下:
(41)基于小样本训练数据集,进行可见类的分类器模型训练学习;
(42)通过不可见类数据的属性特征合成视觉特征,基于合成视觉元素,完善样本训练数据集,并进行不可见类的分类器模型训练学习;
(43)基于测试数据集,对训练完成的分类器模型进行测试,进行不可见类识别。
作为上述方案的进一步优化,所述数据扩展学习基于增广矩阵生成的基本理论,采用训练数据集为基础,持续生成新的数据,增加训练数据集样本的数量。
作为上述方案的进一步优化,所述模型增强学习基于小样本训练数据集,应用外部存储器,对新样本数据信息完成快速编码、索引和吸收工作,对样本数据和类别标注的匹配关系进行预测。
本发明还公开了一种基于上述在环学习***的面向自动驾驶环境感知的小样本在环学习方法,所述方法包括如下:
步骤A:构建在环仿真实验平台,其包括:
实验区,所述实验区为由木板构建成封闭的长方体工作腔;
工作台,所述工作台为由支撑杆构建成与实验区四条侧边匹配的长方体工作腔;
所述工作台位于所述实验区的下端,通过实验区底部的木板支撑实验区,且所述工作台工作腔的底部设置有支撑工控机和电源的木板;
所述实验区的前端内侧设置有用于输出相机数据的显示屏,左右侧边内侧均水平设置有照明灯移动支架,所述照明灯移动支架设置有可调节亮度的照明灯,后端内侧水平设置运动支架,所述运动支架活动设置万向连接部,所述万向连接部设置有相机。
步骤B:实现面向自动驾驶环境感知的小样本在环仿真开发方法,其包括:
B1,工控机、相机与显示屏均与电源电连接,且显示屏和相机均与所述工控机电连接;
B2,依次开启电源开关与工控机开关,电力驱动在环仿真实验平台工作;
B3,设置显示屏为工作状态,工控机运行在环仿真软件,生成实验用虚拟交通场景;
B4,设置照明灯为工作状态,调节照明灯至实验用环境亮度;
B5,设置相机为工作状态,运行工控机的相机数据采集软件,通过移动万向连接部延运动支架轴向运动调整相机的相对位置,设置相机相对万向连接部的角度调整相机的数据采集方向点,工控机实时采集显示屏输出的相机数据图像,上传数据至ECU模块进行目标检测分析;
B6,检测结果输出至行为决策模块进行决策工作,输出决策控制信号;
B7,根据获取的决策控制信号,在环仿真软件在虚拟交通场景执行对应的控制执行操作;
B8,面向自动驾驶环境感知的小样本在环仿真开发实验的自动驾驶闭环形成,持续运行直至实验结束。
本发明采用上述的技术方案,与现有技术相比,本发明的一种面向自动驾驶环境感知的小样本在环学习***和方法,具有以下技术效果:
1.本发明的一种面向自动驾驶环境感知的小样本在环学习***,基于数据训练集对目标学习模型进行算法训练,获取目标检测算法,在物理ECU模块进行小样本训练集训练学习,获取目标感知算法,通过获取的目标感知算法进行所述***的目标算法测试,实现面向深度学习模型采集大规模数据通过目标算法进行训练;
2.本发明的一种面向自动驾驶环境感知的小样本在环学***台,对比实体车辆,开发成本降低、实验效率高,同时实验的流程相对实体车辆也简便灵活;基于在环实验仿真平台的相机标记,通过坐标系点和图像点计算得到目标相机的畸变矩阵、内参数矩阵、旋转向量和位移向量,便于实验过程的标注的准确性;
3.本发明的一种面向自动驾驶环境感知的小样本在环学***台配合仿真软件,实现场景自定义功能,场景可完全还原实际路况,模拟生成大量实际情况中很难实现的场景数据,以及生成面向极端工况目标检测的复杂场景或者危险场景,同时增加了实验研发的安全性。
附图说明
图1为本发明的一种面向自动驾驶环境感知的小样本在环学习***的流程图;
图2为本发明的一种面向自动驾驶环境感知的小样本在环学习***的世界坐标系与图像坐标系转换关系图;
图3为本发明的一种面向自动驾驶环境感知的小样本在环学习***的车辆纵向示意图;
图4为本发明的一种面向自动驾驶环境感知的小样本在环学习***的直接属性预测模型构建流程图;
图5为本发明的一种面向自动驾驶环境感知的小样本在环学习***的图像匹配学习流程示意图;
图6为本发明的一种面向自动驾驶环境感知的小样本在环学***台结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面通过附图中及实施例,对本发明进行进一步详细说明。但是应该理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限制本发明的范围。
如图1-6所示,本实施例提供了一种面向自动驾驶环境感知的小样本在环学习***,所述***基于数据训练集对目标学习模型进行算法训练,获取目标检测算法,在物理ECU模块进行小样本训练集训练学习,获取目标感知算法,通过获取的目标检测算法和目标感知算法进行所述***的目标算法测试,所述***包括:
样本输入模块,用于输入小样本测试集实验数据;
图像采集模块,用于采集实验用道路图像以及视频数据;
图像显示模块,用于显示实验过程的模拟道路图像数据;
物理ECU模块,用于集成小样本训练集训练学习的目标感知算法,进程目标场景的物体检测;
结果输出模块,用于所述***通过目标算法对环境进行感知的结果输出。
所述物理ECU模块进行小样本训练学习获取目标感知算法包括如下:
步骤S1,通过数据输入接口输入实验用数据;
步骤S2,基于训练数据集进行模型学习训练获取目标分类器;
步骤S3,对比目标相机采集的图像以及用于对比的标准图像,分析并计算获取图像转换参数,进行相机标定;
步骤S4,获取目标相机采集的图像,采用畸变矩阵、内参数矩阵、旋转向量、位移向量作为计算参数,对采集的车道线图像进行畸变矫正,获取矫正后的图像;
步骤S5,基于概念匹配学***;
采用数学模型,将小样本数据扩展为大样本数据,通过大样本数据的机器学习模型进行感知操作;
步骤S6,优化机器学习模型,将数据驱动学习转化为模型驱动学习,进行模型增强学习;
步骤S7,输出训练学习模型训练的目标算法。
针对采集的车道线图像进行畸变矫正的过程包括如下:
相机标定,采集拍摄对象的数据图像,获取世界坐标系点以及与世界坐标系对应的图像点,通过世界坐标系点和图像点计算相机的畸变矩阵、内参数矩阵、旋转向量和位移向量;
图像畸变矫正,获取目标图像的世界坐标系点和图像点,采用畸变矩阵、内参数矩阵、旋转向量和位移向量为计算参数,对采集的车道线图像进行畸变矫正,获取矫正图像。
所述相机标定包括如下:
(11)设置世界坐标系XO1Y,O1点为坐标系原点,即车道检测算法在环仿真开发方法中相机进行图像数据采集视野下边沿的中心,Y轴为车辆坐标系的纵向,表示车辆前进方向,X轴为横向,表示车辆右转方向,坐标系内的物点坐标用(x,y)表示,单位cm;
(12)设置图像坐标系UO2V,O2点为坐标系原点,即车道检测算法在环仿真开发方法中相机图像平面的右上角,U轴是图像上边的一行元素,方向向左,V轴是图像右边的一列像素,方向向下,坐标系内的像素点坐标用(u,v)表示,表征该像素点位于图像数组的列数和行数,单位为像素;
(13)构建纵向畸变矫正算法模型,截取世界坐标系XO1Y的Y轴,即车辆纵向的纵向切面,存在地平面上的一点I,世界坐标系中I点坐标为(0,y),图像坐标系中I′点坐标为(u,v),I点和I′点为相互映射关系,两坐标系纵向的V轴和Y轴的对应关系为:
公式(1)中,h为摄像头的高度,θ为摄像头俯仰角,α为摄像头张角,f为摄像头焦距;
(14)构建横向畸变矫正算法模型,截取世界坐标系XO1Y的Y轴,即车辆纵向的纵向切面,地平面上的一点I,世界坐标系中I点坐标为(0,y),图像坐标系中I′点坐标为(u,v),I点和I′为相互映射关系,两坐标系横向的U轴和X轴的对应关系为:
公式(2)中,l为摄像头视野下部的宽度,N为像素的总列数。
概念匹配学习通过构建直接属性预测模型执行,设m为样本空间,n为类别空间,z为属性空间,p=1表示条件判断为真,p=0表示条件判断为假,i为自然数,具体包括如下:
(21)训练概率分类器模型
针对任意目标属性zm,基于小样本训练数据集进行学习训练,构建概率分类器模型;
(22)构建图像-属性匹配规则,基于步骤(21)构建的概率分类器模型,对咪表概率进行预测,获取完整的图像-属性匹配规则,如下式:
(23)测试概率分类器模型
通过集合属性的匹配特征,针对测试数据集不可见类图像的识别,设定测试数据集每个类别n确定包含其对应的属性向量zn,即:
p(z|n)=[[z=zn]] (4)
基于贝叶斯法则得到属性-类别的关联表示如下所示:
通过式(3)和(5),获取小样本测试数据集中图像和类别的对应关系:
(24)基于直接属性预测的小样本数据分类器模型,设定样本数据集相同类别的数据具有先验性,忽略类别因子p(n);
设定一个属性因子p(z),分布公式如下:
采用经验平均值,基于样本训练数据集,其属性优先级的表示如下:
基于决策规则f:m→n,根据小样本测试数据集的所有类别,为目标测试样本m分配最佳输出类别,设定l为获取小样本测试数据集的目标图像分类器模型如下
所述概念匹配学习还通过构建间接属性预测模型执行,基于直接属性预测进行相关内容的优化工作,获取间接属性预测的内容,具体优化工作包括如下:
(31)基于小样本训练数据集的类别wk,k=1,2,3...k,训练学习一个统计型多类别分类器模型p(wk|m);
(32)基于直接属性预测,设定属性与类别的确定依赖关系,如下所示:
(33)根据步骤(31)和(32),获取间接属性与样本关联的概率分类器模型,
(34)将优化后的概率分类器模型代入直接属性预测任务,获取最终的目标分类器模型;
所述图像匹配学习通过目标样本数据的语义属性概念,合成新的虚拟图像,进行不可见类图像的识别;所述图像匹配学习包括如下:
(41)基于小样本训练数据集,进行可见类的分类器模型训练学习;
(42)通过不可见类数据的属性特征合成视觉特征,基于合成视觉元素,完善样本训练数据集,并进行不可见类的分类器模型训练学习;
(43)基于测试数据集,对训练完成的分类器模型进行测试,进行不可见类识别。
(51)训练数据集,下式中,E是训练数据集的样本数目,
D维图像特征空间表示如下所示,
Ms=[med]∈RE×D (13)
J维图像特征空间表示如下所示,
Zs=[zej]∈RE×J (14)
C维离散型类别标注空间如下所示,
We∈{1,...,C} (15)
(52)测试数据集,通过设计框架应用统一的范式处理两种类型的属性数据,框架的设计如下:
测试环节三维度数据信息(依次为图像特征、属性、离散型类别)如下所示,
测试集的类为不可见类,即与训练集的类不重合,如下所示,
J维不可见类属性空间表示如下所示:
图像匹配学习目标是训练学习一个可以识别测试集不可见类数据的分类器模型,如下式所述:
f:Mt→Wt (19)
(53)不可见图像数据合成,基于语义属性合成不可见类图像特征,首先基于训练数据集训练学习一个嵌入式函数,然后基于嵌入函数,输入不可见类的属性,合成目标不可见类图像,具体如下所示:
fs:zs→Ms (20)
Mt=fs(Zt) (21)
(54)测试任务,基于合成的视觉图像特征,直接估计不可见类的概率分布,应用监督分类器模型预测不可见类的标注,完成测试任务;
具体的,还通过嵌入式方法进行不可见图像数据合成,通过学习一个新的目标函数使多分类误差同时最小化,且考虑不同属性之间的关系,如下所示,P是投影矩阵,L是损失函数,Ω(P)是正则化计算,超调参数为λ,矩阵范数为F;
基于投影矩阵P,将不可见类图像样本直接映射到属性空间,为解决偏差问题,提出逆向学习方法基于属性合成视觉图像特征,完成语义属性空间到视觉图像空间的映射,如此基于投影矩阵P,将不可见类的语义属性映射到图像空间;
具体的,为了解决实践中视觉空间和语义空间差距巨大,由于合成数据的判别行不够、内在拓扑结构不足、最小重构误差等原因,合成数据特征分布存在与原始特征完全不同的可能性的问题,本实施例还提出一种辅助隐式嵌入空间V,使得语义属性空间和图像特征空间相协调
V=[vnd]∈RE×D (25)
通过让空间V保留语义属性空间和图像特征空间两者的内在结构信息,估计两个矩阵之间的欧几里得距离;
通过空间V,实现先从图像特征空间X中分解得到空间V,进而从空间V分解得到语义属性空间A,且P、Q均为投影矩阵,如下式所示;
上式中,Ω1为对偶图,L是图像的拉普拉斯矩阵,D、I是图像空间的维数,L=D-I,V是辅助隐式嵌入空间,Tr()为计算矩阵的轨迹;
Ω1(V)=Tr(VTDV)-Tr(VTIV)=Tr(VTLV) (28)
更具体的,为了解决方差信息大量集中于少数的投影中,分配不均,导致合成数据的剩余维度出现大幅度方差衰减的问题,本实施例通过调整旋转,让集中的信息可以有效扩散到所有学习模型的维度;
通过修正上式(26)的投影矩阵Q,采用正交旋转,QQT=I,获取下式(21),通过正交变换改变坐标系来旋转整个特征空间,进而在不改变整体方差Г的条件下,将高方差扩散到低方差维度;
Tr(QTPTZTZPQ)=Tr(PTZTZP) (29)
保证整体方差Г不变,将整体方差Г趋于平均的扩散到学习模型的所有维度,进而覆盖视觉图像空间的真实数据分布,即要求方差的扩散标准差∏在基于语义属性合成的视觉特征数据空间中尽可能地要小,所以将方差Г的扩散标准差∏做最小化求解,扩散标准差∏的简化表达式如下所示,μ、γ为环境常量;
通过上式将扩散标准差∏最小化的问题,转化为K最大化的问题,再结合上式(26)和(28),将从属性空间A映射到图像空间X的重构误差最小化,同时保留数据结构,并让数据扩散到各个维度,β为K的系数;
所述数据扩展学习基于增广矩阵生成的基本理论,采用训练数据集为基础,持续生成新的数据,增加训练数据集样本的数量,将小样本的训练数据集扩展成为大样本的训练数据集,进而将小样本学习模型转化为传统的大样本深度学习模型,完成学习工作;
具体的,本实施例提出一种算法,创建包含n×n单元的网络,每个单元包含一个不同的旋转的随机图像,并在新创建的图像中引入自然背景。基于小样本数据集进行图像生成,将新图像补充到训练数据集,扩展后的数据集具有大规模图像样本;
所述数据扩展学习模型工作流程如下:
(61)基于小样本数据集,构建包含G张图片的文件列表,图片定为Ii,i∈G,初始化网格的每个单元内容,n×n=M;
(62)计算目标尺寸,Iq=ceil(Ii)/2;
计算目标阵列Iq;
(63)旋转目标阵列,旋转角度为0-180随机数值,产生新的图像Ir;
应用基于相邻像素的人工像素填充在旋转产生的误差背景,由图像Ir生成图像Ia;所有图像Ia组合放入对应单元M中,如下式所示
Ic=[Iam,...,Ia(m+3),...,Ia(M)] (32)
(64)更新数据集,阵列单元Ic转换为图像矩阵Im;
图像矩阵Im的像素格式转换为规定格式;优选的,本实施例为像素;
存储图像Im(i)到目标数据集文件夹
基于生成的新图像,更新训练数据集,并以此进行传统学习模型的学习训练,完成数据扩展学习任务
所述模型增强学习基于小样本训练数据集,应用外部存储器,对新样本数据信息完成快速编码、索引和吸收工作,对样本数据和类别标注的匹配关系进行预测;
所述模型增强学习算法模型的工作流程如下:
(71)学习模型任务设置,选择参数θ来降低从数据集D到数据集分布p(D)的学习成本L,
θ=argminθFD`p(D)[L(D;θ)] (33)
数据集D的表达式如下式所示,其中xt为目标图像样本,yt为目标图像类别标注,
上述任务设置中,yt为分类器模型识别的目标类,且同时为样本图像xt一起以时间偏移的方式作为输入的类标注;
所述模型增强学习的任务设置包括如下:
(711)为目标图像样本xt在给定的时间步长下输出正确的类别标注;
(712)将类别标注在不同的数据集之间重组,以避免学习模型在其权重中出现数据和类别的慢速绑定干扰,进而面向基于小样本的新样本信息快速索引和编码;
(713)在存储器中保留图像数据样本直到下一个时间步中出现正确的类别标注,并将数据和类别信息进行绑定并存储以作下一步使用;
(714)类别标注重组后,前期的数据和类别的匹配关系失效,对新输入的随机样本数据,可完成前期对目标类的随机预测,和后期基于存储器的目标类别准确预测;
(715)建立预测分布函数,计算每个时间步的相应损失量值;
(72)应用快速编码和索引模块,模型增强学习算法训练学习一种选择策略,即选择面向记忆存储的数据表示类型和面向准确预测的数据使用方法,进而通过控制速度来对只见过一次的数据进行准确预测,完成基于模型增强的小样本学习目标;
(73)针对目标数据信息进行精确编码和纯基于内容的检索,当新数据信息写入到最少使用位置时,对最近编码的信息进行保存;当新信息写入到最近使用位置时,可用更新、相关度更高的信息对记忆值进行更新;
本实施例还公开了基于上述在环学习***的面向自动驾驶环境感知的小样本在环学习方法,所述方法包括如下:
步骤A:构建在环仿真实验平台,其包括:
实验区,所述实验区为由木板构建成封闭的长方体工作腔;
工作台,所述工作台为由支撑杆构建成与实验区四条侧边匹配的长方体工作腔;
所述工作台位于所述实验区的下端,通过实验区底部的木板支撑实验区,且所述工作台工作腔的底部设置有支撑工控机3和电源8的木板;
所述实验区的前端内侧设置有用于输出相机数据的显示屏1,左右侧边内侧均水平设置有照明灯移动支架2,所述照明灯移动支架2设置有可调节亮度的照明灯4,后端内侧水平设置运动支架7,所述运动支架7活动设置万向连接部6,所述万向连接部6设置有相机5。
步骤B:实现面向自动驾驶环境感知的小样本在环仿真开发方法,其包括:
B1,工控机3、相机5与显示屏1均与电源8电连接,且显示屏1和相机5均与所述工控机3电连接;
B2,依次开启电源8开关与工控机开关,电力驱动在环仿真实验平台工作;
B3,设置显示屏1为工作状态,工控机3运行在环仿真软件,生成实验用虚拟交通场景;
B4,设置照明灯4为工作状态,调节照明灯4至实验用环境亮度;
B5,设置相机5为工作状态,运行工控机3的相机数据采集软件,通过移动万向连接部6延运动支架7轴向运动调整相机5的相对位置,设置相机5相对万向连接部6的角度调整相机5的数据采集方向点,工控机3实时采集显示屏1输出的相机数据图像,上传数据至ECU模块进行目标检测分析;
B6,检测结果输出至行为决策模块进行决策工作,输出决策控制信号;
B7,根据获取的决策控制信号,在环仿真软件在虚拟交通场景执行对应的控制执行操作;
B8,面向自动驾驶环境感知的小样本在环仿真开发实验的自动驾驶闭环形成,持续运行直至实验结束。
本发明的一种面向自动驾驶环境感知的小样本在环学***台,对比实体车辆,开发成本降低、实验效率高,同时实验的流程相对实体车辆也简便灵活;配合仿真软件,实现场景自定义功能,场景可完全还原实际路况,模拟生成大量实际情况中很难实现的场景数据,以及生成面向极端工况目标检测的复杂场景或者危险场景,增加了实验开发的安全性。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (9)
1.一种面向自动驾驶环境感知的小样本在环学习***,其特征在于,所述***基于数据训练集对目标学习模型进行算法训练,获取目标检测算法,在物理ECU模块进行小样本训练集训练学习,获取目标感知算法,通过获取的目标检测算法和目标感知算法进行所述***的目标算法测试,所述***包括:
样本输入模块,用于输入小样本测试集实验数据;
图像采集模块,用于采集实验用道路图像以及视频数据;
图像显示模块,用于显示实验过程的模拟道路图像数据;
物理ECU模块,用于集成小样本训练集训练学习的目标感知算法,进程目标场景的物体检测;
结果输出模块,用于所述***通过目标算法对环境进行感知的结果输出;
所述物理ECU模块进行小样本训练学习获取目标感知算法包括如下步骤:
(1)通过数据输入接口输入实验用数据;
(2)基于训练数据集进行模型学习训练获取目标分类器;
(3)对比目标相机采集的图像以及用于对比的标准图像,分析并计算获取图像转换参数,进行相机标定;
(4)获取目标相机采集的图像,采用畸变矩阵、内参数矩阵、旋转向量、位移向量作为计算参数,对采集的车道线图像进行畸变矫正,获取矫正后的图像;
(5)基于概念匹配学习、图像匹配学习和数据扩展学习,将小样本学习与概念***内的语义概念或图像概念进行匹配;采用数学模型,将小样本数据扩展为大样本数据,通过大样本数据的机器学习模型进行感知操作;
(6)优化机器学习模型,将数据驱动学习转化为模型驱动学习,进行模型增强学习;
(7)输出训练学习模型训练的目标算法。
2.根据权利要求1所述的一种面向自动驾驶环境感知的小样本在环学习***,其特征在于,所述对采集的车道线图像进行畸变矫正的过程包括如下:
相机标定,采集拍摄对象的数据图像,获取世界坐标系点以及与世界坐标系对应的图像点,通过世界坐标系点和图像点计算相机的畸变矩阵、内参数矩阵、旋转向量和位移向量;
图像畸变矫正,获取目标图像的世界坐标系点和图像点,采用畸变矩阵、内参数矩阵、旋转向量和位移向量为计算参数,对采集的车道线图像进行畸变矫正,获取矫正图像。
3.根据权利要求2所述的一种面向自动驾驶环境感知的小样本在环学习***,其特征在于,所述相机标定包括如下:
(11)设置世界坐标系XO1Y,O1点为坐标系原点,即车道检测算法在环仿真开发方法中相机进行图像数据采集视野下边沿的中心,Y轴为车辆坐标系的纵向,表示车辆前进方向,X轴为横向,表示车辆右转方向,坐标系内的物点坐标用(x,y)表示,单位cm;
(12)设置图像坐标系UO2V,O2点为坐标系原点,即车道检测算法在环仿真开发方法中相机图像平面的右上角,U轴是图像上边的一行元素,方向向左,V轴是图像右边的一列像素,方向向下,坐标系内的像素点坐标用(u,v)表示,表征该像素点位于图像数组的列数和行数,单位为像素;
(13)构建纵向畸变矫正算法模型,截取世界坐标系XO1Y的Y轴,即车辆纵向的纵向切面,存在地平面上的一点I,世界坐标系中I点坐标为(0,y),图像坐标系中I′点坐标为(u,v),I点和I′点为相互映射关系,两坐标系纵向的V轴和Y轴的对应关系为:
公式(1)中,h为摄像头的高度,θ为摄像头俯仰角,α为摄像头张角,f为摄像头焦距;
(14)构建横向畸变矫正算法模型,截取世界坐标系XO1Y的Y轴,即车辆纵向的纵向切面,地平面上的一点I,世界坐标系中I点坐标为(0,y),图像坐标系中I′点坐标为(u,v),I点和I′为相互映射关系,两坐标系横向的U轴和X轴的对应关系为:
公式(2)中,l为摄像头视野下部的宽度,N为像素的总列数。
4.根据权利要求1所述的一种面向自动驾驶环境感知的小样本在环学习***,其特征在于,所述概念匹配学习通过构建直接属性预测模型执行,设m为样本空间,n为类别空间,z为属性空间,p=1表示条件判断为真,p=0表示条件判断为假,i为自然数,具体包括如下:
(21)训练概率分类器模型
针对任意目标属性zm,基于小样本训练数据集进行学习训练,构建概率分类器模型;
(22)构建图像-属性匹配规则,基于步骤(21)构建的概率分类器模型,对咪表概率进行预测,获取完整的图像-属性匹配规则,如下式:
(23)测试概率分类器模型
通过集合属性的匹配特征,针对测试数据集不可见类图像的识别,设定测试数据集每个类别n确定包含其对应的属性向量zn,即:
p(z|n)=[[z=zn]] (4)
基于贝叶斯法则得到属性-类别的关联表示如下所示:
通过式(3)和(5),获取小样本测试数据集中图像和类别的对应关系:
(24)基于直接属性预测的小样本数据分类器模型,设定样本数据集相同类别的数据具有先验性,忽略类别因子p(n);
设定一个属性因子p(z),分布公式如下:
采用经验平均值,基于样本训练数据集,其属性优先级的表示如下:
基于决策规则f:m→n,根据小样本测试数据集的所有类别,为目标测试样本m分配最佳输出类别,设定l为获取小样本测试数据集的目标图像分类器模型如下
6.根据权利要求1所述的一种面向自动驾驶环境感知的小样本在环学习***,其特征在于,所述图像匹配学习通过目标样本数据的语义属性概念,合成新的虚拟图像,进行不可见类图像的识别;所述图像匹配学习包括如下:
(41)基于小样本训练数据集,进行可见类的分类器模型训练学习;
(42)通过不可见类数据的属性特征合成视觉特征,基于合成视觉元素,完善样本训练数据集,并进行不可见类的分类器模型训练学习;
(43)基于测试数据集,对训练完成的分类器模型进行测试,进行不可见类识别。
7.根据权利要求1所述的一种面向自动驾驶环境感知的小样本在环学习***,其特征在于,所述数据扩展学习基于增广矩阵生成的基本理论,采用训练数据集为基础,持续生成新的数据,增加训练数据集样本的数量。
8.根据权利要求1所述的一种面向自动驾驶环境感知的小样本在环学习***,其特征在于,所述模型增强学习基于小样本训练数据集,应用外部存储器,对新样本数据信息完成快速编码、索引和吸收工作,对样本数据和类别标注的匹配关系进行预测。
9.基于权利要求 1-8任一所述的在环学习***的面向自动驾驶环境感知的小样本在环学习方法,其特征在于,所述方法包括如下:
步骤A:构建在环仿真实验平台,其包括:
实验区,所述实验区为由木板构建成封闭的长方体工作腔;
工作台,所述工作台为由支撑杆构建成与实验区四条侧边匹配的长方体工作腔;
所述工作台位于所述实验区的下端,通过实验区底部的木板支撑实验区,且所述工作台工作腔的底部设置有支撑工控机和电源的木板;
所述实验区的前端内侧设置有用于输出相机数据的显示屏,左右侧边内侧均水平设置有照明灯移动支架,所述照明灯移动支架设置有可调节亮度的照明灯,后端内侧水平设置运动支架,所述运动支架活动设置万向连接部,所述万向连接部设置有相机;
步骤B:实现面向自动驾驶环境感知的小样本在环仿真开发方法,其包括:
B1,工控机、相机与显示屏均与电源电连接,且显示屏和相机均与所述工控机电连接;
B2,依次开启电源开关与工控机开关,电力驱动在环仿真实验平台工作;
B3,设置显示屏为工作状态,工控机运行在环仿真软件,生成实验用虚拟交通场景;
B4,设置照明灯为工作状态,调节照明灯至实验用环境亮度;
B5,设置相机为工作状态,运行工控机的相机数据采集软件,通过移动万向连接部延运动支架轴向运动调整相机的相对位置,设置相机相对万向连接部的角度调整相机的数据采集方向点,工控机实时采集显示屏输出的相机数据图像,上传数据至ECU模块进行目标检测分析;
B6,检测结果输出至行为决策模块进行决策工作,输出决策控制信号;
B7,根据获取的决策控制信号,在环仿真软件在虚拟交通场景执行对应的控制执行操作;
B8,面向自动驾驶环境感知的小样本在环仿真开发实验的自动驾驶闭环形成,持续运行直至实验结束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910347340.4A CN110070139B (zh) | 2019-04-28 | 2019-04-28 | 面向自动驾驶环境感知的小样本在环学习***和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910347340.4A CN110070139B (zh) | 2019-04-28 | 2019-04-28 | 面向自动驾驶环境感知的小样本在环学习***和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110070139A CN110070139A (zh) | 2019-07-30 |
CN110070139B true CN110070139B (zh) | 2021-10-19 |
Family
ID=67369218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910347340.4A Active CN110070139B (zh) | 2019-04-28 | 2019-04-28 | 面向自动驾驶环境感知的小样本在环学习***和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110070139B (zh) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201912145D0 (en) * | 2019-08-23 | 2019-10-09 | Five Ai Ltd | Performance testing for robotic systems |
CN110553650B (zh) * | 2019-08-29 | 2021-06-08 | 华南理工大学 | 一种基于小样本学习的移动机器人重定位方法 |
JP6956931B1 (ja) * | 2019-09-05 | 2021-11-02 | 三菱電機株式会社 | 推論装置、機器制御システム及び学習装置 |
CN114245912A (zh) * | 2019-09-24 | 2022-03-25 | 赫尔实验室有限公司 | 通过在基于概率信号时间逻辑的约束下求解优化问题来进行感知误差评估和校正的***和方法 |
CN110795821B (zh) * | 2019-09-25 | 2024-04-09 | 的卢技术有限公司 | 一种基于场景区分的深度强化学习训练方法及*** |
US20210133502A1 (en) * | 2019-11-01 | 2021-05-06 | The Boeing Company | Computing device, method and computer program product for generating training data for a machine learning system |
CN110837231A (zh) * | 2019-11-15 | 2020-02-25 | 清华大学 | 在环仿真方法、装置及控制平台 |
CN110889378B (zh) * | 2019-11-28 | 2023-06-09 | 湖南率为控制科技有限公司 | 一种多视图融合交通标志检测识别方法及其*** |
CN110991523A (zh) * | 2019-11-29 | 2020-04-10 | 西安交通大学 | 一种面向无人驾驶车辆检测算法性能的可解释性评估方法 |
CN111079800B (zh) * | 2019-11-29 | 2023-06-23 | 上海汽车集团股份有限公司 | 一种智能驾驶虚拟测试的加速方法及加速*** |
CN111079079B (zh) * | 2019-11-29 | 2023-12-26 | 北京百度网讯科技有限公司 | 数据修正方法、装置、电子设备及计算机可读存储介质 |
CN110991531A (zh) * | 2019-12-02 | 2020-04-10 | 中电科特种飞机***工程有限公司 | 基于空对地小慢目标的训练样本库构建方法、装置及介质 |
CN111103866B (zh) * | 2019-12-20 | 2024-07-12 | 吉林大学 | 一种基于预期功能安全的自适应巡航开发与测试方法 |
CN111290381A (zh) * | 2020-02-10 | 2020-06-16 | 深圳前海微众银行股份有限公司 | 基于无人车的联邦学习实验*** |
CN112115761B (zh) * | 2020-05-12 | 2022-09-13 | 吉林大学 | 自动驾驶汽车视觉感知***漏洞检测的对抗样本生成方法 |
CN111831570A (zh) * | 2020-07-23 | 2020-10-27 | 深圳慕智科技有限公司 | 一种面向自动驾驶图像数据的测试用例生成方法 |
CN111930117B (zh) * | 2020-07-31 | 2024-04-05 | 广州景骐科技有限公司 | 一种基于转向的横向控制方法、装置、设备和存储介质 |
CN113239609A (zh) * | 2020-12-24 | 2021-08-10 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种用于智能车单目摄像头目标识别监测的试验***及检测方法 |
CN112529335B (zh) * | 2020-12-25 | 2021-12-31 | 广州文远知行科技有限公司 | 一种模型检测方法、装置、设备和存储介质 |
CN113095377B (zh) * | 2021-03-26 | 2024-06-14 | 中国科学院电工研究所 | 一种危险驾驶场景数据随机生成方法及*** |
CN112990136B (zh) * | 2021-04-29 | 2021-08-03 | 成都深蓝思维信息技术有限公司 | 一种目标检测方法及装置 |
CN113205070B (zh) * | 2021-05-27 | 2024-02-20 | 三一专用汽车有限责任公司 | 视觉感知算法优化方法及*** |
CN113408606B (zh) * | 2021-06-16 | 2022-07-22 | 中国石油大学(华东) | 基于图协同训练的半监督小样本图像分类方法 |
CN113238970B (zh) * | 2021-07-08 | 2021-10-22 | 腾讯科技(深圳)有限公司 | 自动驾驶模型的训练方法、评测方法、控制方法及装置 |
CN114511827B (zh) * | 2021-11-30 | 2024-04-12 | 重庆长安汽车股份有限公司 | 一种智能辅助驾驶的车云感知闭环处理方法 |
CN114973181B (zh) * | 2022-07-29 | 2022-10-14 | 武汉极目智能技术有限公司 | 多目bev视角的环境感知方法、装置、设备及存储介质 |
CN116071621B (zh) * | 2023-03-15 | 2023-06-23 | 中汽智联技术有限公司 | 针对感知算法的训练样本生成和验证方法、设备和介质 |
CN116626670B (zh) * | 2023-07-18 | 2023-11-03 | 小米汽车科技有限公司 | 自动驾驶模型的生成方法、装置、车辆及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109188932A (zh) * | 2018-08-22 | 2019-01-11 | 吉林大学 | 一种面向智能驾驶的多摄像头在环仿真测试方法及*** |
CN109615016A (zh) * | 2018-12-20 | 2019-04-12 | 北京理工大学 | 一种基于金字塔输入增益的卷积神经网络的目标检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10074041B2 (en) * | 2015-04-17 | 2018-09-11 | Nec Corporation | Fine-grained image classification by exploring bipartite-graph labels |
-
2019
- 2019-04-28 CN CN201910347340.4A patent/CN110070139B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109188932A (zh) * | 2018-08-22 | 2019-01-11 | 吉林大学 | 一种面向智能驾驶的多摄像头在环仿真测试方法及*** |
CN109615016A (zh) * | 2018-12-20 | 2019-04-12 | 北京理工大学 | 一种基于金字塔输入增益的卷积神经网络的目标检测方法 |
Non-Patent Citations (2)
Title |
---|
《Attribute-Based Classification for Zero-Shot Visual Object Categorization》;Christoph H. Lampert 等;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;20140331;第36卷(第3期);第2节 * |
《From Zero-shot Learning to Conventional Supervised Classification: Unseen Visual Data Synthesis》;Yang Long 等;《arXiv》;20170504;第3节 * |
Also Published As
Publication number | Publication date |
---|---|
CN110070139A (zh) | 2019-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110070139B (zh) | 面向自动驾驶环境感知的小样本在环学习***和方法 | |
CN110059608B (zh) | 一种物体检测方法、装置、电子设备和存储介质 | |
Žbontar et al. | Stereo matching by training a convolutional neural network to compare image patches | |
CN109870983B (zh) | 处理托盘堆垛图像的方法、装置及用于仓储拣货的*** | |
CN111161349B (zh) | 物体姿态估计方法、装置与设备 | |
CN113256778B (zh) | 生成车辆外观部件识别样本的方法、装置、介质及服务器 | |
CN110738697A (zh) | 基于深度学习的单目深度估计方法 | |
CN113538574B (zh) | 位姿定位方法、装置、设备及计算机可读存储介质 | |
CN114332385A (zh) | 一种基于三维虚拟地理场景的单目相机目标检测与空间定位方法 | |
CN110781262A (zh) | 基于视觉slam的语义地图的构建方法 | |
WO2022089143A1 (zh) | 模拟图像生成的方法、电子设备及存储介质 | |
CN109947110A (zh) | 面向自动驾驶的车道自检算法在环仿真控制方法和*** | |
JP2021510823A (ja) | 車両位置特定 | |
CN111860197A (zh) | 基于多光谱多模的低慢小目标感知方法及*** | |
CN112884135B (zh) | 一种基于边框回归的数据标注校正方法 | |
CN104463962A (zh) | 基于gps信息视频的三维场景重建方法 | |
CN112750155B (zh) | 基于卷积神经网络的全景深度估计方法 | |
CN117036607A (zh) | 基于隐式神经渲染的自动驾驶场景数据生成方法及*** | |
CN116736259A (zh) | 一种用于塔吊自动驾驶的激光点云坐标标定的方法及装置 | |
CN116645471A (zh) | 提取前景物体的建模方法、***、设备及存储介质 | |
EP4235492A1 (en) | A computer-implemented method, data processing apparatus and computer program for object detection | |
CN116205983A (zh) | 一种标定方法、装置、电子设备及存储介质 | |
CN114387308A (zh) | 一种机器视觉特征跟踪*** | |
Aouragh et al. | Extrinsic Calibration Framework for Camera-Lidar Fusion Using Recurrent Residual Network | |
CN117854045B (zh) | 一种面向自动驾驶的车辆目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |