CN115544888A - 一种基于物理机理与机器学习混杂理论的动态场景边界评估方法 - Google Patents
一种基于物理机理与机器学习混杂理论的动态场景边界评估方法 Download PDFInfo
- Publication number
- CN115544888A CN115544888A CN202211269248.9A CN202211269248A CN115544888A CN 115544888 A CN115544888 A CN 115544888A CN 202211269248 A CN202211269248 A CN 202211269248A CN 115544888 A CN115544888 A CN 115544888A
- Authority
- CN
- China
- Prior art keywords
- scene
- vehicle
- boundary
- risk
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M17/00—Testing of vehicles
- G01M17/007—Wheeled or endless-tracked vehicles
- G01M17/0078—Shock-testing of vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于物理机理与机器学习混杂理论的动态场景边界评估方法,其方法为:第一步、通过物理建模求解动态场景边界;第二步、通过支持向量机求解动态场景危险域与安全域边界;第三步、通过支持向量回归求解动态场景危险域中不同等级的危险度边界;第四步、基于物理机理与机器学习混杂理论的动态场景边界评估;有益效果:建立起一套完整标准的目标场景物理模型的构建流程。便于进行车辆的碰撞检测及求解场景危险度。求解出动态场景边界,简单快速且高效。实现了危险场景工况与安全场景工况的划分。实现了根据训练样本对场景危险域与安全域的划分。
Description
技术领域
本发明涉及一种场景边界评估方法,特别涉及一种基于物理机理与机器学习混杂理论的动态场景边界评估方法。
背景技术
目前,智能网联化已成为主流的汽车技术发展方向之一,智能网联汽车是未来的发展趋势。智能网联汽车能够上路的前提是其行驶安全性得到充分的验证并且达到相关标准,为充分测试智能网联汽车的安全性及其智能算法的可靠性,需依次对智能网联汽车进行仿真测试、场地测试与道路测试。虽然这三种测试方法所属的阶段、测试的流程以及实施方式各不相同,但都需要设计具体的测试场景执行测试过程。测试场景首先应具有挑战性,以检测智能网联汽车面对危险行车态势时的处理能力,其次应满足自身难度可知性,这样才能够量化智能网联汽车处理危险行车态势的能力等级。因此,需通过确定测试场景空间中动态场景的边界,如危险域与安全域边界、危险域中不同等级的危险度边界,将危险且危险度已知的测试场景挑选出来去测试智能网联汽车,这将极大地提高智能网联汽车的测试效率与可信性,加速智能网联汽车的部署进程。
基于物理机理的求解动态场景边界的方法,通过建立目标场景的物理模型,结合车辆运动学关系,分析本车与周围目标车的运动以及交互情况,从运动学与几何学的角度出发,从理论层面进行研究,其优点在于所求得的动态场景边界比较准确,基本不会出现危险域场景与安全域场景误判的情况,但缺点是由于未考虑真实道路驾驶情况,危险域中的很多场景在真实道路上发生的概率极低,用这样的场景测试智能网联汽车现实意义不大;基于机器学习的求解动态场景边界的方法,以自然驾驶数据库中的真实道路驾驶数据为基础,采用机器学习算法,通过模型自学习的方式得到动态场景的边界,其优点在于充分考虑了目标场景在真实道路上的发生概率,因此求得的场景边界能够自动滤去危险域中许多发生概率极低的场景,但该方法十分依赖自然驾驶数据库的数据量与数据质量,当自然驾驶数据库中的数据量较小或数据质量较低时,学习得到的场景边界可能会出现较大的偏差。基于物理机理与基于机器学习的方法各有优点,又能够互为补充,因此将二者结合形成一种基于物理机理与机器学习的混杂理论将在很大程度上有助于解决场景边界评估问题。
中国专利CN202210941004.4公开了一种自动驾驶测试场景生成方法、装置、设备及存储介质,能够根据目标交通参与者数据,生成危险度较高的自动驾驶测试场景,但未能将这些测试场景进行危险度分级以及未能求解出场景的危险域边界。中国专利CN202210804060.3公开了一种自动驾驶测试场景生成方法、装置、车辆及存储介质,能够通过将仿真测试场景的关键参数区间载入场景设计文档,利用预设脚本生成仿真测试场景;中国专利CN202210741420.X公开了一种智能驾驶的自动化仿真测试***及相关设备,其场景生成模块能够根据主车的行驶参数创建测试场景,并对测试场景泛化,生成一个或多个测试场景用于测试智能驾驶算法,但尚不知道这些场景的危险度以及整个测试场景空间的边界。
发明内容
本发明的目的是为了通过基于物理机理与机器学习混杂理论确定测试场景空间中动态场景的边界,如危险域与安全域边界、危险域中不同等级的危险度边界,为挑选危险且危险度已知的场景测试智能网联汽车奠定了基础,这将极大地提高智能网联汽车的测试效率与可信性,加速智能网联汽车的部署进程。
本发明为了达到上述目的而提供的一种基于物理机理与机器学习混杂理论的动态场景边界评估方法。
本发明提供的基于物理机理与机器学习混杂理论的动态场景边界评估方法,其方法包括如下步骤:
第一步、通过物理建模求解动态场景边界,具体过程如下:
步骤一、建立目标场景的物理模型,首先确定待研究的目标场景的类型,包括切入场景、切出场景、跟随场景、高速路口驶出场景以及汇入匝道场景,然后针对选定的目标场景类型,进一步设计其操作设计域,即明确目标场景具体是一种怎样的场景,在场景研究中,本车指待测试的智能网联汽车,目标车指场景中除本车之外的其他车辆,设计ODD时确定目标场景的所有静态场景元素,与车辆相关静态场景元素包括目标车的数目与种类、本车与目标车的初始位置,与车道相关的静态场景元素包括车道的数目与类别、本车与目标车所属的车道,与环境相关的静态场景元素包括交通标识的数目与种类、光照强度以及天气情况;最后,根据目标场景类型所规定的本车与周围目标车的交互方式,对目标场景的动态场景元素进行离散化设置,如本车与目标车的速度和加速度、目标场景的触发模式、触发距离和触发时间,将离散化后的各动态场景元素排列组合便可得到目标场景的场景空间,建立起目标场景的物理模型;
步骤二、基于车辆运动学关系的本车与目标车行驶轨迹建模,在步骤一所得的目标场景的物理模型的基础上,结合车辆的运动学关系,求解本车及目标车的行驶轨迹,目标场景的静态场景元素中包含了本车及目标车的初始位置信息,动态场景元素中包含了本车及目标车随时间变化的速度序列和加速度序列的信息,结合车辆运动学模型计算得到本车与目标车的行驶轨迹,本车与目标车行驶轨迹的建模方法相同,均分为两种方式:一种是以车辆的中心为基准点,建立车辆左前端轮廓点、右前端轮廓点、左后端轮廓点和右后端轮廓点的轨迹模型;第二种是以车辆的左前端轮廓点、右前端轮廓点、左后端轮廓点或右后端轮廓点中的一个作为基准点,建立其它轮廓点的轨迹模型,这两种方式选取的基准点不同,但建模原理与方法是一致的,在实际建模时根据具体问题选择便于计算求解的基准点建模;
以选择本车右前端轮廓点为基准点建模为例,以初始时刻t0时刻本车右前端轮廓点的位置为坐标原点,则本车行驶一段时间至t1时刻,右前端轮廓点的坐标表示为:
式中,ve(t)表示本车在t时刻的速度,θe(t)表示本车在t时刻的航向角,pex rf表示本车右前端轮廓点在t1时刻的横坐标,pey rf表示本车右前端轮廓点在t1时刻的纵坐标;
设本车的长度为ae,宽度为be,将车辆轮廓近似为矩形,则t1时刻本车左前端轮廓点的坐标(pex lf,pey lf)为:
t1时刻本车右后端轮廓点的坐标(pex rr,pey rr)为:
t1时刻本车左后端轮廓点的坐标(pex lr,pey lr)为:
求解出本车各轮廓点的坐标后,将本车在切入过程不同时刻的各轮廓点坐标连接起来即可得本车在切入过程的行驶轨迹;
步骤三、通过分离轴定理求解动态场景边界,得到本车及目标车的行驶轨迹后,进一步通过分离轴定理分析本车与目标车的交互情况,求解本车与目标车的边界状态,根据边界状态本车与目标车的相对距离、相对速度以及相对加速度的场景危险性指标确定动态场景边界;
以切入场景及为目标场景的类型,在建立的物理模型和建立的行驶轨迹模型的基础上,通过分离轴定理求解动态场景边界,假设车辆行驶是二维平面内的运动,将车辆建模为有向包围盒,即车辆的外形与行驶方向都考虑在内,根据分离轴定理,对任意两个互相分开的凸多面体,存在一个分离轴使得这两个多面体在轴上有一定间隔,而且其在分离轴上的投影也相互分开,对一个有向包围盒来说,最多只需要检测其两个边方向向量是否满足分离轴条件即可,对两个有向包围盒则最多需要检测四个边方向向量是否满足分离轴条件,只要四个边方向向量中有任意一个是分离轴,即判断出两个有向包围盒不相交,即车辆不发生碰撞,A代表目标车,B代表本车,根据分离轴定理,当满足以下关系式,即判定出两车不发生碰撞:
|s·l|>dA+dB,l∈{au,av,bu,bv} (5)
式中,s表示本车中心与目标车中心的距离向量,l表示归一化向量的方向投影轴,au、av表示目标车两个边方向的归一化向量,bu、bv表示本车两个边方向的归一化向量,dA表示目标车中心点之前在投影轴上的投影长度,dB表示本车中心点之后在投影轴上的投影长度;
dA可通过下式得到:
dB可通过下式得到:
根据分离轴定理,求得本车切入至目标车后方,本车右前端轮廓点不与目标车右后端轮廓点发生碰撞的边界状态对应的场景边界为:
式中,tp1表示本车右前端轮廓点与目标车右后端轮廓点位于同一直线上的时刻,该时刻通过本车右前端轮廓点的行驶轨迹的纵向位移计算得到,vo表示目标车的纵向速度,D1表示t0时刻本车与目标车的初始距离;
同理,求得本车切入至目标车前方,本车左后端轮廓点不与目标车右前端轮廓点发生碰撞的边界状态对应的场景边界为:
式中,tp2表示本车左后端轮廓点与目标车右前端轮廓点位于同一直线上的时刻,该时刻通过本车左后端轮廓点的行驶轨迹的纵向位移计算得到;
由此,即通过物理建模的方式求得了目标动态场景在设定的ODD下的场景边界;
第二步、通过支持向量机求解动态场景危险域与安全域边界,具体过程如下:
步骤一、场景数据采集及数据预处理,场景数据采集车辆上搭载激光雷达、毫米波雷达、GPS高精度惯导、高清摄像头、车载CAN总线、车道线传感器、雨量传感器和光照传感器,按照固定采集周期对所有传感器数据进行采集,所采集的传感器数据形式包括:激光雷达产生的以帧为单位的空间三维点云,毫米波雷达产生的以帧为单位的障碍物状态列表,GPS高精度惯导产生的以时间序列表示的定位与姿态数据,高清摄像头与车道线传感器产生的以帧为单位的彩色图像,车载CAN总线产生的以时间序列表示的车辆操纵与运动状态数据,雨量传感器与光照传感器产生的以时间序列表示的电压数据,数据预处理的具体内容包括:各传感器数据的时间对齐与空间对齐;传感器数据的有效性验证;生成车载总线对齐信号、车辆状态对齐信号和多模态环境传感器对齐信号,供后续步骤使用;
步骤二、危险场景工况与安全场景工况提取,根据第一步的步骤二中选定的目标场景类型及其ODD类型,采用人工观看视频的方式从所有预处理后的数据中截取出数段与目标场景及其ODD一致的场景数据,每段完整的目标场景数据称之为一次场景工况,代表真实道路上所发生的一次完整的目标场景事件,在场景工况提取阶段,场景的危险性通过一些本车状态量表征,如步骤一所得的车载总线对齐信号与车辆状态对齐信号中的本车纵向速度、纵向加速度、侧向加速度和横摆角速度,由于同样的驾驶操作在不同的纵向速度下会导致不同的场景危险性,因此将本车的纵向速度划分为数个区间,以纵向加速度、侧向加速度和横摆角速度为场景危险性指标,建立上述指标在不同车速区间的危险场景工况提取标准;
以切入场景及为其设计的ODD为目标场景,将本车的纵向速度划分为数个区间,并针对切入场景的特点,设计了本车不同纵向速度区间下纵向加速度、侧向加速度以及横摆角速度的危险工况标准,当场景工况中的某一时刻,本车的纵向加速度、侧向加速度和横摆角速度中有一项达到危险场景工况标准时,该场景工况即被判定为危险场景工况,由此将所有场景工况进行危险性划分,提取出危险场景工况与安全场景工况;
步骤三、通过支持向量机求解动态场景危险域与安全域边界,首先选取能够表征目标场景危险性的时刻作为关键时刻,研究该时刻本车与目标车的交互情况,作为划分场景危险域与安全域的依据,为提高支持向量机的分类效果,不再以步骤二中单一的本车状态量作为场景危险性指标,而是选择能够融合数个本车状态量及目标车状态量的综合性物理量表征场景的危险性,包括碰撞时间、车头时距以及本车与目标车的相对速度和相对加速度,其中,TTC表示两车在维持当前运动状态不变的情况下从当前时刻到发生碰撞所需要的时间,其值越小,代表场景的危险性越高,TTC通过下式计算得到:
式中,ΔR表示两车的相对距离,vr表示后车的速度,vf表示前车的速度;
THW表示两车在维持当前运动状态不变的情况下后车到达前车所在位置所用的时间,其值越小,代表场景的危险性越高,THW通过下式计算得到:
然后,计算所有危险场景工况与安全场景工况在关键时刻的TTC、THW以及本车与周围车的相对速度和相对加速度的场景危险性指标,最后,将计算所得的场景危险性指标以及场景工况危险性标签,即场景工况是危险还是安全,共同作为训练样本输入至支持向量机算法中,通过模型自学习输出动态场景危险域与安全域的边界;
以切入场景及为其设计的ODD为目标场景,根据切入场景的特点,选取本车中心与车道线重合时刻作为关键时刻,计算所有场景工况在关键时刻的场景危险性指标,包括TTC、THW、本车与目标车相对速度以及本车与目标车相对加速度,设训练样本为(xi,yi),i=1,...,n,其中n表示训练样本的总数,即危险场景工况与安全场景工况总数,xi表示第i个场景工况由场景危险性指标组成的特征向量,yi表示第i个场景工况的危险性标签,危险场景工况的危险性标签为+1,安全场景工况的危险性标签为-1,设能够划分危险域与安全域的决策面方程为:
ξx+c=0 (12)
式中,ξ表示决策面的法向量,决定了决策面的方向;c表示位移项,决定了决策面与原点的距离;x表示场景工况由场景危险性指标组成的特征向量;
特征向量x到决策面的距离r为:
决策面要满足能将训练样本正确分类,因此对于任意的训练样本,都有:
在决策面两侧距离决策面最近的训练样本称作支持向量,两个异类支持向量到决策面的距离之和γ代表分类间隔:
为找到分类效果最佳的决策面,要最大化分类间隔,即求解下式:
同时,满足以下条件:
yi(ξxi+c)≥1,i=1,2,...,n. (17)
求解最佳决策面属于凸二次规划问题,采用拉格朗日乘子法得到其对偶问题,对公式(17)的每条约束添加拉格朗日乘子αi,构造拉格朗日函数如下:
令拉格朗日函数L对ξ,c的偏导数为零,可得:
于是,关于公式(18)的优化问题进一步转化为关于参数αi的凸二次优化寻优对偶问题,即:
式中,αj、xj和yj分别由αi、xi和yi对偶所得;
由此可得,支持向量机输出的动态场景危险域与安全域的边界方程f(x)为:
f(x)=ξ*x+c* (22)
当训练样本线性不可分时,将训练样本从原始空间映射到一个更高维的特征空间,使得训练样本在这个特征空间线性可分,令φ(x)表示将x映射到高维特征空间所对应的特征向量,求解过程涉及到计算φ(xi)φ(xj),即xi与xj映射到特征空间之后的内积,引入核函数对映射到高维空间中的任意两个特征向量之间的点积进行计算:
其中,κ(xi,xj)表示核函数,常用的核函数包含以下类型:
线性核函数:
κ(xi,xj)=xi·xj (24)
多项式核函数:
κ(xi,xj)=(xi·xj)d (25)
其中,d为多项式的次数,且d≥1;
高斯核函数:
其中,σ为高斯核函数的带宽,且σ>0;
拉普拉斯核函数:
Sigmiod核函数:
κ(xi,xj)=tanh(βxixj+θ) (28)
其中,tanh为双曲正切函数,β>0,θ<0;
引入核函数后,就不必直接去计算高维甚至无穷维特征空间中的内积,于是公式(21)转化为:
求解后得到支持向量机输出的动态场景危险域与安全域的边界方程F(x)为:
第三步、通过支持向量回归求解动态场景危险域中不同等级的危险度边界,具体过程如下:
步骤一、根据TTC对危险域中不同等级的危险度边界进行预划分,为便于得到准确完整的场景危险度边界,首先根据TTC对危险域中不同等级的危险度边界进行预划分,计算所有危险场景工况关键时刻的TTC,制定危险域场景危险度边界的预划分标准;
以切入场景及为其ODD为目标场景,根据切入场景的特点,选取本车中心与车道线重合时刻作为关键时刻,计算所有危险场景工况在关键时刻的TTC,制定危险域场景危险度边界的预划分标准如下:
TTC∈[0s,1s]时,场景的危险度等级为碰撞场景;TTC∈(1s,3s]时,场景的危险度等级为紧急场景;TTC∈(3s,5s]时,场景的危险度等级为冲突场景;TTC∈(5s,+∞)时,由于TTC的值较大,将此类场景判定为误归入危险场景工况的安全场景,直接舍去;
步骤二、选取合适的场景危险性指标构造联合分布,计算危险场景工况在关键时刻的场景危险性指标,包括TTC、THW、本车与目标车的相对速度以及本车与目标车的相对加速度,将各场景危险性指标两两组合,构造联合分布,结合步骤一场景危险度边界的预划分结果,观察危险场景工况的分布情况,选择分类效果较好的场景危险性指标的联合分布作为支持向量回归算法的输入;
步骤三、通过支持向量回归求解动态场景危险域中不同等级的危险度边界,首先,将步骤二所得的分类效果较好的场景危险性指标的联合分布中无边界线处的场景边界点提取出来,作为训练样本,输入至支持向量回归算法中,提取时要注意将同属于一条边界线的边界点作为一个训练样本集,单独输入至支持向量回归算法中,保证每个训练样本集只对应一条场景危险度边界,最后将所有场景危险度边界线汇总得到动态场景危险域中不同等级的危险度边界;
设训练样本集中的训练样本为(ti,gi),i=1,...,m,其中m表示训练样本集中训练样本的个数,即边界点的个数,ti表示第i个边界点在场景危险性指标的联合分布中的横坐标,gi表示第i个边界点在场景危险性指标的联合分布中的纵坐标,支持向量回归算法假设模型输出f(t)与边界点纵坐标g之间最多可以有ε的偏差,即仅当f(t)与g之间的差的绝对值大于ε时才计算损失,以f(t)为中心,构建了一个宽度为2ε的间隔带,若训练样本落入此间隔带,则认为预测正确;
设支持向量回归算法的输出f(t)为:
f(t)=ηt+q (31)
式中,η表示决策面的法向量,决定了决策面的方向;q表示位移项,决定了决策面与原点的距离;t表示边界点在场景危险性指标的联合分布中的横坐标;
于是,该求解问题形式化为:
式中,D表示正则化常数,lε表示ε-不敏感函数,其表达式为:
引入松弛变量δi和δi’,公式(32)转化为:
引入拉格朗日乘子μi、μi’、αi和αi’,构造拉格朗日函数:
令拉格朗日函数L对η,q,δi和δi’的偏导数为零,可得:
αi+μi=D (38)
α′i+μ′i=D (39)
于是,关于公式(35)的对偶问题为:
式中,tj,αj,αj’分别由ti,αi和αi’对偶所得;
通过上式求解得αi,任意选取0<αi<D的训练样本求解得q:
此外,q通过选取多个满足条件0<αi<D的训练样本,求解后取平均值的方式得到;
由此,支持向量回归输出的场景危险度边界方程f(t)为:
若训练样本线性不可分,将采用第二步的步骤三中引入核函数的方法,假设t映射到高维特征空间后所对应为φ(t),则η将变为:
求解后得到支持向量回归输出的场景危险度边界方程F(t)为:
其中,κ(ti,tj)=φ(ti)φ(tj)表示核函数;
按照上述方法求解出所有训练样本集所对应的场景危险度边界,与步骤一中预划分得到的场景危险度边界合并起来即为动态场景危险域中不同等级的危险度边界;
第四步、基于物理机理与机器学习混杂理论的动态场景边界评估,具体过程如下:
步骤一、基于物理机理的动态场景危险度边界与基于机器学***均差异度设置一致性标准;
以切入场景为其设计的ODD为目标场景,通过建立场景危险性指标之间的函数关系对场景边界进行描述,一致性分析即对比动态场景边界处的各场景危险性指标值的差异程度,计算第一步基于物理机理与第三步基于机器学***均差异度,根据切入场景的特点,设置一致性标准如下:
当所有场景危险性指标的平均差异度小于15%时,认定一致性良好;当所有场景危险性指标的平均差异度小于30%时,认定一致性一般;当所有场景危险性指标的平均差异度大于30%时,认定一致性较差;
步骤二、基于物理机理与机器学习混杂理论的高置信度动态场景边界生成,根据步骤一设置的一致性标准即其设置依据,高置信度场景边界生成将采用以下原则:
当一致性分析结果为良好时,根据研究的实际需求通过两种求解方式求得的动态场景边界自由分配偏移权重,即当所研究的问题需更多地考虑真实道路交通情况时,将高置信度动态边界更多地向通过机器学***均差异度大小为基于物理机理的方式分配更多的偏移权重;当一致性分析结果为较差时,说明基于机器学习的求解方法求解得到的动态场景边界偏差很大,此时高置信度动态场景边界选择基于物理机理的方式求解得到的动态场景边界;
步骤三、基于物理机理与机器学习混杂理论的动态场景边界验证,根据高置信度动态场景边界的生成结果,分别以危险域的三个等级的危险度的场景空间以及安全域的场景空间为单独的测试场景库,依次从这四个场景库中不停抽样场景测试智能网联汽车,直到每个场景库的事故率收敛,若这四个场景库收敛后的事故率随场景危险度的增加而增加,并呈现明显的阶梯式分布规律,则说明生成的动态场景边界的效果较好。
本发明的有益效果:
本发明提供的基于物理机理与机器学习混杂理论的动态场景边界评估方法通过基于物理机理与机器学习的混杂理论求解得到动态场景的边界,如危险域与安全域边界、危险域中不同等级的危险度边界,为挑选危险且危险度已知的场景测试智能网联汽车奠定了基础,这将极大地提高智能网联汽车的测试效率与可信性,加速智能网联汽车的部署进程。具体有益效果如下:
1)本发明提供了一种建立目标场景物理模型的方法。首先根据目标场景的类型设计其操作设计域,然后将目标场景的动态场景元素离散化,最后通过排列组合的方式建立起目标场景的物理模型,由此建立起一套完整标准的目标场景物理模型的构建流程。
2)本发明提供了一种基于车辆运动学关系的本车与目标车行驶轨迹建模方法。该方法基于车辆运动学模型,求解车辆的各个轮廓点在目标场景中的行驶轨迹,与普通的计算车辆中心的行驶轨迹的方法相比,该方法更加便于进行车辆的碰撞检测及求解场景危险度。
3)本发明提供了一种通过分离轴定理求解动态场景边界的方法。该方法将车辆简化为有向包围盒,通过分离轴定理检测车辆在交互时是否发生碰撞,从而求解出动态场景边界,简单快速且高效。
4)本发明提供了一种危险场景工况与安全场景工况提取方法。该方法以本车的行车状态量为指标,针对目标场景的特点,建立起一套阶梯式的危险场景工况评价标准,实现了危险场景工况与安全场景工况的划分。
5)本发明提供了一种通过支持向量机求解动态场景危险域与安全域边界的方法。该方法利用机器学习中支持向量机善于解决二分类问题的特点,通过模型自学习的方式求解动态场景的危险域与安全域边界,实现了根据训练样本对场景危险域与安全域的划分。
6)本发明提供了一种选取合适的场景危险性指标构造联合分布的方法。该方法采用危险性指标两两组合的方式构造联合分布,从中选取场景工况分布利于分类的联合分布,为支持向量回归算法的提供了有效输入,为危险域中不同等级的危险度边界划分提供了依据。
7)本发明提供了一种通过支持向量回归求解动态场景危险域中不同等级的危险度边界的方法。该方法利用机器学习中支持向量回归善于解决边界拟合问题的特点,通过模型自学习的方式求解动态场景危险域中不同等级的危险度边界,实现了根据训练样本对场景危险域中不同等级危险度场景的划分。
8)本发明提供了一种基于物理机理的动态场景危险度边界与基于机器学***均差异度,针对目标场景的特点,建立起一套动态场景危险度一致性标准,实现了动态场景边界的一致性分析。
9)本发明提供了一种基于物理机理与机器学习混杂理论的高置信度动态场景边界生成的方法。该方法以动态场景边界一致性分析结果为依据,将基于物理机理与机器学习的方法融合,建立了一种基于物理机理与机器学习混杂理论,从而得到了高置信度的动态场景边界。
10)本发明提供了一种基于物理机理与机器学习混杂理论的动态场景边界验证的方法。该方法通过抽样不同危险度等级的场景进行智能网联汽车测试的方式,以大量测试后收敛的事故率为指标,有效评估了基于物理机理与机器学习混杂理论的动态场景边界的生成效果,对基于物理机理与机器学习混杂理论的动态场景边界生成方法进行了验证。
附图说明
图1为本发明所述的动态场景边界评估方法的整体流程示意图。
图2为本发明所述的动态场景边界评估方法的方法架构框图。
图3为本发明所述的第一步的步骤一的示例性实施例示意图。
图4为本发明所述的第一步的步骤二的示例性实施例示意图。
图5为本发明所述的第一步的步骤三的示例性实施例示意图。
图6为本发明所述的第二步的步骤一的示例性架构框图。
图7为本发明所述的第二步的步骤三的示例性架构框图。
图8为本发明所述的第三步的步骤二的示例性运算结果。
图9为本发明所述的第三步的步骤三的示例性运算结果。
具体实施方式
请参阅图1至图9所示:
本发明提供的基于物理机理与机器学习混杂理论的动态场景边界评估方法,其方法如下所述:
第一步、通过物理建模求解动态场景边界;
第二步、通过支持向量机求解动态场景危险域与安全域边界;
第三步、通过支持向量回归求解动态场景危险域中不同等级的危险度边界;
第四步、基于物理机理与机器学习混杂理论的动态场景边界评估。
第一步中通过物理建模求解动态场景边界的过程如下:
步骤一、建立目标场景的物理模型。首先确定待研究的目标场景的类型,如切入场景、切出场景、跟随场景、高速路口驶出场景、汇入匝道场景等,然后针对选定的目标场景类型,进一步设计其操作设计域(Operational Design Domain,ODD),即明确目标场景具体是一种怎样的场景。在场景研究中,本车一般指待测试的智能网联汽车,目标车指场景中除本车之外的其他车辆。设计ODD时应确定目标场景的所有静态场景元素,与车辆相关静态场景元素包括目标车的数目与种类、本车与目标车的初始位置等,与车道相关的静态场景元素包括车道的数目与类别、本车与目标车所属的车道等,与环境相关的静态场景元素包括交通标识的数目与种类、光照强度以及天气情况等。最后,根据目标场景类型所规定的本车与周围目标车的交互方式,对目标场景的动态场景元素进行离散化设置,如本车与目标车的速度和加速度、目标场景的触发模式、触发距离和触发时间等,将离散化后的各动态场景元素排列组合便可得到目标场景的场景空间,建立起目标场景的物理模型。
在图3中示出第一步步骤一的一示例性实施例,实施例以切入场景为目标场景的类型,设计图3所示的ODD:本车与目标车在两个相邻车道,目标车始终保持直线行驶,切入行为触发后,本车驶离当前所在车道进入目标车所在车道。其中,A1代表本车切入行为触发时的初始状态,B1代表此时目标车的状态;A2和A3代表本车在切入过程的两个边界状态,B2代表边界状态时绿车的状态;黑色虚线代表本车的在切入过程的两个边界状态对应的切入轨迹,白色虚线代表目标车的行驶轨迹;由黑色虚线围成的区域代表两车会发生碰撞的危险域,黑色虚线以外的区域为安全域。由此,可建立起以切入场景为目标场景的物理模型。
步骤二、基于车辆运动学关系的本车与目标车行驶轨迹建模。在步骤一所得的目标场景的物理模型的基础上,结合车辆的运动学关系,求解本车及目标车的行驶轨迹。目标场景的静态场景元素中包含了本车及目标车的初始位置信息,动态场景元素中包含了本车及目标车随时间变化的速度序列和加速度序列等信息,因此结合车辆运动学模型即可计算得到本车与目标车的行驶轨迹。本车与目标车行驶轨迹的建模方法相同,均可分为两种方式:一种是以车辆的中心为基准点,建立车辆左前端轮廓点、右前端轮廓点、左后端轮廓点和右后端轮廓点的轨迹模型;第二种是以车辆的左前端轮廓点、右前端轮廓点、左后端轮廓点或右后端轮廓点中的一个作为基准点,建立其它轮廓点的轨迹模型。这两种方式选取的基准点不同,但建模原理与方法是一致的,在实际建模时可根据具体问题选择便于计算求解的基准点建模。
在图4中示出第一步步骤二的一示例性实施例,实施例中以本车右前端轮廓点为基准点,以初始时刻t0时刻本车右前端轮廓点的位置为坐标原点,则本车行驶一段时间至t1时刻,右前端轮廓点的坐标可表示为:
式中,ve(t)表示本车在t时刻的速度,θe(t)表示本车在t时刻的航向角,pex rf表示本车右前端轮廓点在t1时刻的横坐标,pey rf表示本车右前端轮廓点在t1时刻的纵坐标。
设本车的长度为ae,宽度为be,将车辆轮廓近似为矩形,则t1时刻本车左前端轮廓点的坐标(pex lf,pey lf)为:
t1时刻本车右后端轮廓点的坐标(pex rr,pey rr)为:
t1时刻本车左后端轮廓点的坐标(pex lr,pey lr)为:
求解出本车各轮廓点的坐标后,将本车在切入过程不同时刻的各轮廓点坐标连接起来即可得本车在切入过程的行驶轨迹。
步骤三、通过分离轴定理求解动态场景边界。得到本车及目标车的行驶轨迹后,可进一步通过分离轴定理分析本车与目标车的交互情况,求解如图3中本车与目标车的边界状态,根据边界状态本车与目标车的相对距离、相对速度以及相对加速度等场景危险性指标确定动态场景边界。
在图5中示出第一步步骤三的一示例性实施例,实施例仍以切入场景为目标场景的类型,在图3建立的物理模型与图4建立的行驶轨迹模型的基础上,通过分离轴定理求解动态场景边界。假设车辆行驶是二维平面内的运动,将车辆建模为有向包围盒,即车辆的外形与行驶方向都考虑在内。根据分离轴定理,对任意两个互相分开的凸多面体,存在一个分离轴使得这两个多面体在轴上有一定间隔,而且其在分离轴上的投影也相互分开。对一个有向包围盒来说,最多只需要检测其两个边方向向量是否满足分离轴条件即可,对两个有向包围盒则最多需要检测四个边方向向量是否满足分离轴条件,只要四个边方向向量中有任意一个是分离轴,即可判断两个有向包围盒不相交,即车辆不发生碰撞。图5中,A代表目标车,B代表本车,根据分离轴定理,当满足以下关系式,即可判定两车不发生碰撞:
|s·l|>dA+dB,l∈{au,av,bu,bv} (5)
式中,s表示本车中心与目标车中心的距离向量,l表示归一化向量的方向投影轴,au、av表示目标车两个边方向的归一化向量,bu、bv表示本车两个边方向的归一化向量,dA表示目标车中心点之前在投影轴上的投影长度,dB表示本车中心点之后在投影轴上的投影长度。
dA可通过下式得到:
dB可通过下式得到:
根据分离轴定理,可求得图3中本车切入至目标车后方,本车右前端轮廓点刚好不与目标车右后端轮廓点发生碰撞的边界状态对应的场景边界为:
式中,tp1表示本车右前端轮廓点刚好与目标车右后端轮廓点位于同一直线上的时刻,该时刻易通过本车右前端轮廓点的行驶轨迹的纵向位移计算得到,vo表示目标车的纵向速度,D1表示t0时刻本车与目标车的初始距离。
同理,可求得图3中本车切入至目标车前方,本车左后端轮廓点刚好不与目标车右前端轮廓点发生碰撞的边界状态对应的场景边界为:
式中,tp2表示本车左后端轮廓点刚好与目标车右前端轮廓点位于同一直线上的时刻,该时刻易通过本车左后端轮廓点的行驶轨迹的纵向位移计算得到。
由此,即通过物理建模的方式求得了目标动态场景在设定的ODD下的场景边界。
第二步中通过支持向量机求解动态场景危险域与安全域边界的过程如下:
步骤一、场景数据采集及数据预处理。场景数据采集车辆上搭载激光雷达、毫米波雷达、GPS高精度惯导、高清摄像头、车载CAN总线、车道线传感器、雨量传感器和光照传感器等传感器,按照固定采集周期对所有传感器数据进行采集,所采集的传感器数据形式包括:激光雷达产生的以帧为单位的空间三维点云,毫米波雷达产生的以帧为单位的障碍物状态列表,GPS高精度惯导产生的以时间序列表示的定位与姿态数据,高清摄像头与车道线传感器产生的以帧为单位的彩色图像,车载CAN总线产生的以时间序列表示的车辆操纵与运动状态数据,雨量传感器与光照传感器产生的以时间序列表示的电压数据。数据预处理的具体内容包括:各传感器数据的时间对齐与空间对齐;传感器数据的有效性验证;生成车载总线对齐信号、车辆状态对齐信号和多模态环境传感器对齐信号,供后续步骤使用。在图6中示出第二步步骤一的示例性架构框图。
步骤二、危险场景工况与安全场景工况提取。根据第一步的步骤二中选定的目标场景类型及其ODD类型,采用人工观看视频的方式从所有预处理后的数据中截取出多段与目标场景及其ODD一致的场景数据,每段完整的目标场景数据称之为一次场景工况,代表真实道路上所发生的一次完整的目标场景事件。在场景工况提取阶段,场景的危险性可通过一些本车状态量表征,如步骤一所得的车载总线对齐信号与车辆状态对齐信号中的本车纵向速度、纵向加速度、侧向加速度和横摆角速度等。由于同样的驾驶操作在不同的纵向速度下可能导致会不同的场景危险性,因此将本车的纵向速度划分为多个区间,以纵向加速度、侧向加速度和横摆角速度为场景危险性指标,建立上述指标在不同车速区间的危险场景工况提取标准。
表1:场景危险度指标一览表
如表1所示,实施例仍以切入场景及为其设计的ODD为目标场景。实施例将本车的纵向速度划分为多个区间,并针对切入场景的特点,设计了本车不同纵向速度区间下纵向加速度、侧向加速度以及横摆角速度的危险工况标准。当场景工况中的某一时刻,本车的纵向加速度、侧向加速度和横摆角速度中有一项达到危险场景工况标准时,该场景工况即被判定为危险场景工况,由此可将所有场景工况进行危险性划分,提取出危险场景工况与安全场景工况。
步骤三、通过支持向量机求解动态场景危险域与安全域边界。首先选取能够表征目标场景危险性的时刻作为关键时刻,研究该时刻本车与目标车的交互情况,作为划分场景危险域与安全域的依据。为提高支持向量机的分类效果,不再以步骤二中单一的本车状态量作为场景危险性指标,而是选择能够融合多个本车状态量及目标车状态量的综合性物理量表征场景的危险性,如碰撞时间(Time To Collision,TTC)、车头时距(Time Headway,THW)以及本车与目标车的相对速度和相对加速度。其中,TTC表示两车在维持当前运动状态不变的情况下从当前时刻到发生碰撞所需要的时间,其值越小,代表场景的危险性越高。TTC可通过下式计算得到:
式中,ΔR表示两车的相对距离,vr表示后车的速度,vf表示前车的速度。
THW表示两车在维持当前运动状态不变的情况下后车到达前车所在位置所用的时间,其值越小,代表场景的危险性越高。THW可通过下式计算得到:
然后,计算所有危险场景工况与安全场景工况在关键时刻的TTC、THW以及本车与周围车的相对速度和相对加速度等场景危险性指标。最后,将计算所得的场景危险性指标以及场景工况危险性标签(即场景工况是危险还是安全)共同作为训练样本输入至支持向量机算法中,通过模型自学习输出动态场景危险域与安全域的边界。
在图7中示出第二步步骤二的一示例性实施方式,实施例仍以切入场景及为其设计的ODD为目标场景。根据切入场景的特点,选取本车中心与车道线重合时刻作为关键时刻,计算所有场景工况在关键时刻的场景危险性指标,包括TTC、THW、本车与目标车相对速度以及本车与目标车相对加速度。设训练样本为(xi,yi),i=1,...,n,其中n表示训练样本的总数,即危险场景工况与安全场景工况总数,xi表示第i个场景工况由场景危险性指标组成的特征向量,yi表示第i个场景工况的危险性标签,危险场景工况的危险性标签为+1,安全场景工况的危险性标签为-1。设能够划分危险域与安全域的决策面方程为:
ξx+c=0 (12)
式中,ξ表示决策面的法向量,决定了决策面的方向;c表示位移项,决定了决策面与原点的距离;x表示场景工况由场景危险性指标组成的特征向量。
特征向量x到决策面的距离r为:
决策面应满足能将训练样本正确分类,因此对于任意的训练样本,都有:
在决策面两侧距离决策面最近的训练样本被称作支持向量,两个异类支持向量到决策面的距离之和γ代表分类间隔:
为找到分类效果最佳的决策面,需最大化分类间隔,即求解下式:
同时,需满足以下条件:
yi(ξxi+c)≥1,i=1,2,...,n. (17)
由于求解最佳决策面属于凸二次规划问题,故采用拉格朗日乘子法得到其对偶问题。对公式(17)的每条约束添加拉格朗日乘子αi,构造拉格朗日函数如下:
令拉格朗日函数L对ξ,c的偏导数为零,可得:
于是,关于公式(18)的优化问题可进一步转化为关于参数αi的凸二次优化寻优对偶问题,即:
式中,αj、xj和yj分别由αi、xi和yi对偶所得。
由此可得,支持向量机输出的动态场景危险域与安全域的边界方程f(x)为:
f(x)=ξ*x+c* (22)
当训练样本线性不可分时,可将训练样本从原始空间映射到一个更高维的特征空间,使得训练样本在这个特征空间线性可分。令φ(x)表示将x映射到高维特征空间所对应的特征向量,求解过程涉及到计算φ(xi)φ(xj),即xi与xj映射到特征空间之后的内积。由于特征空间维数可能很高,甚至可能是无穷解,因此直接计算通常是困难的。为避开这个障碍,引入核函数对映射到高维空间中的任意两个特征向量之间的点积进行计算:
其中,κ(xi,xj)表示核函数,常用的核函数包含以下几种类型:
线性核函数:
κ(xi,xj)=xi·xj (24)
多项式核函数:
κ(xi,xj)=(xi·xj)d (25)
其中,d为多项式的次数,且d≥1。
高斯核函数:
其中,σ为高斯核函数的带宽,且σ>0。
拉普拉斯核函数:
Sigmiod核函数:
κ(xi,xj)=tanh(βxixj+θ) (28)
其中,tanh为双曲正切函数,β>0,θ<0。
引入核函数后,就不必直接去计算高维甚至无穷维特征空间中的内积,于是公式(21)可转化为:
求解后即可得支持向量机输出的动态场景危险域与安全域的边界方程F(x)为:
第三步中通过支持向量回归求解动态场景危险域中不同等级的危险度边界的过程如下:
步骤一、根据TTC对危险域中不同等级的危险度边界进行预划分。TTC作为最常用的场景危险性指标,可较好地评估简单低维场景的危险程度,但对于复杂的高维场景,由于TTC仅考虑了两车的相对距离与相对速度两个因素,因此无法通过其得到准确、全面且完整的场景危险度边界,此外,仅通过TTC进行场景危险度边界划分还存在一个缺点,即在考虑场景在真实道路上的发生概率的情况下,有些TTC值很小的危险场景实际在真实道路上几乎不会发生,这一类的场景并不适于纳入危险域中用于智能网联汽车测试。因此,为便于得到准确完整的场景危险度边界,可首先根据TTC对危险域中不同等级的危险度边界进行预划分。计算所有危险场景工况关键时刻的TTC,制定危险域场景危险度边界的预划分标准。
表2:场景危险度等级一览表
TTC值 | 场景危险度等级 |
[0,1] | 碰撞场景(crash scenarios) |
(1,3] | 紧急场景(emergency scenarios) |
(3,5] | 冲突场景(conflict scenarios) |
(5,+∞) | 安全场景,舍去 |
如表2所示,实施例仍以切入场景及其ODD为目标场景。根据切入场景的特点,选取本车中心与车道线重合时刻作为关键时刻,计算所有危险场景工况在关键时刻的TTC,制定危险域场景危险度边界的预划分标准如下:TTC∈[0s,1s]时,场景的危险度等级为碰撞场景(crash scenarios);TTC∈(1s,3s]时,场景的危险度等级为紧急场景(emergencyscenarios);TTC∈(3s,5s]时,场景的危险度等级为冲突场景(conflict scenarios);TTC∈(5s,+∞)时,由于TTC的值较大,将此类场景判定为误归入危险场景工况的安全场景,直接舍去。
步骤二、选取合适的场景危险性指标构造联合分布。计算危险场景工况在关键时刻的场景危险性指标,如TTC、THW、本车与目标车的相对速度以及本车与目标车的相对加速度,将各场景危险性指标两两组合,构造联合分布,结合步骤一场景危险度边界的预划分结果,观察危险场景工况的分布情况,选择分类效果较好的场景危险性指标的联合分布作为支持向量回归算法的输入。
在图8中示出第三步步骤二的一示例性运算结果,实施例仍以切入场景及为其设计的ODD为目标场景。根据切入场景的特点,选取本车中心与车道线重合时刻作为关键时刻,采用步骤一的方法根据TTC对危险域中不同等级的危险度边界进行预划分,将各场景危险性指标两两组合,构造联合分布,观察危险场景工况的分布情况,最后得到在TTC与两车相对加速度的联合分布中危险场景工况的分类效果最好。
步骤三、通过支持向量回归求解动态场景危险域中不同等级的危险度边界。首先,将步骤二所得的分类效果较好的场景危险性指标的联合分布中无边界线处的场景边界点提取出来,作为训练样本,输入至支持向量回归算法中,提取时应注意将同属于一条边界线的边界点作为一个训练样本集,单独输入至支持向量回归算法中,保证每个训练样本集只对应一条场景危险度边界,最后将所有场景危险度边界线汇总即可得动态场景危险域中不同等级的危险度边界。
由于对于每个训练样本集,支持向量回归的求解方法基本相同,下面以一个训练样本集为例,介绍支持向量回归算法求解场景危险域中不同等级的危险度边界的方法。设训练样本集中的训练样本为(ti,gi),i=1,...,m,其中m表示训练样本集中训练样本的个数,即边界点的个数,ti表示第i个边界点在场景危险性指标的联合分布中的横坐标,gi表示第i个边界点在场景危险性指标的联合分布中的纵坐标。支持向量回归算法假设模型输出f(t)与边界点纵坐标g之间最多可以有ε的偏差,即仅当f(t)与g之间的差的绝对值大于ε时才计算损失,这相当于以f(t)为中心,构建了一个宽度为2ε的间隔带,若训练样本落入此间隔带,则认为预测正确。
设支持向量回归算法的输出f(t)为:
f(t)=ηt+q (31)
式中,η表示决策面的法向量,决定了决策面的方向;q表示位移项,决定了决策面与原点的距离;t表示边界点在场景危险性指标的联合分布中的横坐标。
于是,该求解问题可形式化为:
式中,D表示正则化常数,lε表示ε-不敏感函数,其表达式为:
引入松弛变量δi和δi’,公式(32)可转化为:
引入拉格朗日乘子μi、μi’、αi和αi’,构造拉格朗日函数:
令拉格朗日函数L对η,q,δi和δi’的偏导数为零,可得:
αi+μi=D (38)
α′i+μ′i=D (39)
于是,关于公式(35)的对偶问题为:
式中,tj,αj,αj’分别由ti,αi和αi’对偶所得。
通过上式可求解得αi,任意选取0<αi<D的训练样本即可求解得q:
此外,q还可通过选取多个满足条件0<αi<D的训练样本,求解后取平均值的方式得到。
由此,支持向量回归输出的场景危险度边界方程f(t)为:
若训练样本线性不可分,可采用第二步的步骤三中引入核函数的方法。假设t映射到高维特征空间后所对应为φ(t),则η将变为:
求解后即可得支持向量回归输出的场景危险度边界方程F(t)为:
其中,κ(ti,tj)=φ(ti)φ(tj)表示核函数。
按照上述方法求解出所有训练样本集所对应的场景危险度边界,与步骤一中预划分得到的场景危险度边界合并起来即为动态场景危险域中不同等级的危险度边界。
在图9中示出第三步步骤三的一示例性运算结果,实施例仍以切入场景及为其设计的ODD为目标场景。根据步骤一的场景危险度边界的预划分结果,步骤二得到的分类效果较好的场景危险性指标的联合分布,即TTC与两车相对加速度联合分布中相当于已存在由TTC=0、TTC=1、TTC=3和TTC=5所确定的四条危险度边界,但由于联合分布中包含了更多的场景危险性指标,加之场景工况自身的分布特点,仅通过由TTC确定的这三条危险度边界无法将危险域中的场景完全分隔开,还存在一些场景边界点无边界线的情况,如图8所示的联合分布图左右两侧的边界点,所以需通过支持向量回归进一步求解无边界线处边界点的场景危险度边界。分别将联合分布图左右两侧的边界点作为一个单独的训练样本集,输入至支持向量回归算法中进行学习,由于该联合分布图的边界接近线性,选择线性核函数求解,可得联合分布图两侧的场景危险度边界。将求得的危险度边界与根据TTC预划分所得的危险度边界合并在一起,即可得该危险域中不同等级的危险度边界为:
式中,l1与lr分别为通过支持向量回归学习得到的联合分布图左侧和右侧的危险度边界,lm1、lm2、lm3和lm4分别为根据TTC预划分所得的危险度边界。
第四步中基于物理机理与机器学习混杂理论的动态场景边界评估的过程如下:
步骤一、基于物理机理的动态场景危险度边界与基于机器学***均差异度设置一致性标准。
表3:一致性分析结果一览表
平均差异度 | 一致性分析结果 |
[0,15%] | 良好 |
(15%,30%] | 一般 |
(30%,100%] | 较差 |
如表3所示,实施例仍以切入场景及为其设计的ODD为目标场景。虽然基于物理机理与基于机器学***均差异度,根据切入场景的特点,设置一致性标准如下:当所有场景危险性指标的平均差异度小于15%时,可认为一致性良好;当所有场景危险性指标的平均差异度小于30%时,可认为一致性一般;当所有场景危险性指标的平均差异度大于30%时,可认为一致性较差。
设置上述一致性标准是由两种求解方式的求解原理所决定的,基于物理机理与基于机器学习的动态场景边界求解方法,体现了场景研究中两种主流的研究思想,一种是通过纯理论研究的方式推导求解,一种是通过从真实道路驾驶数据中学习规律。基于物理机理的求解方法通过建立目标场景的物理模型,结合车辆运动学关系,分析本车与周围目标车的运动以及交互情况,从运动学与几何学的角度出发,从理论层面得到了动态场景的危险度边界,其优点在于所求得的动态场景边界比较准确,基本不会出现危险域场景与安全域场景误判的情况,但缺点是由于未考虑真实道路驾驶情况,危险域中的很多场景在真实道路上发生的概率极低,用这样的场景测试智能网联汽车现实意义不大;基于机器学习的求解方法以自然驾驶数据库中的真实道路驾驶数据为基础,采用支持向量机与支持向量回归算法,通过模型自学习的方式得到了动态场景的危险度边界,其优点在于充分考虑了目标场景在真实道路上的发生概率,因此求得的场景边界可自动滤去危险域中许多发生概率极低的场景,但该方法十分依赖自然驾驶数据库的数据量与数据质量,当自然驾驶数据库中的数据量较小或数据质量较低时,学习得到的场景边界可能会出现较大的偏差。因此,通过这两种方式求解所得的动态场景边界必然会存在一定程度的偏差,所以设置了较为宽松的一致性判定阈值,但在两种方式求解正确的前提下,二者求得的动态场景边界在大范围上应该是基本一致的。
步骤二、基于物理机理与机器学***均差异度大小为基于物理机理的方式分配更多的偏移权重;当一致性分析结果为较差时,说明基于机器学习的求解方法求解得到的动态场景边界偏差很大,此时高置信度动态场景边界应选择基于物理机理的方式求解得到的动态场景边界。
步骤三、基于物理机理与机器学习混杂理论的动态场景边界验证。根据高置信度动态场景边界的生成结果,分别以危险域的三个等级的危险度的场景空间以及安全域的场景空间为单独的测试场景库,依次从这四个场景库中不停抽样场景测试智能网联汽车,直到每个场景库的事故率收敛。若这四个场景库收敛后的事故率随场景危险度的增加而增加,并呈现明显的阶梯式分布规律,则说明生成的动态场景边界的效果较好。
Claims (1)
1.一种基于物理机理与机器学习混杂理论的动态场景边界评估方法,其特征在于:其方法包括如下步骤:
第一步、通过物理建模求解动态场景边界,具体过程如下:
步骤一、建立目标场景的物理模型,首先确定待研究的目标场景的类型,包括切入场景、切出场景、跟随场景、高速路口驶出场景以及汇入匝道场景,然后针对选定的目标场景类型,进一步设计其操作设计域,即明确目标场景具体是一种怎样的场景,在场景研究中,本车指待测试的智能网联汽车,目标车指场景中除本车之外的其他车辆,设计ODD时确定目标场景的所有静态场景元素,与车辆相关静态场景元素包括目标车的数目与种类、本车与目标车的初始位置,与车道相关的静态场景元素包括车道的数目与类别、本车与目标车所属的车道,与环境相关的静态场景元素包括交通标识的数目与种类、光照强度以及天气情况;最后,根据目标场景类型所规定的本车与周围目标车的交互方式,对目标场景的动态场景元素进行离散化设置,如本车与目标车的速度和加速度、目标场景的触发模式、触发距离和触发时间,将离散化后的各动态场景元素排列组合便可得到目标场景的场景空间,建立起目标场景的物理模型;
步骤二、基于车辆运动学关系的本车与目标车行驶轨迹建模,在步骤一所得的目标场景的物理模型的基础上,结合车辆的运动学关系,求解本车及目标车的行驶轨迹,目标场景的静态场景元素中包含了本车及目标车的初始位置信息,动态场景元素中包含了本车及目标车随时间变化的速度序列和加速度序列的信息,结合车辆运动学模型计算得到本车与目标车的行驶轨迹,本车与目标车行驶轨迹的建模方法相同,均分为两种方式:一种是以车辆的中心为基准点,建立车辆左前端轮廓点、右前端轮廓点、左后端轮廓点和右后端轮廓点的轨迹模型;第二种是以车辆的左前端轮廓点、右前端轮廓点、左后端轮廓点或右后端轮廓点中的一个作为基准点,建立其它轮廓点的轨迹模型,这两种方式选取的基准点不同,但建模原理与方法是一致的,在实际建模时根据具体问题选择便于计算求解的基准点建模;
以选择本车右前端轮廓点为基准点建模为例,以初始时刻t0时刻本车右前端轮廓点的位置为坐标原点,则本车行驶一段时间至t1时刻,右前端轮廓点的坐标表示为:
式中,ve(t)表示本车在t时刻的速度,θe(t)表示本车在t时刻的航向角,pex rf表示本车右前端轮廓点在t1时刻的横坐标,pey rf表示本车右前端轮廓点在t1时刻的纵坐标;
设本车的长度为ae,宽度为be,将车辆轮廓近似为矩形,则t1时刻本车左前端轮廓点的坐标(pex lf,pey lf)为:
t1时刻本车右后端轮廓点的坐标(pex rr,pey rr)为:
t1时刻本车左后端轮廓点的坐标(pex lr,pey lr)为:
求解出本车各轮廓点的坐标后,将本车在切入过程不同时刻的各轮廓点坐标连接起来即可得本车在切入过程的行驶轨迹;
步骤三、通过分离轴定理求解动态场景边界,得到本车及目标车的行驶轨迹后,进一步通过分离轴定理分析本车与目标车的交互情况,求解本车与目标车的边界状态,根据边界状态本车与目标车的相对距离、相对速度以及相对加速度的场景危险性指标确定动态场景边界;
以切入场景为目标场景的类型,在建立的物理模型和建立的行驶轨迹模型的基础上,通过分离轴定理求解动态场景边界,假设车辆行驶是二维平面内的运动,将车辆建模为有向包围盒,即车辆的外形与行驶方向都考虑在内,根据分离轴定理,对任意两个互相分开的凸多面体,存在一个分离轴使得这两个多面体在轴上有一定间隔,而且其在分离轴上的投影也相互分开,对一个有向包围盒来说,最多只需要检测其两个边方向向量是否满足分离轴条件即可,对两个有向包围盒则最多需要检测四个边方向向量是否满足分离轴条件,只要四个边方向向量中有任意一个是分离轴,即判断出两个有向包围盒不相交,即车辆不发生碰撞,A代表目标车,B代表本车,根据分离轴定理,当满足以下关系式,即判定出两车不发生碰撞:
|s·l|>dA+dB,l∈{au,av,bu,bv} (5)
式中,s表示本车中心与目标车中心的距离向量,l表示归一化向量的方向投影轴,au、av表示目标车两个边方向的归一化向量,bu、bv表示本车两个边方向的归一化向量,dA表示目标车中心点之前在投影轴上的投影长度,dB表示本车中心点之后在投影轴上的投影长度;
dA可通过下式得到:
dB可通过下式得到:
根据分离轴定理,求得本车切入至目标车后方,本车右前端轮廓点不与目标车右后端轮廓点发生碰撞的边界状态对应的场景边界为:
式中,tp1表示本车右前端轮廓点与目标车右后端轮廓点位于同一直线上的时刻,该时刻通过本车右前端轮廓点的行驶轨迹的纵向位移计算得到,vo表示目标车的纵向速度,D1表示t0时刻本车与目标车的初始距离;
同理,求得本车切入至目标车前方,本车左后端轮廓点不与目标车右前端轮廓点发生碰撞的边界状态对应的场景边界为:
式中,tp2表示本车左后端轮廓点与目标车右前端轮廓点位于同一直线上的时刻,该时刻通过本车左后端轮廓点的行驶轨迹的纵向位移计算得到;
由此,即通过物理建模的方式求得了目标动态场景在设定的ODD下的场景边界;
第二步、通过支持向量机求解动态场景危险域与安全域边界,具体过程如下:
步骤一、场景数据采集及数据预处理,场景数据采集车辆上搭载激光雷达、毫米波雷达、GPS高精度惯导、高清摄像头、车载CAN总线、车道线传感器、雨量传感器和光照传感器,按照固定采集周期对所有传感器数据进行采集,所采集的传感器数据形式包括:激光雷达产生的以帧为单位的空间三维点云,毫米波雷达产生的以帧为单位的障碍物状态列表,GPS高精度惯导产生的以时间序列表示的定位与姿态数据,高清摄像头与车道线传感器产生的以帧为单位的彩色图像,车载CAN总线产生的以时间序列表示的车辆操纵与运动状态数据,雨量传感器与光照传感器产生的以时间序列表示的电压数据,数据预处理的具体内容包括:各传感器数据的时间对齐与空间对齐;传感器数据的有效性验证;生成车载总线对齐信号、车辆状态对齐信号和多模态环境传感器对齐信号,供后续步骤使用;
步骤二、危险场景工况与安全场景工况提取,根据第一步的步骤二中选定的目标场景类型及其ODD类型,采用人工观看视频的方式从所有预处理后的数据中截取出数段与目标场景及其ODD一致的场景数据,每段完整的目标场景数据称之为一次场景工况,代表真实道路上所发生的一次完整的目标场景事件,在场景工况提取阶段,场景的危险性通过一些本车状态量表征,如步骤一所得的车载总线对齐信号与车辆状态对齐信号中的本车纵向速度、纵向加速度、侧向加速度和横摆角速度,由于同样的驾驶操作在不同的纵向速度下会导致不同的场景危险性,因此将本车的纵向速度划分为数个区间,以纵向加速度、侧向加速度和横摆角速度为场景危险性指标,建立上述指标在不同车速区间的危险场景工况提取标准;
以切入场景及为其设计的ODD为目标场景,将本车的纵向速度划分为数个区间,并针对切入场景的特点,设计了本车不同纵向速度区间下纵向加速度、侧向加速度以及横摆角速度的危险工况标准,当场景工况中的某一时刻,本车的纵向加速度、侧向加速度和横摆角速度中有一项达到危险场景工况标准时,该场景工况即被判定为危险场景工况,由此将所有场景工况进行危险性划分,提取出危险场景工况与安全场景工况;
步骤三、通过支持向量机求解动态场景危险域与安全域边界,首先选取能够表征目标场景危险性的时刻作为关键时刻,研究该时刻本车与目标车的交互情况,作为划分场景危险域与安全域的依据,为提高支持向量机的分类效果,不再以步骤二中单一的本车状态量作为场景危险性指标,而是选择能够融合数个本车状态量及目标车状态量的综合性物理量表征场景的危险性,包括碰撞时间、车头时距以及本车与目标车的相对速度和相对加速度,其中,TTC表示两车在维持当前运动状态不变的情况下从当前时刻到发生碰撞所需要的时间,其值越小,代表场景的危险性越高,TTC通过下式计算得到:
式中,ΔR表示两车的相对距离,vr表示后车的速度,vf表示前车的速度;
THW表示两车在维持当前运动状态不变的情况下后车到达前车所在位置所用的时间,其值越小,代表场景的危险性越高,THW通过下式计算得到:
然后,计算所有危险场景工况与安全场景工况在关键时刻的TTC、THW以及本车与周围车的相对速度和相对加速度的场景危险性指标,最后,将计算所得的场景危险性指标以及场景工况危险性标签,即场景工况是危险还是安全,共同作为训练样本输入至支持向量机算法中,通过模型自学习输出动态场景危险域与安全域的边界;
以切入场景及为其设计的ODD为目标场景,根据切入场景的特点,选取本车中心与车道线重合时刻作为关键时刻,计算所有场景工况在关键时刻的场景危险性指标,包括TTC、THW、本车与目标车相对速度以及本车与目标车相对加速度,设训练样本为(xi,yi),i=1,...,n,其中n表示训练样本的总数,即危险场景工况与安全场景工况总数,xi表示第i个场景工况由场景危险性指标组成的特征向量,yi表示第i个场景工况的危险性标签,危险场景工况的危险性标签为+1,安全场景工况的危险性标签为-1,设能够划分危险域与安全域的决策面方程为:
ξx+c=0 (12)
式中,ξ表示决策面的法向量,决定了决策面的方向;c表示位移项,决定了决策面与原点的距离;x表示场景工况由场景危险性指标组成的特征向量;
特征向量x到决策面的距离r为:
决策面要满足能将训练样本正确分类,因此对于任意的训练样本,都有:
在决策面两侧距离决策面最近的训练样本称作支持向量,两个异类支持向量到决策面的距离之和γ代表分类间隔:
为找到分类效果最佳的决策面,要最大化分类间隔,即求解下式:
同时,满足以下条件:
yi(ξxi+c)≥1,i=1,2,...,n. (17)
求解最佳决策面属于凸二次规划问题,采用拉格朗日乘子法得到其对偶问题,对公式(17)的每条约束添加拉格朗日乘子αi,构造拉格朗日函数如下:
令拉格朗日函数L对ξ,c的偏导数为零,可得:
于是,关于公式(18)的优化问题进一步转化为关于参数αi的凸二次优化寻优对偶问题,即:
式中,αj、xj和yj分别由αi、xi和yi对偶所得;
求解得αi的最优解为αi *,则通过公式(19)得到的ξ最优解ξ*,通过公式(17)得到c的最优解c*;
由此可得,支持向量机输出的动态场景危险域与安全域的边界方程f(x)为:
f(x)=ξ*x+c* (22)
当训练样本线性不可分时,将训练样本从原始空间映射到一个更高维的特征空间,使得训练样本在这个特征空间线性可分,令φ(x)表示将x映射到高维特征空间所对应的特征向量,求解过程涉及到计算φ(xi)φ(xj),即xi与xj映射到特征空间之后的内积,引入核函数对映射到高维空间中的任意两个特征向量之间的点积进行计算:
其中,κ(xi,xj)表示核函数,常用的核函数包含以下类型:
线性核函数:
κ(xi,xj)=xi·xj (24)
多项式核函数:
κ(xi,xj)=(xi·xj)d (25)
其中,d为多项式的次数,且d≥1;
高斯核函数:
其中,σ为高斯核函数的带宽,且σ>0;
拉普拉斯核函数:
Sigmiod核函数:
κ(xi,xj)=tanh(βxixj+θ) (28)
其中,tanh为双曲正切函数,β>0,θ<0;
引入核函数后,就不必直接去计算高维甚至无穷维特征空间中的内积,于是公式(21)转化为:
求解后得到支持向量机输出的动态场景危险域与安全域的边界方程F(x)为:
第三步、通过支持向量回归求解动态场景危险域中不同等级的危险度边界,具体过程如下:
步骤一、根据TTC对危险域中不同等级的危险度边界进行预划分,为便于得到准确完整的场景危险度边界,首先根据TTC对危险域中不同等级的危险度边界进行预划分,计算所有危险场景工况关键时刻的TTC,制定危险域场景危险度边界的预划分标准;
以切入场景及为其设计的ODD为目标场景,根据切入场景的特点,选取本车中心与车道线重合时刻作为关键时刻,计算所有危险场景工况在关键时刻的TTC,制定危险域场景危险度边界的预划分标准如下:
TTC∈[0s,1s]时,场景的危险度等级为碰撞场景;TTC∈(1s,3s]时,场景的危险度等级为紧急场景;TTC∈(3s,5s]时,场景的危险度等级为冲突场景;TTC∈(5s,+∞)时,由于TTC的值较大,将此类场景判定为误归入危险场景工况的安全场景,直接舍去;
步骤二、选取合适的场景危险性指标构造联合分布,计算危险场景工况在关键时刻的场景危险性指标,包括TTC、THW、本车与目标车的相对速度以及本车与目标车的相对加速度,将各场景危险性指标两两组合,构造联合分布,结合步骤一场景危险度边界的预划分结果,观察危险场景工况的分布情况,选择分类效果较好的场景危险性指标的联合分布作为支持向量回归算法的输入;
步骤三、通过支持向量回归求解动态场景危险域中不同等级的危险度边界,首先,将步骤二所得的分类效果较好的场景危险性指标的联合分布中无边界线处的场景边界点提取出来,作为训练样本,输入至支持向量回归算法中,提取时要注意将同属于一条边界线的边界点作为一个训练样本集,单独输入至支持向量回归算法中,保证每个训练样本集只对应一条场景危险度边界,最后将所有场景危险度边界线汇总得到动态场景危险域中不同等级的危险度边界;
设训练样本集中的训练样本为(ti,gi),i=1,...,m,其中m表示训练样本集中训练样本的个数,即边界点的个数,ti表示第i个边界点在场景危险性指标的联合分布中的横坐标,gi表示第i个边界点在场景危险性指标的联合分布中的纵坐标,支持向量回归算法假设模型输出f(t)与边界点纵坐标g之间最多可以有ε的偏差,即仅当f(t)与g之间的差的绝对值大于ε时才计算损失,以f(t)为中心,构建了一个宽度为2ε的间隔带,若训练样本落入此间隔带,则认为预测正确;
设支持向量回归算法的输出f(t)为:
f(t)=ηt+q (31)
式中,η表示决策面的法向量,决定了决策面的方向;q表示位移项,决定了决策面与原点的距离;t表示边界点在场景危险性指标的联合分布中的横坐标;
于是,该求解问题形式化为:
式中,D表示正则化常数,lε表示ε-不敏感函数,其表达式为:
引入松弛变量δi和δi’,公式(32)转化为:
引入拉格朗日乘子μi、μi’、αi和αi’,构造拉格朗日函数:
令拉格朗日函数L对η,q,δi和δi’的偏导数为零,可得:
αi+μi=D (38)
α'i+μ'i=D (39)
于是,关于公式(35)的对偶问题为:
式中,tj,αj,αj’分别由ti,αi和αi’对偶所得;
通过上式求解得αi,任意选取0<αi<D的训练样本求解得q:
此外,q通过选取多个满足条件0<αi<D的训练样本,求解后取平均值的方式得到;
由此,支持向量回归输出的场景危险度边界方程f(t)为:
若训练样本线性不可分,将采用第二步的步骤三中引入核函数的方法,假设t映射到高维特征空间后所对应为φ(t),则η将变为:
求解后得到支持向量回归输出的场景危险度边界方程F(t)为:
其中,κ(ti,tj)=φ(ti)φ(tj)表示核函数;
按照上述方法求解出所有训练样本集所对应的场景危险度边界,与步骤一中预划分得到的场景危险度边界合并起来即为动态场景危险域中不同等级的危险度边界;
第四步、基于物理机理与机器学习混杂理论的动态场景边界评估,具体过程如下:
步骤一、基于物理机理的动态场景危险度边界与基于机器学***均差异度设置一致性标准;
以切入场景及为其设计的ODD为目标场景,通过建立场景危险性指标之间的函数关系对场景边界进行描述,一致性分析即对比动态场景边界处的各场景危险性指标值的差异程度,计算第一步基于物理机理与第三步基于机器学***均差异度,根据切入场景的特点,设置一致性标准如下:
当所有场景危险性指标的平均差异度小于15%时,认定一致性良好;当所有场景危险性指标的平均差异度小于30%时,认定一致性一般;当所有场景危险性指标的平均差异度大于30%时,认定一致性较差;
步骤二、基于物理机理与机器学习混杂理论的高置信度动态场景边界生成,根据步骤一设置的一致性标准即其设置依据,高置信度场景边界生成将采用以下原则:
当一致性分析结果为良好时,根据研究的实际需求通过两种求解方式求得的动态场景边界自由分配偏移权重,即当所研究的问题需更多地考虑真实道路交通情况时,将高置信度动态边界更多地向通过机器学***均差异度大小为基于物理机理的方式分配更多的偏移权重;当一致性分析结果为较差时,说明基于机器学习的求解方法求解得到的动态场景边界偏差很大,此时高置信度动态场景边界选择基于物理机理的方式求解得到的动态场景边界;
步骤三、基于物理机理与机器学习混杂理论的动态场景边界验证,根据高置信度动态场景边界的生成结果,分别以危险域的三个等级的危险度的场景空间以及安全域的场景空间为单独的测试场景库,依次从这四个场景库中不停抽样场景测试智能网联汽车,直到每个场景库的事故率收敛,若这四个场景库收敛后的事故率随场景危险度的增加而增加,并呈现明显的阶梯式分布规律,则说明生成的动态场景边界的效果较好。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211269248.9A CN115544888A (zh) | 2022-10-17 | 2022-10-17 | 一种基于物理机理与机器学习混杂理论的动态场景边界评估方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211269248.9A CN115544888A (zh) | 2022-10-17 | 2022-10-17 | 一种基于物理机理与机器学习混杂理论的动态场景边界评估方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115544888A true CN115544888A (zh) | 2022-12-30 |
Family
ID=84736274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211269248.9A Pending CN115544888A (zh) | 2022-10-17 | 2022-10-17 | 一种基于物理机理与机器学习混杂理论的动态场景边界评估方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115544888A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116401111A (zh) * | 2023-05-26 | 2023-07-07 | 中国第一汽车股份有限公司 | 脑机接口的功能检测方法、装置、电子设备及存储介质 |
CN116628584A (zh) * | 2023-07-21 | 2023-08-22 | 国网智能电网研究院有限公司 | 电力敏感数据处理方法、装置、电子设备及存储介质 |
-
2022
- 2022-10-17 CN CN202211269248.9A patent/CN115544888A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116401111A (zh) * | 2023-05-26 | 2023-07-07 | 中国第一汽车股份有限公司 | 脑机接口的功能检测方法、装置、电子设备及存储介质 |
CN116401111B (zh) * | 2023-05-26 | 2023-09-05 | 中国第一汽车股份有限公司 | 脑机接口的功能检测方法、装置、电子设备及存储介质 |
CN116628584A (zh) * | 2023-07-21 | 2023-08-22 | 国网智能电网研究院有限公司 | 电力敏感数据处理方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112166304B (zh) | 传感器数据的误差检测 | |
CN112700470B (zh) | 一种基于交通视频流的目标检测和轨迹提取方法 | |
Al-qaness et al. | An improved YOLO-based road traffic monitoring system | |
WO2020264010A1 (en) | Low variance region detection for improved detection | |
WO2022206942A1 (zh) | 一种基于行车安全风险场的激光雷达点云动态分割及融合方法 | |
CN115544888A (zh) | 一种基于物理机理与机器学习混杂理论的动态场景边界评估方法 | |
Kowol et al. | Yodar: Uncertainty-based sensor fusion for vehicle detection with camera and radar sensors | |
Zhang et al. | Pedestrian safety analysis in mixed traffic conditions using video data | |
CN116685874A (zh) | 摄像机-激光雷达融合对象检测***和方法 | |
Rezaei et al. | Computer vision for driver assistance | |
CN101837782A (zh) | 用于碰撞预备***的多目标融合模块 | |
CN116830164A (zh) | LiDAR去相关对象检测***与方法 | |
Zhang et al. | A framework for turning behavior classification at intersections using 3D LIDAR | |
CN113592905A (zh) | 基于单目摄像头的车辆行驶轨迹预测方法 | |
KR20210122101A (ko) | 객체를 분류하는 레이더 장치 및 방법 | |
CN116205024A (zh) | 一种面向高低维测评场景的自适应自动驾驶动态场景通用生成方法 | |
Sabour et al. | Deepflow: Abnormal traffic flow detection using siamese networks | |
Kloeker et al. | High-precision digital traffic recording with multi-lidar infrastructure sensor setups | |
Zardosht et al. | Identifying Driver Behavior in Preturning Maneuvers Using In‐Vehicle CANbus Signals | |
Lin et al. | Vehicle detection and tracking using low-channel roadside LiDAR | |
Hosseini et al. | An unsupervised learning framework for detecting adaptive cruise control operated vehicles in a vehicle trajectory data | |
Zhao | Exploring the fundamentals of using infrastructure-based LiDAR sensors to develop connected intersections | |
Hao et al. | Aggressive lane-change analysis closing to intersection based on UAV video and deep learning | |
Ennajar et al. | Deep multi-modal object detection for autonomous driving | |
CN114926729A (zh) | 一种基于行车视频的高风险路段鉴别***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |