CN115876197A - 一种系留升空光电成像目标定位方法 - Google Patents
一种系留升空光电成像目标定位方法 Download PDFInfo
- Publication number
- CN115876197A CN115876197A CN202211369156.8A CN202211369156A CN115876197A CN 115876197 A CN115876197 A CN 115876197A CN 202211369156 A CN202211369156 A CN 202211369156A CN 115876197 A CN115876197 A CN 115876197A
- Authority
- CN
- China
- Prior art keywords
- platform
- target
- angle
- positioning
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Navigation (AREA)
Abstract
本发明公开了一种系留升空光电成像目标定位方法,通过采集统一时刻的地面平台数据(大地坐标和姿态角)、升空平台数据(高度、平移量和姿态角)、光电吊舱数据(目标相对距离、转台的姿态角),按照模型进行解算,可以得出目标的大地坐标值,实现目标定位;基于地面的定位导航装置、视频测姿装置获取升空平台的位置和方向基准,与光电吊舱获得的目标相对位置和方向,能够计算得出目标的准确大地坐标。本发明解决系留浮空平台姿态控制难以不动、升空平台不载惯导装置情况下如何获得侦察定位能力的问题。
Description
技术领域
本发明属于光电成像定位***技术领域,涉及一种系留升空光电成像目标定位方法。
背景技术
光电成像是一种获取信息量大、且适合人眼呈现特性、便于目标识别判断的侦察手段,常常用于军用和警用侦察、监视、警戒、取证。为了使观察的范围更大、视距更远,采取升空方式能够有效规避地面建筑物、树木的遮挡,超越地球曲率对通视距离的影响,实现远距离成像探测和定位。而飞机或无人机需要耗费能源,受承载能力限制不可能在空中长时间持续工作,因此采用升空平台通过系留供电的方式,由地面电源***通过线缆持续为升空平台供电成为发展方向,系留升空光电成像定位设备可适合多种应用需求。
系留升空光电成像定位设备一般包含系留升空平台及其承载的光电吊舱、系留线缆、供电***、控制终端或具有同样功能的设备。由于升空平台要通过电机耗电来保持升空平台在空中悬停,因此尽可能降低其不必要的负载将有效提高***可靠性、降低***功率,也成为设备研制的重点工作。
升空光电成像定位一般需要测量***自身的位置(大地坐标)、目标相对自身位置的相对角度和相对距离,所以常常需要有提供北向基准的定位导航装置、激光测距机、光电吊舱方位角和俯仰角解算器等传感器。
其中,测北向精度在1mrad(均方根误差)的惯性导航装置,一般重量在5kg左右,可以由升空平台承载,占一般系留升空***有效载荷(侦察定位类,有效载荷为10kg、20kg)的50%~20%,采用申请号202010165921.9所述的或类似的其它对升空平台位置测量的方法,可使升空平台降低约25%~50%以上的负荷。这种情况下,将显著提高***可靠性,降低功耗;但如何实现对目标的精确测角、定位,则成为保障设备性能的重要问题。
申请号201810511325.4描述了一种系留式消防空中侦察平台,其组成包括悬浮式无人机消防侦察平台、系留线缆、缆绳自动收放***、高压电源供给***和地面操控中心,未涉及侦察定位方案。
申请号201611162336.3描述一种车载无人机系留通信侦察***,包括系留供电及通信***,未涉及侦察方案。
申请号201910070975.4描述一种基于浮空平台的多基线GNSS姿态测量装置及方法,包括定位信息解算模块、导航系位置计算模块、偏航角和俯仰角计算模块、滚转角计算模块,通过卫星定位设备计算飞行器姿态,未涉及侦察。
申请号201910700894.8描述空中侦察定位***及方法,***包括操作平台、多旋翼飞行器,是一种基于手机定位、蓝牙作为控制信道的飞行器设备,云台搭载监控设备拍摄目标区域地理环境,图传设备和飞控设备用于对多旋翼飞行器高度及姿态进行调整,GSM手机定位仪用于对目标手机进行定位,操作平台通过蓝牙无线模块向GSM手机定位仪发送指令。该方法包括:获取目标手机的手机号以及目标手机所在区域的小区号和公网主频;向目标手机发送短信,确认目标手机是否处于开机状态;在不同增益模式下,对目标手机进行定位,增益模式包括高增益模式、中增益模式和低增益模式。这种方案的自身定位受手机通信定位能力限制,精度不高,且在野外通信基站覆盖弱情况下难以定位;该***也未涉及系留、以及对目标坐标的定位功能。
这些装置和方法分别涉及对升空平台姿态的光学测量、卫星定位装置双站测量、或者是描述一种非系留的空中侦察定位***,未涉及基于系留浮空平台的具体侦察定位方法。
发明内容
(一)发明目的
本发明的目的是:提供一种适用于系留升空光电成像目标定位***对目标定位的方法,解决系留浮空平台姿态控制难以不动、升空平台不载惯导装置情况下如何获得侦察定位能力的问题。
(二)技术方案
为了解决上述技术问题,本发明提供一种系留升空光电成像目标定位方法,所述定位方法基于系留升空光电成像目标定位***实现定位,目标定位***包括地面平台和升空平台,其中,地面平台包括定位导航装置、视频测姿装置、系留设备和控制终端,控制终端由操控人员操作,定位导航装置用于测量地面平台安装基座的位姿,视频测姿装置通过观测获得升空平台标志点像素坐标,视频测姿装置基座与定位导航装置固连,安装方向保证与定位导航装置轴系一致,视频测姿装置的光学轴线能够沿横滚轴、俯仰轴方向微调,通过倾角传感器控制,保证其光轴垂直于水平面,即向正上方观测;通过基于图像位置偏差的闭环控制,升空平台能够保持在视频测姿装置视场内。
本发明目标定位方法包括以下步骤:
步骤1,确定***各设备时间同步或输出数据带时间标签;
步骤2,操控人员通过控制终端的手柄按键或控制软件的按键执行操作,搜索、选取目标,通过自动跟踪或手动瞄准,按激光测距键,触发***采集此时一致时间下各设备数据;
步骤3,读取地面平台上的定位导航装置数据,作为目标定位的方向基准和位置基准,含本地的大地坐标(水平位置和高度),地面平台与北向的夹角、方位角、俯仰角和横滚角;
步骤4,读取视频测姿装置数据,包括升空平台上若干标志点像素坐标(x1,y1,x2,y2,x3,y4…);读取升空平台数据,包括升空平台的高度h、俯仰角βA、横滚角ωA。根据以上数据,计算出升空平台相对地面平台的横向平移位置(ΔXA0,ΔYA0)、方位角αA。参数(αA,βA,ωA,ΔXA0,ΔYA0,h),用于坐标系的转换计算;
步骤5,读取升空平台光电吊舱传感器瞄准目标时方位转台、俯仰转台的相对转角(对于两轴转台结构的光电吊舱),光电吊舱测距传感器获得的目标相对距离值;或者是传感器瞄准目标时方位转台、俯仰转台和横滚转台的相对转角(对于三轴转台结构的光电吊舱),光电吊舱测距传感器获得的目标相对距离值,作为目标的相对位置参数;
步骤6,控制终端中部署有定位模块构件,根据数学模型,运用上述采集的数据进行目标坐标值的解算。
(三)有益效果
上述技术方案所提供的系留升空光电成像目标定位方法,具有以下有益效果:
第一,能够在升空平台不具备自身测姿、定位能力下,仍然有效对目标实施成像定位,获取目标图像时可获得目标准确的大地坐标:水平位置和高度值;
第二,采用该定位方法,在系留升空光电成像定位***固定或驻留在地面使用时,不受惯性导航装置零位漂移的影响,没有位置漂移,持续定位精度高;
第三,采用该定位方法,系留升空光电成像定位***在车载或舰载机动使用时,该方法也能够有效对目标定位、获取其准确的大地坐标。
附图说明
图1是系留升空光电成像定位***的数据采集分布示意图。
图2是系留升空光电成像定位***示意图。
图3是系留升空光电成像定位***的定位流程示意图。
图4是本发明涉及的旋转变换的正方向定义。
具体实施方式
为使本发明的目的、内容和优点更加清楚,下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。
如图1、2、3所示,本实施例系留升空光电成像目标定位方法的实施步骤如下:
步骤1,以***定位导航装置中北斗导航卫星数据接收机的时钟为基准时间,实施例的授时精度是30ns,确定***各电子设备时统一致,***各设备以北斗时间为基准同步输出数据,或输出数据时带时间标签;
步骤2,操控人员通过控制终端的手柄按键对光电吊舱进行操作,搜索目标,选取目标,通过自动跟踪锁定目标;按激光测距键,触发控制***采集此时一致时间(tR)下的各设备数据;
步骤3,控制终端内的控制软件读取tR时地面平台上定位导航装置的测量数据,含卫星和惯导组合导航测量出地面平台的本地经纬度坐标(L0,B0,h0)、tR时惯性导航装置装置测量出的地面平台与北向的水平角度(α0)、以及地面平台的方位、俯仰和横滚姿态角(α0,β0,ω0),实施例所用的定位导航装置的大地坐标精度是水平误差10m(CEP)、高程误差10m(PE),寻北精度是1mrad、姿态测量误差是0.08mrad;
步骤4,地面平台上视频测姿装置基于倾角传感器的数据反馈进行调节使光轴与水平面垂直,实施例的垂直度误差是0.1mrad;
控制终端内的控制软件读取tR时地面平台上视频测姿装置输出的升空平台标志点像素坐标,实施例的视频面阵像素是4088×4088,基于特征匹配确定标志点的对应关系,并选择对比度最好、像素距离最大的两个标志点(xi,yi,xj,yj),实施例两个像素距离大于2044的点,根据透视投影关系以及标志点在物理空间的相对位置参数,计算出标志点矢量在测姿坐标系中的方位角αijv,根据测姿坐标系与惯性坐标系的方位偏差δ(由于能够通过安装保证二者轴系基本平行,δ为一小角度量),将该方位角转换到惯性坐标系,记为αijg,则升空平台相对惯性坐标系的方位角αAG=αijg-αij0,式中,αij0为标志点矢量/>相对升空平台方位零位的方位偏角;读取tR时升空平台输出的升空平台上飞控组件测出的升空平台相对地面的高度h,实施例的升空平台的高度在50m~300m范围,高度误差是0.1m,升空平台横向平移位置(ΔXA0,ΔYA0)由下式算出:
式中,Mx为视频测姿装置水平像素数(实施例为4088),My为视频测姿装置垂直像素数(实施例为4088),ri为升空平台光电载荷挂载位置点o到标志点i构成的矢量的长度在xAoAyA平面上的投影,αi为该投影的方向角,fov为视频测姿装置视场角;
读取tR时升空平台输出的俯仰角βA、横滚角ωA,俯仰角、横滚角误差是0.3mrad;
步骤5,升空平台上光电吊舱瞄准目标后,控制终端内的控制软件读取tR时升空平台光电吊舱传感器瞄准目标时方位转台、俯仰转台的相对转角(αP,βP),或测量出方位转台(αP)、俯仰转台(βP)、以及横滚转台的相对转角(αP,βP,ωP)(对于三轴结构的光电吊舱),实施例的光电吊舱为两轴惯性稳定结构(重量18kg,方位和俯仰测角误差是0.1mrad);光电吊舱测距传感器tR时获得的目标相对距离值(D),实施例的光电吊舱采用1.54μm的激光测距机,测距误差是5m;
步骤6,将参数(L0,B0,h0)、(α0)、h、(αAG,βA,ωA)、(ΔXA0,ΔYA0)、(αP,βP)、D、光电坐标系相对升空坐标系的安装误差角(αe,βe,ωe)、测姿坐标系与惯性坐标系的方位偏差δ输入到控制终端中控制软件的定位软件构件,根据公式(2)~(11)定义的数学模型完成目标坐标计算:
旋转变换矩阵的计算过程如下:
1)计算目标在光电坐标系下的坐标
2)目标坐标转换到升空坐标系
[xA,yA,zA]T=A1 -1[xP,yP,zP]T (3)
式中,A1由旋转变换公式(4)计算出,其中α,β,ω分别代入(αe,βe,ωe)。
式中α,β,ω即按照zyx顺规定义的欧拉角的方位、俯仰、横滚量,角度正方向如图4所示。
3)惯性坐标系北向基准传递到升空坐标系
按照下式将惯性坐标系北向基准传递到升空坐标系,获得升空坐标系相对北西天坐标系的欧拉角(αA,βA,ωA)。
αA=αAG+α0 (5)
4)目标坐标转换到西北天坐标系
[xN,yN,zN]T=A2 -1[xA,yA,zA]T (6)
A1由式(1)计算出,其中α,β,ω分别代入(αA,βA,ωA)。
5)目标坐标转换到地心坐标系
将(L0,B0,h0)分别代入到公式(8)的变量(L,B,h)中,将地面平台坐标转换为地心坐标系下的直角坐标量(X0,Y0,Z0)。
6)按照以下公式确定北西天坐标系相对与地心坐标系下的变换关系。
[xe,ye,ze,1]T=A3 -1[za,-ya,xa,1]T (9)
式中,A3是将(L0,B0,X0,Y0,Z0)分别代入公式的变量(L,B,X,Y,Z)中计算得出的。
7)将目标的地心坐标转换为经纬度表示
按照下式计算:
其中,纬度B的计算采用递归算法求解。
至此,得到了目标坐标。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种系留升空光电成像目标定位***,其特征在于,包括地面平台和升空平台,其中,地面平台包括定位导航装置、视频测姿装置、系留设备和控制终端,控制终端由操控人员操作,定位导航装置用于测量地面平台安装基座的位姿,视频测姿装置通过观测获得升空平台标志点像素坐标,视频测姿装置基座与定位导航装置固连,安装方向与定位导航装置轴系一致,视频测姿装置的光学轴线能够沿横滚轴、俯仰轴方向微调,通过倾角传感器控制,光轴垂直于水平面,即向正上方观测;通过基于图像位置偏差的闭环控制,升空平台保持在视频测姿装置视场内。
2.如权利要求1所述的系留升空光电成像目标定位***,其特征在于,所述升空平台包括光电吊舱和飞控计算机,光电吊舱内布置有光电转台测角传感器和成像及测距传感器。
3.一种系留升空光电成像目标定位方法,其特征在于,基于权利要求2所述目标定位***进行目标定位,所述目标定位方法包括以下步骤:
步骤1,确定***各设备时间同步或输出数据带时间标签;
步骤2,操控人员通过操作控制终端执行操作,搜索、选取目标,通过自动跟踪或手动瞄准,按激光测距键,触发***采集此时一致时间下各设备数据;
步骤3,读取地面平台上的定位导航装置数据,作为目标定位的方向基准和位置基准,含本地的大地坐标:水平位置和高度,地面平台与北向的夹角、方位角、俯仰角和横滚姿态角;
步骤4,读取视频测姿装置数据,包括升空平台上若干标志点像素坐标(x1,y1,x2,y2,x3,y4…);读取升空平台数据,包括升空平台的高度h、俯仰角βA、横滚角ωA;根据以上数据,计算出升空平台相对地面平台的横向平移位置(ΔXA0,ΔYA0)、方位角αA;参数(αA,βA,ωA,ΔXA0,ΔYA0,h),用于坐标系的转换计算;
步骤5,读取升空平台光电吊舱传感器瞄准目标时转台相对转角,光电吊舱测距传感器获得的目标相对距离值;光电吊舱测距传感器获得的目标相对距离值,作为目标的相对位置参数;
步骤6,控制终端中部署有定位模块构件,根据数学模型,运用上述采集的数据进行目标坐标值的解算。
4.如权利要求3所述的系留升空光电成像目标定位方法,其特征在于,步骤5中,对于两轴转台结构的光电吊舱,转台相对转角包括:方位转台、俯仰转台的相对转角;对于三轴转台结构的光电吊舱,转台相对转角包括:方位转台、俯仰转台和横滚转台的相对转角。
5.如权利要求4所述的系留升空光电成像目标定位方法,其特征在于,步骤1中,以***定位导航装置中北斗导航卫星数据接收机的时钟为基准时间,确定***各电子设备时统一致,***各电子设备以北斗时间为基准同步输出数据,或输出数据时带时间标签。
6.如权利要求5所述的系留升空光电成像目标定位方法,其特征在于,步骤3中,控制终端读取一致时间tR时地面平台上定位导航装置的测量数据,含卫星和惯导组合导航测量出地面平台的本地经纬度坐标(L0,B0,h0)、tR时惯性导航装置装置测量出的地面平台与北向的水平角度(α0)、以及地面平台的方位、俯仰和横滚姿态角(α0,β0,ω0)。
7.如权利要求6所述的系留升空光电成像目标定位方法,其特征在于,步骤4中,基于特征匹配确定标志点的对应关系,选择对比度最好、像素距离最大的两个标志点(xi,yi,xj,yj),根据透视投影关系以及标志点在物理空间的相对位置参数,计算出标志点矢量在测姿坐标系中的方位角αijv,根据测姿坐标系与惯性坐标系的方位偏差δ,将该方位角转换到惯性坐标系,记为αijg,则升空平台相对惯性坐标系的方位角αAG=αijg-αij0,式中,αij0为标志点矢量/>相对升空平台方位零位的方位偏角;读取tR时升空平台输出的升空平台上飞控组件测出的升空平台相对地面的高度h,升空平台横向平移位置(ΔXA0,ΔYA0)由下式算出:
8.如权利要求7所述的系留升空光电成像目标定位方法,其特征在于,步骤5中,升空平台上光电吊舱瞄准目标后,控制终端读取tR时升空平台光电吊舱传感器瞄准目标时方位转台、俯仰转台的相对转角(αP,βP),或测量出方位转台、俯仰转台、以及横滚转台的相对转角(αP,βP,ωP),光电吊舱测距传感器tR时获得的目标相对距离值D。
9.如权利要求8所述的系留升空光电成像目标定位方法,其特征在于,步骤6中,将参数(L0,B0,h0)、(α0)、h、(αAG,βA,ωA)、(ΔXA0,ΔYA0)、(αP,βP)、D、光电坐标系相对升空坐标系的安装误差角(αe,βe,ωe)、测姿坐标系与惯性坐标系的方位偏差δ输入到控制终端中,根据公式(2)~(11)定义的数学模型完成目标坐标计算:
1)计算目标在光电坐标系下的坐标
2)目标坐标转换到升空坐标系
[xA,yA,zA]T=A1 -1[xP,yP,zP]T (3)
式中,A1由旋转变换公式(4)计算出,其中α,β,ω分别代入(αe,βe,ωe)。
式中α,β,ω即按照zyx顺规定义的欧拉角的方位、俯仰、横滚量;
3)惯性坐标系北向基准传递到升空坐标系
按照下式将惯性坐标系北向基准传递到升空坐标系,获得升空坐标系相对北西天坐标系的欧拉角(αA,βA,ωA);
αA=αAG+α0 (5)
4)目标坐标转换到西北天坐标系
[xN,yN,zN]T=A2 -1[xA,yA,zA]T (6)
A1由式(1)计算出,其中α,β,ω分别代入(αA,βA,ωA);
5)目标坐标转换到地心坐标系
将(L0,B0,h0)分别代入到公式(8)的变量(L,B,h)中,将地面平台坐标转换为地心坐标系下的直角坐标量(X0,Y0,Z0);
6)按照以下公式确定北西天坐标系相对与地心坐标系下的变换关系;
[xe,ye,ze,1]T=A3 -1[za,-ya,xa,1]T (9)
式中,A3是将(L0,B0,X0,Y0,Z0)分别代入公式的变量(L,B,X,Y,Z)中计算得出的;
7)将目标的地心坐标转换为经纬度表示
按照下式计算:
其中,纬度B的计算采用递归算法求解;
至此,得到了目标坐标。
10.一种基于权利要求3-9中任一项所述的系留升空光电成像目标定位方法在光电成像定位***技术领域中的应用。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211369156.8A CN115876197A (zh) | 2022-11-03 | 2022-11-03 | 一种系留升空光电成像目标定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211369156.8A CN115876197A (zh) | 2022-11-03 | 2022-11-03 | 一种系留升空光电成像目标定位方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115876197A true CN115876197A (zh) | 2023-03-31 |
Family
ID=85759408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211369156.8A Pending CN115876197A (zh) | 2022-11-03 | 2022-11-03 | 一种系留升空光电成像目标定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115876197A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116564159A (zh) * | 2023-07-07 | 2023-08-08 | 中国科学院长春光学精密机械与物理研究所 | 一种光电测控设备跟踪操作仿真训练***及方法 |
CN117873159A (zh) * | 2024-03-08 | 2024-04-12 | 湘潭大学 | 一种多旋翼无人机的室内目标视觉定位方法 |
-
2022
- 2022-11-03 CN CN202211369156.8A patent/CN115876197A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116564159A (zh) * | 2023-07-07 | 2023-08-08 | 中国科学院长春光学精密机械与物理研究所 | 一种光电测控设备跟踪操作仿真训练***及方法 |
CN117873159A (zh) * | 2024-03-08 | 2024-04-12 | 湘潭大学 | 一种多旋翼无人机的室内目标视觉定位方法 |
CN117873159B (zh) * | 2024-03-08 | 2024-06-04 | 湘潭大学 | 一种多旋翼无人机的室内目标视觉定位方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112197761B (zh) | 一种高精度多旋翼机协同定位方法及*** | |
CN115876197A (zh) | 一种系留升空光电成像目标定位方法 | |
CN110033480B (zh) | 基于航摄测量的机载光电***目标运动矢量估计方法 | |
CN105549060A (zh) | 基于机载光电吊舱位置和姿态的目标定位*** | |
CN111966133A (zh) | 一种云台视觉伺服控制*** | |
CN106468552A (zh) | 一种基于机载光电平台的双机交会定位方法 | |
CN101655361B (zh) | 基于双像机的不稳定基准平台姿态测量方法 | |
CN110706273B (zh) | 一种基于无人机的实时塌方区域面积的测量方法 | |
CN110657808B (zh) | 一种机载光电吊舱有源目标定位方法及*** | |
CN112304304B (zh) | 一种适用于变电站的巡检无人机、***及方法 | |
CN105548982A (zh) | 一种基于全球卫星导航***载波相位差分技术的雷达标校方法 | |
CN104729482A (zh) | 一种基于飞艇的地面微小目标侦测***及方法 | |
CN110989670B (zh) | 一种用于输变电工程环水保监测的无人机***及其航拍方法 | |
CN112747745A (zh) | 一种目标特性参数测量装置及方法 | |
CN113126126A (zh) | 一种全天时自动报靶***及其弹药落点定位方法 | |
CN113409400A (zh) | 一种基于自动跟踪的机载光电***目标地理定位方法 | |
CN113920186B (zh) | 一种低空无人机多源融合定位方法 | |
CN115857520B (zh) | 一种基于视觉和船状态结合的无人机着舰状态监视方法 | |
CN112985398A (zh) | 目标定位方法及*** | |
CN112729305B (zh) | 一种基于单飞行器导引头图像信息的多目标定位方法 | |
CN205354138U (zh) | 无人飞行器 | |
CN113687398A (zh) | 一种基于北斗差分定位的无人机跟瞄通信***及方法 | |
JP2023093808A (ja) | 飛行経路正規化装置、飛行経路正規化方法及び飛行経路正規化プログラム | |
CN113821052A (zh) | 集群无人机协同目标定位方法、***、协同目标定位终端 | |
CN112013716A (zh) | 一种电视导引头模拟***捕捉快速移动目标的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |