CN111766902A - 基于经纬度坐标实现视频云台转向的控制方法 - Google Patents
基于经纬度坐标实现视频云台转向的控制方法 Download PDFInfo
- Publication number
- CN111766902A CN111766902A CN202010589647.8A CN202010589647A CN111766902A CN 111766902 A CN111766902 A CN 111766902A CN 202010589647 A CN202010589647 A CN 202010589647A CN 111766902 A CN111766902 A CN 111766902A
- Authority
- CN
- China
- Prior art keywords
- target object
- angle
- origin
- latitude
- horizontal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D3/00—Control of position or direction
- G05D3/12—Control of position or direction using feedback
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明涉及一种基于经纬度坐标实现视频云台转向的控制方法,***实时获取目标物经纬度坐标值,并执行经纬度坐标换算及视频设备转向角度的同步计算,***将计算好的方位角度实时传入到视频云台控制转向数据接口,实现对视频镜头的精确转向,进而实现***对目标物体的实时视频观测和跟随定位拍摄。本发明适用于对水面上、路面上行进物体的实时跟踪观察,并可实时测算目标物的距离,通过在云台上搭载不同定向观测设备,还可实现对目标物实行精确的强光照射、声波定向驱离等措施,应用前景广阔。
Description
技术领域
本发明涉及海缆通道智能化监控领域,具体涉及一种基于经纬度坐标实现视频云台转向的控制方法。
背景技术
在电力行业海底电缆防外力破坏监控领域,目前应用较为普遍的技术手段是采用船舶定位***(AIS)和视频设备对海缆所在水面区域可疑目标进行监控,具体过程是监控***通过AIS设备监测到可疑目标(主要是船舶)大致方位,再通过人工手动调整带云台的视频设备转向该目标方位,从而实现对该可疑目标物的视频监测。该方式虽可以达到对可疑目标物的视频监视目的,但智能化程度和实效性不高,且无法实现目标位置点测距,由于海缆通道区域环境复杂,手动调整视频对准的操作干扰性较大,能够在第一时间发现和处置海缆通道区域的外破风险极为关键,如果目标位置定位不准确导致应急措施处置不当,将会造成海缆外破事故和供电中断,造成社会经济财产损失。因此如果能够通过智能化技术手段来实现视频自动精确转向和视频取证,并同时计算出可疑目标物的参考距离,将有效提高海缆现场可疑目标发现率和及时率,为进一步为海缆的状态判断、事故预防和应急处置提供了有利条件,从而有助于海缆运维智能化水平的提高。
发明内容
有鉴于此,本发明的目的在于提供一种基于经纬度坐标实现视频云台转向的控制方法,通过***自动计算实现视频设备的自动精确转向和测距,能够给运维抢修人员降低视频操作的复杂度,提高应急处置效率。
为实现上述目的,本发明采用如下技术方案:
一种基于经纬度坐标实现视频云台转向的控制方法,包括以下步骤:
步骤S1:获取带云台的光电设备的经纬度坐标和海拔高度,并构建初始坐标系,将该经纬度和作为其原点坐标(x,y,z);
步骤S2:获取带云台的光电设备的初始水平角度和垂直角度,把云台的水平起始角设为0度角,其边长与水平坐标系的X轴正方向重合;把云台的垂直起始角设为0度角,其边长与垂直坐标系的X轴方向重合;所述光电设备的初始角与***中的预设起始角度之差即为偏差角α;
步骤S3:获取目标物相关数据,并计算目标物与光电设备之间的水平距离和转向角度;
步骤S4:通过调用光电设备的数据控制接口,并根据目标物与光电设备之间的水平距离和转向角度,控制光电设备对目标物体的精确转向;
步骤S5:当完成转向控制后,将当前光电设备云台的转向角度重新设置为光电设备的初始角,并同时记录初始角与起始角度之差的偏差角。
进一步的,所述步骤S3具体为:通过海事雷达和船舶定位设备接收获得目标物经纬度坐标值(LonA,LatA)、地球的平均半径R、每个纬度之间距离lWD、应用场景位于赤道以北、东半球。
进一步的,所述目标物与光电设备之间的水平距离计算,具体如下:
1)判断目标物坐标象限:根据目标物经纬度(LonA,LatA)与原点经纬度(LonO,LatO)来计算目标物所在坐标象限:
位于坐标第1象限条件:LonA-LonO>0且LatA-LatO>0;
位于坐标第2象限条件:LonA-LonO<0且LatA-LatO>0;
位于坐标第3象限条件:LonA-LonO<0且LatA-LatO<0;
位于坐标第4象限条件:LonA-LonO>0且LatA-LatO<0;
2)计算目标物与原点直线距离:
计算目标物与原点之间水平直线距离lAO:
首先计算两者之间的南北间距和东西间距,
南北间距:lW‘D’=|LatA-LatO|*lWD,
东西间距:lJ‘D’=|LonA-LonO|*COS|LatA-LatO|*lWD,
进一步的,所述转向角度包括水平转向角度和垂直角度。
进一步的,所述目标物与光电设备之间的水平转向角度计算,具体为:
根据目标物所在水平直角坐标象限,以及目标物与原点距离,目标物与原点在水平直角坐标系上与X轴正方向构成的角度为:
目标物在第1象限,与原点角度为:θ=arctg(lW‘D’/lj‘D’)+0×π;
进一步的,所述目标物与光电设备之间的垂直转向角度计算具体为:
(1)判断目标物坐标象限:
(2)获取目标物与原点的直线距离和垂直距离,光电设备的海拔安装高度即为目标物与原点的垂直距离hAO,两者之间的直线距离为lAO;:
(3)根据目标物与原点的直线距离和垂直距离,计算目标物与原点垂直角度。
本发明与现有技术相比具有以下有益效果:
本发明通过***自动计算实现视频设备的自动精确转向和测距,能够给运维抢修人员降低视频操作的复杂度,提高应急处置效率。
附图说明
图1是本发明光电设备精确转向处理流程图;
图2是本发明一实施例中光电设备主要部件示意图;
图3是本发明一实施例中水平直角坐标系中的视频水平转向场景模型;
图4是本发明一实施例中垂直直角坐标系中的视频垂直转向场景模型;
图5是本发明一实施例中光电设备水平转向定位过程示意图;
图6是本发明一实施例中光电设备垂直转向定位过程示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1,本发明提供一种基于经纬度坐标实现视频云台转向的控制方法,包括以下步骤:
步骤S1:获取带云台的光电设备的经纬度坐标和海拔高度,并构建初始坐标系,将该经纬度和作为其原点坐标(x,y,z);
如图3所示,在本实施例中,任何被监控物体的绝对经纬度坐标均被转换成相对为该原点的坐标位置(x’,y’)。该水平坐标系建立目的是为了计算目标物离原点距离,以及光电设备从初始位向目标位置水平转动的角度。
如图4所示,在实施例中,任何被监控物体均被认为位于水平面(高度:0米),通过目标物与光电设备的水平距离和光电设备已知的海拔对地距离,可计算得到光电设备向目标物转动的垂直角度。
步骤S2:获取带云台的光电设备的初始水平角度和垂直角度,把云台的水平起始角设为0度角,其边长与水平坐标系的X轴正方向重合;把云台的垂直起始角设为0度角,其边长与垂直坐标系的X轴方向重合;所述光电设备的初始角与***中的预设起始角度之差即为偏差角α;如图3和图4所示,图中假定了视频设备的初始角度均在直角坐标系中的第1象限
步骤S3:获取目标物相关数据,并计算目标物与光电设备之间的水平距离和转向角度;
在本实施例中,通过从海事雷达和船舶定位设备接收获得目标物经纬度坐标值(LonA,LatA);应用场景位于赤道以北(北纬)、东半球(东经)。
水平距离和水平转向角度计算过程:
1)判断目标物坐标象限:根据目标物经纬度(LonA,LatA)与原点经纬度(LonO,LatO)来计算目标物所在坐标象限:
位于坐标第1象限条件:LonA-LonO>0且LatA-LatO>0
位于坐标第2象限条件:LonA-LonO<0且LatA-LatO>0
位于坐标第3象限条件:LonA-LonO<0且LatA-LatO<0
位于坐标第4象限条件:LonA-LonO>0且LatA-LatO<0
如图5所示,这里假设目标物在第2象限。
2)计算目标物与原点直线距离:
计算目标物与原点之间水平直线距离lAO,需先计算两者之间的南北间距和东西间距,南北间距计算方法:lW‘D’=|LatA-LatO|*lWD,东西间距计算方法:lJ‘D’=|LonA-LonO|*COS|LatA-LatO|*lWD,此时在***的水平坐标系上,目标物与原点之间直线距离lAO,与lW‘D’、lJ‘D’构成一个直角三角形,其中,lAO为斜边,lJ‘D’为邻边,lW‘D’为对边,则lAO的长度可通过勾股定理计算得出,即
3)计算目标物与原点水平角度:
已知目标物所在水平直角坐标象限,以及目标物与原点距离,则目标物与原点在水平直角坐标系上与X轴正方向构成的角度计算方式为:
目标物在第1象限,与原点角度为:θ=arctg(lW‘D’/lJ‘D’)+0×π。
优选的,本实施例中还需要考虑光电设备的水平偏差角(α)同目标物与原点夹角(θ)之间的关系,以及光电设备水平转向的选择,使得光电设备能够用最短路径转向到指定角度:
如果θ-α>0且≤180,则光电设备的水平偏转角度为|θ-α|(从右往左转向,即逆时针方向);
如果θ-α<0,则光电设备的水平偏转角度为-|θ-α|(从左往右转向,即顺时针方向);
如果θ-α>180,则光电设备的水平偏转角度为-|360-θ+α|(从左往右转向,即顺时针方向)。
在图5中,视频云台将从其初始位沿逆时针方向转动到θ-α角度。
2.垂直角度计算过程:
1)判断目标物坐标象限:
由于光电设备安装在水平面以上,被监控目标物位于水平面,因此,目标物在***内建的垂直直角坐标系上一定位于第3或第4象限,另由于视频云台在垂直转向上的最大角度范围是90角度和-90角度之间,因此目标物在任何情况下均位于垂直直角坐标系中的第4象限,如图6。
2)计算目标物与原点的直线距离和垂直距离:
由于目标物位于水平面,则光电设备的海拔安装高度即为目标物与原点的垂直距离(记作:hAO),两者之间的直线距离已在计算水平转向角度时已计算得出,即:lAO。
3)计算目标物与原点垂直角度:
因视频设备的实际最大垂直转向角度范围为180,且实际目标位置均位于垂直直角坐标系上的第4象限,因此视频设备的垂直偏转角度θ取:-|90-arcos(hAO/lAO)|。
优选的,本实施例还考虑了光电设备的垂直偏差角(α)同目标物与原点夹角(θ)之间的关系,光电设备的垂直偏转角度为:
如果θ-α>0且≤90,则光电设备的垂直偏转角度为|θ-α|(云台从下往上转向,在垂直坐标系上表现为逆时针方向);
如果θ-α<0且≥-90,则光电设备的垂直偏转角度为-|θ+α|(云台从上往下转向,在垂直坐标系上表现为顺时针方向);
在图6中,视频云台将从其初始位沿顺时针方向转动到θ+α角度。
步骤S4:通过调用光电设备的数据控制接口,并根据目标物与光电设备之间的水平距离和转向角度,控制光电设备对目标物体的精确转向;
步骤S5:当完成转向控制后,将当前光电设备云台的转向角度重新设置为光电设备的初始角,并同时记录初始角与起始角度之差的偏差角。
优选的,参考图2,本实施例中带云台的光电设备包括云台和设置于云台上的光敏单元、激光镜头、热成像镜头、可见光镜头。
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。
Claims (6)
1.一种基于经纬度坐标实现视频云台转向的控制方法,其特征在于,包括以下步骤:
步骤S1:获取带云台的光电设备的经纬度坐标和海拔高度,并构建初始坐标系,将该经纬度和作为其原点坐标(x,y,z);
步骤S2:获取带云台的光电设备的初始水平角度和垂直角度,把云台的水平起始角设为0度角,其边长与水平坐标系的X轴正方向重合;把云台的垂直起始角设为0度角,其边长与垂直坐标系的X轴方向重合;所述光电设备的初始角与***中的预设起始角度之差即为偏差角α;
步骤S3:获取目标物相关数据,并计算目标物与光电设备之间的水平距离和转向角度;
步骤S4:通过调用光电设备的数据控制接口,并根据目标物与光电设备之间的水平距离和转向角度,控制光电设备对目标物体的精确转向;
步骤S5:当完成转向控制后,将当前光电设备云台的转向角度重新设置为光电设备的初始角,并同时记录初始角与起始角度之差的偏差角。
2.根据权利要求1所述的基于经纬度坐标实现视频云台转向的控制方法,其特征在于,所述步骤S3具体为:通过海事雷达和船舶定位设备接收获得目标物经纬度坐标值(LonA,LatA)、地球的平均半径R、每个纬度之间距离lWD、应用场景位于赤道以北、东半球。
3.根据权利要求1所述的基于经纬度坐标实现视频云台转向的控制方法,其特征在于,所述目标物与光电设备之间的水平距离计算,具体如下:
1)判断目标物坐标象限:根据目标物经纬度(LonA,LatA)与原点经纬度(LonO,LatO)来计算目标物所在坐标象限:
位于坐标第1象限条件:LonA-LonO>0且LatA-LatO>0;
位于坐标第2象限条件:LonA-LonO<0且LatA-LatO>0;
位于坐标第3象限条件:LonA-LonO<0且LatA-LatO<0;
位于坐标第4象限条件:LonA-LonO>0且LatA-LatO<0;
2)计算目标物与原点直线距离:
计算目标物与原点之间水平直线距离lAO:
首先计算两者之间的南北间距和东西间距,
南北间距:lW‘D’=|LatA-LatO|*lWD,
东西间距:lJ‘D’=|LonA-LonO|*COS|LatA-LatO|*lWD,
4.根据权利要求1所述的基于经纬度坐标实现视频云台转向的控制方法,其特征在于,所述转向角度包括水平转向角度和垂直角度。
6.根据权利要求4所述的基于经纬度坐标实现视频云台转向的控制方法,其特征在于,所述目标物与光电设备之间的垂直转向角度计算具体为:
(1)判断目标物坐标象限:
(2)获取目标物与原点的直线距离和垂直距离,光电设备的海拔安装高度即为目标物与原点的垂直距离hAO,两者之间的直线距离为lAO;:
(3)根据目标物与原点的直线距离和垂直距离,计算目标物与原点垂直角度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010589647.8A CN111766902B (zh) | 2020-06-24 | 2020-06-24 | 基于经纬度坐标实现视频云台转向的控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010589647.8A CN111766902B (zh) | 2020-06-24 | 2020-06-24 | 基于经纬度坐标实现视频云台转向的控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111766902A true CN111766902A (zh) | 2020-10-13 |
CN111766902B CN111766902B (zh) | 2022-10-04 |
Family
ID=72721812
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010589647.8A Active CN111766902B (zh) | 2020-06-24 | 2020-06-24 | 基于经纬度坐标实现视频云台转向的控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111766902B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112034894A (zh) * | 2020-08-25 | 2020-12-04 | 国网福建省电力有限公司莆田供电公司 | 一种利用经纬度坐标实现视频云台转向的控制方法 |
WO2023225967A1 (zh) * | 2022-05-26 | 2023-11-30 | 北京小米移动软件有限公司 | 防窥提示方法、装置、电子设备及存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5166789A (en) * | 1989-08-25 | 1992-11-24 | Space Island Products & Services, Inc. | Geographical surveying using cameras in combination with flight computers to obtain images with overlaid geographical coordinates |
CN101068342A (zh) * | 2007-06-05 | 2007-11-07 | 西安理工大学 | 基于双摄像头联动结构的视频运动目标特写跟踪监视方法 |
CN102263933A (zh) * | 2010-05-25 | 2011-11-30 | 杭州华三通信技术有限公司 | 智能监控的实现方法和装置 |
CN102665044A (zh) * | 2012-04-01 | 2012-09-12 | 杭州天视智能***有限公司 | 一种摄像机远程控制方法、装置及*** |
CN102917171A (zh) * | 2012-10-22 | 2013-02-06 | 中国南方电网有限责任公司超高压输电公司广州局 | 基于像素的小目标定位方法 |
CN103034247A (zh) * | 2012-12-04 | 2013-04-10 | 浙江天地人科技有限公司 | 远程监控***的控制方法和控制装置 |
CN104184995A (zh) * | 2014-08-26 | 2014-12-03 | 天津市亚安科技股份有限公司 | 一种实现联网视频监控***实时联动监控的方法及*** |
CN104320587A (zh) * | 2014-11-12 | 2015-01-28 | 南京汉图信息技术有限公司 | 一种室外云台摄像机的自动获取取景范围的方法 |
CN104776844A (zh) * | 2015-04-02 | 2015-07-15 | 重庆市海普软件产业有限公司 | 森林防火火点定位方法 |
WO2017096625A1 (zh) * | 2015-12-11 | 2017-06-15 | 深圳市轻生活科技有限公司 | 视频交互控制方法和装置 |
CN106888361A (zh) * | 2015-12-11 | 2017-06-23 | 深圳市轻生活科技有限公司 | 视频交互控制方法和装置 |
CN107247458A (zh) * | 2017-05-24 | 2017-10-13 | 中国电子科技集团公司第二十八研究所 | 无人机视频图像目标定位***、定位方法及云台控制方法 |
CN109218668A (zh) * | 2018-09-10 | 2019-01-15 | 天津市亚安科技有限公司 | 一种基于经纬度控制的智能云台高低联动***及方法 |
-
2020
- 2020-06-24 CN CN202010589647.8A patent/CN111766902B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5166789A (en) * | 1989-08-25 | 1992-11-24 | Space Island Products & Services, Inc. | Geographical surveying using cameras in combination with flight computers to obtain images with overlaid geographical coordinates |
CN101068342A (zh) * | 2007-06-05 | 2007-11-07 | 西安理工大学 | 基于双摄像头联动结构的视频运动目标特写跟踪监视方法 |
CN102263933A (zh) * | 2010-05-25 | 2011-11-30 | 杭州华三通信技术有限公司 | 智能监控的实现方法和装置 |
CN102665044A (zh) * | 2012-04-01 | 2012-09-12 | 杭州天视智能***有限公司 | 一种摄像机远程控制方法、装置及*** |
CN102917171A (zh) * | 2012-10-22 | 2013-02-06 | 中国南方电网有限责任公司超高压输电公司广州局 | 基于像素的小目标定位方法 |
CN103034247A (zh) * | 2012-12-04 | 2013-04-10 | 浙江天地人科技有限公司 | 远程监控***的控制方法和控制装置 |
CN104184995A (zh) * | 2014-08-26 | 2014-12-03 | 天津市亚安科技股份有限公司 | 一种实现联网视频监控***实时联动监控的方法及*** |
CN104320587A (zh) * | 2014-11-12 | 2015-01-28 | 南京汉图信息技术有限公司 | 一种室外云台摄像机的自动获取取景范围的方法 |
CN104776844A (zh) * | 2015-04-02 | 2015-07-15 | 重庆市海普软件产业有限公司 | 森林防火火点定位方法 |
WO2017096625A1 (zh) * | 2015-12-11 | 2017-06-15 | 深圳市轻生活科技有限公司 | 视频交互控制方法和装置 |
CN106888361A (zh) * | 2015-12-11 | 2017-06-23 | 深圳市轻生活科技有限公司 | 视频交互控制方法和装置 |
CN107247458A (zh) * | 2017-05-24 | 2017-10-13 | 中国电子科技集团公司第二十八研究所 | 无人机视频图像目标定位***、定位方法及云台控制方法 |
CN109218668A (zh) * | 2018-09-10 | 2019-01-15 | 天津市亚安科技有限公司 | 一种基于经纬度控制的智能云台高低联动***及方法 |
Non-Patent Citations (4)
Title |
---|
周剑敏等: "基于AIS的港口智能船舶动态视频监控***研究", 《浙江国际海运职业技术学院学报》 * |
赵晓军等: "基于STM32F407ZGT6的云台式空间测距定位终端设计", 《电视技术》 * |
陶进等: "海事闭路电视智能联动云台定位算法", 《大连海事大学学报》 * |
韩亚东等: "基于GPS定位的云台摄像机标定技术研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112034894A (zh) * | 2020-08-25 | 2020-12-04 | 国网福建省电力有限公司莆田供电公司 | 一种利用经纬度坐标实现视频云台转向的控制方法 |
WO2023225967A1 (zh) * | 2022-05-26 | 2023-11-30 | 北京小米移动软件有限公司 | 防窥提示方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111766902B (zh) | 2022-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111766902B (zh) | 基于经纬度坐标实现视频云台转向的控制方法 | |
CN105120242B (zh) | 一种全景摄像机与高速球机智能联动方法和装置 | |
CN112230680B (zh) | 一种无人机电力线路巡检控制方法 | |
CN102730166B (zh) | 内河船舶吃水自动监测***及方法 | |
CN111199560B (zh) | 一种视频监控的定位方法及视频监控*** | |
WO2016112714A1 (zh) | 一种船舶辅助泊岸方法和*** | |
CN105652872B (zh) | 变电站激光导航巡检机器人智能云台自动跟踪定位方法 | |
CN105551032B (zh) | 一种基于视觉伺服的杆塔图像采集***及其方法 | |
CN104320587A (zh) | 一种室外云台摄像机的自动获取取景范围的方法 | |
CN104184995A (zh) | 一种实现联网视频监控***实时联动监控的方法及*** | |
CN103968858B (zh) | 一种超大视场紫外成像仪的几何定标装置 | |
CN109975759B (zh) | 一种基于三色激光的水下无人机定位方法及装置 | |
CN105469412A (zh) | 一种ptz摄像机装配误差的标定方法 | |
CN104061865A (zh) | 一种航行船舶高度测量***及其测量方法 | |
CN110766170B (zh) | 基于图像处理的多传感器融合和人员定位的方法 | |
CN110858892A (zh) | 岸岛观测*** | |
CN103414872A (zh) | 一种目标位置驱动ptz摄像机的方法 | |
CN101916119B (zh) | 分体式云台的自动跟随控制方法 | |
CN111167052A (zh) | 基于摄像机定位的自动消防炮目标经纬度计算方法 | |
CN111102967A (zh) | 一种基于无人机的航标智能监管***及方法 | |
CN112034894A (zh) | 一种利用经纬度坐标实现视频云台转向的控制方法 | |
CN204096061U (zh) | 一种新型的内河船舶吃水自动监测*** | |
CN111163263B (zh) | 一种采用位置投影方式实现相机目标联动跟踪的方法 | |
CN109151285A (zh) | 一种光电巡检控制***及方法、光电巡检仪 | |
CN206258931U (zh) | 标定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |