CN113313656B - 一种适应hud上中下眼盒畸变矫正方法 - Google Patents
一种适应hud上中下眼盒畸变矫正方法 Download PDFInfo
- Publication number
- CN113313656B CN113313656B CN202110775998.2A CN202110775998A CN113313656B CN 113313656 B CN113313656 B CN 113313656B CN 202110775998 A CN202110775998 A CN 202110775998A CN 113313656 B CN113313656 B CN 113313656B
- Authority
- CN
- China
- Prior art keywords
- image
- correction factor
- hud
- eye box
- horizontal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000003384 imaging method Methods 0.000 claims abstract description 31
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 230000003287 optical effect Effects 0.000 claims abstract description 14
- 230000002093 peripheral effect Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 7
- 239000011521 glass Substances 0.000 claims abstract description 6
- 238000009434 installation Methods 0.000 claims abstract description 4
- 239000002184 metal Substances 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000007306 turnover Effects 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims 3
- 230000000007 visual effect Effects 0.000 abstract description 5
- 238000013461 design Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
Abstract
本发明涉及图像处理技术领域,具体公开了一种适应HUD上中下眼盒畸变矫正方法,包括步骤:整车周边数据输入;所述数据包括眼点数据、前风挡玻璃、前围钣金、仪表板横梁,其数据包括观测、限制和安装等关键信息;光学分析软件中逆向模型建立、***优化;通过整车周边数据提取观测点;上中下眼盒水平、竖直矫正因子计算;大反射镜反转位置获取,转换眼盒信息;根据整车周边数据进行HUD成像***逆向建模;依据光学***物像共轭关系,以HUD成像***的的虚像作为逆向成像***物,像源作为逆向成像***的像,通过光学设计软件实现视场配置使得逆向成像***像面各视场对应足迹点均匀分布,依所述方法计算得到上中下眼盒畸变矫正因子。
Description
技术领域
本发明涉及图像处理技术领域,具体为一种适应HUD上中下眼盒畸变矫正方法。
背景技术
作为一种驾驶辅助设备,汽车风挡式抬头显示器(Head Up Display)可以在汽车前风挡玻璃上投影信息避免驾驶员低头查看仪表信息,提高了驾驶过程的安全性,随着技术的发展,HUD在汽车领域应用越发广泛。
由于汽车抬头显示器***设计时会受到整车眼点位置,整车布置位置,汽车风挡玻璃面型参数,主、次镜加工参数要求等诸多因素限制,上中下眼盒内畸变存在设计值偏大的问题,现有的处理办法是对中心眼盒进行畸变矫正,无法满足不同身高消费者的驾驶体验。
针对上述问题申请号为202010187422.X的专利旨在解决HUD动态畸变问题,其通过HUD下线检测摄像头获取虚像数据对其矫正。
现有HUD畸变矫正方案使用中心眼盒畸变矫正适配所有眼盒,无法兼顾周全,全眼盒矫正效果依赖于汽车风挡玻璃成像区域面型一致性,对于成像***的布置及优化都有很高的要求。
基于此,本发明设计了一种适应HUD上中下眼盒畸变矫正方法,以解决上述问题。
发明内容
本发明提出一种适应HUD上中下眼盒畸变矫正方法,解决了现有技术中现在只用中心眼盒畸变校正适配所有眼盒,所带来的成像***设计复杂,各眼盒目视成像效果偏差过大等的问题。
本发明的技术方案是这样实现的:一种适应HUD上中下眼盒畸变矫正方法,包括以下步骤:
S1:整车周边数据输入;所述数据包括眼点数据、前风挡玻璃、前围钣金、仪表板横梁,其数据包括观测、限制和安装等关键信息;
S2:光学分析软件中逆向模型建立、***优化;通过整车周边数据提取观测点,根据HUD包络位置分析出***视场角、下视角、左视角等关键参数;将分析结果作为成像***的输入在光学分析软件中进行逆向建模;虚像作为逆向建模中的物,像源作为逆向建模中的像,以此对成像***优化,将畸变、调制传递函数等优化至可接受范围;根据整车周边数据在光学软件中进行HUD成像***逆向仿真模型建立,成像***优化;
S3:上中下眼盒水平、竖直矫正因子计算;
S4:大反射镜反转位置获取,转换眼盒信息;在成像***模型中分析上中下眼盒对应的大反射镜翻转角度记录并作为判定角度;
S5:使用眼盒矫正因子对原图数据处理并将其推入图象源显示。
优选的,在所述步骤S3中,具体包括以下步骤:
S31:基于不同视场对像面进行分割,视场设置务必使足迹点均匀布满像面;
S32:基于物像关系,结合视场设置,获得像面足迹点水平理论矩阵A;
S33:上中下眼盒像面足迹点实际水平矩阵B获取;需在多重结构中实现自聚焦,获取方式可通过宏语言或是优化操作数实现;
S34:计算上中下眼盒中间水平矫正因子C上、C中、C下;
S35:依据像源分辨率参数l*k,通过插值法将中间水平矫正因子扩展得到水平矫正因子。
优选的,在所述步骤S32中,所述像面足迹点水平理论矩阵A:
优选的,在所述步骤S33中,所述像面足迹点实际水平矩阵B:
优选的,在所述步骤S34中,所述上中下眼盒中间水平矫正因子C上、C中、C下有如下矩阵要求:
A=C上·B上
A=C中·B中
A=C下·B下
优选的,所述上中下眼盒中间水平矫正因子C上、C中、C下通过最小二乘法求取,其计算公式为:
C上=[c′11 c′12 … c′1n]
C中=[c″11 c″12 … c″1n]
C下=[c″′11 c″′12 … c″′1n]
优选的,在所述步骤S35中,设水平矫正因子为CO上、CO中、CO下,所述水平矫正因子CO上、CO中、CO下的计算公式为:
CO上=[co′11 co′12 … co′1k]
CO中=[co″11 co″12 … co″1k]
CO下=[co″′11 co″′12 … co″′1k]
优选的,在所述步骤S35中,所述k为实际使用像源纵向像素数目,通过同样的方法获得竖直矫正因子,设竖直矫正因子为DO上、DO中、DO下,所述竖直矫正因子DO上、DO中、DO下的计算公式为:
DO上=[do′11 do′12 … do′1k]
DO中=[do″11 do″12 … do″1k]
DO下=[do″′11 do″′12 … do″′1k]
水平和竖直矫正因子计算完成后,作为配置参数写入硬件中。
优选的,在所述步骤S5中,设原始图像矩阵水平坐标E,竖直坐标F,
优选的,在所述步骤S5中,通过判断大反射镜翻转位置获知眼盒位置,并在MCU中使用矫正因子对原始图像进行矫正,之后将结果推送入图像源;屏幕显示图像像素水平坐标X,竖直坐标Y,矫正方式如下:
与现有技术相比,本发明的有益效果是:
1.根据整车周边数据进行HUD成像***逆向建模。依据光学***物像共轭关系,以HUD成像***的的虚像作为逆向成像***物,像源作为逆向成像***的像,通过光学设计软件实现视场配置使得逆向成像***像面各视场对应足迹点均匀分布,依所述方法计算得到上中下眼盒畸变矫正因子。
2.对HUD虚像位置做调整时,使用对应眼盒畸变矫正因子对原始图片数据进行处理,并将处理数据实时推送至图像源输出,从而达到上中下眼盒图像矫正畸变的目的。
当然,实施本发明的任一产品并不一定需要同时达到以上的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的畸变矫正流程图;
图2为本发明提供的WHUD成像***示意图。
附图中,各标号所代表的部件列表如下:
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-2,本发明提供一种技术方案:一种适应HUD上中下眼盒畸变矫正方法,包括以下步骤:
S1:整车周边数据输入;所述数据包括眼点数据、前风挡玻璃、前围钣金、仪表板横梁,其数据包括观测、限制和安装等关键信息;
S2:光学分析软件中逆向模型建立、***优化;通过整车周边数据提取观测点,根据HUD包络位置分析出***视场角、下视角、左视角等关键参数;将分析结果作为成像***的输入在光学分析软件中进行逆向建模;虚像作为逆向建模中的物,像源作为逆向建模中的像,以此对成像***优化,将畸变、调制传递函数等优化至可接受范围;根据整车周边数据在光学软件中进行HUD成像***逆向仿真模型建立,成像***优化;
S3:上中下眼盒水平、竖直矫正因子计算;
S4:大反射镜反转位置获取,转换眼盒信息;在成像***模型中分析上中下眼盒对应的大反射镜翻转角度记录并作为判定角度;
S5:使用眼盒矫正因子对原图数据处理并将其推入图象源显示。
其中,在所述步骤S3中,具体包括以下步骤:
S31:基于不同视场对像面进行分割,视场设置务必使足迹点均匀布满像面;
S32:基于物像关系,结合视场设置,获得像面足迹点水平理论矩阵A;
S33:上中下眼盒像面足迹点实际水平矩阵B获取;需在多重结构中实现自聚焦,获取方式可通过宏语言或是优化操作数实现;
S34:计算上中下眼盒中间水平矫正因子C上、C中、C下;
S35:依据像源分辨率参数l*k,通过插值法将中间水平矫正因子扩展得到水平矫正因子。
其中,在所述步骤S32中,所述像面足迹点水平理论矩阵A:
其中,在所述步骤S33中,所述像面足迹点实际水平矩阵B:
其中,在所述步骤S34中,所述上中下眼盒中间水平矫正因子C上、C中、C下有如下矩阵要求:
A=C上·B上
A=C中·B中
A=C下·B下
其中,所述上中下眼盒中间水平矫正因子C上、C中、C下通过最小二乘法求取,其计算公式为:
C上=[c′11 c′12 … c′1n]
C中=[c″11 c″12 … c″1n]
C下=[c″′1 c″′12 … c″′1n]
其中,在所述步骤S35中,设水平矫正因子为CO上、CO中、CO下,所述水平矫正因子CO上、CO中、CO下的计算公式为:
CO上=[co′11 co′12 … co′1k]
CO中=[co″11 co″12 … co″1k]
CO下=[co″′11 co″′12 … co″′1k]
其中,在所述步骤S35中,所述k为实际使用像源纵向像素数目,通过同样的方法获得竖直矫正因子,设竖直矫正因子为DO上、DO中、DO下,所述竖直矫正因子DO上、DO中、DO下的计算公式为:
DO上=[do′11 do′12 … do′1k]
DO中=[do″11 do″12 … do″1k]
DO下=[do″′1 do″′12 … do″′1k]
水平和竖直矫正因子计算完成后,作为配置参数写入硬件中。
其中,在所述步骤S5中,设原始图像矩阵水平坐标E,竖直坐标F,
其中,在所述步骤S5中,通过判断大反射镜翻转位置获知眼盒位置,并在MCU中使用矫正因子对原始图像进行矫正,之后将结果推送入图像源;屏幕显示图像像素水平坐标X,竖直坐标Y,矫正方式如下:
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种适应HUD上中下眼盒畸变矫正方法,其特征在于,包括以下步骤:
S1:整车周边数据输入;所述数据包括眼点数据、前风挡玻璃、前围钣金、仪表板横梁,所述数据包括观测、限制和安装关键信息;
S2:光学分析软件中逆向模型建立、***优化;通过整车周边数据提取观测点,根据HUD包络位置分析出***视场角、下视角、左视角关键参数;将分析结果作为成像***的输入在光学分析软件中进行逆向建模;虚像作为逆向建模中的物,像源作为逆向建模中的像,以此对成像***优化,将畸变、调制传递函数优化至可接受范围;根据整车周边数据在光学软件中进行HUD成像***逆向仿真模型建立,成像***优化,令逆向成像***像面各视场对应足迹点均匀分布;
S3:上中下眼盒水平、竖直矫正因子计算;
S4:大反射镜反转位置获取,转换眼盒信息;在成像***模型中分析上中下眼盒对应的大反射镜翻转角度记录并作为判定角度;
S5:使用眼盒矫正因子对原图数据处理并将其推入图像 源显示;
在所述步骤S3中,具体包括以下步骤:
S31:基于不同视场对像面进行分割,视场设置务必使足迹点均匀布满像面;
S32:基于物像关系,结合视场设置,获得像面足迹点水平理论矩阵A;
S33:上中下眼盒像面足迹点实际水平矩阵B获取;在多重结构中实现自聚焦,获取方式通过宏语言或是优化操作数实现;
S34:计算上中下眼盒中间水平矫正因子C上、C中、C下;
S35:依据像源分辨率参数l*k,通过插值法将中间水平矫正因子扩展得到水平矫正因子。
4.如权利要求1所述的适应HUD上中下眼盒畸变矫正方法,其特征在于,在所述步骤S34中,所述上中下眼盒中间水平矫正因子C上、C中、C下有如下矩阵要求:
A=C上·B上
A=C中·B中
A=C下·B下。
5.如权利要求4所述的适应HUD上中下眼盒畸变矫正方法,其特征在于,所述上中下眼盒中间水平矫正因子C上、C中、C下通过最小二乘法求取,其计算公式为:
C上=[c′11 c′12 … c′1n]
C中=[c″11 c″12 … c″1n]
C下=[c″′11 c″′12 … c″′1n]。
6.如权利要求5所述的适应HUD上中下眼盒畸变矫正方法,其特征在于,在所述步骤S35中,设水平矫正因子为CO上、CO中、CO下,所述水平矫正因子CO上、CO中、CO下的计算公式为:
CO上=[co′11 co′12 … co′1k]
CO中=[co″11 co″12 … co″1k]
CO下=[co″′11 co″′12 … co″′1k]。
7.如权利要求6所述的适应HUD上中下眼盒畸变矫正方法,其特征在于,在所述步骤S35中,所述k为实际使用像源纵向像素数目,通过同样的方法获得竖直矫正因子,设竖直矫正因子为DO上、DO中、DO下,所述竖直矫正因子DO上、DO中、DO下的计算公式为:
DO上=[do′11 do′12 … do′1k]
DO中=[do″11 do″12 … do″1k]
DO下=[do″′11 do″′12 … do″′1k]
水平和竖直矫正因子计算完成后,作为配置参数写入硬件中。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011292403X | 2020-11-18 | ||
CN202011292403 | 2020-11-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113313656A CN113313656A (zh) | 2021-08-27 |
CN113313656B true CN113313656B (zh) | 2023-02-21 |
Family
ID=77381394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110775998.2A Active CN113313656B (zh) | 2020-11-18 | 2021-07-09 | 一种适应hud上中下眼盒畸变矫正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113313656B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108225734A (zh) * | 2018-01-05 | 2018-06-29 | 宁波均胜科技有限公司 | 一种基于hud***的误差标定***及其误差标定方法 |
CN111242866A (zh) * | 2020-01-13 | 2020-06-05 | 重庆邮电大学 | 观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法 |
CN111476104A (zh) * | 2020-03-17 | 2020-07-31 | 重庆邮电大学 | 动态眼位下ar-hud图像畸变矫正方法、装置、*** |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN207751667U (zh) * | 2018-01-05 | 2018-08-21 | 宁波均胜科技有限公司 | 一种用于抬头显示***的误差标定*** |
CN109493321B (zh) * | 2018-10-16 | 2021-11-12 | 中国航空工业集团公司洛阳电光设备研究所 | 一种车载hud目视光学***视差计算方法 |
KR102518661B1 (ko) * | 2018-10-16 | 2023-04-06 | 현대자동차주식회사 | Hud 시스템의 이미지 왜곡 보정 방법 |
-
2021
- 2021-07-09 CN CN202110775998.2A patent/CN113313656B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108225734A (zh) * | 2018-01-05 | 2018-06-29 | 宁波均胜科技有限公司 | 一种基于hud***的误差标定***及其误差标定方法 |
CN111242866A (zh) * | 2020-01-13 | 2020-06-05 | 重庆邮电大学 | 观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法 |
CN111476104A (zh) * | 2020-03-17 | 2020-07-31 | 重庆邮电大学 | 动态眼位下ar-hud图像畸变矫正方法、装置、*** |
Non-Patent Citations (1)
Title |
---|
某车载抬头显示光学***设计研究;陈璐玲;《中国新技术新产品》;20200731(第7期);第19-21页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113313656A (zh) | 2021-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109688392B (zh) | Ar-hud光学投影***及映射关系标定方法和畸变矫正方法 | |
CN107527324B (zh) | 一种hud的图像畸变矫正方法 | |
WO2020019487A1 (zh) | mura补偿方法及mura补偿*** | |
US10007853B2 (en) | Image generation device for monitoring surroundings of vehicle | |
CN106898286B (zh) | 基于指定位置的Mura缺陷修复方法及装置 | |
US20160267710A1 (en) | Image Rendering Method and Apparatus | |
CN101572787B (zh) | 基于计算机视觉精密测量多投影视景自动几何校正和拼接方法 | |
CN110636273A (zh) | 调整投影画面的方法、装置、可读存储介质及投影仪 | |
CN111586384B (zh) | 一种基于贝塞尔曲面的投影图像几何校正方法 | |
CN102298894A (zh) | 显示设备及其对比度增强方法 | |
CN109495729B (zh) | 投影画面校正方法和*** | |
CN108550157B (zh) | 一种教学板书的无遮挡处理方法 | |
CN107749986A (zh) | 教学视频生成方法、装置、存储介质和计算机设备 | |
CN104732497A (zh) | 一种图像去雾方法、fpga及包含该fpga的去雾*** | |
CN104461441A (zh) | 渲染方法、渲染装置及显示装置 | |
TWI443604B (zh) | 影像校正方法及影像校正裝置 | |
CN113313656B (zh) | 一种适应hud上中下眼盒畸变矫正方法 | |
CN102682431A (zh) | 广角图像校正方法和*** | |
JP7081265B2 (ja) | 画像処理装置 | |
CN100498515C (zh) | 一种离轴安装的投影仪球幕投影非线性失真校正方法 | |
CN104853062B (zh) | 影像修正方法与影像修正装置 | |
CN110211543A (zh) | 局部背光调节方法和装置、虚拟现实*** | |
Zoido et al. | Optimized methods for multi-projector display correction | |
CN112164377B (zh) | 一种hud图像矫正的自适配方法 | |
CN103686029A (zh) | 一种用于大屏幕多投影***的视频像素对角插值方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |