CN107888836B - 一种基于辅助焦面的推扫式遥感相机调焦方法 - Google Patents
一种基于辅助焦面的推扫式遥感相机调焦方法 Download PDFInfo
- Publication number
- CN107888836B CN107888836B CN201711263911.3A CN201711263911A CN107888836B CN 107888836 B CN107888836 B CN 107888836B CN 201711263911 A CN201711263911 A CN 201711263911A CN 107888836 B CN107888836 B CN 107888836B
- Authority
- CN
- China
- Prior art keywords
- focusing
- focal plane
- remote sensing
- push
- detector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
一种基于辅助焦面的推扫式遥感相机调焦方法涉及航天遥感图像处理领域,解决对不同景物图像调焦不能同时克服调焦速度慢和准确性低的问题。包括:步骤一、利用能获得不同焦深区域图像的探测器拍摄图像,截取其中一幅图像,对此图像进行刃边提取,根据刃边数量和位置划分区域,所述探测器位于推扫式遥感相机的同一光学***中;步骤二、分别计算每个区域的***成像质量参数,对比确定最优***成像质量参数;步骤三、根据最优***成像质量参数确定调焦步距,根据调焦步距进行检调焦,达到设定标准时完成调焦。本发明利用不同焦深图像实现推扫式遥感相机主焦面的智能化调焦,提高了调焦速度和最佳焦面确定的准确性,适用于星下检焦星上调焦。
Description
技术领域
本发明涉及航天遥感图像处理技术领域,特别涉及一种基于辅助焦面的推扫式遥感相机调焦方法。
背景技术
在一个成像***中,需要解决的基本问题中排在首位的是光学镜头的焦距对准,光学镜头的焦距对准的最终效果将直接决定最后成像的图像质量及后续图像应用的有效性,调焦已成为成像***的重要功能。离焦图像数字值(DigitalNumber,DN)趋于单一灰度,纹理模糊,信息含量减少。而通过图像来判断相机的成像水平,是最直接的方法。基于图像的自动调焦过程关键是实现基于图像的检焦过程。目前基于图像的检焦算法较多,但是大多都依赖于相机对同一景物重复成像。然而推扫式遥感相机是在运动中完成对地面成像,其成像景物是不断变化的,现有的基于不同景物的检调焦方法的调焦或是调焦速度慢,或是准确性低,兼顾调焦速度与准确性的检调焦存在一定的技术难点,亟需一种基于不同景物实现兼顾调焦速度与准确性的检调焦方法。
发明内容
为了解决基于不同景物图像的调焦方法不能同时克服调焦速度慢和准确性低的问题,本发明提供了一种基于辅助焦面的推扫式遥感相机调焦方法,该方法提高了最佳焦面确定的准确性。
本发明解决技术问题所采用的技术方案如下:
一种基于辅助焦面的推扫式遥感相机调焦方法,包括如下步骤:
步骤一、利用能获得不同焦深区域图像的探测器拍摄图像,截取其中一幅图像,对此图像进行刃边提取,根据刃边数量和位置划分区域,所述探测器位于推扫式遥感相机的同一光学***中;
步骤二、分别计算每个区域的***成像质量参数,对比确定最优***成像质量参数;
步骤三、根据最优***成像质量参数确定调焦步距,根据调焦步距进行检调焦,达到设定标准时完成调焦。
步骤三中所述检调焦具体为判断是否达到设定标准,若为否,重复步骤一至三,若为是,停止操作,调焦完成。
步骤三中所述检调焦选用爬山算法,所述设定标准为调焦动作连续两次回到上一步起点。
步骤二中所述***成像质量参数为调制传递函数MTF,最优***成像质量参数为MTF的最大值MTFmax。
步骤三中所述检调焦的过程分为粗调焦和精调焦两个阶段,
当θ/MTFmax≤T时为精调焦,精调焦步距为Δm;
每次调焦后重复步骤一至步骤三。
粗调焦时,以粗调焦步距向随机方向进行一步调焦,调焦后若θ/MTFmax值变大,向所述随机方向的反方向调焦两个粗调焦步距,若θ/MTFmax值变小,向所述随机方向继续调焦一个粗调焦步距,直至θ/MTFmax≤T,结束粗调焦进入精调焦;
精调焦时,以精调焦步距采用爬山算法进行调焦,当调焦连续两次回到上一步起点时,结束精调焦,调焦完成。
所述图像的信噪比不低于80。
步骤一中所述探测器为辅助焦面探测器。
所述辅助焦面探测器为面阵CMOS探测器。
本发明的有益效果是:本发明提供推扫式遥感相机不依赖于相同景物的绝对式图像检调焦方法,利用能获得不同焦深区域图像的探测器得到的图像差异性实现主焦面的智能化调焦,完成相机在轨期间的智能化调焦,提供了推扫式遥感相机在轨调焦的新的解决途径,提高了调焦速度和最佳焦面确定的准确性,更适合推扫式遥感相机的检调焦过程,适用于星下检焦星上自动调焦的调焦模式。
附图说明
图1本发明一种基于辅助焦面的推扫式遥感相机调焦方法的平面TDI CCD和CMOS芯片的位置关系示意图。
图2本发明一种基于辅助焦面的推扫式遥感相机调焦方法的CMOS芯片摆放角度示意图。
图3本发明一种基于辅助焦面的推扫式遥感相机调焦方法的实施例流程图。
图4本发明一种基于辅助焦面的推扫式遥感相机调焦方法的原图与离焦退化模拟图。
图5本发明一种基于辅助焦面的推扫式遥感相机调焦方法的各区域MTF数值图。
图6本发明一种基于辅助焦面的推扫式遥感相机调焦方法的MTFmax区域的ESF、LSF和MTF曲线图。
图7本发明一种基于辅助焦面的推扫式遥感相机调焦方法的爬山算法调焦图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细说明。
一种基于辅助焦面的推扫式遥感相机调焦方法,该方法是基于能获取不同焦深的区域图像的探测器,利用其所拍图像进行调焦,该探测器位于推扫式遥感相机的同一个光学***中。在本实施方式中具体选用含有辅助焦面探测器的TDI CCD(时间延迟积分电荷耦合元件),辅助焦面探测器与TDI CCD位于同一光学***中,共用同一个光学视场角,即TDICCD作为主成像探测器,辅助焦面探测器作为用于辅助TDI CCD调焦的探测器。获取一幅由辅助焦面探测器获得的不同焦深区域的遥感图像,根据所获图像对光学***进行检调焦,以优化TDI CCD的拍摄质量,也就是对TDI CCD调焦。辅助焦面探测器具体选用面阵CMOS探测器,面阵CMOS探测器根据焦深范围和CMOS芯片参数调整CMOS焦面摆放位置与角度,CMOS焦面会倾斜一定角度以作为辅助焦面,不同区域处在不同的焦面上,因此所成图像离焦程度不同,图像的高频区域损失不同。也就是说,使CMOS焦面各区的成像存在差异性,其成像区域置于不同焦深,从而得出各区域离焦量不同的一帧图像。如图1和图2所示,图1为七片水平放置的TDI CCD和一片倾斜放置的CMOS芯片的位置关系平面示意图。图2为倾斜放置的CMOS,倾斜放置的CMOS芯片的倾斜角为α,CMOS的探测长度为L,CMOS垂直高度为H。
设调焦总行程为S,焦深为Δ。若要使倾斜后光轴方向上的调焦范围能够覆盖全焦深且不超过调焦总行程,则有
S>H>Δ (1),
而由图2中可知倾角α与H、L的关系为
根据公式(1)和公式(2)则有
由公式(3)能够确定倾角α的摆放范围。
使用上述能获得不同焦深区域图像的推扫式遥感相机成像,本实施方式中推扫式相机是由TDI CCD和面阵CMOS探测器两类探测器组成,下文简称相机。调焦方法的具体步骤如下,流程图如图3:
步骤一、利用能获得不同焦深区域图像的探测器拍摄图像,截取其中一幅图像,对此图像进行刃边提取,根据刃边数量和位置划分区域,所述探测器位于推扫式遥感相机的同一光学***中。
相机入轨后,运动过程中拍摄图像通过数传***传输至地面接收***,地面接收***在辅助焦面探测器所拍摄的数字图像(不同焦深的区域图像)中任选一幅并进行刃边提取,再根据提取的刃边数量和位置进行区域的划分。
刃边提取的选取原则是两侧灰度值对比明显,刃边尽可能直,且划分的各区域内灰度分布均匀,有较强的对比度,有较高的图像信噪比(图像信噪比达到80以上,对步骤二实施例中的MTF测量的精度影响较小);倾角α在5°~10°之间;刃边边缘清晰,边缘的最小面积为20×20像元。
下面举例进行描述。图4是采用离焦模型对原图进行离焦退化模拟的图像,图4(a)是原图像;图4(b)是不同离焦情况下的成像仿真图像,圆盘离焦模型为:
其中R为离焦模糊半径,m和n分别为横纵坐标。
图4(b)中的四个实线框为刃边提取的结果,刃边为四个,综合其位置划分四个区域,即为图中三条虚线所划分的四个区域(对应图中的N=1,N=2、N=3和N=4),四个区域有不同离焦模糊半径。
步骤二、分别计算每个区域的***成像质量参数,对比确定最优***成像质量参数;
分别计算每个区域的***成像质量参数作为检焦过程中的检焦函数值。***成像质量参数为调制传递函数MTF,最优***成像质量参数为MTF的最大值MTFmax。
分别计算每个区域的调制传递函数(MTF)值作为***成像质量参数。具体计算过程为MTF计算的过程为:首先对图像进行去噪处理,然后采用刃边法解算MTF值。图5为取图4(b)各个区域的刃边,计算其MTF值,得到的MTF折线。可以看出4个区域中区域3(N=3)的MTF值最大(MTF最大值记为MTFmax,MTFmax用于检调焦过程的判断中或是调焦步距的确定中)。也就意味着区域3在各个区域中图像的清晰度最高,其离焦趋势最小。
刃边法的主要计算过程为:首先得到地面边缘纹理的边缘扩散函数ESF,对其求导得到对应的线扩展函数LSF,最后进行一维傅里叶变换,得到光学传递函数(OTF),取模可以得到MTF。图6为是图4(b)中的区域3的LSF、ESF、MTF曲线图。
其中,为了刃边法计算的精度,采用Fermi函数拟合ESF曲线,其三阶Fermi函数公式如下,
其中,ai是Fermi函数的幅度,bi是函数中心位置的x轴坐标值,ci是函数的陡度,D是函数中心位置的y轴坐标值,对这些参数求解的模拟退火方法采用matlab优化工具箱的模拟退火算法工具箱实现。
步骤三、根据步骤二的最优***成像质量参数确定调焦步距,根据调焦步距对推扫式遥感相机进行检调焦,达到设定标准时完成调焦。
调焦步距还可以根据相机的参数或者***成像质量参数与相机的参数的结合计算来确定调焦步距,将所计算的调焦步距经地面数传***传输到星上,星上根据调焦步距对相机进行检调焦,即进行正焦位置搜索,接近或达到正焦位置时调焦完成。检调焦过程包括判断是否达到设定标准,若为否,重复步骤一至三,若为是,停止操作,对光学***的调焦完成,即TDI CCD的调焦完成。
检调焦过程利用爬山算法:如果调焦动作连续两次回到上一步起点,则说明***已经到达正确调焦位置,调焦结束。具体过程为:未进行调焦时的MTFmax值记为MTFmax0,第n步调焦后的MTFmax值记为MTFmaxn,n为正整数,按照调焦步距进行调焦,进行第一步调焦后,对比MTFmax1和MTFmax0,若MTFmax1>MTFmax0时(即通过调焦,最优***成像质量参数变得更优),记为“+”,若MTFmax1≤MTFmax0时,记为“-”,依此继续调焦,当出现“--+--+”时,如图7所示,即连续出现两次“-”后,以2倍调焦步距一次返回起点,返回起点记为“+”,再连续出现两次“-”后,以2倍调焦步距一次返回起点,结束调焦,或当出现“-+-+”时,结束调焦,即以调焦动作连续两次回到上一步起点作为设定标准,未达到设定标准(判断为否),重复步骤一至三,达到设定标准(判断为是),停止操作,调焦完成。
通过实时获得不同焦深的图像的最有***成像质量参数以及依此确定的调焦步距,使得调焦过程快速且调焦结果准确性好。
优选的是,对爬山算法进行一定的改进,整个爬山算法分为粗调焦和精调焦两个阶段。采用粗调焦和精调焦相结合的方法进行正焦位置搜索,能够提高调焦的速度和精度。
设检焦判据值为θ/MTFmax,θ是调节因子。根据θ/MTFmax与相机的一倍焦深值T的大小关系判断进入粗调焦阶段还是精调焦阶段。当θ/MTFmax>T时,为粗调焦阶段,当θ/MTFmax<T时,为精调焦阶段。
当θ/MTFmax>T粗调焦时,
计算粗调焦步距Step的计算公式为
公式(5)中Step是粗调阶段的调焦步距,θ是调节因子,Δm是最小调焦精度即调焦机构(相机)所能调节的最小步距。
根据Step值进行第一步调焦(此时为试探调焦),并计算试探调焦后的θ/MTFmax大小。比较前后两个调焦状态下的θ/MTFmax。以粗调焦步距Step向随机方向进行一步粗调焦,试探调焦后,如果θ/MTFmax值变大,说明***处于远离合焦位置方向的状态,试探调焦的方向错误,则需向相反方向调整2个粗调焦步距。如果θ/MTFmax值变小,说明***处于贴近合焦位置方向的状态,试探调焦的方向正确,向所述随机方向继续调焦一个粗调焦步距。
继续调焦;直到值θ/MTFmax≤T时,说明此时***已经接近正确焦点位置,结束粗调焦转入精调焦阶段。
当θ/MTFmax≤T精调焦时,精调焦阶段焦面已在合焦位置附近,将调焦步距调整为相机的最小调焦精度Δm,此阶段以最小调焦精度Δm为调焦步距,采用爬山算法,如果调焦动作连续两次回到上一步起点,则说明***已经到达正确调焦位置,调焦结束,星上注入调焦参数,完成调焦。
检调焦是整个调焦过程中较耗时的一步,考虑到星上图像处理的复杂性和实时性问题,本实施例中的方案为待采集图像传回地面接收***后,在地面上地面处理***进行计算,地面处理***再将检焦结果传回星上用于星上调焦。由此实现的基于相机面阵CMOS的星下检焦星上自动调焦的自动调焦***具有可行性。
Claims (9)
1.一种基于辅助焦面的推扫式遥感相机调焦方法,其特征在于,包括如下步骤:
步骤一、利用能获得不同焦深区域图像的探测器拍摄图像,截取其中一幅图像,对此图像进行刃边提取,根据刃边数量和位置划分区域,所述探测器与主成像探测器位于推扫式遥感相机的同一光学***中;
所述探测器为辅助焦面探测器,所述辅助焦面探测器通过倾斜一定角度获得不同焦深区域图像以作为主成像探测器的辅助焦面,用于辅助主成像探测器调焦;
步骤二、分别计算每个区域的***成像质量参数,对比确定最优***成像质量参数;
步骤三、根据最优***成像质量参数确定调焦步距,根据调焦步距进行检调焦,达到设定标准时完成调焦。
2.如权利要求1所述的一种基于辅助焦面的推扫式遥感相机调焦方法,其特征在于,步骤三中所述检调焦具体为判断是否达到设定标准,若为否,重复步骤一至三,若为是,停止操作,调焦完成。
3.如权利要求2所述的一种基于辅助焦面的推扫式遥感相机调焦方法,其特征在于,步骤三中所述检调焦选用爬山算法,所述设定标准为调焦动作连续两次回到上一步起点。
4.如权利要求1所述的一种基于辅助焦面的推扫式遥感相机调焦方法,其特征在于,步骤二中所述***成像质量参数为调制传递函数MTF,最优***成像质量参数为MTF的最大值MTFmax。
6.如权利要求5所述的一种基于辅助焦面的推扫式遥感相机调焦方法,其特征在于,
粗调焦时,以粗调焦步距向随机方向进行一步调焦,调焦后若θ/MTFmax值变大,向所述随机方向的反方向调焦两个粗调焦步距,若θ/MTFmax值变小,向所述随机方向继续调焦一个粗调焦步距,直至θ/MTFmax≤T,结束粗调焦进入精调焦;
精调焦时,以精调焦步距采用爬山算法进行调焦,当调焦连续两次回到上一步起点时,结束精调焦,调焦完成。
7.如权利要求1所述的一种基于辅助焦面的推扫式遥感相机调焦方法,其特征在于,所述图像的信噪比不低于80。
8.如权利要求1所述的一种基于辅助焦面的推扫式遥感相机调焦方法,其特征在于,所述辅助焦面探测器为面阵CMOS探测器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711263911.3A CN107888836B (zh) | 2017-12-05 | 2017-12-05 | 一种基于辅助焦面的推扫式遥感相机调焦方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711263911.3A CN107888836B (zh) | 2017-12-05 | 2017-12-05 | 一种基于辅助焦面的推扫式遥感相机调焦方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107888836A CN107888836A (zh) | 2018-04-06 |
CN107888836B true CN107888836B (zh) | 2020-09-29 |
Family
ID=61772649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711263911.3A Active CN107888836B (zh) | 2017-12-05 | 2017-12-05 | 一种基于辅助焦面的推扫式遥感相机调焦方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107888836B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3889661B1 (en) * | 2020-03-31 | 2023-05-03 | Infiray Technologies Co., Ltd. | Focusing method and apparatus, electronic device and storage medium |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110557561B (zh) * | 2019-07-24 | 2021-07-13 | 北京空间机电研究所 | 一种高分辨率空间相机在轨快速定焦方法和*** |
CN112399171B (zh) * | 2019-08-15 | 2021-07-13 | 中国科学院长春光学精密机械与物理研究所 | 一种tdiccd航空相机焦平面检测方法 |
CN114820317B (zh) * | 2022-04-28 | 2023-04-21 | 长光卫星技术股份有限公司 | 一种像素偏移的超分辨时间延迟积分成像方法 |
CN117689892B (zh) * | 2024-02-02 | 2024-04-09 | 中国科学院长春光学精密机械与物理研究所 | 遥感影像焦面的判别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103905714A (zh) * | 2012-12-26 | 2014-07-02 | 中国电子科技集团公司第五十研究所 | 基于边沿扩展函数测量的调焦方法及装置 |
CN104486550A (zh) * | 2014-12-29 | 2015-04-01 | 中国科学院长春光学精密机械与物理研究所 | 航空相机图像检焦装置及方法 |
CN104516085A (zh) * | 2013-09-30 | 2015-04-15 | 香港纺织及成衣研发中心有限公司 | 一种用于多光谱成像的快速调焦方法及装置 |
CN104603668A (zh) * | 2012-06-07 | 2015-05-06 | 索尼公司 | 图像处理装置、图像处理程序及图像处理方法 |
CN106027911A (zh) * | 2016-07-12 | 2016-10-12 | 北京空间机电研究所 | 一种对地观测星载可见光传输型相机的在轨调焦方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9256202B2 (en) * | 2011-05-20 | 2016-02-09 | Massachusetts Institute Of Technology | System, method and apparatus for phase-coded multi-plane microscopy |
-
2017
- 2017-12-05 CN CN201711263911.3A patent/CN107888836B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104603668A (zh) * | 2012-06-07 | 2015-05-06 | 索尼公司 | 图像处理装置、图像处理程序及图像处理方法 |
CN103905714A (zh) * | 2012-12-26 | 2014-07-02 | 中国电子科技集团公司第五十研究所 | 基于边沿扩展函数测量的调焦方法及装置 |
CN104516085A (zh) * | 2013-09-30 | 2015-04-15 | 香港纺织及成衣研发中心有限公司 | 一种用于多光谱成像的快速调焦方法及装置 |
CN104486550A (zh) * | 2014-12-29 | 2015-04-01 | 中国科学院长春光学精密机械与物理研究所 | 航空相机图像检焦装置及方法 |
CN106027911A (zh) * | 2016-07-12 | 2016-10-12 | 北京空间机电研究所 | 一种对地观测星载可见光传输型相机的在轨调焦方法 |
Non-Patent Citations (2)
Title |
---|
基于MTF辅助正焦判断的自动调焦搜索算法;何祯鑫 等;《光子学报》;20140430;第43卷(第4期);第1-8页 * |
遥感相机的智能调焦方法;吕恒毅 等;《红外与激光工程》;20120531;第41卷(第5期);第1261-1265页 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3889661B1 (en) * | 2020-03-31 | 2023-05-03 | Infiray Technologies Co., Ltd. | Focusing method and apparatus, electronic device and storage medium |
Also Published As
Publication number | Publication date |
---|---|
CN107888836A (zh) | 2018-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107888836B (zh) | 一种基于辅助焦面的推扫式遥感相机调焦方法 | |
WO2018024006A1 (zh) | 一种聚焦型光场相机的渲染方法和*** | |
CN107995424B (zh) | 基于深度图的光场全聚焦图像生成方法 | |
CN109883391B (zh) | 基于微透镜阵列数字成像的单目测距方法 | |
WO2016184099A1 (zh) | 基于光场数据分布的深度估计方法 | |
US8553137B2 (en) | Image data processing method and apparatus | |
US8306360B2 (en) | Device and method for obtaining clear image | |
US20110157387A1 (en) | Method and apparatus for generating image data | |
CN112672039B (zh) | 一种基于多区域主动变换聚焦方法及设备 | |
Shih | Autofocus survey: a comparison of algorithms | |
US8064761B2 (en) | Method to determine auto focus of a digital camera | |
US10116857B2 (en) | Focus adjustment apparatus, control method of focus adjustment apparatus, and imaging apparatus | |
CN104519274B (zh) | 图像处理装置和图像处理方法 | |
JP3902492B2 (ja) | 撮像装置 | |
CN109714530B (zh) | 一种航空相机图像调焦方法 | |
US9485407B2 (en) | Method of capturing images and obtaining information of the images | |
JP5369563B2 (ja) | 形状測定装置 | |
CN110363734B (zh) | 厚样本显微荧光图像重构方法及*** | |
JPH10232343A (ja) | 自動焦点合わせ方法 | |
CN112866689B (zh) | 一种基于sfr算法的光学调焦方法 | |
CN113225473B (zh) | 自动聚焦的方法、装置、设备和介质 | |
CN117671033A (zh) | 一种基于夜间灯光追踪的相机像主点快速定标方法和*** | |
CN113805304B (zh) | 一种用于线阵相机的自动调焦***及方法 | |
CN117201937A (zh) | 一种快速高精度相机聚焦方法 | |
CN109068042B (zh) | 一种适用于光场相机的自动对焦方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |