CN108337498B - 一种曲面拟合的视差计算方法及*** - Google Patents
一种曲面拟合的视差计算方法及*** Download PDFInfo
- Publication number
- CN108337498B CN108337498B CN201810097847.4A CN201810097847A CN108337498B CN 108337498 B CN108337498 B CN 108337498B CN 201810097847 A CN201810097847 A CN 201810097847A CN 108337498 B CN108337498 B CN 108337498B
- Authority
- CN
- China
- Prior art keywords
- pixel point
- region
- parallax
- similarity
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
一种曲面拟合的视差计算方法及***,本发明获取该像素点在所述图像的一个区域,根据所述区域内所有像素点进行视差的平面拟合,并基于该拟合出的平面计算该像素点的视差和法向量;在得到初步的视差估计后,对于图像中每一个像素点,至少基于视差相似性和/或法向量相似性,寻找该像素点的一个区域,并根据该区域内所有像素点进行视差的曲面拟合,相比现有技术,找到了一个范围更大的曲面,鲁棒性好,并基于该拟合出的曲面计算该像素点的视差,从而得到更为精准的视差估计。
Description
技术领域
本发明涉及双目立体匹配领域,具体涉及一种曲面拟合的视差计算方法及***。
背景技术
在进行双目视觉立体匹配时,通常会假定在某一个小的区域(称为patch,小片区)其视差值为常数。在MST和Local Expansion等文献中,已经假定在patch内的视差可以近似用一个平面来表示,即用一个小平面来拟合这里的视差,通常这样的小平面范围一般很小,所以在进行代价匹配中还不够鲁棒。
发明内容
考虑到上述问题,本申请提供一种曲面拟合的视差计算方法及***。
根据第一方面,一种实施例中提供一种曲面拟合的视差计算方法,包括:
对于图像中每一个像素点,获取该像素点在所述图像的一个区域,根据所述区域内所有像素点进行视差的平面拟合,并基于该拟合出的平面计算该像素点的视差和法向量;其中所述图像为左图像或右图像;
对于图像中每一个像素点,至少基于视差相似性和/或法向量相似性,寻找该像素点的一个区域,并根据该区域内所有像素点进行视差的曲面拟合,并基于该拟合出的曲面计算该像素点的视差。
在一实施例中,所述对于图像中每一个像素点,获取该像素点在所述图像的一个区域,包括获取该像素点的一个具有相似梯度的区域。
在一实施例中,所述获取该像素点的一个具有相似梯度的区域,包括:
计算图像中各像素点的梯度;
基于梯度相似性,寻找该像素点的一个具有相似梯度的区域;
当基于梯度相似性寻找不到该像素点的一个具有相似梯度的区域时,则使用该像素点的邻域的像素点来对该像素点进行滤波,得到该像素点滤波后的像素值,并重新计算该像素点的梯度,基于梯度相似性,寻找该像素点的一个具有相似梯度的区域。
在一实施例中,所述基于梯度相似性,寻找该像素点的一个具有相似梯度的区域,包括:基于梯度相似性,通过区域切割算法分割出该像素点的一个具有相似梯度的区域。
在一实施例中,所述基于该拟合出的平面计算该像素点的视差和法向量,包括:根据拟合出的平面以及该像素点的坐标,计算该像素点的视差;计算拟合出的平面的法向量,作为该像素点的法向量。
在一实施例中,所述至少基于视差相似性和/或法向量相似性,寻找该像素点的一个区域,包括:至少视差相似性和/或法向量相似性,通过区域切割算法分割出该像素点的一个区域。
在一实施例中,所述基于该拟合出的曲面计算该像素点的视差,包括:根据拟合出的曲面以及该像素点的坐标,计算该像素点的视差。
在一实施例中,所述曲面为二次曲面。
根据第二方面,一种实施例中提供一种曲面拟合的视差计算***,包括:
存储器,用于存储程序;
处理器,用于通过执行所述存储器存储的程序以实现上述任一实施例所述的方法。
根据第三方面,一种实施例中提供一种计算机可读存储介质,包括程序,所述程序能够被处理器执行以实现上述任一实施例所述的方法。
依据上述实施例的曲面拟合的视差计算方法、***及计算机可读存储介质,对于图像中每一个像素点,获取该像素点在所述图像的一个区域,根据所述区域内所有像素点进行视差的平面拟合,并基于该拟合出的平面计算该像素点的视差和法向量;在得到初步的视差估计后,对于图像中每一个像素点,至少基于视差相似性和/或法向量相似性,寻找该像素点的一个区域,并根据该区域内所有像素点进行视差的曲面拟合,并基于该拟合出的曲面计算该像素点的视差,从而得到更为精准的视差估计,鲁棒性好。
附图说明
图1为一种实施例的曲面拟合的视差计算方法的流程图;
图2为一种实施例的获取像素点的一个具有相似梯度的区域的流程图;
图3为一种实施例的曲面拟合的视差计算***的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描述是为了使得本申请能被更好的理解。然而,本领域技术人员可以毫不费力的认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材料、方法所替代。在某些情况下,本申请相关的一些操作并没有在说明书中显示或者描述,这是为了避免本申请的核心部分被过多的描述所淹没,而对于本领域技术人员而言,详细描述这些相关操作并不是必要的,他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外,说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时,方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此,说明书和附图中的各种顺序只是为了清楚描述某一个实施例,并不意味着是必须的顺序,除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身,例如“第一”、“第二”等,仅用于区分所描述的对象,不具有任何顺序或技术含义。而本申请所说“连接”、“联接”,如无特别说明,均包括直接和间接连接(联接)。
如上所述,现有技术中假定在patch内的视差可以近似用一个平面来表示,即用一个小平面来拟合这里的视差,通常这样的小平面范围一般很小,所以在进行代价匹配中还不够鲁棒。发明人在研究该问题时,提出利用视差曲面中的每一切面的法线的连续性,来寻找一个范围更大的曲面,以实现更为鲁棒的立体匹配算法,下面具体说明。
请参照图1,本发明一实施例中公开了一种曲面拟合的视差计算方法,包括步骤S10~S30,下面具体说明。
步骤S10:对于图像中每一个像素点,获取该像素点在该图像的一个区域,根据该区域内所有像素点进行视差的平面拟合,并基于该拟合出的平面计算该像素点的视差和法向量;其中上述图像为左图像或右图像。
在一实施例中,上述获取该像素点在该图像的一个区域,包括获取该像素点的一个具有相似梯度的区域。在一实施例中,请参照图2,上述获取该像素点的一个具有相似梯度的区域,包括步骤S12~S14。
步骤S12:计算图像中各像素点的梯度。有时图像受噪声干扰非常大,导致噪声对梯度的计算影响非常大,因此可以考虑在计算梯度前先对图像进行滤波,例如使用现有的双边滤波算法先对图像进行滤波,然后再计算滤波后的图像中各像素点的梯度。
步骤S13:基于梯度相似性,寻找该像素点的一个具有相似梯度的区域。在一实施例中,基于梯度相似性,通过区域切割算法分割出该像素点的一个具有相似梯度的区域。
步骤S14:当基于梯度相似性寻找不到该像素点的一个具有相似梯度的区域时,则使用该像素点的邻域的像素点来对该像素点进行滤波(例如进行中值滤波),得到该像素点滤波后的像素值,并重新计算该像素点的梯度,基于梯度相似性,寻找该像素点的一个具有相似梯度的区域。
当然,步骤S10中对于图像中每一个像素点,获取该像素点在该图像的一个区域,也可是先获取一个小片区(patch),然后在小片区(patch)的基础上根据梯度相似性使用区域分割算法(例如GC算法)进行再次区域划分,得到所述区域。
在一实施例中,上述基于该拟合出的平面计算该像素点的视差和法向量,包括:根据拟合出的平面以及该像素点的坐标,计算该像素点的视差;计算拟合出的平面的法向量,作为该像素点的法向量。
步骤S30:对于图像中每一个像素点,至少基于视差相似性和/或法向量相似性,寻找该像素点的一个区域,并根据该区域内所有像素点进行视差的曲面拟合,并基于该拟合出的曲面计算该像素点的视差。在一实施例中,上述至少基于视差相似性和/或法向量相似性,寻找该像素点的一个区域,包括:至少视差相似性和/或法向量相似性,通过区域切割算法(Graph-Cut,GC)分割出该像素点的一个区域。在一实施例中,上述基于该拟合出的曲面计算该像素点的视差,包括:根据拟合出的曲面以及该像素点的坐标,计算该像素点的视差。
下面不妨以图像中任意一个像素点(x0,y0)为例,具体说明上述的各步骤。
图像(不妨以左图像为例)中任意一个像素点,例如像素点(x0,y0),先获取该像素点(x0,y0)在该左图像的一个区域P,例如一个具有相似梯度的区域P。获取的方法有许多种,例如先计算左图像中各像素点的梯度,然后基于梯度相似性,寻找该像素点(x0,y0)的一个具有相似梯度的区域P。计算两个像素点的梯度相似性,或者说,计算两个向量的相似度有许多种方法,例如对于任意两个像素点(x1,y1)、(x2,y2)之间的梯度相似性可以通过下式进行计算:
gradI(x1,y1)表示像素点(x1,y1)的梯度,gradI(x2,y2)表示像素点(x2,y2)的梯度;计算得到的cosθ值越大,说明夹角θ越大,也就是相似度越小。定义了梯度相似性后,就可以基于梯度相似性来寻找像素点(x0,y0)的一个具有相似梯度的区域。当基于梯度相似性寻找不到像素点(x0,y0)的一个具有梯度的区域,那么说明像素点(x0,y0)是由噪声引起的离群值,因此可以通过像素点(x0,y0)的邻域(例如8邻域)对像素点(x0,y0)进行中值滤波,得到像素点(x0,y0)滤波后的像素值,然后基于像素点(x0,y0)滤波后的像素值,重新计算像素点(x0,y0)的梯度gradI(x0,y0),然后再基于梯度相似性,寻找像素点(x0,y0)的一个具有相似梯度的区域。通过这样的方式,对于任意一个像素点,最终都可以寻找到该像素点的一个具有相似梯度的区域。
当然,也可以通过现有的方法先获取像素点(x0,y0)在左图像中的一个小区域(patch),然后对该小区域基于梯度相似性进行区域切割,得到像素点(x0,y0)在该左图像一个具有相似梯度的区域P。
接着,根据区域P内所有像素点进行视差的平面拟合。平面拟合的方法有许多种,例如,可令视差平面d(x,y)=a1x+b1y+c1,通过下式(1)进行平面拟合:
其中l(y,x)表示左图像中坐标(y,x)的像素点的像素值,r(y,x-(a1x+b1y+c1))表示右图像中坐标(y,x-(a1x+b1y+c1))的像素点的像素值。像素值可以是灰度值,也可是颜色值,当像素值是颜色值时,可以指的是各颜色分量之和。对于式(1),求取一个集合O={a1,b1,c1},使得下式的值最小:
不妨假设求取得到的集合O={a1 *,b1 *,c1 *},因此区域P内所有像素点进行视差的平面拟合,得到的视差平面为d(x,y)=a1 *x+b1 *y+c1 *。基于该拟合出的平面d(x,y)=a1 *x+b1 *y+c1 *可以计算该像素点(x0,y0)的视差和法向量,例如根据拟合出的平面d(x,y)=a1 *x+b1 *y+c1 *以及该像素点(x0,y0)的坐标,计算得到像素点(x0,y0)的视差d(x0,y0)=a1 *x0+b1 *y0+c1 *,计算拟合出的平面d(x,y)=a1 *x+b1 *y+c1 *的法向量,例如得到[a2,b2,-1],作为该像素点的法向量,记为nor(x0,y0)=[a2,b2,-1]。
因此通过上面的方法,就可以计算得到左图像中每一个像素点的视差和法向量。
接着,对于图像中每一个像素点,例如像素点(x0,y0),至少基于视差相似性和/或法向量相似性,寻找该像素点(x0,y0)的一个区域。不妨以基于视差相似性、法向量相似性和几何相似性为例,可定义任意两个像素点(x1,y1)和(x2,y2)之间的相似性如下:
W(x1,y1,x2,y2)=w1·|d(x1,y1)-d(x2,y2)|+w2·|nor(x1,y1)-nor(x2,y2)|+w3·|(x1,y1)-(x2,y2)|;其中w1、w2、w3表示权重系数,可根据需求设置,例如可以将它们分别设置为1/3;|d(x1,y1)-d(x2,y2)|、|nor(x1,y1)-nor(x2,y2)|、|(x1,y1)-(x2,y2)|分别表示两个像素点(x1,y1)和(x2,y2)之间的视差相似性、法向量相似性、几何相似性,其中|(x1,y1)-(x2,y2)|可以通过|x1-x2|+|y1-y2|或等来计算。
至少基于视差相似性和/或法向量相似性,寻找该像素点(x0,y0)的一个区域,可以通过区域切割算法(Graph-Cut,GC)分割出该像素点的一个区域,不妨记为区域Q。
接着,根据区域Q内所有像素点进行视差的曲面拟合。曲面拟合的方法有许多种,不妨以二次曲面拟合为例,可令视差的曲面d(x,y)=a2x2+b2y2+c2xy+e2x+f2y+g2,通过下式(2)进行曲面拟合:
从而根据区域Q内所有像素点拟合得到的视差的曲面如下:
d(x,y)=a2 *x2+b2 *y2+c2 *xy+e2 *x+f2 *y+g2 *。
基于该拟合出的曲面d(x,y)=a2 *x2+b2 *y2+c2 *xy+e2 *x+f2 *y+g2 *计算该像素点(x0,y0)的视差,例如根据拟合出的曲面d(x,y)以及该像素点(x0,y0)的坐标,计算该像素点(x0,y0)的视差d(x0,y0),可以得到d(x0,y0)=a2 *x0 2+b2 *y0 2+c2 *x0y0+e2 *x0+f2 *y0+g2 *。
以上就是本发明公开的曲面拟合的视差计算方法,相应地,请参照图3,本发明一实施例中还公开了一种曲面拟合的视差计算***,其包括存储器10和处理器30,存储器10用于存储程序,处理器30用于通过执行所述存储器10存储的程序以实现本发明任一实施例所述的曲面拟合的视差计算方法。
本发明对于图像中每一个像素点,获取该像素点在所述图像的一个区域,根据所述区域内所有像素点进行视差的平面拟合,并基于该拟合出的平面计算该像素点的视差和法向量;在得到初步的视差估计后,对于图像中每一个像素点,至少基于视差相似性和/或法向量相似性,寻找该像素点的一个区域,并根据该区域内所有像素点进行视差的曲面拟合,相比现有技术,找到了一个范围更大的曲面,鲁棒性好,并基于该拟合出的曲面计算该像素点的视差,从而得到更为精准的视差估计。
本领域技术人员可以理解,上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现,也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器、随机存储器、磁盘、光盘、硬盘等,通过计算机执行该程序以实现上述功能。例如,将程序存储在设备的存储器中,当通过处理器执行存储器中程序,即可实现上述全部或部分功能。另外,当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中,通过下载或复制保存到本地设备的存储器中,或对本地设备的***进行版本更新,当通过处理器执行存储器中的程序时,即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。
Claims (10)
1.一种曲面拟合的视差计算方法,其特征在于,包括:
对于图像中每一个像素点,获取该像素点在所述图像的一个区域,根据所述区域内所有像素点进行视差的平面拟合,并基于该拟合出的平面计算该像素点的视差和法向量;其中所述图像为左图像或右图像;
对于图像中每一个像素点,至少基于视差相似性和/或法向量相似性,寻找该像素点的一个区域,并根据该区域内所有像素点进行视差的曲面拟合,并基于该拟合出的曲面计算该像素点的视差。
2.如权利要求1所述的视差计算方法,其特征在于,所述对于图像中每一个像素点,获取该像素点在所述图像的一个区域,包括获取该像素点的一个具有相似梯度的区域。
3.如权利要求2所述的视差计算方法,其特征在于,所述获取该像素点的一个具有相似梯度的区域,包括:
计算图像中各像素点的梯度;
基于梯度相似性,寻找该像素点的一个具有相似梯度的区域;
当基于梯度相似性寻找不到该像素点的一个具有相似梯度的区域时,则使用该像素点的邻域的像素点来对该像素点进行滤波,得到该像素点滤波后的像素值,并重新计算该像素点的梯度,基于梯度相似性,寻找该像素点的一个具有相似梯度的区域。
4.如权利要求3所述的视差计算方法,其特征在于,所述基于梯度相似性,寻找该像素点的一个具有相似梯度的区域,包括:基于梯度相似性,通过区域切割算法分割出该像素点的一个具有相似梯度的区域。
5.如权利要求1所述的视差计算方法,其特征在于,所述基于该拟合出的平面计算该像素点的视差和法向量,包括:根据拟合出的平面以及该像素点的坐标,计算该像素点的视差;计算拟合出的平面的法向量,作为该像素点的法向量。
6.如权利要求1所述的视差计算方法,其特征在于,所述至少基于视差相似性和/或法向量相似性,寻找该像素点的一个区域,包括:至少基于 视差相似性和/或法向量相似性,通过区域切割算法分割出该像素点的一个区域。
7.如权利要求1所述的视差计算方法,其特征在于,所述基于该拟合出的曲面计算该像素点的视差,包括:根据拟合出的曲面以及该像素点的坐标,计算该像素点的视差。
8.如权利要求1所述的视差计算方法,其特征在于,所述曲面为二次曲面。
9.一种曲面拟合的视差计算***,其特征在于,包括:
存储器,用于存储程序;
处理器,用于通过执行所述存储器存储的程序以实现如权利要求1至8中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,包括程序,所述程序能够被处理器执行以实现如权利要求1至8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810097847.4A CN108337498B (zh) | 2018-01-31 | 2018-01-31 | 一种曲面拟合的视差计算方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810097847.4A CN108337498B (zh) | 2018-01-31 | 2018-01-31 | 一种曲面拟合的视差计算方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108337498A CN108337498A (zh) | 2018-07-27 |
CN108337498B true CN108337498B (zh) | 2020-04-28 |
Family
ID=62927757
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810097847.4A Active CN108337498B (zh) | 2018-01-31 | 2018-01-31 | 一种曲面拟合的视差计算方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108337498B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101262619A (zh) * | 2008-03-30 | 2008-09-10 | 深圳华为通信技术有限公司 | 视差获取方法和装置 |
CN101996399A (zh) * | 2009-08-18 | 2011-03-30 | 三星电子株式会社 | 在左图像与右图像之间估计视差的设备和方法 |
CN103106651A (zh) * | 2012-07-16 | 2013-05-15 | 清华大学深圳研究生院 | 一种基于三维hough变换的获取视差平面的方法 |
CN104091339A (zh) * | 2014-07-17 | 2014-10-08 | 清华大学深圳研究生院 | 一种图像快速立体匹配方法及装置 |
CN107071383A (zh) * | 2017-02-28 | 2017-08-18 | 北京大学深圳研究生院 | 基于图像局部分割的虚拟视点合成方法 |
-
2018
- 2018-01-31 CN CN201810097847.4A patent/CN108337498B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101262619A (zh) * | 2008-03-30 | 2008-09-10 | 深圳华为通信技术有限公司 | 视差获取方法和装置 |
CN101996399A (zh) * | 2009-08-18 | 2011-03-30 | 三星电子株式会社 | 在左图像与右图像之间估计视差的设备和方法 |
CN103106651A (zh) * | 2012-07-16 | 2013-05-15 | 清华大学深圳研究生院 | 一种基于三维hough变换的获取视差平面的方法 |
CN104091339A (zh) * | 2014-07-17 | 2014-10-08 | 清华大学深圳研究生院 | 一种图像快速立体匹配方法及装置 |
CN107071383A (zh) * | 2017-02-28 | 2017-08-18 | 北京大学深圳研究生院 | 基于图像局部分割的虚拟视点合成方法 |
Non-Patent Citations (1)
Title |
---|
《基于图像分割的三维立体匹配改进算法》;何凯等;《吉林大学学报(工学版)》;20160516;第44卷(第1期);第219-224页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108337498A (zh) | 2018-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shen et al. | Mutual-structure for joint filtering | |
US9390515B2 (en) | Keyframe selection for robust video-based structure from motion | |
Granados et al. | How not to be seen—object removal from videos of crowded scenes | |
US9692939B2 (en) | Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence | |
WO2012177166A1 (en) | An efficient approach to estimate disparity map | |
WO2012100225A1 (en) | Systems and methods for generating a three-dimensional shape from stereo color images | |
JP6604502B2 (ja) | デプスマップ生成装置、デプスマップ生成方法及びプログラム | |
Seo | Image denoising and refinement based on an iteratively reweighted least squares filter | |
CN108492326B (zh) | 分辨率从低到高的逐渐精细化的立体匹配方法及*** | |
CN108337498B (zh) | 一种曲面拟合的视差计算方法及*** | |
Tung et al. | Multiple depth layers and all-in-focus image generations by blurring and deblurring operations | |
US10453206B2 (en) | Method, apparatus for shape estimation, and non-transitory computer-readable storage medium | |
Ishii et al. | Wide-baseline stereo matching using ASIFT and POC | |
CN108305269B (zh) | 一种双目图像的图像分割方法及*** | |
US8526760B2 (en) | Multi-scale representation of an out of focus image | |
CN104182948B (zh) | 一种相关性噪声的估计方法 | |
JP2018010359A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN108460733B (zh) | 一种逐步精细化的图像去噪方法及*** | |
Sangeetha et al. | Improved exemplar based texture synthesis method for natural scene image completion | |
Voronin et al. | Depth map occlusion filling and scene reconstruction using modified exemplar-based inpainting | |
Wang et al. | Depth map restoration and upsampling for kinect v2 based on ir-depth consistency and joint adaptive kernel regression | |
Lederman | Two dimensional image denoising using partial differential equations with a constraint on high dimensional domains | |
Welk | Amoeba active contours | |
CN113409364B (zh) | 一种基于像素相似性的立体匹配算法、***和计算机介质 | |
WO2023084601A1 (ja) | 算出装置、算出方法、カメラパラメータ推定装置、及び非一時的なコンピュータ可読媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |