CN108304870B - 点线特征融合的错误匹配剔除方法 - Google Patents
点线特征融合的错误匹配剔除方法 Download PDFInfo
- Publication number
- CN108304870B CN108304870B CN201810086579.6A CN201810086579A CN108304870B CN 108304870 B CN108304870 B CN 108304870B CN 201810086579 A CN201810086579 A CN 201810086579A CN 108304870 B CN108304870 B CN 108304870B
- Authority
- CN
- China
- Prior art keywords
- matching
- curve
- point
- pairs
- pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000004927 fusion Effects 0.000 title claims abstract description 9
- 230000008030 elimination Effects 0.000 title abstract description 5
- 238000003379 elimination reaction Methods 0.000 title abstract description 5
- 239000013256 coordination polymer Substances 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims 1
- 239000011159 matrix material Substances 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/752—Contour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种点线特征融合的错误匹配剔除方法,包括:从不同角度拍摄同一场景两幅不同图像并输入计算机、利用SIFT技术进行特征点检测及匹配、利用曲线描述子进行曲线匹配、确定各匹配曲线的支撑区域、获取匹配曲线对应支撑区域内的匹配点对、计算曲线支撑区域内特征点到曲线的最小距离、根据匹配曲线对的差异度剔除错误曲线匹配、根据匹配点对的差异度剔除错误点匹配。本发明提供的方法能够简单快速的剔除图像中的错误匹配,具有通用性。
Description
技术领域
本发明涉及计算机视觉中的图像特征匹配领域,特别是图像匹配中点匹配和线匹配方法。
背景技术
特征匹配技术在图像检索、物体识别、视频跟踪以及增强现实等领域有重要应用。目前已有的曲线匹配方法主要有如下两类,第一类是基于曲线形状的匹配方法,第二类方法是基于图像内容的匹配方法[1-3]。两种方法在局部形变较大时,均会产生较多地错误匹配,匹配正确率和总数达不到预期的效果。因此,从现有的匹配结果中去除错误匹配是计算机视觉、模式识别等领域中的一项基本问题,其应有广泛。
现有方法对特征点错误匹配去除方法研究较多,一些算法将线和点结合建立关系实现错误匹配的去除。例如Lourakis等人[4]用两条直线和两个点构成的射影不变量实现平面上直线和点的匹配,但由于点匹配和直线匹配均是未知的,进行自由组合时需要大量时间。为避免在区域内寻找点匹配的组合搜索问题,Fan等人[5]利用已有的特征点匹配结果,提出一种基于点线不变量的直线错误匹配去除方法。但现有点线结合的方法只适用于直线匹配,均无法用于曲线错误匹配的剔除。
参考文献:
[1] Wang Z, Wu F, Hu Z. MSLD: A robust descriptor for line matching[J]. Pattern Recognition, 2009, 42(5):941-953.
[2] 王志衡, 智珊珊, 刘红敏. 基于亮度序的均值标准差描述子[J]. 模式识别与人工智能, 2013, 26(4):91-98.
[3] Liu H.M,Zhi S.S,Wang Z.H.,IOCD: Intensity Order Curve Descriptor[J]. International Journal of Pattern Recognition and ArtificialIntelligence,2013,27 (7):1355011-135037
[4] Lourakis M. I. A., Halkidis S. T, Orphanoudakis S. C. Matchingdisparate views of planar surfaces using projective invariants [J]. ImageVision Computing, 2000, 18 (9) : 673–683.
[5] Fan B, Wu F, Hu Z. Aggregating gradient distributions intointensity orders: A novel local image descriptor[C]// IEEE, 2011:2377-2384.。
发明内容
本发明针对现有曲线匹配和点匹配算法中存在有错误匹配的问题,目的是提供一种将点、线特征融合起来的匹配方法。为了实现本目的,本发明基于点线特征融合的错误匹配剔除方法,包括以下步骤:
步骤S1:从不同角度拍摄同一场景两幅不同图像并输入计算机;
步骤S2:利用SIFT技术进行特征点检测及匹配;
步骤S3:利用曲线描述子进行曲线匹配;
步骤S4:确定各匹配曲线的支撑区域;
步骤S5:获取匹配曲线对应支撑区域内的匹配点对;
步骤S6:计算曲线支撑区域内特征点到曲线的最小距离;
步骤S7:根据匹配曲线对的差异度剔除错误曲线匹配;
步骤S71:计算匹配曲线对的差异度;
步骤S72:验证匹配曲线对的正确性并剔除错误曲线匹配;
步骤S8:根据匹配点对的差异度剔除错误点匹配;
步骤S81:计算匹配点对的差异度;
步骤S82:验证匹配点对的正确性并剔除错误点匹配。
本发明提供的点线特征融合的错误匹配剔除方法,首先利用已建立的点匹配结果约束、验证曲线匹配的结果,然后利用得到的曲线匹配结果约束、验证点匹配结果。本发明提供的方法不仅能够准确检测出错误的匹配,而且计算简单,不需要复杂变换,在计算复杂性及效率上优于已有方法;同时,该方法具有通用性,可用于各种点匹配和曲线匹配算法结果中错误匹配的剔除。
附图说明
图1为本发明点线特征融合的错误匹配剔除方法流程图。
具体实施方式
如图1所示为本发明点线特征融合的错误匹配剔除方法流程图,包括:采集图像并输入计算机、匹配图像中的特征点、匹配图像中的特征曲线、确定匹配曲线的支撑区域、获取匹配曲线对应支撑区域内的匹配点对、计算曲线支撑区域内特征点到曲线的最小距离、根据匹配曲线对的差异度剔除错误曲线匹配、根据匹配点对的差异度剔除错误点匹配。
各步骤的具体实施细节如下:
步骤S1:从不同角度拍摄同一场景两幅不同图像并输入计算机。
步骤S2:利用SIFT技术进行特征点检测与匹配,获得匹配点对集合S(P)={(P i ,P i ’), i =1,2,…,N P },其中P i 表示第1幅图像中匹配的特征点,P i ’表示第2幅图像中与P i 匹配的特征点,N P 为匹配特征点对的个数。
步骤S3:利用Canny边缘检测算子提取曲线并使用文献IOCD: Intensity order curve descriptor,International Journal of Pattern Recognition & Artificial Intelligence. 2013,27( 7 ),1355011所述亮度序曲线描述子进行曲线匹配,获得匹配曲线对集合S(C)={(C j , C j ’), j =1,2,…,N C },其中C j 表示第1幅图像中的匹配曲线,C j ’表示第2幅图像中与C j 匹配的曲线,N C 为匹配曲线对的个数。
步骤S4:确定各曲线的支撑区域,具体方式为,对于任一条由Num(C)个点组成的匹配曲线C,记C上任一点为P k ,k=1,2,…,Num(C),将以P k 为圆心R为半径的圆形区域定义为点P k 的支撑区域并记为G(P k ), C上各点支撑区域覆盖的区域定义为C的支撑区域并记为G(C)= G(P 1 )∪G(P 2 ) ∪…∪G (P Num(C)) 。
步骤S5:获取匹配曲线对应支撑区域内的匹配点对,具体方式为,对于任一匹配曲线对(C j , C j ’),由步骤S4分别获得C j 、C j ’的支撑区域G(C j )、G(C j ’),寻找满足如下条件的匹配点对(P, P’):P∈G(C j )&P’∈G(C j ’)&(P, P’)∈S(P),得到(C j , C j ’)对应支撑区域内的匹配点对集合S(CP j )={(P l , P l ’), l =1,2,…,N j },N j 为匹配点对的个数。
步骤S6:计算曲线支撑区域内特征点到曲线的最小距离,具体方式为,对于步骤S5获取的匹配点对集合S(CP j )中的任一匹配点对(P l , P l ’),计算特征点P l 到曲线C j 上各点距离并记距离最小值为d jl ;计算P l ’到曲线C j ’上各点距离并记距离最小值为d jl ’;获得S(CP j )对应的最小距离集合S(d)={(d jl , d jl ’), l =1,2,…,N j }。
步骤S7:根据匹配曲线对的差异度剔除错误曲线匹配,具体方式如下:
步骤S71:计算匹配曲线对的差异度,具体方式为,对于任一匹配曲线对(C j , C j ’),
根据步骤S6获得最小距离集合S(d)={(d jl , d jl ’), l =1,2,…,N j },分别计算G(C j )、G(C j ’)
中最小距离的平均值d j =、d j ’= ;曲线C j 、C j ’的差异度定义为Dif
(C j , C j ’) =|d j - d j ’|。
步骤S72:验证匹配曲线对的正确性并剔除错误曲线匹配,具体方式为,对于任一匹配曲线对(C j , C j ’),给定阈值T C,T C一般取8~15,如果Dif(C j , C j ’)<T C,则(C j , C j ’)为正确匹配,否则将(C j , C j ’)作为错误匹配剔除。
步骤S8:根据匹配点对的差异度剔除错误点匹配,具体方式如下
步骤S81:计算匹配点对的差异度,具体方式为,对于集合C中的任一匹配点对(P i ,P i ’),如果P i ∈G(C j ),计算点P i 到曲线C j 的最小距离并记为d ij ;计算点P i ’到曲线C j ’的最小距离并记为d ij ’,则匹配点对(P i , P i ’)的差异度定义为:Dif(P i , P i ’)=| d ij - d ij ’|。
步骤S82:验证匹配点对的正确性并剔除错误点匹配,具体方式为,对于任一匹配点对(P i , P i ’),定义阈值T P,T P一般取35~45,如果Dif(P i , P i ’)<T P,则(P i , P i ’)为正确匹配,否则将(P i , P i ’)作为错误匹配剔除。
本发明提供的点线特征融合的错误匹配剔除方法,首先利用已建立的点匹配结果约束、验证曲线匹配结果,剔除不满足约束条件的曲线匹配对;然后利用得到的曲线匹配结果约束、验证点匹配结果,实现错误匹配的剔除。本发明提供的方法不仅能够准确检测出错误匹配,而且计算简单,在计算复杂性及效率上优于已有方法;同时,该方法具有通用性,可用于各种点匹配和曲线匹配算法结果中错误匹配的剔除。
Claims (1)
1.一种点线特征融合的错误匹配剔除方法,其特征在于,包括步骤:
步骤S1:从不同角度拍摄同一场景两幅不同图像并输入计算机;
步骤S2:利用SIFT技术进行特征点检测及匹配,获得匹配点对集合S(P)={(Pi,Pi’),i=1,2,…,NP},其中Pi表示第1幅图像中匹配的特征点,Pi’表示第2幅图像中与Pi匹配的特征点,NP为匹配特征点对的个数;
步骤S3:利用Canny边缘检测算子提取曲线并使用IOCD亮度序曲线描述子进行曲线匹配,获得匹配曲线对集合S(C)={(Cj,Cj’),j=1,2,…,NC},其中Cj表示第1幅图像中的匹配曲线,Cj’表示第2幅图像中与Cj匹配的曲线,任一曲线C的IOCD亮度序曲线描述子为IOCD(C)=sum(DM(C))/‖sum(DM(C))‖,DM(C)为曲线的描述矩阵,NC为匹配曲线对的个数;
步骤S4:确定各曲线的支撑区域,具体方式为,对于任一条由Num(C)个点组成的匹配曲线C,记C上任一点为Pk,k=1,2,…,Num(C),将以Pk为圆心R为半径的圆形区域定义为点Pk的支撑区域并记为G(Pk),C上各点支撑区域覆盖的区域定义为C的支撑区域并记为G(C)=G(P1)∪G(P2)∪…∪G(PNum(C));
步骤S5:获取匹配曲线对应支撑区域内的匹配点对,具体方式为,对于任一匹配曲线对(Cj,Cj’),由步骤S4分别获得Cj、Cj’的支撑区域G(Cj)、G(Cj’),寻找满足如下条件的匹配点对(P,P’):P∈G(Cj)&P’∈G(Cj’)&(P,P’)∈S(P),得到(Cj,Cj’)对应支撑区域内的匹配点对集合S(CPj)={(Pl,Pl’),l=1,2,…,Nj},Nj为匹配点对的个数;
步骤S6:计算曲线支撑区域内特征点到曲线的最小距离,具体方式为,对于步骤S5获取的匹配点对集合S(CPj)中的任一匹配点对(Pl,Pl’),计算特征点Pl到曲线Cj上各点距离并记距离最小值为djl;计算Pl’到曲线Cj’上各点距离并记距离最小值为djl’;获得S(CPj)对应的最小距离集合S(d)={(djl,djl’),l=1,2,…,Nj};
步骤S7:根据匹配曲线对的差异度剔除错误曲线匹配,具体方式如下:
步骤S71:计算匹配曲线对的差异度,具体方式为,对于任一匹配曲线对(Cj,Cj’),根据步骤S6获得最小距离集合S(d)={(djl,djl’),l=1,2,…,Nj},分别计算G(Cj)、G(Cj’)中最小距离的平均值曲线Cj、Cj’的差异度定义为Dif(Cj,Cj’)=|dj-dj’|;
步骤S72:验证匹配曲线对的正确性并剔除错误曲线匹配,具体方式为,对于任一匹配曲线对(Cj,Cj’),给定阈值TC,TC一般取8~15,如果Dif(Cj,Cj’)<TC,则(Cj,Cj’)为正确匹配,否则将(Cj,Cj’)作为错误匹配剔除;
步骤S8:根据匹配点对的差异度剔除错误点匹配,具体方式如下
步骤S81:计算匹配点对的差异度,具体方式为,对于集合C中的任一匹配点对(Pi,Pi’),如果Pi∈G(Cj),计算点Pi到曲线Cj的最小距离并记为dij;计算点Pi’到曲线Cj’的最小距离并记为dij’,则匹配点对(Pi,Pi’)的差异度定义为:Dif(Pi,Pi’)=|dij-dij’|;
步骤S82:验证匹配点对的正确性并剔除错误点匹配,具体方式为,对于任一匹配点对(Pi,Pi’),定义阈值TP,TP一般取35~45,如果Dif(Pi,Pi’)<TP,则(Pi,Pi’)为正确匹配,否则将(Pi,Pi’)作为错误匹配剔除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810086579.6A CN108304870B (zh) | 2018-01-30 | 2018-01-30 | 点线特征融合的错误匹配剔除方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810086579.6A CN108304870B (zh) | 2018-01-30 | 2018-01-30 | 点线特征融合的错误匹配剔除方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108304870A CN108304870A (zh) | 2018-07-20 |
CN108304870B true CN108304870B (zh) | 2021-10-08 |
Family
ID=62866724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810086579.6A Expired - Fee Related CN108304870B (zh) | 2018-01-30 | 2018-01-30 | 点线特征融合的错误匹配剔除方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108304870B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101488223A (zh) * | 2008-01-16 | 2009-07-22 | 中国科学院自动化研究所 | 基于曲线均值标准差描述子的图像曲线特征匹配方法 |
CN102663441A (zh) * | 2012-03-05 | 2012-09-12 | 河南理工大学 | 基于点线关系一致性的错误匹配去除方法 |
CN106485264A (zh) * | 2016-09-20 | 2017-03-08 | 河南理工大学 | 基于梯度序划分及映射策略的曲线描述及匹配方法 |
CN106485737A (zh) * | 2015-08-25 | 2017-03-08 | 南京理工大学 | 基于线特征的点云数据与光学影像的自动配准融合方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7382897B2 (en) * | 2004-04-27 | 2008-06-03 | Microsoft Corporation | Multi-image feature matching using multi-scale oriented patches |
KR102170689B1 (ko) * | 2014-01-14 | 2020-10-27 | 한화테크윈 주식회사 | 영상 정합을 위한 특징점 샘플링 방법 |
-
2018
- 2018-01-30 CN CN201810086579.6A patent/CN108304870B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101488223A (zh) * | 2008-01-16 | 2009-07-22 | 中国科学院自动化研究所 | 基于曲线均值标准差描述子的图像曲线特征匹配方法 |
CN102663441A (zh) * | 2012-03-05 | 2012-09-12 | 河南理工大学 | 基于点线关系一致性的错误匹配去除方法 |
CN106485737A (zh) * | 2015-08-25 | 2017-03-08 | 南京理工大学 | 基于线特征的点云数据与光学影像的自动配准融合方法 |
CN106485264A (zh) * | 2016-09-20 | 2017-03-08 | 河南理工大学 | 基于梯度序划分及映射策略的曲线描述及匹配方法 |
Non-Patent Citations (5)
Title |
---|
Automatic Optical-to-SAR Image Registration by Iterative Line Extraction and Voronoi Integrated Spectral Point Matching;Haigang Sui;《IEEE Transactions on Geoscience and Remote Sensing 》;20150605;第53卷(第11期);全文 * |
ORB特征匹配的误匹配点剔除算法研究;邢凯盛等;《电子测量与仪器学报》;20160815(第08期);全文 * |
景像匹配误匹配点的剔除算法;黄锡山等;《中国图象图形学报》;20020825(第08期);全文 * |
线特征和SIFT点特征结合的异源图像匹配算法;张姣等;《激光与红外》;20130520(第05期);全文 * |
视觉导航特征点匹配及误匹配剔除算法;徐超等;《计算机仿真》;20100415(第04期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN108304870A (zh) | 2018-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11210797B2 (en) | Systems, methods, and devices for image matching and object recognition in images using textures | |
US9508151B2 (en) | Systems, methods, and devices for image matching and object recognition in images using image regions | |
CN110546651B (zh) | 用于识别对象的方法、***和计算机可读介质 | |
US9846948B2 (en) | Systems, methods, and devices for image matching and object recognition in images using feature point optimization | |
EP3742399A1 (en) | Systems and methods for image registration and camera calibration using learned error functions | |
Zhang et al. | Robust metric reconstruction from challenging video sequences | |
CN105069457B (zh) | 图像识别方法和装置 | |
Lepsøy et al. | Statistical modelling of outliers for fast visual search | |
JP2010514041A (ja) | 複数画像レジストレーション装置及び方法 | |
JP2011113197A (ja) | 画像検索方法およびシステム | |
CN108550166B (zh) | 一种空间目标图像匹配方法 | |
TWI789128B (zh) | 人臉識別方法、裝置、設備及存儲介質 | |
CN110111375B (zh) | 一种Delaunay三角网约束下的影像匹配粗差剔除方法及装置 | |
Li et al. | Multimodal image registration with line segments by selective search | |
JP2018142189A (ja) | プログラム、測距方法、及び測距装置 | |
CN105809678B (zh) | 一种短基线条件下两视图间线段特征全局匹配方法 | |
Mishkin et al. | Two-view matching with view synthesis revisited | |
CN109840529B (zh) | 一种基于局部敏感置信度评估的图像匹配方法 | |
CN112418250B (zh) | 一种复杂3d点云的优化匹配方法 | |
CN108304870B (zh) | 点线特征融合的错误匹配剔除方法 | |
Palraj et al. | Retinal fundus image registration via blood vessel extraction using binary particle swarm optimization | |
Tang et al. | A GMS-guided approach for 2D feature correspondence selection | |
Mentzer et al. | Self-calibration of wide baseline stereo camera systems for automotive applications | |
Shen et al. | A frame-based probabilistic local verification method for robust correspondence | |
Xu et al. | State measurement of isolating switch using cost fusion and smoothness prior based stereo matching |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211008 |