CN115496699B - 启明星一号卫星高光谱图像融合方法及*** - Google Patents
启明星一号卫星高光谱图像融合方法及*** Download PDFInfo
- Publication number
- CN115496699B CN115496699B CN202211437434.9A CN202211437434A CN115496699B CN 115496699 B CN115496699 B CN 115496699B CN 202211437434 A CN202211437434 A CN 202211437434A CN 115496699 B CN115496699 B CN 115496699B
- Authority
- CN
- China
- Prior art keywords
- principal component
- image
- fusion
- total variation
- component image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims description 10
- 230000004927 fusion Effects 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000009466 transformation Effects 0.000 claims abstract description 14
- 238000007499 fusion processing Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 24
- 238000000513 principal component analysis Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000001276 controlling effect Effects 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000002939 conjugate gradient method Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000258957 Asteroidea Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/58—Extraction of image or video features relating to hyperspectral data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Processing (AREA)
Abstract
公开了一种启明星一号卫星高光谱图像融合方法及***,包括:对源数据做主成分变换,得到第一主成分图像和第二主成分图像;利用全变分融合模型对第一主成分图像和第二主成分图像进行融合,其中全变分融合模型的目标函数在保真项和正则项中选择L1范数进行约束,以第二主成分为基底,不同程度地加入第一主成分的边缘信息,权重因子用来控制加入的第一主成分信息的比例,在图像融合过程中,将目标函数转化为一个标准的全变分最小化问题,使用迭代重加权范数方法进行求解目标函数,进而求得最终融合图像。本发明解决了图像融合的定权问题和增强对于不同场景的适用性。
Description
技术领域
本发明涉及一种基于优化的图像融合方法,尤其涉及一种基于主成分分析和全变分的启明星一号卫星高光谱数据融合方法,属于卫星图像处理、计算机视觉领域。
背景技术
由于硬件设备或者成像的限制,由单一类型的传感器得到的图像往往只能捕捉场景的部分信息,难以对场景进行全面表征。图像融合的目标是有效提取源图像中互补的特征信息,生成单幅信息更丰富、场景表达能力更好的融合图像,以便后续高阶任务处理,如场景理解、目标检测等。
图像融合模型通过对图像对进行特征提取并设计特定的融合规则实现像素级融合。结合多源传感器成像特点针对性地提取图像特征,并设计合理的融合规则是图像融合的难点。基于优化的融合方法则不需要设计复杂的融合规则,只需根据融合目的设计目标函数,丰富的求解方法为基于优化的融合思路提供了实现途径。基于优化的融合思路快速发展并逐渐形成体系。其中,基于全变分的优化模型以其优异的边缘保持能力在红外-可见光图像融合领域已经得到了广泛的应用。但此类方法存在以下不足:(1)关于全变分模型的保真项中源图像对的权重确定普遍依靠实验经验所得,不同场景需要手动调整。(2)对于信息分布不同的源图像对,模型的局限性较为明显。
发明内容
本发明基于主成分变换的参数唯一性和信息再分配能力,提出一种基于主成分分析和全变分的图像融合方法,旨在解决图像融合的定权问题和增强对于不同场景的适用性。
第一方面,提供一种基于主成分分析和全变分的启明星一号高光谱图像融合方法,包括:对源数据做主成分变换,得到第一主成分图像和第二主成分图像;利用全变分融合模型对第一主成分图像和第二主成分图像进行融合,其中全变分融合模型的目标函数在保真项和正则项中选择L1范数进行约束,以第二主成分为基底,不同程度地加入第一主成分的边缘信息,权重因子用来控制加入的第二主成分信息的比例,在图像融合过程中,将目标函数转化为一个标准的全变分最小化问题,使用迭代重加权范数方法进行求解目标函数,进而求得最终融合图像。本发明基于主成分变换的参数唯一性和信息再分配能力,提出一种基于主成分分析和全变分的图像融合方法,旨在解决图像融合的定权问题和增强对于不同场景的适用性。
第二方面,提供一种基于主成分分析和全变分的启明星一号高光谱图像融合***,包括:主成分分析模块,其被配置为对源数据做主成分变换,得到第一主成分图像和第二主成分图像;融合模块,其被配置为利用全变分融合模型对第一主成分图像和第二主成分图像进行融合,其中全变分融合模型的目标函数在保真项和正则项中选择L1范数进行约束,以第二主成分为基底,不同程度地加入第一主成分的边缘信息,权重因子用来控制加入的第二主成分信息的比例,在图像融合过程中,将目标函数转化为一个标准的全变分最小化问题,使用迭代重加权范数方法进行求解目标函数,进而求得最终融合图像。
第三方面,提供一种计算机,包括:处理器;存储器,包括一个或多个计算机程序模块;其中,所述一个或多个计算机程序模块被存储在所述存储器中并被配置为由所述处理器执行,所述一个或多个计算机程序模块包括用于实现所述的基于主成分分析和全变分的启明星一号高光谱图像融合方法的指令。
第四方面,提供一种计算机可读存储介质,用于存储非暂时性计算机可读指令,其特征在于,当所述非暂时性计算机可读指令由计算机执行时能够实现所述的基于主成分分析和全变分的启明星一号高光谱图像融合方法。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例的附图作简单地介绍。
图1为本发明一实施例提供基于主成分分析和全变分的启明星一号高光谱图像融合方法流程图。
具体实施方式
启明星能够获取32谱段高光谱图像,能够捕获地物精细的光谱信息,光谱范围大,波段信息丰富,充分利用各波段信息是一个重要问题。高光谱数据融合能够将多幅影像的信息集中到一幅信息更丰富、更准确的图像,利于后续目视解译,地物分类等任务。
在一实施例中,提供一种基于主成分分析和全变分的启明星一号高光谱图像融合方法,用于启明星一号高光谱数据融合,旨在充分利用源数据的反射信息和热辐射信息,生成一幅目标更显著、信息更丰富且准确的图像,以便于视觉感知和后续高阶视觉任务。同时本发明基于主成分对于数据的降维作用,将基于全变分的图像融合方法引入到启明星一号高光谱数据融合任务,从而提高影像信息提取、分析的能力。下面结合图1对基于主成分分析和全变分的启明星一号高光谱图像融合方法进行详细说明。
步骤1,对源数据做主成分变换,得到第一主成分图像和第二主成分图像。
步骤1.2,使用奇异值分解算法对新数据矩阵进行奇异值分解,得到主成分变换
矩阵。对数据矩阵做主成分变换,得到第一主成分图像和第二主成分图像。对原始数据矩
阵中心化,构造新的矩阵,,的每一列的均值为零,N为矩阵元素个
数。对进行截断奇异值分解,得到,有k个奇异值、奇异向量。矩阵V的前k列
构成k个样本主成分。求主成分矩阵。
步骤2,构建主成分图像的L1范数全变分融合模型。本发明的L1范数全变分模型的目标函数为(1)式
步骤2.1,保真项及正则项的构建。
由主成分变换前后的图像分析可知,第二主成分集中了原始图像对的低频信息,
第一主成分包含更丰富的边缘信息和细节信息。因此,本发明以为基底,不同程度地加
入的边缘信息,权重因子用来控制加入的信息的比例。是一个经验值,通过实际数
据处理结果来确定。当权重因子取值从0开始不断增大,融合的表现会从接近第二主成分到
一主成分图像过渡,当权重因子小时,融合图像的特征和表现更接近第二主成分,当权重因
子很大时,融合图像的特征和表现更接近第一主成分。
步骤2.2,目标函数中范数的选择。
本发明的目标是希望融合图像尽可能保持和第二主成分相同的灰度分布,因此的大多数值应为0,少数值由于加入第一主成分梯度的原因保持非0值,因此选择L0
范数或者L1范数,因L1范数容易求解,本发明在保真项中选择L1范数进行约束。梯度的L1范
数为全变分,具有强有力的保持边缘的能力,因此正则项选择L1范数进行约束。
步骤3,求解优化模型。
步骤3.1,作变量替换,将目标函数转化为一个标准的全变分最小化问题。
步骤3.2,使用迭代重加权范数方法进行求解。
步骤3.3,根据变量替换公式,求得最终融合图像;
步骤4.1,计算融合图像的熵、互信息、特征互信息、结构相似性指数测量四个客观评价指标;
(A)熵
熵是基于信息理论测量融合图像中包含信息量的指标。计算方式如下
(B)互信息
互信息测量了从源数据转移到融合图像中的信息量。互信息是信息理论的基本概念。计算如下
(C)特征互信息
特征互信息反映了从源数据转移到融合图像中的边缘、细节、对比度的特征。计算如下
(D)结构相似性指数测量
结构相似性指数测量这个评价指标能够反映亮度、对比度和结构信息。
对结构损失和失真敏感度较高。
步骤 4.2,对融合图像进行视觉效果评价;从色调、纹理、对比度、显著性等方面进行融合效果评价。
步骤 4.3,计算该融合方法优化的时间以及迭代次数;
由于优化方法的计算时间与的大小正相关,并且本发明使用IRN方法进行优化,
每次迭代使用预处理共轭梯度法(PCG)更新参数,因此统计PCG迭代的总次数也是有意义
的。同时考虑融合效果对优化时间评价作指导。
在一些实施例中,还提供一种基于主成分分析和全变分的启明星一号高光谱图像融合***,包括主成分分析模块、融合模块。
主成分分析模块被配置为对源数据做主成分变换,得到第一主成分图像和第二主成分图像。融合模块被配置为利用全变分融合模型对第一主成分图像和第二主成分图像进行融合,其中全变分融合模型的目标函数在保真项和正则项中选择L1范数进行约束,以第二主成分为基底,不同程度地加入第一主成分的边缘信息,权重因子用来控制加入的第二主成分信息的比例,在图像融合过程中,将目标函数转化为一个标准的全变分最小化问题,使用迭代重加权范数方法进行求解目标函数,求得最终融合图像。
主成分分析模块的具体实现过程参考上文步骤1。主成分分析模块具体实现过程参考上文步骤2、3。
在一些实施例中,还提供一种计算机。该计算机包括处理器和存储器。存储器用于存储非暂时性计算机可读指令(例如一个或多个计算机程序模块)。处理器用于运行非暂时性计算机可读指令,非暂时性计算机可读指令被处理器运行时可以执行上文所述的基于主成分分析和全变分的启明星一号高光谱图像融合方法中的一个或多个步骤。存储器和处理器可以通过总线***和/或其它形式的连接机构互连。
例如,处理器可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或程序执行能力的其它形式的处理单元。例如,中央处理单元(CPU)可以为X86或ARM架构等。处理器可以为通用处理器或专用处理器,可以控制计算机中的其它组件以执行期望的功能。
例如,存储器可以包括一个或多个计算机程序产品的任意组合,计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、紧凑型光盘只读储存器(CD-ROM)、USB存储器、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序模块,处理器可以运行一个或多个计算机程序模块,以实现计算机的各种功能。
在一些实施例中,还提供一种计算机可读存储介质,该计算机可读存储介质用于存储非暂时性计算机可读指令,当非暂时性计算机可读指令由计算机执行时可以实现上述的基于主成分分析和全变分的启明星一号高光谱图像融合方法中的一个或多个步骤。也就是本申请实施例提供的基于主成分分析和全变分的启明星一号高光谱图像融合方法以软件的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。关于存储介质的相关说明可以参考上文计算机中的存储器的相应描述,此处不再赘述。
Claims (6)
1.一种基于主成分分析和全变分的启明星一号高光谱图像融合方法,其特征在于,包括:
对源数据做主成分变换,得到第一主成分图像和第二主成分图像;
利用全变分融合模型对第一主成分图像和第二主成分图像进行融合,其中全变分融合模型的目标函数在保真项和正则项中选择L1范数进行约束,以第二主成分为基底,不同程度地加入第一主成分的边缘信息,权重因子用来控制加入的第二主成分信息的比例,在图像融合过程中,将目标函数转化为一个标准的全变分最小化问题,使用迭代重加权范数方法进行求解目标函数,进而求得最终融合图像。
2.根据权利要求1所述的方法,其特征在于,对源数据做主成分变换得到第一主成分图像和第二主成分图像的方法为:将原始各波段数据变为列向量,各图像按列依次排列组成一个新的数据矩阵;使用奇异值分解算法对新数据矩阵进行奇异值分解,得到第一主成分图像和第二主成分图像。
3.一种基于主成分分析和全变分的启明星一号高光谱图像融合***,其特征在于,包括:
主成分分析模块,其被配置为对源数据做主成分变换,得到第一主成分图像和第二主成分图像;
融合模块,其被配置为利用全变分融合模型对第一主成分图像和第二主成分图像进行融合,其中全变分融合模型的目标函数在保真项和正则项中选择L1范数进行约束,以第二主成分为基底,不同程度地加入第一主成分的边缘信息,权重因子用来控制加入的第二主成分信息的比例,在图像融合过程中,将目标函数转化为一个标准的全变分最小化问题,使用迭代重加权范数方法进行求解目标函数,进而求得最终融合图像。
4.根据权利要求3所述的***,其特征在于,对源数据做主成分变换得到第一主成分图像和第二主成分图像的方法为:将原始各波段数据变为列向量,各图像按列依次排列组成一个新的数据矩阵;使用奇异值分解算法对新的数据矩阵进行奇异值分解,得到第一主成分图像和第二主成分图像。
5.一种计算机,其特征在于,包括:
处理器;
存储器,包括一个或多个计算机程序模块;
其中,所述一个或多个计算机程序模块被存储在所述存储器中并被配置为由所述处理器执行,所述一个或多个计算机程序模块包括用于实现权利要求1-2任一项所述的基于主成分分析和全变分的启明星一号高光谱图像融合方法的指令。
6.一种计算机可读存储介质,用于存储非暂时性计算机可读指令,其特征在于,当所述非暂时性计算机可读指令由计算机执行时能够实现权利要求1-2任一项所述的基于主成分分析和全变分的启明星一号高光谱图像融合方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211437434.9A CN115496699B (zh) | 2022-11-16 | 2022-11-16 | 启明星一号卫星高光谱图像融合方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211437434.9A CN115496699B (zh) | 2022-11-16 | 2022-11-16 | 启明星一号卫星高光谱图像融合方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115496699A CN115496699A (zh) | 2022-12-20 |
CN115496699B true CN115496699B (zh) | 2023-02-03 |
Family
ID=85105964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211437434.9A Active CN115496699B (zh) | 2022-11-16 | 2022-11-16 | 启明星一号卫星高光谱图像融合方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115496699B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109255773A (zh) * | 2018-09-13 | 2019-01-22 | 武汉大学 | 基于全变分的异分辨率红外与可见光图像融合方法及*** |
CN111223049A (zh) * | 2020-01-07 | 2020-06-02 | 武汉大学 | 一种基于结构-纹理分解的遥感图像变分融合方法 |
CN113569905A (zh) * | 2021-06-10 | 2021-10-29 | 西安电子科技大学 | 基于多尺度特征提取和全变分的异源图像融合方法 |
CN114120176A (zh) * | 2021-11-11 | 2022-03-01 | 广州市高科通信技术股份有限公司 | 远红外与可见光视频图像融合的行为分析方法 |
CN115082337A (zh) * | 2022-06-15 | 2022-09-20 | 吉林大学 | 一种基于双重全变分的高光谱混合噪声去除方法 |
-
2022
- 2022-11-16 CN CN202211437434.9A patent/CN115496699B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109255773A (zh) * | 2018-09-13 | 2019-01-22 | 武汉大学 | 基于全变分的异分辨率红外与可见光图像融合方法及*** |
CN111223049A (zh) * | 2020-01-07 | 2020-06-02 | 武汉大学 | 一种基于结构-纹理分解的遥感图像变分融合方法 |
CN113569905A (zh) * | 2021-06-10 | 2021-10-29 | 西安电子科技大学 | 基于多尺度特征提取和全变分的异源图像融合方法 |
CN114120176A (zh) * | 2021-11-11 | 2022-03-01 | 广州市高科通信技术股份有限公司 | 远红外与可见光视频图像融合的行为分析方法 |
CN115082337A (zh) * | 2022-06-15 | 2022-09-20 | 吉林大学 | 一种基于双重全变分的高光谱混合噪声去除方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115496699A (zh) | 2022-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Nazki et al. | Unsupervised image translation using adversarial networks for improved plant disease recognition | |
CN110363215B (zh) | 基于生成式对抗网络的sar图像转化为光学图像的方法 | |
CN110428387B (zh) | 基于深度学习与矩阵分解的高光谱与全色图像融合方法 | |
CN111259898A (zh) | 基于无人机航拍图像的农作物分割方法 | |
CN107507135B (zh) | 基于编码光圈和靶标的图像重构方法 | |
CN113744136A (zh) | 基于通道约束多特征融合的图像超分辨率重建方法和*** | |
CN112884668A (zh) | 基于多尺度的轻量级低光图像增强方法 | |
CN113095409A (zh) | 基于注意力机制和权值共享的高光谱图像分类方法 | |
Xin et al. | Image recognition of crop diseases and insect pests based on deep learning | |
Chen et al. | Hyperspectral image denoising with weighted nonlocal low-rank model and adaptive total variation regularization | |
CN115439654B (zh) | 动态约束下的弱监督农田地块精细化分割方法及*** | |
CN113256733B (zh) | 基于置信度投票卷积神经网络的相机光谱灵敏度重建方法 | |
CN116739899A (zh) | 基于saugan网络的图像超分辨率重建方法 | |
Chen et al. | Scene segmentation of remotely sensed images with data augmentation using U-net++ | |
CN111626224A (zh) | 基于近红外光谱和ssa优化的elm的煤矸石快速识别方法 | |
Yin et al. | Fmsnet: Underwater image restoration by learning from a synthesized dataset | |
Lu et al. | A novel infrared and visible image fusion method based on multi-level saliency integration | |
Wang et al. | Adaptive feature fusion network based on boosted attention mechanism for single image dehazing | |
CN115496699B (zh) | 启明星一号卫星高光谱图像融合方法及*** | |
Liu et al. | DS-MENet for the classification of citrus disease | |
Wang et al. | Metalantis: A Comprehensive Underwater Image Enhancement Framework | |
CN117197627B (zh) | 一种基于高阶退化模型的多模态图像融合方法 | |
CN116879192B (zh) | 基于卫星遥感数据的水华预测方法、装置、设备及介质 | |
CN109948462A (zh) | 基于多gpu协同交互数据流组织的高光谱图像快速分类法 | |
Zhou et al. | RDFNet: regional dynamic FISTA-Net for spectral snapshot compressive imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |