CN109446963A - 基于hsv和lbp结合的地表状态识别算法 - Google Patents
基于hsv和lbp结合的地表状态识别算法 Download PDFInfo
- Publication number
- CN109446963A CN109446963A CN201811223759.0A CN201811223759A CN109446963A CN 109446963 A CN109446963 A CN 109446963A CN 201811223759 A CN201811223759 A CN 201811223759A CN 109446963 A CN109446963 A CN 109446963A
- Authority
- CN
- China
- Prior art keywords
- image
- lbp
- earth
- hsv
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
基于HSV和LBP结合的地表状态识别算法,在利用遥感方法对地表信息进行反演时,不同地表状态所用的遥感探测方法会不同。因此,地表状态识别是进行地表遥感反演的前提,其识别的准确率也决定了遥感反演结果的准确度。本发明提供了一种结合HSV与LBP的地表状态识别方法,通过改进阈值的LBP算子和颜色直方图结合形成单一特征向量并建立判别条件,最后利用K邻近算法计算欧式距离对训练样本的特征向量与待识别图像进行相似度匹配,从而得到分类结果。本发明的方法识别精度高,不需要大量样本库,速度快,稳定性好,并解决了噪声干扰的问题。可以广泛应用于遥感与地理信息***等领域。
Description
技术领域
本发明涉及图像识别领域,在进行地表信息的遥感反演前,对地表状态提供了一种精确、高效的图像分类识别***机制。算法识别精度高,不需要大量数据库,复杂度低,速度快,稳定性好。
背景技术
遥感研究逐渐呈现多学科综合化的发展趋势。开展地表关键要素遥感定量反演与估算,并建立高精度的遥感定量反演产品,将为地球***过程的研究和应用提供更为精确可靠的卫星遥感观测数据。但在进行反演时,为实现数据信息的利用最大化,提高反演的精度,不同地表状态要采用不同的遥感探测方法。因此,地表状态识别是进行地表遥感反演的前提条件,其识别的准确率也决定了遥感反演结果的准确度。
地表状态识别算法主要分为两大部分,图像的特征提取和图像分类。由于地表状态这种自然图像比人脸等图像识别维度低,采用经典的K邻近算法作为分类器,既保证了识别的准确率,也减少了计算量。因此算法的关键在于地表状态的特征提取,虽然人类区分不同纹理的能力很明显,但自动描述这些特征并识别已经证明是相当复杂的。根据人们视觉感知,常用的反映图像底层特征有颜色、纹理、形状。纹理是一种反映图像中同质现象的基本视觉特征,能够有效描述视觉图像中结构,粒度,方向和规则性的区域差。提取图像纹理特征是获取地表状态信息的有效方法。多年来,除了通过图像统计模式、结构模式、光谱性质反映图像纹理的局部特征。基于信号处理的傅立叶变换、小波变换、Gabor变换等多种纹理特征提取算法被广泛应用到图像分析中。但是由于纹理微观异构的复杂性,纹理研究依然是图像识别领域的热点难点。有研究表明当纹理呈现某种结构时,并不严格地保持粒子的性质。结构方法试图用规则来描述纹理特征并不具有普适性。因而最早由Ojala等人在1996年提出的通过统计图像纹理特征的经典LBP算子被广泛应用。
LBP算子是由纹理灰度范围内局部邻域定义中衍生出的度量算子,展现图像区域内灰度值在空间排列的属性规律。计算方法简单,高效。2012年Zhu,CR在LBP基础上提出LMP(局部多值模式),将二进制模式扩展到多个模式,降噪性能更强,算法更健壮。近年来国内学者在传统的LBP算子上做了优化,刘松涛等人基于LBP提出方向LBP,自适应LBP以及方向自适应LBP提取多光谱图像纹理特征。张喆等人提出融合LBP与灰度共生矩阵(GLCM)统计纹理特征,应用于图像检索。郑淑丹等人结合分形理论和灰度共生矩阵等多种纹理特征提取算法应用于植物分类。黄菲菲等人结合小波和LBP算子应用于人脸识别领域,取得高达0.99的准确率。2017年松下电器(美国)知识产权公司的图像识别专利中,提供了一种使用了卷积神经网络图像识别器的计算机进行的图像识别的方法,能够分别正确地识别在图像中部分重叠的多个识别对象。另外深圳信炜科技有限公司的发明公开一种图像识别电子装置。
以上所述的多种纹理算法相继被应用在车标识别,医学影像处理等多个领域中。但是这些改进的算法在精确度提升的同时,复杂度也大大提高,制约实际应用,例如结合信号处理方法改进的LBP算法都不适用于处理地表状态等自然图像,首先是在计算量较大,改进算法稳定性也无法保证。另外关键原因是自然纹理可能并不会出现规则纹理,这些方法都无法统计没有周期性结构的自然纹理特征,因此往往实际应用中取得效果不佳。
Ojala.T等提出的局部二值模式(LBP)算法提取图像的纹理特征一直被广泛应用于各个领域。传统的LBP是通过设置图像3×3邻域的中心像素的灰度值作为阈值来创建的。首先我们要将图像转换为灰度图像。在3*3的领域内将相邻的8个像素的灰度值与中心像素灰度值进行比较,若周围的像素值大于中心像素值,则该像素点的位置被标记为1,否则为0。这样就得到二值图,然后按顺时针方向得到二进制串,将其作为阈值来反映局部区域的纹理信息。LBP值得计算过程如下式:
gc表示中心像素的灰度值,gi(0<=i<=7)代表3*3窗口内相邻像素灰度值。
经过LBP算子处理得到LBP图谱,然后通过统计所有中心像素的LBP值来创建LBP特征直方图描述图像的纹理信息。传统的LBP算子描述图像局部的纹理特征能力强,对光照变化不敏感,复杂度低,适用性广。
除了纹理特征,颜色也是基本的视觉特征之一,目前自然图像的识别分类多是通过转为灰度图像提取纹理信息进行,忽略了图像自身的颜色信息,而在某些情况下,颜色会明显增加判别信息。如2016年JDM Reyes,GG Badillo等人提出将机器人与颜色传感器相结合,设计和构造了一种能根据物体颜色识别和定位物体的三角机器人,用于检测水果和蔬菜。
颜色直方图是最常用的颜色特征提取方法,Swain和Ballard证明了颜色直方图在检索彩色图像时突出的适用性能。
颜色直方图是基于颜色空间和坐标系进行表达的,能够描述不同色彩在图像中所占的比例,算法计算复杂度低。图像采集设备最初采集到的颜色信息都是RGB值,RGB颜色空间在图像处理领域是较为常用的。但RGB空间不符合人对颜色的感知心里,首先不直观,很难从中判断三个值组合所表示的颜色。三个通道值对光照强度和颜色变化十分敏感,在不同条件下,RGB颜色空间性能不稳定,其次,RGB颜色空间是不均匀的颜色空间,两种颜色之间的知觉差异不能通过该颜色空间中两个颜色点之间的距离来表示。
HSV空间模型可以用一个倒置的圆锥体来表示。三分量分别代表色彩(Hue)、饱和度(Saturation)和值(Value)。长轴表示分量V(亮度值),离开长轴的距离表示分量S(饱和度),围绕长轴的角度表示分量H(色调)。如图1所示。在这个空间里,色调用来区分颜色,饱和度是白色加入纯色中的百分比,值指的是感光强度。选用HSV空间描述颜色特征,分离色度和强度信息,消除色差分量,从而可以获得一种强度不变度量色度的方法。HSV颜色空间具备以下两个特点①亮度值与图像的彩色信息无关;②色彩与饱和度两分量适合人的对彩色特性的感知。直观,易懂。
K近邻(KNN:k-Nearest Neighbor)算法是应用最广泛的分类聚类算法。它简单、快速、直接、有效。K近邻(KNN)最早是由Cover and Hart,1968年提出的。核心思想是通过计算训练样本与测试数据的空间距离,选取距离最近的K个训练样本为测试点的最近邻,K个最近邻居再进行投票分类。
发明内容
本发明为了解决目前对地表图像识别方法复杂、精确度不高、效率低以及传统算法对噪声敏感度高的问题,而提供基于HSV和LBP结合的地表状态识别算法。
本发明解决技术问题所采取的技术方案如下:
步骤一、建立野外拍摄的地表图像样本数据库;
步骤二、遍历样本数据库中图像的所有像素点,将每个点作为中心点,取x*x的邻域窗口,不断移动窗口,计算每个窗口内所有像素均值;
步骤三、将步骤二计算的像素均值与该窗口中心点像素值进行比较,大于或者等于中心像素标记为1,其余标记为0,得到二值化图像;
步骤四、将步骤二得到的二值图像与模板卷积,结果表征为该窗口的LBP值;
步骤五、重复步骤二到四,得到图像的LBP图谱,即可表示图像纹理特征;
步骤六、再次读入样本数据库图像,将RGB颜色模型转换到HSV颜色空间;
步骤七、把H,S,V三分量按照参数a,b,c进行非等间隔量化,构造颜色直方图,既可表示图像颜色特征;
步骤八、将步骤四提取的图像纹理特征和步骤七提取的图像颜色特征的值归一化,得到一维特征向量存储在样本数据库中;
步骤九、读入待识别的图像,重复步骤二至八,得到用于表示图像纹理和颜色的特征向量;
步骤十、将步骤九得到的特征向量输入KNN分类器,选用欧氏距离来衡量待识别图像与样本数据库图像的相似度;
步骤十一、输出识别分类结果,即完成所述的基于HSV和LBP结合的地表状态识别算法。
上述方案中步骤二到步骤九提取的图像特征由颜色和纹理组成,采用HSV+LBP同时提取图像特征,形成特征向量。
上述方案中选取x*x邻域窗口内y个像素点的平均值作为阈值来计算LBP值;计算公式如下:
gμ为x*x邻域窗口内的y个点像素的平均值,gc为中心像素的灰度值,gi为x*x窗口内相邻像素灰度值。
上述方案中将步骤八得到的特征向量输入KNN分类器,利用K邻近算法计算欧式距离对样本数据库的特征向量与待识别图像完成相似度匹配。
上述方案中步骤八一维特征向量是通过如下公式计算得到的:
G=HQsQv+SQv+V
其中G为一维特征向量,H为色彩,S为饱和度,V为亮度值,Qs和Qv是S和V的量化等级。
本发明的有益效果是:
在遥感反演前,准确识别地表状态对提高遥感反演的结果准确度起重要的作用。我们提供了一种基于HSV+LBP提取纹理和颜色特征的算法,通过改进传统LBP算子的阈值和邻域结合HSV量化颜色直方图的特征提取方法,利用K邻近(KNN)算法进行识别分类。该算法识别精度高,复杂度低,速度快,稳定性好,并解决了部分噪声的干扰。实现了对地表状态图像的准确识别,建立了简单、精确、高效的***识别机制。
本发明建立颜色直方图形成特征向量,并将RGB颜色模型转换为符合人视觉感知的HSV模型,联合纹理特征进行特征提取。与传统的单一提取纹理特征的图像识别方法相比,本发明在提取图像纹理特征的同时去除了图像噪声的影响,加入颜色特征。与深度学习方法相比,不需要大量的样本数据。本发明对于识别地表状态准确率高,复杂度低,运行速度快,适用性强。
附图说明
图1是HSV颜色空间图;
图2是传统的LBP算子计算示例;
图3是HSV颜色直方图算法流程图;
图4是基于HSV和改进的LBP结合的地表状态识别算法流程图;
图5是使用本发明方法对一幅图像进行识别的过程;其中,A是输入原图,B是输出的图像LBP特征,C是输出的图像HSV颜色特征,D是识别分类结果图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细说明。
如图4所示,本发明供一种准确,快速识别地表状态图像的方法。算法主体分为特征提取和识别分类两个部分。
特征提取用纹理特征和颜色特征共同组成。特征提取部分采用HSV+LBP提取图像特征。用改进阈值的LBP算子提取图像纹理信息,结合HSV量化直方图提取图像颜色信息,形成单一特征向量。识别分类部分利用K邻近算法计算欧式距离对训练样本的特征向量与待识别图像完成相似度匹配,输出识别分类结果。
所采用的改进LBP纹理提取算子为解决传统算法对噪声敏感度高的问题。尤其当图像中的噪声大量出现时,会导致提取纹理特征的误差极大,最后算法识别的准确率大大降低。对传统的LBP算子的阈值做出改进,扩大邻域,选取5*5领域内25个像素点的平均值作为阈值来计算LBP值,公式如下:
上式中,gμ为5*5邻域内的25个点像素的平均值,gc为中心像素的灰度值,经过改进的LBP算子使图像的抗噪性能增强,并且将邻域扩大,也会使不同结构具有相同LBP编码的概率也会降低。
建立的HSV量化颜色直方图提取图像的颜色特征,就是通过将图像中的颜色首先量化到HSV颜色空间的若干个小区间中,并计算颜色落在每个小区间内的像素量后得到的。按照人的视觉能力参照以往研究的经验,将H,S,V三个分量按照非等间隔量化为a,b,c。由于HSV颜色空间中每个分量的范围很大,直接建立颜色统计直方图维数很多,量化后降低了计算复杂度,减少计算机的运算量。通过构造颜色特征的累积直方图表示一维特征向量G。
G=HQsQv+SQv+V
Qs和Qv是S和V的量化等级。
实施例1:图5是使用本发明方法对一张草地图像进行识别的过程。图5中A是输入的原图,图5中B是输出的草地LBP特征,图5中C是输出的草地HSV颜色特征,图5中D是识别分类结果图。
对输入图像图5中A,首先进行特征提取,对象为图像中的所有点,以该点为中心,取5*5的邻域窗口,计算出窗口内所有像素均值,将计算的像素均值与中心点像素值比较,大于或者等于中心像素标记为1,其余标记为0,得到草地的二值化图像。与模板相乘,得到的整数就是表征该窗口的LBP值。重复该步骤即得到了图像纹理特征即LBP特征直方图如图5中B。再次读入图像,将RGB颜色模型转换到HSV颜色空间。把H,S,V三分量按照8,3,3进行非等间隔量化,构造颜色特征的累积直方图如图5中C。结合提取的草地纹理特征和颜色特征生成一维特征向量G。将G输入KNN分类器,计算欧氏距离与训练样本图像进行相似度匹配,即完成了特征分类过程,最后输出识别分类结果图5中D。
Claims (5)
1.基于HSV和LBP结合的地表状态识别算法包括以下步骤:
步骤一、建立野外拍摄的地表状态图像样本数据库;
步骤二、遍历样本数据库中图像的所有像素点,将每个点作为中心点,取x*x的邻域窗口,不断移动窗口,计算每个窗口内所有像素均值;
步骤三、将步骤二计算的像素均值与该窗口中心点像素值进行比较,大于或者等于中心像素标记为1,其余标记为0,得到二值化图像;
步骤四、将步骤二得到的二值图像与模板卷积,结果表征为该窗口的LBP值;
步骤五、重复步骤二到四,得到图像的LBP图谱,即可表示图像纹理特征;
步骤六、再次读入样本数据库图像,将RGB颜色模型转换到HSV颜色空间;
步骤七、把H,S,V三分量按照参数a,b,c进行非等间隔量化,构造颜色直方图,既可表示图像颜色特征;
步骤八、将步骤四提取的图像纹理特征和步骤七提取的图像颜色特征的值归一化,得到一维特征向量存储在样本数据库中;
步骤九、读入待识别的图像,重复步骤二至八,得到用于表示图像纹理和颜色的特征向量;
步骤十、将步骤九得到的特征向量输入KNN分类器,选用欧氏距离来衡量待识别图像与样本数据库图像的相似度;
步骤十一、输出识别分类结果,即完成所述的基于HSV和LBP结合的地表状态识别算法。
2.根据权利要求1所述的基于HSV和LBP结合的地表状态识别算法,其特征在于步骤二到步骤九提取的图像特征由颜色和纹理组成,采用HSV+LBP同时提取图像特征,形成特征向量。
3.根据权利要求2所述的基于HSV和LBP结合的地表状态识别算法,其特征在于选取x*x邻域窗口内y个像素点的平均值作为阈值来计算LBP值;计算公式如下:
gμ为x*x邻域窗口内的y个点像素的平均值,gc为中心像素的灰度值,gi为x*x窗口内相邻像素灰度值。
4.根据权利要求1所述的基于HSV和LBP结合的地表状态识别算法,其特征在于将步骤八得到的特征向量输入KNN分类器,利用K邻近算法计算欧式距离对样本数据库的特征向量与待识别图像完成相似度匹配。
5.根据权利要求1所述的基于HSV和LBP结合的地表状态识别算法,其特征在于步骤八一维特征向量是通过如下公式计算得到的:
G=HQsQv+SQv+V;
其中G为一维特征向量,H为色彩,S为饱和度,V为亮度值,Qs和Qv是S和V的量化等级。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811223759.0A CN109446963B (zh) | 2018-10-19 | 2018-10-19 | 基于hsv和lbp结合的地表状态识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811223759.0A CN109446963B (zh) | 2018-10-19 | 2018-10-19 | 基于hsv和lbp结合的地表状态识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109446963A true CN109446963A (zh) | 2019-03-08 |
CN109446963B CN109446963B (zh) | 2021-10-01 |
Family
ID=65547562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811223759.0A Active CN109446963B (zh) | 2018-10-19 | 2018-10-19 | 基于hsv和lbp结合的地表状态识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109446963B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111767943A (zh) * | 2020-05-20 | 2020-10-13 | 北京简巨科技有限公司 | 地膜识别方法、装置、电子设备及存储介质 |
CN112488050A (zh) * | 2020-12-16 | 2021-03-12 | 安徽大学 | 一种结合颜色与纹理的航拍影像场景分类方法和*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103208001A (zh) * | 2013-02-06 | 2013-07-17 | 华南师范大学 | 结合形状自适应邻域和纹理特征提取的遥感图像处理方法 |
US20150371095A1 (en) * | 2013-02-19 | 2015-12-24 | Conti Temic Microelectronic Gmbh | Method and Apparatus for Determining a Road Condition |
CN108280454A (zh) * | 2018-01-18 | 2018-07-13 | 天津市国瑞数码安全***股份有限公司 | 基于hsv与lbp特征相结合的敏感图像识别方法 |
-
2018
- 2018-10-19 CN CN201811223759.0A patent/CN109446963B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103208001A (zh) * | 2013-02-06 | 2013-07-17 | 华南师范大学 | 结合形状自适应邻域和纹理特征提取的遥感图像处理方法 |
US20150371095A1 (en) * | 2013-02-19 | 2015-12-24 | Conti Temic Microelectronic Gmbh | Method and Apparatus for Determining a Road Condition |
CN108280454A (zh) * | 2018-01-18 | 2018-07-13 | 天津市国瑞数码安全***股份有限公司 | 基于hsv与lbp特征相结合的敏感图像识别方法 |
Non-Patent Citations (3)
Title |
---|
PEIZHONG LIU;ET AL: "《Fusion of color histogram and LBP-based features for texture image retrieval and classification》", 《INFORMATION SCIENCES》 * |
傅重添: "《基于视觉的非结构化道路和地表识别方法研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
李东,等: "《一种基于HSV和LBP特征融合的眼疲劳诊断方法》", 《自动化仪表》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111767943A (zh) * | 2020-05-20 | 2020-10-13 | 北京简巨科技有限公司 | 地膜识别方法、装置、电子设备及存储介质 |
CN112488050A (zh) * | 2020-12-16 | 2021-03-12 | 安徽大学 | 一种结合颜色与纹理的航拍影像场景分类方法和*** |
Also Published As
Publication number | Publication date |
---|---|
CN109446963B (zh) | 2021-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ahmad | Deep image retrieval using artificial neural network interpolation and indexing based on similarity measurement | |
Sirmacek et al. | A probabilistic framework to detect buildings in aerial and satellite images | |
CN106295124B (zh) | 多种图像检测技术综合分析基因子图相似概率量的方法 | |
CN111125416A (zh) | 一种基于多特征融合的图像检索方法 | |
CN104778457B (zh) | 基于多示例学习的视频人脸识别方法 | |
Metre et al. | An overview of the research on texture based plant leaf classification | |
CN107316013A (zh) | 基于nsct变换和dcnn的高光谱图像分类方法 | |
CN104200240A (zh) | 一种基于内容自适应哈希编码的草图检索方法 | |
CN105740833A (zh) | 一种基于深度序列的人体行为识别方法 | |
Jia et al. | A multiscale superpixel-level group clustering framework for hyperspectral band selection | |
Casanova et al. | Texture analysis using fractal descriptors estimated by the mutual interference of color channels | |
CN107292346B (zh) | 一种基于局部子空间学习的mr图像海马体分割算法 | |
CN115131580B (zh) | 基于注意力机制的空间目标小样本识别方法 | |
CN111639697B (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
CN109446963A (zh) | 基于hsv和lbp结合的地表状态识别算法 | |
Li et al. | Texture analysis of remote sensing imagery with clustering and Bayesian inference | |
JP2009123234A (ja) | オブジェクト識別方法および装置ならびにプログラム | |
JP4285640B2 (ja) | オブジェクト識別方法および装置ならびにプログラム | |
CN105844299B (zh) | 一种基于词袋模型的图像分类方法 | |
CN106649611A (zh) | 一种基于邻域旋转直角模式的图像检索方法 | |
Nidheesh et al. | Classification of leaf using geometric features | |
Chester et al. | Machine learning for image classification and clustering using a universal distance measure | |
Cui et al. | Progress and survey of mobile image feature recognition | |
Dong et al. | Multiscale segmentation with vector-valued nonlinear diffusions on arbitrary graphs | |
Prakash et al. | Combining novel features for content based image retrieval |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |