CN102800054A - 基于稀疏性度量的图像盲去模糊方法 - Google Patents

基于稀疏性度量的图像盲去模糊方法 Download PDF

Info

Publication number
CN102800054A
CN102800054A CN2012102183065A CN201210218306A CN102800054A CN 102800054 A CN102800054 A CN 102800054A CN 2012102183065 A CN2012102183065 A CN 2012102183065A CN 201210218306 A CN201210218306 A CN 201210218306A CN 102800054 A CN102800054 A CN 102800054A
Authority
CN
China
Prior art keywords
image
deblurring
fuzzy core
fuzzy
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012102183065A
Other languages
English (en)
Other versions
CN102800054B (zh
Inventor
王爽
焦李成
李源
梁冲
季佩媛
王敏
郑喆坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201210218306.5A priority Critical patent/CN102800054B/zh
Publication of CN102800054A publication Critical patent/CN102800054A/zh
Application granted granted Critical
Publication of CN102800054B publication Critical patent/CN102800054B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种基于稀疏性度量的图像盲去模糊的方法,主要解决现有技术在图像盲去模糊时,对噪声敏感且存在严重的振铃效应的问题。其实现过程为:(1)用现有的方法,获得两种不同的模糊核kf和ks;(2)线性组合这两种不同的模糊核得到一个模糊字典kd={k1,k2....k10};(3)在模糊图像上选取一个有明显边缘的图像块P,用模糊字典kd对图像块P用Lucy-Richardson方法进行预处理,得到预处理的图像块C1,C2,C3...C10;(4)对预处理的图像块C1,C2,C3...C10进行稀疏性测量得到稀疏度S1,S2,S3...S10,并找到最大的稀疏度Smax所对应的图像块Cmax;取出图像块Cmax所对应的模糊元素kmax;(5)利用模糊元素kmax,运用L0-abs算法对模糊图像进行去模糊。本发明在对图像盲去模糊时,能够有效的去除模糊和噪声,尽可能的减少振铃效应,可用于各种模糊图像进行盲去模糊。

Description

基于稀疏性度量的图像盲去模糊方法
技术领域
本发明属于图像处理技术领域,具体地说是一种对模糊图像进行盲去模糊方法,该方法可用于对各种未知模糊类型的模糊图像进行去模糊。
背景技术
图像去模糊是图像处理学中的重要领域,其目的就是要尽可能恢复退化后的模糊图像的本来面目。图像去模糊分为两大类型:图像非盲去模糊和图像盲去模糊。图像非盲去模糊是指在已知退化的模糊核条件下求清晰图像的过程,这类问题已经研究的非常纯熟,现有很多技术可以得到非常清晰的解。图像盲去模糊是指在不知道模糊核的情况下,从退化图像中估计出原始图像的过程。由于可以利用的经验知识比较少,图像盲去模糊非常困难,但是此类问题更符合实际需求,因而图像盲去模糊问题成为现代研究的热点。
图像盲去模糊的方法按传统上分为参数法和迭代法两大类,所谓参数法,即模型参数法,就是将模糊核和真实图像用数学模型加以描述,模型的参数需要进行辨识。在参数法中,典型的有先验模糊辨识法和ARMA参数估计法。它们的缺点是计算量太大,解不唯一,以及估计算法往往不稳定、效果差。所谓的迭代法,是利用真实图像和模糊核的先验约束,通过算法的迭代过程,来辨识真实图像和模糊核的方法。迭代法是图像盲去模糊算法中应用最广泛的一类算法。盲去模糊迭代法的经典方法为IBD算法。IBD算法的缺点是对初始值敏感,有时不能收敛甚至不能得到良好的解。
上述传统的盲去模糊方法不但效果差而且在实际应用中不能很好的实现,因此,目前国际上提出了一些改进上述缺点的经典图像盲去模糊方法。首先,I.Rob Fergus等人提出基于图像梯度分布的贝叶斯方法,参见文章《Removing Camera shake from aSingle Photograph》,2006,ACM Transactions on Graphics,vol.25,pp.787-794。这种方法分析了图像的梯度分布,用曲线对梯度分布进行拟合,先求出模糊核,再用经典的Lucy-Richardson迭代法进行图像的非盲去模糊。这是一种有效的去模糊方法。但是,这种方法解出的模糊核不够精确,代价方程的求解方法也不够先进,因此会产生振铃效应,对噪声也十分敏感。同时,Dilip Krishman等人运用模糊核和图像的先验特性,通过迭代求解的方式进行去模糊,参见文章《Blind Deconvolution Using a NormalizedSparsity Measure》,In Proceedings of the 2011 IEEE Conference on Computer Vision andPattern Recognition(CVPR’2011),2011,pp.233–240。该方法虽能较好的恢复图像。但是,这种方法的解不够稳定,对不同模糊图像求解的效果差异很大,此外,这种方法仍然会产生一定的振铃效应,并且也对噪声十分敏感。
发明内容
本发明的目的在于克服上述已有技术的不足,提出基于稀疏度测量的图像盲去模糊方法,以更好的去除振铃效应,消除对噪声的敏感性。
实现本发明目的的技术思路是:利用上述两种经典的盲去模糊方法,求出的两个基本模糊核,然后进行线性组合加权,得到模糊核字典,通过引入稀疏度度量,找到更精确的模糊核,再以L0-abs作为主要非盲去模糊的求解方法,进行图像去模糊。其主要步骤包括:
(1)利用基于图像梯度分布法和基于先验特性法,分别得到2个基本的初始模糊核kf和ks
(2)利用基本初始模糊核kf和ks,构建模糊核字典kd
2a)初始化模糊核kf的线性加权系数α=0,模糊核ks的线性加权系数β=1,设置迭代索引的初始值i=1;
2b)按下面公式形成模糊核字典kd中的元素ki
                  ki=α×kf+β×ks
其中,i∈1,2,...10,代表模糊核字典kd中的十个元素的索引;
2c)改变索引:i=i+1,并且改变线性加权系数的值:α=α+0.1,β=β-0.1;
2d)判断是否α=1或者β=0,如果是,则输出模糊核字典kd={k1,k2....k10};否则,返回步骤2b);
(3)从原始模糊图像y中选取大小为40×40,且带有图像边缘的图像块P,分别用模糊核字典kd={k1,k2...k10}中的每个元素k1,k2...k10分别对图像边缘的图像块P采用Lucy-Richardson方法进行预处理,得到对应的十个预处理后的图像块C1,C2,C3...C10
(4)计算预处理后的每个图像块Ci的稀疏度:
4a)运用matlab中的reshape函数,把图像块Ci拉成一列,得到向量
Figure BDA00001824467500031
4b)把向量
Figure BDA00001824467500032
中的元素mk,k={1,2,3...N}从小到大的排列,得到 C → i = [ m 1 , m 2 , m 3 . . . m N ] ;
4c)通过下面的公式计算出图像块的稀疏度:
S i = 1 - 2 Σ k = 1 N m k | | C → i | | ( N - k + 1 2 N ) ,
其中,N是向量
Figure BDA00001824467500035
中的元素的总个数,k是进行和运算的索引号,||·||是取向量的模值;
(5)在十个预处理图像块C1,C2,C3...C10对应的十个稀疏度S1,S2,S3...S10中,找到最大的稀疏度Smax所对应的图像块Cmax;再取出该图像块Cmax所对应的模糊核字典中的元素kmax
(6)把kmax作为最终模糊核,用非盲去模糊的算法L0-abs对原始模糊图像进行去模糊,得到最终结果F。
本发明由于通过线性加权的方法组合成了模糊核字典,引入了稀疏度测量,得到了更加精确的模糊核,与这现有的盲去模糊的方法相比,图像更稳定,视觉更好。
仿真结果表明,本发明与现有的图像盲去模糊方法相比,更能够抑制图像的振铃效应,而且更能有效的去除噪声。
附图说明
图1是本发明的流程图;
图2是本发明和现有方法仿真应用的Lena清晰图像;
图3是本发明和现有方法仿真应用的Lena模糊图像;
图4是本发明对图3的去模糊结果图;
图5是现有基于图像梯度分布的方法对图3的去模糊结果图;
图6是现有基于先验特性的方法对图3的去模糊结果图;
图7是本发明模拟模糊图像时用到的第一种模糊核;
图8是本发明模拟模糊图像时用到的第二种模糊核。
具体实施方式
参照图1,本发明的具体实现步骤如下:
步骤1,利用基于图像梯度分布的方法和基于先验特性的方法,获得两个基本模糊核kf和ks,作为初始模糊核。
基于图像梯度分布的方法参见Rob Fergus等人发表的《Removing Camera shakefrom a Single Photograph》,2006,ACM Transactions on Graphics,vol.25,pp.787–794。
基于图像先验特性的方法参见Dilip Krishman等人发表的《Blind DeconvolutionUsing a Normalized Sparsity Measure》,In Proceedings of the 2011 IEEE Conference onComputer Vision and Pattern Recognition(CVPR’2011),2011,pp.233–240。
步骤2,利用基本初始模糊核kf和ks,构建模糊核字典kd
2a)初始化模糊核kf的线性加权系数α=0,模糊核ks的线性加权系数β=1,设置迭代索引的初始值i=1;
2b)按下面公式形成模糊核字典kd中的元素ki
                   ki=α×kf+β×ks
其中,i∈1,2,...10,代表模糊核字典kd中的十个元素的索引;
2c)改变索引:i=i+1,并且改变线性加权系数的值:α=α+0.1,β=β-0.1;
2d)判断是否α=1或者β=0,如果是,则输出模糊核字典kd={k1,k2....k10};否则,返回步骤2b)。
步骤3,从原始模糊图像y中选取大小为40×40,且带有图像边缘的图像块P;然后利用matlab软件中的deconvlucy函数对图像块P进行预处理:
                   Ci=deconvlucy(P,ki),i=1,2,3...10,
其中,ki,i=1,2,3...10是模糊核字典kd={k1,k2....k10}中的十个模糊元素;经过上述预处理,即得到十个预处理的图像块C1,C2,C3...C10
步骤4,对预处理后的每个图像块Ci,i∈1,2,3...10按如下步骤进行稀疏度度量:
首先,把图像块Ci拉成一列,得到向量
Figure BDA00001824467500051
其次,把向量
Figure BDA00001824467500052
中的元素mk,k={1,2,3...N}从小到大的排列,得到 C → i = [ m 1 , m 2 , m 3 . . . m N ] ;
最后,通过下面的公式计算出图像块的稀疏度:
S i = 1 - 2 Σ k = 1 N m k | | C → i | | ( N - k + 1 2 N ) ,
其中,N是向量中的元素的总个数,k是进行和运算的索引号,||·||是取向量的模值。
步骤5,在十个预处理图像块C1,C2,C3...C10对应的十个稀疏度S1,S2,S3...S10中,找到最大的稀疏度Smax所对应的图像块Cmax;再取出该图像块Cmax所对应的模糊核字典中的元素kmax;把kmax作为整幅图像的最终模糊核,利用matlab软件中的L0工具箱里的L0-abs函数得到最终去模糊结果F:
                F=L0-abs(y,kmax,sigma,rep,Niter),
上述公式中的y代表原始的模糊图像,kmax为最终模糊核,sigma是控制图像平滑度的因子,对于无噪的图像的去模糊sigma取值为3,对于加噪的图像去模糊的sigma取值为5,rep是稀疏表示类型,其数值为3,Niter是迭代次数,其数值为50,F就是最终的盲去模糊的结果。
本发明的效果可以通过以下实验具体说明:
1.实验条件:实验所用微机的CPU为Intel Core2 Duo 2.33GHz,内存为2GB,编程平台为Matlab R2009a。实验所用到的图像来源于标准图像库,分别为Cameraman,Peppers,Lena大小均为256×256。
2.实验内容
本实验具体分为三个子实验:
实验一:对Cameraman图像,实验参数设置为:模拟模糊核为自然模糊核,大小为25×25,如图7所示;噪声为高斯白噪声,标准差σ=3,用本发明和现有的基于图像梯度分布的方法和基于先验特性的方法对模糊图像Cameraman分别进行去模糊,得到的恢复结果的评价指标见表一。
实验二:对Pepper图像,设置实验参数为:模拟模糊核为自然模糊核,大小为27×27,如图8所示;噪声为高斯白噪声,标准差σ=3,用本发明和现有的基于图像梯度分布的方法和基于先验特性的方法对模糊图像Pepper分别进行去模糊,得到的恢复结果的评价指标见表一。
实验三:对图3所示Lena图像,设置实验参数为:模拟模糊核为角度为60度,位移为10的运动模糊滤波器;噪声为高斯白噪声,标准差σ=3,用本发明和现有的基于图像梯度分布的方法和基于先验特性的方法分别进行盲去模糊仿真,结果如图4-图6,其中用本发明得到的Lena去模糊结果如图4,用现有的基于图像梯度分布的方法得到的Lena去模糊结果如图5;用现有的基于先验特性的方法得到的Lena去模糊结果如图6;
从图4可见,本发明得到的Lena去模糊结果不但有效地去除了模糊,使图像清晰无失真,且减少了振铃效应,同时,还有效的去除了噪声,更接近如图2所示的原始图像;
从图5可见,基于图像梯度分布的方法得到的去模糊结果中残留了许多噪声,并且产生了振铃效应,与图2所示的原始图像相差很多;
从图6可见,基于先验特性的方法能够虽然能够有效的恢复图像的边缘信息,但是图像产生了失真,同时此方法得到的去模糊图像也残留的较多的噪声,与图2所示的原始图像相差很多。
用本发明和现有的基于图像梯度分布的方法和基于先验特性的方法对图3所示的Lena模糊图像进行盲去模糊仿真得到的评价指标见表1。
实验中,应用峰值信噪比PSNR评价指标来评价去模糊结果的优劣:
PSNR = 10 log 10 ( 255 2 × M × N Σ | | x - f | | 2 ) ,
其中,f为清晰图像,x为去模糊后的图像,M和N为清晰图像f的像素行数和像素列数。
表1.本发明和对比方法在不同实验设置下得到的PSNR值
Figure BDA00001824467500071
表1中Alg1是本发明的方法,Alg2是现有的基于图像梯度分布的方法,Alg3是现有的基于先验特性的方法;从表1中可以看出,本发明比其它两种对比方法具有更高的PSNR值,有更好的去模糊性能。

Claims (3)

1.一种基于稀疏度测量的图像盲去模糊方法,包括如下步骤:
(1)利用基于图像梯度分布法和基于先验特性法,分别得到2个基本的初始模糊核kf和ks
(2)利用基本初始模糊核kf和ks,构建模糊核字典kd
2a)初始化模糊核kf的线性加权系数α=0,模糊核ks的线性加权系数β=1,设置迭代索引的初始值i=1;
2b)按下面公式形成模糊核字典kd中的元素ki
ki=α×kf+β×ks
其中,i∈1,2,...10,代表模糊核字典kd中的十个元素的索引;
2c)改变索引:i=i+1,并且改变线性加权系数的值:α=α+0.1,β=β-0.1;
2d)判断是否α=1或者β=0,如果是,则输出模糊核字典kd={k1,k2....k10};否则,返回步骤2b);
(3)从原始模糊图像y中选取大小为40×40,且带有图像边缘的图像块P,分别用模糊核字典kd={k1,k2....k10}中的每个元素k1,k2....k10分别对图像边缘的图像块P采用Lucy-Richardson方法进行预处理,得到对应的十个预处理后的图像块C1,C2,C3...C10
(4)计算预处理后的每个图像块Ci的稀疏度:
4a)运用matlab软件中的reshape函数,把图像块Ci拉成一列,得到向量 
Figure FDA00001824467400011
4b)把向量 中的元素mk,k={1,2,3...N}从小到大的排列,得到 
Figure FDA00001824467400013
4c)通过下面的公式计算出图像块的稀疏度: 
Figure FDA00001824467400021
其中,N是向量 中的元素的总个数,k是进行和运算的索引号,||·||是取向量的模值;
(5)在十个预处理图像块C1,C2,C3...C10对应的十个稀疏度S1,S2,S3...S10中,找到最大的稀疏度Smax所对应的图像块Cmax;再取出该图像块Cmax所对应的模糊核字典中的元素kmax
(6)把kmax作为最终模糊核,用非盲去模糊的算法L0-abs对原始模糊图像进行去模糊,得到最终结果F。
2.根据权利要求1所述的基于稀疏度测量的图像盲去模糊方法,其中步骤(3)所述的对带有图像边缘的图像块P采用Lucy-Richardson方法进行预处理,是通过matlab中的deconvlucy函数获得,具体表达式如下:
Ci=deconvlucy(P,ki),
其中,ki是模糊核字典中的元素,Ci是得到的预处理后的图像块,i∈1,2,3...10。
3.根据权利要求1所述的基于稀疏度测量的图像盲去模糊方法,其中步骤(6)所述的用非盲去模糊的算法L0-abs对原始模糊图像进行去模糊,是通过调用matlab中的L0工具箱里的L0-abs函数获得,具体表达式如下:
F=L0-abs(y,kmax,sigma,rep,Niter),
式中,y代表原始的模糊图像,kmax为最终模糊核,sigma是控制图像平滑度的因子,对于无噪的图像的去模糊sigma取值为3,对于加噪的图像去模糊的sigma取值为5,rep是稀疏表示类型,其数值为3,Niter是迭代次数,其数值为50,F就是最终的盲去模糊的结果。 
CN201210218306.5A 2012-06-28 2012-06-28 基于稀疏性度量的图像盲去模糊方法 Active CN102800054B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210218306.5A CN102800054B (zh) 2012-06-28 2012-06-28 基于稀疏性度量的图像盲去模糊方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210218306.5A CN102800054B (zh) 2012-06-28 2012-06-28 基于稀疏性度量的图像盲去模糊方法

Publications (2)

Publication Number Publication Date
CN102800054A true CN102800054A (zh) 2012-11-28
CN102800054B CN102800054B (zh) 2014-10-29

Family

ID=47199153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210218306.5A Active CN102800054B (zh) 2012-06-28 2012-06-28 基于稀疏性度量的图像盲去模糊方法

Country Status (1)

Country Link
CN (1) CN102800054B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761710A (zh) * 2014-01-08 2014-04-30 西安电子科技大学 基于边缘自适应的高效图像盲去模糊方法
CN105184744A (zh) * 2015-08-24 2015-12-23 西安电子科技大学 基于标准化稀疏度量图像块先验的模糊核估计方法
CN105957025A (zh) * 2016-04-21 2016-09-21 天津大学 基于稀疏表示的非一致图像盲复原方法
CN106033595A (zh) * 2015-03-13 2016-10-19 中国科学院西安光学精密机械研究所 一种基于局部约束的图像盲去模糊方法
CN110490822A (zh) * 2019-08-11 2019-11-22 浙江大学 图像去运动模糊的方法和装置
CN111275625A (zh) * 2018-12-04 2020-06-12 杭州海康机器人技术有限公司 一种图像去模糊方法、装置及电子设备
CN107133923B (zh) * 2017-03-02 2020-10-27 杭州电子科技大学 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254309A (zh) * 2011-07-27 2011-11-23 清华大学 一种基于近红外图像的运动模糊图像去模糊方法和装置
CN102436639A (zh) * 2011-09-02 2012-05-02 清华大学 一种去除图像模糊的图像采集方法和图像采集***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254309A (zh) * 2011-07-27 2011-11-23 清华大学 一种基于近红外图像的运动模糊图像去模糊方法和装置
CN102436639A (zh) * 2011-09-02 2012-05-02 清华大学 一种去除图像模糊的图像采集方法和图像采集***

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761710A (zh) * 2014-01-08 2014-04-30 西安电子科技大学 基于边缘自适应的高效图像盲去模糊方法
CN103761710B (zh) * 2014-01-08 2016-07-06 西安电子科技大学 基于边缘自适应的高效图像盲去模糊方法
CN106033595A (zh) * 2015-03-13 2016-10-19 中国科学院西安光学精密机械研究所 一种基于局部约束的图像盲去模糊方法
CN106033595B (zh) * 2015-03-13 2021-06-22 中国科学院西安光学精密机械研究所 一种基于局部约束的图像盲去模糊方法
CN105184744A (zh) * 2015-08-24 2015-12-23 西安电子科技大学 基于标准化稀疏度量图像块先验的模糊核估计方法
CN105184744B (zh) * 2015-08-24 2018-03-06 西安电子科技大学 基于标准化稀疏度量图像块先验的模糊核估计方法
CN105957025A (zh) * 2016-04-21 2016-09-21 天津大学 基于稀疏表示的非一致图像盲复原方法
CN107133923B (zh) * 2017-03-02 2020-10-27 杭州电子科技大学 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法
CN111275625A (zh) * 2018-12-04 2020-06-12 杭州海康机器人技术有限公司 一种图像去模糊方法、装置及电子设备
CN111275625B (zh) * 2018-12-04 2023-08-04 杭州海康机器人股份有限公司 一种图像去模糊方法、装置及电子设备
CN110490822A (zh) * 2019-08-11 2019-11-22 浙江大学 图像去运动模糊的方法和装置
CN110490822B (zh) * 2019-08-11 2022-02-15 浙江大学 图像去运动模糊的方法和装置

Also Published As

Publication number Publication date
CN102800054B (zh) 2014-10-29

Similar Documents

Publication Publication Date Title
CN102800054B (zh) 基于稀疏性度量的图像盲去模糊方法
CN109754377B (zh) 一种多曝光图像融合方法
Ju et al. Single image dehazing via an improved atmospheric scattering model
US20150235350A1 (en) Method for Image Denoising
CN102096909B (zh) 基于对数图像处理模型的改进的反锐化掩模图像增强方法
US20210287345A1 (en) A Priori Constraint and Outlier Suppression Based Image Deblurring Method
CN102208100A (zh) 基于Split Bregman 迭代的全变差正则化图像盲复原方法
CN113822830B (zh) 基于深度感知增强的多曝光图像融合方法
CN106127729A (zh) 一种基于梯度的图像噪声水平估计方法
Ono et al. Color-line regularization for color artifact removal
CN102800055B (zh) 图像盲去模糊的低秩分解方法
CN109118434A (zh) 一种图像预处理方法
CN102750679B (zh) 图像质量评估的盲去模糊方法
CN103700077B (zh) 一种基于人眼视觉特性的自适应图像增强方法
Amirshahi et al. Reviving traditional image quality metrics using CNNs
Tiwari et al. Image features dependant correlation-weighting function for efficient PRNU based source camera identification
CN105279742B (zh) 一种快速的基于分块噪声能量估计的图像去噪方法
Liu et al. Blind image deblurring via local maximum difference prior
CN102013101A (zh) 一种经过模糊后处理的置换篡改图像盲检测方法
Wu et al. Non-uniform low-light image enhancement via non-local similarity decomposition model
CN106683129B (zh) 一种基于双边核回归的相对约减纹理分解方法及其装置
Xu et al. Tensor product and tensor-singular value decomposition based multi-exposure fusion of images
CN103595933A (zh) 一种图像的降噪方法
Wang et al. Fast visibility restoration using a single degradation image in scattering media
Priorov et al. Applications of image filtration based on principal component analysis and nonlocal image processing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant