CN107886918B - 一种视频图像实时修正方法 - Google Patents

一种视频图像实时修正方法 Download PDF

Info

Publication number
CN107886918B
CN107886918B CN201711109553.0A CN201711109553A CN107886918B CN 107886918 B CN107886918 B CN 107886918B CN 201711109553 A CN201711109553 A CN 201711109553A CN 107886918 B CN107886918 B CN 107886918B
Authority
CN
China
Prior art keywords
sub
pixel
real
time correction
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711109553.0A
Other languages
English (en)
Other versions
CN107886918A (zh
Inventor
杨建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI BENQU NETWORK TECHNOLOGY Co.,Ltd.
Original Assignee
Shanghai Benqu Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Benqu Network Technology Co ltd filed Critical Shanghai Benqu Network Technology Co ltd
Priority to CN201711109553.0A priority Critical patent/CN107886918B/zh
Publication of CN107886918A publication Critical patent/CN107886918A/zh
Application granted granted Critical
Publication of CN107886918B publication Critical patent/CN107886918B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0242Compensation of deficiencies in the appearance of colours

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

本文的实施例关于一种对视频播放时的图像进行实时修正的方法,包括监控视频中的多个采样帧,在第一和第二采样帧中分别计算每种颜色子像素的图像修正参数的全局平均值和个别平均值,根据两个采样帧之中全局平均值的差别和个别平均值的差别计算实时修正系数,以及对于实时修正系数在第一取值区间和第二取值区间之内时分别调整输入图像中的灰度值和调整子像素驱动电压。该方法可以在视频播放过程中进行实时修正以避免子像素性能差异所造成的图像色彩或亮度不均匀现象。

Description

一种视频图像实时修正方法
技术领域
本公开关于显示技术的领域,更具体地,关于一种对视频图像进行实时修正的方法。
背景技术
LCD显示面板中包括大量按阵列排列的彩色像素组成。每个彩色像素中一般包括三个或更多的子像素,每个子像素可以配置为显示绿色、红色或蓝色中的一种,且绿色、红色或蓝色中的每种颜色至少包括一个子像素。例如,蓝色子像素可以为两个,而红色和绿色各包括一个子像素。在生产过程中,由于工艺条件所限,使得每个子像素或对于的TFT相互之间会出现性能差别,具有不同的亮度、对比的、饱和度等参数。在使用过程中,子像素中可能因为阈值电压漂移、进水、高温、老化等各种原因而使得亮度、对比度、饱和度等参数出现变化,甚至可能产生短路或断路等而形成坏点。这都会使得显示图像的色彩不够均匀,在播放视频时,会出现某些区域明细具有与其他区域异常的亮度或色彩。例如,某些区域可能相比之下会偏冷,偏黄或者过暗。由于每种颜色子像素的性能变化曲线并不相同,可能仅在播放视频中对比度较高等特定的帧时会产生显示不均匀,也可能显示异常屏幕区域中的子像素会在显示某些颜色的异常,而显示其他颜色时则正常。传统的显示器校准方法较为繁杂,无法随着视频图像的播放同步实时进行,而需要额外运行校准程序进行调整,且即使进行了调整,也不一定能保证对于所播放特定视频的画面具有优化的均匀性。
发明内容
本公开实施例的目的是解决现有技术的上述问题,并提供一种对图像显示进行实时修正的方法,其包括在连续显示的图像帧中监控多个采样帧,在多个采样帧中的第一采样帧中计算每种颜色所有子像素的图像修正参数的第一全局平均值以及每种颜色每个子像素的图像修正参数的第一个别值,图像修正参数对于每种颜色仅根据子像素的灰度变化而变化,在多个采样帧中在第一采样帧之后的第二采样帧中计算每种颜色所有子像素的图像修正参数的第二全局平均值以及每种颜色每个子像素的图像修正参数的第二个别值,对于每种颜色每个子像素确定实时修正系数,该实时修正系数等于第二全局平均值减去第一全局平均值的全局平均值差与第二个别值减去第一个别值的个别值差之间的差别再除以全局平均值差,在子像素的实时修正系数的绝对值在第一取值区间之内时,在第二采样帧之后的图像帧中根据实时修正系数调整输入图像数据中对应于该子像素的灰度值,以及在子像素的实时修正系数的绝对值在大于第一取值区间的第二取值区间之内时,在第二采样帧之后的图像帧中根据实时修正系数调整该子像素的驱动电压。
上述实施例有助于根据所播放视频图像提供最适合该视频图像的个别化的修正方法,通过上述定义的图像修正参数的变化量来确定实时修正系数,可以更灵敏地反映图像在每帧之间的变化,将显示不均匀的子像素修正为更接近正常灰度。而且通过对实时修正系数的不同区间进行不同的修正方法,可以更好地修正因制造缺陷或老化产生性能漂移的子像素。
在一些实施例中,在子像素的实时修正系数的绝对值在大于第二取值区间的第三取值区间之内时,在预先定义的修复周期中调整输入图像数据中对应于该子像素的灰度值以使得该子像素交替显示最大灰度值和最小灰度值,该修复周期在时间上与多个采样帧不重叠。
在一些实施例中,每个子像素的图像修正参数定义为P=g+C1g3,其中P为图像修正参数,g为灰度值,C1为小于1的常数。
在一些实施例中,根据实时修正系数调整输入图像数据中对应于该子像素的灰度值包括对灰度值增加一个正比于实时修正系数的增加量。
在一些实施例中,根据实时修正系数调整该子像素的驱动电压包括将驱动电压增加一个增加量ΔV=sgn(L)·C2ln(L),其中sgn()为符号函数,C2为正的常数,L为实时修正系数。
在一些实施例中,在一个子像素的实时修正系数的绝对值在第二取值区间之内时,查找该一个子像素周围相同颜色的相邻子像素的实时修正系数,以及在至少一个相邻子像素的实时修正系数大于该一个子像素的实时修正系数且不处于第三取值区间时,将该一个子像素的实时修正系数修改为至少一个相邻子像素中绝对值最大的实时修正系数。
在一些实施例中,相邻子像素为该一个子像素所在像素周围8个最近邻像素中相同颜色的子像素。
在一些实施例中,第二采样帧为第一采样帧之后显示的下一帧。
在一些实施例中,多个采样帧为连续显示的多个帧。
在一些实施例中,第一取值区间为5%以上并小于15%,所述第二取值区间为15%以上并小于50%,以及所述第三取值区间为50%以上。
本公开的实施例可用于在播放动态图像时实时进行图像修正,使得所播放的视频的显示不均匀现象得到修正,且根据实时修正系数判断子像素性能异常的种类,相应地选择进行灰度修正,驱动电压修正或者修复程序,对造成显示不均匀的各种原因均可以起到效果。
附图说明
本公开提供了附图以便说明根据本公开原则的一些非限制性的示例,而不是用于构成任何限制。
图1是示出像素内子像素结构的示意图。
图2是根据本公开实施例的方法步骤的流程图。
具体实施方式
术语第一、第二、第三、上、下、左、右等并不限制元件的具***置,也不用于定义任何方向或顺序上的限制。本文所公开的优选实施例仅为了方便本领域技术人员的理解,而不是为了限制本公开的范围,本公开的范围包括在所公开实施例的原则下的各种等同或替代性的实施方式,以及本领域技术人员能够从本公开显而易见地推断出的内容。
如图1所示,液晶显示器的每个像素一般包括至少一个红色子像素10,至少一个蓝色子像素11,以及至少一个绿色子像素12。三种颜色的子像素作为一个整体即可形成一个彩色像素。红色子像素10,蓝色子像素11以及绿色子像素12的排列方式可以是RGB排列或者Pentile排列。因为像素的尺寸较小,在远处观察显示器的用户看来无法分辨出像素内的子像素,而是只能看到一个亮点。像素内的RGB子像素可以各种具有不同的亮度或者灰度,从而使得用户看到不同的彩色。例如,在三种颜色灰度值均为0时,用户将看到黑色,而在三种颜色灰度值均为最大(例如255)时,用户将看到白色。由于像素的数量可能是数百万甚至更多,难以避免其中的一些像素和子像素在生产过程中或者使用过程中出现亮度、对比度、饱和度等参数的变化。这在人眼所观察到的图像中将表现为与其他部分具有明显对比的不均匀区域,从而影响用户体验。驱动电路13一般为矩阵驱动电路,例如可以包括TFT阵列以用于分别为每个像素提供驱动电压和驱动电流。
图2示出了根据本公开实施例的自动修正方法的各步骤。在步骤S201中,首先在视频播放过程中监控多个采样帧。该多个采样帧可以为连续显示的多个帧,起始的一帧可以随机选择,也可以根据预定的时间周期进行选择。在多个采样帧中的第一采样帧中计算每种颜色所有子像素的图像修正参数的第一全局平均值PG1以及每种颜色每个子像素的图像修正参数的第一个别值Pi。而在第一采样帧之后下一帧的第二采样帧中计算每种颜色所有子像素的图像修正参数的第二全局平均值PG2以及每种颜色每个子像素的图像修正参数的第二个别值Pi’。其中图像修正参数优选为P=g+C1g3,其中P是图像修正参数,g是子像素灰度值,或者可以是子像素灰度值与共同的基准灰度值的差,C1为小于1的常数,且可以为负数,但不为零。C1对于不同颜色的子像素可以有不同的取值。以上所述的图像修正参数能够提供相对较均衡的修正准确度和检测灵敏度。本领域技术人员可以根据显示器的特性,如LED,OLED,CRT等来定义修改的图像修正参数,以符合不同类型的特性曲线。例如,可以定义P=(g-G)+C1(g-G)3,其中G为参考图像中定义的该颜色子像素的基准灰度值,也可以对于使用时间较久的显示器定义P=g+C1ln(g),以更加符合其灰度与使用次数的函数关系。
在步骤S202中,根据上一步骤确定的两个采样帧的全局平均值,将第二全局平均值减去第一全局平均值以得到全局平均值差PG2-PG1。类似地,将每个子像素i的图像修正参数个别值也进行相减以得到个别值差Pi’-Pi。因视频播放每秒将播放24帧以上,且显示器的刷新频率一般在60Hz以上,在类似场景的每相邻两帧图像中所显示的图像将较为近似,因此全局平均值的差与个别值的差之间的差别也应在较小的范围内。此时为了进行实时图像修正,定义实时修正系数Li,该实时修正系数Li=1-(Pi’-Pi)/(PG2-PG1)。即全局平均值差与个别值差之间的差别除以全局平均值差。若该实时修正系数的绝对值明显过大,例如超过100%甚至达到更大,则说明出现了场景变化,即相邻的两个采样帧恰好反映的是整体图像的突然变化,此时不适合进行修正。此外,视频图像因为自身图像质量的原因可能会出现各种不均匀噪点,从而使得实时修正系数变化过大,这种情况下同样不适合进行修正。若该实时修正系数的绝对值小于允差水平,例如5%,则说明在计算误差范围内或者没有出现显示不均匀,不需要进行修正。
在步骤203中,在实时修正***在合适的范围内时进行图像修正。在一些实施例中,在实时修正系数为5%-15%之间时,子像素并未出现明显的性能劣化,可以通过简单地对输入视频图像中相对应子像素的灰度进行调整来完成修正。可以对实时修正系数在该范围内的子像素的灰度值增加一个正比于所述实时修正系数的增加量。例如,实时修正系数为10%时,子像素的灰度值也会增加10%,从而减轻显示不均匀现象。
在步骤S204中,,在实时修正***在其他合适的范围内时进行图像修正。一些实施例中,在实时修正系数为15%-50%之间时,子像素可能出现了阈值电压偏移等影响使得甚至TFT不再工作在饱和区,其灰度值显示出现了较高的偏差。此时,将实时修正系数为15%-50%之间的子像素所对应的驱动电压增加ΔV=sgn(L)·C2ln(L),其中sgn()为符号函数,C2为正的常数,L为实时修正系数。因为子像素性能曲线与其他子像素产生了差别,通过输入图像进行调整不能保证对偏差进行正确的修正,所以需要对驱动电压进行直接调整。
在一些实施例中,若实时修正系数为50%以上,且小于确保未出现场景变化的合适的阈值,则在采样帧完结之后,定义一个与采样帧无重叠的修复周期,例如500毫秒,5秒等。在修复周期中调整输入图像数据中对应于该子像素的灰度值以使得该子像素交替显示最大灰度值,例如255和最小灰度值,例如0。这时实时修正系数过大,说明子像素出现了较大的性能变化,例如出现了可修复的坏点。可修复的坏点例如因液晶部分出现故障,而导致子像素出现故障而仅显示一种错误的灰度。此时通过一定的频率(例如最大刷新频率)交替显示最大灰度和最小灰度,高频交替显示可以刺激该子像素所对应的液晶部分,驱动电路等,可能修复该子像素使其重新正常显示。
在近邻多个子像素的灰度值均出现较大偏差的一些实施例中,可以对近邻的子像素进行一致性的修正,以便在局部区域中进一步增加图像的均匀性。若一个子像素i0的实时修正系数的绝对值在15%以上,小于50%时,查找该一个子像素周围相同颜色的相邻子像素i1,…,i8的实时修正系数。其中,为i0所在像素周围8个最近邻像素中相同颜色的子像素。仅在至少一个相邻子像素i1,…,i8的实时修正系数大于i0的实时修正系数也小于50%时,将该i0的实时修正系数修改为至少一个相邻子像素i1,…,i8中绝对值最大的实时修正系数。这样,可以减少不均匀色块或者噪点的出现。
上文所述的仅为本发明原则和范围之内的示例实施例,本领域技术人员在阅读本文之后容易想到的其他等同实施例也应属于本发明的范畴之内。描述本发明某些特性或方面时使用的特殊术语或者特殊数值也不应视为暗示本发明的范围仅限于该特殊含义。

Claims (10)

1.一种对图像显示进行实时修正的方法,其特征在于包括:
在连续显示的图像帧中监控多个采样帧;
在所述多个采样帧中的第一采样帧中计算每种颜色所有子像素的图像修正参数的第一全局平均值以及每种颜色每个子像素的所述图像修正参数的第一个别值,所述图像修正参数对于每种颜色仅根据子像素的灰度变化而变化;
在所述多个采样帧中所述第一采样帧之后的第二采样帧中计算每种颜色所有子像素的图像修正参数的第二全局平均值以及每种颜色每个子像素的所述图像修正参数的第二个别值;
对于每种颜色每个子像素确定实时修正系数,该实时修正系数等于所述第二全局平均值减去所述第一全局平均值的全局平均值差与所述第二个别值减去所述第一个别值的个别值差之间的差别再除以所述全局平均值差;
在子像素的所述实时修正系数的绝对值在第一取值区间之内时,在所述第二采样帧之后的图像帧中根据所述实时修正系数调整输入图像数据中对应于该子像素的灰度值;以及
在子像素的所述实时修正系数的绝对值在大于所述第一取值区间的第二取值区间之内时,在所述第二采样帧之后的图像帧中根据所述实时修正系数调整该子像素的驱动电压。
2.权利要求1所述的方法,其特征在于还包括在子像素的所述实时修正系数的绝对值在大于所述第二取值区间的第三取值区间之内时,在预先定义的修复周期中调整所述输入图像数据中对应于该子像素的灰度值以使得该子像素交替显示最大灰度值和最小灰度值,该修复周期在时间上与所述多个采样帧不重叠。
3.权利要求2所述的方法,其特征在于其中每个子像素的所述图像修正参数定义为:
P=g+C1g3,其中P为图像修正参数,g为灰度值,C1为小于1的常数。
4.权利要求3所述的方法,其特征在于根据所述实时修正系数调整输入图像数据中对应于该子像素的灰度值包括对所述灰度值增加一个正比于所述实时修正系数的增加量。
5.权利要求4所述的方法,其特征在于根据所述实时修正系数调整该子像素的驱动电压包括将驱动电压增加一个增加量ΔV=sgn(L)·C2ln(|L|),其中sgn()为符号函数,C2为正的常数,L为所述实时修正系数。
6.权利要求5所述的方法,其特征在于还包括在一个子像素的所述实时修正系数的绝对值在所述第二取值区间之内时,查找该一个子像素周围相同颜色的相邻子像素的所述实时修正系数,以及在至少一个所述相邻子像素的所述实时修正系数大于该一个子像素的所述实时修正系数且不处于所述第三取值区间时,将该一个子像素的所述实时修正系数修改为所述至少一个相邻子像素中绝对值最大的所述实时修正系数。
7.权利要求6所述的方法,其特征在于所述相邻子像素为该一个子像素所在像素周围8个最近邻像素中相同颜色的子像素。
8.权利要求7所述的方法,其特征在于所述第二采样帧为所述第一采样帧之后显示的下一帧。
9.权利要求8所述的方法,其特征在于所述多个采样帧为连续显示的多个帧。
10.权利要求9所述的方法,其特征在于所述第一取值区间为5%以上并小于15%,所述第二取值区间为15%以上并小于50%,以及所述第三取值区间为50%以上。
CN201711109553.0A 2017-11-11 2017-11-11 一种视频图像实时修正方法 Active CN107886918B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711109553.0A CN107886918B (zh) 2017-11-11 2017-11-11 一种视频图像实时修正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711109553.0A CN107886918B (zh) 2017-11-11 2017-11-11 一种视频图像实时修正方法

Publications (2)

Publication Number Publication Date
CN107886918A CN107886918A (zh) 2018-04-06
CN107886918B true CN107886918B (zh) 2020-04-28

Family

ID=61780308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711109553.0A Active CN107886918B (zh) 2017-11-11 2017-11-11 一种视频图像实时修正方法

Country Status (1)

Country Link
CN (1) CN107886918B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1573797A (zh) * 2003-06-20 2005-02-02 德国空间宇航中心 用于在图像处理中改善对象识别和/或再识别的方法和装置
CN102426698A (zh) * 2011-11-04 2012-04-25 中国航空工业集团公司洛阳电光设备研究所 一种红外图像增强方法
CN105205806A (zh) * 2015-08-19 2015-12-30 广东科杰机械自动化有限公司 一种基于机器视觉的精度补偿方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4190551B2 (ja) * 2006-07-18 2008-12-03 三菱電機株式会社 画像処理装置、画像処理方法、画像符号化装置、および画像符号化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1573797A (zh) * 2003-06-20 2005-02-02 德国空间宇航中心 用于在图像处理中改善对象识别和/或再识别的方法和装置
CN102426698A (zh) * 2011-11-04 2012-04-25 中国航空工业集团公司洛阳电光设备研究所 一种红外图像增强方法
CN105205806A (zh) * 2015-08-19 2015-12-30 广东科杰机械自动化有限公司 一种基于机器视觉的精度补偿方法

Also Published As

Publication number Publication date
CN107886918A (zh) 2018-04-06

Similar Documents

Publication Publication Date Title
CN112767867B (zh) 显示面板及其亮度补偿方法、装置
TWI413098B (zh) 顯示裝置
CN108376532B (zh) 一种显示装置的亮度补偿方法及装置
KR102350818B1 (ko) 화상에 있어서의 고주파 성분을 검출하는 방법 및 장치
KR101543277B1 (ko) 광원 구동 방법
WO2017008365A1 (zh) 液晶面板的驱动方法及驱动装置
US20120075354A1 (en) Capture time reduction for correction of display non-uniformities
CN107492359B (zh) 一种显示装置的驱动方法及显示装置
US7800603B2 (en) Liquid crystal display panel with photo sensors and method for adjusting reference voltage in the panel
JP2010020078A (ja) 表示装置及びその駆動方法
WO2017008362A1 (zh) 液晶面板的显示改善方法及其设备
WO2016131216A1 (zh) 校正液晶面板的子像素的成像时灰阶的方法
KR20160011300A (ko) 영상 표시 방법, 이를 수행하는 표시 장치, 이에 적용되는 보정값 산출 방법 및 계조 데이터의 보정 방법
WO2020211543A1 (zh) 显示调试方法、补偿方法及装置、显示装置和存储介质
CN113380209B (zh) 显示装置及其显示方法
CN114898706B (zh) 显示屏的亮度补偿方法和装置,以及计算机设备
US10121400B2 (en) Video processing circuit, electro-optical device, electronic apparatus, and video processing method
KR20150078299A (ko) 표시장치 및 그의 구동방법
CN111312172B (zh) 一种图像处理方法
KR20170023615A (ko) 보상부를 포함하는 표시장치 및 이를 이용한 영상 보상방법
US20100007592A1 (en) Controlling the brightness control signal for a pixel of a liquid crystal display
CN107886918B (zh) 一种视频图像实时修正方法
CN107784991B (zh) 一种自动成像修正的方法
CN111312166B (zh) 显示面板的补偿方法、显示面板和显示装置
TWI570695B (zh) 液晶顯示裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200326

Address after: Room 1003, Building 1, 100 Qinzhou Road, Xuhui District, Shanghai 200030

Applicant after: SHANGHAI BENQU NETWORK TECHNOLOGY Co.,Ltd.

Address before: 230088 Anhui Province, Hefei City Wangjiang Road and floating road junction Yingtang Technology Park Administration building, room 908

Applicant before: ANHUI ZHIZAI INTELLIGENT TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant