CN104954772A - 一种应用于自动白平衡算法的图像近灰色像素选取算法 - Google Patents
一种应用于自动白平衡算法的图像近灰色像素选取算法 Download PDFInfo
- Publication number
- CN104954772A CN104954772A CN201510362720.7A CN201510362720A CN104954772A CN 104954772 A CN104954772 A CN 104954772A CN 201510362720 A CN201510362720 A CN 201510362720A CN 104954772 A CN104954772 A CN 104954772A
- Authority
- CN
- China
- Prior art keywords
- value
- image
- pixels
- inequality
- gray pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Of Color Television Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Color Image Communication Systems (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
一种应用于自动白平衡算法的图像近灰色像素选取算法,它包括以下步骤:S1:读取目标图像中的像素,获取每个像素的YCbCr值;S2:将获取图像像素的YCbCr值代入8个不等式;S3:从图像中选出近灰色点:如果图像像素的YCbCr值符合8个不等式,则认为它是近灰色像素,并将其发给后续算法模块进行色温估计;如果不符合8个不等式中任何一个不等式,则认为这个像素不是近灰色像素,不再对其做任何处理。本发明通过提出的一组新的不等式,以使在各种色温、各种照度时能够选出标准色卡图像中亮度最高的3个灰色色块中的大多数像素,同时有效避免了大量误选彩色色块中的像素,为后续算法提供了更全面、更准确的原始色差信息。
Description
技术领域
本发明涉及一种像素选取算法,具体地说是一种应用于自动白平衡算法的图像近灰色像素选取算法,属于图像处理技术领域。
背景技术
不同的光源具有不同的光谱成分和分布,这在色度学上称之为色温。光的波长越短,色温越高;波长越长,色温越低。常见的红橙黄绿青蓝紫七色光中,从左到右波长依次降低,色温依次增高。一个白色的物体,在低色温的光线照射下会偏红,而在高色温的光线照射下会偏蓝,称为色温引起的色差。
人眼进化出了适应性,使我们通常情况下不能发现色温的变化。例如,人在钨丝灯(发光的色温偏低)下长时间停留,并不会觉得钨丝灯下的白纸偏红,如果突然把日光灯改为钨丝灯照明.就会觉查到白纸的颜色偏红了,但这种感觉也只能够持续一会儿,人眼(包括与之相关的色彩感觉***)会在此期间将这种色温引起的色差校正过来。
摄像机(注:本专利所说的“摄像机”泛指数码摄像机、提供自动白平衡功能的数码照相机)的“图像采集--处理***”不具备人眼的这种适应性。如果不根据景物照明的色温进行有针对性的调整,摄像机得到的图像就会发生偏色。因此就出现了白平衡的概念,白平衡的目的就是:针对各种色温条件,通过摄像机内部的色彩运算抵消色温引起的色差,使拍摄出来的图像更接近人眼的视觉习惯。
可以简单地将白平衡理解为:在任意色温条件下,摄像机拍摄目标的标准白色经过电路的调整,成像后仍然为白色。
自动白平衡是由摄像机以自动获取色温信息、根据色温自动对图像进行处理的方式实现的白平衡。
自动获取色温信息的途径分为两类:第一类是在摄像机中装备色温测量部件,实时获取色温信息,这一方案由于成本较高而应用范围有限;第二类是由摄像机中的运算芯片(CPU、DSP、FPGA、ASIC等)执行算法,对拍摄得到的图像进行分析,从中获取色温信息。本专利以下述及的自动白平衡算法所指均为基于第二类色温自动获取信息途径的算法。
自动白平衡算法通常包括以下三个基本步骤:
1)色温估计
最经典的色温估计算法是灰色世界算法。这一算法基于如下假设:对于一幅带有足够色彩变化的图像来说,整个场景的平均反射能抵消色差。最基本的方法就是计算整个图像的平均色差。但是,如果图像颜色较为单一,以上算法求得的色温就会非常不准确。为此,必须根据一定的约束条件,挑选合适的像素来计算色差,提高色温估计的精确度。
这里所说的“合适的像素”通常是指“近灰色像素”,这是目前几乎所有自动白平衡算法的共同选择。近灰色像素是指R、G、B三色值相差不大的像素,色温估计算法假定近灰色像素是由灰色像素在偏色光照射下得到的。通过统计、计算图像中的近灰色像素RGB值偏离纯灰色像素RGB值(R=G=B)、CbCr值(Cb=0,Cr=0)的程度来估算色温,在实际运算过程中,通常将R、G、B值转换为Y、Cb、Cr值,以方便分析。
2)增益计算
增益计算是在图像色温估计的基础上,通过一定的方法得到通道增益。通道增益也就是色温校正因子,一般有蓝色和红色两个分量,是对图像蓝色和红色通道进行调整的幅度。
灰色像素的Cb、Cr均为0,因此,通道增益就是能将Cb、Cr调整到0(或接近0)的两个系数μ和ν。增益计算的方法有多种,比如查表法、迭代法等等。查表法是事先统计出一张表,记录不同的色温所对应的通道增益,具有速度快的优点,但由于表的容量有限,不能实现各种色温情况的连续调节。迭代算法则是根据Cb、Cr的关系,不断调节μ、ν,根据每次调节后得到的Cb、Cr值确定下一次调节的量,直至将Cb、Cr调整到接近0。
3)色温校正
色温校正就是在图像的蓝色和红色通道乘以各自的增益,从而调节R、G、B三色的比例(或Cb、Cr的值)。一般针对摄像机中用于采集图像原始信息的CCD、CMOS芯片(即Sensor)采样输出的RGB信号进行。
在自动白平衡算法的色温估计步骤中,从图像中选取近灰色像素的算法是关键环节之一。一种经典的近灰色像素选取算法是在YCbCr空间中定义一个三维结构,称之为近灰色区域,凡落入其中的像素都认为是近灰色的,而其外的像素则是认为非近灰色的。在计算色差时,只计算近灰色像素的平均色差,以替代整个图像的色差,从而提高色温估计的准确度。
这类算法的关键在于近灰色区域的确定。经典近灰色像素的选取算法依据的不等式为:
Y<φ1
Y-|Cb|-|Cr|>φ2
其中,φ1、φ2为预设的门限。满足Y<φ1和Y-|Cb|-|Cr|>φ2不等式的区域在YCbCr空间中表现为一个底部小上部大的四棱台,如图1所示,位于其内的像素被认为是近灰色的,用于计算色温引起的色差。
为了验证近灰色区域划定算法的有效性,需要用到爱色丽24色标准色卡(爱色丽Color Checker Classic,这是一种测试用标准色卡,以下简称为“标准色卡”),如图2所示。
在标准色卡中,最下一行的位置编号为11~16共6个色块为由亮到暗变化的灰色色块,上面3行位置编号为21~26、31~36、41~46共计18个色块为红、绿、蓝、黄、棕等彩色色块。标准色卡被用作摄像、照相设备的拍摄目标,以测试所得图像在色彩还原方面的质量。
对近灰色区域的划定算法效果的验证方法:将标准色卡置于专业的避光灯箱中,在4种色温(A、U35、D50、D75)、多种照度的光源的照射下,拍摄其照片。用近灰色像素选取算法对这些照片进行处理,选出来的近灰色像素保持不变,用附加算法将除近灰色像素之外的像素改为特定的颜色(例如蓝色,以便于直观地区分),输出为新的图像。然后观察新图像,看其中选取的近灰色像素中是否包括了未处理图像中尽可能多的近灰色像素(标准色卡中位于11~16位置的色块中的像素)、是否尽可能少地“误选”了非近灰色像素(标准色卡中位于21~46位置的色块中的像素)。
在上述验证模式下用图1对应的Y<φ1和Y-|Cb|-|Cr|>φ2两个不等式进行近灰色点的选取、标示,发现存在如下问题:当φ1、φ2的值选定为折中值时(95、245左右),在低色温(A光源)下、尤其是低照度(240lx左右)时,从标准色卡图像的各色块中,仅能选出亮度最高的灰色色块(位置为11的色块)中的部分像素,其它较低灰阶的灰色色块被排除在外;与此同时,较高色温(U35、D50、D75光源)时虽然能选出3个较高灰阶的色块(位置为11、12、13的色块),却又误选了2~3个彩色色块(位置为21~46的色块)。在此基础上,增加φ2值会进一步减少低色温下选出的灰色像素的数量,降低φ2值则会进一步增加较高色温下误选的彩色像素数量(门限φ1仅用于排除Y值过大的点,对色温判断影响不大)。由于后续色温估计算法的效果要基于所选出的近灰色像素的覆盖范围(应选尽选,以保证获得更完整的色温信息)、纯度(不应选不选,以减少非近灰色像素对色温估计过程的干扰),所以,不论是少选还是误选,对于准确计算色差、估计色温都是不利的。
发明内容
针对上述不足,本发明提供了一种应用于自动白平衡算法的图像近灰色像素选取算法,其能够准确准确计算色差和估计色温,有效解决自动白平衡算法中经典选取图像近灰色像素算法不能适应宽色温范围、多种照度环境的问题,另外还提供了一种自动白平衡算法,其能够适应宽色温范围和多种照度环境,并通过自动通道增益调整达到白平衡的目的。
本发明解决其技术问题采取的技术方案是:一种应用于自动白平衡算法的图像近灰色像素选取算法,其特征是,包括以下步骤:
S1:读取目标图像中的像素,获取每个像素的YCbCr值;
S2:将获取图像像素的YCbCr值代入下列不等式:
Cr>φ1 (1)
Cr<φ2 (2)
Cb>φ3 (3)
Cb<φ4 (4)
|Cr|-|Cb|<φ5 (5)
|Cb+Cr|<φ6 (6)
Y<φ7 (7)
Y>φ8 (8)
式中,Y、Cb、Cr为图像像素的Y、Cb、Cr值,φ1、φ2、φ3、φ4、φ5、φ6、φ7、φ8为门限参数,φ1<φ2,φ3<φ4,φ8<φ7;
S3:从图像中选出近灰色点:如果图像像素的YCbCr值符合步骤S2中所有的不等式,则认为它是近灰色像素,并将其发给后续算法模块进行色温估计;如果图像像素的YCbCr值不符合步骤S2中所有不等式中任何一个不等式,则认为这个像素不是近灰色像素,不再对其做任何处理。
通过提出的一组新的不等式,以使在各种色温、各种照度时能够选出标准色卡图像中亮度最高的3个灰色色块(位置为11、12、13的色块)中的大多数像素,同时有效避免了大量误选彩色色块(位置为21~46的色块)中的像素,为后续算法提供了更全面、更准确的原始色差信息。
优选地,如果从目标图像中获取的像素值为RGB值,则将RGB值转换为YCbCr值,其转换公式如下:
Y=0.299*R+0.587*G+0.114*B
Cb=-0.1687*R-0.3313*G+0.5*B
Cr=0.5*R-0.4187*G-0.0813*B
通过进行RGB值转换为YCbCr值,使像素的色彩特征更易于通过分析各分量数值关系的方式加以提取。
优选地,在步骤S3中判断一个图像像素是否近灰色像素的过程具体包括以下步骤:
S301:判断该图像像素的YCbCr值是否符合不等式(1)、不等式(2)、不等式(3)和不等式(4),如果φ1<Cr<φ2且φ3<Cb<φ4则进入下一步,否则退出;
S302:判断该图像像素的YCbCr值是否符合不等式(5),如果|Cr|-|Cb|≥φ5则进入下一步,否则退出;
S303:判断该图像像素的YCbCr值是否符合不等式(6),如果-φ6<Cb+Cr<φ6则进入下一步,否则退出;
S304:判断该图像像素的YCbCr值是否符合不等式(7)和不等式(8),如果φ8<Y<φ7则判定该图像像素是近灰色像素,否则退出。
通过对图像像素的YCbCr值进行逐步排除的方法确定是否为近灰色像素,由不等式(1)~(8)共同决定了位于YCbCr空间中的闭合区域,位于此区域之内的点被判定为近灰色像素,之外的点被判定为非近灰色像素,确保能够选出标准色卡中亮度最高的3个灰色色块中的大多数像素,并且避免了大量误选彩色色块中的像素,实现了应选尽选、不应选不选,为后续算法提供了更全面、更准确的原始色差信息。
优选地,所述门限参数的确定过程为:
1)在各种色温、照度下拍摄标准色卡,在摄像机中自动平衡模块入口处各截取一帧原始图像;
2)针对每帧图像,计算位于各色块中部的若干像素的Y算术平均值、Cb算术平均值、Cr算术平均值,得到24组平均值;
3)将各个平均值存储在统计表中,所述统计表的格式参见附表1和附表2;附表1和附表2例示了摄像机中自动平衡模块入口处所截取图像各色块的Y、Cb、Cr数值与色温、照度的关系,分别对应于A光源和D75光源,但是统计表中实际存储的数据对应的光源不限于A光源和D75光源这两种光源,
附表1:
附表2:
在附表1和附表2中,每个“色温--照度”组合用于标识1列YCrCb平均值并对应于此光照条件下拍摄的一幅图像,行号、列号对应于图像中各色块的位置编号;
4)遍历统计表中行标号为1、列标号为1、2、3的各色块在各种色温、照度下的Y、Cr、Cb值;
5)对min(Cr)、max(Cr)、min(Cb)、max(Cb)、max(|Cr|-|Cb|)、max(|Cb+Cr|)、max(Y)和min(Y)进行统计;
6)根据原始图像各色块中Y、Cr、Cb值的离散情况,将max(Cr)、max(Cb)、max(|Cr|-|Cb|)、max(|Cb+Cr|)和max(Y)分别加上一个余量ω,将min(Cr)、min(Cb)和min(Y)分别减去一个余量ω,将调整后的min(Cr)、max(Cr)、min(Cb)、max(Cb)、max(|Cr|-|Cb|)、max(|Cb+Cr|)、max(Y)和min(Y)分别作为φ1、φ2、φ3、φ4、φ5、φ6、φ7和φ8的初始值,其中余量ω的取值一般在2~5之间,各极值采用的ω值不必相同;
7)对获取的上述门限参数进行优化处理,确定φ1、φ2、φ3、φ4、φ5、φ6、φ7和φ8门限参数的最终值。
优选地,所述门限参数的优化处理过程为:
(1)将φ1至φ8的初始值作为不等式(1)至(8)中φ1至φ8的值,读取在摄像机中自动平衡模块入口处截取的第一帧原始图像;
(2)执行步骤S1至S3选取当前图像中的近灰色像素;
(3)对每个近灰色像素,将其在图像中的位置坐标与24个色块的边界线坐标进行对比,确定其在哪个色块中;
(4)统计当前图像的近灰色像素总数N,统计各色块中近灰色像素的个数Nij,i、j为爱色丽24色标准色卡中色块坐标编号,i=1、2、3、4,j=1、2、3、4、5、6;
(5)判断Σ(N21~N46)/N是否大于门限值δ?如果是则进入下一步,否则转入步骤11,其中,Σ(N21~N46)=N21+N22+...+N26+N31+N32+...+N46;
(6)遍历Nij,找出Nij值最大的一个色块,i=2、3、4;
(7)根据此色块在图像中的位置、其所属图像的色温、照度确定其在统计表中的位置,获取其Y、Cr、Cb值;
(8)将此Y、Cr、Cb值分别代入不等式(1)~(8)中,找出最接近当前φi值的不等式,i=1、2、…、8;
(9)修改该φi的值,使不等式不再成立,并留有余量,i=1、2、…、8;
(10)将修改后φ1至φ8的值作为不等式(1)至(8)中φ1至φ8的值,并转入步骤(2);
(11)是否已经遍历所有在摄像机中自动平衡模块入口处截取的原始图像?如果没有则进入步骤(12),如果是则进入步骤(13),
(12)读取在摄像机中自动平衡模块入口处截取的下一帧原始图像,并转入步骤(2);
(13)确定当前φ1至φ8的值为φ1、φ2、φ3、φ4、φ5、φ6、φ7和φ8门限参数的最终值。
通过上述对门限参数进行确定以及对门限参数的优化,进一步提高了图像近灰色像素选取算法的准确性,更大程度地确保在各种色温、各种照度时能够选出标准色卡图像中亮度最高的3个灰色色块中的大多数像素,而且有效避免了大量误选彩色色块中的像素,为后续算法提供了更全面、更准确的原始色差信息。
本发明还提供了一种采用上述所述图像近灰色像素选取算法的自动白平衡算法,其特征是,包括以下步骤:
(1)设置摄像机的初始通道增益:蓝色增益μ和红色增益v;
(2)读取采集图像中的像素,并利用所述图像近灰色像素选取算法选出近灰色像素;
(3)将选出近灰色像素的Cb值和Cr值分别累加到ΣCb和ΣCr中,同时记录近灰色像素的个数N,Cb’=ΣCb/N、Cr’=ΣCr/N,
(4)判断|Cb’|和|Cr’|是否均小于σ,如果|Cb’|<σ&|Cr’|<σ则摄像机采用当前通道增益,否则进行通道增益调整并重复执行步骤(2)至步骤(4)直至|Cb’|<σ&|Cr’|<σ为止,其中,σ为预设的门限值。
通过采用本发明所述的图像近灰色像素选取算法的自动白平衡算法,能够在宽色温范围和多种照度环境中实现白平衡的目的。
优选地,所述通道增益调整过程包括以下步骤:
(1)判断|Cb’|是否大于|Cr’|,如果|Cb’|>|Cr’|则进入步骤(2),否则转入步骤(3);
(2)判断Cb’是否大于零,如果Cb’>0则μ=μ-λ,否则μ=μ+λ;
(3)判断Cr’是否大于零,如果Cr’>0则v=v-λ,否则v=v+λ;
其中,λ为调节步长。
通过自动通道增益调整来自动调整白平衡,以更好的达到白平衡的目的。
本发明的有益效果是:
(1)本发明的图像近灰色像素选取算法通过提出的一组新的不等式,以使在各种色温、各种照度时能够选出标准色卡图像中亮度最高的3个灰色色块(位置为11、12、13的色块)中的大多数像素,同时有效避免了大量误选彩色色块(位置为21~46的色块)中的像素,为后续算法提供了更全面、更准确的原始色差信息。
(2)在图像近灰色像素选取算法中,通过进行RGB值转换为YCbCr值,使像素的色彩特征更易于通过分析各分量数值关系的方式加以提取。
(3)在图像近灰色像素选取算法中,通过对图像像素的YCbCr值进行逐步排除的方法确定是否为近灰色像素,由不等式(1)~(8)共同决定了位于YCbCr空间中的闭合区域,位于此区域之内的点被判定为近灰色像素,之外的点被判定为非近灰色像素,确保能够选出标准色卡中亮度最高的3个灰色色块中的大多数像素,并且避免了大量误选彩色色块中的像素,实现了应选尽选、不应选不选,为后续算法提供了更全面、更准确的原始色差信息。
(4)在图像近灰色像素选取算法中,通过对门限参数进行确定以及对门限参数的优化,进一步提高了图像近灰色像素选取算法的准确性,更大程度地确保在各种色温、各种照度时能够选出标准色卡图像中亮度最高的3个灰色色块中的大多数像素,而且有效避免了大量误选彩色色块中的像素,为后续算法提供了更全面、更准确的原始色差信息。
(5)本发明的自动白平衡算法通过采用新的图像近灰色像素选取算法,能够有效适应宽色温范围、多种照度的环境。
附图说明
下面结合说明书附图对本发明进行说明。
图1为现有技术近灰度像素选取方法在YCbCr空间中对应图像的示意图;
图2为爱色丽24色标准色卡的示意图;
图3为本发明所述图像近灰色像素选取算法的方法流程图;
图4(a)至图4(d)为本发明判断一个图像像素是否近灰色像素的过程在YCbCr空间中对应图像的示意图;
图5为本发明所述门限参数的确定过程的方法流程图;
图6为本发明所述门限参数的优化处理过程的方法流程图;
图7为本发明所述自动白平衡算法的方法流程图。
具体实施方式
为能清楚说明本方案的技术特点,下面通过具体实施方式,并结合其附图,对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。此外,本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意,在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
如图3所示,本发明是一种应用于自动白平衡算法的图像近灰色像素选取算法,它包括以下步骤:
S1:读取目标图像中的像素,获取每个像素的YCbCr值;
S2:将获取图像像素的YCbCr值代入下列不等式:
Cr>φ1 (1)
Cr<φ2 (2)
Cb>φ3 (3)
Cb<φ4 (4)
|Cr|-|Cb|<φ5 (5)
|Cb+Cr|<φ6 (6)
Y<φ7 (7)
Y>φ8 (8)
式中,Y、Cb、Cr为图像色像素,φ1、φ2、φ3、φ4、φ5、φ6、φ7、φ8为门限参数,φ1<φ2,φ3<φ4,φ8<φ7。作为参考,在典型应用中,φ1至φ8等门限参数一般设定为以下典型值:φ1=-12,φ2=50,φ3=-50,φ4=15,φ5=4,φ6=25,φ7=250,φ8=110。
S3:从图像中选出近灰色点:如果图像像素的YCbCr值符合步骤S2中所有的不等式,则认为它是近灰色像素,并将其发给后续算法模块进行色温估计;如果图像像素的YCbCr值不符合步骤S2中所有不等式中任何一个不等式,则认为这个像素不是近灰色像素,不再对其做任何处理。
通过提出的一组新的不等式,运用上述8个不等式从图像中选出近灰色点,需要逐个读取图像中的像素,获取每个像素的YCbCr值,然后计算这个像素的YCbCr值是否符合这8个不等式,若都符合,则认为它是近灰色像素,将其发给后续的执行色温估计算法的算法模块;若不符合其中任何一个不等式,则认为这个像素不是近灰色像素,不再对其做任何处理。这样以使在各种色温、各种照度时能够选出标准色卡图像中亮度最高的3个灰色色块(位置为11、12、13的色块)中的大多数像素,同有效避免了大量误选彩色色块(位置为21~46的色块)中的像素,为后续算法提供了更全面、更准确的原始色差信息。
优选地,如果从目标图像中获取的像素值为RGB值,则将RGB值转换为YCbCr值,其转换公式如下:
Y=0.299*R+0.587*G+0.114*B
Cb=-0.1687*R-0.3313*G+0.5*B
Cr=0.5*R-0.4187*G-0.0813*B
通过进行RGB值转换为YCbCr值,使像素的色彩特征更易于通过分析各分量数值关系的方式加以提取。
优选地,在步骤S3中判断一个图像像素是否近灰色像素的过程具体包括以下步骤:
S301:如图4(a)所示,不等式(1)、(2)、(3)、(4)在CbCr平面上画出了一个φ1<Cr<φ2、φ3<Cb<φ4的矩形。实际运算中,针对当前像素的Cr、Cb值计算不等式(1)、(2)、(3)、(4)是否都成立,如果都成立则符合,对此像素执行下一步运算;否则不符合,跳过此像素,读取下一个像素并从不等式(1)开始判断。
S302:如图4(b)所示,不等式(5)从图4(a)中矩形上挖掉了左右两部分,即|Cr|-|Cb|≥φ5的部分,使其成为一个两侧内陷的九边形(图4(b)中打上剖面线的部分)。实际运算中,针对当前像素的Cr、Cb值计算下列不等式Cr-Cb<φ5(Cb>0,Cr>0)、-Cr-Cb<φ5(Cb>0,Cr<0)、Cr+Cb<φ5(Cb<0,Cr>0)和-Cr+Cb<φ5(Cb<0,Cr<0)是否同时成立,如果同时成立则符合,对此像素执行下一步运算;否则不符合,跳过此像素,读取下一个像素并从不等式(1)开始判断。
S303:如图4(c)所示,不等式(6)划定的是CbCr平面上位于直线Cb=φ6–Cr、Cb=-φ6–Cr之间的区域,取其与上述九边形的交集,切掉它的两个角,在CbCr平面上得到一个相对较窄的十一边形(见图4(c)中打上剖面线的部分)。实际运算中,针对当前像素的Cr、Cb值计算不等式Cb+Cr<φ6和Cb+Cr>-φ6是否同时成立,如果同时成立则符合,对此像素执行下一步运算;否则不符合,跳过此像素,读取下一个像素并从不等式(1)开始判断。
S304:如图4(d)所示,不等式(7)和(8)在YCbCr空间中隔出了一个Y值介于φ7、φ8之间的层状空间,结合不等式(1)至(6),最终划定的近灰色点区域为YCbCr空间中以图4(c)所示十一边形为底面、底面到Y=0的平面的距离为φ8、高度为φ7–φ8的十一棱柱。实际运算中,针对当前像素的Y值计算不等式Y<φ7和Y>φ8是否同时成立,如果同时成立则符合,判定此像素是近灰色像素,将其送往后续的算法模块;否则不符合,跳过此像素,读取下一个像素并从不等式(1)开始判断。
重复上述步骤S301至步骤S304直至判断完图像中的全部像素,选出所有近灰色像素、发往后续的算法模块。近灰色像素的选取算法,即由不等式(1)~(8)共同决定了位于YCbCr空间中的闭合区域,位于此区域之内的点被判定为近灰色像素,之外的点被判定为非近灰色像素。图4(a)至图4(d)中用到的φ1至φ8采取典型值(φ1=-12,φ2=50,φ3=-50,φ4=15,φ5=4,φ6=25,φ7=250,φ8=110)。
通过对图像像素的YCbCr值进行逐步排除的方法确定是否为近灰色像素,由不等式(1)~(8)共同决定了位于YCbCr空间中的闭合区域,位于此区域之内的点被判定为近灰色像素,之外的点被判定为非近灰色像素,确保能够选出标准色卡中亮度最高的3个灰色色块中的大多数像素,并且避免了大量误选彩色色块中的像素,实现了应选尽选、不应选不选,为后续算法提供了更全面、更准确的原始色差信息。
为了确定参数φ1至φ8的值,需要测试摄像机中自动白平衡模块之前的“图像采集-处理***”的特性,以此为基础对这8个参数进行计算、调整。优选地,所述门限参数的确定过程为:
1)在各种色温、照度下拍摄标准色卡,在摄像机中自动平衡模块入口处各截取一帧原始图像;
2)针对每帧图像,计算位于各色块中部的若干像素的Y算术平均值、Cb算术平均值、Cr算术平均值,得到24组平均值;
3)将各个平均值存储在统计表中,所述统计表的格式参见附表1和附表2,附表1和附表2例示了摄像机中自动平衡模块入口处所截取图像各色块的Y、Cb、Cr数值与色温、照度的关系,分别对应于A光源和D75光源,但是统计表中实际存储的数据对应的光源不限于附表1和附表2所示的A光源和D75光源这两种光源,
附表1:
附表2:
在附表1和附表2中,每个“色温--照度”组合用于标识1列YCrCb平均值并对应于此光照条件下拍摄的一幅图像,行号、列号对应于图像中各色块的位置编号;
4)遍历统计表中行标号为1、列标号为1、2、3的各色块(即亮度最高的3个近灰色色块)在各种色温、照度下的Y、Cr、Cb值;
5)对min(Cr)、max(Cr)、min(Cb)、max(Cb)、max(|Cr|-|Cb|)、max(|Cb+Cr|)、max(Y)和min(Y)进行统计;
6)根据原始图像各色块中Y、Cr、Cb值的离散情况,将max(Cr)、max(Cb)、max(|Cr|-|Cb|)、max(|Cb+Cr|)和max(Y)分别加上一个余量ω,将min(Cr)、min(Cb)和min(Y)分别减去一个余量ω,将调整后的min(Cr)、max(Cr)、min(Cb)、max(Cb)、max(|Cr|-|Cb|)、max(|Cb+Cr|)、max(Y)和min(Y)分别作为φ1、φ2、φ3、φ4、φ5、φ6、φ7和φ8的初始值,其中,余量ω的取值一般在2~5之间,各极值采用的ω值不必相同;
7)对获取的上述门限参数进行优化处理,确定φ1、φ2、φ3、φ4、φ5、φ6、φ7和φ8门限参数的最终值。
优选地,所述门限参数的优化处理过程为:
(1)将φ1至φ8的初始值作为不等式(1)至(8)中φ1至φ8的值,读取在摄像机中自动平衡模块入口处截取的第一帧原始图像;
(2)执行步骤S1至S3选取当前图像中的近灰色像素;
(3)对每个近灰色像素,将其在图像中的位置坐标与24个色块的边界线坐标进行对比,确定其在哪个色块中;
(4)统计当前图像的近灰色像素总数N,统计各色块中近灰色像素的个数Nij(i、j为爱色丽24色标准色卡中色块坐标编号,i=1、2、3、4,j=1、2、3、4、5、6);
(5)判断Σ(N21~N46)/N是否大于门限值δ?如果是则进入下一步,否则转入步骤11,其中,Σ(N21~N46)=N21+N22+...+N26+N31+N32+...+N46,门限值δ缺省值可选0.1,实际应用中依据***需求、后续算法模块的需求予以调整;
(6)遍历Nij(i=2、3、4),找出Nij值最大的一个色块;
(7)根据此色块在图像中的位置、其所属图像的色温、照度确定其在统计表中的位置,获取其Y、Cr、Cb值;
(8)将此Y、Cr、Cb值分别代入不等式(1)~(8)中,找出最接近当前φi(i=1、2、…、8)值的不等式;
(9)修改该φi(i=1、2、…、8)的值,使不等式不再成立,并留有余量;
(10)将修改后φ1至φ8的值作为不等式(1)至(8)中φ1至φ8的值,并转入步骤(2);
(11)是否已经遍历所有在摄像机中自动平衡模块入口处截取的原始图像?如果没有则进入步骤(12),如果是则进入步骤(13),
(12)读取在摄像机中自动平衡模块入口处截取的下一帧原始图像,并转入步骤(2);
(13)确定当前φ1至φ8的值为φ1、φ2、φ3、φ4、φ5、φ6、φ7和φ8门限参数的最终值。
通过上述对门限参数进行确定以及对门限参数的优化,进一步提高了图像近灰色像素选取算法的准确性,更大程度地确保在各种色温、各种照度时能够选出标准色卡图像中亮度最高的3个灰色色块中的大多数像素,而且有效避免了大量误选彩色色块中的像素,为后续算法提供了更全面、更准确的原始色差信息。
从具体实施的角度出发,在此提供一种采用上述图像近灰色像素选取算法的自动白平衡算法,其特征是,包括以下步骤:
(1)设置摄像机的初始通道增益:蓝色增益μ和红色增益v;
(2)读取采集图像中的像素,并利用所述图像近灰色像素选取算法选出近灰色像素;
(3)将选出近灰色像素的Cb值和Cr值分别累加到ΣCb和ΣCr中,同时记录近灰色像素的个数N,Cb’=ΣCb/N、Cr’=ΣCr/N,
(4)判断|Cb’|和|Cr’|是否均小于σ,如果|Cb’|<σ&|Cr’|<σ则摄像机采用当前通道增益,否则进行通道增益调整并重复执行步骤(2)至步骤(4)直至|Cb’|<σ&|Cr’|<σ为止,其中,σ为预设的门限值,用于判断Cb’、Cr’的值是否接近0。
通过这一采用本发明所述的图像近灰色像素选取算法的自动白平衡算法,能够在宽色温范围和多种照度环境中实现白平衡的目的。
优选地,所述通道增益调整过程包括以下步骤:
(1)判断|Cb’|是否大于|Cr’|,如果|Cb’|>|Cr’|则进入步骤(2),否则转入步骤(3);
(2)判断Cb’是否大于零,如果Cb’>0则μ=μ-λ,否则μ=μ+λ;
(3)判断Cr’是否大于零,如果Cr’>0则v=v-λ,否则v=v+λ;
其中,λ为调节步长,可以为固定值,也可以动态调节,由具体算法确定。
通过自动通道增益调整来自动调整白平衡,以更好的达到白平衡的目的。
以上所述只是本发明的优选实施方式,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也被视为本发明的保护范围。
Claims (7)
1.一种应用于自动白平衡算法的图像近灰色像素选取算法,其特征是,包括以下步骤:
S1:读取目标图像中的像素,获取每个像素的YCbCr值;
S2:将获取图像像素的YCbCr值代入下列不等式:
Cr>φ1 (1)
Cr<φ2 (2)
Cb>φ3 (3)
Cb<φ4 (4)
|Cr|-|Cb|<φ5 (5)
|Cb+Cr|<φ6 (6)
Y<φ7 (7)
Y>φ8 (8)
式中,Y、Cb、Cr为图像色像素,φ1、φ2、φ3、φ4、φ5、φ6、φ7、φ8为门限参数,φ1<φ2,φ3<φ4,φ8<φ7;
S3:从图像中选出近灰色像素:如果图像像素的YCbCr值符合步骤S2中所有的不等式,则认为它是近灰色像素,并将其发给后续算法模块进行色温估计;如果图像像素的YCbCr值不符合步骤S2中所有不等式中任何一个不等式,则认为这个像素不是近灰色像素,不再对其做任何处理。
2.根据权利要求1所述的一种应用于自动白平衡算法的图像近灰色像素选取算法,其特征是,如果从目标图像中获取的像素值为RGB值,则将RGB值转换为YCbCr值。
3.根据权利要求1所述的一种应用于自动白平衡算法的图像近灰色像素选取算法,其特征是,在步骤S3中判断一个图像像素是否近灰色像素的过程具体包括以下步骤:
S301:判断该图像像素的YCbCr值是否符合不等式(1)、不等式(2)、不等式(3)和不等式(4),如果φ1<Cr<φ2且φ3<Cb<φ4则进入下一步,否则退出;
S302:判断该图像像素的YCbCr值是否符合不等式(5),如果|Cr|-|Cb|≥φ5则进入下一步,否则退出;
S303:判断该图像像素的YCbCr值是否符合不等式(6),如果-φ6<Cb+Cr<φ6则进入下一步,否则退出;
S304:判断该图像像素的YCbCr值是否符合不等式(7)和不等式(8),如果φ8<Y<φ7则判定该图像像素是近灰色像素,否则退出。
4.根据权利要求1所述的一种应用于自动白平衡算法的图像近灰色像素选取算法,其特征是,所述门限参数的确定过程为:
1)在各种色温、照度下拍摄标准色卡,在摄像机中自动平衡模块入口处各截取一帧原始图像;
2)针对每帧图像,计算位于各色块中部的若干像素的Y算术平均值、Cb算术平均值、Cr算术平均值,得到24组平均值;
3)将各个平均值存储在统计表中,所述统计表的格式参见附表1和附表2,附表1和附表2例示了摄像机中自动平衡模块入口处所截取图像各色块的Y、Cb、Cr数值与色温、照度的关系,分别对应于A光源和D75光源,但是统计表中实际存储的数据对应的光源不限于A光源和D75光源这两种光源,
附表1:
附表2:
在附表1和附表2中,每个“色温--照度”组合用于标识1列YCrCb平均值并对应于此光照条件下拍摄的一幅图像,行号、列号对应于图像中各色块的位置编号;
4)遍历统计表中行标号为1、列标号为1、2、3的各色块在各种色温、照度下的Y、Cr、Cb值;
5)对min(Cr)、max(Cr)、min(Cb)、max(Cb)、max(|Cr|-|Cb|)、max(|Cb+Cr|)、max(Y)和min(Y)进行统计;
6)根据原始图像各色块中Y、Cr、Cb值的离散情况,将max(Cr)、max(Cb)、max(|Cr|-|Cb|)、max(|Cb+Cr|)和max(Y)分别加上一个余量ω,将min(Cr)、min(Cb)和min(Y)分别减去一个余量ω,将调整后的min(Cr)、max(Cr)、min(Cb)、max(Cb)、max(|Cr|-|Cb|)、max(|Cb+Cr|)、max(Y)和min(Y)分别作为φ1、φ2、φ3、φ4、φ5、φ6、φ7和φ8的初始值,其中,余量ω的取值一般在2~5之间,各极值采用的ω值不必相同;
7)对获取的上述门限参数进行优化处理,确定φ1、φ2、φ3、φ4、φ5、φ6、φ7和φ8门限参数的最终值。
5.根据权利要求4所述的一种应用于自动白平衡算法的图像近灰色像素选取算法,其特征是,所述门限参数的优化处理过程为:
(1)将φ1至φ8的初始值作为不等式(1)至(8)中φ1至φ8的值,读取在摄像机中自动平衡模块入口处截取的第一帧原始图像;
(2)执行步骤S1至S3选取当前图像中的近灰色像素;
(3)对每个近灰色像素,将其在图像中的位置坐标与24个色块的边界线坐标进行对比,确定其在哪个色块中;
(4)统计当前图像的近灰色像素总数N,统计各色块中近灰色像素的个数Nij,i、j为爱色丽24色标准色卡中色块坐标编号,i=1、2、3、4,j=1、2、3、4、5、6;
(5)判断Σ(N21~N46)/N是否大于门限值δ?如果是则进入下一步,否则转入步骤11,其中,Σ(N21~N46)=N21+N22+...+N26+N31+N32+...+N46;
(6)遍历Nij,找出Nij值最大的一个色块,i=2、3、4;
(7)根据此色块在图像中的位置、其所属图像的色温、照度确定其在统计表中的位置,获取其Y、Cr、Cb值;
(8)将此Y、Cr、Cb值分别代入不等式(1)~(8)中,找出最接近当前φi值的不等式;
(9)修改该φi的值,使不等式不再成立,并留有余量,i=1、2、…、8;
(10)将修改后φ1至φ8的值作为不等式(1)至(8)中φ1至φ8的值,并转入步骤(2);
(11)是否已经遍历所有在摄像机中自动平衡模块入口处截取的原始图像?如果没有则进入步骤(12),如果是则进入步骤(13),
(12)读取在摄像机中自动平衡模块入口处截取的下一帧原始图像,并转入步骤(2);
(13)确定当前φ1至φ8的值为φ1、φ2、φ3、φ4、φ5、φ6、φ7和φ8门限参数的最终值。
6.一种采用上述权利要求所述图像近灰色像素选取算法的自动白平衡算法,其特征是,包括以下步骤:
(1)设置摄像机的初始通道增益:蓝色增益μ和红色增益v;
(2)读取采集图像中的像素,并利用所述图像近灰色像素选取算法选出近灰色像素;
(3)将选出近灰色像素的Cb值和Cr值分别累加到ΣCb和ΣCr中,同时记录近灰色像素的个数N,Cb’=ΣCb/N、Cr’=ΣCr/N,
(4)判断|Cb’|和|Cr’|是否均小于σ,如果|Cb’|<σ&|Cr’|<σ则摄像机采用当前通道增益,否则进行通道增益调整并重复执行步骤(2)至步骤(4)直至|Cb’|<σ&|Cr’|<σ为止,其中,σ为预设的门限值。
7.根据权利要求4所述的一种自动白平衡算法,其特征是,所述通道增益调整过程包括以下步骤:
(1)判断|Cb’|是否大于|Cr’|,如果|Cb’|>|Cr’|则进入步骤(2),否则转入步骤(3);
(2)判断Cb’是否大于零,如果Cb’>0则μ=μ-λ,否则μ=μ+λ;
(3)判断Cr’是否大于零,如果Cr’>0则v=v-λ,否则v=v+λ;
其中,λ为调节步长。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510362720.7A CN104954772B (zh) | 2015-06-26 | 2015-06-26 | 一种应用于自动白平衡算法的图像近灰色像素选取算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510362720.7A CN104954772B (zh) | 2015-06-26 | 2015-06-26 | 一种应用于自动白平衡算法的图像近灰色像素选取算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104954772A true CN104954772A (zh) | 2015-09-30 |
CN104954772B CN104954772B (zh) | 2017-05-10 |
Family
ID=54169071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510362720.7A Active CN104954772B (zh) | 2015-06-26 | 2015-06-26 | 一种应用于自动白平衡算法的图像近灰色像素选取算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104954772B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106131526A (zh) * | 2016-07-13 | 2016-11-16 | 凌云光技术集团有限责任公司 | 一种基于rgb空间的白平衡处理方法及装置 |
CN108093234A (zh) * | 2017-12-29 | 2018-05-29 | 努比亚技术有限公司 | 一种图像处理方法、终端及存储介质 |
CN109089096A (zh) * | 2018-07-27 | 2018-12-25 | 江苏理工学院 | 一种自适应的布匹色差检测抗光照干扰方法 |
WO2019227355A1 (zh) * | 2018-05-30 | 2019-12-05 | 华为技术有限公司 | 一种图像处理方法及装置 |
CN112204957A (zh) * | 2019-09-20 | 2021-01-08 | 深圳市大疆创新科技有限公司 | 白平衡处理方法和设备、可移动平台、相机 |
US10918884B2 (en) | 2016-03-09 | 2021-02-16 | Reflexion Medical, Inc. | Fluence map generation methods for radiotherapy |
CN114286476A (zh) * | 2020-09-27 | 2022-04-05 | 深圳市零壹视讯科技有限公司 | 现场灯光rgb参数调整方法 |
CN116029936A (zh) * | 2023-01-31 | 2023-04-28 | 北京小米移动软件有限公司 | 图像的修正方法及装置、电子设备和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050007463A1 (en) * | 2003-07-07 | 2005-01-13 | Yi-Shen Xia | Rapid white balance method for color digital images |
CN1867079A (zh) * | 2005-11-07 | 2006-11-22 | 华为技术有限公司 | 一种白平衡处理方法和视频设备 |
CN101193316A (zh) * | 2006-11-21 | 2008-06-04 | 安凯(广州)软件技术有限公司 | 一种自适应白平衡校正方法 |
CN101873504A (zh) * | 2009-04-27 | 2010-10-27 | 倚强科技股份有限公司 | 自动白平衡校正方法 |
CN103037224A (zh) * | 2012-12-07 | 2013-04-10 | 珠海全志科技股份有限公司 | 图像白平衡处理方法及装置 |
CN103227928A (zh) * | 2013-03-29 | 2013-07-31 | 华为技术有限公司 | 白平衡的调整方法及装置 |
CN103491357A (zh) * | 2013-10-14 | 2014-01-01 | 旗瀚科技有限公司 | 一种图像传感器白平衡处理方法 |
-
2015
- 2015-06-26 CN CN201510362720.7A patent/CN104954772B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050007463A1 (en) * | 2003-07-07 | 2005-01-13 | Yi-Shen Xia | Rapid white balance method for color digital images |
CN1867079A (zh) * | 2005-11-07 | 2006-11-22 | 华为技术有限公司 | 一种白平衡处理方法和视频设备 |
CN101193316A (zh) * | 2006-11-21 | 2008-06-04 | 安凯(广州)软件技术有限公司 | 一种自适应白平衡校正方法 |
CN101873504A (zh) * | 2009-04-27 | 2010-10-27 | 倚强科技股份有限公司 | 自动白平衡校正方法 |
CN103037224A (zh) * | 2012-12-07 | 2013-04-10 | 珠海全志科技股份有限公司 | 图像白平衡处理方法及装置 |
CN103227928A (zh) * | 2013-03-29 | 2013-07-31 | 华为技术有限公司 | 白平衡的调整方法及装置 |
CN103491357A (zh) * | 2013-10-14 | 2014-01-01 | 旗瀚科技有限公司 | 一种图像传感器白平衡处理方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10918884B2 (en) | 2016-03-09 | 2021-02-16 | Reflexion Medical, Inc. | Fluence map generation methods for radiotherapy |
CN106131526A (zh) * | 2016-07-13 | 2016-11-16 | 凌云光技术集团有限责任公司 | 一种基于rgb空间的白平衡处理方法及装置 |
CN106131526B (zh) * | 2016-07-13 | 2018-11-16 | 凌云光技术集团有限责任公司 | 一种基于rgb空间的白平衡处理方法及装置 |
CN108093234A (zh) * | 2017-12-29 | 2018-05-29 | 努比亚技术有限公司 | 一种图像处理方法、终端及存储介质 |
WO2019227355A1 (zh) * | 2018-05-30 | 2019-12-05 | 华为技术有限公司 | 一种图像处理方法及装置 |
CN109089096A (zh) * | 2018-07-27 | 2018-12-25 | 江苏理工学院 | 一种自适应的布匹色差检测抗光照干扰方法 |
CN112204957A (zh) * | 2019-09-20 | 2021-01-08 | 深圳市大疆创新科技有限公司 | 白平衡处理方法和设备、可移动平台、相机 |
WO2021051382A1 (zh) * | 2019-09-20 | 2021-03-25 | 深圳市大疆创新科技有限公司 | 白平衡处理方法和设备、可移动平台、相机 |
CN114286476A (zh) * | 2020-09-27 | 2022-04-05 | 深圳市零壹视讯科技有限公司 | 现场灯光rgb参数调整方法 |
CN116029936A (zh) * | 2023-01-31 | 2023-04-28 | 北京小米移动软件有限公司 | 图像的修正方法及装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104954772B (zh) | 2017-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104954772B (zh) | 一种应用于自动白平衡算法的图像近灰色像素选取算法 | |
US8941755B2 (en) | Image processing device with automatic white balance | |
CN105959662B (zh) | 自适应白平衡调整方法及装置 | |
KR100304663B1 (ko) | 칼라조명색온도검출방법및장치 | |
JP4849818B2 (ja) | ホワイトバランス調整装置及び色識別装置 | |
KR101030393B1 (ko) | 디지털 영상의 화이트 밸런스 조정 장치 및 방법 | |
CN112752023B (zh) | 一种图像调整方法、装置、电子设备及存储介质 | |
RU2013114372A (ru) | Автоматическая обработка баланса белого с гибким выбором цветного пространства | |
US8243164B2 (en) | Method, apparatus, and system for selecting pixels for automatic white balance processing | |
CN104113744A (zh) | 全天候彩色摄像机白平衡处理方法及装置 | |
KR20100011772A (ko) | 자동 화이트 밸런스 조정 방법 | |
CN103108469A (zh) | 控制照明装置输出光的方法及装置、照明*** | |
CN107483906A (zh) | 图像的白平衡处理方法、装置和终端设备 | |
CN106357988A (zh) | 白平衡调整方法、装置和终端设备 | |
JP5225403B2 (ja) | ホワイトバランス調整装置及び色識別装置 | |
US20090244316A1 (en) | Automatic white balance control | |
CN108063934A (zh) | 图像处理方法及装置、计算机可读存储介质和计算机设备 | |
CN101873504B (zh) | 自动白平衡校正方法 | |
Jiang et al. | Auto white balance using the coincidence of chromaticity histograms | |
US20200029016A1 (en) | Moving object monitoring device and moving object monitoring system | |
Hussain et al. | Max-RGB based colour constancy using the sub-blocks of the image | |
JP4950582B2 (ja) | 映像信号処理装置 | |
KR20150106775A (ko) | 화이트 밸런스 보정 장치 및 방법 | |
KR101131109B1 (ko) | 센서 특성을 고려한 화이트 검출에 의한 자동 화이트밸런스 설정방법 | |
KR101075773B1 (ko) | 화이트 밸런스 조정 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Image adjacent-grey pixel selection algorithm applied to automatic white balance algorithm Effective date of registration: 20180827 Granted publication date: 20170510 Pledgee: Lai Shang bank Limited by Share Ltd Ji'nan Licheng sub branch Pledgor: Jovision Technology Co., Ltd. Registration number: 2018370000151 |
|
PE01 | Entry into force of the registration of the contract for pledge of patent right |