CN106504281B - 应用于cmos图像传感器的图像画质增强和滤波方法 - Google Patents
应用于cmos图像传感器的图像画质增强和滤波方法 Download PDFInfo
- Publication number
- CN106504281B CN106504281B CN201611095845.9A CN201611095845A CN106504281B CN 106504281 B CN106504281 B CN 106504281B CN 201611095845 A CN201611095845 A CN 201611095845A CN 106504281 B CN106504281 B CN 106504281B
- Authority
- CN
- China
- Prior art keywords
- pixel
- value
- image
- brightness
- filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 8
- 239000003086 colorant Substances 0.000 claims abstract description 28
- 230000009467 reduction Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000003672 processing method Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 4
- 238000005282 brightening Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 229920006395 saturated elastomer Polymers 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000002238 attenuated effect Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 238000011946 reduction process Methods 0.000 abstract 2
- 238000003384 imaging method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 230000010354 integration Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明应用于CMOS图像传感器的图像画质增强和滤波方法，对图像传感器输出的原始Bayer数据进行插值处理，获得三基色RGB空间的像素值；将三基色RGB空间的像素值变换为YUV空间；对Y通道的对比度进行调节；对U和V通道的饱和度进行调节；然后，进行混合降噪处理；最后，再对Y通道进行边缘锐化处理后，输出图像后续处理数据；其中，所述三基色RGB是指红、绿、蓝三基色；所述YUV空间是指色度空间，其中，Y表示亮度，U、V表示色差。本发明应的有益技术效果是采用流水级设计思想，未对图像数据进行存储，只对插值后的Bayer图像数据进行了一维空间图像增强和降噪处理，其技术处理性能较好，复杂度低，利于硬件实现且占用芯片资源较少。
Description
技术领域
本发明涉及到数字图像处理技术领域，特别涉及到一种应用于CMOS图像传感器的图像画质增强和滤波方法。
背景技术
单片彩色互补型金属氧化物半导体CMOS图像传感器经过CFA(Color FilterArray)阵列感光后，将实际场景的光信号通过像素单元转化为电信号，在经过一系列的模拟电路和数字图像处理后，会不可避免得引入干扰噪声和畸变失真，导致图像质量下降，在影响视觉效果的同时，不利于后续的图像编解码和传输。因此，为了避免图像失真，真实地显示图像信息，必须对噪声图像进行降噪和增强处理。
现有技术单片传感器上集成的数字图像处理技术通常采用较为复杂的处理方法和处理架构，由于其方法复杂且占用资源较多，不利于集成。显然，现有技术单片传感器上集成的数字图像处理方法存在着方法复杂、占用资源较多且不利于集成等问题。
发明内容
为解决现有技术单片传感器上集成的数字图像处理方法存在的方法复杂、占用资源较多且不利于集成等问题，本发明提出一种应用于CMOS图像传感器的图像画质增强和滤波方法。
本发明应用于CMOS图像传感器的图像画质增强和滤波方法，对图像传感器输出的原始Bayer数据进行插值处理，获得三基色RGB空间的像素值；将三基色RGB空间的像素值变换为YUV空间的像素值；对Y通道的对比度进行调节，增强图像的明暗程度；对U和V通道的饱和度进行调节，增强图像色彩鲜艳程度；然后，进行混合降噪处理，以去除图像处理带来的噪声；最后，再对Y通道进行边缘锐化处理后，输出图像后续处理数据；其中，所述三基色R、G、B是指红、绿、蓝三基色；所述YUV空间是指色度空间，其中，Y表示亮度，U、V表示色差。
进一步的，所述将三基色RGB空间的像素值变换为YUV空间的像素值，包括，采用下列矩阵运算将三基色RGB空间的像素值变换为YUV空间的像素值：
式中，Y为亮度；U、V为色差；axy表示空间转换系数；R、G、B分别为红、绿、蓝三基色。
进一步的，所述对Y通道的对比度进行调节，增强图像的明暗程度；包括以下步骤：
S101、将当前帧按各灰度级进行分段，并统计各段的像素点数量；
S102、根据像素阵列大小及灰度级，计算出当前帧单位亮度的宽度；所述单位亮度的宽度是指像素阵列大小除以灰度级后得到的值；
S103、计算各段像素数量与单位亮度的宽度比例，并计算这个比例的累积值；
S104、根据总段数计算调整斜率值K，所述调整斜率值K即为亮度宽度比例与总段数的比值；其中，所述亮度宽度比例为各段的单位亮度的宽度的数值；
S105、采用下式计算新直方图中各段中灰度级像素点的新值F(x,y)：
F(x,y)＝(f(x,y)-f0)*K+g0，
式中，F(x,y)为上式计算后的像素点新值，f(x,y)为计算前像素值，f0为每段的初值，K为亮度宽度比例与总段数的比值，g0为各段亮度宽度比例的累积值；其中，所述亮度宽度比例为各段的单位亮度的宽度的数值；
S106、重复执行步骤S105直至新直方图中各段中灰度级像素点的新值F(x,y)计算完毕，完成亮度区间的重新分布，即增强图像的明暗程度。
进一步的，所述对U和V通道的饱和度进行调节，增强图像色彩鲜艳程度；包括：
S201、设定饱和度S最小阈值Thmin和最大值Thmax；所述饱和度S最小阈值Thmin是指饱和度处于非彩色情况，所述饱和度S最大值Thmax是指饱和度处于饱和情况；
S202、如果饱和度S小于等于最小阈值Thmin或者大于等于最大值Thmax，则当前像素点的饱和度保持不变；
S203、如果饱和度S在Thmin和Thmax之间，则采用线性法调节当前像素点的饱和度，即采用下式进行调节：
M(x,y)＝λ*m(x,y)
式中，M(x,y)为上式计算后的像素点新值，m(x,y)为计算前像素值，λ为调节因子，取值范围为a≤λ≤b，a和b为设定的正常数。
进一步的，所述进行混合降噪处理，以去除图像处理带来的噪声；包括，只对当前像素点周围一维方向邻域内的4个像素进行去噪声处理，并且对亮度和色度信号采用不同的滤波方法；其中，
对亮度的滤波处理方法包括以下步骤：
S301、采集水平方向一维空间的5个像素值，以最当中的一个像素为当前像素，求出当前像素的亮度值分别与两个最近邻像素之间的差al和a2，两个最近邻的亮度值分别与相应次近邻像素之间的绝对差bl和b2；
S302、采用下式计算当前像素的滤波强度：
a1＝X(n)-X(n-1)
a2＝X(n)-X(n+1)
b1＝|X(n+1)-X(n+2)|
b2＝|X(n-1)-X(n-2)|
式中，a1和a2为最近邻像素之间的差，b1和b2为最近邻和次近邻像素之间的绝对差，X(n)为当前像素，X(n±1)为两个最近邻的像素，X(n±2)为两个次近邻的像素；
S303、判断差值bl和b2是否均为0，决定对当前像素进行哪种程度的滤波处理；若差值bl和b2有一个为0，另一个不为0，则对当前像素进行中等强度的滤波处理；若差值bl和b2都不为0，则对当前像素进行最高强度的滤波处理；其余情况，对当前像素不进行滤波处理；
S304、将灰度级别[0，max_pixel]设定为三个区间，其中，max_pixel为像素最大灰度级；
S305、判断差值al和a2的幅度亮化处理后范围落在灰度级别[0，max_pixel]中的哪个区间；其中，差值al和a2落在灰度级别的第一区间，不论bl或b2是否为0，对当前像素不进行滤波处理；差值al和a2落在灰度级别的第二区间，bl或b2有一个为0，对当前像素进行中等强度的滤波处理；差值al和a2落在灰度级别的三区间，差值bl和b2都不为0，则对当前像素进行最高强度的滤波处理；若出现以上三种情况之外的情况，按照差值al和a2落在的灰度区间判断滤波强度，而不考虑差值bl或b2；
S306、根据滤波强度的需要，设计不同强度的滤波器FIR，Finite ImpulseReponse，每个滤波器均三节滤波器，使用不同的脉冲响应系数，滤波器的表达式为：
D(n)＝(m1*c(n-1)+m2*c(n)+m3*c(n+1))/m
式中，D(n)为计算后的像素新值；m1、m2、m3为根据需要设置的不同响应强度的取值，使当前输入像素的幅度依次衰减为原来的倍；m为m1、m2和m3之和，c(n)为当前像素；c(n±1)为两个最近邻的像素；
其中，对当前像素进行中等强度的滤波处理时，m1、m2、m3取值分别为3、10和3，对当前像素进行最高强度的滤波处理时，m1、m2、m3取值分别为5、6和5；
S307、根据步骤S303和S305的判断，分别采用S306设定的滤波器对当前像素进行滤波处理；
对色度的滤波处理方法采用加权中值滤波方法，包括以下步骤：
S401、采集水平方向一维空间的5个像素值，以最当中的一个像素为当前像素；
S402、对5个像素按照像素灰度值进行排序处理；
S403、采用排序在中间的像素和最近邻的两个像素进行处理，采用下式进行中值计算，
y(n)＝(X'(n-1)+2*X'(n)+X'(n+1))/4，
式中，y(n)为灰度值中值，X'(n)为排序在中间的像素的灰度值，X'(n±1)为排序在中间像素的左、右两边最近邻的两个像素的灰度值；
S404、采用灰度值中值y(n)代替当前像素原来的灰度值。
进一步的，所述对Y通道进行边缘锐化处理，采用基于Laplace算子的锐化掩膜方法进行处理，即输入图像s(x,y)经过Laplace算子处理的值，乘以比例因子后与输入图像s(x,y)相加，得到锐化的输出图像G(x,y)；其中，方法表达式为：
G(x,y)＝s(x,y)+λ*I(x,y)
式中，λ为锐化因子，取值范围为[0.1,0.9]，λ取值越大，锐化增强程度越大；所述Laplace算子表达式为：
针对Y通道一维空间的像素点而言，I(x,y)表达式为：
I(x,y)＝2*s(x,y)-[s(x-1,y)+s(x+1,y)]
式中，I(x,y)为Laplace处理后的图像，s(x,y)当前图像，s(x-1,y)和s(x+1,y)分别表示当前图像两侧的最邻近图像。
本发明应用于CMOS图像传感器的图像画质增强和滤波方法的有益技术效果是采用流水级设计思想，未对图像数据进行存储，只对插值后的Bayer图像数据进行了一维空间图像增强和降噪处理，其技术处理性能较好，复杂度低，利于硬件实现且占用芯片资源较少。
附图说明
附图1是发明应用于CMOS图像传感器的图像画质增强和滤波方法的步骤示意图；
附图2是本发明对Y通道的对比度进行调节的步骤示意图；
附图3是本发明对亮度的滤波处理方法的步骤示意图；
附图4是本发明对Y通道进行边缘锐化处理的流程示意图。
下面结合附图及具体实施例对本发明应用于CMOS图像传感器的图像画质增强和滤波方法作进一步的说明。
具体实施方式
以下结合附图对本发明的具体实施过程进行详细说明，以使本发明的内容更加清楚易懂。当然本发明并不局限于该具体实施例，本领域内的技术人员所熟知的一般替换也涵盖在本发明的保护范围内。
附图1是发明应用于CMOS图像传感器的图像画质增强和滤波方法的步骤示意图，由图可知，本发明应用于CMOS图像传感器的图像画质增强和滤波方法，对图像传感器输出的原始Bayer数据进行插值处理，获得三基色RGB空间的像素值；将三基色RGB空间的像素值变换为YUV空间的像素值；对Y通道的对比度进行调节，增强图像的明暗程度；对U和V通道的饱和度进行调节，增强图像色彩鲜艳程度；然后，进行混合降噪处理，以去除图像处理带来的噪声；最后，再对Y通道进行边缘锐化处理后，输出图像后续处理数据；其中，所述三基色R、G、B是指红、绿、蓝三基色；所述YUV空间是指色度空间，其中，Y表示亮度，U、V表示色差。可见，本发明方法和架构基于YUV空间域，对图像数据进行了一维空间图像增强和降噪处理，处理性能较好，复杂度低，利于硬件实现且占用芯片资源较少。本发明的技术方案采用流水级设计思想，基于YUV空间域，对插值后的Bayer图像数据进行了一维空间图像增强和降噪处理，具体涉及：对各自独立的空间三基色进行空间转换，将RGB空间变换为YUV空间；在Y通道上用改进的直方图均衡化方法实现图像明暗程度的对比度增强调节，对U和V通道采用分段式线性调节方法实现饱和度调节；对Y通道进行不同响应强度的滤波器降噪，在UV通道进行加权中值滤波降噪，降低图像画质噪声，以满足后续处理对图像质量的需求；在Y通道上，采用基于Laplace算子的锐化掩膜进行锐化增强处理，以保证图像的细节清晰可见。
具体而言，所述将三基色RGB空间的像素值变换为YUV空间的像素值，包括，采用下列矩阵运算将三基色RGB空间的像素值变换为YUV空间的像素值：
式中，Y为亮度；U、V为色差；axy表示空间转换系数；R、G、B分别为红、绿、蓝三基色。RGB颜色空间是计算机中最常见的颜色空间，根据三基色原理，自然景物的彩色可以用三基色(RGB)分量来表示，三者的线性组合可以构造出各种颜色。由于RGB三分量的关联性很高，同样的数据常出现在每个分量中，可通过色度空间转换，用YUV代替RGB，其中Y表示亮度，U、V代表色差，将灰度转换成彩色的额外信息，这样就去掉了YUV之间的相关性，并可利用人眼的视觉特性，较多的舍弃彩色数据，相对完整得保留亮度数据。
附图2是本发明对Y通道的对比度进行调节的步骤示意图，由图可知，本发明所述对Y通道的对比度进行调节，增强图像的明暗程度；包括以下步骤：
S101、将当前帧按各灰度级进行分段，并统计各段的像素点数量；
S102、根据像素阵列大小及灰度级，计算出当前帧单位亮度的宽度；所述单位亮度的宽度是指像素阵列大小除以灰度级后得到的值；
S103、计算各段像素数量与单位亮度的宽度比例，并计算这个比例的累积值；
S104、根据总段数计算调整斜率值K，所述调整斜率值K即为亮度宽度比例与总段数的比值；其中，所述亮度宽度比例为各段的单位亮度的宽度的数值；
S105、采用下式计算新直方图中各段中灰度级像素点的新值F(x,y)：
F(x,y)＝(f(x,y)-f0)*K+g0，
式中，F(x,y)为上式计算后的像素点新值，f(x,y)为计算前像素值，f0为每段的初值，K为亮度宽度比例与总段数的比值，g0为各段亮度宽度比例的累积值；其中，所述亮度宽度比例为各段的单位亮度的宽度的数值；
S106、重复执行步骤S105直至新直方图中各段中灰度级像素点的新值F(x,y)计算完毕，完成亮度区间的重新分布，即增强图像的明暗程度。
可见，本发明采用改进的直方图均衡化方法进行对比度调整，即将一已知灰度概率密度分布的图像，经过某种变换，变成一幅具有均匀灰度概率密度分布的新图像，其结果是扩展了像元取值的动态范围，从而达到增强图像整体对比度的效果，即将灰度分布较密的部分进行区间拉伸，分布稀疏的部分则区间会被压缩，从而使图像对比度整体上得到较大增强。
另外，本发明所述对U和V通道的饱和度进行调节，增强图像色彩鲜艳程度；包括：
S201、设定饱和度S最小阈值Thmin和最大值Thmax；所述饱和度S最小阈值Thmin是指饱和度处于非彩色情况，所述饱和度S最大值Thmax是指饱和度处于饱和情况；
S202、如果饱和度S小于等于最小阈值Thmin或者大于等于最大值Thmax，则当前像素点的饱和度保持不变；
S203、如果饱和度S在Thmin和Thmax之间，则采用线性法调节当前像素点的饱和度，即采用下式进行调节：
M(x,y)＝λ*m(x,y)
式中，M(x,y)为上式计算后的像素点新值，m(x,y)为计算前像素值，λ为调节因子，取值范围为a≤λ≤b，a和b为设定的正常数。
附图3是本发明对亮度的滤波处理方法的步骤示意图，由图可知，本发明滤波算法通过检测当前相邻像素间幅度的变化，在尽量保存图像边缘的情况进行了噪声去除。对于YUV空间信号，为了减少芯片资源开销，采用只对当前像素点周围一维方向邻域内的4个像素进行去噪声处理，并且对亮度和色度信号采用不同的滤波方法。其中，所述进行混合降噪处理，以去除图像处理带来的噪声；包括，只对当前像素点周围一维方向邻域内的4个像素进行去噪声处理，并且对亮度和色度信号采用不同的滤波方法；其中，
对亮度的滤波处理方法包括以下步骤：
S301、采集水平方向一维空间的5个像素值，以最当中的一个像素为当前像素，求出当前像素的亮度值分别与两个最近邻像素之间的差al和a2，两个最近邻的亮度值分别与相应次近邻像素之间的绝对差bl和b2；
S302、采用下式计算当前像素的滤波强度：
a1＝X(n)-X(n-1)
a2＝X(n)-X(n+1)
b1＝|X(n+1)-X(n+2)|
b2＝|X(n-1)-X(n-2)|
式中，a1和a2为最近邻像素之间的差，b1和b2为最近邻和次近邻像素之间的绝对差，X(n)为当前像素，X(n±1)为两个最近邻的像素，X(n±2)为两个次近邻的像素；
S303、判断差值bl和b2是否均为0，决定对当前像素进行哪种程度的滤波处理；若差值bl和b2有一个为0，另一个不为0，则对当前像素进行中等强度的滤波处理；若差值bl和b2都不为0，则对当前像素进行最高强度的滤波处理；其余情况，对当前像素不进行滤波处理；
S304、将灰度级别[0，max_pixel]设定为三个区间，其中，max_pixel为像素最大灰度级；
S305、判断差值al和a2的幅度亮化处理后范围落在灰度级别[0，max_pixel]中的哪个区间；其中，差值al和a2落在灰度级别的第一区间，不论bl或b2是否为0，对当前像素不进行滤波处理；差值al和a2落在灰度级别的第二区间，bl或b2有一个为0，对当前像素进行中等强度的滤波处理；差值al和a2落在灰度级别的三区间，差值bl和b2都不为0，则对当前像素进行最高强度的滤波处理；若出现以上三种情况之外的情况，按照差值al和a2落在的灰度区间判断滤波强度，而不考虑差值bl或b2；
S306、根据滤波强度的需要，设计不同强度的滤波器FIR，Finite ImpulseReponse，每个滤波器均三节滤波器，使用不同的脉冲响应系数，滤波器的表达式为：
D(n)＝(m1*c(n-1)+m2*c(n)+m3*c(n+1))/m
式中，D(n)为计算后的像素新值；m1、m2、m3为根据需要设置的不同响应强度的取值，使当前输入像素的幅度依次衰减为原来的倍；m为m1、m2和m3之和，c(n)为当前像素；c(n±1)为两个最近邻的像素；
其中，对当前像素进行中等强度的滤波处理时，m1、m2、m3取值分别为3、10和3，对当前像素进行最高强度的滤波处理时，m1、m2、m3取值分别为5、6和5；
S307、根据步骤S303和S305的判断，分别采用S306设定的滤波器对当前像素进行滤波处理。
对于色调成分，因为人眼对色度信号的变化不太敏感，因此，采用加权中值滤波算法。加权中值滤波是一种局部平滑滤波技术，它对脉冲干扰和椒盐噪声等随机噪声的抑制效果比较好。对色度的滤波处理方法采用加权中值滤波方法，包括以下步骤：
S401、采集水平方向一维空间的5个像素值，以最当中的一个像素为当前像素；
S402、对5个像素按照像素灰度值进行排序处理；
S403、采用排序在中间的像素和最近邻的两个像素进行处理，采用下式进行中值计算，
y(n)＝(X'(n-1)+2*X'(n)+X'(n+1))/4，
式中，y(n)为灰度值中值，X'(n)为排序在中间的像素的灰度值，X'(n±1)为排序在中间像素的左、右两边最近邻的两个像素的灰度值；
S404、采用灰度值中值y(n)代替当前像素原来的灰度值。
附图4是本发明对Y通道进行边缘锐化处理的流程示意图，由图可知，为了增强图像的边缘和细节，采用基于Laplace算子的锐化掩膜算法进行处理，该方法简单易实现，图像锐化的效果较好，由于对噪声敏感，因此在滤波降噪后进行Y通道的边缘增强处理。
所述对Y通道进行边缘锐化处理，采用基于Laplace算子的锐化掩膜方法进行处理，即输入图像s(x,y)经过Laplace算子处理的值，乘以比例因子后与输入图像s(x,y)相加，得到锐化的输出图像G(x,y)；其中，方法表达式为：
G(x,y)＝s(x,y)+λ*I(x,y)
式中，λ为锐化因子，取值范围为[0.1,0.9]，λ取值越大，锐化增强程度越大；所述Laplace算子表达式为：
针对Y通道一维空间的像素点而言，I(x,y)表达式为：
I(x,y)＝2*s(x,y)-[s(x-1,y)+s(x+1,y)]
式中，I(x,y)为Laplace处理后的图像，s(x,y)当前图像，s(x-1,y)和s(x+1,y)分别表示当前图像两侧的最邻近图像。
显然，本发明应用于CMOS图像传感器的图像画质增强和滤波方法的有益技术效果是采用流水级设计思想，未对图像数据进行存储，只对插值后的Bayer图像数据进行了一维空间图像增强和降噪处理，其技术处理性能较好，复杂度低，利于硬件实现且占用芯片资源较少。
虽然本发明已以较佳实施例披露如上，但是本发明能够以很多不同于在此描述的其它方式来实施，因此本发明不受上述公开的具体实施例的限制，任何采用本发明的方法构思和技术方案进行的各种改进，或者未经改进直接应用于其它场合的，均在本发明的保护范围之内。
Claims (5)
1.一种应用于CMOS图像传感器的图像画质增强和滤波方法，其特征在于，对图像传感器输出的原始Bayer数据进行插值处理，获得三基色RGB空间的像素值；将三基色RGB空间的像素值变换为YUV空间的像素值；对Y通道的对比度进行调节，增强图像的明暗程度；对U和V通道的饱和度进行调节，增强图像色彩鲜艳程度；然后，进行混合降噪处理，以去除图像处理带来的噪声；最后，再对Y通道进行边缘锐化处理后，输出图像后续处理数据；其中，所述三基色R、G、B是指红、绿、蓝三基色；所述YUV空间是指色度空间，其中，Y表示亮度，U、V表示色差；其中，所述对Y通道的对比度进行调节，增强图像的明暗程度；包括以下步骤：
S101、将当前帧按各灰度级进行分段，并统计各段的像素点数量；
S102、根据像素阵列大小及灰度级，计算出当前帧单位亮度的宽度；所述单位亮度的宽度是指像素阵列大小除以灰度级后得到的值；
S103、计算各段像素数量与单位亮度的宽度比例，并计算这个比例的累积值；
S104、根据总段数计算调整斜率值K，所述调整斜率值K即为亮度宽度比例与总段数的比值；其中，所述亮度宽度比例为各段的单位亮度的宽度的数值；
S105、采用下式计算新直方图中各段中灰度级像素点的新值F(x,y)：
F(x,y)＝(f(x,y)-f0)*K+g0，
式中，F(x,y)为上式计算后的像素点新值，f(x,y)为计算前像素值，f0为每段的初值，K为亮度宽度比例与总段数的比值，g0为各段亮度宽度比例的累积值；其中，所述亮度宽度比例为各段的单位亮度的宽度的数值；
S106、重复执行步骤S105直至新直方图中各段中灰度级像素点的新值F(x,y)计算完毕，完成亮度区间的重新分布，即增强图像的明暗程度。
2.根据权利要求1所述应用于CMOS图像传感器的图像画质增强和滤波方法，其特征在于，所述将三基色RGB空间的像素值变换为YUV空间的像素值，包括，采用下列矩阵运算将三基色RGB空间的像素值变换为YUV空间：
式中，Y为亮度；U、V为色差；axy表示空间转换系数；R、G、B分别为红、绿、蓝三基色；空间转换系数axy中x和y的取值均为1～3。
3.根据权利要求1所述应用于CMOS图像传感器的图像画质增强和滤波方法，其特征在于，所述对U和V通道的饱和度进行调节，增强图像色彩鲜艳程度；包括：
S201、设定饱和度S最小阈值Thmin和最大值Thmax；所述饱和度S最小阈值Thmin是指饱和度处于非彩色情况，所述饱和度S最大值Thmax是指饱和度处于饱和情况；
S202、如果饱和度S小于等于最小阈值Thmin或者大于等于最大值Thmax，则当前像素点的饱和度保持不变；
S203、如果饱和度S在Thmin和Thmax之间，则采用线性法调节当前像素点的饱和度，即采用下式进行调节：
M(x,y)＝λ*m(x,y)
式中，M(x,y)为上式计算后的像素点新值，m(x,y)为计算前像素值，λ为调节因子，取值范围为a≤λ≤b，a和b为设定的正常数。
4.根据权利要求1所述应用于CMOS图像传感器的图像画质增强和滤波方法，其特征在于，所述进行混合降噪处理，以去除图像处理带来的噪声；包括，只对当前像素点周围一维方向邻域内的4个像素进行去噪声处理，并且对亮度和色度信号采用不同的滤波方法；其中，
对亮度的滤波处理方法包括以下步骤：
S301、采集水平方向一维空间的5个像素值，以最当中的一个像素为当前像素，求出当前像素的亮度值分别与两个最近邻像素之间的差al和a2，两个最近邻的亮度值分别与相应次近邻像素之间的绝对差bl和b2；
S302、采用下式计算当前像素的滤波强度：
a1＝X(n)-X(n-1)
a2＝X(n)-X(n+1)
b1＝|X(n+1)-X(n+2)|
b2＝|X(n-1)-X(n-2)|
式中，a1和a2为最近邻像素之间的差，b1和b2为最近邻和次近邻像素之间的绝对差，X(n)为当前像素，X(n±1)为两个最近邻的像素，X(n±2)为两个次近邻的像素；
S303、判断差值bl和b2是否均为0，决定对当前像素进行哪种程度的滤波处理；若差值bl和b2有一个为0，另一个不为0，则对当前像素进行中等强度的滤波处理；若差值bl和b2都不为0，则对当前像素进行最高强度的滤波处理；其余情况，对当前像素不进行滤波处理；
S304、将灰度级别[0，max_pixel]设定为三个区间，其中，max_pixel为像素最大灰度级；
S305、判断差值al和a2的幅度亮化处理后范围落在灰度级别[0，max_pixel]中的哪个区间；其中，差值al和a2落在灰度级别的第一区间，不论bl或b2是否为0，对当前像素不进行滤波处理；差值al和a2落在灰度级别的第二区间，bl或b2有一个为0，对当前像素进行中等强度的滤波处理；差值al和a2落在灰度级别的三区间，差值bl和b2都不为0，则对当前像素进行最高强度的滤波处理；若出现以上三种情况之外的情况，按照差值al和a2落在的灰度区间判断滤波强度，而不考虑差值bl或b2；
S306、根据滤波强度的需要，设计不同强度的滤波器FIR，Finite Impulse Reponse，每个滤波器均为三节滤波器，使用不同的脉冲响应系数，滤波器的表达式为：
D(n)＝(m1*c(n-1)+m2*c(n)+m3*c(n+1))/m
式中，D(n)为计算后的像素新值；m1、m2、m3为根据需要设置的不同响应强度的取值，使当前输入像素的幅度依次衰减为原来的倍；m为m1、m2和m3之和，c(n)为当前像素；c(n±1)为两个最近邻的像素；
其中，对当前像素进行中等强度的滤波处理时，m1、m2、m3取值分别为3、10和3，对当前像素进行最高强度的滤波处理时，m1、m2、m3取值分别为5、6和5；
S307、根据步骤S303和S305的判断，分别采用S306设定的滤波器对当前像素进行滤波处理；
对色度的滤波处理方法采用加权中值滤波方法，包括以下步骤：
S401、采集水平方向一维空间的5个像素值，以最当中的一个像素为当前像素；
S402、对5个像素按照像素灰度值进行排序处理；
S403、采用排序在中间的像素和最近邻的两个像素进行处理，采用下式进行中值计算，
y(n)＝(X'(n-1)+2*X'(n)+X'(n+1))/4，
式中，y(n)为灰度值中值，X'(n)为排序在中间的像素的灰度值，X'(n±1)为排序在中间像素的左、右两边最近邻的两个像素的灰度值；
S404、采用灰度值中值y(n)代替当前像素原来的灰度值。
5.根据权利要求1所述应用于CMOS图像传感器的图像画质增强和滤波方法，其特征在于，所述对Y通道进行边缘锐化处理，采用基于Laplace算子的锐化掩膜方法进行处理，即输入图像s(x,y)经过Laplace算子处理的值，乘以比例因子后与输入图像s(x,y)相加，得到锐化的输出图像G(x,y)；其中，方法表达式为：
G(x,y)＝s(x,y)+λ*I(x,y)
式中，λ为锐化因子，取值范围为[0.1,0.9]，λ取值越大，锐化增强程度越大；所述Laplace算子表达式为：
针对Y通道一维空间的像素点而言，I(x,y)表达式为：
I(x,y)＝2*s(x,y)-[s(x-1,y)+s(x+1,y)]
式中，I(x,y)为Laplace处理后的图像，s(x,y)当前图像，s(x-1,y)和s(x+1,y)分别表示当前图像两侧的最邻近图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611095845.9A CN106504281B (zh) | 2016-12-02 | 2016-12-02 | 应用于cmos图像传感器的图像画质增强和滤波方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611095845.9A CN106504281B (zh) | 2016-12-02 | 2016-12-02 | 应用于cmos图像传感器的图像画质增强和滤波方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106504281A CN106504281A (zh) | 2017-03-15 |
| CN106504281B true CN106504281B (zh) | 2019-01-22 |
Family
ID=58329526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611095845.9A Active CN106504281B (zh) | 2016-12-02 | 2016-12-02 | 应用于cmos图像传感器的图像画质增强和滤波方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106504281B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107240081A (zh) * | 2017-06-20 | 2017-10-10 | 长光卫星技术有限公司 | 夜景影像去噪与增强处理方法 |
| CN107871311A (zh) * | 2017-11-01 | 2018-04-03 | 中国电子科技集团公司第四十四研究所 | 一种应用于cmos图像传感器的图像增强和融合方法 |
| CN107886482B (zh) * | 2017-11-07 | 2020-06-05 | 深圳市华星光电半导体显示技术有限公司 | 改善Bayer图像对比度的方法及装置 |
| CN110390643B (zh) * | 2018-04-20 | 2022-04-26 | 杭州海康威视数字技术股份有限公司 | 一种车牌增强方法、装置及电子设备 |
| CN109859217B (zh) * | 2019-02-20 | 2020-12-29 | 厦门美图之家科技有限公司 | 人脸图像中毛孔区域的分割方法及计算设备 |
| CN110399703A (zh) * | 2019-04-02 | 2019-11-01 | 泰州市海陵区一马商务信息咨询有限公司 | 电子设备数据管理*** |
| CN110415816B (zh) * | 2019-07-26 | 2023-02-21 | 郑州大学 | 一种基于迁移学习的皮肤病临床图像多分类方法 |
| CN112287883B (zh) * | 2020-11-19 | 2021-06-15 | 金陵科技学院 | 基于emd与稀疏变换的无人设备用非线性抗干扰*** |
| CN113744294B (zh) * | 2021-08-09 | 2023-12-19 | 深圳曦华科技有限公司 | 图像处理方法及相关装置 |
| CN116309258B (zh) * | 2022-09-13 | 2023-11-24 | 瀚湄信息科技(上海)有限公司 | 一种基于cmos成像的内窥镜图像处理方法、装置和电子设备 |
| CN115661003B (zh) * | 2022-12-20 | 2023-09-12 | 睿视(天津)科技有限公司 | 一种图像增强控制方法及装置 |
| CN116152123B (zh) * | 2023-04-21 | 2023-09-19 | 荣耀终端有限公司 | 图像处理方法、电子设备及可读存储介质 |
| CN116912132B (zh) * | 2023-09-11 | 2023-12-26 | 归芯科技(深圳)有限公司 | Bayer域3DNR图像去噪方法及其装置 |
| CN117451830B (zh) * | 2023-10-26 | 2024-03-29 | 江阴市精成数控有限公司 | 荧光磁粉喷砂轴承工件缺陷检测*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7139022B1 (en) * | 2002-06-19 | 2006-11-21 | Neomagic Corp. | Edge enhancer for RGB-Beyer to YUV 4:2:0 converter with sharpened-Y feedback to U, V transformer |
| US7787026B1 (en) * | 2004-04-28 | 2010-08-31 | Media Tek Singapore Pte Ltd. | Continuous burst mode digital camera |
| CN103455979A (zh) * | 2013-07-16 | 2013-12-18 | 大连理工大学 | 一种低照度视频图像增强方法 |
| CN104156921A (zh) * | 2014-08-08 | 2014-11-19 | 大连理工大学 | 一种低照度或亮度不均图像的自适应图像增强方法 |
| CN104270570A (zh) * | 2014-10-17 | 2015-01-07 | 北京英泰智软件技术发展有限公司 | 双目摄像机及其图像处理方法 |
| CN104376534A (zh) * | 2014-10-17 | 2015-02-25 | 中国电子科技集团公司第四十四研究所 | Cmos图像传感器合并的低功耗实时降噪锐化预处理算法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7170529B2 (en) * | 2003-10-24 | 2007-01-30 | Sigmatel, Inc. | Image processing |
-
2016
- 2016-12-02 CN CN201611095845.9A patent/CN106504281B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7139022B1 (en) * | 2002-06-19 | 2006-11-21 | Neomagic Corp. | Edge enhancer for RGB-Beyer to YUV 4:2:0 converter with sharpened-Y feedback to U, V transformer |
| US7787026B1 (en) * | 2004-04-28 | 2010-08-31 | Media Tek Singapore Pte Ltd. | Continuous burst mode digital camera |
| CN103455979A (zh) * | 2013-07-16 | 2013-12-18 | 大连理工大学 | 一种低照度视频图像增强方法 |
| CN104156921A (zh) * | 2014-08-08 | 2014-11-19 | 大连理工大学 | 一种低照度或亮度不均图像的自适应图像增强方法 |
| CN104270570A (zh) * | 2014-10-17 | 2015-01-07 | 北京英泰智软件技术发展有限公司 | 双目摄像机及其图像处理方法 |
| CN104376534A (zh) * | 2014-10-17 | 2015-02-25 | 中国电子科技集团公司第四十四研究所 | Cmos图像传感器合并的低功耗实时降噪锐化预处理算法 |
Non-Patent Citations (4)
| Title |
|---|
| A novel based image encryption by using Adaptive Histogram Equalization and RGB color cube, YUV color model;D. HEMA 等;《International Journal of Advanced Scientific and Technical Research》;20150831;第4卷(第5期);第226-232页 |
| Adaptive Color Image Enhancement based Geometric Mean Filter;M. C. Hanumantharaju 等;《ResearchGate》;20110131;第1-7页 |
| 使用二阶微分进行锐化—拉普拉斯算子;[美]Rafael C. Gonzalez 等著，阮秋琦 等译;《数字图像处理》;20110630;第99-100页 |
| 基于视频交通车辆检测***的图像增强的研究;张璞;《中国优秀硕士学位论文全文数据库》;20130115;第2013年卷(第1期);摘要 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106504281A (zh) | 2017-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106504281B (zh) | 应用于cmos图像传感器的图像画质增强和滤波方法 | |
| US9135681B2 (en) | Image chroma noise reduction | |
| TWI407800B (zh) | 馬賽克影像的改良處理 | |
| JP4385282B2 (ja) | 画像処理装置および画像処理方法 | |
| US8295595B2 (en) | Generating full color images by demosaicing noise removed pixels from images | |
| JP4395789B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
| KR20090010906A (ko) | 디지털 이미지의 컬러 아티팩트 저감 기법 | |
| US11546562B2 (en) | Efficient and flexible color processor | |
| US8471933B2 (en) | Image processing apparatus, image processing method and computer program | |
| US7609300B2 (en) | Method and system of eliminating color noises caused by an interpolation | |
| CN105430357B (zh) | 图像传感器的去马赛克方法及装置 | |
| CN103747222B (zh) | 一种图像假色抑制的方法及装置 | |
| US8385671B1 (en) | Digital camera and method | |
| CN104680484A (zh) | 一种图像增强的方法及装置 | |
| JPH0630308A (ja) | 画像データ処理装置 | |
| CN105049820B (zh) | 图像处理设备、摄像设备和图像处理方法 | |
| JP4053460B2 (ja) | 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、および記録媒体 | |
| JP2003018432A (ja) | ノイズ除去回路 | |
| TWI520565B (zh) | 圖像處理方法以及圖像處理裝置 | |
| JP2005080289A (ja) | クロミナンスのスムージング | |
| KR100860877B1 (ko) | 컬러 노이즈 제거 장치 및 방법 | |
| CN101980543A (zh) | 一种二维梳状滤波器和亮色分离方法 | |
| CN109767385A (zh) | 一种去除图像色度噪声的方法和装置 | |
| TWI280062B (en) | Signal separation apparatus applied in image transmission system and related method | |
| CN101877759A (zh) | 影像处理装置以及影像处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |