CN110517206B - 彩色摩尔纹消除方法及装置 - Google Patents
彩色摩尔纹消除方法及装置 Download PDFInfo
- Publication number
- CN110517206B CN110517206B CN201910840627.0A CN201910840627A CN110517206B CN 110517206 B CN110517206 B CN 110517206B CN 201910840627 A CN201910840627 A CN 201910840627A CN 110517206 B CN110517206 B CN 110517206B
- Authority
- CN
- China
- Prior art keywords
- color
- image
- component
- coefficient
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000003595 spectral effect Effects 0.000 claims abstract description 81
- 238000001228 spectrum Methods 0.000 claims description 41
- 238000001914 filtration Methods 0.000 claims description 40
- 230000003287 optical effect Effects 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008030 elimination Effects 0.000 abstract description 3
- 238000003379 elimination reaction Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 4
- 241001428800 Cell fusing agent virus Species 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 208000036971 interstitial lung disease 2 Diseases 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
一种彩色摩尔纹消除方法及装置，所述方法包括：获取原始图像；计算所述原始图像的亮度分量和三个颜色分量；获取所述亮度分量和所述三个颜色分量中每个颜色分量的频谱交叠系数；根据所述频谱交叠系数，获取对应于所述三个颜色分量中每个颜色分量的权重系数，所述权重系数大于0且小于等于1；以及根据所述亮度分量、所述三个颜色分量以及所述三个颜色分量的权重系数，获取四个颜色通道的输出值。
Description
技术领域
本发明涉及图像处理领域，具体地涉及一种彩色摩尔纹消除方法及装置。
背景技术
图像传感器是将光信号转换成电信号的半导体器件。传统的图像传感器包括电荷耦合器件(Charge Coupled Devices，CCD)图像传感器、互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)图像传感器。要实现拍摄彩色图像，最普遍的方法是在图像传感器的前端加上彩色滤波阵列(Color Filter Array，CFA)，例如图1所示的贝尔型CFA，该种CFA包括红绿蓝(RGB)三种颜色通道。
成像时，CFA的每个像素位置只允许一种颜色的光线通过，进入到图像传感器中，转换成电信号输出，因此图像传感器捕捉到的原始图像是经过采样的呈一定规则排列的马赛克图像(Mosaic image)。去马赛克(Demosaicking)之后才能形成彩色图像输出到显示器、打印机、投影仪等输出设备。
当被拍摄物体有规则而密集的纹理时，由于采样频率的限制，去马赛克之后图像上会出现缓慢变化的彩色条纹，称为彩色摩尔纹，彩色摩尔纹不仅破坏图像美感，而且会造成对图像信息的误判，严重影响成像质量。
消除图像彩色摩尔纹最常用的方法是在光学***中加入低通滤镜，然而低通滤镜同时模糊了图像的细节，降低了成像质量。另一类消除彩色摩尔纹的方法是改进CFA，这一类方法复杂而昂贵，并且对于已经实际应用的CFA，以及已经拍摄出来的数字图像是无法使用这种方法的。
在通过图像处理消除彩色摩尔纹的方法方面，公开的文献和专利中主要包括将图像转为亮度和颜色分量，用滤波器对颜色分量进行模糊，然后转回彩色图像。这种方法的缺点是，清晰的色彩边缘变得模糊，并且被周围的颜色晕染。模糊时采用的滤波器越大，这种颜色晕染越严重，而为了消除彩色摩尔纹，这个滤波器通常非常大，从而导致不可接受的颜色晕染。这类方法的另一个缺点是，计算量庞大，无法应用在实时***中。
为了提高图像传感器在低照度条件下的成像效果，目前许多新型的CFA在红绿蓝(RGB)三原色之外加入了透明通道W，如图2所示，该种CFA具有四个颜色通道，这降低了图像传感器在低照度下的噪声，但是其较低的采样率使得所采集的图像彩色摩尔纹问题更加严重。
发明内容
为解决上述图像中的彩色摩尔纹问题，本发明实施例提供一种彩色摩尔纹消除方法，包括：获取原始图像；计算所述原始图像的亮度分量和三个颜色分量；获取所述亮度分量和所述三个颜色分量中每个颜色分量的频谱交叠系数；根据所述频谱交叠系数，获取对应于所述三个颜色分量中每个颜色分量的权重系数，所述权重系数大于0且小于等于1；以及根据所述亮度分量、所述三个颜色分量以及所述三个颜色分量的权重系数，获取四个颜色通道的输出值。
可选地，所述方法还包括：在获取原始图像后，将所述原始图像转换成频谱图像。
可选地，所述计算所述原始图像的亮度分量包括：通过第一滤波器对所述频谱图像进行频域滤波，再将滤波后的频谱图象转换回空间域，以获得所述亮度分量；或采用第一卷积模板对所述原始图像进行空间域卷积，以获得所述亮度分量；其中，所述第一滤波器与第一卷积模板对应的中心频率与所述亮度分量的频谱图像峰值位置有关。
可选地，所述计算所述原始图像的三个颜色分量包括：对所述频谱图像进行多次频域滤波，再将滤波后的频谱图象转换回空间域，以使每次频域滤波获得一个颜色分量；或对所述原始图像进行多次空间域卷积，每次空间域卷积获得一个颜色分量；其中，每次频域滤波分别对应不同的中心频率；每次空间域卷积分别对应不同的中心频率，所述中心频率与每个颜色分量在频谱图像中的峰值位置有关。
可选地，获取所述亮度分量和三个颜色分量中每个颜色分量的频谱交叠系数，包括：对于每个颜色分量，采用第二滤波器对频谱图像进行频域滤波，并将滤波后的频谱图象转换回空间域，得到第一滤波结果；以及将第一滤波结果进行平方操作，获得该颜色分量的频谱交叠系数；其中，所述第二滤波器的中心频率在每个颜色分量的频谱图像峰值位置和所述亮度分量的频谱图像峰值位置的连线上。
可选地，当所述亮度分量与颜色分量的频谱交叠系数越大，则将对应于该颜色分量的权重系数设定得越小。
可选地，所述权重系数通过下列公式计算：
其中，w表示权重系数，E表示所述频谱交叠系数，σ为可调参数。
可选地，所述权重系数通过下列公式计算：
其中，w表示权重系数，E表示所述频谱交叠系数，a，b，Emin以及Emax均为可调参数，Emin小于Emax。
可选地，所述四个颜色通道的输出值通过下列公式计算：
P1＝L1+w1*C2+w2*C3+w3*C4；
P2＝L1+w1*C2-w2*C3-w3*C4；
P3＝L1-w1*C2+w2*C3-w3*C4；
P4＝L1-w1*C2-w2*C3+w3*C4；
其中，P1-P4表示四个颜色通道的输出值，L1表示所述亮度分量，C2-C4表示所述三个颜色分量，w1-w3表示分别对应于所述三个颜色分量的权重系数。
可选地，所述方法还包括：获取所述四个颜色通道的输出值后，根据所述输出值合成消除彩色摩尔纹之后的图像。
本发明实施例还提供了一种彩色摩尔纹消除装置，包括：存储器、处理器和信号处理模块，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时，控制信号处理模块执行以下步骤：获取原始图像；计算所述原始图像的亮度分量和三个颜色分量；获取所述亮度分量和所述三个颜色分量中每个颜色分量的频谱交叠系数；根据所述频谱交叠系数，获取对应于所述三个颜色分量中每个颜色分量的权重系数，所述权重系数大于0且小于等于1；以及根据所述亮度分量、所述三个颜色分量以及所述三个颜色分量的权重系数，获取四个颜色通道的输出值。
可选地，所述信号处理模块还适于执行：在获取原始图像后，将所述原始图像转换成频谱图像。
可选地，所述计算所述原始图像的亮度分量包括：通过第一滤波器对所述频谱图像进行频域滤波，再将滤波后的频谱图象转换回空间域，以获得所述亮度分量；或采用第一卷积模板对所述原始图像进行空间域卷积，以获得所述亮度分量；其中，所述第一滤波器与第一卷积模板对应的中心频率与所述亮度分量的频谱图像峰值位置有关。
可选地，所述计算所述原始图像的三个颜色分量包括：对所述频谱图像进行多次频域滤波，再将滤波后的频谱图象转换回空间域，以使每次频域滤波获得一个颜色分量；或对所述原始图像进行多次空间域卷积，每次空间域卷积获得一个颜色分量；其中，每次频域滤波分别对应不同的中心频率；每次空间域卷积分别对应不同的中心频率，所述中心频率与每个颜色分量在频谱图像中的峰值位置有关。
可选地，获取所述亮度分量和三个颜色分量中每个颜色分量的频谱交叠系数，包括：对于每个颜色分量，采用第二滤波器对频谱图像进行频域滤波，并将滤波后的频谱图象转换回空间域，得到第一滤波结果；以及将第一滤波结果进行平方操作，获得该颜色分量的频谱交叠系数；其中，所述第二滤波器的中心频率在每个颜色分量的频谱图像峰值位置和所述亮度分量的频谱图像峰值位置的连线上。
可选地，当所述亮度分量与颜色分量的频谱交叠系数越大，则将对应于该颜色分量的权重系数设定得越小。
可选地，所述权重系数通过下列公式计算：
其中，w表示权重系数，E表示所述频谱交叠系数，σ为可调参数。
可选地，所述权重系数通过下列公式计算：
其中，w表示权重系数，E表示所述频谱交叠系数，a，b，Emin以及Emax均为为可调参数，Emin小于Emax。
可选地，所述四个颜色通道的输出值通过下列公式计算：
P1＝L1+w1*C2+w2*C3+w3*C4；
P2＝L1+w1*C2-w2*C3-w3*C4；
P3＝L1-w1*C2+w2*C3-w3*C4；
P4＝L1-w1*C2-w2*C3+w3*C4；
其中，P1-P4表示四个颜色通道的输出值，L1表示所述亮度分量，C2-C4表示所述三个颜色分量，w1-w3表示分别对应于所述三个颜色分量的权重系数。
可选地，所述信号处理模块还适于执行：获取所述四个颜色通道的输出值后，根据所述输出值合成消除彩色摩尔纹之后的图像。
本发明实施例还提供了一种摄像装置，包括光学透镜、图像传感器以及所述彩色摩尔纹消除装置。
与现有技术相比，本发明实施例的技术方案具有以下优点：
在本发明实施例中，所述彩色摩尔纹消除方法包括：获取原始图像；计算所述原始图像的亮度分量和三个颜色分量；获取所述亮度分量和所述三个颜色分量中每个颜色分量的频谱交叠系数；根据所述频谱交叠系数，获取对应于所述三个颜色分量中每个颜色分量的权重系数，所述权重系数大于0且小于等于1；以及根据所述亮度分量、所述三个颜色分量以及所述三个颜色分量的权重系数，获取四个颜色通道的输出值。通过对彩色摩尔纹所在的颜色分量施加较小的权重系数，可以有效消除图像中的彩色摩尔纹，且计算量小，可应用于实时***中。
进一步，与用滤波器对颜色分量进行模糊的彩色摩尔纹消除方法相比，本方案不会模糊处理后的图像的细节。
附图说明
图1是贝尔型RGGB彩色滤波阵列的示意图；
图2是具有4种颜色通道的RGBW彩色滤波阵列的示意图；
图3是本发明实施例提供的一种彩色摩尔纹去除方法的流程示意图；
图4是本发明实施例中的频谱图像示意图；
图5是本发明实施例提供的一种用于计算亮度分量的卷积模板；
图6至图8是本发明实施例提供的一种用于计算颜色分量的卷积模板；
图9是本发明实施例提供的一种权重系数与频谱交叠系数的函数示意图；以及
图10是本发明实施例提供的一种摄像装置的结构示意图。
具体实施方式
参考图3，图3是本发明提供的一种彩色摩尔纹去除方法的流程示意图，本发明实施例可应用于摄像装置。
在S11中，获取原始图像。
在本发明实施例中，光线通过摄像装置的光学透镜在图像传感器上成像，摄像装置可以从图像传感器上获取原始图像，所述原始图像可以为RGBW格式。由于图像传感器将光信号转换成了电信号输出，因此，在一些实施例中，原始图像可以由矩阵表示，如800*600的矩阵。
在S12中，将所述原始图像转换成频谱图像。
在一些实施例中，所述彩色摩尔纹消除方法还包括：在获取原始图像后，将所述原始图像转换成频谱图像。具体地，可以通过二维快速傅里叶变换(fast Fouriertransform，FFT)，将原始图像变换到频域，以获得频谱图像。图4是本发明实施例中的频谱图像示意图，在图4所示的坐标系中，底面上的u轴，v轴表示水平与垂直方向的空间频率，与底面垂直的坐标轴表示幅度。在图4中可以看出所述原始图像的亮度分量L1以及颜色分量C2、C3、C4在频域上的峰值位置。
S13中，计算所述原始图像的亮度分量和三个颜色分量。
在一些实施例中，所述计算所述原始图像的亮度分量包括：通过第一滤波器对所述频谱图像进行频域滤波，再将滤波后的频谱图象转换回空间域，以获得所述亮度分量；或采用第一卷积模板对所述原始图像进行空间域卷积，以获得所述亮度分量。
在一些实施例中，可以采用频率滤波，并将滤波后的频谱图象转换回空间域的方式获取亮度分量L1，则所述第一滤波器可以为低通滤波器，且所述第一滤波器的中心频率与所述亮度分量L1的频谱图像峰值位置有关。基于CFA中的颜色通道的排列方式，在图4所示的实施例中，所述亮度分量L1的峰值位于(0，0)。因此，所述第一滤波器的中心频率可以设定为(0，0)。
在一些实施例中，也可以通过卷积模板对所述原始图像进行空间域卷积获取所述亮度分量L1。所述卷积模板对应的中心频率也与所述亮度分量的频谱图像峰值位置有关，在图4所示的实施例中，所述亮度分量L1的峰值位于(0，0)。因此，所述卷积模板对应的中心频率可以为(0，0)。图5是本发明实施例提供的一种用于计算亮度分量的卷积模板，可以通过图5所示的卷积模板对所述原始图像进行空间域卷积，以获取所述亮度分量L1。
值得注意的是，若原始图像为800*600的矩阵，则通过滤波或空间域卷积所获取的亮度分量L1也为800*600的矩阵。
在一些实施例中，计算所述原始图像的三个颜色分量包括：对所述频谱图像进行多次频域滤波，再将滤波后的频谱图象转换回空间域，以使每次频域滤波获得一个颜色分量；或对所述原始图像进行多次空间域卷积，每次空间域卷积获得一个颜色分量；其中，每次频域滤波分别对应不同的中心频率；每次空间域卷积分别对应不同的中心频率，所述中心频率与每个颜色分量在频谱图像中的峰值位置有关。
具体地，可以通过三次滤波并将滤波后的频谱图象转换回空间域，分别获得所述原始图像的三个颜色分量C2、C3及C4。也就是说，可以使用三个具备不同中心频率的滤波器对频谱图像进行滤波，所述中心频率与每个颜色分量在频谱图像中的峰值位置有关。例如，在图4所示的实施例中，颜色分量C2的峰值位置坐标为(0.5，0)，颜色分量C3的峰值位置坐标为(0，0.5)，颜色分量C4的峰值位置坐标为(0.5，0.5)。因此，采用中心频率为(0.5，0)的滤波器对所述频谱图像滤波，并将滤波后的频谱图象转换回空间域，以获取所述颜色分量C2；采用中心频率为(0，0.5)的滤波器对所述频谱图像滤波，并将滤波后的频谱图象转换回空间域，以获取所述颜色分量C3；采用中心频率为(0.5，0.5)的滤波器对所述频谱图像滤波，并将滤波后的频谱图象转换回空间域，以获取所述颜色分量C4。
在一些实施例中，也可以通过对所述原始图像进行三次空间域卷积以获得三个颜色分量。三次空间域卷积分别对应三个不同的卷积模板，所述三个卷积模板分别对应不同的中心频率，所述中心频率与每个颜色分量在频谱图像中的峰值位置有关。类似的，在图4所示的实施例中，采用中心频率为(0.5，0)的卷积模板与所述原始图像进行空间域卷积以获取所述颜色分量C2；采用中心频率为(0，0.5)的卷积模板与所述原始图像进行空间域卷积以获取所述颜色分量C3；采用中心频率为(0.5，0.5)的卷积模板与所述原始图像进行空间域卷积以获取所述颜色分量C4。
在具体实施中，可以采用图6至图8所示的卷积模版对所述原始图像进行空间域卷积，以分别获得获取所述颜色分量C2、C3、C4。
值得注意的是，若原始图像为800*600的矩阵，则通过滤波或空间域卷积所获取的三个颜色分量C2、C3、C4也均为800*600的矩阵。
在S14中，获取所述亮度分量和所述三个颜色分量中每个颜色分量的频谱交叠系数。
具体地，分别计算所述亮度分量L1与颜色分量C2、C3及C4的频谱交叠系数，所述频谱交叠系数越大，表明该颜色分量有越强的彩色摩尔纹。
在一些实施例中，获取频谱交叠系数的方法包括：对于每个颜色分量，采用第二滤波器对频谱图像进行频域滤波，并将滤波后的频谱图象转换回空间域，得到第一滤波结果；以及将第一滤波结果进行平方操作，获得该颜色分量的频谱交叠系数。
在具体实施中，所述第二滤波器可以是高斯带通滤波器。所述第二滤波器的中心频率在每个颜色分量的频谱图像峰值位置和所述亮度分量的频谱图像峰值位置的连线上。
例如，在图4所示的实施例中，在计算所述亮度分量L1和所述颜色分量C2的频谱交叠系数E1时，所述第二滤波器的中心频率在所述亮度分量L1和所述颜色分量C2的频谱图像峰值位置的连线上，即(Uc，0)。在一些实施例中，Uc可以为0.25，因此，所述第二滤波器的中心频率可以是(0.25，0)。类似地，在计算所述亮度分量L1和所述颜色分量C3的频谱交叠系数E2时，所述第二滤波器的中心频率可以是(0，0.25)；在计算所述亮度分量L1和所述颜色分量C4的频谱交叠系数E3时，所述第二滤波器的中心频率可以是(0.25，0.25)。
所获取的频谱交叠E1、E2、E3分别对应所述三个颜色分量C2、C3、C4。所述频谱交叠系数E1、E2、E3均为与原始图像尺寸大小相同的矩阵。
在S15中，根据所述频谱交叠系数，获取对应于所述三个颜色分量中每个颜色分量的权重系数。
越大频谱交叠系数表明该颜色分量有越强的彩色摩尔纹，因此，当所述亮度分量与颜色分量的频谱交叠系数越大，则将对应于该颜色分量的权重系数设定得越小。所述权重系数为与颜色分量尺寸大小相同的矩阵。所述权重系数中每个元素的取值范围为大于0且小于等于1。
在一些实施例中，所述权重系数通过下列公式计算：
其中，w表示权重系数，E表示所述频谱交叠系数，σ为可调参数。
在一些实施例中，为了便于在硬件中实现，也可以根据图9所示的函数示意图获取所述权重系数，具体地，所述权重系数通过下列公式计算：
w表示权重系数，E表示所述频谱交叠系数，a，b，Emin以及Emax均为为可调参数，Emin小于Emax。在具体实施中，可以通过设置Emin以及Ema的数值大小来控制消除彩色摩尔纹的强度。
在S16中，根据所述亮度分量、所述三个颜色分量以及所述三个颜色分量的权重系数，获取四个颜色通道的输出值。
在一些实施例中，可以通过以下公式计算四个颜色通道的输出值。
P1＝L1+w1*C2+w2*C3+w3*C4
P2＝L1+w1*C2-w2*C3-w3*C4
P3＝L1-w1*C2+w2*C3-w3*C4
P4＝L1-w1*C2-w2*C3+w3*C4
其中，P1-P4表示四个颜色通道的输出值，L1表示所述亮度分量，C2-C4表示所述三个颜色分量，w1-w3表示分别对应于所述三个颜色分量的权重系数。
在具有RGBW四种颜色通道的CFA中，P1-P4分别代表RGBW四种颜色通道。具体地，根据四种颜色通道在CFA中的排列情况，可以进一步确定P1-P4分别代表哪种颜色通道。P1-P4均为与所述原始图像尺寸大小相同的矩阵。
在S17中，根据所述输出值合成消除彩色摩尔纹之后的图像。
在一些实施例中，所述彩色摩尔纹消除方法还包括：获取所述四个颜色通道的输出值后，根据所述输出值合成消除彩色摩尔纹之后的图像。在具体实施中，可以通过乘以颜色校正矩阵的方法将四个颜色通道的输出值转换成三个颜色通道的RGB彩色图像，也可以向支持RGBW格式的显示器直接输出四个颜色通道的输出值以生成RGBW彩色图像。
本发明实施例还提供了一种彩色摩尔纹消除装置，包括存储器、处理器和信号处理模块，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时，控制信号处理模块执行以下步骤：获取原始图像；计算所述原始图像的亮度分量和三个颜色分量；获取所述亮度分量和三个颜色分量中每个颜色分量的频谱交叠系数，并根据所述频谱交叠系数，获取所述三个颜色分量中每个颜色分量的权重系数，所述权重系数大于0且小于等于1；以及根据所述亮度分量、所述三个颜色分量以及所述三个颜色分量的权重系数，获取四个颜色通道的输出值。
更多关于彩色摩尔纹消除装置的细节可以参考上文有关所述彩色摩尔纹消除方法的描述，在此不再赘述。
图10是本发明实施例提供的一种摄像装置100的结构示意图。所述摄像装置包括：光学透镜110、图像传感器120以及所述彩色摩尔纹消除装置，即信号处理模块130、处理器140和存储器150。光线透过所述光学透镜成像在图像传感器120上形成原始图像，所述图像传感器120前设有RGBW型CFA，所述处理器140控制所述信号处理模块130对所述原始图像进行彩色摩尔纹消除操作，消除彩色摩尔纹后的彩色图像被存储在存储器150中。
为使本发明实施例的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明实施例的具体实施例做详细的说明。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于以计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (15)
1.一种彩色摩尔纹消除方法，其特征在于，包括：
获取原始图像；
计算所述原始图像的亮度分量和三个颜色分量；
获取所述亮度分量和所述三个颜色分量中每个颜色分量的频谱交叠系数；
根据所述频谱交叠系数，获取对应于所述三个颜色分量中每个颜色分量的权重系数，所述权重系数大于0且小于等于1；以及
根据所述亮度分量、所述三个颜色分量以及所述三个颜色分量的权重系数，获取四个颜色通道的输出值；
其中，在获取原始图像后，将所述原始图像转换成频谱图像；
获取所述亮度分量和三个颜色分量中每个颜色分量的频谱交叠系数，包括：
对于每个颜色分量，采用第二滤波器对频谱图像进行频域滤波，并将滤波后的频谱图像转换回空间域，得到第一滤波结果；以及将第一滤波结果进行平方操作，获得该颜色分量的频谱交叠系数；所述第二滤波器的中心频率在每个颜色分量的频谱图像峰值位置和所述亮度分量的频谱图像峰值位置的连线上；
当所述亮度分量与颜色分量的频谱交叠系数越大，则将对应于该颜色分量的权重系数设定得越小。
2.根据权利要求1所述的彩色摩尔纹消除方法，其特征在于，所述计算所述原始图像的亮度分量包括：
通过第一滤波器对所述频谱图像进行频域滤波，再将滤波后的频谱图像转换回空间域，以获得所述亮度分量；或采用第一卷积模板对所述原始图像进行空间域卷积，以获得所述亮度分量；
其中，所述第一滤波器与第一卷积模板对应的中心频率与所述亮度分量的频谱图像峰值位置有关。
3.根据权利要求1所述的彩色摩尔纹消除方法，其特征在于，所述计算所述原始图像的三个颜色分量包括：
对所述频谱图像进行多次频域滤波，再将滤波后的频谱图像转换回空间域，以使每次频域滤波获得一个颜色分量；或对所述原始图像进行多次空间域卷积，每次空间域卷积获得一个颜色分量；
其中，每次频域滤波分别对应不同的中心频率；每次空间域卷积分别对应不同的中心频率，所述中心频率与每个颜色分量在频谱图像中的峰值位置有关。
4.根据权利要求1所述的彩色摩尔纹消除方法，所述权重系数通过下列公式计算：
其中，w表示权重系数，E表示所述频谱交叠系数，σ为可调参数。
5.根据权利要求1所述的彩色摩尔纹消除方法，所述权重系数通过下列公式计算：
其中，w表示权重系数，E表示所述频谱交叠系数，a，b，Emin以及Emax均为为可调参数，Emin小于Emax。
6.根据权利要求1所述的彩色摩尔纹消除方法，其特征在于，所述四个颜色通道的输出值通过下列公式计算：
P1＝L1+w1*C2+w2*C3+w3*C4；
P2＝L1+w1*C2-w2*C3-w3*C4；
P3＝L1-w1*C2+w2*C3-w3*C4；
P4＝L1-w1*C2-w2*C3+w3*C4；
其中，P1-P4表示四个颜色通道的输出值，L1表示所述亮度分量，C2-C4表示所述三个颜色分量，w1-w3表示分别对应于所述三个颜色分量的权重系数。
7.根据权利要求1所述的彩色摩尔纹消除方法，其特征在于，还包括：获取所述四个颜色通道的输出值后，根据所述输出值合成消除彩色摩尔纹之后的图像。
8.一种彩色摩尔纹消除装置，包括：存储器、处理器和信号处理模块，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，控制信号处理模块执行以下步骤：
获取原始图像；
计算所述原始图像的亮度分量和三个颜色分量；
获取所述亮度分量和三个颜色分量中每个颜色分量的频谱交叠系数，并根据所述频谱交叠系数，获取所述三个颜色分量中每个颜色分量的权重系数，所述权重系数大于0且小于等于1；以及
根据所述亮度分量、所述三个颜色分量以及所述三个颜色分量的权重系数，获取四个颜色通道的输出值；
所述信号处理模块还适于执行：在获取原始图像后，将所述原始图像转换成频谱图像；
其中，获取所述亮度分量和三个颜色分量中每个颜色分量的频谱交叠系数，包括：对于每个颜色分量，采用第二滤波器对频谱图像进行频域滤波，并将滤波后的频谱图像转换回空间域，得到第一滤波结果；将第一滤波结果进行平方操作，获得该颜色分量的频谱交叠系数；所述第二滤波器的中心频率在每个颜色分量的频谱图像峰值位置和所述亮度分量的频谱图像峰值位置的连线上；
当所述亮度分量与颜色分量的频谱交叠系数越大，则将对应于该颜色分量的权重系数设定得越小。
9.根据权利要求8所述的彩色摩尔纹消除装置，其特征在于，所述计算所述原始图像的亮度分量包括：
通过第一滤波器对所述频谱图像进行频域滤波，再将滤波后的频谱图像转换回空间域，以获得所述亮度分量；或采用第一卷积模板对所述原始图像进行空间域卷积，以获得所述亮度分量；
其中，所述第一滤波器与第一卷积模板对应的中心频率与所述亮度分量的频谱图像峰值位置有关。
10.根据权利要求8所述的彩色摩尔纹消除装置，其特征在于，所述计算所述原始图像的三个颜色分量包括：
对所述频谱图像进行多次频域滤波，再将滤波后的频谱图像转换回空间域，以使每次频域滤波获得一个颜色分量；或对所述原始图像进行多次空间域卷积，每次空间域卷积获得一个颜色分量；
其中，每次频域滤波分别对应不同的中心频率；每次空间域卷积分别对应不同的中心频率，所述中心频率与每个颜色分量的频谱图像峰值位置有关。
11.根据权利要求8所述的彩色摩尔纹消除装置，所述权重系数通过下列公式计算：
其中，w表示权重系数，E表示所述频谱交叠系数，σ为可调参数。
12.根据权利要求8所述的彩色摩尔纹消除装置，所述权重系数通过下列公式计算：
其中，w表示权重系数，E表示所述频谱交叠系数，a，b，Emin以及Emax均为为可调参数，Emin小于Emax。
13.根据权利要求8所述的彩色摩尔纹消除装置，其特征在于，所述四个颜色通道的输出值通过下列公式计算：
P1＝L1+w1*C2+w2*C3+w3*C4；
P2＝L1+w1*C2-w2*C3-w3*C4；
P3＝L1-w1*C2+w2*C3-w3*C4；
P4＝L1-w1*C2-w2*C3+w3*C4；
其中，P1-P4表示四个颜色通道的输出值，L1表示所述亮度分量，C2-C4表示所述三个颜色分量，w1-w3表示分别对应于所述三个颜色分量的权重系数。
14.根据权利要求8所述的彩色摩尔纹消除装置，其特征在于，所述信号处理模块还适于执行：获取所述四个颜色通道的输出值后，根据所述输出值合成消除彩色摩尔纹后的图像。
15.一种摄像装置，其特征在于，包括光学透镜、图像传感器以及如权利要求8-14任一项所述的彩色摩尔纹消除装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910840627.0A CN110517206B (zh) | 2019-09-05 | 2019-09-05 | 彩色摩尔纹消除方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910840627.0A CN110517206B (zh) | 2019-09-05 | 2019-09-05 | 彩色摩尔纹消除方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110517206A CN110517206A (zh) | 2019-11-29 |
| CN110517206B true CN110517206B (zh) | 2021-10-15 |
Family
ID=68630037
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910840627.0A Active CN110517206B (zh) | 2019-09-05 | 2019-09-05 | 彩色摩尔纹消除方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110517206B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311511B (zh) * | 2020-01-22 | 2023-08-29 | 凌云光技术股份有限公司 | 一种去除莫尔纹的方法和装置 |
| CN112070671A (zh) * | 2020-09-04 | 2020-12-11 | 平安科技（深圳）有限公司 | 一种基于频谱分析的马赛克去除方法、***、终端及存储介质 |
| CN112907467B (zh) * | 2021-02-03 | 2023-04-28 | 杭州海康威视数字技术股份有限公司 | 彩虹纹去除方法、装置及电子设备 |
| CN113707110B (zh) * | 2021-06-15 | 2023-12-01 | 浙江意博高科技术有限公司 | 智能照明的控制方法和*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105303530A (zh) * | 2015-09-30 | 2016-02-03 | 天津大学 | 基于低秩稀疏矩阵分解的织物图像摩尔纹消除方法 |
| CN105678718A (zh) * | 2016-03-29 | 2016-06-15 | 努比亚技术有限公司 | 图像去噪方法和装置 |
| CN108615227A (zh) * | 2018-05-08 | 2018-10-02 | 浙江大华技术股份有限公司 | 一种图像摩尔纹的抑制方法及设备 |
-
2019
- 2019-09-05 CN CN201910840627.0A patent/CN110517206B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105303530A (zh) * | 2015-09-30 | 2016-02-03 | 天津大学 | 基于低秩稀疏矩阵分解的织物图像摩尔纹消除方法 |
| CN105678718A (zh) * | 2016-03-29 | 2016-06-15 | 努比亚技术有限公司 | 图像去噪方法和装置 |
| CN108615227A (zh) * | 2018-05-08 | 2018-10-02 | 浙江大华技术股份有限公司 | 一种图像摩尔纹的抑制方法及设备 |
Non-Patent Citations (2)
| Title |
|---|
| "Automatic moire pattern removal in microscopic images";Giorgian-Marius ionita;《2015 19th International Conference on System Theory，Control and Computing》;20150909;第776-779页 * |
| "摄屏类图像重构算法";陈申渭;《计算机***应用》;20190515;第110-118页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110517206A (zh) | 2019-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110517206B (zh) | 彩色摩尔纹消除方法及装置 | |
| US10298863B2 (en) | Automatic compensation of lens flare | |
| US9710896B2 (en) | Systems and methods for chroma noise reduction | |
| US11625815B2 (en) | Image processor and method | |
| EP2055093B1 (en) | Adaptive spatial image filter for filtering image information | |
| US7916940B2 (en) | Processing of mosaic digital images | |
| US8482659B2 (en) | Image processing apparatus and image processing method | |
| CN111784605B (zh) | 一种基于区域指导的图像降噪方法、计算机装置及计算机可读存储介质 | |
| WO2006005798A1 (en) | Methods, system, program modules and computer program product for restoration of color components in an image model | |
| US8238685B2 (en) | Image noise reduction method and image processing apparatus using the same | |
| JP4328424B2 (ja) | 画像変換方法 | |
| CN111784603A (zh) | 一种raw域图像去噪方法、计算机装置及计算机可读存储介质 | |
| JP2008527861A (ja) | 散在カラー・ディジタル画像のノイズ除去 | |
| CN111539893A (zh) | 一种基于导向滤波的Bayer图像联合去马赛克去噪方法 | |
| JP2013055623A (ja) | 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム | |
| US7430334B2 (en) | Digital imaging systems, articles of manufacture, and digital image processing methods | |
| US7269295B2 (en) | Digital image processing methods, digital image devices, and articles of manufacture | |
| WO2012008116A1 (en) | Image processing apparatus, image processing method, and program | |
| US8629917B2 (en) | Image processing apparatus, method, and recording medium | |
| JP5268321B2 (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
| JP7183015B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2013055622A (ja) | 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム | |
| Saito et al. | Demosaicing method using the extended color total-variation regularization | |
| EP4332834A1 (en) | Method and camera device for generating a moiré-corrected image file | |
| CN117894260A (zh) | 显示面板的补偿方法和补偿装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 508-511, building a, Modern Plaza, No. 18, Weiye Road, Kunshan Development Zone, Suzhou, Jiangsu Applicant after: Ruixin Microelectronics Co., Ltd Address before: Room 508-511, block A, Modern Plaza, 18 Weiye Road, Kunshan, Jiangsu, Suzhou, 215300 Applicant before: BRIGATES MICROELECTRONICS (KUNSHAN) Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |