CN105979233A - 去马赛克方法、图像处理器及图像传感器 - Google Patents

去马赛克方法、图像处理器及图像传感器 Download PDF

Info

Publication number
CN105979233A
CN105979233A CN201610514267.1A CN201610514267A CN105979233A CN 105979233 A CN105979233 A CN 105979233A CN 201610514267 A CN201610514267 A CN 201610514267A CN 105979233 A CN105979233 A CN 105979233A
Authority
CN
China
Prior art keywords
value
white
colored pixels
mask
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610514267.1A
Other languages
English (en)
Other versions
CN105979233B (zh
Inventor
朱洪波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201610514267.1A priority Critical patent/CN105979233B/zh
Publication of CN105979233A publication Critical patent/CN105979233A/zh
Application granted granted Critical
Publication of CN105979233B publication Critical patent/CN105979233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请提供了一种图像传感器,图像传感器的滤波掩膜阵列中包含有透明掩膜,可以提高图像生成过程中对光线的利用率,生成的彩色图像具有更加锐利的边界,从而清晰度更好。该种效果在弱光环境下效果更加明显。另外,透明掩膜分布在各个有色掩膜的中间,使得有色掩膜并未集中分布,从而白色插值即确定出的每个像素的白色值更加精确,进一步提高了图像的清晰度。相对应地,本申请还提供了去马赛克方法,以对图像传感器输出的图像进行去马赛克,以得到彩色图像。另外,本申请还提供了图像处理器,用以保证上述方法在实际中的应用及实现。

Description

去马赛克方法、图像处理器及图像传感器
技术领域
本申请涉及图像处理技术领域,更具体地,涉及去马赛克方法、图像处理器及图像传感器。
背景技术
图像传感器,是摄像头内部用于接收光学信号的元件,配合图像处理器可以实现拍摄照片的功能。具体地,图像传感器包括掩膜阵列及感光元件,其中,掩膜阵列覆盖在感光元件上,光束通过掩膜阵列后,掩膜阵列会对光束进行滤波,由感光元件采集后输出像素阵列图像,再由图像处理器对像素阵列图像进行处理后,得到彩色的照片。
掩膜阵列的主要作用是,对光束进行滤波。掩膜阵列中包含的掩膜具有红色、绿色和蓝色三种颜色,光束通过掩膜阵列后,每个掩膜仅能通过与自身颜色一样的光谱,因此,感光元件采集到的每个像素仅具有一种颜色的强度。
见图1所示的现有图像传感器的掩膜阵列,方格表示掩膜,整个掩膜阵列可以划分为多个组,组中包含有图中指示有颜色的四个掩膜,即两个绿色掩膜、一个蓝色掩膜及一个红色掩膜。如图1所示,现有的掩膜阵列仅包括三种颜色的掩膜,光束通过该掩膜阵列后,光束的大部分光强度均被过滤掉,导致图像处理器生成的图像清晰度较低。
发明内容
有鉴于此,本申请提供了一种图像传感器,用以解决现有的图像传感器输出的图像清晰度不高的技术问题。相对应地,本申请还提供了去马赛克方法,以对图像传感器输出的图像进行去马赛克,以得到彩色图像。另外,本申请还提供了图像处理器,用以保证上述方法在实际中的应用及实现。
为实现所述目的,本申请提供的技术方案如下:
本申请的第一方面提供了一种去马赛克方法,用于对图像传感器输出的像素阵列图像进行去马赛克处理,以将所述像素阵列图像还原为彩色图像,其中,所述图像传感器包含滤波掩膜阵列,所述滤波掩膜阵列由不同颜色的有色掩膜及透明掩膜组成,且在行方向及列方向上不同颜色的有色掩膜之间均间隔相同数量的透明掩膜;该方法包括:
获取所述像素阵列图像中白色像素的白色值;其中,所述白色像素是所述透明掩膜对光进行滤波后生成的像素;
依据所述白色像素的白色值,确定所述像素阵列图像中有色像素的白色值;所述有色像素是所述有色掩膜对光进行滤波后生成的像素,且所述有色像素的白色值是由以所述有色像素为中心的周围区域中的白色像素的白色值确定的;
获取所述有色像素的色彩值;
依据所述有色像素的白色值及色彩值,确定所述白色像素的色彩值。
本申请的第二方面提供了一种图像处理器,用于对图像传感器输出的像素阵列图像进行去马赛克处理,以将所述像素阵列图像还原为彩色图像,其中,所述图像传感器包含滤波掩膜阵列,所述滤波掩膜阵列由不同颜色的有色掩膜及透明掩膜组成,且在行方向及列方向上不同颜色的有色掩膜之间均间隔相同数量的透明掩膜;该处理器用于:
获取所述像素阵列图像中白色像素的白色值;其中,所述白色像素是所述透明掩膜对光进行滤波后生成的像素;
依据所述白色像素的白色值,确定所述像素阵列图像中有色像素的白色值;所述有色像素是所述有色掩膜对光进行滤波后生成的像素,且所述有色像素的白色值是由以所述有色像素为中心的周围区域中的白色像素的白色值确定的;
获取所述有色像素的色彩值;
依据所述有色像素的白色值及色彩值,确定所述白色像素的色彩值。
本申请的第三方面提供了一种图像传感器,包括:感光元件及覆盖在所述感光元件上的滤波掩膜阵列;其中:
所述滤波掩膜阵列由不同颜色的有色掩膜及透明掩膜组成,且在行方向及列方向上不同颜色的有色掩膜之间均间隔相同数量的透明掩膜。
由以上技术方案可知,本申请提供了一种图像传感器,图像传感器的滤波掩膜阵列中包含有透明掩膜,可以提高图像生成过程中对光线的利用率,生成的彩色图像具有更加锐利的边界,从而清晰度更好。该种效果在弱光环境下效果更加明显。另外,透明掩膜分布在各个有色掩膜的中间,使得有色掩膜并未集中分布,从而白色插值即确定出的每个像素的白色值更加精确,进一步提高了图像的清晰度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为现有图像传感器的掩膜阵列的示例图;
图2A为本申请提供的图像传感器的滤波掩膜阵列的一个示例图;
图2B为本申请提供的图像传感器的滤波掩膜阵列的另一示例图;
图3为本申请提供的去马赛克方法实施例1的流程图;
图4为本申请提供的确定白色像素的色彩值的流程图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
针对现有图像传感器的问题,本申请提供了一种新的图像传感器。为了便于理解本方案,首先对图像传感器的结构进行说明。
图像传感器包括滤波掩膜阵列(也可简称为掩膜阵列)及感光元件,其中,滤波掩膜阵列也可被称为CFA(color filter array,颜色滤波阵列)。滤波掩膜阵列,覆盖在感光元件上,由有色掩膜及透明掩膜组成,有色掩膜包括多种不同的颜色。根据目前的图像颜色处理技术,有色掩膜的颜色可以为红色R、蓝色B及绿色G三种颜色中的任意两种或三种。
需要说明的是,在本申请提供的图像传感器中,滤波掩膜阵列的行方向上,不同颜色的有色掩膜之间间隔相同数量的透明掩膜,并且,在列方向上,不同颜色的有色掩膜之间也间隔相同数量的透明掩膜。优选地,行方向及列方向上间隔的透明掩膜的数量是相同的。
参见图2A,其示出了滤波掩膜阵列的一种示例。如图2所示,斜线框表示有色掩膜,无斜线框表示透明掩膜。不同方向的斜线框表示不同颜色的有色掩膜。在具体实施中,有色掩膜可以是红色R、绿色G及蓝色B三种颜色中的任意两种,如红色R和蓝色B。其中,所述透明掩膜占据滤波掩膜阵列的九分之八,蓝色的有色掩膜及所述红色的有色掩膜各占据滤波掩膜阵列的十八分之一。
当然,有色掩膜的种类数也不并局限于两种,也可以是RGB三种。如图2B所示,三种类型的斜线框表示三种不同颜色的有色掩膜。在具体实施中,每行中都包含的网状框表示的可以是绿色G的有色掩膜,另外两种有色掩膜分别为蓝色和红色的有色掩膜。其中,所述透明掩膜占据滤波掩膜阵列的九分之八,绿色的有色掩膜占据滤波掩膜阵列的十八分之一,红色的有色掩膜及蓝色的有色掩膜分别占据滤波掩膜阵列的三十六分之一。
相较于图2A示出的滤波掩膜阵列,图2B示出的滤波掩膜阵列中增加了绿色的有色掩膜,绿色的有色掩膜可以提高颜色分量的获取量,从而提高确定各个像素的绿色颜色分量的精准度。
滤波掩膜阵列中,有色掩膜的作用是对光进行滤波。光通过滤波掩膜阵列时,每个有色掩膜仅允许特定的一部分光谱通过,即允许有色掩膜的颜色所对应的光谱通过,再由感光元件采集后输出对应颜色的像素。例如,光通过一个红色的有色掩膜后,感光元件输出一个红色像素。同理,光通过其他颜色的有色掩膜后,会输出对应颜色的像素。光通过透明颜色的有色掩膜后,输出的像素称为白色像素。
感光元件输出的像素阵列可以称为像素阵列图像。像素阵列图像中的像素中包含有色像素(即通过有色掩膜生成的像素)及白色像素。
例如,图2A所示的滤波掩膜阵列中,有色掩膜以红色R和蓝色B为例,此种形式的滤波掩膜阵列生成的像素阵列图像中,九分之八的像素为白色像素,其余九分之一中,一半为红色像素,一半为蓝色像素。
又如,图2B所示的滤波掩膜阵列中,每行中均包含的有色掩膜以绿色G为例,此种形式的滤波掩膜阵列生成的像素阵列图像中,九分之八的像素为白色像素,绿色像素占十八分之一,其余红色像素及蓝色像素分别占三十六分之一。
图像传感器中滤波掩膜阵列中包含有透明掩膜,可以提高图像生成过程中对光线的利用率,生成的彩色图像具有更加锐利的边界,从而清晰度更好。该种效果在弱光环境下效果更加明显。另外,透明掩膜分布在各个有色掩膜的中间,使得有色掩膜并未集中分布,从而白色插值即确定出的每个像素的白色值更加精确,进一步提高了图像的清晰度。
由于有色掩膜对光的滤波作用,使得感光元件仅能采集到一部分颜色分量,而颜色的表示需要RGB三种颜色分量,因此,有色像素的其余两个分量均需要根据其他像素预测得到,这个过程即被称为CFA差值。又因为像素阵列图像类似马赛克,因此通过CFA差值的方式获得全彩色图像的过程也可以被称为去马赛克。
为了对图像传感器输出的像素阵列图像进行处理,以将像素阵列图像还原为彩色图像,本申请提供了一种去马赛克方法。
如图3所示,去马赛克方法实施例1的具体流程可以包括步骤S301~步骤S304。
步骤S301:获取像素阵列图像中白色像素的白色值;其中,白色像素是透明掩膜对光进行滤波后生成的像素。
如上,像素阵列图像包括有色像素也包括白色像素。白色像素是光直接通过透明掩膜后,由感光元件生成的像素。白色像素的光强度值可以称为白色值,白色像素的白色值可以从感光元件处直接获取到,其他有色像素的白色值需要使用白色像素的白色值确定出来,具体如下一步骤。
步骤S302:依据白色像素的白色值,确定像素阵列图像中有色像素的白色值;有色像素是有色掩膜对光进行滤波后生成的像素,且有色像素的白色值是由以有色像素为中心的周围区域中的白色像素的白色值确定的。
上述有色掩膜阵列中,对于非边界的有色掩膜而言,每个有色掩膜的周围均匀分布有透明掩膜,可以使用有色掩膜周围区域中的白色像素的白色值来确定自身的白色值。需要说明的是,为了确定的精确性,该周围区域可以是以有色掩膜为中心的规则形状所表示的周围区域,规则形状可以是圆形、正方形等。
以图2A所示的滤波掩膜阵列为例,假设第四行第三个斜线框表示的蓝色像素,以该蓝色像素为中心,确定一个半径为3*3的圆,该圆内的白色像素的白色值可以用来确定该蓝色像素的白色值。
在实施中,可以使用兰索斯Lanczos算法、高阶线性滤波算法等,来根据周围区域中白色像素的白色值,确定非白色像素即有色像素的白色值。此些算法要求白色像素与有色像素之间的距离需要是规则的,这样才能保证较高的精准度。本申请中,周围区域中的白色像素符合上述要求,即以有色像素为中心,各个方向上的白色像素对称分布,因此,使用本申请提供的滤波掩膜阵列及确定周围区域的方法,对有色像素确定出来的白色值精准度较高。
一个示例中,在有色像素的邻域取一个3x3或5x5的像素块,并以该有色像素为中心,确定一个周围区域,将该像素块与该周围区域中的像素块进行匹配,得到失真在某阈值之下的最匹配的若干个像素块,然后将这些像素块中心像素的白色值的平均值确定为该有色像素的白色值。
在另一示例中,可以以有色像素为中心,确定形状规则的第一区域;对第一区域内的白色像素的白色值进行高阶线性滤波运算,获得有色像素的白色值。
步骤S303:获取有色像素的色彩值。
由于滤波掩膜阵列包括多种不同颜色的掩膜,因此,有色像素的颜色种类也存在多种。在同一滤波掩膜阵列中,每种颜色的有色像素的色彩值的确定方式是相同的,因此,以下以某一种颜色的有色像素为例,对获取蓝色像素的色彩值进行说明,当然,其他颜色的有色像素,也可以按照以下方式获得自身的色彩值。
需要说明的是,针对某一种颜色的有色像素而言,色彩值即组成像素的每个颜色分量的值。在现有的技术中,颜色使用RGB三种颜色表示,因此,有色像素的色彩值即红色分量值、绿色分量值及蓝色分量值。
在一种示例中,滤波掩膜阵列包括两种颜色类型。对于每种颜色的有色像素而言,可以首先根据另一颜色的像素,来确定该有色像素的该另一颜色的颜色分量值,再根据RGB三种颜色分量与白色值之间的线性关系,来确定该有色像素的剩下一种颜色的颜色分量值。需要补充的是,对于每种颜色的有色像素而言,该有色像素在自身颜色上的颜色分量值可以直接从感光元件处获取到。例如,蓝色像素的蓝色像素值可以直接从感光元件处获取。
以图2A所示的滤波掩膜阵列为例,包含红色掩膜及蓝色掩膜,则对于像素阵列图像中的蓝色像素而言,可以首先根据红色像素,来确定蓝色像素的红色分量值,再根据蓝色像素的红色分量值、蓝色分量值及绿色分量值与白色值之间的关系,来确定蓝色像素的绿色分量值。
在另一示例中,滤波掩膜阵列包括三种颜色类型。对于每种颜色的有色像素,除了自身颜色的颜色分量值而言,其余两种颜色的颜色分量值与上一示例中同理,可以根据相同颜色的有色像素确定出来。
那么,以下具体说明如何根据某种颜色的像素,来确定某有色像素在该颜色上的颜色分量值。为了便于描述,该有色像素可以称为待确定像素,需要确定的颜色分量值可以称为目标颜色分量值,因此,所根据的像素可以称为目标像素。
以待确定像素为中心,确定形状规则的目标区域,对将该目标区域中的目标像素的目标颜色分量进行加权平均计算,从而得到该待确定像素的目标颜色分量值。
假设图2A的滤波掩膜阵列中包含蓝色掩膜及红色掩膜,生成的像素阵列图像中,假设第四行第三个斜线框为蓝色像素。以该蓝色像素为中心,划定3*3的圆形,圆形包含四个红色像素,则可以将该四个红色像素的红色像素值按照距离进行加权平均后的值作为该蓝色像素的红色像素分量值。
同理,可以根据蓝色像素来确定红色像素的蓝色像素值。
这样,针对包含三种颜色类型的滤波掩膜阵列生成的像素阵列图像,每种颜色的像素在其他颜色上的颜色分量值均可以被确定出来。针对包含两种颜色类型的滤波掩膜阵列生成的像素阵列图像,每种颜色的像素在另一种颜色上的颜色分量值可以按照以上方式被确定出来,最后,剩余一种颜色的分量值,可以按照线性关系式a*R+b*G+c*B=W确定出来。
其中,a、b及c均为预设权重系数,W为有色像素的白色值,R为有色像素的红色像素值,G为有色像素的绿色像素值,B为有色像素的蓝色像素值。对于任一有色像素而言,确定出该有色像素的白色值、其中两种颜色分量值后,均可以根据该线性关系式确定出剩余一种的颜色分量值。
因此,不论包含两种还是三种颜色类型的滤波掩膜阵列生成的像素阵列图像,均可以确定出每个有色像素的三个颜色分量值,该三个颜色分量值可以被称为色彩值。
步骤S304:依据有色像素的白色值及色彩值,确定白色像素的色彩值。
对于白色像素而言,也需要确定白色像素在三个颜色分量上的颜色分量值。白色像素的色彩值,需要根据白色像素的周围的有色像素的白色值及色彩值确定。具体的过程如图4所示,包括步骤S401~步骤S403。
步骤S401:使用有色像素的白色值及色彩值,确定有色像素的线性参数值。
具体地,使用有色像素的白色值及有色像素与自身颜色相同的颜色分量值,来确定自身的线性参数值。其中,线性参数值为预设线性方程中的线性参数的值,预设线性方程表示的是任一像素的白色值与色彩值之间的线性关系。
例如,预设线性方程可以是X=a*W+c;其中,X表示某一种颜色的颜色分量值,如蓝色分量值B、红色分量值R;W表示白色值;a及c为线性参数值。
有色像素的线性参数值的具体确定方式可以包括以下步骤A1及步骤A2。
步骤A1:以有色像素为中心,确定形状规则的第二区域;其中,第二区域中包含与有色像素颜色相同的其他有色像素。
其中,以某有色像素为中心,确定出一个形状规则的区域,该区域可以称为第二区域,该第二区域中包括多个与该某有色像素颜色像素的其他像素。为了便于描述,该其他像素即其他有色像素,使用该其他有色像素的白色值及色彩值按照步骤A2的方式,计算中心的有色像素的线性参数值。
需要说明的是,其他有色像素的色彩值是与自身颜色对应的颜色分量值。
例如,以某个蓝色像素为中心确定出的圆形区域中,除了自身外,还包括四个蓝色像素,以该四个蓝色像素各自的白色值及各自的蓝色分量值,来计算中心的蓝色像素的线性参数值。
步骤A2:使用最小二乘法,对其他有色像素的色彩值及白色值进行线性拟合,获得有色像素的线性参数值。
对于其他有色像素而言,其白色值可以通过步骤S302获得,与自身颜色对应的颜色分量值也可以直接从感光元件处获取到,因此,对于其他有色像素而言,将白色值及颜色分量值代入上述预设线性方程后,便可以获得一个有关线性参数值(如a和c)的表达式。
将多个其他有色像素的线性参数值的表达式进行线性拟合运算,从而便可以获得中心的有色像素的线性参数值(如a和c)。对每个有色像素均执行上述A1及步骤A2,则可以确定每个有色像素自身的线性参数值。
步骤S402:使用有色像素的线性参数值,确定白色像素的线性参数值。
白色像素的周围区域中包含有色像素,有色像素的线性参数值是已知的,则可以根据周围区域中有色像素的线性参数值,来确定该白色像素的线性参数值。其中,该周围区域同样可以是以白色像素为中心的规则形状的区域。
具体地,白色像素的线性参数值的具体确定方式可以包括以下步骤B1及步骤B2。
步骤B1:在上下左右四个方向上,确定距离白色像素最近的四个有色像素。
以图2A所示的滤波掩膜阵列生成的像素阵列图像为例,第三行第四个为白色像素,在上下左右四个方向上,距离该白色像素的距离最近的四个蓝色像素分别为,第一行第二个斜线框、第四行第一个斜线框、第四行第三个斜线框、第七行第二个斜线框。该四个蓝色像素距离白色像素的距离分别为2、3、3及4。
步骤B2:使用双线性算法,对四个有色像素的线性参数值进行插值运算,获得白色像素的线性参数值。
双线性算法,可以将以上距离作为有色像素的线性参数值的权重,进过运算后可以获得新的线性参数值,该线性参数即白色像素的线性参数值。
以上述四个蓝色像素的线性参数值a为例,四个线性参数值a可以分别为a1、a2、a3及a4,则白色像素的线性参数值为a1*2+a2*3+a3*3+a4*4/(2+3+3+4)。
步骤S403:将白色像素的白色值及白色像素的线性参数值代入预设线性方程后,获得白色像素的色彩值。
需要说明的是,线性参数值是与步骤S401中的有色像素对应的,即步骤S401中的有色像素为何种颜色的有色像素,则确定的白色像素的线性参数值即何种颜色对应的线性参数值,进而步骤S403将该线性参数值代入预设线性方程后,获得的色彩值为何种颜色的颜色分量值。
例如,上述步骤S401中使用蓝色像素为例,则a1、a2、a3及a4为与蓝色对应的线性参数值,因此,上述a1*2+a2*3+a3*3+a4*4/(2+3+3+4)确定出的线性参数值为白色像素的蓝色分量值。
当然,按照以上步骤S401及步骤S403可以确定其他如白色像素的红色分量值及绿色分量值。
由以上可知,步骤S301可以获得白色像素的白色值,步骤S302可以获得有色像素的白色值,步骤S303可以获得有色像素的色彩值,步骤S304可以获得白色像素的色彩值。因此,根据本申请提供的技术方案,可以确定出每个像素的白色值及各个颜色上的颜色分量值,从而完成了去马赛克流程,将图像传感器输出的像素阵列图像还原为了彩色图像。
在实际应用中,以上步骤S303获取有色像素的色彩值的另一种实现方式可以是:
使用引导双边滤波算法,确定有色像素的色彩值。其中,以获取有色像素的红色分量值为例,对引导双边滤波算法的具体内容进行说明。获取有色像素的其他的颜色分量值的过程可以参见以下。
对于某个有色像素(非红色像素),以该有色像素为中心,确定某个半径大小的圆形,需要说明的是,圆形内需要包含有红色像素。
其中,该有色像素的位置可以使用R(x,y)表示,所有红色像素的位置的集合使用G表示,白色像素值平面为L(x,y)表示,本算法以亮度像素值计算双边引导的加权值。
其中,针对红色像素的引导双边滤波算法的表达式如下所示:
R ( x , y ) = Σ ( z , w ) ∈ G e - 0.5 × ( x - z ) 2 × ( y - w ) 2 × e - ( L ( z , w ) - L ( x , y ) ) 2 σ 2 × R ( z , w ) Σ ( z , w ) ∈ G e - 0.5 × ( x - z ) 2 × ( y - w ) 2 × e - ( L ( z , w ) - L ( x , y ) ) 2 σ 2 .
其中,e及б均为预设的已知数,(x,y)是有色像素的位置坐标,(z,w)是集合G中的位置坐标,L(x,y)是位置坐标(x,y)处的白色像素值,R(z,w)是位置坐标(z,w)处的红色像素值。
以下对本申请提供的图像处理器进行介绍,需要说明的是,下文有关图像处理器的说明可以参见上文提供的去马赛克方法,以下并不赘述。
图像处理器用于对图像传感器输出的像素阵列图像进行去马赛克处理,以将所述像素阵列图像还原为彩色图像,其中,所述图像传感器包含滤波掩膜阵列,所述滤波掩膜阵列由不同颜色的有色掩膜及透明掩膜组成,且在行方向及列方向上不同颜色的有色掩膜之间均间隔相同数量的透明掩膜;
其中,图像处理器用于执行图3中的步骤S301~步骤S304、图4中的步骤S401~步骤S404、以上步骤A1及步骤A2、以上步骤B1及步骤B2。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括上述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种去马赛克方法,其特征在于,用于对图像传感器输出的像素阵列图像进行去马赛克处理,以将所述像素阵列图像还原为彩色图像,其中,所述图像传感器包含滤波掩膜阵列,所述滤波掩膜阵列由不同颜色的有色掩膜及透明掩膜组成,且在行方向及列方向上不同颜色的有色掩膜之间均间隔相同数量的透明掩膜;该方法包括:
获取所述像素阵列图像中白色像素的白色值;其中,所述白色像素是所述透明掩膜对光进行滤波后生成的像素;
依据所述白色像素的白色值,确定所述像素阵列图像中有色像素的白色值;所述有色像素是所述有色掩膜对光进行滤波后生成的像素,且所述有色像素的白色值是由以所述有色像素为中心的周围区域中的白色像素的白色值确定的;
获取所述有色像素的色彩值;
依据所述有色像素的白色值及色彩值,确定所述白色像素的色彩值。
2.根据权利要求1所述的去马赛克方法,其特征在于,所述依据所述白色像素的白色值,确定所述像素阵列图像中有色像素的白色值,包括:
以所述有色像素为中心,确定形状规则的第一区域;
对所述第一区域内的白色像素的白色值进行高阶线性滤波运算,获得所述有色像素的白色值。
3.根据权利要求1所述的去马赛克方法,其特征在于,所述依据所述有色像素的白色值及色彩值,确定所述白色像素的色彩值,包括:
使用所述有色像素的白色值及色彩值,确定所述有色像素的线性参数值;其中,所述线性参数值为预设线性方程中的线性参数的值,所述预设线性方程表示的是任一像素的白色值与色彩值之间的线性关系;
使用所述有色像素的线性参数值,确定所述白色像素的线性参数值;
将所述白色像素的白色值及所述白色像素的线性参数值代入所述预设线性方程后,获得所述白色像素的色彩值。
4.根据权利要求3所述的去马赛克方法,其特征在于,所述使用所述有色像素的白色值及色彩值,确定所述有色像素的线性参数值,包括:
以所述有色像素为中心,确定形状规则的第二区域;其中,所述第二区域中包含与所述有色像素颜色相同的其他有色像素;
使用最小二乘法,对所述其他有色像素的色彩值及白色值进行线性拟合,获得所述有色像素的线性参数值。
5.根据权利要求3所述的去马赛克方法,其特征在于,所述使用所述有色像素的线性参数值,确定所述白色像素的线性参数值,包括:
在上下左右四个方向上,确定距离所述白色像素最近的四个有色像素;
使用双线性算法,对所述四个有色像素的线性参数值进行插值运算,获得所述白色像素的线性参数值。
6.根据权利要求1所述的去马赛克方法,其特征在于,所述获取所述有色像素的色彩值,包括:
使用引导双边滤波算法,确定所述有色像素的色彩值。
7.一种图像处理器,其特征在于,用于对图像传感器输出的像素阵列图像进行去马赛克处理,以将所述像素阵列图像还原为彩色图像,其中,所述图像传感器包含滤波掩膜阵列,所述滤波掩膜阵列由不同颜色的有色掩膜及透明掩膜组成,且在行方向及列方向上不同颜色的有色掩膜之间均间隔相同数量的透明掩膜;该处理器用于:
获取所述像素阵列图像中白色像素的白色值;其中,所述白色像素是所述透明掩膜对光进行滤波后生成的像素;
依据所述白色像素的白色值,确定所述像素阵列图像中有色像素的白色值;所述有色像素是所述有色掩膜对光进行滤波后生成的像素,且所述有色像素的白色值是由以所述有色像素为中心的周围区域中的白色像素的白色值确定的;
获取所述有色像素的色彩值;
依据所述有色像素的白色值及色彩值,确定所述白色像素的色彩值。
8.根据权利要求7所述的图像处理器,其特征在于,在依据所述白色像素的白色值,确定所述像素阵列图像中有色像素的白色值方面,所述图像处理器用于:
以所述有色像素为中心,确定形状规则的第一区域;
对所述第一区域内的白色像素的白色值进行高阶线性滤波运算,获得所述有色像素的白色值。
9.根据权利要求7所述的图像处理器,其特征在于,在依据所述有色像素的白色值及色彩值,确定所述白色像素的色彩值方面,所述图像处理器用于:
使用所述有色像素的白色值及色彩值,确定所述有色像素的线性参数值;其中,所述线性参数值为预设线性方程中的线性参数的值,所述预设线性方程表示的是任一像素的白色值与色彩值之间的线性关系;
使用所述有色像素的线性参数值,确定所述白色像素的线性参数值;
将所述白色像素的白色值及所述白色像素的线性参数值代入所述预设线性方程后,获得所述白色像素的色彩值。
10.根据权利要求9所述的图像处理器,其特征在于,在所述使用所述有色像素的白色值及色彩值,确定所述有色像素的线性参数值方面,所述图像处理器用于:
以所述有色像素为中心,确定形状规则的第二区域;其中,所述第二区域中包含与所述有色像素颜色相同的其他有色像素;
使用最小二乘法,对所述其他有色像素的色彩值及白色值进行线性拟合,获得所述有色像素的线性参数值。
11.根据权利要求9所述的图像处理器,其特征在于,在所述使用所述有色像素的线性参数值,确定所述白色像素的线性参数值方面,所述图像处理器用于:
在上下左右四个方向上,确定距离所述白色像素最近的四个有色像素;
使用双线性算法,对所述四个有色像素的线性参数值进行插值运算,获得所述白色像素的线性参数值。
12.根据权利要求7所述的图像处理器,其特征在于,在所述获取所述有色像素的色彩值方面,所述图像处理器用于:
使用引导双边滤波算法,确定所述有色像素的色彩值。
13.一种图像传感器,其特征在于,包括:感光元件及覆盖在所述感光元件上的滤波掩膜阵列;其中:
所述滤波掩膜阵列由不同颜色的有色掩膜及透明掩膜组成,且在行方向及列方向上不同颜色的有色掩膜之间均间隔相同数量的透明掩膜。
14.根据权利要求13所述的图像传感器,其特征在于,所述滤波掩膜阵列中包括两种颜色的有色掩膜,且分别为蓝色的有色掩膜及红色的有色掩膜;
其中,所述透明掩膜占据滤波掩膜阵列的九分之八,蓝色的有色掩膜及所述红色的有色掩膜各占据滤波掩膜阵列的十八分之一。
15.根据权利要求13所述的图像传感器,其特征在于,所述滤波掩膜阵列中包括三种颜色的有色掩膜,且分别为蓝色的有色掩膜、红色的有色掩膜及绿色的有色掩膜;
其中,所述透明掩膜占据滤波掩膜阵列的九分之八,绿色的有色掩膜占据滤波掩膜阵列的十八分之一,红色的有色掩膜及蓝色的有色掩膜分别占据滤波掩膜阵列的三十六分之一。
CN201610514267.1A 2016-06-30 2016-06-30 去马赛克方法、图像处理器及图像传感器 Active CN105979233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610514267.1A CN105979233B (zh) 2016-06-30 2016-06-30 去马赛克方法、图像处理器及图像传感器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610514267.1A CN105979233B (zh) 2016-06-30 2016-06-30 去马赛克方法、图像处理器及图像传感器

Publications (2)

Publication Number Publication Date
CN105979233A true CN105979233A (zh) 2016-09-28
CN105979233B CN105979233B (zh) 2018-10-19

Family

ID=56953591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610514267.1A Active CN105979233B (zh) 2016-06-30 2016-06-30 去马赛克方法、图像处理器及图像传感器

Country Status (1)

Country Link
CN (1) CN105979233B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846868A (zh) * 2018-04-25 2018-11-20 上海大学 一种基于cfa插值特性的数字图像真伪鉴别方法
CN109348204A (zh) * 2018-10-30 2019-02-15 德淮半导体有限公司 图像传感器及生成图像的方法
CN112349735A (zh) * 2019-08-08 2021-02-09 爱思开海力士有限公司 图像传感器、图像信号处理器及包括其的图像处理***
CN114466170A (zh) * 2021-08-27 2022-05-10 锐芯微电子股份有限公司 图像处理方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101375610A (zh) * 2006-01-27 2009-02-25 伊斯曼柯达公司 全色与彩色像素的插值
JP2012065069A (ja) * 2010-09-15 2012-03-29 Nikon Corp 欠陥検出補正装置、及びプログラム、並びに記憶媒体
CN103098214A (zh) * 2010-07-13 2013-05-08 诺基亚公司 彩色图像感测
CN103916645A (zh) * 2012-12-28 2014-07-09 采钰科技股份有限公司 用以校正彩色滤波阵列中彩色像素的像素信息的校正方法
CN104243942A (zh) * 2013-06-21 2014-12-24 英属盖曼群岛恒景科技股份有限公司 图像处理方法以及图像处理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101375610A (zh) * 2006-01-27 2009-02-25 伊斯曼柯达公司 全色与彩色像素的插值
CN103098214A (zh) * 2010-07-13 2013-05-08 诺基亚公司 彩色图像感测
JP2012065069A (ja) * 2010-09-15 2012-03-29 Nikon Corp 欠陥検出補正装置、及びプログラム、並びに記憶媒体
CN103916645A (zh) * 2012-12-28 2014-07-09 采钰科技股份有限公司 用以校正彩色滤波阵列中彩色像素的像素信息的校正方法
CN104243942A (zh) * 2013-06-21 2014-12-24 英属盖曼群岛恒景科技股份有限公司 图像处理方法以及图像处理装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846868A (zh) * 2018-04-25 2018-11-20 上海大学 一种基于cfa插值特性的数字图像真伪鉴别方法
CN108846868B (zh) * 2018-04-25 2022-06-10 上海大学 一种基于cfa插值特性的数字图像真伪鉴别方法
CN109348204A (zh) * 2018-10-30 2019-02-15 德淮半导体有限公司 图像传感器及生成图像的方法
CN112349735A (zh) * 2019-08-08 2021-02-09 爱思开海力士有限公司 图像传感器、图像信号处理器及包括其的图像处理***
CN112349735B (zh) * 2019-08-08 2024-04-09 爱思开海力士有限公司 图像传感器、图像信号处理器及包括其的图像处理***
CN114466170A (zh) * 2021-08-27 2022-05-10 锐芯微电子股份有限公司 图像处理方法及***
CN114466170B (zh) * 2021-08-27 2023-10-31 锐芯微电子股份有限公司 图像处理方法及***

Also Published As

Publication number Publication date
CN105979233B (zh) 2018-10-19

Similar Documents

Publication Publication Date Title
JP5118047B2 (ja) 高機能カラーフィルタモザイクアレイのためのシステムおよび方法
US6970597B1 (en) Method of defining coefficients for use in interpolating pixel values
EP2683166B1 (en) Color imaging device
US9509978B2 (en) Image processing method, image processing apparatus, image-capturing apparatus, and image processing program
CN105979233A (zh) 去马赛克方法、图像处理器及图像传感器
EP2680589B1 (en) Color imaging device
EP2685711B1 (en) Color image pickup device
CN104159091B (zh) 一种基于边缘检测的颜色插值方法
KR20010020797A (ko) 전색 이미지 생성을 위한 데이터 처리 시스템 동작 방법과2차원 픽셀값 어레이를 포함하는 이미지의 보간 방법
CN104412579B (zh) 彩色摄像元件以及摄像装置
US20120002874A1 (en) Apparatus and method for shift invariant differential (sid) image data interpolation in fully populated shift invariant matrix
CN105993169A (zh) 用于图像去马赛克的***及方法
EP2763417A1 (en) Device, method and program for image processing, recording medium, and imaging device
EP2800384A1 (en) Color imaging element
EP2680592A1 (en) Color imaging device
CN102801984B (zh) 彩色图像传感器及获取彩色数字图像的方法
EP2680591A1 (en) Color imaging device
CN110517206A (zh) 彩色摩尔纹消除方法及装置
CN104658488A (zh) 下采样方法及装置
CN103051849B (zh) 新型结构的像素阵列
US20180365801A1 (en) Method for processing signals from a matrix for taking colour images, and corresponding sensor
JP2004519156A (ja) 画像検知器の出力信号用の輪郭フィルタ
CN101489142B (zh) 数字影像的彩色插补方法
CN205092933U (zh) 像素阵列构件、图像处理装置及摄像机
CN107318006B (zh) 具有低蓝光密度的彩色滤波器阵列

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant