CN1812592B - 用于处理滤色器阵列的图像数据的方法和设备 - Google Patents

用于处理滤色器阵列的图像数据的方法和设备 Download PDF

Info

Publication number
CN1812592B
CN1812592B CN2005101317378A CN200510131737A CN1812592B CN 1812592 B CN1812592 B CN 1812592B CN 2005101317378 A CN2005101317378 A CN 2005101317378A CN 200510131737 A CN200510131737 A CN 200510131737A CN 1812592 B CN1812592 B CN 1812592B
Authority
CN
China
Prior art keywords
color component
classification symbol
interpolation
pixel
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2005101317378A
Other languages
English (en)
Other versions
CN1812592A (zh
Inventor
蒂莫菲·尤瓦罗夫
李亨根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1812592A publication Critical patent/CN1812592A/zh
Application granted granted Critical
Publication of CN1812592B publication Critical patent/CN1812592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

为了处理根据滤色器阵列产生的图像数据，从图像数据中产生分类符。根据分类符从图像数据方向性内插预定色彩分量。从线性内插的图像数据和经方向性内插的预定色彩分量产生色度分量。方向性内插色度分量，并且从方向性内插的色度分量中提取色彩分量。

Description

用于处理滤色器阵列的图像数据的方法和设备
本申请要求于2004年12月16日在韩国知识产权局提交的韩国专利申请No.10-2004-0107213的优先权，其全部内容援引于此以供参考。
技术领域
本发明总的涉及图像处理，尤其涉及用于内插对应于诸如拜耳滤色器阵列(Bayer CFA)之类的CFA的图像数据的方法和装置。
背景技术
诸如数据照相机、移动电话摄像头之类的图像传感***包括以有效像素传感器阵列形式存在的图像传感装置。这样的图像传感装置以图1所示的拜耳色彩模式产生具有三色(即，绿(G)、蓝(B)和红(R))的数字图像数据。在其中图像传感装置采用拜耳滤色器阵列(CFA)的情况下，互补金属氧化物半导体(CMOS)图像传感器(CIS)为每个像素产生对应于R、G、B色之一的图像数据。
如果仅使用由图像传感装置产生的每个像素数据显示图像，则所显示的图像会严重失真并具有很差的视觉质量。因此，后续内插器使用相邻像素数据为每个像素数据确定两个丢失的色彩分量。使用关于每个像素产生的三色数据显示的图像具有改善的视觉质量。
公知的内插方法包括线性内插方法、平滑色调过渡方法、PEI方法、方向性内插(directional interpolation)法、Adams方法、Adams-PEI方法、Kimmel方法等等。美国专利号550619和韩国专利申请号2001-56442公开了用于使用相邻像素数据来为每个像素获得两种丢失色彩的像素数据的常规内插方法。
然而，在上述常规内插方法中，没有完全校正所显示的图像的失真。图像的失真包括拉链式(zipper)现象，即混叠失真、色彩波纹、细节模糊损失、假/伪色彩现象等。
发明内容
因此，本发明致力于最小化当内插对应于滤色器阵列的图像数据的丢失色彩分量时的图像失真。
在用于处理根据滤色器阵列产生的图像数据本发明的一个方面的方法和设备中，从图像数据中产生分类符(classifier)。此外，通过根据分类符方向性内插图像数据来确定预定色彩分量。此外，线性内插图像数据来产生除预定色彩分量之外的至少一种其它色彩。还从线性内插的图像数据和经方向性内插的预定色彩分量中产生色度分量。
在本发明的一个实施例中，滤色器阵列具有拜耳色彩模式。在这种情况下，预定色彩分量是绿色，并且所述至少一种其它色彩分量包括红和蓝色。
在本发明的另一实施例中，产生分类符的步骤包括产生水平和垂直分类符。在那种情况下，产生分类符的步骤包括使用当前像素和当前像素左侧和右侧的额外像素的图像数据为当前像素计算水平分类符，并且使用当前像素和当前像素上侧和下侧的额外像素的图像数据为当前像素计算垂直分类符。
在本发明的进一步的实施例中，当用于当前像素的水平和垂直分类符之间的差异小于阈值时，通过平均当前像素和相邻像素的水平分类符来调节水平分类符，并且平均当前像素和相邻像素的垂直分类符来调节垂直分类符。
在本发明的另一实施例，如果垂直分类符大于水平分类符，则计算关于经方向性内插的预定色彩分量的水平卷积值。另一方面，如果垂直分类符小于水平分类符，则计算关于经方向性内插的预定色彩分量的垂直卷积值。另外，如果垂直分类符等于水平分类符，则平均关于经方向性内插的预定色彩分量的水平和垂直卷积值。
在本发明的进一步的实施例中，使用经方向性内插的预定色彩分量重新计算分类符。此外，根据分类符方向性内插色度分量，并且使用方向性内插的色度分量提取像素的至少一种色彩分量。
以这种方式，为对应于滤色器阵列的图像数据和色度分量执行线性和方向性内插。这样的多种内插改善了图像形成***中的视觉质量。
附图说明
通过结合附图对本发明的优选实施例进行详细描述，本发明的上述目的和优点将会变得更加清楚，其中：
图1显示用于常规拜耳滤色器阵列的色彩模式；
图2显示根据本发明实施例的色彩信号内插装置的方框图；
图3是在根据本发明实施例的、图2的色彩信号内插装置的操作期间的步骤的流程图；
图4A和4B图解根据本发明实施例的要从内插中确定的色彩分量；
图5A图解根据本发明实施例的用于计算水平和垂直分类符的像素数据；
图5B和5C图解根据本发明实施例的用于平均水平和垂直分类符的像素数据；
图6图解根据本发明实施例的用于重新计算水平和垂直分类符的像素数据；和
图7A和7B图解根据本发明实施例的色度分量计算。
这里参照的附图是为了清除说明而做出的，而不是必须按比例画出的。在图1、2、3、4A、4B、5A、5B、5C、6、7A和7B中具有相同附图标记的元件表示具有相同结构和/或功能的元件。
具体实施方式
图2显示根据本发明实施例的色彩信号内插装置200的方框图。参照图2，色彩信号内插装置200包括线性内插器210、分类符计算器220、第一方向性内插器230、色差计算器240、第二方向性内插器250和RGB生成器260。
线性内插器210接收R、G和B像素图像数据，并使用相邻像素图像数据线性内插R、G和B像素图像数据来产生每个像素经线性内插的R、G和B数据。根据本发明示例性实施例，R、G和B像素图像数据来自具有拜耳模式CFA(滤色器阵列)的图像传感器。然而，本发明可以应用到其它类型的滤色器阵列。
分类符计算器220从线性内插器210输出的、经线性内插的R、G和B像素图像数据产生方向分类符，即水平和垂直分类符H和V。水平分类符H指示与当前像素相邻的数据的水平梯度，而垂直分类符V指示与当前像素相邻的数据的垂直梯度。
由于R和B色分量的混叠可能在内插的图像中出现波纹现象。R和B色分量的采样频率可能不足以补偿高空间频率，并因此可能引起混叠。
根据本发明实施例，关于诸如绿(G)色之类的预定色彩分量执行方向性内插来内插色度分量。为此，第一方向性内插器230根据水平和垂直分类符H和V使用从线性内插器210输出的、经线性内插的R、G、B像素图像数据来执行方向性内插。结果，第一方向性内插器230产生经方向性内插的G数据。
此外，分类符计算器220可以仅使用来自第一方向性内插器230的、经方向性内插的G数据来重新计算水平和垂直分类符H和V，以输出重新计算的水平和垂直分类符作为水平和垂直分类符H和V。替换地，分类符计算器220可以使用来自线性内插器210的、经线性内插的R和B数据和来自第一方向性内插器230的、经方向性内插的G数据来重新计算水平和垂直分类符H和V，以输出重新计算的水平和垂直分类符作为水平和垂直分类符H和V。由分类符计算器220重新计算水平和垂直分类符H和V是可选的。重新计算水平和垂直分类符H和V可以进一步改善视觉质量。
色差计算器240从来自线性内插器210的、经线性内插的R和B数据和来自第一方向性内插器230的、经方向性内插的G数据中产生与当前像素相邻的第一色度分量Kr[*](/Kb[*])和第二色度分量Kb[*](/Kr[*])。第二方向性内插器250根据从分类符计算器220输出的水平和垂直分类符H和V方向性内插第一和第二色度分量Kr[*](/Kb[*])和Kb[*](/Kr[*])，以产生当前像素的第一和第二色度数据Kr[current](/Kb[current])和Kb[current](/Kr[current])。
RGB生成器260从来自线性内插器210的经线性内插的R和B数据、来自第一方向性内插器230的经方向性内插的G数据、和来自第二方向性内插器250的第一和第二色度数据Kr[current](/Kb[current])和Kb[current](/Kr[current])中，为每个像素取出两种丢失的色彩分量，以输出重组的R、G和B数据。例如，为R像素提取G和B数据，为G像素提取R和B数据，而为B像素提取R和G数据。结果，为每个像素从RGB生成器260输出R、G和B数据。
参照流程图3更加详细地描述色彩信号内插设备200的操作。参照图2和3，例如，线性内插器210从图像传感器接收根据拜耳滤色器阵列产生的像素图像数据(输入R、G和B数据)(图3中的步骤S310)。
线性内插器210使用相邻像素数据线性内插R、G和B像素图像数据(图3中的步骤S320)。例如，在图4A中，G2、G4、G6和G8像素图像数据与具有要为中央R或B像素确定的G5数据的像素相邻。线性内插的G5数据可以确定为G5＝(G2+G8)/2，或G5＝(G4+G6)/2。
在图4B中，R1、R3、R7和R9像素图像数据与具有要为对应的G像素和B像素确定的R2、R4、R5、R6和R8数据的像素相邻。用于G像素的线性内插的R2、R4、R6和R8可以确定为R2＝(R1+R3)/2、R4＝(R1+R7)/2、R6＝(R3+R8)/2、R8＝(R7+R9)/2，而不计算中央B像素的R5。此外，在步骤S320中，类似地计算G像素的经线性内插的B数据。此外，来自图像传感器的像素图像数据可以像来自线性内插器210那样作为线性内插的图像数据输出。
此外，分类符计算器220使用从线性内插器210输出的、经线性内插的R、G和B像素图像数据来产生水平和垂直分类符H和V(图3中的步骤S340)。如图5A所示，水平分类符H使用当前像素的左侧的两个水平图像数据和当前像素的右侧的两个水平图像数据来指示当前像素的水平梯度。例如，如果包括当前像素R3的5个水平像素图像数据是R1、G2、R3、G4和R5，则水平分类符可以计算为H＝w1*ABS(G2-G4)+w2*ABS(R1-2R3+R5)。这里，ABS()表示绝对值，并且w1和w2表示加权系数。类似地，从包括当前像素的5个垂直像素数据(包括当前像素上方两个垂直图像数据和下方两个垂直图像数据)计算垂直分类符V。
如果水平和垂直分类符H和V之间的差小于第一阈值(图3的步骤S330)，则分类符计算器220平均水平和垂直分类符H和V(图3的步骤S350)。例如，在那种情况下，分类符计算器220使用相应的加权系数将当前像素左侧和右侧的水平分类符H[left]和H[right]与当前像素的水平分类符H[current]相加，以产生加法结果作为水平分类符H。
类似地，如下面的方程1所示，分类符计算器220使用相应的加权系数将当前像素上方和下方的垂直分类符V[top]和V[bottom]与当前像素的垂直分类符V[current]相加，以产生加法结果作为垂直分类符V。因此，如图5B所示的7×7像素图像数据窗口用于平均水平和垂直分类符H和V。在下面的方程1中，w1和w2表示加权系数。
[方程1]
V＝w1*V[current]+w2(V[top]+V[bottom])
H＝w1*H[current]+w2(H[left]+H[right])
此外，如果这样平均的分类符H和V之间的差大于第一阈值但是小于第二阈值，则分类符计算器220还可以重新平均分类符H和V。例如在那种情况下，分类符计算器220使用相应加权系数将当前像素的左侧和右侧的垂直分类符V[left]和V[right]和当前像素的垂直分类符V[current]来产生加法结果作为垂直分类符V。
类似地，如方程2所示，分类符计算器220使用相应加权系数将当前像素的上方和下方的水平分类符H[top]和H[bottom]和当前像素的水平分类符H[current]来产生加法结果作为水平分类符H。
[方程2]
V＝w1*V[current]+w2(V[left]+V[right])
H＝w1*H[current]+w2(H[top]+H[bottom])
进一步参照图2和3，第一方向性内插器230根据水平和垂直分类符H和V，从线性内插器210输出的线性内插的R、B和G像素图像数据中执行方向性内插，以产生经方向性内插的G数据(图3的步骤S360)。这里，产生R和B像素的经方向性内插的G数据。
例如，如方程3所示，如果垂直分类符V大于水平分类符H，则计算水平卷积值HC(current)作为经方向性内插的G数据G[current]。由当前像素、当前像素左侧的两个像素和当前像素右侧的两个像素的图像数据计算HC(current)。例如，如果包括当前像素R3的5个水平像素图像数据是R1、G2、R3、G4和R5，则HC(current)＝w*(G2+G4)+(a*R1+b*R3+a*R5)。这里，w、a和b表示加权系数。
[方程3]
G[current]＝HC(current)
另一方面，如下面的方程4所示，如果垂直分类符V小于水平分类符H，则计算垂直卷积值VC(current)作为经方向性内插的G数据G[current]。与上述计算HC(current)相似，由包括当前像素的5个垂直数据计算VC(current)。
[方程4]
G[current]＝VC(current)
如下面的方程5所示，如果垂直分类符V等于或与水平分类符H的值相近，则产生HC(current)和VC(current)的平均值作为经方向性内插的G数据G(current)。
方程5
G[current]＝{HC(current)+VC(current)}/2
在步骤S370中，分类符计算器220可以使用经方向性内插的G数据重新计算并重新平均水平和垂直分类符H和V。然而，步骤S370是可选的(在图3中由虚线显示)。例如，仅使用从第一方向性内插器230输出的经方向性内插的G数据执行水平和垂直分类符H和V的重新计算和重新平均。例如，通过经方向性内插的G数据的加权和可以产生水平和垂直分类符H和V。在那种情况下，由于在7×7窗口周围的四个额外像素的图像数据用于确定要被平均的多个分类符，使用如图6所示的11×11窗口中的像素图像数据来重新计算并重新平均水平和垂直分类符H和V。
替换地，为了仅使用经方向性内插的G数据，来自线性内插器210的经线性内插的R和B数据和来自第一方向性内插器230的经方向性内插的G数据可以用于重新计算水平和垂直分类符H和V。例如，可以由经线性内插的R和B数据和经方向性内插的G数据的加权和产生分类符H和V。
进一步参照图2和3，色差计算器240从来自线性内插器210的、经线性内插的R和B数据和来自第一方向性内插器230的、经方向性内插的G数据中产生与当前像素相邻的第一色度分量Kr[*](/Kb[*])和第二色度分量Kb[*](/Kr[*])(图3的步骤S380)。例如，如图7A所示，色差计算器240产生当前R像素R[current]的上、下、左和右的G像素的第一色度分量Kr[top]、kr[bottom]、kr[left]和kr[right]和当前R像素R[current]的上、下、左和右的B像素的第二色度分量kb[lt]、kb[rt]、kb[lb]和kb[rb]。
因此，如下面的方程6所示，可以从G像素的经方向性内插的G数据和线性内插的R数据中计算第一色度分量Kr[*]，并且如下面的方程7所示，可以从B像素的经方向性内插的G数据和经线性内插的B数据中计算第二色度分量Kb[*]。应当注意的是，B像素的这种经线性内插的B数据是来自图像传感器的原始像素图像B数据。
[方程6]
Kr[top]＝G[top]-R[top]
Kr[bottom]＝G[bottom]-R[bottom]
Kr[left]＝G[left]-R[left]
Kr[right]＝G[right]-R[right]
[方程7]
Kb[lt]＝G[lt]-R[lt]
Kb[rt]＝G[rt]-R[rt]
Kb[lb]＝G[lb]-B[lb]
Kb[rb]＝G[rb]-B[rb]
与图7B所示的相似，色差计算器240还产生当前B像素B[current]的上、下、左和右的G像素的第一色度分量Kb[top]、Kb[bottom]、Kb[left]和Kb[right]。色差计算器240类似地产生当前B像素B[current]的左上、右上、左下和右下的R像素的第二色度分量Kr[lt]、Kr[rt]、Kr[lb]和Kr[rb]。类似地，对于当前G像素，Kb[*]作为第一色度分量产生，而Kr[*]作为第二色度分量产生。
在步骤S390，第二方向性内插器250根据水平和垂直分类符H和V方向性内插第一和第二色度Kr[*](/Kb[*])和Kb[*](/Kr[*])，来产生当前像素的第一和第二色度数据Kr[current](/Kb[current])和Kb[current](/Kr[current])。通过方向性内插第一色度分量Kr[*](/Kb[*])获得第一色度数据Kr[current](/Kb[current])。通过方向性内插第二色度分量Kb[*](/Kr[*])获得第二色度数据Kb[current](/Kr[current])。
例如，如方程8所示，如果对于当前R像素垂直分类符V大于水平分类符H，则产生当前R像素的左侧和右侧的色度分量的平均值作为经方向性内插的第一色度数据Kr[current]。
[方程8]
Kr[current]＝(Kr[left]+Kr[right])/2
另一方面，如方程9所示，如果对于当前R像素垂直分类符V小于水平分类符H，则产生当前R像素的上方和下方的色度分量Kr[top]和Kr[bottom]的平均值作为方向性内插的第一色度数据Kr[current]。
[方程9]
Kr[current]＝(Kr[top]+Kr[bottom])/2
如方程10所示，如果对于当前R像素垂直分类符V的值等于或接近水平分类符H的值，则产生平均值的进一步的平均值作为方向性内插的第一色度数据Kr[current]。
方程10
Kr[current]＝(Kr[left]+Kr[right]+Kr[top]+Kr[bottom)/4
获得用于当前R像素的第一色度数据Kr[current]的方法还用于当前B和G像素来类似地产生用于当前B和G像素的第一色度数据Kr[current](/Kb[current])。
执行中值过滤来从与当前像素成对角的第二色度分量Kb[*](/Kr[*])获得第二色度数据Kb[current](/Kr[current])。例如，从用于当前R像素的第二色度分量Kb[lt]、Kb[rt]、Kb[lb]和Kb[lb]的中值过滤产生第二色度数据Kb[current]。如果第二色度分量Kb[lt]、Kb[rt]、Kb[lb]和Kb[rb]分别是8、3、10和2，则中值过滤值被计算为(3+8)/2。
众所周知，“中值过滤”指的是集合中除了集合中的最大值和最小值之外的值的平均值。相同地，通过中值过滤与当前B和G像素成对角的第二色度分量Kb[*](/Kr[*])来确定用于当前B和G像素的第二色度数据。
在步骤S400，RGB生成器使用第一色度数据Kr[current](/Kb[current])和来自第二方向性内插器250的第二色度数据Kb[current](/Kr[current])来提取每个像素的丢失的两个分量。来自线性内插器210的、经线性内插的R和B数据和来自第一方向性内插器230的、方向性内插的数据也用于提取两个丢失分量。例如，如下面方程11所示，可以获得当前R像素的G和B数据G[current]和B[current]。
[方程11]
G[current]＝R[current]+Kr[current]
B[current]＝G[current]+Kb[current]
以这种方式，提取的G[current]和B[current]和当前R像素R[current]形成重组的、要在后面处理来作为屏幕上图像来显示的R、G和B数据。
以这种方式，执行拜耳滤色器阵列的图像数据和色度分量的线性和方向性内插。这样的多种类型内插改善视觉质量。因此，由于混叠失真、色彩波纹、模糊、假和/伪色彩效果之类所产生的图像失真被最小化，从而改善视觉质量。
尽管已参照本发明的确定优选实例表示和描述了本发明，但本领域内的普通技术人员将理解的是，可在不背离由所附权利要求书限定的本发明宗旨和范围的前提下对本发明进行各种形式和细节上的修改。

Claims (16)

1.一种用于处理根据滤色器阵列产生的图像数据的方法，包括：
从图像数据中产生分类符；
根据分类符从图像数据方向性内插预定色彩分量；和
从经方向性内插的预定色彩分量和用于除预定色彩分量之外的至少一种其它色彩分量的图像数据产生色度分量，
其中产生分类符的步骤包括产生水平和垂直分类符；以及
其中根据分类符从图像数据方向性内插预定色彩分量的步骤包括：
如果垂直分类符大于水平分类符，则计算关于经方向性内插的预定色彩分量的水平卷积值；
如果垂直分类符小于水平分类符，则计算关于经方向性内插的预定色彩分量的垂直卷积值；和
如果垂直分类符实际上等于水平分类符，则平均关于经方向性内插的预定色彩分量的水平和垂直卷积值。
2.如权利要求1所述的方法，其中滤色器阵列具有拜耳色彩模式。
3.如权利要求2所述的方法，其中预定色彩分量是绿色。
4.如权利要求3所述的方法，其中图像数据是从滤色器阵列产生的数据的经线性内插的数据，并且所述至少一种其它色彩分量包括红和蓝色的经线性内插的数据。
5.如权利要求1所述的方法，其中产生分类符的步骤包括：
使用当前像素和当前像素左侧和右侧的额外像素的图像数据来计算当前像素的水平分类符；和
使用当前像素和当前像素上方和下方的额外像素的图像数据来计算当前像素的垂直分类符。
6.如权利要求5所述的方法，还包括：
当当前像素的水平和垂直分类符之间的差小于一阈值时，通过平均当前像素和相邻像素的水平分类符来调节水平分类符，并且平均当前像素和相邻像素的垂直分类符来调节垂直分类符。
7.如权利要求1所述的方法，还包括：
使用经方向性内插的预定色彩分量重新计算分类符。
8.如权利要求1所述的方法，还包括：
根据分类符方向性内插色度分量；和
使用像素的方向性内插的色度分量提取像素的至少一种色彩分量。
9.一种用于处理根据滤色器阵列产生的图像数据的装置，包括：
分类符计算器，用于从图像数据中产生分类符；
第一方向性内插器，用于根据分类符从图像数据方向性内插预定色彩分量；
色差计算器，用于从经方向性内插的预定色彩分量和用于除预定色彩分量之外的至少一种其它色彩分量的图像数据产生色度分量，
其中，分类符计算器产生水平分类符和垂直分类符；以及
其中，如果垂直分类符大于水平分类符，则第一方向性内插器计算关于经方向性内插的预定色彩分量的水平卷积值；如果垂直分类符小于水平分类符，则第一方向性内插器计算关于经方向性内插的预定色彩分量的垂直卷积值；和如果垂直分类符实际上等于水平分类符，则第一方向性内插器平均关于经方向性内插的预定色彩分量的水平和垂直卷积值。
10.如权利要求9所述的装置，其中滤色器阵列具有拜耳色彩模式。
11.如权利要求10所述的装置，其中预定色彩分量是绿色。
12.如权利要求11所述的装置，其中图像数据是从滤色器阵列产生的数据的经线性内插的数据，并且所述至少一种其它色彩分量包括红和蓝色的经线性内插的数据。
13.如权利要求9所述的装置，其中分类符计算器使用当前像素和当前像素左侧和右侧的额外像素的图像数据来计算当前像素的水平分类符，并且使用当前像素和当前像素上方和下方的额外像素的图像数据来计算当前像素的垂直分类符。
14.如权利要求13所述的装置，其中当用于当前像素的水平和垂直分类符之间的差异小于阈值时，分类符计算器通过平均当前像素和相邻像素的水平分类符来调节水平分类符，并且平均当前像素和相邻像素的垂直分类符来调节垂直分类符。
15.如权利要求9所述的装置，其中分类符计算器使用经方向性内插的预定色彩分量重新计算分类符。
16.如权利要求9所述的装置，还包括：
第二方向性内插器，用于根据分类符方向性内插色度分量；和
色彩分量生成器，用于使用像素的方向性内插的色度分量提取像素的至少一种色彩分量。
CN2005101317378A 2004-12-16 2005-12-16 用于处理滤色器阵列的图像数据的方法和设备 Active CN1812592B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR107213/04 2004-12-16
KR1020040107213A KR100699831B1 (ko) 2004-12-16 2004-12-16 베이어 패턴의 컬러 신호를 보간하는 방법 및 보간기

Publications (2)

Publication Number Publication Date
CN1812592A CN1812592A (zh) 2006-08-02
CN1812592B true CN1812592B (zh) 2010-08-25

Family

ID=36595830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005101317378A Active CN1812592B (zh) 2004-12-16 2005-12-16 用于处理滤色器阵列的图像数据的方法和设备

Country Status (6)

Country Link
US (1) US7577315B2 (zh)
JP (1) JP4664810B2 (zh)
KR (1) KR100699831B1 (zh)
CN (1) CN1812592B (zh)
DE (1) DE102005061366A1 (zh)
TW (1) TWI283930B (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8471852B1 (en) 2003-05-30 2013-06-25 Nvidia Corporation Method and system for tessellation of subdivision surfaces
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7830430B2 (en) * 2005-07-28 2010-11-09 Eastman Kodak Company Interpolation of panchromatic and color pixels
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US8571346B2 (en) 2005-10-26 2013-10-29 Nvidia Corporation Methods and devices for defective pixel detection
US7750956B2 (en) 2005-11-09 2010-07-06 Nvidia Corporation Using a graphics processing unit to correct video and audio data
US8588542B1 (en) 2005-12-13 2013-11-19 Nvidia Corporation Configurable and compact pixel processing apparatus
KR100769548B1 (ko) * 2005-12-30 2007-10-23 엠텍비젼 주식회사 컬러 필터 어레이 및 영상 보간 방법
US8737832B1 (en) 2006-02-10 2014-05-27 Nvidia Corporation Flicker band automated detection system and method
US7755682B2 (en) * 2006-03-29 2010-07-13 Ite Tech. Inc. Color interpolation method for Bayer filter array images
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
TWI329298B (en) * 2006-05-23 2010-08-21 Au Optronics Corp Shift register
CN101438523A (zh) 2006-06-23 2009-05-20 松下电器产业株式会社 无线发送装置、无线接收装置以及导频生成方法
DE102006038646B4 (de) * 2006-08-17 2011-03-24 Baumer Optronic Gmbh Bildverarbeitungsvorrichtung für Farb-Bilddaten
US8594441B1 (en) 2006-09-12 2013-11-26 Nvidia Corporation Compressing image-based data using luminance
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
US7506084B2 (en) * 2006-10-17 2009-03-17 International Business Machines Corporation Method for communicating with an I/O adapter using cached address translations
US8769168B2 (en) * 2006-10-17 2014-07-01 International Business Machines Corporation Method for communicating with a network adapter using a queue data structure and cached address translations
US7617377B2 (en) * 2006-10-17 2009-11-10 International Business Machines Corporation Splitting endpoint address translation cache management responsibilities between a device driver and device driver services
US7587575B2 (en) * 2006-10-17 2009-09-08 International Business Machines Corporation Communicating with a memory registration enabled adapter using cached address translations
US7590817B2 (en) * 2006-10-17 2009-09-15 International Business Machines Corporation Communicating with an I/O device using a queue data structure and pre-translated addresses
US7920751B2 (en) * 2007-03-16 2011-04-05 General Electric Company Adaptive gradient weighting technique for detector bad cell correction
US8723969B2 (en) 2007-03-20 2014-05-13 Nvidia Corporation Compensating for undesirable camera shakes during video capture
US8724895B2 (en) 2007-07-23 2014-05-13 Nvidia Corporation Techniques for reducing color artifacts in digital images
DE102007034608A1 (de) 2007-07-25 2009-01-29 Robert Bosch Gmbh Kamera
US8570634B2 (en) 2007-10-11 2013-10-29 Nvidia Corporation Image processing of an incoming light field using a spatial light modulator
US8270713B2 (en) * 2007-10-16 2012-09-18 Aptina Imaging Corporation Method and apparatus providing hardware-efficient demosaicing of image data
US8780128B2 (en) 2007-12-17 2014-07-15 Nvidia Corporation Contiguously packed data
US9177368B2 (en) 2007-12-17 2015-11-03 Nvidia Corporation Image distortion correction
US8698908B2 (en) 2008-02-11 2014-04-15 Nvidia Corporation Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera
US9379156B2 (en) * 2008-04-10 2016-06-28 Nvidia Corporation Per-channel image intensity correction
US8373718B2 (en) 2008-12-10 2013-02-12 Nvidia Corporation Method and system for color enhancement with color volume adjustment and variable shift along luminance axis
KR100992362B1 (ko) 2008-12-11 2010-11-04 삼성전기주식회사 컬러 보간 장치
US8749662B2 (en) 2009-04-16 2014-06-10 Nvidia Corporation System and method for lens shading image correction
JP2011041210A (ja) * 2009-08-18 2011-02-24 Sony Corp 信号処理装置、撮像装置及び信号処理方法
US8698918B2 (en) 2009-10-27 2014-04-15 Nvidia Corporation Automatic white balancing for photography
US8897551B2 (en) * 2009-11-27 2014-11-25 Nikon Corporation Data processing apparatus with horizontal interpolation
US9739914B2 (en) 2010-07-13 2017-08-22 Nokia Technologies Oy Color image sensing
US9798698B2 (en) 2012-08-13 2017-10-24 Nvidia Corporation System and method for multi-color dilu preconditioner
US9508318B2 (en) 2012-09-13 2016-11-29 Nvidia Corporation Dynamic color profile management for electronic devices
US9307213B2 (en) 2012-11-05 2016-04-05 Nvidia Corporation Robust selection and weighting for gray patch automatic white balancing
US9826208B2 (en) 2013-06-26 2017-11-21 Nvidia Corporation Method and system for generating weights for use in white balancing an image
US9756222B2 (en) 2013-06-26 2017-09-05 Nvidia Corporation Method and system for performing white balancing operations on captured images
CN104717474B (zh) * 2013-12-16 2017-07-25 瑞昱半导体股份有限公司 图像处理方法、模块及包含其的电子设备
KR102282457B1 (ko) * 2014-12-05 2021-07-28 한화테크윈 주식회사 컬러 모아레 저감 방법, 컬러 모아레 저감 장치 및 영상 처리 장치
CN105163098B (zh) * 2015-09-29 2018-06-01 联想(北京)有限公司 图像处理方法及装置
KR102512521B1 (ko) * 2015-10-12 2023-03-21 삼성전자주식회사 텍스쳐 처리 방법 및 장치
CN106303474A (zh) * 2016-09-29 2017-01-04 杭州雄迈集成电路技术有限公司 一种基于g模式色彩滤波阵列的去马赛克方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5506619A (en) * 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5631703A (en) * 1996-05-29 1997-05-20 Eastman Kodak Company Particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values
CN1457608A (zh) * 2001-02-06 2003-11-19 皇家菲利浦电子有限公司 用于图象传感器的绿色重建
US6697110B1 (en) * 1997-07-15 2004-02-24 Koninkl Philips Electronics Nv Color sample interpolation
US6832009B1 (en) * 1999-09-24 2004-12-14 Zoran Corporation Method and apparatus for improved image interpolation

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
JP2000224603A (ja) * 1999-02-02 2000-08-11 Nikon Corp 補間処理装置、撮像装置および補間処理プログラムを記録した記録媒体
JP2001045509A (ja) * 1999-07-28 2001-02-16 Nikon Corp 補間処理装置および補間処理プログラムを記録した記録媒体
US7072508B2 (en) * 2001-01-10 2006-07-04 Xerox Corporation Document optimized reconstruction of color filter array images
JP2002232903A (ja) * 2001-02-07 2002-08-16 Asahi Optical Co Ltd 画像補間装置
US20020167602A1 (en) * 2001-03-20 2002-11-14 Truong-Thao Nguyen System and method for asymmetrically demosaicing raw data images using color discontinuity equalization
KR100396898B1 (ko) 2001-09-13 2003-09-02 삼성전자주식회사 이미지센서 출력데이터 처리장치 및 처리방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5506619A (en) * 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5631703A (en) * 1996-05-29 1997-05-20 Eastman Kodak Company Particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values
US6697110B1 (en) * 1997-07-15 2004-02-24 Koninkl Philips Electronics Nv Color sample interpolation
US6832009B1 (en) * 1999-09-24 2004-12-14 Zoran Corporation Method and apparatus for improved image interpolation
CN1457608A (zh) * 2001-02-06 2003-11-19 皇家菲利浦电子有限公司 用于图象传感器的绿色重建

Also Published As

Publication number Publication date
CN1812592A (zh) 2006-08-02
DE102005061366A1 (de) 2006-07-13
US7577315B2 (en) 2009-08-18
JP4664810B2 (ja) 2011-04-06
JP2006174485A (ja) 2006-06-29
TW200701480A (en) 2007-01-01
US20060133697A1 (en) 2006-06-22
KR100699831B1 (ko) 2007-03-27
KR20060068503A (ko) 2006-06-21
TWI283930B (en) 2007-07-11

Similar Documents

Publication Publication Date Title
CN1812592B (zh) 用于处理滤色器阵列的图像数据的方法和设备
US7376288B2 (en) Edge adaptive demosaic system and method
US7643676B2 (en) System and method for adaptive interpolation of images from patterned sensors
EP1977613B1 (en) Interpolation of panchromatic and color pixels
JP4097815B2 (ja) 画像処理装置および画像処理方法
WO2008001629A1 (fr) dispositif de traitement d'image, programme de traitement d'image et procédé de traitement d'image
CN109146982B (zh) 原始图像处理***及方法
JP4610930B2 (ja) 画像処理装置、画像処理プログラム
EP1552474B1 (en) A method for interpolation and sharpening of images
US7333678B1 (en) Edge adaptive demosaic system and method
JP2004534429A (ja) 色不連続性均等化を使用して生データイメージを非対称にデモザイク処理するシステムおよび方法
CN101006731A (zh) 图像处理装置及图像处理方法、摄像装置以及计算机程序
JP2004048465A (ja) 画像処理装置および画像処理プログラム
Chen et al. Effective demosaicking algorithm based on edge property for color filter arrays
CN108122201A (zh) 一种拜耳插值拉链效应去除方法
CN105430357B (zh) 图像传感器的去马赛克方法及装置
JP4408962B2 (ja) 色信号補間方法、装置及びカメラ
CN105049820B (zh) 图像处理设备、摄像设备和图像处理方法
US6747698B2 (en) Image interpolating device
CN110139087B (zh) 一种基于拜耳排布的图像处理方法
US8810680B1 (en) Method and apparatus for color data synthesis in digital image and video capture systems
JP5153842B2 (ja) 画像処理装置、画像処理プログラム
US7567732B2 (en) Image resolution conversion
TWI528812B (zh) 降低雜訊的系統及方法
JP2006067214A (ja) 画像補間装置及び画像補間方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant