CN103563361B - 图像处理设备和方法以及成像设备 - Google Patents

图像处理设备和方法以及成像设备 Download PDF

Info

Publication number
CN103563361B
CN103563361B CN201280026611.2A CN201280026611A CN103563361B CN 103563361 B CN103563361 B CN 103563361B CN 201280026611 A CN201280026611 A CN 201280026611A CN 103563361 B CN103563361 B CN 103563361B
Authority
CN
China
Prior art keywords
pixel
filter
filter coefficient
size
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280026611.2A
Other languages
English (en)
Other versions
CN103563361A (zh
Inventor
田中诚二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN103563361A publication Critical patent/CN103563361A/zh
Application granted granted Critical
Publication of CN103563361B publication Critical patent/CN103563361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

根据本发明的一个方面，一种用于图像处理的方法，包括：获取由包括图像传感器的成像装置所取得的图像的步骤，图像传感器具有M×N（M，N：2或更大整数）像素的重复周期的像素配置；（a）在获取的图像中设置目标像素并且基于目标像素提取K×L（K，L：M<K并且N<L的整数）像素的步骤；（b）以使用滤波器的运算来计算目标像素的像素值的步骤，滤波器具有K×L滤波器尺寸并已经指定在其中排列的滤波器系数；以及当相对于获取的图像将目标像素一次移动一个像素时重复执行步骤（a）和步骤（b）的步骤。

Description

图像处理设备和方法以及成像设备
技术领域
本发明涉及图像处理设备和方法以及成像设备，更具体而言，涉及一种用于减少由于图像传感器中的每个指定像素组的重复周期所产生的固定图案的技术。
背景技术
图20是示出为图像传感器提供的滤色器阵列的一个示例的视图。图20中示出的滤色器阵列是原色Bayer（拜耳）阵列。
Bayer阵列包括2×2像素的基本阵列图案，并且以水平方向和垂直方向重复地布置该基本阵列图案。基本阵列图案包括三原色的像素：红（R）、蓝（B）和绿（G）像素。G像素包括在水平方向上与R像素相邻的Gr像素和在水平方向上与B像素相邻的Gb像素。
Gr像素和Gb像素分别在水平方向上与颜色不同的像素相邻。例如，Gr像素可以具有大于相邻Gb像素的像素值的像素值，由于来自相邻R像素的光的泄漏（颜色混合）导致，这可能在Gr像素和Gb像素之间产生像素值的电平差。该电平差可以根据基本阵列图案周期地重复，结果可能不利地出现固定图案。
图21示出了通过本发明的申请者提议的新马赛克状滤色器阵列（日本专利申请No.2011-034627的说明书）。
该滤色器阵列的基本阵列图案由6×6像素构成，并且基本阵列图案包括20个G像素、8个R像素和8个B像素。在这种基本阵列图案的情形下，相同颜色的像素根据基本阵列图案中的位置，经常与颜色不同的像素（8个像素）相邻。因此，由于颜色混合导致产生固定图案。此外，因为图21中示出的滤色器阵列具有在尺寸上大于Bayer阵列的基本阵列图案，所以固定图案变得更加显著。
此外，在CMOS（互补金属氧化物半导体）型图像传感器中，将像素共享的放大器嵌入CMOS衬底中。在图22中示出的示例中，2×2布置的4个像素共享一个放大器A。由于图像传感器的这种衬底结构，取决于像素相对于共享放大器的位置（相对于放大器A的左上、右上、左下和右下位置），产生输出电平的差异，并且这产生与衬底结构的重复周期相对应的固定图案。
作为一种用于减少这种固定图案的方法，能够考虑借助滤波器执行滤波，该滤波器具有6×6像素的滤波器尺寸且具有通过中心加权而加权的滤波器系数，如图23A中所示。在该情形下，如果在移位处理区域中的像素组的同时应用该滤波器，则例如滤波器系数4被应用到图23B示出的G像素P，尽管当该滤波器被移动时滤波器系数2被应用到G像素P，如图23C中所示。当在G像素P和其周围的G像素之间存在电平差的状态下以这种方式应用不同滤波器系数时，滤波之后的图像变得不均匀并且不能实现固定图案的成功减少。
与之相反，如果借助具有如图24中所示的统一滤波器系数的滤波器执行滤波，则能够减少固定的图案。然而，图像模糊并且图像细节丢失，这可能使得图像质量劣化。
PTL1公开了一种图像信号处理器，其能够执行与固态图像传感器的输出信号电平成比例的噪声降低，以便在没有损失必要的图像信号分量的情况下减少固态图像传感器的噪声。图像信号处理器确定通过固态图像传感器生成的图像信号的电平的量值并且根据该量级改变低通滤波的程度。
PTL2公开了一种用于将图像中的半色调区域去网的方法，其中在将半色调区域去网时低通滤波器被修正并且被应用。
PTL3公开了一种成像设备，其中，基于从对焦位置的相对距离改变低通滤波器的滤波器尺寸，以便滤波器尺寸与相对距离的增加成比例的单调增加，从而改变在视频信号上执行噪声降低处理的强度。
{专利文献}
{PTL1}日本专利申请特开No.2001-148797
{PTL2}国际专利申请的国家公布No.2002-520915
{PTL3}日本专利申请特开No.2010-239492
发明内容
技术问题
在PTL1中公开的发明是取决于固态图像传感器的输出信号电平减少光散粒噪声。因此，PTL1中所公开的发明对减少固定图案无效，并且强的固定图案最终依然存在。
在PTL2和PTL3中所公开的发明不适合于减少固定图案。在PTL2中所公开的滤波器校正方法和PTL3中所公开的滤波器尺寸改变方法也不适合减少固定图案。
基于这些情形已经做出本发明，并且本发明的一个目标是提供一种图像处理设备和方法以及成像设备，能够减少由于图像传感器中的像素配置的重复周期所产生的固定图案并且能够保留细节完整。
问题的解决方法
为了实现上述目标，根据本发明的一个方面的图像处理设备包括：图像获取装置，该图像获取装置被配置成获取由包括图像传感器的成像装置所取得的图像，图像传感器具有M×N（M，N：2或更大整数）像素的重复周期的像素配置；以及滤波装置，滤波装置具有K×L（K，L：M<K并且N<L的整数）滤波器尺寸的滤波器，该滤波器装置被配置成将卷积算术运算应用到为滤波器设置的滤波器系数和基于由图像获取装置获取的图像中的目标像素所提取的K×L像素的像素值，以便计算目标像素的像素值，其中为滤波器设置的滤波器系数在滤波器中心附近被加权得更大，并且滤波器系数被设置成使得滤波器尺寸的滤波器系数的总数全部彼此相等，这些滤波器系数与M×N像素的像素配置上处于等同位置关系的像素相对应。
由于滤波器的滤波器系数具有在中心附近被加权得更大的滤波器系数，所以能够防止在通过滤波装置滤波之后损失图像细节。此外，针对图像传感器中具有M×N像素的重复周期的像素配置，使用具有K×L滤波器尺寸的滤波器，K×L滤波器尺寸是大于像素配置的一个尺寸。设置使得滤波器尺寸的滤波器系数的总数全部彼此相等，这些滤波器系数与由M×N像素组成的像素配置上处于等同位置关系的像素相对应。因此，在M×N像素的像素值上执行实质的数据平滑。这使得能够减少由于具有M×N像素的重复周期的像素配置产生的固定图案。
在根据本发明的另一方面的图像处理设备中，图像传感器是彩色图像传感器，其中在水平方向和垂直方向上排列的多个像素上，以在水平方向和垂直方向上重复的方式，布置包括三种颜色的滤色器的指定基本阵列图案，并且具有M×N像素的重复周期的像素配置与指定基本阵列图案相对应。即，虽然由于图像传感器中的像素配置的周期（指定像素组的重复）使得在从图像传感器输出的图像中产生固定图案，但是该像素配置与包括三种颜色的滤色器的指定基本阵列图案相对应。
在根据本发明的另一实施例的图像处理设备中，图像传感器是具有其中放大器由每个指定像素组共享的传感器配置的图像传感器，并且具有M×N像素的重复周期的像素配置与指定像素组相对应。即，虽然由于图像传感器中的像素配置的周期导致从图像传感器输出的图像中产生固定图案，但是像素配置与包括图像传感器的每个共享放大器的衬底配置相对应。
在根据本发明的另一方面的图像处理设备中，图像传感器是具有下述传感器配置的彩色图像传感器，其中，在水平方向和垂直方向上排列的多个像素上，以在水平方向和垂直方向上重复的方式布置包括三种颜色的滤色器的指定基本阵列图案，并且放大器由每个指定像素组共享，并且像素配置中的M×N像素的重复周期是指定基本阵列图案和指定像素组的最小公倍数的周期。
在根据本发明的另一方面的图像处理设备中，基本阵列图案包括红（R）、绿（G）和蓝（B）的三原色的滤色器，并且基本阵列图案是与N×N（N：3或大于3的整数）像素相对应的方阵列图案。因为基本阵列图案包括至少9个像素并且存在相同颜色的多个像素，所以容易产生固定图案。本发明对从具有这种基本阵列图案的图像传感器获得的图像更为有效。
在根据本发明的另一方面的图像处理设备中，滤波装置将卷积算术运算应用到将利用滤波器处理的区域中K×L像素当中的目标像素、与滤色器相对应的像素的像素值、与目标像素的滤色器等同的颜色、以及与这些像素相对应的滤波器的滤波器系数，以便计算目标像素的像素值。
根据本发明的另一方面的图像处理设备进一步包括：固定图案尺寸获取装置，该固定图案尺寸获取装置配置成获取与代表图像传感器中的像素配置的重复周期的M×N像素相对应的固定图案尺寸；以及滤波器系数计算装置，该滤波器系数计算装置基于获取的固定图案尺寸使得滤波器系数在滤波器中心附近被加权得更大，该滤波器系数计算装置被配置成计算滤波器系数使得滤波器尺寸的滤波器系数的总数全部彼此相等，这些滤波器系数与M×N像素的传感器配置上处于等同位置关系的像素相对应，其中，滤波装置获取由滤波器系数计算装置所计算的滤波器系数。根据上文描述，如果能够获得固定图案尺寸，则能够减少固定图案的滤波器系数能够被计算。
在根据本发明的另一方面的图像处理设备中，图像传感器是彩色图像传感器，其中，在水平方向和垂直方向上排列的多个像素上，以在水平方向和垂直方向上重复的方式布置包括三种颜色的滤色器的指定基本阵列图案，并且固定图案尺寸获取装置获取指定基本阵列图案的尺寸作为固定图案尺寸。
在根据本发明的另一方面的图像处理设备中，图像传感器是具有下述传感器配置的图像传感器，其中，放大器由每个指定像素组共享，并且固定图案尺寸获取装置获取共享所述放大器的指定像素组的图像尺寸作为固定图案尺寸。
在根据本发明的另一方面的图像处理设备中，图像传感器是具有下述传感器配置的彩色图像传感器，其中，在水平方向和垂直方向上排列的多个像素上，以在水平方向和垂直方向上重复的方式布置包括三种颜色的滤色器的指定基本阵列图案，并且放大器由每个指定像素组共享，并且固定图案尺寸获取装置获取是指定基本阵列图案的尺寸和共享放大器的指定像素组的图像尺寸的最小公倍数的尺寸，作为固定图案尺寸。
更具体而言，固定图案尺寸能够被获取为图像传感器中的三种颜色的滤色器的基本阵列图案的尺寸、在图像传感器的衬底上使用一个共享放大器的每个像素组的图像尺寸、或者这些尺寸的最小公倍数的尺寸。
根据本发明的另一方面的图像处理设备进一步包括滤波器尺寸计算装置，该滤波器尺寸计算装置被配置成基于M×N的固定图案尺寸计算K×L滤波器尺寸，其中，滤波器系数计算装置计算与由滤波器尺寸计算装置所计算的滤波器尺寸相对应的滤波器系数。
根据本发明的另一方面的图像处理的方法包括：获取由包括图像传感器的成像装置所取得的图像的步骤，图像传感器具有M×N（M，N：2或更大整数）像素的重复周期的像素配置；（a）在获取的图像中设置目标像素并基于目标像素提取K×L（K，L：M<K并且N<L的整数）像素的步骤；（b）具有K×L滤波器尺寸的滤波器并且将卷积算术运算应用到为滤波器设置的滤波器系数和提取的K×L像素的像素值以便计算目标像素的像素值的步骤；以及（c）当相对于获取的图像一次将目标像素移动一个像素时重复执行步骤（a）和步骤（b）的步骤，其中，为滤波器设置的滤波器系数在滤波器的中心附近被加权得更大，并且滤波器系数被设置成使得滤波器尺寸的滤波器系数的总数全部彼此相等，这些滤波器系数与在M×N像素的传感器配置上处于等同位置关系的像素相对应。
根据本发明的另一方面，一种图像处理程序，用于使得计算机执行：获取由包括图像传感器的成像装置所取得的图像的功能，图像传感器具有M×N（M，N：2或更大整数）像素的重复周期的像素配置；（a）在获取的图像中设置目标像素和基于目标像素提取K×L（K，L：M<K并且N<L的整数）像素的功能；（b）具有K×L滤波器尺寸的滤波器并且将卷积算术运算应用到为滤波器设置的滤波器系数和提取的K×L像素的像素值以便计算目标像素的像素值的功能；以及（c）当相对于获取的图像一次将目标像素移动一个像素时重复执行功能（a）和功能（b）的功能，其中，为滤波器设置的滤波器系数在滤波器的中心附近被加权得更大，并且滤波器系数被设置成使得滤波器尺寸的滤波器系数的总数全部彼此相等，这些滤波器系数与在M×N像素的传感器配置上处于等同位置关系的像素相对应。
根据本发明的另一方面的成像设备包括：成像装置，该成像装置包括拍摄光学***和图像传感器，该图像传感器被配置成经由该拍摄光学***形成被摄体图像；图像获取装置，该图像获取装置被配置成获取从成像装置输出的图像；以及根据上述这些方面的任何之一的图像处理设备。
本发明的有益效果
根据本发明，使用一种具有K×L（K，L：M<K并且N<L的整数）的滤波器尺寸的滤波器，该尺寸是大于在图像传感器中包括的具有M×N像素的重复周期的像素配置的一个尺寸，在中心附近将用于滤波器的滤波器系数加权得更大，并且滤波器系数被设置成使得滤波器尺寸的滤波器系数的相应的总数全部彼此相等，该滤波器系数与在由M×N像素组成的传感器配置上处于等同位置关系的像素相对应。这使得能够借助该滤波器防止滤波之后图像细节的损失。此外，能够减少由于M×N像素的重复周期的像素配置所产生的固定图案。
附图简要说明
[图1A]图1A是示出在图像传感器上布置的马赛克状滤色器阵列的一个示例的视图。
[图1B]图1B是示出用于与图1A的滤色器阵列相对应的固定模式减少滤波器的滤波器系数的一个示例的视图。
[图2A]图2A是用于解释图1B中示出的滤波器系数的配置的视图。
[图2B]图2B是用于解释图1B中示出的滤波器系数的配置的视图。
[图3]图3是示出在图像传感器上布置的马赛克状滤色器阵列的另一示例和用于与滤色器阵列相对应的固定模式减少滤波器的滤波器系数的一个示例的视图。
[图4A]图4A是用于解释图3中示出的滤波器系数的配置的视图。
[图4B]图4B是用于解释图3中示出的滤波器系数的配置的视图。
[图4C]图4C是用于解释图3中示出的滤波器系数的配置的视图。
[图5]图5是示出根据本发明的成像设备的第一实施例的框图。
[图6]图6是示出用于在图5中示出的成像设备中的图像处理的方法的第一实施例的流程图。
[图7]图7是示出根据本发明的成像设备的第二实施例的框图。
[图8]图8是示出在图像传感器上布置的马赛克状滤色器阵列的另一示例和用于与滤色器阵列相对应的固定模式减少滤波器的滤波器系数的一个示例的视图。
[图9]图9是示出用于图7中示出的成像设备中的图像处理的方法的第二实施例的流程图。
[图10]图10是示出根据本发明的成像设备的第三实施例的框图。
[图11A]图11A是示出共享图像传感器的放大器的像素尺寸的示例的视图。
[图11B]图11B是示出用于与共享图11A中示出的放大器的像素尺寸相对应的固定模式减少滤波器的滤波器系数的一个示例的视图。
[图12]图12是示出用于在图10中示出的成像设备中的图像处理的方法的第三实施例的流程图。
[图13]图13是示出根据本发明的成像设备的第四实施例的框图。
[图14A]图14A是示出在图像传感器上布置的马赛克状滤色器阵列的示例的视图。
[图14B]图14B是示出共享图像传感器的放大器的像素的尺寸的示例的视图。
[图15]图15是示出用于与图14A和图14B中示出的图像传感器相对应的固定模式减少滤波器的滤波器系数的一个示例的视图。
[图16]图16是示出用于在图13中示出的成像设备中的图像处理的方法的第四实施例的流程图。
[图17]图17是示出根据本发明的成像设备的第五实施例的框图。
[图18A]图18A是示出在图像传感器上布置的马赛克状滤色器阵列的另一示例的视图。
[图18B]图18B是示出用于与图18A中示出的滤色器阵列相对应的固定模式减少滤波器的滤波器系数的一个示例的视图。
[图19]图19是示出用于图17中示出的成像设备中的图像处理的方法的第五实施例的流程图。
[图20]图20是示出设置在图像传感器上的滤色器阵列的一个示例的视图。
[图21]图21是示出由本发明的申请人提议的马赛克状滤色器阵列的视图。
[图22]图22是示出共享CMOS型图像传感器的放大器的像素的尺寸的示例的视图。
[图23A]图23A是示出具有中心加权滤波器系数的滤波器的视图。
[图23B]图23B是示出具有中心加权滤波器系数的应用示例的视图。
[图23C]图23C是示出具有中心加权滤波器系数的滤波器的应用示例的视图。
[图24]图24是示出具有统一滤波器系数的滤波器的视图。
具体实施方式
在下文，将参考附图给出根据本发明的图像处理设备和方法以及成像设备的优选实施例的详细描述。
[减少固定图案的方法]
<第一实施例>
图1A示出了图像传感器的光电转换元件的每个上布置的马赛克状滤色器阵列的一个示例，在图像传感器上二维地排列光电转换元件。
图1A中示出的滤色器阵列包括基本阵列图案（利用粗框示出的图案），基本阵列图案是与6×6像素相对应的方阵列图案。在水平方向和垂直方向上重复地布置该基本阵列图案。即，布置滤色器阵列，以便利用与基本阵列图案（6×6像素）相对应的周期性，在水平方向和垂直方向上布置相应的R、G和B颜色的滤波器（R滤波器、G滤波器和B滤波器）。
在图1A中示出的基本阵列图案也可被解释为由在水平方向和垂直方向上交替放置3×3像素的“a”阵列和3×3像素的“b”阵列构成的布置。
在“a”阵列和“b”阵列的每一个中，在四个角和中心布置作为亮度像素的G滤波器，使得它们布置在两条对角线上。在“a”阵列中，在水平方向上排列R滤波器并在垂直方向上排列B滤波器，穿过中心G滤波器。与之相反，在“b”阵列中，在水平方向上排列B滤波器并且在垂直方向上排列R滤波器，穿过中心G滤波器。换言之，在“a”阵列和“b”阵列中，R滤波器和B滤波器的位置关系颠倒，尽管其他布置特征相同。
在从具有滤色器阵列的图像传感器（彩色图像传感器）输出的RGB马赛克图像中，与基本阵列图案的重复周期相对应的固定图案被生成。
图1B示出用于减少固定图案的滤波器的滤波器系数。
在图1B中示出的滤波器具有9×9滤波器尺寸，其大于基本阵列图案（固定图案）。当该滤波器尺寸被分成9个3×3区域时，设置指配给每个区域的滤波器系数，使得中心区域的滤波器系数是4，在其上侧、下侧、左侧和右侧的区域的滤波器系数是2，并且四个中心区域的滤波器系数是1。更具体而言，在滤波器中心附近，滤波器系数被加权得更大（与滤波器的中心截面越近的像素，被设置成具有更大的滤波器系数）。
此外，如图2A中所示，当将6×6像素的基本阵列图案划分成4个3×3区域并且将相应区域定义为A、B、C和D时，则相应区域A至D和通过划分成9个区域的9×9滤波器所获得的相应区域之间的关系如图2B中所示。
更具体而言，当基本阵列图案的区域D与划分成9个区域的滤波器的中心截面的区域相对应时，基本阵列图案的区域B与该中心区域的上侧和下侧的区域相对应。并且基本阵列图案的区域C与该中心截面的左侧和右侧的区域相对应。基本阵列图案的区域A与四个角的区域相对应。
在该情形下，在滤波器上的每个区域A、B、C和D的数目是4:2:2:1。同时，在区域A、B、C和D的每一个的滤波器系数是1:2:2:4。即，与相应区域A、B、C和D相对应的滤波器系数总数是4×1=4、2×2=4、2×2=4和1×4=4，这些彼此相等。
因此，当将卷积算术运算应用到滤波器的滤波器系数和与滤色器阵列相对应的马赛克图像的像素值时，将统一的滤波器系数应用到基本阵列图案的相应区域A、B、C和D，使得这些区域被平滑。能够减少由于基本阵列图案的重复周期所导致的固定图案。
此外，由于在中心附近将9×9滤波器中的滤波器系数加权得更大，如图1B中所示，所以能够防止被滤波的图像的细节损失。
<第二实施例>
图3是示出在图像传感器上布置的马克赛状滤色器阵列的另一示例和用于与滤色器阵列相对应的固定模式减少滤波器的滤波器系数的一个示例的视图。
图3中示出的滤色器阵列包括由与3×3像素相对应的方阵列图案构成的基本阵列图案，并且在水平方向和垂直方向上重复布置基本阵列图案。应该注意的是，图3中示出的基本阵列图案与图1A中示出的3×3像素的“a”阵列相对应。
与之相反，用于减少固定图案的滤波器具有5×5滤波器尺寸。此外，滤波器具有在中心附近加权得更大的滤波器系数，并且被设置使得为与3×3像素的基本阵列图案上处于等同位置关系的像素相对应的5×5滤波器尺寸的滤波器系数的总数彼此都相等。
图4A示出5×5滤波器的滤波器系数。
如图4B中所示，在该滤波器上的列j1和列j4的对与列j2和列j5的对在基本阵列图案上处于等同位置关系。通过合计分配到这些列的滤波器系数，能够获得如在图4B的右侧示出的列（j1+j4）和列（j2+j5）中所见的滤波器系数。
在该滤波器上的行i1和行i4的对与行i2和行i5的对在基本阵列图案上也处于等同位置关系。通过合计分配到这些行（图4B右侧被相加的滤波器系数的行）的滤波器系数，能够获得如在图4C的右侧上示出的行（i1+i4）和行（i2+i5）中所见的滤波器系数。
根据前文所描述的上述过程通过合计5×5滤波器的滤波器系数所获得的、与在基本阵列图案上的每个位置相对应的滤波器系数都等于4。
例如，滤波器的行可被定义为im，i(m-1)，...，i1，i0（位于滤波器的中心截面且在滤波器系数的布置中等同的一个或多个行），i-1，...，i-(m-1)，i-m，而列被定义为jn，j(n-1)，...，j1，j0（位于滤波器的中心截面且在滤波器系数的布置中等同的一个或多个列），j-1，...，j-(n-1)，j-n。在该滤波器中，处于穿过中心列j0的指定位置关系的列的滤波器系数，被相加以获得（jn+j-1），（j(n-1)+j-2），...，（j1+j-n）。随后，处于穿过中心行i0的指定位置关系的行的滤波器系数被相加以获得（im+i-1），（i(m-1)+i-2），...，（i1+i-m）。通过上述相加获得的（m+（i0的行数））×（n+（j0的列数））的滤波器系数的值全部彼此相等。应该注意的是，当m和n是奇数时，通过（j(n+1)/2+j(n+1)/2）的相加和（i(m+1)/2+i(m+1)/2）的相加所获得的滤波器系数的值也全部与上述滤波器系数相等。
通过借助该滤波器执行滤波，能够减少3×3像素的基本阵列图案的重复周期所导致的固定图案。此外，由于分配了在中心附近加权得更大的滤波器系数，所以能够防止被滤波的图像的细节的损失。
[成像设备的第一实施例]
图5是示出根据本发明的成像设备的第一实施例的框图。
将图5中示出的成像设备10-1配置成，在诸如存储卡的记录介质12上记录取得的图像。中心处理单元（CPU）14以集成的方式控制整个成像设备10-1的操作。
基于来自未示出的诸如快门按钮和电源按钮的操作单元的输入信号，CPU14控制成像设备10-1的每个单元。例如，响应来自操作单元的输入信号，CPU14执行镜头的驱动控制、拍摄操作控制、图像处理控制、图像数据的记录/再生控制、液晶监视器的显示控制等。
穿过拍摄镜头16的被摄体光在图像传感器18的光接收表面上形成图像。利用光电转换元件将在该图像传感器18上形成的被摄体图像转换成与入射光量相对应的信号电荷。图像获取单元20将在图像传感器18的光电转换元件的每个中累积的信号电荷作为电压信号（图像信号），逐个地从图像传感器18读出，并且将它们输出到滤波单元22。从图像获取单元20输出到滤波单元22的图像信号是指示与图像传感器18的滤色器阵列的R、G和B马赛克图像的R、G和B信号（数字信号）。
应该注意的是，图像传感器18不限于CCD（电荷耦合器件）图像传感器，而是可以是诸如CMOS（互补金属氧化物半导体）图像传感器的其他类型的图像传感器。
滤波单元22具有从滤波器系数计算单元26给予的K×L滤波器尺寸的滤波器系数。滤波单元22将卷积算术运算应用到基于在从图像获取单元20获取的图像中将被滤波的目标像素提取的K×L像素的像素值和K×L滤波器尺寸的滤波器系数，以便计算目标像素的像素值。
固定图案尺寸获取单元24获取与图像传感器18中的像素配置的重复周期相对应的固定图案尺寸，并且将指示固定图案尺寸的尺寸信息输出到滤波器系数计算单元26。应该注意的是，作为指示固定图案尺寸的尺寸信息，根据图像传感器18的类型预先设置的尺寸被输入。例如，在具有包括图1B中示出的基本阵列图案的滤色器阵列的图像传感器的情形下，6×6固定图案尺寸被输入。在具有包括图3中示出的3×3基本阵列图案的滤色器阵列的图像传感器的情形下，3×3固定图案尺寸被输入。
基于指示从固定图案尺寸获取单元24输入的固定图案尺寸的尺寸信息，滤波器系数计算单元26计算大于固定图案尺寸的滤波器尺寸的滤波器系数。
例如，当固定图案尺寸是M×N（M，N：2或大于2的整数）像素时，滤波器系数计算单元26计算与K×L（K，L：M<K且N<L的整数）的滤波器尺寸相对应的滤波器系数。如图1A至4C中所解释，滤波器系数计算单元26具有在中心附近被加权得更大的滤波器系数，并且计算滤波器系数使得滤波器尺寸的滤波器系数的总数都彼此相等，该滤波器系数与在固定图案上处于等同位置关系的像素相对应。
通过滤波单元22处理以减少固定图案的、用于一个画面的、一条马赛克图像数据（RAW数据），被输入到存储器（SDRAM：同步动态随机存取存储器）28并且临时被存储在其中。
通过数字信号处理单元（未示出）适当地读取临时存储在存储器28中的一条图像数据。该条读取的图像数据经受白平衡校正、伽玛校正、同步处理（计算来自与单板式彩色图像传感器18的滤色器阵列相关的RGB马赛克图像的每个像素的所有RGB彩色信息的处理（以将该信息转换成同步信息），也可以将其称为去马赛克），生成亮度信号Y和色差信号Cr和Cb的YC处理、轮廓校正、色彩校正等。在执行上述处理之后，该图像数据遵照JPEG（联合图像专家组）标准被压缩处理，并且记录在记录介质12上。或可选地，将图像数据输出并显示在未示出的液晶监视器上。
[用于图像处理的方法的第一实施例]
图6是示出用于在上述成像设备10-1中的图像处理的方法的第一实施例的流程图。
在图6中，当通过快门按钮操作输入拍摄指令时，图像获取单元20经由拍摄镜头16和图像传感器18获取与图像传感器18中的滤色器阵列相对应的马赛克图像（步骤S10）。
同时，固定图案尺寸获取单元24获取与图像传感器18中的像素配置的重复周期相对应的固定图案尺寸（M×N）（M，N：2或大于2的整数）（步骤S12），并且将指示固定图案尺寸（M×N）的尺寸信息输出到滤波器系数计算单元26。基于从固定图案尺寸获取单元24输出的固定图案尺寸（M×N）的尺寸信息，滤波器系数计算单元26计算大于固定图案尺寸的滤波器尺寸（K×L）（K，L：M<K并且N<L的整数）的滤波器系数（步骤S14）。应该注意的是，优选地是事先计算和存储滤波器系数并且使用被存储的滤波器系数。
将滤波器尺寸（K×L）设置成大于固定图案尺寸（M×N）的适当尺寸。如果滤波器尺寸太大，则滤波的图像的模糊增加。因此，优选的是，如下列公式（1）和（2）中那样，相对于固定图案尺寸（M×N），规定滤波器尺寸（K×L）的上限。
M<K<M+10，N<L<N+10    (1)
M<K<M×2.5，N<L<N×2.5    (2)
接下来，滤波单元22基于步骤S10中获取的马赛克图像和步骤S14中计算的滤波器系数执行滤波（步骤S16）。
更具体而言，将目标像素（x，y）设置在获取的图像的内部，并且基于目标像素（x，y）提取K×L像素。随后将卷积算术运算（乘积求和操作）应用到提取的K×L像素和K×L滤波器尺寸的滤波器系数，以便计算目标像素（x，y）的像素值。此处，当目标像素（x，y）具有G像素的颜色时，利用K×L像素的马赛克像素当中的G像素和与该G像素的位置相对应的滤波器系数执行卷积算术运算。类似地，当目标像素是R像素或B像素时，利用相同颜色的像素和与这些像素的位置相对应的滤波器系数，执行卷积算术运算。由此，计算滤波之后的像素值。
当获取的马赛克图像的图像尺寸是W×H像素值时，当目标像素的位置（x，y）在1≤x≤W且1≤y≤H的范围内每次移动一个像素的同时，重复地执行滤波。由此，执行马赛克图像的所有像素的滤波。
如上文所述经受用于减少固定图案的滤波的马赛克图像，随后经受一般的数字信号处理，诸如白平衡校正、伽玛校正、同步处理和YC处理（步骤S18）。经受YC处理的亮度信号Y和色差信号被压缩处理，并且随后记录在记录介质12上（步骤S20）。
[成像设备的第二实施例]
图7是示出根据本发明的成像设备的第二实施例的框图。应该注意的是，与图5中示出的第一实施例的那些相同的组成构件由相同的附图标记指定，以省略详细描述。
图7中示出的第二实施例的成像设备10-2不同点在于，第一实施例的固定图案尺寸获取单元24和滤波器系数计算单元26被替换为基本阵列图案尺寸获取单元30和滤波器系数计算单元32。
基本布置图案尺寸获取单元30获取在图像传感器18中设置的马赛克状滤色器阵列中的RGB滤波器的基本阵列图案的尺寸（基本阵列图案尺寸）。
例如，在图8中示出的滤色器阵列的情形下，作为在水平方向和垂直方向上的RGB滤波器的最小重复图案的、利用内粗框示出的基本阵列图案，由6×6像素构成。因此，图8中示出的滤色器阵列的基本阵列图案尺寸是6×6像素。
关于基本阵列图案中相同颜色的像素，它们相应的相邻像素（8像素）的颜色组合根据它们在基本阵列图案中的位置而彼此不同。因此，即使当被摄体的局部区域具有均匀的颜色和亮度，也由于相邻像素之间的颜色混合导致在输出信号中产生电平差。输出信号中的电平差随着基本阵列图案的周期而重复，并且作为固定图案显现。因此，基本阵列图案尺寸与固定图案尺寸一样。
基本阵列图案尺寸获取单元30获取基本阵列图案尺寸，并且将指示基本阵列图案尺寸的尺寸信息输出到滤波器系数计算单元32。应该注意的是，作为指示基本阵列图案尺寸的尺寸信息，输入根据图像传感器18的基本阵列图像预先设置的尺寸。
基于从基本阵列图案尺寸获取单元30输入的基本阵列图案尺寸的尺寸信息，滤波器系数计算单元32计算大于基本阵列图案尺寸的滤波器尺寸的滤波器系数，并且将计算的滤波器系数给予滤波单元22。
在图8中示出的示例中，滤波器系数计算单元32计算8×8滤波器尺寸的滤波器系数。此外，设置滤波器系数使得在中心附近被加权得更大的滤波器系数被分配，并且为8×8像素尺寸的滤波器系数的总数都彼此相等，该滤波器系数与在由6×6像素构成的基本阵列图案上处于等同位置关系的像素相对应。
通过借助通过滤波器系数计算单元32所计算的滤波器系数在滤波单元22中滤波，能够减少固定图案同时防止滤波的图像的细节损失。
[用于图像处理的方法的第二实施例]
图9是示出用于成像设备10-2中图像处理的方法的第二实施例的流程图。应该注意的是，与图6中示出的第一实施例的那些等同的图像处理方法的步骤由相同的步骤编号指定，以省略详细描述。
图9中示出的第二实施例不同于第一实施例的点在于，步骤S30和S32的处理被执行，而非图6中示出的第一实施例的步骤S12和S14。
更具体而言，在步骤S30中，图像传感器18中的滤色器阵列的基本图案尺寸（M×N）（M，N：2或大于2的整数）被获取。在步骤S32中，在步骤S30中获取的基本图案尺寸（M×N）被定义为固定图案尺寸（M×N），并且计算大于固定图案尺寸的滤波器尺寸（K×L）（K，L：M<K且N<L的整数）的滤波器系数。计算滤波器尺寸（K×L）的滤波器系数，使得在中心附近被加权得更大的滤波器系数被分配，并且为K×L滤波器尺寸的滤波器系数的总数被计算成全部彼此相等，该滤波器系数与在M×N像素的基本阵列图案上处于等同位置关系的像素相对应。
[成像设备的第三实施例]
图10是示出根据本发明的成像设备的第三实施例的框图。应该注意的是，与图5中示出的第一实施例的那些等同的组成构件由等同的附图标记指定，以省略详细描述。
图10中示出的第三实施例的成像设备10-3的不同点在于，第一实施例的固定图案尺寸获取单元24和滤波器系数计算单元26被替代为共享放大器的像素尺寸获取单元40和滤波器系数计算单元42。
共享放大器的像素尺寸获取单元40获取共享嵌入在图像传感器18的衬底中的放大器的像素的尺寸。在图11A中示出的CMOS型图像传感器中，在CMOS衬底中嵌入像素共享放大器。在图11A中示出的示例中，2×2布置的4个像素共享一个放大器A，所以共享该放大器的像素的尺寸是2×2。由于图像传感器的这种衬底配置，取决于像素相对于放大器A的位置（相对于放大器A的左上、右上、左下和右下位置）产生输出电平的差异，并且这产生与衬底配置的重复周期相对应的固定图案。
共享放大器的像素尺寸获取单元40获取共享放大器的像素尺寸，并且将指示共享放大器的像素的尺寸的尺寸信息输出到滤波器系数计算单元42。应该注意的是，作为指示共享放大器的像素的尺寸的尺寸信息，输入根据共享图像传感器18的放大器的像素尺寸预先设置的尺寸。
基于从共享放大器的像素尺寸获取单元40输入的共享放大器的像素的尺寸的尺寸信息，滤波器系数计算单元42计算大于共享放大器的像素尺寸的滤波器尺寸的滤波器系数，并且将计算的滤波器系数给予滤波单元22。
在图11B中示出的示例中，针对共享放大器的像素尺寸，在图11A中示出为2×2，来计算4×4滤波器尺寸的滤波器系数。此外，设置滤波器系数，使得在中心附近被加权得更大的滤波器系数被分配，并且为4×4滤波器尺寸的滤波器系数的总数全都彼此相等，该滤波器系数与在2×2像素的共享放大器的像素尺寸上处于等同位置关系的像素相对应。
借助由滤波器系数计算单元42所计算的滤波器系数通过在滤波单元22中滤波，能够减少与共享该放大器的像素的尺寸相对应的固定图案。此外，能够防止滤波的图像的细节损失。
[用于图像处理的方法的第三实施例]
图12是示出用于成像设备10-3中的图像处理的方法的第三实施例的流程图。应该注意的是，与图6中示出的图像处理的方法的第一实施例的那些等同的图像处理的方法步骤由等同的步骤编号指定，以省略详细描述。
图12中示出的第三实施例不同于第一实施例的点在于，步骤S40和S42的处理被执行，而非图6中示出的第一实施例的步骤S12和S14。
更具体而言，在步骤S40中，图像传感器18的共享放大器的像素尺寸（M×N）（M，N：2或大于2的整数）被获取。在步骤S42中，将在步骤S40中获取的基本图案尺寸（M×N）定义为固定图案尺寸（M×N），并且大于固定图案尺寸的滤波器尺寸（K×L）（K，L：M<K且N<L的整数）的滤波器系数被计算。滤波器尺寸（K×L）的滤波器系数被计算，使得在中心附近被加权得更大的滤波器系数被分配，并且为K×L滤波器尺寸的滤波器系数的总数被计算为全部彼此相等，该滤波器系数与在共享放大器的像素尺寸的M×N像素上处于等同位置关系的像素相对应。
[成像设备的第四实施例]
图13是示出根据本发明的成像设备的第四实施例的框图。应该注意的是，与图5中示出的第一实施例的那些等同的组成构件由相同的附图标记指定，以省略详细描述。
图13中示出的第四实施例的成像设备10-4的不同点在于，第一实施例的固定图案尺寸获取单元24和滤波器系数计算单元26被替代为基本阵列图案尺寸获取单元50、共享放大器的像素尺寸获取单元52、固定图案尺寸计算单元54和滤波器系数计算单元56。
如同图7中示出的第二实施例的基本阵列图案尺寸获取单元30和图10中示出的第三实施例的共享放大器的像素尺寸获取单元40，基本阵列图案尺寸获取单元50和共享放大器的像素尺寸获取单元52分别获取基本阵列图案尺寸和共享放大器的像素的尺寸。
固定图案尺寸计算单元54基于从基本阵列图案尺寸获取单元50和共享放大器的像素尺寸获取单元52输入的基本阵列图案尺寸和共享放大器的像素尺寸，来计算固定图案尺寸，并且将指示计算的固定图案尺寸的信息输出到滤波器系数计算单元56。
如图14A和14B中所示，当基本阵列图案尺寸是3×3像素并且共享放大器的像素的尺寸是2×2像素时，固定图案尺寸计算单元54将在水平和垂直方向上的这些尺寸的最小公倍数6×6像素计算为固定图案尺寸。这是因为与基本阵列图案相对应的固定图案和与共享像素的放大器相对应的固定图案具有这些固定图案的最小公倍数的固定图案。
滤波器相关数字计算单元56基于指示由固定图案尺寸计算单元54计算的固定图案尺寸的尺寸信息，计算其大于固定图案尺寸的滤波器尺寸的滤波器系数，并且将计算的滤波器系数给予滤波单元22。
在图15中示出的示例中，针对6×6固定图案尺寸计算8×8滤波器尺寸的滤波器系数。此外，设置滤波器系数，使得在中心附近被加权得更大的滤波器系数被分配，并且为8×8滤波器尺寸的滤波器系数的总数全部彼此相等，该滤波器系数与在6×6像素的固定图案尺寸上处于等同位置关系的像素相对应。
借助由滤波器系数计算单元56所计算的滤波器系数通过在滤波单元22中滤波，能够减少与共享放大器的像素尺寸相对应的固定图案。此外，根据本实施例，能够防止滤波的图像的细节损失。
[用于图像处理的第四实施例]
图16是示出用于在成像设备10-4中的图像处理的方法的第四实施例的流程图。应该注意的是，与图6中示出的第一实施例的那些等同的用于图像处理方法的步骤由相同的步骤编号表示，以省略详细描述。
图6中示出的第四实施例不同于第一实施例的点在于，步骤S50至S56的处理被执行，而非图6中示出的第一实施例的步骤S12和S14。
更具体而言，在步骤S50，图像传感器18中的滤色器阵列的基本图案尺寸被获取，并且在步骤S52中，共享图像传感器18的放大器的像素的尺寸被获取。
将在步骤S50和S52中获取的基本图案尺寸和共享放大器的像素的尺寸的最小公倍数，计算为固定图案尺寸（M×N）（步骤S54）。在步骤S56中，大于步骤S54中所计算的固定图案尺寸的滤波器尺寸（K×L）（K，L：M<K且N<L的整数）的滤波器系数被计算。计算滤波器尺寸（K×L）的滤波器系数，使得在中心附近被加权得更大的滤波器系数被分配，并且为K×L滤波器尺寸的滤波器系数的总数被计算成全部彼此相等，该滤波器系数与在共享放大器的像素尺寸的M×N像素上处于等同位置关系的像素相对应。
[成像设备的第五实施例]
图17是示出根据本发明的成像设备的第五实施例的框图。应该注意的是，与图5中示出的第一实施例的那些等同的组成构件由相同的附图标记指定，以省略详细描述。
图17中示出的第五实施例的成像设备10-5的不同点在于，在第一实施例的固定图案尺寸获取单元24和滤波器系数计算单元26之间添加滤波器尺寸计算单元60。
固定图案尺寸获取单元24获取与图像传感器18中的像素配置的重复周期相对应的固定图案尺寸，并且将指示固定图案尺寸的尺寸信息输出到滤波器尺寸计算单元60。例如，在图像传感器具有包括如图18A中所示的3×3像素的基本阵列图案的滤色器阵列的情形下，将指示3×3固定图案尺寸的尺寸信息输出到滤波器尺寸计算单元60。
滤波器尺寸计算单元60基于从固定图案尺寸获取单元24输入的指示固定图案尺寸的尺寸信息，计算大于固定图案尺寸的滤波器尺寸的滤波器系数。更具体而言，当固定图案尺寸是M×N（M，N：2或大于2的整数）像素时，滤波器尺寸计算单元60计算K×L（K，L：M<K且N<L的整数）滤波器尺寸。在如图18A中所示的3×3像素的基本阵列图案（固定图案尺寸）的情形下，大于3×3的滤波器尺寸（例如5×5）被计算，如图18B中所示。
滤波器系数计算单元26计算与从滤波器尺寸计算单元60输入的滤波器尺寸（K×L）相对应的滤波器系数。在图18B中示出的示例中计算5×5的滤波器系数。此外，设置滤波器系数，使得在中心附近被加权得更大的滤波器系数被分配，并且为5×5滤波器尺寸的滤波器系数的相应总数全部彼此相等，该滤波器系数与在3×3像素的基本阵列图案上处于等同位置关系的像素相对应。
借助由滤波器系数计算单元26所计算的滤波器系数通过在滤波单元22中滤波，能够减少固定图案。此外，能够防止滤波的图像细节的损失。
[图像处理方法的第五实施例]
图19是示出用于成像设备10-5中的图像处理的方法的第五实施例的流程图。应该注意的是，与图6中示出的第一实施例那些相同的用于图像处理的方法步骤由相同的步骤编号指定，以省略详细描述。
图19中示出的第五实施例不同于第一实施例的点在于，步骤S60和S62的处理被执行，而非图6中示出的第一实施例的步骤S14。
更具体而言，在步骤S60中，基于步骤S12中获取的固定图案尺寸（M×N），大于固定图案尺寸的滤波器尺寸（K×L）（K，L：M<K并且N<L的整数）被计算。在步骤S62中，与步骤S60中所计算的滤波器尺寸相对应的滤波器系数被计算。计算滤波器尺寸（K×L）的滤波器系数，使得在中心附近被加权得更大的滤波器系数被分配，并且为K×L滤波器尺寸的滤波器系数的总数被计算成全部彼此相等，该滤波器系数与在固定图案的M×N像素上处于等同位置关系的像素相对应。
[其它]
根据上述实施例，通过滤波器系数计算单元计算滤波器系数。应该注意的是，一旦成像设备的图像传感器被确定，也就确定与在图像传感器中的像素配置的重复周期相对应的固定图案。因此，能够事先计算用于减少固定图案的滤波器的滤波器系数。因此，可以将事先计算的滤波器系数存储在非易失性存储器中，并且在滤波时可以从非易失性存储器中读取滤波器系数。
本发明能够被应用到的滤色器的基本阵列图案不限于如上述实施例中的R、G和B三种颜色的滤色器，而是可以为包括至少三种颜色的滤色器的任何基本阵列图案。本发明可应用到四种或更多种颜色的滤色器，诸如添加到R、G和B滤波器的翠绿色（E）和白色（W）滤波器。在那种情形下，在基本阵列图案的尺寸（M×N）中的M和N是3或更大的整数。
此外，虽然将CMOS型图像传感器描述为其中每个指定像素组具有共享的放大器的图像传感器的示例，本发明不仅可以应用到CMOS型图像传感器但是也可以应用到MOS型和XY地址类型图像传感器。
此外，虽然在本实施例中已经描述了包括固定图案减少处理的图像处理设备的成像设备，但是可以通过外部图像处理设备执行包括固定图案减少处理的图像处理。在那种情形下，在成像设备中，当还未经受图像处理的马赛克图像（RAW数据）被存储并且通过外部图像处理设备RAW开发RAW数据时，可以执行本发明的固定图案减少处理。此外，根据本发明的包括固定图案减少处理的图像处理程序和存储图像处理程序的记录介质可以内置在成像设备专用的RAM开发软件中。
此外，应该理所当然的理解，本发明不限于上述实施例，并且在不脱离本发明的精神的情形下，各种修改是可能的。
附图标记列表
10-1、10-2、10-3、10-4、10-5成像设备；12记录介质；14中心处理单元（CPU）；16拍摄镜头；18图像传感器；20图像获取单元；22滤波单元；24固定图案尺寸获取单元；26、32、42、56滤波器系数计算单元；30、50基本阵列图案尺寸获取单元；40、52共享放大器的像素尺寸获取单元；54固定图案尺寸计算单元；60滤波器尺寸计算单元。

Claims (14)

1.一种图像处理设备，包括：
图像获取装置，所述图像获取装置被配置成获取由包括图像传感器的成像装置所取得的图像，所述图像传感器具有M×N像素的重复周期的像素配置，其中M和N都是2或大于2的整数；以及
滤波装置，所述滤波装置具有K×L滤波器尺寸的滤波器，其中K是M<K的整数并且L是N<L的整数，所述滤波装置被配置成，将卷积算术运算应用到用于所述滤波器的滤波器系数集和基于由所述图像获取装置获取的所述图像中的目标像素提取的K×L像素的像素值，以便计算所述目标像素的像素值；
其中，为所述滤波器设置的所述滤波器系数在所述滤波器中心附近被加权得更大，并且所述滤波器系数被设置成使得所述滤波器尺寸的所述滤波器系数的总数全部彼此相等，所述滤波器系数与在M×N像素的所述像素配置上处于等同位置关系的像素相对应，
其中，所述图像传感器是具有下述传感器配置的图像传感器，其中，放大器由每个指定像素组共享，以及
具有M×N像素的所述重复周期的所述像素配置与所述指定的像素组相对应。
2.一种图像处理设备，包括：
图像获取装置，所述图像获取装置被配置成获取由包括图像传感器的成像装置所取得的图像，所述图像传感器具有M×N像素的重复周期的像素配置，其中M和N都是2或大于2的整数；以及
滤波装置，所述滤波装置具有K×L滤波器尺寸的滤波器，其中K是M<K的整数并且L是N<L的整数，所述滤波装置被配置成，将卷积算术运算应用到用于所述滤波器的滤波器系数集和基于由所述图像获取装置获取的所述图像中的目标像素提取的K×L像素的像素值，以便计算所述目标像素的像素值；
其中，为所述滤波器设置的所述滤波器系数在所述滤波器中心附近被加权得更大，并且所述滤波器系数被设置成使得所述滤波器尺寸的所述滤波器系数的总数全部彼此相等，所述滤波器系数与在M×N像素的所述像素配置上处于等同位置关系的像素相对应，
其中，所述图像传感器是彩色图像传感器，在所述彩色图像传感器中，在水平方向和垂直方向上排列的多个像素上，以在所述水平方向和所述垂直方向上重复的方式布置包括三种颜色的滤色器的指定基本阵列图案，以及
具有M×N像素的所述重复周期的所述像素配置与所述指定基本阵列图案相对应，
其中，所述滤波装置将卷积算术运算应用到将利用所述滤波器处理的区域中的K×L像素当中的目标像素、与滤色器相对应的像素的像素值、与所述目标像素的滤色器等同的颜色，以及与这些像素相对应的所述滤波器的滤波器系数，以便计算所述目标像素的像素值。
3.根据权利要求2所述的图像处理设备，
其中，所述基本阵列图案包括是红(R)、绿(G)和蓝(B)的三原色的滤色器，以及
所述基本阵列图案是与N×N像素相对应的方阵列图案，其中N是3或更大的整数。
4.一种图像处理设备，包括：
图像获取装置，所述图像获取装置被配置成获取由包括图像传感器的成像装置所取得的图像，所述图像传感器具有M×N像素的重复周期的像素配置，其中M和N都是2或大于2的整数；以及
滤波装置，所述滤波装置具有K×L滤波器尺寸的滤波器，其中K是M<K的整数并且L是N<L的整数，所述滤波装置被配置成，将卷积算术运算应用到用于所述滤波器的滤波器系数集和基于由所述图像获取装置获取的所述图像中的目标像素提取的K×L像素的像素值，以便计算所述目标像素的像素值；
其中，为所述滤波器设置的所述滤波器系数在所述滤波器中心附近被加权得更大，并且所述滤波器系数被设置成使得所述滤波器尺寸的所述滤波器系数的总数全部彼此相等，所述滤波器系数与在M×N像素的所述像素配置上处于等同位置关系的像素相对应，
其中，所述图像传感器是具有下述传感器配置的彩色图像传感器，其中，在水平方向和垂直方向上排列的多个像素上，以在所述水平方向和所述垂直方向上重复的方式布置包括三种颜色的滤色器的指定基本阵列图案，并且放大器由每个指定像素组共享，以及
在所述像素配置中的M×N像素的所述重复周期是所述指定基本阵列图案和所述指定像素组的最小公倍数的重复周期。
5.根据权利要求4所述的图像处理设备，
其中，所述滤波装置将卷积算术运算应用到将利用所述滤波器处理的区域中的K×L像素当中的目标像素、与滤色器相对应的像素的像素值、与所述目标像素的滤色器等同的颜色、和与这些像素相对应的所述滤波器的滤波器系数，以便计算所述目标像素的像素值。
6.根据权利要求4所述的图像处理设备，
其中，所述基本阵列图案包括是红(R)、绿(G)和蓝(B)的三原色的滤色器，以及
所述基本阵列图案是与N×N像素相对应的方阵列图案，其中N是3或更大的整数。
7.根据权利要求6所述的图像处理设备，
其中，所述滤波装置将卷积算术运算应用到将利用所述滤波器处理的区域中的K×L像素当中的目标像素、与滤色器相对应的像素的像素值、与所述目标像素的滤色器等同的颜色，以及与这些像素相对应的所述滤波器的滤波器系数，以便计算所述目标像素的像素值。
8.一种图像处理设备，包括：
图像获取装置，所述图像获取装置被配置成获取由包括图像传感器的成像装置所取得的图像，所述图像传感器具有M×N像素的重复周期的像素配置，其中M和N都是2或大于2的整数；以及
滤波装置，所述滤波装置具有K×L滤波器尺寸的滤波器，其中K是M<K的整数并且L是N<L的整数，所述滤波装置被配置成，将卷积算术运算应用到用于所述滤波器的滤波器系数集和基于由所述图像获取装置获取的所述图像中的目标像素提取的K×L像素的像素值，以便计算所述目标像素的像素值，其中，为所述滤波器设置的所述滤波器系数在所述滤波器中心附近被加权得更大，并且所述滤波器系数被设置成使得所述滤波器尺寸的所述滤波器系数的总数全部彼此相等，所述滤波器系数与在M×N像素的所述像素配置上处于等同位置关系的像素相对应，
固定图案尺寸获取装置，所述固定图案尺寸获取装置被配置成获取与代表所述图像传感器中的所述像素配置的重复周期的M×N像素相对应的固定图案尺寸；以及
滤波器系数计算装置，所述滤波器系数计算装置具有基于所获取的固定图案尺寸在所述滤波器的中心附近被加权得更大的滤波器系数，所述滤波器系数计算装置被配置成计算所述滤波器系数，使得所述滤波器尺寸的所述滤波器系数的总数全部都彼此相等，所述滤波器系数与在M×N像素的所述传感器配置上处于等同位置关系的像素相对应，
其中，所述滤波装置获取由所述滤波器系数计算装置所计算的所述滤波器系数。
9.根据权利要求8所述的图像处理设备，
其中，所述图像传感器是彩色图像传感器，在所述彩色图像传感器中，在水平方向和垂直方向上排列的多个像素上，以在所述水平方向和所述垂直方向上重复的方式布置包括三种颜色的滤色器的指定基本阵列图案，以及
所述固定图案尺寸获取装置获取所述指定基本阵列图案的尺寸作为所述固定图案尺寸。
10.根据权利要求8所述的图像处理设备，
其中，所述图像传感器是具有下述传感器配置的图像传感器，其中，放大器由每个指定像素组共享，以及
所述固定图案尺寸获取装置获取共享所述放大器的所述指定像素组的图像尺寸作为所述固定图案尺寸。
11.根据权利要求8所述的图像处理设备，
其中，所述图像传感器是具有下述传感器配置的彩色图像传感器，其中，在水平方向和垂直方向上排列的多个像素上，以在所述水平方向和所述垂直方向上重复的方式布置包括三种颜色的滤色器的指定基本阵列图案，并且放大器由每个指定像素组共享，以及
所述固定图案尺寸获取装置获取作为所述指定基本阵列图案的尺寸和共享所述放大器的所述指定像素组的图像尺寸的最小公倍数的尺寸，作为所述固定图案尺寸。
12.根据权利要求8所述的图像处理设备，包括
滤波器尺寸计算装置，所述滤波器尺寸计算装置被配置成基于M×N的所述固定图案尺寸来计算所述K×L滤波器尺寸，
其中，所述滤波器系数计算装置计算与由所述滤波器尺寸计算装置所计算的所述滤波器尺寸相对应的滤波器系数。
13.一种成像设备，包括：
成像装置，所述成像装置包括拍摄光学***和图像传感器，所述图像传感器配置成经由所述拍摄光学***形成被摄体图像；以及
根据权利要求1至12任何一项所述的图像处理设备。
14.一种用于图像处理的方法，包括：
获取由包括图像传感器的成像装置所取得的图像的步骤，所述图像传感器具有M×N像素的重复周期的像素配置，其中M和N都是2或更大整数；
(a)在所获取的图像中设置目标像素并基于所述目标像素提取K×L像素的步骤，其中K是M<K的整数并且L是N<L的整数；
(b)具有K×L滤波器尺寸的滤波器并且将卷积算术运算应用到为所述滤波器设置的滤波器系数和所提取的K×L像素的像素值以便计算所述目标像素的像素值的步骤；以及
(c)当相对于所获取的图像将所述目标像素一次移动一个像素时，重复执行所述步骤(a)和所述步骤(b)的步骤，
其中，为所述滤波器设置的所述滤波器系数在所述滤波器的中心附近被加权得更大，并且所述滤波器系数被设置成使得所述滤波器尺寸的所述滤波器系数的总数全部彼此相等，所述滤波器系数与在M×N像素的所述传感器配置上处于等同位置关系的像素相对应，
其中，所述图像传感器是彩色图像传感器，在所述彩色图像传感器中，在水平方向和垂直方向上排列的多个像素上，以在所述水平方向和所述垂直方向上重复的方式布置包括三种颜色的滤色器的指定基本阵列图案，以及
具有M×N像素的所述重复周期的所述像素配置与所述指定基本阵列图案相对应，
其中，在步骤(b)中，将卷积算术运算应用到将利用所述滤波器处理的区域中的K×L像素当中的目标像素、与滤色器相对应的像素的像素值、与所述目标像素的滤色器等同的颜色，以及与这些像素相对应的所述滤波器的滤波器系数，以便计算所述目标像素的像素值。
CN201280026611.2A 2011-09-29 2012-06-21 图像处理设备和方法以及成像设备 Active CN103563361B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-215057 2011-09-29
JP2011215057 2011-09-29
PCT/JP2012/065837 WO2013046828A1 (ja) 2011-09-29 2012-06-21 画像処理装置、方法、プログラムおよび記録媒体並びに撮像装置

Publications (2)

Publication Number Publication Date
CN103563361A CN103563361A (zh) 2014-02-05
CN103563361B true CN103563361B (zh) 2015-04-29

Family

ID=47994890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280026611.2A Active CN103563361B (zh) 2011-09-29 2012-06-21 图像处理设备和方法以及成像设备

Country Status (6)

Country Link
US (1) US8817141B2 (zh)
EP (1) EP2763417B1 (zh)
JP (1) JP5519083B2 (zh)
CN (1) CN103563361B (zh)
BR (1) BR112014004533A2 (zh)
WO (1) WO2013046828A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8237830B2 (en) 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
KR101503227B1 (ko) 2007-04-11 2015-03-16 레드.컴 인코포레이티드 비디오 카메라
WO2013084406A1 (ja) * 2011-12-08 2013-06-13 パナソニック株式会社 固体撮像装置及び撮像装置
JP5600812B2 (ja) * 2011-12-28 2014-10-01 富士フイルム株式会社 撮像装置
US9521384B2 (en) * 2013-02-14 2016-12-13 Red.Com, Inc. Green average subtraction in image data
US10176543B2 (en) * 2015-01-13 2019-01-08 Sony Corporation Image processing based on imaging condition to obtain color image
CN106604001B (zh) * 2016-11-29 2018-06-29 广东欧珀移动通信有限公司 图像处理方法、图像处理装置、成像装置及电子装置
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
CN106454288B (zh) 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置、成像装置及电子装置
CN106454054B (zh) 2016-11-29 2019-03-19 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106504218B (zh) 2016-11-29 2019-03-12 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106341670B (zh) 2016-11-29 2017-09-22 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
JP7313330B2 (ja) 2017-07-05 2023-07-24 レッド．コム，エルエルシー 電子機器でのビデオ画像データ処理
CN110365923A (zh) * 2018-04-09 2019-10-22 印象认知（北京）科技有限公司 一种图像传感器
CN112492162B (zh) * 2020-11-30 2022-04-01 维沃移动通信有限公司 图像传感器、摄像模组和电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102870417A (zh) * 2011-02-28 2013-01-09 富士胶片株式会社 彩色成像设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6882364B1 (en) 1997-12-02 2005-04-19 Fuji Photo Film Co., Ltd Solid-state imaging apparatus and signal processing method for transforming image signals output from a honeycomb arrangement to high quality video signals
JP4607265B2 (ja) * 1998-01-08 2011-01-05 富士フイルム株式会社 固体撮像装置および信号処理方法
US6222641B1 (en) 1998-07-01 2001-04-24 Electronics For Imaging, Inc. Method and apparatus for image descreening
JP2001148797A (ja) 1999-11-19 2001-05-29 Canon Inc 画像信号処理装置及び方法
JP4139587B2 (ja) * 2001-12-13 2008-08-27 大日本印刷株式会社 単板式カラーディジタルカメラにおける撮像画像の補間装置および方法
JP4329485B2 (ja) * 2003-10-24 2009-09-09 パナソニック株式会社 画像信号処理装置及び画像信号処理方法
JP4385282B2 (ja) * 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
JP4385748B2 (ja) * 2003-12-05 2009-12-16 パナソニック株式会社 画像信号処理装置及び画像信号処理方法
US20060119724A1 (en) 2004-12-02 2006-06-08 Fuji Photo Film Co., Ltd. Imaging device, signal processing method on solid-state imaging element, digital camera and controlling method therefor and color image data generating method
JP4635769B2 (ja) * 2005-07-28 2011-02-23 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
DE102006038646B4 (de) * 2006-08-17 2011-03-24 Baumer Optronic Gmbh Bildverarbeitungsvorrichtung für Farb-Bilddaten
WO2008067472A2 (en) * 2006-11-29 2008-06-05 President And Fellows Of Harvard College A new spatio-spectral sampling paradigm for imaging and a novel color filter array design
JP2010239492A (ja) 2009-03-31 2010-10-21 Olympus Corp 撮像装置および映像信号のノイズ低減方法
JP2011171885A (ja) * 2010-02-17 2011-09-01 Renesas Electronics Corp 画像処理装置及び画像処理方法
WO2012124184A1 (ja) * 2011-03-11 2012-09-20 富士フイルム株式会社 撮像装置およびその動作制御方法ならびに撮像システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102870417A (zh) * 2011-02-28 2013-01-09 富士胶片株式会社 彩色成像设备

Also Published As

Publication number Publication date
US20140139709A1 (en) 2014-05-22
WO2013046828A1 (ja) 2013-04-04
EP2763417B1 (en) 2019-02-27
CN103563361A (zh) 2014-02-05
BR112014004533A2 (pt) 2017-03-28
EP2763417A1 (en) 2014-08-06
EP2763417A4 (en) 2015-08-19
JPWO2013046828A1 (ja) 2015-03-26
JP5519083B2 (ja) 2014-06-11
US8817141B2 (en) 2014-08-26

Similar Documents

Publication Publication Date Title
CN103563361B (zh) 图像处理设备和方法以及成像设备
CN103563350B (zh) 图像处理装置、图像处理方法以及数码相机
JP5589146B2 (ja) 撮像素子及び撮像装置
US9661210B2 (en) Image pickup device and image pickup apparatus
EP2184915B1 (en) Image processing device, image processing method, and image processing program
CN103828345B (zh) 用于图像处理的设备、方法以及图像拾取设备
JP5109551B2 (ja) 画像処理装置、画像処理方法、及び撮像装置
EP2733944A1 (en) Image pickup apparatus and signal value correction method
JP5597777B2 (ja) カラー撮像素子及び撮像装置
JP5526287B2 (ja) 撮像装置及び撮像方法
EP2442556A1 (en) Apparatus and method for capturing images with high dynamic range
JP5398750B2 (ja) カメラモジュール
CN104025566B (zh) 摄像装置及摄像装置的控制方法
JP5159715B2 (ja) 画像処理装置
CN104041021B (zh) 图像处理装置及方法以及摄像装置
JPH09238355A (ja) 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置
CN103621070A (zh) 摄像装置及摄像程序
JP2004229055A (ja) 画像処理装置
JP2004193911A (ja) 画像処理装置および画像処理方法、デジタルスチルカメラ
JP5036524B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
CN104025576B (zh) 摄像装置及摄像装置的控制方法
JP5095294B2 (ja) 撮像装置、撮像方法
JP3711402B2 (ja) 撮像装置及びカラー撮像信号の処理方法
US20110141322A1 (en) Image restoration device and image restoration method
JP2012216947A (ja) 撮像装置及び画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant