CN101371591B - 具有改进感光度的图像传感器 - Google Patents

具有改进感光度的图像传感器 Download PDF

Info

Publication number
CN101371591B
CN101371591B CN200780002939XA CN200780002939A CN101371591B CN 101371591 B CN101371591 B CN 101371591B CN 200780002939X A CN200780002939X A CN 200780002939XA CN 200780002939 A CN200780002939 A CN 200780002939A CN 101371591 B CN101371591 B CN 101371591B
Authority
CN
China
Prior art keywords
pixel
group
color
pixels
recurring unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200780002939XA
Other languages
English (en)
Other versions
CN101371591A (zh
Inventor
T·基吉马
H·纳卡穆拉
J·T·坎普顿
J·F·小哈米尔顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN101371591A publication Critical patent/CN101371591A/zh
Application granted granted Critical
Publication of CN101371591B publication Critical patent/CN101371591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

公开了一种用于捕获彩色图像的图像传感器，它具有包括以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应；并且第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得最小重复单位的至少一些行或列仅由来自第二组的像素组成，且最小重复单位的一些行或列仅由来自第一组的像素组成，其中仅由来自第一组的像素组成的行或列由来自第一组的最多两种颜色的像素组成。

Description

具有改进感光度的图像传感器
技术领域
本发明涉及具有改进感光度的二维图像传感器。
背景技术
电子成像***依靠电子图像传感器来创建可视图像的电子表示。这类电子图像传感器的示例包括电荷耦合器件(CCD)图像传感器和有源像素传感器(APS)器件(由于用互补金属氧化物半导体工艺来制造APS器件的能力，APS器件通常称作CMOS传感器)。这些图像传感器通常包括往往以行和列的规则图案排列的多个感光像素。为了捕获彩色图像，通常在像素的图案上制造滤光片的图案，其中不同的滤光片材料用于使各个像素仅对可见光谱的一部分敏感。滤色片必然减小到达各像素的光量，从而降低各像素的感光度。对于改进电子彩色图像传感器的感光度或照相感速率以便允许以较低光级捕获图像或者允许用较短曝光时间以较高光级捕获图像的需要持续存在。
图像传感器是线性的或者二维的。一般来说，这些传感器具有两种不同类型的应用。二维传感器通常适合于图像捕获装置，例如数字相机、蜂窝电话和其它应用。线性传感器往往用于扫描文档。在任一种情况下，在使用滤色片时，图像传感器都具有降低的敏感度。
线性图像传感器，由伊斯曼柯达公司制造的KLI-4104，包括像素的四个线性单像素宽阵列，其中滤色片应用于阵列中的三个，以便使各阵列对红、绿或蓝中的任一个完全敏感，并且其中没有滤色片阵列应用于第四阵列；另外，三个彩色阵列具有较大像素以补偿因滤色片而引起的感光度降低，并且第四阵列具有较小像素以捕获高分辨率单色图像。当使用这种图像传感器捕获图像时，将图像表示为高分辨率、高照相敏感度单色图像连同具有大致相同照相敏感度的三个较低分辨率图像，其中三个图像中的每个对应于来自图像的红、绿或蓝光；因此，电子图像中的各点包括单色值、红色值、绿色值和蓝色值。但是，由于这是线性图像传感器，因此要求图像传感器与图像之间的相对机械运动，以便扫描像素的四个线性阵列上的图像。这限制了扫描图像的速度，并且妨碍了将这个传感器用于手持相机中，或者捕获包括运动对象的画面。
在本领域还已知的是，Akira Muramatsu等人的美国专利4823186中描述的电子成像***包括两个传感器，其中每个传感器包括像素的二维阵列，但一个传感器没有滤色片而另一个传感器包括包含有像素的滤色片图案，并且其中具有为各图像传感器提供图像的光束***器。由于彩色传感器具有所施加的滤色片图案，所以彩色传感器中的各像素仅提供单一颜色。在用这种***捕获图像时，电子图像中的各点包括单色值和一种颜色值，并且彩色图像必须使从附近颜色对在像素位置的缺失颜色进行内插。虽然这个***改进了对于单个常规图像传感器的感光度，但是，由于需要两个传感器和分束器，***的整体复杂度、大小和成本更大了。另外，分束器仅将一半的光从图像指向各传感器，限制了照相感速率的改进。
除了上述线性图像传感器之外，在本领域还已知的是具有像素的二维阵列的图像传感器，其中像素包括没有向其应用滤色片的图像。例如参见Sato等人的美国专利4390895、Yamagami等人的美国专利5323233和Gindele等人的美国专利6476865。在所述专利的每个中，未过滤像素或单色像素的敏感度明显高于彩色像素，从而要求对彩色像素施加增益，以便匹配来自像素阵列的彩色和单色信号。增大增益增大了噪声以及信号，从而引起所得到图像的总信噪比降级。Frame在美国专利申请2003/0210332中公开了一种像素阵列，其中大多数像素未过滤，但彩色像素遭受到与以上所述相同的敏感度缺陷。
因此，对于改进使用具有像素二维阵列的单个传感器的电子捕获装置的感光度的需要持续存在。
发明内容
本发明针对提供一种具有彩色和全色像素的二维阵列的图像传感器，它提供高敏感度，并且在产生全色图像时是有效的。
按照本发明的第一方面，一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，且所述最小重复单位的一些行或列仅由来自第一组的像素组成，其中仅由来自第一组的像素组成的行或列由来自第一组的最多两种颜色的像素组成；以及
c)所述最小重复单位为：
P    P
A    B
P    C
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，以及
C表示第一组像素的第三种颜色的像素。
按照本发明的第二方面，一种用于捕获彩色图像的的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，且所述最小重复单位的一些行或列仅由来自第一组的像素组成，其中仅由来自第一组的像素组成的行或列由来自第一组的最多两种颜色的像素组成；以及
c)所述最小重复单位为：
P    P
P    P
A    B
P    P
P    P
B    C
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，以及
C表示第一组像素的第三种颜色的像素。
按照本发明的第三方面，一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，
c)用于组合来自至少两个相邻最小重复单位的相同颜色的一些像素的部件，以及
d)所述最小重复单位为：
P    P
A    B
P    P
B    C
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，以及
C表示第一组像素的第三种颜色的像素。
按照本发明的第四方面，一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，且所述最小重复单位的一些行或列仅由来自第一组的像素组成，其中仅由来自第一组的像素组成的行或列由来自第一组的最多两种颜色的像素组成；以及
c)其中最小重复单位的各行或列仅由来自第一组或者第二组像素的像素组成，所述图像传感器的最小重复单位为：
P    P
A    B
B    C
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，以及
C表示第一组像素的第三种颜色的像素。
按照本发明的第五方面，一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，且所述最小重复单位的一些行或列仅由来自第一组的像素组成，其中仅由来自第一组的像素组成的行或列由来自第一组的最多两种颜色的像素组成；以及
c)其中最小重复单位的各行或列仅由来自第一组或者第二组像素的像素组成，所述图像传感器的最小重复单位为：
P    P
A    B
D    C
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，
C表示第一组像素的第三种颜色的像素，以及
D表示第一组像素的第四种颜色的像素。
按照本发明的第六方面，一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，且所述最小重复单位的一些行或列仅由来自第一组的像素组成，其中仅由来自第一组的像素组成的行或列由来自第一组的最多两种颜色的像素组成；以及
c)其中最小重复单位的各行或列仅由来自第一组或者第二组像素的像素组成，所述图像传感器的最小重复单位为：
P    P
A    B
P    P
B    C
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，以及
C表示第一组像素的第三种颜色的像素。
按照本发明的第七方面，一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，且所述最小重复单位的一些行或列仅由来自第一组的像素组成，其中仅由来自第一组的像素组成的行或列由来自第一组的最多两种颜色的像素组成；以及
c)其中最小重复单位的各行或列仅由来自第一组或者第二组像素的像素组成，所述图像传感器的最小重复单位为：
P    P
P    P
A    B
P    P
P    P
B    C
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，以及
C表示第一组像素的第三种颜色的像素。
按照本发明的第八方面，一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，且所述最小重复单位的一些行或列仅由来自第一组的像素组成，其中仅由来自第一组的像素组成的行或列由来自第一组的最多两种颜色的像素组成；以及
c)其中最小重复单位的各行或列仅由来自第一组或者第二组像素的像素组成，所述图像传感器的最小重复单位为：
P    P
P    P
A    B
P    P
P    P
D    C
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，
C表示第一组像素的第三种颜色的像素，以及
D表示第一组像素的第四种颜色的像素。
按照本发明的第九方面，一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，
c)用于组合来自至少两个相邻最小重复单位的相同颜色的一些像素的部件，以及
d)所述最小重复单位为：
P    P
A    B
P    P
D    C
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，
C表示第一组像素的第三种颜色的像素，以及
D表示第一组像素的第四种颜色的像素。
按照本发明的第十方面，一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；以及
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，
c)用于组合来自至少两个相邻最小重复单位的相同颜色的一些像素的部件，以及
d)所述最小重复单位为：
P    P
P    P
A    B
P    P
P    P
B    C
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，以及
C表示第一组像素的第三种颜色的像素。
按照本发明的第十一方面，一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；以及
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，
c)用于组合来自至少两个相邻最小重复单位的相同颜色的一些像素的部件，以及
d)所述最小重复单位为：
P    P
P    P
A    B
P    P
P    P
D    C
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，
C表示第一组像素的第三种颜色的像素，以及
D表示第一组像素的第四种颜色的像素。
按照本发明的第十二方面，一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；以及
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，
c)用于组合来自至少两个相邻最小重复单位的相同颜色的一些像素的部件，以及
d)所述最小重复单位为：
P    P    P    P
A    B    C    D
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，以及
C表示第一组像素的第三种颜色的像素，
D表示第一组像素的第四种颜色的像素。
按照本发明的第十三方面，一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，
c)用于组合来自至少两个相邻最小重复单位的相同颜色的一些像素的部件，以及
d)所述最小重复单位为：
P    P    P    P
P    P    P    P
A    B    C    D
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，
C表示第一组像素的第三种颜色的像素，以及
D表示第一组像素的第四种颜色的像素。
简言之，根据本发明的一个方面，本发明提供一种用于捕获彩色图像的图像传感器，它包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素的像素的光谱光响应对应于至少两种颜色的集合；以及
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得最小重复单位的至少一些行或列仅由来自第二组的像素组成，且最小重复单位的一些行或列仅由来自第一组的像素组成，其中仅由来自第一组的像素组成的行或列由来自第一组的最多两种颜色的像素组成。
在本发明的另一个方面，提供一种用于捕获彩色图像的图像传感器，它包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，且其中第一组像素的像素的光谱光响应对应于至少两种颜色的集合；
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得最小重复单位的至少一些行或列仅由来自第二组的像素组成，以及
c)用于组合来自至少两个相邻最小重复单位的相同颜色的一些像素的部件。
根据本发明的图像传感器特别适合于低级照明条件，其中这类低级照明条件是低场景照明、短曝光时间、小光圈或者对到达传感器的光的其它限制的结果。它们具有广泛应用，并且许多类型的图像捕获装置可有效地使用这些传感器。
通过阅读以下优选实施例的详细描述和所附权利要求书，并参照附图，会更清楚地理解和认识本发明的这些和其它方面、目的、特征及优点。
附图说明
图1是可使用常规传感器和处理方法或者本发明的传感器和处理方法的常规数字静态相机***的框图；
图2(现有技术)是示出最小重复单位和非最小重复单位的常规Bayer滤色片阵列图案；
图3提供了红、绿和蓝像素的代表性光谱量子效率曲线以及较宽光谱全色量子效率，全部与红外截止滤光片的传输特性相乘；
图4A-D提供包括具有以行或列排列的相同彩色光响应的彩色像素的本发明的滤色片阵列图案的几个变体的最小重复单位；
图5示出来自图4A的最小重复单位的单元结构；
图6A是图4A的内插全色图像；
图6B是与图4A和图5A中单元对应的低分辨率彩色图像；
图7A-C示出组合图4A像素的几个方式；
图8A-E提供包括几个平铺排列的本发明的滤色片阵列图案的最小重复单位以及最小重复单位的备选定向；
图9A-C提供本发明的滤色片阵列图案的几个最小重复单位，它们为图8的最小重复单位的变体；
图10A-F提供本发明的滤色片阵列图案的八个像素的最小重复单位，并且包括具有包含备选彩色光响应特性的彩色像素的平铺排列和变体，其中包括原色、补色、三色和四色备选；
图11A-B提供了多于一半的像素具有全色光响应的本发明的滤色片阵列的最小重复单位；
图12A-B提供了像素处于旋转45度的矩形网格上的本发明的滤色片阵列的最小重复单位，并且包括平铺排列；
图13A-B提供了像素以六边形图案排列的本发明的滤色片阵列的最小重复单位，并且包括平铺排列；
图14提供了本发明的滤色片阵列的最小重复单位，它为图13的备选；
图15提供了本发明的滤色片阵列的最小重复单位，它为图13的备选；
图16是图4A的最小重复单位，其中具有最小重复单位中的各个像素的下标；
图17A-E示出图16的一个单元的全色像素和彩色像素以及组合彩色像素的各种方式；
图18是示出处理来自本发明传感器的彩色和全色像素的方法的本发明的过程图；
图19A-D示出用于在图18的低分辨率部分颜色图像中内插缺失颜色的本发明的方法；
图20提供图8A的最小重复单位中的两个，示出组合相邻最小重复单位之间的像素；以及
图21提供本发明的备选滤色片阵列的两个最小重复单位，示出组合相邻最小重复单位之间以及最小重复单位的单元之内的像素。
具体实施方式
由于将成像器件及相关电路用于信号捕获和校正以及用于曝光控制的数字相机是众所周知的，所以本描述将具体针对形成根据本发明的方法和装置的组成部分、或者更直接地与其合作的元素。本文没有具体说明或描述的元素是从本领域已知的那些元素中选取的。将要描述的实施例的某些方面以软件来提供。在给定以下资料中根据本发明进行说明和描述的***的情况下，本文没有具体说明、描述或建议的、对于实现本发明有用的软件是常规的，并且在本领域技术人员了解的范围之内。
现在来看图1，示出了示为实施本发明的数字相机的图像捕获装置的框图。虽然现在将说明数字相机，但是显然，本发明可适用于其它类型的图像捕获装置。在公开的相机中，把来自主题场景的光10输入到成像级11，在那里由镜头12对光聚焦，以便在固态图像传感器20上形成图像。图像传感器20将入射光转换成各图元(像素)的电信号。优选实施例的图像传感器20是电荷耦合器件(CCD)类型或有源像素传感器(APS)类型(由于用互补金属氧化物半导体工艺来制造APS器件的能力，APS器件通常称作CMOS传感器)。使用具有像素的二维阵列的其它类型的图像传感器，只要它们使用本发明的图案。本发明还利用具有彩色和全色图像的二维阵列的图像传感器20，在本说明书中，描述了图1之后，这个方面将会变得非常清楚。与图像传感器20一起使用的本发明的彩色和全色像素的图案的示例见图4A-D、图8A、图8E、图9A-C、图10A、图10C-F、图11A-B、图12和图15，但是在本发明的精神内也可使用其它图案。
到达传感器20的光量由可变光阑块14来调节，它改变包括***光路中的一个或多个中性密度(ND)滤光片的光圈和ND滤光片块13。另外，调节整个光级是在快门块18打开时。曝光控制器块40响应由亮度传感器块16所计量的在场景中可得到的光量，并控制这些调节功能中的所有三个功能。
具体相机配置的本描述将是本领域的技术人员熟悉的，并且很显然存在许多变体和附加特征。例如，添加自动聚焦***，或者镜头是可拆卸的且可互换的。会理解，本发明适用于任何类型的数字相机，其中相似的功能性由备选组件提供。例如，数字相机是比较简单的傻瓜数字相机，其中快门18是比较简单的动片快门等，而不是较复杂的焦面布置。本发明还可实施在非相机装置、如移动电话和机动车辆等中包含的成像组件上。
来自图像传感器20的模拟信号由模拟信号处理器22处理，并施加到模数(A/D)转换器24。定时发生器26产生各种时钟信号，以便选择行和像素，并使模拟信号处理器22和A/D转换器24的操作同步。图像传感器级28包括图像传感器20、模拟信号处理器22、A/D转换器24和定时发生器26。图像传感器级28的组件是单独制造的集成电路，或者可像对于CMOS图像传感器通常所作的那样将它们制造成单个集成电路。来自A/D转换器24的所得到的数字像素值流存储在与数字信号处理器(DSP)36关联的存储器32中。
在这个实施例中，除了***控制器50和曝光控制器40之外，数字信号处理器36是三个处理器或控制器其中之一。虽然在多个控制器和处理器之间的相机功能控制的这种划分是典型的，但是，这些控制器或处理器可以各种方式组合，而不影响相机的功能操作和本发明的应用。这些控制器或处理器可包括一个或多个数字信号处理器装置、微控制器、可编程逻辑器件或者其它数字逻辑电路。虽然已经描述了这类控制器或处理器的组合，但是应当很明显，将一个控制器或处理器指定用于执行全部所需功能。所有这些变体均可执行同一功能，并落入本发明的范围内，并且术语“处理级”将根据需要用于包含一个阶段中的这个功能性的全部，如在图1的处理级38中那样。
在所示实施例中，DSP 36根据程序存储器54中永久存储并复制到存储器32以便在图像捕获期间运行的软件程序来操纵其存储器32中的数字图像数据。DSP 36运行实施图18所示图像处理所需的软件。存储器32包括任何类型的随机存取存储器、如SDRAM。包括用于地址和数据信号的通路的总线30将DSP 36连接到其相关存储器32、A/D转换器24和其它相关装置。
***控制器50根据程序存储器54中存储的软件程序来控制相机的总体操作，程序存储器54可包括闪速EEPROM或其它非易失性存储器。这个存储器还可用于存储图像传感器校准数据、用户设置选择以及在相机关机时必须保存的其它数据。***控制器50通过如前面所述指示曝光控制器40操作镜头12、ND滤光片13、可变光阑14和快门18，指示定时发生器26操作图像传感器和关联的元素，并指示DSP36处理所捕获的图像数据，来控制图像捕获序列。在图像被捕获和处理之后，存储器32中存储的最终图像文件经由接口57传递给主计算机，存储在可拆卸存储卡64或其它存储装置中，并在图像显示器88上向用户显示。
总线52包括用于地址、数据和控制信号的通路，并将***控制器50连接到DSP 36、程序存储器54、***存储器56、主机接口57、存储卡接口60和其它相关装置。主机接口57提供到个人计算机(PC)或其它主计算机的高速连接，以传递图像数据用于显示、存储、操纵或打印。这个接口是IEEE1394或USB 2.0串行接口或者任何其它适当的数字接口。存储卡64通常是***插座62中并经由存储卡接口60连接到***控制器50的典型小型闪存(CF)卡。所使用的其它类型存储装置包括但不限于PC卡、多媒体卡(MMC)或安全数字(SD)卡。
已处理的图像被复制到***存储器56中的显示缓冲器，并经由视频编码器80连续读出，以产生视频信号。这个信号直接从相机输出以便在外部监视器上显示，或者由显示控制器82进行处理并在图像显示器88上呈现。这个显示器通常是有源矩阵彩色液晶显示器(LCD)，但也可使用其它类型的显示器。
用户控制和接口状态68，包括取景器显示器70、曝光显示器72、状态显示器76和图像显示器88中的全部或任何组合以及用户输入74，由运行于曝光控制器40和***控制器50的软件程序的组合来控制。用户输入74通常包括按钮、摇臂开关、操纵杆、旋转拨号盘或触摸屏的某种组合。曝光控制器40操作测光、曝光模式、自动聚焦和其它曝光功能。***控制器50管理在一个或多个显示器、如图像显示器88上呈现的图形用户界面(GUI)。GUI通常包括用于进行各种选项选择的菜单以及用于检查已捕获图像的检查模式。
曝光控制器40接受选择曝光模式、镜头光圈、曝光时间(快门速度)和曝光指数或ISO速度额定的用户输入，并相应地指示镜头和快门进行随后捕获。亮度传感器16用来测量场景的亮度，并提供使用户在手动设置ISO速度额定、光圈和快门速度时进行参考的曝光表功能。在这种情况下，当用户改变一个或多个设置时，在取景器显示器70上呈现的测光表指示器告诉用户图像将会曝光过度或曝光不足的程度。在自动曝光模式中，用户改变一个设置，并且曝光控制器40自动改变另一个设置，以保持正确的曝光，例如对于给定的ISO速度额定，当用户减小镜头光圈时，曝光控制器40自动增大曝光时间，以保持同样的整体曝光。
ISO速度额定是数码相机的一个重要属性。曝光时间、镜头光圈、镜头透光率、场景照明的等级和光谱分布以及场景反射率确定数码相机的曝光量级。当使用不充分曝光获得来自数码相机的图像时，一般可通过增大电子或数字增益来保持适当的色调再现，但图像将包含不可接受的噪声量。随着曝光的增大，增益减小了，因此通常可使图像噪声减小到可接受水平。如果曝光过分增大，则在图像的亮区中所得到的信号可超过图像传感器或相机信号处理的最大信号电平容量。这可导致图像加亮部分被修剪以形成均匀亮区，或者发展成为图像的周围区域。重要的是指导用户设置正确的曝光。ISO速度额定意在充当这样一种指导。为了易于被摄影者理解，数码相机的ISO速度额定应当直接与照相胶片相机的ISO速度额定相关。例如，如果数码相机的ISO速度额定为ISO 200，则相同的曝光时间和光圈应当适合于ISO200额定胶片/处理***。
ISO速度额定意在与胶片ISO速度额定协调。但是，在电子与基于胶片的成像***之间存在差异，它们阻碍了完全相当。数码相机可包括可变增益，并且在捕获了图像数据之后可提供数字处理，使色调再现能够在相机曝光的范围上实现。因此，数码相机能够具有速度额定的范围。这个范围定义为ISO速度幅度。为了阻止混淆，将单值指定为固有ISO速度额定，其中ISO速度幅度的上限和下限指明速度范围、即包括与固有ISO速度额定不同的有效速度额定的范围。记住这一点，固有ISO速度是根据在数码相机的焦面提供的曝光所计算的以便产生规定相机输出信号特性的数值。固有速度通常是曝光指数值，它对于正常场景产生给定相机***的峰值图像质量，其中曝光指数是与提供给图像传感器的曝光成反比的数值。
数字相机的以上描述将是本领域的技术人员熟悉的。很显然，存在这个实施例的可能的许多变体，并被选择以降低成本、增加特征或改进相机的性能。以下描述将详细地公开根据本发明捕获图像的这种相机的操作。虽然此描述参照数字相机，但会理解，本发明适用于与包括具有彩色和全色像素的图像传感器的任何类型的图像捕获装置一起使用。
图1所示的图像传感器20通常包括在硅衬底上制造的、提供将在各像素的输入光转换成被测量的电信号的方式的光敏像素的二维阵列。当传感器暴露于光时，自由电子被生成，并在各像素的电子结构中被捕获。在某个时间段捕获这些自由电子然后测量所捕获电子的数量或者测量生成自由电子的速率可测量各像素的光级。在前一情况下，将积聚的电荷移出像素阵列以便对电压测量电路充电，如同电荷耦合器件(CCD)中那样，或者与各像素接近的区域可包含对电压测量电路充电的元素，如同有源像素传感器(APS或CMOS传感器)中那样。
在以下描述中，每当提到图像传感器时，将理解为表示图1的图像传感器20。还要理解，本说明书中所公开的本发明的图像传感器体系结构和像素图案的所有示例及其等效体都用于图像传感器20。
在图像传感器的上下文中，像素(“图像元素”的缩写)指的是离散光感测区域以及与光感测区域关联的电荷转移或电荷测量电路。在数字彩色图像的上下文中，术语“像素”通常是指图像中具有关联颜色值的特定位置。
为了产生彩色图像，图像传感器中的像素阵列通常具有布置在它们之上的滤色片的图案。图2示出通常使用的红、绿和蓝滤色片的图案。这个特定图案通常以其发明人Bryce Bayer命名为Bayer滤色片阵列(CFA)，如US3971065中所公开的。这个图案有效地用于具有彩色像素二维阵列的图像传感器中。因此，各像素具有特定的彩色光响应，在这种情况下主要是对红、绿或蓝光敏感。另一个有用种类的彩色光响应主要是对品红、黄或蓝绿光敏感。在每种情况下，特定彩色光响应对可见光谱的某些部分具有高敏感度，同时对可见光谱的其它部分具有低敏感度。术语“彩色像素”指的是具有彩色光响应的像素。
选择用于传感器的彩色光响应的集合通常具有如Bayer CFA中所示的三种颜色，但它还可包括四种或更多。本文所使用的“全色光响应”指的是具有比所选的彩色光响应集合中所表示的那些光谱敏感度更宽的光谱敏感度的光响应。全色光敏感度可在整个可见光谱上具有高敏感度。术语“全色像素”指的是具有全色光响应的像素。虽然全色像素一般具有比彩色光响应集合更宽的光谱敏感度，但每个全色像素可具有关联的滤光片。这种滤光片是中性密度滤光片或滤色片。
当彩色和全色像素的图案在图像传感器的表面时，每个这种图案具有重复单位，它是充当基本积木块的像素的毗连子阵列。通过并置重复单位的多个副本，产生整个传感器图案。在对角线方向以及水平和垂直方向进行重复单位的多个副本的并置。
最小重复单位是一种使得没有其它重复单位具有更少像素的重复单位。例如，图2的CFA包括为如图2的像素块100所示的2×2像素的最小重复单位。将这个最小重复单位的多个副本平铺以便覆盖图像传感器中的像素的整个阵列。最小重复单位示为在右上角具有绿色像素，但三个备选最小重复单位可易于通过以下方式来辨别：将粗轮廓线区域向右移动一个像素、向下移动一个像素或者沿对角线向右下移动一个像素。虽然像素块102是重复单位，但它不是最小重复单位，因为像素块100是重复单位，并且块100具有比块102少的像素。
用图2的CFA、使用具有二维阵列的图像传感器捕获的图像在各像素仅具有一种颜色值。为了产生全色图像，存在多种技术对各像素的缺失颜色进行推断或内插。这些CFA内插技术在本领域是众所周知的，并且参考以下专利：US5506619、US5629734和US5652621。
图3示出在典型相机应用中具有红、绿和蓝滤色片的像素的相对光谱敏感度。图3中的X轴表示单位为纳米的光波长，而Y轴表示效率。在图3中，曲线110表示用于阻止红外和紫外光到达图像传感器的典型滤光片的光谱透射特性。需要这样一种滤光片，因为用于图像传感器的滤色片通常不阻挡红外光，因此像素无法区分红外光与在它们的关联滤色片的通带内的光。曲线110所示的红外阻挡特性防止红外光破坏可见光信号。对于应用了红、绿和蓝滤光片的典型硅传感器，将光谱量子效率、即被捕获并转换成可测量电信号的入射光子的比例与曲线110所表示的红外阻挡滤光片的光谱透射特性相乘，以便对于红色产生由曲线114表示的、对于绿色由曲线116表示的以及对于蓝色由曲线118表示的组合***量子效率。通过这些曲线会理解，各彩色光响应仅对可见光谱的一部分敏感。相反，没有应用滤色片(但包括红外阻挡滤光片特性)的相同硅传感器的光响应如曲线112所示；这是全色光响应的一个示例。通过将彩色光响应曲线114、116和118与全色光响应曲线112进行比较，显然，全色光响应对宽光谱光的敏感比彩色光响应中的任一个都多三到四倍。
图3所示的更大全色敏感度通过将包括滤色片的像素与不包括滤色片的像素相互混合，允许改进图像传感器的整体敏感度。但是，滤色片像素明显不如全色像素那么敏感。在这种情况下，如果将全色像素正确地暴露于光，使得来自场景的光强度范围覆盖全色像素的全测量范围，则彩色像素将明显曝光不足。因此，有利的是调整滤色片像素的敏感度，使得它们具有与全色像素大致相同的敏感度。彩色像素的敏感度例如通过增大彩色像素相对于全色像素的大小来增大，其中相关联地减小了空间像素。
图4A表示具有两组的像素的二维阵列。来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱响应。第一组像素的各个像素与对应于至少两个滤色片的至少两个不同光谱光响应相关。相互混合这两组像素，以改进传感器的整体敏感度。在本说明书中这将变得更为清楚，第一和第二组像素的布置定义具有包括至少12个像素的最小重复单位的图案。最小重复单位包括第一和第二组像素，它们排列成允许在不同照明条件下再现所捕获的彩色图像。
图4A所示的完整图案表示最小重复单位，它被平铺以覆盖像素的整个阵列。如同图2一样，存在几个其它最小重复单位，它们用来描述彩色和全色像素的这个整体排列，但它们在其特性方面实质上全部等效，并且各为像素的子阵列，其中子阵列的范围为8×8像素。这个图案的一个重要特征是交替的全色和彩色像素行，其中彩色行包括具有集中在一起的相同彩色光响应的像素。具有相同光响应的像素组连同其相邻全色像素中的一些被看作是形成组成最小重复单位的四个单元，一个单元是具有比最小重复单位更少像素的像素的毗连子阵列。
在图4A中由粗线描绘并在图5中示为单元120、122、124和126的这四个单元包含各为4×4像素的四组，其中120表示左上单元，122表示右上单元，124表示左下单元，以及126表示右下单元。四个单元中的每个都包括8个全色像素和相同彩色光响应的8个彩色像素。组合单元中的彩色像素，以便表示该整个单元的颜色。因此，图5中的单元120看作是绿色单元，单元122看作是红色单元，依此类推。各单元包括相同颜色的至少两个像素，由此允许相同颜色的像素组合，以便克服彩色像素与全色像素之间的光敏感度的差异。
在具有4个不重叠单元的最小重复单位、其中各单元具有相同颜色的两个像素和两个全色像素的情况下，显然，最小重复单位包括16个像素。在具有3个不重叠单元的最小重复单位、其中各单元具有相同颜色的两个像素和两个全色像素的情况下，显然，最小重复单位包括12个像素。
根据本发明，在按照图5所示的单元结构考虑时，图4A的最小重复单位可表示高分辨率全色图像和低分辨率Bayer图案彩色图像的组合，排列成允许在不同照明条件下再现所捕获的彩色图像。Bayer图案图像的各个元素表示对应单元中彩色像素的组合。第一组像素定义低分辨率滤色片阵列图像，而第二组像素定义高分辨率全色图像。参见图6A和图6B。图6A表示与图4A对应的高分辨率全色图像，包括来自图4A的全色像素P以及内插的全色像素P’；而图6B表示低分辨率Bayer图案彩色图像，其中R’、G’和B’对于图5所示的每个单元表示与单元中的组合彩色像素关联的单元颜色。
在以下论述中，图4B-D中的所有单元均由粗线表示，如同图4A中那样。
除了图4A的备选最小重复单位之外，将图案的各单元旋转90度，以产生图4B所示的图案。这是基本相同的图案，但它在垂直方向而不是水平方向布置最高全色取样频率。使用图4A还是图4B的选择取决于是否希望在水平或垂直方向上分别具有更高的全色空间取样。但是，显然，在两个图案中组成最小重复单位的所得到单元对于两个图案产生相同的低分辨率彩色图像。因此，从颜色角度来看，图4A和图4B是等效的。一般来说，图4A和图4B是用以行或列线性排列的全色像素实施本发明的示例。另外，图4A具有单行的全色像素，其中各行与相邻全色像素行分隔一行彩色像素；图4B在列方向具有相同特性。
图4C表示图4A的又一个备选最小重复单位，具有实质上相同单元彩色特性。但是，图4C示出逐个单元交错的全色和彩色行。这可改进垂直全色分辨率。图4A的又一个备选最小重复单位如图4D所示，其中全色和彩色行按列对交错。这也具有改进垂直全色分辨率的潜力。图4A-D的所有最小重复单位的特性在于，两个或更多的相同颜色像素组以行或列并排排列。
图4A-D都具有相同的色彩结构，其中构成最小重复单位的单元表示低分辨率Bayer图案。因此可以看到，在本发明的精神内构造全色像素和分组彩色像素的各种排列。
为了增大彩色光敏感度以克服全色光敏感度与彩色光敏感度之间的不一致，以各种方式组合各单元中的彩色像素。例如，来自相同有色像素的电荷被组合或装仓在CCD图像传感器中或者允许装仓的有源像素传感器类型中。备选地，例如通过并联被充电到与相同有色像素中的所测量电荷量对应的电压的电容器，对这些电压求平均。在又一种方法中，对相同有色像素的光级的数字表示求和或者求平均。把来自两个像素的电荷组合或装仓使信号电平加倍，而与取样和读出组合信号关联的噪声保持不变，由此将信噪比增大2倍，表示在组合像素的光敏感度方面的对应两倍增大。在对来自两个像素的光级的数字表示求和的情况下，所得到的信号增大两倍，但来自读取两个像素的对应噪声电平正交组合，由此使噪声增大2的平方根；因此，组合像素的所得到的信噪比对于未组合信号增大2的平方根。类似的分析适用于电压或数字平均。
单独或组合使用用于组合来自单元中相同有色像素的信号的上述方法。例如，以两个分组垂直组合来自图4A的相同有色像素的电荷产生具有图7A所示的组合信号R’、G’和B’的组合像素。在这种情况下，各R’、G’和B’具有未组合像素的两倍敏感度。备选地，以四个分组水平组合来自图4A的相同有色像素的测量值(电压或数字)产生具有图7B所示的组合信号R’、G’和B’的组合像素。在这种情况下，由于信号增大四倍但噪声增大2，所以各R’、G’和B’具有未组合像素的两倍敏感度。在另一个备选组合方案中，如图7A中那样以两个分组垂直组合来自相同有色像素的电荷，并且以四个分组对图7A的组合像素的测量值垂直求和或求平均产生图7C的最终组合彩色像素，其中R”、G”和B”表示相同有色像素的最终组合。在这个组合排列中，图7C的最终组合彩色像素各具有未组合像素的四倍敏感度。一些传感器体系结构、特别是某些CCD排列可允许来自各单元中所有8个相同有色像素的电荷以图7C的方式组合，引起组合彩色像素的敏感度的八倍增大。
从前面所述，现在会理解，在为了调整彩色像素的光敏感度而组合彩色像素方面存在几个自由度。众所周知的组合方案将是本领域的技术人员知道的，并且基于场景内容、场景光源、整体光级或其它标准。另外，将组合方案选择为故意允许组合像素具有比全色像素更少的敏感度或更多的敏感度。
至此，将图像传感器描述为使用红、绿和蓝色滤光片，使得对于每一个红和蓝色像素存在两个绿色像素。还以相等比例用红、绿和蓝色滤光片来实施本发明，如图8A所示。图8A的最小重复单位可用于以几种不同方式平铺传感器阵列，其中一些如图8B-D所示。会理解，可使用这些图案的几何相似变体、如图8A的最小重复单位。图8E示出图8A的最小重复单位的旋转形式。
本发明也可与具有多于三个彩色光响应的像素一起使用。图9A示出图8A的最小重复的变体，它除了全色像素之外还使用四种颜色。图9B-C示出这些图案中两个图案的附加变体，其中单行全色像素由双行全色像素取代。所有这些图案都没有相同颜色的多个像素。稍后将论述这个事实以及用于使用这类图案的优选方法。
另一个最小重复单位如图10A所示，它包含一个红色、两个绿色和一个蓝色像素。使用这个图案的平铺示例如图10B所示。
采用蓝绿色、品红色和黄色传感器的图像传感器是本领域众所周知的，并且用蓝绿色、品红色和黄色滤色片来实施本发明。图10C示出图10A的蓝绿色、品红色和黄色等效方案，其中C表示蓝绿色像素，M表示品红色像素，以及Y表示黄色像素。
图10D示出本发明的最小重复单位，它包括蓝绿色像素(由C表示)、品红像素(由M表示)、黄色像素(由Y表示)以及绿色像素(由G表示)。图10E示出又一个备选四色排列，其中包括红色像素(由R表示)、蓝色像素(由B表示)、具有一个彩色光响应的绿色像素(由G表示)以及具有不同彩色光响应的备选绿色像素(由E表示)。图10F示出又一个备选四色排列，其中图10A的绿色单元之一由黄色单元取代，其中黄色像素由Y表示。
图11A示出图10A图案的变体，其中各行全色像素由双行全色像素取代。图11B所示的附加示例是应用于图10E图案的相同变体。
用与矩形阵列不同的像素阵列来实施本发明。图12A示出图8A图案的变体，其中像素是八边形，并且排列在对角行上。由于像素几何形状是八边形，因此存在位于水平和垂直邻域之间的小正方形空白，它们可用于所需传感器功能性、如数据传递电路。图12B示出使用图12A最小重复单位的平铺图案的一个示例。在图12B中，全色像素以实质上为对角的行出现。同样，彩色像素还以对角地定向的行出现。
图13A示出图8A图案的另一个变体，其中像素是六边形并垂直排列。图13B示出使用图13A最小重复单位的平铺图案的一个示例。在图13B中，全色像素以列出现。同样，彩色像素也以列出现。
图14示出使用比彩色像素更少的全色像素的另一个最小重复单位，其中像素以六边形打包，并且全色像素以实质上为对角的行出现。在图14中，彩色像素也以对角地定向的行出现。图15示出图13A图案的另一个变体。在本发明的范围内，应当注意，像素的行和列不一定相互垂直，如图12A-15所示。
现在来看图16，图5的最小重复单位示为再分成四个单元，其中一个单元是具有比最小重复单位更少像素的像素的毗连子阵列。提供以下处理所需的软件包含在图1的DSP 36中。单元220、224、226和228是单元的示例，其中这些单元包含分别具有绿色、红色、蓝色和绿色光响应的像素。在这个示例中，单元220包含全色像素和绿色像素，其中将绿色像素标识为像素组222。最终目标是通过组合来自像素组222中的绿色像素的8个绿色信号来产生单元220的单个绿色信号。根据图像传感器的操作模式，通过在模拟域中组合全部8个绿色信号(例如通过电荷装仓)来产生单个绿色信号，或者通过组合取自像素组222的像素的更小分组来产生多个绿色信号。单元220的全色像素如图17A所示。在以下示例中，单独对于来自这些全色像素的全部8个信号进行数字化。单元220的绿色像素如图17B-17E所示，其中按照在模拟域中如何组合它们的信号来将它们集中在一起。图17B示出组合全部8个绿色像素以产生单元220的单个绿色信号(图16)的情况。例如通过首先组合来自像素G21、G22、G23和G24的信号，然后组合来自像素G41、G42、G43和G44的信号，传感器可产生两个绿色信号，如图17C所示。也可通过其它方式产生两个信号。传感器可首先组合来自像素G21、G22、G41和G42的信号，然后组合来自像素G23、G24、G43和G44的信号，如图17D所示。传感器还可通过组合4对信号，例如将像素G21与G22组合，然后将G23与G24组合，然后将G41与G42组合，最后将G43与G44组合，来产生单元220的四个绿色信号，如图17E所示。显然，存在许多附加方式来组合单元220内的绿色信号对(图16)。如果传感器根本没有进行组合，则单独对于单元220报告全部8个绿色信号。因此，在单元220的情况下，传感器可产生单元220的1个、2个、4个或8个绿色值，并根据其操作模式以不同方式产生它们。
对于单元224、226和228(图16)，传感器根据其操作模式产生类似彩色信号。单元224、226和228的彩色信号分别为红、蓝和绿。
回到单元220的情况，不管对这个单元的多少信号进行数字化，本发明的图像处理算法还组合数字化的绿色值，以便产生单元的单个绿色值。获得单个绿色值的一种方式是对于为单元220产生的所有数字化绿色值求平均。在单元包含不同光响应的彩色像素的情况下，以类似方式组合单元中的所有彩色数据，使得对于在单元中表示的各彩色光响应存在单值。
重要的是区分与捕获原始图像数据的原始传感器中的像素有关的颜色值和与原始传感器中的单元有关的颜色值。两种类型的颜色值用来产生彩色图像，但所得到的彩色图像具有不同的分辨率。具有与原始传感器中像素关联的像素值的图像称作高分辨率图像，而具有与原始传感器中单元关联的像素值的图像称作低分辨率图像。
现在来看图18，数字信号处理器块36(图1)示为从数据总线30(图1)接收所捕获的原始图像数据。将原始图像数据传递给低分辨率部分颜色块202和高分辨率全色块204。已经在图5和图16中示出了图像传感器的最小重复单位的一个示例。在单元220的情况下(图16)，所捕获的原始图像数据包括由各个全色像素产生的全色数据，如图17A所示。对于单元220(图16)，还包含例如来自图17B-E所示组合的一个或多个绿色(颜色)值。
在低分辨率部分颜色块202(图18)中，根据所捕获的原始图像数据产生部分颜色图像，部分颜色图像是其中各像素具有至少一种颜色值并且各像素还缺失至少一种颜色值的彩色图像。根据传感器的操作模式，所捕获的原始数据包含由各单元中的彩色像素产生的某个数量的颜色值。在低分辨率部分颜色块202中，对于在单元中表示的各颜色，将这些颜色值减少到单值。作为一个示例，对于单元220(图16)，产生单个绿颜色值。同样，对于单元224、226和228，分别产生单个红、蓝和绿颜色值。
低分辨率部分颜色块202以相似方式处理各单元，产生颜色值的阵列，每个单元一个。由于所得到的图像阵列基于单元而不是原始传感器中的像素，所以它在各维比原始捕获的原始图像数据阵列小四倍。由于所得到的阵列基于单元，并且由于各像素具有部分但不是全部颜色值，所以所得到的图像是低分辨率部分颜色图像。在这一点，低分辨率部分颜色图像经过色平衡。
现在来看高分辨率全色块204，使用与图16所示相同的原始图像数据，但将仅使用全色值(图17A)。这时的任务是通过已经估计没有全色值的那些像素的全色值，对完整的高分辨率全色图像进行内插。在单元220的情况下(图16)，必须对于像素组222(图16)中的绿色像素来估计全色值。估计缺失的全色值的一种简单方式是进行垂直求平均。因此，例如，我们可按照以下方式来估计像素22的全色值：
P22＝(P12+P32)/2
也可使用自适应方法。例如，一种自适应方法是使用如图17A所示的全色值计算三个梯度值，并取它们的绝对值：
SCLAS＝ABS(P31-P13)
VCLAS＝ABS(P32-P12)
BCLAS＝ABS(P33-P11)
同样，计算三个预测算子值：
SPRED＝(P31+P13)/2
VPRED＝(P32+P12)/2
BPRED＝(P33+P11)/2
然后，将P22设置成等于与最小分类符值对应的预测算子。在相等的情况下，将P22设置成等于所指示预测算子的平均值。在整个图像上继续进行全色内插，而不管单元边界。当高分辨率全色块204的处理完成时，所得到的数字全色图像的大小与原始捕获的原始图像相同，这使它成为高分辨率全色图像。
低分辨率全色块206接收块204所产生的高分辨率全色图像阵列，并生成大小与块202所产生的低分辨率部分颜色图像相同的低分辨率全色图像阵列。对于具有滤色片的那些像素，通过对给定单元中的所估计全色值求平均，来获得每个低分辨率全色值。在单元220(图16)的情况下，这时对先前对于像素组222(图16)中的绿色像素所估计的高分辨率全色值一起求平均，来产生该单元的单个低分辨率全色值。同样，使用在具有红色滤色片的像素所估计的高分辨率全色值，对单元224计算单个低分辨率全色值。这样，各单元以单个低分辨率全色值结束。
低分辨率色差块208接收来自块202的低分辨率部分颜色图像以及来自块206的低分辨率全色阵列。然后，通过用来自低分辨率全色图像的指导对低分辨率部分颜色图像进行颜色内插，来形成低分辨率中间颜色图像。稍后详细论述的颜色内插算法的准确性质取决于像素光响应的哪个图案用于捕获初始原始图像数据。
在形成低分辨率中间颜色图像之后，它经过色彩校正。一旦低分辨率中间颜色图像经过色彩校正，就通过单独从每个低分辨率彩色平面减去低分辨率全色图像来计算色差的低分辨率图像。高分辨率色差块210接收来自块208的低分辨率色差图像，并使用双线性内插，对低分辨率色差图像进行上取样，以便匹配初始原始图像数据的大小。结果是高分辨率色差图像，其大小与块204所产生的高分辨率全色图像相同。
高分辨率最终图像块212接收来自块210的高分辨率色差图像以及来自块204的高分辨率全色图像。然后，通过将高分辨率全色图像加到每个高分辨率色差平面来形成高分辨率最终颜色图像。然后可进一步处理所得到的高分辨率最终颜色图像。例如，它存储在DSP存储器块32(图1)中，然后经过锐化和压缩以便存储在存储卡块64(图1)中。
图4A-D所示的传感器滤光片图案具有最小重复单位，使得在块202产生的所得到的低分辨率部分颜色图像对于滤色片呈现重复的Bayer图案：
G    R
B    G
除了由低分辨率部分颜色图像所给出的单色值之外，每一个单元还具有由低分辨率全色图像所给出的全色值。
考虑Bayer图案存在于低分辨率部分颜色图像的情况，现在可更详细地描述低分辨率色差块208(图18)中的颜色内插的任务。颜色内插开始于对于已经没有绿色值的像素的绿色值进行内插，如在图19A中示为像素234。示为像素230、232、236和238的四个相邻像素都具有绿色值，并且它们也都具有全色值。中心像素234具有全色值，但没有绿色值，如问号所示的。
第一步骤是计算两个分类符值，第一个与水平方向相关，而第二个与垂直方向相关：
HCLAS＝ABS(P4-P2)+ABS(2*P3-P2-P4)
VCLAS＝ABS(P5-P1)+ABS(2*P3-P1-P5)
然后，计算两个预测算子值，第一个与水平方向相关，而第二个与垂直方向相关：
HPRED＝(G4+G2)/2+(2*P3-P2-P4)/2
VPRED＝(G5+G1)/2+(2*P3-P1-P5)/2
最后，设THRESH为以经验确定的门限值，我们可按照以下方式自适应地计算缺失值G3：
IF MAX(HCLAS，VCLAS)＜THRESH
G3＝(HPRED+VPRED)/2
ELSEIF VCLAS＜HCLAS
G3＝VPRED
ELSE
G3＝HPRED
END
这样，如果两个分类符都小于门限值，则对于G3计算两个预测算子值的平均值。如果不是，则根据哪个分类符HCLAS还是VCLAS更小来使用HPRED或VPRED中的任一个。
一旦估计了所有缺失的绿色值，则可对缺失的红色和蓝色值进行内插。如图19B所示，像素242缺失红色值，但它的两个水平邻居即像素240和244分别具有红色值R2和R4。所有这三个像素都具有绿色值。在这些条件下，像素242的红色值(R3)的估计计算如下：
R3＝(R4+R2)/2+(2*G3-G2-G4)/2
在相似条件下以相似方式来计算缺失的蓝色值。在这一点，仍具有缺失的红色和蓝色值的唯一像素是需要垂直内插的那些像素。如图19C所示，像素252缺失红色值，但它的两个垂直邻居、即像素250和254分别具有红色值R1和R5。在这些条件下，按照下式来计算像素252的红色值(R3)的估计：
R3＝(R5+R1)/2+(2*G3-G1-G5)/2
在相似条件下以相似方式来计算缺失的蓝色值。这完成了低分辨率部分颜色图像的内插，并且结果是低分辨率中间颜色图像。如前面所述，这时可通过从各彩色平面，在之前论述的示例中为红色、绿色和蓝色，减去低分辨率全色值来计算低分辨率色差。
现在来看图20，传感器的部分平铺示为使用图8A的最小重复单位的四个副本。四个相邻最小重复单位310、312、314和316各包含红色、绿色和蓝色像素。虽然组合像素的先前论述局限于例如图16所示的相同最小重复单位中的相似有色像素，但是也可通过组合来自附近最小重复单位的像素来实施本发明。如图20所示，红色像素R21和R41构成在垂直方向上组合的一对像素318。同样，绿色像素G42和G45构成在水平方向上组合的一对像素320。当最小重复比较小时、如图20中使用的图8A的图案，组合来自相邻最小重复单位的相似有色像素是有用的。以上论述了组合像素的过程，并且可将它用于图20和图21所示的图像传感器。
现在来看图21，具有16个像素的最小重复单位示为具有两个副本。将上面的最小重复单位330再分为两个单元332和334。单元332包含四个全色像素P11、P12、P13和P14、两个蓝色像素B21和B23以及两个绿色像素G22和G24的水平行。单元334包含四个全色像素P15、P16、P17和P18、两个红色像素R25和R27以及两个绿色像素G26和G28的水平行。将下面的最小重复单位336再分为分别包含与单元332和334相同的像素图案的两个单元338和340。如图21所示，蓝色像素B21和B41构成取自相邻最小重复单位332和336并在垂直方向上组合的一对像素342。同样，绿色像素G42和G44构成取自相同最小重复单位336并在水平方向上组合的一对像素344。
虽然组合像素对是有用的，但是，本发明包括组合单个最小重复单位内以及多个相邻最小重复单位之间的任意数量的像素。如图21所示，绿色像素G26、G28、G46和G48构成像素346的四元组，将它们全部组合以产生单个颜色值。这个四倍组合同时包括水平和垂直组合像素，以及组合来自单个最小重复单位中的多个像素和取自多个相邻最小重复单位的像素。
所有示例都示出组合相似的有色像素，但是还可组合全色像素以产生具有两倍照相感速率的全色值。此外，彩色像素可与全色像素组合，以便在极低光条件下提供颜色信息。这类组合的图案与已经示出的那些示例非常相似。
并非所有传感器都产生呈现颜色值的重复Bayer图案的低分辨率部分颜色图像。例如，图21所示的传感器图案确定两个相邻最小重复单位生成两对颜色值。在每种情况下，来自相邻最小重复单位的一对单元产生图像的低分辨率颜色表示的颜色值。通过组合蓝色值的像素B21、B23、B41和B43并组合绿色值的像素G22、G24、G42和G44，单元对332和338生成蓝和绿颜色值。同样，通过组合红色值的像素R25、R27、R45和R47并组合绿色值的像素G26、G28、G46和G48，单元对334和340生成红和绿颜色值。对于整个传感器重复组合来自相邻最小重复单位的单元之间的像素的这个图案。结果是图像的低分辨率表示，其中每个低分辨率像素具有绿颜色值以及或者红或者蓝颜色值。在这一点，低分辨率色差块208(图18)中的颜色内插任务估计各像素的红色的缺失值或蓝色的缺失值。参照图19D，像素264示为具有绿色值(G3)，但没有红色值(R3)。四个相邻像素260、262、266和268具有绿色值和红色值。用于对像素264(图19D)的红色值进行内插的方法与用于对像素234(图19A)的绿色值进行内插的方法相似。
第一步骤是计算两个分类符值，第一个与水平方向相关，而第二个与垂直方向相关：
HCLAS＝ABS(G4-G2)+ABS(2*G3-G2-G4)
VCLAS＝ABS(G5-G1)+ABS(2*G3-G1-G5)
然后，计算两个预测算子值，第一个与水平方向相关，而第二个与垂直方向相关：
HPRED＝(R4+R2)/2+(2*G3-G2-G4)/2
VPRED＝(R5+R1)/2+(2*G3-G1-G5)/2
最后，设THRESH为按经验确定的门限值，则可按照以下方式自适应地计算缺失值G3：
IF MAX(HCLAS，VCLAS)＜THRESH
R3＝(HPRED+VPRED)/2
ELSEIF VCLAS＜HCLAS
R3＝VPRED
ELSE
R3＝HPRED
END
这样，如果两个分类符都小于该门限值，则对于R3计算两个预测算子值的平均值。如果不是，则根据哪个分类符HCLAS还是VCLAS更小来使用HPRED或VPRED中的任一个。
使用蓝色值代替红色，以完全相同的方式对缺失的蓝色值进行内插。一旦完成了，就产生了低分辨率中间颜色图像。由此，按照前面所述的方式来计算低分辨率色差。
零件表
10    来自主题场景的光
11    成像级
12    镜头
13    中性密度滤光片
14    可变光阑
16    亮度传感器
18    快门
20    图像传感器
22    模拟信号处理器
24    模数(A/D)转换器
26    定时发生器
28    图像传感器级
30    数字信号处理器(DSP)总线
32    数字信号处理器(DSP)存储器
36    数字信号处理器(DSP)
38    处理级
40    曝光控制器
50    ***控制器
52    ***控制器总线
54    程序存储器
56    ***存储器
57    主机接口
60    存储卡接口
62    存储卡插座
64    存储卡
68    用户控制和状态界面
70    取景器显示器
72     曝光显示器
74     用户输入
76     状态显示器
80     视频编码器
82     显示控制器
88     图像显示器
100    Bayer图案的最小重复单位
102    不是最小的Bayer图案的重复单位
110    红外阻挡滤光片的光谱透射曲线
112    传感器的未过滤光谱光响应曲线
114    传感器的红色光响应曲线
116    传感器的绿色光响应曲线
118    传感器的蓝色光响应曲线
120    第一绿色单元
122    红色单元
124    蓝色单元
126    第二绿色单元
202    低分辨率部分颜色块
204    高分辨率全色块
206    低分辨率全色块
208    低分辨率色差块
210    高分辨率色差块
212    高分辨率最终图像块
220    第一绿色单元
222    第一绿色单元中的绿色像素
224    红色单元
226    蓝色单元
228    第二绿色单元
230    对缺失绿色值进行内插的上像素值
232    对缺失绿色值进行内插的左像素值
234    具有缺失绿色值的像素
236    对缺失绿色值进行内插的右像素值
238    对缺失绿色值进行内插的下像素值
240    对缺失红色值进行内插的左像素值
242    具有缺失红色值的像素
244    对缺失红色值进行内插的右像素值
250    对缺失红色值进行内插的上像素值
252    具有缺失红色值的像素
254    对缺失红色值进行内插的下像素值
260    对缺失红色值进行内插的上像素值
262    对缺失红色值进行内插的左像素值
264    具有缺失红色值的像素
266    对缺失红色值进行内插的右像素值
268    对缺失红色值进行内插的下像素值
310    左上最小重复单位
312    右上最小重复单位
314    左下最小重复单位
316    右下最小重复单位
318    组合来自垂直相邻最小重复单位的红色像素的示例
320    组合来自水平相邻最小重复单位的绿色像素的示例
330    上最小重复单位
332    上最小重复单位中的左单元
334    上最小重复单位中的右单元
336    下最小重复单位
338    下最小重复单位中的左单元
340    下最小重复单位中的右单元
342    组合来自垂直相邻最小重复单位的蓝色像素的示例
344    组合最小重复单位的单元中的绿色像素的示例
346    组合最小重复单位的单元中以及垂直相邻最小重复单位之间的绿色像素的示例

Claims (13)

1.一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，且所述最小重复单位的一些行或列仅由来自第一组的像素组成，其中仅由来自第一组的像素组成的行或列由来自第一组的最多两种颜色的像素组成；以及
c)所述最小重复单位为：
P    P
A    B
P    C
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，以及
C表示第一组像素的第三种颜色的像素。
2.一种用于捕获彩色图像的的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，且所述最小重复单位的一些行或列仅由来自第一组的像素组成，其中仅由来自第一组的像素组成的行或列由来自第一组的最多两种颜色的像素组成；以及
c)所述最小重复单位为：
P    P
P    P
A    B
P    P
P    P
B    C
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，以及
C表示第一组像素的第三种颜色的像素。
3.一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，
c)用于组合来自至少两个相邻最小重复单位的相同颜色的一些像素的部件，以及
d)所述最小重复单位为：
P    P
A    B
P    P
B    C
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，以及
C表示第一组像素的第三种颜色的像素。
4.一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，且所述最小重复单位的一些行或列仅由来自第一组的像素组成，其中仅由来自第一组的像素组成的行或列由来自第一组的最多两种颜色的像素组成；以及
c)其中最小重复单位的各行或列仅由来自第一组或者第二组像素的像素组成，所述图像传感器的最小重复单位为：
P    P
A    B
B    C
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，以及
C表示第一组像素的第三种颜色的像素。
5.一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，且所述最小重复单位的一些行或列仅由来自第一组的像素组成，其中仅由来自第一组的像素组成的行或列由来自第一组的最多两种颜色的像素组成；以及
c)其中最小重复单位的各行或列仅由来自第一组或者第二组像素的像素组成，所述图像传感器的最小重复单位为：
P    P
A    B
D    C
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，
C表示第一组像素的第三种颜色的像素，以及
D表示第一组像素的第四种颜色的像素。
6.一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，且所述最小重复单位的一些行或列仅由来自第一组的像素组成，其中仅由来自第一组的像素组成的行或列由来自第一组的最多两种颜色的像素组成；以及
c)其中最小重复单位的各行或列仅由来自第一组或者第二组像素的像素组成，所述图像传感器的最小重复单位为：
P    P
A    B
P    P
B    C
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，以及
C表示第一组像素的第三种颜色的像素。
7.一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，且所述最小重复单位的一些行或列仅由来自第一组的像素组成，其中仅由来自第一组的像素组成的行或列由来自第一组的最多两种颜色的像素组成；以及
c)其中最小重复单位的各行或列仅由来自第一组或者第二组像素的像素组成，所述图像传感器的最小重复单位为：
P    P
P    P
A    B
P    P
P    P
B    C
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，以及
C表示第一组像素的第三种颜色的像素。
8.一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，且所述最小重复单位的一些行或列仅由来自第一组的像素组成，其中仅由来自第一组的像素组成的行或列由来自第一组的最多两种颜色的像素组成；以及
c)其中最小重复单位的各行或列仅由来自第一组或者第二组像素的像素组成，所述图像传感器的最小重复单位为：
P    P
P    P
A    B
P    P
P    P
D    C
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，
C表示第一组像素的第三种颜色的像素，以及
D表示第一组像素的第四种颜色的像素。
9.一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，
c)用于组合来自至少两个相邻最小重复单位的相同颜色的一些像素的部件，以及
d)所述最小重复单位为：
P    P
A    B
P    P
D    C
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，
C表示第一组像素的第三种颜色的像素，以及
D表示第一组像素的第四种颜色的像素。
10.一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；以及
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，
c)用于组合来自至少两个相邻最小重复单位的相同颜色的一些像素的部件，以及
d)所述最小重复单位为：
P    P
P    P
A    B
P    P
P    P
B    C
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，以及
C表示第一组像素的第三种颜色的像素。
11.一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；以及
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，
c)用于组合来自至少两个相邻最小重复单位的相同颜色的一些像素的部件，以及
d)所述最小重复单位为：
P    P
P    P
A    B
P    P
P    P
D    C
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，
C表示第一组像素的第三种颜色的像素，以及
D表示第一组像素的第四种颜色的像素。
12.一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；以及
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，
c)用于组合来自至少两个相邻最小重复单位的相同颜色的一些像素的部件，以及
d)所述最小重复单位为：
P    P    P    P
A    B    C    D
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，以及
C表示第一组像素的第三种颜色的像素，
D表示第一组像素的第四种颜色的像素。
13.一种用于捕获彩色图像的图像传感器，包括：
a)具有以行和列排列的第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素其像素的光谱光响应对应于至少两种颜色的集合；
b)第一和第二组像素的布置定义具有包括至少6个像素的最小重复单位的图案，使得所述最小重复单位的至少一些行或列仅由来自第二组的像素组成，
c)用于组合来自至少两个相邻最小重复单位的相同颜色的一些像素的部件，以及
d)所述最小重复单位为：
P    P    P    P
P    P    P    P
A    B    C    D
其中P表示第二组像素，
A表示第一组像素的第一种颜色的像素，
B表示第一组像素的第二种颜色的像素，
C表示第一组像素的第三种颜色的像素，以及
D表示第一组像素的第四种颜色的像素。
CN200780002939XA 2006-01-27 2007-01-12 具有改进感光度的图像传感器 Active CN101371591B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/341,210 2006-01-27
US11/341,210 US7688368B2 (en) 2006-01-27 2006-01-27 Image sensor with improved light sensitivity
PCT/US2007/000955 WO2007089416A1 (en) 2006-01-27 2007-01-12 Image sensor with improved light sensitivity

Publications (2)

Publication Number Publication Date
CN101371591A CN101371591A (zh) 2009-02-18
CN101371591B true CN101371591B (zh) 2013-01-30

Family

ID=38131081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780002939XA Active CN101371591B (zh) 2006-01-27 2007-01-12 具有改进感光度的图像传感器

Country Status (5)

Country Link
US (1) US7688368B2 (zh)
EP (1) EP1977614B1 (zh)
JP (1) JP2009524988A (zh)
CN (1) CN101371591B (zh)
WO (1) WO2007089416A1 (zh)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AR038680A1 (es) 2002-02-19 2005-01-26 Synthes Ag Implante intervertebral
DE50313446D1 (de) 2003-02-06 2011-03-10 Synthes Gmbh Zwischenwirbelimplantat
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US20100305704A1 (en) 2006-02-27 2010-12-02 Synthes Gmbh Intervertebral implant with fixation geometry
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
JPWO2008053791A1 (ja) * 2006-10-31 2010-02-25 三洋電機株式会社 撮像装置および撮像装置における映像信号生成方法
US7893976B2 (en) * 2006-12-01 2011-02-22 Eastman Kodak Company Light sensitivity in image sensors
US7844127B2 (en) * 2007-03-30 2010-11-30 Eastman Kodak Company Edge mapping using panchromatic pixels
US8594451B2 (en) * 2007-03-30 2013-11-26 Omnivision Technologies, Inc. Edge mapping incorporating panchromatic pixels
JP5041886B2 (ja) * 2007-06-13 2012-10-03 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法
JP2009021809A (ja) * 2007-07-11 2009-01-29 Canon Inc 撮像装置の駆動方法、撮像装置、及び撮像システム
US20090046182A1 (en) * 2007-08-14 2009-02-19 Adams Jr James E Pixel aspect ratio correction using panchromatic pixels
US20090051984A1 (en) * 2007-08-23 2009-02-26 O'brien Michele Image sensor having checkerboard pattern
US8452082B2 (en) * 2007-09-27 2013-05-28 Eastman Kodak Company Pattern conversion for interpolation
JP2009086783A (ja) * 2007-09-28 2009-04-23 Fujitsu Microelectronics Ltd フィルタ回路、フィルタ処理方法、撮像素子回路およびカメラ
BRPI0820172A2 (pt) 2007-11-16 2015-06-16 Synthes Gmbh Implante intervertebral de perfil baixo
US7999870B2 (en) * 2008-02-01 2011-08-16 Omnivision Technologies, Inc. Sampling and readout of an image sensor having a sparse color filter array pattern
JP5005570B2 (ja) * 2008-02-04 2012-08-22 株式会社リコー 画像処理装置およびプログラム
DE102008027188A1 (de) * 2008-06-06 2009-12-10 Volkswagen Ag Bildaufnahmevorrichtung
US7915067B2 (en) * 2008-07-09 2011-03-29 Eastman Kodak Company Backside illuminated image sensor with reduced dark current
US7859033B2 (en) 2008-07-09 2010-12-28 Eastman Kodak Company Wafer level processing for backside illuminated sensors
US20100104178A1 (en) * 2008-10-23 2010-04-29 Daniel Tamburrino Methods and Systems for Demosaicing
US8422771B2 (en) * 2008-10-24 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for demosaicing
KR20110081351A (ko) 2008-11-07 2011-07-13 신세스 게엠바하 척추 체간 스페이서 및 결합된 플레이트 조립체
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8218068B2 (en) * 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
US8045024B2 (en) * 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8350940B2 (en) * 2009-06-08 2013-01-08 Aptina Imaging Corporation Image sensors and color filter arrays for charge summing and interlaced readout modes
US8253832B2 (en) * 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
WO2011153515A1 (en) * 2010-06-03 2011-12-08 Tripurari Singh Methods and system for spectral image sampling
US8542288B2 (en) * 2010-11-03 2013-09-24 Sony Corporation Camera system and imaging method using multiple lens and aperture units
US8379123B2 (en) 2010-12-13 2013-02-19 Research In Motion Limited System and method of capturing low-light images on a mobile device
WO2012088238A2 (en) 2010-12-21 2012-06-28 Synthes Usa, Llc Intervertebral implants, systems, and methods of use
US9177381B2 (en) 2010-12-22 2015-11-03 Nani Holdings IP, LLC Depth estimate determination, systems and methods
CN103380623B (zh) * 2011-02-21 2016-09-14 富士胶片株式会社 彩色图像拾取元件
WO2012127701A1 (ja) * 2011-03-24 2012-09-27 富士フイルム株式会社 カラー撮像素子、撮像装置、及び撮像プログラム
EP2690874A4 (en) * 2011-03-24 2014-09-03 Fujifilm Corp COLOR IMAGE SENSOR, IMAGING DEVICE AND CONTROL PLAN FOR THE IMAGING APPARATUS
JP5624228B2 (ja) * 2011-12-27 2014-11-12 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び制御プログラム
US9191635B2 (en) 2012-03-19 2015-11-17 Semiconductor Components Industries, Llc Imaging systems with clear filter pixels
DE102012110092A1 (de) * 2012-10-23 2014-04-24 Conti Temic Microelectronic Gmbh Sensoranordnung zur Bilderfassung
FR3004882B1 (fr) 2013-04-17 2015-05-15 Photonis France Dispositif d'acquisition d'images bimode
US10136107B2 (en) 2013-11-21 2018-11-20 Semiconductor Components Industries, Llc Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
EP2887656B1 (fr) * 2013-12-20 2019-11-06 Swiss Timing Ltd. Méthode pour l'ajustement d'un filtre couleur pour capteur numérique
FR3026223B1 (fr) * 2014-09-22 2016-12-23 Photonis France Dispositif d'acquisition d'images bimode a photocathode.
US9867718B2 (en) 2014-10-22 2018-01-16 DePuy Synthes Products, Inc. Intervertebral implants, systems, and methods of use
US9369681B1 (en) 2014-11-25 2016-06-14 Omnivision Technologies, Inc. RGBC color filter array patterns to minimize color aliasing
US9681109B2 (en) 2015-08-20 2017-06-13 Qualcomm Incorporated Systems and methods for configurable demodulation
CN105578078B (zh) * 2015-12-18 2018-01-19 广东欧珀移动通信有限公司 图像传感器、成像装置、移动终端及成像方法
CN106454054B (zh) 2016-11-29 2019-03-19 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106341670B (zh) 2016-11-29 2017-09-22 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
US10616536B2 (en) 2018-01-12 2020-04-07 Semiconductor Components Industries, Llc Imaging systems having broadband monochromatic and chromatic image sensors
CN108833685B (zh) * 2018-05-29 2020-12-22 Oppo广东移动通信有限公司 电子装置及其控制方法
CN111479071B (zh) * 2020-04-03 2021-05-07 Oppo广东移动通信有限公司 高动态范围图像处理***及方法、电子设备和可读存储介质
US11412190B2 (en) * 2020-08-03 2022-08-09 Omnivision Technologies, Inc. Image sensor with subtractive color filter pattern
CN112235485B (zh) * 2020-10-09 2023-04-07 Oppo广东移动通信有限公司 图像传感器、图像处理方法、成像装置、终端及可读存储介质
CN116452416A (zh) * 2022-01-10 2023-07-18 北京三星通信技术研究有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5763983A (en) * 1980-10-07 1982-04-17 Toshiba Corp Color image pickup device
US4591900A (en) * 1983-03-14 1986-05-27 Rca Corporation Encoding pattern for single chip CCD camera processing scheme
FR2542956B1 (fr) * 1983-03-14 1989-08-18 Rca Corp Camera electronique a circuits integres avec filtre de codage des couleurs, dispositif de traitement d'un signal derive d'un imageur et dispositif de production d'un signal representatif d'une scene
DE3515020A1 (de) * 1984-04-28 1985-11-07 Kabushiki Kaisha Toshiba, Kawasaki, Kanagawa Ortsfrequenzfilter
JPS6339293A (ja) * 1986-08-05 1988-02-19 Fuji Photo Film Co Ltd 映像信号形成装置
JP2849813B2 (ja) * 1986-12-19 1999-01-27 富士写真フイルム株式会社 映像信号の形成装置
US5323233A (en) 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
JP4140077B2 (ja) * 1998-02-18 2008-08-27 ソニー株式会社 固体撮像素子の駆動方法及び固体撮像素子、並びにカメラ
JP4077120B2 (ja) * 1999-07-01 2008-04-16 富士フイルム株式会社 固体撮像装置および信号処理方法
US6476865B1 (en) * 2001-03-07 2002-11-05 Eastman Kodak Company Sparsely sampled image sensing device with color and luminance photosites
US7012643B2 (en) * 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
JP4019417B2 (ja) * 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
EP1594321A3 (en) 2004-05-07 2006-01-25 Dialog Semiconductor GmbH Extended dynamic range in color imagers
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
JP4622790B2 (ja) * 2005-10-03 2011-02-02 コニカミノルタホールディングス株式会社 撮像素子および撮像装置
US7916362B2 (en) * 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity

Also Published As

Publication number Publication date
EP1977614B1 (en) 2015-09-09
CN101371591A (zh) 2009-02-18
WO2007089416A1 (en) 2007-08-09
JP2009524988A (ja) 2009-07-02
US20070177236A1 (en) 2007-08-02
US7688368B2 (en) 2010-03-30
EP1977614A1 (en) 2008-10-08

Similar Documents

Publication Publication Date Title
CN101371591B (zh) 具有改进感光度的图像传感器
CN101233762B (zh) 具有改善的光敏感度的图像传感器
CN101233763B (zh) 处理彩色和全色像素
CN101449575B (zh) 具有改进的光灵敏度的图像传感器
JP5547786B2 (ja) イメージ・センサーにおける改善された光感度
JP5603455B2 (ja) カラー画素およびパンクロマティック画素を有する画像の処理
TWI428006B (zh) 處理像素陣列及處理影像的方法
US8452082B2 (en) Pattern conversion for interpolation
US20090051984A1 (en) Image sensor having checkerboard pattern
CN101248659A (zh) 在变化照明条件下捕获图像

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: FULL VISION TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: EASTMAN KODAK COMPANY (US) 343 STATE STREET, ROCHESTER, NEW YORK

Effective date: 20110706

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: NEW YORK STATE, THE USA TO: CALIFORNIA STATE, THE USA

TA01 Transfer of patent application right

Effective date of registration: 20110706

Address after: California, USA

Applicant after: Full Vision Technology Co., Ltd.

Address before: American New York

Applicant before: Eastman Kodak Co.

C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: OmniVision Technologies, Inc.

Address before: California, USA

Patentee before: Full Vision Technology Co., Ltd.

CP01 Change in the name or title of a patent holder