CN101472048A - 图像拾取装置、色噪声降低方法和色噪声降低程序 - Google Patents

Abstract

本发明提供一种图像拾取装置、色噪声降低方法和色噪声降低程序。图像拾取装置包括图像传感器和去马赛克处理器，图像传感器具有按预定顺序排列的不同颜色的像素的滤色器。图像传感器接收被拍体图像并输出包括不同颜色的颜色信号的图像信号。去马赛克处理器从该图像信号生成图像每个像素的不同颜色的颜色信号。去马赛克处理器包括生成单元和噪声降低单元。生成单元利用目标颜色信号和预定的其他颜色信号来执行计算以生成目标颜色信号的像素的、使该目标颜色信号与预定的其他颜色信号相关联的颜色相关信号，该目标颜色信号表示被包括在图像信号中的预定的目标颜色信号。噪声降低单元对由生成单元所生成的颜色相关信号执行噪声降低处理。

Description

图像拾取装置、色噪声降低方法和色噪声降低程序

技术领域

本发明涉及用于降低由所谓的单板(single-panel)图像拾取装置所捕捉到的图像信号中的色噪声(color noise)的方法和程序，单板图像拾取装置包括一固态图像传感器件，例如电荷耦合器件(CCD)或互补型金属氧化物半导体(CMOS)器件。

背景技术

所谓的单板图像拾取装置，例如单板数字静态相机(still camera)和单板数字视频相机，包括一个诸如CCD或CMOS器件之类的固态图像传感器件。CCD或CMOS器件包括滤色器，该滤色器具有按预定顺序排列的多个颜色的像素。一般地，图像拾取装置对从固态图像传感器件输入的图像信号执行多个处理以生成图像。

例如，当固态图像传感器件的滤色器的颜色编码被定义为Bayer排列时，每个像素仅具有一种颜色的信息：R(红)、G(绿)或L(蓝)。也就是，Bayer排列包括这样的行：每个都包括在水平方向上交替出现的R和G的行(即，RGRG...)，以及每个都包括在水平方向上交替出现的G和B的行(即，GBGB...)。这两种类型的行在垂直方向上交替排列，并且G像素、B像素和R像素的个数比为2：1：1。

R、G和B三原色的三个信号对于图像的每个像素而言是必需的。因此，每个像素缺少的颜色信息(缺少的颜色信号)通过对该像素周围的像素进行内插(interpolate)而被生成，并且其生成每个像素的R、G和B颜色的颜色信息。这样的利用仅具有一种颜色的信息的原始图像数据(从图像传感器件获取的原数据)来生成三个R、G和B颜色信息项(三原色信号)的处理，被称作“去马赛克(demosaic)处理(同步处理)”。

在执行了去马赛克处理之后，每个像素的R信号、G信号和B信号被Y/C转换为亮度(luminance)信号(Y)和色差信号(Cb/Cr)。在此之后，从包括亮度信号(Y)和色差信号(Cb/Cr)的图像信号生成要显示的图像。可替代地，包括亮度信号(Y)和色差信号(Cb/Cr)的图像信号被记录在记录介质上。

近些年来，固态图像传感器件的像素大小减小了。因此，S/N比(信噪比)降低，并且因此图像中的噪声越来越成问题。彩色图像中的噪声包括亮度噪声和色噪声，亮度噪声是亮度信号成分的噪声，色噪声是色差信号成分的噪声。通过降低色噪声，图像质量可以提高。

例如，对于数字静态相机，日本未经审查的专利申请公开第2005-311455号描述了这样的技术：通过选择适于噪声降低处理的像素区域并且利用所选出的周围像素来执行噪声降低处理，从原始图像数据中有效去除噪声。

此外，日本未经审查的专利申请公开第2004-221838号描述了这样的技术：通过利用沿边缘延伸方向延伸的预定区域中的像素的像素值来对所关注的像素的像素值进行内插，在去马赛克处理中精确重构边缘。

然而，如果色噪声从原始图像数据中被去除，那么亮度信号成分受到影响，并且因此每个颜色信号的亮度值可能会改变。因此，可能以伪色(false color)显示边缘部分，并且图像质量可能在很大程度上恶化。

因此，因为在执行了Y(亮度)/C(颜色)转换之后生成用于表示颜色的色差信号，所以一般在执行了Y/C转换之后执行色噪声降低处理。然而，虽然在执行去马赛克处理之前色噪声具有脉冲波形，但是在执行了去马赛克处理之后，噪声的特性改变了(即，噪声波形变为脉冲波形之外的波形)。这是因为色噪声信号经过了用于去马赛克处理的内插子处理和孔径校正子处理的复杂滤波。如果噪声信号的特性改变，那么很难从画面信号成分中分离出噪声信号成分。因此，很难完全去除色噪声。

发明内容

为了解决由于色噪声特性改变而导致的色噪声没有从在执行了去马赛克处理之后获得的、经Y/C转换的信号中完全去除的问题，由本发明人递交的日本专利申请第2006-338233号描述了这样的方法：在执行可能改变色噪声的特性的去马赛克处理之前，执行色噪声降低处理。

在该公开所描述的方法中，为了生成色差信号，执行简化的去马赛克处理。在简化的去马赛克处理中，没有确定图像的相关方向从而使得从固态图像传感器件输出的原始状态的图像信号(原始图像信号)的色噪声特性不改变。所生成的色差信号经受噪声降低处理。色差信号然后被再次改变为原始状态的图像信号。在此之后，其中确定了图像的相关方向的正常去马赛克处理被执行。

通过使用该方法，色噪声可以在执行正常去马赛克处理(原去马赛克处理)之前被去除。因此，该方法对于改善图像质量尤为有效。然而，在该方法中，与一般的相机信号处理情况相比，附加地执行了简化的去马赛克处理和将经过了色噪声降低处理的亮度信号和色差信号变为原始状态的信号的处理。

也就是，该方法对于具有足够资源(例如，硬件的特征、性能和容量)的高性能图像拾取装置尤其有用。然而，即使在具有较少资源的图像拾取装置中也适当并快速地降低色噪声的需求在增多。

此外，在该方法中，通过在噪声降低被执行之前添加的简化去马赛克处理而生成的色差信号与在噪声降低被执行之后提供的正常去马赛克处理之后所生成的色差信号不同。因此，理论上，即使当对在简化的去马赛克处理被执行之后所生成的色差信号执行噪声降低时，也不能在执行了正常去马赛克处理之后的色差信号(其是最终图像的色差信号)中充分降低色噪声。因此，对更精确的色噪声降低处理的需求在增长。

因此，本发明提供一种图像拾取装置、方法和程序，其用于快速并有效地降低包括多个颜色的颜色信号的图像信号中的色噪声，而无需使用大量资源。

根据本发明的一个实施例，一种图像拾取装置包括图像传感器件，图像传感器件包括具有按预定顺序排列的多个不同颜色的像素的滤色器，其中图像传感器件接收被拍体的图像并输出包括多个不同颜色的颜色信号的图像信号；以及去马赛克处理装置，其用于从接收自图像传感器件的图像信号生成图像每个像素的不同颜色的颜色信号。去马赛克处理装置包括生成单元和噪声降低单元。生成单元利用目标颜色信号和预定的其他颜色信号来执行计算，以生成目标颜色信号的像素的、使目标颜色信号与预定的其他颜色信号相关联的颜色相关信号，该目标颜色信号表示被包括在接收自图像传感器件的图像信号中的预定的目标颜色信号，并且噪声降低单元对由生成单元所生成的颜色相关信号执行噪声降低处理。

根据本实施例的图像拾取装置，利用去马赛克处理装置对包括从图像传感器件输入的多个颜色信号的图像信号(原始图像信号)执行去马赛克处理。因此，针对图像的每个像素生成了多个颜色信号。

在去马赛克处理装置中，生成单元利用表示要处理的图像信号的目标颜色信号(例如，R(红)信号或B(蓝)信号)和预定的其他颜色信号(例如，G(绿)信号)来执行计算以生成颜色相关信号(例如色差信号或色比信号)。随后，噪声降低单元对由生成单元所生成的颜色相关信号执行噪声降低处理。以这种方式，利用具有经降低的色噪声的颜色相关信号来执行去马赛克处理。

因此，可以对通过去马赛克处理而生成的颜色相关信号执行噪声降低处理。因此，除噪声降低单元外不需要另外的硬件，并且因此，可以快速降低色噪声。此外，因为可以通过去马赛克处理来降低色噪声，所以色噪声可以被最有效地降低。

如上所述，根据本实施例，可以从包括多个颜色信号的图像信号中快速地并最有效地降低色噪声成分。也就是，色噪声可以被有效地降低。

附图说明

图1是根据本发明第一实施例的图像拾取装置的框图；

图2是示出安装在图1所示的图像拾取装置中的相机信号处理单元的示例性配置的框图；

图3是示出根据本发明第一实施例的去马赛克处理单元的处理的第一示例性配置和概述的框图；

图4A、4B、4C、4D和4E是示出从Bayer排列的原始运动图像数据通过内插不仅直接生成G信号而且直接生成R信号和B信号的情况的示图；

图5A、5B、5C、5D、5E、5F和5G是示出利用色差信号从Bayer排列的原始运动图像数据生成R信号和B信号的情况的示图；

图6是包括根据第一实施例的噪声降低处理单元的去马赛克处理单元的第一示例性配置的框图；

图7是图6所示的噪声降低处理单元的示例性配置的框图；

图8A、8B和8C示出ε滤波器的功能；

图9A和9B示出由图7所示的噪声降低处理单元中的ε滤波器执行的处理；

图10示意性示出在色差被内插之前利用ε滤波器在色差信号上执行的噪声降低处理；

图11示意性示出在色差被内插之后利用ε滤波器在色差信号上执行的噪声降低处理；

图12是示出由根据第一实施例的去马赛克处理单元所执行的处理的第二示例性配置和概述的框图；

图13是包括根据第一实施例的噪声降低处理单元的去马赛克处理单元的第二示例性配置的框图；

图14是示出图13所示的噪声降低处理单元的示例性配置的框图；

图15A、15B和15C示出由图14所示的噪声降低处理单元中的ε滤波器所执行的处理；

图16是示出噪声降低处理单元的另一示例性配置的框图；

图17示出用于根据图像信号的类型来执行Y/C转换处理的计算表达式；

图18A和18B示出滤色器的颜色编码；

图19是示出根据第二实施例的去马赛克处理单元的处理的第一示例性配置和概述的框图；

图20是示出被置于图19所示的位置A处的噪声降低处理单元的示例性配置的框图；

图21是示出根据第二实施例的去马赛克处理单元的处理的第二示例性配置和概述的框图；

图22是示出被置于图21所示的位置B处的噪声降低处理单元的示例性配置的框图；

图23是相机信号处理单元的另一示例的框图；

图24是示出根据第三实施例的去马赛克处理单元的处理的第一示例性配置和概述的框图；

图25是示出被置于图24所示的位置A处的噪声降低处理单元的示例性配置的框图；

图26是示出根据第三实施例的去马赛克处理单元的处理的第二示例性配置和概述的框图；

图27是被置于图26所示的位置B处的噪声降低处理单元的示例性配置的框图；

图28是示出由图6、图9和图24所示的去马赛克处理单元所执行的去马赛克处理的流程图；以及

图29是示出由图13、图21和图26所示的去马赛克处理单元所执行的去马赛克处理的流程图。

具体实施方式

以下参考附图来描述本发明的装置、方法和程序的各种示例性实施例。示例性实施例可应用于各种类型的图像处理装置，例如并入移动电子设备(例如，数字视频相机、数字静态相机和手机)中的相机模块、图像读取器和扫描器。

然而，为了简便起见，通过参考如下的示例来进行描述，在所述示例中，以下的示例性实施例被应用于能够捕捉运动图像并且记录图像数据的数字视频相机(图像拾取装置)。此外，以下描述的图像拾取装置可以记录伴随着运动图像数据的声音。然而，在以下的实施例中，为了简便起见，没有提供对声音信号的处理***的描述。

第一示例性实施例

图像拾取装置的示例性配置

图1是根据本发明第一示例性实施例的图像拾取装置100的框图。如图1所示，图像拾取装置100包括图像信号的处理***。处理***包括镜头单元101、图像传感器件单元102、模拟增益控制单元103、模数(A/D)转换器104、检测处理单元105、相机信号处理单元106、显示处理单元107和显示单元108。图像拾取装置100还包括控制单元110、键操作单元121、外部接口(在此之后称作“外部I/F”)122、外部输入/输出终端123、记录和回放处理单元124和记录介质125。

控制单元110控制根据本实施例的图像拾取装置100的所有单元。控制单元110由如下的微计算机形成，该微计算机包括经由CPU总线115而彼此连接的中央处理单元(CPU)111、只读存储器(ROM)112、随机存取存储器(RAM)113和电可擦除且可编程的ROM(EEPROM)114。

CPU 111读取如下所述的存储在ROM 112中的程序，并且执行所读出的程序以生成控制信号，所述控制信号被递送到各个单元。此外，CPU111接收从各单元发送的信号并且处理所接收到的信号。以这种方式，CPU 111执行控制。如上所述，ROM 112预存储将由CPU 111来执行的程序以及所述程序所使用的各种数据。

RAM 113例如被用作临时地存储各种处理的中间结果的工作区。EEPROM 114是非易失性存储器。例如，EEPROM 114存储甚至在根据本实施例的图像拾取装置100断电之后仍被维护的各种信息。各种信息的示例包括为新功能而附加地设置的各种设定参数和程序。

键操作单元121包括(但并不局限于)：记录待命键、记录开始键、记录停止键、用于望远功能的控制键、各种控制键以及各种功能键。键操作单元121接收用户输入并且将输入转换为电信号，电信号被供应到控制单元110。控制单元110根据通过键操作单元121而供应的用户输入来控制图像拾取装置100的各个单元。以这种方式，用户想要做出的操作可以被适当执行。

外部I/F122和外部输入/输出终端123遵照IEEE(电气和电子工程师学会)1394标准或者USB(通用串行总线)标准。具有遵照相同标准的接口的外部装置(例如，个人计算机或个人视频录像机(PVR))可以连接到外部I/F122和外部输入/输出终端123。

记录和回放处理单元124在控制单元110的控制下，将供应到控制单元110的图像数据记录在记录介质125上。此外，记录和回放处理单元124读取记录在记录介质125上的图像数据并且将其供应到显示处理单元107。以这种方式，图像数据被回放。

记录介质125用作根据本实施例的图像拾取装置100的主记录介质。例如，记录介质125可以是内部半导体存储器、包括半导体存储器的可拆卸存储卡、高密度内部硬盘、可拆卸盘记录介质(例如，光盘)或者可拆卸磁带。在根据本实施例的图像拾取装置100中，例如高密度内部硬盘被用于记录介质125。

利用预定的数据压缩方法将图像数据压缩然后存储在记录介质125中。根据预定的数据压缩方法，将从记录介质125读取的图像数据解压缩。利用压缩/解压缩处理单元(未示出)来执行数据压缩和解压缩。可替代地，记录和回放处理单元124可以具有这样的对图像数据的压缩/解压缩功能。

此外，根据本实施例，图像拾取装置100具有记录功能和回放功能。记录功能方面，通过图像信号的处理***的被拍体图像输入被显示在显示单元108的显示设备的显示画面上并且被捕捉。所捕捉到的图像被转换为图像信号(运动图像信号)并且被记录在记录介质125上。回放功能方面，记录在记录介质125上的图像信号被读出。所读出的图像信号被显示在显示单元108的显示设备的显示画面上，或者经由外部I/F122和外部输入/输出终端123被供应到外部装置。

记录功能(图像捕捉功能)和回放功能

首先描述根据本实施例的图像拾取装置100的记录功能。如图1所示，图像信号的处理***包括经由公共CPU总线115而彼此连接的镜头单元101、图像传感器件单元102、模拟增益控制单元103、A/D104、检测处理单元105、相机信号处理单元106、显示处理单元107和显示单元108。

数据基本上经由公共CPU总线115在图像信号处理***的单元之间交换。然而，在某些情况下，数据直接在单元之间交换而无需使用CPU总线115。当单元被直接地彼此连接而无需使用CPU总线115并且数据在所述单元之间传输时，这些单元可以被认为是一个处理单元。

一旦经由键操作单元121接收到捕捉运动图像的指令，控制单元110就控制各单元以开始对运动图像的捕捉操作。在这样的情况下，被拍体图像通过镜头单元101被形成在图像传感器件单元102的固态图像传感器件的图像形成面(image forming plane)上。被拍体图像接着通过固态图像传感器件被转换为电信号(模拟运动图像信号)并且被供应到模拟增益控制单元103。被提供用于图像传感器件单元102的固态图像传感器件的示例包括CCD传感器或CMOS传感器。

对供应到模拟增益控制单元103的模拟运动图像信号进行增益控制以使得模拟运动图像信号的增益处于预定水平。经增益控制的模拟运动图像信号被供应到A/D转换器104。供应到A/D转换器104的模拟运动图像信号被转换为数字运动图像信号(数字原始运动图像数据)并且被供应到检测处理单元105。在此使用的术语“数字原始运动图像数据”指未经过显像处理(development process)的数字运动图像数据。数字原始运动图像数据是从输出自图像传感器件单元102的模拟运动图像信号被转换为数字格式的图像信号。

检测处理单元105基于所接收到的原始运动图像数据生成显像参数的集合(显像参数组)Pm。显像参数组Pm包括用于各种下游图像处理的参数，例如用于曝光控制处理的参数和用于白平衡控制处理的参数。检测处理单元105然后将所生成的显像参数组Pm经由控制单元110供应到相机信号处理单元106。检测处理单元105还将原始运动图像数据供应到相机信号处理单元106。

如将在下文中更详细描述的，相机信号处理单元106执行黑电平(black level)匹配处理、白平衡控制处理、用于生成RGB数据(三原色数据项)的去马赛克处理(同步处理)、孔径校正处理、伽马(γ)校正处理、用于获得亮度信号(Y)和色差信号(C)的转换处理(Y/C转换处理)以及分辨率转换处理。因此，亮度信号和色差信号(在此之后简单称作“YC信号”)被生成。

由相机信号处理单元106生成的YC信号被供应到显示处理单元107。显示处理单元107将YC信号转换为可供应给显示单元108的格式的运动图像信号。因此，所捕捉到的被拍体的运动图像可以被显示在显示单元108的显示设备的显示画面上。

同时，由相机信号处理单元106生成的YC信号例如通过压缩/解压缩处理单元(未示出)被压缩。在此之后，YC信号被供应到记录和回放处理单元124。记录和回放处理单元124将所供应的图像数据记录在安装于其中的记录介质125上以使得图像数据能够被读出。

例如，显示单元108包括诸如液晶显示器(LCD)、有机电致发光面板或者阴极射线管(CRT)之类的显示设备。如上所述，显示单元108从显示处理单元接收运动图像信号，并且根据所接收到的运动图像信号在其显示设备的显示画面上显示运动图像。

如上所述，根据本实施例，图像拾取装置100可以捕捉在显示单元108的显示设备的显示画面上显示的被拍体的运动图像，并且将基于所捕捉到的运动图像的运动图像数据记录在记录介质125上。如之前提到的，当基于所捕捉到的运动图像的运动图像数据被记录在记录介质125上时，运动图像数据例如通过压缩/解压缩处理单元(未示出)被压缩。在此之后，运动图像数据经由记录和回放处理单元124被记录在记录介质125上。

接下来描述根据本实施例的图像拾取装置100的回放功能。一旦经由键操作单元121接收到用于回放记录在记录介质125上的运动图像数据的指令，控制单元110就控制记录和回放处理单元124以使得记录和回放处理单元124读出所指定的运动图像数据。记录和回放处理单元124然后将其供应到例如压缩/解压缩处理单元(未示出)。压缩/解压缩处理单元将运动图像数据解压缩为原来未经压缩的运动图像数据。随后，记录和回放处理单元124经由控制单元110将运动图像数据供应到显示处理单元107。

显示处理单元107将经解压缩的运动图像数据转换为可供应给显示单元108的格式。随后，运动图像数据被供应给显示单元108。这样，根据从记录介质125中读取的运动图像数据，运动图像可以被显示在显示单元108的显示设备的显示画面上。

同时，经压缩的运动图像数据被压缩/解压缩处理单元(未示出)解压缩为在执行数据压缩处理之前的原来的运动图像数据。经解压缩的运动图像数据被供应到经由外部I/F122和外部输入/输出终端123而连接到图像拾取装置100的外部设备。以这种方式，运动图像数据可以被外部装置使用。

如上所述，根据本实施例，图像拾取装置100可以将所捕捉到的运动图像数据记录在记录介质125上或者回放运动图像数据。以这种方式，图像拾取装置100可以使用记录在记录介质125上的运动图像数据。此外，根据本实施例，图像拾取装置100可以利用现有的相机信号处理来最有效地降低色噪声，而无需增加对高负载处理(例如，专用于噪声降低的去马赛克处理)的使用。

相机信号处理单元106

接下来，描述在图1中示出的根据本实施例的图像拾取装置100的相机信号处理单元106的示例性配置。图2是示出被安装在根据本实施例的图像拾取装置100中的相机信号处理单元106的示例性配置的框图。

如图2所示，根据本实施例，相机信号处理单元106包括黑电平匹配单元1061、白平衡(WB)控制单元1062、去马赛克处理单元1063、孔径校正单元1064、伽马校正单元1065、Y/C转换单元1066和分辨率转换单元1067。

如上所述，从检测处理单元105输出的原始运动图像数据被供应到相机信号处理单元106的黑电平匹配单元1061。图像拾取装置的黑电平表示当图像传感器件的成像面(imaging plane)完全被遮光时，从图像传感器件输出的图像。然而，例如，如果偏差成分从下游电路进入图像传感器件，那么将得不到正确的黑电平。在这种情况下，图像不能被适当地形成。为了避免这样的情况，黑电平匹配单元1061利用检测处理单元105的输出电平来控制所接收的原始运动图像数据的黑电平。在调节了黑电平之后，原始图像数据被供应到WB控制单元1062。

无论射向被拍体的光线(例如，日光或荧光)的类型如何，人眼都倾向于将接近白色的物体识别为白色物体。然而，当利用图像拾取装置来捕捉被拍体的图像时，被拍体的色调(tint)随在图像捕捉时射向被拍体的光线类型而不同。因此，WB控制单元1062基于从检测处理单元105输出的参数来控制整个图像的颜色平衡(更具体地，R(红)和B(蓝)之间的平衡)，以使得接近白色的物体被呈现为白色物体。具有经控制的白平衡的原始运动图像数据被供应到去马赛克处理单元1063。

根据图像传感器件的滤色器，通过使用来自图像传感器件的不同像素的不同颜色信号，生成原始运动图像数据。去马赛克处理单元1063生成构成图像的每个像素的所有颜色的颜色信号。在本实施例中，去马赛克处理单元1063生成每个像素的三原色信号R、G和B。

根据本实施例，去马赛克处理单元1063在去马赛克处理期间执行色噪声降低处理。如上所述，去马赛克处理单元1063可以利用现有的相机信号处理来最有效地降低色噪声，而无需增加对高负载处理(例如专用于噪声降低的去马赛克处理)的使用。由去马赛克处理单元1063生成的三原色信号G、R和B(三原色数据项)被供应到孔径校正单元1064。噪声降低处理将在下文中给出更详细的描述。

孔径校正单元1064对所接收到的三原色数据项执行边缘增强处理以锐化图像。因此，图像变为清楚的图像。在根据本实施例的图像拾取装置100中，可以根据从控制单元110接收的控制信号来控制边缘增强的水平。控制信号根据例如通过键操作单元121输入的用户指令而被生成。图像可以被改变为清晰图像(sharp image)或柔和图像(soft image)。从孔径校正单元1064输出的三原色数据项被供应给伽马校正单元1065。

伽马校正单元1065控制所接收的三原色数据项与实际输出的三原色数据项之间的相对关系。即，伽马(γ)值表示电压等效值的变化与图像亮度的变化的比值。理想地，伽马值接近“1”。然而，由于所使用设备的特性，值可能从“1”发生变化。因此，伽马校正单元1065校正所接收到的运动图像数据的伽马值的误差以使得伽马值接近“1”。经过伽马校正单元1065处理的运动图像数据(三原色数据项)被供应到Y/C转换单元1066。

Y/C转换单元1066利用预定的计算表达式将所接收到的运动图像数据(三原色数据项)转换为亮度信号(Y)和色差信号(Cb和Cr)。在此之后，Y/C转换单元1066将包括亮度信号(Y)和色差信号(Cb和Cr)的YC信号供应到分辨率转换单元1067。

分辨率转换单元1067对用所接收的YC数据表示的图像执行缩放操作(scaling operation)。也就是，分辨率转换单元1067对所接收的YC数据执行间隔剔除(thin-out)处理或者内插处理以生成具有预定分辨率的YC数据。分辨率转换单元1067然后输出YC数据。与从分辨率转换单元1067输出的YC数据相对应的图像经由在图1中示出的显示处理单元107被显示在显示单元108上。此外，在YC数据被压缩之后，YC数据经由记录和回放处理单元124被记录在记录介质125上。

如上所述，在相机信号处理单元106中，对由图像传感器件单元102捕捉到的被拍体的原始运动图像数据执行了上述的各种处理。最后，具有适于显示操作或记录操作的分辨率的YC数据被生成并输出。此外，根据本实施例，相机信号处理单元106的去马赛克处理单元1063执行色噪声降低处理，这将在下文中更详细地给出描述。

去马赛克处理单元1063的处理的第一示例性配置和概述(Bayer排列)

图3是示出在图2中示出的根据本实施例的相机信号处理单元106的去马赛克处理单元1063的处理的第一示例性配置和概述的框图。如图3所示，去马赛克处理单元1063包括G(绿)信号内插单元631(在图3中被指示为“G内插单元”)、色差生成单元632、色差内插单元633和G(绿)信号回加(add-back)单元634(在图3中被指示为“G回加单元”)。

在该实施例中，通过参考包括具有Bayer排列的颜色编码的滤色器的固态图像传感器件来进行描述。因此，根据Bayer排列形成的原始运动图像数据被供应到去马赛克处理单元1063。如在图3中示出的样式(1)所指示的，Bayer排列包括这样的行：每个都包括在水平方向上排列的像素的交替出现的R和G(即，RGRG...)，以及每个都包括在水平方向上排列的像素的交替出现的G和B(即，GBRB...)。这两种类型的行在垂直方向上交替排列。更具体地，具有在图3中示出的样式(1)的原始运动图像数据基于逐个画面(基于逐个帧)被输入到去马赛克处理单元1063。画面的每个像素具有三种颜色R(红)、G(绿)和B(蓝)之一的颜色信号(颜色数据)。原始运动图像数据然后被供应到G内插单元631和色差生成单元632。

如在图3中示出的样式(1)所指示的，在Bayer排列中，G信号以方格图案(checkered pattern)呈现。G内插单元631通过对不具有G信号的每个像素周围的像素的G信号进行内插并且使G信号相关联，来生成不具有G信号的每个像素的G信号。以这种方式，如在图3中示出的样式(2)所指示的，图像的所有像素的G信号被生成并且从G内插单元631输出。

在R信号和B信号方面，色差生成单元632生成R信号的像素的色差信号(R—G)信号，并且生成B信号的像素的色差信号(B—G)信号。以这种方式，如在图3中示出的样式(3)所指示的，对于R信号的像素，从色差生成单元632中输出所生成的(R—G)信号，并且对于B信号的像素，从色差生成单元632中输出所生成的(B—G)信号。

从色差生成单元632输出的(R—G)信号和(B—G)信号被供应到色差内插单元633。如在图3中示出的样式(4A)和(4B)所指示的，色差生成单元632分别对不具有色差信号(R—G)和(B—G)的像素的色差信号(R—G)和(B—G)进行内插。

以这种方式，如在图3中示出的样式(4A)和(4B)所指示的，图像所有像素的(R—G)信号和(B—G)信号从色差内插单元633被输出。随后，从色差内插单元633输出的(R—G)信号和(B—G)信号被供应到G回加单元634。

G回加单元634将从G内插单元631输出的G信号加到从色差内插单元633输出的所有像素的色差信号((R—G)信号和(B—G)信号)。因此，生成了所有像素的每个的R信号和B信号。因此，如在图3中示出的样式(5A)和(5B)所指示的，所有像素的每个的R信号和B信号从G回加单元634被输出。

这样，从去马赛克处理单元1063中输出了所有像素的从G内插单元631输出的G信号，以及所有像素的从G回加单元634输出的R和B信号。也就是，输出了图像的所有像素的每个像素的三原色信号R、G和B。这样的去马赛克处理基于逐个帧被执行，从而使得原始运动图像数据被转换为RGB运动图像数据。

可以将能够生成期望信号的任何方法用于由G内插单元631执行的内插处理、由色差生成单元632执行的色差生成处理以及由色差内插单元633执行的内插处理。也就是，为了生成期望信号，可以使用多个范围内的周围像素和多种类型的计算逻辑。

此外，如上所述，根据本实施例，去马赛克处理单元1063并不直接生成R信号和B信号。去马赛克处理单元1063利用色差信号来生成R信号和B信号。这是因为，通过考虑G信号，图像的颜色可以被更精确地再现。也就是，伪色不会被再现。通过参考图4和图5来描述使用色差信号的优点。

首先，通过参考如下的情况来进行描述，其中通过使用周围像素的颜色信号的直接内插，分别针对不具有G信号、不具有R信号和不具有B信号的像素，从Bayer排列的原始数据中生成G信号、R信号和B信号。

图4A到图4E是示出如下的情况的示图，其中不仅G信号，而且R信号和B信号都通过内插从一个帧的原始运动图像数据中被生成。原始运动图像数据从具有Bayer排列的滤色器的固态图像传感器件中被输出。在该示例中，对形成消色差的(achromatic)彩色图像(具有黑和白垂直条纹图案)的原始运动图像数据进行处理。

如图4A所示，通过参考具有Bayer排列的原始数据和消色差的颜色(黑和白垂直条纹图案)来给出以下描述。如图4B所示，由原始数据形成的图像包括交替排列的白垂直行(列)和黑垂直行(列)。也就是，假设R颜色信号、G颜色信号和B颜色信号的每个的值的范围为0—100。那么，由具有值100的R颜色信号、具有值100的G颜色信号和具有值100的B颜色信号形成的垂直行是白色行。相反，由具有值0的R颜色信号、具有值0的G颜色信号和具有值0的B颜色信号形成的垂直行是黑色行。

通过去马赛克处理，从这样的原始图像数据生成图像所有像素的每个像素的R、G和B信号。从图4A中可见，因为G信号一直存在于每条垂直行(列)中，所以通过使用存在于每条垂直行中的G信号，可以适当地生成这样的G信号：其在白色行部分中具有值100并且在黑色行部分中具有值0，如图4C所示。

在该示例中，R信号和B信号也直接通过内插生成，而没有使用色差信号。从图4A中可见，R信号和B信号仅出现在隔行的垂直行中。

因此，在原始数据包括如图4A所示的颜色信号的情况下，如果通过对存在于相邻像素中的R信号进行内插来针对不具有R信号的像素生成R信号，那么针对垂直行中不具有R信号的像素不期望地生成了具有值100的R信号，如图4D所示。

此外，在原始数据包括如图4A所示的颜色信号的情况下，如果通过对存在于相邻像素中的B信号进行内插来针对不具有B信号的像素生成B信号，那么不期望地生成了具有值0的B信号，如图4E所示。也就是，通过针对应当生成具有值100的B信号的像素进行内插，不期望地生成具有值0的B信号。

在这样的情况下，对于白色行部分并没有生成正确的B信号。因此，白色没有被呈现为原来的白色。此外，因为针对黑行部分生成了具有值100的R信号，所以黑色没有被精确地呈现为原来的黑色。因此，当不具有R信号或B信号的像素的R信号或B信号通过对周围像素的R信号或B信号进行内插而被直接生成时，图像的颜色可能不会被正确地呈现。

在此之后，通过参考如下的情况来进行描述，其中直接使用周围像素的G信号，从Bayer排列的原始数据生成不具有G信号的像素的G信号，然而，通过生成色差信号之后对色差信号进行内插来分别生成不具有R信号和不具有B信号的像素的R信号和B信号。

图5A到图5G是示出如下的情况的示图，其中通过对原始运动图像数据的一个帧中的周围像素的G信号进行内插来直接生成不具有G信号的像素的G信号，然而通过对色差信号进行内插来分别生成不具有R信号和不具有B信号的像素的R信号和B信号。原始运动图像数据从具有Bayer排列的滤色器的固态图像传感器件中被输入。与在图4A到图4E中示出的情况类似，在图5A到5G中示出的示例中，对形成消色差的彩色图像(具有黑和白垂直条纹图案)的原始运动图像数据进行处理。

当利用色差信号来生成R信号和B信号时，色差信号(R—G)被用于R信号，并且色差信号(B—G)被用于B信号。然而，类似的处理被执行以生成两种信号的每一个。因此，为了简便起见，以下仅描述利用(R—G)信号对R信号的生成。

与在图4A和图4B中所描述的情况相同的，如图5A所示，对Bayer排列的原始数据和消色差的颜色(黑和白垂直条纹图案)进行处理。如图5B所示，由原始数据形成的图像包括交替排列的白垂直行(列)和黑垂直行(列)。

也就是，与在图4B中所描述的情况一样，在图5B的情况下，假设R颜色信号、G颜色信号和B颜色信号的每个的值的范围为0—100。那么，由具有值100的R颜色信号、具有值100的G颜色信号和具有值100的B颜色信号形成的垂直行是白色行。相反，由具有值0的R颜色信号、具有值0的G颜色信号和具有值0的B颜色信号形成的垂直行是黑色行。

通过去马赛克处理，从这样的原始图像数据生成图像所有像素的每个像素的R、G和B信号。从图5A中可见，因为G信号一直存在于每条垂直行(列)中，所以使用存在于每条垂直行中的G信号，可以适当地生成这样的G信号：其在白色行部分中具有值100并且在黑色行部分中具有值0，如图5C所示。

如图5D所示，基于出现在相隔一个的垂直行上的R信号(如图5A所示)来识别实际的R信号。在图5D中，由符号“×”表示的部分(像素)是R信号不存在的部分。如图5E所示，从如图5D所示的所识别的R信号和如图5C所示的通过内插而适当生成的G信号来生成色差信号(R—G)。

在图5E中，用符号“×”指示的部分(像素)是因为R信号不存在而因此没有直接生成(R—G)信号的部分。因此，如图5F所示，利用如图5E所示的适当生成的(R—G)信号，通过对没有直接生成(R—G)信号的、用符号“×”表示的部分(像素)进行内插，来生成(R—G)信号。在这样的情况下，如图5E所示，因为利用实际的R信号和G信号来生成(R—G)信号，所以在图5F中示出的通过内插这些(R—G)信号而生成的(R—G)信号可以被适当地生成。

最后，如图5C所示的所生成的G信号被加回到如图5F所示的所生成的(R—G)信号。因此，如图5G所示，对于白色行部分具有值100并且对于黑色行部分具有值0的R信号可以被适当地生成。

如在图4A到图4E中所描述的，当不仅G信号而且R信号和B信号都通过内插而从Bayer排列的原始数据直接生成时，可以针对图像的每个像素快速生成R信号和B信号。然而，得不到精确的图像颜色再现。不同地，如在图5A到5G中所描述的，当利用色差信号通过内插从Bayer排列的原始数据生成R信号和B信号时，虽然处理时间略微增加，但是非常精确的颜色再现可以被获得。

因此，根据本实施例，如在图3中所描述的，当从原始运动图像数据生成图像的每个像素的三原色R、G和B的信号时，图像拾取装置100的去马赛克处理单元1063利用色差信号来生成R信号和B信号。

此外，根据本实施例，图像拾取装置100的去马赛克处理单元1063在具有Bayer排列的原始运动图像数据被转换为G信号和色差信号(R—G)和(B—G)之后，去除了色噪声成分。因此，在去马赛克处理期间能够有效的降低色噪声。

去马赛克处理单元1063的示例性配置

图6是包括根据本实施例的噪声降低处理单元635的去马赛克处理单元1063的第一示例性配置的框图。与在图3中示出的去马赛克处理单元1063的配置类似，在该示例中，去马赛克处理单元1063包括G内插单元631、色差生成单元632、色差内插单元633和G回加单元634。如在图3中所描述的，利用周围像素的G信号来直接生成G信号。此外，利用色差信号来生成R信号和B信号。因此，针对图像的每个像素生成了三原色R、G和B的信号。

如图所示，根据本实施例，图像拾取装置100的去马赛克处理单元1063包括紧接着G内插单元631和色差生成单元632的下游的噪声降低处理单元635。因此，去马赛克处理单元1063可以从要处理的图像数据(在该示例中，紧接在内插被执行之后而生成的G信号和紧接在G信号被生成之后而生成的色差信号(R—G)和(B—G))中降低色噪声成分。

以这种方式，当紧接着G内插单元631和色差生成单元632的下游来设置噪声降低处理单元635时，色噪声能够被有效地降低。这是因为用于去马赛克处理中的内插处理的复杂滤波器并没有被应用到紧接在色差信号(R—G)和(B—G)被生成之后的时刻的色差信号中所包含的色噪声上。

噪声降低处理单元635的示例性配置

图7是在图6中示出的噪声降低处理单元635的示例性配置的框图。如图7所示，噪声降低处理单元635包括降低被混合到G信号中的噪声的G噪声降低处理单元6351和降低被混合到色差信号中的噪声的色差噪声降低处理单元6352。

这样，通过G噪声降低处理单元6351从G信号中降低噪声，并且通过色差噪声降低处理单元6352从色差信号(R—G)和(B—G)中降低噪声。G噪声降低处理单元6351和色差噪声降低处理单元6352可以采用各种噪声降低方法。在本实施例中，采用厄普西隆(ε)滤波器(在此之后称作“ε滤波器”)。

ε滤波器

首先，简要描述ε滤波器。图8A到图8C是示出ε滤波器的示图。ε滤波器是非线性滤波器的一种。ε滤波器可以在保持画面边缘的同时降低噪声。ε滤波器使用大多数噪声信号是高频信号并且具有较小振幅的噪声信号特性。

即，一般地，在图像数据中包含的噪声信号是具有较小振幅的高频信号，而画面边缘部分的信号具有较大振幅。因此，针对图像的预定区域，ε滤波器计算所关注的像素和与该所关注的像素邻近的像素之间的电平差。ε滤波器然后将该电平差与预定阈值进行比较以判断是否存在噪声。通过根据滤波系数来执行计算，ε滤波器可以平滑噪声。

如图8A所示，接下来通过参考3×3的像素区域和位于该区域中心的所关注的像素T来描述具体示例。在图8B中，横坐标表示在如8A图所示的像素区域中的像素位置(像素编号)。在图8B中绘出如图8A所示的像素区域中的每个像素与所关注的像素T之间的电平的差(电平差)。应注意，因为所关注的像素T是一个基准，所以所关注的像素T的信号电平被绘制以代替差分。

在此之后，如图8B所示，用指示阈值的两条虚线来表示垂直方向上的阈值宽度。阈值宽度小于图像中画面的振幅。对于具有位于由阈值宽度所指示的区域之外的、相对于所关注的像素T的信号电平的信号电平差的像素，判断该差因画面所致。因此，该像素不被用于平滑所关注的像素T。然而，对于具有位于由阈值宽度所指示的区域之内的、相对于所关注的像素T的信号电平的信号电平差的像素，判断该差因噪声所致。因此，该像素被用于平滑所关注的像素T。

即，在图8B所示出的示例中，2号像素和所关注的像素T之间的电平差以及7号像素和所关注的像素T之间的电平差位于由阈值宽度所确定的区域之外。因此，2号像素和7号像素不被用于用以进行平滑的平均化处理中(即，被从相加像素中去除)。

而1号、3号、4号、5号、6号和8号像素的每一个和所关注的像素T之间的电平差位于由阈值宽度所确定的区域之内。因此，1号、3号、4号、5号、6号和8号像素被用于用以进行平滑的平均化处理中(即，被包括在相加像素中)。

因此，如图8B所示，具有位于预定阈值内的、相对于所关注的像素T的电平差的1号、3号、4号、5号、6号和8号的像素被包括在用以进行平滑的平均处理的相加像素中。这样，用通过平均化周围像素的电平而获得的电平来替代所关注的像素T的电平。针对每个像素执行该操作。这样，所有的像素都被平滑。以这种方式，噪声成分从每个像素中被去除并且被平滑。因此，没有噪声成分的平滑图像可以被形成(再现)，而不会对由图像信号所形成的图像中的画面有负作用。

如在图8B中所描述的，在ε滤波器的情况下，基于预定阈值来判断像素是否是用以进行平滑的平均化处理的加法对象。因此，具有大于预定值的电平的边缘可以被保持。也就是，对于具有大幅改变的电平的边缘的图像，如果(如图8C中的实线所示)阈值根据噪声电平而被确定，那么位于阈值区域之外的信号不会变为加法对象。因此，在保持图像中的边缘的同时，可以仅降低每个像素(由图8C中的黑圆圈指示)的噪声成分。

在ε滤波器中，被用于用以对所关注的像素的电平进行平滑的平均化处理的像素的信号电平可以被加权。例如，随着周围像素和所关注的像素之间的距离减小，用于该像素的加权可以被增大。

由G噪声降低处理单元6351执行的处理的概述

接下来描述在图7中示出的G噪声降低处理单元6351。G噪声降低处理单元6351顺序地接收从通过由G内插单元631所执行的内插而生成的图像的每个像素提供的G信号(参见在图7中示出的样式(1))。在此之后，在G噪声降低处理单元6351中，利用ε滤波器来从G信号中去除噪声成分，然后具有经降低的噪声的G信号被输出(参见在图7中示出样式(2))。

为了在G噪声降低处理单元6351中降低噪声，可以采用另一种方法。例如，通过使用一对低通滤波器(LPF)和减法电路或者一对高通滤波器(HPF)和减法电路，G信号的带宽可以被分为高频侧(高频成分)和低频侧(低频成分)。对高频侧执行核化(coring)处理和限制处理，并且将ε滤波器应用于低频侧。以这种方式，可以对高频侧和低频侧执行不同的噪声降低处理。

通过使用这种方法，即使当画面成分电平接近由于低亮度而导致的噪声成分电平，也可以在保持由经处理的图像信号所形成的画面的特征的同时，执行噪声抑制(噪声降低)而不会使产生孤立点。该方法(用于对高频侧以及对低频侧执行不同的噪声降低处理的方法)在由本发明人递交的日本未经审查的专利申请公开第2007-262875号中被详细描述。

应注意，G信号具有强的亮度成分并且具有少量的色噪声成分。因此，取代在去马赛克处理单元1063中执行噪声降低处理，可以在执行去马赛克处理之前执行对G信号的噪声降低处理。可替代地，可以对经过了由图2所示的Y/C转换单元1066所执行的Y/C转换的Y信号(亮度信号)执行噪声降低处理。即，不一定提供图7所示的G噪声降低处理单元6351用于噪声降低处理单元635。为了有效地降低在图像信号中所包含的色噪声，仅色差噪声降低处理单元6352的存在就能满足需要，在下文中将详细描述色差噪声降低处理单元6352。

由色差噪声降低处理单元6352执行的处理概述

接下来描述在图7中示出的色差噪声降低处理单元6352。由色差生成单元632生成的色差信号(参见图7中的样式(3))被供应到色差噪声降低处理单元6352。也就是，如图7中的样式(3)所示，在色差生成单元632中，针对具有R信号的像素生成了(R—G)信号，并且针对具有B信号的像素生成了(B—G)信号。这些所生成的信号被供应到噪声降低处理单元635的色差噪声降低处理单元6352。在此之后，在色差噪声降低处理单元6352中，ε滤波器被应用于相同颜色从而使得在(R—G)信号和(B—G)信号中所包含的噪声成分(色噪声成分)被去除。

然而，如果仅基于色差信号(R—G)和(B—G)来应用ε滤波器，那么颜色蔓延(color bleed)可能出现在画面的边缘部分中或者颜色可能在高频部分中缺失。也就是，例如，当橙色部分和接近该橙色部分的浅绿色部分被包含在一帧图像中(即，形成了边缘)，那么可能出现颜色蔓延和颜色缺失。这是因为，如果仅使用如图7中的样式(3)所示的(R—G)信号和(B—G)信号，那么在两种不同颜色彼此邻近的部分(边缘部分)中，不适宜的像素(另一颜色区域中的像素)可能被选择作为平滑处理的加法计算的对象。

因此，在色差噪声降低处理单元6352中，当使用ε滤波器时，判断所关注的像素和周围像素之间的电平差是否在噪声阈值范围之内。此外，对于色差信号(R—G)和(B—G)，从其获得色差信号的周围像素和所关注的像素之间的G信号的电平差被获得。如果G信号的电平差落入噪声阈值范围之内，那么该周围像素变为色差信号的平均化处理的对象。

图9A和图9B示出由ε滤波器对色差信号执行的处理。在图7所示的色差噪声降低处理单元6352中，如图9A所示，只有从色差生成单元632输出的色差信号(R—G)和(B—G)可以被处理。然而，为了解决出现在边缘部分处的上述颜色蔓延或颜色缺失问题，如图9B所示，所关注的像素和周围像素之间的G信号的电平差关于色差信号被获得。在此之后，判断所关注的像素和周围像素之间的G信号的电平差是否落入预定阈值范围之内。因此，判断了周围信号是否被用于平均化处理。

因此，如图7中的虚线箭头所指示的，从G内插单元631输出的G信号还被供应到色差噪声降低处理单元6352。当所关注的像素和周围像素之间的色差信号(R—G)和(B—G)的每一个的电平差都落入噪声阈值范围之内并且所关注的像素和周围像素之间的G信号的电平差落入噪声阈值范围之内时，周围像素的色差信号被用于对所关注的像素的色差信号进行平均化。

不同地，即使当所关注的像素和周围像素之间的色差信号(R—G)和(B—G)的每一个的电平差都落入噪声阈值范围之内，如果所关注的像素和周围像素之间的G信号的电平差在噪声阈值范围之外，那么周围像素的色差信号也不会被用于对所关注的像素的色差信号进行平均化。

如上所述，当利用ε滤波器来从色差信号中去除色噪声成分时，色噪声可以被精确地去除，因此，通过考虑G信号，图像的颜色可以被正确地再现。

应注意，即使当仅利用色差信号(R—G)和(B—G)来降低色噪声而不考虑G信号时，色噪声也被充分去除。因此，可以仅针对尤其关注高图像质量的产品考虑G信号。

此外，色差噪声降低处理单元6352可以允许用户选择是否使用G信号。在这样的情况下，键操作单元121接收是否使用G信号的选择。根据该选择，控制单元110可以控制由在相机信号处理单元106中的去马赛克处理单元1063的噪声降低处理单元635所执行的处理。

不同颜色噪声电平是不同的。因此，不同的值被用作(R—G)信号、(B—G)信号和G信号的噪声阈值。噪声电平与诸如WB控制单元1062的增益之类的前段(front stage)增益成比例。因此，期望根据前段增益来控制噪声阈值。此外，可以针对(R—G)信号、(B—G)信号和G信号的每个在ROM 112中预存储多个值，并且用户可以利用键操作单元121来选择这些值之一。此外，用户可以利用键操作单元121来针对(R—G)信号、(B—G)信号和G信号的每个设定或改变噪声阈值。

噪声降低处理单元635的位置的重要性

如在图6中所描述的，在本实施例中，紧接着G内插单元631和色差生成单元632的下游放置噪声降低处理单元635。这是因为，如上所述，由于该位置是紧接在色差信号(R—G)和(B—G)被生成之后可以使用这些信号的位置，故用于去马赛克处理的内插的复杂滤波器没有被应用于被混合到色差信号中的色噪声。因此，色噪声被有效地降低。接下来通过参考图10和图11来更详细地描述该理由。

图10示意性地示出在色差被内插之前利用ε滤波器对色差信号所执行的噪声降低处理。也就是，图10示出为了从色差信号中去除色噪声成分，由被设置在图6所示的位置处的噪声降低处理单元635所执行的示例性处理。在该信号中，噪声被混合到其中画面没有改变的图像的平坦部分中。

在图10中，写在顶部的字母“R”、“G”、“R”、“G”和“R”表示具有R信号的像素及其位置和具有G信号的像素及其位置。因此，针对具有R信号的像素生成了(R—G)信号。此外，如上所述，当利用ε滤波器来去除色噪声时，所关注的像素T用作基准。如果具有相同颜色的色差信号的周围像素和所关注的像素T之间的电平差落入预定阈值范围之内，那么周围像素被用于对所关注的像素T的电平进行平均化。

因此，如图10所示，当所关注的像素T的信号电平被用作基准时，具有(R—G)信号和所关注的像素T和周围像素之间的、落入预定阈值范围之内的电平差的像素R1和像素R2被用于对所关注的像素T的电平进行平均化。因此，当利用这些像素R1和R2对所关注的像素T进行平滑时，位于相对高的信号电平h的所关注的像素T在执行了噪声降低之后被移至所关注的像素T1。因此，在所关注的像素T中所包括的色噪声成分可以被有效地降低。

不同地，图11示意性地示出在色差被内插之后利用ε滤波器对色差信号所执行的噪声降低处理。也就是，图11示意性地示出为了从色差信号中去除色噪声成分而在图3和图6所示的色差内插单元633的下游位置处执行的示例性处理。

在图11中，写在顶部的字母“R”、“G”、“R”、“G”和“R”表示具有R信号的像素及其位置和具有G信号的像素及其位置。因此，针对具有R信号的像素生成了(R—G)信号。此外，如在图3中所描述的，在色差内插单元633中，也基于相同颜色的色差信号，针对具有G信号的像素生成色差信号(R—G)。

因此，在图11中，如像素H1和H2所示出的，在执行色噪声降低处理之前，也针对具有G信号的像素，通过内插而生成了色差信号(R—G)。随后，如果利用ε滤波器来执行噪声降低处理，那么每个都具有已经经过内插的信号的像素H1和H2相对于所关注的像素T的电平的电平差落入了阈值范围内。因此，如果利用ε滤波器和这些像素来执行噪声降低处理，那么因为使用已经经过内插处理的像素H1和H2，所以如图11中的在执行了噪声降低处理之后的所关注的像素T1所示出的，很难降低大量的噪声成分。

从图10和图11的比较中可以看出，由执行了噪声降低处理(平滑处理)之后的所关注的像素T1、用于对所关注的像素T进行平滑的周围像素和图10中的横坐标所围起的区域比图11中的相应区域更小。该区域表示残留的噪声成分的近似量。因此，该比较显示当在执行色差内插之前对色差信号执行使用ε滤波器的噪声降低处理时，能够降低色噪声成分的更大的量。

虽然通过参考色差信号(R—G)给出了上述描述，但是对于色差信号(B—G)，可以获得相同的结果。

因此，根据本实施例，如图6所示，图像拾取装置100包括紧接着色差生成单元632的下游的噪声降低处理单元635。

去马赛克处理单元1063的处理的第二示例性配置和概述(Bayer排列)

图12是示出由图2中示出的相机信号处理单元106的去马赛克处理单元1063所执行的处理的第二示例性配置和概述的框图。如图12所示，除了去马赛克处理单元1063包括第一色差内插单元636和第二色差内插单元637之外，去马赛克处理单元1063具有与图3所示的去马赛克处理单元1063的配置类似的配置。

因此，为了简便起见，使用以上描述图3中的第一去马赛克处理单元1063时所使用的相同编号来描述图12中示出的第二去马赛克处理单元，并且因此，不再重复对它们的详细描述。此外，与图3所示的去马赛克处理单元1063类似的，图像传感器件单元102的固态图像传感器件的滤色器的颜色编码是Bayer排列。

在图12所示的去马赛克处理单元1063中，图3所示的去马赛克处理单元1063的色差内插单元633的功能被一分为二。也就是，由第一色差内插单元636和第二色差内插单元637来实现色差内插功能。如图12中的样式(3)所示出的，色差生成单元632生成并输出具有R信号的像素的(R—G)信号以及具有B信号的像素的(B—G)信号。

由色差生成单元632生成的色差信号(R—G)和(B—G)被供应到第一色差内插单元636。如图12中的样式(4A)和(4B)所示出的，通过利用周围的(B—G)信号对甚至是针对其生成了(R—G)信号的像素进行内插，来生成(B—G)信号。此外，通过利用周围的(R—G)信号对甚至是针对其生成了(B—G)信号的像素进行内插，来生成(R—G)信号。

随后，第二色差内插单元637从具有色差信号(即，通过第一色差内插单元636的内插而生成的色差信号(参见图12中的样式(4A)和(4B)))的周围像素，对不具有色差信号的像素的色差信号(R—G)(参见图12中的样式(5A))和色差信号(B—G)(参见图12中的样式(5B))进行内插。由G回加单元634执行的后续处理与在图3中所描述的相同。

在具有色差内插单元被分为第一色差内插单元636和第二色差内插单元637的配置的去马赛克处理单元1063中，噪声降低处理单元被置于第一色差内插单元636和第二色差内插单元637之间。

去马赛克处理单元1063的示例性配置

图13是图12中所描述的并且包括噪声降低处理单元638的配置的去马赛克处理单元1063的框图。如图13所示，在该示例中，去马赛克处理单元1063包括在第一色差内插单元636和第二色差内插单元637之间的噪声降低处理单元638。

如图13所示，没有在G内插单元631的下游设置任何电路块。因此，在图13所示的去马赛克处理单元1063中执行的对G信号的处理类似于在图6所示的去马赛克处理单元1063中所执行的处理。然而，对在样式(4A)和(4B)中示出的色差信号执行色差信号噪声降低处理，所述色差信号是经过中间内插的色差信号。

与在图6所示的噪声降低处理单元635中所执行的处理相比，在图13所示的噪声降低处理单元638中，对略微经过了内插处理中的复杂滤波的色差信号(R—G)和(B—G)执行噪声降低处理。然而，与在图6所示的噪声降低处理单元635中所执行的处理相比，由于两个色差信号(R—G)和(B—G)存在于相同的像素位置上，所以色噪声能够被有效地降低而不会使画面的边缘劣化。

噪声降低处理单元638的示例性配置

图14是示出图13所示的去马赛克处理单元1063的噪声降低处理单元638的示例性配置的框图。与图7所示的噪声降低处理单元635类似的，噪声降低处理单元638包括G噪声降低处理单元6381和色差噪声降低处理单元6382。

由G噪声降低处理单元6381执行的处理概述

G噪声降低处理单元6381处理G信号，该G信号的形式与图7所示的G噪声降低处理单元6351中的相同。因此，执行与图7所示的G噪声降低处理单元6351的处理类似的处理。也就是，G噪声降低处理单元6381利用ε滤波器来对G信号执行噪声降低处理。可替代地，G噪声降低处理单元6381将G信号分为高频侧(高频成分)和低频侧(低频成分)。G噪声降低处理单元6381然后对高频成分执行核化处理和限制处理，并且利用ε滤波器来对低频成分执行处理。因此，G噪声降低处理单元6381对高频侧和低频侧执行不同的噪声降低处理。

由色差噪声降低处理单元6382执行的处理概述

与图7所示的噪声降低处理单元635的色差噪声降低处理单元6352类似的，色差噪声降低处理单元6382利用色差信号来执行色噪声降低处理。然而，如下所述，该处理与由色差噪声降低处理单元6352所执行的处理略微不同。

也就是，在图14所示的噪声降低处理单元638的色差噪声降低处理单元6382中，当降低(R—G)信号的噪声时，除了判断所关注的像素T和周围像素之间的(R—G)信号的电平差是否落入噪声阈值范围之内以外，色差噪声降低处理单元6382还判断与(R—G)信号位于相同位置处的周围像素和所关注的像素T之间的(B—G)信号的电平差是否落入噪声阈值范围之内。如果电平差落入噪声阈值范围之内，那么色差噪声降低处理单元6382选择(R—G)信号的该周围像素作为平均化处理的对象。

类似的，当降低(B—G)信号的噪声时，除了判断所关注的像素T和周围像素之间的(B—G)信号的电平差是否落入噪声阈值范围之内以外，色差噪声降低处理单元6382还判断与(B—G)信号位于相同位置处的周围像素和所关注的像素T之间的(R—G)信号的电平差是否落入噪声阈值范围之内。如果电平差落入噪声阈值范围之内，那么色差噪声降低处理单元6382选择(B—G)信号的该周围像素作为平均化处理的对象。

以这种方式，如图14中的样式(4A)和(4B)所示出的，可以从通过图14中的样式(3A)和(3B)而示出的色差信号获得具有经降低的色噪声的色差信号。

为了通过考虑画面的边缘部分来更精确地降低噪声，如图14中的虚线箭头所示出的，使用G信号的信号电平。

也就是，为了降低(R—G)信号的噪声，当(R—G)信号的所关注的像素T和周围像素之间的(B—G)信号的电平差落入噪声阈值范围之内并且(R—G)信号的所关注的像素T和周围像素之间的G信号的电平差落入噪声阈值范围之内时，选择(R—G)信号的周围信号作为平均化处理的对象。类似地，为了降低(B—G)信号的噪声，通过除(B—G)信号之外还使用(R—G)信号和G信号来应用ε滤波器。

以这种方式，如针对图7所示的噪声降低处理单元635所描述的那样，在处理画面的边缘部分时，具有差别很大的颜色的不必要像素的信号成分可以从平滑处理的对象中被去除，因此，可以防止颜色蔓延和颜色缺失。

如上所述，一般地，在第二示例中所使用的去马赛克处理单元1063的噪声降低处理单元638中，如图15A和15B所示，为了降低色噪声而使用在相同像素位置处的(R—G)信号和(B—G)信号。此外，如图15C所示，考虑了在相同像素位置处的G信号。因此，即使当利用(R—G)信号和(B—G)信号的任一个来降低色噪声时，色噪声也可以通过考虑三原色R、G和B而从色差信号中被精确地降低。

噪声降低处理单元的修改

图16是示出噪声降低处理单元638的另一示例性配置的框图。当为了精确降低色噪声而判断将被选择作为平滑操作的对象的像素时，图14所示的噪声降低处理单元638的色差噪声降低处理单元6382不仅使用所关注的像素和周围像素之间的色差信号的电平差，而且使用所关注的像素和周围像素之间的G信号的电平差。如果两个电平差的每个都落入预定的阈值范围之内，那么色差噪声降低处理单元6382将周围像素用于用以对所关注的像素的电平进行平滑的平均化处理。

然而，如果使用G信号，那么例如黑色部分和红色部分之间的边缘可能不被检测为边缘。也就是，虽然G信号具有强的亮度成分，但是该亮度成分不是纯亮度信号。因此，当红颜色和黑颜色被呈现时，两种颜色包括相同的G信号的量。因此，很难仅通过使用G信号就检测到边缘。

因此，在图16所示的噪声降低处理单元638的另一示例中，从G信号和色差信号(R—G)和(B—G)来生成亮度信号Y和色差信号Cb和Cr。在此之后，还通过利用亮度信号Y来对色差信号Cb和Cr执行噪声降低处理。随后，亮度信号Y和色差信号Cb和Cr被转换回原来的G信号和色差信号(R—G)和(B—G)。

也就是，如图16所示，该示例中的噪声降低处理单元638包括Y/C转换单元6383、亮度噪声降低处理单元6384、色差噪声降低处理单元6385和逆Y/C转换单元6386。Y/C转换单元6383执行Y/C转换，其中G信号和色差信号(R—G)和(B—G)被转换为亮度信号Y和色差信号Cb和Cr。亮度噪声降低处理单元6384对亮度信号Y执行噪声降低处理。色差噪声降低处理单元6385对色差信号Cb和Cr执行噪声降低处理。逆Y/C转换单元6386将具有经降低的噪声的亮度信号Y和色差信号Cb和Cr转换回原G信号和色差信号(R—G)和(B—G)。

从G内插单元631输出的G信号(参见图16中的样式(1))和从色差生成单元632输出的色差信号(R—G)(参见图16中的样式(4A))和(B—G)(参见图16中的样式(4B))被供应到Y/C转换单元6383。Y/C转换单元6383然后将这些信号转换为亮度信号Y(参见图16中的样式(2))、色差信号Cb(参见图16中的样式(5A))和色差信号Cr(参见图16中的样式(5B))。亮度信号Y然后被供应到亮度噪声降低处理单元6384。色差信号Cb和Cr然后被供应到色差噪声降低处理单元6385。

亮度噪声降低处理单元6384对所供应的亮度信号Y执行噪声降低处理。如在上述示例中那样，亮度噪声降低处理单元6384利用ε滤波器来执行噪声降低处理。可替代地，亮度噪声降低处理单元6384将Y信号分为高频侧(高频成分)和低频侧(低频成分)。亮度噪声降低处理单元6384然后对高频成分执行核化处理和限制处理，并且利用ε滤波器对低频成分执行处理。因此，亮度噪声降低处理单元6384对高频侧和低频侧执行不同的噪声降低处理。经过了由亮度噪声降低处理单元6384执行的噪声降低处理的亮度信号Y被供应到逆Y/C转换单元6386。

为了降低色差信号Cb的噪声，如果色差信号Cb的像素和周围像素之间的色差信号Cr和亮度信号Y的每个的电平差都落入噪声阈值范围之内，那么色差噪声降低处理单元6385选择色差信号Cb的该周围像素作为平均化处理的对象。类似地，为了降低色差信号Cr的噪声，不仅利用色差信号Cr而且利用色差信号Cb和亮度信号Y来应用ε滤波器。经过了由色差噪声降低处理单元6385执行的噪声降低处理的色差信号Cb和Cr被供应到逆Y/C转换单元6386。

随后，逆Y/C转换单元6386从经过了噪声降低处理的、所供应的亮度信号Y和色差信号Cb和Cr复原G信号、(R—G)信号和(B—G)信号。逆Y/C转换单元6386然后输出所复原的信号。

对于要处理的标准清晰度(SD)图像信号和高清晰度(HD)图像信号，由Y/C转换单元6383执行的转换处理是不同的。图17示出用于根据图像信号的类型来执行Y/C转换处理的计算表达式。也就是，当处理SD图像信号时，利用图17所示的计算表达式(1)、(2)和(3)来将G信号、(R—G)信号和(B—G)信号转换为亮度信号Y和色差信号Cb和Cr。不同地，当处理HD图像信号时，利用图17所示的计算表达式(4)、(5)和(6)来将G信号、(R—G)信号和(B—G)信号转换为亮度信号Y和色差信号Cb和Cr。

此外，如果使用图16所示的噪声降低处理单元638，那么如上所述，在由色差噪声降低处理单元6385利用ε滤波器所执行的色差噪声降低处理中，获得所关注的像素和周围像素之间的亮度信号Y的电平差。因此，能够在保持画面边缘的同时实现噪声降低。此外，因为能够对最终表示颜色的色差信号Cb和Cr执行噪声降低，所以色噪声可以被有效地降低。

此外，如上所述，具有图16所示的配置的噪声降低处理单元638被设置于去马赛克处理单元1063中。因此，噪声降低处理单元638并不在很大程度上改变图像拾取装置100的配置并且不对控制单元110施加很大的负担。

此外，在具有图16所示的配置的噪声降低处理单元638中，亮度噪声降低处理单元6384还对亮度信号Y执行噪声降低处理。然而，可以不执行对亮度信号Y的噪声降低处理。在Y/C转换完成之后，噪声降低处理可以被执行。

从图7所示的噪声降低处理单元635和图14所示的噪声降低处理单元638的配置可以看出，根据本实施例，确定在哪个位置执行色噪声降低处理很重要。也就是，通过至少在色差内插处理完成之前的位置处(即，如在图7中所描述的，紧接在色差被生成之后的位置，或者，如在图14中所描述的，紧接在通过分别对具有R信号的像素和具有B信号的像素进行内插而生成了(R—G)信号和(B—G)信号之后的位置)从色差信号(R—G)和(B—G)中去除噪声，能够有效地降低色噪声。

此外，虽然通过参考其中将ε滤波器用于噪声降低处理的情况而描述了前述实施例，但是本发明并不局限于此。例如，即使当小波变换或双边滤波器被用于噪声降低处理中，色噪声也能够被有效地降低。

第二实施例

Clearvid排列的滤色器

虽然通过参考如下的情况描述了前述实施例，其中具有Bayer排列的颜色编码的滤色器被用于具有图1所示配置的图像拾取装置100中的图像传感器件单元102的固态传感器件，但是本发明并不局限于此。例如，前述实施例可以被应用于这样的情况：其中使用另一种类型的排列(例如Clearvid排列)的固态图像传感器件被采用。

图18A和图18B示出滤色器的颜色编码。如上所述或者如图18A所示，Bayer排列包括这样的行：每个都包括在水平方向上交替出现的R和G(即，RGRG...)，以及每个都包括在水平方向上交替出现的G和B(即，GBRB...)。这两种类型的行在垂直方向上交替排列，并且G像素、B像素和R像素的个数比为2：1：1。

不同地，如图18B所示，与Bayer排列相比，像素区域增大从而使得灵敏特性得到改善。此外，通过将排列中的每个像素旋转45度，能够实现高清晰度图像所需的高分辨率。G像素、B像素和R像素的个数比例如是6：1：1。本实施例可以被应用于甚至是这样的情况：其中对输出自包括具有Clearvid排列的滤色器的固态图像传感器件的图像数据进行处理。

在第二实施例中，如图18B所示，第二实施例被应用于包括如下的固态图像传感器件的图像拾取装置的去马赛克处理单元，所述固态图像传感器件使用具有Clearvid排列的滤色器。也就是，与第一实施例类似的，通过参考具有如图1和图2所示的配置的图像拾取装置来给出对第二实施例的描述。然而，在图像传感器件单元102中使用的固态图像传感器件包括具有Clearvid排列的滤色器。

去马赛克处理单元1063的处理的第一示例性配置和概述(Clearvid排列)

图19是示出当如图1所示的图像拾取装置100的图像传感器件单元102中所使用的固态图像传感器件使用具有Clearvid排列的滤色器时，如图2所示的相机信号处理单元106的去马赛克处理单元1063的处理的第一示例性配置和概述的框图。也就是，图19是示出处理从根据第二实施例的Clearvid排列输出的图像信号的去马赛克处理单元1063的处理的第一示例性配置和概述的框图。

从图19和图3的比较中可以看出，图19所示的去马赛克处理单元1063具有与图3所示的去马赛克处理单元1063类似的配置。去马赛克处理单元1063包括G内插单元631、色差生成单元632、色差内插单元633和G回加单元634。此外，去马赛克处理单元1063包括被置于图19中用虚线围起的位置A处的，即紧接着G内插单元631和色差生成单元632的下游处的噪声降低处理单元635。

如图19所示，因为具有Clearvid排列的图像数据被输入，所以这些处理单元中要处理的信号的格式与在图3所示的去马赛克处理单元1063中所处理的那些信号格式略有不同。也就是，如图19中的样式(1)所示，具有Clearvid排列的图像数据被供应到去马赛克处理单元1063的G内插单元631和色差生成单元632。

如图19中的样式(2)所示，G内插单元631基于如图19中的样式(1)所示的配置的图像数据的G信号，对图像的每个像素的G信号进行内插。此外，如图19中的样式(3)所示，色差生成单元632针对每个具有R信号的像素生成色差信号(R—G)，并且针对每个具有B信号的像素生成色差信号(B—G)。

随后，如将在下文中详细描述的，被置于图19所示的位置A处的噪声降低处理单元635从输出自G内插单元631的G信号以及输出自色差生成单元632的(R—G)信号和(B—G)信号中降低噪声。在此之后，具有经降低的噪声的(R—G)信号和(B—G)信号被供应到色差内插单元633。

色差内插单元633基于被供应到色差内插单元633的、如图19中的样式(3)所示的色差信号，生成图像的每个像素的(R—G)信号(参见图19中的样式(4A))和(B—G)信号(参见图19中的样式(4B))。色差内插单元633然后将所生成的信号供应到G回加单元634。G回加单元634将从噪声降低处理单元635(将在下文中进行描述)中输出的G信号加回到(R—G)信号(参见图19中的样式(4A))和(B—G)信号(参见图19中的样式(4B))。因此，G回加单元634生成图像的每个像素的R信号和B信号，并且随后输出R信号和B信号。以这种方式，图19所示的去马赛克处理单元1063输出图像的每个像素的G信号(参见图19中的样式(2))、R信号(参见图19中的样式(5A))和B信号(参见图19中的样式(5B))。

噪声降低处理单元635的示例性配置

图20是示出被置于图19所示的位置A处的噪声降低处理单元635的示例性配置的框图。如图20所示，该示例中的噪声降低处理单元635包括降低被混合到G信号中的噪声的G噪声降低处理单元6351和降低被混合到色差信号中的噪声的色差噪声降低处理单元6352。也就是，图20所示的噪声降低处理单元635具有与图7所示的噪声降低处理单元635的配置类似的配置。然而，在色差噪声降低处理单元6352中处理的信号的格式不同。

由G噪声降低处理单元6351执行的处理概述

通过G内插单元631的内插而生成的图像的每个像素的G信号(参见图20中示出的样式(1))随后被供应到G噪声降低处理单元6351。G噪声降低处理单元6351利用上述的ε滤波器来降低包含在G信号中的噪声成分，并且输出具有经降低的噪声的G信号(参见图20中示出的样式(2))。

可替代地，为了降低噪声，G噪声降低处理单元6351可以将G信号分为高频侧(高频成分)和低频侧(低频成分)。G噪声降低处理单元6351然后可以对高频成分执行核化处理和限制处理，并且利用ε滤波器对低频成分执行处理。因此，G噪声降低处理单元6351可以对高频侧和低频侧执行不同的噪声降低处理。

通过使用该替代方法，即使当由于低亮度致使画面成分的电平接近噪声成分的电平时，也可以在保持由经处理的图像信号所形成的画面的特征的同时，执行噪声抑制(噪声降低)而不会使产生孤立点。

与上述示例类似的，在该示例中的去马赛克处理单元1063中，取代在去马赛克处理单元1063中执行噪声降低处理，可以在执行去马赛克处理之前执行对G信号的噪声降低处理。可替代地，可以对经过了由图2所示的Y/C转换单元1066所执行的Y/C转换的Y信号(亮度信号)执行噪声降低处理。也就是，图7所示的G噪声降低处理单元6351不一定被设置用于噪声降低处理单元635。为了有效地降低在图像信号中所包含的色噪声，存在色差噪声降低处理单元6352就足够了。在下文中将更详细地描述色差噪声降低处理单元6352。

由色差噪声降低处理单元6352执行的处理概述

由色差生成单元632生成的色差信号(参见图20中的样式(3))被供应到色差噪声降低处理单元6352。也就是，如图20中的样式(3)所示，色差生成单元632生成具有R信号的像素的(R—G)信号和具有B信号的像素的(B—G)信号，并且将所生成的信号供应到噪声降低处理单元635的色差噪声降低处理单元6352。随后，色差噪声降低处理单元6352针对相同颜色，利用ε滤波器来去除包含在(R—G)信号和(B—G)信号中的噪声成分(色噪声成分)。

然而，如果仅基于色差信号(R—G)和(B—G)来应用ε滤波器，那么颜色蔓延可能出现在画面的边缘部分中或者颜色可能在高频部分中缺失。

因此，在色差噪声降低处理单元6352中，当应用ε滤波器时，判断所关注的像素和周围像素之间的电平差是否在噪声阈值范围之内。此外，对于色差信号(R—G)和(B—G)，从其获得色差信号的周围像素和所关注的像素之间的G信号的电平差被获得。如果G信号的电平差落入噪声阈值范围之内，那么该周围像素变为色差信号的平均化处理的对象。

以这种方式，通过当利用ε滤波器从色差信号中去除色噪声分量时进一步使用G信号的电平，色噪声成分能够被精确去除，并且图像的适当颜色能够被再现。

去马赛克处理单元1063的处理的第二示例性配置和概述(Clearvid排列)

图21是示出当在图1所示的图像拾取装置100的图像传感器件单元102中所使用的固态图像传感器件使用具有Clearvid排列的滤色器时，图2所示的相机信号处理单元106的去马赛克处理单元1063的处理的第二示例性配置和概述的框图。也就是，图21是示出处理从根据第二实施例的Clearvid排列输出的图像信号的去马赛克处理单元1063的处理的第二示例性配置和概述的框图。

如图21所示，该示例中的去马赛克处理单元1063包括第一色差内插单元636、第二色差内插单元637和被置于第一色差内插单元636和第二色差内插单元637之间的噪声降低处理单元638。其他配置与图19所示的去马赛克处理单元1063的配置类似。为了简便起见，使用以上描述图19中的第一去马赛克处理单元1063时所使用的相同编号来描述图21中示出的第二去马赛克处理单元，并且因此，不再重复对它们的详细描述。

此外，在图21所示的去马赛克处理单元1063中，去马赛克处理单元1063的色差内插单元633的功能被一分为二。也就是，由第一色差内插单元636和第二色差内插单元637来实现色差内插功能。如图21中的样式(3)所示出的，色差生成单元632生成并输出具有R信号的像素的(R—G)信号以及具有B信号的像素的(B—G)信号。

由色差生成单元632生成的色差信号(R—G)和(B—G)被供应到第一色差内插单元636。如图21中的样式(4A)和(4B)所示，通过利用周围的(B—G)信号对甚至是针对其生成了(R—G)信号的像素进行内插，来生成(B—G)信号。此外，通过利用周围的(R—G)信号对甚至是针对其生成了(B—G)信号的像素进行内插，来生成(R—G)信号。

随后，第二色差内插单元637从具有色差信号(即，通过第一色差内插单元636的内插而生成的色差信号(参见图21中的样式(4A)和(4B)))的周围像素，对不具有色差信号的像素的色差信号(R—G)(参见图21中的样式(5A))和色差信号(B—G)(参见图21中的样式(5B))进行内插。由G回加单元634执行的后续处理与在图19中所描述的相同。

在具有其中色差内插单元被分为第一色差内插单元636和第二色差内插单元637的配置的去马赛克处理单元1063中，噪声降低处理单元被置于第一色差内插单元636和第二色差内插单元637之间。

噪声降低处理单元638的示例性配置

图22是示出被置于图21所示的位置B处的噪声降低处理单元638的示例性配置的框图。与图20所示的噪声降低处理单元635类似的，噪声降低处理单元638包括G噪声降低处理单元6381和色差噪声降低处理单元6382。

由G噪声降低处理单元6381执行的处理概述

G噪声降低处理单元6381处理G信号，该G信号的形式与图20所示的G噪声降低处理单元6351中的相同。因此，执行与图20所示的G噪声降低处理单元6351的处理类似的处理。也就是，G噪声降低处理单元6381利用ε滤波器来对G信号执行噪声降低处理。可替代地，G噪声降低处理单元6381将G信号分为高频侧(高频成分)和低频侧(低频成分)。G噪声降低处理单元6381然后对高频成分执行核化处理和限制处理，并且利用ε滤波器来对低频成分执行处理。因此，G噪声降低处理单元6381对高频侧和低频侧执行不同的噪声降低处理。

由色差噪声降低处理单元6382执行的处理概述

与图20所示的噪声降低处理单元635的色差噪声降低处理单元6352类似的，色差噪声降低处理单元6382利用色差信号来执行色噪声降低处理。然而，如下所述，该处理与由图20所示的色差噪声降低处理单元6352所执行的处理略微不同。

也就是，在图22所示的噪声降低处理单元638的色差噪声降低处理单元6382中，当降低(R—G)信号的噪声时，除了判断所关注的像素T和周围像素之间的(R—G)信号的电平差是否落入噪声阈值范围之内以外，色差噪声降低处理单元6382还判断与(R—G)信号位于相同位置处的周围像素和所关注的像素T之间的(B—G)信号的电平差是否落入噪声阈值范围之内。如果电平差落入噪声阈值范围之内，那么色差噪声降低处理单元6382选择(R—G)信号的该周围像素作为平均化处理的对象。

类似的，当降低(B—G)信号的噪声时，除了判断所关注的像素T和周围像素之间的(B—G)信号的电平差是否落入噪声阈值范围之内以外，色差噪声降低处理单元6382还判断与(B—G)信号位于相同位置处的周围像素和所关注的像素T之间的(R—G)信号的电平差是否落入噪声阈值范围之内。如果电平差落入噪声阈值范围之内，那么色差噪声降低处理单元6382选择(B—G)信号的该周围像素作为平均化处理的对象。

以这种方式，如图22中的样式(4A)和(4B)所示出的，可以从通过图22中的样式(3A)和(3B)而示出的色差信号获得具有经降低的色噪声的色差信号。

为了通过考虑画面的边缘部分来更精确地降低噪声，如图22中的虚线箭头所示出的，使用G信号的信号电平。

也就是，为了降低(R—G)信号的噪声，当(R—G)信号的所关注的像素T和周围像素之间的(B—G)信号的电平差落入噪声阈值范围之内并且(R—G)信号的所关注的像素T和周围像素之间的G信号的电平差落入噪声阈值范围之内时，选择(R—G)信号的该周围信号作为平均化处理的对象。类似地，为了降低(B—G)信号的噪声，通过除(B—G)信号之外还使用(R—G)信号和G信号来应用ε滤波器。

以这种方式，如针对图7所示的噪声降低处理单元635所描述的那样，在处理画面的边缘部分时，具有差别很大的颜色的不必要像素的信号成分可以从平滑处理的对象中被去除，因此，可以防止颜色蔓延和颜色缺失。

相机信号处理单元的其他配置

根据上述实施例的图像拾取装置100的相机信号处理单元106具有如图2所示的配置。相机信号处理单元106的去马赛克处理单元1063降低色噪声。然而，除由去马赛克处理单元1063所执行的色噪声降低处理之外，还可以在去马赛克处理单元1063的上游处执行另一噪声降低处理。

图23是相机信号处理单元106的另一示例的框图。使用以上描述图2中的相机信号处理单元106时所使用的相同编号来描述图23，并且因此，不再重复对它们的详细描述。如图23所示，除去马赛克处理中的噪声降低处理之外，如噪声降低处理单元1068所示，还可以将噪声降低处理添加到去马赛克处理的上游处的适当点。以这种方式，噪声降低处理可以与由去马赛克处理单元1063所执行的色噪声降低处理一起被执行。在那时，因为在去马赛克处理单元1063中通过使用相关关系的滤波处理处理了G信号，所以很难从画面信号成分中分离出噪声信号成分。因此，噪声降低处理单元1068可以在不对R和B信号执行任何处理的同时，或者在对R和B信号执行轻微的噪声降低处理的同时，仅降低原始状态的G信号的噪声。

第三实施例

使用色比信号(colorratio signal)

虽然已经通过参考通过对色差信号(R—G)和(B—G)执行噪声降低处理来降低色噪声的情况描述了前述实施例，其中，但是可以利用色比信号代替色差信号来执行类似处理。因此，在以下描述的第三实施例中，使用色比信号来代替色差信号。此外，当第三实施例被应用于具有在图1和图2中所描述的配置的图像拾取装置时，给出对第三实施例的描述。

去马赛克处理单元1063的处理的第一示例性配置和概述(使用色比信号)

图24是示出当使用色比信号代替色差信号时，图2所示的相机信号处理单元106的去马赛克处理单元1063的处理的第一示例性配置和概述的框图。也就是，图24是示出根据第三实施例的去马赛克处理单元1063的处理的第一示例性配置和概述的框图。通过参考其中处理Bayer排列的图像数据的情况来给出对第三实施例的描述。

如图24所示，去马赛克处理单元1063包括G内插单元6301、色比生成单元6302、色比内插单元6303和G回乘(multiply-back)单元6304。此外，去马赛克处理单元1063包括被置于图24中用虚线围起的位置A处的，即紧接着G内插单元6301和色比生成单元6302的下游处的噪声降低处理单元6305。

如图24中的样式(1)所示，Bayer排列的图像数据被供应到该示例中的去马赛克处理单元1063的G内插单元6301和色比生成单元6302。随后，如图24中的样式(2)所示，G内插单元6301基于如图24中的样式(1)所示的配置的图像数据的G信号来内插图像的每个像素的G信号。

此外，如图24中的样式(3)所示，色比生成单元6302生成R/G信号(色比信号)，该R/G信号表示如图24中的样式(1)所示的配置的图像数据的、R信号的电平与具有R信号的像素的G信号的电平的比率。此外，色比生成单元6302生成B/G信号(色比信号)，该B/G信号表示B信号的电平与具有B信号的像素的G信号的电平的比率。

随后，被置于图24中的位置A处的噪声降低处理单元6305对从G内插单元6301输出的G信号以及从色比生成单元6302输出的R/G信号和B/G信号执行噪声降低处理，如将在下文中进行描述的。在此之后，包括经降低的噪声的R/G信号和B/G信号被供应到色比内插单元6303。

色比内插单元6303基于被供应到色比内插单元6303的、如图24中的样式(3)所示的色比信号，生成图像的每个像素的R/G信号(参见图24中的样式(4A))和B/G信号(参见图24中的样式(4B))。色差内插单元6303然后将所生成的信号供应到G回乘单元6304。G回乘单元6304将从噪声降低处理单元6305(将在下文中进行描述)中输出的G信号乘回到从色比内插单元6303输出的R/G信号(参见图24中的样式(4A))和B/G信号(参见图24中的样式(4B))。这样，G回乘单元6304生成图像的每个像素的R信号和B信号，并且随后输出R信号和B信号。以这种方式，图24所示的去马赛克处理单元1063输出图像的每个像素的G信号(参见图24中的样式(2))、R信号(参见图24中的样式(5A))和B信号(参见图19中的样式(5B))。

噪声降低处理单元6305的示例性配置

图25是示出被置于图24所示的位置A处的噪声降低处理单元6305的示例性配置的框图。如图25所示，该示例中的噪声降低处理单元6305包括降低被混合到G信号中的噪声的G噪声降低处理单元6305A和降低被混合到色比信号中的噪声的色比噪声降低处理单元6305B。

由G噪声降低处理单元6305A执行的处理概述

通过G内插单元6301的内插而生成的图像的每个像素的G信号(参见图25中示出的样式(1))随后被供应到G噪声降低处理单元6305A。G噪声降低处理单元6305A利用上述的ε滤波器来降低包含在G信号中的噪声成分，并且输出具有经降低的噪声的G信号(参见图25中示出的样式(2))。

可替代地，为了降低噪声，G噪声降低处理单元6305A可以将G信号分为高频侧(高频成分)和低频侧(低频成分)。G噪声降低处理单元6305A然后可以对高频成分执行核化处理和限制处理，并且利用ε滤波器对低频成分执行处理。因此，G噪声降低处理单元6305A可以对高频侧和低频侧执行不同的噪声降低处理。

通过使用该替代方法，即使当由于低亮度致使画面成分的电平接近噪声成分的电平时，也可以在保持由经处理的图像信号所形成的画面的特征的同时，执行噪声抑制(噪声降低)而不会使产生孤立点。

与上述示例类似的，在该示例中的去马赛克处理单元1063中，取代在去马赛克处理单元1063中执行噪声降低处理，可以在执行去马赛克处理之前执行对G信号的噪声降低处理。可替代地，可以对经过了由图2所示的Y/C转换单元1066所执行的Y/C转换的Y信号(亮度信号)执行噪声降低处理。也就是，图25所示的G噪声降低处理单元6305A不一定被设置用于噪声降低处理单元6305。为了有效地降低在图像信号中所包含的色噪声，存在色比噪声降低处理单元6305B就足够。在下文中将更详细地描述色比噪声降低处理单元6305B。

由色比噪声降低处理单元6305B执行的处理概述

由色比生成单元6302生成的色比信号(参见图25中的样式(3))被供应到色比噪声降低处理单元6305B。也就是，如图25中的样式(3)所示，色比生成单元6302生成具有R信号的像素的R/G信号和具有B信号的像素的B/G信号，并且将所生成的信号供应到噪声降低处理单元6305的色比噪声降低处理单元6305B。随后，色比噪声降低处理单元6305B针对相同颜色，利用ε滤波器来去除包含在R/G信号和B/G信号中的噪声成分(色噪声成分)。

然而，如果仅基于色比信号R/G和B/G来应用ε滤波器，那么颜色蔓延可能出现在画面的边缘部分中或者颜色可能在高频部分中缺失。

因此，在色比噪声降低处理单元6305B中，当应用ε滤波器时，判断所关注的像素和周围像素之间的电平差是否落入色比信号R/G和B/G的噪声阈值范围之内。此外，在G信号方面，从其获得色比信号的周围像素和所关注的像素之间的G信号的电平差被获得。如果G信号的电平差落入噪声阈值范围之内，那么该周围像素变为色比信号的平均化处理的对象。

以这种方式，通过当利用ε滤波器从色比信号中去除色噪声分量时进一步使用G信号的电平，色噪声成分能够被精确去除，并且图像的适当颜色能够被再现。

去马赛克处理单元1063的处理的第二示例性配置和概述(使用色比信号)

图26是示出当使用色比信号代替色差信号时，图2所示的相机信号处理单元106的去马赛克处理单元1063的处理的第二示例性配置和概述的框图。也就是，图26是示出根据第三实施例的去马赛克处理单元1063的处理的第二示例性配置和概述的框图。在此，通过参考其中处理具有Bayer排列的图像数据的情况来给出描述。

如图26所示，该示例中的去马赛克处理单元1063包括第一色比内插单元6306、第二色比内插单元6307和被置于第一色比内插单元6306和第二色比内插单元6307之间的噪声降低处理单元6308。其他配置与图24所示的去马赛克处理单元1063的配置类似。为了简便起见，使用以上描述图24中的第一去马赛克处理单元1063时所使用的相同编号来描述图26中示出的第二去马赛克处理单元，并且因此，不再重复对它们的详细描述。

此外，在图26所示的去马赛克处理单元1063中，图24所示的去马赛克处理单元1063的色比内插单元6303的功能被一分为二。也就是，由第一色比内插单元6306和第二色比内插单元6307来实现色比内插功能。如图26中的样式(3)所示出的，色比生成单元6302生成并输出具有R信号的像素的R/G信号以及具有B信号的像素的B/G信号。

由色比生成单元6302生成的色比信号R/G和B/G被供应到第一色比内插单元6306。如图26中的样式(4A)和(4B)所示，通过利用周围的B/G信号对甚至是针对其生成了R/G信号的像素进行内插，来生成B/G信号。此外，通过利用周围的R/G信号对甚至是针对其生成了B/G信号的像素进行内插，来生成R/G信号。

随后，第二色比内插单元6307从具有色比信号的周围像素，也就是，具有通过第一色比内插单元6306的内插而生成的色比信号(参见图26中的样式(4A)和(4B))的周围像素，对不具有色比信号的像素的色比信号R/G(参见图26中的样式(5A))和色比信号B/G(参见图26中的样式(5B))进行内插。由G回加单元634执行的后续处理与在图24中所描述的相同。

在具有其中色比内插单元被分为第一色比内插单元6306和第二色比内插单元6307的配置的去马赛克处理单元1063中，噪声降低处理单元被置于第一色比内插单元6306和第二色比内插单元6307之间。

噪声降低处理单元6308的示例性配置

图27是示出被置于图26所示的位置B处的噪声降低处理单元6308的示例性配置的框图。与图25所示的噪声降低处理单元6305类似的，噪声降低处理单元6308包括G噪声降低处理单元6308A和色比噪声降低处理单元6308B。

由G噪声降低处理单元6308A执行的处理概述

G噪声降低处理单元6308A处理G信号，该G信号的形式与图25所示的G噪声降低处理单元6305A中的相同。因此，执行与图25所示的G噪声降低处理单元6305A的处理类似的处理。也就是，G噪声降低处理单元6308A利用ε滤波器来对G信号执行噪声降低处理。可替代地，G噪声降低处理单元6308A将G信号分为高频侧(高频成分)和低频侧(低频成分)。G噪声降低处理单元6308A然后对高频成分执行核化处理和限制处理，并且利用ε滤波器来对低频成分执行处理。因此，G噪声降低处理单元6308A对高频侧和低频侧执行不同的噪声降低处理。

由色比噪声降低处理单元6308B执行的处理概述

与图25所示的噪声降低处理单元6305的色比噪声降低处理单元6305B类似的，色比噪声降低处理单元6308B利用色比信号来执行色噪声降低处理。然而，如下所述，该处理与由图25所示的色比噪声降低处理单元6305B所执行的处理略微不同。

也就是，在图27所示的噪声降低处理单元6308的色比噪声降低处理单元6308B中，当降低R/G信号的噪声时，除了判断所关注的像素T和周围像素之间的R/G信号的电平差是否落入噪声阈值范围之内以外，色比噪声降低处理单元6308B还判断与R/G信号位于相同位置处的周围像素和所关注的像素T之间的B/G信号的电平差是否落入噪声阈值范围之内。如果电平差落入噪声阈值范围之内，那么色比噪声降低处理单元6308B选择R/G信号的该周围像素作为平均化处理的对象。

类似的，当降低B/G信号的噪声时，除了判断所关注的像素T和周围像素之间的B/G信号的电平差是否落入噪声阈值范围之内以外，色比噪声降低处理单元6308B还判断与B/G信号位于相同位置处的周围像素和所关注的像素T之间的R/G信号的电平差是否落入噪声阈值范围之内。如果电平差落入噪声阈值范围之内，那么色比噪声降低处理单元6308B选择B/G信号的该周围像素作为平均化处理的对象。

以这种方式，如图27中的样式(4A)和(4B)所示出的，可以从通过图27中的样式(3A)和(3B)而示出的色比信号获得具有经降低的色噪声的色比信号。

为了通过考虑画面的边缘部分来更精确地降低噪声，如图27中的虚线箭头所示出的，使用G信号的信号电平。

也就是，为了降低R/G信号的噪声，当R/G信号的所关注的像素T和周围像素之间的B/G信号的电平差落入噪声阈值范围之内并且R/G信号的所关注的像素T和周围像素之间的G信号的电平差落入噪声阈值范围之内时，选择R/G信号的该周围信号作为平均化处理的对象。类似地，为了降低B/G信号的噪声，通过除使用B/G信号之外还使用R/G信号和G信号来应用ε滤波器。

以这种方式，如针对图7所示的噪声降低处理单元635所描述的那样，在处理画面的边缘部分时，具有差别很大的颜色的不必要像素的信号成分可以从平滑处理的对象中被去除，因此，可以防止颜色蔓延和颜色缺失。此外，虽然通过参考其中处理具有Bayer排列的图像数据的情况描述了第三实施例，但是本发明并不局限于此。例如，如在第三实施例中，可以在处理具有Clearvid排列的图像数据时使用色比信号。

由去马赛克处理单元所执行的处理综述

从上述第一到第三实施例中可以看出，在去马赛克处理单元1063中能够有效地降低色噪声。在去马赛克处理单元1063中可以采用两种方法。在第一种方法中，如在图6、图9和图24中所描述的，在紧接着诸如色差信号或色比信号之类的颜色相关信号被生成的位置的下游处，在色差信号或色比信号中所包含的色噪声被降低。

在第二种方法中，如在图13、图21和图26中所描述的，当通过利用诸如色差信号或色比信号之类的、所生成的与颜色相关的信号对图像的每个像素进行内插，来生成色差信号或色比信号时，设置了第一内插处理和在第一内插处理完成之后执行的第二内插处理。在第一内插处理中，对于针对其生成了色差信号或色比信号的像素，通过内插来生成不同颜色的色差信号或色比信号。在第二内插处理中，对于图像的每个像素，通过内插来生成不同颜色的色差信号或色比信号。因此，从经过了第一内插处理的色差信号或色比信号中降低色噪声。

在下文中，通过参考流程图来描述使用第一方法的去马赛克处理和使用第二方法的去马赛克处理。

根据第一方法的去马赛克处理

图28是示出使用上述的第一方法的去马赛克处理的流程图。由在图6、图19和图24中示出的去马赛克处理单元来执行图28所示的流程图的处理。如上所述，两种类型的信号可以被用于降低色噪声：色差信号和色比信号。主要通过参考色差信号来给出以下的描述。然而，该描述可以被类似地应用于其中使用色比信号的情况。

当执行去马赛克处理时，首先从具有原始数据格式的输入图像数据生成作为颜色相关信号的色差信号(色比信号)(步骤S101)。随后，诸如ε滤波器之类的预定技术被应用于所生成的色差信号(色比信号)以使得色噪声被降低(步骤S102)。

在此之后，利用具有经降低的噪声的色差信号(色比信号)来执行内插处理。这样，通过对图像的每个像素进行内插来生成色差信号(色比信号)(步骤S103)。随后，在考虑G信号的同时，针对在步骤S103中通过对图像的每个像素进行内插而生成色差信号(色比信号)，生成R信号和B信号(步骤S104)。

也就是，当处理色差信号((R—G)信号和(B—G)信号)时，G信号在步骤S104被回加。不同地，当处理色比信号(R/G信号和B/G信号)时，G信号在步骤S104被回乘。在此之后，通过输出针对图像的每个像素而生成的三原色信号R、G和B(步骤S105)，去马赛克处理完成。

虽然未在图28中示出，但是通过在步骤S101中对图像的每个像素进行内插而生成了G信号。如上所述，对于G信号，噪声降低处理可以执行或者可以不执行。

如上所述，如果紧接在色差信号或色比信号被生成之后对色差信号或色比信号执行色噪声降低处理，那么由于尚未执行内插处理，所以色差信号或色比信号不受内插处理影响。因此，色噪声可以被适当地降低。

此外，可以通过根据图28的流程图生成程序并且使CPU执行所生成的程序，来实现根据本发明实施例的去马赛克处理功能。也就是，也可以通过软件来实现根据本发明实施例的去马赛克处理。

根据第二方法的去马赛克处理

图29是示出使用上述的第二方法的去马赛克处理的流程图。由在图13、图21和图26中示出的去马赛克处理单元来执行图29所示的流程图的处理。与在第一方法中相同的，在第二方法中，两种类型的信号可以被用于降低色噪声：色差信号和色比信号。主要通过参考色差信号来给出以下的描述。然而，该描述可以被类似地应用于其中使用色比信号的情况。

当执行去马赛克处理时，首先从具有原始数据格式的输入图像数据生成作为颜色相关信号的色差信号(色比信号)(步骤S201)。随后，对于每个具有所生成的色差信号(色比信号)的像素，通过内插来生成基于不同颜色的色差信号(色比信号)(步骤S202)。

也就是，通过在步骤S201中所执行的处理，针对具有R信号的像素生成了(R—G)信号(R/G信号)，并且针对具有B信号的像素生成了(B—G)信号(B/G信号)。因此，在步骤S202所执行的处理中，针对具有所生成的(R—G)信号(所生成的R/G信号)的像素来生成(B—G)信号(B/G信号)，并且针对具有所生成的(B—G)信号(所生成的B/G信号)的像素来生成(R—G)信号(R/G信号)。该处理对应于对色差信号(色比信号)的第一内插处理。

在此之后，在步骤S203中，对经过了第一内插处理的色差信号(色比信号)执行色噪声降低处理，该第一内插处理在步骤S202中利用预定的方法(例如，ε滤波器)被执行。

随后，通过利用经过了色噪声降低处理的色差信号(色比信号)来执行内插处理，通过对图像的每个像素进行内插来生成色差信号(色比信号)(步骤S204)。在步骤S204中执行的对色差信号(色比信号)的内插处理对应于第二内插处理。

在此之后，在考虑相同像素的G信号的同时，针对通过步骤S204中的对图像的每个像素的内插而生成的色差信号(色比信号)，生成R信号和B信号(步骤S205)。也就是，当处理色差信号((R—G)信号和(B—G)信号)时，G信号在步骤S205被回加。不同地，当处理色比信号(R/G信号和B/G信号)时，G信号在步骤S205被回乘。在此之后，通过输出针对图像的每个像素而生成的三原色信号R、G和B(步骤S206)，去马赛克处理完成。

虽然未在图29中示出，但是通过在步骤S201中对图像的每个像素进行内插而生成了G信号。如上所述，对于G信号，噪声降低处理可以执行或者可以不执行。

如上所述，如果在作为颜色相关信号的色差信号或色比信号被生成之后对色差信号或色比信号执行色噪声降低处理，那么通过使用(R—G)信号(R/G信号)和(B—G)信号(B/G信号)，色噪声可以被精确地降低。

此外，可以通过根据图29的流程图生成程序并且使CPU执行所生成的程序，来实现根据本发明实施例的去马赛克处理功能。也就是，也可以通过软件来实现根据本发明实施例的去马赛克处理。

其他

在根据第一实施例的噪声降低处理单元638的可替代配置中，如图16所示，G信号和色差信号(R—G)和(B—G)被转换为亮度信号Y和色差信号Cr和Cb。在此之后，从亮度信号Y和色差信号Cr和Cb中降低色噪声。随后，具有经降低的色噪声的亮度信号Y和色差信号Cr和Cb被转换为G信号和色差信号(R—G)和(B—G)。然而，该处理不仅可以由根据第一实施例的噪声降低处理单元638来执行，而且可以由根据第一实施例的噪声降低处理单元635来执行。此外，该处理可以由根据第二实施例的噪声降低处理单元635和638以及根据第三实施例的噪声降低处理单元6305和6308来执行。

此外，如上所述，本发明的上述实施例可应用于处理通过单板固态图像传感器件而输入的图像数据的各种图像拾取装置，例如安装在移动电子装置(例如，数字视频相机、数字静态相机和手机)中的相机模块、图像读取器和扫描器。此外，本发明的上述实施例可应用于处理通过单板固态图像传感器件而输入并存储的原始数据的各种图像拾取装置。

此外，当图2中用双线示出的去马赛克处理单元1063被内建到集成电路(IC)中时，本发明的上述实施例可应用于去马赛克处理单元1063。此外，当相机信号处理单元106被内建到电路块中时，本发明的上述实施例可应用于相机信号处理单元106的去马赛克处理单元。

以下讨论权利要求的特征与本发明的上述实施例中所公开的具体元件之间的对应关系。权利要求中定义的图像传感器件对应于被安装在图1所示的图像传感器件单元102中的固态图像传感器件单元。权利要求中定义的去马赛克处理装置对应于在图2、3、6、7、12、13、19、21、24和26中所示出的去马赛克处理单元之一。

权利要求中定义的去马赛克处理装置的生成单元对应于每个示例中的去马赛克处理单元1063的色差生成单元632或色比生成单元6302。权利要求中定义的噪声降低单元对应于每个示例中的去马赛克处理单元1063的噪声降低处理单元635、638、6305或6308。

权利要求中定义的目标颜色信号对应于R信号或B信号。权利要求中定义的预定的其他颜色信号对应于G信号。权利要求中定义的第一内插单元对应于第一色差内插单元636或第一色比内插单元6306。权利要求中定义的第二内插单元对应于第二色差内插单元637或第二色比内插单元6307。

在权利要求中使用的术语“颜色相关信号”总的指代色差信号或色比信号。权利要求中定义的转换单元对应于Y/C转换单元6383。权利要求中定义的逆转换单元对应于逆Y/C转换单元6386。

虽然通过参考三原色信号R(红)、G(绿)和B(蓝)描述了前述实施例，但是本发明并不局限于此。近些年来，开发了除使用三原色的信号之外还使用祖母绿(emerald)色的信号的图像拾取装置。本发明的上述实施例也可应用于这样的图像拾取装置。

也就是，可以通过利用至少一个目标颜色信号和预定的其他颜色信号来执行计算，并且对将目标颜色信号与预定的其他颜色信号关联起来的诸如色差信号或色比信号之类的颜色相关信号执行色噪声降低处理，来实现本发明的实施例。

本领域中的技术人员应理解，根据设计需求和其他因素可以想到各种修改、组合、子组合和变更，只要它们落入随附权利要求书或其等价物的范围之内。

本发明包含与2007年12月21日递交到日本专利局的日本专利申请JP2007-330509相关的主题，该日本专利申请的全部内容通过引用被结合于此。

Claims (11)

1.一种图像拾取装置，包括：

图像传感器件，所述图像传感器件包括具有按预定顺序排列的多个不同颜色的像素的滤色器，所述图像传感器件接收被拍体的图像并输出包括所述多个不同颜色的颜色信号的图像信号；以及

去马赛克处理装置，用于从接收自所述图像传感器件的图像信号，针对图像的每个像素，生成不同颜色的颜色信号；

其中，所述去马赛克处理装置包括生成单元和噪声降低单元，所述生成单元利用目标颜色信号和预定的其他颜色信号来执行计算，以针对所述目标颜色信号的像素，生成将所述目标颜色信号与所述预定的其他颜色信号关联起来的颜色相关信号，其中所述目标颜色信号表示被包括在接收自所述图像传感器件的图像信号中的预定的目标颜色信号，并且所述噪声降低单元对由所述生成单元所生成的颜色相关信号执行噪声降低处理。

2.如权利要求1所述的图像拾取装置，其中，定义了多个类型的目标颜色信号，并且其中，所述去马赛克处理装置包括第一内插单元和第二内插单元，并且其中，所述第一内插单元使用从所述生成单元输出的颜色相关信号，针对每个类型的目标颜色信号的每个像素，生成使用不同类型的目标颜色信号的颜色相关信号，并且将所生成的颜色相关信号与已经从所述生成单元输出的颜色相关信号一起输出，并且所述第二内插单元针对所述图像的每个像素，利用从所述第一内插单元输出的多个颜色相关信号，生成多个类型的颜色相关信号，并且其中，所述噪声降低单元被置于所述第一内插单元和所述第二内插单元之间，并且所述噪声降低单元对从所述第一内插单元输出的颜色相关信号执行噪声降低处理，并将所述颜色相关信号供应到所述第二内插单元。

3.如权利要求1或2所述的图像拾取装置，其中，所述噪声降低单元在考虑所述预定的其他颜色信号的情况下对所述颜色相关信号执行噪声降低处理。

4.如权利要求1或2所述的图像拾取装置，其中，所述噪声降低单元包括用于将所述颜色相关信号转换为具有不同格式的其他颜色相关信号的转换装置，和用于将所述其他颜色相关信号转换为具有原格式的颜色相关信号的逆转换装置，并且其中，所述噪声降低单元对经所述转换装置转换的所述其他颜色相关信号执行噪声降低处理，利用所述逆转换装置将所述颜色相关信号转换为具有原格式的颜色相关信号，并且输出所述颜色相关信号。

5.如权利要求1或2所述的图像拾取装置，其中，所述颜色相关信号是由所述目标颜色信号的水平与所述其他颜色信号的水平之间的差表示的色差信号。

6.如权利要求1或2所述的图像拾取装置，其中，所述颜色相关信号是由所述目标颜色信号的水平与所述其他颜色信号的水平的比率表示的色比信号。

7.一种用于去马赛克处理中的降低色噪声的方法，所述去马赛克处理对从图像传感器件接收的图像信号执行，以针对图像的每个像素，生成颜色的颜色信号，所述图像传感器件包括具有按预定顺序排列的多个不同颜色的像素的滤色器，所述图像传感器件接收被拍体的图像并输出包括所述多个不同颜色的颜色信号的图像信号，所述方法包括以下步骤：

(a)利用目标颜色信号和预定的其他颜色信号来执行计算，以针对所述目标颜色信号的像素，生成将所述目标颜色信号与所述预定的其他颜色信号关联起来的颜色相关信号，其中所述目标颜色信号表示被包括在接收自所述图像传感器件的图像信号中的预定的目标颜色信号，以及

(b)对在步骤(a)中所生成的颜色相关信号执行噪声降低处理。

8.如权利要求7所述的方法，其中，定义了多个类型的目标颜色信号，并且其中，所述方法还包括(c)对每个类型的目标颜色信号的每个像素，生成使用不同类型的目标颜色信号的颜色相关信号，以将所生成的颜色相关信号与已经在步骤(a)中输出的颜色相关信号一起输出，以及(d)针对所述图像的每个像素，利用在步骤(c)中输出的多个颜色相关信号，生成多个类型的颜色相关信号，并且其中，步骤(b)在步骤(c)和步骤(d)之间执行，并且对在步骤(c)中输出的颜色相关信号执行噪声降低处理。

9.一种由被包括在图像拾取装置中的计算机执行的色噪声降低程序，所述图像拾取装置包括图像传感器件，所述图像传感器件包括具有按预定顺序排列的多个不同颜色的像素的滤色器，所述图像传感器件接收被拍???体的图像并输出包括所述多个不同颜色的颜色信号的图像信号，所述图像拾取装置对从所述图像传感器件接收的图像信号执行去马赛克处理以生成所述图像的每个像素的不同颜色的颜色信号，所述程序包括用于使所述计算机执行以下步骤的程序代码：

(e)利用目标颜色信号和预定的其他颜色信号来执行计算，以针对所述目标颜色信号的像素，生成将所述目标颜色信号与所述预定的其他颜色信号关联起来的颜色相关信号，其中所述目标颜色信号表示被包括在接收自所述图像传感器件的图像信号中的预定的目标颜色信号，以及

(f)对在步骤(e)中所生成的颜色相关信号执行噪声降低处理。

10.如权利要求9所述的色噪声降低程序，其中，定义了多个类型的目标颜色信号，并且所述程序还所述计算机执行：(g)对每个类型的目标颜色信号的每个像素，生成使用不同类型的目标颜色信号的颜色相关信号，以将所生成的颜色相关信号与已经在步骤(e)中输出的颜色相关信号一起输出，以及(h)针对所述图像的每个像素，利用在步骤(g)中输出的多个颜色相关信号，生成多个类型的颜色相关信号，并且其中，步骤(f)在步骤(g)和步骤(h)之间执行，并且对在步骤(g)中输出的颜色相关信号执行噪声降低处理。

11.一种图像拾取装置，包括：

图像传感器件，所述图像传感器件包括具有按预定顺序排列的多个不同颜色的像素的滤色器，所述图像传感器件接收被拍体的图像并输出包括所述多个不同颜色的颜色信号的图像信号；以及

去马赛克处理单元，被配置为从接收自所述图像传感器件的图像信号生成所述图像的每个像素的不同颜色的颜色信号；

其中，所述去马赛克处理单元包括生成单元和噪声降低单元，所述生成单元利用目标颜色信号和预定的另外的颜色信号来执行计算，以生成用于所述目标颜色信号的像素的、将所述目标颜色信号与所述预定的另外的颜色信号相关联的颜色相关信号，其中所述目标颜色信号表示被包括在接收自所述图像传感器件的图像信号中的预定的目标颜色信号，并且所述噪声降低单元对由所述生成单元所生成的颜色相关信号执行噪声降低处理。

Images