CN103270757B - 图像传感装置和控制其操作的方法 - Google Patents

Abstract

在本发明中，由在水平和垂直方向中的每一个方向上六个光电变换器构成的块中，具有透过绿色光成分的滤光特性的至少一个绿色滤光器（G）形成在水平方向、垂直方向和倾斜方向中的所有方向上。此外，具有透过蓝色光成分和红色光成分的滤光特性的至少一个蓝色滤光器（B）和红色滤光器（R）形成在水平和垂直方向上。即使在沿着水平和垂直方向中的每一个方向的1/2子采样之后获得的图像也将在6像素×6像素的块中在水平方向、垂直方向和倾斜方向上均包含具有绿色成分的像素。因此，提高了在插值处理中的再现性的精度。

Description

图像传感装置和控制其操作的方法

技术领域

本发明涉及一种图像传感装置以及一种控制该装置的操作的方法。

背景技术

图8a示出固态电子图像传感装置1的受光面的一部分。固态电子图像传感装置1在水平和垂直方向上设置有多个光电变换器2。具有透过红色的光成分的特性的滤色器R、具有透过绿色的光成分的特性的滤色器G、或具有透过蓝色的光成分的特性的滤色器B形成在光电变换器2的受光面上。在图8a中，滤色器R、G或B以被称为“贝叶斯阵列（Bayer array）”的阵列形成在光电变换器2的受光面上。图8b示出将具有与固态电子图像传感装置1的三列光电变换器2对应的周期的图像形成在固态电子图像传感装置1上的方式。白色部分的水平如果由八位表达则是255，并且由阴影指示的部分如果由八位表达则是0。如果在已经形成这样的图像的情况下，执行子采样处理以便读出已经蓄积在第（3n+1）（其中n是正整数）行中信号电荷，则高频成分重复并且产生如图8c所示的明亮的平坦莫尔（Moiré）图像。

图9示出图8a所示的固态电子图像传感装置1的一行光电变换器。已经蓄积在光电变换器2中的信号电荷沿着水平方向被混合，具有相同特性的滤色器已经形成在该光电变换器2上。由于滤色器每隔一个具有相同的特性，所以在像素被混合之后，图像的分辨率下降，犹如使它通过低通滤波器那样。

此外，在具有与固态电子图像传感装置1的一列光电变换器2对应的周期的图像被形成在固态电子图像传感装置1上的情况下，如图10a所示，每光电变换器2的3×3像素的块地混合信号电荷，如图10b所示，因此，在块内的红色水平按照八位将是255，绿色水平按照八位将是128，并且蓝色水平将是0，并且将产生橙色（由字母Or表示）（颜色莫尔），如图10C中所描绘。

传统上，通过将光学低通滤波器放置在固态电子图像传感装置的受光面的前面，并且除去被摄体的图像的高频成分，来抑制颜色莫尔的发生。然而，在分辨率上存在下降。

为了应对这一点，存在如下技术：其中，使得固态电子图像传感装置的滤波器阵列成为满足阵列限制条件的三色随机阵列，该阵列限制条件即任何感兴趣的像素在该感兴趣的像素的四边中的任一边处相邻三种颜色，该三种颜色包括该感兴趣的像素的颜色（日本专利申请特开No.2000-308080）。然而，有必要为每个随机模式最佳化同步处理。这是令人烦恼的。此外，该技术在应对归因于高频成分的伪色时不是有效的。

此外，存在具有多个不同光谱灵敏度的滤波器的传感器（日本专利申请特开No.2005-136766），在该传感器中，沿着图像栅格的一个对角方向以第一预定周期交替地并且仅沿着另一个对角方向以第二预定周期交替地布置这些滤波器当中的第一和第二滤波器。然而，像素再现的精度并不高。

此外，存在如下技术（专利No.4019417）：在该技术中，沿着水平和垂直方向中的每一个方向均形成两个具有绿色成分的像素。然而，由于这些像素具有不同的灵敏度，在利用具有绿色成分的像素的情况下，灵敏度调整是必须的。

此外，存在如下技术：诸如提及滤色器阵列的技术（专利No.4088959）；沿着水平和垂直方向将在其上已经形成有具有绿色光透过特性的滤波器的光电变换器在每个方向上布置两个的技术（日本专利公开No.62-503068）；总是每隔一列包括G像素的技术（日本专利申请特开No.2009-49533）；以及与贝叶斯阵列相比G像素的数量增加的技术（日本专利申请特开No.8-023542和8-023543）。

此外，在归因于像素的子采样而使数据量减小并且帧速率上升的情况下，也会产生问题。

发明内容

本发明的目的是即使在对像素子采样的情况下也实现更高的分辨率。

根据本发明的图像传感装置的特征在于包括：固态电子图像传感装置，该固态电子图像传感装置具有沿着水平和垂直方向排列的多个光电变换器，其中，具有透过在红色、绿色和蓝色当中的任何颜色的光成分或在青色、洋红色和黄色当中的任何颜色的光成分的滤光特性的滤色器形成在光电变换器的受光面上，在其受光面上形成有具有透过绿色光成分的滤光特性的滤色器的光电变换器的数量大于在其受光面上形成有具有透过红色光成分的滤光特性的滤色器的光电变换器的数量或在其受光面上形成有具有透过蓝色光成分的滤光特性的滤色器的光电变换器的数量，或者，在其受光面上形成有具有透过黄色光成分的滤光特性的滤色器的光电变换器的数量大于在其受光面上形成有具有透过青色光成分的滤光特性的滤色器的光电变换器的数量或在其受光面上形成有具有透过洋红色光成分的滤光特性的滤色器的光电变换器的数量，并且由在水平和垂直方向中的每一个方向上六个光电变换器构成的块中，具有透过绿色光成分的滤光特性的滤色器、具有透过蓝色光成分的滤光特性的滤色器和具有透过红色光成分的滤光特性的滤色器中的每一种的至少一个，或具有透过黄色光成分的滤光特性的滤色器、具有透过青色光成分的滤光特性的滤色器和具有透过洋红色光成分的滤光特性的滤色器中的每一种的至少一个，在所有的水平和垂直方向上形成，并且通过周期性地重复该块，具有透过绿色光成分或黄色光成分的滤光特性的滤色器倾斜地形成，已经蓄积在光电变换器中的信号电荷作为视频信号输出；以及驱动电路，驱动电路用于驱动固态电子图像传感装置，以便从在从固态电子图像传感装置输出的视频信号内输出基于已经蓄积在水平和垂直方向中的每一个方向上的光电变换器中的每隔奇数个的光电变换器中的信号电荷获得的视频信号。

本发明还提供适合于上述图像传感装置的操作控制方法。具体地，本发明提供一种方法，该方法包括：由固态电子图像传感装置，其具有在水平和垂直方向上排列的多个光电变换器，将已经蓄积在光电变换器中的信号电荷作为视频信号输出，其中，具有透过在红色、绿色和蓝色当中的任何颜色的光成分或在青色、洋红色和黄色当中的任何颜色的光成分的滤光特性的滤色器形成在光电变换器的受光面上，在其受光面上形成有具有透过绿色光成分的滤光特性的滤色器的光电变换器的数量大于在其受光面上形成有具有透过红色光成分的滤光特性的滤色器的光电变换器的数量或在其受光面上形成有具有透过蓝色光成分的滤光特性的滤色器的光电变换器的数量，或者，在其受光面上形成有具有透过黄色光成分的滤光特性的滤色器的光电变换器的数量大于在其受光面上形成有具有透过青色光成分的滤光特性的滤色器的光电变换器的数量或在其受光面上形成有具有透过洋红色光成分的滤光特性的滤色器的光电变换器的数量，并且在由水平和垂直方向中的每一个方向上六个光电变换器构成的块中，具有透过绿色光成分的滤光特性的滤色器、具有透过蓝色光成分的滤光特性的滤色器和具有透过红色光成分的滤光特性的滤色器中的每一种的至少一个，或具有透过黄色光成分的滤光特性的滤色器、具有透过青色光成分的滤光特性的滤色器和具有透过洋红色光成分的滤光特性的滤色器中的每一种的至少一个，在所有的水平和垂直方向上形成，并且通过周期性地重复该块，具有透过绿色光成分或黄色光成分的滤光特性的滤色器倾斜地形成；以及，由驱动电路驱动固态电子图像传感装置，以便从在从固态电子图像传感装置输出的视频信号内，输出基于已经蓄积在水平和垂直方向中的每一个方向上的光电变换器中的每隔奇数个的光电变换器中的信号电荷获得的视频信号。

根据本发明，关于从构成由从固态电子图像传感装置输出的视频信号表示的图像的像素当中具有绿色或黄色光成分的像素，它被布置成使得这些像素以与具有透过绿色或黄色光成分的特性的、形成在构成固态电子图像传感装置的光电变换器的受光面上的滤色器阵列相同的方式，在水平方向、垂直方向和倾斜方向上均被包括在由在水平和垂直方向两者上六个像素构成的块中。由从固态电子图像传感装置输出的视频信号表示的图像使得在高频区域中在插值处理的再现性的精度上存在提高。

上述块是一组四个子块，该四个子块各自由在水平和垂直方向中的每一个方向上的三个光电变换器构成。在这种情况下，在形成在光电变换器的受光面上的滤色器当中，具有透过红色或青色光成分的特性的滤色器阵列和具有透过蓝色或洋红色光成分的特性的滤色器阵列在水平方向上和垂直方向上相邻的子块中将是彼此相反的。

它可以被布置成包括至少一个部分，在该至少一个部分中，具有透过绿色或黄色光成分的特性的、形成在该块中所包含的光电变换器的受光面上的两个滤色器在水平方向、垂直方向和倾斜方向上均是连续的。

它可以被布置成包括至少一个部分，在该至少一个部分中，具有透过绿色或黄色光成分的特性的、形成在该块中所包含的光电变换器的受光面上的两个滤色器的每一个在水平和垂直方向上是连续的。

该装置可以进一步包括：相关方向检测装置（相关方向检测手段），该相关方向检测装置用于从基于如下部分获得的四个像素的像素水平来检测相关方向：在该部分中，具有透过绿色或黄色光成分的特性的、形成在该块中所包含的光电变换器的受光面上的两个滤色器的每一个在水平和垂直方向上是连续的；插值装置（插值手段），该插值装置用于通过使用存在于在相关方向检测装置中检测到的相关方向上的具有绿色或黄色成分的像素，来插值存在于在相关方向检测装置中检测到的相关方向上的具有红色、青色、蓝色或洋红色成分的像素的绿色或黄色成分；以及控制装置（控制手段），该控制装置用于关于一个图像部分重复由相关方向检测装置执行的处理以及由插值装置执行的处理。

举例来说，相关方向检测装置计算水平、垂直和倾斜方向中的每一个方向上的相邻像素的像素水平之间的差别的绝对值，并且判定沿其在每个方向上的差别的绝对值的总和或平均值为最小的方向是相关方向。

举例来说，插值装置从由插值装置插值的绿色或黄色成分和具有在具有红色、青色、蓝色或洋红色成分的像素中的颜色成分的颜色分量，来插值不具有在具有红色、青色、蓝色或洋红色成分的像素当中的颜色成分的颜色成分。

优选地，其上形成有具有透过绿色或黄色光成分的特性的滤色器的光电变换器形成为具有相等的灵敏度。

附图说明

图1示出CCD的受光面的一部分；

图2示出图像的一部分；

图3示出CCD的受光面的一部分；

图4示出图像的一部分；

图5示出方向判别块；

图6示出数字照相机的电气构造的一部分。

图7示出CCD的受光面的一部分；

图8a示出固态电子图像传感装置的受光面的一部分，并且图8b和图8c示出图像的部分；

图9示出像素的混合；并且

图10a至图10c示出图像的部分。

具体实施方式

图1示出根据本发明的实施例的CCD（其可以是诸如C-MOS的另一种固态电子图像传感装置）10的受光面的一部分。

许多光电变换器11排列在水平方向（由箭头H指示）和垂直方向（由箭头V指示）上。这些光电变换器11的灵敏度均是相等的（其上已经形成有透过至少绿色光成分的滤波器的光电变换器的灵敏度是相等的）。具有透过红色、绿色或蓝色（其也可以是青色、黄色或洋红色）光成分的特性的滤色器R、G或B形成在光电变换器11的受光面上。具有透过红色光成分的特性的红色滤光器由字母R指示，具有透过绿色光成分的特性的绿色滤光器由字母G指示，并且具有透过蓝色光成分的特性的蓝色滤光器由字母B指示。

如果考虑由在水平和垂直方向中的每一个方向上六个光电变换器构成的块20，则块20将包含至少一个绿色滤光器G、一个蓝色滤光器B和一个红色滤光器R。通过在水平和垂直方向上重复这样的块20，将沿着所有的水平、垂直和倾斜方向形成至少一个绿色滤光器G。CCD10的受光面由以该形式排列的滤色器形成。

此外，块20能够被视为一组四个子块21至24，四个子块21至24每一个均在水平和垂直方向中的每一个方向上由三个光电变换器11构成。在子块21的中心处并且沿着通过该中心的倾斜方向形成在光电变换器11的受光面上的滤色器是绿色滤光器G。在子块21的中心的沿着水平方向的两侧上形成在光电变换器11的受光面上的滤色器是红色滤光器R，并且在子块21的中心的沿着垂直方向的两侧上形成在光电变换器11的受光面上的滤色器是蓝色滤光器B。

在倾斜地位于子块21的右下方的子块24中所包含的光电变换器11的滤波器阵列与子块21的滤波器阵列是相同的。在位于子块21的右侧上的子块22中以及在位于子块21的下侧上的子块23中所包含的光电变换器11的滤波器阵列就滤色器G而言与在子块21中所包含的光电变换器11上形成的绿色滤光器G的阵列是相同的，但是就在子块21中的红色滤光器R和蓝色滤光器B而言是相反的。也就是，在子块22和23中，红色滤光器R形成在中心光电传感器11的沿着垂直方向的两侧上的光电变换器11的受光面上，并且蓝色滤光器B形成在中心光电传感器11的沿着水平方向的两侧上的光电变换器11的受光面上。

当使用具有图1所示的滤色器阵列的CCD10来对被摄体成像时，因为构成通过成像获得的被摄体的图像的像素沿着水平、垂直和倾斜方向中的每一个方向包含绿色成分，所以能够提高在高频区域中的插值处理的再现性的精度。类似地，由于沿着水平和垂直方向中的每一个方向包括红色和蓝色成分，所以能够防止伪色的发生。

在图1所示的滤色器阵列中，块20包含如下部分：在这些部分中，在所有的水平、垂直和倾斜方向上，绿色滤光器G中的两个是连续的。此外，块20还包含如下部分：在这些部分中，绿色滤光器G中的两个各自在水平和垂直的方向上是连续的。

图2是通过子采样处理获得的图像（其一部分）的示例，该子采样处理在具有上述滤色器阵列的CCD10中执行，用于沿着水平和垂直方向中的每一个方向从通过对被摄体成像获得的图像每隔一个提取像素（奇数个）。

图像部分30沿着水平和垂直方向中的每一个方向由六个像素35构成。图像部分30对应于图1所示的块20。图像部分30由各自沿着水平和垂直方向中的每一个方向具有三个像素的四个子块31至34构成。子块31至34使得具有绿色成分的像素35均位于子块的中心并且沿着通过这些中心的倾斜方向。在中心绿色成分像素35的沿着水平方向的两侧上的像素是具有红色成分的像素35，并且在中心绿色成分像素35的沿着垂直方向的两侧上的像素是具有蓝色成分的像素35。

如将被理解的，如果将图2所示的图像部分30和图1所示的块20相比较，则图1所示的块20中，蓝色滤光器B的放置和红色滤光器R的放置在沿着水平方向和沿着垂直方向相互相邻的子块中是彼此相反的，而在图2所示的图像部分30中，与子块31至34无关，蓝色滤光器B的放置和红色滤光器R的放置是相同的。

甚至在图2所示的、通过执行子采样处理获得的图像中，该子采样处理在具有图1所示的滤色器阵列的CCD10中执行，用于沿着水平和垂直方向中的每一个方向从通过对被摄体成像获得的图像每隔一个提取像素，因为沿着水平、垂直和倾斜方向中的每一个方向包含绿色成分，所以能够提高在高频区域中插值处理的再现性的精度。由于通过提高帧速率，甚至就已经经受子采样处理的图像而言，也能够提高插值处理的再现性。

通过对在奇数行和奇数列中的像素子采样来获得图2所示的图像部分30。然而，即使对偶数行和偶数列、奇数行和偶数列或偶数行和奇数列中的像素子采样，也将以类似于图2所示的图像部分的方式获得在6像素×6像素的图像部分中沿着水平、垂直和倾斜方向中的每一个方向包含绿色成分的经子采样的图像。

图3示出图1所示的CCD10的受光面的一部分。这里，将看到的是，与图1相比，已经加上垂直转移路线12、水平转移路线13和放大电路14。

如上所述，在水平方向（由箭头H指示）和垂直方向（由箭头V指示）上排列多个光电变换器11。此外，红色滤光器R、绿色滤光器G和蓝色滤光器B中的任一个形成在这些光电变换器11的受光面上。滤色器阵列与图1所示的阵列相同。

垂直转移路线12排列在光电变换器11的列的相应列的右侧（或左侧）上，该垂直转移路线12垂直地转移已经蓄积在光电变换器11中的信号电荷。水平转移路线13被设置在垂直转移路线12的下侧上，该水平转移路线13水平地转移已经从垂直转移路线12转移的信号电荷。放大电路14被连接到水平转移路线13的输出侧。

通过将光电变换器11暴露于光，信号电荷蓄积在光电变换器11中。在其上已经形成红色滤光器R、绿色滤光器G或蓝色滤光器B的光电变换器11中蓄积表示红色、绿色或蓝色成分的像素的信号电荷。通过对光电变换器11施加移位脉冲，将已经蓄积在光电变换器11中的信号电荷移位至垂直转移路线12。通过对垂直转移路线12施加垂直转移脉冲φV，沿垂直方向转移由此移位至垂直转移路线12的信号电荷，并且通过施加移位脉冲，将已经通过垂直转移路线被转移的信号电荷施加到水平转移路线13。通过施加水平转移脉冲φH，沿水平方向转移施加到水平转移路线13的信号电荷。已经沿水平方向被转移的信号电荷在经放大电路14放大之后从CCD10输出作为视频信号。

如果对奇数行的光电变换器11但不对偶数行的光电变换器11施加移位脉冲，则仅将已经蓄积在奇数行的光电变换器11中的信号电荷移位至垂直转移路线12。因此，沿着垂直方向实现子采样（每隔一个提取像素）。此外，通过以使得将仅已经通过奇数行的垂直转移路线12转移的信号电荷转移至水平转移路线13，并且不将已经通过偶数行的垂直转移路线12转移的信号电荷转移至水平转移路线13的方式仅对奇数行的垂直转移路线12施加移位脉冲，沿着水平方向实现子采样。由此，在水平和垂直方向中的每一个方向上，从CCD10输出表示已经被子采样至的图像（通过每隔一个提取像素获得的图像）的视频信号。

在上述实施例中，在固态电子图像传感装置10中执行子采样处理。然而，它可以被排列成使得将子采样处理应用到从固态电子图像传感装置10输出的视频信号，而在固态电子图像传感装置10中不执行子采样处理。在这样的情况下，与已经从固态电子图像传感装置10输出的一个图像等价的视频信号将被存储在存储器中，并且将沿着水平和垂直方向每隔一个像素从存储器读取该视频信号。

现在将描述执行关于如图2所示的经子采样的图像的插值处理的方法。

图4示出通过以上述方式执行子采样处理获得的图像部分40。为了便于理解，已经在图4中的每个字母R、G或B的右侧附上了数字。字母R表示红色滤光器，字母G表示绿色滤光器，并且字母B表示蓝色滤光器，这类似于上述布置。

图像部分40在水平和垂直方向中的每一个方向上具有五个像素（但是，不用说，像素的数量不必是五）。在图像部分40内，考虑沿着水平和垂直方向中的每一个方向包括三个像素的中心子块41，以及在右上方处的、沿着水平和垂直方向中的每一个方向包括两个像素的方向判别子块42。

图5示出方向判别子块42。

方向判别子块42包括四个像素G14、G15、G24和G25。这些像素G14、G15、G24和G25各自具有绿色成分但不具有蓝色和红色成分。在该实施例中，计算像素G14、G15、G24和G25的水平之间沿着水平（由箭头H指示）、垂直（由箭头V指示）和倾斜方向中的每一个方向的差别的绝对值，并且据此，将所计算的差别的绝对值最小的方向判定为相关方向。如果我们使这些像素G14、G15、G24和G25的水平也由像素G14、G15、G24和G25表示，则沿着垂直方向的差别的绝对值将是（|G14-G24|+|G15-G25|）/2，沿着水平方向的差别的绝对值将是（|G14-G15|+|G24-G25|）/2，沿着右上倾斜方向（由箭头UR指示）的差别的绝对值将是|G15-G24|，并且沿着左上倾斜方向（由箭头UL指示）的差别的绝对值将是|G14-G25|。

参照图4，如果通过利用方向判别子块42将右上倾斜方向判别为相关方向，则使用在方向判别子块42中所包含的像素G14来插值在子块41中所包含的像素B23的绿色成分，并且使用像素G25来插值在子块41中所包含的像素R34的绿色成分。如果通过利用方向判别子块42将水平方向判别为相关方向，则使用在方向判别子块42中所包含的像素G24来插值在子块41中所包含的像素B23的绿色成分，并且使用像素G33来插值在子块41中所包含的像素R34的绿色成分。如果通过利用方向判别子块42将垂直方向判别为相关方向，则使用在方向判别子块G33中所包含的像素来插值在41像素B23的绿色成分，并且使用在方向判别子块42中所包含的像素G24来插值在子块41中所包含的像素R34的绿色成分。

此外，在定位在图4中的四个角处并且各自包括2×2像素的方向判别子块42、44、45和46中的每一个中，计算沿着水平、垂直、左上和右上倾斜方向的差别的绝对值，根据方向来计算计算出的差别的绝对值的总和（平均），并且可以将获得的总和（平均值）为最小的方向采纳为相关方向。

在前述实施例中，插值蓝色像素B23的绿色成分和红色像素R34的绿色成分，但是不插值蓝色像素B23的红色成分和红色像素R34的蓝色成分。使用在蓝色像素B23附近的红色像素R32（或R34）和通过插值获得的绿色成分来插值蓝色像素B23的红色成分。更具体地，如果我们使R23是蓝色像素B23的红色成分并且使G23是通过插值获得的绿色成分，则通过R23=G23+（R32-G32）获得R23，其中G32是通过插值获得的像素R32的绿色成分。自然地，它可以被布置成使用在蓝色像素B23附近的红色像素R32和R34两者来插值蓝色像素B23的红色成分R23。例如，通过R23=G23+{（R32+R34）/2-（G32+G34）/2}获得R23，其中G34是在红色像素R34处插值的绿色成分。

不言而喻，相对于绿色像素而言，能够类似地插值红色和蓝色成分。

将对上述插值处理作出如下总结。

基于相对于相邻的像素的色差来插值感兴趣的像素的像素值并且计算另一种颜色的像素值的方法如下：

使经历插值处理的感兴趣的像素为绿色像素G，并且使该像素值为G。此外，在沿着所判别的相关方向不存在红色像素R或蓝色像素B的情况下，在将***值的像素的位置处的红色成分R和蓝色成分B的像素值RG、BG从如下的方程式1获得：

RG=G+(R-GR),BG=G+(B-GB)  ...方程式1

其中R、B表示在绿色像素G附近的红色像素R和蓝色像素B的像素值，并且GR、GB表示在这些像素的像素位置处的绿色像素G的像素值。

类似地，在要经历插值处理的感兴趣的像素是红色像素R，该红色像素R的像素值是R，并且沿着所判别的相关方向不存在绿色像素G或蓝色像素B的情况下，在将***值的像素处的绿色成分G和蓝色成分B的像素值GR、BR从如下的方程式2获得：

GR=R+(G-RG),BR=R+(B-RB)  ...方程式2

其中G、B表示在红色像素R附近的绿色像素G和蓝色像素B的像素值，并且RG、RB表示在这些像素的像素位置处的红色像素R的像素值。

此外，在要经历插值处理的感兴趣的像素是蓝色像素B，该蓝色像素B的像素值是B，并且沿着所判别的相关方向不存在绿色像素G或红色像素R的情况下，将***值的像素的绿色成分G和红色成分R的像素值GB、RB从如下的方程式3获得：

GB=B+(G-BG),RB=B+(R-BR)  ...方程式3

其中G、R表示在蓝色像素B附近的绿色像素G和红色像素R的像素值，并且BG、BR表示在这些像素的像素位置处的蓝色像素B的像素值。

此外，在前述实施例中，它被布置成使得在相对于要经历插值处理的感兴趣的像素而言，在所判别的相关方向上不存在另一种颜色的像素的情况下，基于相对于另一种颜色的相邻的像素的色差来插值感兴趣的像素的像素值，并且计算另一种颜色的像素值。然而，这不施加限制，并且如接下来所述，它可以被布置成基于与另一种颜色的相邻的像素的颜色比较来插值感兴趣的像素的像素值并且计算该另一种颜色的像素值。

在要经历插值处理的感兴趣的像素是绿色像素G，该绿色像素G的像素值是G，并且沿着判别的相关方向不存在红色像素R或蓝色像素B的情况下，在感兴趣的像素的位置处的红色成分R和蓝色成分B的像素值RG、BG从如下的方程式4获得：

RG=G×(R/GR),BG=G×(B/GB)  ...方程式4

其中R、B表示在绿色像素G附近的红色像素R和蓝色像素B的像素值，并且GR、GB表示在这些像素的像素位置处的绿色像素G的像素值。

类似地，在要经历插值处理的感兴趣的像素是红色像素R，该红色像素R的像素值是R，并且沿着所判别的相关方向不存在绿色像素G或蓝色像素B的情况下，在感兴趣的像素的位置处的绿色成分G和蓝色成分B的像素值GR、BR从如下的方程式5获得：

GR=R×(G/RG),BR=R×(B/RB)  ...方程式5

其中G、B表示在红色像素R附近的绿色像素G和蓝色像素B的像素值，并且RG、GB表示在这些像素的像素位置处的红色像素R的像素值。

此外，在要经历插值处理的感兴趣的像素是蓝色像素B，该蓝色像素B的像素值是B，并且沿着所判别的相关方向不存在绿色像素G或红色像素R的情况下，在将***值的像素的位置处的绿色成分G和红色成分R的像素值GB、RB从如下的方程式6获得：

GB=B×(G/BG),RB=B×B(R/BR)  ...方程式6

其中G、R表示在蓝色像素B附近的绿色像素G和红色像素R的像素值，并且BG、BR表示在这些像素的像素位置处的蓝色像素B的像素值。

图6是示出数字照相机（包括数字静物照相机、数字电影摄影机和设置有数字照相机的功能的移动电话）的电气构造的一部分的框图。

电影摄影机的整体操作受到控制单元60的控制。

被摄体的图像通过成像镜头61形成在上述CCD10的受光面上。CCD10由驱动单元64驱动。驱动单元64向CCD10施加诸如移位脉冲、垂直转移脉冲V和水平转移脉冲H的脉冲，以便执行如上所述的子采样处理。

子采样的视频信号被从CCD10输出并且被输入到成像处理器62。成像处理器62执行诸如模拟/数字转换、伽马校正和白平衡调整的预定的成像处理。如上所述，它可以被布置成使得在成像处理器62中而不是在CCD10中执行子采样处理。在这样的情况下，成像处理器62将包括用于临时存储图像数据的存储器，并且如上所述，当从该存储器读出图像数据时，将执行子采样处理。

已经从成像处理器62输出的图像数据被输入到图像处理单元63。如上所述，在图像处理单元63中执行方向判别等，并且根据判别的方向执行插值处理。插值的颜色图像数据从图像处理单元63输出。应注意的是，在前述实施例中，能够基于已经通过上述方向判别处理而判别的相关方向，不仅对经子采样的的图像而且在对高分辨率图像子采样之前对其应用插值处理。

图7示出CCD10的受光面的一部分。

在上述实施例中，通过在水平和垂直方向中的每一个方向上每隔一个提取像素来实施沿着水平方向的1/2子采样和沿着垂直方向的1/2子采样。然而，通过在水平和垂直方向中的每一个方向上每隔三个像素提取像素来实施沿着水平方向的1/4子采样和沿着垂直方向的1/4子采样。

图7所示的受光面包括多个光电变换器11，该多个光电变换器11具有与图1所示的CCD10的阵列相同的滤色器阵列。通过沿着水平方向（由箭头H指示）执行1/4子采样并且沿垂直方向（由箭头V指示）执行1/4子采样来获得具有图2所示的颜色阵列的经子采样的图像。

因此，通过沿着水平和垂直方向每隔一个奇数的像素提取像素，即使执行子采样处理，也可获得具有图2所示的颜色阵列的图像。

Claims (8)

1.一种图像传感装置，包括：

固态电子图像传感装置，所述固态电子图像传感装置具有沿着水平和垂直方向排列的多个光电变换器，其中，具有透过在红色、绿色和蓝色当中的任何颜色的光成分或在青色、洋红色和黄色当中的任何颜色的光成分的滤光特性的滤色器形成在所述多个光电变换器的受光面上，在其受光面上形成有具有透过绿色光成分的滤光特性的滤色器的所述光电变换器的数量大于在其受光面上形成有具有透过红色光成分的滤光特性的滤色器的光电变换器的数量或在其受光面上形成有具有透过蓝色光成分的滤光特性的滤色器的所述光电变换器的数量，或者，在其受光面上形成有具有透过黄色光成分的滤光特性的滤色器的所述光电变换器的数量大于在其受光面上形成有具有透过青色光成分的滤光特性的滤色器的所述光电变换器的数量或在其受光面上形成有具有透过洋红色光成分的滤光特性的滤色器的所述光电变换器的数量，并且由在水平和垂直方向中的每一个方向上六个所述光电变换器构成的块中，具有透过绿色光成分的滤光特性的滤色器、具有透过蓝色光成分的滤光特性的滤色器和具有透过红色光成分的滤光特性的滤色器中的每一种的至少一个，或具有透过黄色光成分的滤光特性的滤色器、具有透过青色光成分的滤光特性的滤色器和具有透过洋红色光成分的滤光特性的滤色器中的每一种的至少一个，在所有的水平和垂直方向上形成，并且通过周期性地重复该块，沿着倾斜方向形成具有透过绿色光成分或黄色光成分的滤光特性的滤色器，已经蓄积在所述光电变换器中的信号电荷作为视频信号输出；

驱动电路，所述驱动电路用于驱动所述固态电子图像传感装置以便从在从所述固态电子图像传感装置输出的视频信号内输出基于已经蓄积在水平和垂直方向中的每一个方向上的所述光电变换器中的每隔奇数个的光电变换器中的信号电荷获得的视频信号；

相关方向检测装置，所述相关方向检测装置用于从基于如下部分获得的各自具有绿色成分但不具有蓝色和红色成分的四个像素的像素水平来检测相关方向：在所述部分中，具有透过绿色或黄色光成分的特性的、形成在所述块中所包含的所述光电变换器的受光面上的两个滤色器的每一个在所述水平和垂直方向上是连续的；

插值装置，所述插值装置用于通过使用存在于在相关方向检测装置中检测到的所述插值方向上的具有绿色或黄色成分的像素，对存在于在所述相关方向检测装置中检测到的所述插值方向上的具有红色、青色、蓝色或洋红色成分的像素的绿色或黄色成分进行插值；以及

控制装置，所述控制装置用于对于一个图像部分重复由所述相关方向检测装置执行的处理以及由所述插值装置执行的处理。

2.根据权利要求1所述的图像传感装置，其中，所述块是一组四个子块，所述四个子块各自由在所述水平和垂直方向中的每一个方向上的三个所述光电变换器构成；并且

在形成在所述光电变换器的所述受光面上的所述滤色器当中，具有透过红色或青色光成分的特性的滤色器阵列和具有透过蓝色或洋红色光成分的特性的滤色器阵列在所述水平方向上和所述垂直方向上相邻的子块中是彼此相反的。

3.根据权利要求1所述的图像传感装置，其中包括至少一个部分，在该至少一个部分中，具有透过绿色或黄色光成分的特性的、形成在所述块中所包含的所述光电变换器的受光面上的两个滤色器在水平方向、垂直方向和倾斜方向上均是连续的。

4.根据权利要求1所述的图像传感装置，其中包括至少一个部分，在该至少一个部分中，具有透过绿色或黄色光成分的特性的、形成在所述块中所包含的所述光电变换器的受光面上的两个滤色器的每一个在所述水平和垂直方向上是连续的。

5.根据权利要求1所述的图像传感装置，其中，所述相关方向检测装置计算水平、垂直和倾斜方向中的每一个方向上的相邻像素的像素水平之间的差别的绝对值，并且判定沿其在每个方向上的差别的绝对值的总和或平均值为最小的方向是所述相关方向。

6.根据权利要求1所述的图像传感装置，其中，所述插值装置从由所述插值装置插值的绿色或黄色成分和红色、青色、蓝色或洋红色成分当中的颜色成分，来插值不具有红色、青色、蓝色或洋红色成分的像素当中的颜色成分。

7.根据权利要求3所述的图像传感装置，其中，其上形成有具有透过绿色或黄色光成分的特性的滤色器的所述光电变换器形成为具有相等的灵敏度。

8.一种控制图像传感装置的操作的方法，所述方法包括：

固态电子图像传感装置，其具有在水平和垂直方向上排列的多个光电变换器，将已经蓄积在所述光电变换器中的信号电荷作为视频信号输出，其中，具有透过在红色、绿色和蓝色当中的任何颜色的光成分或在青色、洋红色和黄色当中的任何颜色的光成分的滤光特性的滤色器形成在所述多个光电变换器的受光面上，在其受光面上形成有具有透过绿色光成分的滤光特性的滤色器的所述光电变换器的数量大于在其受光面上形成有具有透过红色光成分的滤光特性的滤色器的所述光电变换器的数量或在其受光面上形成有具有透过蓝色光成分的滤光特性的滤色器的所述光电变换器的数量，或在其受光面上形成有具有透过黄色光成分的滤光特性的滤色器的所述光电变换器的数量大于在其受光面上形成有具有透过青色光成分的滤光特性的滤色器的所述光电变换器的数量或在其受光面上形成有具有透过洋红色光成分的滤光特性的滤色器的所述光电变换器的数量，并且在由水平和垂直方向中的每一个方向上六个所述光电变换器构成的块中，具有透过绿色光成分的滤光特性的滤色器、具有透过蓝色光成分的滤光特性的滤色器和具有透过红色光成分的滤光特性的滤色器中的每一种的至少一个，或具有透过黄色光成分的滤光特性的滤色器、具有透过青色光成分的滤光特性的滤色器和具有透过洋红色光成分的滤光特性的滤色器中的每一种的至少一个，在所有的水平和垂直方向上形成，并且通过周期性地重复该块，沿着倾斜方向形成具有透过绿色光成分或黄色光成分的滤光特性的滤色器；

由驱动电路驱动所述固态电子图像传感装置，以便从在从固态电子图像传感装置输出的视频信号内，输出基于已经蓄积在水平和垂直方向中的每一个方向上的所述光电变换器中的每隔奇数个的光电变换器中的信号电荷获得的视频信号；

相关方向检测装置，所述相关方向检测装置用于从基于如下部分获得的各自具有绿色成分但不具有蓝色和红色成分的四个像素的像素水平来检测相关方向：在所述部分中，具有透过绿色或黄色光成分的特性的、形成在所述块中所包含的所述光电变换器的受光面上的两个滤色器的每一个在所述水平和垂直方向上是连续的；

插值装置，所述插值装置用于通过使用存在于在相关方向检测装置中检测到的所述插值方向上的具有绿色或黄色成分的像素，对存在于在所述相关方向检测装置中检测到的所述插值方向上的具有红色、青色、蓝色或洋红色成分的像素的绿色或黄色成分进行插值；以及

控制装置，所述控制装置用于对于一个图像部分重复由所述相关方向检测装置执行的处理以及由所述插值装置执行的处理。