JP5149279B2

JP5149279B2 - 光感度が改善されたイメージ・センサー

Info

Publication number: JP5149279B2
Application number: JP2009512027A
Authority: JP
Inventors: 貴行木島; 秀夫中村; トーマスコンプトン，ジョン; フランクリン，ジュニアハミルトン，ジョン; エドワードデウェーゼ，トーマス
Original assignee: オムニビジョンテクノロジーズ，インコーポレイテッド
Priority date: 2006-05-22
Filing date: 2007-05-10
Publication date: 2013-02-20
Anticipated expiration: 2027-05-10
Also published as: US20070268533A1; CN101449575B; KR101441696B1; CN101449575A; US20110211109A1; EP2022258B1; US8194296B2; WO2007139675A2; US7916362B2; EP2022258A2; JP2009538563A; KR20090019800A; WO2007139675A3

Description

本発明は、光感度が改善された二次元イメージ・センサーに関する。

電子式イメージング・システムが画像を電子的に表現にする能力は、電子式イメージ・センサーにかかっている。このような電子式イメージ・センサーとして、電荷結合デバイス（CCD）イメージ・センサーとアクティブ画素センサー（APS）デバイス（APSデバイスは相補型金属酸化物半導体プロセスで製造できるため、CMOSセンサーと呼ばれることがしばしばある）がある。一般に、これらイメージ・センサーには多数の感光画素が含まれていて、しばしば行と列の規則的なパターンに配置されている。カラー画像を捕獲するため、あるパターンのフィルタが一般に画素パターンの上に製造される。そのとき異なるフィルタ材料を用い、個々の画素が可視光スペクトルの一部だけに感度を持つようにする。カラー・フィルタは各画素に到達する光の量を必然的に減らすため、各画素の光感度が低下する。画像をより低いレベルの光で捕獲できるようにするため、またはより高いレベルの光で画像を捕獲して露出時間をより短くするため、電子式カラー・イメージ・センサーの光感度または写真感度を向上させることが相変わらず必要とされている。

イメージ・センサーは、直線状または二次元である。一般に、これらセンサーには異なる2つの用途がある。二次元センサーは、一般に、画像取得装置（例えばディジタル・カメラ、携帯電話、ならびに他の用途）に適している。直線状センサーは、文書のスキャニングにしばしば用いられる。いずれの場合にも、カラー・フィルタを用いるとイメージ・センサーの感度が低下する。

直線状イメージ・センサー（イーストマン・コダック社が製造したKLI-4104）は、4つの直線状単一画素ワイド・アレイを備えており、そのうちの3つのアレイにカラー・フィルタが取り付けられていてそれぞれのアレイ全体が赤、緑、青いずれかに対する感度を持つようにされ、第4のアレイにはカラー・フィルタが取り付けられていない。さらに、3つのカラー・アレイは、カラー・フィルタに起因する光感度の低下を補償するため画素がより大きくなっているのに対し、第4のアレイはより小さくて、高解像度モノクロ画像を捕獲する。このイメージ・センサーを用いて画像が捕獲されると、その画像は、高解像度で高写真感度の1つのモノクロ画像と、写真感度がほぼ同じで解像度がより低い3つの画像として表わされる。3つの画像のそれぞれは、画像からの赤色光、緑色光、青色光いずれかに対応している。したがってこの電子画像の各点は、モノクロ値と、赤色値と、緑色値と、青色値とを有する。しかしこれは直線状イメージ・センサーであるため、画像を走査するのに4種類の直線状画素アレイの上を通過させるにはイメージ・センサーと画像の間の相対的な物理的運動が必要とされる。このようにすると画像を走査する速度が制限されるため、手で持つカメラや運動物体を含む光景の捕獲でこのセンサーを使用することはできない。

従来技術では、Muramatsu Akiraがアメリカ合衆国特許第4,823,186号に記載している電子式イメージング・システムも知られている。このシステムは2つのセンサーを備えていて、各センサーは二次元画素アレイを備えているが、1つのセンサーはカラー・フィルタを持たず、他方のセンサーは、画素とともに含まれたあるパターンのカラー・フィルタを備えていて、光ビーム・スプリッタが各イメージ・センサーに画像を提供する。カラー・センサーにはあるパターンのカラー・フィルタが取り付けられているため、カラー・センサーの各画素は1つの色だけを発生させる。画像がこのシステムで捕獲されるとき、電子的画像の各点は1つのモノクロ値と1つのカラー値を持つため、カラー画像は、近くの色から内挿される欠けた色を各画素位置に持つはずである。このシステムは従来の単一イメージ・センサーよりも光感度が改善されているとはいえ、2つのセンサーと1つのビーム・スプリッタを必要とするため、このシステムの複雑さ、サイズ、コストは、全体としてより大きくなる。さらに、ビーム・スプリッタは画像からの光の半分しか各センサーに向かわせないため、写真感度の改善が制限される。

上記の直線状イメージ・センサーに加え、二次元画素アレイを備えるイメージ・センサーが従来技術で知られている。その場合の画素は、カラー・フィルタが取り付けられていない画素を含んでいる。例えばSatoらのアメリカ合衆国特許第4,390,895号、Yamagamiらのアメリカ合衆国特許第5,323,233号、Gindeleらのアメリカ合衆国特許第6,476,865号を参照のこと。これら特許のそれぞれにおいて、フィルタなしの画素またはモノクロ画素の感度は、カラー画素よりも著しく大きい。そこで画素アレイからのカラー信号とモノクロ信号を整合させるには、カラー画素に利得を適用する必要がある。利得を大きくすると、信号とともに雑音も大きくなるため、得られる画像の全体的な信号対雑音比は低下する。アメリカ合衆国特許出願公開2003/0210332には、大半の画素にフィルタがない画素アレイが開示されているが、カラー画素には、上に述べたのと同じ感度不足の問題がある。

したがって二次元画素アレイを備えるイメージ・センサーを利用した電子式キャプチャ・デバイスのために光感度を向上させることが相変わらず必要とされている。

本発明は、カラー画素とパンクロ画素からなる二次元アレイを備えていて高感度でフル・カラー画像を生成させるのに有効なイメージ・センサーを提供することを目的とする。

簡単にまとめると、本発明の1つの特徴により、カラー画像を捕獲するためのイメージ・センサーであって、
a）複数の行と列に配置された第1の画素群と第2の画素群を有する二次元アレイを備えていて、第1の画素群からの画素は、第2の画素群からの画素よりも分光光応答が狭く、第1の画素群は、少なくとも2つの色のセットに対応する分光光応答を持つ画素を備え；
b）第1の画素群と第2の画素群の配置が、少なくとも6個の画素を含む最小繰り返し単位を持つあるパターンを規定していて、その最小繰り返し単位の少なくともいくつかの行または列が第2の画素群からの画素だけで構成され；
c）隣り合った少なくとも2つの最小繰り返し単位からの似た位置の画素を組み合わせる手段、または隣り合った少なくとも3つの最小繰り返し単位からの似た色の画素を組み合わせる手段、または第1の画素群と第2の画素群を組み合わせる手段を備える、イメージ・センサーが提供される。

本発明の別の特徴により、カラー画像を捕獲するためのイメージ・センサーであって、
a）第1の画素群と第2の画素群を有する二次元アレイを備えていて、第1の画素群からの画素は、第2の画素群からの画素よりも分光光応答が狭く、第1の画素群は、少なくとも2つの色のセットに対応する分光光応答を持つ個別の画素を備え；
b）第1の画素群と第2の画素群の配置が、少なくとも12個の画素を含む最小繰り返し単位を持つあるパターンを規定していて、その最小繰り返し単位は複数のセルを持ち、各セルは、第1の画素群から選択された特定の1つの色を表わす少なくとも2つの画素と、第2の画素群から選択された複数の画素を含んでいて、捕獲されたカラー画像を異なる照明条件下で再現できる配置にされており；
c）上記少なくとも2つの画素のうちの少なくとも2つを組み合わせる手段、または最小繰り返し単位内の複数のセルの少なくとも2つのセルからの似た色の画素を組み合わせる手段、または第1の画素群と第2の画素群を組み合わせる手段を備える、イメージ・センサが提供される。

本発明のイメージ・センサーは、低レベルの照明条件に特に適している。そのような低レベルの照明条件は、光景の照明が少ないこと、露出時間が短いこと、アパーチャが小さいことの結果、またはセンサーに到達する光に関する他の制限条件の結果である。本発明のイメージ・センサーには多くの用途があり、多数のタイプの画像キャプチャ・デバイスでこのようなセンサーを有効に利用できる。

本発明のこれらの側面、目的、特徴、利点と他の側面、目的、特徴、利点は、好ましい実施態様に関する以下の詳細な説明と添付の請求項を検討することで、より明確に理解することができよう。

イメージング装置と、信号を捕獲して補正するとともに露出を制御するための関連回路とを利用したディジタル・カメラはよく知られているため、ここでの説明は、特に、本発明の方法および装置の一部を形成する要素、または本発明の方法および装置とより直接的に協働する要素を対象とする。この明細書に特に示したり説明したりしない要素は、従来技術で知られているものの中から選択する。ここで説明する実施態様のいくつかの特徴はソフトウエアとして提供される。以下に本発明のシステムを図示して説明していることを考えると、本発明の実施に役立つがこの明細書に特には図示、説明、示唆してはいないソフトウエアは、この分野の当業者にはありふれたものであり、当業者の能力の範囲にある。

ここで図1を参照すると、本発明を具体化したディジタル・カメラとしての画像キャプチャ・デバイスをブロック・ダイヤグラムとして示してある。ディジタル・カメラについてこれから説明するが、本発明が他のタイプの画像キャプチャ・デバイスにも適用できることは明らかである。ここに開示するカメラでは、対象となる光景からの光10がイメージング段11に入力され、そこで光はレンズ12によって集束されて固体イメージ・センサー20の上に画像を形成する。イメージ・センサー20は、各ピクチャ・エレメント（画素）のために入射光を電気信号に変換する。この好ましい実施態様のイメージ・センサー20は、電荷結合デバイス（CCD）タイプまたはアクティブ画素センサー（APS）タイプ（APSデバイスは、相補型金属酸化物半導体プロセスで製造できるためにCMOSセンサーと呼ばれることがしばしばある）である。本発明が利用されるのであれば、二次元画素アレイを有する他のタイプのイメージ・センサーも用いられる。本発明では、カラー画素とパンクロ画素からなる二次元アレイを有するイメージ・センサー20も利用される。これについては、この明細書で図1を説明した後に明らかになろう。イメージ・センサー20で使用される本発明のカラー画素とパンクロ画素のパターンの例は、図4A〜図4D、図8A、図8E、図9A〜図9C、図10A、図10C〜図10F、図11A〜図11B、図12A、図13A、図14、図15に見られるが、本発明の範囲で他のパターンも利用できる。

イメージ・センサー20に到達する光の量は、アパーチャを変化させる虹彩絞りブロック14と、光路の途中に配置された1つ以上の中性（ND）フィルタを有するNDフィルタ・ブロック13とによって調節される。全体的な光のレベルは、シャッター・ブロック18を開いている時間によっても調節される。露出制御装置ブロック40は、光景において利用可能な光の量を明るさセンサー・ブロック16が測定した値に応答し、これら3つの調節機能をすべて制御する。

特別な構成のカメラに関するこの説明は当業者にはありふれたものであろうし、多くのバリエーションや追加の特徴が存在することも明らかであろう。例えばオートフォーカス・システムを追加したり、レンズを取外し可能かつ交換可能にしたりする。本発明があらゆるタイプのディジタル・カメラに適用され、そこでは同様の機能が代替部品によって提供されることが理解できよう。例えばここでのディジタル・カメラは、撮影対象に向けてシャッターを押す比較的単純なディジタル・カメラであり、シャッター18は、比較的簡単な可動ブレード・シャッターなどであり、より複雑な焦点面シャッターではない。本発明は、カメラではない装置（例えば携帯電話や自動車）に含まれるイメージング要素で実施することもできる。

イメージ・センサー20からのアナログ信号は、アナログ信号処理装置22によって処理され、アナログ／ディジタル（A/D）変換器24に送られる。タイミング発生装置26がさまざまなクロック信号を発生させて行と画素を選択するとともに、アナログ信号処理装置22とA/D変換器24の動作を同期させる。イメージ・センサー段28には、イメージ・センサー20と、アナログ信号処理装置22と、A/D変換器24と、タイミング発生装置26が含まれている。イメージ・センサー段28のこれらの要素は、別々の集積回路として製造されるか、CMOSイメージ・センサーで一般的なように単一の集積回路として製造される。A/D変換器24から得られる一連のディジタル画素値は、ディジタル信号処理装置（DSP）36に付随するメモリ32に記憶される。

ディジタル信号処理装置36は、この実施態様の3つの処理装置または制御装置のうち1つであり、他の2つはシステム制御装置50と露出制御装置40である。多数の制御装置と処理装置でカメラ機能の制御をこのように分担することが一般的だが、これらの制御装置または処理装置をいろいろな方法で組み合わせてもカメラの機能や本発明の用途が影響を受けることはない。これらの制御装置または処理装置は、1つ以上のディジタル信号処理装置、マイクロコントローラ、プログラム可能な論理装置、またはこれら以外のディジタル論理回路を備えることができる。このような制御装置または処理装置の1つの組み合わせについて説明したが、1つの制御装置または処理装置が必要な全機能を実施するようにできることは明らかであろう。これらのバリエーションはどれも同じ機能を実行できて本発明の範囲に含めることができ、“処理段”という用語は、必要に応じ、例えば図1の処理段38におけるようにこの機能を1つの文章ですべてカバーするものとする。

図示した実施態様では、DSP 36は、付随するメモリ32に記憶されたディジタル画像データをソフトウエアに従って処理する。このソフトウエアはプログラム用メモリ54に常時記憶されていて、画像を捕獲している間にメモリ32にコピーされて実行される。DSP 36は、図18に示した画像処理の実施に必要なソフトウエアを実行する。メモリ32は、任意のタイプのランダム・アクセス・メモリ（例えばSDRAM）を含んでいる。アドレス信号とデータ信号のための経路を含むバス30が、DSP 36を、付随するメモリ32、A/D変換器24、および他の関連した装置に接続している。

システム制御装置50は、プログラム用メモリ54（フラッシュEEPROMまたは他の不揮発性メモリを含むことができる）に記憶されたソフトウエア・プログラムに基づいてカメラの全動作を制御する。このメモリは、カメラのスイッチをオフにしたときに保存されるべきイメージ・センサーの較正データ、ユーザー設定の選択結果、ならびに他のデータを記憶させるのにも使用できる。システム制御装置50は、一連の画像捕獲操作を制御する。すなわち、露出制御装置40に命令することにより、すでに説明したレンズ12、NDフィルタ13、虹彩絞り14、シャッター18を動作させ、タイミング発生装置26に命令してイメージ・センサー20とそれに関連する素子を動作させ、DSP 36に命令して捕獲された画像データを処理する。画像が捕獲されて処理されると、メモリ32に記憶された最終画像ファイルはインターフェイス57を通じてホスト・コンピュータに移され、取外し可能なメモリ・カード64または他の記憶装置に記憶され、ユーザーのため画像ディスプレイ88に表示される。

バス52は、アドレス、データ、制御信号のための経路を含んでおり、システム制御装置50を、DSP 36、プログラム用メモリ54、システム用メモリ56、ホスト・インターフェイス57、メモリ・カードとのインターフェイス60、ならびに関連する他の装置に接続している。ホストとのインターフェイス57は、パーソナル・コンピュータ（PC）または他のホスト・コンピュータへの高速接続を提供し、表示、記憶、処理、印刷のための画像データを転送する。このインターフェイスは、IEEE1394またはUSB2.0インターフェイスであるか、適切な他の任意のディジタル・インターフェイスである。メモリ・カード64は、一般に、ソケット62に挿入されてメモリ・カードとのインターフェイス60を通じてシステム制御装置50に接続されるコンパクト・フラッシュ（CF）カードである。使用される他のタイプの記憶装置として、PCカード、マルチメディア・カード（MMC）、セキュア・ディジタル（SD）カードなどがある。

処理された画像はシステム用メモリ56の表示用バッファにコピーされ、ビデオ・エンコーダ80を通じて連続的に読み出されてビデオ信号が生成される。この信号はカメラから直接出力されて外部モニタに表示されるか、表示制御装置82によって処理されて画像ディスプレイ88に表示される。このディスプレイは一般にアクティブ・マトリックス・カラー液晶ディスプレイ（LCD）だが、他のタイプのディスプレイも使用される。

ユーザー制御／状態インターフェイス68は、ビューファインダ・ディスプレイ70、露出ディスプレイ72、状態ディスプレイ76、画像ディスプレイ88、ユーザー入力74のすべてまたは任意の組み合わせを含んでおり、露出制御装置40とシステム制御装置50で実行されるソフトウエア・プログラムの組み合わせによって制御される。ユーザー入力74は、一般に、ボタン、ロッカー・スイッチ、ジョイスティック、回転ダイヤル、タッチスクリーンの何らかの組み合わせを備えている。露出制御装置40は、光の測定、露出モード、自動焦点合わせ、ならびに他の露出機能を実行する。システム制御装置50は、1つ以上のディスプレイ（例えば画像ディスプレイ88）に表示されるグラフィカル・ユーザー・インターフェイス（GUI）を管理する。GUIは、一般に、さまざまな選択を行なうためのメニューと、捕獲された画像を調べるための検査モードを含んでいる。

露出制御装置40は、露出モード、レンズのアパーチャ、露出時間（シャッター速度）、露出の指標またはISO感度を選択するユーザー入力を受け取り、それに応じてレンズとシャッターに対して命令を出してその後の捕獲を行なう。明るさセンサー16を用いて光景の明るさを測定して露出計の機能を提供することで、ユーザーがISO感度、アパーチャ、シャッター速度を手動で設定するときに参照できるようにする。この場合、ユーザーが1つ以上の設定を変えると、ビューファインダ・ディスプレイ70に表示される光測定インディケータが、ユーザーに、画像がどの程度露出過剰または露出不足になるかを知らせる。自動露出モードでは、ユーザーが1つの設定を変化させると露出制御装置40は自動的に他の設定を変えて正しい露出を維持する（例えば所定のISO感度でユーザーがレンズのアパーチャを小さくすると、露出制御装置40は自動的に露出時間を長くして全露出が同じになるように維持する）。

ISO感度は、ディジタル・スチール・カメラの1つの重要な属性である。露出時間と、レンズのアパーチャと、レンズの透過率と、光を受けている光景の光のレベルおよびスペクトル分布と、光景の反射率とが、ディジタル・スチール・カメラの露出レベルを決定する。ディジタル・スチール・カメラから露出が十分でない画像が得られた場合には、電子的利得またはディジタル利得を大きくすることによって適切な色調の再現性が一般に維持されるが、画像は許容できない量の雑音を含むことになろう。露出が多くなるのに合わせて利得を小さくできるため、通常は画像の雑音を許容可能なレベルに低下させることができる。露出が過度に大きい場合には、画像の明るい領域で得られる信号は、イメージ・センサーまたはカメラが信号を処理する最大信号レベルを超える可能性がある。すると画像のハイライトが生じる可能性があるため、その部分を切り取って一様な明るい領域を形成するか、曇らせて画像の周辺領域にとけ込ませる。ユーザーが適切な露出を設定するよう誘導することが重要である。ISO感度は、そのようなガイドとして機能することが想定されている。撮影者が容易に理解できるようにするため、ディジタル・スチール・カメラのISO感度は、写真フィルム式カメラのISO感度と直接関係している必要がある。例えばディジタル・スチール・カメラのISO感度がISO200だとすると、同じ露出時間とアパーチャがISO200のフィルム／処理システムにとって適切でなければならない。

ISO感度は、フィルムのISO感度と矛盾しないことが想定されている。しかし電子式イメージング・システムとフィルムに基づくイメージング・システムの間には差があるため、正確に同じにはならない。ディジタル・スチール・カメラは利得を可変にすることができ、画像データが捕獲された後にディジタル処理が可能である。そのためカメラのある露出範囲内で色調の再現が可能である。したがってディジタル・スチール・カメラの感度にはある程度の幅を持たせることができる。この幅は、ISO感度ラティチュードとして定義される。混乱を避けるため、固有ISO感度として単一の値を指定する。そのときISO感度ラティチュードの上限と下限が、感度の範囲、すなわち固有ISO感度とは異なる有効感度を含む範囲を示す。このことを念頭に置くと、固有ISO感度は、特定のカメラ出力信号特性を生み出すため、ディジタル・スチール・カメラの焦点面における露出から計算された数値である。固有感度は、通常は、あるカメラ・システムが与えられたとき、標準的な光景に関して画像品質を最大にする露出の指標値である。この露出の指標値は、イメージ・センサーの露出に逆比例する数値である。

ディジタル・カメラに関する上記の説明は、当業者にはありふれたものであろう。この実施態様に対して可能な多数のバリエーションが存在しており、コストを低下させるため、特徴を追加するため、カメラの性能を向上させるためにそうしたバリエーションが選択される。以下の説明には、本発明に従って画像を捕獲することに関するこのカメラの動作を詳細に開示する。この説明はディジタル・カメラについてのものだが、本発明が、カラー画素とパンクロ画素を有するイメージ・センサーを備えたあらゆるタイプの画像キャプチャ・デバイスで利用できることが理解されよう。

図1に示したイメージ・センサー20は、一般に、シリコン基板上に製造された二次元感光画素アレイを含んでおり、その感光画素が、各画素への入射光を測定して電気信号に変換する手段を提供する。このセンサーに光が当たると、自由電子が発生して各画素の電子構造に捕獲される。その自由電子をある期間にわたって捕獲した後、捕獲した電子の数を測定するか、自由電子が発生する速度を測定することで、各画素における光のレベルを測定できる。前者の場合、電荷結合デバイス（CCD）などにおけるように、蓄積された電荷が画素アレイからシフトし、電荷から電圧を測定する回路に入ること、またはアクティブ画素センサー（APSまたはCMOSセンサー）におけるように、電荷から電圧を測定する回路のエレメントを各画素の近くの領域に含むことができる。

以下の説明でイメージ・センサーに言及するときにはいつでも、図1からのイメージ・センサー20を表わしているものとする。さらに、イメージ・センサー20では、この明細書に開示した本発明のすべての実施態様と、それと同等な構成のイメージ・センサーおよび画素パターンを利用するものとする。

イメージ・センサーという文脈では、画素（“ピクチャ・エレメント”の縮約形）は、離散した感光領域と、その感光領域に関係した電荷シフト回路または電荷測定回路を意味する。ディジタル・カラー画像の文脈では、画素という用語は、一般に、画像中で色値を伴った特定の位置を意味する。

カラー画像を生成させるため、イメージ・センサーの画素アレイは、一般に、その上に配置したあるパターンのカラー・フィルタを有する。図2は、赤色フィルタ、緑色フィルタ、青色フィルタからなるパターンであり、このパターンが一般に使用されている。この特別なパターンは、アメリカ合衆国特許第3,971,065号に開示されているように、発明者のブライス・ベイヤーにちなんでベイヤー・カラー・フィルタ・アレイ（CFA）として一般に知られている。このパターンは、二次元カラー画素アレイを有するイメージ・センサーで実際に用いられている。その結果、各画素は特定のカラー光応答を持つ。この場合には、赤色光、緑色光、青色光いずれかに対する感度が大きいカラー光応答である。カラー光応答の有用な別の一例では、マゼンタ色光、イエロー色光、シアン色光いずれかに対する感度が大きい。どの場合でも、特定のカラー光応答は、可視スペクトルのある部分に対する感度は大きいが、それと同時に可視スペクトルの他の部分に対する感度は低い。カラー画素という用語は、カラー光応答を有する画素を意味する。

センサーで利用するために選択されるカラー光応答のセットは、通常は、ベイヤーCFAに示してあるように3色だが、4色以上を含んでいてもよい。この明細書では、パンクロ光応答は、カラー光応答に関して選択したセットにおける分光感度よりも広い分光感度を持つ光応答を意味する。パンクロ光応答は、可視スペクトル全体にわたって大きな感度を持つことができる。パンクロ画素という用語は、パンクロ光応答を持つ画素を意味する。パンクロ画素は一般にカラー光応答のセットよりも広い分光感度を持つが、各パンクロ画素にはフィルタが取り付けられていてもよい。そのようなフィルタは、中性フィルタまたはカラー・フィルタである。

カラー画素とパンクロ画素からなるパターンがイメージ・センサーの表面にある場合には、そのような各パターンは繰り返し単位を有する。この繰り返し単位は、画素が切れ目なくつながって基本的構成ブロックとして機能するサブアレイである。この繰り返し単位のコピーを多数並置することにより、センサー・パターンの全体が得られる。繰り返し単位の多数のコピーは、斜め方向に並べることも、水平方向と鉛直方向に並べることもできる。

最小繰り返し単位は、より少ない画素からなる他の繰り返し単位が存在しない繰り返し単位である。例えば図2のCFAは、図2の画素ブロック100に示してあるように、2画素×2画素の最小繰り返し単位を含んでいる。この最小繰り返し単位の多数のコピーをタイルのように並べることでイメージ・センサーの画素アレイ全体がカバーされる。緑色画素が左上隈にある最小繰り返し単位を示してあるが、太線で囲まれた領域を1画素だけ右に、または1画素だけ下に、または1画素だけ対角方向に右下に移動させることにより、別の3つの最小繰り返し単位を容易に区別することができる。画素ブロック102は繰り返し単位だが、最小繰り返し単位ではない。なぜなら画素ブロック100も繰り返し単位であり、しかもブロック102よりも画素数が少ないからである。

図2のCFAを有する二次元アレイを備えたイメージ・センサーを用いて捕獲された画像は、画素ごとにカラー値を1つだけ持つ。フル・カラー画像を生成させるため、各画素に欠けている色を推定または内挿する多数の方法がある。こうしたCFA内挿法は従来技術でよく知られており、アメリカ合衆国特許第5,506,619号、第5,629,734号、第5,652,621号に記載されている。

図3は、典型的なカメラの用途において赤色フィルタ、緑色フィルタ、青色フィルタを有する画素の相対分光感度を示している。図3のX軸は波長をナノメートルを単位として表わしており、Y軸は効率を表わす。図3では、曲線110は赤外光と紫外光がイメージ・センサーに到達しないようにするのに用いられる典型的なフィルタの分光透過特性を表わしている。このようなフィルタが必要なのは、イメージ・センサーで使用されるカラー・フィルタは一般に赤外光を阻止せず、したがって画素が、赤外光と、付随するカラー・フィルタの帯域内の光とを区別できないからである。曲線110で示した赤外阻止特性により、赤外光が可視光信号に影響を与えることが阻止される。赤色フィルタ、緑色フィルタ、青色フィルタが取り付けられた典型的なシリコン・センサーに関する分光量子効率（すなわち捕獲される入射フォトンと、測定可能な電気信号に変換されるフォトンの比）に、曲線110で表わされる赤外阻止フィルタの分光透過特性を掛けると、複合系の量子効率として、赤に関しては曲線114が、緑に関しては曲線116が、青に関しては曲線118が得られる。これらの曲線から、それぞれのカラー光応答は、可視スペクトルの一部だけに敏感であることがわかる。それとは逆に、カラー・フィルタが取り付けられていない（が、赤外阻止フィルタ特性は有する）同じシリコン・センサーの光応答を曲線112で示してある。カラー光応答曲線114、116、118をパンクロ光応答曲線112と比較することにより、パンクロ光応答は、広いスペクトルの光に対してどのカラー光応答よりも3〜4倍敏感であることが明らかである。

図3に示したパンクロ感度のほうが大きいため、カラー・フィルタを有する画素とカラー・フィルタなしの画素を混合することにより、イメージ・センサーの全体的な感度を向上させることができる。しかしカラー・フィルタを有する画素は、パンクロ画素よりもはるかに感度が低いであろう。その場合、ある光景からの光の強度範囲がパンクロ画素の測定範囲一杯になるような光がパンクロ画素に当てられたとすれば、カラー画素は著しく露出不足になるであろう。したがってカラー・フィルタを有する画素の感度を調節し、パンクロ画素とほぼ同じ感度になるようにすることが望ましい。カラー画素の感度を大きくするには、例えばパンクロ画素よりもカラー画素のサイズを大きくし、それに伴って大きなスペースを占める画素を減らす。

図4Aは、2通りの画素群を含む二次元画素アレイである。第1の画素群からの画素は、第2の画素群からの画素よりも分光光応答が狭い。第1の画素群は、少なくとも2つのカラー・フィルタに対応する異なる少なくとも2通りの分光光応答と関係する個々の画素を含んでいる。これら2つの画素群が混合されてセンサーの全体的感度が向上する。あとでより明確になることだが、第1の画素群と第2の画素群の位置により、少なくとも12個の画素を含む最小繰り返し単位を持つパターンが規定される。最小繰り返し単位は、捕獲された1つのカラー画像を異なる照明条件下で再現できるように配置した第1の画素群と第2の画素群を含んでいる。

図4Aに示した完成パターンは、画素アレイの全体がカバーされるようにタイル状になった最小繰り返し単位を表わしている。図2と同様、カラー画素とパンクロ画素からなるこの全体的配置を記述するのに用いられる他のいくつかの最小繰り返し単位が存在しているが、それらは性質が本質的に同等であり、それぞれ8画素×8画素の範囲の画素サブアレイである。このパターンの重要な1つの特徴は、パンクロ画素の行とカラー画素の行が交互に配置され、カラー画素の行には同じカラー光応答を持つ画素がまとめられていることである。光応答が同じ画素群と、その隣にあるいくつかのパンクロ画素が、最小繰り返し単位となる4つのセルを形成すると考えられる。1つのセルは、最小繰り返し単位よりも少数の画素が切れ目なくつながったサブアレイである。

図4Aにおいて太線で囲まれたこれら4つのセルと、図5でセル120、122、124、126として示した4つのセルは、それぞれ4×4画素からなる4つのグループを取り囲んでいて、120は左上のセルを表わし、122は右上のセルを表わし、124は左下のセルを表わし、126は右下のセルを表わす。4つのセルはそれぞれ、8個のパンクロ画素と、カラー色応答が同じ8個のカラー画素を含んでいる。1つのセル内のカラー画素が合わさってそのセル全体の色を表わす。したがって図5のセル120は緑色セルと見なされ、セル122は赤色セルと見なされ、以下同様である。各セルは同じ色の少なくとも2つの画素を含んでいるため、同じ色の画素が組み合わさることでカラー画素とパンクロ画素の間の光感度の違いが克服される。

互いに重なっていない4つのセルを含んでいて、各セルが同じ色の2つの画素と2つのパンクロ画素を有する最小繰り返し単位の場合には、最小繰り返し単位に16個の画素が含まれることが明らかである。互いに重なっていない3つのセルを含んでいて、各セルが同じ色の2つの画素と2つのパンクロ画素を有する最小繰り返し単位の場合には、最小繰り返し単位に12個の画素が含まれることが明らかである。

本発明によれば、図4Aの最小繰り返し単位は、図5に示したセル構造を参照すると、捕獲されたカラー画像を異なる照明条件下で再現できる配置にされた高解像度パンクロ画像と低解像度ベイヤー・パターン・カラー画像の組み合わせを表わすことができる。ベイヤー・パターン画像の個々の要素は、対応するセル内のカラー画素の組み合わせを表わす。第1の画素群は低解像度カラー・フィルタ・アレイを規定し、第2の画素群は高解像度パンクロ画像を規定する。図6Aと図6Bを参照のこと。図6Aは、図4Aに対応する高解像度パンクロ画像を表わしており、図4Aからのパンクロ画素Pと内挿されたパンクロ画素P'の両方を含んでいる。図6Bは、低解像度ベイヤー・パターン・カラー画像を表わしており、R'、G'、B'は、図5において線で囲んだ各セルについて、そのセル内で組み合わされたカラー画素に付随するセルの色を表わしている。

以下の説明では、図4B〜図4Dの全セルを図4Aにおけるように太線で囲む。

図4Aに示した別の繰り返し単位に加え、このパターンの各セルを90°回転させて図4Bに示したパターンを得る。これは実質的に同じパターンだが、水平方向ではなく鉛直方向でパンクロ・サンプリングの頻度が最大になる。図4Aと図4Bのどちらを選択するかは、それぞれ水平方向と鉛直方向いずれでパンクロ空間的サンプリングを多くしたいかによる。しかし両方のパターンで最小繰り返し単位を作り上げるために得られるセルは、両方のパターンで同じ低解像度カラー画像を生成させる。したがって図4Aと図4Bは、色の観点からは同等である。一般に、図4Aと図4Bは本発明を実現した実施例であり、パンクロ画素が行または列に直線状に配置されている。さらに、図4Aは、パンクロ画素だけの行を含んでおり、各行は、カラー画素行によって隣のパンクロ画素行と隔てられている。図4Bは、列方向に同じ性質を有する。

図4Cは図4Aに対するさらに別の最小繰り返し単位であり、セルの色特性は実質的に同じである。しかし図4Cは、パンクロ画素行とカラー画素行がセルごとに互い違いになっている。こうすることで、鉛直方向のパンクロ解像度を向上させることができる。図4Aに対するさらに別の最小繰り返し単位を図4Dに示してある。この図4Dでは、パンクロ画素行とカラー画素行が2列ごとに互い違いになっている。このようにしても鉛直方向のパンクロ解像度を向上させることができる。図4A〜図4Dに示したどの最小繰り返し単位にも共通する1つの特徴は、2つ以上の同じ色の画素群がグループ化されて行または列の方向に並べて配置されていることである。

図4A〜図4Dはどれも同じ色構造であり、低解像度ベイヤー・パターンを示す最小繰り返し単位を構成するセルを有する。したがって、パンクロ画素とグループ化されたカラー画素からなるさまざまな配置を本発明の範囲で構成できることがわかる。

カラー光感度を大きくすることでパンクロ光感度とカラー光感度のずれを克服するため、各セル内のカラー画素をさまざまな方法で組み合わせる。例えば同じ色の画素からの電荷をCCDイメージ・センサーの中、または貯蔵可能なタイプのアクティブ画素センサーの中で、足し合わせるかまとめる（図1、イメージ・センサー20参照）。あるいは同じ色の画素内で測定された電荷量に対応する電圧を、例えば充電されてその電圧になったキャパシタに並列に接続することによって平均する（図1、イメージ・センサー20参照）。キャパシタと並列に接続することによって電圧を平均する場合には、キャパシタをすべて同じサイズにして単純平均を行なうこと、またはキャパシタのサイズを変えて重み付き平均を行なうことができる。さらに別の方法では、同じ色の画素における光のレベルのディジタル値を合計するか、平均するか、ディジタル・フィルタを通過させて合計結果を得る（例えば図1のディジタル信号処理装置36）。2つの画素からの電荷を足し合わせるかまとめると信号レベルが2倍になるが、足し合わせた信号をサンプリングして読み出すことに伴う雑音は同じ大きさに留まるため、信号対雑音比は2倍になる。これは、組み合わせた画素の光感度が2倍になることに対応する。2つの画素からの光レベルのディジタル値を合計する場合には、得られる信号は2倍になるが、2つの画素を読むことに対応する雑音レベルは積になるため、雑音は2の平方根を掛けた大きさになる。したがって組み合わせた画素で得られる信号対雑音比は、組み合わされていない信号と比べて2の平方根を掛けた大きさになる。同様の分析が、電圧平均またはディジタル平均に当てはまる。

1つのセル内にある同じ色の画素からの信号の加算に関する上記の方法を単独で、または組み合わせて利用する。例えば図4Aに含まれる同じ色の画素からの電荷を2つずつ鉛直方向に組み合わせることで、図7Aに示したように組み合わされた信号R'、G'、B'を有する組み合わされた画素になる。この場合には、それぞれのR'、G'、B'は、組み合わされていない画素の2倍の感度である。あるいは図4Aに含まれる同じ色の画素から測定された値（電圧またはディジタル値）を水平方向に4つずつ組み合わせると、図7Bに示したように組み合わされた信号R'、G'、B'を有する組み合わされた画素になる。この場合には、信号は4倍になるが雑音は2倍であるため、それぞれのR'、G'、B'は組み合わされていない画素の2倍の感度である。組み合わせ方式の別の例では、図7Aに示したように同じ色の画素からの電荷を2つずつ鉛直方向に組み合わせ、水平方向には図7Aの組み合わされた画素の測定値を4つ合計または平均すると、図7Cの組み合わされた最終カラー画素が得られる。ここに、R"、G"、B"は、同じ色の画素の最終的な組み合わせを表わす。この組み合わせ配置では、図7Cの組み合わされた最終カラー画素は、それぞれ、組み合わされていない画素の4倍の感度である。ある構造のセンサー、特にある配置のCCDにすると、各セル内の同じ色の8つの画素すべてからの電荷を図7Cのように組み合わせることができるため、組み合わされたカラー画素の感度は8倍になる。

上記の説明から、カラー画素の光感度を調節する目的でカラー画素を組み合わせる際にはいくつかの自由度があることが理解されよう。当業者には、よく知られた組み合わせ法が思い浮かぶであろう。その組み合わせ法は、光景の内容、光景の光の状態、全体的な光のレベル、または他の基準に基づいている。さらに、組み合わせ法は、組み合わせた画素をパンクロ画素よりも意図的に低い感度または高い感度にできるように選択される。画素を組み合わせる上記のさまざまな方法が、この明細書ならびに関連する文書で説明されている任意のパターンを利用したイメージ・センサーで利用される。

ここまで、1個の赤色画素と青色画素につき2個の緑色画素が存在するように赤色フィルタ、緑色フィルタ、青色フィルタを用いるイメージ・センサーを説明してきた。本発明は、図8Aに示してあるように、赤色フィルタ、緑色フィルタ、青色フィルタを同じ割合で用いて実施することもできる。図8Aの最小繰り返しパターンを利用してセンサー・アレイをいくつかの異なる方法でタイル状にすることができる。そのうちのいくつかを図8B〜図8Dに示してある。これらのパターン（例えば図8Aの最小繰り返しユニット）と幾何学的に似た変形例も利用できることが理解されよう。図8Eには、図8Aの最小繰り返しユニットを回転させた形態を示してある。

本発明は、4色以上の光応答を有する画素でも利用できる。図9Aは、図8Aの最小繰り返しユニットの変形例を示しており、パンクロ画素に加えて4つの色が用いられている。図9B〜図9Cは、パンクロ画素行が1つしかない図8Aと図9Aのパターンでそのパンクロ画素行が2つのパンクロ画素行で置き換えられた別の変形例を示している。これらのどのパターンも、同じ色の画素を複数個備えることはない。この事実についてと、このようなパターンを利用する好ましい方法について、あとで説明する。

別の最小繰り返しユニットを図10Aに示してあり、この最小繰り返しユニットには、1個の赤色画素と、2個の緑色画素と、1個の青色画素が含まれている。このパターンを利用したタイル化の一例を図10Bに示してある。

シアン色センサー、マゼンタ色センサー、イエロー色センサーを用いたイメージ・センサーが従来技術でよく知られているため、シアン色フィルタ、マゼンタ色フィルタ、イエロー色フィルタを用いて本発明を実施する。図10Cには、図10Aと同等なシアン、マゼンタ、イエローを示してある。ただしCはシアン色画素、Mはマゼンタ色画素、Yはイエロー色画素を表わす。

図10Dは、シアン色画素（Cと表記）と、マゼンタ色画素（Mと表記）と、イエロー色画素（Yと表記）と、緑色画素（Gと表記）を含む本発明の最小繰り返し単位を示している。図10Eは、赤色画素（Rと表記）と、青色画素（Bと表記）と、あるカラー光応答を示す緑色画素（Gと表記）と、それとは異なるカラー光応答を示す別の緑色画素（Eと表記）を含むさらに別の4色配置を示している。図10Fはさらに別の4色配置を示しており、図10Aの緑色セルの1つがイエロー・セルで置き換えられている。ここではイエロー画素をYと表記してある。

図11Aは図10Aのパターンの変形例を示しており、ここでは各パンクロ画素行が2つのパンクロ画素行で置き換えられている。図11Bに示した別の例は、図10Eのパターンに適用した同様の変形例である。

本発明を、長方形アレイ以外の画素アレイを用いて実施する。図12Aに図8Aのパターンの変形例を示してあり、ここでは画素が八角形になっていて、対角線方向に並べて配置されている。画素の形状が八角形であるため、水平方向と鉛直方向に隣り合った画素の間には小さな正方形の隙間が存在している。その隙間は、センサーに必要な機能（例えばデータ転送回路）のために利用することができる。図12Bは、図12Aの最小繰り返し単位を利用したタイル・パターンの一例を示している。図12Bでは、パンクロ画素が、対角線方向に並んだ複数の線となって出現している。同様に、カラー画素も対角線方向に並んだ複数の線となって出現している。

図13Aは図8Aのパターンの別の変形例であり、ここでは画素が六角形になっていて、鉛直方向に並べられている。図13Bは、図13Aの最小繰り返し単位を利用したタイル・パターンの一例を示している。図13Bでは、パンクロ画素が複数の列となって出現している。同様に、カラー画素も複数の列となって出現している。

図14は、カラー画素よりもパンクロ画素の数が少ない別の最小繰り返し単位を示している。ここでは画素は六角形であり、パンクロ画素は、対角線方向に並んだ複数の線となって出現する。図14では、カラー画素も対角線方向に並んだ複数の線となって出現している。図15は図13Aのパターンの別の変形例を示している。図12A〜図15に示してあるように、本発明の範囲において、画素行と画素列は必ずしも互いに垂直でなくてもよいことに注意されたい。

ここで図16に移ると、図5の最小繰り返し単位を4つのセルに分割した状態が示してある。1つのセルは、最小繰り返し単位よりも少数の画素が切れ目なくつながった画素サブアレイである。以下の処理を行なうのに必要なソフトウエアは、図1のDSP 36に収容されている。セル220、224、226、228は、光応答がそれぞれ緑、赤、青、緑である画素を含むセルの例である。この例では、セル220は、パンクロ画素と緑色画素の両方を含んでいて、緑色画素は画素群222として特定される。最終的な目標は、画素群222の緑色画素からの8つの緑色信号を組み合わせることによってセル220のための単一の緑色信号を発生させることである。イメージ・センサーの動作モードに応じ、同じ色の領域の8つの緑色信号をすべて組み合わせることによって（例えば電荷を合計することによって）単一の緑色信号を発生させるか、画素群222から取り出したより小さな画素群を組み合わせることによって多数の緑色信号を発生させる。セル220のパンクロ画素を図17Aに示してある。以下の例では、これらパンクロ画素からの8つの信号をすべて個別にディジタル化する。セル220の緑色画素を図17B〜図17Eに示してあり、それぞれの図では、緑色画素が、同じ色の領域でいかにして組み合わされるかに従ってまとめられている。図17Bは、8つの緑色画素がすべて組み合わされてセル220のための単一の緑色信号を発生させる場合である（図16）。センサーは、図17Cに示してあるように、例えばまず最初に画素G21、G22、G23、G24からの信号を組み合わせ、次に画素G41、G42、G43、G44からの信号を組み合わせることによって2つの緑色信号を発生させることができる。他の方法で2つの信号を発生させることもできる。センサーは、図17Dに示してあるように、まず最初に画素G21、G22、G41、G42からの信号を組み合わせ、次に画素G23、G24、G43、G44からの信号を組み合わせることができる。センサーは、図17Eに示してあるように、4対の信号を組み合わせることによって（例えば画素G21を画素G22と組み合わせ、次に画素G23を画素G24と組み合わせ、次に画素G41を画素G42と組み合わせ、最後に画素G43を画素G44と組み合わせることによって）セル220のための4つの緑色信号を発生させることもできる。セル220（図16）の中で緑色信号のペアを組み合わせる他の多くの方法が存在していることは明らかである。センサーが組み合わせをまったく実行しない場合には、8つの緑色信号はすべて個別にセル220に報告される。このようにセル220の場合には、センサーは、その動作モードに応じ、セル220のための1個、2個、4個、8個いずれかの緑色値を異なった方法で発生させることができる。

セル224、226、228（図16）に関しては、センサーの動作モードに応じてセンサーから同様のカラー信号が発生する。セル224、226、228のカラー信号は、それぞれ赤、青、緑である。

セル220の場合に戻ると、このセルのためにどれだけ多くの信号がディジタル化されるかに関係なく、本発明の画像処理アルゴリズムはさらに、ディジタル化された緑色値を組み合わせてこのセルのための単一の緑色値を生成させる。単一の緑色値を得るための1つの方法は、セル220のために生成されたディジタル化されたすべての緑色値を平均するというものである。セルに光応答の異なるカラー画素が含まれている場合には、そのセル内の全カラー・データを同様にして組み合わせ、そのセル内に現われるそれぞれの色の光応答に関して単一の値が存在するようにする。

生の画像データを捕獲した原初のセンサー内の画素に関するカラー値と、原初のセンサー内のセルに関するカラー値とを区別することが重要である。両方のタイプのカラー値を利用してカラー画像を生成させるが、得られるカラー画像は解像度が異なる。原初のセンサー内の画素に関する画素値を持つ画像は、高解像度画素と呼ばれ、原初のセンサー内のセルに関する画素値を持つ画像は、低解像度画素と呼ばれる。

ここで図18に移ると、ディジタル信号処理装置ブロック36（図1）が、捕獲された生画像データをデータ・バス30（図1）から受け取ることが示してある。生画像データは、低高解像度不完全カラー・ブロック202と高解像度パンクロ・ブロック204の両方に送られる。イメージ・センサーのための最小繰り返し単位の一例はすでに図5と図16に示した。セル220（図16）の場合には、捕獲された生の画像データは、図17Aに示したように個別のパンクロ画素から発生したパンクロ・データを含んでいる。また、セル220（図16）では、例えば図17B〜図17Eに示した組み合わせからの1つ以上の緑色（カラー）値も含まれる。

低解像度不完全カラー・ブロック202（図18）では、捕獲された生の画像データから不完全カラー画像が生成される。不完全カラー画像は、各画素が少なくとも1つのカラー値を持つとともに、各画素が少なくとも1つのカラー値を欠いているカラー画像である。センサーの動作モードに応じ、捕獲された生データは、各セル内のカラー画素が発生させた何個かのカラー値を含んでいる。低解像度不完全カラー・ブロック202の中では、これらカラー値の数が減らされ、セル内に現われるそれぞれの色のための単一の値になる。一例としてセル220（図16）では、単一の緑色値が生成される。同様に、セル224、226、228では、単一の赤色値、青色値、緑色値がそれぞれ生成される。

低解像度不完全カラー・ブロック202は、各セルを同様にして処理することでカラー値のアレイを得る。なお、各セルにつき1つのカラー値となる。得られる画像アレイは、原初のセンサーの画素ではなくセルに基づいているため、原初の捕獲された生画像データ・アレイと比べてそれぞれのサイズが1/4である。得られるアレイはセルに基づいているため、そして各画素はすべてのカラー値ではなくていくつかのカラー値を持つため、得られる画像は低解像度不完全カラー画像である。この時点で、低解像度不完全カラー画像は色のバランスが取れている。

ここで高解像度パンクロ・ブロック204を見ると、図16に示したのと同じ生画像データが利用される。しかしパンクロ値だけが利用される（図17A）。ここでのタスクは、パンクロ値をまだ持たない画素のパンクロ値を推定することによって完全な高解像度パンクロ画像を内挿することである。セル220（図16）の場合には、画素群222（図16）の緑色画素に関してパンクロ値を推定せねばならない。欠けているパンクロ値を推定する簡単な1つの方法は、鉛直方向に平均することである。例えば画素22におけるパンクロ値は以下のようにして推定することができる。
P22 = (P12 + P32)/2
適応法も利用することができる。例えば1つの適応法は、図17Aに示したパンクロ値を利用して3つの勾配値を計算し、その絶対値を取るというものである。
SCLAS = ABS (P31 - P13)
VCLAS = ABS (P32 - P12)
BCLAS = ABS (P33 - P11)
同様にして3つの予想値が計算される。
SPRED = (P31 + P13)/2
VPRED = (P32 + P12)/2
BPRED = (P33 + P11)/2

次に、P22を、最も小さい分類値に対応する予想値に等しくする。同じ値の場合には、P22を得られた予想値の平均値に設定する。パンクロに関する内挿を、セルの境界とは無関係に画像全体について続ける。高解像度パンクロ・ブロック204での処理が終了すると、得られたディジタル・パンクロ画像は、原初の捕獲された生画像とサイズが同じであるため、高解像度パンクロ画像になる。

低解像度パンクロ・ブロック206は、ブロック204で生成された高解像度パンクロ画像アレイを受け取り、ブロック202で生成された低解像度不完全カラー画像と同じサイズの低解像度パンクロ画像アレイを生成させる。それぞれの低解像度パンクロ値は、所定のセル内で、カラー・フィルタを有する画素について、推定されたパンクロ値を平均することによって得られる。セル220（図16）の場合には、画素群222（図16）の緑色画素に関して以前に推定した高解像度パンクロ値が平均され、このセルのための単一の低解像度パンクロ値となる。同様に、セル224のため、単一の低解像度パンクロ値が、赤色フィルタを有する画素で推定された高解像度パンクロ値を利用して計算される。このようにして、各セルは最終的に単一の低解像度パンクロ値を持つ。

低解像度色差ブロック208は、ブロック202から低解像度不完全カラー画像を受け取ると同時に、ブロック206から低解像度パンクロ・アレイを受け取る。次に、低解像度中間カラー画像が、低解像度パンクロ画像をガイドとして低解像度不完全カラー画像の色を内挿することによって形成される。色内挿アルゴリズムの正確な特徴（あとで詳しく説明する）は、原初の生画像データを捕獲するのにどの画素光応答パターンを用いたかに依存する。

低解像度中間カラー画像が形成された後、色が補正される。低解像度中間カラー画像の色が補正されると、それぞれの低解像度色平面から個別に低解像度パンクロ画像を差し引くことによって色差の低解像度画像が計算される。高解像度色差ブロック210は、ブロック208から低解像度色差画像を受け取り、双一次内挿を利用して低解像度色差画像のアップサンプリングを行なうことで、原初の生画像データのサイズと一致させる。結果は、ブロック204が生成させた高解像度パンクロ画像と同じサイズの高解像度色差画像である。

高解像度最終画像ブロック212は、ブロック210から高解像度色差画像を受け取ると同時に、ブロック204から高解像度パンクロ画像を受け取る。次に、高解像度パンクロ画像をそれぞれの高解像度色差平面に加算することによって高解像度最終画像が形成される。得られた高解像度最終画像はさらに処理することができる。例えばDSPメモリ・ブロック32（図1）に記憶された後、シャープにされ、圧縮されてメモリ・カード・ブロック64（図1）に記憶される。

図4A〜図4Dに示したセンサー・フィルタのパターンは、ブロック202で生成された低解像度不完全カラー画像が、カラー・フィルタに関して繰り返しベイヤー・パターン：
ＧＲ
ＢＧ
を示すような最小繰り返し単位を有する。どのセルも、低解像度不完全カラー画像によって与えられる単一のカラー値に加え、低解像度パンクロ画像によって与えられるパンクロ値も有する。

ベイヤー・パターンが低解像度不完全カラー画像に存在している場合を考えると、低解像度色差ブロック208（図18）における色内挿というタスクを今やより詳細に説明することができる。色の内挿は、図19Aの画素234に示してあるように、緑色値をまだ持たない画素における緑色値を内挿することから開始する。隣にある4つの画素（画素230、232、236、238として示してある）はすべて緑色値を持ち、パンクロ値も持っている。中心の画素234はパンクロ値を持つが、疑問符で示してあるように緑色値は持たない。

第1のステップは、2つの分類値を計算することである。第1の分類値は水平方向に関係し、第2の分類値は鉛直方向に関係する。
HCLAS = ABS (P4 - P2) + ABS (2×P3 - P2 - P4)
VCLAS = ABS (P5 - P1) + ABS (2×P3 - P1 - P5)
次に2つの予想値を計算する。第1の予想値は水平方向に関係し、第2の予想値は鉛直方向に関係する。
HPRED = (G4 + G2)/2 + (2×P3 - P2 - P4)/2
VPRED = (G5 + G1)/2 + (2×P3 - P1 - P5)/2
最後に、THRESHを経験的に決定した閾値とすることで、欠けている値G3を以下のようにして適応的に計算することができる。
IF MAX (HCLAS, VCLAS) < THRESH
G3 = (HPRED + VPRED)/2
ELSEIF VCLAS < HCLAS
G3 = VPRED
ELSE
G3 = HPRED
END
したがって両方の分類値が閾値よりも小さい場合には、両方の予想値の平均を計算してG3とする。そうでない場合には、分類値HCLASとVCLASのどちらが小さいかに応じてHPREDまたはVPREDを利用する。

欠けているすべての緑色値が推定されると、欠けている赤色値と青色値が内挿される。図19Bに示してあるように、画素242には赤色値が欠けているが、水平方向に隣接している2つの画素（画素240と244）はそれぞれ赤色値R2とR4を持つ。これら3つの画素はどれも緑色値を持つ。このような条件下では、画素242に関する赤色値（R3）は以下のようにして計算される。
R3 = (R4 + R2)/2 + (2×G3 - G2 - G4)/2
欠けている青色値は、同様の条件下で同じようにして計算される。この時点では、まだ赤色値と青色値が欠けている画素だけが、鉛直方向の内挿を必要とする画素である。図19Cに示してあるように、画素252には赤色値が欠けており、鉛直方向に隣接している2つの画素（画素250と254）はそれぞれ赤色値R1とR5を持つ。このような条件下では、画素252に関する赤色値（R3）は以下のようにして計算される。
R3 = (R5 + R1)/2 + (2×G3 - G1 - G5)/2
欠けている青色値は、同様の条件で同じようにして計算される。こうすることで、低解像度不完全カラー画像の内挿が完成し、その結果が低解像度中間カラー画像となる。すでに説明したように、低解像度色差は、今やそれぞれの色平面（すなわちすぐ上で説明した例における赤、緑、青）から低解像度パンクロ値を差し引くことによって計算できる。

ここで図20に移ると、図8Aの最小繰り返し単位のコピーを4つ利用したタイル式センサーの一部が示してある。隣り合った4つの最小繰り返し単位310、311、312、313のそれぞれは、赤色画素、緑色画素、青色画素を1つずつ含んでいる。画素の組み合わせに関する上での議論は、例えば図16に示したように同じ最小繰り返し単位内の似た色の画素に限定されていたが、近くの最小繰り返し単位からの画素を組み合わせて本発明を実施することもできる。図20に示してあるように、赤色画素R21とR41は、鉛直方向に組み合わされて画素類314を構成する。同様に、緑色画素G42とG45は、水平方向に組み合わされて画素対315を構成する。図20で用いる図8Aのパターンのように最小繰り返し単位が比較的小さい場合には、隣にある最小繰り返し単位からの似た色の画素を組み合わせると有用である。

図20を参照して上に説明した組み合わせを隣り合った最小繰り返し単位の間で考えることは有用である。ただし隣り合ったとは、2つの最小繰り返し単位の間で正の長さの境界を共有していることと定義される。この定義が与えられると、図20の最小繰り返し単位311と312は最小繰り返し単位310と隣り合っているが、最小繰り返し単位311と312は互いに隣り合っているわけではないことがわかる。上に説明した組み合わせにおいて、隣り合った最小繰り返し単位からの似た色の画素を組み合わせる。ただし似た色は、似た分光光応答を持つ色と定義される。この定義が与えられると、図20のすべての赤色画素R21、R24、R41、R44は似た色の画素であり、すべてのパンクロ画素P11〜P16とP31〜P36は似た色の画素である。上に説明した組み合わせにおいて、隣り合った最小繰り返し単位からの似た位置の画素を組み合わせる。ただし似た位置とは、それぞれの最小繰り返し単位内で同じ相対位置にあることと定義される。例えば図20の画素G42とG45は似た位置であり、組み合わされてペア315にされる。似た位置の画素は似た色の画素でなければならないことに注意されたい。

カラー画素の文脈で組み合わせについて一般に説明してきたが、パンクロ画素の組み合わせが有効である場合がある。光のレベルが低かったり露出時間が短かったりする場合には、パンクロの解像度を犠牲にしてパンクロ画素を組み合わせることで、組み合わされたパンクロ画素の信号強度を大きくすることが有効である。隣り合った最小繰り返し単位、似た色の画素、似た位置の画素の定義は、パンクロ画素とカラー画素の両方に当てはまることに注意することが重要である。例えば図20のパンクロ画素P12とP15は似た位置であり、組み合わされてペア316にされる。さらに、パンクロ画素P13とP14は似た色の画素であり（しかし似た位置ではない）、組み合わされてペア317にされる。1つの最小繰り返し単位の中に1つの色の画素が複数個存在している場合には、1つの最小繰り返し単位内の似た色の画素を組み合わせると有効である場合があることに注意されたい。例えばパンクロ画素P35とP36は1つの最小繰り返し単位内の似た色の画素であり、組み合わされてペア318にされる。

ここまで説明してきた組み合わせには、隣り合った最小繰り返し単位からの似た色の画素または似た位置の画素の組み合わせが含まれる。パンクロ画素をカラー画素と組み合わせると有効である場合がある。図20では、組み合わされたペア319は、パンクロ画素P16と青色画素B26を含んでいる。パンクロ画素とカラー画素の組み合わせは、例えば光のレベルが低いか露出時間が非常に短いとき、組み合わされた画素からの全体的な信号強度を大きくするためになされる。ペア319は1つの最小繰り返し単位からのパンクロ画素とカラー画素の組み合わせを示しているが、パンクロ画素を近くの最小繰り返し単位からのカラー画素と組み合わせることも有効である。

複数の最小繰り返し単位からなる所定のアレイ内で、隣り合った最小繰り返し単位からの似た位置の画素と、隣り合った最小繰り返し単位からの似た色の画素と、1つの最小繰り返し単位からの似た色の画素と、パンクロ画素と、カラー画素とを同時に組み合わせることも本発明の範囲に含まれる。画像捕獲条件に応じてあるときには複数の組み合わせ法の特別な構成が有用であり、時刻が異なる異なる別の画像捕獲条件では異なる構成が有用であるため、画像捕獲時刻に合わせて組み合わせの構成をダイナミックに調節できることも理解されよう。例えば光景全体の光のレベルが高いときにはパンクロ画素を組み合わせないが、光景全体の光のレベルが低いときには、信号レベルを改善するためにパンクロ画素を互いに組み合わせるか、パンクロ画素とカラー画素を組み合わせる。

上に説明したさまざまな組み合わせ法を図21〜図27に示してある。図21A〜図21Dには、図10Aに示したタイプのバリエーションである最小繰り返し単位が隣り合った2つの最小繰り返し単位330と331を示してある。図21Aでは、その2つの最小繰り返し単位からの似た位置のすべてのカラー画素が、画素対332、333、334、335で示したように組み合わされる。図21Bでは、似た位置のすべてのパンクロ画素が、画素対336、337、338、339で示したように組み合わされる。

図21Cは、1つの最小繰り返し単位内の似た色の画素を組み合わせると同時に、最小繰り返し単位間の似た位置の画素の組み合わせを示している。図21Cには、図10Aに示したタイプのバリエーションである最小繰り返し単位が隣り合った2つの最小繰り返し単位330と331が含まれる。似た位置の画素R21とR23がペア340として組み合わされ、似た位置の画素B42とB44がペア341として組み合わされる。画素G22とG41は、最小繰り返し単位330の中に位置する似た色の画素であり、ペア342として組み合わされた状態が示してある。同様に、最小繰り返し単位331からの画素G24とG43がペア343として組み合わされた状態が示してある。

図21Dは、1つの最小繰り返し単位内でパンクロ画素を組み合わせると同時に、最小繰り返し単位間でパンクロ画素を組み合わせる場合を示している。図21Dには、図10Aに示したタイプのバリエーションである最小繰り返し単位が隣り合った2つの最小繰り返し単位330と331が含まれる。画素P11とP12は最小繰り返し単位330の中に位置するパンクロ画素であり、ペア344として組み合わされた状態が示してある。同様に、画素P13とP14は最小繰り返し単位331に由来し、ペア345として組み合わされた状態が示してある。パンクロ画素P32とP33は異なる最小繰り返し単位に存在しており、ペア346として組み合わされた状態が示してある。組み合わされていない画素P31とP34は組み合わされないまま残されるか、矢印347と348で示してあるように隣り合った最小繰り返し単位からの画素と組み合わされる。

図21A〜図21Dの最小繰り返し単位は水平方向に配置されているが、図22は、鉛直方向に配置された隣り合った2つの最小繰り返し単位360と361を示しており、似た位置のカラー画素が組み合わされて画素対362、363、364、365になった状態が示してある。

隣り合った2つの最小繰り返し単位からの画素を組み合わせてペアにすることに加え、3つ以上の最小繰り返し単位からの画素を組み合わせることも有用である。例えば図23は、図10Aに示したタイプのバリエーションである最小繰り返し単位が隣り合った3つの最小繰り返し単位370、371、372を示している。似た色の画素（似た位置でもある）を3つずつ組み合わせて3つ組画素373、374、375、376として示してある。

図24は、図10Aに示したタイプのバリエーションである最小繰り返し単位が隣り合った5つの最小繰り返し単位380、381、382、383、384を示しており、図示した似た色の画素が組み合わされて、赤色の3つ組390、緑色のペア391、緑色の3つ組392、赤色のペア393、緑色の3つ組394、青色のペア395、青色の3つ組396、緑色のペア397となっている。この特別な構成により、等間隔の組み合わせ画素が得られる。組み合わせ390によりR23の位置に組み合わされた赤色が得られ（組み合わせプロセスにおいて画素R21、R23、R25は等しい重みであると仮定する）、組み合わせ391により、やはりR23の位置に組み合わされた緑色が得られる。同様に、G28の位置に赤-緑色を組み合わせたペアが存在し、G43の位置に緑-青色を組み合わせたペアが存在し、B48の位置に緑-青色を組み合わせたペアが存在する。画素R23、G28、G43、B48の位置は、5つの最小繰り返し単位からなるグループ内で等間隔になっており、5つの最小繰り返し単位からなるこのグループと組み合わされた画素が繰り返されて複数の最小繰り返し単位からなるより大きなアレイが作り出されると、得られる組み合わされた画素は、得られたアレイ全体にわたって等間隔になる。これと対照的なのが図23に示した組み合わせ配置である。3つの最小繰り返し単位と組み合わされた画素からなるこのグループが繰り返されて複数の最小繰り返し単位からなるより大きなアレイが作り出されると、得られる組み合わされた画素は3つの最小繰り返し単位からなる各グループの中心に集まるため、アレイ全体で等しい間隔にはならない。

図25Aは、図10Aに示したタイプのバリエーションである最小繰り返し単位が隣り合った4つの最小繰り返し単位400、401、402、403を示している。図25Aでは、似た色のいくつかの画素は4つの最小繰り返し単位からなるグループ内で組み合わされるのに対し、他の画素は、4つの最小繰り返し単位からなるこのグループに隣接した最小繰り返し単位からの画素と組み合わされる。具体的には、画素R21、R23、R25は3つ組410として組み合わされ、画素G41、G43、G45は3つ組412として組み合わされ、画素B44、B46、B48は3つ組413として組み合わされる。このようにすると、組み合わされないままになるか、隣り合った最小繰り返し単位からの画素と組み合わされるカラー画素がいくつか残る。例えば画素G22は、矢印414で示したように、4つの最小繰り返し単位からなるグループの左側にある最小繰り返し単位からの画素と組み合わされる。同様に、画素B42は、矢印416で示したように、左側の最小繰り返し単位からの画素と組み合わされ、画素R27とG47は、それぞれ矢印415と417で示したように、右隣の最小繰り返し単位からの画素と組み合わされる。図25Aでは、中央の2つの最小繰り返し単位401と402からの似た位置のすべてのカラー画素が組み合わされ、その組み合わされた画素のうちのいくつかはさらに、左隣の最小繰り返し単位400からの似た位置のカラー画素と組み合わされ、その組み合わされた画素のうちの他のものはさらに、右隣の最小繰り返し単位403からの似た位置のカラー画素と組み合わされる。

図25Aにおいて400〜403で例示したタイプの最小繰り返し単位がタイルになってより大きなアレイを作り出す場合には、図25Aに示した組み合わせ配置が延長され、図25Bに示したように最小繰り返し単位のアレイがカバーされる。図25Bには、4つの最小繰り返し単位からなるグループが3つ重なった状態を示してある（405L、405C、405R）。グループ405Lは、組み合わせることを目的とした図25Aの最小繰り返し単位400、401、402、403にそれぞれ対応する最小繰り返し単位400L、401L、402L、403Lからなる。同様に、グループ405Cは、やはり図25Aの最小繰り返し単位400、401、402、403に対応する最小繰り返し単位400C、401C、402C、403Cからなり、グループ405Rは、やはり図25Aの最小繰り返し単位400、401、402、403に対応する最小繰り返し単位400R、401R、402R、403Rからなる。グループ405Lの最小繰り返し単位403Lはグループ405Cの最小繰り返し単位400Cでもあり、グループ405Cの最小繰り返し単位403Cはグループ405Rの最小繰り返し単位400Rでもある。したがって最小繰り返し単位403L/400Cはグループ405Lと405Cが重なっている位置に存在し、最小繰り返し単位403C/400Rはグループ405Cと405Rが重なっている位置に存在する。4つの最小繰り返し単位からなる各グループ405L、405C、405Rに含まれる曲線は、図25Aにおいて410、411、412、413で示したように組み合わされた画素を結び付けている。1つのグループの外側に延びる曲線は、重なっている隣のグループと結び付いており、図25Aの414、415、416、417に対応する。図25Aと図25Bに示した組み合わせ配置によってカラー画素が等間隔になった組み合わせ結果が得られることは明らかである。さらに、組み合わされたカラー画素は、色の1つのベイヤー配置を表わす。

最小繰り返し単位は、より大きな画素アレイを作り出すのに用いるタイル・ユニットであることに注意されたい。図24、図25A、図25Bに示した最小繰り返し単位からなるグループは画素を組み合わせることだけを目的としており、タイル化は目的としていない。図24に示したように、画素の組み合わせが複数の最小繰り返し単位からなる1つのグループに完全に含まれる場合もあれば、図25Aに示したように、画素の組み合わせがそのグループの外へと延びる場合もある。画素の組み合わせが複数の最小繰り返し単位からなる1つのグループの外へと延びるいくつかの場合には、図25Bに示したように、画素を組み合わせることを目的として複数の最小繰り返し単位からなる代表的なグループを重ね合わせる。複数の最小繰り返し単位があるやり方でグループにされていくつかの画素が組み合わされ、別のやり方でグループにされて他の画素が組み合わされることに注意されたい。例えば複数の最小繰り返し単位があるやり方でグループにされてカラー画素が組み合わされ、別のやり方でグループにされてパンクロ画素が組み合わされる。

上記の段落における例では図10Aに示したタイプのバリエーションである最小繰り返し単位を用いたが、他のタイプの最小繰り返し単位でこのような組み合わせ配置を利用できることは明らかにわかる。例えば図21〜図25の最小繰り返し単位の代わりに図11に示したタイプのバリエーションである最小繰り返し単位にすると、似た組み合わせ結果が得られ、それは完全に本発明の範囲に含まれる。

これまでに示した例はすべて、直線状（行または列）に配置された最小繰り返し単位を示している。画素を組み合わせる目的で隣り合った最小繰り返し単位を別のやり方で配置することも有用である。図20にはそのような一例が示してある。この図では、4つの最小繰り返し単位が2行、2列に配置されている。別の一例を図26Aに示してある。この図には、図8Aに示したタイプの3つの最小繰り返し単位420、421、422が含まれている。これら3つの最小繰り返し単位は互いに隣り合うように配置されている。3つの最小繰り返し単位からなるこのグループ内の似た色の画素が組み合わされる。例えば画素R21、R41、R44が組み合わされる。3つの互いに隣り合った最小繰り返し単位からなるこの配置が繰り返されてより大きな画素アレイが作られる。複数の最小繰り返し単位からなる1つのグループ内で互いに隣り合う別の一例として、図26Bは、図8Aに示したタイプの4つの最小繰り返し単位425、426、427、428を備えており、その4つの最小繰り返し単位のそれぞれは、その4つの最小繰り返し単位からなるグループ内の少なくとも2つの他の最小繰り返し単位と隣り合っている。4つの最小繰り返し単位からなるこのグループ内の似た色の画素が組み合わされる。例えば画素R21、R41、R44、R61が組み合わされる。

図27は、パンクロ画素とカラー画素の組み合わせを示している。最小繰り返し単位430は、図10Aに示したタイプのバリエーションである。画素P11とR21が組み合わされたペア431を形成し、画素P12とG22が組み合わされたペア432を形成し、画素P31とG41が組み合わされたペア433を形成し、画素P32とB42が組み合わされたペア434を形成する。

ここで図28に移ると、16個の画素を有する2組の最小繰り返し単位、すなわち最小繰り返し単位440と441を示してある。上方の最小繰り返し単位440は2つのセル442と443に分けられている。セル442は、4つのパンクロ画素P11、P12、P13、P14からなる水平な1つの行と、2つの青色画素B21、B23と、2つの緑色画素G22、G24を含んでいる。セル443は、4つのパンクロ画素P15、P16、P17、P18からなる水平な1つの行と、2つの赤色画素R25、R27と、2つの緑色画素G26、G28を含んでいる。下方の最小繰り返し単位441は2つのセル444と445に分けられていて、それぞれセル442および443と似たパターンの画素を含んでいる。図28に示したセルを含む1つの最小繰り返し単位が与えられた場合には、画素を組み合わせるいくつかの方法がある。図28では、隣り合った最小繰り返し単位440と441からの画素B21とB41が組み合わされた画素対450となる。セル444からの画素G42とG44が組み合わされた画素対451となる。画素P14とP15は、それぞれセル442、443からのパンクロ画素であり、画素対452となる。パンクロ画素P13はカラー画素B23と組み合わされ、組み合わされた画素対453となる。

すでに示したように、本発明には、単一の最小繰り返し単位内と、隣り合った複数の最小繰り返し単位の間の両方での任意の数の画素の組み合わせが含まれる。図28に示したように、緑色画素G26、G28、G46、G48は4つ組の組み合わされた画素455を構成し、その4つの画素のすべてが組み合わさって単一のカラー値を生成させる。この4つ組の組み合わせには、水平方向と鉛直方向の画素の組み合わせのほか、単一の最小繰り返し単位からの複数の画素と、隣り合った複数の最小繰り返し単位からの画素の組み合わせが含まれる。

図29A〜図29Cのそれぞれは、図28に示したタイプの最小繰り返し単位460を示している。最小繰り返し単位460は、2つのセル462と464からなる。図29Aでは、セル462からの画素B21とB23が、組み合わされた画素対465を提供する。同様に、セル464からの画素R25とR27が、組み合わされた画素対466を提供する。セル462からの画素G22とG24にセル464からの画素G26を組み合わせると、組み合わされた3つ組画素467になる。赤色組み合わせ画素と青色組み合わせ画素はそれぞれのセルに完全に含まれるのに対し、緑色組み合わせ画素は、2つの異なるセルに由来する。この特別な組み合わせ配置には、組み合わされた結果の位置に関する利点がある。すなわち、組み合わされた青色画素対465の重心は画素G22の位置にあり、組み合わされた3つ組緑色画素467の重心は画素G24の位置にあり、組み合わされた赤色画素対466の重心は画素G26の位置にあるのに対し、組み合わされていない緑色画素G28はそのままの位置に留まっている。したがって、組み合わされたカラー画素のそれぞれの重心と、組み合わされていない緑色画素は、等間隔になる。そのためサンプリング・プロセスにおけるエイリアス化が最小になる。

図29Bは、最小繰り返し単位460のセルからのパンクロ画素の組み合わせを示している。パンクロ画素P11、P12、P13は組み合わされた3つ組画素468となり、パンクロ画素P15、P16、P17は組み合わされた3つ組画素469となる。図29Aのカラー画素の組み合わせ配置と同様、図29Bの組み合わせ配置には、組み合わされた結果の位置に関する利点がある。すなわち、組み合わされた3つ組画素468の重心は画素P12の位置にあり、組み合わされた3つ組画素469の重心は画素P16の位置にあるのに対し、組み合わされていないパンクロ画素P14とP18はそのままの位置に留まっている。したがって、組み合わされたパンクロ画素のそれぞれの重心と、組み合わされていないそれぞれのパンクロ画素は、等間隔になる。さらに、等間隔に組み合わされたパンクロ画素と、組み合わされていないパンクロ画素は、図29Aに示した組み合わされたカラー画素および組み合わされていないカラー画素の鉛直上方に配置される。そのため内挿プロセスが簡単になる可能性がある。

図29Cは、パンクロ画素の別の組み合わせを示している。セル462からの画素P13とP14がセル464からの画素P15と組み合わされることで組み合わされたパンクロ3つ組画素470になり、セル464からの画素P17とP18が最小繰り返し単位460の右隣の最小繰り返し単位からの最も左側の1つの画素と組み合わされることで組み合わされたパンクロ3つ組画素471を形成し、セル462からの画素P11が最小繰り返し単位460の左隣の最小繰り返し単位からの最も右側の2つのパンクロ画素と組み合わされることで組み合わされたパンクロ3つ組画素472を形成する。図29Bの組み合わされたパンクロ画素および組み合わされていないパンクロ画素と同様、図29Cの4つの組み合わされたパンクロ3つ組画素は、重心が等間隔である。図29Cは、個々の画素が複数回組み合わせて使用される場合と、一度だけ使用される場合を示している。画素P11は2回使用され、1回は組み合わせ472において、もう1回は組み合わせ468で使用される。画素P13は組み合わせ468と470で使用される。画素P15は組み合わせ470と469で使用される。画素P17は組み合わせ469と471で使用される。

カラー値が繰り返しベイヤー・パターンを示す低解像度不完全カラー画像をすべてのセンサーが生成させるわけではない。例えば図28と図29A〜図29Cに示したセンサー・パターンでは、隣り合った2つの最小繰り返し単位が2対のカラー値を発生させる。それぞれの場合に隣り合った最小繰り返し単位からの一対のセルが、画像の低解像度カラー表示のためのカラー値を発生させる。セル442と444のペアは、1つの青色値と1つの緑色値を発生させる。そのとき青色値のためには画素B21、B23、B41、B43を組み合わせ、緑色値のためには画素G22、G24、G42、G44を組み合わせる。同様に、セル443と445のペアは、1つの赤色値と1つの緑色値を発生させる。そのとき赤色値のためには画素R25、R27、R45、R47を組み合わせ、緑色値のためには画素G26、G28、G46、G48を組み合わせる。隣り合った最小繰り返し単位からのセル間で画素を組み合わせるこのパターンがセンサー全体で繰り返される。結果は画像の低解像度表示であり、それぞれの低解像度画素は、1つの緑色値と、1つの赤色値または青色値とを有する。この時点で、低解像度色差ブロック208（図18）における色内挿というタスクにより、各画素について欠けている赤色値または青色値が推定される。図19Dを参照すると、画素264は、緑色値（G3）を持つが、赤色値（R3）は持たないことが示してある。隣接する4つの画素260、262、266、268は、緑色値と赤色値を持つ。画素264（図19D）に関して赤色値を内挿する方法は、画素234（図19A）に関して緑色値を内挿するのに用いた方法と同様である。

第1のステップは、2つの分類値を計算することである。第1の分類値は水平方向に関係し、第2の分類値は鉛直方向に関係する。
HCLAS = ABS (G4 - G2) + ABS (2×G3 - G2 - G4)
VCLAS = ABS (G5 - G1) + ABS (2×G3 - G1 - G5)
次に2つの予想値を計算する。第1の予想値は水平方向に関係し、第2の予想値は鉛直方向に関係する。
HPRED = (R4 + R2)/2 + (2×G3 - G2 - G4)/2
VPRED = (R5 + R1)/2 + (2×G3 - G1 - G5)/2
最後に、THRESHを経験的に決定した閾値とすることで、欠けている値R3を以下のようにして適応的に計算することができる。
IF MAX (HCLAS, VCLAS) < THRESH
R3 = (HPRED + VPRED)/2
ELSEIF VCLAS < HCLAS
R3 = VPRED
ELSE
R3 = HPRED
END
したがって両方の分類値が閾値よりも小さい場合には、両方の予想値の平均を計算してR3とする。そうでない場合には、分類値HCLASとVCLASのどちらが小さいかに応じてHPREDまたはVPREDを利用する。

欠けている青色値は、赤色値の代わりに青色値を用いてまったく同じ方法で内挿される。それが終わると、低解像度中間カラー画像が生成される。そこから低解像度色差がすでに説明したようにして計算される。

従来のセンサーと処理法、またはそのセンサーと本発明の処理法を利用できる従来のディジタル・スチール・カメラ・システムのブロック・ダイヤグラムである。従来のベイヤー・カラー・フィルタ・アレイのパターン（従来技術）であり、最小繰り返しパターンと非最小繰り返しパターンを示してある。赤色画素、緑色画素、青色画素の代表的な分光量子効率曲線と、それよりも広いパンクロ分光量子効率曲線であり、どれも赤外遮断フィルタの透過特性との積である。カラー光応答が同じカラー画素が行または列に配置された本発明によるカラー・フィルタ・アレイのパターンのいくつかのバリエーションにおける最小繰り返し単位である。カラー光応答が同じカラー画素が行または列に配置された本発明によるカラー・フィルタ・アレイのパターンのいくつかのバリエーションにおける最小繰り返し単位である。カラー光応答が同じカラー画素が行または列に配置された本発明によるカラー・フィルタ・アレイのパターンのいくつかのバリエーションにおける最小繰り返し単位である。カラー光応答が同じカラー画素が行または列に配置された本発明によるカラー・フィルタ・アレイのパターンのいくつかのバリエーションにおける最小繰り返し単位である。図4Aからの最小繰り返し単位のセル構造を示している。図4Aのための内挿されたパンクロ画像である。図4Aと図5のセルに対応する低解像度カラー画像である。図4Aの画素を組み合わせる方法をいくつか示してある。図4Aの画素を組み合わせる方法をいくつか示してある。図4Aの画素を組み合わせる方法をいくつか示してある。本発明によるカラー・フィルタ・アレイのパターンのための6画素からなる最小繰り返し単位であり、いくつかのタイル状配置と、別の方向を向いた1つの最小繰り返し単位が含まれている。本発明によるカラー・フィルタ・アレイのパターンのための6画素からなる最小繰り返し単位であり、いくつかのタイル状配置と、別の方向を向いた1つの最小繰り返し単位が含まれている。本発明によるカラー・フィルタ・アレイのパターンのための6画素からなる最小繰り返し単位であり、いくつかのタイル状配置と、別の方向を向いた1つの最小繰り返し単位が含まれている。本発明によるカラー・フィルタ・アレイのパターンのための6画素からなる最小繰り返し単位であり、いくつかのタイル状配置と、別の方向を向いた1つの最小繰り返し単位が含まれている。本発明によるカラー・フィルタ・アレイのパターンのための6画素からなる最小繰り返し単位であり、いくつかのタイル状配置と、別の方向を向いた1つの最小繰り返し単位が含まれている。本発明によるカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位であり、これらは図8の最小繰り返し単位の変形例である。本発明によるカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位であり、これらは図8の最小繰り返し単位の変形例である。本発明によるカラー・フィルタ・アレイのパターンのためのいくつかの最小繰り返し単位であり、これらは図8の最小繰り返し単位の変形例である。本発明によるカラー・フィルタ・アレイのパターンのための8画素からなる最小繰り返し単位であり、1つのタイル状配置と、別のカラー光応答特性を有するカラー画素（その中には、原色、等和色、別の3色、別の4色の画素が含まれる）を用いた複数の変形例が含まれている。本発明によるカラー・フィルタ・アレイのパターンのための8画素からなる最小繰り返し単位であり、1つのタイル状配置と、別のカラー光応答特性を有するカラー画素（その中には、原色、等和色、別の3色、別の4色の画素が含まれる）を用いた複数の変形例が含まれている。本発明によるカラー・フィルタ・アレイのパターンのための8画素からなる最小繰り返し単位であり、1つのタイル状配置と、別のカラー光応答特性を有するカラー画素（その中には、原色、等和色、別の3色、別の4色の画素が含まれる）を用いた複数の変形例が含まれている。本発明によるカラー・フィルタ・アレイのパターンのための8画素からなる最小繰り返し単位であり、1つのタイル状配置と、別のカラー光応答特性を有するカラー画素（その中には、原色、等和色、別の3色、別の4色の画素が含まれる）を用いた複数の変形例が含まれている。本発明によるカラー・フィルタ・アレイのパターンのための8画素からなる最小繰り返し単位であり、1つのタイル状配置と、別のカラー光応答特性を有するカラー画素（その中には、原色、等和色、別の3色、別の4色の画素が含まれる）を用いた複数の変形例が含まれている。本発明によるカラー・フィルタ・アレイのパターンのための8画素からなる最小繰り返し単位であり、1つのタイル状配置と、別のカラー光応答特性を有するカラー画素（その中には、原色、等和色、別の3色、別の4色の画素が含まれる）を用いた複数の変形例が含まれている。本発明によるカラー・フィルタ・アレイのための最小繰り返し単位であり、ここでは半数を超える画素がパンクロ光応答を有する。本発明によるカラー・フィルタ・アレイのための最小繰り返し単位であり、ここでは半数を超える画素がパンクロ光応答を有する。本発明によるカラー・フィルタ・アレイのための最小繰り返し単位であり、ここでは画素が、45°回転した長方形のグリッド上にある。図の一方はタイル状配置である。本発明によるカラー・フィルタ・アレイのための最小繰り返し単位であり、ここでは画素が、45°回転した長方形のグリッド上にある。図の一方はタイル状配置である。本発明によるカラー・フィルタ・アレイのための最小繰り返し単位であり、ここでは画素が六角形のパターンに配置されている。図の一方はタイル状配置である。本発明によるカラー・フィルタ・アレイのための最小繰り返し単位であり、ここでは画素が六角形のパターンに配置されている。図の一方はタイル状配置である。本発明によるカラー・フィルタ・アレイのための最小繰り返し単位であり、図13の別の例になっている。本発明によるカラー・フィルタ・アレイのための最小繰り返し単位であり、図13の別の例になっている。図4Aの最小繰り返し単位であり、この最小繰り返し単位に含まれる個々の画素に添字を付してある。図16に含まれる1つのセルのパンクロ画素とカラー画素を示すとともに、カラー画素を組み合わせるさまざまな方法を示している。図16に含まれる1つのセルのパンクロ画素とカラー画素を示すとともに、カラー画素を組み合わせるさまざまな方法を示している。図16に含まれる1つのセルのパンクロ画素とカラー画素を示すとともに、カラー画素を組み合わせるさまざまな方法を示している。図16に含まれる1つのセルのパンクロ画素とカラー画素を示すとともに、カラー画素を組み合わせるさまざまな方法を示している。図16に含まれる1つのセルのパンクロ画素とカラー画素を示すとともに、カラー画素を組み合わせるさまざまな方法を示している。本発明による処理ダイヤグラムであり、本発明のセンサーからのカラー画素データとパンクロ画素データを処理する方法を示している。図18の低解像度不完全カラー画像に欠けている色を内挿するための本発明の方法を示している。図18の低解像度不完全カラー画像に欠けている色を内挿するための本発明の方法を示している。図18の低解像度不完全カラー画像に欠けている色を内挿するための本発明の方法を示している。図18の低解像度不完全カラー画像に欠けている色を内挿するための本発明の方法を示している。図8Aの最小繰り返し単位が4つ図示されており、隣り合った最小繰り返し単位の間で画素を組み合わせる方法を示している。どの図にも図10Aのバリエーションである最小繰り返し単位が2つ図示されており、水平方向に隣り合った最小繰り返し単位の間および最小繰り返し単位内で画素を組み合わせる方法をいくつか示している。どの図にも図10Aのバリエーションである最小繰り返し単位が2つ図示されており、水平方向に隣り合った最小繰り返し単位の間および最小繰り返し単位内で画素を組み合わせる方法をいくつか示している。どの図にも図10Aのバリエーションである最小繰り返し単位が2つ図示されており、水平方向に隣り合った最小繰り返し単位の間および最小繰り返し単位内で画素を組み合わせる方法をいくつか示している。どの図にも図10Aのバリエーションである最小繰り返し単位が2つ図示されており、水平方向に隣り合った最小繰り返し単位の間および最小繰り返し単位内で画素を組み合わせる方法をいくつか示している。図10Aのバリエーションである最小繰り返し単位が2つ図示されており、鉛直方向に隣り合った最小繰り返し単位の間で画素を組み合わせる方法を示している。図10Aのバリエーションである最小繰り返し単位が3つ図示されており、水平方向に隣り合った3つの最小繰り返し単位から画素を組み合わせる方法を示している。図10Aのバリエーションである最小繰り返し単位が5つ図示されており、水平方向に隣り合った5つの最小繰り返し単位から画素を組み合わせる方法を示している。図10Aのバリエーションである最小繰り返し単位がいくつか図示されており、隣り合った最小繰り返し単位からの画素を組み合わせることを目的として複数の最小繰り返し単位からなるグループをいくつも重ね合わせる方法を示している。図10Aのバリエーションである最小繰り返し単位がいくつか図示されており、隣り合った最小繰り返し単位からの画素を組み合わせることを目的として複数の最小繰り返し単位からなるグループをいくつも重ね合わせる方法を示している。図8Aに示したタイプの最小繰り返し単位がいくつか図示されており、互いに隣り合った複数の最小繰り返し単位から画素を組み合わせる方法を示している。図8Aに示したタイプの最小繰り返し単位がいくつか図示されており、互いに隣り合った複数の最小繰り返し単位から画素を組み合わせる方法を示している。図10Aのバリエーションである1つの最小繰り返し単位であり、カラー画素とパンクロ画素を組み合わせる方法を示している。セルを含む本発明のバリエーションの最小繰り返し単位が2つ図示されており、最小繰り返し単位間、セル間、セル内で画素の組み合わせるとともに、カラー画素とパンクロ画素を組み合わせる方法を示している。セルを含む本発明のバリエーションである最小繰り返し単位が1つ図示されており、最小繰り返し単位間、セル間、セル内で画素を組み合わせる方法の特別な例を示している。セルを含む本発明のバリエーションである最小繰り返し単位が1つ図示されており、最小繰り返し単位間、セル間、セル内で画素を組み合わせる方法の特別な例を示している。セルを含む本発明のバリエーションである最小繰り返し単位が1つ図示されており、最小繰り返し単位間、セル間、セル内で画素を組み合わせる方法の特別な例を示している。

符号の説明

10 対象となる光景からの光
11 イメージング段
12 レンズ
13 中性フィルタ
14 虹彩絞り
16 明るさセンサー
18 シャッター
20 イメージ・センサー
22 アナログ信号処理装置
24 アナログ／ディジタル（A/D）変換器
26 タイミング発生装置
28 イメージ・センサー段
30 ディジタル信号処理装置（DSP）のバス
32 ディジタル信号処理装置（DSP）のメモリ
36 ディジタル信号処理装置（DSP）
38 処理段
40 露出制御装置
50 システム制御装置
52 システム制御装置のバス
54 プログラム用メモリ
56 システム用メモリ
57 ホストとのインターフェイス
60 メモリ・カードとのインターフェイス
62 メモリ・カード用ソケット
64 メモリ・カード
68 ユーザー制御／状態インターフェイス
70 ビューファインダ・ディスプレイ
72 露出ディスプレイ
74 ユーザー入力
76 状態ディスプレイ
80 ビデオ・エンコーダ
82 ディスプレイ制御装置
88 画像ディスプレイ
100 ベイヤー・パターンのための最小繰り返し単位
102 ベイヤー・パターンのための最小ではない繰り返し単位
110 赤外阻止フィルタの分光透過曲線
112 フィルタのないセンサーの分光光応答曲線
114 センサーの赤色光応答曲線
116 センサーの緑色光応答曲線
118 センサーの青色光応答曲線
120 第1の緑色セル
122 赤色セル
124 青色セル
126 第2の緑色セル
202 低解像度不完全カラー・ブロック
204 高解像度パンクロ・ブロック
206 低解像度パンクロ・ブロック
208 低解像度色差ブロック
210 高解像度色差ブロック
212 高解像度最終画像ブロック
220 第1の緑色セル
222 第1の緑色セル内の緑色画素
224 赤色セル
226 青色セル
228 第2の緑色セル
230 欠けた緑色値を内挿するための上側画素
232 欠けた緑色値を内挿するための左側画素
234 緑色値が欠けた画素
236 欠けた緑色値を内挿するための右側画素
238 欠けた緑色値を内挿するための下側画素
240 欠けた赤色値を内挿するための左側画素
242 赤色値が欠けた画素
244 欠けた赤色値を内挿するための右側画素
250 欠けた赤色値を内挿するための上側画素
252 赤色値が欠けた画素
254 欠けた赤色値を内挿するための下側画素
260 欠けた赤色値を内挿するための上側画素
262 欠けた赤色値を内挿するための左側画素
264 赤色値が欠けた画素
266 欠けた赤色値を内挿するための右側画素
268 欠けた赤色値を内挿するための下側画素
310 左上の最小繰り返し単位
311 右上の最小繰り返し単位
312 左下の最小繰り返し単位
313 右下の最小繰り返し単位
314 鉛直方向に隣り合った最小繰り返し単位からの赤色画素を組み合わせる例
315 水平方向に隣り合った最小繰り返し単位からの緑色画素を組み合わせる例
316 水平方向に隣り合った最小繰り返し単位からの似た位置のパンクロ画素を組み合わせる例
317 水平方向に隣り合った最小繰り返し単位からの隣り合ったパンクロ画素を組み合わせる例
318 1つの最小繰り返し単位内の隣り合ったパンクロ画素を組み合わせる例
319 パンクロ画素をカラー画素と組み合わせる例
330 左側の最小繰り返し単位
331 右側の最小繰り返し単位
332 似た位置の赤色画素の組み合わせ
333 似た位置の緑色画素の組み合わせ
334 似た位置の緑色画素の組み合わせ
335 似た位置の青色画素の組み合わせ
336 似た位置のパンクロ画素の組み合わせ
337 似た位置のパンクロ画素の組み合わせ
338 似た位置のパンクロ画素の組み合わせ
339 似た位置のパンクロ画素の組み合わせ
340 似た位置の赤色画素の組み合わせ
341 似た位置の青色画素の組み合わせ
342 1つの最小繰り返し単位内の緑色画素の組み合わせ
343 1つの最小繰り返し単位内の緑色画素の組み合わせ
344 1つの最小繰り返し単位内のパンクロ画素の組み合わせ
345 1つの最小繰り返し単位内のパンクロ画素の組み合わせ
346 2つの最小繰り返し単位間でのパンクロ画素の組み合わせ
347 隣り合った最小繰り返し単位からの1つの画素とパンクロ画素の組み合わせ
348 隣り合った最小繰り返し単位からの1つの画素とパンクロ画素の組み合わせ
360 上側の最小繰り返し単位
361 下側の最小繰り返し単位
362 似た位置の赤色画素の組み合わせ
363 似た位置の緑色画素の組み合わせ
364 似た位置の緑色画素の組み合わせ
365 似た位置の青色画素の組み合わせ
370 左側の最小繰り返し単位
371 中央の最小繰り返し単位
372 右側の最小繰り返し単位
373 似た位置の赤色画素の組み合わせ
374 似た位置の緑色画素の組み合わせ
375 似た位置の緑色画素の組み合わせ
376 似た位置の青色画素の組み合わせ
380 左側の最小繰り返し単位
381 中央左側の最小繰り返し単位
382 中央の最小繰り返し単位
383 中央右側の最小繰り返し単位
384 右側の最小繰り返し単位
390 似た位置の赤色画素の組み合わせ
391 似た位置の緑色画素の組み合わせ
392 似た位置の緑色画素の組み合わせ
393 似た位置の赤色画素の組み合わせ
394 似た位置の緑色画素の組み合わせ
395 似た位置の青色画素の組み合わせ
396 似た位置の青色画素の組み合わせ
397 似た位置の緑色画素の組み合わせ
400 左側の最小繰り返し単位
401 中央左側の最小繰り返し単位
402 中央右側の最小繰り返し単位
403 右側の最小繰り返し単位
410 似た位置の赤色画素の組み合わせ
411 似た位置の緑色画素の組み合わせ
412 似た位置の緑色画素の組み合わせ
413 似た位置の青色画素の組み合わせ
414 隣り合った最小繰り返し単位からの1つの画素と緑色画素の組み合わせ
415 隣り合った最小繰り返し単位からの1つの画素と赤色画素の組み合わせ
416 隣り合った最小繰り返し単位からの1つの画素と青色画素の組み合わせ
417 隣り合った最小繰り返し単位からの1つの画素と緑色画素の組み合わせ
400L 左側のグループ内の左側の最小繰り返し単位
401L 左側のグループ内の中央左側の最小繰り返し単位
402L 左側のグループ内の中央右側の最小繰り返し単位
403L 左側のグループ内の右側の最小繰り返し単位
400C 中央のグループ内の左側の最小繰り返し単位
401C 中央のグループ内の中央左側の最小繰り返し単位
402C 中央のグループ内の中央右側の最小繰り返し単位
403C 中央のグループ内の右側の最小繰り返し単位
400R 右側のグループ内の左側の最小繰り返し単位
401R 右側のグループ内の中央左側の最小繰り返し単位
402R 右側のグループ内の中央右側の最小繰り返し単位
403R 右側のグループ内の右側の最小繰り返し単位
405L 4つの最小繰り返し単位からなる左側のグループ
405C 4つの最小繰り返し単位からなる中央のグループ
405R 4つの最小繰り返し単位からなる右側のグループ
420 上側の最小繰り返し単位
421 左下の最小繰り返し単位
422 右下の最小繰り返し単位
425 上側の最小繰り返し単位
426 中央左側の最小繰り返し単位
427 中央右側の最小繰り返し単位
428 下側の最小繰り返し単位
430 最小繰り返し単位
431 パンクロ画素と赤色画素の組み合わせ
432 パンクロ画素と緑色画素の組み合わせ
433 パンクロ画素と緑色画素の組み合わせ
434 パンクロ画素と青色画素の組み合わせ
440 上側の最小繰り返し単位
441 下側の最小繰り返し単位
442 上側の最小繰り返し単位内の左側のセル
443 上側の最小繰り返し単位内の右側のセル
444 下側の最小繰り返し単位内の左側のセル
445 下側の最小繰り返し単位内の右側のセル
450 似た位置の青色画素の組み合わせ
451 1つのセル内の緑色画素の組み合わせ
452 1つの最小繰り返し単位内の2つのセルからのパンクロ画素の組み合わせ
453 1つのセル内のパンクロ画素と青色画素の組み合わせ
455 異なる最小繰り返し単位に含まれるセル内とセル間の緑色画素の組み合わせ
460 最小繰り返し単位
462 最小繰り返し単位内の左側のセル
464 最小繰り返し単位内の右側のセル
465 1つのセル内の青色画素の組み合わせ
466 1つのセル内の赤色画素の組み合わせ
467 1つのセル内と2つのセル間での緑色画素の組み合わせ
468 1つのセル内のパンクロ画素の組み合わせ
469 1つのセル内のパンクロ画素の組み合わせ
470 1つのセル内と2つのセル間のパンクロ画素の組み合わせ
471 隣り合った最小繰り返し単位からの1つ以上の画素と組み合わされた、1つのセル内のパンクロ画素の組み合わせ
472 隣り合った最小繰り返し単位からの1つ以上の画素と組み合わされたパンクロ画素

Claims

カラー画像を捕獲するためのイメージ・センサーであって、
ａ）複数の行と列に配置された第１の画素群と第２の画素群を有する二次元アレイを備えていて、第１の画素群からの画素は、第２の画素群からの画素よりも分光光応答が狭く、第１の画素群は、少なくとも２つの色のセットに対応する分光光応答を持つ画素を備え、上記最小繰り返し単位が、
ＰＰ
ＡＢ
ＰＰ
ＢＣ
であり、Ｐは第２の画素群の画素を表わし、Ａは第１の画素群の第１の色の画素を表わし、Ｂは第１の画素群の第２の色の画素を表わし、Ｃは第１の画素群の第３の色の画素を表わし、
ｂ）第１の画素群と第２の画素群の配置が、少なくとも６個の画素を含む最小繰り返し単位を持つあるパターンを規定していて、その最小繰り返し単位の少なくともいくつかの行または列が第２の画素群からの画素だけで構成され、
ｃ）隣り合った少なくとも２つの最小繰り返し単位からの似た位置の画素を組み合わせる手段を備える、イメージ・センサー。
カラー画像を捕獲するためのイメージ・センサーであって、
ａ）複数の行と列に配置された第１の画素群と第２の画素群を有する二次元アレイを備えていて、第１の画素群からの画素は、第２の画素群からの画素よりも分光光応答が狭く、第１の画素群は、少なくとも２つの色のセットに対応する分光光応答を持つ画素を備え、上記最小繰り返し単位が、
ＰＰ
ＡＢ
ＰＰ
ＰＰ
ＢＣ
ＰＰ
であり、Ｐは第２の画素群の画素を表わし、
Ａは第１の画素群の第１の色の画素を表わし、
Ｂは第１の画素群の第２の色の画素を表わし、
Ｃは第１の画素群の第３の色の画素を表わし、
ｂ）第１の画素群と第２の画素群の配置が、少なくとも６個の画素を含む最小繰り返し単位を持つあるパターンを規定していて、その最小繰り返し単位の少なくともいくつかの行または列が第２の画素群からの画素だけで構成され、
ｃ）隣り合った少なくとも２つの最小繰り返し単位からの似た位置の画素を組み合わせる手段を備える、イメージ・センサー。
カラー画像を捕獲するためのイメージ・センサーであって、
ａ）第１の画素群と第２の画素群を有する二次元アレイを備えていて、第１の画素群からの画素は、第２の画素群からの画素よりも分光光応答が狭く、第１の画素群は、少なくとも２つの色のセットに対応する分光光応答を持つ個別の画素を備え、上記最小繰り返し単位が、
ＰＡＰＡＰＢＰＢ
ＡＰＡＰＢＰＢＰ
ＰＡＰＡＰＢＰＢ
ＡＰＡＰＢＰＢＰ
ＰＢＰＢＰＣＰＣ
ＢＰＢＰＣＰＣＰ
ＰＢＰＢＰＣＰＣ
ＢＰＢＰＣＰＣＰ
であり、Ｐは第２の画素群の画素を表わし、Ａは第１の画素群の第１の色の画素を表わし、Ｂは第１の画素群の第２の色の画素を表わし、Ｃは第１の画素群の第３の色の画素を表わし、
ｂ）第１の画素群と第２の画素群の配置が、少なくとも１２個の画素を含む最小繰り返し単位を持つあるパターンを規定していて、その最小繰り返し単位は複数のセルを持ち、各セルは、第１の画素群から選択された特定の１つの色を表わす少なくとも２つの画素と、第２の画素群から選択された複数の画素を含んでいて、捕獲されたカラー画像を異なる照明条件下で再現できる配置にされており、
ｃ）隣り合った少なくとも２つの最小繰り返し単位からの似た位置の画素を組み合わせる手段を備える、イメージ・センサー。