JP5529230B2

JP5529230B2 - 不完全色および全色性ｃｆａ画像の改善

Info

Publication number: JP5529230B2
Application number: JP2012219779A
Authority: JP
Inventors: トーマスディーヴァー，アアロン; ジュニア，ジェームズアールアダムス; ジュニア，ジョンフランクリンハミルトン
Original assignee: オムニヴィジョンテクノロジーズインコーポレイテッド
Priority date: 2008-10-25
Filing date: 2012-10-01
Publication date: 2014-06-25
Anticipated expiration: 2029-10-09
Also published as: CN102197641A; JP5140766B2; KR101267661B1; US8111307B2; US20100104209A1; JP2012506669A; TWI451754B; KR20110082530A; JP2013013142A; WO2010047746A1; EP2347572B1; EP2347572A1; CN102197641B; TW201031184A

Description

本発明は、カラー・チャネルおよび全色性（パンクロマティック、panchromatic）チャネルを有するカラー・フィルタ・アレイ（color filter array）に関し、より詳細には改善されたカラー・フィルタ・アレイまたはフルカラー（full-color）画像を提供することに関する。

電子撮像システムは、電子イメージセンサー上に像を形成して視覚像の電子表現を生成するためにレンズ系に依存する。そのような電子イメージセンサーの例としては、電荷結合素子（CCD: charge coupled device）イメージセンサーおよびアクティブ・ピクセル・センサー（APS: active pixel sensor）素子が含まれる。（APS素子は相補型金属酸化物半導体（Complementary Metal Oxide Semiconductor）プロセスにおいて製造できるため、しばしばCMOSセンサーと称される。）センサーは個々の画素センサーまたはピクセルの二次元アレイを含む。各ピクセルは典型的には、本願と同じ出願人に譲渡された米国特許第3,971,065号においてベイヤー（Bayer）によって記述されるような赤、緑または青のフィルタを設けられ、それによりフルカラー画像が生成できる。用いられる電子技術、たとえばCCDかCMOSかに関わりなく、ピクセルは、電子撮像システムによる画像の取り込みの際にピクセルに入射する光の量に正比例して光電子が蓄積されるバケツのはたらきをする。

電子撮像システムの前面の光学要素に入射した光のすべてがピクセルに当たるわけではない。光の多くは、電子撮像システムの光学経路を通過するときに失われる。典型的には、光の約５％がレンズ反射およびかすみ（haze）のために失われ、６０％がカラー・フィルタ・アレイのために失われる。さらに、光の一部はピクセルのうち光に感応しない領域に当たる。正しい露光をするために必要とされる光の量を集めるため、電子撮像センサーは露光時間と呼ばれる時間期間にわたって光を集める。撮像されるべきシーンの明るさ測定に基づいて、効果的な明るさをもつ画像を与える好適な露出時間を決定するために電子撮像システム、典型的には自動露出制御が用いられる。シーンが暗いほど、正しい露出をするために電子撮像システムが光を集める必要がある時間が長くなる。しかしながら、長い露出はぶれた像につながることがあることはよく知られている。このぼけはシーン内で動くオブジェクトの結果であることがある。また、画像取り込み装置が取り込みの際にシーンに対して相対的に動くときにも生じることがある。

ぼけ（blur）を減らす一つの方法は露出時間を短くすることである。この方法は画像取り込みの際に電子イメージセンサーを過少露出にし、それにより暗い画像が生成される。暗い画像を明るくするために画像信号にアナログまたはデジタルの利得が適用されることができるが、当業者はこれはノイズのある画像につながることを認識するであろう。

ぼけを減らすもう一つの方法は、露出時間を短くするとともに、光学経路を通過する光のより多くを保持して電子イメージセンサーのピクセルに向けることである。この方法は、ぼけが減った、受け容れ可能なノイズ・レベルの画像を生成できる。しかしながら、電子撮像システムにおける現在の業界の傾向は、撮像システムをより小型に、より安価にすることである。したがって、より多くの光を集め、通過するより多くの光を保持することのできる大きな開口をもつ高級な光学要素は、現実できではない。

ぼけを減らすもう一つの方法は、露出時間を短くするとともに写真フラッシュを用いて利用可能な光を補足することである。写真フラッシュは１秒の何分の一かの間持続する強い光束を生成し、露出時間はフラッシュ時間を含むよう設定される。写真フラッシュは強力なので、露出時間は、フラッシュなしの場合よりも著しく短い期間に設定できる。したがって、露光の間のぼけが軽減される。しかしながら、明るい昼間光のもとにある物体でも動きぼけがあることがあり、フラッシュ写真はフラッシュと物体との間の距離が小さい場合に最も有用であり、フラッシュは画像取り込み装置に追加的なコストと重さを加えることになる。

Tullに対する米国特許第6,441,848号は、電子が各ピクセルによって収集されるレートをモニタリングすることによって物体の動きぼけを除去する電子イメージセンサーをもつデジタル・カメラを記述している。光がピクセルに当たるレートが変わる場合、そのピクセルが見ている画像の明るさが変わると想定される。センサー・アレイに組み込まれた回路が画像の明るさが変わっていると検出するとき、集められた電荷の量が保持され、明るさの変化が検出された時刻が記録される。ピクセル値を線形補外することによって、露出が止められた各ピクセル値が適正な値に調整され、それによりピクセル値は画像全体のダイナミックレンジに対応するようになる。この手法の欠点は、露出が始まったときにすでに動いていたオブジェクトの補外されたピクセル値はきわめて不確かであるということである。センサーによって見られる画像の明るさは決して一定値をもつことはなく、したがって、補外されたピクセル値の不確かさは動きアーチファクトをもつ画像につながる。もう一つの欠点は、特化したハードウェアを使うので、現在市販のカメラにおいて使われている従来の電子イメージセンサーとともに使うことができないということである。

ぼけを減らすもう一つの方法は、短い露出時間の画像および長い露出時間の画像という二つの画像を取り込むことである。短い露出時間は、ノイズはあるが比較的動きぼけがない画像を生成するよう選択される。長い露出時間は、ほとんどノイズがないがかなりの動きぼけがあることがある画像を生成するよう選択される。画像処理アルゴリズムを使って二つの取り込み画像を一つの最終出力画像に組み合わせる。そのような手法は米国特許第7,239,342号、米国特許出願公開第2006/0017837号、米国特許出願公開第2006/0187308号および米国特許出願公開第2007/0223831号に記載されている。これらの手法の欠点は、複数の画像を記憶するための追加的なバッファ・メモリが必要とされること、複数の画像を処理するために複雑さが増すことおよび物体の動きのぼけを分解することの難しさを含む。

ぼけを減らすもう一つの方法は、露出時間を短くするとともに、カラー・フィルタ・アレイを通過するより多くの光を保持することである。シリコン・ベースのイメージセンサーについては、ピクセル・コンポーネント自身が可視光に広く感応性であり、フィルタのないピクセルは単色画像を取り込むために好適となることが許される。カラー画像を取り込むためには、ピクセルのパターンの上に、フィルタの二次元パターンが典型的には製作される。個々のピクセルを可視光スペクトルの一部のみに感応するようにするために異なるフィルタ材料が使われる。そのようなフィルタのパターンの例は、米国特許第3,971,065号に記載される、よく知られたベイヤー・カラー・フィルタ・アレイ・パターンである。ベイヤー・カラー・フィルタ・アレイは典型的な条件下ではフルカラー画像を得るための利点があるが、この解決策も欠点があることが見出されている。フィルタは狭帯域のスペクトル応答を提供することが必要とされているのであるが、入射光をフィルタリングすると、どんなフィルタリングであっても各ピクセルに到達する光の量を減らす傾向があり、そのため各ピクセルの有効光感度を低下させ、ピクセル応答速度を低下させる。

変化する光の条件下での画像取り込みを改善するためおよび撮像センサーの全体的な感度を改善するための解決策としては、おなじみのベイヤー・パターンへの修正が開示されている。たとえば、本願と同じ出願人に譲渡されたHamiltonらによる米国特許出願公開第2007/0046807号およびComptonらによる米国特許出願公開第2007/0024931号はいずれも、何らかの仕方で空間的にインターリーブされた仕方で、カラー・フィルタを全色性のフィルタ要素と組み合わせる代替的なセンサー構成を記述している。この型の解決策では、イメージセンサーの一部分が色を検出し、他の全色性の部分は改善されたダイナミックレンジおよび感度のために可視帯域にまたがる光を検出するよう最適化される。これらの解決策はこのように、一部のピクセルはカラー・フィルタをもち（狭帯域のスペクトル応答を与える）、一部のピクセルはカラー・フィルタをもたない（フィルタリングされない「全色性（panchromatic）」ピクセルまたは広帯域のスペクトル応答を与えるようフィルタリングされるピクセル）、ピクセルのパターンを与える。しかしながら、この解決策は、低光量条件下で動きぼけのない高品質の画像の取り込みを許容するのに十分ではない。

天体写真術およびリモート・センシングにおいて知られている、動きぼけを減らして低光量シナリオにおいて画像を取り込むもう一つの方法は、高い空間解像度をもつ全色性画像と低い空間解像度をもつ多スペクトル画像との二つの画像を取り込むことである。それらの画像が融合されて高い空間解像度をもつ多スペクトル画像が生成される。そのような手法は、米国特許第7,340,099号、米国特許第6,937,744号および米国特許出願公開第2008/0129752号において記述されている。これらの手法の欠点は、複数の画像を記憶するために追加的なバッファ・メモリを必要とすることおよび物体の動きぼけを分解する難しさである。

このように、従来の電子イメージセンサーを使うことによって、写真フラッシュを使わずに、画像ノイズを増すことなく、著しい追加的なコストまたは複雑さまたはメモリ要求もなしで、カラー・ピクセルおよび全色性ピクセルをもち、低減された動きぶれをもつ、改善されたカラー・フィルタ・アレイ画像またはフルカラー画像を生成する必要がある。

本発明の目的は、カラー・ピクセルおよび全色性ピクセルをもつ改善されたカラー・フィルタ・アレイ画像またはフルカラー画像を提供することである。

この目的は、複数のカラー・チャネルおよび全色性チャネルを有するイメージセンサーからの第一のカラー・フィルタ・アレイ画像を改善する方法であって：
（ａ）前記イメージセンサーを用いて、前記カラー・チャネルの少なくとも一つとは異なる露出時間で前記全色性チャネルを取り込み；
（ｂ）前記カラー・チャネルを使って輝度チャネルを与え；
（ｃ）前記カラー・フィルタ・アレイ画像および前記輝度チャネルを解析して、前記カラー・チャネルにおける欠陥ピクセルを決定し、近隣のカラーおよび輝度ピクセル値を使って前記欠陥ピクセルを改善して、少なくとも一つの改善されたチャネルをもつ第二のカラー・フィルタ・アレイ画像またはフルカラー画像を生成する、
方法によって達成される。

本発明の利点は、ぼけが軽減された改善されたカラー・フィルタ・アレイ画像またはフルカラー画像が、単一の画像を適正に露出するための写真フラッシュまたは長い露出時間を使う必要なしに、画像処理ソフトウェアへの基本的な変更によって生成できるということである。

本発明のさらなる利点は、画像取り込み装置に由来するぼけが軽減されたカラー・フィルタ・アレイ画像またはフルカラー画像が、横方向に可動なレンズ素子をもつ高価な特殊レンズの必要なしに、生成できるということである。

本発明のさらなる利点は、ぼけが軽減されたカラー・フィルタ・アレイ画像またはフルカラー画像が、複数の画像を記憶するためにバッファ・メモリ要求を増すことなく、生成できるということである。

本発明のこのおよび他の側面、目的、特徴および利点は、好ましい実施形態および付属の請求項の以下の詳細な記述を吟味し、付属の図面を参照することからより明確に理解され、認識されるであろう。

本発明を実装するためのデジタル・カメラを含むコンピュータ・システムの斜視図である。本発明のある好ましい実施形態のブロック図である。本発明のカラー・フィルタ・アレイ・パターンを示す図である。隣接する行のピクセルが一緒にビニングされ、同じ浮動拡散コンポーネントを共有することができる様子を示す概略図である。一つのビニング戦略からの、イメージセンサーの一部分からのピクセル読み出しを示す図である。赤、緑および青のピクセルについての代表的なスペクトル量子効率曲線ならびにより広いスペクトルの全色性量子効率を与える図である。いずれも赤外線カット・フィルタの透過特性を乗算してある。イメージセンサーの一部分について低解像度全色性画像を生成するための全色性ピクセルの和を示す図である。色差計算に寄与するピクセルを示す図である。本発明の欠陥ピクセル検出および改善ステップの一部の流れ図である。本発明の欠陥ピクセル検出および改善ステップの一部の流れ図である。本発明のある代替的な実施形態の流れ図である。本発明のある代替的な実施形態の流れ図である。本発明のある代替的な実施形態の流れ図である。本発明のある代替的な実施形態の流れ図である。本発明に基づくブロック動き推定の図解である。本発明のある代替的な実施形態の流れ図である。本発明のある代替的な実施形態の流れ図である。本発明のある代替的な実施形態の流れ図である。本発明のある代替的な実施形態の流れ図である。複数の読み出しに関わる、本発明のある実施形態の流れ図である。複数の読み出しに関わる、本発明のある実施形態の流れ図である。

以下の記述では、本発明のある好ましい実施形態について、通常はソフトウェア・プログラムとして実装されるであろう用語において記述する。当業者は、そのようなソフトウェアの等価物がハードウェアで構築されることもできることをすぐ認識するであろう。画像操作アルゴリズムおよびシステムはよく知られているので、本記述は特に、本発明に従って該システムおよび方法の一部をなす、またはそれらとより直接協働するアルゴリズムおよびシステムに向けられる。本稿で具体的に図示や記載がされていない、関係する画像信号を生成するまたは他の仕方で処理するためのそのようなアルゴリズムおよびシステムならびにハードウェアまたはソフトウェアの他の側面は、当技術分野において知られているようなシステム、アルゴリズム、コンポーネントおよび要素から選択することができる。以下の素材において本発明に従って記述されるシステムが与えられれば、本発明を実装するために有用な、本稿において具体的に図示、示唆または記載されていないソフトウェアは従来式のものであり、当技術分野の通常の技量の範囲内である。

さらに、本稿での用法では、コンピュータ・プログラムはコンピュータ可読記憶媒体に記憶されることができる。コンピュータ可読記憶媒体はたとえば、（ハードドライブまたはフロッピーディスクのような）磁気ディスクまたは磁気テープのような磁気記憶媒体；光学式ディスク、光学式テープまたは機械可読バーコードのような光学式記憶媒体；ランダム・アクセス・メモリ（RAM）または読み出し専用メモリ（ROM）のような半導体電子記憶デバイス；またはコンピュータ・プログラムを記憶するために用いられる他の任意の物理デバイスまたは媒体を含むことができる。

本発明を記述する前に、本発明が好ましくは、パーソナル・コンピュータのような任意のよく知られたコンピュータ・システム上で利用されることを注意しておくことが理解を容易にする。結果として、コンピュータ・システムは本稿では詳細に論じることはしない。また、画像は、（たとえばデジタル・カメラによって）コンピュータ・システムに直接入力されるまたは（たとえば銀塩フィルムのようなオリジナルをスキャンすることによって）コンピュータ・システムに入力される前にデジタル化されるということを注意しておくことが有益である。

図１を参照するに、本発明を実装するためのコンピュータ・システム１１０が示されている。コンピュータ・システム１１０はある好ましい実施形態を図示する目的のために示されているが、本発明は図示したコンピュータ・システム１１０に限定されるものではなく、家庭コンピュータ、キオスク、小売または卸売のDPE〔現像・焼き付け・引き延ばし〕業またはデジタル画像の処理のための他の任意のシステムといった、任意の電子処理システム上で使用されることができる。コンピュータ・システム１１０は、ソフトウェア・プログラムを受け取り、処理するためおよび他の処理機能を実行するためのマイクロプロセッサ・ベースのユニット１１２を含む。ディスプレイ１１４は、ソフトウェアに関連付けられたユーザー関係情報をたとえばグラフィカル・ユーザー・インターフェースによって表示するためのマイクロプロセッサ・ベースのユニット１１２に電気的に接続される。ソフトウェアへの情報をユーザーが入力することを許すために、キーボード１１６もマイクロプロセッサ・ベースのユニット１１２に接続される。入力のためのキーボード１１６を使うことへの代替として、当技術分野でよく知られているように、ディスプレイ１１４上でセレクタ１２０を動かすためおよびセレクタ１２０が載っているアイテムを選択するためにマウス１１８が使われることができる。

マイクロプロセッサ・ベースのユニット１１２にソフトウェア・プログラムおよび他の情報を入力する方法を提供するため、ソフトウェア・プログラムを典型的に含むコンパクト・ディスク読み出し専用メモリ（CD-ROM）１２４がマイクロプロセッサ・ベースのユニット１１２に挿入される。さらに、フロッピーディスク１２６もソフトウェア・プログラムを含むことができ、該ソフトウェア・プログラムを入力するためにマイクロプロセッサ・ベースのユニット１１２に挿入される。コンパクト・ディスク読み出し専用メモリ（CD-ROM）１２４またはフロッピーディスク１２６は代替的には、マイクロプロセッサ・ベースのユニット１１２に接続されている外部に位置するディスク・ドライブ・ユニット１２２に挿入されることができる。さらには、マイクロプロセッサ・ベースのユニット１１２は、当技術分野でよく知られているように、内部的にソフトウェア・プログラムを記憶するためにプログラムされることができる。マイクロプロセッサ・ベースのユニット１１２は、ローカル・エリア・ネットワークまたはインターネットのような外部ネットワークへの、電話線のようなネットワーク接続１２７をも有することができる。コンピュータ・システム１１０からの出力のハードコピーを印刷するために、プリンタ１２８もマイクロプロセッサ・ベースのユニット１１２に接続されることができる。

画像は、PCカード１３０において電子的に具現されたデジタル化された画像を含む、かつての呼称でいうところのPCMCIAカード（パーソナル・コンピュータ・メモリ・カード国際協会（Personal Computer Memory Card International Association）の仕様に基づく）のようなパーソナル・コンピュータ・カード（PCカード）１３０を介してディスプレイ１１４上に表示されることもできる。PCカード１３０は最終的には、画像のディスプレイ１１４上での視覚的表示を許すためにマイクロプロセッサ・ベースのユニット１１２に挿入される。あるいはまた、PCカード１３０は、マイクロプロセッサ・ベースのユニット１１２に接続された外部に位置するPCカード・リーダー１３２に挿入されることができる。画像は、コンパクト・ディスク１２４、フロッピーディスク１２６またはネットワーク接続１２７を介して入力されることもできる。PCカード１３０、フロッピーディスク１２６またはコンパクト・ディスク１２４に記憶されたまたはネットワーク接続１２７を通じて入力されるいかなる画像も、デジタル・カメラ（図示せず）またはスキャナ（図示せず）のような多様なソースから得られたものであることができる。画像は、マイクロプロセッサ・ベースのユニット１１２に接続されたカメラ・ドッキング・ポート１３６を介してデジタル・カメラ１３４から直接、あるいはマイクロプロセッサ・ベースのユニット１１２へのケーブル接続１３８もしくはマイクロプロセッサ・ベースのユニット１１２への無線接続１４０を介してデジタル・カメラ１３４から直接、入力されることもできる。

本発明によれば、アルゴリズムは上述した記憶デバイスのいずれに記憶されることもでき、改善されたカラー・フィルタ・アレイ画像またはフルカラー画像を生成するためにカラー・フィルタ・アレイ画像に適用されることができる。

以下では、カラー・フィルタ・アレイ画像（color filter array image）とは、ピクセル上にカラー・フィルタ・アレイ・パターンをもって製作されたイメージセンサーによって取り込まれた画像をいう。カラー・チャネル（color channel）とは、特定の色フィルタに対応する画像値をいう。同様に、全色性チャネル（panchromatic channel）とは、全色性フィルタに対応する画像値をいう。フルカラー画像（full-color image）とは、全ピクセルについて各カラー・チャネルが存在する画像をいう。フルカラー画像はまた、全ピクセルについて存在する全色性チャネルをももつことができる。輝度チャネルのような追加的チャネルは既存のチャネルの関数として生成されることができる。

図２は、本発明のある好ましい実施形態の高レベルの図である。デジタル・カメラ１３４が、カラー・フィルタ・アレイ画像２７０を取り込むために使われる。より具体的には、デジタル・カメラ１３４は全色性チャネル２０２およびカラー・チャネル２０４を取り込む。カラー・フィルタ・アレイは赤、緑、青および全色性ピクセルを含むことができるが、シアン、マゼンタ、イエローおよび全色性のような他のチャネルの組み合わせを使うこともできる。特に重要なのは、全色性ピクセルを含めることである。カラー・フィルタ・アレイ画像２７５は、全色性チャネル２５２が、カラー・チャネル２５４のうちの少なくとも一つとは異なる時間の長さにわたって光に露出されるようにして取り込まれる。全色性チャネル２５２は、カラー・チャネル２５４のそれぞれよりも短い露出をもつことができ、露出期間は同時に完結するように配置されることができる。あるいはまた、全色性チャネル２５２についてのより短い露出が、時間的に、カラー・チャネル２５４についてのより長い露出の中で中央に揃えられることができる。

カラー・チャネル２５４は輝度チャネルを計算する（２０６）ために使われる。カラー・チャネル２５４から輝度チャネルを計算する（２０６）ための公式は、当技術分野においてよく知られている。ある好ましい実施形態では、カラー・チャネル２５４の重み付けが、計算される輝度チャネル２５６が全色性チャネル２５２と比較可能（comparable）になるように選ばれる。

次のステップにおいて、カラー・フィルタ・アレイ画像２７５、特に全色性チャネル２５２および計算された輝度チャネル２５６は、欠陥ピクセルを決定するために解析される（２０８）。欠陥ピクセルは、計算された輝度ピクセル値が全色性ピクセル値に一致せず、色ピクセル値が修正される必要があるピクセルとして定義される。改善されたピクセルは、修正された色ピクセル値が計算されているピクセルとして定義される。

続くステップでは、欠陥ピクセル２０８が近隣のピクセル２１０を使って改善される。近隣のピクセル２１０は、任意の大きさの半径から取ってくることができる。近隣ピクセル２１０は0の半径から取ってくることもできる。これは、その特定の欠陥ピクセルに対応する全色性、輝度および色の値が、ピクセルを改善するために使われることを含意する。

最終ステップでは、改善された欠陥ピクセルがカラー・フィルタ・アレイ画像２７５に組み込まれて改善されたカラー・フィルタ・アレイ画像２１２が形成される。

図２で概観される個々のステップについてこれからより詳細に述べる。まず、デジタル・カメラ１３４がカラー・フィルタ・アレイ画像２７５を取り込む。図３は、ある好ましい実施形態のための例示的なカラー・フィルタ・アレイ・パターン３０１を示している。この例では、約半分のピクセルは全色性（panchromatic）３０２であり、残り半分が赤（R）３０４、緑（G）３０６および青（B）３０８の間で分割される色ピクセルである。

全色性ピクセル３０２についての露出期間は、色ピクセルについての露出期間よりも短い。これは、カラー・チャネル２５４が過度の色ノイズ・アーチファクトを防止するための十分な露出をもって取り込まれることを許容しつつ、全色性チャネル２５２が過度の動きぼけを防止する短い露出時間をもって取り込まれることを許す。

図４に示されるように、イメージセンサーの読み出しの間、さまざまなピクセル・ビニング（pixel binning）方式を使うことができる。図４では、イメージセンサーの二つの部分的な行４０１、４０２が表示されている。この例では、センサー・アレイのための根底にある読み出し回路は、一つまたは複数の周囲のピクセルに同時に切り換え可能に接続される浮動拡散（floating diffusion）４０４を使う。浮動拡散の実装および使用はデジタル画像取得の技術分野の当業者にはよく知られている。図４は、各浮動拡散４０４が、一例として四つ組４０６として示されている、４つの周囲のピクセルのために使われる通常の配置を示している。

ピクセル信号は、いくつもある組み合わせのうちのいずれにおいて浮動拡散４０４に切り換えられることもできる。読み出し組み合わせ４０８においては、四つ組４０６内の各ピクセルはその電荷を別個に浮動拡散４０４に転送され、よって個別に読まれる。読み出し組み合わせ４１０においては、全色性ピクセルPどうしがビニングされる、すなわち同時に浮動拡散４０４に自分の蓄積された電荷を移すことによって浮動拡散４０４を共有する；同様に、四つ組の中の両方の色（G）ピクセルがビニングされ、それらの信号を同時に浮動拡散４０４に切り換える。もう一つの読み出し組み合わせ４１２では、全色性ピクセルPはビニングされず、別個に読まれ、ここでは色ピクセル（G）がビニングされる。

本発明のある好ましい実施形態では、全色性ピクセルはビニングされず、一方、色ピクセルはビニングされ（４１２）、図５に示されるような読み出しを与える。図５は、イメージセンサーのほんの一部分についての読み出しを示している。図５では、全色性ピクセルは市松模様パターン５０２を占有し、一方、色ピクセルはまとめて低解像度のベイヤー・パターン５０４を形成する。

カラー・フィルタ・アレイ画像２７５がセンサーから読み出されたのち、カラー・チャネル２５４は輝度チャネル２０６を計算するために使われる。輝度についての計算上単純な計算はL＝R＋2G＋Bによって与えられる。ある好ましい実施形態では、赤、緑、青および全色性ピクセルのスペクトル応答が図６に示すように測定され、輝度チャネル２５６は、赤、緑および青の、全色性チャネルとの実効的なあてはめを与える線形結合として計算される。

図６のグラフを参照するに、典型的なカメラ・アプリケーションにおける、赤、緑および青のカラー・フィルタをもつピクセルの相対的なスペクトル感度が示されている。図６のX軸は、ほぼ近紫外線から近赤外線の波長にまたがるナノメートル単位での光の波長を表し、Y軸は、効率を表す（規格化されている）。図６では、曲線６１０は、赤外光および紫外光がイメージセンサーに達するのをブロックするのに使われる典型的な帯域幅フィルタのスペクトル透過特性を表す。そのようなフィルタが必要とされるのは、イメージセンサーのために使用されるカラー・フィルタは典型的には赤外光をブロックせず、よってピクセルは赤外光と関連するカラー・フィルタの通過帯域内の光との間の区別をすることができないからである。よって、曲線６１０によって示される赤外ブロッキング特性は、赤外光が可視光信号を損なうことを防ぐ。赤、緑および青のフィルタをもつ典型的なシリコン・センサーについての、スペクトル量子効率、すなわち入射光子のうち取り込まれて測定可能な電気信号に変換される割合は、曲線６１０によって表される赤外ブロッキング・フィルタのスペクトル透過特性を乗算されて、赤についての曲線６１４、緑についての曲線６１６および青についての曲線６１８によって表現される組み合わされたシステム量子効率が生成される。これらの曲線から、各色の光応答は可視スペクトルの一部分のみに感度をもつことが理解される。それに対し、カラー・フィルタが適用されない（だが赤外ブロッキング・フィルタ特性を含む）同じシリコン・センサーの光応答は、曲線６１２によって示される；これは全色性の光応答の例である。カラー光応答曲線６１４、６１６および６１８を全色性光応答曲線６１２と比較することにより、全色性の光応答が、どのカラー光応答よりも、広いスペクトル光に対して２ないし４倍感度が高いことが明らかである。

最初は、低解像度ベイヤー・パターン５０４の各ピクセルは一つの色値――赤、青または緑――をもつ。この出発点から輝度値を計算する多くの方法がある。一つの方法は、すべてのピクセルにおける赤、緑および青の値を生成するためにカラー・フィルタ・アレイ補間を実行することである。カラー・フィルタ・アレイ補間アルゴリズムは当技術分野においてよく知られており、次の特許が参照される：米国特許第5,506,619号、第5,629,734号および第5,652,621号。各ピクセルにおける輝度値は、各ピクセルにおける補間された赤、緑および青の値から計算される。ひとたび輝度値が計算されたら、補間されたカラー・フィルタ・アレイ値は破棄されることができる。補間アルゴリズムが線形関数であれば、それは後続の輝度関数と組み合わされて、ピクセル輝度値を入手可能なカラー・フィルタ・アレイ値の線形結合として表す単一の線形の式を形成することができる。輝度値を計算するもう一つの方法では、２×２またはより大きな近傍における赤、緑および青の値が該近傍にわたって平均されることができ、その近傍全体についての平均輝度値を計算するために使うことができる。

ステップ２０８では、全色性チャネルは、輝度チャネルおよびカラー・チャネルと一緒に使われ、欠陥ピクセルが決定される。これに、ステップ２１０で欠陥ピクセルの改善が続く。最初、図７Ａに示されるように全色性チャネルが合計される。図７Ａは、イメージセンサーの一部分についてこのプロセスを示している。この図では、全色性読み出し５０２からの全色性ピクセル７０２の対が合計され、輝度チャネル２５６と同じ空間解像度で全色性チャネル７０４を生成する。この時点で、ノイズを減らすために全色性チャネルまたは輝度チャネルがフィルタリングされることができる。その後、欠陥ピクセルを決定し（２０８）、欠陥ピクセルを改善する（２１０）ためにさまざまな手法を用いることができる。一つの方法では、欠陥ピクセルは、輝度値が対応する合計された全色性値と一致しない任意のピクセルとして定義される。この場合、欠陥ピクセルは、そのピクセルにおける色差を計算することによって改善される。色差は、Cを色値（ピクセルに依存して赤、緑または青の値）、Lは対応する輝度値である。この色差が合計された全色性値に加えられる：

ここで、＾付きのCは改善された色値であり、￣付きのPは合計された全色性値である。色差の使用は、ピクセル値が対数空間において表されるときに好まれる。あるいはまた、ピクセル値が線形空間において表されるときは、色値は比

によって乗算的にスケーリングされることができる。

欠陥ピクセルを決定し（２０８）、欠陥ピクセルを改善する（２１０）もう一つの方法では、すべてのピクセルは最初、欠陥として分類される。各ピクセルについて、色差（C−L）が半径kピクセルの窓内で平均される。平均は、図７Ｂに示されるように、ベイヤー・パターンにおけるマッチする空間位置のピクセルに制約される。この図では、中央の緑ピクセルを取り巻く半径２が示されている。この図では、９個の丸囲みのピクセル７５２が中央のピクセル７５４を改善するための色差の計算に寄与する。平均色差の値は、対応する全色性値に加え戻されて、改善された色値を生成する。

所与のピクセル(i,j)について、この一連のステップは次の式で与えられる：

Iは、含めるものを同じベイヤー・パターン空間位置の、よって必然的に改善される中央のピクセルと同じ色をもつピクセルのみに制限するための指標（indicator）関数である。C_Diffは平均色差である。最後に、改善された色値をもつ改善されたピクセルは：
C_improved(i,j)＝Pan(i,j)＋C_Diff(i,j)
によって与えられる。

欠陥ピクセルを検出し（２０８）、欠陥ピクセルを改善する（２１０）もう一つの方法では、すべてのピクセルは最初、欠陥として分類される。各ピクセルについて、色差（C−L）が、輝度値が参照ピクセル全色性値に十分類似しているすべての位置における、ピクセルの空間位置がベイヤー・パターン内の参照ピクセルの空間位置にマッチするk個のピクセルの窓において平均される。十分類似している値を決定する一つの好ましい方法としては、参照ピクセル全色性値に関連付けられた、期待されるノイズ標準偏差σを定義する。次いで、4σの閾値を使って類似している輝度値を決定する。輝度値が参照ピクセル全色性値と、高々4σしか違わないピクセルは類似していると考えられ、対応する色差は色差平均に含められる。

ピクセル色値は、平均色差に参照全色性値を加えることによって改善される。全色性値が十分類似した近隣の輝度値をもたないピクセルは、この段階ではスキップされ、これらの位置についての改善された色値はあとで生成される。

Iは、含めるものを同じベイヤー・パターン空間位置の、よって必然的に改善される中央のピクセルと同じ色をもつ十分類似したピクセルに制限するための指標（indicator）関数である。C_Diffは平均色差である。最後に、改善されたピクセルは：
C_improved(i,j)＝Pan(i,j)＋C_Diff(i,j)
によって与えられる色値をもつ。このステップは以下ではピクセル・マッチング・ステップと称される。

ピクセル・マッチング・ステップの間にスキップされたすべてのピクセルについて改善された色値を計算するために最後のステップが必要とされる。以下では、このステップは空き充填（void filling）と称される。Vを、ピクセル・マッチング・ステップの間にスキップされたピクセルの集合を指すものとする。本発明のある方法では、空き充填は、V内のすべてのピクセルへの重みの割り当てを、当該ピクセルの全色性値および改善された色値がすでに計算されているベイヤー・パターン内での同じ空間位置の近隣ピクセルの全色性値の関数として、行うことによって達成される。ピクセルはその重みに従ってソートされ、重みが最高のピクセルが、当該ピクセルの全色性値および近隣の全色性値と改善された色値に関連付けられた色差の値の関数として計算された改善された色値をもつ。改善された色値が計算されたのち、選択されたピクセルは集合Vから除去され、残りのピクセル重みが再計算され、プロセスは集合Vが空になるまで繰り返される。

空き充填の一つの方法に関連する諸ステップは、図８および図９においてより詳細に記述されている。最初に、集合Vが定義される：
V＝{(i,j)|ピクセル・マッチング・ステップにおいてスキップされた(i,j)}
次いで、V内の各ピクセルについて（８０１）、そのピクセルと、同じベイヤー・パターン空間位置にあるその４つの近傍ピクセル（４近傍ピクセル）との間の全色性差（panchromatic difference）が計算される（８０２）。下記の式は、北側の近傍ピクセルについて計算を例示する。同様の式が、南側、東側および西側の近傍ピクセルについて全色性差を計算するために使われる。

さらに、V内の各ピクセル(i,j)について、その改善された色値の計算に寄与することのできる４近傍ピクセルの集合A_(i,j)が決定される（８０４）。４近傍ピクセルは、その近傍ピクセルがすでに計算された改善された色値をもつ場合に、利用可能であると考えられ、集合A_(i,j)に含められる：

V内の各ピクセルについて、各４近傍ピクセルについて重みが計算される（８０６）：

ここで、σ(Pan(i,j))は、ピクセル(i,j)についての全色性値に関連付けられたノイズの標準偏差である。これらの重みは、合計すると１になるよう規格化される（８０８）。残りの議論においては、Wは規格化された重みを指す。最後に、V内の各ピクセルについて利用可能な重み項が計算される（８１０）。利用可能な重みは、改善された色値がすでに計算されているピクセルに対応する、規格化された重みの割合を表す。

ここで図９を参照するに、ループが開始される（９０１）。このループは、各反復工程において、V内で最も大きな利用可能な重みをもつピクセルを同定し、そのピクセルについての改善された色値を計算し、そのピクセルをVから除去し、利用可能性集合および利用可能な重みを更新する。具体的には、V内で最も大きな利用可能な重みをもつピクセル(i,j)が選択される（９０２）。(i,j)の各４近傍ピクセルについて、色差重みが計算される（９０４）。これは、(i,j)についての利用可能な重みに従って規格化された重みである：

これらの色差重みを使って、選択されたピクセルについて改善された色値が計算される（９０６）。

改善された色値が計算されたのち、利用可能性集合が、新たに生成された改善された色値を反映するよう更新される（９０８）：
∀(m,n)|(m,n)は(i,j)の４近傍、(m,n)∈V A_(m,n)＝A_(m,n)∪(i,j)
同様に、利用可能な重み項が更新される（９１０）：
∀(m,n)|(m,n)は(i,j)の４近傍、(m,n)∈V O(m,n)＝O(m,n)＋W_(m,n)(i,j)
最後に、ピクセル(i,j)が集合Vから除去される（９１２）。

V＝V＼(i,j)
このループは集合Vが空になるまで逐次反復される（９０１）。

改善された色値は、もとの全色性チャネル２５２とともに、この具体例では図３に示されるカラー・フィルタ・アレイ・パターンおよび図４で４１２によって与えられる読み出しの間のビニング戦略をもつイメージセンサーに対応する、改善されたカラー・フィルタ・アレイ画像２１２を表す。

本発明のもう一つの実施形態が図１０に示されている。この実施形態において、デジタル・カメラ１３４が、カラー・フィルタ・アレイ画像２７０を取り込むために使われる。より具体的には、デジタル・カメラ１３４は全色性チャネル２０２およびカラー・チャネル２０４を取り込む。カラー・フィルタ・アレイ画像２７５は、全色性チャネル２５２が、カラー・チャネル２５４のうちの少なくとも一つとは異なる時間の長さにわたって光に露出されるようにして取り込まれる。カラー・チャネル２５４に対してカラー・フィルタ・アレイ補間２０５が実行されて、全ピクセルにおいて赤、緑および青の値をもつ補間されたカラー画像２５５が生成される。補間されたカラー画像２５５を使って、輝度チャネル２０６が計算され、計算された輝度チャネル２５６を生成する。その後、欠陥ピクセルが検出され（２０８）、改善され（２１０）、改善された色フィルタ・アレイ画像が生成される（２１２）。

欠陥ピクセルの検出（２０８）および欠陥ピクセルの改善（２１０）の際、各ピクセルにおいて、そのピクセルにおけるベイヤー・パターンにおいて存在しているカラー・チャネルが変更される。そのピクセルについての他の二つのカラー・チャネル値は計算に使われるが、未変更のままにされ、最終的には破棄される。たとえば、赤のベイヤー・パターン・ピクセルが与えられると、そのピクセルにおける赤のピクセル値が改善される。この改善プロセスは、近隣のもとの色値および補間された色値の両方を使うことができる。そのピクセルにおける補間された緑および青の色値は、その欠陥ピクセルおよび他の欠陥ピクセルの検出および改善において使用されることができるが、最終的には破棄される。改善されたカラー・チャネルがもとの全色性チャネル２５２と組み合わされるとき、最終結果は改善されたカラー・フィルタ・アレイ画像２１２である。

本発明のもう一つの実施形態が図１１に示されている。この実施形態において、デジタル・カメラ１３４が、カラー・フィルタ・アレイ画像２７０を取り込むために使われる。より具体的には、デジタル・カメラ１３４は全色性チャネル２０２およびカラー・チャネル２０４を取り込む。カラー・フィルタ・アレイ画像２７５は、全色性チャネル２５２が、カラー・チャネル２５４のうちの少なくとも一つとは異なる時間の長さにわたって光に露出されるようにして取り込まれる。カラー・チャネル２５４に対してカラー・フィルタ・アレイ補間２０５が実行されて、全ピクセルにおいて赤、緑および青の値をもつ補間されたカラー画像２５５が生成される。補間されたカラー画像２５５を使って、輝度チャネル２０６が計算され、計算された輝度チャネル２５６を生成する。その後、欠陥ピクセルが検出され（２０８）、改善され（２１０）、改善されたフルカラー画像が生成される（２１３）。

欠陥ピクセルの検出（２０８）および欠陥ピクセルの改善（２１０）の際、各ピクセルにおいて、欠陥ピクセルを検出および改善するために三つのカラー・チャネル値すべてが解析される。改善された色値は三つのカラー・チャネルすべてについて生成されることができる。改善されたカラー・チャネルがもとの全色性チャネル２５２と組み合わされるとき、最終結果は改善されたフルカラー画像である。

本発明のもう一つの実施形態が図１２に示されている。この実施形態において、デジタル・カメラ１３４が、カラー・フィルタ・アレイ画像２７０を取り込むために使われる。より具体的には、デジタル・カメラ１３４は全色性チャネル２０２およびカラー・チャネル２０４を取り込む。カラー・フィルタ・アレイ画像２７５は、全色性チャネル２５２が、カラー・チャネル２５４のうちの少なくとも一つとは異なる時間の長さにわたって光に露出されるようにして取り込まれる。カラー・チャネル２５４に対してカラー・フィルタ・アレイ補間２０５が実行されて、全ピクセルにおいて赤、緑および青の値をもつ補間されたカラー画像２５５が生成される。補間されたカラー画像２５５を使って、輝度チャネル２０６が計算され、計算された輝度チャネル２５６を生成する。その後、欠陥ピクセルが検出され（２０８）、改善される（２１０）。フルカラー画像を改善されたカラー・フィルタ・アレイ画像２１２に還元するために、カラー・フィルタ・アレイ間引き〔デシメーション〕２１１が使われる。

欠陥ピクセルの検出（２０８）および欠陥ピクセルの改善（２１０）の際、各ピクセルにおいて、欠陥ピクセルを検出および改善するために三つのカラー・チャネル値すべてが解析される。改善された色値は三つのカラー・チャネルすべてについて生成される。次いで結果として得られる画像は間引かれてカラー・フィルタ・アレイ・パターンに戻され（２１１）、もとの全色性チャネル２５２と組み合わされて改善されたカラー・フィルタ・アレイ画像２１２を生じる。この特定の実施形態は、改善されたカラー・フィルタ・アレイ画像２１２を生成することが望まれているが、欠陥ピクセルを検出し（２０８）、欠陥ピクセルを改善する（２１０）ためのステップが、検出および改善ステップを通じてすべてのカラー・チャネルについてのすべてのピクセルにおいて決定され維持される改善された色値をもつことからの恩恵に与るという場合に重要である。

本発明のもう一つの実施形態が図１３に示されている。この実施形態において、デジタル・カメラ１３４が、カラー・フィルタ・アレイ画像２７０を取り込むために使われる。より具体的には、デジタル・カメラ１３４は全色性チャネル２０２およびカラー・チャネル２０４を取り込む。カラー・フィルタ・アレイ画像２７５は、全色性チャネル２５２が、カラー・チャネル２５４のうちの少なくとも一つとは異なる時間の長さにわたって光に露出されるようにして取り込まれる。全色性チャネル２５２が補間されて（２０３）補間された全色性チャネル２５３を生じる。カラー・チャネル２５４に対してカラー・フィルタ・アレイ補間２０５が実行されて、全ピクセルにおいて赤、緑および青の値をもつ補間されたカラー画像２５５が生成される。補間されたカラー画像２５５を使って、輝度チャネル２０６が計算され、計算された輝度チャネル２５６を生成する。補間されたカラー画像２５５および輝度チャネル２５６はアップサンプリングされ（２０７）、補間された全色性チャネル２５３と同じ解像度でアップサンプリングされたカラーおよび輝度チャネル２５７が生成される。アップサンプリングは当技術分野においてよく知られており、双線形補間のようなおなじみの技法をこのタスクのために使うことができる。その後、欠陥ピクセルが検出され（２０８）、改善され（２１０）、改善されたフルカラー画像が生成される（２１３）。

欠陥ピクセルの検出（２０８）および欠陥ピクセルの改善（２１０）の際、各ピクセルにおいて、欠陥ピクセルを検出および改善するために三つのカラー・チャネル値すべてが解析される。改善された色値は三つのカラー・チャネルすべてについて生成されることができる。改善されたカラー・チャネルが補間された全色性チャネル２５３と組み合わされるとき、最終結果は改善されたフルカラー画像２１３である。

本発明の他の実施形態では、欠陥ピクセルの検出および改善に先立って全色性チャネルをカラーおよび輝度チャネルと整列させるために、動き推定および補償の追加的なステップが含められる。全色性チャネルは、カラー・チャネルの少なくとも一つと異なる露出時間をもつので、取り込まれたシーンに動き――カメラの動きでもオブジェクトの動きでもよい――があるときは、全色性チャネルに含まれる画像内容は最初は、カラーおよび輝度チャネルに含まれる画像内容とは整列していない。この状況において、カラーおよび輝度チャネルを全色性チャネルと整列させるために、欠陥ピクセルの検出および改善に先立って、動き推定および補償ステップを含めることが有益である。

動き推定および補償を実行する一つの方法では、カラー・チャネルを全色性チャネルと空間的に整列させるために輝度チャネルが使われる。動き推定および補償の諸技法は当技術分野においてよく知られており、精度、堅牢さおよび計算量もさまざまである。動きモデルおよび技法としては：アフィン・モデル、ブロック・ベースの並進動きおよびオプティカル・フロー・アルゴリズム（optical flow algorithms）からの密動き場（dense motion fields）が含まれる。メモリが制約された環境における動き推定および補償の一つの方法では、所与の時刻において少数のセンサー・ピクセル行が読み出されてメモリにバッファリングされる。ブロック・ベースの並進動きを使って高速の局所動きモデルを与える。ブロックの大きさおよびブロックにマッチするために使われる探索範囲は、部分的には、バッファ中で利用可能なピクセルの行数に依存して選ぶことができる。たとえば、図１４に示されるように、各チャネルについて16行が利用可能なバッファ（１４０２）が与えられれば、全色性チャネルの中央の８行（１４０４）が８×８ブロック１４０６に分割されることができ、マッチするブロックを同定するために４ピクセルまでの動き範囲１４０８をもって輝度チャネルの対応する行が探索されることができる。各ブロックについてブロック・マッチング統計を保持することができ、その後の解析において使われることができる。そのような統計は、好ましいマッチに関連付けられた誤差や、すべてのオフセットにわたる平均誤差と最小誤差の間の比を含む。

ひとたび現在の諸行のストライプ内の全ブロックについてオフセットが決定されたら、規則性を強制し、動き推定に対するノイズの影響を減らすために、それらのオフセットはさらに処理される。これは、現在および前の行からの利用可能な動きデータを使って動きオフセットをメジアン・フィルタリングすることによって達成できる。強いエッジにまたがるメジアン・フィルタリングを避けるため、計算されたブロック・マッチング統計を使って、ブロックを不変のままメジアン・フィルタを通過させることができる。具体的には、平均誤差と最小誤差との間の比が大きいことは、強いマッチおよび実質的な画像内容を示唆する。平均誤差対最小誤差の比があらかじめ設定された閾値を超えるブロックはメジアン・フィルタから除外される。

代替的な実装では、異なる動き推定技法が使用されることができる。バッファ・メモリがそれほど制約されておらず、カラー・フィルタ・アレイ画像の全体またはほぼ全体が処理に先立ってメモリに記憶できるシナリオでは、より複雑な動き解析を使うことができる。全ピクセルについて動きベクトルを生成するためにオプティカル・フロー技法を使うことができる。ブロック動き推定のためにより大きな探索範囲を使うことができる。全色性チャネル露出期間が、カラー・チャネルのより長い露出期間の中のほぼ中央にあるシナリオでは、動き推定および補償は完全にスキップされることができ、あるいはそうでなければ削減された探索範囲をもって使われることができる。それにより処理アルゴリズムの全体的な複雑さが軽減される。

ひとたび動き推定ステップが完了されると、カラーおよび輝度チャネルは、根底にある全色性チャネルと揃うよう、動き推定値に従って調整される。

動き推定および補償を組み込む本発明の実施形態が図１５に示されている。この実施形態において、デジタル・カメラ１３４が、カラー・フィルタ・アレイ画像２７０を取り込むために使われる。より具体的には、デジタル・カメラ１３４は全色性チャネル２０２およびカラー・チャネル２０４を取り込む。カラー・フィルタ・アレイ画像２７５は、全色性チャネル２５２が、カラー・チャネル２５４のうちの少なくとも一つとは異なる時間の長さにわたって光に露出されるようにして取り込まれる。カラー・チャネル２５４は輝度チャネルを計算する（２０６）ために使われる。この時点で、輝度チャネル２５６が全色性チャネル２５２と関連して使われて、全色性データとカラー／輝度データの間の動きが推定および補償される（１５０２）。動き補償されたカラー・フィルタ・アレイ画像が色値についてベイヤー・パターンを維持することを保証するため、動き推定値は、水平方向および垂直方向のそれぞれにおいて２ピクセルの倍数である並進オフセットに制約される。動き推定および補償のステップは、改善されたカラー・チャネルを生成する。改善されたカラー・チャネルがもとの全色性チャネル２５２と組み合わされるとき、最終結果は改善されたカラー・フィルタ・アレイ画像２１２である。

本発明のもう一つの実施形態が図１６に示されている。この実施形態において、デジタル・カメラ１３４が、カラー・フィルタ・アレイ画像２７０を取り込むために使われる。より具体的には、デジタル・カメラ１３４は全色性チャネル２０２およびカラー・チャネル２０４を取り込む。カラー・フィルタ・アレイ画像２７５は、全色性チャネル２５２が、カラー・チャネル２５４のうちの少なくとも一つとは異なる時間の長さにわたって光に露出されるようにして取り込まれる。カラー・チャネル２５４は輝度チャネルを計算する（２０６）ために使われる。この時点で、輝度チャネル２５６が全色性チャネル２５２と関連して使われて、全色性データとカラー／輝度データの間の動きが推定および補償される（１５０２）。動き補償されたカラー・フィルタ・アレイ画像が色値についてベイヤー・パターンを維持することを保証するため、動き推定値は、水平方向および垂直方向のそれぞれにおいて２ピクセルの倍数である並進オフセットに制約される。その後、欠陥ピクセルが検出（２０８）および改善（２１０）され、改善されたカラー・フィルタ・アレイ画像２１２が生成される。

本発明のもう一つの実施形態が図１７に示されている。この実施形態において、デジタル・カメラ１３４が、カラー・フィルタ・アレイ画像２７０を取り込むために使われる。より具体的には、デジタル・カメラ１３４は全色性チャネル２０２およびカラー・チャネル２０４を取り込む。カラー・フィルタ・アレイ画像２７５は、全色性チャネル２５２が、カラー・チャネル２５４のうちの少なくとも一つとは異なる時間の長さにわたって光に露出されるようにして取り込まれる。カラー・チャネル２５４に対してカラー・フィルタ・アレイ補間２０５が実行されて、全ピクセルにおいて赤、緑および青の値をもつ補間されたカラー画像２５５が生成される。補間されたカラー画像２５５を使って、輝度チャネル２０６が計算される。この時点で、輝度チャネル２５６が全色性チャネル２５２と関連して使われて、全色性データとカラー／輝度データの間の動きが推定および補償される（１５０２）。その後、欠陥ピクセルが検出（２０８）および改善（２１０）され、改善されたフルカラー画像２１３が生成される。

欠陥ピクセルの検出（２０８）および欠陥ピクセルの改善（２１０）の際、各ピクセルにおいて、欠陥ピクセルを検出および改善するために三つのカラー・チャネル値すべてが解析される。改善された色値は三つのカラー・チャネルすべてについて生成されることができる。改善されたカラー・チャネルがもとの全色性チャネル２５２と組み合わされるとき、最終結果は改善されたフルカラー画像２１３である。

本発明のもう一つの実施形態が図１８に示されている。この実施形態において、デジタル・カメラ１３４が、カラー・フィルタ・アレイ画像２７０を取り込むために使われる。より具体的には、デジタル・カメラ１３４は全色性チャネル２０２およびカラー・チャネル２０４を取り込む。カラー・フィルタ・アレイ画像２７５は、全色性チャネル２５２が、カラー・チャネル２５４のうちの少なくとも一つとは異なる時間の長さにわたって光に露出されるようにして取り込まれる。全色性チャネル２５２が補間されて（２０３）補間された全色性チャネル２５３を生じる。カラー・チャネル２５４に対してカラー・フィルタ・アレイ補間２０５が実行されて、全ピクセルにおいて赤、緑および青の値をもつ補間されたカラー画像２５５が生成される。補間されたカラー画像２５５を使って、輝度チャネル２０６が計算される。補間されたカラー画像２５５および輝度チャネル２５６はアップサンプリングされ（２０７）、補間された全色性チャネル２５３と同じ解像度でアップサンプリングされたカラーおよび輝度チャネル２５７が生成される。この時点で、アップサンプリングされた輝度チャネル２５７が補間された全色性チャネル２５３と関連して使われて、全色性データとカラー／輝度データの間の動きが推定および補償される（１５０２）。その後、欠陥ピクセルが検出（２０８）および改善（２１０）され、改善されたフルカラー画像２１３が生成される。

当業者は、本発明には多くの代替的な方法があることを認識するであろう。たとえば、色ピクセルは、図４の４０８におけるように、ビニングされないままにされることができる。この場合、カラー・フィルタ・アレイ補間２０５およびアップサンプリングのステップ２０７は、ビニングされていない色ピクセルに対応するよう修正されることができる。より一般には、当業者は、本発明が、全色性チャネルの露出期間が少なくとも一つのカラー・チャネルの露出期間と異なるよう、全色性ピクセルおよびカラー・ピクセルの任意のセンサー・パターンに適用できることを認識するであろう。

本発明のもう一つの方法では、センサー・パターンは赤、緑および青のピクセルを含み、諸ピクセルは、一つのサブセットが緑のピクセルを含み残りのピクセルとは異なる露出期間をもつよう、分割される。

本発明のもう一つの方法では、センサーはピクセルの二つより多くのサブセットに分割され、各サブセットは他のサブセットとは異なる露出期間をもつ。

本発明のもう一つの方法では、センサーはピクセルの二つのサブセットに分割され、各サブセットは少なくとも一度読まれ、それらのピクセル・サブセットの複数の読みが組み合わされて単一の改善されたカラー・フィルタ・アレイ画像またはフルカラー画像を形成する。そのような方式は図１９および図２０に示されている。図１９を参照するに、取り込みプロセスはパケットの集合に分割される。各パケットが個々に読まれ、処理され（１９０２）、各パケット処理ステップからの結果が組み合わされて（１９０４）単一の改善されたカラー・フィルタ・アレイ画像またはフルカラー画像１９０６にされる。

図２０は、個々のパケットの処理をより詳細に示している。パケットは、全色性チャネルの一つまたは複数の読み出し（２００２）ならびにカラー・チャネルの一つまたは複数の読み出し（２００４）を含む。全色性チャネルの読み出しは単一の全色性画像に組み合わされる（２００６）。同様に、カラー・チャネルの読み出しは単一のカラー画像に組み合わされる（２００８）。その後の処理を使ってカラー画像と全色性画像が組み合わされ（２０１０）、単一の改善されたカラー・フィルタ・アレイ画像またはフルカラー画像２０１２にされる。

本発明のもう一つの方法では、デジタル・カメラ１３４はビデオ取り込みモードで動作する。ビデオの各フレームが取り込まれ、本発明の教示に従って処理される。各フレームの解像度をターゲット・ビデオ解像度まで下げるために追加的な処理が含められることができる。同様に、デジタル・カメラ１３４はバースト取り込みモードで動作することができる。この場合、各フレームは本発明の教示に従って取り込まれ、処理されることができる。

いくつかの態様を記載しておく。
〔態様１〕
複数のカラー・チャネルと全色性チャネルとを有するイメージセンサーからの第一のカラー・フィルタ・アレイ画像を改善する方法であって：
（ａ）前記イメージセンサーを用いて、前記全色性チャネルを、前記カラー・チャネルの少なくとも一つとは異なる露出時間で取り込み；
（ｂ）前記カラー・チャネルを使って輝度チャネルを与え；
（ｃ）前記カラー・フィルタ・アレイ画像および前記輝度チャネルを解析して、前記カラー・チャネルにおける欠陥ピクセルを決定し、近隣のカラーおよび輝度ピクセル値を使って前記欠陥ピクセルを改善して、少なくとも一つの改善されたチャネルをもつ第二のカラー・フィルタ・アレイ画像またはフルカラー画像を生成する、
ことを含む方法。
〔態様２〕
態様１記載の方法であって、ステップ（ｂ）がさらに、補間されたカラー画像を生成し、該補間されたカラー画像を使って前記輝度チャネルを与える、方法。
〔態様３〕
態様２記載の方法であって、ステップ（ｃ）がさらに、前記欠陥ピクセルの決定および改善において前記補間されたカラー画像を使うことを含む、方法。
〔態様４〕
態様１記載の方法であって、前記輝度チャネルが、前記全色性チャネルに匹敵するよう選択される、方法。
〔態様５〕
複数のカラー・チャネルと全色性チャネルとを有するイメージセンサーからの第一のカラー・フィルタ・アレイ画像を改善する方法であって：
（ａ）前記イメージセンサーを用いて、前記全色性チャネルを、前記カラー・チャネルの少なくとも一つとは異なる露出時間で取り込み；
（ｂ）前記カラー・チャネルを使って輝度チャネルを与え；
（ｃ）前記全色性チャネルおよび前記輝度チャネルを使って動き推定を与え；
（ｄ）前記動き推定および前記第一のカラー・フィルタ・アレイ画像を使って少なくとも一つの改善されたチャネルをもつ第二のカラー・フィルタ・アレイ画像またはフルカラー画像を生成する、
ことを含む方法。
〔態様６〕
態様５記載の方法であって、ステップ（ｂ）がさらに、補間されたカラー画像を生成し、該補間されたカラー画像を使って前記輝度チャネルを与える、方法。
〔態様７〕
態様５記載の方法であって、前記輝度チャネルが、前記全色性チャネルに匹敵するよう選択される、方法。
〔態様８〕
態様５記載の方法であって、ステップ（ｄ）がさらに、前記カラー・フィルタ・アレイ画像および前記輝度チャネルを解析して、前記カラー・チャネルにおける欠陥ピクセルを決定し、近隣のカラーおよび輝度ピクセル値を使って前記欠陥ピクセルを改善して、改善されたカラー・フィルタ・アレイ画像またはフルカラー画像を生成することを含む、方法。
〔態様９〕
態様６記載の方法であって、ステップ（ｄ）がさらに、前記補間されたカラー画像および前記輝度チャネルを解析して、前記カラー・チャネルにおける欠陥ピクセルを決定し、近隣のカラーおよび輝度ピクセル値を使って前記欠陥ピクセルを改善して、改善されたカラー・フィルタ・アレイ画像またはフルカラー画像を生成することを含む、方法。

１１０コンピュータ・システム
１１２マイクロプロセッサ・ベースのユニット
１１４ディスプレイ
１１６キーボード
１１８マウス
１２０ディスプレイ上のセレクタ
１２２ディスク・ドライブ・ユニット
１２４コンパクト・ディスク読み出し専用メモリ（CD-ROM）
１２６フロッピーディスク
１２７ネットワーク接続
１２８プリンタ
１３０パーソナル・コンピュータ・カード（PCカード）
１３２ PCカード・リーダー
１３４デジタル・カメラ
１３６カメラ・ドッキング・ポート
１３８ケーブル接続
１４０無線接続
２０２全色性チャネル取り込み
２０３全色性チャネル補間
２０４カラー・チャネル取り込み
２０５カラー・フィルタ・アレイ補間
２０６輝度チャネル計算
２０７アップサンプリング
２０８欠陥ピクセル決定
２１０欠陥ピクセル改善
２１１カラー・フィルタ・アレイ間引き
２１２改善されたカラー・フィルタ・アレイ画像
２１３改善されたフルカラー画像
２５２全色性チャネル
２５３補間された全色性チャネル
２５４カラー・チャネル
２５５補間されたカラー画像
２５６輝度チャネル
２５７アップサンプリングされたカラーおよび輝度チャネル
２７０カラー・フィルタ・アレイ画像取り込み
２７５カラー・フィルタ・アレイ画像
３０１カラー・フィルタ・アレイ・パターン
３０２全色性ピクセル
３０４赤のカラー・ピクセル
３０６緑のカラー・ピクセル
３０８青のカラー・ピクセル
４０１イメージセンサーの第一行の一部
４０２イメージセンサーの第二行の一部
４０４浮動拡散（Floating Diffusion）
４０６ピクセル四つ組
４０８第一の読み出し組み合わせ
４１０第二の読み出し組み合わせ
４１２第三の読み出し組み合わせ
５０２全色性ピクセル
５０４カラー・ピクセル
６１０曲線
６１２曲線
６１４曲線
６１６曲線
６１８曲線
７０２全色性ピクセル対
７０４低解像度の全色性ピクセル
７５２寄与するピクセル
７５４改善されたピクセル
８０１ピクセル選択
８０２全色性ピクセル差分計算
８０４ピクセル利用可能性計算
８０６重み計算
８０８重み規格化
８１０利用可能な重み計算
９０１ループ
９０２ピクセル選択
９０４色差重み計算
９０６改善されたピクセル値の計算
９０８利用可能性更新
９１０利用可能な重みの更新
９１２ピクセル除去
１４０２バッファ・ライン
１４０４中央部のバッファ・ライン
１４０６ピクセル・ブロック
１４０８探索領域
１５０２動き推定および補償
１９０２個々のパケットの処理
１９０４パケット組み合わせ
１９０６改善された画像
２００２複数の全色性取り込み
２００４複数のカラー取り込み
２００６全色性組み合わせ
２００８カラー組み合わせ
２０１０全色性およびカラーの組み合わせ
２０１２改善された画像

Claims

複数のカラー・チャネルと全色性チャネルとを有するイメージセンサーからの第一のカラー・フィルタ・アレイ画像を改善する方法であって：
（ａ）前記イメージセンサーを用いて、前記全色性チャネルを、前記複数のカラー・チャネルの露出時間より短い露出時間で取り込み；
（ｂ）前記複数のカラー・チャネルを使って輝度チャネルを与え；
（ｃ）前記全色性チャネルおよび前記輝度チャネルを解析して前記複数のカラー・チャネルにおける欠陥ピクセルを決定し、欠陥ピクセルとは、その輝度チャネルの輝度値が対応する全色性チャネルの全色性値に一致しないピクセルであり、近隣ピクセルの前記カラー・チャネルのカラー値および前記輝度チャネルの輝度値を使って前記欠陥ピクセルを改善して、少なくとも一つの改善されたチャネルをもつ第二のカラー・フィルタ・アレイ画像を生成する、
ことを含み、
ステップ（ｃ）は、
前記欠陥ピクセルのそれぞれについて、前記カラー・チャネルのうち少なくとも一つのチャネルのカラー値と前記輝度チャネルの輝度値との間の色差を計算し、
各欠陥ピクセルを改善するために、前記色差を前記全色性チャネルの全色性値に加えることを含む、
方法。
請求項１記載の方法であって、ステップ（ｂ）がさらに、補間されたカラー画像を生成し、該補間されたカラー画像を使って前記輝度チャネルを与えることを含む、方法。
請求項２記載の方法であって、ステップ（ｃ）がさらに、前記欠陥ピクセルを決定し、改善する際に、前記補間されたカラー画像を使用することを含む、方法。