JP2009095012A - 補間方向の判定方法、色補間方法および色補間装置 - Google Patents

Abstract

【課題】カラーフィルタアレイにおける欠けている色を生成するための色従属性補間の方
向を判定するための方法と装置。
【解決手段】赤、緑、と青フォトサイトを含むカラーフィルタアレイにおける欠けている
色を生成するために使用される補間方向を判定するための方法であって、方法は、各赤と
各青フォトサイトに対して、複数の方向の各々に隣接しているフォトサイトを検査するこ
と、と各方向に対してある有意な輝度変化がフォトサイトから離れている距離を表すスコ
アを生成することを含むと共に、最も高いスコアに対応する方向をそれぞれの各赤と青フ
ォトサイトに対する補間方向として選択することを含む。
【選択図】図５

Description

本発明は一般的にイメージプロセッシングに関し、より具体的にカラーフィルタアレイ
における欠けている色を生成するための色従属性補間の方向を判定するための方法と装置
に関する発明である。

デジタルカメラとその他のイメージキャプチャ装置は、イメージがその後に格納され表
示されるためにイメージをディジタルにキャプチャするために、電荷結合素子（ＣＣＤ）
、相補型金属酸化膜半導体（ＣＭＯＳ）装置、またはＦｏｖｅｏｎセンサのようなイメー
ジセンサを使用する。イメージキャプチャ装置における一般的なＣＣＤまたはＣＭＯＳカ
ラーイメージセンサは、フォトサイトと一般的に呼ばれる感光性場所のグリッドまたはア
レイを含む。あるシーンをイメージキャプチャする時に、各フォトサイトは一つの緑、赤
、または青色のみを感知できる。その結果として生じるデジタルイメージデータはカラー
フィルタアレイ（ＣＦＡ）として知られている赤、緑、と青色のパターン（または「モザ
イク」）を形成する。そのシーンをビジュアル表示に正しい色で再生するために、ビジュ
アル表示における各画素は完全な色情報を必要とする。従って、ＣＦＡにはシーンを正し
い色で再生するために必要とする情報が欠けていることが理解される。

ＣＦＡから完全なカラーイメージを生成するために、緑、赤、と青色が欠けている（つ
まり感知されていない）フォトサイトで、ローカルフォトサイトで感知された色を使って
、それらを補間しなければならない。このＣＦＡにおける欠けている色を補間するプロセ
スはモザイク解除として知られている。

よく知られているＣＦＡであるベイヤパターンは、色の２×２アレイであり、その色の
半分は緑で、その４分の１は赤で、その４分の１は青である。ベイヤＣＦＡの行は、緑と
赤が交互しているフォトサイト、または交互している緑と青フォトサイトを有し、そこで
ベイヤＣＦＡの緑フォトサイトは五点形パターンに配置されている。ベイヤＣＦＡとその
他のＣＦＡのモザイク解除方法はよく証明されている。例えば、Ｍｕｒｅｓａｎの米国特
許出願公開第２００５／０１４６６２９号明細書は、エッジを対象とするモザイク解除ア
ルゴリズムを開示している。ある補間方向は、キャプチャされたＣＦＡの緑チャネルを使
って、北南、東西、北東、北西の方向の各々の補間エラーを判定することと共にその最小
補間エラーに基づいて補間方向を選択することによって推定される。３つのカラープレー
ンのすべてにおいてオブジェクト境界が同じであり、従ってある補間方向を判定するため
にすべてのカラープレーンの組み合わせが使用できるという基に、異なる一つずつの赤、
緑、と青チャネルの間に補間エラーが計算される。

Ｃｈｕｉに付与された米国特許第６４９６６０８号明細書は、有限インパルス応答（Ｆ
ＩＲ）フィルタを使用するイメージデータ補間システムと方法を開示している。キャプチ
ャされたベイヤＣＦＡの値の部分集合に基づいて、平滑性、低ひずみと連続的な表面を確
保するために画素詰め［ｐｉｘｅｌ ｆｉｌｌｉｎｇ］方程式が使用される。

Ｋｅｓｈｅｔｅｔａｌ．に付与された米国特許第６８１６１９７号明細書は、輝度遷移
を保存するためにバイラテラルフィルタリング手法を使ってＣＦＡをモザイク解除するた
めの方法を開示している。カラー画素のモザイクパターンの近傍画素の中の補間は、輝度
非感度的な［ｉｎｔｅｎｓｉｔｙ ｉｎｓｅｎｓｉｔｉｖｅ］ウィンドウ内の画素値の相
対的な位置とフォトメトリック類似性を含む要因に基づいてある。言い換えれば、物理的
に近い画素の輝度値はより離れている画素の輝度値により大きな重みが付けられ、それと
同時に、量的に類似している輝度値は量的に類似していない輝度値により大きな重みが付
けられる。ある極端な輝度遷移の一つの側に在る画素がその極端な輝度遷移の反対側の補
間した輝度値に与える影響を低下することによって、再構築されたイメージにおいて遷移
の鮮明度が向上させる。バイラテラルフィルタリングする時に、近傍の画素の輝度値の中
のフォトメトリック類似性を示す類似性関数は、近傍の画素位置の相対的な位置の判定と
アルゴリズム的に組み合わせられる。

Ｎｇｕｙｅｎの米国特許出願公開第２００２／０１６７６０２号明細書は、特徴エッジ
［ｆｅａｔｕｒｅ ｅｄｇｅｓ］に沿っている補間アーティファクトを低減するためにベ
イヤＣＦＡを使ってキャプチャされたイメージデータをモザイク解除するための方法を開
示している。カラー非連続性は、あるローカル平均に対するローカル色の輝度値の変化が
赤、緑、と青カラー成分の各々に対して同じであるといった仮定に基づいて均等化される
。

Ｎａｋａｋｕｋｉの米国特許出願公開第２００３／００１６２９５号明細書は、ある水
平サンプリング周波数の半分でカラーチャネル信号の各々を減衰させることによってベイ
ヤＣＦＡからの色を補間する時にモアレノイズの発生を抑圧するイメージ信号プロセッサ
を開示している。

Ｔｓｕｋｉｏｋａの米国特許出願公開第２００３／０２３１２５１号明細書は、水平と
垂直方向に断続的な読み出し操作ができるカラーフィルタアレイを有するシングルチップ
イメージセンサを含むイメジング装置を開示している。断続性制御手段はイメージセンサ
の断続的な読み出しを制御する。断続性制御手段で示された透かしたパターン［ｔｈｉｎ
ｎｅｄ ｏｕｔ ｐａｔｔｅｒｎ］にイメージセンサから読み出された信号を処理するた
めの補間手段は、三色要素からなる減色イメージ［ｒｅｄｕｃｅｄ ｉｍａｇｅ］を形成
する。

Ａｃｈａｒｙａｅｔａｌ．の米国特許出願公開第２００５／０１７４４４１号明細書は
、感知されていない色値を補間するプロセスを簡易化するカラーフィルタアレイ（ＣＦＡ
）を開示している。ＣＦＡは半分以上の緑センサを含み、それによって補間法は完全な緑
チャネルをもっと正確に生じることが可能になる。エッジゾーン、平滑なゾーン、と縞の
あるゾーンは画素のローカライズされた３×３アレイの変異値の判定によって計算される
。補間はゾーンの種類の判定に基づいて行なわれる。

Ｍａｌｖａｒｅｔａｌ．の米国特許出願公開第２００５／０２０１６１６号明細書は、
カラーイメージをモザイク解除するための勾配で訂正される［ｇｒａｄｉｅｎｔ−ｃｏｒ
ｒｅｃｔｅｄ］線形補間法を開示している。方法の実行中、ある所与の画素での関心の色
の勾配に基づいて補間が行なわれ訂正項が計算される。補間および訂正項が訂正された色
を生成するために線形に組み合わせられる。補間に適用される勾配訂正量を影響するため
に勾配訂正ゲインを勾配訂正項に適用しても構わない。

Ｍａｔｈｅｒｓｏｎｅｔａｌ．の米国特許出願公開第２００５／００３０４０９号明細
書は、二次元フォトセンサアレイと光源の間に入っている光学素子が動いている間にイメ
ージを表すデータを生成する二次元フォトセンサアレイを含む装置を開示している。フォ
トセンサでキャプチャされたイメージをぼける方法は有効にイメージをハイパスフィルタ
リングし、それによってエイリアシングの影響を減衰させる。

Ｓａｗａｄａの米国特許出願公開第２００５／０２７６４７５号明細書は、入力カラー
フィルタアレイ（ＣＦＡ）から出力カラーイメージを生成するための繰り返し方法を開示
している。方法の実行中、第２イメージをＣＦＡイメージの推定イメージとして生成する
ためにＣＦＡパターンを表す入力イメージが使用される。第２イメージが第１イメージに
比較され罰が計算される。罰は推定イメージを訂正するために使用され、訂正が繰り返す
ように適用される。

Ｔｓｕｋｉｏｋａの米国特許出願公開第２００６／００１２８４１号明細書は、ベイヤ
ＣＦＡでキャプチャされたイメージから完全なカラーイメージを計算するイメージ処理装
置を開示している。重み設定ユニットは、ある予め定義された近傍の中の関心の画素から
始まる複数の方向の各々に対して重みを設定する。平均値計算ユニットは、画素値のそれ
ぞれの重みを使ってある具体的なカラー成分を有すると共にその予め定義された近傍の中
に各方向に位置づけられている画素の価の重み付き平均を計算する。復元ユニットは平均
計算ユニットに重み付き平均を計算させる。画素の重み付き平均とそれぞれの輝度値は、
関心の画素の抜かされた（つまり感知されていない）カラー成分の値を復元するために使
用される。

Ｓｐａｍｐｉｎａｔｏｅｔａｌ．の米国特許出願公開第２００６／００２２９９７号明
細書は、データ依存三角測量を使ってカラーフィルタされた入力イメージにおける感知さ
れていない画素を補間するための方法を開示している。３つのカラーチャネルのそれぞれ
の一つずつに在る赤、緑、と青画素は三角の頂点として関連づけられ、決定されようとす
る感知されていない画素値の各々はその妥当な三角の頂点の線形補間によって計算される
。

Ｋｏｂａｙａｓｈｉの米国特許出願公開第２００６／００２３０８９号明細書は、単一
プレート個体化カラーイメージセンサから出力されたモーションイメージデータを変換す
るための方法と装置を開示している。空間デシメーションプロセスはカラーイメージデー
タの各カラー成分に対して一つ以上の代表的な値を選択し、選択された代表的な値からな
る空間的にデシメーションされたデータを生成する。

ＣＦＡにおける欠けている色を補間するための方法はよく証明されているにもかかわら
ず、上に説明した先行技術の引用例はイメージ質劣化が生じる傾向のある技法を開示して
いる。劣化は最適でない補間方向の選択による誤りまたは補間中にアーティファクトが出
ることによって発生する。さらに、上に説明した先行技術の技法の多くは二階またはそれ
より高位の計算のための複雑で費用がかかる処理が必要とする。従って、改良は望ましい
。

米国特許第６４９６６０８号明細書 米国特許第６８１６１９７号明細書

従って、一つの目的はカラーフィルタアレイにおける欠けている色を生成するために色
従属性補間の方向を判定するための新たな方法とシステムを提供することである。

このような目的は、下記の本発明により達成される。

本発明の補間方向の判定方法は、赤、緑および青フォトサイトを含むカラーフィルタア
レイにおける欠けている色を生成するために使用する補間方向を判定するための補間方向
の判定方法であって、各赤と各青フォトサイトに対して、複数の方向の各々に隣接してい
るフォトサイトを検査すると共に各方向に対してある有意な輝度変化が前記フォトサイト
から離れている距離を表すスコアを生成するステップと、それぞれの前記各赤と青フォト
サイトの補間方向として最も高いスコアに対応する方向を選択するステップとを含むこと
を特徴とする。

また本発明の補間方向の判定方法において、前記検査中に、選択されたフォトサイトか
ら前記方向の各々に延びて離れる緑フォトサイトが検査されることが好ましい。

また本発明の補間方向の判定方法において、前記検査中、前記方向の各々の複数のフォ
トサイトの線に沿っている緑フォトサイトが検査されることが好ましい。

また本発明の補間方向の判定方法において、前記複数の方向は垂直上、垂直下、水平左
、水平右、対角右上、対角右下、対角左上、と対角左下の方向を含む。

また本発明の補間方向の判定方法において、各前記スコアは、前記検査された隣接する
緑フォトサイトの相対的輝度に基づいていることが好ましい。

また本発明の補間方向の判定方法において、前記検査されたフォトサイトの線の各々の
スコアが生成され、かつ前記各方向の線のスコアがその方向のスコアを与えるように加算
されることを特徴とする。

また本発明の補間方向の判定方法において、前記各方向に対して、前記各フォトサイト
の線に沿って行なわれる検査は、隣接する緑フォトサイトの前記有意な輝度変化を示す相
対的な輝度が等しくないところまで外側方向に進むことが好ましい。

また本発明の補間方向の判定方法において、前記各線に沿っている検査は、検査窓の境
界に達した時点で停止されることを特徴とする。

また本発明の補間方向の判定方法において、各赤と青フォトサイトに対して、正反対の
方向の対に対して得られたスコアを組み合わせるステップをさらに含むことが好ましい。

一方、本発明の色補間方法は、赤、緑および青フォトサイトを含むカラーフィルタアレ
イにおける欠けている色を補間する色補間方法であって、エッジ距離情報に基づいて各赤
と各青フォトサイトに対して補間方向を判定するステップと、各赤と各青フォトサイトに
対して、前記フォトサイトの判定された補間方向に緑色を補間するステップと、各緑フォ
トサイトに対して、赤と青色を補間するステップと、各赤フォトサイトに対して、前記フ
ォトサイトの判定された補間方向に青色を補間するステップと、各青フォトサイトに対し
て、前記フォトサイトの判定された補間方向に赤色を補間するステップを含むことを特徴
とする。

また本発明の色補間方法において、前記各赤と各青フォトサイトの補間方向は、前記フ
ォトサイトから最も遠く離れて検出されたエッジに沿っている方向に対応することが好ま
しい。

また本発明の色補間方法において、前記補間方向を判定するステップは、前記各赤と各
青フォトサイトに対して、複数の方向の各々に隣接しているフォトサイトを検査するとと
もに、前記各方向に対してある有意な輝度変化がそのフォトサイトから離れている距離を
表すスコアを生成するステップと、最も高いスコアに対応する方向をそれぞれの各赤と青
フォトサイトの補間方向として選択するステップとを含むことが好ましい。

また本発明の色補間方法において、前記検査中、選択されたフォトサイトから前記方向
の各々に延びて離れる緑フォトサイトが検査されることが好ましい。

また本発明の色補間方法において、前記検索中、前記方向の各々の複数のフォトサイト
の線に沿っている緑フォトサイトが検査されることが好ましい。

また本発明の色補間方法において、前記複数の方向は垂直上、垂直下、水平左、水平右
、対角右上、対角右下、対角左上、と対角左下の方向を含むことが好ましい。

また本発明の色補間方法において、前記各スコアは、前記検査された隣接する緑フォト
サイトの相対的輝度に基づいていることが好ましい。

また本発明の色補間方法において、前記検査されたフォトサイトの線の各々のスコアが
生成され、かつ前記各方向の線のスコアがその方向のスコアを与えるように加算されるこ
とが好ましい。

また本発明の色補間方法において、前記各方向に対して、前記各フォトサイトの線に沿
って行なわれる検査は、隣接する緑フォトサイトの前記有意な輝度変化を示す相対的な輝
度が等しくないところまで外側方向に進むことを特徴とする。

また本発明の色補間方法において、前記各線に沿っている検査は、検査窓の境界に達し
た時点で停止されることを特徴とする。

また本発明の色補間方法において、各赤と青フォトサイトに対して、正反対の方向の対
に対して得られたスコアを組み合わせるステップをさらに含むことを特徴とする。

ここで本発明の色補間装置は、赤、緑および青フォトサイトを含むカラーフィルタアレ
イにおける欠けている色を補間する色補間装置であって、エッジ距離情報に基づいて各赤
と各青フォトサイトに対して補間方向を判定する手段と、各赤と各青フォトサイトに対し
てそのフォトサイトの判定された補間方向に緑色を補間する手段と、各緑フォトサイトに
対して、赤と青色を補間する手段と、各赤フォトサイトに対して、前記フォトサイトの判
定された補間方向に青色を補間する手段と、各青フォトサイトに対して、前記フォトサイ
トの判定された補間方向に赤色を補間する手段とを含むことを特徴とする。

従って、一つの態様において赤、緑、と青フォトサイトを含むカラーフィルタアレイに
おける欠けている色を生成するために使用される補間方向を判定する方法が提供され、前
記方法は、各赤と各青フォトサイトに対して、複数の方向の各々に隣接しているフォトサ
イトを検査し、各方向に対してある有意な輝度変化がフォトサイトから離れている距離を
表すスコアを生成することを含み、それぞれの赤と青フォトサイトの各々に対して最高の
スコアに対応する方向を補間方向として選択することを含む。

一つの実施例において、検索する時に、方向の各々にフォトサイトの複数の線に沿って
選択されたフォトサイトから延びる緑フォトサイトが検査される。方向は垂直上、垂直下
、水平左、水平右、対角右上、対角右下、対角左上、と対角左下の方向を含む。スコアは
検査された隣接の緑フォトサイトの相対的な輝度に基づいている。各検査されたフォトサ
イトの線に対してスコアが生成される。各方向の線のスコアが加算され、それによってそ
の方向のスコアが与えられる。各方向に対して、各フォトサイトの線に沿っている検索は
、隣接の緑フォトサイトの相対的な輝度が等しくない（つまり有意な輝度変化を示す）と
ころまで外側方向に進む。各線に沿っている検索は、サーチウィンドウの境界まで至って
いる時にも停止しても構わない。

もう一つ別の態様に従って、赤、緑、と青フォトサイトを含むカラーフィルタアレイ（
ＣＦＡ）における欠けている色を補間する方法が提供され、方法は、各赤と各青フォトサ
イトに対してエッジ距離情報に基づいて補間方向を判定するステップ、と各赤と各青フォ
トサイトに対してそのフォトサイトの判定された補間方向に緑色を補間するステップ、と
各緑フォトサイトに対して、赤と青色を補間するステップ、と各赤フォトサイトに対して
、そのフォトサイトの判定された補間方向に青色を補間するステップ、と各青フォトサイ
トに対して、そのフォトサイトの判定された補間方向に赤色を補間するステップ、を含む
。

さらにもう一つ別の態様に従って、赤、緑、と青フォトサイトを含むカラーフィルタア
レイにおける欠けている色を生成するために使用される補間方向を判定するためのコンピ
ュータプログラムを実装するコンピュータ可読媒体が提供され、コンピュータプログラム
は、各赤と各青フォトサイトに対して、複数の方向の各々に隣接しているフォトサイトを
検査し、各方向に対してある有意な輝度変化がフォトサイトから離れている距離を表すス
コアを生成するためのコンピュータプログラムコードを含み、それぞれの赤と青フォトサ
イトの各々に対して最高のスコアに対応する方向を補間方向として選択するためのコンピ
ュータプログラムコードを含む。

さらにもう一つ別の態様に従って、赤、緑、と青フォトサイトを含むカラーフィルタア
レイにおける欠けている色を補間するための装置が提供され、装置は、各赤と各青フォト
サイトに対してエッジ距離情報に基づいて補間方向を判定するための手段、と各赤と各青
フォトサイトに対してそのフォトサイトの判定された補間方向に緑色を補間するための手
段、と各緑フォトサイトに対して、赤と青色を補間するための手段、と各赤フォトサイト
に対して、そのフォトサイトの判定された補間方向に青色を補間するための手段、と各青
フォトサイトに対して、そのフォトサイトの判定された補間方向に赤色を補間するための
手段、を含む。

さらにもう一つさらなる別の態様に従って、赤、緑、と青フォトサイトを含むカラーフ
ィルタアレイにおける欠けている色を補間するためのコンピュータプログラムを実装する
コンピュータ可読媒体が提供され、前記コンピュータプログラムは、各赤と各青フォトサ
イトに対してエッジ距離情報に基づいて補間方向を判定するためのコンピュータプログラ
ムコード、と各赤と各青フォトサイトに対してそのフォトサイトの判定された補間方向に
緑色を補間するためのコンピュータプログラムコード、と各緑フォトサイトに対して、赤
と青色を補間するためのコンピュータプログラムコード、と各赤フォトサイトに対して、
そのフォトサイトの判定された補間方向に青色を補間するためのコンピュータプログラム
コード、と各青フォトサイトに対して、そのフォトサイトの判定された補間方向に赤色を
補間するためのコンピュータプログラムコード、を含む。

以下、本発明の実施形態を図面に基づいて説明する。

図１には、複数のフォトサイト５２を含むベイヤカラーフィルタアレイ（以降、ベイヤ
ＣＦＡという）５０および関連する凡例が示される。各フォトサイト５２は赤（Ｒ）、緑
（Ｇ）、青（Ｂ）色の内の一つを感知する。説明を容易にするために、赤色を感知するフ
ォトサイト５２を「赤」フォトサイトと呼ばれ、緑色を感知するフォトサイト５２を「緑
」フォトサイトと呼ばれ、そして青色を感知するフォトサイト５２を「青」フォトサイト
と呼ばれる。以下の説明を容易にするためにベイヤＣＦＡ５０の赤、緑、青のフォトサイ
ト５２をアルファニューメリックで表す。例えば、ベイヤＣＦＡ５０の左上隅のフォトサ
イト５２は青色を感知しＢ１としてラベル付けられている。そのすぐ右にあるフォトサイ
トは緑色を感知しＧ２としてラベル付けられている。Ｇ２フォトサイトの右にあるフォト
サイトは青色を感知しＢ３としてラベル付けられており、以降同様。ベイヤＣＦＡ５０の
次の行に、Ｇ１１、Ｒ１２、Ｇ１３、Ｒ１４、Ｇ１５などとしてラベル付けられている緑
と赤が交替しているフォトサイト５２がある。このラベルの付け方を使うことによって各
フォトサイト５２がユニークなフォトサイト番号で識別され、フォトサイト５２が感知す
る色を表す最初のＲ、Ｇ、とＢの色指定の内の一つで識別されることを理解すべきである
。

図２はキャプチャされたシーンの完全な色イメージを生じることを可能にするようにベ
イヤＣＦＡ５０をモザイク解除するための一般的な方法を示すフローチャートである。方
法中に、赤と青フォトサイトで補間する緑色は最初に決定される（ステップ１００）。次
に緑フォトサイトで補間する赤と青色が決定される（ステップ２００）。次にベイヤＣＦ
Ａ５０のモザイク解除を完成するために青フォトサイトで補間する赤色と赤フォトサイト
で補間する青色が決定される（ステップ３００）。次にモアレがモザイク解除されたベイ
ヤＣＦＡから解除される（ステップ４００）。一般的な方法は、本願の譲渡人に譲渡され
た引用することにより本書に組み込まれている、対応する「カラーフィルタアレイの欠け
ている色を補間するための方法と装置」と名称するＡｃｈｏｎｇｅｔａｌ．の２００７年
９月７日に手続きされた米国特許出願Ｎｏ．１１／８５２１４４号明細書（弁護士整理番
号ＥＥＴＰ０４１）の発明に開示している方法と非常に類似していることを理解すべきで
ある。

上に引例した同時係属出願Ａｃｈｏｎｇｅｔａｌ．に説明したように、フォトサイトに
近接しているローカルエッジを垂直、水平、と対角の方向の各々に検査し、最も強いロー
カルエッジを与える方向を補間方向として指定するよりも、この実施例において赤と青フ
ォトサイトの各々で欠けている緑色を補間する時に、赤と青フォトサイトの各々に対して
選択される補間方向はエッジが選択されたフォトサイトから離れている距離に基づいてあ
る。各赤フォトサイトと各青フォトサイトの判定された補間方向はそのフォトサイトでの
欠けている緑色を補間する時に使用される。各赤フォトサイトの補間方向はそのフォトサ
イトでの欠けている青色を補間する時にも使用され、各青フォトサイトの補間方向はその
フォトサイトでの欠けている赤色を補間する時にも使用される。補間方向の判定に関する
さらなる詳細は以下に説明する。

一般的に、赤と青フォトサイトの補間方向を判定する時に、赤または青フォトサイトが
最初に選択される。選択されたフォトサイトに隣接しているフォトサイトの異なるグルー
プが垂直、水平、と対角の方向の各々に選択され、その中に在る緑フォトサイトがエッジ
の存在を示す有意な輝度変化を検出するように検査される。この実施例において、フォト
サイトのグループの各々は複数のフォトサイトの線または糸を含み、つまり選択されたフ
ォトサイトを交差するフォトサイトの中央線およびその中央線の側に沿って走る隣接のフ
ォトサイトの線を含む。検索が各グループの線に沿って行なわれ、線の緑フォトサイトが
有意な輝度変化を検出するように検査される。例えば、ベイヤＣＦＡ５０の選択された青
フォトサイトＢ４５の補間方向を判定する時に、垂直、水平、と対角の方向に検索される
フォトサイトの異なるグループは図３〜図６および図７〜図１０に示されている。各検出
されたエッジが選択されたフォトサイトから離れている距離を表すスコアは生成されると
共に選択されたフォトサイトから最も遠く離れているエッジに関連づけられたスコアを検
出するように検査される。最も遠いエッジを示す検索方向が補間方向として指定される。

図１１と図１６は、有意な輝度変化がある選択された赤または青フォトサイトから離れ
ている距離を表す垂直、水平と対角の検索方向に対するスコアを生成するために実行され
るステップを示すフローチャートである。最初に、ステップ１１０で、赤または青フォト
サイトが選択される。水平右、水平左、垂直上、垂直下、対角右上、対角右下、対角左上
、と対角左下の検索方向の内の一つがついでに選択される（ステップ１１２）。次に、選
択された検索方向が水平または垂直であるかを判定するために検査が行なわれる（ステッ
プ１１３）。もし選択された検索方向は水平または垂直であれば、選択された検索方向に
関連づけられた中央線のフォトサイトのグループが選択される（ステップ１１４）。次に
、選択された検索方向の選択されたフォトサイトに隣接している緑フォトサイトが識別さ
れ「現在」の緑フォトサイトとしてとして指定される（ステップ１１６）。次に、選択さ
れた検索方向に対する関連性スコア［ｃｏｎｎｅｃｔｉｖｉｔｙ ｓｃｏｒｅ］が増分さ
れる（ステップ１２０）。例えば、図１２は、青フォトサイトＢ４５がステップ１１０で
選択されたことを前提にして、水平検索方向に関連づけられたフォトサイトのグループを
示す。この場合、ステップ１１６で、選択された青フォトサイトＢ４５に隣接している緑
フォトサイトＧ４６が識別され現在の緑フォトサイトとして指定される。

次に、現在の緑フォトサイトと中央線および側を沿って走っている線のその他のローカ
ル緑フォトサイトの平均輝度を計算することによって現在の緑フォトサイトに対してロー
カル平均輝度が計算される（ステップ１２２）。選択された青フォトサイトＢ４５に対し
て、ステップ１２２でローカル平均輝度を計算するために使用された現在の緑フォトサイ
トＧ４６とその他のローカル緑フォトサイトＧ３７，Ｇ３９，Ｇ５７，Ｇ５９は図１２に
太い枠線で示されている。現在の緑フォトサイトと側を沿って走っている線の近接対角緑
フォトサイトに対する相対的な輝度も計算される（ステップ１２４）。図１２の例におい
て、緑フォトサイトＧ３７，Ｇ５７はステップ１２４で識別される。相対的輝度の各々は
、ステップ１２２で計算された平均輝度を現在緑または近接対角緑フォトサイトの輝度か
ら引き算することによって計算される。次に、計算された相対的輝度が比較される（ステ
ップ１２６）。もしステップ１２６で、計算された相対的輝度が等しいと判定されるなら
ば、検索ウィンドウの境界が至れているかを判定するための検査が行なわれる（ステップ
１２８）。検索ウィンドウは精度とスピードの必要性に基づいて指定される。

もしステップ１２８で検索ウィンドウの境界が至られていないと判定されるならば、次
いでに選択された検索方向における中央線の次の緑フォトサイトが新しい「現在」のフォ
トサイトとして選択される（ステップ１３０）。上の例に従って、ステップ１３０で、図
１３で示すように緑フォトサイトＧ４８が新しい現在のフォトサイトとして選択される。
新しい現在の緑フォトサイトと中央線および側を沿って走っている線のその他のローカル
緑フォトサイトに基づいて新しい現在の緑フォトサイトに対して新しいローカル平均輝度
が計算される（ステップ１３２）。選択された青フォトサイトＢ４５に対して、ステップ
１３２でローカル平均輝度を計算するために使用された新しい現在の緑フォトサイトＧ４
８とその他のローカル緑フォトサイトＧ３９，Ｇｘ，Ｇ５９，Ｇｙは図１３に太い枠線で
示されている。次に新しい現在緑フォトサイトの相対的輝度が前回の現在緑フォトサイト
に対して計算された相対的輝度と比較される。もし相対的輝度が等しいならば、前回の現
在緑フォトサイトと新しい緑フォトサイトが関連されているとされ、選択された検索方向
の関連性スコアが増分される（ステップ１３６）。次にプロセスはステップ１２４に戻る
。

もしステップ１３４で新しい現在の緑フォトサイトと前回の現在の緑フォトサイトの相
対的輝度は等しくない、もしくはステップ１２８で検索ウィンドウの境界が至られている
、もしくはステップ１２６で計算された相対的輝度は等しくない場合に、選択された検索
方向に関連づけられたフォトサイトのグループの線のすべたが選択されているかどうかを
判定するために検査が行なわれる（ステップ１３８）。もしさもなければ、次の線が選択
され（ステップ１４０）、プロセスはステップ１１６に戻る。例えば、図１２に示された
フォトサイトのグループの上の線を検索する時に、緑フォトサイトＧ３５はステップ１１
６で現在の緑フォトサイトとして選択される。ステップ１２２でローカル平均輝度を計算
するために使用される現在の緑フォトサイトＧ３５とその他のローカル緑フォトサイトＧ
２６，Ｇ２８，Ｇ４６，Ｇ４８は図１４に太い枠線で示される。ステップ１３２でローカ
ル平均輝度を計算するために使用されるステップ１３０で選択された上の線の新しい現在
の緑フォトサイトＧ３７とその他のローカル緑フォトサイトＧ２８，Ｇ３０，Ｇ４８，Ｇ
５０は図１５に太い枠線で示される。ステップ１１６〜１３６までが選択された検索方向
に関連づけられたフォトサイトのグループの各線に対して行なわれることを理解すべき。
従って、選択された検索方向の関連性スコアは各線の検索を考量する。

ステップ１３８で、もしグループのフォトサイトの線のすべては検索されているならば
、水平右、水平左、垂直上、垂直下、対角右上、対角右下、対角左上、と対角左下の検索
方向の各々に検索が行なわれているかどうかを判定するための検査が行なわれる（ステッ
プ１４２）。もしさもなければ、次の選択されていない検索方向が選択され（ステップ１
４４）、プロセスはステップ１１３に戻る。

もしステップ１１３で、対角右上、対角右下、対角左上、と対角左下の検索方向の内の
一つが選択されていることが判定されるならば、次に選択された検索方向に延び選択され
たフォトサイトを交差するフォトサイトの対角の線の側に沿って走る緑フォトサイトの線
は識別される（図１６のステップ１５６）。選択されたフォトサイトに隣接している側に
沿って走る線に在る緑フォトサイトはついでに識別され「現在」の緑フォトサイトとして
指定される（ステップ１５８）。次に選択された検索方向の関連性スコアが増分される（
ステップ１６０）。また上の例に従って、選択された青フォトサイトＢ４５および選択さ
れた対角右上検索方向に対して、青フォトサイトＢ４５に対角的に隣接している緑フォト
サイトＧ３５，Ｇ４６はステップ１５８で現在の緑フォトサイトとして識別される（図９
Ａを参照）。

現在緑フォトサイトとローカル対角緑フォトサイトの輝度を平均することによって現在
緑フォトサイトに対してローカル平均輝度がついでに計算される（ステップ１６２）。選
択された青フォトサイトＢ４５に対して、ステップ１６２でローカル平均輝度を計算する
ために使用される現在の緑フォトサイトＧ３５，Ｇ４６およびローカル対角緑フォトサイ
トＧ２６，Ｇ３７は図１７に太い枠線で示される。次に、現在の緑フォトサイトの各々に
対して、共に対角ローカル緑フォトサイトに対して相対的輝度は、その輝度とローカル平
均輝度の間の差を判定することによって計算される。次に、各現在緑フォトサイトとその
隣接している対角ローカル緑フォトサイトの相対的輝度が比較される（ステップ１６４）
。

ステップ１６６で、もし比較された相対的輝度のどれでもが等しいと判定されるならば
、検索ウィンドウの境界が至られているかどうかを判定するために検査が行なわれる（ス
テップ１６８）。ステップ１６８でもし検索ウィンドウの境界が至られていないと判定さ
れるならば、線に在る対角ローカル緑フォトサイトは新しい現在緑フォトサイトとして指
定される（ステップ１７０）。従って上の例に場合には、ローカル緑フォトサイトＧ２６
，Ｇ３７は新しい現在緑フォトサイトとして指定される。新しい現在緑フォトサイトに対
して新しいローカル平均輝度は、新しい現在緑フォトサイトと対角ローカル緑フォトサイ
トの輝度を平均することによって計算される（ステップ１７２）。選択された青フォトサ
イトＢ４５に対して、ステップ１７２でローカル平均輝度を計算するために使用された新
しい現在の緑フォトサイトＧ２６，Ｇ３７および対角ローカル緑フォトサイトＧ１７，Ｇ
２８は図１８に示される。次に、新しい現在の緑フォトサイトに対する相対的輝度は上に
説明したと同様に計算される。もし新しい現在の緑フォトサイトの各々の相対的輝度はそ
の関連づけられた前回の現在の緑フォトサイトと等しいならば、新しい現在の緑フォトサ
イトと前回の現在の緑フォトサイトが関連されているとされ、選択された検索方向の関連
性スコアが増分される（ステップ１７６）。次にプロセスはステップ１６４に戻る。

もしステップ１７４で現在の緑フォトサイトと前回の現在の緑フォトサイトの相対的輝
度は等しくないならば、もしくはステップ１６８で検索ウィンドウの境界が至られている
ならば、もしくはステップ１６６で計算された相対的輝度のどれもは等しくないならば、
選択された検索方向に関連されたフォトサイトのグループの線のすべてが選択されている
かどうかを判定するために検査が行なわれる（ステップ１７８）。さもなけらば、次の線
が選択され（ステップ１８０）、プロセスはステップ１５８に戻る。例えば、図１７に示
されている対角右上検索方向に関連づけられたフォトサイトのグループの上の線の検索中
に、緑フォトサイトＧ２４，Ｇ３５はステップ１５６で現在の緑フォトサイトとして選択
される。現在の緑フォトサイトＧ２４，Ｇ３５およびステップ１６２でローカル平均輝度
を計算するために使用された対角ローカル緑フォトサイトＧ１５，Ｇ２６は図１９に太い
枠線で示される。ステップ１７０で選択された上の線の新しい現在の緑フォトサイトＧ１
５，Ｇ２６およびステップ１７２でローカル平均輝度を計算するために使用された対角ロ
ーカル緑フォトサイトＧ６，Ｇ１７は図２０に太い枠線で示される。ステップ１５８〜１
７６は選択された検索方向に関連づけられたフォトサイトのグループの線の各々に対して
行なわれることを理解すべきである。

ステップ１７８で、もしフォトサイトのグループの線のすべてが検索されているならば
、プロセスはステップ１４２に戻り、そこで水平右、水平左、垂直上、垂直下、対角右上
、対角右下、対角左上、と対角左下の検索方向の各々に検索が行なわれているかどうかを
判定するための検査が行なわれる。水平、垂直、と対角の方向の各々に対して関連性スコ
アを生成するために、上に説明して来た検索および関連性スコア判定プロセスがベイヤＣ
ＦＡ５０の各赤と各青フォトサイトに対して行なわれる。

もしステップ１４２で選択されたフォトサイトの各水平、垂直、と対角の検索方向が検
索されていると判定されるならば、その選択されたフォトサイトに対する検索が停止され
る。選択されたフォトサイトが検索方向に対して直角であるエッジ境界に位置づけられて
いない時のみに、選択されたフォトサイトの正反対側に在る検索方向（つまり、水平右・
水平左、垂直上・垂直下、対角右上・対角左下、対角左上・対角右下）に対して計算され
た関連性スコアが加算される（ステップ１４６）。このことは、組み合わせられるスコア
のそれぞれに正反対している検索方向において選択されたフォトサイトに隣接している緑
フォトサイトの大きさの両方はそのそれぞれのローカル輝度平均より以上または以下であ
るかどうかを確かめることによって判定される。必要があればステップ１４６で関連性ス
コアが加算されている後に、最も高い関連性スコアに関連づけられている検索方向が判定
され、選択されたフォトサイトの補間方向として指定される（ステップ１４８）。次に赤
と青フォトサイトのすべてが選択されているかどうかを判定するための検査が行なわれる
（ステップ１５０）。もしさもなければ、次の赤または青フォトサイトが選択され（ステ
ップ１５２）、プロセスはステップ１１２に戻る。このように、エッジ距離情報に基づい
て補間方向が各赤と青フォトサイトに対して生成される。

各赤と青フォトサイトに対して補間方向が判定されている後に、上の引用することによ
り本書に組み込まれているＡｃｈｏｎｇｅｔａｌ．の出願に説明したように、関連づけら
れた補間方向を使って各赤と青フォトサイトに対して補間する緑色が判定される。各緑フ
ォトサイトでの欠けている赤と青色、と各青フォトサイトでの欠けている赤色、と各赤フ
ォトサイトでの欠けている青色も、上の引用することにより本書に組み込まれているＡｃ
ｈｏｎｇｅｔａｌ．の出願に説明したように補間される。

上の引用することにより本書に組み込まれているＡｃｈｏｎｇｅｔａｌ．の出願に説明
したものと類似するエッジ検出器と複数の補間器を含む装置は、ベイヤＣＦＡからイメー
ジデータを受信し上に説明した方法に従ってそのイメージデータを処理する。エッジ検出
器と補間器は、デジラルカメラ、ビデオレコーダー、スキャナ等のようなイメージキャプ
チャ装置の処理ユニットで実装されても構わない。この場合において、処理ユニットは感
知されたイメージデータにエッジ検出と補間を行なうソフトウェアアプリケーションを実
行する。ソフトウェアアプリケーションは、ルーチン、プログラム、オブジェクト要素、
データ構造などを含むプログラムモジュールを含むことができ、コンピュータ可読媒体に
格納されたコンピュータ可読プログラムコードとして実装することもできる。コンピュー
タ可読媒体は、格納後に処理ユニットが読めるいずれのデータを格納できるデータストー
レジデバイスである。コンピュータ可読媒体の例は、例えば読み出し専用メモリ、ランダ
ムアクセスメモリ、ＣＤ−ＲＯＭ、磁気テープ、と光学式データストレージ装置を含む。

実施例が説明されてきたが、当業者ならば添付の特許請求が定義するその発明の範囲並
びに精神から逸脱しない限りにおいて、変形と変更ができることを理解するだろう。

ベイヤＣＦＡ５０の図。 ベイヤＣＦＡ５０をモザイク解除するための方法を示すフローチャート。 選択された青フォトサイトに対して有意な輝度変化を検出するために水平と垂直方向に検索されるフォトサイトの線を示す。 選択された青フォトサイトに対して有意な輝度変化を検出するために水平と垂直方向に検索されるフォトサイトの線を示す。 選択された青フォトサイトに対して有意な輝度変化を検出するために水平と垂直方向に検索されるフォトサイトの線を示す。 選択された青フォトサイトに対して有意な輝度変化を検出するために水平と垂直方向に検索されるフォトサイトの線を示す。 選択された青フォトサイトに対して有意な輝度変化を検出するために対角方向に検索されるフォトサイトの線を示す。 選択された青フォトサイトに対して有意な輝度変化を検出するために対角方向に検索されるフォトサイトの線を示す。 選択された青フォトサイトに対して有意な輝度変化を検出するために対角方向に検索されるフォトサイトの線を示す。 選択された青フォトサイトに対して有意な輝度変化を検出するために対角方向に検索されるフォトサイトの線を示す。 ある有意な輝度変化が選択された赤または青フォトサイトから離れている距離を表す垂直または水平方向に対するスコアを生成するために実行されるステップを示すフローチャート。 有意な輝度変化を検出するために進行的に検査される水平右方向に中央線に沿っている緑フォトサイトを示す図。 有意な輝度変化を検出するために進行的に検査される水平右方向に中央線に沿っている緑フォトサイトを示す図。 有意な輝度変化を検出するために進行的に検査される水平右方向に上の線に沿っている緑フォトサイトを示す図。 有意な輝度変化を検出するために進行的に検査される水平右方向に上の線に沿っている緑フォトサイトを示す図。 ある有意な輝度変化が選択された赤または青フォトサイトから離れている距離を表す対角検索方向に対するスコアを生成するために実行されるステップを示すフローチャート。 有意な輝度変化を検出するために進行的に検査される対角右上方向に中央線に沿っている緑フォトサイトを示す図。 有意な輝度変化を検出するために進行的に検査される対角右上方向に中央線に沿っている緑フォトサイトを示す図。 有意な輝度変化を検出するために進行的に検査される対角右上方向に上の線に沿っている緑フォトサイトを示す図。 有意な輝度変化を検出するために進行的に検査される対角右上方向に上の線に沿っている緑フォトサイトを示す図。

符号の説明

５０…カラーフィルタアレイ、５２…フォトサイト。

Claims (21)

1. 赤、緑および青フォトサイトを含むカラーフィルタアレイにおける欠けている色を生成
   するために使用する補間方向を判定するための方法であって、
   各赤と各青フォトサイトに対して、複数の方向の各々に隣接しているフォトサイトを検
   査すると共に各方向に対してある有意な輝度変化が前記フォトサイトから離れている距離
   を表すスコアを生成するステップと、
   それぞれの前記各赤と青フォトサイトの補間方向として最も高いスコアに対応する方向
   を選択するステップとを含むことを特徴とする補間方向の判定方法。
2. 前記検査中に、選択されたフォトサイトから前記方向の各々に延びて離れる緑フォトサ
   イトが検査されることを特徴とする請求項１に記載の補間方向の判定方法。
3. 前記検査中、前記方向の各々の複数のフォトサイトの線に沿っている緑フォトサイトが
   検査されることを特徴とする請求項２に記載の補間方向の判定方法。
4. 前記複数の方向は垂直上、垂直下、水平左、水平右、対角右上、対角右下、対角左上、
   と対角左下の方向を含むことを特徴とする請求項３に記載の補間方向の判定方法。
5. 各前記スコアは、前記検査された隣接する緑フォトサイトの相対的輝度に基づいている
   ことを特徴とする請求項４に記載の補間方向の判定方法。
6. 前記検査されたフォトサイトの線の各々のスコアが生成され、かつ前記各方向の線のス
   コアがその方向のスコアを与えるように加算されることを特徴とする請求項５に記載の補
   間方向の判定方法。
7. 前記各方向に対して、前記各フォトサイトの線に沿って行なわれる検査は、隣接する緑
   フォトサイトの前記有意な輝度変化を示す相対的な輝度が等しくないところまで外側方向
   に進むことを特徴とする請求項６に記載の補間方向の判定方法。
8. 前記各線に沿っている検査は、検査窓の境界に達した時点で停止されることを特徴とす
   る請求項７に記載の補間方向の判定方法。
9. 各赤と青フォトサイトに対して、正反対の方向の対に対して得られたスコアを組み合わ
   せるステップをさらに含むことを特徴とする請求項６に記載の補間方向の判定方法。
10. 赤、緑および青フォトサイトを含むカラーフィルタアレイにおける欠けている色を補間
    する色補間方法であって、
    エッジ距離情報に基づいて各赤と各青フォトサイトに対して補間方向を判定するステッ
    プと、
    各赤と各青フォトサイトに対して、前記フォトサイトの判定された補間方向に緑色を補
    間するステップと、
    各緑フォトサイトに対して、赤と青色を補間するステップと、
    各赤フォトサイトに対して、前記フォトサイトの判定された補間方向に青色を補間する
    ステップと、
    各青フォトサイトに対して、前記フォトサイトの判定された補間方向に赤色を補間する
    ステップを含むことを特徴とする色補間方法。
11. 前記各赤と各青フォトサイトの補間方向は、前記フォトサイトから最も遠く離れて検出
    されたエッジに沿っている方向に対応することを特徴とする請求項１０に記載の色補間方
    法。
12. 前記補間方向を判定するステップは、
    前記各赤と各青フォトサイトに対して、複数の方向の各々に隣接しているフォトサイト
    を検査するとともに、前記各方向に対してある有意な輝度変化がそのフォトサイトから離
    れている距離を表すスコアを生成するステップと、
    最も高いスコアに対応する方向をそれぞれの各赤と青フォトサイトの補間方向として選
    択するステップとを含むことを特徴とする請求項１１に記載の色補間方法。
13. 前記検査中、選択されたフォトサイトから前記方向の各々に延びて離れる緑フォトサイ
    トが検査されることを特徴とする請求項１２に記載の色補間方法。
14. 前記検索中、前記方向の各々の複数のフォトサイトの線に沿っている緑フォトサイトが
    検査されることを特徴とする請求項１３に記載の色補間方法。
15. 前記複数の方向は垂直上、垂直下、水平左、水平右、対角右上、対角右下、対角左上、
    と対角左下の方向を含むことを特徴とする請求項１４に記載の色補間方法。
16. 前記各スコアは、前記検査された隣接する緑フォトサイトの相対的輝度に基づいている
    ことを特徴とする請求項１５に記載の色補間方法。
17. 前記検査されたフォトサイトの線の各々のスコアが生成され、かつ前記各方向の線のス
    コアがその方向のスコアを与えるように加算されることを特徴とする請求項１６に記載の
    色補間方法。
18. 前記各方向に対して、前記各フォトサイトの線に沿って行なわれる検査は、隣接する緑
    フォトサイトの前記有意な輝度変化を示す相対的な輝度が等しくないところまで外側方向
    に進むことを特徴とする請求項１７に記載の色補間方法。
19. 前記各線に沿っている検査は、検査窓の境界に達した時点で停止されることを特徴とす
    る請求項１８に記載の色補間方法。
20. 各赤と青フォトサイトに対して、正反対の方向の対に対して得られたスコアを組み合わ
    せるステップをさらに含むことを特徴とする請求項１７に記載の色補間方法。
21. 赤、緑および青フォトサイトを含むカラーフィルタアレイにおける欠けている色を補間
    する色補間装置であって、
    エッジ距離情報に基づいて各赤と各青フォトサイトに対して補間方向を判定する手段と
    、
    各赤と各青フォトサイトに対してそのフォトサイトの判定された補間方向に緑色を補間
    する手段と、
    各緑フォトサイトに対して、赤と青色を補間する手段と、
    各赤フォトサイトに対して、前記フォトサイトの判定された補間方向に青色を補間する
    手段と、
    各青フォトサイトに対して、前記フォトサイトの判定された補間方向に赤色を補間する
    手段とを含むことを特徴とする色補間装置。

Images