JP5098054B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明はＲ，Ｇ，Ｂの３原色フィルタがモザイク状に配置された単板撮像素子にて撮像した画像信号を処理する技術に関する。

デジタルカメラ等に利用されている単板撮像系では、画素毎に異なる色フィルタを装着した単板撮像素子を用いており、素子からの出力画像においては、各画素につき一種類の色成分値しか得られない。その結果、カラーデジタル画像を生成するために、各画素で欠落している色成分値を補う補間処理が必要となる。補間処理を行なう際には、処理方法を工夫しないと最終的なカラー画像にぼけや偽色などの劣化が生じる。そのため、従来より種々の方法が提案されている。

図１は、特許文献１に記載されたエッジ検出に基づく従来例を示す説明図である。この従来例においては、図２( a )に示す色フィルタ配置を持つ単板Ｂａｙｅｒ配列撮像素子を対象としている。この撮像素子に対し、図２( a )に示すように注目画素であるＲ２２の周囲に十字状の近傍をとり、注目画素に対する水平方向と垂直方向のＧに対する補間値Ｇｈ、Ｇｖを式（１）に示されているように推定する。

次に、水平、垂直どちらの方向に段差が多いかを示す評価値ｄＨ、ｄＶを、式（２）と計算し、評価値が小さく、より平坦と判断された方向の補間値を用いる。

ここで、｜ｘ｜はｘの絶対値を表す。

また、特許文献２では単板撮像素子からの画像信号に対し、色信号毎の人の視覚感度を考慮し、色信号毎に異なる補間処理を適用する例が示されている。これは色信号Ｒ，Ｇ，Ｂに関して、Ｂ信号は相対的に視覚感度に対しての寄与度が低いため、Ｂ信号に対し、補間精度は低いが処理が単純な二アレストネイバー補間を適用することで処理速度を高め、Ｒ，Ｇ信号に対してはより高画質なバイキュービック補間を適用することで、画質を維持しつつ、全体として処理速度を向上させる方式が開示されている。
特開平８−２９８６６９号 特開２０００−１５１９８９号 Jean-Francois Aujol, Guy Gilboa, Tony Chan & Stanley Osher,Structure-Texture Image Decomposition--Modeling, Algorithms, and Parameter Selection, International Journal of Computer Vision, Volume 67, Issue 1 (April 2006) Pages: 111 - 136 Year of Publication: 2006 小松, 齋藤, "超解像手法を用いたデモザイキング方の提案" 2004IMPS, I-4.07, 2004

特許文献１においては、原画像信号から補間値を求めており、大域的なエッジ構造と、微細な振動成分を表すテクスチャ成分、あるいはノイズ成分が重畳されている領域においては、補間精度が低下してしまうという問題がある。また、評価値の算出に際しても同様の問題により、正確な評価値の算出が困難となる。

特許文献２においても、同様に各色信号に大域的なエッジ構造と、微細な振動成分を表すテクスチャ成分、あるいはノイズ成分が混合され、それらが重畳されている領域において補間精度が低下し、エッジ部の偽色やリンギングが発生するという問題がある。

本発明は、上記問題に鑑みてなされたもので、原画像信号から抽出した大域的なエッジ構造に対応する骨格成分、および微細な振動成分に対応するテクスチャ成分のそれぞれに最適な補間処理を施すことで、高精度な補間処理を可能とする撮像装置を提供することを目的とする。

本発明は、各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて一つ以上欠落している映像信号を処理する画像処理装置において、前記色信号に対し、骨格成分である第１成分および前記色信号と前記第１成分間の残差から得られる第２成分を含む複数の成分に分離する成分分離手段と、前記色信号の前記第１成分に対し、色信号が欠落している画素位置における前記第１成分を補間する第１の補間手段と、前記色信号の前記第２成分に対し、色信号が欠落している画素位置における前記第２成分を補間する第２の補間手段と、を備えることを特徴とするものである。

本発明によれば、第１成分と第２成分に分離し、成分別に各成分の特性を考慮した最適な補間処理を適用することにより、高品質な補間処理が可能となる。

以下、添付図面を参照しながら本発明の実施形態について説明する。

第１の実施形態
図１は本発明の第１の実施形態に係る撮像装置のシステム構成図であり、光学系１０１、固体撮像素子１０２、Ａ／Ｄ変換部１０３（以下、Ａ／Ｄ１０３）、成分分離部１０４、バッファ１０５、ノイズ推定部１０６、ノイズ低減部１０７、第１補間部１０８、エッジ方向判別部１０９、第２補間部１１０、信号処理部１１１、成分合成部１１２、出力部１１３、システムコントローラ１００からなる。

固体撮像素子１０２はＡ／Ｄ１０３を介して成分分離部１０４へ接続されている。成分分離部１０４はバッファ１０５へ接続されている。バッファ１０５は第１補間部１０８、ノイズ推定部１０６、ノイズ低減部１０７へ接続されている。ノイズ推定部１０６はノイズ低減部１０７へ接続されている。第１補間部１０８はエッジ方向判別部１０９、信号処理部１１１に接続されている。ノイズ低減部１０７、エッジ方向判別部１０９は第２補間部１１０へ接続されている。信号処理部１１１、第２補間部１１０は成分合成部１１２へ接続されている。成分合成部１１２は出力部１１３へ接続されている。各処理部はシステムコントローラ１００と双方向に接続され制御される。

図１において処理の流れを説明する。

固体撮像素子１０２はシステムコントローラ１００の制御に基づき、光学系１０１を通して固体撮像素子１０２面上に結像した光学像をアナログ画像信号として出力する。前記アナログ画像信号はＡ／Ｄ１０３へ転送される。

なお、本実施形態においては、固体撮像素子１０２は図２（ａ）に示すＢａｙｅｒ型原色フィルタを前面に配置した単板撮像素子を想定している（図２（ａ）は例として５×５画素領域を表記している）。ここで、Ｒｉｊ、Ｇｉｊ、Ｂｉｊはそれぞれ赤（Ｒ）、緑（Ｇ）、青（Ｂ）の画素を表し、ｉ、ｊ（ｉ,ｊ＝０,…,４）はそれぞれＸ方向、Ｙ方向の座標を表している。

Ｂａｙｅｒ型原色フィルタは２×２画素の画素配列（Ｒ００，Ｇ０１，Ｇ１０，Ｂ１１）を基本単位としており、緑（Ｇ）の色フィルタＧ０１，Ｇ１０が対角方向に２画素配置され、残りの対角方向の一方に赤（Ｒ）の色フィルタＲ００が一つ、他方に青（Ｂ）の色フィルタＢ１１が一つ、それぞれ配置されたものとなっている。

Ａ／Ｄ１０３は、アナログ信号をデジタル信号に変換する。デジタル信号である原画像信号Ｉは成分分離部１０４へ転送される。

成分分離部１０４では、原画像信号Ｉの色成分毎に第１成分Ｕと第２成分Ｖに分解する。第１成分Ｕは、平坦成分（緩やかに変化する成分）とエッジ成分を含む原画像信号Ｉの骨格成分（幾何学的画像構造）であり、第２成分Ｖは、テクスチャの様な細かい構造成分とノイズを含む、原画像信号Ｉに対する第１成分Ｕの残差成分である。

なお、ここでは、説明を簡単にするために、原画像信号Ｉを２成分に分離する場合について説明するが、３成分以上に分離することも可能である。画像の成分分離の方法には加算型分離と乗算型分離があり、その詳細については後述する。

分離された第１成分Ｕはバッファ１０５を介して第１補間部１０８、ノイズ推定部１０６へ転送され、第２成分Ｖはバッファ１０５を介してノイズ低減部１０７へ転送される。

第１補間部１０８では第１成分Ｕに対して、Total-Variationの最適化に基づくデモザイキング手法を適用する。これにより第１成分に含まれる大域的なエッジ構造に対し、エッジの先鋭度を高め、リンギング歪みを抑えた高精度な補間処理を行うことが可能となる。補間処理の詳細は後述する。補間後の第１成分Ｕはエッジ方向判別部１０９、信号処理部１１１に転送される。

エッジ方向判別部１０９では、第１成分Ｕに基づきエッジ方向を判別する。エッジ方向判別結果は第２補間部１１０に転送される。方向判別処理の詳細については後述する。

ノイズ推定部１０６では、図４に示す信号レベル−ノイズ分散モデル（以下、ノイズモデル）またはその近似データを参照して、画素毎に第１成分Ｕの信号レベルに対応する第２成分Ｖに含まれるノイズ量σを推定する。第１成分Ｕは原画像信号Ｉの大域的なエッジ構造に対応する骨格成分であるので、第１成分Ｕの信号レベルから得られるノイズ量σは、原画像信号Ｉに含まれていたノイズ量σにほぼ等しく、原画像信号Ｉに含まれるノイズ量σは第２成分Ｖに含まれるノイズ成分として分離される。すなわち第１成分Ｕの信号レベルに基づきノイズモデルを参照することで、第２成分Ｖに含まれるノイズ量を推定することが可能である。ノイズ量推定の詳細については後述する。推定したノイズ量σはノイズ低減部１０７へ転送される。

ノイズ低減部１０７では、バッファ１０５を介して第２成分Ｖを、ノイズ推定部１０６からノイズ量σを取得する。次に第２成分Ｖに対してノイズ量σに基づく軟判定閾値処理（以下、コアリング処理）を行うことでノイズ低減処理を行う。

ここで、コアリング処理とは、典型的には、入力信号が下限閾値、上限閾値により設定されたコアリング範囲以内に属する場合に、その信号値を一律ゼロとし、コアリング範囲を外れる場合には閾値だけ減算、または加算した信号値とするような処理をさしており、本実施形態においては下限閾値、上限閾値をノイズ量σにより制御することで、ノイズ量σに応じたノイズ低減処理を実現している。コアリング処理の詳細については後述する。ノイズ低減後の第２成分Ｖは第２補間部１１０へ転送される。

第２補間部１１０では、ノイズ低減部１０７からノイズ低減処理後の第２成分Ｖを、エッジ方向判別部１０９からエッジ方向を取得し、第２成分Ｖに対し、エッジ方向に基づく方向別補間処理を行う。補間処理の詳細は後述する。

補間処理後の第２成分Ｖは成分合成部１１２へ転送される。

信号処理部１１１では、補間処理後の第１成分Ｕに対してＷＢ補正、γ補正、色強調処理等の所定の信号処理を施した後、処理後の第１成分Ｕを成分合成部１１２へ転送する。

成分合成部１１２では、補間処理および所定の信号処理がなされた後の第１成分Ｕと補間処理後の第２成分Ｖを所定の比率、例えば１：１の比率で合成し、合成画像Ｉ’を得る。合成画像Ｉ’は出力部１１３にて、フラッシュメモリ等で構成される記憶メディアに記録される。

（成分分解部）
次に成分分離部１０４において行う原画像信号Ｉの成分分離の詳細について説明する。
原画像信号Ｉから第１成分Ｕを抽出するとき、その基準として、平坦成分（緩やかに変化する成分）やエッジ成分を含む原画像信号Ｉの骨格成分が保持されるような処理を用いる。画像分解の手法には、上記の通り、加算型分離と乗算型分離があり、以下各手法について順に説明する。

加算型分離
加算型分離では、原画像信号Ｉが式（３）で示すように、第１成分Ｕと第２成分Ｖの和として表される。

ここでは、まず、有界変動関数とノルムを用いた分解方法を説明する。

分解を行うために、非特許文献１に記載のＡ２ＢＣ変分モデル(Aujol-Aubert-Blanc-Feraud-Chambolle model)を用いる。最適解として求められる第１成分Ｕの性質としては、不連続境界によって区分された複数の“滑らかな輝度変化の小部分領域”から構成された有界変動関数空間ＢＶ(Bounded Variation Function Space)としてモデル化され、第１成分Ｕのエネルギーは式（４）のＴＶ(Total-Variation)ノルムＪ(Ｕ)で定義される。

一方、式（３）中の第２成分Ｖの関数空間は振動関数空間Gとモデル化される。振動関数空間Gは、振動母関数g1、g2によって式（５）のように表現された関数の空間であり、そのエネルギーは式（６）のGノルム‖Ｖ‖Gとして定義される。

原画像信号Ｉの分解問題は、エネルギー汎関数を最小化する式（７）の変分問題として定式化される。この変分問題は、ChambolleのProjection法によって解くことができる。

これにより原画像信号Ｉから分解される第２成分Ｖはノイズの影響を受けるが、第１成分Ｕはノイズの影響をほとんど受けず、エッジを鈍らせることなく骨格成分（幾何学的画像構造）が抽出される。

その他の加算型分離方法の例としては、メジアンフィルタ、モホロジフィルタ等による適応的平滑化を行うようにしてもよい。以下、有界変動関数によらない加算型分離の方法の例を示す。

例１：第１成分Ｕを原画像信号Ｉにメジアンフィルタ処理した結果とし、第２成分Ｖを原画像信号Ｉに対する第１成分Ｕの残差とする方法
例２：第１成分Ｕを原画像信号Ｉに多値モホロジフィルタを掛けた結果とし、第２成分Ｖを原画像信号Ｉに対する第１成分Ｕの残差とする方法
例３：第１成分Ｕを原画像信号ＩにBilateral Filterを施した結果とし、第２成分Ｖを原画像信号Ｉに対する第１成分Ｕの残差とする方法
乗算型分離
続いて乗算型分離の方法について説明する。乗算型分離では、原画像信号Ｉが第１成分Ｕと第２成分Ｖの積によって表されるが、原画像信号Ｉを対数変換した対数原画像信号をｆとすると、式（８）のように加算型分離問題に変換することができる。

ここでは、前述と同様に有界変動関数とノルムを用いた分解方法を説明する。乗算型分離問題は対数領域において加算型分離と同様にＡ２ＢＣ変分モデルを用いて解くことができる。以下では、乗算型分離を前提として、対数領域におけるＡ２ＢＣ変分モデルについて簡単に述べる。

式（８）中の対数第１成分Ｕの関数空間は、前述の加算型分離モデルの第１成分Ｕと同様に不連続境界によって区分された複数の“滑らかな輝度変化の小部分領域”から構成された有界変動関数空間ＢＶ(Bounded Variation Function Space)としてモデル化され、対数第１成分Ｕのエネルギーは式（９）のＴＶ(Total-Variation)ノルムJ(Ｕ)で定義される。

一方、式（８）の対数第２成分Ｖの関数空間は、振動関数空間Gとモデル化される。振動関数空間Gは、振動母関数g1、g2によって式（１０）のように表現された関数の空間であり、そのエネルギーは式（１１）のGノルム‖Ｖ‖Gとして定義される。

したがって、対数原画像信号fの分解問題は、エネルギー汎関数を最小化する式（１２）の変分問題として定式化される。

これにより原画像信号Ｉから分解される第２成分Ｖはノイズの影響を受けているが、第１成分Ｕはノイズの影響をほとんど受けず、エッジを鈍らせることなく骨格成分（幾何学的画像構造）が抽出される。

ここで、加算型分離、乗算型分離ともに、色信号毎に独立に処理され、Ｒ信号、Ｂ信号に関しては、横方向にＸ軸を、縦方向にＹ軸を設定し、Ｇ信号に関しては、斜め４５度方向にＸ軸を、斜め―４５度方向にＹ軸を設定している。

図２（ｂ）、（ｃ）は、図２（ａ）に示すＢａｙｅｒ配列の画像を成分分離した場合に生成される第１成分Ｕ、第２成分Ｖを示している。

ここで、Ｒｕｉｊ、Ｇｕｉｊ、Ｂｕｉｊ（ｉ,ｊ＝０,…,４）はそれぞれＲ、Ｇ、Ｂの第１成分を表し、Ｒｖｉｊ、Ｇｖｉｊ、Ｂｖｉｊ（ｉ,ｊ＝０,…,４）はそれぞれＲ、Ｇ、Ｂの第２成分を表している。

原画像信号Ｉ、第１成分Ｕ、第２成分Ｖのお互いに対応する位置における各画素値の関係は、加算型分離の場合Ｒｉｊ＝Ｒｕｉｊ＋Ｒｖｉｊであり、乗算型分離の場合Ｒｉｊ＝Ｒｕｉｊ×Ｒｖｉｊとなっている。

成分分離後の第１成分Ｕ、および第２成分Ｖはバッファ１０５へ転送される。

（第１補間部）
次に第１補間部１０８における第１成分Ｕの補間処理について説明する。

第１成分Ｕはエッジや線などに対応する不連続跳躍を含んだ有界変動関数として分離された成分であり、線形補間法を適用すると、過度にエッジがぼけたり、リンギング歪みが発生したりする。これらのアーティファクトの発生を抑えるために、非特許文献２に記載のＴＶ(Total-Variation)正則化を利用した超解像デモザイキング（以下、ＳＤ−ＴＶ）法を適用する。ＳＤ−ＴＶ法はTotal-Variation正則化を考慮することで、ナイキスト周波数以上の周波数成分についてもリンギング歪みの抑圧に有効な任意の成分が適宜付け加えることで有界変動関数を補間するため、ぼけた印象が少なくリンギング歪みの目立たないデモザイク画像が得られる。

ＳＤ−ＴＶ法は、式（１３）に示すエネルギー汎関数を最小化する変分問題として定式化され、これを最小化した状態における第１成分Ｕがデモザイキング結果となる。

ここでｗがデモザイキング結果として出力される復元画像を、uがデモザイキング前の初期画像として入力される観測画像を、ｓは復元画像ｗに対するぼけ/ホールド積分作用素をナイキスト周波数帯域内に帯域制限した線形作用素を表している。

第１項の積分は復元画像ｗのTotal-Variationノルムを表しており、これはリンギングの発生を評価したエネルギー量を意味する。

第２項は観測画像uに対する復元画像ｗの忠実度を、画像のぼけとサブ標本化とを考慮して評価したエネルギー項である。

式（１３）のエネルギー汎関数を復元画像ｗの各画素値に関して偏微分した値を零とすることで、Euler-Lagrange方程式が得られる。実際には、Euler-Lagrange方程式を、式（１４）の時間発展方程式の形式に書き直し、反復計算により復元画像ｗを求める。

以上の手法により、補間された第１成分Ｕはエッジ方向判別部１０９、信号処理部１１１へ転送される。

（ノイズ推定部）
次に、ノイズ推定部１０６におけるノイズ量の推定方法について説明する。

ノイズ推定部１０６では、第２成分Ｖに対する予め実測に基づき測定されたノイズモデルが記録され、ノイズモデルを参照することで、画素毎に第２成分Ｖの信号値に対するノイズ量σを推定する。

以下ノイズモデルについて説明する。

ノイズ量σは、Ａ／Ｄ１０３変換直後の信号レベルL₀に対して２次曲線的に増加する。これを特開２００５−１７５７１８公報に開示されているように信号レベル−ノイズ分散モデル（ノイズモデル）を２次関数で表すと、式（１５）が得られる。

ここで、α、β、γは定数項である。

しかしながら、ノイズ量σは信号レベルだけではなく、素子の温度やゲインによっても変化する。図４は、一例として、ある温度tにおけるゲインに関連する３種類のISO感度（ゲイン）100、200、400に対するノイズ量σをプロットしている。ゲインに関連するISO感度により異なる曲線を描く。ゲインをg、温度をtとし、上記を考慮した形でノイズモデルの定式化を行うと式（１６）と表すことができる。

ここで、α_gt、β_gt、γ_gtはゲインg、温度tに応じて決まる定数項である。カラー映像信号の場合、このノイズモデルは各色信号に対して独立に適用することができる。

ノイズ推定部１０６には上記ノイズモデルがあらかじめ記録されており、これを用いて信号レベルに基づくノイズ量σの推定を行う。信号レベルには骨格成分である第１成分Ｕの信号レベルを用いることで、高精度な推定を行うことが可能となる。ここで得られるノイズ量σは、原画像信号Ｉに含まれていたノイズ量σ、すなわち原画像信号Ｉから分離された第２成分Ｖに含まれるノイズ量σにほぼ等しい。ノイズ量σはノイズ低減部１０７に転送される。

なお、ここでは画素毎にノイズ量を推定しているが、注目画素を含む局所領域毎にノイズ量を推定するようにしてもよい。

（ノイズ低減部）
次に、ノイズ低減部１０７の動作の詳細について説明する。

ノイズ低減部１０７ではノイズ推定部１０６により推定したノイズ量に基づき、画素毎に第２成分Ｖに対してコアリング処理によるノイズ低減処理を行う。

まず、ノイズ推定部１０６で推定したノイズ量σから式（１７）により、コアリング上限幅Ｔ₁、下限幅Ｔ₂をノイズ量σに比例する値として設定する。

ここで、ｋは所定の係数、例えば０.５である。

次に、バッファ１０５から第２成分Ｖを取得し、コアリング処理、すなわち処理前の信号値Ａと、処理後の信号値Ｄの関係が式（１８）、および図５のグラフで表される信号処理を行うことで、ノイズの低減を行う。

ここで、Ｂは基準値であり、上限閾値Ｃ１はＢ＋Ｔ１（Ｔ１＞０）、下限閾値Ｃ２はＢ＋Ｔ２（Ｔ２＜０）としている。

図６（ａ），（ｂ）はコアリング処理が行われる様子を示しており、図６（ａ）に示す１次元の信号値Ａに対してコアリング処理を行うと、図６（ｂ）に示す信号値Ｄが得られる。

ここで、一般に基準値Ｂには信号値Ａの移動平均を用いるが、処理対象である第２成分Ｖは、原画像信号Ｉから骨格成分である第１成分Ｕを除いたものであるので、本実施形態においては基準値Ｂは０としている。

コアリング処理結果は第２補間部１１０へ転送される。

（エッジ方向判別部）
次に、エッジ方向判別部１０９の動作の詳細について説明する。

エッジ方向判別部１０９では、まず第１補間部１０８により補間された第１成分Ｕを取得した後、色信号毎に第１成分Ｕに対し、注目画素を中心とする所定サイズの矩形領域、例えば本実施形態では周囲５×５の画素ブロックを抽出する。なお、この領域のサイズは必要に応じて他のサイズにすることも可能である。続いて、抽出した画素ブロックに基づいて、方向別にエッジ方向を判定するための評価値を算出する。

図３は抽出した５×５の画素ブロックから方向を判別する様子を示した図である。

Ａ００〜Ａ４４は、所定の色信号について抽出した画素ブロック内の各画素を示し、中心画素Ａ２２が注目画素位置に相当する。本実施形態では判別するエッジの方向を図３に示す方向１〜４の４方向としている。方向数については必要に応じて８方向等に増やすことも可能である。方向判別においては、方向１から方向４までについて、どれが最もエッジに沿った方向であるかを決定するため、それぞれの方向について評価値を計算する。評価値としては様々な物が考えられるが、本実施形態においては、式（１９）の評価式に基づき算出した評価値Ｅ１〜Ｅ４を使用する。Ｅ１〜Ｅ４はそれぞれ方向１から方向４に対応した評価値である。

エッジが存在する場合はこの評価値が大きくなり、エッジが存在しない場合には小さくなる特徴を有する。

エッジ方向判別部１０９はＥ１からＥ４の中で最小値を検出し、それに対応する方向はエッジが存在しないと判断することで、その方向をエッジに沿った方向と判定する。

検出したエッジ方向は第２補間部１１０へ転送される。

（第２補間部）
次に、第２補間部１１０の動作の詳細について説明する。

第２補間部１１０では、ノイズ低減部１０７からノイズ低減がなされた第２成分Ｖを取得した後、第２成分Ｖに対し、注目画素を中心とする所定サイズの矩形領域、例えば本実施形態では周囲５×５の画素ブロックを抽出する。

図２（ｃ）は第２成分Ｖから抽出した５×５の画素ブロックを示した図である。Ｒｖｉｊ、Ｇｖｉｊ、Ｂｖｉｊはそれぞれ赤（Ｒ）、緑（Ｇ）、青（Ｂ）の第２成分Ｖの画素を表し、ｉ、ｊ（ｉ,ｊ＝０,…,４）はそれぞれＸ方向、Ｙ方向の座標を表している。まず、エッジ方向判別部１０９より注目画素の色信号に対応するエッジ方向を取得する。取得したエッジ方向に応じて、Ｇ信号の補間、すなわちＲ、またはＢの位置におけるＧ信号の生成を行う。

以下、図２（ｃ）の２２の位置における欠落したＧ信号Ｇｖ２２の生成過程を例として説明する。

取得したエッジ方向がＥ１である場合、水平方向にエッジが形成されていると判断されるため、式（２０）に示される水平方向の補間処理によりＧｖ２２を生成する。

取得したエッジ方向がＥ２である場合、垂直方向にエッジが形成されていると判断されるため、式（２１）に示される垂直方向の補間処理によりＧｖ２２を生成する。

取得したエッジ方向がＥ２、Ｅ４である場合、斜め４５°、または−４５°方向にエッジが形成されていると判断されるため、式（２２）に示される等方的な補間処理によりＧｖ２２を生成する。

以上の処理を欠落している全Ｇｖ画素に関して行う。

次に、上記の処理により全画素について画素値をもつＧ信号を生成した後、これを用いてＲ、Ｂ信号の欠落画素を補間処理により生成する。Ｒ、Ｂの補間は色差の線形補間により行う。

以下、図２（ｃ）の１２、２３、１３の位置における欠落したＲ信号Ｒｖ１２、Ｒｖ２３、Ｒｖ１３の生成過程を例として説明する。

Ｒｖ１２は式（２３）に示される垂直方向の補間処理により生成される。

Ｒｖ２３は式（２４）に示される水平方向の補間処理により生成される。

Ｒｖ１３は式（２５）に示される等方的な補間処理により生成される。

以上のように、色差信号（Ｒｖｉｊ−Ｇｖｉｊ）を線形補間することで、欠落した全Ｒｖ画素を生成する。

以上Ｒ信号の補間方法を示したが、欠落しているＢ信号の算出については上記のＲをＢに置き換えた同様の処理により求めることができる。補間処理後の第２成分Ｖは成分合成部１１２へ転送される。

続いて上記画像処理による作用効果について説明する。

上記画像処理によれば、第１成分Ｕと第２成分Ｖに分離し、成分別に各成分の特性を考慮した最適な補間処理を適用するようにしたことにより、高品質な補間処理が可能となる。

また、第２成分Ｖに対し、補間された第１成分Ｕの特徴（上記第１の実施形態では、先に補間された第１成分Ｕから判別されたエッジ方向）に応じた補間処理を行うようにしたことにより、先に補間された第１成分Ｕの特徴を考慮した補間処理を行うことができ、高品質な補間処理が可能となる。

また、第１成分Ｕの補間処理に際して、エッジ部のリンギングの発生をTotal-Variationにより簡潔に評価し、これを最適化するようにしたことにより、エッジ構造を維持した高精度な補間処理が可能となる。

また、補間後の第１成分Ｕと第２成分Ｖを合成することで、原画像信号Ｉに対し、成分毎の特徴に応じた最適な補間処理がなされた画像信号Ｉ’が得られる。

また、成分分離後の第２成分Ｖに対しノイズ低減を行うようにしたことにより、第１成分Ｕに含まれる大域的なエッジ構造に影響を与えない高精度なノイズ低減処理が可能となる。このとき、第２成分Ｖの局所領域毎に予めノイズ量を推定し、ノイズ量に基づくノイズ低減処理を行うようにしたので、第２成分Ｖの局所領域のノイズ付加の程度に応じた高精度なノイズ低減処理が可能となる。

なお、本実施形態における処理では、Ｂａｙｅｒ型原色フィルタにより撮像された画像信号を対象としているが、これに限定されるものではなく、所定のカラーフィルタ配列を用いて撮像された画像信号に対して適用することも可能である。

また、第１補間部１０８においてＳＤ−ＴＶ法を、第２補間部１１０においてエッジ方向を考慮した線形補間処理を適用しているが、これに限定されるものではなく、バイキュービック補間法やニアレストネイバー補間法等、各成分の特徴や処理時間等を考慮した上で、既存の種々の補間処理手法を組み合わせ適用する構成とすることも可能である。

また、第２補間部１１０において、第１成分Ｕの特徴を表すパラメータとしてエッジ方向を算出し、これを利用した補間処理を行っているが、パラメータ（として利用する特徴量）はこれに限定されるものではなく、例えば第２成分Ｖに対し、第１成分Ｕから抽出したエッジ強度や、コントラスト、ヒストグラムや、色信号間の相互相関係数等の種々のパラメータを算出し、これを用いた補間処理を行う構成とすることも可能である。反対に第２補間部１１０の処理を、第１成分Ｕの特徴とは無関係に独立に処理する構成とすることも可能である。

さらに、第１の実施形態では、成分分離部１０４から成分合成部１１２までの処理をハードウェア処理により実現することを前提としているが、これらの処理をソフトウェア処理により実現してもよい。

図７は、成分分離部１０４から成分合成部１１２までの処理をソフトウェア処理により実現する場合のフローを示している。ソフトウェアはコンピュータのＲＯＭ、ＲＡＭ等の記憶装置に格納され、コンピュータのＣＰＵによって実行される。

ステップＳ０１では、原画像信号Ｉを第１成分Ｕと第２成分Ｖに分解する。

ステップＳ０２では、第１成分Ｕに対してTotal-Variationに基づく補間処理を行う。

ステップＳ０３では、第１成分Ｕに基づきエッジ方向を示す評価値を算出した後、評価値に基づきエッジ方向を判定する。

ステップＳ０４では、第１成分Ｕの信号レベルに基づき第２成分Ｖに対するノイズ量σを推定する。

ステップＳ０５では、第２成分Ｖに対してＳ０４で推定したノイズ量σに基づくコアリング処理によるノイズ低減処理を行う。

ステップＳ０６では、ノイズ低減後の第２成分Ｖに対してＳ０３で判定したエッジ方向に基づき、補間処理を行う。

ステップＳ０７では、補間処理後の第１成分Ｕに対してＷＢ調整、γ補正、色強調処理等の所定の信号処理を施す。

ステップＳ０８では、補間処理後の第１成分Ｕと補間処理後の第２成分Ｖを合成し、合成画像Ｉ’を得る。

このように成分分離部１０４から成分合成部１１２までの処理をソフトウェア処理により実現してもよく、ハードウェア処理により実現する場合と同じ作用効果が奏される。

第２の実施形態
図８は本発明の第２の実施形態に係る撮像装置のシステム構成図である。

基本構成は第1の実施形態例と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。

本実施形態は、図１に示す第1の実施形態から、第１補間部１０８が第１補間部２０２に、第２補間部１１０が第２補間部２０１に置換された構成となっている。

ノイズ低減部１０７は第２補間部２０１に接続され、第２補間部２０１はエッジ方向判別部１０９、成分合成部１１２に接続されている。バッファ１０５、エッジ方向判別部１０９は第１補間部２０２に接続されている。第１補間部２０２は信号処理部１１１に接続されている。

第１の実施形態においては第１補間部１０８により補間された第１成分Ｕのエッジ方向に基づき、第２補間部１１０において第２成分Ｖの補間処理を行っていたが、第２の実施形態においては第２補間部２０１においてノイズ低減後の第２成分Ｖに対する補間処理を先に行い、補間処理後の第２成分Ｖから判定したエッジ方向に基づき、第１補間部２０２において第１成分の補間処理を行う点が異なる。

図８において処理の流れを説明する。

第１の実施形態と同様に、成分分離部１０４で分離された第１成分Ｕはバッファ１０５を介して第１補間部２０２、ノイズ推定部１０６に転送され、第２成分Ｖはバッファ１０５を介してノイズ低減部１０７へ転送される。ノイズ推定部１０６において推定されたノイズ量σに基づき、ノイズ低減部１０７において第２成分Ｖに対してノイズ低減処理が行われる。ノイズ低減後の第２成分Ｖは第２補間部２０１へ転送される。第２補間部２０１においては所定の補間処理がなされる。補間処理の詳細は後述する。補間後の第２成分Ｖはエッジ方向判別部１０９、成分合成部１１２に転送される。エッジ方向判別部１０９では、第２成分Ｖから第１の実施形態と同様の処理により、エッジ方向を判別し、これを第１補間部２０２へ転送する。ただし、第１の実施形態と異なり、第１成分Ｕに変えて、第２成分Ｖを入力して与え、第２成分Ｖに基づくエッジ方向の判別を行っている。

第１補間部２０２では、第１成分Ｕに対し、エッジ方向判別部１０９から転送されたエッジ方向に基づく補間処理を行った後、これを信号処理部１１１へ転送する。補間処理の詳細は後述する。

信号処理部１１１において、補間処理後の第１成分Ｕに対し所定の信号処理がなされた後、成分合成部１１２にて補間処理後の第２成分Ｖと合成され、出力部１１３にてフラッシュメモリ等で構成される記憶メディアに記録される。

（第２補間部）
次に、第２補間部２０１の動作の詳細について説明する。

第２補間部２０１では、ノイズ低減部１０７からノイズ低減がなされた第２成分Ｖを取得した後、第２成分Ｖに対し、注目画素を中心とする所定サイズの矩形領域、例えば本実施形態では周囲５×５の画素ブロックを抽出する。

図２（ｃ）は第２成分Ｖから抽出した５×５の画素ブロックを示した図である。

まず、Ｇ信号の補間、すなわちＲ、またはＢの位置におけるＧ信号の生成を行う。図２（ｃ）の２２の位置における欠落したＧ信号Ｇｖ２２の生成過程を例として説明すると、Ｇｖ２２は式（２２）に示される線形補間処理により生成する。同様の処理を欠落している全Ｇｖ画素に関して行う。

上記の処理により全画素について画素値をもつＧ信号を生成したら、次に、これを用いてＲ、Ｂ信号の欠落画素を補間処理により生成する。Ｒ、Ｂの補間は色差の線形補間により行う。

図２（ｃ）の１２、２３、１３の位置における欠落したＲ信号Ｒｖ１２、Ｒｖ２３、Ｒｖ１３の生成過程を例として説明すると、Ｒｖ１２は式（２３）に示される水平方向の補間処理により生成され、Ｒｖ２３は式（２４）に示される垂直方向の補間処理により生成され、Ｒｖ１３は式（２５）に示される等方的な補間処理により生成される。このように、色差信号（Ｒｉｊ−Ｇｖｉｊ）を線形補間することで、欠落した全Ｒｖ画素を生成する。

以上Ｒ信号の補間方法を示したが、欠落しているＢ信号の算出については上記のＲをＢに置き換えた同様の処理により求めることができる。補間処理後の第２成分Ｖはエッジ方向判別部１０９、成分合成部１１２へ転送される。

（第１補間部（方向別補間））
次に、第１補間部２０２の動作の詳細について説明する。

第１補間部２０２では、まず第１成分Ｕに対し、注目画素を中心とする所定サイズの矩形領域、例えば本実施形態では周囲５×５の画素ブロックを抽出する。

図９は第１成分Ｕから抽出した７×７の画素ブロックを示した図である。Ｒｕｉｊ、Ｇｕｉｊ、Ｂｕｉｊはそれぞれ赤（Ｒ）、緑（Ｇ）、青（Ｂ）の第１成分Ｕの画素を表している。

まず、エッジ方向判別部１０９より注目画素の色信号に対応するエッジ方向を取得する。取得したエッジ方向に応じて、Ｇ信号の補間、すなわちＲ、またはＢの位置におけるＧ信号の生成を行う。

以下、図９の３３の位置における欠落したＧ信号Ｇｕ３３の生成過程を例として説明する。

取得したエッジ方向がＥ１である場合、水平方向にエッジが形成されていると判断されるため、式（２６）に示される水平方向の補間処理によりＧｕ３３を生成する。

ここで、第２項、第３項においてＢ画素値の１次微分値を重みづけ加算することで、Ｂ信号のエッジ構造に応じた補正処理を行っている。補間重み係数ａｈ、ｂｈは式（２７）により決定される。

ｆ（ｘ）は式（２８）に示される関数であり、ΔＣａ、ΔＣｂは式（２９）で示される。

ここで、Ｔは所定の閾値である。

取得したエッジ方向がＥ２である場合、垂直方向にエッジが形成されていると判断されるため、
水平方向と同様の補間処理を行う。すなわち３３の位置における欠落したＧ信号Ｇｖ３３の生成において、式（２６）〜（２９）におけるＧｕ３０、Ｂｕ３１、Ｇｕ３２、Ｂｕ３３、Ｇｕ３４、Ｂｕ３５、Ｇｕ３６をそれぞれＧｕ０３、Ｂｕ１３、Ｇｕ２３、Ｂｕ３３、Ｇｕ４３、Ｂｕ５３、Ｇｕ６３に置換した式から求められる。

取得したエッジ方向がＥ２、Ｅ４である場合、斜め４５°、または−４５°方向にエッジが形成されていると判断されるため、式（３０）に示される等方的な補間処理によりＧｕ３３を生成する。

以上の処理を欠落している全Ｇｕ画素に関して行う。

次に、上記の処理により全画素について画素値をもつＧ信号を生成した後、これを用いてＲ、Ｂ信号の欠落画素を補間処理により生成する。Ｒ、Ｂの補間は色差の線形補間により行う。

以下、図９の２３、３４、２４の位置における欠落したＢ信号Ｂｕ２３、Ｂｕ３４、Ｂｕ２４の生成過程を例として説明する。

Ｂｕ２３は式（３１）に示される垂直方向の補間処理により生成される。

Ｂｕ３４は式（３２）に示される水平方向の補間処理により生成される。

Ｂｕ２４は式（３３）に示される等方的な補間処理により生成される。

以上のように、色差信号（Ｂｕｉｊ−Ｇｕｉｊ）を線形補間することで、欠落した全Ｂｕ画素を生成する。

以上Ｂ信号の補間方法を示したが、欠落しているＲ信号の算出については上記のＢをＲに置き換えた同様の処理により求めることができる。補間処理後の第２成分Ｖは信号処理部１１１へ転送される。

続いて上記画像処理による作用効果について説明する。

上記画像処理によれば、第１成分Ｕと第２成分Ｖに分離し、成分別に各成分の特性を考慮した最適な補間処理を適用するようにしたことにより、高品質な補間処理が可能となる。

また、第１成分Ｕに対し、補間された第２成分Ｖの特徴（上記第２の実施形態では、先に補間された第２成分Ｖから判別されたエッジ方向）に応じた補間処理を行うようにしたことにより、先に補間された第２成分Ｖの特徴を考慮した補間処理を行うことができ、高品質な補間処理が可能になる。

また、補間後の第１成分Ｕと第２成分Ｖを合成することで、原画像信号Ｉに対し、成分毎の特徴に応じた最適な補間処理がなされた画像信号Ｉ’が得られる。

また、成分分離後の第２成分Ｖに対しノイズ低減を行うようにしたことにより、第１成分Ｕに含まれる大域的なエッジ構造に影響を与えない高精度なノイズ低減処理が可能となる。このとき、第２成分Ｖの局所領域毎に予めノイズ量を推定し、ノイズ量に基づくノイズ低減処理を行うようにしたので、第２成分Ｖの局所領域のノイズ付加の程度に応じた高精度なノイズ低減処理が可能となる。

なお、第２の実施形態では、成分分離部１０４から成分合成部１１２までの処理をハードウェア処理により実現することを前提としているが、これらの処理をソフトウェア処理により実現してもよい。

図１０は、成分分離部１０４から成分合成部１１２までの処理をソフトウェア処理により実現する場合のフローを示している。ソフトウェアはコンピュータのＲＯＭ、ＲＡＭ等の記憶装置に格納され、コンピュータのＣＰＵによって実行される。

ステップＳ０１では、原画像信号Ｉを第１成分Ｕと第２成分Ｖに分解する。

ステップＳ０４では、第１成分Ｕの信号レベルに基づき第２成分Ｖに対するノイズ量σを推定する。

ステップＳ０５では、第２成分Ｖに対してＳ０４で推定したノイズ量σに基づくコアリング処理によるノイズ低減処理を行う。

ステップＳ０９では、ノイズ低減後の第２成分Ｖに対して補間処理を行う。

ステップＳ１０では、第２成分Ｖに基づきエッジ方向を示す評価値を算出した後、評価値に基づきエッジ方向を判定する。

ステップＳ１１では、第１成分Ｕに対してＳ１０で判定したエッジ方向に基づき、補間処理を行う。

ステップＳ０７では、補間処理後の第１成分Ｕに対してＷＢ調整、γ補正、色強調処理等の所定の信号処理を施す。

ステップＳ０８では、補間処理後の第１成分Ｕと補間処理後の第２成分Ｖを合成し、合成画像Ｉ’を得る。

このように成分分離部１０４から成分合成部１１２までの処理をソフトウェア処理により実現してもよく、ハードウェア処理により実現する場合と同じ作用効果が奏される。

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

第１の実施形態に係る撮像装置の構成図である。 Ｂａｙｅｒ配列に基づく画像データを示す図である。 方向判別方法を説明するための図である。 ノイズモデルを説明するための図である。 コアリング処理を説明するための図である。 コアリング処理が行われる様子を表す図である。 第１の実施形態における、成分分解部１０４から画像合成部１１２までの処理に対応するフローチャートである。 第２の実施形態に係る撮像装置の構成図である。 第１成分Ｕから抽出した７×７画素ブロックを示す図である。 第２の実施形態における、成分分解部１０４から画像合成部１１２までの処理に対応するフローチャートである。

符号の説明

１０４ 成分分離部（成分分離手段）
１０８、２０２ 第１補間部（第１の補間手段）
１１０、２０１ 第２補間部（第２の補間手段）

Claims (13)

1. 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて一つ以上欠落している映像信号を処理する画像処理装置において、
   前記色信号に対し、骨格成分である第１成分および前記色信号と前記第１成分間の残差から得られる第２成分を含む複数の成分に分離する成分分離手段と、
   前記色信号の前記第１成分に対し、色信号が欠落している画素位置における前記第１成分を補間する第１の補間手段と、
   前記色信号の前記第２成分に対し、色信号が欠落している画素位置における前記第２成分を補間する第２の補間手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記第２の補間手段は、前記第２成分に対し、前記第１の補間手段により補間された前記第１成分の特徴に応じた補間処理を行う、
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   補間後の前記第１成分からエッジ成分の方向を判別する方向判別手段を備え、
   前記第１成分の特徴が前記第１成分から判別された前記エッジ成分の方向であることを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記第１の補間手段は、前記第１成分に対し、前記第２の補間手段により補間された前記第２成分の特徴に応じた補間処理を行う、
   ことを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   補間後の前記第２成分からエッジ成分の方向を判別する方向判別手段を備え、
   前記第２成分の特徴が前記第２成分から判別された前記エッジ成分の方向であることを特徴とする画像処理装置。
6. 請求項１から５のいずれか１つに記載の画像処理装置において、
   前記第１の補間手段は、前記第１成分に対し、全変動エネルギー（Total-Variationノルム）を算出するエネルギー算出手段を備え、前記全変動エネルギーを最適化することにより前記第１成分に対する補間処理を行う、
   ことを特徴とする画像処理装置。
7. 請求項１から６のいずれか１つに記載の画像処理装置において、
   補間後の前記第１成分と、補間後の前記第２成分との合成を行う合成手段を備えることを特徴とする画像処理装置。
8. 請求項１から７のいずれか１つに記載の画像処理装置において、
   成分分離後の前記第２成分に対し、ノイズ低減処理を行うノイズ低減手段を備えることを特徴とする画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記ノイズ低減手段は、前記第２成分に対し、注目画素毎ないし注目画素を含む局所領域毎にノイズ量を推定するノイズ推定手段を備え、前記ノイズ量に基づくノイズ低減処理を行うことを特徴とする画像処理装置。
10. 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて一つ以上欠落している映像信号の処理をコンピュータに実行させるための画像処理プログラムにおいて、
    前記色信号に対し、骨格成分である第１成分および前記色信号と前記第１成分間の残差から得られる第２成分を含む複数の成分に分離する成分分離ステップと、
    前記色信号の前記第１成分に対し、色信号が欠落している画素位置における前記第１成分を補間する第１の補間ステップと、
    前記色信号の前記第２成分に対し、色信号が欠落している画素位置における前記第２成分を補間する第２の補間ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
11. 請求項１０に記載の画像処理プログラムにおいて、
    前記第２の補間ステップは、前記第２成分に対し、前記第１の補間ステップにより補間された前記第１成分の特徴に応じた補間処理を行う、
    ことを特徴とする画像処理プログラム。
12. 請求項１０に記載の画像処理プログラムにおいて、
    前記第１の補間ステップは、前記第１成分に対し、前記第２の補間ステップにより補間された前記第２成分の特徴に応じた補間処理を行う、
    ことを特徴とする画像処理プログラム。
13. 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて一つ以上欠落している映像信号を処理する画像処理方法において、
    前記色信号に対し、骨格成分である第１成分および前記色信号と前記第１成分間の残差から得られる第２成分を含む複数の成分に分離する成分分離ステップと、
    前記色信号の前記第１成分に対し、色信号が欠落している画素位置における前記第１成分を補間する第１の補間ステップと、
    前記色信号の前記第２成分に対し、色信号が欠落している画素位置における前記第２成分を補間する第２の補間ステップと、
    を含むことを特徴とする画像処理方法。

Images