JP2007037104A - 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】色コーディングされたＲＧＢ画像をより高い精度で色フィルタ配列補間を施して、より高い輝度解像度を得られるようにする。
【解決手段】水平及び垂直方向に配置した１組のバンドパスフィルタの出力から補間対象画素の周囲画素について第１の相関値を算出するとともに、垂直方向に対し±４５度だけずらして配置した１組のバンドパスフィルタの出力から周囲画素について第２の相関値を算出する。第１及び第２の相関値を相関線と比較して、補間対象を取り囲む全方向（３６０度）に渡って相関の方向を判定し、特定された方向に存在する周囲画素の情報を基に、補間画素Ｘの補間を行なう
【選択図】 図１０

Description

本発明は、所定の色コーディングのフィルタ（色フィルタ）を有する固体撮像装置の出力信号を処理する画像処理装置及び画像処理方法、これら画像処理装置又は画像処理方法を用いた撮像装置、並びにコンピュータ・プログラムに関する。

カメラは、視覚的な情報を記録する手段として長い歴史を持つ。最近では、フィルムや感光板を使って撮影する銀塩カメラに代わって、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｎｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で捕捉した画像をデジタル化するデジタルカメラが広範に普及している。

固体撮像素子を利用したイメージ・センサは、２次元に配列された各画素（フォトダイオード）が光電効果を利用して光を電荷に変換する仕組みにより構成される。通常、受光面にＲ（赤）、緑（Ｇ）、青（Ｂ）の３色からなる色フィルタを設け、入射光を人間の目で見える３原色に色分解する。そして、各画素では色フィルタを通した入射光量に対応して蓄積された信号電荷を読み取ることで、人間の目に見えるＲＧＢ画像信号を得ることができる。

さらに、ＲＧＢ画像信号をＹＵＶ画像信号に色空間変換して、表示出力や画像記録に使用される。ＹＵＶは、輝度信号Ｙと赤の色差Ｕ及び青の色差Ｖからなる２つの色度で色を表現するものであり、ＹＵＶ変換することで、輝度に対する解像度は高いが色に対する解像度が低いという人間の視感度特性を利用して、データ圧縮を行ない易くなる。例えば、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｔａｎｄａｒｄｓ Ｃｏｍｍｉｔｔｅｅ）規格では、以下の３式によりＲＧＢからＹＵＶへの色空間変換が施される。

Ｙ＝０．６Ｇ＋０．３Ｒ＋０．１Ｂ ……（１）
Ｃｒ（Ｒ−Ｙ）＝Ｒ−（０．３Ｒ＋０．６Ｇ＋０．１Ｂ） …（２）
Ｃｂ（Ｂ−Ｙ）＝Ｂ−（０．３Ｒ＋０．６Ｇ＋０．１Ｂ） …（３）

例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の原色フィルタを３個の固体撮像装置に対して同空間位相に配置することで高解像度なＲＧＢ信号を得て、高画質化を実現した３板式撮像装置が知られている。しかし、３板式撮像装置は、３個の固体撮像装置を用いて入射光をＲＧＢの色毎に分解するプリズムを用いる必要があるため、装置の小型化や低コスト化を図る上で難がある。

一方、１個の固体撮像装置にＲＧＢの色フィルタを画素単位で適当に配列することで、小型化・低コスト化を図った単板式撮像装置もある。この単板式撮像装置では、Ｒ、Ｇ、Ｂの各色フィルタを画素単位で間欠的に配列した色コーディングが施されている。色コーティングの代表的なものとして、従来から広く用いられているベイヤー配列が挙げられる（図２４を参照のこと）。

色コーディングすると、Ｒの色フィルタが配置された画素ではＧ及びＢの成分の情報が欠落し、Ｇの色フィルタが配置された画素ではＲ及びＢの成分の情報が欠落し、Ｂの色フィルタが配置された画素ではＧ及びＲの成分の情報が欠落することになる。後の信号処理で色空間変換を行なう際、各画素においてＲＧＢすべての信号が必要である。何故ならば、空間的に位相が異なるＲＧＢ信号から上式（１）〜（２）を用いて輝度信号Ｙや色差信号Ｃｒ、Ｃｂを生成すると、色偽信号を作る原因となるからである。このため、色フィルタ配列補間により各画素で失われた色信号を復元して、同じ空間位相のＲＧＢ信号を作った上で（図２５を参照のこと）、色空間変換を行なう必要がある。このような補間技術は「デモザイク」と呼ばれる。

ＲＧＢ信号の補間精度は色コーディングに依存するから、色コーディングに応じて固体撮像装置の特性が異なることになる。図２４に示したベイヤー配列は、奇数行目にＲの色フィルタとＧの色フィルタとを交互に配列し、偶数行目にＧの色フィルタとＢの色フィルタを交互に配列している。ベイヤー配列では、ＲＢの各色フィルタに対してＧの色フィルタを多く配列した構成を採っているので、ＲＢよりもＧをより高い精度で補間することができる。

上式（１）から明らかなように、Ｇは輝度信号を作る上で主成分であり、輝度信号の解像度はＧの解像度に大きく依存する。画像信号の解像度は画素のサンプリングレート１／ｆｓに比例するが（ｆｓは画素のサンプリング周波数）、ベイヤー配列によれば、Ｇの色フィルタ配列補間の精度を向上させることで、ＲＢの解像度よりもＧの解像度が高いという特性を得ることができる。人間は輝度に対しての解像度が高く、色に対する解像度が低いという視感度特性を持つので、ベイヤー配列は人間の視感特性をうまく利用した色コーディングと言える。

また、補間技術によって、空間的に位相が異なるＲＧＢ信号から同空間位相のＲＧＢ信号を如何に最適に作ることができるかが重要である。画像信号の補間処理が最適でないと、高解像度の画像が得られなかったり、あるいは、偽色信号が発生したりする原因となる。

例えば、ベイヤー配列で色コーディングされたＲＧＢ画像信号の補間処理を行なう際に、補間すべき画素の近傍８画素、すなわち注目画素の上、下、右、左、右上、右下、左上、左下の計８画素の変化量を算出し、この算出した変化量に重み付けをして相関値を算出するとともに、この算出した相関値を基にして補間係数を決定し、補間データに対して補間係数をそれぞれ掛け合わせた後で加算する画像処理装置について提案がなされている（例えば、特許文献１を参照のこと）。

この画像処理装置によれば、補間係数に基づいて上記４つの画素情報を基に補間処理を行なうことにより、相関値の算出方向に対して直交していない方向のエッジに対しても良好に相関の度合いを判定できることから、補間処理後の斜めエッジがぼやけることなく良好に再現できるとともに、折れ曲がった線や、直角に曲がった角の部分などにおいても良好に補間することが可能となる。

ところで、ベイヤー配列においては、色フィルタの配列から決定されるＧの解像度とＲＢの解像度の限界解像度は斜め４５度方向で同じである。Ｇは輝度信号を作る上での主成分であって輝度解像度に大きく依存し、ＲＢは色差信号の解像度に大きく依存するために、Ｇの解像度を上げることが高解像度な画像を生成するポイントとなる。また、人間の目は、輝度に関しては高い周波数まで認識できるが、色に関しては高い周波数を認識することが困難であるいう性質があることから、ベイヤー配列は色解像度と輝度解像度のバランスが人間の視感度特性と十分にはマッチングしていないと資料される。

かかる点に鑑み、本出願人は、輝度成分を作る上で主成分となるＧ成分を、他のＲＢ成分の各々の周囲を囲むように配置し、ベイヤー配列に対してＲＢの画素数を１／２にする代わりにＧを増やすことで、色解像度を若干犠牲にするが輝度解像度を約２倍に上げた色コーディングについて提案している（例えば、特願２００５−１０７０３７号明細書を参照のこと）。このような色コーディングの方が、ベイヤー配列の色コーディングよりも人間の視感度特性にマッチするが、ベイヤー配列の色コーディングの場合よりも高い解像度を出すべく、より高度な補間処理が必要になる。

特開平１１−１７７９９４号公報

本発明の目的は、色コーディングされたＲＧＢ画像をより高い精度で色フィルタ配列補間を施して、より高い輝度解像度を得られるようにした、優れた画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラムを提供することにある。

本発明は、上記課題を参酌してなされたものであり、その第１の側面は、色コーディング用の色フィルタを有する撮像手段により撮像された画像を処理する画像処理装置において、
画像信号を入力する手段と、
前記画像信号について、画素間の相関度合いを示す、少なくとも第１の相関値及び第２の相関値を算出する相関値算出手段と、
前記第１の相関値と前記第２の相関値とに基づいて、所望の画素を補間する際に使用する他の画素を特定する補間用画素特定手段と、
前記補間用画素特定手段により特定された画素から前記所望の画素を補間する補間手段と、
を具備することを特徴とする画像処理装置である。

本発明に係る画像処理装置は、例えば、各画素が水平方向及び垂直方向で等間隔となるように正方格子状に配列された画素配列に対して、輝度成分を算出する際に主成分となる色成分が、他の色成分のそれぞれの周囲を囲むように配置した色フィルタを用いた色コーディングが施された画像信号に対して、色フィルタ配列補間を行なうものである。あるいは、色コーディング用の色フィルタ上には、各画素が１行毎及び１列毎に画素ピッチの１／２ずつずれた斜め画素配列に対して、輝度成分を算出する際に主成分となる色成分が、他の色成分のそれぞれの周囲を囲むように配置されている。

このような色コーディングは、ベイヤー配列に対してＲＢの画素数を１／２にする代わりにＧを増やすことにより、理論的なＧの限界解像度が上がる。したがって、Ｇの高精度に補間処理することによってＧの解像度が限界解像度付近まで向上するので、色解像度を若干犠牲にするものの、輝度解像度を約２倍に向上させることができる。

相関値算出手段は、補間対象となる（すなわち輝度信号の主成分となるＧが欠落した）空間位置の画素においてＧを補間する際、その画素を取り囲む周囲の画像信号について、画素間でＧの相関の強さを示す相関値を少なくとも２以上の方向で算出する。

画素間の相関値は、画像の水平方向と垂直方向といった具合に、直交する２方向で画像信号をフィルタリングし、そのフィルタ出力から１つの方向特性において相関値を算出することができる。ここで言うフィルタは、好ましくはＤＣ成分を除去するバンドパスフィルタであり、微分フィルタを始めとするハイパスフィルタを使用することができる。

水平方向のバンドバスフィルタ出力をＢＰＦ（Ｈ）、垂直方向のバンドパスフィルタ出力をＢＰＦ（Ｖ）とおくと、水平垂直方向ＨＶの相関値Ｓ（ＨＶ）はＢＰＦ（Ｈ）／｛ＢＰＦ（Ｈ）＋ＢＰＦ（Ｖ）｝で表される。そして、Ｓ（ＨＶ）は０〜１の値をとるが、１に近づくと水平方向に画像信号のうねりがあり、垂直方向において画素間の相関が高いことを表すから、所望画素を取り囲む周囲画素のうち垂直方向に位置する画素を補間用の画素として特定することが好ましい。逆にＳ（ＨＶ）が０に近づくと、垂直方向に画像信号のうねりがあり、水平方向において画素間の相関が高いことを表すから所望画素の水平方向に位置する画素を補間用の画素として特定することが好ましい。

相関値算出手段は、水平垂直方向の相関値Ｓ（ＨＶ）を第１の相関値として算出することができる。但し、単一の方向特性で算出した相関値のみを使用する場合、相関値Ｓ（ＨＶ）が０．５付近の値となるときには、垂直軸に対し＋４５度の方向で画素間の相関が高いのか、あるいは−４５度の方向で画素間の相関が高いのかが不明となり、補間用の画素を特定することができなくなる。

そこで、相関値算出手段は、さらに第１の相関値とは異なる方向特性において第２の相関値を求め、第１の相関値が中間的な値となるときを補い、補間用画素特定手段において画素を補間する方向を特定する分解能を向上させるようにした。

相関値算出手段は、第１の相関値を算出する際に用いる１組の直交するフィルタとは方向特性の異なる他のもう１組の直交するフィルタを配設して、これらのフィルタ出力に基づいて第２の相関値を算出する。

上述したように第１の相関値として水平垂直方向ＨＶの相関値Ｓ（ＨＶ）を算出する場合、第２の相関値として、非水平方向ＮＨのバンドパスフィルタ出力ＢＰＦ（ＮＨ）と、ＢＰＦ（ＨＮ）とは直交する非水平方向ＮＨのバンドパスフィルタ出力ＢＰＦ（ＮＨ）を基に算出される非水平非垂直方向ＮＨ／ＮＶの相関値Ｓ（ＮＨ／ＮＶ）を用いることができる。Ｓ（ＮＨ／ＮＶ）は、ＢＰＦ（ＮＨ）／｛ＢＰＦ（ＮＨ）＋ＢＰＦ（ＮＶ）｝で表される。

垂直方向Ｈに対してそれぞれ±４５度だけ回転させた方向を非水平方向ＮＨ、非垂直方向ＮＶとして、直交するＮＨ及びＮＶ方向にそれぞれ配置したバンドパスフィルタの出力から第２の相関値を求める場合、第１の相関値と第２の相関値は一方が０．５付近の相関値であるときに他方の相関値で補い合うことができ、補間方向を特定するための分解能が最大限となる。

すなわち、本発明に係る画像処理装置によれば、補間用画素特定手段は、相関値算出手段により求めた複数の相関値を比較することによって相関の方向を全方向（３６０度）に渡って判定することが可能であり、補間すべき方向をより細かい粒度で特定することができる。そして、補間手段は、その特定された方向に存在する画素の周辺画素の情報を基に、補間対象となる画素に対して補間処理を行なうようにすればよい。

また、本発明の第２の側面は、色コーディング用の色フィルタを有する撮像手段により撮像された画像を処理する画像処理装置において、
画像信号を入力する手段と、
前記画像信号について、画素間の相関度合いを示す、少なくとも第１の相関値及び第２の相関値を算出する相関値算出手段と、
前記相関値算出手段により算出した各相関値に関する信頼度を算出する信頼度算出手段と、
前記信頼度に応じた補間処理で所望の画素を補間する補間手段と、
を具備することを特徴とする画像処理装置である。

本発明の第１の側面によれば、補間対象となる画素の周囲画素に関して、方向特性の異なる２以上の相関値を求め、これら複数の相関値を比較することによって相関の方向を全方向（３６０度）に渡って判定して、補間すべき方向をより細かい粒度で特定することができる。しかしながら、このような補間する方向の特定方法は、各方向特性において求めた相関値が信頼できるものであることが前提となる。

そこで、本発明の第２の側面に係る画像処理装置では、前記第１の相関値と前記第２の相関値に関する信頼度を算出し、信頼度に応じた補間処理方法を用いて所望の画素信号を補間するように構成した。例えば、前記相関値算出手段により算出された各相関値の和に基づいて信頼度を算出することができる。

ここで、算出した相関値が信頼性のある場合には、本発明の第１の側面に係る画像処理装置と同様に、求めた複数の相関値を相関線と比較することによって相関の方向を全方向（３６０度）に渡って判定することにより、補間すべき方向を決定して、より精度の高い画素補間を行なう。この結果、精度の高いＧ信号を基に、解像度の高い輝度信号を得ることができる。

他方、算出した相関値が信頼性に欠けるときには、補間する対象となる画素の周辺画素の情報の平均値を用いて補間を行なう。この場合、補間される画素の精度は抑えられ、解像度の高い輝度信号を得ることはできない反面、平均化処理によりＳＮを向上することができる。

また、本発明の第３の側面は、色コーディング用の色フィルタを有する撮像手段により撮像された画像に対する処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムにおいて、前記コンピュータに対し、
前記撮像手段による画像信号について、画素間の相関度合いを示す、少なくとも第１の相関値及び第２の相関値を算出する相関値算出手順と、
前記第１の相関値と前記第２の相関値とに基づいて、所望の画素を補間する際に使用する他の画素を特定する補間用画素特定手順と、
前記補間用画素特定手順を実行して特定された画素から前記所望の画素を補間する補間手順と、
を実行させることを特徴とするコンピュータ・プログラムである。

また、本発明の第４の側面は、色コーディング用の色フィルタを有する撮像手段により撮像された画像に対する処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムにおいて、前記コンピュータに対し、
前記撮像手段による画像信号について、画素間の相関度合いを示す、少なくとも第１の相関値及び第２の相関値を算出する相関値算出手順と、
前記相関値算出手順を実行して算出された各相関値に関する信頼度を算出する信頼度算出手順と、
前記信頼度に応じた補間処理で所望の画素を補間する補間手順と、
を実行させることを特徴とするコンピュータ・プログラムである。

本発明の第３及び第４の各側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第３及び第４の各側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１及び第２の各側面に係る画像処理装置と同様の作用効果をそれぞれ得ることができる。

本発明によれば、色コーディングされたＲＧＢ画像をより高い精度で色フィルタ配列補間を施して、より高い輝度解像度を得られるようにした、優れた画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラムを提供することができる。

本発明によれば、とりわけ、各画素が水平方向及び垂直方向で等間隔となるように正方格子状に配列された画素配列において、輝度成分を算出する際に主成分となる色成分が、他の色成分のそれぞれの周囲を囲むように配置した色フィルタを用いた色コーディングが施された画像信号に対し、輝度成分を算出する主成分の色フィルタ配列補間を高精度に行なうことができる。

また、本発明に係る画像処理装置は、補間対象となる画素に対して相関の方向を全方向（３６０度）について判定できることから、その判定した方向を基に適切な補間処理を行なうことができる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

以下、図面を参照しながら本発明の実施形態について詳解する。

図１には、本発明に係る画像処理装置又は画像処理方法を用いた撮像装置の構成の一例を示している。

ここで言う撮像装置、撮像デバイスとしての固体撮像装置、当該固体撮像装置の撮像面（受光面）上に被写体の像光を結像させる光学系及び当該固体撮像装置の信号処理回路を含むカメラモジュール、当該カメラモジュールを搭載したデジタルスチルカメラやビデオカメラなどのカメラ装置、携帯電話などの電子機器を含むものとする。

図１において、被写体（図示せず）からの像光は、光学系、例えば撮像レンズ１１によって撮像デバイス１２の撮像面上に結像される。撮像デバイス１２として、光電変換素子を含む画素が行列状に多数２次元配置され、輝度成分を作る上で主成分となる色成分と他の色成分を含む色フィルタが画素の表面上に配置されてなる固体撮像装置が用いられる。

色フィルタを有する固体撮像装置としては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）に代表される電荷転送型固体撮像装置や、ＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：金属酸化型半導体）に代表されるＸ−Ｙアドレス型固体撮像装置などのうちいずれであってもよい。

また、以下では、色フィルタにおいて、輝度（Ｙ）成分を作る上で主成分となる色成分として例えば緑色（Ｇ）を、他の色成分として例えば赤色（Ｒ）、青色（Ｂ）をそれぞれ例に挙げて説明する。但し、本発明の要旨はこれらの色成分の組み合わせに限られるものではなく、Ｙ成分を作る上で主成分となる色成分として、例えばホワイト、シアン、イエローなどを用い、他の色成分として、例えばマゼンタ、シアン、イエローなどを用いることも可能である。

撮像デバイス１２では、入射する像光のうち、各色成分の光のみが色フィルタを通過して各画素に入射する。画素の各々に入射した光は、フォトダイオードなどの光電変換素子によって光電変換される。そして、各画素からアナログ画像信号として読み出され、Ａ／Ｄ変換器１３でデジタル画像信号に変換された後、本発明に係る画像処理装置であるカメラ信号処理回路１４に入力される。

カメラ信号処理回路１４は、光学系補正回路２１、ＷＢ（ホワイトバランス）回路２２、補間処理回路２３、ガンマ補正回路２４、Ｙ（輝度）信号処理回路２５、Ｃ（クロマ）信号処理回路２６、帯域制限ＬＰＦ（ローパスフィルタ）２７、間引き処理回路２８などで構成される。

光学系補正回路２１は、カメラ信号処理回路１４に入力されるデジタル画像信号に対して黒レベルを合わせるデジタルクランプ、撮像デバイス１２の欠陥を補正する欠陥補正、撮像レンズ１１の周辺光量落ちを補正するシェーディング補正など、撮像デバイス１２や光学系の補正を行なう。

ＷＢ回路２２は、光学系補正回路２１を経た画像信号に対して、ホワイトバランスを調整する処理を施して、白い被写体に対してＲＧＢが同じになるようにする。補間処理回路２３は、空間位相の異なる画素を補間によって作り出す、すなわちそれぞれ空間的に位相がずれたＲＧＢ信号から３枚のプレーン（同じ空間位置のＲＧＢ信号）を作り出す。この補間処理回路２３における具体的な補間処理が本発明の特徴とするところであるが、その詳細については後述に譲る。

ガンマ補正回路２４は、同じ空間位置のＲＧＢ信号に対してガンマ補正を掛けた後、Ｙ信号処理回路２５及びＣ信号処理回路２６に供給する。ガンマ補正は、被写体の色の階調を正しく表現するために、撮像デバイス１２及び後段の映像再生手段などを含むシステム全体の光電変換特性を１とするように、ＷＢ回路２２から出力されるＲ、Ｇ、Ｂの色信号に対してそれぞれ所定のゲインを掛ける処理である。

Ｙ信号処理回路２５は上式（１）から輝度（Ｙ）信号を作り、また、Ｃ信号処理回路２６は上式（２）及び（３）から色差信号Ｃｒ（Ｒ−Ｙ）、Ｃｂ（Ｂ−Ｙ）を作る。

帯域制限ＬＰＦ２７は、カットオフ周波数がサンプリング周波数ｆｓの１／８のフィルタであり、色差信号Ｃｒ及びＣｂに関して通過帯域を（１／２）ｆｓから（１／８）ｆｓまで落とす。これはＴＶ信号フォーマットに合わせた出力であり、帯域制限を行なわないで出力した場合には、１／８ｆｓ以上の周波数信号が偽色信号として出力されてしまう。間引き処理回路２８は、色差信号Ｃｒ、Ｃｂのサンプリングの間引きを行なう。

ここで、ポイントとなるのは、色（Ｃ）信号（色差信号Ｃｒ、Ｃｂ）は、輝度（Ｙ）信号に対して１／４以下の帯域しか必要ないことである。その理由は、人間の目の特性として、輝度に関しては高い周波数まで認識することができるが、色に関しては高い周波数を認識することが困難であるという性質があるからであり（前述）、ＴＶ信号のフォーマットもそのように取り決められている。

実際に、Ｙ：Ｃｒ：Ｃｂ＝４：４：４（ＹとＣの出力帯域が一緒）の場合と、Ｙ：Ｃｒ：Ｃｂ＝４：１：１の場合の差分を出力画で観察したとき、特殊な被写体、例えば赤色、青色の点光源以外の通常の被写体ではその差を識別することは難しい。すなわち、ＴＶ信号フォーマットで定められているように、Ｃ信号はＹ信号の１／４の帯域を持つことで十分な解像度が得られることが分かる。

ここで、本発明の特徴部分である補間処理回路２３での補間処理について説明する。

補間処理は、先述したように、色フィルタが間欠的に配列されているために画素に欠けている色成分の信号を、その周囲の画素すなわち空間位相の異なる画素の信号を用いた補間によって作り出すという色フィルタ配列補間であり、デモザイクとも呼ばれる。この補間処理は、解像度の高い画像を得るためには非常に重要な処理となる。何故ならば、補間処理によってうまく補間できない場合には、偽信号を生成して、解像度の低下や色偽の発生の原因となってしまうからである。また、輝度信号の主成分となるＧ成分を高い精度で補間できなければ、輝度信号の解像度低下を招来する。

高い解像度を出すための補間処理として、従来から、相関処理を用いた補間処理が行なわれている。ここで言う「相関処理」とは、補間対象となる画素について相関が高い方向の画素の情報を用いて補間する処理のことである。

例えば、図３に示すような解像度チャートからなる入力画像を例にとって、画素の補間処理について考えてみる。解像度チャートは、中心部分が低周波の信号であり、中心からの距離が大きくなるにつれて高周波の信号となるチャートである。解像度チャートは、同じ周波数の信号でもさまざまな方向を持っており、解像度チャートの信号を信号処理回路に入力することで、さまざまな信号に対してどのような処理が適するかを分析することができる。同図において、縦軸上のＡ点のように横線の被写体のときは、縦方向には画像信号にうねりが観察される一方、横方向の画像信号の相関は高いことから、横方向の画素を用いて補間する。また、横軸上のＣ点のように縦線の被写体のときは、横方向にはうねりが観察される一方、縦方向の画像信号の相関が高いことから、縦方向の画素を用いて補間する。このように相関が高い方向の周囲画像を用いて補間処理を行なうことで、より高い解像度を実現することができる。

相関処理を用いた補間処理は、例えば図２に示すように、市松状にＧを配列したベイヤー配列のような色コーディングにおいて、Ｇが存在しない空間位置の画素、例えば図中の画素Ｘの空間位置のＧ信号を作り出すときの処理に有効である。勿論、Ｇ信号だけでなく、残りのＲ信号並びにＢ信号についても通常は補間処理を行なう。本明細書では、輝度信号に関して高解像度を実現するためのＧ信号の補間処理に注目して説明しているが、Ｇと同様の補間処理をＲやＢ、あるいはその他の色、例えばシアン、イエローに対して適用することも可能である。

補間処理は、補間すべき画素の信号を空間位相の異なる周囲画素の信号を用いた補間によって作り出す処理であるから、補間処理の手順は周囲画素のレイアウトすなわち色コーディングにも依存する。まず、ベイヤー配列に対する補間処理について説明する。図２から分るように、ベイヤー配列のＧは市松状に配置されており、Ｇ信号の歯抜け部分（以下、「補間画素」とも呼ぶ）に対して補間処理を行なう。

空間位置（補間画素）Ｘを中心として、水平及び垂直方向にバンドパスフィルタによるフィルタリングをそれぞれかけることで、水平及び垂直方向から観察ときにどの程度の振幅を持つ画像信号が存在するか（すなわち水平及び垂直の各方向における画像信号のうねり）を算出する。バンドパスフィルタは、図４に示すように、１／４ｆｓ（但し、ｆｓはサンプリング周波数）にピークを持ち、１／２ｆｓの限界解像度近傍までの信号に対して値を出力するフィルタである。バンドパスフィルタの出力が大きい場合には、その方向に振幅の大きい信号が存在する。逆に、バンドパスフィルタの出力が小さい場合には、その方向で信号の変動が小さい、すなわち低周波の信号が存在するということになる。例えば、微分フィルタを始めとするハイパスフィルタを用いることができるが、ＤＣ成分を除去するような帯域制限特性を持つフィルタであれば何でもよい。

ここで、空間位置（補間画素）Ｘを中心として水平方向に配置されたバンドパスフィルタのフィルタ出力をＢｐｆ_Ｈとし、同様に垂直方向に配置されたバンドパスフィルタのフィルタ出力をＢｐｆ_Ｖとすると、これらのフィルタ出力はそれぞれ下式のように表される。

Ｂｐｆ_Ｈ＝−（Ｇ３＋Ｇ８）＋２（Ｇ４＋Ｇ９）−（Ｇ５＋Ｇ１０）
Ｂｐｆ_Ｖ＝−（Ｇ１＋Ｇ２）＋２（Ｇ６＋Ｇ７）−（Ｇ１１＋Ｇ１２）

図３中の各点Ａ〜Ｃにおいて、この２つのバンドパスフィルタの出力Ｂｐｆ_Ｈ及びＢｐｆ_Ｖを観察してみる。Ａ点においては、水平方向には画像信号の振幅はないからＢｐｆ_Ｈ＝０となり、Ｂ点においては斜め４５度方向に画像信号の振幅があるためにＢｐｆ_Ｈ＝Ｂｐｆ_Ｖとなり、Ｃ点においては垂直方向には画像信号の新婦はないからＢｐｆ_Ｖ＝０となる。

続いて、このバンドパスフィルタの出力Ｂｐｆ_Ｈ及びＢｐｆ_Ｖを用いることで、水平及び垂直方向の各相関値Ｓ_Ｈ及びＳ_Ｖを下式から算出する。

Ｓ_Ｈ＝Ｂｐｆ_Ｖ／（Ｂｐｆ_Ｈ＋Ｂｐｆ_Ｖ）
Ｓ_Ｖ＝１−Ｓ_Ｈ

これら水平及び垂直方向相関値Ｓ_Ｈ及びＳ_Ｖは、水平及び垂直方向の隣接画素間における画像信号の相関の強さを表している。ここで言う「相関」とは信号の変動比のことである。上式に示したように、相関値Ｓ_Ｈ及びＳ_Ｖは、水平及び垂直方向にそれぞれは位置したバンドパスフィルタのフィルタ出力Ｂｐｆ_Ｈ及びＢｐｆ_Ｖの割合で表される。信号の変動比が大きい場合には相関が低いことになり、信号の変動比が小さいときは相関が高いことになる。

図３に示した例では、Ａ点においては、Ｓ_Ｈ＝１及びＳ_Ｖ＝０となり、水平方向には直線成分（変動がない、若しくはフラットである）とみなすことができるから、信号の変動比が小さいために水平方向に相関が高く、垂直方向には相関がないということになる。そして、相関値が大きい、すなわち相関が高い方向の画素で補間することで、補間の精度は向上する。Ｇ信号について精度のよい補間が実現されれば、Ｇを主成分とする輝度信号の解像度も高くなる。

また、Ｂ点においては、Ｓ_Ｈ＝Ｓ_Ｖ＝０．５となり、水平・垂直方向の相関が同一、すなわち水平・垂直どちらも同じ画像の変化があることを示している。また、Ｃ点においては、Ｓ_Ｈ＝０、Ｓ_Ｖ＝１となり、垂直方向の相関が高いことを示している。

続いて、補間画素Ｘの補間値Ｘを、下式に従って、上下及び左右の周囲画素のＧ信号を用いて算出する。

Ｘ＝｛（Ｇ６＋Ｇ７）×Ｓ_Ｈ＋（Ｇ４＋Ｇ９）×Ｓ_Ｖ｝／２

上式から分かるように、補間画素Ｘについて、相関が高い方向に対してより大きな重みを掛けて補間処理を行なう。例えば、Ａ点においては、Ｘ＝（Ｇ６＋Ｇ７）／２となり、水平方向の画素を用いて補間する。また、Ｂ点においては、Ｘ＝（Ｇ６＋Ｇ７＋Ｇ４＋Ｇ９）／４となり、水平・垂直方向の画素を用いて均等な重み付けで補間する。また、Ｃ点においては、Ｘ＝（Ｇ４＋Ｇ９）／２となり、垂直方向の画素を用いて補間する。

このように、相関処理を用いて画像信号の振幅の変化が少ない方向、すなわち相関が高い方向の画素の成分に重みをかけながら（重み付けしながら）補間することで、高い解像度を実現することができるということを十分理解されたい。

図５には、ベイヤー配列におけるＧ解像度とＲＢ解像度のそれぞれの限界解像度を示している。同図から分るように、Ｇの解像度は水平・垂直方向に１／２ｆｓ、斜め４５度方向には（１／２√２）ｆｓであり、特に斜め４５度方向ではＧの解像度とＲＢの解像度が同じである。

色空間変換を行なう前述の式（１）〜（３）から分るように、Ｇは輝度信号を作る上での主成分であって輝度解像度に大きく依存し、ＲＢは色差信号の解像度に大きく依存する。したがって、Ｇの解像度を上げることが高解像度な画像を生成するポイントとなる。また、人間の目には、輝度に関しては高い周波数まで認識できるが、色に関しては高い周波数を認識することが困難であるいう性質があることから、ベイヤー配列は色解像度と輝度解像度のバランスが人間の視感度特性とマッチングしていない。

かかる点に鑑み、本出願人に既に譲渡されている特願２００５−１０７０３７号明細書では、輝度成分を作る上で主成分となるＧ成分を、ＲＢ成分の各々の周囲を囲むように配置した色コーディングを提案している（前述）。この色コーディングによれば、ベイヤー配列に対してＲＢの画素数を１／２にする代わりにＧを増やすことで、色解像度を若干犠牲にするが輝度解像度を約２倍に向上することができる。

このようにＲＢ成分をＧ成分で取り囲むという色コーディングは、ベイヤー配列の色コーディングよりも人間の視感度特性にマッチする、と本発明者らは思料する。また、特にＹ：Ｃｒ：Ｃｂ＝４：１：１の出力フォーマットに準拠した信号処理系、例えばビデオカメラなどの信号処理系では、上記のような帯域の色コーディングの方が望ましいと言える。但し、Ｇを主成分とする輝度信号を高解像度に得るには、ベイヤー配列の色コーディングの場合よりもさらに高度な補間処理が要求される。

以下では、輝度成分を作る上で主成分となる例えばＧを、例えばＲ、Ｂの各々の周囲を囲むように配置した色コーディングとして２つの色コーディング例を挙げ、これら２つの色コーディング例の各々に対する補間処理を実施例１及び実施例２として説明する。

［実施例１］
図６には、本発明の実施例１において補間処理の対象とする色コーディング例を示している。同図に示す色コーディング例は、画素が水平方向（画素行に沿った行方向）及び垂直方向（画素列に沿った列方向）で等間隔（画素ピッチ）ｄとなるように正方格子状に配列されている画素配列に対して、１行目は水平方向の４画素を単位としてＲＧＢＧの繰り返しで配列され、２行目はＧのみが配列され、３行目は水平方向の４画素を単位としてＢＧＲＧの繰り返しで配列され、４行目はＧのみが配列され、以降、この４行を単位として繰り返して配列された構成となっている。同図から分るように、輝度（Ｙ）成分を作る上で主成分となる色成分（本例ではＧ）と、他の色成分（本例ではＲ及びＢ）が、ＧでＲ及びＢの各々の周囲を囲むように配置され、またＲ及びＢが水平・垂直に対して４ｄの間隔で配置されることになる。

画素間のサンプリングレートを画素ピッチに対応したｄとして、サンプリングレートを水平及び垂直方向で考えた場合、Ｒ及びＢの水平及び垂直方向のサンプリングレートは、Ｇに対して１／２のレートとなるように１列おき（本実施例１では奇数列）及び１行おき（後述する実施例２では奇数行）に配置されている。すなわち、Ｇのサンプリングレートはｄであり、Ｒ及びＢのサンプリングレートは２ｄであり、ＧとＲ及びＢの間には水平及び垂直方向に２倍の解像度の差がある。また、サンプリングレートを斜め４５度方向で考えると、Ｇのサンプリングレートはｄ／２√２であり、Ｒ及びＢのサンプリングレートは２ｄ／√２である。

ここで、空間周波数特性について考察してみる。水平及び垂直方向については、Ｇのサンプリングレートがｄであるから、サンプリング定理に基づき（１／２）ｆｓの周波数までＧ信号を捉えることができる。また、斜め４５度方向については、Ｇのサンプリングレートがｄ／２√２であるから、サンプリング定理に基づき（１／√２）ｆｓまでＧ信号を捉えることができる。

同様にＲ及びＢの空間周波数特性についても考察してみる。但し、ＲとＢは画素配列の間隔が同じであり同様に考えることができるから、以下ではＲだけについて述べる。水平及び垂直方向については、Ｒのサンプリングレートが２ｄであるから、サンプリング定理に基づき１／４ｆｓの周波数までＲ信号を捉えることが可能である。また、斜め４５度方向については、Ｒのサンプリングレートがｄ／２√２であるから、サンプリング定理に基づき（１／４√２）ｆｓの周波数まで信号を捉えることができる。

図７には、図６に示した色コーディング例における空間周波数特性を示している。Ｇは水平及び垂直方向に関して（１／２）ｆｓの周波数まで信号を捉えることができ、斜め４５度方向に関して（１／√２）ｆｓまでの信号を捉えることができる。また、Ｒ及びＢは水平及び垂直方向に関して（１／４）ｆｓの周波数まで信号を捉えることができ、斜め４５度方向に関して（１／４√２）ｆｓの周波数までの信号を捉えることができる。すなわち、図５と図７の対比から明らかなように、図６に示した色コーディング例を用いることで、Ｇ限界解像度がベイヤー配列に対して大幅に向上するから、Ｇ信号を主成分とする輝度信号の解像度は約２倍になる。

続いて、図６に示した色コーディング例に対する補正処理について、以下で具体的に説明する。図８には、図６に示した色コーディング例のＧだけを抜き出した画素配列を示している。

図示の通り、補間画素Ｘを取り囲む水平・垂直・斜め方向の合計８個の周囲画素、すなわち画素Ｇ４、Ｇ５、Ｇ６、Ｇ８、Ｇ９、Ｇ１１、Ｇ１２、Ｇ１３にＧ信号が存在しており、これらを用いて補間画素ＸのＧ信号の補間処理を行なう。ベイヤー配列の色コーディングでは、水平及び垂直４方向にしかＧの画素が存在しない。これに対して、図６に示した色コーディング例では、水平、垂直、及び斜め方向に８画素が存在し、補間画素Ｘを観察すると、Ｇの画素が碁盤の目のように配置されていることが分かる。このことが高解像度を実現する上でも非常に重要である。

本実施例１では、補間処理回路２３は、水平及び垂直方向だけでなく斜め方向についても補間画素Ｘと周囲画素との相関関係を求め、水平及び垂直方向の相関と斜め方向の相関の関係から、実際にどの周囲画素を用いて補間を行なったらよいかを判断しつつ補間処理を行なう。

図１０には、補間処理回路２３において実施される補間処理の手順をフローチャートの形式で示している。以下では、図９に示すように、水平方向をＨ方向、垂直方向をＶ方向、Ｈ方向に対して４５度だけ右回転した軸方向をＮＨ方向、Ｈ方向に対して４５度だけ左回転した軸方向をＮＶ方向と記述することとする。以下、図１０を参照しながら、補間処理について詳解する。

図８の画素Ｘを補間画素（補間対象となる画素）とし（ステップＳ１１）、先ず、この補間画素Ｘの各周囲画素についてＨＶ方向の相関値を算出する（ステップＳ１２）。具体的には、補間画素Ｘの左斜め上の画素Ｇ４を中心としてバンドパスフィルタによるフィルタリングをＨＶ方向にかけることで、ＨＶ方向の相関値を算出する。図１１には、このＨＶ方向のバンドパスフィルタの周波数特性（フィルタ特性）を示している。

ここで、バンドパスフィルタの水平方向の出力をＢｐｆ_Ｈ_Ｇ４、垂直方向の出力をＢｐｆ_Ｖ_Ｇ４とすると、下式で表されるフィルタリング結果が得られる。

Ｂｐｆ_Ｈ_Ｇ４＝−Ｇ３＋２Ｇ４−Ｇ５
Ｂｐｆ_Ｖ_Ｇ４＝−Ｇ１＋２Ｇ４−Ｇ８

続いて、画素Ｇ４に対するＨ方向の相関値Ｓ_Ｈ_Ｇ４を下式に従って算出する。Ｈ方向の相関値Ｓ_Ｈ_Ｇ４はフィルタ特性が同じバンドパスフィルタの水平及び垂直方向のフィルタ出力Ｂｐｆ_Ｈ及びＢｐｆ_Ｖの割合を表す。

Ｓ_Ｈ_Ｇ４＝Ｂｐｆ_Ｖ／（Ｂｐｆ_Ｈ＋Ｂｐｆ_Ｖ）

Ｖ方向の相関値Ｓ_Ｖ_Ｇ４は、Ｓ_Ｖ_Ｇ４＝１−Ｓ_Ｈ_Ｇ４であり、Ｈ方向の相関値Ｓ_Ｈ_Ｇ４さえ算出してしまえば容易に算出できるから、特に算出する必要はない。すなわち、この時点で、画素Ｇ４を中心としたＨＶ方向の相関値Ｓ_Ｈ_Ｇ４及びＳ_Ｖ_Ｇ４を算出したことになる。例えば、Ｈ方向の相関値Ｓ_Ｈ_Ｇ４が１．０でＶ方向相関値Ｓ_Ｖ_Ｇ４が０．０であるときには、Ｖ方向の相関値Ｓ_Ｖ_Ｇ４で画素Ｘを補間すると、よい補間結果が得られる。

補間画素Ｘの左斜め上の画素Ｇ４を中心としたＨ方向の相関値Ｓ_Ｈ_Ｇ４の算出と同様にして、右斜め上の画素Ｇ６、左斜め下の画素Ｇ１１、右斜め下の画素Ｇ１３の各々を中心としたそれぞれのＨ方向の相関値Ｓ_Ｈ_Ｇ６、Ｓ_Ｈ_Ｇ１１、Ｓ_Ｈ_Ｇ１３についても算出する。

ここまでの処理、すなわちステップＳ１２での処理により、補間画素Ｘを取り囲む４点の画素Ｇ４、Ｇ６、Ｇ１１、Ｇ１３の各々を中心としたＨＶ方向の相関値Ｓ_Ｈ_Ｇ４、Ｓ_Ｈ_Ｇ６、Ｓ_Ｈ_Ｇ１１、Ｓ_Ｈ_Ｇ１３がそれぞれ算出されたことになる（図２６を参照のこと）。

続いて、算出された４つの相関値Ｓ_Ｈ_Ｇ４、Ｓ_Ｈ_Ｇ６、Ｓ_Ｈ_Ｇ１１、Ｓ_Ｈ_Ｇ１３の中から、補間画素Ｘに代用するに相応しい相関値を２つだけ選択する。具体的には、４つの相関値の中で最も相関の高い、すなわち算出した相関値の信頼度の高い２つを補間画素Ｘの相関値として選択する（ステップＳ１３）。

図２６からも分るように、ステップＳ１２で算出した各相関値相関値Ｓ_Ｈ_Ｇ４、Ｓ_Ｈ_Ｇ６、Ｓ_Ｈ_Ｇ１１、Ｓ_Ｈ_Ｇ１３は、それぞれ周囲４画素Ｇ４、Ｇ６、Ｇ１１、Ｇ１３を中心としたＨＶ方向の相関値であって、所望の補間画素Ｘを中心としたＨＶ方向の相関値Ｓ_Ｈではない。補間画素Ｘを中心としたバンドパスフィルタを組むことができないといった実装上の都合などがある場合には、補間画素Ｘにおける相関値を直接算出することができない。そこで、隣接画素において相関値はほぼ等しいものであるという考え方に基づいて、周囲画素で求めた信頼度の高いＨＶ方向の相関値を以って補間画素ＸのＨＶ方向の相関値Ｓ_Ｈに代用するというのがステップＳ１３の趣旨である。

相関値を選択するための信頼度として、４つの相関値を算出する過程で算出したバンドパスフィルタの出力値を用いて表すことができる。例えば、画素Ｇ４の相関信頼値Ｂｐｆ_Ｍａｘを下式から算出する。

Ｂｐｆ_Ｍａｘ＝|Ｂｐｆ_Ｈ_Ｇ４|＋|Ｂｐｆ_Ｖ_Ｇ４|

この相関信頼値Ｂｐｆ_Ｍａｘの算出を他の３点の周囲画素Ｇ６、Ｇ１１、Ｇ１３に対しても同様に行なう。バンドパスフィルタの出力が大きいということは、その画素周囲では大きな振幅の信号が存在し、信号がノイズではなく画像によるものであることが言える。逆に、バンドパスフィルタの出力が小さい場合には信号がノイズに埋もれていて相関の信頼性が低く、相関値を信頼することが難しい。つまり、水平及び垂直の直交する２方向のバンドパスフィルタの出力の絶対値の和からなる相関信頼値Ｂｐｆ_Ｍａｘが大きい場合は、これらバンドパスフィルタの出力より算出される相関値の信頼性が高いと推定することができる。

そして、４点の周囲画素で求めた各相関信頼値Ｂｐｆ_Ｍａｘを大小比較して大きい方から２点の周囲画素を選択し、これら２点の周囲画素を中心として算出されたＨＶ方向の相関値を、補間画素Ｘを中心としたＨＶ方向の相関値に代用する値として選択する。図２７には、Ｓ_Ｈ_Ｇ４とＳ_Ｈ_Ｇ１３を信頼できる相関値として選択した様子を示している。

なお、相関の信頼度算出では、相関信頼値Ｂｐｆ_Ｍａｘ、すなわちフィルタ出力の合計値ではなく、|Ｂｐｆ_Ｈ−Ｂｐｆ_Ｖ|の結果、すなわちフィルタ出力の差分値の大きいものを選択するようにしてもよい。これには、バンドパスフィルタのＨ方向の出力Ｂｐｆ_ＨとＶ方向の出力Ｂｐｆ_Ｖの差が大きい、つまり水平及び垂直方向に強い相関を持っていることが言えるので、相関の強い部分の相関値を採用するという目的がある。

続いて、採用した上位２箇所の相関値を平均して１つの相関値にする（ステップＳ１４）。平均化された相関値は、以下の処理ステップでは補間画素Ｘを中心とするＨＶ方向の相関値として扱われる。例えば、Ｇ４とＧ６の２箇所における相関値の信頼度が高いとして選択された場合には、これら２点を中心とするＨＶ方向の相関値が平均化され、補間画素ＸについてのＨＶ方向の相関値とみなされる（図２８を参照のこと）。

このとき、相関信頼値Ｂｐｆ_Ｍａｘが最大となる１点の周囲画素の相関値を選択することで、４つの相関値から１つの水平及び垂直方向の相関値を選択することも可能であるであるが、上位２箇所の相関値の平均値を採用することで、よい結果が得られている。また、４つの相関値から上位３箇所の相関値を採用してそれらの平均値をとる方法も考えられる。

なお、補間画素Ｘを中心としたバンドパスフィルタを組む場合には、信頼度の高い周囲画素の相関値の平均ではなく、補間画素Ｘにおける相関値を直接算出することができ、ステップＳ１２〜Ｓ１４における処理は簡略化される。

また、ステップＳ１２〜Ｓ１４における補間画素ＸのＨＶ方向の相関値算出の処理と並行して、ステップＳ１５〜Ｓ１７における補間画素ＸのＮＨ及びＮＶ方向の相関値算出の処理が実行される。ここで言うＮＨ方向はＨ方向に対して４５度だけ右回転した軸方向であり、ＮＶ方向はＨ方向に対して４５度だけ左回転した軸方向である（前述）。

先ず、補間画素Ｘの各周囲画素についてＮＨ及びＮＶ方向の相関値を算出する（ステップＳ１５）。具体的には、補間画素Ｘの上の画素Ｇ５を中心としてバンドパスフィルタによるフィルタリングを斜め方向にかけることで、ＮＨ及びＮＶ方向の相関値を算出する。図１２には、ＮＨ及びＮＶ方向のバンドパルスフィルタの周波数特性（フィルタ特性）を図１２に示している。

ここで、バンドパスフィルタのＮＨ方向の出力をＢｐｆ_ＮＨ_Ｇ５、ＮＶ方向の出力をＢｐｆ_ＮＶ_Ｇ５とすると、下式で表されるフィルタリング結果が得られる。

Ｂｐｆ_ＮＨ_Ｇ５＝−Ｇ１＋２Ｇ５−Ｇ９
Ｂｐｆ_ＮＶ_Ｇ５＝−Ｇ２＋２Ｇ５−Ｇ８

続いて、画素Ｇ５に対するＮＨ方向の相関値Ｓ_ＮＨ_Ｇ５を次式から算出する。ＮＨ方向の相関値Ｓ_ＮＨ_Ｇ５はフィルタ特性が同じバンドパスフィルタのＮＨ及びＮＶ方向のフィルタ出力Ｂｐｆ_ＮＨ及びＢｐｆ_ＮＶの割合を表す。

Ｓ_ＮＨ_Ｇ５＝Ｂｐｆ_ＮＶ_Ｇ５／（Ｂｐｆ_ＮＨ_Ｇ５＋Ｂｐｆ_ＮＶ_Ｇ５）

ＮＶ方向の相関値Ｓ_ＮＶ_Ｇ５は、Ｓ_ＮＶ_Ｇ５＝１−Ｓ_ＮＨ_Ｇ５であり、ＮＨ方向の相関値Ｓ_ＮＨ_Ｇ５さえ算出してしまえば容易に算出できるから、ここでは特に算出する必要はない。すなわち、この時点で、画素Ｇ５を中心としたＮＨ及びＮＶ方向の相関値Ｓ_ＮＨ_Ｇ５及びＳ_ＮＶ_Ｇ５を算出したことになる。例えば、ＮＨ方向の相関値Ｓ_ＮＨ_Ｇ５が１．０でＮＶ方向相関値Ｓ_Ｖ_Ｇ５が０．０であるときには、ＮＶ方向の相関値Ｓ_ＮＶ_Ｇ５で画素Ｘを補間すると、よい補間結果が得られる。

補間画素Ｘの上の画素Ｇ５を中心としたＮＨ方向の相関値Ｓ_ＮＨ_Ｇ５の算出の場合と同様にして、左の画素Ｇ８、右の画素Ｇ９、下の画素Ｇ１２の各々を中心としたそれぞれのＮＨ方向の相関値Ｓ_ＮＨ_Ｇ８、Ｓ_ＮＨ_Ｇ９、Ｓ_ＮＨ_Ｇ１２についても同様にして算出する。

ここまでの処理、すなわちステップＳ１５の処理により、補間画素Ｘの上、左、右、下に位置する４点の画素Ｇ５、Ｇ８、Ｇ９、Ｇ１２の各々を中心としたＮＨ方向の相関値Ｓ_ＮＨ_Ｇ５、Ｓ_ＮＨ_Ｇ８、Ｓ_ＮＨ_Ｇ９、Ｓ_ＮＨ_Ｇ１２がそれぞれ算出されたことになる（図２９を参照のこと）。

続いて、算出された４つの相関値Ｓ_ＮＨ_Ｇ５、Ｓ_ＮＨ_Ｇ８、Ｓ_ＮＨ_Ｇ９、Ｓ_ＮＨ_Ｇ１２の中から、補間画素Ｘに代用する相関値を２つだけ選択する。具体的には、４つの相関値の中で信頼度の高い方から２つを補間画素Ｘの相関値として採用する（ステップＳ１６）。

図２９からも分るように、ステップＳ１５で算出した各相関値相関値Ｓ_ＮＨ_Ｇ５、Ｓ_Ｈ_Ｇ８、Ｓ_Ｈ_Ｇ９、Ｓ_Ｈ_Ｇ１２は、それぞれ周囲４画素Ｇ５、Ｇ８、Ｇ９、Ｇ１２を中心としたＨＶ方向の相関値であって、所望の補間画素Ｘを中心とした相関値ではない。補間画素Ｘを中心としたバンドパスフィルタを組むことができないといった実装上の都合などがある場合には、補間画素Ｘにおける相関値を直接算出することができない。そこで、隣接画素において相関値はほぼ等しいものであるという考え方に基づいて、周囲画素で求めた信頼度の高いＮＨ方向の相関値を以って補間画素ＸのＮＨ方向の相関値に代用するというのがステップＳ１６の趣旨である。

相関値を選択するための信頼度を、４つの相関値を算出する過程で算出したバンドパスフィルタの出力値を用いて表す。例えば、画素Ｇ５の相関信頼値Ｂｐｆ_Ｍａｘを下式から算出する。また、他の３点の周囲画素Ｇ８、Ｇ９、Ｇ１２に対しても同様に相関信頼値Ｂｐｆ_Ｍａｘの算出を行なう。ＮＨ及びＮＶの直交する２方向のバンドパスフィルタの出力の絶対値の和からなる相関信頼値Ｂｐｆ_Ｍａｘが大きい場合は、これらバンドパスフィルタの出力より算出される相関値の信頼性が高いと推定することができる（同上）。

Ｂｐｆ_Ｍａｘ＝|Ｂｐｆ_ＮＨ_Ｇ５|＋|Ｂｐｆ_ＮＶ_Ｇ５|

続いて、採用した上位２箇所の相関値を平均して１つの相関値にする（ステップＳ１７）。図３０には、Ｓ_ＮＨ_Ｇ５とＳ_ＮＨ_Ｇ９を信頼できる相関値として選択した様子を示している。

平均化された相関値は、以下の処理ステップでは補間画素Ｘを中心とするＮＨ及びＮＶ方向の相関値として扱われる。例えば、Ｇ５とＧ９の２箇所における相関値の信頼度が高いとして選択された場合には、これら２点を中心とするＨＶ方向の相関値が平均化され、補間画素Ｘを中心とするＮＨ及びＮＶ方向の相関値とみなされる（図３１を参照のこと）。

なお、補間画素Ｘを中心としたバンドパスフィルタを組む場合には、信頼度の高い周囲画素の相関値の平均ではなく、補間画素Ｘにおける相関値を直接算出することができ、ステップＳ１５〜Ｓ１７における処理は簡略化される（同上）。

ここまでの処理により、補間画素ＸについてのＨ方向の相関値Ｓ_Ｈ、及びＮＨ方向の相関値Ｓ_ＮＨが求まったことになる（図２８及び図３１を参照のこと）。

続いて、補間画素ＸについてのＨ方向及びＮＨ方向の各相関値Ｓ_Ｈ及びＳ_ＮＨに基づいて、補間画素Ｘがどの方向の周囲画素との相関が強いか、すなわち相関の方向性を求める（ステップＳ１８）。

ここで、図１３に示す解像度チャートからなる入力画像を例にとって、補間画素ＸについてＨ方向及びＮＨ方向それぞれにおいて算出された相関値Ｓ_Ｈ及びＳ_ＮＨと、補間画素Ｘとこれを取り囲む周囲画素の相関の度合いについて考察してみる。解像度チャートは、中心部分が低周波の信号であり、中心からの距離が大きくなるにつれて高周波の信号となるチャートである。解像度チャートは、同じ周波数の信号でもさまざまな方向を持っており、解像度チャートの信号を信号処理回路に入力することで、さまざまな信号に対してどのような処理が適するかを分析することができる。

例えば、図１３の（ａ）点〜（ｅ）点の信号が補間画素Ｘとして入力され、上述したステップＳ１２〜Ｓ１７の処理を実行すると、２つの相関値Ｓ_Ｈ及びＳ_ＮＨは、（ａ）点では、Ｓ_Ｈ＝１．０（Ｓ_Ｖ＝０．０）、Ｓ_ＮＨ＝０．５（Ｓ_ＮＶ＝０．５）となる。これから、補間画素Ｘは、ＨＶ方向ではＨ方向の周囲画素との強い相関があることが分かる。また、ＮＨ及びＮＶ方向ではＮＨ方向とＮＶ方向で同じ相関、つまり補間画素Ｘは斜め方向では周囲画素との相関がないことが分かる。

また、（ｂ）点では、Ｓ_Ｈ＝０．５（Ｓ_Ｖ＝０．５）、Ｓ_ＮＨ＝１．０（Ｓ_ＮＶ＝０．０）となる。すなわち、補間画素Ｘは、ＨＶ方向では周囲画素との相関がないが、ＮＨ及びＮＶ方向ではＮＨ方向の周囲画素との強い相関があることが分かる。

また、（ｃ）点では、Ｓ_Ｈ＝０．０（Ｓ_Ｖ＝１．０）、Ｓ_ＮＨ＝０．５（Ｓ_ＮＶ＝０．５）となる。すなわち、補間画素Ｘは、ＨＶ方向ではＶ方向の周囲画外強い相関がある。また、ＮＨ及びＮＶ方向では補間画素Ｘは周囲画素との相関がないことが分かる。

また、（ｄ）点では、Ｓ_Ｈ＝０．５（Ｓ_Ｖ＝０．５）、Ｓ_ＮＨ＝０．０（Ｓ_ＮＶ＝１．０）となる。すなわち、補間画素Ｘは、ＨＶ方向では周囲画素との相関がないが、ＮＨ及びＮＶ方向ではＮＶ方向の周囲画素と強い相関があることが分かる。

また、（ｅ）点では、Ｓ_Ｈ＝１．０（Ｓ_Ｖ＝０．０）、Ｓ_ＮＨ＝０．５（Ｓ_ＮＶ＝０．５）となる。すなわち、（ａ）点と同じく、補間画素Ｘは、ＨＶ方向ではＨ方向の周囲画素と強い相関があるが、ＮＨ及びＮＶ方向では周囲画素との相関がないことが分かる。

また、図１４には、図１３に示した解像度チャートを入力画像とした場合の補間画素の空間位相とＨ及びＶ方向、並びにＮＨ及びＮＶ方向の周囲画素との相関値の関係を表した周波数チャートを示している。以下では、補間画素とＨＶ方向、並びにＮＨ及びＮＶ方向の周囲画素との相関値の関係を表す同図中の直線のことを「相関線」とも呼ぶ。この相関線は、相関値を異なった方向に対して最低２パターンだけ算出し、当該最低２パターンの相関値をさまざまな角度の直線に対してプロットして得ることができる。図１４の相関線図において、１点鎖線（Ａ）がＨＶ方向の相関値Ｓ_Ｈに、２点鎖線（Ｂ）がＮＨ及びＮＶ方向の相関値Ｓ_ＮＨに、それぞれ相当している。相関線（Ａ）と（Ｂ）とは４５度だけ位相がずれている。

ＨＶ方向の相関値Ｓ_Ｈのみを用いた場合、Ｓ_Ｈが０又は１に近いときには補間画素ＸがＨ方向又はＶ方向に相関が強いことを特定することができるが、Ｓ_Ｈが０．５付近の値をとるときには、補間画素Ｘが解像度チャート上で（ａ）点と（ｃ）点に存在する可能性があり、相関線（Ａ）を参照しただけでは補間画素Ｘが強い相関を持つ方向性を特定することはできない。これに対し、Ｈ方向に対して４５度だけ右回転したＮＨ方向、及びＨ方向に対して４５度だけ左回転したＮＶ方向という、水平及び垂直軸に対し４５度だけ回転させた直交する２つのバンドパスフィルタの出力から算出される相関値Ｓ_ＮＨをプロットした相関線（Ｂ）を参照することで、Ｓ_Ｈが０．５付近の値をとるときであっても、補間画素Ｘが斜めのいずれの方向に強い相関を持つかを高い分解能で特定することができる。すなわち、Ｓ_ＨとＳ_ＮＨの相関線を比較することによって、補間画素Ｘが周辺画素と強い相関を持つ方向を全方向（３６０度）に渡って判定することが可能である。なお、本実施形態では、一例として、所定の角度として４５度だけ回転させた直交する２つのバンドパスフィルタを用いたが、４０度〜５０度など、ＨＶ方向とＮＨ／ＮＶ方向が形成する角度が別の角度であっても、上記と同程度の効果を奏するものであれば構わない。

図１３に示した解像度チャートを入力画像とした場合、ステップＳ１８では、図１４に示した周波数チャート上の補間画素Ｘが位置する空間位相において、１点鎖線（Ａ）と２点鎖線（Ｂ）で示された相関値を比較することによって、補間画素がＨＶ方向、並びにＮＨ及びＮＶ方向の周囲画素とそれぞれどの程度の相関を持つか、すなわち相関の強い方向性を求めることができる。

ステップＳ１８において補間画素Ｘが持つ相関の方向性が判ると、続いて、ステップＳ１２〜Ｓ１４及びステップＳ１５〜Ｓ１７において求められた相関値Ｓ_Ｈ及びＳ_ＮＨの信頼度があるか否かを判断する（ステップＳ１９）。

既に述べたように、ステップＳ１２〜Ｓ１４、及びステップＳ１５〜Ｓ１７では、補間画素Ｘを中心とした各方向の相関値を直接算出しておらず、補間画素Ｘを取り囲む各周囲画素を中心として算出されたＨ方向及びＮＨ方向の相関値のうち信頼度の高いものを平均化して、補間画素Ｘの相関値として代用している。このような場合は、とりわけ相関の信頼度チェックは重要になる。

ここで、相関の信頼度をチェックする具体的な方法について説明しておく。図１３に示した解像度チャートを入力画像とした場合の周波数チャート、すなわち補間画素とＨＶ方向、並びにＮＨ及びＮＶ方向の周囲画素との相関値の関係は、図１４に示した通りである。２組の直交するバンドパスフィルタを水平垂直方向、並びに水平垂直方向に対し４５度だけ回転させた方向にそれぞれ配置して、各組のバンドパスフィルタの出力からＨ方向の相関値Ｓ_ＨとＮＨ方向の相関値Ｓ_ＮＨを算出することができる。Ｓ_Ｈ及びＳ_ＮＨそれぞれの相関線（Ａ）と（Ｂ）は４５度だけ位相がずれている。

また、図３２には、Ｓ_Ｈ（図１４中の相関線（Ａ））から０．５を引き算した絶対値からなる相関線と、Ｓ_ＮＨ（図１４中の相関線（Ｂ））から０．５を引き算した絶対値からなる相関線をそれぞれプロットしている。同図から分るように、相関値Ｓ_Ｈ及びＳ_ＮＨが図１４に示した相関線上に乗る理想的なもの、すなわち信頼度の高いものであれば、Ｓ_Ｈから０．５を引き算した絶対値とＳ_ＮＨから０．５を引き算した絶対値の和は０．５に近い値となる。そこで、ステップＳ１２〜Ｓ１４及びステップＳ１５〜Ｓ１７において求められた相関値Ｓ_Ｈ及びＳ_ＮＨを以下の不等式からなる条件式に代入し、条件を満たすかどうかによって、相関値Ｓ_Ｈ及びＳ_ＮＨの信頼度を判定することができる。但し、ＴＨ１及びＴＨ２は、ＴＨ１＜ＴＨ２の関係を満たす０．５に近い値である（ＴＨ１及びＴＨ２を０．５に近づけると、判定条件がより厳しくなる）。

ＴＨ１＜｜Ｓ_Ｈ−０．５｜＋｜Ｓ_ＮＨ−０．５｜＜ＴＨ２

ステップＳ１９において相関の信頼度があると判定された場合には、補間画素Ｘを補間する画素を、ステップＳ１８において相関が強いと判断された方向の周囲画素から取り出して、画素補間を行なう（ステップＳ２０）。

図１５には、補間画素Ｘが持つ相関の方向性と補間に用いる周囲画素の関係を示している。例えば、ステップＳ１８において補間画素Ｘが持つ相関の方向性が（ａ）点（すなわち、周波数チャート上の９０度）にあると判断された場合には、Ｈ方向の相関が強いので、補間画素ＸのＧ信号をＸ＝（Ｇ８＋Ｇ９）／２で補間する。また、補間画素Ｘの相関の方向性が（ｂ）点（すなわち、周波数チャート上の４５度）となる場合には、ＮＨ方向の相関が強いので、補間画素ＸのＧ信号をＸ＝（Ｇ４＋Ｇ１３）／２で補間する。補間画素Ｘの相関の方向性が（ｃ）点、（ｄ）点、（ｅ）点とる場合も同様である。

また、補間画素Ｘの相関の方向性が（ｃ）点と（ｂ）点の間の相関値が算出される（ｆ）点となる場合には、Ｓ_Ｈ≒０．２５で且つＳ_ＮＨ≒０．７５を示すことから、その方向の画素を用いてＸ＝（Ｇ１＋Ｇ１６）／２で補間する。

また、補間画素Ｘの相関の方向性が（ｂ）点と（ｆ）点の中間などのように、補間画素Ｘの相関の方向性を示す直線上にちょうど乗る周囲画素がない場合には、（ｂ）点の補間値と（ｆ）点の補間値に重みを付けて補間するといった、相関値と補間値の関係に基づく線形補間を行なう。例えば、図１５中のＰ点に相当する方向にちょうど乗る周囲画素はないが、その方向に隣接する方向性において適用される２つの補間値（Ｇ６＋Ｇ１１）／２及び（Ｇ７＋Ｇ１０）／２で線形補間する以下の式により、補間画素Ｘの相関値を算出することができる。但し、ａは重み付け係数をａである。

Ｘ＝｛（Ｇ６＋Ｇ１１）／２｝×ａ＋｛（Ｇ７＋Ｇ１０）／２｝×（１−ａ）

このように、本実施例１では、補間画素Ｘの相関の方向性を、従来のようにＨＶ方向の相関値Ｓ_Ｈのみから求めるのではなく、水平及び垂直軸に対し４５度だけ回転させた直交する２つのバンドパスフィルタの出力から算出される相関値Ｓ_ＮＨも用いるようにした。ＨＶ方向の相関値Ｓ_Ｈがちょうど０．５になると、Ｓ_Ｈだけでは相関の方向性を特定できなくなる。これに対し、ＮＨ及びＮＶ方向の相関値Ｓ_ＮＨの相関線はＳ_Ｈに対して４５度だけ位相がずれていることから（図１４を参照のこと）、さらにＳ_ＮＨを参照することで、補間画素Ｘが斜めのいずれの方向に強い相関を持つかを高い分解能で特定することが可能である。したがって、図６に示した色フィルタを用いて色コーディングを行なうと、従来のベイヤー配列に比べてより高い精度でＧ信号を補間することができ、この結果、高い解像度の輝度信号をえることができる。

一方、ステップＳ１２〜Ｓ１４及びステップＳ１５〜Ｓ１７において求められた相関値Ｓ_Ｈ及びＳ_ＮＨに関して、十分な信頼度が得られなかった場合には（ステップＳ１９のＮｏ）、周囲画素の平均値を用いてＳ／Ｎ重視の画素補間を行なう（ステップＳ２１）。

２つの相関値Ｓ_Ｈ及びＳ_ＮＨが図１４に示した２つの相関線（Ａ）及び（Ｂ）に乗らない場合は、相関がないとみなすことができる。例えば、Ｓ_Ｈ＝１．０、Ｓ_ＮＨ≒０．５のときは相関があると言えるが、Ｓ_Ｈ＝１．０、Ｓ_ＮＨ≒１．０のときには図１４中のいずれの相関線（Ａ）及び（Ｂ）の乗らないために、相関の信頼度が低いと言える。後者の場合、いかなる方向の画素を用いて補間しても正しく補間できる確立は低く、逆に間違った補間により偽色信号を生成する可能性が高い。

このように、ステップＳ１２〜Ｓ１７において算出された相関値Ｓ_Ｈ及びＳ_ＮＨが図１４に示した２つの相関線（Ａ）及び（Ｂ）に乗らず、相関値の信頼度が低いことが判明した場合には、補間画素Ｘが持つ相関の方向性に基づいて特定された周囲画素を用いて解像度重視の補間を行なうのではなく、Ｓ／Ｎ重視の補間処理を適用する。例えば、周囲４画素を用いてＸ＝（Ｇ５＋Ｇ８＋Ｇ９＋Ｇ１２）／４により補間画素ＸのＧ信号を補間することで、撮像装置の性能を上げることができる。

先述したベイヤー配列の補間では、ＨＶ方向に配置した１組の直交するバンドパスフィルタの出力を基にＨＶ方向の相関Ｓ_Ｈしか求めることができない。このため、相関の信頼度というものを評価することができず、例えばＮＨ及びＮＶ方向に対しても、ＨＶ方向の場合と同様の補間を行なうより他ない。

これに対して、本実施例１では、ＲＢ成分をＧ成分で取り囲むという色コーディング（図６を参照のこと）を行なうので、ＨＶ方向に対し４５度だけ回転したＮＨ及びＮＶ方向に配置した１組の直交するバンドパスフィルタの出力を基にＮＨ方向の相関をさらに算出することができる。したがって、補間画素Ｘが周辺画素と強い相関を持つ方向を全方向（３６０度）に渡って判定することが可能であり、その補間処理では斜め方向の補間に対応することができる。

また、図５と図７にそれぞれ示した画像信号の限界解像度の対比から明らかなように、本実施例１における色コーディングによれば、Ｇの解像度に関して、斜め４５度方向においては、ベイヤー配列に比べて２倍の解像度を得ることができる。

また、ステップＳ１９にて相関の信頼度を評価し、相関が信頼できるときは相関の方向から解像度重視の補間を行なうが、相関が信頼できないときはＳ／Ｎ重視の補間を行なうというように、信頼度に応じて適応的に処理方法を切り換えるので、高精度な補間処理を実現することができる。

例えば、図１３に示すような人工的な解像度チャートにおいては、基本的に全領域において相関の信頼度は高く出力される。これに対し、一般画におけるジャリ道や、木の茂みといった複雑な曲線が入り組んだ被写体において、相関の信頼度が低くなる事態が起こり得る。この場合は、適応的にＳ／Ｎを重視した補間処理に切り換えるようにすればよい。

本実施例１に係る一連の補間処理を実行する専用のハードウェア装置を設計製作することもできるが、例えばコンピュータ上で所定のコンピュータ・プログラムを実行するというソフトウェア処理によって同様の補間処理を実現することも可能である。

図１６には、本実施例１に係る補間処理を実行するハードウェアの構成の補間処理回路２３Ａの構成例を示している。

Ｇ４ＨＶ方向相関値算出回路３１は、補間画素Ｘの左斜め上の画素Ｇ４を中心としてＨＶ方向に対してフィルタリング処理を行なうことによってＨＶ方向の相関値を算出する。例えば、図１１に示した周波数特性を持つバンドパスフィルタによってＧ４ＨＶ方向相関値算出回路３１を構成することができる。具体的には、Ｇ４ＨＶ方向相関値算出回路３１は、画素Ｇ４に対するＨ方向の相関値Ｓ_Ｈ_Ｇ４を、以下の演算式から算出する。

Ｓ_Ｈ_Ｇ４＝Ｂｐｆ_Ｖ／（Ｂｐｆ_Ｈ＋Ｂｐｆ_Ｖ）

そして、Ｇ４ＨＶ方向相関値算出回路３１は、さらにＶ方向の相関値Ｓ_Ｖ_Ｇ４を以下の演算式から算出する。

Ｓ_Ｖ_Ｇ４＝１−Ｓ_Ｈ_Ｇ４

補間画素Ｘを取り囲むその他の周囲画素Ｇ６、Ｇ１１、Ｇ１３に関しても、各ＨＶ方向相関値算出回路３２、３３、３４がＧ４ＨＶ方向相関値算出回路３１と同様にして、補間画素Ｘの右斜め上の画素Ｇ６、左斜め下の画素Ｇ１１、右斜め下の画素Ｇ１３の各々を中心としたＨ方向の相関値Ｓ_Ｈ_Ｇ６、Ｓ_Ｈ_Ｇ１１、Ｓ_Ｈ_Ｇ１３及びＶ方向の相関値Ｓ_Ｖ_Ｇ６、Ｓ_Ｖ_Ｇ１１、Ｓ_Ｖ_Ｇ１３それぞれを算出する。各相関値算出回路３１〜３５によって、図１０に示したフローチャートのステップＳ１２に相当する処理が実現する。

選択回路３５は、Ｈ方向及びＶ方向の各々について、４つの中から補間画素Ｘに適用する相関値を選択する。具体的には、選択回路３５は、各相関値算出回路３１〜３４においてそれぞれ相関値を算出する過程で算出したバンドパスフィルタの出力値を比較し、４つの相関値の中で最も相関信頼値Ｂｐｆ_Ｍａｘの大きい、すなわち最も信頼性の高い２つを補間画素Ｘの相関値として採用する。選択回路３５によって、図１０に示したフローチャートのステップＳ１３に相当する処理が実現する。

平均値算出回路３６は、選択回路３５で選択した上位２箇所の相関値の平均値を算出し、ＨＶ各方向から１つの相関値Ｓ_Ｈ及びＳ_Ｖとして出力する。平均値算出回路３６によって、図１０に示したフローチャートのステップＳ１４に相当する処理が実現する。

Ｇ５ＮＨ及びＮＶ方向相関値算出回路３７は、補間画素Ｘの上の画素Ｇ５を中心として、直交するＮＨ方向及びＮＶ方向に対してフィルタリング処理を行なうことによって、ＮＨ方向及びＮＶ方向の相関値を算出する。例えば、図１２に示す周波数特性を持つバンドパスフィルタによってＧ５ＮＨ及びＮＶ方向相関値算出回路３７を構成することができる。具体的には、Ｇ５ＮＨ及びＮＶ方向相関値算出回路３７は、画素Ｇ５に対するＮＨ方向の相関値Ｓ_ＮＨ_Ｇ５を、以下の演算式から算出する。

Ｓ_ＮＨ_Ｇ５＝Ｂｐｆ_ＮＶ_Ｇ５／（Ｂｐｆ_ＮＨ_Ｇ５＋Ｂｐｆ_ＮＶ_Ｇ５）

そして、Ｇ５ＮＨ及びＮＶ方向相関値算出回路３７は、さらにＮＶ方向の相関値Ｓ_ＮＶ_Ｇ５を以下の演算式から算出する。

Ｓ_ＮＶ_Ｇ５＝１−Ｓ_ＮＨ_Ｇ５

補間画素Ｘを取り囲むその他の周囲画素Ｇ８、Ｇ９、Ｇ１２に関しても、各ＮＨ及びＮＶ方向相関値算出回路３８、３９、４０がＧ５ＮＨ，ＮＶ方向相関値算出回路３７と同様にして、補間画素Ｘの左の画素Ｇ８、右の画素Ｇ９、下の画素Ｇ１２の各々を中心としたＮＨ方向の相関値Ｓ_ＮＨ_Ｇ８、Ｓ_ＮＨ_Ｇ９、Ｓ_ＮＨ_Ｇ１２及びＮＶ方向の相関値Ｓ_ＮＶ_Ｇ８、Ｓ_ＮＶ_Ｇ９、Ｓ_ＮＶ_Ｇ１２をそれぞれ算出する。各相関値算出回路３７〜４０によって、図１０に示したフローチャートのステップＳ１５に相当する処理が実現する。

選択回路４１は、ＮＨ方向及びＮＶ方向の各々について、４つの中から補間画素Ｘに適用する相関値を選択する。具体的には、選択回路４１は、４つの相関値を算出する過程で算出したバンドパスフィルタの出力値を比較し、４つの相関値の中で最も相関信頼値Ｂｐｆ_Ｍａｘの大きい、すなわち最も信頼性の高い２つを補間画素Ｘの相関値として採用する。選択回路４１によって、図１０に示したフローチャートのステップＳ１６に相当する処理が実現する。

平均値算出回路４２は、選択回路４１で選択した上位２箇所の相関値の平均値を算出し、ＮＨ方向及びＮＶ方向の各々から１つの相関値Ｓ_ＮＨ、Ｓ_ＮＶとして出力する。平均値算出回路４２によって、図１０に示したフローチャートのステップＳ１７に相当する処理が実現する。

比較回路４３は、補間画素Ｘが持つ相関の方向性、すなわちどの方向において補間画素Ｘが周囲画素との相関が強いかを算出する。具体的には、比較回路４３は、平均値算出回路３６で算出されたＨＶ各方向１つの相関値Ｓ_Ｈ及びＳ_Ｖと、平均値算出回路４２で算出されたＮＨ方向及びＮＶ方向の各々の相関値Ｓ_ＮＨ及びＳ_ＮＶを図１４に示した相関線図と比較することで、相関の方向性を特定する。比較回路４３によって、図１０に示したフローチャートのステップＳ１８に相当する処理が実現する。

判定回路４４は、比較回路４３の算出結果、すなわち相関の強い方向性について、その相関の信頼度があるか否かを判断する。具体的には、判定回路４４は、平均化算出回路３６及び４２によってそれぞれ算出された２つの相関値Ｓ_Ｈ及びＳ_ＮＨが図１４に示した２つの相関線（Ａ）及び（Ｂ）に乗る場合は相関があるものとみなすが、これら２つの相関値Ｓ_Ｈ及びＳ_ＮＨが２つの相関線（Ａ）及び（Ｂ）に乗らない場合には相関が無いものとみなす。判定回路４４による判断結果は、補間回路４５に供給される。判定回路４４によって、図１０に示したフローチャートのステップＳ１９に相当する処理が実現する。

補間回路４５は、補間画素Ｘに対して解像度重視の補間処理を行なう第１の補間回路４５１と、Ｓ／Ｎ重視の補間処理を行なう第２の補間回路４５２で構成され、判定回路から供給される相関の信頼度に応じて適応的に、いずれか一方の補間回路４５１又は４５２に補間処理を委ねる。

第１の補間回路４５１は、判定回路４４から相関の信頼度が高いという判定結果に応じて、相関がある方向の画素を用いて補間する。相関がある方向の画素で行なう補間処理は、解像度重視の補間処理である。第１の補間回路４５１によって、図１０に示したフローチャートのステップＳ２０に相当する処理が実現する。

一方、第２の補間回路４５２は、判定回路４４から相関の信頼度が低いという判定結果に応じて、補間画素Ｘの周辺画素の平均値を用いて補間する。例えば、補間画素Ｘを取り囲む周囲近接４画素の画像信号を用いて、下式に従って補間画素Ｘを補間する。このように、補間画素Ｘの周辺画素の平均値を用いて行なう補間処理がＳ／Ｎ重視の補間処理である。第２の補間回路４５２によって、図１０に示したフローチャートのステップＳ２１に相当する処理が実現する。

Ｘ＝（Ｇ５＋Ｇ８＋Ｇ９＋Ｇ１２）／４

なお、各ＨＶ方向相関値算出回路３１〜３４及び各ＮＨ及びＮＶ方向相関値算出回路３７〜４０をバンドパスフィルタで構成することを既に述べたが、バンドパスフィルタに限られるものではない。これらの相関値算出回路を、例えば、微分フィルタなどのハイパスフィルタを用いて構成したり、あるいはローパスフィルタと当該ローパスフィルタの出力を反転させるインバータとの組み合わせによってハイパスフィルタ構成としたりすることも可能である。

図６に示した色コーディングは、輝度成分を作る上で主成分となるＧが、補間画素Ｘに対して水平、垂直、斜めそれぞれの方向に位置する８個の周囲画素、すなわち画素Ｇ４、Ｇ５、Ｇ６、Ｇ８、Ｇ９、Ｇ１１、Ｇ１２、Ｇ１３に配置され、従来のベイヤー配列に比べて高い輝度解像度の実現を図ったものである。これまで説明してきたように、本実施例１に係る補間処理によれば、このような色コーティング用のフィルタを持つ固体撮像装置に対して、複数の相関値を求めて相関線図と比較することで、全方向（３６０度）について相関性を判断することができる。すなわち、図６に示した色コーティングに対してＧ信号をより高精度に補間処理することができ、従来のベイヤー配列に比べて高い解像度の輝度信号を得ることができる。

特に、本実施例１では、図３２を参照しながら説明したように、複数の相関値と相関線図との比較により、相関の信頼性が高いか低いかによって補間処理の方法を適応的に切り換えるようになっている。すなわち、相関の信頼性が高いと判定したときはその判定した方向の画素の情報を用いて解像度を重視した補間処理を行ない、また、相関の信頼性が低いと判定したときは、補正画素の周辺画素の情報を平均した値を用いてＳ／Ｎ重視の補間を行なうことで、より高解像度で、且つＳ／Ｎにも強い高性能な補間処理を実現することができる。

［実施例２］
図１７には、本発明の実施例２に係る補間処理の対象となる色コーディング例を示している。同図に示す色コーディングは、水平及び垂直方向の各画素ピッチを√２ｄとし、各画素が１行毎及び１列毎に画素ピッチ√２ｄの１／２ずつずれた（奇数行と偶数行で水平方向に画素ピッチの１／２だけ、奇数列と偶数列で垂直方向に画素ピッチの１／２だけ画素がずれた）、いわゆる斜め画素配列に対して、１行目はＧとＲが交互に配列されたＧＲライン、２行目はＧのみが配列されたＧライン、３行目はＢとＧが交互に配列されたＧＢライン、４行目はＧのみが配列されたＧライン、以降、この４行を単位として繰り返して配列されている。

図１７に示した色コーディング例は、輝度（Ｙ）成分を作る上で主成分となる色成分（本例ではＧ）と、他の色成分（本例ではＲ及びＢ）が、ＧでＲ及びＢの周囲を囲むように配置され、Ｒ及びＢが水平・垂直に対して２√２ｄの間隔で配置された構成である。この色コーディングは、図６に示した色コーディング例における色配列を４５度傾けた色コーディングそのものである。

図１７に示した色コーディング例におけるサンプリングレートを水平及び垂直方向で考えた場合、Ｇのサンプリングレートはｄ／√２であり、Ｒ及びＢのサンプリングレートは２√２ｄである。すなわち、Ｒ及びＢは、水平及び垂直方向のサンプリングレートがＧに対して１／４となるように１列おき（本実施例では奇数列）及び１行おき（本実施例では奇数行）に配置されている。したがって、ＧとＲ及びＢの間に水平及び垂直方向に４倍の解像度の差がある。また、サンプリングレートを斜め４５度方向で考えると、Ｇのサンプリングレートはｄであり、Ｒ及びＢのサンプリングレートは２ｄである。

ここで、空間周波数特性について考察してみる。水平及び垂直方向については、Ｇのサンプリングレートがｄ／√２であるから、サンプリング定理に基づき（１／√２）ｆｓの周波数までＧ信号を捉えることができる。斜め４５度方向については、Ｇのサンプリングレートがｄであるから、サンプリング定理に基づき（１／４）ｆｓの周波数までＧ信号を捉えることができる。

同様にＲ及びＢについて考察してみる。但し、ＲとＢは画素配列の間隔が同じであるため、ここではＲだけについて述べる。Ｒの空間周波数特性に関して、水平及び垂直方向については、Ｒのサンプリングレートが２√２ｄであるから、サンプリング定理に基づき（１／４√２）ｆｓの周波数までＲ信号を捉えることが可能である。また、斜め４５度方向については、Ｒのサンプリングレートが２ｄであるから、サンプリング定理に基づき（１／２）ｆｓの周波数までＲ信号を捉えることができる。

ちなみに、斜め画素配列の固体撮像装置は、正方格子状の画素配列の場合に比べて、画素ピッチが狭くなるので、高い解像度を得ることができる。また、正方格子状の画素配列と同じ解像度とする場合には、正方格子状の画素配列の画素ピッチよりも広い画素ピッチで画素を配列することが可能となるから、画素の開口を広くとることができ、その結果、Ｓ／Ｎを向上できる。

図１７に示した色コーディングの詳細に関しては、例えば本出願人に既に譲渡されている特願２００５−１０７０３７号明細書の段落００５５〜００７２を参照されたい。

本実施例２では、図１７に示した色コーディング例に対する補間処理を特徴としている。以下、その補間処理について具体的に説明する。

図１８には、図１７に示した色コーディング例を正方格子で表現し直したものである。図６に示した色コーディング例におけるＧの配列と図１８におけるＧの配列とは、４５度方向回転した関係にあることが分かる。このことから、図１７に示した色コーディング例に対して、先述した実施例１に係る補間処理を４５度回転させた位置関係にて、Ｒ及びＢ画素の空間位置におけるＧ画素を高精度に補間できることを理解できよう。

図１９には、本実施例２に係る補間処理を実行する補間処理回路２３Ｂの構成例を示している。同図に示すように、本実施例に係る補間処理回路２３Ｂは、前段補間処理回路２３１と後段補間処理回路２３２とからなる２段構成となっている。

前段補間処理回路２３１は、基本的に、実施例１と同様の手順で補間処理を行ない、これによって図１８中のＧの画素配列においてＲ及びＢ画素の空間位置のＧ画素を補間することができる。図２０には、この前段補間処理回路２３１による補間処理の結果、すなわち図１８のＧの画素配列においてＲ及びＢ画素の空間位置のＧ画素を補間した結果を示している。この補間処理により、図２０中のＧ配列が高精度に補間される。ここで、図２０のＧの配列に注目すると、Ｇが市松状に配置されていることが分かる。

後段補間処理回路２３２は、基本的に、先述したベイヤー配列に対する場合と同様の手順で補間処理を行ない、これによって図２０中のＧの画素配列に対して補間処理を行なう。このベイヤー配列の補間処理により、市松状に配置されたＧから全画素についてＧが生成される。図２１には、後段補間処理回路２３２による補間処理の結果、すなわち市松状に配置されたＧから全画素Ｇに補間した結果を示している。

このように、図１７に示した色コーディング例に対して、前段補間処理回路２３１による補間処理すなわち実施例１に係る補間処理と、後段補間処理回路２３２による補間処理すなわちベイヤー配列の補間処理とを組み合わせて補間処理を行なうことで、限界解像度に至るまでのＧの解像度を得ることができる。

図２２には、ベイヤー配列、図６に示した色コーディング、図１７に示した色コーディングの各々における空間解像度特性を示している。図６に示した色コーディングの解像度と図１７に示した色コーディングの解像度とを比較すると、水平・垂直方向では、図１７に示した色コーディングの解像度の方が有利である。一般的に、カメラで被写体を撮影する場合には直線成分を含んだ画像は水平及び垂直方向に分布していることが多い。この観点からすると、図１７に示した色コーディングの方が図８に示した色コーディングよりも有利であると言える。

また、カメラ信号処理回路１４（図１を参照のこと）の出力として画像信号を正方格子状に出力する必要があることを考慮すると、図１７に示した色コーディングでは画素数の２倍の出力サイズとして出力することができるというメリットがある。無論、ベイヤー配列に比べると解像度が格段に上がっていることが図２２から理解できよう。

カメラ信号処理回路１４において、本実施例２に係る補間処理回路２３Ｂをそのまま補間処理回路２３として用いることで、上記のような作用効果を得ることができる。また、図２３に示すような、補間処理回路２３Ｂを変形した補間処理回路２３Ｂ′のような構成を採ることも可能である。

図２３に示した補間処理回路２３Ｂ′は、後段補間処理回路２３２の入力側に切替スイッチ２３３を設け、前段補間処理回路２３１の出力信号とＷＢ回路２２（図１を参照のこと）の出力信号（前段補間処理回路２３１の入力信号）の一方を後段補間処理回路２３２に選択的に入力可能な構成である。かかる構成を採ることで、１つのカメラシステムで図１７に示した色コーディングとベイヤー配列という２タイプの固体撮像装置に対応できることになる。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本発明は、とりわけ、各画素が水平方向及び垂直方向で等間隔となるように正方格子状に配列された画素配列に対して、輝度成分を算出する際に主成分となる色成分が、他の色成分のそれぞれの周囲を囲むように配置した色フィルタを用いた色コーディングが施された画像信号に対し、輝度成分を算出する主成分の色フィルタ配列補間の処理に好適に適用することができるが、本発明の要旨は特定の色コーディングに限定されるものではない。

また、本明細書では、輝度成分を作る上で主成分となるＧで、Ｒ及びＢの各々の周囲を囲む色コーディングとして、図８並びに図１７に示した２つの色コーディング例を用いた実施例を中心に説明したが、本発明が適用可能な色コーディングはこれら２つの色コーディング例に限られるものではない。例えば、正方格子状の画素配列に対して、１行目は水平方向の４画素を単位としてＲＧＧＧの繰り返しで配列し、２行目はＧのみを配列し、３行目は水平方向の４画素を単位としてＧＧＢＧの繰り返しで配列し、４行目はＧのみを配列し、以降はこの４行を単位として繰り返して配列した色コーディングなどであっても、同様に本発明に係る補間処理を適用することができる。

また、本明細書では輝度信号に関して高解像度を実現するためのＧ信号の補間処理に注目して説明してきたが、Ｇと同様の補間処理をＲやＢ、あるいはその他の色、例えばシアン、イエローに対して適用することも可能である。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、請求の範囲の記載を参酌すべきである。

図１は、本発明に係る画像処理装置又は画像処理方法を適用した撮像装置の構成の一例を示したブロック図である。 図２は、ベイヤー配列でＧのみを抜き出した画素配列を示した図である。 図３は、解像度チャートを示した図である。 図４は、バンドパスフィルタの周波数特性を示す図である。 図５は、ベイヤー配列におけるＧ解像度とＲＢ解像度の限界解像度を示した図である。 図６は、本発明の実施例１に係る補間処理の対象となる色コーディング例を示した図である。 図７は、色コーディング例におけるＧ解像度とＲＢ解像度の限界解像度を示した図である。 図８は、色コーディング例でＧのみを抜き出した画素配列を示した図である。 図９は、Ｈ方向、Ｖ方向、ＮＨ方向及びＮＶ方向の関係を示した図である。 図１０は、本発明の実施例１に係る補間処理の手順を示したフローチャートである。 図１１は、ＨＶ方向のバンドパスフィルタの周波数特性を示した図である。 図１２は、ＮＨ、ＮＶ方向のバンドパルスフィルタの周波数特性を示した図である。 図１３は、解像度チャートを示した図である。 図１４は、周波数チャートにおける各ポイントとその相関値の関係を示した相関線図である。 図１５は、相関値と補間値の関係を示した図である。 図１６は、実施例１に係る補間処理を実行する補間処理回路の構成の一例を示したブロック図である。 図１７は、本発明の実施例２に係る補間処理の対象となる色コーディング例を示した図である。 図１８は、色コーディング例を正方格子で表現した図である。 図１９は、実施例２に係る補間処理を実行する補間処理回路の構成の一例を示したブロック図である。 図２０は、前段補間処理回路による補間処理の結果を示した図である。 図２１は、後段補間処理回路による補間処理の結果を示した図である。 図２２は、ベイヤー配列、色コーディング１、色コーディング２での空間解像度特性を示した図である。 図２３は、実施例２に係る補間処理を実行する補間処理回路の変形例を示したブロック図である。 図２４は、ベイヤー配列の色コーディングを示した図である。 図２５は、色コーディングが施された画像をデモザイク処理する様子を示した図である。 図２６は、補間画素Ｘの周囲４画素をそれぞれ中心としたＨＶ方向の相関値を算出する様子を示した図である。 図２７は、Ｓ_Ｈ_Ｇ４とＳ_Ｈ_Ｇ１３を信頼できる相関値として選択した様子を示した図である。 図２８は、補間画素Ｘを中心としたＨＶ方向の相関値を算出する様子を示した図である。 図２９は、補間画素Ｘの周囲４画素をそれぞれ中心としたＮＨ及びＮＶ方向の相関値を算出する様子を示した図である。 図３０は、Ｓ_ＮＨ_Ｇ５とＳ_ＮＨ_Ｇ９を信頼できる相関値として選択した様子を示した図である。 図３１は、補間画素Ｘ中心としたＮＨ及びＮＶ方向の相関値を算出する様子を示した図である。 図３２は、補Ｓ_Ｈ（図１４中の相関線（Ａ））から０．５を引き算した絶対値からなる相関線と、Ｓ_ＮＨ（図１４中の相関線（Ｂ））から０．５を引き算した絶対値からなる相関線をそれぞれプロットした相関線図である。

符号の説明

１１…撮像レンズ
１２…撮像デバイス
１４…カメラ信号処理回路
２１…光学系補正回路
２２…ＷＢ（ホワイトバランス）回路
２３、２３Ａ、２３Ｂ、２３Ｂ′…補間処理回路
２４…ガンマ補正回路
２５…Ｙ（輝度）信号処理回路
２６…Ｃ（クロマ）信号処理回路
２７…帯域制限ＬＰＦ（ローパスフィルタ）
２８…間引き処理回路
３１〜３４、３７〜４０…相関値算出回路
３５、４１…選択回路
３６、４２…平均値算出回路
４３…比較回路
４４…判定回路
４５…補間回路

Claims (38)

1. 色コーディング用の色フィルタを有する撮像手段により撮像された画像を処理する画像処理装置において、
   画像信号を入力する手段と、
   前記画像信号について、画素間の相関度合いを示す、少なくとも第１の相関値及び第２の相関値を算出する相関値算出手段と、
   前記第１の相関値と前記第２の相関値とに基づいて、所望の画素を補間する際に使用する他の画素を特定する補間用画素特定手段と、
   前記補間用画素特定手段により特定された画素から前記所望の画素を補間する補間手段と、
   を具備することを特徴とする画像処理装置。
2. 前記相関値算出手段は、直交する２つのフィルタの出力に基づいて前記第１の相関値を算出するとともに、前記第１の相関値の算出の際とは異なる方向特性を持つ直交する２つのフィルタの出力に基づいて前記第２の相関値を算出する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記相関値算出手段は、前記第２の相関値の算出において、前記第１の相関値の算出に使用するフィルタとは所定の角度だけ方向特性がずれたフィルタを用いる、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記補間用画素特定手段は、前記第１の相関値と前記第２の相関値との相関関係を比較することにより、補間しようとする所望の画素回り３６０度の相関性に基づいて、所望の画素を補間する際に使用する他の画素を特定する、
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記色コーディング用の色フィルタ上には、各画素が水平方向及び垂直方向で等間隔となるように正方格子状に配列された画素配列に対して、輝度成分を算出する際に主成分となる色成分が、他の色成分のそれぞれの周囲を囲むように配置されている、
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記色コーディング用の色フィルタ上には、各画素が１行毎及び１列毎に画素ピッチの１／２ずつずれた斜め画素配列に対して、輝度成分を算出する際に主成分となる色成分が、他の色成分のそれぞれの周囲を囲むように配置されている、
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記の斜め画素配列に対する色コーディングを補間処理によってベイヤー配列の色コーディングにする前段補間処理手段と、
   前記ベイヤー配列の色コーディングに対して補間を用いたベイヤー補間処理を行なう後段補間処理手段と、
   を有することを特徴とする請求項１に記載の画像処理装置。
8. 色コーディング用の色フィルタを有する撮像手段により撮像された画像を処理する画像処理装置において、
   画像信号を入力する手段と、
   前記画像信号について、画素間の相関度合いを示す、少なくとも第１の相関値及び第２の相関値を算出する相関値算出手段と、
   前記相関値算出手段により算出した各相関値に関する信頼度を算出する信頼度算出手段と、
   前記信頼度に応じた補間処理で所望の画素を補間する補間手段と、
   を具備することを特徴とする画像処理装置。
9. 前記信頼度算出手段は、前記相関値算出手段により算出された各相関値の和に基づいて信頼度を算出する、
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記補間手段は、前記信頼度が所定の範囲外にあるときには、補間する前記所望の画素の周辺画素の情報の平均値を用いて補間を行なう、
    ことを特徴とする請求項８に記載の画像処理装置。
11. 前記補間手段は、前記信頼度が所定の範囲内に収まるときには、前記第１の相関値と前記第２の相関値とに基づいて、補間する前記所望の画素の周辺画素の中から補間に使用する画素を特定し、該特定された画素を用いて補間を行なう、
    ことを特徴とする請求項８に記載の画像処理装置。
12. 色コーディング用の色フィルタを有する撮像手段により撮像された画像を処理する画像処理方法において、
    前記撮像手段による画像信号について、画素間の相関度合いを示す、少なくとも第１の相関値及び第２の相関値を算出する相関値算出ステップと、
    前記第１の相関値と前記第２の相関値とに基づいて、所望の画素を補間する際に使用する他の画素を特定する補間用画素特定ステップと、
    前記補間用画素特定ステップにおいて特定された画素から前記所望の画素を補間する補間ステップと、
    を具備することを特徴とする画像処理方法。
13. 前記相関値算出ステップでは、直交する２つのフィルタの出力に基づいて前記第１の相関値を算出するとともに、前記第１の相関値の算出の際とは異なる方向特性を持つ直交する２つのフィルタの出力に基づいて前記第２の相関値を算出する、
    ことを特徴とする請求項１２に記載の画像処理方法。
14. 前記相関値算出ステップでは、前記第２の相関値の算出において、前記第１の相関値の算出に使用するフィルタとは所定の角度だけ方向特性がずれたフィルタを適用する、
    ことを特徴とする請求項１３に記載の画像処理方法。
15. 前記補間用画素特定ステップでは、前記第１の相関値と前記第２の相関値との相関関係を比較することにより、補間しようとする所望の画素回り３６０度の相関性に基づいて、所望の画素を補間する際に使用する他の画素を特定する、
    ことを特徴とする請求項１３に記載の画像処理方法。
16. 各画素が水平方向及び垂直方向で等間隔となるように正方格子状に配列された画素配列に対して、輝度成分を算出する際に主成分となる色成分が、他の色成分のそれぞれの周囲を囲むように配置された色フィルタにより色コーディングが施された画像信号について前記の各ステップを実施して、前記の輝度成分を算出する際に主成分となる色成分の色フィルタ配列補間を行なう、
    ことを特徴とする請求項１２に記載の画像処理方法。
17. 各画素が１行毎及び１列毎に画素ピッチの１／２ずつずれた斜め画素配列に対して、輝度成分を算出する際に主成分となる色成分が、他の色成分のそれぞれの周囲を囲むように配置された色フィルタにより色コーディングが施された画像信号について前記の各ステップを実施して、前記の輝度成分を算出する際に主成分となる色成分の色フィルタ配列補間を行なう、
    ことを特徴とする請求項１２に記載の画像処理方法。
18. 前記の斜め画素配列に対する色コーディングを補間処理によってベイヤー配列の色コーディングにする前段補間処理ステップと、
    前記ベイヤー配列の色コーディングに対して補間を用いたベイヤー補間処理を行なう後段補間処理ステップと、
    を有することを特徴とする請求項１２に記載の画像処理方法。
19. 色コーディング用の色フィルタを有する撮像手段により撮像された画像を処理する画像処理方法において、
    前記撮像手段による画像信号について、画素間の相関度合いを示す、少なくとも第１の相関値及び第２の相関値を算出する相関値算出ステップと、
    前記相関値算出ステップにおいて算出した各相関値に関する信頼度を算出する信頼度算出ステップと、
    前記信頼度に応じた補間処理で所望の画素を補間する補間ステップと、
    を具備することを特徴とする画像処理方法。
20. 前記信頼度算出ステップでは、前記相関値算出ステップにおいて算出された各相関値の和に基づいて信頼度を算出する、
    ことを特徴とする請求項１９に記載の画像処理方法。
21. 前記補間ステップでは、前記信頼度が所定の範囲外にあるときには、補間する前記所望の画素の周辺画素の情報の平均値を用いて補間を行なう、
    ことを特徴とする請求項１９に記載の画像処理方法。
22. 前記補間ステップでは、前記信頼度が所定の範囲内に収まるときには、前記第１の相関値と前記第２の相関値とに基づいて、補間する前記所望の画素の周辺画素の中から補間に使用する画素を特定し、該特定された画素を用いて補間を行なう、
    ことを特徴とする請求項１９に記載の画像処理方法。
23. 色コーディング用の色フィルタを有する撮像手段と、
    前記撮像手段により撮像された画像信号について、画素間の相関度合いを示す、少なくとも第１の相関値及び第２の相関値を算出する相関値算出手段と、
    前記第１の相関値と前記第２の相関値とに基づいて、所望の画素を補間する際に使用する他の画素を特定する補間用画素特定手段と、
    前記補間用画素特定手段により特定された画素から前記所望の画素を補間する補間手段と、
    前記補間手段により画素が補間された画像情報に対し、色空間分離又はその他の信号処理を施す信号処理手段と、
    を含むことを特徴とする撮像装置。
24. 色コーディング用の色フィルタを有する撮像手段と、
    前記撮像手段により撮像された画像信号について、画素間の相関度合いを示す、少なくとも第１の相関値及び第２の相関値を算出する相関値算出手段と、
    前記相関値算出手段により算出した各相関値に関する信頼度を算出する信頼度算出手段と、
    前記信頼度に応じた補間処理で所望の画素を補間する補間手段と、
    前記補間手段により画素が補間された画像情報に対し、色空間分離又はその他の信号処理を施す信号処理手段と、
    を含むことを特徴とする撮像装置。
25. 色コーディング用の色フィルタを有する撮像手段により撮像された画像に対する処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムにおいて、前記コンピュータに対し、
    前記撮像手段による画像信号について、画素間の相関度合いを示す、少なくとも第１の相関値及び第２の相関値を算出する相関値算出手順と、
    前記第１の相関値と前記第２の相関値とに基づいて、所望の画素を補間する際に使用する他の画素を特定する補間用画素特定手順と、
    前記補間用画素特定手順を実行して特定された画素から前記所望の画素を補間する補間手順と、
    を実行させることを特徴とするコンピュータ・プログラム。
26. 色コーディング用の色フィルタを有する撮像手段により撮像された画像に対する処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムにおいて、前記コンピュータに対し、
    前記撮像手段による画像信号について、画素間の相関度合いを示す、少なくとも第１の相関値及び第２の相関値を算出する相関値算出手順と、
    前記相関値算出手順を実行して算出された各相関値に関する信頼度を算出する信頼度算出手順と、
    前記信頼度に応じた補間処理で所望の画素を補間する補間手順と、
    を実行させることを特徴とするコンピュータ・プログラム。
27. 所定の色コーディングのフィルタを有する固体撮像装置上の補間対象の画素に関して、画像の相関度合いを示す複数の相関値を算出する相関値算出手段と、
    前記相関値算出手段で算出された前記複数の相関値を、相関値を異なった方向に対して最低２パターン算出し、当該最低２パターンの相関値をさまざまな角度の直線に対してプロットして得た相関線と比較することによって補間すべき方向を判定する判定手段と、
    前記判定手段によって判定された方向に存在する前記補間対象の画素の周辺画素の情報を基に当該補間対象の画素に対して補間処理を行なう補間手段と、
    を具備することを特徴とする画像処理装置。
28. 前記相関値算出手段は、前記補間対象の画素の周辺画素を中心として前記複数の相関値を算出する、
    ことを特徴とする請求項２７記載の画像処理装置。
29. 前記相関値算出手段は、前記複数の相関値のうちの相関の高い上位複数の平均値を算出し、
    前記判定手段は、前記上位複数の平均値に基づいて補間すべき方向を判定する、
    ことを特徴とする請求項２７記載の画像処理装置。
30. 前記相関値算出手段は、第１の方向に対して第１のバンドパスフィルタによるフィルタリング処理を行なうことによって得られる第１のフィルタ出力と、前記第１の方向と直交する第２の方向に対して前記第１のバンドパスフィルタと同じフィルタ特性の第２のバンドパスフィルタによるフィルタリング処理を行なうことによって得られる第２のフィルタ出力との割合から前記複数の相関値を算出する、
    ことを特徴とする請求項２７記載の画像処理装置。
31. 前記異なった方向は４５度だけずれた方向である、
    ことを特徴とする請求項２７記載の画像処理装置。
32. 前記判定手段は、前記異なった方向についての２つの相関値が前記相関線上にあるときは相関の信頼性が高いとみなし、当該２つの相関値が前記相関線上にないときは相関の信頼性が低いとみなす、
    ことを特徴とする請求項３１に記載の画像処理装置。
33. 前記補間手段は、前記判定手段が相関の信頼性が高いと判定したときは、当該判定手段によって判定された方向に存在する前記補間対象の画素の周辺画素の情報を用いて補間を行ない、前記判定手段が相関の信頼性が低いと判定したときは、前記周辺画素の情報の平均値を用いて補間を行なう、
    ことを特徴とする請求項３２に記載の画像処理装置。
34. 前記所定の色コーディングは、画素が水平方向及び垂直方向で等間隔となるように正方格子状に配列された画素配列に対して、輝度成分を作る上で主成分となる色成分が、他の色成分の各々の周囲を囲むように配置されている、
    ことを特徴とする請求項２７に記載の画像処理装置。
35. 前記所定の色コーディングは、画素が１行毎及び１列毎に画素ピッチの１／２ずつずれた斜め画素配列に対して、輝度成分を作る上で主成分となる色成分が、他の色成分の各々の周囲を囲むように配置されている、
    ことを特徴とする請求項２７に記載の画像処理装置。
36. 前記斜め画素配列に対する色コーディングを補間処理によってベイヤー配列の色コーディングにする前段補間処理手段と、
    前記ベイヤー配列の色コーディングに対して補間を用いたベイヤー補間処理を行なう後段補間処理手段をさらに備え、
    前記前段補間処理手段は、
    補間対象の画素に関して、画像の相関度合いを示す複数の相関値を算出する相関値算出手段と、
    前記相関値算出手段で算出された前記複数の相関値を、相関値を異なった方向に対して最低２パターン算出し、当該最低２パターンの相関値をさまざまな角度の直線に対してプロットして得た相関線と比較することによって補間すべき方向を判定する判定手段と、
    前記判定手段によって判定された方向に存在する前記補間対象の画素の周辺画素の情報を基に当該補間対象の画素に対して補間処理を行なう補間手段を備える、
    ことを特徴とする請求項３５に記載の画像処理装置。
37. 所定の色コーディングのフィルタを有する固体撮像装置上の補間対象の画素に関して、画像の相関度合いを示す複数の相関値を算出する第１ステップと、
    前記第１ステップで算出した前記複数の相関値を、相関値を異なった方向に対して最低２パターン算出し、当該最低２パターンの相関値を様々な角度の直線に対してプロットして得た相関線と比較することによって補間すべき方向を判定する第２ステップと、
    前記第２ステップで判定した方向に存在する前記補間対象の画素の周辺画素の情報を基に当該補間対象の画素に対して補間処理を行なう第３ステップと
    を具備することを特徴とする画像処理方法。
38. 所定の色コーディングのフィルタを有する固体撮像装置と、前記固体撮像装置の出力信号を処理する画像処理装置とを具備する撮像装置であって、前記画像処理装置は、
    前記固体撮像装置上の補間対象の画素に関して、画像の相関度合いを示す複数の相関値を算出する相関値算出手段と、
    前記相関値算出手段で算出された前記複数の相関値を、相関値を異なった方向に対して最低２パターン算出し、当該最低２パターンの相関値をさまざまな角度の直線に対してプロットして得た相関線と比較することによって補間すべき方向を判定する判定手段と、
    前記判定手段によって判定された方向に存在する前記補間対象の画素の周辺画素の情報を基に当該補間対象の画素に対して補間処理を行なう補間処理手段と、
    を具備することを特徴とする撮像装置。