JP4730105B2 - 画像処理装置および方法、学習装置および方法、並びにプログラム - Google Patents

Description

本発明は画像処理装置および方法、学習装置および方法、並びにプログラムに関し、特に、より高精細な画像を得ることができるようにした画像処理装置および方法、学習装置および方法、並びにプログラムに関する。

CCD（Charge Coupled Devices）などの撮像素子を利用して画像を撮像する撮像装置においては、撮像装置の小型化を図るために、撮像素子として単板CCDが用いられることが多い。この単板CCDにおいては、各画素はＲ（赤）、Ｇ（緑）、およびＢ（青）の３原色のうちのいずれかの色のデータのみを出力し、各画素がどの色のデータを出力するかは単板CCDの前面に配置された色フィルタアレイによって定まる。

例えば、Ｇの色フィルタが配置された画素は、Ｇの成分のデータを出力するが、Ｒの成分およびＢの成分は出力しない。また、Ｒの色フィルタが配置された画素は、Ｒの成分のデータは出力するが、Ｇの成分およびＢの成分は出力しない。同様に、Ｂの色フィルタが配置された画素は、Ｂの成分は出力するが、Ｇの成分およびＲの成分は出力しない。

ところで、撮像により得られた画像データに対して各種の処理を行う場合、画素毎にRGBの各色成分が必要となる。そこで、従来の撮像装置には、クラス分類適応処理により単板CCDが出力する画像データから、３板CCD出力相当の画像データを求めるものもある（例えば、特許文献１参照）。

特開２００２−６４８３６号公報

しかしながら、上述した技術においては、３板CCD出力相当の画像の注目している画素の所定の色（の画素値）を予測するために用いる予測タップとして、単板CCDの画像の予測する色とは異なる色の画素を用いた場合、予測する色の画素のダイナミックレンジに対して、異なる色の画素のダイナミックレンジが大きすぎると画像に破綻が生じてしまう。

例えば、図１に示すように、所定の位置ＡにおけるＲ（赤）の画素値を予測するために、予測タップとしてＧ（緑）の画素を用いると、求められたＲの画素値は、周囲の位置のＲの画素値と比べて突出した値となってしまう。なお、図中、横軸は撮像された画像における位置を示し、縦軸は各位置における各色の画素値（レベル）を示している。

曲線１１は、現実世界の各位置におけるＧの値（波形）を示しており、Ｇの値は位置Ａの前後において急峻に増加している。また、曲線１２は、現実世界の各位置におけるＲの値（波形）を示しており、Ｒの値は曲線１１に示されるＧの値と比べると、位置Ａの前後においてなだらかに増加している。

さらに、図中、丸および四角形は、それぞれ撮像により得られたＧの画素（の画素値）およびＲの画素（の画素値）を示している。ここで、図１の左側の図の丸により示される３つのＧの画素、および四角形により示される２つのＲの画素を予測タップとして用いて、クラス分類適応処理により位置ＡにおけるＲの画素値を予測する場合を考える。

この場合、予測タップとして用いられるＧの画素のダイナミックレンジは、予測タップとして用いられるＲの画素のダイナミックレンジと比較して非常に大きく、位置Ａの付近においてＧの画素値は急激に変化している。ここで、画素のダイナミックレンジとは、予測タップを構成する画素の画素値の最大値と最小値との差をいう。

位置Ａの付近におけるＧの画素値の急激な変化は、位置ＡのＲの画素値の予測にも影響を与え、位置ＡにおけるＲの波形の傾きの大きさが、位置ＡにおけるＧの波形の傾きの大きさと同じ大きさとなるように、位置ＡにおけるＲの画素値が予測される。

そのため、図１の右側の図の三角形に示すように、予測により得られた位置ＡのＲの画素値は、周囲のＧの画素に影響されて過度（過剰）に強調され、周囲のＲの画素値と比べて図中、上方向に突出してしまう。したがって、曲線１３に示すように、クラス分類適応処理によって得られた画像のＲの画素値は、位置Ａにおける画素値だけが周囲の画素値に比べて大きくなってしまう。

逆に、３板CCD出力相当の画像の注目している画素の所定の色（の画素値）を予測するために用いる予測タップとして、単板CCDの画像の予測する画素の色とは異なる色の画素を用いた場合、予測する色の画素のダイナミックレンジに対して、異なる色の画素のダイナミックレンジが小さすぎると、その異なる色の画素は、予測する色の画素値に殆ど影響を与えないために、予測する色の画素が充分に強調されず、クラス分類適応処理により得られた３板CCD出力相当の画像は、精細感のないものとなってしまう。

本発明は、このような状況に鑑みてなされたものであり、より精度よく高精細な画像を得ることができるようにするものである。

本発明の第１の側面の画像処理装置は、コンポーネント映像信号の第１の成分の値を有する画素と、第２の成分の値を有する画素とから構成される第１の画像データを、前記第１の成分の値および前記第２の成分の値を有する画素から構成される第２の画像データに変換する画像処理装置であって、前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出する予測タップ抽出手段と、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出するクラスタップ抽出手段と、前記クラスタップを用いて、前記注目画素のクラス分類を行うクラス分類手段と、前記予測タップを構成する画素が有する前記第１の成分の値のダイナミックレンジと、前記予測タップを構成する画素が有する前記第２の成分の値のダイナミックレンジとが等しくなるように前記予測タップを正規化する正規化手段と、前記注目画素のクラスについて予め求められているタップ係数と、正規化された前記予測タップとを用いて、前記注目画素の前記第１の成分の値、または前記第２の成分の値を予測演算する予測演算手段とを備える。

前記正規化手段には、前記注目画素の前記第１の成分の値を予測演算する場合、前記第１の成分の値のダイナミックレンジの値を前記第２の成分の値のダイナミックレンジの値で除算して得られる値を、前記予測タップを構成する画素が有する前記第２の成分の値に乗算させることにより前記予測タップを正規化させることができる。

前記第１の成分または前記第２の成分は、赤、青、または緑のいずれかの色を表す成分とすることができる。

前記第１の成分または前記第２の成分は、輝度または色差を表す成分とすることができる。

本発明の第１の側面の画像処理方法は、コンポーネント映像信号の第１の成分の値を有する画素と、第２の成分の値を有する画素とから構成される第１の画像データを、前記第１の成分の値および前記第２の成分の値を有する画素から構成される第２の画像データに変換する画像処理方法であって、前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出し、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出し、前記クラスタップを用いて、前記注目画素のクラス分類を行い、前記予測タップを構成する画素が有する前記第１の成分の値のダイナミックレンジと、前記予測タップを構成する画素が有する前記第２の成分の値のダイナミックレンジとが等しくなるように前記予測タップを正規化し、前記注目画素のクラスについて予め求められているタップ係数と、正規化された前記予測タップとを用いて、前記注目画素の前記第１の成分の値、または前記第２の成分の値を予測演算するステップを含む。

本発明の第１の側面のプログラムは、コンポーネント映像信号の第１の成分の値を有する画素と、第２の成分の値を有する画素とから構成される第１の画像データを、前記第１の成分の値および前記第２の成分の値を有する画素から構成される第２の画像データに変換する画像処理をコンピュータに実行させるプログラムであって、前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出し、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出し、前記クラスタップを用いて、前記注目画素のクラス分類を行い、前記予測タップを構成する画素が有する前記第１の成分の値のダイナミックレンジと、前記予測タップを構成する画素が有する前記第２の成分の値のダイナミックレンジとが等しくなるように前記予測タップを正規化し、前記注目画素のクラスについて予め求められているタップ係数と、正規化された前記予測タップとを用いて、前記注目画素の前記第１の成分の値、または前記第２の成分の値を予測演算するステップを含む。

本発明の第１の側面においては、コンポーネント映像信号の第１の成分の値を有する画素と、第２の成分の値を有する画素とから構成される第１の画像データが、前記第１の成分の値および前記第２の成分の値を有する画素から構成される第２の画像データに変換される場合、前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素が、前記第１の画像データから予測タップとして抽出され、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素が、前記第１の画像データからクラスタップとして抽出され、前記クラスタップが用いられて、前記注目画素のクラス分類が行われ、前記予測タップを構成する画素が有する前記第１の成分の値のダイナミックレンジと、前記予測タップを構成する画素が有する前記第２の成分の値のダイナミックレンジとが等しくなるように前記予測タップが正規化され、前記注目画素のクラスについて予め求められているタップ係数と、正規化された前記予測タップとが用いられて、前記注目画素の前記第１の成分の値、または前記第２の成分の値が予測演算される。

本発明の第２の側面の学習装置は、コンポーネント映像信号の第１の成分および第２の成分の値を有する画素から構成される第１の画像データから、注目している画素である注目画素の前記第１の成分の値を抽出する注目画素抽出手段と、前記注目画素を予測するために用いる複数の画素を、前記第１の成分の値を有する画素と、前記第２の成分の値を有する画素とから構成される第２の画像データから予測タップとして抽出する予測タップ抽出手段と、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第２の画像データからクラスタップとして抽出するクラスタップ抽出手段と、前記クラスタップを用いて、前記注目画素のクラス分類を行うクラス分類手段と、前記予測タップを構成する画素が有する前記第１の成分の値のダイナミックレンジと、前記予測タップを構成する画素が有する前記第２の成分の値のダイナミックレンジとが等しくなるように前記予測タップを正規化する正規化手段と、前記注目画素の前記第１の成分の値、および正規化された前記予測タップを用いて、正規化された前記予測タップから前記注目画素の前記第１の成分の値を予測するために用いられる、前記注目画素のクラスに対応するタップ係数を求める演算手段とを備える。

前記正規化手段には、前記注目画素の前記第１の成分の値を予測するために用いられる前記タップ係数を求める場合、前記第１の成分の値のダイナミックレンジの値を前記第２の成分の値のダイナミックレンジの値で除算して得られる値を、前記予測タップを構成する画素が有する前記第２の成分の値に乗算させることにより前記予測タップを正規化させることができる。

前記第１の成分または前記第２の成分は、赤、青、または緑のいずれかの色を表す成分とすることができる。

前記第１の成分または前記第２の成分は、輝度または色差を表す成分とすることができる。

本発明の第２の側面の学習方法またはプログラムは、コンポーネント映像信号の第１の成分および第２の成分の値を有する画素から構成される第１の画像データから、注目している画素である注目画素の前記第１の成分の値を抽出し、前記注目画素を予測するために用いる複数の画素を、前記第１の成分の値を有する画素と、前記第２の成分の値を有する画素とから構成される第２の画像データから予測タップとして抽出し、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第２の画像データからクラスタップとして抽出し、前記クラスタップを用いて、前記注目画素のクラス分類を行い、前記予測タップを構成する画素が有する前記第１の成分の値のダイナミックレンジと、前記予測タップを構成する画素が有する前記第２の成分の値のダイナミックレンジとが等しくなるように前記予測タップを正規化し、前記注目画素の前記第１の成分の値、および正規化された前記予測タップを用いて、正規化された前記予測タップから前記注目画素の前記第１の成分の値を予測するために用いられる、前記注目画素のクラスに対応するタップ係数を求めるステップを含む。

本発明の第２の側面においては、コンポーネント映像信号の第１の成分および第２の成分の値を有する画素から構成される第１の画像データから、注目している画素である注目画素の前記第１の成分の値が抽出され、前記注目画素を予測するために用いる複数の画素が、前記第１の成分の値を有する画素と、前記第２の成分の値を有する画素とから構成される第２の画像データから予測タップとして抽出され、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素が、前記第２の画像データからクラスタップとして抽出され、前記クラスタップが用いられて、前記注目画素のクラス分類が行われ、前記予測タップを構成する画素が有する前記第１の成分の値のダイナミックレンジと、前記予測タップを構成する画素が有する前記第２の成分の値のダイナミックレンジとが等しくなるように前記予測タップが正規化され、前記注目画素の前記第１の成分の値、および正規化された前記予測タップが用いられて、正規化された前記予測タップから前記注目画素の前記第１の成分の値を予測するために用いられる、前記注目画素のクラスに対応するタップ係数が求められる。

本発明の第１の側面によれば、高精細な画像を得ることができる。特に、本発明の第１の側面によれば、より精度よく高精細な画像を得ることができる。

また、本発明の第２の側面によれば、高精細な画像を得ることができる。特に、本発明の第２の側面によれば、より精度よく高精細な画像を得ることができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の第１の側面の画像処理装置は、コンポーネント映像信号の第１の成分の値を有する画素と、第２の成分の値を有する画素とから構成される第１の画像データを、前記第１の成分の値および前記第２の成分の値を有する画素から構成される第２の画像データに変換する画像処理装置（例えば、図３の撮像装置４１）であって、前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出する予測タップ抽出手段（例えば、図５の予測タップブロック化回路１１４）と、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出するクラスタップ抽出手段（例えば、図５のADRCブロック化回路１１１）と、前記クラスタップを用いて、前記注目画素のクラス分類を行うクラス分類手段（例えば、図５のクラス分類回路１１３）と、前記予測タップを構成する画素が有する前記第１の成分の値のダイナミックレンジと、前記予測タップを構成する画素が有する前記第２の成分の値のダイナミックレンジとが等しくなるように前記予測タップを正規化する正規化手段（例えば、図５の予測タップ正規化部１１５）と、前記注目画素のクラスについて予め求められているタップ係数と、正規化された前記予測タップとを用いて、前記注目画素の前記第１の成分の値、または前記第２の成分の値を予測演算する予測演算手段（例えば、図５の適応処理回路１１６）とを備える。

前記正規化手段には、前記注目画素の前記第１の成分の値を予測演算する場合、前記第１の成分の値のダイナミックレンジの値を前記第２の成分の値のダイナミックレンジの値で除算して得られる値を、前記予測タップを構成する画素が有する前記第２の成分の値に乗算させることにより前記予測タップを正規化させる（例えば、図６のステップＳ４９の処理）ことができる。

本発明の第１の側面の画像処理方法は、コンポーネント映像信号の第１の成分の値を有する画素と、第２の成分の値を有する画素とから構成される第１の画像データを、前記第１の成分の値および前記第２の成分の値を有する画素から構成される第２の画像データに変換する画像処理方法であって、前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出し（例えば、図６のステップＳ４８）、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出し（例えば、図６のステップＳ４５）、前記クラスタップを用いて、前記注目画素のクラス分類を行い（例えば、図６のステップＳ４７）、前記予測タップを構成する画素が有する前記第１の成分の値のダイナミックレンジと、前記予測タップを構成する画素が有する前記第２の成分の値のダイナミックレンジとが等しくなるように前記予測タップを正規化し（例えば、図６のステップＳ４９）、前記注目画素のクラスについて予め求められているタップ係数と、正規化された前記予測タップとを用いて、前記注目画素の前記第１の成分の値、または前記第２の成分の値を予測演算する（例えば、図６のステップＳ５０）ステップを含む。

なお、本発明の第１の側面のプログラムも、上述した本発明の第１の側面の画像処理方法と基本的に同様の処理であるため、繰り返しになるのでその説明は省略する。

本発明の第２の側面の学習装置（例えば、図１１の学習装置２０１）は、コンポーネント映像信号の第１の成分および第２の成分の値を有する画素から構成される第１の画像データから、注目している画素である注目画素の前記第１の成分の値を抽出する注目画素抽出手段（例えば、図１１の教師画像ブロック化回路２１７）と、前記注目画素を予測するために用いる複数の画素を、前記第１の成分の値を有する画素と、前記第２の成分の値を有する画素とから構成される第２の画像データから予測タップとして抽出する予測タップ抽出手段（例えば、図１１の予測タップブロック化回路２１５）と、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第２の画像データからクラスタップとして抽出するクラスタップ抽出手段（例えば、図１１のADRCブロック化回路２１２）と、前記クラスタップを用いて、前記注目画素のクラス分類を行うクラス分類手段（例えば、図１１のクラス分類回路２１４）と、前記予測タップを構成する画素が有する前記第１の成分の値のダイナミックレンジと、前記予測タップを構成する画素が有する前記第２の成分の値のダイナミックレンジとが等しくなるように前記予測タップを正規化する正規化手段（例えば、図１１の予測タップ正規化部２１６）と、前記注目画素の前記第１の成分の値、および正規化された前記予測タップを用いて、正規化された前記予測タップから前記注目画素の前記第１の成分の値を予測するために用いられる、前記注目画素のクラスに対応するタップ係数を求める演算手段（例えば、図１１の演算回路２２０）とを備える。

前記正規化手段には、前記注目画素の前記第１の成分の値を予測するために用いられる前記タップ係数を求める場合、前記第１の成分の値のダイナミックレンジの値を前記第２の成分の値のダイナミックレンジの値で除算して得られる値を、前記予測タップを構成する画素が有する前記第２の成分の値に乗算させることにより前記予測タップを正規化させる（例えば、図１２のステップＳ８６の処理）ことができる。

本発明の第２の側面の学習方法またはプログラムは、コンポーネント映像信号の第１の成分および第２の成分の値を有する画素から構成される第１の画像データから、注目している画素である注目画素の前記第１の成分の値を抽出し（例えば、図１２のステップＳ８７）、前記注目画素を予測するために用いる複数の画素を、前記第１の成分の値を有する画素と、前記第２の成分の値を有する画素とから構成される第２の画像データから予測タップとして抽出し（例えば、図１２のステップＳ８５）、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第２の画像データからクラスタップとして抽出し（例えば、図１２のステップＳ８２）、前記クラスタップを用いて、前記注目画素のクラス分類を行い（例えば、図１２のステップＳ８４）、前記予測タップを構成する画素が有する前記第１の成分の値のダイナミックレンジと、前記予測タップを構成する画素が有する前記第２の成分の値のダイナミックレンジとが等しくなるように前記予測タップを正規化し（例えば、図１２のステップＳ８６）、前記注目画素の前記第１の成分の値、および正規化された前記予測タップを用いて、正規化された前記予測タップから前記注目画素の前記第１の成分の値を予測するために用いられる、前記注目画素のクラスに対応するタップ係数を求める（例えば、図１２のステップＳ９０）ステップを含む。

本発明は、動画像を撮影するデジタルビデオカメラ、静止画像を撮像するデジタルスチルカメラ、カメラ一体型VTR（Video Tape Recorder）等の映像機器、放送業務に用いられる画像処理装置、プリンタ、スキャナなどに適用することができる。

以下、図面を参照して本発明を適用した実施の形態について説明する。

図２は、本発明を適用した撮像装置が、単板CCDの出力からより高精細な画像データを生成する処理の原理を表している。

図２に示すように、撮像装置においては、ｎ×ｍ（図２では縦６×横８）の単板CCDが出力する画像データから、ｎ×ｍのＲ（赤）の画像データ、ｎ×ｍのＧ（緑）の画像データ、およびｎ×ｍのＢ（青）の画像データが、それぞれ直接演算により生成される。換言すれば、撮像装置は、単板CCDが出力する画像データを、Ｒの画像データ、Ｇの画像データ、およびＢの画像データからなる３板CCD出力相当の画像データに変換する。

撮像装置の単板CCDの前面には色フィルタアレイが配置されており、色フィルタアレイの色配列は、例えば図２の左側に示すように、ベイヤー配列と称される色配列とされる。図２では、Ｇの色のフィルタが市松状に配置され、残りの部分にＲの色のフィルタおよびＢの色のフィルタが一行ごとに交互に配置されている。

このようにして撮像装置は、単板CCDから出力されたＲの画素値を有する画素、Ｇの画素値を有する画素、およびＢの画素値を有する画素から構成される画像データを、Ｒの画素値、Ｇの画素値、およびＢの画素値を有する画素から構成される３板CCD出力相当の画像データに変換する。

図３は、以上のような原理に従って、被写体を撮像して高精細な画像データを生成する撮像装置の構成例を示すブロック図である。

撮像装置４１のレンズ５１は被写体からの光を集光し、集光した光を、アイリス５２および色フィルタアレイ５３を介して単板のCCD５４に入射させる。すなわち、レンズ５１は入射した光をCCD５４上に結像させる。また、色フィルタアレイ５３は、１画素ごとに割り当てられた色フィルタから構成され、CCD５４の前面（図中、左側）に配置されている。

CCD５４は、入射された光を光電変換して、光電変換により得られた電荷を蓄積し、蓄積した電荷をアナログ信号である画像信号としてAGC（Automatic Gain Control）/CDS（Correlated Double Sampling）回路５５に供給する。

AGS/CDS回路５５は、供給された画像信号の大きさ（レベル）が一定になるようにゲインを調整して出力するとともに、CCD５４において発生する１／ｆノイズを除去する。さらに、AGC/CDS回路５５は、メインCPU（Central Processing Unit）５９の制御に基づいて、CCD５４における電荷の蓄積時間を電気的に変化させる電子シャッタ処理も行う。AGC/CDS回路５５から出力された画像信号は、Ａ／Ｄ（Analog/Digital）変換部５６に入力され、アナログ信号からデジタル信号である画像データに変換された後、画像信号処理回路５７に入力される。画像信号処理回路５７は、入力された画像データに対して、欠陥補正処理、デジタルクランプ処理、ホワイトバランス調整処理、ガンマ補正処理、クラス分類適応処理を用いた補間処理などの所定の処理を行う。

タイミングジェネレータ５８は、メインCPU５９の制御に基づいて、各種のタイミング信号を発生し、CCD５４、AGC/CDS回路５５、Ａ／Ｄ変換部５６、メインCPU５９などに供給する。

モータ６０は、メインCPU５９の制御に基づいて、アイリス５２を駆動し、レンズ５１からCCD５４に入射される光の量を制御する。モータ６１は、メインCPU５９により制御され、レンズ５１を制御して、レンズ５１のCCD５４に対するフォーカス状態を制御する。発光部６２は、メインCPU５９により制御され、撮像時に被写体に対して所定の閃光を照射する。

記録媒体インターフェース６３は、画像信号処理回路５７から出力された画像データを、必要に応じてメモリ６４に記憶させ、所定のインターフェース処理を実行した後、記録媒体６５に供給して記録させる。記録媒体６５は、例えば、不揮発性のフラッシュメモリ、磁気ディスク、光ディスク、光磁気ディスクなどから構成され、撮像装置４１に着脱可能とされている。

コントローラ６６は、メインCPU５９の制御のもと、画像信号処理回路５７および記録媒体インターフェース６３を制御する。また、メインCPU５９には、シャッタボタンやスイッチなどから構成される操作部７０から、撮像者の操作に応じて各種の指令が入力される。電源部６７は、バッテリ６８およびDC/DCコンバータ６９を内蔵しており、DC/DCコンバータ６９は、バッテリ６８からの電力を所定の値の直流電圧に変換し、撮像装置４１の各部に供給する。充電可能なバッテリ６８は、撮像装置４１に着脱可能とされている。

次に、図４のフローチャートを参照して、撮像装置４１が所定の被写体を撮像し、撮像により得られた画像データを記録媒体６５に記録させる処理について説明する。

ステップＳ１１において、レンズ５１は被写体からの光を集光し、集光した光をアイリス５２および色フィルタアレイ５３を介してCCD５４に入射させる。また、メインCPU５９は、モータ６０を制御してアイリス５２を駆動し、CCD５４に入射するレンズ５１からの光量を所定の値に調整させるとともに、モータ６１を制御してレンズ５１の位置を調整させ、フォーカス制御を実行する。

ステップＳ１２において、メインCPU５９は、撮像者によりシャッタボタンが操作されたか否かを判定する。例えば、撮像者が撮像装置４１に設けられた、図示せぬモニタやファインダに表示された画像を見ることで画角を確認し、シャッタボタンとしての操作部７０を操作すると、操作部７０からメインCPU５９には、シャッタボタンが操作された旨の信号が供給される。メインCPU５９は、シャッタボタンが操作された旨の信号が供給された場合、シャッタボタンが操作されたと判定する。

ステップＳ１２において、シャッタボタンが操作されていないと判定された場合、処理はステップＳ１１に戻り、それ以降の処理が繰り返される。

これに対して、ステップＳ１２において、シャッタボタンが操作されたと判定された場合、処理はステップＳ１３に進む。また、このとき、メインCPU５９は発光部６２を駆動して閃光を発生させ、被写体に照射させるとともに、タイミングジェネレータ５８を制御して各種のタイミング信号を発生させる。タイミングジェネレータ５８は、発生させたタイミング信号をCCD５４、AGC/CDS回路５５、Ａ／Ｄ変換部５６、およびメインCPU５９に供給する。

ステップＳ１３において、CCD５４は、タイミングジェネレータ５８からのタイミング信号に同期して、レンズ５１から入射した光を光電変換し（電荷に変換し）、これにより得られたアナログ信号を画像信号としてAGC/CDS回路５５に供給する。

ステップＳ１４において、AGC/CDS回路５５は、CCD５４から供給された画像信号の１／ｆノイズ成分を除去する処理を行った後、画像信号の大きさが一定になるようにゲインを調整して画像信号をＡ／Ｄ変換部５６に供給する。

ステップＳ１５において、Ａ／Ｄ変換部５６は、AGC/CDS回路５５から供給された画像信号をアナログ信号からデジタル信号である画像データに変換し、変換により得られた画像データを画像信号処理回路５７に供給する。

ステップＳ１６において、画像信号処理回路５７はＡ／Ｄ変換部５６から供給された画像データに対して、画像信号処理を施す。その詳細は図６のフローチャートを参照して後述するが、欠陥補正処理、デジタルクランプ処理、ホワイトバランス調整処理、ガンマ補正処理、クラス分類適応処理などの画像信号処理が施される。画像信号処理回路５７は、画像信号処理を施した画像データを必要に応じてメモリ６４に一時的に記憶させ、記録媒体インターフェース６３を介して記録媒体６５に供給する。

ステップＳ１７において、記録媒体６５は、記録媒体インターフェース６３から供給された画像データを記録して、撮像処理は終了する。なお、撮像により得られた画像データを記録媒体６５に記録せずに、撮像装置４１に接続された他の装置に所定の信号フォーマットで出力するようにしてもよい。

このようにして、撮像装置４１は被写体を撮像し、撮像により得られた画像データを記録媒体６５に記録する。

ところで、画像データに対して画像信号処理を施す画像信号処理回路５７は、例えば、図５に示すように構成される。

画像信号処理回路５７は、欠陥補正回路１０１、クランプ回路１０２、ホワイトバランス回路１０３、ガンマ補正回路１０４、補間処理部１０５、補正回路１０６、およびRGBマトリクス回路１０７から構成される。

単板のCCD５４（図３）から出力された画像信号（画像データ）は、Ａ／Ｄ変換部５６（図３）を介して欠陥補正回路１０１に供給される。ここで、欠陥補正回路１０１に供給される画像データは、例えば、Ｒ（赤）、Ｇ（緑）、およびＢ（青）のそれぞれの色を成分とするコンポーネント映像信号とされる。欠陥補正回路１０１は、CCD５４のうち光に反応しない画素に対応する成分、あるいは、常に電荷を保持している画素に対応する成分などの欠陥成分を検出し、検出の結果に基づいてＡ／Ｄ変換部５６から供給された画像データを補正する欠陥補正処理を行う。

また、画像信号が読み出される場合、画像の各画素の画素値を示す信号が有する値よりも小さい値が検出されると、画像の１ライン分の画像信号の読み出しが終了したと判定される。画素値を示す信号が有する値の最小値は０であるので、負の値が検出されると画像の１ライン分の画像信号の読み出しが終了したと判定されることになる。そこで、Ａ／Ｄ変換部５６は、画像信号の負の値がカットされるのを防ぐため、信号値を若干正の方向へシフトさせた状態で、アナログ信号である画像信号をデジタル信号である画像データに変換する。クランプ回路１０２は、欠陥補正回路１０１から供給された画像データの正の方向へのシフト量を元に戻すクランプ処理を行う。

ホワイトバランス回路１０３は、クランプ回路１０２から供給された画像データとしてのＲ、Ｇ、およびＢの各色信号のそれぞれのゲインの補正を行う。ガンマ補正回路１０４は、ホワイトバランス回路１０３から供給された各色信号の値をガンマ曲線に従って補正する。

補間処理部１０５は、クラス分類適応処理を行うことによって、ガンマ補正回路１０４から供給された画像データを３板CCD出力相当の画像データに変換する。また、補間処理部１０５は、変換により得られた画像データを補正回路１０６に供給する。

補間処理部１０５は、ADRC（Adaptive Dynamic Range Control）ブロック化回路１１１、ADRC処理回路１１２、クラス分類回路１１３、予測タップブロック化回路１１４、予測タップ正規化部１１５、適応処理回路１１６、および係数メモリ１１７から構成される。

ADRCブロック化回路１１１は、単板のCCD５４から出力された画像データを変換して得ようとする３板CCD出力相当の画像データ（この３板CCD出力相当の画像データはこれから求めようとする画像データであり、現段階では存在しないため仮想的に想定される）を構成する画素を、順次、注目画素とし、ガンマ補正回路１０４から供給された画像データを構成する画素のいくつかを、注目画素を複数のクラスのうちのいずれかにクラス分けするためのクラスタップとして抽出する。

また、ADRCブロック化回路１１１は、抽出したクラスタップをADRC処理回路１１２に供給する。

ADRC処理回路１１２は、ADRCブロック化回路１１１から供給されたクラスタップにADRC処理を施し、ADRC処理が施されたクラスタップをクラス分類回路１１３に供給する。クラス分類回路１１３は、ADRC処理回路１１２からのクラスタップに基づいて（クラスタップを用いて）注目画素をクラス分類し、分類されたクラスを示すクラスコード（クラス番号）を適応処理回路１１６に供給する。

予測タップブロック化回路１１４は、ガンマ補正回路１０４から供給された画像データを構成する画素のいくつかを、注目画素の画素値を予測するために用いられる予測タップとして抽出し、予測タップ正規化部１１５に供給する。

予測タップ正規化部１１５は、予測タップブロック化回路１１４から供給された予測タップを正規化して、正規化された予測タップを適応処理回路１１６に供給する。

適応処理回路１１６は、クラス分類回路１１３から供給されたクラスコードに対応するタップ係数を係数メモリ１１７から読み出し、タップ係数を予測タップ正規化部１１５から供給された予測タップを構成する画素の画素値に乗算して、必要な画素値を予測演算する。

係数メモリ１１７は注目画素の画素値を予測するために用いられるクラスごとのタップ係数（各クラスについて予め求められているタップ係数）を記憶する。例えば、係数メモリ１１７には、各クラスに分類された注目画素のＲの画素値を予測するためのタップ係数、Ｇの画素値を予測するためのタップ係数、およびＢの画素値を予測するためのタップ係数が予め記憶されている。

補正回路１０６は、補間処理部１０５の適応処理回路１１６から供給された画像データに対し、エッジ強調などの画像を視覚的に良く見せるために必要な補正処理を行う。RGBマトリクス回路１０７は、補正回路１０６から供給された画像データとしてのＲ、Ｇ、およびＢの各色信号をそのまま出力するか、または、各色信号に予め用意されている所定の変換マトリクスを乗算し、YUV方式（輝度Ｙ、色差Ｕ、および色差Ｖを成分とする信号方式）などの所定の信号フォーマットの画像データに変換して出力する。

次に、図６のフローチャートを参照して、図４のステップＳ１６の処理において、画像信号処理回路５７により行われる画像信号処理について説明する。

ステップＳ４１において、欠陥補正回路１０１は、Ａ／Ｄ変換部５６から供給された画像データに対して、欠陥画素があればこれを補正する欠陥補正処理を施し、欠陥補正処理が施された画像データをクランプ回路１０２に供給する。例えば、欠陥補正回路１０１は、光に反応しない画素、または常に電荷を有している画素に対しては、その画素の画素値を隣接する画素の画素値の平均値で置換することにより画像データを補正する。

ステップＳ４２において、クランプ回路１０２は、欠陥補正回路１０１から供給された画像データに対して、Ａ／Ｄ変換部５６におけるオフセット値を補正するためのクランプ処理を施し、クランプ処理が施された画像データをホワイトバランス回路１０３に供給する。

ステップＳ４３において、ホワイトバランス回路１０３は、クランプ回路１０２から供給された画像データに対してホワイトバランス調整処理を施し、画像データとしてのＲ、Ｇ、およびＢの各色信号のそれぞれのレベルを適正な白が表現できるレベルに調整する。そして、ホワイトバランス回路１０３は、ホワイトバランス調整処理が施された画像データをガンマ補正回路１０４に供給する。

ステップＳ４４において、ガンマ補正回路１０４は、ホワイトバランス回路１０３から供給された画像データに対してガンマ補正処理を施し、ガンマ補正処理が施された画像データを補間処理部１０５のADRCブロック化回路１１１および予測タップブロック化回路１１４に供給する。

ステップＳ４５において、ADRCブロック化回路１１１は、ガンマ補正回路１０４から供給された画像データをｐ×ｑ個（但し、ｐおよびｑは正の整数）のブロックに分割し、分割された各ブロックからクラスタップを抽出する。ADRCブロック化回路１１１は、抽出したクラスタップをADRC処理回路１１２に供給する。

例えば、図７Ａに示すように、注目画素の位置が矢印Ｋ１１により示されるＧの画素に対応する位置である場合、ADRCブロック化回路１１１は、図中、矢印Ｋ１１により示されるＧの画素の左上、左下、右上、および右下に隣接する４個のＧの画素、矢印Ｋ１１により示されるＧの画素から上下方向にＲの画素を介して隣接する２個のＧの画素、および横方向にＢの画素を介して隣接する２個のＧの画素、並びに矢印Ｋ１１により示されるＧの画素からなる計９個のＧの画素をクラスタップとして抽出する。

また、例えば、図７Ｂに示すように、注目画素の位置が矢印Ｋ１２により示されるＧの画素に対応する位置である場合、ADRCブロック化回路１１１は、図中、矢印Ｋ１２により示されるＧの画素の左上、左下、右上、および右下に隣接する４個のＧの画素、矢印Ｋ１２により示されるＧの画素から上下方向にＢの画素を介して隣接する２個のＧの画素、および横方向にＲの画素を介して隣接する２個のＧの画素、並びに矢印Ｋ１２により示されるＧの画素からなる計９個のＧの画素をクラスタップとして抽出する。

図６のフローチャートの説明に戻り、クラスタップが抽出されると、ステップＳ４６において、ADRC処理回路１１２はADRCブロック化回路１１１から供給されたクラスタップにADRC処理を施し、その結果得られたADRCコードをADRC処理が施されたクラスタップとしてクラス分類回路１１３に供給する。

例えば、ＫビットADRC処理においては、ADRC処理回路１１２は、クラスタップを構成する画素の画素値の最大値MAXおよび最小値MINを検出し、検出された画素値の最大値MAXと最小値MINとの差ＤＲ（ＤＲ=MAX-MIN）を、クラスタップを構成する画素の集合の局所的なダイナミックレンジとする。ADRC処理回路１１２はこのダイナミックレンジＤＲに基づいて、クラスタップを構成する画素（の画素値）をＫビットに再量子化する。即ち、ADRC処理回路１１２は、クラスタップを構成する各画素の画素値から最小値MINを減算し、その減算値をDR/2Kで除算（量子化）する。

そして、ADRC処理回路１１２は、以上のようにして得られるクラスタップを構成するＫビットの各画素の画素値を所定の順番で並べたビット列を、ADRCコードとして出力する。したがって、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最小値MINが減算された後に最大値MAXと最小値MINとの差の１／２で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列がADRCコードとして出力される。

ステップＳ４７において、クラス分類回路１１３は、ADRC処理回路１１２から供給されたADRCコードに基づいてクラス分類を行う。すなわち、クラス分類回路１１３は、クラスタップをADRC処理して得られたADRCコードに対応するクラスを決定し、そのクラスを示すクラスコードを生成して適応処理回路１１６に供給する。

ステップＳ４８において、予測タップブロック化回路１１４は、ガンマ補正回路１０４から供給された画像データをｐ×ｑ個（但し、ｐおよびｑは正の整数）のブロックに分割し、分割された各ブロックから予測タップを抽出する。予測タップブロック化回路１１４は、抽出した予測タップを予測タップ正規化部１１５に供給する。

例えば、図７Ａに示したように、矢印Ｋ１１により示されるＧの画素に対応する位置が注目画素の位置である場合、図８Ａに示すように、予測タップブロック化回路１１４は、矢印Ｋ１１により示されるＧの画素を含む、そのＧの画素の周囲の５×５個の画素を予測タップとして抽出する。この場合、予測タップの画素には、Ｒの画素、Ｇの画素、およびＢの画素が含まれている。

また、図７Ｂに示したように、矢印Ｋ１２により示されるＧの画素に対応する位置が注目画素の位置である場合、図８Ｂに示すように、予測タップブロック化回路１１４は、矢印Ｋ１２により示されるＧの画素を含む、そのＧの画素の周囲の５×５個の画素を予測タップとして抽出する。この場合も図８Ａにおける場合と同様に、予測タップの画素には、Ｒの画素、Ｇの画素、およびＢの画素が含まれている。

図６のフローチャートの説明に戻り、予測タップが抽出されると、ステップＳ４９において、予測タップ正規化部１１５は、予測タップブロック化回路１１４から供給された予測タップを正規化して、正規化された予測タップを適応処理回路１１６に供給する。

例えば、図９に示すように、注目画素の位置が画素Ｇ３３の位置であり、注目画素のＲの画素値を予測する場合を考える。なお、図９の１つの四角形は１つの画素を示しており、画素Ｇ１１乃至画素Ｇ５５のそれぞれは、Ｇの画素を表し、画素Ｂ１２乃至画素Ｂ５４のそれぞれは、Ｂの画素を表し、画素Ｒ２１乃至画素Ｒ４５のそれぞれは、Ｒの画素を表している。

ここで、注目画素に対する予測タップを構成する画素を、画素Ｇ３３を中心とする５×５個の画素（すなわち、図９に示す全ての画素）とすると、予測タップには、画素Ｇ１１乃至画素Ｇ５５の計１３個のＧの画素、画素Ｂ１２乃至画素Ｂ５４の計６個のＢの画素、および画素Ｒ２１乃至画素Ｒ４５の計６個のＲの画素が含まれる。

このように、Ｒの画素値を予測する場合、予測タップにＲとは異なる色のＧの画素およびＢの画素が含まれているとき、図１を参照して説明したように、Ｒの画素のダイナミックレンジに対して、Ｇの画素またはＢの画素のダイナミックレンジが大きすぎると画像に破綻が生じてしまう恐れがある。

そこで、予測タップ正規化部１１５は、予測タップを構成するＧの画素のダイナミックレンジ、およびＢの画素のダイナミックレンジが、Ｒの画素のダイナミックレンジと等しくなるように、予測タップを正規化する。

具体的には、まず、予測タップ正規化部１１５は、式（１）を計算することにより、Ｒの画素のダイナミックレンジＤＲ（Ｒ）を求める。

ＤＲ（Ｒ）＝Rmax−Rmin ・・・（１）

ここで、式（１）におけるRmaxおよびRminは、それぞれ予測タップを構成するＲの画素の画素値のうちの最大値および最小値を表している。したがって、例えば、図９の例では、予測タップを構成する画素Ｒ２１乃至画素Ｒ４５の６個のＲの画素の画素値のうちの最大値と最小値とが、それぞれRmaxおよびRminとされ、ＤＲ（Ｒ）は、その最大値と最小値との差の値とされる。

同様に、予測タップ正規化部１１５は、式（２）および式（３）を計算することにより、予測タップを構成するＧの画素のダイナミックレンジＤＲ（Ｇ）、およびＢの画素のダイナミックレンジＤＲ（Ｂ）を求める。

ＤＲ（Ｇ）＝Gmax−Gmin ・・・（２）

ＤＲ（Ｂ）＝Bmax−Bmin ・・・（３）

ここで、式（２）におけるGmaxおよびGminは、それぞれ予測タップを構成するＧの画素の画素値のうちの最大値および最小値を表しており、式（３）におけるBmaxおよびBminは、それぞれ予測タップを構成するＢの画素の画素値のうちの最大値および最小値を表している。

次に、予測タップ正規化部１１５は、求められたＲの画素およびＧの画素のダイナミックレンジＤＲ（Ｒ）およびＤＲ（Ｇ）を用いて式（４）を計算し、予測タップを構成するＧの画素の画素値を正規化する。

GNij＝Gij×（ＤＲ（Ｒ）／ＤＲ（Ｇ）） ・・・（４）

ここで、Gijは、図９におけるＧの画素Ｇｉｊ（但し、１≦ｉ≦５，１≦ｊ≦５）の画素値を示しており、GNijは正規化された画素Ｇｉｊの画素値を示している。したがって、例えば、予測タップ正規化部１１５は、式（４）を計算して画素Ｇ１１乃至画素Ｇ５５のそれぞれの画素値を正規化する。

同様に、予測タップ正規化部１１５は、求められたＲの画素およびＢの画素のダイナミックレンジＤＲ（Ｒ）およびＤＲ（Ｂ）を用いて式（５）を計算し、予測タップを構成するＢの画素の画素値を正規化する。

BNij＝Bij×（ＤＲ（Ｒ）／ＤＲ（Ｂ）） ・・・（５）

ここで、Bijは、図９におけるＢの画素Ｂｉｊ（但し、１≦ｉ≦５，１≦ｊ≦５）の画素値を示しており、BNijは正規化された画素Ｂｉｊの画素値を示している。

予測タップ正規化部１１５は、Ｇの画素の画素値、およびＢの画素の画素値を正規化すると、Ｒの画素の画素値、正規化されたＧの画素の画素値、および正規化されたＢの画素の画素値を、正規化された予測タップを構成する画素の画素値とする。

また、予測タップ正規化部１１５は、注目画素のＢの画素値を予測する場合、予測タップを構成するＧの画素の画素値に、Ｂの画素のダイナミックレンジＤＲ（Ｂ）をＧの画素のダイナミックレンジＤＲ（Ｇ）で除算した値を乗算して、Ｇの画素の画素値を正規化する。また、予測タップ正規化部１１５は、Ｒの画素の画素値に、Ｂの画素のダイナミックレンジＤＲ（Ｂ）をＲの画素のダイナミックレンジＤＲ（Ｒ）で除算した値を乗算して、Ｒの画素の画素値を正規化する。そして、予測タップ正規化部１１５は、正規化されたＲの画素の画素値、正規化されたＧの画素の画素値、およびＢの画素の画素値を、正規化された予測タップを構成する画素の画素値とする。

同様に、予測タップ正規化部１１５は、注目画素のＧの画素値を予測する場合、予測タップを構成するＢの画素の画素値に、Ｇの画素のダイナミックレンジＤＲ（Ｇ）をＢの画素のダイナミックレンジＤＲ（Ｂ）で除算した値を乗算して、Ｂの画素の画素値を正規化する。また、予測タップ正規化部１１５は、Ｒの画素の画素値に、Ｇの画素のダイナミックレンジＤＲ（Ｇ）をＲの画素のダイナミックレンジＤＲ（Ｒ）で除算した値を乗算して、Ｒの画素の画素値を正規化する。そして、予測タップ正規化部１１５は、正規化されたＲの画素の画素値、Ｇの画素の画素値、および正規化されたＢの画素の画素値を、正規化された予測タップを構成する画素の画素値とする。

このように、予測タップを正規化することによって、例えば、図１０に示すように所定の位置ＢにおけるＲの画素値を予測するために、予測タップとしてＧの画素を用いても、Ｇの画素のダイナミックレンジを、Ｒの画素のダイナミックレンジと等しくなるようにすることができる。なお、図中、横軸は撮像された画像における位置を示し、縦軸は各位置における各色の成分の画素値（レベル）を示している。

曲線１４１は、現実世界の各位置におけるＧの値（波形）を示しており、Ｇの値は位置Ｂの前後において急峻に増加している。また、曲線１４２は、現実世界の各位置におけるＲの値（波形）を示しており、Ｒの値は曲線１４１により示されるＧの値と比べると、位置Ｂの前後においてなだらかに増加している。

さらに、図中、丸および四角形は、予測タップを構成するＧの画素（の画素値）およびＲの画素（の画素値）を示している。ここで、図１０の左側の図の丸により示される３つのＧの画素、および四角形により示される２つのＲの画素を予測タップとして用いて、クラス分類適応処理により位置ＢにおけるＲの画素値を予測する場合を考える。

この場合、予測タップとして用いられるＧの画素のダイナミックレンジは、予測タップとして用いられるＲの画素のダイナミックレンジと比較して非常に大きく、位置Ｂの付近においてＧの画素値は急激に変化している。

そこで、上述したように、Ｇの画素の画素値を正規化すると、正規化されたＧの画素値（波形）は、図１０の右側の図の曲線１４３に示すように、位置Ｂの前後において曲線１４２とほぼ同じ傾きを持ち、なだらかに増加する曲線となる。このように、Ｇの画素値を正規化すると、正規化されたＧの画素のダイナミックレンジは、Ｒの画素のダイナミックレンジと等しくなり、画像に破綻が生じてしまうこともなく、予測された注目画素の画素値は適度に強調された値となる。

図６のフローチャートの説明に戻り、予測タップが正規化されると、ステップＳ５０において、適応処理回路１１６は、クラス分類回路１１３から供給されたクラスコードに対応するタップ係数を係数メモリ１１７から読み出し、そのタップ係数を予測タップ正規化部１１５からの正規化された予測タップに乗算することで、注目画素の画素値（例えば、Ｒ、Ｇ、またはＢの画素値）を予測演算する。適応処理回路１１６は、予測演算により注目画素の画素値を求めて３板CCD出力相当の画像データを生成し、補正回路１０６に供給する。

ステップＳ５１において、補間処理部１０５は、全てのブロックについてクラス分類適応処理が終了したか否かを判定する。

ステップＳ５１において、全てのブロックについてクラス分類適応処理が終了していないと判定された場合、処理はステップＳ４５に戻り、それ以降の処理が繰り返される。

これに対して、ステップＳ５１において、全てのブロックについてクラス分類適応処理が終了したと判定された場合、処理はステップＳ５２に進み、補正回路１０６は、適応処理回路１１６からの画像データに対して画像を視覚的に良く見せるための補正処理（いわゆる画像作り）を施し、補正処理が施された画像データをRGBマトリクス回路１０７に供給する。

ステップＳ５３において、RGBマトリクス回路１０７は、必要に応じて、補正回路１０６から供給された画像データとしてのＲ、Ｇ、およびＢの各色信号をYUV方式の画像データに変換するなどの色空間の変換処理を行い、変換処理により得られた画像データを記録媒体インターフェース６３に供給し、画像信号処理は終了する。

このようにして、画像信号処理回路５７は、画像データから抽出した予測タップを正規化し、正規化した予測タップを用いてクラス分類適応処理を行う。

このように、予測タップを正規化してクラス分類適応処理を行うことで、予測タップの各色の画素のダイナミックレンジを等しくすることができ、画像の破綻を抑制することができる。これにより、単板のCCD５４から出力された画像データから、より高精細な３板CCD出力相当の画像データをより精度よく生成することができる。

しかも、クラス分類適応処理により、３板CCD出力相当の画像データとしてのＲの画像データ、Ｇの画像データ、およびＢの画像データを得ることができるので、エッジ部分や細部の鮮鋭度が増して、Ｓ／Ｎ評価値も向上させることができ、より鮮明な画像を得ることができる。なお、図７および図８に注目画素に対するクラスタップおよび予測タップの一例を示したが、クラスタップまたは予測タップを構成する画素の位置は任意であり、それぞれ最も効率のよいように定められる。

次に、図５の適応処理回路１１６における予測演算と、係数メモリ１１７に記憶されたタップ係数の学習について説明する。

例えば、クラス分類適応処理として、単板のCCD５４から出力された画像データから予測タップを抽出し、その予測タップとタップ係数とを用いて、３板CCD出力相当の画像の画素（以下、適宜、高画質画素と称する）の画素値を所定の予測演算によって求める（予測する）ことを考える。

所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、式（６）に示す線形１次式によって求められることになる。

・・・（６）

但し、式（６）において、ｘ_iは、高画質画素の画素値ｙについての予測タップを構成する、ｉ番目の単板のCCD５４から出力された画像データの画素（以下、適宜、低画質画素と称する）の画素値を表し、ｗ_iは、ｉ番目の低画質画素（の画素値）と乗算されるｉ番目のタップ係数を表す。なお、式（６）では、予測タップがＮ個の低画質画素ｘ₁，ｘ₂，・・・，ｘ_Nで構成されるものとしてある。

ここで、高画質画素の画素値ｙは、式（６）に示した線形１次式ではなく、２次以上の高次の線形関数の式によって求めるようにすることも可能である。また、線形関数に限らず、非線形関数によって高画質画素の画素値を求めるようにしてもよい。

いま、第ｓサンプルの高画質画素の画素値の真値をｙ_sと表すとともに、式（６）によって得られるその真値ｙ_sの予測値をｙ_s'と表すと、その予測誤差ｅ_sは、次式（７）で表される。

ｅ_s＝（ｙ_s−ｙ_s'） ・・・（７）

いま、式（７）の予測値ｙ_s'は、式（６）にしたがって求められるため、式（７）のｙ_s'を、式（６）にしたがって置き換えると、次式（８）が得られる。

・・・（８）

但し、式（８）において、ｘ_s,iは、第ｓサンプルの高画質画素についての予測タップを構成するｉ番目の低画質画素を表す。

式（８）（または式（７））の予測誤差ｅ_sを０とするタップ係数ｗ_iが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗ_iを求めることは、一般には困難である。

そこで、タップ係数ｗ_iが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗ_iは、次式（９）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。

・・・（９）

但し、式（９）において、Ｓは、高画質画素ｙ_sと、その高画質画素ｙ_sについての予測タップを構成する低画質画素ｘ_s,1，ｘ_s,2，・・・，ｘ_s,Nとのセットのサンプル数（学習用のサンプルの数）を表す。

式（９）の自乗誤差の総和Ｅの最小値（極小値）は、式（１０）に示すように、総和Ｅをタップ係数ｗ_iで偏微分したものを０とするｗ_iによって与えられる。

・・・（１０）

一方、上述の式（８）をタップ係数ｗ_iで偏微分すると、次式（１１）が得られる。

・・・（１１）

式（１０）および式（１１）から、次式（１２）が得られる。

・・・（１２）

式（１２）のｅ_sに、式（８）を代入することにより、式（１２）は、式（１３）に示す正規方程式で表すことができる。

・・・（１３）

また、Ｘ_i,j，Ｙ_iをそれぞれ式（１４）および式（１５）により定義すると（但し、１≦ｉ≦Ｎ，１≦ｊ≦Ｎ）、式（１３）は、式（１６）により表すことができる。

・・・（１４）

・・・（１５）

・・・（１６）

式（１６）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗ_iについて解くことができる。

式（１６）の正規方程式を、クラスごとに立てて解くことにより、最適なタップ係数ｗ_i（ここでは、自乗誤差の総和Ｅを最小にするタップ係数ｗ_i）を、クラスごとに求めることができる。

図５の補間処理部１０５では、以上のようなクラスごとのタップ係数ｗ_iを用いて、式（６）の演算を行うことにより、単板のCCD５４から出力された画像データから、３板CCD出力相当の画像データを得ることができる。

次に、図１１は、式（１６）の正規方程式をクラスごとに立てて解くことによりタップ係数ｗ_iを求める学習を行う学習装置の構成例を示している。

学習装置２０１は、間引き回路２１１、ADRCブロック化回路２１２、ADRC処理回路２１３、クラス分類回路２１４、予測タップブロック化回路２１５、予測タップ正規化部２１６、教師画像ブロック化回路２１７、演算回路２１８、学習データメモリ２１９、演算回路２２０、および係数メモリ２２１から構成される。

この学習装置２０１には、タップ係数ｗ_iの学習に用いられる３板CCD出力相当の画像データ（以下、教師画像データとも称する）が入力されるようになされている。学習装置２０１において、教師画像データは間引き回路２１１および教師画像ブロック化回路２１７に供給される。

間引き回路２１１は、教師画像データから、色フィルタアレイの各色の配置にしたがって画素を間引く間引き処理を行う。この間引き処理は、撮像装置４１（図３）のCCD５４の前面に配置される色フィルタアレイ５３（光学ローパスフィルタ）を想定したフィルタをかけることによって行う。

また、間引き回路２１１は、教師画像データに対して間引き処理を施すことによって得られた、単板CCD出力相当の画像データ（以下、生徒画像データとも称する）をADRCブロック化回路２１２および予測タップブロック化回路２１５に供給する。

ADRCブロック化回路２１２は、教師画像データにおける注目画素との対応をとりながら、間引き回路２１１から供給された生徒画像データから、生徒画像データを構成する画素のうちの所定の画素をクラスタップとして抽出する。また、ADRCブロック化回路２１２は、抽出したクラスタップをADRC処理回路２１３に供給する。

ADRC処理回路２１３は、ADRCブロック化回路２１２から供給されたクラスタップにADRC処理を施し、ADRC処理が施されたクラスタップをクラス分類回路２１４に供給する。クラス分類回路２１４は、ADRC処理回路２１３からのクラスタップに基づいて注目画素をクラス分類し、分類されたクラスを示すクラスコード（クラス番号）を演算回路２１８に供給する。

予測タップブロック化回路２１５は、教師画像データにおける注目画素との対応をとりながら、間引き回路２１１から供給された生徒画像データから、生徒画像データを構成する画素のうちの所定の画素を予測タップとして抽出する。また、予測タップブロック化回路２１５は、抽出した予測タップを予測タップ正規化部２１６に供給する。

予測タップ正規化部２１６は、予測タップブロック化回路２１５から供給された予測タップを正規化して、正規化された予測タップを演算回路２１８に供給する。

教師画像ブロック化回路２１７は、生徒画像データにおけるクラスタップとの対応を取りながら、教師画像データを構成する画素を順次、注目画素とし、教師画像データから注目画素（の画素値）を抽出して演算回路２１８に供給する。

演算回路２１８は、教師画像ブロック化回路２１７から供給された注目画素と、予測タップ正規化部２１６からの正規化された予測タップとの対応をとりながら、注目画素と予測タップを構成する画素とを対象とした足し込みを、クラス分類回路２１４からのクラスコードにしたがって行う。

すなわち、演算回路２１８には、教師画像データの注目画素の画素値ｙ_s、予測タップ（を構成する生徒画像データの画素の画素値）ｘ_s,i、注目画素のクラスを表すクラスコードが供給される。

そして、演算回路２１８はクラスコードに対応するクラスごとに、正規化された予測タップ（生徒画像データ）ｘ_s,iを用い、式（１３）の左辺の行列における生徒画像データどうしの乗算（ｘ_s,iｘ_s,i）、およびその乗算された値の総和の演算に相当する演算を行う。

さらに、演算回路２１８は、クラスコードに対応するクラスごとに、予測タップ（生徒画像データ）ｘ_s,iおよび教師画像データｙ_sを用い、式（１３）の右辺のベクトルにおける生徒画像データｘ_s,iおよび教師画像データｙ_sの乗算（ｘ_s,iｙ_s）、並びにその乗算された値の総和の演算に相当する演算を行う。

すなわち、演算回路２１８は、前回、注目画素とされた教師画像データについて求められた式（１３）における左辺の行列のコンポーネント（Σｘ_s,iｘ_s,i）と、右辺のベクトルのコンポーネント（Σｘ_s,iｙ_s）を記憶しており、その行列のコンポーネント（Σｘ_s,iｘ_s,i）またはベクトルのコンポーネント（Σｘ_s,iｙ_s）に対して、新たに注目画素とされた教師画像データについて、その教師画像データｙ_s+1および生徒データｘ_s+1,iを用いて計算される、対応するコンポーネントｘ_s+1,iｘ_s+1,iまたはｘ_s+1,iｙ_s+1を足し込む（式（１３）のΣで表される加算を行う）。

そして、演算回路２１８は、教師画像データの全ての画素を注目画素として、上述の足し込みを行うことにより、各クラスについて、式（１３）に示した正規方程式を立てる（生成する）と、その正規方程式を学習データメモリ２１９に供給する。

学習データメモリ２１９は、演算回路２１８による足し込みによって得られた正規方程式（のマトリクス係数）を逐次読み込んで記憶する。また、学習データメモリ２１９は、記憶している正規方程式を演算回路２２０に供給する。

演算回路２２０は、学習データメモリ２１９から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗ_iを求めて係数メモリ２２１に供給する。係数メモリ２２１は、演算回路２２０から供給された各クラスのタップ係数ｗ_iを記憶する。

次に、図１２のフローチャートを参照して、学習装置２０１による学習処理について説明する。この学習処理は、学習装置２０１の間引き回路２１１および教師画像ブロック化回路２１７に、教師画像データとしての３板CCD出力相当の画像データが供給されると開始される。

ステップＳ８１において、間引き回路２１１は、教師画像データから画素を間引き、生徒画像データとしての単板CCD出力相当の画像データを生成し、ADRCブロック化回路２１２および予測タップブロック化回路２１５に供給する。

ステップＳ８２において、ADRCブロック化回路２１２は、間引き回路２１１から供給された生徒画像データをｐ×ｑ個（但し、ｐおよびｑは正の整数）のブロックに分割し、分割された各ブロックからクラスタップを抽出する。ADRCブロック化回路２１２は、抽出したクラスタップをADRC処理回路２１３に供給する。

ステップＳ８３において、ADRC処理回路２１３は、ADRCブロック化回路２１２から供給されたクラスタップにADRC処理を施し、その結果得られたADRCコードをADRC処理が施されたクラスタップとしてクラス分類回路２１４に供給する。

ステップＳ８４において、クラス分類回路２１４は、ADRC処理回路２１３からのクラスタップに基づいて注目画素をクラス分類し、分類されたクラスを示すクラスコードを演算回路２１８に供給する。

ステップＳ８５において、予測タップブロック化回路２１５は、間引き回路２１１から供給された生徒画像データをｐ×ｑ個（但し、ｐおよびｑは正の整数）のブロックに分割し、分割された各ブロックから予測タップを抽出する。予測タップブロック化回路２１５は、抽出した予測タップを予測タップ正規化部２１６に供給する。

ステップＳ８６において、予測タップ正規化部２１６は、予測タップブロック化回路２１５から供給された予測タップを正規化して、正規化された予測タップを演算回路２１８に供給する。例えば、予測タップ正規化部２１６は、図９を参照して説明したように、注目画素のタップ係数を予測する所定の色の画素のダイナミックレンジと、他の色の画素のダイナミックレンジとが等しくなるように予測タップを正規化する。

ステップＳ８７において、教師画像ブロック化回路２１７は、生徒画像データにおけるクラスタップとの対応を取りながら、教師画像データを構成する画素を順次、注目画素とし、教師画像データから注目画素（のＲ、Ｇ、およびＢの画素値）を抽出して演算回路２１８に供給する。

ステップＳ８８において、演算回路２１８は、教師画像ブロック化回路２１７から供給された注目画素と、予測タップ正規化部２１６からの正規化された予測タップとの対応をとりながら、注目画素と予測タップを構成する画素とを対象として、クラス分類回路２１４からのクラスコードに対応するクラスについて立てられた式（１３）により示される正規方程式への足し込みを行う。

ステップＳ８９において、演算回路２１８は全てのブロックについて足し込みを行ったか否かを判定する。

ステップＳ８９において、全てのブロックについて足し込みを行っていないと判定された場合、処理はステップＳ８８に戻り、まだ足し込みが行われていないブロックについて足し込みが行われる。

これに対して、ステップＳ８９において、全てのブロックについて足し込みを行ったと判定された場合、演算回路２１８は、各クラスについて立てた正規方程式を学習データメモリ２１９に供給して記憶させる。そして、学習データメモリ２１９は、記憶している正規方程式を演算回路２２０に供給し、処理はステップＳ９０に進む。

ステップＳ９０において、演算回路２２０は、学習データメモリ２１９から供給されたクラスごとの正規方程式を、例えば、掃き出し法によって解くことにより各クラスのタップ係数ｗ_iを求めて係数メモリ２２１に供給する。これにより、各クラスのＲの画素値、Ｇの画素値、およびＢの画素値のそれぞれを予測するために用いられるタップ係数ｗ_iのそれぞれが求められる。

ステップＳ９１において、演算回路２２０は、全てのクラスについてタップ係数ｗ_iを求めたか否かを判定する。

ステップＳ９１において、全てのクラスについてタップ係数ｗ_iを求めていないと判定された場合、処理はステップＳ９０に戻り、まだタップ係数ｗ_iが求められていないクラスの正規方程式が解かれてタップ係数ｗ_iが求められる。

これに対して、ステップＳ９１において、全てのクラスについてタップ係数ｗ_iを求めたと判定された場合、処理はステップＳ９２に進み、係数メモリ２２１は、演算回路２２０から供給された各クラスのタップ係数ｗ_iを記憶し、学習処理は終了する。

図５の係数メモリ１１７には、以上のようにして求められた複数セットのクラスごとのタップ係数ｗ_iが記憶されている。

このようにして、学習装置２０１は、生徒画像データとしての単板CCD出力相当の画像データから抽出した予測タップを正規化し、正規化した予測タップを用いて、各クラスのタップ係数ｗ_iを求める。

このように、単板CCD出力相当の画像データから抽出した予測タップを、各色の画素のダイナミックレンジが等しくなるように正規化し、正規化された予測タップを用いて各クラスのタップ係数ｗ_iを求めることで、より精度よくクラス分類適応処理を行うためのタップ係数ｗ_iを求めることができる。これにより、求められたタップ係数ｗ_iを用いてクラス分類適応処理を行った場合、画像の破綻を抑制することができ、単板CCDから出力された画像データから、より高精細な３板CCD出力相当の画像データをより精度よく得ることができる。

なお、以上においては、光の原色（Ｒ、Ｇ、Ｂ）成分を透過させる色フィルタアレイ５３の例として、図１３Ａに示すベイヤー配列を用いるようにしたが、この他、図１３Ｂに示すインタライン配列、図１３Ｃに示すＧストライプＲＢ市松配列、図１３Ｄに示すＧストライプＲＢ完全市松配列、または図１３Ｅに示す原色色差配列などとすることができる。

図１３Ｂに示すインタライン配列では、Ｇの色のフィルタが市松状に配置され、各行の残りの部分にＲの色のフィルタおよびＢの色のフィルタが交互に配置されている。

また、図１３Ｃに示すＧストライプＲＢ市松配列では、Ｇの色のフィルタが一列おきに図中、縦方向に並べられて配置され、残りの列の縦方向にＲの色のフィルタおよびＢの色のフィルタが交互に配置されている。このとき、各列のＲの色のフィルタまたはＢの色のフィルタは、横方向にＧの色のフィルタを介して同じ色のフィルタと隣接するように配置されている。

さらに、図１３Ｄに示すＧストライプＲＢ完全市松配列では、Ｇの色のフィルタが一列おきに図中、縦方向に並べられて配置され、残りの列の縦方向にＲの色のフィルタおよびＢの色のフィルタが交互に配置されている。このとき、各列のＲの色のフィルタおよびＢの色のフィルタは、横方向にＧの色のフィルタを介して、Ｂの色のフィルタおよびＲの色のフィルタと隣接するように配置されている。

さらに、また、図１３Ｅに示す原色色差配列では、１行目乃至３行目までは、Ｇの色のフィルタが一列おきに図中、縦方向に並べられて配置され、残りの列の縦方向にＲの色のフィルタおよびＢの色のフィルタが交互に配置されている。このとき、各列のＲの色のフィルタおよびＢの色のフィルタは、横方向にＧの色のフィルタを介して同じ色のフィルタと隣接するように配置されている。そして、４行目は、Ｒの色のフィルタおよびＧの色のフィルタが交互に配置されている。

また、色フィルタアレイ５３を原色フィルタではなく、補色フィルタとすることもできる。この場合、撮像により得られた画像データの各画素は、イエロー（Ye）、シアン（Cy）、マゼンダ（Mg）、および緑（Ｇ）のうちのいずれか１つの値を有することになる。

さらに、以上においては、単板CCD出力相当の画像データから、同じ解像度の３板CCD出力相当の画像データを生成する例について説明したが、単板CCD出力相当の画像データから、ｎ倍の解像度の３板CCD出力相当の画像データを生成することも可能である。

また、例えば、単板CCD出力相当の画像データから、４倍の解像度の３板CCD出力相当の画像データを生成するためのタップ係数を求める場合、学習装置２０１には、図１４Ａに示すような、Ｒの画像データ、Ｇの画像データ、およびＢの画像データからなる３板CCD出力相当の画像データが入力され、教師画像データとされる。

そして、図１４Ａに示した３板CCD出力相当の画像データは、間引き回路２１１においてローパスフィルタにより間引かれて、図１４Ｂに示すように、１／４の解像度の画像データとされる。図１４Ｂに示すＲの画像データ、Ｇの画像データ、およびＢの画像データのそれぞれは、図１４Ａに示すＲの画像データ、Ｇの画像データ、およびＢの画像データのそれぞれの１／４の解像度の画像データとなっている。

さらに、図１４Ｂに示した画像データは、間引き回路２１１においてさらに間引かれて、図１４Ｃに示すように単板CCD出力相当のベイヤー配列の画像データとされ、この単板CCD出力相当の画像データが生徒画像データとされる。

さらに、図１５Ａに示すように、単板CCD出力相当の画像データの画素における面積の等しい４つの領域のそれぞれの位置に対応する画素のそれぞれが注目画素とされ、それぞれの注目画素の画素値を求めるためのタップ係数が求められる。

図１５Ａでは、単板CCD出力相当の画像データの画素のうち、矢印Ｋ４１により示されるＧの画素における面積の等しい４つの領域の位置に対応する画素が、それぞれ注目画素２５１−１乃至注目画素２５１−４とされる。また、ここで、注目画素２５１−１乃至注目画素２５１−４のそれぞれに対する予測タップは、例えば、矢印Ｋ４１により示されるＧの画素を中心とする３×３個の画素とされている。

そして、図１５Ｂに示すように、３板CCD出力相当の画像データの注目画素２５１−１乃至注目画素２５１−４のそれぞれのＲの画素値、Ｇの画素値、およびＢの画素値と、予測タップとを基に、注目画素２５１−１乃至注目画素２５１−４のそれぞれのＲの画素値を予測するためのタップ係数のそれぞれ、注目画素２５１−１乃至注目画素２５１−４のそれぞれのＧの画素値を予測するためのタップ係数のそれぞれ、および注目画素２５１−１乃至注目画素２５１−４のそれぞれのＢの画素値を予測するためのタップ係数のそれぞれの計１２個のタップ係数が求められる。

この場合、演算回路２１８は、式（１６）に対応する各クラスのＲ、Ｇ、およびＢの色成分ごとに式（１７）、式（１８）、および式（１９）に示される正規方程式を立てて足しこみを行う。

・・・（１７）

・・・（１８）

・・・（１９）

ここで、式（１７）におけるｗ_r1,i、ｗ_r2,i、ｗ_r3,i、およびｗ_r4,iのそれぞれ（但し、１≦ｉ≦Ｎ）は、注目画素２５１−１乃至注目画素２５１−４のそれぞれのＲの画素値のそれぞれを予測するために用いられ、予測タップを構成するｉ番目の画素（の画素値）と乗算されるｉ番目のタップ係数のそれぞれを表している。

また、式（１７）におけるＲ_1,i、Ｒ_2,i、Ｒ_3,i、およびＲ_4,iのそれぞれ（但し、１≦ｉ≦Ｎ）は、式（１５）に示したΣｘ_s,iｙ_sにおける画素値ｙ_sを、注目画素２５１−１乃至注目画素２５１−４のそれぞれのＲの画素値としたものを表している。

同様に、式（１８）におけるｗ_g1,i、ｗ_g2,i、ｗ_g3,i、およびｗ_g4,iのそれぞれ（但し、１≦ｉ≦Ｎ）は、注目画素２５１−１乃至注目画素２５１−４のそれぞれのＧの画素値のそれぞれを予測するために用いられ、予測タップを構成するｉ番目の画素（の画素値）と乗算されるｉ番目のタップ係数のそれぞれを表している。

また、式（１８）におけるＧ_1,i、Ｇ_2,i、Ｇ_3,i、およびＧ_4,iのそれぞれ（但し、１≦ｉ≦Ｎ）は、式（１５）に示したΣｘ_s,iｙ_sにおける画素値ｙ_sを、注目画素２５１−１乃至注目画素２５１−４のそれぞれのＧの画素値としたものを表している。

さらに、式（１９）におけるｗ_b1,i、ｗ_b2,i、ｗ_b3,i、およびｗ_b4,iのそれぞれ（但し、１≦ｉ≦Ｎ）は、注目画素２５１−１乃至注目画素２５１−４のそれぞれのＢの画素値のそれぞれを予測するために用いられ、予測タップを構成するｉ番目の画素（の画素値）と乗算されるｉ番目のタップ係数のそれぞれを表している。

また、式（１９）におけるＢ_1,i、Ｂ_2,i、Ｂ_3,i、およびＢ_4,iのそれぞれ（但し、１≦ｉ≦Ｎ）は、式（１５）に示したΣｘ_s,iｙ_sにおける画素値ｙ_sを、注目画素２５１−１乃至注目画素２５１−４のそれぞれのＢの画素値としたものを表している。

演算回路２２０は、このようにして立てられた式（１７）乃至式（１９）の正規方程式を解くことにより、注目画素２５１−１乃至注目画素２５１−４のそれぞれのＲの画素値、Ｇの画素値、およびＢの画素値のそれぞれを予測するための１２個のタップ係数を求める。

また、これらのタップ係数を用いることにより、適応処理回路１１６は、単板CCD出力相当の画像データから、４倍の解像度の３板CCD出力相当の画像データ（４倍密の画像データ）を生成することができる。

ところで、以上の実施の形態の効果を評価するため、発明者らは、シミュレーションを行った。３板CCD出力相当の画像から単板CCD出力相当の画像を作成し、上述した学習装置２０１が行う処理と同じ処理を行うアルゴリズムによりタップ係数を生成した。そして、単板CCD出力相当の画像を３板CCD出力相当の画像に変換する処理を、生成されたタップ係数を用いて、予測タップを正規化するクラス分類適応処理により補間生成した。

このようなシミュレーションの結果生成された３板CCD出力相当の画像と、従来のクラス分類適応処理を行って生成された３板CCD出力相当の画像とを比較して評価したところ、シミュレーションの結果生成された３板CCD出力相当の画像では、生成された全ての画像において、各色成分のダイナミックレンジの差により生じる画像の破綻が改善されていることが確認された。このことから、予測タップを正規化するクラス分類適応処理を行って３板CCD出力相当の画像を生成する方法は、従来のクラス分類適応処理を行って３板CCD出力相当の画像を生成する方法よりも優位性があるということができる。

以上のように、クラス分類適応処理に用いる予測タップを正規化することで、予測タップの各色の画素のダイナミックレンジを等しくすることができ、画像の破綻を抑制することができる。これにより、より高精細な画像データをより精度よく生成することができる。

また、各色の画素のダイナミックレンジが等しくなるように予測タップを正規化し、正規化された予測タップを用いて各クラスのタップ係数を求めることで、より精度よくクラス分類適応処理を行うためのタップ係数を求めることができる。これにより、求められたタップ係数を用いてクラス分類適応処理を行った場合、画像の破綻を抑制することができ、より高精細な画像データをより精度よく得ることができる。

なお、以上においては、抽出されたクラスタップにADRC処理を施すことにより、注目画素が分類されるクラスの数を削減したが、その他、DCT(Discrete Cosine Transform)、ＶＱ（Vector Quantization）（ベクトル量子化）、DPCM(Differential Pulse Code Modulation)、BTC(Block Trancation Coding)、非線形量子化などにより、注目画素が分類されるクラスの数を削減するようにしてもよい。

また、画像データが、RGBのそれぞれを成分とするコンポーネント映像信号であるとして説明したが、その他、輝度Ｙ、色差Ｕ、および色差Ｖを成分とするコンポーネント映像信号とするようにしてもよい。さらに、画像データが、イエロー（Ye）、シアン（Cy）、マゼンダ（Mg）、および緑（Ｇ）のうちの少なくともいずれか１つの値を各画素の画素値として有するようにしてもよい。

さらに、撮像素子としてCCDを用いて画像を撮像すると説明したが、画像を撮像する撮像素子として、その他、例えば、CMOS（Complementary Mental Oxide Semiconductor）などを用いることも可能である。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１６は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。パーソナルコンピュータ３０１のCPU３１１は、ROM（Read Only Memory）３１２、または記録部３１８に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３１３には、CPU３１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３１１、ROM３１２、およびRAM３１３は、バス３１４により相互に接続されている。

CPU３１１にはまた、バス３１４を介して入出力インターフェース３１５が接続されている。入出力インターフェース３１５には、キーボード、マウス、マイクロホンなどよりなる入力部３１６、ディスプレイ、スピーカなどよりなる出力部３１７が接続されている。CPU３１１は、入力部３１６から入力される指令に対応して各種の処理を実行する。そして、CPU３１１は、処理の結果を出力部３１７に出力する。

入出力インターフェース３１５に接続されている記録部３１８は、例えばハードディスクからなり、CPU３１１が実行するプログラムや各種のデータを記録する。通信部３１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部３１９を介してプログラムを取得し、記録部３１８に記録してもよい。

入出力インターフェース３１５に接続されているドライブ３２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３３１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部３１８に転送され、記録される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１６に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３３１、または、プログラムが一時的もしくは永続的に格納されるROM３１２や、記録部３１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部３１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

予測タップとして、異なる色の画素を用いた場合に生じる画像の破綻について説明するための図である。 単板CCDの出力から、３板CCD出力相当の画像データを得る原理を説明する図である。 撮像装置の構成例を示すブロック図である。 撮像処理を説明するフローチャートである。 画像信号処理回路の構成例を示すブロック図である。 画像信号処理を説明するフローチャートである。 クラスタップの一例を示す図である。 予測タップの一例を示す図である。 予測タップの正規化を説明するための図である。 予測タップの正規化を説明するための図である。 学習装置の構成例を示すブロック図である。 学習処理を説明するフローチャートである。 色フィルタアレイの他の配列の例を示す図である。 単板CCDの出力から、４倍の解像度の３板CCD出力相当の画像データを得るためのタップ係数を求める学習処理の原理を説明する図である。 ４倍の解像度の画像データを生成するタップ係数を求める場合における注目画素を説明するための図である。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

４１ 撮像装置， ５４ CCD， ５７ 画像信号処理回路， ６５ 記録媒体， １１１ ADRCブロック化回路， １１３ クラス分類回路， １１４ 予測タップブロック化回路， １１５ 予測タップ正規化部， １１６ 適応処理回路， １１７ 係数メモリ， ２０１ 学習装置， ２１１ 間引き回路， ２１２ ADRCブロック化回路， ２１４ クラス分類回路， ２１５ 予測タップブロック化回路， ２１６ 予測タップ正規化部， ２１８ 演算回路， ２２０ 演算回路， ３０１ パーソナルコンピュータ， ３１１ CPU， ３１２ ROM， ３１３ RAM， ３１８ 記録部， ３３１ リムーバブルメディア

Claims (12)

1. コンポーネント映像信号の第１の成分の値を有する画素と、第２の成分の値を有する画素とから構成される第１の画像データを、前記第１の成分の値および前記第２の成分の値を有する画素から構成される第２の画像データに変換する画像処理装置において、
   前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出する予測タップ抽出手段と、
   前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出するクラスタップ抽出手段と、
   前記クラスタップを用いて、前記注目画素のクラス分類を行うクラス分類手段と、
   前記予測タップを構成する画素が有する前記第１の成分の値のダイナミックレンジと、前記予測タップを構成する画素が有する前記第２の成分の値のダイナミックレンジとが等しくなるように前記予測タップを正規化する正規化手段と、
   前記注目画素のクラスについて予め求められているタップ係数と、正規化された前記予測タップとを用いて、前記注目画素の前記第１の成分の値、または前記第２の成分の値を予測演算する予測演算手段と
   を備える画像処理装置。
2. 前記正規化手段は、前記注目画素の前記第１の成分の値を予測演算する場合、前記第１の成分の値のダイナミックレンジの値を前記第２の成分の値のダイナミックレンジの値で除算して得られる値を、前記予測タップを構成する画素が有する前記第２の成分の値に乗算することにより前記予測タップを正規化する
   請求項１に記載の画像処理装置。
3. 前記第１の成分または前記第２の成分は、赤、青、または緑のいずれかの色を表わす成分である
   請求項１に記載の画像処理装置。
4. 前記第１の成分または前記第２の成分は、輝度または色差を表わす成分である
   請求項１に記載の画像処理装置。
5. コンポーネント映像信号の第１の成分の値を有する画素と、第２の成分の値を有する画素とから構成される第１の画像データを、前記第１の成分の値および前記第２の成分の値を有する画素から構成される第２の画像データに変換する画像処理方法において、
   前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出し、
   前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出し、
   前記クラスタップを用いて、前記注目画素のクラス分類を行い、
   前記予測タップを構成する画素が有する前記第１の成分の値のダイナミックレンジと、前記予測タップを構成する画素が有する前記第２の成分の値のダイナミックレンジとが等しくなるように前記予測タップを正規化し、
   前記注目画素のクラスについて予め求められているタップ係数と、正規化された前記予測タップとを用いて、前記注目画素の前記第１の成分の値、または前記第２の成分の値を予測演算する
   ステップを含む画像処理方法。
6. コンポーネント映像信号の第１の成分の値を有する画素と、第２の成分の値を有する画素とから構成される第１の画像データを、前記第１の成分の値および前記第２の成分の値を有する画素から構成される第２の画像データに変換する画像処理をコンピュータに実行させるプログラムにおいて、
   前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出し、
   前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出し、
   前記クラスタップを用いて、前記注目画素のクラス分類を行い、
   前記予測タップを構成する画素が有する前記第１の成分の値のダイナミックレンジと、前記予測タップを構成する画素が有する前記第２の成分の値のダイナミックレンジとが等しくなるように前記予測タップを正規化し、
   前記注目画素のクラスについて予め求められているタップ係数と、正規化された前記予測タップとを用いて、前記注目画素の前記第１の成分の値、または前記第２の成分の値を予測演算する
   ステップを含む処理をコンピュータに実行させるプログラム。
7. コンポーネント映像信号の第１の成分および第２の成分の値を有する画素から構成される第１の画像データから、注目している画素である注目画素の前記第１の成分の値を抽出する注目画素抽出手段と、
   前記注目画素を予測するために用いる複数の画素を、前記第１の成分の値を有する画素と、前記第２の成分の値を有する画素とから構成される第２の画像データから予測タップとして抽出する予測タップ抽出手段と、
   前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第２の画像データからクラスタップとして抽出するクラスタップ抽出手段と、
   前記クラスタップを用いて、前記注目画素のクラス分類を行うクラス分類手段と、
   前記予測タップを構成する画素が有する前記第１の成分の値のダイナミックレンジと、前記予測タップを構成する画素が有する前記第２の成分の値のダイナミックレンジとが等しくなるように前記予測タップを正規化する正規化手段と、
   前記注目画素の前記第１の成分の値、および正規化された前記予測タップを用いて、正規化された前記予測タップから前記注目画素の前記第１の成分の値を予測するために用いられる、前記注目画素のクラスに対応するタップ係数を求める演算手段と
   を備える学習装置。
8. 前記正規化手段は、前記注目画素の前記第１の成分の値を予測するために用いられる前記タップ係数を求める場合、前記第１の成分の値のダイナミックレンジの値を前記第２の成分の値のダイナミックレンジの値で除算して得られる値を、前記予測タップを構成する画素が有する前記第２の成分の値に乗算することにより前記予測タップを正規化する
   請求項７に記載の学習装置。
9. 前記第１の成分または前記第２の成分は、赤、青、または緑のいずれかの色を表わす成分である
   請求項７に記載の学習装置。
10. 前記第１の成分または前記第２の成分は、輝度または色差を表わす成分である
    請求項７に記載の学習装置。
11. コンポーネント映像信号の第１の成分および第２の成分の値を有する画素から構成される第１の画像データから、注目している画素である注目画素の前記第１の成分の値を抽出し、
    前記注目画素を予測するために用いる複数の画素を、前記第１の成分の値を有する画素と、前記第２の成分の値を有する画素とから構成される第２の画像データから予測タップとして抽出し、
    前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第２の画像データからクラスタップとして抽出し、
    前記クラスタップを用いて、前記注目画素のクラス分類を行い、
    前記予測タップを構成する画素が有する前記第１の成分の値のダイナミックレンジと、前記予測タップを構成する画素が有する前記第２の成分の値のダイナミックレンジとが等しくなるように前記予測タップを正規化し、
    前記注目画素の前記第１の成分の値、および正規化された前記予測タップを用いて、正規化された前記予測タップから前記注目画素の前記第１の成分の値を予測するために用いられる、前記注目画素のクラスに対応するタップ係数を求める
    ステップを含む学習方法。
12. コンポーネント映像信号の第１の成分および第２の成分の値を有する画素から構成される第１の画像データから、注目している画素である注目画素の前記第１の成分の値を抽出し、
    前記注目画素を予測するために用いる複数の画素を、前記第１の成分の値を有する画素と、前記第２の成分の値を有する画素とから構成される第２の画像データから予測タップとして抽出し、
    前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第２の画像データからクラスタップとして抽出し、
    前記クラスタップを用いて、前記注目画素のクラス分類を行い、
    前記予測タップを構成する画素が有する前記第１の成分の値のダイナミックレンジと、前記予測タップを構成する画素が有する前記第２の成分の値のダイナミックレンジとが等しくなるように前記予測タップを正規化し、
    前記注目画素の前記第１の成分の値、および正規化された前記予測タップを用いて、正規化された前記予測タップから前記注目画素の前記第１の成分の値を予測するために用いられる、前記注目画素のクラスに対応するタップ係数を求める
    ステップを含む処理をコンピュータに実行させるプログラム。

Images