JP4691762B2 - 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 - Google Patents
画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 Download PDFInfo
- Publication number
- JP4691762B2 JP4691762B2 JP2000251496A JP2000251496A JP4691762B2 JP 4691762 B2 JP4691762 B2 JP 4691762B2 JP 2000251496 A JP2000251496 A JP 2000251496A JP 2000251496 A JP2000251496 A JP 2000251496A JP 4691762 B2 JP4691762 B2 JP 4691762B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- pixel
- class
- pixels
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体に関し、特に、１つの固体イメージセンサにより得られる画像に対し、その画像信号の１画素が赤(Ｒ：Red) 成分、緑(Ｇ：Green) 成分及び青(Ｂ：Blue)成分をもつように、クラス分類適応処理を用いて色成分を補間する画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体に関する。
【０００２】
【従来の技術】
ＣＣＤ(Charge Coupled Device) イメージセンサなどの固体イメージセンサを用いた撮像装置には、主に、１つのＣＣＤイメージセンサを用いた単板方式のもの（以後、単板式カメラという）と、３つのＣＣＤイメージセンサを用いた３板方式のもの（以後、３板式カメラという）とがある。
【０００３】
３板式カメラでは、例えばＲ信号用、Ｇ信号用及びＢ信号用の３つのＣＣＤイメージセンサを用いて、その３つのＣＣＤイメージセンサにより３原色信号を得る。そして、この３原色信号から生成されるカラー画像信号が記録媒体に記録される。
【０００４】
単板式カメラでは、１画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された１つのＣＣＤイメージセンサを用いて、上記色コーディングフィルタにより色コーディングされた色成分の信号を１画素毎に得る。上記色コーディングフィルタを構成する色フィルタアレイとしては、例えば、Ｒ(Red) ，Ｇ(Green) ，Ｂ(Blue) の原色フィルタアレイや、Ｙｅ(Yellow) ，Ｃｙ(Cyanogen)，Ｍｇ(Magenta) の補色フィルタアレイが用いられている。そして、単板式カメラにおいては、ＣＣＤイメージセンサにより１画素毎に１つの色成分の信号を得て、各画素が持っている色成分の信号以外の色信号を線形補間処理により生成して、３板式カメラにより得られる画像に近い画像を得るようにしていた。ビデオカメラなどにおいて、小型化、軽量化を図る場合に、単板式が採用されている。
【０００５】
単板式カメラにおいて、例えば図２２の（Ａ）に示すような色配列の色フィルタアレイにより構成された色コーディングフィルタが設けられたＣＣＤイメージセンサは、Ｒ，Ｇ，Ｂの３原色のうちの１つの色のフィルタが配置された各画素から、そのフィルタの色に対応する画像信号のみが出力される。すなわち、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は出力されるが、Ｇ成分及びＢ成分の画像信号は出力されない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが出力され、Ｒ成分及びＢ成分の画像信号は出力されず、Ｂの画素からは、Ｂ成分の画像信号のみが出力され、Ｒ成分及びＧ成分の画像信号は出力されない。
【０００６】
ここで、図２２の（Ａ）に示す色フィルタアレイの色配列は、ベイヤー配列と称される。この場合においては、Ｇの色フィルタが市松状に配され、残った部分にＲとＢが一列毎に交互に配されている。
【０００７】
しかしながら、後段において各画素の信号を処理する際、各画素毎にＲ成分，Ｇ成分及びＢ成分の画像信号が必要となる。そこで、従来、ｎ×ｍ（ｎ及びｍは正の整数）個の画素で構成されるＣＣＤイメージセンサの出力から、図２２の（Ｂ）に示すように、ｎ×ｍ個のＲ画素の画像信号、ｎ×ｍ個のＧ画素の画像信号及びｎ×ｍ個のＢ画素の画像信号、すなわち、３板式カメラのＣＣＤ出力相当の画像信号が、それぞれ補間演算により求められ、それらの画像信号が後段に出力される。
【０００８】
そして、さらに、例えば４倍密度の画像信号を生成する場合、図２２の（Ｃ）に示すように、ｎ×ｍ個のＲ画素の画像信号から２ｎ×２ｍ個のＲ画素の画像信号が補間演算により求められ、ｎ×ｍ個のＧ画素の画像信号から２ｎ×２ｍ個のＧ画素の画像信号が補間演算により求められ、さらに、ｎ×ｍ個のＢ画素の画像信号から、２ｎ×２ｍ個のＢ画素の画像信号が補間演算により求められる。
【０００９】
【発明が解決しようとする課題】
ＣＣＤイメージセンサにより１画素毎に１つの色成分の信号を得て、各画素が持っている色成分の信号以外の色信号を線形補間処理により生成する単板式カメラにおいては、画像の斜め線や細線の部分で上記線形補間処理に破綻を生じ易いという問題点がある。また、線形処理を行うことにより色信号の補間を行っているので、画像の波形が鈍つてしまい、画像全体が不鮮明となってしまうので、輪郭強調処理等の処理を行って、見掛けの解像度を上げる処理が必要であった。また、その撮像出力として得られる画像信号による画像の解像度が、３板式カメラの撮像出力として得られる画像信号による画像と比較して低く、上記線形処理の影響により全体的にぼやけた画像となってしまうといった問題点があった。
【００１０】
また、単板式カメラのＣＣＤイメージセンサの出力から、同一解像度の３原色の成分を各画素毎に生成し、その画像信号から、さらにより高密度の画像信号を演算することにより、画素密度を大きくしたとしても、十分な精細度を得ることができないという問題点があった。
【００１１】
さらに、線形補間と異なる処理方法として、単板式カメラのＣＣＤ出力から、Ｒ，Ｇ，Ｂの３原色の各画像信号毎に独立にクラス分類適応処理を行うことよって３板式カメラのＣＣＤ出力に相当する画像信号を生成することが提案されている（国際公開番号：ＷＯ９６／０７２７５）。しかしながら、クラス分類適応処理においても、基本的に波形によるクラス分類を行っているため、色信号間の波形に違いが見られる箇所では破綻を招くことが確認されている。
本発明は、このような状況に鑑みてなされたものであり、補間処理の破綻を回避し、色再現性の向上を図り、解像度が高く、滑らかで且つ自然な色の変化を再現できる画像信号を単板式カメラのＣＣＤ出力から得られるようにすることを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた入力画像信号を処理する画像信号処理装置において、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出手段と、上記画素抽出手段で抽出された上記注目画素近傍に位置する複数の画素それぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行うベクトル量子化手段と、上記ベクトル量子化手段によるベクトル量子化の結果に基づいて１つのクラスを決定するクラス決定手段と、上記クラス決定手段で決定されたクラスに対応した予測係数セットと上記画素抽出手段によって抽出された上記注目画素近傍の複数の画素の画素値との積和演算により予測画素値を算出して、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成手段とを備え、上記画素生成手段は、上記クラス決定手段により決定される各クラス毎の予測係数セットとして、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた生徒画像信号の注目画素の近傍の複数の画素を抽出し、抽出された上記注目画素近傍に位置する複数の画素それぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行い、上記ベクトル量子化の結果に基づいて１つのクラスを決定し、上記生徒画像信号と対応する画像信号であり、１画素毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出し、決定されたクラス毎に、上記生徒画像信号から抽出された複数の画素の画素値と、上記教師画像信号から抽出された複数の画素の画素値とから、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを解とする正規方程式のマトリクスの係数を演算し、上記正規方程式を解くことにより、クラス毎の予測係数セットを生成する学習処理を実行することにより予め得られたクラス毎の予測係数セットを記憶する記憶手段と、上記記憶手段から読み出される上記クラス決定手段で決定されたクラスに応じた予測係数セットと、上記画素抽出手段によって抽出された上記注目画素近傍の複数の画素の画素値との積和演算により予測画素値を算出して、上記異なる色成分を持つ画素を生成する演算手段とを備えることを特徴とする。
【００１３】
また、本発明は、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた入力画像信号を処理する画像信号処理方法において、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、上記画素抽出ステップで抽出された上記注目画素近傍に位置する複数の画素のそれぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行うベクトル量子化ステップと、上記ベクトル量子化ステップにおけるベクトル量子化の結果に基づいて１つのクラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに対応した予測係数セットと上記画素抽出ステップによって抽出された上記注目画素近傍の複数の画素の画素値との積和演算により予測画素値を算出して、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップとを備え、上記画素生成ステップでは、上記クラス決定ステップで決定される各クラス毎の予測係数セットとして、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた生徒画像信号の注目画素の近傍の複数の画素を抽出し、抽出された上記注目画素近傍に位置する複数の画素それぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行い、上記ベクトル量子化の結果に基づいて１つのクラスを決定し、上記生徒画像信号と対応する画像信号であり、１画素毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出し、決定されたクラス毎に、上記生徒画像信号から抽出された複数の画素の画素値と、上記教師画像信号から抽出された複数の画素の画素値とから、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを解とする正規方程式のマトリクスの係数を演算し、上記正規方程式を解くことにより、クラス毎の予測係数セットを生成する学習処理を実行することにより予め得られたクラス毎の予測係数セットを用いて、上記画素を生成することを特徴とする。
【００１４】
また、本発明は、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた入力画像信号を処理する画像信号処理を実行させるためのプログラムを記録したコンピュータにより読み取り可能な記録媒体において、上記プログラムは、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、上記画素抽出ステップで抽出された上記注目画素近傍に位置する複数の画素のそれぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行うベクトル量子化ステップと、上記ベクトル量子化ステップにおけるベクトル量子化の結果に基づいて１つのクラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに対応した予測係数セットと上記画素抽出ステップによって抽出された上記注目画素近傍の複数の画素の画素値との積和演算により予測画素値を算出して、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップとを有し、上記画素生成ステップでは、上記クラス決定ステップで決定される各クラス毎の予測係数セットとして、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた生徒画像信号の注目画素の近傍の複数の画素を抽出し、抽出された上記注目画素近傍に位置する複数の画素それぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行い、上記ベクトル量子化の結果に基づいて１つのクラスを決定し、上記生徒画像信号と対応する画像信号であり、１画素毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出し、決定されたクラス毎に、上記生徒画像信号から抽出された複数の画素の画素値と、上記教師画像信号から抽出された複数の画素の画素値とから、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを解とする正規方程式のマトリクスの係数を演算し、上記正規方程式を解くことにより、クラス毎の予測係数セットを生成する学習処理を実行することにより予め得られたクラス毎の予測係数セットを用いて、上記画素を生成する画像信号処理を上記コンピュータに実行させることを特徴とする。
【００１５】
また、本発明に係る学習装置は、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた生徒画像信号の注目画素の近傍の複数の画素を抽出する第１の画素抽出手段と、上記第１の画素抽出手段で抽出された上記注目画素近傍に位置する複数の画素それぞれの色成分の信号値に基づいて、複数の色成分で表される色空間内におけるベクトル量子化を行うベクトル量子化手段と、上記ベクトル量子化手段によるベクトル量子化の結果に基づいて１つのクラスを決定するクラス決定手段と、上記生徒画像信号と対応する画像信号であり、１画素毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出手段と、上記クラス決定手段により決定されたクラス毎に、上記第１の画素抽出手段で生徒画像信号から抽出された複数の画素の画素値と、上記第２の画素抽出手段で教師画像信号から抽出された複数の画素の画素値とから、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを解とする正規方程式のマトリクスの係数を演算し、上記正規方程式を解くことにより、クラス毎の予測係数セットを生成する予測係数生成手段とを備えることを特徴とする。
【００１６】
また、本発明に係る学習方法は、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた生徒画像信号の注目画素の近傍の複数の画素を抽出する第１の画素抽出ステップと、上記第１の画素抽出ステップで抽出された上記注目画素近傍に位置する複数の画素それぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行うベクトル量子化ステップと、上記ベクトル量子化ステップにおけるベクトル量子化の結果に基づいて１つのクラスを決定するクラス決定ステップと、上記生徒画像信号と対応する画像信号であり、１画素毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出ステップと、上記クラス決定ステップにより決定されたクラス毎に、上記第１の画素抽出ステップで生徒画像信号から抽出された複数の画素の画素値と、上記第２の画素抽出ステップで教師画像信号から抽出された複数の画素の画素値とから、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを解とする正規方程式のマトリクスの係数を演算し、上記正規方程式を解くことにより、クラス毎の予測係数セットを生成する予測係数生成ステップとを有することを特徴とする。
【００１７】
さらに、本発明は、クラスに応じた予測係数セットを生成するための学習処理を実行させるためのプログラムを記録したコンピュータにより読み取り可能な記録媒体において、上記プログラムは、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた生徒画像信号の注目画素の近傍の複数の画素を抽出する第１の画素抽出ステップと、上記第１の画素抽出ステップで抽出された上記注目画素近傍に位置する複数の画素それぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行うベクトル量子化ステップと、上記ベクトル量子化ステップにおけるベクトル量子化の結果に基づいて１つのクラスを決定するクラス決定ステップと、上記生徒画像信号と対応する画像信号であり、１画素毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出ステップと、上記クラス決定ステップにより決定されたクラス毎に、上記第１の画素抽出ステップで生徒画像信号から抽出された複数の画素の画素値と、上記第２の画素抽出ステップで教師画像信号から抽出された複数の画素の画素値とから、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを解とする正規方程式のマトリクスの係数を演算し、上記正規方程式を解くことにより、クラス毎の予測係数セットを生成する予測係数生成ステップとを有する学習処理を上記コンピュータに実行させることを特徴とする。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１９】
本発明は、例えば図１に示すような構成のデジタルスチルカメラ１に適用される。このデジタルスチルカメラ１は、１画素毎に割り当てられたベイヤ配列などの色フィルタからなる色コーディングフィルタ４が前面に設置された１つのＣＣＤイメージセンサ５を用いてカラー撮像を行う単板式カメラであって、被写体からの入射光が、レンズ２により集光され、アイリス３及び色コーディングフィルタ４を介してＣＣＤイメージセンサ５に入射されるようになっている。上記ＣＣＤイメージセンサ５の撮像面上には、上記アイリス３により所定レベルの光量とされた入射光により被写体像が結像される。なお、このデジタルスチルカメラ１においては、色コーディングフィルタ４とＣＣＤイメージセンサ５は別体としたが、一体化した構造とすることができる。
【００２０】
上記ＣＣＤイメージセンサ５は、タイミングジェネレータ９からのタイミング信号により制御される電子シャッタに応じて所定時間にわたって露光を行い、色コーディングフィルタ４を透過した入射光の光量に応じた信号電荷（アナログ量）を画素毎に発生することにより、上記入射光により結像された被写体像を撮像して、その撮像出力として得られる画像信号を信号調整部６に供給する。
【００２１】
信号調整部６は、画像信号の信号レベルが一定となるようにゲインを調整するＡＧＣ(Automatic Gain Contorol) 回路と、ＣＣＤイメージセンサ５が発生する１／ｆのノイズを除去するＣＤＳ(Correiated Double Sampling)回路からなる。
【００２２】
上記信号調整部６から出力される画像信号は、Ａ／Ｄ変換部７によりアナログ信号からデジタル信号に変換されて、画像信号処理部８に供給される。上記Ａ／Ｄ変換部７では、タイミングジェネレータ９からのタイミング信号に応じて、例えば１サンプル１０ビットのディジタル撮像信号を生成する。
【００２３】
このデジタルスチルカメラ１において、タイミングジェネレータ９は、ＣＣＤイメージセンサ５、信号調整部６、Ａ／Ｄ変換部７及びＣＰＵ(Central Processing Unit) １０に各種タイミング信号を供給する。ＣＰＵ１０は、モータ１１を駆動することにより、アイリス３を制御する。また、ＣＰＵ１０は、モータ１２を駆動することにより、レンズ２などを移動させ、ズームやオートフォーカスなどの制御をする。さらに、ＣＰＵ１０は、必要に応じ、フラッシュ１３により閃光を発する制御を行うようにされている。
【００２４】
画像信号処理部８は、Ａ／Ｄ変換部７から供給された画像信号に対し、欠陥補正処理、ディジタルクランプ処理、ホワイトバランス調整処理、ガンマ補正処理、クラス分類適応処理を用いた予測処理等の処理を行う。
【００２５】
この画像信号処理部８に接続されたメモリ１５は、例えば、ＲＡＭ(Random Access Memory)で構成され、画像信号処理部８が画像処理を行う際に必要な信号を記憶する。画像信号処理部８により処理された画像信号は、インタフェース１４を介してメモリ１６に記憶される。このメモリ１６に記憶された画像信号は、インタフェース１４を介してデジタルスチルカメラ１に対して着脱可能な記録媒体１７に記録される。
【００２６】
なお、モータ１１は、ＣＰＵ１０からの制御情報に基づいてアイリス３を駆動し、レンズ２を介して入射される光の量を制御する。また、モータ１２は、ＣＰＵ１０からの制御情報に基づいてレンズ２のＣＣＤイメージセンサ２に対するフォーカス状態を制御する。これにより、自動絞り制御動作や自動焦点制御動作が実現される。また、フラッシュ１３は、ＣＰＵ１０による制御の下で、被写体に対して所定の閃光を照射する。
【００２７】
また、インターフェース１４は、画像信号処理部８からの画像信号を必要に応じてメモリ１６に記憶し、所定のインターフェース処理を実行した後、記録媒体１７に供給し、記憶させる。記録媒体１７としては、デジタルスチルカメラ１の本体に対して着脱可能な記録媒体、例えばフロッピーディスク、ハードディスク等のディスク記録媒体、メモリカード等のフラッシュメモリ等を用いることができる。
【００２８】
コントローラ１８は、ＣＰＵ１０の制御の下で、画像信号処理部８及びインターフェース１４に制御情報を供給してそれぞれを制御する。ＣＰＵ１０には、シャッタボタンやズームボタンなどの操作ボタンから構成される操作部２０からユーザによる操作情報が入力される。ＣＰＵ１０は、入力された操作情報を基に、上述した各部を制御する。電源部１９は、バッテリ１９ＡとＤＣ／ＤＣコンバータ１９Ｂなどを有する。ＤＣ／ＤＣコンバータ１９Ｂは、バッテリ１９Ａからの電力を所定の値の直流電圧に変換し、装置内の各構成要素に供給する。充電可能なバッテリ１９Ａは、デジタルスチルカメラ１の本体に着脱可能とされている。
【００２９】
次に、図２のフローチャートを参照し、図１に示したデジタルスチルカメラ１の動作について説明する。このデジタルスチルカメラ１は、ステップＳ１において、電源がオンされることにより、被写体の撮像を開始する。すなわち、ＣＰＵ１０は、モータ１１及びモータ１２を駆動し、焦点を合わせたりアイリス３を調整することにより、レンズ２を介してＣＣＤイメージセンサ５上に被写体像を結像させる。
【００３０】
ステップＳ２では、結像された像をＣＣＤイメージセンサ５により撮像した画像信号が、信号調整部６において、信号レベルが一定となるようにゲイン調整され、さらにノイズが除去され、さらに、Ａ／Ｄ変換部７によりデジタル化される。
【００３１】
また、ステップＳ３では、上記Ａ／Ｄ変換部７によりデジタル化された画像信号に対して、画像信号処理部８によりクラス分類適応処理を含む画像信号処理を行う。
【００３２】
ここで、被写体像は、ＣＣＤイメージセンサ５の撮像出力として得られる画像信号を電子ビューファインダに表示するよりユーザが確認できるようになっている。なお、被写体像は、光学的ビューファインダによりユーザが確認できるようにすることもできる。
【００３３】
そして、ユーザは、ビューファインダにより確認した被写体像の画像を記録媒体１７に記録したい場合、操作部２０のシャッタボタンを操作する。デジタルスチルカメラ１のＣＰＵ１０は、ステップＳ４において、シャッタボタンが操作されたか否かを判断する。デジタルスチルカメラ１は、シャッタボタンが操作されたと判断するまで、ステップＳ２〜Ｓ３の処理を繰り返し、シャッタボタンが操作されたと判断すると、ステップＳ５に進む。
【００３４】
そして、ステップＳ５では、画像信号処理部８による画像信号処理が施された画像信号をインターフェース１４を介して記録媒体１７に記録する。
【００３５】
次に、図３を参照して画像信号処理部８について説明する。
【００３６】
この画像信号処理部８は、上記Ａ／Ｄ変換部７によりデジタル化された画像信号が供給される欠陥補正部２１を備える。ＣＣＤイメージセンサ５の画素の中で、何らかの原因により入射光に反応しない画素や、入射光に依存せず、電荷が常に蓄えられている画素、換言すれば、欠陥がある画素を検出し、その検出結果に従って、それらの欠陥画素の影響が露呈しないように、画像信号を補正する処理を行う。
【００３７】
Ａ／Ｄ変換部７では、負の値がカットされるのを防ぐため、一般に信号値を若干正の方向ヘシフトさせた状態でＡ／Ｄ変換が行われている。クランプ部２２は、欠陥補正部２１により欠陥補正された画像信号に対し、上述したシフト量がなくなるようにクランプする。
【００３８】
クランプ部２２によりクランプされた画像信号は、ホワイトバランス調整部２３に供給される。ホワイトバランス調整部２３は、クランプ部２２から供給された画像信号のゲインを補正することにより、ホワイトバランスを調整する。このホワイトバランス調整部２３によりホワイトバランスが調整された画像信号は、クラス分類適応処理２４に供給される。
【００３９】
クラス分類適応処理２４では、ホワイトバランス調整部２３によりホワイトバランスが調整された画像信号について、局所的な画像の特徴量を抽出し、各特徴に基づいてクラスを作成して、クラス毎の処理を行う。具体的な処理としては、単板画像から３板相当画像の変換、任意の画素数への変換、又はそれらの処理を同時に行うなどの各種処理が可能である。ここでは、斜め線や細線に対して特別なクラスを用意することにより、斜め線や細線部分における処理の破綻に対処することができる。このクラス分類適応処理２４によりクラス分類適応処理された画像信号は、ガンマ補正部２５に供給される。
【００４０】
ガンマ補正部２５は、クラス分類適応処理された画像信号の信号レベルをガンマ曲線に従って補正する。このガンマ補正部２５によりガンマ補正された画像信号は、補正部２６に供給される。
【００４１】
補正部２６は、上記ガンマ補正部２５によりガンマ補正された画像信号に対してエッジ強調等の画像を視覚的に良く見せるために必要ないわゆる画作りのための処理を行う。
【００４２】
そして、色空間変換部２７は、補正部２６によりエッジ強調などの処理が施された画像信号（ＲＧＢ信号）をマトリクス変換してＹＵＶ（輝度Ｙと色差Ｕ，Ｖとでなる信号）などの所定の信号フォーマットの画像信号に変換する。ただし、マトリクス変換処理を行わず、色空間変換部２７からＲＧＢ信号をそのまま出力させても良い。この発明の一実施形態では、例えばユーザの操作によって、ＹＵＶ信号、ＲＧＢ信号の何れを出力するかを切り換えることが可能とされている。色空間変換部２７により変換された画像信号は、上述のインタフェース１４に供給される。
【００４３】
ここで、上記図２に示したフローチャートのステップＳ３において、画像信号処理部８により行われる画像信号処理について、図４のフローチャートを参照して説明する。
【００４４】
すなわち、画像信号処理部８では、Ａ／Ｄ変換部７によりデジタル化された画像信号に対する画像信号処理を開始すると、先ず、ステップＳ１１において、ＣＣＤイメージセンサ５の欠陥の影響が出ないように、欠陥補正部２１により画像信号の欠陥補正を行う。そして、次のステップＳ１２では、欠陥補正部２１により欠陥補正された画像信号に対して、正の方向にシフトされていた量をもとに戻すクランプ処理をクランプ部２２により行う。
【００４５】
次のステップＳ１３では、クランプ部２２によりクランプされた画像信号に対して、ホワイトバランス調整部２３によりホワイトバランスの調整を行い各色信号間のゲインを調整する。さらに、ステップＳ１４では、ホワイトバランスが調整された画像信号に対して、クラス分類適応処理部２４により単板画像から３板相当画像の変換を含むクラス分類適応処理を行う。
【００４６】
ステップＳ１５では、クラス分類適応処理されたステップＳ１５によって得られた３板式カメラのＣＣＤ出力相当の画像信号に対して、ガンマ補正部２５によりガンマ曲線に従った補正を施す。
【００４７】
ステップＳ１６では、ステップＳ１５でガンマ補正された画像信号に対して、視覚的に良く見せるための補正処理（いわゆる画作り）を行う。ステップＳ１７では、ステップＳ１６によって得られた画像に例えばＲＧＢ信号をＹＵＶ信号に変換するなどの色空間の変換処理を施す。これにより、例えば記録信号として好適な信号フォーマットを有する出力画像が生成される。
【００４８】
この画像信号処理部８におけるクラス分類適応処理部２４は、図５に示すようにクラスタップ抽出回路３１、ベクトル量子化回路３２、クラス分類回路３３、係数メモリ３４、予測タップ抽出回路３５及び適応処理回路３６からなる。
【００４９】
クラスタップ抽出回路３１は、注目領域から指定されたタップ位置の画素値を抽出してベクトル量子化回路３２に渡す。ベクトル量子化回路３２は、クラスタップ抽出回路３１から渡された画素値がコードブックに書かれた色空間のどの代表点に近いかを評価して最も近い代表点をクラス分類回路３３に出力する。クラス分類回路３３は、ベクトル量子化回路３２から受け取ったクラスタップの画素値が最も近い代表点の結果からクラスを決定してクラス番号を係数メモリ３４に出力する。係数メモリ３４は、クラス分類回路３３から受け取ったクラス番号に対応した予測係数セットを読み出して適応処理回路３６に渡す。また、予測タップ抽出回路３５は、注目領域から指定されたタップ位置の画素値を抽出して適応処理回路３６に渡す。
【００５０】
そして、適応処理回路３６は、予測タップ抽出回路３５から渡された予測タップの画素値に、係数メモリ３４から読み出されるクラス番号に対応した予測係数セットを乗算し、線形和をもって予測画素値として出力する。
【００５１】
すなわち、クラス分類適応処理部２４では、図６のフローチャートに示す手順に従ってクラス分類適応処理を行う。
【００５２】
ステップＳ２１では、ホワイトバランス調整部２３によりホワイトバランスが調整された画像信号について、クラスタップ抽出回路３１及び予測タップ抽出回路３５によりクラスタップ及び予測タップの画素値を抽出するブロック化処理を行う。
【００５３】
次のステップＳ２２では、クラスタップ抽出回路３１により抽出されたクラスタップの画素値に対して、ベクトル量子化回路３２により、色空間内におけるベクトル量子化のコードブックから、最も距離の近い代表点を判別して出力する。
【００５４】
次のステップＳ２３では、ベクトル量子化回路３２によるベクトル量子化の結果に基づいて、クラス分類回路３３によりクラス番号を出力する。
【００５５】
次のステップＳ２４では、予測タップ抽出回路３５により抽出された予測タップの画素値に、適応処理回路３６によりクラス番号に対応した予測係数セットを乗算し、それらの線形和を予測画素値とする。
次のステップＳ２５では、全てのブロックについての処理が終了したか否かを判定し、まだ処理していないブロックが存在する場合には、ステップＳ２１に戻り、それ以降の処理を繰り返し実行する。そして、ステップＳ２５において、全てのブロックについての処理が終了したと判定された場合には、クラス分類適応処理を終了して、上述のステップＳ１６に移行する。
【００５６】
ここで、ベクトル量子化においては、入力される種々のベクトルの代表的なパターンを予め学習等によって決定して、それぞれに符号（インデクス）を与えてコードブックに蓄えておき、入力ベクトルとコードブックの各パターン（コードベクトル）との比較、すなわちパターンマッチングを行い、最も類似度や相関性の高いパターンの符号を出力する。この類似度や相関性は、入力ベクトルと各コードベクトルとの間の歪尺度や誤差エネルギ等を計算することにより求められ、歪や誤差が小さいほど類似度や相関性が高いことになる。ベクトル量子化のコードブックの作成アルゴリズムとしては、リンデ（Linde）、ブゾー（Buzo）、グレイ（Gray）によって提案されたＬＢＧアルゴリズムが広く知られている。ＬＢＧアルゴリズムは、いわゆるバッチ型学習アルゴリズムで、学習サンプルとしての特徴ベクトルとコードベクトル（最初は、適当な初期値が与えられる）との距離に対応して、特徴ベクトル空間を最適分割するボロノイス分割と、ボロノイス分割により得られる、特徴ベクトル空間の各部分領域の重心への、コードベクトルの更新とを繰り返し行うことにより、コードブックのコードベクトルを、局所的に最適な位置に収束させる。
【００５７】
上記ベクトル量子化回路３２では、色空間内におけるベクトル量子化のコードブックとして、一般的なコードブックの作成方法を採用し、注目する領域から量子化を行う画素を抽出し、ベクトル空間内にプロットした結果から、空間内のプロットの頻度に従って代表点を設定する。このとき、ベクトル空間の次元を多く取りとり、同一の色信号の軸を複数作ることにより、波形の特徴も含めることができるようにする。ベクトル量子化におけるクラスは、クラスタップ数をｎとするとｎ次元のベクトル空間で色空間を定義してベクトル量子化のコードブックを作成することができ、例えばクラスタップ数を３とすれば、図７に示すような３次元のベクトル空間で色空間を定義して各クラスタップの画素値に応じて例えばクラス０〜クラス４に分類することができる。なお、本来、クラスタップ及び予測タップの位置は、それぞれ最も効率のよいように配置される。そして、クラスタップ及び予測タップは、数多くする使用する方が、処理の精度は向上する。
【００５８】
また、上記予測係数セットは、予め学習により得られるもので、上記係数メモリ３２に記憶されている。
【００５９】
ここで、この学習について説明する。図８は、予測係数セットを学習により得る学習装置４０の構成を示すブロック図である。
【００６０】
この学習装置４０では、クラス分類適応処理の結果として生成されるべき出力画像信号、すなわち３板式カメラのＣＣＤ出力相当の画像信号と同一の信号形式を有する高解像度の教師画像信号が間引き回路４１及び予測対象画素抽出回路４６に供給される。間引き回路４１は、教師画像信号から、色フィルタアレイの各色の配置に従つて画素を間引く。間引き処理は、ＣＣＤイメージセンサ５に対して着される光学ローパスフィルタを想定したフィルタをかけることによって行う。すなわち、実際の光学系を想定した間引き処理を行う。間引き回路４１の出力が生徒画像信号としてクラスタップ抽出回路４２及び予測タップ抽出回路４５に供給される。なお、教師画像信号と生徒画像信号を個別に準備しておくことにより、上記間引き回路４１を省略することもできる。
【００６１】
クラスタップ抽出回路４２は、間引き回路４１により生成された生徒画像信号から、クラス分類に用いるクラスタップを抽出してベクトル量子化回路４３に渡す。
【００６２】
ベクトル量子化回路４３は、クラスタップ抽出回路３１から渡された画素値に基づいて、色空間内のベクトル量子化を行い、その結果をクラス分類回路４４に出力する。ベクトル量子化は、基本的には色空間内の色間の関係のみによって量子化する手法であるが、クラスタップを多く取り、同じ色信号に対して複数のタップをとることにより、色信号間だけでなく波形の特徴もクラスに取り込むことができる。
【００６３】
クラス分類回路４４は、ベクトル量子化回路４３から受け取ったクラスタップの画素値に基づく色空間内のベクトル量子化の結果からクラスを決定してクラス番号を第１の演算回路４７に出力する。
【００６４】
予測タップ抽出回路４５は、生徒画像におけるクラスタップとの対応をとりながら、間引き回路４１により生成された生徒画像信号から予測タップを抽出して第１の演算回路４７に出力する。ここでは、全色信号から予測タップを抽出するものとする。
【００６５】
予測対象画素抽出回路４６は、生徒画像から抽出されるクラスタップ及び予測タップとの対応をとりながら、予測の対象となる画素値を教師画像信号から抽出して第１の演算回路４７に出力する。
【００６６】
第１の演算回路４７は、クラス分類回路４４から出力されたクラス番号毎に、予測タップの画素値と予測対象画素の画素値を、最小自乗法を解くための正規方程式に足し込み、予測係数セットを解とする方程式である正規方程式のマトリクスの係数を演算する。上記第１の演算回路４７によって生成される正規方程式のマトリクスの係数が学習データメモリ４８に逐次読み込まれ、蓄積される。
【００６７】
第２の演算回路４９は、学習データメモリ４８に蓄積された正規方程式のマトリクスの係数を用いて、コレスキー分解など手法により正規方程式を解く処理を実行する。これにより、クラス毎の予測係数セットが算出される。算出された予測係数セットは、クラスに対応させて係数メモリ５０に記憶される。係数メモリ５０の記憶内容は、上述の係数メモリ３４にロードされ、クラス分類適応処理を行う際に使用される。
【００６８】
次に、図９のフローチャートを参照して、学習装置４０の動作について説明する。
【００６９】
この学習装置４０に入力されるデジタル画像信号は、３板式カメラで撮像された画像に相当する画質が得られる画像信号である。なお、３板式カメラで得られる画像信号（教師画像信号）は、１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号を含んでいるのに対し、単板式カメラで得られる画像信号（生徒画像信号）は、１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号の内の１つの色信号のみを含んでいる。例えば図１０の（Ａ）に示すように３板式カメラで撮像されたＨＤ画像信号をフィルタリングして図１０の（Ｂ）に示すように１／４サイズのＳＤ画像信号に変換した教師画像信号が、この学習装置４０に入力される。
【００７０】
ステップＳ３１では、３板式カメラで撮像された画像に相当する画質が得られる教師画像信号に対して間引き回路４１により単板カメラのＣＣＤイメージセンサ５に用いられる色コーディングフィルタ４に相当するフィルタをかける間引き処理を実行することで、図１０の（Ｃ）に示すように単板式カメラのＣＣＤイメージセンサ５が出力する画像信号に対応する生徒画像信号を教師画像信号から生成し、生成した生徒画像信号をクラスタップ抽出回路４２及び予測タップ抽出回路４５に供給する。
【００７１】
ステップＳ３２では、間引き回路４１により生成された生徒画像信号から、クラスタップ抽出回路４２及び予測タップ抽出回路４５によりクラスタップ及び予測タップの画素値を抽出するブロック化処理を行う。また、予測対象画素抽出回路４６により、生徒画像から抽出されるクラスタップ及び予測タップとの対応をとりながら、予測対象画素の画素値を教師画像信号から抽出する。
【００７２】
ステップＳ３３では、ベクトル量子化回路４３により、クラスタップ抽出回路４２から渡されたクラスタップの画素値に基づいて、色空間内のベクトル量子化を行う。
【００７３】
ステップＳ３４では、ベクトル量子化回路４３によるベクトル量子化の結果から、クラス分類回路４４によりクラスを決定してクラス番号を出力する。
【００７４】
ステップＳ３５では、第１の演算回路４７により、クラス分類回路４４から出力されたクラス番号にしたがって予測タップの画素値と予測対象画素の画素値を正規方程式に足し込む。
【００７５】
ステップＳ３６では、第１の演算回路４７による正規方程式への足し込みの処理が、学習の対象画素の全てに対して行われたか否かを判定する。まだ処理していない対象画素が存在する場合には、ステップＳ３２に戻り、また、全て対象画素についての処理が行われていればステップＳ３７に進む。
【００７６】
ステップＳ３７では、第２の演算回路４９は、学習データメモリ４８に蓄積された正規方程式のマトリクスの係数を用いて、コレスキー分解などの手法により正規方程式を解く処理を実行する。
【００７７】
ステップＳ３８では、第２の演算回路４９による正規方程式を解く処理が、全てのクラス番号の正規方程式について行われたか否かを判定する。まだ処理していない正規方程式が存在する場合には、ステップＳ３７に戻り、また、全ての処理が行われていれば、学習処理を終了する。
【００７８】
このようにしてクラスコードと関連付けられて係数メモリ５０に記憶された予測係数セットは、図５に示したクラス分類適応処理部２４の係数メモリ３４に記憶されることになる。そして、画像信号処理部８のクラス分類適応処理部２４は、上述したように、係数メモリ３４に記憶されている予測係数セットを用いて、線形１次結合モデルにより、注目画素に対して適応処理を行う。
【００７９】
例えば、図１１の（Ａ）に示すｎ×ｍ（ｎ及びｍは正の整数）個の画素で構成されるＣＣＤイメージセンサにより得られるベイヤー配列の色フィルタアレイにより色コーディングされた出力画像信号から、図１１の（Ｂ）に示す２ｎ×２ｍ個のＲ画素の画像信号、２ｎ×２ｍ個のＧ画素の画像信号及び２ｎ×２ｍ個のＢ画素の画像信号を、それぞれ直接生成する適応処理を行うことにより、４倍密度の画像を生成する。この場合、画像信号処理部８では、クラスタップ抽出部３０により入力画像信号をｐ×ｑ（ｐ及びｑは正の整数）個のブロックに分割し、各ブロック毎にクラスタップを抽出する。
この場合、例えば、図１２乃至図１５に示すようような構造のクラスタップ、及び、図１６乃至図１９に示すようような構造の予測タップが使用される。
【００８０】
図１２の（Ａ）、図１３の（Ａ）、図１４の（Ａ）及び図１５の（Ａ）に示される注目画素の斜め方向に隣接する位置に×印で示される予測画素のＲ信号、Ｇ信号又はＢ信号を生成する場合、及び、そのための予測係数セットを算出する際に、クラスを決定するのに用いられるにクラスタップの一例の構造を図１２の（Ｂ）、図１３の（Ｂ）、図１４の（Ｂ）及び図１５の（Ｂ）に示す。図１２の（Ｂ）、図１３の（Ｂ）、図１４の（Ｂ）及び図１５の（Ｂ）において、△はＢ信号のクラスタップを示し、○はＧ信号のクラスタップを示し、さらに、□はＲ信号のクラスタップを示している。
【００８１】
また、図１６の（Ａ）、図１７の（Ａ）、図１８の（Ａ）及び図１９の（Ａ）に示される注目画素の斜め方向に隣接する位置に×印で示される予測画素のＲ信号、Ｇ信号又はＢ信号を生成する場合、及び、そのための予測係数セットを算出する際に用いられるに予測タップの一例の構造を図１６の（Ｂ）、図１７の（Ｂ）、図１８の（Ｂ）及び図１９の（Ｂ）に示す。すなわち、予測タップは、図１６の（Ｂ）、図１７の（Ｂ）、図１８の（Ｂ）及び図１９の（Ｂ）に○を付して示すように注目画素を含む５×５の２５個の画素にて構成される。
【００８２】
なお、本来、クラスタップ及び予測タップの位置は、それぞれ最も効率の良いように配置される。そして、クラスタップ及び予測タップは数多く使用する方が、処理の精度は向上する。
【００８３】
なお、この実施の形態では、ＲＧＢの３つの情報を基にクラス分類を行っているが、ＹＵＶの３つの情報を基にクラス分類を行うこともできる。
【００８４】
以上の実施の形態の効果を評価するため、色フィルタアレイとしてベイヤー配列のものを用いた場合を想定したシミュレーションを行った。
【００８５】
学習装置４０と同様の処理を行うアルゴリズムで予測係数セットを生成し、３板式カメラのＣＣＤ出力相当の画像信号から、クラス分類適応処理の倍率と画素の位置関係を考慮した間引き操作により、単板式カメラのＣＣＤ出力相当の画像信号を生成し、上述したクラス分類適応処理による補間を行ったところ、従来の線形補間、また、ＲＧＢそれぞれのＡＤＲＣの波形分類を組み合わせたクラス分類などとの対比の結果、本発明の優位性を確認することができた。
【００８６】
シミュレーションには、ＩＴＥ(Institute of Television Engineers) のハイビジョン標準画像９枚を使用し、予測係数セットの算出に関してもその９枚を用いてシミュレーションを行った。その結果、線形補間との比較では、殆どの画像の色の変化部分での滑らかさが向上し、急峻な色変化部分に見られた破綻もなくすことができた。
【００８７】
なお、上述した説明では、色コーディングフィルタ４として、ベイヤー配列のものを用いた場合を説明したが、他の構成のであっても情報の密度に差がある構成の色コーディングフィルタを用いる場合には本発明を適応するができる。
【００８８】
ここで、このデジタルスチルカメラ１のＣＣＤイメージセンサ５に用いることのできる色コーディングフィルタ４を構成する色フィルタアレイの構成例を図２０の（Ａ）〜（Ｎ）に示す。
【００８９】
図２０の（Ａ）〜（Ｇ）は、原色（Ｒ，Ｇ，Ｂ）成分を通過させる原色フィルタアレイで構成された色コーディングフィルタ４における緑（Ｇ）・赤（Ｒ）・青（Ｂ）の色配列の例を示している。
【００９０】
図２０の（Ａ）はベイヤー配列を示し、図２０の（Ｂ）はインタライン配列を示し、図２０の（Ｃ）はＧストライプＲＢ市松配列を示し、図２０の（Ｄ）はＧストライプＲＢ完全市松配列を示し、図２０の（Ｅ）はストライプ配列を示し、図２０の（Ｆ）は斜めストライプ配列を示し、図２０の（Ｇ）は原色色差配列を示す。
【００９１】
また、図２０の（Ｈ）〜（Ｎ）は、補色（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分を通過させる補色フィルタアレイで構成された色コーディングフィルタ４におけるマゼンタ（Ｍ）・黄（Ｙ）・シアン（Ｃ）・白（Ｗ）の色配列を示す。図２０の（Ｈ）はフィールド色差順次配列を示し、図２０の（Ｉ）がフレーム色差順次配列を示し、図２０の（Ｊ）はＭＯＳ型配列を示し、図２０の（Ｋ）は改良ＭＯＳ型配列を示し、図２０の（Ｌ）はフレームインターリーブ配列を示し、図１９の（Ｍ）はフィールドインターリーブ配列を示し、図２０の（Ｎ）はストライプ配列を示す。
【００９２】
なお、補色（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分は、
Ｙ＝Ｇ＋Ｒ
Ｍ＝Ｒ＋Ｂ
Ｃ＝Ｇ＋Ｂ
Ｗ＝Ｒ＋Ｇ＋Ｂ
にて与えられる。また、図２０の（Ｉ）に示すフレーム色差順対応の色コーディングフィルタ４を通過する各色（ＹＭ，ＹＧ，ＣＭ，ＣＧ）成分は、
ＹＭ＝Ｙ＋Ｍ＝２Ｒ＋Ｇ＋Ｂ
ＣＧ＝Ｃ＋Ｇ＝２Ｇ＋Ｂ
ＹＧ＝Ｙ＋Ｇ＝Ｒ＋２Ｇ
ＣＭ＝Ｃ＋Ｍ＝Ｒ＋Ｇ＋２Ｒ
にて与えられる。
【００９３】
また、このデジタルスチルカメラ１では、単板のＣＣＤイメージセンサ５により撮像された画像信号から４倍密度の画像信号をクラス分類適応処理により生成するようにしたが、単板画像から３板相当画像への変換に限られることなく、任意の画素数への変換をクラス分類適応処理により行うようにすることができ、また、それらの処理を同時に行うなどの各種処理をクラス分類適応処理により行うようにすることができる。
【００９４】
さらに、上記クラス分類適応処理部２４におけるクラス分類適応処理や、上記学習装置４０において予測係数セットを得るための学習処理は、例えば図２１に示すように、バス３１１に接続されたＣＰＵ(Central Processing Unit) ３１２、メモリ３１３、入力インターフェース３１４、ユーザインターフェース３１５や出力インターフェース３１６などにより構成される一般的なコンピュータシステム３１０により実行することができる。上記処理を実行するコンピュータプログラムは、記録媒体に記録されて、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体、又は、クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体として、ユーザに提供される。上記記録媒体には、磁気ディスク、ＣＤ−ＲＯＭなどの情報記録媒体の他、インターネット、デジタル衛星などのネットワークによる伝送媒体も含まれる。
【００９５】
【発明の効果】
以上の如く本発明によれば、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出し、上記注目画素近傍に位置する複数の画素のそれぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行い、そのベクトル量子化の結果に基づいて１つのクラスを決定し、決定されたクラスに対応した予測係数セットと、抽出された上記注目画素近傍の複数の画素の画素値との積和演算により予測画素値を算出して、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成することにより、補間処理の破綻を回避し、色再現性の向上を図り、解像度が高く、滑らかで且つ自然な色の変化を再現できる画像信号を得ることができる。
【００９６】
また、本発明によれば、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた生徒画像信号の注目画素の近傍の複数の画素を抽出し、抽出された上記注目画素近傍に位置する複数の画素それぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行い、そのベクトル量子化の結果に基づいて１つのクラスを決定し、上記生徒画像信号と対応する画像信号であり、１画素毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出し、決定されたクラス毎に、上記生徒画像信号から抽出された複数の画素の画素値と、上記教師画像信号から抽出された複数の画素の画素値とから、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを解とする正規方程式のマトリクスの係数を演算し、上記正規方程式を解くことにより、クラス毎の予測係数セットを生成するので、補間処理の破綻を回避し、色再現性の向上を図り、解像度が高く、滑らかで且つ自然な色の変化を再現できる画像信号を得るための処理行う画像信号処理装置が用いる予測係数セットを算出することができる。
【００９７】
【図面の簡単な説明】
【図１】本発明を適用したデジタルスチルカメラの構成を示すブロック図である。
【図２】上記デジタルスチルカメラの動作を説明するためのフローチャートである。
【図３】上記デジタルスチルカメラにおける画像信号処理部の構成を示すブロック図である。
【図４】上記画像信号処理部により行われる画像信号処理を説明するためのフローチャートである。
【図５】クラス分類適応処理を行うクラス分類適応処理部の構成例を示す示すブロック図である。
【図６】上記クラス分類適応処理部により行われるクラス分類適応処理を説明するためのフローチャートである。
【図７】上記クラス分類適応処理部により行われるベクトル量子化におけるクラスの生成方法を模式的に示す図である。
【図８】上記クラス分類適応処理部におけるクラス分類適応処理に用いる予測係数セットを学習により得る学習装置の構成例を示すブロック図である。
【図９】上記学習装置の動作を説明するためのフローチャートである。
【図１０】上記学習装置による学習処理の一例を模式的に示す図である。
【図１１】上記画像信号処理部におけるクラス適応処理による画像信号処理の一例を模式的に示す図である。
【図１２】上記クラス適応処理に使用するクラスタップの構造を模式的に示す図である。
【図１３】上記クラス適応処理に使用するクラスタップの構造を模式的に示す図である。
【図１４】上記クラス適応処理に使用するクラスタップの構造を模式的に示す図である。
【図１５】上記クラス適応処理に使用するクラスタップの構造を模式的に示す図である。
【図１６】上記クラス適応処理に使用する予測タップの構造を模式的に示す図である。
【図１７】上記クラス適応処理に使用する予測タップの構造を模式的に示す図である。
【図１８】上記クラス適応処理に使用する予測タップの構造を模式的に示す図である。
【図１９】上記クラス適応処理に使用する予測タップの構造を模式的に示す図である。
【図２０】上記デジタルスチルカメラのＣＣＤイメージセンサに用いることのできる色コーディングフィルタの色フィルタアレイの構成例を模式的に示す図である。
【図２１】上記クラス分類適応処理や予測係数セットを得るための学習処理を行うコンピュータシステムの一般的な構成を示すブロック図である。
【図２２】従来の線形補間による画像信号処理を模式的に示す図である。
【符号の説明】
１ デジタルスチルカメラ、５ ＣＣＤイメージセンサ、８ 画像信号処理部、２４ クラス分類適応処理部、３１ クラスタップ抽出回路、３２ ベクトル量子化回路、３３ クラス分類回路、３４ 係数セットメモリ、３５ 予測タップ抽出回路、３６ 適応処理回路、４０ 学習装置、４１ 間引き部、４２ クラスタップ抽出回路、４３ ベクトル量子化回路、４４ クラス分類回路、４５予測タップ抽出回路、４６ 予測対象画素抽出回路、４７ 第１の演算回路、４８ 学習データメモリ、４９ 第２の演算回路、５０ 係数メモリ
【発明の属する技術分野】
本発明は画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体に関し、特に、１つの固体イメージセンサにより得られる画像に対し、その画像信号の１画素が赤(Ｒ：Red) 成分、緑(Ｇ：Green) 成分及び青(Ｂ：Blue)成分をもつように、クラス分類適応処理を用いて色成分を補間する画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体に関する。
【０００２】
【従来の技術】
ＣＣＤ(Charge Coupled Device) イメージセンサなどの固体イメージセンサを用いた撮像装置には、主に、１つのＣＣＤイメージセンサを用いた単板方式のもの（以後、単板式カメラという）と、３つのＣＣＤイメージセンサを用いた３板方式のもの（以後、３板式カメラという）とがある。
【０００３】
３板式カメラでは、例えばＲ信号用、Ｇ信号用及びＢ信号用の３つのＣＣＤイメージセンサを用いて、その３つのＣＣＤイメージセンサにより３原色信号を得る。そして、この３原色信号から生成されるカラー画像信号が記録媒体に記録される。
【０００４】
単板式カメラでは、１画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された１つのＣＣＤイメージセンサを用いて、上記色コーディングフィルタにより色コーディングされた色成分の信号を１画素毎に得る。上記色コーディングフィルタを構成する色フィルタアレイとしては、例えば、Ｒ(Red) ，Ｇ(Green) ，Ｂ(Blue) の原色フィルタアレイや、Ｙｅ(Yellow) ，Ｃｙ(Cyanogen)，Ｍｇ(Magenta) の補色フィルタアレイが用いられている。そして、単板式カメラにおいては、ＣＣＤイメージセンサにより１画素毎に１つの色成分の信号を得て、各画素が持っている色成分の信号以外の色信号を線形補間処理により生成して、３板式カメラにより得られる画像に近い画像を得るようにしていた。ビデオカメラなどにおいて、小型化、軽量化を図る場合に、単板式が採用されている。
【０００５】
単板式カメラにおいて、例えば図２２の（Ａ）に示すような色配列の色フィルタアレイにより構成された色コーディングフィルタが設けられたＣＣＤイメージセンサは、Ｒ，Ｇ，Ｂの３原色のうちの１つの色のフィルタが配置された各画素から、そのフィルタの色に対応する画像信号のみが出力される。すなわち、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は出力されるが、Ｇ成分及びＢ成分の画像信号は出力されない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが出力され、Ｒ成分及びＢ成分の画像信号は出力されず、Ｂの画素からは、Ｂ成分の画像信号のみが出力され、Ｒ成分及びＧ成分の画像信号は出力されない。
【０００６】
ここで、図２２の（Ａ）に示す色フィルタアレイの色配列は、ベイヤー配列と称される。この場合においては、Ｇの色フィルタが市松状に配され、残った部分にＲとＢが一列毎に交互に配されている。
【０００７】
しかしながら、後段において各画素の信号を処理する際、各画素毎にＲ成分，Ｇ成分及びＢ成分の画像信号が必要となる。そこで、従来、ｎ×ｍ（ｎ及びｍは正の整数）個の画素で構成されるＣＣＤイメージセンサの出力から、図２２の（Ｂ）に示すように、ｎ×ｍ個のＲ画素の画像信号、ｎ×ｍ個のＧ画素の画像信号及びｎ×ｍ個のＢ画素の画像信号、すなわち、３板式カメラのＣＣＤ出力相当の画像信号が、それぞれ補間演算により求められ、それらの画像信号が後段に出力される。
【０００８】
そして、さらに、例えば４倍密度の画像信号を生成する場合、図２２の（Ｃ）に示すように、ｎ×ｍ個のＲ画素の画像信号から２ｎ×２ｍ個のＲ画素の画像信号が補間演算により求められ、ｎ×ｍ個のＧ画素の画像信号から２ｎ×２ｍ個のＧ画素の画像信号が補間演算により求められ、さらに、ｎ×ｍ個のＢ画素の画像信号から、２ｎ×２ｍ個のＢ画素の画像信号が補間演算により求められる。
【０００９】
【発明が解決しようとする課題】
ＣＣＤイメージセンサにより１画素毎に１つの色成分の信号を得て、各画素が持っている色成分の信号以外の色信号を線形補間処理により生成する単板式カメラにおいては、画像の斜め線や細線の部分で上記線形補間処理に破綻を生じ易いという問題点がある。また、線形処理を行うことにより色信号の補間を行っているので、画像の波形が鈍つてしまい、画像全体が不鮮明となってしまうので、輪郭強調処理等の処理を行って、見掛けの解像度を上げる処理が必要であった。また、その撮像出力として得られる画像信号による画像の解像度が、３板式カメラの撮像出力として得られる画像信号による画像と比較して低く、上記線形処理の影響により全体的にぼやけた画像となってしまうといった問題点があった。
【００１０】
また、単板式カメラのＣＣＤイメージセンサの出力から、同一解像度の３原色の成分を各画素毎に生成し、その画像信号から、さらにより高密度の画像信号を演算することにより、画素密度を大きくしたとしても、十分な精細度を得ることができないという問題点があった。
【００１１】
さらに、線形補間と異なる処理方法として、単板式カメラのＣＣＤ出力から、Ｒ，Ｇ，Ｂの３原色の各画像信号毎に独立にクラス分類適応処理を行うことよって３板式カメラのＣＣＤ出力に相当する画像信号を生成することが提案されている（国際公開番号：ＷＯ９６／０７２７５）。しかしながら、クラス分類適応処理においても、基本的に波形によるクラス分類を行っているため、色信号間の波形に違いが見られる箇所では破綻を招くことが確認されている。
本発明は、このような状況に鑑みてなされたものであり、補間処理の破綻を回避し、色再現性の向上を図り、解像度が高く、滑らかで且つ自然な色の変化を再現できる画像信号を単板式カメラのＣＣＤ出力から得られるようにすることを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた入力画像信号を処理する画像信号処理装置において、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出手段と、上記画素抽出手段で抽出された上記注目画素近傍に位置する複数の画素それぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行うベクトル量子化手段と、上記ベクトル量子化手段によるベクトル量子化の結果に基づいて１つのクラスを決定するクラス決定手段と、上記クラス決定手段で決定されたクラスに対応した予測係数セットと上記画素抽出手段によって抽出された上記注目画素近傍の複数の画素の画素値との積和演算により予測画素値を算出して、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成手段とを備え、上記画素生成手段は、上記クラス決定手段により決定される各クラス毎の予測係数セットとして、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた生徒画像信号の注目画素の近傍の複数の画素を抽出し、抽出された上記注目画素近傍に位置する複数の画素それぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行い、上記ベクトル量子化の結果に基づいて１つのクラスを決定し、上記生徒画像信号と対応する画像信号であり、１画素毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出し、決定されたクラス毎に、上記生徒画像信号から抽出された複数の画素の画素値と、上記教師画像信号から抽出された複数の画素の画素値とから、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを解とする正規方程式のマトリクスの係数を演算し、上記正規方程式を解くことにより、クラス毎の予測係数セットを生成する学習処理を実行することにより予め得られたクラス毎の予測係数セットを記憶する記憶手段と、上記記憶手段から読み出される上記クラス決定手段で決定されたクラスに応じた予測係数セットと、上記画素抽出手段によって抽出された上記注目画素近傍の複数の画素の画素値との積和演算により予測画素値を算出して、上記異なる色成分を持つ画素を生成する演算手段とを備えることを特徴とする。
【００１３】
また、本発明は、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた入力画像信号を処理する画像信号処理方法において、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、上記画素抽出ステップで抽出された上記注目画素近傍に位置する複数の画素のそれぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行うベクトル量子化ステップと、上記ベクトル量子化ステップにおけるベクトル量子化の結果に基づいて１つのクラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに対応した予測係数セットと上記画素抽出ステップによって抽出された上記注目画素近傍の複数の画素の画素値との積和演算により予測画素値を算出して、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップとを備え、上記画素生成ステップでは、上記クラス決定ステップで決定される各クラス毎の予測係数セットとして、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた生徒画像信号の注目画素の近傍の複数の画素を抽出し、抽出された上記注目画素近傍に位置する複数の画素それぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行い、上記ベクトル量子化の結果に基づいて１つのクラスを決定し、上記生徒画像信号と対応する画像信号であり、１画素毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出し、決定されたクラス毎に、上記生徒画像信号から抽出された複数の画素の画素値と、上記教師画像信号から抽出された複数の画素の画素値とから、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを解とする正規方程式のマトリクスの係数を演算し、上記正規方程式を解くことにより、クラス毎の予測係数セットを生成する学習処理を実行することにより予め得られたクラス毎の予測係数セットを用いて、上記画素を生成することを特徴とする。
【００１４】
また、本発明は、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた入力画像信号を処理する画像信号処理を実行させるためのプログラムを記録したコンピュータにより読み取り可能な記録媒体において、上記プログラムは、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、上記画素抽出ステップで抽出された上記注目画素近傍に位置する複数の画素のそれぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行うベクトル量子化ステップと、上記ベクトル量子化ステップにおけるベクトル量子化の結果に基づいて１つのクラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに対応した予測係数セットと上記画素抽出ステップによって抽出された上記注目画素近傍の複数の画素の画素値との積和演算により予測画素値を算出して、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップとを有し、上記画素生成ステップでは、上記クラス決定ステップで決定される各クラス毎の予測係数セットとして、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた生徒画像信号の注目画素の近傍の複数の画素を抽出し、抽出された上記注目画素近傍に位置する複数の画素それぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行い、上記ベクトル量子化の結果に基づいて１つのクラスを決定し、上記生徒画像信号と対応する画像信号であり、１画素毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出し、決定されたクラス毎に、上記生徒画像信号から抽出された複数の画素の画素値と、上記教師画像信号から抽出された複数の画素の画素値とから、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを解とする正規方程式のマトリクスの係数を演算し、上記正規方程式を解くことにより、クラス毎の予測係数セットを生成する学習処理を実行することにより予め得られたクラス毎の予測係数セットを用いて、上記画素を生成する画像信号処理を上記コンピュータに実行させることを特徴とする。
【００１５】
また、本発明に係る学習装置は、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた生徒画像信号の注目画素の近傍の複数の画素を抽出する第１の画素抽出手段と、上記第１の画素抽出手段で抽出された上記注目画素近傍に位置する複数の画素それぞれの色成分の信号値に基づいて、複数の色成分で表される色空間内におけるベクトル量子化を行うベクトル量子化手段と、上記ベクトル量子化手段によるベクトル量子化の結果に基づいて１つのクラスを決定するクラス決定手段と、上記生徒画像信号と対応する画像信号であり、１画素毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出手段と、上記クラス決定手段により決定されたクラス毎に、上記第１の画素抽出手段で生徒画像信号から抽出された複数の画素の画素値と、上記第２の画素抽出手段で教師画像信号から抽出された複数の画素の画素値とから、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを解とする正規方程式のマトリクスの係数を演算し、上記正規方程式を解くことにより、クラス毎の予測係数セットを生成する予測係数生成手段とを備えることを特徴とする。
【００１６】
また、本発明に係る学習方法は、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた生徒画像信号の注目画素の近傍の複数の画素を抽出する第１の画素抽出ステップと、上記第１の画素抽出ステップで抽出された上記注目画素近傍に位置する複数の画素それぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行うベクトル量子化ステップと、上記ベクトル量子化ステップにおけるベクトル量子化の結果に基づいて１つのクラスを決定するクラス決定ステップと、上記生徒画像信号と対応する画像信号であり、１画素毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出ステップと、上記クラス決定ステップにより決定されたクラス毎に、上記第１の画素抽出ステップで生徒画像信号から抽出された複数の画素の画素値と、上記第２の画素抽出ステップで教師画像信号から抽出された複数の画素の画素値とから、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを解とする正規方程式のマトリクスの係数を演算し、上記正規方程式を解くことにより、クラス毎の予測係数セットを生成する予測係数生成ステップとを有することを特徴とする。
【００１７】
さらに、本発明は、クラスに応じた予測係数セットを生成するための学習処理を実行させるためのプログラムを記録したコンピュータにより読み取り可能な記録媒体において、上記プログラムは、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた生徒画像信号の注目画素の近傍の複数の画素を抽出する第１の画素抽出ステップと、上記第１の画素抽出ステップで抽出された上記注目画素近傍に位置する複数の画素それぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行うベクトル量子化ステップと、上記ベクトル量子化ステップにおけるベクトル量子化の結果に基づいて１つのクラスを決定するクラス決定ステップと、上記生徒画像信号と対応する画像信号であり、１画素毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出ステップと、上記クラス決定ステップにより決定されたクラス毎に、上記第１の画素抽出ステップで生徒画像信号から抽出された複数の画素の画素値と、上記第２の画素抽出ステップで教師画像信号から抽出された複数の画素の画素値とから、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを解とする正規方程式のマトリクスの係数を演算し、上記正規方程式を解くことにより、クラス毎の予測係数セットを生成する予測係数生成ステップとを有する学習処理を上記コンピュータに実行させることを特徴とする。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１９】
本発明は、例えば図１に示すような構成のデジタルスチルカメラ１に適用される。このデジタルスチルカメラ１は、１画素毎に割り当てられたベイヤ配列などの色フィルタからなる色コーディングフィルタ４が前面に設置された１つのＣＣＤイメージセンサ５を用いてカラー撮像を行う単板式カメラであって、被写体からの入射光が、レンズ２により集光され、アイリス３及び色コーディングフィルタ４を介してＣＣＤイメージセンサ５に入射されるようになっている。上記ＣＣＤイメージセンサ５の撮像面上には、上記アイリス３により所定レベルの光量とされた入射光により被写体像が結像される。なお、このデジタルスチルカメラ１においては、色コーディングフィルタ４とＣＣＤイメージセンサ５は別体としたが、一体化した構造とすることができる。
【００２０】
上記ＣＣＤイメージセンサ５は、タイミングジェネレータ９からのタイミング信号により制御される電子シャッタに応じて所定時間にわたって露光を行い、色コーディングフィルタ４を透過した入射光の光量に応じた信号電荷（アナログ量）を画素毎に発生することにより、上記入射光により結像された被写体像を撮像して、その撮像出力として得られる画像信号を信号調整部６に供給する。
【００２１】
信号調整部６は、画像信号の信号レベルが一定となるようにゲインを調整するＡＧＣ(Automatic Gain Contorol) 回路と、ＣＣＤイメージセンサ５が発生する１／ｆのノイズを除去するＣＤＳ(Correiated Double Sampling)回路からなる。
【００２２】
上記信号調整部６から出力される画像信号は、Ａ／Ｄ変換部７によりアナログ信号からデジタル信号に変換されて、画像信号処理部８に供給される。上記Ａ／Ｄ変換部７では、タイミングジェネレータ９からのタイミング信号に応じて、例えば１サンプル１０ビットのディジタル撮像信号を生成する。
【００２３】
このデジタルスチルカメラ１において、タイミングジェネレータ９は、ＣＣＤイメージセンサ５、信号調整部６、Ａ／Ｄ変換部７及びＣＰＵ(Central Processing Unit) １０に各種タイミング信号を供給する。ＣＰＵ１０は、モータ１１を駆動することにより、アイリス３を制御する。また、ＣＰＵ１０は、モータ１２を駆動することにより、レンズ２などを移動させ、ズームやオートフォーカスなどの制御をする。さらに、ＣＰＵ１０は、必要に応じ、フラッシュ１３により閃光を発する制御を行うようにされている。
【００２４】
画像信号処理部８は、Ａ／Ｄ変換部７から供給された画像信号に対し、欠陥補正処理、ディジタルクランプ処理、ホワイトバランス調整処理、ガンマ補正処理、クラス分類適応処理を用いた予測処理等の処理を行う。
【００２５】
この画像信号処理部８に接続されたメモリ１５は、例えば、ＲＡＭ(Random Access Memory)で構成され、画像信号処理部８が画像処理を行う際に必要な信号を記憶する。画像信号処理部８により処理された画像信号は、インタフェース１４を介してメモリ１６に記憶される。このメモリ１６に記憶された画像信号は、インタフェース１４を介してデジタルスチルカメラ１に対して着脱可能な記録媒体１７に記録される。
【００２６】
なお、モータ１１は、ＣＰＵ１０からの制御情報に基づいてアイリス３を駆動し、レンズ２を介して入射される光の量を制御する。また、モータ１２は、ＣＰＵ１０からの制御情報に基づいてレンズ２のＣＣＤイメージセンサ２に対するフォーカス状態を制御する。これにより、自動絞り制御動作や自動焦点制御動作が実現される。また、フラッシュ１３は、ＣＰＵ１０による制御の下で、被写体に対して所定の閃光を照射する。
【００２７】
また、インターフェース１４は、画像信号処理部８からの画像信号を必要に応じてメモリ１６に記憶し、所定のインターフェース処理を実行した後、記録媒体１７に供給し、記憶させる。記録媒体１７としては、デジタルスチルカメラ１の本体に対して着脱可能な記録媒体、例えばフロッピーディスク、ハードディスク等のディスク記録媒体、メモリカード等のフラッシュメモリ等を用いることができる。
【００２８】
コントローラ１８は、ＣＰＵ１０の制御の下で、画像信号処理部８及びインターフェース１４に制御情報を供給してそれぞれを制御する。ＣＰＵ１０には、シャッタボタンやズームボタンなどの操作ボタンから構成される操作部２０からユーザによる操作情報が入力される。ＣＰＵ１０は、入力された操作情報を基に、上述した各部を制御する。電源部１９は、バッテリ１９ＡとＤＣ／ＤＣコンバータ１９Ｂなどを有する。ＤＣ／ＤＣコンバータ１９Ｂは、バッテリ１９Ａからの電力を所定の値の直流電圧に変換し、装置内の各構成要素に供給する。充電可能なバッテリ１９Ａは、デジタルスチルカメラ１の本体に着脱可能とされている。
【００２９】
次に、図２のフローチャートを参照し、図１に示したデジタルスチルカメラ１の動作について説明する。このデジタルスチルカメラ１は、ステップＳ１において、電源がオンされることにより、被写体の撮像を開始する。すなわち、ＣＰＵ１０は、モータ１１及びモータ１２を駆動し、焦点を合わせたりアイリス３を調整することにより、レンズ２を介してＣＣＤイメージセンサ５上に被写体像を結像させる。
【００３０】
ステップＳ２では、結像された像をＣＣＤイメージセンサ５により撮像した画像信号が、信号調整部６において、信号レベルが一定となるようにゲイン調整され、さらにノイズが除去され、さらに、Ａ／Ｄ変換部７によりデジタル化される。
【００３１】
また、ステップＳ３では、上記Ａ／Ｄ変換部７によりデジタル化された画像信号に対して、画像信号処理部８によりクラス分類適応処理を含む画像信号処理を行う。
【００３２】
ここで、被写体像は、ＣＣＤイメージセンサ５の撮像出力として得られる画像信号を電子ビューファインダに表示するよりユーザが確認できるようになっている。なお、被写体像は、光学的ビューファインダによりユーザが確認できるようにすることもできる。
【００３３】
そして、ユーザは、ビューファインダにより確認した被写体像の画像を記録媒体１７に記録したい場合、操作部２０のシャッタボタンを操作する。デジタルスチルカメラ１のＣＰＵ１０は、ステップＳ４において、シャッタボタンが操作されたか否かを判断する。デジタルスチルカメラ１は、シャッタボタンが操作されたと判断するまで、ステップＳ２〜Ｓ３の処理を繰り返し、シャッタボタンが操作されたと判断すると、ステップＳ５に進む。
【００３４】
そして、ステップＳ５では、画像信号処理部８による画像信号処理が施された画像信号をインターフェース１４を介して記録媒体１７に記録する。
【００３５】
次に、図３を参照して画像信号処理部８について説明する。
【００３６】
この画像信号処理部８は、上記Ａ／Ｄ変換部７によりデジタル化された画像信号が供給される欠陥補正部２１を備える。ＣＣＤイメージセンサ５の画素の中で、何らかの原因により入射光に反応しない画素や、入射光に依存せず、電荷が常に蓄えられている画素、換言すれば、欠陥がある画素を検出し、その検出結果に従って、それらの欠陥画素の影響が露呈しないように、画像信号を補正する処理を行う。
【００３７】
Ａ／Ｄ変換部７では、負の値がカットされるのを防ぐため、一般に信号値を若干正の方向ヘシフトさせた状態でＡ／Ｄ変換が行われている。クランプ部２２は、欠陥補正部２１により欠陥補正された画像信号に対し、上述したシフト量がなくなるようにクランプする。
【００３８】
クランプ部２２によりクランプされた画像信号は、ホワイトバランス調整部２３に供給される。ホワイトバランス調整部２３は、クランプ部２２から供給された画像信号のゲインを補正することにより、ホワイトバランスを調整する。このホワイトバランス調整部２３によりホワイトバランスが調整された画像信号は、クラス分類適応処理２４に供給される。
【００３９】
クラス分類適応処理２４では、ホワイトバランス調整部２３によりホワイトバランスが調整された画像信号について、局所的な画像の特徴量を抽出し、各特徴に基づいてクラスを作成して、クラス毎の処理を行う。具体的な処理としては、単板画像から３板相当画像の変換、任意の画素数への変換、又はそれらの処理を同時に行うなどの各種処理が可能である。ここでは、斜め線や細線に対して特別なクラスを用意することにより、斜め線や細線部分における処理の破綻に対処することができる。このクラス分類適応処理２４によりクラス分類適応処理された画像信号は、ガンマ補正部２５に供給される。
【００４０】
ガンマ補正部２５は、クラス分類適応処理された画像信号の信号レベルをガンマ曲線に従って補正する。このガンマ補正部２５によりガンマ補正された画像信号は、補正部２６に供給される。
【００４１】
補正部２６は、上記ガンマ補正部２５によりガンマ補正された画像信号に対してエッジ強調等の画像を視覚的に良く見せるために必要ないわゆる画作りのための処理を行う。
【００４２】
そして、色空間変換部２７は、補正部２６によりエッジ強調などの処理が施された画像信号（ＲＧＢ信号）をマトリクス変換してＹＵＶ（輝度Ｙと色差Ｕ，Ｖとでなる信号）などの所定の信号フォーマットの画像信号に変換する。ただし、マトリクス変換処理を行わず、色空間変換部２７からＲＧＢ信号をそのまま出力させても良い。この発明の一実施形態では、例えばユーザの操作によって、ＹＵＶ信号、ＲＧＢ信号の何れを出力するかを切り換えることが可能とされている。色空間変換部２７により変換された画像信号は、上述のインタフェース１４に供給される。
【００４３】
ここで、上記図２に示したフローチャートのステップＳ３において、画像信号処理部８により行われる画像信号処理について、図４のフローチャートを参照して説明する。
【００４４】
すなわち、画像信号処理部８では、Ａ／Ｄ変換部７によりデジタル化された画像信号に対する画像信号処理を開始すると、先ず、ステップＳ１１において、ＣＣＤイメージセンサ５の欠陥の影響が出ないように、欠陥補正部２１により画像信号の欠陥補正を行う。そして、次のステップＳ１２では、欠陥補正部２１により欠陥補正された画像信号に対して、正の方向にシフトされていた量をもとに戻すクランプ処理をクランプ部２２により行う。
【００４５】
次のステップＳ１３では、クランプ部２２によりクランプされた画像信号に対して、ホワイトバランス調整部２３によりホワイトバランスの調整を行い各色信号間のゲインを調整する。さらに、ステップＳ１４では、ホワイトバランスが調整された画像信号に対して、クラス分類適応処理部２４により単板画像から３板相当画像の変換を含むクラス分類適応処理を行う。
【００４６】
ステップＳ１５では、クラス分類適応処理されたステップＳ１５によって得られた３板式カメラのＣＣＤ出力相当の画像信号に対して、ガンマ補正部２５によりガンマ曲線に従った補正を施す。
【００４７】
ステップＳ１６では、ステップＳ１５でガンマ補正された画像信号に対して、視覚的に良く見せるための補正処理（いわゆる画作り）を行う。ステップＳ１７では、ステップＳ１６によって得られた画像に例えばＲＧＢ信号をＹＵＶ信号に変換するなどの色空間の変換処理を施す。これにより、例えば記録信号として好適な信号フォーマットを有する出力画像が生成される。
【００４８】
この画像信号処理部８におけるクラス分類適応処理部２４は、図５に示すようにクラスタップ抽出回路３１、ベクトル量子化回路３２、クラス分類回路３３、係数メモリ３４、予測タップ抽出回路３５及び適応処理回路３６からなる。
【００４９】
クラスタップ抽出回路３１は、注目領域から指定されたタップ位置の画素値を抽出してベクトル量子化回路３２に渡す。ベクトル量子化回路３２は、クラスタップ抽出回路３１から渡された画素値がコードブックに書かれた色空間のどの代表点に近いかを評価して最も近い代表点をクラス分類回路３３に出力する。クラス分類回路３３は、ベクトル量子化回路３２から受け取ったクラスタップの画素値が最も近い代表点の結果からクラスを決定してクラス番号を係数メモリ３４に出力する。係数メモリ３４は、クラス分類回路３３から受け取ったクラス番号に対応した予測係数セットを読み出して適応処理回路３６に渡す。また、予測タップ抽出回路３５は、注目領域から指定されたタップ位置の画素値を抽出して適応処理回路３６に渡す。
【００５０】
そして、適応処理回路３６は、予測タップ抽出回路３５から渡された予測タップの画素値に、係数メモリ３４から読み出されるクラス番号に対応した予測係数セットを乗算し、線形和をもって予測画素値として出力する。
【００５１】
すなわち、クラス分類適応処理部２４では、図６のフローチャートに示す手順に従ってクラス分類適応処理を行う。
【００５２】
ステップＳ２１では、ホワイトバランス調整部２３によりホワイトバランスが調整された画像信号について、クラスタップ抽出回路３１及び予測タップ抽出回路３５によりクラスタップ及び予測タップの画素値を抽出するブロック化処理を行う。
【００５３】
次のステップＳ２２では、クラスタップ抽出回路３１により抽出されたクラスタップの画素値に対して、ベクトル量子化回路３２により、色空間内におけるベクトル量子化のコードブックから、最も距離の近い代表点を判別して出力する。
【００５４】
次のステップＳ２３では、ベクトル量子化回路３２によるベクトル量子化の結果に基づいて、クラス分類回路３３によりクラス番号を出力する。
【００５５】
次のステップＳ２４では、予測タップ抽出回路３５により抽出された予測タップの画素値に、適応処理回路３６によりクラス番号に対応した予測係数セットを乗算し、それらの線形和を予測画素値とする。
次のステップＳ２５では、全てのブロックについての処理が終了したか否かを判定し、まだ処理していないブロックが存在する場合には、ステップＳ２１に戻り、それ以降の処理を繰り返し実行する。そして、ステップＳ２５において、全てのブロックについての処理が終了したと判定された場合には、クラス分類適応処理を終了して、上述のステップＳ１６に移行する。
【００５６】
ここで、ベクトル量子化においては、入力される種々のベクトルの代表的なパターンを予め学習等によって決定して、それぞれに符号（インデクス）を与えてコードブックに蓄えておき、入力ベクトルとコードブックの各パターン（コードベクトル）との比較、すなわちパターンマッチングを行い、最も類似度や相関性の高いパターンの符号を出力する。この類似度や相関性は、入力ベクトルと各コードベクトルとの間の歪尺度や誤差エネルギ等を計算することにより求められ、歪や誤差が小さいほど類似度や相関性が高いことになる。ベクトル量子化のコードブックの作成アルゴリズムとしては、リンデ（Linde）、ブゾー（Buzo）、グレイ（Gray）によって提案されたＬＢＧアルゴリズムが広く知られている。ＬＢＧアルゴリズムは、いわゆるバッチ型学習アルゴリズムで、学習サンプルとしての特徴ベクトルとコードベクトル（最初は、適当な初期値が与えられる）との距離に対応して、特徴ベクトル空間を最適分割するボロノイス分割と、ボロノイス分割により得られる、特徴ベクトル空間の各部分領域の重心への、コードベクトルの更新とを繰り返し行うことにより、コードブックのコードベクトルを、局所的に最適な位置に収束させる。
【００５７】
上記ベクトル量子化回路３２では、色空間内におけるベクトル量子化のコードブックとして、一般的なコードブックの作成方法を採用し、注目する領域から量子化を行う画素を抽出し、ベクトル空間内にプロットした結果から、空間内のプロットの頻度に従って代表点を設定する。このとき、ベクトル空間の次元を多く取りとり、同一の色信号の軸を複数作ることにより、波形の特徴も含めることができるようにする。ベクトル量子化におけるクラスは、クラスタップ数をｎとするとｎ次元のベクトル空間で色空間を定義してベクトル量子化のコードブックを作成することができ、例えばクラスタップ数を３とすれば、図７に示すような３次元のベクトル空間で色空間を定義して各クラスタップの画素値に応じて例えばクラス０〜クラス４に分類することができる。なお、本来、クラスタップ及び予測タップの位置は、それぞれ最も効率のよいように配置される。そして、クラスタップ及び予測タップは、数多くする使用する方が、処理の精度は向上する。
【００５８】
また、上記予測係数セットは、予め学習により得られるもので、上記係数メモリ３２に記憶されている。
【００５９】
ここで、この学習について説明する。図８は、予測係数セットを学習により得る学習装置４０の構成を示すブロック図である。
【００６０】
この学習装置４０では、クラス分類適応処理の結果として生成されるべき出力画像信号、すなわち３板式カメラのＣＣＤ出力相当の画像信号と同一の信号形式を有する高解像度の教師画像信号が間引き回路４１及び予測対象画素抽出回路４６に供給される。間引き回路４１は、教師画像信号から、色フィルタアレイの各色の配置に従つて画素を間引く。間引き処理は、ＣＣＤイメージセンサ５に対して着される光学ローパスフィルタを想定したフィルタをかけることによって行う。すなわち、実際の光学系を想定した間引き処理を行う。間引き回路４１の出力が生徒画像信号としてクラスタップ抽出回路４２及び予測タップ抽出回路４５に供給される。なお、教師画像信号と生徒画像信号を個別に準備しておくことにより、上記間引き回路４１を省略することもできる。
【００６１】
クラスタップ抽出回路４２は、間引き回路４１により生成された生徒画像信号から、クラス分類に用いるクラスタップを抽出してベクトル量子化回路４３に渡す。
【００６２】
ベクトル量子化回路４３は、クラスタップ抽出回路３１から渡された画素値に基づいて、色空間内のベクトル量子化を行い、その結果をクラス分類回路４４に出力する。ベクトル量子化は、基本的には色空間内の色間の関係のみによって量子化する手法であるが、クラスタップを多く取り、同じ色信号に対して複数のタップをとることにより、色信号間だけでなく波形の特徴もクラスに取り込むことができる。
【００６３】
クラス分類回路４４は、ベクトル量子化回路４３から受け取ったクラスタップの画素値に基づく色空間内のベクトル量子化の結果からクラスを決定してクラス番号を第１の演算回路４７に出力する。
【００６４】
予測タップ抽出回路４５は、生徒画像におけるクラスタップとの対応をとりながら、間引き回路４１により生成された生徒画像信号から予測タップを抽出して第１の演算回路４７に出力する。ここでは、全色信号から予測タップを抽出するものとする。
【００６５】
予測対象画素抽出回路４６は、生徒画像から抽出されるクラスタップ及び予測タップとの対応をとりながら、予測の対象となる画素値を教師画像信号から抽出して第１の演算回路４７に出力する。
【００６６】
第１の演算回路４７は、クラス分類回路４４から出力されたクラス番号毎に、予測タップの画素値と予測対象画素の画素値を、最小自乗法を解くための正規方程式に足し込み、予測係数セットを解とする方程式である正規方程式のマトリクスの係数を演算する。上記第１の演算回路４７によって生成される正規方程式のマトリクスの係数が学習データメモリ４８に逐次読み込まれ、蓄積される。
【００６７】
第２の演算回路４９は、学習データメモリ４８に蓄積された正規方程式のマトリクスの係数を用いて、コレスキー分解など手法により正規方程式を解く処理を実行する。これにより、クラス毎の予測係数セットが算出される。算出された予測係数セットは、クラスに対応させて係数メモリ５０に記憶される。係数メモリ５０の記憶内容は、上述の係数メモリ３４にロードされ、クラス分類適応処理を行う際に使用される。
【００６８】
次に、図９のフローチャートを参照して、学習装置４０の動作について説明する。
【００６９】
この学習装置４０に入力されるデジタル画像信号は、３板式カメラで撮像された画像に相当する画質が得られる画像信号である。なお、３板式カメラで得られる画像信号（教師画像信号）は、１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号を含んでいるのに対し、単板式カメラで得られる画像信号（生徒画像信号）は、１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号の内の１つの色信号のみを含んでいる。例えば図１０の（Ａ）に示すように３板式カメラで撮像されたＨＤ画像信号をフィルタリングして図１０の（Ｂ）に示すように１／４サイズのＳＤ画像信号に変換した教師画像信号が、この学習装置４０に入力される。
【００７０】
ステップＳ３１では、３板式カメラで撮像された画像に相当する画質が得られる教師画像信号に対して間引き回路４１により単板カメラのＣＣＤイメージセンサ５に用いられる色コーディングフィルタ４に相当するフィルタをかける間引き処理を実行することで、図１０の（Ｃ）に示すように単板式カメラのＣＣＤイメージセンサ５が出力する画像信号に対応する生徒画像信号を教師画像信号から生成し、生成した生徒画像信号をクラスタップ抽出回路４２及び予測タップ抽出回路４５に供給する。
【００７１】
ステップＳ３２では、間引き回路４１により生成された生徒画像信号から、クラスタップ抽出回路４２及び予測タップ抽出回路４５によりクラスタップ及び予測タップの画素値を抽出するブロック化処理を行う。また、予測対象画素抽出回路４６により、生徒画像から抽出されるクラスタップ及び予測タップとの対応をとりながら、予測対象画素の画素値を教師画像信号から抽出する。
【００７２】
ステップＳ３３では、ベクトル量子化回路４３により、クラスタップ抽出回路４２から渡されたクラスタップの画素値に基づいて、色空間内のベクトル量子化を行う。
【００７３】
ステップＳ３４では、ベクトル量子化回路４３によるベクトル量子化の結果から、クラス分類回路４４によりクラスを決定してクラス番号を出力する。
【００７４】
ステップＳ３５では、第１の演算回路４７により、クラス分類回路４４から出力されたクラス番号にしたがって予測タップの画素値と予測対象画素の画素値を正規方程式に足し込む。
【００７５】
ステップＳ３６では、第１の演算回路４７による正規方程式への足し込みの処理が、学習の対象画素の全てに対して行われたか否かを判定する。まだ処理していない対象画素が存在する場合には、ステップＳ３２に戻り、また、全て対象画素についての処理が行われていればステップＳ３７に進む。
【００７６】
ステップＳ３７では、第２の演算回路４９は、学習データメモリ４８に蓄積された正規方程式のマトリクスの係数を用いて、コレスキー分解などの手法により正規方程式を解く処理を実行する。
【００７７】
ステップＳ３８では、第２の演算回路４９による正規方程式を解く処理が、全てのクラス番号の正規方程式について行われたか否かを判定する。まだ処理していない正規方程式が存在する場合には、ステップＳ３７に戻り、また、全ての処理が行われていれば、学習処理を終了する。
【００７８】
このようにしてクラスコードと関連付けられて係数メモリ５０に記憶された予測係数セットは、図５に示したクラス分類適応処理部２４の係数メモリ３４に記憶されることになる。そして、画像信号処理部８のクラス分類適応処理部２４は、上述したように、係数メモリ３４に記憶されている予測係数セットを用いて、線形１次結合モデルにより、注目画素に対して適応処理を行う。
【００７９】
例えば、図１１の（Ａ）に示すｎ×ｍ（ｎ及びｍは正の整数）個の画素で構成されるＣＣＤイメージセンサにより得られるベイヤー配列の色フィルタアレイにより色コーディングされた出力画像信号から、図１１の（Ｂ）に示す２ｎ×２ｍ個のＲ画素の画像信号、２ｎ×２ｍ個のＧ画素の画像信号及び２ｎ×２ｍ個のＢ画素の画像信号を、それぞれ直接生成する適応処理を行うことにより、４倍密度の画像を生成する。この場合、画像信号処理部８では、クラスタップ抽出部３０により入力画像信号をｐ×ｑ（ｐ及びｑは正の整数）個のブロックに分割し、各ブロック毎にクラスタップを抽出する。
この場合、例えば、図１２乃至図１５に示すようような構造のクラスタップ、及び、図１６乃至図１９に示すようような構造の予測タップが使用される。
【００８０】
図１２の（Ａ）、図１３の（Ａ）、図１４の（Ａ）及び図１５の（Ａ）に示される注目画素の斜め方向に隣接する位置に×印で示される予測画素のＲ信号、Ｇ信号又はＢ信号を生成する場合、及び、そのための予測係数セットを算出する際に、クラスを決定するのに用いられるにクラスタップの一例の構造を図１２の（Ｂ）、図１３の（Ｂ）、図１４の（Ｂ）及び図１５の（Ｂ）に示す。図１２の（Ｂ）、図１３の（Ｂ）、図１４の（Ｂ）及び図１５の（Ｂ）において、△はＢ信号のクラスタップを示し、○はＧ信号のクラスタップを示し、さらに、□はＲ信号のクラスタップを示している。
【００８１】
また、図１６の（Ａ）、図１７の（Ａ）、図１８の（Ａ）及び図１９の（Ａ）に示される注目画素の斜め方向に隣接する位置に×印で示される予測画素のＲ信号、Ｇ信号又はＢ信号を生成する場合、及び、そのための予測係数セットを算出する際に用いられるに予測タップの一例の構造を図１６の（Ｂ）、図１７の（Ｂ）、図１８の（Ｂ）及び図１９の（Ｂ）に示す。すなわち、予測タップは、図１６の（Ｂ）、図１７の（Ｂ）、図１８の（Ｂ）及び図１９の（Ｂ）に○を付して示すように注目画素を含む５×５の２５個の画素にて構成される。
【００８２】
なお、本来、クラスタップ及び予測タップの位置は、それぞれ最も効率の良いように配置される。そして、クラスタップ及び予測タップは数多く使用する方が、処理の精度は向上する。
【００８３】
なお、この実施の形態では、ＲＧＢの３つの情報を基にクラス分類を行っているが、ＹＵＶの３つの情報を基にクラス分類を行うこともできる。
【００８４】
以上の実施の形態の効果を評価するため、色フィルタアレイとしてベイヤー配列のものを用いた場合を想定したシミュレーションを行った。
【００８５】
学習装置４０と同様の処理を行うアルゴリズムで予測係数セットを生成し、３板式カメラのＣＣＤ出力相当の画像信号から、クラス分類適応処理の倍率と画素の位置関係を考慮した間引き操作により、単板式カメラのＣＣＤ出力相当の画像信号を生成し、上述したクラス分類適応処理による補間を行ったところ、従来の線形補間、また、ＲＧＢそれぞれのＡＤＲＣの波形分類を組み合わせたクラス分類などとの対比の結果、本発明の優位性を確認することができた。
【００８６】
シミュレーションには、ＩＴＥ(Institute of Television Engineers) のハイビジョン標準画像９枚を使用し、予測係数セットの算出に関してもその９枚を用いてシミュレーションを行った。その結果、線形補間との比較では、殆どの画像の色の変化部分での滑らかさが向上し、急峻な色変化部分に見られた破綻もなくすことができた。
【００８７】
なお、上述した説明では、色コーディングフィルタ４として、ベイヤー配列のものを用いた場合を説明したが、他の構成のであっても情報の密度に差がある構成の色コーディングフィルタを用いる場合には本発明を適応するができる。
【００８８】
ここで、このデジタルスチルカメラ１のＣＣＤイメージセンサ５に用いることのできる色コーディングフィルタ４を構成する色フィルタアレイの構成例を図２０の（Ａ）〜（Ｎ）に示す。
【００８９】
図２０の（Ａ）〜（Ｇ）は、原色（Ｒ，Ｇ，Ｂ）成分を通過させる原色フィルタアレイで構成された色コーディングフィルタ４における緑（Ｇ）・赤（Ｒ）・青（Ｂ）の色配列の例を示している。
【００９０】
図２０の（Ａ）はベイヤー配列を示し、図２０の（Ｂ）はインタライン配列を示し、図２０の（Ｃ）はＧストライプＲＢ市松配列を示し、図２０の（Ｄ）はＧストライプＲＢ完全市松配列を示し、図２０の（Ｅ）はストライプ配列を示し、図２０の（Ｆ）は斜めストライプ配列を示し、図２０の（Ｇ）は原色色差配列を示す。
【００９１】
また、図２０の（Ｈ）〜（Ｎ）は、補色（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分を通過させる補色フィルタアレイで構成された色コーディングフィルタ４におけるマゼンタ（Ｍ）・黄（Ｙ）・シアン（Ｃ）・白（Ｗ）の色配列を示す。図２０の（Ｈ）はフィールド色差順次配列を示し、図２０の（Ｉ）がフレーム色差順次配列を示し、図２０の（Ｊ）はＭＯＳ型配列を示し、図２０の（Ｋ）は改良ＭＯＳ型配列を示し、図２０の（Ｌ）はフレームインターリーブ配列を示し、図１９の（Ｍ）はフィールドインターリーブ配列を示し、図２０の（Ｎ）はストライプ配列を示す。
【００９２】
なお、補色（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分は、
Ｙ＝Ｇ＋Ｒ
Ｍ＝Ｒ＋Ｂ
Ｃ＝Ｇ＋Ｂ
Ｗ＝Ｒ＋Ｇ＋Ｂ
にて与えられる。また、図２０の（Ｉ）に示すフレーム色差順対応の色コーディングフィルタ４を通過する各色（ＹＭ，ＹＧ，ＣＭ，ＣＧ）成分は、
ＹＭ＝Ｙ＋Ｍ＝２Ｒ＋Ｇ＋Ｂ
ＣＧ＝Ｃ＋Ｇ＝２Ｇ＋Ｂ
ＹＧ＝Ｙ＋Ｇ＝Ｒ＋２Ｇ
ＣＭ＝Ｃ＋Ｍ＝Ｒ＋Ｇ＋２Ｒ
にて与えられる。
【００９３】
また、このデジタルスチルカメラ１では、単板のＣＣＤイメージセンサ５により撮像された画像信号から４倍密度の画像信号をクラス分類適応処理により生成するようにしたが、単板画像から３板相当画像への変換に限られることなく、任意の画素数への変換をクラス分類適応処理により行うようにすることができ、また、それらの処理を同時に行うなどの各種処理をクラス分類適応処理により行うようにすることができる。
【００９４】
さらに、上記クラス分類適応処理部２４におけるクラス分類適応処理や、上記学習装置４０において予測係数セットを得るための学習処理は、例えば図２１に示すように、バス３１１に接続されたＣＰＵ(Central Processing Unit) ３１２、メモリ３１３、入力インターフェース３１４、ユーザインターフェース３１５や出力インターフェース３１６などにより構成される一般的なコンピュータシステム３１０により実行することができる。上記処理を実行するコンピュータプログラムは、記録媒体に記録されて、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体、又は、クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体として、ユーザに提供される。上記記録媒体には、磁気ディスク、ＣＤ−ＲＯＭなどの情報記録媒体の他、インターネット、デジタル衛星などのネットワークによる伝送媒体も含まれる。
【００９５】
【発明の効果】
以上の如く本発明によれば、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出し、上記注目画素近傍に位置する複数の画素のそれぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行い、そのベクトル量子化の結果に基づいて１つのクラスを決定し、決定されたクラスに対応した予測係数セットと、抽出された上記注目画素近傍の複数の画素の画素値との積和演算により予測画素値を算出して、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成することにより、補間処理の破綻を回避し、色再現性の向上を図り、解像度が高く、滑らかで且つ自然な色の変化を再現できる画像信号を得ることができる。
【００９６】
また、本発明によれば、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた生徒画像信号の注目画素の近傍の複数の画素を抽出し、抽出された上記注目画素近傍に位置する複数の画素それぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行い、そのベクトル量子化の結果に基づいて１つのクラスを決定し、上記生徒画像信号と対応する画像信号であり、１画素毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出し、決定されたクラス毎に、上記生徒画像信号から抽出された複数の画素の画素値と、上記教師画像信号から抽出された複数の画素の画素値とから、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを解とする正規方程式のマトリクスの係数を演算し、上記正規方程式を解くことにより、クラス毎の予測係数セットを生成するので、補間処理の破綻を回避し、色再現性の向上を図り、解像度が高く、滑らかで且つ自然な色の変化を再現できる画像信号を得るための処理行う画像信号処理装置が用いる予測係数セットを算出することができる。
【００９７】
【図面の簡単な説明】
【図１】本発明を適用したデジタルスチルカメラの構成を示すブロック図である。
【図２】上記デジタルスチルカメラの動作を説明するためのフローチャートである。
【図３】上記デジタルスチルカメラにおける画像信号処理部の構成を示すブロック図である。
【図４】上記画像信号処理部により行われる画像信号処理を説明するためのフローチャートである。
【図５】クラス分類適応処理を行うクラス分類適応処理部の構成例を示す示すブロック図である。
【図６】上記クラス分類適応処理部により行われるクラス分類適応処理を説明するためのフローチャートである。
【図７】上記クラス分類適応処理部により行われるベクトル量子化におけるクラスの生成方法を模式的に示す図である。
【図８】上記クラス分類適応処理部におけるクラス分類適応処理に用いる予測係数セットを学習により得る学習装置の構成例を示すブロック図である。
【図９】上記学習装置の動作を説明するためのフローチャートである。
【図１０】上記学習装置による学習処理の一例を模式的に示す図である。
【図１１】上記画像信号処理部におけるクラス適応処理による画像信号処理の一例を模式的に示す図である。
【図１２】上記クラス適応処理に使用するクラスタップの構造を模式的に示す図である。
【図１３】上記クラス適応処理に使用するクラスタップの構造を模式的に示す図である。
【図１４】上記クラス適応処理に使用するクラスタップの構造を模式的に示す図である。
【図１５】上記クラス適応処理に使用するクラスタップの構造を模式的に示す図である。
【図１６】上記クラス適応処理に使用する予測タップの構造を模式的に示す図である。
【図１７】上記クラス適応処理に使用する予測タップの構造を模式的に示す図である。
【図１８】上記クラス適応処理に使用する予測タップの構造を模式的に示す図である。
【図１９】上記クラス適応処理に使用する予測タップの構造を模式的に示す図である。
【図２０】上記デジタルスチルカメラのＣＣＤイメージセンサに用いることのできる色コーディングフィルタの色フィルタアレイの構成例を模式的に示す図である。
【図２１】上記クラス分類適応処理や予測係数セットを得るための学習処理を行うコンピュータシステムの一般的な構成を示すブロック図である。
【図２２】従来の線形補間による画像信号処理を模式的に示す図である。
【符号の説明】
１ デジタルスチルカメラ、５ ＣＣＤイメージセンサ、８ 画像信号処理部、２４ クラス分類適応処理部、３１ クラスタップ抽出回路、３２ ベクトル量子化回路、３３ クラス分類回路、３４ 係数セットメモリ、３５ 予測タップ抽出回路、３６ 適応処理回路、４０ 学習装置、４１ 間引き部、４２ クラスタップ抽出回路、４３ ベクトル量子化回路、４４ クラス分類回路、４５予測タップ抽出回路、４６ 予測対象画素抽出回路、４７ 第１の演算回路、４８ 学習データメモリ、４９ 第２の演算回路、５０ 係数メモリ
Claims (16)
- 画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた入力画像信号を処理する画像信号処理装置において、
上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出手段と、
上記画素抽出手段で抽出された上記注目画素近傍に位置する複数の画素それぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行うベクトル量子化手段と、
上記ベクトル量子化手段によるベクトル量子化の結果に基づいて１つのクラスを決定するクラス決定手段と、
上記クラス決定手段で決定されたクラスに対応した予測係数セットと上記画素抽出手段によって抽出された上記注目画素近傍の複数の画素の画素値との積和演算により予測画素値を算出して、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成手段と
を備え、
上記画素生成手段は、上記クラス決定手段により決定される各クラス毎の予測係数セットとして、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた生徒画像信号の注目画素の近傍の複数の画素を抽出し、抽出された上記注目画素近傍に位置する複数の画素それぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行い、上記ベクトル量子化の結果に基づいて１つのクラスを決定し、上記生徒画像信号と対応する画像信号であり、１画素毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出し、決定されたクラス毎に、上記生徒画像信号から抽出された複数の画素の画素値と、上記教師画像信号から抽出された複数の画素の画素値とから、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを解とする正規方程式のマトリクスの係数を演算し、上記正規方程式を解くことにより、クラス毎の予測係数セットを生成する学習処理を実行することにより予め得られたクラス毎の予測係数セットを記憶する記憶手段と、上記記憶手段から読み出される上記クラス決定手段で決定されたクラスに応じた予測係数セットと、上記画素抽出手段によって抽出された上記注目画素近傍の複数の画素の画素値との積和演算により予測画素値を算出して、上記異なる色成分を持つ画素を生成する演算手段とを備える画像信号処理装置。 - 上記画素生成手段は、上記注目画素の位置に、すべての色成分を持つ画素を生成することを特徴とする請求項１記載の画像信号処理装置。
- 上記色成分で表される色は、赤、青、緑の何れかであることを特徴とする請求項１記載の画像信号処理装置。
- 画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ上記色コーディングされた画像信号を取得する取得手段をさらに備えることを特徴とする請求項１記載の画像信号処理装置。
- 上記取得手段は、固体撮像素子であることを特徴とする請求項４記載の画像信号処理装置。
- 上記固体撮像素子は、ベイヤー配列のＣＣＤイメージセンサであることを特徴とする請求項５記載の画像信号処理装置。
- 画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた入力画像信号を処理する画像信号処理方法において、
上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、
上記画素抽出ステップで抽出された上記注目画素近傍に位置する複数の画素のそれぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行うベクトル量子化ステップと、
上記ベクトル量子化ステップにおけるベクトル量子化の結果に基づいて１つのクラスを決定するクラス決定ステップと、
上記クラス決定ステップで決定されたクラスに対応した予測係数セットと上記画素抽出ステップによって抽出された上記注目画素近傍の複数の画素の画素値との積和演算により予測画素値を算出して、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップと
を備え、
上記画素生成ステップでは、上記クラス決定ステップで決定される各クラス毎の予測係数セットとして、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた生徒画像信号の注目画素の近傍の複数の画素を抽出し、抽出された上記注目画素近傍に位置する複数の画素それぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行い、上記ベクトル量子化の結果に基づいて１つのクラスを決定し、上記生徒画像信号と対応する画像信号であり、１画素毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出し、決定されたクラス毎に、上記生徒画像信号から抽出された複数の画素の画素値と、上記教師画像信号から抽出された複数の画素の画素値とから、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを解とする正規方程式のマトリクスの係数を演算し、上記正規方程式を解くことにより、クラス毎の予測係数セットを生成する学習処理を実行することにより予め得られたクラス毎の予測係数セットを用いて、上記画素を生成する画像信号処理方法。 - 上記画素生成ステップでは、上記注目画素の位置に、すべての色成分を持つ画素を生成することを特徴とする請求項７記載の画像信号処理方法。
- 上記色成分で表される色は、赤、青、緑の何れかであることを特徴とする請求項７記載の画像信号処理方法。
- 画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ上記画像信号を取得する取得ステップをさらに有することを特徴とする請求項７記載の画像信号処理方法。
- 上記取得ステップでは、固体撮像素子により上記画像信号を取得することを特徴とする請求項１０記載の画像信号処理方法。
- 上記取得ステップでは、ベイヤー配列のＣＣＤイメージセンサにより上記画像信号を取得することを特徴とする請求項１１記載の画像信号処理方法。
- 画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた入力画像信号を処理する画像信号処理を実行させるためのプログラムを記録したコンピュータにより読み取り可能な記録媒体において、
上記プログラムは、
上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、
上記画素抽出ステップで抽出された上記注目画素近傍に位置する複数の画素のそれぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行うベクトル量子化ステップと、
上記ベクトル量子化ステップにおけるベクトル量子化の結果に基づいて１つのクラスを決定するクラス決定ステップと、
上記クラス決定ステップで決定されたクラスに対応した予測係数セットと上記画素抽出ステップによって抽出された上記注目画素近傍の複数の画素の画素値との積和演算により予測画素値を算出して、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップとを有し、
上記画素生成ステップでは、上記クラス決定ステップで決定される各クラス毎の予測係数セットとして、画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた生徒画像信号の注目画素の近傍の複数の画素を抽出し、抽出された上記注目画素近傍に位置する複数の画素それぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行い、上記ベクトル量子化の結果に基づいて１つのクラスを決定し、上記生徒画像信号と対応する画像信号であり、１画素毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出し、決定されたクラス毎に、上記生徒画像信号から抽出された複数の画素の画素値と、上記教師画像信号から抽出された複数の画素の画素値とから、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを解とする正規方程式のマトリクスの係数を演算し、上記正規方程式を解くことにより、クラス毎の予測係数セットを生成する学習処理を実行することにより予め得られたクラス毎の予測係数セットを用いて、上記画素を生成する画像信号処理を上記コンピュータに実行させることを特徴とする記録媒体。 - 画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた生徒画像信号の注目画素の近傍の複数の画素を抽出する第１の画素抽出手段と、
上記第１の画素抽出手段で抽出された上記注目画素近傍に位置する複数の画素それぞれの色成分の信号値に基づいて、複数の色成分で表される色空間内におけるベクトル量子化を行うベクトル量子化手段と、
上記ベクトル量子化手段によるベクトル量子化の結果に基づいて１つのクラスを決定するクラス決定手段と、
上記生徒画像信号と対応する画像信号であり、１画素毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出手段と、
上記クラス決定手段により決定されたクラス毎に、上記第１の画素抽出手段で生徒画像信号から抽出された複数の画素の画素値と、上記第２の画素抽出手段で教師画像信号から抽出された複数の画素の画素値とから、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを解とする正規方程式のマトリクスの係数を演算し、上記正規方程式を解くことにより、クラス毎の予測係数セットを生成する予測係数生成手段とを備える学習装置。 - 画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた生徒画像信号の注目画素の近傍の複数の画素を抽出する第１の画素抽出ステップと、
上記第１の画素抽出ステップで抽出された上記注目画素近傍に位置する複数の画素それぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行うベクトル量子化ステップと、
上記ベクトル量子化ステップにおけるベクトル量子化の結果に基づいて１つのクラスを決定するクラス決定ステップと、
上記生徒画像信号と対応する画像信号であり、１画素毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出ステップと、
上記クラス決定ステップにより決定されたクラス毎に、上記第１の画素抽出ステップで生徒画像信号から抽出された複数の画素の画素値と、上記第２の画素抽出ステップで教師画像信号から抽出された複数の画素の画素値とから、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを解とする正規方程式のマトリクスの係数を演算し、上記正規方程式を解くことにより、クラス毎の予測係数セットを生成する予測係数生成ステップとを有する学習方法。 - クラスに応じた予測係数セットを生成するための学習処理を実行させるためのプログラムを記録したコンピュータにより読み取り可能な記録媒体において、
上記プログラムは、
画素位置毎に輝度あるいは複数の色のうちのいずれか１つを表す成分を持つ色コーディングされた生徒画像信号の注目画素の近傍の複数の画素を抽出する第１の画素抽出ステップと、
上記第１の画素抽出ステップで抽出された上記注目画素近傍に位置する複数の画素それぞれの色成分の信号値に基づいて、複数の色成分によって表される色空間内におけるベクトル量子化を行うベクトル量子化ステップと、
上記ベクトル量子化ステップにおけるベクトル量子化の結果に基づいて１つのクラスを決定するクラス決定ステップと、
上記生徒画像信号と対応する画像信号であり、１画素毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出ステップと、
上記クラス決定ステップにより決定されたクラス毎に、上記第１の画素抽出ステップで生徒画像信号から抽出された複数の画素の画素値と、上記第２の画素抽出ステップで教師画像信号から抽出された複数の画素の画素値とから、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを解とする正規方程式のマトリクスの係数を演算し、上記正規方程式を解くことにより、クラス毎の予測係数セットを生成する予測係数生成ステップと
を有する学習処理を上記コンピュータに実行させることを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000251496A JP4691762B2 (ja) | 2000-08-22 | 2000-08-22 | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000251496A JP4691762B2 (ja) | 2000-08-22 | 2000-08-22 | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002064819A JP2002064819A (ja) | 2002-02-28 |
| JP2002064819A5 JP2002064819A5 (ja) | 2007-04-19 |
| JP4691762B2 true JP4691762B2 (ja) | 2011-06-01 |
Family
ID=18740895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000251496A Expired - Fee Related JP4691762B2 (ja) | 2000-08-22 | 2000-08-22 | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4691762B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050062709A (ko) | 2003-12-22 | 2005-06-27 | 삼성전자주식회사 | 디지털 이미지 처리 장치 및 그 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1996007275A1 (fr) * | 1994-08-31 | 1996-03-07 | Sony Corporation | Dispositif analyseur d'images |
| JPH10164602A (ja) * | 1996-11-26 | 1998-06-19 | Minolta Co Ltd | 画素補間装置及びその画素補間方法 |
| JPH11178011A (ja) * | 1997-12-09 | 1999-07-02 | Sony Corp | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像処理装置および画像処理方法、並びに記録媒体 |
-
2000
- 2000-08-22 JP JP2000251496A patent/JP4691762B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1996007275A1 (fr) * | 1994-08-31 | 1996-03-07 | Sony Corporation | Dispositif analyseur d'images |
| JPH10164602A (ja) * | 1996-11-26 | 1998-06-19 | Minolta Co Ltd | 画素補間装置及びその画素補間方法 |
| JPH11178011A (ja) * | 1997-12-09 | 1999-07-02 | Sony Corp | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像処理装置および画像処理方法、並びに記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002064819A (ja) | 2002-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1187455B1 (en) | Image data processing apparatus and electronic camera | |
| US8106957B2 (en) | Image signal processing apparatus, and image signal processing method | |
| JP3893099B2 (ja) | 撮像システムおよび撮像プログラム | |
| KR20090087811A (ko) | 촬상 장치, 화상 처리 장치, 화상 처리 방법, 화상 처리방법의 프로그램 및 화상 처리 방법의 프로그램을 기록한기록 매체 | |
| WO2008150017A1 (ja) | 信号処理方法および信号処理装置 | |
| JP4894594B2 (ja) | 画像処理装置 | |
| JP5259616B2 (ja) | 画像処理システムおよび画像処理プログラム | |
| JP4581199B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4433545B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4691762B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4547757B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4839543B2 (ja) | 画像信号処理装置、撮像装置、画像信号処理方法及び記録媒体 | |
| JP3951993B2 (ja) | 撮像装置及びこの撮像装置に用いられるカラーデータ計測方法 | |
| JP4529253B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4483048B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4433546B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4547758B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
| JP4074323B2 (ja) | 再生システムおよび再生プログラム | |
| JP4133179B2 (ja) | 画像信号処理装置 | |
| JP3893489B2 (ja) | 信号処理装置および信号処理方法 | |
| JP5586031B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
| JP2012227869A (ja) | 画像処理装置及び画像処理方法並びにデジタルカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070305 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070305 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090804 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090901 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091026 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100525 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100716 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110125 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110207 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140304 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |