JP4547757B2

JP4547757B2 - Image signal processing apparatus, image signal processing method, learning apparatus, learning method, and recording medium

Info

Publication number: JP4547757B2
Application number: JP2000048984A
Authority: JP
Inventors: 哲二郎近藤; 秀雄中屋; 貴志沢尾
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-03-25
Filing date: 2000-02-21
Publication date: 2010-09-22
Anticipated expiration: 2020-02-21
Also published as: JP2000341705A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体に関し、特に、より高精細度の画像を得ることができるようにした画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体に関する。
【０００２】
【従来の技術】
ＣＣＤ（Charge Coupled Device）イメージセンサなどの固体イメージセンサを用いた撮像装置には、主に、１つのＣＣＤイメージセンサを用いた単板方式のもの（以後、単板式カメラという）と、３つのＣＣＤイメージセンサを用いた３板方式のもの（以後、３板式カメラという）とがある。
【０００３】
３板式カメラでは、例えばＲ信号用、Ｇ信号用及びＢ信号用の３つのＣＣＤイメージセンサを用いて、その３つのＣＣＤイメージセンサにより３原色信号を得る。そして、この３原色信号から生成されるカラー画像信号が記録媒体に記録される。
【０００４】
単板式カメラでは、１画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された１つのＣＣＤイメージセンサを用いて、上記色コーディングフィルタにより色コーディングされた色成分の信号を１画素毎に得る。上記色コーディングフィルタを構成する色フィルタアレイとしては、例えば、Ｒ（Red），Ｇ（Green），Ｂ（Blue）の原色フィルタアレイや、Ｙｅ（Yellow），Ｃｙ（Cyanogen），Ｍｇ（Magenta）の補色フィルタアレイが用いられている。そして、単板式カメラにおいては、ＣＣＤイメージセンサにより１画素毎に１つの色成分の信号を得て、各画素が持っている色成分の信号以外の色信号を線形補間処理により生成して、３板式カメラにより得られる画像に近い画像を得るようしていた。ビデオカメラなどにおいて、小型化、軽量化を図る場合に、単板式が採用されている。
【０００５】
単板式カメラにおいて、例えば図２１の（Ａ）に示すような色配列の色フィルタアレイにより構成された色コーディングフィルタが設けられたＣＣＤイメージセンサは、Ｒ，Ｇ，Ｂの３原色のうちの１つの色のフィルタが配置された各画素から、そのフィルタの色に対応する画像信号のみが出力される。すなわち、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は出力されるが、Ｇ成分及びＢ成分の画像信号は出力されない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが出力され、Ｒ成分及びＢ成分の画像信号は出力されず、Ｂの画素からは、Ｂ成分の画像信号のみが出力され、Ｒ成分及びＧ成分の画像信号は出力されない。
【０００６】
ここで、図２１の（Ａ）に示す色フィルタアレイの色配列は、ベイヤー配列と称される。この場合においては、Ｇの色フィルタが市松状に配され、残った部分にＲとＢが一列毎に交互に配されている。
【０００７】
しかしながら、後段において各画素の信号を処理する際、各画素毎にＲ成分，Ｇ成分及びＢ成分の画像信号が必要となる。そこで、従来、ｎ×ｍ（ｎ及びｍは正の整数）個の画素で構成されるＣＣＤイメージセンサの出力から、図２１の（Ｂ）に示すように、ｎ×ｍ個のＲ画素の画像信号、ｎ×ｍ個のＧ画素の画像信号及びｎ×ｍ個のＢ画素の画像信号、すなわち、３板式カメラのＣＣＤ出力相当の画像信号が、それぞれ補間演算により求められ、それらの画像信号が後段に出力される。
【０００８】
そして、さらに、例えば４倍密度の画像信号を生成する場合、図２１の（Ｃ）に示すように、ｎ×ｍ個のＲ画素の画像信号から２ｎ×２ｍ個のＲ画素の画像信号が補間演算により求められ、ｎ×ｍ個のＧ画素の画像信号から２ｎ×２ｍ個のＧ画素の画像信号が補間演算により求められ、さらに、ｎ×ｍ個のＢ画素の画像信号から、２ｎ×２ｍ個のＢ画素の画像信号が補間演算により求められる。
【０００９】
【発明が解決しようとする課題】
従来の装置においては、このように、単板式カメラのＣＣＤイメージセンサの出力から、同一解像度の３原色の成分を各画素毎に生成し、その画像信号から、さらにより高密度の画像信号を演算するようにしている。その結果、画素密度を大きくしたとしても、十分な精細度を得ることができないという問題点があった。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、確実に高精細度の画像を得ることができるようにすることを目的とするものである。
【００１１】
【課題を解決するための手段】
本発明は、複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される、単板式カメラの固体撮像素子によって生成された入力画像信号を処理する画像信号処理装置において、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出手段と、上記抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、上記クラス決定手段で決定されたクラスに基づいて、上記入力画像信号の各画素の持つ各色を夫々単板全画素よりも多い画素数に直接変換する処理を行うことによって、上記所定数のサンプル値より多いサンプル値を上記複数の色それぞれに関して有する出力画像信号を生成する出力画像生成手段とを備えることを特徴とする。
【００１２】
また、本発明は、複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される単板式カメラの固体撮像素子によって生成された入力画像信号を処理する画像信号処理方法において、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、上記抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに基づいて、上記入力画像信号の各画素の持つ各色を夫々単板全画素よりも多い画素数に直接変換する処理を行うことによって、上記所定数のサンプル値より多いサンプル値を上記複数の色それぞれに関して有する出力画像信号を生成する出力画像生成ステップとを有することを特徴とする。
【００１３】
更に、本発明は、複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される、単板式カメラの固体撮像素子によって生成された入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、上記抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに基づいて、上記入力画像信号の各画素の持つ各色を夫々単板全画素よりも多い画素数に直接変換する処理を行うことによって、上記所定数のサンプル値より多いサンプル値を上記複数の色それぞれに関して有する出力画像信号を生成する出力画像生成ステップとを含む処理をコンピュータに実行させるプログラムがコンピュータに読み取り可能に記録されていることを特徴とする。
【００１４】
また、本発明にかかる学習装置は、複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される、単板式カメラの固体撮像素子によって生成された生徒画像信号から、上記所定数のサンプル値より多いサンプル値を有する予測画像信号の注目画素の近傍の複数の画素を抽出する第１の画素抽出手段と、上記第１の画素抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、上記予測画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出手段と、上記第１及び第２の画素抽出手段で抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から各画素の持つ各色を夫々単板全画素よりも多い画素数に直接変換することによって、上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成手段とを備えることを特徴とする。
【００１５】
更に、本発明にかかる学習方法は、複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される、単板式カメラの固体撮像素子によって生成された生徒画像信号から、上記所定数のサンプル値より多いサンプル値を有する予測画像信号の注目画素の近傍の複数の画素を抽出する第１の画素抽出ステップと、上記第１の画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記予測画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出ステップと、上記第１及び第２の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号の各画素の持つ各色を夫々単板全画素よりも多い画素数に直接変換することによって、上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップとを有することを特徴とする。
【００１６】
また、本発明は、クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される単板式カメラの固体撮像素子によって生成された生徒画像信号から、上記所定数のサンプル値より多いサンプル値を有する予測画像信号の注目画素の近傍の複数の画素を抽出する第１の画素抽出ステップと、上記第１の画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記予測画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出ステップと、上記第１及び第２の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップとを含む処理をコンピュータに実行させるプログラムがコンピュータに読み取り可能に記録されていることを特徴とする。
【００１７】
【発明の実施の形態】
図１は、ＣＣＤイメージセンサの出力から、より高密度（この例の場合、４倍密度）の画像信号を生成する処理の原理を表している。本発明においては、図１の（Ａ）に示すｎ×ｍ（ｎ及びｍは正の整数）個の画素で構成されるＣＣＤイメージセンサの出力画像信号から、図１の（Ｂ）に示す２ｎ×２ｍ個のＲ画素の画像信号、２ｎ×２ｍ個のＧ画素の画像信号及び２ｎ×２ｍ個のＢ画素の画像信号を、それぞれ直接生成する適応処理を行う。
【００１８】
図２は、以上のような原理に従って、被写体を撮像するデジタルスチルカメラ１の構成例を示す。
【００１９】
このデジタルスチルカメラ１は、１画素毎に割り当てられた色フィルタからなる色コーディングフィルタ４が前面に設置された１つのＣＣＤイメージセンサ５を用いてカラー撮像を行う単板式カメラであって、被写体からの入射光が、レンズ２により集光され、アイリス３及び色コーディングフィルタ４を介してＣＣＤイメージセンサ５に入射されるようになっている。上記ＣＣＤイメージセンサ５の撮像面上には、上記アイリス３により所定レベルの光量とされた入射光により被写体像が結像される。なお、このデジタルスチルカメラ１においては、色コーディングフィルタ４とＣＣＤイメージセンサ５は別体としたが、一体化した構造とすることができる。
【００２０】
上記ＣＣＤイメージセンサ５は、タイミングジェネレータ９からのタイミング信号により制御される電子シャッタに応じて所定時間にわたって露光を行い、色コーディングフィルタ４を透過した入射光の光量に応じた信号電荷（アナログ量）を画素毎に発生することにより、上記入射光により結像された被写体像を撮像して、その撮像出力として得られる画像信号を信号調整部６に供給する。
【００２１】
信号調整部６は、画像信号の信号レベルが一定となるようにゲインを調整するＡＧＣ(Automatic Gain Contorol) 回路と、ＣＣＤイメージセンサ５が発生する１／ｆのノイズを除去するＣＤＳ(Correiated Double Sampling)回路からなる。
【００２２】
上記信号調整部６から出力される画像信号は、Ａ／Ｄ変換部７によりアナログ信号からデジタル信号に変換されて、画像信号処理部８に供給される。上記Ａ／Ｄ変換部７では、タイミングジェネレータ９からのタイミング信号に応じて、例えば１サンプル１０ビットのディジタル撮像信号を生成する。
【００２３】
このデジタルスチルカメラ１において、タイミングジェネレータ９は、ＣＣＤイメージセンサ５、信号調整部６、Ａ／Ｄ変換部７及びＣＰＵ(Central Processing Unit) １０に各種タイミング信号を供給する。ＣＰＵ１０は、モータ１１を駆動することにより、アイリス３を制御する。また、ＣＰＵ１０は、モータ１２を駆動することにより、レンズ２などを移動させ、ズームやオートフォーカスなどの制御をする。さらに、ＣＰＵ１０は、必要に応じ、フラッシュ１３により閃光を発する制御を行うようにされている。
【００２４】
画像信号処理部８は、Ａ／Ｄ変換部７から供給された画像信号に対し、欠陥補正処理、ディジタルクランプ処理、ホワイトバランス調整処理、ガンマ補正処理、クラス分類適応処理を用いた予測処理等の処理を行う。
【００２５】
この画像信号処理部８に接続されたメモリ１５は、例えば、ＲＡＭ(Random Access Memory)で構成され、画像信号処理部８が画像処理を行う際に必要な信号を記憶する。画像信号処理部８により処理された画像信号は、インタフェース１４を介してメモリ１６に記憶される。このメモリ１６に記憶された画像信号は、インタフェース１４を介してデジタルスチルカメラ１に対して着脱可能な記録媒体１７に記録される。
【００２６】
なお、モータ１１は、ＣＰＵ１０からの制御情報に基づいてアイリス３を駆動し、レンズ２を介して入射される光の量を制御する。また、モータ１２は、ＣＰＵ１０からの制御情報に基づいてレンズ２のＣＣＤイメージセンサ２に対するフォーカス状態を制御する。これにより、自動絞り制御動作や自動焦点制御動作が実現される。また、フラッシュ１３は、ＣＰＵ１０による制御の下で、被写体に対して所定の閃光を照射する。
【００２７】
また、インターフェース１４は、画像信号処理部８からの画像信号を必要に応じてメモリ１６に記憶し、所定のインターフェース処理を実行した後、記録媒体１７に供給し、記憶させる。記録媒体１７としては、デジタルスチルカメラ１の本体に対して着脱可能な記録媒体、例えばフロッピーディスク、ハードディスク等のディスク記録媒体、メモリカード等のフラッシュメモリ等を用いることができる。
【００２８】
コントローラ１８は、ＣＰＵ１０の制御の下で、画像信号処理部８及びインターフェース１４に制御情報を供給してそれぞれを制御する。ＣＰＵ１０には、シャッタボタンやズームボタンなどの操作ボタンから構成される操作部２０からユーザによる操作情報が入力される。ＣＰＵ１０は、入力された操作情報を基に、上述した各部を制御する。電源部１９は、バッテリ１９ＡとＤＣ／ＤＣコンバータ１９Ｂなどを有する。ＤＣ／ＤＣコンバータ１９Ｂは、バッテリ１９Ａからの電力を所定の値の直流電圧に変換し、装置内の各構成要素に供給する。充電可能なバッテリ１９Ａは、デジタルスチルカメラ１の本体に着脱可能とされている。
【００２９】
次に、図３のフローチャートを参照し、図２に示したデジタルスチルカメラ１の動作について説明する。このデジタルスチルカメラ１は、ステップＳ１において、電源がオンされることにより、被写体の撮像を開始する。すなわち、ＣＰＵ１０は、モータ１１及びモータ１２を駆動し、焦点を合わせたりアイリス３を調整することにより、レンズ２を介してＣＣＤイメージセンサ５上に被写体像を結像させる。
【００３０】
ステップＳ２では、結像された像をＣＣＤイメージセンサ５により撮像した画像信号が、信号調整部６において、信号レベルが一定となるようにゲイン調整され、さらにノイズが除去され、さらに、Ａ／Ｄ変換部７によりデジタル化される。
【００３１】
また、ステップＳ３では、上記Ａ／Ｄ変換部７によりデジタル化された画像信号に対して、画像信号処理部８によりクラス分類適応処理を含む画像信号処理を行う。
【００３２】
ここで、被写体像は、ＣＣＤイメージセンサ５の撮像出力として得られる画像信号を電子ビューファインダに表示するよりユーザが確認できるようになっている。なお、被写体像は、光学的ビューファインダによりユーザが確認できるようにすることもできる。
【００３３】
そして、ユーザは、ビューファインダにより確認した被写体像の画像を記録媒体１７に記録したい場合、操作部２０のシャッタボタンを操作する。デジタルスチルカメラ１のＣＰＵ１０は、ステップＳ４において、シャッタボタンが操作されたか否かを判断する。デジタルスチルカメラ１は、シャッタボタンが操作されたと判断するまで、ステップＳ２〜Ｓ３の処理を繰り返し、シャッタボタンが操作されたと判断すると、ステップＳ５に進む。
【００３４】
そして、ステップＳ５では、画像信号処理部８による画像信号処理が施された画像信号をインターフェース１４を介して記録媒体１７に記録する。
【００３５】
次に、図４を参照して画像信号処理部８について説明する。
【００３６】
この画像信号処理部８は、上記Ａ／Ｄ変換部７によりデジタル化された画像信号が供給される欠陥補正部２１を備える。ＣＣＤイメージセンサ５の画素の中で、何らかの原因により入射光に反応しない画素や、入射光に依存せず、電荷が常に蓄えられている画素、換言すれば、欠陥がある画素を検出し、その検出結果に従って、それらの欠陥画素の影響が露呈しないように、画像信号を補正する処理を行う。
【００３７】
Ａ／Ｄ変換部７では、負の値がカットされるのを防ぐため、一般に信号値を若干正の方向ヘシフトさせた状態でＡ／Ｄ変換が行われている。クランプ部２２は、欠陥補正部２１により欠陥補正された画像信号に対し、上述したシフト量がなくなるようにクランプする。
【００３８】
クランプ部２２によりクランプされた画像信号は、ホワイトバランス調整部２３に供給される。ホワイトバランス調整部２３は、クランプ部２２から供給された画像信号のゲインを補正することにより、ホワイトバランスを調整する。このホワイトバランス調整部２３によりホワイトバランスが調整された画像信号は、ガンマ補正部２４に供給される。ガンマ補正部２４は、ホワイトバランス調整部２３によりホワイトバランスが調整された画像信号の信号レベルをガンマ曲線に従って補正する。このガンマ補正部２４によりガンマ補正された画像信号は、予測処理部２５に供給される。
【００３９】
予測処理部２５は、クラス分類適応処理を行うことによってガンマ補正部２４の出力を例えば３板式カメラのＣＣＤ出力相当の画像信号に変換して、補正部２６に供給する。上記予測処理部２５は、ブロック化部２８、ＡＤＲＣ(Adaptive Dynamic Range Coding) 処理部２９、クラス分類部３０、適応処理部３１、係数メモリ３２等からなる。
【００４０】
ブロック化部２８は、後述するクラスタップの画像信号をＡＤＲＣ処理部２９に供給するとともに、予測タップの画像信号を適応処理部３１に供給する。ＡＤＲＣ処理部２９は、入力されたクラスタップの画像信号に対してＡＤＲＣ処理を行って再量子化コードを生成し、この再量子化コードを特徴情報としてクラス分類部３０に供給する。クラス分類部３０は、ＡＤＲＣ処理部２９から供給される特徴情報に基づいて、画像信号パターンの分類を行い、分類結果を示すクラス番号（クラスコード）を生成する。係数メモリ３２は、クラス分類部３０により分類されたクラス番号に対応する係数セットを適応処理部３１に供給する。適応処理部３１は、係数セットメモリ３２から供給された係数セットを用いて、ブロック化部２８から供給された予測タップの画像信号から予測画素値を求める処理を行う。
【００４１】
補正部２６は、上記予測処理部２５により処理された画像信号に対してエッジ強調等の画像を視覚的に良く見せるために必要ないわゆる画作りのための処理を行う。
【００４２】
そして、色空間変換部２７は、補正部２６によりエッジ強調などの処理が施された画像信号（ＲＧＢ信号）をマトリクス変換してＹＵＶ（輝度Ｙと色差Ｕ，Ｖとでなる信号）などの所定の信号フォーマットの画像信号に変換する。ただし、マトリクス変換処理を行わず、色空間変換部２７からＲＧＢ信号をそのまま出力させても良い。この発明の一実施形態では、例えばユーザの操作によつて、ＹＵＶ信号、ＲＧＢ信号の何れを出力するかを切り換えることが可能とされている。
色空間変換部２７により変換された画像信号は、上述のインタフェース１４に供給される。
【００４３】
ここで、上記図３に示したフローチャートのステップＳ３において、画像信号処理部８により行われる画像信号処理について、図５のフローチャートを参照して説明する。
【００４４】
すなわち、画像信号処理部８では、Ａ／Ｄ変換部７によりデジタル化された画像信号に対する画像信号処理を開始すると、先ず、ステップＳ１１において、ＣＣＤイメージセンサ５の欠陥の影響が出ないように、欠陥補正部２１により画像信号の欠陥補正を行う。そして、次のステップＳ１２では、欠陥補正部２１により欠陥補正された画像信号に対して、正の方向にシフトされていた量をもとに戻すクランプ処理をクランプ部２２により行う。
【００４５】
次のステップＳ１３では、クランプ部２２によりクランプされた画像信号に対して、ホワイトバランス調整部２３によりホワイトバランスの調整を行い各色信号間のゲインを調整する。さらに、ステップＳ１４では、ホワイトバランスが調整された画像信号に対して、ガンマ補正部２４によりガンマ曲線に従った補正を施す。
【００４６】
ステップＳ１５では、クラス分類適応処理を用いた予測処理を行う。かかる処理は、ステップＳ１５１〜ステップＳ１５５までのステップからなる。
【００４７】
ステップＳ１５１では、ガンマ補正部２４によりガンマ補正された画像信号に対してブロック化部２８によりブロック化、すなわち、クラスタップ及び予測タップの切り出しを行う。ここで、クラスタップは、複数種類の色信号に対応する画素を含む。
【００４８】
ステップＳ１５２では、ＡＤＲＣ処理部２９によりＡＤＲＣ処理を行う。
【００４９】
ステップＳ１５３では、クラス分類部３０においてＡＤＲＣ処理の結果に基づいてクラスを分類するクラス分類処理を行う。そして、分類されたクラスに対応するクラス番号を適応処理部３１に与える。
【００５０】
ステップＳ１５４において、適応処理部３１は、クラス分類部３０より与えられたクラス番号に対応する予測係数セットを係数メモリ３２から読み出し、その予測係数セットを対応する予測タップの画像信号に乗算し、それらの総和をとることで、予測画素値を演算する。
【００５１】
ステップＳ１５５では、すべての領域に対して処理が行われたか否かを判定する。すべての領域に対して処理が行われたと判定される場合にはステップＳ１６に移行し、それ以外の場合にはステップＳ１５２に移行し、次の領域に対する処理を行う。
【００５２】
ステップＳ１６では、ステップＳ１５によつて得られた３板式カメラのＣＣＤ出力相当の画像に対して、視覚的に良く見せるための補正処理（いわゆる画作り）を行う。ステップＳ１７では、ステップＳ１６によつて得られた画像に例えばＲＧＢ信号をＹＵＶ信号に変換するなどの色空間の変換処理を施す。これにより、例えば記録信号として好適な信号フォーマットを有する出力画像が生成される。
【００５３】
このデジタルスチルカメラ１における画像信号処理部８では、ブロック化部２８により入力画像信号をｐ×ｑ（ｐ及びｑは正の整数）個のブロックに分割し、ＡＤＲＣ処理部２９において、各ブロック毎に次のようなクラスタップを抽出し、そのクラスタップにＡＤＲＣ処理を施す。
【００５４】
ここで、クラス分類適応処理について説明する。クラス分類適応処理を用いた予測演算を行うための構成例を図６に示す。入力画像信号が領域切り出し部１０１、１０２に供給される。領域切り出し部１０１は、入力画像信号から所定の画像領域（クラスタップと称される）を抽出し、クラスタップの信号をＡＤＲＣ処理部１０３に供給する。ＡＤＲＣ処理部１０３は、供給される信号にＡＤＲＣ処理を施すことにより、再量子化コードを生成する。なお、再量子化コードを生成する方法として、ＡＤＲＣ以外の方法を用いても良い。
【００５５】
ＡＤＲＣは、本来、ＶＴＲ(Video Tape Recorder) 用の高能率符号化のために開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語調で効率的に表現できるという特徴を有する。このため、クラス分類のコードを発生するための、画像信号の時空間内でのパターンすなわち空間アクティビティの検出に使用することができる。ＡＤＲＣ処理部１０３では、以下の式（１）により、クラスタップとして切り出される領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット数で均等に分割して再量子化する。
【００５６】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝〔（Ｌ−ＭＩＮ＋０．５）×２ｎ／ＤＲ〕（１）
ここで、ＤＲは領域内のダイナミックレンジである。また、ｎはビット割当て数であり、例えばｎ＝２とすることができる。また、Ｌは領域内画素の信号レベルであり、Ｑが再量子化コードである。ただし、大かっこ（〔・・・〕）は小数点以下を切り捨てる処理を意味する。
【００５７】
これにより、１画素当たり例えば８ビットからなるクラスタップの画像信号が例えば２ビットの再量子化コード値に変換される。このようにして生成される再量子化コード値により、クラスタップの信号におけるレベル分布のパターンがより少ない情報量によつて表現される。例えば７画素からなるクラスタップ構造を用いる場合、上述したような処理により、各画素に対応する７個の再量子化コードｑ１〜ｑ７が生成される。クラスコードclass は、次の式（２）のようなものである。
【００５８】
【数１】

【００５９】
ここで、ｎはクラスタップとして切り出される画素の数である。また、ｐの値としては、例えばp＝２とすることができる。
【００６０】
クラスコードclass は、時空間内での画像信号のレベル分布のパターンすなわち空間アクティビティを特徴情報として分類してなるクラスを表現している。クラスコードclass は、予測係数メモリ１０４に供給される。予測係数メモリ１０４は、後述するようにして予め決定されたクラス毎の予測係数セットを記憶しており、供給される再量子化コードによって表現されるクラスの予測係数セットを出力する。一方、領域切り出し部１０２は、入力画像から所定の画像領域（予測タップと称される）を抽出し、予測タップの画像信号を予測演算部１０５に供給する。予測演算部１０５は、領域切り出し部１０２の出力と、予測係数メモリ１０４から供給される予測係数セットとに基づいて以下の式（３）のような演算を行うことにより、出力画像信号ｙを生成する。
【００６１】
ｙ＝ｗ₁×ｘ₁＋ｗ₂×ｘ₂＋・・・＋ｗ_n×ｘ_n （３）
ここで、ｘ₁，・・・，ｘ_nが各予測タップの画素値であり、ｗ₁，・・・，ｗ_nが各予測係数である。
【００６２】
また、予測係数セットを決定するための処理について図７を参照して説明する。出力画像信号と同一の画像信号形式を有するＨＤ(High Definition) 画像信号がＨＤ−ＳＤ変換部２０１と画素抽出部２０８に供給される。ＨＤ−ＳＤ変換部２０１は、間引き処理等を行うことにより、ＨＤ画像信号を入力画像信号と同等の解像度（画素数）の画像信号（以下、ＳＤ(Standard Definition) 画像信号という）に変換する。このＳＤ画像信号が領域切り出し部２０２、２０３に供給される。領域切り出し部２０２は、上記領域切り出し部１０１と同様に、ＳＤ画像信号からクラスタップを切り出し、クラスタップの画像信号をＡＤＲＣ処理部２０４に供給する。
【００６３】
ＡＤＲＣ処理部２０４は、図６中のＡＤＲＣ処理部１０３と同様なＡＤＲＣ処理を行い、供給される信号に基づく再量子化コードを生成する。再量子化コードは、クラスコード生成部２０５に供給される。クラスコード生成部２０５は、供給される再量子化コードに対応するクラスを示すクラスコードを生成し、クラスコードを正規方程式加算部２０６に供給する。一方、領域切り出し部２０３は、図６中の領域切り出し部１０２と同様に、供給されるＳＤ画像信号から予測タップを切り出し、切り出した予測タップの画像信号を正規方程式加算部２０６に供給する。
【００６４】
正規方程式加算部２０６は、領域切り出し部２０３から供給される画像信号と画素抽出部２０８から供給される画像信号について、クラスコード生成部２０５から供給されるクラスコード毎に加算し、加算した各クラス毎の信号を予測係数決定部２０７に供給する。予測係数決定部２０７は、供給される各クラス毎の信号に基づいて各クラス毎に予測係数セットを決定する。
【００６５】
さらに、予測係数セットを決定するための演算について説明する。予測係数ｗ_iは、図７に示したような構成に対し、ＨＤ画像信号として複数種類の画像信号を供給することにより、次のよう演算される。これらの画像信号の種類数をｍと表記する場合、式（３）から、以下の式（４）が設定される。
【００６６】
ｙ_k＝ｗ₁×ｘ_k1＋ｗ₂×ｘ_k2＋・・・＋ｗ_n×ｘ_kn（４）
（ｋ＝１，２，・・・，ｍ）
ｍ＞ｎの場合には、ｗ₁ ，・・・，ｗ_nは一意に決まらないので、誤差ベクトルｅの要素ｅｋを以下の式（５）で定義して、式（６）によつて定義される誤差ベクトルｅの２乗を最小とするように予測係数セットを定めるようにする。すなわち、いわゆる最小２乗法によつて予測係数セットを一意に定める。
【００６７】
ｅ_k＝ｙ_k−｛w₁×ｘ_k1＋ｗ₂×ｋ₂＋・・・＋ｗ_n×ｋ_n｝ (５）
（ｋ＝１，２，・・・ｍ）
【００６８】
【数２】

【００６９】
式（６）のｅ²を最小とする予測係数セットを求めるための実際的な計算方法としては、ｅ²を予測係数ｗ_i（ｉ＝１，２，・・・）で偏微分し（式（７））、ｉの各値について偏微分値が０となるように各予測係数ｗ_iを決定すればよい。
【００７０】
【数３】

【００７１】
式（７）から各予測係数ｗ_iを決定する具体的な手順について説明する。式（８），（９）のようにＸ_ji，Ｙ_iを定義すると、式（７）は、式（１０）の行列式の形に書くことができる。
【００７２】
【数４】

【００７３】
【数５】

【００７４】
【数６】

【００７５】
式（１０）が一般に正規方程式と呼ばれるものである。正規方程式加算部２０５は、供給される信号に基づいて式（８），（９）に示すような演算を行うことにより、Ｘ_ji，Ｙ_i（ｉ＝１，２，・・・，ｎ）をそれぞれ計算する。予測係数決定部２０７は、掃き出し法等の一般的な行列解法に従って正規方程式（１０）を解くことにより、予測係数ｗ_i（ｉ＝１，２，・・・）を算出する。
【００７６】
ここでは、注目画素の特徴情報に対応した予測係数セットと予測タップを用いて、上述の式（３）における線形１次結合モデルの演算を行うことにより、適応処理を行う。なお、適応処理に用いる注目画素の特徴情報に対応した予測係数セットは、学習により得るが、クラス対応の画素値を用いたり、非線形モデルの演算により適応処理を行うこともできる。
【００７７】
上述したようなクラス分類適応処理により、入力画像信号から、例えばノイズが除去された画像信号、走査線構造が変換されてなる画像信号等を出力画像信号として生成する種々の画像信号変換処理が実現される。
【００７８】
このデジタルスチルカメラ１では、例えば、単板式カメラのＣＣＤイメージセンサによって生成される画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号から、入力画像信号の注目画素毎に、複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって、１枚の画像が構成される入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出し、抽出された複数の画素に基づいてクラスを決定し、決定されたクラスに基づいて、上記所定数のサンプル値より多いサンプル値を上記複数の色それぞれに関して有する出力画像信号を生成するクラス分類適応処理を上記予測処理部２５で行うことより、高精細度の画像信号を得ることができる。このように、本発明を適用したデジタルスチルカメラ１においては、クラス分類適応処理を用いて、単板カメラのＣＣＤ出力を４倍密度の画像信号の各色信号Ｒ，Ｇ，Ｂを得ることができるので、エッジ部分や細部の鮮鋭度が増し、Ｓ／Ｎ比の評価値も向上する。
【００７９】
図８乃至図１１は、クラスタップの例を表している。この例においては、ＣＣＤイメージセンサ５の色フィルタアレイがベイヤー配列のものである場合の例を示している。図８は、１個のＲ画素の周囲に４倍の密度のＲＧＢ全ての画素を生成する場合のクラスタップの例を表している。図中、生成する画素は×印で表されており、クラスタップは太い枠で示されている。
【００８０】
図９と図１０は、１個のＧの画素の周囲に４倍密度のＲＧＢ全ての画素を生成する場合のクラスタップを表しており、図７は、Ｒ画素が存在する行のＧ画素の周囲に画素を生成する場合のクラスタップの例を表し、図８は、Ｂ画素が存在する行のＧ画素の周囲に４倍密度のＲＧＢ全ての画素を生成する場合のクラスタップの例を表している。
【００８１】
図１１は、１個のＢ画素の周囲に４倍密度のＲＧＢ全ての画素を生成する場合のクラスタップの例を表している。
【００８２】
ＡＤＲＣ処理部２９は、例えば、Ｒ画素の周囲の４画素のＲ，Ｇ，Ｂの各色成分の画像信号を生成する場合、図８の太枠で示す２６個の画素のうちの対応する色の画素をクラスタップとして抽出し、それぞれのＲ，Ｇ，Ｂの成分の信号値をＡＤＲＣ処理する。
【００８３】
クラス分類部３０は、ステップＳ１７において、ＡＤＲＣ処理部３１より入力された信号から、クラス分類処理を行う。すなわち、例えば図６に示すような２６個の画素のうち抽出された色の画素をＡＤＲＣ処理して得られた信号値に対応するクラスを決定し、そのクラス番号を適応処理部３１に供給する。適応処理部３１は、ステップＳ１８において、クラス分類部３０より供給されたクラス番号に対応する予測係数セットを係数メモリ３２から読み出し、その予測係数セットを対応する予測タップに乗算し、その和を求めることで、４倍密度の画素の画像信号を生成する。
【００８４】
図１２乃至図１５は、予測タップの例を表している。図１２は、１個のＲ画素の周囲に４倍密度の４個の画素を生成する場合の予測タップの例を表している。
図１３と図１４は、１個のＧ画素の周囲に４倍密度の４個の画素を生成する場合の予測タップの例を表し、図１３は、Ｒ画素が存在する行のＧ画素の周囲に４倍密度の画素を生成する場合の予測タップを表しており、図１４は、Ｂ画素が存在する行のＧ画素の周囲に４倍密度の画素を生成する場合の予測タップの例を表している。
【００８５】
図１５は、１個のＢ画素の周囲に４倍密度の４個の画素を生成する場合の予測タップの例を表している。
【００８６】
図１２乃至図１５を参照して明らかなように、この例では、４倍密度の４個のＲＧＢ全ての画素に対応する注目画素の周囲の５×５個の画素が予測タップとされる。
【００８７】
適応処理部３１は、例えば図１２に示す１個のＲの画素の左上の４倍密度の画素を予測する場合、クラス分類部３０より供給されたクラス番号の係数セットのうち、左上の画素を予測する場合の予測係数セットを対応する予測タップに乗算し、その和を求める。同様の処理が、右上、左下、右下の各予測画素を生成する場合にも行われる。
【００８８】
このようなクラス分類適応処理により、図１の（Ａ）に示すｎ×ｍ（ｎ及びｍは正の整数）個の画素で構成されるＣＣＤイメージセンサの出力画像信号（各画素は１つの色の信号のみを有している）から、図１の（Ｂ）に示す２ｎ×２ｍ個のＲ画素の画像信号、２ｎ×２ｍ個のＧ画素の画像信号及び２ｎ×２ｍ個のＢ画素の画像信号を、それぞれ直接生成することによって、一旦、ｎ×ｍ個のＲの画像信号、ｎ×ｍ個のＧ画素の画像信号及びｎ×ｍ個のＢ画素の画像信号を生成してから、４倍密度の画像信号を生成する場合に較べて、より高精細度の画像を得ることが可能となる。
【００８９】
上記クラス分類適応処理に用いられる予測係数セットは、予め学習により得られるもので、上記係数メモリ３２に記憶されている。
【００９０】
ここで、この学習について説明する。図１６は、予測係数セットを学習により得る学習装置４０の構成を示すブロック図である。
【００９１】
この学習装置４０では、クラス分類適応処理の結果として生成されるべき出力画像信号、すなわち３板式カメラのＣＣＤ出力相当の画像信号と同一の信号形式を有する画像信号が教師画像信号として間引き部４１及び教師画像ブロック化部４５に供給される。間引き部４１は、教師画像信号から、色フィルタアレイの各色の配置に従つて画素を間引く。間引き処理は、ＣＣＤイメージセンサ５に対して着される光学ローパスフィルタを想定したフィルタをかけることによって行う。すなわち、実際の光学系を想定した間引き処理を行う。間引き部４１の出力が生徒画像信号として生徒画像ブロック化部４２に供給される。
【００９２】
生徒画像ブロック化部４２は、間引き部４１により生成された生徒信号から、ブロック毎に教師画像信号の予測画素との対応を取りながら、注目画素に基づくクラスタップ及び予測タップを抽出することにより、生徒画像信号をブロック化してＡＤＲＣ処理部４３と演算部４６に供給する。ＡＤＲＣ処理部４３は、生徒画像ブロック化部４２から供給された生徒画像信号にＡＤＲＣ処理を施し特徴情報を生成し、クラス分類部４４に供給する。クラス分類部４４は、入力された特徴情報からクラスコードを発生し、演算部４６に出力する。
【００９３】
ここでは、教師画像信号は、３板式カメラのＣＣＤ出力相当の解像度をもつ画像信号であり、生徒画像信号は、単板式カメラのＣＣＤ出力相当の解像度をもつ画像信号、換言すれば、３板式カメラより解像度の低い画像信号である。さらに換言するに、教師画像信号は、１画素がＲ成分，Ｇ成分及びＢ成分すなわち３原色成分をもつ画像信号であり、生徒画像信号は、１画素がＲ成分，Ｇ成分又はＢ成分のうちの１つの色成分のみをもつ画像信号である。
【００９４】
一方、教師画像ブロック化部４５は、生徒画像信号におけるクラスタップとの対応を取りながら、教師画像信号から予測画素の画像信号を切り出し、切り出した予測画像信号を演算部４６に供給する。演算部４６は、生徒画像ブロック化部４２から供給される予測タップの画像信号と、教師画像ブロック化部４５より供給される予測画画像信号との対応を取りながら、クラス分類部４４より供給されるクラス番号に従って、予測係数セットを解とする方程式である正規方程式のデータを生成する演算を行う。上記演算部４６によつて生成される正規方程式のデータが学習データメモリ４７に逐次読み込まれ、記憶される。
【００９５】
演算部４８は、学習データメモリ４７に蓄積された正規方程式のデータを用いて正規方程式を解く処理を実行する。これにより、クラス毎の予測係数セットが算出される。算出された予測係数セットは、クラスに対応させて係数メモリ４９に記憶される。係数メモリ４９の記憶内容は、上述の係数メモリ３２にロードされ、クラス分類適応処理を行う際に使用される。
【００９６】
次に、図１７のフローチャートを参照して、学習装置４０の動作について説明する。
【００９７】
この学習装置４０に入力されるデジタル画像信号は、３板式カメラで撮像された画像に相当する画質が得られる画像信号である。なお、３板式カメラで得られる画像信号（教師画像信号）は、１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号を含んでいるのに対し、単板式カメラで得られる画像信号（生徒画像信号）は、１画素の画像信号としてＲ，Ｇ，Ｂの３原色信号の内の１つの色信号のみを含んでいる。例えば図１８の（Ａ）に示すように３板式カメラで撮像されたＨＤ画像信号をフィルタリングして図１８の（Ｂ）に示すように１／４サイズのＳＤ画像信号に変換した教師画像信号が、この学習装置４０に入力される。
【００９８】
ステップＳ３１では、教師画像ブロック化部４５において、入力された教師画像信号をブロック化し、入力された教師画像信号から生徒画像ブロック化部４２が注目画素として設定する画素に対応する位置に位置する予測画素の画素値を抽出して、演算部４６に出力する。
【００９９】
また、ステップＳ３２では、３板式カメラで撮像された画像に相当する画質が得られる教師画像信号に対して間引き部４１により単板カメラのＣＣＤイメージセンサ５に用いられる色コーディングフィルタ４に相当するフィルタをかける間引き処理を実行することで、図１８の（Ｃ）に示すように単板式カメラのＣＣＤイメージセンサ５が出力する画像信号に対応する生徒画像信号を教師画像信号から生成し、生成した生徒画像信号を生徒画像ブロック化部４２に出力する。
【０１００】
ステップＳ３３では、生徒画像ブロック化部４２において、入力された生徒画像信号のブロック化を行い、各ブロック毎に、注目画素に基づいて、クラスタップと予測タップを生成する。
【０１０１】
ステップＳ３４では、ＡＤＲＣ処理部４３において、生徒画像信号から切り出されたクラスタップの信号を各色信号毎にＡＤＲＣ処理する。
【０１０２】
ステップＳ３５では、クラス分類部４４において、ステップＳ３３におけるＡＤＲＣ処理の結果に基づいてクラス分類し、分類されるクラスに対応するクラス番号を示す信号を出力する。
【０１０３】
ステップＳ３６では、演算部４６において、クラス分類部４４より供給されたクラス毎に、生徒画像ブロック化部４２より供給された予測タップと、教師画像ブロック化部４５より供給される予測画像に基づいて、上述の式（１０）の正規方程式を生成する処理を実行する。正規方程式は、学習データメモリ４７に記憶される。
【０１０４】
ステップＳ３７では、演算部４６によりすべてのブロックについての処理が終了したか否かを判定する。まだ処理していないブロックが存在する場合には、ステップＳ３６に戻り、それ以降の処理を繰り返し実行する。そして、ステップＳ３７において、すべてのブロックについての処理が終了したと判定された場合、ステップＳ３８に進む。
【０１０５】
ステップＳ３８では、演算部４８において、学習データメモリ４７に記憶された正規方程式を例えば掃き出し法(Gauss-Jordan の消去法) やコレスキー分解法を用いて解く処理を実行することにより、予測係数セットを算出する。このようにして算出された予測係数セットはクラス分類部４４により出力されたクラスコードと関連付けられ、係数メモリ４９に記憶される。
【０１０６】
ステップＳ３９において、演算部４８においてすべてのクラスについての正規方程式を解く処理を実行したか否かを判定し、まだ実行していないクラスが残っている場合には、ステップＳ３８に戻り、それ以降の処理を繰り返し実行する。
【０１０７】
ステップＳ３９において、すべてのクラスについての正規方程式を解く処理が完了したと判定された場合、処理は終了される。
【０１０８】
このようにしてクラスコードと関連付けられて係数メモリ４９に記憶された予測係数セットは、図４に示した画像信号処理部８の係数メモリ３２に記憶されることになる。そして、画像信号処理部８の適応処理部３１は、上述したように、係数メモリ３２に記憶されている予測係数セットを用いて、式（３）に示した線形１次結合モデルにより、注目画素に対して適応処理を行う。
【０１０９】
上述した説明では、色コーディングフィルタ４として、ベイヤー配列のものを用いた場合を説明したが、他の色コーディングフィルタを用いた場合においても、本発明を適応することができる。
【０１１０】
ここで、このデジタルスチルカメラ１のＣＣＤイメージセンサ５に用いることのできる色コーディングフィルタ４を構成する色フィルタアレイの構成例を図１９に示す。
【０１１１】
図１９の（Ａ）〜（Ｇ）は、原色（Ｒ，Ｇ，Ｂ）成分を通過させる原色フィルタアレイで構成された色コーディングフィルタ４における緑（Ｇ）・赤（Ｒ）・青（Ｂ）の色配列の例を示している。
【０１１２】
図１９の（Ａ）はベイヤー配列を示し、図１９の（Ｂ）はインタライン配列を示し、図１９の（Ｃ）はＧストライプＲＢ市松配列を示し、図１９の（Ｄ）はＧストライプＲＢ完全市松配列を示し、図１９の（Ｅ）はストライプ配列を示し、図１９の（Ｆ）は斜めストライプ配列を示し、図１９の（Ｇ）は原色色差配列を示す。
【０１１３】
また、図１９の（Ｈ）〜（Ｎ）は、補色（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分を通過させる補色フィルタアレイで構成された色コーディングフィルタ４におけるマゼンタ（Ｍ）・黄（Ｙ）・シアン（Ｃ）・白（Ｗ）の色配列を示す。図１９の（Ｈ）はフィールド色差順次配列を示し、図１９の（Ｉ）がフレーム色差順次配列を示し、図１９の（Ｊ）はＭＯＳ型配列を示し、図１９の（Ｋ）は改良ＭＯＳ型配列を示し、図１９の（Ｌ）はフレームインターリーブ配列を示し、図１９の（Ｍ）はフィールドインターリーブ配列を示し、図１９の（Ｎ）はストライプ配列を示す。
【０１１４】
なお、補色（Ｍ，Ｙ，Ｃ，Ｗ，Ｇ）成分は、
Ｙ＝Ｇ＋Ｒ
Ｍ＝Ｒ＋Ｂ
Ｃ＝Ｇ＋Ｂ
Ｗ＝Ｒ＋Ｇ＋Ｂ
にて与えられる。また、図１９の（Ｉ）に示すフレーム色差順対応の色コーディングフィルタ４を通過する各色（ＹＭ，ＹＧ，ＣＭ，ＣＧ）成分は、
ＹＭ＝Ｙ＋Ｍ＝２Ｒ＋Ｇ＋Ｂ，
ＣＧ＝Ｃ＋Ｇ＝２Ｇ＋Ｂ，
ＹＧ＝Ｙ＋Ｇ＝Ｒ＋２Ｇ
ＣＭ＝Ｃ＋Ｍ＝Ｒ＋Ｇ＋２Ｒ
にて与えられる。
【０１１５】
以上の実施の形態の効果を評価するため、色フィルタアレイとしてベイヤー配列のものを用いた場合を想定し、ＩＴＥ(Institute of Television Engineers) のハイビジョン標準画像９枚を使用し、予測係数セットの算出に関してもその９枚を用いてシミュレーションを行った。
【０１１６】
３板式カメラのＣＣＤ出力相当の画像信号から、クラス分類適応処理の倍率と画素の位置関係を考慮した間引き操作により、単板式カメラのＣＣＤ出力相当の画像信号を生成し、学習装置４０と同様の処理を行うアルゴリズムで予測係数セットを生成した。そして、単板式カメラのＣＣＤイメージセンサの出力を、縦と横それぞれ２倍ずつの画素数を有する変換処理を、その予測係数セットを用いて、クラス分類適応処理により予測生成した。クラスタップ及び予測タップは、図８乃至図１５に示すものを用いた。クラスタップについては、ＲＧＢそれぞれ独立に扱い、予測タップは、ＲＧＢを混合して使用した。
【０１１７】
シミュレーションの結果、単板式カメラのＣＣＤ出力から、３板式カメラのＣＣＤ出力相当の画像信号を介して、４倍密度の画像信号を得る場合より、エッジや細部の鮮鋭度が向上しており、より高い解像度の画像が得られた。クラス分類適応処理に代えて、線形補間処理についてもシミュレーションしてみたが、クラス分類した方が、解像度も、Ｓ／Ｎ比も良好な結果が得られた。
【０１１８】
このように、本発明を適用したデジタルスチルカメラ１においては、クラス分類適応処理を用いて、単板カメラのＣＣＤ出力を４倍密度の画像信号の各色信号Ｒ，Ｇ，Ｂを得ることができるので、エッジ部分や細部の鮮鋭度が増し、ＳＮの評価値も向上する。
【０１１９】
なお、以上においては、単板カメラのＣＣＤ出力を４倍密度の画像信号とするようにしたが、それ以外の倍率の画像信号を生成する場合にも、本発明は適用することが可能である。上述した説明においては、画像信号処理部８が適応処理に用いる予測タップと、学習装置５１が予測係数セットを算出する際に用いるクラスタップは、異なる構造としたが、同一の構造としても良い。また、予測タップとクラスタップは、上述した構造に限定されるものではない。また、画像信号のクラス削減方式として、ＡＤＲＣを用いたが、例えば、ＤＣＴ(Discrete Cosine Transform) 、ＶＱ（ベクトル量子化）、ＤＰＣＭ(Differential Pulse Code Modulation)、ＢＴＣ(Block Trancation Coding) 、非線形量子化などを用いても良い。さらに、この発明は、デジタルスチルカメラ以外に、例えばカメラ一体型ＶＴＲ等の映像機器や、例えば放送業務に用いられる画像処理装置、さらには、例えばプリンタやスキャナ等に対しても適用することができる。
【０１２０】
さらに、上記予測処理部２５におけるクラス分類適応処理や、上記学習装置４０において予測係数セットを得るための学習処理は、例えば図２０に示すように、バス３１１に接続されたＣＰＵ(Central Processing Unit) ３１２、メモリ３１３、入力インターフェース３１４、ユーザインターフェース３１５や出力インターフェース３１６などにより構成される一般的なコンピュータシステム３１０により実行することができる。上記処理を実行するコンピュータプログラムは、記録媒体に記録されて、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体、又は、クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体として、ユーザに提供される。上記記録媒体には、磁気ディスク、ＣＤ−ＲＯＭなどの情報記録媒体の他、インターネット、デジタル衛星などのネットワークによる伝送媒体も含まれる。
【０１２１】
【発明の効果】
以上の如く、本発明では、複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって、１枚の画像が構成される入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出し、抽出された複数の画素に基づいてクラスを決定し、決定されたクラスに基づいて、上記入力画像信号の各画素に処理を行うことによって、上記所定数のサンプル値より多いサンプル値を上記複数の色それぞれに関して有する出力画像信号を生成することより、高精細度の画像信号を得ることができる。
【０１２２】
また、本発明によれば、複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって、１枚の画像が構成される生徒画像信号から、上記所定数のサンプル値より多いサンプル値を有する予測画像信号の注目画素の近傍の複数の画素を抽出し、抽出された複数の画素に基づいてクラスを決定し、
上記予測画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記注目画素の位置に相当する位置の近傍の複数の画素を抽出し、抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成することにより、より高精細度の良好な画像信号を得ることのできるクラス適応処理に用いる係数セットを得ることができる。
【図面の簡単な説明】
【図１】本発明により４倍密度の画像を得る原理を説明する図である。
【図２】本発明を適用したデジタルスチルカメラの構成を示すブロック図である。
【図３】上記デジタルスチルカメラの動作を説明するためのフローチャートである。
【図４】上記デジタルスチルカメラにおける画像信号処理部の構成を示すブロック図である。
【図５】上記画像信号処理部により行われる画像信号処理を説明するためのフローチャートである。
【図６】クラス分類適応処理を用いた予測演算を行うための構成例を示す示すブロック図である。
【図７】予測係数セットを決定するための構成例を示すブロック図である。
【図８】上記画像信号処理部のＡＤＲＣ処理部において抽出されるクラスタップの例を示す図である。
【図９】上記ＡＤＲＣ処理部において抽出されるクラスタップの例を示す図である。
【図１０】上記ＡＤＲＣ処理部において抽出されるクラスタップの例を示す図である
【図１１】上記ＡＤＲＣ処理部において抽出されるクラスタップの例を示す図である
【図１２】上記ＡＤＲＣ処理部において抽出される予測タップの例を示す図である。
【図１３】上記ＡＤＲＣ処理部において抽出される予測タップの例を示す図である。
【図１４】上記ＡＤＲＣ処理部において抽出される予測タップの例を示す図である。
【図１５】上記ＡＤＲＣ処理部において抽出される予測タップの例を示す図である。
【図１６】予測係数セットを学習により得る学習装置の構成例を示すブロック図である。
【図１７】上記学習装置の動作を説明するためのフローチャートである。
【図１８】上記学習装置による学習処理の一例を模式的に示す図である。
【図１９】上記デジタルスチルカメラのＣＣＤイメージセンサに用いることのできる色コーディングフィルタの色フィルタアレイの構成例を模式的に示す図である。
【図２０】上記クラス分類適応処理や予測係数セットを得るための学習処理を行うコンピュータシステムの一般的な構成を示すブロック図である。
【図２１】従来の線形補間による画像信号処理を模式的に示す図である。
【符号の説明】
１デジタルスチルカメラ、５ＣＣＤイメージセンサ、８画像信号処理部、２５予測処理部、２８ブロック化部、２９ＡＤＲＣ処理部、３０クラス分類部、３１適応処理部、３２係数セットメモリ、４０学習装置、４１間引き部、４２生徒画像ブロック化部、４３ＡＤＲＣ処理部、４４クラス分類部、４５教師画像ブロック化部、４６演算部、４７学習データメモリ、４８演算部、４９係数メモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image signal processing device, an image signal processing method, a learning device, a learning method, and a recording medium, and in particular, an image signal processing device, an image signal processing method, and an image signal processing method that can obtain a higher-definition image. The present invention relates to a learning device, a learning method, and a recording medium.
[0002]
[Prior art]
An image pickup apparatus using a solid-state image sensor such as a CCD (Charge Coupled Device) image sensor mainly includes a single plate type using a single CCD image sensor (hereinafter referred to as a single plate type camera) and three CCDs. There is a three-plate type using an image sensor (hereinafter referred to as a three-plate camera).
[0003]
In the three-plate camera, for example, three CCD image sensors for R signal, G signal, and B signal are used, and three primary color signals are obtained by the three CCD image sensors. A color image signal generated from the three primary color signals is recorded on a recording medium.
[0004]
In a single-plate camera, a single CCD image sensor having a color coding filter composed of a color filter array assigned to each pixel is installed on the front surface, and 1 color component signal color-coded by the color coding filter is received. Get for each pixel. Examples of the color filter array constituting the color coding filter include primary color filter arrays of R (Red), G (Green), and B (Blue), Ye (Yellow), Cy (Cyanogen), and Mg (Magenta). A complementary color filter array is used. In a single-plate camera, a CCD image sensor obtains one color component signal for each pixel, and generates a color signal other than the color component signal possessed by each pixel by linear interpolation processing. An image close to that obtained by a plate camera was obtained. In a video camera or the like, a single plate type is adopted to reduce the size and weight.
[0005]
In a single-panel camera, for example, a CCD image sensor provided with a color coding filter composed of a color filter array having a color array as shown in FIG. 21A is one of the three primary colors R, G, and B. From each pixel in which filters of one color are arranged, only an image signal corresponding to the color of the filter is output. That is, the R component image signal is output from the pixel in which the R color filter is arranged, but the G component and B component image signals are not output. Similarly, only the G component image signal is output from the G pixel, the R component and B component image signals are not output, and only the B component image signal is output from the B pixel. And the image signal of G component is not output.
[0006]
Here, the color arrangement of the color filter array shown in FIG. 21A is called a Bayer arrangement. In this case, G color filters are arranged in a checkered pattern, and R and B are alternately arranged in each row in the remaining portion.
[0007]
However, when the signal of each pixel is processed in the subsequent stage, R component, G component, and B component image signals are required for each pixel. Therefore, conventionally, as shown in FIG. 21B, an image of n × m R pixels is obtained from the output of a CCD image sensor composed of n × m pixels (n and m are positive integers). Signals, n × m G pixel image signals, and n × m B pixel image signals, that is, image signals corresponding to the CCD output of a three-plate camera, are obtained by interpolation, respectively. Output to the subsequent stage.
[0008]
Further, for example, when generating a quadruple density image signal, as shown in FIG. 21C, an image signal of 2n × 2m R pixels is interpolated from the image signal of n × m R pixels. 2n × 2m G pixel image signals are obtained by interpolation from the n × m G pixel image signals, and 2n × 2m from the n × m B pixel image signals. Image signals of B pixels are obtained by interpolation calculation.
[0009]
[Problems to be solved by the invention]
In the conventional apparatus, as described above, the components of the three primary colors having the same resolution are generated for each pixel from the output of the CCD image sensor of the single-plate camera, and a higher density image signal is calculated from the image signal. Like to do. As a result, there is a problem that even if the pixel density is increased, sufficient definition cannot be obtained.
[0010]
The present invention has been made in view of such a situation, and an object thereof is to reliably obtain a high-definition image.
[0011]
[Means for Solving the Problems]
The present invention is generated by a solid-state imaging device of a single-plate camera in which one image is configured by a predetermined number of sample values each having a color component representing any one of a plurality of colors at each pixel position . In the image signal processing apparatus that processes an input image signal, an extraction unit that extracts a plurality of pixels near the target pixel for each target pixel of the input image signal, and a plurality of pixels extracted by the extraction unit A class determining unit for determining a class, and a process for directly converting each color of each pixel of the input image signal to a larger number of pixels than a single plate all pixels based on the class determined by the class determining unit. And an output image generating means for generating an output image signal having more sample values for each of the plurality of colors than the predetermined number of sample values.
[0012]
Further, the present invention is generated by a solid-state imaging device of a single-plate camera in which one image is formed by a predetermined number of sample values each having a color component representing one of a plurality of colors for each pixel position. In the image signal processing method for processing an input image signal, an extraction step for extracting a plurality of pixels in the vicinity of the target pixel for each target pixel of the input image signal, and a plurality of pixels extracted in the extraction step A class determining step for determining a class, and a process for directly converting each color of each pixel of the input image signal to a number of pixels larger than all the single-plate pixels based on the class determined in the class determining step. An output image generation step of generating an output image signal having more sample values for each of the plurality of colors than the predetermined number of sample values by performing Characterized in that it.
[0013]
Furthermore, the present invention is generated by a solid-state imaging device of a single-plate camera in which one image is configured by a predetermined number of sample values each having a color component representing one of a plurality of colors at each pixel position. in the recording medium having a computer-controllable program is recorded for performing image signal processing for processing an input image signal for each pixel of interest of the upper fill force image signal, extracting a plurality of pixels of the target pixel neighborhood And a class determining step for determining a class based on the plurality of pixels extracted in the extracting step, and each color of each pixel of the input image signal based on the class determined in the class determining step. by performing the process for directly converting the number of pixels than the veneer all the pixels, Seki more sample values than the sample values of the predetermined number in each of the plurality of color Program for executing processing to a computer and an output image generating step of generating an output image signal having been is characterized that you are recorded in a computer-readable.
[0014]
In addition, the learning device according to the present invention is a single-plate camera solid in which one image is configured by a predetermined number of sample values each having a color component representing one of a plurality of colors for each pixel position. A first pixel extracting means for extracting a plurality of pixels in the vicinity of a target pixel of a predicted image signal having a sample value larger than the predetermined number of sample values from a student image signal generated by an image sensor ; Based on a plurality of pixels extracted by the pixel extracting means, a class determining means for determining a class, an image signal corresponding to the predicted image signal, and a teacher image signal having a plurality of color components for each pixel position, Based on the pixel values of the plurality of pixels extracted by the second pixel extraction means for extracting a plurality of pixels near the position corresponding to the position of the target pixel, and the first and second pixel extraction means, Class above To, by converting the student directly from an image signal corresponding to an image signal to the number of pixels than the respective veneer all the pixels of each color with the respective pixels, the prediction for generating an image signal corresponding to the teacher image signal And a prediction coefficient generation unit that generates a prediction coefficient set used for the calculation.
[0015]
Furthermore, the learning method according to the present invention is a solid-state camera for a single-plate camera in which one image is configured by a predetermined number of sample values each having a color component representing one of a plurality of colors at each pixel position. A first pixel extracting step of extracting a plurality of pixels in the vicinity of a target pixel of a predicted image signal having a sample value larger than the predetermined number of sample values from the student image signal generated by the image sensor ; Based on a plurality of pixels extracted in the pixel extraction step, a class determination step for determining a class, an image signal corresponding to the predicted image signal, and a teacher image signal having a plurality of color components for each pixel position, A second pixel extraction step for extracting a plurality of pixels in the vicinity of the position corresponding to the position of the target pixel; and pixel values of the plurality of pixels extracted in the first and second pixel extraction steps. Zui and, for each of the classes, by converting directly to more number of pixels than the respective veneer all the pixels of each color with the respective pixels of the image signal corresponding to the student image signal, the image signal corresponding to the teacher image signal And a prediction coefficient generation step for generating a prediction coefficient set used in a prediction calculation for generating.
[0016]
Further, the present invention provides a color component representing any one of a plurality of colors in a recording medium on which a computer-controllable program for performing a learning process for generating a prediction coefficient set according to a class is recorded. A predicted image signal having a sample value larger than the predetermined number of sample values from a student image signal generated by a solid-state imaging device of a single-plate camera in which one image is formed by a predetermined number of sample values for each pixel position. A first pixel extracting step for extracting a plurality of pixels in the vicinity of the target pixel; a class determining step for determining a class based on the plurality of pixels extracted in the first pixel extracting step; and the predicted image A plurality of pixels in the vicinity of a position corresponding to the position of the target pixel from a teacher image signal having a plurality of color components for each pixel position. Based on the pixel values of the plurality of pixels extracted in the second pixel extraction step to be extracted and the first and second pixel extraction steps, the image signal corresponding to the student image signal is extracted from the image signal corresponding to the student image signal for each class. A program for causing a computer to execute a process including a prediction coefficient generation step for generating a prediction coefficient set used for prediction calculation for generating an image signal corresponding to a teacher image signal is recorded in a computer-readable manner. And
[0017]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows the principle of processing for generating a higher-density (in this example, quadruple-density) image signal from the output of a CCD image sensor. In the present invention, 2n shown in FIG. 1B is obtained from an output image signal of a CCD image sensor composed of n × m pixels (n and m are positive integers) shown in FIG. Adaptive processing is performed to directly generate 2 × 2m image signals of 2m R pixels, 2n × 2m image signals of G pixels, and 2n × 2m image signals of B pixels, respectively.
[0018]
FIG. 2 shows a configuration example of the digital still camera 1 that captures an image of a subject according to the principle described above.
[0019]
The digital still camera 1 is a single-plate camera that performs color imaging using a single CCD image sensor 5 in which a color coding filter 4 composed of color filters assigned to each pixel is installed on the front surface. Incident light is condensed by the lens 2 and incident on the CCD image sensor 5 through the iris 3 and the color coding filter 4. On the imaging surface of the CCD image sensor 5, a subject image is formed by incident light having a predetermined level of light quantity by the iris 3. In the digital still camera 1, the color coding filter 4 and the CCD image sensor 5 are separated from each other, but may be integrated.
[0020]
The CCD image sensor 5 performs exposure for a predetermined time in accordance with an electronic shutter controlled by a timing signal from the timing generator 9, and a signal charge (analog amount) corresponding to the amount of incident light transmitted through the color coding filter 4. Is generated for each pixel, the subject image formed by the incident light is imaged, and an image signal obtained as the imaging output is supplied to the signal adjustment unit 6.
[0021]
The signal adjustment unit 6 includes an AGC (Automatic Gain Control) circuit that adjusts the gain so that the signal level of the image signal is constant, and a CDS (Correiated Double Sampling) that removes 1 / f noise generated by the CCD image sensor 5. ) Circuit.
[0022]
The image signal output from the signal adjustment unit 6 is converted from an analog signal to a digital signal by the A / D conversion unit 7 and supplied to the image signal processing unit 8. In the A / D converter 7, for example, a digital imaging signal of 10 bits per sample is generated according to the timing signal from the timing generator 9.
[0023]
In the digital still camera 1, a timing generator 9 supplies various timing signals to a CCD image sensor 5, a signal adjustment unit 6, an A / D conversion unit 7, and a CPU (Central Processing Unit) 10. The CPU 10 controls the iris 3 by driving the motor 11. Further, the CPU 10 drives the motor 12 to move the lens 2 and the like, and controls zoom and autofocus. Further, the CPU 10 performs control to emit a flash by the flash 13 as necessary.
[0024]
The image signal processing unit 8 performs a defect correction process, a digital clamp process, a white balance adjustment process, a gamma correction process, a prediction process using a class classification adaptive process, and the like on the image signal supplied from the A / D conversion unit 7. Process.
[0025]
The memory 15 connected to the image signal processing unit 8 is composed of, for example, a RAM (Random Access Memory), and stores signals necessary when the image signal processing unit 8 performs image processing. The image signal processed by the image signal processing unit 8 is stored in the memory 16 via the interface 14. The image signal stored in the memory 16 is recorded on a recording medium 17 that can be attached to and detached from the digital still camera 1 via the interface 14.
[0026]
The motor 11 drives the iris 3 based on the control information from the CPU 10 and controls the amount of light incident through the lens 2. The motor 12 controls the focus state of the lens 2 with respect to the CCD image sensor 2 based on control information from the CPU 10. Thereby, an automatic aperture control operation and an automatic focus control operation are realized. The flash 13 irradiates the subject with a predetermined flash under the control of the CPU 10.
[0027]
Further, the interface 14 stores the image signal from the image signal processing unit 8 in the memory 16 as necessary, executes a predetermined interface process, and then supplies and stores the image signal in the recording medium 17. As the recording medium 17, a recording medium detachable from the main body of the digital still camera 1, for example, a disk recording medium such as a floppy disk or a hard disk, a flash memory such as a memory card, or the like can be used.
[0028]
Under the control of the CPU 10, the controller 18 supplies control information to the image signal processing unit 8 and the interface 14 to control them. Operation information by the user is input to the CPU 10 from an operation unit 20 including operation buttons such as a shutter button and a zoom button. The CPU 10 controls each unit described above based on the input operation information. The power supply unit 19 includes a battery 19A and a DC / DC converter 19B. The DC / DC converter 19B converts the electric power from the battery 19A into a DC voltage having a predetermined value and supplies it to each component in the apparatus. The rechargeable battery 19 </ b> A can be attached to and detached from the main body of the digital still camera 1.
[0029]
Next, the operation of the digital still camera 1 shown in FIG. 2 will be described with reference to the flowchart of FIG. In step S1, the digital still camera 1 starts imaging of a subject when the power is turned on. That is, the CPU 10 drives the motor 11 and the motor 12 to focus and adjust the iris 3 to form a subject image on the CCD image sensor 5 through the lens 2.
[0030]
In step S2, an image signal obtained by imaging the formed image with the CCD image sensor 5 is gain-adjusted in the signal adjustment unit 6 so that the signal level becomes constant, noise is further removed, and further, A / D Digitized by the converter 7.
[0031]
In step S3, image signal processing including class classification adaptation processing is performed by the image signal processing unit 8 on the image signal digitized by the A / D conversion unit 7.
[0032]
Here, the subject image can be confirmed by the user by displaying an image signal obtained as an imaging output of the CCD image sensor 5 on the electronic viewfinder. It should be noted that the subject image can be confirmed by the user using an optical viewfinder.
[0033]
Then, when the user wants to record the image of the subject image confirmed by the viewfinder on the recording medium 17, the user operates the shutter button of the operation unit 20. In step S4, the CPU 10 of the digital still camera 1 determines whether or not the shutter button has been operated. The digital still camera 1 repeats the processes in steps S2 to S3 until it determines that the shutter button has been operated, and proceeds to step S5 if it determines that the shutter button has been operated.
[0034]
In step S5, the image signal subjected to the image signal processing by the image signal processing unit 8 is recorded on the recording medium 17 via the interface 14.
[0035]
Next, the image signal processing unit 8 will be described with reference to FIG.
[0036]
The image signal processing unit 8 includes a defect correction unit 21 to which the image signal digitized by the A / D conversion unit 7 is supplied. Among the pixels of the CCD image sensor 5, a pixel that does not react to incident light for some reason, a pixel that does not depend on incident light, and in which charge is always stored, in other words, a defective pixel is detected. According to the detection result, a process of correcting the image signal is performed so that the influence of the defective pixels is not exposed.
[0037]
In the A / D conversion unit 7, in order to prevent the negative value from being cut, the A / D conversion is generally performed with the signal value slightly shifted in the positive direction. The clamp unit 22 clamps the image signal that has been defect-corrected by the defect correction unit 21 so that the shift amount described above is eliminated.
[0038]
The image signal clamped by the clamp unit 22 is supplied to the white balance adjustment unit 23. The white balance adjustment unit 23 adjusts the white balance by correcting the gain of the image signal supplied from the clamp unit 22. The image signal whose white balance has been adjusted by the white balance adjustment unit 23 is supplied to the gamma correction unit 24. The gamma correction unit 24 corrects the signal level of the image signal whose white balance has been adjusted by the white balance adjustment unit 23 according to the gamma curve. The image signal subjected to gamma correction by the gamma correction unit 24 is supplied to the prediction processing unit 25.
[0039]
The prediction processing unit 25 converts the output of the gamma correction unit 24 into an image signal equivalent to, for example, a CCD output of a three-plate camera by performing class classification adaptation processing, and supplies the image signal to the correction unit 26. The prediction processing unit 25 includes a blocking unit 28, an ADRC (Adaptive Dynamic Range Coding) processing unit 29, a class classification unit 30, an adaptive processing unit 31, a coefficient memory 32, and the like.
[0040]
The blocking unit 28 supplies a class tap image signal, which will be described later, to the ADRC processing unit 29, and also supplies a prediction tap image signal to the adaptive processing unit 31. The ADRC processing unit 29 performs ADRC processing on the input class tap image signal to generate a requantized code, and supplies the requantized code as feature information to the class classifying unit 30. The class classification unit 30 classifies the image signal patterns based on the feature information supplied from the ADRC processing unit 29, and generates a class number (class code) indicating the classification result. The coefficient memory 32 supplies a coefficient set corresponding to the class number classified by the class classification unit 30 to the adaptive processing unit 31. The adaptive processing unit 31 uses the coefficient set supplied from the coefficient set memory 32 to perform processing for obtaining a prediction pixel value from the image signal of the prediction tap supplied from the blocking unit 28.
[0041]
The correction unit 26 performs processing for so-called image creation necessary for visually enhancing the image such as edge enhancement on the image signal processed by the prediction processing unit 25.
[0042]
The color space conversion unit 27 performs matrix conversion on the image signal (RGB signal) that has been subjected to processing such as edge enhancement by the correction unit 26 and performs predetermined conversion such as YUV (a signal composed of luminance Y and color differences U and V). To an image signal of the signal format. However, the RGB signal may be directly output from the color space conversion unit 27 without performing the matrix conversion process. In one embodiment of the present invention, for example, a YUV signal or an RGB signal can be switched by a user operation.
The image signal converted by the color space conversion unit 27 is supplied to the interface 14 described above.
[0043]
Here, the image signal processing performed by the image signal processing unit 8 in step S3 of the flowchart shown in FIG. 3 will be described with reference to the flowchart of FIG.
[0044]
That is, when the image signal processing unit 8 starts the image signal processing on the image signal digitized by the A / D conversion unit 7, first, in step S11, the influence of the defect of the CCD image sensor 5 does not occur. The defect correction unit 21 performs defect correction of the image signal. In the next step S <b> 12, the clamping unit 22 performs a clamping process for returning the image signal corrected by the defect correcting unit 21 to the original amount shifted in the positive direction.
[0045]
In the next step S13, the white balance adjustment unit 23 adjusts the white balance of the image signal clamped by the clamp unit 22 to adjust the gain between the color signals. In step S14, the gamma correction unit 24 performs correction according to the gamma curve on the image signal whose white balance has been adjusted.
[0046]
In step S15, prediction processing using class classification adaptation processing is performed. Such processing includes steps from step S151 to step S155.
[0047]
In step S151, the image signal that has been gamma corrected by the gamma correction unit 24 is blocked by the blocking unit 28, that is, class taps and prediction taps are cut out. Here, the class tap includes pixels corresponding to a plurality of types of color signals.
[0048]
In step S152, the ADRC processing unit 29 performs ADRC processing.
[0049]
In step S153, the class classification unit 30 performs a class classification process for classifying a class based on the result of the ADRC process. Then, the class number corresponding to the classified class is given to the adaptive processing unit 31.
[0050]
In step S154, the adaptive processing unit 31 reads out the prediction coefficient set corresponding to the class number given from the class classification unit 30 from the coefficient memory 32, multiplies the prediction coefficient set by the image signal of the corresponding prediction tap, Is used to calculate the predicted pixel value.
[0051]
In step S155, it is determined whether or not processing has been performed for all regions. If it is determined that the processing has been performed for all the regions, the process proceeds to step S16. Otherwise, the process proceeds to step S152, and the process for the next region is performed.
[0052]
In step S16, correction processing (so-called image creation) is performed on the image corresponding to the CCD output of the three-plate camera obtained in step S15 so that the image looks good visually. In step S17, the image obtained in step S16 is subjected to color space conversion processing such as converting RGB signals into YUV signals. Thereby, for example, an output image having a signal format suitable as a recording signal is generated.
[0053]
In the image signal processing unit 8 in the digital still camera 1, the input image signal is divided into p × q (p and q are positive integers) blocks by the blocking unit 28, and each block is processed in the ADRC processing unit 29. The following class taps are extracted and ADRC processing is performed on the class taps.
[0054]
Here, the class classification adaptation process will be described. FIG. 6 shows a configuration example for performing prediction calculation using class classification adaptive processing. The input image signal is supplied to the

area cutout units

101 and 102. The region cutout unit 101 extracts a predetermined image region (referred to as a class tap) from the input image signal, and supplies the class tap signal to the ADRC processing unit 103. The ADRC processing unit 103 generates a requantized code by performing ADRC processing on the supplied signal. A method other than ADRC may be used as a method for generating the requantized code.
[0055]
ADRC is an adaptive requantization method originally developed for high-efficiency coding for VTR (Video Tape Recorder), but it can efficiently express local patterns of signal level in short tone. Has characteristics. Therefore, it can be used to detect a pattern in the space-time of an image signal, that is, a spatial activity for generating a class classification code. In the ADRC processing unit 103, the maximum value MAX and the minimum value MIN in the region cut out as a class tap are equally divided by the designated number of bits and requantized according to the following equation (1).
[0056]
DR = MAX-MIN + 1
Q = [(L−MIN + 0.5) × 2n / DR] (1)
Here, DR is a dynamic range within the region. Further, n is the number of bits allocated, and can be set to n = 2, for example. L is the signal level of the pixels in the region, and Q is the requantization code. However, square brackets ([...]) mean processing to round off the decimal part.
[0057]
As a result, a class tap image signal of, for example, 8 bits per pixel is converted into, for example, a 2-bit requantization code value. By the requantization code value generated in this way, the level distribution pattern in the class tap signal is expressed by a smaller amount of information. For example, when a class tap structure including seven pixels is used, seven requantization codes q1 to q7 corresponding to each pixel are generated by the processing as described above. The class code class is as shown in the following equation (2).
[0058]
[Expression 1]

[0059]
Here, n is the number of pixels cut out as a class tap. Moreover, as a value of p, it can be set as p = 2, for example.
[0060]
The class code class represents a class formed by classifying the pattern of level distribution of image signals in space-time, that is, spatial activity as feature information. The class code class is supplied to the prediction coefficient memory 104. The prediction coefficient memory 104 stores a prediction coefficient set for each class determined in advance as described later, and outputs a prediction coefficient set for a class expressed by the supplied requantization code. On the other hand, the region cutout unit 102 extracts a predetermined image region (referred to as a prediction tap) from the input image, and supplies an image signal of the prediction tap to the prediction calculation unit 105. The prediction calculation unit 105 generates an output image signal y by performing a calculation such as the following equation (3) based on the output of the region cutout unit 102 and the prediction coefficient set supplied from the prediction coefficient memory 104. To do.
[0061]
y = w ₁ × x ₁ + w ₂ × x ₂ +... + w _n × x _n (3)
Here, x _1, ···, is x _n is the pixel value of each prediction taps, w _1, ···, is w _n is the prediction coefficient.
[0062]
A process for determining a prediction coefficient set will be described with reference to FIG. An HD (High Definition) image signal having the same image signal format as the output image signal is supplied to the HD-SD conversion unit 201 and the pixel extraction unit 208. The HD-SD conversion unit 201 converts the HD image signal into an image signal having the same resolution (number of pixels) as the input image signal (hereinafter referred to as an SD (Standard Definition) image signal) by performing a thinning process or the like. This SD image signal is supplied to the

area cutout units

202 and 203. Similar to the region cutout unit 101, the region cutout unit 202 cuts out a class tap from the SD image signal and supplies the class tap image signal to the ADRC processing unit 204.
[0063]
The ADRC processing unit 204 performs an ADRC process similar to the ADRC processing unit 103 in FIG. 6 and generates a requantization code based on the supplied signal. The requantization code is supplied to the class code generation unit 205. The class code generation unit 205 generates a class code indicating a class corresponding to the supplied requantization code, and supplies the class code to the normal equation addition unit 206. On the other hand, similarly to the region cutout unit 102 in FIG. 6, the region cutout unit 203 cuts out a prediction tap from the supplied SD image signal, and supplies the cutout image signal of the prediction tap to the normal equation addition unit 206.
[0064]
The normal equation adding unit 206 adds the image signal supplied from the region cutout unit 203 and the image signal supplied from the pixel extracting unit 208 for each class code supplied from the class code generating unit 205, and adds the added classes. Each signal is supplied to the prediction coefficient determination unit 207. The prediction coefficient determination unit 207 determines a prediction coefficient set for each class based on the supplied signal for each class.
[0065]
Furthermore, the calculation for determining a prediction coefficient set is demonstrated. The prediction coefficient w _i is calculated as follows by supplying a plurality of types of image signals as HD image signals to the configuration shown in FIG. When the number of types of these image signals is expressed as m, the following equation (4) is set from the equation (3).
[0066]
y _k = w ₁ × x _k1 + w ₂ × x _k2 +... + w _n × x _kn (4)
(K = 1, 2,..., M)
When m> n, w ₁ ,..., w _n are not uniquely determined. Therefore, the element ek of the error vector e is defined by the following equation (5) and defined by the equation (6). The prediction coefficient set is determined so as to minimize the square of the error vector e. That is, a prediction coefficient set is uniquely determined by a so-called least square method.
[0067]
e _k = y _k − {w ₁ × x _k1 + w ₂ × k ₂ +... + w _n × k _n } (5)
(K = 1, 2,... M)
[0068]
[Expression 2]

[0069]
A practical calculation method for obtaining the prediction coefficient set that minimizes the e ² of the formula (6), predicts e ² coefficients _{w i (i = 1,2, ···} ) partially differentiated by (formula (7)) Each prediction coefficient w _i may be determined so that the partial differential value becomes 0 for each value of _i .
[0070]
[Equation 3]

[0071]
A specific procedure for determining each prediction coefficient w _i from Expression (7) will be described. If X _ji and Y _i are defined as in equations (8) and (9), equation (7) can be written in the form of a determinant of equation (10).
[0072]
[Expression 4]

[0073]
[Equation 5]

[0074]
[Formula 6]

[0075]
Equation (10) is generally called a normal equation. The normal equation adding unit 205 performs operations as shown in the equations (8) and (9) based on the supplied signals, thereby _obtaining X _ji , Y _i (i = 1, 2,..., N). Respectively. The prediction coefficient determination unit 207 calculates the prediction coefficient w _i (i = 1, 2,...) By solving the normal equation (10) according to a general matrix solution method such as a sweep-out method.
[0076]
Here, the adaptive process is performed by calculating the linear first combination model in the above equation (3) using the prediction coefficient set and the prediction tap corresponding to the feature information of the target pixel. Note that the prediction coefficient set corresponding to the feature information of the target pixel used for the adaptive processing is obtained by learning, but the adaptive processing can also be performed by using a pixel value corresponding to the class or by calculating a nonlinear model.
[0077]
By the class classification adaptive processing as described above, various image signal conversion processing for generating, as an output image signal, an image signal from which noise has been removed, an image signal obtained by converting the scanning line structure, etc. is realized from the input image signal. Is done.
[0078]
In this digital still camera 1, for example, for each pixel of interest of an input image signal from an input image signal having a color component representing any one of a plurality of pixel positions generated by a CCD image sensor of a single-plate camera. In addition, for each target pixel of the input image signal in which one image is configured by a predetermined number of sample values having a color component representing one of a plurality of colors at each pixel position, the vicinity of the target pixel A plurality of pixels is extracted, a class is determined based on the extracted plurality of pixels, and an output image having more sample values than the predetermined number of sample values for each of the plurality of colors based on the determined class A high-definition image signal can be obtained by performing the class classification adaptive processing for generating a signal in the prediction processing unit 25. As described above, in the digital still camera 1 to which the present invention is applied, the color signals R, G, and B of the quadruple density image signal can be obtained from the CCD output of the single plate camera by using the classification adaptive processing. Therefore, the sharpness of the edge portion and details is increased, and the evaluation value of the S / N ratio is also improved.
[0079]
8 to 11 show examples of class taps. In this example, an example in which the color filter array of the CCD image sensor 5 is a Bayer array is shown. FIG. 8 shows an example of class taps in the case of generating all the RGB pixels having a quadruple density around one R pixel. In the figure, the pixel to be generated is indicated by a cross, and the class tap is indicated by a thick frame.
[0080]
FIG. 9 and FIG. 10 show class taps in the case where all RGB pixels having a quadruple density are generated around one G pixel, and FIG. 7 shows G pixels in a row where R pixels exist. FIG. 8 shows an example of class taps in the case of generating all four-times RGB pixels around G pixels in a row in which B pixels exist. ing.
[0081]
FIG. 11 shows an example of class taps in the case of generating all RGB pixels having a quadruple density around one B pixel.
[0082]
For example, when the image signal of each of the R, G, and B color components of four pixels around the R pixel is generated, the ADRC processing unit 29 has the corresponding color of the 26 pixels indicated by the thick frame in FIG. Pixels are extracted as class taps, and signal values of the respective R, G, and B components are subjected to ADRC processing.
[0083]
In step S <b> 17, the class classification unit 30 performs a class classification process from the signal input from the ADRC processing unit 31. That is, for example, a class corresponding to a signal value obtained by performing ADRC processing on a pixel of an extracted color among 26 pixels as illustrated in FIG. 6 is determined, and the class number is supplied to the adaptive processing unit 31. . In step S18, the adaptive processing unit 31 reads the prediction coefficient set corresponding to the class number supplied from the class classification unit 30 from the coefficient memory 32, multiplies the prediction coefficient set by the corresponding prediction tap, and obtains the sum thereof. As a result, an image signal of pixels having a quadruple density is generated.
[0084]
12 to 15 show examples of prediction taps. FIG. 12 illustrates an example of a prediction tap in the case where four pixels with a quadruple density are generated around one R pixel.
FIGS. 13 and 14 show examples of prediction taps in the case where four pixels having a quadruple density are generated around one G pixel, and FIG. 13 shows the periphery of the G pixel in the row where the R pixel exists. FIG. 14 shows an example of a prediction tap when generating a quadruple density pixel around the G pixel in the row where the B pixel exists. ing.
[0085]
FIG. 15 illustrates an example of a prediction tap in the case where four pixels having a quadruple density are generated around one B pixel.
[0086]
As is apparent with reference to FIGS. 12 to 15, in this example, 5 × 5 pixels around the target pixel corresponding to all four RGB pixels having a quadruple density are set as prediction taps.
[0087]
For example, when predicting an upper left quadruple density pixel of one R pixel shown in FIG. 12, the adaptive processing unit 31 selects an upper left pixel from the class number coefficient set supplied from the class classification unit 30. The prediction coefficient set for prediction is multiplied by the corresponding prediction tap, and the sum is obtained. A similar process is performed when generating predicted pixels in the upper right, lower left, and lower right.
[0088]
By such class classification adaptive processing, an output image signal (each pixel has one color) of a CCD image sensor composed of n × m (n and m are positive integers) pixels shown in FIG. 2n × 2m R pixel image signals, 2n × 2m G pixel image signals, and 2n × 2m B pixel images shown in FIG. By directly generating the signals, once the n × m R image signals, the n × m G pixel image signals, and the n × m B pixel image signals are generated. Compared with the case where a double-density image signal is generated, an image with higher definition can be obtained.
[0089]
The prediction coefficient set used for the class classification adaptation process is obtained in advance by learning and is stored in the coefficient memory 32.
[0090]
Here, this learning will be described. FIG. 16 is a block diagram illustrating a configuration of a learning device 40 that obtains a prediction coefficient set by learning.
[0091]
In this learning device 40, an output image signal to be generated as a result of the class classification adaptive processing, that is, an image signal having the same signal format as an image signal equivalent to a CCD output of a three-plate camera is used as a teacher image signal. This is supplied to the teacher image blocking unit 45. The thinning unit 41 thins out pixels from the teacher image signal according to the arrangement of each color of the color filter array. The thinning process is performed by applying a filter assuming an optical low-pass filter attached to the CCD image sensor 5. That is, thinning processing is performed assuming an actual optical system. The output of the thinning unit 41 is supplied to the student image blocking unit 42 as a student image signal.
[0092]
The student image blocking unit 42 extracts the class tap and the prediction tap based on the target pixel from the student signal generated by the thinning unit 41 while taking correspondence with the prediction pixel of the teacher image signal for each block. The student image signal is blocked and supplied to the ADRC processing unit 43 and the calculation unit 46. The ADRC processing unit 43 performs ADRC processing on the student image signal supplied from the student image blocking unit 42 to generate feature information, and supplies the feature information to the class classification unit 44. The class classification unit 44 generates a class code from the input feature information and outputs it to the calculation unit 46.
[0093]
Here, the teacher image signal is an image signal having a resolution equivalent to a CCD output of a three-plate camera, and the student image signal is an image signal having a resolution equivalent to a CCD output of a single-plate camera, in other words, a three-plate camera. This is an image signal with a lower resolution. In other words, the teacher image signal is an image signal in which one pixel has an R component, a G component, and a B component, that is, three primary color components, and a student image signal has one pixel out of the R component, the G component, or the B component. Is an image signal having only one color component.
[0094]
On the other hand, the teacher image blocking unit 45 cuts out the image signal of the predicted pixel from the teacher image signal while taking correspondence with the class tap in the student image signal, and supplies the cut out predicted image signal to the calculation unit 46. The calculation unit 46 is supplied from the class classification unit 44 while taking a correspondence between the prediction tap image signal supplied from the student image blocking unit 42 and the predicted image signal supplied from the teacher image blocking unit 45. According to the class number, an operation for generating data of a normal equation that is an equation having a prediction coefficient set as a solution is performed. The data of the normal equation generated by the arithmetic unit 46 is sequentially read and stored in the learning data memory 47.
[0095]
The calculation unit 48 executes processing for solving the normal equation using the data of the normal equation stored in the learning data memory 47. Thereby, a prediction coefficient set for each class is calculated. The calculated prediction coefficient set is stored in the coefficient memory 49 in association with the class. The content stored in the coefficient memory 49 is loaded into the coefficient memory 32 described above and used when performing the class classification adaptation process.
[0096]
Next, the operation of the learning device 40 will be described with reference to the flowchart of FIG.
[0097]
The digital image signal input to the learning device 40 is an image signal that provides an image quality equivalent to an image captured by a three-plate camera. The image signal (teacher image signal) obtained with the three-plate camera includes the three primary color signals of R, G, and B as one pixel image signal, whereas the image signal (student) obtained with the single-plate camera. The image signal) includes only one of the three primary color signals of R, G, and B as an image signal of one pixel. For example, a teacher image signal obtained by filtering an HD image signal captured by a three-plate camera as shown in FIG. 18A and converting it into a 1/4 size SD image signal as shown in FIG. Are input to the learning device 40.
[0098]
In step S31, the teacher image blocking unit 45 blocks the input teacher image signal, and the prediction is located at a position corresponding to the pixel set by the student image blocking unit 42 as the target pixel from the input teacher image signal. The pixel value of the pixel is extracted and output to the calculation unit 46.
[0099]
In step S32, a filter corresponding to the color coding filter 4 used for the CCD image sensor 5 of the single-plate camera by the thinning unit 41 with respect to the teacher image signal that can obtain the image quality corresponding to the image captured by the three-plate camera. As shown in FIG. 18C, a student image signal corresponding to the image signal output from the CCD image sensor 5 of the single-panel camera is generated from the teacher image signal, and the generated student is executed. The image signal is output to the student image blocking unit 42.
[0100]
In step S33, the student image blocking unit 42 blocks the input student image signal, and generates a class tap and a prediction tap for each block based on the target pixel.
[0101]
In step S34, the ADRC processing unit 43 performs ADRC processing on the class tap signal cut out from the student image signal for each color signal.
[0102]
In step S35, the class classification unit 44 performs class classification based on the result of the ADRC process in step S33, and outputs a signal indicating a class number corresponding to the class to be classified.
[0103]
In step S <b> 36, in the calculation unit 46, for each class supplied from the class classification unit 44, the prediction tap supplied from the student image blocking unit 42 and the predicted image supplied from the teacher image blocking unit 45 are used. Then, the process of generating the normal equation of the above equation (10) is executed. The normal equation is stored in the learning data memory 47.
[0104]
In step S37, the calculation unit 46 determines whether or not the processing for all the blocks has been completed. If there is a block that has not been processed yet, the process returns to step S36, and the subsequent processing is repeatedly executed. If it is determined in step S37 that the processing for all the blocks has been completed, the process proceeds to step S38.
[0105]
In step S38, the calculation unit 48 executes a process of solving the normal equation stored in the learning data memory 47 by using, for example, a sweeping method (Gauss-Jordan elimination method) or a Cholesky decomposition method, thereby setting a prediction coefficient set. Is calculated. The prediction coefficient set calculated in this way is associated with the class code output by the class classification unit 44 and stored in the coefficient memory 49.
[0106]
In step S39, it is determined whether or not the calculation unit 48 has executed processing for solving the normal equations for all classes. If there are still classes that have not yet been executed, the process returns to step S38, and the subsequent steps. Repeat the process.
[0107]
If it is determined in step S39 that the process of solving the normal equations for all classes has been completed, the process ends.
[0108]
The prediction coefficient set associated with the class code and stored in the coefficient memory 49 in this way is stored in the coefficient memory 32 of the image signal processing unit 8 shown in FIG. Then, as described above, the adaptive processing unit 31 of the image signal processing unit 8 uses the prediction coefficient set stored in the coefficient memory 32 and performs the pixel of interest using the linear linear combination model shown in Expression (3). Adaptive processing is performed on.
[0109]
In the above description, the case where a Bayer array filter is used as the color coding filter 4 has been described, but the present invention can also be applied to the case where another color coding filter is used.
[0110]
Here, FIG. 19 shows a configuration example of a color filter array constituting the color coding filter 4 that can be used in the CCD image sensor 5 of the digital still camera 1.
[0111]
19A to 19G show green (G), red (R), and blue (B) in the color coding filter 4 formed of the primary color filter array that allows the primary color (R, G, B) components to pass through. An example of the color arrangement is shown.
[0112]
19A shows a Bayer arrangement, FIG. 19B shows an interline arrangement, FIG. 19C shows a G stripe RB checkered arrangement, and FIG. 19D shows a G stripe RB. FIG. 19E shows a stripe arrangement, FIG. 19F shows an oblique stripe arrangement, and FIG. 19G shows a primary color difference arrangement.
[0113]
Further, (H) to (N) in FIG. 19 are magenta (M) / yellow (Y) in the color coding filter 4 constituted by the complementary color filter array that allows the complementary color (M, Y, C, W, G) components to pass. ), Cyan (C), and white (W). 19H shows the field color difference sequential arrangement, FIG. 19I shows the frame color difference sequential arrangement, FIG. 19J shows the MOS type arrangement, and FIG. 19K shows the improved MOS. FIG. 19 (L) shows a frame interleave arrangement, FIG. 19 (M) shows a field interleave arrangement, and FIG. 19 (N) shows a stripe arrangement.
[0114]
The complementary color (M, Y, C, W, G) components are
Y = G + R
M = R + B
C = G + B
W = R + G + B
Given in Further, each color (YM, YG, CM, CG) component passing through the color coding filter 4 corresponding to the frame color difference order shown in (I) of FIG.
YM = Y + M = 2R + G + B,
CG = C + G = 2G + B,
YG = Y + G = R + 2G
CM = C + M = R + G + 2R
Given in
[0115]
In order to evaluate the effect of the above embodiment, assuming that a Bayer array is used as a color filter array, nine high definition standard images of ITE (Institute of Television Engineers) are used, and a prediction coefficient set is calculated. The simulation was also performed using the 9 sheets.
[0116]
The image signal corresponding to the CCD output of the single-plate camera is generated from the image signal corresponding to the CCD output of the three-plate camera by the thinning operation considering the magnification of the class classification adaptive processing and the positional relationship of the pixels. A prediction coefficient set was generated by the algorithm to process. Then, the output of the CCD image sensor of the single-plate camera was predicted and generated by the class classification adaptive process using the prediction coefficient set for the conversion process having twice the vertical and horizontal pixel numbers. As the class tap and the prediction tap, those shown in FIGS. 8 to 15 were used. Class taps were handled independently for each of RGB, and prediction taps were used by mixing RGB.
[0117]
As a result of the simulation, the sharpness of the edges and details has been improved from the case where a quadruple density image signal is obtained from the CCD output of the single plate camera via the image signal equivalent to the CCD output of the three plate camera. A high resolution image was obtained. A simulation was performed for the linear interpolation process instead of the class classification adaptive process, but the results of better resolution and S / N ratio were obtained by class classification.
[0118]
As described above, in the digital still camera 1 to which the present invention is applied, the color signals R, G, and B of the quadruple density image signal can be obtained from the CCD output of the single plate camera by using the classification adaptive processing. As a result, the sharpness of edge portions and details is increased, and the SN evaluation value is also improved.
[0119]
In the above description, the CCD output of the single plate camera is set to a quadruple density image signal. However, the present invention can also be applied to the case of generating an image signal with other magnifications. . In the above description, the prediction tap used by the image signal processing unit 8 for the adaptive processing and the class tap used when the learning device 51 calculates the prediction coefficient set have different structures, but may have the same structure. Further, the prediction tap and the class tap are not limited to the structure described above. Also, ADRC is used as a class reduction method for image signals. For example, DCT (Discrete Cosine Transform), VQ (Vector Quantization), DPCM (Differential Pulse Code Modulation), BTC (Block Trancation Coding), nonlinear quantization Etc. may be used. In addition to the digital still camera, the present invention can also be applied to video equipment such as a camera-integrated VTR, an image processing apparatus used for broadcasting, for example, and a printer or scanner, for example. .
[0120]
Further, the class classification adaptation process in the prediction processing unit 25 and the learning process for obtaining a prediction coefficient set in the learning device 40 are performed by a CPU (Central Processing Unit) connected to a bus 311 as shown in FIG. 20, for example. The program can be executed by a general computer system 310 including a 312, a memory 313, an input interface 314, a user interface 315, and an output interface 316. A computer program that executes the above processing is a computer-controllable program that performs image signal processing for processing an input image signal recorded on a recording medium and having a color component representing any one of a plurality of pixel positions. Is provided to the user as a recording medium on which is recorded or a computer-controllable program that performs a learning process for generating a prediction coefficient set according to a class. The recording medium includes an information recording medium such as a magnetic disk and a CD-ROM, and a transmission medium via a network such as the Internet and a digital satellite.
[0121]
【The invention's effect】
As described above, according to the present invention, for each pixel of interest of an input image signal in which one image is formed by a predetermined number of sample values each having a color component representing one of a plurality of colors at each pixel position. In addition, by extracting a plurality of pixels near the target pixel, determining a class based on the extracted plurality of pixels, and processing each pixel of the input image signal based on the determined class, A high-definition image signal can be obtained by generating an output image signal having more sample values than the predetermined number of sample values for each of the plurality of colors.
[0122]
In addition, according to the present invention, from the student image signal in which one image is formed by a predetermined number of sample values having a color component representing any one of a plurality of colors for each pixel position, the predetermined Extracting a plurality of pixels in the vicinity of the target pixel of the predicted image signal having a sample value greater than the number of sample values, and determining a class based on the extracted plurality of pixels;
A plurality of pixels extracted by extracting a plurality of pixels near a position corresponding to the position of the target pixel from a teacher image signal corresponding to the predicted image signal and having a plurality of color components for each pixel position By generating a prediction coefficient set used for prediction calculation for generating an image signal corresponding to the teacher image signal from an image signal corresponding to the student image signal for each class based on the pixel value of the pixel Thus, it is possible to obtain a coefficient set used for class adaptation processing that can obtain an image signal with higher definition.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining the principle of obtaining a quadruple density image according to the present invention.
FIG. 2 is a block diagram showing a configuration of a digital still camera to which the present invention is applied.
FIG. 3 is a flowchart for explaining the operation of the digital still camera.
FIG. 4 is a block diagram illustrating a configuration of an image signal processing unit in the digital still camera.
FIG. 5 is a flowchart for explaining image signal processing performed by the image signal processing unit;
FIG. 6 is a block diagram illustrating a configuration example for performing a prediction calculation using a class classification adaptive process.
FIG. 7 is a block diagram illustrating a configuration example for determining a prediction coefficient set.
FIG. 8 is a diagram illustrating an example of class taps extracted by an ADRC processing unit of the image signal processing unit.
FIG. 9 is a diagram illustrating an example of class taps extracted by the ADRC processing unit.
10 is a diagram showing an example of class taps extracted by the ADRC processing unit. FIG. 11 is a diagram showing examples of class taps extracted by the ADRC processing unit. FIG. It is a figure which shows the example of the prediction tap extracted in.
FIG. 13 is a diagram illustrating an example of prediction taps extracted by the ADRC processing unit.
FIG. 14 is a diagram illustrating an example of prediction taps extracted by the ADRC processing unit.
FIG. 15 is a diagram illustrating an example of prediction taps extracted by the ADRC processing unit.
FIG. 16 is a block diagram illustrating a configuration example of a learning device that obtains a prediction coefficient set by learning.
FIG. 17 is a flowchart for explaining the operation of the learning apparatus.
FIG. 18 is a diagram schematically illustrating an example of learning processing by the learning device.
FIG. 19 is a diagram schematically illustrating a configuration example of a color filter array of a color coding filter that can be used in the CCD image sensor of the digital still camera.
FIG. 20 is a block diagram showing a general configuration of a computer system that performs the above-described class classification adaptive processing and learning processing for obtaining a prediction coefficient set.
FIG. 21 is a diagram schematically illustrating conventional image signal processing by linear interpolation.
[Explanation of symbols]
1 digital still camera, 5 CCD image sensor, 8 image signal processing unit, 25 prediction processing unit, 28 block forming unit, 29 ADRC processing unit, 30 class classification unit, 31 adaptive processing unit, 32 coefficient set memory, 40 learning device, 41 decimation unit, 42 student image blocking unit, 43 ADRC processing unit, 44 class classification unit, 45 teacher image blocking unit, 46 calculation unit, 47 learning data memory, 48 calculation unit, 49 coefficient memory

Claims

複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される、単板式カメラの固体撮像素子によって生成された入力画像信号を処理する画像信号処理装置において、
上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出手段と、
上記抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、
上記クラス決定手段で決定されたクラスに基づいて、上記入力画像信号の各画素の持つ各色を夫々単板全画素よりも多い画素数に直接変換する処理を行うことによって、上記所定数のサンプル値より多いサンプル値を上記複数の色それぞれに関して有する出力画像信号を生成する出力画像生成手段と
を備える画像信号処理装置。 An input image signal generated by a solid-state image sensor of a single-plate camera , in which one image is composed of a predetermined number of sample values each having a color component representing one of a plurality of colors at each pixel position. In the image signal processing apparatus to process,
Extracting means for extracting a plurality of pixels near the target pixel for each target pixel of the input image signal;
Class determining means for determining a class based on the plurality of pixels extracted by the extracting means;
Based on the class determined by the class determining means, the predetermined number of sample values are obtained by performing a process of directly converting each color of each pixel of the input image signal to a greater number of pixels than all the single-plate pixels. greater sample values of the plurality of color images signal processing device Ru and an output image generation means for generating an output image signal having for each a.

上記出力画像生成手段は、
クラス毎の予測係数セットを記憶する記憶手段と、
上記クラス決定手段で決定されたクラスに応じた予測係数セットと上記抽出手段によって抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記出力画像信号を生成する演算手段と
を備える請求項１記載の画像信号処理装置。The output image generation means includes
Storage means for storing a prediction coefficient set for each class,
A calculation unit that generates the output image signal by performing a calculation based on a prediction coefficient set corresponding to the class determined by the class determination unit and a plurality of pixels in the vicinity of the target pixel extracted by the extraction unit; the image signal processing apparatus comprising Ru請 Motomeko 1 wherein.

複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される単板式カメラの固体撮像素子によって生成された入力画像信号を処理する画像信号処理方法において、
上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、
上記抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、
上記クラス決定ステップで決定されたクラスに基づいて、上記入力画像信号の各画素の持つ各色を夫々単板全画素よりも多い画素数に直接変換する処理を行うことによって、上記所定数のサンプル値より多いサンプル値を上記複数の色それぞれに関して有する出力画像信号を生成する出力画像生成ステップと
を有する画像信号処理方法。Processes an input image signal generated by a solid-state image sensor of a single-plate camera in which one image is formed by a predetermined number of sample values each having a color component representing one of a plurality of colors at each pixel position In the image signal processing method to
An extraction step of extracting a plurality of pixels in the vicinity of the target pixel for each target pixel of the input image signal;
A class determination step for determining a class based on the plurality of pixels extracted in the extraction step;
Based on the class determined in the class determination step, the predetermined number of sample values are obtained by performing a process of directly converting each color of each pixel of the input image signal to a larger number of pixels than that of all pixels on a single plate. greater sample values that have a output image generating step of generating an output image signal having for each of the plurality of color images signal processing method.

上記出力画像生成ステップでは、
上記クラス決定ステップで決定されたクラスに応じた予測係数セットと上記抽出ステップで抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記出力画像信号を生成することを特徴とする請求項３記載の画像信号処理方法。In the output image generation step,
Generating the output image signal by performing a calculation based on a prediction coefficient set corresponding to the class determined in the class determination step and a plurality of pixels in the vicinity of the target pixel extracted in the extraction step. The image signal processing method according to claim 3.

複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される、単板式カメラの固体撮像素子によって生成された入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、
上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、
上記抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、
上記クラス決定ステップで決定されたクラスに基づいて、上記入力画像信号の各画素の持つ各色を夫々単板全画素よりも多い画素数に直接変換する処理を行うことによって、上記所定数のサンプル値より多いサンプル値を上記複数の色それぞれに関して有する出力画像信号を生成する出力画像生成ステップと
を含む処理をコンピュータに実行させるプログラムがコンピュータに読み取り可能に記録された記録媒体。 An input image signal generated by a solid-state image sensor of a single-plate camera, in which one image is composed of a predetermined number of sample values each having a color component representing one of a plurality of colors at each pixel position. In a recording medium on which a computer controllable program for performing image signal processing is recorded,
For each target pixel of the upper fill force image signal, and extracting a plurality of pixels of the target pixel neighborhood,
A class determination step for determining a class based on the plurality of pixels extracted in the extraction step;
Based on the class determined in the class determination step, the predetermined number of sample values are obtained by performing a process of directly converting each color of each pixel of the input image signal to a larger number of pixels than that of all pixels on a single plate. An output image generation step for generating an output image signal having more sample values for each of the plurality of colors;
A recording medium on which a computer readable program is recorded.

上記出力画像生成ステップでは、
上記クラス決定ステップで決定されたクラスに応じた予測係数セットと上記抽出ステップで抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記出力画像信号を生成することを特徴とする請求項５記載の記録媒体。In the output image generation step,
Generating the output image signal by performing a calculation based on a prediction coefficient set corresponding to the class determined in the class determination step and a plurality of pixels in the vicinity of the target pixel extracted in the extraction step. The recording medium according to claim 5.

複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される、単板式カメラの固体撮像素子によって生成された生徒画像信号から、上記所定数のサンプル値より多いサンプル値を有する予測画像信号の注目画素の近傍の複数の画素を抽出する第１の画素抽出手段と、
上記第１の画素抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、
上記予測画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出手段と、
上記第１及び第２の画素抽出手段で抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から各画素の持つ各色を夫々単板全画素よりも多い画素数に直接変換することによって、上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成手段と
を備えることを特徴とする学習装置。From a student image signal generated by a solid-state image sensor of a single-plate camera , in which one image is composed of a predetermined number of sample values having a color component representing one of a plurality of colors at each pixel position First pixel extracting means for extracting a plurality of pixels in the vicinity of the target pixel of the predicted image signal having a sample value larger than the predetermined number of sample values;
Class determining means for determining a class based on the plurality of pixels extracted by the first pixel extracting means;
Second pixel extraction that is an image signal corresponding to the predicted image signal and extracts a plurality of pixels in the vicinity of a position corresponding to the position of the target pixel from a teacher image signal having a plurality of color components for each pixel position Means,
Based on the pixel values of the plurality of pixels extracted by the first and second pixel extraction means, each pixel has each color of each pixel from the image signal corresponding to the student image signal for each class. A learning apparatus comprising: a prediction coefficient generation unit configured to generate a prediction coefficient set used for a prediction calculation for generating an image signal corresponding to the teacher image signal by directly converting to a larger number of pixels. .

上記クラス決定手段は、
上記第１の画素抽出手段で抽出された複数の画素に対して、ＡＤＲＣ(Adaptive Dynamic Range Coding) 処理により特徴情報を生成し、特徴情報に基づいてクラスを決定することを特徴とする請求項７記載の学習装置。The class determination means is
8. The feature information is generated by ADRC (Adaptive Dynamic Range Coding) processing for a plurality of pixels extracted by the first pixel extraction means, and a class is determined based on the feature information. The learning device described.

複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される、単板式カメラの固体撮像素子によって生成された生徒画像信号から、上記所定数のサンプル値より多いサンプル値を有する予測画像信号の注目画素の近傍の複数の画素を抽出する第１の画素抽出ステップと、
上記第１の画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、
上記予測画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出ステップと、
上記第１及び第２の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号の各画素の持つ各色を夫々単板全画素よりも多い画素数に直接変換することによって、上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップと
を有する学習方法。From a student image signal generated by a solid-state image sensor of a single-plate camera , in which one image is composed of a predetermined number of sample values having a color component representing one of a plurality of colors at each pixel position A first pixel extraction step of extracting a plurality of pixels in the vicinity of the target pixel of the predicted image signal having a sample value greater than the predetermined number of sample values;
A class determining step for determining a class based on the plurality of pixels extracted in the first pixel extracting step;
Second pixel extraction that is an image signal corresponding to the predicted image signal and extracts a plurality of pixels in the vicinity of a position corresponding to the position of the target pixel from a teacher image signal having a plurality of color components for each pixel position Steps,
Based on the pixel values of the plurality of pixels extracted in the first and second pixel extraction steps, each pixel has each color of the image signal corresponding to the student image signal for each class. A prediction coefficient generation step for generating a prediction coefficient set for use in a prediction calculation for generating an image signal corresponding to the teacher image signal by directly converting to a larger number of pixels ;
Learning method with.

上記クラス決定ステップでは、
上記第１の画素抽出手段で抽出された複数の画素に対して、ＡＤＲＣ(Adaptive Dynamic Range Coding) 処理により特徴情報を生成し、特徴情報に基づいてクラスを決定する請求項９記載の学習方法。In the class determination step above,
For a plurality of pixels extracted by the first pixel extracting means, ADRC generates characteristic information by (Adaptive Dynamic Range Coding) processing, learning 請 Motomeko 9 wherein that determine the class based on the characteristic information Method.

クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、
複数の色のうちのいずれか１つを表す色成分を画素位置毎に持つ所定数のサンプル値によって１枚の画像が構成される単板式カメラの固体撮像素子によって生成された生徒画像信号から、上記所定数のサンプル値より多いサンプル値を有する予測画像信号の注目画素の近傍の複数の画素を抽出する第１の画素抽出ステップと、上記第１の画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記予測画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記注目画素の位置に相当する位置の近傍の複数の画素を抽出する第２の画素抽出ステップと、上記第１及び第２の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップと
を含む処理をコンピュータに実行させるプログラムがコンピュータに読み取り可能に記録された記録媒体。In a recording medium recorded with a computer-controllable program for performing a learning process for generating a prediction coefficient set according to a class,
From a student image signal generated by a solid-state image sensor of a single-plate camera in which one image is configured by a predetermined number of sample values having a color component representing any one of a plurality of colors for each pixel position, A first pixel extraction step for extracting a plurality of pixels in the vicinity of a target pixel of a predicted image signal having a sample value greater than the predetermined number of sample values; and a plurality of pixels extracted in the first pixel extraction step. Based on a class determination step for determining a class and an image signal corresponding to the predicted image signal, and a vicinity of a position corresponding to the position of the target pixel from a teacher image signal having a plurality of color components for each pixel position A second pixel extracting step for extracting a plurality of pixels, and a student for each class based on pixel values of the plurality of pixels extracted in the first and second pixel extracting steps. A prediction coefficient generating step of generating a prediction coefficient set used by the image signal corresponding to the image signal to the prediction computation for generating an image signal corresponding to the teacher image signal
A recording medium on which a computer readable program is recorded.

上記クラス決定ステップでは、
上記第１の画素抽出手段で抽出された複数の画素に対して、ＡＤＲＣ(Adaptive Dynamic Range Coding) 処理により特徴情報を生成し、特徴情報に基づいてクラスを決定する請求項１１記載の記録媒体。In the class determination step above,
For a plurality of pixels extracted by the first pixel extracting means, ADRC generates characteristic information by (Adaptive Dynamic Range Coding) processing, recording 請 Motomeko 11 described that determine the class based on the characteristic information Medium.