JP4529253B2 - 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 - Google Patents
画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 Download PDFInfo
- Publication number
- JP4529253B2 JP4529253B2 JP2000246516A JP2000246516A JP4529253B2 JP 4529253 B2 JP4529253 B2 JP 4529253B2 JP 2000246516 A JP2000246516 A JP 2000246516A JP 2000246516 A JP2000246516 A JP 2000246516A JP 4529253 B2 JP4529253 B2 JP 4529253B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image signal
- color
- feature information
- color component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Image Communication Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
【発明の属する技術分野】
本発明は画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体に関し、特に、1つの固体イメージセンサにより得られる画像に対し、その画像信号の1画素が赤(R:Red) 成分、緑(G:Green) 成分及び青(B:Blue)成分をもつように、クラス分類適応処理を用いて色成分を補間する画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体に関する。
【0002】
【従来の技術】
CCD(Charge Coupled Device) イメージセンサなどの固体イメージセンサを用いた撮像装置には、主に、1つのCCDイメージセンサを用いた単板方式のもの(以後、単板式カメラという)と、3つのCCDイメージセンサを用いた3板方式のもの(以後、3板式カメラという)とがある。
【0003】
3板式カメラでは、例えばR信号用、G信号用及びB信号用の3つのCCDイメージセンサを用いて、その3つのCCDイメージセンサにより3原色信号を得る。そして、この3原色信号から生成されるカラー画像信号が記録媒体に記録される。
【0004】
単板式カメラでは、1画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された1つのCCDイメージセンサを用いて、上記色コーディングフィルタにより色コーディングされた色成分の信号を1画素毎に得る。上記色コーディングフィルタを構成する色フィルタアレイとしては、例えば、R(Red) ,G(Green) ,B(Blue) の原色フィルタアレイや、Ye(Yellow) ,Cy(Cyanogen),Mg(Magenta) の補色フィルタアレイが用いられている。そして、単板式カメラにおいては、CCDイメージセンサにより1画素毎に1つの色成分の信号を得て、各画素が持っている色成分の信号以外の色信号を線形補間処理により生成して、3板式カメラにより得られる画像に近い画像を得るようしていた。ビデオカメラなどにおいて、小型化、軽量化を図る場合に、単板式が採用されている。
【0005】
単板式カメラにおいて、例えば図21の(A)に示すような色配列の色フィルタアレイにより構成された色コーディングフィルタが設けられたCCDイメージセンサは、R,G,Bの3原色のうちの1つの色のフィルタが配置された各画素から、そのフィルタの色に対応する画像信号のみが出力される。すなわち、Rの色フィルタが配置された画素からは、R成分の画像信号は出力されるが、G成分及びB成分の画像信号は出力されない。同様に、Gの画素からは、G成分の画像信号のみが出力され、R成分及びB成分の画像信号は出力されず、Bの画素からは、B成分の画像信号のみが出力され、R成分及びG成分の画像信号は出力されない。
【0006】
ここで、図21の(A)に示す色フィルタアレイの色配列は、ベイヤー配列と称される。この場合においては、Gの色フィルタが市松状に配され、残った部分にRとBが一列毎に交互に配されている。
【0007】
しかしながら、後段において各画素の信号を処理する際、各画素毎にR成分,G成分及びB成分の画像信号が必要となる。そこで、従来、n×m(n及びmは正の整数)個の画素で構成されるCCDイメージセンサの出力から、図21の(B)に示すように、n×m個のR画素の画像信号、n×m個のG画素の画像信号及びn×m個のB画素の画像信号、すなわち、3板式カメラのCCD出力相当の画像信号が、それぞれ補間演算により求められ、それらの画像信号が後段に出力される。
【0008】
そして、さらに、例えば4倍密度の画像信号を生成する場合、図21の(C)に示すように、n×m個のR画素の画像信号から2n×2m個のR画素の画像信号が補間演算により求められ、n×m個のG画素の画像信号から2n×2m個のG画素の画像信号が補間演算により求められ、さらに、n×m個のB画素の画像信号から、2n×2m個のB画素の画像信号が補間演算により求められる。
【0009】
【発明が解決しようとする課題】
しかしながら、上述した単板式カメラでは、線形処理を行うことにより色信号の補間を行っているので、画像の波形が鈍ってしまい、画像全体が不鮮明となってしまうので、輪郭強調処理等の処理を行って、見掛けの解像度を上げる処理が必要であった。また、その撮像出力として得られる画像信号による画像の解像度が、3板式カメラの撮像出力として得られる画像信号による画像と比較して低く、上記線形処理の影響により全体的にぼやけた画像となってしまうといった問題点があった。
【0010】
また、単板式カメラのCCDイメージセンサの出力から、同一解像度の3原色の成分を各画素毎に生成し、その画像信号から、さらにより高密度の画像信号を演算することにより、画素密度を大きくしたとしても、十分な精細度を得ることができないという問題点があった。
【0011】
さらに、線形補間と異なる処理方法として、単板式カメラのCCD出力から、R,G,Bの3原色の各画像信号毎に独立にクラス分類適応処理を行うことよって3板式カメラのCCD出力に相当する画像信号を生成することが提案されている(国際公開番号:WO96/07275)。しかしながら、R,G,Bの各色信号毎に独立にクラス分類適応処理を行ったのでは、図21の(A)、(B)からわかるように、ベイヤー配列の色フィルタアレイが用いられる場合、m×n(m及びnは正の整数)個の画素のうちR画素とB画素に関しては4画素に1個の割合でしか存在しないにも拘わらずG(4画素に2個の割合で存在する)と同様の処理がなされることになる。このため、R成分の画像信号とB成分の画像信号に関しては精度の良い予測処理を行うことができない。
【0012】
本発明は、このような状況に鑑みてなされたものであり、確実に且つ効率よく高精細度の画像信号を得ることができるようにすることを目的とするものである。
【0013】
【課題を解決するための手段】
本発明は、画素位置毎に複数の色のうちのいずれか1つを表す色成分を持つ入力画像信号を処理する画像信号処理装置において、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出手段と、上記画素抽出手段で抽出された上記複数の色成分のうち最も高密度である色成分を有する複数の画素により得られた色信号の信号値についてADRC(Adaptive Dynamic Range Coding)処理を行って再量子化コードを生成し、この再量子化コードを第1の特徴情報とする第1の特徴情報生成手段と、上記画素抽出手段で抽出された上記注目画素近傍の位置する各色成分の複数の画素により得られた色信号の信号レベルの平均値を色成分毎に求め、求めた平均値に対して色成分毎にADRC(Adaptive Dynamic Range Coding)処理を行って異なる色成分の色信号間の信号レベルの相関関係を示す再量子化コードを生成し、この再量子化コードを第2の特徴情報とする第2の特徴情報生成手段と、上記第1及び第2の特徴情報生成手段により生成された第1及び第2の特徴情報に基づいて1つのクラスを決定するクラス決定手段と、上記クラス決定手段で決定されたクラスに基づいて、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成手段とを備えることを特徴とする。
【0014】
また、本発明は、画素位置毎に複数の色のうちのいずれか1つを表す色成分を持つ入力画像信号を処理する画像信号処理方法において、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、上記画素抽出ステップで抽出された上記複数の色成分のうち最も高密度である色成分を有する複数の画素により得られた色信号の信号値についてADRC(Adaptive Dynamic Range Coding)処理を行って再量子化コードを生成し、この再量子化コードを第1の特徴情報とする第1の特徴情報生成ステップと、上記画素抽出ステップで抽出された上記注目画素近傍の位置する各色成分の複数の画素により得られた色信号の信号レベルの平均値を色成分毎に求め、求めた平均値に対して色成分毎にADRC(Adaptive Dynamic Range Coding)処理を行って異なる色成分の色信号間の信号レベルの相関関係を示す再量子化コードを生成し、この再量子化コードを第2の特徴情報とする第2の特徴情報生成ステップと、上記第1及び第2の特徴情報生成ステップで生成された第1及び第2の特徴情報に基づいて1つのクラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに基づいて、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップとを備えることを特徴とする。
【0015】
また、本発明は、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、上記プログラムは、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、上記画素抽出ステップで抽出された上記複数の色成分のうち最も高密度である色成分を有する複数の画素により得られた色信号の信号値についてADRC(Adaptive Dynamic Range Coding)処理を行って再量子化コードを生成し、この再量子化コードを第1の特徴情報とする第1の特徴情報生成ステップと、上記画素抽出ステップで抽出された上記注目画素近傍の位置する各色成分の複数の画素により得られた色信号の信号レベルの平均値を色成分毎に求め、求めた平均値に対して色成分毎にADRC(Adaptive Dynamic Range Coding)処理を行って異なる色成分の色信号間の信号レベルの相関関係を示す再量子化コードを生成し、この再量子化コードを第2の特徴情報とする第2の特徴情報生成ステップと、上記第1及び第2の特徴情報生成ステップで生成された第1及び第2の特徴情報に基づいて1つのクラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに基づいて、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップとを備えることを特徴とする。
【0016】
また、本発明に係る学習装置は、画素位置毎に一つの色成分を持つ生徒画像信号の注目画素の近傍の複数の画素を抽出する第1の画素抽出手段と、上記第1の画素抽出手段で抽出された上記複数の色成分のうち最も高密度である色成分を有する複数の画素により得られた色信号の信号値についてADRC(Adaptive Dynamic Range Coding)処理を行って再量子化コードを生成し、この再量子化コードを第1の特徴情報とする第1の特徴情報生成手段と、上記第1の画素抽出手段で抽出された上記注目画素近傍の位置する各色成分の複数の画素により得られた色信号の信号レベルの平均値を色成分毎に求め、求めた平均値に対して色成分毎にADRC(Adaptive Dynamic Range Coding)処理を行って異なる色成分の色信号間の信号レベルの相関関係を示す再量子化コードを生成し、この再量子化コードを第2の特徴情報とする第2の特徴情報生成手段と、上記第1及び第2の特徴情報生成手段により生成された第1及び第2の特徴情報に基づいて1つのクラスを決定するクラス決定手段と、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第2の画素抽出手段と、上記第1及び第2の画素抽出手段で抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成手段とを備えることを特徴とする。
【0017】
また、本発明に係る学習方法は、画素位置毎に一つの色成分を持つ生徒画像信号の注目画素の近傍の複数の画素を抽出する第1の画素抽出ステップと、上記第1の画素抽出ステップで抽出された上記複数の色成分のうち最も高密度である色成分を有する複数の画素により得られた色信号の信号値についてADRC(Adaptive Dynamic Range Coding)処理を行って再量子化コードを生成し、この再量子化コードを第1の特徴情報とする第1の特徴情報生成ステップと、上記第1の画素抽出ステップで抽出された上記注目画素近傍の位置する各色成分の複数の画素により得られた色信号の信号レベルの平均値を色成分毎に求め、求めた平均値に対して色成分毎にADRC(Adaptive Dynamic Range Coding)処理を行って異なる色成分の色信号間の信号レベルの相関関係を示す再量子化コードを生成し、この再量子化コードを第2の特徴情報とする第2の特徴情報生成ステップと、上記第1及び第2の特徴情報生成ステップで生成された第1及び第2の特徴情報に基づいて1つのクラスを決定するクラス決定ステップと、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第2の画素抽出ステップと、上記第1及び第2の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップとを備えることを特徴とする。
【0018】
さらに、本発明は、クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、上記プログラムは、画素位置毎に一つの色成分を持つ生徒画像信号の注目画素の近傍の複数の画素を抽出する第1の画素抽出ステップと、上記第1の画素抽出ステップで抽出された上記複数の色成分のうち最も高密度である色成分を有する複数の画素により得られた色信号の信号値についてADRC(Adaptive Dynamic Range Coding)処理を行って再量子化コードを生成し、この再量子化コードを第1の特徴情報とする第1の特徴情報生成ステップと、上記第1の画素抽出ステップで抽出された上記注目画素近傍の位置する各色成分の複数の画素により得られた色信号の信号レベルの平均値を色成分毎に求め、求めた平均値に対して色成分毎にADRC(Adaptive Dynamic Range Coding)処理を行って異なる色成分の色信号間の信号レベルの相関関係を示す再量子化コードを生成し、この再量子化コードを第2の特徴情報とする第2の特徴情報生成ステップと、上記第1及び第2の特徴情報生成ステップで生成された第1及び第2の特徴情報に基づいて1つのクラスを決定するクラス決定ステップと、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第2の画素抽出ステップと、上記第1及び第2の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップとを備えることを特徴とする。
【0019】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【0020】
本発明は、例えば図1に示すような構成のデジタルスチルカメラ1に適用される。このデジタルスチルカメラ1は、1画素毎に割り当てられた色フィルタからなる色コーディングフィルタ4が前面に設置された1つのCCDイメージセンサ5を用いてカラー撮像を行う単板式カメラであって、被写体からの入射光が、レンズ2により集光され、アイリス3及び色コーディングフィルタ4を介してCCDイメージセンサ5に入射されるようになっている。上記CCDイメージセンサ5の撮像面上には、上記アイリス3により所定レベルの光量とされた入射光により被写体像が結像される。なお、このデジタルスチルカメラ1においては、色コーディングフィルタ4とCCDイメージセンサ5は別体としたが、一体化した構造とすることができる。
【0021】
上記CCDイメージセンサ5は、タイミングジェネレータ9からのタイミング信号により制御される電子シャッタに応じて所定時間にわたって露光を行い、色コーディングフィルタ4を透過した入射光の光量に応じた信号電荷(アナログ量)を画素毎に発生することにより、上記入射光により結像された被写体像を撮像して、その撮像出力として得られる画像信号を信号調整部6に供給する。
【0022】
信号調整部6は、画像信号の信号レベルが一定となるようにゲインを調整するAGC(Automatic Gain Contorol) 回路と、CCDイメージセンサ5が発生する1/fのノイズを除去するCDS(Correiated Double Sampling)回路からなる。
【0023】
上記信号調整部6から出力される画像信号は、A/D変換部7によりアナログ信号からデジタル信号に変換されて、画像信号処理部8に供給される。上記A/D変換部7では、タイミングジェネレータ9からのタイミング信号に応じて、例えば1サンプル10ビットのディジタル撮像信号を生成する。
【0024】
このデジタルスチルカメラ1において、タイミングジェネレータ9は、CCDイメージセンサ5、信号調整部6、A/D変換部7及びCPU(Central Processing Unit) 10に各種タイミング信号を供給する。CPU10は、モータ11を駆動することにより、アイリス3を制御する。また、CPU10は、モータ12を駆動することにより、レンズ2などを移動させ、ズームやオートフォーカスなどの制御をする。さらに、CPU10は、必要に応じ、フラッシュ13により閃光を発する制御を行うようにされている。
【0025】
画像信号処理部8は、A/D変換部7から供給された画像信号に対し、欠陥補正処理、ディジタルクランプ処理、ホワイトバランス調整処理、ガンマ補正処理、クラス分類適応処理を用いた予測処理等の処理を行う。
【0026】
この画像信号処理部8に接続されたメモリ15は、例えば、RAM(Random Access Memory)で構成され、画像信号処理部8が画像処理を行う際に必要な信号を記憶する。画像信号処理部8により処理された画像信号は、インタフェース14を介してメモリ16に記憶される。このメモリ16に記憶された画像信号は、インタフェース14を介してデジタルスチルカメラ1に対して着脱可能な記録媒体17に記録される。
【0027】
なお、モータ11は、CPU10からの制御情報に基づいてアイリス3を駆動し、レンズ2を介して入射される光の量を制御する。また、モータ12は、CPU10からの制御情報に基づいてレンズ2のCCDイメージセンサ2に対するフォーカス状態を制御する。これにより、自動絞り制御動作や自動焦点制御動作が実現される。また、フラッシュ13は、CPU10による制御の下で、被写体に対して所定の閃光を照射する。
【0028】
また、インターフェース14は、画像信号処理部8からの画像信号を必要に応じてメモリ16に記憶し、所定のインターフェース処理を実行した後、記録媒体17に供給し、記憶させる。記録媒体17としては、デジタルスチルカメラ1の本体に対して着脱可能な記録媒体、例えばフロッピーディスク、ハードディスク等のディスク記録媒体、メモリカード等のフラッシュメモリ等を用いることができる。
【0029】
コントローラ18は、CPU10の制御の下で、画像信号処理部8及びインターフェース14に制御情報を供給してそれぞれを制御する。CPU10には、シャッタボタンやズームボタンなどの操作ボタンから構成される操作部20からユーザによる操作情報が入力される。CPU10は、入力された操作情報を基に、上述した各部を制御する。電源部19は、バッテリ19AとDC/DCコンバータ19Bなどを有する。DC/DCコンバータ19Bは、バッテリ19Aからの電力を所定の値の直流電圧に変換し、装置内の各構成要素に供給する。充電可能なバッテリ19Aは、デジタルスチルカメラ1の本体に着脱可能とされている。
【0030】
次に、図2のフローチャートを参照し、図1に示したデジタルスチルカメラ1の動作について説明する。このデジタルスチルカメラ1は、ステップS1において、電源がオンされることにより、被写体の撮像を開始する。すなわち、CPU10は、モータ11及びモータ12を駆動し、焦点を合わせたりアイリス3を調整することにより、レンズ2を介してCCDイメージセンサ5上に被写体像を結像させる。
【0031】
ステップS2では、結像された像をCCDイメージセンサ5により撮像した画像信号が、信号調整部6において、信号レベルが一定となるようにゲイン調整され、さらにノイズが除去され、さらに、A/D変換部7によりデジタル化される。
【0032】
また、ステップS3では、上記A/D変換部7によりデジタル化された画像信号に対して、画像信号処理部8によりクラス分類適応処理を含む画像信号処理を行う。
【0033】
ここで、被写体像は、CCDイメージセンサ5の撮像出力として得られる画像信号を電子ビューファインダに表示するよりユーザが確認できるようになっている。なお、被写体像は、光学的ビューファインダによりユーザが確認できるようにすることもできる。
【0034】
そして、ユーザは、ビューファインダにより確認した被写体像の画像を記録媒体17に記録したい場合、操作部20のシャッタボタンを操作する。デジタルスチルカメラ1のCPU10は、ステップS4において、シャッタボタンが操作されたか否かを判断する。デジタルスチルカメラ1は、シャッタボタンが操作されたと判断するまで、ステップS2〜S3の処理を繰り返し、シャッタボタンが操作されたと判断すると、ステップS5に進む。
【0035】
そして、ステップS5では、画像信号処理部8による画像信号処理が施された画像信号をインターフェース14を介して記録媒体17に記録する。
【0036】
次に、図3を参照して画像信号処理部8について説明する。
【0037】
この画像信号処理部8は、上記A/D変換部7によりデジタル化された画像信号が供給される欠陥補正部21を備える。CCDイメージセンサ5の画素の中で、何らかの原因により入射光に反応しない画素や、入射光に依存せず、電荷が常に蓄えられている画素、換言すれば、欠陥がある画素を検出し、その検出結果に従って、それらの欠陥画素の影響が露呈しないように、画像信号を補正する処理を行う。
【0038】
A/D変換部7では、負の値がカットされるのを防ぐため、一般に信号値を若干正の方向ヘシフトさせた状態でA/D変換が行われている。クランプ部22は、欠陥補正部21により欠陥補正された画像信号に対し、上述したシフト量がなくなるようにクランプする。
【0039】
クランプ部22によりクランプされた画像信号は、ホワイトバランス調整部23に供給される。ホワイトバランス調整部23は、クランプ部22から供給された画像信号のゲインを補正することにより、ホワイトバランスを調整する。このホワイトバランス調整部23によりホワイトバランスが調整された画像信号は、ガンマ補正部24に供給される。ガンマ補正部24は、ホワイトバランス調整部23によりホワイトバランスが調整された画像信号の信号レベルをガンマ曲線に従って補正する。このガンマ補正部24によりガンマ補正された画像信号は、予測処理部25に供給される。
【0040】
予測処理部25は、クラス分類適応処理を行うことによってガンマ補正部24の出力を例えば3板式カメラのCCD出力相当の画像信号に変換して、補正部26に供給する。上記予測処理部25は、ブロック化部28、第1及び第2のADRC(Adaptive Dynamic Range Coding) 処理部29A,29B、クラス分類部30、適応処理部31、係数メモリ32等からなる。
【0041】
ブロック化部28は、後述するクラスタップの画像信号として複数の色成分のうち最も高密度である色成分を有する複数の画素の各信号値を第1のADRC処理部29Aに供給するとともに各色成分の信号値を第2のADRC処理部29Bに供給し、また、予測タップの画像信号を適応処理部31に供給する。
【0042】
第1のADRC処理部29Aは、クラスタップの画像信号として入力される複数の色成分のうち最も高密度である色成分を有する複数の画素の各信号値に対してADRC処理を行って再量子化コードを生成し、この再量子化コードを第1の特徴情報としてクラス分類部30に供給する。また、第2のADRC処理部29Bは、入力された各色成分の画像信号の平均値に対して各色成分毎にADRC処理を行って各色信号間のレベルの相関関係を示す再量子化コードを生成し、この再量子化コードを第2の特徴情報としてクラス分類部30に供給する。
【0043】
クラス分類部30は、第1及び第2のADRC処理部29A,29Bから供給される第1及び第2の特徴情報に基づいて、画像信号パターンの分類を行い、分類結果を示すクラス番号(クラスコード)を生成する。係数メモリ32は、クラス分類部30により分類されたクラス番号に対応する係数セットを適応処理部31に供給する。適応処理部31は、係数セットメモリ32から供給された係数セットを用いて、ブロック化部28から供給された予測タップの画像信号から予測画素値を求める処理を行う。
【0044】
補正部26は、上記予測処理部25により処理された画像信号に対してエッジ強調等の画像を視覚的に良く見せるために必要ないわゆる画作りのための処理を行う。
【0045】
そして、色空間変換部27は、補正部26によりエッジ強調などの処理が施された画像信号(RGB信号)をマトリクス変換してYUV(輝度Yと色差U,Vとでなる信号)などの所定の信号フォーマットの画像信号に変換する。ただし、マトリクス変換処理を行わず、色空間変換部27からRGB信号をそのまま出力させても良い。この発明の一実施形態では、例えばユーザの操作によって、YUV信号、RGB信号の何れを出力するかを切り換えることが可能とされている。色空間変換部27により変換された画像信号は、上述のインタフェース14に供給される。
【0046】
ここで、上記図2に示したフローチャートのステップS3において、画像信号処理部8により行われる画像信号処理について、図4のフローチャートを参照して説明する。
【0047】
すなわち、画像信号処理部8では、A/D変換部7によりデジタル化された画像信号に対する画像信号処理を開始すると、先ず、ステップS11において、CCDイメージセンサ5の欠陥の影響が出ないように、欠陥補正部21により画像信号の欠陥補正を行う。そして、次のステップS12では、欠陥補正部21により欠陥補正された画像信号に対して、正の方向にシフトされていた量をもとに戻すクランプ処理をクランプ部22により行う。
【0048】
次のステップS13では、クランプ部22によりクランプされた画像信号に対して、ホワイトバランス調整部23によりホワイトバランスの調整を行い各色信号間のゲインを調整する。さらに、ステップS14では、ホワイトバランスが調整された画像信号に対して、ガンマ補正部24によりガンマ曲線に従った補正を施す。
【0049】
ステップS15では、クラス分類適応処理を用いた予測処理を行う。かかる処理は、ステップS151〜ステップS155までのステップからなる。
【0050】
ステップS151では、ガンマ補正部24によりガンマ補正された画像信号に対してブロック化部28によりブロック化、すなわち、クラスタップ及び予測タップの切り出しを行う。ここで、クラスタップは、複数種類の色信号に対応する画素を含む。
【0051】
ステップS152では、ブロック化部28によりクラスタップの画像信号として抽出された注目画素近傍の各画素により得られた画像信号の信号値について、第1のADRC処理部29AによりADRC処理を行い、第1の特徴情報を生成する。ここで、第1のADRC処理部29Aにより生成される第1の特徴情報は、注目画素近傍における複数の色成分のうち最も高密度である色成分を有する複数の画素により得られる色信号の波形分類情報である。
【0052】
また、ステップS152Aでは、ブロック化部28によりクラスタップの画像信号として抽出された注目画素近傍の各画素により得られた各色信号の信号レベルの平均値を各色信号毎に求める。そして、ステップS152Bでは、上記ステップS152Aで求められた各色信号の信号レベルの平均値に対して第2のADRC処理部29BによりADRC処理を行い、第2の特徴情報を生成する。ここで、第2のADRC処理部29Bにより生成される第2の特徴情報は、注目画素近傍における複数の色成分画素により得られる各色信号間のレベルの相関関係を示す指標情報である。
【0053】
ステップS153では、クラス分類部30において上記第1及び第2の特徴情報に基づいてクラスを分類するクラス分類処理を行う。そして、分類されたクラスに対応するクラス番号を適応処理部31に与える。
【0054】
ステップS154において、適応処理部31は、クラス分類部30より与えられたクラス番号に対応する予測係数セットを係数メモリ32から読み出し、その予測係数セットを対応する予測タップの画像信号に乗算し、それらの総和をとることで、予測画素値を演算する。
【0055】
ステップS155では、すべての領域に対して処理が行われたか否かを判定する。すべての領域に対して処理が行われたと判定される場合にはステップS16に移行し、それ以外の場合にはステップS151に移行し、次の領域に対する処理を行う。
【0056】
ステップS16では、ステップS15によって得られた3板式カメラのCCD出力相当の画像に対して、視覚的に良く見せるための補正処理(いわゆる画作り)を行う。ステップS17では、ステップS16によって得られた画像に例えばRGB信号をYUV信号に変換するなどの色空間の変換処理を施す。これにより、例えば記録信号として好適な信号フォーマットを有する出力画像が生成される。
【0057】
ここで、クラス分類適応処理について説明する。クラス分類適応処理を用いた予測演算を行うための一般的な構成例を図5に示す。入力画像信号が領域切り出し部101、102に供給される。領域切り出し部101は、入力画像信号から所定の画像領域(クラスタップと称される)を抽出し、クラスタップの信号をADRC処理部103に供給する。ADRC処理部103は、供給される信号にADRC処理を施すことにより、再量子化コードを生成する。なお、再量子化コードを生成する方法として、ADRC以外の方法を用いても良い。
【0058】
ADRCは、信号レベルの局所的なパターンを短い語調で効率的に表現できるという特徴を有する。このため、クラス分類のコードを発生するための、画像信号の時空間内でのパターンすなわち空間アクティビティの検出に使用することができる。ADRC処理部103では、以下の式(1)により、クラスタップとして切り出される領域内の最大値MAXと最小値MINとの間を指定されたビット数で均等に分割して再量子化する。
【0059】
DR=MAX−MIN+1
Q=〔(L−MIN+0.5)×2n /DR〕 (1)
ここで、DRは領域内のダイナミックレンジである。また、nはビット割当て数であり、例えばn=2とすることができる。また、Lは領域内画素の信号レベルであり、Qが再量子化コードである。ただし、大かっこ(〔・・・〕)は小数点以下を切り捨てる処理を意味する。
【0060】
これにより、1画素当たり例えば8ビットからなるクラスタップの画像信号が例えば2ビットの再量子化コード値に変換される。このようにして生成される再量子化コード値により、クラスタップの信号におけるレベル分布のパターンがより少ない情報量によって表現される。例えば7画素からなるクラスタップ構造を用いる場合、上述したような処理により、各画素に対応する7個の再量子化コードq1〜q7が生成される。クラスコードclass は、次の式(2)のようなものである。
【0061】
【数1】
【0062】
ここで、nはクラスタップとして切り出される画素の数である。また、pの値としては、例えばp=2とすることができる。
【0063】
クラスコードclass は、時空間内での画像信号のレベル分布のパターンすなわち空間アクティビティを特徴情報として分類してなるクラスを表現している。クラスコードclass は、予測係数メモリ104に供給される。予測係数メモリ104は、後述するようにして予め決定されたクラス毎の予測係数セットを記憶しており、供給される再量子化コードによって表現されるクラスの予測係数セットを出力する。一方、領域切り出し部102は、入力画像から所定の画像領域(予測タップと称される)を抽出し、予測タップの画像信号を予測演算部105に供給する。予測演算部105は、領域切り出し部102の出力と、予測係数メモリ104から供給される予測係数セットとに基づいて以下の式(3)のような演算を行うことにより、出力画像信号yを生成する。
【0064】
y=w1×x1+w2×x2+・・・+wn×xn (3)
ここで、x1 ,・・・,xn が各予測タップの画素値であり、w1 ,・・・,wn が各予測係数である。
【0065】
また、予測係数セットを決定するための処理について図6を参照して説明する。出力画像信号と同一の画像信号形式を有するHD(High Definition) 画像信号がHD−SD変換部201と画素抽出部208に供給される。HD−SD変換部201は、間引き処理等を行うことにより、HD画像信号を入力画像信号と同等の解像度(画素数)の画像信号(以下、SD(Standard Definition) 画像信号という)に変換する。このSD画像信号が領域切り出し部202、203に供給される。領域切り出し部202は、上記領域切り出し部101と同様に、SD画像信号からクラスタップを切り出し、クラスタップの画像信号をADRC処理部204に供給する。
【0066】
ADRC処理部204は、図5中のADRC処理部103と同様なADRC処理を行い、供給される信号に基づく再量子化コードを生成する。再量子化コードは、クラスコード生成部205に供給される。クラスコード生成部205は、供給される再量子化コードに対応するクラスを示すクラスコードを生成し、クラスコードを正規方程式加算部206に供給する。一方、領域切り出し部203は、図6中の領域切り出し部102と同様に、供給されるSD画像信号から予測タップを切り出し、切り出した予測タップの画像信号を正規方程式加算部206に供給する。
【0067】
正規方程式加算部206は、領域切り出し部203から供給される画像信号と画素抽出部208から供給される画像信号について、クラスコード生成部205から供給されるクラスコード毎に加算し、加算した各クラス毎の信号を予測係数決定部207に供給する。予測係数決定部207は、供給される各クラス毎の信号に基づいて各クラス毎に予測係数セットを決定する。
【0068】
さらに、予測係数セットを決定するための演算について説明する。予測係数wi は、図6に示したような構成に対し、HD画像信号として複数種類の画像信号を供給することにより、次のよう演算される。これらの画像信号の種類数をmと表記する場合、式(3)から、以下の式(4)が設定される。
【0069】
yk =w1 ×xk1+w2 ×xk2+・・・+wn ×xkn (4)
(k=1,2,・・・,m)
m>nの場合には、w1 ,・・・,wn は一意に決まらないので、誤差ベクトルeの要素ekを以下の式(5)で定義して、式(6)によって定義される誤差ベクトルeの2乗を最小とするように予測係数セットを定めるようにする。すなわち、いわゆる最小2乗法によって予測係数セットを一意に定める。
【0070】
ek =yk−{w1 ×xk1+w2 ×k2 +・・・+wn ×kn } (5)
(k=1,2,・・・m)
【0071】
【数2】
【0072】
式(6)のe2 を最小とする予測係数セットを求めるための実際的な計算方法としては、e2 を予測係数wi (i=1,2,・・・)で偏微分し(式(7))、iの各値について偏微分値が0となるように各予測係数wi を決定すればよい。
【0073】
【数3】
【0074】
式(7)から各予測係数wi を決定する具体的な手順について説明する。式(8),(9)のようにXji,Yi を定義すると、式(7)は、式(10)の行列式の形に書くことができる。
【0075】
【数4】
【0076】
【数5】
【0077】
【数6】
【0078】
式(10)が一般に正規方程式と呼ばれるものである。正規方程式加算部205は、供給される信号に基づいて式(8),(9)に示すような演算を行うことにより、Xji,Yi (i=1,2,・・・,n)をそれぞれ計算する。予測係数決定部207は、掃き出し法等の一般的な行列解法に従って正規方程式(10)を解くことにより、予測係数wi (i=1,2,・・・)を算出する。
【0079】
ここでは、注目画素の特徴情報に対応した予測係数セットと予測タップを用いて、上述の式(3)における線形1次結合モデルの演算を行うことにより、適応処理を行う。なお、適応処理に用いる注目画素の特徴情報に対応した予測係数セットは、学習により得るが、クラス対応の画素値を用いたり、非線形モデルの演算により適応処理を行うこともできる。
【0080】
上述したようなクラス分類適応処理により、入力画像信号から、例えばノイズが除去された画像信号、走査線構造が変換されてなる画像信号等を出力画像信号として生成する種々の画像信号変換処理が実現される。
【0081】
このデジタルスチルカメラ1では、例えば、単板式カメラのCCDイメージセンサによって生成される画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号から、入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出し、抽出された複数の画素のうち最も高密度の画素の色の成分の色信号の波形分類情報である第1の特徴情報と、各色信号間のレベルの相関関係を示す指標情報である第2の特徴情報を組み合わせたクラス分類適応処理によりクラスを決定し、決定されたクラスに基づいて、上記注目画素の位置に、上記注目画素が持つ色成分と異なる色成分を持つ画素を生成するクラス分類適応処理を上記予測処理部25で行うことによって、3板式カメラのCCD出力相当の画像信号を得る。
【0082】
すなわち、上記デジタルスチルカメラ1のCCDイメージセンサ5にCCDイメージセンサ5に用いることのできる色コーディングフィルタ4を構成する色フィルタアレイの構成は、各種存在するが、色フィルタアレイの中で各信号値が有する情報の密度に差がある場合、各色信号毎に独立にクラス分類適応処理を行ったのでは、情報の密度差により予測精度に差が生じる。例えば、ベイヤー配列の色フィルタアレイが用いられる場合に、R,G、Bの各色信号毎に独立にクラス分類適応処理を行ったのでは、m×n(m及びnは正の整数)個の画素のうちR画素とB画素に関しては4画素に1個の割合でしか存在しないにも拘わらずG(4画素に2個の割合で存在する)と同様の処理がなされることになる。このため、RとBに関してはGと比較して精度の良い予測処理を行うことができない。
【0083】
そこで、本発明では、情報の密度に差がある場合に、最も高密度に配置されている色成分のみを利用して、画素位置毎に複数の色のうちのいずれか1つを表す色成分を持つ入力画像信号の注目画素毎に、上記複数の色成分のうち最も高密度である色成分を有し、上記注目画素近傍に位置する複数の画素を抽出し、抽出された複数の画素により得られる色信号の波形分類情報である第1の特徴情報と、各色信号間のレベルの相関関係を示す指標情報である第2の特徴情報を組み合わせたクラス分類適応処理により決定されたクラスに基づいて、上記注目画素が持つ色成分と異なる色成分を持つ画素を生成することにより予測精度を向上させることができる。
【0084】
この場合のベイヤー配列の色フィルタアレイにより色コーディングされた画像信号に対するクラスタップと予測タップの具体例について説明する。例えば図7に示すように、B画素を予測画素位置とする場合、図8に示すように、その予測画素位置にあるB画素の上下左右に隣接する4個のG画素、左側に隣接するG画素の左上と左下に隣接する2個のG画素、さらに、予測画素位置にあるB画素の右側に隣接するG画素の右上と右下に隣接する2個のG画素の合計8個のG画素がクラスタップとされる。そして、この場合における予測タップとしては、図9に示すように、中央のB画素を中心とする5×5個のRGBの各成分を含む画素が用いられる。
【0085】
また、図10に示すように、R画素が予測画素位置とされる場合、図11に示すように、その予測画素位置にあるR画素の上下左右に隣接する4個のG画素、左側に隣接するG画素の左上と左下に隣接する2個のG画素、さらに、右側に隣接するG画素の右上と右下に隣接する2個の画素の合計8個のG画素がクラスタップとされる。この場合における予測タップとしては、図12に示すように、予測画素にあるR画素を中心とする5×5個のRGBの各色成分を含む25個の画素が用いられる。
【0086】
さらに、図13に示すように、G画素が予測画素位置とされる場合、予測画素位置にあるG画素と隣接する画素の色の違いに対応して図14に示すような画素がクラスタップとして用いられる。すなわち、図14の(A)に示すクラスタップは、予測画素位置にあるG画素の左上、左下、右上及び右下に隣接する4個のG画素、予測画素位置にあるG画素のから上下方向にR画素を介して隣接する2個のG画素、及び水平方向にB画素を介して隣接する2個のG画素、並びに自分自身を含む合計9個のG画素により構成されている。また、図14の(B)に示すクラスタップは、予測画素位置にあるG画素の左上、左下、右上及び右下に隣接する4個のG画素、予測画素位置にあるG画素のから上下方向にB画素を介して隣接する2個のG画素、及び水平方向にR画素を介して隣接する2個のG画素、並びに自分自身を含む合計9個のG画素により構成されている。さらに、この場合における予測タップとしては、図15の(A),(B)に示すように、予測画素位置にある画素を含む、その周囲の5×5個のRGBの各色成分を含む画素が用いられる。
【0087】
RGBの各信号値から、輝度信号Yは、次式に従って演算される。
【0088】
Y=0.59G+0.30R+0.11B
このように、輝度信号に与える影響はG成分が最も大きく、したがって、図7に示すように、ベイヤー配列の場合においても、G成分の画素が最も高密度に配置されている。輝度信号Yは、人間の視覚特性、解像度に影響する情報を多量に含んでいる。
【0089】
そこで、クラスタップをG成分の画像信号をG画素のみから構成すれば、より精度良く、クラスを決定することができ、精度の良いクラス分類適応処理が可能となる。
【0090】
上記予測係数セットは、予め学習により得られるもので、上記係数メモリ32に記憶されている。
【0091】
ここで、この学習について説明する。図16は、予測係数セットを学習により得る学習装置40の構成を示すブロック図である。
【0092】
この学習装置40では、クラス分類適応処理の結果として生成されるべき出力画像信号、すなわち3板式カメラのCCD出力相当の画像信号と同一の信号形式を有する画像信号が教師画像信号として間引き部41及び教師画像ブロック化部45に供給される。間引き部41は、教師画像信号から、色フィルタアレイの各色の配置に従って画素を間引く。間引き処理は、CCDイメージセンサ5に対して着される光学ローパスフィルタを想定したフィルタをかけることによって行う。すなわち、実際の光学系を想定した間引き処理を行う。間引き部41の出力が生徒画像信号として生徒画像ブロック化部42に供給される。
【0093】
生徒画像ブロック化部42は、間引き部41により生成された生徒信号から、ブロック毎に教師画像信号の予測画素との対応を取りながら、注目画素に基づくクラスタップ及び予測タップを抽出することにより、生徒画像信号をブロック化して第1及び射第2のADRC処理部43A,43Bと演算部46に供給する。
【0094】
第1のADRC処理部43Aは、クラスタップの画像信号として入力される複数の色成分のうち最も高密度である色成分を有する複数の画素の各信号値に対してADRC処理を行って再量子化コードを生成し、この再量子化コードを第1の特徴情報としてクラス分類部44に供給する。また、第2のADRC処理部43Bは、入力された各色成分の画像信号の平均値に対して各色成分毎にADRC処理を行って各色信号間のレベルの相関関係を示す再量子化コードを生成し、この再量子化コードを第2の特徴情報としてクラス分類部44に供給する。クラス分類部44は、入力された第1及び第2の特徴情報からクラスコードを発生し、演算部46に出力する。
【0095】
ここでは、教師画像信号は、3板式カメラのCCD出力相当の解像度をもつ画像信号であり、生徒画像信号は、単板式カメラのCCD出力相当の解像度をもつ画像信号、換言すれば、3板式カメラより解像度の低い画像信号である。さらに換言するに、教師画像信号は、1画素がR成分,G成分及びB成分すなわち3原色成分をもつ画像信号であり、生徒画像信号は、1画素がR成分,G成分又はB成分のうちの1つの色成分のみをもつ画像信号である。
【0096】
一方、教師画像ブロック化部45は、生徒画像信号におけるクラスタップとの対応を取りながら、教師画像信号から予測画素の画像信号を切り出し、切り出した予測画像信号を演算部46に供給する。演算部46は、生徒画像ブロック化部42から供給される予測タップの画像信号と、教師画像ブロック化部45より供給される予測画画像信号との対応を取りながら、クラス分類部44より供給されるクラス番号に従って、予測係数セットを解とする方程式である正規方程式のデータを生成する演算を行う。上記演算部46によって生成される正規方程式のデータが学習データメモリ47に逐次読み込まれ、記憶される。
【0097】
演算部48は、学習データメモリ47に蓄積された正規方程式のデータを用いて正規方程式を解く処理を実行する。これにより、クラス毎の予測係数セットが算出される。算出された予測係数セットは、クラスに対応させて係数メモリ49に記憶される。係数メモリ49の記憶内容は、上述の係数メモリ32にロードされ、クラス分類適応処理を行う際に使用される。
【0098】
次に、図17のフローチャートを参照して、学習装置40の動作について説明する。
【0099】
この学習装置40に入力されるデジタル画像信号は、3板式カメラで撮像された画像に相当する画質が得られる画像信号である。なお、3板式カメラで得られる画像信号(教師画像信号)は、1画素の画像信号としてR,G,Bの3原色信号を含んでいるのに対し、単板式カメラで得られる画像信号(生徒画像信号)は、1画素の画像信号としてR,G,Bの3原色信号の内の1つの色信号のみを含んでいる。例えば図18の(A)に示すように3板式カメラで撮像されたHD画像信号をフィルタリングして図18の(B)に示すように1/4サイズのSD画像信号に変換した教師画像信号が、この学習装置40に入力される。
【0100】
ステップS31では、教師画像ブロック化部45において、入力された教師画像信号をブロック化し、入力された教師画像信号から生徒画像ブロック化部42が注目画素として設定する画素に対応する位置に位置する予測画素の画素値を抽出して、演算部46に出力する。
【0101】
また、ステップS32では、3板式カメラで撮像された画像に相当する画質が得られる教師画像信号に対して間引き部41により単板カメラのCCDイメージセンサ5に用いられる色コーディングフィルタ4に相当するフィルタをかける間引き処理を実行することで、図18の(C)に示すように単板式カメラのCCDイメージセンサ5が出力する画像信号に対応する生徒画像信号を教師画像信号から生成し、生成した生徒画像信号を生徒画像ブロック化部42に出力する。
【0102】
ステップS33では、生徒画像ブロック化部42において、入力された生徒画像信号のブロック化を行い、各ブロック毎に、注目画素に基づいて、クラスタップと予測タップを生成する。
【0103】
ステップS34では、生徒画像ブロック化部42により生徒画像信号から切り出されたクラスタップの信号として抽出された注目画素近傍の各画素により得られた画像信号の信号値について、第1のADRC処理部43AによりADRC処理を行い、第1の特徴情報を生成する。ここで、第1のADRC処理部43Aにより生成される第1の特徴情報は、注目画素近傍における複数の色成分のうち最も高密度である色成分を有する複数の画素により得られる色信号の波形分類情報である。
【0104】
また、ステップS34Aでは、生徒画像ブロック化部42により生徒画像信号から切り出されたクラスタップの信号として抽出された注目画素近傍の注目画素近傍の各画素により得られた各色信号の信号レベルの平均値を各色信号毎に求める。そして、ステップS34Bでは、上記ステップS34Aで求められた各色信号の信号レベルの平均値に対して第2のADRC処理部43BによりADRC処理を行い、第2の特徴情報を生成する。ここで、第2のADRC処理部43Bにより生成される第2の特徴情報は、注目画素近傍における複数の色成分画素により得られる各色信号間のレベルの相関関係を示す指標情報である。
【0105】
ステップS35では、クラス分類部44において、ステップS34及びステップS34BにおけるADRC処理の結果として得られる第1及び第2の特徴情報に基づいてクラス分類し、分類されるクラスに対応するクラス番号を示す信号を出力する。
【0106】
ステップS36では、演算部46において、クラス分類部44より供給されたクラス毎に、生徒画像ブロック化部42より供給された予測タップと、教師画像ブロック化部45より供給される予測画像に基づいて、上述の式(10)の正規方程式を生成する処理を実行する。正規方程式は、学習データメモリ47に記憶される。
【0107】
ステップS37では、演算部46によりすべてのブロックについての処理が終了したか否かを判定する。まだ処理していないブロックが存在する場合には、ステップS36に戻り、それ以降の処理を繰り返し実行する。そして、ステップS37において、すべてのブロックについての処理が終了したと判定された場合、ステップS38に進む。
【0108】
ステップS38では、演算部48において、学習データメモリ47に記憶された正規方程式を例えば掃き出し法(Gauss-Jordan の消去法) やコレスキー分解法を用いて解く処理を実行することにより、予測係数セットを算出する。このようにして算出された予測係数セットはクラス分類部44により出力されたクラスコードと関連付けられ、係数メモリ49に記憶される。
【0109】
ステップS39において、演算部48においてすべてのクラスについての正規方程式を解く処理を実行したか否かを判定し、まだ実行していないクラスが残っている場合には、ステップS38に戻り、それ以降の処理を繰り返し実行する。
【0110】
ステップS39において、すべてのクラスについての正規方程式を解く処理が完了したと判定された場合、処理は終了される。
【0111】
この学習装置40では、注目画素近傍における複数の色成分のうち最も高密度である色成分を有する複数の画素により得られる色信号の波形分類情報である第1の特徴情報と、注目画素近傍における複数の色成分画素により得られる各色信号間のレベルの相関関係を示す指標情報である第2の特徴情報に基づいてクラスを決定することにより、上述のようなクラス適応処理を行うための予測係数セットを得ることができる。
【0112】
このようにしてクラスコードと関連付けられて係数メモリ49に記憶された予測係数セットは、図3に示した画像信号処理部8の係数メモリ32に記憶されることになる。そして、画像信号処理部8の適応処理部31は、上述したように、係数メモリ32に記憶されている予測係数セットを用いて、式(3)に示した線形1次結合モデルにより、注目画素に対して適応処理を行う。このように、入力された画像内の注目画素に基づいて、クラスタップと予測タップを抽出し、抽出されたクラスタップからクラスコードを生成し、その生成されたクラスコードに対応する予測係数セットと予測タップを用いて、注目画素の位置にRGB全ての色信号を生成するようにしたので、解像度の高い画像を得ることが可能となる。そして、上記クラスタップとして、最も高密度に配置されている色成分の画素のみを利用することにより、予測精度を向上させることができる。
【0113】
以上の実施の形態の効果を評価するため、色フィルタアレイとしてベイヤー配列のものを用いた場合を想定し、ITE(Institute of Television Engineers) のハイビジョン標準画像9枚を使用し、予測係数セットの算出に関してもその9枚を用いてシミュレーションを行った。3板式カメラのCCD出力相当の画像信号から、クラス分類適応処理の倍率と画素の位置関係を考慮した間引き操作により、単板式カメラのCCD出力相当の画像信号を生成し、学習装置40と同様の処理を行うアルゴリズムで予測係数セットを生成するとともに、単板式カメラのCCDイメージセンサの出力に対し、上述したクラス分類適応処理により予測処理を行い、縦と横それぞれ2倍ずつの画素数を有する画像信号に変換した結果、R(G又はBも同様)の画素を予測する場合のクラスタップを、RGBが混合する画素としたときより、エッジや細部の鮮鋭度が向上しており、より高い解像度の画像が得られた。クラス分類適応処理に代えて、線形補間処理についてもシミュレーションしてみたが、クラス分類した方が、解像度も、S/N比も良好な結果が得られた。
【0114】
なお、上述した説明では、色コーディングフィルタ4として、ベイヤー配列のものを用いた場合を説明したが、他の構成のであっても情報の密度に差がある構成の色コーディングフィルタを用いる場合には本発明を適応するができる。
【0115】
ここで、このデジタルスチルカメラ1のCCDイメージセンサ5に用いることのできる色コーディングフィルタ4を構成する色フィルタアレイの構成例を図19に示す。
【0116】
図19の(A)〜(E)は、原色(R,G,B)成分を通過させる原色フィルタアレイで構成された色コーディングフィルタ4における緑(G)・赤(R)・青(B)の色配列の例を示している。図19の(A)はベイヤー配列を示し、図19の(B)はインタライン配列を示し、図19の(C)はGストライプRB市松配列を示し、図19の(D)はGストライプRB完全市松配列を示し、図19の(E)は原色色差配列を示す。
【0117】
このように、本発明を適用したデジタルスチルカメラ1においては、注目画素近傍における複数の色成分のうち最も高密度である色成分を有する複数の画素により得られる色信号の波形分類情報である第1の特徴情報と、注目画素近傍における複数の色成分画素により得られる各色信号間のレベルの相関関係を示す指標情報である第2の特徴情報を組み合わせて決定されたクラスに基づいて、各色成分を演算するようにしたので、より精度良く、画像信号を生成することができる。しかも、クラス分類適応処理により、3板式カメラのCCD出力相当の各色信号R,G,Bを得るので、エッジ部分や細部の鮮鋭度が増し、S/N比の評価値も向上する。すなわち、クラス分類適応処理により単板式カメラのCCD出力相当の画像信号から得られる3板式カメラのCCD出力相当の画像信号は、従来の線形補間処理による場合と比較して、鮮明な画像となる。
【0118】
なお、以上においては、画像信号のクラス削減方式として、ADRCを用いたが、例えば、DCT(Discrete Cosine Transform) 、VQ(ベクトル量子化)、DPCM(Differential Pulse Code Modulation)、BTC(Block Trancation Coding) 、非線形量子化などを用いても良い。
【0119】
また、CCDイメージセンサの全画素数に比べて、RGBの画素が例えば縦横それぞれ2倍で計4倍の解像度を有するなど、解像度等が異なる画像信号を生成する場合にも、この発明を適用することができる。すなわち、生成したい画像信号を教師画像信号とし、デジタルスチルカメラ1に搭載されるCCDイメージセンサ5からの出力画像信号を生徒画像信号として学習を行うことによって生成される予測係数セットを使用してクラス分類適応処理を行うようにすれば良い。
【0120】
また、この発明は、デジタルスチルカメラ以外に、例えばカメラ一体型VTR等の映像機器や、例えば放送業務に用いられる画像処理装置、さらには、例えばプリンタやスキャナ等に対しても適用することができる。
【0121】
さらに、上記予測処理部25におけるクラス分類適応処理や、上記学習装置40において予測係数セットを得るための学習処理は、例えば図20に示すように、バス311に接続されたCPU(Central Processing Unit) 312、メモリ313、入力インターフェース314、ユーザインターフェース315や出力インターフェース316などにより構成される一般的なコンピュータシステム310により実行することができる。上記処理を実行するコンピュータプログラムは、記録媒体に記録されて、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体、又は、クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体として、ユーザに提供される。上記記録媒体には、磁気ディスク、CD−ROMなどの情報記録媒体の他、インターネット、デジタル衛星などのネットワークによる伝送媒体も含まれる。
【0122】
【発明の効果】
以上の如く本発明によれば、本発明は、画素位置毎に複数の色のうちのいずれか1つを表す色成分を持つ入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出し、上記複数の色成分のうち最も高密度である色成分を有する複数の画素により得られた色信号の信号値についてADRC(Adaptive Dynamic Range Coding)処理を行って再量子化コードを生成し、この再量子化コードを第1の特徴情報とするとともに、上記注目画素近傍の位置する各色成分の複数の画素により得られた色信号の信号レベルの平均値を色成分毎に求め、求めた平均値に対して色成分毎にADRC(Adaptive Dynamic Range Coding)処理を行って異なる色成分の色信号間の信号レベルの相関関係を示す再量子化コードを生成し、この再量子化コードを第2の特徴情報とし、第1及び第2の特徴情報に基づいて1つのクラスを決定し、そのクラスに基づいて、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成することにより、より精度良く、解像度の高い画像信号を得ることができる。
【0123】
また、本発明によれば、画素位置毎に一つの色成分を持つ生徒画像信号の注目画素の近傍の複数の画素を抽出し、抽出された複数の色成分のうち最も高密度である色成分を有する複数の画素により得られた色信号の信号値についてADRC(Adaptive Dynamic Range Coding)処理を行って再量子化コードを生成し、この再量子化コードを第1の特徴情報とするとともに、上記注目画素近傍の位置する各色成分の複数の画素により得られた色信号の信号レベルの平均値を色成分毎に求め、求めた平均値に対して色成分毎にADRC(Adaptive Dynamic Range Coding)処理を行って異なる色成分の色信号間の信号レベルの相関関係を示す再量子化コードを生成し、この再量子化コードを第2の特徴情報とし、上記第1及び第2の特徴情報に基づいて1つのクラスを決定し、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出し、抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成するので、解像度の高い画像信号を得るための処理を行う画像信号処理装置が用いる予測係数セットを算出することができる。
【0124】
【図面の簡単な説明】
【図1】本発明を適用したデジタルスチルカメラの構成を示すブロック図である。
【図2】上記デジタルスチルカメラの動作を説明するためのフローチャートである。
【図3】上記デジタルスチルカメラにおける画像信号処理部の構成を示すブロック図である。
【図4】上記画像信号処理部により行われる画像信号処理を説明するためのフローチャートである。
【図5】クラス分類適応処理を用いた予測演算を行うための構成例を示す示すブロック図である。
【図6】予測係数セットを決定するための構成例を示すブロック図である。
【図7】予測画素を説明する図である。
【図8】クラスタップを説明する図である。
【図9】予測タップを説明する図である。
【図10】予測画素を説明する図である。
【図11】クラスタップを説明する図である。
【図12】予測タップを説明する図である。
【図13】予測画素を説明する図である。
【図14】クラスタップを説明する図である。
【図15】予測タップを説明する図である。
【図16】予測係数セットを学習により得る学習装置の構成例を示すブロック図である。
【図17】上記学習装置の動作を説明するためのフローチャートである。
【図18】上記学習装置による学習処理の一例を模式的に示す図である。
【図19】上記デジタルスチルカメラのCCDイメージセンサに用いることのできる色コーディングフィルタの色フィルタアレイの構成例を模式的に示す図である。
【図20】上記クラス分類適応処理や予測係数セットを得るための学習処理を行うコンピュータシステムの一般的な構成を示すブロック図である。
【図21】従来の線形補間による画像信号処理を模式的に示す図である。
【符号の説明】
1 デジタルスチルカメラ、5 CCDイメージセンサ、8 画像信号処理部、25 予測処理部、28 ブロック化部、29A,29B ADRC処理部、30 クラス分類部、31 適応処理部、32 係数セットメモリ、40 学習装置、41 間引き部、42 生徒画像ブロック化部、43A,43B ADRC処理部、44 クラス分類部、45 教師画像ブロック化部、46 演算部、47 学習データメモリ、48 演算部、49 係数メモリ
Claims (30)
- 画素位置毎に複数の色のうちのいずれか1つを表す色成分を持つ入力画像信号を処理する画像信号処理装置において、
上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出手段と、
上記画素抽出手段で抽出された上記複数の色成分のうち最も高密度である色成分を有する複数の画素により得られた色信号の信号値についてADRC(Adaptive Dynamic Range Coding)処理を行って再量子化コードを生成し、この再量子化コードを第1の特徴情報とする第1の特徴情報生成手段と、
上記画素抽出手段で抽出された上記注目画素近傍の位置する各色成分の複数の画素により得られた色信号の信号レベルの平均値を色成分毎に求め、求めた平均値に対して色成分毎にADRC(Adaptive Dynamic Range Coding)処理を行って異なる色成分の色信号間の信号レベルの相関関係を示す再量子化コードを生成し、この再量子化コードを第2の特徴情報とする第2の特徴情報生成手段と、
上記第1及び第2の特徴情報生成手段により生成された第1及び第2の特徴情報に基づいて1つのクラスを決定するクラス決定手段と、
上記クラス決定手段で決定されたクラスに基づいて、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成手段とを備える画像信号処理装置。 - 上記画素生成手段は、上記注目画素の位置に、すべての色成分を持つ画素を生成する請求項1記載の画像信号処理装置。
- 上記画素生成手段は、各クラス毎の予測係数セットを記憶する記憶手段と、上記クラス決定手段で決定されたクラスに応じた予測係数セットと、上記画素抽出手段によって抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記異なる色成分を持つ画素を生成する演算手段とを備える請求項1記載の画像信号処理装置。
- 上記演算手段は、上記予測係数セットと上記注目画素近傍の複数の画素値との線形一次結合に基づく演算を行う請求項3記載の画像信号処理装置。
- 上記画素抽出手段は、上記クラス決定手段と上記演算手段に対して、少なくとも1画素は異なる画素を抽出する請求項3記載の画像信号処理装置。
- 上記色成分で表される色は、赤、青、緑の何れかである請求項1記載の画像信号処理装置。
- 画素位置毎に複数の色のうち何れか1つを表す色成分を持つ上記画像信号を取得する取得手段をさらに備える請求項1記載の画像信号処理装置。
- 上記取得手段は、固体撮像素子である請求項7記載の画像信号処理装置。
- 上記固体撮像素子は、ベイヤー配列のCCDイメージセンサである請求項8記載の画像信号処理装置。
- 画素位置毎に複数の色のうちのいずれか1つを表す色成分を持つ入力画像信号を処理する画像信号処理方法において、
上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、
上記画素抽出ステップで抽出された上記複数の色成分のうち最も高密度である色成分を有する複数の画素により得られた色信号の信号値についてADRC(Adaptive Dynamic Range Coding)処理を行って再量子化コードを生成し、この再量子化コードを第1の特徴情報とする第1の特徴情報生成ステップと、
上記画素抽出ステップで抽出された上記注目画素近傍の位置する各色成分の複数の画素により得られた色信号の信号レベルの平均値を色成分毎に求め、求めた平均値に対して色成分毎にADRC(Adaptive Dynamic Range Coding)処理を行って異なる色成分の色信号間の信号レベルの相関関係を示す再量子化コードを生成し、この再量子化コードを第2の特徴情報とする第2の特徴情報生成ステップと、
上記第1及び第2の特徴情報生成ステップで生成された第1及び第2の特徴情報に基づいて1つのクラスを決定するクラス決定ステップと、
上記クラス決定ステップで決定されたクラスに基づいて、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップとを備える画像信号処理方法。 - 上記画素生成ステップでは、上記注目画素の位置に、すべての色成分を持つ画素を生成する請求項10記載の画像信号処理方法。
- 上記画素生成ステップでは、各クラス毎の予測係数セットを記憶し、上記クラス決定ステップで決定されたクラスに応じた予測係数セットと、上記画素抽出ステップで抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記異なる色成分を持つ画素を生成する請求項10記載の画像信号処理方法。
- 上記画素生成ステップでは、上記予測係数セットと上記注目画素近傍の複数の画素値との線形一次結合に基づく演算を行う請求項12記載の画像信号処理方法。
- 上記画素抽出ステップでは、上記クラス決定ステップと上記画素生成ステップに対して、少なくとも1画素は異なる画素を抽出する請求項12記載の画像信号処理方法。
- 上記色成分で表される色は、赤、青、緑の何れかである請求項10記載の画像信号処理方法。
- 画素位置毎に複数の色のうち何れか1つを表す色成分を持つ上記画像信号を取得する取得ステップをさらに備える請求項10記載の画像信号処理方法。
- 上記取得ステップでは、固体撮像素子により上記画像信号を取得する請求項16記載の画像信号処理方法。
- 上記取得ステップでは、ベイヤー配列のCCDイメージセンサにより上記画像信号を取得する請求項10記載の画像信号処理方法。
- 画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、
上記プログラムは、
上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、
上記画素抽出ステップで抽出された上記複数の色成分のうち最も高密度である色成分を有する複数の画素により得られた色信号の信号値についてADRC(Adaptive Dynamic Range Coding)処理を行って再量子化コードを生成し、この再量子化コードを第1の特徴情報とする第1の特徴情報生成ステップと、
上記画素抽出ステップで抽出された上記注目画素近傍の位置する各色成分の複数の画素により得られた色信号の信号レベルの平均値を色成分毎に求め、求めた平均値に対して色成分毎にADRC(Adaptive Dynamic Range Coding)処理を行って異なる色成分の色信号間の信号レベルの相関関係を示す再量子化コードを生成し、この再量子化コードを第2の特徴情報とする第2の特徴情報生成ステップと、
上記第1及び第2の特徴情報生成ステップで生成された第1及び第2の特徴情報に基づいて1つのクラスを決定するクラス決定ステップと、
上記クラス決定ステップで決定されたクラスに基づいて、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップと
を備える記録媒体。 - 上記画素生成ステップでは、上記注目画素の位置に、すべての色成分を持つ画素を生成する請求項19記載の記録媒体。
- 上記画素生成ステップでは、各クラス毎の予測係数セットを記憶し、上記クラス決定ステップで決定されたクラスに応じた予測係数セットと、上記画素抽出ステップで抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記異なる色成分を持つ画素を生成する請求項19記載の記録媒体。
- 上記画素生成ステップでは、上記予測係数セットと上記注目画素近傍の複数の画素値との線形一次結合に基づく演算を行う請求項21記載の記録媒体。
- 上記画素抽出ステップでは、上記クラス決定ステップと上記画素生成ステップに対して、少なくとも1画素は異なる画素を抽出する請求項21記載の記録媒体。
- 上記色成分で表される色は、赤、青、緑の何れかである請求項19記載の記録媒体。
- 画素位置毎に複数の色のうち何れか1つを表す色成分を持つ上記画像信号を取得する取得ステップをさらに備える請求項19記載の記録媒体。
- 上記取得ステップでは、固体撮像素子により上記画像信号を取得する請求項25記載の記録媒体。
- 上記取得ステップでは、ベイヤー配列のCCDイメージセンサにより上記画像信号を取得する請求項26記載の記録媒体。
- 画素位置毎に一つの色成分を持つ生徒画像信号の注目画素の近傍の複数の画素を抽出する第1の画素抽出手段と、
上記第1の画素抽出手段で抽出された上記複数の色成分のうち最も高密度である色成分を有する複数の画素の各信号値から第1の特徴情報を生成する第1の特徴情報生成手段と、
上記第1の画素抽出手段で抽出された上記複数の色成分のうち最も高密度である色成分を有する複数の画素により得られた色信号の信号値についてADRC(Adaptive Dynamic Range Coding)処理を行って再量子化コードを生成し、この再量子化コードを第1の特徴情報とする第1の特徴情報生成手段と、
上記第1の画素抽出手段で抽出された上記注目画素近傍の位置する各色成分の複数の画素により得られた色信号の信号レベルの平均値を色成分毎に求め、求めた平均値に対して色成分毎にADRC(Adaptive Dynamic Range Coding)処理を行って異なる色成分の色信号間の信号レベルの相関関係を示す再量子化コードを生成し、この再量子化コードを第2の特徴情報とする第2の特徴情報生成手段と、
上記第1の画素抽出手段で抽出された上記注目画素近傍に位置する各色成分の複数の画素の各信号値から各色信号間の関係を示す第2の特徴情報を生成する第2の特徴情報生成手段と、
上記第1及び第2の特徴情報生成手段により生成された第1及び第2の特徴情報に基づいて1つのクラスを決定するクラス決定手段と、
上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第2の画素抽出手段と、
上記第1及び第2の画素抽出手段で抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成手段と
を備える学習装置。 - 画素位置毎に一つの色成分を持つ生徒画像信号の注目画素の近傍の複数の画素を抽出する第1の画素抽出ステップと、
上記第1の画素抽出ステップで抽出された上記複数の色成分のうち最も高密度である色成分を有する複数の画素により得られた色信号の信号値についてADRC(Adaptive Dynamic Range Coding)処理を行って再量子化コードを生成し、この再量子化コードを第1の特徴情報とする第1の特徴情報生成ステップと、
上記第1の画素抽出ステップで抽出された上記注目画素近傍の位置する各色成分の複数の画素により得られた色信号の信号レベルの平均値を色成分毎に求め、求めた平均値に対して色成分毎にADRC(Adaptive Dynamic Range Coding)処理を行って異なる色成分の色信号間の信号レベルの相関関係を示す再量子化コードを生成し、この再量子化コードを第2の特徴情報とする第2の特徴情報生成ステップと、
上記第1及び第2の特徴情報生成ステップで生成された第1及び第2の特徴情報に基づいて1つのクラスを決定するクラス決定ステップと、
上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第2の画素抽出ステップと、
上記第1及び第2の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップと
を備える学習方法。 - クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、
上記プログラムは、
画素位置毎に一つの色成分を持つ生徒画像信号の注目画素の近傍の複数の画素を抽出する第1の画素抽出ステップと、
上記第1の画素抽出ステップで抽出された上記複数の色成分のうち最も高密度である色成分を有する複数の画素により得られた色信号の信号値についてADRC(Adaptive Dynamic Range Coding)処理を行って再量子化コードを生成し、この再量子化コードを第1の特徴情報とする第1の特徴情報生成ステップと、
上記第1の画素抽出ステップで抽出された上記注目画素近傍の位置する各色成分の複数の画素により得られた色信号の信号レベルの平均値を色成分毎に求め、求めた平均値に対して色成分毎にADRC(Adaptive Dynamic Range Coding)処理を行って異なる色成分の色信号間の信号レベルの相関関係を示す再量子化コードを生成し、この再量子化コードを第2の特徴情報とする第2の特徴情報生成ステップと、
上記第1及び第2の特徴情報生成ステップで生成された第1及び第2の特徴情報に基づいて1つのクラスを決定するクラス決定ステップと、
上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第2の画素抽出ステップと、
上記第1及び第2の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップとを備える記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000246516A JP4529253B2 (ja) | 2000-08-15 | 2000-08-15 | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000246516A JP4529253B2 (ja) | 2000-08-15 | 2000-08-15 | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2002064836A JP2002064836A (ja) | 2002-02-28 |
JP2002064836A5 JP2002064836A5 (ja) | 2007-04-05 |
JP4529253B2 true JP4529253B2 (ja) | 2010-08-25 |
Family
ID=18736808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000246516A Expired - Fee Related JP4529253B2 (ja) | 2000-08-15 | 2000-08-15 | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4529253B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI278824B (en) * | 2004-03-30 | 2007-04-11 | Au Optronics Corp | Method and apparatus for gamma correction and flat-panel display using the same |
KR102103727B1 (ko) * | 2018-09-03 | 2020-04-24 | 네이버 주식회사 | 스킴―픽셀cnn을 이용한 이미지 자동 생성 방법 및 이미지 자동 생성 장치 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0951510A (ja) * | 1995-05-31 | 1997-02-18 | Sony Corp | 信号変換装置及び信号変換方法 |
JP2000069492A (ja) * | 1998-08-26 | 2000-03-03 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3674186B2 (ja) * | 1996-09-21 | 2005-07-20 | ソニー株式会社 | 画像情報変換装置および方法 |
-
2000
- 2000-08-15 JP JP2000246516A patent/JP4529253B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0951510A (ja) * | 1995-05-31 | 1997-02-18 | Sony Corp | 信号変換装置及び信号変換方法 |
JP2000069492A (ja) * | 1998-08-26 | 2000-03-03 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2002064836A (ja) | 2002-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100745386B1 (ko) | 화상 신호 처리 장치, 화상 신호 처리 방법, 학습 장치,학습 방법 및 기록 매체 | |
CN101472048B (zh) | 图像拾取装置、色噪声降低方法和色噪声降低程序 | |
JP4837365B2 (ja) | 画像処理システム、画像処理プログラム | |
EP0632663A2 (en) | Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients | |
US20060114340A1 (en) | Image capturing apparatus and program | |
JP2002084547A (ja) | 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体 | |
US20100277628A1 (en) | Solid-state image sensor and imaging apparatus using the same | |
JP5165300B2 (ja) | 映像処理装置および映像処理プログラム | |
JP2013162347A (ja) | 画像処理装置、画像処理方法、プログラム、および装置 | |
JP4433545B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
JP5259616B2 (ja) | 画像処理システムおよび画像処理プログラム | |
JP4547757B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
JP4529253B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
JP4730106B2 (ja) | 画像処理装置および方法、学習装置および方法、並びにプログラム | |
JP4581199B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
JP4547758B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
JP4839543B2 (ja) | 画像信号処理装置、撮像装置、画像信号処理方法及び記録媒体 | |
JP4483048B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
JP4433546B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
JP4122082B2 (ja) | 信号処理装置およびその処理方法 | |
JP4691762B2 (ja) | 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体 | |
JP2006279389A (ja) | 固体撮像装置およびその信号処理方法 | |
JP4730105B2 (ja) | 画像処理装置および方法、学習装置および方法、並びにプログラム | |
JP5586031B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
JP2012227869A (ja) | 画像処理装置及び画像処理方法並びにデジタルカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070215 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090514 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100518 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130618 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |