JP4470280B2 - 画像信号処理装置及び画像信号処理方法 - Google Patents
画像信号処理装置及び画像信号処理方法 Download PDFInfo
- Publication number
- JP4470280B2 JP4470280B2 JP2000153856A JP2000153856A JP4470280B2 JP 4470280 B2 JP4470280 B2 JP 4470280B2 JP 2000153856 A JP2000153856 A JP 2000153856A JP 2000153856 A JP2000153856 A JP 2000153856A JP 4470280 B2 JP4470280 B2 JP 4470280B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image signal
- class
- signal
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は画像信号処理装置及び画像信号処理方法に関する。詳しくは、入力画像信号から注目画素周辺の画素を選択して、この選択した画素データに基づいてクラスを決定するものとし、決定されたクラスに応じた予測演算設定情報と、入力画像信号から注目画素に応じて選択した画素の画素データを用いて予測演算を行うことにより、注目画素の画素データを生成するものとし、入力画像信号の画素および新たに作成する画素を注目画素として設定して入力画像信号よりも高解像度の画像信号を生成する解像度変換処理と、入力画像信号の画素を注目画素として設定して入力画像信号の階調レベルを補正した画像信号を生成する階調レベル変換処理を択一的に行えるようにしたものである。
【０００２】
【従来の技術】
近年、表示デバイスとして陰極線管を用いた画像表示装置に、様々なディジタル機器を接続して画像を表示させることが行われていると共に、画像表示装置では画像を高精細に表示できるように解像度の向上がはかられている。このため、ディジタル機器から出力される信号がＮＴＳＣ方式の映像信号に対応するＳＤ(Standard Definition)信号であっても、画像を高画質で表示できるように、ＳＤ信号をハイビジョン等の高解像度の映像信号に対応するＨＤ(High Definition)信号に変換して画像表示装置に供給することが行われている。
【０００３】
また、画像表示装置では、表示デバイスとして陰極線管を用いるだけでなく、省電力化や大画面化および省スペース化等のために表示デバイスとして液晶表示パネルやプラズマディスプレイパネル等も用いられてきている。
【０００４】
【発明が解決しようとする課題】
ところで、画像表示装置の表示デバイスが異なるものとされると、例えば陰極線管を用いた画像表示装置で画像表示を行う場合と同様にしてＳＤ信号をＨＤ信号に変換して画像表示装置に供給しても、表示デバイスの特性の違いから画像を高画質で表示することができない場合が生じてしまう。
【０００５】
図１５は表示デバイスとして用いられる陰極線管と液晶表示素子の特性を示している。ここで、陰極線管の場合には、図１４Ａに示すように入力信号と輝度の関係が入力信号のγ(=約2.2)乗に比例して変化することが知られている。一方、液晶表示素子の場合には、入力信号と光透過率（輝度）の関係が、図１４Ｂに示すように入力信号の信号レベルが低いときや高いときには輝度の変化量が少なく、信号レベルが中間レベルであるときに入力信号の信号レベルに応じて輝度が大きく変化する。このため、例えば入力信号が領域Ａの範囲であるとき、液晶表示素子では入力信号の変化が輝度差として現れず、輝度情報が欠落してしまう。また、液晶表示素子では、液晶セルの厚み方向のばらつきによって液晶層に印加される電界の強さが異なることから、輝度がばらつきを生じてしまう場合も生じる。さらに、液晶表示素子でのコントラスト比は陰極線管の数分の１程度である。このため、表示デバイスとして液晶表示素子を用いる場合には、解像度を向上させるよりも階調を補うことで高画質な表示画像を得ることができる。
【０００６】
そこで、この発明では使用する表示デバイスに応じて解像度あるいは階調を向上させることにより高画質の画像表示を行うことができる信号変換装置および信号変換方法を提供するものである。
【０００７】
【課題を解決するための手段】
この発明に係る画像信号処理装置は、入力画像信号から注目画素周辺の画素データを選択して、選択した画素データに基づいてクラスを決定するクラス決定手段と、予めクラス毎に予測演算設定情報を記憶して、クラス決定手段で決定されたクラスに応じた予測演算設定情報を出力する情報記憶手段と、入力画像信号から注目画素に応じて画素データを選択するタップ設定手段と、情報記憶手段から出力された予測演算設定情報とタップ設定手段で選択された画素データを用いた予測演算によって、注目画素の画素データを生成する予測演算手段とを用いて変換ブロックを構成し、変換ブロックの動作を制御する制御手段を設け、制御手段では、新たに作成する画素を注目画素として変換ブロックを用いることにより、入力画像信号よりも高解像度の画像信号を生成する解像度変換処理と、入力画像信号の画素を注目画素として変換ブロックを用いることにより、入力画像信号の階調レベルを補正した画像信号を生成する階調レベル変換処理を択一的に選択可能としたものである。
【０００８】
また、画像信号処理方法は、入力画像信号から注目画素周辺の画素を選択して、選択した画素データに基づいてクラスを決定するものとし、決定されたクラスに応じた予測演算設定情報と、入力画像信号から注目画素に応じて選択した画素の画素データを用いて予測演算を行うことにより、注目画素の画素データを生成するものとし、入力画像信号の画素および新たに作成する画素を注目画素として設定して入力画像信号よりも高解像度の画像信号を生成する解像度変換処理と、入力画像信号の画素を注目画素として設定して入力画像信号の階調レベルを補正した画像信号を生成する階調レベル変換処理を択一的に行えるようにしたものである。
【０００９】
この発明においては、入力画像信号から注目画素周辺の画素が選択されて、選択された画素データのレベル分布パターン検出が行われる。この検出されたパターンに基づいてクラスが決定されて、決定されたクラスに応じた予測演算設定情報と、入力画像信号から注目画素に応じて選択した画素の画素データを用いて予測演算が行われて、注目画素の画素データが生成される。ここで、入力画像信号の画素および新たに作成する画素が注目画素として設定されて入力画像信号よりも高解像度の画像信号を生成する解像度変換処理と、入力画像信号の画素が注目画素として設定されて入力画像信号の階調レベルを補正した画像信号を生成する階調レベル変換処理が択一的に行われる。また、それぞれの変換処理では、変換処理に応じた予測演算設定情報、例えば予測係数からクラスに応じた予測係数が選択される。
【００１０】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の一形態について説明する。この実施の一形態では、入力画像信号例えばＮＴＳＣ方式等の映像信号がディジタル化された信号（以下「ＳＤ(Standard Definition)信号」という）に対して、解像度を高める解像度変換処理あるいは階調を高める階調変換処理を、画像表示装置で用いた表示デバイスに応じて切り替えて実施するものである。
【００１１】
この解像度変換処理では、クラス分類適応処理を行うことによりＳＤ信号に基づく画像の解像度を高めた信号（以下「ＨＤ(High Definition)信号」という）を生成するものである。すなわち、ＳＤ信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行うと共に、クラス毎に予め学習により獲得された予測演算設定情報を格納した情報記憶手段を設けるものとし、クラスに応じた予測演算設定情報に基づいた演算を行うことで最適な推定値を出力して、水平方向および垂直方向の画素数を増加させて、ＳＤ信号よりも解像度の高いＨＤ信号を生成するものである。
【００１２】
また、階調変換処理では、クラス分類適応処理を行うことでＳＤ信号に基づく画像の階調を階調変換前よりも高めるものである。すなわち、ＳＤ信号の輝度レベル分布に応じてクラス分割を行うと共に、クラス毎に予め学習により獲得された予測演算設定情報を格納した情報記憶手段を設けるものとし、クラスに応じた予測演算設定情報に基づいた演算を行うことで最適な推定値を出力して、階調の高められたＳＤ信号を生成するものである。
【００１３】
図１は、画像信号処理装置の構成を示している。ＳＤ信号の輝度データは、解像度変換メインブロック１０のクラスタップ構築部１１と予測タップ構築部１３、解像度変換サブブロック２０のクラスタップ構築部２１と予測タップ構築部２３、階調変換ブロック３０のクラスタップ構築部３１と予測タップ構築部３３に供給される。なお、解像度変換メインブロック１０と解像度変換サブブロック２０は同様な構成であり、解像度変換サブブロック２０の説明は解像度変換メインブロック１０で代用する。
【００１４】
クラスタップ構築部１１（２１）では、解像度を高めるために作成すべき注目画素（以下「作成画素」という）の周囲の複数画素（以下「解像度変換用周辺画素」という）の領域の切り出しを行い、領域内の画素のデータを空間クラスタップとしてクラス分類部１２（２２）に供給する。
【００１５】
クラス分類部１２（２２）では、空間クラスタップのレベル分布のパターンを判別してクラス分類を行う。この場合、クラス数が膨大となることを防ぐために、例えば各画素８ビット（２５６種類）の入力データをより少ないビット数の空間クラス分類コードへ圧縮するような処理を行う。例えば、ＡＤＲＣ（Adaptive Dynamic Range Coding ）を用いることで、空間クラスタップからビット数の少ない空間クラス分類コードを生成することができる。なお、情報圧縮手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等の圧縮手段を用いても良い。
【００１６】
ＡＤＲＣは、ＶＴＲ（Video Tape Recorder）向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この実施の形態では、ＡＤＲＣを空間クラス分類コードの発生に使用している。
【００１７】
図２は、ＡＤＲＣを用いたクラス分類部１２の構成を示している。解像度変換用周辺画素のデータは、最大値検出回路１２１と最小値検出回路１２２と遅延回路１２３に供給される。最大値検出回路１２１では、切り出された解像度変換用周辺画素の輝度データから最大値ＭＸを検出して減算器１２４に供給する。また、最小値検出回路１２２では、切り出された解像度変換用周辺画素の輝度データから最小値ＭＮを検出して減算器１２４，１２５に供給する。減算器１２４では、最大値ＭＸから最小値ＭＮを減算して、ダイナミックレンジＤＲを算出する。この算出されたダイナミックレンジＤＲは、適応再量子化回路１２６へ供給される。
【００１８】
遅延回路１２３では、最大値検出回路１２１および最小値検出回路１２２がそれぞれ検出にかかる時間だけ画素の輝度データを遅延させて減算器１２５に供給する。減算器１２５では、供給されたデータから最小値ＭＮを減算して、得られた減算値ＭＳを適応再量子化回路１２６に供給する。
【００１９】
適応再量子化回路１２６では、ダイナミックレンジＤＲに応じた所定の量子化ステップ幅を用いて、減算値ＭＳの量子化を画素毎に行う。さらに、量子化によって得られたデータを並列化回路１２７で画素切り出し単位毎に並列化して、空間クラス分類コードＫＭ（ＫＳ）として図１に示す予測タップ選択部１４（２４）と予測係数メモリ１５（３５）に供給する。
【００２０】
予測タップ構築部１３（２３）では、ＳＤ信号から予測演算に必要とされる複数の画素（以下、これを予測タップと呼ぶ）が含まれる領域を切り出して、予測タップのデータを予測タップ選択部１４（２４）に供給する。予測タップ選択部１４（２４）では、クラス分類部１２（２２）からの空間クラス分類コードに基づき、予測タップ構築部１３（２３）から供給された画素の選択を行い、選択した画素のデータを積和演算部１６（２６）に供給する。
【００２１】
予測係数メモリ１５（２５）には、ＳＤ信号とＨＤ信号の関係を学習することにより取得された予測係数が、予測演算設定情報としてクラス毎に記憶されている。この予測係数は、線形推定式によりＳＤ信号をＨＤ信号へ変換するための情報である。なお、予測係数の取得方法については後述する。ここで、空間クラス分類コードＫＭ（ＫＳ）が予測係数メモリ１５（２５）に供給されると、この空間クラス分類コードに対応した予測係数を読み出して積和演算部１６（２６）に供給する。
【００２２】
積和演算部１６（２６）では、予測タップ選択部１４（２４）からの予測タップ（画素値）Ｔ1，Ｔ2，‥‥Ｔiと、予測係数メモリ１５（２５）から読み出された予測係数ｗ1 ，ｗ2 ，‥‥ｗiとの線形１次結合式（式（１））の演算を行うことにより、新たに形成する画素のデータを算出する。
【００２３】
Ｌ１＝ｗ1×Ｔ1＋ｗ2×Ｔ2＋‥‥＋ｗi×Ｔi ・・・（１）
【００２４】
このように、予測係数がクラス毎に予め学習により求めて予測係数メモリ１５（２５）に記憶されると共に、空間クラスタップのレベル分布のパターンに応じたクラスの予測係数と、予測タップに基づいて演算が行われて、ＨＤ信号の画素データが生成される。
【００２５】
ここで、積和演算部１６は、ＳＤ信号の現存ライン上のデータを出力し、積和演算部２６は、現存ライン間に位置する作成ライン上のデータを出力する。同時に、積和演算部１６，２６は、水平方向で２倍の数の画素データを出力する。
【００２６】
積和演算部１６で生成された画素データはラインダブラ１７に供給されると共に、積和演算部２６で生成された画素データはラインダブラ２７に供給される。
【００２７】
ラインダブラ１７，２７は、ライン倍速の処理を行うものである。積和演算部１６，２６は、ＳＤ信号からＨＤ信号の画素データを生成するが、生成された画素データの水平周期はＳＤ信号と同一である。このため、ラインダブラ１７，２７は、制御部５０からの書込読出制御信号ＣＴＭによって水平周波数を２倍とするライン倍速処理を行う。このライン倍速処理が行われてラインダブラ１７から出力されるデータは信号切換部４１の端子ａに供給されると共に、ライン倍速処理が行われてラインダブラ２７から出力されるデータは信号切換部４１の端子ｂに供給される。
【００２８】
信号切換部４１は後述する制御部５０からの切換制御信号ＣＳＡに基づき、ＨＤ信号の水平周期で可動端子ｃが端子ａおよび端子ｂに切り替えられる。また、可動端子ｃには信号切換部４２の端子ａが接続されており、ラインダブラ１７，２７からのデータを水平周期で交互に選択して得られたデータ、すなわちＳＤ信号の解像度を高めたＨＤ信号が信号切換部４２の端子ａに供給される。
【００２９】
次に、階調変換ブロック３０のクラスタップ構築部３１では、輝度レベルを補正する画素である注目画素と、注目画素の周囲の複数画素（以下「階調変換用周辺画素」という）の領域の切り出しを行い、領域内の画素の輝度データをクラス分類部３２に供給する。
【００３０】
クラス分類部３２では、注目画素の輝度レベルだけでなく周辺画素の輝度レベル分布のパターンを判別してクラス分類を行う。このクラス分類部３２でもクラス分類部１２と同様にＡＤＲＣを用いて輝度クラス分類コードを生成して図１に示す予測タップ選択部３４と予測係数メモリ３５に供給する。
【００３１】
ここで、クラス分類部３２では、例えば注目画素と階調変換用周辺画素の輝度データを用いて、注目画素の輝度レベルに応じた輝度クラス分類コードと、注目画素と階調変換用周辺画素に基づく輝度レベルの分布パターンに応じた輝度クラス分類コードを生成して、この２つのクラス分類コードに基づき輝度クラス分類コードＫＢを生成して予測タップ選択部３４と予測係数メモリ３５に供給する。
【００３２】
予測タップ構築部３３では、ＳＤ信号から予測演算用の画素である予測タップを切り出し、この予測タップの輝度データを予測タップ選択部３４に供給する。
【００３３】
予測タップ選択部３４では、クラス分類部３２からの輝度クラス分類コードＫＢに基づき、予測タップ構築部３３から供給された画素の選択を行い、選択した画素の輝度データを積和演算部３６に供給する。
【００３４】
予測係数メモリ３５には、補正を行う前の正しい階調のＳＤ信号と、表示デバイスで表示される画像の輝度との関係を学習することにより、取得された予測係数が予測演算設定情報としてクラス毎に記憶されている。この予測係数は、線形推定式により輝度レベルが補正されて階調創造が行われた信号とする変換処理を行うための情報である。なお、予測係数の取得方法については後述する。
【００３５】
ここで、輝度クラス分類コードＫＢが予測係数メモリ３５に供給されると、この輝度クラス分類コードに対応した予測係数を読み出して積和演算部３６に供給する。
【００３６】
積和演算部３６では、予測タップ選択部３４からの予測タップのデータＴ1c，Ｔ2c，‥‥Ｔicと、予測係数メモリ３５から読み出された予測係数ｗ1c ，ｗ2c，‥‥ｗicとの線形１次結合式（式（２））の演算を行うことにより、注目画素の新たなデータを算出する。
【００３７】
Ｇ＝ｗ1c×Ｔ1c＋ｗ2c×Ｔ2c＋‥‥＋ｗic×Ｔic ・・・（２）
【００３８】
このように、予測係数がクラス毎に予め学習により求めて予測係数メモリ３５に記憶されると共に、輝度レベル分布のパターンに応じたクラスの予測係数と、予測タップに基づいて演算が行われて、注目画素の輝度データを補正して信号切換部４２の端子ｂに供給する。
【００３９】
信号切換部４２には制御部５０から切換制御信号ＣＳＢが供給されており、この切換制御信号ＣＳＢによって可動端子ｃが端子ａ側あるいは端子ｂ側に切り替えられる。
【００４０】
制御部５０には処理モード設定スイッチ５１が接続されており、処理モード設定スイッチ５１のスイッチ設定状態に応じて切換制御信号ＣＳＡ，ＣＳＢを生成して信号切換部４１，４２に供給し、解像度変換あるいは階調変換を択一的に選択する。また制御部５０では、例えばＤＤＷＧ(Digital Display Working Group)が策定したＤＶＩ(Digital Visual Interface)のように、ホットプラグ機能によって画像表示装置の接続を検出すると共に、ＤＤＣ(Display Data Channel)の機能を使用して実現されているプラグ・アンド・プレイによって、画像表示装置の機種名や解像度等の表示装置情報を入手すると共に画像表示装置で用いられている表示デバイスを判別する。ここで、制御部５０では、表示デバイスが陰極線管であるかあるいは液晶表示素子等であるかの判別や解像度がどの程度であるかの判別を行い、判別結果に基づき切換制御信号ＣＳＡ，ＣＳＢを生成して信号切換部４１，４２に供給することにより解像度変換あるいは階調変換のいずれかを択一的に選択する。
【００４１】
次に、予測係数の作成（学習）について説明する。予測係数を学習によって得るためには、表示デバイスに応じたフィルタによって教師信号ＤＹから生徒信号を生成し、フィルタに入力された教師信号ＤＹと関数フィルタから出力される生徒信号ＤＳとを学習用の対として、予測係数の作成が行われる。
【００４２】
図３は、解像度変換を行うために必要とされる予測係数を作成するための予測係数学習ブロックの構成を示している。フィルタ６１では、教師信号であるＨＤ信号に対して間引き処理を行うことでＳＤ信号を形成する。例えば、水平方向および垂直方向の画素数をそれぞれ１／２として生徒信号であるＳＤ信号を形成する。
【００４３】
このフィルタ６１からのＳＤ信号は、クラス分類領域切出部６２および予測タップ領域切出部６５に供給される。クラス分類領域切出部６２では、ＳＤ信号から領域切り出しを行い、領域内の画素のデータをクラス分類部６３および６４に供給する。
【００４４】
クラス分類部６３，６４は、図１に示す信号変換装置におけるクラス分類部１２，２２と同様にＡＤＲＣを用いてクラス分類コードを発生する。ここで、クラス分類部６３では，ＳＤ信号のライン上のデータに関するクラス分類コードを発生して、予測タップ領域切出部６５と正規方程式加算部６６に供給する。また、クラス分類部６４では，ＳＤ信号のライン間のデータに関するクラス分類コードを発生して、予測タップ領域切出部６５と正規方程式加算部６７に供給する。
【００４５】
予測タップ領域切出部６５では、クラス分類部６３からのクラス分類コードに基づいて、ＳＤ信号のライン上にデータを作成するため予測タップ領域の切り出しを行い、この領域内のデータを予測タップとして正規方程式加算部６６に供給する。また、クラス分類部６４からのクラス分類コードに基づいてＳＤ信号のライン間にデータを作成するため予測タップ領域の切り出しを行い、この領域内のデータを予測タップとして正規方程式加算部６７に供給する。
【００４６】
正規方程式加算部６６，６７では、正規方程式データを生成して予測係数決定部６８に供給し、予測係数決定部６８では、正規方程式データを用いて演算処理を行い予測係数を算出する。
【００４７】
ここで、予測係数の算出について、説明を一般化してｎ画素による予測係数の算出について説明する。予測タップとして選択される入力画素の輝度レベルをそれぞれｘ1 ,‥‥，ｘn とし、出力画素の輝度レベルをｙとしたとき、クラス毎に予測係数ｗ1 ，‥‥，ｗn によるｎタップの線形推定式を設定する。これを下記の式（３）に示す。
【００４８】
ｙ＝ｗ1×ｘ1 ＋ｗ2×ｘ2 ＋‥‥＋ｗn×ｘn ・・・（３）
【００４９】
この式（３）における予測係数ｗ1 ，‥‥，ｗnを求める方法としては、最小二乗法による解法が考えられる。この解法では、Ｘを入力画素の輝度レベル、Ｗを予測係数、Ｙを出力画素の輝度レベルとして式（４）の観測方程式を作るようにデータを収集する。この式（４）において、ｍは学習データ数を表し、ｎは上述したように予測タップ数を示している。
【００５０】
【数１】
【００５１】
次に式（４）の観測方程式をもとに、式（５）の残差方程式を立てる。
【００５２】
【数２】
【００５３】
この式（５）から、各予測係数ｗiの最確値は、式（６）を最小にする条件が成り立つ場合と考えられる。
【００５４】
【数３】
【００５５】
すなわち、式（７）の条件を考慮すれば良い。
【００５６】
【数４】
【００５７】
式（７）のｉに基づくｎ個の条件を考え、これを満たすｗ1 ，……，ｗn を算出すればよい。そこで、式（５）から次式（８）を得て、さらに式（７）と次式（８）から式（９）を得るものとする。
【００５８】
【数５】
【００５９】
【数６】
【００６０】
そして式（５）及び式（９）から、次式（１０）の正規方程式を得ることができる。
【００６１】
【数７】
【００６２】
式（１０）の正規方程式は、未知数の数がｎ個の連立方程式であるから、これにより各ｗi の最確値を求めることができる。実際には、掃き出し法（Gauss-Jordanの消去法）等の一般的な行列解法を用いて連立方程式を解く。
【００６３】
正規方程式加算部６６，６７のそれぞれは、クラス分類部６３，６４から供給されたクラス情報と、予測タップ領域切出部６５から供給された２組の予測タップと、作成しようとするＨＤ信号を用いて正規方程式の加算を行う。
【００６４】
学習に充分なフレーム数のデータ入力が終了した後、正規方程式加算部６６，６７は予測係数決定部６８に正規方程式データを出力する。
【００６５】
予測係数決定部６８では、上述の連立方程式を解いて予測係数である各ｗi の最確値を求めると共に、算出された予測係数を予測係数メモリ１５，２５に書き込む。
【００６６】
次に、図４は、階調変換を行うために必要とされる予測係数を作成するための予測係数学習ブロックの構成を示している。フィルタ７１では、階調の正しい輝度レベルの教師信号ＢＹから、信号レベルの変換を行い生徒信号ＢＳを形成してクラス分類領域切出部７２と予測タップ領域切出部７３に供給する。このフィルタ７１に入力された教師信号ＢＹとフィルタ７１から出力される生徒信号ＢＳとを学習用の対として、予測係数の作成が行われる。
【００６７】
このフィルタ７１は、生徒信号ＢＳと表示デバイスとの総合特性が直線状となるように、教師信号ＢＹの信号レベルを変換するためのものあり、例えば表示デバイスの特性が図１５Ｂに示すような特性であるときには、総合特性を直線状として画像の階調を表示デバイスの画面上に正しく再現できるように教師信号ＢＹを図５に示すように補正して生徒信号ＤＳを生成する。
【００６８】
このフィルタ７１からの階調補正されたＳＤ信号は、クラス分類領域切出部７２および予測タップ領域切出部７５に供給される。クラス分類領域切出部７２では、階調補正されたＳＤ信号から領域切り出しを行い、領域内の画素のデータをクラス分類部７３に供給する。
【００６９】
クラス分類部７３は、クラス分類部６３等と同様にＡＤＲＣを用いてクラス分類コードを発生して、予測タップ領域切出部７５と正規方程式加算部７６に供給する。予測タップ領域切出部７５では、例えば注目画素を中心としてクラス分類コードに基づき複数の周辺画素を予測タップとして設定して正規方程式加算部７６に供給する。
【００７０】
正規方程式加算部７６では、正規方程式データを生成して予測係数決定部７８に供給し、予測係数決定部７８では、正規方程式データを用いて演算処理を行い予測係数を算出する。この正規方程式加算部７６と予測係数決定部７８では、上述した正規方程式加算部６６および予測係数決定部６８と同様な処理を行い、予測係数決定部６８で算出された予測係数を予測係数メモリ３５に書き込む。
【００７１】
以上のように学習を行った結果、予測係数メモリ１５，２５には、作成画素のデータを推定するための、統計的にもっとも真値に近い推定ができる予測係数が格納されることとなる。また、予測係数メモリ３５には、クラス毎に注目画素の輝度レベルを推定するための、統計的にもっとも真値に近い推定ができる予測係数が格納されることとなる。
【００７２】
また、予測タップ領域切出部６５，７５が出力する予測タップの個数は、画像信号処理装置で用いる予測タップの個数より大きいものとされて、予測係数決定部６８，７８では、クラス毎により多くの予測係数が求められて、この予測係数の中で、絶対値が大きいものから順に使用する数の予測係数が選択されると共に、選択された予測係数が予測係数メモリ１５，２５，３５のクラスに対応するアドレス位置にそれぞれ格納される。
【００７３】
次に動作について説明する。まず制御部５０と画像表示装置との通信により、表示デバイスとして陰極線管が用いられると共に、画像表示装置ではＳＤ信号に基づく画像だけでなく、ＳＤ信号よりも解像度の高いＨＤ信号に基づく画像も表示可能であると判別されたときには、切換制御信号ＣＳＢによって信号切換部４２の可動端子ｃを端子ａ側に設定する。また、信号切換部４１の可動端子ｃをＨＤ信号の水平周期で端子ａ側あるいは端子ｂ側に交互に切り替える。
【００７４】
ここで、解像度変換メインブロック１０のクラスタップ構築部１１と予測タップ構築部１３では、ＳＤ信号のラインの近傍に位置する作成画素に対してＳＤ信号の切り出しを行い、例えば図６Ａに示すように、作成画素Ｐmaに対して上下左右方向に位置する画素を時間軸方向も含めて解像度変換用周辺画素Ｑａとして切り出しを行う。なお、クラスタップ構築部１１と予測タップ構築部１３における切り出し画素数は、等しくてもあるいは異なるものであっても良い。
【００７５】
クラスタップ構築部１１では、解像度変換用周辺画素のデータを空間クラスタップとしてクラス分類を行い、得られた空間クラス分類コードを予測タップ選択部１４と予測係数メモリ１５に供給する。
【００７６】
予測タップ選択部１４では、空間クラス分類コードに基づき予測タップの選択を行う。例えば、画素データのレベルのばらつきが少ないと空間クラス分類コードで示されているとき、予測タップとして選択する領域が狭いと積和演算部１６によって算出された画素データの差が現れない。このため、予測タップとして選択する領域を広くして画素データの差が生じるように予測タップの選択を行う。
【００７７】
このようにして予測タップ選択部１４で選択された予測タップと、空間クラス分類コードに基づいて予測係数メモリ１５から読み出された予測係数を用いて式（１）に示す積和演算を行うことにより、ＳＤ信号のラインの近傍に２倍の画素データを生成できる。
【００７８】
同様に、解像度変換サブブロック２０のクラスタップ構築部２１と予測タップ構築部２３では、ＳＤ信号のラインから離れて位置する作成画素Ｐmbに対してのＳＤ信号の切り出しを行う。例えば図６Ｂに示すように、作成画素に対して上下左右方向に位置する画素を時間軸方向も含めて解像度変換用周辺画素Ｑｂとして切り出しを行い、クラス分類、クラス分類によって得られた空間クラス分類コードに基づいて選択した予測タップおよび予測係数を用いた積和演算を行うことで、ＳＤ信号のラインから離れた位置に２倍の画素データを生成できる。
【００７９】
ここで、解像度変換メインブロック１０で生成された画素データをラインダブラ１７に供給してＳＤ信号の２倍の周波数で画素データを読み出すと共に、解像度変換サブブロック２０で生成された画素データをラインダブラ２７に供給してＳＤ信号の２倍の周波数で画素データを読み出し、さらに、ラインダブラ１７，２７から読み出したデータをＨＤ信号の水平周波数で交互に選択することにより、信号切換部４１の可動端子ｃから解像度変換が行われたＨＤ信号を得ることができる。
【００８０】
また、階調変換ブロック３０のクラスタップ構築部３１と予測タップ構築部３３においても、同様にして階調変換を行う注目画素に対してＳＤ信号の切り出しを行う。例えば図７に示すように、注目画素Ｐmcに対して上下左右方向に位置する画素を階調変換用周辺画素Ｑcとして切り出しを行い、クラス分類部３２で輝度クラス分類コードを生成し、予測タップ選択部３４では、輝度クラス分類コードに基づいた予測タップの選択を行う。例えば、画像の輝度傾斜が緩やかでレベルのばらつきが少ないと輝度クラス分類コードで示されているとき、予測タップとして選択する領域が狭いと積和演算部３６によって算出された輝度データの差が現れない。このため、予測タップとして選択する領域を広くして輝度データの差が生じるように、すなわち階調差が生じるように予測タップの選択を行う。
【００８１】
このようにして予測タップ選択部３４で選択された予測タップと、輝度クラス分類コードに基づいて予測係数メモリ３５から読み出された予測係数を用いて式（２）に示す積和演算を行うことにより輝度データが算出されて、注目画素の輝度データを補正できる。
【００８２】
ここで、処理モード設定スイッチ５１の設定状態あるいは制御部５０と画像表示装置との通信により、表示デバイスとして陰極線管が用いられて、ＳＤ信号に基づく画像だけでなくＨＤ信号に基づく画像も表示できるものと判別されたときには、信号切換部４２の可動端子をａ側に設定する。この場合には、図８に示すようにＳＤ信号に基づく画素間に新たな画素が生成されたＨＤ信号が出力されるので、高解像度の画像を表示できる。
【００８３】
また、表示デバイスとして液晶表示素子が用いられると判別されたときには、切換制御信号ＣＳＢによって信号切換部４２の可動端子ｃを端子ｂ側に設定する。この場合には、注目画素の輝度レベルと周辺画素を含めた輝度レベル分布パターンに応じて注目画素の輝度レベルが調整されるので、例えば図９に示すように、入力画像信号の信号レベルが「３」であるときには、周辺画素を含めた輝度レベル分布のパターンに応じて信号レベルが「２０」〜「２５」のいずれかに変換され、信号レベルが「４」であるときには、パターンに応じて信号レベルが「２６」〜「２９」のいずれかに変換される。すなわち、入出力特性が線形であって図１０Ａの破線で示すように階調表示が行われる場合に、表示デバイスの入出力特性が非線形であるため、実線で示すように階調レベルが欠落する場合であっても、階調変換処理によって階調創造が行われて、図１０Ｂに示すように、入出力特性が線形である場合と同様な階調レベルを持たせることができる。このため、図１１Ａに示すように画面上の輝度レベルが小さいために画像が黒くつぶれてしまい、十分な階調で画像を表示することができない場合であっても、十分な階調を得ることができるように輝度レベルの変換が行われると共に、周辺画素の輝度レベルによって階調創造が行われて、図１１Ｂに示すテーブル変換の場合のように輝度レベルが高いものとされるが、輝度レベルの差が少ないためにコントラストの少ないフラットな画像となってしまうことなく、図１１Ｃに示すように輝度レベルが高いものとされると共に階調創造も行われて画像を高画質で表示できる。
【００８４】
ところで、上述の実施の形態では、解像度変換を行うための解像度変換メインブロック１０と解像度変換サブブロック２０および階調変換ブロック３０を別個に設けるものとしたが、解像度変換メインブロック１０と解像度変換サブブロック２０および階調変換ブロック３０は略同様な構成とされている。このため、解像度変換メインブロック１０と解像度変換サブブロック２０のいずれか一方の予測係数メモリに、階調変換ブロック３０の予測係数メモリに記憶されている予測係数も記憶させることで、１つのブロックを解像度変換と階調変換で共用することもできる。
【００８５】
図１２は、階調変換ブロック３０と例えば解像度変換メインブロック１０の動作を１つの複合変換ブロック８０で行うように構成した画像信号処理装置の構成を示している。
【００８６】
ＳＤ信号の輝度データは、複合変換ブロック８０のクラスタップ構築部８１と予測タップ構築部８３に供給される。また、スイッチ４３を介して解像度変換サブブロック２０のクラスタップ構築部２１と予測タップ構築部２３に供給される。なお、解像度変換サブブロック２０は上述の実施の形態と同一であり説明は省略する。
【００８７】
クラスタップ構築部８１では、後述する制御部８９からの変換モード設定信号ＭＣＴに基づき、作成画素に対して周囲の複数画素の領域を切り出し、あるいは輝度レベルを補正する注目画素と周囲の階調変換用周辺画素の領域を切り出し、領域内の画素のデータをクラス分類部８２に供給する。
【００８８】
クラス分類部８２では、切り出された領域の画素のレベル分布パターンを判別してクラス分類を行う。このクラス分類では制御部８９から供給された変換モード設定信号ＭＣＴに基づいてクラス分類処理を行い、クラス分類コードを生成して予測タップ選択部８４と予測係数メモリ８５に供給する。
【００８９】
予測タップ構築部８３では、制御部８９から供給された変換モード設定信号ＭＣＴに基づき、ＳＤ信号から予測演算に必要とされる予測タップが含まれる領域の設定を行うと共に、設定された領域から予測タップを切り出して予測タップ選択部８４に供給する。
【００９０】
予測タップ選択部８４では、クラス分類部８２からのクラス分類コードに基づき、予測タップ構築部８３から供給された予測タップの選択を行い、選択した予測タップを積和演算部８６に供給する。
【００９１】
予測係数メモリ８５には、ＳＤ信号とＨＤ信号の関係を学習することにより取得された解像度変換用予測係数と、補正を行う前の正しい階調のＳＤ信号と表示デバイスで表示される画像の輝度の関係を学習することにより取得された階調変換用予測係数とがクラス毎に記憶されている。この予測係数は、線形推定式によりＳＤ信号をＨＤ信号へ変換したり、ＳＤ信号の階調創造を行うための情報である。ここで、クラス分類コードが予測係数メモリ８５に供給されると、制御部８９から供給された変換モード設定信号ＭＣＴに基づいて解像度変換用予測係数あるいは階調変換用予測係数のいずれかが選択されて、選択された予測係数からクラス分類コードに対応した予測係数を読み出して積和演算部８６に供給する。
【００９２】
積和演算部８６では、予測タップ選択部８４からの予測タップと、予測係数メモリ８５から読み出された予測係数とを用いた線形１次結合式による演算を行うことで、作成画素のデータを算出、あるいは注目画素の階調創造が行われたデータを算出する。
【００９３】
ここで、積和演算部８６は、作成画素のデータを算出する場合にＳＤ信号の現存ライン上のデータを出力すると共に、水平方向で２倍の数の画素データを出力する。
【００９４】
積和演算部８６で生成された画素データはラインダブラ８７に供給される。このラインダブラ８７には、制御部８９から書込読出制御信号ＣＴＭが供給されて、この書込読出制御信号ＣＴＭによって、積和演算部８６から供給されたデータをＳＤ信号の水平周波数あるいはＳＤ信号の例えば２倍の水平周波数で読み出して信号切換部４５の端子ａ側に供給する。また、信号切換部４５の端子ｂ側にはラインダブラ２７から出力された信号が供給される。この信号切換部４５には、制御部８９から切換制御信号ＣＳＣが供給されて、この切換制御信号ＣＳＣによって可動端子ｃが端子ａ側あるいは端子ｂ側に切り替えられる。
【００９５】
スイッチ４３には、制御部８９から変換モード設定信号ＭＣＴが供給されて、この変換モード設定信号ＭＣＴに基づきスイッチ動作が制御される。
【００９６】
制御部８９は、画像表示装置との通信によって表示装置情報を入手して画像表示装置で用いられている表示デバイスを判別する。ここで、制御部８９では、入手した表示装置情報に基づき、表示デバイスが陰極線管であるかあるいは液晶表示素子等であるか、また解像度はどの程度であるかの判別を行い、判別結果に基づき変換モード設定信号ＭＣＴや書込読出制御信号ＣＴＭおよび切換制御信号ＣＴＣを生成して、複合変換ブロック８０やスイッチ４３、ラインダブラ２７，８７、信号切換部４５に供給し、表示デバイスに応じて解像度変換あるいは階調変換を行う。
【００９７】
ここで、制御部８９では、画像表示装置との通信によって表示デバイスが例えば陰極線管であり、ＨＤ信号に基づく画像を表示であると判別したときには、変換モード設定信号によってスイッチ４３をオン状態とする。また、クラスタップ構築部８１では、クラスタップ構築部１１と同様に解像度変換用周辺画素の領域の切り出しを行うと共に、クラス分類部８２ではクラス分類部１２と同様にして、切り出された領域の画素のレベル分布パターンを判別してクラス分類を行う。
【００９８】
予測タップ構築部８３では、予測タップ構築部１３と同様にしてＳＤ信号から予測演算に必要とされる予測タップが含まれる領域の設定を行うと共に、設定された領域から予測タップを切り出して予測タップ選択部８４に供給する。さらに予測タップ選択部８４では、予測タップ選択部１４と同様にしてクラス分類コードに基づき、予測タップ構築部８３から供給された予測タップの選択を行い、選択した予測タップを積和演算部８６に供給する。
【００９９】
また、予測係数メモリ８５では、解像度変換用予測係数からクラス分類コードに応じた予測係数を読み出して積和演算部８６に供給する。
【０１００】
積和演算部８６では、積和演算部１６と同様に予測タップ選択部８４からの予測タップと、予測係数メモリ８５から読み出された予測係数とを用いた線形１次結合式による演算を行うことで、新たに生成する画素のデータを算出してラインダブラ８７に供給する。
【０１０１】
ここで、例えば積和演算部８６はＳＤ信号の現存ライン上のデータを出力すると共に、積和演算部２６は現存ライン間に位置する作成ライン上のデータを出力する。さらに、積和演算部２６，８６は水平方向で２倍の数の画素データを出力する。
【０１０２】
ラインダブラ２７，８７では、書込読出制御信号ＣＴＭに基づいてライン倍速の処理を行いラインダブラ２７から出力されるデータは信号切換部４５の端子ｂに供給されると共に、ライン倍速処理が行われてラインダブラ８７から出力されるデータは信号切換部４５の端子ａに供給される。
【０１０３】
信号切換部４５では、切換制御信号ＣＳＣによってＨＤ信号の水平周期で可動端子ｃが端子ａおよび端子ｂに交互に切り替えられて、信号切換部４５の可動端子ｃからＳＤ信号の解像度を高めたＨＤ信号を出力させることができる。
【０１０４】
また制御部８９では、画像表示装置との通信によって表示デバイスが例えば液晶表示素子であると判別したときには、変換モード設定信号によってスイッチ４３をオフ状態とする。また、クラスタップ構築部８１では、クラスタップ構築部３１と同様に階調変換用周辺画素の領域の切り出しを行うと共に、クラス分類部８２ではクラス分類部３２と同様にして、切り出された領域の画素のレベル分布パターンを判別してクラス分類を行う。
【０１０５】
予測タップ構築部８３では、予測タップ構築部３３と同様にしてＳＤ信号から予測演算に必要とされる予測タップが含まれる領域の設定を行うと共に、設定された領域から予測タップを切り出して予測タップ選択部８４に供給する。さらに予測タップ選択部８４では、予測タップ選択部３４と同様にしてクラス分類コードに基づき、予測タップ構築部８３から供給された予測タップの選択を行い、選択した予測タップを積和演算部８６に供給する。
【０１０６】
また、予測係数メモリ８５では、階調変換用予測係数からクラス分類コードに応じた予測係数を読み出して積和演算部８６に供給する。
【０１０７】
積和演算部８６では、積和演算部３６と同様に予測タップ選択部８４からの予測タップと、予測係数メモリ８５から読み出された予測係数とを用いた線形１次結合式による演算を行うことで、注目画素の新たなデータを生成してラインダブラ８７に供給する。
【０１０８】
ラインダブラ８７では、書込読出制御信号ＣＴＭに基づき、供給されたデータのライン倍速処理を行うことなくＳＤ信号のデータとして信号切換部４５の端子ｂに供給する。また、信号切換部４５では切換制御信号ＣＳＣに基づいて可動端子ｃを端子ａ側に切り替えた状態で保持する。このため、信号切換部４５の可動端子ｃから階調創造を行って階調が高められたＳＤ信号を出力させることができる。
【０１０９】
このように、１つの変換ブロックを解像度変換と階調変換で共用することができるので、構成を簡単とすることができる。
【０１１０】
また、上述の実施の形態では、解像度変換や階調変換を行う際に、本出願人による特開平９-74543号公報の明細書および図面で提案されているような画像の動き量をクラス分類して、この分類結果を用いてクラス分類コードを生成するものとし、画像の動き量を考慮して予測タップの選択や予測係数の読み出しを行うものとしても良い。
【０１１１】
図１３は、画像の動き量も考慮した変換ブロックの構成を示している。変換ブロック９０のクラスタップ構築部９１では、解像度変換用周辺画素あるいは階調変換用周辺画素の領域の切り出しを行い、領域内の画素のデータをクラス分類部９２に供給する。
【０１１２】
クラス分類部９２では、レベル分布のパターンを判別してクラス分類を行う。このクラス分類部９２では、上述のように例えばＡＤＲＣを用いてクラス分類コードを生成して予測タップ選択部９４と予測係数メモリ９５に供給する。
【０１１３】
予測タップ構築部９３では、ＳＤ信号から予測タップを切り出して予測タップ選択部９４に供給する。また、予測タップ選択部９４では、クラス分類部９２からのクラス分類コードに基づき、予測タップ構築部９３から供給された画素の選択を行い、選択した画素のデータを積和演算部９６に供給する。
【０１１４】
予測係数メモリ９５には、予め学習することにより取得された予測係数をクラス毎に記憶するものとして、クラス分類コードに対応した予測係数を読み出して積和演算部９６に供給する。
【０１１５】
積和演算部９６では、予測タップ選択部９４からの予測タップと予測係数メモリ９５から読み出された予測係数との積和演算を行い、新たなデータを算出する。
【０１１６】
ここで、領域切出部９７では、動きの程度をクラス分類するために、ＳＤ信号から作成画素や注目画素を基準とした信号の切り出しを行う。ここで、切り出された画素のデータは動きクラス分類部９８に供給される。動きクラス分類部９８では、切り出された領域の画素データを用いて例えばフレーム間差分を算出し、その絶対値の平均値としきい値を比較することで動きクラスコードを生成する。この動きクラスコードをクラスタップ構築部９１に供給して、動きクラスコードに応じてクラスタップの切り出しを行う。あるいは動きクラスコードをクラス分類部９２に供給して、動きクラスコードとクラスタップに基づいたクラスコードから最終的なクラスコードを生成して予測タップ選択部９４や予測係数メモリ９５に供給する。又は、動きクラスコードを予測タップ選択部９４に供給して、動きクラスコードも考慮して予測タップの選択を行うものとしても良い。
【０１１７】
例えば、動きクラスコードによって動きが小さいものと判別されたときには、２フィールド分あるいはそれ以上のフィールド数の画素を用いることが効果的である。このため、図１４Ａに示すように作成画素Ｐmaに対して予測タップＴaaを選択する。また、動きクラスコードによって動きが大きいものと判別されたときには、１フィールド内の画素を用いることが効果的である。このため、図１４Ｂに示すように作成画素Ｐmabに対して予測タップＴabを選択する。
【０１１８】
このようにして選択した予測タップと予測係数を用いて積和演算を行うことにより、画像の動きに応じて解像度変換処理を行うことができる。また、階調変換処理においても、画像の動きクラスコードを用いて階調創造を行うこともできる。
【０１１９】
また、上述の場合には、式（１）の線形１次結合式で用いる予測係数を予測演算設定情報として記憶するものとしたが、クラス毎に最適な推定式も記憶するものとして、決定されたクラスの推定式と予測係数を用いて演算を行うことにより、更に高精度の解像度変換および階調変換処理を行うことができる。
【０１２０】
さらに、予測演算設定情報を表示デバイス毎に設けるものとし、上述したように表示デバイスに応じたスイッチ設定あるいは画像表示装置との通信に基づく表示デバイスの判別結果に基づいて、解像度変換および階調変換処理を切り替えるだけでなく、表示デバイスに応じた予測演算設定情報を選択可能とすれば、種々の表示デバイスに応じて最適な解像度変換および階調変換処理を行うことができる。
【０１２１】
なお、色信号データについては、輝度データと同様に処理しても良く、また本出願人による特開平10-229565号公報の明細書および図面で提案されているように、輝度データとは異なる簡単な補間処理、例えば注目画素のラインの色信号データと同一フィールドのその上下のラインの色信号データを用いた演算処理によって補間処理を行うものとしても良い。
【０１２２】
【発明の効果】
この発明によれば、入力画像信号から注目画素周辺の画素を選択して、選択した画素データのレベル分布パターン検出を行い、検出されたパターンに基づいてクラスを決定するものとし、前記決定されたクラスに応じた予測係数と、前記入力画像信号から前記注目画素に応じて選択した画素の画素データを用いて予測演算を行うことにより、前記注目画素の画素データを生成するものとし、前記入力画像信号の画素および新たに作成する画素を前記注目画素として設定して入力画像信号よりも高解像度の画像信号を生成する解像度変換処理と、前記入力画像信号の画素を前記注目画素として設定して入力画像信号の階調レベルを補正した画像信号を生成する階調レベル変換処理を択一的に行われる。このため、解像度変換処理と階調レベル変換処理と１つの画像信号処理装置で効率よく行うことができる。
【０１２３】
また、解像度変換処理と階調レベル変換処理とでは、画素の選択やクラス決定およびクラスに応じて出力される予測係数が切り換えられるので、高画質の画像を表示させることができることを特徴とする請求項６記載の画像信号処理方法。
【０１２４】
さらに、画像表示を行う画像表示装置の判別が行われて、判別結果に基づいて解像度変換処理あるいは階調レベル変換処理が行われる。このため、画像表示装置に対応させて画像を高画質に表示することができる。
【図面の簡単な説明】
【図１】この発明に係る画像信号処理装置の構成を示す図である。
【図２】クラス分類部の構成を示す図である。
【図３】予測係数学習ブロック（解像度変換）の構成を示す図である。
【図４】予測係数学習ブロック（階調変換）の構成を示す図である。
【図５】フィルタ７１の特性を示す図である。
【図６】解像度変換ブロックでの画素切り出しを説明するための図である。
【図７】階調変換ブロックでの画素切り出しを説明するための図である。
【図８】解像度変換結果を示す図である。
【図９】階調変換動作を説明するための図である。
【図１０】階調変換前と階調変換後の階調レベルを示す図である。
【図１１】階調変換前後の画面上の輝度分布を示す図である。
【図１２】画像信号処理装置の他の構成を示す図である。
【図１３】変換ブロック９０の構成を示す図である。
【図１４】動き検出を行ったときの予測タップの選択動作を説明するための図である。
【図１５】表示デバイスの特性を示す図である。
【符号の説明】
１０・・・解像度変換メインブロック、１１，２１，３１，８１，９１・・・クラスタップ構築部、１２，２２，３２，８２，９２・・・クラス分類部、１３，２３，８３，９３・・・予測タップ構築部、１４，３４，８４，９４・・・予測タップ選択部、１５，２５，３５，８５，９５・・・予測係数メモリ、１６，２６，３６，８６，９６・・・積和演算部、１７，２７，８７・・・ラインダブラ、２０・・・解像度変換サブブロック、３０・・・階調変換ブロック、３３・・・予測タップ構築部、４１，４２，４５・・・信号切換部、４３・・・スイッチ、５０，８９・・・制御部、５１・・・処理モード設定スイッチ、６１，７１・・・フィルタ、６２，７２・・・クラス分類領域切出部、６３，６４，７３・・・クラス分類部、６５，７５・・・予測タップ領域切出部、６６，６７，７６・・・正規方程式加算部、６８，７８・・・予測係数決定部、８０・・・複合変換ブロック、９０・・・変換ブロック、９７・・・領域切出部、９８・・・動きクラス分類部、１２１・・・最大値検出回路、１２２・・・最小値検出回路、１２３・・・遅延回路、１２４，１２５・・・減算器、１２６・・・適応再量子化回路、１２７・・・並列化回路
【発明の属する技術分野】
この発明は画像信号処理装置及び画像信号処理方法に関する。詳しくは、入力画像信号から注目画素周辺の画素を選択して、この選択した画素データに基づいてクラスを決定するものとし、決定されたクラスに応じた予測演算設定情報と、入力画像信号から注目画素に応じて選択した画素の画素データを用いて予測演算を行うことにより、注目画素の画素データを生成するものとし、入力画像信号の画素および新たに作成する画素を注目画素として設定して入力画像信号よりも高解像度の画像信号を生成する解像度変換処理と、入力画像信号の画素を注目画素として設定して入力画像信号の階調レベルを補正した画像信号を生成する階調レベル変換処理を択一的に行えるようにしたものである。
【０００２】
【従来の技術】
近年、表示デバイスとして陰極線管を用いた画像表示装置に、様々なディジタル機器を接続して画像を表示させることが行われていると共に、画像表示装置では画像を高精細に表示できるように解像度の向上がはかられている。このため、ディジタル機器から出力される信号がＮＴＳＣ方式の映像信号に対応するＳＤ(Standard Definition)信号であっても、画像を高画質で表示できるように、ＳＤ信号をハイビジョン等の高解像度の映像信号に対応するＨＤ(High Definition)信号に変換して画像表示装置に供給することが行われている。
【０００３】
また、画像表示装置では、表示デバイスとして陰極線管を用いるだけでなく、省電力化や大画面化および省スペース化等のために表示デバイスとして液晶表示パネルやプラズマディスプレイパネル等も用いられてきている。
【０００４】
【発明が解決しようとする課題】
ところで、画像表示装置の表示デバイスが異なるものとされると、例えば陰極線管を用いた画像表示装置で画像表示を行う場合と同様にしてＳＤ信号をＨＤ信号に変換して画像表示装置に供給しても、表示デバイスの特性の違いから画像を高画質で表示することができない場合が生じてしまう。
【０００５】
図１５は表示デバイスとして用いられる陰極線管と液晶表示素子の特性を示している。ここで、陰極線管の場合には、図１４Ａに示すように入力信号と輝度の関係が入力信号のγ(=約2.2)乗に比例して変化することが知られている。一方、液晶表示素子の場合には、入力信号と光透過率（輝度）の関係が、図１４Ｂに示すように入力信号の信号レベルが低いときや高いときには輝度の変化量が少なく、信号レベルが中間レベルであるときに入力信号の信号レベルに応じて輝度が大きく変化する。このため、例えば入力信号が領域Ａの範囲であるとき、液晶表示素子では入力信号の変化が輝度差として現れず、輝度情報が欠落してしまう。また、液晶表示素子では、液晶セルの厚み方向のばらつきによって液晶層に印加される電界の強さが異なることから、輝度がばらつきを生じてしまう場合も生じる。さらに、液晶表示素子でのコントラスト比は陰極線管の数分の１程度である。このため、表示デバイスとして液晶表示素子を用いる場合には、解像度を向上させるよりも階調を補うことで高画質な表示画像を得ることができる。
【０００６】
そこで、この発明では使用する表示デバイスに応じて解像度あるいは階調を向上させることにより高画質の画像表示を行うことができる信号変換装置および信号変換方法を提供するものである。
【０００７】
【課題を解決するための手段】
この発明に係る画像信号処理装置は、入力画像信号から注目画素周辺の画素データを選択して、選択した画素データに基づいてクラスを決定するクラス決定手段と、予めクラス毎に予測演算設定情報を記憶して、クラス決定手段で決定されたクラスに応じた予測演算設定情報を出力する情報記憶手段と、入力画像信号から注目画素に応じて画素データを選択するタップ設定手段と、情報記憶手段から出力された予測演算設定情報とタップ設定手段で選択された画素データを用いた予測演算によって、注目画素の画素データを生成する予測演算手段とを用いて変換ブロックを構成し、変換ブロックの動作を制御する制御手段を設け、制御手段では、新たに作成する画素を注目画素として変換ブロックを用いることにより、入力画像信号よりも高解像度の画像信号を生成する解像度変換処理と、入力画像信号の画素を注目画素として変換ブロックを用いることにより、入力画像信号の階調レベルを補正した画像信号を生成する階調レベル変換処理を択一的に選択可能としたものである。
【０００８】
また、画像信号処理方法は、入力画像信号から注目画素周辺の画素を選択して、選択した画素データに基づいてクラスを決定するものとし、決定されたクラスに応じた予測演算設定情報と、入力画像信号から注目画素に応じて選択した画素の画素データを用いて予測演算を行うことにより、注目画素の画素データを生成するものとし、入力画像信号の画素および新たに作成する画素を注目画素として設定して入力画像信号よりも高解像度の画像信号を生成する解像度変換処理と、入力画像信号の画素を注目画素として設定して入力画像信号の階調レベルを補正した画像信号を生成する階調レベル変換処理を択一的に行えるようにしたものである。
【０００９】
この発明においては、入力画像信号から注目画素周辺の画素が選択されて、選択された画素データのレベル分布パターン検出が行われる。この検出されたパターンに基づいてクラスが決定されて、決定されたクラスに応じた予測演算設定情報と、入力画像信号から注目画素に応じて選択した画素の画素データを用いて予測演算が行われて、注目画素の画素データが生成される。ここで、入力画像信号の画素および新たに作成する画素が注目画素として設定されて入力画像信号よりも高解像度の画像信号を生成する解像度変換処理と、入力画像信号の画素が注目画素として設定されて入力画像信号の階調レベルを補正した画像信号を生成する階調レベル変換処理が択一的に行われる。また、それぞれの変換処理では、変換処理に応じた予測演算設定情報、例えば予測係数からクラスに応じた予測係数が選択される。
【００１０】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の一形態について説明する。この実施の一形態では、入力画像信号例えばＮＴＳＣ方式等の映像信号がディジタル化された信号（以下「ＳＤ(Standard Definition)信号」という）に対して、解像度を高める解像度変換処理あるいは階調を高める階調変換処理を、画像表示装置で用いた表示デバイスに応じて切り替えて実施するものである。
【００１１】
この解像度変換処理では、クラス分類適応処理を行うことによりＳＤ信号に基づく画像の解像度を高めた信号（以下「ＨＤ(High Definition)信号」という）を生成するものである。すなわち、ＳＤ信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行うと共に、クラス毎に予め学習により獲得された予測演算設定情報を格納した情報記憶手段を設けるものとし、クラスに応じた予測演算設定情報に基づいた演算を行うことで最適な推定値を出力して、水平方向および垂直方向の画素数を増加させて、ＳＤ信号よりも解像度の高いＨＤ信号を生成するものである。
【００１２】
また、階調変換処理では、クラス分類適応処理を行うことでＳＤ信号に基づく画像の階調を階調変換前よりも高めるものである。すなわち、ＳＤ信号の輝度レベル分布に応じてクラス分割を行うと共に、クラス毎に予め学習により獲得された予測演算設定情報を格納した情報記憶手段を設けるものとし、クラスに応じた予測演算設定情報に基づいた演算を行うことで最適な推定値を出力して、階調の高められたＳＤ信号を生成するものである。
【００１３】
図１は、画像信号処理装置の構成を示している。ＳＤ信号の輝度データは、解像度変換メインブロック１０のクラスタップ構築部１１と予測タップ構築部１３、解像度変換サブブロック２０のクラスタップ構築部２１と予測タップ構築部２３、階調変換ブロック３０のクラスタップ構築部３１と予測タップ構築部３３に供給される。なお、解像度変換メインブロック１０と解像度変換サブブロック２０は同様な構成であり、解像度変換サブブロック２０の説明は解像度変換メインブロック１０で代用する。
【００１４】
クラスタップ構築部１１（２１）では、解像度を高めるために作成すべき注目画素（以下「作成画素」という）の周囲の複数画素（以下「解像度変換用周辺画素」という）の領域の切り出しを行い、領域内の画素のデータを空間クラスタップとしてクラス分類部１２（２２）に供給する。
【００１５】
クラス分類部１２（２２）では、空間クラスタップのレベル分布のパターンを判別してクラス分類を行う。この場合、クラス数が膨大となることを防ぐために、例えば各画素８ビット（２５６種類）の入力データをより少ないビット数の空間クラス分類コードへ圧縮するような処理を行う。例えば、ＡＤＲＣ（Adaptive Dynamic Range Coding ）を用いることで、空間クラスタップからビット数の少ない空間クラス分類コードを生成することができる。なお、情報圧縮手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等の圧縮手段を用いても良い。
【００１６】
ＡＤＲＣは、ＶＴＲ（Video Tape Recorder）向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この実施の形態では、ＡＤＲＣを空間クラス分類コードの発生に使用している。
【００１７】
図２は、ＡＤＲＣを用いたクラス分類部１２の構成を示している。解像度変換用周辺画素のデータは、最大値検出回路１２１と最小値検出回路１２２と遅延回路１２３に供給される。最大値検出回路１２１では、切り出された解像度変換用周辺画素の輝度データから最大値ＭＸを検出して減算器１２４に供給する。また、最小値検出回路１２２では、切り出された解像度変換用周辺画素の輝度データから最小値ＭＮを検出して減算器１２４，１２５に供給する。減算器１２４では、最大値ＭＸから最小値ＭＮを減算して、ダイナミックレンジＤＲを算出する。この算出されたダイナミックレンジＤＲは、適応再量子化回路１２６へ供給される。
【００１８】
遅延回路１２３では、最大値検出回路１２１および最小値検出回路１２２がそれぞれ検出にかかる時間だけ画素の輝度データを遅延させて減算器１２５に供給する。減算器１２５では、供給されたデータから最小値ＭＮを減算して、得られた減算値ＭＳを適応再量子化回路１２６に供給する。
【００１９】
適応再量子化回路１２６では、ダイナミックレンジＤＲに応じた所定の量子化ステップ幅を用いて、減算値ＭＳの量子化を画素毎に行う。さらに、量子化によって得られたデータを並列化回路１２７で画素切り出し単位毎に並列化して、空間クラス分類コードＫＭ（ＫＳ）として図１に示す予測タップ選択部１４（２４）と予測係数メモリ１５（３５）に供給する。
【００２０】
予測タップ構築部１３（２３）では、ＳＤ信号から予測演算に必要とされる複数の画素（以下、これを予測タップと呼ぶ）が含まれる領域を切り出して、予測タップのデータを予測タップ選択部１４（２４）に供給する。予測タップ選択部１４（２４）では、クラス分類部１２（２２）からの空間クラス分類コードに基づき、予測タップ構築部１３（２３）から供給された画素の選択を行い、選択した画素のデータを積和演算部１６（２６）に供給する。
【００２１】
予測係数メモリ１５（２５）には、ＳＤ信号とＨＤ信号の関係を学習することにより取得された予測係数が、予測演算設定情報としてクラス毎に記憶されている。この予測係数は、線形推定式によりＳＤ信号をＨＤ信号へ変換するための情報である。なお、予測係数の取得方法については後述する。ここで、空間クラス分類コードＫＭ（ＫＳ）が予測係数メモリ１５（２５）に供給されると、この空間クラス分類コードに対応した予測係数を読み出して積和演算部１６（２６）に供給する。
【００２２】
積和演算部１６（２６）では、予測タップ選択部１４（２４）からの予測タップ（画素値）Ｔ1，Ｔ2，‥‥Ｔiと、予測係数メモリ１５（２５）から読み出された予測係数ｗ1 ，ｗ2 ，‥‥ｗiとの線形１次結合式（式（１））の演算を行うことにより、新たに形成する画素のデータを算出する。
【００２３】
Ｌ１＝ｗ1×Ｔ1＋ｗ2×Ｔ2＋‥‥＋ｗi×Ｔi ・・・（１）
【００２４】
このように、予測係数がクラス毎に予め学習により求めて予測係数メモリ１５（２５）に記憶されると共に、空間クラスタップのレベル分布のパターンに応じたクラスの予測係数と、予測タップに基づいて演算が行われて、ＨＤ信号の画素データが生成される。
【００２５】
ここで、積和演算部１６は、ＳＤ信号の現存ライン上のデータを出力し、積和演算部２６は、現存ライン間に位置する作成ライン上のデータを出力する。同時に、積和演算部１６，２６は、水平方向で２倍の数の画素データを出力する。
【００２６】
積和演算部１６で生成された画素データはラインダブラ１７に供給されると共に、積和演算部２６で生成された画素データはラインダブラ２７に供給される。
【００２７】
ラインダブラ１７，２７は、ライン倍速の処理を行うものである。積和演算部１６，２６は、ＳＤ信号からＨＤ信号の画素データを生成するが、生成された画素データの水平周期はＳＤ信号と同一である。このため、ラインダブラ１７，２７は、制御部５０からの書込読出制御信号ＣＴＭによって水平周波数を２倍とするライン倍速処理を行う。このライン倍速処理が行われてラインダブラ１７から出力されるデータは信号切換部４１の端子ａに供給されると共に、ライン倍速処理が行われてラインダブラ２７から出力されるデータは信号切換部４１の端子ｂに供給される。
【００２８】
信号切換部４１は後述する制御部５０からの切換制御信号ＣＳＡに基づき、ＨＤ信号の水平周期で可動端子ｃが端子ａおよび端子ｂに切り替えられる。また、可動端子ｃには信号切換部４２の端子ａが接続されており、ラインダブラ１７，２７からのデータを水平周期で交互に選択して得られたデータ、すなわちＳＤ信号の解像度を高めたＨＤ信号が信号切換部４２の端子ａに供給される。
【００２９】
次に、階調変換ブロック３０のクラスタップ構築部３１では、輝度レベルを補正する画素である注目画素と、注目画素の周囲の複数画素（以下「階調変換用周辺画素」という）の領域の切り出しを行い、領域内の画素の輝度データをクラス分類部３２に供給する。
【００３０】
クラス分類部３２では、注目画素の輝度レベルだけでなく周辺画素の輝度レベル分布のパターンを判別してクラス分類を行う。このクラス分類部３２でもクラス分類部１２と同様にＡＤＲＣを用いて輝度クラス分類コードを生成して図１に示す予測タップ選択部３４と予測係数メモリ３５に供給する。
【００３１】
ここで、クラス分類部３２では、例えば注目画素と階調変換用周辺画素の輝度データを用いて、注目画素の輝度レベルに応じた輝度クラス分類コードと、注目画素と階調変換用周辺画素に基づく輝度レベルの分布パターンに応じた輝度クラス分類コードを生成して、この２つのクラス分類コードに基づき輝度クラス分類コードＫＢを生成して予測タップ選択部３４と予測係数メモリ３５に供給する。
【００３２】
予測タップ構築部３３では、ＳＤ信号から予測演算用の画素である予測タップを切り出し、この予測タップの輝度データを予測タップ選択部３４に供給する。
【００３３】
予測タップ選択部３４では、クラス分類部３２からの輝度クラス分類コードＫＢに基づき、予測タップ構築部３３から供給された画素の選択を行い、選択した画素の輝度データを積和演算部３６に供給する。
【００３４】
予測係数メモリ３５には、補正を行う前の正しい階調のＳＤ信号と、表示デバイスで表示される画像の輝度との関係を学習することにより、取得された予測係数が予測演算設定情報としてクラス毎に記憶されている。この予測係数は、線形推定式により輝度レベルが補正されて階調創造が行われた信号とする変換処理を行うための情報である。なお、予測係数の取得方法については後述する。
【００３５】
ここで、輝度クラス分類コードＫＢが予測係数メモリ３５に供給されると、この輝度クラス分類コードに対応した予測係数を読み出して積和演算部３６に供給する。
【００３６】
積和演算部３６では、予測タップ選択部３４からの予測タップのデータＴ1c，Ｔ2c，‥‥Ｔicと、予測係数メモリ３５から読み出された予測係数ｗ1c ，ｗ2c，‥‥ｗicとの線形１次結合式（式（２））の演算を行うことにより、注目画素の新たなデータを算出する。
【００３７】
Ｇ＝ｗ1c×Ｔ1c＋ｗ2c×Ｔ2c＋‥‥＋ｗic×Ｔic ・・・（２）
【００３８】
このように、予測係数がクラス毎に予め学習により求めて予測係数メモリ３５に記憶されると共に、輝度レベル分布のパターンに応じたクラスの予測係数と、予測タップに基づいて演算が行われて、注目画素の輝度データを補正して信号切換部４２の端子ｂに供給する。
【００３９】
信号切換部４２には制御部５０から切換制御信号ＣＳＢが供給されており、この切換制御信号ＣＳＢによって可動端子ｃが端子ａ側あるいは端子ｂ側に切り替えられる。
【００４０】
制御部５０には処理モード設定スイッチ５１が接続されており、処理モード設定スイッチ５１のスイッチ設定状態に応じて切換制御信号ＣＳＡ，ＣＳＢを生成して信号切換部４１，４２に供給し、解像度変換あるいは階調変換を択一的に選択する。また制御部５０では、例えばＤＤＷＧ(Digital Display Working Group)が策定したＤＶＩ(Digital Visual Interface)のように、ホットプラグ機能によって画像表示装置の接続を検出すると共に、ＤＤＣ(Display Data Channel)の機能を使用して実現されているプラグ・アンド・プレイによって、画像表示装置の機種名や解像度等の表示装置情報を入手すると共に画像表示装置で用いられている表示デバイスを判別する。ここで、制御部５０では、表示デバイスが陰極線管であるかあるいは液晶表示素子等であるかの判別や解像度がどの程度であるかの判別を行い、判別結果に基づき切換制御信号ＣＳＡ，ＣＳＢを生成して信号切換部４１，４２に供給することにより解像度変換あるいは階調変換のいずれかを択一的に選択する。
【００４１】
次に、予測係数の作成（学習）について説明する。予測係数を学習によって得るためには、表示デバイスに応じたフィルタによって教師信号ＤＹから生徒信号を生成し、フィルタに入力された教師信号ＤＹと関数フィルタから出力される生徒信号ＤＳとを学習用の対として、予測係数の作成が行われる。
【００４２】
図３は、解像度変換を行うために必要とされる予測係数を作成するための予測係数学習ブロックの構成を示している。フィルタ６１では、教師信号であるＨＤ信号に対して間引き処理を行うことでＳＤ信号を形成する。例えば、水平方向および垂直方向の画素数をそれぞれ１／２として生徒信号であるＳＤ信号を形成する。
【００４３】
このフィルタ６１からのＳＤ信号は、クラス分類領域切出部６２および予測タップ領域切出部６５に供給される。クラス分類領域切出部６２では、ＳＤ信号から領域切り出しを行い、領域内の画素のデータをクラス分類部６３および６４に供給する。
【００４４】
クラス分類部６３，６４は、図１に示す信号変換装置におけるクラス分類部１２，２２と同様にＡＤＲＣを用いてクラス分類コードを発生する。ここで、クラス分類部６３では，ＳＤ信号のライン上のデータに関するクラス分類コードを発生して、予測タップ領域切出部６５と正規方程式加算部６６に供給する。また、クラス分類部６４では，ＳＤ信号のライン間のデータに関するクラス分類コードを発生して、予測タップ領域切出部６５と正規方程式加算部６７に供給する。
【００４５】
予測タップ領域切出部６５では、クラス分類部６３からのクラス分類コードに基づいて、ＳＤ信号のライン上にデータを作成するため予測タップ領域の切り出しを行い、この領域内のデータを予測タップとして正規方程式加算部６６に供給する。また、クラス分類部６４からのクラス分類コードに基づいてＳＤ信号のライン間にデータを作成するため予測タップ領域の切り出しを行い、この領域内のデータを予測タップとして正規方程式加算部６７に供給する。
【００４６】
正規方程式加算部６６，６７では、正規方程式データを生成して予測係数決定部６８に供給し、予測係数決定部６８では、正規方程式データを用いて演算処理を行い予測係数を算出する。
【００４７】
ここで、予測係数の算出について、説明を一般化してｎ画素による予測係数の算出について説明する。予測タップとして選択される入力画素の輝度レベルをそれぞれｘ1 ,‥‥，ｘn とし、出力画素の輝度レベルをｙとしたとき、クラス毎に予測係数ｗ1 ，‥‥，ｗn によるｎタップの線形推定式を設定する。これを下記の式（３）に示す。
【００４８】
ｙ＝ｗ1×ｘ1 ＋ｗ2×ｘ2 ＋‥‥＋ｗn×ｘn ・・・（３）
【００４９】
この式（３）における予測係数ｗ1 ，‥‥，ｗnを求める方法としては、最小二乗法による解法が考えられる。この解法では、Ｘを入力画素の輝度レベル、Ｗを予測係数、Ｙを出力画素の輝度レベルとして式（４）の観測方程式を作るようにデータを収集する。この式（４）において、ｍは学習データ数を表し、ｎは上述したように予測タップ数を示している。
【００５０】
【数１】
次に式（４）の観測方程式をもとに、式（５）の残差方程式を立てる。
【００５２】
【数２】
この式（５）から、各予測係数ｗiの最確値は、式（６）を最小にする条件が成り立つ場合と考えられる。
【００５４】
【数３】
すなわち、式（７）の条件を考慮すれば良い。
【００５６】
【数４】
式（７）のｉに基づくｎ個の条件を考え、これを満たすｗ1 ，……，ｗn を算出すればよい。そこで、式（５）から次式（８）を得て、さらに式（７）と次式（８）から式（９）を得るものとする。
【００５８】
【数５】
【数６】
そして式（５）及び式（９）から、次式（１０）の正規方程式を得ることができる。
【００６１】
【数７】
式（１０）の正規方程式は、未知数の数がｎ個の連立方程式であるから、これにより各ｗi の最確値を求めることができる。実際には、掃き出し法（Gauss-Jordanの消去法）等の一般的な行列解法を用いて連立方程式を解く。
【００６３】
正規方程式加算部６６，６７のそれぞれは、クラス分類部６３，６４から供給されたクラス情報と、予測タップ領域切出部６５から供給された２組の予測タップと、作成しようとするＨＤ信号を用いて正規方程式の加算を行う。
【００６４】
学習に充分なフレーム数のデータ入力が終了した後、正規方程式加算部６６，６７は予測係数決定部６８に正規方程式データを出力する。
【００６５】
予測係数決定部６８では、上述の連立方程式を解いて予測係数である各ｗi の最確値を求めると共に、算出された予測係数を予測係数メモリ１５，２５に書き込む。
【００６６】
次に、図４は、階調変換を行うために必要とされる予測係数を作成するための予測係数学習ブロックの構成を示している。フィルタ７１では、階調の正しい輝度レベルの教師信号ＢＹから、信号レベルの変換を行い生徒信号ＢＳを形成してクラス分類領域切出部７２と予測タップ領域切出部７３に供給する。このフィルタ７１に入力された教師信号ＢＹとフィルタ７１から出力される生徒信号ＢＳとを学習用の対として、予測係数の作成が行われる。
【００６７】
このフィルタ７１は、生徒信号ＢＳと表示デバイスとの総合特性が直線状となるように、教師信号ＢＹの信号レベルを変換するためのものあり、例えば表示デバイスの特性が図１５Ｂに示すような特性であるときには、総合特性を直線状として画像の階調を表示デバイスの画面上に正しく再現できるように教師信号ＢＹを図５に示すように補正して生徒信号ＤＳを生成する。
【００６８】
このフィルタ７１からの階調補正されたＳＤ信号は、クラス分類領域切出部７２および予測タップ領域切出部７５に供給される。クラス分類領域切出部７２では、階調補正されたＳＤ信号から領域切り出しを行い、領域内の画素のデータをクラス分類部７３に供給する。
【００６９】
クラス分類部７３は、クラス分類部６３等と同様にＡＤＲＣを用いてクラス分類コードを発生して、予測タップ領域切出部７５と正規方程式加算部７６に供給する。予測タップ領域切出部７５では、例えば注目画素を中心としてクラス分類コードに基づき複数の周辺画素を予測タップとして設定して正規方程式加算部７６に供給する。
【００７０】
正規方程式加算部７６では、正規方程式データを生成して予測係数決定部７８に供給し、予測係数決定部７８では、正規方程式データを用いて演算処理を行い予測係数を算出する。この正規方程式加算部７６と予測係数決定部７８では、上述した正規方程式加算部６６および予測係数決定部６８と同様な処理を行い、予測係数決定部６８で算出された予測係数を予測係数メモリ３５に書き込む。
【００７１】
以上のように学習を行った結果、予測係数メモリ１５，２５には、作成画素のデータを推定するための、統計的にもっとも真値に近い推定ができる予測係数が格納されることとなる。また、予測係数メモリ３５には、クラス毎に注目画素の輝度レベルを推定するための、統計的にもっとも真値に近い推定ができる予測係数が格納されることとなる。
【００７２】
また、予測タップ領域切出部６５，７５が出力する予測タップの個数は、画像信号処理装置で用いる予測タップの個数より大きいものとされて、予測係数決定部６８，７８では、クラス毎により多くの予測係数が求められて、この予測係数の中で、絶対値が大きいものから順に使用する数の予測係数が選択されると共に、選択された予測係数が予測係数メモリ１５，２５，３５のクラスに対応するアドレス位置にそれぞれ格納される。
【００７３】
次に動作について説明する。まず制御部５０と画像表示装置との通信により、表示デバイスとして陰極線管が用いられると共に、画像表示装置ではＳＤ信号に基づく画像だけでなく、ＳＤ信号よりも解像度の高いＨＤ信号に基づく画像も表示可能であると判別されたときには、切換制御信号ＣＳＢによって信号切換部４２の可動端子ｃを端子ａ側に設定する。また、信号切換部４１の可動端子ｃをＨＤ信号の水平周期で端子ａ側あるいは端子ｂ側に交互に切り替える。
【００７４】
ここで、解像度変換メインブロック１０のクラスタップ構築部１１と予測タップ構築部１３では、ＳＤ信号のラインの近傍に位置する作成画素に対してＳＤ信号の切り出しを行い、例えば図６Ａに示すように、作成画素Ｐmaに対して上下左右方向に位置する画素を時間軸方向も含めて解像度変換用周辺画素Ｑａとして切り出しを行う。なお、クラスタップ構築部１１と予測タップ構築部１３における切り出し画素数は、等しくてもあるいは異なるものであっても良い。
【００７５】
クラスタップ構築部１１では、解像度変換用周辺画素のデータを空間クラスタップとしてクラス分類を行い、得られた空間クラス分類コードを予測タップ選択部１４と予測係数メモリ１５に供給する。
【００７６】
予測タップ選択部１４では、空間クラス分類コードに基づき予測タップの選択を行う。例えば、画素データのレベルのばらつきが少ないと空間クラス分類コードで示されているとき、予測タップとして選択する領域が狭いと積和演算部１６によって算出された画素データの差が現れない。このため、予測タップとして選択する領域を広くして画素データの差が生じるように予測タップの選択を行う。
【００７７】
このようにして予測タップ選択部１４で選択された予測タップと、空間クラス分類コードに基づいて予測係数メモリ１５から読み出された予測係数を用いて式（１）に示す積和演算を行うことにより、ＳＤ信号のラインの近傍に２倍の画素データを生成できる。
【００７８】
同様に、解像度変換サブブロック２０のクラスタップ構築部２１と予測タップ構築部２３では、ＳＤ信号のラインから離れて位置する作成画素Ｐmbに対してのＳＤ信号の切り出しを行う。例えば図６Ｂに示すように、作成画素に対して上下左右方向に位置する画素を時間軸方向も含めて解像度変換用周辺画素Ｑｂとして切り出しを行い、クラス分類、クラス分類によって得られた空間クラス分類コードに基づいて選択した予測タップおよび予測係数を用いた積和演算を行うことで、ＳＤ信号のラインから離れた位置に２倍の画素データを生成できる。
【００７９】
ここで、解像度変換メインブロック１０で生成された画素データをラインダブラ１７に供給してＳＤ信号の２倍の周波数で画素データを読み出すと共に、解像度変換サブブロック２０で生成された画素データをラインダブラ２７に供給してＳＤ信号の２倍の周波数で画素データを読み出し、さらに、ラインダブラ１７，２７から読み出したデータをＨＤ信号の水平周波数で交互に選択することにより、信号切換部４１の可動端子ｃから解像度変換が行われたＨＤ信号を得ることができる。
【００８０】
また、階調変換ブロック３０のクラスタップ構築部３１と予測タップ構築部３３においても、同様にして階調変換を行う注目画素に対してＳＤ信号の切り出しを行う。例えば図７に示すように、注目画素Ｐmcに対して上下左右方向に位置する画素を階調変換用周辺画素Ｑcとして切り出しを行い、クラス分類部３２で輝度クラス分類コードを生成し、予測タップ選択部３４では、輝度クラス分類コードに基づいた予測タップの選択を行う。例えば、画像の輝度傾斜が緩やかでレベルのばらつきが少ないと輝度クラス分類コードで示されているとき、予測タップとして選択する領域が狭いと積和演算部３６によって算出された輝度データの差が現れない。このため、予測タップとして選択する領域を広くして輝度データの差が生じるように、すなわち階調差が生じるように予測タップの選択を行う。
【００８１】
このようにして予測タップ選択部３４で選択された予測タップと、輝度クラス分類コードに基づいて予測係数メモリ３５から読み出された予測係数を用いて式（２）に示す積和演算を行うことにより輝度データが算出されて、注目画素の輝度データを補正できる。
【００８２】
ここで、処理モード設定スイッチ５１の設定状態あるいは制御部５０と画像表示装置との通信により、表示デバイスとして陰極線管が用いられて、ＳＤ信号に基づく画像だけでなくＨＤ信号に基づく画像も表示できるものと判別されたときには、信号切換部４２の可動端子をａ側に設定する。この場合には、図８に示すようにＳＤ信号に基づく画素間に新たな画素が生成されたＨＤ信号が出力されるので、高解像度の画像を表示できる。
【００８３】
また、表示デバイスとして液晶表示素子が用いられると判別されたときには、切換制御信号ＣＳＢによって信号切換部４２の可動端子ｃを端子ｂ側に設定する。この場合には、注目画素の輝度レベルと周辺画素を含めた輝度レベル分布パターンに応じて注目画素の輝度レベルが調整されるので、例えば図９に示すように、入力画像信号の信号レベルが「３」であるときには、周辺画素を含めた輝度レベル分布のパターンに応じて信号レベルが「２０」〜「２５」のいずれかに変換され、信号レベルが「４」であるときには、パターンに応じて信号レベルが「２６」〜「２９」のいずれかに変換される。すなわち、入出力特性が線形であって図１０Ａの破線で示すように階調表示が行われる場合に、表示デバイスの入出力特性が非線形であるため、実線で示すように階調レベルが欠落する場合であっても、階調変換処理によって階調創造が行われて、図１０Ｂに示すように、入出力特性が線形である場合と同様な階調レベルを持たせることができる。このため、図１１Ａに示すように画面上の輝度レベルが小さいために画像が黒くつぶれてしまい、十分な階調で画像を表示することができない場合であっても、十分な階調を得ることができるように輝度レベルの変換が行われると共に、周辺画素の輝度レベルによって階調創造が行われて、図１１Ｂに示すテーブル変換の場合のように輝度レベルが高いものとされるが、輝度レベルの差が少ないためにコントラストの少ないフラットな画像となってしまうことなく、図１１Ｃに示すように輝度レベルが高いものとされると共に階調創造も行われて画像を高画質で表示できる。
【００８４】
ところで、上述の実施の形態では、解像度変換を行うための解像度変換メインブロック１０と解像度変換サブブロック２０および階調変換ブロック３０を別個に設けるものとしたが、解像度変換メインブロック１０と解像度変換サブブロック２０および階調変換ブロック３０は略同様な構成とされている。このため、解像度変換メインブロック１０と解像度変換サブブロック２０のいずれか一方の予測係数メモリに、階調変換ブロック３０の予測係数メモリに記憶されている予測係数も記憶させることで、１つのブロックを解像度変換と階調変換で共用することもできる。
【００８５】
図１２は、階調変換ブロック３０と例えば解像度変換メインブロック１０の動作を１つの複合変換ブロック８０で行うように構成した画像信号処理装置の構成を示している。
【００８６】
ＳＤ信号の輝度データは、複合変換ブロック８０のクラスタップ構築部８１と予測タップ構築部８３に供給される。また、スイッチ４３を介して解像度変換サブブロック２０のクラスタップ構築部２１と予測タップ構築部２３に供給される。なお、解像度変換サブブロック２０は上述の実施の形態と同一であり説明は省略する。
【００８７】
クラスタップ構築部８１では、後述する制御部８９からの変換モード設定信号ＭＣＴに基づき、作成画素に対して周囲の複数画素の領域を切り出し、あるいは輝度レベルを補正する注目画素と周囲の階調変換用周辺画素の領域を切り出し、領域内の画素のデータをクラス分類部８２に供給する。
【００８８】
クラス分類部８２では、切り出された領域の画素のレベル分布パターンを判別してクラス分類を行う。このクラス分類では制御部８９から供給された変換モード設定信号ＭＣＴに基づいてクラス分類処理を行い、クラス分類コードを生成して予測タップ選択部８４と予測係数メモリ８５に供給する。
【００８９】
予測タップ構築部８３では、制御部８９から供給された変換モード設定信号ＭＣＴに基づき、ＳＤ信号から予測演算に必要とされる予測タップが含まれる領域の設定を行うと共に、設定された領域から予測タップを切り出して予測タップ選択部８４に供給する。
【００９０】
予測タップ選択部８４では、クラス分類部８２からのクラス分類コードに基づき、予測タップ構築部８３から供給された予測タップの選択を行い、選択した予測タップを積和演算部８６に供給する。
【００９１】
予測係数メモリ８５には、ＳＤ信号とＨＤ信号の関係を学習することにより取得された解像度変換用予測係数と、補正を行う前の正しい階調のＳＤ信号と表示デバイスで表示される画像の輝度の関係を学習することにより取得された階調変換用予測係数とがクラス毎に記憶されている。この予測係数は、線形推定式によりＳＤ信号をＨＤ信号へ変換したり、ＳＤ信号の階調創造を行うための情報である。ここで、クラス分類コードが予測係数メモリ８５に供給されると、制御部８９から供給された変換モード設定信号ＭＣＴに基づいて解像度変換用予測係数あるいは階調変換用予測係数のいずれかが選択されて、選択された予測係数からクラス分類コードに対応した予測係数を読み出して積和演算部８６に供給する。
【００９２】
積和演算部８６では、予測タップ選択部８４からの予測タップと、予測係数メモリ８５から読み出された予測係数とを用いた線形１次結合式による演算を行うことで、作成画素のデータを算出、あるいは注目画素の階調創造が行われたデータを算出する。
【００９３】
ここで、積和演算部８６は、作成画素のデータを算出する場合にＳＤ信号の現存ライン上のデータを出力すると共に、水平方向で２倍の数の画素データを出力する。
【００９４】
積和演算部８６で生成された画素データはラインダブラ８７に供給される。このラインダブラ８７には、制御部８９から書込読出制御信号ＣＴＭが供給されて、この書込読出制御信号ＣＴＭによって、積和演算部８６から供給されたデータをＳＤ信号の水平周波数あるいはＳＤ信号の例えば２倍の水平周波数で読み出して信号切換部４５の端子ａ側に供給する。また、信号切換部４５の端子ｂ側にはラインダブラ２７から出力された信号が供給される。この信号切換部４５には、制御部８９から切換制御信号ＣＳＣが供給されて、この切換制御信号ＣＳＣによって可動端子ｃが端子ａ側あるいは端子ｂ側に切り替えられる。
【００９５】
スイッチ４３には、制御部８９から変換モード設定信号ＭＣＴが供給されて、この変換モード設定信号ＭＣＴに基づきスイッチ動作が制御される。
【００９６】
制御部８９は、画像表示装置との通信によって表示装置情報を入手して画像表示装置で用いられている表示デバイスを判別する。ここで、制御部８９では、入手した表示装置情報に基づき、表示デバイスが陰極線管であるかあるいは液晶表示素子等であるか、また解像度はどの程度であるかの判別を行い、判別結果に基づき変換モード設定信号ＭＣＴや書込読出制御信号ＣＴＭおよび切換制御信号ＣＴＣを生成して、複合変換ブロック８０やスイッチ４３、ラインダブラ２７，８７、信号切換部４５に供給し、表示デバイスに応じて解像度変換あるいは階調変換を行う。
【００９７】
ここで、制御部８９では、画像表示装置との通信によって表示デバイスが例えば陰極線管であり、ＨＤ信号に基づく画像を表示であると判別したときには、変換モード設定信号によってスイッチ４３をオン状態とする。また、クラスタップ構築部８１では、クラスタップ構築部１１と同様に解像度変換用周辺画素の領域の切り出しを行うと共に、クラス分類部８２ではクラス分類部１２と同様にして、切り出された領域の画素のレベル分布パターンを判別してクラス分類を行う。
【００９８】
予測タップ構築部８３では、予測タップ構築部１３と同様にしてＳＤ信号から予測演算に必要とされる予測タップが含まれる領域の設定を行うと共に、設定された領域から予測タップを切り出して予測タップ選択部８４に供給する。さらに予測タップ選択部８４では、予測タップ選択部１４と同様にしてクラス分類コードに基づき、予測タップ構築部８３から供給された予測タップの選択を行い、選択した予測タップを積和演算部８６に供給する。
【００９９】
また、予測係数メモリ８５では、解像度変換用予測係数からクラス分類コードに応じた予測係数を読み出して積和演算部８６に供給する。
【０１００】
積和演算部８６では、積和演算部１６と同様に予測タップ選択部８４からの予測タップと、予測係数メモリ８５から読み出された予測係数とを用いた線形１次結合式による演算を行うことで、新たに生成する画素のデータを算出してラインダブラ８７に供給する。
【０１０１】
ここで、例えば積和演算部８６はＳＤ信号の現存ライン上のデータを出力すると共に、積和演算部２６は現存ライン間に位置する作成ライン上のデータを出力する。さらに、積和演算部２６，８６は水平方向で２倍の数の画素データを出力する。
【０１０２】
ラインダブラ２７，８７では、書込読出制御信号ＣＴＭに基づいてライン倍速の処理を行いラインダブラ２７から出力されるデータは信号切換部４５の端子ｂに供給されると共に、ライン倍速処理が行われてラインダブラ８７から出力されるデータは信号切換部４５の端子ａに供給される。
【０１０３】
信号切換部４５では、切換制御信号ＣＳＣによってＨＤ信号の水平周期で可動端子ｃが端子ａおよび端子ｂに交互に切り替えられて、信号切換部４５の可動端子ｃからＳＤ信号の解像度を高めたＨＤ信号を出力させることができる。
【０１０４】
また制御部８９では、画像表示装置との通信によって表示デバイスが例えば液晶表示素子であると判別したときには、変換モード設定信号によってスイッチ４３をオフ状態とする。また、クラスタップ構築部８１では、クラスタップ構築部３１と同様に階調変換用周辺画素の領域の切り出しを行うと共に、クラス分類部８２ではクラス分類部３２と同様にして、切り出された領域の画素のレベル分布パターンを判別してクラス分類を行う。
【０１０５】
予測タップ構築部８３では、予測タップ構築部３３と同様にしてＳＤ信号から予測演算に必要とされる予測タップが含まれる領域の設定を行うと共に、設定された領域から予測タップを切り出して予測タップ選択部８４に供給する。さらに予測タップ選択部８４では、予測タップ選択部３４と同様にしてクラス分類コードに基づき、予測タップ構築部８３から供給された予測タップの選択を行い、選択した予測タップを積和演算部８６に供給する。
【０１０６】
また、予測係数メモリ８５では、階調変換用予測係数からクラス分類コードに応じた予測係数を読み出して積和演算部８６に供給する。
【０１０７】
積和演算部８６では、積和演算部３６と同様に予測タップ選択部８４からの予測タップと、予測係数メモリ８５から読み出された予測係数とを用いた線形１次結合式による演算を行うことで、注目画素の新たなデータを生成してラインダブラ８７に供給する。
【０１０８】
ラインダブラ８７では、書込読出制御信号ＣＴＭに基づき、供給されたデータのライン倍速処理を行うことなくＳＤ信号のデータとして信号切換部４５の端子ｂに供給する。また、信号切換部４５では切換制御信号ＣＳＣに基づいて可動端子ｃを端子ａ側に切り替えた状態で保持する。このため、信号切換部４５の可動端子ｃから階調創造を行って階調が高められたＳＤ信号を出力させることができる。
【０１０９】
このように、１つの変換ブロックを解像度変換と階調変換で共用することができるので、構成を簡単とすることができる。
【０１１０】
また、上述の実施の形態では、解像度変換や階調変換を行う際に、本出願人による特開平９-74543号公報の明細書および図面で提案されているような画像の動き量をクラス分類して、この分類結果を用いてクラス分類コードを生成するものとし、画像の動き量を考慮して予測タップの選択や予測係数の読み出しを行うものとしても良い。
【０１１１】
図１３は、画像の動き量も考慮した変換ブロックの構成を示している。変換ブロック９０のクラスタップ構築部９１では、解像度変換用周辺画素あるいは階調変換用周辺画素の領域の切り出しを行い、領域内の画素のデータをクラス分類部９２に供給する。
【０１１２】
クラス分類部９２では、レベル分布のパターンを判別してクラス分類を行う。このクラス分類部９２では、上述のように例えばＡＤＲＣを用いてクラス分類コードを生成して予測タップ選択部９４と予測係数メモリ９５に供給する。
【０１１３】
予測タップ構築部９３では、ＳＤ信号から予測タップを切り出して予測タップ選択部９４に供給する。また、予測タップ選択部９４では、クラス分類部９２からのクラス分類コードに基づき、予測タップ構築部９３から供給された画素の選択を行い、選択した画素のデータを積和演算部９６に供給する。
【０１１４】
予測係数メモリ９５には、予め学習することにより取得された予測係数をクラス毎に記憶するものとして、クラス分類コードに対応した予測係数を読み出して積和演算部９６に供給する。
【０１１５】
積和演算部９６では、予測タップ選択部９４からの予測タップと予測係数メモリ９５から読み出された予測係数との積和演算を行い、新たなデータを算出する。
【０１１６】
ここで、領域切出部９７では、動きの程度をクラス分類するために、ＳＤ信号から作成画素や注目画素を基準とした信号の切り出しを行う。ここで、切り出された画素のデータは動きクラス分類部９８に供給される。動きクラス分類部９８では、切り出された領域の画素データを用いて例えばフレーム間差分を算出し、その絶対値の平均値としきい値を比較することで動きクラスコードを生成する。この動きクラスコードをクラスタップ構築部９１に供給して、動きクラスコードに応じてクラスタップの切り出しを行う。あるいは動きクラスコードをクラス分類部９２に供給して、動きクラスコードとクラスタップに基づいたクラスコードから最終的なクラスコードを生成して予測タップ選択部９４や予測係数メモリ９５に供給する。又は、動きクラスコードを予測タップ選択部９４に供給して、動きクラスコードも考慮して予測タップの選択を行うものとしても良い。
【０１１７】
例えば、動きクラスコードによって動きが小さいものと判別されたときには、２フィールド分あるいはそれ以上のフィールド数の画素を用いることが効果的である。このため、図１４Ａに示すように作成画素Ｐmaに対して予測タップＴaaを選択する。また、動きクラスコードによって動きが大きいものと判別されたときには、１フィールド内の画素を用いることが効果的である。このため、図１４Ｂに示すように作成画素Ｐmabに対して予測タップＴabを選択する。
【０１１８】
このようにして選択した予測タップと予測係数を用いて積和演算を行うことにより、画像の動きに応じて解像度変換処理を行うことができる。また、階調変換処理においても、画像の動きクラスコードを用いて階調創造を行うこともできる。
【０１１９】
また、上述の場合には、式（１）の線形１次結合式で用いる予測係数を予測演算設定情報として記憶するものとしたが、クラス毎に最適な推定式も記憶するものとして、決定されたクラスの推定式と予測係数を用いて演算を行うことにより、更に高精度の解像度変換および階調変換処理を行うことができる。
【０１２０】
さらに、予測演算設定情報を表示デバイス毎に設けるものとし、上述したように表示デバイスに応じたスイッチ設定あるいは画像表示装置との通信に基づく表示デバイスの判別結果に基づいて、解像度変換および階調変換処理を切り替えるだけでなく、表示デバイスに応じた予測演算設定情報を選択可能とすれば、種々の表示デバイスに応じて最適な解像度変換および階調変換処理を行うことができる。
【０１２１】
なお、色信号データについては、輝度データと同様に処理しても良く、また本出願人による特開平10-229565号公報の明細書および図面で提案されているように、輝度データとは異なる簡単な補間処理、例えば注目画素のラインの色信号データと同一フィールドのその上下のラインの色信号データを用いた演算処理によって補間処理を行うものとしても良い。
【０１２２】
【発明の効果】
この発明によれば、入力画像信号から注目画素周辺の画素を選択して、選択した画素データのレベル分布パターン検出を行い、検出されたパターンに基づいてクラスを決定するものとし、前記決定されたクラスに応じた予測係数と、前記入力画像信号から前記注目画素に応じて選択した画素の画素データを用いて予測演算を行うことにより、前記注目画素の画素データを生成するものとし、前記入力画像信号の画素および新たに作成する画素を前記注目画素として設定して入力画像信号よりも高解像度の画像信号を生成する解像度変換処理と、前記入力画像信号の画素を前記注目画素として設定して入力画像信号の階調レベルを補正した画像信号を生成する階調レベル変換処理を択一的に行われる。このため、解像度変換処理と階調レベル変換処理と１つの画像信号処理装置で効率よく行うことができる。
【０１２３】
また、解像度変換処理と階調レベル変換処理とでは、画素の選択やクラス決定およびクラスに応じて出力される予測係数が切り換えられるので、高画質の画像を表示させることができることを特徴とする請求項６記載の画像信号処理方法。
【０１２４】
さらに、画像表示を行う画像表示装置の判別が行われて、判別結果に基づいて解像度変換処理あるいは階調レベル変換処理が行われる。このため、画像表示装置に対応させて画像を高画質に表示することができる。
【図面の簡単な説明】
【図１】この発明に係る画像信号処理装置の構成を示す図である。
【図２】クラス分類部の構成を示す図である。
【図３】予測係数学習ブロック（解像度変換）の構成を示す図である。
【図４】予測係数学習ブロック（階調変換）の構成を示す図である。
【図５】フィルタ７１の特性を示す図である。
【図６】解像度変換ブロックでの画素切り出しを説明するための図である。
【図７】階調変換ブロックでの画素切り出しを説明するための図である。
【図８】解像度変換結果を示す図である。
【図９】階調変換動作を説明するための図である。
【図１０】階調変換前と階調変換後の階調レベルを示す図である。
【図１１】階調変換前後の画面上の輝度分布を示す図である。
【図１２】画像信号処理装置の他の構成を示す図である。
【図１３】変換ブロック９０の構成を示す図である。
【図１４】動き検出を行ったときの予測タップの選択動作を説明するための図である。
【図１５】表示デバイスの特性を示す図である。
【符号の説明】
１０・・・解像度変換メインブロック、１１，２１，３１，８１，９１・・・クラスタップ構築部、１２，２２，３２，８２，９２・・・クラス分類部、１３，２３，８３，９３・・・予測タップ構築部、１４，３４，８４，９４・・・予測タップ選択部、１５，２５，３５，８５，９５・・・予測係数メモリ、１６，２６，３６，８６，９６・・・積和演算部、１７，２７，８７・・・ラインダブラ、２０・・・解像度変換サブブロック、３０・・・階調変換ブロック、３３・・・予測タップ構築部、４１，４２，４５・・・信号切換部、４３・・・スイッチ、５０，８９・・・制御部、５１・・・処理モード設定スイッチ、６１，７１・・・フィルタ、６２，７２・・・クラス分類領域切出部、６３，６４，７３・・・クラス分類部、６５，７５・・・予測タップ領域切出部、６６，６７，７６・・・正規方程式加算部、６８，７８・・・予測係数決定部、８０・・・複合変換ブロック、９０・・・変換ブロック、９７・・・領域切出部、９８・・・動きクラス分類部、１２１・・・最大値検出回路、１２２・・・最小値検出回路、１２３・・・遅延回路、１２４，１２５・・・減算器、１２６・・・適応再量子化回路、１２７・・・並列化回路
Claims (11)
- 入力画像信号から注目画素周辺の画素データを選択して、選択した画素データに基づいてクラスを決定するクラス決定手段と、
予めクラス毎に予測演算設定情報を記憶して、前記クラス決定手段で決定されたクラスに応じた予測演算設定情報を出力する情報記憶手段と、
前記入力画像信号から前記注目画素に応じて画素データを選択するタップ設定手段と、
前記情報記憶手段から出力された予測演算設定情報と前記タップ設定手段で選択された画素データを用いた予測演算によって、前記注目画素の画素データを生成する予測演算手段とを用いて変換ブロックを構成し、
前記変換ブロックの動作を制御する制御手段を設け、
前記制御手段では、新たに作成する画素を前記注目画素として前記変換ブロックを用いることにより、前記入力画像信号よりも高解像度の画像信号を生成する解像度変換処理と、前記入力画像信号の画素を前記注目画素として前記変換ブロックを用いることにより、前記入力画像信号の階調レベルを補正した画像信号を生成する階調レベル変換処理を択一的に選択可能とした
ことを特徴とする画像信号処理装置。 - 前記変換ブロックを複数設けるものとし、
前記制御手段では、前記複数の変換ブロックを、前記解像度変換処理を行う第１処理ブロックと前記階調レベル変換処理を行う第２処理ブロックに区分し、前記第１処理ブロックあるいは前記第２処理ブロックのいずれかを切り換えて選択することにより、前記解像度変換処理と前記階調レベル変換処理を択一的に選択可能とした
ことを特徴とする請求項１記載の画像信号処理装置。 - 前記制御手段では、前記変換ブロックのクラス決定手段や情報記憶手段を制御して、画素データの選択やクラス決定およびクラスに応じて出力される予測演算設定情報を切り換えることにより、前記解像度変換処理と前記階調レベル変換処理を択一的に選択可能とした
ことを特徴とする請求項１記載の画像信号処理装置。 - 前記変換ブロックを２つ設けるものとし、
前記制御手段では、前記第１の変換ブロックを制御して入力画像信号と等しいライン間隔で前記注目画素を設けて画素データを生成すると共に、第２の変換ブロックを制御して第１の変換ブロックで設けた前記注目画素のライン間に前記注目画素を設けて画素データを生成することにより前記解像度変換処理を行い、また前記第１の変換ブロックのみを用いると共に、前記第１の変換ブロックを制御して入力画像信号の画素を前記注目画素に設定して新たな画素データを生成することにより前記階調レベル変換処理を行う
ことを特徴とする請求項３記載の画像信号処理装置。 - 前記制御手段では、前記変換ブロックで生成された画像信号を用いて画像表示を行う画像表示装置を判別し、判別結果に基づいて前記解像度変換処理と前記階調レベル変換処理を択一的に選択する
ことを特徴とする請求項１記載の画像信号処理装置。 - 前記クラス決定手段では、前記選択した画素データのレベル分布パターン検出を行い、検出されたパターンに基づいてクラスを決定する
ことを特徴とする請求項１記載の画像信号処理装置。 - 入力画像信号から注目画素周辺の画素を選択して、選択した画素データのレベル分布パターン検出を行い、検出されたパターンに基づいてクラスを決定するものとし、
前記決定されたクラスに応じた予測演算設定情報と、前記入力画像信号から前記注目画素に応じて選択した画素の画素データを用いて予測演算を行うことにより、前記注目画素の画素データを生成するものとし、
前記入力画像信号の画素および新たに作成する画素を前記注目画素として設定して前記入力画像信号よりも高解像度の画像信号を生成する解像度変換処理と、前記入力画像信号の画素を前記注目画素として設定して前記入力画像信号の階調レベルを補正した画像信号を生成する階調レベル変換処理を択一的に行えるようにした
ことを特徴とする画像信号処理方法。 - 前記解像度変換処理と前記階調レベル変換処理とでは、前記画素の選択やクラス決定およびクラスに応じて出力される予測演算設定情報を切り換えることを特徴とする請求項７記載の画像信号処理方法。
- 入力画像信号と等しいライン間隔で第１の注目画素を設けて画素データを生成すると共に、前記第１の注目画素のライン間に第２の前記注目画素を設けて画素データを生成することにより、前記解像度変換処理を行うと共に、前記第１の注目画素に代えて前記入力画像信号の画素を設定して画素データを生成することにより前記階調レベル変換処理を行う
ことを特徴とする請求項７記載の画像信号処理方法。 - 前記変換ブロックで生成された画像信号を用いて画像表示を行う画像表示装置の判別を行い、判別結果に基づいて前記解像度変換処理と前記階調レベル変換処理を択一的に選択する
ことを特徴とする請求項７記載の画像信号処理方法。 - 前記クラス決定では、前記選択した画素データのレベル分布パターン検出を行い、検出されたパターンに基づいてクラスを決定する
ことを特徴とする請求項７記載の画像信号処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000153856A JP4470280B2 (ja) | 2000-05-24 | 2000-05-24 | 画像信号処理装置及び画像信号処理方法 |
| US09/863,497 US6714252B2 (en) | 2000-05-24 | 2001-05-23 | Image signal processing apparatus and digital signal processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000153856A JP4470280B2 (ja) | 2000-05-24 | 2000-05-24 | 画像信号処理装置及び画像信号処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001339695A JP2001339695A (ja) | 2001-12-07 |
| JP4470280B2 true JP4470280B2 (ja) | 2010-06-02 |
Family
ID=18659038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000153856A Expired - Fee Related JP4470280B2 (ja) | 2000-05-24 | 2000-05-24 | 画像信号処理装置及び画像信号処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6714252B2 (ja) |
| JP (1) | JP4470280B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1197946B1 (en) * | 2000-02-10 | 2007-04-04 | Sony Corporation | Image processing device and method, and recording medium |
| JP3596770B2 (ja) | 2001-12-28 | 2004-12-02 | ソニー株式会社 | 記憶装置、データ処理装置およびデータ処理方法、プログラムおよび記録媒体、並びにデータ処理システム |
| EP1326436B1 (en) * | 2001-12-28 | 2013-02-13 | Sony Corporation | Displaying information |
| JP4066146B2 (ja) * | 2002-04-26 | 2008-03-26 | ソニー株式会社 | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 |
| JP4265237B2 (ja) * | 2003-02-27 | 2009-05-20 | ソニー株式会社 | 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム |
| JP5099429B2 (ja) * | 2007-12-21 | 2012-12-19 | ソニー株式会社 | 信号処理装置、信号処理方法、およびプログラム、並びに学習装置 |
| JP5476879B2 (ja) * | 2008-09-29 | 2014-04-23 | ソニー株式会社 | 画像処理装置および係数学習装置。 |
| US9509935B2 (en) * | 2010-07-22 | 2016-11-29 | Dolby Laboratories Licensing Corporation | Display management server |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100360206B1 (ko) * | 1992-12-10 | 2003-02-11 | 소니 가부시끼 가이샤 | 화상신호변환장치 |
| JP3608228B2 (ja) * | 1994-08-11 | 2005-01-05 | ソニー株式会社 | ディジタル画像信号の変換装置 |
| JP4190576B2 (ja) * | 1994-08-31 | 2008-12-03 | ソニー株式会社 | 撮像信号処理装置及び撮像信号処理方法、並びに撮像装置 |
| US5946044A (en) * | 1995-06-30 | 1999-08-31 | Sony Corporation | Image signal converting method and image signal converting apparatus |
| JP4093621B2 (ja) * | 1997-12-25 | 2008-06-04 | ソニー株式会社 | 画像変換装置および画像変換方法、並びに学習装置および学習方法 |
| JP4158232B2 (ja) * | 1998-07-23 | 2008-10-01 | ソニー株式会社 | 画像情報変換装置および画像表示装置 |
-
2000
- 2000-05-24 JP JP2000153856A patent/JP4470280B2/ja not_active Expired - Fee Related
-
2001
- 2001-05-23 US US09/863,497 patent/US6714252B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001339695A (ja) | 2001-12-07 |
| US6714252B2 (en) | 2004-03-30 |
| US20020027611A1 (en) | 2002-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000041223A (ja) | 情報信号処理装置、画像情報変換装置および画像表示装置 | |
| JP4470280B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
| JP2000050212A (ja) | 画像表示装置及び画像表示方法 | |
| JP4131048B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JPH1098695A (ja) | 画像情報変換装置および方法並びに積和演算装置 | |
| JP4193233B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP2000078539A (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP4049087B2 (ja) | 動き・静止の判定装置および判定方法、並びに画像信号の処理装置および処理方法 | |
| JP4595162B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
| JP4099555B2 (ja) | 画像情報変換装置 | |
| JP4470324B2 (ja) | 画像信号変換装置および方法 | |
| JP4123587B2 (ja) | 画像情報処理装置および方法 | |
| JP4062326B2 (ja) | 係数生成装置および方法 | |
| JP4349086B2 (ja) | 情報信号の処理装置および処理方法、並びにその処理方法を実行するためのプログラム、そのプログラムを記録した媒体 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JP4174891B2 (ja) | 画像情報変換装置および方法 | |
| JP3826434B2 (ja) | 信号変換装置および方法 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JP4001143B2 (ja) | 係数生成装置および方法 | |
| JP3767019B2 (ja) | 積和演算回路および方法 | |
| JP4099554B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP4193236B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060516 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070207 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090916 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091029 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100209 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100222 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140312 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |