JP4051934B2 - 情報信号処理装置、情報信号処理方法およびそれを使用した画像処理装置および画像処理方法、並びに情報信号処理方法又は画像処理方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 - Google Patents
情報信号処理装置、情報信号処理方法およびそれを使用した画像処理装置および画像処理方法、並びに情報信号処理方法又は画像処理方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 Download PDFInfo
- Publication number
- JP4051934B2 JP4051934B2 JP2002013146A JP2002013146A JP4051934B2 JP 4051934 B2 JP4051934 B2 JP 4051934B2 JP 2002013146 A JP2002013146 A JP 2002013146A JP 2002013146 A JP2002013146 A JP 2002013146A JP 4051934 B2 JP4051934 B2 JP 4051934B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- data
- signal
- value
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、例えばＮＴＳＣ方式のビデオ信号をハイビジョンのビデオ信号に変換する際等に適用して好適な情報信号処理装置、情報信号処理方法およびそれを使用した画像処理装置および画像処理方法、並びに情報信号処理方法又は画像処理方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体に関する。
【０００２】
詳しくは、解像度創造の手法を用いて第１の情報信号を第２の情報信号に変換する際に、第２の情報信号における注目位置の特徴量を検出し、第２の情報信号による出力の質を示すパラメータの他に、検出された特徴量をも参照して、第２の情報信号における注目位置の情報データを生成することによって、第２の情報信号による出力に不適切な質となる箇所が発生することを防止するようにした情報信号処理装置等に係るものである。
【０００３】
【従来の技術】
従来、例えば５２５ｉ信号というＳＤ(Standard Definition）信号を、１０５０ｉ信号というＨＤ(High Definition)信号に変換するフォーマット変換が提案されている。５２５ｉ信号は、ライン数が５２５本でインタレース方式の画像信号を意味し、１０５０ｉ信号は、ライン数が１０５０本でインタレース方式の画像信号を意味する。
【０００４】
図２５は、５２５ｉ信号と１０５０ｉ信号の画素位置関係を示している。ここで、大きなドットが５２５ｉ信号の画素であり、小さなドットが１０５０ｉ信号の画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。
【０００５】
従来、上述したようなフォーマット変換を行うために、本出願人は、先に、５２５ｉ信号の画素データより１０５０ｉ信号の画素データを得る際、５２５ｉ信号の画素に対する１０５０ｉ信号の各画素の位相に対応した推定式の係数データをメモリに格納しておき、この係数データを用いて推定式によって１０５０ｉ信号の画素データを求める、解像度創造の手法を用いることを提案した。
【特許文献１】
特開２００１−２３８１８５号公報
【０００６】
【発明が解決しようとする課題】
上述したように推定式によって１０５０ｉ信号の画素データを求めるものにおいては、この１０５０ｉ信号による画像の解像度は固定されており、従来のコントラストやシャープネス等の調整のように、画像内容等に応じて所望の解像度とすることができなかった。
そこで、本出願人は、先に、画像の解像度をユーザが所望の値に任意に調整し得る画像信号変換装置等を提案した（特許文献１参照）。
【０００７】
しかしこの場合、全画面一様に、調整された解像度に対応した係数データを用いるものであり、適切な解像度となる箇所と、不適切な解像度となる箇所とが存在する。
例えば、高周波成分量が少ない箇所と高周波成分量が多い箇所において、適切な解像度となる場合と適切な解像度とならない場合が存在する。
【０００８】
また例えば、動きのある箇所と動きのない箇所において、適切な解像度となる場合と適切な解像度とならない場合が存在する。以下に、動きのある箇所で生じる動きボケについて説明する。
図２２に動きボケのモデルを示している。この図２２において、ｖは垂直方向を示し、ｈは水平方向を示している。
【０００９】
図２２Ａに示す動き無しの場合は、物体（黒い四角形）ははっきりと見え、画素値をグラフにしてみると、エッジが切り立っている（図の黒色は何らかの輝度値がそこに存在していることを表している）。
この物体がある速度で動き出した場合が、図２２Ｂに示す動き小の場合である。物体が動いているために動きによるボケが生じる。画素値をグラフで見ると、図のようにエッジがなだらかになり、画像としても動き方向にぼやけた画像になる。このボケ方は動き量、すなわち物体の速度に依存する。
【００１０】
次に、物体がもっと速く動いた場合を考える。図２２Ｃ（左側）に示す動き大の場合である。物体の速度が速くなったことで物体はますますボケてしまい、画素値をグラフでみると、図のようにエッジが一層なだらかになる。これはシャッターやデバイスの特性などで区切られたある一定時間に蓄積された電荷またはフィルムの変化を画素値としているために生じるものであり、動き量によって生じる歪みである。
【００１１】
ここで、このような動きボケを生じている動物体に解像度創造を行うことを考える。解像度創造においては画素密度を増やすと共に、制限されてしまった帯域を元に戻すという処理が行われる。
その結果、図２２Ｃ（右側）のように、グラフが立ってしまう。静止部では勿論それでよい。しかし、動き部では結果的に動きによって自然に起こる動きボケ量を変化させてしまい、不自然な画像を作り上げてしまうことになる。
【００１２】
また、図２３Ａに示すように、非常に大きな物体が移動していた場合を考える。この場合、解像度創造を行うと、静止部では現れないようなグラデーションが生じる。すなわち、予測タップのタップ範囲が充分でない場合、箇所箇所で解像度創造の処理が行われてしまい、図２３Ｂに示すような波形に変化させてしまうことがある。
【００１３】
また、解像度創造において、上述したように画像の解像度を任意に調整するものと同様にして、画像の輝度を任意に調整することも考えられる。この場合、全画面一様に、調整された輝度に対応した係数データを用いるものであり、適切な輝度となる箇所と、不適切な輝度となる箇所とが存在する。
【００１４】
例えば、図２４Ａに示すような画像を考える。この画像は、左側の犬が体色が濃いことと家の影に入っていることとが重なって見にくい状態になっている。このようなときに、輝度を高くするように調整した場合、図２４Ｂに示すように、画像全体が一辺に明るくなるので、体色の濃い犬周辺だけでなく、地面や屋根など、輝度を高くしなくても充分によく見える領域までも明るくなり、画像全体が白っぽく不自然なものとなる。
【００１５】
なお、このような画像の輝度調整と同様のことが、音声信号の解像度創造において、音量の調整を行う場合にも生じる。すなわち、全区間一様に、調整された音量に対応した係数データを用いると、適切な音量となる区間と、不適切な音量となる区間とが存在するようになる。つまり、音量を高くするように調整した場合、全区間で音量が高くなるので、音量の低い区間だけでなく、音量を高くしなくても充分な音量がある区間までも音量が高くなり、音量の高い部分が聞き難いものとなる。
【００１６】
そこで、この発明では、解像度創造の手法によって得られる情報信号による出力に不適切な質となる箇所が発生することを防止し得る情報信号処理装置等を提供することを目的とする。
【００１７】
【課題を解決するための手段】
この発明に係る情報信号処理装置は、複数の情報データからなる第１の情報信号を、当該第１の情報信号より情報量の多い第２の情報信号に変換する情報信号処理装置であって、上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、上記第１のデータ選択手段で選択された複数の第１の情報データに所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度、動き量及び音量のいずれかを示す上記注目位置における特徴量を検出する特徴量検出手段と、上記第２の情報信号による出力の大きさを示す、上記特徴量に対応したパラメータの値が外部から入力されるパラメータ入力手段と、上記特徴量検出手段で検出された特徴量および上記パラメータ入力手段に入力されたパラメータの値に対応して、上記第２の情報信号における注目位置の情報データを生成する情報データ生成手段とを備え、上記情報データ生成手段は、上記パラメータ入力手段に入力されたパラメータの値に対応する複数の代表的な大きさごとに予め算出され、上記第１の情報信号を代入して積和演算することにより上記第２の情報信号を推定するための推定式の係数データの候補である係数データ候補を発生する係数データ候補発生手段と、上記特徴量検出手段で検出された特徴量と上記パラメータ入力手段に入力されたパラメータの値に基づいて、上記複数の代表的な大きさのうち一つの大きさを特定する大きさ特定手段と、上記係数データ候補発生手段で発生された係数データ候補の中から、上記大きさ特定手段で特定された大きさに対応する係数データを選択する係数データ選択手段と、上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第２のデータ選択手段と、上記第２のデータ選択手段で選択された複数の第１の情報データと上記係数データ選択手段で選択された係数データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出する演算手段とを有し、上記大きさ特定手段は、画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記特徴量検出手段で検出される特徴量が含まれる特徴量領域を検出する検出手段と、上記パラメータの各値に対応した、上記複数の特徴量領域における大きさ選択情報を格納する格納手段と、上記格納手段より上記パラメータ入力手段に入力されたパラメータの値および上記検出手段で検出された特徴量領域に対応した大きさ選択情報を取り出し、該大きさ選択情報に基づいて上記一つの大きさを特定する特定手段とを有するものである。
【００１９】
また、この発明に係る情報信号処理方法は、複数の情報データからなる第１の情報信号を、当該第１の情報信号より情報量の多い第２の情報信号に変換する情報信号処理方法であって、上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第１のステップと、上記第１のステップで選択された複数の第１の情報データの値に所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度、動き量及び音量のいずれかを示す上記注目位置における特徴量を検出する第２のステップと、上記第２の情報信号による出力の大きさを示す、上記特徴量に対応したパラメータの値を外部から取得する第３のステップと、上記第２のステップで検出された特徴量および上記第３のステップで取得されたパラメータの値に対応して、上記第２の情報信号における注目位置の情報データを生成する第４のステップとを有し、上記第４のステップは、上記第３のステップで取得したパラメータの値に対応する複数の代表的な大きさごとに予め算出され、上記第１の情報信号を代入して積和演算することにより上記第２の情報信号を推定するための推定式の係数データの候補である係数データ候補を発生する第５のステップと、上記第２のステップで検出された特徴量と上記第３のステップで取得したパラメータの値に基づいて、上記複数の代表的な大きさのうち一つの大きさを特定する第６のステップと、上記第５のステップで発生された係数データ候補の中から、上記第６のステップで特定された大きさに対応する係数データを選択する第７のステップと、上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第８のステップと、上記第８のステップで選択された複数の第１の情報データと上記第７のステップで選択された係数データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出する第９のステップとを有し、上記第６のステップは、画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記第２のステップで検出される特徴量が含まれる特徴量領域を検出する第１０のステップと、上記パラメータの各値に対応した、上記複数の特徴量領域における大きさ選択情報を格納する第１１のステップと、上記第３のステップで取得したパラメータの値および上記第１０のステップで検出した特徴量領域に対応した大きさ選択情報を取り出し、該大きさ選択情報に基づいて上記一つの大きさを特定する第１２のステップとを有するものである。
【００２０】
また、この発明に係る画像処理装置は、入力された複数の画素データからなる第１の画像信号を、複数の画素データからなる上記第１の画像信号より高解像度な第２の画像信号に変換して出力する画像信号処理装置において、上記第２の画像信号による画像の解像度又は輝度を示すパラメータの値が外部から入力されるパラメータ入力手段と、上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第１のデータ選択手段と、上記第１のデータ選択手段で選択された複数の第１の画素データの値に所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度及び動き量のいずれかを示す上記注目位置における特徴量を検出する特徴量検出手段と、上記特徴量検出手段で検出された特徴量および上記パラメータ入力手段に入力された所定の上記パラメータの値に対応して、上記第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備え、上記画素データ生成手段は、上記パラメータ入力手段に入力されたパラメータの値に対応する複数の代表的な解像度ごとに予め算出され、上記第１の画像信号を代入して積和演算することにより上記第２の画像信号を推定するための推定式の係数データの候補である係数データ候補を発生する係数データ候補発生手段と、上記特徴量検出手段で検出された特徴量と上記パラメータ入力手段に入力されたパラメータの値に基づいて、上記複数の代表的な解像度のうち一つの解像度を特定する解像度特定手段と、上記係数データ候補発生手段で発生された係数データ候補の中から、上記解像度特定手段で特定された解像度に対応する係数データを選択する係数データ選択手段と、上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第２のデータ選択手段と、上記第２のデータ選択手段で選択された複数の第１の画素データと上記係数データ選択手段で選択された係数データとを用いて、上記推定式に基づいて上記注目位置の画素データを算出する演算手段とを有し、上記解像度特定手段は、画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記特徴量検出手段で検出される特徴量が含まれる特徴量領域を検出する検出手段と、上記パラメータの各値に対応した、上記複数の特徴量領域における解像度選択情報を格納する格納手段と、上記格納手段より上記パラメータ入力手段に入力されたパラメータの値および上記検出手段で検出された特徴量領域に対応した解像度選択情報を取り出し、該解像度選択情報に基づいて上記一つの解像度を特定する特定手段とを有するものである。
また、この発明に係る画像処理方法は、入力された複数の画素データからなる第１の画像信号を、複数の画素データからなる上記第１の画像信号より高解像度な第２の画像信号に変換して出力する画像信号処理方法において、上記第２の画像信号による画像の解像度又は輝度を示すパラメータの値を外部から取得する第１のステップと、上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第２のステップと、上記第２のステップで選択された複数の第１の画素データの値に所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度及び動き量のいずれかを示す上記注目位置における特徴量を検出する第３のステップと、上記第３のステップで検出された特徴量および上記第１のステップで取得した所定の上記パラメータの値に対応して、上記第２の画像信号における注目位置の画素データを生成する第４のステップとを有し、上記第４のステップは、上記第１のステップで取得したパラメータの値に対応する複数の代表的な解像度ごとに予め算出され、上記第１の画像信号を代入して積和演算することにより上記第２の画像信号を推定するための推定式の係数データの候補である係数データ候補を発生する第５のステップと、上記第３のステップで検出された特徴量と上記第１のステップで取得したパラメータの値に基づいて、上記複数の代表的な解像度のうち一つの解像度を特定する第６のステップと、上記第５のステップで発生された係数データ候補の中から、上記第６のステップで特定された解像度に対応する係数データを選択する第７のステップと、上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第８のステップと、上記第８のステップで選択された複数の第１の画素データと上記第７のステップで選択された係数データとを用いて、上記推定式に基づいて上記注目位置の画素データを算出する第９のステップとを有し、上記第６のステップは、画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記特徴量検出手段で検出される特徴量が含まれる特徴量領域を検出する第１０のステップと、上記パラメータの各値に対応した、上記複数の特徴量領域における解像度選択情報を格納する第１１のステップと、上記第１のステップで取得したパラメータの値および上記第１０のステップで検出された特徴量領域に対応した解像度選択情報を取り出し、該解像度選択情報に基づいて上記一つの解像度を特定する第１２のステップとを有するものである。
【００２１】
また、この発明におけるプログラムは、上述の情報信号処理方法又は画像処理方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述のプログラムを記録したものである。
【００２２】
この発明において、第１の情報信号に基づいて第２の情報信号における注目位置の周辺に位置する複数の第１の情報データが抽出され、この複数の第１の情報データに基づいて、この注目位置における特徴量が検出される。
【００２３】
例えば、情報信号は画像信号であり、特徴量は注目位置の周辺における高周波成分量に関係する特徴量である。この特徴量は、例えば複数の第１の情報データ（画素データ）内の隣接画素の絶対値和と、複数の第１の情報データ内のダイナミックレンジとを使用して求められる。また例えば、情報信号は画像信号であり、特徴量は注目位置における動き量、あるいは輝度である。さらに例えば、情報信号は音声信号であり、特徴量は注目位置における音量である。
【００２４】
また、パラメータ入力手段には、第２の情報信号による出力の質を示すパラメータの値が入力される。例えば、上述したように特徴量が注目位置の周辺における高周波成分量に関係する特徴量であるとき、パラメータの値は第２の情報信号による画像の解像度を示すものとされる。また例えば、上述したように特徴量が注目位置における動き量であるとき、パラメータの値は第２の情報信号による画像の解像度を示すものとされる。また例えば、上述したように特徴量が注目位置における輝度であるとき、パラメータの値は第２の情報信号による画像の輝度を示すものとされる。また例えば、上述したように特徴量が注目位置における音量であるとき、パラメータの値は第２の情報信号による音の音量を示すものとされる。
【００２５】
そして、上述した特徴量とパラメータの値に対応して、第２の情報信号における注目位置の情報データが生成される。例えば、以下のようにして、情報データが生成される。
【００２６】
すなわち、パラメータに対応する複数の代表的な質（この質は、解像度、輝度、音量等である）について、推定式の係数データの候補である係数データ候補が発生される。例えば、パラメータの値が、離散的な第１の値と第２の値との間にある場合、それら第１の値と第２の値に対応する質を得るための２つの推定式の係数データが係数データ候補として発生される。
【００２７】
そして、特徴量とパラメータの値に基づいて、複数の代表的な質のうち一つの質が特定される。例えば、パラメータのそれぞれの値に対応した複数の特徴量領域における質選択情報が格納手段に格納されており、これを使用して質の特定が行われる。例えば、上述した第２の値に対応した質が第１の値に対応した質より高い場合、特徴量が小さい程、パラメータの値が小さくとも、第２の質に特定される確率が高くなる。
【００２８】
そして、係数データ候補の中から、特定された質に対応する係数データが選択される。このように選択された係数データと、第１の情報信号に基づいて選択された第２の情報信号における注目位置の周辺に位置する複数の第２の情報データとを用いて、推定式に基づいて、第２の情報信号における注目位置の情報データが算出される。
【００２９】
このように、解像度創造の手法によって第１の情報信号から第２の情報信号を得る際に、第２の情報信号における注目位置に係る特徴量により、パラメータの値に対応した複数の係数データ候補から一つの係数データを選択して使用するものであり、第２の情報信号による出力に不適切な質となる箇所が発生することを防止できるようになる。
【００３０】
例えば、特徴量が注目位置の周辺における高周波成分量に関係する特徴量であるとき、画像の輪郭および画像の低周波領域に囲まれた高周波領域でその特徴量が大きくなるが、解像度の調整をする際に当該領域で不適切な解像度となることを防止できる。また例えば、特徴量が注目位置における動き量であるとき、画像の動き部で動き量が大きくなるが、解像度の調整をする際に当該動き部で不適切な解像度となることを防止できる。また例えば、特徴量が注目位置における輝度であるとき、輝度の高い領域で特徴量が大きくなるが、輝度の調整をする際に当該輝度の高い領域で輝度が高くなり過ぎることを防止できる。また例えば、特徴量が注目位置における音量であるとき、音量の大きな領域で特徴量が大きくなるが、音量の調整をする際に当該音量の大きな領域で音量が高くなり過ぎることを防止できる。
【００３１】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのテレビ受信機１００の構成を示している。このテレビ受信機１００は、放送信号より５２５ｉ信号というＳＤ信号を得、この５２５ｉ信号を１０５０ｉ信号というＨＤ信号に変換し、その１０５０ｉ信号による画像を表示するものである。
【００３２】
テレビ受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号を受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００３３】
また、テレビ受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、中間周波増幅処理、検波処理等を行ってＳＤ信号（５２５ｉ信号）を得るチューナ１０６と、このチューナ１０６より出力されるＳＤ信号を一時的に保存するためのバッファメモリ１０９とを有している。
【００３４】
また、テレビ受信機１００は、バッファメモリ１０９に一時的に保存されるＳＤ信号（５２５ｉ信号）を、ＨＤ信号（１０５０ｉ信号）に変換する画像信号処理部１１０と、この画像信号処理部１１０より出力されるＨＤ信号による画像を表示するディスプレイ部１１１と、このディスプレイ部１１１の画面上に文字、図形などの表示を行うための表示信号ＳＣＨを発生させるためのＯＳＤ(On Screen Display)回路１１２と、その表示信号ＳＣＨを上述した画像信号処理部１１０より出力されるＨＤ信号に合成してディスプレイ部１１１に供給するための合成器１１３とを有している。ディスプレイ部１１１は、例えばＣＲＴ（cathode-ray tube)ディスプレイ、あるいはＬＣＤ（liquid crystal display）等のフラットパネルディスプレイで構成されている。
【００３５】
図１に示すテレビ受信機１００の動作を説明する。
チューナ１０６より出力されるＳＤ信号（５２５ｉ信号）は、バッファメモリ１０９に供給されて一時的に保存される。そして、このバッファメモリ１０９に一時的に記憶されたＳＤ信号は画像信号処理部１１０に供給され、ＨＤ信号（１０５０ｉ信号）に変換される。すなわち、画像信号処理部１１０では、ＳＤ信号を構成する画素データ（以下、「ＳＤ画素データ」という）から、ＨＤ信号を構成する画素データ（以下、「ＨＤ画素データ」という）が生成される。この画像信号処理部１１０より出力されるＨＤ信号はディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはそのＨＤ信号による画像が表示される。
【００３６】
また、ユーザは、リモコン送信機２００の操作によって、ディスプレイ部１１１の画面上に表示される画像の解像度を調整できる。例えば、解像度選択モードで、アップキーおよびダウンキーの押圧操作、あるいはジョグダイヤル等のつまみの回転操作をすることで、システムコントローラ１０１から画像信号処理部１１０に供給される、解像度を示すパラメータＱの値を変更できる。
【００３７】
画像信号処理部１１０では、後述するように、ＨＤ画素データが推定式によって算出されるが、この推定式の係数データとして、上述したパラメータＱの値に対応したものが使用される。これにより、画像信号処理部１１０から出力されるＨＤ信号による画像の解像度は、パラメータＱの値に対応したものとなる。
【００３８】
なお、ユーザのリモコン送信機２００の操作によってパラメータＱの値の変更が行われている状態では、ディスプレイ部１１１の画面上に、パラメータＱの値の表示が行われる。ここでは図示しないが、この表示は数値または棒グラフ等を用いて行われる。ユーザは、この表示を参照して、パラメータＱの値を変更できる。
【００３９】
このように画面上にパラメータＱの値を表示する際、システムコントローラ１０１は表示データをＯＳＤ回路１１２に供給する。ＯＳＤ回路１１２は、その表示データに基づいて表示信号ＳＣＨを発生し、この表示信号ＳＣＨを合成器１１３を介してディスプレイ部１１１に供給する。
【００４０】
次に、画像信号処理部１１０の詳細を説明する。この画像信号処理部１１０は、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、ＨＤ信号（１０５０ｉ信号）における注目位置の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１〜第３のタップ選択回路１２１〜１２３を有している。
【００４１】
第１のタップ選択回路１２１は、予測に使用するＳＤ画素（「予測タップ」と称する）のデータを選択的に取り出すものである。第２のタップ選択回路１２２は、ＳＤ画素データのレベル分布パターンに対応するクラス分類に使用するＳＤ画素（「空間クラスタップ」と称する）のデータを選択的に取り出すものである。第３のタップ選択回路１２３は、動きに対応するクラス分類に使用するＳＤ画素（「動きクラスタップ」と称する）のデータを選択的に取り出すものである。なお、空間クラスを複数フィールドに属するＳＤ画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。
【００４２】
また、画像信号処理部１１０は、第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１２４を有している。
【００４３】
空間クラス検出回路１２４では、例えば、各ＳＤ画素データを、８ビットデータから２ビットデータに圧縮するような演算が行われる。そして、空間クラス検出回路１２４からは、各ＳＤ画素データに対応した圧縮データが空間クラスのクラス情報として出力される。本実施の形態においては、ＡＤＲＣ（Adaptive Dynamic Range Coding）によって、データ圧縮が行われる。なお、情報圧縮手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いてもよい。
【００４４】
本来、ＡＤＲＣは、ＶＴＲ（Video Tape Recorder）向け高性能符号化用に開発された適応再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、上述したデータ圧縮に使用して好適なものである。ＡＤＲＣを使用する場合、空間クラスタップのデータ（ＳＤ画素データ）の最大値をＭＡＸ、その最小値をＭＩＮ、空間クラスタップのデータのダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をＰとすると、空間クラスタップのデータとしての各ＳＤ画素データｋｉに対して、（１）式の演算により、圧縮データとしての再量子化コードｑｉが空間クラスのクラス情報として得られる。ただし、（１）式において、[ ]は切り捨て処理を意味している。空間クラスタップのデータとして、Ｎａ個のＳＤ画素データがあるとき、ｉ＝１〜Ｎａである。
ｑｉ＝［（ｋｉ−ＭＩＮ＋０．５）．２P／ＤＲ］ ・・・（１）
【００４５】
また、画像信号処理部１１０は、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報を出力する動きクラス検出回路１２５を有している。
【００４６】
この動きクラス検出回路１２５では、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）ｍｉ，ｎｉからフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。すなわち、動きクラス検出回路１２５では、（２）式によって、差分の絶対値の平均値ＡＶが算出される。第３のタップ選択回路１２３で、例えばクラスタップのデータとして、６個のＳＤ画素データｍ１〜ｍ６と、その１フレーム前の６個のＳＤ画素データｎ１〜ｎ６が取り出されるとき、（２）式におけるＮｂは６である。
【００４７】
【数１】
【００４８】
そして、動きクラス検出回路１２５では、上述したように算出された平均値ＡＶが１個または複数個のしきい値と比較されて動きクラスのクラス情報ＭＶが得られる。例えば、３個のしきい値ｔｈ１，ｔｈ２，ｔｈ３（ｔｈ１＜ｔｈ２＜ｔｈ３）が用意され、４つの動きクラスを検出する場合、ＡＶ≦ｔｈ１のときはＭＶ＝０、ｔｈ１＜ＡＶ≦ｔｈ２のときはＭＶ＝１、ｔｈ２＜ＡＶ≦ｔｈ３のときはＭＶ＝２、ｔｈ３＜ＡＶのときはＭＶ＝３とされる。
【００４９】
また、画像信号処理部１１０は、空間クラス検出回路１２４より出力される空間クラスのクラス情報としての再量子化コードｑｉと、動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶに基づき、作成すべきＨＤ信号（１０５０ｉ信号）の画素データ（注目位置の画素データ）が属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１２６を有している。
【００５０】
このクラス合成回路１２６では、（３）式によって、クラスコードＣＬの演算が行われる。なお、（３）式において、Ｎａは空間クラスタップのデータ（ＳＤ画素データ）の個数、ＰはＡＤＲＣにおける再量子化ビット数を示している。
【００５１】
【数２】
【００５２】
また、画像信号処理部１１０は、係数メモリ１３１を有している。この係数メモリ１３１は、後述する推定予測演算回路１２７で使用される推定式の係数データを格納するものである。この係数データは、ＳＤ信号（５２５ｉ信号）を、ＨＤ信号（１０５０ｉ信号）に変換する際に使用する情報である。この係数メモリ１３１には、クラス合成回路１２６より出力されるクラスコードＣＬおよび後述する係数選択回路１３３より出力される係数選択信号ＳＥＬが、読み出しアドレス情報として供給される。この係数メモリ１３１からはクラスコードＣＬおよび係数選択信号ＳＥＬに対応した係数データｗｉが読み出され、推定予測演算回路１２７に供給される。
【００５３】
また、画像信号処理部１１０は、情報メモリバンク１３２を有している。本実施の形態においては、パラメータＱは０〜８の間で変更可能とされる。情報メモリバンク１３２には、パラメータＱの０，１，・・・，８の各離散値に対応した、９つの解像度における各クラスの係数データが予め蓄えられている。ここで、パラメータＱの値が大きくなるほど解像度が高くなっていくものとする。この９つの解像度に対応する係数データの生成方法については後述する。
【００５４】
なお、上述したように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。そのため、ある解像度におけるあるクラスの係数データは、奇数、偶数のそれぞれのフィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素に対応した係数データからなっている。この２×２の単位画素ブロック内の４画素は、５２５ｉ信号の画素に対応して互いに異なる位相関係になっている。
【００５５】
上述したように、ユーザは、リモコン送信機２００の操作部において、アップキーおよびダウンキーの押圧操作、またはジョグダイヤル等のつまみの回転操作をすることで、システムコントローラ１０１から画像信号処理部１１０に供給されるパラメータＱの値を変更できる。情報メモリバンク１３２には、そのパラメータＱが供給され、この情報メモリバンク１３２から係数メモリ１３１には、パラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した、各クラスの係数データがロードされる。
【００５６】
すなわち、０≦Ｑ≦１であるときはＱ＝０，１に対応した各クラスの係数データが、１＜Ｑ≦２であるときはＱ＝１，２に対応した各クラスの係数データが、２＜Ｑ≦３であるときはＱ＝２，３に対応した各クラスの係数データが、３＜Ｑ≦４であるときはＱ＝３，４に対応した各クラスの係数データが、４＜Ｑ≦５であるときはＱ＝４，５に対応した各クラスの係数データが、５＜Ｑ≦６であるときはＱ＝５，６に対応した各クラスの係数データが、６＜Ｑ≦７であるときはＱ＝６，７に対応した各クラスの係数データが、７＜Ｑ≦８であるときはＱ＝７，８に対応した各クラスの係数データが、情報メモリバンク１３２から係数メモリ１３１にロードされる。
【００５７】
また、画像信号処理部１１０は、係数選択信号ＳＥＬを発生する係数選択回路１３３を有している。この係数選択信号ＳＥＬは、上述したように係数メモリ１３１に読み出しアドレス情報として供給されるものであり、情報メモリバンク１３２から係数メモリ１３１にロードされて格納された、パラメータＱの２つの離散値に対応した係数データのうち一つの係数データを選択するために使用される。
【００５８】
図２は、係数選択回路１３３の構成を示している。この係数選択回路１３３は、特徴量検出部１４１、特徴量メモリ１４２、特徴量領域決定部１４３、領域検出部１４４および係数選択信号生成部１４５とからなっている。
【００５９】
特徴量検出部１４１は、バッファメモリ１０９に一時的に記憶される各フィールドのＳＤ信号（５２５ｉ信号）を構成するＳＤ画素毎に特徴量ＣＨを検出するものである。本実施の形態において、あるＳＤ画素（着目画素）に対応した特徴量ＣＨは、そのＳＤ画素を中心とした所定サイズのブロック内のダイナミックレンジＤＲとアクティビティＡＣＴの乗算値の平方根をとった値（√（ＤＲ×ＡＣＴ）とする。ブロックサイズは、例えば５×５とする。
【００６０】
ダイナミックレンジＤＲは、図３に示すように、着目画素を中心とした５×５のブロック内に含まれる２５個のＳＤ画素のデータｘi-2,j+2〜ｘi+2,j-2の中で、最大値をＭＡＸ、最小値をＭＩＮとするとき、（４）式で定義される。図３では、着目画素の座標を（ｉ，ｊ）としている。
ＤＲ＝ＭＡＸ−ＭＩＮ ・・・（４）
【００６１】
アクティビティＡＣＴは、図４に示すように、着目画素の座標を（ｉ，ｊ）とし、この着目画素を中心とした５×５のブロック内に含まれる２５個のＳＤ画素のデータをｘi-2,j+2〜ｘi+2,j-2とするとき、（５）式で定義される。ここで、ｉ1＝ｉ−２，・・・，ｉ＋１、ｉ2＝ｉ−２，・・・，ｉ＋２、ｊ1＝ｊ−２，・・・，ｊ＋２、ｊ2＝ｊ−２，・・・，ｊ＋１である。
【００６２】
【数３】
【００６３】
図５は、ダイナミックレンジＤＲおよびアクティビティＡＣＴによる検出部分のモデルを示している。ダイナミックレンジＤＲを用いると、図５中の右上の太線で示したように、画像の輪郭が検出される。一方、アクティビティＡＣＴを用いると、図５中の右下の太い線で示したように、画像の低周波領域に囲まれた高周波領域が検出される。特徴量ＣＨは上述したように、√（ＤＲ×ＡＣＴ）で定義されるため、この特徴量ＣＨを用いると、画像の輪郭および画像の低周波領域に囲まれた高周波領域の両方が検出されることとなる。
【００６４】
上述したように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して、１０５０ｉ信号の４画素を注目画素として、推定式で得るものである。したがって、特徴量検出部１４１にてＳＤ信号（５２５ｉ信号）を構成する各１画素に対応した特徴量ＣＨを検出するということは、ＨＤ信号（１０５０ｉ信号）を構成する各４画素（注目画素）の周辺における高周波成分量に関係する特徴量ＣＨを検出していることになる。
【００６５】
特徴量検出部１４１は、バッファメモリ１０９に記憶されるあるフィールドのＳＤ信号に対する特徴量ＣＨの検出処理を例えば垂直ブランキング期間で行う。特徴量メモリ１４２は、特徴量検出部１４１においてある垂直ブランキング期間に検出される１フィールド分の各ＳＤ画素に対応した特徴量ＣＨを格納するものである。
【００６６】
また、特徴量領域決定部１４３は、特徴量メモリ１４２に格納された、あるフィールドの全ＳＤ画素に対応する特徴量ＣＨを用いて、特徴量ＣＨの最小値から最大値までの範囲を４領域に分割して４つの特徴量領域を決定するものである。特徴量領域決定部１４３は、この特徴量領域の決定処理を垂直ブランキング期間で行う。この場合、全ＳＤ画素に対応する特徴量ＣＨのうち各特徴量領域に含まれる個数が略等しくなるように、４つの特徴量領域が決定される。
【００６７】
図６は、全ＳＤ画素に対応する特徴量ＣＨのヒストグラムモデルを示している。ＣＨminは特徴量ＣＨの最小値、ＣＨmaxは特徴量ＣＨの最大値を示している。Ｒａ，Ｒｂ，Ｒｃ，Ｒｄは４つの特徴量領域であり、Ｎａ，Ｎｂ，Ｎｃ，Ｎｄは全ＳＤ画素に対応する特徴量ＣＨのうち各特徴量領域に含まれる個数を示している。この場合、個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄが略等しくなるように、特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが決定されることとなる。
【００６８】
ここで、特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの意義について考えてみる。Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの順に、特徴量ＣＨが大きく高周波成分量が多くなることから、画面全体で、同じ解像度を得るための係数データを用いてＳＤ画素データからＨＤ画素データを生成する場合、Ｒｄ側の特徴量領域内の特徴量ＣＨが検出される箇所ほど不適切な解像度となりやすい。図７のａ，ｂ，ｃ，ｄは、それぞれＲａ，Ｒｂ，Ｒｃ，Ｒｄの特徴量領域内の特徴量ＣＨが検出される画面内の箇所を示している。これら各箇所における不適切な解像度となる度合い（破綻度合い）をｐa，ｐb，ｐc，ｐdとすると、ｐa＜ｐb＜ｐc＜ｐdの関係となる。
【００６９】
領域検出部１４４は、特徴量検出部１４１においてある垂直ブランキング期間に検出されて特徴量メモリ１４２に格納された各ＳＤ画素に対応する特徴量ＣＨを、続く垂直有効走査期間で順次取り出し、各ＳＤ画素に対応する特徴量ＣＨが、上述した特徴量領域決定部１４３で決定された特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるかを検出し、その検出情報ＤＥＴを出力するものである。
【００７０】
係数選択信号生成部１４５は、領域検出部１４４からの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＱの値とから、係数選択信号ＳＥＬを生成するものである。
係数選択信号生成部１４５は、パラメータＱの各値に対応した、上述の特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄにおける解像度選択情報ＲＥＳが格納された格納手段としてのＲＯＭ（read only memory）１４６を持っている。
【００７１】
図８は、ＲＯＭ１４６内に格納された解像度選択情報ＲＥＳを模式的に表したものである。
この図において、「ａ」が記載された範囲（第１の範囲）では、特徴量ＣＨが特徴量領域Ｒａに含まれるときＲＥＳ＝１であり、特徴量ＣＨが特徴量領域Ｒｂ，Ｒｃ，Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ」が記載された範囲（第２の範囲）では、特徴量ＣＨが特徴量領域Ｒａ，Ｒｂに含まれるときＲＥＳ＝１であり、特徴量ＣＨが特徴量領域Ｒｃ，Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ，ｃ」が記載された範囲（第３の範囲）では、特徴量ＣＨが特徴量領域Ｒａ，Ｒｂ，Ｒｃに含まれるときＲＥＳ＝１であり、特徴量ＣＨが特徴量領域Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ，ｃ，ｄ」が記載された範囲（第４の範囲）では、特徴量ＣＨが特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるときでもＲＥＳ＝１であることを意味する。
【００７２】
また、この図において、ｉ＜Ｑ≦（ｉ＋０．２５）は第１の範囲に該当し、（ｉ＋０．２５）＜Ｑ≦（ｉ＋０．５）は第２の範囲に該当し、（ｉ＋０．５）＜Ｑ≦（ｉ＋０．７５）は第３の範囲に該当し、（ｉ＋０．７５）＜Ｑ≦（ｉ＋１）は第４の範囲に該当する。ここで、ｉ＝０，１，・・・，７である。なお、Ｑ＝０であるときは、特徴量ＣＨが特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるときでもＲＥＳ＝０である。
【００７３】
係数選択信号生成部１４５は、領域検出部１４４からの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＱの値に対応した解像度選択情報ＲＥＳをＲＯＭ１４６より取り出し、この解像度選択情報ＲＥＳを係数選択信号ＳＥＬとして出力する。例えば、パラメータＱの値が０．４で、検出情報ＤＥＴが特徴量ＣＨが特徴量領域Ｒａに含まれていることを表しているとき、ＲＯＭ１４６よりＳＥＬ＝１が取り出され、係数選択信号ＳＥＬとして１が出力される。
【００７４】
この係数選択信号生成部１４５より出力される係数選択信号ＳＥＬが、係数選択回路１３３の出力ともなる。このように、係数選択回路１３３より出力される係数選択信号ＳＥＬは、上述したように係数メモリ１３１に読み出しアドレス情報として供給される。係数メモリ１３１（図１参照）には上述したように情報メモリバンク１３２からパラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した係数データがロードされるが、ＳＥＬ＝０であるときは離散値ｍに対応した係数データが読み出し対象となり、ＳＥＬ＝１であるときは離散値ｍ＋１に対応した係数データが読み出し対象となる。
【００７５】
図１に戻って、また、画像信号処理部１１０は、第１のタップ選択回路１２１で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３１より読み出される係数データｗｉとから、作成すべきＨＤ信号の画素データ（注目位置の画素データ）ｙを演算する推定予測演算回路１２７を有している。
【００７６】
上述したように、ＳＤ信号（５２５ｉ信号）をＨＤ信号（１０５０ｉ信号）に変換する際には、ＳＤ信号の１画素に対してＨＤ信号の４画素を得る必要があることから、この推定予測演算回路１２７では、ＨＤ信号を構成する２×２の単位画素ブロック毎に、ＨＤ画素データが生成される。
【００７７】
すなわち、この推定予測演算回路１２７には、第１のタップ選択回路１２１より単位画素ブロック内の４画素のデータ（注目位置の画素データ）に対応した予測タップのデータｘｉと、係数メモリ１３１よりその単位画素ブロックを構成する４画素に対応した係数データｗｉとが供給され、単位画素ブロックを構成する４画素のデータｙ1〜ｙ4は、それぞれ個別に（６）式の推定式で演算される。
【００７８】
【数４】
【００７９】
また、画像信号処理部１１０は、推定予測演算回路１２７より順次出力される単位画素ブロックを構成する４画素のデータｙ1〜ｙ4を、線順次化して１０５０ｉ信号のフォーマットで出力する後処理回路１２８を有している。
【００８０】
次に、画像信号処理部１１０の動作を説明する。
バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１２２で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この空間クラスタップのデータは空間クラス検出回路１２４に供給される。この空間クラス検出回路１２４では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑｉが得られる（（１）式参照）。
【００８１】
また、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第３のタップ選択回路１２３で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この動きクラスタップのデータは動きクラス検出回路１２５に供給される。この動きクラス検出回路１２５では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【００８２】
このクラス情報ＭＶと上述した再量子化コードｑｉはクラス合成回路１２６に供給される。このクラス合成回路１２６では、これらクラス情報ＭＶと再量子化コードｑｉとから、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック毎に、その単位画素ブロック内の４画素のデータ（注目位置の画素データ）が属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。そして、このクラスコードＣＬは、係数メモリ１３１に読み出しアドレス情報として供給される。
【００８３】
また、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、係数選択回路１３３で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック毎にその単位画素ブロック内の４画素（注目位置の画素）に対応する係数選択信号ＳＥＬが生成される。
【００８４】
すなわち、図２に示すように、バッファメモリ１０９に記憶されるＳＤ信号（５２５ｉ信号）が係数選択回路１３３の特徴量検出部１４１に供給され、この特徴量検出部１４１では各フィールドのＳＤ信号を構成するＳＤ画素毎に特徴量ＣＨ＝√（ＤＲ×ＡＣＴ）が検出される。そして、特徴量検出部１４１で、ある垂直ブランキング期間で検出される１フィールド分のＳＤ信号に対応する特徴量ＣＨは特徴量メモリ１４２に格納される。
【００８５】
また、特徴量領域決定部１４３において、ある垂直ブランキング期間に特徴量メモリ１４２に格納された１フィールド分のＳＤ信号に対応する特徴量ＣＨが使用されて、全ＳＤ画素に対応する特徴量ＣＨの最小値ＣＨminから最大値ＣＨmaxまでの範囲を４領域に分割して４つの特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが決定される（図６参照）。この場合、全ＳＤ画素に対応する特徴量ＣＨのうち各特徴量領域に含まれる個数が略等しくなるように４つの特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの範囲が決定される。
【００８６】
そして、ある垂直ブランキング期間に特徴量メモリ１４２に格納された１フィールド分のＳＤ信号が、続く垂直有効走査期間で順次取り出されて領域検出部１４４に供給され、各ＳＤ画素に対応する特徴量ＣＨが、上述した特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるかが検出される。この検出情報ＤＥＴは係数選択信号生成部１４５に供給される。
【００８７】
この係数選択信号生成部１４５には、さらにシステムコントローラ１０１からパラメータＱが供給される。係数選択信号生成部１４５が持っているＲＯＭ１４６には、上述したように、パラメータＱの各値に対応した、特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄにおける解像度選択情報ＲＥＳが格納されている。係数選択信号生成部１４５では、領域検出部１４４からの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＱの値に対応した解像度選択情報ＲＥＳがＲＯＭ１４６より取り出される。
【００８８】
そして、この取り出された解像度選択情報ＲＥＳが、係数選択信号生成部１４５、従って係数選択回路１３３の出力である係数選択信号ＳＥＬとなる。したがって、係数選択回路１３３からは、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック毎にその単位画素ブロック内の４画素（注目位置の画素）に対応する係数選択信号ＳＥＬが出力される。この係数選択信号ＳＥＬは、係数メモリ１３１に読み出しアドレス情報として供給される。
【００８９】
係数メモリ１３１には、情報メモリバンク１３２から、パラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データがロードされている。このような係数データのロード動作は、例えば、パラメータＱの値に変更があって、係数メモリ１３１に格納すべき係数データの変更が必要となる場合に行われる。
【００９０】
係数メモリ１３１に上述したようにクラスコードＣＬおよび係数選択信号ＳＥＬが読み出しアドレス情報として供給されることで、この係数メモリ１３１からクラスコードＣＬに対応し、かつ係数選択信号ＳＥＬに対応した係数データｗｉが読み出されて推定予測演算回路１２７に供給される。この場合、ＳＥＬ＝０であるときは離散値ｍに対応した係数データが読み出され、ＳＥＬ＝１であるときは離散値ｍ＋１に対応した係数データが読み出される。
【００９１】
また、第１のタップ選択回路１２１では、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この予測タップのデータｘｉは推定予測演算回路１２７に供給される。
【００９２】
推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３１より読み出される４画素分の係数データｗｉとから、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素のデータ（ＨＤ画素データ）ｙ1〜ｙ4がそれぞれ個別に演算される（（６）式参照）。そして、この推定予測演算回路１２７より順次出力される４画素のデータｙ1〜ｙ4は、後処理回路１２８に供給される。この後処理回路１２８は、推定予測演算回路１２７より順次出力される４画素のデータｙ1〜ｙ4を線順次化し、１０５０ｉ信号のフォーマットで出力する。つまり、この後処理回路１２８からは、ＨＤ信号としての１０５０ｉ信号が出力される。
【００９３】
上述したように、係数メモリ１３１にはシステムコントローラ１０１より供給されるパラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データが情報メモリバンク１３２よりロードされる。そのため、ユーザがリモコン送信機２００を操作してパラメータＱの値を変更すると、それに伴って係数メモリ１３１に格納される係数データも変更され、推定予測演算回路１２７ではＨＤ信号の画素データがパラメータＱの値に対応して生成される。したがって、ユーザは、パラメータＱの値を変更することで、ＨＤ信号による画像の解像度を、従来のコントラストやシャープネスの調整のように、所望の値に任意に調整できる。
【００９４】
また、係数メモリ１３１に格納されるパラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データのうち、推定予測演算回路１２７で実際にＨＤ信号の画素データを生成する際に使用する係数データが、係数選択回路１３３で生成される係数選択信号ＳＥＬに基づいて決定される。すなわち、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺における特徴量ＣＨが、不適切な解像度となる度合い（破綻度合い）がいかなる特徴量領域に含まれるか、およびパラメータＱの値がｍからｍ＋１までのいずれにあるかに応じて、離散値ｍに対応した係数データを使用するか、離散値ｍ＋１に対応した係数データを使用するか決定される。因に、離散値ｍ＋１に対応した係数データは、離散値ｍに対応した係数データより、高い解像度を得るためのものである。
【００９５】
例えば、パラメータＱの値がｍに近くなる程、特徴量ＣＨが不適切な解像度となる度合い（破綻度合い）が低い特徴量領域に含まれる場合だけ、離散値ｍ＋１に対応した係数データが使用される（図８参照）。
【００９６】
このように、全画面一様に同一の係数データを用いるものではなく、注目位置の特徴量に応じて選択された係数データを用いて注目位置の画素データを生成するものである。これにより、パラメータＱを変更して解像度を調整する際に、不適切な解像度となる度合い（破綻度合い）が高い特徴量領域に特徴量ＣＨが含まれる箇所が不適切な解像度となることを防止でき、ＨＤ信号による画像の画質の向上を図ることができる。
【００９７】
図９は、画面内の各箇所ａ〜ｄが、図７で説明したと同様の状態にある場合において、パラメータＱの値がｍ〜ｍ＋１に変化した場合に、各箇所で離散値ｍあるいは離散値ｍ＋１のいずれに対応した係数データが使用されるかを示したものである。
【００９８】
Ｑ＝ｍである場合には、図９（ａ）に示すように、ａ〜ｄの全ての箇所で離散値ｍに対応した係数データｗmが使用される。ｍ＜Ｑ≦ｍ＋０．２５である場合には、図９（ｂ）に示すように、ａの箇所で離散値ｍ＋１に対応した係数データｗm+1が使用され、ｂ〜ｄの箇所で離散値ｍに対応した係数データｗmが使用される。ｍ＋０．２５＜Ｑ≦ｍ＋０．５である場合には、図９（ｃ）に示すように、ａ，ｂの箇所で離散値ｍ＋１に対応した係数データｗm+1が使用され、ｃ，ｄの箇所で離散値ｍに対応した係数データｗmが使用される。ｍ＋０．５＜Ｑ≦ｍ＋０．７５である場合には、図９（ｄ）に示すように、ａ〜ｃの箇所で離散値ｍ＋１に対応した係数データｗm+1が使用され、ｄの箇所で離散値ｍに対応した係数データｗmが使用される。さらに、ｍ＋０．７５＜Ｑ≦ｍ＋１である場合には、図９（ｅ）に示すように、ａ〜ｄの全て箇所で離散値ｍ＋１に対応した係数データｗm+1が使用される。
【００９９】
なお、上述実施の形態においては、注目画素の周辺における高周波成分量に関係する特徴量ＣＨとして、√（ＤＲ×ＡＣＴ）で表されるものを使用したものであるが、これに限定されるものではない。この特徴量ＣＨとしては、同じ解像度を得るための係数データを使用してＨＤ信号を得る場合に、不適切な解像度となる度合い（破綻度合い）を段階的に分類できるものであればよい。
【０１００】
また、上述実施の形態においては、説明を簡単にするため、特徴量ＣＨの最小値ＣＨminから最大値ＣＨmaxまでの範囲を４領域に分割して４つの特徴量領域Ｒａ〜Ｒｄを決定し（図６参照）、またそれに対応してパラメータＱの各離散値の間を４つの範囲に分割した（図８参照）ものを示したが、これらの個数は実際にはもっと多くされ、例えば１０とされる。
【０１０１】
また、上述実施の形態においては、全ＳＤ画素に対応する特徴量ＣＨのうち各特徴量領域に含まれる個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄが略等しくなるようにしたが、必ずしも等しくする必要はない。ただし、個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄを略等しくすることで、パラメータＱの値の変化に比例したＨＤ画像の解像度変化を期待できる。
【０１０２】
次に、情報メモリバンク１３２に蓄積されるパラメータＱの０，１，・・・，８の各離散値に対応した、９つの解像度に対応する係数データの生成方法について説明する。この係数データは、予め学習によって生成されたものである。
【０１０３】
まず、この学習方法について説明する。（６）式の推定式に基づく係数データｗi（ｉ＝１〜ｎ）を最小二乗法により求める例を示すものとする。一般化した例として、Ｘを入力データ、Ｗを係数データ、Ｙを予測値として、（７）式の観測方程式を考える。この（７）式において、ｍは学習データの数を示し、ｎは予測タップの数を示している。
【０１０４】
【数５】
【０１０５】
（７）式の観測方程式により収集されたデータに最小二乗法を適用する。この（７）式の観測方程式をもとに、（８）式の残差方程式を考える。
【０１０６】
【数６】
【０１０７】
（８）式の残差方程式から、各ｗiの最確値は、（９）式のｅ2を最小にする条件が成り立つ場合と考えられる。すなわち、（１０）式の条件を考慮すればよいわけである。
【０１０８】
【数７】
【０１０９】
つまり、（１０）式のｉに基づくｎ個の条件を考え、これを満たすｗ1，ｗ2，・・・，ｗnを算出すればよい。そこで、（８）式の残差方程式から、（１１）式が得られる。さらに、（１１）式と（７）式とから、（１２）式が得られる。
【０１１０】
【数８】
【０１１１】
そして、（８）式と（１２）式とから、（１３）式の正規方程式が得られる。
【０１１２】
【数９】
【０１１３】
（１３）式の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗiの最確値を求めることができる。この場合、掃き出し法（Gauss-Jordanの消去法）等を用いて連立方程式を解くことになる。
【０１１４】
図１０は、上述した概念で係数データを生成する係数データ生成装置１５０を示している。この係数データ生成装置１５０は、教師信号としてのＨＤ信号（１０５０ｉ信号）が入力される入力端子１５１と、このＨＤ信号に対して水平および垂直の間引き処理を行って、生徒信号としてのＳＤ信号を得るＳＤ信号生成回路１５２とを有している。
【０１１５】
このＳＤ信号生成回路１５２には、パラメータＱが制御信号として供給される。このパラメータＱは、図１に示すテレビ受信機１００で、ユーザのリモコン送信機２００の操作によってシステムコントローラ１０１より出力されるパラメータＱに対応したものである。ただし、ここでは、パラメータＱの値として０，１，・・・，８の９つの離散値のみをとる。
【０１１６】
このＳＤ信号生成回路１５２では、パラメータＱの値に対応して、ＨＤ信号からＳＤ信号を生成する際に使用されるフィルタの水平および垂直の帯域が可変される。このフィルタは、例えば水平帯域を制限する１次元ガウシアンフィルタと垂直帯域を制限する１次元ガウシアンフィルタとから構成される。この１次元ガウシアンフィルタは、（１４）式で示される。
【０１１７】
【数１０】
【０１１８】
この場合、Ｑの離散的な値に対応して標準偏差σの値を段階的に変えることで、Ｑの離散的な値に対応した周波数特性を持つ１次元ガウシアンフィルタを得ることができる。この場合、パラメータＱの値が大きくなる程、水平および垂直の帯域が狭くなるようにされる。これにより、パラメータＱの値が大きくなる程、解像度の高いＨＤ信号を得るための係数データを生成できる。
【０１１９】
また、係数データ生成装置１５０は、ＳＤ信号生成回路１５２より出力されるＳＤ信号（５２５ｉ信号）より、ＨＤ信号（１０５０ｉ信号）における注目位置の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１〜第３のタップ選択回路１５３〜１５５を有している。これら第１〜第３のタップ選択回路１５３〜１５５は、上述した画像信号処理部１１０の第１〜第３のタップ選択回路１２１〜１２３と同様に構成される。
【０１２０】
また、係数データ生成装置１５０は、第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１５７を有している。この空間クラス検出回路１５７は、上述した画像信号処理部１１０の空間クラス検出回路１２４と同様に構成される。この空間クラス検出回路１５７からは、空間クラスタップのデータとしての各ＳＤ画素データ毎の再量子化コードｑｉが空間クラスを示すクラス情報として出力される。
【０１２１】
また、係数データ生成装置１５０は、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報ＭＶを出力する動きクラス検出回路１５８を有している。この動きクラス検出回路１５８は、上述した画像信号処理部１１０の動きクラス検出回路１２５と同様に構成される。この動きクラス検出回路１５８では、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）からフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。
【０１２２】
また、係数データ生成装置１５０は、空間クラス検出回路１５７より出力される空間クラスのクラス情報としての再量子化コードｑｉと、動きクラス検出回路１５８より出力される動きクラスのクラス情報ＭＶに基づき、ＨＤ信号（１０５０ｉ信号）における注目位置の画素データが属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１５９を有している。このクラス合成回路１５９も、上述した画像信号処理部１１０のクラス合成回路１２６と同様に構成される。
【０１２３】
また、係数データ生成装置１５０は、入力端子１５１に供給されるＨＤ信号より得られる注目位置の画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、クラス毎に、ｎ個の係数データｗｉを得るための正規方程式（（１３）式参照）を生成する正規方程式生成部１６０を有している。
【０１２４】
この場合、１個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで上述した１個の学習データが生成され、従って正規方程式生成部１６０では多くの学習データが登録された正規方程式が生成される。なお、図示せずも、第１のタップ選択回路１５３の前段に時間合わせ用の遅延回路を配置することで、この第１のタップ選択回路１５３から正規方程式生成部１６０に供給されるＳＤ画素データｘｉのタイミング合わせが行われる。
【０１２５】
また、係数データ生成装置１５０は、正規方程式生成部１６０でクラス毎に生成された正規方程式のデータが供給され、クラス毎に生成された正規方程式を解いて、各クラスの係数データｗｉを求める係数データ決定部１６１と、この求められた係数データｗｉを記憶する係数メモリ１６２とを有している。係数データ決定部１６１では、正規方程式が例えば掃き出し法などによって解かれて、係数データｗｉが求められる。
【０１２６】
図１０に示す係数データ生成装置１５０の動作を説明する。入力端子１５１には教師信号としてのＨＤ信号（１０５０ｉ信号）が供給され、そしてこのＨＤ信号に対してＳＤ信号生成回路１５２で水平および垂直の間引き処理が行われて生徒信号としてのＳＤ信号（５２５ｉ信号）が生成される。この場合、ＳＤ信号生成回路１５２には、パラメータＱが制御信号として供給され、パラメータＱの離散的な値に対応して、水平および垂直の帯域が段階的に変化した複数のＳＤ信号が順次生成されていく。
【０１２７】
このＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１５４で、ＨＤ信号（１０５０ｉ信号）における注目位置の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この空間クラスタップのデータは空間クラス検出回路１５７に供給される。この空間クラス検出回路１５７では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑｉが得られる（（１）式参照）。
【０１２８】
また、ＳＤ信号生成回路１５２で生成されたＳＤ信号より、第３のタップ選択回路１５５で、ＨＤ信号における注目位置の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この動きクラスタップのデータは動きクラス検出回路１５８に供給される。この動きクラス検出回路１５８では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【０１２９】
このクラス情報ＭＶと上述した再量子化コードｑｉはクラス合成回路１５９に供給される。このクラス合成回路１５９では、これらクラス情報ＭＶと再量子化コードｑｉとから、ＨＤ信号（１０５０ｉ信号）における注目位置の画素データが属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。
【０１３０】
また、ＳＤ信号生成回路１５２で生成されるＳＤ信号より、第１のタップ選択回路１５３で、ＨＤ信号に係る注目画素の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。そして、入力端子１５１に供給されるＨＤ信号より得られる注目位置の画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１２１で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、正規方程式生成部１６０では、クラス毎に、ｎ個の係数データｗｉを生成するための正規方程式が生成される。
【０１３１】
そして、係数データ決定部１６１でその正規方程式が解かれ、各クラスの係数データｗｉが求められ、その係数データｗｉはクラス別にアドレス分割された係数メモリ１６２に記憶される。
【０１３２】
このように、図１０に示す係数データ生成装置１５０においては、図１の画像信号処理部１１０の情報メモリバンク１３２に記憶される各クラスの係数データｗｉを生成できる。この場合、ＳＤ信号生成回路１５２で生成されるＳＤ信号の水平および垂直の帯域をパラメータＱの値によって段階的に変化させることができる。そのため、パラメータＱの値を０，１，・・・，８に順次変化させてクラス毎の係数データｗｉを決定していくことで、パラメータＱの０，１，・・・，８の離散的な値に対応した各クラスの係数データｗｉを生成できる。
【０１３３】
なお、図１の画像信号処理部１１０における処理を、例えば図１１に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
まず、図１１に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の動作プログラムや係数データ等が格納されたＲＯＭ（read only memory）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（random access memory）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０１３４】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクをドライブするドライブ（ＨＤＤ）３０５と、フロッピー（登録商標）ディスク３０６をドライブするドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０１３５】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０１３６】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（liquid crystal display）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０１３７】
また、画像信号処理装置３００は、ＳＤ信号を入力するための入力端子３１４と、ＨＤ信号を出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０１３８】
ここで、上述したようにＲＯＭ３０２に処理プログラムや係数データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら処理プログラムや係数データ等をフロッピー（登録商標）ディスク３０６で提供するようにしてもよい。
【０１３９】
また、処理すべきＳＤ信号を入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、処理後のＨＤ信号を出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０１４０】
図１２のフローチャートを参照して、図１１に示す画像信号処理装置３００における、ＳＤ信号よりＨＤ信号を得るため処理手順を説明する。
まず、ステップＳＴ１で、処理を開始し、ステップＳＴ２で、ＳＤ画素データをフィールド単位で入力する。このＳＤ画素データが入力端子３１４より入力される場合には、このＳＤ画素データをＲＡＭ３０３に一時的に格納する。また、このＳＤ画素データがハードディスクに記録されている場合には、ハードディスクドライブ３０７でこのＳＤ画素データを読み出し、ＲＡＭ３０３に一時的に格納する。そして、ステップＳＴ３で、入力ＳＤ画素データの全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ５に進む。
【０１４１】
ステップＳＴ５では、ユーザがリモコン送信機２００を操作して入力したパラメータＱの値を例えばＲＡＭ３０３より読み込む。そして、ステップＳＴ６で、読み込んだパラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データを読み出し、ＲＡＭ３０３に一時的に格納する。
【０１４２】
次に、ステップＳＴ７で、ステップＳＴ２で入力された１フィールド分のＳＤ画素データより、各ＳＤ画素の特徴量ＣＨ（√（ＤＲ×ＡＣＴ））を求め、さらに各ＳＤ画素の特徴量ＣＨを用いて、４つの特徴量領域Ｒａ〜Ｒｄを決定する（図６参照）。なお、各ＳＤ画素の特徴量ＣＨは、後のステップでさらに使用するので、ＲＡＭ３０３に格納しておく。
【０１４３】
次に、ステップＳＴ８で、ステップＳＴ２で入力されたＳＤ画素データより、生成すべき各ＨＤ画素データ（注目画素データ）に対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ９で、入力されたＳＤ画素データの全領域においてＨＤ画素データを得る処理が終了したか否かを判定する。処理が終了していないときは、ステップＳＴ１０に進む。
【０１４４】
このステップＳＴ１０では、生成すべき各ＨＤ画素データ（注目位置の画素データ）に対応するＳＤ画素の特徴量ＣＨが、上述の４つの特徴量領域Ｒａ〜Ｒｄのいずれに含まれるかを検出する。そして、ステップＳＴ１１で、その検出情報ＤＥＴとパラメータＱの値とから、離散値ｍ，ｍ＋１のいずれに対応した係数データを使用するかの係数選択信号ＳＥＬを生成する。
【０１４５】
次に、ステップＳＴ１２で、ステップＳＴ８で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。そして、ステップ１３で、ステップＳＴ１１で生成された係数選択信号ＳＥＬで示される離散値に対応した係数データであって、ステップＳＴ１２で生成されたクラスコードＣＬで示されるクラスの係数データと、予測タップのＳＤ画素データを使用して、推定式（（６）式参照）により、パラメータＱの値に対応したＨＤ画素データを生成し、その後にステップＳＴ８に戻って、上述したと同様の処理を繰り返す。
また、ステップＳＴ９で、処理が終了しているときは、ステップＳＴ２に戻り、次のフィールドのＳＤ画素データの入力処理に移る。
【０１４６】
このように、図１２に示すフローチャートに沿って処理をすることで、入力されたＳＤ信号を構成するＳＤ画素データを処理して、ＨＤ信号を構成するＨＤ画素データを得ることができる。上述したように、このように処理して得られたＨＤ信号は出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０１４７】
次に、この発明の他の実施の形態について説明する。図１３は、実施の形態としてのテレビ受信機１００Ａの構成を示している。このテレビ受信機１００Ａも、放送信号より５２５ｉ信号というＳＤ信号を得、この５２５ｉ信号を１０５０ｉ信号というＨＤ信号に変換し、その１０５０ｉ信号による画像を表示するものである。この図１３において、図１と対応する部分には同一符号を付し、その詳細説明は省略する。
【０１４８】
このテレビ受信機１００Ａは、図１のテレビ受信機１００における画像信号処理部１１０の代わりに、画像信号処理部１１０Ａが設けられたものである。この画像信号処理部１１０Ａでは、注目位置における特徴量として注目位置における動き量を用いるものである。
【０１４９】
画像信号処理部１１０Ａは、第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、クラスコードＣＬを出力する空間クラス検出回路１２４Ａを有している。
【０１５０】
空間クラス検出回路１２４Ａでは、以下の処理が行われてクラスコードＣＬが得られる。まず、図１の画像信号処理部１１０における空間クラス検出回路１２４と同様のＡＤＲＣ等の処理が行われ、第２のタップ選択回路１２２で取り出されたＮａ個の空間クラスタップのデータ（ＳＤ画素データ）に対する再量子化コードｑｉ（ｉ＝１〜Ｎａ）が求められる。次に、この再量子化コードｑｉ（ｉ＝１〜Ｎａ）が使用されて、（１５）式によって、クラスコードＣＬの演算が行われる。
【０１５１】
【数１１】
【０１５２】
このように、画像信号処理部１１０Ａでは、第２のタップ選択回路１２２で取り出された空間クラスタップのデータ（ＳＤ画素データ）のみからクラスコードＣＬが得られる。この場合、上述したように、注目位置における特徴量として注目位置における動き量を用いることから、クラスコードＣＬには動きクラスの情報を含めないこととしている。
【０１５３】
また、画像信号処理部１１０Ａは、係数選択信号ＳＥＬを発生する係数選択回路１３３Ａを有している。この係数選択信号ＳＥＬも、図１の画像信号処理部１１０における係数選択回路１３３で発生される係数選択信号ＳＥＬと同様に、係数メモリ１３１に読み出しアドレス情報として供給されるものであり、情報メモリバンク１３２から係数メモリ１３１にロードされて格納された、パラメータＱの２つの離散値に対応した係数データのうち一つの係数データを選択するために使用される。
【０１５４】
図１４は、係数選択回路１３３Ａの構成を示している。この図１４において、図２と対応する部分には同一符号を付して示している。
この係数選択回路１３３Ａは、動き量検出部１４１Ａ、動き量メモリ１４２Ａ、動き量領域決定部１４３Ａ、領域検出部１４４Ａおよび係数選択信号生成部１４５Ａからなっている。
【０１５５】
動き量検出部１４１Ａは、バッファメモリ１０９に一時的に記憶される各フィールドのＳＤ信号（５２５ｉ信号）を構成するＳＤ画素毎に、動き量を検出するものである。この場合、あるＳＤ画素（着目画素）に対応した動き量は、例えばそのＳＤ画素を中心とした所定サイズのブロックを使用し、周知のブロックマッチング法により動きベクトルを求め、この動きベクトルの大きさとして検出される。なお、動きベクトルはブロックマッチング法ではなく、勾配法により求めてもよい。
【０１５６】
上述したように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して、１０５０ｉ信号の４画素を注目画素として、推定式で得るものである。したがって、動き量検出部１４１ＡにおいてＳＤ信号（５２５ｉ信号）を構成する各１画素に対応した動き量ＣＨを検出するということは、ＨＤ信号（１０５０ｉ信号）を構成する各４画素（注目画素）の動き量ＣＨを検出していることになる。
【０１５７】
動き量検出部１４１Ａは、バッファメモリ１０９に記憶されるあるフィールドのＳＤ信号に対する動き量ＣＨの検出処理を例えば垂直ブランキング期間で行う。動き量メモリ１４２Ａは、動き量検出部１４１Ａにおいてある垂直ブランキング期間に検出される１フィールド分の各ＳＤ画素に対応した動き量ＣＨを格納するものである。
【０１５８】
また、動き量領域決定部１４３Ａは、動き量メモリ１４２Ａに格納された、あるフィールドの全ＳＤ画素に対応する動き量ＣＨを用いて、動き量ＣＨの最小値から最大値までの範囲を４領域に分割して４つの動き量領域を決定するものである。動き量領域決定部１４３Ａは、この動き量領域の決定処理を垂直ブランキング期間で行う。この場合、全ＳＤ画素に対応する動き量ＣＨのうち各動き量領域に含まれる個数が略等しくなるように、４つの動き量領域が決定される。
【０１５９】
図１５は、全ＳＤ画素に対応する動き量ＣＨのヒストグラムモデルを示している。ＣＨminは動き量ＣＨの最小値、ＣＨmaxは動き量ＣＨの最大値を示している。Ｒａ，Ｒｂ，Ｒｃ，Ｒｄは４つの動き量領域であり、Ｎａ，Ｎｂ，Ｎｃ，Ｎｄは全ＳＤ画素に対応する動き量ＣＨのうち各動き量領域に含まれる個数を示している。この場合、個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄが略等しくなるように、動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが決定されることとなる。
【０１６０】
ここで、動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの意義について考えてみる。Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの順に、動き量ＣＨが大きくなることから、画面全体で、同じ解像度を得るための係数データを用いてＳＤ画素データからＨＤ画素データを生成する場合、Ｒｄ側の動き量領域内の動き量ＣＨが検出される箇所ほど不適切な解像度となりやすい。図１６のａ，ｂ，ｃ，ｄは、それぞれＲａ，Ｒｂ，Ｒｃ，Ｒｄの動き量領域内の動き量ＣＨが検出される画面内の箇所を示している。各箇所における不適切な解像度となる度合い（破綻度合い）をｐa，ｐb，ｐc，ｐdとすると、ｐa＜ｐb＜ｐc＜ｐdの関係となる。
【０１６１】
領域検出部１４４Ａは、動き量検出部１４１Ａにおいてある垂直ブランキング期間に検出されて動き量メモリ１４２Ａに格納された各ＳＤ画素に対応する動き量ＣＨを、続く垂直有効走査期間で順次取り出し、各ＳＤ画素に対応する動き量ＣＨが、上述した動き量領域決定部１４３Ａで決定された動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるかを検出し、その検出情報ＤＥＴを出力するものである。
【０１６２】
係数選択信号生成部１４５Ａは、領域検出部１４４Ａからの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＱの値とから、係数選択信号ＳＥＬを生成するものである。係数選択信号生成部１４５Ａは、パラメータＱの各値に対応した、上述の動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄにおける解像度選択情報ＲＥＳが格納された格納手段としてのＲＯＭ１４６を持っている。上述の図８は、ＲＯＭ１４６内に格納された解像度選択情報ＲＥＳを模式的に表している。
【０１６３】
この図において、「ａ」が記載された範囲（第１の範囲）では、動き量ＣＨが動き量領域Ｒａに含まれるときＲＥＳ＝１であり、動き量ＣＨが動き量領域Ｒｂ，Ｒｃ，Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ」が記載された範囲（第２の範囲）では、動き量ＣＨが動き量領域Ｒａ，Ｒｂに含まれるときＲＥＳ＝１であり、動き量ＣＨが動き量領域Ｒｃ，Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ，ｃ」が記載された範囲（第３の範囲）では、動き量ＣＨが動き量領域Ｒａ，Ｒｂ，Ｒｃに含まれるときＲＥＳ＝１であり、動き量ＣＨが動き量領域Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ，ｃ，ｄ」が記載された範囲（第４の範囲）では、動き量ＣＨが動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるときでもＲＥＳ＝１であることを意味する。
【０１６４】
また、この図において、ｉ＜Ｑ≦（ｉ＋０．２５）は第１の範囲に該当し、（ｉ＋０．２５）＜Ｑ≦（ｉ＋０．５）は第２の範囲に該当し、（ｉ＋０．５）＜Ｑ≦（ｉ＋０．７５）は第３の範囲に該当し、（ｉ＋０．７５）＜Ｑ≦（ｉ＋１）は第４の範囲に該当する。ここで、ｉ＝０，１，・・・，７である。なお、Ｑ＝０であるときは、動き量ＣＨが動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるときでもＲＥＳ＝０である。
【０１６５】
係数選択信号生成部１４５Ａは、領域検出部１４４Ａからの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＱの値に対応した解像度選択情報ＲＥＳをＲＯＭ１４６より取り出し、この解像度選択情報ＲＥＳを係数選択信号ＳＥＬとして出力する。例えば、パラメータＱの値が０．４で、検出情報ＤＥＴが動き量ＣＨが動き量領域Ｒａに含まれていることを表しているとき、ＲＯＭ１４６よりＳＥＬ＝１が取り出され、係数選択信号ＳＥＬとして１が出力される。
【０１６６】
この係数選択信号生成部１４５Ａより出力される係数選択信号ＳＥＬが、係数選択回路１３３Ａの出力ともなる。このように、係数選択回路１３３Ａより出力される係数選択信号ＳＥＬは、上述したように係数メモリ１３１（図１３参照）に読み出しアドレス情報として供給される。係数メモリ１３１には上述したように情報メモリバンク１３２からパラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した係数データがロードされるが、ＳＥＬ＝０であるときは離散値ｍに対応した係数データが読み出し対象となり、ＳＥＬ＝１であるときは離散値ｍ＋１に対応した係数データが読み出し対象となる。
図１３に示す画像信号処理部１１０Ａのその他は、図１に示す画像信号処理部１１０と同様に構成される。
【０１６７】
次に、画像信号処理部１１０Ａの動作を説明する。
バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１２２で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この空間クラスタップのデータは空間クラス検出回路１２４Ａに供給される。この空間クラス検出回路１２４Ａでは、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されてクラスコードＣＬが得られる（（１５）式参照）。このクラスコードＣＬは、係数メモリ１３１に読み出しアドレス情報として供給される。
【０１６８】
また、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、係数選択回路１３３Ａで、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック毎にその単位画素ブロック内の４画素（注目位置の画素）に対応する係数選択信号ＳＥＬが生成される。
【０１６９】
すなわち、図１４に示すように、バッファメモリ１０９に記憶されるＳＤ信号（５２５ｉ信号）が係数選択回路１３３Ａの動き量検出部１４１Ａに供給され、この動き量検出部１４１Ａでは各フィールドのＳＤ信号を構成するＳＤ画素毎に、ブロックマッチング法あるいは勾配法などにより動き量ＣＨが検出される。そして、動き量検出部１４１Ａで、ある垂直ブランキング期間で検出される１フィールド分のＳＤ信号に対応する動き量ＣＨは動き量メモリ１４２Ａに格納される。
【０１７０】
また、動き量領域決定部１４３Ａにおいて、ある垂直ブランキング期間に動き量メモリ１４２Ａに格納された１フィールド分のＳＤ信号に対応する動き量ＣＨが使用されて、全ＳＤ画素に対応する動き量ＣＨの最小値ＣＨminから最大値ＣＨmaxまでの範囲を４領域に分割して４つの動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが決定される（図１５参照）。この場合、全ＳＤ画素に対応する動き量ＣＨのうち各動き量領域に含まれる個数が略等しくなるように４つの動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの範囲が決定される。
【０１７１】
そして、ある垂直ブランキング期間に動き量メモリ１４２Ａに格納された１フィールド分のＳＤ信号が、続く垂直有効走査期間で順次取り出されて領域検出部１４４Ａに供給され、各ＳＤ画素に対応する動き量ＣＨが、上述した動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるかが検出される。この検出情報ＤＥＴは係数選択信号生成部１４５Ａに供給される。
【０１７２】
この係数選択信号生成部１４５Ａには、さらにシステムコントローラ１０１からパラメータＱが供給される。係数選択信号生成部１４５Ａが持っているＲＯＭ１４６には、上述したように、パラメータＱの各値に対応した、動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄにおける解像度選択情報ＲＥＳが格納されている。係数選択信号生成部１４５Ａでは、領域検出部１４４Ａからの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＱの値に対応した解像度選択情報ＲＥＳがＲＯＭ１４６より取り出される。
【０１７３】
そして、この取り出された解像度選択情報ＲＥＳが、係数選択信号生成部１４５Ａ、従って係数選択回路１３３Ａの出力である係数選択信号ＳＥＬとなる。したがって、係数選択回路１３３Ａからは、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック毎にその単位画素ブロック内の４画素（注目位置の画素）に対応する係数選択信号ＳＥＬが出力される。この係数選択信号ＳＥＬは、係数メモリ１３１に読み出しアドレス情報として供給される。
【０１７４】
係数メモリ１３１には、情報メモリバンク１３２から、パラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データがロードされている。このような係数データのロード動作は、例えば、パラメータＱの値に変更があって、係数メモリ１３１に格納すべき係数データの変更が必要となる場合に行われる。
【０１７５】
係数メモリ１３１に上述したようにクラスコードＣＬおよび係数選択信号ＳＥＬが読み出しアドレス情報として供給されることで、この係数メモリ１３１からクラスコードＣＬに対応し、かつ係数選択信号ＳＥＬに対応した係数データｗｉが読み出されて推定予測演算回路１２７に供給される。この場合、ＳＥＬ＝０であるときは離散値ｍに対応した係数データが読み出され、ＳＥＬ＝１であるときは離散値ｍ＋１に対応した係数データが読み出される。
【０１７６】
また、第１のタップ選択回路１２１では、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この予測タップのデータｘｉは推定予測演算回路１２７に供給される。
【０１７７】
推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３１より読み出される４画素分の係数データｗｉとから、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素のデータ（ＨＤ画素データ）ｙ1〜ｙ4がそれぞれ個別に演算される（（６）式参照）。そして、この推定予測演算回路１２７より順次出力される４画素のデータｙ1〜ｙ4は、後処理回路１２８に供給される。この後処理回路１２８は、推定予測演算回路１２７より順次出力される４画素のデータｙ1〜ｙ4を線順次化し、１０５０ｉ信号のフォーマットで出力する。つまり、この後処理回路１２８からは、ＨＤ信号としての１０５０ｉ信号が出力される。
【０１７８】
上述したように、係数メモリ１３１にはシステムコントローラ１０１より供給されるパラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データが情報メモリバンク１３２よりロードされる。そのため、ユーザがリモコン送信機２００を操作してパラメータＱの値を変更すると、それに伴って係数メモリ１３１に格納される係数データも変更され、推定予測演算回路１２７ではＨＤ信号の画素データがパラメータＱの値に対応して生成される。したがって、ユーザは、パラメータＱの値を変更することで、ＨＤ信号による画像の解像度を、従来のコントラストやシャープネスの調整のように、所望の値に任意に調整できる。
【０１７９】
また、係数メモリ１３１に格納されるパラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データのうち、推定予測演算回路１２７で実際にＨＤ信号の画素データを生成する際に使用する係数データが、係数選択回路１３３Ａで生成される係数選択信号ＳＥＬに基づいて決定される。すなわち、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素（注目位置の画素）の動き量ＣＨが、不適切な解像度となる度合い（破綻度合い）がいかなる動き量領域に含まれるか、およびパラメータＱの値がｍからｍ＋１までのいずれにあるかに応じて、離散値ｍに対応した係数データを使用するか、離散値ｍ＋１に対応した係数データを使用するか決定される。因に、離散値ｍ＋１に対応した係数データは、離散値ｍに対応した係数データより、高い解像度を得るためのものである。
【０１８０】
例えば、パラメータＱの値がｍに近くなる程、動き量ＣＨが不適切な解像度となる度合い（破綻度合い）が低い動き量領域に含まれる場合だけ、離散値ｍ＋１に対応した係数データが使用される（図８参照）。
【０１８１】
このように、全画面一様に同一の係数データを用いるものでなく、注目位置の動き量に応じて選択された係数データを用いて注目位置の画素データを生成するものである。これにより、パラメータＱの値を変更して解像度を調整する際に、不適切な解像度となる度合い（破綻度合い）が高い動き量領域に動き量ＣＨが含まれる箇所が、不適切な解像度となることを防止でき、ＨＤ信号による画像の画質の向上を図ることができる。
【０１８２】
なお、上述実施の形態においては、説明を簡単にするため、動き量ＣＨの最小値ＣＨminから最大値ＣＨmaxまでの範囲を４領域に分割して４つの動き量領域Ｒａ〜Ｒｄを決定し（図１５参照）、またそれに対応してパラメータＱの各離散値の間を４つの範囲に分割した（図８参照）ものを示したが、これらの個数は実際にはもっと多くされ、例えば１０とされる。
【０１８３】
また、上述実施の形態においては、全ＳＤ画素に対応する動き量ＣＨのうち各動き量領域に含まれる個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄが略等しくなるようにしたが、必ずしも等しくする必要はない。ただし、個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄを略等しくすることで、パラメータＱの値の変化に比例したＨＤ画像の解像度変化を期待できる。
【０１８４】
また、図１３の画像信号処理部１１０Ａにおける処理も、例えば図１１に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。その場合の画像信号処理は、基本的には、上述の図１２に示すフローチャートに沿って行われる。
【０１８５】
ただし、図１３の画像信号処理部１１０Ａでは注目位置における特徴量として注目位置における動き量を用いるものであることから、ステップＳＴ７、ステップＳＴ１０における処理は以下のようになるが、その他のステップにおける処理は上述したと同様である。
【０１８６】
ステップＳＴ７では、ステップＳＴ２で入力された１フィールド分のＳＤ画素データより、各ＳＤ画素の動き量を求め、さらに各ＳＤ画素の動き量ＣＨを用いて、４つの動き量領域Ｒａ〜Ｒｄを決定する（図１５参照）。
【０１８７】
また、ステップＳＴ１０では、生成すべき各ＨＤ画素データ（注目位置の画素データ）に対応するＳＤ画素の動き量ＣＨが、上述の４つの動き量領域Ｒａ〜Ｒｄのいずれに含まれるかを検出する。
【０１８８】
次に、この発明のさらに他の実施の形態について説明する。図１７は、実施の形態としてのテレビ受信機１００Ｂの構成を示している。このテレビ受信機１００Ｂも、放送信号より５２５ｉ信号というＳＤ信号を得、この５２５ｉ信号を１０５０ｉ信号というＨＤ信号に変換し、その１０５０ｉ信号による画像を表示するものである。この図１７において、図１と対応する部分には同一符号を付し、その詳細説明は省略する。
【０１８９】
このテレビ受信機１００Ｂは、図１のテレビ受信機１００における画像信号処理部１１０の代わりに、画像信号処理部１１０Ｂが設けられたものである。この画像信号処理部１１０Ｂでは、注目位置における特徴量として注目位置における輝度が用いられる。
【０１９０】
また、このテレビ受信機１００Ｂにおいて、ユーザは、リモコン送信機２００の操作によって、ディスプレイ部１１１の画面上に表示される画像の輝度を調整できる。例えば、輝度選択モードで、アップキーおよびダウンキーの押圧操作、あるいはジョグダイヤル等のつまみの回転操作をすることで、システムコントローラ１０１から画像信号処理部１１０Ｂに供給される、輝度を示すパラメータＢの値を変更できる。
【０１９１】
画像信号処理部１１０Ｂでは、後述するように、ＨＤ画素データが推定式によって算出されるが、この推定式の係数データとして、上述したパラメータＢの値に対応したものが使用される。これにより、画像信号処理部１１０Ｂから出力されるＨＤ信号による画像の輝度は、パラメータＢの値に対応したものとなる。
【０１９２】
なお、ユーザのリモコン送信機２００の操作によってパラメータＢの値の変更が行われている状態では、ディスプレイ部１１１の画面上に、パラメータＢの値の表示が行われる。ここでは図示しないが、この表示は数値または棒グラフ等を用いて行われる。ユーザは、この表示を参照して、パラメータＢの値を変更できる。
【０１９３】
画像信号処理部１１０Ｂは、情報メモリバンク１３２Ｂを有している。本実施の形態においては、パラメータＢは０〜８の間で変更可能とされる。情報メモリバンク１３２Ｂには、パラメータＢの０，１，・・・，８の各離散値に対応した、９つの輝度における各クラスの係数データが予め蓄えられている。ここで、パラメータＱの値が大きくなるほど輝度が高くなっていくものとする。この９つの輝度に対応する係数データの生成方法については後述する。
【０１９４】
なお、上述したように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。そのため、ある輝度におけるあるクラスの係数データは、奇数、偶数のそれぞれのフィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素に対応した係数データからなっている。この２×２の単位画素ブロック内の４画素は、５２５ｉ信号の画素に対応して互いに異なる位相関係になっている。
【０１９５】
上述したように、ユーザは、リモコン送信機２００の操作部において、アップキーおよびダウンキーの押圧操作、またはジョグダイヤル等のつまみの回転操作をすることで、システムコントローラ１０１から画像信号処理部１１０Ｂに供給されるパラメータＢの値を変更できる。情報メモリバンク１３２Ｂには、そのパラメータＢが供給され、この情報メモリバンク１３２Ｂから係数メモリ１３１には、パラメータＢの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した、各クラスの係数データがロードされる。
【０１９６】
すなわち、０≦Ｂ≦１であるときはＢ＝０，１に対応した各クラスの係数データが、１＜Ｂ≦２であるときはＢ＝１，２に対応した各クラスの係数データが、２＜Ｂ≦３であるときはＢ＝２，３に対応した各クラスの係数データが、３＜Ｂ≦４であるときはＢ＝３，４に対応した各クラスの係数データが、４＜Ｂ≦５であるときはＢ＝４，５に対応した各クラスの係数データが、５＜Ｂ≦６であるときはＢ＝５，６に対応した各クラスの係数データが、６＜Ｂ≦７であるときはＢ＝６，７に対応した各クラスの係数データが、７＜Ｂ≦８であるときはＢ＝７，８に対応した各クラスの係数データが、情報メモリバンク１３２Ｂから係数メモリ１３１にロードされる。
【０１９７】
また、画像信号処理部１１０Ｂは、係数選択信号ＳＥＬを発生する係数選択回路１３３Ｂを有している。この係数選択信号ＳＥＬも、図１の画像信号処理部１１０における係数選択回路１３３で発生される係数選択信号ＳＥＬと同様に、係数メモリ１３１に読み出しアドレス情報として供給されるものであり、情報メモリバンク１３２Ｂから係数メモリ１３１にロードされて格納された、パラメータＢの２つの離散値に対応した係数データのうち一つの係数データを選択するために使用される。
【０１９８】
図１８は、係数選択回路１３３Ｂの構成を示している。この図１８において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
この係数選択回路１３３Ｂは、輝度検出部１４１Ｂ、輝度メモリ１４２Ｂ、輝度領域決定部１４３Ｂ、領域検出部１４４Ｂおよび係数選択信号生成部１４５Ｂからなっている。
【０１９９】
輝度検出部１４１Ｂは、バッファメモリ１０９に一時的に記憶される各フィールドのＳＤ信号（５２５ｉ信号）を構成するＳＤ画素毎に、輝度を検出するものである。この場合、あるＳＤ画素（着目画素）に対応した輝度は、例えばそのＳＤ画素を中心とした所定サイズのブロックを使用し、ブロック内の画素値の単純平均、あるいは重み付け平均により求められる。
【０２００】
上述したように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して、１０５０ｉ信号の４画素を注目画素として、推定式で得るものである。したがって、輝度検出部１４１ＢにおいてＳＤ信号（５２５ｉ信号）を構成する各１画素に対応した輝度を検出するということは、ＨＤ信号（１０５０ｉ信号）を構成する各４画素（注目画素）の輝度を検出していることになる。
【０２０１】
輝度検出部１４１Ｂは、バッファメモリ１０９に記憶されるあるフィールドのＳＤ信号に対する輝度ＣＨの検出処理を例えば垂直ブランキング期間で行う。輝度メモリ１４２Ｂは、輝度検出部１４１Ｂにおいてある垂直ブランキング期間に検出される１フィールド分の各ＳＤ画素に対応した輝度ＣＨを格納するものである。
【０２０２】
また、輝度領域決定部１４３Ｂは、輝度メモリ１４２Ｂに格納された、あるフィールドの全ＳＤ画素に対応する輝度ＣＨを用いて、輝度ＣＨの最小値から最大値までの範囲を４領域に分割して４つの輝度領域を決定するものである。輝度領域決定部１４３Ｂは、この輝度領域の決定処理を垂直ブランキング期間で行う。この場合、全ＳＤ画素に対応する輝度ＣＨのうち各輝度領域に含まれる個数が略等しくなるように、４つの輝度領域が決定される。
【０２０３】
図１９は、全ＳＤ画素に対応する輝度ＣＨのヒストグラムモデルを示している。ＣＨminは輝度ＣＨの最小値、ＣＨmaxは輝度ＣＨの最大値を示している。Ｒａ，Ｒｂ，Ｒｃ，Ｒｄは４つの輝度領域であり、Ｎａ，Ｎｂ，Ｎｃ，Ｎｄは全ＳＤ画素に対応する輝度ＣＨのうち各輝度領域に含まれる個数を示している。この場合、個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄが略等しくなるように、輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが決定されることとなる。
【０２０４】
ここで、輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの意義について考えてみる。Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの順に、輝度ＣＨが大きくなることから、画面全体で同じ輝度を得るための係数データを用いてＳＤ画素データからＨＤ画素データを生成する場合、Ｒｄ側の輝度領域内の輝度ＣＨが検出される箇所ほど明るくなりすぎ、不適切な輝度となりやすい。図２０のａ，ｂ，ｃ，ｄは、それぞれＲａ，Ｒｂ，Ｒｃ，Ｒｄの輝度領域内の輝度ＣＨが検出される画面内の箇所を示している。各箇所における不適切な輝度となる度合い（破綻度合い）をｐa，ｐb，ｐc，ｐdとすると、ｐa＜ｐb＜ｐc＜ｐdの関係となる。
【０２０５】
領域検出部１４４Ｂは、輝度検出部１４１Ｂにおいてある垂直ブランキング期間に検出されて輝度メモリ１４２Ｂに格納された各ＳＤ画素に対応する輝度ＣＨを、続く垂直有効走査期間で順次取り出し、各ＳＤ画素に対応する輝度ＣＨが、上述した輝度領域決定部１４３Ａで決定された輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるかを検出し、その検出情報ＤＥＴを出力するものである。
【０２０６】
係数選択信号生成部１４５Ｂは、領域検出部１４４Ｂからの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＢの値とから、係数選択信号ＳＥＬを生成するものである。係数選択信号生成部１４５Ｂは、パラメータＢの各値に対応した、上述の輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄにおける輝度選択情報ＲＥＳが格納された格納手段としてのＲＯＭ１４６Ｂを持っている。図２１は、ＲＯＭ１４６Ｂ内に格納された輝度選択情報ＲＥＳを模式的に表している。
【０２０７】
この図において、「ａ」が記載された範囲（第１の範囲）では、輝度ＣＨが輝度領域Ｒａに含まれるときＲＥＳ＝１であり、輝度ＣＨが輝度領域Ｒｂ，Ｒｃ，Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ」が記載された範囲（第２の範囲）では、輝度ＣＨが輝度領域Ｒａ，Ｒｂに含まれるときＲＥＳ＝１であり、輝度ＣＨが輝度領域Ｒｃ，Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ，ｃ」が記載された範囲（第３の範囲）では、輝度ＣＨが輝度領域Ｒａ，Ｒｂ，Ｒｃに含まれるときＲＥＳ＝１であり、輝度ＣＨが輝度領域Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ，ｃ，ｄ」が記載された範囲（第４の範囲）では、輝度ＣＨが輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるときでもＲＥＳ＝１であることを意味する。
【０２０８】
また、この図において、ｉ＜Ｂ≦（ｉ＋０．２５）は第１の範囲に該当し、（ｉ＋０．２５）＜Ｂ≦（ｉ＋０．５）は第２の範囲に該当し、（ｉ＋０．５）＜Ｂ≦（ｉ＋０．７５）は第３の範囲に該当し、（ｉ＋０．７５）＜Ｂ≦（ｉ＋１）は第４の範囲に該当する。ここで、ｉ＝０，１，・・・，７である。なお、Ｂ＝０であるときは、輝度ＣＨが輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるときでもＲＥＳ＝０である。
【０２０９】
係数選択信号生成部１４５Ｂは、領域検出部１４４Ｂからの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＢの値に対応した輝度選択情報ＲＥＳをＲＯＭ１４６Ｂより取り出し、この輝度選択情報ＲＥＳを係数選択信号ＳＥＬとして出力する。例えば、パラメータＢの値が０．４で、検出情報ＤＥＴが輝度ＣＨが輝度領域Ｒａに含まれていることを表しているとき、ＲＯＭ１４６ＢよりＳＥＬ＝１が取り出され、係数選択信号ＳＥＬとして１が出力される。
【０２１０】
この係数選択信号生成部１４５Ｂより出力される係数選択信号ＳＥＬが、係数選択回路１３３Ｂの出力ともなる。このように、係数選択回路１３３Ｂより出力される係数選択信号ＳＥＬは、上述したように係数メモリ１３１（図１７参照）に読み出しアドレス情報として供給される。係数メモリ１３１には上述したように情報メモリバンク１３２ＢからパラメータＢの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した係数データがロードされるが、ＳＥＬ＝０であるときは離散値ｍに対応した係数データが読み出し対象となり、ＳＥＬ＝１であるときは離散値ｍ＋１に対応した係数データが読み出し対象となる。
図１７に示す画像信号処理部１１０Ｂのその他は、図１に示す画像信号処理部１１０と同様に構成される。
【０２１１】
次に、画像信号処理部１１０Ｂの動作を説明する。
バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１２２で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。空間クラス検出回路１２４では、この空間クラスタップのデータに基づいて、クラス情報としての再量子化コードｑｉが得られる（（１）式参照）。
【０２１２】
また、バッファメモリ１０９に記憶されているＳＤ信号より、第３のタップ選択回路１２３で、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。動きクラス検出回路１２５では、この動きクラスタップのデータに基づいて、動きクラスのクラス情報ＭＶが得られる。
【０２１３】
このクラス情報ＭＶと上述した再量子化コードｑｉはクラス合成回路１２６に供給される。クラス合成回路１２６では、これらクラス情報ＭＶと再量子化コードｑｉとから、作成すべきＨＤ信号を構成する単位画素ブロック毎に、その単位画素ブロック内の４画素のデータ（注目位置の画素データ）が属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。このクラスコードＣＬは、係数メモリ１３１に読み出しアドレス情報として供給される。
【０２１４】
また、バッファメモリ１０９に記憶されているＳＤ信号より、係数選択回路１３３Ｂで、作成すべきＨＤ信号を構成する単位画素ブロック毎に、その単位画素ブロック内の４画素（注目位置の画素）に対応する係数選択信号ＳＥＬが生成される。
【０２１５】
すなわち、図１８に示すように、バッファメモリ１０９に記憶されるＳＤ信号（５２５ｉ信号）が係数選択回路１３３Ｂの輝度検出部１４１Ｂに供給され、この輝度検出部１４１Ｂでは各フィールドのＳＤ信号を構成するＳＤ画素毎に、輝度ＣＨが検出される。そして、輝度検出部１４１Ｂで、ある垂直ブランキング期間で検出される１フィールド分のＳＤ信号に対応する輝度ＣＨは輝度メモリ１４２Ｂに格納される。
【０２１６】
また、輝度領域決定部１４３Ｂにおいて、ある垂直ブランキング期間に輝度メモリ１４２Ｂに格納された１フィールド分のＳＤ信号に対応する輝度ＣＨが使用されて、全ＳＤ画素に対応する輝度ＣＨの最小値ＣＨminから最大値ＣＨmaxまでの範囲を４領域に分割して４つの輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが決定される（図１９参照）。この場合、全ＳＤ画素に対応する輝度ＣＨのうち各輝度領域に含まれる個数が略等しくなるように４つの輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの範囲が決定される。
【０２１７】
そして、ある垂直ブランキング期間に輝度メモリ１４２Ｂに格納された１フィールド分のＳＤ信号が、続く垂直有効走査期間で順次取り出されて領域検出部１４４Ｂに供給され、各ＳＤ画素に対応する輝度ＣＨが、上述した輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるかが検出される。この検出情報ＤＥＴは係数選択信号生成部１４５Ｂに供給される。
【０２１８】
この係数選択信号生成部１４５Ｂには、さらにシステムコントローラ１０１からパラメータＢが供給される。係数選択信号生成部１４５Ｂが持っているＲＯＭ１４６Ｂには、上述したように、パラメータＢの各値に対応した、輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄにおける輝度選択情報ＲＥＳが格納されている。係数選択信号生成部１４５Ｂでは、領域検出部１４４Ｂからの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＢの値に対応した輝度選択情報ＲＥＳがＲＯＭ１４６Ｂより取り出される。
【０２１９】
そして、この取り出された輝度選択情報ＲＥＳが、係数選択信号生成部１４５Ｂ、従って係数選択回路１３３Ｂの出力である係数選択信号ＳＥＬとなる。したがって、係数選択回路１３３Ｂからは、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック毎にその単位画素ブロック内の４画素（注目位置の画素）に対応する係数選択信号ＳＥＬが出力される。この係数選択信号ＳＥＬは、係数メモリ１３１に読み出しアドレス情報として供給される。
【０２２０】
係数メモリ１３１には、情報メモリバンク１３２Ｂから、パラメータＢの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データがロードされている。このような係数データのロード動作は、例えば、パラメータＢの値に変更があって、係数メモリ１３１に格納すべき係数データの変更が必要となる場合に行われる。
【０２２１】
係数メモリ１３１に上述したようにクラスコードＣＬおよび係数選択信号ＳＥＬが読み出しアドレス情報として供給されることで、この係数メモリ１３１からクラスコードＣＬに対応し、かつ係数選択信号ＳＥＬに対応した係数データｗｉが読み出されて推定予測演算回路１２７に供給される。この場合、ＳＥＬ＝０であるときは離散値ｍに対応した係数データが読み出され、ＳＥＬ＝１であるときは離散値ｍ＋１に対応した係数データが読み出される。
【０２２２】
また、第１のタップ選択回路１２１では、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この予測タップのデータｘｉは推定予測演算回路１２７に供給される。
【０２２３】
推定予測演算回路１２７では、予測タップのデータｘｉと、係数メモリ１３１より読み出される４画素分の係数データｗｉとから、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素のデータ（ＨＤ画素データ）ｙ1〜ｙ4がそれぞれ個別に演算される（（６）式参照）。そして、この推定予測演算回路１２７より順次出力される４画素のデータｙ1〜ｙ4は、後処理回路１２８に供給される。この後処理回路１２８は、推定予測演算回路１２７より順次出力される４画素のデータｙ1〜ｙ4を線順次化し、１０５０ｉ信号のフォーマットで出力する。つまり、この後処理回路１２８からは、ＨＤ信号としての１０５０ｉ信号が出力される。
【０２２４】
上述したように、係数メモリ１３１にはシステムコントローラ１０１より供給されるパラメータＢの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データが情報メモリバンク１３２Ｂよりロードされる。そのため、ユーザがリモコン送信機２００を操作してパラメータＢの値を変更すると、それに伴って係数メモリ１３１に格納される係数データも変更され、推定予測演算回路１２７ではＨＤ信号の画素データがパラメータＢの値に対応して生成される。したがって、ユーザは、パラメータＢの値を変更することで、ＨＤ信号による画像の輝度を所望の値に任意に調整できる。
【０２２５】
また、係数メモリ１３１に格納されるパラメータＢの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データのうち、推定予測演算回路１２７で実際にＨＤ信号の画素データを生成する際に使用する係数データが、係数選択回路１３３Ｂで生成される係数選択信号ＳＥＬに基づいて決定される。すなわち、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素（注目位置の画素）の輝度ＣＨが、不適切な輝度となる度合い（破綻度合い）がいかなる輝度領域に含まれるか、およびパラメータＢの値がｍからｍ＋１までのいずれにあるかに応じて、離散値ｍに対応した係数データを使用するか、離散値ｍ＋１に対応した係数データを使用するか決定される。因に、離散値ｍ＋１に対応した係数データは、離散値ｍに対応した係数データより、高い輝度を得るためのものである。
【０２２６】
例えば、パラメータＢの値がｍに近くなる程、輝度ＣＨが不適切な輝度となる度合い（破綻度合い）が低い輝度領域に含まれる場合だけ、離散値ｍ＋１に対応した係数データが使用される（図２１参照）。
【０２２７】
このように、全画面一様に同一の係数データを用いるものではなく、注目位置の輝度に応じて選択された係数データを用いて注目位置の画素データを生成するものである。これにより、パラメータＢの値を変更して輝度を調整する際に、不適切な輝度となる度合い（破綻度合い）が高い輝度領域に輝度ＣＨが含まれる箇所が、不適切な輝度となることを防止でき、ＨＤ信号による画像の画質の向上を図ることができる。
【０２２８】
例えば、図２４Ａに示すような画像を考える。この画像は、左側の犬が体色が濃いことと家の影に入っていることとが重なって見にくい状態になっている。このようなときに、輝度を高くするように調整した場合、最初は、図２４Ｃに示すように、暗いところのみが明るくなる。そのため、体色の濃い犬周辺だけで明るくなり、犬が見えやすくなる。この場合、画像全体が明るくならないので、画像全体が白っぽく不自然なものとなることがない。さらに輝度を高くしていくと、図２４Ｄに示すように、画像全体が明るく変化する。
【０２２９】
なお、上述実施の形態においては、説明を簡単にするため、輝度ＣＨの最小値ＣＨminから最大値ＣＨmaxまでの範囲を４領域に分割して４つの輝度領域Ｒａ〜Ｒｄを決定し（図１９参照）、またそれに対応してパラメータＢの各離散値の間を４つの範囲に分割した（図２１参照）ものを示したが、これらの個数は実際にはもっと多くされ、例えば１０とされる。
【０２３０】
また、上述実施の形態においては、全ＳＤ画素に対応する輝度ＣＨのうち各輝度領域に含まれる個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄが略等しくなるようにしたが、必ずしも等しくする必要はない。ただし、個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄを略等しくすることで、パラメータＢの値の変化に比例したＨＤ画像の輝度変化を期待できる。
【０２３１】
また、図１７の画像信号処理部１１０Ｂにおける処理も、例えば図１１に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。その場合の画像信号処理は、基本的には、上述の図１２に示すフローチャートに沿って行われる。
ただし、図１７の画像信号処理部１１０は画像の輝度を調整し得るものであることから、ステップＳＴ５では、パラメータＱの代わりに、ユーザがリモコン送信機２００を操作して入力したパラメータＢの値を例えばＲＡＭ３０３より読み込む。
【０２３２】
また、図１７の画像信号処理部１１０Ｂでは注目位置における特徴量として注目位置における輝度を用いるものであることから、ステップＳＴ７、ステップＳＴ１０における処理は以下のようになるが、その他のステップにおける処理は上述したと同様である。
【０２３３】
ステップＳＴ７では、ステップＳＴ２で入力された１フィールド分のＳＤ画素データより、各ＳＤ画素の輝度を求め、さらに各ＳＤ画素の輝度ＣＨを用いて、４つの輝度領域Ｒａ〜Ｒｄを決定する（図１９参照）。
【０２３４】
また、ステップＳＴ１０では、生成すべき各ＨＤ画素データ（注目位置の画素データ）に対応するＳＤ画素の輝度ＣＨが、上述の４つの輝度領域Ｒａ〜Ｒｄのいずれに含まれるかを検出する。
【０２３５】
また、図１７の画像信号処理部１１０Ｂにおける情報メモリバンク１３２Ｂに記憶される、パラメータＢの０，１，・・・，８の離散的な値に対応した各クラスの係数データｗｉは、図１０に示す係数データ生成装置１５０と同様の構成の係数データ生成装置により生成できる。その場合、ＳＤ信号生成回路１５２にはパラメータＱの代わりにパラメータＢを入力し、このパラメータＢの値によってＳＤ信号の輝度を段階的に変化させればよい。
【０２３６】
なお、上述実施の形態においては、ＨＤ信号を生成する際の推定式として線形一次方程式を使用したものを挙げたが、これに限定されるものではなく、例えば推定式として高次方程式を使用するものであってもよい。
【０２３７】
また、上述実施の形態においては、ＳＤ信号（５２５ｉ信号）をＨＤ信号（１０５０ｉ信号）に変換する例を示したが、この発明はそれに限定されるものでなく、推定式を使用して第１の画像信号を第２の画像信号に変換するその他の場合にも同様に適用できることは勿論である。
【０２３８】
また、上述実施の形態においては、情報信号が画像信号である場合を示したが、この発明はこれに限定されない。例えば、情報信号が音声信号である場合にも、この発明を同様に適用することができる。音声信号の場合、例えばパラメータの値により音量を調整するものにあって、特徴量検出手段で検出される特徴量を注目位置の音量とすることが考えられる。この場合、上述した図１７の画像信号処理部１１０Ｂにおける輝度と同様の関係となり、不適切な音量となる度合い（破綻度合い）が高い音量領域に音量が含まれる箇所が、音量が大きくなりすぎて不適切な音量となることを防止できる。
【０２３９】
また、この発明は、パラメータの値で調整される出力の質および検出される特徴量の対は上述実施の形態に限定されない。要は、第２の情報信号による出力の質を示すパラメータの値の他に、検出された注目位置にける特徴量をも参照して、第２の情報信号における注目位置の情報データを生成し、これにより第２の情報信号による出力に不適切な質となる箇所が発生することを防止することにある。
【０２４０】
【発明の効果】
この発明によれば、解像度創造の手法を用いて第１の情報信号を、当該第１の情報信号より高解像度な第２の情報信号に変換する際に、第２の情報信号の注目位置における特徴量を検出し、第２の情報信号による出力の質を示すパラメータの他に、検出された特徴量をも参照して、第２の情報信号における注目位置の情報データを生成するものであり、第２の情報信号による出力に不適切な質となる箇所が発生することを防止することができる。
【図面の簡単な説明】
【図１】実施の形態としてのテレビ受信機の構成を示すブロック図である。
【図２】係数選択回路の構成を示すブロック図である。
【図３】特徴量を構成するダイナミックレンジＤＲの説明に供する図である。
【図４】特徴量を構成するアクティビティＡＣＴの説明に供する図である。
【図５】ダイナミックレンジとアクティビティの検出部分のモデルを示す図である。
【図６】１フィールドの全ＳＤ画素に対応する特徴量のヒストグラムモデルを示す図である。
【図７】画面内の各特徴量領域内の箇所と破綻度合いの一例を示す図である。
【図８】係数選択信号生成部が持つＲＯＭ内の解像度選択情報を模式的に表した図である。
【図９】解像度を示すパラメータＱの値の変化に対する、画面内の各箇所で使用される係数データの変化を説明するための図である。
【図１０】係数データ生成装置の構成を示すブロック図である。
【図１１】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図１２】画像信号処理の手順を示すフローチャートである。
【図１３】他の実施の形態としてのテレビ受信機の構成を示すブロック図である。
【図１４】係数選択回路の構成を示すブロック図である。
【図１５】１フィールドの全ＳＤ画素に対応する動き量のヒストグラムモデルを示す図である。
【図１６】画面内の各動き量領域内の箇所と破綻度合いの一例を示す図である。
【図１７】他の実施の形態としてのテレビ受信機の構成を示すブロック図である。
【図１８】係数選択回路の構成を示すブロック図である。
【図１９】１フィールドの全ＳＤ画素に対応する輝度のヒストグラムモデルを示す図である。
【図２０】画面内の各輝度領域内の箇所と破綻度合いの一例を示す図である。
【図２１】係数選択信号生成部が持つＲＯＭ内の輝度選択情報を模式的に表した図である。
【図２２】動きボケを説明するためのモデル図である。
【図２３】大きな物体の動きボケを説明するためのモデル図である。
【図２４】明るさ調整時の画像変化を説明するための図である。
【図２５】５２５ｉ信号と１０５０ｉ信号の画素位置関係を説明するための図である。
【符号の説明】
１００，１００Ａ，１００Ｂ・・・テレビ受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ、１０９・・・バッファメモリ、１１０，１１０Ａ，１１０Ｂ・・・画像信号処理部、１１１・・・ディスプレイ部、１２１・・・第１のタップ選択回路、１２２・・・第２のタップ選択回路、１２３・・・第３のタップ選択回路、１２４，１２４Ａ・・・空間クラス検出回路、１２５・・・動きクラス検出回路、１２６・・・クラス合成回路、１２７・・・推定予測演算回路、１２８・・・後処理回路、１３１・・・係数メモリ、１３２・・・情報メモリバンク、１３３，１３３Ａ，１３３Ｂ・・・係数選択回路、１４１・・・特徴量検出部、１４１Ａ・・・動き量検出部、１４１Ｂ・・・輝度検出部、１４２・・・特徴量メモリ、１４２Ａ・・・動き量メモリ、１４２Ｂ・・・輝度メモリ、１４３・・・特徴量領域決定部、１４３Ａ・・・動き量領域決定部、１４３Ｂ・・・輝度領域決定部、１４４，１４４Ａ，１４４Ｂ・・・領域検出部、１４５，１４５Ａ，１４５Ｂ・・・係数選択信号生成部、１５０・・・係数データ生成装置、１５１・・・入力端子、１５２・・・ＳＤ信号生成回路、１５３・・・第１のタップ選択回路、１５４・・・第２のタップ選択回路、１５５・・・第３のタップ選択回路、１５７・・・空間クラス検出回路、１５８・・・動きクラス検出回路、１５９・・・クラス合成回路、１６０・・・正規方程式生成部、１６１・・・係数データ決定部、１６２・・・係数メモリ、２００・・・リモコン送信機、３００・・・画像信号処理装置
【発明の属する技術分野】
この発明は、例えばＮＴＳＣ方式のビデオ信号をハイビジョンのビデオ信号に変換する際等に適用して好適な情報信号処理装置、情報信号処理方法およびそれを使用した画像処理装置および画像処理方法、並びに情報信号処理方法又は画像処理方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体に関する。
【０００２】
詳しくは、解像度創造の手法を用いて第１の情報信号を第２の情報信号に変換する際に、第２の情報信号における注目位置の特徴量を検出し、第２の情報信号による出力の質を示すパラメータの他に、検出された特徴量をも参照して、第２の情報信号における注目位置の情報データを生成することによって、第２の情報信号による出力に不適切な質となる箇所が発生することを防止するようにした情報信号処理装置等に係るものである。
【０００３】
【従来の技術】
従来、例えば５２５ｉ信号というＳＤ(Standard Definition）信号を、１０５０ｉ信号というＨＤ(High Definition)信号に変換するフォーマット変換が提案されている。５２５ｉ信号は、ライン数が５２５本でインタレース方式の画像信号を意味し、１０５０ｉ信号は、ライン数が１０５０本でインタレース方式の画像信号を意味する。
【０００４】
図２５は、５２５ｉ信号と１０５０ｉ信号の画素位置関係を示している。ここで、大きなドットが５２５ｉ信号の画素であり、小さなドットが１０５０ｉ信号の画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。
【０００５】
従来、上述したようなフォーマット変換を行うために、本出願人は、先に、５２５ｉ信号の画素データより１０５０ｉ信号の画素データを得る際、５２５ｉ信号の画素に対する１０５０ｉ信号の各画素の位相に対応した推定式の係数データをメモリに格納しておき、この係数データを用いて推定式によって１０５０ｉ信号の画素データを求める、解像度創造の手法を用いることを提案した。
【特許文献１】
特開２００１−２３８１８５号公報
【０００６】
【発明が解決しようとする課題】
上述したように推定式によって１０５０ｉ信号の画素データを求めるものにおいては、この１０５０ｉ信号による画像の解像度は固定されており、従来のコントラストやシャープネス等の調整のように、画像内容等に応じて所望の解像度とすることができなかった。
そこで、本出願人は、先に、画像の解像度をユーザが所望の値に任意に調整し得る画像信号変換装置等を提案した（特許文献１参照）。
【０００７】
しかしこの場合、全画面一様に、調整された解像度に対応した係数データを用いるものであり、適切な解像度となる箇所と、不適切な解像度となる箇所とが存在する。
例えば、高周波成分量が少ない箇所と高周波成分量が多い箇所において、適切な解像度となる場合と適切な解像度とならない場合が存在する。
【０００８】
また例えば、動きのある箇所と動きのない箇所において、適切な解像度となる場合と適切な解像度とならない場合が存在する。以下に、動きのある箇所で生じる動きボケについて説明する。
図２２に動きボケのモデルを示している。この図２２において、ｖは垂直方向を示し、ｈは水平方向を示している。
【０００９】
図２２Ａに示す動き無しの場合は、物体（黒い四角形）ははっきりと見え、画素値をグラフにしてみると、エッジが切り立っている（図の黒色は何らかの輝度値がそこに存在していることを表している）。
この物体がある速度で動き出した場合が、図２２Ｂに示す動き小の場合である。物体が動いているために動きによるボケが生じる。画素値をグラフで見ると、図のようにエッジがなだらかになり、画像としても動き方向にぼやけた画像になる。このボケ方は動き量、すなわち物体の速度に依存する。
【００１０】
次に、物体がもっと速く動いた場合を考える。図２２Ｃ（左側）に示す動き大の場合である。物体の速度が速くなったことで物体はますますボケてしまい、画素値をグラフでみると、図のようにエッジが一層なだらかになる。これはシャッターやデバイスの特性などで区切られたある一定時間に蓄積された電荷またはフィルムの変化を画素値としているために生じるものであり、動き量によって生じる歪みである。
【００１１】
ここで、このような動きボケを生じている動物体に解像度創造を行うことを考える。解像度創造においては画素密度を増やすと共に、制限されてしまった帯域を元に戻すという処理が行われる。
その結果、図２２Ｃ（右側）のように、グラフが立ってしまう。静止部では勿論それでよい。しかし、動き部では結果的に動きによって自然に起こる動きボケ量を変化させてしまい、不自然な画像を作り上げてしまうことになる。
【００１２】
また、図２３Ａに示すように、非常に大きな物体が移動していた場合を考える。この場合、解像度創造を行うと、静止部では現れないようなグラデーションが生じる。すなわち、予測タップのタップ範囲が充分でない場合、箇所箇所で解像度創造の処理が行われてしまい、図２３Ｂに示すような波形に変化させてしまうことがある。
【００１３】
また、解像度創造において、上述したように画像の解像度を任意に調整するものと同様にして、画像の輝度を任意に調整することも考えられる。この場合、全画面一様に、調整された輝度に対応した係数データを用いるものであり、適切な輝度となる箇所と、不適切な輝度となる箇所とが存在する。
【００１４】
例えば、図２４Ａに示すような画像を考える。この画像は、左側の犬が体色が濃いことと家の影に入っていることとが重なって見にくい状態になっている。このようなときに、輝度を高くするように調整した場合、図２４Ｂに示すように、画像全体が一辺に明るくなるので、体色の濃い犬周辺だけでなく、地面や屋根など、輝度を高くしなくても充分によく見える領域までも明るくなり、画像全体が白っぽく不自然なものとなる。
【００１５】
なお、このような画像の輝度調整と同様のことが、音声信号の解像度創造において、音量の調整を行う場合にも生じる。すなわち、全区間一様に、調整された音量に対応した係数データを用いると、適切な音量となる区間と、不適切な音量となる区間とが存在するようになる。つまり、音量を高くするように調整した場合、全区間で音量が高くなるので、音量の低い区間だけでなく、音量を高くしなくても充分な音量がある区間までも音量が高くなり、音量の高い部分が聞き難いものとなる。
【００１６】
そこで、この発明では、解像度創造の手法によって得られる情報信号による出力に不適切な質となる箇所が発生することを防止し得る情報信号処理装置等を提供することを目的とする。
【００１７】
【課題を解決するための手段】
この発明に係る情報信号処理装置は、複数の情報データからなる第１の情報信号を、当該第１の情報信号より情報量の多い第２の情報信号に変換する情報信号処理装置であって、上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、上記第１のデータ選択手段で選択された複数の第１の情報データに所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度、動き量及び音量のいずれかを示す上記注目位置における特徴量を検出する特徴量検出手段と、上記第２の情報信号による出力の大きさを示す、上記特徴量に対応したパラメータの値が外部から入力されるパラメータ入力手段と、上記特徴量検出手段で検出された特徴量および上記パラメータ入力手段に入力されたパラメータの値に対応して、上記第２の情報信号における注目位置の情報データを生成する情報データ生成手段とを備え、上記情報データ生成手段は、上記パラメータ入力手段に入力されたパラメータの値に対応する複数の代表的な大きさごとに予め算出され、上記第１の情報信号を代入して積和演算することにより上記第２の情報信号を推定するための推定式の係数データの候補である係数データ候補を発生する係数データ候補発生手段と、上記特徴量検出手段で検出された特徴量と上記パラメータ入力手段に入力されたパラメータの値に基づいて、上記複数の代表的な大きさのうち一つの大きさを特定する大きさ特定手段と、上記係数データ候補発生手段で発生された係数データ候補の中から、上記大きさ特定手段で特定された大きさに対応する係数データを選択する係数データ選択手段と、上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第２のデータ選択手段と、上記第２のデータ選択手段で選択された複数の第１の情報データと上記係数データ選択手段で選択された係数データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出する演算手段とを有し、上記大きさ特定手段は、画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記特徴量検出手段で検出される特徴量が含まれる特徴量領域を検出する検出手段と、上記パラメータの各値に対応した、上記複数の特徴量領域における大きさ選択情報を格納する格納手段と、上記格納手段より上記パラメータ入力手段に入力されたパラメータの値および上記検出手段で検出された特徴量領域に対応した大きさ選択情報を取り出し、該大きさ選択情報に基づいて上記一つの大きさを特定する特定手段とを有するものである。
【００１９】
また、この発明に係る情報信号処理方法は、複数の情報データからなる第１の情報信号を、当該第１の情報信号より情報量の多い第２の情報信号に変換する情報信号処理方法であって、上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第１のステップと、上記第１のステップで選択された複数の第１の情報データの値に所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度、動き量及び音量のいずれかを示す上記注目位置における特徴量を検出する第２のステップと、上記第２の情報信号による出力の大きさを示す、上記特徴量に対応したパラメータの値を外部から取得する第３のステップと、上記第２のステップで検出された特徴量および上記第３のステップで取得されたパラメータの値に対応して、上記第２の情報信号における注目位置の情報データを生成する第４のステップとを有し、上記第４のステップは、上記第３のステップで取得したパラメータの値に対応する複数の代表的な大きさごとに予め算出され、上記第１の情報信号を代入して積和演算することにより上記第２の情報信号を推定するための推定式の係数データの候補である係数データ候補を発生する第５のステップと、上記第２のステップで検出された特徴量と上記第３のステップで取得したパラメータの値に基づいて、上記複数の代表的な大きさのうち一つの大きさを特定する第６のステップと、上記第５のステップで発生された係数データ候補の中から、上記第６のステップで特定された大きさに対応する係数データを選択する第７のステップと、上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第８のステップと、上記第８のステップで選択された複数の第１の情報データと上記第７のステップで選択された係数データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出する第９のステップとを有し、上記第６のステップは、画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記第２のステップで検出される特徴量が含まれる特徴量領域を検出する第１０のステップと、上記パラメータの各値に対応した、上記複数の特徴量領域における大きさ選択情報を格納する第１１のステップと、上記第３のステップで取得したパラメータの値および上記第１０のステップで検出した特徴量領域に対応した大きさ選択情報を取り出し、該大きさ選択情報に基づいて上記一つの大きさを特定する第１２のステップとを有するものである。
【００２０】
また、この発明に係る画像処理装置は、入力された複数の画素データからなる第１の画像信号を、複数の画素データからなる上記第１の画像信号より高解像度な第２の画像信号に変換して出力する画像信号処理装置において、上記第２の画像信号による画像の解像度又は輝度を示すパラメータの値が外部から入力されるパラメータ入力手段と、上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第１のデータ選択手段と、上記第１のデータ選択手段で選択された複数の第１の画素データの値に所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度及び動き量のいずれかを示す上記注目位置における特徴量を検出する特徴量検出手段と、上記特徴量検出手段で検出された特徴量および上記パラメータ入力手段に入力された所定の上記パラメータの値に対応して、上記第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備え、上記画素データ生成手段は、上記パラメータ入力手段に入力されたパラメータの値に対応する複数の代表的な解像度ごとに予め算出され、上記第１の画像信号を代入して積和演算することにより上記第２の画像信号を推定するための推定式の係数データの候補である係数データ候補を発生する係数データ候補発生手段と、上記特徴量検出手段で検出された特徴量と上記パラメータ入力手段に入力されたパラメータの値に基づいて、上記複数の代表的な解像度のうち一つの解像度を特定する解像度特定手段と、上記係数データ候補発生手段で発生された係数データ候補の中から、上記解像度特定手段で特定された解像度に対応する係数データを選択する係数データ選択手段と、上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第２のデータ選択手段と、上記第２のデータ選択手段で選択された複数の第１の画素データと上記係数データ選択手段で選択された係数データとを用いて、上記推定式に基づいて上記注目位置の画素データを算出する演算手段とを有し、上記解像度特定手段は、画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記特徴量検出手段で検出される特徴量が含まれる特徴量領域を検出する検出手段と、上記パラメータの各値に対応した、上記複数の特徴量領域における解像度選択情報を格納する格納手段と、上記格納手段より上記パラメータ入力手段に入力されたパラメータの値および上記検出手段で検出された特徴量領域に対応した解像度選択情報を取り出し、該解像度選択情報に基づいて上記一つの解像度を特定する特定手段とを有するものである。
また、この発明に係る画像処理方法は、入力された複数の画素データからなる第１の画像信号を、複数の画素データからなる上記第１の画像信号より高解像度な第２の画像信号に変換して出力する画像信号処理方法において、上記第２の画像信号による画像の解像度又は輝度を示すパラメータの値を外部から取得する第１のステップと、上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第２のステップと、上記第２のステップで選択された複数の第１の画素データの値に所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度及び動き量のいずれかを示す上記注目位置における特徴量を検出する第３のステップと、上記第３のステップで検出された特徴量および上記第１のステップで取得した所定の上記パラメータの値に対応して、上記第２の画像信号における注目位置の画素データを生成する第４のステップとを有し、上記第４のステップは、上記第１のステップで取得したパラメータの値に対応する複数の代表的な解像度ごとに予め算出され、上記第１の画像信号を代入して積和演算することにより上記第２の画像信号を推定するための推定式の係数データの候補である係数データ候補を発生する第５のステップと、上記第３のステップで検出された特徴量と上記第１のステップで取得したパラメータの値に基づいて、上記複数の代表的な解像度のうち一つの解像度を特定する第６のステップと、上記第５のステップで発生された係数データ候補の中から、上記第６のステップで特定された解像度に対応する係数データを選択する第７のステップと、上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第８のステップと、上記第８のステップで選択された複数の第１の画素データと上記第７のステップで選択された係数データとを用いて、上記推定式に基づいて上記注目位置の画素データを算出する第９のステップとを有し、上記第６のステップは、画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記特徴量検出手段で検出される特徴量が含まれる特徴量領域を検出する第１０のステップと、上記パラメータの各値に対応した、上記複数の特徴量領域における解像度選択情報を格納する第１１のステップと、上記第１のステップで取得したパラメータの値および上記第１０のステップで検出された特徴量領域に対応した解像度選択情報を取り出し、該解像度選択情報に基づいて上記一つの解像度を特定する第１２のステップとを有するものである。
【００２１】
また、この発明におけるプログラムは、上述の情報信号処理方法又は画像処理方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述のプログラムを記録したものである。
【００２２】
この発明において、第１の情報信号に基づいて第２の情報信号における注目位置の周辺に位置する複数の第１の情報データが抽出され、この複数の第１の情報データに基づいて、この注目位置における特徴量が検出される。
【００２３】
例えば、情報信号は画像信号であり、特徴量は注目位置の周辺における高周波成分量に関係する特徴量である。この特徴量は、例えば複数の第１の情報データ（画素データ）内の隣接画素の絶対値和と、複数の第１の情報データ内のダイナミックレンジとを使用して求められる。また例えば、情報信号は画像信号であり、特徴量は注目位置における動き量、あるいは輝度である。さらに例えば、情報信号は音声信号であり、特徴量は注目位置における音量である。
【００２４】
また、パラメータ入力手段には、第２の情報信号による出力の質を示すパラメータの値が入力される。例えば、上述したように特徴量が注目位置の周辺における高周波成分量に関係する特徴量であるとき、パラメータの値は第２の情報信号による画像の解像度を示すものとされる。また例えば、上述したように特徴量が注目位置における動き量であるとき、パラメータの値は第２の情報信号による画像の解像度を示すものとされる。また例えば、上述したように特徴量が注目位置における輝度であるとき、パラメータの値は第２の情報信号による画像の輝度を示すものとされる。また例えば、上述したように特徴量が注目位置における音量であるとき、パラメータの値は第２の情報信号による音の音量を示すものとされる。
【００２５】
そして、上述した特徴量とパラメータの値に対応して、第２の情報信号における注目位置の情報データが生成される。例えば、以下のようにして、情報データが生成される。
【００２６】
すなわち、パラメータに対応する複数の代表的な質（この質は、解像度、輝度、音量等である）について、推定式の係数データの候補である係数データ候補が発生される。例えば、パラメータの値が、離散的な第１の値と第２の値との間にある場合、それら第１の値と第２の値に対応する質を得るための２つの推定式の係数データが係数データ候補として発生される。
【００２７】
そして、特徴量とパラメータの値に基づいて、複数の代表的な質のうち一つの質が特定される。例えば、パラメータのそれぞれの値に対応した複数の特徴量領域における質選択情報が格納手段に格納されており、これを使用して質の特定が行われる。例えば、上述した第２の値に対応した質が第１の値に対応した質より高い場合、特徴量が小さい程、パラメータの値が小さくとも、第２の質に特定される確率が高くなる。
【００２８】
そして、係数データ候補の中から、特定された質に対応する係数データが選択される。このように選択された係数データと、第１の情報信号に基づいて選択された第２の情報信号における注目位置の周辺に位置する複数の第２の情報データとを用いて、推定式に基づいて、第２の情報信号における注目位置の情報データが算出される。
【００２９】
このように、解像度創造の手法によって第１の情報信号から第２の情報信号を得る際に、第２の情報信号における注目位置に係る特徴量により、パラメータの値に対応した複数の係数データ候補から一つの係数データを選択して使用するものであり、第２の情報信号による出力に不適切な質となる箇所が発生することを防止できるようになる。
【００３０】
例えば、特徴量が注目位置の周辺における高周波成分量に関係する特徴量であるとき、画像の輪郭および画像の低周波領域に囲まれた高周波領域でその特徴量が大きくなるが、解像度の調整をする際に当該領域で不適切な解像度となることを防止できる。また例えば、特徴量が注目位置における動き量であるとき、画像の動き部で動き量が大きくなるが、解像度の調整をする際に当該動き部で不適切な解像度となることを防止できる。また例えば、特徴量が注目位置における輝度であるとき、輝度の高い領域で特徴量が大きくなるが、輝度の調整をする際に当該輝度の高い領域で輝度が高くなり過ぎることを防止できる。また例えば、特徴量が注目位置における音量であるとき、音量の大きな領域で特徴量が大きくなるが、音量の調整をする際に当該音量の大きな領域で音量が高くなり過ぎることを防止できる。
【００３１】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのテレビ受信機１００の構成を示している。このテレビ受信機１００は、放送信号より５２５ｉ信号というＳＤ信号を得、この５２５ｉ信号を１０５０ｉ信号というＨＤ信号に変換し、その１０５０ｉ信号による画像を表示するものである。
【００３２】
テレビ受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号を受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００３３】
また、テレビ受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、中間周波増幅処理、検波処理等を行ってＳＤ信号（５２５ｉ信号）を得るチューナ１０６と、このチューナ１０６より出力されるＳＤ信号を一時的に保存するためのバッファメモリ１０９とを有している。
【００３４】
また、テレビ受信機１００は、バッファメモリ１０９に一時的に保存されるＳＤ信号（５２５ｉ信号）を、ＨＤ信号（１０５０ｉ信号）に変換する画像信号処理部１１０と、この画像信号処理部１１０より出力されるＨＤ信号による画像を表示するディスプレイ部１１１と、このディスプレイ部１１１の画面上に文字、図形などの表示を行うための表示信号ＳＣＨを発生させるためのＯＳＤ(On Screen Display)回路１１２と、その表示信号ＳＣＨを上述した画像信号処理部１１０より出力されるＨＤ信号に合成してディスプレイ部１１１に供給するための合成器１１３とを有している。ディスプレイ部１１１は、例えばＣＲＴ（cathode-ray tube)ディスプレイ、あるいはＬＣＤ（liquid crystal display）等のフラットパネルディスプレイで構成されている。
【００３５】
図１に示すテレビ受信機１００の動作を説明する。
チューナ１０６より出力されるＳＤ信号（５２５ｉ信号）は、バッファメモリ１０９に供給されて一時的に保存される。そして、このバッファメモリ１０９に一時的に記憶されたＳＤ信号は画像信号処理部１１０に供給され、ＨＤ信号（１０５０ｉ信号）に変換される。すなわち、画像信号処理部１１０では、ＳＤ信号を構成する画素データ（以下、「ＳＤ画素データ」という）から、ＨＤ信号を構成する画素データ（以下、「ＨＤ画素データ」という）が生成される。この画像信号処理部１１０より出力されるＨＤ信号はディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはそのＨＤ信号による画像が表示される。
【００３６】
また、ユーザは、リモコン送信機２００の操作によって、ディスプレイ部１１１の画面上に表示される画像の解像度を調整できる。例えば、解像度選択モードで、アップキーおよびダウンキーの押圧操作、あるいはジョグダイヤル等のつまみの回転操作をすることで、システムコントローラ１０１から画像信号処理部１１０に供給される、解像度を示すパラメータＱの値を変更できる。
【００３７】
画像信号処理部１１０では、後述するように、ＨＤ画素データが推定式によって算出されるが、この推定式の係数データとして、上述したパラメータＱの値に対応したものが使用される。これにより、画像信号処理部１１０から出力されるＨＤ信号による画像の解像度は、パラメータＱの値に対応したものとなる。
【００３８】
なお、ユーザのリモコン送信機２００の操作によってパラメータＱの値の変更が行われている状態では、ディスプレイ部１１１の画面上に、パラメータＱの値の表示が行われる。ここでは図示しないが、この表示は数値または棒グラフ等を用いて行われる。ユーザは、この表示を参照して、パラメータＱの値を変更できる。
【００３９】
このように画面上にパラメータＱの値を表示する際、システムコントローラ１０１は表示データをＯＳＤ回路１１２に供給する。ＯＳＤ回路１１２は、その表示データに基づいて表示信号ＳＣＨを発生し、この表示信号ＳＣＨを合成器１１３を介してディスプレイ部１１１に供給する。
【００４０】
次に、画像信号処理部１１０の詳細を説明する。この画像信号処理部１１０は、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、ＨＤ信号（１０５０ｉ信号）における注目位置の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１〜第３のタップ選択回路１２１〜１２３を有している。
【００４１】
第１のタップ選択回路１２１は、予測に使用するＳＤ画素（「予測タップ」と称する）のデータを選択的に取り出すものである。第２のタップ選択回路１２２は、ＳＤ画素データのレベル分布パターンに対応するクラス分類に使用するＳＤ画素（「空間クラスタップ」と称する）のデータを選択的に取り出すものである。第３のタップ選択回路１２３は、動きに対応するクラス分類に使用するＳＤ画素（「動きクラスタップ」と称する）のデータを選択的に取り出すものである。なお、空間クラスを複数フィールドに属するＳＤ画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。
【００４２】
また、画像信号処理部１１０は、第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１２４を有している。
【００４３】
空間クラス検出回路１２４では、例えば、各ＳＤ画素データを、８ビットデータから２ビットデータに圧縮するような演算が行われる。そして、空間クラス検出回路１２４からは、各ＳＤ画素データに対応した圧縮データが空間クラスのクラス情報として出力される。本実施の形態においては、ＡＤＲＣ（Adaptive Dynamic Range Coding）によって、データ圧縮が行われる。なお、情報圧縮手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いてもよい。
【００４４】
本来、ＡＤＲＣは、ＶＴＲ（Video Tape Recorder）向け高性能符号化用に開発された適応再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、上述したデータ圧縮に使用して好適なものである。ＡＤＲＣを使用する場合、空間クラスタップのデータ（ＳＤ画素データ）の最大値をＭＡＸ、その最小値をＭＩＮ、空間クラスタップのデータのダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をＰとすると、空間クラスタップのデータとしての各ＳＤ画素データｋｉに対して、（１）式の演算により、圧縮データとしての再量子化コードｑｉが空間クラスのクラス情報として得られる。ただし、（１）式において、[ ]は切り捨て処理を意味している。空間クラスタップのデータとして、Ｎａ個のＳＤ画素データがあるとき、ｉ＝１〜Ｎａである。
ｑｉ＝［（ｋｉ−ＭＩＮ＋０．５）．２P／ＤＲ］ ・・・（１）
【００４５】
また、画像信号処理部１１０は、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報を出力する動きクラス検出回路１２５を有している。
【００４６】
この動きクラス検出回路１２５では、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）ｍｉ，ｎｉからフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。すなわち、動きクラス検出回路１２５では、（２）式によって、差分の絶対値の平均値ＡＶが算出される。第３のタップ選択回路１２３で、例えばクラスタップのデータとして、６個のＳＤ画素データｍ１〜ｍ６と、その１フレーム前の６個のＳＤ画素データｎ１〜ｎ６が取り出されるとき、（２）式におけるＮｂは６である。
【００４７】
【数１】
そして、動きクラス検出回路１２５では、上述したように算出された平均値ＡＶが１個または複数個のしきい値と比較されて動きクラスのクラス情報ＭＶが得られる。例えば、３個のしきい値ｔｈ１，ｔｈ２，ｔｈ３（ｔｈ１＜ｔｈ２＜ｔｈ３）が用意され、４つの動きクラスを検出する場合、ＡＶ≦ｔｈ１のときはＭＶ＝０、ｔｈ１＜ＡＶ≦ｔｈ２のときはＭＶ＝１、ｔｈ２＜ＡＶ≦ｔｈ３のときはＭＶ＝２、ｔｈ３＜ＡＶのときはＭＶ＝３とされる。
【００４９】
また、画像信号処理部１１０は、空間クラス検出回路１２４より出力される空間クラスのクラス情報としての再量子化コードｑｉと、動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶに基づき、作成すべきＨＤ信号（１０５０ｉ信号）の画素データ（注目位置の画素データ）が属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１２６を有している。
【００５０】
このクラス合成回路１２６では、（３）式によって、クラスコードＣＬの演算が行われる。なお、（３）式において、Ｎａは空間クラスタップのデータ（ＳＤ画素データ）の個数、ＰはＡＤＲＣにおける再量子化ビット数を示している。
【００５１】
【数２】
また、画像信号処理部１１０は、係数メモリ１３１を有している。この係数メモリ１３１は、後述する推定予測演算回路１２７で使用される推定式の係数データを格納するものである。この係数データは、ＳＤ信号（５２５ｉ信号）を、ＨＤ信号（１０５０ｉ信号）に変換する際に使用する情報である。この係数メモリ１３１には、クラス合成回路１２６より出力されるクラスコードＣＬおよび後述する係数選択回路１３３より出力される係数選択信号ＳＥＬが、読み出しアドレス情報として供給される。この係数メモリ１３１からはクラスコードＣＬおよび係数選択信号ＳＥＬに対応した係数データｗｉが読み出され、推定予測演算回路１２７に供給される。
【００５３】
また、画像信号処理部１１０は、情報メモリバンク１３２を有している。本実施の形態においては、パラメータＱは０〜８の間で変更可能とされる。情報メモリバンク１３２には、パラメータＱの０，１，・・・，８の各離散値に対応した、９つの解像度における各クラスの係数データが予め蓄えられている。ここで、パラメータＱの値が大きくなるほど解像度が高くなっていくものとする。この９つの解像度に対応する係数データの生成方法については後述する。
【００５４】
なお、上述したように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。そのため、ある解像度におけるあるクラスの係数データは、奇数、偶数のそれぞれのフィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素に対応した係数データからなっている。この２×２の単位画素ブロック内の４画素は、５２５ｉ信号の画素に対応して互いに異なる位相関係になっている。
【００５５】
上述したように、ユーザは、リモコン送信機２００の操作部において、アップキーおよびダウンキーの押圧操作、またはジョグダイヤル等のつまみの回転操作をすることで、システムコントローラ１０１から画像信号処理部１１０に供給されるパラメータＱの値を変更できる。情報メモリバンク１３２には、そのパラメータＱが供給され、この情報メモリバンク１３２から係数メモリ１３１には、パラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した、各クラスの係数データがロードされる。
【００５６】
すなわち、０≦Ｑ≦１であるときはＱ＝０，１に対応した各クラスの係数データが、１＜Ｑ≦２であるときはＱ＝１，２に対応した各クラスの係数データが、２＜Ｑ≦３であるときはＱ＝２，３に対応した各クラスの係数データが、３＜Ｑ≦４であるときはＱ＝３，４に対応した各クラスの係数データが、４＜Ｑ≦５であるときはＱ＝４，５に対応した各クラスの係数データが、５＜Ｑ≦６であるときはＱ＝５，６に対応した各クラスの係数データが、６＜Ｑ≦７であるときはＱ＝６，７に対応した各クラスの係数データが、７＜Ｑ≦８であるときはＱ＝７，８に対応した各クラスの係数データが、情報メモリバンク１３２から係数メモリ１３１にロードされる。
【００５７】
また、画像信号処理部１１０は、係数選択信号ＳＥＬを発生する係数選択回路１３３を有している。この係数選択信号ＳＥＬは、上述したように係数メモリ１３１に読み出しアドレス情報として供給されるものであり、情報メモリバンク１３２から係数メモリ１３１にロードされて格納された、パラメータＱの２つの離散値に対応した係数データのうち一つの係数データを選択するために使用される。
【００５８】
図２は、係数選択回路１３３の構成を示している。この係数選択回路１３３は、特徴量検出部１４１、特徴量メモリ１４２、特徴量領域決定部１４３、領域検出部１４４および係数選択信号生成部１４５とからなっている。
【００５９】
特徴量検出部１４１は、バッファメモリ１０９に一時的に記憶される各フィールドのＳＤ信号（５２５ｉ信号）を構成するＳＤ画素毎に特徴量ＣＨを検出するものである。本実施の形態において、あるＳＤ画素（着目画素）に対応した特徴量ＣＨは、そのＳＤ画素を中心とした所定サイズのブロック内のダイナミックレンジＤＲとアクティビティＡＣＴの乗算値の平方根をとった値（√（ＤＲ×ＡＣＴ）とする。ブロックサイズは、例えば５×５とする。
【００６０】
ダイナミックレンジＤＲは、図３に示すように、着目画素を中心とした５×５のブロック内に含まれる２５個のＳＤ画素のデータｘi-2,j+2〜ｘi+2,j-2の中で、最大値をＭＡＸ、最小値をＭＩＮとするとき、（４）式で定義される。図３では、着目画素の座標を（ｉ，ｊ）としている。
ＤＲ＝ＭＡＸ−ＭＩＮ ・・・（４）
【００６１】
アクティビティＡＣＴは、図４に示すように、着目画素の座標を（ｉ，ｊ）とし、この着目画素を中心とした５×５のブロック内に含まれる２５個のＳＤ画素のデータをｘi-2,j+2〜ｘi+2,j-2とするとき、（５）式で定義される。ここで、ｉ1＝ｉ−２，・・・，ｉ＋１、ｉ2＝ｉ−２，・・・，ｉ＋２、ｊ1＝ｊ−２，・・・，ｊ＋２、ｊ2＝ｊ−２，・・・，ｊ＋１である。
【００６２】
【数３】
図５は、ダイナミックレンジＤＲおよびアクティビティＡＣＴによる検出部分のモデルを示している。ダイナミックレンジＤＲを用いると、図５中の右上の太線で示したように、画像の輪郭が検出される。一方、アクティビティＡＣＴを用いると、図５中の右下の太い線で示したように、画像の低周波領域に囲まれた高周波領域が検出される。特徴量ＣＨは上述したように、√（ＤＲ×ＡＣＴ）で定義されるため、この特徴量ＣＨを用いると、画像の輪郭および画像の低周波領域に囲まれた高周波領域の両方が検出されることとなる。
【００６４】
上述したように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して、１０５０ｉ信号の４画素を注目画素として、推定式で得るものである。したがって、特徴量検出部１４１にてＳＤ信号（５２５ｉ信号）を構成する各１画素に対応した特徴量ＣＨを検出するということは、ＨＤ信号（１０５０ｉ信号）を構成する各４画素（注目画素）の周辺における高周波成分量に関係する特徴量ＣＨを検出していることになる。
【００６５】
特徴量検出部１４１は、バッファメモリ１０９に記憶されるあるフィールドのＳＤ信号に対する特徴量ＣＨの検出処理を例えば垂直ブランキング期間で行う。特徴量メモリ１４２は、特徴量検出部１４１においてある垂直ブランキング期間に検出される１フィールド分の各ＳＤ画素に対応した特徴量ＣＨを格納するものである。
【００６６】
また、特徴量領域決定部１４３は、特徴量メモリ１４２に格納された、あるフィールドの全ＳＤ画素に対応する特徴量ＣＨを用いて、特徴量ＣＨの最小値から最大値までの範囲を４領域に分割して４つの特徴量領域を決定するものである。特徴量領域決定部１４３は、この特徴量領域の決定処理を垂直ブランキング期間で行う。この場合、全ＳＤ画素に対応する特徴量ＣＨのうち各特徴量領域に含まれる個数が略等しくなるように、４つの特徴量領域が決定される。
【００６７】
図６は、全ＳＤ画素に対応する特徴量ＣＨのヒストグラムモデルを示している。ＣＨminは特徴量ＣＨの最小値、ＣＨmaxは特徴量ＣＨの最大値を示している。Ｒａ，Ｒｂ，Ｒｃ，Ｒｄは４つの特徴量領域であり、Ｎａ，Ｎｂ，Ｎｃ，Ｎｄは全ＳＤ画素に対応する特徴量ＣＨのうち各特徴量領域に含まれる個数を示している。この場合、個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄが略等しくなるように、特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが決定されることとなる。
【００６８】
ここで、特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの意義について考えてみる。Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの順に、特徴量ＣＨが大きく高周波成分量が多くなることから、画面全体で、同じ解像度を得るための係数データを用いてＳＤ画素データからＨＤ画素データを生成する場合、Ｒｄ側の特徴量領域内の特徴量ＣＨが検出される箇所ほど不適切な解像度となりやすい。図７のａ，ｂ，ｃ，ｄは、それぞれＲａ，Ｒｂ，Ｒｃ，Ｒｄの特徴量領域内の特徴量ＣＨが検出される画面内の箇所を示している。これら各箇所における不適切な解像度となる度合い（破綻度合い）をｐa，ｐb，ｐc，ｐdとすると、ｐa＜ｐb＜ｐc＜ｐdの関係となる。
【００６９】
領域検出部１４４は、特徴量検出部１４１においてある垂直ブランキング期間に検出されて特徴量メモリ１４２に格納された各ＳＤ画素に対応する特徴量ＣＨを、続く垂直有効走査期間で順次取り出し、各ＳＤ画素に対応する特徴量ＣＨが、上述した特徴量領域決定部１４３で決定された特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるかを検出し、その検出情報ＤＥＴを出力するものである。
【００７０】
係数選択信号生成部１４５は、領域検出部１４４からの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＱの値とから、係数選択信号ＳＥＬを生成するものである。
係数選択信号生成部１４５は、パラメータＱの各値に対応した、上述の特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄにおける解像度選択情報ＲＥＳが格納された格納手段としてのＲＯＭ（read only memory）１４６を持っている。
【００７１】
図８は、ＲＯＭ１４６内に格納された解像度選択情報ＲＥＳを模式的に表したものである。
この図において、「ａ」が記載された範囲（第１の範囲）では、特徴量ＣＨが特徴量領域Ｒａに含まれるときＲＥＳ＝１であり、特徴量ＣＨが特徴量領域Ｒｂ，Ｒｃ，Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ」が記載された範囲（第２の範囲）では、特徴量ＣＨが特徴量領域Ｒａ，Ｒｂに含まれるときＲＥＳ＝１であり、特徴量ＣＨが特徴量領域Ｒｃ，Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ，ｃ」が記載された範囲（第３の範囲）では、特徴量ＣＨが特徴量領域Ｒａ，Ｒｂ，Ｒｃに含まれるときＲＥＳ＝１であり、特徴量ＣＨが特徴量領域Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ，ｃ，ｄ」が記載された範囲（第４の範囲）では、特徴量ＣＨが特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるときでもＲＥＳ＝１であることを意味する。
【００７２】
また、この図において、ｉ＜Ｑ≦（ｉ＋０．２５）は第１の範囲に該当し、（ｉ＋０．２５）＜Ｑ≦（ｉ＋０．５）は第２の範囲に該当し、（ｉ＋０．５）＜Ｑ≦（ｉ＋０．７５）は第３の範囲に該当し、（ｉ＋０．７５）＜Ｑ≦（ｉ＋１）は第４の範囲に該当する。ここで、ｉ＝０，１，・・・，７である。なお、Ｑ＝０であるときは、特徴量ＣＨが特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるときでもＲＥＳ＝０である。
【００７３】
係数選択信号生成部１４５は、領域検出部１４４からの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＱの値に対応した解像度選択情報ＲＥＳをＲＯＭ１４６より取り出し、この解像度選択情報ＲＥＳを係数選択信号ＳＥＬとして出力する。例えば、パラメータＱの値が０．４で、検出情報ＤＥＴが特徴量ＣＨが特徴量領域Ｒａに含まれていることを表しているとき、ＲＯＭ１４６よりＳＥＬ＝１が取り出され、係数選択信号ＳＥＬとして１が出力される。
【００７４】
この係数選択信号生成部１４５より出力される係数選択信号ＳＥＬが、係数選択回路１３３の出力ともなる。このように、係数選択回路１３３より出力される係数選択信号ＳＥＬは、上述したように係数メモリ１３１に読み出しアドレス情報として供給される。係数メモリ１３１（図１参照）には上述したように情報メモリバンク１３２からパラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した係数データがロードされるが、ＳＥＬ＝０であるときは離散値ｍに対応した係数データが読み出し対象となり、ＳＥＬ＝１であるときは離散値ｍ＋１に対応した係数データが読み出し対象となる。
【００７５】
図１に戻って、また、画像信号処理部１１０は、第１のタップ選択回路１２１で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３１より読み出される係数データｗｉとから、作成すべきＨＤ信号の画素データ（注目位置の画素データ）ｙを演算する推定予測演算回路１２７を有している。
【００７６】
上述したように、ＳＤ信号（５２５ｉ信号）をＨＤ信号（１０５０ｉ信号）に変換する際には、ＳＤ信号の１画素に対してＨＤ信号の４画素を得る必要があることから、この推定予測演算回路１２７では、ＨＤ信号を構成する２×２の単位画素ブロック毎に、ＨＤ画素データが生成される。
【００７７】
すなわち、この推定予測演算回路１２７には、第１のタップ選択回路１２１より単位画素ブロック内の４画素のデータ（注目位置の画素データ）に対応した予測タップのデータｘｉと、係数メモリ１３１よりその単位画素ブロックを構成する４画素に対応した係数データｗｉとが供給され、単位画素ブロックを構成する４画素のデータｙ1〜ｙ4は、それぞれ個別に（６）式の推定式で演算される。
【００７８】
【数４】
また、画像信号処理部１１０は、推定予測演算回路１２７より順次出力される単位画素ブロックを構成する４画素のデータｙ1〜ｙ4を、線順次化して１０５０ｉ信号のフォーマットで出力する後処理回路１２８を有している。
【００８０】
次に、画像信号処理部１１０の動作を説明する。
バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１２２で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この空間クラスタップのデータは空間クラス検出回路１２４に供給される。この空間クラス検出回路１２４では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑｉが得られる（（１）式参照）。
【００８１】
また、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第３のタップ選択回路１２３で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この動きクラスタップのデータは動きクラス検出回路１２５に供給される。この動きクラス検出回路１２５では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【００８２】
このクラス情報ＭＶと上述した再量子化コードｑｉはクラス合成回路１２６に供給される。このクラス合成回路１２６では、これらクラス情報ＭＶと再量子化コードｑｉとから、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック毎に、その単位画素ブロック内の４画素のデータ（注目位置の画素データ）が属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。そして、このクラスコードＣＬは、係数メモリ１３１に読み出しアドレス情報として供給される。
【００８３】
また、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、係数選択回路１３３で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック毎にその単位画素ブロック内の４画素（注目位置の画素）に対応する係数選択信号ＳＥＬが生成される。
【００８４】
すなわち、図２に示すように、バッファメモリ１０９に記憶されるＳＤ信号（５２５ｉ信号）が係数選択回路１３３の特徴量検出部１４１に供給され、この特徴量検出部１４１では各フィールドのＳＤ信号を構成するＳＤ画素毎に特徴量ＣＨ＝√（ＤＲ×ＡＣＴ）が検出される。そして、特徴量検出部１４１で、ある垂直ブランキング期間で検出される１フィールド分のＳＤ信号に対応する特徴量ＣＨは特徴量メモリ１４２に格納される。
【００８５】
また、特徴量領域決定部１４３において、ある垂直ブランキング期間に特徴量メモリ１４２に格納された１フィールド分のＳＤ信号に対応する特徴量ＣＨが使用されて、全ＳＤ画素に対応する特徴量ＣＨの最小値ＣＨminから最大値ＣＨmaxまでの範囲を４領域に分割して４つの特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが決定される（図６参照）。この場合、全ＳＤ画素に対応する特徴量ＣＨのうち各特徴量領域に含まれる個数が略等しくなるように４つの特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの範囲が決定される。
【００８６】
そして、ある垂直ブランキング期間に特徴量メモリ１４２に格納された１フィールド分のＳＤ信号が、続く垂直有効走査期間で順次取り出されて領域検出部１４４に供給され、各ＳＤ画素に対応する特徴量ＣＨが、上述した特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるかが検出される。この検出情報ＤＥＴは係数選択信号生成部１４５に供給される。
【００８７】
この係数選択信号生成部１４５には、さらにシステムコントローラ１０１からパラメータＱが供給される。係数選択信号生成部１４５が持っているＲＯＭ１４６には、上述したように、パラメータＱの各値に対応した、特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄにおける解像度選択情報ＲＥＳが格納されている。係数選択信号生成部１４５では、領域検出部１４４からの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＱの値に対応した解像度選択情報ＲＥＳがＲＯＭ１４６より取り出される。
【００８８】
そして、この取り出された解像度選択情報ＲＥＳが、係数選択信号生成部１４５、従って係数選択回路１３３の出力である係数選択信号ＳＥＬとなる。したがって、係数選択回路１３３からは、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック毎にその単位画素ブロック内の４画素（注目位置の画素）に対応する係数選択信号ＳＥＬが出力される。この係数選択信号ＳＥＬは、係数メモリ１３１に読み出しアドレス情報として供給される。
【００８９】
係数メモリ１３１には、情報メモリバンク１３２から、パラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データがロードされている。このような係数データのロード動作は、例えば、パラメータＱの値に変更があって、係数メモリ１３１に格納すべき係数データの変更が必要となる場合に行われる。
【００９０】
係数メモリ１３１に上述したようにクラスコードＣＬおよび係数選択信号ＳＥＬが読み出しアドレス情報として供給されることで、この係数メモリ１３１からクラスコードＣＬに対応し、かつ係数選択信号ＳＥＬに対応した係数データｗｉが読み出されて推定予測演算回路１２７に供給される。この場合、ＳＥＬ＝０であるときは離散値ｍに対応した係数データが読み出され、ＳＥＬ＝１であるときは離散値ｍ＋１に対応した係数データが読み出される。
【００９１】
また、第１のタップ選択回路１２１では、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この予測タップのデータｘｉは推定予測演算回路１２７に供給される。
【００９２】
推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３１より読み出される４画素分の係数データｗｉとから、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素のデータ（ＨＤ画素データ）ｙ1〜ｙ4がそれぞれ個別に演算される（（６）式参照）。そして、この推定予測演算回路１２７より順次出力される４画素のデータｙ1〜ｙ4は、後処理回路１２８に供給される。この後処理回路１２８は、推定予測演算回路１２７より順次出力される４画素のデータｙ1〜ｙ4を線順次化し、１０５０ｉ信号のフォーマットで出力する。つまり、この後処理回路１２８からは、ＨＤ信号としての１０５０ｉ信号が出力される。
【００９３】
上述したように、係数メモリ１３１にはシステムコントローラ１０１より供給されるパラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データが情報メモリバンク１３２よりロードされる。そのため、ユーザがリモコン送信機２００を操作してパラメータＱの値を変更すると、それに伴って係数メモリ１３１に格納される係数データも変更され、推定予測演算回路１２７ではＨＤ信号の画素データがパラメータＱの値に対応して生成される。したがって、ユーザは、パラメータＱの値を変更することで、ＨＤ信号による画像の解像度を、従来のコントラストやシャープネスの調整のように、所望の値に任意に調整できる。
【００９４】
また、係数メモリ１３１に格納されるパラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データのうち、推定予測演算回路１２７で実際にＨＤ信号の画素データを生成する際に使用する係数データが、係数選択回路１３３で生成される係数選択信号ＳＥＬに基づいて決定される。すなわち、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺における特徴量ＣＨが、不適切な解像度となる度合い（破綻度合い）がいかなる特徴量領域に含まれるか、およびパラメータＱの値がｍからｍ＋１までのいずれにあるかに応じて、離散値ｍに対応した係数データを使用するか、離散値ｍ＋１に対応した係数データを使用するか決定される。因に、離散値ｍ＋１に対応した係数データは、離散値ｍに対応した係数データより、高い解像度を得るためのものである。
【００９５】
例えば、パラメータＱの値がｍに近くなる程、特徴量ＣＨが不適切な解像度となる度合い（破綻度合い）が低い特徴量領域に含まれる場合だけ、離散値ｍ＋１に対応した係数データが使用される（図８参照）。
【００９６】
このように、全画面一様に同一の係数データを用いるものではなく、注目位置の特徴量に応じて選択された係数データを用いて注目位置の画素データを生成するものである。これにより、パラメータＱを変更して解像度を調整する際に、不適切な解像度となる度合い（破綻度合い）が高い特徴量領域に特徴量ＣＨが含まれる箇所が不適切な解像度となることを防止でき、ＨＤ信号による画像の画質の向上を図ることができる。
【００９７】
図９は、画面内の各箇所ａ〜ｄが、図７で説明したと同様の状態にある場合において、パラメータＱの値がｍ〜ｍ＋１に変化した場合に、各箇所で離散値ｍあるいは離散値ｍ＋１のいずれに対応した係数データが使用されるかを示したものである。
【００９８】
Ｑ＝ｍである場合には、図９（ａ）に示すように、ａ〜ｄの全ての箇所で離散値ｍに対応した係数データｗmが使用される。ｍ＜Ｑ≦ｍ＋０．２５である場合には、図９（ｂ）に示すように、ａの箇所で離散値ｍ＋１に対応した係数データｗm+1が使用され、ｂ〜ｄの箇所で離散値ｍに対応した係数データｗmが使用される。ｍ＋０．２５＜Ｑ≦ｍ＋０．５である場合には、図９（ｃ）に示すように、ａ，ｂの箇所で離散値ｍ＋１に対応した係数データｗm+1が使用され、ｃ，ｄの箇所で離散値ｍに対応した係数データｗmが使用される。ｍ＋０．５＜Ｑ≦ｍ＋０．７５である場合には、図９（ｄ）に示すように、ａ〜ｃの箇所で離散値ｍ＋１に対応した係数データｗm+1が使用され、ｄの箇所で離散値ｍに対応した係数データｗmが使用される。さらに、ｍ＋０．７５＜Ｑ≦ｍ＋１である場合には、図９（ｅ）に示すように、ａ〜ｄの全て箇所で離散値ｍ＋１に対応した係数データｗm+1が使用される。
【００９９】
なお、上述実施の形態においては、注目画素の周辺における高周波成分量に関係する特徴量ＣＨとして、√（ＤＲ×ＡＣＴ）で表されるものを使用したものであるが、これに限定されるものではない。この特徴量ＣＨとしては、同じ解像度を得るための係数データを使用してＨＤ信号を得る場合に、不適切な解像度となる度合い（破綻度合い）を段階的に分類できるものであればよい。
【０１００】
また、上述実施の形態においては、説明を簡単にするため、特徴量ＣＨの最小値ＣＨminから最大値ＣＨmaxまでの範囲を４領域に分割して４つの特徴量領域Ｒａ〜Ｒｄを決定し（図６参照）、またそれに対応してパラメータＱの各離散値の間を４つの範囲に分割した（図８参照）ものを示したが、これらの個数は実際にはもっと多くされ、例えば１０とされる。
【０１０１】
また、上述実施の形態においては、全ＳＤ画素に対応する特徴量ＣＨのうち各特徴量領域に含まれる個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄが略等しくなるようにしたが、必ずしも等しくする必要はない。ただし、個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄを略等しくすることで、パラメータＱの値の変化に比例したＨＤ画像の解像度変化を期待できる。
【０１０２】
次に、情報メモリバンク１３２に蓄積されるパラメータＱの０，１，・・・，８の各離散値に対応した、９つの解像度に対応する係数データの生成方法について説明する。この係数データは、予め学習によって生成されたものである。
【０１０３】
まず、この学習方法について説明する。（６）式の推定式に基づく係数データｗi（ｉ＝１〜ｎ）を最小二乗法により求める例を示すものとする。一般化した例として、Ｘを入力データ、Ｗを係数データ、Ｙを予測値として、（７）式の観測方程式を考える。この（７）式において、ｍは学習データの数を示し、ｎは予測タップの数を示している。
【０１０４】
【数５】
（７）式の観測方程式により収集されたデータに最小二乗法を適用する。この（７）式の観測方程式をもとに、（８）式の残差方程式を考える。
【０１０６】
【数６】
（８）式の残差方程式から、各ｗiの最確値は、（９）式のｅ2を最小にする条件が成り立つ場合と考えられる。すなわち、（１０）式の条件を考慮すればよいわけである。
【０１０８】
【数７】
つまり、（１０）式のｉに基づくｎ個の条件を考え、これを満たすｗ1，ｗ2，・・・，ｗnを算出すればよい。そこで、（８）式の残差方程式から、（１１）式が得られる。さらに、（１１）式と（７）式とから、（１２）式が得られる。
【０１１０】
【数８】
そして、（８）式と（１２）式とから、（１３）式の正規方程式が得られる。
【０１１２】
【数９】
（１３）式の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗiの最確値を求めることができる。この場合、掃き出し法（Gauss-Jordanの消去法）等を用いて連立方程式を解くことになる。
【０１１４】
図１０は、上述した概念で係数データを生成する係数データ生成装置１５０を示している。この係数データ生成装置１５０は、教師信号としてのＨＤ信号（１０５０ｉ信号）が入力される入力端子１５１と、このＨＤ信号に対して水平および垂直の間引き処理を行って、生徒信号としてのＳＤ信号を得るＳＤ信号生成回路１５２とを有している。
【０１１５】
このＳＤ信号生成回路１５２には、パラメータＱが制御信号として供給される。このパラメータＱは、図１に示すテレビ受信機１００で、ユーザのリモコン送信機２００の操作によってシステムコントローラ１０１より出力されるパラメータＱに対応したものである。ただし、ここでは、パラメータＱの値として０，１，・・・，８の９つの離散値のみをとる。
【０１１６】
このＳＤ信号生成回路１５２では、パラメータＱの値に対応して、ＨＤ信号からＳＤ信号を生成する際に使用されるフィルタの水平および垂直の帯域が可変される。このフィルタは、例えば水平帯域を制限する１次元ガウシアンフィルタと垂直帯域を制限する１次元ガウシアンフィルタとから構成される。この１次元ガウシアンフィルタは、（１４）式で示される。
【０１１７】
【数１０】
この場合、Ｑの離散的な値に対応して標準偏差σの値を段階的に変えることで、Ｑの離散的な値に対応した周波数特性を持つ１次元ガウシアンフィルタを得ることができる。この場合、パラメータＱの値が大きくなる程、水平および垂直の帯域が狭くなるようにされる。これにより、パラメータＱの値が大きくなる程、解像度の高いＨＤ信号を得るための係数データを生成できる。
【０１１９】
また、係数データ生成装置１５０は、ＳＤ信号生成回路１５２より出力されるＳＤ信号（５２５ｉ信号）より、ＨＤ信号（１０５０ｉ信号）における注目位置の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１〜第３のタップ選択回路１５３〜１５５を有している。これら第１〜第３のタップ選択回路１５３〜１５５は、上述した画像信号処理部１１０の第１〜第３のタップ選択回路１２１〜１２３と同様に構成される。
【０１２０】
また、係数データ生成装置１５０は、第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１５７を有している。この空間クラス検出回路１５７は、上述した画像信号処理部１１０の空間クラス検出回路１２４と同様に構成される。この空間クラス検出回路１５７からは、空間クラスタップのデータとしての各ＳＤ画素データ毎の再量子化コードｑｉが空間クラスを示すクラス情報として出力される。
【０１２１】
また、係数データ生成装置１５０は、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報ＭＶを出力する動きクラス検出回路１５８を有している。この動きクラス検出回路１５８は、上述した画像信号処理部１１０の動きクラス検出回路１２５と同様に構成される。この動きクラス検出回路１５８では、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）からフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。
【０１２２】
また、係数データ生成装置１５０は、空間クラス検出回路１５７より出力される空間クラスのクラス情報としての再量子化コードｑｉと、動きクラス検出回路１５８より出力される動きクラスのクラス情報ＭＶに基づき、ＨＤ信号（１０５０ｉ信号）における注目位置の画素データが属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１５９を有している。このクラス合成回路１５９も、上述した画像信号処理部１１０のクラス合成回路１２６と同様に構成される。
【０１２３】
また、係数データ生成装置１５０は、入力端子１５１に供給されるＨＤ信号より得られる注目位置の画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、クラス毎に、ｎ個の係数データｗｉを得るための正規方程式（（１３）式参照）を生成する正規方程式生成部１６０を有している。
【０１２４】
この場合、１個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで上述した１個の学習データが生成され、従って正規方程式生成部１６０では多くの学習データが登録された正規方程式が生成される。なお、図示せずも、第１のタップ選択回路１５３の前段に時間合わせ用の遅延回路を配置することで、この第１のタップ選択回路１５３から正規方程式生成部１６０に供給されるＳＤ画素データｘｉのタイミング合わせが行われる。
【０１２５】
また、係数データ生成装置１５０は、正規方程式生成部１６０でクラス毎に生成された正規方程式のデータが供給され、クラス毎に生成された正規方程式を解いて、各クラスの係数データｗｉを求める係数データ決定部１６１と、この求められた係数データｗｉを記憶する係数メモリ１６２とを有している。係数データ決定部１６１では、正規方程式が例えば掃き出し法などによって解かれて、係数データｗｉが求められる。
【０１２６】
図１０に示す係数データ生成装置１５０の動作を説明する。入力端子１５１には教師信号としてのＨＤ信号（１０５０ｉ信号）が供給され、そしてこのＨＤ信号に対してＳＤ信号生成回路１５２で水平および垂直の間引き処理が行われて生徒信号としてのＳＤ信号（５２５ｉ信号）が生成される。この場合、ＳＤ信号生成回路１５２には、パラメータＱが制御信号として供給され、パラメータＱの離散的な値に対応して、水平および垂直の帯域が段階的に変化した複数のＳＤ信号が順次生成されていく。
【０１２７】
このＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１５４で、ＨＤ信号（１０５０ｉ信号）における注目位置の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この空間クラスタップのデータは空間クラス検出回路１５７に供給される。この空間クラス検出回路１５７では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑｉが得られる（（１）式参照）。
【０１２８】
また、ＳＤ信号生成回路１５２で生成されたＳＤ信号より、第３のタップ選択回路１５５で、ＨＤ信号における注目位置の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この動きクラスタップのデータは動きクラス検出回路１５８に供給される。この動きクラス検出回路１５８では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【０１２９】
このクラス情報ＭＶと上述した再量子化コードｑｉはクラス合成回路１５９に供給される。このクラス合成回路１５９では、これらクラス情報ＭＶと再量子化コードｑｉとから、ＨＤ信号（１０５０ｉ信号）における注目位置の画素データが属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。
【０１３０】
また、ＳＤ信号生成回路１５２で生成されるＳＤ信号より、第１のタップ選択回路１５３で、ＨＤ信号に係る注目画素の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。そして、入力端子１５１に供給されるＨＤ信号より得られる注目位置の画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１２１で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、正規方程式生成部１６０では、クラス毎に、ｎ個の係数データｗｉを生成するための正規方程式が生成される。
【０１３１】
そして、係数データ決定部１６１でその正規方程式が解かれ、各クラスの係数データｗｉが求められ、その係数データｗｉはクラス別にアドレス分割された係数メモリ１６２に記憶される。
【０１３２】
このように、図１０に示す係数データ生成装置１５０においては、図１の画像信号処理部１１０の情報メモリバンク１３２に記憶される各クラスの係数データｗｉを生成できる。この場合、ＳＤ信号生成回路１５２で生成されるＳＤ信号の水平および垂直の帯域をパラメータＱの値によって段階的に変化させることができる。そのため、パラメータＱの値を０，１，・・・，８に順次変化させてクラス毎の係数データｗｉを決定していくことで、パラメータＱの０，１，・・・，８の離散的な値に対応した各クラスの係数データｗｉを生成できる。
【０１３３】
なお、図１の画像信号処理部１１０における処理を、例えば図１１に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
まず、図１１に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の動作プログラムや係数データ等が格納されたＲＯＭ（read only memory）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（random access memory）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０１３４】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクをドライブするドライブ（ＨＤＤ）３０５と、フロッピー（登録商標）ディスク３０６をドライブするドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０１３５】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０１３６】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（liquid crystal display）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０１３７】
また、画像信号処理装置３００は、ＳＤ信号を入力するための入力端子３１４と、ＨＤ信号を出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０１３８】
ここで、上述したようにＲＯＭ３０２に処理プログラムや係数データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら処理プログラムや係数データ等をフロッピー（登録商標）ディスク３０６で提供するようにしてもよい。
【０１３９】
また、処理すべきＳＤ信号を入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、処理後のＨＤ信号を出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０１４０】
図１２のフローチャートを参照して、図１１に示す画像信号処理装置３００における、ＳＤ信号よりＨＤ信号を得るため処理手順を説明する。
まず、ステップＳＴ１で、処理を開始し、ステップＳＴ２で、ＳＤ画素データをフィールド単位で入力する。このＳＤ画素データが入力端子３１４より入力される場合には、このＳＤ画素データをＲＡＭ３０３に一時的に格納する。また、このＳＤ画素データがハードディスクに記録されている場合には、ハードディスクドライブ３０７でこのＳＤ画素データを読み出し、ＲＡＭ３０３に一時的に格納する。そして、ステップＳＴ３で、入力ＳＤ画素データの全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ５に進む。
【０１４１】
ステップＳＴ５では、ユーザがリモコン送信機２００を操作して入力したパラメータＱの値を例えばＲＡＭ３０３より読み込む。そして、ステップＳＴ６で、読み込んだパラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データを読み出し、ＲＡＭ３０３に一時的に格納する。
【０１４２】
次に、ステップＳＴ７で、ステップＳＴ２で入力された１フィールド分のＳＤ画素データより、各ＳＤ画素の特徴量ＣＨ（√（ＤＲ×ＡＣＴ））を求め、さらに各ＳＤ画素の特徴量ＣＨを用いて、４つの特徴量領域Ｒａ〜Ｒｄを決定する（図６参照）。なお、各ＳＤ画素の特徴量ＣＨは、後のステップでさらに使用するので、ＲＡＭ３０３に格納しておく。
【０１４３】
次に、ステップＳＴ８で、ステップＳＴ２で入力されたＳＤ画素データより、生成すべき各ＨＤ画素データ（注目画素データ）に対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ９で、入力されたＳＤ画素データの全領域においてＨＤ画素データを得る処理が終了したか否かを判定する。処理が終了していないときは、ステップＳＴ１０に進む。
【０１４４】
このステップＳＴ１０では、生成すべき各ＨＤ画素データ（注目位置の画素データ）に対応するＳＤ画素の特徴量ＣＨが、上述の４つの特徴量領域Ｒａ〜Ｒｄのいずれに含まれるかを検出する。そして、ステップＳＴ１１で、その検出情報ＤＥＴとパラメータＱの値とから、離散値ｍ，ｍ＋１のいずれに対応した係数データを使用するかの係数選択信号ＳＥＬを生成する。
【０１４５】
次に、ステップＳＴ１２で、ステップＳＴ８で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。そして、ステップ１３で、ステップＳＴ１１で生成された係数選択信号ＳＥＬで示される離散値に対応した係数データであって、ステップＳＴ１２で生成されたクラスコードＣＬで示されるクラスの係数データと、予測タップのＳＤ画素データを使用して、推定式（（６）式参照）により、パラメータＱの値に対応したＨＤ画素データを生成し、その後にステップＳＴ８に戻って、上述したと同様の処理を繰り返す。
また、ステップＳＴ９で、処理が終了しているときは、ステップＳＴ２に戻り、次のフィールドのＳＤ画素データの入力処理に移る。
【０１４６】
このように、図１２に示すフローチャートに沿って処理をすることで、入力されたＳＤ信号を構成するＳＤ画素データを処理して、ＨＤ信号を構成するＨＤ画素データを得ることができる。上述したように、このように処理して得られたＨＤ信号は出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０１４７】
次に、この発明の他の実施の形態について説明する。図１３は、実施の形態としてのテレビ受信機１００Ａの構成を示している。このテレビ受信機１００Ａも、放送信号より５２５ｉ信号というＳＤ信号を得、この５２５ｉ信号を１０５０ｉ信号というＨＤ信号に変換し、その１０５０ｉ信号による画像を表示するものである。この図１３において、図１と対応する部分には同一符号を付し、その詳細説明は省略する。
【０１４８】
このテレビ受信機１００Ａは、図１のテレビ受信機１００における画像信号処理部１１０の代わりに、画像信号処理部１１０Ａが設けられたものである。この画像信号処理部１１０Ａでは、注目位置における特徴量として注目位置における動き量を用いるものである。
【０１４９】
画像信号処理部１１０Ａは、第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、クラスコードＣＬを出力する空間クラス検出回路１２４Ａを有している。
【０１５０】
空間クラス検出回路１２４Ａでは、以下の処理が行われてクラスコードＣＬが得られる。まず、図１の画像信号処理部１１０における空間クラス検出回路１２４と同様のＡＤＲＣ等の処理が行われ、第２のタップ選択回路１２２で取り出されたＮａ個の空間クラスタップのデータ（ＳＤ画素データ）に対する再量子化コードｑｉ（ｉ＝１〜Ｎａ）が求められる。次に、この再量子化コードｑｉ（ｉ＝１〜Ｎａ）が使用されて、（１５）式によって、クラスコードＣＬの演算が行われる。
【０１５１】
【数１１】
このように、画像信号処理部１１０Ａでは、第２のタップ選択回路１２２で取り出された空間クラスタップのデータ（ＳＤ画素データ）のみからクラスコードＣＬが得られる。この場合、上述したように、注目位置における特徴量として注目位置における動き量を用いることから、クラスコードＣＬには動きクラスの情報を含めないこととしている。
【０１５３】
また、画像信号処理部１１０Ａは、係数選択信号ＳＥＬを発生する係数選択回路１３３Ａを有している。この係数選択信号ＳＥＬも、図１の画像信号処理部１１０における係数選択回路１３３で発生される係数選択信号ＳＥＬと同様に、係数メモリ１３１に読み出しアドレス情報として供給されるものであり、情報メモリバンク１３２から係数メモリ１３１にロードされて格納された、パラメータＱの２つの離散値に対応した係数データのうち一つの係数データを選択するために使用される。
【０１５４】
図１４は、係数選択回路１３３Ａの構成を示している。この図１４において、図２と対応する部分には同一符号を付して示している。
この係数選択回路１３３Ａは、動き量検出部１４１Ａ、動き量メモリ１４２Ａ、動き量領域決定部１４３Ａ、領域検出部１４４Ａおよび係数選択信号生成部１４５Ａからなっている。
【０１５５】
動き量検出部１４１Ａは、バッファメモリ１０９に一時的に記憶される各フィールドのＳＤ信号（５２５ｉ信号）を構成するＳＤ画素毎に、動き量を検出するものである。この場合、あるＳＤ画素（着目画素）に対応した動き量は、例えばそのＳＤ画素を中心とした所定サイズのブロックを使用し、周知のブロックマッチング法により動きベクトルを求め、この動きベクトルの大きさとして検出される。なお、動きベクトルはブロックマッチング法ではなく、勾配法により求めてもよい。
【０１５６】
上述したように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して、１０５０ｉ信号の４画素を注目画素として、推定式で得るものである。したがって、動き量検出部１４１ＡにおいてＳＤ信号（５２５ｉ信号）を構成する各１画素に対応した動き量ＣＨを検出するということは、ＨＤ信号（１０５０ｉ信号）を構成する各４画素（注目画素）の動き量ＣＨを検出していることになる。
【０１５７】
動き量検出部１４１Ａは、バッファメモリ１０９に記憶されるあるフィールドのＳＤ信号に対する動き量ＣＨの検出処理を例えば垂直ブランキング期間で行う。動き量メモリ１４２Ａは、動き量検出部１４１Ａにおいてある垂直ブランキング期間に検出される１フィールド分の各ＳＤ画素に対応した動き量ＣＨを格納するものである。
【０１５８】
また、動き量領域決定部１４３Ａは、動き量メモリ１４２Ａに格納された、あるフィールドの全ＳＤ画素に対応する動き量ＣＨを用いて、動き量ＣＨの最小値から最大値までの範囲を４領域に分割して４つの動き量領域を決定するものである。動き量領域決定部１４３Ａは、この動き量領域の決定処理を垂直ブランキング期間で行う。この場合、全ＳＤ画素に対応する動き量ＣＨのうち各動き量領域に含まれる個数が略等しくなるように、４つの動き量領域が決定される。
【０１５９】
図１５は、全ＳＤ画素に対応する動き量ＣＨのヒストグラムモデルを示している。ＣＨminは動き量ＣＨの最小値、ＣＨmaxは動き量ＣＨの最大値を示している。Ｒａ，Ｒｂ，Ｒｃ，Ｒｄは４つの動き量領域であり、Ｎａ，Ｎｂ，Ｎｃ，Ｎｄは全ＳＤ画素に対応する動き量ＣＨのうち各動き量領域に含まれる個数を示している。この場合、個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄが略等しくなるように、動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが決定されることとなる。
【０１６０】
ここで、動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの意義について考えてみる。Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの順に、動き量ＣＨが大きくなることから、画面全体で、同じ解像度を得るための係数データを用いてＳＤ画素データからＨＤ画素データを生成する場合、Ｒｄ側の動き量領域内の動き量ＣＨが検出される箇所ほど不適切な解像度となりやすい。図１６のａ，ｂ，ｃ，ｄは、それぞれＲａ，Ｒｂ，Ｒｃ，Ｒｄの動き量領域内の動き量ＣＨが検出される画面内の箇所を示している。各箇所における不適切な解像度となる度合い（破綻度合い）をｐa，ｐb，ｐc，ｐdとすると、ｐa＜ｐb＜ｐc＜ｐdの関係となる。
【０１６１】
領域検出部１４４Ａは、動き量検出部１４１Ａにおいてある垂直ブランキング期間に検出されて動き量メモリ１４２Ａに格納された各ＳＤ画素に対応する動き量ＣＨを、続く垂直有効走査期間で順次取り出し、各ＳＤ画素に対応する動き量ＣＨが、上述した動き量領域決定部１４３Ａで決定された動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるかを検出し、その検出情報ＤＥＴを出力するものである。
【０１６２】
係数選択信号生成部１４５Ａは、領域検出部１４４Ａからの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＱの値とから、係数選択信号ＳＥＬを生成するものである。係数選択信号生成部１４５Ａは、パラメータＱの各値に対応した、上述の動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄにおける解像度選択情報ＲＥＳが格納された格納手段としてのＲＯＭ１４６を持っている。上述の図８は、ＲＯＭ１４６内に格納された解像度選択情報ＲＥＳを模式的に表している。
【０１６３】
この図において、「ａ」が記載された範囲（第１の範囲）では、動き量ＣＨが動き量領域Ｒａに含まれるときＲＥＳ＝１であり、動き量ＣＨが動き量領域Ｒｂ，Ｒｃ，Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ」が記載された範囲（第２の範囲）では、動き量ＣＨが動き量領域Ｒａ，Ｒｂに含まれるときＲＥＳ＝１であり、動き量ＣＨが動き量領域Ｒｃ，Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ，ｃ」が記載された範囲（第３の範囲）では、動き量ＣＨが動き量領域Ｒａ，Ｒｂ，Ｒｃに含まれるときＲＥＳ＝１であり、動き量ＣＨが動き量領域Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ，ｃ，ｄ」が記載された範囲（第４の範囲）では、動き量ＣＨが動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるときでもＲＥＳ＝１であることを意味する。
【０１６４】
また、この図において、ｉ＜Ｑ≦（ｉ＋０．２５）は第１の範囲に該当し、（ｉ＋０．２５）＜Ｑ≦（ｉ＋０．５）は第２の範囲に該当し、（ｉ＋０．５）＜Ｑ≦（ｉ＋０．７５）は第３の範囲に該当し、（ｉ＋０．７５）＜Ｑ≦（ｉ＋１）は第４の範囲に該当する。ここで、ｉ＝０，１，・・・，７である。なお、Ｑ＝０であるときは、動き量ＣＨが動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるときでもＲＥＳ＝０である。
【０１６５】
係数選択信号生成部１４５Ａは、領域検出部１４４Ａからの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＱの値に対応した解像度選択情報ＲＥＳをＲＯＭ１４６より取り出し、この解像度選択情報ＲＥＳを係数選択信号ＳＥＬとして出力する。例えば、パラメータＱの値が０．４で、検出情報ＤＥＴが動き量ＣＨが動き量領域Ｒａに含まれていることを表しているとき、ＲＯＭ１４６よりＳＥＬ＝１が取り出され、係数選択信号ＳＥＬとして１が出力される。
【０１６６】
この係数選択信号生成部１４５Ａより出力される係数選択信号ＳＥＬが、係数選択回路１３３Ａの出力ともなる。このように、係数選択回路１３３Ａより出力される係数選択信号ＳＥＬは、上述したように係数メモリ１３１（図１３参照）に読み出しアドレス情報として供給される。係数メモリ１３１には上述したように情報メモリバンク１３２からパラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した係数データがロードされるが、ＳＥＬ＝０であるときは離散値ｍに対応した係数データが読み出し対象となり、ＳＥＬ＝１であるときは離散値ｍ＋１に対応した係数データが読み出し対象となる。
図１３に示す画像信号処理部１１０Ａのその他は、図１に示す画像信号処理部１１０と同様に構成される。
【０１６７】
次に、画像信号処理部１１０Ａの動作を説明する。
バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１２２で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この空間クラスタップのデータは空間クラス検出回路１２４Ａに供給される。この空間クラス検出回路１２４Ａでは、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されてクラスコードＣＬが得られる（（１５）式参照）。このクラスコードＣＬは、係数メモリ１３１に読み出しアドレス情報として供給される。
【０１６８】
また、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、係数選択回路１３３Ａで、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック毎にその単位画素ブロック内の４画素（注目位置の画素）に対応する係数選択信号ＳＥＬが生成される。
【０１６９】
すなわち、図１４に示すように、バッファメモリ１０９に記憶されるＳＤ信号（５２５ｉ信号）が係数選択回路１３３Ａの動き量検出部１４１Ａに供給され、この動き量検出部１４１Ａでは各フィールドのＳＤ信号を構成するＳＤ画素毎に、ブロックマッチング法あるいは勾配法などにより動き量ＣＨが検出される。そして、動き量検出部１４１Ａで、ある垂直ブランキング期間で検出される１フィールド分のＳＤ信号に対応する動き量ＣＨは動き量メモリ１４２Ａに格納される。
【０１７０】
また、動き量領域決定部１４３Ａにおいて、ある垂直ブランキング期間に動き量メモリ１４２Ａに格納された１フィールド分のＳＤ信号に対応する動き量ＣＨが使用されて、全ＳＤ画素に対応する動き量ＣＨの最小値ＣＨminから最大値ＣＨmaxまでの範囲を４領域に分割して４つの動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが決定される（図１５参照）。この場合、全ＳＤ画素に対応する動き量ＣＨのうち各動き量領域に含まれる個数が略等しくなるように４つの動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの範囲が決定される。
【０１７１】
そして、ある垂直ブランキング期間に動き量メモリ１４２Ａに格納された１フィールド分のＳＤ信号が、続く垂直有効走査期間で順次取り出されて領域検出部１４４Ａに供給され、各ＳＤ画素に対応する動き量ＣＨが、上述した動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるかが検出される。この検出情報ＤＥＴは係数選択信号生成部１４５Ａに供給される。
【０１７２】
この係数選択信号生成部１４５Ａには、さらにシステムコントローラ１０１からパラメータＱが供給される。係数選択信号生成部１４５Ａが持っているＲＯＭ１４６には、上述したように、パラメータＱの各値に対応した、動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄにおける解像度選択情報ＲＥＳが格納されている。係数選択信号生成部１４５Ａでは、領域検出部１４４Ａからの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＱの値に対応した解像度選択情報ＲＥＳがＲＯＭ１４６より取り出される。
【０１７３】
そして、この取り出された解像度選択情報ＲＥＳが、係数選択信号生成部１４５Ａ、従って係数選択回路１３３Ａの出力である係数選択信号ＳＥＬとなる。したがって、係数選択回路１３３Ａからは、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック毎にその単位画素ブロック内の４画素（注目位置の画素）に対応する係数選択信号ＳＥＬが出力される。この係数選択信号ＳＥＬは、係数メモリ１３１に読み出しアドレス情報として供給される。
【０１７４】
係数メモリ１３１には、情報メモリバンク１３２から、パラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データがロードされている。このような係数データのロード動作は、例えば、パラメータＱの値に変更があって、係数メモリ１３１に格納すべき係数データの変更が必要となる場合に行われる。
【０１７５】
係数メモリ１３１に上述したようにクラスコードＣＬおよび係数選択信号ＳＥＬが読み出しアドレス情報として供給されることで、この係数メモリ１３１からクラスコードＣＬに対応し、かつ係数選択信号ＳＥＬに対応した係数データｗｉが読み出されて推定予測演算回路１２７に供給される。この場合、ＳＥＬ＝０であるときは離散値ｍに対応した係数データが読み出され、ＳＥＬ＝１であるときは離散値ｍ＋１に対応した係数データが読み出される。
【０１７６】
また、第１のタップ選択回路１２１では、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この予測タップのデータｘｉは推定予測演算回路１２７に供給される。
【０１７７】
推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３１より読み出される４画素分の係数データｗｉとから、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素のデータ（ＨＤ画素データ）ｙ1〜ｙ4がそれぞれ個別に演算される（（６）式参照）。そして、この推定予測演算回路１２７より順次出力される４画素のデータｙ1〜ｙ4は、後処理回路１２８に供給される。この後処理回路１２８は、推定予測演算回路１２７より順次出力される４画素のデータｙ1〜ｙ4を線順次化し、１０５０ｉ信号のフォーマットで出力する。つまり、この後処理回路１２８からは、ＨＤ信号としての１０５０ｉ信号が出力される。
【０１７８】
上述したように、係数メモリ１３１にはシステムコントローラ１０１より供給されるパラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データが情報メモリバンク１３２よりロードされる。そのため、ユーザがリモコン送信機２００を操作してパラメータＱの値を変更すると、それに伴って係数メモリ１３１に格納される係数データも変更され、推定予測演算回路１２７ではＨＤ信号の画素データがパラメータＱの値に対応して生成される。したがって、ユーザは、パラメータＱの値を変更することで、ＨＤ信号による画像の解像度を、従来のコントラストやシャープネスの調整のように、所望の値に任意に調整できる。
【０１７９】
また、係数メモリ１３１に格納されるパラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データのうち、推定予測演算回路１２７で実際にＨＤ信号の画素データを生成する際に使用する係数データが、係数選択回路１３３Ａで生成される係数選択信号ＳＥＬに基づいて決定される。すなわち、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素（注目位置の画素）の動き量ＣＨが、不適切な解像度となる度合い（破綻度合い）がいかなる動き量領域に含まれるか、およびパラメータＱの値がｍからｍ＋１までのいずれにあるかに応じて、離散値ｍに対応した係数データを使用するか、離散値ｍ＋１に対応した係数データを使用するか決定される。因に、離散値ｍ＋１に対応した係数データは、離散値ｍに対応した係数データより、高い解像度を得るためのものである。
【０１８０】
例えば、パラメータＱの値がｍに近くなる程、動き量ＣＨが不適切な解像度となる度合い（破綻度合い）が低い動き量領域に含まれる場合だけ、離散値ｍ＋１に対応した係数データが使用される（図８参照）。
【０１８１】
このように、全画面一様に同一の係数データを用いるものでなく、注目位置の動き量に応じて選択された係数データを用いて注目位置の画素データを生成するものである。これにより、パラメータＱの値を変更して解像度を調整する際に、不適切な解像度となる度合い（破綻度合い）が高い動き量領域に動き量ＣＨが含まれる箇所が、不適切な解像度となることを防止でき、ＨＤ信号による画像の画質の向上を図ることができる。
【０１８２】
なお、上述実施の形態においては、説明を簡単にするため、動き量ＣＨの最小値ＣＨminから最大値ＣＨmaxまでの範囲を４領域に分割して４つの動き量領域Ｒａ〜Ｒｄを決定し（図１５参照）、またそれに対応してパラメータＱの各離散値の間を４つの範囲に分割した（図８参照）ものを示したが、これらの個数は実際にはもっと多くされ、例えば１０とされる。
【０１８３】
また、上述実施の形態においては、全ＳＤ画素に対応する動き量ＣＨのうち各動き量領域に含まれる個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄが略等しくなるようにしたが、必ずしも等しくする必要はない。ただし、個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄを略等しくすることで、パラメータＱの値の変化に比例したＨＤ画像の解像度変化を期待できる。
【０１８４】
また、図１３の画像信号処理部１１０Ａにおける処理も、例えば図１１に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。その場合の画像信号処理は、基本的には、上述の図１２に示すフローチャートに沿って行われる。
【０１８５】
ただし、図１３の画像信号処理部１１０Ａでは注目位置における特徴量として注目位置における動き量を用いるものであることから、ステップＳＴ７、ステップＳＴ１０における処理は以下のようになるが、その他のステップにおける処理は上述したと同様である。
【０１８６】
ステップＳＴ７では、ステップＳＴ２で入力された１フィールド分のＳＤ画素データより、各ＳＤ画素の動き量を求め、さらに各ＳＤ画素の動き量ＣＨを用いて、４つの動き量領域Ｒａ〜Ｒｄを決定する（図１５参照）。
【０１８７】
また、ステップＳＴ１０では、生成すべき各ＨＤ画素データ（注目位置の画素データ）に対応するＳＤ画素の動き量ＣＨが、上述の４つの動き量領域Ｒａ〜Ｒｄのいずれに含まれるかを検出する。
【０１８８】
次に、この発明のさらに他の実施の形態について説明する。図１７は、実施の形態としてのテレビ受信機１００Ｂの構成を示している。このテレビ受信機１００Ｂも、放送信号より５２５ｉ信号というＳＤ信号を得、この５２５ｉ信号を１０５０ｉ信号というＨＤ信号に変換し、その１０５０ｉ信号による画像を表示するものである。この図１７において、図１と対応する部分には同一符号を付し、その詳細説明は省略する。
【０１８９】
このテレビ受信機１００Ｂは、図１のテレビ受信機１００における画像信号処理部１１０の代わりに、画像信号処理部１１０Ｂが設けられたものである。この画像信号処理部１１０Ｂでは、注目位置における特徴量として注目位置における輝度が用いられる。
【０１９０】
また、このテレビ受信機１００Ｂにおいて、ユーザは、リモコン送信機２００の操作によって、ディスプレイ部１１１の画面上に表示される画像の輝度を調整できる。例えば、輝度選択モードで、アップキーおよびダウンキーの押圧操作、あるいはジョグダイヤル等のつまみの回転操作をすることで、システムコントローラ１０１から画像信号処理部１１０Ｂに供給される、輝度を示すパラメータＢの値を変更できる。
【０１９１】
画像信号処理部１１０Ｂでは、後述するように、ＨＤ画素データが推定式によって算出されるが、この推定式の係数データとして、上述したパラメータＢの値に対応したものが使用される。これにより、画像信号処理部１１０Ｂから出力されるＨＤ信号による画像の輝度は、パラメータＢの値に対応したものとなる。
【０１９２】
なお、ユーザのリモコン送信機２００の操作によってパラメータＢの値の変更が行われている状態では、ディスプレイ部１１１の画面上に、パラメータＢの値の表示が行われる。ここでは図示しないが、この表示は数値または棒グラフ等を用いて行われる。ユーザは、この表示を参照して、パラメータＢの値を変更できる。
【０１９３】
画像信号処理部１１０Ｂは、情報メモリバンク１３２Ｂを有している。本実施の形態においては、パラメータＢは０〜８の間で変更可能とされる。情報メモリバンク１３２Ｂには、パラメータＢの０，１，・・・，８の各離散値に対応した、９つの輝度における各クラスの係数データが予め蓄えられている。ここで、パラメータＱの値が大きくなるほど輝度が高くなっていくものとする。この９つの輝度に対応する係数データの生成方法については後述する。
【０１９４】
なお、上述したように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。そのため、ある輝度におけるあるクラスの係数データは、奇数、偶数のそれぞれのフィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素に対応した係数データからなっている。この２×２の単位画素ブロック内の４画素は、５２５ｉ信号の画素に対応して互いに異なる位相関係になっている。
【０１９５】
上述したように、ユーザは、リモコン送信機２００の操作部において、アップキーおよびダウンキーの押圧操作、またはジョグダイヤル等のつまみの回転操作をすることで、システムコントローラ１０１から画像信号処理部１１０Ｂに供給されるパラメータＢの値を変更できる。情報メモリバンク１３２Ｂには、そのパラメータＢが供給され、この情報メモリバンク１３２Ｂから係数メモリ１３１には、パラメータＢの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した、各クラスの係数データがロードされる。
【０１９６】
すなわち、０≦Ｂ≦１であるときはＢ＝０，１に対応した各クラスの係数データが、１＜Ｂ≦２であるときはＢ＝１，２に対応した各クラスの係数データが、２＜Ｂ≦３であるときはＢ＝２，３に対応した各クラスの係数データが、３＜Ｂ≦４であるときはＢ＝３，４に対応した各クラスの係数データが、４＜Ｂ≦５であるときはＢ＝４，５に対応した各クラスの係数データが、５＜Ｂ≦６であるときはＢ＝５，６に対応した各クラスの係数データが、６＜Ｂ≦７であるときはＢ＝６，７に対応した各クラスの係数データが、７＜Ｂ≦８であるときはＢ＝７，８に対応した各クラスの係数データが、情報メモリバンク１３２Ｂから係数メモリ１３１にロードされる。
【０１９７】
また、画像信号処理部１１０Ｂは、係数選択信号ＳＥＬを発生する係数選択回路１３３Ｂを有している。この係数選択信号ＳＥＬも、図１の画像信号処理部１１０における係数選択回路１３３で発生される係数選択信号ＳＥＬと同様に、係数メモリ１３１に読み出しアドレス情報として供給されるものであり、情報メモリバンク１３２Ｂから係数メモリ１３１にロードされて格納された、パラメータＢの２つの離散値に対応した係数データのうち一つの係数データを選択するために使用される。
【０１９８】
図１８は、係数選択回路１３３Ｂの構成を示している。この図１８において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
この係数選択回路１３３Ｂは、輝度検出部１４１Ｂ、輝度メモリ１４２Ｂ、輝度領域決定部１４３Ｂ、領域検出部１４４Ｂおよび係数選択信号生成部１４５Ｂからなっている。
【０１９９】
輝度検出部１４１Ｂは、バッファメモリ１０９に一時的に記憶される各フィールドのＳＤ信号（５２５ｉ信号）を構成するＳＤ画素毎に、輝度を検出するものである。この場合、あるＳＤ画素（着目画素）に対応した輝度は、例えばそのＳＤ画素を中心とした所定サイズのブロックを使用し、ブロック内の画素値の単純平均、あるいは重み付け平均により求められる。
【０２００】
上述したように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して、１０５０ｉ信号の４画素を注目画素として、推定式で得るものである。したがって、輝度検出部１４１ＢにおいてＳＤ信号（５２５ｉ信号）を構成する各１画素に対応した輝度を検出するということは、ＨＤ信号（１０５０ｉ信号）を構成する各４画素（注目画素）の輝度を検出していることになる。
【０２０１】
輝度検出部１４１Ｂは、バッファメモリ１０９に記憶されるあるフィールドのＳＤ信号に対する輝度ＣＨの検出処理を例えば垂直ブランキング期間で行う。輝度メモリ１４２Ｂは、輝度検出部１４１Ｂにおいてある垂直ブランキング期間に検出される１フィールド分の各ＳＤ画素に対応した輝度ＣＨを格納するものである。
【０２０２】
また、輝度領域決定部１４３Ｂは、輝度メモリ１４２Ｂに格納された、あるフィールドの全ＳＤ画素に対応する輝度ＣＨを用いて、輝度ＣＨの最小値から最大値までの範囲を４領域に分割して４つの輝度領域を決定するものである。輝度領域決定部１４３Ｂは、この輝度領域の決定処理を垂直ブランキング期間で行う。この場合、全ＳＤ画素に対応する輝度ＣＨのうち各輝度領域に含まれる個数が略等しくなるように、４つの輝度領域が決定される。
【０２０３】
図１９は、全ＳＤ画素に対応する輝度ＣＨのヒストグラムモデルを示している。ＣＨminは輝度ＣＨの最小値、ＣＨmaxは輝度ＣＨの最大値を示している。Ｒａ，Ｒｂ，Ｒｃ，Ｒｄは４つの輝度領域であり、Ｎａ，Ｎｂ，Ｎｃ，Ｎｄは全ＳＤ画素に対応する輝度ＣＨのうち各輝度領域に含まれる個数を示している。この場合、個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄが略等しくなるように、輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが決定されることとなる。
【０２０４】
ここで、輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの意義について考えてみる。Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの順に、輝度ＣＨが大きくなることから、画面全体で同じ輝度を得るための係数データを用いてＳＤ画素データからＨＤ画素データを生成する場合、Ｒｄ側の輝度領域内の輝度ＣＨが検出される箇所ほど明るくなりすぎ、不適切な輝度となりやすい。図２０のａ，ｂ，ｃ，ｄは、それぞれＲａ，Ｒｂ，Ｒｃ，Ｒｄの輝度領域内の輝度ＣＨが検出される画面内の箇所を示している。各箇所における不適切な輝度となる度合い（破綻度合い）をｐa，ｐb，ｐc，ｐdとすると、ｐa＜ｐb＜ｐc＜ｐdの関係となる。
【０２０５】
領域検出部１４４Ｂは、輝度検出部１４１Ｂにおいてある垂直ブランキング期間に検出されて輝度メモリ１４２Ｂに格納された各ＳＤ画素に対応する輝度ＣＨを、続く垂直有効走査期間で順次取り出し、各ＳＤ画素に対応する輝度ＣＨが、上述した輝度領域決定部１４３Ａで決定された輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるかを検出し、その検出情報ＤＥＴを出力するものである。
【０２０６】
係数選択信号生成部１４５Ｂは、領域検出部１４４Ｂからの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＢの値とから、係数選択信号ＳＥＬを生成するものである。係数選択信号生成部１４５Ｂは、パラメータＢの各値に対応した、上述の輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄにおける輝度選択情報ＲＥＳが格納された格納手段としてのＲＯＭ１４６Ｂを持っている。図２１は、ＲＯＭ１４６Ｂ内に格納された輝度選択情報ＲＥＳを模式的に表している。
【０２０７】
この図において、「ａ」が記載された範囲（第１の範囲）では、輝度ＣＨが輝度領域Ｒａに含まれるときＲＥＳ＝１であり、輝度ＣＨが輝度領域Ｒｂ，Ｒｃ，Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ」が記載された範囲（第２の範囲）では、輝度ＣＨが輝度領域Ｒａ，Ｒｂに含まれるときＲＥＳ＝１であり、輝度ＣＨが輝度領域Ｒｃ，Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ，ｃ」が記載された範囲（第３の範囲）では、輝度ＣＨが輝度領域Ｒａ，Ｒｂ，Ｒｃに含まれるときＲＥＳ＝１であり、輝度ＣＨが輝度領域Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ，ｃ，ｄ」が記載された範囲（第４の範囲）では、輝度ＣＨが輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるときでもＲＥＳ＝１であることを意味する。
【０２０８】
また、この図において、ｉ＜Ｂ≦（ｉ＋０．２５）は第１の範囲に該当し、（ｉ＋０．２５）＜Ｂ≦（ｉ＋０．５）は第２の範囲に該当し、（ｉ＋０．５）＜Ｂ≦（ｉ＋０．７５）は第３の範囲に該当し、（ｉ＋０．７５）＜Ｂ≦（ｉ＋１）は第４の範囲に該当する。ここで、ｉ＝０，１，・・・，７である。なお、Ｂ＝０であるときは、輝度ＣＨが輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるときでもＲＥＳ＝０である。
【０２０９】
係数選択信号生成部１４５Ｂは、領域検出部１４４Ｂからの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＢの値に対応した輝度選択情報ＲＥＳをＲＯＭ１４６Ｂより取り出し、この輝度選択情報ＲＥＳを係数選択信号ＳＥＬとして出力する。例えば、パラメータＢの値が０．４で、検出情報ＤＥＴが輝度ＣＨが輝度領域Ｒａに含まれていることを表しているとき、ＲＯＭ１４６ＢよりＳＥＬ＝１が取り出され、係数選択信号ＳＥＬとして１が出力される。
【０２１０】
この係数選択信号生成部１４５Ｂより出力される係数選択信号ＳＥＬが、係数選択回路１３３Ｂの出力ともなる。このように、係数選択回路１３３Ｂより出力される係数選択信号ＳＥＬは、上述したように係数メモリ１３１（図１７参照）に読み出しアドレス情報として供給される。係数メモリ１３１には上述したように情報メモリバンク１３２ＢからパラメータＢの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した係数データがロードされるが、ＳＥＬ＝０であるときは離散値ｍに対応した係数データが読み出し対象となり、ＳＥＬ＝１であるときは離散値ｍ＋１に対応した係数データが読み出し対象となる。
図１７に示す画像信号処理部１１０Ｂのその他は、図１に示す画像信号処理部１１０と同様に構成される。
【０２１１】
次に、画像信号処理部１１０Ｂの動作を説明する。
バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１２２で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。空間クラス検出回路１２４では、この空間クラスタップのデータに基づいて、クラス情報としての再量子化コードｑｉが得られる（（１）式参照）。
【０２１２】
また、バッファメモリ１０９に記憶されているＳＤ信号より、第３のタップ選択回路１２３で、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。動きクラス検出回路１２５では、この動きクラスタップのデータに基づいて、動きクラスのクラス情報ＭＶが得られる。
【０２１３】
このクラス情報ＭＶと上述した再量子化コードｑｉはクラス合成回路１２６に供給される。クラス合成回路１２６では、これらクラス情報ＭＶと再量子化コードｑｉとから、作成すべきＨＤ信号を構成する単位画素ブロック毎に、その単位画素ブロック内の４画素のデータ（注目位置の画素データ）が属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。このクラスコードＣＬは、係数メモリ１３１に読み出しアドレス情報として供給される。
【０２１４】
また、バッファメモリ１０９に記憶されているＳＤ信号より、係数選択回路１３３Ｂで、作成すべきＨＤ信号を構成する単位画素ブロック毎に、その単位画素ブロック内の４画素（注目位置の画素）に対応する係数選択信号ＳＥＬが生成される。
【０２１５】
すなわち、図１８に示すように、バッファメモリ１０９に記憶されるＳＤ信号（５２５ｉ信号）が係数選択回路１３３Ｂの輝度検出部１４１Ｂに供給され、この輝度検出部１４１Ｂでは各フィールドのＳＤ信号を構成するＳＤ画素毎に、輝度ＣＨが検出される。そして、輝度検出部１４１Ｂで、ある垂直ブランキング期間で検出される１フィールド分のＳＤ信号に対応する輝度ＣＨは輝度メモリ１４２Ｂに格納される。
【０２１６】
また、輝度領域決定部１４３Ｂにおいて、ある垂直ブランキング期間に輝度メモリ１４２Ｂに格納された１フィールド分のＳＤ信号に対応する輝度ＣＨが使用されて、全ＳＤ画素に対応する輝度ＣＨの最小値ＣＨminから最大値ＣＨmaxまでの範囲を４領域に分割して４つの輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが決定される（図１９参照）。この場合、全ＳＤ画素に対応する輝度ＣＨのうち各輝度領域に含まれる個数が略等しくなるように４つの輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの範囲が決定される。
【０２１７】
そして、ある垂直ブランキング期間に輝度メモリ１４２Ｂに格納された１フィールド分のＳＤ信号が、続く垂直有効走査期間で順次取り出されて領域検出部１４４Ｂに供給され、各ＳＤ画素に対応する輝度ＣＨが、上述した輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるかが検出される。この検出情報ＤＥＴは係数選択信号生成部１４５Ｂに供給される。
【０２１８】
この係数選択信号生成部１４５Ｂには、さらにシステムコントローラ１０１からパラメータＢが供給される。係数選択信号生成部１４５Ｂが持っているＲＯＭ１４６Ｂには、上述したように、パラメータＢの各値に対応した、輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄにおける輝度選択情報ＲＥＳが格納されている。係数選択信号生成部１４５Ｂでは、領域検出部１４４Ｂからの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＢの値に対応した輝度選択情報ＲＥＳがＲＯＭ１４６Ｂより取り出される。
【０２１９】
そして、この取り出された輝度選択情報ＲＥＳが、係数選択信号生成部１４５Ｂ、従って係数選択回路１３３Ｂの出力である係数選択信号ＳＥＬとなる。したがって、係数選択回路１３３Ｂからは、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック毎にその単位画素ブロック内の４画素（注目位置の画素）に対応する係数選択信号ＳＥＬが出力される。この係数選択信号ＳＥＬは、係数メモリ１３１に読み出しアドレス情報として供給される。
【０２２０】
係数メモリ１３１には、情報メモリバンク１３２Ｂから、パラメータＢの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データがロードされている。このような係数データのロード動作は、例えば、パラメータＢの値に変更があって、係数メモリ１３１に格納すべき係数データの変更が必要となる場合に行われる。
【０２２１】
係数メモリ１３１に上述したようにクラスコードＣＬおよび係数選択信号ＳＥＬが読み出しアドレス情報として供給されることで、この係数メモリ１３１からクラスコードＣＬに対応し、かつ係数選択信号ＳＥＬに対応した係数データｗｉが読み出されて推定予測演算回路１２７に供給される。この場合、ＳＥＬ＝０であるときは離散値ｍに対応した係数データが読み出され、ＳＥＬ＝１であるときは離散値ｍ＋１に対応した係数データが読み出される。
【０２２２】
また、第１のタップ選択回路１２１では、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この予測タップのデータｘｉは推定予測演算回路１２７に供給される。
【０２２３】
推定予測演算回路１２７では、予測タップのデータｘｉと、係数メモリ１３１より読み出される４画素分の係数データｗｉとから、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素のデータ（ＨＤ画素データ）ｙ1〜ｙ4がそれぞれ個別に演算される（（６）式参照）。そして、この推定予測演算回路１２７より順次出力される４画素のデータｙ1〜ｙ4は、後処理回路１２８に供給される。この後処理回路１２８は、推定予測演算回路１２７より順次出力される４画素のデータｙ1〜ｙ4を線順次化し、１０５０ｉ信号のフォーマットで出力する。つまり、この後処理回路１２８からは、ＨＤ信号としての１０５０ｉ信号が出力される。
【０２２４】
上述したように、係数メモリ１３１にはシステムコントローラ１０１より供給されるパラメータＢの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データが情報メモリバンク１３２Ｂよりロードされる。そのため、ユーザがリモコン送信機２００を操作してパラメータＢの値を変更すると、それに伴って係数メモリ１３１に格納される係数データも変更され、推定予測演算回路１２７ではＨＤ信号の画素データがパラメータＢの値に対応して生成される。したがって、ユーザは、パラメータＢの値を変更することで、ＨＤ信号による画像の輝度を所望の値に任意に調整できる。
【０２２５】
また、係数メモリ１３１に格納されるパラメータＢの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データのうち、推定予測演算回路１２７で実際にＨＤ信号の画素データを生成する際に使用する係数データが、係数選択回路１３３Ｂで生成される係数選択信号ＳＥＬに基づいて決定される。すなわち、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素（注目位置の画素）の輝度ＣＨが、不適切な輝度となる度合い（破綻度合い）がいかなる輝度領域に含まれるか、およびパラメータＢの値がｍからｍ＋１までのいずれにあるかに応じて、離散値ｍに対応した係数データを使用するか、離散値ｍ＋１に対応した係数データを使用するか決定される。因に、離散値ｍ＋１に対応した係数データは、離散値ｍに対応した係数データより、高い輝度を得るためのものである。
【０２２６】
例えば、パラメータＢの値がｍに近くなる程、輝度ＣＨが不適切な輝度となる度合い（破綻度合い）が低い輝度領域に含まれる場合だけ、離散値ｍ＋１に対応した係数データが使用される（図２１参照）。
【０２２７】
このように、全画面一様に同一の係数データを用いるものではなく、注目位置の輝度に応じて選択された係数データを用いて注目位置の画素データを生成するものである。これにより、パラメータＢの値を変更して輝度を調整する際に、不適切な輝度となる度合い（破綻度合い）が高い輝度領域に輝度ＣＨが含まれる箇所が、不適切な輝度となることを防止でき、ＨＤ信号による画像の画質の向上を図ることができる。
【０２２８】
例えば、図２４Ａに示すような画像を考える。この画像は、左側の犬が体色が濃いことと家の影に入っていることとが重なって見にくい状態になっている。このようなときに、輝度を高くするように調整した場合、最初は、図２４Ｃに示すように、暗いところのみが明るくなる。そのため、体色の濃い犬周辺だけで明るくなり、犬が見えやすくなる。この場合、画像全体が明るくならないので、画像全体が白っぽく不自然なものとなることがない。さらに輝度を高くしていくと、図２４Ｄに示すように、画像全体が明るく変化する。
【０２２９】
なお、上述実施の形態においては、説明を簡単にするため、輝度ＣＨの最小値ＣＨminから最大値ＣＨmaxまでの範囲を４領域に分割して４つの輝度領域Ｒａ〜Ｒｄを決定し（図１９参照）、またそれに対応してパラメータＢの各離散値の間を４つの範囲に分割した（図２１参照）ものを示したが、これらの個数は実際にはもっと多くされ、例えば１０とされる。
【０２３０】
また、上述実施の形態においては、全ＳＤ画素に対応する輝度ＣＨのうち各輝度領域に含まれる個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄが略等しくなるようにしたが、必ずしも等しくする必要はない。ただし、個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄを略等しくすることで、パラメータＢの値の変化に比例したＨＤ画像の輝度変化を期待できる。
【０２３１】
また、図１７の画像信号処理部１１０Ｂにおける処理も、例えば図１１に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。その場合の画像信号処理は、基本的には、上述の図１２に示すフローチャートに沿って行われる。
ただし、図１７の画像信号処理部１１０は画像の輝度を調整し得るものであることから、ステップＳＴ５では、パラメータＱの代わりに、ユーザがリモコン送信機２００を操作して入力したパラメータＢの値を例えばＲＡＭ３０３より読み込む。
【０２３２】
また、図１７の画像信号処理部１１０Ｂでは注目位置における特徴量として注目位置における輝度を用いるものであることから、ステップＳＴ７、ステップＳＴ１０における処理は以下のようになるが、その他のステップにおける処理は上述したと同様である。
【０２３３】
ステップＳＴ７では、ステップＳＴ２で入力された１フィールド分のＳＤ画素データより、各ＳＤ画素の輝度を求め、さらに各ＳＤ画素の輝度ＣＨを用いて、４つの輝度領域Ｒａ〜Ｒｄを決定する（図１９参照）。
【０２３４】
また、ステップＳＴ１０では、生成すべき各ＨＤ画素データ（注目位置の画素データ）に対応するＳＤ画素の輝度ＣＨが、上述の４つの輝度領域Ｒａ〜Ｒｄのいずれに含まれるかを検出する。
【０２３５】
また、図１７の画像信号処理部１１０Ｂにおける情報メモリバンク１３２Ｂに記憶される、パラメータＢの０，１，・・・，８の離散的な値に対応した各クラスの係数データｗｉは、図１０に示す係数データ生成装置１５０と同様の構成の係数データ生成装置により生成できる。その場合、ＳＤ信号生成回路１５２にはパラメータＱの代わりにパラメータＢを入力し、このパラメータＢの値によってＳＤ信号の輝度を段階的に変化させればよい。
【０２３６】
なお、上述実施の形態においては、ＨＤ信号を生成する際の推定式として線形一次方程式を使用したものを挙げたが、これに限定されるものではなく、例えば推定式として高次方程式を使用するものであってもよい。
【０２３７】
また、上述実施の形態においては、ＳＤ信号（５２５ｉ信号）をＨＤ信号（１０５０ｉ信号）に変換する例を示したが、この発明はそれに限定されるものでなく、推定式を使用して第１の画像信号を第２の画像信号に変換するその他の場合にも同様に適用できることは勿論である。
【０２３８】
また、上述実施の形態においては、情報信号が画像信号である場合を示したが、この発明はこれに限定されない。例えば、情報信号が音声信号である場合にも、この発明を同様に適用することができる。音声信号の場合、例えばパラメータの値により音量を調整するものにあって、特徴量検出手段で検出される特徴量を注目位置の音量とすることが考えられる。この場合、上述した図１７の画像信号処理部１１０Ｂにおける輝度と同様の関係となり、不適切な音量となる度合い（破綻度合い）が高い音量領域に音量が含まれる箇所が、音量が大きくなりすぎて不適切な音量となることを防止できる。
【０２３９】
また、この発明は、パラメータの値で調整される出力の質および検出される特徴量の対は上述実施の形態に限定されない。要は、第２の情報信号による出力の質を示すパラメータの値の他に、検出された注目位置にける特徴量をも参照して、第２の情報信号における注目位置の情報データを生成し、これにより第２の情報信号による出力に不適切な質となる箇所が発生することを防止することにある。
【０２４０】
【発明の効果】
この発明によれば、解像度創造の手法を用いて第１の情報信号を、当該第１の情報信号より高解像度な第２の情報信号に変換する際に、第２の情報信号の注目位置における特徴量を検出し、第２の情報信号による出力の質を示すパラメータの他に、検出された特徴量をも参照して、第２の情報信号における注目位置の情報データを生成するものであり、第２の情報信号による出力に不適切な質となる箇所が発生することを防止することができる。
【図面の簡単な説明】
【図１】実施の形態としてのテレビ受信機の構成を示すブロック図である。
【図２】係数選択回路の構成を示すブロック図である。
【図３】特徴量を構成するダイナミックレンジＤＲの説明に供する図である。
【図４】特徴量を構成するアクティビティＡＣＴの説明に供する図である。
【図５】ダイナミックレンジとアクティビティの検出部分のモデルを示す図である。
【図６】１フィールドの全ＳＤ画素に対応する特徴量のヒストグラムモデルを示す図である。
【図７】画面内の各特徴量領域内の箇所と破綻度合いの一例を示す図である。
【図８】係数選択信号生成部が持つＲＯＭ内の解像度選択情報を模式的に表した図である。
【図９】解像度を示すパラメータＱの値の変化に対する、画面内の各箇所で使用される係数データの変化を説明するための図である。
【図１０】係数データ生成装置の構成を示すブロック図である。
【図１１】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図１２】画像信号処理の手順を示すフローチャートである。
【図１３】他の実施の形態としてのテレビ受信機の構成を示すブロック図である。
【図１４】係数選択回路の構成を示すブロック図である。
【図１５】１フィールドの全ＳＤ画素に対応する動き量のヒストグラムモデルを示す図である。
【図１６】画面内の各動き量領域内の箇所と破綻度合いの一例を示す図である。
【図１７】他の実施の形態としてのテレビ受信機の構成を示すブロック図である。
【図１８】係数選択回路の構成を示すブロック図である。
【図１９】１フィールドの全ＳＤ画素に対応する輝度のヒストグラムモデルを示す図である。
【図２０】画面内の各輝度領域内の箇所と破綻度合いの一例を示す図である。
【図２１】係数選択信号生成部が持つＲＯＭ内の輝度選択情報を模式的に表した図である。
【図２２】動きボケを説明するためのモデル図である。
【図２３】大きな物体の動きボケを説明するためのモデル図である。
【図２４】明るさ調整時の画像変化を説明するための図である。
【図２５】５２５ｉ信号と１０５０ｉ信号の画素位置関係を説明するための図である。
【符号の説明】
１００，１００Ａ，１００Ｂ・・・テレビ受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ、１０９・・・バッファメモリ、１１０，１１０Ａ，１１０Ｂ・・・画像信号処理部、１１１・・・ディスプレイ部、１２１・・・第１のタップ選択回路、１２２・・・第２のタップ選択回路、１２３・・・第３のタップ選択回路、１２４，１２４Ａ・・・空間クラス検出回路、１２５・・・動きクラス検出回路、１２６・・・クラス合成回路、１２７・・・推定予測演算回路、１２８・・・後処理回路、１３１・・・係数メモリ、１３２・・・情報メモリバンク、１３３，１３３Ａ，１３３Ｂ・・・係数選択回路、１４１・・・特徴量検出部、１４１Ａ・・・動き量検出部、１４１Ｂ・・・輝度検出部、１４２・・・特徴量メモリ、１４２Ａ・・・動き量メモリ、１４２Ｂ・・・輝度メモリ、１４３・・・特徴量領域決定部、１４３Ａ・・・動き量領域決定部、１４３Ｂ・・・輝度領域決定部、１４４，１４４Ａ，１４４Ｂ・・・領域検出部、１４５，１４５Ａ，１４５Ｂ・・・係数選択信号生成部、１５０・・・係数データ生成装置、１５１・・・入力端子、１５２・・・ＳＤ信号生成回路、１５３・・・第１のタップ選択回路、１５４・・・第２のタップ選択回路、１５５・・・第３のタップ選択回路、１５７・・・空間クラス検出回路、１５８・・・動きクラス検出回路、１５９・・・クラス合成回路、１６０・・・正規方程式生成部、１６１・・・係数データ決定部、１６２・・・係数メモリ、２００・・・リモコン送信機、３００・・・画像信号処理装置
Claims (14)
- 複数の情報データからなる第１の情報信号を、当該第１の情報信号より情報量の多い第２の情報信号に変換する情報信号処理装置であって、
上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、
上記第１のデータ選択手段で選択された複数の第１の情報データに所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度、動き量及び音量のいずれかを示す上記注目位置における特徴量を検出する特徴量検出手段と、
上記第２の情報信号による出力の大きさを示す、上記特徴量に対応したパラメータの値が外部から入力されるパラメータ入力手段と、
上記特徴量検出手段で検出された特徴量および上記パラメータ入力手段に入力されたパラメータの値に対応して、上記第２の情報信号における注目位置の情報データを生成する情報データ生成手段とを備え、
上記情報データ生成手段は、
上記パラメータ入力手段に入力されたパラメータの値に対応する複数の代表的な大きさごとに予め算出され、上記第１の情報信号を代入して積和演算することにより上記第２の情報信号を推定するための推定式の係数データの候補である係数データ候補を発生する係数データ候補発生手段と、
上記特徴量検出手段で検出された特徴量と上記パラメータ入力手段に入力されたパラメータの値に基づいて、上記複数の代表的な大きさのうち一つの大きさを特定する大きさ特定手段と、
上記係数データ候補発生手段で発生された係数データ候補の中から、上記大きさ特定手段で特定された大きさに対応する係数データを選択する係数データ選択手段と、
上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第２のデータ選択手段と、
上記第２のデータ選択手段で選択された複数の第１の情報データと上記係数データ選択手段で選択された係数データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出する演算手段とを有し、
上記大きさ特定手段は、
画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記特徴量検出手段で検出される特徴量が含まれる特徴量領域を検出する検出手段と、
上記パラメータの各値に対応した、上記複数の特徴量領域における大きさ選択情報を格納する格納手段と、
上記格納手段より上記パラメータ入力手段に入力されたパラメータの値および上記検出手段で検出された特徴量領域に対応した大きさ選択情報を取り出し、該大きさ選択情報に基づいて上記一つの大きさを特定する特定手段と
を有することを特徴とする情報信号処理装置。 - 上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第３のデータ選択手段と、
上記第３のデータ選択手段で選択された複数の第１の情報データのレベル分布パターンに基づいて、上記注目位置の情報データが属するクラスを検出するクラス検出手段とをさらに備え、
上記係数データ候補発生手段は、上記クラス毎に上記係数データ候補を発生し、
上記係数データ選択手段は、上記係数データ候補発生手段で発生された係数データ候補の中から、上記大きさ特定手段で特定された大きさおよび上記クラス検出手段で検出されたクラスに対応する係数データを選択する
ことを特徴とする請求項１に記載の情報信号処理装置。 - 上記情報信号は画像信号であり、
上記特徴量検出手段で検出される特徴量が、上記注目位置における輝度の場合、
上記パラメータ入力手段に入力されるパラメータの値は、上記第２の情報信号による画像の輝度を示すものである
ことを特徴とする請求項１に記載の情報信号処理装置。 - 上記情報信号は音声信号であり、
上記特徴量検出手段で検出される特徴量が、上記注目位置における音量の場合、
上記パラメータ入力手段に入力されるパラメータの値は、上記第２の情報信号による音の音量を示すものである
ことを特徴とする請求項１に記載の情報信号処理装置。 - 入力された複数の画素データからなる第１の画像信号を、複数の画素データからなる上記第１の画像信号より高解像度な第２の画像信号に変換して出力する画像信号処理装置において、
上記第２の画像信号による画像の解像度又は輝度を示すパラメータの値が外部から入力されるパラメータ入力手段と、
上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第１のデータ選択手段と、
上記第１のデータ選択手段で選択された複数の第１の画素データの値に所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度及び動き量のいずれかを示す上記注目位置における特徴量を検出する特徴量検出手段と、
上記特徴量検出手段で検出された特徴量および上記パラメータ入力手段に入力された所定の上記パラメータの値に対応して、上記第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備え、
上記画素データ生成手段は、
上記パラメータ入力手段に入力されたパラメータの値に対応する複数の代表的な解像度ごとに予め算出され、上記第１の画像信号を代入して積和演算することにより上記第２の画像信号を推定するための推定式の係数データの候補である係数データ候補を発生する係数データ候補発生手段と、
上記特徴量検出手段で検出された特徴量と上記パラメータ入力手段に入力されたパラメータの値に基づいて、上記複数の代表的な解像度のうち一つの解像度を特定する解像度特定手段と、
上記係数データ候補発生手段で発生された係数データ候補の中から、上記解像度特定手段で特定された解像度に対応する係数データを選択する係数データ選択手段と、
上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第２のデータ選択手段と、
上記第２のデータ選択手段で選択された複数の第１の画素データと上記係数データ選択手段で選択された係数データとを用いて、上記推定式に基づいて上記注目位置の画素データを算出する演算手段とを有し、
上記解像度特定手段は、
画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記特徴量検出手段で検出される特徴量が含まれる特徴量領域を検出する検出手段と、
上記パラメータの各値に対応した、上記複数の特徴量領域における解像度選択情報を格納する格納手段と、
上記格納手段より上記パラメータ入力手段に入力されたパラメータの値および上記検出手段で検出された特徴量領域に対応した解像度選択情報を取り出し、該解像度選択情報に基づいて上記一つの解像度を特定する特定手段と
を有することを特徴とする画像処理装置。 - 上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第３のデータ選択手段と、
上記第３のデータ選択手段で選択された複数の第１の画素データのレベル分布パターンに基づいて、上記注目位置の画素データが属するクラスを検出するクラス検出手段とをさらに備え、
上記係数データ候補発生手段は、上記クラス毎に上記係数データ候補を発生し、
上記係数データ選択手段は、上記係数データ候補発生手段で発生された係数データ候補の中から、上記解像度特定手段で特定された解像度および上記クラス検出手段で検出されたクラスに対応する係数データを選択する
ことを特徴とする請求項５に記載の画像処理装置。 - 上記特徴量検出手段は、上記複数の第１の画素データ内の隣接画素の絶対値和と、上記複数の第１の画素データ内のダイナミックレンジとを使用して、上記注目位置の周辺における高周波成分量に関係する特徴量を求める
ことを特徴とする請求項５に記載の画像処理装置。 - 上記画像信号処理手段から出力される上記第２の画像信号による画像を画像表示素子に表示する画像表示手段をさらに備える
ことを特徴とする請求項５に記載の画像処理装置。 - 複数の情報データからなる第１の情報信号を、当該第１の情報信号より情報量の多い第２の情報信号に変換する情報信号処理方法であって、
上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第１のステップと、
上記第１のステップで選択された複数の第１の情報データの値に所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度、動き量及び音量のいずれかを示す上記注目位置における特徴量を検出する第２のステップと、
上記第２の情報信号による出力の大きさを示す、上記特徴量に対応したパラメータの値を外部から取得する第３のステップと、
上記第２のステップで検出された特徴量および上記第３のステップで取得されたパラメータの値に対応して、上記第２の情報信号における注目位置の情報データを生成する第４のステップとを有し、
上記第４のステップは、
上記第３のステップで取得したパラメータの値に対応する複数の代表的な大きさごとに予め算出され、上記第１の情報信号を代入して積和演算することにより上記第２の情報信号を推定するための推定式の係数データの候補である係数データ候補を発生する第５のステップと、
上記第２のステップで検出された特徴量と上記第３のステップで取得したパラメータの値に基づいて、上記複数の代表的な大きさのうち一つの大きさを特定する第６のステップと、
上記第５のステップで発生された係数データ候補の中から、上記第６のステップで特定された大きさに対応する係数データを選択する第７のステップと、
上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第８のステップと、
上記第８のステップで選択された複数の第１の情報データと上記第７のステップで選択された係数データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出する第９のステップとを有し、
上記第６のステップは、
画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記第２のステップで検出される特徴量が含まれる特徴量領域を検出する第１０のステップと、
上記パラメータの各値に対応した、上記複数の特徴量領域における大きさ選択情報を格納する第１１のステップと、
上記第３のステップで取得したパラメータの値および上記第１０のステップで検出した特徴量領域に対応した大きさ選択情報を取り出し、該大きさ選択情報に基づいて上記一つの大きさを特定する第１２のステップと
を有することを特徴とする情報信号処理方法。 - 複数の情報データからなる第１の情報信号を、当該第１の情報信号より情報量の多い第２の情報信号に変換するために、
上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第１のステップと、
上記第１のステップで選択された複数の第１の情報データの値に所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度、動き量及び音量のいずれかを示す上記注目位置における特徴量を検出する第２のステップと、
上記第２の情報信号による出力の大きさを示す、上記特徴量に対応したパラメータの値を外部から取得する第３のステップと、
上記第２のステップで検出された特徴量と上記第３のステップで取得されたパラメータの値に対応して、上記第２の情報信号における注目位置の情報データを生成する第４のステップとを有し、
上記第４のステップは、
上記第３のステップで取得したパラメータの値に対応する複数の代表的な大きさごとに予め算出され、上記第１の情報信号を代入して積和演算することにより上記第２の情報信号を推定するための推定式の係数データの候補である係数データ候補を発生する第５のステップと、
上記第２のステップで検出された特徴量と上記第３のステップで取得したパラメータの値に基づいて、上記複数の代表的な大きさのうち一つの大きさを特定する第６のステップと、
上記第５のステップで発生された係数データ候補の中から、上記第６のステップで特定された大きさに対応する係数データを選択する第７のステップと、
上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第８のステップと、
上記第８のステップで選択された複数の第１の情報データと上記第７のステップで選択された係数データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出する第９のステップとを有し、
上記第６のステップは、
画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記第２のステップで検出される特徴量が含まれる特徴量領域を検出する第１０のステップと、
上記パラメータの各値に対応した、上記複数の特徴量領域における大きさ選択情報を格納する第１１のステップと、
上記第３のステップで取得したパラメータの値および上記第１０のステップで検出した特徴量領域に対応した大きさ選択情報を取り出し、該大きさ選択情報に基づいて上記一つの大きさを特定する第１２のステップとを有する情報信号処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体。 - 複数の情報データからなる第１の情報信号を、当該第１の情報信号より情報量の多い第２の情報信号に変換するために、
上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第１のステップと、
上記第１のステップで選択された複数の第１の情報データの値に所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度、動き量及び音量のいずれかを示す上記注目位置における特徴量を検出する第２のステップと、
上記第２の情報信号による出力の大きさを示す、上記特徴量に対応したパラメータの値を外部から取得する第３のステップと、
上記第２のステップで検出された特徴量と上記第３のステップで取得されたパラメータに対応して、上記第２の情報信号における注目位置の情報データを生成する第４のステップとを有し、
上記第４のステップは、
上記第３のステップで取得したパラメータの値に対応する複数の代表的な大きさごとに予め算出され、上記第１の情報信号を代入して積和演算することにより上記第２の情報信号を推定するための推定式の係数データの候補である係数データ候補を発生する第５のステップと、
上記第２のステップで検出された特徴量と上記第３のステップで取得したパラメータの値に基づいて、上記複数の代表的な大きさのうち一つの大きさを特定する第６のステップと、
上記第５のステップで発生された係数データ候補の中から、上記第６のステップで特定された大きさに対応する係数データを選択する第７のステップと、
上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第８のステップと、
上記第８のステップで選択された複数の第１の情報データと上記第７のステップで選択された係数データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出する第９のステップとを有し、
上記第６のステップは、
画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記第２のステップで検出される特徴量が含まれる特徴量領域を検出する第１０のステップと、
上記パラメータの各値に対応した、上記複数の特徴量領域における大きさ選択情報を格納する第１１のステップと、
上記第３のステップで取得したパラメータの値および上記第１０のステップで検出した特徴量領域に対応した大きさ選択情報を取り出し、該大きさ選択情報に基づいて上記一つの大きさを特定する第１２のステップとを有する情報信号処理方法をコンピュータに実行させるためのプログラム。 - 入力された複数の画素データからなる第１の画像信号を、複数の画素データからなる上記第１の画像信号より高解像度な第２の画像信号に変換して出力する画像信号処理方法において、
上記第２の画像信号による画像の解像度又は輝度を示すパラメータの値を外部から取得する第１のステップと、
上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第２のステップと、
上記第２のステップで選択された複数の第１の画素データの値に所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度及び動き量のいずれかを示す上記注目位置における特徴量を検出する第３のステップと、
上記第３のステップで検出された特徴量および上記第１のステップで取得した所定の上記パラメータの値に対応して、上記第２の画像信号における注目位置の画素データを生成する第４のステップとを有し、
上記第４のステップは、
上記第１のステップで取得したパラメータの値に対応する複数の代表的な解像度ごとに予め算出され、上記第１の画像信号を代入して積和演算することにより上記第２の画像信号を推定するための推定式の係数データの候補である係数データ候補を発生する第５のステップと、
上記第３のステップで検出された特徴量と上記第１のステップで取得したパラメータの値に基づいて、上記複数の代表的な解像度のうち一つの解像度を特定する第６のステップと、
上記第５のステップで発生された係数データ候補の中から、上記第６のステップで特定された解像度に対応する係数データを選択する第７のステップと、
上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第８のステップと、
上記第８のステップで選択された複数の第１の画素データと上記第７のステップで選択された係数データとを用いて、上記推定式に基づいて上記注目位置の画素データを算出する第９のステップとを有し、
上記第６のステップは、
画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記特徴量検出手段で検出される特徴量が含まれる特徴量領域を検出する第１０のステップと、
上記パラメータの各値に対応した、上記複数の特徴量領域における解像度選択情報を格納する第１１のステップと、
上記第１のステップで取得したパラメータの値および上記第１０のステップで検出された特徴量領域に対応した解像度選択情報を取り出し、該解像度選択情報に基づいて上記一つの解像度を特定する第１２のステップと
を有することを特徴とする画像処理方法。 - 入力された複数の画素データからなる第１の画像信号を、複数の画素データからなる上記第１の画像信号より高解像度な第２の画像信号に変換するために、
上記第２の画像信号による画像の解像度又は輝度を示すパラメータの値を外部から取得する第１のステップと、
上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第２のステップと、
上記第２のステップで選択された複数の第１の画素データの値に所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度及び動き量のいずれかを示す上記注目位置における特徴量を検出する第３のステップと、
上記第３のステップで検出された特徴量および上記第１のステップで取得した所定の上記パラメータの値に対応して、上記第２の画像信号における注目位置の画素データを生成する第４のステップとを有し、
上記第４のステップは、
上記第１のステップで取得したパラメータの値に対応する複数の代表的な解像度ごとに予め算出され、上記第１の画像信号を代入して積和演算することにより上記第２の画像信号を推定するための推定式の係数データの候補である係数データ候補を発生する第５のステップと、
上記第３のステップで検出された特徴量と上記第１のステップで取得したパラメータの値に基づいて、上記複数の代表的な解像度のうち一つの解像度を特定する第６のステップと、
上記第５のステップで発生された係数データ候補の中から、上記第６のステップで特定された解像度に対応する係数データを選択する第７のステップと、
上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第８のステップと、
上記第８のステップで選択された複数の第１の画素データと上記第７のステップで選択された係数データとを用いて、上記推定式に基づいて上記注目位置の画素データを算出する第９のステップとを有し、
上記第６のステップは、
画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記特徴量検出手段で検出される特徴量が含まれる特徴量領域を検出する第１０のステップと、
上記パラメータの各値に対応した、上記複数の特徴量領域における解像度選択情報を格納する第１１のステップと、
上記第１のステップで取得したパラメータの値および上記第１０のステップで検出された特徴量領域に対応した解像度選択情報を取り出し、該解像度選択情報に基づいて上記一つの解像度を特定する第１２のステップとを有する画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体。 - 入力された複数の画素データからなる第１の画像信号を、複数の画素データからなる上記第１の画像信号より高解像度な第２の画像信号に変換するために、
上記第２の画像信号による画像の解像度又は輝度を示すパラメータの値を外部から取得する第１のステップと、
上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第２のステップと、
上記第２のステップで選択された複数の第１の画素データの値に所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度及び動き量のいずれかを示す上記注目位置における特徴量を検出する第３のステップと、
上記第３のステップで検出された特徴量および上記第１のステップで取得した所定の上記パラメータの値に対応して、上記第２の画像信号における注目位置の画素データを生成する第４のステップとを有し、
上記第４のステップは、
上記第１のステップで取得したパラメータの値に対応する複数の代表的な解像度ごとに予め算出され、上記第１の画像信号を代入して積和演算することにより上記第２の画像信号を推定するための推定式の係数データの候補である係数データ候補を発生する第５のステップと、
上記第３のステップで検出された特徴量と上記第１のステップで取得したパラメータの値に基づいて、上記複数の代表的な解像度のうち一つの解像度を特定する第６のステップと、
上記第５のステップで発生された係数データ候補の中から、上記第６のステップで特定された解像度に対応する係数データを選択する第７のステップと、
上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第８のステップと、
上記第８のステップで選択された複数の第１の画素データと上記第７のステップで選択された係数データとを用いて、上記推定式に基づいて上記注目位置の画素データを算出する第９のステップとを有し、
上記第６のステップは、
画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記特徴量検出手段で検出される特徴量が含まれる特徴量領域を検出する第１０のステップと、
上記パラメータの各値に対応した、上記複数の特徴量領域における解像度選択情報を格納する第１１のステップと、
上記第１のステップで取得したパラメータの値および上記第１０のステップで検出された特徴量領域に対応した解像度選択情報を取り出し、該解像度選択情報に基づいて上記一つの解像度を特定する第１２のステップとを有する画像処理方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002013146A JP4051934B2 (ja) | 2001-03-30 | 2002-01-22 | 情報信号処理装置、情報信号処理方法およびそれを使用した画像処理装置および画像処理方法、並びに情報信号処理方法又は画像処理方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001101573 | 2001-03-30 | ||
| JP2001-101573 | 2001-03-30 | ||
| JP2002013146A JP4051934B2 (ja) | 2001-03-30 | 2002-01-22 | 情報信号処理装置、情報信号処理方法およびそれを使用した画像処理装置および画像処理方法、並びに情報信号処理方法又は画像処理方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002359822A JP2002359822A (ja) | 2002-12-13 |
| JP4051934B2 true JP4051934B2 (ja) | 2008-02-27 |
Family
ID=26612860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002013146A Expired - Fee Related JP4051934B2 (ja) | 2001-03-30 | 2002-01-22 | 情報信号処理装置、情報信号処理方法およびそれを使用した画像処理装置および画像処理方法、並びに情報信号処理方法又は画像処理方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4051934B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4311166B2 (ja) | 2003-11-05 | 2009-08-12 | ソニー株式会社 | 情報信号の処理装置および処理方法、それに使用される係数種データの生成装置および生成方法、並びに各方法を実行するためのプログラム、そのプログラムを記録した媒体 |
-
2002
- 2002-01-22 JP JP2002013146A patent/JP4051934B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002359822A (ja) | 2002-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100939736B1 (ko) | 계수 데이터 생성장치 및 생성방법, 그것을 사용한 정보신호 처리장치 및 처리방법, 그것에 사용하는 종계수 데이터 생성장치 및 생성방법, 및 정보제공매체 | |
| JP4026491B2 (ja) | 画像信号処理装置、画像信号処理方法、並びにプログラムおよび媒体 | |
| US20070159553A1 (en) | Information signal processor, method for processing information signal, image signal processor ang image display apparatus using the same, coefficient seed data production device used in the same, method for producing coefficient seed data set and information-providing medium | |
| JP4696388B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、係数データ生成装置、並びに情報記録媒体 | |
| JP4277446B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに記録媒体 | |
| CN100367788C (zh) | 系数种类数据生成装置及生成方法 | |
| KR100770067B1 (ko) | 정보 신호 처리 장치, 정보 신호 처리 방법, 화상 신호처리 장치 및 그것을 사용한 화상 표시 장치, 그리고 정보제공 매체 | |
| JP4691835B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数データの取得装置および取得方法、並びに情報記録媒体 | |
| JP4051934B2 (ja) | 情報信号処理装置、情報信号処理方法およびそれを使用した画像処理装置および画像処理方法、並びに情報信号処理方法又は画像処理方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP4349086B2 (ja) | 情報信号の処理装置および処理方法、並びにその処理方法を実行するためのプログラム、そのプログラムを記録した媒体 | |
| JP4311166B2 (ja) | 情報信号の処理装置および処理方法、それに使用される係数種データの生成装置および生成方法、並びに各方法を実行するためのプログラム、そのプログラムを記録した媒体 | |
| JP4649812B2 (ja) | 画像信号処理装置、画像信号処理方法およびそれを使用した画像表示装置、並びに各画像信号処理方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP4092921B2 (ja) | 情報信号処理装置、情報信号処理方法および画像表示装置、それに使用される係数種データの生成装置および生成方法、係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP4692800B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法、並びに記録媒体 | |
| JP4691849B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する情報の取得装置および取得方法 | |
| JP4649786B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法 | |
| JP4692798B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに記録媒体 | |
| JP4691814B2 (ja) | 情報信号処理装置および情報信号処理方法、並びに記録媒体 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JP4232430B2 (ja) | 画像処理装置および方法、記録媒体、並びに、プログラム | |
| JP4692801B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、並びに、それに使用する係数情報の生成装置および生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041207 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070529 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070726 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070828 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071023 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071113 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071126 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111214 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121214 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131214 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |