JP4051934B2 - INFORMATION SIGNAL PROCESSING DEVICE, INFORMATION SIGNAL PROCESSING METHOD, IMAGE PROCESSING DEVICE USING THE SAME, IMAGE PROCESSING METHOD, PROGRAM FOR EXECUTING INFORMATION SIGNAL PROCESSING METHOD OR IMAGE PROCESSING METHOD, AND COMPUTER-READABLE MEDIUM CONTAINING THE PROGRAM - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、例えばＮＴＳＣ方式のビデオ信号をハイビジョンのビデオ信号に変換する際等に適用して好適な情報信号処理装置、情報信号処理方法およびそれを使用した画像処理装置および画像処理方法、並びに情報信号処理方法又は画像処理方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体に関する。
【０００２】
詳しくは、解像度創造の手法を用いて第１の情報信号を第２の情報信号に変換する際に、第２の情報信号における注目位置の特徴量を検出し、第２の情報信号による出力の質を示すパラメータの他に、検出された特徴量をも参照して、第２の情報信号における注目位置の情報データを生成することによって、第２の情報信号による出力に不適切な質となる箇所が発生することを防止するようにした情報信号処理装置等に係るものである。
【０００３】
【従来の技術】
従来、例えば５２５ｉ信号というＳＤ(Standard Definition）信号を、１０５０ｉ信号というＨＤ(High Definition)信号に変換するフォーマット変換が提案されている。５２５ｉ信号は、ライン数が５２５本でインタレース方式の画像信号を意味し、１０５０ｉ信号は、ライン数が１０５０本でインタレース方式の画像信号を意味する。
【０００４】
図２５は、５２５ｉ信号と１０５０ｉ信号の画素位置関係を示している。ここで、大きなドットが５２５ｉ信号の画素であり、小さなドットが１０５０ｉ信号の画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。
【０００５】
従来、上述したようなフォーマット変換を行うために、本出願人は、先に、５２５ｉ信号の画素データより１０５０ｉ信号の画素データを得る際、５２５ｉ信号の画素に対する１０５０ｉ信号の各画素の位相に対応した推定式の係数データをメモリに格納しておき、この係数データを用いて推定式によって１０５０ｉ信号の画素データを求める、解像度創造の手法を用いることを提案した。
【特許文献１】
特開２００１−２３８１８５号公報
【０００６】
【発明が解決しようとする課題】
上述したように推定式によって１０５０ｉ信号の画素データを求めるものにおいては、この１０５０ｉ信号による画像の解像度は固定されており、従来のコントラストやシャープネス等の調整のように、画像内容等に応じて所望の解像度とすることができなかった。
そこで、本出願人は、先に、画像の解像度をユーザが所望の値に任意に調整し得る画像信号変換装置等を提案した（特許文献１参照）。
【０００７】
しかしこの場合、全画面一様に、調整された解像度に対応した係数データを用いるものであり、適切な解像度となる箇所と、不適切な解像度となる箇所とが存在する。
例えば、高周波成分量が少ない箇所と高周波成分量が多い箇所において、適切な解像度となる場合と適切な解像度とならない場合が存在する。
【０００８】
また例えば、動きのある箇所と動きのない箇所において、適切な解像度となる場合と適切な解像度とならない場合が存在する。以下に、動きのある箇所で生じる動きボケについて説明する。
図２２に動きボケのモデルを示している。この図２２において、ｖは垂直方向を示し、ｈは水平方向を示している。
【０００９】
図２２Ａに示す動き無しの場合は、物体（黒い四角形）ははっきりと見え、画素値をグラフにしてみると、エッジが切り立っている（図の黒色は何らかの輝度値がそこに存在していることを表している）。
この物体がある速度で動き出した場合が、図２２Ｂに示す動き小の場合である。物体が動いているために動きによるボケが生じる。画素値をグラフで見ると、図のようにエッジがなだらかになり、画像としても動き方向にぼやけた画像になる。このボケ方は動き量、すなわち物体の速度に依存する。
【００１０】
次に、物体がもっと速く動いた場合を考える。図２２Ｃ（左側）に示す動き大の場合である。物体の速度が速くなったことで物体はますますボケてしまい、画素値をグラフでみると、図のようにエッジが一層なだらかになる。これはシャッターやデバイスの特性などで区切られたある一定時間に蓄積された電荷またはフィルムの変化を画素値としているために生じるものであり、動き量によって生じる歪みである。
【００１１】
ここで、このような動きボケを生じている動物体に解像度創造を行うことを考える。解像度創造においては画素密度を増やすと共に、制限されてしまった帯域を元に戻すという処理が行われる。
その結果、図２２Ｃ（右側）のように、グラフが立ってしまう。静止部では勿論それでよい。しかし、動き部では結果的に動きによって自然に起こる動きボケ量を変化させてしまい、不自然な画像を作り上げてしまうことになる。
【００１２】
また、図２３Ａに示すように、非常に大きな物体が移動していた場合を考える。この場合、解像度創造を行うと、静止部では現れないようなグラデーションが生じる。すなわち、予測タップのタップ範囲が充分でない場合、箇所箇所で解像度創造の処理が行われてしまい、図２３Ｂに示すような波形に変化させてしまうことがある。
【００１３】
また、解像度創造において、上述したように画像の解像度を任意に調整するものと同様にして、画像の輝度を任意に調整することも考えられる。この場合、全画面一様に、調整された輝度に対応した係数データを用いるものであり、適切な輝度となる箇所と、不適切な輝度となる箇所とが存在する。
【００１４】
例えば、図２４Ａに示すような画像を考える。この画像は、左側の犬が体色が濃いことと家の影に入っていることとが重なって見にくい状態になっている。このようなときに、輝度を高くするように調整した場合、図２４Ｂに示すように、画像全体が一辺に明るくなるので、体色の濃い犬周辺だけでなく、地面や屋根など、輝度を高くしなくても充分によく見える領域までも明るくなり、画像全体が白っぽく不自然なものとなる。
【００１５】
なお、このような画像の輝度調整と同様のことが、音声信号の解像度創造において、音量の調整を行う場合にも生じる。すなわち、全区間一様に、調整された音量に対応した係数データを用いると、適切な音量となる区間と、不適切な音量となる区間とが存在するようになる。つまり、音量を高くするように調整した場合、全区間で音量が高くなるので、音量の低い区間だけでなく、音量を高くしなくても充分な音量がある区間までも音量が高くなり、音量の高い部分が聞き難いものとなる。
【００１６】
そこで、この発明では、解像度創造の手法によって得られる情報信号による出力に不適切な質となる箇所が発生することを防止し得る情報信号処理装置等を提供することを目的とする。
【００１７】
【課題を解決するための手段】
この発明に係る情報信号処理装置は、複数の情報データからなる第１の情報信号を、当該第１の情報信号より情報量の多い第２の情報信号に変換する情報信号処理装置であって、上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、上記第１のデータ選択手段で選択された複数の第１の情報データに所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度、動き量及び音量のいずれかを示す上記注目位置における特徴量を検出する特徴量検出手段と、上記第２の情報信号による出力の大きさを示す、上記特徴量に対応したパラメータの値が外部から入力されるパラメータ入力手段と、上記特徴量検出手段で検出された特徴量および上記パラメータ入力手段に入力されたパラメータの値に対応して、上記第２の情報信号における注目位置の情報データを生成する情報データ生成手段とを備え、上記情報データ生成手段は、上記パラメータ入力手段に入力されたパラメータの値に対応する複数の代表的な大きさごとに予め算出され、上記第１の情報信号を代入して積和演算することにより上記第２の情報信号を推定するための推定式の係数データの候補である係数データ候補を発生する係数データ候補発生手段と、上記特徴量検出手段で検出された特徴量と上記パラメータ入力手段に入力されたパラメータの値に基づいて、上記複数の代表的な大きさのうち一つの大きさを特定する大きさ特定手段と、上記係数データ候補発生手段で発生された係数データ候補の中から、上記大きさ特定手段で特定された大きさに対応する係数データを選択する係数データ選択手段と、上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第２のデータ選択手段と、上記第２のデータ選択手段で選択された複数の第１の情報データと上記係数データ選択手段で選択された係数データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出する演算手段とを有し、上記大きさ特定手段は、画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記特徴量検出手段で検出される特徴量が含まれる特徴量領域を検出する検出手段と、上記パラメータの各値に対応した、上記複数の特徴量領域における大きさ選択情報を格納する格納手段と、上記格納手段より上記パラメータ入力手段に入力されたパラメータの値および上記検出手段で検出された特徴量領域に対応した大きさ選択情報を取り出し、該大きさ選択情報に基づいて上記一つの大きさを特定する特定手段とを有するものである。
【００１９】
また、この発明に係る情報信号処理方法は、複数の情報データからなる第１の情報信号を、当該第１の情報信号より情報量の多い第２の情報信号に変換する情報信号処理方法であって、上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第１のステップと、上記第１のステップで選択された複数の第１の情報データの値に所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度、動き量及び音量のいずれかを示す上記注目位置における特徴量を検出する第２のステップと、上記第２の情報信号による出力の大きさを示す、上記特徴量に対応したパラメータの値を外部から取得する第３のステップと、上記第２のステップで検出された特徴量および上記第３のステップで取得されたパラメータの値に対応して、上記第２の情報信号における注目位置の情報データを生成する第４のステップとを有し、上記第４のステップは、上記第３のステップで取得したパラメータの値に対応する複数の代表的な大きさごとに予め算出され、上記第１の情報信号を代入して積和演算することにより上記第２の情報信号を推定するための推定式の係数データの候補である係数データ候補を発生する第５のステップと、上記第２のステップで検出された特徴量と上記第３のステップで取得したパラメータの値に基づいて、上記複数の代表的な大きさのうち一つの大きさを特定する第６のステップと、上記第５のステップで発生された係数データ候補の中から、上記第６のステップで特定された大きさに対応する係数データを選択する第７のステップと、上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第８のステップと、上記第８のステップで選択された複数の第１の情報データと上記第７のステップで選択された係数データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出する第９のステップとを有し、上記第６のステップは、画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記第２のステップで検出される特徴量が含まれる特徴量領域を検出する第１０のステップと、上記パラメータの各値に対応した、上記複数の特徴量領域における大きさ選択情報を格納する第１１のステップと、上記第３のステップで取得したパラメータの値および上記第１０のステップで検出した特徴量領域に対応した大きさ選択情報を取り出し、該大きさ選択情報に基づいて上記一つの大きさを特定する第１２のステップとを有するものである。
【００２０】
また、この発明に係る画像処理装置は、入力された複数の画素データからなる第１の画像信号を、複数の画素データからなる上記第１の画像信号より高解像度な第２の画像信号に変換して出力する画像信号処理装置において、上記第２の画像信号による画像の解像度又は輝度を示すパラメータの値が外部から入力されるパラメータ入力手段と、上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第１のデータ選択手段と、上記第１のデータ選択手段で選択された複数の第１の画素データの値に所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度及び動き量のいずれかを示す上記注目位置における特徴量を検出する特徴量検出手段と、上記特徴量検出手段で検出された特徴量および上記パラメータ入力手段に入力された所定の上記パラメータの値に対応して、上記第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備え、上記画素データ生成手段は、上記パラメータ入力手段に入力されたパラメータの値に対応する複数の代表的な解像度ごとに予め算出され、上記第１の画像信号を代入して積和演算することにより上記第２の画像信号を推定するための推定式の係数データの候補である係数データ候補を発生する係数データ候補発生手段と、上記特徴量検出手段で検出された特徴量と上記パラメータ入力手段に入力されたパラメータの値に基づいて、上記複数の代表的な解像度のうち一つの解像度を特定する解像度特定手段と、上記係数データ候補発生手段で発生された係数データ候補の中から、上記解像度特定手段で特定された解像度に対応する係数データを選択する係数データ選択手段と、上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第２のデータ選択手段と、上記第２のデータ選択手段で選択された複数の第１の画素データと上記係数データ選択手段で選択された係数データとを用いて、上記推定式に基づいて上記注目位置の画素データを算出する演算手段とを有し、上記解像度特定手段は、画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記特徴量検出手段で検出される特徴量が含まれる特徴量領域を検出する検出手段と、上記パラメータの各値に対応した、上記複数の特徴量領域における解像度選択情報を格納する格納手段と、上記格納手段より上記パラメータ入力手段に入力されたパラメータの値および上記検出手段で検出された特徴量領域に対応した解像度選択情報を取り出し、該解像度選択情報に基づいて上記一つの解像度を特定する特定手段とを有するものである。
また、この発明に係る画像処理方法は、入力された複数の画素データからなる第１の画像信号を、複数の画素データからなる上記第１の画像信号より高解像度な第２の画像信号に変換して出力する画像信号処理方法において、上記第２の画像信号による画像の解像度又は輝度を示すパラメータの値を外部から取得する第１のステップと、上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第２のステップと、上記第２のステップで選択された複数の第１の画素データの値に所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度及び動き量のいずれかを示す上記注目位置における特徴量を検出する第３のステップと、上記第３のステップで検出された特徴量および上記第１のステップで取得した所定の上記パラメータの値に対応して、上記第２の画像信号における注目位置の画素データを生成する第４のステップとを有し、上記第４のステップは、上記第１のステップで取得したパラメータの値に対応する複数の代表的な解像度ごとに予め算出され、上記第１の画像信号を代入して積和演算することにより上記第２の画像信号を推定するための推定式の係数データの候補である係数データ候補を発生する第５のステップと、上記第３のステップで検出された特徴量と上記第１のステップで取得したパラメータの値に基づいて、上記複数の代表的な解像度のうち一つの解像度を特定する第６のステップと、上記第５のステップで発生された係数データ候補の中から、上記第６のステップで特定された解像度に対応する係数データを選択する第７のステップと、上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第８のステップと、上記第８のステップで選択された複数の第１の画素データと上記第７のステップで選択された係数データとを用いて、上記推定式に基づいて上記注目位置の画素データを算出する第９のステップとを有し、上記第６のステップは、画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記特徴量検出手段で検出される特徴量が含まれる特徴量領域を検出する第１０のステップと、上記パラメータの各値に対応した、上記複数の特徴量領域における解像度選択情報を格納する第１１のステップと、上記第１のステップで取得したパラメータの値および上記第１０のステップで検出された特徴量領域に対応した解像度選択情報を取り出し、該解像度選択情報に基づいて上記一つの解像度を特定する第１２のステップとを有するものである。
【００２１】
また、この発明におけるプログラムは、上述の情報信号処理方法又は画像処理方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述のプログラムを記録したものである。
【００２２】
この発明において、第１の情報信号に基づいて第２の情報信号における注目位置の周辺に位置する複数の第１の情報データが抽出され、この複数の第１の情報データに基づいて、この注目位置における特徴量が検出される。
【００２３】
例えば、情報信号は画像信号であり、特徴量は注目位置の周辺における高周波成分量に関係する特徴量である。この特徴量は、例えば複数の第１の情報データ（画素データ）内の隣接画素の絶対値和と、複数の第１の情報データ内のダイナミックレンジとを使用して求められる。また例えば、情報信号は画像信号であり、特徴量は注目位置における動き量、あるいは輝度である。さらに例えば、情報信号は音声信号であり、特徴量は注目位置における音量である。
【００２４】
また、パラメータ入力手段には、第２の情報信号による出力の質を示すパラメータの値が入力される。例えば、上述したように特徴量が注目位置の周辺における高周波成分量に関係する特徴量であるとき、パラメータの値は第２の情報信号による画像の解像度を示すものとされる。また例えば、上述したように特徴量が注目位置における動き量であるとき、パラメータの値は第２の情報信号による画像の解像度を示すものとされる。また例えば、上述したように特徴量が注目位置における輝度であるとき、パラメータの値は第２の情報信号による画像の輝度を示すものとされる。また例えば、上述したように特徴量が注目位置における音量であるとき、パラメータの値は第２の情報信号による音の音量を示すものとされる。
【００２５】
そして、上述した特徴量とパラメータの値に対応して、第２の情報信号における注目位置の情報データが生成される。例えば、以下のようにして、情報データが生成される。
【００２６】
すなわち、パラメータに対応する複数の代表的な質（この質は、解像度、輝度、音量等である）について、推定式の係数データの候補である係数データ候補が発生される。例えば、パラメータの値が、離散的な第１の値と第２の値との間にある場合、それら第１の値と第２の値に対応する質を得るための２つの推定式の係数データが係数データ候補として発生される。
【００２７】
そして、特徴量とパラメータの値に基づいて、複数の代表的な質のうち一つの質が特定される。例えば、パラメータのそれぞれの値に対応した複数の特徴量領域における質選択情報が格納手段に格納されており、これを使用して質の特定が行われる。例えば、上述した第２の値に対応した質が第１の値に対応した質より高い場合、特徴量が小さい程、パラメータの値が小さくとも、第２の質に特定される確率が高くなる。
【００２８】
そして、係数データ候補の中から、特定された質に対応する係数データが選択される。このように選択された係数データと、第１の情報信号に基づいて選択された第２の情報信号における注目位置の周辺に位置する複数の第２の情報データとを用いて、推定式に基づいて、第２の情報信号における注目位置の情報データが算出される。
【００２９】
このように、解像度創造の手法によって第１の情報信号から第２の情報信号を得る際に、第２の情報信号における注目位置に係る特徴量により、パラメータの値に対応した複数の係数データ候補から一つの係数データを選択して使用するものであり、第２の情報信号による出力に不適切な質となる箇所が発生することを防止できるようになる。
【００３０】
例えば、特徴量が注目位置の周辺における高周波成分量に関係する特徴量であるとき、画像の輪郭および画像の低周波領域に囲まれた高周波領域でその特徴量が大きくなるが、解像度の調整をする際に当該領域で不適切な解像度となることを防止できる。また例えば、特徴量が注目位置における動き量であるとき、画像の動き部で動き量が大きくなるが、解像度の調整をする際に当該動き部で不適切な解像度となることを防止できる。また例えば、特徴量が注目位置における輝度であるとき、輝度の高い領域で特徴量が大きくなるが、輝度の調整をする際に当該輝度の高い領域で輝度が高くなり過ぎることを防止できる。また例えば、特徴量が注目位置における音量であるとき、音量の大きな領域で特徴量が大きくなるが、音量の調整をする際に当該音量の大きな領域で音量が高くなり過ぎることを防止できる。
【００３１】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのテレビ受信機１００の構成を示している。このテレビ受信機１００は、放送信号より５２５ｉ信号というＳＤ信号を得、この５２５ｉ信号を１０５０ｉ信号というＨＤ信号に変換し、その１０５０ｉ信号による画像を表示するものである。
【００３２】
テレビ受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号を受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００３３】
また、テレビ受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、中間周波増幅処理、検波処理等を行ってＳＤ信号（５２５ｉ信号）を得るチューナ１０６と、このチューナ１０６より出力されるＳＤ信号を一時的に保存するためのバッファメモリ１０９とを有している。
【００３４】
また、テレビ受信機１００は、バッファメモリ１０９に一時的に保存されるＳＤ信号（５２５ｉ信号）を、ＨＤ信号（１０５０ｉ信号）に変換する画像信号処理部１１０と、この画像信号処理部１１０より出力されるＨＤ信号による画像を表示するディスプレイ部１１１と、このディスプレイ部１１１の画面上に文字、図形などの表示を行うための表示信号ＳＣＨを発生させるためのＯＳＤ(On Screen Display)回路１１２と、その表示信号ＳＣＨを上述した画像信号処理部１１０より出力されるＨＤ信号に合成してディスプレイ部１１１に供給するための合成器１１３とを有している。ディスプレイ部１１１は、例えばＣＲＴ（cathode-ray tube)ディスプレイ、あるいはＬＣＤ（liquid crystal display）等のフラットパネルディスプレイで構成されている。
【００３５】
図１に示すテレビ受信機１００の動作を説明する。
チューナ１０６より出力されるＳＤ信号（５２５ｉ信号）は、バッファメモリ１０９に供給されて一時的に保存される。そして、このバッファメモリ１０９に一時的に記憶されたＳＤ信号は画像信号処理部１１０に供給され、ＨＤ信号（１０５０ｉ信号）に変換される。すなわち、画像信号処理部１１０では、ＳＤ信号を構成する画素データ（以下、「ＳＤ画素データ」という）から、ＨＤ信号を構成する画素データ（以下、「ＨＤ画素データ」という）が生成される。この画像信号処理部１１０より出力されるＨＤ信号はディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはそのＨＤ信号による画像が表示される。
【００３６】
また、ユーザは、リモコン送信機２００の操作によって、ディスプレイ部１１１の画面上に表示される画像の解像度を調整できる。例えば、解像度選択モードで、アップキーおよびダウンキーの押圧操作、あるいはジョグダイヤル等のつまみの回転操作をすることで、システムコントローラ１０１から画像信号処理部１１０に供給される、解像度を示すパラメータＱの値を変更できる。
【００３７】
画像信号処理部１１０では、後述するように、ＨＤ画素データが推定式によって算出されるが、この推定式の係数データとして、上述したパラメータＱの値に対応したものが使用される。これにより、画像信号処理部１１０から出力されるＨＤ信号による画像の解像度は、パラメータＱの値に対応したものとなる。
【００３８】
なお、ユーザのリモコン送信機２００の操作によってパラメータＱの値の変更が行われている状態では、ディスプレイ部１１１の画面上に、パラメータＱの値の表示が行われる。ここでは図示しないが、この表示は数値または棒グラフ等を用いて行われる。ユーザは、この表示を参照して、パラメータＱの値を変更できる。
【００３９】
このように画面上にパラメータＱの値を表示する際、システムコントローラ１０１は表示データをＯＳＤ回路１１２に供給する。ＯＳＤ回路１１２は、その表示データに基づいて表示信号ＳＣＨを発生し、この表示信号ＳＣＨを合成器１１３を介してディスプレイ部１１１に供給する。
【００４０】
次に、画像信号処理部１１０の詳細を説明する。この画像信号処理部１１０は、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、ＨＤ信号（１０５０ｉ信号）における注目位置の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１〜第３のタップ選択回路１２１〜１２３を有している。
【００４１】
第１のタップ選択回路１２１は、予測に使用するＳＤ画素（「予測タップ」と称する）のデータを選択的に取り出すものである。第２のタップ選択回路１２２は、ＳＤ画素データのレベル分布パターンに対応するクラス分類に使用するＳＤ画素（「空間クラスタップ」と称する）のデータを選択的に取り出すものである。第３のタップ選択回路１２３は、動きに対応するクラス分類に使用するＳＤ画素（「動きクラスタップ」と称する）のデータを選択的に取り出すものである。なお、空間クラスを複数フィールドに属するＳＤ画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。
【００４２】
また、画像信号処理部１１０は、第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１２４を有している。
【００４３】
空間クラス検出回路１２４では、例えば、各ＳＤ画素データを、８ビットデータから２ビットデータに圧縮するような演算が行われる。そして、空間クラス検出回路１２４からは、各ＳＤ画素データに対応した圧縮データが空間クラスのクラス情報として出力される。本実施の形態においては、ＡＤＲＣ（Adaptive Dynamic Range Coding）によって、データ圧縮が行われる。なお、情報圧縮手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いてもよい。
【００４４】
本来、ＡＤＲＣは、ＶＴＲ（Video Tape Recorder）向け高性能符号化用に開発された適応再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、上述したデータ圧縮に使用して好適なものである。ＡＤＲＣを使用する場合、空間クラスタップのデータ（ＳＤ画素データ）の最大値をＭＡＸ、その最小値をＭＩＮ、空間クラスタップのデータのダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をＰとすると、空間クラスタップのデータとしての各ＳＤ画素データｋｉに対して、（１）式の演算により、圧縮データとしての再量子化コードｑｉが空間クラスのクラス情報として得られる。ただし、（１）式において、[ ]は切り捨て処理を意味している。空間クラスタップのデータとして、Ｎａ個のＳＤ画素データがあるとき、ｉ＝１〜Ｎａである。
ｑｉ＝［（ｋｉ−ＭＩＮ＋０．５）．２^P／ＤＲ］ ・・・（１）
【００４５】
また、画像信号処理部１１０は、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報を出力する動きクラス検出回路１２５を有している。
【００４６】
この動きクラス検出回路１２５では、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）ｍｉ，ｎｉからフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。すなわち、動きクラス検出回路１２５では、（２）式によって、差分の絶対値の平均値ＡＶが算出される。第３のタップ選択回路１２３で、例えばクラスタップのデータとして、６個のＳＤ画素データｍ１〜ｍ６と、その１フレーム前の６個のＳＤ画素データｎ１〜ｎ６が取り出されるとき、（２）式におけるＮｂは６である。
【００４７】
【数１】

【００４８】
そして、動きクラス検出回路１２５では、上述したように算出された平均値ＡＶが１個または複数個のしきい値と比較されて動きクラスのクラス情報ＭＶが得られる。例えば、３個のしきい値ｔｈ１，ｔｈ２，ｔｈ３（ｔｈ１＜ｔｈ２＜ｔｈ３）が用意され、４つの動きクラスを検出する場合、ＡＶ≦ｔｈ１のときはＭＶ＝０、ｔｈ１＜ＡＶ≦ｔｈ２のときはＭＶ＝１、ｔｈ２＜ＡＶ≦ｔｈ３のときはＭＶ＝２、ｔｈ３＜ＡＶのときはＭＶ＝３とされる。
【００４９】
また、画像信号処理部１１０は、空間クラス検出回路１２４より出力される空間クラスのクラス情報としての再量子化コードｑｉと、動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶに基づき、作成すべきＨＤ信号（１０５０ｉ信号）の画素データ（注目位置の画素データ）が属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１２６を有している。
【００５０】
このクラス合成回路１２６では、（３）式によって、クラスコードＣＬの演算が行われる。なお、（３）式において、Ｎａは空間クラスタップのデータ（ＳＤ画素データ）の個数、ＰはＡＤＲＣにおける再量子化ビット数を示している。
【００５１】
【数２】

【００５２】
また、画像信号処理部１１０は、係数メモリ１３１を有している。この係数メモリ１３１は、後述する推定予測演算回路１２７で使用される推定式の係数データを格納するものである。この係数データは、ＳＤ信号（５２５ｉ信号）を、ＨＤ信号（１０５０ｉ信号）に変換する際に使用する情報である。この係数メモリ１３１には、クラス合成回路１２６より出力されるクラスコードＣＬおよび後述する係数選択回路１３３より出力される係数選択信号ＳＥＬが、読み出しアドレス情報として供給される。この係数メモリ１３１からはクラスコードＣＬおよび係数選択信号ＳＥＬに対応した係数データｗｉが読み出され、推定予測演算回路１２７に供給される。
【００５３】
また、画像信号処理部１１０は、情報メモリバンク１３２を有している。本実施の形態においては、パラメータＱは０〜８の間で変更可能とされる。情報メモリバンク１３２には、パラメータＱの０，１，・・・，８の各離散値に対応した、９つの解像度における各クラスの係数データが予め蓄えられている。ここで、パラメータＱの値が大きくなるほど解像度が高くなっていくものとする。この９つの解像度に対応する係数データの生成方法については後述する。
【００５４】
なお、上述したように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。そのため、ある解像度におけるあるクラスの係数データは、奇数、偶数のそれぞれのフィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素に対応した係数データからなっている。この２×２の単位画素ブロック内の４画素は、５２５ｉ信号の画素に対応して互いに異なる位相関係になっている。
【００５５】
上述したように、ユーザは、リモコン送信機２００の操作部において、アップキーおよびダウンキーの押圧操作、またはジョグダイヤル等のつまみの回転操作をすることで、システムコントローラ１０１から画像信号処理部１１０に供給されるパラメータＱの値を変更できる。情報メモリバンク１３２には、そのパラメータＱが供給され、この情報メモリバンク１３２から係数メモリ１３１には、パラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した、各クラスの係数データがロードされる。
【００５６】
すなわち、０≦Ｑ≦１であるときはＱ＝０，１に対応した各クラスの係数データが、１＜Ｑ≦２であるときはＱ＝１，２に対応した各クラスの係数データが、２＜Ｑ≦３であるときはＱ＝２，３に対応した各クラスの係数データが、３＜Ｑ≦４であるときはＱ＝３，４に対応した各クラスの係数データが、４＜Ｑ≦５であるときはＱ＝４，５に対応した各クラスの係数データが、５＜Ｑ≦６であるときはＱ＝５，６に対応した各クラスの係数データが、６＜Ｑ≦７であるときはＱ＝６，７に対応した各クラスの係数データが、７＜Ｑ≦８であるときはＱ＝７，８に対応した各クラスの係数データが、情報メモリバンク１３２から係数メモリ１３１にロードされる。
【００５７】
また、画像信号処理部１１０は、係数選択信号ＳＥＬを発生する係数選択回路１３３を有している。この係数選択信号ＳＥＬは、上述したように係数メモリ１３１に読み出しアドレス情報として供給されるものであり、情報メモリバンク１３２から係数メモリ１３１にロードされて格納された、パラメータＱの２つの離散値に対応した係数データのうち一つの係数データを選択するために使用される。
【００５８】
図２は、係数選択回路１３３の構成を示している。この係数選択回路１３３は、特徴量検出部１４１、特徴量メモリ１４２、特徴量領域決定部１４３、領域検出部１４４および係数選択信号生成部１４５とからなっている。
【００５９】
特徴量検出部１４１は、バッファメモリ１０９に一時的に記憶される各フィールドのＳＤ信号（５２５ｉ信号）を構成するＳＤ画素毎に特徴量ＣＨを検出するものである。本実施の形態において、あるＳＤ画素（着目画素）に対応した特徴量ＣＨは、そのＳＤ画素を中心とした所定サイズのブロック内のダイナミックレンジＤＲとアクティビティＡＣＴの乗算値の平方根をとった値（√（ＤＲ×ＡＣＴ）とする。ブロックサイズは、例えば５×５とする。
【００６０】
ダイナミックレンジＤＲは、図３に示すように、着目画素を中心とした５×５のブロック内に含まれる２５個のＳＤ画素のデータｘ_i-2,j+2〜ｘ_i+2,j-2の中で、最大値をＭＡＸ、最小値をＭＩＮとするとき、（４）式で定義される。図３では、着目画素の座標を（ｉ，ｊ）としている。
ＤＲ＝ＭＡＸ−ＭＩＮ ・・・（４）
【００６１】
アクティビティＡＣＴは、図４に示すように、着目画素の座標を（ｉ，ｊ）とし、この着目画素を中心とした５×５のブロック内に含まれる２５個のＳＤ画素のデータをｘ_i-2,j+2〜ｘ_i+2,j-2とするとき、（５）式で定義される。ここで、ｉ₁＝ｉ−２，・・・，ｉ＋１、ｉ₂＝ｉ−２，・・・，ｉ＋２、ｊ₁＝ｊ−２，・・・，ｊ＋２、ｊ₂＝ｊ−２，・・・，ｊ＋１である。
【００６２】
【数３】

【００６３】
図５は、ダイナミックレンジＤＲおよびアクティビティＡＣＴによる検出部分のモデルを示している。ダイナミックレンジＤＲを用いると、図５中の右上の太線で示したように、画像の輪郭が検出される。一方、アクティビティＡＣＴを用いると、図５中の右下の太い線で示したように、画像の低周波領域に囲まれた高周波領域が検出される。特徴量ＣＨは上述したように、√（ＤＲ×ＡＣＴ）で定義されるため、この特徴量ＣＨを用いると、画像の輪郭および画像の低周波領域に囲まれた高周波領域の両方が検出されることとなる。
【００６４】
上述したように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して、１０５０ｉ信号の４画素を注目画素として、推定式で得るものである。したがって、特徴量検出部１４１にてＳＤ信号（５２５ｉ信号）を構成する各１画素に対応した特徴量ＣＨを検出するということは、ＨＤ信号（１０５０ｉ信号）を構成する各４画素（注目画素）の周辺における高周波成分量に関係する特徴量ＣＨを検出していることになる。
【００６５】
特徴量検出部１４１は、バッファメモリ１０９に記憶されるあるフィールドのＳＤ信号に対する特徴量ＣＨの検出処理を例えば垂直ブランキング期間で行う。特徴量メモリ１４２は、特徴量検出部１４１においてある垂直ブランキング期間に検出される１フィールド分の各ＳＤ画素に対応した特徴量ＣＨを格納するものである。
【００６６】
また、特徴量領域決定部１４３は、特徴量メモリ１４２に格納された、あるフィールドの全ＳＤ画素に対応する特徴量ＣＨを用いて、特徴量ＣＨの最小値から最大値までの範囲を４領域に分割して４つの特徴量領域を決定するものである。特徴量領域決定部１４３は、この特徴量領域の決定処理を垂直ブランキング期間で行う。この場合、全ＳＤ画素に対応する特徴量ＣＨのうち各特徴量領域に含まれる個数が略等しくなるように、４つの特徴量領域が決定される。
【００６７】
図６は、全ＳＤ画素に対応する特徴量ＣＨのヒストグラムモデルを示している。ＣＨminは特徴量ＣＨの最小値、ＣＨmaxは特徴量ＣＨの最大値を示している。Ｒａ，Ｒｂ，Ｒｃ，Ｒｄは４つの特徴量領域であり、Ｎａ，Ｎｂ，Ｎｃ，Ｎｄは全ＳＤ画素に対応する特徴量ＣＨのうち各特徴量領域に含まれる個数を示している。この場合、個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄが略等しくなるように、特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが決定されることとなる。
【００６８】
ここで、特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの意義について考えてみる。Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの順に、特徴量ＣＨが大きく高周波成分量が多くなることから、画面全体で、同じ解像度を得るための係数データを用いてＳＤ画素データからＨＤ画素データを生成する場合、Ｒｄ側の特徴量領域内の特徴量ＣＨが検出される箇所ほど不適切な解像度となりやすい。図７のａ，ｂ，ｃ，ｄは、それぞれＲａ，Ｒｂ，Ｒｃ，Ｒｄの特徴量領域内の特徴量ＣＨが検出される画面内の箇所を示している。これら各箇所における不適切な解像度となる度合い（破綻度合い）をｐa，ｐb，ｐc，ｐdとすると、ｐa＜ｐb＜ｐc＜ｐdの関係となる。
【００６９】
領域検出部１４４は、特徴量検出部１４１においてある垂直ブランキング期間に検出されて特徴量メモリ１４２に格納された各ＳＤ画素に対応する特徴量ＣＨを、続く垂直有効走査期間で順次取り出し、各ＳＤ画素に対応する特徴量ＣＨが、上述した特徴量領域決定部１４３で決定された特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるかを検出し、その検出情報ＤＥＴを出力するものである。
【００７０】
係数選択信号生成部１４５は、領域検出部１４４からの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＱの値とから、係数選択信号ＳＥＬを生成するものである。
係数選択信号生成部１４５は、パラメータＱの各値に対応した、上述の特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄにおける解像度選択情報ＲＥＳが格納された格納手段としてのＲＯＭ（read only memory）１４６を持っている。
【００７１】
図８は、ＲＯＭ１４６内に格納された解像度選択情報ＲＥＳを模式的に表したものである。
この図において、「ａ」が記載された範囲（第１の範囲）では、特徴量ＣＨが特徴量領域Ｒａに含まれるときＲＥＳ＝１であり、特徴量ＣＨが特徴量領域Ｒｂ，Ｒｃ，Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ」が記載された範囲（第２の範囲）では、特徴量ＣＨが特徴量領域Ｒａ，Ｒｂに含まれるときＲＥＳ＝１であり、特徴量ＣＨが特徴量領域Ｒｃ，Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ，ｃ」が記載された範囲（第３の範囲）では、特徴量ＣＨが特徴量領域Ｒａ，Ｒｂ，Ｒｃに含まれるときＲＥＳ＝１であり、特徴量ＣＨが特徴量領域Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ，ｃ，ｄ」が記載された範囲（第４の範囲）では、特徴量ＣＨが特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるときでもＲＥＳ＝１であることを意味する。
【００７２】
また、この図において、ｉ＜Ｑ≦（ｉ＋０．２５）は第１の範囲に該当し、（ｉ＋０．２５）＜Ｑ≦（ｉ＋０．５）は第２の範囲に該当し、（ｉ＋０．５）＜Ｑ≦（ｉ＋０．７５）は第３の範囲に該当し、（ｉ＋０．７５）＜Ｑ≦（ｉ＋１）は第４の範囲に該当する。ここで、ｉ＝０，１，・・・，７である。なお、Ｑ＝０であるときは、特徴量ＣＨが特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるときでもＲＥＳ＝０である。
【００７３】
係数選択信号生成部１４５は、領域検出部１４４からの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＱの値に対応した解像度選択情報ＲＥＳをＲＯＭ１４６より取り出し、この解像度選択情報ＲＥＳを係数選択信号ＳＥＬとして出力する。例えば、パラメータＱの値が０．４で、検出情報ＤＥＴが特徴量ＣＨが特徴量領域Ｒａに含まれていることを表しているとき、ＲＯＭ１４６よりＳＥＬ＝１が取り出され、係数選択信号ＳＥＬとして１が出力される。
【００７４】
この係数選択信号生成部１４５より出力される係数選択信号ＳＥＬが、係数選択回路１３３の出力ともなる。このように、係数選択回路１３３より出力される係数選択信号ＳＥＬは、上述したように係数メモリ１３１に読み出しアドレス情報として供給される。係数メモリ１３１（図１参照）には上述したように情報メモリバンク１３２からパラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した係数データがロードされるが、ＳＥＬ＝０であるときは離散値ｍに対応した係数データが読み出し対象となり、ＳＥＬ＝１であるときは離散値ｍ＋１に対応した係数データが読み出し対象となる。
【００７５】
図１に戻って、また、画像信号処理部１１０は、第１のタップ選択回路１２１で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３１より読み出される係数データｗｉとから、作成すべきＨＤ信号の画素データ（注目位置の画素データ）ｙを演算する推定予測演算回路１２７を有している。
【００７６】
上述したように、ＳＤ信号（５２５ｉ信号）をＨＤ信号（１０５０ｉ信号）に変換する際には、ＳＤ信号の１画素に対してＨＤ信号の４画素を得る必要があることから、この推定予測演算回路１２７では、ＨＤ信号を構成する２×２の単位画素ブロック毎に、ＨＤ画素データが生成される。
【００７７】
すなわち、この推定予測演算回路１２７には、第１のタップ選択回路１２１より単位画素ブロック内の４画素のデータ（注目位置の画素データ）に対応した予測タップのデータｘｉと、係数メモリ１３１よりその単位画素ブロックを構成する４画素に対応した係数データｗｉとが供給され、単位画素ブロックを構成する４画素のデータｙ₁〜ｙ₄は、それぞれ個別に（６）式の推定式で演算される。
【００７８】
【数４】

【００７９】
また、画像信号処理部１１０は、推定予測演算回路１２７より順次出力される単位画素ブロックを構成する４画素のデータｙ₁〜ｙ₄を、線順次化して１０５０ｉ信号のフォーマットで出力する後処理回路１２８を有している。
【００８０】
次に、画像信号処理部１１０の動作を説明する。
バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１２２で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この空間クラスタップのデータは空間クラス検出回路１２４に供給される。この空間クラス検出回路１２４では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑｉが得られる（（１）式参照）。
【００８１】
また、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第３のタップ選択回路１２３で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この動きクラスタップのデータは動きクラス検出回路１２５に供給される。この動きクラス検出回路１２５では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【００８２】
このクラス情報ＭＶと上述した再量子化コードｑｉはクラス合成回路１２６に供給される。このクラス合成回路１２６では、これらクラス情報ＭＶと再量子化コードｑｉとから、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック毎に、その単位画素ブロック内の４画素のデータ（注目位置の画素データ）が属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。そして、このクラスコードＣＬは、係数メモリ１３１に読み出しアドレス情報として供給される。
【００８３】
また、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、係数選択回路１３３で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック毎にその単位画素ブロック内の４画素（注目位置の画素）に対応する係数選択信号ＳＥＬが生成される。
【００８４】
すなわち、図２に示すように、バッファメモリ１０９に記憶されるＳＤ信号（５２５ｉ信号）が係数選択回路１３３の特徴量検出部１４１に供給され、この特徴量検出部１４１では各フィールドのＳＤ信号を構成するＳＤ画素毎に特徴量ＣＨ＝√（ＤＲ×ＡＣＴ）が検出される。そして、特徴量検出部１４１で、ある垂直ブランキング期間で検出される１フィールド分のＳＤ信号に対応する特徴量ＣＨは特徴量メモリ１４２に格納される。
【００８５】
また、特徴量領域決定部１４３において、ある垂直ブランキング期間に特徴量メモリ１４２に格納された１フィールド分のＳＤ信号に対応する特徴量ＣＨが使用されて、全ＳＤ画素に対応する特徴量ＣＨの最小値ＣＨminから最大値ＣＨmaxまでの範囲を４領域に分割して４つの特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが決定される（図６参照）。この場合、全ＳＤ画素に対応する特徴量ＣＨのうち各特徴量領域に含まれる個数が略等しくなるように４つの特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの範囲が決定される。
【００８６】
そして、ある垂直ブランキング期間に特徴量メモリ１４２に格納された１フィールド分のＳＤ信号が、続く垂直有効走査期間で順次取り出されて領域検出部１４４に供給され、各ＳＤ画素に対応する特徴量ＣＨが、上述した特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるかが検出される。この検出情報ＤＥＴは係数選択信号生成部１４５に供給される。
【００８７】
この係数選択信号生成部１４５には、さらにシステムコントローラ１０１からパラメータＱが供給される。係数選択信号生成部１４５が持っているＲＯＭ１４６には、上述したように、パラメータＱの各値に対応した、特徴量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄにおける解像度選択情報ＲＥＳが格納されている。係数選択信号生成部１４５では、領域検出部１４４からの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＱの値に対応した解像度選択情報ＲＥＳがＲＯＭ１４６より取り出される。
【００８８】
そして、この取り出された解像度選択情報ＲＥＳが、係数選択信号生成部１４５、従って係数選択回路１３３の出力である係数選択信号ＳＥＬとなる。したがって、係数選択回路１３３からは、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック毎にその単位画素ブロック内の４画素（注目位置の画素）に対応する係数選択信号ＳＥＬが出力される。この係数選択信号ＳＥＬは、係数メモリ１３１に読み出しアドレス情報として供給される。
【００８９】
係数メモリ１３１には、情報メモリバンク１３２から、パラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データがロードされている。このような係数データのロード動作は、例えば、パラメータＱの値に変更があって、係数メモリ１３１に格納すべき係数データの変更が必要となる場合に行われる。
【００９０】
係数メモリ１３１に上述したようにクラスコードＣＬおよび係数選択信号ＳＥＬが読み出しアドレス情報として供給されることで、この係数メモリ１３１からクラスコードＣＬに対応し、かつ係数選択信号ＳＥＬに対応した係数データｗｉが読み出されて推定予測演算回路１２７に供給される。この場合、ＳＥＬ＝０であるときは離散値ｍに対応した係数データが読み出され、ＳＥＬ＝１であるときは離散値ｍ＋１に対応した係数データが読み出される。
【００９１】
また、第１のタップ選択回路１２１では、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この予測タップのデータｘｉは推定予測演算回路１２７に供給される。
【００９２】
推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３１より読み出される４画素分の係数データｗｉとから、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素のデータ（ＨＤ画素データ）ｙ₁〜ｙ₄がそれぞれ個別に演算される（（６）式参照）。そして、この推定予測演算回路１２７より順次出力される４画素のデータｙ₁〜ｙ₄は、後処理回路１２８に供給される。この後処理回路１２８は、推定予測演算回路１２７より順次出力される４画素のデータｙ₁〜ｙ₄を線順次化し、１０５０ｉ信号のフォーマットで出力する。つまり、この後処理回路１２８からは、ＨＤ信号としての１０５０ｉ信号が出力される。
【００９３】
上述したように、係数メモリ１３１にはシステムコントローラ１０１より供給されるパラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データが情報メモリバンク１３２よりロードされる。そのため、ユーザがリモコン送信機２００を操作してパラメータＱの値を変更すると、それに伴って係数メモリ１３１に格納される係数データも変更され、推定予測演算回路１２７ではＨＤ信号の画素データがパラメータＱの値に対応して生成される。したがって、ユーザは、パラメータＱの値を変更することで、ＨＤ信号による画像の解像度を、従来のコントラストやシャープネスの調整のように、所望の値に任意に調整できる。
【００９４】
また、係数メモリ１３１に格納されるパラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データのうち、推定予測演算回路１２７で実際にＨＤ信号の画素データを生成する際に使用する係数データが、係数選択回路１３３で生成される係数選択信号ＳＥＬに基づいて決定される。すなわち、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺における特徴量ＣＨが、不適切な解像度となる度合い（破綻度合い）がいかなる特徴量領域に含まれるか、およびパラメータＱの値がｍからｍ＋１までのいずれにあるかに応じて、離散値ｍに対応した係数データを使用するか、離散値ｍ＋１に対応した係数データを使用するか決定される。因に、離散値ｍ＋１に対応した係数データは、離散値ｍに対応した係数データより、高い解像度を得るためのものである。
【００９５】
例えば、パラメータＱの値がｍに近くなる程、特徴量ＣＨが不適切な解像度となる度合い（破綻度合い）が低い特徴量領域に含まれる場合だけ、離散値ｍ＋１に対応した係数データが使用される（図８参照）。
【００９６】
このように、全画面一様に同一の係数データを用いるものではなく、注目位置の特徴量に応じて選択された係数データを用いて注目位置の画素データを生成するものである。これにより、パラメータＱを変更して解像度を調整する際に、不適切な解像度となる度合い（破綻度合い）が高い特徴量領域に特徴量ＣＨが含まれる箇所が不適切な解像度となることを防止でき、ＨＤ信号による画像の画質の向上を図ることができる。
【００９７】
図９は、画面内の各箇所ａ〜ｄが、図７で説明したと同様の状態にある場合において、パラメータＱの値がｍ〜ｍ＋１に変化した場合に、各箇所で離散値ｍあるいは離散値ｍ＋１のいずれに対応した係数データが使用されるかを示したものである。
【００９８】
Ｑ＝ｍである場合には、図９（ａ）に示すように、ａ〜ｄの全ての箇所で離散値ｍに対応した係数データｗmが使用される。ｍ＜Ｑ≦ｍ＋０．２５である場合には、図９（ｂ）に示すように、ａの箇所で離散値ｍ＋１に対応した係数データｗm+1が使用され、ｂ〜ｄの箇所で離散値ｍに対応した係数データｗmが使用される。ｍ＋０．２５＜Ｑ≦ｍ＋０．５である場合には、図９（ｃ）に示すように、ａ，ｂの箇所で離散値ｍ＋１に対応した係数データｗm+1が使用され、ｃ，ｄの箇所で離散値ｍに対応した係数データｗmが使用される。ｍ＋０．５＜Ｑ≦ｍ＋０．７５である場合には、図９（ｄ）に示すように、ａ〜ｃの箇所で離散値ｍ＋１に対応した係数データｗm+1が使用され、ｄの箇所で離散値ｍに対応した係数データｗmが使用される。さらに、ｍ＋０．７５＜Ｑ≦ｍ＋１である場合には、図９（ｅ）に示すように、ａ〜ｄの全て箇所で離散値ｍ＋１に対応した係数データｗm+1が使用される。
【００９９】
なお、上述実施の形態においては、注目画素の周辺における高周波成分量に関係する特徴量ＣＨとして、√（ＤＲ×ＡＣＴ）で表されるものを使用したものであるが、これに限定されるものではない。この特徴量ＣＨとしては、同じ解像度を得るための係数データを使用してＨＤ信号を得る場合に、不適切な解像度となる度合い（破綻度合い）を段階的に分類できるものであればよい。
【０１００】
また、上述実施の形態においては、説明を簡単にするため、特徴量ＣＨの最小値ＣＨminから最大値ＣＨmaxまでの範囲を４領域に分割して４つの特徴量領域Ｒａ〜Ｒｄを決定し（図６参照）、またそれに対応してパラメータＱの各離散値の間を４つの範囲に分割した（図８参照）ものを示したが、これらの個数は実際にはもっと多くされ、例えば１０とされる。
【０１０１】
また、上述実施の形態においては、全ＳＤ画素に対応する特徴量ＣＨのうち各特徴量領域に含まれる個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄが略等しくなるようにしたが、必ずしも等しくする必要はない。ただし、個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄを略等しくすることで、パラメータＱの値の変化に比例したＨＤ画像の解像度変化を期待できる。
【０１０２】
次に、情報メモリバンク１３２に蓄積されるパラメータＱの０，１，・・・，８の各離散値に対応した、９つの解像度に対応する係数データの生成方法について説明する。この係数データは、予め学習によって生成されたものである。
【０１０３】
まず、この学習方法について説明する。（６）式の推定式に基づく係数データｗi（ｉ＝１〜ｎ）を最小二乗法により求める例を示すものとする。一般化した例として、Ｘを入力データ、Ｗを係数データ、Ｙを予測値として、（７）式の観測方程式を考える。この（７）式において、ｍは学習データの数を示し、ｎは予測タップの数を示している。
【０１０４】
【数５】

【０１０５】
（７）式の観測方程式により収集されたデータに最小二乗法を適用する。この（７）式の観測方程式をもとに、（８）式の残差方程式を考える。
【０１０６】
【数６】

【０１０７】
（８）式の残差方程式から、各ｗiの最確値は、（９）式のｅ²を最小にする条件が成り立つ場合と考えられる。すなわち、（１０）式の条件を考慮すればよいわけである。
【０１０８】
【数７】

【０１０９】
つまり、（１０）式のｉに基づくｎ個の条件を考え、これを満たすｗ₁，ｗ₂，・・・，ｗ_nを算出すればよい。そこで、（８）式の残差方程式から、（１１）式が得られる。さらに、（１１）式と（７）式とから、（１２）式が得られる。
【０１１０】
【数８】

【０１１１】
そして、（８）式と（１２）式とから、（１３）式の正規方程式が得られる。
【０１１２】
【数９】

【０１１３】
（１３）式の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗiの最確値を求めることができる。この場合、掃き出し法（Gauss-Jordanの消去法）等を用いて連立方程式を解くことになる。
【０１１４】
図１０は、上述した概念で係数データを生成する係数データ生成装置１５０を示している。この係数データ生成装置１５０は、教師信号としてのＨＤ信号（１０５０ｉ信号）が入力される入力端子１５１と、このＨＤ信号に対して水平および垂直の間引き処理を行って、生徒信号としてのＳＤ信号を得るＳＤ信号生成回路１５２とを有している。
【０１１５】
このＳＤ信号生成回路１５２には、パラメータＱが制御信号として供給される。このパラメータＱは、図１に示すテレビ受信機１００で、ユーザのリモコン送信機２００の操作によってシステムコントローラ１０１より出力されるパラメータＱに対応したものである。ただし、ここでは、パラメータＱの値として０，１，・・・，８の９つの離散値のみをとる。
【０１１６】
このＳＤ信号生成回路１５２では、パラメータＱの値に対応して、ＨＤ信号からＳＤ信号を生成する際に使用されるフィルタの水平および垂直の帯域が可変される。このフィルタは、例えば水平帯域を制限する１次元ガウシアンフィルタと垂直帯域を制限する１次元ガウシアンフィルタとから構成される。この１次元ガウシアンフィルタは、（１４）式で示される。
【０１１７】
【数１０】

【０１１８】
この場合、Ｑの離散的な値に対応して標準偏差σの値を段階的に変えることで、Ｑの離散的な値に対応した周波数特性を持つ１次元ガウシアンフィルタを得ることができる。この場合、パラメータＱの値が大きくなる程、水平および垂直の帯域が狭くなるようにされる。これにより、パラメータＱの値が大きくなる程、解像度の高いＨＤ信号を得るための係数データを生成できる。
【０１１９】
また、係数データ生成装置１５０は、ＳＤ信号生成回路１５２より出力されるＳＤ信号（５２５ｉ信号）より、ＨＤ信号（１０５０ｉ信号）における注目位置の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１〜第３のタップ選択回路１５３〜１５５を有している。これら第１〜第３のタップ選択回路１５３〜１５５は、上述した画像信号処理部１１０の第１〜第３のタップ選択回路１２１〜１２３と同様に構成される。
【０１２０】
また、係数データ生成装置１５０は、第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１５７を有している。この空間クラス検出回路１５７は、上述した画像信号処理部１１０の空間クラス検出回路１２４と同様に構成される。この空間クラス検出回路１５７からは、空間クラスタップのデータとしての各ＳＤ画素データ毎の再量子化コードｑｉが空間クラスを示すクラス情報として出力される。
【０１２１】
また、係数データ生成装置１５０は、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報ＭＶを出力する動きクラス検出回路１５８を有している。この動きクラス検出回路１５８は、上述した画像信号処理部１１０の動きクラス検出回路１２５と同様に構成される。この動きクラス検出回路１５８では、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）からフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。
【０１２２】
また、係数データ生成装置１５０は、空間クラス検出回路１５７より出力される空間クラスのクラス情報としての再量子化コードｑｉと、動きクラス検出回路１５８より出力される動きクラスのクラス情報ＭＶに基づき、ＨＤ信号（１０５０ｉ信号）における注目位置の画素データが属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１５９を有している。このクラス合成回路１５９も、上述した画像信号処理部１１０のクラス合成回路１２６と同様に構成される。
【０１２３】
また、係数データ生成装置１５０は、入力端子１５１に供給されるＨＤ信号より得られる注目位置の画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、クラス毎に、ｎ個の係数データｗｉを得るための正規方程式（（１３）式参照）を生成する正規方程式生成部１６０を有している。
【０１２４】
この場合、１個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで上述した１個の学習データが生成され、従って正規方程式生成部１６０では多くの学習データが登録された正規方程式が生成される。なお、図示せずも、第１のタップ選択回路１５３の前段に時間合わせ用の遅延回路を配置することで、この第１のタップ選択回路１５３から正規方程式生成部１６０に供給されるＳＤ画素データｘｉのタイミング合わせが行われる。
【０１２５】
また、係数データ生成装置１５０は、正規方程式生成部１６０でクラス毎に生成された正規方程式のデータが供給され、クラス毎に生成された正規方程式を解いて、各クラスの係数データｗｉを求める係数データ決定部１６１と、この求められた係数データｗｉを記憶する係数メモリ１６２とを有している。係数データ決定部１６１では、正規方程式が例えば掃き出し法などによって解かれて、係数データｗｉが求められる。
【０１２６】
図１０に示す係数データ生成装置１５０の動作を説明する。入力端子１５１には教師信号としてのＨＤ信号（１０５０ｉ信号）が供給され、そしてこのＨＤ信号に対してＳＤ信号生成回路１５２で水平および垂直の間引き処理が行われて生徒信号としてのＳＤ信号（５２５ｉ信号）が生成される。この場合、ＳＤ信号生成回路１５２には、パラメータＱが制御信号として供給され、パラメータＱの離散的な値に対応して、水平および垂直の帯域が段階的に変化した複数のＳＤ信号が順次生成されていく。
【０１２７】
このＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１５４で、ＨＤ信号（１０５０ｉ信号）における注目位置の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この空間クラスタップのデータは空間クラス検出回路１５７に供給される。この空間クラス検出回路１５７では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑｉが得られる（（１）式参照）。
【０１２８】
また、ＳＤ信号生成回路１５２で生成されたＳＤ信号より、第３のタップ選択回路１５５で、ＨＤ信号における注目位置の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この動きクラスタップのデータは動きクラス検出回路１５８に供給される。この動きクラス検出回路１５８では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【０１２９】
このクラス情報ＭＶと上述した再量子化コードｑｉはクラス合成回路１５９に供給される。このクラス合成回路１５９では、これらクラス情報ＭＶと再量子化コードｑｉとから、ＨＤ信号（１０５０ｉ信号）における注目位置の画素データが属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。
【０１３０】
また、ＳＤ信号生成回路１５２で生成されるＳＤ信号より、第１のタップ選択回路１５３で、ＨＤ信号に係る注目画素の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。そして、入力端子１５１に供給されるＨＤ信号より得られる注目位置の画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１２１で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、正規方程式生成部１６０では、クラス毎に、ｎ個の係数データｗｉを生成するための正規方程式が生成される。
【０１３１】
そして、係数データ決定部１６１でその正規方程式が解かれ、各クラスの係数データｗｉが求められ、その係数データｗｉはクラス別にアドレス分割された係数メモリ１６２に記憶される。
【０１３２】
このように、図１０に示す係数データ生成装置１５０においては、図１の画像信号処理部１１０の情報メモリバンク１３２に記憶される各クラスの係数データｗｉを生成できる。この場合、ＳＤ信号生成回路１５２で生成されるＳＤ信号の水平および垂直の帯域をパラメータＱの値によって段階的に変化させることができる。そのため、パラメータＱの値を０，１，・・・，８に順次変化させてクラス毎の係数データｗｉを決定していくことで、パラメータＱの０，１，・・・，８の離散的な値に対応した各クラスの係数データｗｉを生成できる。
【０１３３】
なお、図１の画像信号処理部１１０における処理を、例えば図１１に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
まず、図１１に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の動作プログラムや係数データ等が格納されたＲＯＭ（read only memory）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（random access memory）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０１３４】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクをドライブするドライブ（ＨＤＤ）３０５と、フロッピー（登録商標）ディスク３０６をドライブするドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０１３５】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０１３６】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（liquid crystal display）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０１３７】
また、画像信号処理装置３００は、ＳＤ信号を入力するための入力端子３１４と、ＨＤ信号を出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０１３８】
ここで、上述したようにＲＯＭ３０２に処理プログラムや係数データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら処理プログラムや係数データ等をフロッピー（登録商標）ディスク３０６で提供するようにしてもよい。
【０１３９】
また、処理すべきＳＤ信号を入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、処理後のＨＤ信号を出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０１４０】
図１２のフローチャートを参照して、図１１に示す画像信号処理装置３００における、ＳＤ信号よりＨＤ信号を得るため処理手順を説明する。
まず、ステップＳＴ１で、処理を開始し、ステップＳＴ２で、ＳＤ画素データをフィールド単位で入力する。このＳＤ画素データが入力端子３１４より入力される場合には、このＳＤ画素データをＲＡＭ３０３に一時的に格納する。また、このＳＤ画素データがハードディスクに記録されている場合には、ハードディスクドライブ３０７でこのＳＤ画素データを読み出し、ＲＡＭ３０３に一時的に格納する。そして、ステップＳＴ３で、入力ＳＤ画素データの全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ５に進む。
【０１４１】
ステップＳＴ５では、ユーザがリモコン送信機２００を操作して入力したパラメータＱの値を例えばＲＡＭ３０３より読み込む。そして、ステップＳＴ６で、読み込んだパラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データを読み出し、ＲＡＭ３０３に一時的に格納する。
【０１４２】
次に、ステップＳＴ７で、ステップＳＴ２で入力された１フィールド分のＳＤ画素データより、各ＳＤ画素の特徴量ＣＨ（√（ＤＲ×ＡＣＴ））を求め、さらに各ＳＤ画素の特徴量ＣＨを用いて、４つの特徴量領域Ｒａ〜Ｒｄを決定する（図６参照）。なお、各ＳＤ画素の特徴量ＣＨは、後のステップでさらに使用するので、ＲＡＭ３０３に格納しておく。
【０１４３】
次に、ステップＳＴ８で、ステップＳＴ２で入力されたＳＤ画素データより、生成すべき各ＨＤ画素データ（注目画素データ）に対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ９で、入力されたＳＤ画素データの全領域においてＨＤ画素データを得る処理が終了したか否かを判定する。処理が終了していないときは、ステップＳＴ１０に進む。
【０１４４】
このステップＳＴ１０では、生成すべき各ＨＤ画素データ（注目位置の画素データ）に対応するＳＤ画素の特徴量ＣＨが、上述の４つの特徴量領域Ｒａ〜Ｒｄのいずれに含まれるかを検出する。そして、ステップＳＴ１１で、その検出情報ＤＥＴとパラメータＱの値とから、離散値ｍ，ｍ＋１のいずれに対応した係数データを使用するかの係数選択信号ＳＥＬを生成する。
【０１４５】
次に、ステップＳＴ１２で、ステップＳＴ８で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。そして、ステップ１３で、ステップＳＴ１１で生成された係数選択信号ＳＥＬで示される離散値に対応した係数データであって、ステップＳＴ１２で生成されたクラスコードＣＬで示されるクラスの係数データと、予測タップのＳＤ画素データを使用して、推定式（（６）式参照）により、パラメータＱの値に対応したＨＤ画素データを生成し、その後にステップＳＴ８に戻って、上述したと同様の処理を繰り返す。
また、ステップＳＴ９で、処理が終了しているときは、ステップＳＴ２に戻り、次のフィールドのＳＤ画素データの入力処理に移る。
【０１４６】
このように、図１２に示すフローチャートに沿って処理をすることで、入力されたＳＤ信号を構成するＳＤ画素データを処理して、ＨＤ信号を構成するＨＤ画素データを得ることができる。上述したように、このように処理して得られたＨＤ信号は出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０１４７】
次に、この発明の他の実施の形態について説明する。図１３は、実施の形態としてのテレビ受信機１００Ａの構成を示している。このテレビ受信機１００Ａも、放送信号より５２５ｉ信号というＳＤ信号を得、この５２５ｉ信号を１０５０ｉ信号というＨＤ信号に変換し、その１０５０ｉ信号による画像を表示するものである。この図１３において、図１と対応する部分には同一符号を付し、その詳細説明は省略する。
【０１４８】
このテレビ受信機１００Ａは、図１のテレビ受信機１００における画像信号処理部１１０の代わりに、画像信号処理部１１０Ａが設けられたものである。この画像信号処理部１１０Ａでは、注目位置における特徴量として注目位置における動き量を用いるものである。
【０１４９】
画像信号処理部１１０Ａは、第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、クラスコードＣＬを出力する空間クラス検出回路１２４Ａを有している。
【０１５０】
空間クラス検出回路１２４Ａでは、以下の処理が行われてクラスコードＣＬが得られる。まず、図１の画像信号処理部１１０における空間クラス検出回路１２４と同様のＡＤＲＣ等の処理が行われ、第２のタップ選択回路１２２で取り出されたＮａ個の空間クラスタップのデータ（ＳＤ画素データ）に対する再量子化コードｑｉ（ｉ＝１〜Ｎａ）が求められる。次に、この再量子化コードｑｉ（ｉ＝１〜Ｎａ）が使用されて、（１５）式によって、クラスコードＣＬの演算が行われる。
【０１５１】
【数１１】

【０１５２】
このように、画像信号処理部１１０Ａでは、第２のタップ選択回路１２２で取り出された空間クラスタップのデータ（ＳＤ画素データ）のみからクラスコードＣＬが得られる。この場合、上述したように、注目位置における特徴量として注目位置における動き量を用いることから、クラスコードＣＬには動きクラスの情報を含めないこととしている。
【０１５３】
また、画像信号処理部１１０Ａは、係数選択信号ＳＥＬを発生する係数選択回路１３３Ａを有している。この係数選択信号ＳＥＬも、図１の画像信号処理部１１０における係数選択回路１３３で発生される係数選択信号ＳＥＬと同様に、係数メモリ１３１に読み出しアドレス情報として供給されるものであり、情報メモリバンク１３２から係数メモリ１３１にロードされて格納された、パラメータＱの２つの離散値に対応した係数データのうち一つの係数データを選択するために使用される。
【０１５４】
図１４は、係数選択回路１３３Ａの構成を示している。この図１４において、図２と対応する部分には同一符号を付して示している。
この係数選択回路１３３Ａは、動き量検出部１４１Ａ、動き量メモリ１４２Ａ、動き量領域決定部１４３Ａ、領域検出部１４４Ａおよび係数選択信号生成部１４５Ａからなっている。
【０１５５】
動き量検出部１４１Ａは、バッファメモリ１０９に一時的に記憶される各フィールドのＳＤ信号（５２５ｉ信号）を構成するＳＤ画素毎に、動き量を検出するものである。この場合、あるＳＤ画素（着目画素）に対応した動き量は、例えばそのＳＤ画素を中心とした所定サイズのブロックを使用し、周知のブロックマッチング法により動きベクトルを求め、この動きベクトルの大きさとして検出される。なお、動きベクトルはブロックマッチング法ではなく、勾配法により求めてもよい。
【０１５６】
上述したように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して、１０５０ｉ信号の４画素を注目画素として、推定式で得るものである。したがって、動き量検出部１４１ＡにおいてＳＤ信号（５２５ｉ信号）を構成する各１画素に対応した動き量ＣＨを検出するということは、ＨＤ信号（１０５０ｉ信号）を構成する各４画素（注目画素）の動き量ＣＨを検出していることになる。
【０１５７】
動き量検出部１４１Ａは、バッファメモリ１０９に記憶されるあるフィールドのＳＤ信号に対する動き量ＣＨの検出処理を例えば垂直ブランキング期間で行う。動き量メモリ１４２Ａは、動き量検出部１４１Ａにおいてある垂直ブランキング期間に検出される１フィールド分の各ＳＤ画素に対応した動き量ＣＨを格納するものである。
【０１５８】
また、動き量領域決定部１４３Ａは、動き量メモリ１４２Ａに格納された、あるフィールドの全ＳＤ画素に対応する動き量ＣＨを用いて、動き量ＣＨの最小値から最大値までの範囲を４領域に分割して４つの動き量領域を決定するものである。動き量領域決定部１４３Ａは、この動き量領域の決定処理を垂直ブランキング期間で行う。この場合、全ＳＤ画素に対応する動き量ＣＨのうち各動き量領域に含まれる個数が略等しくなるように、４つの動き量領域が決定される。
【０１５９】
図１５は、全ＳＤ画素に対応する動き量ＣＨのヒストグラムモデルを示している。ＣＨminは動き量ＣＨの最小値、ＣＨmaxは動き量ＣＨの最大値を示している。Ｒａ，Ｒｂ，Ｒｃ，Ｒｄは４つの動き量領域であり、Ｎａ，Ｎｂ，Ｎｃ，Ｎｄは全ＳＤ画素に対応する動き量ＣＨのうち各動き量領域に含まれる個数を示している。この場合、個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄが略等しくなるように、動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが決定されることとなる。
【０１６０】
ここで、動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの意義について考えてみる。Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの順に、動き量ＣＨが大きくなることから、画面全体で、同じ解像度を得るための係数データを用いてＳＤ画素データからＨＤ画素データを生成する場合、Ｒｄ側の動き量領域内の動き量ＣＨが検出される箇所ほど不適切な解像度となりやすい。図１６のａ，ｂ，ｃ，ｄは、それぞれＲａ，Ｒｂ，Ｒｃ，Ｒｄの動き量領域内の動き量ＣＨが検出される画面内の箇所を示している。各箇所における不適切な解像度となる度合い（破綻度合い）をｐa，ｐb，ｐc，ｐdとすると、ｐa＜ｐb＜ｐc＜ｐdの関係となる。
【０１６１】
領域検出部１４４Ａは、動き量検出部１４１Ａにおいてある垂直ブランキング期間に検出されて動き量メモリ１４２Ａに格納された各ＳＤ画素に対応する動き量ＣＨを、続く垂直有効走査期間で順次取り出し、各ＳＤ画素に対応する動き量ＣＨが、上述した動き量領域決定部１４３Ａで決定された動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるかを検出し、その検出情報ＤＥＴを出力するものである。
【０１６２】
係数選択信号生成部１４５Ａは、領域検出部１４４Ａからの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＱの値とから、係数選択信号ＳＥＬを生成するものである。係数選択信号生成部１４５Ａは、パラメータＱの各値に対応した、上述の動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄにおける解像度選択情報ＲＥＳが格納された格納手段としてのＲＯＭ１４６を持っている。上述の図８は、ＲＯＭ１４６内に格納された解像度選択情報ＲＥＳを模式的に表している。
【０１６３】
この図において、「ａ」が記載された範囲（第１の範囲）では、動き量ＣＨが動き量領域Ｒａに含まれるときＲＥＳ＝１であり、動き量ＣＨが動き量領域Ｒｂ，Ｒｃ，Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ」が記載された範囲（第２の範囲）では、動き量ＣＨが動き量領域Ｒａ，Ｒｂに含まれるときＲＥＳ＝１であり、動き量ＣＨが動き量領域Ｒｃ，Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ，ｃ」が記載された範囲（第３の範囲）では、動き量ＣＨが動き量領域Ｒａ，Ｒｂ，Ｒｃに含まれるときＲＥＳ＝１であり、動き量ＣＨが動き量領域Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ，ｃ，ｄ」が記載された範囲（第４の範囲）では、動き量ＣＨが動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるときでもＲＥＳ＝１であることを意味する。
【０１６４】
また、この図において、ｉ＜Ｑ≦（ｉ＋０．２５）は第１の範囲に該当し、（ｉ＋０．２５）＜Ｑ≦（ｉ＋０．５）は第２の範囲に該当し、（ｉ＋０．５）＜Ｑ≦（ｉ＋０．７５）は第３の範囲に該当し、（ｉ＋０．７５）＜Ｑ≦（ｉ＋１）は第４の範囲に該当する。ここで、ｉ＝０，１，・・・，７である。なお、Ｑ＝０であるときは、動き量ＣＨが動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるときでもＲＥＳ＝０である。
【０１６５】
係数選択信号生成部１４５Ａは、領域検出部１４４Ａからの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＱの値に対応した解像度選択情報ＲＥＳをＲＯＭ１４６より取り出し、この解像度選択情報ＲＥＳを係数選択信号ＳＥＬとして出力する。例えば、パラメータＱの値が０．４で、検出情報ＤＥＴが動き量ＣＨが動き量領域Ｒａに含まれていることを表しているとき、ＲＯＭ１４６よりＳＥＬ＝１が取り出され、係数選択信号ＳＥＬとして１が出力される。
【０１６６】
この係数選択信号生成部１４５Ａより出力される係数選択信号ＳＥＬが、係数選択回路１３３Ａの出力ともなる。このように、係数選択回路１３３Ａより出力される係数選択信号ＳＥＬは、上述したように係数メモリ１３１（図１３参照）に読み出しアドレス情報として供給される。係数メモリ１３１には上述したように情報メモリバンク１３２からパラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した係数データがロードされるが、ＳＥＬ＝０であるときは離散値ｍに対応した係数データが読み出し対象となり、ＳＥＬ＝１であるときは離散値ｍ＋１に対応した係数データが読み出し対象となる。
図１３に示す画像信号処理部１１０Ａのその他は、図１に示す画像信号処理部１１０と同様に構成される。
【０１６７】
次に、画像信号処理部１１０Ａの動作を説明する。
バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１２２で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この空間クラスタップのデータは空間クラス検出回路１２４Ａに供給される。この空間クラス検出回路１２４Ａでは、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されてクラスコードＣＬが得られる（（１５）式参照）。このクラスコードＣＬは、係数メモリ１３１に読み出しアドレス情報として供給される。
【０１６８】
また、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、係数選択回路１３３Ａで、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック毎にその単位画素ブロック内の４画素（注目位置の画素）に対応する係数選択信号ＳＥＬが生成される。
【０１６９】
すなわち、図１４に示すように、バッファメモリ１０９に記憶されるＳＤ信号（５２５ｉ信号）が係数選択回路１３３Ａの動き量検出部１４１Ａに供給され、この動き量検出部１４１Ａでは各フィールドのＳＤ信号を構成するＳＤ画素毎に、ブロックマッチング法あるいは勾配法などにより動き量ＣＨが検出される。そして、動き量検出部１４１Ａで、ある垂直ブランキング期間で検出される１フィールド分のＳＤ信号に対応する動き量ＣＨは動き量メモリ１４２Ａに格納される。
【０１７０】
また、動き量領域決定部１４３Ａにおいて、ある垂直ブランキング期間に動き量メモリ１４２Ａに格納された１フィールド分のＳＤ信号に対応する動き量ＣＨが使用されて、全ＳＤ画素に対応する動き量ＣＨの最小値ＣＨminから最大値ＣＨmaxまでの範囲を４領域に分割して４つの動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが決定される（図１５参照）。この場合、全ＳＤ画素に対応する動き量ＣＨのうち各動き量領域に含まれる個数が略等しくなるように４つの動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの範囲が決定される。
【０１７１】
そして、ある垂直ブランキング期間に動き量メモリ１４２Ａに格納された１フィールド分のＳＤ信号が、続く垂直有効走査期間で順次取り出されて領域検出部１４４Ａに供給され、各ＳＤ画素に対応する動き量ＣＨが、上述した動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるかが検出される。この検出情報ＤＥＴは係数選択信号生成部１４５Ａに供給される。
【０１７２】
この係数選択信号生成部１４５Ａには、さらにシステムコントローラ１０１からパラメータＱが供給される。係数選択信号生成部１４５Ａが持っているＲＯＭ１４６には、上述したように、パラメータＱの各値に対応した、動き量領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄにおける解像度選択情報ＲＥＳが格納されている。係数選択信号生成部１４５Ａでは、領域検出部１４４Ａからの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＱの値に対応した解像度選択情報ＲＥＳがＲＯＭ１４６より取り出される。
【０１７３】
そして、この取り出された解像度選択情報ＲＥＳが、係数選択信号生成部１４５Ａ、従って係数選択回路１３３Ａの出力である係数選択信号ＳＥＬとなる。したがって、係数選択回路１３３Ａからは、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック毎にその単位画素ブロック内の４画素（注目位置の画素）に対応する係数選択信号ＳＥＬが出力される。この係数選択信号ＳＥＬは、係数メモリ１３１に読み出しアドレス情報として供給される。
【０１７４】
係数メモリ１３１には、情報メモリバンク１３２から、パラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データがロードされている。このような係数データのロード動作は、例えば、パラメータＱの値に変更があって、係数メモリ１３１に格納すべき係数データの変更が必要となる場合に行われる。
【０１７５】
係数メモリ１３１に上述したようにクラスコードＣＬおよび係数選択信号ＳＥＬが読み出しアドレス情報として供給されることで、この係数メモリ１３１からクラスコードＣＬに対応し、かつ係数選択信号ＳＥＬに対応した係数データｗｉが読み出されて推定予測演算回路１２７に供給される。この場合、ＳＥＬ＝０であるときは離散値ｍに対応した係数データが読み出され、ＳＥＬ＝１であるときは離散値ｍ＋１に対応した係数データが読み出される。
【０１７６】
また、第１のタップ選択回路１２１では、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この予測タップのデータｘｉは推定予測演算回路１２７に供給される。
【０１７７】
推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３１より読み出される４画素分の係数データｗｉとから、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素のデータ（ＨＤ画素データ）ｙ₁〜ｙ₄がそれぞれ個別に演算される（（６）式参照）。そして、この推定予測演算回路１２７より順次出力される４画素のデータｙ₁〜ｙ₄は、後処理回路１２８に供給される。この後処理回路１２８は、推定予測演算回路１２７より順次出力される４画素のデータｙ₁〜ｙ₄を線順次化し、１０５０ｉ信号のフォーマットで出力する。つまり、この後処理回路１２８からは、ＨＤ信号としての１０５０ｉ信号が出力される。
【０１７８】
上述したように、係数メモリ１３１にはシステムコントローラ１０１より供給されるパラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データが情報メモリバンク１３２よりロードされる。そのため、ユーザがリモコン送信機２００を操作してパラメータＱの値を変更すると、それに伴って係数メモリ１３１に格納される係数データも変更され、推定予測演算回路１２７ではＨＤ信号の画素データがパラメータＱの値に対応して生成される。したがって、ユーザは、パラメータＱの値を変更することで、ＨＤ信号による画像の解像度を、従来のコントラストやシャープネスの調整のように、所望の値に任意に調整できる。
【０１７９】
また、係数メモリ１３１に格納されるパラメータＱの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データのうち、推定予測演算回路１２７で実際にＨＤ信号の画素データを生成する際に使用する係数データが、係数選択回路１３３Ａで生成される係数選択信号ＳＥＬに基づいて決定される。すなわち、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素（注目位置の画素）の動き量ＣＨが、不適切な解像度となる度合い（破綻度合い）がいかなる動き量領域に含まれるか、およびパラメータＱの値がｍからｍ＋１までのいずれにあるかに応じて、離散値ｍに対応した係数データを使用するか、離散値ｍ＋１に対応した係数データを使用するか決定される。因に、離散値ｍ＋１に対応した係数データは、離散値ｍに対応した係数データより、高い解像度を得るためのものである。
【０１８０】
例えば、パラメータＱの値がｍに近くなる程、動き量ＣＨが不適切な解像度となる度合い（破綻度合い）が低い動き量領域に含まれる場合だけ、離散値ｍ＋１に対応した係数データが使用される（図８参照）。
【０１８１】
このように、全画面一様に同一の係数データを用いるものでなく、注目位置の動き量に応じて選択された係数データを用いて注目位置の画素データを生成するものである。これにより、パラメータＱの値を変更して解像度を調整する際に、不適切な解像度となる度合い（破綻度合い）が高い動き量領域に動き量ＣＨが含まれる箇所が、不適切な解像度となることを防止でき、ＨＤ信号による画像の画質の向上を図ることができる。
【０１８２】
なお、上述実施の形態においては、説明を簡単にするため、動き量ＣＨの最小値ＣＨminから最大値ＣＨmaxまでの範囲を４領域に分割して４つの動き量領域Ｒａ〜Ｒｄを決定し（図１５参照）、またそれに対応してパラメータＱの各離散値の間を４つの範囲に分割した（図８参照）ものを示したが、これらの個数は実際にはもっと多くされ、例えば１０とされる。
【０１８３】
また、上述実施の形態においては、全ＳＤ画素に対応する動き量ＣＨのうち各動き量領域に含まれる個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄが略等しくなるようにしたが、必ずしも等しくする必要はない。ただし、個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄを略等しくすることで、パラメータＱの値の変化に比例したＨＤ画像の解像度変化を期待できる。
【０１８４】
また、図１３の画像信号処理部１１０Ａにおける処理も、例えば図１１に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。その場合の画像信号処理は、基本的には、上述の図１２に示すフローチャートに沿って行われる。
【０１８５】
ただし、図１３の画像信号処理部１１０Ａでは注目位置における特徴量として注目位置における動き量を用いるものであることから、ステップＳＴ７、ステップＳＴ１０における処理は以下のようになるが、その他のステップにおける処理は上述したと同様である。
【０１８６】
ステップＳＴ７では、ステップＳＴ２で入力された１フィールド分のＳＤ画素データより、各ＳＤ画素の動き量を求め、さらに各ＳＤ画素の動き量ＣＨを用いて、４つの動き量領域Ｒａ〜Ｒｄを決定する（図１５参照）。
【０１８７】
また、ステップＳＴ１０では、生成すべき各ＨＤ画素データ（注目位置の画素データ）に対応するＳＤ画素の動き量ＣＨが、上述の４つの動き量領域Ｒａ〜Ｒｄのいずれに含まれるかを検出する。
【０１８８】
次に、この発明のさらに他の実施の形態について説明する。図１７は、実施の形態としてのテレビ受信機１００Ｂの構成を示している。このテレビ受信機１００Ｂも、放送信号より５２５ｉ信号というＳＤ信号を得、この５２５ｉ信号を１０５０ｉ信号というＨＤ信号に変換し、その１０５０ｉ信号による画像を表示するものである。この図１７において、図１と対応する部分には同一符号を付し、その詳細説明は省略する。
【０１８９】
このテレビ受信機１００Ｂは、図１のテレビ受信機１００における画像信号処理部１１０の代わりに、画像信号処理部１１０Ｂが設けられたものである。この画像信号処理部１１０Ｂでは、注目位置における特徴量として注目位置における輝度が用いられる。
【０１９０】
また、このテレビ受信機１００Ｂにおいて、ユーザは、リモコン送信機２００の操作によって、ディスプレイ部１１１の画面上に表示される画像の輝度を調整できる。例えば、輝度選択モードで、アップキーおよびダウンキーの押圧操作、あるいはジョグダイヤル等のつまみの回転操作をすることで、システムコントローラ１０１から画像信号処理部１１０Ｂに供給される、輝度を示すパラメータＢの値を変更できる。
【０１９１】
画像信号処理部１１０Ｂでは、後述するように、ＨＤ画素データが推定式によって算出されるが、この推定式の係数データとして、上述したパラメータＢの値に対応したものが使用される。これにより、画像信号処理部１１０Ｂから出力されるＨＤ信号による画像の輝度は、パラメータＢの値に対応したものとなる。
【０１９２】
なお、ユーザのリモコン送信機２００の操作によってパラメータＢの値の変更が行われている状態では、ディスプレイ部１１１の画面上に、パラメータＢの値の表示が行われる。ここでは図示しないが、この表示は数値または棒グラフ等を用いて行われる。ユーザは、この表示を参照して、パラメータＢの値を変更できる。
【０１９３】
画像信号処理部１１０Ｂは、情報メモリバンク１３２Ｂを有している。本実施の形態においては、パラメータＢは０〜８の間で変更可能とされる。情報メモリバンク１３２Ｂには、パラメータＢの０，１，・・・，８の各離散値に対応した、９つの輝度における各クラスの係数データが予め蓄えられている。ここで、パラメータＱの値が大きくなるほど輝度が高くなっていくものとする。この９つの輝度に対応する係数データの生成方法については後述する。
【０１９４】
なお、上述したように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。そのため、ある輝度におけるあるクラスの係数データは、奇数、偶数のそれぞれのフィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素に対応した係数データからなっている。この２×２の単位画素ブロック内の４画素は、５２５ｉ信号の画素に対応して互いに異なる位相関係になっている。
【０１９５】
上述したように、ユーザは、リモコン送信機２００の操作部において、アップキーおよびダウンキーの押圧操作、またはジョグダイヤル等のつまみの回転操作をすることで、システムコントローラ１０１から画像信号処理部１１０Ｂに供給されるパラメータＢの値を変更できる。情報メモリバンク１３２Ｂには、そのパラメータＢが供給され、この情報メモリバンク１３２Ｂから係数メモリ１３１には、パラメータＢの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した、各クラスの係数データがロードされる。
【０１９６】
すなわち、０≦Ｂ≦１であるときはＢ＝０，１に対応した各クラスの係数データが、１＜Ｂ≦２であるときはＢ＝１，２に対応した各クラスの係数データが、２＜Ｂ≦３であるときはＢ＝２，３に対応した各クラスの係数データが、３＜Ｂ≦４であるときはＢ＝３，４に対応した各クラスの係数データが、４＜Ｂ≦５であるときはＢ＝４，５に対応した各クラスの係数データが、５＜Ｂ≦６であるときはＢ＝５，６に対応した各クラスの係数データが、６＜Ｂ≦７であるときはＢ＝６，７に対応した各クラスの係数データが、７＜Ｂ≦８であるときはＢ＝７，８に対応した各クラスの係数データが、情報メモリバンク１３２Ｂから係数メモリ１３１にロードされる。
【０１９７】
また、画像信号処理部１１０Ｂは、係数選択信号ＳＥＬを発生する係数選択回路１３３Ｂを有している。この係数選択信号ＳＥＬも、図１の画像信号処理部１１０における係数選択回路１３３で発生される係数選択信号ＳＥＬと同様に、係数メモリ１３１に読み出しアドレス情報として供給されるものであり、情報メモリバンク１３２Ｂから係数メモリ１３１にロードされて格納された、パラメータＢの２つの離散値に対応した係数データのうち一つの係数データを選択するために使用される。
【０１９８】
図１８は、係数選択回路１３３Ｂの構成を示している。この図１８において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。
この係数選択回路１３３Ｂは、輝度検出部１４１Ｂ、輝度メモリ１４２Ｂ、輝度領域決定部１４３Ｂ、領域検出部１４４Ｂおよび係数選択信号生成部１４５Ｂからなっている。
【０１９９】
輝度検出部１４１Ｂは、バッファメモリ１０９に一時的に記憶される各フィールドのＳＤ信号（５２５ｉ信号）を構成するＳＤ画素毎に、輝度を検出するものである。この場合、あるＳＤ画素（着目画素）に対応した輝度は、例えばそのＳＤ画素を中心とした所定サイズのブロックを使用し、ブロック内の画素値の単純平均、あるいは重み付け平均により求められる。
【０２００】
上述したように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して、１０５０ｉ信号の４画素を注目画素として、推定式で得るものである。したがって、輝度検出部１４１ＢにおいてＳＤ信号（５２５ｉ信号）を構成する各１画素に対応した輝度を検出するということは、ＨＤ信号（１０５０ｉ信号）を構成する各４画素（注目画素）の輝度を検出していることになる。
【０２０１】
輝度検出部１４１Ｂは、バッファメモリ１０９に記憶されるあるフィールドのＳＤ信号に対する輝度ＣＨの検出処理を例えば垂直ブランキング期間で行う。輝度メモリ１４２Ｂは、輝度検出部１４１Ｂにおいてある垂直ブランキング期間に検出される１フィールド分の各ＳＤ画素に対応した輝度ＣＨを格納するものである。
【０２０２】
また、輝度領域決定部１４３Ｂは、輝度メモリ１４２Ｂに格納された、あるフィールドの全ＳＤ画素に対応する輝度ＣＨを用いて、輝度ＣＨの最小値から最大値までの範囲を４領域に分割して４つの輝度領域を決定するものである。輝度領域決定部１４３Ｂは、この輝度領域の決定処理を垂直ブランキング期間で行う。この場合、全ＳＤ画素に対応する輝度ＣＨのうち各輝度領域に含まれる個数が略等しくなるように、４つの輝度領域が決定される。
【０２０３】
図１９は、全ＳＤ画素に対応する輝度ＣＨのヒストグラムモデルを示している。ＣＨminは輝度ＣＨの最小値、ＣＨmaxは輝度ＣＨの最大値を示している。Ｒａ，Ｒｂ，Ｒｃ，Ｒｄは４つの輝度領域であり、Ｎａ，Ｎｂ，Ｎｃ，Ｎｄは全ＳＤ画素に対応する輝度ＣＨのうち各輝度領域に含まれる個数を示している。この場合、個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄが略等しくなるように、輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが決定されることとなる。
【０２０４】
ここで、輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの意義について考えてみる。Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの順に、輝度ＣＨが大きくなることから、画面全体で同じ輝度を得るための係数データを用いてＳＤ画素データからＨＤ画素データを生成する場合、Ｒｄ側の輝度領域内の輝度ＣＨが検出される箇所ほど明るくなりすぎ、不適切な輝度となりやすい。図２０のａ，ｂ，ｃ，ｄは、それぞれＲａ，Ｒｂ，Ｒｃ，Ｒｄの輝度領域内の輝度ＣＨが検出される画面内の箇所を示している。各箇所における不適切な輝度となる度合い（破綻度合い）をｐa，ｐb，ｐc，ｐdとすると、ｐa＜ｐb＜ｐc＜ｐdの関係となる。
【０２０５】
領域検出部１４４Ｂは、輝度検出部１４１Ｂにおいてある垂直ブランキング期間に検出されて輝度メモリ１４２Ｂに格納された各ＳＤ画素に対応する輝度ＣＨを、続く垂直有効走査期間で順次取り出し、各ＳＤ画素に対応する輝度ＣＨが、上述した輝度領域決定部１４３Ａで決定された輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるかを検出し、その検出情報ＤＥＴを出力するものである。
【０２０６】
係数選択信号生成部１４５Ｂは、領域検出部１４４Ｂからの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＢの値とから、係数選択信号ＳＥＬを生成するものである。係数選択信号生成部１４５Ｂは、パラメータＢの各値に対応した、上述の輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄにおける輝度選択情報ＲＥＳが格納された格納手段としてのＲＯＭ１４６Ｂを持っている。図２１は、ＲＯＭ１４６Ｂ内に格納された輝度選択情報ＲＥＳを模式的に表している。
【０２０７】
この図において、「ａ」が記載された範囲（第１の範囲）では、輝度ＣＨが輝度領域Ｒａに含まれるときＲＥＳ＝１であり、輝度ＣＨが輝度領域Ｒｂ，Ｒｃ，Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ」が記載された範囲（第２の範囲）では、輝度ＣＨが輝度領域Ｒａ，Ｒｂに含まれるときＲＥＳ＝１であり、輝度ＣＨが輝度領域Ｒｃ，Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ，ｃ」が記載された範囲（第３の範囲）では、輝度ＣＨが輝度領域Ｒａ，Ｒｂ，Ｒｃに含まれるときＲＥＳ＝１であり、輝度ＣＨが輝度領域Ｒｄに含まれるときＲＥＳ＝０であることを意味し、「ａ，ｂ，ｃ，ｄ」が記載された範囲（第４の範囲）では、輝度ＣＨが輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるときでもＲＥＳ＝１であることを意味する。
【０２０８】
また、この図において、ｉ＜Ｂ≦（ｉ＋０．２５）は第１の範囲に該当し、（ｉ＋０．２５）＜Ｂ≦（ｉ＋０．５）は第２の範囲に該当し、（ｉ＋０．５）＜Ｂ≦（ｉ＋０．７５）は第３の範囲に該当し、（ｉ＋０．７５）＜Ｂ≦（ｉ＋１）は第４の範囲に該当する。ここで、ｉ＝０，１，・・・，７である。なお、Ｂ＝０であるときは、輝度ＣＨが輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるときでもＲＥＳ＝０である。
【０２０９】
係数選択信号生成部１４５Ｂは、領域検出部１４４Ｂからの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＢの値に対応した輝度選択情報ＲＥＳをＲＯＭ１４６Ｂより取り出し、この輝度選択情報ＲＥＳを係数選択信号ＳＥＬとして出力する。例えば、パラメータＢの値が０．４で、検出情報ＤＥＴが輝度ＣＨが輝度領域Ｒａに含まれていることを表しているとき、ＲＯＭ１４６ＢよりＳＥＬ＝１が取り出され、係数選択信号ＳＥＬとして１が出力される。
【０２１０】
この係数選択信号生成部１４５Ｂより出力される係数選択信号ＳＥＬが、係数選択回路１３３Ｂの出力ともなる。このように、係数選択回路１３３Ｂより出力される係数選択信号ＳＥＬは、上述したように係数メモリ１３１（図１７参照）に読み出しアドレス情報として供給される。係数メモリ１３１には上述したように情報メモリバンク１３２ＢからパラメータＢの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した係数データがロードされるが、ＳＥＬ＝０であるときは離散値ｍに対応した係数データが読み出し対象となり、ＳＥＬ＝１であるときは離散値ｍ＋１に対応した係数データが読み出し対象となる。
図１７に示す画像信号処理部１１０Ｂのその他は、図１に示す画像信号処理部１１０と同様に構成される。
【０２１１】
次に、画像信号処理部１１０Ｂの動作を説明する。
バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１２２で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。空間クラス検出回路１２４では、この空間クラスタップのデータに基づいて、クラス情報としての再量子化コードｑｉが得られる（（１）式参照）。
【０２１２】
また、バッファメモリ１０９に記憶されているＳＤ信号より、第３のタップ選択回路１２３で、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。動きクラス検出回路１２５では、この動きクラスタップのデータに基づいて、動きクラスのクラス情報ＭＶが得られる。
【０２１３】
このクラス情報ＭＶと上述した再量子化コードｑｉはクラス合成回路１２６に供給される。クラス合成回路１２６では、これらクラス情報ＭＶと再量子化コードｑｉとから、作成すべきＨＤ信号を構成する単位画素ブロック毎に、その単位画素ブロック内の４画素のデータ（注目位置の画素データ）が属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。このクラスコードＣＬは、係数メモリ１３１に読み出しアドレス情報として供給される。
【０２１４】
また、バッファメモリ１０９に記憶されているＳＤ信号より、係数選択回路１３３Ｂで、作成すべきＨＤ信号を構成する単位画素ブロック毎に、その単位画素ブロック内の４画素（注目位置の画素）に対応する係数選択信号ＳＥＬが生成される。
【０２１５】
すなわち、図１８に示すように、バッファメモリ１０９に記憶されるＳＤ信号（５２５ｉ信号）が係数選択回路１３３Ｂの輝度検出部１４１Ｂに供給され、この輝度検出部１４１Ｂでは各フィールドのＳＤ信号を構成するＳＤ画素毎に、輝度ＣＨが検出される。そして、輝度検出部１４１Ｂで、ある垂直ブランキング期間で検出される１フィールド分のＳＤ信号に対応する輝度ＣＨは輝度メモリ１４２Ｂに格納される。
【０２１６】
また、輝度領域決定部１４３Ｂにおいて、ある垂直ブランキング期間に輝度メモリ１４２Ｂに格納された１フィールド分のＳＤ信号に対応する輝度ＣＨが使用されて、全ＳＤ画素に対応する輝度ＣＨの最小値ＣＨminから最大値ＣＨmaxまでの範囲を４領域に分割して４つの輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄが決定される（図１９参照）。この場合、全ＳＤ画素に対応する輝度ＣＨのうち各輝度領域に含まれる個数が略等しくなるように４つの輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの範囲が決定される。
【０２１７】
そして、ある垂直ブランキング期間に輝度メモリ１４２Ｂに格納された１フィールド分のＳＤ信号が、続く垂直有効走査期間で順次取り出されて領域検出部１４４Ｂに供給され、各ＳＤ画素に対応する輝度ＣＨが、上述した輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄのいずれに含まれるかが検出される。この検出情報ＤＥＴは係数選択信号生成部１４５Ｂに供給される。
【０２１８】
この係数選択信号生成部１４５Ｂには、さらにシステムコントローラ１０１からパラメータＢが供給される。係数選択信号生成部１４５Ｂが持っているＲＯＭ１４６Ｂには、上述したように、パラメータＢの各値に対応した、輝度領域Ｒａ，Ｒｂ，Ｒｃ，Ｒｄにおける輝度選択情報ＲＥＳが格納されている。係数選択信号生成部１４５Ｂでは、領域検出部１４４Ｂからの検出情報ＤＥＴと、システムコントローラ１０１から供給されるパラメータＢの値に対応した輝度選択情報ＲＥＳがＲＯＭ１４６Ｂより取り出される。
【０２１９】
そして、この取り出された輝度選択情報ＲＥＳが、係数選択信号生成部１４５Ｂ、従って係数選択回路１３３Ｂの出力である係数選択信号ＳＥＬとなる。したがって、係数選択回路１３３Ｂからは、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック毎にその単位画素ブロック内の４画素（注目位置の画素）に対応する係数選択信号ＳＥＬが出力される。この係数選択信号ＳＥＬは、係数メモリ１３１に読み出しアドレス情報として供給される。
【０２２０】
係数メモリ１３１には、情報メモリバンク１３２Ｂから、パラメータＢの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データがロードされている。このような係数データのロード動作は、例えば、パラメータＢの値に変更があって、係数メモリ１３１に格納すべき係数データの変更が必要となる場合に行われる。
【０２２１】
係数メモリ１３１に上述したようにクラスコードＣＬおよび係数選択信号ＳＥＬが読み出しアドレス情報として供給されることで、この係数メモリ１３１からクラスコードＣＬに対応し、かつ係数選択信号ＳＥＬに対応した係数データｗｉが読み出されて推定予測演算回路１２７に供給される。この場合、ＳＥＬ＝０であるときは離散値ｍに対応した係数データが読み出され、ＳＥＬ＝１であるときは離散値ｍ＋１に対応した係数データが読み出される。
【０２２２】
また、第１のタップ選択回路１２１では、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この予測タップのデータｘｉは推定予測演算回路１２７に供給される。
【０２２３】
推定予測演算回路１２７では、予測タップのデータｘｉと、係数メモリ１３１より読み出される４画素分の係数データｗｉとから、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素のデータ（ＨＤ画素データ）ｙ₁〜ｙ₄がそれぞれ個別に演算される（（６）式参照）。そして、この推定予測演算回路１２７より順次出力される４画素のデータｙ₁〜ｙ₄は、後処理回路１２８に供給される。この後処理回路１２８は、推定予測演算回路１２７より順次出力される４画素のデータｙ₁〜ｙ₄を線順次化し、１０５０ｉ信号のフォーマットで出力する。つまり、この後処理回路１２８からは、ＨＤ信号としての１０５０ｉ信号が出力される。
【０２２４】
上述したように、係数メモリ１３１にはシステムコントローラ１０１より供給されるパラメータＢの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データが情報メモリバンク１３２Ｂよりロードされる。そのため、ユーザがリモコン送信機２００を操作してパラメータＢの値を変更すると、それに伴って係数メモリ１３１に格納される係数データも変更され、推定予測演算回路１２７ではＨＤ信号の画素データがパラメータＢの値に対応して生成される。したがって、ユーザは、パラメータＢの値を変更することで、ＨＤ信号による画像の輝度を所望の値に任意に調整できる。
【０２２５】
また、係数メモリ１３１に格納されるパラメータＢの値の近傍に位置する２つの離散値ｍ，ｍ＋１（ｍ＝０，１，・・・，７）に対応した各クラスの係数データのうち、推定予測演算回路１２７で実際にＨＤ信号の画素データを生成する際に使用する係数データが、係数選択回路１３３Ｂで生成される係数選択信号ＳＥＬに基づいて決定される。すなわち、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素（注目位置の画素）の輝度ＣＨが、不適切な輝度となる度合い（破綻度合い）がいかなる輝度領域に含まれるか、およびパラメータＢの値がｍからｍ＋１までのいずれにあるかに応じて、離散値ｍに対応した係数データを使用するか、離散値ｍ＋１に対応した係数データを使用するか決定される。因に、離散値ｍ＋１に対応した係数データは、離散値ｍに対応した係数データより、高い輝度を得るためのものである。
【０２２６】
例えば、パラメータＢの値がｍに近くなる程、輝度ＣＨが不適切な輝度となる度合い（破綻度合い）が低い輝度領域に含まれる場合だけ、離散値ｍ＋１に対応した係数データが使用される（図２１参照）。
【０２２７】
このように、全画面一様に同一の係数データを用いるものではなく、注目位置の輝度に応じて選択された係数データを用いて注目位置の画素データを生成するものである。これにより、パラメータＢの値を変更して輝度を調整する際に、不適切な輝度となる度合い（破綻度合い）が高い輝度領域に輝度ＣＨが含まれる箇所が、不適切な輝度となることを防止でき、ＨＤ信号による画像の画質の向上を図ることができる。
【０２２８】
例えば、図２４Ａに示すような画像を考える。この画像は、左側の犬が体色が濃いことと家の影に入っていることとが重なって見にくい状態になっている。このようなときに、輝度を高くするように調整した場合、最初は、図２４Ｃに示すように、暗いところのみが明るくなる。そのため、体色の濃い犬周辺だけで明るくなり、犬が見えやすくなる。この場合、画像全体が明るくならないので、画像全体が白っぽく不自然なものとなることがない。さらに輝度を高くしていくと、図２４Ｄに示すように、画像全体が明るく変化する。
【０２２９】
なお、上述実施の形態においては、説明を簡単にするため、輝度ＣＨの最小値ＣＨminから最大値ＣＨmaxまでの範囲を４領域に分割して４つの輝度領域Ｒａ〜Ｒｄを決定し（図１９参照）、またそれに対応してパラメータＢの各離散値の間を４つの範囲に分割した（図２１参照）ものを示したが、これらの個数は実際にはもっと多くされ、例えば１０とされる。
【０２３０】
また、上述実施の形態においては、全ＳＤ画素に対応する輝度ＣＨのうち各輝度領域に含まれる個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄが略等しくなるようにしたが、必ずしも等しくする必要はない。ただし、個数Ｎａ，Ｎｂ，Ｎｃ，Ｎｄを略等しくすることで、パラメータＢの値の変化に比例したＨＤ画像の輝度変化を期待できる。
【０２３１】
また、図１７の画像信号処理部１１０Ｂにおける処理も、例えば図１１に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。その場合の画像信号処理は、基本的には、上述の図１２に示すフローチャートに沿って行われる。
ただし、図１７の画像信号処理部１１０は画像の輝度を調整し得るものであることから、ステップＳＴ５では、パラメータＱの代わりに、ユーザがリモコン送信機２００を操作して入力したパラメータＢの値を例えばＲＡＭ３０３より読み込む。
【０２３２】
また、図１７の画像信号処理部１１０Ｂでは注目位置における特徴量として注目位置における輝度を用いるものであることから、ステップＳＴ７、ステップＳＴ１０における処理は以下のようになるが、その他のステップにおける処理は上述したと同様である。
【０２３３】
ステップＳＴ７では、ステップＳＴ２で入力された１フィールド分のＳＤ画素データより、各ＳＤ画素の輝度を求め、さらに各ＳＤ画素の輝度ＣＨを用いて、４つの輝度領域Ｒａ〜Ｒｄを決定する（図１９参照）。
【０２３４】
また、ステップＳＴ１０では、生成すべき各ＨＤ画素データ（注目位置の画素データ）に対応するＳＤ画素の輝度ＣＨが、上述の４つの輝度領域Ｒａ〜Ｒｄのいずれに含まれるかを検出する。
【０２３５】
また、図１７の画像信号処理部１１０Ｂにおける情報メモリバンク１３２Ｂに記憶される、パラメータＢの０，１，・・・，８の離散的な値に対応した各クラスの係数データｗｉは、図１０に示す係数データ生成装置１５０と同様の構成の係数データ生成装置により生成できる。その場合、ＳＤ信号生成回路１５２にはパラメータＱの代わりにパラメータＢを入力し、このパラメータＢの値によってＳＤ信号の輝度を段階的に変化させればよい。
【０２３６】
なお、上述実施の形態においては、ＨＤ信号を生成する際の推定式として線形一次方程式を使用したものを挙げたが、これに限定されるものではなく、例えば推定式として高次方程式を使用するものであってもよい。
【０２３７】
また、上述実施の形態においては、ＳＤ信号（５２５ｉ信号）をＨＤ信号（１０５０ｉ信号）に変換する例を示したが、この発明はそれに限定されるものでなく、推定式を使用して第１の画像信号を第２の画像信号に変換するその他の場合にも同様に適用できることは勿論である。
【０２３８】
また、上述実施の形態においては、情報信号が画像信号である場合を示したが、この発明はこれに限定されない。例えば、情報信号が音声信号である場合にも、この発明を同様に適用することができる。音声信号の場合、例えばパラメータの値により音量を調整するものにあって、特徴量検出手段で検出される特徴量を注目位置の音量とすることが考えられる。この場合、上述した図１７の画像信号処理部１１０Ｂにおける輝度と同様の関係となり、不適切な音量となる度合い（破綻度合い）が高い音量領域に音量が含まれる箇所が、音量が大きくなりすぎて不適切な音量となることを防止できる。
【０２３９】
また、この発明は、パラメータの値で調整される出力の質および検出される特徴量の対は上述実施の形態に限定されない。要は、第２の情報信号による出力の質を示すパラメータの値の他に、検出された注目位置にける特徴量をも参照して、第２の情報信号における注目位置の情報データを生成し、これにより第２の情報信号による出力に不適切な質となる箇所が発生することを防止することにある。
【０２４０】
【発明の効果】
この発明によれば、解像度創造の手法を用いて第１の情報信号を、当該第１の情報信号より高解像度な第２の情報信号に変換する際に、第２の情報信号の注目位置における特徴量を検出し、第２の情報信号による出力の質を示すパラメータの他に、検出された特徴量をも参照して、第２の情報信号における注目位置の情報データを生成するものであり、第２の情報信号による出力に不適切な質となる箇所が発生することを防止することができる。
【図面の簡単な説明】
【図１】実施の形態としてのテレビ受信機の構成を示すブロック図である。
【図２】係数選択回路の構成を示すブロック図である。
【図３】特徴量を構成するダイナミックレンジＤＲの説明に供する図である。
【図４】特徴量を構成するアクティビティＡＣＴの説明に供する図である。
【図５】ダイナミックレンジとアクティビティの検出部分のモデルを示す図である。
【図６】１フィールドの全ＳＤ画素に対応する特徴量のヒストグラムモデルを示す図である。
【図７】画面内の各特徴量領域内の箇所と破綻度合いの一例を示す図である。
【図８】係数選択信号生成部が持つＲＯＭ内の解像度選択情報を模式的に表した図である。
【図９】解像度を示すパラメータＱの値の変化に対する、画面内の各箇所で使用される係数データの変化を説明するための図である。
【図１０】係数データ生成装置の構成を示すブロック図である。
【図１１】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図１２】画像信号処理の手順を示すフローチャートである。
【図１３】他の実施の形態としてのテレビ受信機の構成を示すブロック図である。
【図１４】係数選択回路の構成を示すブロック図である。
【図１５】１フィールドの全ＳＤ画素に対応する動き量のヒストグラムモデルを示す図である。
【図１６】画面内の各動き量領域内の箇所と破綻度合いの一例を示す図である。
【図１７】他の実施の形態としてのテレビ受信機の構成を示すブロック図である。
【図１８】係数選択回路の構成を示すブロック図である。
【図１９】１フィールドの全ＳＤ画素に対応する輝度のヒストグラムモデルを示す図である。
【図２０】画面内の各輝度領域内の箇所と破綻度合いの一例を示す図である。
【図２１】係数選択信号生成部が持つＲＯＭ内の輝度選択情報を模式的に表した図である。
【図２２】動きボケを説明するためのモデル図である。
【図２３】大きな物体の動きボケを説明するためのモデル図である。
【図２４】明るさ調整時の画像変化を説明するための図である。
【図２５】５２５ｉ信号と１０５０ｉ信号の画素位置関係を説明するための図である。
【符号の説明】
１００，１００Ａ，１００Ｂ・・・テレビ受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ、１０９・・・バッファメモリ、１１０，１１０Ａ，１１０Ｂ・・・画像信号処理部、１１１・・・ディスプレイ部、１２１・・・第１のタップ選択回路、１２２・・・第２のタップ選択回路、１２３・・・第３のタップ選択回路、１２４，１２４Ａ・・・空間クラス検出回路、１２５・・・動きクラス検出回路、１２６・・・クラス合成回路、１２７・・・推定予測演算回路、１２８・・・後処理回路、１３１・・・係数メモリ、１３２・・・情報メモリバンク、１３３，１３３Ａ，１３３Ｂ・・・係数選択回路、１４１・・・特徴量検出部、１４１Ａ・・・動き量検出部、１４１Ｂ・・・輝度検出部、１４２・・・特徴量メモリ、１４２Ａ・・・動き量メモリ、１４２Ｂ・・・輝度メモリ、１４３・・・特徴量領域決定部、１４３Ａ・・・動き量領域決定部、１４３Ｂ・・・輝度領域決定部、１４４，１４４Ａ，１４４Ｂ・・・領域検出部、１４５，１４５Ａ，１４５Ｂ・・・係数選択信号生成部、１５０・・・係数データ生成装置、１５１・・・入力端子、１５２・・・ＳＤ信号生成回路、１５３・・・第１のタップ選択回路、１５４・・・第２のタップ選択回路、１５５・・・第３のタップ選択回路、１５７・・・空間クラス検出回路、１５８・・・動きクラス検出回路、１５９・・・クラス合成回路、１６０・・・正規方程式生成部、１６１・・・係数データ決定部、１６２・・・係数メモリ、２００・・・リモコン送信機、３００・・・画像信号処理装置[0001]
BACKGROUND OF THE INVENTION
The present invention can be applied, for example, when converting an NTSC video signal to a high-definition video signal, etc., and an information signal processing apparatus, an information signal processing method, and an image using the same processing apparatus And image processing method And information signal processing method Or image processing method And a computer-readable medium storing the program.
[0002]
Specifically, when converting the first information signal to the second information signal using the resolution creation method, the feature amount of the target position in the second information signal is detected, and the output of the second information signal is output. In addition to the parameter indicating the quality, the detected feature value is also referred to to generate the information data of the target position in the second information signal, so that the quality becomes inappropriate for the output by the second information signal. The present invention relates to an information signal processing device or the like that prevents the occurrence of a location.
[0003]
[Prior art]
Conventionally, for example, a format conversion for converting an SD (Standard Definition) signal called a 525i signal into an HD (High Definition) signal called a 1050i signal has been proposed. The 525i signal means an interlaced image signal having 525 lines, and the 1050i signal means an interlaced image signal having 1050 lines.
[0004]
FIG. 25 shows the pixel position relationship between the 525i signal and the 1050i signal. Here, a large dot is a pixel of a 525i signal, and a small dot is a pixel of a 1050i signal. In addition, pixel positions in odd fields are indicated by solid lines, and pixel positions in even fields are indicated by broken lines. When converting a 525i signal to a 1050i signal, it is necessary to obtain four pixels of the 1050i signal corresponding to one pixel of the 525i signal in each of the odd and even fields.
[0005]
Conventionally, in order to perform the format conversion as described above, the applicant first corresponds to the phase of each pixel of the 1050i signal with respect to the pixel of the 525i signal when obtaining the pixel data of the 1050i signal from the pixel data of the 525i signal. It has been proposed to use a resolution creation technique in which coefficient data of the estimated expression is stored in a memory, and pixel data of a 1050i signal is obtained by the estimated expression using the coefficient data.
[Patent Document 1]
JP 2001-238185 A
[0006]
[Problems to be solved by the invention]
As described above, when the pixel data of the 1050i signal is obtained by the estimation formula, the resolution of the image by the 1050i signal is fixed, and it is desired depending on the image content and the like as in the conventional adjustment of contrast and sharpness. The resolution could not be achieved.
Therefore, the present applicant has previously proposed an image signal conversion device or the like that allows the user to arbitrarily adjust the image resolution to a desired value ( Patent Document 1 reference).
[0007]
However, in this case, the coefficient data corresponding to the adjusted resolution is used uniformly over the entire screen, and there are a portion having an appropriate resolution and a portion having an inappropriate resolution.
For example, there are cases where the resolution is appropriate and where the resolution is not appropriate at a location where the amount of high-frequency components is small and a location where the amount of high-frequency components is large.
[0008]
Further, for example, there are cases where the resolution is appropriate and where the resolution is not appropriate at a place where there is movement and a place where there is no movement. In the following, motion blur that occurs in places where there is motion will be described.
FIG. 22 shows a motion blur model. In FIG. 22, v indicates the vertical direction, and h indicates the horizontal direction.
[0009]
In the case of no movement shown in FIG. 22A, the object (black square) is clearly visible, and when the pixel values are graphed, the edges are steep (the black color in the figure indicates that some luminance value exists there). Represents).
The case where the object starts moving at a certain speed is the case where the movement is small as shown in FIG. 22B. Blurring due to movement occurs because the object is moving. When the pixel values are viewed in a graph, the edges become gentle as shown in the figure, and the image is also blurred in the movement direction. This blur depends on the amount of motion, that is, the speed of the object.
[0010]
Next, consider the case where the object moves faster. This is the case of the large movement shown in FIG. 22C (left side). As the speed of the object increases, the object becomes increasingly blurred, and when the pixel values are viewed in a graph, the edges become smoother as shown in the figure. This is caused by a change in the charge or film accumulated for a certain period of time divided by the shutter and device characteristics as a pixel value, and is a distortion caused by the amount of movement.
[0011]
Here, it is considered that resolution creation is performed on an animal that has such motion blur. In the resolution creation, a process of increasing the pixel density and restoring the limited band is performed.
As a result, a graph stands as shown in FIG. 22C (right side). Of course, that is sufficient for the stationary part. However, in the moving part, the amount of motion blur that occurs naturally due to the movement is changed as a result, and an unnatural image is created.
[0012]
Also, consider a case where a very large object is moving as shown in FIG. 23A. In this case, when the resolution creation is performed, a gradation that does not appear in the stationary portion is generated. That is, when the tap range of the prediction tap is not sufficient, resolution creation processing is performed at the location, and the waveform may be changed to a waveform as shown in FIG. 23B.
[0013]
In addition, in the resolution creation, it is also conceivable to arbitrarily adjust the luminance of the image in the same manner as described above for arbitrarily adjusting the resolution of the image. In this case, coefficient data corresponding to the adjusted brightness is used uniformly over the entire screen, and there are places where the brightness is appropriate and places where the brightness is inappropriate.
[0014]
For example, consider an image as shown in FIG. In this image, the dog on the left has a dark body color and is in the shadow of the house, making it difficult to see. In such a case, when the brightness is adjusted to be high, as shown in FIG. 24B, the entire image becomes brighter on one side, so that the brightness is increased not only around the dark-colored dog but also on the ground or roof. Even if it is not necessary, a sufficiently visible area is brightened, and the entire image becomes whitish and unnatural.
[0015]
It should be noted that the same thing as the adjustment of the brightness of the image also occurs when the volume is adjusted in the creation of the resolution of the audio signal. That is, when coefficient data corresponding to the adjusted sound volume is used uniformly throughout the entire section, there are a section having an appropriate volume and a section having an inappropriate volume. In other words, if the volume is adjusted to be high, the volume will increase in all sections, so the volume will increase not only in sections where the volume is low, but also in sections where there is sufficient volume without increasing the volume. The high part is difficult to hear.
[0016]
Accordingly, an object of the present invention is to provide an information signal processing device and the like that can prevent occurrence of a location having an inappropriate quality for output by an information signal obtained by a resolution creation technique.
[0017]
[Means for Solving the Problems]
The information signal processing apparatus according to the present invention provides a first information signal comprising a plurality of information data, Concerned First information signal More information An information signal processing device for converting to a second information signal, wherein a first information data is selected from a plurality of first information data located around a target position in the second information signal from the first information signal. A plurality of first information data selected by the data selection means and the first data selection means; Perform a predetermined operation on Calculated A feature value , Indicates at least one of the value obtained from the activity and dynamic range of the predetermined pixel value, brightness, amount of movement, and volume The feature amount detecting means for detecting the feature amount at the position of interest and the magnitude of the output by the second information signal are shown. Corresponding to the above features Parameter input means for inputting parameter values from the outside, the feature quantity detected by the feature quantity detection means, and the attention value in the second information signal corresponding to the parameter value inputted to the parameter input means Information data generation means for generating position information data, wherein the information data generation means is calculated in advance for each of a plurality of representative sizes corresponding to the parameter values input to the parameter input means, Coefficient data candidate generating means for generating coefficient data candidates that are candidates for coefficient data of an estimation formula for estimating the second information signal by substituting the first information signal and performing a product-sum operation; Based on the feature quantity detected by the quantity detection means and the parameter value input to the parameter input means, one of the plurality of representative sizes is large. A size specifying means for specifying the size, and a coefficient data selecting means for selecting coefficient data corresponding to the size specified by the size specifying means from the coefficient data candidates generated by the coefficient data candidate generating means And a second data selection means for selecting a plurality of first information data located around the position of interest in the second information signal from the first information signal, and a selection by the second data selection means Computing means for calculating the information data of the position of interest based on the estimation formula using the plurality of first information data and the coefficient data selected by the coefficient data selection means, The size specifying unit detects a feature amount region including the feature amount detected by the feature amount detection unit from among a plurality of feature amount regions determined based on the feature amount detected over the entire screen. Output means; storage means for storing size selection information in the plurality of feature amount regions corresponding to each value of the parameter; parameter values input from the storage means to the parameter input means; and the detection means And a specifying means for taking out the size selection information corresponding to the feature amount area detected in step (b) and specifying the one size based on the size selection information.
[0019]
Moreover, the information signal processing method according to the present invention provides a first information signal comprising a plurality of information data, Concerned First information signal More information An information signal processing method for converting to a second information signal, the first information signal selecting a plurality of first information data located around a position of interest in the second information signal from the first information signal Step and a plurality of values of the first information data selected in the first step Perform a predetermined operation on Calculated A feature value , Indicates at least one of the value obtained from the activity and dynamic range of the predetermined pixel value, brightness, amount of movement, and volume A second step of detecting a feature amount at the position of interest and a magnitude of output by the second information signal; Corresponding to the above features A third step of acquiring a parameter value from the outside, a feature amount detected in the second step, and a parameter value acquired in the third step, in the second information signal A fourth step of generating information data of the target position, and the fourth step is calculated in advance for each of a plurality of representative sizes corresponding to the parameter values acquired in the third step. Generating a coefficient data candidate that is a candidate of coefficient data of an estimation formula for estimating the second information signal by substituting the first information signal and performing a product-sum operation; and A sixth step of identifying one of the plurality of representative sizes based on the feature value detected in the second step and the parameter value acquired in the third step; First A seventh step of selecting coefficient data corresponding to the size specified in the sixth step from among the coefficient data candidates generated in the step of the second step, and the second information from the first information signal. An eighth step of selecting a plurality of first information data located around a target position in the signal; a plurality of first information data selected in the eighth step; and the seventh step. And the ninth step of calculating the information data of the target position based on the estimation formula using the coefficient data, and the sixth step includes the feature amount detected over the entire screen. A tenth step of detecting a feature amount region including the feature amount detected in the second step among a plurality of feature amount regions determined based on the above, and corresponding to each value of the parameter, Multiple The eleventh step of storing size selection information in the feature amount region, the value of the parameter acquired in the third step, and the size selection information corresponding to the feature amount region detected in the tenth step are extracted, And a twelfth step of specifying the one size based on the size selection information.
[0020]
The image processing apparatus according to the present invention converts the input first image signal composed of a plurality of pixel data into a second image signal having a higher resolution than the first image signal composed of a plurality of pixel data. Output image signal processing apparatus, the resolution of the image by the second image signal Or brightness Parameter input means for inputting a parameter value indicative of the first, and a plurality of first pixel data located around the position of interest in the second image signal from the first image signal A plurality of first pixel data values selected by the data selection means and the first data selection means; Perform the prescribed calculation Calculated A feature value , Indicates at least one of the value obtained from the activity and dynamic range of the predetermined pixel value, brightness, and amount of motion Feature quantity detection means for detecting a feature quantity at the target position, feature quantity detected by the feature quantity detection means, and input to the parameter input means Given above Corresponding to the parameter value, pixel data generating means for generating pixel data at the position of interest in the second image signal, and the pixel data generating means sets the parameter value input to the parameter input means to It is calculated in advance for each of a plurality of corresponding representative resolutions and is a candidate for coefficient data of an estimation formula for estimating the second image signal by substituting the first image signal and performing a product-sum operation. One of the plurality of representative resolutions based on the coefficient data candidate generating means for generating coefficient data candidates, the feature amount detected by the feature amount detecting means, and the parameter value input to the parameter input means. From the resolution specifying means for specifying one resolution and the coefficient data candidates generated by the coefficient data candidate generating means, the resolution specified by the resolution specifying means is selected. Coefficient data selecting means for selecting corresponding coefficient data, and second data selecting means for selecting a plurality of first pixel data located around the position of interest in the second image signal from the first image signal And using the plurality of first pixel data selected by the second data selection unit and the coefficient data selected by the coefficient data selection unit, the pixel data of the target position is calculated based on the estimation formula. A calculation means for calculating, and the resolution specifying means is a feature detected by the feature quantity detection means among a plurality of feature quantity areas determined based on the feature quantity detected over the entire screen. Detecting means for detecting a feature quantity region including the quantity; storage means for storing resolution selection information in the plurality of feature quantity areas corresponding to each value of the parameter; and And specifying means for extracting resolution selection information corresponding to the value of the parameter input to the data input means and the feature amount area detected by the detection means, and specifying the one resolution based on the resolution selection information Is.
The image processing method according to the present invention converts a first image signal composed of a plurality of input pixel data into a second image signal having a higher resolution than the first image signal composed of a plurality of pixel data. In the image signal processing method to be output, the resolution of the image by the second image signal Or brightness And a second step of selecting a plurality of first pixel data located around the position of interest in the second image signal from the first image signal. And a plurality of first pixel data values selected in the second step Perform a predetermined operation on Calculated A feature value , Indicates at least one of the value obtained from the activity and dynamic range of the predetermined pixel value, brightness, and amount of motion A third step of detecting a feature amount at the target position, a feature amount detected in the third step, and the first step Given above A fourth step of generating pixel data of the target position in the second image signal corresponding to the parameter value, and the fourth step includes the parameter value acquired in the first step. Is calculated in advance for each of a plurality of representative resolutions corresponding to, and is a coefficient data candidate of an estimation formula for estimating the second image signal by substituting the first image signal and performing a product-sum operation. Based on the fifth step of generating a certain coefficient data candidate, the feature amount detected in the third step, and the parameter value acquired in the first step, one of the plurality of representative resolutions is selected. A sixth step of specifying one resolution and a seventh step of selecting coefficient data corresponding to the resolution specified in the sixth step from the coefficient data candidates generated in the fifth step. Selected in the eighth step and the eighth step of selecting a plurality of first pixel data located around the target position in the second image signal from the first image signal. Using a plurality of first pixel data and the coefficient data selected in the seventh step, calculating a pixel data of the target position based on the estimation formula, Step 6 detects a feature quantity region including a feature quantity detected by the feature quantity detection means from among a plurality of feature quantity areas determined based on the feature quantity detected over the entire screen. A tenth step, an eleventh step for storing resolution selection information in the plurality of feature amount regions corresponding to each value of the parameter, a parameter value obtained in the first step, and the tenth step The resolution selection information corresponding to the detected feature quantity region in step extraction and has a twelfth step of identifying said one resolution based on the resolution selection information.
[0021]
The program according to the present invention is the above-described information signal processing method. Or image processing method Is to make the computer execute. A computer-readable medium according to the present invention records the above-described program.
[0022]
In the present invention, a plurality of first information data located around a target position in the second information signal is extracted based on the first information signal, and the target information is extracted based on the plurality of first information data. A feature value at the position is detected.
[0023]
For example, the information signal is an image signal, and the feature amount is a feature amount related to a high-frequency component amount around the position of interest. This feature amount is obtained, for example, using the sum of absolute values of adjacent pixels in the plurality of first information data (pixel data) and the dynamic range in the plurality of first information data. Further, for example, the information signal is an image signal, and the feature amount is a motion amount or luminance at the position of interest. Further, for example, the information signal is an audio signal, and the feature amount is a volume at the position of interest.
[0024]
The parameter input means receives a parameter value indicating the output quality of the second information signal. For example, as described above, when the feature amount is a feature amount related to the high-frequency component amount around the target position, the value of the parameter indicates the resolution of the image by the second information signal. For example, as described above, when the feature amount is a motion amount at the position of interest, the value of the parameter indicates the resolution of the image based on the second information signal. For example, as described above, when the feature value is the luminance at the target position, the value of the parameter indicates the luminance of the image based on the second information signal. For example, as described above, when the feature amount is the sound volume at the position of interest, the value of the parameter indicates the sound volume of the second information signal.
[0025]
Then, information data of a target position in the second information signal is generated corresponding to the above-described feature amount and parameter value. For example, information data is generated as follows.
[0026]
That is, coefficient data candidates that are candidates for coefficient data of the estimation formula are generated for a plurality of representative qualities corresponding to the parameters (the qualities are resolution, luminance, volume, etc.). For example, when the value of the parameter is between the discrete first value and the second value, the coefficients of the two estimation formulas for obtaining the quality corresponding to the first value and the second value Data is generated as candidate coefficient data.
[0027]
Then, one quality among a plurality of representative qualities is specified based on the feature value and the parameter value. For example, quality selection information in a plurality of feature amount regions corresponding to respective values of the parameters is stored in the storage means, and the quality is specified using this. For example, when the quality corresponding to the second value described above is higher than the quality corresponding to the first value, the smaller the feature amount, the higher the probability of being identified as the second quality even if the parameter value is small. .
[0028]
Then, coefficient data corresponding to the specified quality is selected from the coefficient data candidates. Based on the estimation formula using the coefficient data selected in this way and a plurality of second information data located around the position of interest in the second information signal selected based on the first information signal Thus, the information data of the position of interest in the second information signal is calculated.
[0029]
As described above, when the second information signal is obtained from the first information signal by the resolution creation method, a plurality of coefficient data candidates corresponding to the parameter value are obtained based on the feature amount related to the target position in the second information signal. Thus, one coefficient data is selected and used, and it is possible to prevent occurrence of a portion having an inappropriate quality for output by the second information signal.
[0030]
For example, when the feature amount is a feature amount related to the high-frequency component amount around the position of interest, the feature amount increases in the high-frequency region surrounded by the contour of the image and the low-frequency region of the image. When doing so, it is possible to prevent an inappropriate resolution in the area. Also, for example, when the feature amount is the amount of motion at the position of interest, the amount of motion increases at the moving portion of the image, but it is possible to prevent an inappropriate resolution at the moving portion when adjusting the resolution. Further, for example, when the feature amount is the luminance at the target position, the feature amount increases in the high luminance region, but it is possible to prevent the luminance from being excessively high in the high luminance region when adjusting the luminance. Further, for example, when the feature amount is the volume at the position of interest, the feature amount increases in a region with a high volume, but when adjusting the volume, it is possible to prevent the volume from becoming too high in the region with a high volume.
[0031]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 shows a configuration of a television receiver 100 as an embodiment. The television receiver 100 obtains an SD signal called a 525i signal from a broadcast signal, converts the 525i signal into an HD signal called a 1050i signal, and displays an image based on the 1050i signal.
[0032]
The television receiver 100 includes a microcomputer, and includes a system controller 101 for controlling the operation of the entire system, and a remote control signal receiving circuit 102 that receives a remote control signal. The remote control signal receiving circuit 102 is connected to the system controller 101, receives a remote control signal RM output from the remote control transmitter 200 according to a user operation, and supplies an operation signal corresponding to the signal RM to the system controller 101. Is configured to do.
[0033]
Further, the television receiver 100 is supplied with a receiving antenna 105 and a broadcast signal (RF modulation signal) captured by the receiving antenna 105, and performs a channel selection process, an intermediate frequency amplification process, a detection process, and the like to generate an SD signal ( The tuner 106 for obtaining the 525i signal) and the buffer memory 109 for temporarily storing the SD signal output from the tuner 106 are provided.
[0034]
Further, the television receiver 100 converts the SD signal (525i signal) temporarily stored in the buffer memory 109 into an HD signal (1050i signal), and an output from the image signal processing unit 110. A display unit 111 for displaying an image based on the HD signal, an OSD (On Screen Display) circuit 112 for generating a display signal SCH for displaying characters, figures, etc. on the screen of the display unit 111; It has a synthesizer 113 for synthesizing the display signal SCH with the HD signal output from the image signal processing unit 110 and supplying it to the display unit 111. The display unit 111 is configured by a flat panel display such as a CRT (cathode-ray tube) display or an LCD (liquid crystal display).
[0035]
The operation of the television receiver 100 shown in FIG. 1 will be described.
The SD signal (525i signal) output from the tuner 106 is supplied to the buffer memory 109 and temporarily stored. The SD signal temporarily stored in the buffer memory 109 is supplied to the image signal processing unit 110 and converted into an HD signal (1050i signal). That is, the image signal processing unit 110 generates pixel data (hereinafter referred to as “HD pixel data”) that constitutes an HD signal from pixel data (hereinafter referred to as “SD pixel data”) that constitutes an SD signal. The HD signal output from the image signal processing unit 110 is supplied to the display unit 111, and an image based on the HD signal is displayed on the screen of the display unit 111.
[0036]
In addition, the user can adjust the resolution of the image displayed on the screen of the display unit 111 by operating the remote control transmitter 200. For example, in the resolution selection mode, the value of the parameter Q indicating the resolution supplied from the system controller 101 to the image signal processing unit 110 by pressing the up key and the down key or rotating the knob such as a jog dial. Can be changed.
[0037]
As will be described later, in the image signal processing unit 110, the HD pixel data is calculated by an estimation formula. As the coefficient data of the estimation formula, data corresponding to the value of the parameter Q described above is used. Thereby, the resolution of the image by the HD signal output from the image signal processing unit 110 corresponds to the value of the parameter Q.
[0038]
In the state where the value of the parameter Q is changed by the user's operation of the remote control transmitter 200, the value of the parameter Q is displayed on the screen of the display unit 111. Although not shown here, this display is performed using numerical values or bar graphs. The user can change the value of the parameter Q with reference to this display.
[0039]
Thus, when displaying the value of the parameter Q on the screen, the system controller 101 supplies display data to the OSD circuit 112. The OSD circuit 112 generates a display signal SCH based on the display data, and supplies the display signal SCH to the display unit 111 via the synthesizer 113.
[0040]
Next, details of the image signal processing unit 110 will be described. The image signal processing unit 110 selectively extracts data of a plurality of SD pixels located around the target position in the HD signal (1050i signal) from the SD signal (525i signal) stored in the buffer memory 109. The first to third tap selection circuits 121 to 123 for outputting are provided.
[0041]
The first tap selection circuit 121 selectively extracts data of SD pixels (referred to as “prediction taps”) used for prediction. The second tap selection circuit 122 selectively extracts data of SD pixels (referred to as “space class taps”) used for class classification corresponding to the level distribution pattern of the SD pixel data. The third tap selection circuit 123 selectively extracts data of SD pixels (referred to as “motion class taps”) used for class classification corresponding to motion. When the space class is determined using SD pixel data belonging to a plurality of fields, motion information is also included in this space class.
[0042]
Further, the image signal processing unit 110 detects the level distribution pattern of the space class tap data (SD pixel data) selectively extracted by the second tap selection circuit 122, and determines the space class based on the level distribution pattern. It has a spatial class detection circuit 124 that detects and outputs the class information.
[0043]
In the space class detection circuit 124, for example, an operation is performed to compress each SD pixel data from 8-bit data to 2-bit data. The space class detection circuit 124 outputs compressed data corresponding to each SD pixel data as class information of the space class. In the present embodiment, data compression is performed by ADRC (Adaptive Dynamic Range Coding). As the information compression means, DPCM (predictive coding), VQ (vector quantization), or the like may be used in addition to ADRC.
[0044]
Originally, ADRC is an adaptive requantization method developed for high-performance coding for VTR (Video Tape Recorder), but it can efficiently express a local pattern of signal level with a short word length. It is suitable for use in data compression. When ADRC is used, the maximum value of space class tap data (SD pixel data) is MAX, the minimum value is MIN, the dynamic range of space class tap data is DR (= MAX−MIN + 1), and the number of requantization bits Is P, the re-quantized code qi as the compressed data is obtained as the class information of the space class for each SD pixel data ki as the space class tap data by the calculation of the equation (1). However, in the expression (1), [] means a truncation process. When there are Na SD pixel data as the space class tap data, i = 1 to Na.
qi = [(ki-MIN + 0.5). 2 ^P / DR] (1)
[0045]
The image signal processing unit 110 detects a motion class mainly representing the degree of motion from the motion class tap data (SD pixel data) selectively extracted by the third tap selection circuit 123, and A motion class detection circuit 125 that outputs class information is provided.
[0046]
In the motion class detection circuit 125, the inter-frame difference is calculated from the motion class tap data (SD pixel data) mi, ni selectively extracted by the third tap selection circuit 123, and the average of absolute values of the differences is calculated. Threshold processing is performed on the value to detect a motion class that is an index of motion. That is, in the motion class detection circuit 125, the average value AV of the absolute value of the difference is calculated by the equation (2). When the third tap selection circuit 123 extracts, for example, six SD pixel data m1 to m6 and six SD pixel data n1 to n6 one frame before as class tap data, equation (2) Nb in is 6.
[0047]
[Expression 1]

[0048]
Then, in the motion class detection circuit 125, the average value AV calculated as described above is compared with one or a plurality of threshold values to obtain class information MV of the motion class. For example, when three threshold values th1, th2, th3 (th1 <th2 <th3) are prepared and four motion classes are detected, MV = 0 when AV ≦ th1, and th1 <AV ≦ th2. MV = 1, MV = 2 when th2 <AV ≦ th3, and MV = 3 when th3 <AV.
[0049]
Also, the image signal processing unit 110 is based on the requantization code qi as the class information of the space class output from the space class detection circuit 124 and the class information MV of the motion class output from the motion class detection circuit 125. A class synthesis circuit 126 is provided for obtaining a class code CL indicating a class to which pixel data (pixel data of the target position) of the HD signal (1050i signal) to be created belongs.
[0050]
In the class synthesis circuit 126, the calculation of the class code CL is performed by the equation (3). In equation (3), Na represents the number of space class tap data (SD pixel data), and P represents the number of requantization bits in ADRC.
[0051]
[Expression 2]

[0052]
The image signal processing unit 110 has a coefficient memory 131. The coefficient memory 131 stores coefficient data of an estimation formula used in an estimated prediction calculation circuit 127 described later. The coefficient data is information used when an SD signal (525i signal) is converted into an HD signal (1050i signal). The coefficient memory 131 is supplied with a class code CL output from the class synthesis circuit 126 and a coefficient selection signal SEL output from a coefficient selection circuit 133 described later as read address information. Coefficient data wi corresponding to the class code CL and the coefficient selection signal SEL is read from the coefficient memory 131 and supplied to the estimated prediction calculation circuit 127.
[0053]
The image signal processing unit 110 includes an information memory bank 132. In the present embodiment, the parameter Q can be changed between 0 and 8. In the information memory bank 132, coefficient data of each class at nine resolutions corresponding to the discrete values 0, 1,..., 8 of the parameter Q are stored in advance. Here, it is assumed that the resolution increases as the value of the parameter Q increases. A method of generating coefficient data corresponding to these nine resolutions will be described later.
[0054]
As described above, when the 525i signal is converted into the 1050i signal, it is necessary to obtain four pixels of the 1050i signal corresponding to one pixel of the 525i signal in each of the odd and even fields. Therefore, a certain class of coefficient data at a certain resolution is composed of coefficient data corresponding to four pixels in a 2 × 2 unit pixel block constituting a 1050i signal in each of odd and even fields. The four pixels in the 2 × 2 unit pixel block have different phase relationships corresponding to the pixels of the 525i signal.
[0055]
As described above, the user supplies the image signal processing unit 110 from the system controller 101 by pressing the up key and the down key or rotating a knob such as a jog dial in the operation unit of the remote control transmitter 200. The value of the parameter Q to be changed can be changed. The parameter Q is supplied to the information memory bank 132, and two discrete values m, m + 1 (m = 0, 1,...) Located in the vicinity of the value of the parameter Q are supplied from the information memory bank 132 to the coefficient memory 131. .., 7) corresponding to each class of coefficient data is loaded.
[0056]
That is, when 0 ≦ Q ≦ 1, the coefficient data of each class corresponding to Q = 0,1 is equal to the coefficient data of each class corresponding to Q = 1,2 when 1 <Q ≦ 2. When 2 <Q ≦ 3, the coefficient data of each class corresponding to Q = 2 and 3 is 3 <Q ≦ 4, and when 3 <Q ≦ 4, the coefficient data of each class corresponding to Q = 3 and 4 is 4 < When Q ≦ 5, the coefficient data of each class corresponding to Q = 4, 5 is 5 <Q ≦ 6. When 5 <Q ≦ 6, the coefficient data of each class corresponding to Q = 5, 6 is 6 <Q ≦ When 7 is satisfied, coefficient data of each class corresponding to Q = 6, 7 is obtained from the information memory bank 132, and when 7 <Q ≦ 8, coefficient data of each class corresponding to Q = 7, 8 is obtained from the information memory bank 132. It is loaded into the memory 131.
[0057]
In addition, the image signal processing unit 110 includes a coefficient selection circuit 133 that generates a coefficient selection signal SEL. The coefficient selection signal SEL is supplied to the coefficient memory 131 as read address information as described above, and is loaded into two discrete values of the parameter Q loaded from the information memory bank 132 and stored in the coefficient memory 131. This is used to select one coefficient data among the corresponding coefficient data.
[0058]
FIG. 2 shows the configuration of the coefficient selection circuit 133. The coefficient selection circuit 133 includes a feature amount detection unit 141, a feature amount memory 142, a feature amount region determination unit 143, a region detection unit 144, and a coefficient selection signal generation unit 145.
[0059]
The feature amount detection unit 141 detects the feature amount CH for each SD pixel constituting the SD signal (525i signal) of each field temporarily stored in the buffer memory 109. In the present embodiment, the feature amount CH corresponding to a certain SD pixel (target pixel) is a value obtained by taking the square root of the product of the dynamic range DR and the activity ACT in a block of a predetermined size centered on the SD pixel ( √ (DR × ACT) The block size is, for example, 5 × 5.
[0060]
As shown in FIG. 3, the dynamic range DR is data of 25 SD pixels included in a 5 × 5 block centered on the pixel of interest. _{i-2, j + 2} ~ X _{i + 2, j-2} In this case, when the maximum value is MAX and the minimum value is MIN, it is defined by equation (4). In FIG. 3, the coordinates of the pixel of interest are (i, j).
DR = MAX-MIN (4)
[0061]
In the activity ACT, as shown in FIG. 4, the coordinate of the pixel of interest is (i, j), and the data of 25 SD pixels included in a 5 × 5 block centered on the pixel of interest is x _{i-2, j + 2} ~ X _{i + 2, j-2} Is defined by equation (5). Where i ₁ = I-2, ..., i + 1, i ₂ = I-2, ..., i + 2, j ₁ = J-2,..., J + 2, j ₂ = J-2, ..., j + 1.
[0062]
[Equation 3]

[0063]
FIG. 5 shows a model of the detection part by the dynamic range DR and activity ACT. When the dynamic range DR is used, the outline of the image is detected as indicated by the bold line at the upper right in FIG. On the other hand, when the activity ACT is used, a high frequency region surrounded by a low frequency region of an image is detected as indicated by a thick line at the lower right in FIG. Since the feature amount CH is defined by √ (DR × ACT) as described above, when this feature amount CH is used, both the contour of the image and the high frequency region surrounded by the low frequency region of the image are detected. It will be.
[0064]
As described above, when a 525i signal is converted into a 1050i signal, in the odd and even fields, corresponding to one pixel of the 525i signal, four pixels of the 1050i signal are obtained by an estimation formula using the target pixel. is there. Therefore, the feature amount detection unit 141 detects the feature amount CH corresponding to each pixel constituting the SD signal (525i signal) means that each of the four pixels (target pixel) constituting the HD signal (1050i signal). That is, the feature amount CH related to the high-frequency component amount in the vicinity of is detected.
[0065]
The feature amount detection unit 141 performs a feature amount CH detection process on an SD signal in a field stored in the buffer memory 109, for example, in a vertical blanking period. The feature amount memory 142 stores a feature amount CH corresponding to each SD pixel for one field detected in a certain vertical blanking period in the feature amount detection unit 141.
[0066]
In addition, the feature amount region determining unit 143 uses the feature amount CH stored in the feature amount memory 142 and corresponding to all SD pixels of a certain field, and ranges the range from the minimum value to the maximum value of the feature amount CH into four regions. The four feature amount regions are determined by dividing the image into four. The feature amount region determination unit 143 performs the feature amount region determination process in the vertical blanking period. In this case, the four feature amount regions are determined so that the number of feature amounts included in each feature amount region among the feature amounts CH corresponding to all SD pixels is substantially equal.
[0067]
FIG. 6 shows a histogram model of the feature amount CH corresponding to all SD pixels. CHmin indicates the minimum value of the feature amount CH, and CHmax indicates the maximum value of the feature amount CH. Ra, Rb, Rc, and Rd are four feature amount regions, and Na, Nb, Nc, and Nd indicate the number included in each feature amount region among the feature amounts CH corresponding to all SD pixels. In this case, the feature amount regions Ra, Rb, Rc, and Rd are determined so that the numbers Na, Nb, Nc, and Nd are substantially equal.
[0068]
Here, the significance of the feature amount regions Ra, Rb, Rc, and Rd will be considered. In the order of Ra, Rb, Rc, and Rd, the feature amount CH is large and the amount of high-frequency components is large, so that HD pixel data is generated from SD pixel data using coefficient data for obtaining the same resolution on the entire screen. The portion where the feature amount CH in the feature amount region on the Rd side is detected tends to have an inappropriate resolution. In FIG. 7, a, b, c, and d indicate locations on the screen where the feature amounts CH in the feature amount areas of Ra, Rb, Rc, and Rd are detected, respectively. If the degree of inappropriate resolution (failure degree) at each of these locations is pa, pb, pc, pd, the relationship is pa <pb <pc <pd.
[0069]
The region detection unit 144 sequentially extracts the feature amount CH corresponding to each SD pixel detected in the vertical blanking period in the feature amount detection unit 141 and stored in the feature amount memory 142 in the subsequent vertical effective scanning period. A feature amount CH corresponding to an SD pixel is detected as to which of the feature amount regions Ra, Rb, Rc, and Rd determined by the above-described feature amount region determining unit 143, and detection information DET is output. It is.
[0070]
The coefficient selection signal generation unit 145 generates a coefficient selection signal SEL from the detection information DET from the area detection unit 144 and the value of the parameter Q supplied from the system controller 101.
The coefficient selection signal generation unit 145 includes a ROM (read only memory) 146 serving as a storage unit that stores the resolution selection information RES corresponding to each value of the parameter Q in the above-described feature amount regions Ra, Rb, Rc, and Rd. have.
[0071]
FIG. 8 schematically shows the resolution selection information RES stored in the ROM 146.
In this figure, in the range (first range) in which “a” is described, RES = 1 when the feature amount CH is included in the feature amount region Ra, and the feature amount CH is the feature amount region Rb, Rc, Rd. Means that RES = 0, and in the range in which “a, b” is described (second range), RES = 1 when the feature amount CH is included in the feature amount regions Ra, Rb. Yes, this means that RES = 0 when the feature amount CH is included in the feature amount regions Rc and Rd, and in the range where “a, b, c” is described (third range), the feature amount CH is RES = 1 when included in the feature amount region Ra, Rb, Rc, and RES = 0 when the feature amount CH is included in the feature amount region Rd, and “a, b, c, d” In the described range (fourth range), the feature amount CH is the feature amount region Ra, Rb, Rc. Even when included in any of Rd means that a RES = 1.
[0072]
In this figure, i <Q ≦ (i + 0.25) corresponds to the first range, (i + 0.25) <Q ≦ (i + 0.5) corresponds to the second range, and (i + 0.5). ) <Q ≦ (i + 0.75) corresponds to the third range, and (i + 0.75) <Q ≦ (i + 1) corresponds to the fourth range. Here, i = 0, 1,... When Q = 0, RES = 0 even when the feature amount CH is included in any of the feature amount regions Ra, Rb, Rc, Rd.
[0073]
The coefficient selection signal generation unit 145 retrieves the detection information DET from the region detection unit 144 and the resolution selection information RES corresponding to the value of the parameter Q supplied from the system controller 101 from the ROM 146, and selects the resolution selection information RES as a coefficient. Output as signal SEL. For example, when the value of the parameter Q is 0.4 and the detection information DET indicates that the feature amount CH is included in the feature amount region Ra, SEL = 1 is extracted from the ROM 146 and is used as the coefficient selection signal SEL. 1 is output.
[0074]
The coefficient selection signal SEL output from the coefficient selection signal generation unit 145 also serves as the output of the coefficient selection circuit 133. As described above, the coefficient selection signal SEL output from the coefficient selection circuit 133 is supplied to the coefficient memory 131 as read address information as described above. The coefficient memory 131 (see FIG. 1) corresponds to two discrete values m, m + 1 (m = 0, 1,..., 7) located near the value of the parameter Q from the information memory bank 132 as described above. The coefficient data corresponding to the discrete value m is read when SEL = 0, and the coefficient data corresponding to the discrete value m + 1 is read when SEL = 1.
[0075]
Returning to FIG. 1, the image signal processing unit 110 also includes prediction tap data (SD pixel data) xi selectively extracted by the first tap selection circuit 121 and coefficient data wi read from the coefficient memory 131. Therefore, an estimated prediction calculation circuit 127 that calculates pixel data (pixel data of the target position) y of the HD signal to be generated is included.
[0076]
As described above, when the SD signal (525i signal) is converted to the HD signal (1050i signal), it is necessary to obtain four pixels of the HD signal for one pixel of the SD signal. In the circuit 127, HD pixel data is generated for each 2 × 2 unit pixel block constituting the HD signal.
[0077]
That is, the estimated prediction calculation circuit 127 includes the prediction tap data xi corresponding to the data of the four pixels in the unit pixel block (pixel data at the target position) from the first tap selection circuit 121, and the coefficient memory 131. The coefficient data wi corresponding to the four pixels constituting the unit pixel block is supplied, and the data y of the four pixels constituting the unit pixel block ₁ ~ Y _Four Are individually calculated by the estimation equation (6).
[0078]
[Expression 4]

[0079]
In addition, the image signal processing unit 110 outputs the data y of four pixels constituting the unit pixel block that is sequentially output from the estimated prediction calculation circuit 127. ₁ ~ Y _Four Are processed in a line sequential manner and output in a 1050i signal format.
[0080]
Next, the operation of the image signal processing unit 110 will be described.
From the SD signal (525i signal) stored in the buffer memory 109, the second tap selection circuit 122 uses the four pixels in the unit pixel block constituting the HD signal (1050i signal) to be created (the pixel at the target position). The data of space class taps (SD pixel data) located in the vicinity of is selectively extracted. The space class tap data is supplied to the space class detection circuit 124. In this space class detection circuit 124, each of the SD pixel data as space class tap data is subjected to ADRC processing and re-used as class information of the space class (mainly class classification for waveform expression in space). A quantization code qi is obtained (see equation (1)).
[0081]
In addition, from the SD signal (525i signal) stored in the buffer memory 109, the third tap selection circuit 123 uses the four pixels in the unit pixel block constituting the HD signal (1050i signal) to be created (at the target position). The motion class tap data (SD pixel data) located around the (pixel) is selectively extracted. The motion class tap data is supplied to the motion class detection circuit 125. In this motion class detection circuit 125, class information MV of a motion class (mainly class classification for representing the degree of motion) is obtained from each SD pixel data as motion class tap data.
[0082]
The class information MV and the above-described requantization code qi are supplied to the class synthesis circuit 126. In this class synthesis circuit 126, for each unit pixel block constituting the HD signal (1050i signal) to be created from the class information MV and the requantization code qi, data of four pixels in the unit pixel block (attention) A class code CL indicating the class to which the pixel data at the position belongs is obtained (see equation (3)). The class code CL is supplied to the coefficient memory 131 as read address information.
[0083]
Further, from the SD signal (525i signal) stored in the buffer memory 109, the coefficient selection circuit 133 uses four pixels (in the unit pixel block) for each unit pixel block constituting the HD signal (1050i signal) to be created. A coefficient selection signal SEL corresponding to the pixel at the target position is generated.
[0084]
That is, as shown in FIG. 2, the SD signal (525i signal) stored in the buffer memory 109 is supplied to the feature amount detection unit 141 of the coefficient selection circuit 133, and the feature amount detection unit 141 converts the SD signal of each field. A feature amount CH = √ (DR × ACT) is detected for each SD pixel constituting the same. The feature quantity CH corresponding to the SD signal for one field detected in the vertical blanking period by the feature quantity detection unit 141 is stored in the feature quantity memory 142.
[0085]
Further, the feature amount region determination unit 143 uses the feature amount CH corresponding to the SD signal for one field stored in the feature amount memory 142 in a certain vertical blanking period, and the feature amount CH corresponding to all SD pixels. A range from the minimum value CHmin to the maximum value CHmax is divided into four regions, and four feature amount regions Ra, Rb, Rc, and Rd are determined (see FIG. 6). In this case, the ranges of the four feature amount regions Ra, Rb, Rc, and Rd are determined so that the number included in each feature amount region among the feature amounts CH corresponding to all SD pixels is substantially equal.
[0086]
Then, the SD signal for one field stored in the feature amount memory 142 in a certain vertical blanking period is sequentially extracted in the subsequent vertical effective scanning period and supplied to the region detection unit 144, and the feature amount corresponding to each SD pixel. It is detected which of the above-described feature amount areas Ra, Rb, Rc, and Rd is CH. The detection information DET is supplied to the coefficient selection signal generation unit 145.
[0087]
The coefficient selection signal generator 145 is further supplied with a parameter Q from the system controller 101. As described above, the resolution selection information RES in the feature amount regions Ra, Rb, Rc, and Rd corresponding to each value of the parameter Q is stored in the ROM 146 that the coefficient selection signal generation unit 145 has. In the coefficient selection signal generation unit 145, detection information DET from the region detection unit 144 and resolution selection information RES corresponding to the value of the parameter Q supplied from the system controller 101 are extracted from the ROM 146.
[0088]
The extracted resolution selection information RES becomes a coefficient selection signal SEL that is an output of the coefficient selection signal generation unit 145 and thus the coefficient selection circuit 133. Therefore, the coefficient selection circuit 133 outputs a coefficient selection signal SEL corresponding to four pixels (pixels at the target position) in the unit pixel block for each unit pixel block constituting the HD signal (1050i signal) to be created. The The coefficient selection signal SEL is supplied to the coefficient memory 131 as read address information.
[0089]
The coefficient memory 131 stores coefficient data of each class corresponding to two discrete values m, m + 1 (m = 0, 1,..., 7) located in the vicinity of the value of the parameter Q from the information memory bank 132. Has been loaded. Such coefficient data loading operation is performed, for example, when the value of the parameter Q is changed and the coefficient data to be stored in the coefficient memory 131 needs to be changed.
[0090]
As described above, the class code CL and the coefficient selection signal SEL are supplied to the coefficient memory 131 as read address information, so that the coefficient data wi corresponding to the class code CL from the coefficient memory 131 and corresponding to the coefficient selection signal SEL. Is read and supplied to the estimated prediction calculation circuit 127. In this case, coefficient data corresponding to the discrete value m is read when SEL = 0, and coefficient data corresponding to the discrete value m + 1 is read when SEL = 1.
[0091]
Further, in the first tap selection circuit 121, four pixels (units of the target position) in the unit pixel block constituting the HD signal (1050i signal) to be created are generated from the SD signal (525i signal) stored in the buffer memory 109. Prediction tap data (SD pixel data) located around the (pixel) is selectively extracted. The prediction tap data xi is supplied to the estimated prediction calculation circuit 127.
[0092]
In the estimated prediction calculation circuit 127, four pixels in a unit pixel block constituting an HD signal to be created from prediction tap data (SD pixel data) xi and coefficient data wi for four pixels read from the coefficient memory 131. Data (HD pixel data) y ₁ ~ Y _Four Are calculated individually (see equation (6)). The 4-pixel data y sequentially output from the estimated prediction calculation circuit 127 ₁ ~ Y _Four Is supplied to the post-processing circuit 128. The post-processing circuit 128 outputs 4-pixel data y sequentially output from the estimated prediction calculation circuit 127. ₁ ~ Y _Four Are line-sequentially output in a 1050i signal format. That is, the post-processing circuit 128 outputs a 1050i signal as an HD signal.
[0093]
As described above, each coefficient memory 131 corresponds to two discrete values m, m + 1 (m = 0, 1,..., 7) located in the vicinity of the value of the parameter Q supplied from the system controller 101. Class coefficient data is loaded from the information memory bank 132. Therefore, when the user operates the remote control transmitter 200 to change the value of the parameter Q, the coefficient data stored in the coefficient memory 131 is changed accordingly, and the estimated prediction calculation circuit 127 changes the pixel data of the HD signal to the parameter Q. It is generated corresponding to the value of. Therefore, the user can arbitrarily adjust the resolution of the image by the HD signal to a desired value by changing the value of the parameter Q, as in the conventional adjustment of contrast and sharpness.
[0094]
Further, of the coefficient data of each class corresponding to two discrete values m, m + 1 (m = 0, 1,..., 7) located in the vicinity of the value of the parameter Q stored in the coefficient memory 131, the estimation is performed. Coefficient data used when the prediction calculation circuit 127 actually generates pixel data of the HD signal is determined based on the coefficient selection signal SEL generated by the coefficient selection circuit 133. That is, in any feature amount region, the feature amount CH around the four pixels (the pixel at the target position) in the unit pixel block constituting the HD signal to be created has an inappropriate resolution (failure degree). Whether the coefficient data corresponding to the discrete value m or the coefficient data corresponding to the discrete value m + 1 is used is determined according to whether the value of the parameter Q is from m to m + 1. The coefficient data corresponding to the discrete value m + 1 is for obtaining a higher resolution than the coefficient data corresponding to the discrete value m.
[0095]
For example, the closer the value of parameter Q is to m, the coefficient data corresponding to the discrete value m + 1 is used only when the feature amount CH is included in the feature amount region where the degree of inappropriate resolution (failure degree) is low. (See FIG. 8).
[0096]
In this way, the same coefficient data is not used uniformly on the entire screen, but pixel data at the target position is generated using coefficient data selected according to the feature amount of the target position. As a result, when adjusting the resolution by changing the parameter Q, it is possible to prevent a portion where the feature amount CH is included in the feature amount region having a high degree of inappropriate resolution (failure degree) from becoming an inappropriate resolution. Therefore, the image quality of the HD signal can be improved.
[0097]
FIG. 9 shows a case where each of the locations a to d in the screen is in the same state as described with reference to FIG. 7, and when the value of the parameter Q changes from m to m + 1, the discrete value m or discrete at each location. This indicates which of the value m + 1 corresponds to which coefficient data is used.
[0098]
When Q = m, as shown in FIG. 9A, coefficient data wm corresponding to the discrete value m is used at all points a to d. When m <Q ≦ m + 0.25, as shown in FIG. 9B, coefficient data wm + 1 corresponding to the discrete value m + 1 is used at the location a, and the discrete value at locations b to d. Coefficient data wm corresponding to m is used. When m + 0.25 <Q ≦ m + 0.5, as shown in FIG. 9C, coefficient data wm + 1 corresponding to the discrete value m + 1 is used at points a and b, and c and d The coefficient data wm corresponding to the discrete value m is used at the location. When m + 0.5 <Q ≦ m + 0.75, as shown in FIG. 9D, coefficient data wm + 1 corresponding to the discrete value m + 1 is used at the positions a to c, and at the position d. Coefficient data wm corresponding to the discrete value m is used. Furthermore, when m + 0.75 <Q ≦ m + 1, as shown in FIG. 9E, coefficient data wm + 1 corresponding to the discrete value m + 1 is used at all points a to d.
[0099]
In the above-described embodiment, the feature amount CH related to the high-frequency component amount around the pixel of interest is represented by √ (DR × ACT), but is not limited to this. is not. The feature amount CH only needs to be capable of classifying the degree of inappropriate resolution (failure degree) in stages when obtaining HD signals using coefficient data for obtaining the same resolution.
[0100]
In the above-described embodiment, for simplicity of explanation, the range from the minimum value CHmin to the maximum value CHmax of the feature amount CH is divided into four regions to determine four feature amount regions Ra to Rd (see FIG. 6), and correspondingly, each of the discrete values of the parameter Q is divided into four ranges (see FIG. 8). However, these numbers are actually increased, for example, 10. The
[0101]
In the above-described embodiment, the number Na, Nb, Nc, Nd included in each feature amount region among the feature amounts CH corresponding to all SD pixels is made substantially equal, but it is not always necessary to make them equal. . However, by making the numbers Na, Nb, Nc, and Nd substantially equal, it is possible to expect a change in resolution of the HD image in proportion to a change in the value of the parameter Q.
[0102]
Next, a method for generating coefficient data corresponding to nine resolutions corresponding to discrete values 0, 1,..., 8 of the parameter Q stored in the information memory bank 132 will be described. This coefficient data is generated in advance by learning.
[0103]
First, this learning method will be described. An example in which coefficient data wi (i = 1 to n) based on the estimation formula (6) is obtained by the least square method will be shown. As a generalized example, consider the observation equation (7), where X is input data, W is coefficient data, and Y is a predicted value. In this equation (7), m represents the number of learning data, and n represents the number of prediction taps.
[0104]
[Equation 5]

[0105]
The least square method is applied to the data collected by the observation equation (7). Based on the observation equation (7), the residual equation (8) is considered.
[0106]
[Formula 6]

[0107]
From the residual equation of equation (8), the most probable value of each w i is e in equation (9). ² It is considered that the condition for minimizing is satisfied. That is, the condition of equation (10) should be considered.
[0108]
[Expression 7]

[0109]
That is, w conditions satisfying n conditions based on i in equation (10) are considered. ₁ , W ₂ , ..., w _n May be calculated. Therefore, Equation (11) is obtained from the residual equation of Equation (8). Furthermore, the equation (12) is obtained from the equations (11) and (7).
[0110]
[Equation 8]

[0111]
And the normal equation of (13) Formula is obtained from (8) Formula and (12) Formula.
[0112]
[Equation 9]

[0113]
Since the number of equations equal to the number n of unknowns can be established as the normal equation of equation (13), the most probable value of each wi can be obtained. In this case, simultaneous equations are solved using a sweeping method (Gauss-Jordan elimination method) or the like.
[0114]
FIG. 10 shows a coefficient data generation device 150 that generates coefficient data based on the concept described above. The coefficient data generation apparatus 150 performs an horizontal thinning process and a vertical thinning process on an input terminal 151 to which an HD signal (1050i signal) as a teacher signal is input, and an SD signal as a student signal. And an SD signal generation circuit 152 to be obtained.
[0115]
The SD signal generation circuit 152 is supplied with a parameter Q as a control signal. This parameter Q corresponds to the parameter Q output from the system controller 101 by the user's operation of the remote control transmitter 200 in the television receiver 100 shown in FIG. However, here, only nine discrete values of 0, 1,.
[0116]
In the SD signal generation circuit 152, the horizontal and vertical bands of the filter used when generating the SD signal from the HD signal are varied according to the value of the parameter Q. This filter includes, for example, a one-dimensional Gaussian filter that limits the horizontal band and a one-dimensional Gaussian filter that limits the vertical band. This one-dimensional Gaussian filter is expressed by equation (14).
[0117]
[Expression 10]

[0118]
In this case, a one-dimensional Gaussian filter having a frequency characteristic corresponding to the discrete value of Q can be obtained by stepwise changing the value of the standard deviation σ corresponding to the discrete value of Q. In this case, the horizontal and vertical bands are narrowed as the value of the parameter Q increases. As a result, the larger the value of the parameter Q, the more the coefficient data for obtaining a high-resolution HD signal can be generated.
[0119]
Further, the coefficient data generation device 150 selectively selects data of a plurality of SD pixels located around the target position in the HD signal (1050i signal) from the SD signal (525i signal) output from the SD signal generation circuit 152. First to third tap selection circuits 153 to 155 for taking out and outputting are provided. These first to third tap selection circuits 153 to 155 are configured similarly to the first to third tap selection circuits 121 to 123 of the image signal processing unit 110 described above.
[0120]
Further, the coefficient data generation device 150 detects a level distribution pattern of space class tap data (SD pixel data) selectively extracted by the second tap selection circuit 154, and determines a space class based on the level distribution pattern. It has a space class detection circuit 157 that detects and outputs the class information. The space class detection circuit 157 is configured in the same manner as the space class detection circuit 124 of the image signal processing unit 110 described above. From this space class detection circuit 157, a requantization code qi for each SD pixel data as space class tap data is output as class information indicating a space class.
[0121]
The coefficient data generation device 150 detects a motion class mainly representing the degree of motion from the motion class tap data (SD pixel data) selectively extracted by the third tap selection circuit 155, and A motion class detection circuit 158 that outputs class information MV is provided. The motion class detection circuit 158 is configured in the same manner as the motion class detection circuit 125 of the image signal processing unit 110 described above. In this motion class detection circuit 158, the inter-frame difference is calculated from the motion class tap data (SD pixel data) selectively extracted by the third tap selection circuit 155, and the difference between the absolute values of the absolute values of the difference is calculated. Then, threshold processing is performed to detect a motion class that is an index of motion.
[0122]
Also, the coefficient data generation device 150 is based on the requantization code qi as the class information of the space class output from the space class detection circuit 157 and the motion class class information MV output from the motion class detection circuit 158. A class synthesis circuit 159 for obtaining a class code CL indicating a class to which pixel data of the target position in the HD signal (1050i signal) belongs is provided. The class synthesis circuit 159 is also configured similarly to the class synthesis circuit 126 of the image signal processing unit 110 described above.
[0123]
Further, the coefficient data generation device 150 includes each HD pixel data y as pixel data of the target position obtained from the HD signal supplied to the input terminal 151, and a first tap corresponding to each HD pixel data y. From the prediction tap data (SD pixel data) xi selectively extracted by the selection circuit 153 and the class code CL output from the class synthesis circuit 159 corresponding to each HD pixel data y, n A normal equation generation unit 160 that generates a normal equation (see equation (13)) for obtaining the coefficient data wi is provided.
[0124]
In this case, one piece of learning data described above is generated by a combination of one piece of HD pixel data y and n pieces of predicted tap pixel data corresponding thereto, and therefore a large amount of learning data is registered in the normal equation generation unit 160. A normal equation is generated. Although not shown in the figure, SD pixel data supplied from the first tap selection circuit 153 to the normal equation generation unit 160 by arranging a delay circuit for time adjustment in the preceding stage of the first tap selection circuit 153. Timing adjustment of xi is performed.
[0125]
The coefficient data generation device 150 is supplied with the data of the normal equation generated for each class by the normal equation generation unit 160, solves the normal equation generated for each class, and obtains coefficient data wi for each class. A data determination unit 161 and a coefficient memory 162 that stores the obtained coefficient data wi are provided. In the coefficient data determination unit 161, the normal equation is solved by, for example, a sweeping method, and the coefficient data wi is obtained.
[0126]
The operation of the coefficient data generation device 150 shown in FIG. 10 will be described. An HD signal (1050i signal) as a teacher signal is supplied to the input terminal 151, and the HD signal is subjected to horizontal and vertical thinning processing by the SD signal generation circuit 152, and an SD signal (525i) as a student signal. Signal) is generated. In this case, the SD signal generation circuit 152 is supplied with the parameter Q as a control signal, and sequentially generates a plurality of SD signals whose horizontal and vertical bands are changed stepwise corresponding to the discrete values of the parameter Q. It will be done.
[0127]
From this SD signal (525i signal), the second tap selection circuit 154 selectively extracts data (SD pixel data) of the space class tap located around the position of interest in the HD signal (1050i signal). The space class tap data is supplied to the space class detection circuit 157. In this space class detection circuit 157, each SD pixel data as space class tap data is subjected to ADRC processing to be re-used as class information of a space class (mainly class classification for waveform expression in space). A quantization code qi is obtained (see equation (1)).
[0128]
Further, from the SD signal generated by the SD signal generation circuit 152, the third tap selection circuit 155 selectively extracts data of the motion class tap (SD pixel data) located around the target position in the HD signal. . The data of the motion class tap is supplied to the motion class detection circuit 158. In this motion class detection circuit 158, class information MV of a motion class (mainly class classification for representing the degree of motion) is obtained from each SD pixel data as motion class tap data.
[0129]
The class information MV and the above-described requantization code qi are supplied to the class synthesis circuit 159. The class synthesis circuit 159 obtains a class code CL indicating the class to which the pixel data at the position of interest in the HD signal (1050i signal) belongs from the class information MV and the requantization code qi (see equation (3)). .
[0130]
Further, from the SD signal generated by the SD signal generation circuit 152, the first tap selection circuit 153 selectively extracts data of prediction taps (SD pixel data) located around the target pixel related to the HD signal. . Then, each HD pixel data y as pixel data of the target position obtained from the HD signal supplied to the input terminal 151 and the first tap selection circuit 121 corresponding to each HD pixel data y are selectively selected. From the prediction tap data (SD pixel data) xi taken out and the class code CL output from the class synthesis circuit 159 corresponding to each HD pixel data y, the normal equation generation unit 160 sets n for each class. A normal equation for generating the coefficient data wi is generated.
[0131]
Then, the coefficient data determination unit 161 solves the normal equation to obtain the coefficient data wi of each class, and the coefficient data wi is stored in the coefficient memory 162 that is divided into addresses for each class.
[0132]
As described above, the coefficient data generation device 150 shown in FIG. 10 can generate the coefficient data wi of each class stored in the information memory bank 132 of the image signal processing unit 110 of FIG. In this case, the horizontal and vertical bands of the SD signal generated by the SD signal generation circuit 152 can be changed stepwise according to the value of the parameter Q. Therefore, by sequentially changing the value of the parameter Q to 0, 1,..., 8 and determining the coefficient data wi for each class, the discrete values of the parameters Q of 0, 1,. It is possible to generate coefficient data wi for each class corresponding to various values.
[0133]
Note that the processing in the image signal processing unit 110 in FIG. 1 can be realized by software, for example, by an image signal processing apparatus 300 as shown in FIG.
First, the image signal processing apparatus 300 shown in FIG. 11 will be described. The image signal processing apparatus 300 includes a CPU 301 that controls the operation of the entire apparatus, a ROM (read only memory) 302 that stores an operation program of the CPU 301, coefficient data, and the like, and a RAM (random) that forms a work area of the CPU 301. access memory) 303. These CPU 301, ROM 302, and RAM 303 are each connected to a bus 304.
[0134]
The image signal processing apparatus 300 also includes a drive (HDD) 305 that drives a hard disk as an external storage device, and a drive (FDD) 307 that drives a floppy (registered trademark) disk 306. These drives 305 and 307 are each connected to a bus 304.
[0135]
In addition, the image signal processing apparatus 300 includes a communication unit 308 that is connected to a communication network 400 such as the Internet by wire or wirelessly. The communication unit 308 is connected to the bus 304 via the interface 309.
[0136]
In addition, the image signal processing device 300 includes a user interface unit. The user interface unit includes a remote control signal receiving circuit 310 that receives a remote control signal RM from the remote control transmitter 200, and a display 311 that includes an LCD (liquid crystal display) or the like. The receiving circuit 310 is connected to the bus 304 via the interface 312, and similarly the display 311 is connected to the bus 304 via the interface 313.
[0137]
The image signal processing apparatus 300 also has an input terminal 314 for inputting an SD signal and an output terminal 315 for outputting an HD signal. The input terminal 314 is connected to the bus 304 via the interface 316, and similarly, the output terminal 315 is connected to the bus 304 via the interface 317.
[0138]
Here, instead of storing the processing program, coefficient data, and the like in advance in the ROM 302 as described above, for example, they are downloaded from the communication network 400 such as the Internet via the communication unit 308 and stored in the hard disk or RAM 303 for use. You can also Further, these processing programs, coefficient data, and the like may be provided on a floppy (registered trademark) disk 306.
[0139]
Further, instead of inputting the SD signal to be processed from the input terminal 314, it may be recorded in advance on a hard disk or downloaded from the communication network 400 such as the Internet via the communication unit 308. Also, instead of outputting the processed HD signal to the output terminal 315 or in parallel therewith, it is supplied to the display 311 to display an image, further stored in a hard disk, or via the communication unit 308 such as the Internet. It may be sent to the communication network 400.
[0140]
A processing procedure for obtaining an HD signal from an SD signal in the image signal processing apparatus 300 shown in FIG. 11 will be described with reference to the flowchart of FIG.
First, in step ST1, processing is started, and in step ST2, SD pixel data is input in field units. When the SD pixel data is input from the input terminal 314, the SD pixel data is temporarily stored in the RAM 303. Further, when the SD pixel data is recorded on the hard disk, the SD pixel data is read by the hard disk drive 307 and temporarily stored in the RAM 303. In step ST3, it is determined whether or not the processing of all fields of the input SD pixel data has been completed. When the process is finished, the process ends in step ST4. On the other hand, when the process is not finished, the process proceeds to step ST5.
[0141]
In step ST5, the value of the parameter Q input by the user operating the remote control transmitter 200 is read from the RAM 303, for example. In step ST6, coefficient data of each class corresponding to two discrete values m, m + 1 (m = 0, 1,..., 7) located in the vicinity of the read parameter Q value is read out and stored in the RAM 303. Store temporarily.
[0142]
Next, in step ST7, the feature amount CH (√ (DR × ACT)) of each SD pixel is obtained from the SD pixel data for one field input in step ST2, and the feature amount CH of each SD pixel is used. Thus, four feature amount regions Ra to Rd are determined (see FIG. 6). Note that the feature amount CH of each SD pixel is stored in the RAM 303 for further use in a later step.
[0143]
Next, in step ST8, the pixel data of the class tap and the prediction tap are acquired from the SD pixel data input in step ST2 corresponding to each HD pixel data (target pixel data) to be generated. In step ST9, it is determined whether or not the processing for obtaining HD pixel data has been completed in all areas of the input SD pixel data. If the process has not ended, the process proceeds to step ST10.
[0144]
In this step ST10, it is detected which of the above-described four feature amount regions Ra to Rd the feature amount CH of the SD pixel corresponding to each HD pixel data to be generated (pixel data of the target position) is detected. In step ST11, a coefficient selection signal SEL is generated from the detection information DET and the value of the parameter Q to determine which coefficient data corresponding to the discrete value m or m + 1 is to be used.
[0145]
Next, in step ST12, a class code CL is generated from the SD pixel data of the class tap acquired in step ST8. In step 13, coefficient data corresponding to the discrete value indicated by the coefficient selection signal SEL generated in step ST11, the coefficient data of the class indicated by the class code CL generated in step ST12, and a prediction tap SD pixel data is used to generate HD pixel data corresponding to the value of the parameter Q using the estimation formula (see formula (6)), and then the process returns to step ST8 to repeat the same processing as described above. .
If the process is completed in step ST9, the process returns to step ST2 and proceeds to the input process of SD pixel data in the next field.
[0146]
In this way, by performing processing according to the flowchart shown in FIG. 12, it is possible to process the SD pixel data constituting the input SD signal and obtain HD pixel data constituting the HD signal. As described above, the HD signal obtained by such processing is output to the output terminal 315, supplied to the display 311 to display an image, and further supplied to the hard disk drive 305 to be stored on the hard disk. It is recorded.
[0147]
Next, another embodiment of the present invention will be described. FIG. 13 shows a configuration of a television receiver 100A as an embodiment. The television receiver 100A also obtains an SD signal called a 525i signal from a broadcast signal, converts the 525i signal into an HD signal called a 1050i signal, and displays an image based on the 1050i signal. In FIG. 13, portions corresponding to those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
[0148]
The television receiver 100A is provided with an image signal processing unit 110A instead of the image signal processing unit 110 in the television receiver 100 of FIG. In the image signal processing unit 110A, the amount of motion at the target position is used as the feature amount at the target position.
[0149]
The image signal processing unit 110A detects the level distribution pattern of the space class tap data (SD pixel data) selectively extracted by the second tap selection circuit 122, and detects the space class based on the level distribution pattern. And a space class detection circuit 124A for outputting the class code CL.
[0150]
In the space class detection circuit 124A, the following processing is performed to obtain the class code CL. First, the processing of ADRC or the like similar to the space class detection circuit 124 in the image signal processing unit 110 of FIG. 1 is performed, and the data (SD pixel data) of Na space class taps extracted by the second tap selection circuit 122. ) For the re-quantization code qi (i = 1 to Na). Next, the requantized code qi (i = 1 to Na) is used, and the class code CL is calculated by the equation (15).
[0151]
[Expression 11]

[0152]
Thus, in the image signal processing unit 110A, the class code CL is obtained only from the space class tap data (SD pixel data) extracted by the second tap selection circuit 122. In this case, as described above, since the motion amount at the target position is used as the feature amount at the target position, information on the motion class is not included in the class code CL.
[0153]
Further, the image signal processing unit 110A includes a coefficient selection circuit 133A that generates a coefficient selection signal SEL. This coefficient selection signal SEL is also supplied to the coefficient memory 131 as read address information, similar to the coefficient selection signal SEL generated by the coefficient selection circuit 133 in the image signal processing unit 110 of FIG. This is used to select one coefficient data among coefficient data corresponding to two discrete values of the parameter Q, which is loaded and stored from the coefficient memory 131 to the coefficient memory 131.
[0154]
FIG. 14 shows the configuration of the coefficient selection circuit 133A. In FIG. 14, parts corresponding to those in FIG.
The coefficient selection circuit 133A includes a motion amount detection unit 141A, a motion amount memory 142A, a motion amount region determination unit 143A, a region detection unit 144A, and a coefficient selection signal generation unit 145A.
[0155]
The motion amount detection unit 141A detects the motion amount for each SD pixel constituting the SD signal (525i signal) of each field temporarily stored in the buffer memory 109. In this case, the amount of motion corresponding to a certain SD pixel (pixel of interest) is obtained by using a block of a predetermined size centered on the SD pixel, for example, and obtaining a motion vector by a known block matching method. Detected as The motion vector may be obtained by a gradient method instead of the block matching method.
[0156]
As described above, when a 525i signal is converted into a 1050i signal, in the odd and even fields, corresponding to one pixel of the 525i signal, four pixels of the 1050i signal are obtained by an estimation formula using the target pixel. is there. Therefore, detecting the motion amount CH corresponding to each pixel constituting the SD signal (525i signal) in the motion amount detection unit 141A means that each of the four pixels (target pixel) constituting the HD signal (1050i signal) is detected. That is, the movement amount CH is detected.
[0157]
The motion amount detection unit 141A performs a motion amount CH detection process on an SD signal of a certain field stored in the buffer memory 109, for example, in a vertical blanking period. The motion amount memory 142A stores a motion amount CH corresponding to each SD pixel for one field detected in a vertical blanking period in the motion amount detection unit 141A.
[0158]
In addition, the motion amount region determining unit 143A uses the motion amount CH stored in the motion amount memory 142A and corresponding to all SD pixels in a certain field, and sets a range from the minimum value to the maximum value of the motion amount CH in four regions. The four motion amount regions are determined by dividing the region into four. The motion amount region determination unit 143A performs the motion amount region determination process in the vertical blanking period. In this case, four motion amount regions are determined so that the number of motion amount regions included in each motion amount region among the motion amounts CH corresponding to all SD pixels is substantially equal.
[0159]
FIG. 15 shows a histogram model of the motion amount CH corresponding to all SD pixels. CHmin represents the minimum value of the motion amount CH, and CHmax represents the maximum value of the motion amount CH. Ra, Rb, Rc, and Rd are four motion amount regions, and Na, Nb, Nc, and Nd indicate the number included in each motion amount region among the motion amounts CH corresponding to all SD pixels. In this case, the motion amount regions Ra, Rb, Rc, Rd are determined so that the numbers Na, Nb, Nc, Nd are substantially equal.
[0160]
Here, the significance of the motion amount regions Ra, Rb, Rc, Rd will be considered. Since the amount of motion CH increases in the order of Ra, Rb, Rc, and Rd, when generating HD pixel data from SD pixel data using coefficient data for obtaining the same resolution over the entire screen, the motion on the Rd side The part where the motion amount CH in the amount area is detected tends to have an inappropriate resolution. 16, a, b, c, and d indicate locations on the screen where the motion amount CH in the motion amount region of Ra, Rb, Rc, and Rd is detected, respectively. When the degree of inappropriate resolution (failure degree) at each location is pa, pb, pc, pd, the relationship is pa <pb <pc <pd.
[0161]
The region detection unit 144A sequentially extracts the motion amount CH corresponding to each SD pixel detected in the vertical blanking period and stored in the motion amount memory 142A in the motion amount detection unit 141A in the subsequent vertical effective scanning period. What detects whether the motion amount CH corresponding to the SD pixel is included in the motion amount regions Ra, Rb, Rc, Rd determined by the above-described motion amount region determination unit 143A, and outputs the detection information DET It is.
[0162]
The coefficient selection signal generation unit 145A generates a coefficient selection signal SEL from the detection information DET from the region detection unit 144A and the value of the parameter Q supplied from the system controller 101. The coefficient selection signal generation unit 145A is a storage unit that stores the resolution selection information RES in the above-described motion amount regions Ra, Rb, Rc, and Rd corresponding to each value of the parameter Q. ROM146 have. FIG. 8 described above schematically shows the resolution selection information RES stored in the ROM 146.
[0163]
In this figure, in the range (first range) in which “a” is described, RES = 1 when the motion amount CH is included in the motion amount region Ra, and the motion amount CH is the motion amount region Rb, Rc, Rd. Means that RES = 0, and in the range where “a, b” is written (second range), when the motion amount CH is included in the motion amount regions Ra, Rb, RES = 1. Yes, it means that RES = 0 when the motion amount CH is included in the motion amount regions Rc and Rd, and in the range where “a, b, c” is described (third range), the motion amount CH is RES = 1 when included in the motion amount regions Ra, Rb, Rc, and RES = 0 when the motion amount CH is included in the motion amount region Rd, and “a, b, c, d” In the described range (fourth range), the motion amount CH is the motion amount region Ra, Rb, Rc. Even when included in any of Rd means that a RES = 1.
[0164]
In this figure, i <Q ≦ (i + 0.25) corresponds to the first range, (i + 0.25) <Q ≦ (i + 0.5) corresponds to the second range, and (i + 0.5). ) <Q ≦ (i + 0.75) corresponds to the third range, and (i + 0.75) <Q ≦ (i + 1) corresponds to the fourth range. Here, i = 0, 1,... When Q = 0, RES = 0 even when the motion amount CH is included in any of the motion amount regions Ra, Rb, Rc, and Rd.
[0165]
The coefficient selection signal generation unit 145A takes out the detection information DET from the region detection unit 144A and the resolution selection information RES corresponding to the value of the parameter Q supplied from the system controller 101 from the ROM 146, and selects the resolution selection information RES as a coefficient. Output as signal SEL. For example, when the value of the parameter Q is 0.4 and the detection information DET indicates that the motion amount CH is included in the motion amount region Ra, SEL = 1 is extracted from the ROM 146 and is used as the coefficient selection signal SEL. 1 is output.
[0166]
The coefficient selection signal SEL output from the coefficient selection signal generation unit 145A is also the output of the coefficient selection circuit 133A. As described above, the coefficient selection signal SEL output from the coefficient selection circuit 133A is supplied to the coefficient memory 131 (see FIG. 13) as read address information as described above. As described above, coefficient data corresponding to two discrete values m, m + 1 (m = 0, 1,..., 7) located in the vicinity of the value of the parameter Q is loaded from the information memory bank 132 to the coefficient memory 131. However, when SEL = 0, coefficient data corresponding to the discrete value m is to be read, and when SEL = 1, coefficient data corresponding to the discrete value m + 1 is to be read.
The rest of the image signal processing unit 110A shown in FIG. 13 is configured in the same manner as the image signal processing unit 110 shown in FIG.
[0167]
Next, the operation of the image signal processing unit 110A will be described.
From the SD signal (525i signal) stored in the buffer memory 109, the second tap selection circuit 122 uses the four pixels in the unit pixel block constituting the HD signal (1050i signal) to be created (the pixel at the target position). The data of space class taps (SD pixel data) located in the vicinity of is selectively extracted. The space class tap data is supplied to the space class detection circuit 124A. In this space class detection circuit 124A, each SD pixel data as space class tap data is subjected to ADRC processing to obtain a class code CL (see equation (15)). This class code CL is supplied to the coefficient memory 131 as read address information.
[0168]
Further, from the SD signal (525i signal) stored in the buffer memory 109, the coefficient selection circuit 133A uses four pixels (in the unit pixel block) for each unit pixel block constituting the HD signal (1050i signal) to be created. A coefficient selection signal SEL corresponding to the pixel at the target position is generated.
[0169]
That is, as shown in FIG. 14, the SD signal (525i signal) stored in the buffer memory 109 is supplied to the motion amount detection unit 141A of the coefficient selection circuit 133A, and the motion amount detection unit 141A converts the SD signal of each field. The motion amount CH is detected by the block matching method, the gradient method, or the like for each constituting SD pixel. Then, the motion amount CH corresponding to the SD signal for one field detected in a certain vertical blanking period by the motion amount detection unit 141A is stored in the motion amount memory 142A.
[0170]
Further, in the motion amount region determination unit 143A, the motion amount CH corresponding to the SD signal for one field stored in the motion amount memory 142A in a certain vertical blanking period is used, and the motion amount CH corresponding to all SD pixels is used. The range from the minimum value CHmin to the maximum value CHmax is divided into four regions to determine four motion amount regions Ra, Rb, Rc, Rd (see FIG. 15). In this case, the ranges of the four motion amount regions Ra, Rb, Rc, and Rd are determined so that the numbers included in each motion amount region among the motion amounts CH corresponding to all SD pixels are substantially equal.
[0171]
Then, the SD signal for one field stored in the motion amount memory 142A in a certain vertical blanking period is sequentially extracted in the subsequent vertical effective scanning period and supplied to the region detection unit 144A, and the motion amount corresponding to each SD pixel. It is detected which CH is included in any of the motion amount regions Ra, Rb, Rc, Rd described above. The detection information DET is supplied to the coefficient selection signal generation unit 145A.
[0172]
A parameter Q is further supplied from the system controller 101 to the coefficient selection signal generation unit 145A. As described above, the resolution selection information RES in the motion amount regions Ra, Rb, Rc, and Rd corresponding to each value of the parameter Q is stored in the ROM 146 included in the coefficient selection signal generation unit 145A. In the coefficient selection signal generation unit 145A, the detection information DET from the region detection unit 144A and the resolution selection information RES corresponding to the value of the parameter Q supplied from the system controller 101 are extracted from the ROM 146.
[0173]
The extracted resolution selection information RES becomes a coefficient selection signal SEL which is an output of the coefficient selection signal generation unit 145A and hence the coefficient selection circuit 133A. Therefore, the coefficient selection circuit 133A outputs a coefficient selection signal SEL corresponding to four pixels (pixels at the target position) in the unit pixel block for each unit pixel block constituting the HD signal (1050i signal) to be generated. The The coefficient selection signal SEL is supplied to the coefficient memory 131 as read address information.
[0174]
The coefficient memory 131 stores coefficient data of each class corresponding to two discrete values m, m + 1 (m = 0, 1,..., 7) located in the vicinity of the value of the parameter Q from the information memory bank 132. Has been loaded. Such coefficient data loading operation is performed, for example, when the value of the parameter Q is changed and the coefficient data to be stored in the coefficient memory 131 needs to be changed.
[0175]
As described above, the class code CL and the coefficient selection signal SEL are supplied to the coefficient memory 131 as read address information, so that the coefficient data wi corresponding to the class code CL from the coefficient memory 131 and corresponding to the coefficient selection signal SEL. Is read and supplied to the estimated prediction calculation circuit 127. In this case, coefficient data corresponding to the discrete value m is read when SEL = 0, and coefficient data corresponding to the discrete value m + 1 is read when SEL = 1.
[0176]
Further, in the first tap selection circuit 121, four pixels (units of the target position) in the unit pixel block constituting the HD signal (1050i signal) to be created are generated from the SD signal (525i signal) stored in the buffer memory 109. Prediction tap data (SD pixel data) located around the (pixel) is selectively extracted. The prediction tap data xi is supplied to the estimated prediction calculation circuit 127.
[0177]
In the estimated prediction calculation circuit 127, four pixels in a unit pixel block constituting an HD signal to be created from prediction tap data (SD pixel data) xi and coefficient data wi for four pixels read from the coefficient memory 131. Data (HD pixel data) y ₁ ~ Y _Four Are calculated individually (see equation (6)). The 4-pixel data y sequentially output from the estimated prediction calculation circuit 127 ₁ ~ Y _Four Is supplied to the post-processing circuit 128. The post-processing circuit 128 outputs 4-pixel data y sequentially output from the estimated prediction calculation circuit 127. ₁ ~ Y _Four Are line-sequentially output in a 1050i signal format. That is, the post-processing circuit 128 outputs a 1050i signal as an HD signal.
[0178]
As described above, each coefficient memory 131 corresponds to two discrete values m, m + 1 (m = 0, 1,..., 7) located in the vicinity of the value of the parameter Q supplied from the system controller 101. Class coefficient data is loaded from the information memory bank 132. Therefore, when the user operates the remote control transmitter 200 to change the value of the parameter Q, the coefficient data stored in the coefficient memory 131 is changed accordingly, and the estimated prediction calculation circuit 127 changes the pixel data of the HD signal to the parameter Q. It is generated corresponding to the value of. Therefore, the user can arbitrarily adjust the resolution of the image by the HD signal to a desired value by changing the value of the parameter Q, as in the conventional adjustment of contrast and sharpness.
[0179]
Further, of the coefficient data of each class corresponding to two discrete values m, m + 1 (m = 0, 1,..., 7) located in the vicinity of the value of the parameter Q stored in the coefficient memory 131, the estimation is performed. Coefficient data to be used when the prediction calculation circuit 127 actually generates pixel data of the HD signal is determined based on the coefficient selection signal SEL generated by the coefficient selection circuit 133A. That is, in which motion amount region the degree (destruction level) of the motion amount CH of the four pixels (the pixel at the target position) in the unit pixel block constituting the HD signal to be created has an inappropriate resolution is included, Whether coefficient data corresponding to the discrete value m or coefficient data corresponding to the discrete value m + 1 is used is determined depending on whether the value of the parameter Q is from m to m + 1. The coefficient data corresponding to the discrete value m + 1 is for obtaining a higher resolution than the coefficient data corresponding to the discrete value m.
[0180]
For example, the coefficient data corresponding to the discrete value m + 1 is used only when the value of the parameter Q is closer to m and the motion amount CH is included in the motion amount region where the degree of inappropriate resolution (failure degree) is included. (See FIG. 8).
[0181]
As described above, the pixel data at the target position is generated using the coefficient data selected according to the amount of movement of the target position, instead of using the same coefficient data uniformly over the entire screen. As a result, when the resolution is adjusted by changing the value of the parameter Q, a portion in which the motion amount CH is included in the motion amount region where the degree of inappropriate resolution (failure degree) is high becomes inappropriate. This can be prevented, and the image quality of the HD signal can be improved.
[0182]
In the above embodiment, in order to simplify the description, the range from the minimum value CHmin to the maximum value CHmax of the motion amount CH is divided into four regions to determine four motion amount regions Ra to Rd (see FIG. 15), and correspondingly, each of the discrete values of the parameter Q is divided into four ranges (see FIG. 8). However, these numbers are actually increased, for example, 10. The
[0183]
In the above-described embodiment, the numbers Na, Nb, Nc, and Nd included in each motion amount region among the motion amounts CH corresponding to all SD pixels are set to be substantially equal, but are not necessarily equal. . However, by making the numbers Na, Nb, Nc, and Nd substantially equal, it is possible to expect a change in resolution of the HD image in proportion to a change in the value of the parameter Q.
[0184]
Further, the processing in the image signal processing unit 110A of FIG. 13 can also be realized by software by an image signal processing device 300 as shown in FIG. The image signal processing in that case is basically performed according to the flowchart shown in FIG.
[0185]
However, since the image signal processing unit 110A in FIG. 13 uses the amount of motion at the target position as the feature amount at the target position, the processing in step ST7 and step ST10 is as follows, but the processing in the other steps Is the same as described above.
[0186]
In step ST7, the motion amount of each SD pixel is obtained from the SD pixel data for one field input in step ST2, and four motion amount regions Ra to Rd are determined using the motion amount CH of each SD pixel. (See FIG. 15).
[0187]
In step ST10, it is detected which of the above-described four motion amount regions Ra to Rd the motion amount CH of the SD pixel corresponding to each HD pixel data to be generated (pixel data of the target position) is included. .
[0188]
Next, still another embodiment of the present invention will be described. FIG. 17 shows a configuration of a television receiver 100B as an embodiment. The television receiver 100B also obtains an SD signal called a 525i signal from a broadcast signal, converts the 525i signal into an HD signal called a 1050i signal, and displays an image based on the 1050i signal. In FIG. 17, portions corresponding to those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
[0189]
This television receiver 100B is provided with an image signal processing unit 110B instead of the image signal processing unit 110 in the television receiver 100 of FIG. In the image signal processing unit 110B, the luminance at the target position is used as the feature amount at the target position.
[0190]
In the television receiver 100 </ b> B, the user can adjust the brightness of an image displayed on the screen of the display unit 111 by operating the remote control transmitter 200. For example, the value of the parameter B indicating the luminance supplied from the system controller 101 to the image signal processing unit 110B by pressing the up key and the down key or rotating the knob such as a jog dial in the luminance selection mode. Can be changed.
[0191]
As will be described later, in the image signal processing unit 110B, HD pixel data is calculated by an estimation formula. As the coefficient data of this estimation formula, data corresponding to the parameter B described above is used. Thereby, the brightness of the image by the HD signal output from the image signal processing unit 110B corresponds to the value of the parameter B.
[0192]
In the state where the value of parameter B is changed by the user's operation of remote control transmitter 200, the value of parameter B is displayed on the screen of display unit 111. Although not shown here, this display is performed using numerical values or bar graphs. The user can change the value of the parameter B with reference to this display.
[0193]
The image signal processor 110B has an information memory bank 132B. In the present embodiment, the parameter B can be changed between 0 and 8. In the information memory bank 132B, coefficient data of each class at nine luminances corresponding to the discrete values 0, 1,..., 8 of the parameter B are stored in advance. Here, it is assumed that the luminance increases as the value of the parameter Q increases. A method of generating coefficient data corresponding to these nine luminances will be described later.
[0194]
As described above, when the 525i signal is converted into the 1050i signal, it is necessary to obtain four pixels of the 1050i signal corresponding to one pixel of the 525i signal in each of the odd and even fields. Therefore, a certain class of coefficient data at a certain luminance is composed of coefficient data corresponding to four pixels in a 2 × 2 unit pixel block constituting a 1050i signal in each of odd and even fields. The four pixels in the 2 × 2 unit pixel block have different phase relationships corresponding to the pixels of the 525i signal.
[0195]
As described above, the user supplies the image signal processing unit 110B from the system controller 101 by pressing the up key and the down key or rotating a knob such as a jog dial in the operation unit of the remote control transmitter 200. The value of the parameter B to be changed can be changed. The parameter B is supplied to the information memory bank 132B, and two discrete values m, m + 1 (m = 0, 1,...) Located in the vicinity of the value of the parameter B are supplied from the information memory bank 132B to the coefficient memory 131. .., 7) corresponding to each class of coefficient data is loaded.
[0196]
That is, when 0 ≦ B ≦ 1, coefficient data of each class corresponding to B = 0, 1 is obtained, and when 1 <B ≦ 2, coefficient data of each class corresponding to B = 1, 2 is obtained. When 2 <B ≦ 3, the coefficient data of each class corresponding to B = 2, 3 is equal, and when 3 <B ≦ 4, the coefficient data of each class corresponding to B = 3, 4 is 4 < When B ≦ 5, the coefficient data of each class corresponding to B = 4, 5 is 5 <B ≦ 6. When 5 <B ≦ 6, the coefficient data of each class corresponding to B = 5, 6 is 6 <B ≦. When 7 is set, coefficient data of each class corresponding to B = 6, 7 is obtained, and when 7 <B ≦ 8, coefficient data of each class corresponding to B = 7, 8 is obtained from the information memory bank 132B. It is loaded into the memory 131.
[0197]
The image signal processing unit 110B includes a coefficient selection circuit 133B that generates a coefficient selection signal SEL. This coefficient selection signal SEL is also supplied to the coefficient memory 131 as read address information, similar to the coefficient selection signal SEL generated by the coefficient selection circuit 133 in the image signal processing unit 110 of FIG. This is used to select one coefficient data among the coefficient data corresponding to the two discrete values of the parameter B, which is loaded and stored in the coefficient memory 131 from 132B.
[0198]
FIG. 18 shows the configuration of the coefficient selection circuit 133B. In FIG. 18, the same reference numerals are given to the portions corresponding to those in FIG.
The coefficient selection circuit 133B includes a luminance detection unit 141B, a luminance memory 142B, a luminance region determination unit 143B, a region detection unit 144B, and a coefficient selection signal generation unit 145B.
[0199]
The luminance detector 141B detects the luminance for each SD pixel constituting the SD signal (525i signal) of each field temporarily stored in the buffer memory 109. In this case, the luminance corresponding to a certain SD pixel (pixel of interest) is obtained, for example, by using a block having a predetermined size centered on the SD pixel and by simple averaging or weighted averaging of pixel values in the block.
[0200]
As described above, when a 525i signal is converted into a 1050i signal, in the odd and even fields, corresponding to one pixel of the 525i signal, four pixels of the 1050i signal are obtained by an estimation formula using the target pixel. is there. Therefore, detecting the luminance corresponding to each pixel constituting the SD signal (525i signal) in the luminance detection unit 141B means detecting the luminance of each of the four pixels (target pixel) constituting the HD signal (1050i signal). Will be.
[0201]
The luminance detection unit 141B performs luminance CH detection processing on an SD signal of a certain field stored in the buffer memory 109, for example, in a vertical blanking period. The luminance memory 142B stores the luminance CH corresponding to each SD pixel for one field detected in a certain vertical blanking period in the luminance detection unit 141B.
[0202]
In addition, the luminance region determination unit 143B divides the range from the minimum value to the maximum value of the luminance CH into four regions using the luminance CH corresponding to all SD pixels in a certain field stored in the luminance memory 142B. Four luminance regions are determined. The luminance area determining unit 143B performs the luminance area determining process in the vertical blanking period. In this case, the four luminance regions are determined so that the numbers included in each luminance region among the luminance CH corresponding to all SD pixels are substantially equal.
[0203]
FIG. 19 shows a histogram model of luminance CH corresponding to all SD pixels. CHmin indicates the minimum value of the luminance CH, and CHmax indicates the maximum value of the luminance CH. Ra, Rb, Rc, and Rd are four luminance areas, and Na, Nb, Nc, and Nd indicate the number included in each luminance area among the luminance CH corresponding to all SD pixels. In this case, the luminance regions Ra, Rb, Rc, Rd are determined so that the numbers Na, Nb, Nc, Nd are substantially equal.
[0204]
Here, let us consider the significance of the luminance regions Ra, Rb, Rc, and Rd. Since luminance CH increases in the order of Ra, Rb, Rc, and Rd, when generating HD pixel data from SD pixel data using coefficient data for obtaining the same luminance in the entire screen, it is within the luminance region on the Rd side. The portion where the luminance CH is detected becomes too bright and tends to be inappropriate. 20, a, b, c, and d indicate locations in the screen where the luminance CH in the luminance regions of Ra, Rb, Rc, and Rd is detected, respectively. Assuming that the degree of inappropriate luminance (failure degree) at each location is pa, pb, pc, pd, the relationship is pa <pb <pc <pd.
[0205]
The area detection unit 144B sequentially extracts the luminance CH corresponding to each SD pixel detected in the vertical blanking period in the luminance detection unit 141B and stored in the luminance memory 142B in the subsequent vertical effective scanning period, and outputs the luminance CH to each SD pixel. It is detected whether the corresponding luminance CH is included in the luminance regions Ra, Rb, Rc, and Rd determined by the luminance region determining unit 143A, and the detection information DET is output.
[0206]
The coefficient selection signal generation unit 145B generates the coefficient selection signal SEL from the detection information DET from the region detection unit 144B and the value of the parameter B supplied from the system controller 101. The coefficient selection signal generation unit 145B has a ROM 146B as a storage unit that stores the luminance selection information RES in the luminance regions Ra, Rb, Rc, and Rd corresponding to each value of the parameter B. FIG. 21 schematically shows the luminance selection information RES stored in the ROM 146B.
[0207]
In this figure, in a range (first range) in which “a” is described, RES = 1 when the luminance CH is included in the luminance region Ra, and when the luminance CH is included in the luminance regions Rb, Rc, and Rd. This means that RES = 0, and in the range (second range) in which “a, b” is described, when the luminance CH is included in the luminance regions Ra, Rb, RES = 1, and the luminance CH is luminance. When included in the regions Rc and Rd, this means that RES = 0, and in the range where “a, b, c” is described (third range), the luminance CH is included in the luminance regions Ra, Rb, Rc. Means RES = 1, and when the luminance CH is included in the luminance region Rd, it means that RES = 0, and in the range in which “a, b, c, d” is described (fourth range), When the luminance CH is included in any of the luminance regions Ra, Rb, Rc, Rd It means it is also a RES = 1.
[0208]
In this figure, i <B ≦ (i + 0.25) corresponds to the first range, (i + 0.25) <B ≦ (i + 0.5) corresponds to the second range, and (i + 0.5). ) <B ≦ (i + 0.75) corresponds to the third range, and (i + 0.75) <B ≦ (i + 1) corresponds to the fourth range. Here, i = 0, 1,... When B = 0, RES = 0 even when the luminance CH is included in any of the luminance regions Ra, Rb, Rc, Rd.
[0209]
The coefficient selection signal generation unit 145B takes out the detection information DET from the area detection unit 144B and the luminance selection information RES corresponding to the value of the parameter B supplied from the system controller 101 from the ROM 146B, and selects the luminance selection information RES as a coefficient. Output as signal SEL. For example, when the value of the parameter B is 0.4 and the detection information DET indicates that the luminance CH is included in the luminance region Ra, SEL = 1 is extracted from the ROM 146B, and 1 is selected as the coefficient selection signal SEL. Is output.
[0210]
The coefficient selection signal SEL output from the coefficient selection signal generation unit 145B is also an output of the coefficient selection circuit 133B. As described above, the coefficient selection signal SEL output from the coefficient selection circuit 133B is supplied to the coefficient memory 131 (see FIG. 17) as read address information as described above. As described above, the coefficient memory 131 is loaded with coefficient data corresponding to two discrete values m, m + 1 (m = 0, 1,..., 7) located in the vicinity of the value of the parameter B from the information memory bank 132B. However, when SEL = 0, coefficient data corresponding to the discrete value m is to be read, and when SEL = 1, coefficient data corresponding to the discrete value m + 1 is to be read.
The rest of the image signal processing unit 110B shown in FIG. 17 is configured in the same manner as the image signal processing unit 110 shown in FIG.
[0211]
Next, the operation of the image signal processing unit 110B will be described.
From the SD signal (525i signal) stored in the buffer memory 109, the second tap selection circuit 122 uses the four pixels in the unit pixel block constituting the HD signal (1050i signal) to be created (the pixel at the target position). The data of space class taps (SD pixel data) located in the vicinity of is selectively extracted. The space class detection circuit 124 obtains a requantization code qi as class information based on the space class tap data (see equation (1)).
[0212]
In addition, the third tap selection circuit 123 uses the SD signal stored in the buffer memory 109 to move around the four pixels (the pixel at the target position) in the unit pixel block constituting the HD signal to be created. Class tap data (SD pixel data) is selectively extracted. The motion class detection circuit 125 obtains class information MV of the motion class based on the data of the motion class tap.
[0213]
The class information MV and the above-described requantization code qi are supplied to the class synthesis circuit 126. In the class synthesis circuit 126, from the class information MV and the requantization code qi, for each unit pixel block constituting the HD signal to be created, data of four pixels in the unit pixel block (pixel data of the target position) A class code CL indicating the class to which the symbol belongs is obtained (see equation (3)). This class code CL is supplied to the coefficient memory 131 as read address information.
[0214]
Further, from the SD signal stored in the buffer memory 109, the coefficient selection circuit 133B corresponds to 4 pixels (pixel at the target position) in the unit pixel block for each unit pixel block constituting the HD signal to be created. A coefficient selection signal SEL to be generated is generated.
[0215]
That is, as shown in FIG. 18, the SD signal (525i signal) stored in the buffer memory 109 is supplied to the luminance detection unit 141B of the coefficient selection circuit 133B, and the luminance detection unit 141B constitutes the SD signal of each field. The luminance CH is detected for each SD pixel. Then, the luminance CH corresponding to the SD signal for one field detected in a certain vertical blanking period by the luminance detector 141B is stored in the luminance memory 142B.
[0216]
In addition, the luminance region determination unit 143B uses the luminance CH corresponding to the SD signal for one field stored in the luminance memory 142B during a certain vertical blanking period, and the minimum value CHmin of the luminance CH corresponding to all SD pixels. Is divided into four areas, and four luminance areas Ra, Rb, Rc, Rd are determined (see FIG. 19). In this case, the ranges of the four luminance regions Ra, Rb, Rc, and Rd are determined so that the numbers included in each luminance region out of the luminance CH corresponding to all SD pixels are substantially equal.
[0217]
Then, SD signals for one field stored in the luminance memory 142B in a certain vertical blanking period are sequentially taken out in the subsequent vertical effective scanning period and supplied to the area detection unit 144B, and the luminance CH corresponding to each SD pixel is obtained. , It is detected which of the above-described luminance regions Ra, Rb, Rc, Rd is included. This detection information DET is supplied to the coefficient selection signal generation unit 145B.
[0218]
The parameter B is further supplied from the system controller 101 to the coefficient selection signal generation unit 145B. As described above, the luminance selection information RES in the luminance regions Ra, Rb, Rc, and Rd corresponding to each value of the parameter B is stored in the ROM 146B included in the coefficient selection signal generation unit 145B. In the coefficient selection signal generation unit 145B, the detection information DET from the region detection unit 144B and the luminance selection information RES corresponding to the value of the parameter B supplied from the system controller 101 are extracted from the ROM 146B.
[0219]
The extracted luminance selection information RES becomes the coefficient selection signal SEL that is the output of the coefficient selection signal generation unit 145B and hence the coefficient selection circuit 133B. Therefore, the coefficient selection circuit 133B outputs a coefficient selection signal SEL corresponding to four pixels (pixels at the target position) in the unit pixel block for each unit pixel block constituting the HD signal (1050i signal) to be created. The The coefficient selection signal SEL is supplied to the coefficient memory 131 as read address information.
[0220]
The coefficient memory 131 stores coefficient data of each class corresponding to two discrete values m, m + 1 (m = 0, 1,..., 7) located in the vicinity of the value of the parameter B from the information memory bank 132B. Has been loaded. Such a coefficient data loading operation is performed, for example, when the value of the parameter B is changed and the coefficient data to be stored in the coefficient memory 131 needs to be changed.
[0221]
As described above, the class code CL and the coefficient selection signal SEL are supplied to the coefficient memory 131 as read address information, so that the coefficient data wi corresponding to the class code CL from the coefficient memory 131 and corresponding to the coefficient selection signal SEL. Is read and supplied to the estimated prediction calculation circuit 127. In this case, coefficient data corresponding to the discrete value m is read when SEL = 0, and coefficient data corresponding to the discrete value m + 1 is read when SEL = 1.
[0222]
Further, in the first tap selection circuit 121, four pixels (units of the target position) in the unit pixel block constituting the HD signal (1050i signal) to be created are generated from the SD signal (525i signal) stored in the buffer memory 109. Prediction tap data (SD pixel data) located around the (pixel) is selectively extracted. The prediction tap data xi is supplied to the estimated prediction calculation circuit 127.
[0223]
In the estimated prediction calculation circuit 127, four pixel data (HD pixel) in the unit pixel block constituting the HD signal to be created from the prediction tap data xi and the coefficient data wi for four pixels read from the coefficient memory 131. Data) y ₁ ~ Y _Four Are calculated individually (see equation (6)). The 4-pixel data y sequentially output from the estimated prediction calculation circuit 127 ₁ ~ Y _Four Is supplied to the post-processing circuit 128. The post-processing circuit 128 outputs 4-pixel data y sequentially output from the estimated prediction calculation circuit 127. ₁ ~ Y _Four Are line-sequentially output in a 1050i signal format. That is, the post-processing circuit 128 outputs a 1050i signal as an HD signal.
[0224]
As described above, each coefficient memory 131 corresponds to two discrete values m, m + 1 (m = 0, 1,..., 7) located in the vicinity of the value of the parameter B supplied from the system controller 101. Class coefficient data is loaded from the information memory bank 132B. Therefore, when the user operates the remote control transmitter 200 to change the value of the parameter B, the coefficient data stored in the coefficient memory 131 is changed accordingly, and the estimated prediction calculation circuit 127 changes the pixel data of the HD signal to the parameter B. It is generated corresponding to the value of. Therefore, the user can arbitrarily adjust the brightness of the image by the HD signal to a desired value by changing the value of the parameter B.
[0225]
Further, of the coefficient data of each class corresponding to two discrete values m, m + 1 (m = 0, 1,..., 7) located in the vicinity of the value of the parameter B stored in the coefficient memory 131, the estimation is performed. Coefficient data used when the prediction calculation circuit 127 actually generates the pixel data of the HD signal is determined based on the coefficient selection signal SEL generated by the coefficient selection circuit 133B. In other words, in what luminance region the degree to which the luminance CH of the four pixels (the pixel at the target position) in the unit pixel block constituting the HD signal to be generated becomes inappropriate luminance (degree of failure) is included in the parameter Whether coefficient data corresponding to the discrete value m or coefficient data corresponding to the discrete value m + 1 is used is determined depending on whether the value of B is from m to m + 1. Incidentally, the coefficient data corresponding to the discrete value m + 1 is for obtaining higher luminance than the coefficient data corresponding to the discrete value m.
[0226]
For example, the coefficient data corresponding to the discrete value m + 1 is used only when the value of the parameter B is closer to m and the luminance CH is included in the luminance region where the degree of inappropriateness (failure degree) is low (degradation degree) ( (See FIG. 21).
[0227]
In this way, the same coefficient data is not used uniformly over the entire screen, but pixel data of the target position is generated using coefficient data selected according to the luminance of the target position. As a result, when adjusting the brightness by changing the value of parameter B, the location where the brightness CH is included in the brightness area where the degree of inappropriate brightness (failure degree) is high becomes inappropriate brightness. This can prevent the image quality of the HD signal.
[0228]
For example, consider an image as shown in FIG. In this image, the dog on the left has a dark body color and is in the shadow of the house, making it difficult to see. In such a case, when the brightness is adjusted to be high, at first, as shown in FIG. 24C, only a dark place becomes bright. Therefore, it becomes bright only around the dark-colored dog, making it easier to see the dog. In this case, since the entire image does not become bright, the entire image does not become whitish and unnatural. When the luminance is further increased, the entire image changes brightly as shown in FIG. 24D.
[0229]
In the above embodiment, in order to simplify the description, the range from the minimum value CHmin to the maximum value CHmax of the luminance CH is divided into four regions to determine four luminance regions Ra to Rd (see FIG. 19). ), And correspondingly, each of the discrete values of the parameter B is divided into four ranges (see FIG. 21). However, the number of these is actually increased, for example, 10.
[0230]
In the above-described embodiment, the numbers Na, Nb, Nc, and Nd included in each luminance region out of the luminance CH corresponding to all SD pixels are substantially equal, but it is not always necessary to be equal. However, by making the numbers Na, Nb, Nc, and Nd substantially equal, a change in the brightness of the HD image proportional to the change in the value of the parameter B can be expected.
[0231]
Further, the processing in the image signal processing unit 110B in FIG. 17 can also be realized by software by an image signal processing device 300 as shown in FIG. 11, for example. The image signal processing in that case is basically performed according to the flowchart shown in FIG.
However, since the image signal processing unit 110 in FIG. 17 can adjust the luminance of the image, the value of the parameter B input by the user operating the remote control transmitter 200 instead of the parameter Q in step ST5. Is read from the RAM 303, for example.
[0232]
In addition, since the image signal processing unit 110B in FIG. 17 uses the luminance at the target position as the feature amount at the target position, the processes in step ST7 and step ST10 are as follows, but the processes in other steps are as follows. The same as described above.
[0233]
In step ST7, the luminance of each SD pixel is obtained from the SD pixel data for one field input in step ST2, and four luminance regions Ra to Rd are determined using the luminance CH of each SD pixel (FIG. 19).
[0234]
In step ST10, it is detected which of the above four luminance areas Ra to Rd the luminance CH of the SD pixel corresponding to each HD pixel data to be generated (pixel data of the target position) is included.
[0235]
Also, the coefficient data wi of each class corresponding to the discrete values of parameter B 0, 1,..., 8 stored in the information memory bank 132B in the image signal processing unit 110B of FIG. Can be generated by a coefficient data generation device having the same configuration as the coefficient data generation device 150 shown in FIG. In this case, the parameter B may be input to the SD signal generation circuit 152 instead of the parameter Q, and the luminance of the SD signal may be changed stepwise depending on the value of the parameter B.
[0236]
In the above-described embodiment, the linear equation is used as the estimation equation when generating the HD signal. However, the present invention is not limited to this, and for example, a higher-order equation is used as the estimation equation. It may be a thing.
[0237]
In the above-described embodiment, an example in which an SD signal (525i signal) is converted into an HD signal (1050i signal) has been described. However, the present invention is not limited to this, and the first equation is estimated using an estimation formula. Of course, the present invention can be similarly applied to other cases in which the image signal is converted into the second image signal.
[0238]
Moreover, although the case where the information signal is an image signal has been described in the above embodiment, the present invention is not limited to this. For example, the present invention can be similarly applied when the information signal is an audio signal. In the case of an audio signal, for example, the volume is adjusted according to a parameter value, and the feature amount detected by the feature amount detection means may be set as the volume at the target position. In this case, the relationship is the same as the luminance in the image signal processing unit 110B of FIG. 17 described above, and the volume is too high in a portion where the volume is included in a volume area where the degree of inappropriate volume (destruction level) is high. It is possible to prevent the volume from becoming inappropriate.
[0239]
In the present invention, the output quality adjusted by the parameter value and the detected feature amount pair are not limited to the above-described embodiment. In short, in addition to the value of the parameter indicating the output quality of the second information signal, the feature data at the detected position of interest is also referenced to generate information data of the position of interest in the second information signal. This prevents the occurrence of a location having an inappropriate quality for output by the second information signal.
[0240]
【The invention's effect】
According to the present invention, the first information signal is converted into the first information signal using the resolution creation technique. Higher resolution When converting to the second information signal, the feature amount at the target position of the second information signal is detected, and in addition to the parameter indicating the quality of the output by the second information signal, the detected feature amount is also referred. Thus, the information data of the position of interest in the second information signal is generated, and it is possible to prevent the occurrence of a location having an inappropriate quality for the output by the second information signal.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a television receiver as an embodiment.
FIG. 2 is a block diagram showing a configuration of a coefficient selection circuit.
FIG. 3 is a diagram for explaining a dynamic range DR constituting a feature amount;
FIG. 4 is a diagram for explaining an activity ACT constituting a feature amount;
FIG. 5 is a diagram showing a model of a dynamic range and activity detection part;
FIG. 6 is a diagram illustrating a histogram model of feature amounts corresponding to all SD pixels in one field.
FIG. 7 is a diagram illustrating an example of a location in each feature amount area in a screen and a degree of failure.
FIG. 8 is a diagram schematically illustrating resolution selection information in a ROM included in a coefficient selection signal generation unit.
FIG. 9 is a diagram for explaining a change in coefficient data used at each location in the screen with respect to a change in the value of a parameter Q indicating resolution.
FIG. 10 is a block diagram illustrating a configuration of a coefficient data generation device.
FIG. 11 is a block diagram illustrating a configuration example of an image signal processing device to be realized by software.
FIG. 12 is a flowchart showing a procedure of image signal processing.
FIG. 13 is a block diagram illustrating a configuration of a television receiver according to another embodiment.
FIG. 14 is a block diagram illustrating a configuration of a coefficient selection circuit.
FIG. 15 is a diagram showing a histogram model of the amount of motion corresponding to all SD pixels in one field.
FIG. 16 is a diagram illustrating an example of a location in each motion amount region on the screen and the degree of failure.
FIG. 17 is a block diagram illustrating a configuration of a television receiver according to another embodiment.
FIG. 18 is a block diagram illustrating a configuration of a coefficient selection circuit.
FIG. 19 is a diagram illustrating a histogram model of luminance corresponding to all SD pixels in one field.
FIG. 20 is a diagram illustrating an example of a location in each luminance region on the screen and the degree of failure.
FIG. 21 is a diagram schematically illustrating luminance selection information in a ROM included in a coefficient selection signal generation unit.
FIG. 22 is a model diagram for explaining motion blur.
FIG. 23 is a model diagram for explaining motion blur of a large object.
FIG. 24 is a diagram for describing image change during brightness adjustment;
FIG. 25 is a diagram for explaining a pixel positional relationship between a 525i signal and a 1050i signal.
[Explanation of symbols]
100, 100A, 100B ... TV receiver, 101 ... system controller, 102 ... remote control signal receiving circuit, 105 ... receiving antenna, 106 ... tuner, 109 ... buffer memory, 110, 110A, 110B ... Image signal processing unit, 111 ... Display unit, 121 ... First tap selection circuit, 122 ... Second tap selection circuit, 123 ... Third tap selection circuit , 124, 124A ... Spatial class detection circuit, 125 ... Motion class detection circuit, 126 ... Class synthesis circuit, 127 ... Estimated prediction calculation circuit, 128 ... Post-processing circuit, 131 ... Coefficient memory, 132 ... Information memory bank, 133, 133A, 133B ... Coefficient selection circuit, 141 ... Feature amount detection unit, 141A ... Amount detection unit, 141B ... Luminance detection unit, 142 ... Feature amount memory, 142A ... Motion amount memory, 142B ... Luminance memory, 143 ... Feature amount region determination unit, 143A ... Motion Quantity region determining unit, 143B ... Luminance region determining unit, 144, 144A, 144B ... Region detecting unit, 145, 145A, 145B ... Coefficient selection signal generating unit, 150 ... Coefficient data generating device, 151 ... Input terminal, 152 ... SD signal generation circuit, 153 ... first tap selection circuit, 154 ... second tap selection circuit, 155 ... third tap selection circuit, 157 ..Space class detection circuit, 158... Motion class detection circuit, 159... Class synthesis circuit, 160... Normal equation generation unit, 161 .. coefficient data determination unit, 162. 200 ... remote control transmitter, 300 ... image signal processing device

Claims (14)

複数の情報データからなる第１の情報信号を、当該第１の情報信号より情報量の多い第２の情報信号に変換する情報信号処理装置であって、
上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、
上記第１のデータ選択手段で選択された複数の第１の情報データに所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度、動き量及び音量のいずれかを示す上記注目位置における特徴量を検出する特徴量検出手段と、
上記第２の情報信号による出力の大きさを示す、上記特徴量に対応したパラメータの値が外部から入力されるパラメータ入力手段と、
上記特徴量検出手段で検出された特徴量および上記パラメータ入力手段に入力されたパラメータの値に対応して、上記第２の情報信号における注目位置の情報データを生成する情報データ生成手段とを備え、
上記情報データ生成手段は、
上記パラメータ入力手段に入力されたパラメータの値に対応する複数の代表的な大きさごとに予め算出され、上記第１の情報信号を代入して積和演算することにより上記第２の情報信号を推定するための推定式の係数データの候補である係数データ候補を発生する係数データ候補発生手段と、
上記特徴量検出手段で検出された特徴量と上記パラメータ入力手段に入力されたパラメータの値に基づいて、上記複数の代表的な大きさのうち一つの大きさを特定する大きさ特定手段と、
上記係数データ候補発生手段で発生された係数データ候補の中から、上記大きさ特定手段で特定された大きさに対応する係数データを選択する係数データ選択手段と、
上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第２のデータ選択手段と、
上記第２のデータ選択手段で選択された複数の第１の情報データと上記係数データ選択手段で選択された係数データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出する演算手段とを有し、
上記大きさ特定手段は、
画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記特徴量検出手段で検出される特徴量が含まれる特徴量領域を検出する検出手段と、
上記パラメータの各値に対応した、上記複数の特徴量領域における大きさ選択情報を格納する格納手段と、
上記格納手段より上記パラメータ入力手段に入力されたパラメータの値および上記検出手段で検出された特徴量領域に対応した大きさ選択情報を取り出し、該大きさ選択情報に基づいて上記一つの大きさを特定する特定手段と
を有することを特徴とする情報信号処理装置。The first information signal comprising a plurality of information data, an information signal processing apparatus for converting to more second information signal amount of information than the first information signal,
First data selection means for selecting a plurality of first information data located around the position of interest in the second information signal from the first information signal;
A feature amount calculated by performing a predetermined calculation on the plurality of first information data selected by the first data selection means, at least a value obtained from the activity and dynamic range of the predetermined pixel value, Feature quantity detection means for detecting a feature quantity at the position of interest indicating any one of luminance, amount of motion and volume ;
Parameter input means for externally inputting a parameter value corresponding to the feature amount, which indicates the magnitude of the output of the second information signal;
Information data generating means for generating information data of a position of interest in the second information signal corresponding to the feature value detected by the feature value detecting means and the value of the parameter input to the parameter input means. ,
The information data generating means includes
The second information signal is calculated in advance for each of a plurality of representative sizes corresponding to the value of the parameter input to the parameter input means, and the second information signal is calculated by substituting the first information signal for a product-sum operation. Coefficient data candidate generating means for generating coefficient data candidates that are candidates of coefficient data of an estimation formula for estimation;
A size specifying unit for specifying one of the plurality of representative sizes based on the feature amount detected by the feature amount detection unit and the value of the parameter input to the parameter input unit;
Coefficient data selecting means for selecting coefficient data corresponding to the size specified by the size specifying means from the coefficient data candidates generated by the coefficient data candidate generating means;
Second data selection means for selecting a plurality of first information data located around the position of interest in the second information signal from the first information signal;
Using the plurality of first information data selected by the second data selection means and the coefficient data selected by the coefficient data selection means, the information data of the attention position is calculated based on the estimation formula. Computing means,
The size specifying means is:
Detecting means for detecting a feature quantity region including a feature quantity detected by the feature quantity detection means among a plurality of feature quantity areas determined based on the feature quantity detected over the entire screen;
Storage means for storing size selection information in the plurality of feature amount regions corresponding to each value of the parameter;
The size selection information corresponding to the value of the parameter input to the parameter input means and the feature amount area detected by the detection means is extracted from the storage means, and the one size is determined based on the size selection information. An information signal processing apparatus comprising: a specifying means for specifying. 上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第３のデータ選択手段と、
上記第３のデータ選択手段で選択された複数の第１の情報データのレベル分布パターンに基づいて、上記注目位置の情報データが属するクラスを検出するクラス検出手段とをさらに備え、
上記係数データ候補発生手段は、上記クラス毎に上記係数データ候補を発生し、
上記係数データ選択手段は、上記係数データ候補発生手段で発生された係数データ候補の中から、上記大きさ特定手段で特定された大きさおよび上記クラス検出手段で検出されたクラスに対応する係数データを選択する
ことを特徴とする請求項１に記載の情報信号処理装置。Third data selection means for selecting a plurality of first information data located around the position of interest in the second information signal from the first information signal;
Class detection means for detecting a class to which the information data of the target position belongs based on the level distribution pattern of the plurality of first information data selected by the third data selection means;
The coefficient data candidate generating means generates the coefficient data candidates for each class,
The coefficient data selecting means is coefficient data corresponding to the size specified by the size specifying means and the class detected by the class detecting means from the coefficient data candidates generated by the coefficient data candidate generating means. The information signal processing device according to claim 1, wherein the information signal processing device is selected. 上記情報信号は画像信号であり、
上記特徴量検出手段で検出される特徴量が、上記注目位置における輝度の場合、
上記パラメータ入力手段に入力されるパラメータの値は、上記第２の情報信号による画像の輝度を示すものである
ことを特徴とする請求項１に記載の情報信号処理装置。The information signal is an image signal,
Feature quantity detected by the feature quantity detecting means, when the luminance at the target position,
The information signal processing apparatus according to claim 1, wherein the value of the parameter input to the parameter input unit indicates a luminance of an image based on the second information signal. 上記情報信号は音声信号であり、
上記特徴量検出手段で検出される特徴量が、上記注目位置における音量の場合、
上記パラメータ入力手段に入力されるパラメータの値は、上記第２の情報信号による音の音量を示すものである
ことを特徴とする請求項１に記載の情報信号処理装置。The information signal is an audio signal,
Feature quantity detected by the feature quantity detecting means, when the volume in the target position,
The information signal processing apparatus according to claim 1, wherein the value of the parameter input to the parameter input means indicates a sound volume of the second information signal. 入力された複数の画素データからなる第１の画像信号を、複数の画素データからなる上記第１の画像信号より高解像度な第２の画像信号に変換して出力する画像信号処理装置において、
上記第２の画像信号による画像の解像度又は輝度を示すパラメータの値が外部から入力されるパラメータ入力手段と、
上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第１のデータ選択手段と、
上記第１のデータ選択手段で選択された複数の第１の画素データの値に所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度及び動き量のいずれかを示す上記注目位置における特徴量を検出する特徴量検出手段と、
上記特徴量検出手段で検出された特徴量および上記パラメータ入力手段に入力された所定の上記パラメータの値に対応して、上記第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備え、
上記画素データ生成手段は、
上記パラメータ入力手段に入力されたパラメータの値に対応する複数の代表的な解像度ごとに予め算出され、上記第１の画像信号を代入して積和演算することにより上記第２の画像信号を推定するための推定式の係数データの候補である係数データ候補を発生する係数データ候補発生手段と、
上記特徴量検出手段で検出された特徴量と上記パラメータ入力手段に入力されたパラメータの値に基づいて、上記複数の代表的な解像度のうち一つの解像度を特定する解像度特定手段と、
上記係数データ候補発生手段で発生された係数データ候補の中から、上記解像度特定手段で特定された解像度に対応する係数データを選択する係数データ選択手段と、
上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第２のデータ選択手段と、
上記第２のデータ選択手段で選択された複数の第１の画素データと上記係数データ選択手段で選択された係数データとを用いて、上記推定式に基づいて上記注目位置の画素データを算出する演算手段とを有し、
上記解像度特定手段は、
画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記特徴量検出手段で検出される特徴量が含まれる特徴量領域を検出する検出手段と、
上記パラメータの各値に対応した、上記複数の特徴量領域における解像度選択情報を格納する格納手段と、
上記格納手段より上記パラメータ入力手段に入力されたパラメータの値および上記検出手段で検出された特徴量領域に対応した解像度選択情報を取り出し、該解像度選択情報に基づいて上記一つの解像度を特定する特定手段と
を有することを特徴とする画像処理装置。In the image signal processing apparatus for converting the first image signal composed of a plurality of input pixel data into a second image signal having a higher resolution than the first image signal composed of a plurality of pixel data, and outputting the second image signal.
Parameter input means for inputting a value of a parameter indicating the resolution or luminance of the image by the second image signal from the outside;
First data selection means for selecting a plurality of first pixel data located around a target position in the second image signal from the first image signal;
A feature amount calculated by performing a predetermined calculation on the values of the plurality of first pixel data selected by the first data selection means, and is obtained from at least the activity and the dynamic range of the predetermined pixel value. A feature amount detecting means for detecting a feature amount at the position of interest indicating any one of a value, a luminance, and a motion amount ;
Pixel data generation means for generating pixel data of the target position in the second image signal in correspondence with the feature quantity detected by the feature quantity detection means and the value of the predetermined parameter input to the parameter input means And
The pixel data generation means includes
The second image signal is estimated by calculating in advance for each of a plurality of representative resolutions corresponding to the parameter values input to the parameter input means, and performing a product-sum operation by substituting the first image signal. Coefficient data candidate generating means for generating coefficient data candidates that are coefficient data candidates of the estimation formula for
A resolution specifying unit for specifying one of the plurality of representative resolutions based on the feature amount detected by the feature amount detection unit and the value of the parameter input to the parameter input unit;
Coefficient data selecting means for selecting coefficient data corresponding to the resolution specified by the resolution specifying means from the coefficient data candidates generated by the coefficient data candidate generating means;
Second data selection means for selecting a plurality of first pixel data located around a target position in the second image signal from the first image signal;
Using the plurality of first pixel data selected by the second data selection unit and the coefficient data selected by the coefficient data selection unit, the pixel data of the target position is calculated based on the estimation formula. Computing means,
The resolution specifying means is:
Detecting means for detecting a feature quantity region including a feature quantity detected by the feature quantity detection means among a plurality of feature quantity areas determined based on the feature quantity detected over the entire screen;
Storage means for storing resolution selection information in the plurality of feature amount regions corresponding to each value of the parameter;
A specification for extracting the resolution value corresponding to the parameter value input to the parameter input means and the feature amount area detected by the detection means from the storage means, and specifying the one resolution based on the resolution selection information And an image processing apparatus. 上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第３のデータ選択手段と、
上記第３のデータ選択手段で選択された複数の第１の画素データのレベル分布パターンに基づいて、上記注目位置の画素データが属するクラスを検出するクラス検出手段とをさらに備え、
上記係数データ候補発生手段は、上記クラス毎に上記係数データ候補を発生し、
上記係数データ選択手段は、上記係数データ候補発生手段で発生された係数データ候補の中から、上記解像度特定手段で特定された解像度および上記クラス検出手段で検出されたクラスに対応する係数データを選択する
ことを特徴とする請求項５に記載の画像処理装置。Third data selection means for selecting a plurality of first pixel data located around the position of interest in the second image signal from the first image signal;
Class detecting means for detecting a class to which the pixel data of the target position belongs based on the level distribution pattern of the plurality of first pixel data selected by the third data selecting means;
The coefficient data candidate generating means generates the coefficient data candidates for each class,
The coefficient data selecting means selects coefficient data corresponding to the resolution specified by the resolution specifying means and the class detected by the class detecting means from the coefficient data candidates generated by the coefficient data candidate generating means. The image processing apparatus according to claim 5, wherein: 上記特徴量検出手段は、上記複数の第１の画素データ内の隣接画素の絶対値和と、上記複数の第１の画素データ内のダイナミックレンジとを使用して、上記注目位置の周辺における高周波成分量に関係する特徴量を求める
ことを特徴とする請求項５に記載の画像処理装置。The feature amount detection means uses a sum of absolute values of adjacent pixels in the plurality of first pixel data and a dynamic range in the plurality of first pixel data to generate a high frequency around the target position. The image processing apparatus according to claim 5, wherein a feature amount related to the component amount is obtained. 上記画像信号処理手段から出力される上記第２の画像信号による画像を画像表示素子に表示する画像表示手段をさらに備える
ことを特徴とする請求項５に記載の画像処理装置。The image processing apparatus according to claim 5, further comprising image display means for displaying an image based on the second image signal output from the image signal processing means on an image display element. 複数の情報データからなる第１の情報信号を、当該第１の情報信号より情報量の多い第２の情報信号に変換する情報信号処理方法であって、
上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第１のステップと、
上記第１のステップで選択された複数の第１の情報データの値に所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度、動き量及び音量のいずれかを示す上記注目位置における特徴量を検出する第２のステップと、
上記第２の情報信号による出力の大きさを示す、上記特徴量に対応したパラメータの値を外部から取得する第３のステップと、
上記第２のステップで検出された特徴量および上記第３のステップで取得されたパラメータの値に対応して、上記第２の情報信号における注目位置の情報データを生成する第４のステップとを有し、
上記第４のステップは、
上記第３のステップで取得したパラメータの値に対応する複数の代表的な大きさごとに予め算出され、上記第１の情報信号を代入して積和演算することにより上記第２の情報信号を推定するための推定式の係数データの候補である係数データ候補を発生する第５のステップと、
上記第２のステップで検出された特徴量と上記第３のステップで取得したパラメータの値に基づいて、上記複数の代表的な大きさのうち一つの大きさを特定する第６のステップと、
上記第５のステップで発生された係数データ候補の中から、上記第６のステップで特定された大きさに対応する係数データを選択する第７のステップと、
上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第８のステップと、
上記第８のステップで選択された複数の第１の情報データと上記第７のステップで選択された係数データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出する第９のステップとを有し、
上記第６のステップは、
画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記第２のステップで検出される特徴量が含まれる特徴量領域を検出する第１０のステップと、
上記パラメータの各値に対応した、上記複数の特徴量領域における大きさ選択情報を格納する第１１のステップと、
上記第３のステップで取得したパラメータの値および上記第１０のステップで検出した特徴量領域に対応した大きさ選択情報を取り出し、該大きさ選択情報に基づいて上記一つの大きさを特定する第１２のステップと
を有することを特徴とする情報信号処理方法。The first information signal comprising a plurality of information data, an information signal processing method for converting the second information signal greater amount of information than the first information signal,
A first step of selecting a plurality of first information data located around a position of interest in the second information signal from the first information signal;
A feature amount calculated by performing a predetermined calculation on the values of the plurality of first information data selected in the first step, at least a value obtained from an activity and a dynamic range of the predetermined pixel value; A second step of detecting a feature amount at the position of interest indicating any one of luminance, amount of motion, and volume ;
A third step of acquiring a value of a parameter corresponding to the feature amount, which indicates the magnitude of the output by the second information signal, from the outside;
A fourth step of generating information data of a target position in the second information signal corresponding to the feature amount detected in the second step and the parameter value obtained in the third step; Have
The fourth step is
The second information signal is calculated in advance for each of a plurality of representative sizes corresponding to the parameter values acquired in the third step, and the second information signal is calculated by substituting the first information signal for a product-sum operation A fifth step of generating coefficient data candidates that are coefficient data candidates of the estimation formula for estimation;
A sixth step of identifying one of the plurality of representative sizes based on the feature amount detected in the second step and the value of the parameter acquired in the third step;
A seventh step of selecting coefficient data corresponding to the size specified in the sixth step from the coefficient data candidates generated in the fifth step;
An eighth step of selecting a plurality of first information data located around the position of interest in the second information signal from the first information signal;
Ninth information for calculating the information data of the attention position based on the estimation formula using the plurality of first information data selected in the eighth step and the coefficient data selected in the seventh step. And having steps of
The sixth step is
A tenth step of detecting a feature amount region including the feature amount detected in the second step among a plurality of feature amount regions determined based on the feature amount detected over the entire screen; ,
An eleventh step of storing size selection information in the plurality of feature amount regions corresponding to each value of the parameter;
The size selection information corresponding to the parameter value acquired in the third step and the feature amount region detected in the tenth step is extracted, and the one size is specified based on the size selection information. 12. An information signal processing method comprising: twelve steps. 複数の情報データからなる第１の情報信号を、当該第１の情報信号より情報量の多い第２の情報信号に変換するために、
上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第１のステップと、
上記第１のステップで選択された複数の第１の情報データの値に所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度、動き量及び音量のいずれかを示す上記注目位置における特徴量を検出する第２のステップと、
上記第２の情報信号による出力の大きさを示す、上記特徴量に対応したパラメータの値を外部から取得する第３のステップと、
上記第２のステップで検出された特徴量と上記第３のステップで取得されたパラメータの値に対応して、上記第２の情報信号における注目位置の情報データを生成する第４のステップとを有し、
上記第４のステップは、
上記第３のステップで取得したパラメータの値に対応する複数の代表的な大きさごとに予め算出され、上記第１の情報信号を代入して積和演算することにより上記第２の情報信号を推定するための推定式の係数データの候補である係数データ候補を発生する第５のステップと、
上記第２のステップで検出された特徴量と上記第３のステップで取得したパラメータの値に基づいて、上記複数の代表的な大きさのうち一つの大きさを特定する第６のステップと、
上記第５のステップで発生された係数データ候補の中から、上記第６のステップで特定された大きさに対応する係数データを選択する第７のステップと、
上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第８のステップと、
上記第８のステップで選択された複数の第１の情報データと上記第７のステップで選択された係数データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出する第９のステップとを有し、
上記第６のステップは、
画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記第２のステップで検出される特徴量が含まれる特徴量領域を検出する第１０のステップと、
上記パラメータの各値に対応した、上記複数の特徴量領域における大きさ選択情報を格納する第１１のステップと、
上記第３のステップで取得したパラメータの値および上記第１０のステップで検出した特徴量領域に対応した大きさ選択情報を取り出し、該大きさ選択情報に基づいて上記一つの大きさを特定する第１２のステップとを有する情報信号処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体。The first information signal comprising a plurality of information data, in order to convert to more second information signal amount of information than the first information signal,
A first step of selecting a plurality of first information data located around a position of interest in the second information signal from the first information signal;
A feature amount calculated by performing a predetermined calculation on the values of the plurality of first information data selected in the first step, at least a value obtained from an activity and a dynamic range of the predetermined pixel value; A second step of detecting a feature amount at the position of interest indicating any one of luminance, amount of motion, and volume ;
A third step of acquiring a value of a parameter corresponding to the feature amount, which indicates the magnitude of the output by the second information signal, from the outside;
A fourth step of generating information data of a position of interest in the second information signal corresponding to the feature amount detected in the second step and the value of the parameter acquired in the third step; Have
The fourth step is
The second information signal is calculated in advance for each of a plurality of representative sizes corresponding to the parameter values acquired in the third step, and the second information signal is calculated by substituting the first information signal for a product-sum operation A fifth step of generating coefficient data candidates that are coefficient data candidates of the estimation formula for estimation;
A sixth step of identifying one of the plurality of representative sizes based on the feature amount detected in the second step and the value of the parameter acquired in the third step;
A seventh step of selecting coefficient data corresponding to the size specified in the sixth step from the coefficient data candidates generated in the fifth step;
An eighth step of selecting a plurality of first information data located around the position of interest in the second information signal from the first information signal;
Ninth information for calculating the information data of the attention position based on the estimation formula using the plurality of first information data selected in the eighth step and the coefficient data selected in the seventh step. And having steps of
The sixth step is
A tenth step of detecting a feature amount region including the feature amount detected in the second step among a plurality of feature amount regions determined based on the feature amount detected over the entire screen; ,
An eleventh step of storing size selection information in the plurality of feature amount regions corresponding to each value of the parameter;
The size selection information corresponding to the parameter value acquired in the third step and the feature amount area detected in the tenth step is extracted, and the one size is specified based on the size selection information. A computer-readable medium storing a program for causing a computer to execute an information signal processing method having 12 steps. 複数の情報データからなる第１の情報信号を、当該第１の情報信号より情報量の多い第２の情報信号に変換するために、
上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第１のステップと、
上記第１のステップで選択された複数の第１の情報データの値に所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度、動き量及び音量のいずれかを示す上記注目位置における特徴量を検出する第２のステップと、
上記第２の情報信号による出力の大きさを示す、上記特徴量に対応したパラメータの値を外部から取得する第３のステップと、
上記第２のステップで検出された特徴量と上記第３のステップで取得されたパラメータに対応して、上記第２の情報信号における注目位置の情報データを生成する第４のステップとを有し、
上記第４のステップは、
上記第３のステップで取得したパラメータの値に対応する複数の代表的な大きさごとに予め算出され、上記第１の情報信号を代入して積和演算することにより上記第２の情報信号を推定するための推定式の係数データの候補である係数データ候補を発生する第５のステップと、
上記第２のステップで検出された特徴量と上記第３のステップで取得したパラメータの値に基づいて、上記複数の代表的な大きさのうち一つの大きさを特定する第６のステップと、
上記第５のステップで発生された係数データ候補の中から、上記第６のステップで特定された大きさに対応する係数データを選択する第７のステップと、
上記第１の情報信号から上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第８のステップと、
上記第８のステップで選択された複数の第１の情報データと上記第７のステップで選択された係数データとを用いて、上記推定式に基づいて上記注目位置の情報データを算出する第９のステップとを有し、
上記第６のステップは、
画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記第２のステップで検出される特徴量が含まれる特徴量領域を検出する第１０のステップと、
上記パラメータの各値に対応した、上記複数の特徴量領域における大きさ選択情報を格納する第１１のステップと、
上記第３のステップで取得したパラメータの値および上記第１０のステップで検出した特徴量領域に対応した大きさ選択情報を取り出し、該大きさ選択情報に基づいて上記一つの大きさを特定する第１２のステップとを有する情報信号処理方法をコンピュータに実行させるためのプログラム。The first information signal comprising a plurality of information data, in order to convert to more second information signal amount of information than the first information signal,
A first step of selecting a plurality of first information data located around a position of interest in the second information signal from the first information signal;
A feature amount calculated by performing a predetermined calculation on the values of the plurality of first information data selected in the first step, at least a value obtained from an activity and a dynamic range of the predetermined pixel value; A second step of detecting a feature amount at the position of interest indicating any one of luminance, amount of motion, and volume ;
A third step of acquiring a value of a parameter corresponding to the feature amount, which indicates the magnitude of the output by the second information signal, from the outside;
A fourth step of generating information data of a target position in the second information signal corresponding to the feature amount detected in the second step and the parameter acquired in the third step; ,
The fourth step is
The second information signal is calculated in advance for each of a plurality of representative sizes corresponding to the parameter values acquired in the third step, and the second information signal is calculated by substituting the first information signal for a product-sum operation A fifth step of generating coefficient data candidates that are coefficient data candidates of the estimation formula for estimation;
A sixth step of identifying one of the plurality of representative sizes based on the feature amount detected in the second step and the value of the parameter acquired in the third step;
A seventh step of selecting coefficient data corresponding to the size specified in the sixth step from the coefficient data candidates generated in the fifth step;
An eighth step of selecting a plurality of first information data located around the position of interest in the second information signal from the first information signal;
Ninth information for calculating the information data of the attention position based on the estimation formula using the plurality of first information data selected in the eighth step and the coefficient data selected in the seventh step. And having steps of
The sixth step is
A tenth step of detecting a feature amount region including the feature amount detected in the second step among a plurality of feature amount regions determined based on the feature amount detected over the entire screen; ,
An eleventh step of storing size selection information in the plurality of feature amount regions corresponding to each value of the parameter;
The size selection information corresponding to the parameter value acquired in the third step and the feature amount area detected in the tenth step is extracted, and the one size is specified based on the size selection information. A program for causing a computer to execute an information signal processing method having 12 steps. 入力された複数の画素データからなる第１の画像信号を、複数の画素データからなる上記第１の画像信号より高解像度な第２の画像信号に変換して出力する画像信号処理方法において、
上記第２の画像信号による画像の解像度又は輝度を示すパラメータの値を外部から取得する第１のステップと、
上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第２のステップと、
上記第２のステップで選択された複数の第１の画素データの値に所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度及び動き量のいずれかを示す上記注目位置における特徴量を検出する第３のステップと、
上記第３のステップで検出された特徴量および上記第１のステップで取得した所定の上記パラメータの値に対応して、上記第２の画像信号における注目位置の画素データを生成する第４のステップとを有し、
上記第４のステップは、
上記第１のステップで取得したパラメータの値に対応する複数の代表的な解像度ごとに予め算出され、上記第１の画像信号を代入して積和演算することにより上記第２の画像信号を推定するための推定式の係数データの候補である係数データ候補を発生する第５のステップと、
上記第３のステップで検出された特徴量と上記第１のステップで取得したパラメータの値に基づいて、上記複数の代表的な解像度のうち一つの解像度を特定する第６のステップと、
上記第５のステップで発生された係数データ候補の中から、上記第６のステップで特定された解像度に対応する係数データを選択する第７のステップと、
上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第８のステップと、
上記第８のステップで選択された複数の第１の画素データと上記第７のステップで選択された係数データとを用いて、上記推定式に基づいて上記注目位置の画素データを算出する第９のステップとを有し、
上記第６のステップは、
画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記特徴量検出手段で検出される特徴量が含まれる特徴量領域を検出する第１０のステップと、
上記パラメータの各値に対応した、上記複数の特徴量領域における解像度選択情報を格納する第１１のステップと、
上記第１のステップで取得したパラメータの値および上記第１０のステップで検出された特徴量領域に対応した解像度選択情報を取り出し、該解像度選択情報に基づいて上記一つの解像度を特定する第１２のステップと
を有することを特徴とする画像処理方法。In an image signal processing method for converting a first image signal composed of a plurality of input pixel data into a second image signal having a higher resolution than the first image signal composed of a plurality of pixel data, and outputting the second image signal.
A first step of acquiring a value of a parameter indicating the resolution or luminance of an image based on the second image signal from the outside;
A second step of selecting a plurality of first pixel data located around a position of interest in the second image signal from the first image signal;
A feature amount calculated by performing a predetermined calculation on the values of the plurality of first pixel data selected in the second step, at least a value obtained from an activity and a dynamic range of the predetermined pixel value; A third step of detecting a feature amount at the target position indicating either luminance or motion amount ;
A fourth step of generating pixel data of a target position in the second image signal corresponding to the feature amount detected in the third step and the value of the predetermined parameter acquired in the first step; And
The fourth step is
The second image signal is estimated by calculating in advance for each of a plurality of representative resolutions corresponding to the parameter values obtained in the first step, and performing a product-sum operation by substituting the first image signal. A fifth step of generating coefficient data candidates that are candidate coefficient data of the estimation formula for
A sixth step of specifying one of the plurality of representative resolutions based on the feature amount detected in the third step and the value of the parameter acquired in the first step;
A seventh step of selecting coefficient data corresponding to the resolution specified in the sixth step from the coefficient data candidates generated in the fifth step;
An eighth step of selecting a plurality of first pixel data located around the position of interest in the second image signal from the first image signal;
A ninth pixel that calculates pixel data of the target position based on the estimation equation using the plurality of first pixel data selected in the eighth step and the coefficient data selected in the seventh step. And having steps of
The sixth step is
A tenth step of detecting a feature quantity region including a feature quantity detected by the feature quantity detection means among a plurality of feature quantity areas determined based on the feature quantity detected over the entire screen; ,
An eleventh step of storing resolution selection information in the plurality of feature amount regions corresponding to each value of the parameter;
The resolution selection information corresponding to the parameter value acquired in the first step and the feature amount area detected in the tenth step is extracted, and the one resolution is specified based on the resolution selection information. An image processing method comprising: steps. 入力された複数の画素データからなる第１の画像信号を、複数の画素データからなる上記第１の画像信号より高解像度な第２の画像信号に変換するために、
上記第２の画像信号による画像の解像度又は輝度を示すパラメータの値を外部から取得する第１のステップと、
上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第２のステップと、
上記第２のステップで選択された複数の第１の画素データの値に所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度及び動き量のいずれかを示す上記注目位置における特徴量を検出する第３のステップと、
上記第３のステップで検出された特徴量および上記第１のステップで取得した所定の上記パラメータの値に対応して、上記第２の画像信号における注目位置の画素データを生成する第４のステップとを有し、
上記第４のステップは、
上記第１のステップで取得したパラメータの値に対応する複数の代表的な解像度ごとに予め算出され、上記第１の画像信号を代入して積和演算することにより上記第２の画像信号を推定するための推定式の係数データの候補である係数データ候補を発生する第５のステップと、
上記第３のステップで検出された特徴量と上記第１のステップで取得したパラメータの値に基づいて、上記複数の代表的な解像度のうち一つの解像度を特定する第６のステップと、
上記第５のステップで発生された係数データ候補の中から、上記第６のステップで特定された解像度に対応する係数データを選択する第７のステップと、
上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第８のステップと、
上記第８のステップで選択された複数の第１の画素データと上記第７のステップで選択された係数データとを用いて、上記推定式に基づいて上記注目位置の画素データを算出する第９のステップとを有し、
上記第６のステップは、
画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記特徴量検出手段で検出される特徴量が含まれる特徴量領域を検出する第１０のステップと、
上記パラメータの各値に対応した、上記複数の特徴量領域における解像度選択情報を格納する第１１のステップと、
上記第１のステップで取得したパラメータの値および上記第１０のステップで検出された特徴量領域に対応した解像度選択情報を取り出し、該解像度選択情報に基づいて上記一つの解像度を特定する第１２のステップとを有する画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体。In order to convert the input first image signal composed of a plurality of pixel data into a second image signal having a higher resolution than the first image signal composed of a plurality of pixel data,
A first step of acquiring a value of a parameter indicating the resolution or luminance of an image based on the second image signal from the outside;
A second step of selecting a plurality of first pixel data located around a position of interest in the second image signal from the first image signal;
A feature amount calculated by performing a predetermined calculation on the values of the plurality of first pixel data selected in the second step, at least a value obtained from an activity and a dynamic range of the predetermined pixel value; A third step of detecting a feature amount at the target position indicating either luminance or motion amount ;
A fourth step of generating pixel data of a target position in the second image signal corresponding to the feature amount detected in the third step and the value of the predetermined parameter acquired in the first step; And
The fourth step is
The second image signal is estimated by calculating in advance for each of a plurality of representative resolutions corresponding to the parameter values obtained in the first step, and performing a product-sum operation by substituting the first image signal. A fifth step of generating coefficient data candidates that are candidate coefficient data of the estimation formula for
A sixth step of specifying one of the plurality of representative resolutions based on the feature amount detected in the third step and the value of the parameter acquired in the first step;
A seventh step of selecting coefficient data corresponding to the resolution specified in the sixth step from the coefficient data candidates generated in the fifth step;
An eighth step of selecting a plurality of first pixel data located around the position of interest in the second image signal from the first image signal;
A ninth pixel that calculates pixel data of the target position based on the estimation equation using the plurality of first pixel data selected in the eighth step and the coefficient data selected in the seventh step. And having steps of
The sixth step is
A tenth step of detecting a feature quantity region including a feature quantity detected by the feature quantity detection means among a plurality of feature quantity areas determined based on the feature quantity detected over the entire screen; ,
An eleventh step of storing resolution selection information in the plurality of feature amount regions corresponding to each value of the parameter;
The resolution selection information corresponding to the value of the parameter acquired in the first step and the feature amount area detected in the tenth step is extracted, and the twelfth resolution specifying the one resolution based on the resolution selection information A computer-readable medium having recorded thereon a program for causing a computer to execute an image processing method. 入力された複数の画素データからなる第１の画像信号を、複数の画素データからなる上記第１の画像信号より高解像度な第２の画像信号に変換するために、
上記第２の画像信号による画像の解像度又は輝度を示すパラメータの値を外部から取得する第１のステップと、
上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第２のステップと、
上記第２のステップで選択された複数の第１の画素データの値に所定の演算を実施して算出される特徴量であって、少なくとも、所定画素値のアクティビティとダイナミックレンジから求められる値、輝度及び動き量のいずれかを示す上記注目位置における特徴量を検出する第３のステップと、
上記第３のステップで検出された特徴量および上記第１のステップで取得した所定の上記パラメータの値に対応して、上記第２の画像信号における注目位置の画素データを生成する第４のステップとを有し、
上記第４のステップは、
上記第１のステップで取得したパラメータの値に対応する複数の代表的な解像度ごとに予め算出され、上記第１の画像信号を代入して積和演算することにより上記第２の画像信号を推定するための推定式の係数データの候補である係数データ候補を発生する第５のステップと、
上記第３のステップで検出された特徴量と上記第１のステップで取得したパラメータの値に基づいて、上記複数の代表的な解像度のうち一つの解像度を特定する第６のステップと、
上記第５のステップで発生された係数データ候補の中から、上記第６のステップで特定された解像度に対応する係数データを選択する第７のステップと、
上記第１の画像信号から上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第８のステップと、
上記第８のステップで選択された複数の第１の画素データと上記第７のステップで選択された係数データとを用いて、上記推定式に基づいて上記注目位置の画素データを算出する第９のステップとを有し、
上記第６のステップは、
画面全体に亘って検出される上記特徴量に基づいて決定される複数の特徴量領域のうち、上記特徴量検出手段で検出される特徴量が含まれる特徴量領域を検出する第１０のステップと、
上記パラメータの各値に対応した、上記複数の特徴量領域における解像度選択情報を格納する第１１のステップと、
上記第１のステップで取得したパラメータの値および上記第１０のステップで検出された特徴量領域に対応した解像度選択情報を取り出し、該解像度選択情報に基づいて上記一つの解像度を特定する第１２のステップとを有する画像処理方法をコンピュータに実行させるためのプログラム。In order to convert the input first image signal composed of a plurality of pixel data into a second image signal having a higher resolution than the first image signal composed of a plurality of pixel data,
A first step of acquiring a value of a parameter indicating the resolution or luminance of an image based on the second image signal from the outside;
A second step of selecting a plurality of first pixel data located around a position of interest in the second image signal from the first image signal;
A feature amount calculated by performing a predetermined calculation on the values of the plurality of first pixel data selected in the second step, at least a value obtained from an activity and a dynamic range of the predetermined pixel value; A third step of detecting a feature amount at the target position indicating either luminance or motion amount ;
A fourth step of generating pixel data of a target position in the second image signal corresponding to the feature amount detected in the third step and the value of the predetermined parameter acquired in the first step; And
The fourth step is
The second image signal is estimated by calculating in advance for each of a plurality of representative resolutions corresponding to the parameter values obtained in the first step, and performing a product-sum operation by substituting the first image signal. A fifth step of generating coefficient data candidates that are candidate coefficient data of the estimation formula for
A sixth step of specifying one of the plurality of representative resolutions based on the feature amount detected in the third step and the value of the parameter acquired in the first step;
A seventh step of selecting coefficient data corresponding to the resolution specified in the sixth step from the coefficient data candidates generated in the fifth step;
An eighth step of selecting a plurality of first pixel data located around the position of interest in the second image signal from the first image signal;
A ninth pixel that calculates pixel data of the target position based on the estimation equation using the plurality of first pixel data selected in the eighth step and the coefficient data selected in the seventh step. And having steps of
The sixth step is
A tenth step of detecting a feature quantity region including a feature quantity detected by the feature quantity detection means among a plurality of feature quantity areas determined based on the feature quantity detected over the entire screen; ,
An eleventh step of storing resolution selection information in the plurality of feature amount regions corresponding to each value of the parameter;
The resolution selection information corresponding to the parameter value acquired in the first step and the feature amount area detected in the tenth step is extracted, and the one resolution is specified based on the resolution selection information. A program for causing a computer to execute an image processing method including steps.

Images