JP4349086B2 - 情報信号の処理装置および処理方法、並びにその処理方法を実行するためのプログラム、そのプログラムを記録した媒体 - Google Patents

Description

この発明は、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する情報信号の処理装置および処理方法、並びにその処理方法を実行するためのプログラム、そのプログラムを記録した媒体に関する。

詳しくは、この発明は、第２の情報信号における注目位置の周辺に位置する第１の情報信号の情報データに基づいて当該第２の情報信号における注目位置の特徴量を抽出し、第２の情報信号における注目位置に対応した出力の質が、この抽出された特徴量に対応した質となるように、第２の情報信号における注目位置の情報データを生成することによって、第２の情報信号による出力の質の向上を図るようにした情報信号処理装置等に係るものである。

従来、例えば５２５ｉ信号というＳＤ(Standard Definition）信号を、１０５０ｉ信号というＨＤ(High Definition)信号に変換するフォーマット変換が提案されている。５２５ｉ信号は、ライン数が５２５本でインタレース方式の画像信号を意味し、１０５０ｉ信号は、ライン数が１０５０本でインタレース方式の画像信号を意味する。

上述したようなフォーマット変換を行うため、本出願人は、先に、５２５ｉ信号の画素データより１０５０ｉ信号の画素データを得る際、５２５ｉ信号の画素に対する１０５０ｉ信号の各画素の位相に対応した推定式の係数データをメモリに格納しておき、この係数データを用い、推定式に基づいて１０５０ｉ信号の画素データを求める、解像度創造の手法を用いることを提案した。

上述したように推定式によって１０５０ｉ信号の画素データを求めるものにおいては、この１０５０ｉ信号による画像の解像度は固定されており、従来のコントラストやシャープネス等の調整のように、画像内容等に応じて所望の解像度とすることができなかった。そこで、本出願人は、先に、画像の解像度をユーザが所望の値に任意に調整し得る画像信号変換装置を提案した（特許文献１参照）。

特開２００２−２１８４１４号公報

しかし、特許文献１に記載される画像信号変換装置では、注目位置の画素データの値が大きくても小さくても、つまり当該注目位置の特徴量が異なっていても、全画面一様に、ユーザにより調整された解像度に対応した係数データを用いるものであり、適切な解像度となる箇所と、不適切な解像度となる箇所とが存在する。

この発明の目的は、第１の情報信号を変換して得られる第２の情報信号による出力の質の向上を図ることにある。

この発明に係る情報信号処理装置は、複数の情報データからなる第１の情報信号を、質を向上させた複数の情報データからなる第２の情報信号に変換する情報信号処理装置であって、上記第１の情報信号から、上記第２の情報信号における注目位置の周辺に位置する情報データを選択し、該選択された情報データの値から上記第２の情報信号における注目位置の特徴量を抽出する特徴量抽出手段と、上記特徴量抽出手段で抽出された特徴量と、上記特徴量が大きい注目位置の質を低下させて上記特徴量が小さい注目位置の質を向上させるように上記第２の情報信号による出力の質を示すパラメータの値を予め設定したテーブルから、上記パラメータの値を決定するパラメータ決定手段と、上記第１の情報信号から、上記第２の情報信号における注目位置の周辺に位置する複数の第２の情報データを選択する第２のデータ選択手段と、上記第２のデータ選択手段で選択された複数の第２の情報データのレベル分布から、上記第２の情報信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、上記クラス検出手段で検出されたクラス毎に予め求められ、上記第１の情報信号に対応した生徒信号と上記質を向上させた第２の情報信号に対応した教師信号との誤差を最小にする係数種データを上記クラスに対応させてメモリから取得し、該係数種データと上記パラメータとを演算して係数データを発生する係数データ発生手段と、上記第１の情報信号から、上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、上記第１のデータ選択手段で選択された複数の第１の情報データおよび上記係数データ発生手段で発生された係数データを積和演算して、上記第２の情報信号における注目位置の情報データを算出する演算手段とを備えるものである。

また、この発明に係る情報信号処理方法は、複数の情報データからなる第１の情報信号を、質を向上させた複数の情報データからなる第２の情報信号に変換する情報信号処理方法であって、上記第１の情報信号から、上記第２の情報信号における注目位置の周辺に位置する情報データを選択し、該選択された情報データの値から上記第２の情報信号における注目位置の特徴量を抽出する特徴量抽出ステップと、上記特徴量抽出ステップで抽出された特徴量と、上記特徴量が大きい注目位置の質を低下させて上記特徴量が小さい注目位置の質を向上させるように上記第２の情報信号による出力の質を示すパラメータの値を予め設定したテーブルから、上記パラメータの値を決定するパラメータ決定ステップと、上記第１の情報信号から、上記第２の情報信号における注目位置の周辺に位置する複数の第２の情報データを選択する第２のデータ選択ステップと、上記第２のデータ選択ステップで選択された複数の第２の情報データのレベル分布から、上記第２の情報信号における注目位置の画素データが属するクラスを検出するクラス検出ステップと、上記クラス検出ステップで検出されたクラス毎に予め求められ、上記第１の情報信号に対応した生徒信号と上記質を向上させた第２の情報信号に対応した教師信号との誤差を最小にする係数種データを上記クラスに対応させてメモリから取得し、該係数種データと上記パラメータとを演算して係数データを発生する係数データ発生ステップと、上記第１の情報信号から、上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第１のデータ選択ステップと、上記第１のデータ選択ステップで選択された複数の第１の情報データおよび上記係数データ発生ステップで発生された係数データを積和演算して、上記第２の情報信号における注目位置の情報データを算出する演算ステップとを備えるものである。

また、この発明に係るプログラムは、上述した情報信号処理方法を、コンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述のプログラムを記録したものである。

この発明においては、第１の情報信号が第２の情報信号に変換される。これら第１、第２の情報信号は、それぞれ複数の情報データからなっている。例えば、情報信号は、複数の画素データからなる画像信号、あるいは複数の音声データ（サンプリングデータ）からなる音声信号である。

第１の情報信号に基づいて第２の情報信号における注目位置の周辺に位置する情報データが選択され、この選択された情報データに基づいて第２の情報信号における注目位置の特徴量が抽出される。

例えば、第２の情報信号における注目位置の周辺に位置する単一の情報データが選択され、この単一の情報データの値が特徴量として抽出される。また例えば、第２の情報信号における注目位置の周辺に位置する複数の情報データが選択され、この複数の情報データの値の平均値が特徴量として抽出される。

また例えば、第２の情報信号における注目位置の周辺に位置する単一の情報データが選択され、この単一の情報データの値が、第２の情報信号による出力を得るための出力手段（例えば、情報信号が画像信号であるときはディスプレイ、情報信号が音声信号でるときはスピーカ等）における情報データの値と出力値との対応関係に基づいて、出力値に変換され、この変換されて得られる出力値が特徴量として抽出される。情報信号が画像信号である場合、例えば、単一の画素データの値を変換して得られた輝度値が特徴量として抽出される。

また例えば、第２の情報信号における注目位置の周辺に位置する複数の情報データが選択され、この複数の情報データの値が、第２の情報信号による出力を得るための出力手段における情報データの値と出力値との対応関係に基づいて、それぞれ出力値に変換され、この変換されて得られる複数の出力値の平均値が特徴量として抽出される。情報信号が画像信号である場合、例えば、複数の画素データの値を変換して得られた複数の輝度値の平均値が特徴量として抽出される。

このように、出力値を特徴量として抽出する場合、単一の情報データの値、あるいは複数の情報データの値の平均値を特徴量として抽出する場合と比べ、ユーザが視聴している出力に直接対応した特徴量を得ることができ、第２の情報信号における注目位置に対応した出力の質を精度よく制御でき、第２の情報信号による出力の質の一層の向上を図ることができる。

第２の情報信号における注目位置に対応した出力の質が、上述したように抽出された特徴量に対応した質となるように、第２の情報信号における注目位置の情報データが生成される。例えば、この特徴量に基づいて第２の情報信号による出力の質を示すパラメータの値が決定される。この場合、ユーザがパラメータの値を設定するものでなく、パラメータの値が局所的に最適な値に自動的に決定される。

この決定されたパラメータの値に基づいて第２の情報信号における注目位置の情報データが生成される。画像信号が情報信号である場合、例えばパラメータの値は、第２の情報信号による画像の解像度またはノイズ除去度を示すものとされる。

例えば、パラメータの値に対応する、推定式で用いられる係数データが発生され、また第１の情報信号に基づいて第２の情報信号における注目位置の周辺に位置する複数の第１の情報データが選択され、これら複数の第１の情報データおよび係数データを用い、推定式に基づいて第２の情報信号における注目位置の情報データが算出される。

推定式で用いられる係数データは、例えばパラメータを含む生成式で生成される。この場合、パラメータの各値に対応した係数データを記憶しておく必要がなく、生成式の係数データである係数種データのみを記憶しておけばよく、メモリ容量を節約できる。

例えば、推定式に基づいて第２の情報信号における注目位置の情報データを算出する場合、この第２の情報信号における注目位置の情報データが属するクラスに対応した係数データを用いることで、当該第２の情報信号における注目位置の情報データを精度よく生成できる。このクラスは、例えば、第１の情報信号に基づいて第２の情報信号における注目位置の周辺に位置する複数の第２の情報データに基づいて検出される。

この発明によれば、第２の情報信号における注目位置の周辺に位置する第１の情報信号の情報データに基づいて当該第２の情報信号における注目位置の特徴量を抽出し、第２の情報信号における注目位置に対応した出力の質が、この抽出された特徴量に対応した質となるように、第２の情報信号における注目位置の情報データを生成するものであり、第２の情報信号による出力の質の向上を図ることができる。

以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのテレビ受信機１００の構成を示している。

このテレビ受信機１００は、放送信号より５２５ｉ信号というＳＤ(Standard Definition)信号を得、この５２５ｉ信号を１０５０ｉ信号というＨＤ（High Definition）信号に変換し、このＨＤ信号による画像を表示する機能を持っている。ここで、５２５ｉ信号は、ライン数が５２５本でインタレース方式の画像信号であり、１０５０ｉ信号はライン数が１０５０本でインタレース方式の画像信号である。

図２は、５２５ｉ信号および１０５０ｉ信号のあるフレーム（Ｆ）の画素位置関係を示すものであり、奇数（ｏ）フィールドの画素位置を実線で示し、偶数（ｅ）フィールドの画素位置を破線で示している。大きなドットが５２５ｉ信号の画素であり、小さいドットが１０５０ｉ信号の画素である。図２から分かるように、１０５０ｉ信号の画素データとしては、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とが存在する。ここで、Ｌ１，Ｌ２は奇数フィールドのラインデータ、Ｌ１′，Ｌ２′は偶数フィールドのラインデータである。また、１０５０ｉ信号の各ラインの画素数は、５２５ｉ信号の各ラインの画素数の２倍である。

図１に戻って、テレビ受信機１００は、受信アンテナ１０１と、この受信アンテナ１０１で受信された放送信号（ＲＦ変調信号）が供給され、選局処理、中間周波増幅処理、検波処理等を行ってＳＤ信号を得るチューナ部１０２と、このチューナ部１０２で得られたＳＤ信号を一時的に格納するバッファメモリ１０３とを有している。

また、テレビ受信機１００は、バッファメモリ１０３に一時的に格納されたＳＤ信号をＨＤ信号に変換する画像信号処理部１０４と、この画像信号処理部１０４で得られたＨＤ信号による画像を表示するディスプレイ部１０５とを有している。このディスプレイ部１０５は、例えばＣＲＴ(Cathode-Ray Tube)ディスプレイ、ＬＣＤ(Liquid Crystal Display)、あるいはＰＤＰ(Plasma Display Panel)などで構成されている。

図１に示すテレビ受信機１００の動作を説明する。
チューナ部１０２で得られたＳＤ信号は、バッファメモリ１０３に供給されて一時的に格納される。そして、このバッファメモリ１０３に一時的に格納されたＳＤ信号は画像信号処理部１０４に供給され、ＨＤ信号に変換される。すなわち、画像信号処理部１０４では、ＳＤ信号を構成する画素データ（以下、適宜「ＳＤ画素データ」という）から、ＨＤ信号を構成する画素データ（以下、適宜「ＨＤ画素データ」という）が生成される。

この画像信号処理部１０４より出力されるＨＤ信号はディスプレイ部１０５に供給され、このディスプレイ部１０５の画面上にはＨＤ信号による画像が表示される。

次に、画像信号処理部１０４の詳細を説明する。
この画像信号処理部１０４は、バッファメモリ１０３に一時的に格納されたＳＤ信号（５２５ｉ信号）に基づいて、ＨＤ信号（１０５０ｉ信号）における注目位置の周辺に位置する複数のＳＤ画素データを選択的に取り出して出力する第１〜第３のタップ選択回路１１１〜１１３を有している。

第１のタップ選択回路１１１は、予測に使用する複数のＳＤ画素データを、予測タップのデータとして選択的に取り出すものである。第２のタップ選択回路１１２は、レベル分布パターンに対応するクラス分類に使用する複数のＳＤ画素データを、空間クラスタップのデータとして選択的に取り出すものである。図３Ａ，Ｂは、それぞれ空間クラスタップ、予測タップの一例を示している。

第３のタップ選択回路１１３は、動きに対応するクラス分類に使用する複数のＳＤ画素データを、動きクラスタップのデータとして選択的に取り出するものである。なお、空間クラスを複数フィールドに属するＳＤ画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。

また、画像信号処理部１０４は、第２のタップ選択回路１１２で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１１４を有している。

空間クラス検出回路１１４では、例えば、各ＳＤ画素データを、８ビットデータから２ビットデータに圧縮するような演算が行われる。そして、空間クラス検出回路１１４からは、各ＳＤ画素データに対応した圧縮データが空間クラスのクラス情報として出力される。本実施の形態においては、ＡＤＲＣ（Adaptive Dynamic Range Coding）によって、データ圧縮が行われる。なお、データ圧縮手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いてもよい。

本来、ＡＤＲＣは、ＶＴＲ（Video Tape Recorder）向け高性能符号化用に開発された適応再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、上述したデータ圧縮に使用して好適なものである。ＡＤＲＣを使用する場合、空間クラスタップのデータ（ＳＤ画素データ）の最大値をＭＡＸ、その最小値をＭＩＮ、空間クラスタップのデータのダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をＰとすると、空間クラスタップのデータとしての各ＳＤ画素データｋｉに対して、（１）式の演算により、圧縮データとしての再量子化コードｑｉが得られる。ただし、（１）式において、[ ]は切り捨て処理を意味している。空間クラスタップのデータとして、Ｎａ個のＳＤ画素データがあるとき、ｉ＝１〜Ｎａである。
ｑｉ＝［（ｋｉ−ＭＩＮ＋０．５）＊２^P／ＤＲ］ ・・・（１）

また、画像信号処理部１０４は、第３のタップ選択回路１１３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報を出力する動きクラス検出回路１１５を有している。

この動きクラス検出回路１１５では、第３のタップ選択回路１１３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）ｍｉ，ｎｉからフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。すなわち、動きクラス検出回路１１５では、（２）式によって、差分の絶対値の平均値ＡＶが算出される。第３のタップ選択回路１１３で例えば１２個のＳＤ画素データｍ１〜ｍ６，ｎ１〜ｎ６が取り出されるとき、（２）式におけるＮｂは６である。

そして、動きクラス検出回路１１５では、上述したように算出された平均値ＡＶが１個または複数個のしきい値と比較されて動きクラスのクラス情報ＭＶが得られる。例えば、３個のしきい値ｔｈ１，ｔｈ２，ｔｈ３（ｔｈ１＜ｔｈ２＜ｔｈ３）が用意され、４つの動きクラスを検出する場合、ＡＶ≦ｔｈ１のときはＭＶ＝０、ｔｈ１＜ＡＶ≦ｔｈ２のときはＭＶ＝１、ｔｈ２＜ＡＶ≦ｔｈ３のときはＭＶ＝２、ｔｈ３＜ＡＶのときはＭＶ＝３とされる。

また、画像信号処理部１０４は、クラス合成回路１１６を有している。このクラス合成回路１１６は、空間クラス検出回路１１４より出力される空間クラスのクラス情報としての再量子化コードｑｉと、動きクラス検出回路１１５より出力される動きクラスのクラス情報ＭＶに基づき、ＨＤ信号における注目位置の画素データ（作成すべきＨＤ画素データ）が属するクラスを示すクラスコードＣＬを求める。このクラス合成回路１１６では、（３）式によって、クラスコードＣＬの演算が行われる。なお、（３）式において、Ｎａは空間クラスタップのデータ（ＳＤ画素データ）の個数、ＰはＡＤＲＣにおける再量子化ビット数を示している。

また、画像信号処理部１０４は、特徴量抽出回路１１７を有している。この特徴量抽出回路１１７は、バッファメモリ１０３に一時的に格納されたＳＤ信号（５２５ｉ信号）に基づいて、ＨＤ信号（１０５０ｉ信号）における注目位置の周辺に位置する単一または複数のＳＤ画素データを選択的に取り出し、その取り出されたＳＤ画素データに基づいて、ＨＤ信号における注目位置の特徴量ＣＱを抽出する。図３Ｃは、選択的に取り出される複数のＳＤ画素データの一例を示している。

特徴量抽出回路１１７は、例えば、以下の（ａ）〜（ｄ）のようにして、特徴量ＣＱを抽出する。
（ａ）特徴量抽出回路１１７は、選択的に取り出された単一のＳＤ画素データの値を特徴量ＣＱとして抽出する。
（ｂ）特徴量抽出回路１１７は、選択的に取り出された複数のＳＤ画素データの値の平均値を特徴量ＣＱとして抽出する。
（ｃ）特徴量抽出回路１１７は、選択的に取り出された単一のＳＤ画素データの値を、ディスプレイ部１０５における画素データの値（画素値）と出力値としての輝度値との対応関係に基づいて輝度値に変換し、この輝度値を特徴量ＣＱとして抽出する。
（ｄ）特徴量抽出回路１１７は、選択的に取り出された複数のＳＤ画素データの値を、ディスプレイ部１０５における画素データの値（画素値）と出力値としての輝度値との対応関係に基づいてそれぞれ輝度値に変換し、この複数の輝度値の平均値を特徴量ＣＱとして抽出する。

なお、ディスプレイ部１０５において、輝度値は画素値と一般に線形関係にはなく、（４）式および図４に示す対応関係がある。（４）式において、ｙは輝度値、ｘは画素値、Ａは最大輝度値、γはガンマ値である。詳細説明は省略するが、ガンマ値γはディスプレイ部１０５を構成するディスプレイの種類により異なっていることは周知である。

特徴量抽出回路１１７は、輝度値を特徴量として抽出する場合、例えば、上述の（４）式に基づいて画素値から輝度値を算出し、あるいは画素値と輝度値との対応を示すテーブルを予め用意しており、そのテーブルを利用して画素値から輝度値を求める。

また、画像信号処理部１０４は、特徴量抽出回路１１７で抽出された特徴量ＣＱに基づいて、ＨＤ信号による画像の画質を示すパラメータｒ，ｚの値を決定するパラメータ決定回路１１８を有している。ここで、パラメータｒはＨＤ信号による画像の解像度を決めるものであり、パラメータｚはＨＤ信号による画像のノイズ除去度を決めるものである。パラメータ決定回路１１８は、例えば、特徴量ＣＱとパラメータｒ，ｚの値との対応を示すテーブルを予め用意しており、そのテーブルを利用してパラメータｒ，ｚの値を決定する。

図５Ａは、特徴量ＣＱとパラメータｒの値の関係の一例を示している。この場合、特徴量ＣＱが大きい、すなわち画素値あるいは輝度値が大きく明るい部分では、解像度を弱める方向にパラメータｒの値を変化させる。また、図５Ｂは、特徴量ＣＱとパラメータｚの値の関係の一例を示している。この場合、特徴量ＣＱが小さい、すなわち画素値あるいは輝度値が小さく暗い部分では、ノイズ除去度を高める方向にパラメータｚの値を変化させる。

なお、図６は、上述した（ａ）〜（ｄ）のようにして抽出された特徴量ＣＱとパラメータｒ，ｚの値との関係の一例を示している。ここで、パラメータｒ，ｚはそれぞれ０〜１の間の値をとるものとする。

また、画像信号処理部１０４は、係数生成回路１１９およびＲＯＭ１２０を有している。これら係数生成回路１１９およびＲＯＭ１２０は、係数データ発生手段を構成している。係数生成回路１１９は、後述する推定予測演算回路１２１で使用される推定式で用いられる複数の係数データＷｉ（ｉ＝１〜ｎ）を、生成する。係数生成回路１１９は、クラス合成回路１１６で取得されたクラスコードＣＬおよびパラメータ決定回路１１８で決定されたパラメータｒ，ｚの値に基づいて、（５）式の生成式により、係数データＷｉ（ｉ＝ｎ）を生成する。

ＲＯＭ１２０は、（５）式の生成式の係数データである係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）を、クラス毎に格納している。この係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）の生成方法については後述する。係数生成回路１１９は、クラスコードＣＬで示されるクラスの係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）をＲＯＭ１２０から取得し、この係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）とパラメータｒ，ｚの値とを用い、（５）式の生成式により、係数データＷｉ（ｉ＝ｎ）を求める。

上述したように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。この場合、奇数、偶数のそれぞれのフィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素は、それぞれ中心予測タップに対して異なる位相ずれを持っている。

図７は、奇数フィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素ＨＤ₁〜ＨＤ₄における中心予測タップＳＤ₀からの位相ずれを示している。ここで、ＨＤ₁〜ＨＤ₄の位置は、それぞれ、ＳＤ₀の位置から水平方向にｋ₁〜ｋ₄、垂直方向にｍ₁〜ｍ₄だけずれている。

図８は、偶数フィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素ＨＤ₁′〜ＨＤ₄′における中心予測タップＳＤ₀′からの位相ずれを示している。ここで、ＨＤ₁′〜ＨＤ₄′の位置は、それぞれ、ＳＤ₀′の位置から水平方向にｋ₁′〜ｋ₄′、垂直方向にｍ₁′〜ｍ₄′だけずれている。

そのため、係数生成回路１１９は、４出力画素（奇数フィールドではＨＤ₁〜ＨＤ₄、偶数フィールドではＨＤ₁′〜ＨＤ₄′）に対応した係数データＷｉ（ｉ＝ｎ）を個別に生成する。なお、係数生成回路１１９は、各出力画素に対応した係数データＷｉ（ｉ＝ｎ）を求める際、それぞれの出力画素に対応した係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）をＲＯＭ１２０から取得する。したがって、ＲＯＭ１２０には、係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）が、クラスおよび出力画素（図７のＨＤ₁〜ＨＤ₄，図８のＨＤ₁′〜ＨＤ₄′参照）の組み合わせ毎に、記憶されている。

また、画像信号処理部１０４は、推定予測演算回路１２１を有している。この推定予測演算回路１２１は、第１のタップ選択回路１１１で選択的に取り出される予測タップのデータ（複数のＳＤ画素データ）ｘｉと、係数生成回路１１９で生成された係数データＷｉとから、（６）式の推定式に基づいて、作成すべきＨＤ信号の画素データ（注目位置の画素データ）を求める。

上述したように、ＳＤ信号をＨＤ信号に変換する際には、ＳＤ信号の１画素に対してＨＤ信号の４画素（図７のＨＤ₁〜ＨＤ₄、図８のＨＤ₁′〜ＨＤ₄′参照）を得る必要がある。この推定予測演算回路１２１では、ＨＤ信号を構成する２×２の単位画素ブロック毎に、画素データが生成される。

すなわち、この推定予測演算回路１２１には、第１のタップ選択回路１１１より単位画素ブロック内の４画素（注目画素）に対応した予測タップのデータｘｉと、係数生成回路１１９よりその単位画素ブロックを構成する４画素に対応した係数データＷｉとが供給される。そして、この推定予測演算回路１２１では、単位画素ブロックを構成する４画素のデータｙ₁〜ｙ₄が、それぞれ上述した（６）式の推定式で個別に演算される。

また、画像信号処理部１０４は、推定予測演算回路１２１より順次出力される、単位画素ブロック内の４画素のデータｙ₁〜ｙ₄を線順次化して１０５０ｉ信号のフォーマットで出力する後処理回路１２２を有している。

次に、図１に示す画像信号処理部１０４の動作を説明する。
第２のタップ選択回路１１２では、バッファメモリ１０３に一時的に格納されているＳＤ信号（５２５ｉ信号）に基づいて、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する、複数のＳＤ画素データが空間クラスタップのデータとして選択的に取り出される。この第２のタップ選択回路１１２で選択的に取り出される空間クラスタップのデータは空間クラス検出回路１１４に供給される。この空間クラス検出回路１１４では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑｉが得られる（（１）式参照）。

また、第３のタップ選択回路１１３では、バッファメモリ１０３に一時的に格納されているＳＤ信号（５２５ｉ信号）に基づいて、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する、複数のＳＤ画素データが動きクラスタップのデータとして選択的に取り出される。この第３のタップ選択回路１１３で選択的に取り出される動きクラスタップのデータは動きクラス検出回路１１５に供給される。この動きクラス検出回路１１５では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。

この動き情報ＭＶと上述した再量子化コードｑｉはクラス合成回路１１６に供給される。このクラス合成回路１１６では、これら動き情報ＭＶと再量子化コードｑｉとから、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック毎にその単位画素ブロック内の４画素（注目画素）が属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。このクラスコードＣＬは、係数生成回路１１９に供給される。

特徴量抽出回路１１７では、バッファメモリ１０３に一時的に格納されているＳＤ信号に基づいて、ＨＤ信号における注目位置の周辺に位置する単一または複数のＳＤ画素データが選択的に取り出され、その取り出されたＳＤ画素データに基づいて、ＨＤ信号における注目位置の特徴量ＣＱが抽出される。この特徴量ＣＱは、例えば単一のＳＤ画素データの値、複数のＳＤ画素データの値の平均値、単一のＳＤ画素データの値を変換して得られた輝度値、複数のＳＤ画素データの値をそれぞれ変換して得られた複数の輝度値の平均値などである。

このように特徴量抽出回路１１７で抽出された特徴量ＣＱはパラメータ決定回路１１８に供給される。パラメータ決定回路１１８では、例えば特徴量ＣＱとパラメータｒ，ｚの値との対応を示すテーブル（図５Ａ，Ｂ参照）に基づいて、特徴量ＣＱに対応したパラメータｒ，ｚの値が決定される。このようにパラメータ決定回路１１８で決定されたパラメータｒ，ｚの値は係数生成回路１１９に供給される。

係数生成回路１１９では、クラスコードＣＬで示されるクラスの係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）がＲＯＭ１２０から取得され、その係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）とパラメータｒ，ｚの値とが用いられ、（５）式の生成式により、係数データＷｉ（ｉ＝ｎ）が生成される。この場合、係数生成回路１１９では、４出力画素（ＨＤ₁〜ＨＤ₄またはＨＤ₁′〜ＨＤ₄′）に対応した係数データＷｉ（ｉ＝１〜ｎ）が個別に生成される。

このように係数生成回路１１９で生成された４出力画素分の係数データＷｉは推定予測演算回路１２１に供給される。また、第１のタップ選択回路１１１では、ＳＤ信号に基づいて、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素（注目位置の画素）の周辺に位置する、複数のＳＤ画素データが予測タップのデータｘｉとして選択的に取り出される。この予測タップのデータｘｉは推定予測演算回路１２１に供給される。

推定予測演算回路１２１では、予測タップのデータｘｉと、係数生成回路１１９から供給される４出力画素分の係数データＷｉとから、（６）式の推定式に基づいて、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素（注目位置の画素）のデータｙ₁〜ｙ₄が個別に演算される。そして、この推定予測演算回路１２１より順次出力されるデータｙ₁〜ｙ₄は後処理回路１２２に供給される。

この後処理回路１２２では、推定予測演算回路１２１より順次供給されるデータｙ₁〜ｙ₄が線順次化され、１０５０ｉ信号のフォーマットで出力される。つまり、この後処理回路１２２からは、ＨＤ信号としての１０５０ｉ信号が出力される。

このように、図１に示す画像信号処理部１０４では、ＳＤ信号に基づいてＨＤ信号における注目位置の特徴量ＣＱが抽出され、そしてこの特徴量ＣＱでＨＤ信号による画像の画質（解像度、ノイズ除去度）を決定するパラメータｒ，ｚの値が決定され、ＨＤ信号における注目位置に対応した画像の画質が特徴量ＣＱに対応した画質となるように、ＨＤ信号における注目位置の画素データが生成される。

例えば、特徴量ＣＱとしての画素値または輝度値が大きく画像の明るい部分では、解像度を弱める方向にパラメータｒの値が変化する。また例えば、特徴量ＣＱとしての画素値あるいは輝度値が小さく暗い部分では、ノイズ除去度を高める方向にパラメータｚの値が変化する。

したがって、図１に示す画像信号処理部１０４では、ユーザがパラメータｒ，ｚの値を設定して、全画面一様にそのパラメータｒ，ｚの値に対応した係数データＷｉを用いるものではなく、パラメータｒ，ｚの値が局所的に最適な値に自動的に決定される。そのため、この画像信号処理部１０４で得られるＨＤ信号による画像の画質の向上を図ることができる。

また、特徴量ＣＱとして輝度値を用いるものによれば、特徴量ＣＱとして画素値（単一の画素データの値あるいは複数の画素データの値の平均値）を用いるものに比べ、ユーザが視ている画像に直接対応した特徴量ＣＱを得ることができ、ＨＤ信号における注目位置に対応した画像の画質を精度よく制御でき、ＨＤ信号による画像の画質を一層向上させることができる。

次に、ＲＯＭ１２０に格納される、各クラスの係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）の生成方法について説明する。
ここで、以下の説明のため、（７）式のように、ｔｊ（ｊ＝０〜９）を定義する。
ｔ₀＝１，ｔ₁＝ｒ，ｔ₂＝ｚ，ｔ₃＝ｒ²，ｔ₄＝ｒｚ，ｔ₅＝ｚ²，
ｔ₆＝ｒ³，ｔ₇＝ｒ²ｚ，ｔ₈＝ｒｚ²，ｔ₉＝ｚ³
・・・（７）
この（７）式を用いると、（５）式は、（８）式のように書き換えられる。

最終的に、学習によって未定係数ｗ_ijを求める。すなわち、クラスおよび出力画素の組み合わせ毎に、複数のＳＤ画素データとＨＤ画素データを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅ_k、二乗誤差の総和をＥとすると、（５）式および（６）式を用いて、Ｅは（９）式で表される。ここで、ｘ_ikはＳＤ画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙ_kはそれに対応するｋ番目のＨＤ画像の画素データを表している。

最小二乗法による解法では、（９）式のｗ_ijによる偏微分が０になるようなｗ_ijを求める。これは、（１０）式で示される。

ここで、（１１）式、（１２）式のように、Ｘ_ipjq、Ｙ_ipを定義すると、（１０）式は、行列を用いて、（１３）式のように書き換えられる。

この（１３）式が、係数種データを算出するための正規方程式である。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）を求めることができる。

図９は、上述した係数種データの生成方法の概念を示している。教師信号としてのＨＤ信号から、生徒信号としての複数のＳＤ信号を生成する。ここで、ＨＤ信号からＳＤ信号を生成する際に使用する間引きフィルタの周波数特性を変えることにより、解像度の異なるＳＤ信号を生成する。

解像度の異なるＳＤ信号によって、解像度を上げる効果の異なる係数種データを生成できる。例えばボケ具合の大きな画像が得られるＳＤ信号とボケ具合の小さな画像が得られるＳＤ信号があった場合、ボケ具合の大きな画像が得られるＳＤ信号による学習で、解像度を上げる効果の強い係数種データが生成され、ボケ具合の小さな画像が得られるＳＤ信号による学習で、解像度を上げる効果の弱い係数種データが生成される。

また、解像度の異なるＳＤ信号の各々に対してノイズを加えることで、ノイズの加わったＳＤ信号を生成する。ノイズを加える量を可変することでノイズ量が異なるＳＤ信号が生成され、それによってノイズ除去効果の異なる係数種データが生成される。例えばノイズをたくさん加えたＳＤ信号とノイズを少し加えたＳＤ信号とがあった場合、ノイズをたくさん加えたＳＤ信号による学習でノイズ除去効果の強い係数種データが生成され、ノイズを少し加えたＳＤ信号による学習でノイズ除去効果の弱い係数種データが生成される。

ノイズを加える量としては、例えば（１４）式のように、ＳＤ信号の画素値ｘに対して、ノイズｎを加えてノイズの加わったＳＤ信号の画素値ｘ′を生成する場合、Ｇを可変することでノイズ量を調整する。
ｘ′＝ｘ＋Ｇ・ｎ ・・・（１４）

例えば、周波数特性を可変するパラメータｒの値を０〜１．０まで０．１のステップで１１段階に可変し、ノイズを加える量を可変するパラメータｚの値を０〜１．０まで０．１のステップで１１段階に可変し、合計１２１種類のＳＤ信号を生成する。このようにして生成した複数のＳＤ信号とＨＤ信号との間で学習を行って係数種データを生成する。このパラメータｒ，ｚは、図１のパラメータ決定回路１１８におけるパラメータｒ，ｚに対応したものである。

次に、上述した画像信号処理部１０４のＲＯＭ１２０に格納される係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）を生成するための係数種データ生成装置１５０について説明する。図１０は、この係数種データ生成装置１５０の構成を示している。

この係数種データ生成装置１５０は、教師信号としてのＨＤ信号（１０５０ｉ信号）が入力される入力端子１５１と、このＨＤ信号に対して、水平および垂直の間引き処理を行って、生徒信号としてのＳＤ信号を得るＳＤ信号生成回路１５２とを有している。このＳＤ信号生成回路１５２には、パラメータｒ，ｚが供給される。パラメータｒの値に対応して、ＨＤ信号からＳＤ信号を生成する際に使用する間引きフィルタの周波数特性が可変される。また、パラメータｚの値に対応して、ＳＤ信号に加えるノイズの量が可変される。

また、係数種データ生成装置１５０は、ＳＤ信号生成回路１５２より出力されるＳＤ信号に基づいて、ＨＤ信号における注目位置の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１〜第３のタップ選択回路１５３〜１５５を有している。これら第１〜第３のタップ選択回路１５３〜１５５は、上述した画像信号処理部１０４の第１〜第３のタップ選択回路１１１〜１１３と同様に構成される。

また、係数種データ生成装置１５０は、第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（複数のＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１５７を有している。この空間クラス検出回路１５７は、上述した画像信号処理部１０４の空間クラス検出回路１１４と同様に構成される。この空間クラス検出回路１５７からは、空間クラスタップのデータとしての各ＳＤ画素データ毎の再量子化コードｑｉが空間クラスを示すクラス情報として出力される。

また、係数種データ生成装置１５０は、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（複数のＳＤ画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報ＭＶを出力する動きクラス検出回路１５８を有している。この動きクラス検出回路１５８は、上述した画像信号処理部１０４の動きクラス検出回路１１５と同様に構成される。この動きクラス検出回路１５８では、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）からフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。

また、係数種データ生成装置１５０は、空間クラス検出回路１５７より出力される空間クラスのクラス情報としての再量子化コードｑｉと、動きクラス検出回路１５８より出力される動きクラスのクラス情報ＭＶに基づき、ＨＤ信号（１０５０ｉ信号）における注目位置の画素データが属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１５９を有している。このクラス合成回路１５９も、上述した画像信号処理部１０４のクラス合成回路１１６と同様に構成される。

また、係数種データ生成装置１５０は、正規方程式生成部１６０を有している。この正規方程式生成部１６０は、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９で得られるクラスコードＣＬと、パラメータｒ，ｚの値とから、クラスおよび出力画素の組み合わせ毎に、各クラスの係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）を得るための正規方程式（（１３）式参照）を生成する。

この場合、１個のＨＤ画素データｙとそれに対応する予測タップのデータ（複数個のＳＤ画素データ）ｘｉとの組み合わせで学習データが生成されるが、教師信号としてのＨＤ信号と生徒信号としてのＳＤ信号との間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部１６０では、クラス毎に、係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）を得るための正規方程式が生成される。

またこの場合、正規方程式生成部１６０では、出力画素（図７のＨＤ₁〜ＨＤ₄、図８のＨＤ₁′〜ＨＤ₄′参照）毎に、正規方程式が生成される。例えば、ＨＤ₁に対応した正規方程式は、中心予測タップに対するずれ値がＨＤ１と同じ関係にあるＨＤ画素データｙから構成される学習データから生成される。結果的に正規方程式生成部１６０では、クラスおよび出力画素の組み合わせ毎に、正規方程式が生成される。

また、係数種データ生成装置１５０は、係数種データ決定部１６１と、係数種メモリ１６２とを有している。係数種データ決定部１６１は、正規方程式生成部１６０から正規方程式のデータの供給を受け、当該正規方程式を掃き出し法等によって解き、クラスおよび出力画素の組み合わせ毎に、係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）を求める。係数種メモリ１６２は、係数種データ決定部１６１で求められた係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）を格納する。

図１０に示す係数種データ生成装置１５０の動作を説明する。
入力端子１５１に入力されるＨＤ信号に対してＳＤ信号生成回路１５２で水平および垂直の間引き処理が行われて生徒信号としてのＳＤ信号が生成される。この場合、ＳＤ信号生成回路１５２にはパラメータｒ，ｚが制御信号として供給され、周波数特性およびノイズ加算量が段階的に変化した複数のＳＤ信号が順次生成されていく。

また、ＳＤ信号生成回路１５２で生成されたＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１５４で、ＨＤ信号（１０５０ｉ信号）における注目位置の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１５７に供給される。この空間クラス検出回路１５７では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑｉが得られる（（１）式参照）。

また、ＳＤ信号生成回路１５２で生成されたＳＤ信号より、第３のタップ選択回路１５５で、ＨＤ信号に係る注目画素の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１５８に供給される。この動きクラス検出回路１５８では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。

このクラス情報ＭＶと上述した再量子化コードｑｉはクラス合成回路１５９に供給される。このクラス合成回路１５９では、これらクラス情報ＭＶと再量子化コードｑｉとから、ＨＤ信号（１０５０ｉ信号）における注目位置の画素データが属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。

また、ＳＤ信号生成回路１５２で生成されるＳＤ信号より、第１のタップ選択回路１５３で、ＨＤ信号における注目位置の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。

そして、入力端子１５１に供給されるＨＤ信号より得られる注目位置の画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬと、パラメータｒ，ｚの値とから、正規方程式生成部１６０では、クラスおよび出力画素の組み合わせ毎に、係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）を生成するための正規方程式（（１３）式参照）が生成される。

そして、係数種データ決定部１６１で各正規方程式が解かれて係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）が求められ、この係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）は係数種メモリ１６２に格納される。

このように、図１０に示す係数種データ生成装置１５０においては、図１に示す画像信号処理部１０４のＲＯＭ１２０に格納される、クラスおよび出力画素の組み合わせ毎の係数種データｗ_i0〜ｗ_i9（ｉ＝１〜ｎ）を生成できる。

なお、図１の画像信号処理部１０４における処理を、例えば図１１に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。まず、図１１に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の動作プログラムや係数種データ等が格納されたＲＯＭ（read only memory）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（random access memory）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。

また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、リムーバブルディスク３０６をドライブするドライブ３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。

また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。

また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機３２０からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（liquid crystal display）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。

また、画像信号処理装置３００は、ＳＤ信号を入力するための入力端子３１４と、ＨＤ信号を出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。

ここで、上述したようにＲＯＭ３０２に処理プログラムや係数種データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ＨＤＤ３０５やＲＡＭ３０３等に蓄積して使用することもできる。また、これら処理プログラムや係数種データ等をディスク３０６で提供するようにしてもよい。

また、処理すべきＳＤ信号を入力端子３１４より入力する代わりに、予めＨＤＤ３０５に記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、処理後のＨＤ信号を出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはＨＤＤ３０５に格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。

図１２のフローチャートを参照して、図１１に示す画像信号処理装置３００における、ＳＤ信号よりＨＤ信号を得るため処理手順を説明する。まず、ステップＳＴ１で、処理を開始し、ステップＳＴ２で、ＳＤ画素データを１フレーム分または１フィールド分入力する。このＳＤ画素データが入力端子３１４より入力される場合には、このＳＤ画素データをＲＡＭ３０３に一時的に格納する。また、このＳＤ画素データがＨＤＤ３０５に記録されている場合には、ＨＤＤ３０５からこのＳＤ画素データを読み出し、ＲＡＭ３０３に一時的に格納する。

そして、ステップＳＴ３で、ＳＤ画素データの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ５に進む。

このステップＳＴ５では、ステップＳＴ２で入力された１フィールド分または１フレーム分のＳＤ画素データより、ＨＤ信号における注目位置に対応して、クラスタップおよび予測タップのデータとしての複数のＳＤ画素データを取得し、さらに特徴量を抽出するための単一あるいは複数のＳＤ画素データを取得する。

次に、ステップＳＴ６で、ステップＳＴ２で入力されたＳＤ画素データの全領域においてＨＤ画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ２に戻り、次の１フレーム分または１フィールド分のＳＤ画素データの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ７に進む。

このステップＳＴ７では、ステップＳＴ５で取得されたクラスタップのデータとしての複数のＳＤ画素データに基づいて、ＨＤ信号における注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。そして、ステップＳＴ８で、ステップＳＴ５で取得された単一または複数のＳＤ画素データに基づいて、特徴量ＣＱを抽出する。さらに、ステップＳＴ９で、ステップＳＴ８で抽出された特徴量ＣＱに基づいてパラメータｒ，ｚの値を決定する。この場合、例えばＲＯＭ３０２に格納されている、特徴量ＣＱとパラメータｒ，ｚの値との対応を示すテーブル（図５Ａ，Ｂ参照）を用いて、パラメータｒ，ｚの値を決定する。

次に、ステップＳＴ１０で、ステップＳＴ７で生成されたクラスコードＣＬが示すクラスの係数種データｗ_i0〜ｗ_i9、およびステップＳＴ９で決定されたパラメータｒ，ｚの値を用い、上述の（５）式の生成式に基づいて、上述の（６）式の推定式で用いられる係数データＷｉを生成する。

次に、ステップＳＴ１１で、ステップＳＴ５で取得された予測タップのデータｘｉおよびステップＳＴ１０で生成された係数データＷｉを用い、（６）式の推定式に基づいて、ＨＤ信号における注目位置の画素データを生成する。その後、ステップＳＴ５に戻り、ＨＤ信号における次の注目位置の処理に移る。

このように、図１２に示すフローチャートに沿って処理をすることで、入力されたＳＤ信号を構成するＳＤ画素データを処理して、ＨＤ信号を構成するＨＤ画素データを得ることができる。上述したように、このように処理して得られたＨＤ信号は出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはＨＤＤ３０５に記録されたりする。

また、処理装置の図示は省略するが、図１０の係数種データ生成装置１５０における処理を、ソフトウェアで実現することも可能である。

図１３のフローチャートを参照して、係数種データを生成するための処理手順を説明する。
まず、ステップＳＴ２１で、処理を開始し、ステップＳＴ２２で、学習に使われる、画質パターン（パラメータｒ，ｚの値で特定される）を選択する。そして、ステップＳＴ２３で、全ての画質パターンに対して学習が終わったか否かを判定する。全ての画質パターンに対して学習が終わっていないときは、ステップＳＴ２４に進む。

このステップＳＴ２４では、既知のＨＤ画素データを１フレーム分または１フィールド分入力する。そして、ステップＳＴ２５で、全フレームまたは全フィールドのＨＤ画素データについて処理が終了したか否かを判定する。終了したときは、ステップＳＴ２２に戻って、次の画質パターンの選択を行って、上述したと同様の処理を繰り返す。一方、終了していないときは、ステップＳＴ２６に進む。

このステップＳＴ２６では、ステップＳＴ２４で入力されたＨＤ画素データより、ステップＳＴ２２で選択された画質パターンに基づいて、ＳＤ画素データを生成する。そして、ステップＳＴ２７で、ステップＳＴ２６で生成されたＳＤ画素データより、ＨＤ信号における注目位置に対応して、クラスタップおよび予測タップのデータとしての複数の画素データを取得する。

そして、ステップＳＴ２８で、生成されたＳＤ画素データの全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップＳＴ２４に戻って、次の１フレーム分または１フィールド分のＨＤ画素データの入力を行って、上述したと同様の処理を繰り返し、一方、学習処理を終了していないときは、ステップＳＴ２９に進む。

このステップＳＴ２９では、ステップＳＴ２７で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。そして、ステップＳＴ３０で、ステップＳＴ２４で入力された１フレーム分または１フィールド分のＨＤ画素データのうち、ＨＤ信号における注目位置のＨＤ画素データ、ステップＳＴ２７で取得された予測タップのデータとしての複数のＳＤ画素データ、ステップＳＴ２２で画質パターンを特定するパラメータｒ，ｚの値、およびステップＳＴ２９で生成されたクラスコードＣＬに基づいて、クラスコードＣＬで示されるクラスの正規方程式（（１３）式参照）の足し込み処理を行う。その後に、ステップＳＴ２７に戻り、ＨＤ信号における次の注目位置の処理に移る。

また、ステップＳＴ２３で、全ての画質パターンに対して学習が終わったときは、ステップＳＴ３１に進む。このステップＳＴ３１では、各クラスの正規方程式を掃き出し法等で解くことによって、各クラスの係数種データｗ_i0〜ｗ_i9を算出し、ステップＳＴ３２で、その係数種データｗ_i0〜ｗ_i9をメモリに保存し、その後にステップＳＴ３３で、処理を終了する。

このように、図１３に示すフローチャートに沿って処理をすることで、図１０に示す係数種データ生成装置１５０と同様の手法によって、係数種データｗ_i0〜ｗ_i9を得ることができる。

なお、上述実施の形態においては、ＨＤ信号における注目位置の特徴量ＣＱとして、このＨＤ信号における注目位置の周辺に位置する単一または複数のＳＤ画素データに基づいて画素値あるいは輝度値を抽出するものを示したが、特徴量ＣＱは画素値あるいは輝度値に限定されるものではない。すなわち、特徴量ＣＱは、ＨＤ信号における注目位置に対応した画像の画質（解像度、ノイズ除去度等）を、当該特徴量ＣＱに対応した画質となるように制御することで、ＨＤ信号による画像の画質を向上させることができるものであればよい。

例えば、特徴量ＣＱとして、複数のＳＤ画素データから得られる高域周波数成分、ダイナミックレンジなどを利用することも考えられる。また例えば、ＳＤ信号が、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号、あるいは輝度信号Ｙ、青色差信号Ｕおよび赤色差信号Ｖで構成される場合には、これらの色空間を用いて特徴量ＣＱを抽出してもよい。例えば、特徴量ＣＱとして、図１４に示すように、注目位置の赤、緑、青の色信号（ｒ，ｇ，ｂ）が、ＲＧＢの色空間のどの位置にあるかという情報（色空間情報）を特徴量ＣＱとして抽出してもよい。色空間は、ＲＧＢ，ＹＵＶ以外であっても利用できる。

また、上述実施の形態においては、特徴量ＣＱに基づいてＨＤ信号による画像の画質を示すパラメータｒ，ｚの値を決定し、このパラメータｒ，ｚの値を用いて、ＨＤ信号における注目位置に対応した画像の画質（解像度、ノイズ除去度）が特徴量ＣＱに対応した画質となるように自動的に制御するものである。しかし、このように特徴量ＣＱに基づいてパラメータｒ，ｚの値を決定することなく、この特徴量ＣＱそのものに基づいて、ＨＤ信号における注目位置に対応した画像の画質（解像度、ノイズ除去度）が当該特徴量ＣＱに対応した画質となるように自動的に制御する構成も考えられる。

また、上述実施の形態においては、画像信号処理部１０４のＲＯＭ１２０に係数データＷｉを生成するための生成式における係数データである係数種データｗ_i0〜ｗ_i9が格納されているものを示した。これにより、メモリの節約を図ることができる。

しかし、このＲＯＭ１２０にクラスおよびパラメータｒ，ｚの値の各組み合わせに対応した係数データＷｉ自体を格納しておくことも考えられる。その場合、画像信号処理部１０４では、そのＲＯＭ１１７から、クラス検出回路１１３で得られたクラスコードＣＬが示すクラスおよびパラメータ決定回路１１８で決定されたパラメータｒ，ｚの値に対応した係数データＷｉを読み出して、推定予測演算回路１２１に供給する。このようにＲＯＭ１２０に係数データＷｉ自体を格納しておくことで、演算の手間を省くことができる。

また、上述実施の形態においては、解像度を決めるパラメータｒ、ノイズ除去度を決めるパラメータｚに着目したものであるが、ＨＤ信号による画像の画質を決めるパラメータは、これらのパラメータｒ，ｚに限定されるものではない。また、パラメータは２個に限定されず、１個あるいは３個以上も考えられる。例えば、３個の場合、ノイズ除去度を決めるパラメータｚの他に、水平方向の解像度を決めるパラメータｈおよび垂直方向の解像度を決めるパラメータｖが考えられる。

また、上述実施の形態においては、情報信号が画像信号である場合を示したが、この発明はこれに限定されない。例えば、情報信号が音声信号である場合にも、この発明を同様に適用することができる。

この発明は、第２の情報信号における注目位置の周辺に位置する第１の情報信号の情報データに基づいて当該第２の情報信号における注目位置の特徴量を抽出し、第２の情報信号における注目位置に対応した出力の質が、抽出された特徴量に対応した質となるように、第２の情報信号における注目位置の情報データを生成して、第２の情報信号による出力の質の向上を図るものであり、例えば解像度創造の手法によってＳＤ信号からＨＤ信号を得る用途に適用できる。

実施の形態としてのテレビ受信機の構成を示すブロック図である。 ５２５ｉ信号と１０５０ｉ信号の画素位置関係を示す図である。 クラスタップ、予測タップ等の一例を示す図である。 画素値と輝度値の関係を示す図である。 特徴量とパラメータの値の対応例を示す図である。 特徴量とパラメータの値の対応例を示す図である。 ＨＤ信号（１０５０ｉ信号）の単位画素ブロック内の４画素の中心予測タップからの位相ずれ（奇数フィールド）を示す図である。 ＨＤ信号（１０５０ｉ信号）の単位画素ブロック内の４画素の中心予測タップからの位相ずれ（偶数フィールド）を示す図である。 係数種データの生成方法を説明するための図である。 係数種データ生成装置の構成を示すブロック図である。 ソフトウェアで実現するための画像信号処理装置の構成を示すブロック図である。 画像信号処理の手順を示すフローチャートである。 係数種データ生成処理の手順を示すフローチャートである。 特徴量としての色空間を説明するための図である。

符号の説明

１００・・・テレビ受信機、１０１・・・受信アンテナ、１０２・・・チューナ部、１０３・・・バッファメモリ、１０４・・・画像信号処理部、１０５・・・ディスプレイ部、１１１・・・第１のタップ選択回路、１１２・・・第２のタップ選択回路、１１３・・・第３のタップ選択回路、１１４・・・空間クラス検出回路、１１５・・・動きクラス検出回路、１１６・・・クラス合成回路、１１７・・・特徴量抽出回路、１１８・・・パラメータ決定回路、１１９・・・係数生成回路、１２０・・・ＲＯＭ、１２１・・・推定予測演算回路、１２２・・・後処理回路、１５０・・・係数種データ生成装置、３００・・・画像信号処理装置

Claims (11)

1. 複数の情報データからなる第１の情報信号を、質を向上させた複数の情報データからなる第２の情報信号に変換する情報信号処理装置であって、
   上記第１の情報信号から、上記第２の情報信号における注目位置の周辺に位置する情報データを選択し、該選択された情報データの値から上記第２の情報信号における注目位置の特徴量を抽出する特徴量抽出手段と、
   上記特徴量抽出手段で抽出された特徴量と、上記特徴量が大きい注目位置の質を低下させて上記特徴量が小さい注目位置の質を向上させるように上記第２の情報信号による出力の質を示すパラメータの値を予め設定したテーブルから、上記パラメータの値を決定するパラメータ決定手段と、
   上記第１の情報信号から、上記第２の情報信号における注目位置の周辺に位置する複数の第２の情報データを選択する第２のデータ選択手段と、
   上記第２のデータ選択手段で選択された複数の第２の情報データのレベル分布から、上記第２の情報信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、
   上記クラス検出手段で検出されたクラス毎に予め求められ、上記第１の情報信号に対応した生徒信号と上記質を向上させた第２の情報信号に対応した教師信号との誤差を最小にする係数種データを上記クラスに対応させてメモリから取得し、該係数種データと上記パラメータとを演算して係数データを発生する係数データ発生手段と、
   上記第１の情報信号から、上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、
   上記第１のデータ選択手段で選択された複数の第１の情報データおよび上記係数データ発生手段で発生された係数データを積和演算して、上記第２の情報信号における注目位置の情報データを算出する演算手段とを備える情報信号処理装置。
2. 上記情報信号は画像信号であり、
   上記パラメータの値は、上記第２の情報信号による画像の解像度またはノイズ除去度を示す請求項１に記載の情報信号処理装置。
3. 上記特徴量抽出手段は、
   上記第２の情報信号における注目位置の周辺に位置する単一の情報データを選択し、該単一の情報データの値を上記特徴量として抽出する請求項１に記載の情報信号処理装置。
4. 上記特徴量抽出手段は、
   上記第２の情報信号における注目位置の周辺に位置する複数の情報データを選択し、該複数の情報データの値の平均値を上記特徴量として抽出する請求項１に記載の情報信号処理装置。
5. 上記特徴量抽出手段は、
   上記第２の情報信号における注目位置の周辺に位置する単一の情報データを選択し、上記第２の情報信号を出力する出力手段における情報データの値と該出力手段の出力特性に係る出力値との対応関係から、上記選択した単一の情報データの値を上記出力値に変換し、該変換して得られる出力値を上記特徴量として抽出する請求項１に記載の情報信号処理装置。
6. 上記情報信号は画像信号であり、
   上記特徴量抽出手段は、上記単一の情報データとしての単一の画素データの値を変換して得られた上記出力値としての輝度値を上記特徴量として抽出する請求項５に記載の情報信号処理装置。
7. 上記特徴量抽出手段は、
   上記第２の情報信号における注目位置の周辺に位置する複数の情報データを選択し、上記第２の情報信号を出力する出力手段における情報データの値と該出力手段の出力特性に係る出力値との対応関係から、上記選択した複数の情報データの値を上記出力値にそれぞれ変換し、該変換して得られる複数の出力値の平均値を上記特徴量として抽出する請求項１に記載の情報信号処理装置。
8. 上記情報信号は画像信号であり、
   上記特徴量抽出手段は、上記複数の情報データとしての複数の画素データの値を変換して得られた上記出力値としての複数の輝度値の平均値を上記特徴量として抽出する請求項７に記載の情報信号処理装置。
9. 複数の情報データからなる第１の情報信号を、質を向上させた複数の情報データからなる第２の情報信号に変換する情報信号処理方法であって、
   上記第１の情報信号から、上記第２の情報信号における注目位置の周辺に位置する情報データを選択し、該選択された情報データの値から上記第２の情報信号における注目位置の特徴量を抽出する特徴量抽出ステップと、
   上記特徴量抽出ステップで抽出された特徴量と、上記特徴量が大きい注目位置の質を低下させて上記特徴量が小さい注目位置の質を向上させるように上記第２の情報信号による出力の質を示すパラメータの値を予め設定したテーブルから、上記パラメータの値を決定するパラメータ決定ステップと、
   上記第１の情報信号から、上記第２の情報信号における注目位置の周辺に位置する複数の第２の情報データを選択する第２のデータ選択ステップと、
   上記第２のデータ選択ステップで選択された複数の第２の情報データのレベル分布から、上記第２の情報信号における注目位置の画素データが属するクラスを検出するクラス検出ステップと、
   上記クラス検出ステップで検出されたクラス毎に予め求められ、上記第１の情報信号に対応した生徒信号と上記質を向上させた第２の情報信号に対応した教師信号との誤差を最小にする係数種データを上記クラスに対応させてメモリから取得し、該係数種データと上記パラメータとを演算して係数データを発生する係数データ発生ステップと、
   上記第１の情報信号から、上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第１のデータ選択ステップと、
   上記第１のデータ選択ステップで選択された複数の第１の情報データおよび上記係数データ発生ステップで発生された係数データを積和演算して、上記第２の情報信号における注目位置の情報データを算出する演算ステップとを備える情報信号処理方法。
10. 複数の情報データからなる第１の情報信号を、質を向上させた複数の情報データからなる第２の情報信号に変換するために、
    上記第１の情報信号から、上記第２の情報信号における注目位置の周辺に位置する情報データを選択し、該選択された情報データの値から上記第２の情報信号における注目位置の特徴量を抽出する特徴量抽出ステップと、
    上記特徴量抽出ステップで抽出された特徴量と、上記特徴量が大きい注目位置の質を低下させて上記特徴量が小さい注目位置の質を向上させるように上記第２の情報信号による出力の質を示すパラメータの値を予め設定したテーブルから、上記パラメータの値を決定するパラメータ決定ステップと、
    上記第１の情報信号から、上記第２の情報信号における注目位置の周辺に位置する複数の第２の情報データを選択する第２のデータ選択ステップと、
    上記第２のデータ選択ステップで選択された複数の第２の情報データのレベル分布から、上記第２の情報信号における注目位置の画素データが属するクラスを検出するクラス検出ステップと、
    上記クラス検出ステップで検出されたクラス毎に予め求められ、上記第１の情報信号に対応した生徒信号と上記質を向上させた第２の情報信号に対応した教師信号との誤差を最小にする係数種データを上記クラスに対応させてメモリから取得し、該係数種データと上記パラメータとを演算して係数データを発生する係数データ発生ステップと、
    上記第１の情報信号から、上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第１のデータ選択ステップと、
    上記第１のデータ選択ステップで選択された複数の第１の情報データおよび上記係数データ発生ステップで発生された係数データを積和演算して、上記第２の情報信号における注目位置の情報データを算出する演算ステップとを備える情報信号処理方法をコンピュータに実行させるためのプログラム。
11. 複数の情報データからなる第１の情報信号を、質を向上させた複数の情報データからなる第２の情報信号に変換するために、
    上記第１の情報信号から、上記第２の情報信号における注目位置の周辺に位置する情報データを選択し、該選択された情報データの値から上記第２の情報信号における注目位置の特徴量を抽出する特徴量抽出ステップと、
    上記特徴量抽出ステップで抽出された特徴量と、上記特徴量が大きい注目位置の質を低下させて上記特徴量が小さい注目位置の質を向上させるように上記第２の情報信号による出力の質を示すパラメータの値を予め設定したテーブルから、上記パラメータの値を決定するパラメータ決定ステップと、
    上記第１の情報信号から、上記第２の情報信号における注目位置の周辺に位置する複数の第２の情報データを選択する第２のデータ選択ステップと、
    上記第２のデータ選択ステップで選択された複数の第２の情報データのレベル分布から、上記第２の情報信号における注目位置の画素データが属するクラスを検出するクラス検出ステップと、
    上記クラス検出ステップで検出されたクラス毎に予め求められ、上記第１の情報信号に対応した生徒信号と上記質を向上させた第２の情報信号に対応した教師信号との誤差を最小にする係数種データを上記クラスに対応させてメモリから取得し、該係数種データと上記パラメータとを演算して係数データを発生する係数データ発生ステップと、
    上記第１の情報信号から、上記第２の情報信号における注目位置の周辺に位置する複数の第１の情報データを選択する第１のデータ選択ステップと、
    上記第１のデータ選択ステップで選択された複数の第１の情報データおよび上記係数データ発生ステップで発生された係数データを積和演算して、上記第２の情報信号における注目位置の情報データを算出する演算ステップとを備える情報信号処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体。

Images