JP4038881B2 - 画像信号の変換装置および変換方法、並びにそれに使用される係数データの生成装置および生成方法 - Google Patents
画像信号の変換装置および変換方法、並びにそれに使用される係数データの生成装置および生成方法 Download PDFInfo
- Publication number
- JP4038881B2 JP4038881B2 JP15444698A JP15444698A JP4038881B2 JP 4038881 B2 JP4038881 B2 JP 4038881B2 JP 15444698 A JP15444698 A JP 15444698A JP 15444698 A JP15444698 A JP 15444698A JP 4038881 B2 JP4038881 B2 JP 4038881B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- signal
- class
- image signal
- coefficient data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、例えばＮＴＳＣ方式のビデオ信号をハイビジョンのビデオ信号に変換する画像信号の変換装置および変換方法、並びにそれに使用される係数データの生成装置および生成方法に関する。詳しくは、線形推定式を使用して第１の画像信号をこの第１の画像信号と同じあるいはそれより多い画素数の第２の画像信号に変換する際に、第１の画像信号のエラー状態に応じた係数データを選択的に使用可能とすることによって、変換処理を適切に行い得るようにした画像信号変換装置等に係るものである。
【０００２】
【従来の技術】
近年、オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることができるようなテレビ受信機の開発が望まれ、この要望に応えて、いわゆるハイビジョンが開発された。ハイビジョンの走査線数は、ＮＴＳＣ方式の走査線数が５２５本であるのに対して、２倍以上の１１２５本である。また、ハイビジョンの縦横比は、ＮＴＳＣ方式の縦横比が３：４であるのに対して、９：１６となっている。このため、ハイビジョンでは、ＮＴＳＣ方式に比べて、高解像度で臨場感のある画像を表示することができる。
【０００３】
ハイビジョンはこのように優れた特性を有するが、ＮＴＳＣ方式のビデオ信号をそのまま供給しても、ハイビジョン方式による画像表示を行うことはできない。これは、上述のようにＮＴＳＣ方式とハイビジョンとでは規格が異なるからである。
【０００４】
そこで、ＮＴＳＣ方式のビデオ信号に応じた画像をハイビジョン方式で表示するため、本出願人は、先に、ＮＴＳＣ方式のビデオ信号をハイビジョンのビデオ信号に変換するための変換装置を提案した（特願平６−２０５９３４号参照）。この変換装置では、ハイビジョンのビデオ信号を構成する各画素の信号を、ＮＴＳＣ方式の所定領域の画素の信号と係数データ（予測係数値）とから線形推定式を用いて得るようになっている。ここで、係数データは、予め学習により獲得され、ＲＯＭ（read only memory）等の係数データ記憶手段に記憶されている。
【０００５】
【発明が解決しようとする課題】
上述した変換装置においては、係数データ記憶手段に記憶されている係数データは１種類のみである。そのため、ＮＴＳＣ方式のビデオ信号のエラー状態によっては、係数データ記憶手段に記憶されている係数データが適当でなく、適切な変換処理を行えないという問題があった。
【０００６】
そこで、この発明では、変換処理を適切に行い得るようにした画像信号変換装置等を提供することを目的とする。
【０００７】
【課題を解決するための手段】
この発明に係る画像信号変換装置は、第１の画像信号を、この第１の画像信号と同じあるいはそれより多い画素数の第２の画像信号に変換するようにした画像信号変換装置において、上記第２の画像信号を構成すると共に推定対象の画素である注目画素に対して、上記第１の画像信号から該注目画素周辺に位置する第１の領域の画素の信号を切り出す第１の画素切り出し手段と、上記第１の画素切り出し手段により切り出された上記第１の領域の画素の信号のレベル分布パターンを検出し、このパターンに基づいて注目画素の信号が属するクラスを決定してクラス情報を出力するクラス決定手段と、それぞれ上記クラス情報で示される各クラスに対応して、上記注目画素を推定するための線形推定式の演算に用いられる係数データを記憶すると共に、それぞれ上記第１の画像信号の異なるエラー状態に対応した、上記線形推定式の係数データを記憶する複数の係数データ記憶部を持つ係数データ記憶手段と、上記第１の画像信号の複数画素における画素値の相関を見ることにより、少なくともノイズによる画素のエラー状態を検出するエラー検出手段と、上記エラー検出手段で検出されるエラー状態に基づいて上記複数の係数データ記憶部より選択された一の係数データ記憶部から、上記クラス決定手段より出力される上記クラス情報に対応した係数データを読み出して出力する係数データ出力手段と、上記第１の画像信号から上記注目画素周辺に位置する第２の領域の画素の信号を切り出す第２の画素切り出し手段と、上記係数データ出力手段より出力された上記係数データと、上記第２の画素切り出し手段により切り出された上記第２の領域の画素の信号とを用いて上記線形推定式により積和演算し、当該演算結果を上記注目画素の値として出力する画像信号出力手段とを備えるものである。第１および第２の画素切り出し手段が共通に構成され、従って第１および第２の領域が同じであってもよい。
【０００８】
推定対象の画素である注目画素に対応して第１の画像信号から該注目画素周辺に位置する第１の領域の画素の信号が切り出され、そのレベル検出パターンに基づいて上述した注目画素の信号が属するクラスが決定されてクラス情報が出力される。また、第１の画像信号の複数画素における画素値の相関を見ることにより、少なくともノイズによる画素のエラー状態が検出され、そのエラー状態に基づいて複数の係数データ記憶部より選択された一の係数データ記憶部からクラス情報に対応した係数データが読み出される。また、上述した第２の画像信号を構成する注目画素に対応して、第１の画像信号から当該注目画素周辺に位置する第２の領域の画素の信号が切り出される。そして、この第２の領域の画素の信号と係数データとを用いて線形推定式により積和演算し、当該演算結果を注目画素の値として出力する。
【０００９】
複数の係数データ記憶部には、第１の画像信号の異なるエラー状態に対応した係数データが記憶される。上述したように第１の画像信号のエラー状態に基づいて複数の係数データ記憶部より選択された一の係数データ記憶部から係数データが読み出されて使用される。そのため、線形推定式で使用される係数データは第１の画像信号のエラー状態に対応したものとなり、変換処理が適切に行われるようになる。
【００１０】
また、この発明に係る係数データ生成装置は、第１の画像信号を、この第１の画像信号より画素数の多い第２の画像信号に変換する際に使用される線形推定式の係数データを生成する装置において、上記第２の画像信号に対応する教師信号を処理して上記第１の画像信号に対応する第１の入力信号を得る第１の信号処理手段と、上記第１の入力信号に対して、少なくとも所定の画素の値を変化させる処理により、当該画素に対してエラーを持つ第２の入力信号を得る第２の信号処理手段と、上記教師信号を構成すると共に推定対象の画素である注目画素の信号それぞれに対応して、上記第２の入力信号から該注目画素周辺に位置する第１の領域の画素の信号を順次切り出す第１の画素切り出し手段と、上記第１の画素切り出し手段により順次切り出された上記第１の領域の画素の信号のレベル分布のパターンを検出し、このパターンに基づいて上記注目画素の信号がそれぞれ属するクラスを決定してクラス情報を出力するクラス決定手段と、上記注目画素の信号それぞれに対応して、上記第２の入力信号より上記注目画素周辺に位置する第２の領域の画素の信号を順次切り出す第２の画素切り出し手段と、上記クラス決定手段より出力される上記注目画素がそれぞれ属するクラスを示すクラス情報と、上記教師信号を構成する上記注目画素の信号と、上記第２の画素切り出し手段により順次切り出された上記第２の領域の画素の信号とから、各クラス毎に上記係数データをそれぞれ得るための正規方程式を生成する正規方程式生成手段と、上記正規方程式を解いて上記各クラス毎の係数データを得る係数データ演算手段とを備えるものである。第１および第２の画素切り出し手段が共通に構成され、従って第１および第２の領域が同じであってもよい。
【００１１】
第２の画像信号、例えばハイビジョンのビデオ信号に対応する教師信号が処理されて第１の画像信号、例えばＮＴＳＣ方式のビデオ信号に対応する第１の入力信号が得られる。また、この第１の入力信号が処理されて所定のエラーが付加された第２の入力信号が得られる。エラー状態としては、ある走査線上のデータがジッタによって１画素分ずれているもの、特定の画素データの値がノイズによって変化しているもの等が考えられる。
【００１２】
教師信号を構成すると共に推定対象の画素である注目画素の信号にそれぞれ対応して、第２の入力信号から該注目画素周辺に位置する第１の領域の画素の信号が順次切り出され、その第１の領域の画素の信号のレベル分布パターンに基づいて注目画素の信号がそれぞれ属するクラスが決定されてクラス情報が出力される。
【００１３】
また、教師信号を構成する注目画素の信号にそれぞれ対応して、第２の入力信号より注目画素周辺に位置する第２の領域の画素の信号が順次切り出される。そして、この第２の領域の画素の信号と、教師信号を構成する注目画素の信号がそれぞれ属するクラスを示すクラス情報と、教師信号を構成する注目画素の信号とから、各クラス毎に係数データをそれぞれ得るための正規方程式が生成され、この正規方程式を解くことで各クラス毎の係数データが得られる。第２の信号処理手段で付加されるエラーを変更することで、第１の画像信号の種々のエラー状態に対応した係数データを得ることが可能となる。
【００１４】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての画像信号変換装置１００の構成を示している。この画像信号変換装置１００は、ＮＴＳＣ方式のビデオ信号を構成する画素データ（以下、「ＳＤ画素データ」という）からハイビジョンのビデオ信号を構成する画素データ（以下、「ＨＤ画素データ」という）を得るためのものである。
【００１５】
この画像信号変換装置１００は、ＳＤ画素データが供給される入力端子１０１と、この入力端子１０１に供給されるＳＤ画素データより、推定しようとする所定のＨＤ画素データに対応した領域のＳＤ画素データを切り出す領域切り出し回路１０２と、この領域切り出し回路１０２で切り出されたＳＤ画素データに対してＡＤＲＣ（Adaptive Dynamic Range Coding）処理を適用して、主に空間内の波形を表すクラス（空間クラス）を決定してクラス情報を出力するＡＤＲＣ回路１０３とを有している。
【００１６】
図２および図３は、ＳＤ画素とＨＤ画素の位置関係を示している。領域切り出し回路１０２では、例えば図４に示すように、ＨＤ画素データｙを推定しようとする場合、このＨＤ画素データｙの近傍に位置するＳＤ画素データｋ1〜ｋ5が切り出される。
【００１７】
ＡＤＲＣ回路１０３では、領域切り出し回路１０２で切り出されたＳＤ画素データのレベル分布のパターン化を目的として、各ＳＤ画素データを、例えば８ビットデータから２ビットデータに圧縮するような演算が行われる。そして、ＡＤＲＣ回路１０３からは、各ＳＤ画素データに対応した圧縮データ（再量子化コード）ｑiが空間クラスのクラス情報として出力される。
【００１８】
本来ＡＤＲＣは、ＶＴＲ（Video Tape Recorder）向け高性能符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、本実施の形態では、領域切り出し回路１０２で切り出されたＳＤ画素データのレベル分布のパターン化に使用している。
【００１９】
ＡＤＲＣ回路１０３では、領域内のＳＤ画素データの最大値をＭＡＸ、その最小値をＭＩＮ、領域内のダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をｐとすると、領域内の各ＳＤ画素データｋiに対して、（１）式の演算により再量子化コードｑiが得られる。ただし、（１）式において、〔 〕は切り捨て処理を意味している。領域切り出し回路１０２で、Ｎａ個のＳＤ画素データが切り出されるとき、ｉ＝１〜Ｎａである。
【００２０】
ｑi＝〔（ｋi−ＭＩＮ＋０．５）・２p ／ＤＲ〕 ・・・（１）
また、画像信号変換装置１００は、入力端子１０１に供給されるＳＤ画素データより、推定しようとする所定のＨＤ画素データに対応した領域のＳＤ画素データを切り出す領域切り出し回路１０４と、この領域切り出し回路１０４で切り出されたＳＤ画素データより、主に動きの程度を表すためのクラス（動きクラス）を決定してクラス情報を出力する動きクラス決定回路１０５とを有している。
【００２１】
領域切り出し回路１０４では、例えば図５に示すように、ＨＤ画素データｙを推定しようとする場合、このＨＤ画素データｙの近傍に位置する１０個のＳＤ画素データｍ1〜ｍ5，ｎ1〜ｎ5が切り出される。
【００２２】
動きクラス決定回路１０５では、領域切り出し回路１０４で切り出されたＳＤ画素データｍi，ｎiからフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスのクラス情報ＭＶが出力される。
【００２３】
すなわち、動きクラス決定回路１０５では、（２）式によって、差分の絶対値の平均値ＡＶが算出される。領域切り出し回路１０４で、例えば上述したように１０個のＳＤ画素データｍ1〜ｍ5，ｎ1〜ｎ5が切り出されるとき、（２）式におけるＮｂは５である。
【００２４】
【数１】
【００２５】
そして、動きクラス決定回路１０５では、上述したように算出された平均値ＡＶが１個または複数個のしきい値と比較されてクラス情報ＭＶが得られる。例えば、３個のしきい値ｔｈ1，ｔｈ2，ｔｈ3（ｔｈ1＜ｔｈ2＜ｔｈ3）が用意され、４つの動きクラスを決定する場合、ＡＶ≦ｔｈ1のときはＭＶ＝０、ｔｈ1＜ＡＶ≦ｔｈ2のときはＭＶ＝１、ｔｈ2＜ＡＶ≦ｔｈ3のときはＭＶ＝２、ｔｈ3＜ＡＶのときはＭＶ＝３とされる。
【００２６】
また、画像信号変換装置１００は、ＡＤＲＣ回路１０３より出力される空間クラスのクラス情報としての再量子化コードｑiと、動きクラス決定回路１０５より出力される動きクラスのクラス情報ＭＶに基づき、推定しようとするＨＤ画素データが属するクラスを示すクラスコードＣＬを得るためのクラスコード発生回路１０６を有している。クラスコード発生回路１０６では、（３）式によって、クラスコードＣＬの演算が行われる。なお、（３）式において、Ｎａは領域切り出し回路１０２で切り出されるＳＤ画素データの個数、ｐはＡＤＲＣ回路１０３における再量子化ビット数を示している。
【００２７】
【数２】
【００２８】
また、画像信号変換装置１００は、それぞれ後述する推定演算回路１１０で使用される線形推定式の係数データが各クラス毎に記憶されているｎ個のＲＯＭテーブル１０７-1〜１０７-nと、入力端子１０１に供給されるＳＤ画素データのエラー状態を検出するエラー検出回路１０８とを有している。ＲＯＭテーブル１０７-1〜１０７-nには、それぞれＳＤ画素データの異なるエラー状態に対応した線形推定式の係数データが記憶されている。エラー状態としては、ある走査線上の画素データがジッタによって１画素分ずれているもの、特定の画素データの値がノイズによって変化しているもの等が考えられる。エラー検出回路１０８では、例えば連続する複数の垂直方向および水平方向の画素データの相関を見ることでエラー状態の検出が行われる。
【００２９】
エラー検出回路１０８より出力されるエラー状態の検出結果ＥＤＥは、ＲＯＭテーブル１０７-1〜１０７-nより一のＲＯＭテーブルを選択するための情報として使用される。すなわち、ＲＯＭテーブル１０７-1〜１０７-nのうち、係数データを得るためのＲＯＭテーブルとして、検出結果ＥＤＥで示されるエラー状態、またはそれに最も近いエラー状態に対応した線形推定式の係数データが記憶されているＲＯＭテーブルが選択される。この選択されたＲＯＭテーブルにはクラスコード発生回路１０６より出力されるクラスコードが読み出しアドレス情報として供給され、そのＲＯＭテーブルよりクラスコードＣＬに対応した係数データｗｉが読み出される。
【００３０】
また、画像信号変換装置１００は、入力端子１０１に供給されるＳＤ画素データより、推定しようとする所定のＨＤ画素データに対応した領域のＳＤ画素データを切り出す領域切り出し回路１０９と、この領域切り出し回路１０９で切り出されたＳＤ画素データと、上述したように選択されたＲＯＭテーブルより読み出される係数データｗiとから、推定しようとするＨＤ画素データを演算する推定演算回路１１０と、この推定演算回路１１０で演算されたＨＤ画素データを導出する出力端子１１１と有している。
【００３１】
領域切り出し回路１０９では、例えば図６に示すように、ＨＤ画素データｙを推定しようとする場合、これらＨＤ画素データｙの近傍に位置するＳＤ画素データｘ1〜ｘ25が切り出される。推定演算回路１１０では、領域切り出し回路１０９で切り出されたＳＤ画素データｘiと、選択されたＲＯＭテーブルより読み出された係数データｗiとから、（４）式の線形推定式によって、推定しようとするＨＤ画素データｙが演算される。領域切り出し回路１０９で、例えば上述したように２５個のＳＤ画素データｘ1〜ｘ25が切り出されるとき、（４）式におけるｎ、つまりタップ数は２５である。
【００３２】
【数３】
【００３３】
図１に示す画像信号変換装置１００の動作を説明する。推定しようとする所定のＨＤ画素データｙに対応して、入力端子１０１に供給されるＳＤ画素データより領域切り出し回路１０２で所定領域のＳＤ画素データｋiが切り出され、この切り出された各ＳＤ画素データｋiに対してＡＤＲＣ回路１０３でＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑiが得られる。
【００３４】
また、上述した推定しようとするＨＤ画素データｙに対応して、入力端子１０１に供給されるＳＤ画素データより領域切り出し回路１０４で所定領域のＳＤ画素データｍi，ｎiが切り出され、この切り出された各ＳＤ画素データｍi，ｎiより動きクラス決定回路１０５で動きクラス（主に動きの程度を表すためのクラス分類）を示すクラス情報ＭＶが得られる。この動きクラス情報ＭＶと上述したＡＤＲＣ回路１０３で得られる再量子化コードｑiとから、クラスコード発生回路１０６で、推定しようとするＨＤ画素データｙが属するクラスを示すクラス情報としてのクラスコードＣＬが得られる。
【００３５】
また、入力端子１０１に供給されるＳＤ画素データがエラー検出回路１０８に供給され、ＳＤ画素データのエラー状態が検出される。そして、エラー検出回路１０８からのエラー状態の検出結果ＥＤＥによって、ＲＯＭテーブル１０７-1〜１０７-nのうち、ＳＤ画素データのエラー状態またはそれに最も近いエラー状態に対応した線形推定式の係数データが記憶されているＲＯＭテーブルが選択される。この選択されたＲＯＭテーブルにクラスコードＣＬが読み出しアドレス情報として供給され、そのクラスコードＣＬに対応した係数データｗｉが読み出される。
【００３６】
また、上述した推定しようとするＨＤ画素データｙに対応して、入力端子１０１に供給されるＳＤ画素データより領域切り出し回路１０９で所定領域のＳＤ画素データｘiが切り出される。そして、推定演算回路１１０では、その切り出されたＳＤ画素データｘiと、上述したように選択されたＲＯＭテーブルより読み出された係数データｗiとから、線形推定式を使用して、推定しようとするＨＤ画素データｙが演算される。そして、推定演算回路１１０より順次出力されるＨＤ画素データｙが出力端子１１１に導出される。
【００３７】
図１に示す画像信号変換装置１００においては、入力端子１０１に供給されるＳＤ画素データのエラー状態が検出され、そのエラー状態またはそれに最も近いエラー状態に対応した係数データｗｉが読み出され、推定しようとするＨＤ画素データｙを求めるための線形推定式に用いられる。そのため、ＮＴＳＣ方式のビデオ信号からハイビジョンのビデオ信号への変換処理を常に適切に行うことができる利益がある。なお、領域切り出し回路１０２および領域切り出し回路１０９を共通に構成し、ｋiとｘiを同じとすることも考えられる。
【００３８】
ところで、ＲＯＭテーブル１０７-1〜１０７-nには、上述したようにそれぞれ各クラスに対応した線形推定式の係数データが記憶されている。この係数データは、予め学習によって生成されたものである。まず、この学習方法について説明する。（４）式の線形推定式に基づく係数データｗi（ｉ＝１〜ｎ）を最小自乗法により求める例を示すものとする。一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを予測値として、（５）式の観測方程式を考える。この（５）式において、ｍは学習データ数を示し、ｎは予測タップの数を示している。
【００３９】
【数４】
【００４０】
（５）式の観測方程式により収集されたデータに最小自乗法を適用する。この（５）式の観測方程式をもとに、（６）式の残差方程式を考える。
【００４１】
【数５】
【００４２】
（６）式の残差方程式から、各ｗiの最確値は、（７）式のｅ2を最小にする条件が成り立つ場合と考えられる。すなわち、（８）式の条件を考慮すればよいわけである。
【００４３】
【数６】
【００４４】
つまり、（８）式のｉに基づくｎ個の条件を考え、これを満たすｗ1，ｗ2，・・・，ｗnを算出すればよい。そこで、（６）式の残差方程式から、（９）式が得られる。さらに、（９）式と（５）式とから、（１０）式が得られる。
【００４５】
【数７】
【００４６】
そして、（６）式と（１０）式とから、（１１）式の正規方程式が得られる。
【００４７】
【数８】
【００４８】
（１１）式の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗiの最確値を求めることができる。この場合、掃き出し法（Gauss-Jordanの消去法）等を用いて連立方程式を解くことになる。
【００４９】
図７は、上述した予測係数の学習フローを示している。学習を行うためには、入力信号と予測対象となる教師信号を用意しておく。
【００５０】
まず、ステップＳＴ１で、教師信号より得られる予測対象画素値と入力信号より得られる予測タップのｎ個の画素値との組み合わせを学習データとして生成する。次に、ステップＳＴ２で、学習データの生成が終了したか否かを判定し、学習データの生成が終了していないときは、ステップＳＴ３でその学習データにおける予測対象画素値が属するクラスを決定する。このクラスの決定は、予測対象画素値に対応して入力信号より得られる所定数の画素値に基づいて行われ、上述したＡＤＲＣ処理による空間クラス等が決定される。
【００５１】
そして、ステップＳＴ４で、各クラス毎に、ステップＳＴ１で生成された学習データ、すなわち予測対象画素値と予測タップのｎ個の画素値とを使用して、（１１）式に示すような正規方程式の生成をする。ステップＳＴ１〜ステップＳＴ４の動作は、学習データの生成が終了するまで繰り返され、多くの学習データが登録された正規方程式が生成される。
【００５２】
ステップＳＴ２で学習データの生成が終了したときは、ステップＳＴ５で、各クラス毎に生成された正規方程式を解き、各クラス毎のｎ個の予測係数ｗiを求める。そして、ステップＳＴ６で、クラス別にアドレス分割されたメモリに予測係数ｗiを登録して、学習フローを終了する。
【００５３】
次に、図１に示した画像信号変換装置１００のＲＯＭテーブル１０７-1〜１０７-nに記憶されている各クラス毎の係数データｗiを、上述した学習の原理によって予め生成する係数データ生成装置１５０の詳細を説明する。図８は、係数データ生成装置１５０の構成例を示している。
【００５４】
この係数データ生成装置１５０は、教師信号としてのハイビジョンのビデオ信号を構成するＨＤ画素データが供給される入力端子１５１と、このＨＤ画素データに対して水平および垂直の間引きフィルタ処理を行って、入力信号としてのＮＴＳＣ方式のビデオ信号を構成するＳＤ画素データを得る間引き回路１５２と、このＳＤ画素データに所定のエラーを付加するエラー付加回路１５３とを有している。
【００５５】
間引き回路１５２では、図示せずも、ＨＤ画素データに対して、垂直間引きフィルタによってフィールド内の垂直方向のライン数が１／２となるように間引き処理が施されると共に、さらに水平間引きフィルタによって水平方向の画素数が１／２となるように間引き処理が施される。したがって、ＳＤ画素とＨＤ画素の位置関係は、図２および図３に示すようになる。エラー付加回路１５３からは所定のエラーが付加されたＳＤ画素データが出力されるが、係数データ生成装置１５０ではそのＳＤ画素データのエラー状態に対応した係数データが生成される。エラー付加回路１５３では、例えばある走査線上のデータを１画素分ずらす、特定の画素データの値を変化させる等の処理により、種々のエラーを付加することが可能とされている。
【００５６】
また、係数データ生成装置１５０は、入力端子１５１に供給されるＨＤ画素データＨＤより得られる予測対象画素値としての複数個のＨＤ画素データにそれぞれ対応して、エラー付加回路１５３より出力されるＳＤ画素データＳＤより所定領域のＳＤ画素データを順次切り出す領域切り出し回路１５５と、この領域切り出し回路１５５で順次切り出されたＳＤ画素データに対してＡＤＲＣ処理を適用して、主に空間内の波形を表すクラス（空間クラス）を決定してクラス情報を出力するＡＤＲＣ回路１５６とを有している。
【００５７】
領域切り出し回路１５５は、上述した画像信号変換装置１００の領域切り出し回路１０２と同様に構成される。この領域切り出し回路１５５からは、例えば図４に示すように、予測対象画素値としてのＨＤ画素データｙに対応して、このＨＤ画素データｙの近傍に位置するＳＤ画素データｋ1〜ｋ5が切り出される。また、ＡＤＲＣ回路１５６も、上述した画像信号変換装置１００のＡＤＲＣ回路１０３と同様に構成される。このＡＤＲＣ回路１５６からは、予測対象画素値としての各ＨＤ画素データにそれぞれ対応して切り出された所定領域のＳＤ画素データ毎に再量子化コードｑiが空間クラスを示すクラス情報として出力される。
【００５８】
また、係数データ生成装置１５０は、上述した予測対象画素値としての各ＨＤ画素データにそれぞれ対応して、エラー付加回路１５３より出力されるＳＤ画素データより所定領域のＳＤ画素データを順次切り出す領域切り出し回路１５７と、この領域切り出し回路１５７で切り出されたＳＤ画素データより、主に動きの程度を表すためのクラス（動きクラス）を決定してクラス情報を出力する動きクラス決定回路１５８とを有している。
【００５９】
領域切り出し回路１５７は、上述した画像信号変換装置１００の領域切り出し回路１０４と同様に構成される。この領域切り出し回路１５７からは、例えば図５に示すように、予測対象画素値としてのＨＤ画素データｙに対応して、このＨＤ画素データｙの近傍に位置する１０個のＳＤ画素データｍ1〜ｍ5，ｎ1〜ｎ5が切り出される。また、動きクラス決定回路１５８も、上述した画像信号変換装置１００の動きクラス決定回路１０５と同様に構成される。この動きクラス決定回路１５８からは、予測対象画素値としての各ＨＤ画素データにそれぞれ対応して切り出された所定領域のＳＤ画素データ毎に動きの指標である動きクラスのクラス情報ＭＶが出力される。
【００６０】
また、係数データ生成装置１５０は、ＡＤＲＣ回路１５６より出力される空間クラスのクラス情報としての再量子化コードｑiと、動きクラス決定回路１５８より出力される動きクラスのクラス情報ＭＶに基づいてクラスコードＣＬを得るためのクラスコード発生回路１５９を有している。このクラスコード発生回路１５９は、上述した画像信号変換装置１００のクラスコード発生回路１０６と同様に構成される。このクラスコード発生回路１５９からは、予測対象画素値としての各ＨＤ画素データにそれぞれ対応して、そのＨＤ画素データが属するクラスを示すクラスコードＣＬが出力される。
【００６１】
また、係数データ生成装置１５０は、上述した予測対象画素値としての各ＨＤ画素データにそれぞれ対応して、エラー付加回路１５３より出力されるＳＤ画素データより予測タップ値としての所定領域のＳＤ画素データを順次切り出す領域切り出し回路１６０を有している。領域切り出し回路１６０は、上述した画像信号変換装置１００の領域切り出し回路１０９と同様に構成される。この領域切り出し回路１６０からは、例えば図６に示すように、予測対象画素値としてのＨＤ画素データｙに対応して、このＨＤ画素データｙの近傍に位置する２５個のＳＤ画素データｘ1〜ｘ25が切り出される。
【００６２】
また、係数データ生成装置１５０は、入力端子１５１に供給されるＨＤ画素データより得られる予測対象画素値としての各ＨＤ画素データｙと、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応して領域切り出し回路１６０で順次切り出された予測タップ画素値としてのＳＤ画素データｘiと、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応してクラスコード発生回路１５９より出力されるクラスコードＣＬとから、各クラス毎に、ｎ個の係数データｗiを生成するための正規方程式（（１１）式参照）を生成する正規方程式生成回路１６１を有している。
【００６３】
この場合、１個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素値との組み合わせで上述した学習データが生成され、従って生成回路１６１では多くの学習データが登録された正規方程式が生成される。なお、図示しないが、領域切り出し回路１６０の前段に時間合わせ用の遅延回路を配置することで、領域切り出し回路１６０から正規方程式生成回路１６１に供給されるＳＤ画素データｘiのタイミング合わせを行うことができる。
【００６４】
また、係数データ生成装置１５０は、正規方程式生成回路１６１で各クラス毎に生成された正規方程式のデータが供給され、各クラス毎に生成された正規方程式を解いて、各クラス毎の係数データ（予測係数）ｗiを求める予測係数決定回路１６２と、この求められた係数データｗiを記憶するメモリ１６３とを有している。予測係数決定回路１６２では、正規方程式が例えば掃き出し法などによって解かれて、係数データｗiが求められる。
【００６５】
図８に示す係数データ生成装置１５０の動作を説明する。入力端子１５１には教師信号としてのハイビジョンのビデオ信号を構成するＨＤ画素データが供給され、そしてこのＨＤ画素データに対して間引き回路１５２で水平および垂直の間引き処理等が行われて入力信号としてのＮＴＳＣ方式のビデオ信号を構成するＳＤ画素データが得られる。そして、このＳＤ画素データに対してエラー付加回路１５３で所定のエラーが付加される。
【００６６】
また、入力端子１５１に供給されるＨＤ画素データより得られる予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応して、エラー付加回路１５３より出力されるＳＤ画素データから領域切り出し回路１５５で所定領域のＳＤ画素データｋiが順次切り出され、この切り出された各ＳＤ画素データｋiに対してＡＤＲＣ回路１５６でＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑiが得られる。
【００６７】
また、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応して、エラー付加回路１５３より出力されるＳＤ画素データから領域切り出し回路１５７で所定領域のＳＤ画素データｍi，ｎiが順次切り出され、この切り出された各ＳＤ画素データｍi，ｎiより動きクラス決定回路１５８で動きクラス（主に動きの程度を表すためのクラス分類）を示すクラス情報ＭＶが得られる。そして、このクラス情報ＭＶと上述したＡＤＲＣ回路１５６で得られる再量子化コードｑiとからクラスコード発生回路１５９で、予測対象画素値としての各ＨＤ画素データｙが属するクラスを示すクラス情報としてのクラスコードＣＬが得られる。
【００６８】
また、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応して、エラー付加回路１５３より出力されるＳＤ画素データから領域切り出し回路１６０で所定領域のＳＤ画素データｘiが順次切り出される。そして、入力端子１５１に供給されるＨＤ画素データより得られる予測対象画素値としての各ＨＤ画素データｙと、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応して領域切り出し回路１６０で順次切り出された予測タップ画素値としてのＳＤ画素データｘiと、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応してクラスコード発生回路１５９より出力されるクラスコードＣＬとから、正規方程式生成回路１６１では、各クラス毎に、ｎ個の係数データｗiを生成するための正規方程式が生成される。そして、予測係数決定回路１６２でその正規方程式が解かれ、各クラス毎の係数データｗiが求められ、その係数データｗiはクラス別にアドレス分割されたメモリ１６３に記憶される。
【００６９】
このように、図８に示す係数データ生成装置１５０においては、エラー付加回路１５３で付加されるエラーを順次変更することで、異なるエラー状態のＳＤ画素データに対応する係数データｗｉを順次生成することができる。
【００７０】
なお、上述実施の形態においては、空間波形を少ないビット数でパターン化する情報圧縮手段として、ＡＤＲＣ回路１０３，１５６を設けることにしたが、これはほんの一例であり、信号波形のパターンの少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えばＤＰＣＭ（Differential Pulse Code Modulation）やＶＱ（Vector Quantization ）等の圧縮手段を用いてもよい。
【００７１】
また、上述実施の形態においては、ＮＴＳＣ方式のビデオ信号をハイビジョンのビデオ信号に変換する例を示したが、この発明はそれに限定されるものでなく、線形推定式を使用して第１の画像信号をこの第１の画像信号と同じあるいはそれより多い画素数の第２の画像信号に変換する場合に適用できることは勿論である。
【００７２】
【発明の効果】
この発明によれば、線形推定式を使用して第１の画像信号をこの第１の画像信号と同じあるいはそれより多い画素数の第２の画像信号に変換する際に、第１の画像信号のエラー状態に応じた係数データを選択的に使用可能とするものであり、第１の画像信号のエラー状態に応じて、変換処理を適切に行うことができる。
【図面の簡単な説明】
【図１】実施の形態としての画像信号変換装置の構成を示すブロック図である。
【図２】ＳＤ画素とＨＤ画素の位置関係を説明するための略線図である。
【図３】ＳＤ画素とＨＤ画素の位置関係を説明するための略線図である。
【図４】空間クラス分類に使用するＳＤ画素データを説明するための略線図である。
【図５】動きクラス分類に使用するＳＤ画素データを説明するための略線図である。
【図６】推定演算に使用するＳＤ画素データを説明するための略線図である。
【図７】予測係数の学習フローを示すフローチャートである。
【図８】係数データ生成装置の構成例を示すブロック図である。
【符号の説明】
１００・・・画像信号変換装置、１０１・・・入力端子、１０２，１０４，１０９・・・領域切り出し回路、１０３・・・ＡＤＲＣ回路、１０５・・・動きクラス決定回路、１０６・・・クラスコード発生回路、１０７-1〜１０７-n・・・ＲＯＭテーブル、１０８・・・エラー検出回路、１１０・・・推定演算回路、１１１・・・出力端子、１５０・・・係数データ生成装置、１５１・・・入力端子、１５２・・・間引き回路、１５３・・・エラー付加回路、１５５，１５７，１６０・・・領域切り出し回路、１５６・・・ＡＤＲＣ回路、１５８・・・動きクラス決定回路、１５９・・・クラスコード発生回路、１６１・・・正規方程式生成回路、１６２・・・予測係数決定回路、１６３・・・メモリ
【発明の属する技術分野】
この発明は、例えばＮＴＳＣ方式のビデオ信号をハイビジョンのビデオ信号に変換する画像信号の変換装置および変換方法、並びにそれに使用される係数データの生成装置および生成方法に関する。詳しくは、線形推定式を使用して第１の画像信号をこの第１の画像信号と同じあるいはそれより多い画素数の第２の画像信号に変換する際に、第１の画像信号のエラー状態に応じた係数データを選択的に使用可能とすることによって、変換処理を適切に行い得るようにした画像信号変換装置等に係るものである。
【０００２】
【従来の技術】
近年、オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることができるようなテレビ受信機の開発が望まれ、この要望に応えて、いわゆるハイビジョンが開発された。ハイビジョンの走査線数は、ＮＴＳＣ方式の走査線数が５２５本であるのに対して、２倍以上の１１２５本である。また、ハイビジョンの縦横比は、ＮＴＳＣ方式の縦横比が３：４であるのに対して、９：１６となっている。このため、ハイビジョンでは、ＮＴＳＣ方式に比べて、高解像度で臨場感のある画像を表示することができる。
【０００３】
ハイビジョンはこのように優れた特性を有するが、ＮＴＳＣ方式のビデオ信号をそのまま供給しても、ハイビジョン方式による画像表示を行うことはできない。これは、上述のようにＮＴＳＣ方式とハイビジョンとでは規格が異なるからである。
【０００４】
そこで、ＮＴＳＣ方式のビデオ信号に応じた画像をハイビジョン方式で表示するため、本出願人は、先に、ＮＴＳＣ方式のビデオ信号をハイビジョンのビデオ信号に変換するための変換装置を提案した（特願平６−２０５９３４号参照）。この変換装置では、ハイビジョンのビデオ信号を構成する各画素の信号を、ＮＴＳＣ方式の所定領域の画素の信号と係数データ（予測係数値）とから線形推定式を用いて得るようになっている。ここで、係数データは、予め学習により獲得され、ＲＯＭ（read only memory）等の係数データ記憶手段に記憶されている。
【０００５】
【発明が解決しようとする課題】
上述した変換装置においては、係数データ記憶手段に記憶されている係数データは１種類のみである。そのため、ＮＴＳＣ方式のビデオ信号のエラー状態によっては、係数データ記憶手段に記憶されている係数データが適当でなく、適切な変換処理を行えないという問題があった。
【０００６】
そこで、この発明では、変換処理を適切に行い得るようにした画像信号変換装置等を提供することを目的とする。
【０００７】
【課題を解決するための手段】
この発明に係る画像信号変換装置は、第１の画像信号を、この第１の画像信号と同じあるいはそれより多い画素数の第２の画像信号に変換するようにした画像信号変換装置において、上記第２の画像信号を構成すると共に推定対象の画素である注目画素に対して、上記第１の画像信号から該注目画素周辺に位置する第１の領域の画素の信号を切り出す第１の画素切り出し手段と、上記第１の画素切り出し手段により切り出された上記第１の領域の画素の信号のレベル分布パターンを検出し、このパターンに基づいて注目画素の信号が属するクラスを決定してクラス情報を出力するクラス決定手段と、それぞれ上記クラス情報で示される各クラスに対応して、上記注目画素を推定するための線形推定式の演算に用いられる係数データを記憶すると共に、それぞれ上記第１の画像信号の異なるエラー状態に対応した、上記線形推定式の係数データを記憶する複数の係数データ記憶部を持つ係数データ記憶手段と、上記第１の画像信号の複数画素における画素値の相関を見ることにより、少なくともノイズによる画素のエラー状態を検出するエラー検出手段と、上記エラー検出手段で検出されるエラー状態に基づいて上記複数の係数データ記憶部より選択された一の係数データ記憶部から、上記クラス決定手段より出力される上記クラス情報に対応した係数データを読み出して出力する係数データ出力手段と、上記第１の画像信号から上記注目画素周辺に位置する第２の領域の画素の信号を切り出す第２の画素切り出し手段と、上記係数データ出力手段より出力された上記係数データと、上記第２の画素切り出し手段により切り出された上記第２の領域の画素の信号とを用いて上記線形推定式により積和演算し、当該演算結果を上記注目画素の値として出力する画像信号出力手段とを備えるものである。第１および第２の画素切り出し手段が共通に構成され、従って第１および第２の領域が同じであってもよい。
【０００８】
推定対象の画素である注目画素に対応して第１の画像信号から該注目画素周辺に位置する第１の領域の画素の信号が切り出され、そのレベル検出パターンに基づいて上述した注目画素の信号が属するクラスが決定されてクラス情報が出力される。また、第１の画像信号の複数画素における画素値の相関を見ることにより、少なくともノイズによる画素のエラー状態が検出され、そのエラー状態に基づいて複数の係数データ記憶部より選択された一の係数データ記憶部からクラス情報に対応した係数データが読み出される。また、上述した第２の画像信号を構成する注目画素に対応して、第１の画像信号から当該注目画素周辺に位置する第２の領域の画素の信号が切り出される。そして、この第２の領域の画素の信号と係数データとを用いて線形推定式により積和演算し、当該演算結果を注目画素の値として出力する。
【０００９】
複数の係数データ記憶部には、第１の画像信号の異なるエラー状態に対応した係数データが記憶される。上述したように第１の画像信号のエラー状態に基づいて複数の係数データ記憶部より選択された一の係数データ記憶部から係数データが読み出されて使用される。そのため、線形推定式で使用される係数データは第１の画像信号のエラー状態に対応したものとなり、変換処理が適切に行われるようになる。
【００１０】
また、この発明に係る係数データ生成装置は、第１の画像信号を、この第１の画像信号より画素数の多い第２の画像信号に変換する際に使用される線形推定式の係数データを生成する装置において、上記第２の画像信号に対応する教師信号を処理して上記第１の画像信号に対応する第１の入力信号を得る第１の信号処理手段と、上記第１の入力信号に対して、少なくとも所定の画素の値を変化させる処理により、当該画素に対してエラーを持つ第２の入力信号を得る第２の信号処理手段と、上記教師信号を構成すると共に推定対象の画素である注目画素の信号それぞれに対応して、上記第２の入力信号から該注目画素周辺に位置する第１の領域の画素の信号を順次切り出す第１の画素切り出し手段と、上記第１の画素切り出し手段により順次切り出された上記第１の領域の画素の信号のレベル分布のパターンを検出し、このパターンに基づいて上記注目画素の信号がそれぞれ属するクラスを決定してクラス情報を出力するクラス決定手段と、上記注目画素の信号それぞれに対応して、上記第２の入力信号より上記注目画素周辺に位置する第２の領域の画素の信号を順次切り出す第２の画素切り出し手段と、上記クラス決定手段より出力される上記注目画素がそれぞれ属するクラスを示すクラス情報と、上記教師信号を構成する上記注目画素の信号と、上記第２の画素切り出し手段により順次切り出された上記第２の領域の画素の信号とから、各クラス毎に上記係数データをそれぞれ得るための正規方程式を生成する正規方程式生成手段と、上記正規方程式を解いて上記各クラス毎の係数データを得る係数データ演算手段とを備えるものである。第１および第２の画素切り出し手段が共通に構成され、従って第１および第２の領域が同じであってもよい。
【００１１】
第２の画像信号、例えばハイビジョンのビデオ信号に対応する教師信号が処理されて第１の画像信号、例えばＮＴＳＣ方式のビデオ信号に対応する第１の入力信号が得られる。また、この第１の入力信号が処理されて所定のエラーが付加された第２の入力信号が得られる。エラー状態としては、ある走査線上のデータがジッタによって１画素分ずれているもの、特定の画素データの値がノイズによって変化しているもの等が考えられる。
【００１２】
教師信号を構成すると共に推定対象の画素である注目画素の信号にそれぞれ対応して、第２の入力信号から該注目画素周辺に位置する第１の領域の画素の信号が順次切り出され、その第１の領域の画素の信号のレベル分布パターンに基づいて注目画素の信号がそれぞれ属するクラスが決定されてクラス情報が出力される。
【００１３】
また、教師信号を構成する注目画素の信号にそれぞれ対応して、第２の入力信号より注目画素周辺に位置する第２の領域の画素の信号が順次切り出される。そして、この第２の領域の画素の信号と、教師信号を構成する注目画素の信号がそれぞれ属するクラスを示すクラス情報と、教師信号を構成する注目画素の信号とから、各クラス毎に係数データをそれぞれ得るための正規方程式が生成され、この正規方程式を解くことで各クラス毎の係数データが得られる。第２の信号処理手段で付加されるエラーを変更することで、第１の画像信号の種々のエラー状態に対応した係数データを得ることが可能となる。
【００１４】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての画像信号変換装置１００の構成を示している。この画像信号変換装置１００は、ＮＴＳＣ方式のビデオ信号を構成する画素データ（以下、「ＳＤ画素データ」という）からハイビジョンのビデオ信号を構成する画素データ（以下、「ＨＤ画素データ」という）を得るためのものである。
【００１５】
この画像信号変換装置１００は、ＳＤ画素データが供給される入力端子１０１と、この入力端子１０１に供給されるＳＤ画素データより、推定しようとする所定のＨＤ画素データに対応した領域のＳＤ画素データを切り出す領域切り出し回路１０２と、この領域切り出し回路１０２で切り出されたＳＤ画素データに対してＡＤＲＣ（Adaptive Dynamic Range Coding）処理を適用して、主に空間内の波形を表すクラス（空間クラス）を決定してクラス情報を出力するＡＤＲＣ回路１０３とを有している。
【００１６】
図２および図３は、ＳＤ画素とＨＤ画素の位置関係を示している。領域切り出し回路１０２では、例えば図４に示すように、ＨＤ画素データｙを推定しようとする場合、このＨＤ画素データｙの近傍に位置するＳＤ画素データｋ1〜ｋ5が切り出される。
【００１７】
ＡＤＲＣ回路１０３では、領域切り出し回路１０２で切り出されたＳＤ画素データのレベル分布のパターン化を目的として、各ＳＤ画素データを、例えば８ビットデータから２ビットデータに圧縮するような演算が行われる。そして、ＡＤＲＣ回路１０３からは、各ＳＤ画素データに対応した圧縮データ（再量子化コード）ｑiが空間クラスのクラス情報として出力される。
【００１８】
本来ＡＤＲＣは、ＶＴＲ（Video Tape Recorder）向け高性能符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、本実施の形態では、領域切り出し回路１０２で切り出されたＳＤ画素データのレベル分布のパターン化に使用している。
【００１９】
ＡＤＲＣ回路１０３では、領域内のＳＤ画素データの最大値をＭＡＸ、その最小値をＭＩＮ、領域内のダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をｐとすると、領域内の各ＳＤ画素データｋiに対して、（１）式の演算により再量子化コードｑiが得られる。ただし、（１）式において、〔 〕は切り捨て処理を意味している。領域切り出し回路１０２で、Ｎａ個のＳＤ画素データが切り出されるとき、ｉ＝１〜Ｎａである。
【００２０】
ｑi＝〔（ｋi−ＭＩＮ＋０．５）・２p ／ＤＲ〕 ・・・（１）
また、画像信号変換装置１００は、入力端子１０１に供給されるＳＤ画素データより、推定しようとする所定のＨＤ画素データに対応した領域のＳＤ画素データを切り出す領域切り出し回路１０４と、この領域切り出し回路１０４で切り出されたＳＤ画素データより、主に動きの程度を表すためのクラス（動きクラス）を決定してクラス情報を出力する動きクラス決定回路１０５とを有している。
【００２１】
領域切り出し回路１０４では、例えば図５に示すように、ＨＤ画素データｙを推定しようとする場合、このＨＤ画素データｙの近傍に位置する１０個のＳＤ画素データｍ1〜ｍ5，ｎ1〜ｎ5が切り出される。
【００２２】
動きクラス決定回路１０５では、領域切り出し回路１０４で切り出されたＳＤ画素データｍi，ｎiからフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスのクラス情報ＭＶが出力される。
【００２３】
すなわち、動きクラス決定回路１０５では、（２）式によって、差分の絶対値の平均値ＡＶが算出される。領域切り出し回路１０４で、例えば上述したように１０個のＳＤ画素データｍ1〜ｍ5，ｎ1〜ｎ5が切り出されるとき、（２）式におけるＮｂは５である。
【００２４】
【数１】
そして、動きクラス決定回路１０５では、上述したように算出された平均値ＡＶが１個または複数個のしきい値と比較されてクラス情報ＭＶが得られる。例えば、３個のしきい値ｔｈ1，ｔｈ2，ｔｈ3（ｔｈ1＜ｔｈ2＜ｔｈ3）が用意され、４つの動きクラスを決定する場合、ＡＶ≦ｔｈ1のときはＭＶ＝０、ｔｈ1＜ＡＶ≦ｔｈ2のときはＭＶ＝１、ｔｈ2＜ＡＶ≦ｔｈ3のときはＭＶ＝２、ｔｈ3＜ＡＶのときはＭＶ＝３とされる。
【００２６】
また、画像信号変換装置１００は、ＡＤＲＣ回路１０３より出力される空間クラスのクラス情報としての再量子化コードｑiと、動きクラス決定回路１０５より出力される動きクラスのクラス情報ＭＶに基づき、推定しようとするＨＤ画素データが属するクラスを示すクラスコードＣＬを得るためのクラスコード発生回路１０６を有している。クラスコード発生回路１０６では、（３）式によって、クラスコードＣＬの演算が行われる。なお、（３）式において、Ｎａは領域切り出し回路１０２で切り出されるＳＤ画素データの個数、ｐはＡＤＲＣ回路１０３における再量子化ビット数を示している。
【００２７】
【数２】
また、画像信号変換装置１００は、それぞれ後述する推定演算回路１１０で使用される線形推定式の係数データが各クラス毎に記憶されているｎ個のＲＯＭテーブル１０７-1〜１０７-nと、入力端子１０１に供給されるＳＤ画素データのエラー状態を検出するエラー検出回路１０８とを有している。ＲＯＭテーブル１０７-1〜１０７-nには、それぞれＳＤ画素データの異なるエラー状態に対応した線形推定式の係数データが記憶されている。エラー状態としては、ある走査線上の画素データがジッタによって１画素分ずれているもの、特定の画素データの値がノイズによって変化しているもの等が考えられる。エラー検出回路１０８では、例えば連続する複数の垂直方向および水平方向の画素データの相関を見ることでエラー状態の検出が行われる。
【００２９】
エラー検出回路１０８より出力されるエラー状態の検出結果ＥＤＥは、ＲＯＭテーブル１０７-1〜１０７-nより一のＲＯＭテーブルを選択するための情報として使用される。すなわち、ＲＯＭテーブル１０７-1〜１０７-nのうち、係数データを得るためのＲＯＭテーブルとして、検出結果ＥＤＥで示されるエラー状態、またはそれに最も近いエラー状態に対応した線形推定式の係数データが記憶されているＲＯＭテーブルが選択される。この選択されたＲＯＭテーブルにはクラスコード発生回路１０６より出力されるクラスコードが読み出しアドレス情報として供給され、そのＲＯＭテーブルよりクラスコードＣＬに対応した係数データｗｉが読み出される。
【００３０】
また、画像信号変換装置１００は、入力端子１０１に供給されるＳＤ画素データより、推定しようとする所定のＨＤ画素データに対応した領域のＳＤ画素データを切り出す領域切り出し回路１０９と、この領域切り出し回路１０９で切り出されたＳＤ画素データと、上述したように選択されたＲＯＭテーブルより読み出される係数データｗiとから、推定しようとするＨＤ画素データを演算する推定演算回路１１０と、この推定演算回路１１０で演算されたＨＤ画素データを導出する出力端子１１１と有している。
【００３１】
領域切り出し回路１０９では、例えば図６に示すように、ＨＤ画素データｙを推定しようとする場合、これらＨＤ画素データｙの近傍に位置するＳＤ画素データｘ1〜ｘ25が切り出される。推定演算回路１１０では、領域切り出し回路１０９で切り出されたＳＤ画素データｘiと、選択されたＲＯＭテーブルより読み出された係数データｗiとから、（４）式の線形推定式によって、推定しようとするＨＤ画素データｙが演算される。領域切り出し回路１０９で、例えば上述したように２５個のＳＤ画素データｘ1〜ｘ25が切り出されるとき、（４）式におけるｎ、つまりタップ数は２５である。
【００３２】
【数３】
図１に示す画像信号変換装置１００の動作を説明する。推定しようとする所定のＨＤ画素データｙに対応して、入力端子１０１に供給されるＳＤ画素データより領域切り出し回路１０２で所定領域のＳＤ画素データｋiが切り出され、この切り出された各ＳＤ画素データｋiに対してＡＤＲＣ回路１０３でＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑiが得られる。
【００３４】
また、上述した推定しようとするＨＤ画素データｙに対応して、入力端子１０１に供給されるＳＤ画素データより領域切り出し回路１０４で所定領域のＳＤ画素データｍi，ｎiが切り出され、この切り出された各ＳＤ画素データｍi，ｎiより動きクラス決定回路１０５で動きクラス（主に動きの程度を表すためのクラス分類）を示すクラス情報ＭＶが得られる。この動きクラス情報ＭＶと上述したＡＤＲＣ回路１０３で得られる再量子化コードｑiとから、クラスコード発生回路１０６で、推定しようとするＨＤ画素データｙが属するクラスを示すクラス情報としてのクラスコードＣＬが得られる。
【００３５】
また、入力端子１０１に供給されるＳＤ画素データがエラー検出回路１０８に供給され、ＳＤ画素データのエラー状態が検出される。そして、エラー検出回路１０８からのエラー状態の検出結果ＥＤＥによって、ＲＯＭテーブル１０７-1〜１０７-nのうち、ＳＤ画素データのエラー状態またはそれに最も近いエラー状態に対応した線形推定式の係数データが記憶されているＲＯＭテーブルが選択される。この選択されたＲＯＭテーブルにクラスコードＣＬが読み出しアドレス情報として供給され、そのクラスコードＣＬに対応した係数データｗｉが読み出される。
【００３６】
また、上述した推定しようとするＨＤ画素データｙに対応して、入力端子１０１に供給されるＳＤ画素データより領域切り出し回路１０９で所定領域のＳＤ画素データｘiが切り出される。そして、推定演算回路１１０では、その切り出されたＳＤ画素データｘiと、上述したように選択されたＲＯＭテーブルより読み出された係数データｗiとから、線形推定式を使用して、推定しようとするＨＤ画素データｙが演算される。そして、推定演算回路１１０より順次出力されるＨＤ画素データｙが出力端子１１１に導出される。
【００３７】
図１に示す画像信号変換装置１００においては、入力端子１０１に供給されるＳＤ画素データのエラー状態が検出され、そのエラー状態またはそれに最も近いエラー状態に対応した係数データｗｉが読み出され、推定しようとするＨＤ画素データｙを求めるための線形推定式に用いられる。そのため、ＮＴＳＣ方式のビデオ信号からハイビジョンのビデオ信号への変換処理を常に適切に行うことができる利益がある。なお、領域切り出し回路１０２および領域切り出し回路１０９を共通に構成し、ｋiとｘiを同じとすることも考えられる。
【００３８】
ところで、ＲＯＭテーブル１０７-1〜１０７-nには、上述したようにそれぞれ各クラスに対応した線形推定式の係数データが記憶されている。この係数データは、予め学習によって生成されたものである。まず、この学習方法について説明する。（４）式の線形推定式に基づく係数データｗi（ｉ＝１〜ｎ）を最小自乗法により求める例を示すものとする。一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを予測値として、（５）式の観測方程式を考える。この（５）式において、ｍは学習データ数を示し、ｎは予測タップの数を示している。
【００３９】
【数４】
（５）式の観測方程式により収集されたデータに最小自乗法を適用する。この（５）式の観測方程式をもとに、（６）式の残差方程式を考える。
【００４１】
【数５】
（６）式の残差方程式から、各ｗiの最確値は、（７）式のｅ2を最小にする条件が成り立つ場合と考えられる。すなわち、（８）式の条件を考慮すればよいわけである。
【００４３】
【数６】
つまり、（８）式のｉに基づくｎ個の条件を考え、これを満たすｗ1，ｗ2，・・・，ｗnを算出すればよい。そこで、（６）式の残差方程式から、（９）式が得られる。さらに、（９）式と（５）式とから、（１０）式が得られる。
【００４５】
【数７】
そして、（６）式と（１０）式とから、（１１）式の正規方程式が得られる。
【００４７】
【数８】
（１１）式の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗiの最確値を求めることができる。この場合、掃き出し法（Gauss-Jordanの消去法）等を用いて連立方程式を解くことになる。
【００４９】
図７は、上述した予測係数の学習フローを示している。学習を行うためには、入力信号と予測対象となる教師信号を用意しておく。
【００５０】
まず、ステップＳＴ１で、教師信号より得られる予測対象画素値と入力信号より得られる予測タップのｎ個の画素値との組み合わせを学習データとして生成する。次に、ステップＳＴ２で、学習データの生成が終了したか否かを判定し、学習データの生成が終了していないときは、ステップＳＴ３でその学習データにおける予測対象画素値が属するクラスを決定する。このクラスの決定は、予測対象画素値に対応して入力信号より得られる所定数の画素値に基づいて行われ、上述したＡＤＲＣ処理による空間クラス等が決定される。
【００５１】
そして、ステップＳＴ４で、各クラス毎に、ステップＳＴ１で生成された学習データ、すなわち予測対象画素値と予測タップのｎ個の画素値とを使用して、（１１）式に示すような正規方程式の生成をする。ステップＳＴ１〜ステップＳＴ４の動作は、学習データの生成が終了するまで繰り返され、多くの学習データが登録された正規方程式が生成される。
【００５２】
ステップＳＴ２で学習データの生成が終了したときは、ステップＳＴ５で、各クラス毎に生成された正規方程式を解き、各クラス毎のｎ個の予測係数ｗiを求める。そして、ステップＳＴ６で、クラス別にアドレス分割されたメモリに予測係数ｗiを登録して、学習フローを終了する。
【００５３】
次に、図１に示した画像信号変換装置１００のＲＯＭテーブル１０７-1〜１０７-nに記憶されている各クラス毎の係数データｗiを、上述した学習の原理によって予め生成する係数データ生成装置１５０の詳細を説明する。図８は、係数データ生成装置１５０の構成例を示している。
【００５４】
この係数データ生成装置１５０は、教師信号としてのハイビジョンのビデオ信号を構成するＨＤ画素データが供給される入力端子１５１と、このＨＤ画素データに対して水平および垂直の間引きフィルタ処理を行って、入力信号としてのＮＴＳＣ方式のビデオ信号を構成するＳＤ画素データを得る間引き回路１５２と、このＳＤ画素データに所定のエラーを付加するエラー付加回路１５３とを有している。
【００５５】
間引き回路１５２では、図示せずも、ＨＤ画素データに対して、垂直間引きフィルタによってフィールド内の垂直方向のライン数が１／２となるように間引き処理が施されると共に、さらに水平間引きフィルタによって水平方向の画素数が１／２となるように間引き処理が施される。したがって、ＳＤ画素とＨＤ画素の位置関係は、図２および図３に示すようになる。エラー付加回路１５３からは所定のエラーが付加されたＳＤ画素データが出力されるが、係数データ生成装置１５０ではそのＳＤ画素データのエラー状態に対応した係数データが生成される。エラー付加回路１５３では、例えばある走査線上のデータを１画素分ずらす、特定の画素データの値を変化させる等の処理により、種々のエラーを付加することが可能とされている。
【００５６】
また、係数データ生成装置１５０は、入力端子１５１に供給されるＨＤ画素データＨＤより得られる予測対象画素値としての複数個のＨＤ画素データにそれぞれ対応して、エラー付加回路１５３より出力されるＳＤ画素データＳＤより所定領域のＳＤ画素データを順次切り出す領域切り出し回路１５５と、この領域切り出し回路１５５で順次切り出されたＳＤ画素データに対してＡＤＲＣ処理を適用して、主に空間内の波形を表すクラス（空間クラス）を決定してクラス情報を出力するＡＤＲＣ回路１５６とを有している。
【００５７】
領域切り出し回路１５５は、上述した画像信号変換装置１００の領域切り出し回路１０２と同様に構成される。この領域切り出し回路１５５からは、例えば図４に示すように、予測対象画素値としてのＨＤ画素データｙに対応して、このＨＤ画素データｙの近傍に位置するＳＤ画素データｋ1〜ｋ5が切り出される。また、ＡＤＲＣ回路１５６も、上述した画像信号変換装置１００のＡＤＲＣ回路１０３と同様に構成される。このＡＤＲＣ回路１５６からは、予測対象画素値としての各ＨＤ画素データにそれぞれ対応して切り出された所定領域のＳＤ画素データ毎に再量子化コードｑiが空間クラスを示すクラス情報として出力される。
【００５８】
また、係数データ生成装置１５０は、上述した予測対象画素値としての各ＨＤ画素データにそれぞれ対応して、エラー付加回路１５３より出力されるＳＤ画素データより所定領域のＳＤ画素データを順次切り出す領域切り出し回路１５７と、この領域切り出し回路１５７で切り出されたＳＤ画素データより、主に動きの程度を表すためのクラス（動きクラス）を決定してクラス情報を出力する動きクラス決定回路１５８とを有している。
【００５９】
領域切り出し回路１５７は、上述した画像信号変換装置１００の領域切り出し回路１０４と同様に構成される。この領域切り出し回路１５７からは、例えば図５に示すように、予測対象画素値としてのＨＤ画素データｙに対応して、このＨＤ画素データｙの近傍に位置する１０個のＳＤ画素データｍ1〜ｍ5，ｎ1〜ｎ5が切り出される。また、動きクラス決定回路１５８も、上述した画像信号変換装置１００の動きクラス決定回路１０５と同様に構成される。この動きクラス決定回路１５８からは、予測対象画素値としての各ＨＤ画素データにそれぞれ対応して切り出された所定領域のＳＤ画素データ毎に動きの指標である動きクラスのクラス情報ＭＶが出力される。
【００６０】
また、係数データ生成装置１５０は、ＡＤＲＣ回路１５６より出力される空間クラスのクラス情報としての再量子化コードｑiと、動きクラス決定回路１５８より出力される動きクラスのクラス情報ＭＶに基づいてクラスコードＣＬを得るためのクラスコード発生回路１５９を有している。このクラスコード発生回路１５９は、上述した画像信号変換装置１００のクラスコード発生回路１０６と同様に構成される。このクラスコード発生回路１５９からは、予測対象画素値としての各ＨＤ画素データにそれぞれ対応して、そのＨＤ画素データが属するクラスを示すクラスコードＣＬが出力される。
【００６１】
また、係数データ生成装置１５０は、上述した予測対象画素値としての各ＨＤ画素データにそれぞれ対応して、エラー付加回路１５３より出力されるＳＤ画素データより予測タップ値としての所定領域のＳＤ画素データを順次切り出す領域切り出し回路１６０を有している。領域切り出し回路１６０は、上述した画像信号変換装置１００の領域切り出し回路１０９と同様に構成される。この領域切り出し回路１６０からは、例えば図６に示すように、予測対象画素値としてのＨＤ画素データｙに対応して、このＨＤ画素データｙの近傍に位置する２５個のＳＤ画素データｘ1〜ｘ25が切り出される。
【００６２】
また、係数データ生成装置１５０は、入力端子１５１に供給されるＨＤ画素データより得られる予測対象画素値としての各ＨＤ画素データｙと、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応して領域切り出し回路１６０で順次切り出された予測タップ画素値としてのＳＤ画素データｘiと、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応してクラスコード発生回路１５９より出力されるクラスコードＣＬとから、各クラス毎に、ｎ個の係数データｗiを生成するための正規方程式（（１１）式参照）を生成する正規方程式生成回路１６１を有している。
【００６３】
この場合、１個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素値との組み合わせで上述した学習データが生成され、従って生成回路１６１では多くの学習データが登録された正規方程式が生成される。なお、図示しないが、領域切り出し回路１６０の前段に時間合わせ用の遅延回路を配置することで、領域切り出し回路１６０から正規方程式生成回路１６１に供給されるＳＤ画素データｘiのタイミング合わせを行うことができる。
【００６４】
また、係数データ生成装置１５０は、正規方程式生成回路１６１で各クラス毎に生成された正規方程式のデータが供給され、各クラス毎に生成された正規方程式を解いて、各クラス毎の係数データ（予測係数）ｗiを求める予測係数決定回路１６２と、この求められた係数データｗiを記憶するメモリ１６３とを有している。予測係数決定回路１６２では、正規方程式が例えば掃き出し法などによって解かれて、係数データｗiが求められる。
【００６５】
図８に示す係数データ生成装置１５０の動作を説明する。入力端子１５１には教師信号としてのハイビジョンのビデオ信号を構成するＨＤ画素データが供給され、そしてこのＨＤ画素データに対して間引き回路１５２で水平および垂直の間引き処理等が行われて入力信号としてのＮＴＳＣ方式のビデオ信号を構成するＳＤ画素データが得られる。そして、このＳＤ画素データに対してエラー付加回路１５３で所定のエラーが付加される。
【００６６】
また、入力端子１５１に供給されるＨＤ画素データより得られる予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応して、エラー付加回路１５３より出力されるＳＤ画素データから領域切り出し回路１５５で所定領域のＳＤ画素データｋiが順次切り出され、この切り出された各ＳＤ画素データｋiに対してＡＤＲＣ回路１５６でＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑiが得られる。
【００６７】
また、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応して、エラー付加回路１５３より出力されるＳＤ画素データから領域切り出し回路１５７で所定領域のＳＤ画素データｍi，ｎiが順次切り出され、この切り出された各ＳＤ画素データｍi，ｎiより動きクラス決定回路１５８で動きクラス（主に動きの程度を表すためのクラス分類）を示すクラス情報ＭＶが得られる。そして、このクラス情報ＭＶと上述したＡＤＲＣ回路１５６で得られる再量子化コードｑiとからクラスコード発生回路１５９で、予測対象画素値としての各ＨＤ画素データｙが属するクラスを示すクラス情報としてのクラスコードＣＬが得られる。
【００６８】
また、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応して、エラー付加回路１５３より出力されるＳＤ画素データから領域切り出し回路１６０で所定領域のＳＤ画素データｘiが順次切り出される。そして、入力端子１５１に供給されるＨＤ画素データより得られる予測対象画素値としての各ＨＤ画素データｙと、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応して領域切り出し回路１６０で順次切り出された予測タップ画素値としてのＳＤ画素データｘiと、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応してクラスコード発生回路１５９より出力されるクラスコードＣＬとから、正規方程式生成回路１６１では、各クラス毎に、ｎ個の係数データｗiを生成するための正規方程式が生成される。そして、予測係数決定回路１６２でその正規方程式が解かれ、各クラス毎の係数データｗiが求められ、その係数データｗiはクラス別にアドレス分割されたメモリ１６３に記憶される。
【００６９】
このように、図８に示す係数データ生成装置１５０においては、エラー付加回路１５３で付加されるエラーを順次変更することで、異なるエラー状態のＳＤ画素データに対応する係数データｗｉを順次生成することができる。
【００７０】
なお、上述実施の形態においては、空間波形を少ないビット数でパターン化する情報圧縮手段として、ＡＤＲＣ回路１０３，１５６を設けることにしたが、これはほんの一例であり、信号波形のパターンの少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えばＤＰＣＭ（Differential Pulse Code Modulation）やＶＱ（Vector Quantization ）等の圧縮手段を用いてもよい。
【００７１】
また、上述実施の形態においては、ＮＴＳＣ方式のビデオ信号をハイビジョンのビデオ信号に変換する例を示したが、この発明はそれに限定されるものでなく、線形推定式を使用して第１の画像信号をこの第１の画像信号と同じあるいはそれより多い画素数の第２の画像信号に変換する場合に適用できることは勿論である。
【００７２】
【発明の効果】
この発明によれば、線形推定式を使用して第１の画像信号をこの第１の画像信号と同じあるいはそれより多い画素数の第２の画像信号に変換する際に、第１の画像信号のエラー状態に応じた係数データを選択的に使用可能とするものであり、第１の画像信号のエラー状態に応じて、変換処理を適切に行うことができる。
【図面の簡単な説明】
【図１】実施の形態としての画像信号変換装置の構成を示すブロック図である。
【図２】ＳＤ画素とＨＤ画素の位置関係を説明するための略線図である。
【図３】ＳＤ画素とＨＤ画素の位置関係を説明するための略線図である。
【図４】空間クラス分類に使用するＳＤ画素データを説明するための略線図である。
【図５】動きクラス分類に使用するＳＤ画素データを説明するための略線図である。
【図６】推定演算に使用するＳＤ画素データを説明するための略線図である。
【図７】予測係数の学習フローを示すフローチャートである。
【図８】係数データ生成装置の構成例を示すブロック図である。
【符号の説明】
１００・・・画像信号変換装置、１０１・・・入力端子、１０２，１０４，１０９・・・領域切り出し回路、１０３・・・ＡＤＲＣ回路、１０５・・・動きクラス決定回路、１０６・・・クラスコード発生回路、１０７-1〜１０７-n・・・ＲＯＭテーブル、１０８・・・エラー検出回路、１１０・・・推定演算回路、１１１・・・出力端子、１５０・・・係数データ生成装置、１５１・・・入力端子、１５２・・・間引き回路、１５３・・・エラー付加回路、１５５，１５７，１６０・・・領域切り出し回路、１５６・・・ＡＤＲＣ回路、１５８・・・動きクラス決定回路、１５９・・・クラスコード発生回路、１６１・・・正規方程式生成回路、１６２・・・予測係数決定回路、１６３・・・メモリ
Claims (4)
- 第１の画像信号を、この第１の画像信号と同じあるいはそれより多い画素数の第２の画像信号に変換するようにした画像信号変換装置において、
上記第２の画像信号を構成すると共に推定対象の画素である注目画素に対して、上記第１の画像信号から該注目画素周辺に位置する第１の領域の画素の信号を切り出す第１の画素切り出し手段と、
上記第１の画素切り出し手段により切り出された上記第１の領域の画素の信号のレベル分布パターンを検出し、このパターンに基づいて注目画素の信号が属するクラスを決定してクラス情報を出力するクラス決定手段と、
それぞれ上記クラス情報で示される各クラスに対応して、上記注目画素を推定するための線形推定式の演算に用いられる係数データを記憶すると共に、それぞれ上記第１の画像信号の異なるエラー状態に対応した、上記線形推定式の係数データを記憶する複数の係数データ記憶部を持つ係数データ記憶手段と、
上記第１の画像信号の複数画素における画素値の相関を見ることにより、少なくともノイズによる画素のエラー状態を検出するエラー検出手段と、
上記エラー検出手段で検出されるエラー状態に基づいて上記複数の係数データ記憶部より選択された一の係数データ記憶部から、上記クラス決定手段より出力される上記クラス情報に対応した係数データを読み出して出力する係数データ出力手段と、
上記第１の画像信号から上記注目画素周辺に位置する第２の領域の画素の信号を切り出す第２の画素切り出し手段と、
上記係数データ出力手段より出力された上記係数データと、上記第２の画素切り出し手段により切り出された上記第２の領域の画素の信号とを用いて上記線形推定式により積和演算し、当該演算結果を上記注目画素の値として出力する画像信号出力手段とを備えることを特徴とする画像信号変換装置。 - 第１の画像信号を、この第１の画像信号と同じあるいはそれより多い画素数の第２の画像信号に変換するようにした画像信号変換方法において、
上記第２の画像信号を構成すると共に推定対象の画素である注目画素に対して、上記第１の画像信号から該注目画素周辺に位置する第１の領域の画素の信号を切り出す第１のステップと、
上記第１のステップで切り出された上記第１の領域の画素の信号のレベル分布パターンを検出し、このパターンに基づいて注目画素の信号が属するクラスを決定してクラス情報を出力する第２のステップと、
上記第１の画像信号の複数画素における画素値の相関を見ることにより、少なくともノイズによる画素のエラー状態を検出する第３のステップと、
それぞれ上記クラス情報で示される各クラスに対応して、上記注目画素を推定するための線形推定式の演算に用いられる係数データを記憶すると共に、それぞれ上記第１の画像信号の異なるエラー状態に対応した線形推定式の係数データを記憶する複数の係数データ記憶部のうち、上記第３のステップで検出されるエラー状態に基づいて選択された一の係数データ記憶部から、上記第２のステップで出力されるクラス情報に対応した係数データを読み出して出力する第４のステップと、
上記第１の画像信号から上記注目画素周辺に位置する第２の領域の画素の信号を切り出す第５のステップと、
上記第４のステップで出力された上記係数データと、上記第５のステップで切り出された上記第２の領域の画素の信号とを用いて、上記線形推定式により積和演算し、当該演算結果を上記注目画素の値として出力する第６のステップと
を備えることを特徴とする画像信号変換方法。 - 第１の画像信号を、この第１の画像信号より画素数の多い第２の画像信号に変換する際に使用される線形推定式の係数データを生成する装置において、
上記第２の画像信号に対応する教師信号を処理して上記第１の画像信号に対応する第１の入力信号を得る第１の信号処理手段と、
上記第１の入力信号に対して、少なくとも所定の画素の値を変化させる処理により、当該画素に対してエラーを持つ第２の入力信号を得る第２の信号処理手段と、
上記教師信号を構成すると共に推定対象の画素である注目画素の信号それぞれに対応して、上記第２の入力信号から該注目画素周辺に位置する第１の領域の画素の信号を順次切り出す第１の画素切り出し手段と、
上記第１の画素切り出し手段により順次切り出された上記第１の領域の画素の信号のレベル分布のパターンを検出し、このパターンに基づいて上記注目画素の信号がそれぞれ属するクラスを決定してクラス情報を出力するクラス決定手段と、
上記注目画素の信号それぞれに対応して、上記第２の入力信号より上記注目画素周辺に位置する第２の領域の画素の信号を順次切り出す第２の画素切り出し手段と、
上記クラス決定手段より出力される上記注目画素がそれぞれ属するクラスを示すクラス情報と、上記教師信号を構成する上記注目画素の信号と、上記第２の画素切り出し手段により順次切り出された上記第２の領域の画素の信号とから、各クラス毎に上記係数データをそれぞれ得るための正規方程式を生成する正規方程式生成手段と、
上記正規方程式を解いて上記各クラス毎の係数データを得る係数データ演算手段と
を備えることを特徴とする係数データ生成装置。 - 第１の画像信号を、この第１の画像信号より画素数の多い第２の画像信号に変換する際に使用される線形推定式の係数データを生成する方法において、
上記第２の画像信号に対応する教師信号を処理して上記第１の画像信号に対応する第１の入力信号を得る第１のステップと、
上記第１の入力信号に対して、少なくとも所定の画素の値を変化させる処理により、当該画素に対してエラーを持つ第２の入力信号を得る第２のステップと、
上記教師信号を構成すると共に推定対象の画素である注目画素の信号それぞれに対応して、上記第２の入力信号から該注目画素周辺に位置する第１の領域の画素の信号を順次切り出す第３のステップと、
上記第３のステップで順次切り出された上記第１の領域の画素の信号のレベル分布のパターンを検出し、このパターンに基づいて上記注目画素の信号がそれぞれ属するクラスを決定してクラス情報を出力する第４のステップと、
上記注目画素の信号それぞれに対応して、上記第２の入力信号より上記注目画素周辺に位置する第２の領域の画素の信号を順次切り出す第５のステップと、
上記第４のステップで出力される上記注目画素がそれぞれ属するクラスを示すクラス情報と、上記教師信号を構成する上記注目画素の信号と、上記第５のステップで順次切り出された上記第２の領域の画素の信号とから、各クラス毎に上記係数データをそれぞれ得るための正規方程式を生成する第６のステップと、
上記第６のステップで生成される正規方程式を解いて上記各クラス毎の係数データを得る第７のステップと
を備えることを特徴とする係数データ生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15444698A JP4038881B2 (ja) | 1998-06-03 | 1998-06-03 | 画像信号の変換装置および変換方法、並びにそれに使用される係数データの生成装置および生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15444698A JP4038881B2 (ja) | 1998-06-03 | 1998-06-03 | 画像信号の変換装置および変換方法、並びにそれに使用される係数データの生成装置および生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11355731A JPH11355731A (ja) | 1999-12-24 |
| JP4038881B2 true JP4038881B2 (ja) | 2008-01-30 |
Family
ID=15584396
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15444698A Expired - Fee Related JP4038881B2 (ja) | 1998-06-03 | 1998-06-03 | 画像信号の変換装置および変換方法、並びにそれに使用される係数データの生成装置および生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4038881B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6151416A (en) * | 1999-02-12 | 2000-11-21 | Sony Corporation | Method and apparatus for adaptive class tap selection according to multiple classification |
| JP4238678B2 (ja) | 2003-09-08 | 2009-03-18 | ソニー株式会社 | 受信装置および受信方法、記録媒体、並びにプログラム |
-
1998
- 1998-06-03 JP JP15444698A patent/JP4038881B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11355731A (ja) | 1999-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4135229B2 (ja) | 映像信号の変換装置および変換方法、並びにそれを使用した画像表示装置およびテレビ受信機 | |
| JPH0795591A (ja) | ディジタル画像信号処理装置 | |
| JP3674186B2 (ja) | 画像情報変換装置および方法 | |
| JPH0779418A (ja) | 画像信号変換装置 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JP4038881B2 (ja) | 画像信号の変換装置および変換方法、並びにそれに使用される係数データの生成装置および生成方法 | |
| JP3400055B2 (ja) | 画像情報変換装置及び画像情報変換方法並びに画像処理装置及び画像処理方法 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP3890638B2 (ja) | 画像情報変換装置および方法 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP3724008B2 (ja) | 画像情報変換装置および係数データ作成装置 | |
| JP3243861B2 (ja) | 画像情報変換装置 | |
| JP3326879B2 (ja) | 画像信号変換装置 | |
| JP4470324B2 (ja) | 画像信号変換装置および方法 | |
| JPH0888849A (ja) | 画像信号処理方法及び画像信号伝送装置 | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JP3587188B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP4062326B2 (ja) | 係数生成装置および方法 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JP4552263B2 (ja) | ディジタル信号処理装置および方法、並びにディジタル画像信号処理装置および方法 | |
| JP4042121B2 (ja) | 画像情報処理装置及び画像情報処理方法 | |
| JPH0746589A (ja) | ディジタル画像信号処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050311 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050311 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060417 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070724 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070920 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071016 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071029 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111116 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131116 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |