JP4062326B2 - 係数生成装置および方法 - Google Patents

Description

この発明は、例えば、テレビジョン受像器やビデオテープレコーダ装置等に用いて好適な画像情報変換装置に関し、特に、外部から供給される通常の解像度の画像情報を高解像度の画像情報へ変換して出力するような画像情報変換装置用いて好適な係数生成装置および方法に関する。

今日において、オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることが出来るようなテープ受像器の開発が望まれ、この要望に応えて、いわゆるハイビジョン方式が開発された。このハイビジョン方式は、いわゆるＮＴＳＣ方式に規定される走査線が５２５本に対して、２倍以上の１１２５本となっているうえ、表示画面の縦横比もＮＴＳＣ方式が３：４に対して、ハイビジョン方式は、９：１６と広角画面になっている。このため、高解像度で臨場感のある画面を得ることが出来るようになっている。

しかしながら、このような優れた特性を有するハイビジョン方式ではあるが、ＮＴＳＣ方式の映像信号をそのまま供給しても画像表示を行うことはできない。これは、上述のようにＮＴＳＣ方式とハイビジョン方式とでは、規格が異なることが原因している。このため、ＮＴＳＣ方式の映像信号に応じたハイビジョン方式で表示しようとする場合、従来は、例えば図８に示すような画像情報変換装置を用いて映像信号のレート変換を行っていた。

図８において、従来の画像情報変換装置は、入力端子３１を介して供給されるＮＴＳＣ方式の映像信号の水平方向の補間処理を行う水平補間フィルタ３２と、水平方向の補間処理の行われた映像信号の垂直方向の補間処理を行う垂直補間フィルタ３３とから構成され、水平方向、および垂直方向の補間処理がなされたＮＴＳＣ方式の信号は、出力端子３４から取り出される。

具体的には、水平補間フィルタ３２は、図９に示すような構成を有しており、入力端子３１を介して供給されるＮＴＳＣ方式の映像信号は、入力端子４１を介して、第１〜第ｍの乗算器４２〜４２_mにそれぞれ供給される。各乗算器４２は、それぞれ映像信号に係数を乗算して出力する。係数の乗算された映像信号は、それぞれ第１〜第ｍの加算器４３〜４３_m-1へ供給される。各加算器４３〜４３_m-1の間には、それぞれ時間Ｔの遅延レジスタ４４₁〜４４_mが設けられている。そして、第ｍの乗算器４２_mから出力された映像信号は、第ｍの遅延レジスタ４４_mにより時間Ｔの遅延が施され、第ｍ−１の加算器４３_m-1へ供給される。

第ｍ−１の加算器４３_m-1は、第ｍの遅延レジスタ４４_mからの時間Ｔの遅延が施された映像信号と、第ｍ−１の乗算器４２_m-1からの映像信号とを加算処理して出力する。この加算処理の施された映像信号は、第ｍ−１の遅延レジスタ４４_m-1により再度、時間Ｔの遅延が施され、図示しない第ｍ−２の加算器４３_m-2において、同じく図示しない第ｍ−２の乗算器４３_m-2からの映像信号と加算処理される。水平補間フィルタ３２は、このようにしてＮＴＳＣ方式の映像信号を出力端子４５を介して、垂直補間フィルタ３３へ供給する。

垂直補間フィルタ３３は、上述の水平補間フィルタ３２と同様の構成を有しており、水平補間処理の行われた映像信号に対して、垂直方向の画素の補間を行う。これにより、ＮＴＳＣ方式の映像信号に対して、垂直方向の画素の補間を行う。このような変換のなされたハイビジョン方式の映像信号は、ハイビジョン方式受像器に供給される。これにより、ＮＴＳＣ方式の映像信号に応じた画像をハイビジョン方式受像器で表示することができる。

しかしながら、上述のように従来の画像情報変換装置は、ＮＴＳＣ方式の映像信号を基にして、単に水平方向、および垂直方向の補間を行っているに過ぎないため、解像度は基となるＮＴＳＣ方式の映像信号と何ら変わらなかった。特に、通常の動画を変換対象とした場合、垂直方向の補間フィールド内処理で行うのが一般的であるが、この場合、画像のフィールド間相関を使用していないため、画像静止部においてはＮＴＳＣ方式の映像信号よりも解像度が劣化する欠点があった。

これに対し、従来のディジタルデータ変換装置および方法では、複数の入力データの分布状態に応じたクラス分けがされ、各クラスに関するデータ変換、すなわちクラス情報を出力データへ変換、またはクラス情報を出力データを形成するためのパラメータに変換するマッピング表が使用される。このマッピング表は、トレーニング用の種々の絵柄の源画像を用いて予め形成されている。したがって、このマッピング表によって、入力画像信号に含まれない高解像度成分を復元することができる。（例えば、特許文献１参照。）
特開平５−３２８１８５号公報

また、従来の画像信号変換装置では、入力信号である画像信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する画像信号変換装置というものがある。（例えば、特許文献２参照。）
特開平７−０７９４１８号公報（特願平５−１７２６１７号）

この手法は、ＨＤ（High Difinition）画素を創造する場合、時間的、空間的な意味でその周辺に存在する複数のＳＤ（Standerd Difinition）画素データをクラス分割し、それぞれのクラス毎に予測係数値を学習により獲得することで画像静止部においてはフィールド間、フレーム間等の時間方向の相関を利用し、また動き部においてはフィールド内相関のみを利用することにより真値に近いＨＤ画素値を得る、というような巧妙なものである。

すなわち、図１０において、ＳＤ画素ｘ₁とＳＤ画素ｘ₂の差分値が小さい場合は、創造するべきＨＤ画素ｙ周辺の画像は静止している可能性が高い。そこで、画像信号変換装置では、空間位置の低いＳＤ画素ｘ₁とＳＤ画素ｘ₂に重きをおいて、ＨＤ画素ｙを創造する。一方、ＳＤ画素ｘ₁とＳＤ画素ｘ₂の差分値が大きい場合は、創造するべきＨＤ画素ｙ周辺の画像は動いている可能性が高い。そこで、画像信号変換装置では、時間的に近いＳＤ画素ｘ₃とＳＤ画素ｘ₄に重きをおいて、ＨＤ画素ｙを創造する。

この手法によれば静止／動きの切り換わりも実際の画像を用いて学習することにより滑らかに表現できるので、従来の動き適応方式のように静止／動きの切り換わりによる不自然さの発生を大幅に減少させることができる。

しかしながら、上述の手法は、有限個のクラス分割により、動き情報と区間内の波形の二つを表現する必要があり、クラスによっては、本来なら分離するべきパターンが一つのクラス内に混在してしまう場合があった。

例えば、図１０において、ＳＤ画素ｘ₁とＳＤ画素ｘ₂の差分値が小さい場合は、上述のようにその周辺の画像は静止している可能性が非常に高いが、わずかな可能性ではあるが実際には画像が動いている場合がある。例えば、（ｋ−１）フィールドにのみ動き物体が侵入している場合、また、ｋフィールドから（ｋ＋２）フィールドの間で画像中の物体が動いているが、たまたまＳＤ画素ｘ₁とＳＤ画素ｘ₂の差分値が小さいことにより、ＨＤ画素ｙは、画像信号変換装置では、空間位置の近いＳＤ画素ｘ₁とＳＤ画素ｘ₂に重きをおいて、創造される。したがって、この場合、創造されたＨＤ画素と真のＨＤ画素の誤差が大きいものとなり、復元画像の品質の劣化が目立つことになる。

この対応策として、クラス分割に用いる画素数を増やして、クラス数を増加させることにより、復元画像の品質劣化を低減する、という手法も考えられる。しかしながら、この手法によるとクラス数が非常に大きなものになってしまい、その結果ハードウェア規模の増加を招き、現実性に乏しい。

したがって、この発明は、上述の問題点に鑑みてなされたものであり、解像度を向上させてＮＴＳＣ方式の映像信号をハイビジョン方式の映像信号へ変換することができるような画像情報変換装置に用いて好適な係数生成装置および方法の提供を目的とする。

この発明は、高い解像度のディジタル画像情報を所定の割合で画素を間引き、間引かれたディジタル画像情報を生成する間引き手段と、
高い解像度のディジタル画像情報の注目画素と、間引かれたディジタル画像情報の画素とが近い位置関係にある第１のモードの場合には、間引かれたディジタル画像情報を、同一フィールド内のディジタル画像情報でなる第１のブロックへ分割し、高い解像度のディジタル画像情報の注目画素と、間引かれたディジタル画像情報の画素とが遠い位置関係にある第２のモードの場合には、間引かれたディジタル画像情報を、第１のブロックおよび複数フィールド間のディジタル画像情報でなる第２のブロックへ分割する画像情報分割手段と、
分割された第１および第２のブロック毎にディジタル画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、第１および第２のブロック毎のディジタル画像情報が属する第１および第２のクラスが決定され、第１および第２のクラス検出情報を出力するクラス検出手段と、
決定された第１および第２のクラスの第１および第２のブロック毎のディジタル画像情報と、第１および第２のブロック毎のディジタル画像情報に対応する高い解像度のディジタル画像情報の注目画素とを用いて線形推定式によって、第１および第２のブロック毎のディジタル画像情報に対応する高い解像度のディジタル画像情報の注目画素を求めるための係数データを生成する係数データ生成手段と、
生成された係数データを決定された第１および第２のクラス毎に記憶するメモリ手段と
を有することを特徴とする係数生成装置である。

また、この発明は、高い解像度のディジタル画像情報を所定の割合で画素を間引き、間引かれたディジタル画像情報を生成し、
高い解像度のディジタル画像情報の注目画素と、間引かれたディジタル画像情報の画素とが近い位置関係にある第１のモードの場合には、間引かれたディジタル画像情報を、同一フィールド内のディジタル画像情報でなる第１のブロックへ分割し、高い解像度のディジタル画像情報の注目画素と、間引かれたディジタル画像情報の画素とが遠い位置関係にある第２のモードの場合には、間引かれたディジタル画像情報を、第１のブロックおよび複数フィールド間のディジタル画像情報でなる第２のブロックへ分割し、
分割された第１および第２のブロック毎にディジタル画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、第１および第２のブロック毎のディジタル画像情報が属する第１および第２のクラスが決定され、第１および第２のクラス検出情報を出力し、
決定された第１および第２のクラスの第１および第２のブロック毎のディジタル画像情報と、第１および第２のブロック毎のディジタル画像情報に対応する高い解像度のディジタル画像情報の注目画素とを用いて線形推定式によって、第１および第２のブロック毎のディジタル画像情報に対応する高い解像度のディジタル画像情報の注目画素を求めるための係数データを生成し、
生成された係数データを決定された第１および第２のクラス毎にメモリ部に記憶する
ようにしたことを特徴とする係数生成方法である。

この発明に依れば、推定されたＨＤ画像をダウンコンバートし、ダウンコンバートされた画像を複数のブロックに分割し、分割されたブロック毎にダウンコンバートされた画像からＨＤ画像の注目画素を求めるための係数データを生成し、生成された係数データをメモリに記憶し、そのメモリに記憶された係数データを使用して通常の解像度の画像情報を高解像度の画像情報へ変換することによって、画質を大幅に向上させることができる。

以下、この発明に係る画像信号変換装置の実施例について図面を参照しながら詳細に説明する。図１は、この一実施例、すなわち画像信号変換装置の信号処理の概略的構成を示す。１で示す入力端子から、外部から供給される画像情報として、例えばいわゆるＮＴＳＣ方式の映像信号がディジタル化され、ＳＤデータとして供給される。

この実施例における、ＳＤ画素と創造するべきＨＤ画素の位置関係は、図２に示すとおりとする。すなわち、同一フィールド内において、創造するべきＨＤ画素には、ＳＤ画素から近い位置に存在するＨＤ画素ｙ₁と、ＳＤ画素から遠い位置に存在するＨＤ画素ｙ₂の２種類がある。以降、ＳＤ画素から近い位置に存在するＨＤ画素を推定するモードをモード１と称し、ＳＤ画素から遠い位置に存在するＨＤ画素を推定するモードをモード２と称する。

領域分割化回路２では、入力端子１から供給されたＳＤ画像信号を複数の領域に分割する。この実施例では、モード１用に創造するべきＨＤ画素の例えば上下各２画素ずつのＳＤ画素を、１画素×４ラインの計４画素からなる領域に分割する。この領域をブロック１と呼ぶことにする。ＨＤ画素ｙ１に対するブロック１のＳＤ画素は、図２におけるｘ₁、ｘ₂、ｘ₃、ｘ₄となる。

一方、モード２用には２種類の領域分割が行われる。まず、モード１と同様に創造するべきＨＤ画素の例えば上下各２画素ずつのＨＤ画素を１画素×４ラインの計４画素からなる領域に分割する。この領域をブロック２−１のＳＤ画素は、図２におけるｘ₁、ｘ₂、ｘ₃、ｘ₄となる。

さらに、モード２に対しては他のフィールドに属するＳＤ画素を含んだ４画素の領域分割がなされる。具体的には、例えば創造するべきＨＤ画素の上下各１画素ずつのＨＤ画素それぞれ１画素がブロック化され、いわゆる、時空間構造を持った領域分割がなされる。この領域をブロック２−２と呼ぶことにする。ＨＤ画素ｙ２に対するブロック２−２のＳＤ画素は、図３におけるｘ₁、ｘ₂、ｘ₃、ｘ₄となる。

領域分割化回路２によりブロック化されたデータが、ＡＤＲＣ回路３、および遅延回路６へ供給される。遅延回路６は、ＡＤＲＣ回路３、クラスコード発生回路４、ＲＯＭテーブル５の処理に必要な時間だけデータを遅延させて、推定演算回路７へ出力する。

ＡＤＲＣ回路３は、領域毎に供給されるＳＤデータの１次元的、あるいは２次元的なレベル分布のパターンを検出するとともに、上述のように各領域のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮がクラスコード発生回路４へ供給される。

本来、ＡＤＲＣ（Adaptive Dynamic Range Coding）は、ＶＴＲ向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるため、この発明の実施例では、信号パターンのクラス分類のコード発生に使用している。ＡＤＲＣ回路３は、領域内のダイナミックレンジをＤＲ、ビット割当をｎ、領域内画素のデータレベルをＬ、再量子化コードをＱ、として以下の式（１）により、領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。

ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２ⁿ／ＤＲ｝ （１）
ただし、｛ ｝は切り捨て処理を意味する。

この実施例では、領域分離化回路２により分離されたそれぞれ４画素のＳＤデータを、各２ビットに圧縮するものとする。圧縮されたＳＤデータを、それぞれｑ₁〜ｑ₄とする。

クラスコード発生回路４は、ＡＤＲＣ回路３から供給されるパターン圧縮データに基づいて以下の式（２）の演算を行うことにより、そのブロックが属するクラスを検出し、そのクラスを示すクラスコードclassがＲＯＭテーブル５へ供給される。このクラスコードclassは、ＲＯＭテーブル５からの読み出しアドレスを示すものとなっている。

この実施例では、ｎは４、ｐは２である。

ＲＯＭテーブル５には、ＳＤデータのパターンとＨＤデータの関係を学習することにより、線形推定式を用いて、ＳＤデータに対応するＨＤデータを算出するための係数データが各クラス毎に記憶さている。これは、線形推定式によりＳＤデータをこの画像情報よりも高い解像度の画像情報である、いわゆるハイビジョン方式の規格に合致したＨＤデータへ変換するための情報である。

この実施例において係数データは、モード１とモード２のそれぞれ独立に用意され、さらにモード２に関しては、ブロック２−１のデータを使用する場合と、ブロック２−２のデータを使用する場合でそれぞれ独立に係数データは、用意されている。なお、ＲＯＭテーブル５に記憶されている係数データの作成方法については後述する。ＲＯＭテーブル５からは、クラスコードclassで示されるアドレスから、そのクラスの係数データであるｗ_i（class）が読み出される。この係数データは、推定演算回路７へ供給される。

推定演算回路７は、遅延回路６を介して、領域分割化回路２から供給されるＳＤデータ、およびＲＯＭテーブル５から供給される係数データであるｗ_i（class）に基づいて、入力されたＳＤデータに対応するＨＤデータを算出する。推定演算回路７については、図４を用いて詳しく説明する。

遅延回路６より供給されたＳＤデータとＲＯＭテーブル５から供給された係数データは、まず初期推定演算回路１１へ供給される。初期推定演算回路１１は、モード１に関しては、ブロック１用の係数を用いて、係数データであるｗ_i（class）に基づいて、それぞれ以下の式（３）に示す演算を行うことにより、入力されたＳＤデータに対応するＨＤデータを算出する。また、モード２のＨＤ画素に関しては、２種類のデータが存在することになる。

モード１のＨＤデータと、モード２のＨＤデータのうちブロック２−２用の係数データを用いて作成されたＨＤデータが、垂直間引きフィルタ１２へ供給される。モード１のＨＤデータは、同時に水平補間フィルタ８にも供給される。ブロック２−２用の係数データを用いて作成されたＨＤデータは、同時にスイッチ回路１４へ供給される。ブロック２−１用の係数データを用いて作成されたモード２のＨＤデータは、スイッチ回路１４へ供給される。

ｈｄ´＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋ｗ₃ｘ₃＋ｗ₄ｘ₄ （３）

垂直間引きフィルタ１２は、後に詳しく説明する垂直間引きフィルタ２２と同一のものであり、ＨＤ画像信号の垂直方向の画素数をフィルタリングによりＳＤ画像信号の画素数に間引くものである。垂直間引きフィルタ１２は、初期推定演算回路１１より供給されたＨＤデータをダウンコンバートしてＳＤデータを作成して、比較判定回路１３へ出力する。

比較判定回路１３には、垂直間引きフィルタ１２により生成され、推定されたＨＤデータをダウンコンバートして作成したＳＤデータと、遅延回路６から供給されたＳＤデータが供給される。比較判定回路１３では、遅延回路６から供給されたオリジナルのＳＤデータと、垂直間引きフィルタ１２から供給され、推定されたＨＤデータをダウンコンバートすることによって作成されたＳＤデータとの比較が行われる。

遅延回路６から供給されたオリジナルのＳＤデータは、もともと垂直間引きフィルタ１２と同一のフィルタにより、真のＨＤデータからダウンコンバートされたものである。したがって、初期推定演算回路１１により推定されたＨＤデータが真値と完全に一致するならば、遅延回路６から供給されたオリジナルのＳＤデータと、垂直間引きフィルタ１２から供給され、推定されたＨＤデータとは、一致するはずである。しかしながら、ＳＤデータからＨＤデータを完全に推定することは事実上不可能であるから多少の誤差が発生することが一般的である。

しかしながら、比較判定回路１３で大きな誤差が発生することがあり、この場合、誤差の発生したＳＤデータの近傍のＨＤデータを推定するときに大きな誤差が発生した可能性が高い。

今、モード１の画素の推定は完全フィールド内推定方式によって行われている。したがって、動き等により極端な性能劣化は発生せず、モード１の画素の推定においては大きな誤差が発生する可能性は低い。

これに対してモード２の画素の推定は、時空間のタップ構造を持つ推定方式によって行われている。この構造を持つ推定方式は平均的には高い推定精度を持つが、それほど多くないクラスにおいて、この推定を行った場合、動画シーンを静止と判定ミスすることにより非常に大きな誤差が発生することがある。

よって、比較判定回路１３で大きな誤差が発生した場合、誤差の発生したＳＤデータの近傍のモード２におけるＨＤデータを推定するときに大きな誤差が発生した可能性が高い、と言える。

したがって、推定演算回路７においては、モード２のＨＤデータ出力において、比較判定回路１３の比較において、誤差がない、または小さい場合は、ブロック２−２の画素、および係数データを用いた推定により算出されたＨＤデータを出力する。また、比較判定回路１３の比較において、誤差が大きい場合はブロック２−１の画素、および係数データを用いた推定により算出されたＨＤデータを出力する。モード１のＨＤデータ出力においては、常にブロック１の画素、および係数データを用いた推定により算出されたＨＤデータを出力する。

具体的には、図５における、ＳＤデータｘ₁とｘ₂における、オリジナルのＳＤデータと、推定されたＨＤデータをダウンコンバートすることにより作成されたＳＤデータの誤差が共にあるしきい値ＴＨを超える場合、モード２のＨＤデータｙにおける出力データは、ブロック２−１の画素、および係数データを用いた推定により算出されたＨＤデータを用い、上述の条件に当てはまらないときは、ブロック２−２の画素、および係数データを用いた推定により算出されたＨＤデータを用いる。

水平補間フィルタ８は、図８の水平補間フィルタ３３と同一なもので、補間処理により水平方向の画素数を２倍にするものである。水平補間フィルタ８の出力は、出力端子９を介して出力される。この出力端子９を介して出力されるＨＤデータは、例えばＨＤテレビジョン受像器やＨＤビデオテープレコーダ装置等に供給される。

このように、ＳＤデータに対応するＨＤデータを推定するための係数データを各クラス毎に予め学習により求めた上で、ＲＯＭテーブル５に記憶しておき、入力されるＳＤデータ、およびＲＯＭテーブル５から読み出した係数データに基づいて演算を行い、入力されたＳＤデータに対応するＨＤデータを形成して出力することにより、入力されるＳＤデータを単に補間処理したのとは異なり、実際のＨＤデータを出力することができる。

しかも、クラス分類を増やすことによって改善しようとすると、クラス数が膨大なものになってしまうが、この発明の手法によれば、モード２の推定により従来の２倍のクラスが必要になるものを、総合的なクラス数としては従来の１．５倍のクラス数という充分実用的なクラス数で大幅な画質改善を得ることができる。

続いて、ＲＯＭテーブル５に格納される係数データの作成方法について、図６を用いて説明する。係数データを学習によって得るためには、まず、既に知られているＨＤ画像に対応したＨＤ画像の１／４の画素数のＳＤ画像を形成する。具体的には、図６に示す理想フィルタ回路により、入力端子２１を介して供給されるＨＤデータの垂直方向の画素を垂直間引きフィルタ２２によりフィールド内の垂直方向の周波数が１／２になるように間引き処理され、さらに水平間引きフィルタ２３により、ＨＤデータの水平方向の画素を間引き処理することにより、ＳＤデータを得る。垂直間引きフィルタ２２および水平間引きフィルタ２３により得られたＳＤデータは、領域分割化回路２４へ供給される。

領域分割化回路２４では、水平間引きフィルタ２３から供給されたＳＤ画像信号が複数の領域に分割される。具体的には領域分割化回路２４は、先に説明した領域分割化回路２と同一の働きをするものである。この実施例では、領域分割化回路２と同じく、各４画素からなる領域に分割される。すなわち、モード１に対してはブロック１の領域の領域分割を行い、モード２に関しては、ブロック２−１とブロック２−２の２種類の領域分割が行われる。この領域毎のＳＤデータがＡＤＲＣ回路２５、および正規方程式加算回路２７へ供給される。

ＡＤＲＣ回路２５は、領域毎に供給されるＳＤデータの１次元的、あるいは２次元的なレベル分布のパターンを検出すると共に、上述のように各領域の全てのデータ、あるいは一部のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路２６へ供給する。ＡＤＲＣ回路２５は、先に説明したＡＤＲＣ回路３と同一のものであり、この実施例では、領域分割化回路２４により分割された、４画素からなる各領域のＳＤデータ（図２、図３におけるｘ₁〜ｘ₄）を、ＡＤＲＣにより各２ビットに圧縮するものとする。

クラスコード発生回路２６は、先に説明したクラスコード発生回路４と同一のものであり、ＡＤＲＣ回路２５から供給されるパターン圧縮データに基づいて式（２）の演算を行うことにより、そのブロックが属するクラスを検出し、そのクラスを示すクラスコードclassを出力するものである。クラスコード発生回路２６は、クラスコードclassを正規方程式加算回路２７へ出力する。

ここで、正規方程式加算回路２７の説明のために、複数個のＳＤ画素からＨＤ画素への変換式の学習とその予測式を用いた信号変換について述べる。説明のために画素をより一般化してｎ画素による予測を行う場合について以下に説明する。ＳＤ画素レベルをそれぞれｘ₁、・・・・、ｘ_nとして、それぞれにｐビットＡＤＲＣを行った結果、再量子化データをｑ₁、・・・・、ｑ_nとする。このとき、この領域のクラスコードclassを式（２）で定義する。

上述のように、ＳＤ画素レベルをそれぞれ、ｘ₁、・・・・、ｘ_nとし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数データｗ₁、・・・・、ｗ_nによるｎタップの線形推定式を設定する。これを式（４）に示す。ここで、学習前はｗ_iが未定係数である。

ｙ＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋ｗ₃ｘ₃＋ｗ₄ｘ₄ （４）

学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（４）にしたがって、式（５）が設定される。

ｙ＝ｗ₁ｘ_j1＋ｗ₂ｘ_j2＋ｗ₃ｘ_j3＋ｗ₄ｘ_j4 （５）
（ｊ＝１、２、・・・・、ｍ）

ｍ＞ｎの場合、係数データｗ₁、・・・・ｗ_nは一意に決まらないので、誤差ベクトルｅの要素を式（６）で定義し、式（７）を最小にする係数データを求める。いわゆる、最小自乗法による解法である。

ｅ_j＝ｙ_j−｛ｗ₁ｘ_j1＋ｗ₂ｘ_j2＋ｗ₃ｘ_j3＋ｗ₄ｘ_j4｝ （６）
（ｊ＝１、２、・・・・、ｍ）

ここで、式（７）のｗ_iによる偏微分係数を求める。それは式（８）を「０」にするように各ｗ_iを求めればよい。

以下、式（９）、（１０）のように、Ｘ_ji、Ｙ_iを定義すると式（８）は、行列を用いて式（１１）へ書き換えられる。

この方程式は、一般に正規方程式と呼ばれている。正規方程式加算回路２７では、クラスコード発生回路２６から供給されたクラスコードclass、領域分割化回路２４から供給されたＳＤデータｘ₁、・・・・、ｘ_n、入力端子２１から供給されたＳＤデータに対応したＨＤ画素レベルｙを用いて、この正規方程式の加算が行われる。

すべてのトレーニングデータの入力が終了した後、正規方程式加算回路２７は、予測係数決定回路２８に正規方程式データを出力する。予測係数決定回路２８は、正規方程式を掃き出し法等の一般的な行列解法を用いて、ｗ_iについて解き、予測係数を算出する。予測係数決定回路２８は、算出された予測係数をメモリ２９へ書き込む。

以上のようにトレーニングを行った結果、メモリ２９には、量子化データｑ₁〜ｑ₄で規定されるパターン毎に、注目ＨＤデータｙを推定するための統計的にもっとも真値に近い画素の推定が生成できる予測係数が格納される。このメモリ２９に格納されたテーブルが、この発明の画像信号変換装置において使用されるＲＯＭテーブル５である。以上の処理により、線形推定式によりＳＤデータからＨＤデータを作成するための係数データの学習が終了する。

ここで、図７は、この発明に係る推定演算回路内の比較判定部分の他の実施例を示す。入力端子３１からモード１のＨＤデータ、すなわちブロック１用の係数データを用いて作成されたＨＤデータが供給され、入力端子３２からモード２のＨＤデータのうちブロック２−２用の係数データを用いて作成されたＨＤデータが供給され、入力端子３３からモード２のＨＤデータのうちブロック２−１用の係数データを用いて作成されたＨＤが供給される。

ブロック１用の係数データを用いて作成されたＨＤデータは、垂直間引き回路３４、および３５へ供給され、間引き処理がなされる。この垂直間引き回路３４、および３５は、上述の垂直間引き回路１２と同じ機能を有する。ブロック２−１用の係数データを用いて作成されたＨＤデータは、垂直間引き回路３４へ供給され、ブロック２−２用の係数データを用いて作成されたＨＤデータは、垂直間引き回路３５へ供給され、それぞれ間引き処理がなされる。

垂直間引き回路３４において、間引き処理されたモード１のＨＤデータと、モード２のＨＤデータのうちブロック２−１の係数データを用いて作成されたＨＤデータとが比較回路３６へ供給され、誤差が検出される。検出された誤差は、判定回路３８へ供給される。同様に垂直間引き回路３５において、間引き処理されたモード１のＨＤデータと、モード２のＨＤデータのうちブロック２−２の係数データを用いて作成されたＨＤデータとが比較回路３６へ供給され、誤差が検出される。検出された誤差は、判定回路３８へ供給される。

判定回路３８では、モード１のＨＤデータに対して、モード２の２種類のＨＤデータの何方の誤差が小さいかが判定され、判定結果に基づいて、スイッチ３９は、制御される。判定回路３８において、モード１のＨＤデータとブロック２−２の係数データを用いて作成されたＨＤデータとの誤差に比べて、モード１のＨＤデータとブロック２−１の係数データを用いて作成されたＨＤデータとの誤差が小さいと判定された場合、ブロック２−１の画素、およびブロック２−１の係数データを用いて作成されたＨＤデータがスイッチ３９により選択され、出力端子４０から取り出される。

また、判定回路３８において、モード１のＨＤデータとブロック２−１の係数データを用いて作成されたＨＤデータとの誤差に比べて、モード１のＨＤデータとブロック２−２の係数データを用いて作成されたＨＤデータとの誤差が小さいと判定された場合、ブロック２−２の画素、およびブロック２−２の係数データを用いて作成されたＨＤデータがスイッチ３９により選択され、出力端子４０から取り出される。

なお、実施例の説明では、情報圧縮手段として、ＡＤＲＣを設けることにしたが、これはほんの一例でであり、信号波形のパターンの少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えば、ＤＰＣＭ（予測符号化）やＶＱ（ベクトル量子化）等の圧縮手段を用いてもよい。

さらに、実施例の説明では、簡単のため水平方向のアップコンバージョンに水平補間フィルタ９を用いたが、このかわりに、水平方向のアップコンバージョン用のＲＯＭを用意し、水平方向のアップコンバージョンにおいても推定式を用いた方式を採ることも勿論可能である。

さらに、実施例の説明では、領域分割化回路４により、信号波形のパターンを１次元的に分割して表現したが、２次元的な分割にしてもよい。

この発明は、上述したこの発明の一実施形態等に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

この発明に係る画像情報変換装置の一実施例を示すブロック図である。 ＳＤデータとＨＤデータの位置関係、およびクラス分割に使用するデータを説明するための略線図である。 クラス分割に使用するデータを説明するための略線図である。 この発明に係る画像情報変換装置の一実施例を示すブロック図である。 推定演算回路の動作を説明するための略線図である。 補正データテーブルを作成するときの説明のためのブロック図である。 この発明に係る画像情報変換装置の他の実施例を示すブロック図である。 従来の画像情報変換装置の一例を示すブロック図である。 従来の画像情報変換装置の要部の一例を示すブロック図である。 ＳＤデータとＨＤデータの位置関係、および従来の時空間クラス分割方式の問題点を説明するための略線図である。

符号の説明

２ 領域分割化回路
３ ＡＤＲＣ回路
４ クラスコード発生回路
５ ＲＯＭテーブル
６ 遅延回路
７ 推定演算回路
８ 水平補間フィルタ

Claims (2)

1. 高い解像度のディジタル画像情報を所定の割合で画素を間引き、間引かれたディジタル画像情報を生成する間引き手段と、
   上記高い解像度のディジタル画像情報の注目画素と、上記間引かれたディジタル画像情報の画素とが近い位置関係にある第１のモードの場合には、上記間引かれたディジタル画像情報を、同一フィールド内のディジタル画像情報でなる第１のブロックへ分割し、上記高い解像度のディジタル画像情報の注目画素と、上記間引かれたディジタル画像情報の画素とが遠い位置関係にある第２のモードの場合には、上記間引かれたディジタル画像情報を、上記第１のブロックおよび複数フィールド間のディジタル画像情報でなる第２のブロックへ分割する画像情報分割手段と、
   上記分割された第１および第２のブロック毎に上記ディジタル画像情報のレベル分布のパターンが検出され、検出された上記パターンに基づいて、上記第１および第２のブロック毎の上記ディジタル画像情報が属する第１および第２のクラスが決定され、第１および第２のクラス検出情報を出力するクラス検出手段と、
   上記決定された第１および第２のクラスの上記第１および第２のブロック毎のディジタル画像情報と、上記第１および第２のブロック毎のディジタル画像情報に対応する上記高い解像度のディジタル画像情報の注目画素とを用いて線形推定式によって、上記第１および第２のブロック毎のディジタル画像情報に対応する上記高い解像度のディジタル画像情報の注目画素を求めるための係数データを生成する係数データ生成手段と、
   生成された上記係数データを上記決定された第１および第２のクラス毎に記憶するメモリ手段と
   を有することを特徴とする係数生成装置。
2. 高い解像度のディジタル画像情報を所定の割合で画素を間引き、間引かれたディジタル画像情報を生成し、
   上記高い解像度のディジタル画像情報の注目画素と、上記間引かれたディジタル画像情報の画素とが近い位置関係にある第１のモードの場合には、上記間引かれたディジタル画像情報を、同一フィールド内のディジタル画像情報でなる第１のブロックへ分割し、上記高い解像度のディジタル画像情報の注目画素と、上記間引かれたディジタル画像情報の画素とが遠い位置関係にある第２のモードの場合には、上記間引かれたディジタル画像情報を、上記第１のブロックおよび複数フィールド間のディジタル画像情報でなる第２のブロックへ分割し、
   上記分割された第１および第２のブロック毎に上記ディジタル画像情報のレベル分布のパターンが検出され、検出された上記パターンに基づいて、上記第１および第２のブロック毎の上記ディジタル画像情報が属する第１および第２のクラスが決定され、第１および第２のクラス検出情報を出力し、
   上記決定された第１および第２のクラスの上記第１および第２のブロック毎のディジタル画像情報と、上記第１および第２のブロック毎のディジタル画像情報に対応する上記高い解像度のディジタル画像情報の注目画素とを用いて線形推定式によって、上記第１および第２のブロック毎のディジタル画像情報に対応する上記高い解像度のディジタル画像情報の注目画素を求めるための係数データを生成し、
   生成された上記係数データを上記決定された第１および第２のクラス毎にメモリ部に記憶する
   ようにしたことを特徴とする係数生成方法。

Images