JP3870428B2

JP3870428B2 - 画像情報変換装置および方法並びに係数データ生成装置および方法

Info

Publication number: JP3870428B2
Application number: JP13622395A
Authority: JP
Inventors: 真史内田; 哲二郎近藤; 秀雄中屋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-05-10
Filing date: 1995-05-10
Publication date: 2007-01-17
Anticipated expiration: 2022-01-17
Also published as: JPH08307835A

Description

【０００１】
【産業上の利用分野】
この発明は、例えば入力のデータの時空間画素をブロック化し、それを何らかの手法によりクラス分類し、このクラス毎に線形一次結合でモデル化し、最小二乗法で学習することにより係数データを得て、その係数データを用いて処理を行う画像情報変換装置および方法並びに係数データ生成装置および方法に関する。
【０００２】
【従来の技術】
従来、クラス分類適応処理を応用したものとして、ＳＤ（Standerd Definition ）からＨＤ（High Definition ）への画像情報変換装置、時空間モデル符号化、ＭＵＳＥの画質改善、コンポジット信号のＹ／Ｃ分離など様々なアプリケーションのアイデアが出願されている。すなわち、ある大きさの時空間の画素をブロック化し、これを何らかの手法（例えばＡＤＲＣ（Adaptive Dynamic Range Coding ））によりクラス分類し、このクラス毎に線形一次結合でモデル化、つまり予測式を立て、最小二乗法などを用いて学習することにより係数データを得るというものである。
【０００３】
クラス分類適応処理による画像情報変換装置では、一般に図７に示すような複数のフィールドの画像データを用いて、以下のような線形一次結合式を用いて新たな画素データの創造を行う。この式（１）におけるｙは創造される画素データ、ｗ_nは予測係数、ｘ_nは推定に用いる画素データである。
【０００４】
ｙ＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・＋ｗ_nｘ_n （１）
【０００５】
上述の手順の学習によって算出された係数データは、係数ＲＯＭあるいはＲＡＭ（以下、係数ＲＯＭと称する）に蓄えられる。演算精度を保つためには、各係数データにある程度以上の語長を持たすことが必要である。通常のフィルタリングあるいは適応処理の場合、この係数データは１組あるいは高々数組である。そのため、各係数データの語長を長く取っても、係数データを格納する係数ＲＯＭの大きさは問題にならないほど小さく済む。
【０００６】
しかしながら、一般にクラス分類適応処理においては、図８に示すように、クラス毎の各タップ（各画素位置）に係数データが格納され、図９に示すように、選択されたクラスの各タップの係数データが読み出される。このようにクラス分類適応処理では、分割するクラス数が多いほど高性能の処理を実現することができる。そのため、高い性能を要求するアプリケーションにおいては、多くのクラスに分割する必要がある。したがって、その場合、係数データを格納しておく係数ＲＯＭの容量は、クラス数に応じて大きなものになり、そのままの形ではハードウェア的に実現が困難な場合があった。
【０００７】
この係数ＲＯＭの容量削減には、２つのアプローチが考えられる。ひとつはクラス数の削減、もうひとつは係数データの語長の削減である。クラス数の削減のアプローチについては他に譲ることとし、ここでは係数データの語長の削減についてのみ考える。係数データの語長の削減のもっとも単純な方法は、各係数データの語長を短く制限することである。例えば、元々ｎビットの語長で格納されていた係数データをｎ／２ビットにすれば、それだけで係数ＲＯＭの大きさを１／２にすることができる。しかしながら、係数データの語長の単純な削除が過度に行われた場合、計算精度が著しく劣化するという問題がある。
【０００８】
その最大の原因は、削減された語長では係数データ自体の誤差が大きくなるため、結果的に復号結果の誤差が大きくなるというものであるが、さらに従来の手法では与えられた語長のすべてを有効に使っていないという理由も存在する。これについて詳しく述べる。
【０００９】
係数データを６ビットの語長で係数ＲＯＭに格納することを考える。通常、６ビットの領域は、上位１ビットを符号領域、下位５ビットをデータ領域として使用される。例えば、フィルタの各係数データが｛-0.276,+1.321,+0.569,+0.336 ｝であるようなフィルタがあったとすると、係数データの絶対値の最大値の２のベキ乗倍がデータ領域である５ビットの範囲を超えないような、すなわち３１以下となるような２のベキ乗数を選択し、それを乗ずることにより、各係数データをデータ領域に格納する。
【００１０】
すなわち、この場合は、係数データの絶対値の最大値が1.321 であり、その３２倍は、42.272となり３１を超えるため、各係数データに１６を乗ずることにより、データを係数ＲＯＭに格納する。各係数データの絶対値の１６倍は、｛4.416,21.136,9.104,5.376｝となり、これらの値を、例えば四捨五入した値、すなわち｛4,21,9,5｝が係数ＲＯＭの下位５ビットに格納されることになる。
【００１１】
ところで、本来６ビットの領域は、±３１を表現できる。しかしながら、上述の例では、最大値が２１、最小値が−５であり、その領域を有効利用していないことがわかる。これが、係数データの誤差の増大につながり、結果として計算精度の劣化を招いているわけである。
【００１２】
特に、クラス分類適応処理においては、係数データの分布特性がタップに依って異なることも多い。すなわち、全係数データを見たときには、係数データのダイナミックレンジが非常に大きい場合でも、各タップ内で係数データを見た場合、クラスに依らずそれほど係数データの変化が大きくない場合もある。
【００１３】
例えば、全係数データを見たときの係数データの絶対値の最大値が、2.068 であった場合、上述と同様に６ビットで記録しようとすると、2.068 ×16＝33.088であるので、３１を超えるから、各係数データに８を掛けたものが格納されることになる。ところが、あるタップ内で見たとき、係数データの最大値が+0.651、最小値が+0.488だったとすると、それぞれに８を掛けると+0.651は5.028 となるため５として、+0.488は3.904 となるため４として格納されることになる。すなわち、このタップの係数データは、0.488 〜0.651 の間の種々の値を取っているにも拘らず、６ビットの語長に制限されて格納された場合、このタップの係数データはわずか２つの値で表現されることになってしまう。このような場合、特に本来表現できる領域を活かし切れていないことが顕著である。
【００１４】
【発明が解決しようとする課題】
この発明は、上述の問題点に鑑みてなされたものであるり、クラス分類適応処理を用いて、容量を削減しても結果の劣化が最小限にとどまるような画像情報変換装置および方法並びに係数データ生成装置および方法の提供を目的とする。
【００１５】
【課題を解決するための手段】
請求項１に記載の発明は、ディジタル画像信号を、より画素数の多いディジタル画像信号に変換するようにした画像情報変換装置において、
外部から供給された画像情報を時空間的に近傍に位置する複数の画素からなる複数のブロックに分割する画像情報分割手段と、
画像情報分割手段により分割されたブロック毎に画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロックの画像情報が属するクラス情報を出力するクラス検出手段と、
外部から供給された画像情報を、外部から供給された画像情報よりも高い解像度の画像情報に変換するための情報である線形推定式の係数データを、ブロックの画素位置毎に正規化するために符号化した符号化係数データがクラス毎に記憶されており、クラス検出手段からのクラス情報に応じて符号化係数データを出力する係数データ記憶手段と、
係数データ記憶手段から供給された符号化係数データを復号することにより生成される係数データと、外部から供給された画像情報内の複数画素の画素値との線形一次結合である上記線形推定式を用いて、外部から供給された画像情報を、外部から供給された画像情報よりも高い解像度の画像情報に変換して出力する画像変換手段と
を有することを特徴とする画像情報変換装置である。
【００１６】
さらに、請求項２に記載の発明は、ディジタル画像信号を、より画素数の多いディジタル画像信号に変換する推定式に用いられる係数データを生成する係数データ生成装置において、
より画素数の多いディジタル画像信号に対してフィルタを用いてディジタル画像信号の画素数を減少させるフィルタ手段と、
減少した画素数を時空間的に近傍に位置する複数の画像データからなる複数のブロックに分割する画像情報分割手段と、
画像情報分割手段により分割されたブロック毎に画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロックの画像情報が属するクラス情報を出力するクラス検出手段と、
より画素数の多いディジタル画像信号と画素数が減少したディジタル画像信号とから係数データを生成する係数データ生成手段と、
生成された係数データをブロックの画素位置毎に正規化し、正規化された係数データをクラス情報に応じて記憶する係数データ記憶手段と
を有することを特徴とする係数データ生成装置である。
【００１７】
ディジタル画像信号を、より画素数の多いディジタル画像信号に変換するようにした画像情報変換方法において、
外部から供給された画像情報を時空間的に近傍に位置する複数の画素からなる複数のブロックに分割するステップと、
分割されたブロック毎に画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロックの画像情報が属するクラス情報を出力するステップと、
外部から供給された画像情報を、外部から供給された画像情報よりも高い解像度の画像情報に変換するための情報である線形推定式の係数データを、ブロックの画素位置毎に正規化するために符号化した符号化係数データがクラス毎に記憶されており、クラス情報に応じて符号化係数データを出力するステップと、
符号化係数データを復号することにより生成される係数データと、外部から供給された画像情報内の複数画素の画素値との線形一次結合である上記線形推定式を用いて、外部から供給された画像情報を、外部から供給された画像情報よりも高い解像度の画像情報に変換して出力するステップと
を有することを特徴とする画像情報変換方法である。
【００１８】
さらに、請求項６に記載の発明は、ディジタル画像信号を、より画素数の多いディジタル画像信号に変換する推定式に用いられる係数データを生成する係数データ生成方法において、
より画素数の多いディジタル画像信号に対してフィルタを用いてディジタル画像信号の画素数を減少させるステップと、
減少した画素数を時空間的に近傍に位置する複数の画像データからなる複数のブロックに分割するステップと、
分割されたブロック毎に画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロックの画像情報が属するクラス情報を出力するステップと、
より画素数の多いディジタル画像信号と画素数が減少したディジタル画像信号とから係数データを生成するステップと、
生成された係数データをブロックの画素位置毎に正規化し、正規化された係数データをクラス情報に応じて係数データ記憶手段に記憶するステップとを有することを特徴とする係数データ生成方法である。
【００１９】
【作用】
画像情報変換装置および方法では、係数データの語長を短くして格納する際、ＡＤＲＣ等の処理によりデータを正規化した形で格納する。これにより、データ語長を最大限に有効利用できるので、短い語長でも係数データの誤差が小さくなる。特に、０をまたいで分布するような係数データに関しては、本来０であった係数データが語長制限後も必ず０になるような方式の語長制限を行うことにより、本来０であった係数データが誤差を持つことによる画質劣化を抑える。
【００２０】
【実施例】
以下、この発明の画像情報変換装置および方法の実施例について図面を参照しながら説明する。図１は、この一実施例、すなわち画像情報変換装置のＲＯＭテーブルに格納される係数データの作成方法について説明したブロック図である。
【００２１】
係数データを学習により得るためには、まず、既に知られているＨＤ画像に対応した、ＨＤ画像の１／４の画素数のＳＤ画像を生成する。具体的には、理想フィルタ回路により、入力端子１を介して供給されるＨＤデータの垂直方向の画素を垂直間引きフィルタ２により、フィールド内の垂直方向の周波数が１／２になるように間引き処理し、さらに水平間引きフィルタ３により、ＨＤデータの水平方向の画素を間引き処理することにより、１／４の画素数のＨＤ画像、すなわちＳＤ画像が生成される。
【００２２】
水平間引きフィルタ３の出力信号は、領域分割化回路４に供給される。領域分割化回路４では、供給されたＳＤ画像信号が複数の領域に分割される。複数の領域に分割されたＳＤ画像信号は、ＡＤＲＣ符号化回路５に供給される。
【００２３】
ＡＤＲＣ符号化回路５は、分割された領域毎に供給されるＳＤデータの一次元的あるいは二次元的なレベル分布のパターンを検出すると共に、各領域の全てのデータあるいは一部のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算を行うことによりパターン圧縮データを生成し、このパターン圧縮データをクラスコード発生回路６に供給する。
【００２４】
クラスコード発生回路６は、ＡＤＲＣ符号化回路５から供給されるパターン圧縮データに基づいて、その領域が属するクラスを決定し、そのクラスを示すクラスコードを出力するものである。クラスコード発生回路６は、クラスコードを正規方程式加算回路８に出力する。
【００２５】
正規方程式加算回路８には、クラスコード発生回路６の出力データの他に、領域分割化回路４より供給されたＳＤデータ、水平間引きフィルタ３より供給されたＨＤデータが入力される。正規方程式加算回路８は、これらのデータを用いて、正規方程式の加算を行い、全てのトレーニングデータの入力が終了した後、予測係数決定回路９に正規方程式データを出力する。
【００２６】
予測係数決定回路９は、正規方程式を掃き出し法などの一般的な行列解法を用いてそれを解き、予測係数を算出する。算出された予測係数は、係数符号化回路１０に供給される。予測係数決定回路９により算出された予測係数は、係数符号化回路１０において、ＡＤＲＣの符号化を行うことにより係数データが正規化されメモリ１１に格納される。より具体的には、ＡＤＲＣを用いて係数データの正規化を行うことによりデータ領域の持つ語長の範囲を完全に活かした格納データ生成方式が行われる。
【００２７】
ここで、係数符号化回路１０とメモリ１１のより詳細なブロック図の一例を図２に示す。予測係数決定回路９から供給される係数データが入力端子１６を介してタップ分割回路１８へ供給され、供給される係数データに応じたコントロール信号が入力端子１７からタップ分割回路１８へ供給される。タップ分割回路１８では、そのコントロール信号に基づいて供給された係数データを各タップに分割する。各タップに分割された係数データは、それぞれのタップの端子を介してＡＤＲＣエンコード回路１９へ供給される。
【００２８】
ＡＤＲＣエンコード回路１９において、係数データが各タップ毎に最大値ＭＡＸおよび最小値ＭＩＮなどが検出され、ＡＤＲＣエンコードが行われメモリ１１へ供給される。メモリ１１では、入力端子１７からのコントロール信号に応じて所定のクラスおよび所定のタップへ格納される。
【００２９】
すなわち、ＡＤＲＣエンコード回路１９₀では、各クラスのタップ０（画素位置が０）の最大値ＭＡＸおよび最小値ＭＩＮが検出され、ＡＤＲＣエンコードが行われる。同様に、ＡＤＲＣエンコード回路１９₁では、各クラスのタップ０の最大値ＭＡＸおよび最小値ＭＩＮが検出され、ＡＤＲＣエンコードが行われる。このＡＤＲＣエンコード回路１９において、エンコードされた係数データは、図３に示すように、タップ毎に各クラスに格納され、さらに最小値ＭＩＮとダイナミックレンジＤＲもタップ毎に格納される。
【００３０】
この一例では、最小値ＭＩＮとダイナミックレンジＤＲがタップ毎に格納されているが、タップ毎に格納されるデータは、最大値ＭＡＸと最小値ＭＩＮまたは最大値ＭＡＸとダイナミックレンジＤＲでも良い。さらに、この格納されたデータは、エンコードされる前のデータで格納される。
【００３１】
このような手法は、係数データがタップ毎に相関を持っているため、効率の良い量子化が行われる。さらに、タップによって、係数データのレベルの集中が高いものと、低いものとがあるため、量子化を行うときの割り当てビット数を変えても良い。
【００３２】
上述したように従来の手法によると、予測係数決定回路９により算出された予測係数は、そのままメモリ１１に格納されていた。その場合、メモリの大きさにより語長が制限され、単純に下位ビットデータが削減された形で格納されていた。そのため、語長が短く制限された場合、係数データの誤差が大きくなり、結果的に計算精度が劣化する現象を引き起こす。
【００３３】
この実施例において、ＡＤＲＣを用いて係数データの正規化を行うことにより本来格納できる領域の範囲を完全に活かした格納データ生成方式を行う。本来、ＡＤＲＣは、ＶＴＲ向け高能率符号化用に開発された適応的再量子化法であるが、ここでは、格納データ生成のための正規化に使用している。ＡＤＲＣ回路は、係数データのダイナミックレンジをＤＲ、格納するデータの語長をｎ、各係数データのデータレベルをＬ、再量子化コードすなわち係数ＲＯＭに格納するコードをＱとして以下の式（２）により係数データの最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行うことにより、正規化を実施する。扱うデータが自然数ではなく、符号付きの小数点データであるため通常のＡＤＲＣとは多少異なっているが原理的には同一である。
【００３４】
ＤＲ＝ＭＡＸ−ＭＩＮ
Ｑ＝〔（Ｌ−ＭＩＮ）・２ⁿ／ＤＲ〕（２）
ただし、Ｑの最大値は２ⁿ−１とする。
【００３５】
ここで、係数データの最大値ＭＡＸおよび最小値ＭＩＮの検出は、各タップ毎に行われる。これは、クラスが変化しても同一タップ内の係数データは、一般的にそれほど大きく変化せず、同一タップ内で最大値ＭＡＸおよび最小値ＭＩＮを取ることによって、そのダイナミックレンジＤＲを小さくすることができることが多いからである。また、上述したように最小値ＭＩＮとダイナミックレンジＤＲ、最大値ＭＡＸと最小値ＭＩＮあるいは最大値ＭＡＸとダイナミックレンジＤＲは、データ長を削減する前の語長で格納する。この手法を用いることにより、データ語長を可能な限り有効に使うことが出来るので単純な足切り等の手法により語長を削減した場合より、語長制限により係数データの誤差を大幅に減らすことができる。したがって、最終的な誤差も減らすことができる。
【００３６】
まとめると、従来の係数ＲＯＭの生成においては、図８に示すように、予測係数決定回路により決定された係数データをそのまま、あるいは足切りをするかたちで係数ＲＯＭに格納してたのに対して、この実施例においては、図３に示すように、各タップ毎の係数データに対してＡＤＲＣ処理を行い、すなわち各タップ毎に係数データの正規化を行い係数データの語長を最大限有効に使う形で格納することにより、係数データの誤差を減らすというものである。
【００３７】
続いて、上述の手法により生成された係数ＲＯＭを使用し、実際にクラス分類適応処理を用いた画像情報変換装置の信号処理の概略的構成を図４に示す。２１で示す入力端子から、ＳＤデータが供給される。このＳＤデータは、外部から供給された画像情報、例えばいわゆるＮＴＳＣ方式の映像信号がディジタル化されたものである。入力端子２１から供給されたＳＤデータは、領域分割化回路２２に供給される。
【００３８】
領域分割化回路２２は、生成するＨＤ画素の時間的、空間的に近傍に位置するＳＤ画素を抽出する処理を行う。領域分割化回路２２により抽出された複数のＳＤ画素がクラス分類回路２３および遅延回路２７に供給される。遅延回路２７は、クラス分類回路２３、クラスコード発生回路２４、ＲＯＭテーブル２５、係数復号回路２６の処理に必要な時間だけデータを遅延させて推定演算回路２８に出力する。
【００３９】
クラス分類回路２３は、領域毎に供給されるＳＤ画素の１次元的あるいは２次元的なレベル分布のパターンを検出するためのものである。例えば、ＡＤＲＣをクラス分類回路２３で用いることにより、各領域のＳＤ画素を例えば８ビットのＳＤ画素から２ビットのＳＤ画素に圧縮するような演算を行うとにより、各領域でのパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路２４に供給する。
【００４０】
クラスコード発生回路２４は、クラス分類回路２３から供給されるパターン圧縮データに基づいて、その領域が属するクラスを検出し、そのクラスを示すクラスコードがＲＯＭテーブル２５へ供給される。このクラスコードは、ＲＯＭテーブル２５からの読み出しアドレスを示すものとなっている。
【００４１】
ＲＯＭテーブル２５には、上述のような手法により、線形推定式を用いてＳＤ画素に対応するＨＤ画素を算出するための係数データが各クラス毎に記憶されている。これは、線形推定式によりＳＤ画素を、この画像情報よりも高い解像度の画像情報である、いわゆるハイビジョンの規格に合致したＨＤ画素に変換するための情報である。ＲＯＭテーブル２５からは、クラスコードで示されるアドレスによって、そのクラスの係数データが読み出され、この係数データは、係数復号回路２６に供給される。
【００４２】
上述した図８に示すように従来の係数ＲＯＭには、生成された係数データがそのまま格納されていた。そのため、クラスコードに示されるアドレスから、そのクラスの係数データが読み出され、その係数データは推定演算回路２８に送られ、推定演算回路２８において、演算が実施されていた。しかしながら、このような従来の手法では係数ＲＯＭの語長分のデータがフルに使い切れていないため、係数データの語長を短縮したときに計算精度の劣化が起こりやすい。
【００４３】
この発明のクラス分類適応処理装置の係数ＲＯＭには先に説明したように係数データがＡＤＲＣによって符号化された形で格納されている。そこで、この係数復号回路２６では、ＲＯＭテーブル２５に格納されている、例えば最小値ＭＩＮ、ダイナミックレンジＤＲおよび符号化された係数データＱを用いて、以下の式（３）により係数データのＡＤＲＣの復号化を行う。係数復号回路２６において、生成された復号値Ｌは、推定演算回路２８に供給される。
【００４４】
Ｌ＝〔Ｑ・ＤＲ／２ⁿ＋ＭＩＮ＋０．５〕（３）
【００４５】
まとめると、従来の係数ＲＯＭは、正規方程式を解いて生成されたままの（あるいはその値を単純に足切りをした）係数データが格納されていたため、図９に示すように、所定のクラスの係数データを参照することにより、そのままの形で推定演算を行うことが出来たが、この実施例では、係数データがＡＤＲＣエンコードされた形で格納されているため、図５に示すように、それぞれＡＤＲＣデコードした後、推定演算を行う必要がある。
【００４６】
推定演算回路２８は、遅延回路２７を介して領域分割化回路２２から供給されるＳＤ画素および係数復号回路２６から供給される係数データを用いて、ＳＤ画素に対応するＨＤ画素を算出する。作成されたＨＤ画素は、水平補間フィルタ２９に供給される。
【００４７】
水平補間フィルタ２９は、補間処理により水平方向の画素数を２倍にするものである。水平補間フィルタ２９の出力は、出力端子３０を介して出力される。この出力端子３０を介して出力されるＨＤデータは、例えばＨＤテレビジョン受像器やＨＤビデオテープレコーダ装置等に供給される。
【００４８】
ここで、上述の処理では、本来の大きさが０であった係数データが、時によっては誤差を持ち、創造画像の品質に影響を与える場合があるため、本来０であった係数データは、ＡＤＲＣ処理による係数語長削減後も、必ず０とするための他の実施例を図６に示す。予測係数決定回路９により算出された予測係数は、メモリ３１に蓄えられる。メモリ３１から読み出された各予測係数は、ＡＤＲＣエンコード回路３２により、まず上述のような通常のＡＤＲＣ処理により各タップ毎にＡＤＲＣエンコードが行われる。ＡＤＲＣエンコードされた係数データ、最小値ＭＩＮ、最大値ＭＡＸおよびダイナミックレンジＤＲは、メモリ３３に格納される。メモリ３３のデータは、ＡＤＲＣデコード回路３４に供給される。
【００４９】
ＡＤＲＣデコード回路３４は、以下の式（４）により、エンコードされた各係数データのデコードを行う。デコードされた各係数データは、絶対値化回路３５に供給される。絶対値化回路３５は、デコードされた各係数データの絶対値化を行う。絶対値化された各係数データおよびＡＤＲＣデコード回路３４から供給される絶対値化する前の各係数データは、絶対値最小値検出回路３６に供給される。
【００５０】
Ｌ＝Ｑ・ＤＲ／２ⁿ＋ＭＩＮ（４）
【００５１】
絶対値最小値検出回路３６は、絶対値化された各係数データの中から、最小となるデータ｜ａ｜を選択し、それを導くような絶対値化前の係数データａをＡＤＲＣデコード回路３４から供給される係数データの中から検出し、その値を加算器３７に供給する。加算器３７は、メモリ３３から供給された最小値ＭＩＮに、係数データａを足し込む。このデータを新たな最小値ＭＩＮ´と呼ぶことにする。すなわち、新最小値ＭＩＮ´は式（５）で算出される。新最小値ＭＩＮ´は、再ＡＤＲＣエンコード回路３８に供給される。
【００５２】
ＭＩＮ´＝ＭＩＮ＋ａ（５）
【００５３】
再ＡＤＲＣエンコード回路３８は、メモリ３１から供給される各予測係数と、メモリ３３から供給されるダイナミックレンジＤＲ、および加算器３７から供給される新最小値ＭＩＮ´を用いて、式（６）により、再びＡＤＲＣエンコードを行う。
【００５４】
Ｑ´＝〔（Ｌ−ＭＩＮ´）・２ⁿ／ＤＲ〕（６）
【００５５】
ただし、Ｑ´の最大値は２ⁿ−１、Ｑ´の最小値は０とする。エンコードされた各係数データＱ´およびダイナミックレンジＤＲ、新最小値ＭＩＮ´は、メモリ３９に格納される。
【００５６】
ところで、各タップの係数データが０をまたいで分布していない場合、０を保つような語長制限には、あまり意味がなく、むしろわずかながら誤差を増加させる恐れがあるため、０を保つような語長制限を行わないほうが望ましい。そこで、メモリ３３から供給された最大値ＭＡＸおよび最小値ＭＩＮを用いて、判定回路４０において、予測係数が０をまたいで分布しているか否かを判定する。
【００５７】
予測係数が０をまたいで分布していると判定された場合、他の実施例に示すように０を保つような語長制限法が好ましいため、メモリ３９に格納されている係数データＱ´およびダイナミックレンジＤＲ、新最小値ＭＩＮ´を処理結果として出力する。一方、予測係数が０をまたいで分布していないと判断された場合、従来の語長制限法が好ましいため、メモリ３３に格納されている係数データＱおよびダイナミックレンジＤＲ、最小値ＭＩＮを処理結果として出力する。出力された処理結果は、メモリ１１に供給され、係数ＲＯＭとして使用される。
【００５８】
例えば、あるタップの係数データの分布が｛-1.432,0.0,-0.691,0.518 ｝として、予測係数決定回路９からメモリ３１へ要求された場合、ＡＤＲＣエンコード回路３２では、通常のＡＤＲＣによる２ビットの語長制限が行われる。その結果は、メモリ３３に格納される。このＡＤＲＣエンコード回路３２において、行われるＡＤＲＣエンコードでは、最大値ＭＡＸが0.518 、最小値ＭＩＮが-1.432が用いられる。これらの値を用いてＡＤＲＣエンコード回路３２では、係数データのＡＤＲＣエンコードが行われる。そのエンコードされた係数データＱは、最小値ＭＩＮおよびダイナミックレンジＤＲとともにメモリ３３へ格納される。
【００５９】
ＡＤＲＣデコード回路３４では、ＡＤＲＣエンコード回路３２において、エンコードされた係数データＱのデコードがなされる。デコードがなされた係数データ｛-1.432,-0.132,-0.782,0.518｝の分布の中から絶対値の最小値となるデータ｜ａ｜が検出され、検出されたデータ｜ａ｜と対応する係数データａ（＝-0.132）は、最小値ＭＩＮ（＝-1.432）と加算され、新最小値ＭＩＮ´（-0.132＋(-1.432)＝-1.564）として再ＡＤＲＣエンコード回路３８へ供給される。この再ＡＤＲＣエンコード回路３８では、新最小値ＭＩＮ´を使用してＡＤＲＣエンコード回路３２でエンコードされた係数データが再びエンコードされ、その結果は、メモリ３９に格納される。
【００６０】
判定回路４０では、この係数データが０をまたいで分布しているか否が判定される。係数データが０をまたいで分布している場合、絶対値最小値検出回路３６から出力される係数データａは、マイナスの値となるため、再ＡＤＲＣエンコード回路３８では、最小値ＭＩＮが係数データａのレベル分シフトが行われる。すなわち、ＡＤＲＣエンコードさらにＡＤＲＣデコードを行うことによって、本来0.0 であった係数データが-0.132の値となる。そこで、本来0.0 であった係数データを0.0 とするために、-0.132だけ最小値ＭＩＮ（＝-1.432）のシフトを行うことよって、ＡＤＲＣエンコードされた0.0 の値を持つ係数データは、ＡＤＲＣデコードされたときも0.0 の値となる。
【００６１】
通常の係数ＲＯＭ生成においては、図８に示すように、予測係数決定回路により決定された係数データをそのまま、あるいは足切りをするかたちで係数ＲＯＭに格納していた。これに対して、他の実施例は、図３に示すように、各タップの係数データに対してＡＤＲＣ処理を行い、すなわち係数データの正規化をして係数データの語長を最大限有効に使う形で格納することにより、係数データの誤差を減らす。この際、０をまたぐような分布をしている係数データに関しては、上述のように０をキープするような係数データの語長が行われている。
【００６２】
なお、エンコード時には、係数データが０をまたいで分布している場合と０をまたいで分布していない場合とで処理を変えているが、このデコード側では処理を切り換える必要はない。そのため、デコード側は、従来の構成で良い。
【００６３】
なお、上述の説明では、最小値ＭＩＮをシフトさせることにより、０をキープするようなＡＤＲＣ処理を行ったが、必ずしもこの方式である必要はない。例えば、デコード時にも最も０に近いようなデコードデータは、０としてデコードすることが可能である。
【００６４】
なお、上述の説明では略したが、係数復号回路２６と推定演算回路２８の間にゲイン補正回路を設けても良い。
【００６５】
【発明の効果】
この発明に依れば、係数データをＡＤＲＣにより正規化して格納することにより記録語長を最大限に有効利用できるので、同じ記録語長でも、係数データの誤差を押さえることができ、結果的に計算結果の誤差を小さくすることができる。
【００６６】
また、この発明に依れば、０をまたぐ分布を持つ係数データに関しては、０をキープするようなエンコードを実現することにより、本来０であった係数データが誤差を持つことによる画質劣化を軽減することができる。
【図面の簡単な説明】
【図１】この発明に係る画像情報変換装置の学習時の実施例である。
【図２】この発明の係数ＲＯＭ生成の実施例を示すブロック図である。
【図３】この発明に係る係数ＲＯＭ生成の動作を説明するための略線図である。
【図４】この発明に係る画像情報変換装置の実施例である。
【図５】この発明に係る係数ＲＯＭの動作を説明するための略線図である。
【図６】この発明の係数ＲＯＭ生成の他の実施例を示すブロック図である。
【図７】クラス分類適応処理を説明するための略線図である。
【図８】従来の係数ＲＯＭ生成の動作を説明するための略線図である。
【図９】従来の係数ＲＯＭの動作を説明するための略線図である。
【符号の説明】
２垂直間引きフィルタ
３水平間引きフィルタ
４領域分割化回路
５ＡＤＲＣ回路
６クラスコード発生回路
８正規方程式加算回路
９予測係数決定回路
１０係数符号化回路

Claims

ディジタル画像信号を、より画素数の多いディジタル画像信号に変換するようにした画像情報変換装置において、
外部から供給された画像情報を時空間的に近傍に位置する複数の画素からなる複数のブロックに分割する画像情報分割手段と、
上記画像情報分割手段により分割された上記ブロック毎に画像情報のレベル分布のパターンが検出され、上記検出されたパターンに基づいて、上記ブロックの画像情報が属するクラス情報を出力するクラス検出手段と、
上記外部から供給された画像情報を、上記外部から供給された画像情報よりも高い解像度の画像情報に変換するための情報である線形推定式の係数データを、上記ブロックの画素位置毎に正規化するために符号化した符号化係数データが上記クラス毎に記憶されており、上記クラス検出手段からの上記クラス情報に応じて上記符号化係数データを出力する係数データ記憶手段と、
上記係数データ記憶手段から供給された上記符号化係数データを復号することにより生成される係数データと、上記外部から供給された画像情報内の複数画素の画素値との線形一次結合である上記線形推定式を用いて、上記外部から供給された画像情報を、上記外部から供給された画像情報よりも高い解像度の画像情報に変換して出力する画像変換手段と
を有することを特徴とする画像情報変換装置。
ディジタル画像信号を、より画素数の多いディジタル画像信号に変換する推定式に用いられる係数データを生成する係数データ生成装置において、
より画素数の多いディジタル画像信号に対してフィルタを用いてディジタル画像信号の画素数を減少させるフィルタ手段と、
上記減少した画素数を時空間的に近傍に位置する複数の画像データからなる複数のブロックに分割する画像情報分割手段と、
上記画像情報分割手段により分割された上記ブロック毎に画像情報のレベル分布のパターンが検出され、検出された上記パターンに基づいて、上記ブロックの画像情報が属するクラス情報を出力するクラス検出手段と、
上記より画素数の多いディジタル画像信号と上記画素数が減少したディジタル画像信号とから係数データを生成する係数データ生成手段と、
上記生成された係数データを上記ブロックの画素位置毎に正規化し、上記正規化された係数データを上記クラス情報に応じて記憶する係数データ記憶手段と
を有することを特徴とする係数データ生成装置。
請求項２に記載の係数データ生成装置において、
上記正規化は、上記より画素数の多いディジタル画像信号と上記画素数が減少したディジタル画像信号とから係数データを生成し、生成された上記係数データに対して、上記ブロックの画素位置毎にＡＤＲＣ符号化する係数データ処理手段でなされ、
上記ＡＤＲＣ符号化する係数データ処理手段は、
同一ブロックの画素位置内に含まれる複数の係数データの最大値および上記複数の係数データの最小値を検出する手段と、
上記最大値および最小値から上記ブロックのダイナミックレンジを検出する手段と、
上記最大値または最小値を基準とした相対的なレベル関係を持つように修正された修正入力データを形成する手段と、
上記修正入力データを元の量子化ビット数以下のビット数で量子化する手段と
からなることを特徴とする係数データ生成装置。
請求項３に記載の係数データ生成装置において、
上記ＡＤＲＣ符号化された係数データを復号する復号手段と、
上記復号された係数データを絶対値化する絶対値化手段と、
上記絶対値化された係数データのうち、最小のものを選択する絶対値最小値選択手段と、
上記検出された最小値と上記絶対値最小値の絶対値化前の係数データとを加算し、第２の最小値を求める第２の最小値演算手段と、
上記検出されたダイナミックレンジと上記第２の最小値に基づき、上記係数データ生成手段からの上記係数データにＡＤＲＣ符号化を施す第２の係数データ処理手段と、
上記ブロックの画素位置の係数データが０を跨ぐように分布しているか否かを判定する判定手段とを備え、
上記判定手段は、０を跨ぐと判定した場合には、上記第２の最小値を用いた処理結果を出力することを特徴とする係数データ生成装置。
ディジタル画像信号を、より画素数の多いディジタル画像信号に変換するようにした画像情報変換方法において、
外部から供給された画像情報を時空間的に近傍に位置する複数の画素からなる複数のブロックに分割するステップと、
分割された上記ブロック毎に画像情報のレベル分布のパターンが検出され、上記検出されたパターンに基づいて、上記ブロックの画像情報が属するクラス情報を出力するステップと、
上記外部から供給された画像情報を、上記外部から供給された画像情報よりも高い解像度の画像情報に変換するための情報である線形推定式の係数データを、上記ブロックの画素位置毎に正規化するために符号化した符号化係数データが上記クラス毎に記憶されており、上記クラス情報に応じて上記符号化係数データを出力するステップと、
上記符号化係数データを復号することにより生成される係数データと、上記外部から供給された画像情報内の複数画素の画素値との線形一次結合である上記線形推定式を用いて、上記外部から供給された画像情報を、上記外部から供給された画像情報よりも高い解像度の画像情報に変換して出力するステップと
を有することを特徴とする画像情報変換方法。
ディジタル画像信号を、より画素数の多いディジタル画像信号に変換する推定式に用いられる係数データを生成する係数データ生成方法において、
より画素数の多いディジタル画像信号に対してフィルタを用いてディジタル画像信号の画素数を減少させるステップと、
上記減少した画素数を時空間的に近傍に位置する複数の画像データからなる複数のブロックに分割するステップと、
分割された上記ブロック毎に画像情報のレベル分布のパターンが検出され、検出された上記パターンに基づいて、上記ブロックの画像情報が属するクラス情報を出力するステップと、
上記より画素数の多いディジタル画像信号と上記画素数が減少したディジタル画像信号とから係数データを生成するステップと、
上記生成された係数データを上記ブロックの画素位置毎に正規化し、上記正規化された係数データを上記クラス情報に応じて係数データ記憶手段に記憶するステップと
を有することを特徴とする係数データ生成方法。
請求項６に記載の係数データ生成方法において、
上記正規化は、上記より画素数の多いディジタル画像信号と上記画素数が減少したディジタル画像信号とから係数データを生成し、生成された上記係数データに対して、上記ブロックの画素位置毎にＡＤＲＣ符号化する係数データ処理工程でなされ、
上記ＡＤＲＣ符号化する係数データ処理工程は、
同一ブロックの画素位置内に含まれる複数の係数データの最大値および上記複数の係数データの最小値を検出するステップと、
上記最大値および最小値から上記ブロックのダイナミックレンジを検出するステップと、
上記最大値または最小値を基準とした相対的なレベル関係を持つように修正された修正入力データを形成するステップと、
上記修正入力データを元の量子化ビット数以下のビット数で量子化するステップと
からなることを特徴とする係数データ生成方法。
請求項７に記載の係数データ生成方法において、
上記ＡＤＲＣ符号化された係数データを復号するステップと、
上記復号された係数データを絶対値化するステップと、
上記絶対値化された係数データのうち、最小のものを選択するステップと、
上記検出された最小値と上記絶対値最小値の絶対値化前の係数データとを加算し、第２の最小値を求めるステップと、
上記検出されたダイナミックレンジと上記第２の最小値に基づき、上記係数データにＡＤＲＣ符号化を施すステップと、
上記ブロックの画素位置の係数データが０を跨ぐように分布しているか否かを判定するステップとを備え、
上記判定するステップは、０を跨ぐと判定した場合には、上記第２の最小値を用いた処理結果を出力することを特徴とする係数データ生成方法。