JP3794505B2 - 信号変換装置及び信号変換方法 - Google Patents
信号変換装置及び信号変換方法 Download PDFInfo
- Publication number
- JP3794505B2 JP3794505B2 JP8880295A JP8880295A JP3794505B2 JP 3794505 B2 JP3794505 B2 JP 3794505B2 JP 8880295 A JP8880295 A JP 8880295A JP 8880295 A JP8880295 A JP 8880295A JP 3794505 B2 JP3794505 B2 JP 3794505B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- input image
- pixel
- signal
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図１２〜図１４）
発明が解決しようとする課題
課題を解決するための手段（図１〜図１１）
作用
実施例（図１〜図１１）
発明の効果
【０００２】
【産業上の利用分野】
本発明は信号変換装置及び信号変換方法に関し、例えばＮＴＳＣ等の標準解像度信号（ＳＤ：Standard Difinition ）をハイビジヨン等の高解像度信号（ＨＤ：High Difinition ）に変換するアツプコンバータに適用して好適なものである。
【０００３】
【従来の技術】
従来、この種のアツプコンバータにおいては、ＳＤ信号に対して周波数補間処理を施すことにより、画素数を増やしてＨＤ信号を生成している。例えば図１２に示すように、ＨＤ画像１では走査線１Ａ上で大きな「○」印及び大きな「△」印でなるＳＤ信号に対して水平及び垂直方向にそれぞれ２倍の周波数補間を施すことにより、小さな「○」印及び小さな「△」印でなるＨＤ信号を生成している。
【０００４】
アツプコンバータによる補間例としては、ＳＤ信号のフイールドデータから、４種類の位置のＨＤ画素を生成する方法がある。例えば図中の「◎」印のＳＤ画素に注目すると、その近傍の４種類mode1,mode2,mode3 及びmode4 の位置のＨＤ画素を補間により生成する。
このとき用いる補間フイルタとしては、図１３に示す空間内２次元ノンセパラブルフイルタ２や、図１４に示す水平／垂直セパラブルフイルタ３がある。
【０００５】
２次元ノンセパラブルフイルタ２は４種類の位置のＨＤ画素mode1,mode2,mode3 及びmode4 それぞれについて２次元フイルタ４Ａ〜４Ｄによつて独立に補間処理を実行し、各補間結果を選択部５において直列化しＨＤ信号を得る。
水平／垂直セパラブルフイルタ３は垂直補間フイルタ６Ａによりmode１及びmode３用の処理を実行し、垂直補間フイルタ６Ｂによりmode２及びmode４用の処理を実行してＨＤ信号の２本の走査線データを形成する。次に各走査線に対して水平フイルタ７Ａ及び７Ｂを用いて４種類の位置のＨＤ画素を補間して選択部８において直列化することによりＨＤ信号を生成する。
【０００６】
【発明が解決しようとする課題】
ところで上述したような従来のアツプコンバータでは補間フイルタとして理想フイルタを使用した場合でも、画素数は増えるものの空間解像度はＳＤ信号と変わらない。また実際には理想フイルタを用いることはできないため、ＳＤ信号より解像度の低下したＨＤ信号を生成することしかできないという問題がある。
【０００７】
このような問題を解決する方法として、入力ＳＤ信号の特徴に基づいてＳＤ信号をいくつかのクラスに分類し、予め学習により生成されたクラス毎の予測データでなる予測係数を用いて高解像度のＨＤ信号を生成するクラス分類適応処理方法が提案されている（特開平5-328185号公報参照）。
【０００８】
ところがクラス分類適応処理方法を用いてＨＤ信号を生成する場合、学習によつて予測係数を生成するときに入力ＳＤ信号の特徴に応じて適切なクラス分類が行なわれないとＨＤ信号の予測精度が低下するという問題があつた。
すなわちクラス分類の能力が十分でないと、本来、別のクラスに分かれるべきＨＤ信号が同じクラスに分類される。このため学習により得られる予測係数は、性質の異なるＨＤ信号の平均値を予測することになり、その結果、ＨＤ画像信号の解像度復元能力が低下するという問題があつた。
【０００９】
本発明は以上の点を考慮してなされたもので、入力画像信号をその特徴に応じて適切に分類評価することにより、高い予測精度で高解像度のＨＤ画像信号を生成し得る信号変換装置及び信号変換方法を提案しようとするものである。
【００１０】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、入力画像信号をより高解像度な画像信号に変換する信号変換装置において、入力画像信号の所定ブロツク単位毎の周波数特性を評価する周波数特性判定部と、ブロツク単位の入力画像信号について設定した複数の互いに異なる画素パターンから周波数特性に応じた画素パターンを選択する選択部と、当該選択された画素パターンを形成する入力画像信号に対して、周波数特性に応じた量子化ビツト数を設定して当該設定した量子化ビツト数を用いてデータ圧縮処理を施すと共に、当該データ圧縮処理を施した上記画素パターンを形成する上記入力画像信号のレベル分布に基づいて、入力画像信号に対するクラスコードを設定するデータ圧縮クラス分類部と、周波数特性及び又はクラスコードに対応させて予め予測係数又は予測値が記憶されている記憶手段とを備える。
【００１１】
【作用】
従つて、入力画像信号の所定ブロツク単位毎の周波数特性を分類評価し、ブロツク単位の入力画像信号について設定した複数の互いに異なる画素パターンからその周波数特性に応じた画素パターンを選択する。またこの画素パターンを形成する入力画像信号に対して周波数特性に応じた量子化ビツト数を設定し、当該設定した量子化ビツト数を用いてデータ圧縮処理を施すと共に、当該データ圧縮処理を施した画素パターンを形成する入力画像信号のレベル分布に基づいてクラスコードを設定する。
そして周波数特性及び又はクラスコードに対応させて予め予測係数又は予測値が記憶されている記憶手段から、入力画像信号に対する周波数特性及び又はクラスコードに応じた予測係数又は予測値を読み出して入力画像信号の補間画素を得ることで高解像度な画像信号を得ることができる。
【００１２】
【実施例】
以下図面について本発明の一実施例を詳述する。
【００１３】
図１に示す１０は全体としてクラス分類適応処理を適用してＳＤ画像信号からＨＤ画像信号を生成する２次元ノンセパラブルフイルタによるアツプコンバータを示す。このアツプコンバータ１０に入力端１１を通じて入力されるＳＤ画像信号Ｓ1 は、クラス分類部１２及び予測演算部１３に並列に送出される。クラス分類部１２では新たに生成するＨＤ画像信号の周辺のＳＤ画像信号Ｓ1 の特徴に基づいてクラスデータd0を生成する。クラスd0はアドレスデータとして記憶手段である予測係数ＲＯＭ(Read Only Memory)１４に送出される。
【００１４】
予測係数ＲＯＭ１４には、予め学習により求められたクラス毎の予測データd1でなる予測係数がクラスd0に対応して格納されている。予測係数ＲＯＭ１４ではクラスd0をアドレスデータとして予測データd1を読み出して予測演算部１３に送出する。予測演算部１３では、ＳＤ画像信号Ｓ1 に対して予測データd1を用いた所定の予測演算を実行することによりＳＤ画像信号Ｓ1 をＨＤ画像信号Ｓ2 に変換し、出力端１６より送出する。
【００１５】
アツプコンバータ１０の予測演算部１３は４つの予測演算部１３Ａ〜１３Ｄから形成され、各演算部においてそれぞれ走査線上の４種類の位置mode1 、mode2 、 mode3及びmode4 に対応する補間画素でなるＨＤ画素d2、d3、d4及びd5を生成する。各予測演算部１３Ａ〜１３ＤではそれぞれＳＤ画像信号Ｓ1 に対して予測データd1を用いた積和演算を実行する。各予測演算部１３Ａ〜１３Ｄにおいて生成された各ＨＤ画素d2、d3、d4及びd5は選択部１５に送出される。選択部１５では各ＨＤ画素d2、d3、d4及びd5をバツフアメモリ（図示せず）を用いて所望の時系列に並び替えて出力端１６からＨＤ画像信号Ｓ2 として出力する。
【００１６】
図２に示すように、クラス分類部１２では先ず、周波数特性判定部２１において入力端２０を通じて入力されるＳＤ画像信号Ｓ１の所定ブロツク単位毎に周波数成分を分類してその分布特性を評価判定する。クラス分類部１２はこの評価判定結果に基づいて周波数分類によるクラスデータc0を生成して選択部２５及びＡＤＲＣ（Adaptive Dynamic Range Coding ）クラス分類部２６に送出する。一方でＳＤ画像信号Ｓ１は、それぞれ異なつた３種類の画素（タツプ）パターンを設定する広領域タツプ選択部２２、狭領域タツプ選択部２３及び標準タツプ選択部２４に並列に送出される。このタツプパターンの選択部において各ブロツク単位の入力ＳＤ画像信号Ｓ１に対して空間クラスのタツプパターンp0、p1及び p2 が設定される。
【００１７】
図３に示すように、周波数特性判定部２１には特性の異なる複数のバンドパスフイルタが設けられている。
入力端３０を通じて周波数特性判定部２１に入力されたブロツク単位のＳＤ画像信号Ｓ1 は、バンドパスフイルタ３１Ａ〜３１Ｄの特性に応じて例えば、図４に示すような周波数成分f0〜f3に分離され、周波数成分判定部３２に送出される。
【００１８】
図４に示す周波数特性では、最も低い周波数成分の出力f0が最も大きいことが明らかである。この場合、周波数成分判定部３２は、定常性を前提とした周波数分類による周波数クラスc0を生成する。これに対して低い周波数成分の出力f0に比して高い周波数成分の出力f2やf3が大きな場合、周波数成分判定部３２は非定常性を前提とした周波数クラスc0を生成する。
かくして周波数クラスc0はクラス分類部１２内の選択部２５及びＡＤＲＣクラス分類部２６に送出される。
【００１９】
次に選択部２５及びＡＤＲＣクラス分類部２６におけるクラス分類について具体的に述べる。
先ず、上述した３種類の空間クラスタツプの選択部の内、広領域タツプ選択部２２は入力ＳＤ画像信号Ｓ1 の定常的な変動に注目する。すなわち広領域タツプ選択部２２では図５（Ａ）に示すような広領域用のクラスタツプパターンを設定する。標準タツプ選択部２４は入力ＳＤ画像信号Ｓ1 の標準的な変動に注目し、図５（Ｂ）に示すような一般的な空間クラスのタツプパターンを設定する。また狭領域タツプ選択部２４は入力ＳＤ画像信号Ｓ1 の非定常的な変動に注目し、非定常的な信号変化に対して図５（Ｃ）に示すような狭領域用のクラスタツプパターンを設定する。
【００２０】
広領域タツプ選択部２２、狭領域タツプ選択部２３及び標準タツプ選択部２４では各選択部において設定した空間クラスのタツプパターンp0、p1及びp2を選択部２５に送出する。選択部２５では周波数特性判定部２１から送出されてくるクラスc0を選択制御信号としてタツプパターンp0、p1及びp2からいずれか一つのクラスタツプを選択する。選択したタツプパターンp3をＡＤＲＣクラス分類部２６に送出する。
【００２１】
ＡＤＲＣクラス分類部２６では、入力ＳＤ画像信号Ｓ1 の周波数特性に応じて得られたクラスc0を制御信号としてＡＤＲＣの再量子化ビツト数を設定する。これによりＳＤ画像信号Ｓ1 の周波数成分の分布に応じて空間クラスのタツプパターンのタツプのレベル分解能を変えて設定することができる。
【００２２】
ＡＤＲＣは再量子化として定義される量子化ステツプ幅により、画素を再量子化するものでＡＤＲＣコードｃi はダイナミツクレンジＤＲ、再量子化ビツト数ｋ、ＳＤ画素ｘi 及びその近傍領域内の最小画素レベルＭＩＮとから次式
【数１】
によつて表される。
空間クラスのタツプパターンのレベル分解能の切り替えは、具体的には（１）式のＡＤＲＣ演算における再量子化ビツト数ｋをクラスc0に応じて切り替えることによつてなされる。これにより入力信号の周波数分布に応じて、レベル分解能を可変に設定することができる。
【００２３】
このようにしてＡＤＲＣコードｃi が生成され、空間クラスとを合わせたクラス分類結果としてクラスc1が得られる。この結果、クラス分類部１２ではクラスc0及びクラスc1とでなるクラスd0が生成される。このクラスd0はアドレスデータとして後段の予測係数ＲＯＭ１４へ送出される。
【００２４】
クラス分類部１２は、入力ＳＤ画像信号Ｓ1 に対して７画素のクラス生成タツプを設定して入力信号の波形特性に応じてクラスを生成する。ここでクラス分類に際し、７画素分の８ビツトのＰＣＭ(Pulse Code Modulation) データを直接用いた場合、クラス数が２56通りと膨大になり実用的ではなくなる。そこで７画素分のＰＣＭデータに対してＡＤＲＣにより再量子化によるデータ圧縮処理を施してクラス数を削減する。すなわち７画素のデータから定義されるダイナミツクレンジＤＲに基づいて７画素の最小値を除去し、各画素の画素レベルを適応的に１ビツト量子化することによつてクラス数を128 クラスに削減することができる。因みにＡＤＲＣはＶＴＲ(Video Tape Recorder) 用信号圧縮方式として開発されたものであるが、少ないクラス数で入力信号の波形特性を表現するのに適している。
【００２５】
予測係数ＲＯＭ１４からはクラスデータd0をアドレスデータとしてＨＤ画素を生成する際に用いる予測データd1が読み出され、予測演算部１３に送出される。予測演算部１３Ａ〜１３Ｄは、ＳＤ画像信号Ｓ1 でなるＳＤ画素ｘi とクラス毎の予測データd1でなる予測係数ωi を用いて走査線１Ａ上の位置mode1 〜mode4 に相当する補間画素でなるＨＤ画素の推定画素ｙi を生成する。
このとき用いるＳＤ画素ｘi は例えば、図６に示すように注目画素（図中◎で示す）及び周辺画素（図中○で示す）でなる13個のタツプデータで形成される。
【００２６】
ＨＤ画素の推定画素ｙi は上述した13個のＳＤ画素ｘi 及び予測係数ωi を用いて予測式
【数２】
によつて信号変換され生成される。
ここで用いられる予測係数ωi は予め学習によつて求められ、予測係数ＲＯＭ１３に格納されている。
【００２７】
ここで予測係数ＲＯＭ１３に格納されているクラス毎の予測係数の学習について述べる。
予測係数は、図７に示す予測係数学習手順に従つて求められる。予測係数学習手順はステツプＳＰ１で開始されると、先ずステツプＳＰ２において予測係数を学習するために、既に知られている画像に対応した学習データを生成する。
【００２８】
具体的には、図１２に示すＨＤ画像１において、ＨＤ画素をＨＤ注目画素として、このＨＤ注目画素を周辺のＨＤ画素及びＳＤ画素でなる一組の学習データによつて予測係数を用いた線形一次結合モデルによつて表す。このとき用いた予測係数を各クラス毎に最小自乗法を用いて求める。なお、このように学習データを生成する際に、１つの画像のみを用いるのではなく複数の画像を用いて多数の学習データを生成すれば、より正確な予測係数を得ることができる。
【００２９】
ステツプＳＰ３では、ステツプＳＰ２で生成した学習データの数が予測係数を得るのに必要なだけ生成されたか否か判定する。ここで学習データ数が必要数に満たないと判定された場合には予測係数学習手順はステツプＳＰ４に移る。
ステツプＳＰ４では、クラス学習データをクラス分類する。クラス分類は先ず、初めに学習サンプリングデータの局所的な平坦度を検出し、当該検出結果に応じてクラス分類に用いる画素を選択する。これにより入力信号の変化の小さいものを学習対象から除外してノイズの影響を排除することができる。このクラス学習データのクラス分類は入力ＳＤ画像信号Ｓ1 をクラス分類する場合と同様の処理を実行することによつてなされる。
【００３０】
すなわちクラス学習データのクラス分類は、先ず、学習データの周波数特性を分類評価して周波数クラスc0を設定する。続いて広領域、狭領域及び標準の３種類のタツプパターンから周波数クラスc0に基づいていずれか一つのタツプパターンを空間クラスc1として選択する。このようにして得られた周波数クラスc0及び空間クラスc1とを図８に示すように組み合わせ、その結果、得られるクラスd0を予測係数d1と対応させてＲＯＭに記憶する。これにより各学習データを各クラスd0毎に予測係数d1と対応させたクラス分類ができる。
【００３１】
続いて予測係数学習手順はステツプＳＰ５において、クラス分類された学習データに基づき、各クラス毎に正規化方程式を形成する。
ステツプＳＰ５での処理を具体的に説明する。ここでは一般化するために学習データとしてｎ個のサンプリング画素が存在する場合について述べる。先ず各サンプリング画素の画素レベルｘ1 、……、ｘn と注目補間画素のサブサンプル以前の画素レベルｙの関係を、クラス毎に予測係数ω1 、……、ωn によるｎタツプの線型一次結合モデルによる予測式で表す。この予測式を次式
【数３】
に示す。
この（３）式における予測係数ω1 、……、ωn を求めることにより、画素レベルｙを推定する。
【００３２】
次に予測係数ω1 、……、ωn を最小自乗法により生成する例を示す。最小自乗法は次のように適用される。
一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを推定値として次の観測方程式を考える。
【数４】
この（４）式の観測方程式により収集されたデータに対して最小自乗法を適用する。（４）式の例においては、ｎ＝１３、ｍが学習データ数となる。
【００３３】
先ず、（４）式の観測方程式をもとに、次の残差方程式を考える。
【数５】
（５）式の残差方程式から、各ωi の最確値は次式
【数６】
を最小にする条件が成り立つ場合と考えられる。
すなわち（６）式のωi による偏微分が次式
【数７】
のときに、この（７）式のｉに基づくｎ個の条件を考え、これを満たすω1 、ω2 、……、ωn を算出すれば良い。そこで残差方程式（５）式から次式が得られる。
【数８】
この（８）式と（７）式とにより次式
【数９】
が得られる。そして（５）式及び（９）式から次に示す正規方程式が得られる。
【数１０】
（１０）式の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能なので、これにより各ωi の最確値を求めることができる。
この正規方程式は、掃き出し法（Gauss-Jordanの消去法）を用いて解くことができる。
【００３４】
予測係数学習手順では、各クラス毎に未定係数ω1 、……、ωn を求めるために未知数の数ｎと同じ数の正規化方程式が形成されるまでステツプＳＰ２−ＳＰ３−ＳＰ４−ＳＰ５−ＳＰ２のループを繰り返す。
【００３５】
このようにして必要な数の正規化方程式が得られると、ステツプＳＰ３では学習データが終了したか否かの判定に対して肯定結果が得られ、処理はステツプＳＰ６の予測係数決定に移る。
【００３６】
ステツプＳＰ６では、（１０）式の正規化方程式を解いて各クラス毎の予測係数ω1 、……、ωn を決定する。このようにして得られた予測係数を次のステツプＳＰ７でクラス毎にアドレス分割されたＲＯＭ等の記憶手段に登録する。以上の学習により、クラス分類適応処理の予測係数が生成され次のステツプＳＰ８で予測係数学習手順を終了する。
【００３７】
以上の構成において、入力端１１を通じてアツプコンバータ１０に入力されるＳＤ画像信号Ｓ1 はクラス分類部１２及び予測係数演算部１３に対して並列に送出される。クラス分類部１２ではＳＤ画像信号Ｓ1 に基づいてクラスデータd0を生成して予測係数ＲＯＭ１４に送出する。予測係数ＲＯＭ１４では予め学習によつて求められている予測係数d1をクラスデータd0に応じて読み出し、予測係数演算部１３に送出する。予測係数演算部１３では各予測演算部１３Ａ〜１３Ｄにおいて入力端１１から送出されてくるＳＤ画像信号Ｓ1 及び予測係数ＲＯＭ１４から送出される予測係数d1をもとにして走査線上の４つの位置（mode1 〜mode4)に対応したＨＤ画素を生成する。
【００３８】
ここでクラス分類部１２は周波数分類部２１において入力ＳＤ画像信号Ｓ1 を周波数領域で複数の周波数成分f0〜f3に分類し、周波数成分f0〜f3の分布特性に基づいてＳＤ画像信号Ｓ1 の周波数特性を判定し、その結果をクラスc0として選択部２５及びＡＤＲＣクラス分類部２６に送出する。
【００３９】
選択部２５はクラスc0をもとにして、低周波数成分が大きいＳＤ画像信号Ｓ1 に対しては、図５（Ａ）に示すような比較的広い領域の信号変化のクラスタツプパターンp0を選択して緩やかな信号変化をタツプパターンに反映する。これに対して高周波数成分が大きい激しい信号変化のＳＤ画像信号Ｓ1 に対しては、図５（Ｃ）に示すような狭い領域のクラスタツプパターンp2を設定して狭い領域の信号変化を可能な限りのクラス数で表現する。これにより周波数領域から観た信号特性が類似したＳＤ画像信号Ｓ1 によりその信号特性に適応したクラスが生成される。
【００４０】
ＡＤＲＣクラス分類部２６はクラスc0に基づいて、低周波数成分が大きいＳＤ画像信号Ｓ1 に対しては空間クラス分類用の各タツプの再量子化ビツト数を小さく設定する。これにより各タツプのレベル分解能が低くなり、定常性を前提としたクラス分類ができる。これに対して高周波数成分が大きいＳＤ画像信号Ｓ1 に対しては空間クラス分類用の各タツプの再量子化ビツト数を多く設定してレベル分解能を高くする。これにより高周波数成分が大きいＳＤ画像信号Ｓ1 の非定常的な信号変化をクラスに反映させることができる。
【００４１】
このようにしてクラス分類部１２は入力ＳＤ画像信号Ｓ1 の周波数の分布特性に応じてクラス分類に用いる画素のタツプパターンを切り替えると共に、空間クラス分類用の各タツプの再量子化ビツト数を切り替えることによつてレベル分解能を調整する。これにより入力ＳＤ画像信号Ｓ1 の周波数特性に応じて適切なクラス分類がなされる。
【００４２】
クラス分類部１２はクラスc0及びc1との組み合わせたクラスd0を次段の予測係数ＲＯＭ１４に送出する。予測係数ＲＯＭ１４はこのクラスd0に基づいて予測データd1を読み出し予測演算部１３に送出する。予測演算部１３はこの予測データd1を用いてＳＤ画素を変換してＨＤ画素を生成する。この結果、入力ＳＤ画像信号Ｓ1 の周波数特性を反映したＨＤ画素の予測データd1を得ることができる。かくしてＳＤ画素から変換して生成するＨＤ画素の精度を向上させ解像度復元能力の低下を未然に防止し得る。
【００４３】
以上の構成によれば、アツプコンバータ１０に入力されるＳＤ画像信号Ｓ1 の周波数を周波数特性判定部２１において分離して信号の周波数領域の分布特性を判定し、その結果得られるクラスデータc0によつて、３種類の空間クラスのタツプパターンの中からＳＤ画像信号Ｓ1 の周波数領域の分布特性に応じたタツプパターンを設定することができる。さらにクラスc0によつて空間クラス分類用の各タツプの再量子化ビツト数を変えてレベル分解能を切替えることにより、信号変化が定常的な場合と非定常的な場合とをクラス分類に反映することができる。かくして、入力信号の周波数領域の分布特性に応じて適切なクラス分類がなされ、入力ＳＤ画像信号Ｓ1 の特性が反映された空間解像度の高いＨＤ画像信号Ｓ2 を生成することができる。
【００４４】
なお上述の実施例においては、タツプデータのデータ圧縮にＡＤＲＣの手法を用いた場合について述べたが、本発明はこれに限らず、例えばＤＰＣＭ（Differential Pulse Code Modulatin ）やＶＱ（Vector Quantization ）の手法を用いてデータ圧縮しても良い。
【００４５】
また上述の実施例においては、空間クラスのタツプパターンを広領域タツプ、狭領域タツプ及び標準タツプの３種類に設定した場合について述べたが、本発明はこれに限らず、２種類又は４種類以上のタツプパターンを設定しても良い。
【００４６】
また上述の実施例においては、アツプコンバータとして２次元ノンセパラブルフイルタを用いた場合について述べたが、本発明はこれに限らず、図１との対応部分に同符号を付した、図９に示すような垂直／水平セパラブル構成でなるアツプコンバータ４０を用いても良い。
【００４７】
アツプコンバータ４０においては、先ず、入力端４１を通じて入力されたＳＤ画像信号Ｓ1 がクラス分類部１２と予測演算部４３に供給される。予測演算部４３は走査線の位置mode１、mode２に対応する垂直予測演算部４３Ａ及び水平予測演算部４３Ｂと走査線の位置mode３、mode４に対応する垂直予測演算部４３Ｃ及び水平予測演算部４３Ｄの２種類に分かれる。クラス分類部１２では入力ＳＤ画像信号Ｓ1 に応じたクラスd0が生成され、タツプ予測係数を予め記憶している記憶手段である予測係数ＲＯＭ４４に送出する。予測係数ＲＯＭ４４はタツプ予測係数の垂直成分と水平成分を記憶する垂直係数ＲＯＭ４４Ａと水平係数ＲＯＭ４４Ｂとに分かれている。クラスd0は垂直係数ＲＯＭ４４Ａと水平係数ＲＯＭ４４Ｂのそれぞれに供給される。
【００４８】
まず垂直係数ＲＯＭ４４Ａより出力される垂直予測係数d6は垂直予測演算部４３Ａ及び４３Ｃに供給される。
入力ＳＤ画像信号Ｓ1 と垂直予測係数d6による積和演算により垂直推定値d7、d8が生成される。この垂直推定値d7、d8は次段の水平予測演算部４３Ｂ及び４３Ｄに供給される。
【００４９】
水平係数ＲＯＭ４４Ｂより出力される水平予測係数d9は水平予測演算部４３Ｂ及び４３Ｄに供給され、垂直推定値d7、d8との積和演算によりＨＤ画素d10 、d11 信号を得る。
このＨＤ画素d10 、d11 信号は選択的に伝送され、選択部１５において適切に並び替えられ、出力端４６より最終的な出力であるＨＤ画像信号Ｓ２として出力される。
【００５０】
また上述の実施例においては、バンドパスフイルタ３１Ａ〜３１Ｄを用いて入力ＳＤ画像信号Ｓ1 の周波数成分を分類した場合について述べたが、本発明はこれに限らず、例えばアダマール変換による直交変換によつて周波数成分を分離しても良い。
すなわち図１０に示すように、周波数特性判定部５０では入力端５１より入力される所定ブロツク単位毎のＳＤ画像信号Ｓ1 を直交変換部５２において直交変換し、周波数成分判定部５３においてクラス分類信号であるクラスc0を生成して後段の予測係数ＲＯＭ１４に送出する。
【００５１】
直交変換部５２は互いに直交する複数の直交変換基底より構成される直交変換行列からなる。直交変換部５２は所定ブロツク単位毎の入力ＳＤ画像信号Ｓ1 に対して直交変換を施すと互いに独立で無相関な幾つかの直交変換成分に分離する。
この直交変換部５２では１次元の入力ＳＤ画像信号Ｓ1 に対して４次アダマール変換を施す。すなわち４次アダマール変換は入力データＸ、アダマール変換行列Ｈ、出力Ｙとして次式
【数１１】
で表される。
この（１１）式のアダマール変換行列Ｈの係数から分かるようにアダマール変換は加減算のみで出力が得られるため回路の負担が小さい。
【００５２】
４次アダマール変換ではアダマール変換行列Ｈの中に４つのアダマール基底が存在する。各基底は互いに直交しており、いくつかの周波数成分への分離が可能となる。
アダマール基底と入力信号との演算により、４個のアダマール成分ｙ１〜ｙ４が得られる。
直交変換部５２において生成されるアダマール変換成分ｙ１〜ｙ４は次段の周波数成分判定部５３に送られる。
【００５３】
アダマール変換成分ｙ１〜ｙ４は、例えば、図４に示すような４種類の周波数成分f0〜f3と対応する。周波数成分判定部５３においてはこの周波数成分f0〜f3の組合せによりバンドパスフイルタを用いた場合と同様に周波数クラスを判定する。
判定の基準の例としては、入力ＳＤ画像信号Ｓ1 の周波数の低周波数成分と高周波数成分の割合を比較する。すなわち低周波数成分の占める割合の大きい場合には定常性を重視し、高周波数成分の占める割合が大きい場合には非定常性に注目してクラス分類する。これによりクラスタツプパターンを選択制御するクラス分類用のデータとしてクラスc0が生成される。
【００５４】
このように周波数成分分類に４次アダマール変換を用いてもバンドパスフイルタを用いた場合と同様にクラス分類用のデータであるクラスc0を生成することができる。また周波数成分分類に用いるアダマール変換は４次のアダマール変換に限ることなく、例えば８次のアダマール変換を用いても良い。この場合、アダマール変換が８次になればアダマール変換成分は８種類となり、さらに詳細な周波数成分分類ができる。
【００５５】
さらに直交変換手法としてはフーリエ変換、カルーネンレーベ変換、ハール変換、離散余弦変換（ＤＣＴ）等の様々な種類がある。これらの直交変換手法を用いて入力ＳＤ画像信号Ｓ1 に対して直交変換を施すことにより上述した場合と等価な周波数分離評価がなし得る。
【００５６】
また上述の実施例においては、予測式の予測係数を選択する際に用いるクラスd0のクラスデータをクラスc0及びクラスc1の組み合わせにより入力ＳＤ画像信号Ｓ1 の周波数特性に応じてタツプパターン及び再量子化ビツト数の両方を共に切り替えた場合について述べたが、本発明はこれに限らず、タツプパターン又は再量子化ビツト数の何れか一方のみのクラスデータを切り替えるようにしても良い。
【００５７】
また上述の実施例においては、ＨＤ注目画素と注目画素周辺の伝送画素との相関関係を表す予測係数を用いてＳＤ画素から注目画素周辺のＨＤ画素を生成した場合について述べたが、本発明はこれに限らず、予測係数に代えて各クラス毎のＨＤ注目画素の予測値を予め設定して記憶手段に格納するようにしても良い。予測値によるＳＤ画像信号のＨＤ画像信号への信号変換は、図１との対応部分に同符号を付した、図１１に示すようなアツプコンバータ６０を用いる。
【００５８】
このアツプコンバータ６０には入力端６１を通じてクラス分類部１２にＳＤ画像信号Ｓ1 が送出される。このクラス分類部１２は、新たに生成するＨＤ画像信号の周辺のＳＤ画像信号Ｓ1 の特徴に基づいてクラスd0を生成して予測値ＲＯＭ６２Ａ〜６２Ｄに送出する。予測値ＲＯＭ６２Ａ〜６２Ｄには予め学習により求められた注目画素周辺の補間画素でなるＨＤ画素の予測値がクラス毎にクラスd0に対応して格納されている。予測値ＲＯＭ６２Ａ〜６２Ｄはクラスd0をアドレスデータとしてそれぞれ予測値d20 〜d23 を読み出し、選択部１５を通じて出力端６３より直列に並べ変えたＨＤ画像信号Ｓ2 を出力する。このようにして、クラスd0に応じて読み出した予測値を入力画像信号Ｓ1 のＳＤ画素の補間画素として用いて、入力画像信号に対して高解像度の画像信号を得ることができる。
【００５９】
ここで予測値を求める第１の方法としては加重平均法を用いた学習法がある。加重平均法は、注目画素周辺のＳＤ画素を用いて注目画素をクラス分類し、クラス毎に積算した注目画素（すなわちＨＤ画素）の画素値を注目画素の個数に応じてインクリメントされた度数によつて割り算するといつた処理を様々な画像に対して行うことにより予測値を求める。
【００６０】
さらに予測係数を求める第２の方法としては、正規化による学習法がある。この学習法は、先ず注目画素を含む複数の画素からなるブロツクを形成し、ブロツク内のダイナミツクレンジによつて注目画素の画素値からそのブロツクの基準値を減算した値を正規化する。次にこの正規化された値の累積値を累積度数で割り算することにより予測値を得る。
【００６１】
また上述の実施例においては、ＳＤ画像信号をＨＤ画像信号に信号変換した場合について述べたが、本発明はこれに限らず、画像拡大する際の補間画素を生成するのに用いても良い。
【００６２】
【発明の効果】
上述のように本発明によれば、入力画像信号の所定ブロツク単位毎の周波数特性を分類評価し、ブロツク単位の入力画像信号について設定した複数の互いに異なる画素パターンからその周波数特性に応じた画素パターンを選択し、この画素パターンを形成する入力画像信号に対して、周波数特性に応じた量子化ビツト数を設定して当該設定した量子化ビツト数を用いてデータ圧縮処理を施すと共に、当該データ圧縮処理を施した画素パターンを形成する入力画像信号のレベル分布に基づいてクラスコードを設定することにより、周波数特性及び又はクラスコードに対応させて予め予測係数又は予測値が記憶されている記憶手段から、入力画像信号に対する周波数特性及び又はクラスコードに応じた予測係数又は予測値を読み出して入力画像信号の補間画素を得ることによつて入力画像信号に対してより高解像度な画像信号を得る信号変換装置及び信号変換方法を実現することができる。
【図面の簡単な説明】
【図１】２次元ノンセパラブルフイルタで構成されるアツプコンバータを示すブロツク図である。
【図２】図１のクラス分類部の構成を示すブロツク図である。
【図３】図２の周波数特性判定部の構成を示すブロツク図である。
【図４】バンドパスフイルタによつて分類した入力信号の周波数特性を示すグラフである。
【図５】空間クラスのタツプパターンを示す略線図である。
【図６】学習データの予測タツプを示す略線図である。
【図７】予測係数の学習手順を示すフローチヤートである。
【図８】予測係数ＲＯＭの内容例を示す図表である。
【図９】垂直／水平セパラブルフイルタによるアツプコンバータを示すブロツク図である。
【図１０】直交変換による周波数分類を示すブロツク図である。
【図１１】予測値による補間画素信号を出力するアツプコンバータを示すブロツク図である。
【図１２】入力画像信号及び周辺のＨＤ画素を示す略線図である。
【図１３】従来の２次元ノンセパラブルフイルタを示すブロツク図である。
【図１４】従来の垂直／水平セパラブルフイルタを示すブロツク図である。
【符号の説明】
１……ＨＤ画像、１Ａ……走査線、２、３……補間フイルタ、４Ａ〜４Ｄ……２次元フイルタ、５、８、１５……選択部、６Ａ、６Ｂ……垂直補間フイルタ、７Ａ、７Ｂ……水平補間フイルタ、１０、４０、６０……アツプコンバータ、１１、２０、３０、４１、５１、６１……入力端、１２……クラス分類部、１３、４３……予測演算部、１４、４４……予測係数ＲＯＭ、１６、４６、６３……出力端、２１、５０……周波数特性判定部、２２……広領域タツプ選択部、２３……狭領域タツプ選択部、２４……標準タツプ選択部、２６……ＡＤＲＣクラス分類部、３１Ａ〜３１Ｄ……バンドパスフイルタ、３２、５３……周波数成分判定部、５２……直交変換部。
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図１２〜図１４）
発明が解決しようとする課題
課題を解決するための手段（図１〜図１１）
作用
実施例（図１〜図１１）
発明の効果
【０００２】
【産業上の利用分野】
本発明は信号変換装置及び信号変換方法に関し、例えばＮＴＳＣ等の標準解像度信号（ＳＤ：Standard Difinition ）をハイビジヨン等の高解像度信号（ＨＤ：High Difinition ）に変換するアツプコンバータに適用して好適なものである。
【０００３】
【従来の技術】
従来、この種のアツプコンバータにおいては、ＳＤ信号に対して周波数補間処理を施すことにより、画素数を増やしてＨＤ信号を生成している。例えば図１２に示すように、ＨＤ画像１では走査線１Ａ上で大きな「○」印及び大きな「△」印でなるＳＤ信号に対して水平及び垂直方向にそれぞれ２倍の周波数補間を施すことにより、小さな「○」印及び小さな「△」印でなるＨＤ信号を生成している。
【０００４】
アツプコンバータによる補間例としては、ＳＤ信号のフイールドデータから、４種類の位置のＨＤ画素を生成する方法がある。例えば図中の「◎」印のＳＤ画素に注目すると、その近傍の４種類mode1,mode2,mode3 及びmode4 の位置のＨＤ画素を補間により生成する。
このとき用いる補間フイルタとしては、図１３に示す空間内２次元ノンセパラブルフイルタ２や、図１４に示す水平／垂直セパラブルフイルタ３がある。
【０００５】
２次元ノンセパラブルフイルタ２は４種類の位置のＨＤ画素mode1,mode2,mode3 及びmode4 それぞれについて２次元フイルタ４Ａ〜４Ｄによつて独立に補間処理を実行し、各補間結果を選択部５において直列化しＨＤ信号を得る。
水平／垂直セパラブルフイルタ３は垂直補間フイルタ６Ａによりmode１及びmode３用の処理を実行し、垂直補間フイルタ６Ｂによりmode２及びmode４用の処理を実行してＨＤ信号の２本の走査線データを形成する。次に各走査線に対して水平フイルタ７Ａ及び７Ｂを用いて４種類の位置のＨＤ画素を補間して選択部８において直列化することによりＨＤ信号を生成する。
【０００６】
【発明が解決しようとする課題】
ところで上述したような従来のアツプコンバータでは補間フイルタとして理想フイルタを使用した場合でも、画素数は増えるものの空間解像度はＳＤ信号と変わらない。また実際には理想フイルタを用いることはできないため、ＳＤ信号より解像度の低下したＨＤ信号を生成することしかできないという問題がある。
【０００７】
このような問題を解決する方法として、入力ＳＤ信号の特徴に基づいてＳＤ信号をいくつかのクラスに分類し、予め学習により生成されたクラス毎の予測データでなる予測係数を用いて高解像度のＨＤ信号を生成するクラス分類適応処理方法が提案されている（特開平5-328185号公報参照）。
【０００８】
ところがクラス分類適応処理方法を用いてＨＤ信号を生成する場合、学習によつて予測係数を生成するときに入力ＳＤ信号の特徴に応じて適切なクラス分類が行なわれないとＨＤ信号の予測精度が低下するという問題があつた。
すなわちクラス分類の能力が十分でないと、本来、別のクラスに分かれるべきＨＤ信号が同じクラスに分類される。このため学習により得られる予測係数は、性質の異なるＨＤ信号の平均値を予測することになり、その結果、ＨＤ画像信号の解像度復元能力が低下するという問題があつた。
【０００９】
本発明は以上の点を考慮してなされたもので、入力画像信号をその特徴に応じて適切に分類評価することにより、高い予測精度で高解像度のＨＤ画像信号を生成し得る信号変換装置及び信号変換方法を提案しようとするものである。
【００１０】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、入力画像信号をより高解像度な画像信号に変換する信号変換装置において、入力画像信号の所定ブロツク単位毎の周波数特性を評価する周波数特性判定部と、ブロツク単位の入力画像信号について設定した複数の互いに異なる画素パターンから周波数特性に応じた画素パターンを選択する選択部と、当該選択された画素パターンを形成する入力画像信号に対して、周波数特性に応じた量子化ビツト数を設定して当該設定した量子化ビツト数を用いてデータ圧縮処理を施すと共に、当該データ圧縮処理を施した上記画素パターンを形成する上記入力画像信号のレベル分布に基づいて、入力画像信号に対するクラスコードを設定するデータ圧縮クラス分類部と、周波数特性及び又はクラスコードに対応させて予め予測係数又は予測値が記憶されている記憶手段とを備える。
【００１１】
【作用】
従つて、入力画像信号の所定ブロツク単位毎の周波数特性を分類評価し、ブロツク単位の入力画像信号について設定した複数の互いに異なる画素パターンからその周波数特性に応じた画素パターンを選択する。またこの画素パターンを形成する入力画像信号に対して周波数特性に応じた量子化ビツト数を設定し、当該設定した量子化ビツト数を用いてデータ圧縮処理を施すと共に、当該データ圧縮処理を施した画素パターンを形成する入力画像信号のレベル分布に基づいてクラスコードを設定する。
そして周波数特性及び又はクラスコードに対応させて予め予測係数又は予測値が記憶されている記憶手段から、入力画像信号に対する周波数特性及び又はクラスコードに応じた予測係数又は予測値を読み出して入力画像信号の補間画素を得ることで高解像度な画像信号を得ることができる。
【００１２】
【実施例】
以下図面について本発明の一実施例を詳述する。
【００１３】
図１に示す１０は全体としてクラス分類適応処理を適用してＳＤ画像信号からＨＤ画像信号を生成する２次元ノンセパラブルフイルタによるアツプコンバータを示す。このアツプコンバータ１０に入力端１１を通じて入力されるＳＤ画像信号Ｓ1 は、クラス分類部１２及び予測演算部１３に並列に送出される。クラス分類部１２では新たに生成するＨＤ画像信号の周辺のＳＤ画像信号Ｓ1 の特徴に基づいてクラスデータd0を生成する。クラスd0はアドレスデータとして記憶手段である予測係数ＲＯＭ(Read Only Memory)１４に送出される。
【００１４】
予測係数ＲＯＭ１４には、予め学習により求められたクラス毎の予測データd1でなる予測係数がクラスd0に対応して格納されている。予測係数ＲＯＭ１４ではクラスd0をアドレスデータとして予測データd1を読み出して予測演算部１３に送出する。予測演算部１３では、ＳＤ画像信号Ｓ1 に対して予測データd1を用いた所定の予測演算を実行することによりＳＤ画像信号Ｓ1 をＨＤ画像信号Ｓ2 に変換し、出力端１６より送出する。
【００１５】
アツプコンバータ１０の予測演算部１３は４つの予測演算部１３Ａ〜１３Ｄから形成され、各演算部においてそれぞれ走査線上の４種類の位置mode1 、mode2 、 mode3及びmode4 に対応する補間画素でなるＨＤ画素d2、d3、d4及びd5を生成する。各予測演算部１３Ａ〜１３ＤではそれぞれＳＤ画像信号Ｓ1 に対して予測データd1を用いた積和演算を実行する。各予測演算部１３Ａ〜１３Ｄにおいて生成された各ＨＤ画素d2、d3、d4及びd5は選択部１５に送出される。選択部１５では各ＨＤ画素d2、d3、d4及びd5をバツフアメモリ（図示せず）を用いて所望の時系列に並び替えて出力端１６からＨＤ画像信号Ｓ2 として出力する。
【００１６】
図２に示すように、クラス分類部１２では先ず、周波数特性判定部２１において入力端２０を通じて入力されるＳＤ画像信号Ｓ１の所定ブロツク単位毎に周波数成分を分類してその分布特性を評価判定する。クラス分類部１２はこの評価判定結果に基づいて周波数分類によるクラスデータc0を生成して選択部２５及びＡＤＲＣ（Adaptive Dynamic Range Coding ）クラス分類部２６に送出する。一方でＳＤ画像信号Ｓ１は、それぞれ異なつた３種類の画素（タツプ）パターンを設定する広領域タツプ選択部２２、狭領域タツプ選択部２３及び標準タツプ選択部２４に並列に送出される。このタツプパターンの選択部において各ブロツク単位の入力ＳＤ画像信号Ｓ１に対して空間クラスのタツプパターンp0、p1及び p2 が設定される。
【００１７】
図３に示すように、周波数特性判定部２１には特性の異なる複数のバンドパスフイルタが設けられている。
入力端３０を通じて周波数特性判定部２１に入力されたブロツク単位のＳＤ画像信号Ｓ1 は、バンドパスフイルタ３１Ａ〜３１Ｄの特性に応じて例えば、図４に示すような周波数成分f0〜f3に分離され、周波数成分判定部３２に送出される。
【００１８】
図４に示す周波数特性では、最も低い周波数成分の出力f0が最も大きいことが明らかである。この場合、周波数成分判定部３２は、定常性を前提とした周波数分類による周波数クラスc0を生成する。これに対して低い周波数成分の出力f0に比して高い周波数成分の出力f2やf3が大きな場合、周波数成分判定部３２は非定常性を前提とした周波数クラスc0を生成する。
かくして周波数クラスc0はクラス分類部１２内の選択部２５及びＡＤＲＣクラス分類部２６に送出される。
【００１９】
次に選択部２５及びＡＤＲＣクラス分類部２６におけるクラス分類について具体的に述べる。
先ず、上述した３種類の空間クラスタツプの選択部の内、広領域タツプ選択部２２は入力ＳＤ画像信号Ｓ1 の定常的な変動に注目する。すなわち広領域タツプ選択部２２では図５（Ａ）に示すような広領域用のクラスタツプパターンを設定する。標準タツプ選択部２４は入力ＳＤ画像信号Ｓ1 の標準的な変動に注目し、図５（Ｂ）に示すような一般的な空間クラスのタツプパターンを設定する。また狭領域タツプ選択部２４は入力ＳＤ画像信号Ｓ1 の非定常的な変動に注目し、非定常的な信号変化に対して図５（Ｃ）に示すような狭領域用のクラスタツプパターンを設定する。
【００２０】
広領域タツプ選択部２２、狭領域タツプ選択部２３及び標準タツプ選択部２４では各選択部において設定した空間クラスのタツプパターンp0、p1及びp2を選択部２５に送出する。選択部２５では周波数特性判定部２１から送出されてくるクラスc0を選択制御信号としてタツプパターンp0、p1及びp2からいずれか一つのクラスタツプを選択する。選択したタツプパターンp3をＡＤＲＣクラス分類部２６に送出する。
【００２１】
ＡＤＲＣクラス分類部２６では、入力ＳＤ画像信号Ｓ1 の周波数特性に応じて得られたクラスc0を制御信号としてＡＤＲＣの再量子化ビツト数を設定する。これによりＳＤ画像信号Ｓ1 の周波数成分の分布に応じて空間クラスのタツプパターンのタツプのレベル分解能を変えて設定することができる。
【００２２】
ＡＤＲＣは再量子化として定義される量子化ステツプ幅により、画素を再量子化するものでＡＤＲＣコードｃi はダイナミツクレンジＤＲ、再量子化ビツト数ｋ、ＳＤ画素ｘi 及びその近傍領域内の最小画素レベルＭＩＮとから次式
【数１】
空間クラスのタツプパターンのレベル分解能の切り替えは、具体的には（１）式のＡＤＲＣ演算における再量子化ビツト数ｋをクラスc0に応じて切り替えることによつてなされる。これにより入力信号の周波数分布に応じて、レベル分解能を可変に設定することができる。
【００２３】
このようにしてＡＤＲＣコードｃi が生成され、空間クラスとを合わせたクラス分類結果としてクラスc1が得られる。この結果、クラス分類部１２ではクラスc0及びクラスc1とでなるクラスd0が生成される。このクラスd0はアドレスデータとして後段の予測係数ＲＯＭ１４へ送出される。
【００２４】
クラス分類部１２は、入力ＳＤ画像信号Ｓ1 に対して７画素のクラス生成タツプを設定して入力信号の波形特性に応じてクラスを生成する。ここでクラス分類に際し、７画素分の８ビツトのＰＣＭ(Pulse Code Modulation) データを直接用いた場合、クラス数が２56通りと膨大になり実用的ではなくなる。そこで７画素分のＰＣＭデータに対してＡＤＲＣにより再量子化によるデータ圧縮処理を施してクラス数を削減する。すなわち７画素のデータから定義されるダイナミツクレンジＤＲに基づいて７画素の最小値を除去し、各画素の画素レベルを適応的に１ビツト量子化することによつてクラス数を128 クラスに削減することができる。因みにＡＤＲＣはＶＴＲ(Video Tape Recorder) 用信号圧縮方式として開発されたものであるが、少ないクラス数で入力信号の波形特性を表現するのに適している。
【００２５】
予測係数ＲＯＭ１４からはクラスデータd0をアドレスデータとしてＨＤ画素を生成する際に用いる予測データd1が読み出され、予測演算部１３に送出される。予測演算部１３Ａ〜１３Ｄは、ＳＤ画像信号Ｓ1 でなるＳＤ画素ｘi とクラス毎の予測データd1でなる予測係数ωi を用いて走査線１Ａ上の位置mode1 〜mode4 に相当する補間画素でなるＨＤ画素の推定画素ｙi を生成する。
このとき用いるＳＤ画素ｘi は例えば、図６に示すように注目画素（図中◎で示す）及び周辺画素（図中○で示す）でなる13個のタツプデータで形成される。
【００２６】
ＨＤ画素の推定画素ｙi は上述した13個のＳＤ画素ｘi 及び予測係数ωi を用いて予測式
【数２】
ここで用いられる予測係数ωi は予め学習によつて求められ、予測係数ＲＯＭ１３に格納されている。
【００２７】
ここで予測係数ＲＯＭ１３に格納されているクラス毎の予測係数の学習について述べる。
予測係数は、図７に示す予測係数学習手順に従つて求められる。予測係数学習手順はステツプＳＰ１で開始されると、先ずステツプＳＰ２において予測係数を学習するために、既に知られている画像に対応した学習データを生成する。
【００２８】
具体的には、図１２に示すＨＤ画像１において、ＨＤ画素をＨＤ注目画素として、このＨＤ注目画素を周辺のＨＤ画素及びＳＤ画素でなる一組の学習データによつて予測係数を用いた線形一次結合モデルによつて表す。このとき用いた予測係数を各クラス毎に最小自乗法を用いて求める。なお、このように学習データを生成する際に、１つの画像のみを用いるのではなく複数の画像を用いて多数の学習データを生成すれば、より正確な予測係数を得ることができる。
【００２９】
ステツプＳＰ３では、ステツプＳＰ２で生成した学習データの数が予測係数を得るのに必要なだけ生成されたか否か判定する。ここで学習データ数が必要数に満たないと判定された場合には予測係数学習手順はステツプＳＰ４に移る。
ステツプＳＰ４では、クラス学習データをクラス分類する。クラス分類は先ず、初めに学習サンプリングデータの局所的な平坦度を検出し、当該検出結果に応じてクラス分類に用いる画素を選択する。これにより入力信号の変化の小さいものを学習対象から除外してノイズの影響を排除することができる。このクラス学習データのクラス分類は入力ＳＤ画像信号Ｓ1 をクラス分類する場合と同様の処理を実行することによつてなされる。
【００３０】
すなわちクラス学習データのクラス分類は、先ず、学習データの周波数特性を分類評価して周波数クラスc0を設定する。続いて広領域、狭領域及び標準の３種類のタツプパターンから周波数クラスc0に基づいていずれか一つのタツプパターンを空間クラスc1として選択する。このようにして得られた周波数クラスc0及び空間クラスc1とを図８に示すように組み合わせ、その結果、得られるクラスd0を予測係数d1と対応させてＲＯＭに記憶する。これにより各学習データを各クラスd0毎に予測係数d1と対応させたクラス分類ができる。
【００３１】
続いて予測係数学習手順はステツプＳＰ５において、クラス分類された学習データに基づき、各クラス毎に正規化方程式を形成する。
ステツプＳＰ５での処理を具体的に説明する。ここでは一般化するために学習データとしてｎ個のサンプリング画素が存在する場合について述べる。先ず各サンプリング画素の画素レベルｘ1 、……、ｘn と注目補間画素のサブサンプル以前の画素レベルｙの関係を、クラス毎に予測係数ω1 、……、ωn によるｎタツプの線型一次結合モデルによる予測式で表す。この予測式を次式
【数３】
この（３）式における予測係数ω1 、……、ωn を求めることにより、画素レベルｙを推定する。
【００３２】
次に予測係数ω1 、……、ωn を最小自乗法により生成する例を示す。最小自乗法は次のように適用される。
一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを推定値として次の観測方程式を考える。
【数４】
【００３３】
先ず、（４）式の観測方程式をもとに、次の残差方程式を考える。
【数５】
【数６】
すなわち（６）式のωi による偏微分が次式
【数７】
【数８】
【数９】
【数１０】
この正規方程式は、掃き出し法（Gauss-Jordanの消去法）を用いて解くことができる。
【００３４】
予測係数学習手順では、各クラス毎に未定係数ω1 、……、ωn を求めるために未知数の数ｎと同じ数の正規化方程式が形成されるまでステツプＳＰ２−ＳＰ３−ＳＰ４−ＳＰ５−ＳＰ２のループを繰り返す。
【００３５】
このようにして必要な数の正規化方程式が得られると、ステツプＳＰ３では学習データが終了したか否かの判定に対して肯定結果が得られ、処理はステツプＳＰ６の予測係数決定に移る。
【００３６】
ステツプＳＰ６では、（１０）式の正規化方程式を解いて各クラス毎の予測係数ω1 、……、ωn を決定する。このようにして得られた予測係数を次のステツプＳＰ７でクラス毎にアドレス分割されたＲＯＭ等の記憶手段に登録する。以上の学習により、クラス分類適応処理の予測係数が生成され次のステツプＳＰ８で予測係数学習手順を終了する。
【００３７】
以上の構成において、入力端１１を通じてアツプコンバータ１０に入力されるＳＤ画像信号Ｓ1 はクラス分類部１２及び予測係数演算部１３に対して並列に送出される。クラス分類部１２ではＳＤ画像信号Ｓ1 に基づいてクラスデータd0を生成して予測係数ＲＯＭ１４に送出する。予測係数ＲＯＭ１４では予め学習によつて求められている予測係数d1をクラスデータd0に応じて読み出し、予測係数演算部１３に送出する。予測係数演算部１３では各予測演算部１３Ａ〜１３Ｄにおいて入力端１１から送出されてくるＳＤ画像信号Ｓ1 及び予測係数ＲＯＭ１４から送出される予測係数d1をもとにして走査線上の４つの位置（mode1 〜mode4)に対応したＨＤ画素を生成する。
【００３８】
ここでクラス分類部１２は周波数分類部２１において入力ＳＤ画像信号Ｓ1 を周波数領域で複数の周波数成分f0〜f3に分類し、周波数成分f0〜f3の分布特性に基づいてＳＤ画像信号Ｓ1 の周波数特性を判定し、その結果をクラスc0として選択部２５及びＡＤＲＣクラス分類部２６に送出する。
【００３９】
選択部２５はクラスc0をもとにして、低周波数成分が大きいＳＤ画像信号Ｓ1 に対しては、図５（Ａ）に示すような比較的広い領域の信号変化のクラスタツプパターンp0を選択して緩やかな信号変化をタツプパターンに反映する。これに対して高周波数成分が大きい激しい信号変化のＳＤ画像信号Ｓ1 に対しては、図５（Ｃ）に示すような狭い領域のクラスタツプパターンp2を設定して狭い領域の信号変化を可能な限りのクラス数で表現する。これにより周波数領域から観た信号特性が類似したＳＤ画像信号Ｓ1 によりその信号特性に適応したクラスが生成される。
【００４０】
ＡＤＲＣクラス分類部２６はクラスc0に基づいて、低周波数成分が大きいＳＤ画像信号Ｓ1 に対しては空間クラス分類用の各タツプの再量子化ビツト数を小さく設定する。これにより各タツプのレベル分解能が低くなり、定常性を前提としたクラス分類ができる。これに対して高周波数成分が大きいＳＤ画像信号Ｓ1 に対しては空間クラス分類用の各タツプの再量子化ビツト数を多く設定してレベル分解能を高くする。これにより高周波数成分が大きいＳＤ画像信号Ｓ1 の非定常的な信号変化をクラスに反映させることができる。
【００４１】
このようにしてクラス分類部１２は入力ＳＤ画像信号Ｓ1 の周波数の分布特性に応じてクラス分類に用いる画素のタツプパターンを切り替えると共に、空間クラス分類用の各タツプの再量子化ビツト数を切り替えることによつてレベル分解能を調整する。これにより入力ＳＤ画像信号Ｓ1 の周波数特性に応じて適切なクラス分類がなされる。
【００４２】
クラス分類部１２はクラスc0及びc1との組み合わせたクラスd0を次段の予測係数ＲＯＭ１４に送出する。予測係数ＲＯＭ１４はこのクラスd0に基づいて予測データd1を読み出し予測演算部１３に送出する。予測演算部１３はこの予測データd1を用いてＳＤ画素を変換してＨＤ画素を生成する。この結果、入力ＳＤ画像信号Ｓ1 の周波数特性を反映したＨＤ画素の予測データd1を得ることができる。かくしてＳＤ画素から変換して生成するＨＤ画素の精度を向上させ解像度復元能力の低下を未然に防止し得る。
【００４３】
以上の構成によれば、アツプコンバータ１０に入力されるＳＤ画像信号Ｓ1 の周波数を周波数特性判定部２１において分離して信号の周波数領域の分布特性を判定し、その結果得られるクラスデータc0によつて、３種類の空間クラスのタツプパターンの中からＳＤ画像信号Ｓ1 の周波数領域の分布特性に応じたタツプパターンを設定することができる。さらにクラスc0によつて空間クラス分類用の各タツプの再量子化ビツト数を変えてレベル分解能を切替えることにより、信号変化が定常的な場合と非定常的な場合とをクラス分類に反映することができる。かくして、入力信号の周波数領域の分布特性に応じて適切なクラス分類がなされ、入力ＳＤ画像信号Ｓ1 の特性が反映された空間解像度の高いＨＤ画像信号Ｓ2 を生成することができる。
【００４４】
なお上述の実施例においては、タツプデータのデータ圧縮にＡＤＲＣの手法を用いた場合について述べたが、本発明はこれに限らず、例えばＤＰＣＭ（Differential Pulse Code Modulatin ）やＶＱ（Vector Quantization ）の手法を用いてデータ圧縮しても良い。
【００４５】
また上述の実施例においては、空間クラスのタツプパターンを広領域タツプ、狭領域タツプ及び標準タツプの３種類に設定した場合について述べたが、本発明はこれに限らず、２種類又は４種類以上のタツプパターンを設定しても良い。
【００４６】
また上述の実施例においては、アツプコンバータとして２次元ノンセパラブルフイルタを用いた場合について述べたが、本発明はこれに限らず、図１との対応部分に同符号を付した、図９に示すような垂直／水平セパラブル構成でなるアツプコンバータ４０を用いても良い。
【００４７】
アツプコンバータ４０においては、先ず、入力端４１を通じて入力されたＳＤ画像信号Ｓ1 がクラス分類部１２と予測演算部４３に供給される。予測演算部４３は走査線の位置mode１、mode２に対応する垂直予測演算部４３Ａ及び水平予測演算部４３Ｂと走査線の位置mode３、mode４に対応する垂直予測演算部４３Ｃ及び水平予測演算部４３Ｄの２種類に分かれる。クラス分類部１２では入力ＳＤ画像信号Ｓ1 に応じたクラスd0が生成され、タツプ予測係数を予め記憶している記憶手段である予測係数ＲＯＭ４４に送出する。予測係数ＲＯＭ４４はタツプ予測係数の垂直成分と水平成分を記憶する垂直係数ＲＯＭ４４Ａと水平係数ＲＯＭ４４Ｂとに分かれている。クラスd0は垂直係数ＲＯＭ４４Ａと水平係数ＲＯＭ４４Ｂのそれぞれに供給される。
【００４８】
まず垂直係数ＲＯＭ４４Ａより出力される垂直予測係数d6は垂直予測演算部４３Ａ及び４３Ｃに供給される。
入力ＳＤ画像信号Ｓ1 と垂直予測係数d6による積和演算により垂直推定値d7、d8が生成される。この垂直推定値d7、d8は次段の水平予測演算部４３Ｂ及び４３Ｄに供給される。
【００４９】
水平係数ＲＯＭ４４Ｂより出力される水平予測係数d9は水平予測演算部４３Ｂ及び４３Ｄに供給され、垂直推定値d7、d8との積和演算によりＨＤ画素d10 、d11 信号を得る。
このＨＤ画素d10 、d11 信号は選択的に伝送され、選択部１５において適切に並び替えられ、出力端４６より最終的な出力であるＨＤ画像信号Ｓ２として出力される。
【００５０】
また上述の実施例においては、バンドパスフイルタ３１Ａ〜３１Ｄを用いて入力ＳＤ画像信号Ｓ1 の周波数成分を分類した場合について述べたが、本発明はこれに限らず、例えばアダマール変換による直交変換によつて周波数成分を分離しても良い。
すなわち図１０に示すように、周波数特性判定部５０では入力端５１より入力される所定ブロツク単位毎のＳＤ画像信号Ｓ1 を直交変換部５２において直交変換し、周波数成分判定部５３においてクラス分類信号であるクラスc0を生成して後段の予測係数ＲＯＭ１４に送出する。
【００５１】
直交変換部５２は互いに直交する複数の直交変換基底より構成される直交変換行列からなる。直交変換部５２は所定ブロツク単位毎の入力ＳＤ画像信号Ｓ1 に対して直交変換を施すと互いに独立で無相関な幾つかの直交変換成分に分離する。
この直交変換部５２では１次元の入力ＳＤ画像信号Ｓ1 に対して４次アダマール変換を施す。すなわち４次アダマール変換は入力データＸ、アダマール変換行列Ｈ、出力Ｙとして次式
【数１１】
この（１１）式のアダマール変換行列Ｈの係数から分かるようにアダマール変換は加減算のみで出力が得られるため回路の負担が小さい。
【００５２】
４次アダマール変換ではアダマール変換行列Ｈの中に４つのアダマール基底が存在する。各基底は互いに直交しており、いくつかの周波数成分への分離が可能となる。
アダマール基底と入力信号との演算により、４個のアダマール成分ｙ１〜ｙ４が得られる。
直交変換部５２において生成されるアダマール変換成分ｙ１〜ｙ４は次段の周波数成分判定部５３に送られる。
【００５３】
アダマール変換成分ｙ１〜ｙ４は、例えば、図４に示すような４種類の周波数成分f0〜f3と対応する。周波数成分判定部５３においてはこの周波数成分f0〜f3の組合せによりバンドパスフイルタを用いた場合と同様に周波数クラスを判定する。
判定の基準の例としては、入力ＳＤ画像信号Ｓ1 の周波数の低周波数成分と高周波数成分の割合を比較する。すなわち低周波数成分の占める割合の大きい場合には定常性を重視し、高周波数成分の占める割合が大きい場合には非定常性に注目してクラス分類する。これによりクラスタツプパターンを選択制御するクラス分類用のデータとしてクラスc0が生成される。
【００５４】
このように周波数成分分類に４次アダマール変換を用いてもバンドパスフイルタを用いた場合と同様にクラス分類用のデータであるクラスc0を生成することができる。また周波数成分分類に用いるアダマール変換は４次のアダマール変換に限ることなく、例えば８次のアダマール変換を用いても良い。この場合、アダマール変換が８次になればアダマール変換成分は８種類となり、さらに詳細な周波数成分分類ができる。
【００５５】
さらに直交変換手法としてはフーリエ変換、カルーネンレーベ変換、ハール変換、離散余弦変換（ＤＣＴ）等の様々な種類がある。これらの直交変換手法を用いて入力ＳＤ画像信号Ｓ1 に対して直交変換を施すことにより上述した場合と等価な周波数分離評価がなし得る。
【００５６】
また上述の実施例においては、予測式の予測係数を選択する際に用いるクラスd0のクラスデータをクラスc0及びクラスc1の組み合わせにより入力ＳＤ画像信号Ｓ1 の周波数特性に応じてタツプパターン及び再量子化ビツト数の両方を共に切り替えた場合について述べたが、本発明はこれに限らず、タツプパターン又は再量子化ビツト数の何れか一方のみのクラスデータを切り替えるようにしても良い。
【００５７】
また上述の実施例においては、ＨＤ注目画素と注目画素周辺の伝送画素との相関関係を表す予測係数を用いてＳＤ画素から注目画素周辺のＨＤ画素を生成した場合について述べたが、本発明はこれに限らず、予測係数に代えて各クラス毎のＨＤ注目画素の予測値を予め設定して記憶手段に格納するようにしても良い。予測値によるＳＤ画像信号のＨＤ画像信号への信号変換は、図１との対応部分に同符号を付した、図１１に示すようなアツプコンバータ６０を用いる。
【００５８】
このアツプコンバータ６０には入力端６１を通じてクラス分類部１２にＳＤ画像信号Ｓ1 が送出される。このクラス分類部１２は、新たに生成するＨＤ画像信号の周辺のＳＤ画像信号Ｓ1 の特徴に基づいてクラスd0を生成して予測値ＲＯＭ６２Ａ〜６２Ｄに送出する。予測値ＲＯＭ６２Ａ〜６２Ｄには予め学習により求められた注目画素周辺の補間画素でなるＨＤ画素の予測値がクラス毎にクラスd0に対応して格納されている。予測値ＲＯＭ６２Ａ〜６２Ｄはクラスd0をアドレスデータとしてそれぞれ予測値d20 〜d23 を読み出し、選択部１５を通じて出力端６３より直列に並べ変えたＨＤ画像信号Ｓ2 を出力する。このようにして、クラスd0に応じて読み出した予測値を入力画像信号Ｓ1 のＳＤ画素の補間画素として用いて、入力画像信号に対して高解像度の画像信号を得ることができる。
【００５９】
ここで予測値を求める第１の方法としては加重平均法を用いた学習法がある。加重平均法は、注目画素周辺のＳＤ画素を用いて注目画素をクラス分類し、クラス毎に積算した注目画素（すなわちＨＤ画素）の画素値を注目画素の個数に応じてインクリメントされた度数によつて割り算するといつた処理を様々な画像に対して行うことにより予測値を求める。
【００６０】
さらに予測係数を求める第２の方法としては、正規化による学習法がある。この学習法は、先ず注目画素を含む複数の画素からなるブロツクを形成し、ブロツク内のダイナミツクレンジによつて注目画素の画素値からそのブロツクの基準値を減算した値を正規化する。次にこの正規化された値の累積値を累積度数で割り算することにより予測値を得る。
【００６１】
また上述の実施例においては、ＳＤ画像信号をＨＤ画像信号に信号変換した場合について述べたが、本発明はこれに限らず、画像拡大する際の補間画素を生成するのに用いても良い。
【００６２】
【発明の効果】
上述のように本発明によれば、入力画像信号の所定ブロツク単位毎の周波数特性を分類評価し、ブロツク単位の入力画像信号について設定した複数の互いに異なる画素パターンからその周波数特性に応じた画素パターンを選択し、この画素パターンを形成する入力画像信号に対して、周波数特性に応じた量子化ビツト数を設定して当該設定した量子化ビツト数を用いてデータ圧縮処理を施すと共に、当該データ圧縮処理を施した画素パターンを形成する入力画像信号のレベル分布に基づいてクラスコードを設定することにより、周波数特性及び又はクラスコードに対応させて予め予測係数又は予測値が記憶されている記憶手段から、入力画像信号に対する周波数特性及び又はクラスコードに応じた予測係数又は予測値を読み出して入力画像信号の補間画素を得ることによつて入力画像信号に対してより高解像度な画像信号を得る信号変換装置及び信号変換方法を実現することができる。
【図面の簡単な説明】
【図１】２次元ノンセパラブルフイルタで構成されるアツプコンバータを示すブロツク図である。
【図２】図１のクラス分類部の構成を示すブロツク図である。
【図３】図２の周波数特性判定部の構成を示すブロツク図である。
【図４】バンドパスフイルタによつて分類した入力信号の周波数特性を示すグラフである。
【図５】空間クラスのタツプパターンを示す略線図である。
【図６】学習データの予測タツプを示す略線図である。
【図７】予測係数の学習手順を示すフローチヤートである。
【図８】予測係数ＲＯＭの内容例を示す図表である。
【図９】垂直／水平セパラブルフイルタによるアツプコンバータを示すブロツク図である。
【図１０】直交変換による周波数分類を示すブロツク図である。
【図１１】予測値による補間画素信号を出力するアツプコンバータを示すブロツク図である。
【図１２】入力画像信号及び周辺のＨＤ画素を示す略線図である。
【図１３】従来の２次元ノンセパラブルフイルタを示すブロツク図である。
【図１４】従来の垂直／水平セパラブルフイルタを示すブロツク図である。
【符号の説明】
１……ＨＤ画像、１Ａ……走査線、２、３……補間フイルタ、４Ａ〜４Ｄ……２次元フイルタ、５、８、１５……選択部、６Ａ、６Ｂ……垂直補間フイルタ、７Ａ、７Ｂ……水平補間フイルタ、１０、４０、６０……アツプコンバータ、１１、２０、３０、４１、５１、６１……入力端、１２……クラス分類部、１３、４３……予測演算部、１４、４４……予測係数ＲＯＭ、１６、４６、６３……出力端、２１、５０……周波数特性判定部、２２……広領域タツプ選択部、２３……狭領域タツプ選択部、２４……標準タツプ選択部、２６……ＡＤＲＣクラス分類部、３１Ａ〜３１Ｄ……バンドパスフイルタ、３２、５３……周波数成分判定部、５２……直交変換部。
Claims (23)
- 入力画像信号をより高解像度な画像信号に変換する信号変換装置において、
上記入力画像信号の所定ブロツク単位毎の周波数特性を評価する周波数特性判定部と、
上記ブロツク単位について上記入力画像信号から複数の互いに異なる画素パターンを設定する画素パターン設定部と、
上記複数の互いに異なる画素パターンから上記周波数特性に応じた当該画素パターンが選択され、当該選択された上記画素パターンのレベル分布に基づいて上記入力画像信号に対するクラスを設定するクラス分類部と、
上記入力画像信号の信号画素から画素を予測生成するための予測係数を複数の上記クラスそれぞれに対応させて記憶している予測係数記憶手段と、
上記予測係数記憶手段から上記入力画像信号の上記クラスに応じて読み出される上記予測係数を用いて上記入力画像信号に対して予測演算を施すことにより、上記入力画像信号に対してより高解像度な上記画像信号を生成する予測演算部と
を具えることを特徴とする信号変換装置。 - 上記画素パターン設定部は、上記入力画像信号の定常的な信号変化に対応した広い領域に亘る上記画素パターンを設定する広領域画素選択部と、上記広い領域に比して狭く、上記入力画像信号の非定常的な信号変化に対応した領域内に上記画素パターンを設定する狭領域画素選択部と、上記広領域画素選択部で設定される上記画素パターンの領域及び上記狭領域画素選択部で設定される上記画素パターンの領域の間の大きさの領域に亘る上記画素パターンを設定する標準画素選択部とでなる
ことを特徴とする請求項１に記載の信号変換装置。 - 上記周波数特性判定部は、上記所定ブロツク内の入力画像信号を周波数成分に分類して当該周波数成分の分布特性を評価する
ことを特徴とする請求項１に記載の信号変換装置。 - 上記周波数特性判定部は、上記所定ブロツク内の入力画像信号を直交変換によつて直交変換成分に分類して上記周波数特性を評価する
ことを特徴とする請求項１に記載の信号変換装置。 - 上記周波数特性判定部は、上記所定ブロツク内の入力画像信号の周波数をバンドパスフイルタによつて複数の周波数成分に分類する
ことを特徴とする請求項３に記載の信号変換装置。 - 入力画像信号をより高解像度な画像信号に変換する信号変換装置において、
上記入力画像信号の所定ブロツク単位毎の周波数特性を評価する周波数特性判定部と、
上記ブロツク近傍の上記入力画像信号から複数の画素を選定する画素選択部と、
上記入力画像信号から選択された複数の上記画素に対して、上記周波数特性に応じた量子化ビツト数を設定して当該設定した上記量子化ビツト数を用いてデータ圧縮処理を施すと共に、当該データ圧縮処理を施した複数の上記画素のレベル分布に基づいて、上記入力画像信号が属するクラスを表すクラスコードを生成するデータ圧縮クラス分類部と、
上記入力画像信号の信号画素から画素を予測生成するための予測係数を複数の上記クラスコードそれぞれに対応させて記憶している予測係数記憶手段と、
上記予測係数記憶手段から上記生成された上記クラスコードに応じて読み出される上記予測係数を用いて上記入力画像信号に対して予測演算を施すことにより、上記入力画像信号に対してより高解像度な上記画像信号を生成する予測演算部と
を具えることを特徴とする信号変換装置。 - 上記周波数特性判定部は、上記所定ブロツク内の入力画像信号を複数の周波数成分に分類して当該周波数成分の分布特性を評価する
ことを特徴とする請求項６に記載の信号変換装置。 - 上記周波数特性判定部は、上記所定ブロツク内の入力画像信号を直交変換によつて直交変換成分に分類して上記周波数特性を評価する
ことを特徴とする請求項６に記載の信号変換装置。 - 上記周波数特性判定部は、上記所定ブロツク内の入力画像信号の周波数をバンドパスフイルタによつて複数の周波数成分に分類する
ことを特徴とする請求項７に記載の信号変換装置。 - 入力画像信号をより高解像度な画像信号に変換する信号変換装置において、
上記入力画像信号の所定ブロツク単位毎の周波数特性を評価する周波数特性判定部と、
上記ブロツク単位について上記入力画像信号から複数の互いに異なる画素パターンを設定する画素パターン設定部と、
上記複数の互いに異なる画素パターンから上記周波数特性に応じた当該画素パターンを選択する画素パターン選択部と、
上記選択された上記画素パターンを形成する上記入力画像信号に対して、上記周波数特性に応じた量子化ビツト数を設定して当該設定した上記量子化ビツト数を用いてデータ圧縮処理を施すと共に、当該データ圧縮処理を施した上記画素パターンを形成する上記入力画像信号のレベル分布に基づいて、上記入力画像信号が属するクラスを表すクラスコードを生成するデータ圧縮クラス分類部と、
上記入力画像信号の信号画素から画素を予測生成するための予測係数を上記周波数特性及び上記クラスコードに対応させて記憶している予測係数記憶手段と、
上記予測係数記憶手段から上記入力画像信号に対する上記周波数特性及び上記クラスコードに応じて読み出される上記予測係数を用いて上記入力画像信号に対して予測演算を施すことにより、上記入力画像信号に対して、より高解像度な上記画像信号を生成する予測演算部と
を具えることを特徴とする信号変換装置。 - 上記画素パターン設定部は、上記入力画像信号の定常的な信号変化に対応した広い領域に亘る上記画素パターンを設定する広領域画素選択部と、上記広い領域に比して狭く、上記入力画像信号の非定常的な信号変化に対応した領域内に上記画素パターンを設定する狭領域画素選択部と、上記広領域画素選択部で設定される上記画素パターンの領域及び上記狭領域画素選択部で設定される上記画素パターンの領域の間の大きさの領域に亘る上記画素パターンを設定する標準画素選択部とでなる
ことを特徴とする請求項１０に記載の信号変換装置。 - 上記周波数特性判定部は、上記所定ブロツク内の入力画像信号を周波数成分毎に分類して当該周波数領域の分布特性を評価する
ことを特徴とする請求項１０に記載の信号変換装置。 - 上記周波数特性判定部は、上記所定ブロツク内の入力画像信号を直交変換によつて直交変換成分に分類して上記周波数特性を評価する
ことを特徴とする請求項１０に記載の信号変換装置。 - 上記周波数特性判定部は、上記所定ブロツク内の入力画像信号の周波数をバンドパスフイルタによつて複数の周波数成分に分類する
ことを特徴とする請求項１２に記載の信号変換装置。 - 入力画像信号をより高解像度な画像信号に変換する信号変換装置において、
上記入力画像信号の所定ブロツク単位毎の周波数特性を評価する周波数特性判定部と、
上記ブロツク近傍の上記入力画像信号から複数の画素を選択する画素選択部と、
上記入力画像信号から選択された複数の上記画素に対して、上記周波数特性に応じた量子化ビツト数を設定して当該設定した上記量子化ビツト数を用いてデータ圧縮処理を施すと共に、当該データ圧縮処理を施した複数の上記画素のレベル分布に基づいて、上記入力画像信号が属するクラスを表すクラスコードを出力するデータ圧縮クラス分類部と、
予め上記入力画像信号の信号画素から画素として生成した予測値を複数の上記クラスコードそれぞれに対応させて記憶している予測値記憶手段と
を具えることを特徴とする信号変換装置。 - 入力画像信号をより高解像度な画像信号に変換する信号変換装置において、
上記入力画像信号の所定ブロツク単位毎の周波数特性を評価する周波数特性判定部と、
上記ブロツク単位について上記入力画像信号から複数の互いに異なる画素パターンを設定する画素パターン設定部と、
上記複数の互いに異なる画素パターンから上記周波数特性に応じた当該画素パターンが選択され、当該選択された上記画素パターンのレベル分布に基づいて、上記入力画像信号に対するクラスを設定するクラス分類部と、
予め上記入力画像信号の信号画素から画素として生成した予測値を複数の上記クラスそれぞれに対応させて記憶している予測値記憶手段と
を具えることを特徴とする信号変換装置。 - 入力画像信号をより高解像度な画像信号に変換する信号変換装置において、
上記入力画像信号の所定ブロツク単位毎の周波数特性を評価する周波数特性判定部と、
上記ブロツク単位について上記入力画像信号から複数の互いに異なる画素パターンを設定する画素パターン設定部と、
上記複数の互いに異なる画素パターンから上記周波数特性に応じた当該画素パターンを選択する選択部と、
上記選択された上記画素パターンを形成する上記入力画像信号に対して、上記周波数特性に応じた量子化ビツト数を設定して当該設定した上記量子化ビツト数を用いてデータ圧縮処理を施すと共に、当該データ圧縮処理を施した上記画素パターンを形成する上記入力画像信号のレベル分布に基づいて、上記入力画像信号が属するクラスを表すクラスコードを出力するデータ圧縮クラス分類部と、
予め上記入力画像信号の信号画素から画素として生成した予測値を上記周波数特性及び上記クラスコードに対応させて記憶している予測値記憶手段と
を具えることを特徴とする信号変換装置。 - 入力画像信号をより高解像度な画像信号に変換する信号変換方法において、
上記入力画像信号を所定ブロツク単位毎の周波数特性に応じて分類評価し、
上記ブロツク単位について入力画像信号から複数の互いに異なる画素パターンを設定し、
上記複数の互いに異なる画素パターンから上記分類評価に応じて画素パターンが選択され、当該選択された上記画素パターンのレベル分布に基づいて、上記入力画像信号に対するクラスを設定し、
複数の上記クラスそれぞれに対応させて予め予測係数が記憶されている予測係数記憶手段から、上記入力画像信号に対する上記クラスに応じた上記予測係数を読み出し、当該読み出した上記予測係数を用いて上記入力画像信号に対して予測演算を施して当該入力画像信号の信号画素から画素を生成して上記入力画像信号をより高解像度な上記画像信号に信号変換する
ことを特徴とする信号変換方法。 - 入力画像信号をより高解像度な画像信号に変換する信号変換方法において、
上記入力画像信号を所定ブロツク単位毎の周波数特性に応じて分類評価し、
上記ブロツク近傍の上記入力画像信号から複数の画素を選択し、
上記入力画像信号から選択された複数の上記画素に対して、上記分類評価に応じた量子化ビツト数を設定して当該設定した上記量子化ビツト数を用いてデータ圧縮処理を施すと共に、当該データ圧縮処理を施した複数の上記画素のレベル分布に基づいて、上記入力画像信号が属するクラスを表すクラスコードを設定し、
複数の上記クラスコードそれぞれに対応させて予め予測係数が記憶されている予測係数記憶手段から、上記入力画像信号に対する上記クラスコードに応じた上記予測係数を読み出し、当該読み出した上記予測係数を用いて上記入力画像信号に対して予測演算を施して当該入力画像信号の信号画素から画素を生成して上記入力画像信号をより高解像度な上記画像信号に信号変換する
ことを特徴とする信号変換方法。 - 入力画像信号をより高解像度な画像信号に変換する信号変換方法において、
上記入力画像信号を所定ブロツク単位毎の周波数特性に応じて分類評価し、
上記ブロツク単位について入力画像信号から複数の互いに異なる画素パターンを設定し、
上記複数の互いに異なる画素パターンから上記分類評価に応じた当該画素パターンを選択し、
上記選択された上記画素パターンを形成する上記入力画像信号に対して、上記分類評価に応じた量子化ビツト数を設定して当該設定した上記量子化ビツト数を用いてデータ圧縮処理を施すと共に、当該データ圧縮処理を施した上記画素パターンを形成する上記入力画像信号のレベル分布に基づいて、上記入力画像信号が属するクラスを表すクラスコードを設定し、
上記周波数特性及び上記クラスコードに対応させて予め予測係数が記憶された予測係数記憶手段から、上記入力画像信号に対する上記周波数特性及び上記クラスコードに応じた上記予測係数を読み出し、当該読み出した上記予測係数を用いて上記入力画像信号に対して予測演算を施して当該入力画像信号の信号画素から画素を生成して上記入力画像信号をより高解像度な上記画像信号に信号変換する
ことを特徴とする信号変換方法。 - 入力画像信号をより高解像度な画像信号に変換する信号変換方法において、
上記入力画像信号を所定ブロツク単位毎の周波数特性に応じて分類評価し、
上記ブロツク単位について入力画像信号から複数の互いに異なる画素パターンを設定し、
上記複数の互いに異なる画素パターンから上記分類評価に応じた当該画素パターンが選択され、当該選択された上記画素パターンのレベル分布に基づいて、上記入力画像信号に対するクラスを設定し、
複数の上記クラスそれぞれに対応させて予め予測値が記憶されている予測値記憶手段から、上記入力画像信号に対する上記クラスに応じた上記予測値を読み出して上記入力画像信号の補間画素として用い、これにより上記入力画像信号をより高解像度な上記画像信号に信号変換する
ことを特徴とする信号変換方法。 - 入力画像信号をより高解像度な画像信号に変換する信号変換方法において、
上記入力画像信号を所定ブロツク単位毎の周波数特性に応じて分類評価し、
上記ブロツク近傍の上記入力画像信号から複数の画素を選択し、
上記入力画像信号から選択された複数の上記画素に対して、上記分類評価に応じた量子化ビツト数を設定して当該設定した上記量子化ビツト数を用いてデータ圧縮処理を施すと共に、当該データ圧縮処理を施した複数の上記画素のレベル分布に基づいて、上記入力画像信号が属するクラスを表すクラスコードを設定し、
複数の上記クラスコードそれぞれに対応させて予め予測値が記憶されている予測値記憶手段から、上記入力画像信号に対する上記クラスコードに応じた上記予測値を読み出して上記入力画像信号の補間画素として用い、これにより上記入力画像信号をより高解像度な上記画像信号に信号変換する
ことを特徴とする信号変換方法。 - 入力画像信号をより高解像度な画像信号に変換する信号変換方法において、
上記入力画像信号を所定ブロツク単位毎の周波数特性に応じて分類評価し、
上記ブロツク単位について入力画像信号から複数の互いに異なる画素パターンを設定し、
上記複数の互いに異なる画素パターンから上記分類評価に応じた当該画素パターンを選択し、
上記画素パターンを形成する上記入力画像信号に対して、上記分類評価に応じた量子化ビツト数を設定して当該設定した上記量子化ビツト数を用いてデータ圧縮処理を施すと共に、当該データ圧縮処理を施した上記画素パターンを形成する上記入力画像信号のレベル分布に基づいて、上記入力画像信号が属するクラスを表すクラスコードを設定し、
上記周波数特性及び上記クラスコードに対応させて予め予測値が記憶されている予測値記憶手段から、上記入力画像信号に対する上記周波数特性及び上記クラスコードに応じた上記予測値を読み出して上記入力画像信号の補間画素として用い、これにより上記入力画像信号をより高解像度な上記画像信号に信号変換する
ことを特徴とする信号変換方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8880295A JP3794505B2 (ja) | 1995-03-22 | 1995-03-22 | 信号変換装置及び信号変換方法 |
| US08/619,182 US5966183A (en) | 1995-03-22 | 1996-03-21 | Signal converter and signal conversion method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8880295A JP3794505B2 (ja) | 1995-03-22 | 1995-03-22 | 信号変換装置及び信号変換方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08265711A JPH08265711A (ja) | 1996-10-11 |
| JP3794505B2 true JP3794505B2 (ja) | 2006-07-05 |
Family
ID=13953012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8880295A Expired - Lifetime JP3794505B2 (ja) | 1995-03-22 | 1995-03-22 | 信号変換装置及び信号変換方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5966183A (ja) |
| JP (1) | JP3794505B2 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3087835B2 (ja) * | 1997-04-22 | 2000-09-11 | 富士ゼロックス株式会社 | 画像符号化方法および装置ならびに画像復号方法および装置 |
| JP4158232B2 (ja) * | 1998-07-23 | 2008-10-01 | ソニー株式会社 | 画像情報変換装置および画像表示装置 |
| JP4147632B2 (ja) * | 1998-08-24 | 2008-09-10 | ソニー株式会社 | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 |
| KR100657776B1 (ko) * | 1998-09-30 | 2006-12-15 | 소니 가부시끼 가이샤 | 연산 장치, 변환기, 및 이들의 방법 |
| CN1310521C (zh) * | 1999-02-19 | 2007-04-11 | 索尼公司 | 图象信号处理设备和方法、学习设备和方法以及记录介质 |
| WO2000055811A1 (fr) * | 1999-03-12 | 2000-09-21 | Sony Corporation | Processeur de donnees, procede de traitement de donnees, et support d'enregistrement |
| WO2000065830A1 (fr) * | 1999-04-23 | 2000-11-02 | Sony Corporation | Dispositif et procede de conversion d'image |
| JP4645869B2 (ja) * | 2000-08-02 | 2011-03-09 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
| JP4645867B2 (ja) * | 2000-08-02 | 2011-03-09 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
| JP4645866B2 (ja) * | 2000-08-02 | 2011-03-09 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
| JP4645868B2 (ja) * | 2000-08-02 | 2011-03-09 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
| US7324709B1 (en) * | 2001-07-13 | 2008-01-29 | Pixelworks, Inc. | Method and apparatus for two-dimensional image scaling |
| US7171059B1 (en) * | 2002-05-23 | 2007-01-30 | Pixelworks, Inc. | Method and apparatus for two-dimensional image scaling |
| JP4053345B2 (ja) * | 2002-04-25 | 2008-02-27 | シャープ株式会社 | 画像処理方法および画像処理装置、それを備える画像形成装置ならびにプログラムおよび記録媒体 |
| JP4055203B2 (ja) * | 2002-09-12 | 2008-03-05 | ソニー株式会社 | データ処理装置およびデータ処理方法、記録媒体、並びにプログラム |
| US20060274976A1 (en) * | 2002-12-19 | 2006-12-07 | Koninklijke Philips Electronics N.V. | Image scaling |
| KR20040069865A (ko) * | 2003-01-30 | 2004-08-06 | 삼성전자주식회사 | 영상화면 내의 글자영역 확장장치 및 방법 |
| JP5335713B2 (ja) * | 2010-02-16 | 2013-11-06 | 富士フイルム株式会社 | 画像処理方法及び装置並びにプログラム |
| US9178590B2 (en) * | 2011-12-27 | 2015-11-03 | Industrial Technology Research Institute | Channel information feedback method and wireless communication device using the same |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6130887A (ja) * | 1984-07-23 | 1986-02-13 | Hitachi Ltd | デジタルテレビジヨン受像機の信号変換回路 |
| US4648119A (en) * | 1985-03-18 | 1987-03-03 | Tektronix, Inc. | Method and apparatus for forming 3×3 pixel arrays and for performing programmable pattern contingent modifications of those arrays |
| US5010402A (en) * | 1990-05-17 | 1991-04-23 | Matsushita Electric Industrial Co., Ltd. | Video signal compression apparatus |
| US5416857A (en) * | 1992-10-21 | 1995-05-16 | International Business Machines Corporation | Apparatus and method for compressing data while retaining image integrity |
| US5638128A (en) * | 1994-11-08 | 1997-06-10 | General Instrument Corporation Of Delaware | Pixel interpolation filters for video decompression processor |
-
1995
- 1995-03-22 JP JP8880295A patent/JP3794505B2/ja not_active Expired - Lifetime
-
1996
- 1996-03-21 US US08/619,182 patent/US5966183A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08265711A (ja) | 1996-10-11 |
| US5966183A (en) | 1999-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3794505B2 (ja) | 信号変換装置及び信号変換方法 | |
| US5940132A (en) | Image signal converting apparatus | |
| US5946044A (en) | Image signal converting method and image signal converting apparatus | |
| KR100465559B1 (ko) | 신호변환장치및신호변환방법 | |
| JP3781203B2 (ja) | 画像信号補間装置及び画像信号補間方法 | |
| KR100388729B1 (ko) | 디지털신호처리장치및방법 | |
| JP3669530B2 (ja) | 画像信号変換装置及び画像信号変換方法 | |
| JP3321915B2 (ja) | 画像信号変換装置 | |
| JP3859089B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP3693187B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP3743077B2 (ja) | 画像信号変換装置および方法 | |
| JP3671469B2 (ja) | 予測係数の学習方法並びに信号変換装置および方法 | |
| JP3669522B2 (ja) | 信号変換装置、信号変換方法、係数学習装置及び係数学習方法 | |
| JPH0767031A (ja) | 電子ズーム装置及び電子ズーム方法 | |
| JP4085396B2 (ja) | 学習装置及び学習方法 | |
| JP3856244B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP3326879B2 (ja) | 画像信号変換装置 | |
| JPH0851598A (ja) | 画像情報変換装置 | |
| JP4016138B2 (ja) | 画像信号変換装置及び画像信号変換方法 | |
| JP4131049B2 (ja) | 信号処理装置及び信号処理方法 | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JP4235917B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP4016140B2 (ja) | 係数生成装置及び係数生成方法 | |
| JP3824176B2 (ja) | 画像信号変換方法、画像信号変換装置及び画像信号伝送装置 | |
| JP4016139B2 (ja) | 係数生成装置及び係数生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040213 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040412 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041022 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050527 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060324 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060406 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090421 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100421 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100421 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110421 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110421 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120421 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120421 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130421 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130421 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140421 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |