JP3871350B2 - 解像度補償可能な画像変換装置および方法 - Google Patents
解像度補償可能な画像変換装置および方法 Download PDFInfo
- Publication number
- JP3871350B2 JP3871350B2 JP13805594A JP13805594A JP3871350B2 JP 3871350 B2 JP3871350 B2 JP 3871350B2 JP 13805594 A JP13805594 A JP 13805594A JP 13805594 A JP13805594 A JP 13805594A JP 3871350 B2 JP3871350 B2 JP 3871350B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- resolution
- conversion apparatus
- class
- image conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【産業上の利用分野】
この発明は、ディジタル画像信号の解像度をより高いものとすることができる解像度補償可能な画像変換装置および方法に関する。
【０００２】
【従来の技術】
従来、標準解像度のビデオ信号（ＳＤ信号）を高解像度のビデオ信号（ＨＤ信号）へ変換（所謂、アップコンバージョン）を行なう場合、補間フィルタによって、水平および垂直方向の画素数が２倍としていた。しかしながら、単に補間によっては、入力信号以上の解像度をつくり出すことができない。
【０００３】
この問題を解決するために、ＨＤ信号の注目画素を周辺のＳＤ画素を使用してクラス分けし、予め学習によって求めておいた、そのクラスの予測係数と複数のＳＤ画素の線形１次結合によって、注目ＨＤ画素の値を形成する解像度補償装置が提案されている。この処理は、それ自身有効であるが、時間領域における処理であるため、これらの領域において、特徴が良く表現できる信号に対して、高精度の処理が可能である。逆の場合には、精度が不充分な問題等が生じる。
【０００４】
時間領域の処理および周波数領域の処理の問題について、一般的に述べると、ディジタル画像信号、ディジタルオーディオ信号等の信号処理を行なう時に、時間領域あるいは周波数領域のいずれかで信号処理を行なうのが普通であった。周波数領域の処理は、信号の定常特性を良く表現できるが、過渡特性の表現には不向きであった。一方、時間領域の処理は、過渡特性を表現するのに適しているが、定常特性を表現するには不向きであった。ここで、定常特性とは、安定した繰り返しの変化を意味し、過渡特性とは、孤立した１回限りの変化を意味する。
【０００５】
一例として、図１３は、時間領域処理の場合を示す。図１３Ａに示すように、過渡特性は、時間軸に対して、その変化が激しい波形（インパルス状の波形）となり、これは、例えば数個のサンプル程度を使用することによって、充分処理することができる。波形中のドットは、サンプリング位置を示し、ディジタル信号の場合は、各サンプリング位置のレベルと対応するサンプリング値を有する離散的信号系列である。但し、図においては、以下も同様であるが、アナログ信号波形でもって表すことにする。一方、定常特性は、時間軸上で図１３Ｂに示すような変化がゆるやかな波形（フラットな波形）となり、これは、数個程度のサンプルを使用しても、波形の特徴が分からず、充分な処理ができない。
【０００６】
次に、周波数領域で考えると、定常特性は、含まれる周波数成分が単一あるいは少ないので、図１４Ａに示すようなインパルス状の波形となる。一方、過渡特性は、図１４Ｂに示すようなフラットな波形となる。上述と同様に、インパルス状の波形の方が信号の特徴をとらえるのに適している。
【０００７】
一般的な信号波形は、時間軸に対しては、図１５に示すように、定常特性（フラット）の部分ＦＬ１、ＦＬ２、ＦＬ３、・・・と過渡特性（インパルス）の部分ＩＭ１、ＩＭ２、・・・とが混在したものである。従って、時間領域処理と周波数領域処理との一方のみを行なうことによっては、信号の特徴を正しく反映した処理を行なうことが難しい。そのために、同一の信号に対して、時間領域処理と周波数領域処理とを行なう必要が生じ、処理時間が長くなったり、処理のためのハードウエアの規模が大きくなる問題があった。
【０００８】
従って、この発明の目的は、解像度補償の処理を行なう時に、ディジタル画像信号の定常特性の部分に対しては、周波数領域で処理し、その過渡特性の部分に対しては、時間領域で処理することができ、精度の向上、処理時間の短縮化、処理のためのハードウエアの規模の減少等が可能な解像度補償可能な画像変換装置および変換方法を提供することにある。
【０００９】
【課題を解決するための手段】
請求項１の発明は、第１のディジタル画像信号を周波数領域において分析する分析手段と、
分析手段の出力に基づいて、第１のディジタル画像信号を分類する分類手段と、
第１の解像度に比べてより高い第２の解像度を有する第２のディジタル画像信号を形成するために、分類手段によって分類されたそれぞれの信号を、第１のディジタル画像信号に基づく特性に応じて、適応的に処理する第１及び第２の処理手段と、
第１及び第２の処理手段の出力を合成する合成手段とからなることを特徴とする解像度補償可能な画像変換装置である。
【００１０】
請求項７の発明は、第１の解像度を有する第１のディジタル画像信号を周波数分析する分析手段と、
分析手段の出力から周波数領域でインパルス状成分の信号とフラット成分の信号とを分離する分離手段と、
分離手段からインパルス状成分の信号が供給され、第１の解像度に比べてより高い第２の解像度を有する第２のディジタル画像信号を形成するために、そのインパルス状成分の信号を周波数領域で処理する第１の処理手段と、
第１の処理手段からの出力を時間領域信号に変換する第１の変換手段と、
分離手段からフラット成分の信号が供給され、フラット成分の信号を時間領域信号に変換する第２の変換手段と、
第２の変換手段から時間領域信号が供給され、第１の解像度に比べてより高い第２の解像度を有する第２のディジタル画像信号を形成するために、時間領域信号を時間領域で処理する第２の処理手段と、
第１の変換手段の出力と第２の処理手段の出力を合成する合成手段とからなることを特徴とする解像度補償可能な画像変換装置である。
【００１１】
解像度を補償する時に、入力ＳＤ信号を周波数領域でインパルス状成分と、フラット成分に分けられる。インパルス状成分は、周波数領域において、解像度補償の処理を行なう処理回路に供給され、フラット成分は、時間領域において、解像度補償の処理を行なう処理回路に供給される。そして、各処理回路で処理された結果の信号が時間領域上で合成され、解像度補償がなされたビデオ信号（ＨＤ信号）が得られる。
【００１２】
【実施例】
以下、この発明によるディジタルビデオ信号の解像度補償装置の一実施例について説明する。解像度補償とは、図２Ａにおいて、もともと２０ａの周波数特性で示すような広帯域のビデオ信号がフィルタリング処理等によって、２０ｂの周波数特性で示すように、帯域が狭くなったことを補償し、すなわち、斜線部分の成分を作り出すことによって、図２Ｂに示す広帯域のビデオ信号へ変換することである。
【００１３】
この一実施例の全体的構成を示す図１において、１で示す入力端子に対して標準解像度のディジタルビデオ信号（ＳＤビデオ信号と称する）が供給される。また、高解像度のディジタルビデオ信号をＨＤビデオ信号と称する。入力ＳＤビデオ信号の例は、ＳＤＶＴＲの再生信号、放送信号等である。入力ＳＤビデオ信号がブロック化回路２に供給され、テレビジョンラスターの順序のビデオ信号が例えば（８×８）のブロック構造の信号に走査変換される。
【００１４】
ブロック化回路２に対して、ＤＣＴ（Discrete Cosine Transform)回路３が接続され、ＤＣＴ回路３からは、一つのブロックと対応して、１個の直流成分の係数データＤＣと６３個の交流成分の係数データＡＣ１、ＡＣ２、・・・、ＡＣ６３とが発生する。一例として、ＤＣから開始して、より高次のＡＣ係数が順次出力されるジグザグ走査でもって、係数データが出力される。ＤＣＴは、入力ビデオ信号の周波数解析の一つの手段であって、ＦＦＴ、アダマール変換等を使用しても良い。
【００１５】
ＤＣＴ回路３からの係数データが係数解析回路４を介して分類回路５に供給される。これらの係数解析回路４および分類回路５は、周波数領域へ変換されたディジタルビデオ信号の定常成分と過渡成分とを分離するために、設けられている。分類回路５からは、周波数領域でのフラットな成分（すなわち、過渡成分）６ａと、インパルス状の成分（すなわち、定常成分）６ｂとが分離して現れる。
【００１６】
理解を容易とするために、係数データの値の一例を（ＤＣ＝５０、ＡＣ１＝４８、ＡＣ２＝４６、ＡＣ３＝４４、ＡＣ４＝４２、ＡＣ５＝６０、・・・・）と仮定する。係数解析回路４は、この係数データの解析を行い、ＡＣ５がインパルス状のものと判断する。つまり、ＡＣ５は、ＡＣ１、ＡＣ２、ＡＣ３、ＡＣ４の変化の傾向から４０となるはずである。それが６０の値となっているので、これは、２０の値、突出している。分類回路５は、周波数領域のフラットな成分（過渡成分であり、上述の例では、ＤＣ＝５０、ＡＣ１＝４８、ＡＣ２＝４６、ＡＣ３＝４４、ＡＣ４＝４２、ＡＣ５＝４０、・・・・）６ａと、周波数領域のインパルス状の成分（定常成分であり、上述の例では、ＤＣ＝０、ＡＣ１＝０、ＡＣ２＝０、ＡＣ３＝０、ＡＣ４＝０、ＡＣ５＝２０、・・・・）６ｂとを分離して出力する。
【００１７】
分類回路５からのフラット成分６ａが逆ＤＣＴ回路７に供給され、時間領域の信号に戻され、ブロック分解回路８に供給される。ブロック分解回路８からは、テレビジョンのラスター走査の順に戻されたディジタルビデオ信号が得られる。このディジタルビデオ信号が第２の処理回路としてのクラス分類適応処理回路９に供給される。この回路９は、後述のように、時間領域において解像度を高くするための処理回路である。フラット成分６ａは、時間領域の処理に適しており、回路９によって、解像度の補償を良好になしうる。
【００１８】
分類回路５からのインパルス状成分６ｂがゲイン変換回路１０に供給される。ゲイン変換回路１０に対しては、ブロック化回路２の出力信号がクラス分類のために供給される。ゲイン変換回路１０には、後述のように学習によって予め獲得されたゲイン変換比情報が格納されたメモリが設けられている。このように、係数データのゲインを変換比情報に従って調整することによって、周波数領域で高域成分が増強される。ゲイン変換回路１０の出力信号が逆ＤＣＴ回路１１に供給される。逆ＤＣＴ回路１１によって、時間領域に戻された信号がブロック分解回路１２に供給され、テレビジョンラスター走査の順のデータへ変換される。
【００１９】
ブロック分解回路１２の出力信号が位相補償回路１３を介して合成回路１４に供給され、合成回路１４にて、上述のクラス分類適応処理回路９の出力信号と合成される。この合成は、単純多重の処理である。そして、合成回路１４から出力端子１５には、解像度が補償されたディジタルビデオ信号、すなわち、ＨＤビデオ信号が得られる。
【００２０】
クラス分類適応処理回路９の一例を図３に示す。２１で示す入力端子に対しては、ブロック分解回路８からのディジタルビデオ信号が供給される。このディジタルビデオ信号は、ＳＤビデオ信号のフラット成分（過渡成分）であり、時間領域でインパルス状となる信号である。このディジタルビデオ信号が同時化回路２２に供給される。同時化回路２２の出力データがクラス分類回路２３に供給される。クラス分類回路２３の出力がマッピング表Ｍ１〜Ｍ４がそれぞれ蓄えられたメモリ２４ａ〜２４ｄにアドレス信号として供給される。
【００２１】
図４は、ＳＤ画像およびＨＤ画像の関係を部分的に示す。図４において、○の画素データがＳＤ画像のもので、×の画素データがＨＤ画像のものである。例えば１２個のＳＤ画像の画素データａ〜ｌから４個のＨＤ画像の画素データｙ１〜ｙ４が生成される。メモリ２４ａのマッピング表Ｍ１は、画素データｙ１を発生するためのもので、メモリ２４ｂ、２４ｃ、２４ｄのマッピング表Ｍ２、Ｍ３、Ｍ４は、画素データｙ２、ｙ３、ｙ４をそれぞれ発生するためのものである。
【００２２】
メモリ２４ａ〜２４ｄの読み出し出力がセレクタ２５に供給される。セレクタ２５は、セレクト信号発生回路２６の出力によって制御される。セレクト信号発生回路２６には、ＨＤ画像のサンプルクロックが入力端子２７から供給される。セレクタ２５によって、４個の画素データｙ１〜ｙ４が順番に選択され、これらの画素データが走査変換回路２８に供給される。走査変換回路２８は、ＨＤ画像の画素データをラスター走査の順に出力端子２９に発生する。出力画像の画素数は、入力ＳＤビデオ信号の画素数の４倍である。
【００２３】
メモリ２４ａ〜２４ｄに格納されるマッピング表Ｍ１〜Ｍ４は、予め学習によって生成される。マッピング表Ｍ１〜Ｍ４の生成のための構成の一例を図５に示す。図５中で、３１で示す入力端子にディジタルのＨＤビデオ信号が供給される。このＨＤビデオ信号は、マッピング表の生成を考慮した標準的な信号であることが好ましい。実際には、標準的な画像をＨＤビデオカメラにより撮像することによって、あるいは撮像信号をＨＤＶＴＲに記録することによって、ＨＤビデオ信号を得ることができる。
【００２４】
このＨＤビデオ信号が同時化回路３２に供給される。この同時化回路３２は、図４に示す位置関係を有する画素データａ〜ｌとｙ1 〜ｙ4 とを同時に出力する。画素データａ〜ｌがクラス分類回路３３に供給される。クラス分類回路３３は、階調、パターン等でＨＤ画素データｙ1 〜ｙ4 のクラス分けを行なう。このクラス分類回路３３の出力がマッピング表生成回路３４ａ〜３４ｄに対して共通に供給される。
【００２５】
同時化回路３２からの画素データｙ1 〜ｙ4 がマッピング表生成回路３４ａ〜３４ｄに対して供給される。マッピング表生成回路３４ａ〜３４ｄは、同一の構成を有している。マッピング表としては、２種類可能である。その一つは、ＨＤ画素の値ｙ1 、ｙ2 、ｙ3 またはｙ4 をＳＤ画素の値ａ〜ｌと係数ｗ1 〜ｗ12の線形結合で予測するためのもので、この場合には、クラス毎に係数ｗ1 〜ｗ12が定まる。他のものは、クラス毎に予測される、ＨＤ画素の値そのものである。
【００２６】
図５中のマッピング表作成回路３４ａ〜３４ｄにそれぞれ設けられたメモリには、ＨＤビデオ信号とＳＤビデオ信号との間の相関を示すマッピング表が蓄えられる。言い換えれば、ＳＤビデオ信号の複数のデータが与えられた時に、この複数のデータのクラスと、平均的に対応が取れたＨＤビデオ信号の画素データを出力するマッピング表が形成できる。
【００２７】
クラス分類回路３３は、図３のクラス分類回路２３と同様に、注目画素データをクラス分類し、クラス情報を発生する。クラス分類としては、階調によるクラス分類、パターンによるクラス分類等を使用できる。階調を使用する時には、画素データが８ビットであると、クラスの個数が極めて多くなるので、各画素のビット数をＡＤＲＣ等の高能率符号化で減少させることが好ましい。パターンを使用する時には、４画素で構成される複数のパターン（例えば平坦、右上に値が上昇、右下に値が減少、等）を用意し、同時化回路３２の出力データを複数のパターンのいずれかにクラス分けする。
【００２８】
ＨＤ画素データｙ1 を求めるマッピング表作成回路３４ａを例にとると、クラス分類回路３３からのクラス情報がアドレスとして供給されるメモリが設けられる。トレーニング（学習）時では、原ＨＤビデオ信号を間引き処理することによって、ＳＤビデオ信号を形成する。水平方向の間引き処理（サブサンプリング）および垂直方向の間引き処理（サブライン）がなされる。１フレーム以上のＨＤビデオ信号例えば静止画像が使用される。メモリには、クラス情報と対応する各アドレスに対して、画素データａ〜ｌおよびｙ1 のサンプル値が書込まれる。例えばメモリのアドレスＡＤ０には、（ａ10、ａ20、・・・、ａn0）（ｂ10、ｂ20、・・・、ｂn0）・・・・（ｌ10、ｌ20、・・・、ｌn0）（ｙ10、ｙ20、・・・、ｙn0）が蓄えられる。
【００２９】
このように蓄えられた学習データがメモリから読出され、ＳＤ画素の値ａ〜ｌと係数ｗ1 〜ｗ12の線形１次結合で得られるＨＤ画素（ｙ1 に対応する）予測値と真値との誤差を最小とする係数が最小二乗法によって求められる。一つのメモリのアドレスに蓄えられた学習データに注目すると、このアドレスに関しては、下記の連立方程式が成り立つ。
【００３０】
ｙ10＝ｗ1 ａ10＋ｗ2 ｂ10＋ｗ3 ｃ10＋・・・・・・＋ｗ12ｌ10
ｙ20＝ｗ1 ａ20＋ｗ2 ｂ20＋ｗ3 ｃ20＋・・・・・・＋ｗ12ｌ20
ｙ30＝ｗ1 ａ30＋ｗ2 ｂ30＋ｗ3 ｃ30＋・・・・・・＋ｗ12ｌ30
・
・
・
ｙn0＝ｗ1 ａn0＋ｗ2 ｂn0＋ｗ3 ｃn0＋・・・・・・＋ｗ12ｌn0
【００３１】
ここで、ｙ10〜ｙn0、ａ10〜ａn0、ｂ10〜ｂn0、ｃ10〜ｃn0、・・・・、ｌ10〜ｌn0が既知であるので、ｙ10〜ｙn0（真値）に対する予測値の誤差の二乗を最小とするような係数ｗ1 〜ｗ12を求めることができる。他のクラス（アドレス）についても同様に係数を決定することができる。このように決定された係数がメモリに格納され、マッピング表として使用される。
【００３２】
係数に限らず、クラス毎にＨＤビデオ信号のデータの値をトレーニングによって求め、メモリに格納しても良い。例えば図６は、そのための構成を示す。クラス分類回路３３からのクラス情報がアドレスとして供給されるデータメモリ４０および度数メモリ４１が設けられる。
【００３３】
度数メモリ４１の読出し出力が加算器４２に供給され、＋１され、加算器４２の出力がメモリ４１の同一アドレスに書込まれる。メモリ４０および４１は、初期状態として各アドレスの内容がゼロにクリアされる。
【００３４】
データメモリ４０から読出されたデータが乗算器４３に供給され、度数メモリ４１から読出された度数と乗算される。乗算器４３の出力が加算器４４に供給され、加算器４４にて入力データｙと加算される。加算器４４の出力が割算器４５に除数として供給される。この割算器４５の出力（商）がデータメモリ４０に入力データとされる。
【００３５】
上述の図６の構成において、あるアドレスが最初にアクセスされる時には、メモリ４０および４１の読出し出力が０であるため、データｙ10がそのままメモリ４０に書込まれ、メモリ４１の対応するアドレスの値が１とされる。若し、その後で、このアドレスが再びアクセスされると、加算器４２の出力が２であり、加算器４４の出力が（ｙ10＋ｙ20）である。従って、割算器４５の出力が（ｙ10＋ｙ20）／２であり、これがメモリ４０に書込まれる。さらに、その後で、上述のアドレスがアクセスされると、同様の動作によって、メモリ４０のデータが（ｙ10＋ｙ20＋ｙ30）／３に変更され、度数も３に更新される。
【００３６】
上述の動作を所定期間行なうことによって、メモリ４０には、クラス分類回路３３の出力によってクラスが指定されると、そのときのデータが出力されるようなマッピング表が蓄えられる。言い換えれば、入力ビデオ信号の複数の画素データが与えられた時に、それをクラス分類したものと平均的に対応がとれたデータを出力するマッピング表が形成できる。
【００３７】
クラス分類適応処理回路９についてより詳細に説明すると、クラス分類適応処理回路９は、上述のように、線形１次結合の係数をトレーニングによって、予め決定する。このトレーニング時には、図７の構成が使用される。図７において、５１は、入力端子で、標準的なＨＤ信号の静止画像を多数枚入力され、垂直間引きフィルタ５２と学習部５４へ供給される。垂直間引きフィルタ５２は、ＨＤ画像を垂直方向に１／２に間引きし。垂直間引きフィルタ５２と接続されるて水平間引きフィルタ５３で水平方向に１／２に間引きを行ない、ＳＤ信号と同等の画素の静止画像を学習部５４に供給する。メモリ５５は、学習部５４で作成されたクラスコードと学習結果を記憶する。
【００３８】
この例では、図８に示すように、ＨＤ画素とＳＤ画素の位置関係が規定される。図８に示すように、ＳＤ画素（３×３）ブロックを用いる場合、ＳＤ画素ａ〜ｉとＨＤ画素Ａ，Ｂ，Ｃ，Ｄが一組の学習データとなる。１フレームに関して複数組の学習データが存在し、且つ、フレーム数を増加させることにより非常に多数の組の学習データを利用できる。
【００３９】
ここで図９は、学習部５４において、線形１次結合の係数を決定する場合に、その処理をソフトウェアで行なう時の動作を示すフローチャートである。ステップ６１から学習部の制御が開始され、ステップ６２の対応データブロック化では、ＨＤ信号とＳＤ信号が供給され、図８に示すような配列関係にあるＨＤ画素およびＳＤ画素を取り出す処理を行なう。ステップ６３のデータ終了では、入力された全データ例えば１フレームのデータの処理が終了していれば、ステップ６６の予測係数決定へ、終了していなければ、ステップ６４のクラス決定へ制御が移る。
【００４０】
ステップ６４のクラス決定では、ＳＤ信号の信号パターンからクラスを決める。この制御では、ビット数削減のために、ＡＤＲＣを用いることができる。ステップ６５の正規方程式加算では、後述するような方程式を作成する。
【００４１】
ステップ６３のデータ終了から全データの処理が終了後、制御がステップ６６に移り、ステップ６６の予測係数決定では、後述する方程式を行列解法を用いて解いて、予測係数を決める。ステップ６７の予測係数ストアで、予測係数をメモリにストアし、ステップ６８で学習部の制御が終了する。メモリ内には、ＳＤ信号で決定されるクラスをアドレスとして、そのクラスの予測係数が記憶される。クラスおよび予測係数が上述したマッピング表と対応する。
【００４２】
図８中のＨＤ画素とＳＤ画素の関係を規定するための係数を求める処理をより詳細に説明する。一般的にＳＤ画素レベルをｘ1 〜ｘn とし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数ｗ1 〜ｗn によるｎタップの線形推定式
ｙ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn （１）
を設定する。学習前はｗi が未定係数である。
【００４３】
上述のように、学習はクラス毎に複数のＨＤデータおよびＳＤデータに対して行なう。データ数がｍの場合、式１に従って、
ｙj ´＝ｗ1 ｘj 1 ＋ｗ2 ｘ2 ２＋‥‥＋ｗn ｘjn （２）
（但し、ｊ＝１，２，‥‥ｍ）
【００４４】
ｍ＞ｎの場合、ｗ1 〜ｗn は一意には決まらないので、誤差ベクトルｅの要素を
ｅj ＝ｙj −（ｗ1 ｘj1＋ｗ2 ｘj2＋‥‥＋ｗn ｘjn） （３）
（但し、ｊ＝１，２，‥‥ｍ）
と定義して、次の式４を最小にする係数を求める。
【００４５】
【数１】
【００４６】
いわゆる最小自乗法による解法である。ここで式３のｗi による偏微分係数を求める。
【００４７】
【数２】
【００４８】
式６を０にするように各ｗi を決めればよいから、
【００４９】
【数３】
【００５０】
として、行列を用いると
【００５１】
【数４】
【００５２】
となり、掃き出し法等の一般的な行列解法を用いて、この式８を解けば予測係数ｗi が求まり、クラスコードをアドレスとして、この予測係数ｗi をメモリに格納しておく。
【００５３】
以上のように学習部が実データであるＨＤ信号を用いて予測係数ｗi を獲得することができ、これをメモリに格納しておく。そして、任意の入力されたＳＤ信号からクラス情報を形成し、クラス情報と対応する予測係数をメモリから読出し、注目画素の周辺のＳＤ画素の値と予測係数の線形１次結合によって、注目画素の値を形成することができ、任意の入力ＳＤ画像に対して出力ＨＤ画像を生成することができる。
【００５４】
学習部５４が予測係数ではなく、クラス毎の代表値を決定する時には、図１０のフローチャートで示すような処理がなされる。開始のステップ７１、学習データ形成のステップ７２およびデータ終了のステップ７３およびクラス決定のステップ７４は、上述した図９中のステップ６１、６２、６３および６４と同様のものである。
【００５５】
正規化のステップ７５では、画素の値の正規化がなされる。すなわち、ＨＤ画素の値（入力値）をｙとすると、（ｙ−base）／ＤＲの演算により入力データが正規化される。ここで、ＤＲは、図８に示す画素配列において、ａ〜ｉを１ブロックとする時に、この１ブロック内の画素の最大値と最小値の差（ダイナミックレンジＤＲ）である。また、baseは、ブロックの基準値であり、例えばブロックの画素の最小値である。最小値以外にブロック内の画素値の平均値を使用しても良い。この正規化によって、画素の相対的レベルに注目することができる。
【００５６】
代表値決定のステップ７６では、図６の場合と同様にしてそのクラスの累積度数n(c)を求め、また、代表値g(c)を求める。すなわち、新たに形成される代表値g(c)´は、
g(c)´＝｛（ｙ−base）／ＤＲ＋n(c)×g(c)｝／n(c+1) （９）
である。このように求められたクラス毎の代表値がメモリに格納される。
【００５７】
また、クラス分けのための情報圧縮手段としては、ＡＤＲＣ回路の代わりに例えば、ＤＣＴ（Discrete Cosine Transform ）、ＶＱ（ベクトル量子化）、あるいはＤＰＣＭ（予測符号化）回路を設ける等のように、データ圧縮を行なえることができる手段であれば何を設けるかは適宜選択可能である。
【００５８】
上述したように、クラス分類適応処理回路９は、時間領域において、実際の画像の性質に基づいてＳＤ信号およびＨＤ信号の対応関係を学習し、その学習からＳＤ信号に対応するＨＤ信号を生成することができる。また、ＳＤ信号のレベル分布に応じて適応的にクラスを選択するため、画像の局所的性質に追従したアップコンバージョンが可能となる。さらに、補間フィルタを用いたものと異なり、解像度の補償されたＨＤ信号を得ることができる。
【００５９】
さて、図１に戻ると、分類回路５からの周波数領域でインパルス状の成分６ｂが供給される、第１の処理回路としてのゲイン変換回路１０は、周波数領域で解像度を補償するものである。すなわち、ゲイン変換は、図１１に示すように、もともとは、高域まで周波数特性が拡大していた信号の高域のゲインが信号処理によって低下することを補償するものである。ゲイン変換回路１０は、クラス分類適応処理回路９と同様に、予め学習によって、高域を補償するためのマッピング表が格納されたメモリを有している。このマッピング表としては、上述した時間領域のクラス分類適応処理回路９と同様に、ゲイン変換比を出力するものと、ゲインの予測値を出力するものとの２種類可能である。
【００６０】
図１２は、ゲイン変換回路１０内のマッピング表を作成するための学習時の構成を示す。８１で示す入力端子に、学習に使用するＨＤビデオデータが供給され、サブライン／サブサンプル回路８２に供給される。この回路８２は、垂直方向の間引き（サブライン）と水平方向の間引き（サブサンプル）とを行なう。従って、サブライン／サブサンプル回路８２からは、ＳＤビデオ信号と同程度の解像度を有するビデオ信号が発生する。
【００６１】
サブライン／サブサンプル回路８２に対して遅延回路８３およびＤ／Ａ変換器９０が接続される。遅延回路８３は、クラス分類がなされるまで、入力データを遅延させ、タイミングを合わせるためのものである。遅延回路８３に対してブロック化回路８４が接続され、例えば（４×４）のブロック構造のデータが同時化される。ブロック化回路８４の出力がＤＣＴ回路８５に供給され、コサイン変換がされる。ＤＣＴ回路８５からは、直流成分の係数データから開始して、交流分の係数データが低次から高次のものの順番（ジグザク走査）で係数データが発生する。
【００６２】
ＤＣＴ回路８５からの係数データが割算回路８６に供給される。この割算回路８６は、高域を補償するために必要とされる、係数データに対するゲイン変換比を求めるために設けられている。割算回路８６からのゲイン変換比信号がメモリ８７に供給される。メモリ８７は、複数のＤＣＴ係数とそれぞれ対応してゲイン変換比を記憶するために、複数枚の構成とされている。
【００６３】
信号処理の結果生じる、ＳＤビデオ信号の高域の劣化を調べるために、Ｄ／Ａ変換器９０によりアナログ信号とされたＳＤビデオ信号がアナログ伝送系９１に供給される。アナログ伝送系９１は、例えばアナログＶＴＲの記録および再生プロセスである。アナログ伝送系９１を介されたビデオ信号がＡ／Ｄ変換器９２によってディジタル信号とされ、ブロック化回路９３に供給される。
【００６４】
ブロック化回路９３によって、ブロック化回路８４の出力データと同様のブロック構造のディジタルビデオデータが形成される。ブロック化回路９３の出力データがＤＣＴ回路９４およびクラス分類回路９５に供給される。ＤＣＴ回路９４からの係数データが割算回路８６に対して供給される。同じ次数の係数データに関して、割算処理がなされ、係数データに関するゲイン変換比信号が割算回路８６で生成される。すなわち、アナログ伝送系９１を通ると、高域周波数成分が失われるが、それによって、ＤＣＴの係数データの各成分のゲイン（値）がどのように変化するかがゲイン変換比信号によって指示される。
【００６５】
例えばＤＣＴ回路８５からＤＣ、ＡＣ１〜ＡＣ１５の係数データが発生し、ＤＣＴ回路９４からＤＣ´、ＡＣ１´〜ＡＣ１５´の係数データが発生する場合を考える。割算回路８６では、下記の演算によってゲイン変換比信号Ｇ0 、Ｇ1 、・・・・、Ｇ15が形成される。
Ｇ0 ＝ＤＣ／ＤＣ´、Ｇ1 ＝ＡＣ／ＡＣ´、・・・、Ｇ15＝ＡＣ15／ＡＣ15´
【００６６】
図１２では、簡単のために省略しているが、各係数に関して発生する複数のゲイン変換比信号を平均化することによって、最終的なゲイン変換比信号が求められ、これがメモリ８７に記憶される。
【００６７】
このようなゲイン変換比信号は、高域が減衰したビデオデータの係数データに対して、乗じられることによって、高域が補償されたビデオデータの係数データを生成することを可能とする。図１中のゲイン変換回路１０は、予め学習により得られたゲイン変換比信号が記憶されているメモリを有し、係数データとゲイン変換比信号とを乗じることによって、係数データの値を変更する。これによって、高域の補償を行なうことができる。
【００６８】
クラス分類回路９５は、ブロック化回路９３からのブロックデータのレベル分布に応じたクラス分けを行なう。このクラス分けのために、上述したように、ＡＤＲＣ等のデータ圧縮を行なうことが好ましい。クラス分類回路９５で得られたクラス情報がメモリ８７に対して、メモリ内アドレスとして供給される。メモリ８７は、直流分の係数データと、全ての次数の交流分の係数データとのそれぞれと対応して複数枚の構成とされ、複数枚のメモリのそれぞれが対応する係数データに関してゲイン変換比信号を記憶する。
【００６９】
係数データと対応して、複数枚のメモリを切り換えるためのアドレスは、アドレスカウンタ８８により形成される。アドレスカウンタ８８は、入力端子８９からのクロック信号をカウントし、順次変化するアドレスを発生する。この場合、ブロック化回路８４からの係数データと同期してアドレスが変化する。そして、複数の種類のＨＤビデオ信号が入力端子８１に供給され、クラス毎に最適なゲイン変換比信号が形成され、これがメモリ８７に記憶される。
【００７０】
また、ゲイン変換比の代わりに、予測されるＤＣＴ係数の値を学習によって、求めることも可能である。
【００７１】
メモリ８７に格納されたゲイン変換比信号と同一のものが図１のゲイン変換回路１０に設けられたメモリ内に記憶されている。また、ブロック化回路２の出力信号がクラス分類のためにゲイン変換回路１０に供給されている。ゲイン変換回路１０において、ＤＣＴ係数データの各成分とゲイン変換比信号とが乗じられ、ゲイン調整がなされる。これによって、周波数領域の高域の補償がなされる。ここで、ゲイン変換回路１０に対しては、周波数領域でインパルス状成分６ｂが供給されている。その理由は、若し、フラット成分をも含む種々の成分からなる信号を変換しようとすると、非線形成分が混入して精度が悪化し、正しいゲイン変換ができない問題が生じるからである。同様の理由で、上述の図１２に示す学習時においても、インパルス状の信号が使用される。
【００７２】
【発明の効果】
この発明は、単なる補間フィルタによる補間と異なり、高域成分を創造することによって、解像度が入力ビデオ信号のものより高い、出力ビデオ信号を形成することができる。そして、この発明は、入力ビデオ信号を時間領域における表現に適した成分と、周波数領域における表現に適した成分とを分け、各成分を並行して処理し、各領域の処理の結果を合成するので、各領域の処理を２段階に行なうのと比較して、処理時間の短縮化、ハードウエアの規模の減少、精度の向上等の利点を得ることができる。
【図面の簡単な説明】
【図１】この発明の一実施例の全体的なブロック図である。
【図２】この発明の一実施例によりなされる解像度補償を説明するための略線図である。
【図３】この発明の一実施例におけるクラス分類適応処理回路の一例のブロック図である。
【図４】ＳＤ画像とＨＤ画像との間の画素の配列を示す略線図である。
【図５】予測係数が格納されたマッピング表を作成するための構成の一例のブロック図である。
【図６】予測値が格納されたマッピング表を作成するための構成の一例のブロック図である。
【図７】予測係数あるいは予測値を形成するための学習時の構成の一例のブロック図である。
【図８】ＳＤ画像とＨＤ画像との間の画素の配列の他の例を示す略線図である。
【図９】予測係数を形成するための学習時の処理を示すフローチャートである。
【図１０】予測値を形成するための学習時の処理を示すフローチャートである。
【図１１】周波数領域での高域補償を説明するための略線図である。
【図１２】周波数領域での高域補償用のゲイン変換比を学習するためのブロック図である。
【図１３】時間領域におけるインパルス状成分およびフラット成分をそれぞれ示す略線図である。
【図１４】周波数領域におけるインパルス状成分およびフラット成分をそれぞれ示す略線図である。
【図１５】時間領域におけるインパルス状成分およびフラット成分の両者を含む信号波形の略線図である。
【符号の説明】
１ 高解像度のディジタル画像信号の入力端子
３ ＤＣＴ回路
５ 周波数領域でのフラット成分およびインパルス状成分を分離する分類回路
７、１１ 逆ＤＣＴ回路
９ クラス分類適応処理回路
１０ ゲイン変換回路
【産業上の利用分野】
この発明は、ディジタル画像信号の解像度をより高いものとすることができる解像度補償可能な画像変換装置および方法に関する。
【０００２】
【従来の技術】
従来、標準解像度のビデオ信号（ＳＤ信号）を高解像度のビデオ信号（ＨＤ信号）へ変換（所謂、アップコンバージョン）を行なう場合、補間フィルタによって、水平および垂直方向の画素数が２倍としていた。しかしながら、単に補間によっては、入力信号以上の解像度をつくり出すことができない。
【０００３】
この問題を解決するために、ＨＤ信号の注目画素を周辺のＳＤ画素を使用してクラス分けし、予め学習によって求めておいた、そのクラスの予測係数と複数のＳＤ画素の線形１次結合によって、注目ＨＤ画素の値を形成する解像度補償装置が提案されている。この処理は、それ自身有効であるが、時間領域における処理であるため、これらの領域において、特徴が良く表現できる信号に対して、高精度の処理が可能である。逆の場合には、精度が不充分な問題等が生じる。
【０００４】
時間領域の処理および周波数領域の処理の問題について、一般的に述べると、ディジタル画像信号、ディジタルオーディオ信号等の信号処理を行なう時に、時間領域あるいは周波数領域のいずれかで信号処理を行なうのが普通であった。周波数領域の処理は、信号の定常特性を良く表現できるが、過渡特性の表現には不向きであった。一方、時間領域の処理は、過渡特性を表現するのに適しているが、定常特性を表現するには不向きであった。ここで、定常特性とは、安定した繰り返しの変化を意味し、過渡特性とは、孤立した１回限りの変化を意味する。
【０００５】
一例として、図１３は、時間領域処理の場合を示す。図１３Ａに示すように、過渡特性は、時間軸に対して、その変化が激しい波形（インパルス状の波形）となり、これは、例えば数個のサンプル程度を使用することによって、充分処理することができる。波形中のドットは、サンプリング位置を示し、ディジタル信号の場合は、各サンプリング位置のレベルと対応するサンプリング値を有する離散的信号系列である。但し、図においては、以下も同様であるが、アナログ信号波形でもって表すことにする。一方、定常特性は、時間軸上で図１３Ｂに示すような変化がゆるやかな波形（フラットな波形）となり、これは、数個程度のサンプルを使用しても、波形の特徴が分からず、充分な処理ができない。
【０００６】
次に、周波数領域で考えると、定常特性は、含まれる周波数成分が単一あるいは少ないので、図１４Ａに示すようなインパルス状の波形となる。一方、過渡特性は、図１４Ｂに示すようなフラットな波形となる。上述と同様に、インパルス状の波形の方が信号の特徴をとらえるのに適している。
【０００７】
一般的な信号波形は、時間軸に対しては、図１５に示すように、定常特性（フラット）の部分ＦＬ１、ＦＬ２、ＦＬ３、・・・と過渡特性（インパルス）の部分ＩＭ１、ＩＭ２、・・・とが混在したものである。従って、時間領域処理と周波数領域処理との一方のみを行なうことによっては、信号の特徴を正しく反映した処理を行なうことが難しい。そのために、同一の信号に対して、時間領域処理と周波数領域処理とを行なう必要が生じ、処理時間が長くなったり、処理のためのハードウエアの規模が大きくなる問題があった。
【０００８】
従って、この発明の目的は、解像度補償の処理を行なう時に、ディジタル画像信号の定常特性の部分に対しては、周波数領域で処理し、その過渡特性の部分に対しては、時間領域で処理することができ、精度の向上、処理時間の短縮化、処理のためのハードウエアの規模の減少等が可能な解像度補償可能な画像変換装置および変換方法を提供することにある。
【０００９】
【課題を解決するための手段】
請求項１の発明は、第１のディジタル画像信号を周波数領域において分析する分析手段と、
分析手段の出力に基づいて、第１のディジタル画像信号を分類する分類手段と、
第１の解像度に比べてより高い第２の解像度を有する第２のディジタル画像信号を形成するために、分類手段によって分類されたそれぞれの信号を、第１のディジタル画像信号に基づく特性に応じて、適応的に処理する第１及び第２の処理手段と、
第１及び第２の処理手段の出力を合成する合成手段とからなることを特徴とする解像度補償可能な画像変換装置である。
【００１０】
請求項７の発明は、第１の解像度を有する第１のディジタル画像信号を周波数分析する分析手段と、
分析手段の出力から周波数領域でインパルス状成分の信号とフラット成分の信号とを分離する分離手段と、
分離手段からインパルス状成分の信号が供給され、第１の解像度に比べてより高い第２の解像度を有する第２のディジタル画像信号を形成するために、そのインパルス状成分の信号を周波数領域で処理する第１の処理手段と、
第１の処理手段からの出力を時間領域信号に変換する第１の変換手段と、
分離手段からフラット成分の信号が供給され、フラット成分の信号を時間領域信号に変換する第２の変換手段と、
第２の変換手段から時間領域信号が供給され、第１の解像度に比べてより高い第２の解像度を有する第２のディジタル画像信号を形成するために、時間領域信号を時間領域で処理する第２の処理手段と、
第１の変換手段の出力と第２の処理手段の出力を合成する合成手段とからなることを特徴とする解像度補償可能な画像変換装置である。
【００１１】
解像度を補償する時に、入力ＳＤ信号を周波数領域でインパルス状成分と、フラット成分に分けられる。インパルス状成分は、周波数領域において、解像度補償の処理を行なう処理回路に供給され、フラット成分は、時間領域において、解像度補償の処理を行なう処理回路に供給される。そして、各処理回路で処理された結果の信号が時間領域上で合成され、解像度補償がなされたビデオ信号（ＨＤ信号）が得られる。
【００１２】
【実施例】
以下、この発明によるディジタルビデオ信号の解像度補償装置の一実施例について説明する。解像度補償とは、図２Ａにおいて、もともと２０ａの周波数特性で示すような広帯域のビデオ信号がフィルタリング処理等によって、２０ｂの周波数特性で示すように、帯域が狭くなったことを補償し、すなわち、斜線部分の成分を作り出すことによって、図２Ｂに示す広帯域のビデオ信号へ変換することである。
【００１３】
この一実施例の全体的構成を示す図１において、１で示す入力端子に対して標準解像度のディジタルビデオ信号（ＳＤビデオ信号と称する）が供給される。また、高解像度のディジタルビデオ信号をＨＤビデオ信号と称する。入力ＳＤビデオ信号の例は、ＳＤＶＴＲの再生信号、放送信号等である。入力ＳＤビデオ信号がブロック化回路２に供給され、テレビジョンラスターの順序のビデオ信号が例えば（８×８）のブロック構造の信号に走査変換される。
【００１４】
ブロック化回路２に対して、ＤＣＴ（Discrete Cosine Transform)回路３が接続され、ＤＣＴ回路３からは、一つのブロックと対応して、１個の直流成分の係数データＤＣと６３個の交流成分の係数データＡＣ１、ＡＣ２、・・・、ＡＣ６３とが発生する。一例として、ＤＣから開始して、より高次のＡＣ係数が順次出力されるジグザグ走査でもって、係数データが出力される。ＤＣＴは、入力ビデオ信号の周波数解析の一つの手段であって、ＦＦＴ、アダマール変換等を使用しても良い。
【００１５】
ＤＣＴ回路３からの係数データが係数解析回路４を介して分類回路５に供給される。これらの係数解析回路４および分類回路５は、周波数領域へ変換されたディジタルビデオ信号の定常成分と過渡成分とを分離するために、設けられている。分類回路５からは、周波数領域でのフラットな成分（すなわち、過渡成分）６ａと、インパルス状の成分（すなわち、定常成分）６ｂとが分離して現れる。
【００１６】
理解を容易とするために、係数データの値の一例を（ＤＣ＝５０、ＡＣ１＝４８、ＡＣ２＝４６、ＡＣ３＝４４、ＡＣ４＝４２、ＡＣ５＝６０、・・・・）と仮定する。係数解析回路４は、この係数データの解析を行い、ＡＣ５がインパルス状のものと判断する。つまり、ＡＣ５は、ＡＣ１、ＡＣ２、ＡＣ３、ＡＣ４の変化の傾向から４０となるはずである。それが６０の値となっているので、これは、２０の値、突出している。分類回路５は、周波数領域のフラットな成分（過渡成分であり、上述の例では、ＤＣ＝５０、ＡＣ１＝４８、ＡＣ２＝４６、ＡＣ３＝４４、ＡＣ４＝４２、ＡＣ５＝４０、・・・・）６ａと、周波数領域のインパルス状の成分（定常成分であり、上述の例では、ＤＣ＝０、ＡＣ１＝０、ＡＣ２＝０、ＡＣ３＝０、ＡＣ４＝０、ＡＣ５＝２０、・・・・）６ｂとを分離して出力する。
【００１７】
分類回路５からのフラット成分６ａが逆ＤＣＴ回路７に供給され、時間領域の信号に戻され、ブロック分解回路８に供給される。ブロック分解回路８からは、テレビジョンのラスター走査の順に戻されたディジタルビデオ信号が得られる。このディジタルビデオ信号が第２の処理回路としてのクラス分類適応処理回路９に供給される。この回路９は、後述のように、時間領域において解像度を高くするための処理回路である。フラット成分６ａは、時間領域の処理に適しており、回路９によって、解像度の補償を良好になしうる。
【００１８】
分類回路５からのインパルス状成分６ｂがゲイン変換回路１０に供給される。ゲイン変換回路１０に対しては、ブロック化回路２の出力信号がクラス分類のために供給される。ゲイン変換回路１０には、後述のように学習によって予め獲得されたゲイン変換比情報が格納されたメモリが設けられている。このように、係数データのゲインを変換比情報に従って調整することによって、周波数領域で高域成分が増強される。ゲイン変換回路１０の出力信号が逆ＤＣＴ回路１１に供給される。逆ＤＣＴ回路１１によって、時間領域に戻された信号がブロック分解回路１２に供給され、テレビジョンラスター走査の順のデータへ変換される。
【００１９】
ブロック分解回路１２の出力信号が位相補償回路１３を介して合成回路１４に供給され、合成回路１４にて、上述のクラス分類適応処理回路９の出力信号と合成される。この合成は、単純多重の処理である。そして、合成回路１４から出力端子１５には、解像度が補償されたディジタルビデオ信号、すなわち、ＨＤビデオ信号が得られる。
【００２０】
クラス分類適応処理回路９の一例を図３に示す。２１で示す入力端子に対しては、ブロック分解回路８からのディジタルビデオ信号が供給される。このディジタルビデオ信号は、ＳＤビデオ信号のフラット成分（過渡成分）であり、時間領域でインパルス状となる信号である。このディジタルビデオ信号が同時化回路２２に供給される。同時化回路２２の出力データがクラス分類回路２３に供給される。クラス分類回路２３の出力がマッピング表Ｍ１〜Ｍ４がそれぞれ蓄えられたメモリ２４ａ〜２４ｄにアドレス信号として供給される。
【００２１】
図４は、ＳＤ画像およびＨＤ画像の関係を部分的に示す。図４において、○の画素データがＳＤ画像のもので、×の画素データがＨＤ画像のものである。例えば１２個のＳＤ画像の画素データａ〜ｌから４個のＨＤ画像の画素データｙ１〜ｙ４が生成される。メモリ２４ａのマッピング表Ｍ１は、画素データｙ１を発生するためのもので、メモリ２４ｂ、２４ｃ、２４ｄのマッピング表Ｍ２、Ｍ３、Ｍ４は、画素データｙ２、ｙ３、ｙ４をそれぞれ発生するためのものである。
【００２２】
メモリ２４ａ〜２４ｄの読み出し出力がセレクタ２５に供給される。セレクタ２５は、セレクト信号発生回路２６の出力によって制御される。セレクト信号発生回路２６には、ＨＤ画像のサンプルクロックが入力端子２７から供給される。セレクタ２５によって、４個の画素データｙ１〜ｙ４が順番に選択され、これらの画素データが走査変換回路２８に供給される。走査変換回路２８は、ＨＤ画像の画素データをラスター走査の順に出力端子２９に発生する。出力画像の画素数は、入力ＳＤビデオ信号の画素数の４倍である。
【００２３】
メモリ２４ａ〜２４ｄに格納されるマッピング表Ｍ１〜Ｍ４は、予め学習によって生成される。マッピング表Ｍ１〜Ｍ４の生成のための構成の一例を図５に示す。図５中で、３１で示す入力端子にディジタルのＨＤビデオ信号が供給される。このＨＤビデオ信号は、マッピング表の生成を考慮した標準的な信号であることが好ましい。実際には、標準的な画像をＨＤビデオカメラにより撮像することによって、あるいは撮像信号をＨＤＶＴＲに記録することによって、ＨＤビデオ信号を得ることができる。
【００２４】
このＨＤビデオ信号が同時化回路３２に供給される。この同時化回路３２は、図４に示す位置関係を有する画素データａ〜ｌとｙ1 〜ｙ4 とを同時に出力する。画素データａ〜ｌがクラス分類回路３３に供給される。クラス分類回路３３は、階調、パターン等でＨＤ画素データｙ1 〜ｙ4 のクラス分けを行なう。このクラス分類回路３３の出力がマッピング表生成回路３４ａ〜３４ｄに対して共通に供給される。
【００２５】
同時化回路３２からの画素データｙ1 〜ｙ4 がマッピング表生成回路３４ａ〜３４ｄに対して供給される。マッピング表生成回路３４ａ〜３４ｄは、同一の構成を有している。マッピング表としては、２種類可能である。その一つは、ＨＤ画素の値ｙ1 、ｙ2 、ｙ3 またはｙ4 をＳＤ画素の値ａ〜ｌと係数ｗ1 〜ｗ12の線形結合で予測するためのもので、この場合には、クラス毎に係数ｗ1 〜ｗ12が定まる。他のものは、クラス毎に予測される、ＨＤ画素の値そのものである。
【００２６】
図５中のマッピング表作成回路３４ａ〜３４ｄにそれぞれ設けられたメモリには、ＨＤビデオ信号とＳＤビデオ信号との間の相関を示すマッピング表が蓄えられる。言い換えれば、ＳＤビデオ信号の複数のデータが与えられた時に、この複数のデータのクラスと、平均的に対応が取れたＨＤビデオ信号の画素データを出力するマッピング表が形成できる。
【００２７】
クラス分類回路３３は、図３のクラス分類回路２３と同様に、注目画素データをクラス分類し、クラス情報を発生する。クラス分類としては、階調によるクラス分類、パターンによるクラス分類等を使用できる。階調を使用する時には、画素データが８ビットであると、クラスの個数が極めて多くなるので、各画素のビット数をＡＤＲＣ等の高能率符号化で減少させることが好ましい。パターンを使用する時には、４画素で構成される複数のパターン（例えば平坦、右上に値が上昇、右下に値が減少、等）を用意し、同時化回路３２の出力データを複数のパターンのいずれかにクラス分けする。
【００２８】
ＨＤ画素データｙ1 を求めるマッピング表作成回路３４ａを例にとると、クラス分類回路３３からのクラス情報がアドレスとして供給されるメモリが設けられる。トレーニング（学習）時では、原ＨＤビデオ信号を間引き処理することによって、ＳＤビデオ信号を形成する。水平方向の間引き処理（サブサンプリング）および垂直方向の間引き処理（サブライン）がなされる。１フレーム以上のＨＤビデオ信号例えば静止画像が使用される。メモリには、クラス情報と対応する各アドレスに対して、画素データａ〜ｌおよびｙ1 のサンプル値が書込まれる。例えばメモリのアドレスＡＤ０には、（ａ10、ａ20、・・・、ａn0）（ｂ10、ｂ20、・・・、ｂn0）・・・・（ｌ10、ｌ20、・・・、ｌn0）（ｙ10、ｙ20、・・・、ｙn0）が蓄えられる。
【００２９】
このように蓄えられた学習データがメモリから読出され、ＳＤ画素の値ａ〜ｌと係数ｗ1 〜ｗ12の線形１次結合で得られるＨＤ画素（ｙ1 に対応する）予測値と真値との誤差を最小とする係数が最小二乗法によって求められる。一つのメモリのアドレスに蓄えられた学習データに注目すると、このアドレスに関しては、下記の連立方程式が成り立つ。
【００３０】
ｙ10＝ｗ1 ａ10＋ｗ2 ｂ10＋ｗ3 ｃ10＋・・・・・・＋ｗ12ｌ10
ｙ20＝ｗ1 ａ20＋ｗ2 ｂ20＋ｗ3 ｃ20＋・・・・・・＋ｗ12ｌ20
ｙ30＝ｗ1 ａ30＋ｗ2 ｂ30＋ｗ3 ｃ30＋・・・・・・＋ｗ12ｌ30
・
・
・
ｙn0＝ｗ1 ａn0＋ｗ2 ｂn0＋ｗ3 ｃn0＋・・・・・・＋ｗ12ｌn0
【００３１】
ここで、ｙ10〜ｙn0、ａ10〜ａn0、ｂ10〜ｂn0、ｃ10〜ｃn0、・・・・、ｌ10〜ｌn0が既知であるので、ｙ10〜ｙn0（真値）に対する予測値の誤差の二乗を最小とするような係数ｗ1 〜ｗ12を求めることができる。他のクラス（アドレス）についても同様に係数を決定することができる。このように決定された係数がメモリに格納され、マッピング表として使用される。
【００３２】
係数に限らず、クラス毎にＨＤビデオ信号のデータの値をトレーニングによって求め、メモリに格納しても良い。例えば図６は、そのための構成を示す。クラス分類回路３３からのクラス情報がアドレスとして供給されるデータメモリ４０および度数メモリ４１が設けられる。
【００３３】
度数メモリ４１の読出し出力が加算器４２に供給され、＋１され、加算器４２の出力がメモリ４１の同一アドレスに書込まれる。メモリ４０および４１は、初期状態として各アドレスの内容がゼロにクリアされる。
【００３４】
データメモリ４０から読出されたデータが乗算器４３に供給され、度数メモリ４１から読出された度数と乗算される。乗算器４３の出力が加算器４４に供給され、加算器４４にて入力データｙと加算される。加算器４４の出力が割算器４５に除数として供給される。この割算器４５の出力（商）がデータメモリ４０に入力データとされる。
【００３５】
上述の図６の構成において、あるアドレスが最初にアクセスされる時には、メモリ４０および４１の読出し出力が０であるため、データｙ10がそのままメモリ４０に書込まれ、メモリ４１の対応するアドレスの値が１とされる。若し、その後で、このアドレスが再びアクセスされると、加算器４２の出力が２であり、加算器４４の出力が（ｙ10＋ｙ20）である。従って、割算器４５の出力が（ｙ10＋ｙ20）／２であり、これがメモリ４０に書込まれる。さらに、その後で、上述のアドレスがアクセスされると、同様の動作によって、メモリ４０のデータが（ｙ10＋ｙ20＋ｙ30）／３に変更され、度数も３に更新される。
【００３６】
上述の動作を所定期間行なうことによって、メモリ４０には、クラス分類回路３３の出力によってクラスが指定されると、そのときのデータが出力されるようなマッピング表が蓄えられる。言い換えれば、入力ビデオ信号の複数の画素データが与えられた時に、それをクラス分類したものと平均的に対応がとれたデータを出力するマッピング表が形成できる。
【００３７】
クラス分類適応処理回路９についてより詳細に説明すると、クラス分類適応処理回路９は、上述のように、線形１次結合の係数をトレーニングによって、予め決定する。このトレーニング時には、図７の構成が使用される。図７において、５１は、入力端子で、標準的なＨＤ信号の静止画像を多数枚入力され、垂直間引きフィルタ５２と学習部５４へ供給される。垂直間引きフィルタ５２は、ＨＤ画像を垂直方向に１／２に間引きし。垂直間引きフィルタ５２と接続されるて水平間引きフィルタ５３で水平方向に１／２に間引きを行ない、ＳＤ信号と同等の画素の静止画像を学習部５４に供給する。メモリ５５は、学習部５４で作成されたクラスコードと学習結果を記憶する。
【００３８】
この例では、図８に示すように、ＨＤ画素とＳＤ画素の位置関係が規定される。図８に示すように、ＳＤ画素（３×３）ブロックを用いる場合、ＳＤ画素ａ〜ｉとＨＤ画素Ａ，Ｂ，Ｃ，Ｄが一組の学習データとなる。１フレームに関して複数組の学習データが存在し、且つ、フレーム数を増加させることにより非常に多数の組の学習データを利用できる。
【００３９】
ここで図９は、学習部５４において、線形１次結合の係数を決定する場合に、その処理をソフトウェアで行なう時の動作を示すフローチャートである。ステップ６１から学習部の制御が開始され、ステップ６２の対応データブロック化では、ＨＤ信号とＳＤ信号が供給され、図８に示すような配列関係にあるＨＤ画素およびＳＤ画素を取り出す処理を行なう。ステップ６３のデータ終了では、入力された全データ例えば１フレームのデータの処理が終了していれば、ステップ６６の予測係数決定へ、終了していなければ、ステップ６４のクラス決定へ制御が移る。
【００４０】
ステップ６４のクラス決定では、ＳＤ信号の信号パターンからクラスを決める。この制御では、ビット数削減のために、ＡＤＲＣを用いることができる。ステップ６５の正規方程式加算では、後述するような方程式を作成する。
【００４１】
ステップ６３のデータ終了から全データの処理が終了後、制御がステップ６６に移り、ステップ６６の予測係数決定では、後述する方程式を行列解法を用いて解いて、予測係数を決める。ステップ６７の予測係数ストアで、予測係数をメモリにストアし、ステップ６８で学習部の制御が終了する。メモリ内には、ＳＤ信号で決定されるクラスをアドレスとして、そのクラスの予測係数が記憶される。クラスおよび予測係数が上述したマッピング表と対応する。
【００４２】
図８中のＨＤ画素とＳＤ画素の関係を規定するための係数を求める処理をより詳細に説明する。一般的にＳＤ画素レベルをｘ1 〜ｘn とし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数ｗ1 〜ｗn によるｎタップの線形推定式
ｙ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn （１）
を設定する。学習前はｗi が未定係数である。
【００４３】
上述のように、学習はクラス毎に複数のＨＤデータおよびＳＤデータに対して行なう。データ数がｍの場合、式１に従って、
ｙj ´＝ｗ1 ｘj 1 ＋ｗ2 ｘ2 ２＋‥‥＋ｗn ｘjn （２）
（但し、ｊ＝１，２，‥‥ｍ）
【００４４】
ｍ＞ｎの場合、ｗ1 〜ｗn は一意には決まらないので、誤差ベクトルｅの要素を
ｅj ＝ｙj −（ｗ1 ｘj1＋ｗ2 ｘj2＋‥‥＋ｗn ｘjn） （３）
（但し、ｊ＝１，２，‥‥ｍ）
と定義して、次の式４を最小にする係数を求める。
【００４５】
【数１】
いわゆる最小自乗法による解法である。ここで式３のｗi による偏微分係数を求める。
【００４７】
【数２】
式６を０にするように各ｗi を決めればよいから、
【００４９】
【数３】
として、行列を用いると
【００５１】
【数４】
となり、掃き出し法等の一般的な行列解法を用いて、この式８を解けば予測係数ｗi が求まり、クラスコードをアドレスとして、この予測係数ｗi をメモリに格納しておく。
【００５３】
以上のように学習部が実データであるＨＤ信号を用いて予測係数ｗi を獲得することができ、これをメモリに格納しておく。そして、任意の入力されたＳＤ信号からクラス情報を形成し、クラス情報と対応する予測係数をメモリから読出し、注目画素の周辺のＳＤ画素の値と予測係数の線形１次結合によって、注目画素の値を形成することができ、任意の入力ＳＤ画像に対して出力ＨＤ画像を生成することができる。
【００５４】
学習部５４が予測係数ではなく、クラス毎の代表値を決定する時には、図１０のフローチャートで示すような処理がなされる。開始のステップ７１、学習データ形成のステップ７２およびデータ終了のステップ７３およびクラス決定のステップ７４は、上述した図９中のステップ６１、６２、６３および６４と同様のものである。
【００５５】
正規化のステップ７５では、画素の値の正規化がなされる。すなわち、ＨＤ画素の値（入力値）をｙとすると、（ｙ−base）／ＤＲの演算により入力データが正規化される。ここで、ＤＲは、図８に示す画素配列において、ａ〜ｉを１ブロックとする時に、この１ブロック内の画素の最大値と最小値の差（ダイナミックレンジＤＲ）である。また、baseは、ブロックの基準値であり、例えばブロックの画素の最小値である。最小値以外にブロック内の画素値の平均値を使用しても良い。この正規化によって、画素の相対的レベルに注目することができる。
【００５６】
代表値決定のステップ７６では、図６の場合と同様にしてそのクラスの累積度数n(c)を求め、また、代表値g(c)を求める。すなわち、新たに形成される代表値g(c)´は、
g(c)´＝｛（ｙ−base）／ＤＲ＋n(c)×g(c)｝／n(c+1) （９）
である。このように求められたクラス毎の代表値がメモリに格納される。
【００５７】
また、クラス分けのための情報圧縮手段としては、ＡＤＲＣ回路の代わりに例えば、ＤＣＴ（Discrete Cosine Transform ）、ＶＱ（ベクトル量子化）、あるいはＤＰＣＭ（予測符号化）回路を設ける等のように、データ圧縮を行なえることができる手段であれば何を設けるかは適宜選択可能である。
【００５８】
上述したように、クラス分類適応処理回路９は、時間領域において、実際の画像の性質に基づいてＳＤ信号およびＨＤ信号の対応関係を学習し、その学習からＳＤ信号に対応するＨＤ信号を生成することができる。また、ＳＤ信号のレベル分布に応じて適応的にクラスを選択するため、画像の局所的性質に追従したアップコンバージョンが可能となる。さらに、補間フィルタを用いたものと異なり、解像度の補償されたＨＤ信号を得ることができる。
【００５９】
さて、図１に戻ると、分類回路５からの周波数領域でインパルス状の成分６ｂが供給される、第１の処理回路としてのゲイン変換回路１０は、周波数領域で解像度を補償するものである。すなわち、ゲイン変換は、図１１に示すように、もともとは、高域まで周波数特性が拡大していた信号の高域のゲインが信号処理によって低下することを補償するものである。ゲイン変換回路１０は、クラス分類適応処理回路９と同様に、予め学習によって、高域を補償するためのマッピング表が格納されたメモリを有している。このマッピング表としては、上述した時間領域のクラス分類適応処理回路９と同様に、ゲイン変換比を出力するものと、ゲインの予測値を出力するものとの２種類可能である。
【００６０】
図１２は、ゲイン変換回路１０内のマッピング表を作成するための学習時の構成を示す。８１で示す入力端子に、学習に使用するＨＤビデオデータが供給され、サブライン／サブサンプル回路８２に供給される。この回路８２は、垂直方向の間引き（サブライン）と水平方向の間引き（サブサンプル）とを行なう。従って、サブライン／サブサンプル回路８２からは、ＳＤビデオ信号と同程度の解像度を有するビデオ信号が発生する。
【００６１】
サブライン／サブサンプル回路８２に対して遅延回路８３およびＤ／Ａ変換器９０が接続される。遅延回路８３は、クラス分類がなされるまで、入力データを遅延させ、タイミングを合わせるためのものである。遅延回路８３に対してブロック化回路８４が接続され、例えば（４×４）のブロック構造のデータが同時化される。ブロック化回路８４の出力がＤＣＴ回路８５に供給され、コサイン変換がされる。ＤＣＴ回路８５からは、直流成分の係数データから開始して、交流分の係数データが低次から高次のものの順番（ジグザク走査）で係数データが発生する。
【００６２】
ＤＣＴ回路８５からの係数データが割算回路８６に供給される。この割算回路８６は、高域を補償するために必要とされる、係数データに対するゲイン変換比を求めるために設けられている。割算回路８６からのゲイン変換比信号がメモリ８７に供給される。メモリ８７は、複数のＤＣＴ係数とそれぞれ対応してゲイン変換比を記憶するために、複数枚の構成とされている。
【００６３】
信号処理の結果生じる、ＳＤビデオ信号の高域の劣化を調べるために、Ｄ／Ａ変換器９０によりアナログ信号とされたＳＤビデオ信号がアナログ伝送系９１に供給される。アナログ伝送系９１は、例えばアナログＶＴＲの記録および再生プロセスである。アナログ伝送系９１を介されたビデオ信号がＡ／Ｄ変換器９２によってディジタル信号とされ、ブロック化回路９３に供給される。
【００６４】
ブロック化回路９３によって、ブロック化回路８４の出力データと同様のブロック構造のディジタルビデオデータが形成される。ブロック化回路９３の出力データがＤＣＴ回路９４およびクラス分類回路９５に供給される。ＤＣＴ回路９４からの係数データが割算回路８６に対して供給される。同じ次数の係数データに関して、割算処理がなされ、係数データに関するゲイン変換比信号が割算回路８６で生成される。すなわち、アナログ伝送系９１を通ると、高域周波数成分が失われるが、それによって、ＤＣＴの係数データの各成分のゲイン（値）がどのように変化するかがゲイン変換比信号によって指示される。
【００６５】
例えばＤＣＴ回路８５からＤＣ、ＡＣ１〜ＡＣ１５の係数データが発生し、ＤＣＴ回路９４からＤＣ´、ＡＣ１´〜ＡＣ１５´の係数データが発生する場合を考える。割算回路８６では、下記の演算によってゲイン変換比信号Ｇ0 、Ｇ1 、・・・・、Ｇ15が形成される。
Ｇ0 ＝ＤＣ／ＤＣ´、Ｇ1 ＝ＡＣ／ＡＣ´、・・・、Ｇ15＝ＡＣ15／ＡＣ15´
【００６６】
図１２では、簡単のために省略しているが、各係数に関して発生する複数のゲイン変換比信号を平均化することによって、最終的なゲイン変換比信号が求められ、これがメモリ８７に記憶される。
【００６７】
このようなゲイン変換比信号は、高域が減衰したビデオデータの係数データに対して、乗じられることによって、高域が補償されたビデオデータの係数データを生成することを可能とする。図１中のゲイン変換回路１０は、予め学習により得られたゲイン変換比信号が記憶されているメモリを有し、係数データとゲイン変換比信号とを乗じることによって、係数データの値を変更する。これによって、高域の補償を行なうことができる。
【００６８】
クラス分類回路９５は、ブロック化回路９３からのブロックデータのレベル分布に応じたクラス分けを行なう。このクラス分けのために、上述したように、ＡＤＲＣ等のデータ圧縮を行なうことが好ましい。クラス分類回路９５で得られたクラス情報がメモリ８７に対して、メモリ内アドレスとして供給される。メモリ８７は、直流分の係数データと、全ての次数の交流分の係数データとのそれぞれと対応して複数枚の構成とされ、複数枚のメモリのそれぞれが対応する係数データに関してゲイン変換比信号を記憶する。
【００６９】
係数データと対応して、複数枚のメモリを切り換えるためのアドレスは、アドレスカウンタ８８により形成される。アドレスカウンタ８８は、入力端子８９からのクロック信号をカウントし、順次変化するアドレスを発生する。この場合、ブロック化回路８４からの係数データと同期してアドレスが変化する。そして、複数の種類のＨＤビデオ信号が入力端子８１に供給され、クラス毎に最適なゲイン変換比信号が形成され、これがメモリ８７に記憶される。
【００７０】
また、ゲイン変換比の代わりに、予測されるＤＣＴ係数の値を学習によって、求めることも可能である。
【００７１】
メモリ８７に格納されたゲイン変換比信号と同一のものが図１のゲイン変換回路１０に設けられたメモリ内に記憶されている。また、ブロック化回路２の出力信号がクラス分類のためにゲイン変換回路１０に供給されている。ゲイン変換回路１０において、ＤＣＴ係数データの各成分とゲイン変換比信号とが乗じられ、ゲイン調整がなされる。これによって、周波数領域の高域の補償がなされる。ここで、ゲイン変換回路１０に対しては、周波数領域でインパルス状成分６ｂが供給されている。その理由は、若し、フラット成分をも含む種々の成分からなる信号を変換しようとすると、非線形成分が混入して精度が悪化し、正しいゲイン変換ができない問題が生じるからである。同様の理由で、上述の図１２に示す学習時においても、インパルス状の信号が使用される。
【００７２】
【発明の効果】
この発明は、単なる補間フィルタによる補間と異なり、高域成分を創造することによって、解像度が入力ビデオ信号のものより高い、出力ビデオ信号を形成することができる。そして、この発明は、入力ビデオ信号を時間領域における表現に適した成分と、周波数領域における表現に適した成分とを分け、各成分を並行して処理し、各領域の処理の結果を合成するので、各領域の処理を２段階に行なうのと比較して、処理時間の短縮化、ハードウエアの規模の減少、精度の向上等の利点を得ることができる。
【図面の簡単な説明】
【図１】この発明の一実施例の全体的なブロック図である。
【図２】この発明の一実施例によりなされる解像度補償を説明するための略線図である。
【図３】この発明の一実施例におけるクラス分類適応処理回路の一例のブロック図である。
【図４】ＳＤ画像とＨＤ画像との間の画素の配列を示す略線図である。
【図５】予測係数が格納されたマッピング表を作成するための構成の一例のブロック図である。
【図６】予測値が格納されたマッピング表を作成するための構成の一例のブロック図である。
【図７】予測係数あるいは予測値を形成するための学習時の構成の一例のブロック図である。
【図８】ＳＤ画像とＨＤ画像との間の画素の配列の他の例を示す略線図である。
【図９】予測係数を形成するための学習時の処理を示すフローチャートである。
【図１０】予測値を形成するための学習時の処理を示すフローチャートである。
【図１１】周波数領域での高域補償を説明するための略線図である。
【図１２】周波数領域での高域補償用のゲイン変換比を学習するためのブロック図である。
【図１３】時間領域におけるインパルス状成分およびフラット成分をそれぞれ示す略線図である。
【図１４】周波数領域におけるインパルス状成分およびフラット成分をそれぞれ示す略線図である。
【図１５】時間領域におけるインパルス状成分およびフラット成分の両者を含む信号波形の略線図である。
【符号の説明】
１ 高解像度のディジタル画像信号の入力端子
３ ＤＣＴ回路
５ 周波数領域でのフラット成分およびインパルス状成分を分離する分類回路
７、１１ 逆ＤＣＴ回路
９ クラス分類適応処理回路
１０ ゲイン変換回路
Claims (21)
- 第１のディジタル画像信号を周波数領域において分析する分析手段と、
上記分析手段の出力に基づいて、上記第１のディジタル画像信号を周波数領域でインパルス状成分の信号とフラット成分の信号に分類する分類手段と、
上記インパルス状成分の信号が供給され、上記インパルス状成分の信号を周波数領域で処理して上記第１の解像度に比べてより高い第２の解像度を有する出力ディジタル画像信号を形成する第１の処理手段と、
上記フラット成分の信号が供給され、上記フラット成分の信号を時間領域で処理して上記第１の解像度に比べてより高い第２の解像度を有する出力ディジタル画像信号を形成する第２の処理手段と、
上記第１及び第２の処理手段の出力デジタル画像信号を合成して上記第１の解像度に比べてより高い第２の解像度を有する第２のデジタル画像信号を出力する合成手段とからなることを特徴とする解像度補償可能な画像変換装置。 - 請求項１に記載の画像変換装置において、
上記第１の処理手段は、
上記周波数領域において処理されたれたインパルス状成分の信号を時間領域信号に変換する変換手段を有することを特徴とする画像変換装置。 - 請求項２に記載の画像変換装置において、
上記第２の処理手段は、
上記第２の変換手段は、上記フラット成分の信号を時間領域信号に変換する変換手段を有することを特徴とする画像変換装置。 - 請求項１に記載の画像変換装置において、
上記周波数領域の分析手段が直交変換であることを特徴とする画像変換装置。 - 請求項４に記載の画像変換装置において、
上記直交変換は、離散的コサイン変換であることを特徴とする画像変換装置。 - 請求項４に記載の画像変換装置において、
上記直交変換は、高速フーリエ変換であることを特徴とする画像変換装置。 - 請求項４に記載の画像変換装置において、
上記直交変換は、アダマール変換であることを特徴とする画像変換装置。 - 請求項１に記載の画像変換装置において、
上記第１の処理手段は、上記インパルス状成分の信号が供給され、上記第１のディジタル画像信号に基づいてクラスを決定するクラス分類手段と、
上記決定されたクラス毎に、上記第１の解像度に比べてより高い第２の解像度を得るように上記インパルス状成分の信号を補正する補正値を発生する補正値発生手段と、
上記インパルス状成分の信号を上記発生された補正値によって補正する補正手段とを有することを特徴とする解像度補償可能な画像変換装置。 - 請求項８に記載の画像変換装置において、
上記補正値発生手段は、クラス毎の補正値を格納するメモリを有し、
上記クラス毎の補正値は、上記第２の解像度を有するディジタル画像信号とその第２の解像度を有するディジタル画像信号を処理して得られた上記第２の解像度より低い上記第１の解像度を有するディジタル画像信号を用いて、予め学習によって求められることを特徴とする画像変換装置。 - 請求項９に記載の画像変換装置において、
学習に使用するデータとして、周波数領域でインパルス状成分の信号を使用することを特徴とする画像変換装置。 - 請求項９に記載の画像変換装置において、
上記クラス毎の補正値を求めるための学習時に、第２の解像度を有するディジタル画像信号をアナログ処理系を介することによって、高域成分が減衰したディジタル画像信号を形成し、上記第２のディジタル画像信号を周波数領域へ変換した成分と、上記高域成分が減衰したディジタル画像信号を周波数領域へ変換した成分との比を求め、上記比からクラス毎の補正値を求めることを特徴とする画像変換装置。 - 請求項１に記載の画像変換装置において、
上記第１の処理手段は、上記インパルス状成分の信号が供給され、そのインパルス状成分の信号に基づいてクラスを決定するクラス分類手段と、
上記決定されたクラス毎に、上記第１の解像度に比べてより高い第２の解像度を有するインパルス状成分の信号を示す値を発生する補正値発生手段とからなることを特徴とする解像度補償可能な画像変換装置。 - 請求項１２に記載の画像変換装置において、
上記補正値発生手段は、クラス毎の第２の解像度を有するインパルス状成分の信号を示す値を格納するメモリを有し、
上記クラス毎の第２の解像度を有するインパルス状成分の信号を示す値は、上記第２の解像度を有するディジタル画像信号とその第２の解像度を有するディジタル画像信号を処理して得られた上記第２の解像度より低い上記第１の解像度を有するディジタル画像信号を用いて、予め学習によって求められることを特徴とする画像変換装置。 - 請求項１３に記載の画像変換装置において、
学習に使用するデータとして、周波数領域でインパルス状成分の信号を使用することを特徴とする画像変換装置。 - 請求項１３に記載の画像変換装置において、
上記クラス毎の補正値を求めるための学習時に、第２の解像度を有するディジタル画像信号をアナログ処理系を介することによって、高域成分が減衰したディジタル画像信号を形成し、上記第２のディジタル画像信号を周波数領域へ変換した成分と、上記高域成分が減衰したディジタル画像信号を周波数領域へ変換した成分との比を求め、上記比からクラス毎の補正値を求めることを特徴とする画像変換装置。 - 請求項３に記載の画像変換装置において、
上記第２の処理手段は、上記変換手段の出力である時間領域信号のうち、注目画素位置における信号をその空間的および／または近傍に存在する複数の画素位置における信号を使用してクラス分けするためのクラス分類手段と、決定されたクラス毎に予測係数を発生する予測係数発生手段と、上記変換手段からの時間領域信号の複数の画素の値と上記予測係数の線形１次結合によって、予測値を推定する推定手段からなることを特徴とする画像変換装置。 - 請求項１６に記載の画像変換装置において、
上記予測係数発生手段は、クラス毎の予測係数を格納するメモリを有し、
第２の変換手段からの時間領域の信号に含まれ、注目画素の空間的および／または時間的に近傍の複数の画素の値と予測係数の線形１次結合によって、上記注目画素の値を作成した時に、作成された値と上記注目画素の真値との誤差を最小とするようなクラス毎の予測係数を予め学習によって求めておくことを特徴とする画像変換装置。 - 請求項３に記載の画像変換装置において、
上記第２の処理手段は、注目画素位置における信号の空間的および／または時間的に近傍の複数の画素位置における信号に基づいて上記注目画素のクラスを決定するためのクラス分類手段と、
上記注目画素の値を生成するために、決定されたクラス毎の予測値を発生する予測値発生手段とからなることを特徴とする画像変換装置。 - 請求項１８に記載の画像変換装置において、
上記予測値発生手段は、クラス毎の予測値を格納するメモリを有し、
学習時にクラス毎に得られる値の累積値を累積度数で除した値がクラス毎の予測値として、上記メモリに格納されていることを特徴とする画像変換装置。 - 請求項１９に記載の画像変換装置において、
上記予測値発生手段は、クラス毎の予測値を格納するメモリを有し、
学習時に、注目画素を含む複数の画素からなるブロックを形成し、
上記ブロック内のダイナミックレンジによって、上記注目画素の値から上記ブロックの基準値を合成した値を正規化し、
上記正規化された値の累積値を累積度数で除した値がクラス毎の予測値として、上記メモリに格納されていることを特徴とする画像変換装置。 - 第１の解像度を有する第１のディジタル画像信号を周波数分析するステップと、
分析結果に基づいて周波数領域でインパルス状成分の信号とフラット成分の信号を分離するステップと、
上記インパルス状成分の信号が供給され、上記インパルス状成分の信号を周波数領域で処理して、上記第１の解像度に比べてより高い第２の解像度を有する出力ディジタル画像信号を形成するために、第１の処理ステップと、
上記フラット成分の信号が供給され、上記フラット成分の信号を時間領域で処理して上記第１の解像度に比べてより高い第２の解像度を有する出力ディジタル画像信号を形成する第２の処理ステップと、
上記第１の変換ステップの出力デジタル画像信号と上記第２の処理ステップの出力デジタル画像信号とを合成する合成ステップとからなることを特徴とする解像度補償可能な画像変換方法。
Priority Applications (11)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13805594A JP3871350B2 (ja) | 1994-05-28 | 1994-05-28 | 解像度補償可能な画像変換装置および方法 |
| US08/451,057 US5555465A (en) | 1994-05-28 | 1995-05-25 | Digital signal processing apparatus and method for processing impulse and flat components separately |
| EP06024665A EP1755044A3 (en) | 1994-05-28 | 1995-05-26 | Digital signal processing |
| DE69536122T DE69536122D1 (de) | 1994-05-28 | 1995-05-26 | Digitale Signalverarbeitung |
| DE69536093T DE69536093D1 (de) | 1994-05-28 | 1995-05-26 | Verfahren und Einrichtung zur digitalen Signalverarbeitung |
| EP95303586A EP0685800B1 (en) | 1994-05-28 | 1995-05-26 | Method and apparatus for digital signal processing |
| EP06024664A EP1793316A3 (en) | 1994-05-28 | 1995-05-26 | Digital signal processing |
| KR1019950014107A KR100388729B1 (ko) | 1994-05-28 | 1995-05-26 | 디지털신호처리장치및방법 |
| EP06024668A EP1755045B1 (en) | 1994-05-28 | 1995-05-26 | Digital signal processing |
| US08/612,055 US5739873A (en) | 1994-05-28 | 1996-03-07 | Method and apparatus for processing components of a digital signal in the temporal and frequency regions |
| US08/854,991 US5764305A (en) | 1994-05-28 | 1997-05-13 | Digital signal processing apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13805594A JP3871350B2 (ja) | 1994-05-28 | 1994-05-28 | 解像度補償可能な画像変換装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07322215A JPH07322215A (ja) | 1995-12-08 |
| JP3871350B2 true JP3871350B2 (ja) | 2007-01-24 |
Family
ID=15212932
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13805594A Expired - Lifetime JP3871350B2 (ja) | 1994-05-28 | 1994-05-28 | 解像度補償可能な画像変換装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3871350B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4517448B2 (ja) * | 2000-05-09 | 2010-08-04 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びに記録媒体 |
-
1994
- 1994-05-28 JP JP13805594A patent/JP3871350B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07322215A (ja) | 1995-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5555465A (en) | Digital signal processing apparatus and method for processing impulse and flat components separately | |
| KR100276789B1 (ko) | 디지탈 데이타 변환 장치 및 방법 | |
| US5070403A (en) | Video signal interpolation | |
| JP4103073B2 (ja) | ビデオ信号を変換する方法および装置 | |
| WO2005067294A1 (ja) | 画像処理方法、画像処理装置および画像処理プログラム | |
| JPH01288187A (ja) | デジタルビデオ信号の空間―時間サブ―サンプリング装置およびこの装置を具える高品位テレビジョン画像伝送システム | |
| US5953075A (en) | Video signal processing apparatus with means for magnifying and processing a picture image correspondingly to video signals | |
| JPH06343170A (ja) | ビデオ信号のノイズ低減装置、ならびに３次元ディスクリートコサイン変換およびノイズ測定を用いた方法 | |
| US5742355A (en) | Method and apparatus for reducing noise in a video signal | |
| JPH1175181A (ja) | ディジタル画像信号の変換装置及び変換方法 | |
| JP3277696B2 (ja) | ディジタル信号処理装置および方法 | |
| JP2000115716A (ja) | 映像信号の変換装置および変換方法、並びにそれを使用した画像表示装置およびテレビ受信機 | |
| JP3871350B2 (ja) | 解像度補償可能な画像変換装置および方法 | |
| US5257326A (en) | Method and apparatus for interpolating a video signal of a picture element which has not been sampled and transmitted by an interleave sampling operation | |
| JP2002199353A (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに情報提供媒体 | |
| JP3511645B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3469626B2 (ja) | 動き補償ビデオ信号処理装置及びビデオ信号処理方法 | |
| JPH07193789A (ja) | 画像情報変換装置 | |
| JP3693187B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JP3608544B2 (ja) | パラメータ生成装置および方法 | |
| JP4649786B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法 | |
| JP3157706B2 (ja) | 映像信号処理装置 | |
| JP3814850B2 (ja) | 信号変換装置および方法 | |
| JP3545577B2 (ja) | 走査線変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040316 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040512 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040514 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040617 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040622 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20040723 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061017 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091027 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101027 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101027 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111027 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111027 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121027 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121027 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131027 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |