JP3724008B2 - 画像情報変換装置および係数データ作成装置 - Google Patents
画像情報変換装置および係数データ作成装置 Download PDFInfo
- Publication number
- JP3724008B2 JP3724008B2 JP14824095A JP14824095A JP3724008B2 JP 3724008 B2 JP3724008 B2 JP 3724008B2 JP 14824095 A JP14824095 A JP 14824095A JP 14824095 A JP14824095 A JP 14824095A JP 3724008 B2 JP3724008 B2 JP 3724008B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image information
- data
- image signal
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000006243 chemical reaction Methods 0.000 title claims description 56
- 238000012937 correction Methods 0.000 claims description 55
- 230000033001 locomotion Effects 0.000 claims description 54
- 238000001514 detection method Methods 0.000 claims description 20
- 238000005520 cutting process Methods 0.000 claims description 12
- 238000013500 data storage Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 8
- 238000013139 quantization Methods 0.000 claims description 4
- 101710163391 ADP-ribosyl cyclase/cyclic ADP-ribose hydrolase Proteins 0.000 claims 4
- 238000000034 method Methods 0.000 description 20
- 238000012545 processing Methods 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000000059 patterning Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Controls And Circuits For Display Device (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Systems (AREA)
Description
【０００１】
【産業上の利用分野】
この発明は、例えばテレビジョン受像機やビデオテープレコーダ装置等に用いて好適な画像情報変換装置に関し、外部から供給される通常の解像度の画像情報を高解像度の画像情報に変換して出力するような画像情報変換装置および係数データ作成装置に関する。
【０００２】
【従来の技術】
今日において、オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることができるようなテレビジョン受像機の開発が望まれ、この要望に応えて、いわゆるハイビジョンが開発された。このハイビジョンは、いわゆるＮＴＳＣ方式に規定される走査線数が５２５本なのに対して、２倍以上の１１２５本となっているうえ、表示画面の縦横比もＮＴＳＣ方式が３：４に対して９：１６と広角画面になっている。このため、高解像度で臨場感のある画面を得ることができるようになっている。
【０００３】
ここで、このような優れた特性を有するハイビジョンではあるが、ＮＴＳＣ方式の映像信号をそのまま供給しても画像表示を行うことはできない。これは、上述のようにＮＴＳＣ方式とハイビジョン方式とでは規格が異なるからである。このため、ＮＴＳＣ方式の映像信号に応じた画像をハイビジョンで表示しようとする場合、従来は、例えば図９に示すような画像情報変換装置を用いて映像信号のレート変換を行っていた。
【０００４】
図９において、従来の画像情報変換装置は、入力端子４１を介して供給されるＮＴＳＣ方式の映像信号（ＳＤデータ）の水平方向の補間処理を行う水平補間フィルタ４２と、水平方向の補間処理の行われた映像信号の垂直方向の補間処理を行う垂直補間フィルタ４３とから構成されている。そして、出力端子４４からハイビジョン方式の映像信号（ＨＤデータ）を得ることができる。
【０００５】
具体的には、水平補間フィルタ４２は、図１０に示すような構成を有しており、入力端子５１を介して供給されるＮＴＳＣ方式の映像信号は、入力端子５１を介して第１〜第ｍの乗算器５２〜５２m にそれぞれ供給される。各乗算器５２は、それぞれ映像信号に係数を乗算して出力する。係数の乗算された映像信号は、それぞれ第１〜第ｍの加算器５４〜５４n-1 に供給される。各加算器５４〜５４m-1 の間には、それぞれ時間Ｔの遅延レジスタ５３〜５３m が設けられている。そして、第ｍの乗算器５２m から出力された映像信号は、第ｍの遅延レジスタ５３m により時間Ｔの遅延が施され、第ｍ−１の加算器５４m-1 に供給される。
【０００６】
第ｍ−１の加算器５４m-1 は、第ｍの遅延レジスタ５３m からの時間Ｔの遅延時間が施された映像信号と、第ｍ−１の乗算器５２m-1 からの映像信号とを加算処理して出力する。この加算処理の施された映像信号は、第ｍ−１の遅延レジスタ５３m-1 により再度、時間Ｔの遅延時間が施され、図示しない第ｍ−２の加算器５４m-2 において、同じく図示しない第ｍ−２の乗算器５４m-2 からの映像信号と加算処理される。水平補間フィルタ４２は、このようにしてＮＴＳＣ方式の映像信号を出力端子５５を介して垂直補間フィルタ４３に供給する。
【０００７】
垂直補間フィルタ４３は、上述の水平補間フィルタ４２と同様の構成を有しており、水平補間処理の行われた映像信号に対して垂直方向の画素の補間を行う。これにより、ＮＴＳＣ方式の映像信号に対して、垂直方向の画素の補間を行う。このような変換のなされたハイビジョンの映像信号は、ハイビジョン受像機に供給される。これにより、ＮＴＳＣ方式の映像信号に応じた画像をハイビジョン受像機で表示することができる。
【０００８】
しかしながら、従来の画像情報変換装置は、ＮＴＳＣ方式の映像信号を基にして、単に水平方向および垂直方向の補間を行っているに過ぎないため、解像度は基となるＮＴＳＣ方式の映像信号と何ら変わらなかった。特に、通常の動画を変換対象とした場合、垂直方向の補間をフィールド内処理で行うのが一般的であるが、その場合、画像フィールド間相関を使用していないため、画像静止部においては変換ロスにより、ＮＴＳＣ方式の映像信号よりもむしろ解像度が劣化する欠点があった。
【０００９】
これに対し、特願平６−２０５９３４号では、入力信号である画像信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力するというものがある。
【００１０】
この手法は、ＨＤ画素を創造する場合、創造するＨＤ画素の近傍にある複数のＳＤ画素データを用いてクラス分割を行い、それぞれのクラス毎に予測係数値を学習により獲得することで、画像静止部においてはフレーム内相関また動き部においてはフィールド内相関を利用して、より真値に近いＨＤ画素値を得るというような巧妙なものである。
【００１１】
例えば、図３において示すような、ＨＤ画素ｙ1 、ｙ2 の創造を目的とした場合、図５に示すようなＳＤ画素ｍ1 〜ｍ5 とＳＤ画素ｎ1 〜ｎ5 のそれぞれ空間的同一位置にある画素同士のフレーム間差分の平均値を求め、それをしきい値処理してクラス分類することにより、主に動きの程度の表現をクラス分類を行う。なお、図３〜図６は、時間的に経過する＃k-2 、＃k-1 、＃k 、＃k+1 の４フィールドの垂直方向の画素配列を表している。
【００１２】
同時に図４において示すような、ＳＤ画素ｋ1 〜ｋ5 をＡＤＲＣ処理するこにより、少ないビット数で、主に空間内の波形表現を目的としたクラス分類を行う。この２種類のクラス分類で決定されたクラス毎に、図６において示すようなＳＤ画素ｘ1 〜ｘ9 を使用して、線形一次式をたて、予測係数値を学習により獲得する。この方式は、主に動きの程度を表すクラス分類と、主に空間内の波形を表すクラス分類とを個別にそれぞれに適した形で行うため、比較的少ないクラス数で高い変換性能を得られるという特徴がある。
【００１３】
ＨＤ画素ｙの推定演算は、上述の手順で得られた予測係数値ｗ1 〜ｗn を用いて以下のような式で行われる。
ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋・・・＋ｗn ｘn （１）
この例では、ｎ＝９である。
【００１４】
このように、ＳＤデータに対応するＨＤデータを推定するための係数データを各クラス毎に予め学習により求めた上で、ＲＯＭテーブルに格納しておき、入力されるＳＤデータおよびＲＯＭテーブルから読み出した係数を出力することにより、入力されたＳＤデータを単に補間処理したのとは異なり、実際のＨＤデータにより近いデータを出力することができるという特徴がある。
【００１５】
ところで、従来の画像情報変換装置における学習は、図７に示すような構成によっていた。すなわち、入力端子６１から入力されたＨＤデータを、垂直間引きフィルタ回路６２により、フィールド内の垂直方向の周波数が１／２になるように間引き処理を行い、さらに水平間引きフィルタ回路６３により、ＨＤデータの水平方向の周波数が１／２になるように間引き処理を行うことにより、ＳＤデータが得られる。
【００１６】
そして、領域切り出し回路６４およびＡＤＲＣ回路６５から空間クラスが得られ、領域切り出し回路６６および動きクラス決定回路６７から動きクラスが得られる。その空間クラスと動きクラスに応じてクラスコード発生回路６８からクラスコードが生成され、正規方程式加算回路７１では、そのクラスコードと遅延回路６９、領域切り出し回路７０からのＳＤデータとＨＤデータとから正規方程式が生成される。予測係数決定回路７２において、各クラスの予測係数が決定され、その予測係数は、メモリ７３に格納される。
【００１７】
また、テレビカメラの出力信号は、レンズの解像度特性、撮像管の電子ビームのアパーチャ特性等の影響で、高い空間周波数成分ほどその出力が低下してくる。これを補正するとともに、ディスプレイ装置における空間周波数の高域の低下をも見込んで映像信号の輪郭を強調して送出し、見た目にシャープな画像を作り出すための輪郭補正器（エンハンサーとも呼ばれる）が設けられている。
【００１８】
この輪郭補正器では、一般に図８のような処理が行われる。Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色の、例えばＧ信号から補正信号が生成される。遅延回路８５および８６は、補正信号の処理に必要とされる時間、Ｒ信号およびＢ信号を遅延させる。遅延回路８７と補正信号処理回路８８によって、基本的にはＧ信号の高域成分を切り出すハイパスフィルタの処理がされ、この高域成分が補正信号として、アッテネータ９２、９３、９４によって、レベルが調整されて加算器８９、９０、９１にて、各色信号に対して重畳される。なお、輪郭補正は、水平方向および垂直方向の両者に関してなされ、遅延回路８７において、Ｇ信号が水平方向の輪郭補正の場合は、１サンプル遅延され、垂直方向の輪郭補正の場合は、１ライン遅延とされる。
【００１９】
補正信号処理回路８８は、具体的には、コアリング、輪郭信号に対する非線形処理等の非線形処理を多く含んでいる。コアリングとは、小さな輪郭信号はほとんどがノイズ成分であると見なして、それを抑圧する処理である。輪郭信号に対する非線形処理とは、一般的に小振幅の補正信号の利得は大きく、大振幅の補正信号の利得は小さくする方法である。他にも、画像の輝度により補正信号の利得を変化させたり、またＳＤデータの場合には、ＮＴＳＣエンコードをも鑑みて、補正信号を制御する場合もある。
【００２０】
すなわち、従来の画像信号変換装置においては、上述のように輪郭補正が実施されたＨＤデータの画像信号と、それを理想フィルタによりダウンコンバートすることにより作成したＳＤデータの画像信号との間で学習を行っていた。従って、得られたＳＤデータはあくまでＨＤの輪郭補正が実施されたＨＤデータの画像信号をダウンコンバートして得たＳＤデータであり、特に輪郭近傍のデータの特性が、ＳＤカメラで撮像したＳＤデータとは異なっていた。そのため、従来の画像信号変換装置のおいてはＨＤデータからダウンコンバートして得たＳＤデータのアップコンバージョンに関しては理想的な変換が実現できたが、ＳＤカメラで撮像したＳＤデータのタップコンバージョンに関しては、特に輪郭近傍において必ずしも理想的な変換とはならない欠点があった。
【００２１】
【発明が解決しようとする課題】
したがって、この発明は、上述の問題点に鑑みてなされたものであり、解像度を向上させてＮＴＳＣ方式の映像信号をハイビジョン方式の映像信号に変換することが出来るような画像情報変換装置および係数データ作成装置の提供を目的とする。
【００２２】
【課題を解決するための手段】
請求項１に記載の発明は、第１のディジタル画像信号を、より画素数の多い第２のディジタル画像信号に変換するようにした画像情報変換装置において、生成対象の画素位置周辺の所定の位置の第１のディジタル画像信号の画像情報を切り出す画像切り出し手段と、画像切り出し手段により抽出された画像情報のレベル分布のパターンを検出し、パターンに基づいて、画像情報が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、クラス検出情報からクラスコードを発生するクラスコード発生手段と、クラスコード毎に係数データが記憶されている係数データ記憶手段と、係数データ記憶手段から供給された係数データに応じて、第１のディジタル画像信号を第２のディジタル画像信号に変換して出力する画像変換手段とを有し、係数データ記憶手段に記憶されている係数データは、輪郭補正を施していない第２のディジタル画像信号を、第１のディジタル画像信号へ変換し、変換された第１のディジタル画像信号に対して、輪郭補正を施した画像信号と、輪郭補正を施した第２のディジタル画像信号との学習により得られたことを特徴とする画像情報変換装置である。
【００２３】
さらに、請求項６に記載の発明は、第１のディジタル画像信号より画素数の多い第２のディジタル画像信号の画像情報から第１のディジタル画像信号の画像情報へ変換するフィルタ手段と、第１のディジタル画像信号の画像情報に対して輪郭補正を行う第１の輪郭補正手段と、第２のディジタル画像信号の画像情報に対して輪郭補正を行う第２の輪郭補正手段と、第１の輪郭補正手段からの第１のディジタル画像信号の画像情報から所定の位置の画像データを切り出す画像切り出し手段と、画像切り出し手段により抽出された画像情報のレベル分布のパターンを検出し、パターンに基づいて、画像情報が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、クラス検出情報からクラスコードを発生するクラスコード発生手段と、第１の輪郭補正手段からの第１のディジタル画像信号の画像情報と第２の輪郭補正手段からの第２のディジタル画像信号の画像情報とから第１のディジタル画像信号から第２のディジタル画像信号に変換するための情報である推定式の係数データを生成する係数データ生成手段と、係数データをクラスコード毎に記憶する係数データ記憶手段とからなることを特徴とする係数データ作成装置である。
【００２４】
【作用】
この発明に係る画像情報変換装置は、入力ＳＤ信号から、創造すべきＨＤ画素の近傍に位置するＳＤ画素のレベル分布のパターンを検出し、この検出したパターンに基づいて、その領域の画像情報が属するクラスを決定してクラス検出情報を出力する。さらに、創造すべきＨＤ画素の近傍に位置するＳＤ画素のフレーム間差分を用いて動きの程度を表すクラスを決定し、クラス検出情報を出力する。上述の２つのクラスを、クラスコード発生回路により統合し、最終的なクラスとして出力する。係数データ記憶手段には、外部から供給された画像情報を、この画像情報よりも高い解像度の画像情報に変換するための情報であるあ線形推定式の係数データがクラス毎に記憶されており、この係数データは、クラス検出情報に応じて出力される。そして、画像情報変換手段が、係数データ記憶手段から供給された係数データに応じて、外部から供給された画像情報を、外部から供給された画像情報よりも高い解像度の画像情報に変換する。線形推定式の係数データの獲得のための学習対象として、従来方式のように、ＨＤ画像データを単純にダウンコンバートして作成したＳＤ画像データを用いるのではなく、輪郭補正を行わずに撮像したＨＤ画像データをダウンコンバートして、さらにＳＤカメラに使用されている輪郭補正回路と同様の、輪郭補正回路により輪郭補正を行った画像をＳＤ画像データとして用いることを特徴としている。
【００２５】
【実施例】
以下、この発明の実施例について図面を参照しながら詳細に説明する。図１は、画像情報変換装置の信号処理の概略的構成を示す一実施例である。１で示す入力端子から、外部から供給される画像情報として、例えばいわゆるＮＴＳＣ方式の映像信号がディジタル化され、ＳＤ（Standerd Difinition ）データとして供給される。この実施例における、ＳＤ画素と創造するべきＨＤ画素の位置関係は、図３に示すとおりとする。すなわち、創造するべきＨＤ画素には、同一フィールド内で見たとき、ＳＤ画素から近い位置に存在するＨＤ画素ｙ1 とＳＤ画素から遠い位置に存在するｙ2 の２種類がある。以降、ＳＤ画素から近い位置に存在するＨＤ画素を推定するモードをモード１と呼び、ＳＤ画素から遠い位置に存在するＨＤ画素を推定するモードをモード２と呼ぶ。
【００２６】
領域切り出し回路２では、入力端子１より供給されたＳＤ画像信号から、主に空間内の波形現象のためのクラス分類（以降、空間クラスと呼ぶ）に必要な画素を切り出す。この実施例では、例えば図４に示すように創造するべきＨＤ画素ｙ1 、ｙ2 の近傍に位置する５つのＳＤ画素ｋ1 〜ｋ5 を切り出す。領域切り出し回路２により抽出されたＳＤデータは、ＡＤＲＣ回路３に供給される。ＡＤＲＣ回路３では、領域のＳＤデータのレベル分布のパターン化を目的として、各領域のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算が行われる。これにより、形成されたパターン圧縮データをクラスコード発生回路６に供給する。
【００２７】
本来、ＡＤＲＣ（Adaptive Dynamic Range Coding ）は、ディジタルＶＴＲの高能率符号化用に開発された適応量子化であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この実施例では、ＡＤＲＣを信号パターンのクラス分類のコード発生に使用している。ＡＤＲＣ回路３は、領域内のダイナミックレンジをＤＲ、ビット割当をｎ、領域内画素のデータレベルをＬ、再量子化コードをＱとして以下の式（２）により、領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００２８】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝〔（Ｌ−ＭＩＮ＋０．５）・２n ／ＤＲ〕 （２）
ただし、〔 〕は切り捨て処理を意味する。
【００２９】
この実施例では、領域切り出し回路２により分離されたそれぞれ５画素のＳＤデータを、各２ビットに圧縮するものとする。圧縮されたＳＤデータをそれぞれｑ1 〜ｑ5 とする。
【００３０】
一方、入力端子１から供給されたＳＤ画像信号は、領域切り出し回路４にも供給される。領域切り出し回路４は、主に動きの程度を表すためのクラス分類（動きクラス）に必要な画素を切り出す働きをする。この実施例では、例えば供給されたＳＤ画像信号から、創造するべきＨＤ画素ｙ1 、ｙ2 に対して図５に示す位置に存在する１０個のＳＤ画素ｍ1 〜ｍ5 およびｎ1 〜ｎ5 を抽出する。領域切り出し回路４により切り出されたデータは、動きクラス決定回路５に供給される。動きクラス決定回路５は、供給されたＳＤ画素データのフレーム間差分を算出し、その絶対値の平均値をしきい値処理することにより動きの指標である動きパラメータを算出する。具体的には、動きクラス決定回路５は式（３）により、供給されるＳＤデータの差分の絶対値の平均値param を算出する。
【００３１】
【数１】
ただし、この実施例では、ｎ＝５である。
【００３２】
上述の手法で算出されたＳＤデータの差分の絶対値の平均値param を予め設定したしきい値により、このＳＤデータの差分の絶対値の平均値param を用いて動きクラスmv-classを算出する。例えば、ここでは動きクラスを４つ設けることとして、動きクラスmv-classを以下のように決定する。
【００３３】
param ≦２の場合：動きクラスmv-class＝０
param ≦４の場合：動きクラスmv-class＝１
param ≦８の場合：動きクラスmv-class＝２
param ＞８の場合：動きクラスmv-class＝３
このように決定された動きクラスが、クラスコード発生回路６に供給される。
【００３４】
クラスコード発生回路６は、ＡＤＲＣ回路３から供給されるパターン圧縮データ（空間クラス）および動きクラス決定回路５から供給される動きクラスmv-classに基づいて以下の式（４）の演算を行うことによりクラスを検出し、そのクラスコードclass をＲＯＭテーブル９に供給する。このクラスコードclass は、ＲＯＭテーブル９から読み出しアドレスを示すものとなっている。
【００３５】
【数２】
この実施例では、ｎは５、ｐは２である。
【００３６】
ＲＯＭテーブル９には、ＳＤデータのパターンとＨＤデータの関係を学習することにより、線形推定式を用いて、ＳＤデータに対応するＨＤデータを算出するための係数データが各クラス毎に記憶されている。これは、線形推定式によりＳＤデータを、この画像情報よりも高い解像度の画像情報である、いわゆるハイビジョンの規格に合致したＨＤ（High Difinition ）データに変換するための情報である。この実施例において、係数データは、モード１とモード２で独立に用意される。なお、ＲＯＭテーブル９に記憶されている係数データの作成方法については後述する。ＲＯＭテーブル９からは、クラスコードclass で示されるアドレスから、そのクラスの係数データであるｗi(class)が読み出される。この係数データは、推定演算回路１０に供給される。
【００３７】
一方、入力ＳＤデータは、領域切り出し回路８にも供給される。領域切り出し回路８は、領域切り出し回路４および動きクラス決定回路５の処理時間だけ、入力ＳＤデータを遅延させる働きをする遅延回路７から図６に示すような位置にある、推定演算に使用する９つのＳＤ画素データｘ1 〜ｘ9 を切り出す。領域切り出し回路８の出力信号は、推定演算回路１０に供給される。推定演算回路１０は、領域切り出し回路８から供給されるＳＤデータ、ＲＯＭデータテーブル９から供給される係数データに基づいて、入力されたＳＤデータに対応するＨＤデータを算出する。
【００３８】
より具体的には、推定演算回路１０は、領域切り出し回路８から供給されるＳＤデータであるｘ1 〜ｘ9 とＲＯＭテーブル９より供給された係数データであるｗ1 〜ｗ9 により、モード１に関してはモード１用の係数を用いて、モード２に関してはモード２用の係数を用いて、係数データであるｗi(class)に基づいて、それぞれ以下の式（５）に示す演算を行うことにより、入力されたＳＤデータに対応するＨＤデータを算出する。作成されたＨＤデータは、水平補間フィルタ１１に供給される。
【００３９】
ｈｄ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋ｗ3 ｘ3 ＋・・・＋ｗ9 ｘ9 （５）
【００４０】
水平補間フィルタ１１は、図９の水平補間フィルタ４３と同一なもので、補間処理により水平方向の画素数を２倍にするものである。水平補間フィルタ１１の出力は、出力端子１２を介して出力される。この出力端子１２を介して出力されるＨＤデータは、例えばＨＤテレビジョン受像機やＨＤビデオテープレコーダ装置等に供給される。
【００４１】
このように、ＳＤデータに対応するＨＤデータを推定するための係数データを各クラス毎に予め学習により求めたうえで、ＲＯＭテーブル９に記憶しておき、入力されるＳＤデータおよびＲＯＭテーブル９から読み出した係数データに基づいて演算を行い、入力されたＳＤデータに対応するＨＤデータを形成して出力することにより、入力されるＳＤデータを単に補間処理したのとは異なり、実際のＨＤデータにより近いデータを出力することができる。
【００４２】
続いて、ＲＯＭテーブル９に格納される係数データの作成方法について図２を用いて説明する。この係数データの作成方法、より具体的には学習に用いるＨＤデータおよびＳＤデータの作成方法が従来方式とは異なる。上述の係数データを学習によって得るためには、まず、既に知られているＨＤ画像に対応したＨＤ画像の１／４の画素数のＳＤ画像を形成する。
【００４３】
まず、入力端子２１を介してＨＤデータが供給されるが、このＨＤデータはＨＤカメラの輪郭補正回路をオフにして撮影された画像とする。この供給された輪郭補正が行われていないＨＤデータは、供給されるＨＤデータの垂直方向の画素を垂直間引きフィルタ２２により、フィールド内の垂直方向の周波数が１／２になるように間引き処理され、さらに水平間引きフィルタ２３により、ＨＤデータの水平方向の画素を間引き処理する。さらに、標準的なＳＤカメラに使用されている輪郭補正回路と同様のＳＤ輪郭補正回路２４により、水平垂直方向の輪郭補正が実施され、ＳＤデータが作成される。従来の学習で用いられていたＳＤデータが、ＨＤカメラにより輪郭補正されたＨＤデータをダウンコンバートして作られていたのに対し、この実施例のＳＤデータは、輪郭補正されていないＨＤデータをダウンコンバートし、さらにＳＤカメラで使用されているものと同様の輪郭補正回路により輪郭補正が行われたものであるので、従来のＳＤデータに比べ、特に輪郭近傍の特性がＳＤカメラで撮像、輪郭補正された、所謂一般的にいうところのＳＤデータに近い。
【００４４】
このように作成されたＳＤデータは、領域切り出し回路２６、領域切り出し回路２８、遅延回路３１に供給される。一方、入力端子２１に供給されたＨＤデータ（輪郭補正の行われていないＨＤデータ）は、標準的なＨＤカメラに使用されている輪郭補正回路と同様のＨＤ輪郭補正回路２５により輪郭補正された後、正規方程式加算回路に供給される。領域切り出し回路２６では、空間クラス分類を行うために、供給されたＳＤ画像信号から必要な画素を切り出す。具体的には、領域切り出し回路２６は先に説明した領域切り出し回路２と同一の働きをする。切り出されたＳＤデータは、ＡＤＲＣ回路２７に供給される。
【００４５】
ＡＤＲＣ回路２７は、領域毎に供給されるＳＤデータの１次元的あるいは２次元的なレベル分布のパターンを検出すると共に、上述のように各領域の全てのデータあるいは一部のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路３０に供給する。ＡＤＲＣ回路２７は、先に説明したＡＤＲＣ回路３と同一のものである。
【００４６】
一方、領域切り出し回路２８に供給されたＳＤ画像信号は、動きクラス分類のために必要なデータ切り出しが行われる。具体的には、領域切り出し回路２８は、先に説明した領域切り出し回路４と同一の働きをするものである。領域切り出し回路２８により切り出されたＳＤデータは、動きクラス決定回路２９に供給される。この動きクラス決定回路２９は具体的には、先に説明した動きクラス決定回路５と同一の働きをするものである。動きクラス決定回路２９で決定された動きクラスはクラスコード発生回路３０に供給される。クラスコード発生回路３０は、先に説明したクラスコード発生回路６と同一のものであり、ＡＤＲＣ回路２７から供給されるパターン圧縮データ（空間クラス）および動きクラス決定回路２９から供給された動きクラスに基づいて、上述した式（４）の演算を行うことによりクラスを検出し、そのクラスを示すクラスコードを出力するものである。クラスコード発生回路３０は、クラスコードを正規方程式加算回路３３に出力する。
【００４７】
一方、ＳＤ輪郭補正回路２４の出力信号は、遅延回路３１を介して領域切り出し回路３２に供給される。遅延回路３１は、領域切り出し回路２８および動きクラス決定回路２９の処理時間だけ、入力ＳＤデータを遅延させ、そのＳＤデータは、領域切り出し回路３２へ供給され、推定演算に使用するＳＤ画素データを切り出される。領域切り出し回路３２は具体的には、先に説明した領域切り出し回路８と同一のものであり、動きクラスに応じて、線形推定式に必要なＳＤ画素を切り出す働きをする。領域切り出し回路３２の出力は、正規方程式加算回路３３に供給される。
【００４８】
ここで正規方程式加算回路３３の説明のために、複数個のＳＤ画素からＨＤ画素への変換式の学習とその予測式を用いた信号変換について述べる。以下では、説明のために画素をより一般化してｎ画素による予測を行う場合について説明する。ＳＤ画素レベルをそれぞれ、ｘ1 、・・・、ｘn として、それぞれにｐビットＡＤＲＣを行った結果の再量子化データをｑ1 、・・・、ｑn とする。このとき、この領域のクラスclass を上述の式（５）で定義する。上述したように、ＳＤ画素レベルをそれぞれ、ｘ1 、・・・、ｘn とし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数ｗ1 、・・・、ｗn によるｎタップの線形推定式を設定する。これを式（６）に示す。学習前は、ｗi が未定係数である。
【００４９】
ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋・・・＋ｗn ｘn （６）
【００５０】
学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（６）に従って、以下に示す式（７）が設定される。
【００５１】
ｙk ＝ｗ1 ｘk1＋ｗ2 ｘk2＋・・・＋ｗn ｘkn （７）
（ｋ＝１、２、・・・、ｍ）
【００５２】
ｍ＞ｎの場合は、ｗ1 、・・・、ｗn は、一意に決まらないので、誤差ベクトルｅの要素を式（８）で定義して、しき（９）を最小にする係数を求める。いわゆる最小二乗法による解法である。
【００５３】
ｅk ＝ｙk −｛ｗ1 ｘk1＋ｗ2 ｘk2＋・・・＋ｗn ｘkn｝ （８）
（ｋ＝１、２、・・・、ｍ）
【００５４】
【数３】
【００５５】
ここで、式（９）のｗi による偏微分係数を求める。それは式（１０）を０にするように、各ｗi を求めればよい。
【００５６】
【数４】
【００５７】
以下、式（１１）、式（１２）のように、ＸjiＹi を定義すると、式（１０）は、行列を用いて式（１３）に書き換えられる。
【００５８】
【数５】
【００５９】
【数６】
【００６０】
【数７】
【００６１】
この方程式は一般的に正規方程式と呼ばれている。正規方程式加算回路３３は、クラスコード発生回路３０から供給されたクラスコード、領域切り出し回路３２より供給されたＳＤデータｘ1 、・・・、ｘn 、ＨＤ補正回路２５より供給された、ＳＤデータに対応するＨＤ画素レベルｙを用いて、この方程式の加算を行う。
【００６２】
すべてのトレーニングデータの入力が終了した後、正規方程式加算回路３３は、予測係数決定回路３４に正規方程式データを出力する。予測係数決定回路３４は、正規方程式を掃き出し法などの一般的な行列解法を用いて、ｗi について解き、予測係数を算出する。予測係数決定回路３４は、算出された予測係数をメモリ３５に書き込む。以上のようにトレーニングを行った結果、メモリ３５には、クラス毎に注目のＨＤデータｙを推定するための、統計的にもっとも真値に近い推定ができる予測係数が格納される。このメモリ３５に格納されたテーブルが、上述のように、この発明の画像信号変換装置において使用されるＲＯＭテーブル９である。以上の処理により、線形推定式によりＳＤデータからＨＤデータを作成するための係数データの学習が終了する。
【００６３】
以上の説明で明らかなように、この実施例では、学習の対象として、従来の学習で用いらていたＳＤデータがＨＤカメラにより輪郭補正されたＨＤデータをダウンコンバートして作られていたのに対し、この実施例のＳＤデータは、輪郭補正されていないＨＤデータをダウンコンバートし、さらにＳＤカメラで使用されるものと同様の輪郭補正回路により輪郭補正が行われたものであるので、従来のＳＤデータに比べ、特に輪郭近傍の特性が、ＳＤカメラで撮像、輪郭補正された、所謂一般的にいうところのＳＤデータに近い。したがって、従来の画像情報変換装置においてはダウンコンバートして作成されたＳＤデータのアップコンバージョンにおいては、特に輪郭近傍で、変換の性能が劣化したが、この実施例の学習手法を用いることにより、その劣化を押さえ、ＳＤカメラで撮像したＳＤデータのアップコンバージョンにおいても、総合的に高い変換性能を得ることができる。
【００６４】
そして、この実施例の説明では、動きパラメータを算出するために、画素データのフレーム間差分を算出し、その絶対値の平均値をしきい値処理を行うようにしたが、これは一例であり、時間差分を空間差分で割り、正規化したデータにして、そのデータをしきい値処理を行うようにしても良い。
【００６５】
また、この実施例の説明では、動きクラスを求めるために、差分の絶対値の平均値をしきい値として予め設定したが、差分の絶対値のヒストグラムをｎ等分するようにしきい値を設定することも可能である。
【００６６】
なお、この実施例の説明では、空間波形を少ないビット数でパターン化する情報圧縮手段として、ＡＤＲＣを設けることにしたが、これは一例であり、信号波形のパターンの少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えばＤＰＣＭやＶＱ（ベクトル量子化）等の圧縮手段を用いても良い。
【００６７】
さらに、この実施例の説明では、簡単のため、水平方向のアップコンバージョンに水平補間フィルタ１１を用いたが、このかわりに、水平方向のアップコンバージョン用のＲＯＭを用意し、水平方向のアップコンバージョンにおいても推定式を用いた方式を採ることも勿論可能である。
【００６８】
【発明の効果】
この発明に依れば、輪郭補正をオフにして撮像したＨＤ画像データを理想フィルタによりダウンコンバートし、それをＳＤカメラに使用されている輪郭補正と同様の輪郭補正回路により輪郭補正を行ったＳＤ画像データを学習対象とすることで、従来の学習対象のＳＤデータより、カメラ入力画像に近いものを対象とすることが出来、ＳＤカメラで撮像したＳＤ画像データのアップコンバージョン、特に輪郭補正近傍の変換性能を向上させることが出来る。
【図面の簡単な説明】
【図１】この発明に係る画像情報変換装置の一実施例を示すブロック図である。
【図２】補正データテーブルを作成する時の説明のための略線図である。
【図３】ＳＤデータとＨＤデータの位置関係を説明するための図である。
【図４】空間クラス分類に使用するデータを説明するための図である。
【図５】動きクラス分類に使用するデータを説明するための図である。
【図６】推定演算に使用する画素を説明するための図である。
【図７】従来の画像情報変換装置の一例の回路図である。
【図８】従来の画像情報変換装置の腰部の一例を示す回路図である。
【図９】従来の画像変換装置における補正データテーブルを作成する時の説明のためのブロック図である。
【図１０】輪郭補正装置の説明のためのブロック図である。
【符号の説明】
２２ 垂直間引きフィルタ
２３ 水平間引きフィルタ
２４ ＳＤ輪郭補正回路
２５ ＨＤ輪郭補正回路
２６、２８、３２ 領域切り出し回路
２７ ＡＤＲＣ回路
２９ 動きクラス決定回路
３０ クラスコード発生回路
３１ 遅延回路
３３ 正規方程式加算回路
３４ 予測係数決定回路
３５ メモリ
【産業上の利用分野】
この発明は、例えばテレビジョン受像機やビデオテープレコーダ装置等に用いて好適な画像情報変換装置に関し、外部から供給される通常の解像度の画像情報を高解像度の画像情報に変換して出力するような画像情報変換装置および係数データ作成装置に関する。
【０００２】
【従来の技術】
今日において、オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることができるようなテレビジョン受像機の開発が望まれ、この要望に応えて、いわゆるハイビジョンが開発された。このハイビジョンは、いわゆるＮＴＳＣ方式に規定される走査線数が５２５本なのに対して、２倍以上の１１２５本となっているうえ、表示画面の縦横比もＮＴＳＣ方式が３：４に対して９：１６と広角画面になっている。このため、高解像度で臨場感のある画面を得ることができるようになっている。
【０００３】
ここで、このような優れた特性を有するハイビジョンではあるが、ＮＴＳＣ方式の映像信号をそのまま供給しても画像表示を行うことはできない。これは、上述のようにＮＴＳＣ方式とハイビジョン方式とでは規格が異なるからである。このため、ＮＴＳＣ方式の映像信号に応じた画像をハイビジョンで表示しようとする場合、従来は、例えば図９に示すような画像情報変換装置を用いて映像信号のレート変換を行っていた。
【０００４】
図９において、従来の画像情報変換装置は、入力端子４１を介して供給されるＮＴＳＣ方式の映像信号（ＳＤデータ）の水平方向の補間処理を行う水平補間フィルタ４２と、水平方向の補間処理の行われた映像信号の垂直方向の補間処理を行う垂直補間フィルタ４３とから構成されている。そして、出力端子４４からハイビジョン方式の映像信号（ＨＤデータ）を得ることができる。
【０００５】
具体的には、水平補間フィルタ４２は、図１０に示すような構成を有しており、入力端子５１を介して供給されるＮＴＳＣ方式の映像信号は、入力端子５１を介して第１〜第ｍの乗算器５２〜５２m にそれぞれ供給される。各乗算器５２は、それぞれ映像信号に係数を乗算して出力する。係数の乗算された映像信号は、それぞれ第１〜第ｍの加算器５４〜５４n-1 に供給される。各加算器５４〜５４m-1 の間には、それぞれ時間Ｔの遅延レジスタ５３〜５３m が設けられている。そして、第ｍの乗算器５２m から出力された映像信号は、第ｍの遅延レジスタ５３m により時間Ｔの遅延が施され、第ｍ−１の加算器５４m-1 に供給される。
【０００６】
第ｍ−１の加算器５４m-1 は、第ｍの遅延レジスタ５３m からの時間Ｔの遅延時間が施された映像信号と、第ｍ−１の乗算器５２m-1 からの映像信号とを加算処理して出力する。この加算処理の施された映像信号は、第ｍ−１の遅延レジスタ５３m-1 により再度、時間Ｔの遅延時間が施され、図示しない第ｍ−２の加算器５４m-2 において、同じく図示しない第ｍ−２の乗算器５４m-2 からの映像信号と加算処理される。水平補間フィルタ４２は、このようにしてＮＴＳＣ方式の映像信号を出力端子５５を介して垂直補間フィルタ４３に供給する。
【０００７】
垂直補間フィルタ４３は、上述の水平補間フィルタ４２と同様の構成を有しており、水平補間処理の行われた映像信号に対して垂直方向の画素の補間を行う。これにより、ＮＴＳＣ方式の映像信号に対して、垂直方向の画素の補間を行う。このような変換のなされたハイビジョンの映像信号は、ハイビジョン受像機に供給される。これにより、ＮＴＳＣ方式の映像信号に応じた画像をハイビジョン受像機で表示することができる。
【０００８】
しかしながら、従来の画像情報変換装置は、ＮＴＳＣ方式の映像信号を基にして、単に水平方向および垂直方向の補間を行っているに過ぎないため、解像度は基となるＮＴＳＣ方式の映像信号と何ら変わらなかった。特に、通常の動画を変換対象とした場合、垂直方向の補間をフィールド内処理で行うのが一般的であるが、その場合、画像フィールド間相関を使用していないため、画像静止部においては変換ロスにより、ＮＴＳＣ方式の映像信号よりもむしろ解像度が劣化する欠点があった。
【０００９】
これに対し、特願平６−２０５９３４号では、入力信号である画像信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力するというものがある。
【００１０】
この手法は、ＨＤ画素を創造する場合、創造するＨＤ画素の近傍にある複数のＳＤ画素データを用いてクラス分割を行い、それぞれのクラス毎に予測係数値を学習により獲得することで、画像静止部においてはフレーム内相関また動き部においてはフィールド内相関を利用して、より真値に近いＨＤ画素値を得るというような巧妙なものである。
【００１１】
例えば、図３において示すような、ＨＤ画素ｙ1 、ｙ2 の創造を目的とした場合、図５に示すようなＳＤ画素ｍ1 〜ｍ5 とＳＤ画素ｎ1 〜ｎ5 のそれぞれ空間的同一位置にある画素同士のフレーム間差分の平均値を求め、それをしきい値処理してクラス分類することにより、主に動きの程度の表現をクラス分類を行う。なお、図３〜図６は、時間的に経過する＃k-2 、＃k-1 、＃k 、＃k+1 の４フィールドの垂直方向の画素配列を表している。
【００１２】
同時に図４において示すような、ＳＤ画素ｋ1 〜ｋ5 をＡＤＲＣ処理するこにより、少ないビット数で、主に空間内の波形表現を目的としたクラス分類を行う。この２種類のクラス分類で決定されたクラス毎に、図６において示すようなＳＤ画素ｘ1 〜ｘ9 を使用して、線形一次式をたて、予測係数値を学習により獲得する。この方式は、主に動きの程度を表すクラス分類と、主に空間内の波形を表すクラス分類とを個別にそれぞれに適した形で行うため、比較的少ないクラス数で高い変換性能を得られるという特徴がある。
【００１３】
ＨＤ画素ｙの推定演算は、上述の手順で得られた予測係数値ｗ1 〜ｗn を用いて以下のような式で行われる。
ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋・・・＋ｗn ｘn （１）
この例では、ｎ＝９である。
【００１４】
このように、ＳＤデータに対応するＨＤデータを推定するための係数データを各クラス毎に予め学習により求めた上で、ＲＯＭテーブルに格納しておき、入力されるＳＤデータおよびＲＯＭテーブルから読み出した係数を出力することにより、入力されたＳＤデータを単に補間処理したのとは異なり、実際のＨＤデータにより近いデータを出力することができるという特徴がある。
【００１５】
ところで、従来の画像情報変換装置における学習は、図７に示すような構成によっていた。すなわち、入力端子６１から入力されたＨＤデータを、垂直間引きフィルタ回路６２により、フィールド内の垂直方向の周波数が１／２になるように間引き処理を行い、さらに水平間引きフィルタ回路６３により、ＨＤデータの水平方向の周波数が１／２になるように間引き処理を行うことにより、ＳＤデータが得られる。
【００１６】
そして、領域切り出し回路６４およびＡＤＲＣ回路６５から空間クラスが得られ、領域切り出し回路６６および動きクラス決定回路６７から動きクラスが得られる。その空間クラスと動きクラスに応じてクラスコード発生回路６８からクラスコードが生成され、正規方程式加算回路７１では、そのクラスコードと遅延回路６９、領域切り出し回路７０からのＳＤデータとＨＤデータとから正規方程式が生成される。予測係数決定回路７２において、各クラスの予測係数が決定され、その予測係数は、メモリ７３に格納される。
【００１７】
また、テレビカメラの出力信号は、レンズの解像度特性、撮像管の電子ビームのアパーチャ特性等の影響で、高い空間周波数成分ほどその出力が低下してくる。これを補正するとともに、ディスプレイ装置における空間周波数の高域の低下をも見込んで映像信号の輪郭を強調して送出し、見た目にシャープな画像を作り出すための輪郭補正器（エンハンサーとも呼ばれる）が設けられている。
【００１８】
この輪郭補正器では、一般に図８のような処理が行われる。Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色の、例えばＧ信号から補正信号が生成される。遅延回路８５および８６は、補正信号の処理に必要とされる時間、Ｒ信号およびＢ信号を遅延させる。遅延回路８７と補正信号処理回路８８によって、基本的にはＧ信号の高域成分を切り出すハイパスフィルタの処理がされ、この高域成分が補正信号として、アッテネータ９２、９３、９４によって、レベルが調整されて加算器８９、９０、９１にて、各色信号に対して重畳される。なお、輪郭補正は、水平方向および垂直方向の両者に関してなされ、遅延回路８７において、Ｇ信号が水平方向の輪郭補正の場合は、１サンプル遅延され、垂直方向の輪郭補正の場合は、１ライン遅延とされる。
【００１９】
補正信号処理回路８８は、具体的には、コアリング、輪郭信号に対する非線形処理等の非線形処理を多く含んでいる。コアリングとは、小さな輪郭信号はほとんどがノイズ成分であると見なして、それを抑圧する処理である。輪郭信号に対する非線形処理とは、一般的に小振幅の補正信号の利得は大きく、大振幅の補正信号の利得は小さくする方法である。他にも、画像の輝度により補正信号の利得を変化させたり、またＳＤデータの場合には、ＮＴＳＣエンコードをも鑑みて、補正信号を制御する場合もある。
【００２０】
すなわち、従来の画像信号変換装置においては、上述のように輪郭補正が実施されたＨＤデータの画像信号と、それを理想フィルタによりダウンコンバートすることにより作成したＳＤデータの画像信号との間で学習を行っていた。従って、得られたＳＤデータはあくまでＨＤの輪郭補正が実施されたＨＤデータの画像信号をダウンコンバートして得たＳＤデータであり、特に輪郭近傍のデータの特性が、ＳＤカメラで撮像したＳＤデータとは異なっていた。そのため、従来の画像信号変換装置のおいてはＨＤデータからダウンコンバートして得たＳＤデータのアップコンバージョンに関しては理想的な変換が実現できたが、ＳＤカメラで撮像したＳＤデータのタップコンバージョンに関しては、特に輪郭近傍において必ずしも理想的な変換とはならない欠点があった。
【００２１】
【発明が解決しようとする課題】
したがって、この発明は、上述の問題点に鑑みてなされたものであり、解像度を向上させてＮＴＳＣ方式の映像信号をハイビジョン方式の映像信号に変換することが出来るような画像情報変換装置および係数データ作成装置の提供を目的とする。
【００２２】
【課題を解決するための手段】
請求項１に記載の発明は、第１のディジタル画像信号を、より画素数の多い第２のディジタル画像信号に変換するようにした画像情報変換装置において、生成対象の画素位置周辺の所定の位置の第１のディジタル画像信号の画像情報を切り出す画像切り出し手段と、画像切り出し手段により抽出された画像情報のレベル分布のパターンを検出し、パターンに基づいて、画像情報が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、クラス検出情報からクラスコードを発生するクラスコード発生手段と、クラスコード毎に係数データが記憶されている係数データ記憶手段と、係数データ記憶手段から供給された係数データに応じて、第１のディジタル画像信号を第２のディジタル画像信号に変換して出力する画像変換手段とを有し、係数データ記憶手段に記憶されている係数データは、輪郭補正を施していない第２のディジタル画像信号を、第１のディジタル画像信号へ変換し、変換された第１のディジタル画像信号に対して、輪郭補正を施した画像信号と、輪郭補正を施した第２のディジタル画像信号との学習により得られたことを特徴とする画像情報変換装置である。
【００２３】
さらに、請求項６に記載の発明は、第１のディジタル画像信号より画素数の多い第２のディジタル画像信号の画像情報から第１のディジタル画像信号の画像情報へ変換するフィルタ手段と、第１のディジタル画像信号の画像情報に対して輪郭補正を行う第１の輪郭補正手段と、第２のディジタル画像信号の画像情報に対して輪郭補正を行う第２の輪郭補正手段と、第１の輪郭補正手段からの第１のディジタル画像信号の画像情報から所定の位置の画像データを切り出す画像切り出し手段と、画像切り出し手段により抽出された画像情報のレベル分布のパターンを検出し、パターンに基づいて、画像情報が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、クラス検出情報からクラスコードを発生するクラスコード発生手段と、第１の輪郭補正手段からの第１のディジタル画像信号の画像情報と第２の輪郭補正手段からの第２のディジタル画像信号の画像情報とから第１のディジタル画像信号から第２のディジタル画像信号に変換するための情報である推定式の係数データを生成する係数データ生成手段と、係数データをクラスコード毎に記憶する係数データ記憶手段とからなることを特徴とする係数データ作成装置である。
【００２４】
【作用】
この発明に係る画像情報変換装置は、入力ＳＤ信号から、創造すべきＨＤ画素の近傍に位置するＳＤ画素のレベル分布のパターンを検出し、この検出したパターンに基づいて、その領域の画像情報が属するクラスを決定してクラス検出情報を出力する。さらに、創造すべきＨＤ画素の近傍に位置するＳＤ画素のフレーム間差分を用いて動きの程度を表すクラスを決定し、クラス検出情報を出力する。上述の２つのクラスを、クラスコード発生回路により統合し、最終的なクラスとして出力する。係数データ記憶手段には、外部から供給された画像情報を、この画像情報よりも高い解像度の画像情報に変換するための情報であるあ線形推定式の係数データがクラス毎に記憶されており、この係数データは、クラス検出情報に応じて出力される。そして、画像情報変換手段が、係数データ記憶手段から供給された係数データに応じて、外部から供給された画像情報を、外部から供給された画像情報よりも高い解像度の画像情報に変換する。線形推定式の係数データの獲得のための学習対象として、従来方式のように、ＨＤ画像データを単純にダウンコンバートして作成したＳＤ画像データを用いるのではなく、輪郭補正を行わずに撮像したＨＤ画像データをダウンコンバートして、さらにＳＤカメラに使用されている輪郭補正回路と同様の、輪郭補正回路により輪郭補正を行った画像をＳＤ画像データとして用いることを特徴としている。
【００２５】
【実施例】
以下、この発明の実施例について図面を参照しながら詳細に説明する。図１は、画像情報変換装置の信号処理の概略的構成を示す一実施例である。１で示す入力端子から、外部から供給される画像情報として、例えばいわゆるＮＴＳＣ方式の映像信号がディジタル化され、ＳＤ（Standerd Difinition ）データとして供給される。この実施例における、ＳＤ画素と創造するべきＨＤ画素の位置関係は、図３に示すとおりとする。すなわち、創造するべきＨＤ画素には、同一フィールド内で見たとき、ＳＤ画素から近い位置に存在するＨＤ画素ｙ1 とＳＤ画素から遠い位置に存在するｙ2 の２種類がある。以降、ＳＤ画素から近い位置に存在するＨＤ画素を推定するモードをモード１と呼び、ＳＤ画素から遠い位置に存在するＨＤ画素を推定するモードをモード２と呼ぶ。
【００２６】
領域切り出し回路２では、入力端子１より供給されたＳＤ画像信号から、主に空間内の波形現象のためのクラス分類（以降、空間クラスと呼ぶ）に必要な画素を切り出す。この実施例では、例えば図４に示すように創造するべきＨＤ画素ｙ1 、ｙ2 の近傍に位置する５つのＳＤ画素ｋ1 〜ｋ5 を切り出す。領域切り出し回路２により抽出されたＳＤデータは、ＡＤＲＣ回路３に供給される。ＡＤＲＣ回路３では、領域のＳＤデータのレベル分布のパターン化を目的として、各領域のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算が行われる。これにより、形成されたパターン圧縮データをクラスコード発生回路６に供給する。
【００２７】
本来、ＡＤＲＣ（Adaptive Dynamic Range Coding ）は、ディジタルＶＴＲの高能率符号化用に開発された適応量子化であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この実施例では、ＡＤＲＣを信号パターンのクラス分類のコード発生に使用している。ＡＤＲＣ回路３は、領域内のダイナミックレンジをＤＲ、ビット割当をｎ、領域内画素のデータレベルをＬ、再量子化コードをＱとして以下の式（２）により、領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００２８】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝〔（Ｌ−ＭＩＮ＋０．５）・２n ／ＤＲ〕 （２）
ただし、〔 〕は切り捨て処理を意味する。
【００２９】
この実施例では、領域切り出し回路２により分離されたそれぞれ５画素のＳＤデータを、各２ビットに圧縮するものとする。圧縮されたＳＤデータをそれぞれｑ1 〜ｑ5 とする。
【００３０】
一方、入力端子１から供給されたＳＤ画像信号は、領域切り出し回路４にも供給される。領域切り出し回路４は、主に動きの程度を表すためのクラス分類（動きクラス）に必要な画素を切り出す働きをする。この実施例では、例えば供給されたＳＤ画像信号から、創造するべきＨＤ画素ｙ1 、ｙ2 に対して図５に示す位置に存在する１０個のＳＤ画素ｍ1 〜ｍ5 およびｎ1 〜ｎ5 を抽出する。領域切り出し回路４により切り出されたデータは、動きクラス決定回路５に供給される。動きクラス決定回路５は、供給されたＳＤ画素データのフレーム間差分を算出し、その絶対値の平均値をしきい値処理することにより動きの指標である動きパラメータを算出する。具体的には、動きクラス決定回路５は式（３）により、供給されるＳＤデータの差分の絶対値の平均値param を算出する。
【００３１】
【数１】
【００３２】
上述の手法で算出されたＳＤデータの差分の絶対値の平均値param を予め設定したしきい値により、このＳＤデータの差分の絶対値の平均値param を用いて動きクラスmv-classを算出する。例えば、ここでは動きクラスを４つ設けることとして、動きクラスmv-classを以下のように決定する。
【００３３】
param ≦２の場合：動きクラスmv-class＝０
param ≦４の場合：動きクラスmv-class＝１
param ≦８の場合：動きクラスmv-class＝２
param ＞８の場合：動きクラスmv-class＝３
このように決定された動きクラスが、クラスコード発生回路６に供給される。
【００３４】
クラスコード発生回路６は、ＡＤＲＣ回路３から供給されるパターン圧縮データ（空間クラス）および動きクラス決定回路５から供給される動きクラスmv-classに基づいて以下の式（４）の演算を行うことによりクラスを検出し、そのクラスコードclass をＲＯＭテーブル９に供給する。このクラスコードclass は、ＲＯＭテーブル９から読み出しアドレスを示すものとなっている。
【００３５】
【数２】
【００３６】
ＲＯＭテーブル９には、ＳＤデータのパターンとＨＤデータの関係を学習することにより、線形推定式を用いて、ＳＤデータに対応するＨＤデータを算出するための係数データが各クラス毎に記憶されている。これは、線形推定式によりＳＤデータを、この画像情報よりも高い解像度の画像情報である、いわゆるハイビジョンの規格に合致したＨＤ（High Difinition ）データに変換するための情報である。この実施例において、係数データは、モード１とモード２で独立に用意される。なお、ＲＯＭテーブル９に記憶されている係数データの作成方法については後述する。ＲＯＭテーブル９からは、クラスコードclass で示されるアドレスから、そのクラスの係数データであるｗi(class)が読み出される。この係数データは、推定演算回路１０に供給される。
【００３７】
一方、入力ＳＤデータは、領域切り出し回路８にも供給される。領域切り出し回路８は、領域切り出し回路４および動きクラス決定回路５の処理時間だけ、入力ＳＤデータを遅延させる働きをする遅延回路７から図６に示すような位置にある、推定演算に使用する９つのＳＤ画素データｘ1 〜ｘ9 を切り出す。領域切り出し回路８の出力信号は、推定演算回路１０に供給される。推定演算回路１０は、領域切り出し回路８から供給されるＳＤデータ、ＲＯＭデータテーブル９から供給される係数データに基づいて、入力されたＳＤデータに対応するＨＤデータを算出する。
【００３８】
より具体的には、推定演算回路１０は、領域切り出し回路８から供給されるＳＤデータであるｘ1 〜ｘ9 とＲＯＭテーブル９より供給された係数データであるｗ1 〜ｗ9 により、モード１に関してはモード１用の係数を用いて、モード２に関してはモード２用の係数を用いて、係数データであるｗi(class)に基づいて、それぞれ以下の式（５）に示す演算を行うことにより、入力されたＳＤデータに対応するＨＤデータを算出する。作成されたＨＤデータは、水平補間フィルタ１１に供給される。
【００３９】
ｈｄ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋ｗ3 ｘ3 ＋・・・＋ｗ9 ｘ9 （５）
【００４０】
水平補間フィルタ１１は、図９の水平補間フィルタ４３と同一なもので、補間処理により水平方向の画素数を２倍にするものである。水平補間フィルタ１１の出力は、出力端子１２を介して出力される。この出力端子１２を介して出力されるＨＤデータは、例えばＨＤテレビジョン受像機やＨＤビデオテープレコーダ装置等に供給される。
【００４１】
このように、ＳＤデータに対応するＨＤデータを推定するための係数データを各クラス毎に予め学習により求めたうえで、ＲＯＭテーブル９に記憶しておき、入力されるＳＤデータおよびＲＯＭテーブル９から読み出した係数データに基づいて演算を行い、入力されたＳＤデータに対応するＨＤデータを形成して出力することにより、入力されるＳＤデータを単に補間処理したのとは異なり、実際のＨＤデータにより近いデータを出力することができる。
【００４２】
続いて、ＲＯＭテーブル９に格納される係数データの作成方法について図２を用いて説明する。この係数データの作成方法、より具体的には学習に用いるＨＤデータおよびＳＤデータの作成方法が従来方式とは異なる。上述の係数データを学習によって得るためには、まず、既に知られているＨＤ画像に対応したＨＤ画像の１／４の画素数のＳＤ画像を形成する。
【００４３】
まず、入力端子２１を介してＨＤデータが供給されるが、このＨＤデータはＨＤカメラの輪郭補正回路をオフにして撮影された画像とする。この供給された輪郭補正が行われていないＨＤデータは、供給されるＨＤデータの垂直方向の画素を垂直間引きフィルタ２２により、フィールド内の垂直方向の周波数が１／２になるように間引き処理され、さらに水平間引きフィルタ２３により、ＨＤデータの水平方向の画素を間引き処理する。さらに、標準的なＳＤカメラに使用されている輪郭補正回路と同様のＳＤ輪郭補正回路２４により、水平垂直方向の輪郭補正が実施され、ＳＤデータが作成される。従来の学習で用いられていたＳＤデータが、ＨＤカメラにより輪郭補正されたＨＤデータをダウンコンバートして作られていたのに対し、この実施例のＳＤデータは、輪郭補正されていないＨＤデータをダウンコンバートし、さらにＳＤカメラで使用されているものと同様の輪郭補正回路により輪郭補正が行われたものであるので、従来のＳＤデータに比べ、特に輪郭近傍の特性がＳＤカメラで撮像、輪郭補正された、所謂一般的にいうところのＳＤデータに近い。
【００４４】
このように作成されたＳＤデータは、領域切り出し回路２６、領域切り出し回路２８、遅延回路３１に供給される。一方、入力端子２１に供給されたＨＤデータ（輪郭補正の行われていないＨＤデータ）は、標準的なＨＤカメラに使用されている輪郭補正回路と同様のＨＤ輪郭補正回路２５により輪郭補正された後、正規方程式加算回路に供給される。領域切り出し回路２６では、空間クラス分類を行うために、供給されたＳＤ画像信号から必要な画素を切り出す。具体的には、領域切り出し回路２６は先に説明した領域切り出し回路２と同一の働きをする。切り出されたＳＤデータは、ＡＤＲＣ回路２７に供給される。
【００４５】
ＡＤＲＣ回路２７は、領域毎に供給されるＳＤデータの１次元的あるいは２次元的なレベル分布のパターンを検出すると共に、上述のように各領域の全てのデータあるいは一部のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路３０に供給する。ＡＤＲＣ回路２７は、先に説明したＡＤＲＣ回路３と同一のものである。
【００４６】
一方、領域切り出し回路２８に供給されたＳＤ画像信号は、動きクラス分類のために必要なデータ切り出しが行われる。具体的には、領域切り出し回路２８は、先に説明した領域切り出し回路４と同一の働きをするものである。領域切り出し回路２８により切り出されたＳＤデータは、動きクラス決定回路２９に供給される。この動きクラス決定回路２９は具体的には、先に説明した動きクラス決定回路５と同一の働きをするものである。動きクラス決定回路２９で決定された動きクラスはクラスコード発生回路３０に供給される。クラスコード発生回路３０は、先に説明したクラスコード発生回路６と同一のものであり、ＡＤＲＣ回路２７から供給されるパターン圧縮データ（空間クラス）および動きクラス決定回路２９から供給された動きクラスに基づいて、上述した式（４）の演算を行うことによりクラスを検出し、そのクラスを示すクラスコードを出力するものである。クラスコード発生回路３０は、クラスコードを正規方程式加算回路３３に出力する。
【００４７】
一方、ＳＤ輪郭補正回路２４の出力信号は、遅延回路３１を介して領域切り出し回路３２に供給される。遅延回路３１は、領域切り出し回路２８および動きクラス決定回路２９の処理時間だけ、入力ＳＤデータを遅延させ、そのＳＤデータは、領域切り出し回路３２へ供給され、推定演算に使用するＳＤ画素データを切り出される。領域切り出し回路３２は具体的には、先に説明した領域切り出し回路８と同一のものであり、動きクラスに応じて、線形推定式に必要なＳＤ画素を切り出す働きをする。領域切り出し回路３２の出力は、正規方程式加算回路３３に供給される。
【００４８】
ここで正規方程式加算回路３３の説明のために、複数個のＳＤ画素からＨＤ画素への変換式の学習とその予測式を用いた信号変換について述べる。以下では、説明のために画素をより一般化してｎ画素による予測を行う場合について説明する。ＳＤ画素レベルをそれぞれ、ｘ1 、・・・、ｘn として、それぞれにｐビットＡＤＲＣを行った結果の再量子化データをｑ1 、・・・、ｑn とする。このとき、この領域のクラスclass を上述の式（５）で定義する。上述したように、ＳＤ画素レベルをそれぞれ、ｘ1 、・・・、ｘn とし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数ｗ1 、・・・、ｗn によるｎタップの線形推定式を設定する。これを式（６）に示す。学習前は、ｗi が未定係数である。
【００４９】
ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋・・・＋ｗn ｘn （６）
【００５０】
学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（６）に従って、以下に示す式（７）が設定される。
【００５１】
ｙk ＝ｗ1 ｘk1＋ｗ2 ｘk2＋・・・＋ｗn ｘkn （７）
（ｋ＝１、２、・・・、ｍ）
【００５２】
ｍ＞ｎの場合は、ｗ1 、・・・、ｗn は、一意に決まらないので、誤差ベクトルｅの要素を式（８）で定義して、しき（９）を最小にする係数を求める。いわゆる最小二乗法による解法である。
【００５３】
ｅk ＝ｙk −｛ｗ1 ｘk1＋ｗ2 ｘk2＋・・・＋ｗn ｘkn｝ （８）
（ｋ＝１、２、・・・、ｍ）
【００５４】
【数３】
ここで、式（９）のｗi による偏微分係数を求める。それは式（１０）を０にするように、各ｗi を求めればよい。
【００５６】
【数４】
以下、式（１１）、式（１２）のように、ＸjiＹi を定義すると、式（１０）は、行列を用いて式（１３）に書き換えられる。
【００５８】
【数５】
【数６】
【数７】
この方程式は一般的に正規方程式と呼ばれている。正規方程式加算回路３３は、クラスコード発生回路３０から供給されたクラスコード、領域切り出し回路３２より供給されたＳＤデータｘ1 、・・・、ｘn 、ＨＤ補正回路２５より供給された、ＳＤデータに対応するＨＤ画素レベルｙを用いて、この方程式の加算を行う。
【００６２】
すべてのトレーニングデータの入力が終了した後、正規方程式加算回路３３は、予測係数決定回路３４に正規方程式データを出力する。予測係数決定回路３４は、正規方程式を掃き出し法などの一般的な行列解法を用いて、ｗi について解き、予測係数を算出する。予測係数決定回路３４は、算出された予測係数をメモリ３５に書き込む。以上のようにトレーニングを行った結果、メモリ３５には、クラス毎に注目のＨＤデータｙを推定するための、統計的にもっとも真値に近い推定ができる予測係数が格納される。このメモリ３５に格納されたテーブルが、上述のように、この発明の画像信号変換装置において使用されるＲＯＭテーブル９である。以上の処理により、線形推定式によりＳＤデータからＨＤデータを作成するための係数データの学習が終了する。
【００６３】
以上の説明で明らかなように、この実施例では、学習の対象として、従来の学習で用いらていたＳＤデータがＨＤカメラにより輪郭補正されたＨＤデータをダウンコンバートして作られていたのに対し、この実施例のＳＤデータは、輪郭補正されていないＨＤデータをダウンコンバートし、さらにＳＤカメラで使用されるものと同様の輪郭補正回路により輪郭補正が行われたものであるので、従来のＳＤデータに比べ、特に輪郭近傍の特性が、ＳＤカメラで撮像、輪郭補正された、所謂一般的にいうところのＳＤデータに近い。したがって、従来の画像情報変換装置においてはダウンコンバートして作成されたＳＤデータのアップコンバージョンにおいては、特に輪郭近傍で、変換の性能が劣化したが、この実施例の学習手法を用いることにより、その劣化を押さえ、ＳＤカメラで撮像したＳＤデータのアップコンバージョンにおいても、総合的に高い変換性能を得ることができる。
【００６４】
そして、この実施例の説明では、動きパラメータを算出するために、画素データのフレーム間差分を算出し、その絶対値の平均値をしきい値処理を行うようにしたが、これは一例であり、時間差分を空間差分で割り、正規化したデータにして、そのデータをしきい値処理を行うようにしても良い。
【００６５】
また、この実施例の説明では、動きクラスを求めるために、差分の絶対値の平均値をしきい値として予め設定したが、差分の絶対値のヒストグラムをｎ等分するようにしきい値を設定することも可能である。
【００６６】
なお、この実施例の説明では、空間波形を少ないビット数でパターン化する情報圧縮手段として、ＡＤＲＣを設けることにしたが、これは一例であり、信号波形のパターンの少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えばＤＰＣＭやＶＱ（ベクトル量子化）等の圧縮手段を用いても良い。
【００６７】
さらに、この実施例の説明では、簡単のため、水平方向のアップコンバージョンに水平補間フィルタ１１を用いたが、このかわりに、水平方向のアップコンバージョン用のＲＯＭを用意し、水平方向のアップコンバージョンにおいても推定式を用いた方式を採ることも勿論可能である。
【００６８】
【発明の効果】
この発明に依れば、輪郭補正をオフにして撮像したＨＤ画像データを理想フィルタによりダウンコンバートし、それをＳＤカメラに使用されている輪郭補正と同様の輪郭補正回路により輪郭補正を行ったＳＤ画像データを学習対象とすることで、従来の学習対象のＳＤデータより、カメラ入力画像に近いものを対象とすることが出来、ＳＤカメラで撮像したＳＤ画像データのアップコンバージョン、特に輪郭補正近傍の変換性能を向上させることが出来る。
【図面の簡単な説明】
【図１】この発明に係る画像情報変換装置の一実施例を示すブロック図である。
【図２】補正データテーブルを作成する時の説明のための略線図である。
【図３】ＳＤデータとＨＤデータの位置関係を説明するための図である。
【図４】空間クラス分類に使用するデータを説明するための図である。
【図５】動きクラス分類に使用するデータを説明するための図である。
【図６】推定演算に使用する画素を説明するための図である。
【図７】従来の画像情報変換装置の一例の回路図である。
【図８】従来の画像情報変換装置の腰部の一例を示す回路図である。
【図９】従来の画像変換装置における補正データテーブルを作成する時の説明のためのブロック図である。
【図１０】輪郭補正装置の説明のためのブロック図である。
【符号の説明】
２２ 垂直間引きフィルタ
２３ 水平間引きフィルタ
２４ ＳＤ輪郭補正回路
２５ ＨＤ輪郭補正回路
２６、２８、３２ 領域切り出し回路
２７ ＡＤＲＣ回路
２９ 動きクラス決定回路
３０ クラスコード発生回路
３１ 遅延回路
３３ 正規方程式加算回路
３４ 予測係数決定回路
３５ メモリ
Claims (10)
- 第１のディジタル画像信号を、より画素数の多い第２のディジタル画像信号に変換するようにした画像情報変換装置において、
生成対象の画素位置周辺の所定の位置の上記第１のディジタル画像信号の画像情報を切り出す画像切り出し手段と、
上記画像切り出し手段により抽出された画像情報のレベル分布のパターンを検出し、上記パターンに基づいて、上記画像情報が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、
上記クラス検出情報からクラスコードを発生するクラスコード発生手段と、
上記クラスコード毎に係数データが記憶されている係数データ記憶手段と、
上記係数データ記憶手段から供給された上記係数データに応じて、上記第１のディジタル画像信号を上記第２のディジタル画像信号に変換して出力する画像変換手段とを有し、
上記係数データ記憶手段に記憶されている上記係数データは、
輪郭補正を施していない第２のディジタル画像信号を、上記第１のディジタル画像信号へ変換し、変換された上記第１のディジタル画像信号に対して、輪郭補正を施した画像信号と、
輪郭補正を施した上記第２のディジタル画像信号との学習により得られた
ことを特徴とする画像情報変換装置。 - 請求項１に記載の画像情報変換装置において、
上記画像切り出し手段は、
上記第１のディジタル画像信号の画像情報から空間クラスを求めるために上記生成対象の画素位置周辺の所定の位置の第１の個数の上記第１のディジタル画像信号の画像情報を切り出す第１の画像切り出し手段と、
上記第１のディジタル画像信号の画像情報から動きクラスを求めるために上記第１の画像切り出し手段により切り出された上記画像情報より時間方向に広い上記生成対象の画素位置周辺の所定の位置の第２の個数の上記第１のディジタル画像信号の画像情報を切り出す第２の画像切り出し手段と、
上記第１のディジタル画像信号の画像情報から動きクラスを求めるために上記第２の画像切り出し手段により切り出された上記画像情報より空間方向に広い上記生成対象の画素位置周辺の所定の位置の第３の個数の上記第１のディジタル画像信号の画像情報を切り出す第３の画像切り出し手段とからなり、
上記クラスコード発生手段は、上記空間クラスと上記動きクラスからクラスコードを発生することを特徴とする画像情報変換装置。 - 請求項１に記載の画像情報変換装置において、
上記係数データ記憶手段では、上記第１のディジタル画像信号の画像情報の位置と、変換される上記第２のディジタル画像信号の画像情報の位置との距離が所定の距離以下の場合に上記第２のディジタル画像信号への変換に用いられる第１の係数データと、
上記第１のディジタル画像信号の画像情報の位置と、変換される上記第２のディジタル画像信号の画像情報の位置との距離が所定の距離よりも大きい場合に上記第２のディジタル画像信号への変換に用いられる第２の係数データとが格納されており、
上記第１のディジタル画像信号の画像情報の位置と、変換される上記第２のディジタル画像信号の画像情報の位置との距離に基づいて、上記第１および第２の係数データの一方を選択的に読み出し、
上記画像変換手段において、読み出された係数データと上記第１のディジタル画像信号との線形一次式に基づいて上記第２のディジタル画像信号に変換することを特徴とする画像情報変換装置。 - 請求項３に記載の画像情報変換装置は、
上記第１の画像切り出し手段から所定の位置の画像データを切り出し、上記切り出された画像データに対してＡＤＲＣ符号化を施し、上記切り出された画像データの量子化された値に基づいて空間クラスを検出する空間クラス検出手段と、
上記第２の画像切り出し手段から所定の位置の画像データを切り出し、上記切り出された画像データに基づき、動きパラメータを算出し、上記動きパラメータに基づいて動きクラスを検出する動きクラス検出手段とを備え、
上記ＡＤＲＣ符号化は、２次元あるいは３次元のブロック内に含まれる複数のデータの最大値および上記複数のデータの最小値を検出する手段と、
上記最大値および最小値から上記ブロックのダイナミックレンジを検出する手段と、
上記ダイナミックレンジを規定する値を基準とした相対的なレベル関係を持つように修正された修正入力データを形成する手段と、
上記修正入力データを元の量子化ビット数以下のビット数で量子化する手段とからなることを特徴とする画像情報変換装置。 - 上記動きパラメータは、上記第１のディジタル画像信号のフレーム間差分を算出し、
その絶対値の平均値に基づき算出されることを特徴とする請求項５に記載の画像情報変換装置。 - 第１のディジタル画像信号より画素数の多い第２のディジタル画像信号の画像情報から上記第１のディジタル画像信号の画像情報へ変換するフィルタ手段と、
上記第１のディジタル画像信号の画像情報に対して輪郭補正を行う第１の輪郭補正手段と、
上記第２のディジタル画像信号の画像情報に対して輪郭補正を行う第２の輪郭補正手段と、
上記第１の輪郭補正手段からの上記第１のディジタル画像信号の画像情報から所定の位置の画像データを切り出す画像切り出し手段と、
上記画像切り出し手段により抽出された画像情報のレベル分布のパターンを検出し、上記パターンに基づいて、上記画像情報が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、
上記クラス検出情報からクラスコードを発生するクラスコード発生手段と、
上記第１の輪郭補正手段からの上記第１のディジタル画像信号の画像情報と上記第２の輪郭補正手段からの上記第２のディジタル画像信号の画像情報とから上記第１のディジタル画像信号から上記第２のディジタル画像信号に変換するための情報である推定式の係数データを生成する係数データ生成手段と、
上記係数データを上記クラスコード毎に記憶する係数データ記憶手段と
からなることを特徴とする係数データ作成装置。 - 請求項６に記載の係数データ作成装置において、
上記フィルタ手段は、上記第２のディジタル画像信号の画像情報に対して、水平方向の画像情報を１／２とし、さらに垂直方向の画像情報を１／２とすることで上記第１のディジタル画像信号の画像情報へ変換する画像フィルタ手段からなることを特徴とする係数データ作成装置。 - 請求項６に記載の係数データ作成装置において、
上記画像切り出し手段は、
上記第１のディジタル画像信号の画像情報から空間クラスを求めるために上記生成対象の画素位置周辺の所定の位置の第１の個数の画像データを切り出す第１の画像切り出し手段と、
上記第１のディジタル画像信号の画像情報から動きクラスを求めるために上記第１の画像切り出し手段により切り出された上記画像情報より時間方向に広い上記生成対象の画素位置周辺の所定の位置の第２の個数の画像データを切り出す第２の画像切り出し手段と、
上記第１のディジタル画像信号の画像情報から動きクラスを求めるために上記第２の画像切り出し手段により切り出された上記画像情報より空間方向に広い上記生成対象の画素位置周の所定の位置の第３の個数の画像データを切り出す第３の画像切り出し手段とからなり、
上記クラスコード発生手段は、上記空間クラスと上記動きクラスからクラスコードを発生することを特徴とする係数データ作成装置。 - 請求項６に記載の係数データ作成装置において、
上記係数データ記憶手段に記憶される上記係数データは、
上記第１のディジタル画像信号の画像情報の位置と、変換される上記第２のディジタル画像信号の画像情報の位置との距離が所定の距離以下の場合に上記第２のディジタル画像信号への変換に用いられる第１の係数データと、
上記第１のディジタル画像信号の画像情報の位置と、変換される上記第２のディジタル画像信号の画像情報の位置との距離が所定の距離よりも大きい場合に上記第２のディジタル画像信号への変換に用いられる第２の係数データとからなることを特徴とする係数データ作成装置。 - 請求項９に記載の係数データ作成装置は、
上記第１の画像切り出し手段から所定の位置の画像データを切り出し、上記切り出された画像データに対してＡＤＲＣ符号化を施し、上記切り出された画像データの量子化された値に基づいて空間クラスを検出する空間クラス検出手段と、
上記第２の画像切り出し手段から所定の位置の画像データを切り出し、上記切り出された画像データに基づき、動きパラメータを算出し、上記動きパラメータに基づいて動きクラスを検出する動きクラス検出手段とを備え、
上記ＡＤＲＣ符号化は、２次元あるいは３次元のブロック内に含まれる複数のデータの最大値および上記複数のデータの最小値を検出する手段と、
上記最大値および最小値から上記ブロックのダイナミックレンジを検出する手段と、
上記ダイナミックレンジを規定する値を基準とした相対的なレベル関係を持つように修正された修正入力データを形成する手段と、
上記修正入力データを元の量子化ビット数以下のビット数で量子化する手段と
からなることを特徴とする係数データ作成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14824095A JP3724008B2 (ja) | 1995-05-23 | 1995-05-23 | 画像情報変換装置および係数データ作成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14824095A JP3724008B2 (ja) | 1995-05-23 | 1995-05-23 | 画像情報変換装置および係数データ作成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08317347A JPH08317347A (ja) | 1996-11-29 |
| JP3724008B2 true JP3724008B2 (ja) | 2005-12-07 |
Family
ID=15448384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14824095A Expired - Lifetime JP3724008B2 (ja) | 1995-05-23 | 1995-05-23 | 画像情報変換装置および係数データ作成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3724008B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8472745B2 (en) | 2010-02-16 | 2013-06-25 | Fujifilm Corporation | Image processing method, apparatus, program, and recording medium for the same |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4105257B2 (ja) * | 1997-07-30 | 2008-06-25 | ソニー株式会社 | 記憶装置および記憶方法 |
| WO2000019724A1 (en) * | 1998-09-30 | 2000-04-06 | Sony Corporation | Arithmetic device, converter, and their methods |
| JP4639613B2 (ja) * | 2004-03-15 | 2011-02-23 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
| KR100700982B1 (ko) * | 2005-05-24 | 2007-03-29 | 삼성전자주식회사 | 영상처리방법과, 영상처리장치와 이를 포함하는영상처리시스템 및 그 제어방법 |
-
1995
- 1995-05-23 JP JP14824095A patent/JP3724008B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8472745B2 (en) | 2010-02-16 | 2013-06-25 | Fujifilm Corporation | Image processing method, apparatus, program, and recording medium for the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08317347A (ja) | 1996-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH08154251A (ja) | 画像信号補間装置 | |
| US7679676B2 (en) | Spatial signal conversion | |
| JP3674186B2 (ja) | 画像情報変換装置および方法 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JPH0795591A (ja) | ディジタル画像信号処理装置 | |
| KR101098300B1 (ko) | 공간 신호 변환 | |
| JP3724008B2 (ja) | 画像情報変換装置および係数データ作成装置 | |
| JP2001285881A (ja) | ディジタル情報変換装置および方法、並びに画像情報変換装置および方法 | |
| JPH0846934A (ja) | ディジタル画像信号の処理装置 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP3627291B2 (ja) | ブロック歪み除去装置および方法 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP3362463B2 (ja) | フレーム補間装置 | |
| JPH1093929A (ja) | 画像情報変換装置および方法 | |
| JP4062326B2 (ja) | 係数生成装置および方法 | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JP3922286B2 (ja) | 係数学習装置および方法 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JPH08130744A (ja) | テレビジヨン受像装置 | |
| JP4001143B2 (ja) | 係数生成装置および方法 | |
| JP4038881B2 (ja) | 画像信号の変換装置および変換方法、並びにそれに使用される係数データの生成装置および生成方法 | |
| JP4552263B2 (ja) | ディジタル信号処理装置および方法、並びにディジタル画像信号処理装置および方法 | |
| JP3831960B2 (ja) | 圧縮高解像度ビデオ信号の補間装置および補間方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040210 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040409 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041124 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050124 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050607 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050808 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050811 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050830 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050912 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080930 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090930 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090930 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100930 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100930 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110930 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110930 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120930 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120930 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130930 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |