JP3321915B2 - 画像信号変換装置 - Google Patents
画像信号変換装置Info
- Publication number
- JP3321915B2 JP3321915B2 JP17261793A JP17261793A JP3321915B2 JP 3321915 B2 JP3321915 B2 JP 3321915B2 JP 17261793 A JP17261793 A JP 17261793A JP 17261793 A JP17261793 A JP 17261793A JP 3321915 B2 JP3321915 B2 JP 3321915B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- pixels
- signal
- image
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000006243 chemical reaction Methods 0.000 claims description 37
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 18
- 101710163391 ADP-ribosyl cyclase/cyclic ADP-ribose hydrolase Proteins 0.000 description 13
- 238000000034 method Methods 0.000 description 11
- 230000000903 blocking effect Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【産業上の利用分野】この発明は、画像の信号変換を行
う場合、入力された標準解像度（以下、ＳＤと称する）
信号から高解像度（以下、ＨＤと称する）信号へ、アッ
プコンバートする信号変換装置に関する。
う場合、入力された標準解像度（以下、ＳＤと称する）
信号から高解像度（以下、ＨＤと称する）信号へ、アッ
プコンバートする信号変換装置に関する。
【０００２】
【従来の技術】図１２は、従来のアップコンバートを行
なう信号変換装置の一例のブロック図を示す。入力端子
６０から入力されたＳＤ信号は、水平補間フィルタ６１
により水平方向の画素数が２倍とされ、垂直補間フィル
タ６２により垂直方向のライン数が２倍とされ、出力端
子６３からＨＤ信号として出力される。即ち、画像のア
ップコンバージョンがフィルタを用いて行われている。
なう信号変換装置の一例のブロック図を示す。入力端子
６０から入力されたＳＤ信号は、水平補間フィルタ６１
により水平方向の画素数が２倍とされ、垂直補間フィル
タ６２により垂直方向のライン数が２倍とされ、出力端
子６３からＨＤ信号として出力される。即ち、画像のア
ップコンバージョンがフィルタを用いて行われている。
【０００３】図１３はその補間フィルタの構成例を示
す。入力端子６４から供給された信号に乗算器により、
フィルタ係数αn ，αn-1 ，‥‥α0 を掛け、単位遅延
量Ｔのレジスタにより、順次遅延すると共に加算し、補
間出力が出力端子６５から出力される。水平補間フィル
タ６１では、この単位遅延量Ｔがサンプル周期に選ばれ
ており、垂直補間フィルタ６２では、これがライン周期
に選ばれている。
す。入力端子６４から供給された信号に乗算器により、
フィルタ係数αn ，αn-1 ，‥‥α0 を掛け、単位遅延
量Ｔのレジスタにより、順次遅延すると共に加算し、補
間出力が出力端子６５から出力される。水平補間フィル
タ６１では、この単位遅延量Ｔがサンプル周期に選ばれ
ており、垂直補間フィルタ６２では、これがライン周期
に選ばれている。
【０００４】
【発明が解決しようとする課題】上述の従来の画像信号
変換装置において、ＳＤ信号からＨＤ信号へフィルタを
用いてアップコンバートする場合、出力される信号は単
に補間された信号に過ぎず、解像度は入力されたＳＤ信
号と何ら変わらない。とくに、インタレースされた画像
については同一フィールド内でのライン間隔が離れてい
るので精度の高い変換は困難である。
変換装置において、ＳＤ信号からＨＤ信号へフィルタを
用いてアップコンバートする場合、出力される信号は単
に補間された信号に過ぎず、解像度は入力されたＳＤ信
号と何ら変わらない。とくに、インタレースされた画像
については同一フィールド内でのライン間隔が離れてい
るので精度の高い変換は困難である。
【０００５】従来、アップコンバートを行なう信号変換
装置では、信号変換を行なう画像が動き画像の場合、フ
ィールド内処理を施し、また、信号変換を行なう画像が
静止画像の場合、フィールド間処理を施していた。すな
わち、信号変換を行なう画像が動きまたは、静止の画像
によって夫々処理の方法を切り替えていた。よって、動
き検出回路が別に必要となり、また、動き検出が正確で
ないと、画質の劣化が起こりやすい。
装置では、信号変換を行なう画像が動き画像の場合、フ
ィールド内処理を施し、また、信号変換を行なう画像が
静止画像の場合、フィールド間処理を施していた。すな
わち、信号変換を行なう画像が動きまたは、静止の画像
によって夫々処理の方法を切り替えていた。よって、動
き検出回路が別に必要となり、また、動き検出が正確で
ないと、画質の劣化が起こりやすい。
【０００６】従って、この発明の目的は、単に補間する
のではなく、時間方向情報を利用する空間処理による変
換を行なうため、既知の複数フィールドのＨＤ信号から
学習を行なうことによって、動きが存在する時でも、精
度の高い変換を可能とする画像信号変換装置を提供する
ことにある。
のではなく、時間方向情報を利用する空間処理による変
換を行なうため、既知の複数フィールドのＨＤ信号から
学習を行なうことによって、動きが存在する時でも、精
度の高い変換を可能とする画像信号変換装置を提供する
ことにある。
【０００７】
【課題を解決するための手段】標準解像度の画像信号を
高解像度の画像信号に変換する画像信号変換装置におい
て、標準解像度の入力画像信号のレベルの三次元分布の
形状に応じてクラス分割を行なう手段と、クラス分割さ
れたクラス毎に予め学習により獲得された予測係数値を
格納した記憶手段と、記憶手段と結合され、予測係数値
を含む予測式に基づいた演算から最適な推定値を出力
し、推定値を含むことによって、入力画像信号よりも高
い解像度の画像信号を出力する手段を備えてなる画像信
号変換装置。
高解像度の画像信号に変換する画像信号変換装置におい
て、標準解像度の入力画像信号のレベルの三次元分布の
形状に応じてクラス分割を行なう手段と、クラス分割さ
れたクラス毎に予め学習により獲得された予測係数値を
格納した記憶手段と、記憶手段と結合され、予測係数値
を含む予測式に基づいた演算から最適な推定値を出力
し、推定値を含むことによって、入力画像信号よりも高
い解像度の画像信号を出力する手段を備えてなる画像信
号変換装置。
【０００８】
【作用】時間方向情報を利用した学習によりＳＤ信号に
対応するＨＤ信号を決定するので、実際の画像の性質に
基づいたアップコンバートができる。また、ＳＤ信号の
三次元のレベル分布に応じて適応的にクラスを選択する
ため、画像の局所的性質に追従したアップコンバートが
可能となる。従って、フィルタによる補間と比較して、
より解像度の高い画質のＨＤ信号が得られる。また、動
き画像に関して、良好な信号変換が可能である。
対応するＨＤ信号を決定するので、実際の画像の性質に
基づいたアップコンバートができる。また、ＳＤ信号の
三次元のレベル分布に応じて適応的にクラスを選択する
ため、画像の局所的性質に追従したアップコンバートが
可能となる。従って、フィルタによる補間と比較して、
より解像度の高い画質のＨＤ信号が得られる。また、動
き画像に関して、良好な信号変換が可能である。
【０００９】
【実施例】以下、この発明の一実施例を図面を用いて説
明する。図１はこの発明の一実施例の学習時の構成を示
すブロック図である。１は入力端子で、標準的なＨＤ信
号の静止画像を多数枚入力され、垂直間引きフィルタ２
と学習部４へ供給する。ＨＤ画像が入力端子１から供給
された垂直間引きフィルタ２は、ＨＤ画像を垂直方向に
１／２に間引きし、垂直間引きフィルタ２と接続されて
いる水平間引きフィルタ３で水平方向に１／２に間引き
を行ない、ＳＤ信号と同等の画素の静止画像を学習部４
に供給する。予測係数メモリ５は、学習部４で作成され
たクラスコードと係数ｗ１〜ｗｎを記憶する。
明する。図１はこの発明の一実施例の学習時の構成を示
すブロック図である。１は入力端子で、標準的なＨＤ信
号の静止画像を多数枚入力され、垂直間引きフィルタ２
と学習部４へ供給する。ＨＤ画像が入力端子１から供給
された垂直間引きフィルタ２は、ＨＤ画像を垂直方向に
１／２に間引きし、垂直間引きフィルタ２と接続されて
いる水平間引きフィルタ３で水平方向に１／２に間引き
を行ない、ＳＤ信号と同等の画素の静止画像を学習部４
に供給する。予測係数メモリ５は、学習部４で作成され
たクラスコードと係数ｗ１〜ｗｎを記憶する。
【００１０】上述の間引きを行なう場合、水平間引きに
は通常の周波数制限フィルタを含む１／２間引き回路を
使用できるが、図２に示すように、垂直間引きには１／
８，４／８，３／８といったような非対称係数をフィー
ルド毎に逆順で用いてＳＤ信号のインタレース構造を保
存しなければならない。すなわち、単にＨＤ画像の２ラ
インを合成してＳＤ画像の１ラインを形成すると、ｎフ
ィールドのラインと（ｎ＋１）フィールドのラインとの
間隔が不均一となり、インタレース構造でなくなるから
である。
は通常の周波数制限フィルタを含む１／２間引き回路を
使用できるが、図２に示すように、垂直間引きには１／
８，４／８，３／８といったような非対称係数をフィー
ルド毎に逆順で用いてＳＤ信号のインタレース構造を保
存しなければならない。すなわち、単にＨＤ画像の２ラ
インを合成してＳＤ画像の１ラインを形成すると、ｎフ
ィールドのラインと（ｎ＋１）フィールドのラインとの
間隔が不均一となり、インタレース構造でなくなるから
である。
【００１１】ここで図３は、学習部４をソフトウェア処
理の構成とした時のその動作を示すフローチャートを示
す。ステップ１１から学習部の制御が開始され、ステッ
プ１２の対応データブロック化では、ＨＤ信号とＳＤ信
号が供給され、後述するような配列関係にあるＨＤ画素
およびＳＤ画素を取り出す処理を行なう。ステップ１３
のデータ終了では、入力された全データ例えば１フレー
ムのデータの処理が終了していれば、ステップ１６の予
測係数決定へ、終了していなければ、ステップ１４のク
ラス決定へ制御が移る。
理の構成とした時のその動作を示すフローチャートを示
す。ステップ１１から学習部の制御が開始され、ステッ
プ１２の対応データブロック化では、ＨＤ信号とＳＤ信
号が供給され、後述するような配列関係にあるＨＤ画素
およびＳＤ画素を取り出す処理を行なう。ステップ１３
のデータ終了では、入力された全データ例えば１フレー
ムのデータの処理が終了していれば、ステップ１６の予
測係数決定へ、終了していなければ、ステップ１４のク
ラス決定へ制御が移る。
【００１２】ステップ１４のクラス決定では、ＳＤ信号
の信号パターンからクラスを決める。この制御では、ビ
ット数削減のため後述のような適応型ダイナッミクレン
ジ符号化（以下、ＡＤＲＣと称する）を用いることがで
きる。ステップ１５の正規方程式加算では、後述する式
７、式８および式９の方程式を作成する。
の信号パターンからクラスを決める。この制御では、ビ
ット数削減のため後述のような適応型ダイナッミクレン
ジ符号化（以下、ＡＤＲＣと称する）を用いることがで
きる。ステップ１５の正規方程式加算では、後述する式
７、式８および式９の方程式を作成する。
【００１３】ステップ１３のデータ終了から全データの
処理が終了後、制御がステップ１６に移り、ステップ１
６の予測係数決定では、後述する式９を行列解法を用い
て解いて、予測係数を決める。ステップ１７の予測係数
ストアで、予測係数をメモリにストアし、ステップ１８
で学習部の制御が終了する。
処理が終了後、制御がステップ１６に移り、ステップ１
６の予測係数決定では、後述する式９を行列解法を用い
て解いて、予測係数を決める。ステップ１７の予測係数
ストアで、予測係数をメモリにストアし、ステップ１８
で学習部の制御が終了する。
【００１４】クラス分けは、例えば、三次元分布の１２
個のＳＤ画素を使用する。補間を対象としての１個のＨ
Ｄ画素の位置に応じて１２個のＳＤ画素のパターンは、
４種類存在しうる。この４種類をモード１〜モード４と
称することにする。各モードにおける画素の配列を図
４、図５、図６および図７に夫々示す。丸印が補間対象
のＨＤ画素、四角印がＨＤ画像を上述のように間引きす
ることで生成されたＳＤ画素を夫々表す。
個のＳＤ画素を使用する。補間を対象としての１個のＨ
Ｄ画素の位置に応じて１２個のＳＤ画素のパターンは、
４種類存在しうる。この４種類をモード１〜モード４と
称することにする。各モードにおける画素の配列を図
４、図５、図６および図７に夫々示す。丸印が補間対象
のＨＤ画素、四角印がＨＤ画像を上述のように間引きす
ることで生成されたＳＤ画素を夫々表す。
【００１５】以下、図４、図５、図６および図７に基づ
いて、１２個のＳＤ画素からＨＤ画素への変換式の学習
とその予測式を用いた信号変換について述べる。なお、
図中のＨＤ画素は、この発明の予測式に基づいたＳＤ画
素１２個からの演算により獲得できたものとする。ま
た、ハードを簡単化するため、図５、および図７につい
ては（ｎ−１）フィールドおよび（ｎ＋１）フィールド
の一部のＳＤ画素を１／２平均してｎフィールドにＳＤ
画素を獲得している（点線四角印）。図４、図５、図６
および図７は学習および予測時のＳＤ画素およびＨＤ画
素の空間的対応関係を表し、必要な複数のＳＤ画素と補
間の対象となる１個のＨＤ画素のみを示す。
いて、１２個のＳＤ画素からＨＤ画素への変換式の学習
とその予測式を用いた信号変換について述べる。なお、
図中のＨＤ画素は、この発明の予測式に基づいたＳＤ画
素１２個からの演算により獲得できたものとする。ま
た、ハードを簡単化するため、図５、および図７につい
ては（ｎ−１）フィールドおよび（ｎ＋１）フィールド
の一部のＳＤ画素を１／２平均してｎフィールドにＳＤ
画素を獲得している（点線四角印）。図４、図５、図６
および図７は学習および予測時のＳＤ画素およびＨＤ画
素の空間的対応関係を表し、必要な複数のＳＤ画素と補
間の対象となる１個のＨＤ画素のみを示す。
【００１６】図４すなわち、モード１において、ｎフィ
ールドの６個のＳＤ画素と、（ｎ−１）フィールドおよ
び（ｎ＋１）フィールドの夫々３個のＳＤ画素、合計１
２個のＳＤ画素からＨＤ画素を生成する。このモード１
は、図２の垂直間引きの図を用いると、１／８の係数が
乗じられるラインのＨＤ画素を補間するものである。
ールドの６個のＳＤ画素と、（ｎ−１）フィールドおよ
び（ｎ＋１）フィールドの夫々３個のＳＤ画素、合計１
２個のＳＤ画素からＨＤ画素を生成する。このモード１
は、図２の垂直間引きの図を用いると、１／８の係数が
乗じられるラインのＨＤ画素を補間するものである。
【００１７】モード２（図５）において、（ｎ−１）フ
ィールドと（ｎ＋１）フィールドの同一位置のラインに
含まれるＳＤ画素同士を平均化してｎフィールド中に必
要とする３個のＳＤ画素を補間する。そして、その補間
したＳＤ画素を含むｎフィールドの６個のＳＤ画素と、
（ｎ−１）フィールドおよび（ｎ＋１）フィールドで平
均に使用したＳＤ画素を除いた夫々３個のＳＤ画素、合
計１２個のＳＤ画素からＨＤ画素を獲得する。これは、
図２の垂直間引きの図を用いると、４／８の係数が乗じ
られるラインのＨＤ画素を補間するものである。
ィールドと（ｎ＋１）フィールドの同一位置のラインに
含まれるＳＤ画素同士を平均化してｎフィールド中に必
要とする３個のＳＤ画素を補間する。そして、その補間
したＳＤ画素を含むｎフィールドの６個のＳＤ画素と、
（ｎ−１）フィールドおよび（ｎ＋１）フィールドで平
均に使用したＳＤ画素を除いた夫々３個のＳＤ画素、合
計１２個のＳＤ画素からＨＤ画素を獲得する。これは、
図２の垂直間引きの図を用いると、４／８の係数が乗じ
られるラインのＨＤ画素を補間するものである。
【００１８】モード３（図６）において、ｎフィールド
の６個のＳＤ画素と、（ｎ−１）フィールドの４個のＳ
Ｄ画素と、（ｎ＋１）フィールドの２個のＳＤ画素、合
計１２個のＳＤ画素からＨＤ画素を生成する。これは、
図２の垂直間引きの図を用いると、１／８の係数が乗じ
られるラインのＨＤ画素の水平方向にＨＤ画素を補間す
るものである。
の６個のＳＤ画素と、（ｎ−１）フィールドの４個のＳ
Ｄ画素と、（ｎ＋１）フィールドの２個のＳＤ画素、合
計１２個のＳＤ画素からＨＤ画素を生成する。これは、
図２の垂直間引きの図を用いると、１／８の係数が乗じ
られるラインのＨＤ画素の水平方向にＨＤ画素を補間す
るものである。
【００１９】モード４（図７）において、（ｎ−１）フ
ィールドと（ｎ＋１）フィールドのＳＤ画素を平均化し
てｎフィールド中に必要とする４個（２ラインで夫々２
個）のＳＤ画素を補間する。そして、その補間したＳＤ
画素を含むｎフィールドの８個のＳＤ画素と、（ｎ−
１）フィールドおよび（ｎ＋１）フィールドで平均化に
使用したＳＤ画素を除いた夫々２個のＳＤ画素、合計１
２個のＳＤ画素からＨＤ画素を獲得する。これは、図２
の垂直間引きの図を用いると、４／８の係数が乗じられ
るラインのＨＤ画素の水平方向にＨＤ画素を補間するも
のである。
ィールドと（ｎ＋１）フィールドのＳＤ画素を平均化し
てｎフィールド中に必要とする４個（２ラインで夫々２
個）のＳＤ画素を補間する。そして、その補間したＳＤ
画素を含むｎフィールドの８個のＳＤ画素と、（ｎ−
１）フィールドおよび（ｎ＋１）フィールドで平均化に
使用したＳＤ画素を除いた夫々２個のＳＤ画素、合計１
２個のＳＤ画素からＨＤ画素を獲得する。これは、図２
の垂直間引きの図を用いると、４／８の係数が乗じられ
るラインのＨＤ画素の水平方向にＨＤ画素を補間するも
のである。
【００２０】上述の通り、三次元のＳＤ画素１２個から
垂直方向にＨＤ画素を獲得する。また、モード２および
モード４では、モード１およびモード３のＨＤ画素に対
して、図中のＳＤ画素のサンプリング間隔の１／２の位
置にＨＤ画素ライン上にＨＤ画素を生成している。すな
わち、ＨＤ画素ライン上で、ＳＤ画素の２倍のＨＤ画素
を生成すための処理である。
垂直方向にＨＤ画素を獲得する。また、モード２および
モード４では、モード１およびモード３のＨＤ画素に対
して、図中のＳＤ画素のサンプリング間隔の１／２の位
置にＨＤ画素ライン上にＨＤ画素を生成している。すな
わち、ＨＤ画素ライン上で、ＳＤ画素の２倍のＨＤ画素
を生成すための処理である。
【００２１】学習部４によって、上述のようなモード１
〜モード４の各モードの夫々の予測係数が決定される。
次にクラス分割について説明すると、クラス分割でもっ
とも簡便な方法は、ブロック内の学習データのビット系
列をそのままクラス番号とする方法である。しかし、こ
の方法では膨大な容量のメモリが必要となる。
〜モード４の各モードの夫々の予測係数が決定される。
次にクラス分割について説明すると、クラス分割でもっ
とも簡便な方法は、ブロック内の学習データのビット系
列をそのままクラス番号とする方法である。しかし、こ
の方法では膨大な容量のメモリが必要となる。
【００２２】この例では、ＳＤ信号の信号パターンによ
るクラス分割にＡＤＲＣを使用している。本来ＡＤＲＣ
は、ＶＴＲ向け高能率符号化用に開発された適応的再量
子化法であり、信号レベルの局所的なパターンを短い語
長で効率的に表現できる。ＳＤ画素ブロックを用いる場
合、ＳＤ画素のレベルを夫々、ｘ１〜ｘｎとする。ま
た、ｘ１〜ｘｎのデータに対してｐビットＡＤＲＣを行
った結果の再量子化データを夫々、ｑ１〜ｑｎとし、そ
のダイナッミクレンジをＤＲ、最大値をＭＡＸ、最小値
をＭＩＮとする。このとき、このブロックのクラスは、
式１で定義される。
るクラス分割にＡＤＲＣを使用している。本来ＡＤＲＣ
は、ＶＴＲ向け高能率符号化用に開発された適応的再量
子化法であり、信号レベルの局所的なパターンを短い語
長で効率的に表現できる。ＳＤ画素ブロックを用いる場
合、ＳＤ画素のレベルを夫々、ｘ１〜ｘｎとする。ま
た、ｘ１〜ｘｎのデータに対してｐビットＡＤＲＣを行
った結果の再量子化データを夫々、ｑ１〜ｑｎとし、そ
のダイナッミクレンジをＤＲ、最大値をＭＡＸ、最小値
をＭＩＮとする。このとき、このブロックのクラスは、
式１で定義される。
【００２３】
【数１】
【００２４】ここで１ビットＡＤＲＣを例にとって、Ａ
ＤＲＣを説明する。ＡＤＲＣ符号化回路４３の一例を図
８に示す。図８において、入力端子２１からのブロック
の順序に変換されたデータに関して、検出回路２２がブ
ロック毎に最大値ＭＡＸ、最小値ＭＩＮを検出する。減
算回路２３に対してＭＡＸおよびＭＩＮが供給され、そ
の出力にダイナミックレンジＤＲが発生する。入力デー
タおよびＭＩＮが減算回路２４に供給され、減算回路２
４から最小値が除去されることで、正規化された画素デ
ータが発生する。
ＤＲＣを説明する。ＡＤＲＣ符号化回路４３の一例を図
８に示す。図８において、入力端子２１からのブロック
の順序に変換されたデータに関して、検出回路２２がブ
ロック毎に最大値ＭＡＸ、最小値ＭＩＮを検出する。減
算回路２３に対してＭＡＸおよびＭＩＮが供給され、そ
の出力にダイナミックレンジＤＲが発生する。入力デー
タおよびＭＩＮが減算回路２４に供給され、減算回路２
４から最小値が除去されることで、正規化された画素デ
ータが発生する。
【００２５】ダイナミックレンジＤＲが割算回路２５に
供給され、正規化された画素データがダイナミックレン
ジＤＲで割算され、割算回路２５の出力データが比較回
路２６に供給される。比較回路２６では、中央画素以外
の８個の画素の割算出力が0.5 を基準として、より大き
いか、より小さいかが判断される。この結果に応じて、
`0' または`1' のデータＤＴが発生する。この比較出力
ＤＴが出力端子２７に取り出される。
供給され、正規化された画素データがダイナミックレン
ジＤＲで割算され、割算回路２５の出力データが比較回
路２６に供給される。比較回路２６では、中央画素以外
の８個の画素の割算出力が0.5 を基準として、より大き
いか、より小さいかが判断される。この結果に応じて、
`0' または`1' のデータＤＴが発生する。この比較出力
ＤＴが出力端子２７に取り出される。
【００２６】図２中のＨＤ画素とＳＤ画素の関係を同定
するための係数を求める処理をより詳細に説明する。一
般的にＳＤ画素レベルをｘ１〜ｘｎとし、ＨＤ画素レベ
ルをｙとしたとき、クラス毎に係数ｗ１〜ｗｎによるｎ
タップの線形推定式 ｙ´＝ｗ１ｘ１＋ｗ２ｘ２＋‥‥＋ｗｎｘｎ （２） を設定する。学習前はｗｉが未定係数である。
するための係数を求める処理をより詳細に説明する。一
般的にＳＤ画素レベルをｘ１〜ｘｎとし、ＨＤ画素レベ
ルをｙとしたとき、クラス毎に係数ｗ１〜ｗｎによるｎ
タップの線形推定式 ｙ´＝ｗ１ｘ１＋ｗ２ｘ２＋‥‥＋ｗｎｘｎ （２） を設定する。学習前はｗｉが未定係数である。
【００２７】上述のように、学習はクラス毎に複数のＨ
ＤデータおよびＳＤデータに対して行なう。データ数が
ｍの場合、式２に従って、 ｙj ´＝ｗ１ｘj １＋ｗ２ｘj ２＋‥‥＋ｗｎｘj ｎ （３） （但し、ｊ＝１，２，‥‥ｍ）
ＤデータおよびＳＤデータに対して行なう。データ数が
ｍの場合、式２に従って、 ｙj ´＝ｗ１ｘj １＋ｗ２ｘj ２＋‥‥＋ｗｎｘj ｎ （３） （但し、ｊ＝１，２，‥‥ｍ）
【００２８】ｍ＞ｎの場合、ｗ１〜ｗｎは一意には決ま
らないので、誤差ベクトルＥの要素を ｅj ＝ｙj −（ｗ１ｘj １＋ｗ２ｘj ２＋‥‥＋ｗｎｘj ｎ） （４） （但し、ｊ＝１，２，‥‥ｍ） と定義して、次の式５を最小にする係数を求める。
らないので、誤差ベクトルＥの要素を ｅj ＝ｙj −（ｗ１ｘj １＋ｗ２ｘj ２＋‥‥＋ｗｎｘj ｎ） （４） （但し、ｊ＝１，２，‥‥ｍ） と定義して、次の式５を最小にする係数を求める。
【００２９】
【数２】
【００３０】いわゆる最小自乗法による解法である。こ
こで式４のｗｉによる偏微分係数を求める。
こで式４のｗｉによる偏微分係数を求める。
【００３１】
【数３】
【００３２】式６を０にするように各ｗｉを決めればよ
いから、
いから、
【００３３】
【数４】
【００３４】として、行列をもちいると
【００３５】
【数５】
【００３６】となる。この方程式は一般に正規方程式と
呼ばれている。この方程式を掃き出し法等の一般的な行
列解法を用いて、ｗｉについて解けば予測係数ｗｉが求
まり、クラスコードをアドレスとして、この予測係数ｗ
ｉをメモリに格納しておく。
呼ばれている。この方程式を掃き出し法等の一般的な行
列解法を用いて、ｗｉについて解けば予測係数ｗｉが求
まり、クラスコードをアドレスとして、この予測係数ｗ
ｉをメモリに格納しておく。
【００３７】以上のように学習部４が実データであるＨ
Ｄ信号を用いて予測係数ｗｉを獲得することができ、こ
れをメモリに格納しておく。次に、ＳＤ信号をＨＤ信号
へ変換、即ち、アップコンバートする場合、任意の入力
ＳＤ画像に対して出力ＨＤ画像を生成することができ
る。このための構成を図９のブロック図に示す。
Ｄ信号を用いて予測係数ｗｉを獲得することができ、こ
れをメモリに格納しておく。次に、ＳＤ信号をＨＤ信号
へ変換、即ち、アップコンバートする場合、任意の入力
ＳＤ画像に対して出力ＨＤ画像を生成することができ
る。このための構成を図９のブロック図に示す。
【００３８】入力端子３１から（ｎ＋１）フィールドの
ＳＤ画像が信号ｄ０として供給され、ｄ０はフィールド
メモリ３２とアップコンバート回路３４ａ〜３４ｄに夫
々供給される。ｄ０を供給されたフィールドメモリ３２
からｎフィールドのＳＤ画像が信号ｄ１として出力さ
れ、この信号ｄ１がフィールドメモリ３３とアップコン
バート回路３４ａ〜３４ｄに夫々供給される。ｄ１を供
給されたフィールドメモリ３３から（ｎ−１）フィール
ドのＳＤ画像が信号ｄ２として出力され、アップコンバ
ート回路３４ａ〜３４ｄに夫々供給される。
ＳＤ画像が信号ｄ０として供給され、ｄ０はフィールド
メモリ３２とアップコンバート回路３４ａ〜３４ｄに夫
々供給される。ｄ０を供給されたフィールドメモリ３２
からｎフィールドのＳＤ画像が信号ｄ１として出力さ
れ、この信号ｄ１がフィールドメモリ３３とアップコン
バート回路３４ａ〜３４ｄに夫々供給される。ｄ１を供
給されたフィールドメモリ３３から（ｎ−１）フィール
ドのＳＤ画像が信号ｄ２として出力され、アップコンバ
ート回路３４ａ〜３４ｄに夫々供給される。
【００３９】アップコンバート回路３４ａ〜３４ｄに供
給されたＳＤ画像の信号ｄ０，ｄ１，ｄ２はＨＤ画像へ
アップコンバートされて出力される。これらアップコン
バート回路３４ａ〜３４ｄは、上述したモード１〜モー
ド４の各モードの信号変換を受け持っている。セレクタ
３５は入力端子３７からのセレクト信号で制御される。
ＨＤ画素の位置に対応するモード１〜モード４のどのＨ
Ｄ画像かを調べ正確にアップコンバートされている識別
信号であり、このモードの識別と対応して選択されたア
ップコンバート回路の出力を出力端子３６から出力す
る。
給されたＳＤ画像の信号ｄ０，ｄ１，ｄ２はＨＤ画像へ
アップコンバートされて出力される。これらアップコン
バート回路３４ａ〜３４ｄは、上述したモード１〜モー
ド４の各モードの信号変換を受け持っている。セレクタ
３５は入力端子３７からのセレクト信号で制御される。
ＨＤ画素の位置に対応するモード１〜モード４のどのＨ
Ｄ画像かを調べ正確にアップコンバートされている識別
信号であり、このモードの識別と対応して選択されたア
ップコンバート回路の出力を出力端子３６から出力す
る。
【００４０】図９中のアップコンバート回路３４ａ〜３
４ｄは、記憶されている予測係数を除くと互いに同一の
構成であり、その一例を図１０に示す。入力端子４１か
ら入力されたＳＤ画像の信号ｄ０，ｄ１，ｄ２、すなわ
ち、（ｎ−１）フィールド、ｎフィールド、（ｎ＋１）
フィールドをブロック化回路４２に夫々供給する。ブロ
ック化回路４２は変換を行なう単位のブロックのデータ
を画像中から取り出し、ラスター走査の順序を図２に示
したようなブロックの順序のデータへ変換する。このブ
ロック化回路４２の出力データはＡＤＲＣ回路４３と予
測演算回路４５に供給される。ＡＤＲＣ回路４３では、
供給されたブロック単位のデータを例えば１ビットＡＤ
ＲＣ符号化が行なわれ、式１に従って、クラスが決定さ
れる。
４ｄは、記憶されている予測係数を除くと互いに同一の
構成であり、その一例を図１０に示す。入力端子４１か
ら入力されたＳＤ画像の信号ｄ０，ｄ１，ｄ２、すなわ
ち、（ｎ−１）フィールド、ｎフィールド、（ｎ＋１）
フィールドをブロック化回路４２に夫々供給する。ブロ
ック化回路４２は変換を行なう単位のブロックのデータ
を画像中から取り出し、ラスター走査の順序を図２に示
したようなブロックの順序のデータへ変換する。このブ
ロック化回路４２の出力データはＡＤＲＣ回路４３と予
測演算回路４５に供給される。ＡＤＲＣ回路４３では、
供給されたブロック単位のデータを例えば１ビットＡＤ
ＲＣ符号化が行なわれ、式１に従って、クラスが決定さ
れる。
【００４１】クラスコード発生回路４４では、決定され
たクラスに対応するクラスコードを発生し、このクラス
コードが予測係数メモリ５に対してアドレスとして供給
される。メモリ５からそのクラスの予測係数が読み出さ
れ、予測演算回路４５では、ブロック化回路４２から供
給されたブロック単位のデータと決定された予測係数ｗ
１〜ｗｎから予測式 ｙ´＝ｗ１ｘ１＋ｗ２ｘ２＋‥‥＋ｗｎｘｎ （１０） に従った演算により推定ＨＤデータｙ´を出力端子４６
から出力する。
たクラスに対応するクラスコードを発生し、このクラス
コードが予測係数メモリ５に対してアドレスとして供給
される。メモリ５からそのクラスの予測係数が読み出さ
れ、予測演算回路４５では、ブロック化回路４２から供
給されたブロック単位のデータと決定された予測係数ｗ
１〜ｗｎから予測式 ｙ´＝ｗ１ｘ１＋ｗ２ｘ２＋‥‥＋ｗｎｘｎ （１０） に従った演算により推定ＨＤデータｙ´を出力端子４６
から出力する。
【００４２】ここで図１１は、上述のアップコンバート
の処理のフローチャートである。ステップ５１からアッ
プコンバートの制御が開始され、ステップ５２のデータ
ブロック化では、ＳＤ信号が供給され、ＳＤ画素を処理
ブロック単位に取り出す処理を行なう。ステップ５３の
データ終了では、入力された全データの処理が終了して
いれば、ステップ５７の終了へ、終了していなければ、
ステップ５４のクラス決定へ制御が移る。
の処理のフローチャートである。ステップ５１からアッ
プコンバートの制御が開始され、ステップ５２のデータ
ブロック化では、ＳＤ信号が供給され、ＳＤ画素を処理
ブロック単位に取り出す処理を行なう。ステップ５３の
データ終了では、入力された全データの処理が終了して
いれば、ステップ５７の終了へ、終了していなければ、
ステップ５４のクラス決定へ制御が移る。
【００４３】ステップ５４のクラス決定では、ＳＤ信号
の信号パターンからクラスを決定する。この制御では、
学習時と同様にビット数削減のため１ビットＡＤＲＣを
用いることが好ましい。ステップ５５の予測係数リスト
アでは、クラスコードに対応する予測係数をメモリから
リストアする。ステップ５６の予測演算では、式１０の
予測式演算を行ない、ＨＤ画素の予測データを出力す
る。この一連の制御が全データに対し繰り返され、全デ
ータが終了すればステップ５３のデータ終了からステッ
プ５７の終了に制御が移り、アップコンバートの処理が
終了する。
の信号パターンからクラスを決定する。この制御では、
学習時と同様にビット数削減のため１ビットＡＤＲＣを
用いることが好ましい。ステップ５５の予測係数リスト
アでは、クラスコードに対応する予測係数をメモリから
リストアする。ステップ５６の予測演算では、式１０の
予測式演算を行ない、ＨＤ画素の予測データを出力す
る。この一連の制御が全データに対し繰り返され、全デ
ータが終了すればステップ５３のデータ終了からステッ
プ５７の終了に制御が移り、アップコンバートの処理が
終了する。
【００４４】また、情報圧縮手段として、ＡＤＲＣ回路
４３を設けることとしたが、ＡＤＲＣ回路４３の代わり
に例えば、ＤＣＴ（Discrete Cosine Transform ）、Ｖ
Ｑ（ベクトル量子化）、あるいはＤＰＣＭ（予測符号
化）回路を設ける等のように、データ圧縮を行なえるこ
とができる手段であれば何を設けるかは適宜選択可能で
ある。
４３を設けることとしたが、ＡＤＲＣ回路４３の代わり
に例えば、ＤＣＴ（Discrete Cosine Transform ）、Ｖ
Ｑ（ベクトル量子化）、あるいはＤＰＣＭ（予測符号
化）回路を設ける等のように、データ圧縮を行なえるこ
とができる手段であれば何を設けるかは適宜選択可能で
ある。
【００４５】
【発明の効果】この発明は、入力画像信号のレベルの三
次元（時空間）分布に応じてクラス分割を行ない、クラ
ス毎に予め学習により獲得された予測式に基づいた信号
変換を行なうことにより、時間方向の情報も有効に利用
できるようになり、動き画像に対してより精度の高い変
換画像信号を出力することができる。
次元（時空間）分布に応じてクラス分割を行ない、クラ
ス毎に予め学習により獲得された予測式に基づいた信号
変換を行なうことにより、時間方向の情報も有効に利用
できるようになり、動き画像に対してより精度の高い変
換画像信号を出力することができる。
【００４６】時間方向の情報も有効に利用できることか
ら、とくにインタレース信号の変換時に効果がある。
ら、とくにインタレース信号の変換時に効果がある。
【図１】この発明に係る画像信号変換装置における予測
係数を獲得するための構成の一例のブロック図である。
係数を獲得するための構成の一例のブロック図である。
【図２】この発明の一実施例におけるＨＤ画素とＳＤ画
素の説明に用いる略線図の一例である。
素の説明に用いる略線図の一例である。
【図３】この発明に係る画像信号変換装置における予測
係数を獲得するための構成の一例のフローチャートであ
る。
係数を獲得するための構成の一例のフローチャートであ
る。
【図４】この発明の一実施例におけるＨＤ画素とＳＤ画
素の説明に用いる略線図の一例である。
素の説明に用いる略線図の一例である。
【図５】この発明の一実施例におけるＨＤ画素とＳＤ画
素の説明に用いる略線図の一例である。
素の説明に用いる略線図の一例である。
【図６】この発明の一実施例におけるＨＤ画素とＳＤ画
素の説明に用いる略線図の一例である。
素の説明に用いる略線図の一例である。
【図７】この発明の一実施例におけるＨＤ画素とＳＤ画
素の説明に用いる略線図の一例である。
素の説明に用いる略線図の一例である。
【図８】ＡＤＲＣ回路の説明に用いるブロック図であ
る。
る。
【図９】この発明の一実施例におけるモードの説明に用
いるブロック図の一例である。
いるブロック図の一例である。
【図１０】この発明に係る画像信号変換装置の一実施例
のブロック図である。
のブロック図である。
【図１１】この発明の一実施例のフローチャートであ
る。
る。
【図１２】従来のＳＤ信号からＨＤ信号へアップコンバ
ートする説明に用いるブロック図である。
ートする説明に用いるブロック図である。
【図１３】従来の信号変換装置に用いられる補間フィル
タの一例のブロック図である。
タの一例のブロック図である。
５ 予測係数メモリ ４１ 入力端子 ４２ ブロック化回路 ４３ ＡＤＲＣ回路 ４４ クラスコード発生回路 ４５ 予測演算回路 ４６ 出力端子
Claims (3)
- 【請求項１】 標準解像度の画像信号を高解像度の画像
信号に変換する画像信号変換装置において、 上記標準解像度の入力画像信号のレベルの三次元分布の
形状に応じてクラス分割を行なう手段と、 上記クラス分割されたクラス毎に予め学習により獲得さ
れた予測係数値を格納した記憶手段と、 上記記憶手段と結合され、上記予測係数値を含む予測式
に基づいた演算から最適な推定値を出力し、上記推定値
を含むことによって、上記入力画像信号よりも高い解像
度の画像信号を出力する手段を備えてなる画像信号変換
装置。 - 【請求項２】 請求項１記載の画像信号変換装置におい
て、 上記クラス分割として、メモリ容量の節約のために適応
型ダイナミックレンジ符号化を用いるようにした画像信
号変換装置。 - 【請求項３】 請求項１記載の画像信号変換装置におい
て、 高解像度信号の近接する複数の画素に上記標準解像度の
画像信号および高解像度の画像信号がインタレース走査
の信号であることを特徴とする画像信号変換装置。
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17261793A JP3321915B2 (ja) | 1993-06-18 | 1993-06-18 | 画像信号変換装置 |
| KR1019940702732A KR100360206B1 (ko) | 1992-12-10 | 1993-09-12 | 화상신호변환장치 |
| AU56587/94A AU677813B2 (en) | 1992-12-10 | 1993-12-09 | Image signal converter |
| EP94902095A EP0635978B1 (en) | 1992-12-10 | 1993-12-09 | Image signal converter |
| DE69324486T DE69324486T2 (de) | 1992-12-10 | 1993-12-09 | Bildsignalumsetzer |
| PCT/JP1993/001786 WO1994014278A1 (en) | 1992-12-10 | 1993-12-09 | Image signal converter |
| US08/284,560 US5666164A (en) | 1992-12-10 | 1993-12-09 | Image signal converting apparatus |
| US08/826,467 US5940132A (en) | 1992-12-10 | 1997-03-27 | Image signal converting apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17261793A JP3321915B2 (ja) | 1993-06-18 | 1993-06-18 | 画像信号変換装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0779418A JPH0779418A (ja) | 1995-03-20 |
| JP3321915B2 true JP3321915B2 (ja) | 2002-09-09 |
Family
ID=15945201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17261793A Expired - Lifetime JP3321915B2 (ja) | 1992-12-10 | 1993-06-18 | 画像信号変換装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3321915B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9531922B2 (en) | 2013-10-30 | 2016-12-27 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer readable storage medium for improving sharpness |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1997046014A1 (en) * | 1996-05-30 | 1997-12-04 | Sony Corporation | Device and method for converting image information and circuit and method for operating sum of products |
| DE69719740T2 (de) * | 1996-12-26 | 2004-02-05 | Sony Corp. | Vorrichtung und verfahren zur bildsignalkodierung und -dekodierung sowie aufzeichnungsmedium |
| US6160845A (en) * | 1996-12-26 | 2000-12-12 | Sony Corporation | Picture encoding device, picture encoding method, picture decoding device, picture decoding method, and recording medium |
| US5912708A (en) * | 1996-12-26 | 1999-06-15 | Sony Corporation | Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium |
| DE69712880T2 (de) * | 1996-12-26 | 2002-11-14 | Sony Corp | Vorrichtung und verfahren zur bildkodierung und -dekodierung sowie aufzeichnungsmedium |
| JP4300436B2 (ja) * | 1998-09-28 | 2009-07-22 | ソニー株式会社 | 画像データ変換装置及び画像データ変換方法 |
| JP4337186B2 (ja) * | 1998-10-29 | 2009-09-30 | ソニー株式会社 | 画像情報変換装置および画像情報変換方法、学習装置および学習方法 |
| JP4691812B2 (ja) * | 2001-03-29 | 2011-06-01 | ソニー株式会社 | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法 |
| WO2003084207A2 (en) * | 2002-03-25 | 2003-10-09 | The Trustees Of Columbia University In The City Of New York | Method and system for enhancing data quality |
| JP4470899B2 (ja) | 2006-03-16 | 2010-06-02 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| JP5347862B2 (ja) * | 2008-09-29 | 2013-11-20 | ソニー株式会社 | 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 |
| JP5476879B2 (ja) | 2008-09-29 | 2014-04-23 | ソニー株式会社 | 画像処理装置および係数学習装置。 |
-
1993
- 1993-06-18 JP JP17261793A patent/JP3321915B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9531922B2 (en) | 2013-10-30 | 2016-12-27 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer readable storage medium for improving sharpness |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0779418A (ja) | 1995-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5666164A (en) | Image signal converting apparatus | |
| KR100638500B1 (ko) | 정보 신호 처리 장치, 화상 정보 변환 장치, 및 화상 디스플레이 장치 | |
| JP3321915B2 (ja) | 画像信号変換装置 | |
| JP4147632B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JP3271101B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP4193233B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP3326879B2 (ja) | 画像信号変換装置 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP4300603B2 (ja) | 画像情報変換装置および方法 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JPH0730903A (ja) | 画像処理用メモリ集積回路 | |
| JPH07193789A (ja) | 画像情報変換装置 | |
| JP3271096B2 (ja) | ディジタル画像信号処理装置 | |
| JP4470324B2 (ja) | 画像信号変換装置および方法 | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JP3587188B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP3278882B2 (ja) | 画像信号生成装置 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JP4062326B2 (ja) | 係数生成装置および方法 | |
| JP4038881B2 (ja) | 画像信号の変換装置および変換方法、並びにそれに使用される係数データの生成装置および生成方法 | |
| JP4042121B2 (ja) | 画像情報処理装置及び画像情報処理方法 | |
| JP2000050213A (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP4193236B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080628 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090628 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090628 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100628 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100628 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110628 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120628 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130628 Year of fee payment: 11 |
|
| EXPY | Cancellation because of completion of term |