JP2000090261A

JP2000090261A - 画像データ変換装置及び画像データ変換方法

Info

Publication number: JP2000090261A
Application number: JP10260644A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Yasushi Tatsuhira; 靖立平; Toshihiko Hamamatsu; 俊彦浜松; Juichi Shiraki; 寿一白木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-09-14
Filing date: 1998-09-14
Publication date: 2000-03-31
Anticipated expiration: 2018-09-14
Also published as: JP4235852B2

Abstract

(57)【要約】【課題】本発明は、画像データ変換装置に関し、簡易な
構成で従来に比して一段と画質の改善を行い得るように
する。【解決手段】第１の画像データ（Ｓ１００）から抽出さ
れた注目画素を含む複数の画素（Ｓ１０１）における各
画素値の変化量の絶対値と符号とから上記注目画素に対
するクラス（Ｓ１１５）を決定するクラス決定手段（１
０１、１０３）を設けたことにより、クラス数が増大す
ることを回避しながら、画素値からクラスを決定する場
合に比して波形特徴量を有効に抽出することができ、簡
易な構成で従来に比して一段と画質の改善を行い得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像データ変換装置
及び画像データ変換方法に関し、例えば画像データの画
質を改善する画像データ変換装置に適用して好適なもの
である。

【０００２】

【従来の技術】従来、画像データ変換装置においては、
例えば帯域制限によって精細度が劣化した画像（いわゆ
るぼけ画像）に対して補間フィルタによる周波数補間処
理を施すことにより画素補間を行い、画質の改善を図っ
ている。

【０００３】

【発明が解決しようとする課題】このような画像データ
変換装置としては、低精細度の画像データをその各画素
の信号レベル分布に応じたクラスに分類した後、予測係
数と呼ばれるデータが予め格納されているメモリからそ
のクラスに対応する予測係数を読み出し、当該予測係数
と低精細度の画像データとから高精細度の画像データを
予測演算するいわゆるクラス分類適応処理を用いたアッ
プコンバータが考えられている。

【０００４】ところで、精細度の劣化が著しい画像デー
タでは、輝度レベルの細部が大きく損なわれ、同じよう
な波形パターンでなる領域が多く存在することになる。
従ってアップコンバータでは、この精細度の劣化が著し
い画像データに対してクラス分類を施すと、特定のクラ
スに集中して分類されることによって有効な予測演算を
行うことができず、画質を改善し得ない問題があった。

【０００５】例えば図１４（Ａ）は、水平方向に対して
各画素のレベル変化が三角形状となる画素群を示し、図
１４（Ｂ）は、水平方向に対して各画素のレベル変化が
台形状となる画素群を示す。アップコンバータでは、各
画素値を１ビットで表すようになされており、図１４
（Ａ）に示す画素群を量子化すると、その波形がビット
列「００１１１１１００」で表される。またアップコン
バータでは、図１４（Ｂ）に示す画素群を量子化する
と、各画素値が１ビットで表されることから、その波形
が図１４（Ａ）に示す波形と同様のビット列「００１１
１１１００」で表される。アップコンバータは、これら
ビット列を用いてクラス分類することから、図１４
（Ａ）及び（Ｂ）に示す画素群の波形は同じクラスに分
類されてしまい、これらの波形の違いを区別し得ない。

【０００６】このような問題を回避する方法として、画
素群の信号レベルを多ビットで表すことにより、精細度
が劣化する前の画像データの特徴を抽出する方法が考え
られる。しかしながらこの方法では、クラス数が膨大に
なることから、クラスに対応する予測係数を格納するた
めのメモリの容量が増大する問題が生じる。

【０００７】本発明は以上の点を考慮してなされたもの
で、従来に比して一段と画質を向上し得る画像データ変
換装置及び画像データ変換方法を提案しようとするもの
である。

【０００８】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、第１の画像データを第２の画像デ
ータに変換する画像データ変換装置において、第１の画
像データから抽出された注目画素を含む複数の画素にお
ける各画素値の変化量の絶対値と符号とから注目画素に
対するクラスを決定するクラス決定手段と、クラスに応
じて予測データを発生する予測データ発生手段と、予測
データから第２の画像データの注目画素を発生する画素
データ発生手段とを設けるようにした。

【０００９】第１の画像データから抽出された注目画素
を含む複数の画素における各画素値の変化量の絶対値と
符号とから注目画素に対するクラスを決定することによ
り、クラス数が増大することを回避しながら、画素値か
らクラスを決定する場合に比して波形特徴量を有効に抽
出することができる。

【００１０】

【発明の実施の形態】以下図面について、本発明の一実
施の形態を詳述する。

【００１１】（１）クラス分類適応処理の原理ここで図１は、クラス分類適応処理を実現するアップコ
ンバータ５１の回路構成を示す。アップコンバータ５１
は、外部から供給される例えば８ビットのパルス符号変
調（ＰＣＭ：Pulse Code Modulation ）データでなるＳ
Ｄ画像データＳ５１をクラス分類部５２及び予測演算部
５３に入力する。クラス分類部５２は、例えば図２に示
すように、ＳＤ画像データＳ５１のうち注目画素及び当
該注目画素を中心とした複数の周辺画素でなる合計７画
素（タップ）をクラス分類用の画素（以下、これをクラ
スタップと呼ぶ）として設定し、それらの信号レベル分
布に基づいてクラスコードＳ５２を生成する。因みに、
図中実線は第１フィールドを示し、点線は第２フィール
ドを示す。

【００１２】このクラス分類部５２によってクラスコー
ドＳ５２を生成する方法としては、ＰＣＭデータを直接
使用する（すなわちＰＣＭデータをそのままクラスデー
タＳ５２とする）方法や、ＡＤＲＣ（Adaptive Dynamic
Range Coding ）等のデータ圧縮方法を用いてクラス数
を削減するような方法が考えられる。このうちＰＣＭデ
ータをそのままクラスコードＳ５２とする方法では、ク
ラスタップとして８ビットのＰＣＭデータを７タップ用
いることから、クラス数が２⁵⁶という膨大な数のクラス
数に分類されることになり、実用上問題がある。

【００１３】そこで実際には、クラス分類部５２は、Ａ
ＤＲＣのようなデータ圧縮処理（すなわち再量子化処
理）を施すことによりクラス数を削減するようになされ
ている。このＡＤＲＣによる分類法は、注目画素を中心
とする近傍領域内の数タップからＡＤＲＣコードを、次
式

【００１４】

【数１】

【００１５】によって求め、当該ＡＤＲＣコードに基づ
いてクラスコードＳ５２を生成する手法を用いている。
ここで、ｃ_iはＡＤＲＣコード、ｘ_iは各クラスタップ
の入力画素値、ＭＩＮは領域内にある各クラスタップの
入力画素値のうちの最小画素値、ＤＲは領域内のダイナ
ミックレンジ（最大画素値と最小画素値との差分）、ｋ
は再量子化ビット数である。

【００１６】すなわちＡＤＲＣによる分類法は、領域内
のダイナミックレンジから再量子化ビット数に応じた量
子化ステップ幅を算出し、入力画素値から最小画素値を
減算した画素値を量子化ステップ幅に応じて再量子化す
るものである。例えば領域内の７タップにおいて各クラ
スタップを１ビットに再量子化する１ビットＡＤＲＣを
行う場合では、領域内のダイナミックレンジに基づいて
７タップの各入力画素値を適応的に１ビット量子化し、
その結果、７タップの入力画素値を７ビットのデータに
削減することができるので、全体としてクラス数を１２
８クラスにまで削減することができる。

【００１７】図１に戻って、予測係数ＲＯＭ（Read Onl
y Memory）５４は、後述する学習回路６０によって予め
生成された各クラス毎に対応する予測係数データＳ５３
を格納しており、クラス分類部５２から供給されるクラ
スコードＳ５２に応じた予測係数データＳ５３を読み出
し、これを予測演算部５３に送出する。予測演算部５３
は、例えば図３に示すように、外部から入力されるＳＤ
画像データＳ５１のうち、注目画素及び当該注目画素を
中心とした複数の周辺画素でなる合計１３タップを予測
演算用の画素（以下、これを予測タップと呼ぶ）として
選定し、当該予測タップの各画素値と予測係数データＳ
５３とを用いて、線形一次結合でなる次式

【００１８】

【数２】

【００１９】によって表される積和演算を行うことによ
り、予測タップには存在しないＨＤ画素の集まりである
ＨＤ画像データＳ５４を生成し、これを外部に出力す
る。ここで、ｘ′は各ＨＤ画素値、ｘ_iは各予測タップ
の画素値、ｗ_iは予測係数、ｎは予測タップ数であり、
この場合ｎは１３である。

【００２０】ところで図４は、予測係数ＲＯＭ５４に格
納されている予測係数データを生成する学習回路６０の
回路構成を示し、当該学習回路６０は、予測係数データ
を予め生成して、これを予測係数ＲＯＭ５４に格納する
ようになされている。学習回路６０は、いわゆる教師信
号としてのＨＤ画像データＳ６０を垂直間引きフィルタ
６１及び予測係数算出回路６２に入力する。学習回路６
０は、ＨＤ画像データＳ６０を垂直間引きフィルタ６１
及び水平間引きフィルタ６２によって間引くことによ
り、生徒信号としてのＳＤ画像データＳ６１を生成し、
これをクラス分類部６４及び予測係数算出回路６２に入
力するようになされている。

【００２１】クラス分類部６４は、図１に示すアップコ
ンバータのクラス分類部５２と同様の構成でなり、ＳＤ
画像データＳ６１からクラスタップを選定し、その信号
レベル分布に基づいてクラスコードＳ６２を生成した
後、これを予測係数算出回路６２に送出する。予測係数
算出回路６２は、ＨＤ画像データＳ６０及びＳＤ画像デ
ータＳ６１を基に、クラスコードＳ６２が示すクラスに
応じた予測係数をクラス毎に算出し、その結果得た予測
係数データＳ６３を予測係数ＲＯＭ５４に格納する。

【００２２】この場合、予測係数算出回路６２は、上述
の（２）式における予測係数ｗを最小自乗法によって求
めるようになされている。具体的には予測係数算出回路
６２は、ＸをＳＤ画素値、Ｗを予測係数、ＹをＨＤ画素
値として、いわゆる観測方程式と呼ばれる次式

【００２３】

【数３】

【００２４】を生成するように各データを収集する。こ
こでｍは予測するＨＤ画素の画素数を示す学習データ
数、ｎは予測タップ数である。

【００２５】次に予測係数算出回路６２は、この（３）
式を基に、次式

【００２６】

【数４】

【００２７】に示す残差方程式を立てる。従って各予測
係数ｗ_iは、この（４）式から、次式

【００２８】

【数５】

【００２９】が最小のときに最適な値となることがわか
る。すなわち次式

【００３０】

【数６】

【００３１】を満たすように予測係数ｗ_iが算出され
る。

【００３２】そこで予測係数算出回路６２は、このｎ個
ある（６）式を満たすようなｗ₁、ｗ₂、……、ｗ_nを
算出すればよいことになり、上述の（４）式から、次式

【００３３】

【数７】

【００３４】を得、これら（６）及び（７）式から、次
式

【００３５】

【数８】

【００３６】を求める。そして予測係数算出回路６２
は、上述の（４）及び（８）式から、次式

【００３７】

【数９】

【００３８】によって表される正規方程式を生成する。
このようにして予測係数算出回路６２は、予測タップ数
ｎと同一次数の連立方程式でなる正規方程式を生成し、
掃き出し法（Gauss Jordanの消去法）を用いてこの正規
方程式を解くことにより、各予測係数ｗ_iを算出する。

【００３９】以下、学習回路６０による予測係数生成手
順について図５に示すフローチャートを用いて説明す
る。ステップＳＰ６１から入ったステップＳＰ６２にお
いて、学習回路６０は、教師信号としてのＨＤ画像デー
タＳ６０から生徒信号としてのＳＤ画像データＳ６１を
生成することにより、予測係数を生成するのに必要な学
習データを生成する。ステップＳＰ６３において、学習
回路６０は、予測係数を生成するのに必要十分な学習デ
ータが得られたか否か判定し、その結果、未だ必要十分
な学習データが得られていないと判断された場合にはス
テップＳＰ６３において否定結果を得ることによりステ
ップＳＰ６４に移行する。

【００４０】ステップＳＰ６４において、学習回路６０
は、ＳＤ画像データＳ６１からクラスタップを選定し、
その信号レベル分布に基づいてクラス分類を行う。ステ
ップＳＰ６５において、学習回路６０は、各クラス毎に
上述の（９）式でなる正規方程式を生成し、ステップＳ
Ｐ６２に戻って同様の処理手順を繰り返すことにより、
予測係数を生成するのに必要十分な正規方程式を生成す
る。

【００４１】これに対してステップＳＰ６３において肯
定結果が得られると、このことは必要十分な学習データ
が得られたことを表しており、このとき学習回路６０は
ステップＳＰ６６に移って、上述の（９）式でなる正規
方程式を掃き出し法によって解くことにより、予測係数
ｗ₁、ｗ₂、……、ｗ_nを各クラス毎に生成する。そし
てステップＳＰ６７において、学習回路６０は、生成し
た各クラス毎の予測係数ｗ₁、ｗ₂、……、ｗ_nを予測
係数ＲＯＭ５４に格納し、ステップＳＰ６８に移って処
理を終了する。

【００４２】（２）第１の実施の形態図６において、１００は全体として第１の実施の形態に
よるアップコンバータの構成を示す。アップコンバータ
１００は、外部から供給される画像データＳ１００を領
域切り出し部１０１及び１０２に入力する。領域切り出
し部１０１は、図７に示すように、画像データＳ１００
のうち水平方向に７画素のタップａ〜ｇを選定し、それ
らの信号レベルをクラスタップデータＳ１０１としてク
ラスコード生成部１０３に出力する。その際、領域切り
出し部１０１は、５画素のタップｂ〜ｆをクラスタップ
として選定している。

【００４３】図８に示すように、クラスコード生成部１
０３は、タップａ〜ｇのうちタップａの信号レベルを示
すクラスタップデータＳ１０１Ａを差分回路１１０Ａに
入力し、タップｂの信号レベルを示すクラスタップデー
タＳ１０１Ｂを差分回路１０１Ｂに入力し、タップｃの
信号レベルを示すクラスタップデータＳ１０１Ｃを差分
回路１１０Ａ及び１１０Ｃに入力し、タップｄの信号レ
ベルを示すクラスタップデータＳ１０１Ｄを差分回路１
１０Ｂ及び１１０Ｄに入力し、タップｅの信号レベルを
示すクラスタップデータＳ１０１Ｅを差分回路１１０Ｃ
及び１１０Ｅに入力し、タップｆの信号レベルを示すク
ラスタップデータＳ１０１Ｆを差分回路１１０Ｄに入力
し、タップｇの信号レベルを示すクラスタップデータＳ
１０１Ｇを差分回路１１０Ｅに入力する。

【００４４】差分回路１１０Ａは、タップａの信号レベ
ルを示すクラスタップデータＳ１０１Ａとタップｃの信
号レベルを示すクラスタップデータＳ１０１Ｃとの差分
をとることにより、クラスタップでなるタップｂにおけ
る水平方向の傾きすなわち微分値を求め、その差分値の
絶対値でなる差分データＳ１１０ＡをＡＤＲＣ回路１１
１Ａに出力すると共に、差分値の符号を１ビットで表し
た差分値符号データＳ１１１Ａをクラスコード生成回路
１１２に出力する。ＡＤＲＣ回路１１１Ａは、差分デー
タＳ１１０Ａに対して１ビットＡＤＲＣを施すことによ
り１ビットの差分データＳ１１２Ａを求め、これをクラ
スコード決定回路１１２に出力する。

【００４５】差分回路１１０Ｂは、タップｂの信号レベ
ルを示すクラスタップデータＳ１０１Ｂとタップｄの信
号レベルを示すクラスタップデータＳ１０１Ｄとの差分
をとることにより、クラスタップでなるタップｃにおけ
る水平方向の傾きすなわち微分値を求め、その差分値の
絶対値でなる差分データＳ１１０ＢをＡＤＲＣ回路１１
１Ｂに出力すると共に、差分値の符号を１ビットで表し
た差分値符号データＳ１１１Ｂをクラスコード生成回路
１１２に出力する。ＡＤＲＣ回路１１１Ｂは、差分デー
タＳ１１０Ｂに対して１ビットＡＤＲＣを施すことによ
り１ビットの差分データＳ１１２Ｂを求め、これをクラ
スコード生成回路１１２に出力する。

【００４６】差分回路１１０Ｃは、タップｃの信号レベ
ルを示すクラスタップデータＳ１０１Ｃとタップｅの信
号レベルを示すクラスタップデータＳ１０１Ｅとの差分
をとることにより、クラスタップでなるタップｄにおけ
る水平方向の傾きすなわち微分値を求め、その差分値の
絶対値でなる差分データＳ１１０ＣをＡＤＲＣ回路１１
１Ｃに出力すると共に、差分値の符号を１ビットで表し
た差分値符号データＳ１１１Ｃをクラスコード生成回路
１１２に出力する。ＡＤＲＣ回路１１１Ｃは、差分デー
タＳ１１０Ｃに対して１ビットＡＤＲＣを施すことによ
り１ビットの差分データＳ１１２Ｃを求め、これをクラ
スコード生成回路１１２に出力する。

【００４７】差分回路１１０Ｄは、タップｄの信号レベ
ルを示すクラスタップデータＳ１０１Ｄとタップｆの信
号レベルを示すクラスタップデータＳ１０１Ｆとの差分
をとることにより、クラスタップでなるタップｅにおけ
る水平方向の傾きすなわち微分値を求め、その差分値の
絶対値でなる差分データＳ１１０ＤをＡＤＲＣ回路１１
１Ｄに出力すると共に、差分値の符号を１ビットで表し
た差分値符号データＳ１１１Ｄをクラスコード生成回路
１１２に出力する。ＡＤＲＣ回路１１１Ｄは、差分デー
タＳ１１０Ｄに対して１ビットＡＤＲＣを施すことによ
り１ビットの差分データＳ１１２Ｄを求め、これをクラ
スコード生成回路１１２に出力する。

【００４８】差分回路１１０Ｅは、タップｅの信号レベ
ルを示すクラスタップデータＳ１０１Ｅとタップｇの信
号レベルを示すクラスタップデータＳ１０１Ｇとの差分
をとることにより、クラスタップでなるタップｆにおけ
る水平方向の傾きすなわち微分値を求め、その差分値の
絶対値でなる差分データＳ１１０ＥをＡＤＲＣ回路１１
１Ｅに出力すると共に、差分値の符号を１ビットで表し
た差分値符号データＳ１１１Ｅをクラスコード生成回路
１１２に出力する。ＡＤＲＣ回路１１１Ｅは、差分デー
タＳ１１０Ｅに対して１ビットＡＤＲＣを施すことによ
り１ビットの差分データＳ１１２Ｅを求め、これをクラ
スコード生成回路１１２に出力する。

【００４９】クラスコード生成回路１１２は、１ビット
の差分データＳ１１２Ａ〜Ｓ１１２Ｅと１ビットの差分
値符号データＳ１１１Ａ〜Ｓ１１１Ｅとを組み合わせる
ことにより、１０ビットのクラスコードＳ１１３を生成
し、これをＲＯＭ１２０に送出する。

【００５０】このようにクラスコード生成部１０３は、
各画素の微分値Ｄ（ｉ、ｊ）を、次式

【００５１】

【数１０】

【００５２】によって求め、その微分値の絶対値と符号
とにそれぞれ１ビットずつ割り当てて１画素を合計２ビ
ットで表すことにより、クラス分類を行うようになされ
ている。ここでｉは垂直方向の画素位置、ｊは水平方向
の画素位置、ｆ（ｉ、ｊ）は画素値を示す。

【００５３】例えば図１４と同一の信号レベル分布でな
る画素群を示す図９において、クラスコード生成部１０
３は、図９（Ａ）及び（Ｂ）に示す画素群に対してそれ
ぞれ微分値の絶対値を求めた上で１ビットＡＤＲＣを施
すことにより、図９（Ａ）に示す波形をビット列「１１
１１１１１」で表すのに対して、図９（Ｂ）に示す波形
をビット列「０１０００１０」で表す。このようにクラ
スコード生成部１０３は、これらのビット列を用いてク
ラス分類することから、図９（Ａ）及び（Ｂ）に示す画
素群の波形を異なるクラスに分類し、これらの波形の違
いを区別し得るようになされている。

【００５４】図６に戻って、ＲＯＭ１２０は、クラスコ
ード生成部１０３から供給されるクラスコードＳ１１３
に応じた予測係数データＳ１２０を読み出し、これを予
測演算部１２１に出力する。領域切り出し部１０２は、
画像データＳ１００から例えば水平方向に３０画素を予
測タップとして選定し、それらの信号レベルを予測タッ
プデータ１２１として予測演算部１２１に出力する。予
測演算部１２１は、予測係数データＳ１２０と予測タッ
プデータＳ１２１との積和演算を行うことにより精細度
を向上させた補正画像データＳ１２２を生成し、これを
外部に出力する。

【００５５】図１０は、ＲＯＭ１２０（図６）に格納さ
れている予測係数データを生成する学習回路１３０の構
成を示す。学習回路１３０は、教師画像として高精細度
の画像データＳ１３０をローパスフィルタ（ＬＰＦ）１
３１及び正規方程式演算部１３２に入力する。ＬＰＦ１
３１は、画像データＳ１３０を間引くことにより生徒画
像として低精細度の画像データＳ１３１を生成し、これ
を領域切り出し部１３３及び１３４に出力する。

【００５６】領域切り出し部１３３は、アップコンバー
タ１００の領域切り出し部１０１（図６）と同様に構成
されており、画像データＳ１３１の中からクラスタップ
を選定し、それらの信号レベルを示すクラスタップデー
タＳ１３２をクラスコード生成部１３５に出力する。ク
ラスコード生成部１３５は、アップコンバータ１００の
クラスコード生成部１０３（図６）と同様に構成されて
おり、クラスタップデータ１３２の各画素それぞれに対
して微分値を求め、当該微分値の絶対値及び符号を基に
クラスコードＳ１３３を生成し、これを正規方程式演算
部１３２に出力する。

【００５７】領域切り出し部１３４は、アップコンバー
タ１００の領域切り出し部１０２（図６）と同様に構成
されており、画像データＳ１３１のうち予測タップを選
定し、それらの信号レベルを示す予測タップデータＳ１
３４を正規方程式演算部１３２に送出する。正規方程式
演算部１３２は、画像データＳ１３０と予測タップデー
タＳ１３４とから、クラスコードＳ１３３毎に正規方程
式を生成し、この正規方程式データＳ１３５を予測係数
決定部１３６に出力する。

【００５８】予測係数決定部１３６は、正規方程式デー
タＳ１３５が必要な数だけ供給されると、最小自乗法を
用いて当該正規方程式を解くことにより予測係数を演算
し、その予測係数データＳ１３６をメモリ１３７に送出
して当該メモリ１３７に格納する。その後、このメモリ
１３７に格納されている予測係数データＳ１３６は、図
６に示すＲＯＭ１２０に書き込まれるようになされてい
る。

【００５９】以上の構成において、クラスコード生成部
１０３は、クラスタップを構成する各画素の微分値すな
わち変化量を隣接画素値から求め、当該変化量の絶対値
と符号とを基にクラス分類することにより、クラスタッ
プの各画素値自体を基にクラス分類する場合に比して一
段と有効にクラスタップの波形特徴量を抽出してクラス
分類することが可能となると共に、特定のクラスに分類
される頻度が高くなることを回避する。

【００６０】以上の構成によれば、クラスタップを構成
する各画素の変化量を隣接画素値から求め、当該算出し
た変化量の絶対値と符号とを基にクラス分類することに
より、クラス数が増大することを回避しながら、画素値
自体を基にクラス分類する場合に比して有効にクラスタ
ップの波形特徴量を抽出することができ、簡易な構成で
従来に比して一段と画質の改善を行い得る。

【００６１】（３）第２の実施の形態図１１において、１５０は全体として第２の実施の形態
によるアップコンバータの構成を示し、外部から供給さ
れる画像データＳ１５０を微分回路１５１及び領域切り
出し部１５２に入力する。微分回路１５１は、画像デー
タＳ１５０を構成する各画素の微分値をそれぞれ求め、
その結果得られる微分値データＳ１５１を領域切り出し
部１５３に送出する。

【００６２】領域切り出し部１５３は、微分値データＳ
１５１から水平方向に５画素をクラスタップとして選定
し、それらの絶対値を示す絶対値データＳ１５２をＡＤ
ＲＣ回路１５４に出力すると共に、それらの符号を１ビ
ットで表した符号データＳ１５３をクラスコード生成部
１５５に出力する。ＡＤＲＣ回路１５４は、絶対値デー
タＳ１５２が示す５画素分の微分値の絶対値それぞれに
対して１ビットＡＤＲＣを施すことにより、５画素分の
微分値の絶対値をそれぞれ１ビットで表した絶対値デー
タＳ１５４を生成し、これをクラスコード生成部１５５
に出力する。

【００６３】クラスコード生成部１５５は、これら絶対
値データＳ１５４及び符号データＳ１５３を組み合わせ
ることにより、１０ビットのクラスコードＳ１５５を生
成し、これをＲＯＭ１５６に出力する。ＲＯＭ１５６
は、クラスコードＳ１５５に応じた予測係数データＳ１
５６を読み出し、これを予測演算部１５７に出力する。

【００６４】領域切り出し部１５２は、画像データＳ１
５０から予測タップを選定し、それらの信号レベルを示
す予測タップデータＳ１５７を予測演算部１５７に出力
する。予測演算部１５７は、予測タップデーＳ１５７と
予測係数データＳ１５６との積和演算を行うことによ
り、精細度を向上させた補正画像データＳ１５８を演算
し、これを外部に出力する。

【００６５】図１２は、アップコンバータ１５０のＲＯ
Ｍ１５６（図１１）に格納されている予測係数データを
生成する学習回路１７０の回路構成を示す。学習回路１
７０は、教師画像としての画像データＳ１７０をローパ
スフィルタ（ＬＰＦ）１７１及び正規方程式演算部１７
２に出力する。ＬＰＦ１７１は、画像データＳ１７０を
間引くことにより生徒画像として精細度の劣化した画像
データＳ１７１を生成し、これを微分回路１７３及び領
域切り出し部１７４に出力する。

【００６６】微分回路は、画像データＳ１７１の全画素
に対してそれぞれ微分値を求め、その微分値データＳ１
７２を領域切り出し部１７５に出力する。領域切り出し
部１７５は、微分値データＳ１７２から水平方向に５画
素をクラスタップとして選定し、それらの絶対値を示す
絶対値データＳ１７３をＡＤＲＣ回路１７６に出力する
と共に、それらの符号を１ビットで表した符号データＳ
１７４をクラスコード生成部１７７に出力する。

【００６７】ＡＤＲＣ回路１７６は、絶対値データＳ１
７３が示す５画素分の微分値の絶対値それぞれに対して
１ビットＡＤＲＣを施すことにより、５画素分の微分値
の絶対値をそれぞれ１ビットで表した絶対値データＳ１
７５を生成し、これをクラスコード生成部１７７に出力
する。クラスコード生成部１７７は、これら絶対値デー
タＳ１７５及び符号データＳ１７４を組み合わせること
により１０ビットのクラスコードＳ１７６を生成し、こ
れを正規方程式演算部１７２に出力する。

【００６８】領域切り出し部１７４は、画像データＳ１
７１から予測タップを切り出し、それらの信号レベルを
示す予測タップデータＳ１７７を正規方程式演算部１７
２に出力する。正規方程式演算部１７２は、教師画像と
しての高精細度の画像データＳ１７０と予測タップデー
タＳ１７７とから、クラスコードＳ１７６毎に正規方程
式を生成し、この正規方程式データＳ１７８を予測係数
決定部１７８に出力する。

【００６９】予測係数決定部１７８は、正規方程式デー
タＳ１７８が必要な数だけ供給されると、最小自乗法を
用いて当該正規方程式を解くことにより予測係数を演算
し、その予測係数データＳ１７９をメモリ１７９に送出
して当該メモリ１７９に格納する。その後、このメモリ
１７９に格納されている予測係数データＳ１７９は、図
１１に示すＲＯＭ１５６に書き込まれるようになされて
いる。

【００７０】以上の構成において、画像データＳ１５０
を構成する全画素の微分値すなわち変化量を隣接画素値
から求めた後、この全画素における変化量を示す微分値
データＳ１５１からクラスタップを切り出し、当該クラ
スタップを構成する各画素の変化量の絶対値と符号とを
基にクラス分類することにより、クラスタップの各画素
値自体を基にクラス分類する場合に比して一段と有効に
クラスタップの波形特徴量を抽出してクラス分類するこ
とが可能となると共に、特定のクラスに分類される頻度
が高くなることを回避する。

【００７１】以上の構成によれば、画像データＳ１５０
を構成する全画素の変化量を隣接画素値から求めた後に
クラスタップを切り出し、当該切り出したクラスタップ
の各画素における変化量の絶対値と符号とを基にクラス
分類することにより、クラス数が増大することを回避し
ながら、画素値自体を基にクラス分類する場合に比して
有効にクラスタップの波形特徴量を抽出することがで
き、簡易な構成で従来に比して一段と画質の改善を行い
得る。

【００７２】（４）他の実施の形態なお上述の第１の実施の形態においては、画像データＳ
１００から水平方向にタップａ〜ｇを選定した場合につ
いて述べたが、本発明はこれに限らず、例えば３タップ
おきにタップを選定する図１３に示すように、タップを
所定数おきに間引いて選定しても良く、この場合、波形
の冗長性を排除してさらにクラスタップの特徴を抽出し
得、一段と正確なクラス分類を行い得る。

【００７３】また上述の第２の実施の形態においては、
画像データＳ１５０から水平方向に５画素をクラスタッ
プとして選定した場合について述べたが、本発明はこれ
に限らず、タップを所定数おきに間引いて選定しても良
く、この場合、波形の冗長性を排除してさらにクラスタ
ップの特徴を抽出し得、一段と正確なクラス分類を行い
得る。

【００７４】また上述の実施の形態においては、所定画
素の変化量を隣接画素値から求め、当該算出した変化量
の絶対値と符号とを基にクラス分類した場合について述
べたが、本発明はこれに限らず、所定画素における１次
微分値及び２次微分値を求め、そのうち１次微分値によ
ってステップ状の縁点を抽出すると共に、２次微分値に
よって屋根状の縁点を抽出して波形の特徴量を抽出して
も良い。

【００７５】また上述の実施の形態においては、クラス
タップを水平方向に抽出した場合について述べたが、本
発明はこれに限らず、垂直方向にクラスタップを抽出し
ても良い。

【００７６】また上述の実施の形態においては、クラス
決定手段として、領域切り出し部１０１及びクラスコー
ド生成部１０３、又は微分回路１５１、領域切り出し部
１５３、ＡＤＲＣ回路１５４及びクラスコード生成部１
５５を適用した場合について述べたが、本発明はこれに
限らず、要は、第１の画像データから抽出された注目画
素を含む複数の画素におけるそれぞれの変化量の絶対値
と符号とから注目画素に対するクラスを決定するクラス
決定手段であれば良い。

【００７７】また上述の実施の形態においては、予測デ
ータ発生手段としてＲＯＭ１２０又は１５６を適用した
場合について述べたが、本発明はこれに限らず、要は、
クラスに応じて予測データを発生する予測データ発生手
段であれば良い。

【００７８】さらに上述の実施の形態においては、画素
データ発生手段として予測演算部１２１又は１５７を適
用した場合について述べたが、本発明はこれに限らず、
要は、予測データから第２の画像データの注目画素を発
生する画素データ発生手段であれば良い。

【００７９】

【発明の効果】上述のように本発明によれば、第１の画
像データから抽出された注目画素を含む複数の画素にお
けるそれぞれの変化量の絶対値と符号とから上記注目画
素に対するクラスを決定することにより、クラス数が増
大することを回避しながら、画素値からクラスを決定す
る場合に比して波形特徴量を有効に抽出することがで
き、簡易な構成で従来に比して一段と画質の改善を行い
得る。

【図面の簡単な説明】

【図１】アップコンバータの構成を示すブロック図であ
る。

【図２】クラスタップ配置例を示す略線図である。

【図３】予測タップ配置例を示す略線図である。

【図４】学習回路の構成を示すブロック図である。

【図５】予測係数生成手順を示すフローチャートであ
る。

【図６】本発明によるアップコンバータの第１の実施の
形態を示すブロック図である。

【図７】クラスタップ配置例を示す略線図である。

【図８】クラスコード生成部の構成を示すブロック図で
ある。

【図９】画像データの信号レベル分布を示す略線図であ
る。

【図１０】本発明による学習回路の第１の実施の形態を
示すブロック図である。

【図１１】本発明によるアップコンバータの第２の実施
の形態を示すブロック図である。

【図１２】本発明による学習回路の第２の実施の形態を
示すブロック図である。

【図１３】他の実施の形態によるクラスタップ配置例を
示す略線図である。

【図１４】画像データの信号レベル分布を示す略線図で
ある。

【符号の説明】

１００、１５０……アップコンバータ、１０１、１０
２、１３３、１３４、１５２、１５３、１７４、１７５
……領域切り出し部、１０３、１３５、１５５、１７７
……クラスコード生成部、１１０……差分回路、１１
１、１５４、１７６……ＡＤＲＣ回路、１１２……クラ
スコード生成回路、１２０、１５６……ＲＯＭ、１２
１、１５７……予測演算部、、１３０、１７０……学習
回路、１５１、１７３……微分回路。

───────────────────────────────────────────────────── フロントページの続き (72)発明者浜松俊彦東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者白木寿一東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 5B057 CA18 CC02 CD05 CE06 CE09 CG07 CH07 CH08 CH09 DC22 5C077 LL19 MP01 NN02 NP01 PP02 PP03 PP20 PP47 PQ30 RR19

Claims

【特許請求の範囲】

【請求項１】第１の画像データを第２の画像データに変
換する画像データ変換装置において、上記第１の画像データから抽出された注目画素を含む複
数の画素における各画素値の変化量の絶対値と符号とか
ら上記注目画素に対するクラスを決定するクラス決定手
段と、上記クラスに応じて予測データを発生する予測データ発
生手段と、上記予測データから上記第２の画像データの上記注目画
素を発生する画素データ発生手段とを具えることを特徴
とする画像データ変換装置。
【請求項２】上記クラス決定手段は、上記第１の画像データから上記注目画素を含む複数の画
素を抽出し、その抽出された各画素値の変化量を求め、
当該各変化量の絶対値と符号とから上記注目画素に対す
るクラスを決定することを特徴とする請求項１に記載の
画像データ変換装置。
【請求項３】上記クラス決定手段は、上記第１の画像データの各画素値の変化量をそれぞれ求
めた上で上記注目画素を含む複数の画素を抽出し、その
抽出された各画素値の変化量の絶対値と符号とから上記
注目画素に対するクラスを決定することを特徴とする請
求項１に記載の画像データ変換装置。
【請求項４】上記クラス決定手段は、上記第１の画像データから水平又は垂直方向に抽出され
た上記注目画素を含む複数の画素における各画素値の変
化量の絶対値と符号とから上記注目画素に対するクラス
を決定することを特徴とする請求項１に記載の画像デー
タ変換装置。
【請求項５】上記クラス決定手段は、上記第１の画像データから間引いて抽出された上記注目
画素を含む複数の画素における各画素値の変化量の絶対
値と符号とから上記注目画素に対するクラスを決定する
ことを特徴とする請求項１に記載の画像データ変換装
置。
【請求項６】上記予測データは、上記第１の画像データから抽出された上記複数の画素に
対応して存在する予測係数でなり、上記画素データ発生手段は、上記クラスに応じて発生された上記各予測係数と上記第
１の画像データから抽出された上記複数の画素とから上
記第２の画像データの上記注目画素を発生することを特
徴とする請求項１に記載の画像データ変換装置。
【請求項７】上記予測データは、上記第２の画像データに対応する学習データを用いて予
め学習によって生成されていることを特徴とする請求項
１に記載の画像データ変換装置。
【請求項８】第１の画像データを第２の画像データに変
換する画像データ変換方法において、上記第１の画像データから抽出された注目画素を含む複
数の画素における各画素値の変化量の絶対値と符号とか
ら上記注目画素に対するクラスを決定し、上記クラスに応じて予測データを発生し、上記予測データから上記第２の画像データの上記注目画
素を発生することを特徴とする画像データ変換方法。
【請求項９】上記第１の画像データから上記注目画素を
含む複数の画素を抽出し、その抽出された各画素値の変
化量を求め、当該各変化量の絶対値と符号とから上記注
目画素に対するクラスを決定することを特徴とする請求
項８に記載の画像データ変換方法。
【請求項１０】上記第１の画像データの各画素値の変化
量をそれぞれ求めた上で上記注目画素を含む複数の画素
を抽出し、その抽出された各画素値の変化量の絶対値と
符号とから上記注目画素に対するクラスを決定すること
を特徴とする請求項８に記載の画像データ変換方法。
【請求項１１】上記第１の画像データから水平又は垂直
方向に抽出された上記注目画素を含む複数の画素におけ
る各画素値の変化量の絶対値と符号とから上記注目画素
に対するクラスを決定することを特徴とする請求項８に
記載の画像データ変換方法。
【請求項１２】上記第１の画像データから間引いて抽出
された上記注目画素を含む複数の画素における各画素値
の変化量の絶対値と符号とから上記注目画素に対するク
ラスを決定することを特徴とする請求項８に記載の画像
データ変換方法。
【請求項１３】上記予測データは、上記第１の画像データから抽出された上記複数の画素に
対応して存在する予測係数でなり、上記クラスに応じて発生された上記各予測係数と上記第
１の画像データから抽出された上記複数の画素とから上
記第２の画像データの上記注目画素を発生することを特
徴とする請求項８に記載の画像データ変換方法。
【請求項１４】上記予測データは、上記第２の画像データに対応する学習データを用いて予
め学習によって生成されていることを特徴とする請求項
８に記載の画像データ変換方法。