JP4235852B2 - 画像データ変換装置及び画像データ変換方法 - Google Patents

画像データ変換装置及び画像データ変換方法 Download PDF

Info

Publication number
JP4235852B2
JP4235852B2 JP26064498A JP26064498A JP4235852B2 JP 4235852 B2 JP4235852 B2 JP 4235852B2 JP 26064498 A JP26064498 A JP 26064498A JP 26064498 A JP26064498 A JP 26064498A JP 4235852 B2 JP4235852 B2 JP 4235852B2
Authority
JP
Japan
Prior art keywords
data
class
prediction
image data
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP26064498A
Other languages
English (en)
Other versions
JP2000090261A5 (ja
JP2000090261A (ja
Inventor
哲二郎 近藤
靖 立平
俊彦 浜松
寿一 白木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP26064498A priority Critical patent/JP4235852B2/ja
Publication of JP2000090261A publication Critical patent/JP2000090261A/ja
Publication of JP2000090261A5 publication Critical patent/JP2000090261A5/ja
Application granted granted Critical
Publication of JP4235852B2 publication Critical patent/JP4235852B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Television Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は画像データ変換装置及び画像データ変換方法に関し、例えば画像データの画質を改善する画像データ変換装置に適用して好適なものである。
【0002】
【従来の技術】
従来、画像データ変換装置においては、例えば帯域制限によって精細度が劣化した画像(いわゆるぼけ画像)に対して補間フィルタによる周波数補間処理を施すことにより画素補間を行い、画質の改善を図っている。
【0003】
【発明が解決しようとする課題】
このような画像データ変換装置としては、低精細度の画像データをその各画素の信号レベル分布に応じたクラスに分類した後、予測係数と呼ばれるデータが予め格納されているメモリからそのクラスに対応する予測係数を読み出し、当該予測係数と低精細度の画像データとから高精細度の画像データを予測演算するいわゆるクラス分類適応処理を用いたアップコンバータが考えられている。
【0004】
ところで、精細度の劣化が著しい画像データでは、輝度レベルの細部が大きく損なわれ、同じような波形パターンでなる領域が多く存在することになる。従ってアップコンバータでは、この精細度の劣化が著しい画像データに対してクラス分類を施すと、特定のクラスに集中して分類されることによって有効な予測演算を行うことができず、画質を改善し得ない問題があった。
【0005】
例えば図14(A)は、水平方向に対して各画素のレベル変化が三角形状となる画素群を示し、図14(B)は、水平方向に対して各画素のレベル変化が台形状となる画素群を示す。アップコンバータでは、各画素値を1ビットで表すようになされており、図14(A)に示す画素群を量子化すると、その波形がビット列「001111100」で表される。またアップコンバータでは、図14(B)に示す画素群を量子化すると、各画素値が1ビットで表されることから、その波形が図14(A)に示す波形と同様のビット列「001111100」で表される。アップコンバータは、これらビット列を用いてクラス分類することから、図14(A)及び(B)に示す画素群の波形は同じクラスに分類されてしまい、これらの波形の違いを区別し得ない。
【0006】
このような問題を回避する方法として、画素群の信号レベルを多ビットで表すことにより、精細度が劣化する前の画像データの特徴を抽出する方法が考えられる。しかしながらこの方法では、クラス数が膨大になることから、クラスに対応する予測係数を格納するためのメモリの容量が増大する問題が生じる。
【0007】
本発明は以上の点を考慮してなされたもので、従来に比して一段と画質を向上し得る画像データ変換装置及び画像データ変換方法を提案しようとするものである。
【0008】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、標準画像データから隣接した複数の画素をクラスタップの領域として選定し、選定された複数の当該クラスタップの信号レベルをそれぞれクラスタップデータとして出力する領域切出手段と、複数のクラスタップデータのうち1つ置きに抽出した2つのクラスタップデータを1組としてそれぞれ対応する複数の差分回路に入力し、入力されたそれぞれのクラスタップデータの差分を取ることにより差分の絶対値でなる差分データと当該差分の傾きを表す符号を1ビットで表した1ビット差分符号データとを求めて出力する差分データ出力手段と、差分データに対して1ビットの圧縮処理を施すことによって1ビット差分データを生成する1ビット差分データ生成手段と、1ビット差分符号データと1ビット差分データとに割り当てられた2ビットに対し差分回路の数を乗算した結果により得られるビット数のクラスコードを生成するクラスコード生成手段と、予測係数データを生成するために、予め学習用に設定された参照用高精細度画像データから所定の画像データを間引くことにより生成した当該学習用低精細度画像データの中から選定した複数の学習用クラスタップデータの画素それぞれに対する微分値の絶対値と微分値の符号とに基づいて学習用クラスコードを生成し、学習用低精細度画像データから選定した所定数の学習用予測タップデータと参照用高精細度画像データとに対して学習用クラスコードごとに正規方程式を用いて演算することにより得られた正規方程式データを出力し、当該正規方程式データに対し最小自乗法を用いて演算することによって得られた学習用予測係数データを記憶する学習用予測係数データ記憶手段と、クラスコードに対応する予測係数データを学習用予測係数データ記憶手段に記憶された上記学習用予測係数データを用いて読み出す予測係数データ読出手段と、標準画像データから隣接した複数の画素を予測タップとして選定し、それらを予測タップデータとして切り出す予測タップデータ切出手段と、予測タップデータと予測係数データとを用いて、積和演算処理を施すことにより標準画素数でなる標準画像データよりも高精細度画素数でなる高精細度画像データを生成する高精細度画像データ生成手段を設けるようにした。
【0009】
この結果、クラスコード生成手段は、クラスタップの輝度レベルの差分値を求め、求めた差分値の増減に対する符号と差分値の絶対値を基にしてクラス分類を行なうことにより、単に画素単体を基にしてクラス分類を行なう場合に比べて画素の輝度の細部が損なわれずにクラスタップの波形特徴量を的確に抽出することができ、予測タップデータと予測係数データとを用いて標準画像データから高精細度画像データを生成することができる。
【0010】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【0011】
(1)クラス分類適応処理の原理
ここで図1は、クラス分類適応処理を実現するアップコンバータ51の回路構成を示す。アップコンバータ51は、外部から供給される例えば8ビットのパルス符号変調(PCM:Pulse Code Modulation )データでなるSD画像データS51をクラス分類部52及び予測演算部53に入力する。クラス分類部52は、例えば図2に示すように、SD画像データS51のうち注目画素及び当該注目画素を中心とした複数の周辺画素でなる合計7画素(タップ)をクラス分類用の画素(以下、これをクラスタップと呼ぶ)として設定し、それらの信号レベル分布に基づいてクラスコードS52を生成する。因みに、図中実線は第1フィールドを示し、点線は第2フィールドを示す。
【0012】
このクラス分類部52によってクラスコードS52を生成する方法としては、PCMデータを直接使用する(すなわちPCMデータをそのままクラスデータS52とする)方法や、ADRC(Adaptive Dynamic Range Coding )等のデータ圧縮方法を用いてクラス数を削減するような方法が考えられる。このうちPCMデータをそのままクラスコードS52とする方法では、クラスタップとして8ビットのPCMデータを7タップ用いることから、クラス数が256という膨大な数のクラス数に分類されることになり、実用上問題がある。
【0013】
そこで実際には、クラス分類部52は、ADRCのようなデータ圧縮処理(すなわち再量子化処理)を施すことによりクラス数を削減するようになされている。このADRCによる分類法は、注目画素を中心とする近傍領域内の数タップからADRCコードを、次式
【0014】
【数1】
Figure 0004235852
【0015】
によって求め、当該ADRCコードに基づいてクラスコードS52を生成する手法を用いている。ここで、ci はADRCコード、xi は各クラスタップの入力画素値、MINは領域内にある各クラスタップの入力画素値のうちの最小画素値、DRは領域内のダイナミックレンジ(最大画素値と最小画素値との差分)、kは再量子化ビット数である。
【0016】
すなわちADRCによる分類法は、領域内のダイナミックレンジから再量子化ビット数に応じた量子化ステップ幅を算出し、入力画素値から最小画素値を減算した画素値を量子化ステップ幅に応じて再量子化するものである。例えば領域内の7タップにおいて各クラスタップを1ビットに再量子化する1ビットADRCを行う場合では、領域内のダイナミックレンジに基づいて7タップの各入力画素値を適応的に1ビット量子化し、その結果、7タップの入力画素値を7ビットのデータに削減することができるので、全体としてクラス数を128クラスにまで削減することができる。
【0017】
図1に戻って、予測係数ROM(Read Only Memory)54は、後述する学習回路60によって予め生成された各クラス毎に対応する予測係数データS53を格納しており、クラス分類部52から供給されるクラスコードS52に応じた予測係数データS53を読み出し、これを予測演算部53に送出する。予測演算部53は、例えば図3に示すように、外部から入力されるSD画像データS51のうち、注目画素及び当該注目画素を中心とした複数の周辺画素でなる合計13タップを予測演算用の画素(以下、これを予測タップと呼ぶ)として選定し、当該予測タップの各画素値と予測係数データS53とを用いて、線形一次結合でなる次式
【0018】
【数2】
Figure 0004235852
【0019】
によって表される積和演算を行うことにより、予測タップには存在しないHD画素の集まりであるHD画像データS54を生成し、これを外部に出力する。ここで、x′は各HD画素値、xi は各予測タップの画素値、wi は予測係数、nは予測タップ数であり、この場合nは13である。
【0020】
ところで図4は、予測係数ROM54に格納されている予測係数データを生成する学習回路60の回路構成を示し、当該学習回路60は、予測係数データを予め生成して、これを予測係数ROM54に格納するようになされている。学習回路60は、いわゆる教師信号としてのHD画像データS60を垂直間引きフィルタ61及び予測係数算出回路62に入力する。学習回路60は、HD画像データS60を垂直間引きフィルタ61及び水平間引きフィルタ62によって間引くことにより、生徒信号としてのSD画像データS61を生成し、これをクラス分類部64及び予測係数算出回路62に入力するようになされている。
【0021】
クラス分類部64は、図1に示すアップコンバータのクラス分類部52と同様の構成でなり、SD画像データS61からクラスタップを選定し、その信号レベル分布に基づいてクラスコードS62を生成した後、これを予測係数算出回路62に送出する。予測係数算出回路62は、HD画像データS60及びSD画像データS61を基に、クラスコードS62が示すクラスに応じた予測係数をクラス毎に算出し、その結果得た予測係数データS63を予測係数ROM54に格納する。
【0022】
この場合、予測係数算出回路62は、上述の(2)式における予測係数wを最小自乗法によって求めるようになされている。具体的には予測係数算出回路62は、XをSD画素値、Wを予測係数、YをHD画素値として、いわゆる観測方程式と呼ばれる次式
【0023】
【数3】
Figure 0004235852
【0024】
を生成するように各データを収集する。ここでmは予測するHD画素の画素数を示す学習データ数、nは予測タップ数である。
【0025】
次に予測係数算出回路62は、この(3)式を基に、次式
【0026】
【数4】
Figure 0004235852
【0027】
に示す残差方程式を立てる。従って各予測係数wi は、この(4)式から、次式
【0028】
【数5】
Figure 0004235852
【0029】
が最小のときに最適な値となることがわかる。すなわち次式
【0030】
【数6】
Figure 0004235852
【0031】
を満たすように予測係数wi が算出される。
【0032】
そこで予測係数算出回路62は、このn個ある(6)式を満たすようなw1 、w2 、……、wn を算出すればよいことになり、上述の(4)式から、次式
【0033】
【数7】
Figure 0004235852
【0034】
を得、これら(6)及び(7)式から、次式
【0035】
【数8】
Figure 0004235852
【0036】
を求める。そして予測係数算出回路62は、上述の(4)及び(8)式から、次式
【0037】
【数9】
Figure 0004235852
【0038】
によって表される正規方程式を生成する。このようにして予測係数算出回路62は、予測タップ数nと同一次数の連立方程式でなる正規方程式を生成し、掃き出し法(Gauss Jordanの消去法)を用いてこの正規方程式を解くことにより、各予測係数wi を算出する。
【0039】
以下、学習回路60による予測係数生成手順について図5に示すフローチャートを用いて説明する。ステップSP61から入ったステップSP62において、学習回路60は、教師信号としてのHD画像データS60から生徒信号としてのSD画像データS61を生成することにより、予測係数を生成するのに必要な学習データを生成する。ステップSP63において、学習回路60は、予測係数を生成するのに必要十分な学習データが得られたか否か判定し、その結果、未だ必要十分な学習データが得られていないと判断された場合にはステップSP63において否定結果を得ることによりステップSP64に移行する。
【0040】
ステップSP64において、学習回路60は、SD画像データS61からクラスタップを選定し、その信号レベル分布に基づいてクラス分類を行う。ステップSP65において、学習回路60は、各クラス毎に上述の(9)式でなる正規方程式を生成し、ステップSP62に戻って同様の処理手順を繰り返すことにより、予測係数を生成するのに必要十分な正規方程式を生成する。
【0041】
これに対してステップSP63において肯定結果が得られると、このことは必要十分な学習データが得られたことを表しており、このとき学習回路60はステップSP66に移って、上述の(9)式でなる正規方程式を掃き出し法によって解くことにより、予測係数w1 、w2 、……、wn を各クラス毎に生成する。そしてステップSP67において、学習回路60は、生成した各クラス毎の予測係数w1 、w2 、……、wn を予測係数ROM54に格納し、ステップSP68に移って処理を終了する。
【0042】
(2)第1の実施の形態
図6において、100は全体として第1の実施の形態によるアップコンバータの構成を示す。アップコンバータ100は、外部から供給される画像データS100を領域切り出し部101及び102に入力する。領域切り出し部101は、図7に示すように、画像データS100のうち水平方向に7画素のタップa〜gを選定し、それらの信号レベルをクラスタップデータS101としてクラスコード生成部103に出力する。その際、領域切り出し部101は、5画素のタップb〜fをクラスタップとして選定している。
【0043】
図8に示すように、クラスコード生成部103は、タップa〜gのうちタップaの信号レベルを示すクラスタップデータS101Aを差分回路110Aに入力し、タップbの信号レベルを示すクラスタップデータS101Bを差分回路101Bに入力し、タップcの信号レベルを示すクラスタップデータS101Cを差分回路110A及び110Cに入力し、タップdの信号レベルを示すクラスタップデータS101Dを差分回路110B及び110Dに入力し、タップeの信号レベルを示すクラスタップデータS101Eを差分回路110C及び110Eに入力し、タップfの信号レベルを示すクラスタップデータS101Fを差分回路110Dに入力し、タップgの信号レベルを示すクラスタップデータS101Gを差分回路110Eに入力する。
【0044】
差分回路110Aは、タップaの信号レベルを示すクラスタップデータS101Aとタップcの信号レベルを示すクラスタップデータS101Cとの差分をとることにより、クラスタップでなるタップbにおける水平方向の傾きすなわち微分値を求め、その差分値の絶対値でなる差分データS110AをADRC回路111Aに出力すると共に、差分値の符号を1ビットで表した差分値符号データS111Aをクラスコード生成回路112に出力する。ADRC回路111Aは、差分データS110Aに対して1ビットADRCを施すことにより1ビットの差分データS112Aを求め、これをクラスコード決定回路112に出力する。
【0045】
差分回路110Bは、タップbの信号レベルを示すクラスタップデータS101Bとタップdの信号レベルを示すクラスタップデータS101Dとの差分をとることにより、クラスタップでなるタップcにおける水平方向の傾きすなわち微分値を求め、その差分値の絶対値でなる差分データS110BをADRC回路111Bに出力すると共に、差分値の符号を1ビットで表した差分値符号データS111Bをクラスコード生成回路112に出力する。ADRC回路111Bは、差分データS110Bに対して1ビットADRCを施すことにより1ビットの差分データS112Bを求め、これをクラスコード生成回路112に出力する。
【0046】
差分回路110Cは、タップcの信号レベルを示すクラスタップデータS101Cとタップeの信号レベルを示すクラスタップデータS101Eとの差分をとることにより、クラスタップでなるタップdにおける水平方向の傾きすなわち微分値を求め、その差分値の絶対値でなる差分データS110CをADRC回路111Cに出力すると共に、差分値の符号を1ビットで表した差分値符号データS111Cをクラスコード生成回路112に出力する。ADRC回路111Cは、差分データS110Cに対して1ビットADRCを施すことにより1ビットの差分データS112Cを求め、これをクラスコード生成回路112に出力する。
【0047】
差分回路110Dは、タップdの信号レベルを示すクラスタップデータS101Dとタップfの信号レベルを示すクラスタップデータS101Fとの差分をとることにより、クラスタップでなるタップeにおける水平方向の傾きすなわち微分値を求め、その差分値の絶対値でなる差分データS110DをADRC回路111Dに出力すると共に、差分値の符号を1ビットで表した差分値符号データS111Dをクラスコード生成回路112に出力する。ADRC回路111Dは、差分データS110Dに対して1ビットADRCを施すことにより1ビットの差分データS112Dを求め、これをクラスコード生成回路112に出力する。
【0048】
差分回路110Eは、タップeの信号レベルを示すクラスタップデータS101Eとタップgの信号レベルを示すクラスタップデータS101Gとの差分をとることにより、クラスタップでなるタップfにおける水平方向の傾きすなわち微分値を求め、その差分値の絶対値でなる差分データS110EをADRC回路111Eに出力すると共に、差分値の符号を1ビットで表した差分値符号データS111Eをクラスコード生成回路112に出力する。ADRC回路111Eは、差分データS110Eに対して1ビットADRCを施すことにより1ビットの差分データS112Eを求め、これをクラスコード生成回路112に出力する。
【0049】
クラスコード生成回路112は、1ビットの差分データS112A〜S112Eと1ビットの差分値符号データS111A〜S111Eとを組み合わせることにより、10ビットのクラスコードS113を生成し、これをROM120に送出する。
【0050】
このようにクラスコード生成部103は、各画素の微分値D(i、j)を、次式
【0051】
【数10】
Figure 0004235852
【0052】
によって求め、その微分値の絶対値と符号とにそれぞれ1ビットずつ割り当てて1画素を合計2ビットで表すことにより、クラス分類を行うようになされている。ここでiは垂直方向の画素位置、jは水平方向の画素位置、f(i、j)は画素値を示す。
【0053】
例えば図14と同一の信号レベル分布でなる画素群を示す図9において、クラスコード生成部103は、図9(A)及び(B)に示す画素群に対してそれぞれ微分値の絶対値を求めた上で1ビットADRCを施すことにより、図9(A)に示す波形をビット列「1111111」で表すのに対して、図9(B)に示す波形をビット列「0100010」で表す。このようにクラスコード生成部103は、これらのビット列を用いてクラス分類することから、図9(A)及び(B)に示す画素群の波形を異なるクラスに分類し、これらの波形の違いを区別し得るようになされている。
【0054】
図6に戻って、ROM120は、クラスコード生成部103から供給されるクラスコードS113に応じた予測係数データS120を読み出し、これを予測演算部121に出力する。領域切り出し部102は、画像データS100から例えば水平方向に30画素を予測タップとして選定し、それらの信号レベルを予測タップデータ121として予測演算部121に出力する。予測演算部121は、予測係数データS120と予測タップデータS121との積和演算を行うことにより精細度を向上させた補正画像データS122を生成し、これを外部に出力する。
【0055】
図10は、ROM120(図6)に格納されている予測係数データを生成する学習回路130の構成を示す。学習回路130は、教師画像として高精細度の画像データS130をローパスフィルタ(LPF)131及び正規方程式演算部132に入力する。LPF131は、画像データS130を間引くことにより生徒画像として低精細度の画像データS131を生成し、これを領域切り出し部133及び134に出力する。
【0056】
領域切り出し部133は、アップコンバータ100の領域切り出し部101(図6)と同様に構成されており、画像データS131の中からクラスタップを選定し、それらの信号レベルを示すクラスタップデータS132をクラスコード生成部135に出力する。クラスコード生成部135は、アップコンバータ100のクラスコード生成部103(図6)と同様に構成されており、クラスタップデータ132の各画素それぞれに対して微分値を求め、当該微分値の絶対値及び符号を基にクラスコードS133を生成し、これを正規方程式演算部132に出力する。
【0057】
領域切り出し部134は、アップコンバータ100の領域切り出し部102(図6)と同様に構成されており、画像データS131のうち予測タップを選定し、それらの信号レベルを示す予測タップデータS134を正規方程式演算部132に送出する。正規方程式演算部132は、画像データS130と予測タップデータS134とから、クラスコードS133毎に正規方程式を生成し、この正規方程式データS135を予測係数決定部136に出力する。
【0058】
予測係数決定部136は、正規方程式データS135が必要な数だけ供給されると、最小自乗法を用いて当該正規方程式を解くことにより予測係数を演算し、その予測係数データS136をメモリ137に送出して当該メモリ137に格納する。その後、このメモリ137に格納されている予測係数データS136は、図6に示すROM120に書き込まれるようになされている。
【0059】
以上の構成において、クラスコード生成部103は、クラスタップを構成する各画素の微分値すなわち変化量を隣接画素値から求め、当該変化量の絶対値と符号とを基にクラス分類することにより、クラスタップの各画素値自体を基にクラス分類する場合に比して一段と有効にクラスタップの波形特徴量を抽出してクラス分類することが可能となると共に、特定のクラスに分類される頻度が高くなることを回避する。
【0060】
以上の構成によれば、クラスタップを構成する各画素の変化量を隣接画素値から求め、当該算出した変化量の絶対値と符号とを基にクラス分類することにより、クラス数が増大することを回避しながら、画素値自体を基にクラス分類する場合に比して有効にクラスタップの波形特徴量を抽出することができ、簡易な構成で従来に比して一段と画質の改善を行い得る。
【0061】
(3)第2の実施の形態
図11において、150は全体として第2の実施の形態によるアップコンバータの構成を示し、外部から供給される画像データS150を微分回路151及び領域切り出し部152に入力する。微分回路151は、画像データS150を構成する各画素の微分値をそれぞれ求め、その結果得られる微分値データS151を領域切り出し部153に送出する。
【0062】
領域切り出し部153は、微分値データS151から水平方向に5画素をクラスタップとして選定し、それらの絶対値を示す絶対値データS152をADRC回路154に出力すると共に、それらの符号を1ビットで表した符号データS153をクラスコード生成部155に出力する。ADRC回路154は、絶対値データS152が示す5画素分の微分値の絶対値それぞれに対して1ビットADRCを施すことにより、5画素分の微分値の絶対値をそれぞれ1ビットで表した絶対値データS154を生成し、これをクラスコード生成部155に出力する。
【0063】
クラスコード生成部155は、これら絶対値データS154及び符号データS153を組み合わせることにより、10ビットのクラスコードS155を生成し、これをROM156に出力する。ROM156は、クラスコードS155に応じた予測係数データS156を読み出し、これを予測演算部157に出力する。
【0064】
領域切り出し部152は、画像データS150から予測タップを選定し、それらの信号レベルを示す予測タップデータS157を予測演算部157に出力する。予測演算部157は、予測タップデーS157と予測係数データS156との積和演算を行うことにより、精細度を向上させた補正画像データS158を演算し、これを外部に出力する。
【0065】
図12は、アップコンバータ150のROM156(図11)に格納されている予測係数データを生成する学習回路170の回路構成を示す。学習回路170は、教師画像としての画像データS170をローパスフィルタ(LPF)171及び正規方程式演算部172に出力する。LPF171は、画像データS170を間引くことにより生徒画像として精細度の劣化した画像データS171を生成し、これを微分回路173及び領域切り出し部174に出力する。
【0066】
微分回路は、画像データS171の全画素に対してそれぞれ微分値を求め、その微分値データS172を領域切り出し部175に出力する。領域切り出し部175は、微分値データS172から水平方向に5画素をクラスタップとして選定し、それらの絶対値を示す絶対値データS173をADRC回路176に出力すると共に、それらの符号を1ビットで表した符号データS174をクラスコード生成部177に出力する。
【0067】
ADRC回路176は、絶対値データS173が示す5画素分の微分値の絶対値それぞれに対して1ビットADRCを施すことにより、5画素分の微分値の絶対値をそれぞれ1ビットで表した絶対値データS175を生成し、これをクラスコード生成部177に出力する。クラスコード生成部177は、これら絶対値データS175及び符号データS174を組み合わせることにより10ビットのクラスコードS176を生成し、これを正規方程式演算部172に出力する。
【0068】
領域切り出し部174は、画像データS171から予測タップを切り出し、それらの信号レベルを示す予測タップデータS177を正規方程式演算部172に出力する。正規方程式演算部172は、教師画像としての高精細度の画像データS170と予測タップデータS177とから、クラスコードS176毎に正規方程式を生成し、この正規方程式データS178を予測係数決定部178に出力する。
【0069】
予測係数決定部178は、正規方程式データS178が必要な数だけ供給されると、最小自乗法を用いて当該正規方程式を解くことにより予測係数を演算し、その予測係数データS179をメモリ179に送出して当該メモリ179に格納する。その後、このメモリ179に格納されている予測係数データS179は、図11に示すROM156に書き込まれるようになされている。
【0070】
以上の構成において、画像データS150を構成する全画素の微分値すなわち変化量を隣接画素値から求めた後、この全画素における変化量を示す微分値データS151からクラスタップを切り出し、当該クラスタップを構成する各画素の変化量の絶対値と符号とを基にクラス分類することにより、クラスタップの各画素値自体を基にクラス分類する場合に比して一段と有効にクラスタップの波形特徴量を抽出してクラス分類することが可能となると共に、特定のクラスに分類される頻度が高くなることを回避する。
【0071】
以上の構成によれば、画像データS150を構成する全画素の変化量を隣接画素値から求めた後にクラスタップを切り出し、当該切り出したクラスタップの各画素における変化量の絶対値と符号とを基にクラス分類することにより、クラス数が増大することを回避しながら、画素値自体を基にクラス分類する場合に比して有効にクラスタップの波形特徴量を抽出することができ、簡易な構成で従来に比して一段と画質の改善を行い得る。
【0072】
(4)他の実施の形態
なお上述の第1の実施の形態においては、画像データS100から水平方向にタップa〜gを選定した場合について述べたが、本発明はこれに限らず、例えば3タップおきにタップを選定する図13に示すように、タップを所定数おきに間引いて選定しても良く、この場合、波形の冗長性を排除してさらにクラスタップの特徴を抽出し得、一段と正確なクラス分類を行い得る。
【0073】
また上述の第2の実施の形態においては、画像データS150から水平方向に5画素をクラスタップとして選定した場合について述べたが、本発明はこれに限らず、タップを所定数おきに間引いて選定しても良く、この場合、波形の冗長性を排除してさらにクラスタップの特徴を抽出し得、一段と正確なクラス分類を行い得る。
【0074】
また上述の実施の形態においては、所定画素の変化量を隣接画素値から求め、当該算出した変化量の絶対値と符号とを基にクラス分類した場合について述べたが、本発明はこれに限らず、所定画素における1次微分値及び2次微分値を求め、そのうち1次微分値によってステップ状の縁点を抽出すると共に、2次微分値によって屋根状の縁点を抽出して波形の特徴量を抽出しても良い。
【0075】
また上述の実施の形態においては、クラスタップを水平方向に抽出した場合について述べたが、本発明はこれに限らず、垂直方向にクラスタップを抽出しても良い。
【0076】
また上述の実施の形態においては、クラス決定手段として、領域切り出し部101及びクラスコード生成部103、又は微分回路151、領域切り出し部153、ADRC回路154及びクラスコード生成部155を適用した場合について述べたが、本発明はこれに限らず、要は、第1の画像データから抽出された注目画素を含む複数の画素におけるそれぞれの変化量の絶対値と符号とから注目画素に対するクラスを決定するクラス決定手段であれば良い。
【0077】
また上述の実施の形態においては、予測データ発生手段としてROM120又は156を適用した場合について述べたが、本発明はこれに限らず、要は、クラスに応じて予測データを発生する予測データ発生手段であれば良い。
【0078】
さらに上述の実施の形態においては、画素データ発生手段として予測演算部121又は157を適用した場合について述べたが、本発明はこれに限らず、要は、予測データから第2の画像データの注目画素を発生する画素データ発生手段であれば良い。
【0079】
【発明の効果】
上述のように本発明によれば、クラスコード生成手段は、クラスタップの輝度レベルの差分値を求め、求めた差分値の増減に対する符号と差分値の絶対値を基にしてクラス分類を行なうことにより、単に画素単体を基にしてクラス分類を行なう場合に比べて画素の輝度の細部が損なわれずにクラスタップの波形特徴量を的確に抽出することができるので、特定のクラスに画素が偏ることを回避でき、かくして標準画像データを高精細度画像データに変換し得る画像データ変換装置を実現できる。
【図面の簡単な説明】
【図1】アップコンバータの構成を示すブロック図である。
【図2】クラスタップ配置例を示す略線図である。
【図3】予測タップ配置例を示す略線図である。
【図4】学習回路の構成を示すブロック図である。
【図5】予測係数生成手順を示すフローチャートである。
【図6】本発明によるアップコンバータの第1の実施の形態を示すブロック図である。
【図7】クラスタップ配置例を示す略線図である。
【図8】クラスコード生成部の構成を示すブロック図である。
【図9】画像データの信号レベル分布を示す略線図である。
【図10】本発明による学習回路の第1の実施の形態を示すブロック図である。
【図11】本発明によるアップコンバータの第2の実施の形態を示すブロック図である。
【図12】本発明による学習回路の第2の実施の形態を示すブロック図である。
【図13】他の実施の形態によるクラスタップ配置例を示す略線図である。
【図14】画像データの信号レベル分布を示す略線図である。
【符号の説明】
100、150……アップコンバータ、101、102、133、134、152、153、174、175……領域切り出し部、103、135、155、177……クラスコード生成部、110……差分回路、111、154、176……ADRC回路、112……クラスコード生成回路、120、156……ROM、121、157……予測演算部、、130、170……学習回路、151、173……微分回路。

Claims (2)

  1. 標準画像データから隣接した複数の画素をクラスタップの領域として選定し、選定された複数の当該クラスタップの信号レベルをそれぞれクラスタップデータとして出力する領域切出手段と、
    複数の上記クラスタップデータのうち1つ置きに抽出した2つの上記クラスタップデータを1組としてそれぞれ対応する複数の差分回路に入力し、入力されたそれぞれの上記クラスタップデータの差分を取ることにより差分の絶対値でなる差分データと当該差分の傾きを表す符号を1ビットで表した1ビット差分符号データとを求めて出力する差分データ出力手段と、
    上記差分データに対して1ビットの圧縮処理を施すことによって1ビット差分データを生成する1ビット差分データ生成手段と、
    上記1ビット差分符号データと上記1ビット差分データとに割り当てられた2ビットに対し上記差分回路の数を乗算した結果により得られるビット数のクラスコードを生成するクラスコード生成手段と、
    予測係数データを生成するために、予め学習用に設定された参照用高精細度画像データから所定の画像データを間引くことにより生成した当該学習用低精細度画像データの中から選定した複数の学習用クラスタップデータの上記画素それぞれに対する微分値の絶対値と微分値の符号とに基づいて学習用クラスコードを生成し、上記学習用低精細度画像データから選定した所定数の学習用予測タップデータと上記参照用高精細度画像データとに対して上記学習用クラスコードごとに正規方程式を用いて演算することにより得られた正規方程式データを出力し、当該正規方程式データに対し最小自乗法を用いて演算することによって得られた学習用予測係数データを記憶する学習用予測係数データ記憶手段と、
    上記クラスコードに対応する上記予測係数データを上記学習用予測係数データ記憶手段に記憶された上記学習用予測係数データを用いて読み出す予測係数データ読出手段と、
    上記標準画像データから隣接した複数の上記画素を予測タップとして選定し、それらを予測タップデータとして切り出す予測タップデータ切出手段と、
    上記予測タップデータの画素値上記クラスコードに応じた上記予測係数データとを用いて、当該予測タップデータの画素値と当該予測係数データとの積を予測タップの数だけ加算する積和演算処理を施すことにより標準画素数でなる上記標準画像データよりも高精細度画素数でなる高精細度画像データを生成する高精細度画像データ生成手段と
    を具える画像データ変換装置。
  2. 標準画像データから隣接した複数の画素をクラスタップの領域として選定し、選定された複数の当該クラスタップの信号レベルをそれぞれクラスタップデータとして出力する領域切出ステップと、
    複数の上記クラスタップデータのうち1つ置きに抽出した2つの上記クラスタップデータを1組としてそれぞれ対応する複数の差分回路に入力し、入力されたそれぞれの上記クラスタップデータの差分を取ることにより差分の絶対値でなる差分データと当該差分の傾きを表す符号を1ビットで表した1ビット差分符号データとを求めて出力する差分データ出力ステップと、
    上記差分データに対して1ビットの圧縮処理を施すことによって1ビット差分データを生成する1ビット差分データ生成ステップと、
    上記1ビット差分符号データと上記1ビット差分データとに割り当てられた2ビットに対し上記差分回路の数を乗算した結果により得られるビット数のクラスコードを生成するクラスコード生成ステップと、
    予測係数データを生成するために、予め学習用に設定された参照用高精細度画像データから所定の画像データを間引くことにより生成した当該学習用低精細度画像データの中から選定した複数の学習用クラスタップデータの上記画素それぞれに対する微分値の絶対値と微分値の符号とに基づいて学習用クラスコードを生成し、上記学習用低精細度画像デー タから選定した所定数の学習用予測タップデータと上記参照用高精細度画像データとに対して上記学習用クラスコードごとに正規方程式を用いて演算することにより得られた正規方程式データを出力し、当該正規方程式データに対し最小自乗法を用いて演算することによって得られた学習用予測係数データを学習用予測係数データ記憶手段に記憶する学習用予測係数データ記憶ステップと、
    上記クラスコードに対応する上記予測係数データを上記学習用予測係数データ記憶手段に記憶された上記学習用予測係数データを用いて読み出す予測係数データ読出ステップと、
    上記標準画像データから隣接した複数の上記画素を予測タップとして選定し、それらを予測タップデータとして切り出す予測タップデータ切出ステップと、
    上記予測タップデータの画素値上記クラスコードに応じた上記予測係数データとを用いて、当該予測タップデータの画素値と当該予測係数データとの積を予測タップの数だけ加算する積和演算処理を施すことにより標準画素数でなる上記標準画像データよりも高精細度画素数でなる高精細度画像データを生成する高精細度画像データ生成ステップと
    を具える画像データ変換方法。
JP26064498A 1998-09-14 1998-09-14 画像データ変換装置及び画像データ変換方法 Expired - Fee Related JP4235852B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26064498A JP4235852B2 (ja) 1998-09-14 1998-09-14 画像データ変換装置及び画像データ変換方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26064498A JP4235852B2 (ja) 1998-09-14 1998-09-14 画像データ変換装置及び画像データ変換方法

Publications (3)

Publication Number Publication Date
JP2000090261A JP2000090261A (ja) 2000-03-31
JP2000090261A5 JP2000090261A5 (ja) 2005-11-04
JP4235852B2 true JP4235852B2 (ja) 2009-03-11

Family

ID=17350787

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26064498A Expired - Fee Related JP4235852B2 (ja) 1998-09-14 1998-09-14 画像データ変換装置及び画像データ変換方法

Country Status (1)

Country Link
JP (1) JP4235852B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5476879B2 (ja) * 2008-09-29 2014-04-23 ソニー株式会社 画像処理装置および係数学習装置。

Also Published As

Publication number Publication date
JP2000090261A (ja) 2000-03-31

Similar Documents

Publication Publication Date Title
CN104079801A (zh) 图像处理设备、图像处理方法及程序
JP4235852B2 (ja) 画像データ変換装置及び画像データ変換方法
JP2000125268A (ja) 画像データ変換装置及び画像データ変換方法
JP4352298B2 (ja) 演算装置及び変換装置並びにそれらの方法
JP4235853B2 (ja) 画像データ変換装置及び画像データ変換方法
JP4300436B2 (ja) 画像データ変換装置及び画像データ変換方法
JP4337186B2 (ja) 画像情報変換装置および画像情報変換方法、学習装置および学習方法
JP6632253B2 (ja) 画像処理装置、画像処理方法およびプログラム
Yeung et al. Restoration of half-toned color-quantized images using particle swarm optimization with wavelet mutation
JP4168299B2 (ja) 画像データ変換装置及び画像データ変換方法
JP2802629B2 (ja) 画像データの圧縮装置、及び画像処理装置
KR20180035745A (ko) 파일 형식에 기반한 이미지 처리 장치 및 방법
JP4168298B2 (ja) データ変換装置及びデータ変換方法
JP2003116014A (ja) 画像処理装置及び方法及びコンピュータプログラム及びコンピュータ可読記憶媒体
KR101826040B1 (ko) 파일 형식에 기반한 이미지 처리 장치 및 방법
JP4126632B2 (ja) 画像データ変換装置及び画像データ変換方法
JPH1198343A (ja) 画像処理装置及び画像処理方法
US20090015870A1 (en) Apparatus and method to generate a halftoning screen and image forming apparatus for same
KR100629514B1 (ko) 다치화 처리장치 및 방법
JP2956461B2 (ja) 中間調画像処理装置
WO2002058380A1 (fr) Procede et programme de traitement d'image
JPH02271423A (ja) 疑似中間調画像記録装置
JP2016015598A (ja) 画像処理装置、画像処理方法及びプログラム
JP2003242499A (ja) 画像処理装置
KR20090068163A (ko) 신호 처리 장치, 신호 처리 방법, 및 신호 처리 프로그램, 및 학습 장치

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050811

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080529

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080828

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081120

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081203

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111226

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131226

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees