JP4051696B2 - 情報処理装置および方法、記録媒体、並びにプログラム - Google Patents
情報処理装置および方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP4051696B2 JP4051696B2 JP2001345166A JP2001345166A JP4051696B2 JP 4051696 B2 JP4051696 B2 JP 4051696B2 JP 2001345166 A JP2001345166 A JP 2001345166A JP 2001345166 A JP2001345166 A JP 2001345166A JP 4051696 B2 JP4051696 B2 JP 4051696B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- data
- difference
- fractal
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の属する技術分野】
本発明は、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、フラクタル符号化処理により符号化された画像を、高画質でフラクタル復号できるようにし、処理に必要な計算量を抑制できるようにした情報処理装置および方法、記録媒体、並びにプログラムに関する。
【0002】
【従来の技術】
画像を圧縮する技術が一般に普及しつつある。画像を圧縮する技術として、画像の持つ特定部分との自己相似性(部分的自己相似性)という冗長度を取り除くことによって、画像圧縮を行うフラクタル符号化が提案されている。部分的自己相似性とは、画像の一部分の画像パターンに注目するとき、同じ画像内に良く似た画像パターンが異なったスケールで存在する性質をいう。フラクタル符号化は、符号化対象画像をm×nのレンジブロックに分割して、各レンジブロックに対して変換処理を施す。この変換は、それぞれ適当に決められるドメインブロックの画素値を取り出し、縮小、回転等の簡単な線形変換を画素値に施したもので、レンジブロック内の画素を置き換える処理である。すなわち、フラクタル符号化は、レンジブロックの画像パターンを正確に近似する変換を決定する符号化手法である。
【0003】
より具体的には、例えば、1フレームの画像を8×8画素のレンジブロックに分割し、また、16×16画素のドメインブロックが設定されるとき、変換要素としては、4種類のもの(縮小変換、回転変換、鏡像変換、輝度変換)が設定され、また、これらの組合せの変換を含めて、合計8種類の変換が使用される。縮小変換は、4画素の値の平均をとって、水平、垂直の長さをそれぞれ1/2 に縮小するものである。回転変換は、0°、90°、180°、270°の反時計方向の回転である。鏡像変換は、左右を入れ替える処理である。輝度変換は、平均値分離後ゲインを乗じ、振幅方向に縮小する処理である。
【0004】
ドメインブロックに対する上述の変換を行った後、レンジブロックとの相似性をブロックマッチングによって見いだし、ドメインブロックの位置情報である、ベクトルおよび上式のパラメータ(すなわち、サーチ範囲内の位置、回転の角度、左右反転したかどうか)の伝送を行うことによって、情報量の圧縮がなされる。
【0005】
復号側では、初期画像からドメインブロックを切り出し、受信されたパラメータを用いて変換を行った結果をレンジブロックとして初期画像に張りつけ、それによって画像の更新を行う。この操作を繰り返し行うことで、除々に解像度のある復元画像を生成する。
【0006】
【発明が解決しようとする課題】
しかしながら、フラクタル符号化による圧縮処理は、幾何変化やブロックの比較などを繰り返すことにより推測できるようにする処理であるため、その演算量と共に、処理時間が膨大なものとなってしまうと言う課題があった。
【0007】
また、フラクタル符号化では、ブロックマッチングの正否が画質を大きく左右するため、例えば、細かい模様からなる画像などでは、比較するブロック間のマッチングが失敗することにより、復号される画像の画質が、大きく劣化してしまうという課題があった。
【0008】
さらに、この問題を解決すべく符号化時に様々な工夫がなされているが、その中でも、例えば、特開平9-139941では、輝度の正規化処理をADRC(Adaptive Dynamic Range Coding)により8ビットデータから4ビットデータに減少させて、演算処理量を低減させることが提案されているが、フラクタル符号化処理に伴う画質の劣化の低減は実現されていない。
【0009】
本発明はこのような状況に鑑みてなされたものであり、画像データのフラクタル符号化による圧縮処理により符号化された画像をより高画質で、高速に復号できるようにするものである。
【0010】
【課題を解決するための手段】
本発明の第1の情報処理装置は、入力画像データを圧縮符号化したデータを出力する情報処理装置であって、入力画像データをフラクタル符号化し、再度復号したデータである予測画像データを生成する生成手段と、予測画像データをフラクタル符号化する符号化手段と、入力画像データと予測画像データとの差分データを演算する差分演算手段と、差分演算手段により演算された差分データを、予測画像データの、ブロック毎の画素値の最大値と最小値との差分であるダイナミックレンジに対応した閾値と差分データとを比較し、比較結果を量子化値とすることにより適応的に量子化する量子化手段と、符号化手段によりフラクタル符号化された予測画像データと、量子化手段により適応的に量子化された差分データとを符号化データとして出力する出力手段とを備えることを特徴とする。
【0012】
前記量子化手段には、ブロック毎に、ブロック内の画素の最大値と最小値との差分であるダイナミックレンジの値を所定の閾値と比較し、出力手段は、前記ダイナミックレンジの値が前記所定の閾値よりも小さいとき、ブロックの残差成分の符号化データとしての出力が不要である旨を示す量子化コードを出力させるようにすることができる。
【0015】
ダイナミックレンジに対応した閾値は、ダイナミックレンジに所定の係数を乗じた値にすることができる。
【0016】
前記所定の係数を、予測画像データのブロック毎に、入力画像データと予測画像データとの S/N 比が最大となるように、適応的に演算する係数適応演算手段をさらに設けるようにさせることができる。
【0017】
本発明の第1の情報処理方法は、入力画像データを圧縮符号化したデータを出力する情報処理装置の情報処理方法であって、入力画像データをフラクタル符号化し、再度復号したデータである予測画像データを生成する生成ステップと、予測画像データをフラクタル符号化する符号化ステップと、入力画像データと予測画像データとの差分データを演算する差分演算ステップと、差分演算ステップの処理で演算された差分データを、予測画像データの、ブロック毎の画素値の最大値と最小値との差分であるダイナミックレンジに対応した閾値と差分データとを比較し、比較結果を量子化値とすることにより適応的に量子化する量子化ステップと、符号化ステップの処理でフラクタル符号化された予測画像データと、量子化手段により適応的に量子化された差分データとを符号化データとして出力する出力ステップとを含むことを特徴とする。
【0018】
本発明の第1の記録媒体のプログラムは、入力画像データを圧縮符号化したデータを出力する情報処理装置を制御するプログラムであって、入力画像データをフラクタル符号化し、再度復号したデータである予測画像データの生成を制御する生成制御ステップと、予測画像データのフラクタル符号化を制御する符号化制御ステップと、入力画像データと予測画像データとの差分データの演算を制御する差分演算制御ステップと、差分演算制御ステップの処理で演算が制御された差分データの、予測画像データの、ブロック毎の画素値の最大値と最小値との差分であるダイナミックレンジに対応した閾値と差分データとを比較し、比較結果を量子化値とすることによる適応的な量子化を制御する量子化制御ステップと、符号化制御ステップの処理でフラクタル符号化が制御された予測画像データと、量子化手段により適応的に量子化された差分データとの符号化データとしての出力を制御する出力制御ステップとを含むことを特徴とする。
【0019】
本発明の第1のプログラムは、入力画像データを圧縮符号化したデータを出力する情報処理装置を制御するコンピュータに、入力画像データをフラクタル符号化し、再度復号したデータである予測画像データの生成を制御する生成制御ステップと、予測画像データのフラクタル符号化を制御する符号化制御ステップと、入力画像データと予測画像データとの差分データの演算を制御する差分演算制御ステップと、差分演算制御ステップの処理で演算が制御された差分データの、予測画像データの、ブロック毎の画素値の最大値と最小値との差分であるダイナミックレンジに対応した閾値と差分データとを比較し、比較結果を量子化することによる適応的な量子化を制御する量子化制御ステップと、符号化制御ステップの処理でフラクタル符号化が制御された予測画像データと、量子化手段により適応的に量子化された差分データとの符号化データとしての出力を制御する出力制御ステップとを実行させることを特徴とする。
【0020】
本発明の第2の情報処理装置は、元画像データが圧縮符号化されたデータを元画像データに対応する復号画像データに復号する情報処理装置にであって、元画像データがフラクタル符号化され、再度復号された予測画像データがフラクタル符号化された符号化画像データと、予測画像データの、ブロック毎の画素値の最大値と最小値との差分であるダイナミックレンジに対応した閾値と、元画像データと予測画像データとの差分データとが比較されて、比較結果が量子化値とされることにより適応的に量子化された差分データとからなる符号化データより、符号化画像データと量子化された差分データを分離する分離手段と、分離手段により分離された符号化画像データを、予測画像データにフラクタル復号する復号手段と、量子化された差分データを、予測画像データの、ダイナミックレンジに対応して、適応的に逆量子化する逆量子化手段と、予測画像データと、逆量子化された差分データに基づいて、復号画像データを生成する生成手段と、生成手段により生成された復号画像データを出力する出力手段とを備えることを特徴とする。
【0023】
前記ダイナミックレンジに対応した閾値は、ダイナミックレンジに所定の係数を乗じた値とすることができる。
【0024】
前記所定の係数を、予測画像データのブロック毎に、元画像データと前記予測画像データとの S/N 比が最大となるように、適応的に演算する係数適応演算手段をさらに設けるようにさせることができる。
【0025】
本発明の第2の情報処理方法は、元画像データが圧縮符号化されたデータを元画像データに対応する復号画像データに復号する情報処理装置の情報処理方法であって、元画像データがフラクタル符号化され、再度復号された予測画像データがフラクタル符号化された符号化画像データと、予測画像データの、ブロック毎の画素値の最大値と最小値との差分であるダイナミックレンジに対応した閾値と元画像データと予測画像データとの差分データとが比較されて、比較結果が量子化値とされることにより適応的に量子化された差分データとからなる符号化データより、符号化画像データと量子化された差分データを分離する分離ステップと、分離ステップの処理で分離された符号化画像データを、予測画像データにフラクタル復号する復号ステップと、量子化された差分データを、予測画像データの、ダイナミックレンジに対応して、適応的に逆量子化する逆量子化ステップと、予測画像データと、逆量子化された差分データに基づいて、復号画像データを生成する生成ステップと、生成ステップの処理で生成された復号画像データを出力する出力ステップとを含むことを特徴とする。
【0026】
本発明の第2の記録媒体のプログラムは、元画像データが圧縮符号化されたデータを元画像データに対応する復号画像データに復号する情報処理装置を制御するプログラムであって、元画像データがフラクタル符号化され、再度復号された予測画像データがフラクタル符号化された符号化画像データと、予測画像データの、ブロック毎の画素値の最大値と最小値との差分であるダイナミックレンジに対応した閾値と元画像データと予測画像データとの差分データとが比較されて、比較結果が量子化値とされることにより適応的に量子化された差分データとからなる符号化データより、符号化画像データと量子化された差分データとの分離を制御する分離制御ステップと、分離制御ステップの処理で分離が制御された符号化画像データの、予測画像データへのフラクタル復号を制御する復号制御ステップと、量子化された差分データの、予測画像データの、ダイナミックレンジに対応しての、適応的な逆量子化を制御する逆量子化制御ステップと、予測画像データと、逆量子化された差分データに基づいた、復号画像データの生成を制御する生成制御ステップと、生成制御ステップの処理で生成が制御された復号画像データの出力を制御する出力制御ステップとを含むことを特徴とする。
【0027】
本発明の第2のプログラムは、元画像データが圧縮符号化されたデータを元画像データに対応する復号画像データに復号する情報処理装置を制御するコンピュータに、元画像データがフラクタル符号化され、再度復号された予測画像データがフラクタル符号化された符号化画像データと、予測画像データの、ブロック毎の画素値の最大値と最小値との差分であるダイナミックレンジに対応した閾値と元画像データと予測画像データとの差分データとが比較されて、比較結果が量子化値とされることにより適応的に量子化された差分データとからなる符号化データより、符号化画像データと量子化された差分データとの分離を制御する分離制御ステップと、分離制御ステップの処理で分離が制御された符号化画像データの、予測画像データへのフラクタル復号を制御する復号制御ステップと、量子化された差分データの、予測画像データの、ダイナミックレンジに対応しての、適応的な逆量子化を制御する逆量子化制御ステップと、予測画像データと、逆量子化された差分データに基づいた、復号画像データの生成を制御する生成制御ステップと、生成制御ステップの処理で生成が制御された復号画像データの出力を制御する出力制御ステップとを実行させる。
【0028】
本発明の第1の情報処理装置および方法、並びにプログラムにおいては、入力画像データがフラクタル符号化され、再度復号されたデータである予測画像データが生成され、予測画像データがフラクタル符号化され、入力画像データと予測画像データとの差分データが演算され、演算された差分データが、予測画像データの、ブロック毎の画素値の最大値と最小値との差分であるダイナミックレンジに対応した閾値と差分データとが比較され、比較結果を量子化値とすることにより適応的に量子化され、フラクタル符号化された予測画像データと、適応的に量子化された差分データとが符号化データとして出力される。
【0029】
本発明の第2の情報処理装置および方法、並びにプログラムにおいては、元画像データがフラクタル符号化され、再度復号された予測画像データがフラクタル符号化された符号化画像データと、予測画像データの、ブロック毎の画素値の最大値と最小値との差分であるダイナミックレンジに対応した閾値と、元画像データと予測画像データとの差分データとが比較されて、比較結果が量子化値とされることにより適応的に量子化された差分データとからなる符号化データより、符号化画像データと量子化された差分データが分離され、分離された符号化画像データが、予測画像データにフラクタル復号され、量子化された差分データが、予測画像データの、ダイナミックレンジに対応して、適応的に逆量子化され、予測画像データと、逆量子化された差分データに基づいて、復号画像データが生成され、生成された復号画像データが出力される。
【0030】
【発明の実施の形態】
図1は、本発明に係る画像転送システム11の一実施の形態の構成を示す図である。
【0031】
画像転送システム11は、入力された元画像データを伝送データに符号化する符号化部21と、符号化部21により符号化された元画像データの伝送データを復号して、復号画像データを生成する復号部22から構成される。
【0032】
画像転送システム11の復号画像生成適応フィルタ31は、後述する学習処理により生成されるフィルタであり、入力された元画像データをROM(Read Only Memory)などの記憶装置に記憶された係数を用いて演算し、予測画像データに変換して、高速フラクタル符号化部32、加算器33、および、残差成分適応量子化部34に出力する。より詳細には、復号画像生成適応フィルタ31は、入力された元画像が高速フラクタル符号化部32により符号化された後、さらに引き続いて、後述する復号部22のフラクタル復号部42により復号されたとき、生成されることが予測される予測画像データに変換し、高速フラクタル符号化部32、加算器33、および、残差成分適応量子化部34に出力する。
【0033】
高速フラクタル符号化部32は、復号画像生成適応フィルタ31により演算処理された元画像データをフラクタル符号化により符号化し(圧縮し)、符号化画像データを伝送フォーマット符号化部35に出力する。
【0034】
加算器33は、入力された元画像データの各画素値から、復号画像生成適応フィルタ31によりフィルタ処理されて、生成された予測画像データの画素値を減算し、その差分を残差成分として求め、残差成分適応量子化部34に出力する。
【0035】
残差成分適応量子化部34は、加算器33より入力された残差成分を、復号画像生成適応フィルタ31によりフィルタ処理された予測画像データに応じて、所定のブロック毎に、その特徴量であるダイナミックレンジに対応して適応量子化し、伝送フォーマット部35に出力する。
【0036】
伝送フォーマット部35は、高速フラクタル符号化部32により圧縮された符号化画像データと、残差成分適応量子化部34により量子化された残差成分とを、所定の伝送フォーマットにして伝送データとして出力する。
【0037】
復号部22の伝送パラメータ分離部41は、入力された伝送データを符号化画像データと、量子化された残差成分に分離し、符号化画像データをフラクタル符号化部42に出力し、量子化された残差成分を残差成分適応量子化部43に出力する。
【0038】
フラクタル復号部42は、伝送パラメータ分離部41より入力された符号化側でのフラクタル符号化処理により生成した予測画像データが符号化された符号化画像データを復号し、加算器44に出力すると共に、復号した予測画像データのブロック毎のダイナミックレンジの情報を残差成分適応逆量子化部43に出力する。
【0039】
残差成分適応逆量子化部43は、伝送パラメータ分離部41より入力された量子化されている残差成分をフラクタル復号部42より入力されたダイナミックレンジに対して適応的に逆量子化し、残差成分を生成して加算器44に出力する。加算器44は、フラクタル復号部42より入力された予測画像データと残差成分を加算することにより、元画像データに対応する復号画像データを生成し、クリッピング処理部45に出力する。
【0040】
クリッピング処理部45は、復号画像データの各画素の画素値が、定義されている範囲内であるか否かを確認し、その画素値が定義された範囲の下限値未満の場合、画素値を下限値に補正し、画素値が定義された範囲の上限値を超えている場合、画素値を上限値に補正することにより画素値をクリッピング処理し、復号画像データを補正して出力する。
【0041】
次に、図2を参照して、高速フラクタル符号化部32の構成について説明する。
【0042】
元画像データがレンジブロック化回部61、および、サーチエリア切り出し部65に供給される。レンジブロック化部61は、元画像データを2次元の(m×n)、例えば8×8画素の大きさのレンジブロックに分割し、レンジブロック毎にADRCエンコーダ62に供給する。ADRCエンコーダ62は、入力されたレンジブロックをADRC符号化処理によりADRCエンコードして、ブロックレンジ毎のダイナミックレンジDRと最小値MINを伝送フォーマット符号化部35に、エンコード結果を比較部63に出力する。ADRC符号化処理とは、ブロック毎に画素値の最大値MAX、最小値MINを検出し、最大値MAXおよび最小値MINの差である、ダイナミックレンジDRを求め、ダイナミックレンジDRとビット数から決定される量子化ステップ幅によって、最小値MINを減じた修正入力画素値を元の量子化ビット数(8ビット)より少ない固定のビット数(例えば4ビット)で再度量子化するものである。符号化の結果である、ダイナミックレンジDR、最小値MINが伝送フォーマット符号化部35に送られ、各画素の量子化データQrが差分の2乗和を計算する比較部63に送られる。ダイナミックレンジに関する情報は、ダイナミックレンジDR、最大値MAX、最小値MINのうちの二つを伝送すれば良い。
【0043】
一方、サーチエリア切り出し部65は、上記レンジブロックに対応したサーチ範囲(計算時間を抑えるために、例えば水平、垂直ともに−7乃至+8画素程度)の中から、2次元の(M×N)、例えば16×16画素程度の大きさのドメインブロックを切り出し、ドメインブロック化部66に出力する。ドメインブロック化部66は、切り出したドメインブロックをADRCエンコーダ67により、ADRCエンコーダ62と同様のADRC符号化処理を行ない1/4縮小部68に出力すると共に、変換パラメータを比較部63および最小値判定部64に出力する。
【0044】
1/4縮小部68は、ADRCエンコーダ67からのドメインブロックの符号化出力の中の量子化データQdに対して、縮小変換(縦横それぞれ1/2)処理を実行して、回転鏡像処理部69に出力する。回転鏡像処理部69は、縮小変換された量子化データQdに回転(0°、90°、180°、270°)、鏡像(左右反転)などの操作を行い、比較部63に出力する。
【0045】
1/4縮小部68、および、回転鏡像処理部69においてなされる処理は、座標変換処理である。なお、1/4縮小部68、および、回転鏡像処理部69における変換パラメータは、比較部63、および、最小値判定部64に供給され、記憶される。
【0046】
評価部63は、レンジブロックとドメインブロックの画素単位の差分(Qr-Qd')を計算し、この差分の2乗値のブロック内での総和が計算され、計算された差分の2乗値の総和を評価値テーブルとして格納(記憶)する。なお、評価値としては、差分の絶対値和等を用いることができる。
【0047】
評価部63は、1/4縮小部68、および、回転鏡像処理部69において、パラメータが変更されて変換処理が連続して実行されるとき、上述の差分の2乗値の総和を求め、これを評価値テーブルとして格納(記憶)する。評価部63は、この動作を全てのパラメータに対して行ない、サーチ範囲内で1つのドメインブロックの位置に対する計算を終了する。一例として、下記に挙げる8種類のパラメータが使用される。
【0048】
第1のパラメータは、1/2の縮小処理によるものとし、第2のパラメータは、1/2の縮小および左右反転処理によるものとし、第3のパラメータは、1/2の縮小および90°回転処理によるものとし、第4のパラメータは、1/2の縮小および180°回転処理によるものとし、第5のパラメータは、1/2の縮小および270°回転処理によるものとし、第6のパラメータは、1/2の縮小、90°回転および左右反転処理によるものとし、第7のパラメータは、1/2の縮小、180°回転および左右反転によるものとし、第8のパラメータは、1/2の縮小、270°回転および左右反転によるものとするといったものである。
【0049】
サーチエリア切り出し部65乃至回転鏡像処理部69は、サーチ範囲内でドメインブロックの切り出しを、例えば1画素分ずらして行ない、評価部63は、上記と同様な評価値の演算を全ての変換パラメータに対して行ない、サーチ範囲内で1画素ずつ動かした位置のドメインブロックを切り出し、全ての演算を実行する。
【0050】
評価部63が、全ての演算を実行すると、最小値判定部64は、評価部63に評価値テーブルとして格納されている評価値の中から最小値を検出し、ドメインブロックの位置、変換パラメータ(回転角度、左右反転の有無)を決定して、伝送フォーマット符号化部35に出力する。このようにして、ブロックマッチング法によりレンジブロックと相似な画像が探し出される。伝送フォーマット符号化部35は、ADRCエンコーダ62より供給されたレンジブロックのダイナミックレンジDR、最小値MINとともに、最小値判定部64より入力された評価値が最小値となる量子化データ、および、変換パラメータの情報を伝送用のフォーマットに変換して伝送データを生成する。
【0051】
高速フラクタル符号化部32は、以上の一連の符号化動作を各レンジブロックについて実行し、画像フレーム全体にわたって符号化動作を行う。伝送されるデータは、各4ビットの位置情報x、yと、変換パラメータの3ビット(回転に関する2ビットと反転に関する1ビット)と、ダイナミックレンジDRの8ビットと、最小値MINの8ビットである。従って、1画素が8ビットのデータの場合では、8×8×8=512ビットの原データが27ビットに圧縮されることになる。
【0052】
制御部70は、いわゆるマイクロコンピュータなどから構成され、高速フラクタル符号化部32の全体の動作を制御しており、各種の処理に必要なカウンタを備える(図中、結線は省略されている)。
【0053】
次に、図3を参照して、フラクタル復号部42の構成について説明する。
【0054】
ドメインブロック切り出し部81は、伝送パラメータ分離部41より供給されるドメインブロックの切り出し情報(位置情報x、y)に基づいてドメインブロック(16×16画素)を切り出し、ADRCエンコーダ82に供給する。ADRCエンコーダ82は、ドメインブロックのデータにADRC符号化処理を施し、量子化データを1/4縮小部83に出力する。1/4縮小部83は、ADRCエンコーダ82より入力された量子化データを水平方向、および、垂直方向にそれぞれ1/2だけ縮小処理し、回転鏡像処理部84に出力する。
【0055】
回転鏡像処理部84は、伝送パラメータ分離部41より供給される変換パラメータにより、回転、鏡像処理などの線形変換を1/4縮小部83より供給されたドメインブロックの量子化データに対して施し、ADRCデコーダ85に供給する。ADRCデコーダ85は、伝送パラメータ分離部41からのダイナミックレンジDR、最小値MINに基づいて、回転鏡像処理部84からの変換後の量子化データに復号処理を施し、もとの画素情報に復元し、メモリ86に復号結果FM0として書き込む。
【0056】
フラクタル復号部42は、同様にして、次のレンジブロックに対応する符号化データの復号動作を実行し、1フレーム全体にわたって復号が終了した時点で、再度復号動作を行なうよう、反復動作を実行する。この反復動作を収束させるための判定は、前回の復号結果をメモリ86に例えば復号結果FM1として格納しておき、復号結果FM0との画素単位の差分の2乗和を演算部87により計算し、これをある閾値TH0と比較することで実現する。すなわち、フレーム間差分の2乗和が閾値TH0より大であるときは、未だ収束してないものとみなし、復号動作を繰り返す。従って、メモリ86には、何らかの初期値が記憶されている必要がある。
【0057】
反復動作が続行されるとき、演算部87は、メモリ86に記憶されている復号結果FM0のデータを復号結果FM1にコピーする。フレーム間差分の2乗和が閾値TH0以下である場合、演算部87は、演算が収束したものとみなし、反復動作を終了し、演算結果FM0のデータを復号画像として外部に出力する。
【0058】
制御部88は、いわゆるマイクロコンピュータなどから構成され、フラクタル復号部42の全体の動作を制御しており、各種の処理に必要なカウンタを備える(図中、結線は省略されている)。
【0059】
次に、復号画像生成適応フィルタ31について説明する。
【0060】
復号画像生成フィルタ31は、上述のように入力された元画像が高速フラクタル符号化部32により符号化された後、さらに引き続いて、復号部22のフラクタル復号部42により復号されたとき、生成されることが予測される予測画像データに変換するものである。
【0061】
この復号画像生成適応フィルタ31は、符号化時の計算量を減少させるために用いられている。すなわち、あるブロックサイズのフラクタル符号化では復号画像がある程度の画質までしか復号できないという点に着目した解析により、復号画像と同程度の画像を符号化し、さらに復号しても画質は変わらないことが経験的に知られている。これは、フラクタル符号化、および、フラクタル復号により元画像データの高周波成分が除去されるので、ブロックマッチングの失敗率が減少することにより、結果として、近似のブロックの探索を粗く行っても復号画像データと元画像データのS/Nが減少しないことが起因している。
【0062】
そこで、この復号画像生成適応フィルタ31は、元画像データをフラクタル符号化処理、および、フラクタル復号処理により復号されることが予測される(高周波成分が除去された)予測画像データに変換する。
【0063】
この復号画像生成適応フィルタ31は、複数の元画像データをフラクタル符号化して、さらに、フラクタル復号することにより得られる復号画像データと元画像データとの間の学習処理に基づいて形成される。
【0064】
図4は、その学習により復号画像生成適応フィルタ31を生成するフィルタ生成部101(復号画像生成適応フィルタ31で使用される係数を生成する学習装置)の構成を示している。
【0065】
フラクタル符号化部111とフラクタル復号部112は、高速フラクタル符号化部32とフラクタル復号部42と基本的な構成は同様であるので、その説明は省略する。フラクタル符号化部111は、供給された元画像データをフラクタル符号化して、フラクタル復号部112に出力する。さらに、フラクタル復号部112は、フラクタル符号化された元画像データを復号し、復号画像データを学習部113に供給する。
【0066】
学習部113は、供給された元画像データを高能率圧縮符号化、例えばADRC符号化処理により、各画素のクラスコードを生成する。学習部113は、元画像データ、復号画像データ、およびクラスコードを利用して、最小自乗法等を用いてクラス毎に最適な予測係数を算出し、算出した予測係数から、復号画像生成適応フィルタ31を形成する。
【0067】
ここで、図5のフローチャートを参照して、学習処理について説明する。
【0068】
ステップS1において、フラクタル符号化部111が、入力された元画像データをフラクタル符号化し、さらに、フラクタル符号化された元画像データをフラクタル復号部112が、復号することにより復号画像データを生成して、学習部113に供給する。
【0069】
ステップS2において、学習部113は、元画像データと復号画像データに対応した学習データを形成し、例えば、元画像データの画素に対応した復号画像データの画素を中心として図6に示す(3×3)ブロックの配列を学習データとして使用する。
【0070】
ステップS3において、学習部114は、元画像データの1フレーム分の元画像データの入力が終了しているか否かを判定し、入力された元画像データの例えば1フレームのデータの処理が終了していないと判定した場合、その処理は、ステップS4に進む。
【0071】
ステップ4において、学習部113は、入力された学習データのクラス分割処理を実行する。これは上述のように、ADRC処理等によって、情報量が圧縮された元画像データの画素のデータが用いられる。ステップS5において、学習部113は、後述する式(6)および(7)の正規方程式を作成し、その処理は、ステップS1に戻る。すなわち、クラス分割処理と、その処理に伴う正規方程式が生成される処理が繰り返される。
【0072】
ステップ3において、元画像データの1フレーム分の処理が終了したと判定された場合、その処理は、ステップS6に進む。ステップ6において、学習部113は、後述する式(8)を行列解法を用いて解いて、予測係数を決定し、ステップ7において、予測係数を復号画像生成適応フィルタ31に記憶し、学習処理を終了する。
【0073】
図5中のステップS5の処理(正規方程式を生成する処理)およびステップS6の処理(予測係数を決定する処理)をより詳細に説明する。注目画素の真値をyとし、その推定値をy´とし、その周囲の画素の値をx1乃至xnとしたとき、クラス毎に予測係数w1乃至wnによるnタップの線形1次結合を以下の式(1)として設定する。
【0074】
y´=w1・x1 +w2・x2 +‥‥+wn・xn (1)
式(1)において、学習前は予測係数wiが未定係数である。
【0075】
上述のように、学習はクラス毎になされ、データ数がmの場合、式(1)に従って、
yj´=w1・xj1+w2・xj2+‥‥+wn・xjn (2)
(但し、j=1,2,‥‥m)
m>nの場合、w1乃至wnは一意には決まらないので、誤差ベクトルEの要素を
ej=yj−(w1・xj1+w2・xj2+‥‥+wn・xjn) (3)
(但し、j=1,2,‥‥m)
とそれぞれ定義して、次の式(4)を最小にする予測係数を求める。
【0076】
【数1】
いわゆる最小自乗法による解法である。ここで式(4)の予測係数wiによる偏微分係数を求める。
【0077】
【数2】
式(5)を0にするように各予測係数wiを決めればよいから、
【数3】
として、行列を用いると
【数4】
となる。この方程式は一般に正規方程式と呼ばれている。この方程式を掃き出し法等の一般的な行列解法を用いて、予測係数wiについて解けば、予測係数wiが求まり、クラスコードをアドレスとして、この予測係数wiを復号画像生成適応フィルタ31に格納していくことにより、学習処理が実行されていく。
【0078】
このように形成された復号画像生成適応フィルタ31は、元画像データを伝送データに変換する際、従来の手法によりフラクタル符号化したのち、再びフラクタル復号しなければ得られなかった、予測画像データをフィルタ処理により得ることができるので、その処理に必要とされる演算量が抑制され、処理時間が短縮される。また、復号画像生成適応フィルタ31は、複数の元画像データから学習により形成されるので、元画像データが高速フラクタル符号化部32で符号化された後、再び、フラクタル復号部42により復号されるときの復号画像データに対して高い精度の(S/Nの高い)予測画像データを生成することが可能となる。
【0079】
次に、図7のフローチャートを参照して、符号化部21により元画像データが伝送用符号に符号化されるときの処理について説明する。
【0080】
ステップS11において、復号画像生成適応フィルタ31は、元画像データをフィルタ処理して予測画像データを生成し、高速フラクタル符号化部32、残差成分適応量子化部34、および、加算器33に供給する。
【0081】
ステップS12において、加算器33は、元画像データから復号画像生成適応フィルタ31により生成された予測画像データを減算して、残差成分を抽出し、残差成分適応量子化部34に出力する。
【0082】
ステップS13において、残差成分適応量子化部34は、残差成分適応量子化処理を実行する。
【0083】
ここで、図8のフローチャートを参照して、残差成分適応量子化部34による残差成分適応量子化処理について説明する。
【0084】
尚、残差成分適応量子化処理の説明にあたり、レンジブロックとドメインブロックは、図9乃至図11で示すように定義するものとする。すなわち、図9で示すように、1枚(例えば1フレーム)の画像は、図10で示す8×8の大きさのレンジブロックへ分割されるものとする。例えば720画素×480ラインの有効画像がレンジブロックに分割されることによって、90×60のレンジブロックが形成される。画像の左上のコーナーから水平方向へ順次増加する番号iと、垂直方向に順次増加する番号jとによって、各レンジブロックの番号Bijが規定されるものとする。また、各レンジブロックの画素は、図10で示すように左上から順次右方向にp0、p1、p2・・・・p62、および、p63に配列されるものとする。
【0085】
ドメインブロックは、図9に示すように、16×16のサイズとされるものとする。ドメインブロックの画素データをADRC符号化した量子化データQdが線形変換され、線形変換で得られた量子化データQd'がサーチ範囲内で1画素ステップで動かされるものとする。サーチ範囲は、一例として図11で示すように、水平および垂直方向のそれぞれで、(−8乃至+7)の範囲と規定される。このサーチ範囲の位置を水平方向では、k(−8乃至+7)の番号で規定し、垂直方向では、l(−8乃至+7)の番号で規定するものとする。従って、サーチ範囲内にある位置のドメインブロックは、Dklで規定されるものとなる。
【0086】
ステップS21において、残差成分適応量子化部34は、入力された予測画像データから各ブロック毎に画素値の最大値MAX、最小値MIN、および、ダイナミックレンジDRを求める。
【0087】
ステップS22において、残差成分適応量子化部34は、ブロック番号のカウンタi,jをi=j=0に初期化する。
【0088】
ステップS23において、残差成分適応量子化部34は、画素番号のカウンタpをp=0に初期化する。
【0089】
ステップS24において、レンジブロックBijに対応する残差成分DFに対するダイナミックレンジDRを読み出し、残差成分適応量子化部34は、係数αを乗じて閾値TH2(=DR×α)を求める。
【0090】
ステップS25において、残差成分適応量子化部34は、レンジブロックBij内のダイナミックレンジDRを求め、ダイナミックレンジの最小値DR(min)よりも小さいか否かを判定し、例えば、レンジブロックBij内のダイナミックレンジDRが、最小値DR(min)よりも小さくない、すなわち、最小値DR(min)以上であった場合、その処理は、ステップS26に進む。
【0091】
ステップS26において、残差成分適応量子化部34は、レンジブロックBijの画素番号pの残差成分DFが閾値TH2よりも大きいか否かを判定し、レンジブロックBijの画素番号pの残差成分DFが閾値TH2よりも大きくない、すなわち、閾値TH2以下であると判定した場合、その処理は、ステップS27に進む。
【0092】
ステップS27において、残差成分適応量子化部34は、レンジブロックBijの画素番号pの残差成分DFに負の値を乗じた値(−(残差成分DF))が閾値TH2よりも大きいか否かを判定し、大きくない、すなわち、閾値TH2以下であると判定した場合、その処理は、ステップS28に進む。
【0093】
ステップS28において、残差成分適応量子化部34は、対応する画素pの残差成分DFの量子化コードを00に設定する。ステップS29において、残差成分適応量子化部34は、画素番号のカウンタpが63よりも大きいか否か、すなわち、レンジブロック内に設定された番号を超えていないか否かを判定し、超えていないと判定した場合、すなわち、レンジブロック内であると判定した場合、その処理は、ステップS30に進む。
【0094】
ステップS30において、残差成分適応量子化部34は、画素番号のカウンタpを1だけインクリメントし(p=p+1)、その処理は、ステップS27に戻りそれ以降の処理が繰り返される。
【0095】
ステップS27において、レンジブロックBijの画素番号pの残差成分DFが閾値TH2よりも大きいと判定された場合、その処理は、ステップS31に進み、残差成分適応量子化部34は、対応する画素pの残差成分DFの量子化コードを01に設定し、その処理は、ステップS29に進む。
【0096】
ステップS27において、レンジブロックBijの画素番号pの負の残差成分DFが閾値TH2よりも大きいと判定された場合、その処理は、ステップS31に進み、残差成分適応量子化部34は、対応する画素pの残差成分DFの量子化コードを10に設定し、その処理は、ステップS28に進む。
【0097】
すなわち、同じレンジブロック内の画素に対応する量子化コードが設定されるまで、ステップS26乃至S32の処理が繰り返される。
【0098】
ステップS29において、画素番号のカウンタpが63よりも大きいと判定された場合、すなわち、レンジブロック内ではないと判定された場合、その処理は、ステップS33に進む。ステップS33において、残差成分適応量子化部34は、ブロック番号のカウンタiを1だけインクリメント(i=i+1)する。
【0099】
ステップS34において、残差成分適応量子化部34は、ブロック番号のカウンタiが63よりも大きいか否か、すなわち、図9で示すように、フレーム内の1段分の番号を超えていないか否かを判定し、超えていないと判定した場合、その処理は、ステップS23に進む。すなわち、一段分の処理が終了するまで、ステップS23乃至S34の処理が繰り返される。
【0100】
ステップS34において、ブロック番号のカウンタpが63よりも大きいと判定された場合、すなわち、図9で示すように、フレーム内の1段分の番号を超えたと判定された場合、その処理は、ステップS35に進む。
【0101】
ステップS35において、残差成分適応量子化部34は、ブロック番号のカウンタjを1だけインクリメント(j=j+1)する。ステップS36において、差成分適応量子化部34は、ブロック番号のカウンタjが63よりも大きいか否か、すなわち、図9で示すように、フレーム内の1列分の番号を超えていないか(1フレーム分の処理が完了したか)否かを判定し、超えていないと判定した場合、その処理は、ステップS23に進む。すなわち、1フレーム分の処理が終了するまで、ステップS23乃至S36の処理が繰り返される。ステップS36において、ブロック番号のカウンタjが63よりも大きいと判定された場合、すなわち、1フレーム分の処理が完了したと判定された場合、その処理は、終了する。
【0102】
ステップS25において、ダイナミックレンジDRが、ダイナミックレンジの最小値DR(min)よりも小さいと判定された場合、ステップS37において、残差成分適応量子化部34は、対応する画素pの残差成分DFの量子化コードを11に設定し、その処理は、ステップS33に進む。
【0103】
以上の処理により、各画素に対応する残差成分が量子化コードに変換される。すなわち、ダイナミックレンジDRは、図12Aで示すように、予測画素データの最小値と最大値の差分として求められる。従って、残差成分は、このダイナミックレンジDRに対して適応的に量子化されることにより、復号時に正確に再現されることになる。そこで、ステップS24の処理により、図12Bで示すように、ダイナミックレンジDRに所定の係数αを乗じて、閾値TH2を設定し、この閾値TH2との大小関係により量子化値を設定している。
【0104】
この例では、図12C、および、図13で示すように、残差成分DF>閾値TH2の場合(ステップS26がYesの場合)、量子化値を1として、量子化コードを01に(ステップS31の処理)、−残差成分DF>閾値TH2の場合(ステップS27がYesの場合)、量子化値を−1として、量子化コードを10に(ステップS32の処理)、閾値TH2≧残差成分DF≧−閾値TH2の場合(ステップS26,S27がいずれもNoの場合)、量子化値を0として、量子化コードを00に設定している。
【0105】
また、ステップS25において、レンジブロックBij内のダイナミックレンジDRを求め、平均値の最小値DR(min)よりも小さいか否かが判定されている。例えば、図14Aで示すようにダイナミックレンジDRが、比較的大きい場合と、図14Bで示すようにダイナミックレンジDRが比較的小さい場合を比較すると、ダイナミックレンジDRが小さいほど、予測画像データと元画像データとの違いが小さい事が分かる。従って、ダイナミックレンジDRが小さいほど、残差成分により予測画像データを補正しなくても、ある程度の精度で元画像データが生成されることになる。そこで、今の例においては、ダイナミックレンジDRの最小値DR(min)を所定の値として設定し、レンジブロック内のダイナミックレンジDRが、その最小値DR(min)よりも小さい場合(ステップS25においてYesの場合)、そのレンジブロックに対応する残差成分の転送が不要であることを示す11を量子化コードにしている。
【0106】
図15で示すように、レンジブロック内の各画素に対応する残差成分を転送する際、先頭の残差成分の量子化コードが11である場合、それ以降の1レンジブロック分の残差成分の量子化コードの転送をしない。この処理により、復号に影響しない量子化コードを転送せずに済ますことができるので、伝送データをより小さくすることが可能となり、転送速度、および、処理速度を向上させることが可能となる。
【0107】
ここで、図7のフローチャートの説明に戻る。
【0108】
ステップS14において、高速フラクタル符号化部32は、入力された予測画像データをフラクタル符号化処理する。
【0109】
ここで、図16のフローチャートを参照して、高速フラクタル符号化部32によるフラクタル符号化処理について説明する。
【0110】
ステップS51において、高速フラクタル符号化部32の制御部70は、レンジブロックの番号を示すカウンタijをそれぞれi=0,j=0として初期化する。ステップS52において、制御部70は、レンジブロックの番号のカウンタiが90以上である(i≧90)か否か、すなわち、図9で示すレンジブロックの1段分以上であるか否かを判定し、i≧90ではないと判定した場合、その処理は、ステップS53に進む。
【0111】
ステップS53において、レンジブロック化部61は、入力された予測画像データのサーチエリアをレンジブロック化し、ADRCエンコーダ62に出力する。すなわち、j=0の90個のレンジブロック化を最初に実行する。ステップS54において、ADRCエンコーダ62は、レンジブロック化部61より入力されたレンジブロックBijをADRCエンコード処理する。すなわち、今の場合、ADRCエンコーダ62は、最初のレンジブロックB0000をADRC符号化する。
【0112】
ステップS55において、制御部70は、ドメインブロックの番号のカウンタであるk,lを初期化する。今の場合、図11で示すように、カウンタk,lは、k=l=−8に初期化される。
【0113】
ステップS56において、制御部70は、カウンタkが8以上である(k≧8)か否か、すなわち、図11で示すドメインブロックの水平方向のサーチ範囲内であるか否かを判定し、例えば、水平方向のサーチ範囲内であると判定された場合、すなわち、k≧80ではないと判定された場合、その処理は、ステップS57に進む。
【0114】
ステップS57において、サーチエリア切り出し部65は、ドメインブロックを切り出し、同時に、ドメインブロック化部66がドメインブロック化の処理を実行し、ドメインブロック化された予測画像データをADRCエンコーダ67に出力する。今の場合、ドメインブロック化部66は、最初のドメインブロック化の処理により、ドメインブロックD-8-8を形成し、ADRCエンコーダ67に出力する。
【0115】
ステップS58において、ADRCエンコーダ67は、ドメインブロックDklをADRC符号化し、1/4縮小部68に出力する。ステップS59において、1/4縮小部68は、ADRCエンコーダ67よる入力された量子化データQdを縦横のブロックサイズをそれぞれ半分にして、8×8のサイズ、すなわち、1/4のサイズに縮小する。この縮小化されたドメインブロックはDkl´と表すものとする。
【0116】
ステップS60において、回転鏡像処理部69は、回転操作の回転角度Rを0に設定する。すなわち、縮小のみの変換操作がドメインブロックの量子化データQdに対してなされる。ステップS61において、回転鏡像処理部は、回転角度がR≧360°であるか否か、すなわち、回転が1周したか否かを判定し、R≧360ではない、すなわち、1周していないと判定された場合、その処理は、ステップS62に進む。
【0117】
ステップS62において、回転鏡像処理部69は、ドメインブロックDkl'を、角度Rだけ回転させる。今の場合、回転角度R=0の場合、ドメインブロックDkl'が回転されていないことを示す。
【0118】
ステップS63において、回転鏡像処理部69は、回転されたドメインブロックDkl'とレンジブロックBijの画素同士の差分の2乗和を求め、これを評価値として比較部63に評価値テーブルとして格納させる。R=0の場合では、縮小の操作がされたドメインブロックとレンジブロックとの間の評価値が求められ、テーブルに格納される。
【0119】
ステップS64において、回転鏡像処理部69は、回転操作がなされたドメインブロックDkl´を左右反転させる。以下、この回転、および、反転されたドメインブロックはDkl´´と表すものとする。
【0120】
ステップS65において、回転鏡像処理部69は、回転反転されたドメインブロックDkl´´とドメインレンジブロックBijとの画素同士の差分の2乗和を演算し、比較部63に出力し、評価値として評価値テーブルに格納させる。R=0の場合では、縮小および反転の操作がなされたドメインブロックとレンジブロックとの間の評価値が求められ、テーブルに格納される。
【0121】
ステップS66において、回転鏡像処理部69は、回転角度Rに90°を加算し(+90°)、その処理は、ステップS61に戻る。すなわち、回転処理が1周された(ステップS61においてR≧360°である)と判定されるまで、ステップS61乃至S66の処理が繰り返され、求められた評価値が比較部63の評価値テーブルに格納される。結果として、回転角度RがR=0,90°,180°,270°のそれぞれについて、上述と同様の処理がなされる。
【0122】
一例として、ドメインブロックD-8-8について、前述したような8種類の変換パラメータについての評価値が求められる。すなわち、第1のパラメータ( 1/2の縮小)、第2のパラメータ( 1/2の縮小および左右反転)、第3のパラメータ( 1/2の縮小および90°回転)、第4のパラメータ( 1/2の縮小および180°回転)、第5のパラメータ( 1/2の縮小および270°回転)、第6のパラメータ( 1/2の縮小、90°回転および左右反転)、第7のパラメータ( 1/2の縮小、180°回転および左右反転)、および第8のパラメータ( 1/2の縮小、270°回転および左右反転)についての評価値がそれぞれ求められる。
【0123】
従って、ステップS61において、回転角度R≧360であると判定されるまでの間に、一つのドメインブロックDklについて、第1乃至第8のパラメータのそれぞれについての評価値が求められることになる。ステップS61において、回転角度がR≧360である、すなわち、ドメインブロックDklが1周したと判定された場合、ステップS67において、カウンタkの値が1だけインクリメントされる。換言すれば、ステップS67の処理により、サーチ範囲内でドメインブロックDklの位置が水平方向で1画素シフトされる。そして、その処理は、ステップS56に戻り、上述したように、シフトされた位置のドメインブロックについての縮小、回転、左右反転の操作がなされ、8個の変換パラメータに関しての評価値が求められる。この評価値も評価値テーブルに格納される。
【0124】
サーチ範囲内で、ドメインブロックの位置が水平方向に1画素ずつシフトされ、ステップS56において、k≧8であると判定された場合、ステップS68において、カウンタlが8以上(l≧8)であるか、すなわち、ドメインブロックのサーチ範囲の下限値にまで到達したか否かが判定される。ステップS68において、カウンタlが8以上ではない、すなわち、ドメインブロックが下限値に到達していないと判定された場合、ステップS69において、lの値が1だけインクリメントされ、カウンタkがk=−8に初期化され、その処理は、ステップS57(ドメインブロック化)に戻る。
【0125】
すなわち、ステップS69の処理により、サーチ範囲内のドメインブロックの垂直方向の位置が1ライン下側にシフトされ、そのライン上でkの値がインクリメントされることによって、水平方向にドメインブロックの位置がシフトされ、各位置において評価値が計算される。
【0126】
ステップS68において、l≧8である、すなわち、ドメインブロックがサーチ範囲の下限値に達したと判定された場合、その処理は、ステップS70に進む。ステップS70において、最小値判定部64は、比較部63に格納されている評価値テーブルに記憶された複数の評価値(上述したように差分の2乗和)の中の最小値を検出し、伝送フォーマット化符号化部35に出力する。
【0127】
ステップS71において、伝送フォーマット符号化部35は、検出された最小値と対応して符号化データを作成し、ドメインブロックのダイナミックレンジDRおよび最小値MINと、評価値の最小値を生じさせる、ドメインブロックの位置(kおよびlの値)、パラメータ、さらに、適応量子化された残差成分を合成し、伝送フォーマットに対応した伝送データに変換する。
【0128】
ステップS72において、伝送フォーマット符号化部35は、伝送データを出力する。ステップS73において、制御部70は、カウンタiを1だけインクリメントし、その処理は、ステップS52に戻る。すなわち、カウンタiが1だけインクリメントされることにより、次のレンジブロックについての符号化処理が、ステップS52から開始される。
【0129】
ステップS52において、i≧90である、すなわち、図9で示す1段分のレンジブロックの処理が終了したと判定された場合、ステップS74において、カウンタjが60以上(j≧60)であるか否か、すなわち、垂直方向に全ての段のレンジブロックが符号化されたか否かが判定され、例えば、カウンタjがj≧60ではない、すなわち、垂直方向にまだ符号化されていない段があると判定された場合、その処理は、ステップS75に進む。
【0130】
ステップS75において、制御部70は、カウンタjを1だけインクリメントし、カウンタiをi=0に初期化して、その処理は、ステップS53に戻り、それ以降の処理が繰り返される。
【0131】
ステップS74において、カウンタjがj≧60である、すなわち、1フレーム分の全ての画素が符号化されたと判定された場合、1フレームの全レンジブロックの処理が終了する。
【0132】
ここで、図7のフローチャートの説明に戻る。
【0133】
以上の処理により、元画像データは、伝送データに変換されて出力される。
【0134】
次に、図17のフローチャートを参照して、図7のフローチャートを参照して説明した処理により生成された伝送データを復号して復号画像データを生成するときの復号部22の処理について説明する。
【0135】
ステップS91において、伝送パラメータ分離部41は、符号化された画像データからフラクタル符号化された画像データと適応量子化された残差成分を分離して、フラクタル符号化された画像データをフラクタル復号部42に出力し、適応量子化された残差成分を残差成分適応逆量子化部43に出力する。
【0136】
ステップS92において、フラクタル復号部42は、伝送パラメータ分離部41より入力されたフラクタル符号化された画像データのフラクタル復号処理を実行する。
【0137】
ここで、図18のフローチャートを参照して、フラクタル復号部42によるフラクタル復号処理について説明する。
【0138】
ステップS111において、制御部88は、メモリ86を制御して演算結果FM0、FM1を初期化する。ステップS112において、制御部88は、レンジブロックの番号のカウンタi,jを共に0として、初期化する。
【0139】
ステップS113において、ドメインブロック切り出し部81は、受信したデータ中のドメインブロックの位置情報に従ってドメインブロックを切り出し、ADRCエンコーダ82に出力する。ここで、復号しようとするレンジブロックBijと対応して切り出されたドメインブロックをDijと表す。
【0140】
ステップS114において、ADRCエンコーダ82は、このドメインブロックDijをADRC符号化し、1/4縮小部83に出力する。ステップS115において、1/4縮小部83は、ADRCエンコーダにより生成された符号化データ中の量子化データのみを縮小し、回転鏡像処理部84に出力する。
【0141】
ステップS116において、回転鏡像処理部84は、入力された縮小されたドメインブロックDijの量子化データを回転させる。さらに、ステップS117において、回転鏡像処理部84は、回転させたドメインブロックDijの量子化データを反転させ(鏡像処理させ)、ADRCデコーダ85に出力する。
【0142】
ステップS118において、ADRCデコーダ85は、変換操作後のドメインブロックのデータが受信されており、変換パラメータを使用してADRCデコード処理を実行し、レンジブロックBijの復号データ、すなわち、復号された予測画像データが得られる。ステップS119において、制御部88は、この復号された予測画像データをメモリ86に出力し、演算結果FM0としてレンジブロックBijの位置に格納する。
【0143】
ステップS120において、制御部88は、カウンタiが90以上(i≧90)であるか否か、すなわち、図9で示したように水平方向に設定された1段分のレンジブロックの処理が終了したか否かを判定し、カウンタiが90以上(i≧90)ではない、すなわち、水平方向に設定された1段分のレンジブロックの処理が終了していないと判定された場合、ステップS121において、制御部88は、カウンタiの値を1だけインクリメントし、その処理は、ステップS113に戻る。すなわち、水平方向に設定された1段分のレンジブロックの処理が終了されるまで、ステップS113乃至S121の処理が繰り返される。
【0144】
ステップS120において、カウンタiが90以上(i≧90)である、すなわち、垂直方向に設定された全ての段のレンジブロックの処理が終了したと判定された場合、その処理は、ステップS122に進む。
【0145】
ステップS122において、制御部88は、カウンタjが60以上(j≧60)であるか否か、すなわち、垂直方向のレンジブロックの処理が終了したか(1フレーム分の処理が終了したか)否かを判定し、例えば、カウンタjが60以上(j≧60)ではない、すなわち、垂直方向のレンジブロックの処理が終了していないと判定された場合、その処理は、ステップS123に進む。
【0146】
ステップS123において、制御部88は、カウンタjを1だけインクリメントし(j=j+1)、カウンタiを0に設定し、その処理は、ステップS113に進む。すなわち、1フレーム分の処理が終了するまで、ステップS113乃至S123の処理が繰り返される。
【0147】
ステップS122において、カウンタjが60以上(j≧60)である、すなわち、垂直方向のレンジブロックの処理が終了したと判定された場合、その処理は、ステップS124に進む。
【0148】
ステップS124において、演算部87は、メモリ86に記憶されている演算結果FM0の復号された予測画像データと、演算結果FM1の復号された予測画像データとの差分の2乗和Sを演算する。
【0149】
ステップS125において、演算部87は、2乗和Sが、演算の収束を示す所定の閾値TH3より大きいか否か、すなわち、演算が収束しているか否かを判定し、2乗和Sが、演算の収束を示す所定の閾値TH3より大きくない、すなわち、演算が収束していないと判定した場合、その処理は、ステップS126に進む。ステップS126において、演算部87は、メモリ86に記憶された演算結果FM0の復号された予測画像データをFM1にコピーし、その処理は、ステップS112に戻り、それ以降の処理が繰り返される。
【0150】
ステップS125において、2乗和Sが、演算の収束を示す所定の閾値TH3より大きい、すなわち、演算が収束したと判定した場合、その処理は、ステップS127に進む。
【0151】
ステップS127において、演算部87は、メモリ86に記憶された、演算結果FM0を、復号された予測画像データとして加算器44に出力する。
【0152】
以上の処理により、フラクタル符号化された予測画像データは、フラクタル復号される。
【0153】
ここで、図17のフローチャートの説明に戻る。
【0154】
ステップS93において、フラクタル復号部42は、復号した予測画像データのブロック単位のダイナミックレンジDRと最小値MINを残差成分適応逆量子化部43に出力する。
【0155】
ステップS94において、残差成分適応逆量子化部43は、残差成分適応逆量子化処理を実行し、逆量子化した残差成分と、復号された予測画像データの画素値を加算して復号画像データを生成し、その処理を終了する。
【0156】
ここで、図19のフローチャートを参照して、残差成分適応逆量子化部43、加算器44、および、クリッピング処理部45による残差成分適応逆量子化処理について説明する。
【0157】
ステップS141において、残差成分適応逆量子化部43は、レンジブロックの番号を示すカウンタi,jを初期化する(i=j=0)。
【0158】
ステップS142において、残差成分適応逆量子化部43は、画素の番号を示すカウンタpを初期化する(p=0)。
【0159】
ステップS143において、残差成分適応逆量子化部43は、レンジブロックBijの最初の量子化コードが11であるか否か、すなわち、図13で示すように、量子化コードが11であるということは、そのレンジブロックBijの残差成分は転送されてきていないことになるので、その判定が行われることになり、例えば、量子化コードが11ではない、すなわち、レンジブロックBijの各画素に対応する量子化コードが転送されてきていると判定された場合、その処理は、ステップS144に進む。
【0160】
ステップS144において、残差成分適応逆量子化部43は、フラクタル復号部42より入力されるレンジブロックBijのダイナミックレンジDRおよび最小値MINを取得する。
【0161】
ステップS145において、残差成分適応逆量子化部43は、レンジブロックBijの画素番号pの残差成分の量子化コードが01であるか否かを判定し、例えば、01ではないと判定された場合、その処理は、ステップS146に進む。
【0162】
ステップS146において、残差成分適応逆量子化部43は、レンジブロックBijの画素番号pの残差成分の量子化コードが10であるか否かを判定し、例えば、10ではないと判定された場合、その処理は、ステップS147に進む。
【0163】
ステップS147において、残差成分適応逆量子化部43は、画素番号pの量子化コードが00であるとみなし、対応する残差成分を0として出力し、加算器44は、対応する復号された予測画像データの画素値に加算して、復号画像データの画素値を生成し、クリッピング処理部45に出力する。
【0164】
ステップS148において、クリッピング処理部45は、復号画像データ画素値が、画像として表示可能なレンジ内であるか否かを確認し、そのレンジを越えていた場合には、その画素値を最大レンジにクリッピングして(演算された画素値から最大レンジの画素値に置き換えて)復号画像データとして出力する。
【0165】
ステップS149において、残差成分適応逆量子化部43は、レンジブロックBij内の全ての画素に対応する残差成分が逆量子化されたか否か、すなわち、画素番号のカウンタpが64以上(p≧64)であるか否かを判定し、例えば、レンジブロックBij内の全ての画素に対応する残差成分が逆量子化されていない、すなわち、画素番号のカウンタpが64以上(p≧64)ではないと判定された場合、その処理は、ステップS150に進む。
【0166】
ステップS150において、残差成分適応逆量子化部43は、画素番号のカウンタpを1だけインクリメントし、その処理は、ステップS145に戻る。
【0167】
ステップS145において、レンジブロックBijの画素番号pの残差成分の量子化コードが01であると判定された場合、ステップS151において、残差成分適応逆量子化部43は、対応する画素の残差成分をダイナミックレンジDRに所定の係数βを乗じた値を、量子化コードに対応する量子化値に乗じた値を残差成分として、加算器44に出力し、加算器44が、これを復号された予測画像データの画素値に加算してクリッピング処理部45に出力し、その処理は、ステップS151に進む。すなわち、量子化コード01は、図13で示すように量子化値が1であるので、残差成分は、DR×βとなり、その値が復号された予測画像データの画素値に加算されることになる。
【0168】
ステップS146において、レンジブロックBijの画素番号pの残差成分の量子化コードが10であると判定された場合、ステップS152において、残差成分適応逆量子化部43は、対応する画素の残差成分をダイナミックレンジDRに所定の係数βを乗じた値を、量子化コードに対応する量子化値に乗じた値を残差成分として、加算器44に出力し、加算器44が、これを復号された予測画像データの画素値に加算してクリッピング処理部45に出力し、その処理は、ステップS151に進む。すなわち、量子化コード10は、図13で示すように量子化値が−1であるので、残差成分は、−DR×βとなり、その値が復号された予測画像データの画素値に加算されることになる。
【0169】
ステップS149において、レンジブロックBij内の全ての画素に対応する残差成分が逆量子化されていない、すなわち、画素番号のカウンタpが64以上(p≧64)ではないと判定された場合、残差成分適応逆量子化部43は、レンジブロックBijのカウンタiを1だけインクリメントし、ステップS154において、iが89より大きい(i>89)か否か、すなわち、図9で示すように、水平方向の1段分の全てのレンジブロックにおいて逆量子化処理が実行されたか否かを判定し、例えばi>89である、すなわち、水平方向の1段分の全てのレンジブロックにおいて逆量子化処理が実行されていないと判定された場合、その処理は、ステップS142に戻り、それ以降の処理が繰り返される。
【0170】
ステップS154において、水平方向の1段分の全てのレンジブロックにおいて逆量子化処理が実行されていないと判定された場合、その処理は、ステップS155に進む。ステップS155において、残差成分適応逆量子化部43は、レンジブロックBijのカウンタjを1だけインクリメントし、ステップS156において、jが59より大きい(i>59)か否か、すなわち、図9で示すように、垂直方向の全ての段のレンジブロック(1フレーム分のレンジブロック)において逆量子化処理が実行されたか否かを判定し、例えば、i>59である、すなわち、垂直方向の全ての段のレンジブロックにおいて逆量子化処理が実行されていないと判定された場合、その処理は、ステップS142に戻り、それ以降の処理が繰り返される。ステップS156において、i>59である、すなわち、垂直方向の全ての段のレンジブロックにおいて逆量子化処理が実行されていると判定された場合、その処理は、終了する。
【0171】
ステップS143において、レンジブロックBijの最初の量子化コードが11である、すなわち、そのレンジブロックBijの残差成分は転送されてきていないと判定し、ステップS157において、残差成分適応逆量子化部43は、ブロック番号Bijの全ての画素に対応する残差成分を0として出力し、加算器44は、対応する復号された予測画像データの画素値をそのままクリッピング処理部45に出力する。
【0172】
ステップS158において、クリッピング処理部45は、レンジブロックBijのすべての画素値についてクリッピング処理し、復号画像データとして出力する。
【0173】
ステップS147,S151,S152、およびS157の処理は、より詳細には、図20で示すように、量子化値に対してダイナミックレンジDRと所定の係数β(経験的にβ=1/2程度が妥当な値であることが分かっている)を乗じて逆量子化することにより残差成分をダイナミックレンジDRに対して適応的に求め、この残差成分に復号された予測画像データを加算することで、復号画像データをより正確に再現することが可能となる。
【0174】
また、図13で示したように2ビットのADRC処理においては、レンジブロックのダイナミックレンジDRが所定の最小値よりも小さいときは、復号部22には、転送されてこないので、復号に係る演算量を抑制することができ、処理を高速化することが可能となる。
【0175】
以上の処理においては、ADRC処理における量子化コードは2ビットの場合について説明してきたが、これに限らず、それ以外のビット数で量子化コードを設定するようにしても良い。また、レンジブロックとドメインブロックの設定についても、図9乃至図11で示したような設定に限らず、これ以外の画素数のレンジブロック、および、ドメインブロックでもよく、これ以外の数のレンジブロック、および、ドメインブロックの数であってもよい。
【0176】
また、以上の例においては、残差成分適応量子化処理において、ダイナミックレンジDRに所定の係数αを乗じて量子化値を設定する場合の例について説明してきたが、この係数αは必ずしも一定の値である必要は無く、元画像データと予測画像データのS/Nに応じて適応的に設定される値とするようにしても良い。図21は、係数αを適応的に求めることができるようにした符号化部21の構成を示している。このとき残差成分適応量子化部34には、元画像データ、残差成分、および、予測画像データが入力されることになる。図22は、このときの残差成分適応量子化部34に設けられる係数αの演算部の構成を示している。
【0177】
α値可変量子化部131は、α値を取りうる値の範囲で変化させ、上述と同様にDR×αを閾値としてADRC処理による量子化を実行し、量子化コードを逆量子化部132に出力する。逆量子化部132は、α可変量子化部131より入力された残差成分の量子化コードを量子化コードに対応する量子化値に係数βを乗じて逆量子化し、残差成分を生成し、加算器133に出力する。加算器133は、逆量子化された残差成分と予測画像データを加算して復号画像データを生成し、S/N算出部134に出力する。S/N算出部134は、元画像データと復号画像データのS/Nを算出し、S/N評価部135に出力する。S/N評価部135は、S/N算出部134より入力されたS/Nを係数αに対応させて記憶し、全ての係数αについて演算が終了したとき、S/Nが最大となる係数αを量子化に使用する係数として選択する。
【0178】
次に、図22で示す係数αの演算部が、S/N最大となる係数αを求める処理について説明する。
【0179】
ステップS191において、α値可変量子化部131は、係数αを初期化する。すなわち、α値可変量子化部131は、係数αを取りうる最小値の値に設定する例えば、0≦α≦1とした場合(今の場合)、係数αが0に設定される。
【0180】
ステップS192において、α値可変量子化部131は、ダイナミックレンジDRに係数αを乗じた値を閾値として、各残差成分を量子化し、量子化した残差成分を逆量子化部132に出力する。この量子化の処理については、例えば、図12で示すような方法であり、その説明は省略する。
【0181】
ステップS193において、逆量子化部132は、ステップS192の処理で量子化された量子化値にダイナミックレンジDRと所定の係数βを乗じて残差成分を逆量子化し、逆量子化された残差成分を加算器133に出力する。ステップS194において、加算器133は、逆量子化された残差成分と、予測画像データを加算し、復号画像データを生成しS/N算出部134に出力する。
【0182】
ステップS195において、S/N算出部134は、入力された元画像データと復号画像データからS/Nを算出し、S/N評価部135に出力する。ステップS196において、S/N評価部135は、今現在の係数αの値に対応付けてS/Nを記憶する。ステップS197において、S/N評価部135は、取り得る全ての係数αの値についてS/Nが求められたか否かを判定し、例えば、全ての係数αについてS/Nが求められていないと判定した場合、その処理は、ステップS198に進む。
【0183】
ステップS198において、α値可変量子化部131は、係数αの値を所定のステップ幅でインクリメントし、その処理は、ステップS192に戻り、それ以降の処理が繰り返される。すなわち、全ての取り得る全ての係数αについて、S/Nが求められるまで、ステップS192乃至ステップS198の処理が繰り返される。
【0184】
ステップS197において、全ての取り得る係数αの値について、S/Nが求められたと判定された場合、ステップS199において、S/N評価部135は、演算されたS/Nが最大値となる係数αを残差成分適応量子化処理に使用する係数として設定する。
【0185】
以上の処理により設定された係数αを使用することにより、S/Nの最適な係数αにより残差成分を量子化することができるので、元画像データをより忠実に、復号画像データとして再現することが可能となる。
【0186】
また、残差成分適応逆量子化部43における、逆量子化についてもダイナミックレンジDRに応じて適応的に設定するようにすることで逆量子化の精度を高めることできる。すなわち、図24で示すように、フラクタル符号化処理による残差成分は、ダイナミックレンジDRにより存在分布に偏りが生じることが知られている。そこで、複数の画像データからダイナミックレンジDRと残差成分の存在の分布を求め、ダイナミックレンジDRと残差成分の存在分布に応じて適応的に逆量子化するようにしても良い。例えば、ダイナミックレンジDR=30における残差成分の存在分布のピーク値が、例えば、+20であるような場合、逆量子化においても復号された予測画像データのダイナミックレンジDR=30のときには、+20に逆量子化すると言ったような方法である。このような処理により、存在度数の高い値を逆量子化により求めることができるので、より高い精度で復号画像データを生成することができる。
【0187】
さらに、図25で示すように、DRC(Digital Reality Creation)処理部141とフラクタル画像用係数セットが記憶されたメモリ142をさらに設けるようにしてもよい。この場合、DRC処理部141は、メモリ142よりフラクタル画像用係数セットを読み出し、高画質化復号部22より生成された復号画像データの、例えば、水平解像度を向上させるとき、補間すべき画素値をフラクタル画像用係数セットを用いて演算して求めるようにすることで解像度を向上させるようにすることができ、復号画像データの画質を向上させるようにすることが可能となる。
【0188】
また、以上の例においては、符号化処理、および、復号処理の手法としてフラクタル符号化処理、および、フラクタル復号処理を例として説明してきたが、符号化、および、復号化処理の手法はこれ以外のものであってもよく、例えば、JPEG(Joint Photographic Experts Group)などを使用した符号化処理、および、復号処理であっても良い。
【0189】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【0190】
図26,図27は、符号化部21、および、復号部22をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU201,301は、パーソナルコンピュータの動作の全体を制御する。また、CPU201,301は、バス204,304および入出力インタフェース205,305を介してユーザからキーボードやマウスなどからなる入力部206,306から指令が入力されると、それに対応してROM(Read Only Memory)202,302に格納されているプログラムを実行する。あるいはまた、CPU201,301は、ドライブ210,310に接続された磁気ディスク211,311、光ディスク212,312、光磁気ディスク213,313、または半導体メモリ214,314から読み出され、記憶部208,308にインストールされたプログラムを、RAM(Random Access Memory)203,303にロードして実行する。これにより、上述した画像処理装置の機能が、ソフトウェアにより実現されている。さらに、CPU201,301は、通信部209,309を制御して、外部と通信し、データの授受を実行する。
【0191】
プログラムが記録されている記録媒体は、図26,図27に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク211,311(フレキシブルディスクを含む)、光ディスク212,312(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク213,313(MD(Mini-Disc)を含む)、もしくは半導体メモリ214,314などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM202,302や、記憶部208,308に含まれるハードディスクなどで構成される。
【0192】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【0193】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【0194】
【発明の効果】
本発明の第1の情報処理装置および方法、並びにプログラムによれば、入力画像データをフラクタル符号化し、再度復号したデータである予測画像データを生成し、予測画像データをフラクタル符号化し、入力画像データと予測画像データとの差分データを演算し、演算した差分データを、予測画像データの、ブロック毎の画素値の最大値と最小値との差分であるダイナミックレンジに対応した閾値と差分データとを比較し、比較結果を量子化値とすることにより適応的に量子化し、フラクタル符号化した予測画像データと、適応的に量子化した差分データとを符号化データとして出力するようにした。
【0195】
本発明の第2の情報処理装置および方法、並びにプログラムによれば、元画像データをフラクタル符号化し、再度復号した予測画像データをフラクタル符号化した符号化画像データと、予測画像データの、ブロック毎の画素値の最大値と最小値との差分であるダイナミックレンジに対応した閾値と、元画像データと予測画像データとの差分データとを比較して、比較結果を量子化値とすることにより適応的に量子化した差分データとからなる符号化データより、符号化画像データと量子化された差分データを分離し、分離した符号化画像データを、予測画像データにフラクタル復号し、量子化した差分データを、予測画像データの、ダイナミックレンジに対応して、適応的に逆量子化し、予測画像データと、逆量子化された差分データに基づいて、復号画像データを生成し、生成した復号画像データを出力するようにした。
【0196】
いずれにおいても、結果として、画像データの符号化処理、および、復号処理の高速化を実現することが可能となり、符号化された画像データを高画質で復号することが可能になる。
【図面の簡単な説明】
【図1】本発明を適用した画像転送システムの一実施の形態の構成を示す図である。
【図2】図1の高速フラクタル符号化部の構成を示すブロック図である。
【図3】図1のフラクタル復号部の構成を示すブロック図である。
【図4】フィルタ生成部を説明するブロック図である。
【図5】復号画像生成適応フィルタを生成する学習処理を説明するフローチャートである。
【図6】復号画像生成適応フィルタを生成する学習処理を説明する図である。
【図7】符号化処理を説明するフローチャートである。
【図8】残差成分適応量子化処理を説明するフローチャートである。
【図9】レンジブロックとドメインブロックを説明する図である。
【図10】レンジブロックを説明する図である。
【図11】ドメインブロックのサーチ範囲を説明する図である。
【図12】 ADRCの処理を説明する図である。
【図13】 ADRCの量子化コードと残差成分の量子化値の関係を説明する図である。
【図14】 ADRCの処理を説明する図である。
【図15】 ADRCの処理を説明する図である。
【図16】フラクタル符号化処理を説明するフローチャートである。
【図17】復号処理を説明するフローチャートである。
【図18】フラクタル復号処理を説明するフローチャートである。
【図19】残差成分適応量子化処理を説明するフローチャートである。
【図20】残差成分適応量子化処理を説明するフローチャートである。
【図21】係数αの最適値を設定する構成を説明する図である。
【図22】係数αの最適値を設定する構成を説明する図である。
【図23】係数αの最適値を設定する処理を説明するフローチャートである。
【図24】ダイナミックレンジに対応した逆量子化処理を説明する図である。
【図25】 DRC処理部を復号部22に設けた構成を説明する図である。
【図26】媒体を説明する図である。
【図27】媒体を説明する図である。
【符号の説明】
11 画像転送システム,21 符号化部,22 復号部,31 復号画像生成適応フィルタ,32 高速フラクタル符号化部,33 加算器,34 残差成分適応量子化部,35 伝送フォーマット符号化部,41 伝送パラメータ分離部,42 残差成分適応量子化部,43 残差成分適応逆量子化部,44 加算器,45 クリッピング処理部,61 レンジブロック化部,62 ADRCエンコーダ,63 比較部,64 最小値判定部,65 サーチエリア切り出し部,66 ドメインブロック化部,67 ADRCエンコーダ,68 1/4縮小部,69 回転鏡像処理部,70 制御部,81 ドメインブロック切り出し部,82 ADRCエンコーダ,83 1/4縮小部,84 回転鏡像処理部,85 ADRCエンコーダ,86 メモリ,87 演算部,88 制御部,101 フィルタ生成部,111 フラクタル符号化部,112 フラクタル復号部,113 学習部,131 α値化変量子化部,132 逆量子化部,133 加算器,134 S/N算出部,135 S/N評価部,141 DRC処理部,142 メモリ
Claims (13)
- 入力画像データを圧縮符号化したデータを出力する情報処理装置において、
前記入力画像データをフラクタル符号化し、再度復号したデータである予測画像データを生成する生成手段と、
前記予測画像データをフラクタル符号化する符号化手段と、
前記入力画像データと前記予測画像データとの差分データを演算する差分演算手段と、
前記差分演算手段により演算された前記差分データを、前記予測画像データの、ブロック毎の画素値の最大値と最小値との差分であるダイナミックレンジに対応した閾値と前記差分データとを比較し、比較結果を量子化値とすることにより適応的に量子化する量子化手段と、
前記符号化手段によりフラクタル符号化された前記予測画像データと、前記量子化手段により適応的に量子化された前記差分データとを符号化データとして出力する出力手段と
を備えることを特徴とする情報処理装置。 - 前記量子化手段は、前記ブロック毎に、前記ブロック内の画素の最大値と最小値との差分である前記ダイナミックレンジの値を所定の閾値と比較し、
前記出力手段は、前記ダイナミックレンジの値が前記所定の閾値よりも小さいとき、前記ブロックの前記残差成分の符号化データとしての出力が不要である旨を示す量子化コードを出力する
ことを特徴とする請求項1に記載の情報処理装置。 - 前記ダイナミックレンジに対応した閾値は、前記ダイナミックレンジに所定の係数を乗じた値である
ことを特徴とする請求項1に記載の情報処理装置。 - 前記所定の係数を、前記予測画像データのブロック毎に、前記入力画像データと前記予測画像データとの S/N 比が最大となるように、適応的に演算する係数適応演算手段をさらに備える
ことを特徴とする請求項3に記載の情報処理装置。 - 入力画像データを圧縮符号化したデータを出力する情報処理装置の情報処理方法において、
前記入力画像データをフラクタル符号化し、再度復号したデータである予測画像データを生成する生成ステップと、
前記予測画像データをフラクタル符号化する符号化ステップと、
前記入力画像データと前記予測画像データとの差分データを演算する差分演算ステップと、
前記差分演算ステップの処理で演算された前記差分データを、前記予測画像データの、ブロック毎の画素値の最大値と最小値との差分であるダイナミックレンジに対応した閾値と前記差分データとを比較し、比較結果を量子化値とすることにより適応的に量子化する量子化ステップと、
前記符号化ステップの処理でフラクタル符号化された前記予測画像データと、前記量子化手段により適応的に量子化された前記差分データとを符号化データとして出力する出力ステップと
を含むことを特徴とする情報処理方法。 - 入力画像データを圧縮符号化したデータを出力する情報処理装置を制御するプログラムであって、
前記入力画像データをフラクタル符号化し、再度復号したデータである予測画像データの生成を制御する生成制御ステップと、
前記予測画像データのフラクタル符号化を制御する符号化制御ステップと、
前記入力画像データと前記予測画像データとの差分データの演算を制御する差分演算制御ステップと、
前記差分演算制御ステップの処理で演算が制御された前記差分データの、前記予測画像データの、ブロック毎の画素値の最大値と最小値との差分であるダイナミックレンジに対応した閾値と前記差分データとを比較し、比較結果を量子化値とすることによる適応的な量子化を制御する量子化制御ステップと、
前記符号化制御ステップの処理でフラクタル符号化が制御された前記予測画像データと、前記量子化手段により適応的に量子化された前記差分データとの符号化データとしての出力を制御する出力制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 入力画像データを圧縮符号化したデータを出力する情報処理装置を制御するコンピュータに、
前記入力画像データをフラクタル符号化し、再度復号したデータである予測画像データの生成を制御する生成制御ステップと、
前記予測画像データのフラクタル符号化を制御する符号化制御ステップと、
前記入力画像データと前記予測画像データとの差分データの演算を制御する差分演算制御ステップと、
前記差分演算制御ステップの処理で演算が制御された前記差分データの、前記予測画像データの、ブロック毎の画素値の最大値と最小値との差分であるダイナミックレンジに対応した閾値と前記差分データとを比較し、比較結果を量子化することによる適応的な量子化を制御する量子化制御ステップと、
前記符号化制御ステップの処理でフラクタル符号化が制御された前記予測画像データと、前記量子化手段により適応的に量子化された前記差分データとの符号化データとしての出力を制御する出力制御ステップと
を実行させるプログラム。 - 元画像データが圧縮符号化されたデータを前記元画像データに対応する復号画像データに復号する情報処理装置において、
元画像データがフラクタル符号化され、再度復号された予測画像データがフラクタル符号化された符号化画像データと、
前記予測画像データの、ブロック毎の画素値の最大値と最小値との差分であるダイナミックレンジに対応した閾値と、前記元画像データと前記予測画像データとの差分データとが比較されて、比較結果が量子化値とされることにより適応的に量子化された差分データと
からなる符号化データより、前記符号化画像データと前記量子化された差分データを分離する分離手段と、
前記分離手段により分離された符号化画像データを、前記予測画像データにフラクタル復号する復号手段と、
前記量子化された差分データを、前記予測画像データの、前記ダイナミックレンジに対応して、適応的に逆量子化する逆量子化手段と、
前記予測画像データと、前記逆量子化された差分データに基づいて、前記復号画像データを生成する生成手段と、
前記生成手段により生成された前記復号画像データを出力する出力手段と
を備えることを特徴とする情報処理装置。 - 前記ダイナミックレンジに対応した閾値は、前記ダイナミックレンジに所定の係数を乗じた値である
ことを特徴とする請求項8に記載の情報処理装置。 - 前記所定の係数を、前記予測画像データのブロック毎に、前記元画像データと前記予測画像データとの S/N 比が最大となるように、適応的に演算する係数適応演算手段をさらに備える
ことを特徴とする請求項8に記載の情報処理装置。 - 元画像データが圧縮符号化されたデータを前記元画像データに対応する復号画像データに復号する情報処理装置の情報処理方法において、
元画像データがフラクタル符号化され、再度復号された予測画像データがフラクタル符号化された符号化画像データと、
前記予測画像データの、ブロック毎の画素値の最大値と最小値との差分であるダイナミックレンジに対応した閾値と元画像データと前記予測画像データとの差分データとが比較されて、比較結果が量子化値とされることにより適応的に量子化された差分データと
からなる符号化データより、前記符号化画像データと前記量子化された差分データを分離する分離ステップと、
前記分離ステップの処理で分離された符号化画像データを、前記予測画像データにフラクタル復号する復号ステップと、
前記量子化された差分データを、前記予測画像データの、前記ダイナミックレンジに対応して、適応的に逆量子化する逆量子化ステップと、
前記予測画像データと、前記逆量子化された差分データに基づいて、前記復号画像データを生成する生成ステップと、
前記生成ステップの処理で生成された前記復号画像データを出力する出力ステップと
を含むことを特徴とする情報処理方法。 - 元画像データが圧縮符号化されたデータを前記元画像データに対応する復号画像データに復号する情報処理装置を制御するプログラムであって、
元画像データがフラクタル符号化され、再度復号された予測画像データがフラクタル符号化された符号化画像データと、
前記予測画像データの、ブロック毎の画素値の最大値と最小値との差分であるダイナミックレンジに対応した閾値と元画像データと前記予測画像データとの差分データとが比較されて、比較結果が量子化値とされることにより適応的に量子化された差分データと
からなる符号化データより、前記符号化画像データと前記量子化された差分データとの分離を制御する分離制御ステップと、
前記分離制御ステップの処理で分離が制御された符号化画像データの、前記予測画像データへのフラクタル復号を制御する復号制御ステップと、
前記量子化された差分データの、前記予測画像データの、前記ダイナミックレンジに対応しての、適応的な逆量子化を制御する逆量子化制御ステップと、
前記予測画像データと、前記逆量子化された差分データに基づいた、前記復号画像データの生成を制御する生成制御ステップと、
前記生成制御ステップの処理で生成が制御された前記復号画像データの出力を制御する出力制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 元画像データが圧縮符号化されたデータを前記元画像データに対応する復号画像データに復号する情報処理装置を制御するコンピュータに、
元画像データがフラクタル符号化され、再度復号された予測画像データがフラクタル符号化された符号化画像データと、
前記予測画像データの、ブロック毎の画素値の最大値と最小値との差分であるダイナミックレンジに対応した閾値と元画像データと前記予測画像データとの差分データとが比較されて、比較結果が量子化値とされることにより適応的に量子化された差分データと
からなる符号化データより、前記符号化画像データと前記量子化された差分データとの分離を制御する分離制御ステップと、
前記分離制御ステップの処理で分離が制御された符号化画像データの、前記予測画像データへのフラクタル復号を制御する復号制御ステップと、
前記量子化された差分データの、前記予測画像データの、前記ダイナミックレンジに対応しての、適応的な逆量子化を制御する逆量子化制御ステップと、
前記予測画像データと、前記逆量子化された差分データに基づいた、前記復号画像データの生成を制御する生成制御ステップと、
前記生成制御ステップの処理で生成が制御された前記復号画像データの出力を制御する出力制御ステップと
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001345166A JP4051696B2 (ja) | 2001-11-09 | 2001-11-09 | 情報処理装置および方法、記録媒体、並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001345166A JP4051696B2 (ja) | 2001-11-09 | 2001-11-09 | 情報処理装置および方法、記録媒体、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003153275A JP2003153275A (ja) | 2003-05-23 |
JP4051696B2 true JP4051696B2 (ja) | 2008-02-27 |
Family
ID=19158556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001345166A Expired - Fee Related JP4051696B2 (ja) | 2001-11-09 | 2001-11-09 | 情報処理装置および方法、記録媒体、並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4051696B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009110211A (ja) | 2007-10-29 | 2009-05-21 | Sony Corp | 情報符号化装置および方法、情報検索装置および方法、情報検索システムおよび方法、並びにプログラム |
JP7453561B2 (ja) * | 2019-12-09 | 2024-03-21 | 日本電信電話株式会社 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム |
WO2022013920A1 (ja) * | 2020-07-13 | 2022-01-20 | 日本電信電話株式会社 | 画像符号化方法、画像符号化装置及びプログラム |
-
2001
- 2001-11-09 JP JP2001345166A patent/JP4051696B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003153275A (ja) | 2003-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8023754B2 (en) | Image encoding and decoding apparatus, program and method | |
US7336713B2 (en) | Method and apparatus for encoding and decoding data | |
JP6336438B2 (ja) | 方法、プログラム、およびコンピュータシステム | |
US4849810A (en) | Hierarchial encoding method and apparatus for efficiently communicating image sequences | |
US5943447A (en) | Video signal encoding/decoding method based on adaptive lattice quantization | |
KR100552666B1 (ko) | 좌표 인터폴레이터의 키 및 키 값 데이터의 부호화/복호화장치, 및 좌표 인터폴레이터를 부호화한 비트스트림을기록한 기록 매체 | |
JP2003518883A (ja) | マッチング追跡アルゴリズムに基づくビデオ符号化方法 | |
US6072909A (en) | Image coding devise and image decoding devise using with image disassembly | |
WO2000002393A1 (en) | Image coding/decoding method and recorded medium on which program is recorded | |
US20050226329A1 (en) | Motion estimation method using multilevel succesive elimination algorithm | |
JP4051696B2 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
US20080031328A1 (en) | Moving Picture Encoding Device, Method, Program, And Moving Picture Decoding Device, Method, And Program | |
JP4085301B2 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
JP2003259368A5 (ja) | ||
JP2007019687A (ja) | Csrbfを用いる画像処理方法 | |
JP2862022B2 (ja) | 画像符号化方式 | |
JP3658096B2 (ja) | 画像符号化装置及び画像符号化復号化方法 | |
JP2939869B2 (ja) | 画像符号化装置および画像復号装置 | |
JP4649770B2 (ja) | 画像データ処理装置および方法、記録媒体、並びにプログラム | |
JP4008846B2 (ja) | 画像符号化装置、画像符号化方法、画像符号化プログラム及びそのプログラムを記録した記録媒体 | |
JPH0775096A (ja) | 画像符号化方法及び画像符号化装置 | |
JPH09139941A (ja) | 画像信号の符号化/復号化装置 | |
JP4639582B2 (ja) | 符号化装置および符号化方法、復号装置および復号方法、並びにプログラムおよび記録媒体 | |
JP4174111B2 (ja) | 符号化方法及び装置 | |
JPH10313458A (ja) | 画像データ変換装置及び方法、予測係数生成装置及び方法、予測係数格納媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070824 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071125 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111214 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121214 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131214 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |