JP2001326935A - 画像符号/復号方法及びその装置並びにそのプログラムを記録した記録媒体 - Google Patents
画像符号/復号方法及びその装置並びにそのプログラムを記録した記録媒体Info
- Publication number
- JP2001326935A JP2001326935A JP2000141675A JP2000141675A JP2001326935A JP 2001326935 A JP2001326935 A JP 2001326935A JP 2000141675 A JP2000141675 A JP 2000141675A JP 2000141675 A JP2000141675 A JP 2000141675A JP 2001326935 A JP2001326935 A JP 2001326935A
- Authority
- JP
- Japan
- Prior art keywords
- image
- nest
- block
- vector
- base
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 239000013598 vector Substances 0.000 claims abstract description 192
- 230000009466 transformation Effects 0.000 claims abstract description 13
- 230000003044 adaptive effect Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000005284 basis set Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 11
- 238000013139 quantization Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000001186 cumulative effect Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 241000255925 Diptera Species 0.000 description 1
- 101100219325 Phaseolus vulgaris BA13 gene Proteins 0.000 description 1
- 229910017435 S2 In Inorganic materials 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/008—Vector quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/94—Vector quantisation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
プログラムを記録した記録媒体に関し、高画質かつ高速
の符号/復号が得られることを課題とする。 【解決手段】 画像データをB画素毎にブロック分割し
て各ブロック平均値からなるDC画像を生成し、その一
部をDCネストとすると共に、符号対象の画素ブロック
〈Rj〉からそのDC値DCJを分離した残差ベクトル
〈dj〉の大きさが許容値Zを超える場合は、残差ベク
トル〈dj〉を近似するための1又は2以上の直交基底
(αk〈vk〉等)をDCネストを使用した適応的直交変
換(AOT)により求める画像符号方法において、DC
ネストからダウンサンプルされた基底候補ブロック〈U
i〉の各下位n(n=log2B)ビットが0にされてい
る。またこの基底候補ブロック〈Ui〉からそのブロッ
ク平均値aiを分離して基底候補ベクトル〈ui〉を生成
する。
Description
及びその装置並びにそのプログラムを記録した記録媒体
に関し、更に詳しくはハイブリッドベクトル量子化(H
VQ:Hybrid Vector Quantization)方式による画像符
号/復号方法及びその装置並びにそのプログラムを記録
した記録媒体に関する。
G(Joint Photographic Expert Group)方式では、8×
8の画素ブロックを2次元DCTによりDC値及び基本
〜63倍周波数の各係数値に変換すると共に、自然画の
周波数成分が低周波領域に集中していることを利用して
画品質が低下しない範囲内で各係数値を異なる量子化幅
で量子化し、情報量の削減を行ってからハフマン符号化
を行っている。
様に平均値分離型ブロック符号化の一種であるが、ベク
トル量子化と直交変換符号化の中間方式である適応的直
交変換(AOT:Adaptive Orthogonal Transform)をそ
の圧縮原理としている。ここで、AOTはベクトル量子
化のコードブックに相当する基底の巣(ネスト)から必
要最少数の非直交基底系を選択し、対象ブロックを所望
の許容誤差Z以内に近似する方式である。HVQ方式で
は復号演算を整数型で行えるため、復号が高速である。
またJPEGに特有なモスキート及びブロックノイズ、
GIFに特有な擬似輪郭が発生しないため自然画像,人
工画像(アニメーション画像,CG画像)を高画質で高
圧縮できる。本発明はこのようなHVQ方式における画
質の更なる改善及び符号化演算の高速化に関する。
たHVQ方式による画像符号/復号方法を既に提案して
いる(特願平10-189239)。以下その内容を説
明する。なお、本明細書を通して記号〈a〉はベクトル
a又はブロックa、記号‖a‖はベクトルaの大きさ
(ノルム)、記号〈a・b〉はベクトルa,bの内積を
表す。また図や[数]中のベクトルやブロックを太文字
で表す。
ダ)のブロック図で、図において、11は原画像データ
を記憶する原画像メモリ、12は原画像データの各画素
ブロック(4×4画素)につきブロック平均(DC)値
を求めるDC値生成部、13は各DC値につき差分予測
符号化を行う差分PCM符号部(DPCM)、14は差
分PCM符号から各DC値を復号する逆DPCM符号部
(IDPCM)、15は復号DC画像を記憶するDC画
像メモリ、16はDC画像の一部から所定サイズのDC
ネストを切り出すDCネスト生成部、17はDCネスト
を記憶するDCネストメモリである。
像ブロック〈Rj〉から対応する復号DC値DCJを分離
する減算器、19はDC分離された残差ベクトル
〈dj〉を記憶する残差ベクトルバッファ、20はDC
ネストからダウンサンプルされた4×4画素の基底候補
ブロック〈Ui〉を記憶する候補ブロックバッファ、2
1は基底候補ブロック〈Ui〉のブロック平均値aiを求
める平均器、22は基底候補ブロック〈Ui〉からブロ
ック平均値aiを分離する減算器、23は平均値分離さ
れた基底候補ベクトル〈ui〉を記憶する候補ベクトル
バッファ、24は、残差ベクトルの二乗ノルム‖dj‖2
が許容誤差Zを超える場合に、DCネストを探索して残
差ベクトル〈dj〉を許容誤差Z以内に近似するための
直交基底系αk〈u k'〉(k=1〜m)を生成する適応的
直交変換処理部(AOT)、25は生成された直交基底
系αk〈uk'〉(k=1〜m)につき、各対応する非直交
基底ベクトル〈uk〉(k=1〜m)に掛けて等価な非直
交基底系βk〈uk〉(k=1〜m)を生成するための展
開係数βkを求める係数変換部、26は上記DC値のD
PCM符号や非直交基底系βk〈uk〉等の情報を更に圧
縮符号化するためのハフマン,ランレングス,固定長符
号等による符号部である。
平均値を求め、小数点以下を四捨五入(又は切り捨て
等)する。DPCM13は、図示しないが、J行,I列
のDC値をDCJ,I とする時に、該DCJ,I の予測値D
CJ,I'を例えばDCJ,I'=(DCJ,I-1 +DCJ-1,I )
/2により求め、その予測誤差ΔDCJ,I =DCJ,I −
DCJ,I'を量子化係数Q(Z) により線形量子化して
出力する。この量子化係数Q(Z)は許容誤差Zと対応
付けられており、許容誤差Zに応じて1〜8の範囲で変
化する。
ば縦39×横71の領域をそのまま切り出(コピー)し
てDCネストとする。DCネストはコードブックとして
使用されるため、交流成分を多く含むものが望ましい。
そこで、複数の候補領域につき、各領域内で隣り合うD
C値の差分をとってこれらの絶対値等の総和を求め、総
和が最大となるような領域を切り出してDCネストとす
る。
ンプルは、縦横1DC値毎に頂点(px,py)∈
[0,63]×[0,31]を設定し、かつそのサブサ
ンプル間隔は(sx,sy)∈{(1,1),(1,
2),(2,1),(2,2)}の計4種類とする。従
って、トータルではN(=8192)個の基底候補ブロ
ック〈Ui〉が存在し、これらはAOT24からのイン
デクスカウンタiで参照される。以下、従来の適応的直
交変換処理部24の動作を説明する。
ーチャート、図15で該処理のイメージ図である。図1
4において、残差ベクトルの二乗ノルム‖〈dj〉‖2>
Zであるとこの処理に入力する。ステップS121では
レジスタEに残差ベクトルの二乗ノルム‖〈dj〉‖2を
セットする。また基底数カウンタk=1に初期化する。
ステップS122では最小値保持レジスタE’に大きな
値(例えば100000)をセットする。ステップS1
23では基底候補ブロック〈Ui〉のインデクスカウン
タi=0に初期化する。これはDCネストの開始アドレ
ス(px,py)=(0,0),サブサンプル間隔(s
x,sy)=(1,1)に対応する。
〈Ui〉からそのブロック平均値aiを分離して基底候
補ベクトル〈ui〉を生成する。この演算は整数精度で
行われるため、ブロック平均値aiに小数点以下の値が
発生した場合はこれを四捨五入(又は切り捨て等)す
る。ステップS125では必要(k>1)なら基底候補
ベクトル〈ui〉をそれ以前の直交基底ベクトル
〈uk'〉に直交化する。
ージ図を示す。図15(A)において、まず第1基底候
補ベクトル〈u1〉はそのままで第1基底ベクトル
〈u1'〉となり得る。次に第2基底候補ベクトル
〈u2〉は以下の方法により第1基底ベクトル〈u1'〉
に直交化される。即ち、第2基底候補ベクトル〈u2〉
の第1基底ベクトル〈u1'〉への射影は(1)式の関係
で得られる。
基底候補ベクトル〈u2〉から前記射影分のベクトルを
引くことで得られる。
ベクトル〈u3〉を第1,第2の基底ベクトル
〈u1'〉,〈u2'〉に直交化する。この図は3次元的に
描かれている。まず第3基底候補ベクトル〈u3〉を第
1基底ベクトル〈u1'〉に直交化すると上記同様にして
中間の直交ベクトル〈u3''〉が得られる。
2基底ベクトル〈u2'〉に直交化すると第3基底ベクト
ル〈u3'〉が得られる。
れた直交ベクトル〈ui'〉を使用し、残差ベクトル〈d
k〉(但し、最初は〈dj〉)との距離を最小とする様な
スカラー係数αiを求める。
図において、ある時点の残差ベクトルを〈dk〉とする
時に、これを直交ベクトル〈ui'〉で近似した後の残差
ベクトルの二乗ノルムei=‖〈dk〉−αi〈ui'〉
‖2が最小となるのは、図より明らかなように、直交ベ
クトル〈ui'〉にスカラー係数αiを掛けたものと、残
差ベクトル{〈dk〉−αi〈ui'〉}とが直交する時
(内積=0)である。従って、スカラー係数αiは
(5)式の関係により求まる。
し、k=0)を他の第1基底候補ベクトル〈uj'〉で近
似した場合が描かれている。第1基底候補ベクトル〈u
j'〉は任意方向をとり得るから、図示のようなイメージ
となる。
ベクトル〈dk〉を基底候補ベクトルαi〈ui'〉で近似
した後の誤差ベクトルの二乗ノルムeiを求める。この
演算は(6)式により得られる。
別する。ei<E'の場合はステップS129でE'の内
容をeiで更新する。またその時のαi,〈ui'〉,〈u
i〉等に係る情報を配列[αk],[uk'],[uk]に
保持する。またei<E'でない場合は上記ステップS1
29の処理をスキップする。
し、更にステップS131ではi≧N(=8192)か
否かを判別する。i≧Nでない場合はステップS124
に戻り、次の基底候補ベクトル〈ui〉につき上記同様
の処理を行う。以下同様にして進み、やがて、ステップ
S131の判別でi≧Nになるとこの段階における全基
底候補ベクトル〈ui〉が試されたことになる。この
時、レジスタE'は最小の二乗ノルムeiを保持してい
る。
別し、E’≦Zでない場合はステップS133でE=
E'とする。即ち、残差ベクトルの二乗ノルムを更新す
る。ステップS134ではkに+1し、ステップS12
2に戻る。またE’≦Zの場合はこの処理を抜ける。こ
うして、最初の残差ベクトル〈dj〉との差を許容誤差
Z以下に近似するための直交基底系αk〈uk'〉(k=
1〜m)が得られる。
では基底候補ブロック〈Ui〉のブロック平均値aiにつ
きその小数点以下を四捨五入(又は切り捨て等)してい
たため、画質の改善が頭打ちとなる不都合があった。こ
れを図16に従って説明する。
のある行の画素値を列(x)方向に見た場合を示してい
る。実際は16画素分のブロック平均値であるが、ここ
では説明の簡単のため4画素で説明する。図16(a)
において、各画素値は「5,2,4,3」からなりその
ブロック平均値ai=3.5である。今、例えばこの小
数点以下を切り捨てるとすると、図16(b)に示す如
く、基底候補ベクトル〈ui〉のブロック平均値ai=
0.5となる。図16(c)において、復号ブロックの
DC値DCJに基底ベクトルβk〈uk〉を加算すると、
復号画像のターゲットブロック〈Rj〉にはDC成分
(ai=0.5)が重畳されてしまう。しかも、基底数が
複数の場合は、このようなDC成分は0<ai<1の範
囲の様々な値でDCJに重畳される結果、復号画像では
ブロック毎に一種の雑音が重畳された形となり、このた
め画質の改善が図れなかった。以上のことは小数点以下
を四捨五入又は切り上げする場合も同様である。
クトル〈ui〉を一々前の基底ベクトル〈uk'〉に直交
化していたため、AOT処理に多大の演算と時間を要し
ていた。
れたもので、その目的とする所は、より高画質かつ高速
の符号/復号が得られる画像符号/復号方法及びその装
置並びにそのプログラムを記録した記録媒体を提供する
ことにある。
の構成により解決される。即ち、本発明(1)の画像符
号方法は、画像データをB画素毎にブロック分割して各
ブロック平均値からなるDC画像を生成し、その一部を
DCネストとすると共に、符号対象の画素ブロック〈R
j〉からそのDC値DCJを分離した残差ベクトル
〈dj〉の大きさが許容値Zを超える場合は、該残差ベ
クトル〈dj〉を近似するための1又は2以上の直交基
底(αk〈vk〉等)をDCネストを使用した適応的直交
変換(AOT)により求める画像符号方法において、D
Cネストから基底候補ブロック〈Ui〉をダウンサンプ
ルしてそのブロック平均値aiを求める際の各サンプル
DC画素の下位n(n=log2B)ビットが0にされてい
るものである。従って、ブロック平均値aiに小数点以
下の端数は生ぜず、整数精度のブロック平均値aiが高
速に得られる。
本発明(1)において、DC画像からDCネストを生成
する際に各DC画素の下位nビットを0に(マスク)す
る。従って、1回の処理でその下位nビットを0にされ
たDCネストが効率よく得られる。
上記本発明(1)又は(2)において、下位nビットが
0にされている基底候補ブロック〈Ui〉からそのブロ
ック平均値aiを分離して残差ベクトル〈dj〉を近似す
るための基底候補ベクトル〈ui〉を生成する。
補ベクトル〈ui〉はその全要素の和(ブロック平均
値)が常に0であり、DC成分が完全に分離されてい
る。従って、復号側でこのような基底ベクトル〈uk〉
を幾つ重ねても不要なDC成分(雑音)は生じない。そ
して、これにより本HVQ方式の画質が大幅に改善され
た。
上記本発明(3)において、基底候補ベクトル〈ui〉
の任意要素(例えばu16)を残りの要素の一次結合で置
き換えると共に、該基底候補ベクトル〈ui〉と任意他
のベクトル〈w〉との内積を、 〈w・ui〉=(w1−w16)u1+(w2−w16)u
2+,…,+(w15−w16)u15 の積和演算により求める。
クトル〈ui〉の全要素の和が常に0であることによ
り、その任意要素(例えばu16)を残りの要素の一次結
合で表せる。従って、任意他のベクトル〈w〉との内積
演算〈w・ui〉は上式のような積和演算に展開でき、
こうして面倒な積和演算の回数を1回分省略できる。H
VQ方式による画像符号処理ではベクトルの内積演算が
大量に行われるため、各1回の省略は全体としての符号
処理の高速化に大きく貢献する。
上記本発明(3)又は(4)において、残差ベクトル
〈d〉、基底候補ベクトル〈ui〉とするときに第1基
底の探索は、 hi=〈d・ui〉2/‖ui‖2 を最大とするものを条件に探索する。
テップS126,S127で行っていたような残差ベク
トル〈d〉との差の二乗ノルム‖〈d〉−αi〈ui〉‖
2を最小とするような条件を上記簡単な演算及び条件で
探索できる。従って、AOT処理を高速化できる。
上記本発明(3)又は(4)において、残差ベクトル
〈d〉、第1基底に対応する基底候補ベクトル
〈u1〉、第2基底を探索する基底候補ベクトル〈ui〉
とするときに第2基底の探索は、 hi={〈d・ui〉−(〈d・u1〉〈u1・ui〉)/
‖u1‖2}2/{‖ui‖2−(〈u1・ui〉)/‖u
1‖)2} を最大とするものを条件に探索する。
の効果に加え、上式分子の〈d・u 1〉,‖u1‖及び分
母の‖ui‖2,‖u1‖については既に第1基底探索で
行った演算結果を利用できるため、AOT処理を更に効
率化、高速化できる。
上記本発明(3)又は(4)において、残差ベクトル
〈d〉、第1正規基底ベクトル〈v1〉、第2正規直交
基底ベクトル〈v2〉、第3基底を探索する基底候補ベ
クトル〈ui〉とするときに第3基底の探索は、 hi=(〈d・ui〉−(d・v1〉〈v1・ui〉−〈d
・v2〉〈v2・ui〉)2/{‖ui‖2−〈v1・ui〉2
−〈v2・ui〉2} を最大とするものを条件に探索する。
(5),(6)の効果に加え、上式分子の(〈d・
ui〉−(d・v1〉〈v1・ui〉)及び分母の(‖ui
‖2−〈v1・ui〉2)については既に第1,第2の基底
探索で行った演算結果を利用できるため、こうしてAO
T処理を更に効率化、高速化できる。
上記本発明(6)又は(7)において、探索条件にマッ
チした基底候補ベクトル〈ui〉をそれ以前の1又は2
以上の正規直交基底に正規直交化する。
索終了により基底に採用された各基底候補ベクトル〈u
i〉につき夫々1回だけ行えばよく、こうしてAOT処
理を更に効率化、高速化できる。
前提となる画像符号方法において、求められた基底系を
βk〈uk〉(k=1〜m)とするときに、各スカラー展
開係数β1〜βmのノルムをその大きさ順に並べ替え、0
を含む隣接ノルム間の各差分を求め、得られた各差分に
つきハフマン符号を適用するものである。
は様々な値をとり得るが、これらを大きさ順に並べて0
を含む隣接ノルム間の各差分をとると、各差分の大きさ
は互いに近似(又は同一)となる場合が少なくない。そ
こで、これらの差分値にハフマン符号を適用することで
更なる符号圧縮が可能となる。
記前提となる画像符号方法において、求めた基底数が所
定以上の場合は基底系の符号化に代えて、符号対象ブロ
ックの画像データ〈Rj〉そのものを符号化するもので
ある。従って、復号画質の改善が図れる。また実際上こ
のような状況は極めて少ないので符号圧縮率に与える影
響は極めて少ない。
り解決される。即ち,本発明(11)の画像復号方法
は、HVQ方式に係る符号データからB画素毎の各ブロ
ック平均値に相当するDC画像を再生し、その一部をD
Cネストとすると共に、ターゲットブロックのDC値D
CJに対し、前記符号データに基づきDCネストから選
択生成した1又は2以上の基底ベクトルβk〈uk〉を合
成してターゲットブロックの画像データ〈Rj〉をを再
生する画像復号方法において、DCネストから選択ブロ
ック〈Uk〉をダウンサンプルしてそのブロック平均値
を求める際の各サンプルDC画素の下位n(n=log
2B)ビットが0にされているものである。従って、ブ
ロック平均値に小数点以下の端数は生ぜず、整数精度の
ブロック平均値が高速に得られる。
記前提となる画像復号方法において、復号された基底系
がβk〈uk〉(k=1〜m)に係る情報であるときに、
DCネストから読み出した各選択ブロック〈Uk〉につ
き各DC画素の下位n(n=log2B)ビットが0にされ
ていると共に、まずβk〈Uk〉(k=1〜m)の積和演
算を行い、その演算結果をブロック画素数Bで除算する
ものである。
ク〈Uk〉の下位nビットが0にされていることによ
り、これらを予め累積加算しても、その加算結果はブロ
ックサイズB(例えば16)の整数倍となる。なお、展
開係数βkは整数精度とする。従って、最後にこの累積
加算結果をブロック画素数Bで除算すれば1回の除算で
ブロック平均値Ajが効率よく求まる。従って、基底ベ
クトルβk〈uk〉(k=1〜m)を重ね合わせる演算を
効率よく行える。
記本発明(11)又は(12)において、DC画像から
DCネストを生成する際に各DC画素の下位nビットを
0にする。従って、処理効率が良い。
像データをB画素毎にブロック分割して各ブロック平均
値からなるDC画像を生成し、その一部をDCネストと
すると共に、符号対象の画素ブロック〈Rj〉からその
DC値DCJを分離した残差ベクトル〈dj〉の大きさが
許容値Zを超える場合は、該残差ベクトル〈dj〉を近
似するための1又は2以上の直交基底(αk〈vk〉等)
をDCネストを使用した適応的直交変換(AOT)によ
り求める画像符号装置において、各DCネスト画素の下
位n(n=log2B)ビットが0にされているDCネスト
を記憶するメモリ17を備えるものである。
VQ方式に係る符号データからB画素毎の各ブロック平
均値に相当するDC画像を再生し、その一部をDCネス
トとすると共に、ターゲットブロックのDC値DCJに
対し、前記符号データに基づきDCネストから選択生成
した1又は2以上の基底ベクトルβk〈uk〉を合成して
ターゲットブロックの画像データ〈Rj〉をを再生する
画像復号装置において、各DCネスト画素の下位n(n
=log2B)ビットが0にされているDCネストを記憶す
るメモリ49を備えるものである。
発明(1)1乃至(13)の何れか1つに記載の処理を
コンピュータに実行させるためのプログラムを記録した
コンピュータ読取り可能な記録媒体である。
好適なる実施の形態を詳細に説明する。なお、全図を通
して同一符号は同一又は相当部分を示すものとする。
ロック図で、図において、31は復号DC画像から本発
明によるDCネストを生成するDCネスト生成部、17
は生成されたDCネストを記憶するDCネストメモリ、
32はAOT処理を効率よくかつ高速に行う適応的直交
変換処理部(AOT)、33は係数変換部、34は展開
係数βkの更に高圧縮を可能とする符号部である。その
他の構成については上記図13で述べたものと同様でよ
い。なお、上記各部の特徴は以下の動作説明によって明
らかとなる。
ン)処理のフローチャートである。ステップS1では原
画像メモリ11に原画像データを読み込む。例えばRG
B系の対象画像をYUV系に変換して読み込む。Yは輝
度データ、U,Vは色差データに相当し、U,Vは横2
画素の輝度平均を用いてダウンサンプリングされる。一
例の輝度データYは縦960×横1280画素からな
り、画素毎に例えば8ビットが割り付けられている。な
お、以下は輝度データYの処理を中心に述べるが、U,
Vについても同様に処理できる。
4画素毎のブロック平均(DC)値を求める。このとき
小数点以下は例えば四捨五入される。ステップS3では
全DC値を公知の2次元DPCM法等により符号化して
出力する。ステップS4では全DPCM出力をIDPC
M復号してDC画像を再生し、DC画像メモリ15に格
納する。これは符号側/復号側のAOT処理条件を同一
にするためである。ステップS5ではDCネスト生成部
31がDC画像からDCネストを生成し、DCネストメ
モリ17に格納する。なお、DCネストを切り出す領域
の選択等は従来と同様でよい。
図7(a)において、本実施の形態ではDC画像メモリ
15から切り出した各DC画素DCJの下位4ビットを
マスク(=0)してこれをDCネストメモリ17のネス
ト画素Njに記憶する。下位4ビットは24=B(B=ブ
ロックサイズ16)又は4=log2Bの関係にある。下位
4ビットをマスクした結果、基底候補ブロック〈Ui〉
の総和は常に16の整数倍となり、よってこれを1/1
6したブロック平均値aiは常に整数となる。従って、
基底候補ブロック〈Ui〉からブロック平均値aiを分離
した基底候補ベクトル〈ui〉のブロック平均値は常に
0となる。
ラフで示す。但し、ここでは説明の簡単のため4画素分
の平均をとっている。図7(c)において、復号ブロッ
ク〈Rj〉のDC値DCJに複数の基底ベクトルβ
k〈uk〉を累積加算しても、各基底ベクトルβk〈uk〉
のブロック平均値は常に0であるため、従来のような雑
音は重畳されない。これにより画質の大幅な改善が図れ
た。
C画素A〜Dの合計SUM=251であり、その平均値
AV=251/4=62.75(非整数)である。これ
らのDC画素A〜Dをネスト画素A〜Dに転送する際に
下位4ビットをマスクする。これによりネスト画素A〜
Dの合計SUM=224となり、その平均値AV=22
4/4=56(整数)となる。更に、ネスト画素A〜D
からその平均値AV=56を分離した基底候補ベクトル
〈ui〉の各要素a〜dは「24,−24,8,−8」
となり、これらの総和sum=0(完全平均値分離)と
なっている。
している。但し、DC画素A〜Dをそのままネスト画素
A〜Dにコピーし、ネスト画素A〜Dの総和SUMから
下位4ビットをマスク(=0)する点で異なっている。
この方法でも総和SUMは16の倍数になるから、ブロ
ック平均値AV=60(整数)となる。しかしこの方法
によると、ネスト画素A〜Dからその平均値AV=60
を分離した基底候補ベクトル〈ui〉の各要素a〜dは
「33,−25,13,−10」となり、必ずしもその
総和sum=0(完全平均値分離)とはならない。
部をそのままDCネストにコピーしておき、該DCネス
トから基底候補ブロック〈Ui〉をダウンサンプルする
時に各画素から下位4ビットをマスク(=0)しても良
い。
リ11及びDC画像メモリ15に対する各インデクスカ
ウンタj,Jを共に0に初期化する。但し、jは符号対
象のターゲットブロック〈Rj〉のインデクスカウン
タ、JはDC画素のインデクスカウンタを夫々表す。ス
テップS7ではターゲットブロック〈Rj〉から対応す
る復号DC値DCJを分離して残差ベクトル〈dj〉を求
める。ステップS8では残差ベクトルの二乗ノルム‖d
j‖2が許容誤差Zより大きいか否かを判別する。‖dj
‖2>Zでない場合はステップS17で基底数「0」を
符号出力する。この場合のターゲットブロック〈Rj〉
は後述の交流成分予測法により復号される。また‖dj
‖2>Zの場合はステップS9で後述の適応的直交変換
処理を行う。
された基底数k>4か否かを判別する。因みに、実測で
はほとんどの場合にk=1〜3程度の統計結果が得られ
ている。そこで、k>4の場合はステップS18で基底
数「5」を符号出力し、かつターゲットブロック
〈Rj〉の各画素値を符号出力する。またk>4でない
場合はステップS11で後述の展開係数βkへの変換を
行う。ステップS12では基底数「m」,展開係数βk
及び非直交基底ベクトル〈ui〉のインデクス情報iを
夫々符号出力する。
+1する。但し、カウンタjに対する+1は1画素ブロ
ック分の更新を意味する。ステップS14ではj≧M
(=全画像ブロック数)か否かを判別する。j≧Mでな
い場合はステップS7に戻り、次のターゲットブロック
〈Rj〉につき上記同様の符号処理を行う。以下同様に
して進み、やがて、ステップS14の判別でj≧Mにな
ると、ステップS15ではハフマン等による符号化を行
う。この符号化については後述する。こうして1画像分
の符号処理を終了する。
変換処理のフローチャート(1)〜(3)で、必要最少
数の直交基底系αk〈vk〉(k=1〜m)を効率よくか
つ高速に求め得る場合を示している。なお、以下の説明
では上記ステップS7で求められた最初の残差ベクトル
〈dj〉を〈d〉で表し、その後に更新される残差ベク
トルを〈dk〉(k=1〜m)で表す。
この処理の説明前に、該処理を高速に行うために行った
計算上の工夫を説明する。即ち、通常なら第1基底は残
差ベクトル〈d〉との差の二乗ノルムeiを最小とする
基底候補ベクトル〈ui〉として求められるが、この関
係式を更に展開すると(7)式が得られる。
0は基底候補によらず一定であるから、同右辺第2項を
最大にする〈ui〉が第1基底となり得る。そこで、こ
の右辺第2項をhiとおく。
αk〈vk〉を探索・決定する処理である。ステップS2
1では後述の内積演算〈d・ui〉の前処理として
〈d〉の第16成分を残りの各成分の値から差し引いた
15次元ベクトル〈d'〉を求める。ステップS22で
はi=0〜(N−1)につきhi分子の内積〈d'・
ui〉を求め、これらを配列[Pi]{i=0〜(N−
1)}に格納する。
は本来16次元ベクトルであるが、本実施の形態ではそ
のブロック平均値(全要素の和)=0により、その第1
6成分u16は残りの15成分の一次結合で表せる。
と等価な〈d'・ui〉により求め、こうして積和演算を
1回分(全iでは8192回分)省略できる。
つきhi分母の二乗ノルム‖ui‖2を求め、これらを配
列[Li]{i=0〜(N−1)}に格納する。
を利用できる。ステップS24ではhiの最大値を保持
するレジスタE=0,基底候補ベクトル〈ui〉のイン
デクスカウンタi=0,基底数カウンタk=1に夫々初
期化する。
る。ステップS26ではhi>Eか否かを判別する。hi
>Eの場合はステップS27でEをhiで更新し、かつ
その時のiを配列[Ik](k=1)に保持する。また
hi>Eでない場合は上記ステップS27の処理をスキ
ップする。
ップS29ではi≧N(全候補数)か否かを判別する。
i≧Nでない場合はステップS25に戻り、次のhiに
つき上記同様の最大値探索処理を行う。以下、同様にし
て進み、やがてi≧Nになると全ネストブロックの探索
終了である。この時、上記配列[Ik]にはhiを最大と
するような第1基底ベクトル〈u1〉のインデクス値i
が保持されている。
1〉を正規化して正規化基底ベクトル〈v1〉となし、こ
れを配列[Vk](k=1)に格納する。またスカラー
係数α1(〈d〉の〈v1〉への射影)を求め、これを配
列[Ak](k=1)に格納する。
第1基底で近似後の残差ベクトル〈d1〉=〈d〉−α1
〈v1〉により更新する。ステップS32では新たな残
差ベクトルの二乗ノルムe=‖d1‖2を求め、更にステ
ップS33ではe≦Zか否かを判別する。e≦Zの場合
はこの段階でAOT処理を終了し、またe≦Zでない場
合は次いで第2基底の探索処理を行う。
この処理の説明前に該処理を効率よく行うために行った
計算上の工夫を説明する。即ち、通常なら第2基底は残
差ベクトル〈d1〉との差の二乗ノルムeiを最小とする
直交ベクトル〈ui'〉として求められるが、この関係式
を更に展開すると(12)式が得られる。
の候補ベクトル<ui>を第1正規化基底ベクトル<v1
>に直交化したものである。
‖d1‖2>0は基底候補によらず一定であるから、同右
辺第2項を最大にするような直交ベクトル〈ui'〉が第
2基底となり得る。この右辺第2項をhiとおく。
4の演算結果を効率よく利用するために(14)式の分
母を変形する。即ち、まずhi分子の直交ベクトル
〈ui'〉を基底候補ベクトル〈ui〉で表すと、hi分子
は(15)式で表せる。
クトル〈d〉で表すと、hi分子は(16)式で表せ
る。
で得られた演算結果〈d・u1〉,‖u1‖を利用でき
る。また、同様にしてhi分母を変形すると(17)式
で表せる。
で得られた演算結果‖ui‖2,‖u1‖を利用できる。
以上を(14)式のhiに代入すると、hiは(18−
1)式となり、最終的に(18−2)式で表せる。
‖2は配列[Pi],[Li]の演算結果を夫々利用で
き、かつPk=P1=〈d・u1〉,√(Lk)=√
(L1)=‖u1‖も前回の演算結果を利用できる。従っ
て、今回新たに演算するのは〈uk・ui〉=〈u1・
ui〉の部分である。
の演算処理を行う。即ち、ステップS41ではk=1に
よりP1=〈d・u1〉,L1=‖u1‖2を保持する。これ
らは上記ステップS22,S23で求めた結果を利用で
きる。なお、添え字の「1」は第1基底〈u1〉を指す
インデクスカウンタiの内容であり、これは上記ステッ
プS27の処理により配列[Ik]に保持されている。
ステップS42では(19)式の演算を行い、結果をレ
ジスタη,κに格納する。
・ui〉の前処理として〈u1〉の第16成分を残りの各
成分の値から差し引いた15次元ベクトル〈w1〉を求
める。ステップS44ではi=0〜(N−1)につき内
積〈wk・ui〉ηを求め、これらを配列[Qi]に格納
する。ステップS45ではi=0〜(N−1)につき
(Pi−κQi)を求め、これらを配列[Pi]に格納す
る。ここで、右辺のPiは上記ステップS22の演算結
果であり、更にこのステップS45の演算結果をステッ
プS22の配列[Pi]に上書き保存することで、配列
[Pi]の内容は過去の演算結果を反映して逐次更新さ
れる。ステップS46ではi=0〜(N−1)につき
(Li−Qi 2)を求め、これらを配列[Li]に格納(上
書)する。ここで、右辺のLiは上記ステップS23の
演算結果であり、更にこのステップS46の演算結果を
ステップS23の配列[Li]に上書き保存すること
で、配列[Li]の内容も過去の演算結果を反映して逐
次更新される。以上によるhiの繰り返し演算は最終的
に(20)式で表せる。
るレジスタE=0,基底候補ベクトル〈ui〉のインデ
クスカウンタi=0に夫々初期化し、かつ基底数カウン
タkに+1する。この時点でk=2となる。
る。ステップS49ではhi>Eか否かを判別する。hi
>Eの場合はステップS50でEをhiで更新し、その
時のiを配列[Ik](k=2)に保持する。またhi>
Eでない場合は上記ステップS50の処理をスキップす
る。
ップS52ではi≧Nか否かを判別する。i≧Nでない
場合はステップS48に戻り、次のhiにつき上記同様
の最大値探索処理を行う。以下、同様にして進み、やが
て、i≧Nになると全ネストブロックの探索終了であ
る。この時、上記配列[Ik](k=2)にはhiを最大
とするような第2基底ベクトル〈u2〉のインデクス値
iが保持されている。
2〉を〈v1〉に正規直交化して正規化基底ベクトル〈v
2〉となし、これを配列[Vk](k=2)に格納する。
またスカラー係数α2(〈d1〉の〈v2〉への射影)を
求め、これを配列[Ak](k=2)に格納する。この
ように基底ベクトル〈u2〉の正規直交化とスカラー係
数α2の演算は上記探索結果について1回行えばよく、
これによってAOT処理の大幅な軽量化と高速化が図ら
れる。以下も同様である。
を第2基底で近似後の残差ベクトル〈d2〉=〈d1〉−
α2〈v2〉により更新する。ステップS55では新たな
残差ベクトルの二乗ノルムe=‖d2‖2を求め、更にス
テップS56ではe≦Zか否かを判別する。e≦Zの場
合はこの段階でAOT処理を終了し、またe≦Zでない
場合は第3基底の探索処理を行う。
この処理の説明前に該処理を効率よく行うために行った
計算上の工夫を説明する。即ち、通常なら第3基底は残
差ベクトル〈d2〉との差の二乗ノルムeiを最小とする
直交ベクトル〈ui'〉として求められるが、この関係式
を更に展開すると(21)式が得られる。
の候補ベクトル〈ui〉を第1,第2の正規化基底ベク
トル〈v1〉,〈v2〉に直交化したものである。
d2‖2>0は基底候補によらず一定であるから、同右辺
第2項を最大にするような直交ベクトル〈ui'〉が第3
基底となり得る。この右辺第2項をhiとおく。
底候補ベクトル〈ui〉で表すと、h i分子は(24)式
で表せる。
最初の残差ベクトル〈d〉で表すと、hi分子は(2
5)式で表せる。
式で表せる。
7)式が得られる。
項までは既に計算されており、これらには(28)式の
関係がある。
に習って最終的に(29)式で表せる。
ui〉になっていることを除き、上記(18−2)式と
同じ形をしている。従って、これ以降の各基底は図5と
同様のルーティンを再帰的に使用することで効率よく求
まる。
以下の演算処理を行う。即ち、ステップS61ではk=
2によりP2=〈d1・u2〉,L2=‖u2‖2を保持す
る。ステップS62では(30)式の演算を行い、結果
をレジスタη,κに格納する。
・ui〉の前処理として〈v2〉の第16成分を残りの各
成分の値から差し引いた15次元ベクトル〈w2〉を求
める。但し、〈v2〉の各成分は整数値ではないので、
このままでは内積演算を実数型で行う必要が生じる。こ
れを避けるために、予め〈v2〉(即ち、〈w2〉)の各
成分に定数aを掛けて整数にしておく。
つき内積(〈w2・ui〉η/a)を求め、これらを配列
[Qi]に格納(上書)する。この時、各演算結果を定
数aで割ることにより、位を戻す。ステップS65では
i=0〜(N−1)につき(Pi−κQi)を求め、これ
らを配列[Pi]に格納(上書)する。ステップS66
ではi=0〜(N−1)につき(Li−Qi 2)を求め、
これらを配列[Li]に格納(上書)する。以上により
上記(29)式の演算は(31)式で表せる。
るレジスタE=0,基底候補ベクトル〈ui〉のインデ
クスカウンタi=0に夫々初期化し、かつ基底数カウン
タkに+1する。この時点でk=3となる。
る。ステップS69ではhi>Eか否かを判別する。hi
>Eの場合はステップS70でEをhiで更新し、その
時のiを配列[Ik](k=3)に保持する。またhi>
Eでない場合は上記ステップS70の処理をスキップす
る。
ップS72ではi≧Nか否かを判別する。i≧Nでない
場合はステップS68に戻り、次のhiにつき上記同様
の最大値探索処理を行う。以下、同様にして進み、やが
て、i≧Nになると全ネストブロックの探索終了であ
る。この時、上記配列[Ik](k=3)にはhiを最大
とするような第3基底ベクトル〈u3〉のインデクス値
iが保持されている。
3〉を〈v1〉,〈v2〉に直交化かつ正規化して正規化
基底ベクトル〈v3〉となし、これを配列[Vk]に格納
する。またスカラー係数α3(〈d2〉の〈v3〉への射
影)を求め、これを配列[Ak]に格納する。
を第3基底で近似後の残差ベクトル〈d3〉=〈d2〉−
α3〈v3〉により更新する。ステップS75では新たな
残差ベクトルの二乗ノルムe=‖d3‖2を求め、更にス
テップS76ではe≦Zか否かを判別する。e≦Zの場
合はこの段階でAOT処理を終了し、またe≦Zでない
場合はステップS61に戻り、第4基底以降の前処理及
び探索処理を行う。なお、図示しないが、好ましくは、
例えば上記ステップS76の次にk≧4か否かの判別処
理を設け、k≧4の場合はこのAOT処理を抜けるよう
にする。
かつ高速化が可能となり、演算時間は実測比で従来の1
/3〜1/10に短縮された。
〈vk〉(k=1〜m)の組が得られ、これらの一次結合
により残差ベクトル〈dj〉を許容誤差Z以内に近似で
きる。更に、係数変換部33はαk,〈vk〉(k=1〜
m)の組をβk,〈uk〉(k=1〜m)の組に変換すべ
く、以下(従来と同様)の方法により展開係数βkを求
める。即ち、今、基底候補ベクトル〈uk〉,展開係数
βk,正規化基底ベクトル〈vk〉,スカラー係数αkの
各行列を(32)式とおく時に、
行列Uを正方行列に変換すべく、両辺に行列Uの転置行
列UTを左側から掛ける。
展開され、
〈ui・uj〉=〈uj・ui〉であるから、対角要素に対
して対称な正方行列が得られ、かつ〈ui〉と〈uj〉と
が異なるから、逆行列が存在する。そこで、更に両辺の
左側から行列(UTU)の逆行列(UTU)-1を掛けるこ
とで(36)式が得られ、βkが求まる。
(k=1〜m)の組を非直交基底系βk,〈uk〉(k=1
〜m)の組に変換することにより、復号側では各基底候
補ベクトル〈uk〉を一々直交化する必要は無く、夫々
にβkを掛けて加算することにより残差ベクトル〈dj〉
を近似できる。従って、復号処理を簡単かつ高速に行え
る。次に展開係数βkの圧縮符号処理を説明する。
のイメージ図である。図9(a)において、生成された
β1〜β4からノルム(大きさ)を抽出する。図9(b)
において、ノルムを例えば昇順(β3,β2,β4,β1)
に並べ換え、前方(最初は0)から順に差分(△β3,
△β2,△β4,△β1)を求める。図9(c)におい
て、係数残差(△β3,△β2,△β4,△β1)をその下
位2ビットと上位ビットとに分離し、上位ビットをハフ
マン符号化する。
β1)との2組の値が発生しており、よってハフマン符
号では発生頻度の高い(△β2,△β4,△β1)にはビ
ット数の少ない符号が割り振られ、また発生頻度の低い
△β3にはビット数の多い符号が割り振られる。従っ
て、展開係数βkの圧縮符号化が可能となる。しかも、
係数残差△βkの上位ビットをハフマン符号化する構成
により、下位ビットの端数分が切り離されることにな
り、よって上位ビットでは図示の如く△β2=△β4=△
β1となるような可能性が高い。
符号ビットと共に対応する基底ベクトル〈uk〉のイン
デクス情報(13ビット=0〜8191)と共に2バイ
ト固定長符号エリアにパッキングされ、固定長符号とし
て出力される。これらの符号の出力順は△β3,△β2,
△β4,△β1(即ち、u3,u2,u4,u1)の順であ
る。
u3,u2,u4,u1の順で入力し、夫々から係数△
β3,△β2,△β4,△β1を分離する。更に最初の△β
3からβ3を復号し、該β3に△β2を加えてβ2を復号
し、該β2に△β4を加えてβ4を復号し、そして、該β4
に△β1を加えてβ1を復号する。βk〈uk〉はこれらの
和(一次結合)をとって機能するものであるから、これ
らの順序は問題ではない。
(最初は0)から順に差分を求めたが、逆にノルムを降
順に並べ換え、後方(最初は0)から順に差分を求めて
も良い。
る。DPCMの予測残差△DCJ,Iについては量子化係
数Q(Z)で量子化すると共に、△DCJ,I =0の場合
のみランレングスを考慮し、予測残差△DCJ,I 及びラ
ンレングスを夫々独立にハフマン符号化する。基底数k
は、k=0の場合のみランレングスを考慮し、基底数k
及びランレングスを夫々独立にハフマン符号化する。
係数残差△βkの上位ビットは定数Q(例えば8)で量
子化した商をハフマン符号化する。また基底ベクトル
〈uk〉のコード情報i(=13ビット)に展開係数βk
の符号ビット及び係数残差△βkの下位2ビットを詰め
て計16ビットの固定長符号となし、これらは残差△β
kの昇順(又は降順)に詰めて送られる。全体としては
画素ブロック単位で出現順に詰めて符号列を構成する。
必要なら画素ブロックの切り替わりを示すための符号E
OBを書き込む。
ブロック図で、上記図2の画像符号装置に対応したもの
である。図において、41はハフマン等による復号部、
42は注目画素DCJを含む周囲のDC値DCJ'から交
流成分を含むターゲットブロック〈Rj〉を推定する交
流成分予測部、43は復号基底系βk〈uk〉(k=1〜
m)に基づきく近似残差ベクトル〈dj〉を再生する残
差ベクトル再生部、44は復号ブロック〈Rj〉に基づ
きターゲットブロック〈Rj〉を再生するRj再生部、4
5は再生画像を記憶する再生画像メモリ、46は復号D
C値をIDPCM復号するIDPCM部、47は復号D
C画像を記憶するDC画像メモリ、48は図2と同様の
DCネスト生成部、49はDCネストを記憶するDCネ
ストメモリ、50はDCネストからダウンサンプルされ
た選択ブロック〈Uk〉を保持する選択ブロックバッフ
ァ、51は〈Uk〉にβkを乗算する乗算器、52,53
はβk〈Uk〉(k=1〜m)の累積加算部、54は累積
加算結果のブロック平均値Ajを求める平均器、55は
累積加算結果からブロック平均値Ajを分離する減算
器、56は再生近似残差ベクトル〈dj〉を保持する近
似ベクトルバッファ、57はターゲットブロック
〈Rj〉の再生DC値DCJに再生近似残差ベクトル〈d
j〉を加算する加算器である。
フローチャートである。ステップS101では画像符号
データを読み込む。ステップS102では図2と同様の
IDPCM法によりY,U,Vの各DC値を解凍(復
号)し、DC画像を再生する。ステップS103ではY
成分のDC画像からDCネストを生成する。この時、上
記図7で示した如く、各DC画素値DCJの下位4ビッ
トがマスク(=0)され、各DCネスト画素値Njとな
る。なお、DC画像の切り出し位置等の情報は別途に受
け取る。ステップS104では原画像メモリ45及びD
C画像メモリ47に対するインデクスカウンタj,Jを
共に0に初期化する。
符号データを入力する。ステップS106では基底数k
=0か否かを判別する。k=0の場合はステップS11
4で後述する交流成分予測法によりターゲットブロック
〈Rj〉を再生する。またk≠0の場合は更にステップ
S107で1≦k≦4か否かを判別する。
差ベクトル〈dj〉を逆量子化する。本実施の形態では
予めDCネストの下位4ビットがマスク(=0)されて
いるため、各選択ブロック〈Uk〉に直接βkを掛けてこ
れらを累積加算し、累積加算結果からそのブロック平均
値Ajを1回だけ分離することで残差ベクトル〈dj〉が
一挙に得られる。よって復号処理が高速化される。ステ
ップS113では得られた残差ベクトル〈dj〉に対応
するDC値DCJを加算する。
08でターゲットブロック〈Rj〉の復号データよりタ
ーゲットブロック〈Rj〉を直接再生する。こうして、
上記何れかの方法により4×4画素のターゲットブロッ
ク〈Rj〉が再生された。ステップS109では再生さ
れたターゲットブロック〈Rj〉を再生画像メモリ45
に格納する。
々+1し、更にステップS111ではi≧M(全画素ブ
ロック数)か否かを判別する。i≧Mでない場合はステ
ップS105に戻り、次のブロック画像符号データにつ
き上記同様の復号・再生処理を行う。以下同様にして進
み、やがて、ステップS111の判別でj≧Mになる
と、1画像分の復号処理を終了する。
のイメージ図で、公知の予測法を採用できる.図12
(A)は段階的交流成分予測法を示しており、以下に内
容を概説する。その第1段階では注目ブロックS上の各
サブブロックS1 〜S4 を該Sを含む周囲4ブロック
(U,R,B,L)の各DC値から次式により推定す
る。
4 ,R1 〜R4 ,B1〜B4 等が推定される。更に、そ
の第2段階では上記方法を再帰的に使用することで、S
1 上の4画素P1 〜P4 を次式により推定する。
る。このような2段階処理によりターゲットブロック
〈Rj〉が再生される。
非段階的交流成分予測法を示しており、注目ブロックS
を含む周囲4ブロック(U,R,B,L)の各DC値か
ら各サブブロックS1 〜S4 における各4画素P1 〜P
4 を一挙に推定する。以下内容を概説する。まずS1 上
の4画素P1 〜P4 を求める場合は、S2 ≒S3 ≒S,
U3 ≒U,L2 ≒Lの各近似を行う。この近似を上記S
1 上のP1 の式に適用すると、 P1 =S1 +(U3 +L2 −S3 −S2 )/8 =S1 +(U+L−S−S)/8 が得られる。更にこの式に上記S1 の式、S1 =S+
(U+L−B−R)/8を代入すると、S1 上のP1 は
最終的に、 P1 =S+(2U+2L−2S−B−R)/8 で表せる。また上記S1 上のP2 については、 P2 =S1 +(U3 +S2 −S3 −L2 )/8 =S1 +(U+S−S−L)/8 が得られる。更にこの式に上記S1 の式、S1 =S+
(U+L−B−R)/8を代入すると、S1 上のP2 は
最終的に、 P2 =S+(2U−B−R)/8 で表せる。また上記S1 上のP3 については、 P3 =S1 +(S3 +L2 −U3 −S2 )/8 =S1 +(S+L−U−S)/8 が得られる。更にこの式に上記S1 の式、S1 =S+
(U+L−B−R)/8を代入すると、S1 上のP3 は
最終的に、 P3 =S+(2L−B−R)/8 で表せる。また上記S1 上のP4 については、 P4 =S1 +(S3 +S2 −U3 −L2 )/8 =S1 +(S+S−U−L)/8 が得られる。更にこの式に上記S1 の式、S1 =S+
(U+L−B−R)/8を代入すると、S1 上のP4 は
最終的に、 P4 =S+(2S−B−R)/8 で表せる。従って、S1 上の4画素P1 〜P4 は、 P1 =S+(2U+2L−2S−B−R)/8 P2 =S+(2U−B−R)/8 P3 =S+(2L−B−R)/8 P4 =S+(2S−B−R)/8 により非段階的に一挙に求まる。S2 〜S4上の各4画
素P1 〜P4 についても同様である。
って説明したが本発明がこれらに限定されないことは明
らかである。
述べたが、本発明思想を逸脱しない範囲内で各部の構
成、制御、処理及びこれらの組合せの様々な変更が行え
ることは言うまでも無い。
ストの改良により高画質が得られ、またAOT演算の工
夫により高速符号化が得られた。従って、HVQ方式の
高画質化、高速符号化に寄与するところが極めて大き
い。
ある。
ローチャートである。
チャート(1)である。
チャート(2)である。
チャート(3)である。
ある。
ある。
図である。
である。
ートである。
図である。
である。
る。
Claims (16)
- 【請求項1】 画像データをB画素毎にブロック分割
して各ブロック平均値からなるDC画像を生成し、その
一部をDCネストとすると共に、符号対象の画素ブロッ
クからそのDC値を分離した残差ベクトルの大きさが許
容値を超える場合は、該残差ベクトルを近似するための
1又は2以上の直交基底をDCネストを使用した適応的
直交変換により求める画像符号方法において、 DCネストから基底候補ブロックをダウンサンプルして
そのブロック平均値を求める際の各サンプルDC画素の
下位n(n=log2B)ビットが0にされていることを特
徴とする画像符号方法。 - 【請求項2】 DC画像からDCネストを生成する際に
各DC画素の下位nビットを0にすることを特徴とする
請求項1に記載の画像符号方法。 - 【請求項3】 下位nビットが0にされている基底候補
ブロックからそのブロック平均値を分離して残差ベクト
ルを近似するための基底候補ベクトルを生成することを
特徴とする請求項1又は2に記載の画像符号方法。 - 【請求項4】 基底候補ベクトル〈ui〉の任意要素
(例えばu16)を残りの要素の一次結合で置き換えると
共に、該基底候補ベクトル〈ui〉と任意他のベクトル
〈w〉との内積を、 〈w・ui〉=(w1−w16)u1+(w2−w16)u
2+,…,+(w15−w16)u15 の積和演算により求めることを特徴とする請求項3に記
載の画像符号方法。 - 【請求項5】 残差ベクトル〈d〉、基底候補ベクトル
〈ui〉とするときに第1基底の探索は、 hi=〈d・ui〉2/‖ui‖2 を最大とするものを条件に探索することを特徴とする請
求項3又は4に記載の画像符号方法。 - 【請求項6】 残差ベクトル〈d〉、第1基底に対応す
る基底候補ベクトル〈u1〉、第2基底を探索する基底
候補ベクトル〈ui〉とするときに第2基底の探索は、 hi={〈d・ui〉−(〈d・u1〉〈u1・ui〉)/
‖u1‖2}2/{‖ui‖2−(〈u1・ui〉)/‖u
1‖)2} を最大とするものを条件に探索することを特徴とする請
求項3又は4に記載の画像符号方法。 - 【請求項7】 残差ベクトル〈d〉、第1正規基底ベク
トル〈v1〉、第2正規直交基底ベクトル〈v2〉、第3
基底を探索する基底候補ベクトル〈ui〉とするときに
第3基底の探索は、 hi=(〈d・ui〉−(d・v1〉〈v1・ui〉−〈d
・v2〉〈v2・ui〉)2/{‖ui‖2−〈v1・ui〉2
−〈v2・ui〉2} を最大とするものを条件に探索することを特徴とする請
求項3又は4に記載の画像符号方法。 - 【請求項8】 探索条件にマッチした基底候補ベクトル
〈ui〉をそれ以前の1又は2以上の正規直交基底に正
規直交化することを特徴とする請求項6又は7に記載の
画像符号方法。 - 【請求項9】 画像データをB画素毎にブロック分割し
て各ブロック平均値からなるDC画像を生成し、その一
部をDCネストとすると共に、符号対象の画素ブロック
からそのDC値を分離した残差ベクトルの大きさが許容
値を超える場合は、該残差ベクトルを近似するための1
又は2以上の直交基底をDCネストを使用した適応的直
交変換により求める画像符号方法において、 求められた基底系をβk〈uk〉(k=1〜m)とすると
きに、各スカラー展開係数β1〜βmのノルムをその大き
さ順に並べ替え、0を含む隣接ノルム間の各差分を求
め、得られた各差分につきハフマン符号を適用すること
を特徴とする画像符号方法。 - 【請求項10】 画像データをB画素毎にブロック分割
して各ブロック平均値からなるDC画像を生成し、その
一部をDCネストとすると共に、符号対象の画素ブロッ
クからそのDC値を分離した残差ベクトルの大きさが許
容値を超える場合は、該残差ベクトルを近似するための
1又は2以上の直交基底をDCネストを使用した適応的
直交変換により求める画像符号方法において、 求めた基底数が所定以上の場合は基底系の符号化に代え
て、符号対象ブロックの画像データそのものを符号化す
ることを特徴とする画像符号方法。 - 【請求項11】 HVQ方式に係る符号データからB画
素毎の各ブロック平均値に相当するDC画像を再生し、
その一部をDCネストとすると共に、ターゲットブロッ
クのDC値に対し、前記符号データに基づきDCネスト
から選択生成した1又は2以上の基底ベクトルを合成し
てターゲットブロックの画像データを再生する画像復号
方法において、 DCネストから選択ブロックをダウンサンプルしてその
ブロック平均値を求める際の各サンプルDC画素の下位
n(n=log2B)ビットが0にされていることを特徴と
する画像復号方法。 - 【請求項12】 HVQ方式に係る符号データからB画
素毎の各ブロック平均値に相当するDC画像を再生し、
その一部をDCネストとすると共に、ターゲットブロッ
クのDC値に対し、前記符号データに基づきDCネスト
から選択生成した1又は2以上の基底ベクトルを合成し
てターゲットブロックの画像データを再生する画像復号
方法において、 復号された基底系がβk〈uk〉(k=1〜m)に係る情
報であるときに、DCネストから読み出した各選択ブロ
ック〈Uk〉につき各DC画素の下位n(n=log2B)
ビットが0にされていると共に、まずβk〈Uk〉(k=
1〜m)の積和演算を行い、その演算結果をブロック画
素数Bで除算することを特徴とする画像復号方法。 - 【請求項13】 DC画像からDCネストを生成する際
に各DC画素の下位nビットを0にすることを特徴とす
る請求項11又は12に記載の画像復号方法。 - 【請求項14】 画像データをB画素毎にブロック分割
して各ブロック平均値からなるDC画像を生成し、その
一部をDCネストとすると共に、符号対象の画素ブロッ
クからそのDC値を分離した残差ベクトルの大きさが許
容値を超える場合は、該残差ベクトルを近似するための
1又は2以上の直交基底をDCネストを使用した適応的
直交変換により求める画像符号装置において、 各DCネスト画素の下位n(n=log2B)ビットが0に
されているDCネストを記憶するメモリを備えることを
特徴とする画像符号装置。 - 【請求項15】 HVQ方式に係る符号データからB画
素毎の各ブロック平均値に相当するDC画像を再生し、
その一部をDCネストとすると共に、ターゲットブロッ
クのDC値に対し、前記符号データに基づきDCネスト
から選択生成した1又は2以上の基底ベクトルを合成し
てターゲットブロックの画像データを再生する画像復号
装置において、 各DCネスト画素の下位n(n=log2B)ビットが0に
されているDCネストを記憶するメモリを備えることを
特徴とする画像復号装置。 - 【請求項16】 請求項1乃至13の何れか1つに記載
の処理をコンピュータに実行させるためのプログラムを
記録したコンピュータ読取り可能な記録媒体。
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000141675A JP3932244B2 (ja) | 2000-05-15 | 2000-05-15 | 画像符号/復号方法及びその装置並びにそのプログラムを記録した記録媒体 |
US09/731,484 US6714687B2 (en) | 2000-05-15 | 2000-12-08 | Image encoding/decoding method, apparatus thereof and recording medium in which program therefor is recorded |
CA 2328037 CA2328037A1 (en) | 2000-05-15 | 2000-12-08 | Image encoding/decoding method, apparatus thereof and recording medium in which program therefor is recorded |
KR1020000076886A KR100741553B1 (ko) | 2000-05-15 | 2000-12-15 | 화상부호/복호방법 및 그 장치 및 그 프로그램을 기록한기록매체 |
TW89127438A TW503666B (en) | 2000-05-15 | 2000-12-20 | Image encoding/decoding method, apparatus thereof and recording medium in which program therefor is recorded |
MXPA01001104 MXPA01001104A (es) | 2000-05-15 | 2001-01-30 | Metodo de codificacion/decodificacion de imagen, aparato para el mismo y medio de grabacion en el que el programa para el mismo esta grabado.. |
EP20010301069 EP1156679A3 (en) | 2000-05-15 | 2001-02-07 | Image encoding and decoding method and apparatus, and recording medium in which program therefor is recorded |
CN01104592A CN1324060A (zh) | 2000-05-15 | 2001-02-17 | 图像编码/解码方法及其装置和记录节目的记录介质 |
US10/760,291 US7231089B2 (en) | 2000-05-15 | 2004-01-21 | Image encoding/decoding method, apparatus thereof and recording medium in which program therefor is recorded |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000141675A JP3932244B2 (ja) | 2000-05-15 | 2000-05-15 | 画像符号/復号方法及びその装置並びにそのプログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001326935A true JP2001326935A (ja) | 2001-11-22 |
JP3932244B2 JP3932244B2 (ja) | 2007-06-20 |
Family
ID=18648758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000141675A Expired - Fee Related JP3932244B2 (ja) | 2000-05-15 | 2000-05-15 | 画像符号/復号方法及びその装置並びにそのプログラムを記録した記録媒体 |
Country Status (8)
Country | Link |
---|---|
US (2) | US6714687B2 (ja) |
EP (1) | EP1156679A3 (ja) |
JP (1) | JP3932244B2 (ja) |
KR (1) | KR100741553B1 (ja) |
CN (1) | CN1324060A (ja) |
CA (1) | CA2328037A1 (ja) |
MX (1) | MXPA01001104A (ja) |
TW (1) | TW503666B (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005074145A1 (en) * | 2004-01-30 | 2005-08-11 | Canon Kabushiki Kaisha | Coding method and apparatus, and computer program and computer-readable storage medium |
KR100612669B1 (ko) | 2003-10-29 | 2006-08-14 | 에스케이 텔레콤주식회사 | 이동 통신 단말에서 고해상도 jpeg 화상을디스플레이하기 위한 방법과 이를 위한 이동 통신 단말 |
JP2015510730A (ja) * | 2012-02-10 | 2015-04-09 | レイセオン カンパニー | ハイパースペクトラル・イメージ圧縮のためのシステム及び方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7310598B1 (en) * | 2002-04-12 | 2007-12-18 | University Of Central Florida Research Foundation, Inc. | Energy based split vector quantizer employing signal representation in multiple transform domains |
US7343039B2 (en) * | 2003-06-13 | 2008-03-11 | Microsoft Corporation | System and process for generating representations of objects using a directional histogram model and matrix descriptor |
CN101044511A (zh) * | 2004-10-18 | 2007-09-26 | 汤姆森特许公司 | 胶片颗粒模拟的方法、装置及*** |
US7864864B2 (en) * | 2005-06-27 | 2011-01-04 | Intel Corporation | Context buffer address determination using a plurality of modular indexes |
US8968080B1 (en) | 2010-11-05 | 2015-03-03 | Wms Gaming, Inc. | Display of third party content on a wagering game machine |
CN110892722A (zh) * | 2017-12-06 | 2020-03-17 | 富士通株式会社 | 模式信息的编码和解码方法、装置以及电子设备 |
US20220327811A1 (en) * | 2021-04-09 | 2022-10-13 | Singulos Research Inc. | System and method for composite training in machine learning architectures |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06253281A (ja) * | 1993-02-24 | 1994-09-09 | Nippon Telegr & Teleph Corp <Ntt> | 画像信号直交変換方法 |
JPH0738760A (ja) * | 1993-06-28 | 1995-02-07 | Nec Corp | 直交変換基底生成方式 |
KR0139164B1 (ko) * | 1994-12-19 | 1998-06-01 | 김광호 | 적응적 직교변환부호화 장치 |
US5937098A (en) * | 1995-02-06 | 1999-08-10 | Asahi Kogaku Kogyo Kabushiki Kaisha | Adaptive quantization of orthogonal transform coefficients for setting a target amount of compression |
KR0174453B1 (ko) * | 1995-02-28 | 1999-03-20 | 배순훈 | 디지털 영상 복호화 방법 |
KR0174452B1 (ko) * | 1995-02-28 | 1999-03-20 | 배순훈 | 디지털 영상 복호화장치 |
JP3170193B2 (ja) * | 1995-03-16 | 2001-05-28 | 松下電器産業株式会社 | 画像信号の符号化装置及び復号装置 |
JPH0951504A (ja) * | 1995-08-03 | 1997-02-18 | Matsushita Electric Ind Co Ltd | 画像符号化装置及び画像復号化装置 |
JP3355964B2 (ja) * | 1996-10-29 | 2002-12-09 | ケイディーディーアイ株式会社 | 適応直交変換モード判定方法 |
JPH11196262A (ja) * | 1997-11-07 | 1999-07-21 | Matsushita Electric Ind Co Ltd | デジタル情報埋込み・抽出装置および方法並びに当該方法を実行するためのプログラムを記録した媒体 |
CA2347383A1 (en) | 1998-07-03 | 2000-01-13 | Hudson Co., Ltd. | Image coding/decoding method and recordind medium having program for this method recorded thereon |
-
2000
- 2000-05-15 JP JP2000141675A patent/JP3932244B2/ja not_active Expired - Fee Related
- 2000-12-08 CA CA 2328037 patent/CA2328037A1/en not_active Abandoned
- 2000-12-08 US US09/731,484 patent/US6714687B2/en not_active Expired - Fee Related
- 2000-12-15 KR KR1020000076886A patent/KR100741553B1/ko active IP Right Grant
- 2000-12-20 TW TW89127438A patent/TW503666B/zh not_active IP Right Cessation
-
2001
- 2001-01-30 MX MXPA01001104 patent/MXPA01001104A/es not_active Application Discontinuation
- 2001-02-07 EP EP20010301069 patent/EP1156679A3/en not_active Withdrawn
- 2001-02-17 CN CN01104592A patent/CN1324060A/zh active Pending
-
2004
- 2004-01-21 US US10/760,291 patent/US7231089B2/en not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100612669B1 (ko) | 2003-10-29 | 2006-08-14 | 에스케이 텔레콤주식회사 | 이동 통신 단말에서 고해상도 jpeg 화상을디스플레이하기 위한 방법과 이를 위한 이동 통신 단말 |
WO2005074145A1 (en) * | 2004-01-30 | 2005-08-11 | Canon Kabushiki Kaisha | Coding method and apparatus, and computer program and computer-readable storage medium |
US7480584B2 (en) | 2004-01-30 | 2009-01-20 | Canon Kabushiki Kaisha | Coding method and apparatus, and computer program and computer-readable storage medium |
JP2015510730A (ja) * | 2012-02-10 | 2015-04-09 | レイセオン カンパニー | ハイパースペクトラル・イメージ圧縮のためのシステム及び方法 |
Also Published As
Publication number | Publication date |
---|---|
TW503666B (en) | 2002-09-21 |
CA2328037A1 (en) | 2001-11-15 |
KR100741553B1 (ko) | 2007-07-20 |
JP3932244B2 (ja) | 2007-06-20 |
EP1156679A3 (en) | 2003-10-08 |
MXPA01001104A (es) | 2004-08-12 |
CN1324060A (zh) | 2001-11-28 |
US20010051005A1 (en) | 2001-12-13 |
US20040151389A1 (en) | 2004-08-05 |
EP1156679A2 (en) | 2001-11-21 |
KR20010104610A (ko) | 2001-11-26 |
US6714687B2 (en) | 2004-03-30 |
US7231089B2 (en) | 2007-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4966669B2 (ja) | マッチング追跡を用いたデータ圧縮 | |
EP0725363B1 (en) | Image compression apparatus and method | |
JP3978478B2 (ja) | 推定画素値により固定速度のブロック単位の画像圧縮を行うための装置及び方法 | |
JP3681386B2 (ja) | 改良されたベクトルの量子化のための前処理及び後処理 | |
JPH0824341B2 (ja) | 画像データ符号化方法 | |
KR100574702B1 (ko) | 화상부호/복호방법 및 그 프로그램을 기록한 기록매체 | |
JPH11163733A (ja) | 符号化方法および装置 | |
JP2001326935A (ja) | 画像符号/復号方法及びその装置並びにそのプログラムを記録した記録媒体 | |
JPH0984002A (ja) | ディジタル画像の処理方法及びシステム | |
KR20000052551A (ko) | 동화상 부호방법 및 부호장치와 동화상 부호 프로그램을기록하는 기록매체 | |
US20040223657A1 (en) | Image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method and image decoding program | |
CN1255021A (zh) | 不用重新计算运动矢量就可修改压缩图象的装置和方法 | |
JP2004289284A (ja) | 画像処理方法および画像処理装置ならびに画像処理プログラム | |
JPH11225075A (ja) | 符号化方法及び装置 | |
JPH07123276A (ja) | 画像信号のデジタル圧縮符号化方法 | |
JP3859325B2 (ja) | 画像の反復変換復号化装置及び方法、並びに記録媒体 | |
JPH0621828A (ja) | ベクトル量子化復号化器 | |
JP3977753B2 (ja) | 情報源の符号化方法,情報源の符号化装置,情報源の符号化プログラム,情報源の符号化プログラムを記録した記録媒体 | |
JP2003284073A (ja) | 画像符号/復号方法及び装置並びにプログラム及び記録媒体 | |
JPH0251978A (ja) | 画像符号化装置 | |
JP2002232293A (ja) | 画像データ圧縮装置、画像データ圧縮方法、画像データ圧縮方法をコンピュータに実行させるためのプログラム、及び、画像データ圧縮方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2633683B2 (ja) | ベクトル量子化装置 | |
JPH07143481A (ja) | 符号データのデータ量削減方法および装置 | |
JP2005012823A (ja) | データ圧縮装置および方法、データ伸長装置および方法、データ圧縮伸長システムおよび方法、コードブックの作成方法、記録媒体 | |
JPH07120961B2 (ja) | 信号符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070306 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070312 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |