JP2768059B2 - 画像符号化装置および復号化装置 - Google Patents
画像符号化装置および復号化装置Info
- Publication number
- JP2768059B2 JP2768059B2 JP16853291A JP16853291A JP2768059B2 JP 2768059 B2 JP2768059 B2 JP 2768059B2 JP 16853291 A JP16853291 A JP 16853291A JP 16853291 A JP16853291 A JP 16853291A JP 2768059 B2 JP2768059 B2 JP 2768059B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- region
- motion
- previous frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【0001】
【産業上の利用分野】本発明は、動き補償予測誤差信号
から誤差の大きな領域を抽出し、抽出した任意形状の領
域に対し直交変換を施して符号化する画像符号化/復号
化装置に関するものである。
から誤差の大きな領域を抽出し、抽出した任意形状の領
域に対し直交変換を施して符号化する画像符号化/復号
化装置に関するものである。
【0002】
【従来の技術】シグナル・プロセッシング:イメージ・
コミュニケーション誌(SignalProcessi
ng:Image Communication),v
ol.1,No.2,pp.153−180,(198
9年)に記載の論文[文献1]には、動き補償予測誤差
信号から誤差の大きな領域を抽出し、抽出した任意形状
の領域に直交変換を施す画像符号化が示されている。こ
の符号化では、画像の内容とは無関係に画面を格子状ブ
ロックで分割し、ブロックマッチングによって動ベクト
ルを求め、動ベクトルにより前フレーム画像に対し動き
補償を行って、現フレームの予測画像を作っている。符
号化ではさらに、予測画像と現フレーム画像の差分を求
め、差分の大きい領域を抽出し、抽出領域の形状に応じ
て直交変換の基底関数を計算して変換を行い、変換係数
を求めている。領域形状については、符号化のために輪
郭を抽出し、最終的には、動ベクトル,輪郭画素位置,
変換係数を記録または伝送する。
コミュニケーション誌(SignalProcessi
ng:Image Communication),v
ol.1,No.2,pp.153−180,(198
9年)に記載の論文[文献1]には、動き補償予測誤差
信号から誤差の大きな領域を抽出し、抽出した任意形状
の領域に直交変換を施す画像符号化が示されている。こ
の符号化では、画像の内容とは無関係に画面を格子状ブ
ロックで分割し、ブロックマッチングによって動ベクト
ルを求め、動ベクトルにより前フレーム画像に対し動き
補償を行って、現フレームの予測画像を作っている。符
号化ではさらに、予測画像と現フレーム画像の差分を求
め、差分の大きい領域を抽出し、抽出領域の形状に応じ
て直交変換の基底関数を計算して変換を行い、変換係数
を求めている。領域形状については、符号化のために輪
郭を抽出し、最終的には、動ベクトル,輪郭画素位置,
変換係数を記録または伝送する。
【0003】
【発明が解決しようとする課題】前記従来技術では、格
子状ブロックごとに動き補償を行っているため、動ベク
トルが異なるブロックの境界では予測信号の波形が不連
続になる。その結果、復号画像でも、動き補償ブロック
の境界部に画像内容とは無関係な格子状のひずみが現
れ、雑音として目立つことがある。
子状ブロックごとに動き補償を行っているため、動ベク
トルが異なるブロックの境界では予測信号の波形が不連
続になる。その結果、復号画像でも、動き補償ブロック
の境界部に画像内容とは無関係な格子状のひずみが現
れ、雑音として目立つことがある。
【0004】本発明の目的は、上記従来の方法の問題点
を解決して、ひずみの目立たない、より自然な再生画を
得ることのできる画像符号化装置および画像復号化装置
を提供することにある。
を解決して、ひずみの目立たない、より自然な再生画を
得ることのできる画像符号化装置および画像復号化装置
を提供することにある。
【0005】
【課題を解決するための手段】本発明による画像符号化
装置の第一の構成では、前フレームと現フレームの変化
領域を検出する手段と、各変化領域ごとに当該領域の変
移を表すマッピングパラメータを計算する手段と、前記
マッピングパラメータを用いて前フレーム画像に動き補
償を施す手段と、前記動き補償した前フレーム画像では
表現できない領域を現フレーム画像より抽出する手段
と、前記抽出領域を画像の内容にしたがって領域分割す
る手段と、前記分割領域に対し領域形状に適合した直交
変換基底を計算し、直交変換を施して変換係数を算出す
る手段と、前記変化領域、前記分割領域の輪郭を抽出す
る手段と、前記マッピングパラメータ、前記輪郭の画素
位置、前記変換係数を符号化する手段とからなることを
特徴とする。
装置の第一の構成では、前フレームと現フレームの変化
領域を検出する手段と、各変化領域ごとに当該領域の変
移を表すマッピングパラメータを計算する手段と、前記
マッピングパラメータを用いて前フレーム画像に動き補
償を施す手段と、前記動き補償した前フレーム画像では
表現できない領域を現フレーム画像より抽出する手段
と、前記抽出領域を画像の内容にしたがって領域分割す
る手段と、前記分割領域に対し領域形状に適合した直交
変換基底を計算し、直交変換を施して変換係数を算出す
る手段と、前記変化領域、前記分割領域の輪郭を抽出す
る手段と、前記マッピングパラメータ、前記輪郭の画素
位置、前記変換係数を符号化する手段とからなることを
特徴とする。
【0006】本発明による画像符号化装置の第二の構成
では、前記画像符号化装置の第一の構成の、動き補償し
た前フレーム画像では表現できない現フレーム画像上の
領域を、画像の内容にしたがって領域分割する手段にお
いて、微小な領域は隣接する大きな領域に統合すること
を特徴とする。
では、前記画像符号化装置の第一の構成の、動き補償し
た前フレーム画像では表現できない現フレーム画像上の
領域を、画像の内容にしたがって領域分割する手段にお
いて、微小な領域は隣接する大きな領域に統合すること
を特徴とする。
【0007】本発明による画像符号化装置の第三の構成
では、前記画像符号化装置の第一の構成の、動き補償し
た前フレーム画像では表現できない現フレーム画像上の
領域を、画像の内容にしたがって領域分割する手段にお
いて、許容符号量に応じて領域数を制限することを特徴
とする。
では、前記画像符号化装置の第一の構成の、動き補償し
た前フレーム画像では表現できない現フレーム画像上の
領域を、画像の内容にしたがって領域分割する手段にお
いて、許容符号量に応じて領域数を制限することを特徴
とする。
【0008】本発明による画像復号化装置では、マッピ
ングパラメータ、輪郭画素位置、変換係数を受信し、前
記輪郭画素位置からフレーム間の変化領域と直交変換で
符号化された各分割領域を求める手段と、前記変化領域
について前記マッピングパラメータを用いて前フレーム
画像に動き補償を施す手段と、前記分割領域について領
域形状に適合した直交変換基底を計算し、前記変換係数
をかけて逆変換信号を計算する手段と、前記動き補償画
像と前記逆変換信号を合成し復号画像を得る手段とから
なることを特徴とする。
ングパラメータ、輪郭画素位置、変換係数を受信し、前
記輪郭画素位置からフレーム間の変化領域と直交変換で
符号化された各分割領域を求める手段と、前記変化領域
について前記マッピングパラメータを用いて前フレーム
画像に動き補償を施す手段と、前記分割領域について領
域形状に適合した直交変換基底を計算し、前記変換係数
をかけて逆変換信号を計算する手段と、前記動き補償画
像と前記逆変換信号を合成し復号画像を得る手段とから
なることを特徴とする。
【0009】
【作用】本発明では、格子状のブロック分割を行わずに
動物体領域を抽出して、抽出領域ごとにマッピングパラ
メータに基いて動き補償を行い、さらに補償が合わない
部分は、その領域形状に応じて直交変換を施して符号化
している。このため、格子状のブロックひずみは生じ
ず、符号化により領域の境界で波形の不連続が生じたと
しても、そのような領域境界部のひずみは人間の視覚特
性上目立たず、より自然で主観的に良好な再生画像を得
ることができる。
動物体領域を抽出して、抽出領域ごとにマッピングパラ
メータに基いて動き補償を行い、さらに補償が合わない
部分は、その領域形状に応じて直交変換を施して符号化
している。このため、格子状のブロックひずみは生じ
ず、符号化により領域の境界で波形の不連続が生じたと
しても、そのような領域境界部のひずみは人間の視覚特
性上目立たず、より自然で主観的に良好な再生画像を得
ることができる。
【0010】
【実施例】図1は、本発明の画像符号化装置の一実施例
を説明するための構成図である。図1において、変化領
域抽出器101は、現フレーム画像とフレームバッファ
出力画像の差分にしきい値処理を施して変化領域を抽出
する。
を説明するための構成図である。図1において、変化領
域抽出器101は、現フレーム画像とフレームバッファ
出力画像の差分にしきい値処理を施して変化領域を抽出
する。
【0011】次に動き検出器102において、変化領域
抽出器101で抽出した各変化領域に対して、現フレー
ム画像とフレームバッファ出力画像の輝度勾配とフレー
ム差分から、マッピングパラメータを求める。マッピン
グパラメータは、画面上の画素の変移を表し、IEEE
・トランザクションズ・オン・アコースティックス・ス
ピーチ・アンド・シグナル・プロセッシング誌(IEE
E Transactions on Acousti
cs,Speech,and Signalproce
ssing),vol.ASSP−29,No.6,p
p.1147−1152(1981年)に記載の論文
[文献2]に示されているように、3次元空間内で運動
する平面剛体を2次元の画像平面上に中心投影すると
き、運動による変移をアフィン変換で表現できると仮定
すると、2次元平面上の各画素の変移は8つのマッピン
グパラメータで表現できる。マッピングパラメータの求
め方は、例えば、シグナル・プロセッシング誌(Sig
nal Processing),vol.15,N
o.3,pp.315−334,(1988年)に記載
の論文[文献3]の手法を用いることができ、2次元平
面上の信号値を2次式で近似したとき、フレーム差分と
フレーム内の輝度勾配から計算できる。
抽出器101で抽出した各変化領域に対して、現フレー
ム画像とフレームバッファ出力画像の輝度勾配とフレー
ム差分から、マッピングパラメータを求める。マッピン
グパラメータは、画面上の画素の変移を表し、IEEE
・トランザクションズ・オン・アコースティックス・ス
ピーチ・アンド・シグナル・プロセッシング誌(IEE
E Transactions on Acousti
cs,Speech,and Signalproce
ssing),vol.ASSP−29,No.6,p
p.1147−1152(1981年)に記載の論文
[文献2]に示されているように、3次元空間内で運動
する平面剛体を2次元の画像平面上に中心投影すると
き、運動による変移をアフィン変換で表現できると仮定
すると、2次元平面上の各画素の変移は8つのマッピン
グパラメータで表現できる。マッピングパラメータの求
め方は、例えば、シグナル・プロセッシング誌(Sig
nal Processing),vol.15,N
o.3,pp.315−334,(1988年)に記載
の論文[文献3]の手法を用いることができ、2次元平
面上の信号値を2次式で近似したとき、フレーム差分と
フレーム内の輝度勾配から計算できる。
【0012】動き補償器103では、動き検出器102
で求めたマッピングパラメータに基いてフレームバッフ
ァ出力画像に動き補償を行い、現フレーム画像に対する
予測画像をつくる。
で求めたマッピングパラメータに基いてフレームバッフ
ァ出力画像に動き補償を行い、現フレーム画像に対する
予測画像をつくる。
【0013】差分検出器104において、動き補償器1
03で計算した予測画像と現フレーム画像との差分にし
きい値処理を施して、予測画像で予測できなかった領域
を現フレーム画像から抽出する。
03で計算した予測画像と現フレーム画像との差分にし
きい値処理を施して、予測画像で予測できなかった領域
を現フレーム画像から抽出する。
【0014】領域分割器105では、差分検出器104
で抽出された領域を現フレーム画像の内容にしたがって
領域分割する。領域分割の一例としては、領域成長法を
用いることができ、抽出領域内の画素について、信号値
の近いものを統合していき、信号値の近い画素の集まり
で抽出領域を分割する。領域分割の結果、微小な領域が
生じた場合は、大きな領域に統合した方が、主観的画質
が良く符号量も少なくてすむ。微小領域除去の方法とし
ては、例えば、領域の画素数を計数し、ある画素数以下
の領域は隣接する領域のうちで画素数最大の領域に統合
する。また別な方法としては、領域を画素数の多い順に
順番をつけ、ある順位以上の画素数の少ない領域に対し
前記同様な統合処理をしていき、所望の領域数になるま
で繰り返す。最終的な符号量は領域数にほぼ比例するの
で、領域数を制御することで符号量を制御することがで
きる。
で抽出された領域を現フレーム画像の内容にしたがって
領域分割する。領域分割の一例としては、領域成長法を
用いることができ、抽出領域内の画素について、信号値
の近いものを統合していき、信号値の近い画素の集まり
で抽出領域を分割する。領域分割の結果、微小な領域が
生じた場合は、大きな領域に統合した方が、主観的画質
が良く符号量も少なくてすむ。微小領域除去の方法とし
ては、例えば、領域の画素数を計数し、ある画素数以下
の領域は隣接する領域のうちで画素数最大の領域に統合
する。また別な方法としては、領域を画素数の多い順に
順番をつけ、ある順位以上の画素数の少ない領域に対し
前記同様な統合処理をしていき、所望の領域数になるま
で繰り返す。最終的な符号量は領域数にほぼ比例するの
で、領域数を制御することで符号量を制御することがで
きる。
【0015】直交変換器106では、領域分割器105
で分割されたおのおのの領域に対し、領域形状に応じて
変換基底を計算し、変換係数を求める。変換基底の計算
方法は、例えば、シグナル・プロセッシング:イメージ
・コミュニケーション誌(Signal Proces
sing:Image Communicatio
n),vol.1,No.2,pp.153−180,
(1989年)に記載の論文[文献1]の手法を適用で
き、1,x,y,x2 ,xy,y2 , …,xi yj ,…
のような線形独立な関数列を選び、それを領域形状に応
じて直交化する。
で分割されたおのおのの領域に対し、領域形状に応じて
変換基底を計算し、変換係数を求める。変換基底の計算
方法は、例えば、シグナル・プロセッシング:イメージ
・コミュニケーション誌(Signal Proces
sing:Image Communicatio
n),vol.1,No.2,pp.153−180,
(1989年)に記載の論文[文献1]の手法を適用で
き、1,x,y,x2 ,xy,y2 , …,xi yj ,…
のような線形独立な関数列を選び、それを領域形状に応
じて直交化する。
【0016】逆変換器107では、領域分割器105で
分割した領域形状から変換基底を求め、直交変換器10
6で求めた変換係数をかけて、領域内の信号値を復号す
る。
分割した領域形状から変換基底を求め、直交変換器10
6で求めた変換係数をかけて、領域内の信号値を復号す
る。
【0017】合成器108では、逆変換器107の出力
画像と動き補償器103が出力する予測画像とを合成
し、再生画像を出力する。
画像と動き補償器103が出力する予測画像とを合成
し、再生画像を出力する。
【0018】輪郭抽出器109は、変化領域抽出器10
1で抽出した動き補償領域の輪郭を抽出する。
1で抽出した動き補償領域の輪郭を抽出する。
【0019】輪郭抽出器110は、領域分割器105で
分割された直交変換領域の輪郭を抽出する。
分割された直交変換領域の輪郭を抽出する。
【0020】フレームバッファ111は、合成器108
の出力する復号画像を記録し、前フレームの復号画像を
出力する。
の出力する復号画像を記録し、前フレームの復号画像を
出力する。
【0021】本実施例の画像符号化装置において得られ
たマッピングパラメータ,動き補償領域輪郭,直交変換
領域輪郭,変換係数を符号化結果として出力する。
たマッピングパラメータ,動き補償領域輪郭,直交変換
領域輪郭,変換係数を符号化結果として出力する。
【0022】図2は、復号化装置の一実施例を説明する
ための構成図である。復号化装置は、マッピングパラメ
ータ,動き補償領域輪郭情報,直交変換領域輪郭情報,
変換係数を受信する。
ための構成図である。復号化装置は、マッピングパラメ
ータ,動き補償領域輪郭情報,直交変換領域輪郭情報,
変換係数を受信する。
【0023】領域復号器201は、受信した動き補償領
域輪郭情報から動き補償を行う領域の位置と形状の情報
を復号する。
域輪郭情報から動き補償を行う領域の位置と形状の情報
を復号する。
【0024】領域復号器202は、受信した直交変換領
域形状情報から直交変換を行う領域の位置と形状の情報
を復号する。
域形状情報から直交変換を行う領域の位置と形状の情報
を復号する。
【0025】動き補償器203では、動き補償領域につ
いて受信したマッピングパラメータに基いてフレームバ
ッファ出力画像に動き補償を行い予測画像を作る。
いて受信したマッピングパラメータに基いてフレームバ
ッファ出力画像に動き補償を行い予測画像を作る。
【0026】逆変換器204においては、直交変換領域
の形状より変換基底を求め、受信した変換係数をかけ
て、分割領域内の信号を復号する。
の形状より変換基底を求め、受信した変換係数をかけ
て、分割領域内の信号を復号する。
【0027】合成器205は、動き補償器203が出力
する予測画像と逆変換器204の出力画像を合成し、復
号画像を得る。
する予測画像と逆変換器204の出力画像を合成し、復
号画像を得る。
【0028】フレームバッファ206は、合成器205
の出力する復号画像を記録し、前フレームの復号画像を
出力する。
の出力する復号画像を記録し、前フレームの復号画像を
出力する。
【0029】
【発明の効果】以上のように、本発明では、格子状ブロ
ック分割を用いず、動物体領域を抽出し、その動物体領
域に対して動き補償を行うため、格子状のブロックひず
みが生じない。また復号画像では、動物体領域の境界で
信号の不連続変化が生じても、人間の視覚特性からひず
みが目立たず、より自然な再生画像が得られる。さら
に、変換は画像内容にしたがって分割された領域に対し
て行われるので、領域内の信号値の均質性から、高効率
な変換符号化が実現できる。また、符号量は変換対象領
域数に依存しているため、変換対象の領域数を制御する
ことで符号量を制御することができる。
ック分割を用いず、動物体領域を抽出し、その動物体領
域に対して動き補償を行うため、格子状のブロックひず
みが生じない。また復号画像では、動物体領域の境界で
信号の不連続変化が生じても、人間の視覚特性からひず
みが目立たず、より自然な再生画像が得られる。さら
に、変換は画像内容にしたがって分割された領域に対し
て行われるので、領域内の信号値の均質性から、高効率
な変換符号化が実現できる。また、符号量は変換対象領
域数に依存しているため、変換対象の領域数を制御する
ことで符号量を制御することができる。
【図1】本発明における符号化装置の一実施例の説明図
である。
である。
【図2】本発明における復号化装置の一実施例の説明図
である。
である。
101 変化領域抽出器 102 動き検出器 103,203 動き補償器 104 差分検出器 105 領域分割器 106 直交変換器 107,204 逆変換器 108,205 合成器 109,110 輪郭抽出器 111,206 フレームバッファ 201,202 領域復号器
Claims (4)
- 【請求項1】前フレームと現フレームの変化領域を検出
する手段と、 各変化領域ごとに当該領域の変移を表すマッピングパラ
メータを計算する手段と、 前記マッピングパラメータを用いて前フレーム画像に動
き補償を施す手段と、 前記動き補償した前フレーム画像では表現できない領域
を現フレーム画像より抽出する手段と、 前記抽出領域を画像の内容にしたがって領域分割する手
段と、 前記分割領域に対し領域形状に適合した直交変換基底を
計算し、直交変換を施して変換係数を算出する手段と、 前記変化領域,前記分割領域の輪郭を抽出する手段と、 前記マッピングパラメータ,前記輪郭の画素位置,前記
変換係数を符号化する手段とからなることを特徴とする
画像符号化装置。 - 【請求項2】動き補償した前フレーム画像では表現でき
ない現フレームの画像上の領域を、画像の内容にしたが
って領域分割する手段において、微小な領域は隣接する
大きな領域に統合することを特徴とする請求項1記載の
画像符号化装置。 - 【請求項3】動き補償した前フレーム画像では表現でき
ない現フレーム画像上の領域を、画像の内容にしたがっ
て領域分割する手段において、許容符号量に応じて領域
数を制限することを特徴とする請求項1の画像符号化装
置。 - 【請求項4】マッピングパラメータ,輪郭画素位置,変
換係数を受信し、前記輪郭画素位置からフレーム間の変
化領域と直交変換で符号化された各分割領域を求める手
段と、 前記変換領域について前記マッピングパラメータを用い
て前フレーム画像に動き補償を施す手段と、 前記分割領域について領域形状に適合した直交変換基底
を計算し、前記変換係数をかけて逆変換信号を計算する
手段と、 前記動き補償画像と前記逆変換信号を合成し復号画像を
得る手段とからなることを特徴とする画像復号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16853291A JP2768059B2 (ja) | 1991-07-10 | 1991-07-10 | 画像符号化装置および復号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16853291A JP2768059B2 (ja) | 1991-07-10 | 1991-07-10 | 画像符号化装置および復号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0522717A JPH0522717A (ja) | 1993-01-29 |
JP2768059B2 true JP2768059B2 (ja) | 1998-06-25 |
Family
ID=15869771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP16853291A Expired - Lifetime JP2768059B2 (ja) | 1991-07-10 | 1991-07-10 | 画像符号化装置および復号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2768059B2 (ja) |
-
1991
- 1991-07-10 JP JP16853291A patent/JP2768059B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH0522717A (ja) | 1993-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3068304B2 (ja) | 動画像符号化方式および復号化方式 | |
JP2920209B2 (ja) | 動画像の符号化によるブロック化現象除去方法 | |
JP3169783B2 (ja) | 動画像の符号化・復号システム | |
JP4514819B2 (ja) | 動画像復号装置 | |
JP3655651B2 (ja) | データ処理装置 | |
JPH03253190A (ja) | 動画像のハイブリッド符号化方法及びその装置 | |
JPH08242453A (ja) | 動きベクトル推定装置 | |
JPH0192885A (ja) | デイジタル像シーケンスからの運動ベクトル場の探索方法 | |
JPH08307874A (ja) | 映像信号符号化装置 | |
JPH08256266A (ja) | 画像符号化方式 | |
JPH06292173A (ja) | 映像信号符号化復号化方法 | |
JP3260292B2 (ja) | 重心点を用いた客体の外郭線符号化方法及び装置 | |
GB2320989A (en) | Padding image blocks using substitute pixels for shape adaptive discrete cosine transform | |
JP2768059B2 (ja) | 画像符号化装置および復号化装置 | |
JP2007151062A (ja) | 画像符号化装置、画像復号装置及び画像処理システム | |
JP3724008B2 (ja) | 画像情報変換装置および係数データ作成装置 | |
JP2616552B2 (ja) | 動画像の符号化・復号化装置 | |
JPH07177519A (ja) | 動きベクトル検出方法 | |
JPH07240922A (ja) | 画像符号化・復号化装置 | |
JP4158479B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
JP3470326B2 (ja) | 画像符号化方法 | |
JPH07154788A (ja) | 映像信号の符号化装置 | |
JP4158474B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
JP3323876B2 (ja) | 画像符号化装置及び画像復号装置並びに画像符号化方法及び画像復号方法 | |
JP2004173012A (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム |