JP2000324501A - 画像符号化装置、画像復号化装置および動きベクトル検出装置 - Google Patents
画像符号化装置、画像復号化装置および動きベクトル検出装置Info
- Publication number
- JP2000324501A JP2000324501A JP2000117087A JP2000117087A JP2000324501A JP 2000324501 A JP2000324501 A JP 2000324501A JP 2000117087 A JP2000117087 A JP 2000117087A JP 2000117087 A JP2000117087 A JP 2000117087A JP 2000324501 A JP2000324501 A JP 2000324501A
- Authority
- JP
- Japan
- Prior art keywords
- image
- luminance
- error
- decoding
- hierarchical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/20—Contour coding, e.g. using detection of edges
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【目的】 視線方向の前後関係で分離された階層画像を
構成する輝度と透過度の画像を高能率で符号化、復号化
する。 【構成】 輝度プレーンと透過度を表すαプレーンの相
関をとり、アフィン変換とブロック移動で表現される変
形パラメータを抽出する変形分析器201と、前フレー
ムの復号化結果と変形分析器201の結果から予測画像
を生成する変形合成器202とを備え、予測画像は輝度
プレーンとαプレーンからなり、各々の差分が誤差符号
化され、出力ビットストリームはアフィン変換パラメー
タ、ブロック移動パラメータ、輝度プレーン誤差符号、
αプレーン誤差符号からなる。
構成する輝度と透過度の画像を高能率で符号化、復号化
する。 【構成】 輝度プレーンと透過度を表すαプレーンの相
関をとり、アフィン変換とブロック移動で表現される変
形パラメータを抽出する変形分析器201と、前フレー
ムの復号化結果と変形分析器201の結果から予測画像
を生成する変形合成器202とを備え、予測画像は輝度
プレーンとαプレーンからなり、各々の差分が誤差符号
化され、出力ビットストリームはアフィン変換パラメー
タ、ブロック移動パラメータ、輝度プレーン誤差符号、
αプレーン誤差符号からなる。
Description
【0001】
【産業上の利用分野】本発明は画像の符号化やフレーム
周波数変換などフォーマット変換に使用する動きベクト
ル検出装置と画像を少ない符号化量で伝送記録する画像
符号化装置および画像復号化装置に関するものである。
周波数変換などフォーマット変換に使用する動きベクト
ル検出装置と画像を少ない符号化量で伝送記録する画像
符号化装置および画像復号化装置に関するものである。
【0002】
【従来の技術】ワンとエイデルソン(J.Wang a
nd E.Adelson)により動画像の伝送記録を
効率的に行なうことを目的として動画像を図23に示す
ように階層画像に分解して符号化する方式が提案されて
いる。
nd E.Adelson)により動画像の伝送記録を
効率的に行なうことを目的として動画像を図23に示す
ように階層画像に分解して符号化する方式が提案されて
いる。
【0003】この方式が開示されている文献「レイヤー
ド レプレゼンテーション フォーイメージ セクエン
ス コーディング」(J.Wang and E.Ad
elson:”Layered Representa
tion for Image Sequence C
oding”,Proc.IEEE Int.Con
f.Acoustic Speech Signal
Processing’93,pp.V221−V22
4,1993)および文献「レイヤード レプレゼンテ
ーション フォー モーション アナライシス」(J.
Wang and E.Adelson:”Layer
ed Representationfor Moti
on Analysis”, Proc.Comput
erVision and Pattern Reco
gnition,pp.361−366,1993)に
よると以下の(1)〜(3)の画像処理を行う。 (1)動画像中から同じ動きパラメータ(従来例ではア
フィン変換パラメータ)で記述される領域を抽出する。 (2)同じ動き領域を重ねて階層画像を生成する。各階
層画像は重ねられた領域の占有を示す画素毎の透過度と
輝度で表現される。 (3)階層画像間の視線方向の上下関係を調べて順序付
ける。
ド レプレゼンテーション フォーイメージ セクエン
ス コーディング」(J.Wang and E.Ad
elson:”Layered Representa
tion for Image Sequence C
oding”,Proc.IEEE Int.Con
f.Acoustic Speech Signal
Processing’93,pp.V221−V22
4,1993)および文献「レイヤード レプレゼンテ
ーション フォー モーション アナライシス」(J.
Wang and E.Adelson:”Layer
ed Representationfor Moti
on Analysis”, Proc.Comput
erVision and Pattern Reco
gnition,pp.361−366,1993)に
よると以下の(1)〜(3)の画像処理を行う。 (1)動画像中から同じ動きパラメータ(従来例ではア
フィン変換パラメータ)で記述される領域を抽出する。 (2)同じ動き領域を重ねて階層画像を生成する。各階
層画像は重ねられた領域の占有を示す画素毎の透過度と
輝度で表現される。 (3)階層画像間の視線方向の上下関係を調べて順序付
ける。
【0004】ここでアフィン変換パラメータとは、画像
中の水平垂直位置を(x,y)、動きベクトルの水平垂
直成分を(u,v)とするとき、式1に示すa0〜a5の
係数を意味する。
中の水平垂直位置を(x,y)、動きベクトルの水平垂
直成分を(u,v)とするとき、式1に示すa0〜a5の
係数を意味する。
【0005】
【数1】
【0006】カメラから十分な距離にある剛体投影像の
動きは、アフィン変換パラメータで近似できることが知
られている。彼らはこれを利用し、1フレームで構成さ
れる数種類の階層画像をアフィン変換により変形させな
がら、数十〜数百フレームの動画像を合成している。こ
の動画像を伝送記録するに必要な情報は、各階層画像に
ついて変形の元となる画像(以後テンプレートと呼ぶ)
とアフィン変換パラメータ、各階層画像の上下関係だけ
であるから、非常に高い符号化効率で動画像の記録伝送
が行なえることになる。なお、テンプレートは画像合成
のために、領域の占有を示す画素毎の透過度と輝度で表
現される。
動きは、アフィン変換パラメータで近似できることが知
られている。彼らはこれを利用し、1フレームで構成さ
れる数種類の階層画像をアフィン変換により変形させな
がら、数十〜数百フレームの動画像を合成している。こ
の動画像を伝送記録するに必要な情報は、各階層画像に
ついて変形の元となる画像(以後テンプレートと呼ぶ)
とアフィン変換パラメータ、各階層画像の上下関係だけ
であるから、非常に高い符号化効率で動画像の記録伝送
が行なえることになる。なお、テンプレートは画像合成
のために、領域の占有を示す画素毎の透過度と輝度で表
現される。
【0007】
【発明が解決しようとする課題】ワンとエイデルソンの
動画像表現では投影像がアフィン変換で記述できる剛体
の動きのみを扱っている。したがって、彼らの動画像表
現は投影像の動きがアフィン変換で記述できない場合に
対処できない。例えば図23に示す人物が非剛体の動き
を行なう場合、カメラ物体間距離が小さく透視変換の非
線形項が無視できない場合には適用できない。また投影
像の動きをアフィン変換パラメータとして求める彼らの
手法は、以下の2段階の処理から構成されている。
動画像表現では投影像がアフィン変換で記述できる剛体
の動きのみを扱っている。したがって、彼らの動画像表
現は投影像の動きがアフィン変換で記述できない場合に
対処できない。例えば図23に示す人物が非剛体の動き
を行なう場合、カメラ物体間距離が小さく透視変換の非
線形項が無視できない場合には適用できない。また投影
像の動きをアフィン変換パラメータとして求める彼らの
手法は、以下の2段階の処理から構成されている。
【0008】1.輝度の時間変化が空間輝度勾配と動き
ベクトルの内積で近似できるという輝度の時空間勾配の
関係式に基づく方法(B. Lucas and T.
Kanade:”An Iterative Imag
e Registration Technique
with Anaplication to Ster
eo Vision”,Proc.Image Und
erstanding Workshop,pp.12
1−130,April 1981)で、画面上の各位
置において局所的な動きベクトルを求める。
ベクトルの内積で近似できるという輝度の時空間勾配の
関係式に基づく方法(B. Lucas and T.
Kanade:”An Iterative Imag
e Registration Technique
with Anaplication to Ster
eo Vision”,Proc.Image Und
erstanding Workshop,pp.12
1−130,April 1981)で、画面上の各位
置において局所的な動きベクトルを求める。
【0009】2.得られた動きベクトルをクラスタリン
グしてアフィン変換パラメータを求める。
グしてアフィン変換パラメータを求める。
【0010】しかし、以上の手法では、動画像に輝度の
時空間勾配の関係式が成り立たないような大きな動きが
ある場合は適用できない。さらに、得られた動きベクト
ルからアフィン変換パラメータを推定する2段階の方法
では、パラメータ推定の基となった動きベクトルが誤っ
ている場合には、大きな推定誤差を生む。輝度変化のな
い領域あるいは輝度変化があっても一方向のみの輝度変
化で構成される領域では、動きベクトルは不定となる。
前記2段階の推定手法では、これら不確実な領域の動き
ベクトルに対する特別な処理が必要となる。以上まとめ
ると、以下の課題1、2が解決されていない。
時空間勾配の関係式が成り立たないような大きな動きが
ある場合は適用できない。さらに、得られた動きベクト
ルからアフィン変換パラメータを推定する2段階の方法
では、パラメータ推定の基となった動きベクトルが誤っ
ている場合には、大きな推定誤差を生む。輝度変化のな
い領域あるいは輝度変化があっても一方向のみの輝度変
化で構成される領域では、動きベクトルは不定となる。
前記2段階の推定手法では、これら不確実な領域の動き
ベクトルに対する特別な処理が必要となる。以上まとめ
ると、以下の課題1、2が解決されていない。
【0011】課題1:不規則な変形をもつ輝度と透過度
の画像(テンプレート)の効率的な符号化 課題2:アフィン変換パラーメータの頑健な推定 本発明は上記課題を解決するもので、視線方向の前後関
係で分離された階層画像を構成する輝度と透過度の画像
を高能率で符号化、復号化するための画像符号化装置、
画像復号化装置および動きベクトル検出装置を提供する
ことを目的とする。
の画像(テンプレート)の効率的な符号化 課題2:アフィン変換パラーメータの頑健な推定 本発明は上記課題を解決するもので、視線方向の前後関
係で分離された階層画像を構成する輝度と透過度の画像
を高能率で符号化、復号化するための画像符号化装置、
画像復号化装置および動きベクトル検出装置を提供する
ことを目的とする。
【0012】
【課題を解決するための手段】前記課題1を解決する第
1の発明の画像符号化装置は、物体の輝度と透過度から
構成される画像の系列を入力として、輝度と透過度から
構成される参照画像から部分領域間の対応により符号化
対象画像の輝度と透過度の画像を予測する予測手段と、
前記予測手段における部分領域間の対応を予測符号とし
て符号化する予測符号化手段と、前記予測画像と前記符
号化対象画像との輝度と透過度の差分を誤差画像として
求める誤差演算手段と、前記誤差画像を誤差画像符号と
して符号化する誤差符号化手段を有し、画像系列を前記
参照画像に対する誤差画像符号、予測符号として伝送記
録する構成である。
1の発明の画像符号化装置は、物体の輝度と透過度から
構成される画像の系列を入力として、輝度と透過度から
構成される参照画像から部分領域間の対応により符号化
対象画像の輝度と透過度の画像を予測する予測手段と、
前記予測手段における部分領域間の対応を予測符号とし
て符号化する予測符号化手段と、前記予測画像と前記符
号化対象画像との輝度と透過度の差分を誤差画像として
求める誤差演算手段と、前記誤差画像を誤差画像符号と
して符号化する誤差符号化手段を有し、画像系列を前記
参照画像に対する誤差画像符号、予測符号として伝送記
録する構成である。
【0013】前記課題1を解決する第2の発明の画像復
号化装置は、第1の画像符号化装置と同じ参照画像を保
持し、予測符号より部分領域間の対応を復号化する予測
符号復号化手段と、前記部分領域間の対応より、参照画
像から予測画像を生成する予測画像生成手段と、誤差画
像符号より誤差画像を復号化する誤差画像復号化手段
と、前記予測画像と前記誤差画像を加算して輝度と透過
度からなる画像を得る加算手段とを有し、前記予測画像
生成手段あるいは前記加算手段の出力として輝度と透過
度から構成される画像を復号化する構成である。
号化装置は、第1の画像符号化装置と同じ参照画像を保
持し、予測符号より部分領域間の対応を復号化する予測
符号復号化手段と、前記部分領域間の対応より、参照画
像から予測画像を生成する予測画像生成手段と、誤差画
像符号より誤差画像を復号化する誤差画像復号化手段
と、前記予測画像と前記誤差画像を加算して輝度と透過
度からなる画像を得る加算手段とを有し、前記予測画像
生成手段あるいは前記加算手段の出力として輝度と透過
度から構成される画像を復号化する構成である。
【0014】前記課題1を解決する第3の発明の画像符
号化装置は、物体の輝度と透過度から構成される画像を
入力として、領域を透明領域と不透明領域の2つに分類
し、不透明領域については物体の輝度を、透明領域につ
いては輝度の値域外の所定の値をとるよう輝度と透過度
の情報が重畳された輝度画像を生成する重畳手段を有
し、前記輝度と透過度の情報が重畳された輝度画像を符
号化する構成である。
号化装置は、物体の輝度と透過度から構成される画像を
入力として、領域を透明領域と不透明領域の2つに分類
し、不透明領域については物体の輝度を、透明領域につ
いては輝度の値域外の所定の値をとるよう輝度と透過度
の情報が重畳された輝度画像を生成する重畳手段を有
し、前記輝度と透過度の情報が重畳された輝度画像を符
号化する構成である。
【0015】前記課題1を解決する第4の発明の画像復
号化装置は、輝度値が値域外の値である場合は透明領
域、値域内の場合は輝度値として画像を透過度画像と輝
度画像とに分離する分離手段を有し、輝度と透過度の画
像を復号化する構成である。
号化装置は、輝度値が値域外の値である場合は透明領
域、値域内の場合は輝度値として画像を透過度画像と輝
度画像とに分離する分離手段を有し、輝度と透過度の画
像を復号化する構成である。
【0016】前記課題1を解決する第5の発明の画像符
号化装置は、原画像が輝度に加えて視線軸上の前後関係
と領域の透過度より階層的に表現される時、この階層化
された複数の画像を入力として、各階層画像毎に輝度と
透過度を階層画像符号として符号化する階層画像符号化
手段と、階層画像符号化手段の結果から復号された前記
階層画像を求める階層画像画像復号化手段と、前記復号
された複数の階層画像をその前後関係、輝度、透過度に
より合成する合成手段と、前記原画像と前記合成画像と
の誤差画像を求め、これを符号化する誤差画像符号化手
段を有し、前記原画像を、複数の階層画像符号と原画像
との誤差符号によって伝送記録する構成である。
号化装置は、原画像が輝度に加えて視線軸上の前後関係
と領域の透過度より階層的に表現される時、この階層化
された複数の画像を入力として、各階層画像毎に輝度と
透過度を階層画像符号として符号化する階層画像符号化
手段と、階層画像符号化手段の結果から復号された前記
階層画像を求める階層画像画像復号化手段と、前記復号
された複数の階層画像をその前後関係、輝度、透過度に
より合成する合成手段と、前記原画像と前記合成画像と
の誤差画像を求め、これを符号化する誤差画像符号化手
段を有し、前記原画像を、複数の階層画像符号と原画像
との誤差符号によって伝送記録する構成である。
【0017】前記課題1を解決する第6の発明の画像復
号化装置は、複数の階層画像符号から輝度、透過度、視
線軸上の前後関係からなる階層画像を復号化する階層画
像復号化手段と、前記階層画像により合成画像を生成す
る合成手段と、誤差符号より誤差画像を復号化する誤差
画像復号化手段を有し、前記合成画像に誤差画像を加え
ることにより画像を復号化する構成である。
号化装置は、複数の階層画像符号から輝度、透過度、視
線軸上の前後関係からなる階層画像を復号化する階層画
像復号化手段と、前記階層画像により合成画像を生成す
る合成手段と、誤差符号より誤差画像を復号化する誤差
画像復号化手段を有し、前記合成画像に誤差画像を加え
ることにより画像を復号化する構成である。
【0018】前記課題1を解決する第7の発明の画像符
号化装置は、複数の参照画像を予め伝送記録する参照画
像符号化手段と、入力画像と前記複数の参照画像との間
で輝度が対応する位置の偏位すなわち変形を画面上の位
置を変数とする多項式関数として近似し、近似誤差を求
める画像間対応近似手段と、近似誤差の小さな参照画像
を前記複数の参照画像の中から求め、選ばれた参照画像
の識別子と多項式関数の係数を出力する最小歪み参照画
像選択手段を有し、前記参照画像符号化手段により複数
の参照画像を符号化するとともに、入力画像系列を少な
くとも前記選ばれた参照画像に対する識別子と前記多項
式関数の係数として伝送記録する構成である。
号化装置は、複数の参照画像を予め伝送記録する参照画
像符号化手段と、入力画像と前記複数の参照画像との間
で輝度が対応する位置の偏位すなわち変形を画面上の位
置を変数とする多項式関数として近似し、近似誤差を求
める画像間対応近似手段と、近似誤差の小さな参照画像
を前記複数の参照画像の中から求め、選ばれた参照画像
の識別子と多項式関数の係数を出力する最小歪み参照画
像選択手段を有し、前記参照画像符号化手段により複数
の参照画像を符号化するとともに、入力画像系列を少な
くとも前記選ばれた参照画像に対する識別子と前記多項
式関数の係数として伝送記録する構成である。
【0019】前記課題1を解決する第8の発明の画像復
号化装置は、複数の参照画像を予め再構成しておく参照
画像復号化手段と、前記複数の参照画像から入力に含ま
れる参照画像に対する識別子に対応する参照画像を選択
する参照画像選択手段と、画像の変形を画面上の位置を
変数とする多項式関数を入力に含まれる多項式関数の係
数を基に決定し、前記多項式関数により前記選択された
参照画像変形する参照画像変形手段を有し、前記参照画
像変形手段により変形された参照画像を用いて画像を復
号化する構成である。
号化装置は、複数の参照画像を予め再構成しておく参照
画像復号化手段と、前記複数の参照画像から入力に含ま
れる参照画像に対する識別子に対応する参照画像を選択
する参照画像選択手段と、画像の変形を画面上の位置を
変数とする多項式関数を入力に含まれる多項式関数の係
数を基に決定し、前記多項式関数により前記選択された
参照画像変形する参照画像変形手段を有し、前記参照画
像変形手段により変形された参照画像を用いて画像を復
号化する構成である。
【0020】前記課題2を解決する第9の発明の動きベ
クトル検出装置は、物体の輝度と透過度から構成される
複数の画像を入力として、透過度を所定の値の加算乗算
と必要に応じてしきい値処理を行ない値域を変換し、変
換した値を輝度に加算して輝度と透過度の情報が重畳さ
れた輝度画像を生成する重畳手段と、輝度の相関により
2つの画像の部分領域の対応を得る画像分析手段を有
し、前記重畳手段によって、輝度と透過度から構成され
る画像を、輝度だけで構成される画像に変換し、変換さ
れた複数の画像間で前記画像分析手段を用いて部分領域
の対応を得る構成である。
クトル検出装置は、物体の輝度と透過度から構成される
複数の画像を入力として、透過度を所定の値の加算乗算
と必要に応じてしきい値処理を行ない値域を変換し、変
換した値を輝度に加算して輝度と透過度の情報が重畳さ
れた輝度画像を生成する重畳手段と、輝度の相関により
2つの画像の部分領域の対応を得る画像分析手段を有
し、前記重畳手段によって、輝度と透過度から構成され
る画像を、輝度だけで構成される画像に変換し、変換さ
れた複数の画像間で前記画像分析手段を用いて部分領域
の対応を得る構成である。
【0021】前記課題2を解決する第10の発明の動き
ベクトル検出装置は、画面上の任意の位置の動きベクト
ルをその位置を変数とする多項式関数として表現する装
置であって、画像を分割して得られる複数の部分領域に
ついて、異なる2つの画像の部分領域の対応を誤差とし
て演算し、最小誤差となる前記部分領域間の偏位とその
近傍の誤差値を求める誤差演算手段と、前記最小誤差と
なる偏位とその近傍の誤差値から偏位を変数とする2次
の誤差関数を求める誤差関数演算手段と、前記2次誤差
関数の総和あるいは部分和を、多項式関数の係数を変数
として表現し、この総和あるいは部分和の最小化を係数
について行なう最適化手段を有し、異なる画像間の動き
ベクトルを多項式関数の係数として出力する構成であ
る。
ベクトル検出装置は、画面上の任意の位置の動きベクト
ルをその位置を変数とする多項式関数として表現する装
置であって、画像を分割して得られる複数の部分領域に
ついて、異なる2つの画像の部分領域の対応を誤差とし
て演算し、最小誤差となる前記部分領域間の偏位とその
近傍の誤差値を求める誤差演算手段と、前記最小誤差と
なる偏位とその近傍の誤差値から偏位を変数とする2次
の誤差関数を求める誤差関数演算手段と、前記2次誤差
関数の総和あるいは部分和を、多項式関数の係数を変数
として表現し、この総和あるいは部分和の最小化を係数
について行なう最適化手段を有し、異なる画像間の動き
ベクトルを多項式関数の係数として出力する構成であ
る。
【0022】
【作用】第1の発明の画像符号化装置は、予測手段によ
って参照画像(すなわちテンプレート)と符号化対象画
像の部分領域の対応をとることにより、参照画像から符
号化対象画像の輝度と透過度を予測し、予測画像を生成
する。部分領域の対応は予測信号として予測符号化手段
により出力される。誤差演算手段により予測画像と符号
化対象画像との輝度と透過度の差分を求め誤差符号化手
段により符号化する。
って参照画像(すなわちテンプレート)と符号化対象画
像の部分領域の対応をとることにより、参照画像から符
号化対象画像の輝度と透過度を予測し、予測画像を生成
する。部分領域の対応は予測信号として予測符号化手段
により出力される。誤差演算手段により予測画像と符号
化対象画像との輝度と透過度の差分を求め誤差符号化手
段により符号化する。
【0023】第2の発明の画像復号化装置は、第1の発
明の画像符号化装置と同じ参照画像を保持し、予測符号
復号化手段と予測画像生成手段とにより予測符号から部
分領域間の対応を復号して参照画像から予測画像を生成
する。一方、誤差画像復号化手段により誤差画像符号か
ら誤差画像を復号化する。そして、加算手段が予測画像
と誤差画像を加算して輝度と透過度からなる画像を得
る。
明の画像符号化装置と同じ参照画像を保持し、予測符号
復号化手段と予測画像生成手段とにより予測符号から部
分領域間の対応を復号して参照画像から予測画像を生成
する。一方、誤差画像復号化手段により誤差画像符号か
ら誤差画像を復号化する。そして、加算手段が予測画像
と誤差画像を加算して輝度と透過度からなる画像を得
る。
【0024】以上の二発明では、符号化側では予測画像
と符号化対象画像との輝度と透過度の差分を求め符号化
する。一方復号化側では透過度と輝度の差分が復号され
る。これによって、不規則なテンプレートの変形を許し
た階層画像の符号化が行なえる。
と符号化対象画像との輝度と透過度の差分を求め符号化
する。一方復号化側では透過度と輝度の差分が復号され
る。これによって、不規則なテンプレートの変形を許し
た階層画像の符号化が行なえる。
【0025】第3の発明の画像符号化装置では、物体の
輝度と透過度から構成される画像を入力として、重畳手
段が領域を透明領域と不透明領域の2つに分類し、不透
明領域については物体の輝度を、透明領域については輝
度の値域外の所定の値をとるよう輝度と透過度の情報が
重畳された輝度画像を生成したのち、これを符号化す
る。
輝度と透過度から構成される画像を入力として、重畳手
段が領域を透明領域と不透明領域の2つに分類し、不透
明領域については物体の輝度を、透明領域については輝
度の値域外の所定の値をとるよう輝度と透過度の情報が
重畳された輝度画像を生成したのち、これを符号化す
る。
【0026】第4の発明の画像復号化装置は、復号化さ
れた画像から分離手段が輝度値が値域外の所定の値であ
る場合は透明領域、値域内の場合は輝度値として画像を
透過度画像と輝度画像に分離する。以上の二発明では、
テンプレートを構成する輝度と透過度の2つの情報を一
つの輝度画像に変換することにより、この輝度画像の変
化としてテンプレートの変形を扱うことができる。
れた画像から分離手段が輝度値が値域外の所定の値であ
る場合は透明領域、値域内の場合は輝度値として画像を
透過度画像と輝度画像に分離する。以上の二発明では、
テンプレートを構成する輝度と透過度の2つの情報を一
つの輝度画像に変換することにより、この輝度画像の変
化としてテンプレートの変形を扱うことができる。
【0027】第5の発明の画像符号化装置では、原画像
は輝度に加えて視線軸上の前後関係と領域の透過度によ
り階層的に表現されている。画像符号化装置はこの階層
化された複数の画像を入力として、階層画像毎に階層画
像符号化手段により、輝度と透過度を階層画像符号とし
て符号化する。一方で、階層画像画像復号化手段により
階層画像符号化手段の結果から復号された前記階層画像
を求め、合成手段により復号された複数の階層画像をそ
の前後関係、輝度、透過度から合成する。これにより、
復号化装置での階層画像の合成結果を推定することにな
る。そして、誤差画像符号化手段が原画像と推定された
合成画像との誤差画像を求め、これを符号化する。
は輝度に加えて視線軸上の前後関係と領域の透過度によ
り階層的に表現されている。画像符号化装置はこの階層
化された複数の画像を入力として、階層画像毎に階層画
像符号化手段により、輝度と透過度を階層画像符号とし
て符号化する。一方で、階層画像画像復号化手段により
階層画像符号化手段の結果から復号された前記階層画像
を求め、合成手段により復号された複数の階層画像をそ
の前後関係、輝度、透過度から合成する。これにより、
復号化装置での階層画像の合成結果を推定することにな
る。そして、誤差画像符号化手段が原画像と推定された
合成画像との誤差画像を求め、これを符号化する。
【0028】第6の発明の画像復号化装置は、階層画像
復号化手段により複数の階層画像符号から輝度、透過
度、視線軸上の前後関係からなる階層画像を復号し、合
成手段により階層画像から合成画像を生成する。そし
て、誤差画像復号化手段は誤差符号から誤差画像を復号
化する。最後に合成画像に誤差画像を加えることにより
画像が復元される。以上の二発明は、テンプレートが不
規則に変形する場合でも、階層画像の合成を最終結果と
はせずに予測画像とし、この予測画像と原画像との差分
を伝送記録することにより画像を大きな視覚劣化なく伝
送記録することができる。
復号化手段により複数の階層画像符号から輝度、透過
度、視線軸上の前後関係からなる階層画像を復号し、合
成手段により階層画像から合成画像を生成する。そし
て、誤差画像復号化手段は誤差符号から誤差画像を復号
化する。最後に合成画像に誤差画像を加えることにより
画像が復元される。以上の二発明は、テンプレートが不
規則に変形する場合でも、階層画像の合成を最終結果と
はせずに予測画像とし、この予測画像と原画像との差分
を伝送記録することにより画像を大きな視覚劣化なく伝
送記録することができる。
【0029】第7の発明では、参照画像符号化手段によ
りテンプレートが予め伝送記録される。入力画像と複数
のテンプレートとの間の対応が画像間対応近似手段によ
り、画面上の位置を変数とする多項式関数として近似さ
れる。最小歪み参照画像選択手段は、この複数のテンプ
レートの中で近似誤差の小さな参照画像を時間順序に関
係なく前記複数の参照画像の中から求め、選ばれた参照
画像の識別子と多項式関数の係数を出力する。複数のテ
ンプレートを用意することにより、前記多項式関数で近
似される度合が向上する。
りテンプレートが予め伝送記録される。入力画像と複数
のテンプレートとの間の対応が画像間対応近似手段によ
り、画面上の位置を変数とする多項式関数として近似さ
れる。最小歪み参照画像選択手段は、この複数のテンプ
レートの中で近似誤差の小さな参照画像を時間順序に関
係なく前記複数の参照画像の中から求め、選ばれた参照
画像の識別子と多項式関数の係数を出力する。複数のテ
ンプレートを用意することにより、前記多項式関数で近
似される度合が向上する。
【0030】第8の発明の画像復号化装置は、複数のテ
ンプレートは参照画像復号化手段により予め再構成され
る。参照画像選択手段は入力されたテンプレートの識別
子に対応するテンプレートを選び出し、これを参照画像
変形手段は、入力された多項式関数の係数を基に画像を
変形させる。符号化装置側で、入力画像に対して前記多
項式関数によるテンプレートの変形結果が類似している
ことが保証されているため少ない符号化量で画像を復号
化することができる。
ンプレートは参照画像復号化手段により予め再構成され
る。参照画像選択手段は入力されたテンプレートの識別
子に対応するテンプレートを選び出し、これを参照画像
変形手段は、入力された多項式関数の係数を基に画像を
変形させる。符号化装置側で、入力画像に対して前記多
項式関数によるテンプレートの変形結果が類似している
ことが保証されているため少ない符号化量で画像を復号
化することができる。
【0031】第9の発明の物体の輝度と透過度から構成
される複数の画像を入力とする動きベクトル検出装置
は、重畳手段により、透過度を所定の値の加算乗算と必
要に応じてしきい値処理を行ない値域を変換し、変換し
た値を輝度に加算して輝度と透過度の情報が重畳された
輝度画像を生成する。そして、画像分析手段は輝度の相
関により2つの画像の部分領域の対応を得る。これによ
り、輝度だけでなく透過度の相関を利用した動きベクト
ル検出を行なうことができる。
される複数の画像を入力とする動きベクトル検出装置
は、重畳手段により、透過度を所定の値の加算乗算と必
要に応じてしきい値処理を行ない値域を変換し、変換し
た値を輝度に加算して輝度と透過度の情報が重畳された
輝度画像を生成する。そして、画像分析手段は輝度の相
関により2つの画像の部分領域の対応を得る。これによ
り、輝度だけでなく透過度の相関を利用した動きベクト
ル検出を行なうことができる。
【0032】第10の発明の画面上の任意の位置の動き
ベクトルをその位置を変数とする多項式関数として表現
する動きベクトル検出装置は、誤差演算手段は画像を分
割して得られる複数の部分領域について、異なる2つの
画像の部分領域の対応を誤差として演算し、最小誤差と
なる前記部分領域間の偏位とその近傍の誤差値を求め
る。誤差関数演算手段は前記最小誤差となる偏位とその
近傍の誤差値から偏位を変数とする2次の誤差関数を求
める。そして、最適化手段は前記2次誤差関数の総和あ
るいは部分和を、前記多項式関数の係数を変数として表
現し、この総和あるいは部分和の最小化を係数について
行なう。本発明では、動きベクトルからではなく、偏位
を変数とする2次の誤差関数から、これの総和または部
分和を最小化するよう位置を変数とする多項式関数(ア
フィン変換はその一例)の係数を定めることができる。
ベクトルをその位置を変数とする多項式関数として表現
する動きベクトル検出装置は、誤差演算手段は画像を分
割して得られる複数の部分領域について、異なる2つの
画像の部分領域の対応を誤差として演算し、最小誤差と
なる前記部分領域間の偏位とその近傍の誤差値を求め
る。誤差関数演算手段は前記最小誤差となる偏位とその
近傍の誤差値から偏位を変数とする2次の誤差関数を求
める。そして、最適化手段は前記2次誤差関数の総和あ
るいは部分和を、前記多項式関数の係数を変数として表
現し、この総和あるいは部分和の最小化を係数について
行なう。本発明では、動きベクトルからではなく、偏位
を変数とする2次の誤差関数から、これの総和または部
分和を最小化するよう位置を変数とする多項式関数(ア
フィン変換はその一例)の係数を定めることができる。
【0033】
【実施例】本発明の各実施例では、装置の動作を容易に
理解するために、画像は縦横288×352画素で構成
され、階層は一般性を失うことなく、2つで背景と前景
のみからなるものとする。また動きベクトル検出のため
の相関演算を行なうブロックは縦16画素、横16画素
で構成されているとする。
理解するために、画像は縦横288×352画素で構成
され、階層は一般性を失うことなく、2つで背景と前景
のみからなるものとする。また動きベクトル検出のため
の相関演算を行なうブロックは縦16画素、横16画素
で構成されているとする。
【0034】以下、本発明の実施例を図面を用いて説明
する。本発明(請求項1,2,9,10)の第1の実施例を図1
〜図12を用いて説明する。ここで、図2は第1の発明
の構成例、図3は第2の発明の構成例、図4は第9の発
明の構成例、図5は第10の発明の構成例を示す図であ
る。図1は画像符号化装置と画像復号化装置の動作を説
明する階層符号化システムの構成図である。階層画像は
輝度と透過度の二つのフレームで構成されている。これ
を各々輝度プレーン、αプレーンと呼ぶことにする。階
層画像合成器107では、式2で表現される合成を行な
う。
する。本発明(請求項1,2,9,10)の第1の実施例を図1
〜図12を用いて説明する。ここで、図2は第1の発明
の構成例、図3は第2の発明の構成例、図4は第9の発
明の構成例、図5は第10の発明の構成例を示す図であ
る。図1は画像符号化装置と画像復号化装置の動作を説
明する階層符号化システムの構成図である。階層画像は
輝度と透過度の二つのフレームで構成されている。これ
を各々輝度プレーン、αプレーンと呼ぶことにする。階
層画像合成器107では、式2で表現される合成を行な
う。
【0035】
【数2】
【0036】式2において(x,y)は水平垂直位置で
あり、gf、gbは各々前景背景の輝度値[0,255]
を、αは前景の透過度[0,1]を表している。gは合
成された輝度値である。本実施例では簡単のため階層は
2つとしているために、背景の透過度は全て1で構成さ
れる。階層画像符号化器101、102は、前景、背景
の輝度プレーンとαプレーンの各動画像を符号化し、マ
ルチプレクサ103によって多重されたビットストリー
ムは復号化装置に送出される。復号化装置では、デマル
チプレクサ104により各階層画像のデータが分離さ
れ、階層画像復号化器105、106で階層画像が再構
成される。再構成された階層画像は階層画像合成器10
7で合成される。以下、この符号化システムを順に説明
していく。
あり、gf、gbは各々前景背景の輝度値[0,255]
を、αは前景の透過度[0,1]を表している。gは合
成された輝度値である。本実施例では簡単のため階層は
2つとしているために、背景の透過度は全て1で構成さ
れる。階層画像符号化器101、102は、前景、背景
の輝度プレーンとαプレーンの各動画像を符号化し、マ
ルチプレクサ103によって多重されたビットストリー
ムは復号化装置に送出される。復号化装置では、デマル
チプレクサ104により各階層画像のデータが分離さ
れ、階層画像復号化器105、106で階層画像が再構
成される。再構成された階層画像は階層画像合成器10
7で合成される。以下、この符号化システムを順に説明
していく。
【0037】図2は、図1における本発明(請求項1)
の一実施例における階層画像符号化器101、102の
構成図である。図2において、201は変形分析器、2
02は変形合成器、203、204は差分器、205は
予測符号符号化器、206は輝度プレーン誤差符号化
器、207はαプレーン誤差符号化器、208は輝度プ
レーン誤差復号化器、209はαプレーン誤差復号化
器、210はマルチプレクサ、211、212は加算
器、213、214はフレーム遅延器である。以上によ
うに構成された階層画像符号化器の動作を以下に説明す
る。
の一実施例における階層画像符号化器101、102の
構成図である。図2において、201は変形分析器、2
02は変形合成器、203、204は差分器、205は
予測符号符号化器、206は輝度プレーン誤差符号化
器、207はαプレーン誤差符号化器、208は輝度プ
レーン誤差復号化器、209はαプレーン誤差復号化
器、210はマルチプレクサ、211、212は加算
器、213、214はフレーム遅延器である。以上によ
うに構成された階層画像符号化器の動作を以下に説明す
る。
【0038】まず、変形分析器201では現在入力され
ている輝度プレーンとαプレーンの各位置に対して前フ
レームの復号結果である輝度プレーンとαプレーンのど
の位置が対応するかを求める。この位置の対応情報は後
述のアフィン変換パラメータとブロック並行移動成分と
して予測符号符号化器205で符号化される。変形合成
器202はこの対応情報を受け、前フレームの復号化結
果である輝度プレーンとαプレーンを変形させ、差分器
203、204で差分信号とする。輝度プレーンに限っ
てみれば、これは一般にCCITT勧告H.261に記
載されている画像符号化装置などで、「動き補償」と呼
ばれている処理に相当する。ここでは16×16画素の
ブロックで誤差絶対値和(SADと略す)最小となるブ
ロック移動だけでなく画面全体のアフィン変換を組み合
わせた動き補償を行なっている点が異なる。これを図6
を用いて説明する。
ている輝度プレーンとαプレーンの各位置に対して前フ
レームの復号結果である輝度プレーンとαプレーンのど
の位置が対応するかを求める。この位置の対応情報は後
述のアフィン変換パラメータとブロック並行移動成分と
して予測符号符号化器205で符号化される。変形合成
器202はこの対応情報を受け、前フレームの復号化結
果である輝度プレーンとαプレーンを変形させ、差分器
203、204で差分信号とする。輝度プレーンに限っ
てみれば、これは一般にCCITT勧告H.261に記
載されている画像符号化装置などで、「動き補償」と呼
ばれている処理に相当する。ここでは16×16画素の
ブロックで誤差絶対値和(SADと略す)最小となるブ
ロック移動だけでなく画面全体のアフィン変換を組み合
わせた動き補償を行なっている点が異なる。これを図6
を用いて説明する。
【0039】図6は図2の変形合成器202の構成を示
しており、図中601は輝度画像メモリ、602はα画
像メモリ、603はデマルチプレクサ、604、605
はアフィン変換部、606、607はアフィン変換画像
メモリ、608、609は画像ブロック変形部である。
対応情報(変形パラメータ)はアフィン変換パラメータ
(式1参照)と縦横18×22個に分割されたブロック
についてその平行移動成分(図12参照)で構成されて
いる。動き補償のステップは以下に示す通りである。
しており、図中601は輝度画像メモリ、602はα画
像メモリ、603はデマルチプレクサ、604、605
はアフィン変換部、606、607はアフィン変換画像
メモリ、608、609は画像ブロック変形部である。
対応情報(変形パラメータ)はアフィン変換パラメータ
(式1参照)と縦横18×22個に分割されたブロック
についてその平行移動成分(図12参照)で構成されて
いる。動き補償のステップは以下に示す通りである。
【0040】1.輝度画像メモリ601、α画像メモリ
602に各々輝度プレーン、αプレーンの画素値が取り
込まれる。同時にデマルチプレクサ603によりアフィ
ン変換パラメータとブロック並行移動成分が分離され
る。
602に各々輝度プレーン、αプレーンの画素値が取り
込まれる。同時にデマルチプレクサ603によりアフィ
ン変換パラメータとブロック並行移動成分が分離され
る。
【0041】2.アフィン変換パラメータにより式1に
示されている移動量(u,v)について画像がアフィン
変換部604、605によりシフトされる。結果はアフ
ィン変換画像メモリ606、607に記憶される。
示されている移動量(u,v)について画像がアフィン
変換部604、605によりシフトされる。結果はアフ
ィン変換画像メモリ606、607に記憶される。
【0042】3.アフィン変換画像メモリ606、60
7に記憶された画像がさらに画像ブロック変形部60
8、609により縦横18×22個に分割されたブロッ
クについてその平行移動を16×16画素の大きさのブ
ロック単位で行なう。
7に記憶された画像がさらに画像ブロック変形部60
8、609により縦横18×22個に分割されたブロッ
クについてその平行移動を16×16画素の大きさのブ
ロック単位で行なう。
【0043】これを行なうために図2の変形分析器20
1はアフィン変換パラメータとブロック移動成分の抽出
を行なわなければならない。図4は図2の変形分析器2
01の構成図である。これを用いて変形分析器201の
動作を説明する。尚、図4に示す変形分析器201の構
成は本発明(請求項9)の動きベクトル検出装置の構成
例となっている。
1はアフィン変換パラメータとブロック移動成分の抽出
を行なわなければならない。図4は図2の変形分析器2
01の構成図である。これを用いて変形分析器201の
動作を説明する。尚、図4に示す変形分析器201の構
成は本発明(請求項9)の動きベクトル検出装置の構成
例となっている。
【0044】図4において、401、402は輝度画像
メモリ、403、404はα画像メモリ、405、40
6は輝度・α重畳部、407はアフィン変換部、408
はアフィン変換係数演算部、409はアフィン変換画像
メモリ、410はブロック相関演算部、411はマルチ
プレクサである。図4に示す変形分析器201では、輝
度画像メモリ401、α画像メモリ403が参照画像と
して前フレームの結果をバッファリングしている。輝度
画像メモリ402、α画像メモリ404は符号化対象画
像である現在の入力フレームの画像を保持している。輝
度・α重畳部405、406は式3に示す処理を行な
い、一つの輝度画像を生成する。式3において、画素の
水平垂直位置(x,y)についてh(x,y)は合成さ
れた輝度画像、gは輝度プレーンの輝度値[0,25
5]、αはαプレーンの値[0,1]である。
メモリ、403、404はα画像メモリ、405、40
6は輝度・α重畳部、407はアフィン変換部、408
はアフィン変換係数演算部、409はアフィン変換画像
メモリ、410はブロック相関演算部、411はマルチ
プレクサである。図4に示す変形分析器201では、輝
度画像メモリ401、α画像メモリ403が参照画像と
して前フレームの結果をバッファリングしている。輝度
画像メモリ402、α画像メモリ404は符号化対象画
像である現在の入力フレームの画像を保持している。輝
度・α重畳部405、406は式3に示す処理を行な
い、一つの輝度画像を生成する。式3において、画素の
水平垂直位置(x,y)についてh(x,y)は合成さ
れた輝度画像、gは輝度プレーンの輝度値[0,25
5]、αはαプレーンの値[0,1]である。
【0045】
【数3】
【0046】式3ではαの値により不透明領域では輝度
値を透明領域では適当な負値(−100)を重畳してい
る。これにより透過度の情報が重畳された輝度画像が生
成される。これを図示すると図11になる。また、この
ようなしきい値処理ではなく、実験的に定めた重畳係数
γを乗して式4のように重畳を行なっても良い。
値を透明領域では適当な負値(−100)を重畳してい
る。これにより透過度の情報が重畳された輝度画像が生
成される。これを図示すると図11になる。また、この
ようなしきい値処理ではなく、実験的に定めた重畳係数
γを乗して式4のように重畳を行なっても良い。
【0047】
【数4】
【0048】本実施例では、後に述べる他の実施例で輝
度・α重畳部を他の目的にも使用するため、式3に定め
る動作を行なうものとする。このようにして輝度とα値
が重畳された画像について式5、式6に定める相関演算
を行なう。
度・α重畳部を他の目的にも使用するため、式3に定め
る動作を行なうものとする。このようにして輝度とα値
が重畳された画像について式5、式6に定める相関演算
を行なう。
【0049】
【数5】
【0050】
【数6】
【0051】式5において、ht-1は前フレーム(図
4、参照画像)の重畳画素値、htは現フレーム(図
4、対象画像)の重畳画素値を表す。Rは16×16画
素の領域を表し、(u,v)は図12に示すように対応
するブロック領域への偏位である。式6によればSAD
の最も小さな偏位が動きベクトルとして求められる。ブ
ロック相関部410はアフィン変換された参照重畳画像
と対象重畳画像についてこの演算を行なう。なお、ブロ
ック相関部410にα画像メモリ404の出力が入力さ
れているのは、対象画像のαプレーンが全て透明である
領域については動きベクトルは不定となることから計算
を省略するためである。ブロック相関部410は18×
22ブロックについて最小となった偏位(p,q)を動
きベクトルとして出力する。アフィン変換部407、ア
フィン変換画像メモリ409は既に図6で説明した同名
のブロックと同じ動作を行なう。
4、参照画像)の重畳画素値、htは現フレーム(図
4、対象画像)の重畳画素値を表す。Rは16×16画
素の領域を表し、(u,v)は図12に示すように対応
するブロック領域への偏位である。式6によればSAD
の最も小さな偏位が動きベクトルとして求められる。ブ
ロック相関部410はアフィン変換された参照重畳画像
と対象重畳画像についてこの演算を行なう。なお、ブロ
ック相関部410にα画像メモリ404の出力が入力さ
れているのは、対象画像のαプレーンが全て透明である
領域については動きベクトルは不定となることから計算
を省略するためである。ブロック相関部410は18×
22ブロックについて最小となった偏位(p,q)を動
きベクトルとして出力する。アフィン変換部407、ア
フィン変換画像メモリ409は既に図6で説明した同名
のブロックと同じ動作を行なう。
【0052】次にアフィン変換係数演算部408の説明
を行なう。図5はアフィン変換係数演算部408の構成
図であり、本発明(請求項10)の動きベクトル検出装
置の構成例となっている。図5において、501はブロ
ック相関演算部、502はSAD局面近似部、503は
誤差関数パラメータ格納メモリ、504はアフィン変換
パラメータ演算部である。ブロック相関演算部501の
動作は図4のブロック相関部410とほぼ同じである。
異なる点は、ブロック相関演算部501は18×22ブ
ロックについて最小となった偏位(p,q)に加えて、
その位置のSAD最小値と8近傍のSAD値を出力する
ことである。これを式7に示す。式7においてtは行列
の転置を表す。
を行なう。図5はアフィン変換係数演算部408の構成
図であり、本発明(請求項10)の動きベクトル検出装
置の構成例となっている。図5において、501はブロ
ック相関演算部、502はSAD局面近似部、503は
誤差関数パラメータ格納メモリ、504はアフィン変換
パラメータ演算部である。ブロック相関演算部501の
動作は図4のブロック相関部410とほぼ同じである。
異なる点は、ブロック相関演算部501は18×22ブ
ロックについて最小となった偏位(p,q)に加えて、
その位置のSAD最小値と8近傍のSAD値を出力する
ことである。これを式7に示す。式7においてtは行列
の転置を表す。
【0053】
【数7】
【0054】これを受けてSAD局面近似部502は式
8〜式13の演算を行なう。演算結果は誤差関数パラメ
ータ格納メモリ503に格納される。式8〜式13の演
算は、SAD値を偏位(u,v)の関数と考えて、最小
偏位(p,q)近傍で2次のテーラー展開をおこなって
いることに相当する。縦横18×22のブロックの位置
をi、jと表現すると、透明である領域を除いて、各々
の2次誤差関数は式14で表現することができる。
8〜式13の演算を行なう。演算結果は誤差関数パラメ
ータ格納メモリ503に格納される。式8〜式13の演
算は、SAD値を偏位(u,v)の関数と考えて、最小
偏位(p,q)近傍で2次のテーラー展開をおこなって
いることに相当する。縦横18×22のブロックの位置
をi、jと表現すると、透明である領域を除いて、各々
の2次誤差関数は式14で表現することができる。
【0055】
【数8】
【0056】
【数9】
【0057】
【数10】
【0058】
【数11】
【0059】
【数12】
【0060】
【数13】
【0061】
【数14】
【0062】ここで、式15、式16に示すようにアフ
ィン変換パラメータにより各ブロックの動きベクトルは
記述されるから、変分原理により各SAD誤差関数の総
和を最小とする必要条件として式17に示すように、ア
フィン変換パラメータaの偏微分が零ベクトルとならな
くてはならないオイラー式が導き出せる。これは式18
の行列で表現できる。アフィンパラメータ演算部504
はこのために式19(6×6行列)、式20(6×1行
列)をまず求め、そして式21により、アフィン変換パ
ラメータを演算する。
ィン変換パラメータにより各ブロックの動きベクトルは
記述されるから、変分原理により各SAD誤差関数の総
和を最小とする必要条件として式17に示すように、ア
フィン変換パラメータaの偏微分が零ベクトルとならな
くてはならないオイラー式が導き出せる。これは式18
の行列で表現できる。アフィンパラメータ演算部504
はこのために式19(6×6行列)、式20(6×1行
列)をまず求め、そして式21により、アフィン変換パ
ラメータを演算する。
【0063】なお、式19、式20において、(xj,
yi)はブロックi、jの中心位置である。
yi)はブロックi、jの中心位置である。
【0064】
【数15】
【0065】
【数16】
【0066】
【数17】
【0067】
【数18】
【0068】
【数19】
【0069】
【数20】
【0070】
【数21】
【0071】以上のように構成された変形分析器201
(図4)では輝度とαを重畳した画像で相関演算を行な
うことにより、両方の情報から動きベクトルを求めるこ
とができる。式3で定めた透明領域の負値(−100)
の絶対値を大きくすれば、より不透明領域の輪郭の情報
が強調された動きベクトルを得ることができる。特に前
記領域内部に動き推定に有効なエッジ、模様などの手が
かりが存在しない時、有効である。図5に示したアフィ
ン変換係数演算部408は局所的な相関演算からではな
く2次の関数近似を行なうことによりアフィン変換パラ
メータを求めている。局所的な相関演算では、単調な輪
郭周辺で動きベクトルは輪郭接線方向に自由度をもつ場
合が多い。この場合、従来例に示した2段階のアフィン
変換パラメータ推定では大きな推定誤差が予想される
が、本実施例に示した手法では自由度を2次関数で表現
し、総合的に2次関数の総和の最小化を計ることから、
より安定にパラメータ推定できることが期待される。
(図4)では輝度とαを重畳した画像で相関演算を行な
うことにより、両方の情報から動きベクトルを求めるこ
とができる。式3で定めた透明領域の負値(−100)
の絶対値を大きくすれば、より不透明領域の輪郭の情報
が強調された動きベクトルを得ることができる。特に前
記領域内部に動き推定に有効なエッジ、模様などの手が
かりが存在しない時、有効である。図5に示したアフィ
ン変換係数演算部408は局所的な相関演算からではな
く2次の関数近似を行なうことによりアフィン変換パラ
メータを求めている。局所的な相関演算では、単調な輪
郭周辺で動きベクトルは輪郭接線方向に自由度をもつ場
合が多い。この場合、従来例に示した2段階のアフィン
変換パラメータ推定では大きな推定誤差が予想される
が、本実施例に示した手法では自由度を2次関数で表現
し、総合的に2次関数の総和の最小化を計ることから、
より安定にパラメータ推定できることが期待される。
【0072】またSAD相関の偏位を変数とした2次の
関数近似は式17に代表されるオイラー式が未定パラメ
ータについて線形式となるため容易に未定パラメータを
導出することができる利点がある。これはより一般の多
項式を用いた場合にも共通して言えることである。例え
ば、式22、式23に示した動きベクトルの式は透視変
換の下で平面物体の投影像から生じる動きベクトルを表
現することができる。
関数近似は式17に代表されるオイラー式が未定パラメ
ータについて線形式となるため容易に未定パラメータを
導出することができる利点がある。これはより一般の多
項式を用いた場合にも共通して言えることである。例え
ば、式22、式23に示した動きベクトルの式は透視変
換の下で平面物体の投影像から生じる動きベクトルを表
現することができる。
【0073】
【数22】
【0074】
【数23】
【0075】この場合もアフィン変換と同様に式24の
オイラー式を計算し、式19〜式21と同様の手続きで
容易にパラメータを推定することができる。
オイラー式を計算し、式19〜式21と同様の手続きで
容易にパラメータを推定することができる。
【0076】
【数24】
【0077】以上図2に示した階層画像符号化器10
1、102の変形分析器201、変形合成器202の説
明を行なった。同時に本発明(請求項9,10)の動きベク
トル検出装置の構成例を示した。以後、図2の残された
ブロックの説明を行なっていく。
1、102の変形分析器201、変形合成器202の説
明を行なった。同時に本発明(請求項9,10)の動きベク
トル検出装置の構成例を示した。以後、図2の残された
ブロックの説明を行なっていく。
【0078】差分器203、204により輝度データ、
透過度データの差分が各々輝度プレーン誤差符号化器2
06、αプレーン誤差符号化器207に送られ各々独立
に符号化される。各符号化器は図7、図8に示す構成と
なっている。図7は輝度プレーン誤差符号化器の構成図
で、701はDCT演算部、702は量子化部1、70
3は可変長符号化部1である。
透過度データの差分が各々輝度プレーン誤差符号化器2
06、αプレーン誤差符号化器207に送られ各々独立
に符号化される。各符号化器は図7、図8に示す構成と
なっている。図7は輝度プレーン誤差符号化器の構成図
で、701はDCT演算部、702は量子化部1、70
3は可変長符号化部1である。
【0079】図8は、αプレーン誤差符号化器の構成図
で、801はハール変換演算部、802は量子化部2、
803は可変長符号化部2である。DCT演算部701
は8×8画素のブロックで離散コサイン変換を行ない、
変換されたDCT係数は量子化部702で量子化され、
可変長符号化部703でコサイン変換係数をスキャン
し、零係数長と量子化係数の組合せで2次元ハフマン符
号化される。この処理はCCITT勧告H.261に開
示されている技術とほぼ同じであるので詳しい説明は省
略する。
で、801はハール変換演算部、802は量子化部2、
803は可変長符号化部2である。DCT演算部701
は8×8画素のブロックで離散コサイン変換を行ない、
変換されたDCT係数は量子化部702で量子化され、
可変長符号化部703でコサイン変換係数をスキャン
し、零係数長と量子化係数の組合せで2次元ハフマン符
号化される。この処理はCCITT勧告H.261に開
示されている技術とほぼ同じであるので詳しい説明は省
略する。
【0080】αプレーン誤差符号化器207では離散コ
サイン変換の代わりに8×8画素のブロックでハール変
換を用いている。ここでハール変換は8×1の列ベクト
ルを式25の右から乗する1次元ハール変換を8×8の
画素ブロックに対して縦横に行なうことにより実現され
る。
サイン変換の代わりに8×8画素のブロックでハール変
換を用いている。ここでハール変換は8×1の列ベクト
ルを式25の右から乗する1次元ハール変換を8×8の
画素ブロックに対して縦横に行なうことにより実現され
る。
【0081】
【数25】
【0082】離散コサイン変換ではなくハール変換を用
いたために量子化テーブルとハフマンテーブルが若干変
更されている点が輝度プレーン符号化器206と異な
る。しかし、基本的な動作は同じであるので詳細な説明
は省略する。図2に説明を戻す。
いたために量子化テーブルとハフマンテーブルが若干変
更されている点が輝度プレーン符号化器206と異な
る。しかし、基本的な動作は同じであるので詳細な説明
は省略する。図2に説明を戻す。
【0083】今まで説明した輝度プレーン誤差符号化器
206とαプレーン誤差符号化器207の出力は、マル
チプレクサ210で多重化されて出力される。一方、次
のフレームの予測画像を生成するために前述の出力は輝
度プレーン誤差復号化器208とαプレーン誤差復号化
器209に入力される。各復号化器は図9、図10に示
す構成となっている。
206とαプレーン誤差符号化器207の出力は、マル
チプレクサ210で多重化されて出力される。一方、次
のフレームの予測画像を生成するために前述の出力は輝
度プレーン誤差復号化器208とαプレーン誤差復号化
器209に入力される。各復号化器は図9、図10に示
す構成となっている。
【0084】図9は輝度プレーン誤差復号化器の構成図
で、901は可変長復号化部、902は逆量子化部、9
03は逆DCT演算部である。図10はαプレーン誤差
復号化器の構成図で、1001は可変長復号化部、10
02は逆量子化部、1003は逆ハール変換演算部であ
る。可変長復号化部901で零係数長と量子化係数の組
合せをハフマン復号しコサイン変換係数に戻す、そし
て、逆量子化部902で量子化インデックスから代表値
に置き換え、最後に逆DCT演算部903により8×8
画素ブロックの画像が再現される。この処理は輝度プレ
ーン誤差符号化器206と同様にCCITT勧告H.2
61に開示されている技術とほぼ同じであるので詳しい
説明は省略する。
で、901は可変長復号化部、902は逆量子化部、9
03は逆DCT演算部である。図10はαプレーン誤差
復号化器の構成図で、1001は可変長復号化部、10
02は逆量子化部、1003は逆ハール変換演算部であ
る。可変長復号化部901で零係数長と量子化係数の組
合せをハフマン復号しコサイン変換係数に戻す、そし
て、逆量子化部902で量子化インデックスから代表値
に置き換え、最後に逆DCT演算部903により8×8
画素ブロックの画像が再現される。この処理は輝度プレ
ーン誤差符号化器206と同様にCCITT勧告H.2
61に開示されている技術とほぼ同じであるので詳しい
説明は省略する。
【0085】図10の逆ハール変換演算部906は8×
8のハール係数に対して縦横に8×1の列ベクトルを取
り出し、式26に示すマトリクスを左から乗じることに
より実現される。可変長復号化部1001、逆量子化部
1002の動作は、αプレーン誤差符号化器207に対
応して、輝度プレーン復号化器209の当該ブロックと
はテーブルの内容が異なるだけであるので詳細な説明は
省略する。
8のハール係数に対して縦横に8×1の列ベクトルを取
り出し、式26に示すマトリクスを左から乗じることに
より実現される。可変長復号化部1001、逆量子化部
1002の動作は、αプレーン誤差符号化器207に対
応して、輝度プレーン復号化器209の当該ブロックと
はテーブルの内容が異なるだけであるので詳細な説明は
省略する。
【0086】
【数26】
【0087】次に図1の階層符号化システムを構成する
階層画像復号化器105、106を図3を用いて説明す
る。図3は本発明(請求項2)の画像復号化装置の構成
例に相当する階層画像復号化器105、106の構成図
である。
階層画像復号化器105、106を図3を用いて説明す
る。図3は本発明(請求項2)の画像復号化装置の構成
例に相当する階層画像復号化器105、106の構成図
である。
【0088】図3において、301はデマルチプレク
サ、302は輝度プレーン誤差復号化器、303はαプ
レーン誤差復号化器、304は予測符号復号化器、30
5は変形合成器、306、307は加算器、308、3
09はフレーム遅延器である。デマルチプレクサ301
の入力には、輝度誤差、α誤差、アフィン変換パラメー
タと縦横18×22個に分割されたブロックについての
移動ベクトルから構成される変形パラメータが多重され
ている。これらは分離されて各々輝度プレーン誤差復号
化器302、αプレーン誤差復号化器303、予測符号
復号化器304に出力される。
サ、302は輝度プレーン誤差復号化器、303はαプ
レーン誤差復号化器、304は予測符号復号化器、30
5は変形合成器、306、307は加算器、308、3
09はフレーム遅延器である。デマルチプレクサ301
の入力には、輝度誤差、α誤差、アフィン変換パラメー
タと縦横18×22個に分割されたブロックについての
移動ベクトルから構成される変形パラメータが多重され
ている。これらは分離されて各々輝度プレーン誤差復号
化器302、αプレーン誤差復号化器303、予測符号
復号化器304に出力される。
【0089】ここで輝度プレーン誤差復号化器302、
αプレーン誤差復号器303、変形合成器305は各々
図2の輝度プレーン復号化器208、αプレーン復号化
器209、変形合成器202と全く同じ動作を行なう。
以上、図1の階層符号化を構成する階層符号化器10
1、102、階層復号化器105、106の構成が各々
図2、図3から成っているとした第1の実施例を説明し
た。本実施例ではテンプレートは逐次フレーム間符号化
として更新されていく点に特徴がある。テンプレートの
中で透過度の差分は多値の波形情報としてこれを変換符
号化とした。αプレーンを独立に符号化することによ
り、後述の第2の実施例とは異なり、曇りガラスなどの
半透明の物体の動画像を扱うことができる。画像を階層
化しているため、前景または背景がアフィン変換パラメ
ータのみで記述できる場合が増える。
αプレーン誤差復号器303、変形合成器305は各々
図2の輝度プレーン復号化器208、αプレーン復号化
器209、変形合成器202と全く同じ動作を行なう。
以上、図1の階層符号化を構成する階層符号化器10
1、102、階層復号化器105、106の構成が各々
図2、図3から成っているとした第1の実施例を説明し
た。本実施例ではテンプレートは逐次フレーム間符号化
として更新されていく点に特徴がある。テンプレートの
中で透過度の差分は多値の波形情報としてこれを変換符
号化とした。αプレーンを独立に符号化することによ
り、後述の第2の実施例とは異なり、曇りガラスなどの
半透明の物体の動画像を扱うことができる。画像を階層
化しているため、前景または背景がアフィン変換パラメ
ータのみで記述できる場合が増える。
【0090】この場合、アフィン変換パラメータのみ伝
送しブロック移動成分、他の輝度誤差画像、αプレーン
誤差画像を符号化する必要がないため符号化効率が大き
く向上する。また物体が変形してアフィン変換パラメー
タで記述できない場合は、ブロック移動成分、他の輝度
誤差画像、αプレーン誤差画像でテンプレートが更新さ
れるために大きな画質劣化が生じない。
送しブロック移動成分、他の輝度誤差画像、αプレーン
誤差画像を符号化する必要がないため符号化効率が大き
く向上する。また物体が変形してアフィン変換パラメー
タで記述できない場合は、ブロック移動成分、他の輝度
誤差画像、αプレーン誤差画像でテンプレートが更新さ
れるために大きな画質劣化が生じない。
【0091】ところでアフィンパラメータ演算部504
で行なった式19〜式21の演算は画像全体で行なう必
要はない。推定されているアフィン変換パラメータから
式14を用いて誤差値の大きなブロックを除外して推定
することにより、18×22個のに分割されたブロック
集合全体ではなく多数のブロックの動きに対して整合性
のとれたアフィン変換パラメータを推定することができ
る。これにより、テンプレート修正のためのブロック移
動成分、他の輝度誤差画像、αプレーン誤差画像の符号
化を局所的にすることも可能になる。また本実施例で
は、ブロック相関の計算をSADとしたが2乗誤差和
(SSD)、相関係数などの他の評価尺度を用いること
も可能である。
で行なった式19〜式21の演算は画像全体で行なう必
要はない。推定されているアフィン変換パラメータから
式14を用いて誤差値の大きなブロックを除外して推定
することにより、18×22個のに分割されたブロック
集合全体ではなく多数のブロックの動きに対して整合性
のとれたアフィン変換パラメータを推定することができ
る。これにより、テンプレート修正のためのブロック移
動成分、他の輝度誤差画像、αプレーン誤差画像の符号
化を局所的にすることも可能になる。また本実施例で
は、ブロック相関の計算をSADとしたが2乗誤差和
(SSD)、相関係数などの他の評価尺度を用いること
も可能である。
【0092】次に本発明(請求項3、4)の第2の実施
例を、以下に図1、図11、図13、図14、図15、
図16、図17を用いて説明する。第2の実施例におい
ても、階層画像符号化システムの構成は図1と同じであ
る。図1における階層画像符号化器101、102は本
実施例では、図13の構成をとる。また階層画像復号化
器105、106の構成は図14の構成をとることが第
1の実施例と異なる。ここで、図13は第3の発明の構
成例、図14は第4の発明の構成例に相当する。
例を、以下に図1、図11、図13、図14、図15、
図16、図17を用いて説明する。第2の実施例におい
ても、階層画像符号化システムの構成は図1と同じであ
る。図1における階層画像符号化器101、102は本
実施例では、図13の構成をとる。また階層画像復号化
器105、106の構成は図14の構成をとることが第
1の実施例と異なる。ここで、図13は第3の発明の構
成例、図14は第4の発明の構成例に相当する。
【0093】図13において、1301は変形分析器、
1302は変形合成器、1303は輝度・α分離部、1
304は輝度・α重畳部、1305はフレーム遅延器、
1306は差分器、1307は加算器、1308は輝度
・α重畳誤差符号化器、1309は予測符号符号化器、
1310は輝度・α重畳誤差符号化器、1311はマル
チプレクサである。図13の構成は図2に示した階層符
号化器の構成と基本的に同じである。
1302は変形合成器、1303は輝度・α分離部、1
304は輝度・α重畳部、1305はフレーム遅延器、
1306は差分器、1307は加算器、1308は輝度
・α重畳誤差符号化器、1309は予測符号符号化器、
1310は輝度・α重畳誤差符号化器、1311はマル
チプレクサである。図13の構成は図2に示した階層符
号化器の構成と基本的に同じである。
【0094】図13を構成する各ブロックの中で、変形
分析器1301、フレーム遅延器1305、差分器13
06、加算器1307、予測符号化器1309の動作は
図2の同名称ブロックと全く同じ動作を行なう。第1の
実施例では、輝度プレーンとαプレーンを個別に符号化
したが、本実施例では輝度・α重畳部1304におい
て、図11に示すようにαの値により不透明領域では輝
度値を透明領域では適当な負値(−10)を重畳してい
る。これを式27に示す。
分析器1301、フレーム遅延器1305、差分器13
06、加算器1307、予測符号化器1309の動作は
図2の同名称ブロックと全く同じ動作を行なう。第1の
実施例では、輝度プレーンとαプレーンを個別に符号化
したが、本実施例では輝度・α重畳部1304におい
て、図11に示すようにαの値により不透明領域では輝
度値を透明領域では適当な負値(−10)を重畳してい
る。これを式27に示す。
【0095】
【数27】
【0096】これにより透過度の情報が重畳された輝度
画像が生成される。輝度・α分離部1303では、逆に
式28、式29により重畳された輝度情報から輝度とα
が分離される。
画像が生成される。輝度・α分離部1303では、逆に
式28、式29により重畳された輝度情報から輝度とα
が分離される。
【0097】
【数28】
【0098】
【数29】
【0099】式27における定数−10は符号化/復号
化に伴う量子化誤差によっても式28、式29で輝度・
α分離が行なえるよう考慮して設定した値である。変形
合成器1302の動作は図2における変形合成器202
と扱う画像が輝度・α重畳画像である点を除き、ほぼ同
じである。その構成を図15に示す。
化に伴う量子化誤差によっても式28、式29で輝度・
α分離が行なえるよう考慮して設定した値である。変形
合成器1302の動作は図2における変形合成器202
と扱う画像が輝度・α重畳画像である点を除き、ほぼ同
じである。その構成を図15に示す。
【0100】図15は変形合成器1302、1405の
構成図であって、1501は輝度・αメモリ、1502
はデマルチプレクサ、1503はアフィン変換部、15
04はアフィン変換画像メモリ、1505は画像ブロッ
ク変形部である。変形合成器1302は、アフィン変換
パラメータと縦横18×22個に分割されたブロックに
ついてその平行移動成分で構成された対応情報(変形パ
ラメータ)を入力として動作する。輝度・αメモリ15
01は輝度・α重畳画像をバッファリングすためのメモ
リである。図15の他のブロックの動作は、図6の同名
称ブロックと同じなので省略する。
構成図であって、1501は輝度・αメモリ、1502
はデマルチプレクサ、1503はアフィン変換部、15
04はアフィン変換画像メモリ、1505は画像ブロッ
ク変形部である。変形合成器1302は、アフィン変換
パラメータと縦横18×22個に分割されたブロックに
ついてその平行移動成分で構成された対応情報(変形パ
ラメータ)を入力として動作する。輝度・αメモリ15
01は輝度・α重畳画像をバッファリングすためのメモ
リである。図15の他のブロックの動作は、図6の同名
称ブロックと同じなので省略する。
【0101】次に図13における輝度・α重畳誤差符号
化器1308の説明を以下に行なう。図16は輝度・α
重畳誤差符号化器1308の構成図で1601は領域境
界判定部、1602、1609はスイッチ、1603は
DCT演算部、1604は量子化部、1605は可変長
符号化部、1606はハール変換演算部、1607は量
子化部、1608は可変長符号化部、1610はマルチ
プレクサである。領域境界判定部1601は(表1)に
示す制御と切替え情報ビットの出力を行なう。
化器1308の説明を以下に行なう。図16は輝度・α
重畳誤差符号化器1308の構成図で1601は領域境
界判定部、1602、1609はスイッチ、1603は
DCT演算部、1604は量子化部、1605は可変長
符号化部、1606はハール変換演算部、1607は量
子化部、1608は可変長符号化部、1610はマルチ
プレクサである。領域境界判定部1601は(表1)に
示す制御と切替え情報ビットの出力を行なう。
【0102】
【表1】
【0103】8×8のブロック内の全てαの値が1とな
る物体内領域では図7で説明した輝度プレーン誤差符号
化器206の動作を行ない、8×8のブロック内で少な
くとも1つのαの値が0となる輪郭領域では図8で説明
したαプレーン誤差符号化器207の動作を行なう。
る物体内領域では図7で説明した輝度プレーン誤差符号
化器206の動作を行ない、8×8のブロック内で少な
くとも1つのαの値が0となる輪郭領域では図8で説明
したαプレーン誤差符号化器207の動作を行なう。
【0104】図16と図7、図8で同名称のブロックの
動作は同じである。図16における量子化部1607と
可変長符号化部1608は輝度を重畳されている輪郭周
辺の多値パターンを符号化するために、量子化部80
2、可変長符号化部803とは量子化テーブルとハフマ
ンテーブルが若干変更されている点が異なる。以上の構
成によりマルチプレクサ1610より変換符号と切替え
情報ビットが多重されて出力される。
動作は同じである。図16における量子化部1607と
可変長符号化部1608は輝度を重畳されている輪郭周
辺の多値パターンを符号化するために、量子化部80
2、可変長符号化部803とは量子化テーブルとハフマ
ンテーブルが若干変更されている点が異なる。以上の構
成によりマルチプレクサ1610より変換符号と切替え
情報ビットが多重されて出力される。
【0105】一般に輝度情報に対しては、DCTがハー
ル変換に比べて符号化効率で優れているが、急峻なエッ
ジを含む領域ではモスキートノイズと呼ばれる波紋が生
じる。これは輪郭周辺のα値の再現には好ましくない。
そこで、輪郭周辺部では、上記モスキートノイズが発生
しないハール変換を用いた。
ル変換に比べて符号化効率で優れているが、急峻なエッ
ジを含む領域ではモスキートノイズと呼ばれる波紋が生
じる。これは輪郭周辺のα値の再現には好ましくない。
そこで、輪郭周辺部では、上記モスキートノイズが発生
しないハール変換を用いた。
【0106】次に前記した輝度・α重畳誤差符号化器1
308に対応した輝度・α誤差復号化器1310、14
02の構成を図17を用いて説明する。図17は輝度・
α重畳誤差復号化器1310、1402の構成図であっ
て1701はデマルチプレクサ、1702は切替え制御
部、1703、1710はスイッチ、1704は可変長
復号化部、1705は逆量子化部、1706は逆DCT
演算部、1707は可変長復号化部、1708は逆量子
化部、1709は逆ハール変換演算部である。切替え制
御部1702はデマルチプレクサ1701により分離さ
れた切替え情報ビットにより(表1)に対応してスイッ
チ1803、1710をビットが1であれば逆DCT演
算部1706が選択されるように、0であれば逆ハール
変換1709が選択されるように制御する。図17、図
9、図10に示した同名称ブロックの動作は同じであ
る。
308に対応した輝度・α誤差復号化器1310、14
02の構成を図17を用いて説明する。図17は輝度・
α重畳誤差復号化器1310、1402の構成図であっ
て1701はデマルチプレクサ、1702は切替え制御
部、1703、1710はスイッチ、1704は可変長
復号化部、1705は逆量子化部、1706は逆DCT
演算部、1707は可変長復号化部、1708は逆量子
化部、1709は逆ハール変換演算部である。切替え制
御部1702はデマルチプレクサ1701により分離さ
れた切替え情報ビットにより(表1)に対応してスイッ
チ1803、1710をビットが1であれば逆DCT演
算部1706が選択されるように、0であれば逆ハール
変換1709が選択されるように制御する。図17、図
9、図10に示した同名称ブロックの動作は同じであ
る。
【0107】図17における可変長復号化部1707と
逆量子化部1708とは各々図16における量子化部1
607と可変長符号化部1608とに対応した逆処理を
行なう。
逆量子化部1708とは各々図16における量子化部1
607と可変長符号化部1608とに対応した逆処理を
行なう。
【0108】次に図14を用いて図1における階層画像
復号化器105、106の構成を説明する。図14にお
いて、1401はデマルチプレクサ、1402は輝度・
α重畳誤差復号化器、1403は予測符号復号化器、1
404は加算器、1405は変形合成器、1406はフ
レーム遅延器、1407は輝度α分離部である。デマル
チプレクサ1401は図13の構成からなる階層画像符
号化器101、102の出力を受けて、変形パラメータ
と輝度・α誤差画像のビット系列を分離する。分離され
たデータは各々輝度・α重畳誤差復号化器1402と予
測符号復号化器1403へ出力される。予測符号復号化
器1403ではアフィン変換パラメータと縦横18×2
2のブロックの動きベクトルを出力する。他のブロック
の動作は図13で述べた同名のブロックと同じである。
復号化器105、106の構成を説明する。図14にお
いて、1401はデマルチプレクサ、1402は輝度・
α重畳誤差復号化器、1403は予測符号復号化器、1
404は加算器、1405は変形合成器、1406はフ
レーム遅延器、1407は輝度α分離部である。デマル
チプレクサ1401は図13の構成からなる階層画像符
号化器101、102の出力を受けて、変形パラメータ
と輝度・α誤差画像のビット系列を分離する。分離され
たデータは各々輝度・α重畳誤差復号化器1402と予
測符号復号化器1403へ出力される。予測符号復号化
器1403ではアフィン変換パラメータと縦横18×2
2のブロックの動きベクトルを出力する。他のブロック
の動作は図13で述べた同名のブロックと同じである。
【0109】以上第2の実施例を説明した。第2の実施
例では、第1の実施例とは異なり、αプレーンの情報は
[0,1]の多値から2値へ縮退する。その代わり、α
プレーンの情報を輝度プレーンに重畳することにより、
テンプレートの変形を輝度情報の差分として扱うことを
可能にしている。本実施例では、式27に示すように透
明領域の輝度値を−10としたが、不透明領域の輝度が
255に近い場合、物体の輪郭には輝度の大きな不連続
が生じ、符号量が増えることが予想される。この場合、
輝度・α重畳部1304の動作を適応的に式27または
式30とし、更に輝度・α分離部1303、1407の
動作を式31と32に変更する拡張も容易である。
例では、第1の実施例とは異なり、αプレーンの情報は
[0,1]の多値から2値へ縮退する。その代わり、α
プレーンの情報を輝度プレーンに重畳することにより、
テンプレートの変形を輝度情報の差分として扱うことを
可能にしている。本実施例では、式27に示すように透
明領域の輝度値を−10としたが、不透明領域の輝度が
255に近い場合、物体の輪郭には輝度の大きな不連続
が生じ、符号量が増えることが予想される。この場合、
輝度・α重畳部1304の動作を適応的に式27または
式30とし、更に輝度・α分離部1303、1407の
動作を式31と32に変更する拡張も容易である。
【0110】
【数30】
【0111】
【数31】
【0112】
【数32】
【0113】また、本実施例で扱う輝度をベクトルに拡
張して、αプレーン情報の輝度プレーンへの重畳をベク
トル空間で行なうことも考えられる。例えば、3原色ま
たは輝度と色差信号で構成される3次元色ベクトルcを
考えてみる。この色ベクトルの平均c ̄と分散Σを計算
し、式33に示すように分散Σで正規化されたc−c ̄
の2次形式の値域Thを計算する。
張して、αプレーン情報の輝度プレーンへの重畳をベク
トル空間で行なうことも考えられる。例えば、3原色ま
たは輝度と色差信号で構成される3次元色ベクトルcを
考えてみる。この色ベクトルの平均c ̄と分散Σを計算
し、式33に示すように分散Σで正規化されたc−c ̄
の2次形式の値域Thを計算する。
【0114】
【数33】
【0115】一つのテンプレートについて式33のTh
を求め、分散、平均ベクトル、値域Thのデータを付随
させておくと、式34のように2次形式の値が閾値より
大きくなる任意のベクトルeを用いてαプレーンの情報
を重畳することができる。
を求め、分散、平均ベクトル、値域Thのデータを付随
させておくと、式34のように2次形式の値が閾値より
大きくなる任意のベクトルeを用いてαプレーンの情報
を重畳することができる。
【0116】
【数34】
【0117】この分離は式35、式36で行なえる。
【0118】
【数35】
【0119】
【数36】
【0120】これによれば、分離された輝度画像で物体
輪郭の近くで生じるステップエッジの強さを軽減するこ
とができる。
輪郭の近くで生じるステップエッジの強さを軽減するこ
とができる。
【0121】次に本発明(請求項5、6)の第3の実施
例を、以下に図18、図19を用いて説明する。図18
は本発明(請求項5)の構成例に相当する画像符号化装
置の構成図で、1801は前景メモリ、1802は背景
メモリ、1803は前景分離器、1804、1805は
階層画像符号化器、1806はマルチプレクサ、180
7はデマルチプレクサ、1808、1809は階層画像
復号化器、1810は階層画像合成器、1811は予測
画像メモリ、1812は差分器、1813は輝度プレー
ン誤差符号化器、1814はマルチプレクサである。
例を、以下に図18、図19を用いて説明する。図18
は本発明(請求項5)の構成例に相当する画像符号化装
置の構成図で、1801は前景メモリ、1802は背景
メモリ、1803は前景分離器、1804、1805は
階層画像符号化器、1806はマルチプレクサ、180
7はデマルチプレクサ、1808、1809は階層画像
復号化器、1810は階層画像合成器、1811は予測
画像メモリ、1812は差分器、1813は輝度プレー
ン誤差符号化器、1814はマルチプレクサである。
【0122】図19は本発明(請求項6)の構成例に相
当する画像復号化装置の構成図で、1911、1912
はデマルチプレクサ、1913、1914は階層画像復
号化器、1915は階層画像合成器、1916は予測画
像メモリ、1917は輝度プレーン誤差復号化器、19
18は加算器である。以上のブロック中、階層画像符号
化器1804、1805、マルチプレクサ1806、デ
マルチプレクサ1807、1912、階層画像復号化器
1808、1809、1913、1914、階層画像合
成器1810、1915には第1あるいは第2の実施例
における図1の同名ブロックを用いる。また輝度プレー
ン誤差符号化器1813には図2の輝度プレーン誤差符
号化器207、輝度プレーン誤差復号化器1917には
図2の輝度プレーン誤差復号化器208を用いる。
当する画像復号化装置の構成図で、1911、1912
はデマルチプレクサ、1913、1914は階層画像復
号化器、1915は階層画像合成器、1916は予測画
像メモリ、1917は輝度プレーン誤差復号化器、19
18は加算器である。以上のブロック中、階層画像符号
化器1804、1805、マルチプレクサ1806、デ
マルチプレクサ1807、1912、階層画像復号化器
1808、1809、1913、1914、階層画像合
成器1810、1915には第1あるいは第2の実施例
における図1の同名ブロックを用いる。また輝度プレー
ン誤差符号化器1813には図2の輝度プレーン誤差符
号化器207、輝度プレーン誤差復号化器1917には
図2の輝度プレーン誤差復号化器208を用いる。
【0123】以上の様に構成された画像符号化装置と画
像復号化構成装置では、背景画像を背景画像を予め撮影
しておき背景画像メモリ1802に蓄えておく。前景分
離器1803では式37によりα値を決定することによ
り前景を分離する。
像復号化構成装置では、背景画像を背景画像を予め撮影
しておき背景画像メモリ1802に蓄えておく。前景分
離器1803では式37によりα値を決定することによ
り前景を分離する。
【0124】
【数37】
【0125】式37において、gはカメラ入力の輝度
値、gbは背景メモリの輝度値、Tは実験的に定めるし
きい値[0,1]である。結果は前景メモリ1801に
入力される。この後、階層画像は各々第1の実施例ある
いは第2の実施例で述べた処理を経て処理結果は予測画
像メモリ1811に出力される。
値、gbは背景メモリの輝度値、Tは実験的に定めるし
きい値[0,1]である。結果は前景メモリ1801に
入力される。この後、階層画像は各々第1の実施例ある
いは第2の実施例で述べた処理を経て処理結果は予測画
像メモリ1811に出力される。
【0126】今までに述べた2つの実施例では、これを
再構成された画像の出力としていたが、本実施例では、
さらに予測画像メモリ1811の出力と原画像との差分
を差分器1812より求めてこれを誤差符号化し符号結
果をマルチプレクサ1814より多重して出力する。こ
の出力の復号はデマルチプレクサ1911を経て一方は
デマルチプレクサ1912に送られ第1及び第2の従来
例と同じ処理を経る。他方は輝度プレーン誤差復号化器
1917を経て加算器1918へ送られる。加算器19
18では階層画像合成器1915より再合成された予測
画像と前述の誤差画像が加算され画像データが出力され
る。本実施例では、前景分離が成功し、前景の物体がア
フィン変換パラメータで記述できる動きを行なった場
合、第1および第2の実施例と同じく高い符号化効率を
得ることができる。加えて階層画像の合成結果の誤差符
号化を行なうことにより、前景分離の結果に誤りが含ま
れている場合やテンプレートの更新が符号化量の制限な
どにより、不良であった場合でも、視覚劣化の少ないな
い画像の伝送記録が行える。
再構成された画像の出力としていたが、本実施例では、
さらに予測画像メモリ1811の出力と原画像との差分
を差分器1812より求めてこれを誤差符号化し符号結
果をマルチプレクサ1814より多重して出力する。こ
の出力の復号はデマルチプレクサ1911を経て一方は
デマルチプレクサ1912に送られ第1及び第2の従来
例と同じ処理を経る。他方は輝度プレーン誤差復号化器
1917を経て加算器1918へ送られる。加算器19
18では階層画像合成器1915より再合成された予測
画像と前述の誤差画像が加算され画像データが出力され
る。本実施例では、前景分離が成功し、前景の物体がア
フィン変換パラメータで記述できる動きを行なった場
合、第1および第2の実施例と同じく高い符号化効率を
得ることができる。加えて階層画像の合成結果の誤差符
号化を行なうことにより、前景分離の結果に誤りが含ま
れている場合やテンプレートの更新が符号化量の制限な
どにより、不良であった場合でも、視覚劣化の少ないな
い画像の伝送記録が行える。
【0127】次に本発明(請求項7、8)の第4の実施
例を、以下に図20、図21、図22および図1、図
5、図13、図14を用いて説明する。第2の実施例と
同じく本実施例でも階層画像は輝度と透過度が重畳され
た形式で保持されている(式27参照)。本実施例では
予め第2の実施例に用いた図13および図14記載の階
層画像符号化器と階層画像復号化器を用いて複数テンプ
レートの伝送記録を行なう。
例を、以下に図20、図21、図22および図1、図
5、図13、図14を用いて説明する。第2の実施例と
同じく本実施例でも階層画像は輝度と透過度が重畳され
た形式で保持されている(式27参照)。本実施例では
予め第2の実施例に用いた図13および図14記載の階
層画像符号化器と階層画像復号化器を用いて複数テンプ
レートの伝送記録を行なう。
【0128】図22は多重テンプレートによる階層画像
符号化の概念図である。図22中テンプレートAおよび
テンプレートBと示した画像は第2の実施例における階
層画像符号化器と階層画像復号化器を直接接続すること
により得られている。テンプレートは数フレームまたは
数十フレームに一つ選ばれて伝送される。その結果、テ
ンプレートの符号化はテンプレート間の相関を利用した
「テンプレート間符号化」として実現されることにな
り、効率の良いテンプレート伝送が行なえる。
符号化の概念図である。図22中テンプレートAおよび
テンプレートBと示した画像は第2の実施例における階
層画像符号化器と階層画像復号化器を直接接続すること
により得られている。テンプレートは数フレームまたは
数十フレームに一つ選ばれて伝送される。その結果、テ
ンプレートの符号化はテンプレート間の相関を利用した
「テンプレート間符号化」として実現されることにな
り、効率の良いテンプレート伝送が行なえる。
【0129】図20は本発明(請求項7)の一実施例の
画像符号化装置の構成図で、2001はアフィン変換係
数演算部、2002は輝度・α分離部、2003はテン
プレート格納メモリ、2004はアフィン距離最短テン
プレート決定部、2005は予測符号符号化器、200
6はマルチプレクサである。
画像符号化装置の構成図で、2001はアフィン変換係
数演算部、2002は輝度・α分離部、2003はテン
プレート格納メモリ、2004はアフィン距離最短テン
プレート決定部、2005は予測符号符号化器、200
6はマルチプレクサである。
【0130】図21は本発明(請求項8)の一実施例の
画像復号化装置の構成図で、2101はデマルチプレク
サ、2102は予測符号符号化器、2103はテンプレ
ート読み出し回路、2104は格納メモリ、2105は
アフィン変換部、2106は輝度・α重畳部である。前
景、背景のテンプレート伝送後、図20に示した階層画
像符号化器は図1の階層画像符号化器101、102と
して、図21に示した階層画像復号化器は図1の階層画
像復号化器105、106として用いられる。
画像復号化装置の構成図で、2101はデマルチプレク
サ、2102は予測符号符号化器、2103はテンプレ
ート読み出し回路、2104は格納メモリ、2105は
アフィン変換部、2106は輝度・α重畳部である。前
景、背景のテンプレート伝送後、図20に示した階層画
像符号化器は図1の階層画像符号化器101、102と
して、図21に示した階層画像復号化器は図1の階層画
像復号化器105、106として用いられる。
【0131】伝送済みのテンプレートは各々符号化側と
復号化側でテンプレートメモリ2003、2104に同
じ識別子を付して記憶される。アフィン変換係数演算部
2001は、図5で説明したアフィン変換係数演算部4
08の動作に加えて、得られたアフィン変換係数から式
15により各ブロックの偏位を計算し、各ブロックの偏
位を式14に代入し各ブロックの誤差和を求め近似誤差
としてアフィン距離最短テンプレート決定部2004へ
出力する。アフィン距離最短テンプレート決定部200
4は得られた近似誤差の中から最小のテンプレートを選
択し、その識別子とともに変形パラメータを出力する。
復号化側でテンプレートメモリ2003、2104に同
じ識別子を付して記憶される。アフィン変換係数演算部
2001は、図5で説明したアフィン変換係数演算部4
08の動作に加えて、得られたアフィン変換係数から式
15により各ブロックの偏位を計算し、各ブロックの偏
位を式14に代入し各ブロックの誤差和を求め近似誤差
としてアフィン距離最短テンプレート決定部2004へ
出力する。アフィン距離最短テンプレート決定部200
4は得られた近似誤差の中から最小のテンプレートを選
択し、その識別子とともに変形パラメータを出力する。
【0132】予測符号符号化器はアフィン変換パラメー
タを符号化する。マルチプレクサ2006では符号化さ
れたアフィン変換パラメータとテンプレートの識別子を
多重し階層画像符号化器の出力ビットストリームを生成
する。復号側では入力ビットストリームはデマルチプレ
クサ2101により分離され、予測符号復号化器210
2ではアフィン変換パラメータが復号される。テンプレ
ート読み出し回路2103は入力されたテンプレート識
別子に対応するテンプレートを読み出しアフィン変換部
2105へ出力する。アフィン変換部2105の処理は
図4におけるアフィン変換部407と同じである。また
輝度・α分離部2002、2106の動作は図13、図
14における輝度・α分離部1303、1407の動作
と同じである。
タを符号化する。マルチプレクサ2006では符号化さ
れたアフィン変換パラメータとテンプレートの識別子を
多重し階層画像符号化器の出力ビットストリームを生成
する。復号側では入力ビットストリームはデマルチプレ
クサ2101により分離され、予測符号復号化器210
2ではアフィン変換パラメータが復号される。テンプレ
ート読み出し回路2103は入力されたテンプレート識
別子に対応するテンプレートを読み出しアフィン変換部
2105へ出力する。アフィン変換部2105の処理は
図4におけるアフィン変換部407と同じである。また
輝度・α分離部2002、2106の動作は図13、図
14における輝度・α分離部1303、1407の動作
と同じである。
【0133】以上の処理に従うと、図22に示すよう
に、アフィン変換で近似できるテンプレートを基に画像
を伝送することができることから、非常に少ない符号量
で画像を伝送することができる。特に、使用するテンプ
レートは時間の順序に依存せず選べることから高い効率
が期待できる。また従来例のように単一のテンプレート
から画像を合成するのではなく、複数のテンプレートを
選択的に使用することから、画像が不規則な変形をもつ
場合にも対応できる。なお、ここで用いた変換はアフィ
ン変換に限定せずとも、式22に示す平面物体の変形な
ど、一般の多項式による変形記述を利用することができ
る。またテンプレートの扱いは第2の実施例に準じた
が、これを第1の実施例で用いたテンプレートに変更し
ても良い。
に、アフィン変換で近似できるテンプレートを基に画像
を伝送することができることから、非常に少ない符号量
で画像を伝送することができる。特に、使用するテンプ
レートは時間の順序に依存せず選べることから高い効率
が期待できる。また従来例のように単一のテンプレート
から画像を合成するのではなく、複数のテンプレートを
選択的に使用することから、画像が不規則な変形をもつ
場合にも対応できる。なお、ここで用いた変換はアフィ
ン変換に限定せずとも、式22に示す平面物体の変形な
ど、一般の多項式による変形記述を利用することができ
る。またテンプレートの扱いは第2の実施例に準じた
が、これを第1の実施例で用いたテンプレートに変更し
ても良い。
【0134】
【発明の効果】第1の発明の画像符号化装置および第2
の発明の画像復号化装置によれば、物体の輝度と透過度
から構成される参照画像(テンプレート)の変形をテン
プレート間の対応による予測と予測結果に対する差分と
して扱うことができる。
の発明の画像復号化装置によれば、物体の輝度と透過度
から構成される参照画像(テンプレート)の変形をテン
プレート間の対応による予測と予測結果に対する差分と
して扱うことができる。
【0135】第3の発明の画像符号化装置および第4の
発明の画像復号化装置によれば、物体の輝度と透過度を
重畳して輝度画像として扱うことにより従来の高能率符
号化技術を適用することができ、効率良くテンプレート
の変形を扱うことができる。
発明の画像復号化装置によれば、物体の輝度と透過度を
重畳して輝度画像として扱うことにより従来の高能率符
号化技術を適用することができ、効率良くテンプレート
の変形を扱うことができる。
【0136】第5の発明の画像符号化装置および第6の
発明の画像復号化装置によれば、階層画像の合成を最終
結果とはせずに予測画像とし、この予測画像と原画像と
の差分を伝送記録することにより前景・背景分離処理に
に誤りがあっても画像を大きな視覚劣化なく伝送記録す
ることができる。
発明の画像復号化装置によれば、階層画像の合成を最終
結果とはせずに予測画像とし、この予測画像と原画像と
の差分を伝送記録することにより前景・背景分離処理に
に誤りがあっても画像を大きな視覚劣化なく伝送記録す
ることができる。
【0137】第7の発明の画像符号化装置および第8の
発明の画像復号化装置によれば、複数テンプレートを予
め伝送し、入力画像に対する最小歪みテンプレートを時
間順序に関係なく逐次選択し、選択されたテンプレート
の変形により画像系列を再現することから非常に高い効
率で画像を伝送することができる。
発明の画像復号化装置によれば、複数テンプレートを予
め伝送し、入力画像に対する最小歪みテンプレートを時
間順序に関係なく逐次選択し、選択されたテンプレート
の変形により画像系列を再現することから非常に高い効
率で画像を伝送することができる。
【0138】第9の発明の動きベクトル検出装置は、輝
度と透過度から構成される画像の対応問題を輝度と透過
度の情報が重畳された輝度画像の対応問題として扱うこ
とができる。これにより、輝度と透過度の両方を考慮し
た対応結果すなわち動きベクトルを得ることができる。
度と透過度から構成される画像の対応問題を輝度と透過
度の情報が重畳された輝度画像の対応問題として扱うこ
とができる。これにより、輝度と透過度の両方を考慮し
た対応結果すなわち動きベクトルを得ることができる。
【0139】また、第10の発明の動きベクトル検出装
置は、画像間の対応を位置を変数とした多項式近似する
時、一度動きベクトルを求めてから2段階に多項式近似
するのではなく、部分領域対応の誤差関数から直接求め
ることができ、雑音に頑健な動きベクトル推定が行なえ
る。
置は、画像間の対応を位置を変数とした多項式近似する
時、一度動きベクトルを求めてから2段階に多項式近似
するのではなく、部分領域対応の誤差関数から直接求め
ることができ、雑音に頑健な動きベクトル推定が行なえ
る。
【0140】物体投影像を前後関係で分離し個別に符号
化する階層符号化は、領域の異なる動きや隠蔽されてい
た領域が出現するなどにより発生する符号量を減らすこ
とができ、高い効率の符号化特性が期待される。近年、
クロマキーで生成した階層画像やコンピュータグラフィ
ックスが画像の合成に多用されることから階層符号化の
産業的価値は高い。以上に述べた発明によれば、階層画
像符号化に必要な、不規則な変形をもつ輝度と透過度の
画像の効率的な符号化とこれに関連したる動きベクトル
の頑健な推定を行なうことができ、その効果は大きい。
化する階層符号化は、領域の異なる動きや隠蔽されてい
た領域が出現するなどにより発生する符号量を減らすこ
とができ、高い効率の符号化特性が期待される。近年、
クロマキーで生成した階層画像やコンピュータグラフィ
ックスが画像の合成に多用されることから階層符号化の
産業的価値は高い。以上に述べた発明によれば、階層画
像符号化に必要な、不規則な変形をもつ輝度と透過度の
画像の効率的な符号化とこれに関連したる動きベクトル
の頑健な推定を行なうことができ、その効果は大きい。
【図1】本発明の一実施例における階層符号化システム
の構成図
の構成図
【図2】第1の実施例における階層画像符号化器の構成
図
図
【図3】第1の実施例における階層画像復号化器の構成
図
図
【図4】本実施例の変形分析器の構成図
【図5】本実施例のアフィン変換係数演算部の構成図
【図6】本実施例の変形合成器の構成図
【図7】本実施例の輝度プレーン誤差符号化器の構成図
【図8】本実施例のαプレーン誤差符号化器の構成図
【図9】本実施例の輝度プレーン誤差復号化器の構成図
【図10】本実施例のαプレーン誤差復号化器の構成図
【図11】本実施例の輝度・α重畳部の動作を示す図
【図12】本実施例のブロック相関図
【図13】本発明の第2の実施例における階層画像符号
化器の構成図
化器の構成図
【図14】第2の実施例における階層画像復号化器の構
成図
成図
【図15】本実施例の変形合成器の構成図
【図16】本実施例の輝度・α重畳誤差符号化器の構成
図
図
【図17】本実施例の輝度・α重畳誤差復号化器の構成
図
図
【図18】第3の実施例における画像符号化装置の構成
図
図
【図19】第3の実施例における画像復号化装置の構成
図
図
【図20】第4の実施例における階層画像符号化器の構
成図
成図
【図21】第4の実施例における階層画像復号化器の構
成図
成図
【図22】本実施例の多重テンプレートによる階層画像
符号化の概念図
符号化の概念図
【図23】従来の階層画像符号化の概念図
101、102 階層画像符号化器 103 マルチプレクサ 104 デマルチプレクサ 105、106 階層画像復号化器 107 階層画像合成器 201 変形分析器 202 変形合成器 203、204 差分器 205 予測符号符号化器 206 輝度プレーン誤差符号化器 207 αプレーン誤差符号化器 208 輝度プレーン誤差復号化器 209 αプレーン誤差復号化器 210 マルチプレクサ 211、212 加算器 213、214 フレーム遅延器 301 デマルチプレクサ 302 輝度プレーン誤差復号化器 303 αプレーン誤差復号化器 304 予測符号復号化器 305 変形合成器 306、307 加算器 308、309 フレーム遅延器 401、402 輝度画像メモリ 403、404 α画像メモリ 405、406 輝度・α重畳部 407 アフィン変換部 408 アフィン変換係数演算部 409 アフィン変換画像メモリ 410 ブロック相関演算部 411 マルチプレクサ 501 ブロック相関演算部 502 SAD局面近似部 503 誤差関数パラメータ格納メモリ 504 アフィン変換パラメータ演算部 601 輝度画像メモリ 602 α画像メモリ 603 デマルチプレクサ 604、605 アフィン変換部 606、607 アフィン変換画像メモリ 608、609 画像ブロック変形部 701 DCT演算部 702 量子化部 703 可変長符号化部 801 ハール変換演算部 802 量子化部 803 可変長符号化部 901 可変長復号化部 902 逆量子化部 903 逆DCT演算部 1001 可変長復号化部 1002 逆量子化部 1003 逆ハール変換演算部 1301 変形分析器 1302 変形合成器 1303 輝度・α分離部 1304 輝度・α重畳部 1305 フレーム遅延器 1306 差分器 1307 加算器 1308 輝度・α重畳誤差符号化器 1309 予測符号符号化器 1310 輝度・α重畳誤差符号化器 1311 マルチプレクサ 1401 デマルチプレクサ 1402 輝度・α重畳誤差復号化器 1403 予測符号復号化器 1404 加算器 1405 変形合成器 1406 フレーム遅延器 1407 輝度α分離部 1501 輝度・αメモリ 1502 デマルチプレクサ 1503 アフィン変換部 1504 アフィン変換画像メモリ 1505 画像ブロック変形部 1601 領域境界判定部 1602、1609 スイッチ 1603 DCT演算部 1604 量子化部 1605 可変長符号化部 1606 ハール変換演算部 1607 量子化部 1608 可変長符号化部 1610 マルチプレクサ 1701 デマルチプレクサ 1702 切替え制御部 1703、1710 スイッチ 1704 可変長復号化部 1705 逆量子化部 1706 逆DCT演算部 1707 可変長復号化部 1708 逆量子化部 1709 逆ハール変換演算部 1801 前景メモリ 1802 背景メモリ 1803 前景分離器 1804、1805 階層画像符号化器 1806 マルチプレクサ 1807 デマルチプレクサ 1808、1809 階層画像復号化器 1810 階層画像合成器 1811 予測画像メモリ 1812 差分器 1813 輝度プレーン誤差符号化器 1814 マルチプレクサ 1911、1912 デマルチプレクサ 1913、1914 階層画像復号化器 1915 階層画像合成器 1916 予測画像メモリ 1917 輝度プレーン誤差復号化器 1918 加算器 2001 アフィン変換係数演算部 2002 輝度・α分離部 2003 テンプレート格納メモリ 2004 アフィン距離最短テンプレート決定部 2005 予測符号符号化器 2006 マルチプレクサ 2101 デマルチプレクサ 2102 予測符号符号化器 2103 テンプレート読み出し回路 2104 格納メモリ 2105 アフィン変換部 2106 輝度・α重畳部
Claims (10)
- 【請求項1】物体の輝度と透過度から構成される画像の
系列を入力として、輝度と透過度から構成される参照画
像から部分領域間の対応により符号化対象画像の輝度と
透過度の画像を予測する予測手段と、前記予測手段にお
ける部分領域間の対応を予測符号として符号化する予測
符号化手段と、前記予測画像と前記符号化対象画像との
輝度と透過度の差分を誤差画像として求める誤差演算手
段と、前記誤差画像を誤差画像符号として符号化する誤
差符号化手段とを有し、画像系列を前記参照画像に対す
る誤差画像符号、予測符号として伝送記録することを特
徴とする画像符号化装置。 - 【請求項2】請求項1記載の画像符号化装置と同じ参照
画像を保持し、前記画像符号化装置の出力を復号するた
めの装置であって、予測符号より部分領域間の対応を復
号化する予測符号復号化手段と、前記部分領域間の対応
より、参照画像から予測画像を生成する予測画像生成手
段と、誤差画像符号より誤差画像を復号化する誤差画像
復号化手段と、前記予測画像と前記誤差画像を加算して
輝度と透過度からなる画像を得る加算手段とを有し、前
記予測画像生成手段あるいは前記加算手段の出力として
輝度と透過度から構成される画像を復号化することを特
徴とする画像復号化装置。 - 【請求項3】物体の輝度と透過度から構成される画像を
入力として、領域を透明領域と不透明領域の2つに分類
し、不透明領域については物体の輝度を、透明領域につ
いては輝度の値域外の所定の値をとるよう輝度と透過度
の情報が重畳された輝度画像を生成する重畳手段を有
し、前記輝度と透過度の情報が重畳された輝度画像を符
号化することを特徴とする画像符号化装置。 - 【請求項4】請求項3記載の画像符号化装置の出力を復
号するための装置であって、輝度値が値域外の値である
場合は透明領域、値域内の場合は輝度値として画像を透
過度画像と輝度画像に分離する分離手段を有し、輝度と
透過度の画像を復号化することを特徴とする画像復号化
装置。 - 【請求項5】原画像が輝度に加えて視線軸上の前後関係
と領域の透過度より階層的に表現されるとき、この階層
化された複数の画像を入力として、各階層画像毎に輝度
と透過度とを階層画像符号として符号化する階層画像符
号化手段と、前記階層画像符号化手段の結果から復号さ
れた前記階層画像を求める階層画像画像復号化手段と、
前記復号された複数の階層画像をその前後関係、輝度お
よび透過度により合成する合成手段と、前記原画像と前
記合成画像との誤差画像を求め、これを符号化する誤差
画像符号化手段を有し、前記原画像を複数の階層画像符
号と原画像との誤差符号によって伝送記録することを特
徴とする画像符号化装置。 - 【請求項6】請求項5記載の画像符号化装置の出力を復
号するための装置であって、複数の階層画像符号から輝
度、透過度、視線軸上の前後関係からなる階層画像を復
号化する階層画像復号化手段と、前記階層画像により合
成画像を生成する合成手段と、誤差符号より誤差画像を
復号化する誤差画像復号化手段を有し、前記合成画像に
誤差画像を加えることにより画像を復号化することを特
徴とする画像復号化装置。 - 【請求項7】複数の参照画像を予め伝送記録する参照画
像符号化手段と、入力画像と前記複数の参照画像との間
で輝度が対応する位置の偏位すなわち変形を画面上の位
置を変数とする多項式関数として近似し、近似誤差を求
める画像間対応近似手段と、近似誤差の小さな参照画像
を前記複数の参照画像の中から求め、選ばれた参照画像
の識別子と多項式関数の係数を出力する最小歪み参照画
像選択手段とを有し、前記参照画像符号化手段により複
数の参照画像を符号化するとともに、入力画像系列を少
なくとも前記選ばれた参照画像に対する識別子と前記多
項式関数の係数として伝送記録することを特徴とする画
像符号化装置。 - 【請求項8】請求項7記載の画像符号化装置の出力を復
号するための装置であって、複数の参照画像を予め再構
成しておく参照画像復号化手段と、前記複数の参照画像
から入力に含まれる参照画像に対する識別子に対応する
参照画像を選択する参照画像選択手段と、画像の変形を
画面上の位置を変数とする多項式関数を入力に含まれる
多項式関数の係数を基に決定し、前記多項式関数により
前記選択された参照画像変形する参照画像変形手段とを
有し、前記参照画像変形手段により変形された参照画像
を用いて画像を復号化することを特徴とする画像復号化
装置。 - 【請求項9】物体の輝度と透過度から構成される複数の
画像を入力として、透過度を所定の値の加算乗算と必要
に応じてしきい値処理を行ない値域を変換し、変換した
値を輝度に加算して輝度と透過度の情報が重畳された輝
度画像を生成する重畳手段と、輝度の相関により2つの
画像の部分領域の対応を得る画像分析手段とを有し、前
記重畳手段により、輝度と透過度から構成される画像
を、輝度だけで構成される画像に変換し、変換された複
数の画像間で前記画像分析手段を用いて部分領域の対応
を得ることを特徴とする動きベクトル検出装置。 - 【請求項10】画面上の任意の位置の動きベクトルをそ
の位置を変数とする多項式関数として表現する装置であ
って、画像を分割して得られる複数の部分領域につい
て、異なる2つの画像の部分領域の対応を誤差として演
算し、最小誤差となる前記部分領域間の偏位とその近傍
の誤差値を求める誤差演算手段と、前記最小誤差となる
偏位とその近傍の誤差値から偏位を変数とする2次の誤
差関数を求める誤差関数演算手段と、前記2次誤差関数
の総和あるいは部分和を、多項式関数の係数を変数とし
て表現し、この総和あるいは部分和の最小化を係数につ
いて行なう最適化手段を有し、異なる画像間の動きベク
トルを多項式関数の係数として出力することを特徴とす
る動きベクトル検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000117087A JP2000324501A (ja) | 2000-01-01 | 2000-04-18 | 画像符号化装置、画像復号化装置および動きベクトル検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000117087A JP2000324501A (ja) | 2000-01-01 | 2000-04-18 | 画像符号化装置、画像復号化装置および動きベクトル検出装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25340094A Division JP3120664B2 (ja) | 1994-10-19 | 1994-10-19 | 画像符号化装置、画像復号化装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000324501A true JP2000324501A (ja) | 2000-11-24 |
Family
ID=18628456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000117087A Pending JP2000324501A (ja) | 2000-01-01 | 2000-04-18 | 画像符号化装置、画像復号化装置および動きベクトル検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000324501A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7630577B2 (en) | 2005-04-07 | 2009-12-08 | Samsung Electronics Co., Ltd. | Image processing apparatus using alpha plane and method thereof |
US8422828B2 (en) | 2007-03-27 | 2013-04-16 | Hitachi, Ltd. | Image processing apparatus and image processing method |
-
2000
- 2000-04-18 JP JP2000117087A patent/JP2000324501A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7630577B2 (en) | 2005-04-07 | 2009-12-08 | Samsung Electronics Co., Ltd. | Image processing apparatus using alpha plane and method thereof |
US8086070B2 (en) | 2005-04-07 | 2011-12-27 | Samsung Electronics Co., Ltd. | Image processing apparatus using alpha plane and method thereof |
US8422828B2 (en) | 2007-03-27 | 2013-04-16 | Hitachi, Ltd. | Image processing apparatus and image processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100365555B1 (ko) | 화상부호화/복호화장치 | |
JP4326743B2 (ja) | 予測符号化オブジェクトベース画像信号を予測符号化ブロックベース画像信号にトランスコーディングするトランスコーディング方法およびトランスコーダ | |
US6879724B2 (en) | Video coding and video decoding apparatus | |
US6754269B1 (en) | Video encoding apparatus and video decoding apparatus | |
US8023754B2 (en) | Image encoding and decoding apparatus, program and method | |
US6330364B1 (en) | Video coding and video decoding apparatus | |
WO2000001155A1 (en) | Method and apparatus for scalable shape coding | |
JP3120664B2 (ja) | 画像符号化装置、画像復号化装置 | |
US6259738B1 (en) | Video encoding apparatus and video decoding apparatus | |
JP2000324501A (ja) | 画像符号化装置、画像復号化装置および動きベクトル検出装置 | |
JPH09326024A (ja) | 画像符号及び復号化方法とその装置 | |
US6754268B1 (en) | Video coding and video decoding apparatus | |
JP3334384B2 (ja) | 画像予測符号化方法 | |
JPH10150665A (ja) | 予測画像の作成方法及び画像符号化方法及び画像符号化装置 | |
JP2000513914A (ja) | ディジタル画像を符号化および復号化する方法および装置 | |
JPH0937240A (ja) | 動画像符号化装置及び動画像復号装置 | |
JPH0965341A (ja) | 動画像符号化・復号方法および装置 | |
KR19990003316A (ko) | 개선된 윤곽선 움직임 벡터 부호화 장치 |