JPH08149458A

JPH08149458A - 動画像処理装置

Info

Publication number: JPH08149458A
Application number: JP28565594A
Authority: JP
Inventors: Katsuyuki Tanaka; 勝之田中
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-11-18
Filing date: 1994-11-18
Publication date: 1996-06-07

Abstract

(57)【要約】【目的】動画像を高圧縮率で符号化する動画像処理装
置、および、その符号化された動画像を復号し合成する
動画像処理装置を提供する。【構成】一連の動画像の各フレームを画像分析部１１で
分析し特徴点を抽出する。１フレーム目の画像より初期
設定部１２でセグメントを抽出し、奥行き情報を付加し
３次元モデルとして記憶部１３に記憶する。動き推定・
対応探索部１５において各３次元モデルのフレーム間の
動きと各特徴点の対応付けを行う。その動き推定値によ
り各３次元モデルを移動させた投影像と、実際の画像の
各特徴点のズレを求め、そのズレに基づいてカルマンフ
ィルタ２１で前記各３次元モデルの３次元形状情報を更
新する。１フレーム目の画像については各セグメントの
情報と各特徴点の分析値を符号化し、２フレーム目以降
の画像については、各セグメントの３次元モデルのフレ
ーム間の動きと各特徴点のズレを符号化する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像を分析して得られ
た特徴点の各フレーム間の移動を検出し、その移動を効
率よく符号化することにより連続的な動画像を符号化す
る動画像処理装置、および、その符号化された動画像系
列を復号化する動画像処理装置に関する。

【０００２】

【従来の技術】画像を分析しエッジを検出し、エッジの
位置とエッジを構成する各点の分析値とＤＣ成分を抽出
しておけば、それ以外の画像を用いることなく元の画像
を合成できる。このときの情報量は元の画像の全画素に
対する情報量より少なくすることが可能で情報圧縮が可
能となる。動画像の場合、この方法により最初の１フレ
ーム目を圧縮をし、２フレーム目以降においては１フレ
ーム目のエッジを構成する各点がどの位置に移動したか
を追跡し、１フレーム目で求めた各点の分析値を追跡後
の各点に移すようにすることで、各フレームごとに分析
値を求めなくとも画像を合成できる。したがって、最初
のフレームのエッジを構成する各点の位置と分析値、フ
レーム間での各点の移動量および各フレームごとのＤＣ
成分を情報とすることで動画像圧縮が可能である。

【０００３】より高圧縮率で動画像を符号化する方法と
して、動画像を構成する各物体の３次元モデルを使って
動画像を符号化する方法が提案されている。各物体の３
次元形状とその動きが分かれば、元の動画像と全く同じ
動画像が生成できる。そのような、動画像系列の中から
３次元形状モデルを抽出し、そのモデルを利用して連続
的な動画像を符号化する方法としては、Hans George Mu
smann 、Michael Hotter、Jorn Ostermannらによる「OB
JECT-ORIENTED analysis coding of moving images．」
〔Signal processing:Image Communication 1(1989):11
7-138,Elsvier SCIENCE PUBLISHERS B.V. 〕に開示され
ている方法がある。この方法によれば、エッジ部分につ
いて動きベクトルを求めそれを利用して奥行きを求め、
エッジ以外の部分については奥行きを補間して、３次元
形状を推測する。また、輝度情報は、３次元上に属性と
してマッピングし、補間された３次元形状のデータと共
に伝送を行っている。

【０００４】

【発明が解決しようとする課題】しかし、前述したエッ
ジを構成する各点の移動量を符号化する方法において
は、各フレームのエッジを構成する各点の２次元的な移
動量の分布が広範になるため、符号化の効率を上げるこ
とができず、十分な圧縮率が得られなかった。

【０００５】また、前述した３次元モデルを使って動画
像を符号化する方法においては、輝度が急変するエッジ
部分さえ動きベクトルを求めることは難しく、動きベク
トルから正確な奥行きを推測することは非常に難しい。
したがって、エッジ部分の奥行きを補間して３次元形状
を推測しても、正確な３次元形状が求められなかった。
そのため、実際の形状とのずれがあるため余分な情報が
増加して圧縮率が上げられなかった。さらに、３次元上
に属性としてマッピングした輝度情報を初期情報とし伝
送するので初期情報量が多いという問題もあった。

【０００６】したがって、本発明の目的は、より高い圧
縮率で連続的な動画像を符号化可能な動画像処理装置
と、その符号化された動画像を復号化する動画像処理装
置を提供することにある。

【０００７】

【課題を解決するための手段】前記課題を解決するため
に、動画像を分析して得られたエッジを１つの動きで表
せるカテゴリに分け、各カテゴリについてその動きを推
定し、前記動き推定値に基づいて移動させた前記各カテ
ゴリに属するエッジの特徴点の位置と、その特徴点の実
際の位置との差を各特徴点について求め、前記各カテゴ
リごとの動き推定値と前記各特徴点の位置の差を、フレ
ーム間の各特徴点の移動の情報とするようにした。ま
た、各フレーム間の前記各カテゴリに属するエッジの動
きよりそのカテゴリの３次元位置情報を獲得するように
し、その３次元位置情報を用いて前記動きの推定を行う
ようにした。

【０００８】したがって、本発明の連続的な動画像を符
号化する動画像処理装置は、連続的な動画像の各フレー
ムより特徴点を抽出する画像分析手段と、前記連続的な
動画像の最初のフレームよりセグメントを抽出するセグ
メンテーション手段と、前記画像分析手段により抽出さ
れた特徴点に基づいて、前記セグメンテーション手段に
より抽出された各セグメントごとの３次元モデル形状情
報を記憶する形状記憶手段と、前記形状記憶手段に記憶
されている各３次元モデルのフレーム間の動きを推定
し、各フレームの３次元モデルの特徴点を前記推定され
た動きに基づいて移動させ投影した特徴点と、当該フレ
ームの次フレームの特徴点とを対応付ける動き推定対応
探索手段と、前記対応付けられた各特徴点間の位置の差
を求める差算出手段と、前記各特徴点間の位置の差に基
づいて、前記形状記憶手段に記憶されている各３次元モ
デル形状情報を更新する更新手段と、前記セグメンテー
ション手段により抽出された前記連続的な動画像の最初
のフレームの各セグメントと、前記画像分析手段により
分析された各セグメントの各特徴点の分析値とを、初期
データとして符号化する初期符号化手段と、前記動き推
定対応探索手段により各フレームごとに得られた前記各
セグメントの３次元モデルのフレーム間の動き推定値
と、前記差算出手段により算出された各特徴点間の位置
の差とを、符号化する符号化手段とを有する。

【０００９】また、本発明の符号化された連続的な動画
像を復号化する動画像処理装置は、符号化された初期デ
ータより、連続的な動画像の最初のフレームを構成する
各セグメントの特徴点と、該各特徴点の分析値とを復号
化する初期復号化手段と、前記初期復号化手段により復
号化された各セグメントごとの特徴点に基づいて、各セ
グメントごとの３次元モデル形状情報として記憶する形
状記憶手段と、符号化された各フレームごとのデータよ
り、各セグメントの３次元モデルのフレーム間の動き推
定値と、前記動き推定値に基づいて３次元モデルを移動
させた投影像の特徴点の位置と当該フレームの次フレー
ムの対応する特徴点の位置との差とを復号化する復号化
手段と、前記対応する特徴点の位置の差に基づいて、前
記形状記憶手段に記憶されている各セグメントごとの３
次元モデルの形状情報を更新する更新手段と、前記形状
記憶手段に記憶されている各セグメントの３次元モデル
形状情報に基づいて、各フレームごとの画像を合成する
画像合成手段とを有する。

【００１０】好適には、前記形状記憶手段は、当該各特
徴点に所定の奥行き情報を付与し、各セグメントを平板
状の３次元モデルとした３次元モデル形状情報を初期デ
ータとして記憶する。また好適には、前記更新手段は、
各セグメントの３次元モデルのフレーム間の動き推定値
に基づいて３次元モデルを移動させた投影像の特徴点の
位置を状態量、当該フレームの次フレームの対応する特
徴点の実際の位置を観測量、対応する各特徴点間の誤差
をノイズとした時にカルマンフィルタにより前記状態量
の最小自乗推定値を得ることにより該状態量を更新す
る。

【００１１】

【作用】本発明の連続的な動画像を符号化する動画像符
号化装置においては、動画像系列の１フレーム目の各セ
グメントの２次元形状情報に、所定の奥行き方向の情報
を付加して３次元モデルの初期値とし、その３次元モデ
ルの動きを推定し、その推定に基づいて得られる画像と
入力される各フレームの画像の各特徴点の位置を比較
し、その３次元モデルの全体的な動きと各特徴点のズレ
を抽出し、その３次元モデルの全体の動き（動き推定
値）、および、各特徴点のズレに基づいて、順次前記３
次元モデルを更新しながら、それを各フレームの特徴点
の移動の情報としている。したがって、各特徴点の移動
に関する情報の分布が局在化し、符号化の効率が上昇す
る。

【００１２】また、本発明の符号化された連続的な動画
像を復号化する動画像処理装置においては、符号化され
た１フレーム目の各セグメントの２次元形状情報に所定
の奥行き方向の情報を付加して３次元モデル形状情報と
して記憶し、符号化された各フレームごとの前記３次元
モデルの動きと、該３次元モデルを構成する各特徴点の
ズレに基づいて順次前記３次元モデルを更新し、該更新
された３次元モデルの情報に基づいて各フレームの画像
を合成している。したがって、高圧縮率で符号化された
各セグメントの移動の情報と各特徴点のズレの情報より
元の動画像が忠実に復号することが可能となり、前記連
続的な動画像を符号化する動画像処理装置と協働するこ
とができる。

【００１３】

【実施例】本発明の一実施例の動画像符号化装置につい
て、図１〜図４を参照して説明する。図１は、本発明の
一実施例の動画像符号化装置１０の構成を示すブロック
図である。動画像符号化装置１０は、画像分析部１１、
初期設定部１２、記憶部１３、動き推定・対応探索部１
５、動き処理部１６、投影部１７、量子化部１９、カル
マンフィルタ２１、補正処理部２２、および、符号化部
２３より構成される。本実施例の動画像符号化装置１０
は、ＶＴＲまたはビデオなどからの動画像系列から図示
せぬ連続シーケンス検出部により検出された連続した画
像データを入力され、その各画像データ系列を圧縮し、
伝送路５０に送出する圧縮伝送装置である。また、この
動画像符号化装置１０は、後述する動画像復号化装置３
０と協働して画像処理系を構成する。

【００１４】以下、各部の動作について説明する。画像
分析部１１は、順次入力される各フレームの画像データ
を分析し、特徴点を抽出し、特徴点の位置と分析値を求
める。本実施例においては、入力画像データに対して、
異なる解像度スケールを持つ複数のフィルタで画像デー
タの分析を行い、エッジを構成する点を特徴点として検
出し、入力画像データを特徴画像データであるエッジの
画像データに変換し、そのエッジを構成する各点の位置
と分析値を抽出する。

【００１５】また画像分析部１１は、各連続シーケンス
の１フレーム目の入力画像データより、画像を合成する
ために必要なＤＣ成分を抽出する。その１フレーム目の
画像データに対して得られた特徴点の位置と分析値は初
期設定部１２と符号化部２３に、ＤＣ成分は符号化部２
３に出力される。また、２フレーム目以降の画像データ
に対する特徴点の位置と分析値は動き推定・対応探索部
１５と補正処理部２２に出力される。

【００１６】初期設定部１２は、画像分析部１１より入
力された１フレーム目の特徴画像データの特徴点の位置
と分析値より、セグメンテーションを行い、この画像デ
ータを構成しているセグメントを抽出し、各セグメント
毎の特徴点の情報を記憶部１３に記憶する。このセグメ
ンテーションは、カラー画像から赤・緑・青・明度・色
相・彩度の信号、および、テレビ信号に対応したＹ信
号、Ｉ信号、Ｑ信号の合計９種類の特徴を抽出し、その
特徴に関するヒストグラムに基づいてセグメンテーショ
ンを行う再帰的しきい値処理により行う。

【００１７】記憶部１３は、各セグメントの各特徴点に
ついて、位置情報Ｘ，Ｙ，Ｚと、分析値ｇ、確率共分散
行列ｖ、付加情報ａを記憶する記憶手段であり、メモリ
により構成される。記憶部１３に記憶されている情報
は、入力された連続シーケンスがＳ個のセグメントを有
し、各セグメントがＵs 個（ｓ＝１〜Ｓ）のエッジより
構成され、その各エッジがＮsu個（ｕ＝１〜Ｕs 、ｓ＝
１〜Ｓ）の特徴点より構成される場合、式１のように表
される。

【００１８】

【数１】

【００１９】なお、確率共分散行列ｖsun （ｎ＝１〜Ｎ
su、ｕ＝１〜Ｕs 、ｓ＝１〜Ｓ）は、各エッジを構成す
る点のちらばりであるので、同一のエッジを構成する各
特徴点については同一の値が付される。

【００２０】記憶部１３に記憶されている情報は、ま
ず、１フレーム目についての情報が初期設定部１２より
入力され、初期データが生成される。その後、２フレー
ム目以降の画像データが入力されるごとに、後述するカ
ルマンフィルタ２１、および、補正処理部２２によりそ
の内容が更新される。

【００２１】動き推定・対応探索部１５は、前フレーム
の画像のエッジ画像の各点の情報｛Ｆsun ｝と現フレー
ムのエッジ位置と分析値から、セグメントの動いた量を
推定し、前フレームの各点の情報｛Ｆsun ｝と、現フレ
ームのエッジ画像の特徴点の対応付けを行う。その方法
について具体的に以下に説明する。まず、図２におい
て、座標系ＸＹＺはカメラ座標系で、座標系の原点はレ
ンズの中心で、光軸は奥行き方向となるＺ軸と一致させ
ているものとする。このような座標系におていは、点Ｐ
の像はＸＹ平面に平行で原点からカメラの焦点距離ｆだ
け離れた所に設置された平面に投影されると考えること
ができる。この投影面上の点Ｐの像の位置がカメラより
入力された画像上の画素の位置となる。その投影面に対
して、その面のＺ軸との交点を原点とし、Ｘ軸およびＹ
軸と平行な座標系ｘｙを設定する。

【００２２】ＸＹＺ空間内の点Ｐの座標をｐ＝（Ｘp ，
Ｙp ，Ｚp ）、点Ｐのｘｙ平面上の像である点Ｑの座標
をｑ＝（ｘq ，ｙq ）とすると、点Ｑの座標ｑは式２の
ように表される。

【００２３】

【数２】

【００２４】あるセグメントｓ（ｓ＝１〜Ｓ）がＵs 個
（ｓ＝１〜Ｓ）のエッジより構成され、その各エッジが
Ｎsu個（ｕ＝１〜Ｕｓ，ｓ＝１〜Ｓ）の点の情報で表さ
れ、それら各点の位置はｐsun ＝（Ｘsun ，Ｙsun ，Ｚ
sun ）（ｎ＝１〜Ｎsu）で表されるとする。このセグメ
ントが、相対的にＸ軸周りにΔωｘ、Ｙ軸周りにΔω
ｙ、Ｚ軸周りにΔωｚ回転し、また、Δｔ＝（Δｔｘ，
Δｔｙ，Δｔｚ）だけ平行移動した場合、このセグメン
トを構成する各点ｐsun の移動量Δｐsun ＝（ΔＸsun
，ΔＹsun ，ΔＺsun ）は、前記各軸周りの回転Δω
ｘ，Δωｙ，Δωｚ、および，平行移動量Δｔが小さい
とすると、式３のようになる。

【００２５】

【数３】

【００２６】点ｐsun のｘｙ平面上への投影点をｑsun
＝（ｘsun ，ｙsun ）とすると、前記セグメントの移動
にともなう投影点ｑsun の移動量Δｑsun ＝（Δｘsun
，Δｙsun ）は式４のようになる。

【００２７】

【数４】

【００２８】式２と式４より式５が得られる。

【００２９】

【数５】

【００３０】式２および式５を、Ｎ個の点の内のｍ＝１
〜ＭのＭ個に適用すると、式６のようになる。

【００３１】

【数６】

【００３２】なお、Δｔ^tは行列Δｔの転置行列を示
す。Δｑについては、新たな画像が入力される前に得て
いた３次元位置ｐｍの式２による仮想の投影点ｑｍ’に
対応する画像上の点が分からないので、図３に示すよう
に、３次元位置情報の仮想の投影像Ｉｐにおいて物体像
Ｉｒの投影特徴点ｑｍから最も近い点と仮定する。Ｍ≧
３のとき回転および平行移動量のパラメータΔＣの推定
値ΔＣ’は、最小自乗法により式７により求められる。

【００３３】

【数７】

【００３４】式７により得られたΔＣ’による３次元位
置情報の移動量Δｑsun を式２より計算して、新たに式
３により仮想の投影像を作り、同様に近い点を対応点と
仮定し、式７の計算を繰り返し、式８のようにしていく
と、仮想の投影像と物体像Ｉｒは近づく。

【００３５】

【数８】

【００３６】この計算を、Σ｜Δｑsun ｜²が予め定め
た所定値ε以下になるまで繰り返すことにより、元の画
像の３次元位置情報ｐsun に対する新たな画像の対応点
ｑsun が求められる。

【００３７】以上述べたような動き推定・対応探索の方
法によれば、物体を剛体と仮定し、回転および平行移動
についての６個のパラメータで３次元位置情報を構成す
る点を拘束することで、個々の点それぞれ独立にではな
く、包括的に動き推定・対応探索が行われている。した
がって、全体として矛盾のない対応関係が全ての点につ
いて得られ、誤対応による３次元位置情報におけるノイ
ズが減る。

【００３８】動き処理部１６は、動き推定・対応探索部
１５により得られた、各セグメントの平行移動量ｔ、回
転移動量ω、によって各セグメントの情報｛Ｆsun ｝の
位置情報を、３次元空間において平行および回転移動さ
せる。

【００３９】投影部１７は、各セグメントの各点の３次
元位置ｐsun ＝（Ｘsun ，Ｙsun ，Ｚsun ）を画像上の
位置ｑsun ＝（ｘsun ，ｙsun ）に変換し、得られた画
像上の点ｑsun に分析値ｇsun を与える。３次元位置ｐ
sun から投影点ｑsun への変換は式３により行う。

【００４０】加算部１８で、投影後の各特徴点の情報
｛Ｆsun ｝の画像上での位置ｑsun'と対応する入力画像
のエッジ位置ｑsun との差を求める。

【００４１】量子化部１９は、前記加算部１８により求
められた差を量子化し、フラクチュエーションを求め
る。量子化方法としては、一定の適切な量子化ステップ
（たとえば１画素幅）による線形な量子化、いくつかの
線形でない量子化ステップを設定した非線形量子化、量
子化ステップを固定せず、入力される画像の性質により
量子化ステップを適宜変える量子化などがあり、要求さ
れる伝送レート、画質に応じて、適切な量子化方法を用
いれば良い。たとえば、高圧縮率が要求される場合に
は、量子化ステップを大きくしたり、画像に直線が多く
量子化ノイズによる直線の不連続性が目立つ場合は、非
線形量子化を行い、フラクチュエーションの小さい部分
の量子化を細かくするようにする。求められたフラクチ
ュエーションは、符号化部２３およびカルマンフィルタ
２１に入力される。なお、カルマンフィルタ２１に入力
されるフラクチュエーションは、加算部２０で再び投影
後の各特徴点の位置ｑsun'に対応づけられて入力され
る。

【００４２】カルマンフィルタ２１は、前の画像におけ
る各セグメントの各点の情報｛Ｆsun ｝の３次元位置ｐ
sun とそれに対応する入力画像のエッジ位置ｑsun から
３次元位置ｐsun を更新する。カルマンフィルタはノイ
ズを含むシステムにおいて時系列の観測量から状態量の
最小自乗推定値を逐次得ることのできるフィルタであ
る。本実施例において、状態量は３次元位置ｐsun 、観
測量である２次元位置ｑsun である。２次元位置ｑsun
にはΔｑsun の量子化によるノイズが含まれる。また、
動き推定値にもノイズが含まれる。初期値の平面上の３
次元形状｛ｐsun｝は、カルマンフィルタによりセグメ
ントに動きがあるごとに、実際の３次元形状に近づくよ
うに更新されていく。各点の情報｛Ｆsun ｝における確
率共分散行列ｖsun はｐsun の確率共分散行列（３×
３）でｐsun を更新するのに用いられ、同時に確率共分
散行列ｖsun も更新される。

【００４３】補正処理部２２は、エッジを追跡する際
に、記憶されている前のフレームの画像に存在したエッ
ジが現在のフレームの画像に存在しなかったり（消
失）、逆に現在のフレームの画像に存在するエッジが、
記憶されている前のフレームの画像に存在しなかったり
（出現）した場合に、そのような、消失したエッジや、
新たに出現したエッジなどに対する処理を行う。補正処
理部２２においては、まず、エッジの消失を検出し処理
し、次に出現したエッジを検出し処理する。出現したエ
ッジの処理としては、まず、既存のエッジに加えること
が可能か否かをチェックし、次に新しいセグメントを構
成するエッジか否か、未知のエッジとして保留しておく
否かをチェックする。

【００４４】以下、各処理方法について説明する。ま
ず、消失した点は、すぐに記憶部１３から削除せず、消
失したという印を付加情報として付加した上で保存す
る。保存する際、消失した部分が属していたセグメント
の動き推定値に基づいて３次元位置ｐsun を移動させ
る。確率共分散行列ｖsun 、分析値ｇsun 、および、属
するセグメントはそのままにしておく。

【００４５】出現については、まず、入力画像における
エッジで記憶中の点と対応のなかった点を抜き出し、そ
れを出現エッジとする。出現エッジは連結性を調べて連
結した開曲線または閉曲線となる点の集合に分ける。次
に、過去に消失したエッジで再び出現したものが有るか
否かを調べる。記憶部１３に記憶されている消失したと
いう印のついた点を、過去に属していたセグメントの動
きにしたがって３次元位置を移動させ投影する。そし
て、消失したという印のついた点を投影した付近に、新
たに出現したエッジが存在すれば、消失したという印を
除いてその点を対応の取れた点として復活させる。復活
させた点の３次元位置ｐsun 、確率共分散行列ｖsun
は、カルマンフィルタ２１により更新されるようにす
る。このような処理により、一時的に消失した部分は適
切に処理される。

【００４６】消失した点の再出現の処理後、残った出現
エッジのそれぞれの集合について、さらに、対応のとれ
たセグメントに属するエッジか否かを判断する。この判
断は、対象の出現エッジが、対応のとれている画像のエ
ッジと矛盾なく接続しているか否かを調べる。これは、
接続している位置で特徴点の分析値ｇsun が概ね連続に
なっていれば矛盾なく接続しているとする。既存のセグ
メントに追加される出現エッジには、奥行き値（Ｚ成
分）として対応があった入力画像のエッジと接続してい
る部分の奥行き値を与え、Ｘ、Ｙ成分として、そのＺ成
分の値に基づいて式２より求めた値を与える。また、分
析値は出現エッジの集合を構成する点の画像分析結果を
そのまま与える。

【００４７】そして、消失エッジとの対応付け、およ
び、既存セグメントへの追加のいずれにもあてはまら
ず、いずれのセグメントにも属していないと判断された
出現エッジは未知セグメントとする旨の印を付加情報と
して付加し、記憶部１３に記憶しておく。そして、前述
した処理により、セグメントが未知という印を付けられ
ている特徴点は、次のように処理する。セグメントがＳ
個あるとする。各セグメントについて動き推定・対応探
索部１５で動き推定値が求められているが、セグメント
未知の点が仮にセグメントｓ（ｓ＝１〜Ｓ）に属すると
し、３次元位置をセグメントｓの動き推定値によって移
動させてみる。移動させる前のセグメント未知の特徴点
の３次元位置は、セグメントｓの重心のＺ成分、あるい
は、前の入力画像のエッジにおいて対応点が最も近くに
あったセグメントｓに属する点のＺ成分などを奥行き値
とし、初期設定部１２と同様にして与える。セグメント
未知の点を移動後、投影した時、その近傍に対応する出
現エッジが存在するか否か探す。このような操作をＳ個
のセグメント全てに対して行い、その結果セグメント未
知の点は、最も良く対応する出現エッジがあったセグメ
ントに属するとする。

【００４８】適切に対応するセグメントが存在しなかっ
た出現エッジに対しては、まず、画素数が所定の数より
少ないものはノイズと考えて無視する。無視できない出
現エッジは（Ｓ＋１）番目の新セグメントとする。

【００４９】符号化部２３は、入力された動画像系列の
情報を符号化し、伝送路５０に送出する。符号化部２３
は、各連続画像シーケンスの１フレーム目の画像データ
については、画像分析部１１より入力されたエッジ位置
ｑｎ、分析値、および、ＤＣ成分を符号化する。また、
２フレーム目以降の画像データについては、各セグメン
ト毎に、動き推定・対応探索部１５より出力される動き
推定値と、量子化部１９より出力されるフラクチュエー
ションΔｑsun を符号化し出力する。

【００５０】なお、２フレーム目以降の画像データの符
号化に際して、全体的にフラクチュエーションが小さい
セグメントについては画質に対する影響が少ないので、
動き推定値のみを送出するようにしてもよい。そのよう
な処理を行う符号化部について図４を参照して説明す
る。図４は符号化部２３の当該構成部の構成を説明する
ブロック図である。量子化部１９より入力された各セグ
メントごとのフラクチュエーションΔｑsun は、演算部
２３１および記憶部２３２に入力される。演算部２３１
においては、入力された各フラクチュエーションの２乗
和Σ (｜Δｑsun ｜²)を算出する。また、記憶部２３２
に入力されたフラクチュエーションΔｑsun は、各セグ
メントごとに記憶される。

【００５１】比較部２３３においては演算部２３１によ
り算出されたフラクチュエーションの２乗和Σ (｜Δｑ
sun ｜²)を予め定めた値εと比較する。そして、フラク
チュエーションの２乗和Σ (｜Δｑsun ｜²)が前記所定
値εより大きい場合に、フラクチュエーション符号化部
２３４に、符号化を行う旨の信号を出力する。フラクチ
ュエーションの２乗和Σ (｜Δｑsun ｜²)が前記所定値
ε以下の場合には、比較部２３３は前記信号を出力しな
い。なお、前記所定値εは再生時に要求される画質など
の条件により任意に設定される。動き推定値符号化器２
３５は動き推定・対応探索部１５より入力される各セグ
メントごとの動き推定値を符号化する。また、ＤＣ成分
符号化部２３６は、画像分析部１１より入力されるＤＣ
成分を符号化する。このように、図４に示したような構
成を含む符号化部においては、動き推定値とＤＣ成分に
ついては各フレームごとに符号化を行うが、フラクチュ
エーションΔｑsun については所定値より大きい変動が
あったのみ符号化を行う。したがって、圧縮率を上げる
ことができる。

【００５２】このように、動画像符号化装置１０によれ
ば、各フレームごとのセグメントの動きを推定する段階
で、対応する特徴点を画像特徴も用いて最尤推定法によ
り統計的に求めており、適切に対応付けが可能である。
したがって、各特徴点のフラクチュエーションは十分小
さくすることができ、高圧縮率で符号化が可能となる。

【００５３】次に、本発明の一実施例の動画像復号化装
置について、図５を参照して説明する。図５は、本発明
の一実施例の動画像復号化装置３０の構成を示すブロッ
ク図である。動画像復号化装置３０は、初期復号化部３
４、初期設定部３２、画像合成部３１、記憶部３３、補
正処理部４２、動き処理部３６、第２の投影部３９、カ
ルマンフィルタ４１、および、第１の投影部３７より構
成される。本実施例の動画像復号化装置３０は、伝送路
５０より伝送された符号化された動画像系列を展開し、
画像合成部３１より出力する動画像復号化装置である。
また、この動画像復号化装置３０は、前述した動画像符
号化装置１０と協働して画像処理系を構成する。

【００５４】以下、各部の動作について説明する。復号
化部３４は、伝送路５０より伝送された信号を受信し、
復号化して各情報を取り出し、適宜各部に出力する受信
手段である。連続シーケンスの画像の１フレーム目のデ
ータについては、エッジ位置｛ｑｎ｝と、分析値、およ
び、ＤＣ成分を受信信号より分離し、エッジ情報と分析
値を初期設定部３２に、エッジ情報と分析値とＤＣ成分
を画像合成部３１に出力する。また、２フレーム目以降
のデータについては、受信信号より、各セグメントごと
の動き推定値、フラクチュエーション、ＤＣ成分、およ
び、補正処理に関する情報に分離する。動き推定値は、
動き処理部３６およびカルマンフィルタ４１に、フラク
チュエーションは加算部４０に、ＤＣ成分は画像合成部
３１に、また補正処理に関する情報は補正処理部４２に
出力される。

【００５５】初期設定部３２は、初期復号化部３４より
入力されたエッジ情報および分析値に基づいて、各セグ
メントごとの、そのセグメントを構成する特徴点の情報
に展開し、記憶部３３に記憶する。この処理により、動
画像復号化装置３０の記憶部３３の内容は、前述したよ
うな動画像符号化装置の記憶部内の情報と同一の内容と
なる。

【００５６】記憶部３３は、エッジ画像の各特徴点の情
報を、セグメントごとに記憶しておく記憶手段であり、
メモリにより構成され、前述した動画像符号化装置１０
の記憶部１３と同じ構成である。

【００５７】動き処理部３６は、復号化部３４により入
力された動き推定値に基づいて、記憶部３３に記憶され
ている各セグメントを移動させる。第２の投影部３９
は、動き処理部３６により移動された各セグメントを画
像上に投影する。加算部４０は、第２の投影部３９によ
り投影された画像情報に対して、復号化部３４より入力
されたフラクチュエーションを各特徴点に加え、得られ
た画像情報をカルマンフィルタ４１に入力する。

【００５８】カルマンフィルタ４１は、前述した動画像
符号化装置１０のカルマンフィルタ２１と同じ働きを
し、記憶部３３に記憶されている各セグメントの情報を
更新する。

【００５９】第１の投影部３７は、カルマンフィルタ４
１により更新された画像情報に基づいて、各セグメント
を画像上に投影する。画像合成部３１は、復号化部３４
および第１の投影部３７より入力されたエッジ情報、分
析値、およびＤＣ成分に基づいて、画像データを復元し
出力する画像合成部である。まず、復号化部３４より入
力された１フレーム目の画像データについて、エッジ画
像と各点の分析値、および、ＤＣ成分から、動画像符号
化装置への入力画像とほぼ等しい画像を合成する。ま
た、２フレーム目以降の画像データについては、第１の
投影部３７より入力されたエッジ情報、および、分析値
と、復号化部３４より入力されるＤＣ成分に基づいて画
像を合成し、出力する。なお、その際、付加情報の消失
したという印のついた点を除いて画像合成を行う。

【００６０】以上、説明したように、動画像復号化装置
３０によれば、３次元形状データとその動きの情報によ
り符号化された動画像系列においても、前記３次元形状
データで単純に表せない、消失したエッジ情報や出現エ
ッジ情報を補正することができるので、そのような動画
像についても、原画像に忠実に再現性よく復号化するこ
とができる。

【００６１】

【発明の効果】本発明の動画像符号化装置によれば、フ
レーム間の特徴点の移動を効率よく符号化できるので、
高い圧縮率で連続的な動画像を符号化することができ
た。さらに、本発明の動画像復号化装置によれば、前記
動画像符号化装置により符号化された連続的な動画像信
号より、忠実に元の動画像を復号化できた。

【図面の簡単な説明】

【図１】本発明の一実施例の動画像符号化装置の構成を
示すブロック図である。

【図２】図１に示した動画像符号化装置の動き推定・対
応探索の方法を説明する図であり、３次元空間の点Ｐを
望む様子を示し座標系の説明をする図である。

【図３】図１に示した動画像符号化装置の動き推定・対
応探索の方法を説明する図であり、仮想の投影像の説明
をする図である。

【図４】図１に示した動画像符号化装置の符号化部の構
成の他の例を示す図である。

【図５】本発明の一実施例の動画像復号化装置の構成を
示すブロック図である。

【符号の説明】１０…動画像符号化装置１１…画像分析部１２…初期設定部１３…記憶部１４…初期符号化
部１５…動き推定・対応探索部１６…動き処理部１７…投影部１８…加算部１９…量子化部２０…加算部２１…カルマンフィルタ２２…補正処理部２３，２３ｂ…符号化部２３１…演算部２３２…記憶部２３３…比較部２３４…フラクチュエー
ション符号化部２３５…動き推定値符号化器２３６…ＤＣ成分符号化
部３０…動画像復号化装置３１…画像合成部３２…初期設定部３３…記憶部３４…初期復号化
部３６…動き処理部３７…第１の投影
部３９…第２の投影部４０…加算部４１…カルマンフィルタ４２…補正処理部４３…復号化部５０…伝送路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所 9061−5ＨＧ０６Ｆ 15/70 ４１０

Claims

【特許請求の範囲】

【請求項１】連続的な動画像の各フレームより特徴点を
抽出する画像分析手段と、前記連続的な動画像の最初のフレームよりセグメントを
抽出するセグメンテーション手段と、前記画像分析手段により抽出された特徴点に基づいて、
前記セグメンテーション手段により抽出された各セグメ
ントごとの３次元モデル形状情報を記憶する形状記憶手
段と、前記形状記憶手段に記憶されている各３次元モデルのフ
レーム間の動きを推定し、各フレームの３次元モデルの
特徴点を前記推定された動きに基づいて移動させ投影し
た特徴点と、当該フレームの次フレームの特徴点とを対
応付ける動き推定対応探索手段と、前記対応付けられた各特徴点間の位置の差を求める差算
出手段と、前記各３次元モデルのフレーム間の動き推定値および前
記各特徴点間の位置の差に基づいて、前記形状記憶手段
に記憶されている各３次元モデル形状情報を更新する更
新手段と前記セグメンテーション手段により抽出された
前記連続的な動画像の最初のフレームの各セグメント
と、前記画像分析手段により分析された各セグメントの
各特徴点の分析値とを初期データとして符号化する初期
符号化手段と、前記動き推定対応探索手段により各フレームごとに得ら
れた前記各セグメントの３次元モデルのフレーム間の動
き推定値と、前記差算出手段により算出された各特徴点
間の位置の差とを符号化する符号化手段とを有し、前記
連続的な動画像を符号化する動画像処理装置。
【請求項２】前記符号化手段は、各フレーム間の前記差
算出手段により算出された各特徴点間の位置の差が予め
定めた所定値以上の場合にのみ、前記差算出手段により
算出された各特徴点間の位置の差を符号化する請求項１
記載の動画像処理装置。
【請求項３】符号化された初期データより、連続的な動
画像の最初のフレームを構成する各セグメントの特徴点
と、該各特徴点の分析値とを復号化する初期復号化手段
と、前記初期復号化手段により復号化された各セグメントご
との特徴点に基づいて、各セグメントごとの３次元モデ
ル形状情報として記憶する形状記憶手段と、符号化された各フレームごとのデータより、各セグメン
トの３次元モデルのフレーム間の動き推定値と、前記動
き推定値に基づいて３次元モデルを移動させた投影像の
特徴点の位置と当該フレームの次フレームの対応する特
徴点の位置との差とを復号化する復号化手段と、前記各セグメントの３次元モデルのフレーム間の動き推
定値および前記対応する特徴点の位置の差に基づいて、
前記形状記憶手段に記憶されている各セグメントごとの
３次元モデルの形状情報を更新する更新手段と、前記形状記憶手段に記憶されている各セグメントの３次
元モデル形状情報に基づいて、各フレームごとの画像を
合成する画像合成手段とを有し、符号化された連続的な
動画像を復号化する動画像処理装置。
【請求項４】前記形状記憶手段は、当該各特徴点に所定
の奥行き情報を付与し、各セグメントを平板状の３次元
モデルとした３次元モデル形状情報を初期データとして
記憶する請求項１〜３いずれか記載の動画像処理装置。
【請求項５】前記更新手段は、各セグメントの３次元モ
デルのフレーム間の動き推定値に基づいて３次元モデル
を移動させた投影像の特徴点の位置を状態量、当該フレ
ームの次フレームの対応する特徴点の実際の位置を観測
量、対応する各特徴点間の誤差をノイズとし、カルマン
フィルタにより前記状態量の最小自乗推定値を求めるこ
とにより該３次元モデル形状情報を更新する請求項１〜
４いずれか記載の動画像処理装置。