JPH08149459A

JPH08149459A - 動画像処理装置および動画像符号化装置

Info

Publication number: JPH08149459A
Application number: JP28565694A
Authority: JP
Inventors: Katsuyuki Tanaka; 勝之田中; Hitoshi Sato; 仁佐藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-11-18
Filing date: 1994-11-18
Publication date: 1996-06-07

Abstract

(57)【要約】【目的】エッジ間隔が狭い場合や、特徴点が欠落してい
る場合においても特徴点の対応付けが適切に行え、高圧
縮率の符号化や、３次元形状モデルの獲得が適切に可能
となる動画像処理装置を提供する。【構成】動き推定・対応探索部１５において、動き推定
値を求める際に、特徴点ｐの仮想の対応点ｑsun'の近傍
に存在する特徴点ｑｊに対してｅsunj＝（Δｑsunj Δ
ｇsunj）（Δｑsunjはｑｊとｑsun'の位置の差、Δｇsu
njはｑｊとｑsun'の画像特徴の差）を定義し、投影点ｑ
sun'に対してそのｅsunjが観測される確率Ｐ（ｅsunj｜
ｑsun'）が最大となるｑｊを仮想の対応点として選択す
る。その仮想の対応点に基づいて動き推定値を補正し、
この補正を繰り返し動き推定値および特徴点の対応付け
を得る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、たとえば、画像を構成
する各物体の３次元モデルとその動きに基づいて連続的
な動画像を符号化する動画像符号化装置に用いられ、連
続的な動画像を分析して得られた特徴点の各フレーム間
の対応付けを適切に行うことのできる動画像処理装置、
および、それを用いた動画像符号化装置に関する。

【０００２】

【従来の技術】動画像系列の中の各物体の３次元モデル
を使って動画像を符号化することで、動画像系列を圧縮
する方法が提案されている。各物体の３次元形状とその
動きが分かれば、元の動画像系列と全く同じ動画像系列
が生成できる。たとえば画像通信において、送信側と受
信側で３次元モデルを共有し、送信側で入力画像の動き
の情報を検出し、受信側でその動きの情報から画像合成
を行えば、画像が再生できる。この場合、動きの情報の
みを伝送すればよいことから超低レートでの画像通信が
期待できる。具体的には、顔の３次元構造モデルをワイ
ヤフレームに変形し送信側と受信側で共有し、表情など
の特徴のみを伝送して顔画像の合成を行う方法が盛んに
試みられている。

【０００３】しかし、この符号化方法を自然画像に応用
する場合には、予め３次元モデルを用意しておくことは
不可能であり、与えられた動画像系列から３次元モデル
を抽出する必要がある。そのような、動画像系列の中か
ら３次元形状モデルを抽出し、そのモデルを利用して動
画像を符号化する方法としては、Hans George Musmann
、Michael Hotter、Jorn Ostermannらによる「OBJECT-
ORIENTED analysis coding of moving images．」〔Sig
nal processing:Image Communication 1(1989):117-13
8,Elsvier SCIENCE PUBLISHERS B.V. 〕に開示されてい
る方法がある。この方法によれば、エッジ部分について
は動きベクトルを求めそれを利用して奥行きを求め、エ
ッジ以外の部分については奥行きを補間して、３次元形
状を推測する。また、輝度情報は、３次元上に属性とし
てマッピングし、補間された３次元形状のデータと共に
伝送を行っている。

【０００４】また、本願出願人の係わる３次元形状モデ
ルを抽出する同様な方法として、次のような方法があ
る。動画像系列の１フレーム目の各セグメントの２次元
形状情報に、所定の奥行き方向の情報を付加して３次元
モデルの初期値とする。その３次元モデルの動きを推定
し、その推定に基づいて得られる画像と入力される各フ
レームの画像の各特徴点の位置を比較し、その３次元モ
デルの全体的な動きと各特徴点のズレを抽出する。その
３次元モデルの全体の動き（動き推定値）、および、各
特徴点のズレに基づいて、順次前記３次元モデルを更新
し、忠実な３次元モデルを獲得する。

【０００５】ところで、前述したような方法において
は、現フレームの特徴点と、次フレームの特徴点との対
応関係が何らかの方法により分かれば動きベクトルや動
き推定値が得られる。しかし、その対応関係は簡単に分
かるものではなく、フレーム間でどのようにして対応点
を探索し決定するかが、正確に動きベクトルおよび動き
推定値や特徴点のズレを抽出するために非常に重要であ
る。

【０００６】これに対して前記本願出願人に関わる前述
の方法においては、まず、その３次元モデルの３次元座
標および投影面における２次元位置に関する共分散行列
を利用し、その動きの粗い推定を行う。その粗い推定値
を用いて前記３次元モデルを投影し、その特徴点と最も
近い対象画像の特徴点を対応点とする。そして、最小自
乗法により前記動きの推定値を補正し、さらにその補正
を反復して行うことにより動きを推定するというもので
あった。

【０００７】具体的に以下に説明する。まず、図４にお
いて、座標系ＸＹＺはカメラ座標系で、座標系の原点は
レンズの中心で、光軸は奥行き方向となるＺ軸と一致さ
せているものとする。このような座標系におていは、点
Ｐの像はＸＹ平面に平行で原点からカメラの焦点距離ｆ
だけ離れた所に設置された平面に投影されると考えるこ
とができる。この投影面上の点Ｐの像の位置がカメラよ
り入力された画像上の画素の位置となる。その投影面に
対して、その面のＺ軸との交点を原点とし、Ｘ軸および
Ｙ軸と平行な座標系ｘｙを設定する。

【０００８】ＸＹＺ空間内の点Ｐの座標をｐ＝（Ｘp ，
Ｙp ，Ｚp ）、点Ｐのｘｙ平面上の像である点Ｑの座標
をｑ＝（ｘq ，ｙq ）とすると、点Ｑの座標ｑは式３の
ように表される。

【０００９】

【数３】

【００１０】あるセグメントｓ（ｓ＝１〜Ｓ）がＵs 個
（ｓ＝１〜Ｓ）のエッジより構成され、その各エッジが
Ｎsu個（ｕ＝１〜Ｕｓ，ｓ＝１〜Ｓ）の点の情報で表さ
れ、それら各点の位置はｐsun ＝（Ｘsun ，Ｙsun ，Ｚ
sun ）（ｎ＝１〜Ｎsu）で表されるとする。このセグメ
ントが、相対的にＸ軸周りにΔωｘ、Ｙ軸周りにΔω
ｙ、Ｚ軸周りにΔωｚ回転し、また、Δｔ＝（Δｔｘ，
Δｔｙ，Δｔｚ）だけ平行移動した場合、このセグメン
トを構成する各点ｐsun の移動量Δｐsun ＝（ΔＸsun
，ΔＹsun ，ΔＺsun ）は、前記各軸周りの回転Δω
ｘ，Δωｙ，Δωｚ、および，平行移動量Δｔが小さい
とすると、式４のようになる。

【００１１】

【数４】

【００１２】点ｐsun のｘｙ平面上への投影点をｑsun
＝（ｘsun ，ｙsun ）とすると、前記セグメントの移動
にともなう投影点ｑsun の移動量Δｑsun ＝（Δｘsun
，Δｙsun ）は式５のようになる。

【００１３】

【数５】

【００１４】式３と式５より式６が得られる。

【００１５】

【数６】

【００１６】式３および式６を、Ｎ個の点の内のｍ＝１
〜ＭのＭ個に適用すると、式７のようになる。

【００１７】

【数７】

【００１８】なお、Δｔ^tは行列Δｔの転置行列を示
す。Δｑについては、新たな画像が入力される前に得て
いた３次元位置ｐｍの式３による仮想の投影点ｑｍ’に
対応する画像上の点が分からないので、図５に示すよう
に、３次元位置情報の仮想の投影像Ｉｐにおいて物体像
Ｉｒの投影特徴点ｑｍから最も近い点と仮定する。Ｍ≧
３のとき回転および平行移動量のパラメータΔＣの推定
値ΔＣ’は、最小自乗法により式８により求められる。

【００１９】

【数８】

【００２０】式８により得られたΔＣ’による３次元位
置情報の移動量Δｑsun を式３より計算して、新たに式
４により仮想の投影像を作り、同様に近い点を対応点と
仮定し、式８の計算を繰り返し、式９のようにしていく
と、仮想の投影像と物体像Ｉｒは近づく。

【００２１】

【数９】

【００２２】この計算を、Σ｜Δｑsun ｜²が予め定め
た所定値ε以下になるまで繰り返すことにより、元の画
像の３次元位置情報ｐsun に対する新たな画像の対応点
ｑsun が求められる。

【００２３】

【発明が解決しようとする課題】しかし、前述した方法
においては、反復計算の過程で単に間隔が近い特徴点を
対応点としているため、特徴点のつながりであるエッジ
の間隔が近い箇所や、特徴点が欠落している箇所などで
は誤対応が生じやすいという問題があった。そのような
例を図６に示す。図６（Ａ）に示すように、エッジ間隔
が狭い場合には他の特徴点と対応づけられる場合が多
い。また、図６（Ｂ）に示すように、特徴点が欠落して
いた場合には、その特徴点は当然他の特徴点に対応付け
られる。

【００２４】さらに、そのような誤対応がある場合に
は、全体の動きの推定値の誤差が大きくなりズレの情報
が大きくなるため圧縮率が下がると同時に、ノイズが増
え動画像を適切に符号化できなくなるという問題を生じ
た。

【００２５】したがって、本発明の目的は、エッジ間隔
が狭い場合や、特徴点が欠落している場合においても、
適切に特徴点の対応付けが行え、動きの推定が行えるよ
うな動画像処理装置を提供することにある。また、その
動きの推定や対応付けられた特徴点を用いて、動画像を
適切に符号化することができる動画像符号化装置を提供
することにある。

【００２６】

【課題を解決するための手段】フレーム間の特徴点の対
応付けに誤対応が生じるのは、単に各特徴点の位置情報
のみを用いて、最も近い点を仮の対応点としていること
に起因する。そこで本発明においては、各特徴点につい
て位置情報以外の情報を比較し、対応付けを行うように
した。その情報として、本願出願人らの動画像処理装置
においては、各特徴点が入力画像の分析値を持っている
ので、画像特徴であるその分析値を利用するようにし
た。

【００２７】したがって、本発明の動画像処理装置は、
連続的な動画像の各フレームより特徴点を抽出する画像
分析手段と、前記連続的な動画像の最初のフレームより
セグメントを抽出するセグメンテーション手段と、前記
各特徴点に奥行き情報を付与し各セグメントごとに３次
元モデル形状情報として記憶する形状記憶手段と、前記
各３次元モデルのフレーム間の動きを推定し、現フレー
ムの３次元モデルの特徴点を前記推定された動きに基づ
いて移動させ投影した特徴点と、次フレームの特徴点と
を、前記各特徴点について前記画像分析手段により抽出
された分析値に基づいて対応付ける動き推定対応探索手
段と、前記対応付けられた特徴点間の位置の差を求める
差算出手段と、前記各対応特徴点間の位置の差に基づい
て、前記形状記憶手段に記憶されている各セグメントの
３次元モデル形状情報を更新する更新手段とを有する。

【００２８】好適には、前記動き推定対応探索手段は、
前記各３次元モデルのフレーム間の動きを推定し、現フ
レームの３次元モデルの特徴点ｐn を前記推定された動
きに基づいて移動させ投影した特徴点ｑm に対応する次
フレームの仮の特徴点をｑm'とし、該仮の特徴点ｑm'の
近傍に存在する次フレームの特徴点ｑj （j ＝１〜Ｊ）
に対して、式１０に示す量ｅnjを定義する時、

【００２９】

【数１０】

【００３０】仮の特徴点ｑm'に対して式１０に示した量
ｅnjの観測される確率Ｐ（ｅnj｜ｑn）が最大となる特
徴点ｑj を特徴点ｑm に対応する特徴点として対応関係
を求める。

【００３１】また特定的には、前記動き推定対応探索手
段において、確率Ｐ（ｅnj｜ｑn ）が最大となる特徴点
ｑj は、式１１の評価関数を最小にする対応点を求める
ことにより得る。

【００３２】

【数１１】

【００３３】また、本発明の動画像符号化装置は、連続
的な動画像を符号化する動画像符号化装置であって、前
記動画像処理装置と、前記動画像処理装置の前記セグメ
ンテーション手段により抽出された前記連続的な動画像
の最初のフレームの各セグメントと、前記動画像処理装
置の前記画像分析手段により分析された前記セグメント
の各特徴点の分析値とを、初期データとして符号化する
初期符号化手段と、前記動画像処理装置の動き推定対応
探索手段により推定された前記各セグメントの３次元モ
デルのフレーム間の動き推定値と、前記動画像処理装置
の前記差算出手段により算出された各特徴点間の位置の
差とを、前記連続的な動画像の各フレームごとに符号化
する符号化手段とを有する。

【００３４】

【作用】本発明の動画像処理装置によれば、単に位置の
近い特徴点を仮の対応点とするのではなく、各特徴点の
画像特徴である分析値を用いて対応点を決定している。
したがって、間隔が同様であれば分析値が類似している
特徴点を対応点として選ぶことや、著しく分析値の異な
る特徴点を対応付けることを防ぐことができる。すなわ
ち、対応点として矛盾の無い特徴点を選ぶことができ
る。

【００３５】また本発明の動画像符号化装置によれば、
前記本発明の動画像処理装置により精度よくそのセグメ
ントの動き推定値や特徴点の対応付けができるので、全
体の動き推定値の誤差が小さくなり、各特徴点のズレも
小さくなるため、高圧縮率で、ノイズが減り再現性のよ
い動画像の符号化が可能となる。

【００３６】

【実施例】本発明の一実施例の動画像符号化装置につい
て、図１〜図３を参照して説明する。図１は、本発明の
一実施例の動画像符号化装置１０の構成を示すブロック
図である。動画像符号化装置１０は、画像分析部１１、
初期設定部１２、記憶部１３、動き推定・対応探索部１
５、動き処理部１６、投影部１７、量子化部１９、カル
マンフィルタ２１、補正処理部２２、および、符号化部
２３より構成される。本実施例の動画像符号化装置１０
は、ＶＴＲまたはビデオなどからの動画像系列から図示
せぬ連続シーケンス検出部により検出された連続した画
像データを入力され、その各画像データ系列を圧縮し、
伝送路５０に送出する圧縮伝送装置である。

【００３７】以下、各部の動作について説明する。画像
分析部１１は、順次入力される各フレームの画像データ
を分析し、特徴点を抽出し、特徴点の位置と分析値を求
める。本実施例においては、入力画像データに対して、
異なる解像度スケールを持つ複数のフィルタで画像デー
タの分析を行い、エッジを構成する点を特徴点として検
出し、入力画像データを特徴画像データであるエッジの
画像データに変換し、そのエッジを構成する各点の位置
と分析値を抽出する。

【００３８】また画像分析部１１は、各連続シーケンス
の１フレーム目の入力画像データより、画像を合成する
ために必要なＤＣ成分を抽出する。その１フレーム目の
画像データに対して得られた特徴点の位置と分析値は初
期設定部１２と符号化部２３に、ＤＣ成分は符号化部２
３に出力される。また、２フレーム目以降の画像データ
に対する特徴点の位置と分析値は動き推定・対応探索部
１５と補正処理部２２に出力される。

【００３９】初期設定部１２は、画像分析部１１より入
力された１フレーム目の特徴画像データの特徴点の位置
と分析値より、セグメンテーションを行い、この画像デ
ータを構成しているセグメントを抽出し、各セグメント
毎の特徴点の情報を記憶部１３に記憶する。このセグメ
ンテーションは、カラー画像から赤・緑・青・明度・色
相・彩度の信号、および、テレビ信号に対応したＹ信
号、Ｉ信号、Ｑ信号の合計９種類の特徴を抽出し、その
特徴に関するヒストグラムに基づいてセグメンテーショ
ンを行う再帰的しきい値処理により行う。

【００４０】記憶部１３は、各セグメントの各特徴点に
ついて、位置情報Ｘ，Ｙ，Ｚと、分析値ｇ、確率共分散
行列ｖ、付加情報ａを記憶する記憶手段であり、メモリ
により構成される。記憶部１３に記憶されている情報
は、入力された連続シーケンスがＳ個のセグメントを有
し、各セグメントがＵs 個（ｓ＝１〜Ｓ）のエッジより
構成され、その各エッジがＮsu個（ｕ＝１〜Ｕs 、ｓ＝
１〜Ｓ）の特徴点より構成される場合、式１２のように
表される。

【００４１】

【数１２】

【００４２】なお、確率共分散行列ｖsun （ｎ＝１〜Ｎ
su、ｕ＝１〜Ｕs 、ｓ＝１〜Ｓ）は、各エッジを構成す
る点のちらばりであるので、同一のエッジを構成する各
特徴点については同一の値が付される。

【００４３】記憶部１３に記憶されている情報は、ま
ず、１フレーム目についての情報が初期設定部１２より
入力され、初期データが生成される。その後、２フレー
ム目以降の画像データが入力されるごとに、後述するカ
ルマンフィルタ２１、および、補正処理部２２によりそ
の内容が更新される。

【００４４】動き推定・対応探索部１５は、前フレーム
の画像のエッジ画像の各点の情報｛Ｆsun ｝と現フレー
ムのエッジ位置と分析値から、セグメントの動いた量を
推定し、前フレームの各点の情報｛Ｆsun ｝と、現フレ
ームのエッジ画像の特徴点の対応付けを行う。その方法
は、基本的には前述した従来の方法と同様である。しか
し、従来の式８を反復して計算する方法においては、仮
想の対応点を画像面において単に近い点としているた
め、誤対応が生じる可能性がある。そこで、本実施例に
おいてはこのような誤対応を減らすために、各特徴点に
対して求められた分析値を画像特徴として用い、最尤推
定法により対応点を決定する。

【００４５】その仮想の対応点の求め方を説明する。特
徴点ｐsun の仮想の対応点ｑsun'について、点ｑsun'の
近傍に存在する特徴点ｑj （j ＝１〜Ｊ）に対して、式
１３に示す量ｅsunjを定義する。

【００４６】

【数１３】

【００４７】そして、点ｐsun の対応点として、その投
影点ｑsun'に対して式１３に示した量ｅsunjの観測され
る確率Ｐ（ｅsunj｜ｑsun'）が最大となるｑj を仮想の
対応点として選択する。確率Ｐ（ｅsunj｜ｑsun'）をガ
ウス分布、Δｑsunj、Δｇsunjの各成分はすべて独立と
する。Δｑsunj、Δｇsunjの平均は０として良い。Δｑ
sunj、Δｇsunjの分散については、式８により得られた
対応関係においては、誤対応は含まれているが、正し
い、あるいは、わずかにずれているといった対応が十分
多いと考えられるので、その対応関係における分散を近
似的にΔｑsunj、Δｇsunjの分散と見なすことができ
る。

【００４８】Δｑsunj＝（Δｘsunj，Δｙsunj）、Δｇ
sunjは２次元量でΔｇsunj＝（Δｇ１sunj，Δｇ２sun
j）としてΔｘsunj、Δｙsunj、Δｇ１sunj、Δｇ２sun
jの分散をδ１、δ２、δ３、δ４とすると確率Ｐ（ｅs
unj｜ｑsun'）の指数部分は式１４で与えられる。

【００４９】

【数１４】

【００５０】したがって、確率Ｐ（ｅsunj｜ｑsun'）を
最大にすることは、式１５に示す評価関数Ｅを最小にす
ることになる。

【００５１】

【数１５】

【００５２】式１５は、投影点と画像上の点とのずれ
と、画像特徴量の差を考慮した評価関数になっている。
したがって、点ｐsun の仮想の投影点ｑsun'の近傍にあ
るいくつかの対応候補点ｑj のすべてについて式１５を
計算し最小値をとるｑj を対応点とすると、エッジの間
隔が狭い部分でも誤対応が生じにくい。

【００５３】この方法に基づく動き推定・対応探索部１
５の処理の流れについて図２を参照して説明する。図２
は、各フレームにおいて画像分析部１１において特徴点
が抽出され、動き推定・対応探索部１５において各セグ
メントの動きと特徴点の対応が得られるまでの処理を示
す流れ図である。

【００５４】まず、動き推定・対応探索部１５には、入
力された各フレームの画像を（ステップＳ６１）画像分
析部１１で分析し、特徴点を抽出したエッジ画像が入力
される（ステップＳ６２）。初期値の設定を行ったあと
（ステップＳ６５）、運動パラメータＣk に基づく投影
像Ｉｐを作成する（ステップＳ６４）。次に仮想の対応
点を求めるが、最初は（ステップＳ６５）、従来と同様
に、３次元位置情報の仮想の投影像Ｉｐにおいて物体像
Ｉｒの投影特徴点ｑｍから最も近い点を、点ｐｍの式２
による仮想の投影点ｑｍ’に対応する画像上の点と仮定
する（ステップＳ６８）。

【００５５】また、２回目以降は（ステップＳ６５）、
前回の対応関係による位置および特徴の差Δｑsunj、Δ
ｇsunjの各成分の分散を計算する（ステップＳ６６）。
この各分散を用いて、式１５の評価関数Ｅを最小にする
点を入力画像の各特徴点について求める（ステップＳ６
７）。ステップＳ６６、または、ステップＳ６７により
求められた対応関係において、式６における行列Ａと移
動量Δｑを計算する（ステップＳ６９）。計算された行
列Ａと移動量Δｑに基づいてΔＣk を求める（ステップ
Ｓ７０）。式９により運動パラメータＣk を更新する
（ステップＳ７１）。この処理を、Σ｜Δｑsun ｜²が
予め定めた所定値ε以下になるまで繰り返す（ステップ
Ｓ７２）。これにより、適切な運動パラメータと各特徴
点の対応関係が得られる。

【００５６】以上述べたような動き推定・対応探索の方
法によれば、物体を剛体と仮定し、回転および平行移動
についての６個のパラメータで３次元位置情報を構成す
る点を拘束することで、個々の点それぞれ独立にではな
く、包括的に動き推定・対応探索が行われている。した
がって、全体として矛盾のない対応関係が全ての点につ
いて得られ、誤対応による３次元位置情報におけるノイ
ズが減る。

【００５７】動き処理部１６は、動き推定・対応探索部
１５により得られた、各セグメントの平行移動量ｔ、回
転移動量ω、によって各セグメントの情報｛Ｆsun ｝の
位置情報を、３次元空間において平行および回転移動さ
せる。

【００５８】投影部１７は、各セグメントの各点の３次
元位置ｐsun ＝（Ｘsun ，Ｙsun ，Ｚsun ）を画像上の
位置ｑsun ＝（ｘsun ，ｙsun ）に変換し、得られた画
像上の点ｑsun に分析値ｇsun を与える。３次元位置ｐ
sun から投影点ｑsun への変換は式３により行う。

【００５９】加算部１８で、投影後の各特徴点の情報
｛Ｆsun ｝の画像上での位置ｑsun'と対応する入力画像
のエッジ位置ｑsun との差を求める。

【００６０】量子化部１９は、前記加算部１８により求
められた差を量子化し、フラクチュエーションを求め
る。量子化方法としては、一定の適切な量子化ステップ
（たとえば１画素幅）による線形な量子化、いくつかの
線形でない量子化ステップを設定した非線形量子化、量
子化ステップを固定せず、入力される画像の性質により
量子化ステップを適宜変える量子化などがあり、要求さ
れる伝送レート、画質に応じて、適切な量子化方法を用
いれば良い。たとえば、高圧縮率が要求される場合に
は、量子化ステップを大きくしたり、画像に直線が多く
量子化ノイズによる直線の不連続性が目立つ場合は、非
線形量子化を行い、フラクチュエーションの小さい部分
の量子化を細かくするようにする。求められたフラクチ
ュエーションは、符号化部２３およびカルマンフィルタ
２１に入力される。なお、カルマンフィルタ２１に入力
されるフラクチュエーションは、加算部２０で再び投影
後の各特徴点の位置ｑsun'に対応づけられて入力され
る。

【００６１】カルマンフィルタ２１は、前の画像におけ
る各セグメントの各点の情報｛Ｆsun ｝の３次元位置ｐ
sun とそれに対応する入力画像のエッジ位置ｑsun から
３次元位置ｐsun を更新する。カルマンフィルタはノイ
ズを含むシステムにおいて時系列の観測量から状態量の
最小自乗推定値を逐次得ることのできるフィルタであ
る。本実施例において、状態量は３次元位置ｐsun 、観
測量である２次元位置ｑsun である。２次元位置ｑsun
にはΔｑsun の量子化によるノイズが含まれる。また、
動き推定値にもノイズが含まれる。初期値の平面上の３
次元形状｛ｐsun｝は、カルマンフィルタによりセグメ
ントに動きがあるごとに、実際の３次元形状に近づくよ
うに更新されていく。各点の情報｛Ｆsun ｝における確
率共分散行列ｖsun はｐsun の確率共分散行列（３×
３）でｐsun を更新するのに用いられ、同時に確率共分
散行列ｖsun も更新される。

【００６２】補正処理部２２は、エッジを追跡する際
に、記憶されている前のフレームの画像に存在したエッ
ジが現在のフレームの画像に存在しなかったり（消
失）、逆に現在のフレームの画像に存在するエッジが、
記憶されている前のフレームの画像に存在しなかったり
（出現）した場合に、そのような、消失したエッジや、
新たに出現したエッジなどに対する処理を行う。補正処
理部２２においては、まず、エッジの消失を検出し処理
し、次に出現したエッジを検出し処理する。出現したエ
ッジの処理としては、まず、既存のエッジに加えること
が可能か否かをチェックし、次に新しいセグメントを構
成するエッジか否か、未知のエッジとして保留しておく
否かをチェックする。

【００６３】以下、各処理方法について説明する。ま
ず、消失した点は、すぐに記憶部１３から削除せず、消
失したという印を付加情報として付加した上で保存す
る。保存する際、消失した部分が属していたセグメント
の動き推定値に基づいて３次元位置ｐsun を移動させ
る。確率共分散行列ｖsun 、分析値ｇsun 、および、属
するセグメントはそのままにしておく。

【００６４】出現については、まず、入力画像における
エッジで記憶中の点と対応のなかった点を抜き出し、そ
れを出現エッジとする。出現エッジは連結性を調べて連
結した開曲線または閉曲線となる点の集合に分ける。次
に、過去に消失したエッジで再び出現したものが有るか
否かを調べる。記憶部１３に記憶されている消失したと
いう印のついた点を、過去に属していたセグメントの動
きにしたがって３次元位置を移動させ投影する。そし
て、消失したという印のついた点を投影した付近に、新
たに出現したエッジが存在すれば、消失したという印を
除いてその点を対応の取れた点として復活させる。復活
させた点の３次元位置ｐsun 、確率共分散行列ｖsun
は、カルマンフィルタ２１により更新されるようにす
る。このような処理により、一時的に消失した部分は適
切に処理される。

【００６５】消失した点の再出現の処理後、残った出現
エッジのそれぞれの集合について、さらに、対応のとれ
たセグメントに属するエッジか否かを判断する。この判
断は、対象の出現エッジが、対応のとれている画像のエ
ッジと矛盾なく接続しているか否かを調べる。これは、
接続している位置で特徴点の分析値ｇsun が概ね連続に
なっていれば矛盾なく接続しているとする。既存のセグ
メントに追加される出現エッジには、奥行き値（Ｚ成
分）として対応があった入力画像のエッジと接続してい
る部分の奥行き値を与え、Ｘ、Ｙ成分として、そのＺ成
分の値に基づいて式２より求めた値を与える。また、分
析値は出現エッジの集合を構成する点の画像分析結果を
そのまま与える。

【００６６】そして、消失エッジとの対応付け、およ
び、既存セグメントへの追加のいずれにもあてはまら
ず、いずれのセグメントにも属していないと判断された
出現エッジは未知セグメントとする旨の印を付加情報と
して付加し、記憶部１３に記憶しておく。そして、前述
した処理により、セグメントが未知という印を付けられ
ている特徴点は、次のように処理する。セグメントがＳ
個あるとする。各セグメントについて動き推定・対応探
索部１５で動き推定値が求められているが、セグメント
未知の点が仮にセグメントｓ（ｓ＝１〜Ｓ）に属すると
し、３次元位置をセグメントｓの動き推定値によって移
動させてみる。移動させる前のセグメント未知の特徴点
の３次元位置は、セグメントｓの重心のＺ成分、あるい
は、前の入力画像のエッジにおいて対応点が最も近くに
あったセグメントｓに属する点のＺ成分などを奥行き値
とし、初期設定部１２と同様にして与える。セグメント
未知の点を移動後、投影した時、その近傍に対応する出
現エッジが存在するか否か探す。このような操作をＳ個
のセグメント全てに対して行い、その結果セグメント未
知の点は、最も良く対応する出現エッジがあったセグメ
ントに属するとする。

【００６７】適切に対応するセグメントが存在しなかっ
た出現エッジに対しては、まず、画素数が所定の数より
少ないものはノイズと考えて無視する。無視できない出
現エッジは（Ｓ＋１）番目の新セグメントとする。

【００６８】符号化部２３は、入力された動画像系列の
情報を符号化し、伝送路５０に送出する。符号化部２３
は、各連続画像シーケンスの１フレーム目の画像データ
については、画像分析部１１より入力されたエッジ位置
｛ｑｎ｝、分析値、および、ＤＣ成分を符号化する。ま
た、２フレーム目以降の画像データについては、各セグ
メント毎に、動き推定・対応探索部１５より出力される
動き推定値と、量子化部１９より出力されるフラクチュ
エーション｛Δｑsun ｝を符号化し、出力する。なお、
全体的にフラクチュエーションが小さいセグメントにつ
いては画質に対する影響が少ないので、動き推定値のみ
を送る場合もある。

【００６９】このように、動画像符号化装置１０によれ
ば、各フレームごとのセグメントの動きを推定する段階
で、対応する特徴点を画像特徴も用いて最尤推定法によ
り統計的に求めており、適切に対応付けが可能である。
したがって、各特徴点のフラクチュエーションは十分小
さくすることができ、高圧縮率で符号化が可能となる。

【００７０】なお、本発明は本実施例に限られるもので
はなく種々の改変が可能である。特に、本発明に係わる
動き推定・対応探索部１５は次のような種々の方法で実
施してもよい。たとえば、動き推定・対応探索部１５に
おいて、対応点の探索に用いる画像特徴として、画像分
析部１１により分析された分析値を用いるものとした。
しかし、これは任意の画像特徴を用いてよい。たとえ
ば、輝度レベルや任意の次数の部分係数などの画像特徴
を用いてよい。

【００７１】また、式１４および式１５では、Δｑsunj
をｘ，ｙ成分独立としたが、距離｜Δｑsunj｜の１個と
し、ｅsunj＝（｜Δｑsunj｜ Δｇsunj）としても良
い。また、Δｇsunjは２次元量としたが、任意の画像特
徴を用いて任意の次元のベクトル量でよい。またスカラ
量でもよい。したがって、前記ｅsunjが、位置のズレと
画像特徴の差による任意の個数の成分を有するとし、式
１５を一般的に記述すると式１６のようになり、式１６
の評価関数を最小にするように対応点を求めればよい。

【００７２】

【数１６】

【００７３】式１４〜式１６の評価関数における分散値
は正確である必要はなく、画像が時間的に変わって物体
像が移動したりしてもそれほど分散値は変化しない場合
もある。その場合には、予め定めた分散値を使ってもよ
い。また、評価関数Ｅにしきい値γを設定し、γより大
きい場合には対応点が無いと判断するようにすれば、エ
ッジが欠落していてその近くに画像特徴量が全く異なる
別のエッジが存在するときに誤対応させずに済む。

【００７４】また、本実施例の動き推定・対応探索部１
５の動作においては、運動パラメータを求める段階の、
仮想の対応点を求める度に、画像特徴値を用いた式１５
を最小にするような対応点を求める処理を行った。しか
し、誤対応が少なく、対応がある程度適切にとれている
状態においては、前記最尤推定法を１回行うだけでも有
効である。

【００７５】そのような場合について図３を参照して説
明する。図３は、従来の方法によりセグメントの動きを
求め、対応関係を得る段階で最尤推定を行う処理の流れ
を示す図である。まず、前フレームおよび現フレームの
特徴点の位置からセグメントの動いた量を従来の方法と
同様い行う（ステップＳ７３〜ステップＳ８１）。そし
て、その結果得られた対応関係においてΔｑsunj、Δｇ
sunjの各成分の分散を計算する（ステップＳ８２）。前
記求められた分散に基づいて、式１５を最小にする点を
検出する（ステップＳ８３）。

【００７６】そして、その点を対応点として仮想の投影
像を作り、再び前記行列Ａと移動量Δｑを求め（ステッ
プＳ８４）、再び式８により運動パラメータΔＣk を求
め（ステップＳ８５）、式９により運動パラメータＣを
更新する（ステップＳ８６）。このように、もともと誤
対応が少ない画像においては、動きパラメータは適切に
算出できていると思われるので、最後に最尤推定により
対応点を決めることにより特徴点の誤対応を少なくする
ことができる。

【００７７】

【発明の効果】本発明の動画像処理装置によれば、各特
徴点の画像特徴である分析値を用いて仮の特徴点を決定
しているので、エッジ間隔が狭い場合や、特徴点が欠落
していが場合においても、適切に特徴点の対応付けが行
え、動きの推定が行えるような動画像処理装置を提供す
ることができた。また本発明の動画像符号化装置によれ
ば、前記本発明の動画像処理装置により精度よくそのセ
グメントの動き推定値や特徴点の対応付けができるの
で、全体の動き推定値の誤差が小さくなり、各特徴点の
ズレも小さくなるため、高圧縮率で、ノイズが減り再現
性のよい動画像の符号化が可能となる。

【図面の簡単な説明】

【図１】本発明の一実施例の画像符号化装置の構成を示
すブロック図である。

【図２】図１に示した画像符号化装置の動き推定・対応
探索の方法を説明するフローチャートである。

【図３】図１に示した画像符号化装置の動き推定・対応
探索の他の方法を説明するフローチャートである。

【図４】図１に示した画像符号化装置の動き推定・対応
探索の方法を説明する図であり、３次元空間の点Ｐを望
む様子を示し座標系の説明をする図である。

【図５】図１に示した画像符号化装置の動き推定・対応
探索の方法を説明する図であり、仮想の投影像の説明を
する図である。

【図６】図６は、特徴点の誤対応の例を示す図であっ
て、（Ａ）はエッジ間隔が狭いために生じる誤対応の例
を示す図、（Ｂ）は、特徴点の欠落による誤対応の例を
示す図である。

【符号の説明】

１０…動画像符号化装置１１…画像分析部１２…初期設定部１３…記憶部１４…初期符号化
部１５…動き推定・対応探索部１６…動き処理部１７…投影部１８…加算部１９…量子化部２０…加算部２１…カルマンフィルタ２２…補正処理部２３…符号化部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０３Ｍ 7/36 9382−5ＫＧ０６Ｆ 15/66 ３３０Ｈ

Claims

【特許請求の範囲】

【請求項１】連続的な動画像の各フレームより特徴点を
抽出する画像分析手段と、前記連続的な動画像の最初のフレームよりセグメントを
抽出するセグメンテーション手段と、前記各特徴点に所定の奥行き情報を付与し各セグメント
ごとに３次元モデル形状情報として記憶する形状記憶手
段と、前記各３次元モデルのフレーム間の動きを推定し、現フ
レームの３次元モデルの特徴点を前記推定された動きに
基づいて移動させ投影した特徴点と、次フレームの特徴
点とを対応付ける動き推定対応探索手段と、前記対応付けられた特徴点間の位置の差を求める差算出
手段と、前記各対応特徴点間の位置の差に基づいて、前記形状記
憶手段に記憶されている各セグメントの３次元モデル形
状情報を更新する更新手段とを有し、前記逐次更新され
る３次元モデル形状情報に基づいて入力された連続的な
動画像を分析して得られた特徴点の各フレーム間の移動
を追跡する動画像処理装置であって、前記動き推定対応探索手段は、前記現フレームの３次元
モデルの特徴点を前記推定された動きに基づいて移動さ
せ投影した特徴点と次フレームの特徴点との対応付け
を、当該各特徴点について前記画像分析手段により抽出
された分析値に基づいて行う動画像処理装置。
【請求項２】前記動き推定対応探索手段は、前記各３次元モデルのフレーム間の動きを推定し、現フレームの３次元モデルの特徴点ｐn を前記推定され
た動きに基づいて移動させ投影した特徴点ｑm に対応す
る次フレームの仮の特徴点をｑm'とし、該仮の特徴点ｑ
m'の近傍に存在する次フレームの特徴点ｑj （j ＝１〜
Ｊ）に対して、式１に示す量ｅnjを定義する時、【数１】仮の特徴点ｑm'に対して式１に示した量ｅnjの観測され
る確率Ｐ（ｅnj｜ｑn ）が最大となる特徴点ｑj を特徴
点ｑm に対応する特徴点として対応関係を求める請求項
１記載の動画像処理装置。
【請求項３】確率Ｐ（ｅnj｜ｑn ）が最大となる特徴点
ｑj は、式２の評価関数を最小にする対応点を求めるこ
とにより得る請求項２記載の動画像処理装置。【数２】
【請求項４】連続的な動画像を符号化する動画像符号化
装置であって、前記請求項１〜３いずれか記載の動画像処理装置と、前記動画像処理装置の前記セグメンテーション手段によ
り抽出された前記連続的な動画像の最初のフレームの各
セグメントと、前記動画像処理装置の前記画像分析手段
により分析された前記セグメントの各特徴点の分析値と
を、初期データとして符号化する初期符号化手段と、前記動画像処理装置の動き推定対応探索手段により推定
された前記各セグメントの３次元モデルのフレーム間の
動き推定値と、前記動画像処理装置の前記差算出手段に
より算出された各特徴点間の位置の差とを、前記連続的
な動画像の各フレームごとに符号化する符号化手段とを
有する動画像符号化装置。