JP3663645B2 - 動画像処理装置とその方法 - Google Patents
動画像処理装置とその方法 Download PDFInfo
- Publication number
- JP3663645B2 JP3663645B2 JP28565894A JP28565894A JP3663645B2 JP 3663645 B2 JP3663645 B2 JP 3663645B2 JP 28565894 A JP28565894 A JP 28565894A JP 28565894 A JP28565894 A JP 28565894A JP 3663645 B2 JP3663645 B2 JP 3663645B2
- Authority
- JP
- Japan
- Prior art keywords
- segment
- moving image
- image
- feature point
- shape information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、たとえば動画像の伝送・記録などに用いて好適な、動画像中の物体の３次元形状モデルを抽出する動画像処理装置、および、その形状モデルを用いて高圧縮率で動画像を符号化および復号化する動画像符号化装置、動画像復号化装置、さらに、その符号化された動画像を記録媒体上に記録する動画像記録装置、および、それを再生する動画像再生装置に関する。
【０００２】
【従来の技術】
動画像系列の中の各物体の３次元モデルを使って動画像を符号化することで、動画像系列を圧縮する方法が提案されている。各物体の３次元形状とその動きがわかれば、元の動画像系列と全く同じ動画像系列が生成できる。
そこで、たとえば画像通信において、送信側と受信側で３次元モデルを共有し、送信側で入力画像の動きの情報を検出し、受信側でその動きの情報から画像合成を行えば、画像が再生できる。この場合、動きの情報のみを伝送すればよいことから超低レートでの画像通信が期待できる。具体的には、顔の３次元構造モデルをワイヤフレームに変形し送信側と受信側で共有し、表情などの特徴のみを伝送して顔画像の合成を行う方法が盛んに試みられている。
【０００３】
しかし、この符号化方法を自然画像に応用する場合には、予め３次元モデルを用意しておくことは不可能であり、与えられた動画像系列から３次元モデルを抽出する必要がある。そのような、動画像系列の中から３次元形状モデルを抽出し、そのモデルを利用して動画像を符号化する方法としては、Hans George Musmann 、Michael Hotter、Jorn Ostermannらによる「OBJECT-ORIENTED analysis coding of moving images．」〔Signal processing:Image Communication 1(1989):117-138,Elsvier SCIENCE PUBLISHERS B.V. 〕に開示されている方法がある。この方法によれば、エッジ部分については動きベクトルを求めそれを利用して奥行きを求め、エッジ以外の部分については奥行きを補間して、３次元形状を推測する。また、輝度情報は、３次元上に属性としてマッピングし、補間された３次元形状のデータと共に送出を行っている。
【０００４】
【発明が解決しようとする課題】
しかし、前述したような方法で３次元形状を推測し、動画像系列を圧縮する方法においては、輝度が急変するエッジ部分さえ動きベクトルを求めることは難しく、動きベクトルから正確な奥行きを推測することは非常に難しかった。したがって、エッジ部分の奥行きを補間して３次元形状を推測しても、正確な３次元形状が求められなかった。また、そのため、実際の形状とのずれがあるため余分な情報が増加して、圧縮率が上げられなかった
さらに、前述したような方法では、３次元上に属性としてマッピングした輝度情報を初期情報として伝送するので初期情報量が多いという問題があった。
【０００５】
したがって、本発明の目的は、動画像系列から忠実度の高い３次元形状モデルを抽出する動画像処理装置を提供することにある。また、その３次元形状モデルを使って高い圧縮率で動画像の符号化が可能な動画像符号化装置、および、それを復号する動画像復号化装置を提供することにある。さらに、その符号化された動画像を記録媒体上に記録する動画像記録装置、および、それを再生する動画像再生装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明の動画像処理装置においては、３次元物体の表面データではなく、２次元動画像にしたときに視覚的に重要な点の３次元位置、および、その点の分析値を初期値として持ち、物体の移動を検出しながら、３次元位置情報を獲得するようにした。
【０００７】
本発明の第１の観点によれば、入力された連続的な動画像の各フレームの静止画像についてエッジを構成する点を特徴点として検出し、前記エッジを構成する各点の位置と分析値を抽出し、前記特徴点によって構成される前記各フレームの画像を構成する各セグメントの３次元形状情報を得るモデリング手段と、前記モデリング手段により得られた前記各セグメントの３次元形状情報を記憶する記憶手段と、前記連続的な動画像の各フレーム間で該動画像を構成する前記各セグメントが３次元的に動いた量の推定値を、前記記憶手段に記憶されている前フレームの前記各セグメントの３次元形状情報と現フレームの各セグメントの３次元形状情報とから算出する動き推定手段と、前記動き推定手段により推定された前記各セグメントの動いた量により各セグメントを３次元的に移動させた位置と実際の位置の差の２乗の総和が最小になるように、実際の位置から３次元的に移動させた位置の最小自乗推定値を求めることで、前記記憶手段に記憶されている各セグメントの３次元形状情報を更新する更新手段とを有し、
前記モデリング手段は、前記入力された連続的な動画像の各フレームの静止画像を異なる解像度スケールを持つフィルタで分析してエッジを構成する点を特徴として抽出する画像分析手段と、前記連続的な動画像の１フレーム目の静止画像について、前記抽出された特徴点により構成されるセグメントの２次元形状情報を抽出するセグメンテーション手段と、前記各セグメントの２次元形状情報に、所定の奥行き方向の位置情報を付加し、前記各セグメントの３次元形状情報の初期値を生成する３次元情報生成手段とを有し、
前記更新手段は、前記動き推定手段により推定された前記各セグメントの動いた量により各セグメントを３次元的に移動させた結果の各特徴点の位置と、実際の各特徴点との位置の差に基づいて、実際の位置から３次元的に移動させた位置の最小自乗推定値を求めることで、前記記憶手段に記憶されている各セグメントの３次元形状情報を各フレームごとに更新し、
前記連続的な動画像を構成する各セグメントの３次元形状情報を獲得する、動画像処理装置が提供される。
【０００９】
好ましくは、前記更新手段は、前記更新手段は、前記推定された動きにより各セグメントを３次元的に移動させた結果の各特徴点の位置を状態量、当該特徴点の実際の位置を観測量、前記状態量と前記観測量の差をノイズとし、カルマンフィルタにより前記状態量の最小自乗推定値を求めることにより、前記各セグメントの３次元形状情報を更新する。
【００１０】
本発明の第２の観点によれば、上記動画像処理装置と、前記獲得された３次元形状情報と、前記画像分析手段により分析された当該３次元形状情報を構成する各特徴点の分析値とを符号化する初期符号化手段と、前記動き推定手段により推定された動きにより各セグメントを３次元的に移動させた結果の各特徴点の位置と、実際の各特徴点の位置の差を求める差検出手段と、前記動き推定手段により推定された各セグメントの動き推定値と、前記差検出手段により検出された各特徴点の位置の差とを、各フレームごとに符号化する符号化手段とを有し、前記連続的な動画像を符号化する、動画像符号化装置が提供される。
【００１１】
本発明の第３の観点によれば、上記動画像符号化装置と、該動画像符号化装置により符号化された前記連続的な動画像を記録媒体上に記録する記録手段とを有する動画像記録装置が提供される。
【００１２】
本発明の第４の観点によれば、入力された連続的な動画像に関する所定の静止画像が分析され、エッジを構成する点が特徴点として検出され、符号化された前記連続的な動画像を復号する動画像復号装置であって、前記符号化された連続的な動画像を構成し、前記特徴点を構成要素とする各セグメントの３次元形状情報と、該３次元形状情報を構成する前記各特徴点の分析値とを復号化する初期復号化手段と、前記連続的な動画像の各フレームごとに符号化された、前記各セグメントの動き推定値と、前記各セグメントの各特徴点ごとの前記入力された動画像の対応する各特徴点からの変位とを復号化する復号化手段と、前記各セグメントの位置を、前記復号化手段により復号化された各セグメントの動き推定値に基づいて３次元的に移動させる移動手段と、前記移動手段により移動された位置の前記各セグメントを、２次元画面上に投影した投影画像を得る投影手段と、前記投影画像における各セグメントの各特徴点の位置を、前記復号化手段により復号化された各セグメントの各特徴点ごとの前記入力された動画像の対応する各特徴点からの変位に基づいて移動させる変形手段と、前記変形手段により変形された結果の画像と、前記初期復号化手段により復号化された各特徴点の分析値とに基づいて、画像を合成する画像合成手段とを有し、符号化された連続的な動画像を復号化する、動画像復号化装置が提供される。
【００１３】
本発明の第５の観点によれば、記録媒体上に記録された符号化された連続的な動画像信号を読み出す信号読み取り手段と、前記読み出された符号化された連続的な動画像信号を復号化し、前記連続的な動画像を合成する、上記動画像復号化装置とを有する動画像再生装置が提供される。
【００１５】
【作用】
本発明の動画像処理装置においては、２次元動画像にしたときに視覚的に重要な点の３次元位置、および、その点の分析値を特徴点として、物体の移動を検出しながら、３次元形状情報を順次更新しするようにした。したがって、その連続的な動画像系列を通して最も矛盾が無い３次元形状情報が抽出できる。
また、３次元形状情報が精度よく抽出できるので、動画像系列の各フレーム間の動きをそのセグメント全体の動きで表した際に、各特徴点ごとの微小な変位が少なくなり、その分布は変位０を中心に局在化する。その結果、さらに圧縮率が向上する。
【００１６】
本発明によれば、上述した動画像中の物体の３次元形状モデルを抽出する動画像処理装置、および、その形状モデルを用いて高圧縮率で動画像を符号化および復号化する動画像符号化装置、動画像復号化装置、さらに、その符号化された動画像を記録媒体上に記録する動画像記録装置、および、それを再生する動画像再生装置が提供される。
【００１７】
【実施例】
本発明の一実施例の動画像符号化装置について、図１を参照して説明する。
図１は、本発明の一実施例の動画像符号化装置１０の構成を示すブロック図である。
動画像符号化装置１０は、画像分析部１１、分析画像記憶部１２、セグメンテーション部１３、記憶部１４、動き推定・対応探索部１５、投影部１６、誤差検出部１７、カルマンフィルタ１８、および、符号化部１９を有する。
この動画像符号化装置１０は、後述する動画像復号化装置３０と協働して画像処理系を構成する。
【００１８】
本実施例の動画像符号化装置１０は、ＶＴＲなどからの動画像系列より、図示せぬ連続シーケンス検出部で連続した画像データを検出し、その各連続した画像データ系列を符号化し記録する、動画像記録装置である。その記録に際しては、前記連続シーケンスより、そのシーケンスを構成するセグメントの３次元形状情報を抽出する第１のステップと、抽出された３次元形状情報を用いて符号化を行う第２のステップとに分けられる。以下、各部の動作について、前記第１のステップ、第２のステップごとに説明する。
【００１９】
まず、連続的な動画像系列より、その動画像を構成する各セグメントの３次元形状情報を抽出するステップにおける各部の動作について説明する。
ＶＴＲなどから入力された動画像系列は、連続したシーケンスが検出され、画像分析部１１に入力される。
画像分析部１１は、順次入力される各フレームの画像データを分析し、特徴点を抽出し、特徴点の位置と分析値を求める。本実施例においては、入力画像データに対して、異なる解像度スケールを持つ複数のフィルタで画像データの分析を行い、エッジを構成する点を特徴点として検出し、入力画像データを特徴画像データであるエッジの画像データに変換し、そのエッジを構成する各点の位置と分析値を抽出する。
【００２０】
分析画像記憶部１２は、画像分析部１１で分析された連続的な連続シーケンスの特徴点画像を記憶するメモリである。記憶されている各フレームの特徴点の情報は、動き推定・対応探索部１５より順次参照され、また、１フレーム目の特徴点の情報は、セグメンテーション部１３および符号化部１９より参照される。
【００２１】
セグメンテーション部１３は、画像分析部１１より入力された１フレーム目の特徴画像データの特徴点の位置と分析値より、セグメンテーションを行い、この画像データを構成しているセグメント（部分または要素）を抽出し、各セグメント毎の特徴点の情報を記憶部１４に記憶する。
このセグメンテーションは、カラー画像から赤・緑・青・明度・色相・彩度の信号、および、テレビ信号に対応したＹ信号、Ｉ信号、Ｑ信号の合計９種類のセグメントについて特徴を抽出し、その特徴に関するヒストグラムに基づいてセグメンテーションを行う再帰的しきい値処理により行う。
【００２２】
記憶部１４は、各セグメントの各特徴点について、位置情報Ｘ，Ｙ，Ｚと、分析値ｇ、確率共分散行列ｖ、付加情報ａを記憶する記憶手段であり、メモリにより構成される。記憶部１４に記憶されている情報は、入力された連続シーケンスがＳ個のセグメントを有し、各セグメントがＵs 個（ｓ＝１〜Ｓ）のエッジより構成され、その各エッジがＮsu個（ｕ＝１〜Ｕs 、ｓ＝１〜Ｓ）の特徴点より構成される場合、式１のように表される。
【００２３】
【数１】
【００２４】
なお、確率共分散行列ｖsun （ｎ＝１〜Ｎsu、ｕ＝１〜Ｕs 、ｓ＝１〜Ｓ）は、各エッジを構成する点のちらばりであるので、同一のエッジを構成する各特徴点については同一の値が付される。
【００２５】
記憶部１４に記憶されている情報は、まず、１フレーム目についての情報がセグメンテーション部１３より入力され、初期データが生成される。その後、２フレーム目以降の画像データが入力されるごとに、後述するカルマンフィルタ１８によりその内容が更新される。
【００２６】
動き推定・対応探索部１５は、前フレームの画像のエッジ画像の各点の情報｛Ｆsun ｝と現フレームのエッジ位置と分析値から、セグメントの動いた量を推定し、前フレームの各点の情報｛Ｆsun ｝と、現フレームのエッジ画像の特徴点の対応付けを行う。
その方法について具体的に以下に説明する。
まず、図２において、座標系ＸＹＺはカメラ座標系で、座標系の原点はレンズの中心で、光軸は奥行き方向となるＺ軸と一致させているものとする。このような座標系においては、点Ｐの像はＸＹ平面に平行で原点からカメラの焦点距離ｆだけ離れた所に設置された平面に投影されると考えることができる。この投影面上の点Ｐの像の位置がカメラより入力された画像上の画素の位置となる。その投影面に対して、その面のＺ軸との交点を原点とし、Ｘ軸およびＹ軸と平行な座標系ｘｙを設定する。
【００２７】
ＸＹＺ空間内の点Ｐの座標をｐ＝（Ｘp ，Ｙp ，Ｚp ）、点Ｐのｘｙ平面上の像である点Ｑの座標をｑ＝（ｘq ，ｙq ）とすると、点Ｑの座標ｑは式２のように表される。
【００２８】
【数２】
【００２９】
あるセグメントｓ（ｓ＝１〜Ｓ）がＵs 個（ｓ＝１〜Ｓ）のエッジより構成され、その各エッジがＮsu個（ｕ＝１〜Ｕｓ，ｓ＝１〜Ｓ）の点の情報で表され、それら各点の位置はｐsun ＝（Ｘsun ，Ｙsun ，Ｚsun ）（ｎ＝１〜Ｎsu）で表されるとする。
この画像データを構成するセグメントが、相対的にＸ軸周りにΔωｘ、Ｙ軸周りにΔωｙ、Ｚ軸周りにΔωｚ回転し、また、Δｔ＝（Δｔｘ，Δｔｙ，Δｔｚ）だけ平行移動した場合、このセグメントを構成する各点ｐsun の移動量Δｐsun ＝（ΔＸsun ，ΔＹsun ，ΔＺsun ）は、前記各軸周りの回転Δωｘ，Δωｙ，Δωｚ、および，平行移動量Δｔが小さいとすると、式３のようになる。
【００３０】
【数３】
【００３１】
点ｐsun のｘｙ平面上への投影点をｑsun ＝（ｘsun ，ｙsun ）とすると、前記セグメントの移動にともなう投影点ｑsun の移動量Δｑsun ＝（Δｘsun ，Δｙsun ）は式４のようになる。
【００３２】
【数４】
【００３３】
式２と式４より式５が得られる。
【００３４】
【数５】
【００３５】
式３および式５を、Ｎ個の点の内のｍ＝１〜ＭのＭ個に適用すると、式６のようになる。
【００３６】
【数６】
【００３７】
なお、Δｔt は行列Δｔの転置行列を示す。
Δｑについては、新たな画像が入力される前に得ていた３次元位置ｐｍの式２による仮想の投影点ｑｍ’に対応する画像上の点が分からないので、図３に示すように、３次元位置情報の仮想の投影像Ｉｐにおいて物体像Ｉｒの投影特徴点ｑｍから最も近い点と仮定する。
Ｍ≧３のとき回転および平行移動量のパラメータΔＣの推定値ΔＣ’は、最小自乗法を用いて式７のように求められる。
【００３８】
【数７】
【００３９】
式７により得られたΔＣ’による３次元位置情報の移動量Δｑsun を式２より計算して、新たに式３により仮想の投影像を作り、同様に近い点を対応点と仮定し、式７の計算を繰り返し、式８のようにしていくと、仮想の投影像と物体像Ｉｒは近づく。
【００４０】
【数８】
【００４１】
この計算を、Σ｜Δｑsun ｜2 が予め定めた所定値ε以下になるまで繰り返すことにより、元の画像の３次元位置情報ｐsun に対する新たな画像の対応点ｑsun が求められる。
【００４２】
以上述べたような動き推定・対応探索の方法によれば、物体を剛体と仮定し、回転および平行移動についての６個のパラメータで３次元位置情報を構成する点を拘束することで、個々の点それぞれ独立にではなく、包括的に動き推定・対応探索が行われている。したがって、全体として矛盾のない対応関係が全ての点について得られ、誤対応による３次元位置情報におけるノイズが減る。
【００４３】
投影部１６は、動き推定・対応探索部１５により得られた、各セグメントの平行移動量ｔ、回転移動量ωによって各セグメントの情報｛Ｆsun ｝の位置情報を、３次元空間において平行および回転移動させ、さらに、各セグメントの各点の３次元位置ｐsun ＝（Ｘsun ，Ｙsun ，Ｚsun ）を画像上の位置ｑsun ＝（ｘsun ，ｙsun ）に変換し、得られた画像上の点ｑsun に分析値ｇsun を与える。３次元位置ｐsun から投影点ｑsun への変換は式３により行う。
【００４４】
誤差検出部１７は、投影後の各特徴点の情報｛Ｆsun ｝の画像上での位置ｑsun'と対応する入力画像のエッジ位置ｑsun との差を求め、さらに、その差を量子化し、フラクチュエーション（変動）を求める。
量子化方法としては、一定の適切な量子化ステップ（たとえば１画素幅）による線形な量子化、いくつかの線形でない量子化ステップを設定した非線形量子化、量子化ステップを固定せず、入力される画像の性質により量子化ステップを適宜変える量子化などがあり、要求される伝送レート、画質に応じて、適切な量子化方法を用いれば良い。たとえば、高圧縮率が要求される場合には、量子化ステップを大きくしたり、画像に直線が多く量子化ノイズによる直線の不連続性が目立つ場合は、非線形量子化を行い、フラクチュエーションの小さい部分の量子化を細かくするようにする。
求められたフラクチュエーションは、カルマンフィルタ１８に入力される。
【００４５】
カルマンフィルタ１８は、前の画像における各セグメントの各点の情報｛Ｆsun ｝の３次元位置ｐsun とそれに対応する入力画像のエッジ位置ｑsun から３次元位置ｐsun を更新する。カルマンフィルタはノイズを含むシステムにおいて時系列の観測量から状態量の最小自乗推定値を逐次得ることのできるフィルタである。
ここで、最小自乗推定値とは、公知の最小自乗法に基づいて推定した値を言い、前の画像における各セグメントの各点の情報｛Ｆ sun ｝の３次元位置ｐ sun とそれに対応する入力画像のエッジ位置ｑ sun との誤差の自乗（２乗）の和が最小になるように、３次元位置ｐ sun を推定することを言う。
本実施例において、状態量は３次元位置ｐsun 、観測量である２次元位置ｑsun である。２次元位置ｑsun にはΔｑsun の量子化によるノイズが含まれる。また、動き推定値にもノイズが含まれる。
初期値の平面上の３次元形状｛ｐsun ｝は、カルマンフィルタによりセグメントに動きがあるごとに、実際の３次元形状に近づくように更新されていく。各点の情報｛Ｆsun ｝における確率共分散行列ｖsun はｐsun の確率共分散行列（３×３）でｐsun を更新するのに用いられ、同時に確率共分散行列ｖsun も更新される。
【００４６】
以上の、カルマンフィルタにおける更新を、連続的な動画像の全フレームについて行うと、最終的に記憶部１４には、各セグメントごとの忠実度の高い３次元形状モデルが記憶される。
【００４７】
次に、前記第１のステップにおいて抽出された３次元形状モデルを用いて、この連続的な動画像を符号化する第２のステップについて説明する。
第２のステップにおいても、各部の動作は第１のステップと同じである。しかし、第２のステップにおいては、記憶部１４に記憶されている最終的な各セグメントの３次元形状情報を用いて動き推定・対応探索を行い、セグメントごとの動きを抽出し、各特徴点の実際の位置との差を求める。
【００４８】
したがって、まず、動き推定・対応探索部１５において、記憶部１４に記憶されている各セグメントの３次元形状情報を用いて、分析画像記憶部１２に記憶されている各フレームごとの特徴点の位置より、各セグメントの全体の動きと、各特徴点の対応を求める。その求め方は、前記第１のステップの場合と同一である。ここで求められた動きは投影部１６および符号化部１９に出力される。
【００４９】
そして、投影部１６は、動き推定・対応探索部１５により得られた各セグメントの移動量によって各セグメントの位置情報を、３次元空間において平行および回転移動させ、さらに、各セグメントの各点の３次元位置を、画像上の位置に変換する。
誤差検出部１７は、投影後の各特徴点の画像上での位置と対応する入力画像のエッジ位置との差を求め、さらに、その差を量子化し、フラクチュエーションを求める。求められたフラクチュエーションは、符号化部１９に出力される。
【００５０】
符号化部１９は、入力された動画像系列の情報を符号化し、伝送路に送出する。
符号化部１９は、各連続画像シーケンスについて、まず、記憶部１４に記憶されている３次元形状情報、および、分析値、を符号化する。また、各フレームの画像データについては、各セグメント毎に、動き推定・対応探索部１５より出力される動き推定値と、誤差検出部１７より出力されるフラクチュエーションを符号化し出力する。
符号化された各連続画像シーケンスごとのデータは、たとえば、ＶＴＲなどの画像記録装置に記録される。
【００５１】
このように、本実施例の動画像符号化装置１０によれば、各フレームごとのセグメントの動きを推定しながら、忠実度の高い３次元形状モデルを抽出し、その抽出された３次元形状モデルを参照して、さらに、各フレームごとに各モデルの動き、および、各特徴点の微小な変位を求めている。したがって、各特徴点の微小な変位の情報は分散せず、変位が無い場合を中心に局在化する。その結果符号化の圧縮率を上げることができる。
【００５２】
なお、本実施例においては動画像符号化装置について説明したが、本発明の動画像処理装置は、本実施例の構成において符号化部１９を持たない構成で実現できる。連続的な動画像よりその動画像を構成する各セグメントの３次元形状情報を抽出し、その情報を用いて種々の画像処理を行うような装置、たとえば、特殊効果装置などに本発明を適用する場合には、その符号化部１９を持たない構成の画像処理装置を適宜適用すればよい。
また、本発明の動画像記録装置は、本実施例の構成にさらに、符号化部１９で符号化された結果を記録媒体上に記録する手段を追加することにより実現できる。そのようにすれば、従来の符号化方法よりはるかに高圧縮率で動画像を記録でき、同一の記録媒体に、より長時間の動画像を記録できる動画像記録装置が提供できる。
【００５３】
次に、本発明の一実施例の動画像復号化装置について、図４を参照して説明する。
図４は、本発明の一実施例の動画像復号化装置３０の構成を示すブロック図である。
動画像復号化装置３０は、復号部３１、記憶部３２、動き処理部３３、投影部３４、変形部３５、再合成部３６、および、合成画像記憶部３７より構成される。
本実施例の動画像復号化装置３０は、伝送路より伝送された符号化された動画像系列を展開し、合成し、出力する動画像復号化装置であって、前述した動画像符号化装置１０と協働して画像処理系を構成する。
【００５４】
以下、各部の動作について説明する。
復号部３１は、伝送路より伝送された信号を受信し、復号化して各情報を取り出し、適宜各部に出力する受信手段である。
復号部３１は、まず、連続的な動画像シーケンスを構成する各セグメントの３次元形状情報を受信し、復号し、記憶部３２に記憶する。その際の各セグメントの位置は、その連続的な動画像の１フレーム目での位置で表される。そして、２フレーム目以降については、符号化されたその各セグメントの全体の移動量（グローバルモーション）と各特徴点の細かな動き（フラクチュエーション）を受信し、復号し、グローバルモーションは動き処理部３３に、フラクチュエーションは変形部３５に出力される。
【００５５】
記憶部３２は、連続的な動画像シーケンスを構成する各セグメントの３次元形状情報と、各セグメントの位置情報を記憶するメモリである。記憶部３２は、復号部３１より入力された連続的な動画像シーケンスを構成する各セグメントの３次元形状情報を初期値として記憶し、以後、動き処理部３３によりその位置を各フレームごと更新される。
動き処理部３３は、復号部３１により入力された動き推定値に基づいて、記憶部３２に記憶されている各セグメントを移動させる。移動させた情報は、投影部３４に出力するとともに、記憶部３２の各セグメントの位置情報を更新する。
【００５６】
投影部３４は、動き処理部３３により移動された各セグメントを２次元画像上に投影する。
変形部３５は、投影部３４により投影された画像の各特徴点の位置に対して、復号部３１より入力されたフラクチュエーションを各特徴点に加え、各特徴点の位置を補正する。
再合成部３６は、変形部３５より入力された各特徴点の情報、および、記憶部３２に記憶されている各特徴点の分析値、および、この連続的な動画像のＤＣ成分に基づいて、画像データを復元する。
合成画像記憶部３７は、再合成部３６により復元された画像データを記憶しておくメモリである。合成画像記憶部３７に記憶されている動画像情報は、適宜表示装置などに出力される。
【００５７】
なお、本発明の動画像再生装置は、本実施例の動画像復号化装置の構成にさらに、記録媒体上に記録された信号を読み出す手段を加えることにより実現できる。そのような動画像再生装置においては、高い圧縮率で長時間記録されている動画像系列を再生でき、さらに、各セグメントの移動量を各フレーム間の移動量を細分した値に設定することにより、原画像のフレームには存在しなかったような各セグメントを微小に送った超スローモーション画像などの動画像を生成することができる。
【００５８】
【発明の効果】
本発明によれば、動画像系列から忠実度の高い３次元形状モデルを抽出することのできる動画像処理装置を提供することができた。
したがって、その３次元形状モデルを使って高い圧縮率で動画像の符号化が可能な動画像符号化装置、および、それを復号する動画像復号化装置を提供することができた。
さらに、動画像を記録媒体上に長時間記録することのできる動画像記録装置、および、それを再生する動画像再生装置を提供することができた。
【図面の簡単な説明】
【図１】 本発明の一実施例の動画像符号化装置の構成を示すブロック図である。
【図２】 図１に示した動画像符号化装置の動き推定・対応探索部の方法を説明する図であり、３次元空間の点Ｐを望む様子を示し座標系の説明をする図である。
【図３】 図１に示した動画像符号化装置の動き推定・対応探索の方法を説明する図である。
【図４】 本発明の一実施例の動画像復号化装置の構成を示すブロック図である。
【符号の説明】
１０…動画像符号化装置
１１…画像分析部 １２…分析画像記憶部
１３…セグメンテーション部 １４…記憶部
１５…動き推定・対応探索部 １６…投影部
１７…誤差検出部 １８…カルマンフィルタ
３０…動画像復号化装置
３１…復号部 ３２…記憶部
３３…動き処理部 ３４…投影部
３５…変形部 ３６…再合成部
３７…合成画像記憶部
【産業上の利用分野】
本発明は、たとえば動画像の伝送・記録などに用いて好適な、動画像中の物体の３次元形状モデルを抽出する動画像処理装置、および、その形状モデルを用いて高圧縮率で動画像を符号化および復号化する動画像符号化装置、動画像復号化装置、さらに、その符号化された動画像を記録媒体上に記録する動画像記録装置、および、それを再生する動画像再生装置に関する。
【０００２】
【従来の技術】
動画像系列の中の各物体の３次元モデルを使って動画像を符号化することで、動画像系列を圧縮する方法が提案されている。各物体の３次元形状とその動きがわかれば、元の動画像系列と全く同じ動画像系列が生成できる。
そこで、たとえば画像通信において、送信側と受信側で３次元モデルを共有し、送信側で入力画像の動きの情報を検出し、受信側でその動きの情報から画像合成を行えば、画像が再生できる。この場合、動きの情報のみを伝送すればよいことから超低レートでの画像通信が期待できる。具体的には、顔の３次元構造モデルをワイヤフレームに変形し送信側と受信側で共有し、表情などの特徴のみを伝送して顔画像の合成を行う方法が盛んに試みられている。
【０００３】
しかし、この符号化方法を自然画像に応用する場合には、予め３次元モデルを用意しておくことは不可能であり、与えられた動画像系列から３次元モデルを抽出する必要がある。そのような、動画像系列の中から３次元形状モデルを抽出し、そのモデルを利用して動画像を符号化する方法としては、Hans George Musmann 、Michael Hotter、Jorn Ostermannらによる「OBJECT-ORIENTED analysis coding of moving images．」〔Signal processing:Image Communication 1(1989):117-138,Elsvier SCIENCE PUBLISHERS B.V. 〕に開示されている方法がある。この方法によれば、エッジ部分については動きベクトルを求めそれを利用して奥行きを求め、エッジ以外の部分については奥行きを補間して、３次元形状を推測する。また、輝度情報は、３次元上に属性としてマッピングし、補間された３次元形状のデータと共に送出を行っている。
【０００４】
【発明が解決しようとする課題】
しかし、前述したような方法で３次元形状を推測し、動画像系列を圧縮する方法においては、輝度が急変するエッジ部分さえ動きベクトルを求めることは難しく、動きベクトルから正確な奥行きを推測することは非常に難しかった。したがって、エッジ部分の奥行きを補間して３次元形状を推測しても、正確な３次元形状が求められなかった。また、そのため、実際の形状とのずれがあるため余分な情報が増加して、圧縮率が上げられなかった
さらに、前述したような方法では、３次元上に属性としてマッピングした輝度情報を初期情報として伝送するので初期情報量が多いという問題があった。
【０００５】
したがって、本発明の目的は、動画像系列から忠実度の高い３次元形状モデルを抽出する動画像処理装置を提供することにある。また、その３次元形状モデルを使って高い圧縮率で動画像の符号化が可能な動画像符号化装置、および、それを復号する動画像復号化装置を提供することにある。さらに、その符号化された動画像を記録媒体上に記録する動画像記録装置、および、それを再生する動画像再生装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明の動画像処理装置においては、３次元物体の表面データではなく、２次元動画像にしたときに視覚的に重要な点の３次元位置、および、その点の分析値を初期値として持ち、物体の移動を検出しながら、３次元位置情報を獲得するようにした。
【０００７】
本発明の第１の観点によれば、入力された連続的な動画像の各フレームの静止画像についてエッジを構成する点を特徴点として検出し、前記エッジを構成する各点の位置と分析値を抽出し、前記特徴点によって構成される前記各フレームの画像を構成する各セグメントの３次元形状情報を得るモデリング手段と、前記モデリング手段により得られた前記各セグメントの３次元形状情報を記憶する記憶手段と、前記連続的な動画像の各フレーム間で該動画像を構成する前記各セグメントが３次元的に動いた量の推定値を、前記記憶手段に記憶されている前フレームの前記各セグメントの３次元形状情報と現フレームの各セグメントの３次元形状情報とから算出する動き推定手段と、前記動き推定手段により推定された前記各セグメントの動いた量により各セグメントを３次元的に移動させた位置と実際の位置の差の２乗の総和が最小になるように、実際の位置から３次元的に移動させた位置の最小自乗推定値を求めることで、前記記憶手段に記憶されている各セグメントの３次元形状情報を更新する更新手段とを有し、
前記モデリング手段は、前記入力された連続的な動画像の各フレームの静止画像を異なる解像度スケールを持つフィルタで分析してエッジを構成する点を特徴として抽出する画像分析手段と、前記連続的な動画像の１フレーム目の静止画像について、前記抽出された特徴点により構成されるセグメントの２次元形状情報を抽出するセグメンテーション手段と、前記各セグメントの２次元形状情報に、所定の奥行き方向の位置情報を付加し、前記各セグメントの３次元形状情報の初期値を生成する３次元情報生成手段とを有し、
前記更新手段は、前記動き推定手段により推定された前記各セグメントの動いた量により各セグメントを３次元的に移動させた結果の各特徴点の位置と、実際の各特徴点との位置の差に基づいて、実際の位置から３次元的に移動させた位置の最小自乗推定値を求めることで、前記記憶手段に記憶されている各セグメントの３次元形状情報を各フレームごとに更新し、
前記連続的な動画像を構成する各セグメントの３次元形状情報を獲得する、動画像処理装置が提供される。
【０００９】
好ましくは、前記更新手段は、前記更新手段は、前記推定された動きにより各セグメントを３次元的に移動させた結果の各特徴点の位置を状態量、当該特徴点の実際の位置を観測量、前記状態量と前記観測量の差をノイズとし、カルマンフィルタにより前記状態量の最小自乗推定値を求めることにより、前記各セグメントの３次元形状情報を更新する。
【００１０】
本発明の第２の観点によれば、上記動画像処理装置と、前記獲得された３次元形状情報と、前記画像分析手段により分析された当該３次元形状情報を構成する各特徴点の分析値とを符号化する初期符号化手段と、前記動き推定手段により推定された動きにより各セグメントを３次元的に移動させた結果の各特徴点の位置と、実際の各特徴点の位置の差を求める差検出手段と、前記動き推定手段により推定された各セグメントの動き推定値と、前記差検出手段により検出された各特徴点の位置の差とを、各フレームごとに符号化する符号化手段とを有し、前記連続的な動画像を符号化する、動画像符号化装置が提供される。
【００１１】
本発明の第３の観点によれば、上記動画像符号化装置と、該動画像符号化装置により符号化された前記連続的な動画像を記録媒体上に記録する記録手段とを有する動画像記録装置が提供される。
【００１２】
本発明の第４の観点によれば、入力された連続的な動画像に関する所定の静止画像が分析され、エッジを構成する点が特徴点として検出され、符号化された前記連続的な動画像を復号する動画像復号装置であって、前記符号化された連続的な動画像を構成し、前記特徴点を構成要素とする各セグメントの３次元形状情報と、該３次元形状情報を構成する前記各特徴点の分析値とを復号化する初期復号化手段と、前記連続的な動画像の各フレームごとに符号化された、前記各セグメントの動き推定値と、前記各セグメントの各特徴点ごとの前記入力された動画像の対応する各特徴点からの変位とを復号化する復号化手段と、前記各セグメントの位置を、前記復号化手段により復号化された各セグメントの動き推定値に基づいて３次元的に移動させる移動手段と、前記移動手段により移動された位置の前記各セグメントを、２次元画面上に投影した投影画像を得る投影手段と、前記投影画像における各セグメントの各特徴点の位置を、前記復号化手段により復号化された各セグメントの各特徴点ごとの前記入力された動画像の対応する各特徴点からの変位に基づいて移動させる変形手段と、前記変形手段により変形された結果の画像と、前記初期復号化手段により復号化された各特徴点の分析値とに基づいて、画像を合成する画像合成手段とを有し、符号化された連続的な動画像を復号化する、動画像復号化装置が提供される。
【００１３】
本発明の第５の観点によれば、記録媒体上に記録された符号化された連続的な動画像信号を読み出す信号読み取り手段と、前記読み出された符号化された連続的な動画像信号を復号化し、前記連続的な動画像を合成する、上記動画像復号化装置とを有する動画像再生装置が提供される。
【００１５】
【作用】
本発明の動画像処理装置においては、２次元動画像にしたときに視覚的に重要な点の３次元位置、および、その点の分析値を特徴点として、物体の移動を検出しながら、３次元形状情報を順次更新しするようにした。したがって、その連続的な動画像系列を通して最も矛盾が無い３次元形状情報が抽出できる。
また、３次元形状情報が精度よく抽出できるので、動画像系列の各フレーム間の動きをそのセグメント全体の動きで表した際に、各特徴点ごとの微小な変位が少なくなり、その分布は変位０を中心に局在化する。その結果、さらに圧縮率が向上する。
【００１６】
本発明によれば、上述した動画像中の物体の３次元形状モデルを抽出する動画像処理装置、および、その形状モデルを用いて高圧縮率で動画像を符号化および復号化する動画像符号化装置、動画像復号化装置、さらに、その符号化された動画像を記録媒体上に記録する動画像記録装置、および、それを再生する動画像再生装置が提供される。
【００１７】
【実施例】
本発明の一実施例の動画像符号化装置について、図１を参照して説明する。
図１は、本発明の一実施例の動画像符号化装置１０の構成を示すブロック図である。
動画像符号化装置１０は、画像分析部１１、分析画像記憶部１２、セグメンテーション部１３、記憶部１４、動き推定・対応探索部１５、投影部１６、誤差検出部１７、カルマンフィルタ１８、および、符号化部１９を有する。
この動画像符号化装置１０は、後述する動画像復号化装置３０と協働して画像処理系を構成する。
【００１８】
本実施例の動画像符号化装置１０は、ＶＴＲなどからの動画像系列より、図示せぬ連続シーケンス検出部で連続した画像データを検出し、その各連続した画像データ系列を符号化し記録する、動画像記録装置である。その記録に際しては、前記連続シーケンスより、そのシーケンスを構成するセグメントの３次元形状情報を抽出する第１のステップと、抽出された３次元形状情報を用いて符号化を行う第２のステップとに分けられる。以下、各部の動作について、前記第１のステップ、第２のステップごとに説明する。
【００１９】
まず、連続的な動画像系列より、その動画像を構成する各セグメントの３次元形状情報を抽出するステップにおける各部の動作について説明する。
ＶＴＲなどから入力された動画像系列は、連続したシーケンスが検出され、画像分析部１１に入力される。
画像分析部１１は、順次入力される各フレームの画像データを分析し、特徴点を抽出し、特徴点の位置と分析値を求める。本実施例においては、入力画像データに対して、異なる解像度スケールを持つ複数のフィルタで画像データの分析を行い、エッジを構成する点を特徴点として検出し、入力画像データを特徴画像データであるエッジの画像データに変換し、そのエッジを構成する各点の位置と分析値を抽出する。
【００２０】
分析画像記憶部１２は、画像分析部１１で分析された連続的な連続シーケンスの特徴点画像を記憶するメモリである。記憶されている各フレームの特徴点の情報は、動き推定・対応探索部１５より順次参照され、また、１フレーム目の特徴点の情報は、セグメンテーション部１３および符号化部１９より参照される。
【００２１】
セグメンテーション部１３は、画像分析部１１より入力された１フレーム目の特徴画像データの特徴点の位置と分析値より、セグメンテーションを行い、この画像データを構成しているセグメント（部分または要素）を抽出し、各セグメント毎の特徴点の情報を記憶部１４に記憶する。
このセグメンテーションは、カラー画像から赤・緑・青・明度・色相・彩度の信号、および、テレビ信号に対応したＹ信号、Ｉ信号、Ｑ信号の合計９種類のセグメントについて特徴を抽出し、その特徴に関するヒストグラムに基づいてセグメンテーションを行う再帰的しきい値処理により行う。
【００２２】
記憶部１４は、各セグメントの各特徴点について、位置情報Ｘ，Ｙ，Ｚと、分析値ｇ、確率共分散行列ｖ、付加情報ａを記憶する記憶手段であり、メモリにより構成される。記憶部１４に記憶されている情報は、入力された連続シーケンスがＳ個のセグメントを有し、各セグメントがＵs 個（ｓ＝１〜Ｓ）のエッジより構成され、その各エッジがＮsu個（ｕ＝１〜Ｕs 、ｓ＝１〜Ｓ）の特徴点より構成される場合、式１のように表される。
【００２３】
【数１】
なお、確率共分散行列ｖsun （ｎ＝１〜Ｎsu、ｕ＝１〜Ｕs 、ｓ＝１〜Ｓ）は、各エッジを構成する点のちらばりであるので、同一のエッジを構成する各特徴点については同一の値が付される。
【００２５】
記憶部１４に記憶されている情報は、まず、１フレーム目についての情報がセグメンテーション部１３より入力され、初期データが生成される。その後、２フレーム目以降の画像データが入力されるごとに、後述するカルマンフィルタ１８によりその内容が更新される。
【００２６】
動き推定・対応探索部１５は、前フレームの画像のエッジ画像の各点の情報｛Ｆsun ｝と現フレームのエッジ位置と分析値から、セグメントの動いた量を推定し、前フレームの各点の情報｛Ｆsun ｝と、現フレームのエッジ画像の特徴点の対応付けを行う。
その方法について具体的に以下に説明する。
まず、図２において、座標系ＸＹＺはカメラ座標系で、座標系の原点はレンズの中心で、光軸は奥行き方向となるＺ軸と一致させているものとする。このような座標系においては、点Ｐの像はＸＹ平面に平行で原点からカメラの焦点距離ｆだけ離れた所に設置された平面に投影されると考えることができる。この投影面上の点Ｐの像の位置がカメラより入力された画像上の画素の位置となる。その投影面に対して、その面のＺ軸との交点を原点とし、Ｘ軸およびＹ軸と平行な座標系ｘｙを設定する。
【００２７】
ＸＹＺ空間内の点Ｐの座標をｐ＝（Ｘp ，Ｙp ，Ｚp ）、点Ｐのｘｙ平面上の像である点Ｑの座標をｑ＝（ｘq ，ｙq ）とすると、点Ｑの座標ｑは式２のように表される。
【００２８】
【数２】
あるセグメントｓ（ｓ＝１〜Ｓ）がＵs 個（ｓ＝１〜Ｓ）のエッジより構成され、その各エッジがＮsu個（ｕ＝１〜Ｕｓ，ｓ＝１〜Ｓ）の点の情報で表され、それら各点の位置はｐsun ＝（Ｘsun ，Ｙsun ，Ｚsun ）（ｎ＝１〜Ｎsu）で表されるとする。
この画像データを構成するセグメントが、相対的にＸ軸周りにΔωｘ、Ｙ軸周りにΔωｙ、Ｚ軸周りにΔωｚ回転し、また、Δｔ＝（Δｔｘ，Δｔｙ，Δｔｚ）だけ平行移動した場合、このセグメントを構成する各点ｐsun の移動量Δｐsun ＝（ΔＸsun ，ΔＹsun ，ΔＺsun ）は、前記各軸周りの回転Δωｘ，Δωｙ，Δωｚ、および，平行移動量Δｔが小さいとすると、式３のようになる。
【００３０】
【数３】
点ｐsun のｘｙ平面上への投影点をｑsun ＝（ｘsun ，ｙsun ）とすると、前記セグメントの移動にともなう投影点ｑsun の移動量Δｑsun ＝（Δｘsun ，Δｙsun ）は式４のようになる。
【００３２】
【数４】
式２と式４より式５が得られる。
【００３４】
【数５】
式３および式５を、Ｎ個の点の内のｍ＝１〜ＭのＭ個に適用すると、式６のようになる。
【００３６】
【数６】
なお、Δｔt は行列Δｔの転置行列を示す。
Δｑについては、新たな画像が入力される前に得ていた３次元位置ｐｍの式２による仮想の投影点ｑｍ’に対応する画像上の点が分からないので、図３に示すように、３次元位置情報の仮想の投影像Ｉｐにおいて物体像Ｉｒの投影特徴点ｑｍから最も近い点と仮定する。
Ｍ≧３のとき回転および平行移動量のパラメータΔＣの推定値ΔＣ’は、最小自乗法を用いて式７のように求められる。
【００３８】
【数７】
式７により得られたΔＣ’による３次元位置情報の移動量Δｑsun を式２より計算して、新たに式３により仮想の投影像を作り、同様に近い点を対応点と仮定し、式７の計算を繰り返し、式８のようにしていくと、仮想の投影像と物体像Ｉｒは近づく。
【００４０】
【数８】
この計算を、Σ｜Δｑsun ｜2 が予め定めた所定値ε以下になるまで繰り返すことにより、元の画像の３次元位置情報ｐsun に対する新たな画像の対応点ｑsun が求められる。
【００４２】
以上述べたような動き推定・対応探索の方法によれば、物体を剛体と仮定し、回転および平行移動についての６個のパラメータで３次元位置情報を構成する点を拘束することで、個々の点それぞれ独立にではなく、包括的に動き推定・対応探索が行われている。したがって、全体として矛盾のない対応関係が全ての点について得られ、誤対応による３次元位置情報におけるノイズが減る。
【００４３】
投影部１６は、動き推定・対応探索部１５により得られた、各セグメントの平行移動量ｔ、回転移動量ωによって各セグメントの情報｛Ｆsun ｝の位置情報を、３次元空間において平行および回転移動させ、さらに、各セグメントの各点の３次元位置ｐsun ＝（Ｘsun ，Ｙsun ，Ｚsun ）を画像上の位置ｑsun ＝（ｘsun ，ｙsun ）に変換し、得られた画像上の点ｑsun に分析値ｇsun を与える。３次元位置ｐsun から投影点ｑsun への変換は式３により行う。
【００４４】
誤差検出部１７は、投影後の各特徴点の情報｛Ｆsun ｝の画像上での位置ｑsun'と対応する入力画像のエッジ位置ｑsun との差を求め、さらに、その差を量子化し、フラクチュエーション（変動）を求める。
量子化方法としては、一定の適切な量子化ステップ（たとえば１画素幅）による線形な量子化、いくつかの線形でない量子化ステップを設定した非線形量子化、量子化ステップを固定せず、入力される画像の性質により量子化ステップを適宜変える量子化などがあり、要求される伝送レート、画質に応じて、適切な量子化方法を用いれば良い。たとえば、高圧縮率が要求される場合には、量子化ステップを大きくしたり、画像に直線が多く量子化ノイズによる直線の不連続性が目立つ場合は、非線形量子化を行い、フラクチュエーションの小さい部分の量子化を細かくするようにする。
求められたフラクチュエーションは、カルマンフィルタ１８に入力される。
【００４５】
カルマンフィルタ１８は、前の画像における各セグメントの各点の情報｛Ｆsun ｝の３次元位置ｐsun とそれに対応する入力画像のエッジ位置ｑsun から３次元位置ｐsun を更新する。カルマンフィルタはノイズを含むシステムにおいて時系列の観測量から状態量の最小自乗推定値を逐次得ることのできるフィルタである。
ここで、最小自乗推定値とは、公知の最小自乗法に基づいて推定した値を言い、前の画像における各セグメントの各点の情報｛Ｆ sun ｝の３次元位置ｐ sun とそれに対応する入力画像のエッジ位置ｑ sun との誤差の自乗（２乗）の和が最小になるように、３次元位置ｐ sun を推定することを言う。
本実施例において、状態量は３次元位置ｐsun 、観測量である２次元位置ｑsun である。２次元位置ｑsun にはΔｑsun の量子化によるノイズが含まれる。また、動き推定値にもノイズが含まれる。
初期値の平面上の３次元形状｛ｐsun ｝は、カルマンフィルタによりセグメントに動きがあるごとに、実際の３次元形状に近づくように更新されていく。各点の情報｛Ｆsun ｝における確率共分散行列ｖsun はｐsun の確率共分散行列（３×３）でｐsun を更新するのに用いられ、同時に確率共分散行列ｖsun も更新される。
【００４６】
以上の、カルマンフィルタにおける更新を、連続的な動画像の全フレームについて行うと、最終的に記憶部１４には、各セグメントごとの忠実度の高い３次元形状モデルが記憶される。
【００４７】
次に、前記第１のステップにおいて抽出された３次元形状モデルを用いて、この連続的な動画像を符号化する第２のステップについて説明する。
第２のステップにおいても、各部の動作は第１のステップと同じである。しかし、第２のステップにおいては、記憶部１４に記憶されている最終的な各セグメントの３次元形状情報を用いて動き推定・対応探索を行い、セグメントごとの動きを抽出し、各特徴点の実際の位置との差を求める。
【００４８】
したがって、まず、動き推定・対応探索部１５において、記憶部１４に記憶されている各セグメントの３次元形状情報を用いて、分析画像記憶部１２に記憶されている各フレームごとの特徴点の位置より、各セグメントの全体の動きと、各特徴点の対応を求める。その求め方は、前記第１のステップの場合と同一である。ここで求められた動きは投影部１６および符号化部１９に出力される。
【００４９】
そして、投影部１６は、動き推定・対応探索部１５により得られた各セグメントの移動量によって各セグメントの位置情報を、３次元空間において平行および回転移動させ、さらに、各セグメントの各点の３次元位置を、画像上の位置に変換する。
誤差検出部１７は、投影後の各特徴点の画像上での位置と対応する入力画像のエッジ位置との差を求め、さらに、その差を量子化し、フラクチュエーションを求める。求められたフラクチュエーションは、符号化部１９に出力される。
【００５０】
符号化部１９は、入力された動画像系列の情報を符号化し、伝送路に送出する。
符号化部１９は、各連続画像シーケンスについて、まず、記憶部１４に記憶されている３次元形状情報、および、分析値、を符号化する。また、各フレームの画像データについては、各セグメント毎に、動き推定・対応探索部１５より出力される動き推定値と、誤差検出部１７より出力されるフラクチュエーションを符号化し出力する。
符号化された各連続画像シーケンスごとのデータは、たとえば、ＶＴＲなどの画像記録装置に記録される。
【００５１】
このように、本実施例の動画像符号化装置１０によれば、各フレームごとのセグメントの動きを推定しながら、忠実度の高い３次元形状モデルを抽出し、その抽出された３次元形状モデルを参照して、さらに、各フレームごとに各モデルの動き、および、各特徴点の微小な変位を求めている。したがって、各特徴点の微小な変位の情報は分散せず、変位が無い場合を中心に局在化する。その結果符号化の圧縮率を上げることができる。
【００５２】
なお、本実施例においては動画像符号化装置について説明したが、本発明の動画像処理装置は、本実施例の構成において符号化部１９を持たない構成で実現できる。連続的な動画像よりその動画像を構成する各セグメントの３次元形状情報を抽出し、その情報を用いて種々の画像処理を行うような装置、たとえば、特殊効果装置などに本発明を適用する場合には、その符号化部１９を持たない構成の画像処理装置を適宜適用すればよい。
また、本発明の動画像記録装置は、本実施例の構成にさらに、符号化部１９で符号化された結果を記録媒体上に記録する手段を追加することにより実現できる。そのようにすれば、従来の符号化方法よりはるかに高圧縮率で動画像を記録でき、同一の記録媒体に、より長時間の動画像を記録できる動画像記録装置が提供できる。
【００５３】
次に、本発明の一実施例の動画像復号化装置について、図４を参照して説明する。
図４は、本発明の一実施例の動画像復号化装置３０の構成を示すブロック図である。
動画像復号化装置３０は、復号部３１、記憶部３２、動き処理部３３、投影部３４、変形部３５、再合成部３６、および、合成画像記憶部３７より構成される。
本実施例の動画像復号化装置３０は、伝送路より伝送された符号化された動画像系列を展開し、合成し、出力する動画像復号化装置であって、前述した動画像符号化装置１０と協働して画像処理系を構成する。
【００５４】
以下、各部の動作について説明する。
復号部３１は、伝送路より伝送された信号を受信し、復号化して各情報を取り出し、適宜各部に出力する受信手段である。
復号部３１は、まず、連続的な動画像シーケンスを構成する各セグメントの３次元形状情報を受信し、復号し、記憶部３２に記憶する。その際の各セグメントの位置は、その連続的な動画像の１フレーム目での位置で表される。そして、２フレーム目以降については、符号化されたその各セグメントの全体の移動量（グローバルモーション）と各特徴点の細かな動き（フラクチュエーション）を受信し、復号し、グローバルモーションは動き処理部３３に、フラクチュエーションは変形部３５に出力される。
【００５５】
記憶部３２は、連続的な動画像シーケンスを構成する各セグメントの３次元形状情報と、各セグメントの位置情報を記憶するメモリである。記憶部３２は、復号部３１より入力された連続的な動画像シーケンスを構成する各セグメントの３次元形状情報を初期値として記憶し、以後、動き処理部３３によりその位置を各フレームごと更新される。
動き処理部３３は、復号部３１により入力された動き推定値に基づいて、記憶部３２に記憶されている各セグメントを移動させる。移動させた情報は、投影部３４に出力するとともに、記憶部３２の各セグメントの位置情報を更新する。
【００５６】
投影部３４は、動き処理部３３により移動された各セグメントを２次元画像上に投影する。
変形部３５は、投影部３４により投影された画像の各特徴点の位置に対して、復号部３１より入力されたフラクチュエーションを各特徴点に加え、各特徴点の位置を補正する。
再合成部３６は、変形部３５より入力された各特徴点の情報、および、記憶部３２に記憶されている各特徴点の分析値、および、この連続的な動画像のＤＣ成分に基づいて、画像データを復元する。
合成画像記憶部３７は、再合成部３６により復元された画像データを記憶しておくメモリである。合成画像記憶部３７に記憶されている動画像情報は、適宜表示装置などに出力される。
【００５７】
なお、本発明の動画像再生装置は、本実施例の動画像復号化装置の構成にさらに、記録媒体上に記録された信号を読み出す手段を加えることにより実現できる。そのような動画像再生装置においては、高い圧縮率で長時間記録されている動画像系列を再生でき、さらに、各セグメントの移動量を各フレーム間の移動量を細分した値に設定することにより、原画像のフレームには存在しなかったような各セグメントを微小に送った超スローモーション画像などの動画像を生成することができる。
【００５８】
【発明の効果】
本発明によれば、動画像系列から忠実度の高い３次元形状モデルを抽出することのできる動画像処理装置を提供することができた。
したがって、その３次元形状モデルを使って高い圧縮率で動画像の符号化が可能な動画像符号化装置、および、それを復号する動画像復号化装置を提供することができた。
さらに、動画像を記録媒体上に長時間記録することのできる動画像記録装置、および、それを再生する動画像再生装置を提供することができた。
【図面の簡単な説明】
【図１】 本発明の一実施例の動画像符号化装置の構成を示すブロック図である。
【図２】 図１に示した動画像符号化装置の動き推定・対応探索部の方法を説明する図であり、３次元空間の点Ｐを望む様子を示し座標系の説明をする図である。
【図３】 図１に示した動画像符号化装置の動き推定・対応探索の方法を説明する図である。
【図４】 本発明の一実施例の動画像復号化装置の構成を示すブロック図である。
【符号の説明】
１０…動画像符号化装置
１１…画像分析部 １２…分析画像記憶部
１３…セグメンテーション部 １４…記憶部
１５…動き推定・対応探索部 １６…投影部
１７…誤差検出部 １８…カルマンフィルタ
３０…動画像復号化装置
３１…復号部 ３２…記憶部
３３…動き処理部 ３４…投影部
３５…変形部 ３６…再合成部
３７…合成画像記憶部
Claims (6)
- 入力された連続的な動画像の各フレームの静止画像についてエッジを構成する点を特徴点として検出し、前記エッジを構成する各点の位置と分析値を抽出し、前記特徴点によって構成される前記各フレームの画像を構成する各セグメントの３次元形状情報を得るモデリング手段と、
前記モデリング手段により得られた前記各セグメントの３次元形状情報を記憶する記憶手段と、
前記連続的な動画像の各フレーム間で該動画像を構成する前記各セグメントが３次元的に動いた量の推定値を、前記記憶手段に記憶されている前フレームの前記各セグメントの３次元形状情報と現フレームの各セグメントの３次元形状情報とから算出する動き推定手段と、
前記動き推定手段により推定された前記各セグメントの動いた量により各セグメントを３次元的に移動させた位置と実際の位置の差の２乗の総和が最小になるように、実際の位置から３次元的に移動させた位置の最小自乗推定値を求めることで、前記記憶手段に記憶されている各セグメントの３次元形状情報を更新する更新手段と
を有し、
前記モデリング手段は、
前記入力された連続的な動画像の各フレームの静止画像を異なる解像度スケールを持つフィルタで分析してエッジを構成する点を特徴として抽出する画像分析手段と、
前記連続的な動画像の１フレーム目の静止画像について、前記抽出された特徴点により構成されるセグメントの２次元形状情報を抽出するセグメンテーション手段と、
前記各セグメントの２次元形状情報に、所定の奥行き方向の位置情報を付加し、前記各セグメントの３次元形状情報の初期値を生成する３次元情報生成手段と
を有し、
前記更新手段は、前記動き推定手段により推定された前記各セグメントの動いた量により各セグメントを３次元的に移動させた結果の各特徴点の位置と、実際の各特徴点との位置の差に基づいて、実際の位置から３次元的に移動させた位置の最小自乗推定値を求めることで、前記記憶手段に記憶されている各セグメントの３次元形状情報を各フレームごとに更新し、
前記連続的な動画像を構成する各セグメントの３次元形状情報を獲得する
動画像処理装置。 - 前記更新手段は、前記推定された動きにより各セグメントを３次元的に移動させた結果の各特徴点の位置を状態量、当該特徴点の実際の位置を観測量、前記状態量と前記観測量の差をノイズとし、カルマンフィルタにより前記状態量の最小自乗推定値を求めることにより、前記各セグメントの３次元形状情報を更新する、
請求項１記載の動画像処理装置。 - 請求項１または２記載の動画像処理装置と、
前記獲得された３次元形状情報と、前記画像分析手段により分析された当該３次元形状情報を構成する各特徴点の分析値とを符号化する初期符号化手段と、
前記動き推定手段により推定された動きにより各セグメントを３次元的に移動させた結果の各特徴点の位置と、実際の各特徴点の位置の差を求める差検出手段と、
前記動き推定手段により推定された各セグメントの動き推定値と、前記差検出手段により検出された各特徴点の位置の差とを、各フレームごとに符号化する符号化手段と
を有し、
前記連続的な動画像を符号化する、
動画像符号化装置。 - 請求項３記載の動画像符号化装置と、
該動画像符号化装置により符号化された前記連続的な動画像を記録媒体上に記録する記録手段と
を有する
動画像記録装置。 - 入力された連続的な動画像各フレームの静止画像が分析され、エッジを構成する点が特徴点として検出され、符号化された前記連続的な動画像を復号する動画像復号装置であって、
前記符号化された連続的な動画像を構成し、前記特徴点を構成要素とする各セグメントの３次元形状情報と、該３次元形状情報を構成する前記各特徴点の分析値とを復号化する初期復号化手段と、
前記連続的な動画像の各フレームごとに符号化された、前記各セグメントの動き推定値と、前記各セグメントの各特徴点ごとの前記入力された動画像の対応する各特徴点からの変位とを復号化する復号化手段と、
前記各セグメントの位置を、前記復号化手段により復号化された各セグメントの動き推定値に基づいて３次元的に移動させる移動手段と、
前記移動手段により移動された位置の前記各セグメントを、２次元画面上に投影した投影画像を得る投影手段と、
前記投影画像における各セグメントの各特徴点の位置を、前記復号化手段により復号化された各セグメントの各特徴点ごとの前記入力された動画像の対応する各特徴点からの変位に基づいて移動させる変形手段と、
前記変形手段により変形された結果の画像と、前記初期復号化手段により復号化された各特徴点の分析値とに基づいて、画像を合成する画像合成手段と
を有し、
符号化された連続的な動画像を復号化する、
動画像復号化装置。 - 記録媒体上に記録された符号化された連続的な動画像信号を読み出す信号読み取り手段と、
前記読み出された符号化された連続的な動画像信号を復号化し、前記連続的な動画像を合成する、請求項５記載の動画像復号化装置と
を有する動画像再生装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28565894A JP3663645B2 (ja) | 1994-11-18 | 1994-11-18 | 動画像処理装置とその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28565894A JP3663645B2 (ja) | 1994-11-18 | 1994-11-18 | 動画像処理装置とその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08149461A JPH08149461A (ja) | 1996-06-07 |
| JP3663645B2 true JP3663645B2 (ja) | 2005-06-22 |
Family
ID=17694391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28565894A Expired - Fee Related JP3663645B2 (ja) | 1994-11-18 | 1994-11-18 | 動画像処理装置とその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3663645B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108955560A (zh) * | 2018-05-21 | 2018-12-07 | 北京林业大学 | 一种槭属种子形态测定及分析方法 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB9623573D0 (en) * | 1996-11-13 | 1997-01-08 | Philips Electronics Nv | Image segmentation |
| US6687405B1 (en) | 1996-11-13 | 2004-02-03 | Koninklijke Philips Electronics N.V. | Image segmentation |
| JP3688489B2 (ja) | 1998-12-25 | 2005-08-31 | 株式会社東芝 | 画像認識方法および画像認識装置 |
| JP4874693B2 (ja) * | 2006-04-06 | 2012-02-15 | 株式会社トプコン | 画像処理装置及びその処理方法 |
| JP6044293B2 (ja) * | 2012-11-19 | 2016-12-14 | 株式会社Ihi | ３次元物体認識装置および３次元物体認識方法 |
-
1994
- 1994-11-18 JP JP28565894A patent/JP3663645B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108955560A (zh) * | 2018-05-21 | 2018-12-07 | 北京林业大学 | 一种槭属种子形态测定及分析方法 |
| CN108955560B (zh) * | 2018-05-21 | 2020-06-26 | 北京林业大学 | 一种槭属种子形态测定及分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08149461A (ja) | 1996-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3679426B2 (ja) | 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム | |
| Sawhney et al. | Hybrid stereo camera: an IBR approach for synthesis of very high resolution stereoscopic image sequences | |
| JP2008259076A (ja) | 画像防振装置、撮像装置及び画像防振方法 | |
| JP2006174415A (ja) | 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法 | |
| US11812066B2 (en) | Methods, devices and stream to encode global rotation motion compensated images | |
| JP3524147B2 (ja) | ３次元画像表示装置 | |
| Malassiotis et al. | Model-based joint motion and structure estimation from stereo images | |
| JP2003116053A (ja) | 特殊効果データ符号化方法及び特殊効果表示方法及び特殊効果データ編集方法 | |
| JP5689291B2 (ja) | 画像復号装置、画像復号方法、画像復号プログラム、画像符号化装置、画像符号化方法、及び画像符号化プログラム | |
| CA2171293A1 (en) | Method and apparatus for data analysis | |
| JP3663645B2 (ja) | 動画像処理装置とその方法 | |
| JPH11504452A (ja) | ２次元投影図に基づいて３次元の対象物を再現し、取り扱うための装置と方法 | |
| KR100335617B1 (ko) | 3차원 입체영상 합성방법 | |
| CN100481944C (zh) | 对数字化图像实施由计算机支持的运动补偿的方法和装置 | |
| Malassiotis et al. | Object-based coding of stereo image sequences using three-dimensional models | |
| US20230084376A1 (en) | Information processing device, 3d model generation method, and program | |
| JP5024962B2 (ja) | 多視点距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体 | |
| JP4964827B2 (ja) | 多視点距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体 | |
| CN112806015B (zh) | 全向视频的编码和解码 | |
| KR20060015755A (ko) | 3차원 모델을 사용하는 화상 시퀀스를 표현하는 방법 및 그장치와 신호 | |
| JPH08149458A (ja) | 動画像処理装置 | |
| JP2000261808A5 (ja) | ||
| KR101533494B1 (ko) | 템플릿 모델 기반의 3d 영상 생성 방법 및 장치 | |
| JP2000261808A (ja) | 画像符号化方法、画像復号化方法、および観測系動き推定方法とその装置 | |
| JPH08161505A (ja) | 動画像処理装置、動画像符号化装置および動画像復号装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040720 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040921 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041102 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041130 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050308 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050321 |
|
| LAPS | Cancellation because of no payment of annual fees |