JP3663645B2 - 動画像処理装置とその方法 - Google Patents
動画像処理装置とその方法 Download PDFInfo
- Publication number
- JP3663645B2 JP3663645B2 JP28565894A JP28565894A JP3663645B2 JP 3663645 B2 JP3663645 B2 JP 3663645B2 JP 28565894 A JP28565894 A JP 28565894A JP 28565894 A JP28565894 A JP 28565894A JP 3663645 B2 JP3663645 B2 JP 3663645B2
- Authority
- JP
- Japan
- Prior art keywords
- segment
- moving image
- image
- feature point
- shape information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【産業上の利用分野】
本発明は、たとえば動画像の伝送・記録などに用いて好適な、動画像中の物体の3次元形状モデルを抽出する動画像処理装置、および、その形状モデルを用いて高圧縮率で動画像を符号化および復号化する動画像符号化装置、動画像復号化装置、さらに、その符号化された動画像を記録媒体上に記録する動画像記録装置、および、それを再生する動画像再生装置に関する。
【0002】
【従来の技術】
動画像系列の中の各物体の3次元モデルを使って動画像を符号化することで、動画像系列を圧縮する方法が提案されている。各物体の3次元形状とその動きがわかれば、元の動画像系列と全く同じ動画像系列が生成できる。
そこで、たとえば画像通信において、送信側と受信側で3次元モデルを共有し、送信側で入力画像の動きの情報を検出し、受信側でその動きの情報から画像合成を行えば、画像が再生できる。この場合、動きの情報のみを伝送すればよいことから超低レートでの画像通信が期待できる。具体的には、顔の3次元構造モデルをワイヤフレームに変形し送信側と受信側で共有し、表情などの特徴のみを伝送して顔画像の合成を行う方法が盛んに試みられている。
【0003】
しかし、この符号化方法を自然画像に応用する場合には、予め3次元モデルを用意しておくことは不可能であり、与えられた動画像系列から3次元モデルを抽出する必要がある。そのような、動画像系列の中から3次元形状モデルを抽出し、そのモデルを利用して動画像を符号化する方法としては、Hans George Musmann 、Michael Hotter、Jorn Ostermannらによる「OBJECT-ORIENTED analysis coding of moving images.」〔Signal processing:Image Communication 1(1989):117-138,Elsvier SCIENCE PUBLISHERS B.V. 〕に開示されている方法がある。この方法によれば、エッジ部分については動きベクトルを求めそれを利用して奥行きを求め、エッジ以外の部分については奥行きを補間して、3次元形状を推測する。また、輝度情報は、3次元上に属性としてマッピングし、補間された3次元形状のデータと共に送出を行っている。
【0004】
【発明が解決しようとする課題】
しかし、前述したような方法で3次元形状を推測し、動画像系列を圧縮する方法においては、輝度が急変するエッジ部分さえ動きベクトルを求めることは難しく、動きベクトルから正確な奥行きを推測することは非常に難しかった。したがって、エッジ部分の奥行きを補間して3次元形状を推測しても、正確な3次元形状が求められなかった。また、そのため、実際の形状とのずれがあるため余分な情報が増加して、圧縮率が上げられなかった
さらに、前述したような方法では、3次元上に属性としてマッピングした輝度情報を初期情報として伝送するので初期情報量が多いという問題があった。
【0005】
したがって、本発明の目的は、動画像系列から忠実度の高い3次元形状モデルを抽出する動画像処理装置を提供することにある。また、その3次元形状モデルを使って高い圧縮率で動画像の符号化が可能な動画像符号化装置、および、それを復号する動画像復号化装置を提供することにある。さらに、その符号化された動画像を記録媒体上に記録する動画像記録装置、および、それを再生する動画像再生装置を提供することにある。
【0006】
【課題を解決するための手段】
本発明の動画像処理装置においては、3次元物体の表面データではなく、2次元動画像にしたときに視覚的に重要な点の3次元位置、および、その点の分析値を初期値として持ち、物体の移動を検出しながら、3次元位置情報を獲得するようにした。
【0007】
本発明の第1の観点によれば、入力された連続的な動画像の各フレームの静止画像についてエッジを構成する点を特徴点として検出し、前記エッジを構成する各点の位置と分析値を抽出し、前記特徴点によって構成される前記各フレームの画像を構成する各セグメントの3次元形状情報を得るモデリング手段と、前記モデリング手段により得られた前記各セグメントの3次元形状情報を記憶する記憶手段と、前記連続的な動画像の各フレーム間で該動画像を構成する前記各セグメントが3次元的に動いた量の推定値を、前記記憶手段に記憶されている前フレームの前記各セグメントの3次元形状情報と現フレームの各セグメントの3次元形状情報とから算出する動き推定手段と、前記動き推定手段により推定された前記各セグメントの動いた量により各セグメントを3次元的に移動させた位置と実際の位置の差の2乗の総和が最小になるように、実際の位置から3次元的に移動させた位置の最小自乗推定値を求めることで、前記記憶手段に記憶されている各セグメントの3次元形状情報を更新する更新手段とを有し、
前記モデリング手段は、前記入力された連続的な動画像の各フレームの静止画像を異なる解像度スケールを持つフィルタで分析してエッジを構成する点を特徴として抽出する画像分析手段と、前記連続的な動画像の1フレーム目の静止画像について、前記抽出された特徴点により構成されるセグメントの2次元形状情報を抽出するセグメンテーション手段と、前記各セグメントの2次元形状情報に、所定の奥行き方向の位置情報を付加し、前記各セグメントの3次元形状情報の初期値を生成する3次元情報生成手段とを有し、
前記更新手段は、前記動き推定手段により推定された前記各セグメントの動いた量により各セグメントを3次元的に移動させた結果の各特徴点の位置と、実際の各特徴点との位置の差に基づいて、実際の位置から3次元的に移動させた位置の最小自乗推定値を求めることで、前記記憶手段に記憶されている各セグメントの3次元形状情報を各フレームごとに更新し、
前記連続的な動画像を構成する各セグメントの3次元形状情報を獲得する、動画像処理装置が提供される。
【0009】
好ましくは、前記更新手段は、前記更新手段は、前記推定された動きにより各セグメントを3次元的に移動させた結果の各特徴点の位置を状態量、当該特徴点の実際の位置を観測量、前記状態量と前記観測量の差をノイズとし、カルマンフィルタにより前記状態量の最小自乗推定値を求めることにより、前記各セグメントの3次元形状情報を更新する。
【0010】
本発明の第2の観点によれば、上記動画像処理装置と、前記獲得された3次元形状情報と、前記画像分析手段により分析された当該3次元形状情報を構成する各特徴点の分析値とを符号化する初期符号化手段と、前記動き推定手段により推定された動きにより各セグメントを3次元的に移動させた結果の各特徴点の位置と、実際の各特徴点の位置の差を求める差検出手段と、前記動き推定手段により推定された各セグメントの動き推定値と、前記差検出手段により検出された各特徴点の位置の差とを、各フレームごとに符号化する符号化手段とを有し、前記連続的な動画像を符号化する、動画像符号化装置が提供される。
【0011】
本発明の第3の観点によれば、上記動画像符号化装置と、該動画像符号化装置により符号化された前記連続的な動画像を記録媒体上に記録する記録手段とを有する動画像記録装置が提供される。
【0012】
本発明の第4の観点によれば、入力された連続的な動画像に関する所定の静止画像が分析され、エッジを構成する点が特徴点として検出され、符号化された前記連続的な動画像を復号する動画像復号装置であって、前記符号化された連続的な動画像を構成し、前記特徴点を構成要素とする各セグメントの3次元形状情報と、該3次元形状情報を構成する前記各特徴点の分析値とを復号化する初期復号化手段と、前記連続的な動画像の各フレームごとに符号化された、前記各セグメントの動き推定値と、前記各セグメントの各特徴点ごとの前記入力された動画像の対応する各特徴点からの変位とを復号化する復号化手段と、前記各セグメントの位置を、前記復号化手段により復号化された各セグメントの動き推定値に基づいて3次元的に移動させる移動手段と、前記移動手段により移動された位置の前記各セグメントを、2次元画面上に投影した投影画像を得る投影手段と、前記投影画像における各セグメントの各特徴点の位置を、前記復号化手段により復号化された各セグメントの各特徴点ごとの前記入力された動画像の対応する各特徴点からの変位に基づいて移動させる変形手段と、前記変形手段により変形された結果の画像と、前記初期復号化手段により復号化された各特徴点の分析値とに基づいて、画像を合成する画像合成手段とを有し、符号化された連続的な動画像を復号化する、動画像復号化装置が提供される。
【0013】
本発明の第5の観点によれば、記録媒体上に記録された符号化された連続的な動画像信号を読み出す信号読み取り手段と、前記読み出された符号化された連続的な動画像信号を復号化し、前記連続的な動画像を合成する、上記動画像復号化装置とを有する動画像再生装置が提供される。
【0015】
【作用】
本発明の動画像処理装置においては、2次元動画像にしたときに視覚的に重要な点の3次元位置、および、その点の分析値を特徴点として、物体の移動を検出しながら、3次元形状情報を順次更新しするようにした。したがって、その連続的な動画像系列を通して最も矛盾が無い3次元形状情報が抽出できる。
また、3次元形状情報が精度よく抽出できるので、動画像系列の各フレーム間の動きをそのセグメント全体の動きで表した際に、各特徴点ごとの微小な変位が少なくなり、その分布は変位0を中心に局在化する。その結果、さらに圧縮率が向上する。
【0016】
本発明によれば、上述した動画像中の物体の3次元形状モデルを抽出する動画像処理装置、および、その形状モデルを用いて高圧縮率で動画像を符号化および復号化する動画像符号化装置、動画像復号化装置、さらに、その符号化された動画像を記録媒体上に記録する動画像記録装置、および、それを再生する動画像再生装置が提供される。
【0017】
【実施例】
本発明の一実施例の動画像符号化装置について、図1を参照して説明する。
図1は、本発明の一実施例の動画像符号化装置10の構成を示すブロック図である。
動画像符号化装置10は、画像分析部11、分析画像記憶部12、セグメンテーション部13、記憶部14、動き推定・対応探索部15、投影部16、誤差検出部17、カルマンフィルタ18、および、符号化部19を有する。
この動画像符号化装置10は、後述する動画像復号化装置30と協働して画像処理系を構成する。
【0018】
本実施例の動画像符号化装置10は、VTRなどからの動画像系列より、図示せぬ連続シーケンス検出部で連続した画像データを検出し、その各連続した画像データ系列を符号化し記録する、動画像記録装置である。その記録に際しては、前記連続シーケンスより、そのシーケンスを構成するセグメントの3次元形状情報を抽出する第1のステップと、抽出された3次元形状情報を用いて符号化を行う第2のステップとに分けられる。以下、各部の動作について、前記第1のステップ、第2のステップごとに説明する。
【0019】
まず、連続的な動画像系列より、その動画像を構成する各セグメントの3次元形状情報を抽出するステップにおける各部の動作について説明する。
VTRなどから入力された動画像系列は、連続したシーケンスが検出され、画像分析部11に入力される。
画像分析部11は、順次入力される各フレームの画像データを分析し、特徴点を抽出し、特徴点の位置と分析値を求める。本実施例においては、入力画像データに対して、異なる解像度スケールを持つ複数のフィルタで画像データの分析を行い、エッジを構成する点を特徴点として検出し、入力画像データを特徴画像データであるエッジの画像データに変換し、そのエッジを構成する各点の位置と分析値を抽出する。
【0020】
分析画像記憶部12は、画像分析部11で分析された連続的な連続シーケンスの特徴点画像を記憶するメモリである。記憶されている各フレームの特徴点の情報は、動き推定・対応探索部15より順次参照され、また、1フレーム目の特徴点の情報は、セグメンテーション部13および符号化部19より参照される。
【0021】
セグメンテーション部13は、画像分析部11より入力された1フレーム目の特徴画像データの特徴点の位置と分析値より、セグメンテーションを行い、この画像データを構成しているセグメント(部分または要素)を抽出し、各セグメント毎の特徴点の情報を記憶部14に記憶する。
このセグメンテーションは、カラー画像から赤・緑・青・明度・色相・彩度の信号、および、テレビ信号に対応したY信号、I信号、Q信号の合計9種類のセグメントについて特徴を抽出し、その特徴に関するヒストグラムに基づいてセグメンテーションを行う再帰的しきい値処理により行う。
【0022】
記憶部14は、各セグメントの各特徴点について、位置情報X,Y,Zと、分析値g、確率共分散行列v、付加情報aを記憶する記憶手段であり、メモリにより構成される。記憶部14に記憶されている情報は、入力された連続シーケンスがS個のセグメントを有し、各セグメントがUs 個(s=1〜S)のエッジより構成され、その各エッジがNsu個(u=1〜Us 、s=1〜S)の特徴点より構成される場合、式1のように表される。
【0023】
【数1】
【0024】
なお、確率共分散行列vsun (n=1〜Nsu、u=1〜Us 、s=1〜S)は、各エッジを構成する点のちらばりであるので、同一のエッジを構成する各特徴点については同一の値が付される。
【0025】
記憶部14に記憶されている情報は、まず、1フレーム目についての情報がセグメンテーション部13より入力され、初期データが生成される。その後、2フレーム目以降の画像データが入力されるごとに、後述するカルマンフィルタ18によりその内容が更新される。
【0026】
動き推定・対応探索部15は、前フレームの画像のエッジ画像の各点の情報{Fsun }と現フレームのエッジ位置と分析値から、セグメントの動いた量を推定し、前フレームの各点の情報{Fsun }と、現フレームのエッジ画像の特徴点の対応付けを行う。
その方法について具体的に以下に説明する。
まず、図2において、座標系XYZはカメラ座標系で、座標系の原点はレンズの中心で、光軸は奥行き方向となるZ軸と一致させているものとする。このような座標系においては、点Pの像はXY平面に平行で原点からカメラの焦点距離fだけ離れた所に設置された平面に投影されると考えることができる。この投影面上の点Pの像の位置がカメラより入力された画像上の画素の位置となる。その投影面に対して、その面のZ軸との交点を原点とし、X軸およびY軸と平行な座標系xyを設定する。
【0027】
XYZ空間内の点Pの座標をp=(Xp ,Yp ,Zp )、点Pのxy平面上の像である点Qの座標をq=(xq ,yq )とすると、点Qの座標qは式2のように表される。
【0028】
【数2】
【0029】
あるセグメントs(s=1〜S)がUs 個(s=1〜S)のエッジより構成され、その各エッジがNsu個(u=1〜Us,s=1〜S)の点の情報で表され、それら各点の位置はpsun =(Xsun ,Ysun ,Zsun )(n=1〜Nsu)で表されるとする。
この画像データを構成するセグメントが、相対的にX軸周りにΔωx、Y軸周りにΔωy、Z軸周りにΔωz回転し、また、Δt=(Δtx,Δty,Δtz)だけ平行移動した場合、このセグメントを構成する各点psun の移動量Δpsun =(ΔXsun ,ΔYsun ,ΔZsun )は、前記各軸周りの回転Δωx,Δωy,Δωz、および,平行移動量Δtが小さいとすると、式3のようになる。
【0030】
【数3】
【0031】
点psun のxy平面上への投影点をqsun =(xsun ,ysun )とすると、前記セグメントの移動にともなう投影点qsun の移動量Δqsun =(Δxsun ,Δysun )は式4のようになる。
【0032】
【数4】
【0033】
式2と式4より式5が得られる。
【0034】
【数5】
【0035】
式3および式5を、N個の点の内のm=1〜MのM個に適用すると、式6のようになる。
【0036】
【数6】
【0037】
なお、Δtt は行列Δtの転置行列を示す。
Δqについては、新たな画像が入力される前に得ていた3次元位置pmの式2による仮想の投影点qm’に対応する画像上の点が分からないので、図3に示すように、3次元位置情報の仮想の投影像Ipにおいて物体像Irの投影特徴点qmから最も近い点と仮定する。
M≧3のとき回転および平行移動量のパラメータΔCの推定値ΔC’は、最小自乗法を用いて式7のように求められる。
【0038】
【数7】
【0039】
式7により得られたΔC’による3次元位置情報の移動量Δqsun を式2より計算して、新たに式3により仮想の投影像を作り、同様に近い点を対応点と仮定し、式7の計算を繰り返し、式8のようにしていくと、仮想の投影像と物体像Irは近づく。
【0040】
【数8】
【0041】
この計算を、Σ|Δqsun |2 が予め定めた所定値ε以下になるまで繰り返すことにより、元の画像の3次元位置情報psun に対する新たな画像の対応点qsun が求められる。
【0042】
以上述べたような動き推定・対応探索の方法によれば、物体を剛体と仮定し、回転および平行移動についての6個のパラメータで3次元位置情報を構成する点を拘束することで、個々の点それぞれ独立にではなく、包括的に動き推定・対応探索が行われている。したがって、全体として矛盾のない対応関係が全ての点について得られ、誤対応による3次元位置情報におけるノイズが減る。
【0043】
投影部16は、動き推定・対応探索部15により得られた、各セグメントの平行移動量t、回転移動量ωによって各セグメントの情報{Fsun }の位置情報を、3次元空間において平行および回転移動させ、さらに、各セグメントの各点の3次元位置psun =(Xsun ,Ysun ,Zsun )を画像上の位置qsun =(xsun ,ysun )に変換し、得られた画像上の点qsun に分析値gsun を与える。3次元位置psun から投影点qsun への変換は式3により行う。
【0044】
誤差検出部17は、投影後の各特徴点の情報{Fsun }の画像上での位置qsun'と対応する入力画像のエッジ位置qsun との差を求め、さらに、その差を量子化し、フラクチュエーション(変動)を求める。
量子化方法としては、一定の適切な量子化ステップ(たとえば1画素幅)による線形な量子化、いくつかの線形でない量子化ステップを設定した非線形量子化、量子化ステップを固定せず、入力される画像の性質により量子化ステップを適宜変える量子化などがあり、要求される伝送レート、画質に応じて、適切な量子化方法を用いれば良い。たとえば、高圧縮率が要求される場合には、量子化ステップを大きくしたり、画像に直線が多く量子化ノイズによる直線の不連続性が目立つ場合は、非線形量子化を行い、フラクチュエーションの小さい部分の量子化を細かくするようにする。
求められたフラクチュエーションは、カルマンフィルタ18に入力される。
【0045】
カルマンフィルタ18は、前の画像における各セグメントの各点の情報{Fsun }の3次元位置psun とそれに対応する入力画像のエッジ位置qsun から3次元位置psun を更新する。カルマンフィルタはノイズを含むシステムにおいて時系列の観測量から状態量の最小自乗推定値を逐次得ることのできるフィルタである。
ここで、最小自乗推定値とは、公知の最小自乗法に基づいて推定した値を言い、前の画像における各セグメントの各点の情報{F sun }の3次元位置p sun とそれに対応する入力画像のエッジ位置q sun との誤差の自乗(2乗)の和が最小になるように、3次元位置p sun を推定することを言う。
本実施例において、状態量は3次元位置psun 、観測量である2次元位置qsun である。2次元位置qsun にはΔqsun の量子化によるノイズが含まれる。また、動き推定値にもノイズが含まれる。
初期値の平面上の3次元形状{psun }は、カルマンフィルタによりセグメントに動きがあるごとに、実際の3次元形状に近づくように更新されていく。各点の情報{Fsun }における確率共分散行列vsun はpsun の確率共分散行列(3×3)でpsun を更新するのに用いられ、同時に確率共分散行列vsun も更新される。
【0046】
以上の、カルマンフィルタにおける更新を、連続的な動画像の全フレームについて行うと、最終的に記憶部14には、各セグメントごとの忠実度の高い3次元形状モデルが記憶される。
【0047】
次に、前記第1のステップにおいて抽出された3次元形状モデルを用いて、この連続的な動画像を符号化する第2のステップについて説明する。
第2のステップにおいても、各部の動作は第1のステップと同じである。しかし、第2のステップにおいては、記憶部14に記憶されている最終的な各セグメントの3次元形状情報を用いて動き推定・対応探索を行い、セグメントごとの動きを抽出し、各特徴点の実際の位置との差を求める。
【0048】
したがって、まず、動き推定・対応探索部15において、記憶部14に記憶されている各セグメントの3次元形状情報を用いて、分析画像記憶部12に記憶されている各フレームごとの特徴点の位置より、各セグメントの全体の動きと、各特徴点の対応を求める。その求め方は、前記第1のステップの場合と同一である。ここで求められた動きは投影部16および符号化部19に出力される。
【0049】
そして、投影部16は、動き推定・対応探索部15により得られた各セグメントの移動量によって各セグメントの位置情報を、3次元空間において平行および回転移動させ、さらに、各セグメントの各点の3次元位置を、画像上の位置に変換する。
誤差検出部17は、投影後の各特徴点の画像上での位置と対応する入力画像のエッジ位置との差を求め、さらに、その差を量子化し、フラクチュエーションを求める。求められたフラクチュエーションは、符号化部19に出力される。
【0050】
符号化部19は、入力された動画像系列の情報を符号化し、伝送路に送出する。
符号化部19は、各連続画像シーケンスについて、まず、記憶部14に記憶されている3次元形状情報、および、分析値、を符号化する。また、各フレームの画像データについては、各セグメント毎に、動き推定・対応探索部15より出力される動き推定値と、誤差検出部17より出力されるフラクチュエーションを符号化し出力する。
符号化された各連続画像シーケンスごとのデータは、たとえば、VTRなどの画像記録装置に記録される。
【0051】
このように、本実施例の動画像符号化装置10によれば、各フレームごとのセグメントの動きを推定しながら、忠実度の高い3次元形状モデルを抽出し、その抽出された3次元形状モデルを参照して、さらに、各フレームごとに各モデルの動き、および、各特徴点の微小な変位を求めている。したがって、各特徴点の微小な変位の情報は分散せず、変位が無い場合を中心に局在化する。その結果符号化の圧縮率を上げることができる。
【0052】
なお、本実施例においては動画像符号化装置について説明したが、本発明の動画像処理装置は、本実施例の構成において符号化部19を持たない構成で実現できる。連続的な動画像よりその動画像を構成する各セグメントの3次元形状情報を抽出し、その情報を用いて種々の画像処理を行うような装置、たとえば、特殊効果装置などに本発明を適用する場合には、その符号化部19を持たない構成の画像処理装置を適宜適用すればよい。
また、本発明の動画像記録装置は、本実施例の構成にさらに、符号化部19で符号化された結果を記録媒体上に記録する手段を追加することにより実現できる。そのようにすれば、従来の符号化方法よりはるかに高圧縮率で動画像を記録でき、同一の記録媒体に、より長時間の動画像を記録できる動画像記録装置が提供できる。
【0053】
次に、本発明の一実施例の動画像復号化装置について、図4を参照して説明する。
図4は、本発明の一実施例の動画像復号化装置30の構成を示すブロック図である。
動画像復号化装置30は、復号部31、記憶部32、動き処理部33、投影部34、変形部35、再合成部36、および、合成画像記憶部37より構成される。
本実施例の動画像復号化装置30は、伝送路より伝送された符号化された動画像系列を展開し、合成し、出力する動画像復号化装置であって、前述した動画像符号化装置10と協働して画像処理系を構成する。
【0054】
以下、各部の動作について説明する。
復号部31は、伝送路より伝送された信号を受信し、復号化して各情報を取り出し、適宜各部に出力する受信手段である。
復号部31は、まず、連続的な動画像シーケンスを構成する各セグメントの3次元形状情報を受信し、復号し、記憶部32に記憶する。その際の各セグメントの位置は、その連続的な動画像の1フレーム目での位置で表される。そして、2フレーム目以降については、符号化されたその各セグメントの全体の移動量(グローバルモーション)と各特徴点の細かな動き(フラクチュエーション)を受信し、復号し、グローバルモーションは動き処理部33に、フラクチュエーションは変形部35に出力される。
【0055】
記憶部32は、連続的な動画像シーケンスを構成する各セグメントの3次元形状情報と、各セグメントの位置情報を記憶するメモリである。記憶部32は、復号部31より入力された連続的な動画像シーケンスを構成する各セグメントの3次元形状情報を初期値として記憶し、以後、動き処理部33によりその位置を各フレームごと更新される。
動き処理部33は、復号部31により入力された動き推定値に基づいて、記憶部32に記憶されている各セグメントを移動させる。移動させた情報は、投影部34に出力するとともに、記憶部32の各セグメントの位置情報を更新する。
【0056】
投影部34は、動き処理部33により移動された各セグメントを2次元画像上に投影する。
変形部35は、投影部34により投影された画像の各特徴点の位置に対して、復号部31より入力されたフラクチュエーションを各特徴点に加え、各特徴点の位置を補正する。
再合成部36は、変形部35より入力された各特徴点の情報、および、記憶部32に記憶されている各特徴点の分析値、および、この連続的な動画像のDC成分に基づいて、画像データを復元する。
合成画像記憶部37は、再合成部36により復元された画像データを記憶しておくメモリである。合成画像記憶部37に記憶されている動画像情報は、適宜表示装置などに出力される。
【0057】
なお、本発明の動画像再生装置は、本実施例の動画像復号化装置の構成にさらに、記録媒体上に記録された信号を読み出す手段を加えることにより実現できる。そのような動画像再生装置においては、高い圧縮率で長時間記録されている動画像系列を再生でき、さらに、各セグメントの移動量を各フレーム間の移動量を細分した値に設定することにより、原画像のフレームには存在しなかったような各セグメントを微小に送った超スローモーション画像などの動画像を生成することができる。
【0058】
【発明の効果】
本発明によれば、動画像系列から忠実度の高い3次元形状モデルを抽出することのできる動画像処理装置を提供することができた。
したがって、その3次元形状モデルを使って高い圧縮率で動画像の符号化が可能な動画像符号化装置、および、それを復号する動画像復号化装置を提供することができた。
さらに、動画像を記録媒体上に長時間記録することのできる動画像記録装置、および、それを再生する動画像再生装置を提供することができた。
【図面の簡単な説明】
【図1】 本発明の一実施例の動画像符号化装置の構成を示すブロック図である。
【図2】 図1に示した動画像符号化装置の動き推定・対応探索部の方法を説明する図であり、3次元空間の点Pを望む様子を示し座標系の説明をする図である。
【図3】 図1に示した動画像符号化装置の動き推定・対応探索の方法を説明する図である。
【図4】 本発明の一実施例の動画像復号化装置の構成を示すブロック図である。
【符号の説明】
10…動画像符号化装置
11…画像分析部 12…分析画像記憶部
13…セグメンテーション部 14…記憶部
15…動き推定・対応探索部 16…投影部
17…誤差検出部 18…カルマンフィルタ
30…動画像復号化装置
31…復号部 32…記憶部
33…動き処理部 34…投影部
35…変形部 36…再合成部
37…合成画像記憶部
Claims (6)
- 入力された連続的な動画像の各フレームの静止画像についてエッジを構成する点を特徴点として検出し、前記エッジを構成する各点の位置と分析値を抽出し、前記特徴点によって構成される前記各フレームの画像を構成する各セグメントの3次元形状情報を得るモデリング手段と、
前記モデリング手段により得られた前記各セグメントの3次元形状情報を記憶する記憶手段と、
前記連続的な動画像の各フレーム間で該動画像を構成する前記各セグメントが3次元的に動いた量の推定値を、前記記憶手段に記憶されている前フレームの前記各セグメントの3次元形状情報と現フレームの各セグメントの3次元形状情報とから算出する動き推定手段と、
前記動き推定手段により推定された前記各セグメントの動いた量により各セグメントを3次元的に移動させた位置と実際の位置の差の2乗の総和が最小になるように、実際の位置から3次元的に移動させた位置の最小自乗推定値を求めることで、前記記憶手段に記憶されている各セグメントの3次元形状情報を更新する更新手段と
を有し、
前記モデリング手段は、
前記入力された連続的な動画像の各フレームの静止画像を異なる解像度スケールを持つフィルタで分析してエッジを構成する点を特徴として抽出する画像分析手段と、
前記連続的な動画像の1フレーム目の静止画像について、前記抽出された特徴点により構成されるセグメントの2次元形状情報を抽出するセグメンテーション手段と、
前記各セグメントの2次元形状情報に、所定の奥行き方向の位置情報を付加し、前記各セグメントの3次元形状情報の初期値を生成する3次元情報生成手段と
を有し、
前記更新手段は、前記動き推定手段により推定された前記各セグメントの動いた量により各セグメントを3次元的に移動させた結果の各特徴点の位置と、実際の各特徴点との位置の差に基づいて、実際の位置から3次元的に移動させた位置の最小自乗推定値を求めることで、前記記憶手段に記憶されている各セグメントの3次元形状情報を各フレームごとに更新し、
前記連続的な動画像を構成する各セグメントの3次元形状情報を獲得する
動画像処理装置。 - 前記更新手段は、前記推定された動きにより各セグメントを3次元的に移動させた結果の各特徴点の位置を状態量、当該特徴点の実際の位置を観測量、前記状態量と前記観測量の差をノイズとし、カルマンフィルタにより前記状態量の最小自乗推定値を求めることにより、前記各セグメントの3次元形状情報を更新する、
請求項1記載の動画像処理装置。 - 請求項1または2記載の動画像処理装置と、
前記獲得された3次元形状情報と、前記画像分析手段により分析された当該3次元形状情報を構成する各特徴点の分析値とを符号化する初期符号化手段と、
前記動き推定手段により推定された動きにより各セグメントを3次元的に移動させた結果の各特徴点の位置と、実際の各特徴点の位置の差を求める差検出手段と、
前記動き推定手段により推定された各セグメントの動き推定値と、前記差検出手段により検出された各特徴点の位置の差とを、各フレームごとに符号化する符号化手段と
を有し、
前記連続的な動画像を符号化する、
動画像符号化装置。 - 請求項3記載の動画像符号化装置と、
該動画像符号化装置により符号化された前記連続的な動画像を記録媒体上に記録する記録手段と
を有する
動画像記録装置。 - 入力された連続的な動画像各フレームの静止画像が分析され、エッジを構成する点が特徴点として検出され、符号化された前記連続的な動画像を復号する動画像復号装置であって、
前記符号化された連続的な動画像を構成し、前記特徴点を構成要素とする各セグメントの3次元形状情報と、該3次元形状情報を構成する前記各特徴点の分析値とを復号化する初期復号化手段と、
前記連続的な動画像の各フレームごとに符号化された、前記各セグメントの動き推定値と、前記各セグメントの各特徴点ごとの前記入力された動画像の対応する各特徴点からの変位とを復号化する復号化手段と、
前記各セグメントの位置を、前記復号化手段により復号化された各セグメントの動き推定値に基づいて3次元的に移動させる移動手段と、
前記移動手段により移動された位置の前記各セグメントを、2次元画面上に投影した投影画像を得る投影手段と、
前記投影画像における各セグメントの各特徴点の位置を、前記復号化手段により復号化された各セグメントの各特徴点ごとの前記入力された動画像の対応する各特徴点からの変位に基づいて移動させる変形手段と、
前記変形手段により変形された結果の画像と、前記初期復号化手段により復号化された各特徴点の分析値とに基づいて、画像を合成する画像合成手段と
を有し、
符号化された連続的な動画像を復号化する、
動画像復号化装置。 - 記録媒体上に記録された符号化された連続的な動画像信号を読み出す信号読み取り手段と、
前記読み出された符号化された連続的な動画像信号を復号化し、前記連続的な動画像を合成する、請求項5記載の動画像復号化装置と
を有する動画像再生装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28565894A JP3663645B2 (ja) | 1994-11-18 | 1994-11-18 | 動画像処理装置とその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28565894A JP3663645B2 (ja) | 1994-11-18 | 1994-11-18 | 動画像処理装置とその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08149461A JPH08149461A (ja) | 1996-06-07 |
JP3663645B2 true JP3663645B2 (ja) | 2005-06-22 |
Family
ID=17694391
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP28565894A Expired - Fee Related JP3663645B2 (ja) | 1994-11-18 | 1994-11-18 | 動画像処理装置とその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3663645B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108955560A (zh) * | 2018-05-21 | 2018-12-07 | 北京林业大学 | 一种槭属种子形态测定及分析方法 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9623573D0 (en) * | 1996-11-13 | 1997-01-08 | Philips Electronics Nv | Image segmentation |
US6687405B1 (en) | 1996-11-13 | 2004-02-03 | Koninklijke Philips Electronics N.V. | Image segmentation |
JP3688489B2 (ja) | 1998-12-25 | 2005-08-31 | 株式会社東芝 | 画像認識方法および画像認識装置 |
JP4874693B2 (ja) * | 2006-04-06 | 2012-02-15 | 株式会社トプコン | 画像処理装置及びその処理方法 |
JP6044293B2 (ja) * | 2012-11-19 | 2016-12-14 | 株式会社Ihi | 3次元物体認識装置および3次元物体認識方法 |
-
1994
- 1994-11-18 JP JP28565894A patent/JP3663645B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108955560A (zh) * | 2018-05-21 | 2018-12-07 | 北京林业大学 | 一种槭属种子形态测定及分析方法 |
CN108955560B (zh) * | 2018-05-21 | 2020-06-26 | 北京林业大学 | 一种槭属种子形态测定及分析方法 |
Also Published As
Publication number | Publication date |
---|---|
JPH08149461A (ja) | 1996-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3679426B2 (ja) | 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム | |
Sawhney et al. | Hybrid stereo camera: an IBR approach for synthesis of very high resolution stereoscopic image sequences | |
JP2008259076A (ja) | 画像防振装置、撮像装置及び画像防振方法 | |
JP2006174415A (ja) | 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法 | |
US11812066B2 (en) | Methods, devices and stream to encode global rotation motion compensated images | |
JP3524147B2 (ja) | 3次元画像表示装置 | |
Malassiotis et al. | Model-based joint motion and structure estimation from stereo images | |
JP2003116053A (ja) | 特殊効果データ符号化方法及び特殊効果表示方法及び特殊効果データ編集方法 | |
JP5689291B2 (ja) | 画像復号装置、画像復号方法、画像復号プログラム、画像符号化装置、画像符号化方法、及び画像符号化プログラム | |
CA2171293A1 (en) | Method and apparatus for data analysis | |
JP3663645B2 (ja) | 動画像処理装置とその方法 | |
JPH11504452A (ja) | 2次元投影図に基づいて3次元の対象物を再現し、取り扱うための装置と方法 | |
KR100335617B1 (ko) | 3차원 입체영상 합성방법 | |
CN100481944C (zh) | 对数字化图像实施由计算机支持的运动补偿的方法和装置 | |
Malassiotis et al. | Object-based coding of stereo image sequences using three-dimensional models | |
US20230084376A1 (en) | Information processing device, 3d model generation method, and program | |
JP5024962B2 (ja) | 多視点距離情報符号化方法,復号方法,符号化装置,復号装置,符号化プログラム,復号プログラムおよびコンピュータ読み取り可能な記録媒体 | |
JP4964827B2 (ja) | 多視点距離情報符号化方法,復号方法,符号化装置,復号装置,符号化プログラム,復号プログラムおよびコンピュータ読み取り可能な記録媒体 | |
CN112806015B (zh) | 全向视频的编码和解码 | |
KR20060015755A (ko) | 3차원 모델을 사용하는 화상 시퀀스를 표현하는 방법 및 그장치와 신호 | |
JPH08149458A (ja) | 動画像処理装置 | |
JP2000261808A5 (ja) | ||
KR101533494B1 (ko) | 템플릿 모델 기반의 3d 영상 생성 방법 및 장치 | |
JP2000261808A (ja) | 画像符号化方法、画像復号化方法、および観測系動き推定方法とその装置 | |
JPH08161505A (ja) | 動画像処理装置、動画像符号化装置および動画像復号装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040720 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040921 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041102 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041130 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050321 |
|
LAPS | Cancellation because of no payment of annual fees |