JPH02239376A - 動画像の動き検出方法及びその装置 - Google Patents
動画像の動き検出方法及びその装置Info
- Publication number
- JPH02239376A JPH02239376A JP1059729A JP5972989A JPH02239376A JP H02239376 A JPH02239376 A JP H02239376A JP 1059729 A JP1059729 A JP 1059729A JP 5972989 A JP5972989 A JP 5972989A JP H02239376 A JPH02239376 A JP H02239376A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- image
- motion
- shape model
- dimensional shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 29
- 239000013598 vector Substances 0.000 claims abstract description 38
- 238000001514 detection method Methods 0.000 claims description 56
- 238000012937 correction Methods 0.000 claims description 18
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 230000001934 delay Effects 0.000 claims description 2
- 239000000126 substance Substances 0.000 abstract 3
- 238000010586 diagram Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Complex Calculations (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
(発明の技術分野)
本発明は、テレビジョンカメラ等から連続して入力され
る動画像の符号化及び動画像の認識・理解に関わり、特
に、動画像中の3次元対象物体の3次元的な動き及び形
状変化を検出する方法及び装置に関するものである。
る動画像の符号化及び動画像の認識・理解に関わり、特
に、動画像中の3次元対象物体の3次元的な動き及び形
状変化を検出する方法及び装置に関するものである。
(従来技術)
動画像中における対象物体の3次元的な動きを解析する
こと、すなわち、3次元的な動きパラメータを検出する
ことは、頗動画像の知的画像符号化における送信側での
頭部の動き検出、テレビ電話等のための3次元動き補償
、ロボットビジョン等の分野において重要な技術である
. 従来より、時間的に連続する画像(フレーム)から、対
象とする物体の3次元動きパラメータを求めるための方
法として、画像間の見かけ上の速度ベクトルを用いて求
める方式が知られている。
こと、すなわち、3次元的な動きパラメータを検出する
ことは、頗動画像の知的画像符号化における送信側での
頭部の動き検出、テレビ電話等のための3次元動き補償
、ロボットビジョン等の分野において重要な技術である
. 従来より、時間的に連続する画像(フレーム)から、対
象とする物体の3次元動きパラメータを求めるための方
法として、画像間の見かけ上の速度ベクトルを用いて求
める方式が知られている。
じOn the coa+putation o
f emotion from sequenc
as of images − A review”.
Proc.IEBE.Vol.76+No.8,pP
917−935.Aug.1988. )ここでは、入
力画像(現フレーム)と前フレーム画像(1フレーム期
間前の画像)との間で、速度ベクトルを、ブロック単位
で求めている.速度ベクトルを求める方法としては、ブ
ロックマッチング法や反復勾配法などがある。第8図は
、従来の反復勾配法による速度ベクトル検出の原理を示
したものである.第9図は、一例として、ブロック単位
で画像間の速度ベクトルを矢印で示したものである.例
えば図中の斜線を施したブロックはp (x . y)
からp’(x’+y’)に移動したことを示してい
る。ここで、対象とする物体は剛体であるとし、平行投
影を仮定する.画像間での変化が微小であるものとすれ
ば、物体上の点p(x,y.z)ばlフレーム期間後に
点p’(x’.y’4’)に移動する.この時、点pと
p′は(1)式で関係付けられる.物体上の複数の点に
対して、現フレームと前フレームでの座標を求めて(1
)式に代入して、(1)式をRx,Ry.Rz+Tx+
Ty+Tzについて解くことにより、3次元な動きの推
定が行われる.具体的には、(1)式における回転運動
パラメータ(Rx,Ry,I?z) 、平行運動パラメ
ータ(Tx.Ty.Tz)及び物体上の各点における奥
行き座標2を最小2乗法等を用いて推定する. 第10図は、従来における画面間の速度ベクトルを用い
た物体の3次元的な動き検出を行うための動画像の動き
検出装置のブロック図を示したものである.第10図に
おいて、lは画像メモリ、2は少なくとも1フレーム期
間以上の遅延を与える遅延部、3はブロック分割部、4
ほ連続する2枚の画像における速度ベクトル検出部、5
は速度ベクトルに基づく3次元的な動きパラメータの算
出をする3次元動きパラメータ推定部である.次に、各
部の動作を簡単に説明する。テレビジョンカメラ等から
入力されたディジタル画像は、まず画像メモリ1に蓄え
られる.遅延部2から1フレーム期間前の画像(前フレ
ーム)が読出され、ブロック分割部3でブロック単位に
分割される.速度ベクトル検出部4では、ブロック分割
部3よりブロック単位で読み出された前フレーム画像と
画像メモリ1から読出された現入力画像間で速度ベクト
ルを検出する.3次元動きパラメータ推定部5では、速
度ベクトル検出部4において検出された速度ベクトルか
ら式(1)を用いて、物体に関する3次元運動方程式を
立て、nxtRy,Rz+Tx+TytT..zに関す
る非線形連立方程式を解き、物体に関する3次元動きパ
ラメータ及び各ブロックに対応する物体の奥行き座標を
求めている. (発明が解決しようとする課題) 従来の3次元動き推定法では、連続する2枚の画像間の
見かけ上の速度ベクトルに関する情報のみを用いて物体
の3次元動きパラメータを求めている。このため、物体
に関する奥行き座標を3次元動きパラメータを推定する
と同時に求める必要かあ−る.このため、3次元動きパ
ラメータ推定部において解くべき方程式は3次元物体の
回転移動を表すRx, Ryと奥行き座標を表す2の積
である非線形項(Ry−z及びRx−z)を含む非線形
連立方程式となる。このため、解法が極めて困難になる
.また、3次元物体における奥行き座標を求める必要が
あるため、必要なメモリサイズが大きくなるという問題
がある.また、この方式では、対象とする物体として剛
体を前提としているため、頗動画像におけるように、剛
体(頭部)としての3次元的な動きの他に、眼や口のよ
うに形状の変化を伴う場合、これらの形状の変化をうま
く検出することができないという問題がある。従って、
従来では3次元的な動きの推定と形状変化の検出とを的
確に行うことができないという問題点があった。
f emotion from sequenc
as of images − A review”.
Proc.IEBE.Vol.76+No.8,pP
917−935.Aug.1988. )ここでは、入
力画像(現フレーム)と前フレーム画像(1フレーム期
間前の画像)との間で、速度ベクトルを、ブロック単位
で求めている.速度ベクトルを求める方法としては、ブ
ロックマッチング法や反復勾配法などがある。第8図は
、従来の反復勾配法による速度ベクトル検出の原理を示
したものである.第9図は、一例として、ブロック単位
で画像間の速度ベクトルを矢印で示したものである.例
えば図中の斜線を施したブロックはp (x . y)
からp’(x’+y’)に移動したことを示してい
る。ここで、対象とする物体は剛体であるとし、平行投
影を仮定する.画像間での変化が微小であるものとすれ
ば、物体上の点p(x,y.z)ばlフレーム期間後に
点p’(x’.y’4’)に移動する.この時、点pと
p′は(1)式で関係付けられる.物体上の複数の点に
対して、現フレームと前フレームでの座標を求めて(1
)式に代入して、(1)式をRx,Ry.Rz+Tx+
Ty+Tzについて解くことにより、3次元な動きの推
定が行われる.具体的には、(1)式における回転運動
パラメータ(Rx,Ry,I?z) 、平行運動パラメ
ータ(Tx.Ty.Tz)及び物体上の各点における奥
行き座標2を最小2乗法等を用いて推定する. 第10図は、従来における画面間の速度ベクトルを用い
た物体の3次元的な動き検出を行うための動画像の動き
検出装置のブロック図を示したものである.第10図に
おいて、lは画像メモリ、2は少なくとも1フレーム期
間以上の遅延を与える遅延部、3はブロック分割部、4
ほ連続する2枚の画像における速度ベクトル検出部、5
は速度ベクトルに基づく3次元的な動きパラメータの算
出をする3次元動きパラメータ推定部である.次に、各
部の動作を簡単に説明する。テレビジョンカメラ等から
入力されたディジタル画像は、まず画像メモリ1に蓄え
られる.遅延部2から1フレーム期間前の画像(前フレ
ーム)が読出され、ブロック分割部3でブロック単位に
分割される.速度ベクトル検出部4では、ブロック分割
部3よりブロック単位で読み出された前フレーム画像と
画像メモリ1から読出された現入力画像間で速度ベクト
ルを検出する.3次元動きパラメータ推定部5では、速
度ベクトル検出部4において検出された速度ベクトルか
ら式(1)を用いて、物体に関する3次元運動方程式を
立て、nxtRy,Rz+Tx+TytT..zに関す
る非線形連立方程式を解き、物体に関する3次元動きパ
ラメータ及び各ブロックに対応する物体の奥行き座標を
求めている. (発明が解決しようとする課題) 従来の3次元動き推定法では、連続する2枚の画像間の
見かけ上の速度ベクトルに関する情報のみを用いて物体
の3次元動きパラメータを求めている。このため、物体
に関する奥行き座標を3次元動きパラメータを推定する
と同時に求める必要かあ−る.このため、3次元動きパ
ラメータ推定部において解くべき方程式は3次元物体の
回転移動を表すRx, Ryと奥行き座標を表す2の積
である非線形項(Ry−z及びRx−z)を含む非線形
連立方程式となる。このため、解法が極めて困難になる
.また、3次元物体における奥行き座標を求める必要が
あるため、必要なメモリサイズが大きくなるという問題
がある.また、この方式では、対象とする物体として剛
体を前提としているため、頗動画像におけるように、剛
体(頭部)としての3次元的な動きの他に、眼や口のよ
うに形状の変化を伴う場合、これらの形状の変化をうま
く検出することができないという問題がある。従って、
従来では3次元的な動きの推定と形状変化の検出とを的
確に行うことができないという問題点があった。
本発明は、上述した従来技術における問題点を解決する
ためになされたものであり、3次元的な動きの推定と形
状変化の検出を的確に行うことが可能な動画像の動き検
出方法及び装置を提供することにある. (発明の構成) 前記課題を解決するための本発明の第1の特徴は、3次
元な動きを有する3次元物体を含む動画像に対して、時
間的に連続する2枚の画像からブロック単位で速度ベク
トルを求めて、前記3次元物体の3次元的な動きの検出
を行う方式において、対象となる3次元物体の立体形状
に対応した3次元形状モデルを用意し、前フレーム画像
中における前記3次元物体と前記3次元形状モデルとが
重なる領域を求め、該領域を複数のブロックに分割し、
該ブロック単位に入力画像と前フレーム画像との間の速
度ベクトルを求め、また、該ブロックにおける奥行き情
報を前記3次元形状モデルより求め、更に以上により求
められた前記複数のブロックにおける速度ベクトルと奥
行き情報とから前記3次元物体の3次元的な動きパラメ
ータ、すなわち回転移動及び平行移動成分を求めて前記
3次元物体の3次元的な動き検出を行うことにある。
ためになされたものであり、3次元的な動きの推定と形
状変化の検出を的確に行うことが可能な動画像の動き検
出方法及び装置を提供することにある. (発明の構成) 前記課題を解決するための本発明の第1の特徴は、3次
元な動きを有する3次元物体を含む動画像に対して、時
間的に連続する2枚の画像からブロック単位で速度ベク
トルを求めて、前記3次元物体の3次元的な動きの検出
を行う方式において、対象となる3次元物体の立体形状
に対応した3次元形状モデルを用意し、前フレーム画像
中における前記3次元物体と前記3次元形状モデルとが
重なる領域を求め、該領域を複数のブロックに分割し、
該ブロック単位に入力画像と前フレーム画像との間の速
度ベクトルを求め、また、該ブロックにおける奥行き情
報を前記3次元形状モデルより求め、更に以上により求
められた前記複数のブロックにおける速度ベクトルと奥
行き情報とから前記3次元物体の3次元的な動きパラメ
ータ、すなわち回転移動及び平行移動成分を求めて前記
3次元物体の3次元的な動き検出を行うことにある。
本発明の第2の特徴は、前記入力画像と必要に応じて前
記前フレーム画像とを用い、予め前記入力画像中におけ
る3次元物体のおおまかな形状、位置と向きを求め、こ
の結果を前記3次元動きパラメータの検出に用いること
にある. 本発明の第3の特徴は、前記3次元物体の要素の一部に
形状の変化がある場合、前記により検出された3次元動
きパラメータを前記3次元物体のおおまかな動きの予測
とし、該予測結果で与えられる位置の周辺で要素の形状
を構成する特徴点の検出を行ない、前記要素の形状変化
を検出すると共に、該検出結果に基づき前記3次元形状
モデルにおける前記要素部分に対応する前記3次元形状
モデルの形状を変形することにある。
記前フレーム画像とを用い、予め前記入力画像中におけ
る3次元物体のおおまかな形状、位置と向きを求め、こ
の結果を前記3次元動きパラメータの検出に用いること
にある. 本発明の第3の特徴は、前記3次元物体の要素の一部に
形状の変化がある場合、前記により検出された3次元動
きパラメータを前記3次元物体のおおまかな動きの予測
とし、該予測結果で与えられる位置の周辺で要素の形状
を構成する特徴点の検出を行ない、前記要素の形状変化
を検出すると共に、該検出結果に基づき前記3次元形状
モデルにおける前記要素部分に対応する前記3次元形状
モデルの形状を変形することにある。
本発明の第4の特徴は、前記3次元物体に関する前記3
次元形状モデルの形状が正確でない場合において、前記
3次元動きパラメータと、前記前フレーム画像における
濃淡情報を用いて、前記3次元動きパラメータに対応し
た分だけ物体を動かした状態での画像を合成し、該合成
画像と前記入力画像を比較してずれを求め、該ずれが小
さくなるように前記3次元形状モデルの形状に対する修
正情報を発生させ、該修正情報に基づき前記3次元形状
モデルの形状を修正を施し、該修正された3次元形状モ
デルと、前フレーム画像における濃淡情報から再び画像
を合成し、該合成画像と前記入力画像とのずれを求め、
該ずれが予め決められた値以下になるまで前記モデルの
修正と前記画像合成を繰り返し行い、前記3次元形状モ
デルの形状を修正することにある. なお、以下では対象となる物体の3次元形状を表現する
ための3次元形状モデル例として、第2図に示す多数の
三角形の組合せによりできている人物頭部を例にとる。
次元形状モデルの形状が正確でない場合において、前記
3次元動きパラメータと、前記前フレーム画像における
濃淡情報を用いて、前記3次元動きパラメータに対応し
た分だけ物体を動かした状態での画像を合成し、該合成
画像と前記入力画像を比較してずれを求め、該ずれが小
さくなるように前記3次元形状モデルの形状に対する修
正情報を発生させ、該修正情報に基づき前記3次元形状
モデルの形状を修正を施し、該修正された3次元形状モ
デルと、前フレーム画像における濃淡情報から再び画像
を合成し、該合成画像と前記入力画像とのずれを求め、
該ずれが予め決められた値以下になるまで前記モデルの
修正と前記画像合成を繰り返し行い、前記3次元形状モ
デルの形状を修正することにある. なお、以下では対象となる物体の3次元形状を表現する
ための3次元形状モデル例として、第2図に示す多数の
三角形の組合せによりできている人物頭部を例にとる。
(実施例1)
第1図は、本発明の第工の実施例を説明するための動画
像の動き検出装置のブロック図である。
像の動き検出装置のブロック図である。
図において、1は入力画像を蓄える画像メモリ、2は少
なくなくとも1フレーム期間以上遅延させる遅延部、3
は画像をブロック単位に分割するブロック分割部、4は
速度ベクトル検出部、5は3次元動きパラメータ推定部
、6は第2図に示した3次元形状モデルの形状等を調整
する3次元形状モデル操作部、7は操作後の3次元形状
モデルの格納をする3次元形状モデル格納部、8は奥行
き座標計算部であり、画像メモリlから3次元動きパラ
メータ推定部5までは従来の構成と同一である. 次に各部の動作について説明する。ブロック分割部3で
は、遅延部2から入力された前フレームの画像をブロッ
クに分割して、速度ベクトル検出部4に入力する.速度
ベクトル検出部4では、画像メモリ1から読みだされた
入力画像と前フレーム画像との間でブロック単位で速度
ベクトルを求める。3次元動きパラメータ推定部5では
、速度ベクトル検出部4でブロック単位に求めた速度ベ
クトル及び奥行き座標計算部8より入力されたそのブロ
ックに対応する奥行き座標から式(1)を基にして3次
元物体に関する運動方程式を立てる.この方程式は、先
に述べた従来方式の場合とは異なり非線形項(Rx.z
及びRy,z)を含んでおらず3次元動きパラメータ(
回転運動パラメータとしてRx.Ry.Rz,平行運動
パラメータとしてTx.Ty.Tz)を変数とする線形
連立方程式となる.このため、従来技術による方法に比
べ簡単に3次元動きパラメータを求めることができる.
3次元形状モデル操作部6では、前フレーム画像におけ
る3次元物体に対応する例えば第2図の3次元形状モデ
ルに対して、3次元動きパラメータを操作させてモデル
の形状、位置及び向きを入力画像に合わせる.この結果
得られる3次元形状モデルを3次元形状モデル格納部7
に格納する.奥行き座標計算部8では、速度ベクトル検
出部4からのブロックと重なり合う3次元形状モデルを
構成する複数の3角形を構成する頂点における奥行き座
標から対応するブロックの奥行き座標を求める。第3図
及び第4図は、本発明による対応するブロックの奥行き
座標の求め方の一例を示したものである。
なくなくとも1フレーム期間以上遅延させる遅延部、3
は画像をブロック単位に分割するブロック分割部、4は
速度ベクトル検出部、5は3次元動きパラメータ推定部
、6は第2図に示した3次元形状モデルの形状等を調整
する3次元形状モデル操作部、7は操作後の3次元形状
モデルの格納をする3次元形状モデル格納部、8は奥行
き座標計算部であり、画像メモリlから3次元動きパラ
メータ推定部5までは従来の構成と同一である. 次に各部の動作について説明する。ブロック分割部3で
は、遅延部2から入力された前フレームの画像をブロッ
クに分割して、速度ベクトル検出部4に入力する.速度
ベクトル検出部4では、画像メモリ1から読みだされた
入力画像と前フレーム画像との間でブロック単位で速度
ベクトルを求める。3次元動きパラメータ推定部5では
、速度ベクトル検出部4でブロック単位に求めた速度ベ
クトル及び奥行き座標計算部8より入力されたそのブロ
ックに対応する奥行き座標から式(1)を基にして3次
元物体に関する運動方程式を立てる.この方程式は、先
に述べた従来方式の場合とは異なり非線形項(Rx.z
及びRy,z)を含んでおらず3次元動きパラメータ(
回転運動パラメータとしてRx.Ry.Rz,平行運動
パラメータとしてTx.Ty.Tz)を変数とする線形
連立方程式となる.このため、従来技術による方法に比
べ簡単に3次元動きパラメータを求めることができる.
3次元形状モデル操作部6では、前フレーム画像におけ
る3次元物体に対応する例えば第2図の3次元形状モデ
ルに対して、3次元動きパラメータを操作させてモデル
の形状、位置及び向きを入力画像に合わせる.この結果
得られる3次元形状モデルを3次元形状モデル格納部7
に格納する.奥行き座標計算部8では、速度ベクトル検
出部4からのブロックと重なり合う3次元形状モデルを
構成する複数の3角形を構成する頂点における奥行き座
標から対応するブロックの奥行き座標を求める。第3図
及び第4図は、本発明による対応するブロックの奥行き
座標の求め方の一例を示したものである。
第3図では、ブロック分割部3によって分割されたブロ
ック内にある3次元形状モデルの三角形の頂点がP1〜
P8の8個ある場合の例を示している。
ック内にある3次元形状モデルの三角形の頂点がP1〜
P8の8個ある場合の例を示している。
まず、第4図の奥行き座標計算部8内の三角形検出部8
lで三角形(Al〜A7)を検出する。次に、頂点座標
の算出部82では、三角形AIの各頂点Pl,P2及び
P8の座標を抽出する。抽出された座標のうち奥行き座
標(例えばZ軸の座標)だけの平均値を奥行き座標算出
部83で求める。さらにこれを他の三角形(A2〜A7
)についても求め、全体の平均値をブロックの奥行座標
とする。
lで三角形(Al〜A7)を検出する。次に、頂点座標
の算出部82では、三角形AIの各頂点Pl,P2及び
P8の座標を抽出する。抽出された座標のうち奥行き座
標(例えばZ軸の座標)だけの平均値を奥行き座標算出
部83で求める。さらにこれを他の三角形(A2〜A7
)についても求め、全体の平均値をブロックの奥行座標
とする。
なお、上述の説明では三角形(At−A7)毎の各頂点
を求めたが、単純にP1〜P8の頂点の平均値を奥行き
座標にしてもよい.また、ブロックに三角形の2頂点が
内在し、他の1頂点がブロックの外にある場合には、外
の頂点も入れて計算してもよく、頂点の平均値の求め方
には種々の方法がある.画面上のブロックと重なる3次
元形状モデルにおける3角形を求め、その3角形を構成
する頂点における奥行き座標の平均値をブロックの奥行
き座標とするものである. (実施例2) 第5図は、本発明による第2の実施例を説明するための
動画像の動き検出装置のブロック図である。実施例2は
、対象物体が画像間で大きく動く場合についても対処で
きるようにしたものである.第5図において、9は対象
物検出部である。対象物検出部9では、画像メモリ1か
ら読み出された入力画像と遅延部2から読み出された前
フレーム画像を用いて、対象物の大まかな形状、位置及
び向きを検出し、これによってオフセットを決め、その
上で実施例lを利用して正確な動きパラメータを推定す
るものである.対象物検出方法としては、例えば、入力
画像から前フレーム画像を減算し動領域判定を行い、こ
の結果を基に対象物の大まかな位置を求める方法、ある
いは、入力画像に対して2値化処理や微分処理を施すこ
とにより対象物の大まかな形状、位置や向きを求める方
法もある。
を求めたが、単純にP1〜P8の頂点の平均値を奥行き
座標にしてもよい.また、ブロックに三角形の2頂点が
内在し、他の1頂点がブロックの外にある場合には、外
の頂点も入れて計算してもよく、頂点の平均値の求め方
には種々の方法がある.画面上のブロックと重なる3次
元形状モデルにおける3角形を求め、その3角形を構成
する頂点における奥行き座標の平均値をブロックの奥行
き座標とするものである. (実施例2) 第5図は、本発明による第2の実施例を説明するための
動画像の動き検出装置のブロック図である。実施例2は
、対象物体が画像間で大きく動く場合についても対処で
きるようにしたものである.第5図において、9は対象
物検出部である。対象物検出部9では、画像メモリ1か
ら読み出された入力画像と遅延部2から読み出された前
フレーム画像を用いて、対象物の大まかな形状、位置及
び向きを検出し、これによってオフセットを決め、その
上で実施例lを利用して正確な動きパラメータを推定す
るものである.対象物検出方法としては、例えば、入力
画像から前フレーム画像を減算し動領域判定を行い、こ
の結果を基に対象物の大まかな位置を求める方法、ある
いは、入力画像に対して2値化処理や微分処理を施すこ
とにより対象物の大まかな形状、位置や向きを求める方
法もある。
(実施例3)
第6図は、本発明による第3の実施例であり動画像の動
き検出装置のブロック図である.実施例3は実施例1に
おいて、対象物体の要素の一部に形状変化がある場合で
も、3次元動き推定と形状変化の検出ができるようにし
たものである.第6図において、10は要素の特徴点の
位置を抽出する特徴点抽出部、l1は3次元形状モデル
変形部である.他は、実施例lと同様である。3次元動
きパラメータ推定部5での結果を基にして3次元形状モ
デル操作部6で得られた操作後の3次元形状モデルを用
い、特徴点抽出部10においては、まず対象物体の要素
を構成する特徴点の存在範囲を予測する.予測の仕方と
しては、例えば操作後の3次元形状モデルにおける特徴
点を囲む矩形領域を予測範囲とする。次に、予測された
範囲内を探索して特徴点を抽出する。抽出方法としては
、例えば、前記矩形領域内をある値で2値化処理するこ
とにより特徴点を抽出する方法などがある.また、微分
処理等のエッジ検出手法を前記領域内に適用し特徴点を
求めることもできる.顔動画像においては、眼や口部分
の開閉の検出が対象なる.(実施例4) 第7図は、本発明による第4の実施例であり、動画像の
動き検出装置のブロック図である.実施例4は対象3次
元物体に関する3次元形状モデルの形状と特に奥行き座
標が正確に得られていない場合において、形状モデルの
修正を行いながら物体の3次元動き推定と形状の変化の
検出を行うことができる手段を実施例1に追加したもの
である。
き検出装置のブロック図である.実施例3は実施例1に
おいて、対象物体の要素の一部に形状変化がある場合で
も、3次元動き推定と形状変化の検出ができるようにし
たものである.第6図において、10は要素の特徴点の
位置を抽出する特徴点抽出部、l1は3次元形状モデル
変形部である.他は、実施例lと同様である。3次元動
きパラメータ推定部5での結果を基にして3次元形状モ
デル操作部6で得られた操作後の3次元形状モデルを用
い、特徴点抽出部10においては、まず対象物体の要素
を構成する特徴点の存在範囲を予測する.予測の仕方と
しては、例えば操作後の3次元形状モデルにおける特徴
点を囲む矩形領域を予測範囲とする。次に、予測された
範囲内を探索して特徴点を抽出する。抽出方法としては
、例えば、前記矩形領域内をある値で2値化処理するこ
とにより特徴点を抽出する方法などがある.また、微分
処理等のエッジ検出手法を前記領域内に適用し特徴点を
求めることもできる.顔動画像においては、眼や口部分
の開閉の検出が対象なる.(実施例4) 第7図は、本発明による第4の実施例であり、動画像の
動き検出装置のブロック図である.実施例4は対象3次
元物体に関する3次元形状モデルの形状と特に奥行き座
標が正確に得られていない場合において、形状モデルの
修正を行いながら物体の3次元動き推定と形状の変化の
検出を行うことができる手段を実施例1に追加したもの
である。
第7図において、12は画像合成部、13はずれ検出部
、14はモデル形状修正制御部、15は3次元形状モデ
ル修正情報発生部であり、その他は第1図と同様である
.画像合成部12では、3次元形状モデル操作部6から
送られてきた操作後の3次元形状モデルに対し前フレー
ム画像における濃淡情報を用いて画像を合成する.ずれ
検出部l3では、画像合成部12で合成された画像と入
力画像とのずれを求める.ずれの求め方としては、例え
ば両画像間の2乗誤差計算等を用いればよい。
、14はモデル形状修正制御部、15は3次元形状モデ
ル修正情報発生部であり、その他は第1図と同様である
.画像合成部12では、3次元形状モデル操作部6から
送られてきた操作後の3次元形状モデルに対し前フレー
ム画像における濃淡情報を用いて画像を合成する.ずれ
検出部l3では、画像合成部12で合成された画像と入
力画像とのずれを求める.ずれの求め方としては、例え
ば両画像間の2乗誤差計算等を用いればよい。
形状モデル修正制御部14では、ずれ検出部13で求め
られたずれから、操作後の3次元形状モデルが入力画像
中における対象物の形状と整合しているかどうかを判定
し、この結果により操作後の3次元形状モデルの形状を
修正するかどうかを制御する.判定の基準としては、例
えば、ずれが予め決めておいた値を超えるかどうかによ
り、操作後の3次元形状モデルを修正するかどうか決定
する.3次元形状モデル修正情報発生部l5では、ずれ
検出部13で求めたずれを基にして操作後の3次元形状
モデルの形状修正情報を発生する。例えば、3次元形状
モデルの形杖を構成する頂点における奥行き座標の修正
等に関する情報がこれにあたる.この3次元形状モデル
の形状修正情報は、3次元形状モデル格納部7に送られ
、3次元形状モデルにおける対応する部分の形状が修正
される.具体的には、3次元形状モデルの形状を構成す
る頂点の奥行き座標を大きくしたり、小さくしたりする
ことにより修正を行う。この結果は、3次元形状モデル
格納部7に格納されると同時に画像合成部12へ人力さ
れ、上記の一連の処理が繰り返される.この処理は、モ
デル形状修正制御部l4において、ずれが予め決められ
た値以下になるまで繰り返される。
られたずれから、操作後の3次元形状モデルが入力画像
中における対象物の形状と整合しているかどうかを判定
し、この結果により操作後の3次元形状モデルの形状を
修正するかどうかを制御する.判定の基準としては、例
えば、ずれが予め決めておいた値を超えるかどうかによ
り、操作後の3次元形状モデルを修正するかどうか決定
する.3次元形状モデル修正情報発生部l5では、ずれ
検出部13で求めたずれを基にして操作後の3次元形状
モデルの形状修正情報を発生する。例えば、3次元形状
モデルの形杖を構成する頂点における奥行き座標の修正
等に関する情報がこれにあたる.この3次元形状モデル
の形状修正情報は、3次元形状モデル格納部7に送られ
、3次元形状モデルにおける対応する部分の形状が修正
される.具体的には、3次元形状モデルの形状を構成す
る頂点の奥行き座標を大きくしたり、小さくしたりする
ことにより修正を行う。この結果は、3次元形状モデル
格納部7に格納されると同時に画像合成部12へ人力さ
れ、上記の一連の処理が繰り返される.この処理は、モ
デル形状修正制御部l4において、ずれが予め決められ
た値以下になるまで繰り返される。
なお、本発明は例えば実施例2と実施例3または実施例
2と実施例4を組み合わせた構成も可能である。
2と実施例4を組み合わせた構成も可能である。
(発明の効果)
以上のように、本発明により、対象物に関する3次元形
状モデルを用いることにより、従来の方式に比べ、より
簡単にしかも少ないメモリサイズで、3次元物体の3次
元的な動きを正確に推定をすることができる. 画像間において、対象物体が大きく動く場合においても
、入力画像に対して、例えば動領域判定や2値化処理及
びエッジ検出を用いて対象物体の大まかな形状と位置及
び向きを認識することにより、3次元的な動き検出を可
能にしている。
状モデルを用いることにより、従来の方式に比べ、より
簡単にしかも少ないメモリサイズで、3次元物体の3次
元的な動きを正確に推定をすることができる. 画像間において、対象物体が大きく動く場合においても
、入力画像に対して、例えば動領域判定や2値化処理及
びエッジ検出を用いて対象物体の大まかな形状と位置及
び向きを認識することにより、3次元的な動き検出を可
能にしている。
また、求めた3次元動きパラメータを対象物全体の大ま
かな動きの予測として用いることにより、対象物の要素
の一部の形状が徐々に変形する場合においても、全体的
な動きと部分的な形状の変化を検出することが可能とな
る。
かな動きの予測として用いることにより、対象物の要素
の一部の形状が徐々に変形する場合においても、全体的
な動きと部分的な形状の変化を検出することが可能とな
る。
さらに、対象に関する.3次元形状モデルがあまり正確
でない場合においては、3次元動きパラメータ推定部で
の推定結果に基づいて画像合成を行い、この合成画像と
入力画像とのずれを求め、このずれが小さくなるように
3次元形状モデルを修正を行うことにより、対象に関す
る3次元的な動き検出を行いながら、対象物体に関する
3次元形状モデルを徐々に画像中の3次元物体の形状に
近づけていくことが可能となる。
でない場合においては、3次元動きパラメータ推定部で
の推定結果に基づいて画像合成を行い、この合成画像と
入力画像とのずれを求め、このずれが小さくなるように
3次元形状モデルを修正を行うことにより、対象に関す
る3次元的な動き検出を行いながら、対象物体に関する
3次元形状モデルを徐々に画像中の3次元物体の形状に
近づけていくことが可能となる。
このように本発明は、物体の3次元的な動きの推定を必
要とする様々な分野、例えばロボットビジョン、動画像
の理解・認識等あるいは送受信側双方で対象物に関する
3次元形状モデルを用意して、モデルの変形情報の伝送
のみにより動画像を符号化するという知的動画像符号化
方式における、対象物の3次元的な動きの推定及び形状
の変化の検出等に適用可能であり、その効果が極めて大
である.
要とする様々な分野、例えばロボットビジョン、動画像
の理解・認識等あるいは送受信側双方で対象物に関する
3次元形状モデルを用意して、モデルの変形情報の伝送
のみにより動画像を符号化するという知的動画像符号化
方式における、対象物の3次元的な動きの推定及び形状
の変化の検出等に適用可能であり、その効果が極めて大
である.
第1図は本発明による第1の実施例としての動画像の動
き検出装置のブロック図、第2図は本発明に用いる顔に
関する3次元形状モデル図、第3図は本発明において奥
行座標計算部で用いるブロック内の3次元形状モデルの
三角形図、第4図は本発明に用いる奥行き座標計算部の
ブロック図、第5図は本発明の第2の実施例としての動
画像の動き検出装置のブロック図、第6図は本発明の第
3の実施例としての動画像の動き検出装置のブロック図
、第7図は本発明の第4の実施例としての動画像の動き
検出装置のブロック図、第8図は従来の速度ベクトル検
出法の一例として反復勾配法による検出手法の基本的な
原理を示したフレーム図、第9図は従来のブロック単位
の速度ベクトル図、第10図は従来の動画像の動き検出
装置のブロック図である。 1・・・画像メモリ、2・・・遅延部、3・・・ブロッ
ク分割部、4・・・速度ベクトル検出部、5・・・3次
元動きパラメータ推定部、6・・・3次元形状モデル操
作部、7・・・3次元形状モデル格納部、8・・・奥行
き座標計算部、9・・・対象物検出部、10・・・特徴
点抽出部、11・・・3次元モデル変形部、12・・・
画像合成部、l3・・・ずれ検出部、工4・・・モデル
形状修正制御部、15・・・3次元形状モデル修正情報
部、81・・・三角形検出部、82・・・頂点座標の算
出部、83・・・奥行き座標検出部。
き検出装置のブロック図、第2図は本発明に用いる顔に
関する3次元形状モデル図、第3図は本発明において奥
行座標計算部で用いるブロック内の3次元形状モデルの
三角形図、第4図は本発明に用いる奥行き座標計算部の
ブロック図、第5図は本発明の第2の実施例としての動
画像の動き検出装置のブロック図、第6図は本発明の第
3の実施例としての動画像の動き検出装置のブロック図
、第7図は本発明の第4の実施例としての動画像の動き
検出装置のブロック図、第8図は従来の速度ベクトル検
出法の一例として反復勾配法による検出手法の基本的な
原理を示したフレーム図、第9図は従来のブロック単位
の速度ベクトル図、第10図は従来の動画像の動き検出
装置のブロック図である。 1・・・画像メモリ、2・・・遅延部、3・・・ブロッ
ク分割部、4・・・速度ベクトル検出部、5・・・3次
元動きパラメータ推定部、6・・・3次元形状モデル操
作部、7・・・3次元形状モデル格納部、8・・・奥行
き座標計算部、9・・・対象物検出部、10・・・特徴
点抽出部、11・・・3次元モデル変形部、12・・・
画像合成部、l3・・・ずれ検出部、工4・・・モデル
形状修正制御部、15・・・3次元形状モデル修正情報
部、81・・・三角形検出部、82・・・頂点座標の算
出部、83・・・奥行き座標検出部。
Claims (8)
- (1)3次元的な動きを有する3次元物体を含む動画像
に対して、時間的に連続する2枚のフレーム画像からブ
ロック単位で速度ベクトルを求めて、前記3次元物体の
3次元的な動きの検出を行う動画像の動き検出方法にお
いて、 対象となる3次元物体の立体形状に対応した3次元形状
モデルを予め蓄積しておく過程と、前記速度ベクトルを
求めたブロックに対応する前記3次元形状モデルから奥
行き情報を求める過程と、 該求められた奥行き情報と前記速度ベクトル情報とから
前記3次元物体の3次元的な動きパラメータを求めて前
記3次元物体の3次元的な動き検出を行う過程と を含むことを特徴とする動画像の動き検出方法。 - (2)3次元的な動きを有する3次元物体を含む動画像
に対して、時間的に連続する2枚のフレーム画像からブ
ロック単位で速度ベクトルを求めて、前記3次元物体の
3次元的な動きの検出を行う動画像の動き検出方法にお
いて、 対象となる3次元物体の立体形状に対応した3次元形状
モデルを予め蓄積しておく過程と、前記速度ベクトルを
求めたブロックに対応する前記3次元形状モデルから奥
行き情報を求める過程と、 該求められた奥行き情報と前記速度ベクトル情報とから
前記3次元物体の3次元的な動きパラメータを求めて前
記3次元物体の3次元的な動き検出を行う過程と、 前記入力画像と前記一つ前のフレーム画像とから前記3
次元物体の大まかな動きを検出して予め前記3次元物体
の大まかな動きを調整する調整過程と を含むことを特徴とする動画像の動き検出方法。 - (3)前記求められた3次元動きパラメータから前記3
次元物体のおおまかな動きを予測し、該予測結果で与え
られる位置の周辺で形状が変化する要素である特徴点の
検出を行ない、該検出結果に基づき前記3次元形状モデ
ルにおける前記要素部分に対応する前記3次元形状モデ
ルの形状を変形させる特徴点検出過程と をさらに含むことを特徴とする特許請求の範囲第2項記
載の動画像の動き検出方法。 - (4)前記求められた3次元動きパラメータにより操作
された3次元形状モデルと前フレーム画像の濃淡情報か
ら画像を合成し、該画像と前記入力画像を比較してずれ
を求め、該ずれが小さくなるように前記3次元形状モデ
ルを修正する3次元形状モデル修正過程と をさらに含むことを特徴とする特許請求の範囲第2項記
載の動画像の動き検出方法。 - (5)3次元的な動きを有する3次元物体をテレビカメ
ラ等で撮影してディジタル化して得られた画像信号を入
力する画像信号入力端子と、 該入力画像信号を蓄えておくための画像メモリと、 前フレームにおける物体の3次元動き推定結果に対応す
る前記3次元物体の3次元形状モデルを格納する格納部
と、 前記画像メモリに蓄えられた3次元物体を含む画像を少
なくとも1フレーム期間以上遅延させる遅延部と、 該遅延部からの画像を複数のブロックに分割するブロッ
ク分割部と、 前記ブロックと前記画像メモリから読みだされた前記入
力画像間で前記3次元物体の速度ベクトルを求める速度
ベクトル検出部と、 前記前フレームにおける動き推定結果に対応する3次元
形状モデルを用いて前記ブロックの各々に対する奥行き
座標を求める奥行き座標計算部と、 前記速度ベクトルと前記ブロックの各々の奥行き座標か
ら画面間での前記3次元物体の3次元的動きパラメータ
(回転移動成分と平行移動成分)を求める3次元動きパ
ラメータ推定部と、該3次元動きパラメータ推定部の出
力に基づき前記3次元形状モデルを操作して前記3次元
物体の位置と向きに合わせる3次元形状モデル操作部と を備えたことを特徴とする動画像の動き検出装置。 - (6)前記画像メモリから読みだされた前記入力画像と
前記遅延部より読みだされた前記前フレームの画像とか
ら前記入力画像における前記3次元物体の大まかな形状
、位置及び向きを求める対象物検出部 を有することを特徴とする特許請求の範囲第5項記載の
動画像の動き検出装置。 - (7)前記物体の要素の一部に形状変化を伴う場合に、 前記操作後の3次元形状モデルから前記3次元物体にお
ける要素の特徴点の位置を抽出する特徴点抽出部と、 該抽出結果に基づき前記要素に対応する前記3次元形状
モデルの形状を変形させる3次元形状モデル変形部と を備えたことを特徴とする特許請求の範囲第5項記載の
動画像の動き検出装置。 - (8)前記前フレーム画像における濃淡情報と3次元形
状モデルとから前記3次元動きパラメータに対応した画
像を合成する画像合成部と、 該画像合成部から与えられる合成画像と前記入力画像を
比較して画像間のずれを求めるずれ検出部と、 該ずれが小さくなるように前記3次元モデルの形状の修
正情報を発生させる修正情報発生部と、 該修正情報に従って修正された3次元形状モデルを格納
する3次元形状モデル格納部と前記ずれが予め決められ
た値以下になるまで前記3次元形状モデルの形状の修正
を繰り返し行なわせる形状修正制御部と を有することを特徴とする特許請求の範囲第5項記載の
動画像の動き検出装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1059729A JP2523369B2 (ja) | 1989-03-14 | 1989-03-14 | 動画像の動き検出方法及びその装置 |
US07/489,004 US5173865A (en) | 1989-03-14 | 1990-03-06 | Method and apparatus for detecting motion of moving picture |
EP90302742A EP0388187B1 (en) | 1989-03-14 | 1990-03-14 | Method and apparatus for detecting motion of moving picture |
DE69032588T DE69032588T2 (de) | 1989-03-14 | 1990-03-14 | Verfahren und Gerät zur Bewegungserkennung eines sich bewegenden Bildes |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1059729A JP2523369B2 (ja) | 1989-03-14 | 1989-03-14 | 動画像の動き検出方法及びその装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH02239376A true JPH02239376A (ja) | 1990-09-21 |
JP2523369B2 JP2523369B2 (ja) | 1996-08-07 |
Family
ID=13121578
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP1059729A Expired - Fee Related JP2523369B2 (ja) | 1989-03-14 | 1989-03-14 | 動画像の動き検出方法及びその装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US5173865A (ja) |
EP (1) | EP0388187B1 (ja) |
JP (1) | JP2523369B2 (ja) |
DE (1) | DE69032588T2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0659010A (ja) * | 1992-08-07 | 1994-03-04 | Ricoh Co Ltd | 画像形成装置 |
JPH0659042A (ja) * | 1992-08-11 | 1994-03-04 | Ricoh Co Ltd | 画像形成装置 |
JPH07152927A (ja) * | 1993-11-30 | 1995-06-16 | Matsushita Electric Ind Co Ltd | 動画像生成装置 |
JP2006227739A (ja) * | 2005-02-15 | 2006-08-31 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4980762A (en) * | 1989-10-13 | 1990-12-25 | Massachusetts Institute Of Technology | Method and apparatus for image processing to obtain three dimensional motion and depth |
CA2114028C (en) * | 1991-07-23 | 1998-04-28 | Mark Andrew Shackleton | Method and device for frame interpolation of a moving image |
JP3093409B2 (ja) * | 1992-01-10 | 2000-10-03 | 富士通株式会社 | 3次元計測装置 |
US5991459A (en) * | 1992-01-22 | 1999-11-23 | Eastman Kodak Company | Method of modifying a time-varying image sequence by estimation of velocity vector fields |
US6118484A (en) * | 1992-05-22 | 2000-09-12 | Canon Kabushiki Kaisha | Imaging apparatus |
DE4335121A1 (de) * | 1993-10-17 | 1995-05-04 | Robert Prof Dr Ing Massen | Automatische Flächenrückführung bei optischen 3D Digitalisierer |
US5768404A (en) | 1994-04-13 | 1998-06-16 | Matsushita Electric Industrial Co., Ltd. | Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods |
KR970010094B1 (en) * | 1994-06-24 | 1997-06-21 | Korea Telecommunication | Improved motion vector extraction method |
US6662240B1 (en) * | 1996-05-08 | 2003-12-09 | Ncr Corporation | Automated configuration of computer accessories |
KR100297776B1 (ko) | 1998-06-23 | 2001-10-26 | 윤종용 | 영상신호복호시의움직임정보를이용한3차원신호처리장치 |
JP3688489B2 (ja) * | 1998-12-25 | 2005-08-31 | 株式会社東芝 | 画像認識方法および画像認識装置 |
JP3907891B2 (ja) * | 1999-11-11 | 2007-04-18 | 富士フイルム株式会社 | 画像撮像装置及び画像処理装置 |
DE60238109D1 (de) * | 2001-02-19 | 2010-12-09 | Honda Motor Co Ltd | Automatisches Zielerkennen mittels Vorlagenvergleich |
KR100443678B1 (ko) * | 2001-09-29 | 2004-08-09 | 엘지전자 주식회사 | 영상내의 오브젝트 영역 추출방법 |
EP2030558B1 (en) * | 2006-05-31 | 2017-05-03 | National University Corporation Chiba University | Three-dimensional image forming device, three-dimensional image forming method and program |
US8788096B1 (en) | 2010-05-17 | 2014-07-22 | Anybots 2.0, Inc. | Self-balancing robot having a shaft-mounted head |
US20120155727A1 (en) * | 2010-12-15 | 2012-06-21 | General Electric Company | Method and apparatus for providing motion-compensated images |
US10218955B2 (en) * | 2010-12-21 | 2019-02-26 | 3Shape A/S | Motion blur compensation |
US20140168424A1 (en) * | 2011-07-21 | 2014-06-19 | Ziv Attar | Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene |
US8908102B1 (en) * | 2013-09-03 | 2014-12-09 | Google Inc. | Generating and/or modifying motion compensation parameters for video stabilization |
CN109328373B (zh) * | 2017-09-28 | 2022-02-15 | 深圳配天智能技术研究院有限公司 | 图像处理方法及其相关设备、存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4825393A (en) * | 1986-04-23 | 1989-04-25 | Hitachi, Ltd. | Position measuring method |
JP2543505B2 (ja) * | 1986-07-22 | 1996-10-16 | 安川商事 株式会社 | 時空間微分法を用いた信号処理装置および計測装置 |
JP2540809B2 (ja) * | 1986-07-30 | 1996-10-09 | ソニー株式会社 | 高能率符号化装置 |
GB8701288D0 (en) * | 1987-01-21 | 1987-02-25 | Waldern J D | Perception of computer-generated imagery |
US4855932A (en) * | 1987-07-08 | 1989-08-08 | Lockheed Electronics Company | Three-dimensional electro-optical tracker |
US4959800A (en) * | 1988-05-20 | 1990-09-25 | Hughes Aircraft Company | Method and apparatus for determining the position and velocity of a target in inertial space |
-
1989
- 1989-03-14 JP JP1059729A patent/JP2523369B2/ja not_active Expired - Fee Related
-
1990
- 1990-03-06 US US07/489,004 patent/US5173865A/en not_active Expired - Lifetime
- 1990-03-14 DE DE69032588T patent/DE69032588T2/de not_active Expired - Fee Related
- 1990-03-14 EP EP90302742A patent/EP0388187B1/en not_active Expired - Lifetime
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0659010A (ja) * | 1992-08-07 | 1994-03-04 | Ricoh Co Ltd | 画像形成装置 |
JPH0659042A (ja) * | 1992-08-11 | 1994-03-04 | Ricoh Co Ltd | 画像形成装置 |
JPH07152927A (ja) * | 1993-11-30 | 1995-06-16 | Matsushita Electric Ind Co Ltd | 動画像生成装置 |
JP2006227739A (ja) * | 2005-02-15 | 2006-08-31 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
EP0388187A2 (en) | 1990-09-19 |
JP2523369B2 (ja) | 1996-08-07 |
US5173865A (en) | 1992-12-22 |
EP0388187B1 (en) | 1998-08-26 |
EP0388187A3 (en) | 1992-07-01 |
DE69032588D1 (de) | 1998-10-01 |
DE69032588T2 (de) | 1999-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH02239376A (ja) | 動画像の動き検出方法及びその装置 | |
Malciu et al. | A robust model-based approach for 3d head tracking in video sequences | |
Koch | Dynamic 3-D scene analysis through synthesis feedback control | |
US10789765B2 (en) | Three-dimensional reconstruction method | |
Newcombe et al. | Dynamicfusion: Reconstruction and tracking of non-rigid scenes in real-time | |
EP1364535B1 (en) | A method for compressing video information | |
JP2576771B2 (ja) | 動き補償予測装置 | |
JP3207461B2 (ja) | 3次元対象物のトラッキング方法及び装置 | |
KR100653288B1 (ko) | 비디오 화상으로부터의 얼굴 인식 | |
Jurie et al. | A simple and efficient template matching algorithm | |
KR101560508B1 (ko) | 3차원 이미지 모델 조정을 위한 방법 및 장치 | |
JPH11331874A (ja) | 画像処理装置、奥行き画像計測装置、複合現実感提示システム、画像処理方法、奥行き画像計測方法、複合現実感提示方法、およびプログラムの記憶媒体 | |
Nehvi et al. | Differentiable event stream simulator for non-rigid 3d tracking | |
CN111798486B (zh) | 基于人体运动预测的多视角人体运动捕捉方法 | |
Zarrouati et al. | SO (3)-invariant asymptotic observers for dense depth field estimation based on visual data and known camera motion | |
Chen et al. | Optical flow estimation for motion-compensated compression | |
Yu et al. | Recursive three-dimensional model reconstruction based on Kalman filtering | |
JPH10116359A (ja) | カメラパラメータ演算装置及び画像合成装置 | |
Smolic et al. | Real-time estimation of long-term 3-D motion parameters for SNHC face animation and model-based coding applications | |
Cordea et al. | 3-D head pose recovery for interactive virtual reality avatars | |
JPH08149461A (ja) | 動画像処理装置とその方法 | |
Tangirala et al. | Object tracking in video using particle filtering | |
CN115546876B (zh) | 一种瞳孔追踪方法及装置 | |
KR20030070446A (ko) | 동영상의 영상합성장치 및 그 방법 | |
JPH08149458A (ja) | 動画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |