JPH02239376A - 動画像の動き検出方法及びその装置 - Google Patents
動画像の動き検出方法及びその装置Info
- Publication number
- JPH02239376A JPH02239376A JP1059729A JP5972989A JPH02239376A JP H02239376 A JPH02239376 A JP H02239376A JP 1059729 A JP1059729 A JP 1059729A JP 5972989 A JP5972989 A JP 5972989A JP H02239376 A JPH02239376 A JP H02239376A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- image
- motion
- shape model
- dimensional shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 29
- 239000013598 vector Substances 0.000 claims abstract description 38
- 238000001514 detection method Methods 0.000 claims description 56
- 238000012937 correction Methods 0.000 claims description 18
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 230000001934 delay Effects 0.000 claims description 2
- 239000000126 substance Substances 0.000 abstract 3
- 238000010586 diagram Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Complex Calculations (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
（発明の技術分野）
本発明は、テレビジョンカメラ等から連続して入力され
る動画像の符号化及び動画像の認識・理解に関わり、特
に、動画像中の３次元対象物体の３次元的な動き及び形
状変化を検出する方法及び装置に関するものである。
る動画像の符号化及び動画像の認識・理解に関わり、特
に、動画像中の３次元対象物体の３次元的な動き及び形
状変化を検出する方法及び装置に関するものである。
（従来技術）
動画像中における対象物体の３次元的な動きを解析する
こと、すなわち、３次元的な動きパラメータを検出する
ことは、頗動画像の知的画像符号化における送信側での
頭部の動き検出、テレビ電話等のための３次元動き補償
、ロボットビジョン等の分野において重要な技術である
． 従来より、時間的に連続する画像（フレーム）から、対
象とする物体の３次元動きパラメータを求めるための方
法として、画像間の見かけ上の速度ベクトルを用いて求
める方式が知られている。
こと、すなわち、３次元的な動きパラメータを検出する
ことは、頗動画像の知的画像符号化における送信側での
頭部の動き検出、テレビ電話等のための３次元動き補償
、ロボットビジョン等の分野において重要な技術である
． 従来より、時間的に連続する画像（フレーム）から、対
象とする物体の３次元動きパラメータを求めるための方
法として、画像間の見かけ上の速度ベクトルを用いて求
める方式が知られている。
じＯｎ ｔｈｅ ｃｏａ＋ｐｕｔａｔｉｏｎ ｏ
ｆ ｅｍｏｔｉｏｎ ｆｒｏｍ ｓｅｑｕｅｎｃ
ａｓ ｏｆ ｉｍａｇｅｓ − Ａ ｒｅｖｉｅｗ”．
Ｐｒｏｃ．ＩＥＢＥ．Ｖｏｌ．７６＋Ｎｏ．８，ｐＰ
９１７−９３５．Ａｕｇ．１９８８． ）ここでは、入
力画像（現フレーム）と前フレーム画像（１フレーム期
間前の画像）との間で、速度ベクトルを、ブロック単位
で求めている．速度ベクトルを求める方法としては、ブ
ロックマッチング法や反復勾配法などがある。第８図は
、従来の反復勾配法による速度ベクトル検出の原理を示
したものである．第９図は、一例として、ブロック単位
で画像間の速度ベクトルを矢印で示したものである．例
えば図中の斜線を施したブロックはｐ （ｘ ． ｙ）
からｐ’（ｘ’＋ｙ’）に移動したことを示してい
る。ここで、対象とする物体は剛体であるとし、平行投
影を仮定する．画像間での変化が微小であるものとすれ
ば、物体上の点ｐ（ｘ，ｙ．ｚ）ばｌフレーム期間後に
点ｐ’（ｘ’．ｙ’４’）に移動する．この時、点ｐと
ｐ′は（１）式で関係付けられる．物体上の複数の点に
対して、現フレームと前フレームでの座標を求めて（１
）式に代入して、（１）式をＲｘ，Ｒｙ．Ｒｚ＋Ｔｘ＋
Ｔｙ＋Ｔｚについて解くことにより、３次元な動きの推
定が行われる．具体的には、（１）式における回転運動
パラメータ（Ｒｘ，Ｒｙ，Ｉ？ｚ） 、平行運動パラメ
ータ（Ｔｘ．Ｔｙ．Ｔｚ）及び物体上の各点における奥
行き座標２を最小２乗法等を用いて推定する． 第１０図は、従来における画面間の速度ベクトルを用い
た物体の３次元的な動き検出を行うための動画像の動き
検出装置のブロック図を示したものである．第１０図に
おいて、ｌは画像メモリ、２は少なくとも１フレーム期
間以上の遅延を与える遅延部、３はブロック分割部、４
ほ連続する２枚の画像における速度ベクトル検出部、５
は速度ベクトルに基づく３次元的な動きパラメータの算
出をする３次元動きパラメータ推定部である．次に、各
部の動作を簡単に説明する。テレビジョンカメラ等から
入力されたディジタル画像は、まず画像メモリ１に蓄え
られる．遅延部２から１フレーム期間前の画像（前フレ
ーム）が読出され、ブロック分割部３でブロック単位に
分割される．速度ベクトル検出部４では、ブロック分割
部３よりブロック単位で読み出された前フレーム画像と
画像メモリ１から読出された現入力画像間で速度ベクト
ルを検出する．３次元動きパラメータ推定部５では、速
度ベクトル検出部４において検出された速度ベクトルか
ら式（１）を用いて、物体に関する３次元運動方程式を
立て、ｎｘｔＲｙ，Ｒｚ＋Ｔｘ＋ＴｙｔＴ．．ｚに関す
る非線形連立方程式を解き、物体に関する３次元動きパ
ラメータ及び各ブロックに対応する物体の奥行き座標を
求めている． （発明が解決しようとする課題） 従来の３次元動き推定法では、連続する２枚の画像間の
見かけ上の速度ベクトルに関する情報のみを用いて物体
の３次元動きパラメータを求めている。このため、物体
に関する奥行き座標を３次元動きパラメータを推定する
と同時に求める必要かあ−る．このため、３次元動きパ
ラメータ推定部において解くべき方程式は３次元物体の
回転移動を表すＲｘ， Ｒｙと奥行き座標を表す２の積
である非線形項（Ｒｙ−ｚ及びＲｘ−ｚ）を含む非線形
連立方程式となる。このため、解法が極めて困難になる
．また、３次元物体における奥行き座標を求める必要が
あるため、必要なメモリサイズが大きくなるという問題
がある．また、この方式では、対象とする物体として剛
体を前提としているため、頗動画像におけるように、剛
体（頭部）としての３次元的な動きの他に、眼や口のよ
うに形状の変化を伴う場合、これらの形状の変化をうま
く検出することができないという問題がある。従って、
従来では３次元的な動きの推定と形状変化の検出とを的
確に行うことができないという問題点があった。
ｆ ｅｍｏｔｉｏｎ ｆｒｏｍ ｓｅｑｕｅｎｃ
ａｓ ｏｆ ｉｍａｇｅｓ − Ａ ｒｅｖｉｅｗ”．
Ｐｒｏｃ．ＩＥＢＥ．Ｖｏｌ．７６＋Ｎｏ．８，ｐＰ
９１７−９３５．Ａｕｇ．１９８８． ）ここでは、入
力画像（現フレーム）と前フレーム画像（１フレーム期
間前の画像）との間で、速度ベクトルを、ブロック単位
で求めている．速度ベクトルを求める方法としては、ブ
ロックマッチング法や反復勾配法などがある。第８図は
、従来の反復勾配法による速度ベクトル検出の原理を示
したものである．第９図は、一例として、ブロック単位
で画像間の速度ベクトルを矢印で示したものである．例
えば図中の斜線を施したブロックはｐ （ｘ ． ｙ）
からｐ’（ｘ’＋ｙ’）に移動したことを示してい
る。ここで、対象とする物体は剛体であるとし、平行投
影を仮定する．画像間での変化が微小であるものとすれ
ば、物体上の点ｐ（ｘ，ｙ．ｚ）ばｌフレーム期間後に
点ｐ’（ｘ’．ｙ’４’）に移動する．この時、点ｐと
ｐ′は（１）式で関係付けられる．物体上の複数の点に
対して、現フレームと前フレームでの座標を求めて（１
）式に代入して、（１）式をＲｘ，Ｒｙ．Ｒｚ＋Ｔｘ＋
Ｔｙ＋Ｔｚについて解くことにより、３次元な動きの推
定が行われる．具体的には、（１）式における回転運動
パラメータ（Ｒｘ，Ｒｙ，Ｉ？ｚ） 、平行運動パラメ
ータ（Ｔｘ．Ｔｙ．Ｔｚ）及び物体上の各点における奥
行き座標２を最小２乗法等を用いて推定する． 第１０図は、従来における画面間の速度ベクトルを用い
た物体の３次元的な動き検出を行うための動画像の動き
検出装置のブロック図を示したものである．第１０図に
おいて、ｌは画像メモリ、２は少なくとも１フレーム期
間以上の遅延を与える遅延部、３はブロック分割部、４
ほ連続する２枚の画像における速度ベクトル検出部、５
は速度ベクトルに基づく３次元的な動きパラメータの算
出をする３次元動きパラメータ推定部である．次に、各
部の動作を簡単に説明する。テレビジョンカメラ等から
入力されたディジタル画像は、まず画像メモリ１に蓄え
られる．遅延部２から１フレーム期間前の画像（前フレ
ーム）が読出され、ブロック分割部３でブロック単位に
分割される．速度ベクトル検出部４では、ブロック分割
部３よりブロック単位で読み出された前フレーム画像と
画像メモリ１から読出された現入力画像間で速度ベクト
ルを検出する．３次元動きパラメータ推定部５では、速
度ベクトル検出部４において検出された速度ベクトルか
ら式（１）を用いて、物体に関する３次元運動方程式を
立て、ｎｘｔＲｙ，Ｒｚ＋Ｔｘ＋ＴｙｔＴ．．ｚに関す
る非線形連立方程式を解き、物体に関する３次元動きパ
ラメータ及び各ブロックに対応する物体の奥行き座標を
求めている． （発明が解決しようとする課題） 従来の３次元動き推定法では、連続する２枚の画像間の
見かけ上の速度ベクトルに関する情報のみを用いて物体
の３次元動きパラメータを求めている。このため、物体
に関する奥行き座標を３次元動きパラメータを推定する
と同時に求める必要かあ−る．このため、３次元動きパ
ラメータ推定部において解くべき方程式は３次元物体の
回転移動を表すＲｘ， Ｒｙと奥行き座標を表す２の積
である非線形項（Ｒｙ−ｚ及びＲｘ−ｚ）を含む非線形
連立方程式となる。このため、解法が極めて困難になる
．また、３次元物体における奥行き座標を求める必要が
あるため、必要なメモリサイズが大きくなるという問題
がある．また、この方式では、対象とする物体として剛
体を前提としているため、頗動画像におけるように、剛
体（頭部）としての３次元的な動きの他に、眼や口のよ
うに形状の変化を伴う場合、これらの形状の変化をうま
く検出することができないという問題がある。従って、
従来では３次元的な動きの推定と形状変化の検出とを的
確に行うことができないという問題点があった。
本発明は、上述した従来技術における問題点を解決する
ためになされたものであり、３次元的な動きの推定と形
状変化の検出を的確に行うことが可能な動画像の動き検
出方法及び装置を提供することにある． （発明の構成） 前記課題を解決するための本発明の第１の特徴は、３次
元な動きを有する３次元物体を含む動画像に対して、時
間的に連続する２枚の画像からブロック単位で速度ベク
トルを求めて、前記３次元物体の３次元的な動きの検出
を行う方式において、対象となる３次元物体の立体形状
に対応した３次元形状モデルを用意し、前フレーム画像
中における前記３次元物体と前記３次元形状モデルとが
重なる領域を求め、該領域を複数のブロックに分割し、
該ブロック単位に入力画像と前フレーム画像との間の速
度ベクトルを求め、また、該ブロックにおける奥行き情
報を前記３次元形状モデルより求め、更に以上により求
められた前記複数のブロックにおける速度ベクトルと奥
行き情報とから前記３次元物体の３次元的な動きパラメ
ータ、すなわち回転移動及び平行移動成分を求めて前記
３次元物体の３次元的な動き検出を行うことにある。
ためになされたものであり、３次元的な動きの推定と形
状変化の検出を的確に行うことが可能な動画像の動き検
出方法及び装置を提供することにある． （発明の構成） 前記課題を解決するための本発明の第１の特徴は、３次
元な動きを有する３次元物体を含む動画像に対して、時
間的に連続する２枚の画像からブロック単位で速度ベク
トルを求めて、前記３次元物体の３次元的な動きの検出
を行う方式において、対象となる３次元物体の立体形状
に対応した３次元形状モデルを用意し、前フレーム画像
中における前記３次元物体と前記３次元形状モデルとが
重なる領域を求め、該領域を複数のブロックに分割し、
該ブロック単位に入力画像と前フレーム画像との間の速
度ベクトルを求め、また、該ブロックにおける奥行き情
報を前記３次元形状モデルより求め、更に以上により求
められた前記複数のブロックにおける速度ベクトルと奥
行き情報とから前記３次元物体の３次元的な動きパラメ
ータ、すなわち回転移動及び平行移動成分を求めて前記
３次元物体の３次元的な動き検出を行うことにある。
本発明の第２の特徴は、前記入力画像と必要に応じて前
記前フレーム画像とを用い、予め前記入力画像中におけ
る３次元物体のおおまかな形状、位置と向きを求め、こ
の結果を前記３次元動きパラメータの検出に用いること
にある． 本発明の第３の特徴は、前記３次元物体の要素の一部に
形状の変化がある場合、前記により検出された３次元動
きパラメータを前記３次元物体のおおまかな動きの予測
とし、該予測結果で与えられる位置の周辺で要素の形状
を構成する特徴点の検出を行ない、前記要素の形状変化
を検出すると共に、該検出結果に基づき前記３次元形状
モデルにおける前記要素部分に対応する前記３次元形状
モデルの形状を変形することにある。
記前フレーム画像とを用い、予め前記入力画像中におけ
る３次元物体のおおまかな形状、位置と向きを求め、こ
の結果を前記３次元動きパラメータの検出に用いること
にある． 本発明の第３の特徴は、前記３次元物体の要素の一部に
形状の変化がある場合、前記により検出された３次元動
きパラメータを前記３次元物体のおおまかな動きの予測
とし、該予測結果で与えられる位置の周辺で要素の形状
を構成する特徴点の検出を行ない、前記要素の形状変化
を検出すると共に、該検出結果に基づき前記３次元形状
モデルにおける前記要素部分に対応する前記３次元形状
モデルの形状を変形することにある。
本発明の第４の特徴は、前記３次元物体に関する前記３
次元形状モデルの形状が正確でない場合において、前記
３次元動きパラメータと、前記前フレーム画像における
濃淡情報を用いて、前記３次元動きパラメータに対応し
た分だけ物体を動かした状態での画像を合成し、該合成
画像と前記入力画像を比較してずれを求め、該ずれが小
さくなるように前記３次元形状モデルの形状に対する修
正情報を発生させ、該修正情報に基づき前記３次元形状
モデルの形状を修正を施し、該修正された３次元形状モ
デルと、前フレーム画像における濃淡情報から再び画像
を合成し、該合成画像と前記入力画像とのずれを求め、
該ずれが予め決められた値以下になるまで前記モデルの
修正と前記画像合成を繰り返し行い、前記３次元形状モ
デルの形状を修正することにある． なお、以下では対象となる物体の３次元形状を表現する
ための３次元形状モデル例として、第２図に示す多数の
三角形の組合せによりできている人物頭部を例にとる。
次元形状モデルの形状が正確でない場合において、前記
３次元動きパラメータと、前記前フレーム画像における
濃淡情報を用いて、前記３次元動きパラメータに対応し
た分だけ物体を動かした状態での画像を合成し、該合成
画像と前記入力画像を比較してずれを求め、該ずれが小
さくなるように前記３次元形状モデルの形状に対する修
正情報を発生させ、該修正情報に基づき前記３次元形状
モデルの形状を修正を施し、該修正された３次元形状モ
デルと、前フレーム画像における濃淡情報から再び画像
を合成し、該合成画像と前記入力画像とのずれを求め、
該ずれが予め決められた値以下になるまで前記モデルの
修正と前記画像合成を繰り返し行い、前記３次元形状モ
デルの形状を修正することにある． なお、以下では対象となる物体の３次元形状を表現する
ための３次元形状モデル例として、第２図に示す多数の
三角形の組合せによりできている人物頭部を例にとる。
（実施例１）
第１図は、本発明の第工の実施例を説明するための動画
像の動き検出装置のブロック図である。
像の動き検出装置のブロック図である。
図において、１は入力画像を蓄える画像メモリ、２は少
なくなくとも１フレーム期間以上遅延させる遅延部、３
は画像をブロック単位に分割するブロック分割部、４は
速度ベクトル検出部、５は３次元動きパラメータ推定部
、６は第２図に示した３次元形状モデルの形状等を調整
する３次元形状モデル操作部、７は操作後の３次元形状
モデルの格納をする３次元形状モデル格納部、８は奥行
き座標計算部であり、画像メモリｌから３次元動きパラ
メータ推定部５までは従来の構成と同一である． 次に各部の動作について説明する。ブロック分割部３で
は、遅延部２から入力された前フレームの画像をブロッ
クに分割して、速度ベクトル検出部４に入力する．速度
ベクトル検出部４では、画像メモリ１から読みだされた
入力画像と前フレーム画像との間でブロック単位で速度
ベクトルを求める。３次元動きパラメータ推定部５では
、速度ベクトル検出部４でブロック単位に求めた速度ベ
クトル及び奥行き座標計算部８より入力されたそのブロ
ックに対応する奥行き座標から式（１）を基にして３次
元物体に関する運動方程式を立てる．この方程式は、先
に述べた従来方式の場合とは異なり非線形項（Ｒｘ．ｚ
及びＲｙ，ｚ）を含んでおらず３次元動きパラメータ（
回転運動パラメータとしてＲｘ．Ｒｙ．Ｒｚ，平行運動
パラメータとしてＴｘ．Ｔｙ．Ｔｚ）を変数とする線形
連立方程式となる．このため、従来技術による方法に比
べ簡単に３次元動きパラメータを求めることができる．
３次元形状モデル操作部６では、前フレーム画像におけ
る３次元物体に対応する例えば第２図の３次元形状モデ
ルに対して、３次元動きパラメータを操作させてモデル
の形状、位置及び向きを入力画像に合わせる．この結果
得られる３次元形状モデルを３次元形状モデル格納部７
に格納する．奥行き座標計算部８では、速度ベクトル検
出部４からのブロックと重なり合う３次元形状モデルを
構成する複数の３角形を構成する頂点における奥行き座
標から対応するブロックの奥行き座標を求める。第３図
及び第４図は、本発明による対応するブロックの奥行き
座標の求め方の一例を示したものである。
なくなくとも１フレーム期間以上遅延させる遅延部、３
は画像をブロック単位に分割するブロック分割部、４は
速度ベクトル検出部、５は３次元動きパラメータ推定部
、６は第２図に示した３次元形状モデルの形状等を調整
する３次元形状モデル操作部、７は操作後の３次元形状
モデルの格納をする３次元形状モデル格納部、８は奥行
き座標計算部であり、画像メモリｌから３次元動きパラ
メータ推定部５までは従来の構成と同一である． 次に各部の動作について説明する。ブロック分割部３で
は、遅延部２から入力された前フレームの画像をブロッ
クに分割して、速度ベクトル検出部４に入力する．速度
ベクトル検出部４では、画像メモリ１から読みだされた
入力画像と前フレーム画像との間でブロック単位で速度
ベクトルを求める。３次元動きパラメータ推定部５では
、速度ベクトル検出部４でブロック単位に求めた速度ベ
クトル及び奥行き座標計算部８より入力されたそのブロ
ックに対応する奥行き座標から式（１）を基にして３次
元物体に関する運動方程式を立てる．この方程式は、先
に述べた従来方式の場合とは異なり非線形項（Ｒｘ．ｚ
及びＲｙ，ｚ）を含んでおらず３次元動きパラメータ（
回転運動パラメータとしてＲｘ．Ｒｙ．Ｒｚ，平行運動
パラメータとしてＴｘ．Ｔｙ．Ｔｚ）を変数とする線形
連立方程式となる．このため、従来技術による方法に比
べ簡単に３次元動きパラメータを求めることができる．
３次元形状モデル操作部６では、前フレーム画像におけ
る３次元物体に対応する例えば第２図の３次元形状モデ
ルに対して、３次元動きパラメータを操作させてモデル
の形状、位置及び向きを入力画像に合わせる．この結果
得られる３次元形状モデルを３次元形状モデル格納部７
に格納する．奥行き座標計算部８では、速度ベクトル検
出部４からのブロックと重なり合う３次元形状モデルを
構成する複数の３角形を構成する頂点における奥行き座
標から対応するブロックの奥行き座標を求める。第３図
及び第４図は、本発明による対応するブロックの奥行き
座標の求め方の一例を示したものである。
第３図では、ブロック分割部３によって分割されたブロ
ック内にある３次元形状モデルの三角形の頂点がＰ１〜
Ｐ８の８個ある場合の例を示している。
ック内にある３次元形状モデルの三角形の頂点がＰ１〜
Ｐ８の８個ある場合の例を示している。
まず、第４図の奥行き座標計算部８内の三角形検出部８
ｌで三角形（Ａｌ〜Ａ７）を検出する。次に、頂点座標
の算出部８２では、三角形ＡＩの各頂点Ｐｌ，Ｐ２及び
Ｐ８の座標を抽出する。抽出された座標のうち奥行き座
標（例えばＺ軸の座標）だけの平均値を奥行き座標算出
部８３で求める。さらにこれを他の三角形（Ａ２〜Ａ７
）についても求め、全体の平均値をブロックの奥行座標
とする。
ｌで三角形（Ａｌ〜Ａ７）を検出する。次に、頂点座標
の算出部８２では、三角形ＡＩの各頂点Ｐｌ，Ｐ２及び
Ｐ８の座標を抽出する。抽出された座標のうち奥行き座
標（例えばＺ軸の座標）だけの平均値を奥行き座標算出
部８３で求める。さらにこれを他の三角形（Ａ２〜Ａ７
）についても求め、全体の平均値をブロックの奥行座標
とする。
なお、上述の説明では三角形（Ａｔ−Ａ７）毎の各頂点
を求めたが、単純にＰ１〜Ｐ８の頂点の平均値を奥行き
座標にしてもよい．また、ブロックに三角形の２頂点が
内在し、他の１頂点がブロックの外にある場合には、外
の頂点も入れて計算してもよく、頂点の平均値の求め方
には種々の方法がある．画面上のブロックと重なる３次
元形状モデルにおける３角形を求め、その３角形を構成
する頂点における奥行き座標の平均値をブロックの奥行
き座標とするものである． （実施例２） 第５図は、本発明による第２の実施例を説明するための
動画像の動き検出装置のブロック図である。実施例２は
、対象物体が画像間で大きく動く場合についても対処で
きるようにしたものである．第５図において、９は対象
物検出部である。対象物検出部９では、画像メモリ１か
ら読み出された入力画像と遅延部２から読み出された前
フレーム画像を用いて、対象物の大まかな形状、位置及
び向きを検出し、これによってオフセットを決め、その
上で実施例ｌを利用して正確な動きパラメータを推定す
るものである．対象物検出方法としては、例えば、入力
画像から前フレーム画像を減算し動領域判定を行い、こ
の結果を基に対象物の大まかな位置を求める方法、ある
いは、入力画像に対して２値化処理や微分処理を施すこ
とにより対象物の大まかな形状、位置や向きを求める方
法もある。
を求めたが、単純にＰ１〜Ｐ８の頂点の平均値を奥行き
座標にしてもよい．また、ブロックに三角形の２頂点が
内在し、他の１頂点がブロックの外にある場合には、外
の頂点も入れて計算してもよく、頂点の平均値の求め方
には種々の方法がある．画面上のブロックと重なる３次
元形状モデルにおける３角形を求め、その３角形を構成
する頂点における奥行き座標の平均値をブロックの奥行
き座標とするものである． （実施例２） 第５図は、本発明による第２の実施例を説明するための
動画像の動き検出装置のブロック図である。実施例２は
、対象物体が画像間で大きく動く場合についても対処で
きるようにしたものである．第５図において、９は対象
物検出部である。対象物検出部９では、画像メモリ１か
ら読み出された入力画像と遅延部２から読み出された前
フレーム画像を用いて、対象物の大まかな形状、位置及
び向きを検出し、これによってオフセットを決め、その
上で実施例ｌを利用して正確な動きパラメータを推定す
るものである．対象物検出方法としては、例えば、入力
画像から前フレーム画像を減算し動領域判定を行い、こ
の結果を基に対象物の大まかな位置を求める方法、ある
いは、入力画像に対して２値化処理や微分処理を施すこ
とにより対象物の大まかな形状、位置や向きを求める方
法もある。
（実施例３）
第６図は、本発明による第３の実施例であり動画像の動
き検出装置のブロック図である．実施例３は実施例１に
おいて、対象物体の要素の一部に形状変化がある場合で
も、３次元動き推定と形状変化の検出ができるようにし
たものである．第６図において、１０は要素の特徴点の
位置を抽出する特徴点抽出部、ｌ１は３次元形状モデル
変形部である．他は、実施例ｌと同様である。３次元動
きパラメータ推定部５での結果を基にして３次元形状モ
デル操作部６で得られた操作後の３次元形状モデルを用
い、特徴点抽出部１０においては、まず対象物体の要素
を構成する特徴点の存在範囲を予測する．予測の仕方と
しては、例えば操作後の３次元形状モデルにおける特徴
点を囲む矩形領域を予測範囲とする。次に、予測された
範囲内を探索して特徴点を抽出する。抽出方法としては
、例えば、前記矩形領域内をある値で２値化処理するこ
とにより特徴点を抽出する方法などがある．また、微分
処理等のエッジ検出手法を前記領域内に適用し特徴点を
求めることもできる．顔動画像においては、眼や口部分
の開閉の検出が対象なる．（実施例４） 第７図は、本発明による第４の実施例であり、動画像の
動き検出装置のブロック図である．実施例４は対象３次
元物体に関する３次元形状モデルの形状と特に奥行き座
標が正確に得られていない場合において、形状モデルの
修正を行いながら物体の３次元動き推定と形状の変化の
検出を行うことができる手段を実施例１に追加したもの
である。
き検出装置のブロック図である．実施例３は実施例１に
おいて、対象物体の要素の一部に形状変化がある場合で
も、３次元動き推定と形状変化の検出ができるようにし
たものである．第６図において、１０は要素の特徴点の
位置を抽出する特徴点抽出部、ｌ１は３次元形状モデル
変形部である．他は、実施例ｌと同様である。３次元動
きパラメータ推定部５での結果を基にして３次元形状モ
デル操作部６で得られた操作後の３次元形状モデルを用
い、特徴点抽出部１０においては、まず対象物体の要素
を構成する特徴点の存在範囲を予測する．予測の仕方と
しては、例えば操作後の３次元形状モデルにおける特徴
点を囲む矩形領域を予測範囲とする。次に、予測された
範囲内を探索して特徴点を抽出する。抽出方法としては
、例えば、前記矩形領域内をある値で２値化処理するこ
とにより特徴点を抽出する方法などがある．また、微分
処理等のエッジ検出手法を前記領域内に適用し特徴点を
求めることもできる．顔動画像においては、眼や口部分
の開閉の検出が対象なる．（実施例４） 第７図は、本発明による第４の実施例であり、動画像の
動き検出装置のブロック図である．実施例４は対象３次
元物体に関する３次元形状モデルの形状と特に奥行き座
標が正確に得られていない場合において、形状モデルの
修正を行いながら物体の３次元動き推定と形状の変化の
検出を行うことができる手段を実施例１に追加したもの
である。
第７図において、１２は画像合成部、１３はずれ検出部
、１４はモデル形状修正制御部、１５は３次元形状モデ
ル修正情報発生部であり、その他は第１図と同様である
．画像合成部１２では、３次元形状モデル操作部６から
送られてきた操作後の３次元形状モデルに対し前フレー
ム画像における濃淡情報を用いて画像を合成する．ずれ
検出部ｌ３では、画像合成部１２で合成された画像と入
力画像とのずれを求める．ずれの求め方としては、例え
ば両画像間の２乗誤差計算等を用いればよい。
、１４はモデル形状修正制御部、１５は３次元形状モデ
ル修正情報発生部であり、その他は第１図と同様である
．画像合成部１２では、３次元形状モデル操作部６から
送られてきた操作後の３次元形状モデルに対し前フレー
ム画像における濃淡情報を用いて画像を合成する．ずれ
検出部ｌ３では、画像合成部１２で合成された画像と入
力画像とのずれを求める．ずれの求め方としては、例え
ば両画像間の２乗誤差計算等を用いればよい。
形状モデル修正制御部１４では、ずれ検出部１３で求め
られたずれから、操作後の３次元形状モデルが入力画像
中における対象物の形状と整合しているかどうかを判定
し、この結果により操作後の３次元形状モデルの形状を
修正するかどうかを制御する．判定の基準としては、例
えば、ずれが予め決めておいた値を超えるかどうかによ
り、操作後の３次元形状モデルを修正するかどうか決定
する．３次元形状モデル修正情報発生部ｌ５では、ずれ
検出部１３で求めたずれを基にして操作後の３次元形状
モデルの形状修正情報を発生する。例えば、３次元形状
モデルの形杖を構成する頂点における奥行き座標の修正
等に関する情報がこれにあたる．この３次元形状モデル
の形状修正情報は、３次元形状モデル格納部７に送られ
、３次元形状モデルにおける対応する部分の形状が修正
される．具体的には、３次元形状モデルの形状を構成す
る頂点の奥行き座標を大きくしたり、小さくしたりする
ことにより修正を行う。この結果は、３次元形状モデル
格納部７に格納されると同時に画像合成部１２へ人力さ
れ、上記の一連の処理が繰り返される．この処理は、モ
デル形状修正制御部ｌ４において、ずれが予め決められ
た値以下になるまで繰り返される。
られたずれから、操作後の３次元形状モデルが入力画像
中における対象物の形状と整合しているかどうかを判定
し、この結果により操作後の３次元形状モデルの形状を
修正するかどうかを制御する．判定の基準としては、例
えば、ずれが予め決めておいた値を超えるかどうかによ
り、操作後の３次元形状モデルを修正するかどうか決定
する．３次元形状モデル修正情報発生部ｌ５では、ずれ
検出部１３で求めたずれを基にして操作後の３次元形状
モデルの形状修正情報を発生する。例えば、３次元形状
モデルの形杖を構成する頂点における奥行き座標の修正
等に関する情報がこれにあたる．この３次元形状モデル
の形状修正情報は、３次元形状モデル格納部７に送られ
、３次元形状モデルにおける対応する部分の形状が修正
される．具体的には、３次元形状モデルの形状を構成す
る頂点の奥行き座標を大きくしたり、小さくしたりする
ことにより修正を行う。この結果は、３次元形状モデル
格納部７に格納されると同時に画像合成部１２へ人力さ
れ、上記の一連の処理が繰り返される．この処理は、モ
デル形状修正制御部ｌ４において、ずれが予め決められ
た値以下になるまで繰り返される。
なお、本発明は例えば実施例２と実施例３または実施例
２と実施例４を組み合わせた構成も可能である。
２と実施例４を組み合わせた構成も可能である。
（発明の効果）
以上のように、本発明により、対象物に関する３次元形
状モデルを用いることにより、従来の方式に比べ、より
簡単にしかも少ないメモリサイズで、３次元物体の３次
元的な動きを正確に推定をすることができる． 画像間において、対象物体が大きく動く場合においても
、入力画像に対して、例えば動領域判定や２値化処理及
びエッジ検出を用いて対象物体の大まかな形状と位置及
び向きを認識することにより、３次元的な動き検出を可
能にしている。
状モデルを用いることにより、従来の方式に比べ、より
簡単にしかも少ないメモリサイズで、３次元物体の３次
元的な動きを正確に推定をすることができる． 画像間において、対象物体が大きく動く場合においても
、入力画像に対して、例えば動領域判定や２値化処理及
びエッジ検出を用いて対象物体の大まかな形状と位置及
び向きを認識することにより、３次元的な動き検出を可
能にしている。
また、求めた３次元動きパラメータを対象物全体の大ま
かな動きの予測として用いることにより、対象物の要素
の一部の形状が徐々に変形する場合においても、全体的
な動きと部分的な形状の変化を検出することが可能とな
る。
かな動きの予測として用いることにより、対象物の要素
の一部の形状が徐々に変形する場合においても、全体的
な動きと部分的な形状の変化を検出することが可能とな
る。
さらに、対象に関する．３次元形状モデルがあまり正確
でない場合においては、３次元動きパラメータ推定部で
の推定結果に基づいて画像合成を行い、この合成画像と
入力画像とのずれを求め、このずれが小さくなるように
３次元形状モデルを修正を行うことにより、対象に関す
る３次元的な動き検出を行いながら、対象物体に関する
３次元形状モデルを徐々に画像中の３次元物体の形状に
近づけていくことが可能となる。
でない場合においては、３次元動きパラメータ推定部で
の推定結果に基づいて画像合成を行い、この合成画像と
入力画像とのずれを求め、このずれが小さくなるように
３次元形状モデルを修正を行うことにより、対象に関す
る３次元的な動き検出を行いながら、対象物体に関する
３次元形状モデルを徐々に画像中の３次元物体の形状に
近づけていくことが可能となる。
このように本発明は、物体の３次元的な動きの推定を必
要とする様々な分野、例えばロボットビジョン、動画像
の理解・認識等あるいは送受信側双方で対象物に関する
３次元形状モデルを用意して、モデルの変形情報の伝送
のみにより動画像を符号化するという知的動画像符号化
方式における、対象物の３次元的な動きの推定及び形状
の変化の検出等に適用可能であり、その効果が極めて大
である．
要とする様々な分野、例えばロボットビジョン、動画像
の理解・認識等あるいは送受信側双方で対象物に関する
３次元形状モデルを用意して、モデルの変形情報の伝送
のみにより動画像を符号化するという知的動画像符号化
方式における、対象物の３次元的な動きの推定及び形状
の変化の検出等に適用可能であり、その効果が極めて大
である．
第１図は本発明による第１の実施例としての動画像の動
き検出装置のブロック図、第２図は本発明に用いる顔に
関する３次元形状モデル図、第３図は本発明において奥
行座標計算部で用いるブロック内の３次元形状モデルの
三角形図、第４図は本発明に用いる奥行き座標計算部の
ブロック図、第５図は本発明の第２の実施例としての動
画像の動き検出装置のブロック図、第６図は本発明の第
３の実施例としての動画像の動き検出装置のブロック図
、第７図は本発明の第４の実施例としての動画像の動き
検出装置のブロック図、第８図は従来の速度ベクトル検
出法の一例として反復勾配法による検出手法の基本的な
原理を示したフレーム図、第９図は従来のブロック単位
の速度ベクトル図、第１０図は従来の動画像の動き検出
装置のブロック図である。 １・・・画像メモリ、２・・・遅延部、３・・・ブロッ
ク分割部、４・・・速度ベクトル検出部、５・・・３次
元動きパラメータ推定部、６・・・３次元形状モデル操
作部、７・・・３次元形状モデル格納部、８・・・奥行
き座標計算部、９・・・対象物検出部、１０・・・特徴
点抽出部、１１・・・３次元モデル変形部、１２・・・
画像合成部、ｌ３・・・ずれ検出部、工４・・・モデル
形状修正制御部、１５・・・３次元形状モデル修正情報
部、８１・・・三角形検出部、８２・・・頂点座標の算
出部、８３・・・奥行き座標検出部。
き検出装置のブロック図、第２図は本発明に用いる顔に
関する３次元形状モデル図、第３図は本発明において奥
行座標計算部で用いるブロック内の３次元形状モデルの
三角形図、第４図は本発明に用いる奥行き座標計算部の
ブロック図、第５図は本発明の第２の実施例としての動
画像の動き検出装置のブロック図、第６図は本発明の第
３の実施例としての動画像の動き検出装置のブロック図
、第７図は本発明の第４の実施例としての動画像の動き
検出装置のブロック図、第８図は従来の速度ベクトル検
出法の一例として反復勾配法による検出手法の基本的な
原理を示したフレーム図、第９図は従来のブロック単位
の速度ベクトル図、第１０図は従来の動画像の動き検出
装置のブロック図である。 １・・・画像メモリ、２・・・遅延部、３・・・ブロッ
ク分割部、４・・・速度ベクトル検出部、５・・・３次
元動きパラメータ推定部、６・・・３次元形状モデル操
作部、７・・・３次元形状モデル格納部、８・・・奥行
き座標計算部、９・・・対象物検出部、１０・・・特徴
点抽出部、１１・・・３次元モデル変形部、１２・・・
画像合成部、ｌ３・・・ずれ検出部、工４・・・モデル
形状修正制御部、１５・・・３次元形状モデル修正情報
部、８１・・・三角形検出部、８２・・・頂点座標の算
出部、８３・・・奥行き座標検出部。
Claims (8)
- （１）３次元的な動きを有する３次元物体を含む動画像
に対して、時間的に連続する２枚のフレーム画像からブ
ロック単位で速度ベクトルを求めて、前記３次元物体の
３次元的な動きの検出を行う動画像の動き検出方法にお
いて、 対象となる３次元物体の立体形状に対応した３次元形状
モデルを予め蓄積しておく過程と、前記速度ベクトルを
求めたブロックに対応する前記３次元形状モデルから奥
行き情報を求める過程と、 該求められた奥行き情報と前記速度ベクトル情報とから
前記３次元物体の３次元的な動きパラメータを求めて前
記３次元物体の３次元的な動き検出を行う過程と を含むことを特徴とする動画像の動き検出方法。 - （２）３次元的な動きを有する３次元物体を含む動画像
に対して、時間的に連続する２枚のフレーム画像からブ
ロック単位で速度ベクトルを求めて、前記３次元物体の
３次元的な動きの検出を行う動画像の動き検出方法にお
いて、 対象となる３次元物体の立体形状に対応した３次元形状
モデルを予め蓄積しておく過程と、前記速度ベクトルを
求めたブロックに対応する前記３次元形状モデルから奥
行き情報を求める過程と、 該求められた奥行き情報と前記速度ベクトル情報とから
前記３次元物体の３次元的な動きパラメータを求めて前
記３次元物体の３次元的な動き検出を行う過程と、 前記入力画像と前記一つ前のフレーム画像とから前記３
次元物体の大まかな動きを検出して予め前記３次元物体
の大まかな動きを調整する調整過程と を含むことを特徴とする動画像の動き検出方法。 - （３）前記求められた３次元動きパラメータから前記３
次元物体のおおまかな動きを予測し、該予測結果で与え
られる位置の周辺で形状が変化する要素である特徴点の
検出を行ない、該検出結果に基づき前記３次元形状モデ
ルにおける前記要素部分に対応する前記３次元形状モデ
ルの形状を変形させる特徴点検出過程と をさらに含むことを特徴とする特許請求の範囲第２項記
載の動画像の動き検出方法。 - （４）前記求められた３次元動きパラメータにより操作
された３次元形状モデルと前フレーム画像の濃淡情報か
ら画像を合成し、該画像と前記入力画像を比較してずれ
を求め、該ずれが小さくなるように前記３次元形状モデ
ルを修正する３次元形状モデル修正過程と をさらに含むことを特徴とする特許請求の範囲第２項記
載の動画像の動き検出方法。 - （５）３次元的な動きを有する３次元物体をテレビカメ
ラ等で撮影してディジタル化して得られた画像信号を入
力する画像信号入力端子と、 該入力画像信号を蓄えておくための画像メモリと、 前フレームにおける物体の３次元動き推定結果に対応す
る前記３次元物体の３次元形状モデルを格納する格納部
と、 前記画像メモリに蓄えられた３次元物体を含む画像を少
なくとも１フレーム期間以上遅延させる遅延部と、 該遅延部からの画像を複数のブロックに分割するブロッ
ク分割部と、 前記ブロックと前記画像メモリから読みだされた前記入
力画像間で前記３次元物体の速度ベクトルを求める速度
ベクトル検出部と、 前記前フレームにおける動き推定結果に対応する３次元
形状モデルを用いて前記ブロックの各々に対する奥行き
座標を求める奥行き座標計算部と、 前記速度ベクトルと前記ブロックの各々の奥行き座標か
ら画面間での前記３次元物体の３次元的動きパラメータ
（回転移動成分と平行移動成分）を求める３次元動きパ
ラメータ推定部と、該３次元動きパラメータ推定部の出
力に基づき前記３次元形状モデルを操作して前記３次元
物体の位置と向きに合わせる３次元形状モデル操作部と を備えたことを特徴とする動画像の動き検出装置。 - （６）前記画像メモリから読みだされた前記入力画像と
前記遅延部より読みだされた前記前フレームの画像とか
ら前記入力画像における前記３次元物体の大まかな形状
、位置及び向きを求める対象物検出部 を有することを特徴とする特許請求の範囲第５項記載の
動画像の動き検出装置。 - （７）前記物体の要素の一部に形状変化を伴う場合に、 前記操作後の３次元形状モデルから前記３次元物体にお
ける要素の特徴点の位置を抽出する特徴点抽出部と、 該抽出結果に基づき前記要素に対応する前記３次元形状
モデルの形状を変形させる３次元形状モデル変形部と を備えたことを特徴とする特許請求の範囲第５項記載の
動画像の動き検出装置。 - （８）前記前フレーム画像における濃淡情報と３次元形
状モデルとから前記３次元動きパラメータに対応した画
像を合成する画像合成部と、 該画像合成部から与えられる合成画像と前記入力画像を
比較して画像間のずれを求めるずれ検出部と、 該ずれが小さくなるように前記３次元モデルの形状の修
正情報を発生させる修正情報発生部と、 該修正情報に従って修正された３次元形状モデルを格納
する３次元形状モデル格納部と前記ずれが予め決められ
た値以下になるまで前記３次元形状モデルの形状の修正
を繰り返し行なわせる形状修正制御部と を有することを特徴とする特許請求の範囲第５項記載の
動画像の動き検出装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1059729A JP2523369B2 (ja) | 1989-03-14 | 1989-03-14 | 動画像の動き検出方法及びその装置 |
| US07/489,004 US5173865A (en) | 1989-03-14 | 1990-03-06 | Method and apparatus for detecting motion of moving picture |
| EP90302742A EP0388187B1 (en) | 1989-03-14 | 1990-03-14 | Method and apparatus for detecting motion of moving picture |
| DE69032588T DE69032588T2 (de) | 1989-03-14 | 1990-03-14 | Verfahren und Gerät zur Bewegungserkennung eines sich bewegenden Bildes |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1059729A JP2523369B2 (ja) | 1989-03-14 | 1989-03-14 | 動画像の動き検出方法及びその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02239376A true JPH02239376A (ja) | 1990-09-21 |
| JP2523369B2 JP2523369B2 (ja) | 1996-08-07 |
Family
ID=13121578
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1059729A Expired - Fee Related JP2523369B2 (ja) | 1989-03-14 | 1989-03-14 | 動画像の動き検出方法及びその装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5173865A (ja) |
| EP (1) | EP0388187B1 (ja) |
| JP (1) | JP2523369B2 (ja) |
| DE (1) | DE69032588T2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0659010A (ja) * | 1992-08-07 | 1994-03-04 | Ricoh Co Ltd | 画像形成装置 |
| JPH0659042A (ja) * | 1992-08-11 | 1994-03-04 | Ricoh Co Ltd | 画像形成装置 |
| JPH07152927A (ja) * | 1993-11-30 | 1995-06-16 | Matsushita Electric Ind Co Ltd | 動画像生成装置 |
| JP2006227739A (ja) * | 2005-02-15 | 2006-08-31 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4980762A (en) * | 1989-10-13 | 1990-12-25 | Massachusetts Institute Of Technology | Method and apparatus for image processing to obtain three dimensional motion and depth |
| CA2114028C (en) * | 1991-07-23 | 1998-04-28 | Mark Andrew Shackleton | Method and device for frame interpolation of a moving image |
| JP3093409B2 (ja) * | 1992-01-10 | 2000-10-03 | 富士通株式会社 | ３次元計測装置 |
| US5991459A (en) * | 1992-01-22 | 1999-11-23 | Eastman Kodak Company | Method of modifying a time-varying image sequence by estimation of velocity vector fields |
| US6118484A (en) * | 1992-05-22 | 2000-09-12 | Canon Kabushiki Kaisha | Imaging apparatus |
| DE4335121A1 (de) * | 1993-10-17 | 1995-05-04 | Robert Prof Dr Ing Massen | Automatische Flächenrückführung bei optischen 3D Digitalisierer |
| US5768404A (en) | 1994-04-13 | 1998-06-16 | Matsushita Electric Industrial Co., Ltd. | Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods |
| KR970010094B1 (en) * | 1994-06-24 | 1997-06-21 | Korea Telecommunication | Improved motion vector extraction method |
| US6662240B1 (en) * | 1996-05-08 | 2003-12-09 | Ncr Corporation | Automated configuration of computer accessories |
| KR100297776B1 (ko) | 1998-06-23 | 2001-10-26 | 윤종용 | 영상신호복호시의움직임정보를이용한3차원신호처리장치 |
| JP3688489B2 (ja) * | 1998-12-25 | 2005-08-31 | 株式会社東芝 | 画像認識方法および画像認識装置 |
| JP3907891B2 (ja) * | 1999-11-11 | 2007-04-18 | 富士フイルム株式会社 | 画像撮像装置及び画像処理装置 |
| DE60238109D1 (de) * | 2001-02-19 | 2010-12-09 | Honda Motor Co Ltd | Automatisches Zielerkennen mittels Vorlagenvergleich |
| KR100443678B1 (ko) * | 2001-09-29 | 2004-08-09 | 엘지전자 주식회사 | 영상내의 오브젝트 영역 추출방법 |
| EP2030558B1 (en) * | 2006-05-31 | 2017-05-03 | National University Corporation Chiba University | Three-dimensional image forming device, three-dimensional image forming method and program |
| US8788096B1 (en) | 2010-05-17 | 2014-07-22 | Anybots 2.0, Inc. | Self-balancing robot having a shaft-mounted head |
| US20120155727A1 (en) * | 2010-12-15 | 2012-06-21 | General Electric Company | Method and apparatus for providing motion-compensated images |
| US10218955B2 (en) * | 2010-12-21 | 2019-02-26 | 3Shape A/S | Motion blur compensation |
| US20140168424A1 (en) * | 2011-07-21 | 2014-06-19 | Ziv Attar | Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene |
| US8908102B1 (en) * | 2013-09-03 | 2014-12-09 | Google Inc. | Generating and/or modifying motion compensation parameters for video stabilization |
| CN109328373B (zh) * | 2017-09-28 | 2022-02-15 | 深圳配天智能技术研究院有限公司 | 图像处理方法及其相关设备、存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4825393A (en) * | 1986-04-23 | 1989-04-25 | Hitachi, Ltd. | Position measuring method |
| JP2543505B2 (ja) * | 1986-07-22 | 1996-10-16 | 安川商事 株式会社 | 時空間微分法を用いた信号処理装置および計測装置 |
| JP2540809B2 (ja) * | 1986-07-30 | 1996-10-09 | ソニー株式会社 | 高能率符号化装置 |
| GB8701288D0 (en) * | 1987-01-21 | 1987-02-25 | Waldern J D | Perception of computer-generated imagery |
| US4855932A (en) * | 1987-07-08 | 1989-08-08 | Lockheed Electronics Company | Three-dimensional electro-optical tracker |
| US4959800A (en) * | 1988-05-20 | 1990-09-25 | Hughes Aircraft Company | Method and apparatus for determining the position and velocity of a target in inertial space |
-
1989
- 1989-03-14 JP JP1059729A patent/JP2523369B2/ja not_active Expired - Fee Related
-
1990
- 1990-03-06 US US07/489,004 patent/US5173865A/en not_active Expired - Lifetime
- 1990-03-14 DE DE69032588T patent/DE69032588T2/de not_active Expired - Fee Related
- 1990-03-14 EP EP90302742A patent/EP0388187B1/en not_active Expired - Lifetime
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0659010A (ja) * | 1992-08-07 | 1994-03-04 | Ricoh Co Ltd | 画像形成装置 |
| JPH0659042A (ja) * | 1992-08-11 | 1994-03-04 | Ricoh Co Ltd | 画像形成装置 |
| JPH07152927A (ja) * | 1993-11-30 | 1995-06-16 | Matsushita Electric Ind Co Ltd | 動画像生成装置 |
| JP2006227739A (ja) * | 2005-02-15 | 2006-08-31 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0388187A2 (en) | 1990-09-19 |
| JP2523369B2 (ja) | 1996-08-07 |
| US5173865A (en) | 1992-12-22 |
| EP0388187B1 (en) | 1998-08-26 |
| EP0388187A3 (en) | 1992-07-01 |
| DE69032588D1 (de) | 1998-10-01 |
| DE69032588T2 (de) | 1999-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH02239376A (ja) | 動画像の動き検出方法及びその装置 | |
| Malciu et al. | A robust model-based approach for 3d head tracking in video sequences | |
| Koch | Dynamic 3-D scene analysis through synthesis feedback control | |
| US10789765B2 (en) | Three-dimensional reconstruction method | |
| Newcombe et al. | Dynamicfusion: Reconstruction and tracking of non-rigid scenes in real-time | |
| EP1364535B1 (en) | A method for compressing video information | |
| JP2576771B2 (ja) | 動き補償予測装置 | |
| JP3207461B2 (ja) | ３次元対象物のトラッキング方法及び装置 | |
| KR100653288B1 (ko) | 비디오 화상으로부터의 얼굴 인식 | |
| Jurie et al. | A simple and efficient template matching algorithm | |
| KR101560508B1 (ko) | 3차원 이미지 모델 조정을 위한 방법 및 장치 | |
| JPH11331874A (ja) | 画像処理装置、奥行き画像計測装置、複合現実感提示システム、画像処理方法、奥行き画像計測方法、複合現実感提示方法、およびプログラムの記憶媒体 | |
| Nehvi et al. | Differentiable event stream simulator for non-rigid 3d tracking | |
| CN111798486B (zh) | 基于人体运动预测的多视角人体运动捕捉方法 | |
| Zarrouati et al. | SO (3)-invariant asymptotic observers for dense depth field estimation based on visual data and known camera motion | |
| Chen et al. | Optical flow estimation for motion-compensated compression | |
| Yu et al. | Recursive three-dimensional model reconstruction based on Kalman filtering | |
| JPH10116359A (ja) | カメラパラメータ演算装置及び画像合成装置 | |
| Smolic et al. | Real-time estimation of long-term 3-D motion parameters for SNHC face animation and model-based coding applications | |
| Cordea et al. | 3-D head pose recovery for interactive virtual reality avatars | |
| JPH08149461A (ja) | 動画像処理装置とその方法 | |
| Tangirala et al. | Object tracking in video using particle filtering | |
| CN115546876B (zh) | 一种瞳孔追踪方法及装置 | |
| KR20030070446A (ko) | 동영상의 영상합성장치 및 그 방법 | |
| JPH08149458A (ja) | 動画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |