JP4852764B2 - 動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体 - Google Patents
動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4852764B2 JP4852764B2 JP2007506011A JP2007506011A JP4852764B2 JP 4852764 B2 JP4852764 B2 JP 4852764B2 JP 2007506011 A JP2007506011 A JP 2007506011A JP 2007506011 A JP2007506011 A JP 2007506011A JP 4852764 B2 JP4852764 B2 JP 4852764B2
- Authority
- JP
- Japan
- Prior art keywords
- movement amount
- dimensional
- tracking target
- motion
- estimated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【技術分野】
【０００１】
本発明は、カメラの撮影対象の動きを追跡するための動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
従来、人間の顔などを単眼カメラにより撮影した画像（撮影画像）に基づき、撮影対象物の定量的な動きを求めるために、撮影対象物を単純化した形状モデルを仮定し、撮影画像上の動きからそのモデルの動きを求めることが行われていた。
【０００３】
たとえば、人間の顔を撮影した画像からその顔の定量的な動きを求める場合、図７に示すように、人間の顔を平面的に表現したモデル（非特許文献１参照）や、人間の顔を円筒（非特許文献２参照）または楕円体（非特許文献３参照）とみなして表現したモデルが用いられていた。
【０００４】
また、この手法と同様に、単眼カメラで撮影した画像に基づき撮影対象の定量的な動きを求める際、たとえば正射影変換や弱透視変換を用いてカメラモデルを単純化することも行われていた。
【０００５】
さらに、単眼カメラではなくステレオカメラを用いて撮影した画像に基づき、撮影対象物の定量的な動きを求める場合もある（非特許文献４参照）。この場合、ステレオカメラの撮影画像から得られる撮影対象物の３次元的な座標値と、撮影対象物の３次元的なモデルとを、３次元空間中で直接フィッティングすることにより、撮影対象物の位置や姿勢を精度よく計測することができる。
非特許文献１：M.J. Black and Y. Yacoob. Tracking and recognizing rigid and non-rigid facial motions using local parametric models of image motions. ICCV, 1995.
非特許文献２：M.L.Cascia, S.Sclaroff and V.Athitsos: "Fast, Reliable Head Tracking under Varying Illumination: An Approach Based on Registration of Texture-Mapped 3D Models", IEEE PAMI,vol. 22, no.4, April 2000.
非特許文献３：S.Basu, I.Essa, A.Pentland: ”Motion Regularization for Model-Based Head Tracking”, Proceedings of the International Conference on Pattern Recognition (ICPR '96) Volume III-Volume 7276, p.611, August 25-29, 1996
非特許文献４：Yoshio Matsumoto, Alexander Zelinsky: “An Algorithm for Real-time Stereo Vision Implementation of Head Pose and Gaze Direction Measurement”, Proceedings of IEEE Fourth International Conference on Face and Gesture Recognition (FG'2000), pp.499-505, 2000.
非特許文献５：Tomasi, Kanade: “Shape and motion from image streams: a factorization method,” Technical Report CMU-CS-91-132, CMU, 1991
発明の開示
【０００６】
しかしながら、上述した従来技術には以下の問題点がある。
【０００７】
先ず、単眼カメラを用いて撮影対象物の動きを求める技術においては、撮影対象物を単純化したモデルを用いると、当該モデルが撮影対象物を単純化するものなので、動きの測定精度が低下してしまう。同様に、カメラモデルを単純化しても、動きの測定精度は低下する。
【０００８】
また、ステレオカメラは基本的に２つのレンズを有している。したがって、ステレオカメラを用いて撮影対象物の動きを求める技術では、２つのレンズ間の位置関係をキャリブレーションすることが、煩雑な作業となり得る。
【０００９】
また、ステレオカメラは、２つのレンズを有していることから、単眼カメラに比べてサイズが大きいだけでなく、高コストである。したがって、ステレオカメラを用いると、省スペース化および低コスト化の観点から問題が生じる。
【００１０】
本発明は、上記従来の問題に鑑みなされたものであって、低コストかつコンパクトな構成で撮影対象の動きを精度よく計測することができる動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体を提供することを目的としている。
【００１１】
本発明の動き計測装置は、上記従来の課題を解決するために、単眼カメラの撮影動画像から、トラッキング対象となるトラッキング対象画像を、該トラッキング対象の特徴点に基づき抽出するトラッキング対象画像抽出手段と、上記トラッキング対象画像のフレーム間での移動量を実移動量として算出する実移動量算出手段と、上記単眼カメラの撮影対象を３次元的に表現した３次元モデルを、２次元平面上に投影した投影像を生成する２次元平面投影手段と、上記３次元モデルが、該３次元モデルの運動に関する６つの自由度のそれぞれに対応する運動を行った場合に、６つの自由度のそれぞれについて、上記投影像のフレーム間での移動量を推定移動量として算出する推定移動量算出手段と、上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記トラッキング対象における、６つの自由度のそれぞれに対応する３次元的な動きの量を推定する３次元ずれ推定手段とを備えていることを特徴としている。
［００１２］
上記構成によれば、トラッキング対象画像抽出手段により抽出されたトラッキング対象画像に関する実移動量が、実移動量算出手段により算出される。一方で、２次元平面投影手段にて生成された３次元モデルの投影像から、推定移動量算出手段により推定移動量が算出される。
［００１３］
これらの実移動量および推定移動量は、単眼カメラの撮影対象に関してフレーム間での移動量を示す値である点において共通している。特に、実移動量は、単眼カメラの撮影動画像に基づき得られる値なので、トラッキング対象が現実に移動した量を２次元的に示す値として理解できる。また、推定移動量は、撮影対象の３次元モデルから算出される値であることから、トラッキング対象の移動を３次元的に示す値といえる。
［００１４］
よって、３次元ずれ推定手段により実移動量と推定移動量とをマッチングさせることで、現実の移動に即してトラッキング対象の３次元的な動きの量を推定することができる。しかも、本発明の動き計測装置は、撮影対象の３次元モデルを用いているので、精度よくトラッキング対象の動きの量を推定することができる。
また、３次元空間での運動は、基本的に６つの自由度により表現される。ここで、上記構成によれば、推定移動量算出手段は、３次元モデルが６つの自由度のそれぞれに関して運動を行った場合について推定移動量を算出するので、３次元モデルの３次元的な移動を的確に算出することができる。
よって、上記構成によれば、トラッキング対象の３次元的な動きをより正確に計測することができる。
さらに、上記３次元ずれ推定手段は、上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記動きの量を推定する。
上記構成によれば、実移動量と推定移動量とが一次方程式にて対応づけられているので、簡易な処理によりトラッキング対象の３次元的な動きの量を推定できる。よって、より効率的な処理でトラッキング対象の３次元的な動きを計測できる。
［００１５］
しかも、本発明によれば、単眼カメラを用いているので、コンパクトなスペースであってもトラッキング対象の３次元的な動きを低コストで計測することができる。
［００１６］
また、本発明の動き計測方法は、上記従来の課題を解決するために、単眼カメラの動撮影画像から、トラッキング対象となるトラッキング対象画像を、該トラッキング対象の特徴点に基づき抽出する第１ステップと、上記トラッキング対象画像のフレーム間での移動量を実移動量として算出する第２ステップと、上記単眼カメラの撮影対象を３次元的に表現した３次元モデルを、２次元平面上に投影した投影像を生成する第３ステップと、上記３次元モデルが、該３次元モデルの運動に関する６つの自由度のそれぞれに対応する運動を行った場合に、６つの自由度のそれぞれについて、上記投影像のフレーム間での移動量を推定移動量として算出する第４ステップと、上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記トラッキング対象における、６つの自由度のそれぞれに対応する３次元的な動きの量を推定する第５ステップとを備えていることを特徴としている。
［００１７］
上記構成の動き計測方法によれば、第１〜第５ステップにおいて、本発明の動き計測装置と同様の処理が実現されているので、本発明の動き計測装置と同様の作用効果を得ることができる。
［００１８］
本発明の動き計測装置によれば、撮影対象の３次元モデルを用いているので、精度よくトラッキング対象の動きの量を推定することができる。しかも、本発明によれば、単眼カメラを用いているので、コンパクトなスペースであってもトラッキング対象の３次元的な動きを低コストで計測することができる。
【図面の簡単な説明】
［００１９］
［図１］本発明の一実施形態に係るトラッキング装置の構成を示す図である。
［図２］図１のトラッキング装置における処理の流れを示すフローチャートである。
［図３］３次元モデルを２次元平面に投影する手順を説明する図である。
［図４］図１のトラッキング装置が用いる動きテーブルの構成を示す図である。
［図５］（ａ）は、実移動量を説明するための図であり、（ｂ）は、推定移動量を説明するための図である。
［図６］（ａ）〜（ｃ）は、図１のトラッキング装置のトラッキング精度の評価実験を説明するための図である。
［図７］従来の動き計測に用いられていた顔モデルを示す図である。
【符号の説明】
［００２０］
１ トラッキング装置（動き計測装置）
２ トラッキング対象画像抽出部（トラッキング対象画像抽出手段）
３ ２次元平面投影部（２次元平面投影手段）
４ 微小動き生成部（推定移動量算出手段）
６ ２次元ずれ算出部（実移動量算出手段）
７ ３次元ずれ推定部（３次元ずれ推定手段）
８ 撮影対象動き計測部
１０ 撮影対象
【発明を実施するための最良の形態】
【００２１】
〔１．装置構成の概要〕
先ず、本発明の一実施形態に係るトラッキング装置（動き計測装置）の構成について、図１を用いて説明する。本実施形態のトラッキング装置１は、図１に示すように、トラッキング対象画像抽出部（トラッキング対象画像抽出手段）２と、２次元平面投影部（２次元平面投影手段）３と、微小動き生成部（推定移動量算出手段）４と、記憶部５と、２次元ずれ算出部（実移動量算出手段）６と、３次元ずれ推定部（３次元ずれ推定手段）７と、撮影対象動き計測部８とを備えている。
【００２２】
トラッキング対象画像抽出部２は、単眼カメラ９により撮影された撮影対象１０の動画像（撮影画像）から、撮影対象中で追跡の対象（トラッキング対象）となる部分の画像（トラッキング対象画像）を抽出するとともに、該トラッキング対象画像における特徴点を異なるフレーム間で追跡するものである。なお、特徴点とは、画像を特徴づける座標のことであり、人間の顔の画像であれば、目尻・目頭・口元・鼻等の位置を示す座標が特徴点に相当する。
【００２３】
このトラッキング対象画像抽出部２における処理は、種々の画像特徴抽出処理を用いることができる。たとえば、撮影対象が人間であり、トラッキング対象が人間の顔である場合において、トラッキング対象画像を抽出する処理は、目・口・鼻等の顔において特徴のある部分を撮影画像内で認識する処理により実現することが可能である。なお、画像特徴抽出処理としてテンプレートマッチング法を用いた技術は、非特許文献４に記載されている。
【００２４】
２次元平面投影部３は、撮影対象１０の形状を３次元的に表現した形状モデル（以下、３次元モデル）の姿勢を、撮影対象１０の姿勢とフレーム毎に一致させ、その姿勢が一致された３次元モデルを２次元平面上に投影した像（以下、投影像）の座標を算出するものである。２次元平面投影部３による投影処理の詳細に関しては後述する。
【００２５】
なお、３次元モデルは、トラッキング装置１によりトラッキング対象の動きを求める前に、公知の手順を用いて予め作成されるものである。たとえば、ステレオカメラや３Ｄスキャナにより撮影対象を３次元的に計測することで、３次元モデルを構築することが可能である（非特許文献４参照）。また、単眼カメラを用いて撮影対象の特徴点を追跡することで、３次元モデルを構築することも可能である（非特許文献５参照）。
【００２６】
微小動き生成部４は、３次元モデルが基準動作を行った場合に、その３次元モデルの投影像の移動量を、Ｘ軸およびＹ軸方向のそれぞれに関して撮影画像のフレーム毎に算出するものである。なお、投影像の座標を求める処理は、２次元平面投影部３により実行されるものである。また、微小動き生成部４による移動量算出の処理の詳細は後述するものとし、以下の説明では、微小動き生成部４により算出される移動量を特に「推定移動量」として記載する。この推定移動量は、Ｘ軸およびＹ軸方向のそれぞれに関する移動距離を示すものであるから、ベクトルとして表現される。
【００２７】
ここで、「基準動作」とは、３次元空間内における３次元モデルの移動を表現するための６つの動作を意味している。すなわち、３次元空間を規定するＸ軸、Ｙ軸、およびＺ軸のそれぞれに関して、３次元モデルが微小な単位距離だけ平行移動する動作、および３次元モデルが微小な単位角度だけ回転する動作をここでは「基準動作」と記載している。なお、以下の説明においては、６つの基準動作を以下のように定義する。
【００２８】
「Ｘ軸並進」…３次元モデルがＸ軸に関して単位距離だけ平行移動する動作
「Ｙ軸並進」…３次元モデルがＹ軸に関して単位距離だけ平行移動する動作
「Ｚ軸並進」…３次元モデルがＺ軸に関して単位距離だけ平行移動する動作
「Ｘ軸回転」…３次元モデルがＸ軸に関して単位角度だけ回転する動作
「Ｙ軸回転」…３次元モデルがＹ軸に関して単位角度だけ回転する動作
「Ｚ軸回転」…３次元モデルがＺ軸に関して単位角度だけ回転する動作。
【００２９】
記憶部５は、２次元平面投影部３により算出された投影像の各座標と、基準動作と、微小動き生成部４により算出された２次元平面上の座標の移動量とを対応づけた動きテーブル（後述する）を記憶するものである。
【００３０】
２次元ずれ算出部６は、トラッキング対象画像における各特徴点の座標に関して、フレーム間における移動量を算出するものである。すなわち、２次元ずれ算出部６は、前フレームから現フレームまでの間に、トラッキング対象画像における各特徴点が実際に移動した距離を、Ｘ軸およびＹ軸方向のそれぞれに関して算出するものである。なお、以下の説明では２次元ずれ算出部６により算出される移動量を、「実移動量」として記載する。この実移動量は、Ｘ軸およびＹ軸方向のそれぞれに関する移動距離を示すものであるから、ベクトルとして表現される。
【００３１】
３次元ずれ推定部７は、記憶部５に記憶された動きテーブルから推定移動量を読み出すとともに、２次元ずれ算出部６により算出された実移動量とその推定移動量とを対応づけ、後述する手順によりトラッキング対象の３次元的な動きの量（３次元的ずれ）を推定するものである。
【００３２】
撮影対象動き計測部８は、３次元ずれ推定部７により推定されたトラッキング対象の３次元的ずれに基づき、撮影対象がどのような動作を行ったかを計測するものである。たとえばトラッキング対象が人間の顔であれば、撮影対象動き計測部８は、トラッキング対象の３次元的ずれに基づき、視線の移動・まばたき・口の開閉など、撮影対象である人間がどのような動作を行ったかを計測するものである。
【００３３】
上記構成のトラッキング装置１により、撮影対象の動きが計測されるまでの一連の処理を図２のフローチャートを用いて説明する。なお、以下では撮影対象１０が人間であり、トラッキング対象が人間の顔である場合について説明する。また、人間の顔の３次元モデルは、単に「３次元顔モデル」として記載する。
【００３４】
まず、トラッキング装置１によるトラッキング処理を行う前に、図２に示すように３次元顔モデルが構築される（ステップ１、以下単にステップをＳと記載する）。その後、トラッキング対象画像抽出部２により、単眼カメラ９で人間を撮影した画像から、その人間の顔の画像（顔画像）が、トラッキング対象画像として抽出される（Ｓ２）。
【００３５】
その後、２次元平面投影部３により、３次元顔モデルが２次元平面に投影される（Ｓ３）。そして、微小動き生成部４により、上記３次元顔モデルの推定移動量が算出される（Ｓ４）。
【００３６】
また、トラッキング対象画像抽出部２により、顔画像における特徴点が異なるフレーム間で追跡される（Ｓ５）。その後、２次元ずれ算出部６により、顔画像における特徴点の実移動量およびその信頼性が算出される（Ｓ６）。なお、Ｓ５およびＳ６の処理は、Ｓ３およびＳ４の処理が実行される前に行われてもよい。
【００３７】
そして、Ｓ３〜Ｓ６の処理が終了したら、３次元ずれ推定部７により、トラッキング対象である人間の顔の３次元的ずれが算出される（Ｓ７）。そして、Ｓ７にて推定された３次元ずれに基づき、撮影対象動き計測部８により、視線の移動・まばたき・口の開閉など、人間がどのような動きを行ったかが計測される（Ｓ８）。
【００３８】
上記したＳ１〜Ｓ８の処理が完了することで、撮影対象である人間がどのように動いたかが、トラッキング装置１により判断される。以下では、トラッキング装置１における各ブロックの処理の詳細について、より具体的に説明する。
【００３９】
〔２．２次元平面投影部３における処理について〕
２次元平面投影部３により、３次元モデルを２次元平面に投影する手順について説明する。図３に示すように、ＸＹＺ軸で規定される３次元空間内に、３次元モデルを投影する２次元平面を原点からの距離がｆの平面として想定する。なお、この３次元空間の原点は、単眼カメラ９の焦点としてみなせるものである。また、原点と２次元平面との距離ｆは、単眼カメラ９の焦点距離としてみなせるものである。
【００４０】
ここで、カメラのモデルとしてピンホールカメラモデルを用いた場合、投影方法は透視変換になり、３次元モデル上の任意の位置における座標（ｘ，ｙ，ｚ）に対応する投影像上の座標を（ｕ，ｖ）とすると、以下の式（１）に基づき座標（ｕ，ｖ）を求めることができる。
【００４１】
ｕ＝ｆ×ｘ／Ｚ ｖ＝ｆ×ｙ／Ｚ …式（１）
そして、上記の座標（ｘ，ｙ，ｚ）を３次元モデル上の座標として適宜変更していき、座標（ｕ，ｖ）を式（１）に基づき算出することにより、投影像全体の座標を求める処理が完了する。
【００４２】
〔３．微小動き生成部４における処理について〕
微小動き生成部４により、３次元モデルに対応する投影像の推定移動量を算出する手順について以下に説明する。
【００４３】
先ず、微小動き生成部４は、前フレームにおける３次元モデルの特徴点が、投影像上においてどのような座標で表現されるかを求める。たとえば、３次元モデルにおける２つの特徴点を点Ａおよび点Ｂとするなら、微小動き生成部４は、点Ａに対応する投影像上の座標を（ｘａ，ｙａ）として求め、点Ｂに対応する投影像上の座標を（ｘｂ，ｙｂ）として求める。なお、これらの座標（ｘａ，ｙａ）および（ｘｂ，ｙｂ）は、前フレームでの点Ａおよび点Ｂのそれぞれに対応している。
【００４４】
そして、微小動き生成部４は、３次元モデルが基準動作を行った場合に、現フレームと前フレームとの間で特徴点の座標が２次元平面上でどれだけ移動するかを算出する。すなわち、微小動き生成部４は、上述した基準動作である「Ｘ軸並進」，「Ｙ軸並進」，「Ｚ軸並進」，「Ｘ軸回転」，「Ｙ軸回転」，および「Ｚ軸回転」のそれぞれを３次元モデルが行った場合に、各基準動作に対応する２次元平面上での特徴点の移動量を算出する。
【００４５】
さらに、微小動き生成部４は、このようにして求められた特徴点の推定移動量と、投影像における特徴点の前フレームでの座標と、基準動作とを対応づけた動きテーブルを作成し、この動きテーブルを記憶部５に記憶する。
【００４６】
ここで、動きテーブルの構成を図４に示す。図４に示すように、動きテーブルにおいては、投影像における特徴点の座標（ｘａ，ｙａ）および（ｘｂ，ｙｂ）のそれぞれが、６つの基準動作のそれぞれと、推定移動量とに対応づけられている。もちろん、動きテーブルに格納された特徴点の座標は、前フレームにおける座標である。
【００４７】
なお、動きテーブルは、フレーム毎に順次更新されていく。つまり、動きテーブルに格納された推定移動量が後述する３次元的ずれの推定処理に用いられたら、現フレームでの投影像における特徴点の座標が動きテーブルに格納される。そして、現フレームと次フレームとの間における推定移動量が、各基準動作に対応して微小動き生成部４により求められ、動きテーブルに格納される。
【００４８】
〔４．３次元ずれ推定部７における処理について〕
３次元ずれ推定部７によりトラッキング対象の３次元的ずれを推定する処理について以下に説明する。先ず、３次元ずれ推定部７は、記憶部５に記憶された動きテーブルを参照し、６つの基準動作に対応する推定移動量を読み出す。同時に、３次元ずれ推定部７は、２次元ずれ算出部６が算出した実移動量を取得する。
【００４９】
実移動量および推定移動量がどのようなものであるかは上述したとおりであるが、参考のため図５（ａ）および図５（ｂ）を用いて実移動量および推定移動量の説明を行う。
【００５０】
実移動量は、図５（ａ）に示すように、前フレームでの３次元モデル中の特徴点を２次元平面に投影した位置（図中●印で示す）と、現フレームでの３次元モデル中の特徴点を２次元平面に投影した位置（図中○印で示す）との間における移動距離を示すものである。一方、推定移動量は、図５（ｂ）に示すように、前フレームでの３次元モデル中の特徴点を２次元平面に投影した位置が、６つの基準動作のいずれかを行った場合にどのように移動するかを示すものである。
【００５１】
そして、３次元ずれ推定部７は、推定移動量と実移動量とを対応づけ、以下の一次方程式（２）における係数ａ１〜ａ６を求める。
【００５２】
（実移動量）＝ａ１×（Ｘ軸並進に対応する推定移動量）＋ａ２×（Ｙ軸並進に対応する推定移動量）＋ａ３×（Ｚ軸並進に対応する推定移動量）＋ａ４×（Ｘ軸回転に対応する推定移動量）＋ａ５×（Ｙ軸回転に対応する推定移動量）＋ａ６×（Ｚ軸回転に対応する推定移動量）…式（２）
なお、推定移動量は図４の動きテーブルに示したように、Ｘ軸およびＹ軸のそれぞれに関する特徴点の移動距離を示すベクトルとして表現される。つまり、１つの推定移動量には、２つのパラメータが含まれていることになる。一方で、式（２）における未知の係数（ａ１〜ａ６）は６つであるから、最低限３つの特徴点に関する推定移動量および実移動量が求められていれば、係数ａ１〜ａ６を算出することができる。なお、４つ以上の特徴点に関する実移動量および推定移動量が求められている場合には、最小自乗法等の補間方法を用いて係数ａ１〜ａ６を算出してもよい。
【００５３】
そして、この係数ａ１〜ａ６に基づき、トラッキング対象がどのように動いたかを判断することができる。すなわち、上述した６つの基準動作は、３次元モデルの動きが有する６つの自由度のそれぞれに対応している。したがって、係数ａ１〜ａ６を求めることにより、６つの自由度のそれぞれに関して３次元モデルがどのような割合で動いたかを求めることができる。
【００５４】
〔５．精度評価実験〕
本実施形態のトラッキング装置１に単眼カメラ９を適用した場合における、トラッキング精度の評価実験を行ったので以下に説明する。
【００５５】
先ず、トラッキング精度の評価実験を行うにあたって、図６（ａ）に示すように、撮影対象としてのマネキンの首をモータにより左右に振り、単眼カメラにてそのマネキンの首を撮影した。この際における単眼カメラによる撮影画像を図６（ｂ）に示す。なお、図６（ｂ）に示す画像においては、たとえば目頭や目尻付近の画像が小さな枠で囲まれている。これは、たとえば目頭付近の画像がトラッキング対象画像として抽出されていることを示している。
【００５６】
図６（ｃ）は、本実施形態のトラッキング装置１によるトラッキング精度を、ステレオカメラを用いた場合のトラッキング精度と対比して示すグラフである。なお、図６（ｃ）においては、本実施形態のトラッキング装置１に単眼カメラを適用した場合のトラッキング精度を実線にて示し、ステレオカメラを用いた場合のトラッキング精度を点線にて示している。また、トラッキング精度の理想値は１点鎖線にて示している。
【００５７】
図６（ｃ）に示すグラフから、単眼カメラによるトラッキング精度は、やはりステレオカメラのそれに対して劣ってはいるものの、マネキンの首振り角度の変化は単眼カメラを用いた場合でも十分トラッキングできていることがわかる。したがって、単眼カメラを本実施形態のトラッキング装置に適用すれば、実用上はステレオカメラを用いた場合と遜色のないトラッキング精度が得られる。
【００５８】
〔６．補足〕
このように、本実施形態のトラッキング装置１は、単眼カメラ９の撮影画像からトラッキング対象となるトラッキング対象画像を抽出するトラッキング対象画像抽出部２と、トラッキング対象画像のフレーム間での移動量を実移動量として算出する２次元ずれ算出部６と、単眼カメラ９の撮影対象を３次元的に表現した３次元モデルを、２次元平面上に投影した投影像を生成する２次元平面投影部３と、投影像のフレーム間での移動量を推定移動量として算出する微小動き生成部４と、上記実移動量と上記推定移動量とに基づき、トラッキング対象の３次元的な動きの量を推定する３次元ずれ推定部７とを備えている。
【００５９】
上記構成によれば、トラッキング対象画像抽出部２により抽出されたトラッキング対象画像に関する実移動量が、２次元ずれ算出部６により算出される。一方で、２次元平面投影部３にて生成された３次元モデルの投影像から、微小動き生成部４により推定移動量が算出される。
【００６０】
これらの実移動量および推定移動量は、単眼カメラ９の撮影対象に関してフレーム間での移動量を示す値である点において共通している。特に、実移動量は、単眼カメラ９の撮影画像に基づき得られる値なので、トラッキング対象が現実に移動した量を２次元的に示す値として理解できる。また、推定移動量は、撮影対象の３次元モデルから算出される値であることから、トラッキング対象の移動を３次元的に示す値といえる。
【００６１】
よって、３次元ずれ推定部７により実移動量と推定移動量とをマッチングさせることで、現実の移動に即してトラッキング対象の３次元的な動きの量を推定することができる。しかも、トラッキング装置１は、撮影対象の３次元モデルを用いているので、精度よくラッキング対象の動きの量を推定することができる。
【００６２】
しかも、トラッキング装置１は、単眼カメラ９を用いているので、コンパクトなスペースであってもトラッキング対象の３次元的な動きを低コストで計測することができる。
【００６３】
さらに、微小動き生成部４は、上記３次元モデルの運動に関する６つの自由度のそれぞれについて該３次元モデルが運動を行った場合における上記投影像の移動量を、上記推定移動量として算出するので、３次元モデルの３次元的な移動を的確に算出することができる。
【００６４】
さらに、３次元ずれ推定部７は、上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記動きの量を推定するので、簡易な処理によりトラッキング対象の３次元的な動きの量を推定できる。よって、より効率的な処理でトラッキング対象の３次元的な動きを計測できる。
【００６５】
なお、本実施形態のトラッキング装置１の各手段における処理手順は、ＣＰＵなどの演算手段が、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの記憶手段に記憶されたプログラムを実行し、キーボードなどの入力手段、ディスプレイなどの出力手段、あるいは、インターフェース回路などの通信手段を制御することにより実現することができる。
【００６６】
したがって、これらの手段を有するコンピュータが、上記プログラムを記録した記録媒体を読み取り、当該プログラムを実行するだけで、本実施形態のトラッキング装置１の各種処理を実現することができる。また、上記プログラムをリムーバブルな記録媒体に記録することにより、任意のコンピュータ上で上記の各種機能および各種処理を実現することができる。
【００６７】
この記録媒体としては、マイクロコンピュータで処理を行うために図示しないメモリ、例えばＲＯＭのようなものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することにより読み取り可能なプログラムメディアであっても良い。
【００６８】
また、何れの場合でも、格納されているプログラムは、マイクロプロセッサがアクセスして実行される構成であることが好ましい。さらに、プログラムを読み出し、読み出されたプログラムは、マイクロコンピュータのプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であることが好ましい。なお、このダウンロード用のプログラムは予め本体装置に格納されているものとする。
【００６９】
また、上記プログラムメディアとしては、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ／ＭＯ／ＭＤ／ＤＶＤ等のディスクのディスク系、ＩＣカード（メモリカードを含む）等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する記録媒体等がある。
【００７０】
また、インターネットを含む通信ネットワークを接続可能なシステム構成であれば、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する記録媒体であることが好ましい。
【００７１】
さらに、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであることが好ましい。
【００７２】
さらに、上記推定移動量算出手段は、上記３次元モデルの運動に関する６つの自由度のそれぞれについて該３次元モデルが運動を行った場合における上記投影像の移動量を、上記推定移動量として算出することが好ましい。
【００７３】
なぜなら、３次元空間での運動は、基本的に６つの自由度により表現される。そして、上記構成によれば、推定移動量算出手段は、３次元モデルが６つの自由度のそれぞれに関して運動を行った場合について推定移動量を算出するので、３次元モデルの３次元的な移動を的確に算出することができる。
【００７４】
よって、上記構成によれば、トラッキング対象の３次元的な動きをより正確に計測することができる。
【００７５】
さらに、上記３次元ずれ推定手段は、上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記動きの量を推定することが好ましい。
【００７６】
上記構成によれば、実移動量と推定移動量とが一次方程式にて対応づけられているので、簡易な処理によりトラッキング対象の３次元的な動きの量を推定できる。よって、より効率的な処理でトラッキング対象の３次元的な動きを計測できる。
【００７７】
また、本発明の動き計測装置は、単眼カメラが備えられている動き計測システムとして構成することも可能である。
【００７８】
さらに、この動き計測システムは、コンパクトなスペースに設置することができるので、車載機器に搭載するのに適している。そして、本発明の動き計測システムが搭載された車載機器によりドライバーの動きを計測することにより、他の車載機器をハンズフリーで操作したり、ドライバーの居眠りに警告を与えたりすることが可能となる。
【００７９】
なお、上記構成の動き計測装置における各手段としてコンピュータを機能させる動き計測プログラムにより、コンピュータを用いて本発明の動き計測装置と同様の作用効果を得ることができる。さらに、上記動き計測プログラムをコンピュータ読み取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記動き計測プログラムを実行させることができる。
【産業上の利用可能性】
【００８０】
本発明の動き計測装置は、種々の産業に利用することができる。以下、本発明を利用可能な産業の具体例について説明する。
【００８１】
たとえば、本発明の動き計測装置は、自動車のドライバーの動きを計測するという目的に好適である。なぜなら、ドライバーは基本的に運転に集中すべきであるとの観点から、カーナビゲーション等の車載機器の操作は、ドライバーがハンドルから手を離さない状態でできることが好ましい。さらに、自動車内において車載機器を搭載できるスペースは制限されている。
【００８２】
この点、本発明の動き計測装置を用いれば、コンパクトな単眼カメラを用いて十分な精度でドライバーの動きを検出することができるので、自動車内に容易に搭載することができる。さらに、本発明の動き計測装置を用いてユーザの動きを検出することにより、ハンドルから手を離さない状態で車載機器を操作することも可能となる。
【００８３】
また、ドライバーの安全を確保するという観点からも本発明の動き計測装置は有利である。つまり、本発明の動き計測装置を用いてドライバーが居眠りをしているか否かを検出し、必要に応じてドライバーに警告を促すということも可能となる。
【００８４】
また、本発明の動き計測装置は、コンピュータインターフェースとしても利用可能である。つまり、単眼カメラとして市販のウェブカメラを用い、さらにウェブカメラと本発明の動き計測装置とを接続することで、手軽にコンピュータのユーザの動きを計測することが可能となる。これにより、ビデオチャットやネットワーク対戦型のゲームにおいて、本発明の動き計測装置により計測されたユーザの動きを利用することができる。
【０００１】
本発明は、カメラの撮影対象の動きを追跡するための動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
従来、人間の顔などを単眼カメラにより撮影した画像（撮影画像）に基づき、撮影対象物の定量的な動きを求めるために、撮影対象物を単純化した形状モデルを仮定し、撮影画像上の動きからそのモデルの動きを求めることが行われていた。
【０００３】
たとえば、人間の顔を撮影した画像からその顔の定量的な動きを求める場合、図７に示すように、人間の顔を平面的に表現したモデル（非特許文献１参照）や、人間の顔を円筒（非特許文献２参照）または楕円体（非特許文献３参照）とみなして表現したモデルが用いられていた。
【０００４】
また、この手法と同様に、単眼カメラで撮影した画像に基づき撮影対象の定量的な動きを求める際、たとえば正射影変換や弱透視変換を用いてカメラモデルを単純化することも行われていた。
【０００５】
さらに、単眼カメラではなくステレオカメラを用いて撮影した画像に基づき、撮影対象物の定量的な動きを求める場合もある（非特許文献４参照）。この場合、ステレオカメラの撮影画像から得られる撮影対象物の３次元的な座標値と、撮影対象物の３次元的なモデルとを、３次元空間中で直接フィッティングすることにより、撮影対象物の位置や姿勢を精度よく計測することができる。
非特許文献１：M.J. Black and Y. Yacoob. Tracking and recognizing rigid and non-rigid facial motions using local parametric models of image motions. ICCV, 1995.
非特許文献２：M.L.Cascia, S.Sclaroff and V.Athitsos: "Fast, Reliable Head Tracking under Varying Illumination: An Approach Based on Registration of Texture-Mapped 3D Models", IEEE PAMI,vol. 22, no.4, April 2000.
非特許文献３：S.Basu, I.Essa, A.Pentland: ”Motion Regularization for Model-Based Head Tracking”, Proceedings of the International Conference on Pattern Recognition (ICPR '96) Volume III-Volume 7276, p.611, August 25-29, 1996
非特許文献４：Yoshio Matsumoto, Alexander Zelinsky: “An Algorithm for Real-time Stereo Vision Implementation of Head Pose and Gaze Direction Measurement”, Proceedings of IEEE Fourth International Conference on Face and Gesture Recognition (FG'2000), pp.499-505, 2000.
非特許文献５：Tomasi, Kanade: “Shape and motion from image streams: a factorization method,” Technical Report CMU-CS-91-132, CMU, 1991
発明の開示
【０００６】
しかしながら、上述した従来技術には以下の問題点がある。
【０００７】
先ず、単眼カメラを用いて撮影対象物の動きを求める技術においては、撮影対象物を単純化したモデルを用いると、当該モデルが撮影対象物を単純化するものなので、動きの測定精度が低下してしまう。同様に、カメラモデルを単純化しても、動きの測定精度は低下する。
【０００８】
また、ステレオカメラは基本的に２つのレンズを有している。したがって、ステレオカメラを用いて撮影対象物の動きを求める技術では、２つのレンズ間の位置関係をキャリブレーションすることが、煩雑な作業となり得る。
【０００９】
また、ステレオカメラは、２つのレンズを有していることから、単眼カメラに比べてサイズが大きいだけでなく、高コストである。したがって、ステレオカメラを用いると、省スペース化および低コスト化の観点から問題が生じる。
【００１０】
本発明は、上記従来の問題に鑑みなされたものであって、低コストかつコンパクトな構成で撮影対象の動きを精度よく計測することができる動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体を提供することを目的としている。
【００１１】
本発明の動き計測装置は、上記従来の課題を解決するために、単眼カメラの撮影動画像から、トラッキング対象となるトラッキング対象画像を、該トラッキング対象の特徴点に基づき抽出するトラッキング対象画像抽出手段と、上記トラッキング対象画像のフレーム間での移動量を実移動量として算出する実移動量算出手段と、上記単眼カメラの撮影対象を３次元的に表現した３次元モデルを、２次元平面上に投影した投影像を生成する２次元平面投影手段と、上記３次元モデルが、該３次元モデルの運動に関する６つの自由度のそれぞれに対応する運動を行った場合に、６つの自由度のそれぞれについて、上記投影像のフレーム間での移動量を推定移動量として算出する推定移動量算出手段と、上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記トラッキング対象における、６つの自由度のそれぞれに対応する３次元的な動きの量を推定する３次元ずれ推定手段とを備えていることを特徴としている。
［００１２］
上記構成によれば、トラッキング対象画像抽出手段により抽出されたトラッキング対象画像に関する実移動量が、実移動量算出手段により算出される。一方で、２次元平面投影手段にて生成された３次元モデルの投影像から、推定移動量算出手段により推定移動量が算出される。
［００１３］
これらの実移動量および推定移動量は、単眼カメラの撮影対象に関してフレーム間での移動量を示す値である点において共通している。特に、実移動量は、単眼カメラの撮影動画像に基づき得られる値なので、トラッキング対象が現実に移動した量を２次元的に示す値として理解できる。また、推定移動量は、撮影対象の３次元モデルから算出される値であることから、トラッキング対象の移動を３次元的に示す値といえる。
［００１４］
よって、３次元ずれ推定手段により実移動量と推定移動量とをマッチングさせることで、現実の移動に即してトラッキング対象の３次元的な動きの量を推定することができる。しかも、本発明の動き計測装置は、撮影対象の３次元モデルを用いているので、精度よくトラッキング対象の動きの量を推定することができる。
また、３次元空間での運動は、基本的に６つの自由度により表現される。ここで、上記構成によれば、推定移動量算出手段は、３次元モデルが６つの自由度のそれぞれに関して運動を行った場合について推定移動量を算出するので、３次元モデルの３次元的な移動を的確に算出することができる。
よって、上記構成によれば、トラッキング対象の３次元的な動きをより正確に計測することができる。
さらに、上記３次元ずれ推定手段は、上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記動きの量を推定する。
上記構成によれば、実移動量と推定移動量とが一次方程式にて対応づけられているので、簡易な処理によりトラッキング対象の３次元的な動きの量を推定できる。よって、より効率的な処理でトラッキング対象の３次元的な動きを計測できる。
［００１５］
しかも、本発明によれば、単眼カメラを用いているので、コンパクトなスペースであってもトラッキング対象の３次元的な動きを低コストで計測することができる。
［００１６］
また、本発明の動き計測方法は、上記従来の課題を解決するために、単眼カメラの動撮影画像から、トラッキング対象となるトラッキング対象画像を、該トラッキング対象の特徴点に基づき抽出する第１ステップと、上記トラッキング対象画像のフレーム間での移動量を実移動量として算出する第２ステップと、上記単眼カメラの撮影対象を３次元的に表現した３次元モデルを、２次元平面上に投影した投影像を生成する第３ステップと、上記３次元モデルが、該３次元モデルの運動に関する６つの自由度のそれぞれに対応する運動を行った場合に、６つの自由度のそれぞれについて、上記投影像のフレーム間での移動量を推定移動量として算出する第４ステップと、上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記トラッキング対象における、６つの自由度のそれぞれに対応する３次元的な動きの量を推定する第５ステップとを備えていることを特徴としている。
［００１７］
上記構成の動き計測方法によれば、第１〜第５ステップにおいて、本発明の動き計測装置と同様の処理が実現されているので、本発明の動き計測装置と同様の作用効果を得ることができる。
［００１８］
本発明の動き計測装置によれば、撮影対象の３次元モデルを用いているので、精度よくトラッキング対象の動きの量を推定することができる。しかも、本発明によれば、単眼カメラを用いているので、コンパクトなスペースであってもトラッキング対象の３次元的な動きを低コストで計測することができる。
【図面の簡単な説明】
［００１９］
［図１］本発明の一実施形態に係るトラッキング装置の構成を示す図である。
［図２］図１のトラッキング装置における処理の流れを示すフローチャートである。
［図３］３次元モデルを２次元平面に投影する手順を説明する図である。
［図４］図１のトラッキング装置が用いる動きテーブルの構成を示す図である。
［図５］（ａ）は、実移動量を説明するための図であり、（ｂ）は、推定移動量を説明するための図である。
［図６］（ａ）〜（ｃ）は、図１のトラッキング装置のトラッキング精度の評価実験を説明するための図である。
［図７］従来の動き計測に用いられていた顔モデルを示す図である。
【符号の説明】
［００２０］
１ トラッキング装置（動き計測装置）
２ トラッキング対象画像抽出部（トラッキング対象画像抽出手段）
３ ２次元平面投影部（２次元平面投影手段）
４ 微小動き生成部（推定移動量算出手段）
６ ２次元ずれ算出部（実移動量算出手段）
７ ３次元ずれ推定部（３次元ずれ推定手段）
８ 撮影対象動き計測部
１０ 撮影対象
【発明を実施するための最良の形態】
【００２１】
〔１．装置構成の概要〕
先ず、本発明の一実施形態に係るトラッキング装置（動き計測装置）の構成について、図１を用いて説明する。本実施形態のトラッキング装置１は、図１に示すように、トラッキング対象画像抽出部（トラッキング対象画像抽出手段）２と、２次元平面投影部（２次元平面投影手段）３と、微小動き生成部（推定移動量算出手段）４と、記憶部５と、２次元ずれ算出部（実移動量算出手段）６と、３次元ずれ推定部（３次元ずれ推定手段）７と、撮影対象動き計測部８とを備えている。
【００２２】
トラッキング対象画像抽出部２は、単眼カメラ９により撮影された撮影対象１０の動画像（撮影画像）から、撮影対象中で追跡の対象（トラッキング対象）となる部分の画像（トラッキング対象画像）を抽出するとともに、該トラッキング対象画像における特徴点を異なるフレーム間で追跡するものである。なお、特徴点とは、画像を特徴づける座標のことであり、人間の顔の画像であれば、目尻・目頭・口元・鼻等の位置を示す座標が特徴点に相当する。
【００２３】
このトラッキング対象画像抽出部２における処理は、種々の画像特徴抽出処理を用いることができる。たとえば、撮影対象が人間であり、トラッキング対象が人間の顔である場合において、トラッキング対象画像を抽出する処理は、目・口・鼻等の顔において特徴のある部分を撮影画像内で認識する処理により実現することが可能である。なお、画像特徴抽出処理としてテンプレートマッチング法を用いた技術は、非特許文献４に記載されている。
【００２４】
２次元平面投影部３は、撮影対象１０の形状を３次元的に表現した形状モデル（以下、３次元モデル）の姿勢を、撮影対象１０の姿勢とフレーム毎に一致させ、その姿勢が一致された３次元モデルを２次元平面上に投影した像（以下、投影像）の座標を算出するものである。２次元平面投影部３による投影処理の詳細に関しては後述する。
【００２５】
なお、３次元モデルは、トラッキング装置１によりトラッキング対象の動きを求める前に、公知の手順を用いて予め作成されるものである。たとえば、ステレオカメラや３Ｄスキャナにより撮影対象を３次元的に計測することで、３次元モデルを構築することが可能である（非特許文献４参照）。また、単眼カメラを用いて撮影対象の特徴点を追跡することで、３次元モデルを構築することも可能である（非特許文献５参照）。
【００２６】
微小動き生成部４は、３次元モデルが基準動作を行った場合に、その３次元モデルの投影像の移動量を、Ｘ軸およびＹ軸方向のそれぞれに関して撮影画像のフレーム毎に算出するものである。なお、投影像の座標を求める処理は、２次元平面投影部３により実行されるものである。また、微小動き生成部４による移動量算出の処理の詳細は後述するものとし、以下の説明では、微小動き生成部４により算出される移動量を特に「推定移動量」として記載する。この推定移動量は、Ｘ軸およびＹ軸方向のそれぞれに関する移動距離を示すものであるから、ベクトルとして表現される。
【００２７】
ここで、「基準動作」とは、３次元空間内における３次元モデルの移動を表現するための６つの動作を意味している。すなわち、３次元空間を規定するＸ軸、Ｙ軸、およびＺ軸のそれぞれに関して、３次元モデルが微小な単位距離だけ平行移動する動作、および３次元モデルが微小な単位角度だけ回転する動作をここでは「基準動作」と記載している。なお、以下の説明においては、６つの基準動作を以下のように定義する。
【００２８】
「Ｘ軸並進」…３次元モデルがＸ軸に関して単位距離だけ平行移動する動作
「Ｙ軸並進」…３次元モデルがＹ軸に関して単位距離だけ平行移動する動作
「Ｚ軸並進」…３次元モデルがＺ軸に関して単位距離だけ平行移動する動作
「Ｘ軸回転」…３次元モデルがＸ軸に関して単位角度だけ回転する動作
「Ｙ軸回転」…３次元モデルがＹ軸に関して単位角度だけ回転する動作
「Ｚ軸回転」…３次元モデルがＺ軸に関して単位角度だけ回転する動作。
【００２９】
記憶部５は、２次元平面投影部３により算出された投影像の各座標と、基準動作と、微小動き生成部４により算出された２次元平面上の座標の移動量とを対応づけた動きテーブル（後述する）を記憶するものである。
【００３０】
２次元ずれ算出部６は、トラッキング対象画像における各特徴点の座標に関して、フレーム間における移動量を算出するものである。すなわち、２次元ずれ算出部６は、前フレームから現フレームまでの間に、トラッキング対象画像における各特徴点が実際に移動した距離を、Ｘ軸およびＹ軸方向のそれぞれに関して算出するものである。なお、以下の説明では２次元ずれ算出部６により算出される移動量を、「実移動量」として記載する。この実移動量は、Ｘ軸およびＹ軸方向のそれぞれに関する移動距離を示すものであるから、ベクトルとして表現される。
【００３１】
３次元ずれ推定部７は、記憶部５に記憶された動きテーブルから推定移動量を読み出すとともに、２次元ずれ算出部６により算出された実移動量とその推定移動量とを対応づけ、後述する手順によりトラッキング対象の３次元的な動きの量（３次元的ずれ）を推定するものである。
【００３２】
撮影対象動き計測部８は、３次元ずれ推定部７により推定されたトラッキング対象の３次元的ずれに基づき、撮影対象がどのような動作を行ったかを計測するものである。たとえばトラッキング対象が人間の顔であれば、撮影対象動き計測部８は、トラッキング対象の３次元的ずれに基づき、視線の移動・まばたき・口の開閉など、撮影対象である人間がどのような動作を行ったかを計測するものである。
【００３３】
上記構成のトラッキング装置１により、撮影対象の動きが計測されるまでの一連の処理を図２のフローチャートを用いて説明する。なお、以下では撮影対象１０が人間であり、トラッキング対象が人間の顔である場合について説明する。また、人間の顔の３次元モデルは、単に「３次元顔モデル」として記載する。
【００３４】
まず、トラッキング装置１によるトラッキング処理を行う前に、図２に示すように３次元顔モデルが構築される（ステップ１、以下単にステップをＳと記載する）。その後、トラッキング対象画像抽出部２により、単眼カメラ９で人間を撮影した画像から、その人間の顔の画像（顔画像）が、トラッキング対象画像として抽出される（Ｓ２）。
【００３５】
その後、２次元平面投影部３により、３次元顔モデルが２次元平面に投影される（Ｓ３）。そして、微小動き生成部４により、上記３次元顔モデルの推定移動量が算出される（Ｓ４）。
【００３６】
また、トラッキング対象画像抽出部２により、顔画像における特徴点が異なるフレーム間で追跡される（Ｓ５）。その後、２次元ずれ算出部６により、顔画像における特徴点の実移動量およびその信頼性が算出される（Ｓ６）。なお、Ｓ５およびＳ６の処理は、Ｓ３およびＳ４の処理が実行される前に行われてもよい。
【００３７】
そして、Ｓ３〜Ｓ６の処理が終了したら、３次元ずれ推定部７により、トラッキング対象である人間の顔の３次元的ずれが算出される（Ｓ７）。そして、Ｓ７にて推定された３次元ずれに基づき、撮影対象動き計測部８により、視線の移動・まばたき・口の開閉など、人間がどのような動きを行ったかが計測される（Ｓ８）。
【００３８】
上記したＳ１〜Ｓ８の処理が完了することで、撮影対象である人間がどのように動いたかが、トラッキング装置１により判断される。以下では、トラッキング装置１における各ブロックの処理の詳細について、より具体的に説明する。
【００３９】
〔２．２次元平面投影部３における処理について〕
２次元平面投影部３により、３次元モデルを２次元平面に投影する手順について説明する。図３に示すように、ＸＹＺ軸で規定される３次元空間内に、３次元モデルを投影する２次元平面を原点からの距離がｆの平面として想定する。なお、この３次元空間の原点は、単眼カメラ９の焦点としてみなせるものである。また、原点と２次元平面との距離ｆは、単眼カメラ９の焦点距離としてみなせるものである。
【００４０】
ここで、カメラのモデルとしてピンホールカメラモデルを用いた場合、投影方法は透視変換になり、３次元モデル上の任意の位置における座標（ｘ，ｙ，ｚ）に対応する投影像上の座標を（ｕ，ｖ）とすると、以下の式（１）に基づき座標（ｕ，ｖ）を求めることができる。
【００４１】
ｕ＝ｆ×ｘ／Ｚ ｖ＝ｆ×ｙ／Ｚ …式（１）
そして、上記の座標（ｘ，ｙ，ｚ）を３次元モデル上の座標として適宜変更していき、座標（ｕ，ｖ）を式（１）に基づき算出することにより、投影像全体の座標を求める処理が完了する。
【００４２】
〔３．微小動き生成部４における処理について〕
微小動き生成部４により、３次元モデルに対応する投影像の推定移動量を算出する手順について以下に説明する。
【００４３】
先ず、微小動き生成部４は、前フレームにおける３次元モデルの特徴点が、投影像上においてどのような座標で表現されるかを求める。たとえば、３次元モデルにおける２つの特徴点を点Ａおよび点Ｂとするなら、微小動き生成部４は、点Ａに対応する投影像上の座標を（ｘａ，ｙａ）として求め、点Ｂに対応する投影像上の座標を（ｘｂ，ｙｂ）として求める。なお、これらの座標（ｘａ，ｙａ）および（ｘｂ，ｙｂ）は、前フレームでの点Ａおよび点Ｂのそれぞれに対応している。
【００４４】
そして、微小動き生成部４は、３次元モデルが基準動作を行った場合に、現フレームと前フレームとの間で特徴点の座標が２次元平面上でどれだけ移動するかを算出する。すなわち、微小動き生成部４は、上述した基準動作である「Ｘ軸並進」，「Ｙ軸並進」，「Ｚ軸並進」，「Ｘ軸回転」，「Ｙ軸回転」，および「Ｚ軸回転」のそれぞれを３次元モデルが行った場合に、各基準動作に対応する２次元平面上での特徴点の移動量を算出する。
【００４５】
さらに、微小動き生成部４は、このようにして求められた特徴点の推定移動量と、投影像における特徴点の前フレームでの座標と、基準動作とを対応づけた動きテーブルを作成し、この動きテーブルを記憶部５に記憶する。
【００４６】
ここで、動きテーブルの構成を図４に示す。図４に示すように、動きテーブルにおいては、投影像における特徴点の座標（ｘａ，ｙａ）および（ｘｂ，ｙｂ）のそれぞれが、６つの基準動作のそれぞれと、推定移動量とに対応づけられている。もちろん、動きテーブルに格納された特徴点の座標は、前フレームにおける座標である。
【００４７】
なお、動きテーブルは、フレーム毎に順次更新されていく。つまり、動きテーブルに格納された推定移動量が後述する３次元的ずれの推定処理に用いられたら、現フレームでの投影像における特徴点の座標が動きテーブルに格納される。そして、現フレームと次フレームとの間における推定移動量が、各基準動作に対応して微小動き生成部４により求められ、動きテーブルに格納される。
【００４８】
〔４．３次元ずれ推定部７における処理について〕
３次元ずれ推定部７によりトラッキング対象の３次元的ずれを推定する処理について以下に説明する。先ず、３次元ずれ推定部７は、記憶部５に記憶された動きテーブルを参照し、６つの基準動作に対応する推定移動量を読み出す。同時に、３次元ずれ推定部７は、２次元ずれ算出部６が算出した実移動量を取得する。
【００４９】
実移動量および推定移動量がどのようなものであるかは上述したとおりであるが、参考のため図５（ａ）および図５（ｂ）を用いて実移動量および推定移動量の説明を行う。
【００５０】
実移動量は、図５（ａ）に示すように、前フレームでの３次元モデル中の特徴点を２次元平面に投影した位置（図中●印で示す）と、現フレームでの３次元モデル中の特徴点を２次元平面に投影した位置（図中○印で示す）との間における移動距離を示すものである。一方、推定移動量は、図５（ｂ）に示すように、前フレームでの３次元モデル中の特徴点を２次元平面に投影した位置が、６つの基準動作のいずれかを行った場合にどのように移動するかを示すものである。
【００５１】
そして、３次元ずれ推定部７は、推定移動量と実移動量とを対応づけ、以下の一次方程式（２）における係数ａ１〜ａ６を求める。
【００５２】
（実移動量）＝ａ１×（Ｘ軸並進に対応する推定移動量）＋ａ２×（Ｙ軸並進に対応する推定移動量）＋ａ３×（Ｚ軸並進に対応する推定移動量）＋ａ４×（Ｘ軸回転に対応する推定移動量）＋ａ５×（Ｙ軸回転に対応する推定移動量）＋ａ６×（Ｚ軸回転に対応する推定移動量）…式（２）
なお、推定移動量は図４の動きテーブルに示したように、Ｘ軸およびＹ軸のそれぞれに関する特徴点の移動距離を示すベクトルとして表現される。つまり、１つの推定移動量には、２つのパラメータが含まれていることになる。一方で、式（２）における未知の係数（ａ１〜ａ６）は６つであるから、最低限３つの特徴点に関する推定移動量および実移動量が求められていれば、係数ａ１〜ａ６を算出することができる。なお、４つ以上の特徴点に関する実移動量および推定移動量が求められている場合には、最小自乗法等の補間方法を用いて係数ａ１〜ａ６を算出してもよい。
【００５３】
そして、この係数ａ１〜ａ６に基づき、トラッキング対象がどのように動いたかを判断することができる。すなわち、上述した６つの基準動作は、３次元モデルの動きが有する６つの自由度のそれぞれに対応している。したがって、係数ａ１〜ａ６を求めることにより、６つの自由度のそれぞれに関して３次元モデルがどのような割合で動いたかを求めることができる。
【００５４】
〔５．精度評価実験〕
本実施形態のトラッキング装置１に単眼カメラ９を適用した場合における、トラッキング精度の評価実験を行ったので以下に説明する。
【００５５】
先ず、トラッキング精度の評価実験を行うにあたって、図６（ａ）に示すように、撮影対象としてのマネキンの首をモータにより左右に振り、単眼カメラにてそのマネキンの首を撮影した。この際における単眼カメラによる撮影画像を図６（ｂ）に示す。なお、図６（ｂ）に示す画像においては、たとえば目頭や目尻付近の画像が小さな枠で囲まれている。これは、たとえば目頭付近の画像がトラッキング対象画像として抽出されていることを示している。
【００５６】
図６（ｃ）は、本実施形態のトラッキング装置１によるトラッキング精度を、ステレオカメラを用いた場合のトラッキング精度と対比して示すグラフである。なお、図６（ｃ）においては、本実施形態のトラッキング装置１に単眼カメラを適用した場合のトラッキング精度を実線にて示し、ステレオカメラを用いた場合のトラッキング精度を点線にて示している。また、トラッキング精度の理想値は１点鎖線にて示している。
【００５７】
図６（ｃ）に示すグラフから、単眼カメラによるトラッキング精度は、やはりステレオカメラのそれに対して劣ってはいるものの、マネキンの首振り角度の変化は単眼カメラを用いた場合でも十分トラッキングできていることがわかる。したがって、単眼カメラを本実施形態のトラッキング装置に適用すれば、実用上はステレオカメラを用いた場合と遜色のないトラッキング精度が得られる。
【００５８】
〔６．補足〕
このように、本実施形態のトラッキング装置１は、単眼カメラ９の撮影画像からトラッキング対象となるトラッキング対象画像を抽出するトラッキング対象画像抽出部２と、トラッキング対象画像のフレーム間での移動量を実移動量として算出する２次元ずれ算出部６と、単眼カメラ９の撮影対象を３次元的に表現した３次元モデルを、２次元平面上に投影した投影像を生成する２次元平面投影部３と、投影像のフレーム間での移動量を推定移動量として算出する微小動き生成部４と、上記実移動量と上記推定移動量とに基づき、トラッキング対象の３次元的な動きの量を推定する３次元ずれ推定部７とを備えている。
【００５９】
上記構成によれば、トラッキング対象画像抽出部２により抽出されたトラッキング対象画像に関する実移動量が、２次元ずれ算出部６により算出される。一方で、２次元平面投影部３にて生成された３次元モデルの投影像から、微小動き生成部４により推定移動量が算出される。
【００６０】
これらの実移動量および推定移動量は、単眼カメラ９の撮影対象に関してフレーム間での移動量を示す値である点において共通している。特に、実移動量は、単眼カメラ９の撮影画像に基づき得られる値なので、トラッキング対象が現実に移動した量を２次元的に示す値として理解できる。また、推定移動量は、撮影対象の３次元モデルから算出される値であることから、トラッキング対象の移動を３次元的に示す値といえる。
【００６１】
よって、３次元ずれ推定部７により実移動量と推定移動量とをマッチングさせることで、現実の移動に即してトラッキング対象の３次元的な動きの量を推定することができる。しかも、トラッキング装置１は、撮影対象の３次元モデルを用いているので、精度よくラッキング対象の動きの量を推定することができる。
【００６２】
しかも、トラッキング装置１は、単眼カメラ９を用いているので、コンパクトなスペースであってもトラッキング対象の３次元的な動きを低コストで計測することができる。
【００６３】
さらに、微小動き生成部４は、上記３次元モデルの運動に関する６つの自由度のそれぞれについて該３次元モデルが運動を行った場合における上記投影像の移動量を、上記推定移動量として算出するので、３次元モデルの３次元的な移動を的確に算出することができる。
【００６４】
さらに、３次元ずれ推定部７は、上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記動きの量を推定するので、簡易な処理によりトラッキング対象の３次元的な動きの量を推定できる。よって、より効率的な処理でトラッキング対象の３次元的な動きを計測できる。
【００６５】
なお、本実施形態のトラッキング装置１の各手段における処理手順は、ＣＰＵなどの演算手段が、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの記憶手段に記憶されたプログラムを実行し、キーボードなどの入力手段、ディスプレイなどの出力手段、あるいは、インターフェース回路などの通信手段を制御することにより実現することができる。
【００６６】
したがって、これらの手段を有するコンピュータが、上記プログラムを記録した記録媒体を読み取り、当該プログラムを実行するだけで、本実施形態のトラッキング装置１の各種処理を実現することができる。また、上記プログラムをリムーバブルな記録媒体に記録することにより、任意のコンピュータ上で上記の各種機能および各種処理を実現することができる。
【００６７】
この記録媒体としては、マイクロコンピュータで処理を行うために図示しないメモリ、例えばＲＯＭのようなものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することにより読み取り可能なプログラムメディアであっても良い。
【００６８】
また、何れの場合でも、格納されているプログラムは、マイクロプロセッサがアクセスして実行される構成であることが好ましい。さらに、プログラムを読み出し、読み出されたプログラムは、マイクロコンピュータのプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であることが好ましい。なお、このダウンロード用のプログラムは予め本体装置に格納されているものとする。
【００６９】
また、上記プログラムメディアとしては、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ／ＭＯ／ＭＤ／ＤＶＤ等のディスクのディスク系、ＩＣカード（メモリカードを含む）等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する記録媒体等がある。
【００７０】
また、インターネットを含む通信ネットワークを接続可能なシステム構成であれば、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する記録媒体であることが好ましい。
【００７１】
さらに、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであることが好ましい。
【００７２】
さらに、上記推定移動量算出手段は、上記３次元モデルの運動に関する６つの自由度のそれぞれについて該３次元モデルが運動を行った場合における上記投影像の移動量を、上記推定移動量として算出することが好ましい。
【００７３】
なぜなら、３次元空間での運動は、基本的に６つの自由度により表現される。そして、上記構成によれば、推定移動量算出手段は、３次元モデルが６つの自由度のそれぞれに関して運動を行った場合について推定移動量を算出するので、３次元モデルの３次元的な移動を的確に算出することができる。
【００７４】
よって、上記構成によれば、トラッキング対象の３次元的な動きをより正確に計測することができる。
【００７５】
さらに、上記３次元ずれ推定手段は、上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記動きの量を推定することが好ましい。
【００７６】
上記構成によれば、実移動量と推定移動量とが一次方程式にて対応づけられているので、簡易な処理によりトラッキング対象の３次元的な動きの量を推定できる。よって、より効率的な処理でトラッキング対象の３次元的な動きを計測できる。
【００７７】
また、本発明の動き計測装置は、単眼カメラが備えられている動き計測システムとして構成することも可能である。
【００７８】
さらに、この動き計測システムは、コンパクトなスペースに設置することができるので、車載機器に搭載するのに適している。そして、本発明の動き計測システムが搭載された車載機器によりドライバーの動きを計測することにより、他の車載機器をハンズフリーで操作したり、ドライバーの居眠りに警告を与えたりすることが可能となる。
【００７９】
なお、上記構成の動き計測装置における各手段としてコンピュータを機能させる動き計測プログラムにより、コンピュータを用いて本発明の動き計測装置と同様の作用効果を得ることができる。さらに、上記動き計測プログラムをコンピュータ読み取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記動き計測プログラムを実行させることができる。
【産業上の利用可能性】
【００８０】
本発明の動き計測装置は、種々の産業に利用することができる。以下、本発明を利用可能な産業の具体例について説明する。
【００８１】
たとえば、本発明の動き計測装置は、自動車のドライバーの動きを計測するという目的に好適である。なぜなら、ドライバーは基本的に運転に集中すべきであるとの観点から、カーナビゲーション等の車載機器の操作は、ドライバーがハンドルから手を離さない状態でできることが好ましい。さらに、自動車内において車載機器を搭載できるスペースは制限されている。
【００８２】
この点、本発明の動き計測装置を用いれば、コンパクトな単眼カメラを用いて十分な精度でドライバーの動きを検出することができるので、自動車内に容易に搭載することができる。さらに、本発明の動き計測装置を用いてユーザの動きを検出することにより、ハンドルから手を離さない状態で車載機器を操作することも可能となる。
【００８３】
また、ドライバーの安全を確保するという観点からも本発明の動き計測装置は有利である。つまり、本発明の動き計測装置を用いてドライバーが居眠りをしているか否かを検出し、必要に応じてドライバーに警告を促すということも可能となる。
【００８４】
また、本発明の動き計測装置は、コンピュータインターフェースとしても利用可能である。つまり、単眼カメラとして市販のウェブカメラを用い、さらにウェブカメラと本発明の動き計測装置とを接続することで、手軽にコンピュータのユーザの動きを計測することが可能となる。これにより、ビデオチャットやネットワーク対戦型のゲームにおいて、本発明の動き計測装置により計測されたユーザの動きを利用することができる。
Claims (6)
- 単眼カメラの撮影動画像から、トラッキング対象となるトラッキング対象画像を、該トラッキング対象の特徴点に基づき抽出するトラッキング対象画像抽出手段と、
上記トラッキング対象画像のフレーム間での移動量を実移動量として算出する実移動量算出手段と、
上記単眼カメラの撮影対象を３次元的に表現した３次元モデルを、２次元平面上に投影した投影像を生成する２次元平面投影手段と、
上記３次元モデルが、該３次元モデルの運動に関する６つの自由度のそれぞれに対応する運動を行った場合に、６つの自由度のそれぞれについて、上記投影像のフレーム間での移動量を推定移動量として算出する推定移動量算出手段と、
上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記トラッキング対象における、６つの自由度のそれぞれに対応する３次元的な動きの量を推定する３次元ずれ推定手段とを備えていることを特徴とする動き計測装置。 - 請求項１に記載の動き計測装置と、単眼カメラとを備えていることを特徴とする動き計測システム。
- 請求項４に記載の動き計測システムを搭載していることを特徴とする車載機器。
- 単眼カメラの撮影動画像から、トラッキング対象となるトラッキング対象画像を、該トラッキング対象の特徴点に基づき抽出する第１ステップと、
上記トラッキング対象画像のフレーム間での移動量を実移動量として算出する第２ステップと、
上記単眼カメラの撮影対象を３次元的に表現した３次元モデルを、２次元平面上に投影した投影像を生成する第３ステップと、
上記３次元モデルが、該３次元モデルの運動に関する６つの自由度のそれぞれに対応する運動を行った場合に、６つの自由度のそれぞれについて、上記投影像のフレーム間での移動量を推定移動量として算出する第４ステップと、
上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記トラッキング対象における、６つの自由度のそれぞれに対応する３次元的な動きの量を推定する第５ステップとを備えていることを特徴とする動き計測方法。 - 請求項１に記載の動き計測装置における各手段としてコンピュータを機能させるための動き計測プログラム。
- 請求項７に記載の動き計測プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007506011A JP4852764B2 (ja) | 2005-03-04 | 2006-03-03 | 動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005061323 | 2005-03-04 | ||
| JP2005061323 | 2005-03-04 | ||
| PCT/JP2006/304049 WO2006093250A1 (ja) | 2005-03-04 | 2006-03-03 | 動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体 |
| JP2007506011A JP4852764B2 (ja) | 2005-03-04 | 2006-03-03 | 動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2006093250A1 JPWO2006093250A1 (ja) | 2008-08-07 |
| JP4852764B2 true JP4852764B2 (ja) | 2012-01-11 |
Family
ID=36941280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007506011A Active JP4852764B2 (ja) | 2005-03-04 | 2006-03-03 | 動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8213677B2 (ja) |
| JP (1) | JP4852764B2 (ja) |
| WO (1) | WO2006093250A1 (ja) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4501937B2 (ja) * | 2004-11-12 | 2010-07-14 | オムロン株式会社 | 顔特徴点検出装置、特徴点検出装置 |
| JP4093273B2 (ja) * | 2006-03-13 | 2008-06-04 | オムロン株式会社 | 特徴点検出装置、特徴点検出方法および特徴点検出プログラム |
| JP4921847B2 (ja) * | 2006-05-02 | 2012-04-25 | 株式会社豊田中央研究所 | 対象物の三次元位置推定装置 |
| GB0622451D0 (en) * | 2006-11-10 | 2006-12-20 | Intelligent Earth Ltd | Object position and orientation detection device |
| US20100169792A1 (en) * | 2008-12-29 | 2010-07-01 | Seif Ascar | Web and visual content interaction analytics |
| US9417700B2 (en) | 2009-05-21 | 2016-08-16 | Edge3 Technologies | Gesture recognition systems and related methods |
| US8396252B2 (en) | 2010-05-20 | 2013-03-12 | Edge 3 Technologies | Systems and related methods for three dimensional gesture recognition in vehicles |
| US8655093B2 (en) | 2010-09-02 | 2014-02-18 | Edge 3 Technologies, Inc. | Method and apparatus for performing segmentation of an image |
| US8582866B2 (en) | 2011-02-10 | 2013-11-12 | Edge 3 Technologies, Inc. | Method and apparatus for disparity computation in stereo images |
| US8666144B2 (en) | 2010-09-02 | 2014-03-04 | Edge 3 Technologies, Inc. | Method and apparatus for determining disparity of texture |
| WO2012030872A1 (en) | 2010-09-02 | 2012-03-08 | Edge3 Technologies Inc. | Method and apparatus for confusion learning |
| JP5652097B2 (ja) | 2010-10-01 | 2015-01-14 | ソニー株式会社 | 画像処理装置、プログラム及び画像処理方法 |
| US8970589B2 (en) | 2011-02-10 | 2015-03-03 | Edge 3 Technologies, Inc. | Near-touch interaction with a stereo camera grid structured tessellations |
| US10509466B1 (en) * | 2011-05-11 | 2019-12-17 | Snap Inc. | Headwear with computer and optical element for use therewith and systems utilizing same |
| US9672609B1 (en) | 2011-11-11 | 2017-06-06 | Edge 3 Technologies, Inc. | Method and apparatus for improved depth-map estimation |
| US10721448B2 (en) | 2013-03-15 | 2020-07-21 | Edge 3 Technologies, Inc. | Method and apparatus for adaptive exposure bracketing, segmentation and scene organization |
| EP3038011B1 (de) * | 2014-12-22 | 2019-06-05 | Aptiv Technologies Limited | Verfahren zum Bestimmen des Abstands eines Objekts von einem Kraftfahrzeug mittels einer monokularen Bilderfassungseinrichtung |
| US10776644B1 (en) * | 2018-03-07 | 2020-09-15 | State Farm Mutual Automobile Insurance Company | Image analysis technologies for assessing safety of vehicle operation |
| US10275670B1 (en) | 2018-03-07 | 2019-04-30 | State Farm Mutual Automobile Insurance Company | Image analysis technologies for identifying abnormal vehicle conditions |
| US11254270B1 (en) | 2018-05-02 | 2022-02-22 | State Farm Mutual Automobile Insurance Company | Technologies for using image analysis to facilitate adjustments of vehicle components |
| US10834413B2 (en) * | 2018-08-24 | 2020-11-10 | Disney Enterprises, Inc. | Fast and accurate block matching for computer generated content |
| JP2020086491A (ja) * | 2018-11-15 | 2020-06-04 | 株式会社リコー | 情報処理装置、情報処理システム及び情報処理方法 |
| CN112243082B (zh) * | 2019-07-17 | 2022-09-06 | 百度时代网络技术（北京）有限公司 | 一种跟踪拍摄方法、装置、电子设备及存储介质 |
| EP3970067A1 (en) * | 2019-07-19 | 2022-03-23 | Five AI Limited | Structure annotation |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02165283A (ja) * | 1988-12-19 | 1990-06-26 | Nippon Telegr & Teleph Corp <Ntt> | 三次元物体の運動検出方法 |
| JPH07264458A (ja) * | 1994-03-25 | 1995-10-13 | Olympus Optical Co Ltd | 移動物体追跡装置 |
| JP2002269546A (ja) * | 2001-03-14 | 2002-09-20 | Atr Onsei Gengo Tsushin Kenkyusho:Kk | 自動顔トラッキングシステムおよび自動顔トラッキング方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7003134B1 (en) * | 1999-03-08 | 2006-02-21 | Vulcan Patents Llc | Three dimensional object pose estimation which employs dense depth information |
| US7526120B2 (en) * | 2002-09-11 | 2009-04-28 | Canesta, Inc. | System and method for providing intelligent airbag deployment |
| JP2006520055A (ja) * | 2003-03-06 | 2006-08-31 | アニメトリックス，インク． | ２次元画像からの３次元オブジェクトの不変視点検出および識別 |
| AU2003901528A0 (en) * | 2003-03-31 | 2003-05-01 | Seeing Machines Pty Ltd | Eye tracking system and method |
| JP4568223B2 (ja) * | 2005-12-21 | 2010-10-27 | 株式会社デンソー | 推定装置 |
-
2006
- 2006-03-03 WO PCT/JP2006/304049 patent/WO2006093250A1/ja active Application Filing
- 2006-03-03 US US11/885,428 patent/US8213677B2/en not_active Expired - Fee Related
- 2006-03-03 JP JP2007506011A patent/JP4852764B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02165283A (ja) * | 1988-12-19 | 1990-06-26 | Nippon Telegr & Teleph Corp <Ntt> | 三次元物体の運動検出方法 |
| JPH07264458A (ja) * | 1994-03-25 | 1995-10-13 | Olympus Optical Co Ltd | 移動物体追跡装置 |
| JP2002269546A (ja) * | 2001-03-14 | 2002-09-20 | Atr Onsei Gengo Tsushin Kenkyusho:Kk | 自動顔トラッキングシステムおよび自動顔トラッキング方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20080219501A1 (en) | 2008-09-11 |
| JPWO2006093250A1 (ja) | 2008-08-07 |
| US8213677B2 (en) | 2012-07-03 |
| WO2006093250A1 (ja) | 2006-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4852764B2 (ja) | 動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体 | |
| KR101169533B1 (ko) | 얼굴 자세 추정 장치, 얼굴 자세 추정 방법 및 얼굴 자세 추정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 | |
| JP5812599B2 (ja) | 情報処理方法及びその装置 | |
| CN111480164B (zh) | 头部姿势和分心估计 | |
| US20100185990A1 (en) | Movable display apparatus, robot having movable display apparatus and display method thereof | |
| US9437011B2 (en) | Method and apparatus for estimating a pose of a head for a person | |
| Dorfmüller-Ulhaas | Robust optical user motion tracking using a kalman filter | |
| JPWO2008007781A1 (ja) | 視線方向検出装置および視線方向検出方法 | |
| Hao et al. | Vision-based surgical tool pose estimation for the da vinci® robotic surgical system | |
| JP2007263669A (ja) | ３次元座標取得装置 | |
| JP5001930B2 (ja) | 動作認識装置及び方法 | |
| JP6483832B2 (ja) | Ｒｇｂ−ｄセンサを使用して物体を走査する方法とシステム | |
| CN106625673A (zh) | 狭小空间装配***及装配方法 | |
| JP2013156680A (ja) | フェーストラッキング方法、フェーストラッカおよび車両 | |
| JP2006215743A (ja) | 画像処理装置及び画像処理方法 | |
| Yu et al. | Head pose estimation based on head tracking and the Kalman filter | |
| JP2003141551A (ja) | 顔向き計算方法及びその装置 | |
| WO2023025175A1 (zh) | 用于空间定位的方法及装置 | |
| Yang et al. | Robust face tracking with a consumer depth camera | |
| JP2019046096A (ja) | 情報処理装置及びその方法 | |
| Wang et al. | Shape reconstruction of human foot from multi-camera images based on PCA of human shape database | |
| Pagel | Robust monocular egomotion estimation based on an iekf | |
| JP3041420B1 (ja) | 内視鏡システムおよび内視鏡画像の奥行き情報検出用制御プログラムを記録した記録媒体 | |
| CN110998595A (zh) | 用于头部姿势估计的方法和*** | |
| WO2022210005A1 (ja) | 姿勢推定システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090223 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111004 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |