JP4852764B2 - 動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体 - Google Patents
動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4852764B2 JP4852764B2 JP2007506011A JP2007506011A JP4852764B2 JP 4852764 B2 JP4852764 B2 JP 4852764B2 JP 2007506011 A JP2007506011 A JP 2007506011A JP 2007506011 A JP2007506011 A JP 2007506011A JP 4852764 B2 JP4852764 B2 JP 4852764B2
- Authority
- JP
- Japan
- Prior art keywords
- movement amount
- dimensional
- tracking target
- motion
- estimated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【技術分野】
【0001】
本発明は、カメラの撮影対象の動きを追跡するための動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【0002】
従来、人間の顔などを単眼カメラにより撮影した画像(撮影画像)に基づき、撮影対象物の定量的な動きを求めるために、撮影対象物を単純化した形状モデルを仮定し、撮影画像上の動きからそのモデルの動きを求めることが行われていた。
【0003】
たとえば、人間の顔を撮影した画像からその顔の定量的な動きを求める場合、図7に示すように、人間の顔を平面的に表現したモデル(非特許文献1参照)や、人間の顔を円筒(非特許文献2参照)または楕円体(非特許文献3参照)とみなして表現したモデルが用いられていた。
【0004】
また、この手法と同様に、単眼カメラで撮影した画像に基づき撮影対象の定量的な動きを求める際、たとえば正射影変換や弱透視変換を用いてカメラモデルを単純化することも行われていた。
【0005】
さらに、単眼カメラではなくステレオカメラを用いて撮影した画像に基づき、撮影対象物の定量的な動きを求める場合もある(非特許文献4参照)。この場合、ステレオカメラの撮影画像から得られる撮影対象物の3次元的な座標値と、撮影対象物の3次元的なモデルとを、3次元空間中で直接フィッティングすることにより、撮影対象物の位置や姿勢を精度よく計測することができる。
非特許文献1:M.J. Black and Y. Yacoob. Tracking and recognizing rigid and non-rigid facial motions using local parametric models of image motions. ICCV, 1995.
非特許文献2:M.L.Cascia, S.Sclaroff and V.Athitsos: "Fast, Reliable Head Tracking under Varying Illumination: An Approach Based on Registration of Texture-Mapped 3D Models", IEEE PAMI,vol. 22, no.4, April 2000.
非特許文献3:S.Basu, I.Essa, A.Pentland: ”Motion Regularization for Model-Based Head Tracking”, Proceedings of the International Conference on Pattern Recognition (ICPR '96) Volume III-Volume 7276, p.611, August 25-29, 1996
非特許文献4:Yoshio Matsumoto, Alexander Zelinsky: “An Algorithm for Real-time Stereo Vision Implementation of Head Pose and Gaze Direction Measurement”, Proceedings of IEEE Fourth International Conference on Face and Gesture Recognition (FG'2000), pp.499-505, 2000.
非特許文献5:Tomasi, Kanade: “Shape and motion from image streams: a factorization method,” Technical Report CMU-CS-91-132, CMU, 1991
発明の開示
【0006】
しかしながら、上述した従来技術には以下の問題点がある。
【0007】
先ず、単眼カメラを用いて撮影対象物の動きを求める技術においては、撮影対象物を単純化したモデルを用いると、当該モデルが撮影対象物を単純化するものなので、動きの測定精度が低下してしまう。同様に、カメラモデルを単純化しても、動きの測定精度は低下する。
【0008】
また、ステレオカメラは基本的に2つのレンズを有している。したがって、ステレオカメラを用いて撮影対象物の動きを求める技術では、2つのレンズ間の位置関係をキャリブレーションすることが、煩雑な作業となり得る。
【0009】
また、ステレオカメラは、2つのレンズを有していることから、単眼カメラに比べてサイズが大きいだけでなく、高コストである。したがって、ステレオカメラを用いると、省スペース化および低コスト化の観点から問題が生じる。
【0010】
本発明は、上記従来の問題に鑑みなされたものであって、低コストかつコンパクトな構成で撮影対象の動きを精度よく計測することができる動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体を提供することを目的としている。
【0011】
本発明の動き計測装置は、上記従来の課題を解決するために、単眼カメラの撮影動画像から、トラッキング対象となるトラッキング対象画像を、該トラッキング対象の特徴点に基づき抽出するトラッキング対象画像抽出手段と、上記トラッキング対象画像のフレーム間での移動量を実移動量として算出する実移動量算出手段と、上記単眼カメラの撮影対象を3次元的に表現した3次元モデルを、2次元平面上に投影した投影像を生成する2次元平面投影手段と、上記3次元モデルが、該3次元モデルの運動に関する6つの自由度のそれぞれに対応する運動を行った場合に、6つの自由度のそれぞれについて、上記投影像のフレーム間での移動量を推定移動量として算出する推定移動量算出手段と、上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記トラッキング対象における、6つの自由度のそれぞれに対応する3次元的な動きの量を推定する3次元ずれ推定手段とを備えていることを特徴としている。
[0012]
上記構成によれば、トラッキング対象画像抽出手段により抽出されたトラッキング対象画像に関する実移動量が、実移動量算出手段により算出される。一方で、2次元平面投影手段にて生成された3次元モデルの投影像から、推定移動量算出手段により推定移動量が算出される。
[0013]
これらの実移動量および推定移動量は、単眼カメラの撮影対象に関してフレーム間での移動量を示す値である点において共通している。特に、実移動量は、単眼カメラの撮影動画像に基づき得られる値なので、トラッキング対象が現実に移動した量を2次元的に示す値として理解できる。また、推定移動量は、撮影対象の3次元モデルから算出される値であることから、トラッキング対象の移動を3次元的に示す値といえる。
[0014]
よって、3次元ずれ推定手段により実移動量と推定移動量とをマッチングさせることで、現実の移動に即してトラッキング対象の3次元的な動きの量を推定することができる。しかも、本発明の動き計測装置は、撮影対象の3次元モデルを用いているので、精度よくトラッキング対象の動きの量を推定することができる。
また、3次元空間での運動は、基本的に6つの自由度により表現される。ここで、上記構成によれば、推定移動量算出手段は、3次元モデルが6つの自由度のそれぞれに関して運動を行った場合について推定移動量を算出するので、3次元モデルの3次元的な移動を的確に算出することができる。
よって、上記構成によれば、トラッキング対象の3次元的な動きをより正確に計測することができる。
さらに、上記3次元ずれ推定手段は、上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記動きの量を推定する。
上記構成によれば、実移動量と推定移動量とが一次方程式にて対応づけられているので、簡易な処理によりトラッキング対象の3次元的な動きの量を推定できる。よって、より効率的な処理でトラッキング対象の3次元的な動きを計測できる。
[0015]
しかも、本発明によれば、単眼カメラを用いているので、コンパクトなスペースであってもトラッキング対象の3次元的な動きを低コストで計測することができる。
[0016]
また、本発明の動き計測方法は、上記従来の課題を解決するために、単眼カメラの動撮影画像から、トラッキング対象となるトラッキング対象画像を、該トラッキング対象の特徴点に基づき抽出する第1ステップと、上記トラッキング対象画像のフレーム間での移動量を実移動量として算出する第2ステップと、上記単眼カメラの撮影対象を3次元的に表現した3次元モデルを、2次元平面上に投影した投影像を生成する第3ステップと、上記3次元モデルが、該3次元モデルの運動に関する6つの自由度のそれぞれに対応する運動を行った場合に、6つの自由度のそれぞれについて、上記投影像のフレーム間での移動量を推定移動量として算出する第4ステップと、上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記トラッキング対象における、6つの自由度のそれぞれに対応する3次元的な動きの量を推定する第5ステップとを備えていることを特徴としている。
[0017]
上記構成の動き計測方法によれば、第1〜第5ステップにおいて、本発明の動き計測装置と同様の処理が実現されているので、本発明の動き計測装置と同様の作用効果を得ることができる。
[0018]
本発明の動き計測装置によれば、撮影対象の3次元モデルを用いているので、精度よくトラッキング対象の動きの量を推定することができる。しかも、本発明によれば、単眼カメラを用いているので、コンパクトなスペースであってもトラッキング対象の3次元的な動きを低コストで計測することができる。
【図面の簡単な説明】
[0019]
[図1]本発明の一実施形態に係るトラッキング装置の構成を示す図である。
[図2]図1のトラッキング装置における処理の流れを示すフローチャートである。
[図3]3次元モデルを2次元平面に投影する手順を説明する図である。
[図4]図1のトラッキング装置が用いる動きテーブルの構成を示す図である。
[図5](a)は、実移動量を説明するための図であり、(b)は、推定移動量を説明するための図である。
[図6](a)〜(c)は、図1のトラッキング装置のトラッキング精度の評価実験を説明するための図である。
[図7]従来の動き計測に用いられていた顔モデルを示す図である。
【符号の説明】
[0020]
1 トラッキング装置(動き計測装置)
2 トラッキング対象画像抽出部(トラッキング対象画像抽出手段)
3 2次元平面投影部(2次元平面投影手段)
4 微小動き生成部(推定移動量算出手段)
6 2次元ずれ算出部(実移動量算出手段)
7 3次元ずれ推定部(3次元ずれ推定手段)
8 撮影対象動き計測部
10 撮影対象
【発明を実施するための最良の形態】
【0021】
〔1.装置構成の概要〕
先ず、本発明の一実施形態に係るトラッキング装置(動き計測装置)の構成について、図1を用いて説明する。本実施形態のトラッキング装置1は、図1に示すように、トラッキング対象画像抽出部(トラッキング対象画像抽出手段)2と、2次元平面投影部(2次元平面投影手段)3と、微小動き生成部(推定移動量算出手段)4と、記憶部5と、2次元ずれ算出部(実移動量算出手段)6と、3次元ずれ推定部(3次元ずれ推定手段)7と、撮影対象動き計測部8とを備えている。
【0022】
トラッキング対象画像抽出部2は、単眼カメラ9により撮影された撮影対象10の動画像(撮影画像)から、撮影対象中で追跡の対象(トラッキング対象)となる部分の画像(トラッキング対象画像)を抽出するとともに、該トラッキング対象画像における特徴点を異なるフレーム間で追跡するものである。なお、特徴点とは、画像を特徴づける座標のことであり、人間の顔の画像であれば、目尻・目頭・口元・鼻等の位置を示す座標が特徴点に相当する。
【0023】
このトラッキング対象画像抽出部2における処理は、種々の画像特徴抽出処理を用いることができる。たとえば、撮影対象が人間であり、トラッキング対象が人間の顔である場合において、トラッキング対象画像を抽出する処理は、目・口・鼻等の顔において特徴のある部分を撮影画像内で認識する処理により実現することが可能である。なお、画像特徴抽出処理としてテンプレートマッチング法を用いた技術は、非特許文献4に記載されている。
【0024】
2次元平面投影部3は、撮影対象10の形状を3次元的に表現した形状モデル(以下、3次元モデル)の姿勢を、撮影対象10の姿勢とフレーム毎に一致させ、その姿勢が一致された3次元モデルを2次元平面上に投影した像(以下、投影像)の座標を算出するものである。2次元平面投影部3による投影処理の詳細に関しては後述する。
【0025】
なお、3次元モデルは、トラッキング装置1によりトラッキング対象の動きを求める前に、公知の手順を用いて予め作成されるものである。たとえば、ステレオカメラや3Dスキャナにより撮影対象を3次元的に計測することで、3次元モデルを構築することが可能である(非特許文献4参照)。また、単眼カメラを用いて撮影対象の特徴点を追跡することで、3次元モデルを構築することも可能である(非特許文献5参照)。
【0026】
微小動き生成部4は、3次元モデルが基準動作を行った場合に、その3次元モデルの投影像の移動量を、X軸およびY軸方向のそれぞれに関して撮影画像のフレーム毎に算出するものである。なお、投影像の座標を求める処理は、2次元平面投影部3により実行されるものである。また、微小動き生成部4による移動量算出の処理の詳細は後述するものとし、以下の説明では、微小動き生成部4により算出される移動量を特に「推定移動量」として記載する。この推定移動量は、X軸およびY軸方向のそれぞれに関する移動距離を示すものであるから、ベクトルとして表現される。
【0027】
ここで、「基準動作」とは、3次元空間内における3次元モデルの移動を表現するための6つの動作を意味している。すなわち、3次元空間を規定するX軸、Y軸、およびZ軸のそれぞれに関して、3次元モデルが微小な単位距離だけ平行移動する動作、および3次元モデルが微小な単位角度だけ回転する動作をここでは「基準動作」と記載している。なお、以下の説明においては、6つの基準動作を以下のように定義する。
【0028】
「X軸並進」…3次元モデルがX軸に関して単位距離だけ平行移動する動作
「Y軸並進」…3次元モデルがY軸に関して単位距離だけ平行移動する動作
「Z軸並進」…3次元モデルがZ軸に関して単位距離だけ平行移動する動作
「X軸回転」…3次元モデルがX軸に関して単位角度だけ回転する動作
「Y軸回転」…3次元モデルがY軸に関して単位角度だけ回転する動作
「Z軸回転」…3次元モデルがZ軸に関して単位角度だけ回転する動作。
【0029】
記憶部5は、2次元平面投影部3により算出された投影像の各座標と、基準動作と、微小動き生成部4により算出された2次元平面上の座標の移動量とを対応づけた動きテーブル(後述する)を記憶するものである。
【0030】
2次元ずれ算出部6は、トラッキング対象画像における各特徴点の座標に関して、フレーム間における移動量を算出するものである。すなわち、2次元ずれ算出部6は、前フレームから現フレームまでの間に、トラッキング対象画像における各特徴点が実際に移動した距離を、X軸およびY軸方向のそれぞれに関して算出するものである。なお、以下の説明では2次元ずれ算出部6により算出される移動量を、「実移動量」として記載する。この実移動量は、X軸およびY軸方向のそれぞれに関する移動距離を示すものであるから、ベクトルとして表現される。
【0031】
3次元ずれ推定部7は、記憶部5に記憶された動きテーブルから推定移動量を読み出すとともに、2次元ずれ算出部6により算出された実移動量とその推定移動量とを対応づけ、後述する手順によりトラッキング対象の3次元的な動きの量(3次元的ずれ)を推定するものである。
【0032】
撮影対象動き計測部8は、3次元ずれ推定部7により推定されたトラッキング対象の3次元的ずれに基づき、撮影対象がどのような動作を行ったかを計測するものである。たとえばトラッキング対象が人間の顔であれば、撮影対象動き計測部8は、トラッキング対象の3次元的ずれに基づき、視線の移動・まばたき・口の開閉など、撮影対象である人間がどのような動作を行ったかを計測するものである。
【0033】
上記構成のトラッキング装置1により、撮影対象の動きが計測されるまでの一連の処理を図2のフローチャートを用いて説明する。なお、以下では撮影対象10が人間であり、トラッキング対象が人間の顔である場合について説明する。また、人間の顔の3次元モデルは、単に「3次元顔モデル」として記載する。
【0034】
まず、トラッキング装置1によるトラッキング処理を行う前に、図2に示すように3次元顔モデルが構築される(ステップ1、以下単にステップをSと記載する)。その後、トラッキング対象画像抽出部2により、単眼カメラ9で人間を撮影した画像から、その人間の顔の画像(顔画像)が、トラッキング対象画像として抽出される(S2)。
【0035】
その後、2次元平面投影部3により、3次元顔モデルが2次元平面に投影される(S3)。そして、微小動き生成部4により、上記3次元顔モデルの推定移動量が算出される(S4)。
【0036】
また、トラッキング対象画像抽出部2により、顔画像における特徴点が異なるフレーム間で追跡される(S5)。その後、2次元ずれ算出部6により、顔画像における特徴点の実移動量およびその信頼性が算出される(S6)。なお、S5およびS6の処理は、S3およびS4の処理が実行される前に行われてもよい。
【0037】
そして、S3〜S6の処理が終了したら、3次元ずれ推定部7により、トラッキング対象である人間の顔の3次元的ずれが算出される(S7)。そして、S7にて推定された3次元ずれに基づき、撮影対象動き計測部8により、視線の移動・まばたき・口の開閉など、人間がどのような動きを行ったかが計測される(S8)。
【0038】
上記したS1〜S8の処理が完了することで、撮影対象である人間がどのように動いたかが、トラッキング装置1により判断される。以下では、トラッキング装置1における各ブロックの処理の詳細について、より具体的に説明する。
【0039】
〔2.2次元平面投影部3における処理について〕
2次元平面投影部3により、3次元モデルを2次元平面に投影する手順について説明する。図3に示すように、XYZ軸で規定される3次元空間内に、3次元モデルを投影する2次元平面を原点からの距離がfの平面として想定する。なお、この3次元空間の原点は、単眼カメラ9の焦点としてみなせるものである。また、原点と2次元平面との距離fは、単眼カメラ9の焦点距離としてみなせるものである。
【0040】
ここで、カメラのモデルとしてピンホールカメラモデルを用いた場合、投影方法は透視変換になり、3次元モデル上の任意の位置における座標(x,y,z)に対応する投影像上の座標を(u,v)とすると、以下の式(1)に基づき座標(u,v)を求めることができる。
【0041】
u=f×x/Z v=f×y/Z …式(1)
そして、上記の座標(x,y,z)を3次元モデル上の座標として適宜変更していき、座標(u,v)を式(1)に基づき算出することにより、投影像全体の座標を求める処理が完了する。
【0042】
〔3.微小動き生成部4における処理について〕
微小動き生成部4により、3次元モデルに対応する投影像の推定移動量を算出する手順について以下に説明する。
【0043】
先ず、微小動き生成部4は、前フレームにおける3次元モデルの特徴点が、投影像上においてどのような座標で表現されるかを求める。たとえば、3次元モデルにおける2つの特徴点を点Aおよび点Bとするなら、微小動き生成部4は、点Aに対応する投影像上の座標を(xa,ya)として求め、点Bに対応する投影像上の座標を(xb,yb)として求める。なお、これらの座標(xa,ya)および(xb,yb)は、前フレームでの点Aおよび点Bのそれぞれに対応している。
【0044】
そして、微小動き生成部4は、3次元モデルが基準動作を行った場合に、現フレームと前フレームとの間で特徴点の座標が2次元平面上でどれだけ移動するかを算出する。すなわち、微小動き生成部4は、上述した基準動作である「X軸並進」,「Y軸並進」,「Z軸並進」,「X軸回転」,「Y軸回転」,および「Z軸回転」のそれぞれを3次元モデルが行った場合に、各基準動作に対応する2次元平面上での特徴点の移動量を算出する。
【0045】
さらに、微小動き生成部4は、このようにして求められた特徴点の推定移動量と、投影像における特徴点の前フレームでの座標と、基準動作とを対応づけた動きテーブルを作成し、この動きテーブルを記憶部5に記憶する。
【0046】
ここで、動きテーブルの構成を図4に示す。図4に示すように、動きテーブルにおいては、投影像における特徴点の座標(xa,ya)および(xb,yb)のそれぞれが、6つの基準動作のそれぞれと、推定移動量とに対応づけられている。もちろん、動きテーブルに格納された特徴点の座標は、前フレームにおける座標である。
【0047】
なお、動きテーブルは、フレーム毎に順次更新されていく。つまり、動きテーブルに格納された推定移動量が後述する3次元的ずれの推定処理に用いられたら、現フレームでの投影像における特徴点の座標が動きテーブルに格納される。そして、現フレームと次フレームとの間における推定移動量が、各基準動作に対応して微小動き生成部4により求められ、動きテーブルに格納される。
【0048】
〔4.3次元ずれ推定部7における処理について〕
3次元ずれ推定部7によりトラッキング対象の3次元的ずれを推定する処理について以下に説明する。先ず、3次元ずれ推定部7は、記憶部5に記憶された動きテーブルを参照し、6つの基準動作に対応する推定移動量を読み出す。同時に、3次元ずれ推定部7は、2次元ずれ算出部6が算出した実移動量を取得する。
【0049】
実移動量および推定移動量がどのようなものであるかは上述したとおりであるが、参考のため図5(a)および図5(b)を用いて実移動量および推定移動量の説明を行う。
【0050】
実移動量は、図5(a)に示すように、前フレームでの3次元モデル中の特徴点を2次元平面に投影した位置(図中●印で示す)と、現フレームでの3次元モデル中の特徴点を2次元平面に投影した位置(図中○印で示す)との間における移動距離を示すものである。一方、推定移動量は、図5(b)に示すように、前フレームでの3次元モデル中の特徴点を2次元平面に投影した位置が、6つの基準動作のいずれかを行った場合にどのように移動するかを示すものである。
【0051】
そして、3次元ずれ推定部7は、推定移動量と実移動量とを対応づけ、以下の一次方程式(2)における係数a1〜a6を求める。
【0052】
(実移動量)=a1×(X軸並進に対応する推定移動量)+a2×(Y軸並進に対応する推定移動量)+a3×(Z軸並進に対応する推定移動量)+a4×(X軸回転に対応する推定移動量)+a5×(Y軸回転に対応する推定移動量)+a6×(Z軸回転に対応する推定移動量)…式(2)
なお、推定移動量は図4の動きテーブルに示したように、X軸およびY軸のそれぞれに関する特徴点の移動距離を示すベクトルとして表現される。つまり、1つの推定移動量には、2つのパラメータが含まれていることになる。一方で、式(2)における未知の係数(a1〜a6)は6つであるから、最低限3つの特徴点に関する推定移動量および実移動量が求められていれば、係数a1〜a6を算出することができる。なお、4つ以上の特徴点に関する実移動量および推定移動量が求められている場合には、最小自乗法等の補間方法を用いて係数a1〜a6を算出してもよい。
【0053】
そして、この係数a1〜a6に基づき、トラッキング対象がどのように動いたかを判断することができる。すなわち、上述した6つの基準動作は、3次元モデルの動きが有する6つの自由度のそれぞれに対応している。したがって、係数a1〜a6を求めることにより、6つの自由度のそれぞれに関して3次元モデルがどのような割合で動いたかを求めることができる。
【0054】
〔5.精度評価実験〕
本実施形態のトラッキング装置1に単眼カメラ9を適用した場合における、トラッキング精度の評価実験を行ったので以下に説明する。
【0055】
先ず、トラッキング精度の評価実験を行うにあたって、図6(a)に示すように、撮影対象としてのマネキンの首をモータにより左右に振り、単眼カメラにてそのマネキンの首を撮影した。この際における単眼カメラによる撮影画像を図6(b)に示す。なお、図6(b)に示す画像においては、たとえば目頭や目尻付近の画像が小さな枠で囲まれている。これは、たとえば目頭付近の画像がトラッキング対象画像として抽出されていることを示している。
【0056】
図6(c)は、本実施形態のトラッキング装置1によるトラッキング精度を、ステレオカメラを用いた場合のトラッキング精度と対比して示すグラフである。なお、図6(c)においては、本実施形態のトラッキング装置1に単眼カメラを適用した場合のトラッキング精度を実線にて示し、ステレオカメラを用いた場合のトラッキング精度を点線にて示している。また、トラッキング精度の理想値は1点鎖線にて示している。
【0057】
図6(c)に示すグラフから、単眼カメラによるトラッキング精度は、やはりステレオカメラのそれに対して劣ってはいるものの、マネキンの首振り角度の変化は単眼カメラを用いた場合でも十分トラッキングできていることがわかる。したがって、単眼カメラを本実施形態のトラッキング装置に適用すれば、実用上はステレオカメラを用いた場合と遜色のないトラッキング精度が得られる。
【0058】
〔6.補足〕
このように、本実施形態のトラッキング装置1は、単眼カメラ9の撮影画像からトラッキング対象となるトラッキング対象画像を抽出するトラッキング対象画像抽出部2と、トラッキング対象画像のフレーム間での移動量を実移動量として算出する2次元ずれ算出部6と、単眼カメラ9の撮影対象を3次元的に表現した3次元モデルを、2次元平面上に投影した投影像を生成する2次元平面投影部3と、投影像のフレーム間での移動量を推定移動量として算出する微小動き生成部4と、上記実移動量と上記推定移動量とに基づき、トラッキング対象の3次元的な動きの量を推定する3次元ずれ推定部7とを備えている。
【0059】
上記構成によれば、トラッキング対象画像抽出部2により抽出されたトラッキング対象画像に関する実移動量が、2次元ずれ算出部6により算出される。一方で、2次元平面投影部3にて生成された3次元モデルの投影像から、微小動き生成部4により推定移動量が算出される。
【0060】
これらの実移動量および推定移動量は、単眼カメラ9の撮影対象に関してフレーム間での移動量を示す値である点において共通している。特に、実移動量は、単眼カメラ9の撮影画像に基づき得られる値なので、トラッキング対象が現実に移動した量を2次元的に示す値として理解できる。また、推定移動量は、撮影対象の3次元モデルから算出される値であることから、トラッキング対象の移動を3次元的に示す値といえる。
【0061】
よって、3次元ずれ推定部7により実移動量と推定移動量とをマッチングさせることで、現実の移動に即してトラッキング対象の3次元的な動きの量を推定することができる。しかも、トラッキング装置1は、撮影対象の3次元モデルを用いているので、精度よくラッキング対象の動きの量を推定することができる。
【0062】
しかも、トラッキング装置1は、単眼カメラ9を用いているので、コンパクトなスペースであってもトラッキング対象の3次元的な動きを低コストで計測することができる。
【0063】
さらに、微小動き生成部4は、上記3次元モデルの運動に関する6つの自由度のそれぞれについて該3次元モデルが運動を行った場合における上記投影像の移動量を、上記推定移動量として算出するので、3次元モデルの3次元的な移動を的確に算出することができる。
【0064】
さらに、3次元ずれ推定部7は、上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記動きの量を推定するので、簡易な処理によりトラッキング対象の3次元的な動きの量を推定できる。よって、より効率的な処理でトラッキング対象の3次元的な動きを計測できる。
【0065】
なお、本実施形態のトラッキング装置1の各手段における処理手順は、CPUなどの演算手段が、ROM(Read Only Memory)やRAM(Random Access Memory)などの記憶手段に記憶されたプログラムを実行し、キーボードなどの入力手段、ディスプレイなどの出力手段、あるいは、インターフェース回路などの通信手段を制御することにより実現することができる。
【0066】
したがって、これらの手段を有するコンピュータが、上記プログラムを記録した記録媒体を読み取り、当該プログラムを実行するだけで、本実施形態のトラッキング装置1の各種処理を実現することができる。また、上記プログラムをリムーバブルな記録媒体に記録することにより、任意のコンピュータ上で上記の各種機能および各種処理を実現することができる。
【0067】
この記録媒体としては、マイクロコンピュータで処理を行うために図示しないメモリ、例えばROMのようなものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することにより読み取り可能なプログラムメディアであっても良い。
【0068】
また、何れの場合でも、格納されているプログラムは、マイクロプロセッサがアクセスして実行される構成であることが好ましい。さらに、プログラムを読み出し、読み出されたプログラムは、マイクロコンピュータのプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であることが好ましい。なお、このダウンロード用のプログラムは予め本体装置に格納されているものとする。
【0069】
また、上記プログラムメディアとしては、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやCD/MO/MD/DVD等のディスクのディスク系、ICカード(メモリカードを含む)等のカード系、あるいはマスクROM、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、フラッシュROM等による半導体メモリを含めた固定的にプログラムを担持する記録媒体等がある。
【0070】
また、インターネットを含む通信ネットワークを接続可能なシステム構成であれば、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する記録媒体であることが好ましい。
【0071】
さらに、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであることが好ましい。
【0072】
さらに、上記推定移動量算出手段は、上記3次元モデルの運動に関する6つの自由度のそれぞれについて該3次元モデルが運動を行った場合における上記投影像の移動量を、上記推定移動量として算出することが好ましい。
【0073】
なぜなら、3次元空間での運動は、基本的に6つの自由度により表現される。そして、上記構成によれば、推定移動量算出手段は、3次元モデルが6つの自由度のそれぞれに関して運動を行った場合について推定移動量を算出するので、3次元モデルの3次元的な移動を的確に算出することができる。
【0074】
よって、上記構成によれば、トラッキング対象の3次元的な動きをより正確に計測することができる。
【0075】
さらに、上記3次元ずれ推定手段は、上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記動きの量を推定することが好ましい。
【0076】
上記構成によれば、実移動量と推定移動量とが一次方程式にて対応づけられているので、簡易な処理によりトラッキング対象の3次元的な動きの量を推定できる。よって、より効率的な処理でトラッキング対象の3次元的な動きを計測できる。
【0077】
また、本発明の動き計測装置は、単眼カメラが備えられている動き計測システムとして構成することも可能である。
【0078】
さらに、この動き計測システムは、コンパクトなスペースに設置することができるので、車載機器に搭載するのに適している。そして、本発明の動き計測システムが搭載された車載機器によりドライバーの動きを計測することにより、他の車載機器をハンズフリーで操作したり、ドライバーの居眠りに警告を与えたりすることが可能となる。
【0079】
なお、上記構成の動き計測装置における各手段としてコンピュータを機能させる動き計測プログラムにより、コンピュータを用いて本発明の動き計測装置と同様の作用効果を得ることができる。さらに、上記動き計測プログラムをコンピュータ読み取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記動き計測プログラムを実行させることができる。
【産業上の利用可能性】
【0080】
本発明の動き計測装置は、種々の産業に利用することができる。以下、本発明を利用可能な産業の具体例について説明する。
【0081】
たとえば、本発明の動き計測装置は、自動車のドライバーの動きを計測するという目的に好適である。なぜなら、ドライバーは基本的に運転に集中すべきであるとの観点から、カーナビゲーション等の車載機器の操作は、ドライバーがハンドルから手を離さない状態でできることが好ましい。さらに、自動車内において車載機器を搭載できるスペースは制限されている。
【0082】
この点、本発明の動き計測装置を用いれば、コンパクトな単眼カメラを用いて十分な精度でドライバーの動きを検出することができるので、自動車内に容易に搭載することができる。さらに、本発明の動き計測装置を用いてユーザの動きを検出することにより、ハンドルから手を離さない状態で車載機器を操作することも可能となる。
【0083】
また、ドライバーの安全を確保するという観点からも本発明の動き計測装置は有利である。つまり、本発明の動き計測装置を用いてドライバーが居眠りをしているか否かを検出し、必要に応じてドライバーに警告を促すということも可能となる。
【0084】
また、本発明の動き計測装置は、コンピュータインターフェースとしても利用可能である。つまり、単眼カメラとして市販のウェブカメラを用い、さらにウェブカメラと本発明の動き計測装置とを接続することで、手軽にコンピュータのユーザの動きを計測することが可能となる。これにより、ビデオチャットやネットワーク対戦型のゲームにおいて、本発明の動き計測装置により計測されたユーザの動きを利用することができる。
【0001】
本発明は、カメラの撮影対象の動きを追跡するための動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【0002】
従来、人間の顔などを単眼カメラにより撮影した画像(撮影画像)に基づき、撮影対象物の定量的な動きを求めるために、撮影対象物を単純化した形状モデルを仮定し、撮影画像上の動きからそのモデルの動きを求めることが行われていた。
【0003】
たとえば、人間の顔を撮影した画像からその顔の定量的な動きを求める場合、図7に示すように、人間の顔を平面的に表現したモデル(非特許文献1参照)や、人間の顔を円筒(非特許文献2参照)または楕円体(非特許文献3参照)とみなして表現したモデルが用いられていた。
【0004】
また、この手法と同様に、単眼カメラで撮影した画像に基づき撮影対象の定量的な動きを求める際、たとえば正射影変換や弱透視変換を用いてカメラモデルを単純化することも行われていた。
【0005】
さらに、単眼カメラではなくステレオカメラを用いて撮影した画像に基づき、撮影対象物の定量的な動きを求める場合もある(非特許文献4参照)。この場合、ステレオカメラの撮影画像から得られる撮影対象物の3次元的な座標値と、撮影対象物の3次元的なモデルとを、3次元空間中で直接フィッティングすることにより、撮影対象物の位置や姿勢を精度よく計測することができる。
非特許文献1:M.J. Black and Y. Yacoob. Tracking and recognizing rigid and non-rigid facial motions using local parametric models of image motions. ICCV, 1995.
非特許文献2:M.L.Cascia, S.Sclaroff and V.Athitsos: "Fast, Reliable Head Tracking under Varying Illumination: An Approach Based on Registration of Texture-Mapped 3D Models", IEEE PAMI,vol. 22, no.4, April 2000.
非特許文献3:S.Basu, I.Essa, A.Pentland: ”Motion Regularization for Model-Based Head Tracking”, Proceedings of the International Conference on Pattern Recognition (ICPR '96) Volume III-Volume 7276, p.611, August 25-29, 1996
非特許文献4:Yoshio Matsumoto, Alexander Zelinsky: “An Algorithm for Real-time Stereo Vision Implementation of Head Pose and Gaze Direction Measurement”, Proceedings of IEEE Fourth International Conference on Face and Gesture Recognition (FG'2000), pp.499-505, 2000.
非特許文献5:Tomasi, Kanade: “Shape and motion from image streams: a factorization method,” Technical Report CMU-CS-91-132, CMU, 1991
発明の開示
【0006】
しかしながら、上述した従来技術には以下の問題点がある。
【0007】
先ず、単眼カメラを用いて撮影対象物の動きを求める技術においては、撮影対象物を単純化したモデルを用いると、当該モデルが撮影対象物を単純化するものなので、動きの測定精度が低下してしまう。同様に、カメラモデルを単純化しても、動きの測定精度は低下する。
【0008】
また、ステレオカメラは基本的に2つのレンズを有している。したがって、ステレオカメラを用いて撮影対象物の動きを求める技術では、2つのレンズ間の位置関係をキャリブレーションすることが、煩雑な作業となり得る。
【0009】
また、ステレオカメラは、2つのレンズを有していることから、単眼カメラに比べてサイズが大きいだけでなく、高コストである。したがって、ステレオカメラを用いると、省スペース化および低コスト化の観点から問題が生じる。
【0010】
本発明は、上記従来の問題に鑑みなされたものであって、低コストかつコンパクトな構成で撮影対象の動きを精度よく計測することができる動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体を提供することを目的としている。
【0011】
本発明の動き計測装置は、上記従来の課題を解決するために、単眼カメラの撮影動画像から、トラッキング対象となるトラッキング対象画像を、該トラッキング対象の特徴点に基づき抽出するトラッキング対象画像抽出手段と、上記トラッキング対象画像のフレーム間での移動量を実移動量として算出する実移動量算出手段と、上記単眼カメラの撮影対象を3次元的に表現した3次元モデルを、2次元平面上に投影した投影像を生成する2次元平面投影手段と、上記3次元モデルが、該3次元モデルの運動に関する6つの自由度のそれぞれに対応する運動を行った場合に、6つの自由度のそれぞれについて、上記投影像のフレーム間での移動量を推定移動量として算出する推定移動量算出手段と、上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記トラッキング対象における、6つの自由度のそれぞれに対応する3次元的な動きの量を推定する3次元ずれ推定手段とを備えていることを特徴としている。
[0012]
上記構成によれば、トラッキング対象画像抽出手段により抽出されたトラッキング対象画像に関する実移動量が、実移動量算出手段により算出される。一方で、2次元平面投影手段にて生成された3次元モデルの投影像から、推定移動量算出手段により推定移動量が算出される。
[0013]
これらの実移動量および推定移動量は、単眼カメラの撮影対象に関してフレーム間での移動量を示す値である点において共通している。特に、実移動量は、単眼カメラの撮影動画像に基づき得られる値なので、トラッキング対象が現実に移動した量を2次元的に示す値として理解できる。また、推定移動量は、撮影対象の3次元モデルから算出される値であることから、トラッキング対象の移動を3次元的に示す値といえる。
[0014]
よって、3次元ずれ推定手段により実移動量と推定移動量とをマッチングさせることで、現実の移動に即してトラッキング対象の3次元的な動きの量を推定することができる。しかも、本発明の動き計測装置は、撮影対象の3次元モデルを用いているので、精度よくトラッキング対象の動きの量を推定することができる。
また、3次元空間での運動は、基本的に6つの自由度により表現される。ここで、上記構成によれば、推定移動量算出手段は、3次元モデルが6つの自由度のそれぞれに関して運動を行った場合について推定移動量を算出するので、3次元モデルの3次元的な移動を的確に算出することができる。
よって、上記構成によれば、トラッキング対象の3次元的な動きをより正確に計測することができる。
さらに、上記3次元ずれ推定手段は、上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記動きの量を推定する。
上記構成によれば、実移動量と推定移動量とが一次方程式にて対応づけられているので、簡易な処理によりトラッキング対象の3次元的な動きの量を推定できる。よって、より効率的な処理でトラッキング対象の3次元的な動きを計測できる。
[0015]
しかも、本発明によれば、単眼カメラを用いているので、コンパクトなスペースであってもトラッキング対象の3次元的な動きを低コストで計測することができる。
[0016]
また、本発明の動き計測方法は、上記従来の課題を解決するために、単眼カメラの動撮影画像から、トラッキング対象となるトラッキング対象画像を、該トラッキング対象の特徴点に基づき抽出する第1ステップと、上記トラッキング対象画像のフレーム間での移動量を実移動量として算出する第2ステップと、上記単眼カメラの撮影対象を3次元的に表現した3次元モデルを、2次元平面上に投影した投影像を生成する第3ステップと、上記3次元モデルが、該3次元モデルの運動に関する6つの自由度のそれぞれに対応する運動を行った場合に、6つの自由度のそれぞれについて、上記投影像のフレーム間での移動量を推定移動量として算出する第4ステップと、上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記トラッキング対象における、6つの自由度のそれぞれに対応する3次元的な動きの量を推定する第5ステップとを備えていることを特徴としている。
[0017]
上記構成の動き計測方法によれば、第1〜第5ステップにおいて、本発明の動き計測装置と同様の処理が実現されているので、本発明の動き計測装置と同様の作用効果を得ることができる。
[0018]
本発明の動き計測装置によれば、撮影対象の3次元モデルを用いているので、精度よくトラッキング対象の動きの量を推定することができる。しかも、本発明によれば、単眼カメラを用いているので、コンパクトなスペースであってもトラッキング対象の3次元的な動きを低コストで計測することができる。
【図面の簡単な説明】
[0019]
[図1]本発明の一実施形態に係るトラッキング装置の構成を示す図である。
[図2]図1のトラッキング装置における処理の流れを示すフローチャートである。
[図3]3次元モデルを2次元平面に投影する手順を説明する図である。
[図4]図1のトラッキング装置が用いる動きテーブルの構成を示す図である。
[図5](a)は、実移動量を説明するための図であり、(b)は、推定移動量を説明するための図である。
[図6](a)〜(c)は、図1のトラッキング装置のトラッキング精度の評価実験を説明するための図である。
[図7]従来の動き計測に用いられていた顔モデルを示す図である。
【符号の説明】
[0020]
1 トラッキング装置(動き計測装置)
2 トラッキング対象画像抽出部(トラッキング対象画像抽出手段)
3 2次元平面投影部(2次元平面投影手段)
4 微小動き生成部(推定移動量算出手段)
6 2次元ずれ算出部(実移動量算出手段)
7 3次元ずれ推定部(3次元ずれ推定手段)
8 撮影対象動き計測部
10 撮影対象
【発明を実施するための最良の形態】
【0021】
〔1.装置構成の概要〕
先ず、本発明の一実施形態に係るトラッキング装置(動き計測装置)の構成について、図1を用いて説明する。本実施形態のトラッキング装置1は、図1に示すように、トラッキング対象画像抽出部(トラッキング対象画像抽出手段)2と、2次元平面投影部(2次元平面投影手段)3と、微小動き生成部(推定移動量算出手段)4と、記憶部5と、2次元ずれ算出部(実移動量算出手段)6と、3次元ずれ推定部(3次元ずれ推定手段)7と、撮影対象動き計測部8とを備えている。
【0022】
トラッキング対象画像抽出部2は、単眼カメラ9により撮影された撮影対象10の動画像(撮影画像)から、撮影対象中で追跡の対象(トラッキング対象)となる部分の画像(トラッキング対象画像)を抽出するとともに、該トラッキング対象画像における特徴点を異なるフレーム間で追跡するものである。なお、特徴点とは、画像を特徴づける座標のことであり、人間の顔の画像であれば、目尻・目頭・口元・鼻等の位置を示す座標が特徴点に相当する。
【0023】
このトラッキング対象画像抽出部2における処理は、種々の画像特徴抽出処理を用いることができる。たとえば、撮影対象が人間であり、トラッキング対象が人間の顔である場合において、トラッキング対象画像を抽出する処理は、目・口・鼻等の顔において特徴のある部分を撮影画像内で認識する処理により実現することが可能である。なお、画像特徴抽出処理としてテンプレートマッチング法を用いた技術は、非特許文献4に記載されている。
【0024】
2次元平面投影部3は、撮影対象10の形状を3次元的に表現した形状モデル(以下、3次元モデル)の姿勢を、撮影対象10の姿勢とフレーム毎に一致させ、その姿勢が一致された3次元モデルを2次元平面上に投影した像(以下、投影像)の座標を算出するものである。2次元平面投影部3による投影処理の詳細に関しては後述する。
【0025】
なお、3次元モデルは、トラッキング装置1によりトラッキング対象の動きを求める前に、公知の手順を用いて予め作成されるものである。たとえば、ステレオカメラや3Dスキャナにより撮影対象を3次元的に計測することで、3次元モデルを構築することが可能である(非特許文献4参照)。また、単眼カメラを用いて撮影対象の特徴点を追跡することで、3次元モデルを構築することも可能である(非特許文献5参照)。
【0026】
微小動き生成部4は、3次元モデルが基準動作を行った場合に、その3次元モデルの投影像の移動量を、X軸およびY軸方向のそれぞれに関して撮影画像のフレーム毎に算出するものである。なお、投影像の座標を求める処理は、2次元平面投影部3により実行されるものである。また、微小動き生成部4による移動量算出の処理の詳細は後述するものとし、以下の説明では、微小動き生成部4により算出される移動量を特に「推定移動量」として記載する。この推定移動量は、X軸およびY軸方向のそれぞれに関する移動距離を示すものであるから、ベクトルとして表現される。
【0027】
ここで、「基準動作」とは、3次元空間内における3次元モデルの移動を表現するための6つの動作を意味している。すなわち、3次元空間を規定するX軸、Y軸、およびZ軸のそれぞれに関して、3次元モデルが微小な単位距離だけ平行移動する動作、および3次元モデルが微小な単位角度だけ回転する動作をここでは「基準動作」と記載している。なお、以下の説明においては、6つの基準動作を以下のように定義する。
【0028】
「X軸並進」…3次元モデルがX軸に関して単位距離だけ平行移動する動作
「Y軸並進」…3次元モデルがY軸に関して単位距離だけ平行移動する動作
「Z軸並進」…3次元モデルがZ軸に関して単位距離だけ平行移動する動作
「X軸回転」…3次元モデルがX軸に関して単位角度だけ回転する動作
「Y軸回転」…3次元モデルがY軸に関して単位角度だけ回転する動作
「Z軸回転」…3次元モデルがZ軸に関して単位角度だけ回転する動作。
【0029】
記憶部5は、2次元平面投影部3により算出された投影像の各座標と、基準動作と、微小動き生成部4により算出された2次元平面上の座標の移動量とを対応づけた動きテーブル(後述する)を記憶するものである。
【0030】
2次元ずれ算出部6は、トラッキング対象画像における各特徴点の座標に関して、フレーム間における移動量を算出するものである。すなわち、2次元ずれ算出部6は、前フレームから現フレームまでの間に、トラッキング対象画像における各特徴点が実際に移動した距離を、X軸およびY軸方向のそれぞれに関して算出するものである。なお、以下の説明では2次元ずれ算出部6により算出される移動量を、「実移動量」として記載する。この実移動量は、X軸およびY軸方向のそれぞれに関する移動距離を示すものであるから、ベクトルとして表現される。
【0031】
3次元ずれ推定部7は、記憶部5に記憶された動きテーブルから推定移動量を読み出すとともに、2次元ずれ算出部6により算出された実移動量とその推定移動量とを対応づけ、後述する手順によりトラッキング対象の3次元的な動きの量(3次元的ずれ)を推定するものである。
【0032】
撮影対象動き計測部8は、3次元ずれ推定部7により推定されたトラッキング対象の3次元的ずれに基づき、撮影対象がどのような動作を行ったかを計測するものである。たとえばトラッキング対象が人間の顔であれば、撮影対象動き計測部8は、トラッキング対象の3次元的ずれに基づき、視線の移動・まばたき・口の開閉など、撮影対象である人間がどのような動作を行ったかを計測するものである。
【0033】
上記構成のトラッキング装置1により、撮影対象の動きが計測されるまでの一連の処理を図2のフローチャートを用いて説明する。なお、以下では撮影対象10が人間であり、トラッキング対象が人間の顔である場合について説明する。また、人間の顔の3次元モデルは、単に「3次元顔モデル」として記載する。
【0034】
まず、トラッキング装置1によるトラッキング処理を行う前に、図2に示すように3次元顔モデルが構築される(ステップ1、以下単にステップをSと記載する)。その後、トラッキング対象画像抽出部2により、単眼カメラ9で人間を撮影した画像から、その人間の顔の画像(顔画像)が、トラッキング対象画像として抽出される(S2)。
【0035】
その後、2次元平面投影部3により、3次元顔モデルが2次元平面に投影される(S3)。そして、微小動き生成部4により、上記3次元顔モデルの推定移動量が算出される(S4)。
【0036】
また、トラッキング対象画像抽出部2により、顔画像における特徴点が異なるフレーム間で追跡される(S5)。その後、2次元ずれ算出部6により、顔画像における特徴点の実移動量およびその信頼性が算出される(S6)。なお、S5およびS6の処理は、S3およびS4の処理が実行される前に行われてもよい。
【0037】
そして、S3〜S6の処理が終了したら、3次元ずれ推定部7により、トラッキング対象である人間の顔の3次元的ずれが算出される(S7)。そして、S7にて推定された3次元ずれに基づき、撮影対象動き計測部8により、視線の移動・まばたき・口の開閉など、人間がどのような動きを行ったかが計測される(S8)。
【0038】
上記したS1〜S8の処理が完了することで、撮影対象である人間がどのように動いたかが、トラッキング装置1により判断される。以下では、トラッキング装置1における各ブロックの処理の詳細について、より具体的に説明する。
【0039】
〔2.2次元平面投影部3における処理について〕
2次元平面投影部3により、3次元モデルを2次元平面に投影する手順について説明する。図3に示すように、XYZ軸で規定される3次元空間内に、3次元モデルを投影する2次元平面を原点からの距離がfの平面として想定する。なお、この3次元空間の原点は、単眼カメラ9の焦点としてみなせるものである。また、原点と2次元平面との距離fは、単眼カメラ9の焦点距離としてみなせるものである。
【0040】
ここで、カメラのモデルとしてピンホールカメラモデルを用いた場合、投影方法は透視変換になり、3次元モデル上の任意の位置における座標(x,y,z)に対応する投影像上の座標を(u,v)とすると、以下の式(1)に基づき座標(u,v)を求めることができる。
【0041】
u=f×x/Z v=f×y/Z …式(1)
そして、上記の座標(x,y,z)を3次元モデル上の座標として適宜変更していき、座標(u,v)を式(1)に基づき算出することにより、投影像全体の座標を求める処理が完了する。
【0042】
〔3.微小動き生成部4における処理について〕
微小動き生成部4により、3次元モデルに対応する投影像の推定移動量を算出する手順について以下に説明する。
【0043】
先ず、微小動き生成部4は、前フレームにおける3次元モデルの特徴点が、投影像上においてどのような座標で表現されるかを求める。たとえば、3次元モデルにおける2つの特徴点を点Aおよび点Bとするなら、微小動き生成部4は、点Aに対応する投影像上の座標を(xa,ya)として求め、点Bに対応する投影像上の座標を(xb,yb)として求める。なお、これらの座標(xa,ya)および(xb,yb)は、前フレームでの点Aおよび点Bのそれぞれに対応している。
【0044】
そして、微小動き生成部4は、3次元モデルが基準動作を行った場合に、現フレームと前フレームとの間で特徴点の座標が2次元平面上でどれだけ移動するかを算出する。すなわち、微小動き生成部4は、上述した基準動作である「X軸並進」,「Y軸並進」,「Z軸並進」,「X軸回転」,「Y軸回転」,および「Z軸回転」のそれぞれを3次元モデルが行った場合に、各基準動作に対応する2次元平面上での特徴点の移動量を算出する。
【0045】
さらに、微小動き生成部4は、このようにして求められた特徴点の推定移動量と、投影像における特徴点の前フレームでの座標と、基準動作とを対応づけた動きテーブルを作成し、この動きテーブルを記憶部5に記憶する。
【0046】
ここで、動きテーブルの構成を図4に示す。図4に示すように、動きテーブルにおいては、投影像における特徴点の座標(xa,ya)および(xb,yb)のそれぞれが、6つの基準動作のそれぞれと、推定移動量とに対応づけられている。もちろん、動きテーブルに格納された特徴点の座標は、前フレームにおける座標である。
【0047】
なお、動きテーブルは、フレーム毎に順次更新されていく。つまり、動きテーブルに格納された推定移動量が後述する3次元的ずれの推定処理に用いられたら、現フレームでの投影像における特徴点の座標が動きテーブルに格納される。そして、現フレームと次フレームとの間における推定移動量が、各基準動作に対応して微小動き生成部4により求められ、動きテーブルに格納される。
【0048】
〔4.3次元ずれ推定部7における処理について〕
3次元ずれ推定部7によりトラッキング対象の3次元的ずれを推定する処理について以下に説明する。先ず、3次元ずれ推定部7は、記憶部5に記憶された動きテーブルを参照し、6つの基準動作に対応する推定移動量を読み出す。同時に、3次元ずれ推定部7は、2次元ずれ算出部6が算出した実移動量を取得する。
【0049】
実移動量および推定移動量がどのようなものであるかは上述したとおりであるが、参考のため図5(a)および図5(b)を用いて実移動量および推定移動量の説明を行う。
【0050】
実移動量は、図5(a)に示すように、前フレームでの3次元モデル中の特徴点を2次元平面に投影した位置(図中●印で示す)と、現フレームでの3次元モデル中の特徴点を2次元平面に投影した位置(図中○印で示す)との間における移動距離を示すものである。一方、推定移動量は、図5(b)に示すように、前フレームでの3次元モデル中の特徴点を2次元平面に投影した位置が、6つの基準動作のいずれかを行った場合にどのように移動するかを示すものである。
【0051】
そして、3次元ずれ推定部7は、推定移動量と実移動量とを対応づけ、以下の一次方程式(2)における係数a1〜a6を求める。
【0052】
(実移動量)=a1×(X軸並進に対応する推定移動量)+a2×(Y軸並進に対応する推定移動量)+a3×(Z軸並進に対応する推定移動量)+a4×(X軸回転に対応する推定移動量)+a5×(Y軸回転に対応する推定移動量)+a6×(Z軸回転に対応する推定移動量)…式(2)
なお、推定移動量は図4の動きテーブルに示したように、X軸およびY軸のそれぞれに関する特徴点の移動距離を示すベクトルとして表現される。つまり、1つの推定移動量には、2つのパラメータが含まれていることになる。一方で、式(2)における未知の係数(a1〜a6)は6つであるから、最低限3つの特徴点に関する推定移動量および実移動量が求められていれば、係数a1〜a6を算出することができる。なお、4つ以上の特徴点に関する実移動量および推定移動量が求められている場合には、最小自乗法等の補間方法を用いて係数a1〜a6を算出してもよい。
【0053】
そして、この係数a1〜a6に基づき、トラッキング対象がどのように動いたかを判断することができる。すなわち、上述した6つの基準動作は、3次元モデルの動きが有する6つの自由度のそれぞれに対応している。したがって、係数a1〜a6を求めることにより、6つの自由度のそれぞれに関して3次元モデルがどのような割合で動いたかを求めることができる。
【0054】
〔5.精度評価実験〕
本実施形態のトラッキング装置1に単眼カメラ9を適用した場合における、トラッキング精度の評価実験を行ったので以下に説明する。
【0055】
先ず、トラッキング精度の評価実験を行うにあたって、図6(a)に示すように、撮影対象としてのマネキンの首をモータにより左右に振り、単眼カメラにてそのマネキンの首を撮影した。この際における単眼カメラによる撮影画像を図6(b)に示す。なお、図6(b)に示す画像においては、たとえば目頭や目尻付近の画像が小さな枠で囲まれている。これは、たとえば目頭付近の画像がトラッキング対象画像として抽出されていることを示している。
【0056】
図6(c)は、本実施形態のトラッキング装置1によるトラッキング精度を、ステレオカメラを用いた場合のトラッキング精度と対比して示すグラフである。なお、図6(c)においては、本実施形態のトラッキング装置1に単眼カメラを適用した場合のトラッキング精度を実線にて示し、ステレオカメラを用いた場合のトラッキング精度を点線にて示している。また、トラッキング精度の理想値は1点鎖線にて示している。
【0057】
図6(c)に示すグラフから、単眼カメラによるトラッキング精度は、やはりステレオカメラのそれに対して劣ってはいるものの、マネキンの首振り角度の変化は単眼カメラを用いた場合でも十分トラッキングできていることがわかる。したがって、単眼カメラを本実施形態のトラッキング装置に適用すれば、実用上はステレオカメラを用いた場合と遜色のないトラッキング精度が得られる。
【0058】
〔6.補足〕
このように、本実施形態のトラッキング装置1は、単眼カメラ9の撮影画像からトラッキング対象となるトラッキング対象画像を抽出するトラッキング対象画像抽出部2と、トラッキング対象画像のフレーム間での移動量を実移動量として算出する2次元ずれ算出部6と、単眼カメラ9の撮影対象を3次元的に表現した3次元モデルを、2次元平面上に投影した投影像を生成する2次元平面投影部3と、投影像のフレーム間での移動量を推定移動量として算出する微小動き生成部4と、上記実移動量と上記推定移動量とに基づき、トラッキング対象の3次元的な動きの量を推定する3次元ずれ推定部7とを備えている。
【0059】
上記構成によれば、トラッキング対象画像抽出部2により抽出されたトラッキング対象画像に関する実移動量が、2次元ずれ算出部6により算出される。一方で、2次元平面投影部3にて生成された3次元モデルの投影像から、微小動き生成部4により推定移動量が算出される。
【0060】
これらの実移動量および推定移動量は、単眼カメラ9の撮影対象に関してフレーム間での移動量を示す値である点において共通している。特に、実移動量は、単眼カメラ9の撮影画像に基づき得られる値なので、トラッキング対象が現実に移動した量を2次元的に示す値として理解できる。また、推定移動量は、撮影対象の3次元モデルから算出される値であることから、トラッキング対象の移動を3次元的に示す値といえる。
【0061】
よって、3次元ずれ推定部7により実移動量と推定移動量とをマッチングさせることで、現実の移動に即してトラッキング対象の3次元的な動きの量を推定することができる。しかも、トラッキング装置1は、撮影対象の3次元モデルを用いているので、精度よくラッキング対象の動きの量を推定することができる。
【0062】
しかも、トラッキング装置1は、単眼カメラ9を用いているので、コンパクトなスペースであってもトラッキング対象の3次元的な動きを低コストで計測することができる。
【0063】
さらに、微小動き生成部4は、上記3次元モデルの運動に関する6つの自由度のそれぞれについて該3次元モデルが運動を行った場合における上記投影像の移動量を、上記推定移動量として算出するので、3次元モデルの3次元的な移動を的確に算出することができる。
【0064】
さらに、3次元ずれ推定部7は、上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記動きの量を推定するので、簡易な処理によりトラッキング対象の3次元的な動きの量を推定できる。よって、より効率的な処理でトラッキング対象の3次元的な動きを計測できる。
【0065】
なお、本実施形態のトラッキング装置1の各手段における処理手順は、CPUなどの演算手段が、ROM(Read Only Memory)やRAM(Random Access Memory)などの記憶手段に記憶されたプログラムを実行し、キーボードなどの入力手段、ディスプレイなどの出力手段、あるいは、インターフェース回路などの通信手段を制御することにより実現することができる。
【0066】
したがって、これらの手段を有するコンピュータが、上記プログラムを記録した記録媒体を読み取り、当該プログラムを実行するだけで、本実施形態のトラッキング装置1の各種処理を実現することができる。また、上記プログラムをリムーバブルな記録媒体に記録することにより、任意のコンピュータ上で上記の各種機能および各種処理を実現することができる。
【0067】
この記録媒体としては、マイクロコンピュータで処理を行うために図示しないメモリ、例えばROMのようなものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することにより読み取り可能なプログラムメディアであっても良い。
【0068】
また、何れの場合でも、格納されているプログラムは、マイクロプロセッサがアクセスして実行される構成であることが好ましい。さらに、プログラムを読み出し、読み出されたプログラムは、マイクロコンピュータのプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であることが好ましい。なお、このダウンロード用のプログラムは予め本体装置に格納されているものとする。
【0069】
また、上記プログラムメディアとしては、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやCD/MO/MD/DVD等のディスクのディスク系、ICカード(メモリカードを含む)等のカード系、あるいはマスクROM、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、フラッシュROM等による半導体メモリを含めた固定的にプログラムを担持する記録媒体等がある。
【0070】
また、インターネットを含む通信ネットワークを接続可能なシステム構成であれば、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する記録媒体であることが好ましい。
【0071】
さらに、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであることが好ましい。
【0072】
さらに、上記推定移動量算出手段は、上記3次元モデルの運動に関する6つの自由度のそれぞれについて該3次元モデルが運動を行った場合における上記投影像の移動量を、上記推定移動量として算出することが好ましい。
【0073】
なぜなら、3次元空間での運動は、基本的に6つの自由度により表現される。そして、上記構成によれば、推定移動量算出手段は、3次元モデルが6つの自由度のそれぞれに関して運動を行った場合について推定移動量を算出するので、3次元モデルの3次元的な移動を的確に算出することができる。
【0074】
よって、上記構成によれば、トラッキング対象の3次元的な動きをより正確に計測することができる。
【0075】
さらに、上記3次元ずれ推定手段は、上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記動きの量を推定することが好ましい。
【0076】
上記構成によれば、実移動量と推定移動量とが一次方程式にて対応づけられているので、簡易な処理によりトラッキング対象の3次元的な動きの量を推定できる。よって、より効率的な処理でトラッキング対象の3次元的な動きを計測できる。
【0077】
また、本発明の動き計測装置は、単眼カメラが備えられている動き計測システムとして構成することも可能である。
【0078】
さらに、この動き計測システムは、コンパクトなスペースに設置することができるので、車載機器に搭載するのに適している。そして、本発明の動き計測システムが搭載された車載機器によりドライバーの動きを計測することにより、他の車載機器をハンズフリーで操作したり、ドライバーの居眠りに警告を与えたりすることが可能となる。
【0079】
なお、上記構成の動き計測装置における各手段としてコンピュータを機能させる動き計測プログラムにより、コンピュータを用いて本発明の動き計測装置と同様の作用効果を得ることができる。さらに、上記動き計測プログラムをコンピュータ読み取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記動き計測プログラムを実行させることができる。
【産業上の利用可能性】
【0080】
本発明の動き計測装置は、種々の産業に利用することができる。以下、本発明を利用可能な産業の具体例について説明する。
【0081】
たとえば、本発明の動き計測装置は、自動車のドライバーの動きを計測するという目的に好適である。なぜなら、ドライバーは基本的に運転に集中すべきであるとの観点から、カーナビゲーション等の車載機器の操作は、ドライバーがハンドルから手を離さない状態でできることが好ましい。さらに、自動車内において車載機器を搭載できるスペースは制限されている。
【0082】
この点、本発明の動き計測装置を用いれば、コンパクトな単眼カメラを用いて十分な精度でドライバーの動きを検出することができるので、自動車内に容易に搭載することができる。さらに、本発明の動き計測装置を用いてユーザの動きを検出することにより、ハンドルから手を離さない状態で車載機器を操作することも可能となる。
【0083】
また、ドライバーの安全を確保するという観点からも本発明の動き計測装置は有利である。つまり、本発明の動き計測装置を用いてドライバーが居眠りをしているか否かを検出し、必要に応じてドライバーに警告を促すということも可能となる。
【0084】
また、本発明の動き計測装置は、コンピュータインターフェースとしても利用可能である。つまり、単眼カメラとして市販のウェブカメラを用い、さらにウェブカメラと本発明の動き計測装置とを接続することで、手軽にコンピュータのユーザの動きを計測することが可能となる。これにより、ビデオチャットやネットワーク対戦型のゲームにおいて、本発明の動き計測装置により計測されたユーザの動きを利用することができる。
Claims (6)
- 単眼カメラの撮影動画像から、トラッキング対象となるトラッキング対象画像を、該トラッキング対象の特徴点に基づき抽出するトラッキング対象画像抽出手段と、
上記トラッキング対象画像のフレーム間での移動量を実移動量として算出する実移動量算出手段と、
上記単眼カメラの撮影対象を3次元的に表現した3次元モデルを、2次元平面上に投影した投影像を生成する2次元平面投影手段と、
上記3次元モデルが、該3次元モデルの運動に関する6つの自由度のそれぞれに対応する運動を行った場合に、6つの自由度のそれぞれについて、上記投影像のフレーム間での移動量を推定移動量として算出する推定移動量算出手段と、
上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記トラッキング対象における、6つの自由度のそれぞれに対応する3次元的な動きの量を推定する3次元ずれ推定手段とを備えていることを特徴とする動き計測装置。 - 請求項1に記載の動き計測装置と、単眼カメラとを備えていることを特徴とする動き計測システム。
- 請求項4に記載の動き計測システムを搭載していることを特徴とする車載機器。
- 単眼カメラの撮影動画像から、トラッキング対象となるトラッキング対象画像を、該トラッキング対象の特徴点に基づき抽出する第1ステップと、
上記トラッキング対象画像のフレーム間での移動量を実移動量として算出する第2ステップと、
上記単眼カメラの撮影対象を3次元的に表現した3次元モデルを、2次元平面上に投影した投影像を生成する第3ステップと、
上記3次元モデルが、該3次元モデルの運動に関する6つの自由度のそれぞれに対応する運動を行った場合に、6つの自由度のそれぞれについて、上記投影像のフレーム間での移動量を推定移動量として算出する第4ステップと、
上記実移動量と上記推定移動量とが対応づけられた一次方程式から、上記トラッキング対象における、6つの自由度のそれぞれに対応する3次元的な動きの量を推定する第5ステップとを備えていることを特徴とする動き計測方法。 - 請求項1に記載の動き計測装置における各手段としてコンピュータを機能させるための動き計測プログラム。
- 請求項7に記載の動き計測プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007506011A JP4852764B2 (ja) | 2005-03-04 | 2006-03-03 | 動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005061323 | 2005-03-04 | ||
JP2005061323 | 2005-03-04 | ||
PCT/JP2006/304049 WO2006093250A1 (ja) | 2005-03-04 | 2006-03-03 | 動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体 |
JP2007506011A JP4852764B2 (ja) | 2005-03-04 | 2006-03-03 | 動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2006093250A1 JPWO2006093250A1 (ja) | 2008-08-07 |
JP4852764B2 true JP4852764B2 (ja) | 2012-01-11 |
Family
ID=36941280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007506011A Active JP4852764B2 (ja) | 2005-03-04 | 2006-03-03 | 動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8213677B2 (ja) |
JP (1) | JP4852764B2 (ja) |
WO (1) | WO2006093250A1 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4501937B2 (ja) * | 2004-11-12 | 2010-07-14 | オムロン株式会社 | 顔特徴点検出装置、特徴点検出装置 |
JP4093273B2 (ja) * | 2006-03-13 | 2008-06-04 | オムロン株式会社 | 特徴点検出装置、特徴点検出方法および特徴点検出プログラム |
JP4921847B2 (ja) * | 2006-05-02 | 2012-04-25 | 株式会社豊田中央研究所 | 対象物の三次元位置推定装置 |
GB0622451D0 (en) * | 2006-11-10 | 2006-12-20 | Intelligent Earth Ltd | Object position and orientation detection device |
US20100169792A1 (en) * | 2008-12-29 | 2010-07-01 | Seif Ascar | Web and visual content interaction analytics |
US9417700B2 (en) | 2009-05-21 | 2016-08-16 | Edge3 Technologies | Gesture recognition systems and related methods |
US8396252B2 (en) | 2010-05-20 | 2013-03-12 | Edge 3 Technologies | Systems and related methods for three dimensional gesture recognition in vehicles |
US8655093B2 (en) | 2010-09-02 | 2014-02-18 | Edge 3 Technologies, Inc. | Method and apparatus for performing segmentation of an image |
US8582866B2 (en) | 2011-02-10 | 2013-11-12 | Edge 3 Technologies, Inc. | Method and apparatus for disparity computation in stereo images |
US8666144B2 (en) | 2010-09-02 | 2014-03-04 | Edge 3 Technologies, Inc. | Method and apparatus for determining disparity of texture |
WO2012030872A1 (en) | 2010-09-02 | 2012-03-08 | Edge3 Technologies Inc. | Method and apparatus for confusion learning |
JP5652097B2 (ja) | 2010-10-01 | 2015-01-14 | ソニー株式会社 | 画像処理装置、プログラム及び画像処理方法 |
US8970589B2 (en) | 2011-02-10 | 2015-03-03 | Edge 3 Technologies, Inc. | Near-touch interaction with a stereo camera grid structured tessellations |
US10509466B1 (en) * | 2011-05-11 | 2019-12-17 | Snap Inc. | Headwear with computer and optical element for use therewith and systems utilizing same |
US9672609B1 (en) | 2011-11-11 | 2017-06-06 | Edge 3 Technologies, Inc. | Method and apparatus for improved depth-map estimation |
US10721448B2 (en) | 2013-03-15 | 2020-07-21 | Edge 3 Technologies, Inc. | Method and apparatus for adaptive exposure bracketing, segmentation and scene organization |
EP3038011B1 (de) * | 2014-12-22 | 2019-06-05 | Aptiv Technologies Limited | Verfahren zum Bestimmen des Abstands eines Objekts von einem Kraftfahrzeug mittels einer monokularen Bilderfassungseinrichtung |
US10776644B1 (en) * | 2018-03-07 | 2020-09-15 | State Farm Mutual Automobile Insurance Company | Image analysis technologies for assessing safety of vehicle operation |
US10275670B1 (en) | 2018-03-07 | 2019-04-30 | State Farm Mutual Automobile Insurance Company | Image analysis technologies for identifying abnormal vehicle conditions |
US11254270B1 (en) | 2018-05-02 | 2022-02-22 | State Farm Mutual Automobile Insurance Company | Technologies for using image analysis to facilitate adjustments of vehicle components |
US10834413B2 (en) * | 2018-08-24 | 2020-11-10 | Disney Enterprises, Inc. | Fast and accurate block matching for computer generated content |
JP2020086491A (ja) * | 2018-11-15 | 2020-06-04 | 株式会社リコー | 情報処理装置、情報処理システム及び情報処理方法 |
CN112243082B (zh) * | 2019-07-17 | 2022-09-06 | 百度时代网络技术(北京)有限公司 | 一种跟踪拍摄方法、装置、电子设备及存储介质 |
EP3970067A1 (en) * | 2019-07-19 | 2022-03-23 | Five AI Limited | Structure annotation |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02165283A (ja) * | 1988-12-19 | 1990-06-26 | Nippon Telegr & Teleph Corp <Ntt> | 三次元物体の運動検出方法 |
JPH07264458A (ja) * | 1994-03-25 | 1995-10-13 | Olympus Optical Co Ltd | 移動物体追跡装置 |
JP2002269546A (ja) * | 2001-03-14 | 2002-09-20 | Atr Onsei Gengo Tsushin Kenkyusho:Kk | 自動顔トラッキングシステムおよび自動顔トラッキング方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7003134B1 (en) * | 1999-03-08 | 2006-02-21 | Vulcan Patents Llc | Three dimensional object pose estimation which employs dense depth information |
US7526120B2 (en) * | 2002-09-11 | 2009-04-28 | Canesta, Inc. | System and method for providing intelligent airbag deployment |
JP2006520055A (ja) * | 2003-03-06 | 2006-08-31 | アニメトリックス,インク. | 2次元画像からの3次元オブジェクトの不変視点検出および識別 |
AU2003901528A0 (en) * | 2003-03-31 | 2003-05-01 | Seeing Machines Pty Ltd | Eye tracking system and method |
JP4568223B2 (ja) * | 2005-12-21 | 2010-10-27 | 株式会社デンソー | 推定装置 |
-
2006
- 2006-03-03 WO PCT/JP2006/304049 patent/WO2006093250A1/ja active Application Filing
- 2006-03-03 US US11/885,428 patent/US8213677B2/en not_active Expired - Fee Related
- 2006-03-03 JP JP2007506011A patent/JP4852764B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02165283A (ja) * | 1988-12-19 | 1990-06-26 | Nippon Telegr & Teleph Corp <Ntt> | 三次元物体の運動検出方法 |
JPH07264458A (ja) * | 1994-03-25 | 1995-10-13 | Olympus Optical Co Ltd | 移動物体追跡装置 |
JP2002269546A (ja) * | 2001-03-14 | 2002-09-20 | Atr Onsei Gengo Tsushin Kenkyusho:Kk | 自動顔トラッキングシステムおよび自動顔トラッキング方法 |
Also Published As
Publication number | Publication date |
---|---|
US20080219501A1 (en) | 2008-09-11 |
JPWO2006093250A1 (ja) | 2008-08-07 |
US8213677B2 (en) | 2012-07-03 |
WO2006093250A1 (ja) | 2006-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4852764B2 (ja) | 動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体 | |
KR101169533B1 (ko) | 얼굴 자세 추정 장치, 얼굴 자세 추정 방법 및 얼굴 자세 추정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 | |
JP5812599B2 (ja) | 情報処理方法及びその装置 | |
CN111480164B (zh) | 头部姿势和分心估计 | |
US20100185990A1 (en) | Movable display apparatus, robot having movable display apparatus and display method thereof | |
US9437011B2 (en) | Method and apparatus for estimating a pose of a head for a person | |
Dorfmüller-Ulhaas | Robust optical user motion tracking using a kalman filter | |
JPWO2008007781A1 (ja) | 視線方向検出装置および視線方向検出方法 | |
Hao et al. | Vision-based surgical tool pose estimation for the da vinci® robotic surgical system | |
JP2007263669A (ja) | 3次元座標取得装置 | |
JP5001930B2 (ja) | 動作認識装置及び方法 | |
JP6483832B2 (ja) | Rgb−dセンサを使用して物体を走査する方法とシステム | |
CN106625673A (zh) | 狭小空间装配***及装配方法 | |
JP2013156680A (ja) | フェーストラッキング方法、フェーストラッカおよび車両 | |
JP2006215743A (ja) | 画像処理装置及び画像処理方法 | |
Yu et al. | Head pose estimation based on head tracking and the Kalman filter | |
JP2003141551A (ja) | 顔向き計算方法及びその装置 | |
WO2023025175A1 (zh) | 用于空间定位的方法及装置 | |
Yang et al. | Robust face tracking with a consumer depth camera | |
JP2019046096A (ja) | 情報処理装置及びその方法 | |
Wang et al. | Shape reconstruction of human foot from multi-camera images based on PCA of human shape database | |
Pagel | Robust monocular egomotion estimation based on an iekf | |
JP3041420B1 (ja) | 内視鏡システムおよび内視鏡画像の奥行き情報検出用制御プログラムを記録した記録媒体 | |
CN110998595A (zh) | 用于头部姿势估计的方法和*** | |
WO2022210005A1 (ja) | 姿勢推定システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090223 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111004 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |