JP4565445B2 - 顔情報計測システム - Google Patents

Description

本発明は、両眼視のカメラ（ステレオカメラ）を用いて、計算機上に人の顔に関する情報（頭部の動き，視線方向，瞬目，表情など）をリアルタイムに入力するための顔情報等の計測技術に関するものである。

ヒューマンモデリングやヒューマンインターフェイス技術において、人の行動を計測することは重要な課題である。特に人間の顔は、注意や意図、感情といった心理状態に応じて様々な変化を表出するため、その変化を定量的に計測する技術の確立はヒューマン・モデリングに欠かせない。近年、人間工学の分野において人体の計測技術が進み、人間の全身行動に関してはマーカを取り付けることで非接触に各部の変位を計測することは可能になってきた。これに対して、人間の顔に関する情報を非接触で計測する技術はまだほとんど実用化されていない。この問題を解決するため、頭部の動き，視線方向，瞬き，表情などを非接触で同時に計測する手法が提案されている（特許文献１参照）。

近年、少子・高齢化社会，バリアフリー社会の到来にともない、より人にやさしいコンピュータや機械，ロボットなどのシステムを構築する必要性が高まっており、その実現へ向けて今後は一般の人（乳幼児，高齢者なども含む）の計測が不可欠である。そのためには非接触かつ自然な状態で顔情報を計測できるシステムが必要となる。被験者に一切の負担をかけず自然な状態での顔情報等の計測ができ、乳幼児から高齢者までの計測が行えるシステムが求められている。

特開２００３−１５８１６号公報

従来、ステレオカメラで顔の動きを計測するために、予め既知パターンを用いてカメラパラメータを求めること（カメラキャリブレーション）が必要であった。カメラキャリブレーションにより求めたカメラパラメータを用いて，カメラ座標系で顔の動きの計測を行っていた。

この場合、顔の絶対座標での計測ができないことから、カメラの位置が動くとキャリブレーションをし直す必要があった。また、カメラのズームが変わった場合においてもキャリブレーションをし直す必要があった。

また一方で、１式のステレオ視カメラで顔の動きを計測できる範囲には限界がある。従来から、複数台のカメラを同時に利用して、この計測範囲を広げるものがあるが、全カメラを同時に利用するため台数に応じて計算量が大きくなるといった問題があった。かかる問題に対処するため、例えば、追跡対象である顔の位置によって適切なカメラを選択することも考えられる。

しかし、顔の位置によってカメラを選択する手法では、顔を大きく振り向いたりした場合には、選択されたカメラでは顔の視線や表情といったきめ細かな計測ができない。

本発明に係る顔情報計測システムは、上記事情に着目してなされたもので、カメラ位置が動いた場合でも顔情報の計測が行えるようにすることを第一の目的とする。また、本発明に係る顔情報計測システムは、顔の動きの計測範囲を効率よく広げることを第二の目的とする。

本発明者らは、鋭意研究及び実験を重ねた結果、本発明を完成するに至った。以下、上述の課題を解決するための手段について説明する。

本発明の目的を達成するために、本発明に係る顔情報計測システムは、ユーザの顔を撮影する少なくとも３台以上のカメラと、前記カメラの画像出力から顔の動きを計測する手段と、前記カメラのカメラ視野に追跡対象である顔全体が存在するようにカメラ位置・ズームを制御する手段と、顔の動きを計測すると同時に背景マーカも計測することにより、前記カメラのカメラキャリブレーションを行う手段と、前記カメラの向きと計測した顔の向きのなす角度の小さいカメラを２台選択する手段と、選択した２台のカメラからのみ画像を入力する手段と、顔の絶対座標系でステレオ視計測を行う手段と、を備えるよう構成される。

顔の動きを計測中にも、同時にカメラキャリブレーションを行うことで、ステレオカメラの位置の変化、ズームの変化などに対応できる。例えば、室内を動き回るロボットにステレオカメラを搭載した場合、カメラの位置が動くこととなり、カメラ座標系で顔の動きを計測すると、顔の動作は識別できても、絶対座標系で計測を行えないために顔の視線が指すものを識別できない。本発明に係る顔情報計測システムにより、顔の絶対座標系での計測を行うことで顔の視線の３次元位置がわかるので、視線の動きに応じた対応サービスをロボットが実施できることとなる。

また、カメラが動き、かつ、カメラズームを実施した場合においては、カメラパラメータが変化するため顔の動きを計測すると精度が上がらない。本発明に係る顔情報計測システムにより、顔の計測と同時にカメラキャリブレーションを行うことで精度を高めることができる。

被験者（ユーザ）に一切の負担をかけず自然な状態での顔情報等の計測を行うため、また、認知心理学のための計測システムやドライバ行動計測システム等でのユーザの顔の大きな動きの計測の行うために、３台以上のカメラを用いて顔の動きを計測することとし、ステレオ視にはそのうちの顔の正面に近いものを２台選択することで、処理速度を下げずに顔の動きの計測範囲を効率よく広げることができる。

本発明に係る顔情報計測システムは、上述の手段を用いることにより、以下に示す効果を有する。すなわち、カメラ位置が動いた場合でも顔情報の計測が行えること、また、顔の動きの計測範囲を効率よく広げることができることである。これにより、自然な状態で顔情報を計測できるため、被験者に一切の負担をかけず自然な状態で、一般の人（乳幼児，高齢者なども含む）の顔情報の計測が可能となる。

以下、本発明の実施の形態を図面に基づいて説明する。なお、本発明は図示の構成に限定されるわけでない。

図１は、顔情報計測システムにおけるハードウェア構成の１つの実施形態を示す。この実施形態では、顔情報計測システムはコンピュータで構成されるが、必ずしもこの様なハードウェア構成に限定されない。

図１の実施形態の顔情報計測システムは、４台のビデオカメラ、前記ビデオカメラを制御する４台のカメラコントロールユニット、ステレオ視するためのカメラを選択する２個のアナログスイッチ、ステレオ視を行うための画像入力装置、前記アナログスイッチにカメラ切り替え信号を出力するＩＯポート、情報端末ＰＣで構成される。

４台のビデオカメラは、撮影対象の人の前方左右に間隔を置いて設置され、選択する２台のビデオカメラにより、撮影対象の顔をステレオ視して撮影する。各カメラコントロールユニットは、外部同期信号線を介して相互接続されており、この同期信号によって各ビデオカメラの同期がとられ、左右の位置で同じ時刻に撮影された２つの画像フレームが得られる。顔情報計測システムは、左右の位置で同じ時刻に撮影された２つの画像フレームを入力画像として使用し、ステレオ法を用いて３次元的な物体認識を処理することができる。

図２は、カメラの配置を示す図である。カメラの撮像範囲を考慮して、図２に示すように、カメラの全体として切れ目なく計測したい顔の向き，位置の範囲をカバーできるように有効に配置する。図２に、カメラ１，２を用いてステレオ視できる計測角度範囲（向き）、カメラ２，３を用いてステレオ視できる計測範囲（向き）、カメラＮ−１，Ｎを用いてステレオ視できる計測角度範囲（向き）を模式して示している。

図３は、顔計測システムの全体的なアルゴリズムを示す。顔探索部、顔トラッキング部の処理は、関連して動作し、連続的に撮影される左右の入力画像から顔向きと視線方向などの顔情報をリアルタイムに計測する。カメラ制御部とカメラ選択部は、顔探索部、顔トラッキング部の処理の間に行い、顔の大きな動作にも追従できるように、ダイナミックにカメラを制御し、その上で最もよいアングルに位置するカメラを選択し、顔情報を計測することとしている。これをトラッキングが成功するまで繰り返し実施する。図４に、４台のカメラから２台のカメラを選択して、ステレオ視して顔情報を計測している様子を示す。

図３において、上述の如く、顔の動きを計測した後に、背景マーカ探索部の処理を行い、背景マーカ探索が成功すれば、カメラキャリブレーションを行う処理を行っている。顔の動きを計測中に、オンラインでカメラキャリブレーションを行うことで、従来、カメラ座標系で顔の動きなどの計測を行っていたものを、絶対座標系で計測を行うものである。図５に、背景マーカを用いた絶対座標系での計測の概念図を示す。

ここで、背景マーカは、点，コーナなど、複数の画像中で対応を取ることができる画像特徴をもつもので、キャリブレーション方法により異なるが、最低でも同一平面上にない４点が必要である。背景マーカの３次元配置は既知であるものとし、かつ位置は変化しないものである。各カメラには，同じマーカが同時に見えている必要はなく、キャリブレーションを行うのに必要な個数だけのマーカが見えていればよい。

また、キャリブレーションの目的としては、空間中の３次元座標と、それを投影した画像上の２次元座標の対応関係を決めるためのもので、これまでに様々な手法が提案されているのでここでの説明は省略する。なお、必要なマーカの数はキャリブレーション手法により異なる。

以下に、図３で示した顔計測システムの全体的なアルゴリズムの個々の処理について説明する。先ず、図６を用いて顔探索部の処理フローを説明する。顔探索部は、入力された画像から人間の顔が撮影されている画像領域をおおまかに探索する。顔探索部は、頭全体のおおまかな３次元位置を計算するが、この３次元位置が、カメラ制御部の制御条件に使われ、また、カメラ選択部のカメラ選択の手法に使われる。また、顔トラッキング部の処理の前に、入力画像から顔が撮影されている領域をおおまかに探索することにより、顔トラッキング部は、入力画像中の顔の詳細な解析を高速に実行することが可能となる。顔探索部は、かかる意味で顔トラッキングの前処理としての意義も有する。

カメラ制御部の処理としては、顔探索部で算出された顔の３次元位置から、視野の中央に計測対象の顔全体が入るようにカメラを回転したり、回転範囲の制限により無理な場合には，カメラを並進したり、顔全体の大きさがカメラの視野に対して大きすぎる若しくは小さすぎる場合は焦点距離（ズーム）を変えるなどの制御を行っている。これを各カメラについて繰り返すこととしている。図８に、カメラ制御の様子を模式化した図を示す。

図９は、カメラ選択部の処理フローを示している。顔探索部で算出された顔の３次元位置から、視野の中に顔全体が入っており、かつ、カメラの向きと計測した頭の向きのなす角度θの小さなカメラを二つ選ぶ。図１に示したハードウェア構成におけるＰＣのＩＯポートから、カメラ切り替え信号を出力し、選択したカメラ画像の入力を行っている。図１０に、カメラ選択処理の模式図を示す。

図１１は、顔トラッキング部の処理フローを示している。顔トラッキング部は、前もって得られた画像情報に基づいて顔の特徴点を入力画像から抽出し、それらの特徴点から顔の３次元位置と顔の向きを求める。前フレームでの頭の位置・姿勢から各特徴の探索範囲を設定し、前フレームでの頭の位置・姿勢から各特徴のテンプレートを選択する。選択したテンプレートを用いて一枚の画像上で先ず各特徴の単眼トラッキングを行い、ステレオのもう一枚の画像上での各特徴の対応点を探索して、３次元モデルと３次元観測値の誤差が最小になるようにフィッティングし、頭の位置・姿勢を計算している。

図１２は、背景マーカ探索部の処理フローを示している。先ず、前フレームでのカメラの位置・姿勢より、視野に入っている（見えるはずな）背景マーカの候補を選択する。次に、前フレームでの顔の位置・姿勢より，隠されていない（見えるはずな）背景マーカの候補を選択する。そして、画像中の背景マーカの探索範囲を設定し、背景マーカを検出する。これを各カメラについて繰り返すこととしている。

カメラキャリブレーションは、空間中の３次元座標と、それを投影した画像上の２次元座標の対応関係を対応づけるためのもので、これまでに様々な手法が提案されている。必要なマーカの数はキャリブレーション手法により異なるが、例えば、画像の投影方法を下記の式のように定義した場合，未知数１１個であるので、少なくとも６点のマーカ座標の観測（ｘ，ｙ，ｚ，ｕ，ｖの組）が必要となる。

よく使われているカメラキャリブレーション手法としては、例えば、以下の文献で提案されているものがあげられる。
（文献）R. Y. Tsai. An efficient and accurate camera calibration technique for 3D machine vision. In Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp.364-374, 1986.

次に、ＰＥＴ，ＣＴ，ＭＲＴ等の医療用頭部断層画像撮影における非接触頭部位置計測に、本発明に係る顔情報計測システムを適用し、画像の鮮明化を行える点について説明する。

ＰＥＴ（Positron Emission Tomography，陽電子放射断層撮影）装置を用いて頭部断層写真を撮影し診断に用いる場合，頭部の位置・姿勢を正確に計測することは重要である。なぜならＰＥＴは時間的な分解能が低いため撮影時間が比較的長く、その間に被験者の頭部が少しでも動いてしまうと画像にぼけが生じて不鮮明になったり、撮影自体が失敗してしまうためである。また、複数回の撮影結果を用いて総合的に診断しようとする場合にも、毎回の頭部の位置が分からないと測定箇所にずれが生じる。

本発明に係る顔情報計測システムにおいて、高解像度のステレオカメラと３次元の顔モデルを用いることでにより、このようなＰＥＴ撮影における頭部の位置ずれの問題点に対処できる。頭部のオンライン位置計測に基づき画像の鮮明化およびずれの補正を行い、撮影の失敗を減らし精度の高い鮮明な画像取得を実現することができるのである。図１３に、ＰＥＴ頭部断層画像撮影システムへの適用例を示す。

まず、ＰＥＴシステムでの画像補正に必要となる計測精度（誤差1mm以下）を持つ頭部位置計測システムとするため、計測精度を向上させる必要がある。本発明に係る顔情報計測システムにおいて、例えば、解像度1024×768画素（もしくはそれ以上）を持つ高解像度カメラを用いる。画像の解像度が上がると一般に計測精度も上がるが、同時に処理速度は低下する。本発明に係る顔情報計測システムでは、画像処理アルゴリズム、特にステレオ画像におけるテンプレートマッチング処理により、高精度かつ高速な計測システムを実現できる。

ＰＥＴ−カメラ間の位置合わせ方法について説明する。顔位置計測のためのステレオカメラは、ＰＥＴには固定せず独立したフレームに固定する。これはPETが高価な装置であり、その保守・保証に影響を与えることを防ぐためである。このようなアプローチをとる場合、カメラとPETの位置関係がずれる可能性があるので、画像を正しく補正するにはその位置関係を常に計測しておく必要がある。本発明に係る顔情報計測システムでは、PET側に簡単な背景マーカーを設置し、カメラで顔を撮影すると同時にマーカーも撮影することでこの問題に対応している。マーカーの形状，PET内での位置を既知とすることで、カメラとPETの位置関係のキャリブレーションは常に正しく保たれることになる。これにより、カメラの設置位置や計測中のカメラのずれに起因する誤差の発生を抑えることができる。

自動車のドライバの挙動を計測・記録できるドライバ行動計測システムに、本発明に係る顔情報計測システムが適用できることについて説明する。本発明に係る顔情報計測システムにより、ドライバの顔の動き，視線の向きを計測し、車内の対象物への注視時間を計測することによって、ドライバの行動推定を行ったり、道路領域の画像を撮影し、その上に視線方向や頭部方向を投影し、記録するためのシステムを構築することができる。また、夜間においても赤外線投光器を利用することにより計測できる。これら全ての情報はオンラインでも利用できるため、これらの情報をもとにドライバの運転支援を行うことも可能である。図１４に、ドライバ行動計測システムにおけるカメラ配置の例を示す。

本発明を用いることにより、カメラ位置が動いた場合でも顔情報の計測が行えること、また、顔の動きの計測範囲を効率よく広げることができ、これにより、自然な状態で顔情報を計測できるため、被験者に一切の負担をかけず自然な状態で、一般の人（乳幼児，高齢者なども含む）の顔情報の計測が可能である。そのため、人間の行動計測システムとして広い分野での利用が可能であると考えられ、例えば、ヒューマン・ロボット・インタラクション、遠隔操作（見たい方向を見てくれるカメラなど）、安全運転システム、福祉機器（視線による車椅子の操縦など）といった分野に利用できる。

本発明の実施形態に係る顔情報計測システムにおけるハードウェア構成図である。 カメラの配置を示す図である。 顔計測システムの全体的なアルゴリズムを示す図である。 ４台のカメラを利用したステレオ視を概念図を示す。 背景マーカを用いた絶対座標系での計測の概念図を示す。 顔探索部の処理フローを示している。 カメラ制御部の処理フローを示している。 カメラ制御の様子の模式図を示している。 カメラ選択部の処理フローを示している。 カメラ選択処理の模式図を示している。 顔トラッキング部の処理フローを示している。 背景マーカ探索部の処理フローを示している。 ＰＥＴ頭部断層画像撮影システムへの適用例を示している。（ａ）はＰＥＴ画像撮影における頭部位置計測の様子を、（ｂ）は頭部の位置に応じて画像を補正する様子を示す。 ドライバ行動計測システムにおけるカメラ配置の例を示している。

Claims (4)

1. １）ユーザの顔を撮影する少なくとも３台以上のカメラと、
   ２）前記カメラの画像出力から顔の動きを計測する手段と、
   ３）前記カメラのカメラ視野に追跡対象である顔全体が存在するようにカメラ位置・ズームを制御する手段と、
   ４）顔の動きを計測すると同時に背景マーカも計測することにより、前記カメラのカメラキャリブレーションを行う手段と、
   ５）前記カメラの向きと計測した顔の向きのなす角度の小さいカメラを２台選択する手段と、
   ６）選択した２台のカメラからのみ画像を入力する手段と、
   ７）顔の絶対座標系でステレオ視計測を行う手段と、
   を有することを特徴とする顔情報計測システム。
2. 請求項１記載の顔情報計測システムを用い、前記カメラが乗り物内の運転席の周囲に、全体として切れ目なく計測したい顔の向き，位置の範囲をカバーできるように有効に配置されたことを特徴とする操縦者行動計測システム。
3. 請求項１記載の顔情報計測システムを用い、前記カメラが車内の運転席前方、バックミラー、左右のサイドミラー辺りに、全体として切れ目なく計測したい顔の向き，位置の範囲をカバーできるように有効に配置されていることを特徴とするドライバ行動計測システム。
4. 請求項１の顔情報計測システムを用い、頭部の動きを計測し、頭部の位置に応じて画像を補正することで、撮影における頭部の位置ずれによる撮影ミスを減少させることを特徴とする医療用の頭部断層画像撮影システム。