JP2004259043A

JP2004259043A - 向き方向検出装置および向き方向検出方法

Info

Publication number: JP2004259043A
Application number: JP2003049859A
Authority: JP
Inventors: Masamichi Osugi; 雅道大杉
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2003-02-26
Filing date: 2003-02-26
Publication date: 2004-09-16

Abstract

【課題】視線のような目の向き方向など、物体の向き方向を正確に検出することができる向き方向検出装置および向き方向検出方法を提供する。
【解決手段】第１カメラ１１の正面を向いた顔をステレオカメラ１の両カメラ１１，１２で撮像し、エッジ画像作成部２１でこのエッジ画像から初期エッジ画像を作成し、初期エッジ画像記憶部２２に記憶しておく。この初期エッジ画像から、仮想カメラで撮像した状態の仮想画像を作成する。向き方向検出の際には、顔位置・姿勢計測部２３において、ステレオカメラ２で撮像された画像のエッジ画像と、仮想画像との一致度を比較し、その一致度に基づいて仮想画像を撮像する仮想カメラの仮想位置を求め、第１カメラ１１の位置と仮想位置との関係に基づいて、顔向き方向を検出する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、顔の向き方向や目の視線方向など、検出対象物の向き方向を検出する向き方法検出装置および向き方向検出方法に関する。
【０００２】
【従来の技術】
自動車を運転する運転者などの視線方向を非接触で検出する技術として、従来、たとえば特開平７−１６７６１８号公報に開示された技術がある。この技術は、赤外線カメラと運転者の距離を計測し、赤外線カメラとの距離関係が既知の視線計測用カメラで運転者の眼球を撮影する。視線計測用カメラで撮影された眼球の角膜反射像、瞳孔中心等の位置から視線方向を算出するものである。
【０００３】
【特許文献１】
特開平７−１６７６１８号公報（４頁右欄、図１）
【０００４】
【発明が解決しようとする課題】
しかし、上記特許文献１に開示された技術では、視線計測用カメラで１方向のみから撮影を行って目の視線方向を検出するものである。このため、正確な視線方向を検出しているとは言い難いものであった。
【０００５】
そこで、本発明の課題は、視線のような目の向き方向など、物体の向き方向を正確に検出することができる向き方向検出装置および向き方向検出方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決した本発明に係る向き方向検出装置は、検出対象物をそれぞれ撮像する第１撮像手段および第２撮像手段を備えるステレオカメラと、第１撮像手段で撮像された第１画像および第２撮像手段で撮像された第２画像から検出対象画像を作成する検出対象画像作成手段と、第１撮像手段および第２撮像手段のうちの少なくとも一方に対する検出対象物の向き方向が既知である第１画像および第２画像の基準画像をあらかじめ記憶しておく基準画像記憶手段と、基準画像に基づいて、検出対象物を任意の位置から撮像したときの仮想画像を作成する仮想画像作成手段と、検出対象画像と仮想画像とを比較し、検出対象画像と仮想画像との一致度に基づいて求められた仮想画像を撮像する仮想位置にある仮想撮像手段の仮想位置を求め、第１撮像手段の位置と、仮想撮像手段の仮想位置との位置関係に基づいて、検出対象物の向きを判断する向き方向判断手段と、を備えるものである。
【０００７】
本発明に係る向き方向検出装置は、第１撮像手段または第２撮像手段に対する検出対象物の向きが既知、たとえば第１撮像手段に対して検出対象物が真正面を向いている基準画像を記憶している。また、基準画像に対して、検出対象物を任意の位置から撮像したときの仮想画像を作成し、検出対象物を撮像した際の画像と仮想画像を比較する。そして、その一致度が所定値以上、たとえば完全に一致したときにおける仮想画像を撮像する仮想カメラの仮想位置を算出する。この仮想位置と、基準画像を撮像する際に正面に位置する第１カメラとの位置関係から、検出対象物の向きを検出している。したがって、検出対象物の向きを高精度で検出することができる。
【０００８】
ここで、検出対象物は、顔または目とする態様とすることができる。このように、検出対象物を顔や目とすることにより顔の向き方向や目の視線方向を確実に検出することができる。
【０００９】
さらに、上記課題を解決した本発明の係る向き方向検出方法は、第１撮像手段および第２撮像手段によって、検出対象物を撮像する撮像工程と、第１撮像手段で撮像された第１画像および第２手段で撮像された第２画像とを合成することにより、任意の位置から撮像したときの仮想画像を生成する検出対象画像作成工程と、第１撮像手段および第２撮像手段のうちの少なくとも一方に対する検出対象物の向き方向が既知である第１画像および第２画像の基準画像をあらかじめ記憶しておく基準画像記憶工程と、基準画像に基づいて、検出対象物物を任意の位置から撮像したときの仮想画像を作成する仮想画像作成工程と、検出対象画像と仮想画像とを比較し、検出対象画像と仮想画像との一致度に基づいて求められた仮想画像を撮像する仮想位置にある仮想撮像手段の仮想位置を求め、第１撮像手段の位置と、仮想撮像手段の仮想位置との位置関係に基づいて、検出対象物の向きを判断する向き方向判断工程と、を含むものである。
【００１０】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、各実施形態において、同一の機能を有する部分については同一の符号を付し、重複する説明は省略することがある。
【００１１】
図１は、本発明の実施形態に係る向き検出装置のブロック構成図である。図１に示すように、本実施形態に係る向き方向検出装置Ｄは、たとえば自動車の運転席に設けられ、運転者の顔向き方向および視線方向を検出するために用いられる。この向き方向検出装置Ｄは、ステレオカメラ１および画像処理装置２を有している。ステレオカメラ１は、第１撮像手段である第１カメラ１１および第２撮像手段である第２カメラ１２を備えている。第１カメラ１１および第２カメラ１２には、同期装置１３が接続されており、それぞれ同期した状態で同一の対象物である顔や目を撮像するようになっている。これらの第１カメラ１１および第２カメラ１２は、内部パラメータおよび相対的な位置関係は既知であり、同期装置１３で同期が取られた状態で検出対象物となる顔や目を含む画像を撮像する。
【００１２】
また、画像処理装置２は、エッジ画像作成部２１、初期エッジ画像記憶部２２、および向き方向判断部２３を備えている。
【００１３】
本発明の検出対象画像作成手段であるエッジ画像作成部２１は、ステレオカメラ１における第１カメラ１１および第２カメラ１２に接続されている。第１カメラ１１は、その撮像画像である第１画像をエッジ画像作成部２１に出力しており、第２カメラ１２は、その撮像画像である第２画像をエッジ画像作成部２１に出力している。エッジ画像作成部２１では、検出対象物である、たとえば顔が第１カメラ１１を正面から見たときの第１画像および第２画像にそれぞれ微分処理を施して、第１カメラ１１に対する検出対象物の向きが正面と既知である基準画像となる初期エッジ画像を作成し、本発明の基準画像記憶手段である初期エッジ画像記憶部２２に出力する。初期エッジ画像記憶部２２では、この初期エッジ画像をあらかじめ記憶しておく。
【００１４】
また、エッジ画像作成部２１では、初期エッジ画像を作成した後、向き方向の検出を行う際には、第１カメラ１１から出力される第１画像および第２カメラ１２から出力される第２画像にそれぞれ微分処理を施して第１エッジ画像および第２エッジ画像を生成する。これらの第１エッジ画像および第２エッジ画像を向き方向判断部２３に出力する。
【００１５】
また、初期エッジ画像記憶部２２は、本発明の向き方向判断手段である向き方向判断部２３に接続されており、記憶している初期エッジ画像を向き方向判断部２３に出力している。向き方向判断部２３では初期エッジ画像記憶部２２から出力された第１画像の初期エッジ画像および第２画像の初期エッジ画像を合成して、仮想の画像（以下「仮想画像」という）を作成する。この仮想画像は、検出対象物を仮想的な位置に配置されたカメラ（以下「仮想カメラ」という）で撮像したときの画像として擬似的に作成された画像をエッジ処理したものと同一の画像である。したがって、向き方向判断部２３は、本発明の仮想画像作成手段としても働いている。向き方向判断部２３では、エッジ画像作成部２１から出力された第１エッジ画像および第２エッジ画像と、作成した仮想画像とを比較し、仮想画像と初期エッジ画像の一致度に応じて、検出対象物の向きを判断する。
【００１６】
以上の構成を有する本実施形態に係る向き方向検出装置における向き方向検出方法について、主に図１および図２を参照して説明する。図２は、本実施形態に係る向き方向検出方法の手順を示すフローチャートである。本実施形態では、検出対象物を顔および目とし、顔向き方向および視線方向を検出する態様とする。
【００１７】
図２に示すように、向き方向の検出を行う前準備段階として、まず、ステレオ画像対の初期値を設定する（Ｓ１）。ステレオ画像対の初期値画像とは、第１カメラ１１に対して真正面を向いているときの位置・姿勢にある顔を第１カメラ１１および第２カメラ１２でそれぞれ撮像した２枚の画像である。このステレオカメラ画像対の初期値画像が、第１カメラ１１および第２カメラ１２からエッジ画像作成部２１に出力され、エッジ画像作成部２１では、ステレオカメラ画像対の初期値画像をそれぞれ微分処理し、基準画像となる初期エッジ画像を作成する（Ｓ２）。
【００１８】
初期エッジ画像を作成したら、この初期エッジ画像から顔の輪郭エッジ画像および黒目の輪郭エッジ画像と、それ以外の画像とを分離し、それぞれ顔エッジ画像および黒目エッジ画像に分離する。そして、それらの顔エッジ画像および黒目エッジ画像を初期エッジ画像記憶部２２に出力し、初期エッジ画像記憶部２２に記憶させておく。また、各エッジ画像における顔の輪郭をなすエッジ部分および目の輪郭をなすエッジ部分のそれぞれにおける任意の位置を特徴点とし、その特徴点の座標を計測しておく。
【００１９】
この前準備段階を終えたら、顔向き方向および視線方向の検出が開始される。向き方向の検出が開始されると、まず、ステップＳ１と同様の手順により、第１カメラ１１および第２カメラ１２で顔画像を撮像し、顔画像の第１画像および第２画像からなるステレオ対画像を取得する（Ｓ３）。ステレオ対画像を取得したら、このステレオ対画像をエッジ画像作成部２１に出力する。エッジ画像作成部２１では、これらのステレオ対画像のそれぞれに微分処理を施して第１エッジ画像および第２エッジ画像を生成し（Ｓ４）、これらのエッジ画像から顔の輪郭エッジおよび目の輪郭エッジを分離する。
【００２０】
顔の輪郭エッジを抽出した顔エッジ画像は、たとえば肌色領域と他色領域の境目となる一連のエッジを抽出することによって生成される。また黒目の輪郭エッジを抽出した黒目エッジ画像は次のようにして生成することができる。
【００２１】
まず、図３（ａ）に示す画像Ｇ中における白色に近い色の領域だけを抽出するように、画像を白で二値化してエッジ処理を施し、図３（ｂ）に示すように白目を抽出した白色エッジ画像ＷＧを生成する。この白色エッジ画像ＷＧに対して、白色部分をわずかに膨張させる膨張処理を施し、図３（ｃ）に示す白色膨張エッジ画像ＷＥＧを生成する。このような白での二値化処理を行う一方、図３（ｄ）に示すように、黒色に近い色の領域だけを抽出するように、画像を黒で二値化してエッジ処理を施し、図３（ｄ）に示すように黒目を抽出した黒色エッジ画像ＢＧを生成する。この黒色エッジ画像ＢＧに対して、白色部分を膨張させる膨張処理を施し、図３（ｅ）に示す黒色膨張エッジ画像ＢＥＧを生成する。そして、それぞれ膨張処理を施して得られた白色膨張エッジ画像ＷＥＧおよび黒色膨張エッジ画像ＢＥＧ間で、同じ座標同士の画素でＡＮＤ演算を行う。その結果、図３（ｆ）に示すように、有意となった画素が輪郭エッジとなるエッジ画像ＥＧが生成され、このエッジ画像から黒目の輪郭エッジを抽出することができる。なお、白色エッジ画像および黒色エッジ画像におけるそれぞれ白色部分を膨張させる処理を施しているが、その一方のみを白色膨張させて、ＡＮＤ演算する態様とすることなどもできる。
【００２２】
こうして、顔のエッジを抽出した顔エッジ画像および黒目の輪郭エッジを抽出した黒目エッジ画像を生成したら、エッジ画像作成部２１は、これらのエッジ画像を向き方向判断部２３に出力する。他方、初期エッジ画像記憶部２２は初期エッジ画像を向き方向判断部２３に出力する。向き方向判断部２３では、エッジ画像作成部２１から出力された顔エッジ画像と初期エッジ画像記憶部２２から出力された初期エッジ画像を比較して、顔向き方向を検出する（Ｓ５）。
【００２３】
顔向き方向の検出の際には、まずステップＳ４で取得した顔エッジ画像と両カメラ１１，１２の内部・外部パラメータにより決定されるエピポーラ拘束に基づいて、顔の姿勢・位置の計測を行う。顔の姿勢・位置の計測を行うために、ステップＳ１で設定した２枚のステレオ画像対を使って、仮想カメラから撮像して得られる仮想画像を、たとえばフレームごとに擬似的に複数枚作成する。この複数枚の仮想画像における各エッジ部分の二次的な座標と、ステップＳ４で算出した顔エッジ画像の部分の座標との一致度（類似度）に基づいて、顔の姿勢・位置を推定する。
【００２４】
図４は、第１カメラ、第２カメラ、および仮想カメラを含めた系の配置構成を示す配置構成図である。図４において、検出対象の三次元座標Ｍと設定する。また、第１カメラ１１の光学中心をＣ_１と設定し、第２カメラ１２の光学中心をＣ_２と設定している。さらに、第１画像上の検出対象のＭの像の座標をｍ_１、第２画像上の検出対象のＭの像の座標をｍ_２と設定し、仮想カメラＶの画像上のＭの像の座標をｍ_ｖと設定している。また、第１カメラ１１の内部パラメータをＡ_１と設定し、第２カメラ１２の内部パラメータをＡ_２と設定している。さらに、第１カメラ１１の座標系でのＭの座標をｘ_１と設定し、第２カメラ１２の座標系でのＭの座標をｘ_２と設定している。また、第１カメラ１１の座標系から仮想カメラＶの座標系への並進ベクトルをｔ_１と設定し、第２カメラ１２の座標系から仮想カメラＶの座標系へに並進ベクトルをｔ_２と設定し、第１カメラの座標系から第２カメラ１２の座標系への並進ベクトルをｔと設定している。さらに、第１カメラ１１の座標系から仮想カメラＶの座標系への回転行列をＲ_１と設定し、第２カメラ１２の座標系から仮想カメラＶの座標系への回転行列をＲ_２と設定し、第１カメラ１１の座標系から第２カメラ１２の座標系への回転ベクトルをＲ_３と設定している。
【００２５】
図４に示す位置関係を考慮して、下記（１）式、（２）式からなるエピポーラ拘束式を用いると、仮想カメラＶで撮像された仮想画像上で三次元空間上の点Ｍが結像する位置が特定される。
【００２６】
【数１】

（１）式および（２）式において、「各エッジ点の二次元画像上での第１カメラ１１および第２カメラ１２の対応が既知であること」を仮定し、さらに「第１，第２カメラ１１，１２のキャリブレーションが済んでいる」とすれば、未知数はｎ_ｖ ^Ｔのみである。さらに、ｎ_ｖ ^Ｔを構成しているのは、仮想画像上での水平・垂直方向の座標である。つまり、（１）式および（２）式はそれぞれ仮想画像上での直線の式を表している。さらに、これらの２式は、第１カメラ１１と仮想カメラＶ、および第２カメラ１２と仮想カメラＶのエピポーラ直線である。よって、たとえば第１画像上の点ｎ_１を指定し、仮想画像上でｎ_ｖ ^Ｔを変数とすると、（１）式で表される直線上に対応する点がのっていることが保証される。そして、これらの２直線を決めるために座標ｎ_１，ｎ_２を与え、それら２直線が仮想カメラ画像上で交われば、その交点が仮想画像上での結像位置として特定されることになる。
【００２７】
実際にｎ_１，ｎ_２の対応は以下のようにして求められる。いま、第１カメラ１１および第２カメラ１２のそれぞれの外部パラメータおよび内部パラメータから、ステップＳ４で作成した顔エッジ画像のうち、第１エッジ画像上の任意の１点を特定点として選択する。すると、その特定点に対応する第２エッジ画像上における対応点の候補となる点は、エピポーラ直線上の点にある点となる。さらに、第２エッジ画像とエピポーラ直線とは交点を持っているので、対応点の候補となる点は、それらの唯一、または複数の交点に絞られる。
【００２８】
ここで、エピポーラ直線と第２エッジ画像の交点が唯一である場合にはその交点が対応点となる。一方、交点が複数存在した場合には、それらのどれかが対応点となり、その中から対応点を選択することになる。
【００２９】
これら複数の対応点の候補となる点の座標から、ステップＳ１で取得した輝度画像上で対応する座標周辺の特徴量、たとえば輝度値を用いて１点に特定する。対応点を特定するためには、第１エッジ画像における特定点の周囲の輝度分布および第２エッジ画像における対応点の候補となる各点の周囲の輝度分布を検出する。そして、たとえば下記（３）式に示す評価式に基づいて、対応点の候補となる各点の輝度分布を評価し、特定点の周囲の輝度分布に最も近い輝度分布を周囲に有する対応点の候補となる点を対応点として決定することができる。
【００３０】
【数２】

こうして、ｎ_１，ｎ_２の対応が求められると、ｎ_１，ｎ_２の対応を利用して、ステップＳ２で計測された特徴点ごとに第１画像と第２画像の各座標からエピポーラ直線を決定し、それらの仮想画像上での交点を求める。このようにして決定した仮想画像上における特徴点に対応するエッジ点の座標と、第１画像から生成された初期エッジ画像の特徴点の座標とを、下記（４）式に基づいて比較する。
【００３１】
【数３】

このような比較を複数枚作成された各仮想画像について行う。その結果、位置誤差が最小になった位置が、真正面を向く姿勢となる顔を撮像する仮想カメラＶの仮想位置となる。この仮想位置を、第１カメラ１１の位置に対する回転・推進量をもって特定することができる。
【００３２】
ところで、ここで算出された回転・並進量はあくまで初期の顔・位置姿勢に対して仮想カメラを動かすことで、現在の第１カメラ１１と顔との相対的な位置関係を満足させる回転・並進量である。図５（ａ）は、顔向きの検出を行っている際の第１カメラと仮想カメラと顔との配置関係を示す図、（ｂ）は、（ａ）と同じ画像を撮像し、顔向き方向を回転・並進させた後の第１カメラと顔との配置関係を示す図である。
【００３３】
図５（ａ）に示すように、顔向き検出を行っている際に、顔Ｆが仮想カメラＶの方向を向いていることが検出できたとする。ここで、下記（５）式に（４）式で求めた第１カメラ１１の座標系に対する仮想カメラＶの座標系の回転・並進量Ｒ^＊，ｔ^＊を代入して仮想カメラＶの座標系を回転・並進させる。
【００３４】
ｘ_ｖ（０）＝Ｒ^＊・ｘ_１（０）＋ｔ^＊・・・（５）
この（５）式によって仮想カメラＶの座標を回転・並進させることにより、図５（ｂ）に示すように、仮想カメラＶで撮像した顔画像と第１カメラ１１で顔を撮像した二次元画像とが一致する。また、この（５）式に対して、仮想カメラＶを動かしたのと逆の運動を行えば、顔Ｆに関して、第１カメラ１１で同じ画像が得られることになる。したがって、（６）式によって、仮想カメラＶの画像を第１カメラ１１の座標系に変えて、仮想カメラＶで撮像した顔画像と、第１カメラ１１で撮像した顔画像とを一致させることができる。
【００３５】
ｘ_１（０）＝Ｒ^＊−１・ｘ_ｖ（０）−Ｒ^＊−１・Ｔ^＊・・・（６）
（６）式により、顔の回転・並進運動は、Ｒ^＊−１、−Ｒ^＊−１・Ｔ^＊で行われたことになる。このようにして、顔の向き方向を検出することができる。
【００３６】
なお、同時に得られる画像が２枚存在し、上で述べたように第１カメラ１１での画像に合わせるようにするのと同様に、第２カメラ１２の画像との誤差を同時に評価すれば、より多くの点での誤差を評価できることになり、顔の向き方向の検出精度を向上させることができる。
【００３７】
こうして、顔向き方向の検出が済んだら、視線方向の検出が行われる（Ｓ６）。以下に、視線方向の検出について説明する。
【００３８】
検出対象となる目は、初期画像として得られる２枚のステレオ画像のうち、第１カメラ１１を真正面から覗いている。したがって、ステップＳ１における初期値の設定の段階での第１カメラ１１での黒目形状が、黒目を真正面から見た形状となっている。仮想画像を作成した際、このときと同じ黒目形状の画像があれば、それが視線の向いているものとなる。
【００３９】
視線方向を検出する際には、ステレオ対の画像を使って仮想カメラから撮像した仮想画像を擬似的に複数枚作成する。この複数の仮想画像における各エッジ部分の二次的な座標と、ステップＳ４で算出した黒目輪郭エッジの座標との一致度（類似度）に基づいて、視線方向を推定する。ここで、仮想カメラの内部パラメータは、第１カメラ１１と同じとし、（１）式、（２）式のエピポーラ拘束式を用いて、仮想画像上で三次元空間上の点Ｍが結像する場所を特定する。
【００４０】
上記（１）式および（２）式において、あらかじめ「各エッジ点の二次元画像上での第１カメラ１１、第２カメラ１２の対応が既知であること」「カメラのキャリブレーションが終わっていること」から、未知数はｎ_ｖ ^Ｔとなる。さらに、ｎ_ｖ ^Ｔを構成しているのは、仮想カメラ画像上での水平・垂直方向の座標である。したがって、（１）式および（２）式はそれぞれ仮想カメラ画像上での直線の式を表している。さらに、（１）式および（２）式は、それぞれ「第１カメラ１１と仮想カメラ」および「第２カメラ１２と仮想カメラ」の間のエピポーラ直線を表している。よって、たとえば第１カメラ１１上の点ｎ_１を指定すると、仮想カメラ上でｎ_ｖ ^Ｔを変数とする（２）式の直線上に対応する点がのっていることが保証される。そして、これらの２直線を決めるために、ｎ_１，ｎ_２を与え、それら２直線が仮想画像上で交われば、その交点が仮想画像上での結像画像として特定されることになる。
【００４１】
このことを利用して、輪郭上で各点ごとに第１エッジ画像と第２エッジ画像の各座標からエピポーラ直線を決定し、それらの仮想画像上での交点を求める。なお、第１エッジ画像と第２エッジ画像間での黒目輪郭上の点の対応は、黒目輪郭がエッジであることから、直線とエッジの交点が２点に限定され、さらに、２点のどちらが対応点であるかどうかは、黒目の左側か、右側かで判定できるので、その判断は容易なものとなる。
【００４２】
このようにして決定した仮想画像上での各黒目輪郭上の点の座標とステップＳ３で得られた画像上における各輪郭上の点の座標を比較する。その比較は、たとえば（４）式で行うことができる。
【００４３】
このような比較を複数枚作成された各仮想画像のそれぞれについて行う。その結果、位置誤差が最小になった位置、特に、位置誤差が０である位置が、視線方向の先にある仮想カメラＶの位置として、第１カメラ１１の位置に対する回転・推進量をもって特定することができる。
【００４４】
ところで、ここで算出された回転・並進量は、あくまで仮想カメラを動かすことで、初期の目の形状と一致または類似する形状を見つけるための回転・並進量である。図６（ａ）は、視線方向の検出を行っている際の第１カメラと顔（目）との配置関係を示す図、（ｂ）は、（ａ）と同じ画像を撮像し、視線方向を回転・並進させた後の第１カメラと仮想カメラと顔（目）との配置関係を示す図である。
【００４５】
図６（ａ）に示すように、視線方向の検出を行っている際に、顔Ｆにおける目Ｅの視線方向が仮想カメラＶの方向を向いていることが検出できたとする。（４）式で算出した回転・並進量Ｒ^＊，ｔ^＊に対して、初期状態での黒目は、第１カメラ１１を覗き込んでいるので、三次元的には黒目から原点を結ぶ視線を持っている。同様に、仮想画像でも初期状態での見え方と同じ画像になっているということは、原点を相対的に同じ位置から見ていることになっているはずである。よって、その仮想カメラが位置する仮想位置での原点と三次元的な黒目の位置を結ぶベクトルが視線方向となる。仮想カメラＶの回転・並進量をＲ^＊，ｔ^＊とすると、（７）式により仮想カメラＶの座標を第１カメラ１１の座標に変換することができる。
【００４６】
ｘ_ｖ（ｋ）＝Ｒ^＊・ｘ_１（ｋ）＋ｔ^＊・・・（７）
この（７）式によって仮想カメラＶの座標を回転・並進させることにより、図６（ｂ）に示すように、仮想カメラＶで撮像した目Ｅの画像と第１カメラ１１で撮影した目Ｅの画像とが一致する。上記（７）式は、仮想カメラの原点位置が、並進移動量の分だけ第１カメラ１１の原点位置から移動していることを表している。したがって、（８）式および（９）式で表される黒目の三次元座標をステレオ処理により算出し、座標ｔ^＊から黒目中心の三次元座標に向かう方向を視線方向として検出することができる。
【００４７】
【数４】

このようにして黒目の三次元座標を算出することにより、目Ｅの視線方向検出することができる。
【００４８】
このように、本実施形態に係る向き方向検出においては、基準画像から求められる仮想画像と、検出対象となる顔や目を撮像して得られた画像とを比較し、その一致度が高い仮想画像と基準画像との位置関係から、顔向き方向および視線方向を検出している。このため、高い精度で顔向き方向および視線方向の検出を行うことができる。
【００４９】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。たとえば、上記実施形態では向き方向の検出として、顔向き方向および視線方向の両方を検出するようにしているが、たとえば顔向き方向のみ、あるいは視線方向のみの検出とすることができる。また、上記実施形態では、前段階においてあらかじめ準備する基準画像として、第１カメラで検出対象となる人の顔を最初に撮像する態様としているが、たとえば一般的な人の顔の平均的な形状等をとって、これを基準画像とする態様とすることもできる。ただし、高精度を求めるならば、本実施形態のように、検出対象に対応する画像を最初に撮像するのが望ましい。さらには、上記実施形態では、向き方向検出装置を自動車に設ける例について説明したが、パソコンや家電製品などをはじめあらゆる装置の指令デバイスとして用いることもできる。
【００５０】
【発明の効果】
以上のとおり、本発明によれば、視線のような目の向き方向など、物体の向き方向を正確に検出することができる向き方向検出装置および向き方向検出方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る向き検出装置のブロック構成図である。
【図２】本実施形態に係る向き方向検出方法の手順を示すフローチャートである。
【図３】（ａ）は撮像手段で撮像した目の模式図、（ｂ）は（ａ）の画像を白色で二値化してエッジ処理した白色エッジ画像の模式図、（ｃ）は（ｂ）の白色部分を膨張させた膨張処理を施した白色膨張エッジ画像の模式図、（ｄ）は（ａ）の画像を黒色で二値化してエッジ処理した黒色エッジ画像の模式図、（ｅ）は（ｄ）の白色部分を膨張させた膨張処理を施した黒色膨張エッジ画像の模式図、（ｆ）は（ｃ）の画像と（ｅ）の画像をＡＮＤ演算して得られたエッジ画像の模式図である。
【図４】第１カメラ、第２カメラ、および仮想カメラを含めた系の配置構成を示す配置構成図である。
【図５】（ａ）は、顔向きの検出を行っている際の第１カメラと仮想カメラと顔との配置関係を示す図、（ｂ）は、（ａ）と同じ画像を撮像し、顔向き方向を回転・並進させた後の第１カメラと顔との配置関係を示す図である。
【図６】（ａ）は、視線方向の検出を行っている際の第１カメラと顔（目）との配置関係を示す図、（ｂ）は、（ａ）と同じ画像を撮像し、視線方向を回転・並進させた後の第１カメラと仮想カメラと顔（目）との配置関係を示す図である。
【符号の説明】
１…ステレオカメラ、２…画像処理装置、１１…第１カメラ、１２…第２カメラ、１３…同期装置、２１…エッジ画像作成部、２２…初期エッジ画像記憶部、２３…向き方向判断部、Ｄ…向き方向検出装置、Ｇ…画像、ＷＧ…白色エッジ画像、ＷＥＧ…白色膨張エッジ画像、ＢＧ…黒色エッジ画像、ＢＥＧ…黒色膨張エッジ画像、Ｅ…目、ＥＧ…エッジ画像、Ｆ…顔、Ｖ…仮想カメラ。

Claims

検出対象物をそれぞれ撮像する第１撮像手段および第２撮像手段を備えるステレオカメラと、
前記第１撮像手段で撮像された第１画像および前記第２撮像手段で撮像された第２画像から検出対象画像を作成する検出対象画像作成手段と、
前記第１撮像手段および前記第２撮像手段のうちの少なくとも一方に対する前記検出対象物の向き方向が既知である前記第１画像および前記第２画像の基準画像をあらかじめ記憶しておく基準画像記憶手段と、
前記基準画像に基づいて、前記検出対象物を任意の位置から撮像したときの仮想画像を作成する仮想画像作成手段と、
前記検出対象画像と前記仮想画像とを比較し、前記検出対象画像と前記仮想画像との一致度に基づいて求められた仮想画像を撮像する仮想位置にある仮想撮像手段の前記仮想位置を求め、前記第１撮像手段の位置と、前記仮想撮像手段の仮想位置との位置関係に基づいて、前記検出対象物の向きを判断する向き方向判断手段と、
を備えることを特徴とする向き方向検出装置。
前記検出対象物が顔である請求項１に記載の向き方向検出装置。
前記検出対象物が目である請求項１に記載の向き方向検出装置。
第１撮像手段および第２撮像手段によって、検出対象物を撮像する撮像工程と、
前記第１撮像手段で撮像された第１画像および前記第２手段で撮像された第２画像とを合成することにより、任意の位置から撮像したときの仮想画像を生成する検出対象画像作成工程と、
前記第１撮像手段および前記第２撮像手段のうちの少なくとも一方に対する前記検出対象物の向き方向が既知である前記第１画像および前記第２画像の基準画像をあらかじめ記憶しておく基準画像記憶工程と、
前記基準画像に基づいて、前記検出対象物物を任意の位置から撮像したときの仮想画像を作成する仮想画像作成工程と、
前記検出対象画像と前記仮想画像とを比較し、前記検出対象画像と前記仮想画像との一致度に基づいて求められた仮想画像を撮像する仮想位置にある仮想撮像手段の前記仮想位置を求め、前記第１撮像手段の位置と、前記仮想撮像手段の仮想位置との位置関係に基づいて、前記検出対象物の向きを判断する向き方向判断工程と、
を含むことを特徴とする向き方向検出方法。