JP4032994B2

JP4032994B2 - 視線方向検出装置および視線方向検出方法

Info

Publication number: JP4032994B2
Application number: JP2003049919A
Authority: JP
Inventors: 竜士船山; 雅道大杉
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2003-02-26
Filing date: 2003-02-26
Publication date: 2008-01-16
Anticipated expiration: 2023-02-26
Also published as: JP2004254960A

Description

【０００１】
【発明の属する技術分野】
本発明は、検出対象となる目の視線方向を検出する視線方向検出装置および視線方向検出方法に関する。
【０００２】
【従来の技術】
自動車を運転する運転者などの視線方向を非接触で検出する技術として、従来、たとえば特開平７−１６７６１８号公報に開示された技術がある。この技術は、赤外線カメラと運転者の距離を計測し、赤外線カメラとの距離関係が既知の視線計測用カメラで運転者の眼球を撮影する。視線計測用カメラで撮影された眼球の角膜反射像、瞳孔中心等の位置から視線方向を算出するものである。
【０００３】
【特許文献１】
特開平７−１６７６１８号公報（４頁右欄、図１）
【０００４】
【発明が解決しようとする課題】
しかし、上記特許文献１に開示された技術では、視線計測用カメラで撮影された眼球の角膜反射像や瞳孔中心等から視線方向を求めるにすぎないものである。このため、正確な視線方向を求めているとは言い難いものであった。
【０００５】
そこで、本発明の課題は、視線方向を容易かつ正確に検出することができる視線方向検出装置および視線方向検出方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決した本発明に係る視線検出装置は、検出対象となる目の視線方向を検出する視線方向検出装置において、目をそれぞれ撮像する第１撮像手段および第２撮像手段を備えるステレオカメラと、第１撮像手段および第２撮像手段で撮像された第１画像および第２画像から、目における白目部分の特徴部分を検出して眼球の中心位置を求める眼球中心検出手段と、第１画像および第２画像から、目における黒目部分の中心位置を検出する黒目中心検出手段と、眼球の中心位置と、黒目部分の中心位置とに基づいて、目の視線の方向を求める視線方向検出手段と、を有するものである。
【０００７】
また、上記課題を解決した本発明に係る視線検出方法は、検出対象となる目の視線方向を検出する視線方向検出方法において、第１撮像手段および第２撮像手段によって、それぞれ検出対象を撮像する撮像工程と、第１撮像手段で撮像された第１画像と第２撮像手段で撮像された第２画像から、目における白目部分の特徴部分を検出して眼球の中心位置を求める眼球中心検出工程と、第１画像および第２画像から、目における黒目部分の中心位置を検出する黒目中心検出工程と、眼球の中心位置と、黒目部分の中心位置とに基づいて、目の視線の方向を求める視線方向検出工程と、を備えることを特徴とするものである。
【０００８】
本発明に係る視線方向検出装置および検出方法においては、眼球の中心位置と黒目の中心位置とを求め、両中心位置に基づいて視線方向を検出している。人の視線は、眼球の中心を始点として黒目の中心を通ると考えられる。このため、視線方向を正確に検出することができる。
【０００９】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、各実施形態において、同一の機能を有する部分については同一の符号を付し、重複する説明は省略することがある。
【００１０】
図１は、本発明の実施形態に係る視線検出装置のブロック構成図である。図１に示すように、本実施形態に係る視線検出装置Ｄは、たとえば自動車の運転席に設けられ、運転者の視線を検出するために用いられる。この視線検出装置Ｄは、ステレオカメラ１および画像処理装置２を有している。ステレオカメラ１は、第１撮像手段である第１撮像装置１１および第２撮像手段である第２撮像装置１２を備えている。第１撮像装置１１および第２撮像装置１２には、同期装置１３が接続されており、それぞれ同期した状態で同一の対象物を撮像するようになっている。これらの第１撮像装置１１および第２撮像装置１２は、内部パラメータおよび相対的な位置関係は既知であり、同期装置１３で同期が取られた状態で視線検出対象となる目を含む顔画像を撮像することができる。
【００１１】
また、画像処理装置２は、画像間対応点探索部２１、三次元座標算出部２２、眼球中心算出部２３、黒目中心推定部２４、および視線方向計測部２５を有している。画像間対応点探索部２１は、第１撮像装置１１および第２撮像装置１２に接続されており、ステレオカメラ１における第１撮像装置１１および第２撮像装置１２に接続されている。第１撮像装置１１は、撮像した画像（第１画像）を画像間対応点探索部２１に出力し、第２撮像装置１２は、撮像した画像（第２画像）を画像間対応点探索部２１に出力する。画像間対応点探索部２１では、第１画像と第２画像との間の対応点を探索する。
【００１２】
三次元座標算出部２２は、画像間対応点探索部２１に接続されている。画像間対応点探索部２１は、三次元座標算出部２２に対応点を探索した第１画像および第２画像を出力する。三次元座標算出部２２では、対応付けられた第１画像および第２画像における所定の点の三次元座標を算出する。また、三次元座標算出部２２は、眼球中心算出部２３および黒目中心推定部２４に接続されている。眼球中心算出部２３は、三次元座標算出部２２から出力される所定の三次元座標に基づいて眼球の中心座標を算出する。また、黒目中心推定部２４では、三次元座標算出部２２から出力される所定の三次元座標に基づいて、黒目の中心となる黒目中心座標を算出する。
【００１３】
さらに、眼球中心算出部２３および黒目中心推定部２４は、本発明の視線方向検出手段である視線方向計測部２５に接続されており、それぞれ眼球中心座標および黒目中心座標を出力している。視線方向計測部２５では、出力された眼球中心座標および黒目中心座標に基づいて、視線方向を検出している。
【００１４】
以上の構成を有する本実施形態に係る視線検出方法について説明する。図２は、本実施形態に係る視線検出方法の手順を示すフローチャートである。図２に示すように、本実施形態に係る視線方向検出方法では、目周辺画像を取得する（Ｓ１）。目周辺画像は、あらかじめキャリブレーションされ、内部パラメータおよび相対的な位置関係が既知であるステレオカメラ１における第１撮像装置１１および第２撮像装置１２のそれぞれで同一の目の近傍を撮像することによって取得される。第１撮像装置１１および第２撮像装置１２は、それぞれ同期装置１３に接続されており、両撮像装置１１，１２の同期が取られている。
【００１５】
第１撮像装置１１で撮像された目周辺画像である第１画像および第２撮像装置１２で撮像された目周辺画像である第２画像は、画像処理装置２における画像間対応点探索部２１にそれぞれ出力される。画像間対応点探索部２１では、第１画像および第２画像から、第１画像および第２画像の間の対応付けを行う（Ｓ２）。第１画像および第２画像の間の対応付けは、たとえば黒目部分および白目部分について行い、黒目の対応付けは、黒目の輪郭を抽出して行う。
【００１６】
そのため、まず、図３（ａ）に示す画像Ｇ中における白色に近い色の領域だけを抽出するように、画像を白で二値化してエッジ処理を施し、図３（ｂ）に示すように白目を抽出した白色エッジ画像ＷＧを生成する。この白色エッジ画像ＷＧに対して、白色部分をわずかに膨張させる膨張処理を施し、図３（ｃ）に示す白色膨張エッジ画像ＷＥＧを生成する。このような白での二値化処理を行う一方、図３（ｄ）に示すように、黒色に近い色の領域だけを抽出するように、画像を黒で二値化してエッジ処理を施し、図３（ｄ）に示すように黒目を抽出した黒色エッジ画像ＢＧを生成する。この黒色エッジ画像ＢＧに対して、白色部分を膨張させる膨張処理を施し、図３（ｅ）に示す黒色膨張エッジ画像ＢＥＧを生成する。そして、それぞれ膨張処理を施して得られた白色膨張エッジ画像ＷＥＧおよび黒色膨張エッジ画像ＢＥＧ間で、同じ座標同士の画素でＡＮＤ演算を行う。その結果、図３（ｆ）に示すように、有意となった画素が輪郭エッジとなるエッジ画像ＥＧが生成される。
【００１７】
次に、白目部分の対応付けについて説明する。白目眼球上には、本発明の白目の特徴部分となる多くの微細な血管が存在し、これらの血管の配置はランダムとなっているので、同じパターンの血管が張っていることはほとんどない。このことから、血管のパターン同士によって対応点を取ることができる。白目眼球の対応点の取り方について図４を参照して説明する。
【００１８】
図４（ａ）は第１撮像装置１１で撮像した目およびその周辺の画像の模式図、図４（ｂ）は第２撮像装置１２で撮像した目およびその周辺の画像の模式図である。図４（ａ）に示すように、第１撮像装置１１で撮像した画像Ｇ１において、目Ｅの周辺には多数の血管Ｂ１，Ｂ２…が存在する。このうちのたとえば血管Ｂ１〜Ｂ３を含む矩形領域Ｒ１を指定し、この血管Ｂ１〜Ｂ３を含む矩形領域Ｒ１における参照パターンを検出する。
【００１９】
この参照パターンに対して、第２撮像装置１２で撮像した画像Ｇ２において、画像Ｇ１に指定された矩形領域Ｒ１の参照パターンにもっとも近い矩形領域を、下記（１）式を用いて探索する。この探索は、画像Ｇ１における矩形領域Ｒ１と画像Ｇ２における矩形領域の類似度（一致度）を算出することにより行われる。
【００２０】
【数１】

【００２１】
そして、（１）式により、画像Ｇ２において、画像Ｇ１における矩形領域Ｒ１に一致し、または最も類似する矩形領域Ｒ２を探索することができる。
【００２２】
こうして、黒目部分および白目部分のそれぞれの対応付けが済んだら、三次元座標算出部２２において、黒目部分および白目部分の三次元座標を求める（Ｓ３）。これらの三次元座標は、黒目部分および白目部分の血管パターンの画像上での二次元座標と２台のカメラの相対的な位置関係から求められる。具体的には、下記（２）式および（３）式を満たす（Ｘ，Ｙ，Ｚ）^Tを算出することによって求めることができる。
【００２３】
【数２】

【００２４】
上記（２）式および（３）式により、黒目部分における輪郭エッジの三次元座標および白目部分における血管上における１つの平面上にない任意の４点の三次元座標を算出する。
【００２５】
これらの三次元座標を求めたら、続いて、眼球中心算出部２３において、眼球の中心を算出する（Ｓ４）。眼球の中心は、上記（２）式および（３）によって求めた血管上における１つの平面上にない任意の４点の三次元座標から求める。一般に球の式は下記（４）式で与えられる。
【００２６】
【数３】

【００２７】
いま、眼球を球として考えると、眼球上の血管は、この球の表面に存在することになる。また、球の式を特定するためには、１つの平面上にない４点が与えられればよい。したがって、（２）式および（３）式によって求めた血管の三次元座標から、（４）式の定数ａ、ｂ、ｃ、ｒを求めることにより、眼球を示す球の中心座標（ａ、ｂ、ｃ）を得ることができる。
【００２８】
こうして眼球の中心を求めたら、黒目中心推定部２４において、黒目の中心の三次元座標を求める（Ｓ５）。ここで、黒目輪郭は円形（またはだ円形）を形成しているので、その中心は、下記（５）式に示すように、黒目輪郭上の点として計算した２点間の最大の点となる組の中心として算出できる。
【００２９】
【数４】

【００３０】
こうして、黒目の中心を算出したら、視線方向の検出を行う（Ｓ６）。人の視線は、眼球の中心と黒目の中心を通る線に等しいと考えられる。このため、視線方向の検出は、下記（６）式によって行うことができる。
【００３１】
視線方向＝黒目中心座標−眼球中心座標・・・（６）
上記（６）式により、視線方向を検出することができる。このときの視線の始点は、眼球の中心となる。
【００３２】
このように、本実施形態に係る視線検出方法では、眼球の中心位置と黒目の中心位置とを求め、両中心位置に基づいて視線方向を検出している。このため、視線方向を容易かつ正確に検出することができる。
【００３３】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。たとえば、上記実施形態では、眼球の中心位置を求めるために、白目部分の特徴部分として血管を利用しているが、血管に代えて虹彩などを利用することができる。また、上記実施形態では、黒目の中心を求める際に、黒目輪郭上の点として計算した２点間の最大の点となる組の中心を黒目の中心としているが、たとえば黒目の形状をだ円に置き換えて、演算処理を施してだ円の中心を求めて、そのだ円の中心を黒目の中心とすることもできる。
【００３４】
他方、上記実施形態では、視線検出装置を自動車に設ける例について説明したが、入力装置として使用することにより、パソコンや家電製品などをはじめあらゆる装置の指令デバイスとしても用いることができる。
【００３５】
【発明の効果】
以上のとおり、本発明によれば、視線方向を容易かつ正確に検出することができる視線検出装置および視線検出方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る視線検出装置のブロック構成図である。
【図２】本実施形態に係る視線方向検出方法を示すフローチャートである。
【図３】（ａ）は撮像手段で撮像した目の模式図、（ｂ）は（ａ）の画像を白色で二値化してエッジ処理した白色エッジ画像の模式図、（ｃ）は（ｂ）の白色部分を膨張させた膨張処理を施した白色膨張エッジ画像の模式図、（ｄ）は（ａ）の画像を黒色で二値化してエッジ処理した黒色エッジ画像の模式図、（ｅ）は（ｄ）の白色部分を膨張させた膨張処理を施した黒色膨張エッジ画像の模式図、（ｆ）は（ｃ）の画像と（ｅ）の画像をＡＮＤ演算して得られたエッジ画像の模式図である。
【図４】（ａ）は第１撮像装置１１で撮像した目およびその周辺の画像の模式図、（ｂ）は第２撮像装置１２で撮像した目およびその周辺の画像の模式図である。
【符号の説明】
１…ステレオカメラ、２…画像処理装置、１１…第１撮像装置、１２…第２撮像装置、１３…同期装置、２１…画像間対応点探索部、２２…三次元座標算出部、２３…眼球中心算出部、２４…黒目中心推定部、２５…視線方向計測部、Ｂ１〜Ｂ３…血管、Ｄ…視線検出装置、Ｇ，Ｇ１，Ｇ２…画像、ＷＧ…白色エッジ画像、ＷＥＧ…白色膨張エッジ画像、ＢＧ…黒色エッジ画像、ＢＥＧ…黒色膨張エッジ画像、Ｅ…目、ＥＧ…エッジ画像、Ｒ１，Ｒ２…矩形領域。

Claims

検出対象となる目の視線方向を検出する視線方向検出装置において、
前記目をそれぞれ撮像する第１撮像手段および第２撮像手段を備えるステレオカメラと、
前記第１撮像手段および前記第２撮像手段で撮像された第１画像および第２画像から、前記目における白目部分の特徴部分を検出して眼球の中心位置を求める眼球中心検出手段と、
前記第１画像および前記第２画像から、前記目における黒目部分の中心位置を検出する黒目中心検出手段と、
前記眼球の中心位置と、前記黒目部分の中心位置とに基づいて、前記目の視線の方向を求める視線方向検出手段と、
を有することを特徴とする視線方向検出装置。
検出対象となる目の視線方向を検出する視線方向検出方法において、
第１撮像手段および第２撮像手段によって、それぞれ前記検出対象を撮像する撮像工程と、
前記第１撮像手段で撮像された第１画像と前記第２撮像手段で撮像された第２画像から、前記目における白目部分の特徴部分を検出して眼球の中心位置を求める眼球中心検出工程と、
前記第１画像および前記第２画像から、前記目における黒目部分の中心位置を検出する黒目中心検出工程と、
前記眼球の中心位置と、前記黒目部分の中心位置とに基づいて、前記目の視線の方向を求める視線方向検出工程と、
を備えることを特徴とする視線方向検出方法。