JP4032994B2 - 視線方向検出装置および視線方向検出方法 - Google Patents
視線方向検出装置および視線方向検出方法 Download PDFInfo
- Publication number
- JP4032994B2 JP4032994B2 JP2003049919A JP2003049919A JP4032994B2 JP 4032994 B2 JP4032994 B2 JP 4032994B2 JP 2003049919 A JP2003049919 A JP 2003049919A JP 2003049919 A JP2003049919 A JP 2003049919A JP 4032994 B2 JP4032994 B2 JP 4032994B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye
- center
- gaze direction
- eyeball
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Eye Examination Apparatus (AREA)
Description
【発明の属する技術分野】
本発明は、検出対象となる目の視線方向を検出する視線方向検出装置および視線方向検出方法に関する。
【0002】
【従来の技術】
自動車を運転する運転者などの視線方向を非接触で検出する技術として、従来、たとえば特開平7−167618号公報に開示された技術がある。この技術は、赤外線カメラと運転者の距離を計測し、赤外線カメラとの距離関係が既知の視線計測用カメラで運転者の眼球を撮影する。視線計測用カメラで撮影された眼球の角膜反射像、瞳孔中心等の位置から視線方向を算出するものである。
【0003】
【特許文献1】
特開平7−167618号公報(4頁右欄、図1)
【0004】
【発明が解決しようとする課題】
しかし、上記特許文献1に開示された技術では、視線計測用カメラで撮影された眼球の角膜反射像や瞳孔中心等から視線方向を求めるにすぎないものである。このため、正確な視線方向を求めているとは言い難いものであった。
【0005】
そこで、本発明の課題は、視線方向を容易かつ正確に検出することができる視線方向検出装置および視線方向検出方法を提供することにある。
【0006】
【課題を解決するための手段】
上記課題を解決した本発明に係る視線検出装置は、検出対象となる目の視線方向を検出する視線方向検出装置において、目をそれぞれ撮像する第1撮像手段および第2撮像手段を備えるステレオカメラと、第1撮像手段および第2撮像手段で撮像された第1画像および第2画像から、目における白目部分の特徴部分を検出して眼球の中心位置を求める眼球中心検出手段と、第1画像および第2画像から、目における黒目部分の中心位置を検出する黒目中心検出手段と、眼球の中心位置と、黒目部分の中心位置とに基づいて、目の視線の方向を求める視線方向検出手段と、を有するものである。
【0007】
また、上記課題を解決した本発明に係る視線検出方法は、検出対象となる目の視線方向を検出する視線方向検出方法において、第1撮像手段および第2撮像手段によって、それぞれ検出対象を撮像する撮像工程と、第1撮像手段で撮像された第1画像と第2撮像手段で撮像された第2画像から、目における白目部分の特徴部分を検出して眼球の中心位置を求める眼球中心検出工程と、第1画像および第2画像から、目における黒目部分の中心位置を検出する黒目中心検出工程と、眼球の中心位置と、黒目部分の中心位置とに基づいて、目の視線の方向を求める視線方向検出工程と、を備えることを特徴とするものである。
【0008】
本発明に係る視線方向検出装置および検出方法においては、眼球の中心位置と黒目の中心位置とを求め、両中心位置に基づいて視線方向を検出している。人の視線は、眼球の中心を始点として黒目の中心を通ると考えられる。このため、視線方向を正確に検出することができる。
【0009】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、各実施形態において、同一の機能を有する部分については同一の符号を付し、重複する説明は省略することがある。
【0010】
図1は、本発明の実施形態に係る視線検出装置のブロック構成図である。図1に示すように、本実施形態に係る視線検出装置Dは、たとえば自動車の運転席に設けられ、運転者の視線を検出するために用いられる。この視線検出装置Dは、ステレオカメラ1および画像処理装置2を有している。ステレオカメラ1は、第1撮像手段である第1撮像装置11および第2撮像手段である第2撮像装置12を備えている。第1撮像装置11および第2撮像装置12には、同期装置13が接続されており、それぞれ同期した状態で同一の対象物を撮像するようになっている。これらの第1撮像装置11および第2撮像装置12は、内部パラメータおよび相対的な位置関係は既知であり、同期装置13で同期が取られた状態で視線検出対象となる目を含む顔画像を撮像することができる。
【0011】
また、画像処理装置2は、画像間対応点探索部21、三次元座標算出部22、眼球中心算出部23、黒目中心推定部24、および視線方向計測部25を有している。画像間対応点探索部21は、第1撮像装置11および第2撮像装置12に接続されており、ステレオカメラ1における第1撮像装置11および第2撮像装置12に接続されている。第1撮像装置11は、撮像した画像(第1画像)を画像間対応点探索部21に出力し、第2撮像装置12は、撮像した画像(第2画像)を画像間対応点探索部21に出力する。画像間対応点探索部21では、第1画像と第2画像との間の対応点を探索する。
【0012】
三次元座標算出部22は、画像間対応点探索部21に接続されている。画像間対応点探索部21は、三次元座標算出部22に対応点を探索した第1画像および第2画像を出力する。三次元座標算出部22では、対応付けられた第1画像および第2画像における所定の点の三次元座標を算出する。また、三次元座標算出部22は、眼球中心算出部23および黒目中心推定部24に接続されている。眼球中心算出部23は、三次元座標算出部22から出力される所定の三次元座標に基づいて眼球の中心座標を算出する。また、黒目中心推定部24では、三次元座標算出部22から出力される所定の三次元座標に基づいて、黒目の中心となる黒目中心座標を算出する。
【0013】
さらに、眼球中心算出部23および黒目中心推定部24は、本発明の視線方向検出手段である視線方向計測部25に接続されており、それぞれ眼球中心座標および黒目中心座標を出力している。視線方向計測部25では、出力された眼球中心座標および黒目中心座標に基づいて、視線方向を検出している。
【0014】
以上の構成を有する本実施形態に係る視線検出方法について説明する。図2は、本実施形態に係る視線検出方法の手順を示すフローチャートである。図2に示すように、本実施形態に係る視線方向検出方法では、目周辺画像を取得する(S1)。目周辺画像は、あらかじめキャリブレーションされ、内部パラメータおよび相対的な位置関係が既知であるステレオカメラ1における第1撮像装置11および第2撮像装置12のそれぞれで同一の目の近傍を撮像することによって取得される。第1撮像装置11および第2撮像装置12は、それぞれ同期装置13に接続されており、両撮像装置11,12の同期が取られている。
【0015】
第1撮像装置11で撮像された目周辺画像である第1画像および第2撮像装置12で撮像された目周辺画像である第2画像は、画像処理装置2における画像間対応点探索部21にそれぞれ出力される。画像間対応点探索部21では、第1画像および第2画像から、第1画像および第2画像の間の対応付けを行う(S2)。第1画像および第2画像の間の対応付けは、たとえば黒目部分および白目部分について行い、黒目の対応付けは、黒目の輪郭を抽出して行う。
【0016】
そのため、まず、図3(a)に示す画像G中における白色に近い色の領域だけを抽出するように、画像を白で二値化してエッジ処理を施し、図3(b)に示すように白目を抽出した白色エッジ画像WGを生成する。この白色エッジ画像WGに対して、白色部分をわずかに膨張させる膨張処理を施し、図3(c)に示す白色膨張エッジ画像WEGを生成する。このような白での二値化処理を行う一方、図3(d)に示すように、黒色に近い色の領域だけを抽出するように、画像を黒で二値化してエッジ処理を施し、図3(d)に示すように黒目を抽出した黒色エッジ画像BGを生成する。この黒色エッジ画像BGに対して、白色部分を膨張させる膨張処理を施し、図3(e)に示す黒色膨張エッジ画像BEGを生成する。そして、それぞれ膨張処理を施して得られた白色膨張エッジ画像WEGおよび黒色膨張エッジ画像BEG間で、同じ座標同士の画素でAND演算を行う。その結果、図3(f)に示すように、有意となった画素が輪郭エッジとなるエッジ画像EGが生成される。
【0017】
次に、白目部分の対応付けについて説明する。白目眼球上には、本発明の白目の特徴部分となる多くの微細な血管が存在し、これらの血管の配置はランダムとなっているので、同じパターンの血管が張っていることはほとんどない。このことから、血管のパターン同士によって対応点を取ることができる。白目眼球の対応点の取り方について図4を参照して説明する。
【0018】
図4(a)は第1撮像装置11で撮像した目およびその周辺の画像の模式図、図4(b)は第2撮像装置12で撮像した目およびその周辺の画像の模式図である。図4(a)に示すように、第1撮像装置11で撮像した画像G1において、目Eの周辺には多数の血管B1,B2…が存在する。このうちのたとえば血管B1〜B3を含む矩形領域R1を指定し、この血管B1〜B3を含む矩形領域R1における参照パターンを検出する。
【0019】
この参照パターンに対して、第2撮像装置12で撮像した画像G2において、画像G1に指定された矩形領域R1の参照パターンにもっとも近い矩形領域を、下記(1)式を用いて探索する。この探索は、画像G1における矩形領域R1と画像G2における矩形領域の類似度(一致度)を算出することにより行われる。
【0020】
【数1】
【0021】
そして、(1)式により、画像G2において、画像G1における矩形領域R1に一致し、または最も類似する矩形領域R2を探索することができる。
【0022】
こうして、黒目部分および白目部分のそれぞれの対応付けが済んだら、三次元座標算出部22において、黒目部分および白目部分の三次元座標を求める(S3)。これらの三次元座標は、黒目部分および白目部分の血管パターンの画像上での二次元座標と2台のカメラの相対的な位置関係から求められる。具体的には、下記(2)式および(3)式を満たす(X,Y,Z)Tを算出することによって求めることができる。
【0023】
【数2】
【0024】
上記(2)式および(3)式により、黒目部分における輪郭エッジの三次元座標および白目部分における血管上における1つの平面上にない任意の4点の三次元座標を算出する。
【0025】
これらの三次元座標を求めたら、続いて、眼球中心算出部23において、眼球の中心を算出する(S4)。眼球の中心は、上記(2)式および(3)によって求めた血管上における1つの平面上にない任意の4点の三次元座標から求める。一般に球の式は下記(4)式で与えられる。
【0026】
【数3】
【0027】
いま、眼球を球として考えると、眼球上の血管は、この球の表面に存在することになる。また、球の式を特定するためには、1つの平面上にない4点が与えられればよい。したがって、(2)式および(3)式によって求めた血管の三次元座標から、(4)式の定数a、b、c、rを求めることにより、眼球を示す球の中心座標(a、b、c)を得ることができる。
【0028】
こうして眼球の中心を求めたら、黒目中心推定部24において、黒目の中心の三次元座標を求める(S5)。ここで、黒目輪郭は円形(またはだ円形)を形成しているので、その中心は、下記(5)式に示すように、黒目輪郭上の点として計算した2点間の最大の点となる組の中心として算出できる。
【0029】
【数4】
【0030】
こうして、黒目の中心を算出したら、視線方向の検出を行う(S6)。人の視線は、眼球の中心と黒目の中心を通る線に等しいと考えられる。このため、視線方向の検出は、下記(6)式によって行うことができる。
【0031】
視線方向=黒目中心座標−眼球中心座標 ・・・(6)
上記(6)式により、視線方向を検出することができる。このときの視線の始点は、眼球の中心となる。
【0032】
このように、本実施形態に係る視線検出方法では、眼球の中心位置と黒目の中心位置とを求め、両中心位置に基づいて視線方向を検出している。このため、視線方向を容易かつ正確に検出することができる。
【0033】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。たとえば、上記実施形態では、眼球の中心位置を求めるために、白目部分の特徴部分として血管を利用しているが、血管に代えて虹彩などを利用することができる。また、上記実施形態では、黒目の中心を求める際に、黒目輪郭上の点として計算した2点間の最大の点となる組の中心を黒目の中心としているが、たとえば黒目の形状をだ円に置き換えて、演算処理を施してだ円の中心を求めて、そのだ円の中心を黒目の中心とすることもできる。
【0034】
他方、上記実施形態では、視線検出装置を自動車に設ける例について説明したが、入力装置として使用することにより、パソコンや家電製品などをはじめあらゆる装置の指令デバイスとしても用いることができる。
【0035】
【発明の効果】
以上のとおり、本発明によれば、視線方向を容易かつ正確に検出することができる視線検出装置および視線検出方法を提供することができる。
【図面の簡単な説明】
【図1】本発明の実施形態に係る視線検出装置のブロック構成図である。
【図2】本実施形態に係る視線方向検出方法を示すフローチャートである。
【図3】(a)は撮像手段で撮像した目の模式図、(b)は(a)の画像を白色で二値化してエッジ処理した白色エッジ画像の模式図、(c)は(b)の白色部分を膨張させた膨張処理を施した白色膨張エッジ画像の模式図、(d)は(a)の画像を黒色で二値化してエッジ処理した黒色エッジ画像の模式図、(e)は(d)の白色部分を膨張させた膨張処理を施した黒色膨張エッジ画像の模式図、(f)は(c)の画像と(e)の画像をAND演算して得られたエッジ画像の模式図である。
【図4】(a)は第1撮像装置11で撮像した目およびその周辺の画像の模式図、(b)は第2撮像装置12で撮像した目およびその周辺の画像の模式図である。
【符号の説明】
1…ステレオカメラ、2…画像処理装置、11…第1撮像装置、12…第2撮像装置、13…同期装置、21…画像間対応点探索部、22…三次元座標算出部、23…眼球中心算出部、24…黒目中心推定部、25…視線方向計測部、B1〜B3…血管、D…視線検出装置、G,G1,G2…画像、WG…白色エッジ画像、WEG…白色膨張エッジ画像、BG…黒色エッジ画像、BEG…黒色膨張エッジ画像、E…目、EG…エッジ画像、R1,R2…矩形領域。
Claims (2)
- 検出対象となる目の視線方向を検出する視線方向検出装置において、
前記目をそれぞれ撮像する第1撮像手段および第2撮像手段を備えるステレオカメラと、
前記第1撮像手段および前記第2撮像手段で撮像された第1画像および第2画像から、前記目における白目部分の特徴部分を検出して眼球の中心位置を求める眼球中心検出手段と、
前記第1画像および前記第2画像から、前記目における黒目部分の中心位置を検出する黒目中心検出手段と、
前記眼球の中心位置と、前記黒目部分の中心位置とに基づいて、前記目の視線の方向を求める視線方向検出手段と、
を有することを特徴とする視線方向検出装置。 - 検出対象となる目の視線方向を検出する視線方向検出方法において、
第1撮像手段および第2撮像手段によって、それぞれ前記検出対象を撮像する撮像工程と、
前記第1撮像手段で撮像された第1画像と前記第2撮像手段で撮像された第2画像から、前記目における白目部分の特徴部分を検出して眼球の中心位置を求める眼球中心検出工程と、
前記第1画像および前記第2画像から、前記目における黒目部分の中心位置を検出する黒目中心検出工程と、
前記眼球の中心位置と、前記黒目部分の中心位置とに基づいて、前記目の視線の方向を求める視線方向検出工程と、
を備えることを特徴とする視線方向検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003049919A JP4032994B2 (ja) | 2003-02-26 | 2003-02-26 | 視線方向検出装置および視線方向検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003049919A JP4032994B2 (ja) | 2003-02-26 | 2003-02-26 | 視線方向検出装置および視線方向検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004254960A JP2004254960A (ja) | 2004-09-16 |
JP4032994B2 true JP4032994B2 (ja) | 2008-01-16 |
Family
ID=33115500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003049919A Expired - Fee Related JP4032994B2 (ja) | 2003-02-26 | 2003-02-26 | 視線方向検出装置および視線方向検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4032994B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004046617A1 (de) * | 2004-09-22 | 2006-04-06 | Eldith Gmbh | Vorrichtung und Verfahren zur berührungslosen Bestimmung der Blickrichtung |
JP2009217682A (ja) | 2008-03-12 | 2009-09-24 | Yazaki Corp | 車両用表示装置 |
JP2009292409A (ja) | 2008-06-09 | 2009-12-17 | Yazaki Corp | ヘッドアップディスプレイ装置 |
KR101020893B1 (ko) | 2009-06-16 | 2011-03-09 | 서울대학교산학협력단 | 안구의 변위 측정 방법, 안구의 변위 측정 방법을 기록한 기록매체 및 안구의 변위 측정 장치 |
JP5590487B2 (ja) * | 2010-07-30 | 2014-09-17 | 公立大学法人広島市立大学 | 視線計測方法及び視線計測装置 |
KR101382772B1 (ko) | 2012-12-11 | 2014-04-08 | 현대자동차주식회사 | 디스플레이 시스템 및 방법 |
US10165176B2 (en) | 2013-10-31 | 2018-12-25 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems |
JP6800091B2 (ja) * | 2017-06-09 | 2020-12-16 | 株式会社豊田中央研究所 | 視線計測装置及びプログラム |
-
2003
- 2003-02-26 JP JP2003049919A patent/JP4032994B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004254960A (ja) | 2004-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102670168B (zh) | 眼科设备及其控制方法 | |
JP5137833B2 (ja) | 視線方向検出装置および視線方向検出方法 | |
JP6040274B2 (ja) | 瞳孔位置検出方法、瞳孔位置検出装置および記録媒体 | |
JP5466610B2 (ja) | 視線推定装置 | |
JP2001101429A (ja) | 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体 | |
JP5613741B2 (ja) | 画像処理装置、方法、及びプログラム | |
CN103119623A (zh) | 瞳孔检测装置及瞳孔检测方法 | |
JP5791475B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP5583980B2 (ja) | 画像処理方法および画像処理装置 | |
JP2013024662A (ja) | 3次元範囲計測システム、3次元範囲計測プログラムおよび記録媒体 | |
JP6452235B2 (ja) | 顔検出方法、顔検出装置、及び顔検出プログラム | |
JP2011120657A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4032994B2 (ja) | 視線方向検出装置および視線方向検出方法 | |
JP2018156408A (ja) | 画像認識撮像装置 | |
JP6942566B2 (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
JP2004310397A (ja) | マスク着用判定装置 | |
JP6042146B2 (ja) | 対象物検出装置および対象物検出方法 | |
JP6452236B2 (ja) | 眼球識別装置及び眼球識別方法 | |
JP2006215743A (ja) | 画像処理装置及び画像処理方法 | |
JP2015232771A (ja) | 顔検出方法、顔検出システム、および顔検出プログラム | |
JP4140399B2 (ja) | 視線方向検出装置および視線方向検出方法 | |
JP2007226726A (ja) | 熱画像処理装置 | |
JP2011134119A (ja) | 車両周辺監視装置 | |
JP2008108118A (ja) | 画像処理装置 | |
JP5004099B2 (ja) | カーソル移動制御方法及びカーソル移動制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051017 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070824 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071002 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071015 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4032994 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131102 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |