JP2005296383A - 視線検出装置 - Google Patents
視線検出装置 Download PDFInfo
- Publication number
- JP2005296383A JP2005296383A JP2004117724A JP2004117724A JP2005296383A JP 2005296383 A JP2005296383 A JP 2005296383A JP 2004117724 A JP2004117724 A JP 2004117724A JP 2004117724 A JP2004117724 A JP 2004117724A JP 2005296383 A JP2005296383 A JP 2005296383A
- Authority
- JP
- Japan
- Prior art keywords
- infrared
- driver
- line
- sight
- infrared ray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
【課題】 運転者の顔の向きに関わらず視線を検出する。
【解決手段】 顔向き検出部31は視線センサ12から入力される可視光画像に基づき運転者の顔向きを算出する。赤外線反射判定部33は視線センサ12から入力される赤外線画像に基づき各赤外線LED231,…,23nから運転者の眼球に向けて照射される赤外線が運転者の眼鏡で反射されているか否かを判定する。発光制御部32は、顔向き検出部31にて検出される運転者の顔向きおよび赤外線反射判定部33での判定結果に応じて、複数の赤外線LED231,…,23nの発光状態を制御し、赤外線の照射方向を順次切り換えて照射する。赤外線視線算出部34は、赤外線反射判定部33にて赤外線が運転者の眼鏡で反射されていないと判定された際に、赤外線画像に基づき視線ベクトルおよび視線の対象位置を算出する。
【選択図】 図1
Description
このような問題に対して、赤外線領域にて撮影可能なカメラを用いる方法では、赤外線の点光源から眼球に赤外線を照射し、撮影画像から検出された瞳孔中心および角膜表面における反射像(プルキニエ像)の相対位置に基づき視線を検出するようになっており、この方法では相対的に高精度の視線検出を行うことが可能である。
大野健彦著,「視線を用いたインタフェース」,情報処理,社団法人情報処理学会,2003年7月,第44巻,第7号,p.726−732
本発明は上記事情に鑑みてなされたもので、運転者の顔の向きに関わらず視線を検出することが可能な視線検出装置を提供することを目的とする。
本実施の形態による視線検出装置10は、例えば車両の走行安全装置に具備され、図1に示すように、自車両の運転者の視線を検出するためにCPU等を含む電子回路により構成された検出制御装置11と、視線センサ12とを備えて構成されている。
可視光カメラ21は、運転者の顔や眼球から反射される可視光を撮影する。
赤外線カメラ22は、検出制御装置11の制御により各赤外線LED231,…,23nから運転者の眼球に向けて照射された赤外線の反射を撮影する。
各画像処理部24,25は、各カメラ21,22により撮影して得た可視光画像および赤外線画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して検出制御装置11へ出力する。
なお、画像データの認識処理において、特徴量算出の処理では、例えば二値化処理後の画像データに対して、画素の連続性に基づく検知対象物の抽出およびラベリングを行い、抽出した検知対象物の重心および面積および外接四角形の縦横比等を算出する。また、形状判別の処理では、例えば予め記憶している所定パターン(例えば輪郭等)に基づき画像データ上の検索を行い、所定パターンとの類似性に応じて検知対象物を抽出する。
赤外線視線算出部34は、赤外線反射判定部33にて各赤外線LED231,…,23nから運転者の眼球に向けて照射される赤外線が運転者の眼鏡で反射されていないと判定された際に、視線センサ12から入力される赤外線画像の画像データに対して、例えば運転者の眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、認識した検知対象物に基づき、運転者の視線ベクトル(視線方向)を算出し、さらに、この視線ベクトルに基づき、視線の対象位置を算出する。この赤外線視線算出部34による認識処理では、例えば角膜表面における反射像(プルキニエ像)の中心位置と瞳孔の中心位置との相対距離に基づき視線ベクトルを算出する。
次に、ステップS02においては、取得した可視光画像の画像データに対して、例えば顔を検知対象物とした特徴量算出および形状判別等の認識処理を行い、顔向きを検出する。
そして、ステップS03においては、検出した顔向きに応じて各赤外線LED231,…,23nの発光順序を設定する。
そして、ステップS04においては、設定した発光順序に応じて各赤外線LED231,…,23nを順次発光させる。
そして、ステップS05においては、赤外線画像を取得する。
ステップS06においては、例えば所定値以上の輝度および大きさを有する領域を検知対象物とした特徴量算出および形状判別等の認識処理を行い、運転者の眼球に向けて照射される赤外線が運転者の眼鏡で反射されているか否かを判定する。
この判定結果が「YES」の場合には、ステップS07に進み、各赤外線LED231,…,23nの発光順序を変更し、上述したステップS04に進む。
一方、この判定結果が「NO」の場合には、ステップS08に進む。
ステップS08においては、視線センサ12から入力される赤外線画像の画像データに対して、例えば運転者の眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、認識した検知対象物に基づき、運転者の視線ベクトル(視線方向)を算出し、さらに、この視線ベクトルに基づき、視線の対象位置を算出し、一連の処理を終了する。
しかも、赤外線の照射方向を、顔向き検出部31にて検出される運転者の顔向きおよび赤外線反射判定部33での判定結果に応じて変更することから、精度の良い視線検出を迅速に行うことができる。
22 赤外線カメラ(赤外線撮影手段)
231,…,23n 赤外線発光ダイオード(赤外線照射手段)
32 発光制御部(照射制御手段)
34 赤外線視線算出部(視線検出手段)
Claims (2)
- 自車両の運転者の眼球に互いに異なる照射方向から赤外線を照射する複数の赤外線照射手段と、
自車両の運転者の眼球を赤外線領域にて撮影する赤外線撮影手段と、
前記赤外線撮影手段の撮影により得られる赤外線画像に基づき運転者の視線を検出する視線検出手段と
を備えることを特徴とする視線検出装置。 - 前記複数の赤外線照射手段の各作動状態を制御し、赤外線の照射方向を順次切り換えて照射する照射制御手段を備えることを特徴とする請求項1に記載の視線検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004117724A JP4451195B2 (ja) | 2004-04-13 | 2004-04-13 | 視線検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004117724A JP4451195B2 (ja) | 2004-04-13 | 2004-04-13 | 視線検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005296383A true JP2005296383A (ja) | 2005-10-27 |
JP4451195B2 JP4451195B2 (ja) | 2010-04-14 |
Family
ID=35328643
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004117724A Expired - Fee Related JP4451195B2 (ja) | 2004-04-13 | 2004-04-13 | 視線検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4451195B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010023626A (ja) * | 2008-07-17 | 2010-02-04 | Toyota Motor Corp | ドライバー監視装置 |
US8144992B2 (en) | 2006-10-11 | 2012-03-27 | Denso Corporation | Eye condition detection apparatus and method for installing same |
JP2012115505A (ja) * | 2010-12-01 | 2012-06-21 | Fujitsu Ltd | 視線検出装置及び視線検出方法 |
JP2017097759A (ja) * | 2015-11-27 | 2017-06-01 | 株式会社デンソー | 視線方向検出装置、及び視線方向検出システム |
JP2018057872A (ja) * | 2012-03-08 | 2018-04-12 | エシロル アンテルナショナル(コンパーニュ ジェネラル ドプテーク) | 眼鏡を着用する人物の行動特性、姿勢特性、又は幾何形態特性を判定する方法 |
US10152633B2 (en) | 2016-08-10 | 2018-12-11 | Fujitsu Limited | Line-of-sight detection device and line-of-sight detection method |
WO2020075215A1 (ja) * | 2018-10-09 | 2020-04-16 | 三菱電機株式会社 | 視線検出装置および視線検出方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023041097A (ja) * | 2021-09-13 | 2023-03-24 | 矢崎総業株式会社 | 検出システム |
-
2004
- 2004-04-13 JP JP2004117724A patent/JP4451195B2/ja not_active Expired - Fee Related
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8144992B2 (en) | 2006-10-11 | 2012-03-27 | Denso Corporation | Eye condition detection apparatus and method for installing same |
JP2010023626A (ja) * | 2008-07-17 | 2010-02-04 | Toyota Motor Corp | ドライバー監視装置 |
JP2012115505A (ja) * | 2010-12-01 | 2012-06-21 | Fujitsu Ltd | 視線検出装置及び視線検出方法 |
JP2018057872A (ja) * | 2012-03-08 | 2018-04-12 | エシロル アンテルナショナル(コンパーニュ ジェネラル ドプテーク) | 眼鏡を着用する人物の行動特性、姿勢特性、又は幾何形態特性を判定する方法 |
JP2017097759A (ja) * | 2015-11-27 | 2017-06-01 | 株式会社デンソー | 視線方向検出装置、及び視線方向検出システム |
WO2017090319A1 (ja) * | 2015-11-27 | 2017-06-01 | 株式会社デンソー | 視線方向検出装置、及び視線方向検出システム |
US10152633B2 (en) | 2016-08-10 | 2018-12-11 | Fujitsu Limited | Line-of-sight detection device and line-of-sight detection method |
WO2020075215A1 (ja) * | 2018-10-09 | 2020-04-16 | 三菱電機株式会社 | 視線検出装置および視線検出方法 |
JP6847323B2 (ja) * | 2018-10-09 | 2021-03-24 | 三菱電機株式会社 | 視線検出装置および視線検出方法 |
JPWO2020075215A1 (ja) * | 2018-10-09 | 2021-04-30 | 三菱電機株式会社 | 視線検出装置および視線検出方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4451195B2 (ja) | 2010-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5604818A (en) | Apparatus for measuring sighting direction | |
JP6346525B2 (ja) | 視線検出装置 | |
JP6322986B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
CN107169403B (zh) | 面部图像处理装置 | |
JP2007004448A (ja) | 視線検出装置 | |
US20180039327A1 (en) | Information processing apparatus, information processing method, and program | |
JP3450801B2 (ja) | 瞳孔位置検出装置及び方法、視点位置検出装置及び方法、並びに立体画像表示システム | |
JP4313717B2 (ja) | 視線検出装置 | |
JPWO2011158463A1 (ja) | 外光映り込み判定装置、視線検出装置及び外光映り込み判定方法 | |
EP3158921A1 (en) | Line of sight detection system and method | |
JP4451195B2 (ja) | 視線検出装置 | |
US20170243061A1 (en) | Detection system and detection method | |
JP6904624B1 (ja) | クラブヘッド計測用マークおよび画像処理装置 | |
JP6856017B2 (ja) | 角膜反射位置検出装置、視線検出装置及び角膜反射位置検出方法 | |
JP6011173B2 (ja) | 瞳孔検出装置および瞳孔検出方法 | |
CN111522431B (zh) | 使用眼睛跟踪***对闪光进行分类 | |
WO2017154356A1 (ja) | 視線検出装置および視線検出方法 | |
WO2022038814A1 (ja) | 角膜曲率半径算出装置、視線検出装置、角膜曲率半径算出方法、及び角膜曲率半径算出プログラム | |
JP2018190213A (ja) | 顔認識装置及び視線検出装置 | |
JP7063045B2 (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
JP7027958B2 (ja) | 評価装置、評価方法、及び評価プログラム | |
JP4376685B2 (ja) | 視線検出装置 | |
JPH06323832A (ja) | 車両用インターフェイス | |
JP2020024750A (ja) | 視線検出装置、視線検出方法、及びコンピュータプログラム | |
WO2017154370A1 (ja) | 視線検出装置および視線検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090507 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090612 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090901 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100119 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100127 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130205 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130205 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140205 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |