JP4451195B2 - 視線検出装置 - Google Patents
視線検出装置 Download PDFInfo
- Publication number
- JP4451195B2 JP4451195B2 JP2004117724A JP2004117724A JP4451195B2 JP 4451195 B2 JP4451195 B2 JP 4451195B2 JP 2004117724 A JP2004117724 A JP 2004117724A JP 2004117724 A JP2004117724 A JP 2004117724A JP 4451195 B2 JP4451195 B2 JP 4451195B2
- Authority
- JP
- Japan
- Prior art keywords
- infrared
- driver
- line
- irradiation
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
Description
このような問題に対して、赤外線領域にて撮影可能なカメラを用いる方法では、赤外線の点光源から眼球に赤外線を照射し、撮影画像から検出された瞳孔中心および角膜表面における反射像(プルキニエ像)の相対位置に基づき視線を検出するようになっており、この方法では相対的に高精度の視線検出を行うことが可能である。
大野健彦著,「視線を用いたインタフェース」,情報処理,社団法人情報処理学会,2003年7月,第44巻,第7号,p.726−732
本発明は上記事情に鑑みてなされたもので、運転者の顔の向きに関わらず視線を検出することが可能な視線検出装置を提供することを目的とする。
さらに、請求項3に記載の本発明の視線検出装置では、前記切り換え方向設定手段は、前記照射方向の切り換え順序を設定することを特徴としている。
本実施の形態による視線検出装置10は、例えば車両の走行安全装置に具備され、図1に示すように、自車両の運転者の視線を検出するためにCPU等を含む電子回路により構成された検出制御装置11と、視線センサ12とを備えて構成されている。
可視光カメラ21は、運転者の顔や眼球から反射される可視光を撮影する。
赤外線カメラ22は、検出制御装置11の制御により各赤外線LED231,…,23nから運転者の眼球に向けて照射された赤外線の反射を撮影する。
各画像処理部24,25は、各カメラ21,22により撮影して得た可視光画像および赤外線画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して検出制御装置11へ出力する。
なお、画像データの認識処理において、特徴量算出の処理では、例えば二値化処理後の画像データに対して、画素の連続性に基づく検知対象物の抽出およびラベリングを行い、抽出した検知対象物の重心および面積および外接四角形の縦横比等を算出する。また、形状判別の処理では、例えば予め記憶している所定パターン(例えば輪郭等)に基づき画像データ上の検索を行い、所定パターンとの類似性に応じて検知対象物を抽出する。
赤外線視線算出部34は、赤外線反射判定部33にて各赤外線LED231,…,23nから運転者の眼球に向けて照射される赤外線が運転者の眼鏡で反射されていないと判定された際に、視線センサ12から入力される赤外線画像の画像データに対して、例えば運転者の眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、認識した検知対象物に基づき、運転者の視線ベクトル(視線方向)を算出し、さらに、この視線ベクトルに基づき、視線の対象位置を算出する。この赤外線視線算出部34による認識処理では、例えば角膜表面における反射像(プルキニエ像)の中心位置と瞳孔の中心位置との相対距離に基づき視線ベクトルを算出する。
次に、ステップS02においては、取得した可視光画像の画像データに対して、例えば顔を検知対象物とした特徴量算出および形状判別等の認識処理を行い、顔向きを検出する。
そして、ステップS03においては、検出した顔向きに応じて各赤外線LED231,…,23nの発光順序を設定する。
そして、ステップS04においては、設定した発光順序に応じて各赤外線LED231,…,23nを順次発光させる。
そして、ステップS05においては、赤外線画像を取得する。
ステップS06においては、例えば所定値以上の輝度および大きさを有する領域を検知対象物とした特徴量算出および形状判別等の認識処理を行い、運転者の眼球に向けて照射される赤外線が運転者の眼鏡で反射されているか否かを判定する。
この判定結果が「YES」の場合には、ステップS07に進み、各赤外線LED231,…,23nの発光順序を変更し、上述したステップS04に進む。
一方、この判定結果が「NO」の場合には、ステップS08に進む。
ステップS08においては、視線センサ12から入力される赤外線画像の画像データに対して、例えば運転者の眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、認識した検知対象物に基づき、運転者の視線ベクトル(視線方向)を算出し、さらに、この視線ベクトルに基づき、視線の対象位置を算出し、一連の処理を終了する。
しかも、赤外線の照射方向を、顔向き検出部31にて検出される運転者の顔向きおよび赤外線反射判定部33での判定結果に応じて変更することから、精度の良い視線検出を迅速に行うことができる。
22 赤外線カメラ(赤外線撮影手段)
231,…,23n 赤外線発光ダイオード(赤外線照射手段)
32 発光制御部(照射制御手段)
34 赤外線視線算出部(視線検出手段)
Claims (3)
- 自車両の運転者の眼球に互いに異なる照射方向から赤外線を照射する複数の赤外線照射手段と、
前記複数の赤外線照射手段の各作動状態を制御し、赤外線の照射方向を切り換えて照射する照射制御手段と、
自車両の運転者の眼球を赤外線領域にて撮影する赤外線撮影手段と、
自車両の運転者の顔向きを検出する顔向き検出手段と、
前記赤外線撮影手段の撮影により得られる赤外線画像に基づき運転者の視線を検出する視線検出手段と、
前記赤外線の照射方向を、前記顔向き検出手段により検出された運転者の顔向きに応じて設定する切り換え方向設定手段と
を備えることを特徴とする視線検出装置。 - 前記照射制御手段は、前記複数の赤外線照射手段の各作動状態を制御し、赤外線の照射方向を順次切り換えて照射することを特徴とする請求項1に記載の視線検出装置。
- 前記切り換え方向設定手段は、前記照射方向の切り換え順序を設定することを特徴とする請求項2に記載の視線検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004117724A JP4451195B2 (ja) | 2004-04-13 | 2004-04-13 | 視線検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004117724A JP4451195B2 (ja) | 2004-04-13 | 2004-04-13 | 視線検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005296383A JP2005296383A (ja) | 2005-10-27 |
JP4451195B2 true JP4451195B2 (ja) | 2010-04-14 |
Family
ID=35328643
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004117724A Expired - Fee Related JP4451195B2 (ja) | 2004-04-13 | 2004-04-13 | 視線検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4451195B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4156117A1 (en) * | 2021-09-13 | 2023-03-29 | Yazaki Corporation | Detection system |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008094221A (ja) | 2006-10-11 | 2008-04-24 | Denso Corp | 目状態検出装置および目状態検出装置の取り付け方法 |
JP5206190B2 (ja) * | 2008-07-17 | 2013-06-12 | トヨタ自動車株式会社 | ドライバー監視装置 |
JP5601179B2 (ja) * | 2010-12-01 | 2014-10-08 | 富士通株式会社 | 視線検出装置及び視線検出方法 |
FR2987920B1 (fr) * | 2012-03-08 | 2018-03-02 | Essilor International | Procede de determination d'une caracteristique geometrico-morphologique, de posture ou comportementale d'un porteur d'une paire de lunettes |
JP2017097759A (ja) * | 2015-11-27 | 2017-06-01 | 株式会社デンソー | 視線方向検出装置、及び視線方向検出システム |
JP6737057B2 (ja) | 2016-08-10 | 2020-08-05 | 富士通株式会社 | 視線検出装置、視線検出方法、及び視線検出プログラム |
JP6847323B2 (ja) * | 2018-10-09 | 2021-03-24 | 三菱電機株式会社 | 視線検出装置および視線検出方法 |
-
2004
- 2004-04-13 JP JP2004117724A patent/JP4451195B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4156117A1 (en) * | 2021-09-13 | 2023-03-29 | Yazaki Corporation | Detection system |
Also Published As
Publication number | Publication date |
---|---|
JP2005296383A (ja) | 2005-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107533362B (zh) | 眼睛跟踪设备和用于操作眼睛跟踪设备的方法 | |
EP2813173B1 (en) | Terminal device and line of sight detection method | |
US9760774B2 (en) | Line-of-sight detection apparatus | |
JP2007004448A (ja) | 視線検出装置 | |
JP6322986B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP6651074B2 (ja) | 眼球の運動を検出する方法、そのプログラム、そのプログラムの記憶媒体、及び、眼球の運動を検出する装置 | |
CN107169403B (zh) | 面部图像处理装置 | |
JP4313717B2 (ja) | 視線検出装置 | |
US20180039327A1 (en) | Information processing apparatus, information processing method, and program | |
US11163994B2 (en) | Method and device for determining iris recognition image, terminal apparatus, and storage medium | |
JP5626039B2 (ja) | 視線検出装置及び視線検出方法 | |
JP2001340300A (ja) | 瞳孔位置検出装置及び方法、視点位置検出装置及び方法、並びに立体画像表示システム | |
JP4451195B2 (ja) | 視線検出装置 | |
CN114762000A (zh) | 视线检测方法、视线检测装置以及控制程序 | |
US11458040B2 (en) | Corneal topography mapping with dense illumination | |
JP7223303B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
JP6904624B1 (ja) | クラブヘッド計測用マークおよび画像処理装置 | |
CN111522431B (zh) | 使用眼睛跟踪***对闪光进行分类 | |
JP3428920B2 (ja) | 視点位置検出装置、方法及び立体画像表示システム | |
WO2017154356A1 (ja) | 視線検出装置および視線検出方法 | |
JP4376685B2 (ja) | 視線検出装置 | |
JP2017162233A (ja) | 視線検出装置および視線検出方法 | |
JPH06323832A (ja) | 車両用インターフェイス | |
US20240220014A1 (en) | Information processing device, information processing method, and program | |
US20230206474A1 (en) | Eye tracking method, apparatus and sensor for determining sensing coverage based on eye model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090507 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090612 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090901 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100119 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100127 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130205 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130205 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140205 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |