JP2012065997A - 視線推定装置 - Google Patents
視線推定装置 Download PDFInfo
- Publication number
- JP2012065997A JP2012065997A JP2010215331A JP2010215331A JP2012065997A JP 2012065997 A JP2012065997 A JP 2012065997A JP 2010215331 A JP2010215331 A JP 2010215331A JP 2010215331 A JP2010215331 A JP 2010215331A JP 2012065997 A JP2012065997 A JP 2012065997A
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- gaze
- unit
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Psychiatry (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Social Psychology (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Child & Adolescent Psychology (AREA)
- Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Computation (AREA)
- Eye Examination Apparatus (AREA)
Abstract
【解決手段】視線推定装置200は、人物を撮影して画像を取り込む画像入力部201と、撮影された画像をもとに現時刻の視線方向を計測する視線計測部202と、過去に計測された視線計測結果を保持する視線計測結果保持部211と、過去の視線計測結果の代表値を抽出する代表値抽出部212と、該代表値と現時刻の視線計測結果との差分が所定の閾値未満であるか否かにより、該代表値と現時刻の視線計測結果とのいずれかを現時刻の視線推定結果として決定する視線決定部213とを備える。
【選択図】図1
Description
図1は、本発明の第1の実施の形態に係る視線推定装置200の構成を示すブロック図である。視線推定装置200は、例えば、自動車の車室内に設けられ、外部の警報装置と接続される。この警報装置は、視線推定装置200の視線推定結果に基づいて、運転者が正面を長時間向かなかったと判断した場合には、運転者に対して警告を行うことにより注意を喚起するようになっている。
図10に示すように、本発明の第2の実施の形態に係る視線推定装置1100は、本発明の第1の実施の形態に係る視線推定装置200の構成要件に加えて、運転者の目を含む顔付近の領域を照射する照射部1101を備えている。
201 画像入力部
202 視線計測部
203 視線推定部
211 視線計測結果保持部
212 代表値抽出部
213 視線決定部
214 閾値決定部
301 顔周辺画像
302、303、402、403 目の端点
401 目領域画像
404、1001 瞳孔中心
601、701 視線計測結果を示すグラフ
602、702 代表値を示すグラフ
603、703 閾値処理を示すグラフ
604、704 視線推定結果を示すグラフ
801 最大眼球回転角度決定部
802 誤計測時差分最小値決定部
803 閾値設定部
901 計測結果が正しいときのグラフ
902 誤計測のときのグラフ
1002 眼球中心
1003 虹彩輪郭上の一点
1004 虹彩角度
1005 眼球半径
1006 虹彩半径
1101 照射部
Claims (9)
- 目を含む顔付近の領域を撮影して画像として取り込む画像入力部と、
撮影された画像をもとに現時刻の視線方向を計測する視線計測部と、
前記視線計測部で過去に計測された視線計測結果を保持する視線計測結果保持部と、
前記視線計測結果保持部に保持された過去の視線計測結果の代表値を抽出する代表値抽出部と、
前記代表値抽出部により抽出された代表値と前記視線計測部により計測された現時刻の視線計測結果との差分Dが所定の閾値T未満であるか否かにより、前記代表値と前記現時刻の視線計測結果とのいずれかを現時刻の視線推定結果として決定する視線決定部と、を備えた視線推定装置。 - 前記閾値Tを決定する閾値決定部を更に備え、
前記閾値決定部は、1フレームの間に視線が動く可能性がある最大眼球回転角度Pと、瞳孔領域外に瞳孔を誤検出した場合における差分Dの最小角度Qを設定した上で、前記最大眼球回転角度P以上かつ前記最小角度Q以下の値を前記閾値Tとして決定することを特徴とする請求項1に記載の視線推定装置。 - 前記閾値決定部は、眼球運動を制御する筋肉の伸縮速度に関する既知の値に基づいて、前記最大眼球回転角度Pを設定することを特徴とする請求項2に記載の視線推定装置。
- 前記閾値決定部は、前記視線計測部および前記視線決定部の少なくとも一方から過去に出力された結果に基づいて、前記最大眼球回転角度Pを微調整することを特徴とする請求項3に記載の視線推定装置。
- 前記閾値決定部は、瞳孔の中心から眼球の中心までを結ぶ直線と、虹彩輪郭上の一点から前記眼球の中心までを結ぶ直線とがなす角度、および、前記最大眼球回転角度Pに基づいて、前記最小角度Qを設定することを特徴とする請求項2に記載の視線推定装置。
- 前記代表値抽出部は、前記視線計測結果保持部が保持する視線計測結果の中央値を前記代表値として抽出することを特徴とする請求項1に記載の視線推定装置。
- 前記閾値決定部は、虹彩半径を算出し、算出した虹彩半径に基づいて、前記瞳孔の中心から前記眼球の中心までを結ぶ直線と、前記虹彩輪郭上の一点から前記眼球の中心までを結ぶ直線とがなす角度を算出することを特徴とする請求項5に記載の視線推定装置。
- 前記目を含む顔付近の領域を照射する照射部を更に備え、
前記閾値決定部は、前記虹彩の半径を計算するタイミングに合わせて、前記照射部による照射の状態を変更させることを特徴とする請求項7に記載の視線推定装置。 - 前記視線決定部によって決定された値を平滑化する時系列フィルタを更に備えたことを特徴とする請求項1に記載の視線推定装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010215331A JP5466610B2 (ja) | 2010-09-27 | 2010-09-27 | 視線推定装置 |
PCT/JP2010/007245 WO2012042580A1 (ja) | 2010-09-27 | 2010-12-14 | 視線推定装置 |
CN201080019815.4A CN102548465B (zh) | 2010-09-27 | 2010-12-14 | 视线估计装置 |
EP10847169.9A EP2457499B1 (en) | 2010-09-27 | 2010-12-14 | Line-of-sight estimation device |
US13/240,200 US8503737B2 (en) | 2010-09-27 | 2011-09-22 | Visual line estimating apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010215331A JP5466610B2 (ja) | 2010-09-27 | 2010-09-27 | 視線推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012065997A true JP2012065997A (ja) | 2012-04-05 |
JP5466610B2 JP5466610B2 (ja) | 2014-04-09 |
Family
ID=45892086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010215331A Active JP5466610B2 (ja) | 2010-09-27 | 2010-09-27 | 視線推定装置 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP2457499B1 (ja) |
JP (1) | JP5466610B2 (ja) |
CN (1) | CN102548465B (ja) |
WO (1) | WO2012042580A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103337171A (zh) * | 2013-06-15 | 2013-10-02 | 杨涛 | 一种交通综合监控***及其监控方法 |
KR20160063040A (ko) * | 2014-11-26 | 2016-06-03 | 현대자동차주식회사 | 시선추적장치 및 그의 추적정확도 측정방법 |
JP2021033755A (ja) * | 2019-08-27 | 2021-03-01 | 矢崎総業株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
WO2023139975A1 (ja) * | 2022-01-21 | 2023-07-27 | 日本電気株式会社 | 眼球運動測定装置、眼球運動測定プログラムを格納した非一時的なコンピュータ可読媒体及び眼球運動測定方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102799277B (zh) * | 2012-07-26 | 2015-06-10 | 深圳先进技术研究院 | 一种基于眨眼动作的人机交互方法及*** |
CN104180995A (zh) * | 2013-05-24 | 2014-12-03 | 上海汽车集团股份有限公司 | 一种扫描车辆整车视野的装置以及方法 |
KR101470243B1 (ko) * | 2013-11-15 | 2014-12-05 | 현대자동차주식회사 | 시선 검출 장치 및 그 시선 검출 방법 |
TWI557004B (zh) * | 2014-01-10 | 2016-11-11 | Utechzone Co Ltd | Identity authentication system and its method |
KR102469507B1 (ko) | 2014-12-17 | 2022-11-22 | 소니그룹주식회사 | 정보 처리 장치, 정보 처리 방법 및 프로그램 |
EP3305176A1 (en) | 2016-10-04 | 2018-04-11 | Essilor International | Method for determining a geometrical parameter of an eye of a subject |
CN112597872B (zh) * | 2020-12-18 | 2024-06-28 | 深圳地平线机器人科技有限公司 | 视线角度估计方法和装置、存储介质、电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0796803A (ja) * | 1993-08-04 | 1995-04-11 | Nissan Motor Co Ltd | 車両用インタフェース |
JP2004334784A (ja) * | 2003-05-12 | 2004-11-25 | Nissan Motor Co Ltd | 確認動作検出装置及び警報システム |
JP2007268164A (ja) * | 2006-03-31 | 2007-10-18 | National Univ Corp Shizuoka Univ | 視線移動検出方法及び視線移動検出装置 |
JP2007301087A (ja) * | 2006-05-10 | 2007-11-22 | Gen Tec:Kk | 車両運転者の視線方向の検出方法又は同装置 |
JP2009181424A (ja) * | 2008-01-31 | 2009-08-13 | Nec Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2950546B2 (ja) * | 1988-08-31 | 1999-09-20 | キヤノン株式会社 | 視線検出装置及び視線検出装置を有するカメラ |
DE60330980D1 (de) * | 2002-10-15 | 2010-03-04 | Volvo Technology Corp | Verfahren für die auswertung der kopf- und augenaktivität einer person |
DE602007009990D1 (de) * | 2006-07-14 | 2010-12-02 | Panasonic Corp | Sehachsenrichtungs-nachweisvorrichtung und sehlinienrichtungs-nachweisverfahren |
JP4420002B2 (ja) * | 2006-09-14 | 2010-02-24 | トヨタ自動車株式会社 | 視線先推定装置 |
WO2008141460A1 (en) * | 2007-05-23 | 2008-11-27 | The University Of British Columbia | Methods and apparatus for estimating point-of-gaze in three dimensions |
CN101788848B (zh) * | 2009-09-29 | 2012-05-23 | 北京科技大学 | 用于视线追踪***的眼部特征参数检测方法 |
-
2010
- 2010-09-27 JP JP2010215331A patent/JP5466610B2/ja active Active
- 2010-12-14 CN CN201080019815.4A patent/CN102548465B/zh active Active
- 2010-12-14 WO PCT/JP2010/007245 patent/WO2012042580A1/ja active Application Filing
- 2010-12-14 EP EP10847169.9A patent/EP2457499B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0796803A (ja) * | 1993-08-04 | 1995-04-11 | Nissan Motor Co Ltd | 車両用インタフェース |
JP2004334784A (ja) * | 2003-05-12 | 2004-11-25 | Nissan Motor Co Ltd | 確認動作検出装置及び警報システム |
JP2007268164A (ja) * | 2006-03-31 | 2007-10-18 | National Univ Corp Shizuoka Univ | 視線移動検出方法及び視線移動検出装置 |
JP2007301087A (ja) * | 2006-05-10 | 2007-11-22 | Gen Tec:Kk | 車両運転者の視線方向の検出方法又は同装置 |
JP2009181424A (ja) * | 2008-01-31 | 2009-08-13 | Nec Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103337171A (zh) * | 2013-06-15 | 2013-10-02 | 杨涛 | 一种交通综合监控***及其监控方法 |
CN103337171B (zh) * | 2013-06-15 | 2018-04-10 | 广东安达交通工程有限公司 | 一种交通综合监控***及其监控方法 |
KR20160063040A (ko) * | 2014-11-26 | 2016-06-03 | 현대자동차주식회사 | 시선추적장치 및 그의 추적정확도 측정방법 |
KR101628543B1 (ko) | 2014-11-26 | 2016-06-08 | 현대자동차주식회사 | 시선추적장치 및 그의 추적정확도 측정방법 |
JP2021033755A (ja) * | 2019-08-27 | 2021-03-01 | 矢崎総業株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
WO2023139975A1 (ja) * | 2022-01-21 | 2023-07-27 | 日本電気株式会社 | 眼球運動測定装置、眼球運動測定プログラムを格納した非一時的なコンピュータ可読媒体及び眼球運動測定方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2457499B1 (en) | 2016-11-02 |
WO2012042580A1 (ja) | 2012-04-05 |
JP5466610B2 (ja) | 2014-04-09 |
EP2457499A4 (en) | 2014-04-09 |
CN102548465B (zh) | 2015-12-16 |
EP2457499A1 (en) | 2012-05-30 |
CN102548465A (zh) | 2012-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5466610B2 (ja) | 視線推定装置 | |
EP2541493B1 (en) | Pupil detection device and pupil detection method | |
US8649583B2 (en) | Pupil detection device and pupil detection method | |
US9330325B2 (en) | Apparatus and method for reducing noise in fingerprint images | |
US20130170754A1 (en) | Pupil detection device and pupil detection method | |
JP6601351B2 (ja) | 視線計測装置 | |
CN106934804B (zh) | 图像清晰度检测方法及装置 | |
JP2003098424A (ja) | 画像処理測距装置 | |
US8503737B2 (en) | Visual line estimating apparatus | |
JP2018156408A (ja) | 画像認識撮像装置 | |
US20190172214A1 (en) | Measurement method and apparatus | |
US10593044B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP5519413B2 (ja) | 瞳孔隠蔽状態検出装置及びそれを備えた車載カメラ | |
JP5004099B2 (ja) | カーソル移動制御方法及びカーソル移動制御装置 | |
JP4111080B2 (ja) | 脇見状態検出装置 | |
JP2004254960A (ja) | 視線方向検出装置および視線方向検出方法 | |
JP6737213B2 (ja) | 運転者状態推定装置、及び運転者状態推定方法 | |
JP5655491B2 (ja) | 開眼状態検出装置 | |
US20230017607A1 (en) | Imaging apparatus | |
JP2004310396A (ja) | 画像処理装置 | |
JP2013190938A (ja) | ステレオ画像処理装置 | |
TWI621554B (zh) | 基線可調式立體視覺裝置 | |
JP2005309991A (ja) | 画像処理装置および画像処理方法 | |
JP2017211302A (ja) | 画像認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5466610 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |