JP5208711B2 - 眼開閉判別装置及びプログラム - Google Patents
眼開閉判別装置及びプログラム Download PDFInfo
- Publication number
- JP5208711B2 JP5208711B2 JP2008320889A JP2008320889A JP5208711B2 JP 5208711 B2 JP5208711 B2 JP 5208711B2 JP 2008320889 A JP2008320889 A JP 2008320889A JP 2008320889 A JP2008320889 A JP 2008320889A JP 5208711 B2 JP5208711 B2 JP 5208711B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- facial expression
- eye opening
- opening degree
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008921 facial expression Effects 0.000 claims description 248
- 230000014509 gene expression Effects 0.000 claims description 57
- 230000037007 arousal Effects 0.000 claims description 34
- 206010041349 Somnolence Diseases 0.000 claims description 31
- 239000000284 extract Substances 0.000 claims description 24
- 230000001815 facial effect Effects 0.000 claims description 24
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 210000000744 eyelid Anatomy 0.000 claims description 2
- 238000000034 method Methods 0.000 description 79
- 230000008569 process Effects 0.000 description 63
- 238000001514 detection method Methods 0.000 description 39
- 238000012545 processing Methods 0.000 description 26
- 238000000605 extraction Methods 0.000 description 15
- 210000004709 eyebrow Anatomy 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 230000001427 coherent effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 208000032140 Sleepiness Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000037321 sleepiness Effects 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000007261 regionalization Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
- G08B29/18—Prevention or correction of operating errors
- G08B29/20—Calibration, including self-calibrating arrangements
- G08B29/24—Self-calibration, e.g. compensating for environmental drift or ageing of components
- G08B29/26—Self-calibration, e.g. compensating for environmental drift or ageing of components by updating and storing reference thresholds
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Social Psychology (AREA)
- Animal Behavior & Ethology (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Child & Adolescent Psychology (AREA)
- Computer Security & Cryptography (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Emergency Alarm Devices (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
被撮影者の顔画像を取得する顔画像取得手段と、
前記顔画像取得手段により取得された顔画像から被撮影者の表情を推定する表情推定手段と、
前記顔画像取得手段により取得された顔画像から被撮影者の開眼度を求める開眼度取得手段と、
前記表情推定手段により推定された表情に基づいて開眼度の閾値を設定する閾値設定手段と、
前記開眼度取得手段により求められた開眼度が前記閾値設定手段により設定された閾値を超えていると判別した場合に被撮影者の眼が開いていると判別し、当該開眼度が当該閾値を超えていないと判別した場合に被撮影者の眼が閉じていると判別する眼開閉判別手段と、を備え、
前記閾値設定手段は、前記表情推定手段により推定された表情が、覚醒度が高いことを示す表情であると判別した場合に開眼度の閾値を低く設定し、前記表情推定手段により推定された表情が、覚醒度が低いことを示す表情であると判別した場合に開眼度の閾値を高く設定する、
ことを特徴とする。
前記閾値設定手段は、前記履歴情報記憶手段に記憶された履歴情報に基づいて閾値を設定してもよい。
被撮影者の顔画像を取得する顔画像取得手段と、
前記顔画像取得手段により取得された顔画像から被撮影者の表情を推定する表情推定手段と、
前記顔画像取得手段により取得された顔画像から被撮影者の開眼度を求める開眼度取得手段と、
前記表情推定手段により推定された表情に基づいて開眼度の閾値を設定する閾値設定手段と、
前記開眼度取得手段により求められた開眼度が前記閾値設定手段により設定された閾値を超えていると判別した場合に被撮影者の眼が開いていると判別し、当該開眼度が当該閾値を超えていないと判別した場合に被撮影者の眼が閉じていると判別する眼開閉判別手段と、
前記表情推定手段により推定された表情を示す情報と、前記開眼度取得手段により求められた開眼度を示す情報と、前記眼開閉判別手段により判別された判別結果を示す情報とを対応付けて履歴情報として記憶する履歴情報記憶手段と、を備え、
前記閾値設定手段は、前記履歴情報記憶手段に記憶された履歴情報に基づいて閾値を設定する、
ことを特徴とする。
コンピュータを、
被撮影者の顔画像を取得する顔画像取得手段、
前記顔画像取得手段により取得された顔画像から被撮影者の表情を推定する表情推定手段、
前記顔画像取得手段により取得された顔画像から被撮影者の開眼度を求める開眼度取得手段、
前記表情推定手段により推定された被撮影者の表情に基づいて開眼度の閾値を設定する閾値設定手段、
前記開眼度取得手段により求められた開眼度が前記閾値設定手段により設定された閾値を超えていると判別した場合に被撮影者の眼が開いていると判別し、当該開眼度が当該閾値を超えていないと判別した場合に被撮影者の眼が閉じていると判別する眼開閉判別手段、
として機能させ、
前記閾値設定手段は、前記表情推定手段により推定された表情が、覚醒度が高いことを示す表情であると判別した場合に開眼度の閾値を低く設定し、前記表情推定手段により推定された表情が、覚醒度が低いことを示す表情であると判別した場合に開眼度の閾値を高く設定する、
ことを特徴とする。
上記目的を達成するために、本発明の第4の観点に係るプログラムは、
コンピュータを、
被撮影者の顔画像を取得する顔画像取得手段、
前記顔画像取得手段により取得された顔画像から被撮影者の表情を推定する表情推定手段、
前記顔画像取得手段により取得された顔画像から被撮影者の開眼度を求める開眼度取得手段、
前記表情推定手段により推定された被撮影者の表情に基づいて開眼度の閾値を設定する閾値設定手段、
前記開眼度取得手段により求められた開眼度が前記閾値設定手段により設定された閾値を超えていると判別した場合に被撮影者の眼が開いていると判別し、当該開眼度が当該閾値を超えていないと判別した場合に被撮影者の眼が閉じていると判別する眼開閉判別手段、
前記表情推定手段により推定された表情を示す情報と、前記開眼度取得手段により求められた開眼度を示す情報と、前記眼開閉判別手段により判別された判別結果を示す情報とを対応付けて履歴情報として履歴情報記憶部に記憶させる手段、
として機能させ、
前記閾値設定手段は、前記履歴情報記憶部に記憶された履歴情報に基づいて閾値を設定する、
ことを特徴とする。
以下、本発明の第1の実施形態に係る眼開閉判別装置100について図面を参照して説明する。
第1の実施形態に係る眼開閉判別装置100は、ドライバーの表情がどのような表情であっても、眼開度を検出するとともに眼開度の閾値を設定し、検出した眼開度が閾値以上であるか否かを判別していた。しかし、ドライバーの表情が覚醒度が高い(又は、低い)と推定できる表情である場合には、眼開度を検出することなく、開眼判定(又は、閉眼判定)するようにしても良い。
第1、2の実施形態に係る眼開閉判別装置100は、コホーネント型ニューラルネットワークによって表情を推定した。しかし、ドライバーの表情を推定する方法は、コホーネント型ニューラルネットワークを用いた方法に限らず、例えば、フィードフォワードニューラルネットワークを用いた方法であってもよい。
第1〜3の実施形態に係る眼開閉判別装置100は、推定した表情がどのような表情であるかにより閾値を変更した。しかし、推定した表情からドライバーの覚醒度を求め、当該覚醒度に応じた閾値を設定するようにしてもよい。例えば、第3の実施形態に係る眼開閉判別装置100は、b1<0、0<b2<b3として、b1Y1+b2Y2+b3Y3を覚醒度として求め、当該覚醒度に応じて閾値を設定する。
20 照明光源
30 コンピュータ
31 A/D変換器
32 画像メモリ
33 ROM
34 CPU(顔画像取得手段、表情推定手段、開眼度取得手段、閾値設定手段、眼開閉判別手段)
35 RAM(履歴情報記憶手段)
36 表示制御装置
37 光源制御装置
38 設定メモリ
39 操作装置
40 表示装置
100 眼開閉判別装置
Claims (9)
- 被撮影者の顔画像を取得する顔画像取得手段と、
前記顔画像取得手段により取得された顔画像から被撮影者の表情を推定する表情推定手段と、
前記顔画像取得手段により取得された顔画像から被撮影者の開眼度を求める開眼度取得手段と、
前記表情推定手段により推定された表情に基づいて開眼度の閾値を設定する閾値設定手段と、
前記開眼度取得手段により求められた開眼度が前記閾値設定手段により設定された閾値を超えていると判別した場合に被撮影者の眼が開いていると判別し、当該開眼度が当該閾値を超えていないと判別した場合に被撮影者の眼が閉じていると判別する眼開閉判別手段と、を備え、
前記閾値設定手段は、前記表情推定手段により推定された表情が、覚醒度が高いことを示す表情であると判別した場合に開眼度の閾値を低く設定し、前記表情推定手段により推定された表情が、覚醒度が低いことを示す表情であると判別した場合に開眼度の閾値を高く設定する、
ことを特徴とする眼開閉判別装置。 - 前記閾値設定手段は、笑っている表情、眩しい表情又は特定の方向にあるものを注視している表情を覚醒度が高いことを示す表情であると判別する、
ことを特徴とする請求項1に記載の眼開閉判別装置。 - 前記閾値設定手段は、眠そうな表情を覚醒度が低いことを示す表情であると判別する、
ことを特徴とする請求項1に記載の眼開閉判別装置。 - 前記表情推定手段により推定された表情を示す情報と、前記開眼度取得手段により求められた開眼度を示す情報とを対応付けて履歴情報として記憶する履歴情報記憶手段を備え、
前記閾値設定手段は、前記履歴情報記憶手段に記憶された履歴情報に基づいて閾値を設定する、
ことを特徴とする請求項1に記載の眼開閉判別装置。 - 被撮影者の顔画像を取得する顔画像取得手段と、
前記顔画像取得手段により取得された顔画像から被撮影者の表情を推定する表情推定手段と、
前記顔画像取得手段により取得された顔画像から被撮影者の開眼度を求める開眼度取得手段と、
前記表情推定手段により推定された表情に基づいて開眼度の閾値を設定する閾値設定手段と、
前記開眼度取得手段により求められた開眼度が前記閾値設定手段により設定された閾値を超えていると判別した場合に被撮影者の眼が開いていると判別し、当該開眼度が当該閾値を超えていないと判別した場合に被撮影者の眼が閉じていると判別する眼開閉判別手段と、
前記表情推定手段により推定された表情を示す情報と、前記開眼度取得手段により求められた開眼度を示す情報と、前記眼開閉判別手段により判別された判別結果を示す情報とを対応付けて履歴情報として記憶する履歴情報記憶手段と、を備え、
前記閾値設定手段は、前記履歴情報記憶手段に記憶された履歴情報に基づいて閾値を設定する、
ことを特徴とする眼開閉判別装置。 - 前記表情推定手段は、前記顔画像取得手段により取得された顔画像からニューラルネットワークを用いて被撮影者の表情を推定する、
ことを特徴とする請求項1に記載の眼開閉判別装置。 - 前記開眼度取得手段は、前記顔画像取得手段により取得された顔画像から被撮影者の眼近傍の領域を抽出し、当該抽出した領域内の画素の輝度を二値化し、当該領域内において所定の輝度の画素が縦方向に連続する最大の画素数を開眼度として求める、
ことを特徴とする請求項1に記載の眼開閉判別装置。 - コンピュータを、
被撮影者の顔画像を取得する顔画像取得手段、
前記顔画像取得手段により取得された顔画像から被撮影者の表情を推定する表情推定手段、
前記顔画像取得手段により取得された顔画像から被撮影者の開眼度を求める開眼度取得手段、
前記表情推定手段により推定された被撮影者の表情に基づいて開眼度の閾値を設定する閾値設定手段、
前記開眼度取得手段により求められた開眼度が前記閾値設定手段により設定された閾値を超えていると判別した場合に被撮影者の眼が開いていると判別し、当該開眼度が当該閾値を超えていないと判別した場合に被撮影者の眼が閉じていると判別する眼開閉判別手段、
として機能させ、
前記閾値設定手段は、前記表情推定手段により推定された表情が、覚醒度が高いことを示す表情であると判別した場合に開眼度の閾値を低く設定し、前記表情推定手段により推定された表情が、覚醒度が低いことを示す表情であると判別した場合に開眼度の閾値を高く設定する、
ことを特徴とするプログラム。 - コンピュータを、
被撮影者の顔画像を取得する顔画像取得手段、
前記顔画像取得手段により取得された顔画像から被撮影者の表情を推定する表情推定手段、
前記顔画像取得手段により取得された顔画像から被撮影者の開眼度を求める開眼度取得手段、
前記表情推定手段により推定された被撮影者の表情に基づいて開眼度の閾値を設定する閾値設定手段、
前記開眼度取得手段により求められた開眼度が前記閾値設定手段により設定された閾値を超えていると判別した場合に被撮影者の眼が開いていると判別し、当該開眼度が当該閾値を超えていないと判別した場合に被撮影者の眼が閉じていると判別する眼開閉判別手段、
前記表情推定手段により推定された表情を示す情報と、前記開眼度取得手段により求められた開眼度を示す情報と、前記眼開閉判別手段により判別された判別結果を示す情報とを対応付けて履歴情報として履歴情報記憶部に記憶させる手段、
として機能させ、
前記閾値設定手段は、前記履歴情報記憶部に記憶された履歴情報に基づいて閾値を設定する、
ことを特徴とするプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008320889A JP5208711B2 (ja) | 2008-12-17 | 2008-12-17 | 眼開閉判別装置及びプログラム |
US13/121,125 US8139819B2 (en) | 2008-12-17 | 2009-12-02 | Eye open/close recognizing apparatus and recording medium |
EP09833325.5A EP2368496B1 (en) | 2008-12-17 | 2009-12-02 | Opened/closed eye recognizing apparatus and program |
PCT/JP2009/070249 WO2010071021A1 (ja) | 2008-12-17 | 2009-12-02 | 眼開閉判別装置及びプログラム |
CN2009801381652A CN102164541B (zh) | 2008-12-17 | 2009-12-02 | 睁闭眼判别装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008320889A JP5208711B2 (ja) | 2008-12-17 | 2008-12-17 | 眼開閉判別装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010142345A JP2010142345A (ja) | 2010-07-01 |
JP5208711B2 true JP5208711B2 (ja) | 2013-06-12 |
Family
ID=42268694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008320889A Active JP5208711B2 (ja) | 2008-12-17 | 2008-12-17 | 眼開閉判別装置及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US8139819B2 (ja) |
EP (1) | EP2368496B1 (ja) |
JP (1) | JP5208711B2 (ja) |
CN (1) | CN102164541B (ja) |
WO (1) | WO2010071021A1 (ja) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5361547B2 (ja) * | 2008-08-07 | 2013-12-04 | キヤノン株式会社 | 撮像装置及び撮影方法、プログラム |
JP2012203551A (ja) * | 2011-03-24 | 2012-10-22 | Komatsu Ltd | 居眠り抑制システム及びダンプトラック |
CN102955565A (zh) * | 2011-08-31 | 2013-03-06 | 德信互动科技(北京)有限公司 | 人机互动***和方法 |
JP6075982B2 (ja) * | 2012-07-03 | 2017-02-08 | 大和ハウス工業株式会社 | 顔しかめ検出システム及び顔しかめ検出方法 |
CN102831399A (zh) * | 2012-07-30 | 2012-12-19 | 华为技术有限公司 | 确定眼睛状态的方法和装置 |
KR101671137B1 (ko) * | 2012-12-04 | 2016-10-31 | 엘지전자 주식회사 | 영상 촬영 장치 및 그 방법 |
CN103369248A (zh) * | 2013-07-20 | 2013-10-23 | 厦门美图移动科技有限公司 | 一种闭眼后睁开的拍照方法 |
US9849834B2 (en) * | 2014-06-11 | 2017-12-26 | Ford Gloabl Technologies, L.L.C. | System and method for improving vehicle wrong-way detection |
JP2016115120A (ja) * | 2014-12-15 | 2016-06-23 | アイシン精機株式会社 | 開閉眼判定装置および開閉眼判定方法 |
CN105701445A (zh) * | 2014-12-15 | 2016-06-22 | 爱信精机株式会社 | 判定装置及判定方法 |
JP2016115117A (ja) * | 2014-12-15 | 2016-06-23 | アイシン精機株式会社 | 判定装置および判定方法 |
FR3032919B1 (fr) | 2015-02-19 | 2017-02-10 | Renault Sa | Procede et dispositif de detection d'un changement de comportement de conducteur d'un vehicule automobile |
DE102015211443A1 (de) * | 2015-06-22 | 2016-12-22 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Bereitstellen eines Bezugsniveaus für eine Augenöffnungsweite |
CN106355135B (zh) * | 2015-07-14 | 2019-07-26 | 原相科技股份有限公司 | 眼睛状态侦测方法以及眼睛状态侦测*** |
CN105354986B (zh) * | 2015-11-12 | 2017-12-01 | 熊强 | 汽车司机驾驶状态监测***及方法 |
CN105827969A (zh) * | 2016-03-29 | 2016-08-03 | 乐视控股(北京)有限公司 | 一种智能拍照的方法、装置及移动设备 |
EP3440592B1 (en) * | 2016-04-07 | 2023-08-30 | Seeing Machines Limited | Method and system of distinguishing between a glance event and an eye closure event |
CN107341468B (zh) * | 2017-06-30 | 2021-05-04 | 北京七鑫易维信息技术有限公司 | 驾驶员状态识别方法、装置、存储介质及处理器 |
WO2019028798A1 (zh) | 2017-08-10 | 2019-02-14 | 北京市商汤科技开发有限公司 | 驾驶状态监控方法、装置和电子设备 |
DE102017216837A1 (de) | 2017-09-22 | 2019-03-28 | Audi Ag | Gestik- und Mimiksteuerung für ein Fahrzeug |
JP6853159B2 (ja) * | 2017-10-31 | 2021-03-31 | トヨタ自動車株式会社 | 状態推定装置 |
JP6888542B2 (ja) * | 2017-12-22 | 2021-06-16 | トヨタ自動車株式会社 | 眠気推定装置及び眠気推定方法 |
JP2021511606A (ja) | 2018-04-25 | 2021-05-06 | ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド | 顔の特徴点に基づく瞬き動作認識のためのシステムおよび方法 |
US10684681B2 (en) * | 2018-06-11 | 2020-06-16 | Fotonation Limited | Neural network image processing apparatus |
US11430264B2 (en) * | 2018-07-16 | 2022-08-30 | Honor Device Co., Ltd. | Eye open or closed state detection method and electronic device |
JP6992693B2 (ja) * | 2018-07-23 | 2022-01-13 | トヨタ自動車株式会社 | 乗員状態認識装置 |
US10963135B2 (en) | 2019-03-15 | 2021-03-30 | Oracle International Corporation | Language-based manipulation of data visualizations |
WO2020188788A1 (ja) | 2019-03-20 | 2020-09-24 | 三菱電機株式会社 | 覚醒度推定装置、自動運転支援装置および覚醒度推定方法 |
CN110263641A (zh) * | 2019-05-17 | 2019-09-20 | 成都旷视金智科技有限公司 | 疲劳检测方法、装置及可读存储介质 |
JP7328089B2 (ja) | 2019-09-05 | 2023-08-16 | トヨタ自動車株式会社 | 閉眼判定装置 |
CN114450185A (zh) | 2019-09-30 | 2022-05-06 | 三菱电机株式会社 | 图像显示装置、显示控制装置、显示控制方法以及程序和记录介质 |
JP7127661B2 (ja) * | 2020-03-24 | 2022-08-30 | トヨタ自動車株式会社 | 開眼度算出装置 |
DE112020007397T5 (de) * | 2020-09-24 | 2023-04-27 | Mitsubishi Electric Corporation | Mundöffnungsgrad-Berechnungsvorrichtung und Mundöffnungsgrad-Berechnungsverfahren |
JP7403729B2 (ja) | 2021-11-25 | 2023-12-22 | 三菱電機株式会社 | 覚醒度推定装置および覚醒度推定方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6443669A (en) | 1987-08-12 | 1989-02-15 | Kokuyo Kk | Expansion movable stepped stand with handrail device |
JP3444115B2 (ja) | 1996-11-13 | 2003-09-08 | 日産自動車株式会社 | 居眠り状態検出装置 |
JP2000198369A (ja) * | 1998-12-28 | 2000-07-18 | Niles Parts Co Ltd | 眼の状態検出装置、居眠り運転警報装置 |
JP3769442B2 (ja) | 2000-02-15 | 2006-04-26 | ナイルス株式会社 | 眼の状態検出装置 |
US6927694B1 (en) * | 2001-08-20 | 2005-08-09 | Research Foundation Of The University Of Central Florida | Algorithm for monitoring head/eye motion for driver alertness with one camera |
US7253739B2 (en) * | 2005-03-10 | 2007-08-07 | Delphi Technologies, Inc. | System and method for determining eye closure state |
US7301464B2 (en) * | 2005-05-24 | 2007-11-27 | Electronic Data Systems Corporation | Process and method for safer vehicle navigation through facial gesture recognition and operator condition monitoring |
JP2007257043A (ja) * | 2006-03-20 | 2007-10-04 | Nissan Motor Co Ltd | 乗員状態推定装置および乗員状態推定方法 |
US7692548B2 (en) * | 2006-09-12 | 2010-04-06 | Deere & Company | Method and system for detecting operator alertness |
US8045766B2 (en) * | 2007-02-16 | 2011-10-25 | Denso Corporation | Device, program, and method for determining sleepiness |
JP4743137B2 (ja) | 2007-03-01 | 2011-08-10 | 株式会社豊田中央研究所 | 眠気判定装置及びプログラム |
JP4375420B2 (ja) * | 2007-03-26 | 2009-12-02 | 株式会社デンソー | 眠気警報装置、及びプログラム |
JP4776581B2 (ja) * | 2007-04-06 | 2011-09-21 | 富士通株式会社 | 入眠状態検知方法、入眠状態検知装置、入眠状態検知システム及びコンピュータプログラム |
JP4788786B2 (ja) * | 2009-02-09 | 2011-10-05 | 株式会社デンソー | 眠気検出装置,プログラムおよび眠気検出方法 |
-
2008
- 2008-12-17 JP JP2008320889A patent/JP5208711B2/ja active Active
-
2009
- 2009-12-02 WO PCT/JP2009/070249 patent/WO2010071021A1/ja active Application Filing
- 2009-12-02 EP EP09833325.5A patent/EP2368496B1/en active Active
- 2009-12-02 US US13/121,125 patent/US8139819B2/en active Active
- 2009-12-02 CN CN2009801381652A patent/CN102164541B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
EP2368496A4 (en) | 2012-05-30 |
EP2368496A1 (en) | 2011-09-28 |
US20110235919A1 (en) | 2011-09-29 |
WO2010071021A1 (ja) | 2010-06-24 |
CN102164541B (zh) | 2013-11-13 |
EP2368496B1 (en) | 2013-11-06 |
JP2010142345A (ja) | 2010-07-01 |
CN102164541A (zh) | 2011-08-24 |
US8139819B2 (en) | 2012-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5208711B2 (ja) | 眼開閉判別装置及びプログラム | |
US7331671B2 (en) | Eye tracking method based on correlation and detected eye movement | |
US7853051B2 (en) | Recognizing apparatus and method, recording media, and program | |
JP5737400B2 (ja) | 赤目検出装置 | |
JP4743312B2 (ja) | 画像識別装置 | |
JP4912206B2 (ja) | 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム | |
ES2883563T3 (es) | Método y aparato de estimación de la mirada | |
JP2008140270A (ja) | 眼部検出装置、眼部検出方法及びプログラム | |
US11899787B2 (en) | Information processing system, inference method, attack detection method, inference execution program and attack detection program | |
JP4757787B2 (ja) | 感情推定装置 | |
JP2007122362A (ja) | ニューラルネットワークを用いた状態推定方法及びニューラルネットワークを用いた状態推定装置 | |
US11453401B2 (en) | Closed eye determination device | |
CN109711239B (zh) | 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法 | |
JP5292671B2 (ja) | 覚醒度推定装置及びシステム並びに方法 | |
JP4788319B2 (ja) | 開閉眼判定装置及び方法 | |
WO2018051836A1 (ja) | 虹彩検出装置、虹彩検出方法、虹彩検出プログラム、及び虹彩検出プログラムを記録した記録媒体 | |
US20220284718A1 (en) | Driving analysis device and driving analysis method | |
JP4471607B2 (ja) | 眼の追跡装置、眼の状態判定装置及びコンピュータプログラム | |
JP6981553B2 (ja) | 識別システム、モデル提供方法およびモデル提供プログラム | |
EP4372695A1 (en) | Saliency maps for deep learning models | |
Seki et al. | Realtime Object Recognition Method Inspired by Multimodal Information Processing in the Brain for Distributed Digital Twin Systems | |
JPH0696047A (ja) | 階層型ニューラルネットワークを用いたセンサ情報処理方式 | |
JP2022023643A5 (ja) | ||
CN115880693A (zh) | 基于双注意力机制和内容感知上采样的路边场景ocr方法 | |
KR20210059060A (ko) | 검출 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121023 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130220 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5208711 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |