JP2020015336A - 乗員状態認識装置 - Google Patents
乗員状態認識装置 Download PDFInfo
- Publication number
- JP2020015336A JP2020015336A JP2018137788A JP2018137788A JP2020015336A JP 2020015336 A JP2020015336 A JP 2020015336A JP 2018137788 A JP2018137788 A JP 2018137788A JP 2018137788 A JP2018137788 A JP 2018137788A JP 2020015336 A JP2020015336 A JP 2020015336A
- Authority
- JP
- Japan
- Prior art keywords
- opening
- eyelid
- driver
- threshold
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6893—Cars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Ophthalmology & Optometry (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
図1に示されるように、乗員状態認識装置100は、ECU[Electronic Control Unit]10を備えている。ECU10は、CPU[Central Processing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]、CAN[Controller Area Network]通信回路等を有する電子制御ユニットである。ECU10では、例えば、ROMに記憶されているプログラムをRAMにロードし、RAMにロードされたプログラムをCPUで実行することにより各種の機能を実現する。ECU10は、複数の電子ユニットから構成されていてもよい。
次に、閾値再設定部13による第1の閾値再設定の動作及び処理について、図2〜図6を参照しつつ説明する。
次に、閾値再設定部13による第2の閾値再設定の動作及び処理について、図7,図8を参照しつつ説明する。
本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。
Claims (2)
- 車両の運転席に着座するドライバの眼の開眼状態及び閉眼状態を判定することで乗員状態を認識する乗員状態認識装置であって、
前記車両のドライバモニタカメラの撮像情報に基づいて、前記ドライバの瞼の開度と、当該ドライバの瞼の開度の最大値と、当該ドライバの瞼の開度の最小値と、を認識する瞼開度認識部と、
前記瞼の開度が予め設定された閾値以上となる場合に前記開眼状態を判定すると共に、前記瞼の開度が前記閾値未満となる場合に前記閉眼状態を判定する眼状態判定部と、
一定時間又は一定の瞼開閉回数の間において前記最大値が前記閾値以上とならない場合、あるいは、前記一定時間又は前記一定の瞼開閉回数の間において前記最小値が前記閾値以下とならない場合、前記瞼開度認識部により認識された当該ドライバの前記瞼の開度の前記最大値と前記最小値との間の開度となるように前記閾値を再設定する閾値再設定部と、
を備える、乗員状態認識装置。 - 前記閾値再設定部は、
前記ドライバの乗換えの有無を判定し、
前記乗換えがあったと判定した場合、前記瞼開度認識部により認識された当該ドライバの瞼の前記開度の前記最大値と前記最小値との間の開度となるように前記閾値を再設定する、請求項1に記載の乗員状態認識装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018137788A JP6992693B2 (ja) | 2018-07-23 | 2018-07-23 | 乗員状態認識装置 |
US16/456,784 US11048951B2 (en) | 2018-07-23 | 2019-06-28 | Occupant state recognition apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018137788A JP6992693B2 (ja) | 2018-07-23 | 2018-07-23 | 乗員状態認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020015336A true JP2020015336A (ja) | 2020-01-30 |
JP6992693B2 JP6992693B2 (ja) | 2022-01-13 |
Family
ID=69163100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018137788A Active JP6992693B2 (ja) | 2018-07-23 | 2018-07-23 | 乗員状態認識装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11048951B2 (ja) |
JP (1) | JP6992693B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6973298B2 (ja) * | 2018-05-31 | 2021-11-24 | トヨタ自動車株式会社 | 物体監視装置 |
JP6992693B2 (ja) * | 2018-07-23 | 2022-01-13 | トヨタ自動車株式会社 | 乗員状態認識装置 |
JP7173811B2 (ja) * | 2018-09-27 | 2022-11-16 | 株式会社アイシン | 乗員モニタリング装置、乗員モニタリング方法、および乗員モニタリングプログラム |
DE102021123849A1 (de) | 2021-09-15 | 2023-03-16 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Überwachungseinrichtung zum Bestimmen eines Augenzustands einer Person und Kraftfahrzeug |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010224637A (ja) * | 2009-03-19 | 2010-10-07 | Toyota Central R&D Labs Inc | 眠気判定装置及びプログラム |
JP2017209262A (ja) * | 2016-05-25 | 2017-11-30 | トヨタ自動車株式会社 | 眠気検知装置 |
JP2017536589A (ja) * | 2014-06-20 | 2017-12-07 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 瞬間的な眠りを検出するデバイス、方法およびコンピュータプログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7202793B2 (en) * | 2002-10-11 | 2007-04-10 | Attention Technologies, Inc. | Apparatus and method of monitoring a subject and providing feedback thereto |
US7253739B2 (en) * | 2005-03-10 | 2007-08-07 | Delphi Technologies, Inc. | System and method for determining eye closure state |
JP4974788B2 (ja) * | 2007-06-29 | 2012-07-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 |
JP5208711B2 (ja) * | 2008-12-17 | 2013-06-12 | アイシン精機株式会社 | 眼開閉判別装置及びプログラム |
CN101692980B (zh) * | 2009-10-30 | 2011-06-08 | 深圳市汉华安道科技有限责任公司 | 疲劳驾驶检测方法及装置 |
JP5999013B2 (ja) * | 2013-04-12 | 2016-09-28 | 株式会社デンソー | 開眼状態判定装置 |
CN103500331B (zh) * | 2013-08-30 | 2017-11-10 | 北京智谷睿拓技术服务有限公司 | 提醒方法及装置 |
JP5871290B2 (ja) | 2014-04-11 | 2016-03-01 | 学校法人 名古屋電気学園 | コミュニケーションシステムおよび瞬き判定方法 |
JP6992693B2 (ja) * | 2018-07-23 | 2022-01-13 | トヨタ自動車株式会社 | 乗員状態認識装置 |
-
2018
- 2018-07-23 JP JP2018137788A patent/JP6992693B2/ja active Active
-
2019
- 2019-06-28 US US16/456,784 patent/US11048951B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010224637A (ja) * | 2009-03-19 | 2010-10-07 | Toyota Central R&D Labs Inc | 眠気判定装置及びプログラム |
JP2017536589A (ja) * | 2014-06-20 | 2017-12-07 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 瞬間的な眠りを検出するデバイス、方法およびコンピュータプログラム |
JP2017209262A (ja) * | 2016-05-25 | 2017-11-30 | トヨタ自動車株式会社 | 眠気検知装置 |
Also Published As
Publication number | Publication date |
---|---|
US11048951B2 (en) | 2021-06-29 |
US20200026938A1 (en) | 2020-01-23 |
JP6992693B2 (ja) | 2022-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020015336A (ja) | 乗員状態認識装置 | |
JP5974915B2 (ja) | 覚醒度検出装置、および覚醒度検出方法 | |
CN105488957B (zh) | 疲劳驾驶检测方法及装置 | |
JP5447657B2 (ja) | 生体状態判定装置 | |
JP4162503B2 (ja) | 眼の状態判定装置、眼の状態判定方法及びコンピュータプログラム | |
CN109155106A (zh) | 状态推定装置、状态推定方法和状态推定程序 | |
JP6314435B2 (ja) | ドライバ監視装置 | |
CN107209979A (zh) | 用于对车辆的驾驶员的微睡进行识别的方法和装置 | |
US9526448B2 (en) | State estimation device and state estimation program | |
JP6387892B2 (ja) | 眠気検知装置 | |
CN104573622B (zh) | 人脸检测装置、方法 | |
CN110155072B (zh) | 防晕车方法和防晕车装置 | |
JP6973928B2 (ja) | 瞼開閉判定装置および眠気検知装置 | |
JP6888542B2 (ja) | 眠気推定装置及び眠気推定方法 | |
US20220309808A1 (en) | Driver monitoring device, driver monitoring method, and driver monitoring-use computer program | |
JP3286887B2 (ja) | 顔画像処理装置及び顔画像処理方法 | |
JP2013257691A (ja) | 居眠り状態判定装置及び居眠り状態判定方法 | |
JP6344254B2 (ja) | 眠気検知装置 | |
JPH08225028A (ja) | 運転者の覚醒度検出装置 | |
JP7046748B2 (ja) | 運転者状態判定装置および運転者状態判定方法 | |
JP6947131B2 (ja) | 乗員状態認識装置 | |
CN109552221B (zh) | 驾驶控制***及方法 | |
EP3000395B1 (en) | System and method for monitoring a subject's eye | |
US20170091955A1 (en) | State determination device, eye closure determination device, state determination method, and storage medium | |
US9820687B2 (en) | Method for determining drowsiness |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211122 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6992693 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |