JP7212251B2 - 眼の開閉検出装置、乗員監視装置 - Google Patents
眼の開閉検出装置、乗員監視装置 Download PDFInfo
- Publication number
- JP7212251B2 JP7212251B2 JP2018233287A JP2018233287A JP7212251B2 JP 7212251 B2 JP7212251 B2 JP 7212251B2 JP 2018233287 A JP2018233287 A JP 2018233287A JP 2018233287 A JP2018233287 A JP 2018233287A JP 7212251 B2 JP7212251 B2 JP 7212251B2
- Authority
- JP
- Japan
- Prior art keywords
- open
- image
- eye
- weight
- closed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Social Psychology (AREA)
- Biomedical Technology (AREA)
- Business, Economics & Management (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Emergency Management (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Description
Y=X・Wm・Wg ・・・ (1)
この補正された開閉度Yが、眼の開閉状態の判定に用いられる判定用の開閉度となる。
11 撮像部
12 発光部
2 画像処理部
3 制御部
4 LED駆動回路
5 通信部
31 開閉度算出部
32 ヒストグラム算出部
33 重み算出部
34 開閉状態判定部
35 警報出力部
36 重みテーブル
53 運転者
100 ドライバモニタ(眼の開閉検出装置、乗員監視装置)
F 顔
G 撮像画像
P ピクセル(画素)
Q 眼の周辺領域
Z 顔領域
Claims (6)
- 被写体の顔を撮像する撮像部と、
前記撮像部が撮像した顔画像に対して所定の処理を行い、当該顔画像から前記被写体の眼を抽出する画像処理部と、
前記画像処理部で抽出された眼の画像に基づいて、眼の開閉状態を表す開閉度を算出する開閉度算出部と、
前記顔画像における所定領域の輝度情報に応じた重みを算出する重み算出部と、
前記開閉度算出部で算出された開閉度に対して、前記重みにより重み付けを行い、当該重み付けがされた開閉度に基づいて眼の開閉状態を判定する開閉状態判定部と、
前記顔画像における所定領域の輝度の分布を示すヒストグラムを算出するヒストグラム算出部と、
前記輝度の階級に対応して前記重みが設定された重みテーブルと、を備え、
前記重み算出部は、
前記重みテーブルを参照して、前記ヒストグラム算出部が算出したヒストグラムにおける度数が最大の階級に対応する重みを選択するとともに、
前記ヒストグラムにおける度数が最大の階級と、当該階級に隣接しかつ当該階級より上の階級との間の、度数の傾きを算出し、
前記傾きに基づいて、当該傾きの絶対値が小さくなるほど値が大きくなる重み係数をさらに算出し、
前記開閉状態判定部は、
前記重みに前記重み係数を乗じることにより、前記開閉度に対する重み付けを行う、ことを特徴とする眼の開閉検出装置。 - 請求項1に記載の眼の開閉検出装置において、
前記度数の傾きをa(a<0)、前記重み係数をWgとしたとき、重み係数WgはWg=2 a +1である、ことを特徴とする眼の開閉検出装置。 - 請求項1または請求項2に記載の眼の開閉検出装置において、
前記被写体の顔に光を照射する発光部をさらに備え、
前記撮像部は、前記発光部が発光していない状態で撮像した第1画像と、前記発光部が発光した状態で撮像した第2画像とを生成し、
前記画像処理部は、前記第2画像と前記第1画像との差分である差分画像に基づいて、前記顔画像における前記所定領域を抽出し、
前記ヒストグラム算出部は、前記第1画像における前記所定領域のヒストグラムを算出する、ことを特徴とする眼の開閉検出装置。 - 請求項1ないし請求項3のいずれかに記載の眼の開閉検出装置において、
前記所定領域は、前記被写体の眼の周辺領域である、ことを特徴とする眼の開閉検出装置。 - 車両の乗員の顔を撮像する撮像部と、
前記撮像部が撮像した顔画像に対して所定の処理を行い、当該顔画像から前記乗員の眼を抽出する画像処理部と、
前記画像処理部で抽出された眼の画像に基づいて、眼の開閉状態を表す開閉度を算出する開閉度算出部と、
前記顔画像における所定領域の輝度情報に応じた重みを算出する重み算出部と、
前記開閉度算出部で算出された開閉度に対して、前記重みにより重み付けを行い、当該重み付けがされた開閉度に基づいて眼の開閉状態を判定する開閉状態判定部と、
前記開閉状態判定部での判定結果に基づいて警報信号を出力する警報出力部と、
前記顔画像における所定領域の輝度の分布を示すヒストグラムを算出するヒストグラム算出部と、
前記輝度の階級に対応して前記重みが設定された重みテーブルと、を備え、
前記重み算出部は、
前記重みテーブルを参照して、前記ヒストグラム算出部が算出したヒストグラムにおける度数が最大の階級に対応する重みを選択するとともに、
前記ヒストグラムにおける度数が最大の階級と、当該階級に隣接しかつ当該階級より上の階級との間の、度数の傾きを算出し、
前記傾きに基づいて、当該傾きの絶対値が小さくなるほど値が大きくなる重み係数をさらに算出し、
前記開閉状態判定部は、
前記重みに前記重み係数を乗じることにより、前記開閉度に対する重み付けを行う、ことを特徴とする乗員監視装置。 - 請求項5に記載の乗員監視装置において、
前記警報出力部は、前記開閉状態判定部で眼の開閉状態が閉眼状態であると判定され、かつ、当該閉眼状態が所定時間以上継続した場合に、前記警報信号を出力する、ことを特徴とする乗員監視装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018233287A JP7212251B2 (ja) | 2018-12-13 | 2018-12-13 | 眼の開閉検出装置、乗員監視装置 |
PCT/JP2019/041111 WO2020121650A1 (ja) | 2018-12-13 | 2019-10-18 | 眼の開閉検出装置、乗員監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018233287A JP7212251B2 (ja) | 2018-12-13 | 2018-12-13 | 眼の開閉検出装置、乗員監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020095499A JP2020095499A (ja) | 2020-06-18 |
JP7212251B2 true JP7212251B2 (ja) | 2023-01-25 |
Family
ID=71077236
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018233287A Active JP7212251B2 (ja) | 2018-12-13 | 2018-12-13 | 眼の開閉検出装置、乗員監視装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7212251B2 (ja) |
WO (1) | WO2020121650A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7493870B2 (ja) | 2022-03-03 | 2024-06-03 | パナソニックオートモーティブシステムズ株式会社 | 運転支援装置、運転支援方法及び車両 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000123188A (ja) | 1998-10-20 | 2000-04-28 | Toyota Motor Corp | 眼開閉判定装置 |
JP2000198369A (ja) | 1998-12-28 | 2000-07-18 | Niles Parts Co Ltd | 眼の状態検出装置、居眠り運転警報装置 |
JP2006259902A (ja) | 2005-03-15 | 2006-09-28 | Omron Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2011043961A (ja) | 2009-08-20 | 2011-03-03 | Toyota Motor Corp | 運転者監視装置 |
-
2018
- 2018-12-13 JP JP2018233287A patent/JP7212251B2/ja active Active
-
2019
- 2019-10-18 WO PCT/JP2019/041111 patent/WO2020121650A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000123188A (ja) | 1998-10-20 | 2000-04-28 | Toyota Motor Corp | 眼開閉判定装置 |
JP2000198369A (ja) | 1998-12-28 | 2000-07-18 | Niles Parts Co Ltd | 眼の状態検出装置、居眠り運転警報装置 |
JP2006259902A (ja) | 2005-03-15 | 2006-09-28 | Omron Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2011043961A (ja) | 2009-08-20 | 2011-03-03 | Toyota Motor Corp | 運転者監視装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2020095499A (ja) | 2020-06-18 |
WO2020121650A1 (ja) | 2020-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1933256B1 (en) | Eye closure recognition system and method | |
US20200334477A1 (en) | State estimation apparatus, state estimation method, and state estimation program | |
US7253739B2 (en) | System and method for determining eye closure state | |
US9526448B2 (en) | State estimation device and state estimation program | |
JP2009116742A (ja) | 車載用画像処理装置、画像処理方法、および、プログラム | |
EP2471691A1 (en) | Obstacle detection device, obstacle detection system provided therewith, and obstacle detection method | |
EP2723060A1 (en) | Vehicle-mounted camera device | |
JP4677963B2 (ja) | 居眠り検知装置、居眠り検知方法 | |
JP6601351B2 (ja) | 視線計測装置 | |
US11453401B2 (en) | Closed eye determination device | |
JP4989249B2 (ja) | 目検知装置、居眠り検知装置及び目検知装置の方法 | |
CN109415020B (zh) | 辉度控制装置、辉度控制***以及辉度控制方法 | |
JP2009219555A (ja) | 眠気検知装置、運転支援装置、眠気検知方法 | |
JP7212251B2 (ja) | 眼の開閉検出装置、乗員監視装置 | |
CN116524877A (zh) | 车载屏幕亮度调节方法、装置、电子设备和存储介质 | |
US20190289186A1 (en) | Imaging device | |
JP3036319B2 (ja) | 運転者状態監視装置 | |
CN113287298B (zh) | 影像处理装置、影像处理方法及存储介质 | |
JPH11161798A (ja) | 車両運転者監視装置 | |
US20190289185A1 (en) | Occupant monitoring apparatus | |
JP4692447B2 (ja) | 居眠り検知装置、居眠り検知方法 | |
JP4622710B2 (ja) | 顔向き検出装置及び顔向き検出方法 | |
CN112668548B (zh) | 一种驾驶员发呆检测方法及*** | |
JP2018143285A (ja) | 生体状態判定装置、生体状態判定システム、及び、生体状態判定方法 | |
CN115985218A (zh) | 一种基于视觉监控的汽车座舱自适应调光***以及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190311 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190319 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220913 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7212251 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |