JP5327064B2 - 覚醒支援装置 - Google Patents
覚醒支援装置 Download PDFInfo
- Publication number
- JP5327064B2 JP5327064B2 JP2010003055A JP2010003055A JP5327064B2 JP 5327064 B2 JP5327064 B2 JP 5327064B2 JP 2010003055 A JP2010003055 A JP 2010003055A JP 2010003055 A JP2010003055 A JP 2010003055A JP 5327064 B2 JP5327064 B2 JP 5327064B2
- Authority
- JP
- Japan
- Prior art keywords
- support
- sleepiness
- specifying
- awakening
- specified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 206010041349 Somnolence Diseases 0.000 claims abstract description 166
- 208000032140 Sleepiness Diseases 0.000 claims abstract description 105
- 230000037321 sleepiness Effects 0.000 claims abstract description 105
- 230000037007 arousal Effects 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 77
- 230000008921 facial expression Effects 0.000 claims description 36
- 206010062519 Poor quality sleep Diseases 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012790 confirmation Methods 0.000 abstract description 24
- 238000012545 processing Methods 0.000 abstract description 16
- 230000008569 process Effects 0.000 description 65
- 230000014509 gene expression Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
Description
この発明によれば、覚醒支援開始の要否判定の妥当性を向上させることができる。すなわち、この発明の覚醒支援装置は、ユーザデータ生成手段によって生成された表情データとの類似度が高い複数のサンプルにおいて最も数多く対応付けられた眠気度合い(つまり、眠気度合いの推定結果)の信頼度の値が基準値未満の場合、複数のサンプルにおいて2番目に多く対応付けられた眠気度合いを加味して、覚醒支援開始の要否を判定する。つまり、眠気度合いの推定自体の信頼度が高くない場合でも、別の指標(2番目に多く対応付けられた眠気度合い)を加味して覚醒支援開始の要否判定を行うことにより、要否判定の妥当性を向上させることができる。
ところで、算出手段を実現するための処理を簡単にするには、次のようにすると良い。請求項10に記載の覚醒支援装置が備える算出手段は、抽出手段によって抽出されたサンプルの中で、第1特定手段によって特定された眠気度合いに対応するサンプルの数に基づいて、信頼度の値を算出する。この発明によれば、信頼度の値の算出を簡単な処理で行えるようになり、演算のための負担を軽くできる。
図1は、本発明が適用された覚醒支援システム1の概略構成を示したブロック図である。この覚醒支援システム1は、自動車に搭載され、運転者の眠気度合いに応じて運転者の覚醒を支援するものである。一方、図2は、覚醒支援システム1を構成する各部が車室内に配置された様子を示した図である。図1、図2に示すように、覚醒支援システム1は、覚醒支援制御装置10、スピーカ16、振動装置17、送風装置18、カメラ20、眠気判定装置21及びタッチパネル画面30を備える。
図3は、覚醒支援処理を示すフローチャートである。この覚醒支援処理は、自動車が走行可能な期間(原動機(エンジンやモータ)の作動時)に常時、実行される処理である。図3に示すように覚醒支援処理は、S110〜S190及び作動処理(S200)が一連のステップになっていると共に、この一連のステップを繰り返すように構成されている。
S110〜190は、眠気判定装置21を実行主体としており、学習データと運転者の表情データとの照合結果に基づいて、運転者の眠気度合いの第1候補および第2候補、並びに、第1候補の眠気度合いの信頼度の値を求めるためのステップである。なお、これらステップにおいて求められた情報は、作動処理において用いられる。
図5は、学習データを示す図である。学習データとは、先述した表情データと眠気度合いとの関係について、予め行われた実験から得られるサンプルデータによって構成されるデータベースのことである。この実験は、聞き取りや観察などによって被験者の眠気度合い(0(覚醒)〜5(強い眠気)の6段階)を決定し、その眠気度合いをその時の表情データと関連付ける、というものである。被験者は複数人であり、各被験者について、各眠気度合いのデータが複数個、取得できるまで実験をする。
作動処理を説明するために、図6に移る。図6は、作動処理を示すフローチャートである。作動処理の実行主体は、覚醒支援制御装置10である。まず、現在、覚醒支援の実行中かを判定する(S205)。実行中でないと判定すると(S205NO)、覚醒支援の開始を希望する旨がタッチパネル画面30を介して入力されたかを判定する(S210)。入力されたと判定すると(S210YES)、覚醒支援機器を用いて覚醒支援を開始して(S215)、作動処理を終える。なお、何れの覚醒支援機器を用いるかは、ユーザの入力に従っても良いし、効果が高いことが確認されているものを優先的に選択するようにしても良い。
<1>:第1候補の眠気度合いが覚醒を示している場合、信頼度が高い、或いは第2候補の眠気度合いが覚醒寄りであるときは、覚醒支援を停止する(停止状態の続行を含む)。
<2>:上記<1>以外の場合は、覚醒支援の実行中であれば実行を継続し、覚醒支援の停止中であれば、覚醒支援開始を直ぐに開始するか、或いは覚醒支援開始を運転者に強く促すか、弱く促すかを選択する。
<3>:上記<2>で述べた選択は、第1候補および第2候補の眠気度合い、並びに、第1候補の信頼度の値に依存する。
覚醒支援システム1によれば、眠気度合いの推定結果(つまり、第1候補の眠気度合いの特定結果)の信頼度が低くても、第2候補の眠気度合いを加味することで、覚醒支援開始または終了についての判定を妥当なものにすることができる。
さらに、その質問を、第1候補および第2候補の眠気度合い、並びに、第1候補の信頼度の値によって変更することによって、ユーザに与える不快感を更に軽くするようになっている。
実施例と特許請求の範囲との対応を述べる。S110〜S140がユーザデータ生成手段、S160・S170が第1特定手段、S180が第2特定手段、S190が算出手段、S220・S225・S230・S231・S240・S250・S251・S310・S320が開始判定手段、S215・S270・S330が覚醒支援手段、S275・S280・S285・S286が続行判定手段、S150が抽出手段、のソフトウェアにそれぞれ相当する。
[5−1.信頼度算出の変形例]
信頼度の算出は、実施例で説明した式1(第1候補および第2候補の得票数の差に比例させる考え方)以外に、次式によって算出する方法が考えられる。
図9は、第2作動処理を示すフローチャートである。第2作動処理は、作動処理(図6)に替えて実行されるものである。作動処理に対する変更点は、S230をS231に、S250をS251に、S285をS286に置換した点である。その他のステップは同じである。
[5−3.その他]
(ア)覚醒支援開始についての回答は、タッチパネル画面30の操作によらなくても、例えば、音声入力によって行うようにしても良い。
(イ)表情データは、実施例では2次元座標を用いていたが、3次元座標を用いても良い。
(ウ)要否確認処理(A)(B)を省いて、第1候補および第2候補の眠気度合い、並びに信頼度の値に基づいて、覚醒支援制御装置10が覚醒支援開始の要否を決定するようにしても良い。
(エ)眠気度合いの判定方法は、実施例で説明したものでなくても、他の方法でも構わない。
(オ)実施例で述べた種々の値(眠気度合いの閾値など)は、変更しても構わない。
(カ)自動車搭載用でなくても、二輪車もしくは他の機械の操作者、又は、その他の居眠りを避けたい状況にあるユーザなどを対象として、本発明を適用しても良い。
Claims (10)
- ユーザの表情を示す表情データを生成するユーザデータ生成手段と、
前記ユーザデータ生成手段によって生成された表情データを、複数段階の眠気度合いそれぞれについての表情を示す表情データのサンプルによって構成される照合用データベースと照合した照合結果に基づいて、前記複数段階の眠気度合いの中から、前記ユーザデータ生成手段によって生成された表情データとの類似度が高い複数のサンプルにおいて最も数多く対応付けられた眠気度合いを特定する第1特定手段と、
前記複数段階の眠気度合いの中から、前記複数のサンプルにおいて2番目に多く対応付けられた眠気度合いを前記照合結果に基づいて特定する第2特定手段と、
前記第1特定手段によって特定された眠気度合いの信頼度の値を、前記照合結果に基づいて算出する算出手段と、
前記算出手段によって算出された信頼度の値が基準値以上の場合であって、前記第1特定手段によって特定された眠気度合いが閾値以上のときは、覚醒支援開始を要すると判定し、前記第1特定手段によって特定された眠気度合いが閾値未満のときは、覚醒支援開始を要しないと判定する一方で、前記算出手段によって算出された信頼度の値が前記基準値未満の場合は、前記第1特定手段および前記第2特定手段によって特定された眠気度合いに基づいて覚醒支援開始の要否を判定する開始判定手段と、
ユーザに対する覚醒支援開始を要すると前記開始判定手段によって判定された場合、覚醒支援を開始する覚醒支援手段とを備える
ことを特徴とする覚醒支援装置。 - 前記開始判定手段は、前記算出手段によって算出された信頼度の値が前記基準値未満の場合、
前記第1特定手段によって特定された眠気度合いが前記閾値以上、又は前記第2特定手段によって特定された眠気度合いが前記第1特定手段によって特定された眠気度合いよりも強いときは、覚醒支援を希望するかをユーザに質問し、その質問の回答に基づいて覚醒支援開始の要否を判定する一方、
前記第1特定手段によって特定された眠気度合いが前記閾値未満、かつ前記第2特定手段によって特定された眠気度合いが前記第1特定手段によって特定された眠気度合いよりも弱いときは、覚醒支援開始を要しないと判定する
ことを特徴とする請求項1に記載の覚醒支援装置。 - 前記開始判定手段は、前記算出手段によって算出された信頼度の値が前記基準値未満の場合、
前記第1特定手段または前記第2特定手段によって特定された眠気度合いが前記閾値以上であるときは、覚醒支援開始を希望するかをユーザに質問し、その質問の回答に基づいて覚醒支援開始の要否を判定する一方、
前記第1特定手段および前記第2特定手段によって特定された眠気度合いの両方共が前記閾値未満であるときは、覚醒支援開始を要しないと判定する
ことを特徴とする請求項1に記載の覚醒支援装置。 - 前記開始判定手段は、前記第1特定手段によって特定された眠気度合いが前記閾値以上、かつ、前記第2特定手段によって特定された眠気度合いが前記第1特定手段によって特定された眠気度合いよりも強い場合は、それ以外の場合に対して、前記質問の仕方を変更する
ことを特徴とする請求項2に記載の覚醒支援装置。 - 前記開始判定手段は、前記第1特定手段および前記第2特定手段によって特定された眠気度合いの両方共が前記閾値以上である場合は、それ以外の場合に対して、前記質問の仕方を変更する
ことを特徴とする請求項3に記載の覚醒支援装置。 - 前記第1特定手段によって特定された眠気度合いが閾値以上の場合は、ユーザに対する覚醒支援続行を要すると判定する一方で、前記第1特定手段によって特定された眠気度合いが閾値未満の場合は、前記第2特定手段によって特定された眠気度合いと、前記算出手段によって算出された信頼度の値とに基づいてユーザに対する覚醒支援続行の要否を判定する続行判定手段を備え、
前記覚醒支援手段は、覚醒支援続行を要しないと前記続行判定手段によって判定されると、覚醒支援を終了する
ことを特徴とする請求項1〜請求項5の何れか1項に記載の覚醒支援装置。 - 前記続行判定手段は、前記第1特定手段によって特定された眠気度合いが前記閾値未満の場合であって、前記算出手段によって算出された信頼度の値が前記基準値以上のとき又は前記第2特定手段によって特定された眠気度合いが前記第1特定手段によって特定された眠気度合いよりも弱いときは、覚醒支援続行を要しないと判定する
ことを特徴とする請求項6に記載の覚醒支援装置。 - 前記続行判定手段は、前記第1特定手段によって特定された眠気度合いが前記閾値未満の場合であって、前記算出手段によって算出された信頼度の値が前記基準値以上のとき又は前記第2特定手段によって特定された眠気度合いが前記閾値未満のときは、覚醒支援続行を要しないと判定する
ことを特徴とする請求項6に記載の覚醒支援装置。 - 前記第1特定手段は、
前記照合用データベースを構成する表情データのサンプルの中から、前記ユーザデータ生成手段によって生成された表情データとの類似度が高いものを所定数抽出する抽出手段を備えると共に、
前記抽出手段によって抽出されたサンプルに最も数多く対応付けられた眠気度合いを特定する
ことを特徴とする請求項1〜請求項8の何れか1項に記載の覚醒支援装置。 - 前記算出手段は、前記抽出手段によって抽出されたサンプルの中で、前記第1特定手段によって特定された眠気度合いに対応するサンプルの数に基づいて、前記信頼度の値を算出する
ことを特徴とする請求項9に記載の覚醒支援装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010003055A JP5327064B2 (ja) | 2010-01-08 | 2010-01-08 | 覚醒支援装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010003055A JP5327064B2 (ja) | 2010-01-08 | 2010-01-08 | 覚醒支援装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011141821A JP2011141821A (ja) | 2011-07-21 |
JP5327064B2 true JP5327064B2 (ja) | 2013-10-30 |
Family
ID=44457600
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010003055A Expired - Fee Related JP5327064B2 (ja) | 2010-01-08 | 2010-01-08 | 覚醒支援装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5327064B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5997410B1 (ja) * | 2016-05-10 | 2016-09-28 | 勇 大森 | 運転者異常発生検出器及びこれを用いた安全装置 |
WO2021024434A1 (ja) * | 2019-08-07 | 2021-02-11 | オムロン株式会社 | 表示システム、表示方法、及びプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4702100B2 (ja) * | 2006-02-27 | 2011-06-15 | トヨタ自動車株式会社 | 居眠り判定装置および居眠り運転警告装置 |
JP5292671B2 (ja) * | 2006-03-06 | 2013-09-18 | トヨタ自動車株式会社 | 覚醒度推定装置及びシステム並びに方法 |
JP4742921B2 (ja) * | 2006-03-13 | 2011-08-10 | 日産自動車株式会社 | 覚醒度推定装置 |
JP2008278949A (ja) * | 2007-05-08 | 2008-11-20 | Toyota Motor Corp | 覚醒状態推定装置 |
JP4900281B2 (ja) * | 2008-02-27 | 2012-03-21 | トヨタ自動車株式会社 | 情報処理装置 |
-
2010
- 2010-01-08 JP JP2010003055A patent/JP5327064B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011141821A (ja) | 2011-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210268902A1 (en) | Driving assistance apparatus and driving assistance method | |
JP4882766B2 (ja) | 覚醒度算出装置 | |
JP5343879B2 (ja) | 覚醒支援装置 | |
JP5504742B2 (ja) | 覚醒度調整装置及び方法 | |
JP2014092965A (ja) | 乗員監視装置 | |
US20200247422A1 (en) | Inattentive driving suppression system | |
US10899356B2 (en) | Drowsiness prevention device, drowsiness prevention method, and recording medium | |
JP6003782B2 (ja) | ナビゲーション装置及びナビゲーション方法 | |
JP5375571B2 (ja) | 覚醒支援装置 | |
JP2021181307A (ja) | 制御装置 | |
JP2012198052A (ja) | 車載機能制御装置 | |
JP5327064B2 (ja) | 覚醒支援装置 | |
JP7251392B2 (ja) | 感情推定装置 | |
JP6701951B2 (ja) | 運転支援装置 | |
JP2021012409A (ja) | 車載システム | |
US11383640B2 (en) | Techniques for automatically reducing annoyance levels of drivers when using driver monitoring systems | |
JP6772775B2 (ja) | 運転支援装置および運転支援方法 | |
JP6657048B2 (ja) | 処理結果異常検出装置、処理結果異常検出プログラム、処理結果異常検出方法及び移動体 | |
JP2011186622A (ja) | 覚醒支援装置 | |
JP2019012501A (ja) | 運転支援装置、運転支援方法、および運転支援プログラム | |
JP2020169956A (ja) | 車両の行先提案システム | |
JP2018160151A (ja) | 運転支援装置 | |
US20240208295A1 (en) | Information processing device | |
JP2021189704A (ja) | 制御装置およびプログラム | |
JP2022003497A (ja) | 感情推定装置、感情推定方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130416 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130417 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130528 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130625 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130708 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5327064 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |