JP2012014505A - 脇見判定装置 - Google Patents
脇見判定装置 Download PDFInfo
- Publication number
- JP2012014505A JP2012014505A JP2010151045A JP2010151045A JP2012014505A JP 2012014505 A JP2012014505 A JP 2012014505A JP 2010151045 A JP2010151045 A JP 2010151045A JP 2010151045 A JP2010151045 A JP 2010151045A JP 2012014505 A JP2012014505 A JP 2012014505A
- Authority
- JP
- Japan
- Prior art keywords
- predetermined
- look
- driver
- face
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
- B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
【解決手段】脇見判定装置10は、乗員カメラ11から出力された顔画像から運転者の視線方向を検出する視線方向検知部23と、視線方向検知部23により検知された視線方向が所定の脇見方向になった時点から、視線方向が所定の脇見方向からずれて当該脇見方向以外の方向になる時点までの脇見継続時間を計測し、該脇見継続時間が所定期間TB以上である場合に運転者が脇見をしていると判定する脇見判定部24とを備える。脇見判定部24は、視線方向検知部23により検知された視線方向が、所定の脇見方向から当該脇見方向以外の方向に向けて所定移動速度を超える速度で変化した場合、または、瞬間的に脇見方向以外の方向になった場合には、脇見継続時間の計測を維持する。
【選択図】図1
Description
本実施の形態による脇見判定装置10は、例えば図1に示すように、乗員カメラ11と、処理装置12と、報知装置13とを備えて構成されている。
なお、乗員カメラ11による撮像時に撮像対象(例えば、運転席に着座した運転者の顔など)に可視光線または赤外線などの光を照射可能な撮像用光源が、例えば車室内のインスツルメントパネルにおいて乗員カメラ11から左右にずれた位置などに配置されてもよい。
顔画像取得部22は、乗員カメラ11から出力される顔画像を取得する。
視線方向検知部23は、顔画像取得部22により取得された顔画像から運転者の左右の眼球を検知対象物とした特徴量算出および形状判別などの認識処理を行ない、この処理結果に基づき、例えば、眼の虹彩の中心位置や、角膜表面における赤外線の反射像であるプルキニエ像の中心位置や、眼球中心位置などを用いた所定の視線検知処理により運転者の視線方向を検知する。
そして、脇見判定部24は、計測した脇見継続時間が所定の報知閾時間(例えば、2秒など)以上である場合に運転者が脇見をしていると判定し、この判定結果の信号を出力する。
そして、時刻te〜tf間のように、視線方向角度の絶対値が所定閾角度θa未満となる連続時間が所定期間TB(例えば、フレームレートFが30フレーム/秒である場合の5フレーム数などの所定フレーム数に対応する期間)以上に到達すると、脇見判定部24は、脇見継続時間をゼロに初期化する。
また、脇見判定部24は、運転者の視線方向が所定の脇見方向以外であっても、例えば運転者が瞬きをしたり、運転者の顔や視線が乗員カメラ11による撮像範囲外あるいは視線方向検知部23による検知範囲外に向けられたりすることなどによって視線方向が検知不可能となった場合には、脇見継続時間の計測を開始する。
なお、報知装置13は、例えば、触覚的伝達装置と、視覚的伝達装置と、聴覚的伝達装置とを備えて構成されている。
視覚的伝達装置は、例えば表示装置などであって、報知制御部25から入力される制御信号に応じて、例えば表示装置に所定の情報を表示したり、所定の灯体を点滅させる。
聴覚的伝達装置は、例えばスピーカなどであって、報知制御部25から入力される制御信号に応じて所定の音や音声などを出力する。
次に、ステップS02においては、運転者の視線方向を検知できたか否かを判定する。
この判定結果が「NO」の場合には、後述するステップS14に進む。
一方、この判定結果が「YES」の場合には、ステップS03に進む。
この判定結果が「YES」の場合には、ステップS05に進む。
一方、この判定結果が「NO」の場合には、ステップS04に進む。
そして、ステップS04においては、誤検知連続カウントNがゼロであるか否かを判定する。
この判定結果が「NO」の場合には、後述するステップS08に進む。
一方、この判定結果が「YES」の場合には、後述するステップS09に進む。
次に、ステップS06においては、誤検知連続カウントNが所定値(つまり、所定期間TAに対応する値であって、例えば、フレームレートFが30フレーム/秒である場合の5フレーム数に対応する5カウントなど)以上であるか否かを判定する。
この判定結果が「YES」の場合には、後述するステップS08に進む。
一方、この判定結果が「NO」の場合には、ステップS07に進む。
また、ステップS08においては、誤検知連続カウントNをゼロに初期化する。
そして、ステップS09においては、視線方向検知部23の今回の検知結果を視線方向の今回値(つまり、今回のフレームでの視線方向)として採用する。
この判定結果が「NO」の場合には、ステップS11に進む。
一方、この判定結果が「YES」の場合には、後述するステップS14に進む。
そして、ステップS11においては、脇見継続時間がゼロよりも大きいか否かを判定する。
この判定結果が「YES」の場合には、ステップS12に進む。
一方、この判定結果が「NO」の場合には、リターンに進む。
この判定結果が「NO」の場合には、後述するステップS14に進む。
一方、この判定結果が「YES」の場合には、ステップS13に進む。
また、ステップS14においては、脇見継続時間の計測を開始あるいは継続する。
そして、ステップS15においては、脇見継続時間が所定の報知閾時間(例えば、2秒など)以上であるか否かを判定する。
この判定結果が「NO」の場合には、リターンに進む。
一方、この判定結果が「YES」の場合には、ステップS16に進む。
そして、ステップS16においては、運転者が脇見をしていることに対する所定の報知を実行し、リターンに進む。
顔向き検知部26は、例えば図6に示すように、ひとの顔をシリンダー形状に近似して顔向きを算出するシリンダー法などによって、運転者の顔向き方向を検知する。
具体的には、先ず、顔向き検知部26は、顔画像取得部22により取得された顔画像から運転者の左右の眼球を検知対象物とした特徴量算出および形状判別などの認識処理を行ない、運転者の左右の眼の位置の中心を算出し、この算出結果を運転者の顔中心位置FCとする。
一方、ステップS02の判定結果が「YES」の場合には、ステップS21に進む。
この判定結果が「YES」の場合には、視線方向が誤検知されていると判断して、ステップS07に進む。
一方、この判定結果が「NO」の場合には、ステップS03に進む。
以下、上述した実施の形態と同様のステップS03〜ステップS16の処理を実行する。
11 乗員カメラ(撮像手段)
13 報知装置
23 視線方向検知部(視線方向検出手段)
24 脇見判定部(脇見判定手段)
25 報知制御部
26 顔向き検知部(顔向き方向検出手段)
Claims (3)
- 運転席に着座した運転者の顔を撮像して顔画像を出力する撮像手段と、該撮像手段から出力された前記顔画像から前記運転者の視線方向を検出して検出結果を出力する視線方向検出手段と、該視線方向検出手段から出力された前記検出結果の前記視線方向が所定の脇見方向になった時点から、前記視線方向が前記所定の脇見方向からずれて当該脇見方向以外の方向になる時点までの継続時間を計測し、該継続時間が所定時間以上である場合に前記運転者が脇見をしていると判定する脇見判定手段とを備える脇見判定装置であって、
前記脇見判定手段は、前記視線方向検出手段から出力された前記検出結果の前記視線方向が、前記所定の脇見方向から当該脇見方向以外の方向に向けて所定移動速度を超える速度で変化した場合、または、瞬間的に前記脇見方向以外の方向になった場合には、前記継続時間の計測を維持することを特徴とする脇見判定装置。 - 前記所定移動速度は、サッケードによる単位時間当たりの移動限界角度に対応する速度であることを特徴とする請求項1に記載の脇見判定装置。
- 前記撮像手段から出力された前記顔画像から前記運転者の顔向き方向を検出して検出結果を出力する顔向き方向検出手段を備え、
前記脇見判定手段は、前記視線方向検出手段から出力された前記検出結果の前記視線方向と、前記顔向き方向検出手段から出力された前記検出結果の前記顔向き方向との間の角度が所定角度以上である場合に、前記継続時間の計測を維持することを特徴とする請求項1または請求項2に記載の脇見判定装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010151045A JP5033902B2 (ja) | 2010-07-01 | 2010-07-01 | 脇見判定装置 |
US13/170,504 US8767061B2 (en) | 2010-07-01 | 2011-06-28 | Inattention determining apparatus |
EP11171875A EP2402201B1 (en) | 2010-07-01 | 2011-06-29 | Inattention determining apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010151045A JP5033902B2 (ja) | 2010-07-01 | 2010-07-01 | 脇見判定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012014505A true JP2012014505A (ja) | 2012-01-19 |
JP5033902B2 JP5033902B2 (ja) | 2012-09-26 |
Family
ID=44583967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010151045A Active JP5033902B2 (ja) | 2010-07-01 | 2010-07-01 | 脇見判定装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8767061B2 (ja) |
EP (1) | EP2402201B1 (ja) |
JP (1) | JP5033902B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130076881A1 (en) * | 2011-09-26 | 2013-03-28 | Honda Motor Co., Ltd. | Facial direction detecting apparatus |
JP2014238837A (ja) * | 2013-06-06 | 2014-12-18 | ビステオン グローバル テクノロジーズ インコーポレイテッド | 車両用の凝視時間インジケータ |
JP2015127937A (ja) * | 2013-11-29 | 2015-07-09 | 富士通株式会社 | 運転支援装置、方法、及びプログラム |
JP2019086985A (ja) * | 2017-11-06 | 2019-06-06 | 日本電気株式会社 | 運転支援装置、運転状況情報取得システム、運転支援方法及びプログラム |
WO2021059746A1 (ja) * | 2019-09-25 | 2021-04-01 | 株式会社Jvcケンウッド | 視線データ処理装置、評価装置、視線データ処理方法、評価方法、視線データ処理プログラム、及び評価プログラム |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101231510B1 (ko) * | 2010-10-11 | 2013-02-07 | 현대자동차주식회사 | 운전자 주시방향 연동 전방충돌 위험경보 시스템, 그 방법 및 그를 이용한 차량 |
US8930269B2 (en) | 2012-12-17 | 2015-01-06 | State Farm Mutual Automobile Insurance Company | System and method to adjust insurance rate based on real-time data about potential vehicle operator impairment |
US8981942B2 (en) * | 2012-12-17 | 2015-03-17 | State Farm Mutual Automobile Insurance Company | System and method to monitor and reduce vehicle operator impairment |
US8847771B2 (en) * | 2013-01-25 | 2014-09-30 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method and apparatus for early detection of dynamic attentive states for providing an inattentive warning |
US10469769B1 (en) * | 2018-07-30 | 2019-11-05 | International Business Machines Corporation | Augmented reality based driver assistance |
JP7180228B2 (ja) * | 2018-09-20 | 2022-11-30 | いすゞ自動車株式会社 | 車両用監視装置 |
CN110910611A (zh) * | 2019-12-13 | 2020-03-24 | 上海擎感智能科技有限公司 | 提醒方法、***、终端及车辆 |
CN112464793A (zh) * | 2020-11-25 | 2021-03-09 | 大连东软教育科技集团有限公司 | 一种在线***行为检测方法、***和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3369237B2 (ja) * | 1993-02-23 | 2003-01-20 | 三菱電機株式会社 | 運転者視点判定装置及び脇見判定装置 |
JP2006043429A (ja) * | 2004-06-28 | 2006-02-16 | Nissan Motor Co Ltd | 視認負荷判断装置 |
JP2007072632A (ja) * | 2005-09-05 | 2007-03-22 | Toyota Motor Corp | 車載警報装置 |
JP2009118989A (ja) * | 2007-11-14 | 2009-06-04 | Toyota Motor Corp | 眠気検知装置、眠気検知方法 |
JP2010039686A (ja) * | 2008-08-04 | 2010-02-18 | Toyota Motor Corp | 音声出力装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007074842A1 (ja) * | 2005-12-27 | 2007-07-05 | Matsushita Electric Industrial Co., Ltd. | 画像処理装置 |
US9841811B2 (en) * | 2008-11-03 | 2017-12-12 | Bruce Reiner | Visually directed human-computer interaction for medical applications |
-
2010
- 2010-07-01 JP JP2010151045A patent/JP5033902B2/ja active Active
-
2011
- 2011-06-28 US US13/170,504 patent/US8767061B2/en active Active
- 2011-06-29 EP EP11171875A patent/EP2402201B1/en not_active Not-in-force
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3369237B2 (ja) * | 1993-02-23 | 2003-01-20 | 三菱電機株式会社 | 運転者視点判定装置及び脇見判定装置 |
JP2006043429A (ja) * | 2004-06-28 | 2006-02-16 | Nissan Motor Co Ltd | 視認負荷判断装置 |
JP2007072632A (ja) * | 2005-09-05 | 2007-03-22 | Toyota Motor Corp | 車載警報装置 |
JP2009118989A (ja) * | 2007-11-14 | 2009-06-04 | Toyota Motor Corp | 眠気検知装置、眠気検知方法 |
JP2010039686A (ja) * | 2008-08-04 | 2010-02-18 | Toyota Motor Corp | 音声出力装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130076881A1 (en) * | 2011-09-26 | 2013-03-28 | Honda Motor Co., Ltd. | Facial direction detecting apparatus |
JP2014238837A (ja) * | 2013-06-06 | 2014-12-18 | ビステオン グローバル テクノロジーズ インコーポレイテッド | 車両用の凝視時間インジケータ |
CN104228706A (zh) * | 2013-06-06 | 2014-12-24 | 威斯通全球技术公司 | 用于交通工具的凝视时间指示器 |
JP2015127937A (ja) * | 2013-11-29 | 2015-07-09 | 富士通株式会社 | 運転支援装置、方法、及びプログラム |
JP2019086985A (ja) * | 2017-11-06 | 2019-06-06 | 日本電気株式会社 | 運転支援装置、運転状況情報取得システム、運転支援方法及びプログラム |
JP7180067B2 (ja) | 2017-11-06 | 2022-11-30 | 日本電気株式会社 | 運転支援装置 |
JP7501598B2 (ja) | 2017-11-06 | 2024-06-18 | 日本電気株式会社 | 運転支援装置、運転状況情報取得システム、運転支援方法及びプログラム |
WO2021059746A1 (ja) * | 2019-09-25 | 2021-04-01 | 株式会社Jvcケンウッド | 視線データ処理装置、評価装置、視線データ処理方法、評価方法、視線データ処理プログラム、及び評価プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP2402201B1 (en) | 2012-12-26 |
US20120002027A1 (en) | 2012-01-05 |
JP5033902B2 (ja) | 2012-09-26 |
EP2402201A1 (en) | 2012-01-04 |
US8767061B2 (en) | 2014-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5033902B2 (ja) | 脇見判定装置 | |
JP6454368B2 (ja) | 車両の表示システム及び車両の表示システムの制御方法 | |
EP1878604B1 (en) | Method of mitigating driver distraction | |
JP5974915B2 (ja) | 覚醒度検出装置、および覚醒度検出方法 | |
JP4497305B2 (ja) | 運転者状態判定装置 | |
JP6350145B2 (ja) | 顔向き検出装置及び車両用警告システム | |
CN108621794B (zh) | 车辆的显示***及车辆的显示***的控制方法 | |
CN108621923A (zh) | 车辆的显示***及车辆的显示***的控制方法 | |
US20150238087A1 (en) | Biological information measurement device and input device utilizing same | |
JP2011164712A (ja) | 脇見警報装置 | |
JP2016103249A (ja) | 運転支援装置および運転支援方法 | |
JP6578784B2 (ja) | 状態推定装置および状態推定プログラム | |
CN108621922A (zh) | 车辆的显示***及车辆的显示***的控制方法 | |
US20150158494A1 (en) | Method and apparatus for determining carelessness of driver | |
JP6213435B2 (ja) | 注意過多状態判定装置及び注意過多状態判定プログラム | |
JP2009289136A (ja) | 警報制御装置 | |
JP5358540B2 (ja) | 視線検出装置 | |
US11266307B2 (en) | Evaluation device, evaluation method, and non-transitory storage medium | |
JP2006043429A (ja) | 視認負荷判断装置 | |
GB2536474B (en) | Situational awareness monitoring method and apparatus | |
JP2011086125A (ja) | 視認検出装置 | |
JP2017076180A (ja) | 状態判定装置 | |
JP5144412B2 (ja) | 車両用物体判定装置 | |
WO2023187949A1 (ja) | 乗り物酔い抑制装置及び乗り物酔い抑制方法 | |
JP2018005362A (ja) | 運転支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120605 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120702 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5033902 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150706 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |