JP6288653B2 - 運転者注意力検出方法および装置 - Google Patents

運転者注意力検出方法および装置 Download PDF

Info

Publication number
JP6288653B2
JP6288653B2 JP2015537659A JP2015537659A JP6288653B2 JP 6288653 B2 JP6288653 B2 JP 6288653B2 JP 2015537659 A JP2015537659 A JP 2015537659A JP 2015537659 A JP2015537659 A JP 2015537659A JP 6288653 B2 JP6288653 B2 JP 6288653B2
Authority
JP
Japan
Prior art keywords
predetermined
driver
sight
arrangement
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015537659A
Other languages
English (en)
Other versions
JP2016502165A (ja
Inventor
ニルソン、ベニー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Autoliv Development AB
Original Assignee
Autoliv Development AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autoliv Development AB filed Critical Autoliv Development AB
Publication of JP2016502165A publication Critical patent/JP2016502165A/ja
Application granted granted Critical
Publication of JP6288653B2 publication Critical patent/JP6288653B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychiatry (AREA)
  • Educational Technology (AREA)
  • Psychology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、車両運転者の低下した注意力を検出する方法に関し、この発明は、車両運転者の視線配置を検出するステップを含む。
本発明はまた、少なくとも1つのディジタルカメラ装置と制御ユニットとを備える車両運転者注意力検出装置に関し、前記カメラ装置は、車両運転者の視線配置を検出するように構成される。
注意力の喪失または何らかの低下は、車両を制御し、かつ、周囲に注意する能力を損なうため、車両運転者の注意力を検出することが望ましい。車両(vehicle)の例としては、自動車、列車、航空機およびボートが挙げられる。また、産業機器などの操作者に対して注意力を検出することも望ましい。
低下した注意力に関する問題は、一般的に、人がその発現時に自身の注意力の欠落を検出しないことである。したがって、人が注意力の欠落に気付き、これに対抗した行動を取ることは困難である。低下した注意力は、眠気だけでなく、物体または装置をかき乱すなどの異なる要素の原因となる可能性がある。
今日、車両運転者の注意力を検出する多くの装置および方法が知られており、多くの場合、視線角度を算出し、かつ、視線が視線ウィンドウ内に収まっているかを判定するために、1つ以上のディジタルカメラが車両運転者の頭部特徴および目の位置の画像を捉える。算出された視線角度が、1または複数の所定時間の間、視線が視線ウィンドウの外側に落ちることを示す場合、運転者は脇見をしていると判定され、警報および/またはその他の安全措置をもたらす。
アルゴリズムを使用する現在の注意力検出システムは、高度で汎用の視線および頭部追跡ソフトウェアを使用している。このようなソフトウェアは、顔のモデルを作成し、このモデルは、頭部および視線の方向を算出するために使用される。これらのモデルが機能するためには、目、鼻および口の複数箇所を追跡しなくてはならない。これらの箇所のいくつかが覆われているか、あるいは不正確に追跡される場合、性能は急速に低下し、現在のシステムは非常に不安定なままである。このようなシステムの一例は、欧州特許第2298155号明細書に開示されている。
欧州特許第2298155号明細書
したがって、この種の従来公知の装置ほど複雑でなく、かつ、より頑強で、誤警報の危険性またはその他の種の誤動作が低減されるような、車両運転者注意力を検出する装置および方法が必要とされる。
前記目的は、車両運転者の低下した注意力を検出する方法によって達成され、この方法は、車両運転者の視線配置を検出するステップを含む。
この方法は、以下のステップをさらに含む。
―検出された視線配置を、視線配置サンプルの予め保存されたモデルと比較して、検出された視線配置を分析するステップ。視線配置サンプルの保存されたモデルは、所定の視野の内側および/または外側を見る目の指標となる。
―検出された視線配置が、所定の視野の内側あるいは所定の視野の外側を見ているかを、前記分析を使用して判定するステップ。
―車両運転者が所定の視野の外側を所定の範囲まで見ていると判定された時に表示をするステップ。
また、前記目的は、少なくとも1つのディジタルカメラ装置および制御ユニットを備える車両運転者注意力検出装置によって達成することができ、前記カメラ装置は、車両運転者の視線配置を検出するように構成される。制御ユニットは、検出された視線配置を、視線配置サンプルの予め保存されたモデルと比較するように構成される。視線配置サンプルの保存されたモデルは、所定の視野の内側および/または外側を見る目の指標となる。制御ユニットは、検出された視線配置が所定の視野の内側あるいは所定の視野の外側を見ているかを判定するようにさらに構成される。さらに、制御ユニットは、車両運転者が所定の視野の外側を所定の範囲まで見ていると判定された時に表示をするように構成される。
一例によれば、車両運転者が所定の視野の外側を所定の範囲まで見ていると判定された時の表示は、車両運転者の脇見の指標となる出力信号の生成を含む。
他の例によれば、出力信号は、警報および/または1つ以上の車両安全システムを起動するために使用される。
他の例によれば、所定の視野は、車両前方走行方向に延びる容積(ボリューム)の形態である。
一例として、容積(ボリューム)は、運転者から特定の距離に位置決めされた仮想端面まで延びてもよく、ここで、検出された視線配置は、仮想端面を見ていると判定された場合、所定の視野の内側を見ていると判定される。
他の例によれば、視線配置サンプルをモデル化するために、いわゆるハール特徴を使用してもよい。
その他の例を、以下の従属請求項に開示する。
本発明によって、多くの利点が得られる。主に、運転者が見ている場所を判定することで車両運転者注意力を検出するための、あまり複雑ではない装置および方法が提供され、このような注意力を、視線角度、頭部角度および顔の特徴モデルとして算出する必要はない。
以下、添付の図面を参照して、本発明をより詳細に説明する。
運転者が乗車している車両の概略的な部分切開側面図である。 運転者が乗車している車両、および所定の視野に対応する所定の容積(ボリューム)の概略側面図である。 車両および所定の容積(ボリューム)の概略上面図である。 運転者および所定の容積(ボリューム)の概略正面図である。 図5aは、正の視線配置サンプルを有する運転者の概略の第1例である。図5bは、正の視線配置サンプルを有する運転者の概略の第2例である。図5cは、正の視線配置サンプルを有する運転者の概略の第3例である。 図6aは、負の視線配置サンプルを有する運転者の概略の第1例である。図6bは、負の視線配置サンプルを有する運転者の概略の第2例である。図6cは、負の視線配置サンプルを有する運転者の概略の第3例である。 初期化フェーズおよびオンラインフェーズの一例を示すフローチャートである。 本発明に従う一般的な方法を示すフローチャートである。
図1は、道路12を方向Dに走行するように構成された車両1の切開部分を概略的に示しており、ここで、車両1は、近赤外(NIR)ディジタルカメラ装置2を備え、このディジタルカメラ装置2は、フラッシュ(一方のNIR光源のみが図1に示され、他方のNIR光源は、カメラ装置の反対側に位置決めされているものとする)などの2つのNIR光源Fを有するダッシュボード上に位置決めされている。ディジタルカメラ装置2は、車両1を運転する乗員4、つまり運転者の目3の画像を捉え、これらの画像を制御ユニット5へ転送するために設けられる。これらの画像は、運転者の注意力の指標となる、運転者4が道路前方を見ているか否かを判定するために使用される。
図1、図2、図3および図4を参照して、容積(ボリューム)6は、運転者4の前方に画定され、ここで、容積(ボリューム)6は、運転者4から長方形の仮想端面11に向かって延びる4つの仮想境界壁7、8、9および10に制限され、仮想端面11は、前方走行方向Dにおいて運転者4からの特定距離Lに位置決めされている。長方形の仮想端面11は、仮想境界壁7、8、9および10の端部にある破線の長方形として、図4に最も明確に示されている。したがって、仮想端面11は、仮想境界壁7、8、9および10を画定するか、あるいは、仮想境界壁7、8、9および10によって画定されるものと見なしてもよい。
図2、図3および図4に示すように、仮想境界壁7、8、9および10は、運転者4から仮想端面11に向かって互いに逸れており、これにより、第1仮想境界壁7および第2仮想境界壁8は互いに対向し、道路12は、第1仰角傾斜αおよび第2仰角傾斜αを有し、第3仮想境界壁9および第4仮想境界壁10は互いに対向し、第1方位角傾斜βおよび第2方位角傾斜βを有し、かつ、道路12に対して垂直に延びる。好ましくは、第1仮想境界壁7は、標準的な運転者の視線と一致する高さで水平に延び、第2仮想境界壁8は、自身の仮想端面11部分が道路14とほぼ同じ高さとなるように傾斜する。これは必須ではないが、容積(ボリューム)の拡張の一例として見なされるべきである。
傾斜α、α、βおよびβは、基準線Sに対して測定され、仰角傾斜αおよびαは、上昇範囲角度αおよびαを基準線Sの両側に構成し、上昇範囲角度は、例えば15°〜20°の大きさである。方位角傾斜βおよびβは、方位範囲角度βおよびβを基準線Sの両側に構成し、方位範囲角度は、例えば10°〜20°の大きさである。これは、平面の範囲角度の値が等しくないことも考えられる。
本実施例において、基準線Sは、容積(ボリューム)6を貫通する線として画定され、これにより、上昇範囲角度αおよびαは相互に等しく、かつ、方位範囲角度βおよびβは相互に等しい。
図3に示し、さらに図4にも示すように、方位範囲角度βおよびβを等しく保ちながら、基準線Sしたがって容積(ボリューム)6は、前方走行方向Dに対して、方位角平面において右へわずかに傾斜する。これは、本実施例において、運転者4が道路12の左側に着席して、道路12の右側車線27上を運転しているためである。問題の車線27上に視線3を維持することは、運転者4が、前方走行方向Dに対してわずかに右を見なくてはならないことを意味する。
運転者4が容積(ボリューム)6の内側を見ている、つまり、仮想端面11のある部分を見ていると判定された場合、運転者4は、道路前方に注意を払っていると見なされる。一方、運転者4が容積(ボリューム)6の外側を見ている、つまり、仮想端面11のある部分を見ていないと判定された場合、運転者4は、道路前方に注意を払っていないと見なされる。
本発明によれば、制御ユニット5は、検出された目3の画像を分析することで、運転者4が容積(ボリューム)6の内側を見ているかを判定するように構成され、これらの画像は、特定の視線配置の指標となる。分析は、検出された視線配置を視線配置サンプル13、14、15および16の予め保存されたモデルと比較することで行われる。視線配置サンプル13、14、15および16の保存されたモデルは、所定の視野、つまり本実施例では上記で画定された容積(ボリューム)6の内側を見る目の指標となる。これら視線配置サンプルのモデルの作成過程については、本明細書で後述する。比較は、いわゆるハール特徴を使用した公知のヴィオラ−ジョーンズ法などの適切な映像処理アルゴリズムによって行われ、このようなアルゴリズムは、画像処理の分野では公知であり、これらについてはさらに詳述しない。
分析が、検出された視線配置が所定の視野6の外側を所定の範囲まで見ていると判定される結果となる場合、制御ユニットは、車両運転者の脇見の指標となる出力信号を生成するように構成される。所定の範囲は、例えば特定の時間であってもよく、また、本明細書の後半部分で説明する所定のバッファを超えてもよい。
所定の範囲はまた、検出された視線配置における片目または両目が、所定の視野6の内側または外側のいずれを見ていると判定されたかに関する。したがって、検出された視線配置における片目が所定の視野6を見ている場合、検出された視線配置は、所定の視野6の内側を見ていると判定され得る。これは、このようなモデルのサンプルが、所定の視野6を見ている片目の唯一の指標となる場合、視線配置サンプル13、14、15および16の保存されたモデルが、所定の視野6の内側を見る目の指標となることを意味している。
このような出力信号は、多数の代替的動作をもたらすことができる。一例によれば、警報システムを能動化することで、音響および/または光信号が発生する。さらに、電動式シートベルトリトラクタの能動化だけでなく、座席またはハンドル17において振動手段を起動することも考えられる。
好ましくは、運転者が脇見をしているとの判定を遅延させるために、バッファルーティンが使用される。例えば、脇見時間が約3〜5秒バッファされるまで、脇見警告は誘発されるべきではない。
バッファが有効になる前には、初期化フェーズが存在し、ここで、制御ユニット5は、連続検出された所定の視野の内側を見ている視線配置の、所定時間の経過を判定するように構成されている。このような所定時間の一例は、1〜2秒であり、初期化バッファの閾値を構成する。これは、例えば、運転者4が車両1に乗り込むときか、あるいは誤警報の後など、運転者4が存在すること、および、システムが正常に動作していることを確認するためである。連続検出された所定の視野の内側を見ている視線配置の時間が、所定時間に達する前に中断される場合、初期化フェーズが再開される。初期化バッファは、初期化フェーズにおいて、検出された視線配置を追跡するために使用されてもよい。
初期化フェーズが成功した後、オンラインフェーズにおいて、通常バッファは有効であり、かつ、運転者4の視線配置は、上記に開示した運転者4の注意力が低下する可能性を評価するためにこの時点で検出される。
制御ユニット5は、好ましくは、バッファ時間がバッファ閾値を構成する所定の時間間隔、例えば5〜10秒を超えて増大する場合に、再初期化を強制するように構成されているので、制御ユニット5が、車両運転者が脇見をしていると判定して、前記信号を発することはない。これもまた、誤警報の危険性を低下させることを意図している。この場合、制御ユニットは、初期化フェーズを再開するように構成される。
上述については図7に示しており、上述の初期化フェーズ28およびオンラインフェーズ29をフローチャートに開示している。
初期化フェーズ28では、以下のステップが実行される。
30:視線配置を検出する。
31:検出された視線配置は所定の視野6内であるか?
32:「Yes」であれば、初期化バッファを増加させる。
33:「No」であれば、初期化バッファを減少させる。
34:初期化バッファ閾値が経過したか?
35:「Yes」であれば、その後にオンラインフェーズへ進む。
36:「No」であれば、その後に初期化フェーズ28の開始30に戻る。
オンラインフェーズ29では、以下のステップが実行される。
37:視線配置を検出する。
38:検出された視線配置は所定の視野6内であるか?
39:「Yes」であれば、バッファを減少させる。
40:「No」であれば、バッファを増加させる。
41:バッファ閾値が経過したか?
42:「Yes」であれば、その後に初期化フェーズ28の開始30に戻る。
43:「No」であれば、車両運転者の脇見の指標となる出力信号を発するための閾値が経過したか?
44:「Yes」であれば、車両運転者の脇見の指標となる出力信号を発し、その後にオンラインフェーズ29の開始36に戻る。
45:「No」であれば、その後にオンラインフェーズ29の開始30に戻る。
誤警報を回避するために、制御ユニット5は、さらに好ましくは、方向転換の間などの特定の条件の間、および特定の条件の後の所定時間に、車両運転者の脇見の指標となる出力信号を保持するように構成される。この特定の条件として、ハンドル角度が所定値、例えば10°〜15°を超える場合、方向指示器が起動された場合、およびGPS(全地球測位システム)、カメラ装置および/または慣性センサによって方向転換が検出される場合などが挙げられる。また、カーブにおいて、カーブに入って走行しているときの運転者の自然な視線に従うように、容積(ボリューム)を適合させてもよい。
上述において、警報システムを起動するための出力信号を説明してきたが、先に述べたように、このような出力信号は、多数の代替的動作をもたらすことができる。代替的あるいは付加的に、自動制動システムなどの周辺のセキュリティシステムを強化するか、能動化するか、あるいは起動してもよい。なお、この観点から、警報システムは通常、例えば高速道路での高速走行に最も適している一方で、自動制動システムなどのその他多数のセキュリティシステムは、例えば都市での低速走行で動作するように適合される。
自動制動を早期に起動するために、該当する場合は、適切なバッファ時間を数百ミリ秒としてもよく、これは、まばたきでは起動しないが、運転者が道路から目を逸らしたときに比較的速やかに起動するために十分な時間である。
多くの用途において、速い率でバッファを減少させ、かつ、所定の非脇見時間後にバッファを空にすることがさらに好ましい。上述の全ての設定を、バッファが接続されるシステムの種類に応じて具体的に設定する必要がある。
本発明は通常、高速走行または低速走行のいずれかのために構成されるが、これらの両方で動作するように構成されてもよい。この一例については、後述する。
本発明が高速走行のために構成される場合、出力信号は、所定値を下回る速度で保持されてもよく、その所定値は、例えば60kph(毎時キロメートル)である。このようにして、例えば都市における低速走行での誤警報が回避される。これは、都市において、運転者の目3は、一般的に車両に近い道路を見ており、頭部は、通常、例えば、他の車両、歩行者、交通信号および別の標識を追跡するために動いているためである。このような動作は、高速走行では許可されない。
仮想端面11までの距離Lは、例えば10メートルであるが、これは、適切な距離の一例に過ぎない。このような運転者4から離れた距離に仮想端面11を位置決めすることで、運転者の異なる高さに対する視差および感度が低下する。約10メートルの長さもまた、本発明が高速走行のために構成される場合に最も適している。
一例として、都市において、運転者の目3は、通常は車両に近い道路を見ているため、例えば先に述べた60kphなどの所定値を下回る速度での低速走行が検出される場合、距離Lを、より小さい大きさとなるように変更することができる。このようにして、仮想端面11の大きさに適切に変更するとともに、距離Lを適切な方法で変更することで、高速走行モードおよび低速走行モードの両方で走行するように本発明を構成してもよい。
制御ユニット5は、正の視線配置サンプルおよび負の視線配置サンプルの数学モデルでプログラムされている。正の視線配置サンプル13、14、15および16の実施例は、図5a〜図5cの破線枠の内側の画像によって構成される。負の視線配置サンプルの実施例は、図6a〜図6cに示され、この場合、負の視線配置サンプルを定義するために全体画像が使用される。視線配置サンプルは、任意の適切な方法で収集され、かつ、例えば、前記ハール特徴を使用したヴィオラ−ジョーンズ法によって、数学モデルに変換される。
正の視線配置サンプルおよび負の視線配置サンプルの数学モデル取得処理は、「訓練」と呼ばれることがある。正の視線配置サンプルおよび負の視線配置サンプルの数学モデルが取得される過程、つまり、いわゆる「訓練」が実行される過程の一例として、以下の方法を使用してもよい。
まず、収集された画像は、視線角度を検出するように適合された視線追跡装置によって分析される。異なる型の視線追跡装置は、先に周知である。そこで、自動または手動のいずれかで、正の視線配置サンプルが選択される。最後に、先に述べたヴィオラ−ジョーンズ法などの適切な方法が使用され、適切な特徴が発見される。
先に述べた上昇範囲角度αおよびαおよび方位範囲角度βおよびβは、「訓練」の間に使用され、好ましくは、3〜5度の遊びがある。このようにして、車載用途では無視されるグレーゾーンが作成される。
頑強かつ一般化された機能性のために、異なる条件および異なる種類の顔の特徴から、視線配置サンプルの多様な選択肢を得ることが非常に重要である。
本発明によって、従来技術に固有の問題は、視線または頭部の角度を算出することなく目3のみを検出して、運転者の注意力の状態を分類することで回避される。画像オブジェクト検出アルゴリズムを使用することで、制御ユニット5内の分類器が訓練されて、上述の容積(ボリューム)6内など所定の方向を見ている視線のみを検出する。
図8を参照して、本発明は、車両運転者の注意力の度合いを検出する一般的な方法に関し、この方法は、以下のステップを含む。
22:車両運転者4の視線配置を検出する。
23:検出された視線配置を視線配置サンプル13、14、15および16の予め保存されたモデルと比較して、検出された視線配置を分析する。視線配置サンプル13、14、15および16の保存されたモデルは、所定の視野6の内側および/または外側を見る目の指標となる。
24:前記分析を使用して、検出された視線配置が、所定の視野6の内側あるいは所定の視野6の外側のいずれを見ているかを判定する。
25:車両運転者4が、所定の視野6の外側を所定の範囲まで見ていると判定された時に表示をする。
本発明は、上述の実施例に限定されないが、添付の特許請求の範囲の範囲内で自由に変化してもよい。例えば、1つ以上のNIRカメラ2および1つ以上のNIRフラッシュFがあってもよく、ここで、制御ユニット5は、トリガ信号をカメラ2およびフラッシュFへ送信するように構成される。運転者4が前方を見ている場合、カメラ2は、運転者4の視線の可能な限り近くに配置されるべきである。しかし、この配置は、垂直方向よりも水平方向において、より重要である。フラッシュを有するか、あるいはフラッシュを有しない、その他の種類のカメラシステムが考えられる。赤外線カメラを使用した1つの利点は、例えばサングラスによって、運転者の視線が覆い隠されている場合も問題とならないことである。
カメラ位置の実施例としては、図1に示すような、ハンドル17のリムまたはスポーク、ステアリングコラム18、ダッシュボード19、または内側ルーフライニング20内が挙げられる。その他の実施例は、エアバッグカバー、サンバイザ、内側バックミラーアセンブリ21、および車両のAピラー内が挙げられる。
カメラ2が運転者4の真正面に位置決めされる場合、利用可能なデータが多いため、運転者4が所定の視野の内側を見ているかを判断することはあまり複雑ではない。しかし、空間の制約、設計上の理由、および視野妨害の理由による、実際的な理由から、これは不可能であり得る。
制御ユニット5は、1つまたは複数のユニットから成ってもよく、また、車両拘束制御ユニットなどの他のユニットに含まれてもよい。
所定の視野および仮想端面11は、任意の適切な形態を有してもよく、例えば、仮想端面は、楕円形または多角形であってもよい。したがって、容積(ボリューム)は、上述の実施例で説明した4つの壁よりも多い壁によって画定されてもよい。円形または楕円形の仮想端面に適した1つの壁のみがあることも考えられる。
上述では、所定の視野の内側を見る目の指標となる、視線配置サンプルの保存されたモデルを使用して、運転者4が所定の視野内を見ているかが判定される。所定の視野の外側または両側を見る目の指標となる、視線配置サンプルの保存されたモデルを代わりに使用することが可能である。
比較は、適切な映像処理アルゴリズムによって行われ、このようなアルゴリズムは公知であり、これらの詳細についての説明は省略する。一般的な映像処理アルゴリズムは、上述のように、所定の視野の内側を見る目の指標となる、視線配置サンプルの保存されたモデル、および、所定の視野の外側を見る目の指標となる、頭と視線配置サンプルの保存されたモデルを使用してもよく、ここで、図6a〜図6cに示す全ての画像は、負の視線配置サンプルを定義するために使用されることが述べられている。もちろん、これは、必要とされる保存されたモデルおよびこれらが使用される過程の一例に過ぎない。一般的に、所定の視野の内側および/または外側を見る目の指標となる視線配置サンプルの保存されたモデルが使用される。
一般的に、制御ユニット5は、車両運転者4が、所定の視野6の外側を所定の範囲まで見ていると判定されたことを示すように構成される。このような表示は、車両運転者の脇見の指標となる出力信号の生成を含んでもよい。

Claims (15)

  1. 車両運転者(4)の低下した注意力を検出する方法であって、
    前記車両運転者(4)の視線配置を検出するステップ(22)と;
    前記検出された視線配置を予め保存された視線配置サンプル(13,14,15,16)のモデルと比較して、前記検出された視線配置を分析するステップ(23)とを含み、
    前記視線配置サンプル(13,14,15,16)のモデルは、所定の視野(6)内側および/または外側を見る目の指標となり、
    前記検出された視線配置が前記所定の視野(6)の内側を見ているか、あるいは前記所定の視野(6)の外側を見ているかを判定するステップ(24)と前記車両運転者(4)が前記所定の視野(6)の外側を所定の範囲まで見ていると判定されたときにバッファルーティンを作動させることで所定の遅れ時間経過後に警告表示をするステップ(25)とをさらに含み、
    前記所定の視野(6)は、車両前方走行方向(D)に延びる容積(ボリューム)の形態であることを特徴とする注意力検出方法。
  2. 前記容積(ボリューム)は、前記運転者(4)から特定距離(L)に位置決めされた仮想端面(11)まで延び、前記検出された視線配置は、前記仮想端面(11)を見ていると判定される場合、前記所定の視野(6)の内側を見ていると判定されることを特徴とする、請求項1に記載の注意力検出方法。
  3. 前記特定距離(L)は、車両の走行速度によって可変であることを特徴とする請求項2に記載の方法。
  4. 前記車両運転者(4)が前記所定の視野(6)の外側を所定の範囲まで見ていると判定された時に表示をする前記ステップは、車両運転者の脇見の指標となる出力信号の生成を含むことを特徴とする、請求項1乃至3の何れか1項に記載の注意力検出方法。
  5. 前記出力信号は、警報および/または1つ以上の車両安全システムの起動のために使用されることを特徴とする、請求項4に記載の注意力検出方法。
  6. 前記視線配置サンプル(13,14,15,16)の保存されたモデルは、ハール特徴を使用してモデル化されることを特徴とする、請求項1〜5のいずれか1項に記載の注意力検出方法。
  7. 少なくとも1つのディジタルカメラ装置(2)と、制御ユニット(5)とを備える運転者注意力検出装置であって、
    前記カメラ装置(2)は、車両運転者(4)の視線配置を検出するように構成され、
    前記制御ユニット(5)は、前記検出された視線配置を視線配置サンプル(13,14,15,16)の予め保存されたモデルと比較するように構成され、
    前記視線配置サンプル(13,14,15,16)のモデルは、車両前方走行方向(D)に延びる容積(ボリューム)の形態である所定の視野(6)の内側および/または外側を見る目の指標となり、
    前記制御ユニット(5)は、前記検出された視線配置が、前記所定の視野の内側を見ているか、あるいは前記所定の視野(6)の外側を見ているかを、前記比較から判定するようにさらに構成され、
    さらに、前記制御ユニット(5)は、車両運転者(4)が前記所定の視野(6)の外側を所定の範囲まで見ていると判定されたときにバッファルーティンを作動させることで所定の遅れ時間経過後に警告表示をすることを特徴とする注意力検出装置。
  8. 前記容積(ボリューム)は、前記運転者(4)から特定距離(L)に位置決めされた仮想端面(11)まで延び、前記仮想端面(11)を見ていると前記制御ユニット(5)が判定する場合、前記制御ユニット(5)は、検出された視線配置が前記所定の視野(6)の内側を見ていると判定するように構成されることを特徴とする、請求項7に記載の注意力検出装置。
  9. 前記特定距離(L)は、車両の走行速度によって可変であることを特徴とする請求項8に記載の注意力検出装置。
  10. 前記車両運転者(4)が前記所定の視野(6)の外側を所定の範囲まで見ていると判定されたという前記制御ユニット(5)による各表示は、車両運転者の脇見の指標となる出力信号の生成を含むことを特徴とする、請求項7乃至9の何れか1項に記載の注意力検出装置。
  11. 前記出力信号は、警報および/または1つ以上の車両安全システムを起動するように構成されることを特徴とする、請求項10に記載の注意力検出装置。
  12. 前記カメラ装置(2)は、近赤外(NIR)型であることを特徴とする、請求項7乃至11のいずれか1項に記載の注意力検出装置。
  13. 少なくとも1つのNIRフラッシュ(F)をさらに備えることを特徴とする、請求項12に記載の注意力検出装置。
  14. 前記カメラ装置(2)は、ハンドル(17)のリムまたはスポーク、ステアリングコラム(18)、ダッシュボード(19)、内側ルーフライニング(20)、エアバッグカバー、サンバイザ、内側バックミラーアセンブリ(21)、または車両のAピラーに位置決めされることを特徴とする、請求項7乃至13のいずれか1項に記載の注意力検出装置。
  15. 前記制御ユニット(5)は、前記検出された視線配置が前記所定の視野(6)にあるか否かによって増減するバッファ手段(32,33,39,40)を備え、当該バッファ手段に蓄積された値と所定の閾値との比較結果に基づいて、前記警告表示の出力制御を行うことを特徴とする請求項7乃至14に記載の注意力検出装置。
JP2015537659A 2012-10-19 2012-10-19 運転者注意力検出方法および装置 Active JP6288653B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2012/051133 WO2014062107A1 (en) 2012-10-19 2012-10-19 Driver attentiveness detection method and device

Publications (2)

Publication Number Publication Date
JP2016502165A JP2016502165A (ja) 2016-01-21
JP6288653B2 true JP6288653B2 (ja) 2018-03-07

Family

ID=50488554

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015537659A Active JP6288653B2 (ja) 2012-10-19 2012-10-19 運転者注意力検出方法および装置

Country Status (4)

Country Link
US (1) US9834221B2 (ja)
EP (1) EP2908726B1 (ja)
JP (1) JP6288653B2 (ja)
WO (1) WO2014062107A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10922567B2 (en) 2010-06-07 2021-02-16 Affectiva, Inc. Cognitive state based vehicle manipulation using near-infrared image processing
US9311544B2 (en) * 2012-08-24 2016-04-12 Jeffrey T Haley Teleproctor reports use of a vehicle and restricts functions of drivers phone
KR101567194B1 (ko) * 2014-03-04 2015-11-06 현대자동차주식회사 착탈식 차량 정보 인디케이터 및 이를 이용한 차량 정보 인디케이팅 방법
US9396639B2 (en) * 2014-10-21 2016-07-19 Honeywell International Inc. Apparatus and method for managing operator alertness and enhancing operator effectiveness for industrial control systems
DE102015211444A1 (de) * 2015-06-22 2016-12-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterscheiden von Blinzelereignissen und Instrumentenblicken unter Verwendung einer Augenöffnungsweite
JP6917708B2 (ja) * 2016-02-29 2021-08-11 株式会社デンソー 運転者監視システム
US10719724B2 (en) * 2016-08-23 2020-07-21 Blinkeyelabs Electronics Private Limited Safety system for an automobile
JP2018128974A (ja) * 2017-02-10 2018-08-16 トヨタ自動車株式会社 ドライバ状態監視装置
JP6879134B2 (ja) * 2017-09-07 2021-06-02 トヨタ自動車株式会社 シートベルト制御装置
CN108664043B (zh) * 2018-03-28 2024-05-07 吉林大学 基于双目视觉的驾驶员特征点测量装置及其控制方法
JP7269617B2 (ja) * 2018-11-30 2023-05-09 国立大学法人静岡大学 顔画像処理装置、画像観察システム、及び瞳孔検出システム
CN109927730B (zh) * 2019-03-26 2021-01-26 武汉极目智能技术有限公司 一种基于dms***的实时疲劳驾驶行为评分***和方法
JP6821832B2 (ja) * 2020-01-06 2021-01-27 株式会社バンダイナムコエンターテインメント シミュレーション制御装置及びシミュレーション制御プログラム
CN112289003B (zh) * 2020-10-23 2022-06-17 江铃汽车股份有限公司 疲劳驾驶不端驾驶行为监测方法及主动安全驾驶监控***
DE102022212357A1 (de) 2022-11-18 2024-05-23 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Assistenzsystems eines Kraftfahrzeugs, Computerprogrammprodukt sowie Assistenzsystem

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3361980B2 (ja) * 1997-12-12 2003-01-07 株式会社東芝 視線検出装置及びその方法
US6154559A (en) * 1998-10-01 2000-11-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for classifying an individual's gaze direction
WO2000055811A1 (fr) * 1999-03-12 2000-09-21 Sony Corporation Processeur de donnees, procede de traitement de donnees, et support d'enregistrement
JP3790680B2 (ja) * 2001-05-25 2006-06-28 株式会社東芝 画像処理システム及びこれを用いた運転支援システム
JP3822482B2 (ja) * 2001-10-31 2006-09-20 株式会社東芝 顔向き計算方法及びその装置
EP2305106A1 (en) * 2002-02-19 2011-04-06 Volvo Technology Corporation Method for monitoring and managing driver attention loads
DE10231362A1 (de) * 2002-07-11 2004-01-22 Robert Bosch Gmbh Vorrichtung zur Umfeldüberwachung in einem Fahrzeug
JP3990619B2 (ja) * 2002-10-11 2007-10-17 株式会社東海理化電機製作所 顔の向き検知装置
CN100398065C (zh) 2002-10-15 2008-07-02 沃尔沃技术公司 解释对象的头部和眼睛活动的方法和装置
JP2006252138A (ja) * 2005-03-10 2006-09-21 Omron Corp 運転者撮影装置および運転者監視装置
JP4708835B2 (ja) * 2005-04-12 2011-06-22 日本電信電話株式会社 顔検出装置、顔検出方法、及び顔検出プログラム
US7835834B2 (en) * 2005-05-16 2010-11-16 Delphi Technologies, Inc. Method of mitigating driver distraction
CN100472556C (zh) * 2005-10-09 2009-03-25 欧姆龙株式会社 特定被摄体检测装置及方法
BRPI0712837B8 (pt) * 2006-06-11 2021-06-22 Volvo Tech Corporation método para determinação e análise de uma localização de interesse visual
US7682026B2 (en) * 2006-08-22 2010-03-23 Southwest Research Institute Eye location and gaze detection system and method
US7946744B2 (en) * 2007-02-02 2011-05-24 Denso Corporation Projector and image pickup apparatus
US8068968B2 (en) * 2007-02-06 2011-11-29 Denso Corporation Vehicle travel control system
US20100007479A1 (en) 2008-07-08 2010-01-14 Smith Matthew R Adaptive driver warning methodology
JP5568761B2 (ja) * 2009-02-03 2014-08-13 富士重工業株式会社 視野推定装置、視野推定方法、コンピュータプログラム及び記録媒体
JP5270415B2 (ja) * 2009-03-19 2013-08-21 トヨタ自動車株式会社 眠気判定装置及びプログラム
JP5184596B2 (ja) * 2010-09-03 2013-04-17 本田技研工業株式会社 脇見判定装置
JP2012084068A (ja) * 2010-10-14 2012-04-26 Denso Corp 画像解析装置
US8599027B2 (en) * 2010-10-19 2013-12-03 Deere & Company Apparatus and method for alerting machine operator responsive to the gaze zone
KR20120058230A (ko) * 2010-11-29 2012-06-07 한국전자통신연구원 이동체 안전운행 장치 및 방법
US8254768B2 (en) * 2010-12-22 2012-08-28 Michael Braithwaite System and method for illuminating and imaging the iris of a person
US8698639B2 (en) * 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
WO2012135018A2 (en) 2011-03-25 2012-10-04 Tk Holdings Inc. System and method for determining driver alertness
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays

Also Published As

Publication number Publication date
EP2908726B1 (en) 2022-12-21
JP2016502165A (ja) 2016-01-21
WO2014062107A1 (en) 2014-04-24
EP2908726A1 (en) 2015-08-26
EP2908726A4 (en) 2016-10-12
US20150258997A1 (en) 2015-09-17
US9834221B2 (en) 2017-12-05

Similar Documents

Publication Publication Date Title
JP6288653B2 (ja) 運転者注意力検出方法および装置
CN107176165B (zh) 车辆的控制装置
KR102051142B1 (ko) 차량용 운전자 위험 지수 관리 시스템 및 그 방법
EP2535224B1 (en) Driving support equipment for vehicles
WO2017104794A1 (ja) 視覚認知支援システムおよび視認対象物の検出システム
US10099692B2 (en) Control system for vehicle
CN109760689A (zh) 驾驶员监视***
KR101433837B1 (ko) 차량의 나이트-뷰 시스템 동작 방법 및 대응하는 나이트-뷰시스템
JP6666892B2 (ja) 運転支援装置及び運転支援方法
US20120206252A1 (en) Lane departure warning system
CN107074246A (zh) 动态控制装置及相关方法
WO2014188648A1 (ja) ドライバ確認装置
WO2008029802A1 (fr) Dispositif fournissant des informations de voyage
CN105398379B (zh) 驾驶辅助影像显示方法
JP6948790B2 (ja) ドライバを支援するための方法および装置
JP4186749B2 (ja) 脇見判定装置
US10684695B2 (en) Data processing device, monitoring system, awakening system, data processing method, and data processing program
JP6790522B2 (ja) 車両の制御装置
US20180148048A1 (en) Apparatus and method for controlling stop of vehicle
US20220319200A1 (en) Device and method for determining image data of the eyes, eye positions and/or a viewing direction of a vehicle user in a vehicle
JP2007133644A (ja) 歩行者認識装置
JP2017199205A (ja) 車両の制御装置
JP2008269399A (ja) 車両の車線逸脱警報装置
JP3890598B2 (ja) 車両用情報提供装置、車両用情報提供方法及び車両用情報提供プログラム
JP6701913B2 (ja) 車両の制御装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160706

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170501

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180130

R150 Certificate of patent or registration of utility model

Ref document number: 6288653

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350