JP5082834B2 - 脇見検出装置および方法、並びに、プログラム - Google Patents

脇見検出装置および方法、並びに、プログラム Download PDF

Info

Publication number
JP5082834B2
JP5082834B2 JP2007336505A JP2007336505A JP5082834B2 JP 5082834 B2 JP5082834 B2 JP 5082834B2 JP 2007336505 A JP2007336505 A JP 2007336505A JP 2007336505 A JP2007336505 A JP 2007336505A JP 5082834 B2 JP5082834 B2 JP 5082834B2
Authority
JP
Japan
Prior art keywords
driver
sight
line
degree
armpit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007336505A
Other languages
English (en)
Other versions
JP2009157736A (ja
Inventor
徹 小河原
卓也 岡本
美希 松岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2007336505A priority Critical patent/JP5082834B2/ja
Priority to US12/345,526 priority patent/US20090167516A1/en
Publication of JP2009157736A publication Critical patent/JP2009157736A/ja
Application granted granted Critical
Publication of JP5082834B2 publication Critical patent/JP5082834B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、脇見検出装置および方法、並びに、プログラムに関し、特に、車両を運転する運転者の脇見を検出する脇見検出装置および方法、並びに、プログラムに関する。
近年、交通事故を防止するために、車両を運転する運転者の脇見を検出し、注意を促す脇見検出装置の開発が進んでいる。そのような脇見検出装置の中には、前方障害物への接近の有無に応じて、脇見に対する警報のレベルを変化させるものがある（例えば、特許文献１参照）。具体的には、特許文献１に記載の発明では、運転者の左右方向および下方向の脇見を検出した場合に、前方障害物への接近を検知したとき、緊急度の高い第１脇見警報を出力し、前方障害物への接近を検知していない場合に、運転者が下方向への脇見を繰り返していることを検出したとき、第１脇見警報より緊急度の低い第２脇見警報を出力することが提案されている。
特許３８５５７９０号公報
しかしながら、特許文献１に記載の発明では、前方障害物への接近の有無に基づいて警報の緊急度が区別されている一方、運転者の脇見の状態による緊急度の区別は十分に考慮されておらず、さらに、運転者が上方向に脇見をした場合については全く考慮されていない。すなわち、特許文献１に記載の発明では、運転者の脇見の状態による危険度の違いが十分に考慮されておらず、運転者の脇見の状態に応じた適切な警報が行えないことが想定される。
本発明は、このような状況に鑑みてなされたものであり、運転者の脇見の危険度をより正確に認識できるようにするものである。
本発明の一側面の脇見検出装置は、運転者の視線の方向を検出する視線方向検出手段と、運転者の視線の方向が安定しているときの運転者の視線の方向に基づいて運転者の上下方向および左右方向の脇見を検出し、運転者が上下左右のいずれの方向に脇見をしているかに基づいて危険度を判定するとともに、上下方向の脇見を左右方向の脇見より危険度が高いと判定する脇見検出手段とを備える。
本発明の一側面の脇見検出装置においては、運転者の視線の方向が検出され、運転者の視線の方向が安定しているときの運転者の視線の方向に基づいて運転者の上下方向および左右方向の脇見が検出され、運転者が上下左右のいずれの方向に脇見をしているかに基づいて危険度が判定されるとともに、上下方向の脇見が左右方向の脇見より危険度が高いと判定される。
従って、運転者の脇見の危険度をより正確に認識することができる。
この視線方向検出手段、脇見検出手段は、例えば、CPU（Central Processing Unit）により構成される。
この脇見検出手段には、運転者の視線の方向が安定していない場合、危険度が不明であると判定させることができる。
この脇見検出手段には、さらに、運転者が脇見している角度に基づいて危険度を判定させることができる。
これにより、運転者の脇見の危険度をさらに正確に認識することができる。
危険度に応じた強さで運転者に注意を促す警告手段をさらに設けることができる。
これにより、不快感を感じさせずに適切に運転者に脇見に対する注意を促すことができる。
本発明の一側面の脇見検出方法またはプログラムは、運転者の視線の方向を検出する視線方向検出ステップと、運転者の視線の方向が安定しているときの運転者の視線の方向に基づいて運転者の上下方向および左右方向の脇見を検出し、運転者が上下左右のいずれの方向に脇見をしているかに基づいて危険度を判定するとともに、上下方向の脇見を左右方向の脇見より危険度が高いと判定する脇見検出ステップとを含む。
本発明の一側面の脇見検出方法またはプログラムにおいては、運転者の視線の方向が検出され、運転者の視線の方向が安定しているときの運転者の視線の方向に基づいて運転者の上下方向および左右方向の脇見が検出され、運転者が上下左右のいずれの方向に脇見をしているかに基づいて危険度が判定されるとともに、上下方向の脇見が左右方向の脇見より危険度が高いと判定される。
従って、運転者の脇見の危険度をより正確に認識することができる。
この視線方向検出ステップは、例えば、運転者の視線の方向をCPUにより検出する視線方向検出ステップにより構成され、この脇見検出ステップは、例えば、CPUにより、運転者の視線の方向が安定しているときの運転者の視線の方向に基づいて運転者の上下方向および左右方向の脇見を検出し、運転者が上下左右のいずれの方向に脇見をしているかに基づいて危険度を判定するとともに、上下方向の脇見を左右方向の脇見より危険度が高いと判定する脇見検出ステップにより構成される。
以上のように、本発明の一側面によれば、運転者の脇見の危険度をより正確に認識することができる。
以下、図を参照して、本発明の実施の形態について説明する。
図１は、本発明を適用した脇見検出システム１の一実施の形態を示すブロック図である。脇見検出システム１は、脇見検出システム１が設けられている車両（以下、自車と称する）を運転する運転者の脇見を検出し、運転者に脇見による危険を回避させるための動作を行う。脇見検出システム１は、撮像装置１１、および、脇見検出装置１２を含むように構成される。
撮像装置１１は、例えば、CCD（Charge Coupled Devices）撮像素子、CMOS（Complementary Metal Oxide Semiconductor）撮像素子、または、対数変換型撮像素子などを用いたカメラにより構成される。撮像装置１１は、自車を運転する運転者の顔をほぼ正面から撮影できる位置に設置され、所定の間隔で運転者を撮影し、撮影した画像（以下、顔画像と称する）を脇見検出装置１２の視線検出部２１に供給する。
脇見検出装置１２は、視線検出部２１、脇見検出部２２、および、車両制御部２３を含むように構成される。
視線検出部２１は、所定の手法を用いて、顔画像に基づいて、運転者の視線の方向を検出する。例えば、視線検出部２１は、自車の所定の正面方向を基準にして、運転者の視線が上下左右方向の何度の方向を向いているかを検出する。視線検出部２１は、検出した運転者の視線の方向を示す情報（例えば、上方向に２０度かつ右方向に３０度など）を脇見検出部２２に供給する。なお、視線検出部２１が視線の方向を検出する手法は、特定の手法に限定されるものではなく、より迅速、正確かつ簡単に視線の方向を検出できる手法が望ましい。
脇見検出部２２は、図２を参照して後述するように、視線検出部２１により検出された運転者の視線の方向に基づいて、運転者の上下方向および左右方向の脇見を検出する。また、脇見検出部２２は、図２を参照して後述するように、脇見検出部２２により検出された運転者の脇見の方向に基づいて、運転者の脇見の危険度を判定する。脇見検出部２２は、運転者の脇見の危険度を示す情報を車両制御部２３に供給する。
ところで、人間の視野は、左右方向に比べて上下方向が狭くなっている。従って、車両の進行方向に対して左右方向に視線を向けている場合より、上下方向に視線を向けている場合の方が、車両の進行方向が視野に入りにくく、危険度が高くなる。従って、脇見検出部２２は、図２を参照して後述するように、上下方向の脇見を左右方向の脇見より危険度が高いと判定する。
車両制御部２３は、例えば、ECU（Electronic Control Unit）などにより構成され、自車および自車に設けられている各種の車載装置の動作を制御することにより、危険度に応じた強さで運転者に脇見に対する注意を促す。
次に、図２のフローチャートを参照して、脇見検出システム１により実行される脇見検出処理について説明する。なお、この処理は、例えば、自車のイグニッションスイッチがオンの状態にされ、エンジンが始動されたとき、開始される。
ステップＳ１において、視線検出部２１は、運転者の視線方向の検出を開始する。具体的には、撮像装置１１は、運転者の顔画像の撮影、および、視線検出部２１への顔画像の供給を開始する。視線検出部２１は、顔画像に基づいて、運転者の視線の方向の検出を開始し、検出した視線方向を示す情報の脇見検出部２２への供給を開始する。
ステップＳ２において、脇見検出部２２は、運転者の視線方向の変化が所定の範囲内（例えば、５度以内）である状態が所定の時間（例えば、１秒間）継続したかを判定する。運転者の視線方向の変化が所定の範囲内である状態が所定の時間継続したと判定された場合、すなわち、運転者の視線の方向が安定している場合、処理はステップＳ３に進む。
ステップＳ３において、脇見検出部２２は、上下方向の視線方向が所定の範囲を超えているかを判定する。脇見検出部２２は、例えば、所定の時間前（例えば、１秒前）から現在までの間の運転者の上下方向の視線方向の平均値が所定の範囲（±２０度）内である場合、上下方向の視線方向が所定の範囲を超えていないと判定し、処理はステップＳ４に進む。
ステップＳ４において、脇見検出部２２は、左右方向の視線方向が所定の範囲を超えているかを判定する。脇見検出部２２は、例えば、所定の時間前（例えば、１秒前）から現在までの間の運転者の左右方向の視線方向の平均値が所定の範囲(例えば、±４０度)内である場合、左右方向の視線方向が所定の範囲を超えていないと判定し、処理はステップＳ５に進む。
ステップＳ５において、脇見検出部２２は、視線方向がルームミラーの方向であるかを判定する。脇見検出部２２は、例えば、所定の時間前（例えば、１秒前）から現在までの間の運転者の視線方向の平均値が、予め定められている自車のルームミラーの方向の範囲内でない場合、視線方向がルームミラーの方向でないと判定し、処理はステップＳ６に進む。
ステップＳ６において、脇見検出部２２は、危険度＝０であると判定する。すなわち、運転者の視線方向が上下左右とも所定の範囲内であり、かつ、運転者がルームミラーの方向を見ていない場合、運転者の脇見による危険性は無いと判定される。その後、処理はステップＳ１１に進む。
一方、ステップＳ５において、脇見検出部２２は、例えば、所定の時間前から現在までの間の運転者の視線方向の平均値が、予め定められている自車のルームミラーの方向の範囲内である場合、視線方向がルームミラーの方向であると判定し、処理はステップＳ７に進む。
ステップＳ７において、脇見検出部２２は、危険度＝小であると判定する。すなわち、運転者がルームミラーの方向を見ている場合、車両の前方へ視線を戻すのは容易であるため、運転者の脇見の危険度は小さいと判定される。その後、処理はステップＳ１１に進む。
一方、ステップＳ４において、脇見検出部２２は、例えば、所定の時間前から現在までの間の運転者の左右方向の視線方向の平均値が所定の範囲を超えている場合、左右方向の視線方向が所定の範囲を超えていると判定し、処理はステップＳ８に進む。
ステップＳ８において、脇見検出部２２は、危険度＝中であると判定する。すなわち、運転者が上下方向の脇見をしていないが、左右方向の脇見をしている場合、車両の周囲は見えているが、前方は見えていない可能性が高いため、運転者の脇見の危険度は中程度であると判定される。その後、処理はステップＳ１１に進む。
一方、ステップＳ３において、脇見検出部２２は、例えば、所定の時間前から現在までの間の運転者の上下方向の視線方向の平均値が所定の範囲を超えている場合、上下方向の視線方向が所定の範囲を超えていると判定し、処理はステップＳ９に進む。
ステップＳ９において、脇見検出部２２は、危険度＝大であると判定する。すなわち、運転者の左右方向の視線の方向に関わらず、上下方向の脇見をしている場合、車両の周囲がほとんど見えていない可能性が高いため、運転者の脇見の危険度は大きいと判定される。その後、処理はステップＳ１１に進む。
一方、ステップＳ２において、運転者の視線方向の変化が所定の範囲内である状態が所定の時間継続していないと判定された場合、すなわち、運転者の視線の方向が安定していない場合、処理はステップＳ１０に進む。
ステップＳ１０において、脇見検出部２２は、危険度＝不明であると判定する。すなわち、運転者の視線の方向が安定しておらず、運転者が脇見をしているか否かを判定できないため、運転者の脇見の危険度は不明であると判定される。その後、処理はステップＳ１１に進む。
ステップＳ１１において、脇見検出部２２は、危険度を出力する。すなわち、脇見検出部２２は、判定した脇見の危険度を示す情報を車両制御部２３に供給する。
ステップＳ１２において、車両制御部２３は、危険度に応じた強さで運転者に注意を促す。例えば、車両制御部２３は、危険度が小である場合、自車に設けられている図示せぬ音声出力装置（例えば、スピーカなど）に警告音またはアラームを鳴動させ、運転者に注意を促す。また、車両制御部２３は、危険度が中である場合、例えば、危険度が小である場合より大きな音量で警告音またはアラームを鳴動させ、危険度が小である場合より確実な方法で運転者に注意を促す。さらに、車両制御部２３は、危険度が大である場合、例えば、危険度が中である場合と同じ音量で同じ警告音を鳴動させるともに、図示せぬシートベルト巻き取り制御装置に運転席のシートベルトを巻き取り方向に引き込ませ、危険度が中である場合より確実な方法で運転者に注意を促す。なお、危険度が０または不明である場合には、特に処理は行われない。
ステップＳ１３において、脇見検出システム１は、処理を終了するかを判定する。例えば、自車のイグニッションスイッチがオンの状態のままである場合、脇見検出システム１は、処理を終了しないと判定し、処理はステップＳ２に戻り、ステップＳ１３において、処理を終了すると判定されるまで、ステップＳ２乃至Ｓ１３の処理が繰り返し実行される。
一方、ステップＳ１３において、例えば、自車のイグニッションスイッチがオフの状態にされ、エンジンが停止されたとき、脇見検出システム１は、処理を終了すると判定し、脇見検出処理は終了する。
このようにして、運転者の脇見の危険度が正確に認識され、危険度に応じて適切に運転者に注意を促すことができる。従って、安全性が向上するとともに、不適切な警告が行われ、運転者に不快感を与えることが防止される。
なお、以上の説明では、危険度を大中小の３段階に分ける例を示したが、より細かく、あるいは、より粗く危険度を分けるようにしてもよい。例えば、上下方向または左右方向の視線方向の角度が大きくなるほど高くなるように、危険度をより詳細に分けるようにしてもよい。また、例えば、自車の速度が速いほど高くなるように、危険度をより詳細に分けるようにしてもよい。
また、ルームミラー以外にも、サイドミラーなど、運転中に確認する必要がある器具の方向を向いた場合に、ルームミラーの方向を向いた場合と同程度の危険度であると判定するようにしてもよい。
さらに、脇見をしている方向と危険度を対応づけた表を作成して、その表を用いて危険度を判定するようにしてもよい。
また、危険度に応じて警告音の音量を変化させる以外にも、危険度に応じて警告音の音色やメッセージの内容を変化させるようにしてもよい。さらに、脇見が検出された場合、警告灯を点灯または点滅させるようして、危険度に応じて、警告灯の色、種類、点滅速度などを変化させるようにしてもよい。また、脇見が検出された場合、運転席やステアリングホイールに内蔵された振動体を振動させるようにして、危険度に応じて振動の強さを変化させるようにしてもよい。
さらに、脇見が検出された場合、危険度に応じて、自車のブレーキを作動させるようにして、自車を減速させるようにしてもよい。
また、運転者の顔の向きも検出するようにして、運転者の視線方向が検出できない場合に、運転者の顔の向きに基づいて、危険度を判定するようにしてもよい。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用した脇見検出システムの一実施の形態を示すブロック図である。 脇見検出処理を説明するためのフローチャートである。 コンピュータの構成の例を示すブロック図である。
符号の説明
１ 脇見検出システム
１１ 撮像装置
１２ 脇見検出装置
２１ 視線検出部
２２ 脇見検出部
２３ 車両制御部

Claims (6)

  1. 運転者の視線の方向を検出する視線方向検出手段と、
    前記運転者の視線の方向が安定しているときの前記運転者の視線の方向に基づいて前記運転者の上下方向および左右方向の脇見を検出し、前記運転者が上下左右のいずれの方向に脇見をしているかに基づいて危険度を判定するとともに、上下方向の脇見を左右方向の脇見より危険度が高いと判定する脇見検出手段と
    を含む脇見検出装置。
  2. 前記脇見検出手段は、前記運転者の視線の方向が安定していない場合、前記危険度が不明であると判定する
    請求項１に記載の脇見検出装置。
  3. 前記脇見検出手段は、さらに、前記運転者が脇見している角度に基づいて危険度を判定する
    請求項１に記載の脇見検出装置。
  4. 前記危険度に応じた強さで前記運転者に注意を促す警告手段を
    さらに含む請求項１に記載の脇見検出装置。
  5. 運転者の脇見を検出する脇見検出装置の脇見検出方法において、
    運転者の視線の方向を検出する視線方向検出ステップと、
    前記運転者の視線の方向が安定しているときの前記運転者の視線の方向に基づいて前記運転者の上下方向および左右方向の脇見を検出し、前記運転者が上下左右のいずれの方向に脇見をしているかに基づいて危険度を判定するとともに、上下方向の脇見を左右方向の脇見より危険度が高いと判定する脇見検出ステップと
    を含む脇見検出方法。
  6. 運転者の視線の方向を検出する視線方向検出ステップと、
    前記運転者の視線の方向が安定しているときの前記運転者の視線の方向に基づいて前記運転者の上下方向および左右方向の脇見を検出し、前記運転者が上下左右のいずれの方向に脇見をしているかに基づいて危険度を判定するとともに、上下方向の脇見を左右方向の脇見より危険度が高いと判定する脇見検出ステップと
    を含む処理をコンピュータに実行させるプログラム。
JP2007336505A 2007-12-27 2007-12-27 脇見検出装置および方法、並びに、プログラム Active JP5082834B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007336505A JP5082834B2 (ja) 2007-12-27 2007-12-27 脇見検出装置および方法、並びに、プログラム
US12/345,526 US20090167516A1 (en) 2007-12-27 2008-12-29 Look-away detecting device, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007336505A JP5082834B2 (ja) 2007-12-27 2007-12-27 脇見検出装置および方法、並びに、プログラム

Publications (2)

Publication Number Publication Date
JP2009157736A JP2009157736A (ja) 2009-07-16
JP5082834B2 true JP5082834B2 (ja) 2012-11-28

Family

ID=40797523

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007336505A Active JP5082834B2 (ja) 2007-12-27 2007-12-27 脇見検出装置および方法、並びに、プログラム

Country Status (2)

Country Link
US (1) US20090167516A1 (ja)
JP (1) JP5082834B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9135825B2 (en) * 2010-02-22 2015-09-15 Toyota Jidosha Kabushiki Kaisha Risk degree calculation device
US8599027B2 (en) * 2010-10-19 2013-12-03 Deere & Company Apparatus and method for alerting machine operator responsive to the gaze zone
JP2013159310A (ja) * 2012-02-08 2013-08-19 Denso Corp ヘッドライト制御装置
CN102789719A (zh) * 2012-07-09 2012-11-21 柳州桂通科技有限公司 道路驾驶技能考试过程驾驶人视线识别仪及实现方法
JP2014032817A (ja) 2012-08-02 2014-02-20 Sony Corp 表示装置およびその製造方法、並びに電子機器の製造方法
JP6638213B2 (ja) * 2015-04-28 2020-01-29 いすゞ自動車株式会社 車両の安全運転促進方法及び車両の安全運転促進装置
JP6565305B2 (ja) * 2015-04-28 2019-08-28 いすゞ自動車株式会社 車両の安全運転促進方法及び車両の安全運転促進装置
CN109409172B (zh) * 2017-08-18 2021-08-13 安徽三联交通应用技术股份有限公司 驾驶员视线检测方法、***、介质及设备
DE102018127756A1 (de) * 2017-11-15 2019-05-16 Omron Corporation Fahrerüberwachungsvorrichtung, verfahren und programm
JP6693489B2 (ja) * 2017-11-15 2020-05-13 オムロン株式会社 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
JP6683185B2 (ja) * 2017-11-15 2020-04-15 オムロン株式会社 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
JP6922686B2 (ja) 2017-11-20 2021-08-18 トヨタ自動車株式会社 操作装置
EP3882883A4 (en) 2018-11-13 2021-12-29 Sony Group Corporation Information processing device, information processing method, and program
US20220067411A1 (en) * 2018-12-27 2022-03-03 Nec Corporation Inattentiveness determination device, inattentiveness determination system, inattentiveness determination method, and storage medium for storing program
US11584378B2 (en) * 2020-10-27 2023-02-21 Arm Limited Vehicle-assist system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3153839B2 (ja) * 1993-08-23 2001-04-09 三菱電機株式会社 車両用予防安全装置
JP3855790B2 (ja) * 2002-02-12 2006-12-13 日産自動車株式会社 運転者の状態検出装置
JP4110902B2 (ja) * 2002-09-27 2008-07-02 日産自動車株式会社 脇見検出装置
JP3990619B2 (ja) * 2002-10-11 2007-10-17 株式会社東海理化電機製作所 顔の向き検知装置
US6859144B2 (en) * 2003-02-05 2005-02-22 Delphi Technologies, Inc. Vehicle situation alert system with eye gaze controlled alert signal generation
US6989754B2 (en) * 2003-06-02 2006-01-24 Delphi Technologies, Inc. Target awareness determination system and method
JP4926437B2 (ja) * 2005-09-28 2012-05-09 富士重工業株式会社 車両の運転支援装置
JP2007141223A (ja) * 2005-10-17 2007-06-07 Omron Corp 情報処理装置および方法、記録媒体、並びに、プログラム
US7423540B2 (en) * 2005-12-23 2008-09-09 Delphi Technologies, Inc. Method of detecting vehicle-operator state
JP4730191B2 (ja) * 2006-04-27 2011-07-20 トヨタ自動車株式会社 車両用運転支援装置、及び、脇見状態検出装置
JP4420002B2 (ja) * 2006-09-14 2010-02-24 トヨタ自動車株式会社 視線先推定装置
JP2008094221A (ja) * 2006-10-11 2008-04-24 Denso Corp 目状態検出装置および目状態検出装置の取り付け方法

Also Published As

Publication number Publication date
JP2009157736A (ja) 2009-07-16
US20090167516A1 (en) 2009-07-02

Similar Documents

Publication Publication Date Title
JP5082834B2 (ja) 脇見検出装置および方法、並びに、プログラム
JP7047763B2 (ja) 運転支援装置および方法、移動体、並びにプログラム
JP5958303B2 (ja) テキスト読み上げ装置
JP6462629B2 (ja) 運転支援装置及び運転支援プログラム
JP6825743B2 (ja) ドライブレコーダ、表示制御方法およびプログラム
JP6205640B2 (ja) 車両用警告装置
JP2007141223A (ja) 情報処理装置および方法、記録媒体、並びに、プログラム
JP2010217956A (ja) 情報処理装置及び方法、プログラム、並びに情報処理システム
JP6652090B2 (ja) 運転モード切替制御装置、システム、方法、およびプログラム
JP2009244959A (ja) 運転支援装置、運転支援方法
JP2005134971A (ja) 運転支援装置
JP2009015550A (ja) 脇見検出装置および方法、並びに、プログラム
JP2017182776A (ja) 車両周辺監視装置及びコンピュータプログラム
WO2018163470A1 (ja) 運転モード切替制御装置、システム、および方法
KR101241861B1 (ko) 차량 실내 카메라와 근접센서를 이용한 지능형 감시 시스템 및 방법
JP2008143381A (ja) 車両用警告システム、車両用警告システムの警告方法
JP4534789B2 (ja) 車両用警報装置
JP2023021123A (ja) 運転支援装置、運転状況情報取得システム、運転支援方法及びプログラム
US10719724B2 (en) Safety system for an automobile
JP2021125021A (ja) 死角情報取得装置、死角情報取得方法、車両及びプログラム
JP6811743B2 (ja) 安全運転支援装置
JP2010100088A (ja) 運転支援システム
JP2008071062A (ja) 運転支援装置および通知方法
JP6018840B2 (ja) ドライブレコーダ
JP2021174436A (ja) 制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120807

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120820

R150 Certificate of patent or registration of utility model

Ref document number: 5082834

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150914

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250