JPWO2008029802A1 - 走行情報提供装置 - Google Patents

走行情報提供装置 Download PDF

Info

Publication number
JPWO2008029802A1
JPWO2008029802A1 JP2008533162A JP2008533162A JPWO2008029802A1 JP WO2008029802 A1 JPWO2008029802 A1 JP WO2008029802A1 JP 2008533162 A JP2008533162 A JP 2008533162A JP 2008533162 A JP2008533162 A JP 2008533162A JP WO2008029802 A1 JPWO2008029802 A1 JP WO2008029802A1
Authority
JP
Japan
Prior art keywords
visibility
driver
information
unit
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008533162A
Other languages
English (en)
Other versions
JP5171629B2 (ja
Inventor
望月 誠
誠 望月
西村 洋文
洋文 西村
久保谷 寛行
寛行 久保谷
黒河 久
久 黒河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2008533162A priority Critical patent/JP5171629B2/ja
Publication of JPWO2008029802A1 publication Critical patent/JPWO2008029802A1/ja
Application granted granted Critical
Publication of JP5171629B2 publication Critical patent/JP5171629B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

運転者の安全確認対象物の認知を、運転者の注視による安全確認対象物の認知だけでなく、周辺視を含めて正確に判定して、走行車両の安全性を確保する走行情報提供装置。この装置では、周辺情報収集部(120)は、搭載される自車の周辺状況の周辺情報を取得する。対象物抽出部(130)は、周辺情報収集部(120)により取得した周辺情報から、自車の運転者が行う安全確認の対象となる安全確認対象物を抽出する。視線検出部(110)は、運転者の視線方向を検出する。抽出された安全確認対象物と、運転者の視線方向とが、視認度算出部(140)に入力され、視認度算出部は、運転者の視線方向から対象物までの距離又は角度に応じて、前記安全確認対象物に対する運転者の周辺視を考慮した視認度を算出する。この算出された前記視認度に基づいて、情報提示部(170)は、運転者に対して安全確認の提示を行う。

Description

本発明は、運転者の視線を利用した走行情報提供装置に関する。
従来、自車周辺の対象物の方向と、運転者の視線方向から、対象物に対する運転者の認知度合いを判定し、認知度が低い場合に警告情報を提示する装置が種々提案されている。
例えば、特許文献1に示す走行情報提供装置は、運転者の注視方向と、運転者が運転中に安全確認すべき注視必要方向とが一致する注視頻度を算出して、この注視頻度に基づいて運転者に報知すべき情報の報知レベルを決定している。
すなわち、この走行情報提供装置は、運転者が注視する注視点のみを基準として、運転者の注視点と、安全確認のために必要な対象物に対する注視点とを用いて対象物に対する認知の程度を判断している。なお、注視点とは両眼を用いて一物体を注視する際の点を示す。
これにより、運転者が視認していない状況に関しては確実に適切な情報を報知するとともに、運転者が視認していると判定された情報に関しては、認識程度の高さにあわせて報知レベルを下げ、煩わしさを低減している。
特許第2929927号公報
ところで、一般に、視覚情報の中で、視力検査で測定する視力に近い解像度で見ることが可能な部分は、注視点の周りおよそ2度程度であるといわれている。この解像度の高い部分で見ることを中心視という。また、中心視野周辺(注視点を中心に10度〜20度の範囲の視野)の対象物についても、瞬時に情報を受容して、大まかな物の形を把握することが可能であることが知られている。なお、このような中心視の中心である注視点周辺を見る(傍中心視)ことを、ここでは、周辺視という。この対象物を認知する際には、中心視だけでなく、この周辺視も重要な役割を果たすものと考えられている。
しかしながら、従来の走行情報提供装置においては、注視点と注視必要方向との一致頻度により、対象物を視認したかどうかを判定しており、人間の周辺視野による認知が考慮されていない。このため、中心視で認知していないが周辺視により認知している対象物に対しても認知していないと誤判定する可能性があり、その判定を受けて、煩雑な警報を発生させ、走行車両における安全性の確保を妨げる恐れがあるという問題がある。
また、従来の走行情報提供装置では、交差点右折時の横断歩道上に多数の歩行者が存在する場合等のように注視が必要な対象物が多数存在する場合において、周辺視で確認している対象物に対しても、注視頻度が少ない対象物として判定する可能性がある。よって、この判定を受けて、多数の煩雑な警報を発生させてしまい、走行車両の安全性の確保を妨げるという問題がある。
本発明の目的は、運転者の安全確認対象物の認知を、運転者の注視による安全確認対象物の認知だけでなく、周辺視を含めて正確に判定して、走行車両の安全性を確保する走行情報提供装置を提供することである。
本発明の走行情報提供装置は、搭載される自車の周辺状況の周辺情報を取得する周辺情報収集手段と、周辺情報収集手段により取得した前記周辺情報から、前記自車の運転者が行う安全確認の対象となる安全確認対象物を抽出する対象物抽出手段と、前記運転者の視線方向を検出する視線検出手段と、検出された前記安全確認対象物及び前記運転者の視線方向を用いて、運転者の視線方向から対象物までの距離又は角度に応じて、前記安全確認対象物に対する運転者の周辺視を考慮した視認度を算出する視認度算出手段と、算出された前記視認度に基づいて、安全確認の喚起又は車両の運転状態の制御を行う喚起・制御手段とを備える構成を採る。
本発明によれば、運転者の安全確認対象物の認知を、運転者の注視による安全確認対象物の認知だけでなく、周辺視を含めて正確に判定し、これを用いて走行車両の安全性を確保することができる。
本発明の実施の形態1における運転支援装置のブロック図 本発明の実施の形態1における運転支援装置において視認度算出に用いられる注視点からの角度と視認度との関係を示すテーブルの一例を示す図 本発明の実施の形態1における運転支援装置において視認度算出に用いられる注視点からの角度と視認度との関係を示すテーブルの他例を示す図 本発明の実施の形態1における運転支援装置の動作を示すフローチャート 本発明の実施の形態1に係る累積視認度算出方法の概念図 本発明の実施の形態1における運転支援装置において情報提示部により提示される情報提示の一例を示す図 本発明の実施の形態1における運転支援装置において情報提示部により提示される情報提示の一例を示す図 本発明の実施の形態2における運転支援装置のブロック図 本発明の実施の形態2における運転支援装置において周辺視野が加味された視認度を算出する際に用いられるテーブルの一例を示す図 本発明の実施の形態2における運転支援装置の動作を示すフローチャート 本発明の実施の形態3における運転支援装置のブロック図 本発明の実施の形態3における運転支援装置の動作を示すフローチャート 本発明の実施の形態3における運転支援装置において対象物分類部により対象物を分類する処理を模式的に示す図 本発明の実施の形態3における運転支援装置において対象物分類部により対象物を分類する処理を模式的に示す図 情報提示部において提示される提示情報の一例を示すものであり、累積視認度に応じた対象物群の提示の一例を示す概念図 情報提示部において提示される提示情報の別例を示すものであり、累積視認度に応じた対象物群の提示の別例を示す概念図 本発明の実施の形態2における運転支援装置の変形例を示すブロック図 本発明の実施の形態2における運転支援装置の変形例の動作を示すフローチャート
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本実施の形態では、走行情報提供装置を、運転手に、運転者の視認状態を走行情報として提供することで運転を支援する運転支援装置として説明する。
(実施の形態1)
図1は、本発明の実施の形態1における運転支援装置(走行情報提供装置)100の構成を示すブロック図である。
図1に示す運転支援装置100は、ここでは車両に搭載されるものであり、視線検出部110と、周辺情報収集部120と、対象物抽出部130と、視認度算出部140と、累積視認度算出部150と、提示情報処理部160と、情報提示部170とを有する。
視線検出部110は、視線情報取得部102により取得した運転者の視線情報を用いて運転者の視線方向(あるいは運転者の見ている点である注視点)を検出して、視認度算出部140に出力する。
視線情報取得部102は、運転者が実際に見ている方向を取得するものであり、運転者の視線方向を撮像するために車両内部に設置され、運転者の眼球画像を取得するアイカメラなどが適用される。この場合、視野検出部110では、アイカメラにより撮影された眼球画像を解析して、装着した被験者の眼球運動・視線を検出できるともに注視点を検出する。
なお、視線情報取得部102は、アイカメラとともに、運転者の顔面方向データを取得する指向性赤外線センサを用いてもよく、この場合、視野検出部110は、アイカメラからの顔面基準の視線方向データを指向性赤外線センサ顔面方向データの座標系に変換して合成して、運転者が実際に見ている視線方向(中心視方向)を検出すると共に、注視点を検出する。
周辺情報収集部120は、自車周辺の情報を収集するものであり、例えば、車両の周辺画像を撮像する車載カメラ、車両周囲の存在物の方向、距離及び相対速度などを検出する指向性を有する超音波センサ、車両の走行状態を検出するセンサなどにより構成され、これら収集した自車周辺の情報を周辺情報として収集し、対象物抽出部130に出力する。なお、この周辺情報収集部120は、自車周辺の情報を収集するものであれば、どのように構成されてもよい。
対象物抽出部130は、周辺情報収集部120から入力される周辺情報から、対向車両などの他車両、歩行者、二輪などの移動体や、標識・標示、信号、横断歩道、一時停止線などの交通環境対象物等といった、車両を走行中に安全確認すべき対象となる対象物を抽出して、視認度算出部140に出力する。
具体的に、対象物抽出部130は、交通環境対象物などの中心位置の相対距離、相対角度を、画像処理などにより抽出する。なお、対象物の相対角度は、対象物の中心座標などの基準点と、予め設定される自車の中心または運転座席の位置などの基準点から算出するものとする。
視認度算出部140は、視線検出部110及び対象物抽出部130から入力される情報を用いて、視線・注視点からそれぞれの対象物までの距離あるいは角度に応じて、ある一時点における対象物ごとの運転者の認識度合いを示す視認度を算出し、累積視認度算出部150に出力する。
視認度算出部140で算出される視認度は、入力される視線及び注視点に加え、視線及び注視点から算出される周辺視野も視認度を決定する基準として含まれる。周辺視野とは、瞬時に情報受容が可能な視野であり、注視点を中心に略10〜20度の範囲をいう。
言い換えれば、視認度は、注視点及び注視点近傍の視覚範囲である周辺視野を含む視野を用いた視認度合いである。
視認度算出部140は、メモリ142を備えており、このメモリ142に格納された注視点と視認度との関係を示すテーブルと、入力される視線及び注視点とで、視線及び注視点の対象物に対する視認度を算出している。
図2は、本発明の実施の形態1における運転支援装置において周辺視野が加味された視認度を算出する際に用いられるテーブルの一例を示し、視認度算出部140がメモリ142に備える注視点からの角度と視認度との関係を示すテーブルの一例を示す図である。
なお、図2において、横軸は注視点からの角度、縦軸は視認度合いを表し、グラフG1は、注視点からの角度に応じて、運転者の視認度がどのように変化するかを、連続的な値の変化として示している。このグラフG1を以下では視認度曲線G1という。
例えば、対象物Aに対する視線及び注視点が入力されると、視認度算出部140は、対象物Aの注視点からの角度が角度θであった場合、メモリ142の視認度曲線G1を用いると、対象物Aの視認度として視認度Rが算出される。
図3は、本発明の実施の形態1における運転支援装置において周辺視野が加味された視認度を算出する際に用いられるテーブルの別例を示し、視認度算出部140がメモリ142に備える注視点からの角度と視認度との関係を示すテーブルの別例を示す図である。
図3に示すテーブルでは、注視点からの角度に対して、所定範囲毎に視認度を設定している。図3では、注視点からの角度θが、θ≦θを満たす対象物は視認度1.0を与え、θ≦θ≦θの場合は視認度0.5を、θ≦θの場合は視認可能な視野の範囲外として、視認度は0としている。
これにより、視認度算出部140において、注視点から離れた周辺視野における認知も加味された視認度が算出される。
よって視線度算出部140は、対象物情報及び視線情報が入力されると、その時点における全ての対象物に対して、運転者の視認度を算出する。
累積視認度算出部150は、視認度算出部140から入力される視認度を、対象物ごとに累積して累積視認度を算出し、対象物毎の累積値として提示情報処理部160に出力する。
提示情報処理部160は、入力される対象物毎の累積値に応じて出力する提示情報を判断、変更・設定し、提示情報を情報提示部170に出力する。
提示情報処理部160は、計時部としてのタイマ162を備え、このタイマ162を用いて所定時間経過したと判定した際に、累積視認度算出部150から入力される累積視認度に対応する情報の設定、提示の処理を行う。
また提示情報処理部160は、所定時間経過したと判定した際に、入力される累積視認度を用いて、情報の提示を行なうか否かを判定する。具体的には、情報提示部170で提示されるタイミングを満たしているか否かを判定する。
また、提示情報処理部160は、視認判定部164により累積視認度の対象物に対する運転者の認知度合いを判定(視認判定)する。例えば、予め設定された基準値を用いて、累積視認度が、基準値(例えば1)以上であれば、当該累積視認度の対象物に対しては、運転者は認知していると判断し、それ未満であれば、運転者は認知していないものと判断する。
また、提示情報処理部160は、入力される累積視認度に対応して情報の提示を行う場合に、提示情報設定部166により、当該累積視認度に対応する提示情報を設定・変更し、設定・変更した提示情報を情報提示部170に出力する。つまり、提示情報処理部160は、提示情報設定部166において、安全確認対象物毎に算出された累積視認度に応じて、安全確認の喚起対象を変更する機能を有する。
なお、提示情報処理部160において設定される提示情報は、情報提示部170において提示される形態に対応するものとする。例えば、情報提示部170が、表示パネルなどを用いた表示装置である場合は、当該表示パネルに表示される表示画像として設定され、また、スピーカなどの発音装置であれば、提示情報を音声データとして設定される。
情報提示部170は、提示情報処理部160において設定された情報の提示を行い、この提示によって、運転支援装置が搭載される車両の走行に関する安全確認を喚起する。
ここでは、情報提示部170は、車両に搭載される表示パネル(表示部)を備え、車両の運転者に安全確認対象となる対象物の見落としを確認させるための表示を行うものとする。なお、この情報提示部170は、警告音、警告音声などを発して運転者に報知する発音装置により構成されてもよい。また、対向者、歩行者などに運転支援装置100が搭載される車両の運転者の見落としを報知したりする報知装置としてもよい。
これら提示情報処理部160と情報提示部170とにより、算出された視認度または累積視認度に基づいて、運転者に対して安全確認の喚起又は車両(ここでは、自車両)の運転状態の制御を行う喚起・制御部180を構成する。なお、車両の運転状態の制御を行う場合、喚起・制御部180は、累積視認度に対応して行われる視認判定に応じて、例えば、車両のブレーキ、ハンドル、アクセルなどを制御し、これにより走行車両の安全性を確保する。
喚起・制御部180が、車両の運転状態の制御を行う場合、提示情報処理部160では、提示情報設定部166は、安全確認対象物毎に算出された累積視認度に応じて、車両の運転状態の制御対象(ブレーキ、ハンドル、アクセル等)を設定したり、変更したりする。この設定・変更を用いて、喚起・制御部180は、制御対象に対して制御を行う。なお、制御対象となる車両は、ここでは自車両としたが、運転支援装置100が搭載されていない車両としてもよい。
次に、本発明の実施の形態1における運転支援装置における動作について図4を用いて説明する。図4は、本発明の実施の形態1における運転支援装置の動作を示すフローチャートである。
図4に示すように、ステップS11では、運転支援装置100を搭載した車両において、周辺情報収集部120が、走行中の自車周辺(周辺状況)の情報として周辺映像(周辺情報)をカメラなどにより収集するともに、視線検出部110が、視線情報取得部102により取得した運転者の視線情報を用いて、運転者の視線方向(及び注視点)の検出を行いステップS12に移行する。なお、この周辺状況取得と視線方向の検出は略同じタイミングで行われる。
ステップS12では、対象物抽出部130は、取得した周辺情報(周辺映像)から他車両、歩行者、二輪などの移動体や、標識・標示、信号、横断歩道、一時停止線等といった交通環境対象物等の中心位置の相対距離、相対角度を、画像処理などにより抽出してステップS13に移行する。
ステップS13では、視認度算出部140は、対象物情報及び視線情報が入力されると、その時点における全ての対象物に対して、運転者の視認度を算出してステップS14に移行する。
詳細に、ステップS13では、視認度算出部140は、入力される視線方向の角度及び、各対象物の自車に対する相対角度から、視線と対象物の角度差分(あるいは、注視点からの画像上での距離)から、ある一時点における対象物毎の視認度を算出する。
ステップS14では、累積視認度算出部150は、入力される一時点における対象物毎の視認度を、所定期間、同一対象物毎に累積して、対象物毎の累積視認度を算出して、ステップS15に移行する。
ステップS15では、提示情報処理部160は、所定時間経過したか否かを判定し、所定時間経過していれば、ステップS16に移行し、経過していなければ、ステップS17に移行して、車両の運転が終了していなければステップS11に戻る。なお、ステップS15において判定される所定時間とは、算出される視認度を累積するために予め設定された時間である。
また、ステップS17における車両運転の終了の判定は、車両のエンジンがストップしているか否か等によって行われ、エンジンが停止していれば、処理は終了する。
このように視認度算出部140及び累積視認度算出部150は、提示情報処理部160において、所定時間経過したと判定されるまで、所定時間の間、視認度の算出及び累積視認度の算出を継続する。
ここで、所定時間経過したと判定されるまで、つまり所定時間経過するまでの視認度算出部140における視認度算出処理及び累積視認度算出部150における累積視認度算出処理について説明する。
図5は運転中の注視点の変化を模式的に示す図であり、運転中の注視点の変化における視認度および、累積視認度を合わせて運転者が見る場面の一例を示した図である。
なお、ここでは、便宜上、累積視認度を算出する際に用いられる視認度は、図3に示す視認度曲線を用いて視認度算出部140によって算出されるものとする。つまり、図3に示すように、注視点からの角度θがθ≦θを満たす対象物は視認度を1.0、θ≦θ≦θの場合は視認度を0.5、θ≦θの場合は視認度を0とする。
図5A、図5C、図5E、図5Gで順に示す場面は、所定期間の間、交差点31を走行しようしている車両の運転者が見る場面の一例、つまり所定期間の間における注視点の変化の一例を示している。また、図5において、運転者の注視点21、θ≦θを満たす範囲を中心視野22、θ≦θ≦θを満たす範囲を周辺視野23とし、中心視野の視認度を1.0、周辺視野の視認度を0.5とする。
図5Aに示す場面1においては、視認度算出部140により対向車(対象物)32の視認度は0.5、歩行者(対象物)33の視認度は0として算出され、累積視認度算出部150では、算出された視認度の対象となる対象物のそれぞれの累積視認度が算出される。
この図5Aにおいて算出された視認度及び累積視認度は、図5Bに示すように、算出された対向車32の視認度0.5及び歩行者33の視認度0.0をメモリ142に記憶する。なお、このときにはまだ、それぞれの対象物の視認度は累積されていないため、このときの対向車及び歩行者の累積視認度は、対向車0.5、歩行者0.0となる。
その後、注視点21は、図5Aで示す状態から、図5Cで示す状態に変化する。ここでは、注視点21が対向車32と重なっており、運転者は対向車32を注視している。すると、これに伴い、累積視認度算出部150に、対向車32の視認度が入力され、先(図5Aの状態)における対象物毎に、同一の対象物の視認度に加算して、それぞれの累積視認度を算出する。図5Cの状態では、図5Dに示すように、視認度算出部140は、対向車32の視認度1.0、歩行者33の視認度0.0を算出し、累積視認度算出部150では、対象物毎に視認度を累積して、対向車32の視認度1.5、歩行者33の視認度0.0を算出している。
次いで、注視点21は、図5Cに示す状態から図5Eに示す状態に変化する。図5Eでは、注視点21は、ここでの例としてあげている対向車32及び歩行者33のいずれにも注視点は向けられておらず、周辺視もされていない。
よって、図5Eの状態では、図5Fに示すように、視認度算出部140は、対向車32の視認度0.0、歩行者33の視認度0.0を算出して、累積視認度算出部150では、対象物毎に視認度を累積して、対向車32の視認度1.5、歩行者33の視認度0.0を算出している。すなわち、ここでは、対向車32及び歩行者33の双方にも視認度が算出されていないため、図5Dに示す累積視認度と同じ数値(対向車の累積視認度1.5、歩行者の累積視認度0.0)となる。
その後、注視点21は、図5Eで示す状態から、図5Gで示す状態に変化する。ここでは、注視点21は、歩行者33の近傍に位置し、周辺視野23内に歩行者33が存在しているため、視認度算出部140は、対向車32の視認度0.0、歩行者33の視認度0.5を算出(図5H参照)し、累積視認度算出部150は、先(図5F)の状態における対象物毎に、同一の対象物の視認度に加算して、それぞれの路移籍視認度を算出する。図5Hに示すように、累積視認度算出部150は、対象物毎に視認度を累積、つまり、対向車0.0、歩行者0.5を先までの累積視認度1.5、0,0に累積して、対向車32の視認度1.5、歩行者33の視認度0.5を算出している。
ステップS16では、提示情報処理部160は、所定時間経過したと判定された際に入力される累積視認度に応じた情報の提示を行なうか否かを判定し、情報提示を行なわない場合にはステップS17に移行し、行う場合にはステップS18に移行する。ステップS17に移行して、車両の運転が終了していなければ、ステップS11に戻り累積視認度算出処理までを繰り返す。なお、このステップS16での判定は、運転者の視認度合いを情報提示部170により提示するタイミングであるか否かを意味する。
ステップS18では、提示情報処理部160は、累積視認度の対象物に対する運転者の視認(認知)度合いを判定してステップS19に移行する。
ステップS19では、提示情報処理部160は、対象物の認知度合いを反映させた、累積視認度に応じて提示情報を設定し、ステップS20に移行する。
ステップS20では、情報提示部170は、提示情報処理部160において設定された提示情報を運転者へ提示してステップS17に移行する。
本実施の形態では、情報提示部170として表示パネルを用いて車両の運転者に情報を提供するものとしており、提示情報処理部160では、提示情報を、表示パネルに対象物毎の累積視認度に対応して設定して表示されるものとする。ここでは、提示情報は、表示パネルに、安全確認の対象となる対象物に色を重畳して表示されて、当該対象物の認識度合いを示すものとする。これを受けて情報提示部170は、表示パネルに表示される視認度合いを示す提示情報に対して、累積視認度に応じて提示色を変更している。
図6及び図7は、本発明の実施の形態1における運転支援装置において情報提示部170により提示される情報提示の一例を示す図である。
なお、これら図6及び図7で示される提示情報は、情報提示の対象となる対象物に対する運転者の認知、不認知で異なる色で設定されるものとする。なお、ここでの、対象物に対する運転者の認知、不認知は、提示情報処理部160において、対象物毎の累積視認度が所定の基準値を超えているか否かで判定される。つまり、提示情報処理部160において、累積視認度が所定の基準値を超えている場合には、運転者は対象物を認知しているものと判定され、超えていない場合に、認知していないものと判定される。
図6に示すように、情報提示部170は、横断歩道41上の歩行者(対象物)42〜44については、運転者が認知していると判断して、薄い青色などの注意喚起の少ない色で対象物を強調表示する。なお、このように累積視認度が所定の基準値を超えている対象物であって運転者が認知しているものと判断された対象物については、情報の提示を行わなくてもよい。図6において、情報提示部170は、累積視認度が所定の基準値を満たしていない歩行者(対象物)45については、赤などの運転者の注意を引きやすい色で対象物を強調表示する。
これにより、運転支援装置100では、運転者の視認度が低い対象物ほど、強調して表示して、運転者へ視認させ、運転者に対する安全確認を促すことができる。
また、提示情報処理部160において、累積視認度の数値を、そのまま運転者の認識度合いと見なし、視認度の基準値を設けない場合、視認度にあわせた色の濃淡によって表示しても良い。なお、図7では、情報提示部170は、交差点36において、信号(対象物)48及び対向車(対象物)49は、累積視認度が高いため、青色で表示しており、横断歩道47を渡る累積視認度が低い歩行者(対象物)46を強調して表示している。
尚、運転中は、周辺状況取得から情報提示までのフローチャートに示す処理は、任意のタイミングで連続的に実行されている。
本実施の形態によれば、車両走行中に運転者が、安全確認の必要な対象物を認知しているか否かを、運転者の注視点を含む中心視野に加えて、注視点周辺の範囲の周辺視野も含めた視野によって判定している。これにより、運転者が見る対象物の認知、不認知の判定を正確に行うことができる。
また、安全確認の必要な対象物を認知していない場合に、その旨の情報を運転者に提示することによって、運転者は、自身が見落としている対象物に対する安全確認を喚起されて、当該対象物に対する確認を行うことができ、車両走行中において、歩行者などとの衝突を防ぎ、車両の安全性を向上させることができる。
(実施の形態2)
図8は、本発明の実施の形態2における運転支援装置200のブロック図である。なお、この実施の形態2における運転支援装置200は、図1に示す実施の形態1に対応する運転支援装置100と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
この運転支援装置200では、運転支援装置100と比較して異なる点は、視認度算出部240において算出される視認度であり、運転支援装置200において算出される視認度には、運転者毎に異なる要素が加味されることである。
つまり、運転支援装置200では、対象物に対して算出する視認度に、運転者の視覚特性に影響を与える各要因を加味して算出するものである。
視覚特性に影響を与える要因として、運転者の年齢等の静的な運転者属性情報があり、例えば、年齢が高ければ高いほど、例えば、運転者の注視点を中心として視認できる範囲、ここでは周辺視野は狭くなることが考えられる。
また、同様に、運転者の視覚特性に影響を与える要因として、運転者の覚醒度合い、自車周辺の注意を払うべき対象物の数、天気・明るさなどが考えられる。
具体的には、覚醒時の運転時には、自車前方の広い範囲を視線が移動するのに対し、漫然運転などの覚醒度の低下時には、視線の移動範囲が中心付近に集中することが、これまでの研究で明らかになっている(参考文献:”Detection System of Gaze Direction for Excessive Concentration through Cellular Phone Use and Inattention” Shinji Mita,2002年ITS世界会議論文)。そこで、視線移動により覚醒度合いを推定し、覚醒度に応じて視認度を変更することで、運転者状態に応じた視認度の算出が可能となる。
また、車両運転時、自車周辺の注意を払うべき対象物数が多くなると、周辺視できる範囲も狭くなることがこれまでの研究で明らかになっている(参考文献:「ドライバの視覚的注意特性」自動車技術、Vol.58,No.12,2004)。そこで、自車周辺の対象物の数に応じて視認度を変更することで、環境情報に応じた視認度の算出が可能となる。さらに、運転者の視覚特性に影響を与える可能性のある、渋滞度合い、天気、明るさなどの環境情報を加味して、視認度を変更してもよい。
このようにして、運転者の覚醒度合い、自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境に応じて視認度を変更することで、運転者状態、環境情報に応じた視認度の算出が可能となる。
図8において、運転支援装置200は、図1における構成要素に加え、運転者情報操作入力部210と、運転者状態検出部220と、環境情報収集部230とを有する。
運転者情報操作入力部210は、運転者の年齢、性別、運転歴、違反歴などの運転者に関わる静的な情報である運転者属性情報が操作により入力されるものであり、入力された運転者属性情報を視認度算出部240に出力する。これら静的な運転者属性情報は、運転者の視野特性を設定、変更するパラメータとなる。
運転者状態検出部220は、運転者の視野特性に影響を与える運転者の動的な属性情報を検出するものであり、例えば、動的な属性情報としての運転者の覚醒度合いを検出して視認度算出部240に出力する。具体的には、運転者状態検出部220は、アイカメラ等、運転者の視線移動を検出するものが挙げられる。この動的な運転者属性情報は、運転者の視野特性を設定、変更するパラメータとなる。
環境情報収集部230は、運転者の静的、動的な属性以外に運転者の視野特性に影響を与える環境情報、例えば、自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境を収集して取得し、視認度算出部240に出力する。この環境情報収集部230は、無線通信などで各情報が入力される構成としても良いし、自車周辺の環境状況を撮像するカメラなどを用いて情報を収集する構成としても良い。これら運転者が運転する車両周辺の環境状況は、運転中の視野特性を設定、変更するパラメータとなる。
視認度算出部240は、図1に示す視認度算出部140と同様に、視線検出部110から運転者の視線方向、注視点の情報が入力され、対象物抽出部130から安全確認に必要となる対象物の情報が入力される。
視認度算出部240には、更に、運転者の属性情報、運転者の覚醒度合い等の運転者における動的な情報、自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境情報が入力される。
これら入力される情報を用いて、視認度算出部240は、運転者の視線・注視点からそれぞれの対象物までの距離あるいは角度に応じて、ある一時点における対象物ごとの運転者の認識度合いを示す視認度を算出し、累積視認度算出部150に出力する。
換言すれば、視認度算出部240は、視線方向の角度、対象物の自車に対する相対角度に加えて、運転者情報、運転者状態、交通環境を用いて、対象物ごとの視認度を算出して、累積視認度算出部150に出力する。
視認度算出部240で算出される視認度は、実施の形態1と同様に、入力される視線及び注視点に加え、視線及び注視点から算出される周辺視野も視認度を決定する基準として含まれる。周辺視野は、上述したように瞬時に情報受容が可能な視野であり、注視点を中心に略10〜20度の範囲とする。
具体的に、視認度算出部240は、メモリ242を備えており、このメモリ242に格納された注視点と視認度との関係を示すテーブルと、入力される視線及び注視点とで、視線及び注視点の対象物に対する視認度を算出している。
視認度算出部240が、メモリ242に格納するテーブルは、運転者情報操作入力部210と、運転者状態検出部220と、環境情報収集部230とから入力される情報に基づいて視認度を変更可能とするものである。その一例として、視認度を、年齢により変更して設定する処理について図9を用いて説明する。
図9は、本発明の実施の形態2における運転支援装置200において周辺視野が加味された視認度を算出する際に用いられるテーブルの一例を示す。図9は、視認度算出部240がメモリ242に備える運転者の年齢に応じたグラフ(視認度曲線)G2〜G4を示し、注視点からの角度と視認度との関係を示すテーブルの一例を示す図である。なお、図9において、0は注視点、横軸は注視点0からの角度、縦軸は視認度を表し、グラフ(視認度曲線)G2〜G4は、それぞれ注視点からの角度に応じて、運転者の視認度がどのように変化するかを示している。
図9では、視認度曲線G2は20代のドライバの視認度曲線、視認度曲線G3は40代のドライバの視認度曲線、視認曲線G4は60代のドライバの視認度曲線と定義する。このように年齢に応じた視認度曲線G2〜G4を用いると、対象物Aの注視点からの角度θで運転者年齢が40歳の場合、対象物Aに対する視認度はRと算出される。同様に、対象物Aの注視点からの角度θで運転者年齢が20歳の場合、対象物Aに対する視認度はRと算出され、同様の条件において算出される視認度は、40歳のそれより高くなる。
このようにして、視認度算出部240は、年齢に応じた対象物の視認特性を加味した上で、視認度の算出を行う。これにより、実際に運転する運転者及び運転者の運転状況に適格に対応して、運転者の視認度を正確に算出できる。
また、同様に、運転者状態検出部220から入力される、動的な属性情報としての運転者の覚醒度合いを加味する場合、覚醒度合いが低い場合には、覚醒度合いが通常の場合よりも勾配が急な視認度曲線を用いる。
例えば、図9のテーブルを用いる場合、運転者が20代の年齢の年齢である静的属性情報が入力された場合でも、視認度算出部240は、視認度曲線G2を用いずに、覚醒の低さ度合いに応じて、視認度曲線G2よりも勾配が急な視認度曲線G3、G4を用いて視認度を算出するような構成にする。
また、同様に、環境情報収集部230から、自車周辺の注意を払うべき情報が入力された場合、例えば、交通環境情報として自車周辺の車両数が多く、渋滞が緩やか、天気として曇りや雨で周辺が所定の明るさ(昼間)よりも暗いことを示す情報が入力された場合、通常時に用いられる視認度曲線よりも勾配が急な視認度曲線を用いる等する。
具体的には、実写周辺の注意を払うべき対象物の数としての自車周辺の車両数が10台以上や5台以上の場合、図9を適用すれば、運転者が20代の年齢であることを示す静的な運転者属性情報が入力された場合でも、視認度算出部240は、視認度曲線G2を用いずに、視認度曲線G2よりも勾配が急な視認度曲線G3、G4を用いて視認度を算出するような構成となる。
ここで、図10を用いて運転支援装置200の動作について説明する。
図10は、本発明の実施の形態2における運転支援装置の動作を示すフローチャートである。
図10に示すように、運転支援装置200を搭載した車両では、先ず、ステップS21において、運転者情報操作入力部210は、運転開始時あるいはシートの着席時に、運転者の操作によって、運転者の年齢、性別、運転歴、違反歴等の静的な運転者情報である運転者属性情報である運転者情報が入力され、これらの運転者属性情報を取得してステップS22に移行する。
ステップS22では、周辺状況収集部120が、走行中の自車周辺の情報として周辺映像(周辺情報)をカメラなどにより収集するとともに、視線検出部110が、視線情報取得部102により取得した運転者の視線情報を用いて、運転者の視線方向(及び注視点)の検出を行いステップS23に移行する。なお、この周辺状況取得と視線方向の検出は略同じタイミングで行われる。
ステップS23では、対象物抽出部130は、取得した周辺情報(周辺映像)から他車両、歩行者、二輪などの移動体や、標識・標示、信号、横断歩道、一時停止線等といった交通環境対象物等の中心位置の相対距離、相対角度を、画像処理などにより抽出してステップS24に移行する。
ステップS24では、運転者状態検出部220により運転者状態(ここでは運転者の覚醒度合い)を取得するとともに、環境情報収集部230により自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境を取得して、ステップS25に移行する。
ステップS25では、視認度算出部240は、対象物情報、視線情報、運転者状態(覚醒度合い)情報及び交通環境情報が入力されると、その時点における全ての対象物に対して、運転者の視認度を算出してステップS26に移行する。
詳細に、ステップS25では、視認度算出部240は、入力される視線方向の角度、対象物の自車に対する相対角度に加えて、運転者情報、運転者状態、交通環境を用いて、視線と対象物の角度差分(あるいは、注視点からの画像上での距離)から、ある一時点における対象物毎の視認度を算出する。
ステップS26では、累積視認度算出部150は、入力される一時点における対象物毎の視認度を、所定期間中、同一対象物毎に累積して、対象物毎の累積視認度を算出してステップS27に移行する。
ステップS27では、提示情報処理部160は、所定時間経過したか否かを判定し、所定時間経過していれば、ステップS28に移行し、経過していなければ、ステップS29に移行する。ステップS29において車両の運転が終了していなければステップS22に戻る。なお、ステップS27において判定される所定時間とは、算出される視認度を累積するために予め設定された時間である。
つまり、視認度算出部240及び累積視認度算出部150は、提示情報処理部160において、所定時間経過したと判定されるまで、所定時間の間、視認度の算出及び累積視認度の算出を継続する。なお、所定時間経過したと判定されるまで、つまり所定時間経過するまでの、視認度算出部240及び累積視認度算出部150の処理は、上述の視認度算出部140における視認度算出処理及び累積視認度算出部150における累積視認度算出処理と同様であるため説明は省略する。
ステップS28では、提示情報処理部160は、所定時間経過したと判定された後、入力される安全確認すべき対象物毎の累積視認度(累積値)に応じた情報の提示を行なうか否かを判定する。
ステップS28において、情報提示を行なわない場合にはステップS29に移行し、行う場合にはステップS30に移行する。なお、ステップS29に移行して、車両の運転が終了していなければ、運転支援装置200は、ステップS22に戻り累積視認度算出処理までを繰り返す。
ステップS30では、情報提示制御部160は、累積視認度の対象物に対する運転者の視認(認知)度合いを判定する。
このステップS30では、例えば、予め設定された基準値を用いて、累積視認度が、基準値(例えば1)以上で有れば、当該累積視認度の対象物に対しては、運転者は認知(視認)していると判断し、それ未満であれば、運転者は認知(視認)していないものと判断する。このような運転者の視認判定が行われた後、ステップS31へ移行する。
ステップS31では、情報提供制御部160は、対象物の認知度合いを反映させた、累積視認度に応じて提示情報を設定し、ステップS32に移行する。
ステップS32では、情報提示部170は、提示情報処理部160において設定された提示情報を運転者へ提示してステップS29に移行する。尚、運転中は、周辺状況取得から、情報提示までの処理は、任意のタイミングで連続的に実行されているものとする。
本運転支援装置200では、静的な運転者属性情報、運転者状態情報(動的な運転者属性情報)である運転者の覚醒度合い、交通環境(周辺環境)情報等の、運転者の視覚特性に影響を及ぼす各要因を加味して、対象物に対する視認度を算出している。
これにより、運転者に提供される情報として、運転者の安全確認を必要とする対象物の見落としなどを、運転者の実際の運転状態も加味して、より正確に提供して、安全確認を喚起することができる。
(実施の形態2の変形例)
図17は、本発明の実施の形態2における運転支援装置200aの変形例を示すブロック図である。なお、この実施の形態2における運転支援装置200aは、図8に示す実施の形態2に対応する運転支援装置200の構成に注視度算出部250を加えたものである。運転支援装置200aの他の構成要素は、運転支援装置200のものと同様のものであり、同様の機能を有する。したがって、同一の構成要素には同一の符号を付し、その説明を省略する。
この運転支援装置200aでは、運転支援装置100と比較して異なる点は、視認度算出部240において算出される視認度であり、運転支援装置200aにおいて算出される視認度には、運転者毎に異なる要素が加味されることである。
つまり、運転支援装置200では、対象物に対して算出する視認度に、運転者の視覚特性に影響を与える各要因を加味して算出するものである。
視覚特性に影響を与える要因として、運転者の年齢等の静的な運転者属性情報があり、例えば、年齢が高ければ高いほど、例えば、運転者の注視点を中心として視認できる範囲、ここでは周辺視野は狭くなることが考えられる。
また、同様に、運転者の視覚特性に影響を与える要因として、運転者の覚醒度合いや対象物への注視度合い、自車周辺の注意を払うべき対象物の数、天気・明るさなどが考えられる。
具体的には、覚醒時の運転時には、自車前方の広い範囲を視線が移動するのに対し、漫然運転などの覚醒度の低下時には、視線の移動範囲が中心付近に集中することが、これまでの研究で明らかになっている(参考文献:”Detection System of Gaze Direction for Excessive Concentration through Cellular Phone Use and Inattention” Shinji Mita,2002年ITS世界会議論文)。そこで、視線移動により覚醒度合いを推定し、覚醒度に応じて視認度を変更することで、運転者状態に応じた視認度の算出が可能となる。
また、車両運転時、自車周辺の注意を払うべき対象物数が多くなると、周辺視できる範囲も狭くなることがこれまでの研究で明らかになっている(参考文献:「ドライバの視覚的注意特性」自動車技術、Vol.58,No.12,2004)。そこで、自車周辺の対象物の数に応じて視認度を変更することで、環境情報に応じた視認度の算出が可能となる。さらに、運転者の視覚特性に影響を与える可能性のある、渋滞度合い、天気、明るさなどの環境情報を加味して、視認度を変更してもよい。
また、道路脇の歩行者に気を取られて先行車両に気づくのが遅れるというように、運手時に特定の対象物の確認に集中すると、周辺に対する注意力が低下し、周辺視野が狭くなることがある。そこで、このような場合にも対象物への視認を正確に判定し、運転者に警報を与えるために、対象物への注視度合いに応じて視認度を変更してもよい。
このようにして、運転者の覚醒度合いや対象物への注視度合い、自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境に応じて視認度を変更することで、運転者状態、環境情報に応じた視認度の算出が可能となる。
図17において、運転支援装置200は、図8における構成要素に加え、注視度算出部250を有する。
注視度算出部250は、対象物に対する運転者の注視度合いを算出し、視認度算出部240に出力する。この注視度算出部は、累積視認度算出部で対象物ごとに算出されている累積視認度の最大値(最も注視している対象物の累積視認度)を用いる。累積視認度は、所定時間内での注視度合いを示す指標であるため、最大値が大きいほど、一つの対象物に集中して注視しており、周辺の対象物への注意力が低下している可能性が高いと考えられる。
また、特定の対象物を注視時には、所定時間内の運転者の視線移動が小さくなることから、アイカメラなどで検出した視線方向から、所定時間内の視線移動量を算出し、小さいほど対象物に対する注視度合いが高いと判定しても良い。
以上のようにして動的に算出される注視度は、運転者の視野特性を設定、変更するパラメータとなる。
運転支援装置200aにおける視認度算出部240は、注視度算出部250からの注視度合いが入力される点を除き、運転支援装置200の視認度算出部240と同様の機能を有する。
特に、運転支援装置200aにおける視認度算出部240は、図1に示す視認度算出部140と同様に、視線検出部110から運転者の視線方向、注視点の情報が入力され、対象物抽出部130から安全確認に必要となる対象物の情報が入力される。
視認度算出部240には、更に、運転者の属性情報、運転者の覚醒度合い、対象物への注視度合い等の運転者における動的な情報、自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境情報が入力される。
これら入力される情報を用いて、視認度算出部240は、運転者の視線・注視点からそれぞれの対象物までの距離あるいは角度に応じて、ある一時点における対象物ごとの運転者の認識度合いを示す視認度を算出し、累積視認度算出部150に出力する。
換言すれば、視認度算出部240は、視線方向の角度、対象物の自車に対する相対角度に加えて、運転者情報、運転者状態(覚醒度合い、注視度合いを含む)、交通環境を用いて、対象物ごとの視認度を算出して、累積視認度算出部150に出力する。
この視認度算出部240における視認度算出は、上述したように、メモリ242に格納された注視点と視認度との関係を示すテーブルと、入力される視線及び注視点とで、視線及び注視点の対象物に対する視認度を算出している。
視認度算出部240は、視認度算出を、運転支援装置200のものと上述と同様にテーブルを用いて行うことに加えて、運転者が特定対象物に集中して注視している場合、図9を適用すれば、運転者が20代の年齢であることを示す静的な運転者属性情報が入力された場合でも、特定の対象物の確認に集中して周辺視野が狭まっていることが推定される場合、視認度算出部240は、視認度曲線G2を用いずに、視認度曲線G2よりも勾配が急な視認度曲線G3、G4を用いて視認度を算出するような構成となる。
ここで、運転支援装置200において、注視度算出部250も用いた場合の動作を説明する。
図18は、本発明の実施の形態2の変形例における運転支援装置の動作を示すフローチャートである。
なお、図18に示す処理は図10に示す処理において、ステップS24とステップS25の間にステップS33の処理を行う点のみ異なり、その他のステップでは同様の処理を行う。したがって、異なる点のみ説明し図10と同様の動作についての説明は省略する。
図18において、ステップS24では、運転者状態検出部220により運転者状態(ここでは運転者の覚醒度合い)を取得するとともに、環境情報収集部230により自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境を取得して、ステップS33に移行する。
ステップS33では、注視度算出部250より注視度を算出する。注視度は、既に累積視認度が算出されていれば累積視認度の最大値を基に、または、アイカメラで検出された視線方向から算出された視線移動量を基に算出し、ステップS25に移行する。
ステップS25では、視認度算出部240は、対象物情報、視線情報、運転者状態(覚醒度合い)情報及び交通環境情報、注視度が入力され、これらを用いて、その時点における全ての対象物に対して、運転者の視認度を算出してステップS26に移行する。
詳細に、ステップS25では、視認度算出部240は、入力される視線方向の角度、対象物の自車に対する相対角度に加えて、運転者情報、運転者状態、交通環境、注視度を用いて、視線と対象物の角度差分(あるいは、注視点からの画像上での距離)から、ある一時点における対象物毎の視認度を算出する。
以下同様処理を行い、本運転支援装置200では、静的な運転者属性情報、運転者状態情報(動的な運転者属性情報)である運転者の覚醒度合い、交通環境(周辺環境)情報、注視度等の、運転者の視覚特性に影響を及ぼす各要因を加味して、対象物に対する視認度を算出している。これにより、運転者に提供される情報として、運転者の安全確認を必要とする対象物の見落としなどを、運転者の実際の運転状態も加味して、より正確に提供して、安全確認を喚起することができる。
(実施の形態3)
図11は、本発明の実施の形態3における運転支援装置300のブロック図である。なお、この実施の形態3における運転支援装置300は、図1に示す実施の形態1に対応する運転支援装置100と同様の基本的構成を有している。このため、同一の構成要素には同一の符号を付し、その説明を省略する。
この運転支援装置300は、運転支援装置100の構成に、対象物分類部310を更に加えて構成されている。
対象物分類部310は、対象物抽出部130で抽出された複数の対象物を、対象物の種別、距離、速度等の属性により、いくつかのグループ(対象物群)に分類して、分類したグループ(対象物群)の情報を視認度算出部340に出力する。
視認度算出部340は、視線検出部110及び対象物分類部310から入力される情報を用いて、視線・注視点からそれぞれの対象物までの距離あるいは角度に応じて、ある一時点における全ての対象物に対する対象物のグループ毎に対する運転者の認識度合いを示す視認度を算出し、累積視認度算出部350に出力する。
視認度算出部340で算出される視認度は、入力される視線及び注視点に加え、視線及び注視点から算出される周辺視野も視認度を決定する基準として含まれる。なお、周辺視野は、上述したように、瞬時に情報受容が可能な視野であり、注視点を中心に略10〜20度の範囲をいう。
視認度算出部340は、メモリ342を備えており、このメモリ342に格納された注視点と視認度との関係を示すテーブルと、入力される視線及び注視点とで、視線及び注視点の対象物のグループに対する視認度を算出している。
累積視認度算出部350は、視認度算出部340から入力される一時点における全ての対象物群毎の視認度を、所定時間の間、対象物群ごとに累積して累積視認度を算出し、対象物毎の累積値として提示情報処理部160に出力する。
次に、本発明の実施の形態3における運転支援装置300における動作について図12を用いて説明する。図12は、本発明の実施の形態3における運転支援装置300の動作を示すフローチャートである。
図12に示すように、ステップS51では、運転支援装置300を搭載した車両において、周辺情報収集部120が、走行中の自車周辺(周辺状況)の情報として周辺映像(周辺情報)をカメラなどにより収集するともに、視線検出部110が、視線情報取得部102により取得した運転者の視線情報を用いて、運転者の視線方向(及び注視点)の検出を行いステップS52に移行する。なお、この周辺状況取得と視線方向の検出は略同じタイミングで行われる。
ステップS52では、対象物抽出部130は、取得した周辺情報(周辺映像)から他車両、歩行者、二輪などの移動体や、標識・標示、信号、横断歩道、一時停止線等といった交通環境対象物等の中心位置の相対距離、相対角度を、画像処理などにより抽出してステップS53に移行する。
ステップS53では、対象物分類部310が、対象物抽出部130にて抽出された複数の対象物を、対象物の属性(対象物の種別、距離、速度)を用いて、グループ(対象物群)に分類して、ステップS54に移行する。
ここで、対象物分類部310が、抽出された対象物から対象物群を抽出する対象物分類処理の概要を説明する。
図13及び図14は、本発明の実施の形態3における運転支援装置300において対象物分類部310により対象物を分類する処理を模式的に示す図である。
図13は、自車が左折する場面50であり、対象物(歩行者51〜55)の距離に応じて対象物を分類する例を示したものである。図13Aに示すように、歩行者55とともに、横断歩道56上における複数の歩行者51〜54が対象物抽出部130において抽出されている。
この場面において対象物抽出部130により抽出された対象物(特に、複数の歩行者51〜54)を、対象物分類部310では、対象物(特に、複数の歩行者51〜54)同士の中心間の距離が一定値以下の物を同一群と見なす。これにより、対象物分類部310では、図13Bに示すように歩行者群61、62が抽出される。
また、図14は、自車が右折する場面70であり、対象物71〜77の種別に応じて対象物を分類する例を示したものである。
図14Aに示す状態では、歩行者(対象物)71〜73、信号機(対象物)74、対向車(対象物)75〜77が対象物抽出部130において抽出されている。
この場面において対象物抽出部130により抽出された対象物71〜77を、対象物分類部310では、対象物の種別(歩行者、車両、交通設備)に着目して分類し、さらに対象物の中心間の距離が一定値の物を同一群と見なす。これにより、対象物分類部310では図14Bに示す歩行者群81、信号機群82、対向車群(対象物群)83が抽出される。
また、対象物分類部310では、対象物間の距離、対象物の種別に加え、対象物の移動速度が近いものを同一群と見なしても良い。
さらに、自車あるいは自車の予測される軌道に対して、接近してくるもの、遠ざかるもの同士を同一群と見なし、対象物をグループ化しても良い。また、対象物の存在する角度を用いて、所定の角度内に存在する対象物をグループ化する、などしても良い。
このように、対象物分類部310において、類似する対象物をグルーピングすることによって、このグルーピングした対象物に対して視認判定が行われることになる。よって、互いに接近している対象物毎に視認判定が行われる場合と比較して、煩雑な警報が低減されることになる。
ステップS54では、視認度算出部340は、対象物のグループ(対象物群)の情報及び視線情報が入力されると、分類された対象物群の全てに対して、対象物群毎に対する運転者の視認度を算出してステップS55に移行する。
詳細に、ステップS54では、視認度算出部340は、入力される視線方向の角度及び、対象物群の自車に対する相対角度から、視線と対象物群の角度差分(あるいは、注視点からの画像上での距離)から、ある一時点における対象物群毎の視認度を算出する。
ステップS55では、累積視認度算出部350は、入力される一時点における対象物群毎の視認度を、所定期間、同一対象物毎に累積して、対象物群毎の累積視認度を算出して、ステップS56に移行する。
ステップS56では、提示情報処理部160は、所定時間経過したか否かを判定し、所定時間経過していれば、ステップS57に移行し、経過していなければ、ステップS58に移行する。なお、ステップS56において判定される所定時間とは、算出される視認度を累積するために予め設定された時間である。
また、ステップS58では、車両の運転が終了した否かの判定、例えば、車両のエンジンがストップしているか否か等によって行われる。ステップS58では、運転が終了していなければ、つまりエンジンが停止していなければ、ステップS51に戻り、運転が終了、つまり、エンジンが停止していれば、処理は終了する。
このように視認度算出部340及び累積視認度算出部350は、提示情報処理部160において、所定時間経過したと判定されるまで、所定時間の間、対象物群に対する視認度の算出及び累積視認度の算出を継続する。
ステップS57では、提示情報処理部160は、所定時間経過したと判定された際に入力される累積視認度に応じて情報の提示を行なうか否かを判定し、情報提示を行なわない場合にはステップS58に移行し、行う場合にはステップS59に移行する。ステップS58に移行して、車両の運転が終了していなければ、ステップS51に戻り累積視認度算出処理までを繰り返す。
ステップS59は、提示情報処理部160は、累積視認度の対象物群に対する運転者の視認(認知)度合いを判定してステップS60に移行する。
ステップS60では、提示情報処理部160は、対象物群の認知度合いを反映させた、累積視認度に応じて提示情報を設定し、ステップS61に移行する。
ステップS61では、情報提示部170は、提示情報処理部160において設定された提示情報を運転者へ提示してステップS58に移行する。
本実施の形態では、情報提示部170として表示パネルを用いて車両の運転者に情報を提供するものとしており、提示情報処理部160では、提示情報を、表示パネルに対象物群毎の累積視認度に対応して設定して表示されるものとする。ここでは、提示情報は、表示パネルに、安全確認の対象となる対象物群に色を重畳して表示(例えば、図13B、14B参照)されて、当該対象物の認識度合いを示すものとする。これを受けて情報提示部170は、表示パネルに表示される視認度合いを示す提示情報を、累積視認度に応じて提示色変更する。
図15は、情報提示部170において提示される提示情報の一例を示すものであり、累積視認度に応じた対象物群の提示の一例を示す概念図である。なお、図15では、抽出される対象物群に対して累積視認度を算出し、累積視認度に応じて色を変えて、情報提示部170の表示パネルを用いて表示画面90、93として提示した場合を示す。
図15Aの表示画面90では、提示情報処理部160により対象物群として抽出された2つの対象物群である第1歩行者群91、第2歩行者群92が表示されている。
これら第1歩行者群91と第2歩行者群92とはそれぞれ異なる色にて表示(提示)されており、ここでは、より安全確認を行う必要のある第1歩行者群91を赤色、運転者が視認しており特に注意を払う必要のない第2歩行者群92を青色で表示している。
つまり、運転者は、第1歩行者群91に対しては視認しておらず、第2歩行者群92に対しては視認している。
なお、これら歩行者群91、92は、対象物分類部310においてそれぞれ対象物群として抽出され、視認度算出部340にて、対応する視認度が算出される。これら算出された視認度を用いることにより、累積視認度算出部350は、第1歩行者群91、第2歩行者群92のそれぞれの累積視認度が算出される。そして、これら累積視認度を判定して、提示情報処理部160は、それぞれ異なる色の形態で表示されるように提示情報を設定する。
また、図15Bの表示画面93では、提示情報処理部160により対象物群として抽出された3つの対象物群である第3歩行者群(対象物群)94、対向車群(対象物群)95及び信号機群(対象物群)96が表示されている。
第3歩行者群94、対向車群95及び信号機群96は、累積視認度に対応してそれぞれ異なる色にて表示(提示)されている。ここでは、より安全確認を行う必要のある第3歩行者群94を赤色、運転者が視認しており特に注意しなくてもよい対向車群95及び信号機群96を青色で表示している。
このように、このように情報提示部170の表示パネル90、93では、情報提示部170によって、対象物群ごとに累積視認度に応じた情報提示が行われる。
このため、運転者がどの対象物群を確認すべきかを把握することができる。なお、図15Aでは、第2歩行者群92よりも第1歩行者群91を把握すべきものとし、図15Bでは、対向車群95及び信号機群96よりも、第3歩行者群94を把握すべきものとしている。
また、情報提示部170として運転者に視認させる表示パネルを用いた場合において、運転支援装置300では、対象物群を複数の区間に分割し、分割された区間ごとに累積視認度を算出しても良い。
これにより、グルーピングした対象物群内部においても、どの部分の視認度が低いかを運転者が把握することができる。
例えば、分割する方法としては、対象物分類部310にて抽出した対象物群を、上下左右に4分割するなどしても良いし、画素単位に分割し、各画素について累積視認度を算出することで、グルーピングした対象物群の内部においても、どの部分の視認度が低いかを運転者が直感的に把握することができる。
図16は、情報提示部170において提示される提示情報の別例を示すものであり、累積視認度に応じた対象物群の提示の別例を示す概念図である。
図16Aの表示画面97aでは、抽出された対象物群として対象物群98a、99aが表示されている。これら対象物群98a、99aは、それぞれを構成する画素について累積視認度が算出され、算出された累積視認度に対応して、視認判定が行われ、視認していない対象物群98a内の詳細な視認度を赤色のグラデーション表示(色の連続的な変化により表示)している。
また、図16Bの表示画面97bでは、抽出された対象物群として対象物群98c、98d、98eが表示されている。これら対象物群98c、98d、98eは、それぞれを構成する画素について累積視認度が算出され、算出された累積視認度に対応して、視認判定が行われ、視認していない対象物群98c内の詳細な視認度を赤色のグラデーション表示(色の連続的な変化により表示)している。
つまり、運転支援装置300では、抽出された対象物群を構成する画素について累積視認度を算出する。これら算出された累積視認度に応じて、提示情報処理部160によって、対象物群内の詳細な視認度をグラデーション表示する。
これにより、図16に示す表示画面97a、97bのように、対象物群内部についても累積視認度に応じて色分けして表示されるため、対象物群のどの部分を確認すべきかを即座に把握することが可能となる。
なお、運転支援装置300において、対象物群内の視認度をグラデーション表示する際には、上述したように、安全確認の対象となる複数の対象物を対象物群にグルーピングしてから対象物群を分割して累積視認度を算出して表示してもよいが、これに限らない。例えば、個々の対象物に対して累積視認度を算出した後、表示の際に対象群を生成し、個々の累積視認度を加味してグラデーション表示を行うようにしてもよい。
この場合、運転支援装置100の構成において、提示情報処理部160が、対象物分類部310と同様の機能を有する構成とする構成が考えられる。この構成では、提示情報処理部160は、累積視認度算出部150から入力される対象物毎の累積視認度に対応して、情報提示情報としての表示形態(例えば、累積視認度が、比較される閾値より小さくなるにつれ色が濃くなるグラデーション)を設定する。
なお、運転中は、周辺状況取得から、情報提示までの処理は、任意のタイミングで連続的に実行されているものとする。
また、各実施の形態の運転支援装置100、200、300では、情報提示部170が情報提示を行う際には、表示パネルとしてカーナビゲーションなどの車載機の表示パネルを用い、この表示パネルの画面に前方映像を表示し、その画像上に視認度に応じた情報提示を行うものとする。
また、情報提示部170として、実際の景色に合わせてナビゲーション情報や道路情報などをフロントガラス越しに表示するウィンドシールドディスプレイを利用して、フロントガラス越しに視認度に応じた情報提示を行っても良い。
各実施の形態によれば、注視点による認知だけでなく、周辺視による認知も考慮して、対象物を見ている/見ていないを判定することが可能になり、結果として煩雑な警報を低減することが可能となる。
また、対象物群に対する視認判定を行なうことができ、交差点右折時の横断歩道上の多数の歩行者など、注視が必要な対象物が多数存在する場合でも、個々の対象物に対する警報を提示することなく、対象物群に対する警報を提示することができるため、結果として煩雑な警報を低減することができる。
また、各実施の形態の運転支援装置100、200、300において情報提示部170による情報提示を表示パネルを用いたものとしたが、これに限らず、上述した提示情報を音声により運転者に提供するものとしてもよい。また、音声及び表示によって情報提示を行うものとしてもよい。
さらに、各実施の形態の運転支援装置100、200、300では、情報提示部170は、運転支援装置100、200、300をそれぞれ搭載した車両の運転者に対して提示するものとしたがこれに限らない。つまり、運転者の視認状態によって、当該運転者が運転する車両と衝突の可能性がある対象に安全確認を喚起させる構成としてもよい。例えば、喚起・制御部180における情報提示部170を通信部とし、運転者の視認状態を無線通信を介して外部装置に提示する構成とする。この構成によって、当該運転者が乗車する車両と衝突の可能性がある歩行者や、対向車の運転者に対して情報を提示するようにしてもよい。これにより、当該運転者が乗車する車両と衝突の可能性がある歩行者や、対向車の運転者側から、当該運転者の視認度合いを確認でき、視認度合いが判定される運転者が運転する車両の安全性を確保することができる。
また、各実施の形態において、情報提示部170に変えて、提示情報処理部160において設定された提示情報に対応して車両の駆動を制御する構成要素を有する喚起・制御部180としてもよい。例えば、提示情報処理部160における対象物の視認判定で、安全確認が必要な対象物に対して運転者の視認度が低い場合、車両を制動して、対象物に対する衝突の危険を回避する構成としても良い。
このように、運転者の安全確認対象物の認知を、運転者の注視による安全確認対象物の認知だけでなく、周辺視を含めて正確に判定して、運転する車両を制動することによって、走行車両の安全性を確保する。
また、各実施の形態における提示情報処理部160は、累積視認度算出部150、350により算出される累積視認度に対応する提示情報を情報提示部170に出力する構成としたが、これに限らず、視認度が入力され、この入力される対象物毎の視認度に対応する提示情報を出力する構成としてもよい。つまり、提示情報処理部160は、入力される対象物毎の視認度に応じて出力する提示情報を判断、変更・設定し、提示情報を情報提示部170に出力する構成としてもよい。
具体的には、提示情報処理部160に視認度算出部140から視認度が入力される構成とし、視認判定部164により視認度の対象物に対する運転者の認知度合いを判定(視認判定)する。また、提示情報設定部166は、視認判定部164からの認知度合い判定された視認度に対応する提示情報を設定・変更して、設定・変更した提示情報を情報提示部170に出力する。これにより、喚起・制御部180は運転者に対する安全確認の喚起を行う。これを受けて運転者は、安全確認対象物の認知を、運転者の注視による安全確認対象物の認知に加え、周辺視を含めて判定でき、走行車両の安全性を確保できる。
2006年9月4日出願の特願2006−239591の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明は、運転者の安全確認対象物の認知を、運転者の注視による安全確認対象物の認知だけでなく、周辺視を含めて正確に判定し、これを用いて、走行車両の安全性を確保する効果を有し、運転者の安全不確認を検出し、安全確認を促す提示を行う運転支援装置として有効である。
本発明は、運転者の視線を利用した走行情報提供装置に関する。
従来、自車周辺の対象物の方向と、運転者の視線方向から、対象物に対する運転者の認知度合いを判定し、認知度が低い場合に警告情報を提示する装置が種々提案されている。
例えば、特許文献1に示す走行情報提供装置は、運転者の注視方向と、運転者が運転中に安全確認すべき注視必要方向とが一致する注視頻度を算出して、この注視頻度に基づいて運転者に報知すべき情報の報知レベルを決定している。
すなわち、この走行情報提供装置は、運転者が注視する注視点のみを基準として、運転者の注視点と、安全確認のために必要な対象物に対する注視点とを用いて対象物に対する認知の程度を判断している。なお、注視点とは両眼を用いて一物体を注視する際の点を示す。
これにより、運転者が視認していない状況に関しては確実に適切な情報を報知するとともに、運転者が視認していると判定された情報に関しては、認識程度の高さにあわせて報知レベルを下げ、煩わしさを低減している。
特許第2929927号公報
ところで、一般に、視覚情報の中で、視力検査で測定する視力に近い解像度で見ることが可能な部分は、注視点の周りおよそ2度程度であるといわれている。この解像度の高い部分で見ることを中心視という。また、中心視野周辺(注視点を中心に10度〜20度の範囲の視野)の対象物についても、瞬時に情報を受容して、大まかな物の形を把握することが可能であることが知られている。なお、このような中心視の中心である注視点周辺を見る(傍中心視)ことを、ここでは、周辺視という。この対象物を認知する際には、中心視だけでなく、この周辺視も重要な役割を果たすものと考えられている。
しかしながら、従来の走行情報提供装置においては、注視点と注視必要方向との一致頻度により、対象物を視認したかどうかを判定しており、人間の周辺視野による認知が考慮されていない。このため、中心視で認知していないが周辺視により認知している対象物に対しても認知していないと誤判定する可能性があり、その判定を受けて、煩雑な警報を発生させ、走行車両における安全性の確保を妨げる恐れがあるという問題がある。
また、従来の走行情報提供装置では、交差点右折時の横断歩道上に多数の歩行者が存在する場合等のように注視が必要な対象物が多数存在する場合において、周辺視で確認している対象物に対しても、注視頻度が少ない対象物として判定する可能性がある。よって、この判定を受けて、多数の煩雑な警報を発生させてしまい、走行車両の安全性の確保を妨げるという問題がある。
本発明の目的は、運転者の安全確認対象物の認知を、運転者の注視による安全確認対象物の認知だけでなく、周辺視を含めて正確に判定して、走行車両の安全性を確保する走行情報提供装置を提供することである。
本発明の走行情報提供装置は、搭載される自車の周辺状況の周辺情報を取得する周辺情報収集手段と、周辺情報収集手段により取得した前記周辺情報から、前記自車の運転者が行う安全確認の対象となる安全確認対象物を抽出する対象物抽出手段と、前記運転者の視線方向を検出する視線検出手段と、検出された前記安全確認対象物及び前記運転者の視線方向を用いて、運転者の視線方向から対象物までの距離又は角度に応じて、前記安全確認対象物に対する運転者の周辺視を考慮した視認度を算出する視認度算出手段と、算出された前記視認度に基づいて、安全確認の喚起又は車両の運転状態の制御を行う喚起・制御手段とを備える構成を採る。
本発明によれば、運転者の安全確認対象物の認知を、運転者の注視による安全確認対象物の認知だけでなく、周辺視を含めて正確に判定し、これを用いて走行車両の安全性を確保することができる。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本実施の形態では、走行情報提供装置を、運転手に、運転者の視認状態を走行情報として提供することで運転を支援する運転支援装置として説明する。
(実施の形態1)
図1は、本発明の実施の形態1における運転支援装置(走行情報提供装置)100の構成を示すブロック図である。
図1に示す運転支援装置100は、ここでは車両に搭載されるものであり、視線検出部110と、周辺情報収集部120と、対象物抽出部130と、視認度算出部140と、累積視認度算出部150と、提示情報処理部160と、情報提示部170とを有する。
視線検出部110は、視線情報取得部102により取得した運転者の視線情報を用いて運転者の視線方向(あるいは運転者の見ている点である注視点)を検出して、視認度算出部140に出力する。
視線情報取得部102は、運転者が実際に見ている方向を取得するものであり、運転者の視線方向を撮像するために車両内部に設置され、運転者の眼球画像を取得するアイカメラなどが適用される。この場合、視野検出部110では、アイカメラにより撮影された眼球画像を解析して、装着した被験者の眼球運動・視線を検出できるともに注視点を検出する。
なお、視線情報取得部102は、アイカメラとともに、運転者の顔面方向データを取得する指向性赤外線センサを用いてもよく、この場合、視野検出部110は、アイカメラからの顔面基準の視線方向データを指向性赤外線センサ顔面方向データの座標系に変換して合成して、運転者が実際に見ている視線方向(中心視方向)を検出すると共に、注視点を検出する。
周辺情報収集部120は、自車周辺の情報を収集するものであり、例えば、車両の周辺画像を撮像する車載カメラ、車両周囲の存在物の方向、距離及び相対速度などを検出する指向性を有する超音波センサ、車両の走行状態を検出するセンサなどにより構成され、これら収集した自車周辺の情報を周辺情報として収集し、対象物抽出部130に出力する。なお、この周辺情報収集部120は、自車周辺の情報を収集するものであれば、どのように構成されてもよい。
対象物抽出部130は、周辺情報収集部120から入力される周辺情報から、対向車両などの他車両、歩行者、二輪などの移動体や、標識・標示、信号、横断歩道、一時停止線などの交通環境対象物等といった、車両を走行中に安全確認すべき対象となる対象物を抽出して、視認度算出部140に出力する。
具体的に、対象物抽出部130は、交通環境対象物などの中心位置の相対距離、相対角度を、画像処理などにより抽出する。なお、対象物の相対角度は、対象物の中心座標などの基準点と、予め設定される自車の中心または運転座席の位置などの基準点から算出するものとする。
視認度算出部140は、視線検出部110及び対象物抽出部130から入力される情報を用いて、視線・注視点からそれぞれの対象物までの距離あるいは角度に応じて、ある一時点における対象物ごとの運転者の認識度合いを示す視認度を算出し、累積視認度算出部150に出力する。
視認度算出部140で算出される視認度は、入力される視線及び注視点に加え、視線及び注視点から算出される周辺視野も視認度を決定する基準として含まれる。周辺視野とは、瞬時に情報受容が可能な視野であり、注視点を中心に略10〜20度の範囲をいう。
言い換えれば、視認度は、注視点及び注視点近傍の視覚範囲である周辺視野を含む視野を用いた視認度合いである。
視認度算出部140は、メモリ142を備えており、このメモリ142に格納された注視点と視認度との関係を示すテーブルと、入力される視線及び注視点とで、視線及び注視点の対象物に対する視認度を算出している。
図2は、本発明の実施の形態1における運転支援装置において周辺視野が加味された視認度を算出する際に用いられるテーブルの一例を示し、視認度算出部140がメモリ142に備える注視点からの角度と視認度との関係を示すテーブルの一例を示す図である。
なお、図2において、横軸は注視点からの角度、縦軸は視認度合いを表し、グラフG1は、注視点からの角度に応じて、運転者の視認度がどのように変化するかを、連続的な値の変化として示している。このグラフG1を以下では視認度曲線G1という。
例えば、対象物Aに対する視線及び注視点が入力されると、視認度算出部140は、対象物Aの注視点からの角度が角度θであった場合、メモリ142の視認度曲線G1を用いると、対象物Aの視認度として視認度Rが算出される。
図3は、本発明の実施の形態1における運転支援装置において周辺視野が加味された視認度を算出する際に用いられるテーブルの別例を示し、視認度算出部140がメモリ142に備える注視点からの角度と視認度との関係を示すテーブルの別例を示す図である。
図3に示すテーブルでは、注視点からの角度に対して、所定範囲毎に視認度を設定している。図3では、注視点からの角度θが、θ≦θを満たす対象物は視認度1.0を与え、θ≦θ≦θの場合は視認度0.5を、θ≦θの場合は視認可能な視野の範囲外として、視認度は0としている。
これにより、視認度算出部140において、注視点から離れた周辺視野における認知も加味された視認度が算出される。
よって視線度算出部140は、対象物情報及び視線情報が入力されると、その時点における全ての対象物に対して、運転者の視認度を算出する。
累積視認度算出部150は、視認度算出部140から入力される視認度を、対象物ごとに累積して累積視認度を算出し、対象物毎の累積値として提示情報処理部160に出力する。
提示情報処理部160は、入力される対象物毎の累積値に応じて出力する提示情報を判断、変更・設定し、提示情報を情報提示部170に出力する。
提示情報処理部160は、計時部としてのタイマ162を備え、このタイマ162を用いて所定時間経過したと判定した際に、累積視認度算出部150から入力される累積視認度に対応する情報の設定、提示の処理を行う。
また提示情報処理部160は、所定時間経過したと判定した際に、入力される累積視認度を用いて、情報の提示を行なうか否かを判定する。具体的には、情報提示部170で提示されるタイミングを満たしているか否かを判定する。
また、提示情報処理部160は、視認判定部164により累積視認度の対象物に対する
運転者の認知度合いを判定(視認判定)する。例えば、予め設定された基準値を用いて、累積視認度が、基準値(例えば1)以上であれば、当該累積視認度の対象物に対しては、運転者は認知していると判断し、それ未満であれば、運転者は認知していないものと判断する。
また、提示情報処理部160は、入力される累積視認度に対応して情報の提示を行う場合に、提示情報設定部166により、当該累積視認度に対応する提示情報を設定・変更し、設定・変更した提示情報を情報提示部170に出力する。つまり、提示情報処理部160は、提示情報設定部166において、安全確認対象物毎に算出された累積視認度に応じて、安全確認の喚起対象を変更する機能を有する。
なお、提示情報処理部160において設定される提示情報は、情報提示部170において提示される形態に対応するものとする。例えば、情報提示部170が、表示パネルなどを用いた表示装置である場合は、当該表示パネルに表示される表示画像として設定され、また、スピーカなどの発音装置であれば、提示情報を音声データとして設定される。
情報提示部170は、提示情報処理部160において設定された情報の提示を行い、この提示によって、運転支援装置が搭載される車両の走行に関する安全確認を喚起する。
ここでは、情報提示部170は、車両に搭載される表示パネル(表示部)を備え、車両の運転者に安全確認対象となる対象物の見落としを確認させるための表示を行うものとする。なお、この情報提示部170は、警告音、警告音声などを発して運転者に報知する発音装置により構成されてもよい。また、対向者、歩行者などに運転支援装置100が搭載される車両の運転者の見落としを報知したりする報知装置としてもよい。
これら提示情報処理部160と情報提示部170とにより、算出された視認度または累積視認度に基づいて、運転者に対して安全確認の喚起又は車両(ここでは、自車両)の運転状態の制御を行う喚起・制御部180を構成する。なお、車両の運転状態の制御を行う場合、喚起・制御部180は、累積視認度に対応して行われる視認判定に応じて、例えば、車両のブレーキ、ハンドル、アクセルなどを制御し、これにより走行車両の安全性を確保する。
喚起・制御部180が、車両の運転状態の制御を行う場合、提示情報処理部160では、提示情報設定部166は、安全確認対象物毎に算出された累積視認度に応じて、車両の運転状態の制御対象(ブレーキ、ハンドル、アクセル等)を設定したり、変更したりする。この設定・変更を用いて、喚起・制御部180は、制御対象に対して制御を行う。なお、制御対象となる車両は、ここでは自車両としたが、運転支援装置100が搭載されていない車両としてもよい。
次に、本発明の実施の形態1における運転支援装置における動作について図4を用いて説明する。図4は、本発明の実施の形態1における運転支援装置の動作を示すフローチャートである。
図4に示すように、ステップS11では、運転支援装置100を搭載した車両において、周辺情報収集部120が、走行中の自車周辺(周辺状況)の情報として周辺映像(周辺情報)をカメラなどにより収集するともに、視線検出部110が、視線情報取得部102により取得した運転者の視線情報を用いて、運転者の視線方向(及び注視点)の検出を行いステップS12に移行する。なお、この周辺状況取得と視線方向の検出は略同じタイミングで行われる。
ステップS12では、対象物抽出部130は、取得した周辺情報(周辺映像)から他車両、歩行者、二輪などの移動体や、標識・標示、信号、横断歩道、一時停止線等といった交通環境対象物等の中心位置の相対距離、相対角度を、画像処理などにより抽出してステップS13に移行する。
ステップS13では、視認度算出部140は、対象物情報及び視線情報が入力されると、その時点における全ての対象物に対して、運転者の視認度を算出してステップS14に移行する。
詳細に、ステップS13では、視認度算出部140は、入力される視線方向の角度及び、各対象物の自車に対する相対角度から、視線と対象物の角度差分(あるいは、注視点からの画像上での距離)から、ある一時点における対象物毎の視認度を算出する。
ステップS14では、累積視認度算出部150は、入力される一時点における対象物毎の視認度を、所定期間、同一対象物毎に累積して、対象物毎の累積視認度を算出して、ステップS15に移行する。
ステップS15では、提示情報処理部160は、所定時間経過したか否かを判定し、所定時間経過していれば、ステップS16に移行し、経過していなければ、ステップS17に移行して、車両の運転が終了していなければステップS11に戻る。なお、ステップS15において判定される所定時間とは、算出される視認度を累積するために予め設定された時間である。
また、ステップS17における車両運転の終了の判定は、車両のエンジンがストップしているか否か等によって行われ、エンジンが停止していれば、処理は終了する。
このように視認度算出部140及び累積視認度算出部150は、提示情報処理部160において、所定時間経過したと判定されるまで、所定時間の間、視認度の算出及び累積視認度の算出を継続する。
ここで、所定時間経過したと判定されるまで、つまり所定時間経過するまでの視認度算出部140における視認度算出処理及び累積視認度算出部150における累積視認度算出処理について説明する。
図5は運転中の注視点の変化を模式的に示す図であり、運転中の注視点の変化における視認度および、累積視認度を合わせて運転者が見る場面の一例を示した図である。
なお、ここでは、便宜上、累積視認度を算出する際に用いられる視認度は、図3に示す視認度曲線を用いて視認度算出部140によって算出されるものとする。つまり、図3に示すように、注視点からの角度θがθ≦θを満たす対象物は視認度を1.0、θ≦θ≦θの場合は視認度を0.5、θ≦θの場合は視認度を0とする。
図5A、図5C、図5E、図5Gで順に示す場面は、所定期間の間、交差点31を走行しようしている車両の運転者が見る場面の一例、つまり所定期間の間における注視点の変化の一例を示している。また、図5において、運転者の注視点21、θ≦θを満たす範囲を中心視野22、θ≦θ≦θを満たす範囲を周辺視野23とし、中心視野の視認度を1.0、周辺視野の視認度を0.5とする。
図5Aに示す場面1においては、視認度算出部140により対向車(対象物)32の視認度は0.5、歩行者(対象物)33の視認度は0として算出され、累積視認度算出部150
では、算出された視認度の対象となる対象物のそれぞれの累積視認度が算出される。
この図5Aにおいて算出された視認度及び累積視認度は、図5Bに示すように、算出された対向車32の視認度0.5及び歩行者33の視認度0.0をメモリ142に記憶する。なお、このときにはまだ、それぞれの対象物の視認度は累積されていないため、このときの対向車及び歩行者の累積視認度は、対向車0.5、歩行者0.0となる。
その後、注視点21は、図5Aで示す状態から、図5Cで示す状態に変化する。ここでは、注視点21が対向車32と重なっており、運転者は対向車32を注視している。すると、これに伴い、累積視認度算出部150に、対向車32の視認度が入力され、先(図5Aの状態)における対象物毎に、同一の対象物の視認度に加算して、それぞれの累積視認度を算出する。図5Cの状態では、図5Dに示すように、視認度算出部140は、対向車32の視認度1.0、歩行者33の視認度0.0を算出し、累積視認度算出部150では、対象物毎に視認度を累積して、対向車32の視認度1.5、歩行者33の視認度0.0を算出している。
次いで、注視点21は、図5Cに示す状態から図5Eに示す状態に変化する。図5Eでは、注視点21は、ここでの例としてあげている対向車32及び歩行者33のいずれにも注視点は向けられておらず、周辺視もされていない。
よって、図5Eの状態では、図5Fに示すように、視認度算出部140は、対向車32の視認度0.0、歩行者33の視認度0.0を算出して、累積視認度算出部150では、対象物毎に視認度を累積して、対向車32の視認度1.5、歩行者33の視認度0.0を算出している。すなわち、ここでは、対向車32及び歩行者33の双方にも視認度が算出されていないため、図5Dに示す累積視認度と同じ数値(対向車の累積視認度1.5、歩行者の累積視認度0.0)となる。
その後、注視点21は、図5Eで示す状態から、図5Gで示す状態に変化する。ここでは、注視点21は、歩行者33の近傍に位置し、周辺視野23内に歩行者33が存在しているため、視認度算出部140は、対向車32の視認度0.0、歩行者33の視認度0.5を算出(図5H参照)し、累積視認度算出部150は、先(図5F)の状態における対象物毎に、同一の対象物の視認度に加算して、それぞれの路移籍視認度を算出する。図5Hに示すように、累積視認度算出部150は、対象物毎に視認度を累積、つまり、対向車0.0、歩行者0.5を先までの累積視認度1.5、0,0に累積して、対向車32の視認度1.5、歩行者33の視認度0.5を算出している。
ステップS16では、提示情報処理部160は、所定時間経過したと判定された際に入力される累積視認度に応じた情報の提示を行なうか否かを判定し、情報提示を行なわない場合にはステップS17に移行し、行う場合にはステップS18に移行する。ステップS17に移行して、車両の運転が終了していなければ、ステップS11に戻り累積視認度算出処理までを繰り返す。なお、このステップS16での判定は、運転者の視認度合いを情報提示部170により提示するタイミングであるか否かを意味する。
ステップS18では、提示情報処理部160は、累積視認度の対象物に対する運転者の視認(認知)度合いを判定してステップS19に移行する。
ステップS19では、提示情報処理部160は、対象物の認知度合いを反映させた、累積視認度に応じて提示情報を設定し、ステップS20に移行する。
ステップS20では、情報提示部170は、提示情報処理部160において設定された
提示情報を運転者へ提示してステップS17に移行する。
本実施の形態では、情報提示部170として表示パネルを用いて車両の運転者に情報を提供するものとしており、提示情報処理部160では、提示情報を、表示パネルに対象物毎の累積視認度に対応して設定して表示されるものとする。ここでは、提示情報は、表示パネルに、安全確認の対象となる対象物に色を重畳して表示されて、当該対象物の認識度合いを示すものとする。これを受けて情報提示部170は、表示パネルに表示される視認度合いを示す提示情報に対して、累積視認度に応じて提示色を変更している。
図6及び図7は、本発明の実施の形態1における運転支援装置において情報提示部170により提示される情報提示の一例を示す図である。
なお、これら図6及び図7で示される提示情報は、情報提示の対象となる対象物に対する運転者の認知、不認知で異なる色で設定されるものとする。なお、ここでの、対象物に対する運転者の認知、不認知は、提示情報処理部160において、対象物毎の累積視認度が所定の基準値を超えているか否かで判定される。つまり、提示情報処理部160において、累積視認度が所定の基準値を超えている場合には、運転者は対象物を認知しているものと判定され、超えていない場合に、認知していないものと判定される。
図6に示すように、情報提示部170は、横断歩道41上の歩行者(対象物)42〜44については、運転者が認知していると判断して、薄い青色などの注意喚起の少ない色で対象物を強調表示する。なお、このように累積視認度が所定の基準値を超えている対象物であって運転者が認知しているものと判断された対象物については、情報の提示を行わなくてもよい。図6において、情報提示部170は、累積視認度が所定の基準値を満たしていない歩行者(対象物)45については、赤などの運転者の注意を引きやすい色で対象物を強調表示する。
これにより、運転支援装置100では、運転者の視認度が低い対象物ほど、強調して表示して、運転者へ視認させ、運転者に対する安全確認を促すことができる。
また、提示情報処理部160において、累積視認度の数値を、そのまま運転者の認識度合いと見なし、視認度の基準値を設けない場合、視認度にあわせた色の濃淡によって表示しても良い。なお、図7では、情報提示部170は、交差点36において、信号(対象物)48及び対向車(対象物)49は、累積視認度が高いため、青色で表示しており、横断歩道47を渡る累積視認度が低い歩行者(対象物)46を強調して表示している。
尚、運転中は、周辺状況取得から情報提示までのフローチャートに示す処理は、任意のタイミングで連続的に実行されている。
本実施の形態によれば、車両走行中に運転者が、安全確認の必要な対象物を認知しているか否かを、運転者の注視点を含む中心視野に加えて、注視点周辺の範囲の周辺視野も含めた視野によって判定している。これにより、運転者が見る対象物の認知、不認知の判定を正確に行うことができる。
また、安全確認の必要な対象物を認知していない場合に、その旨の情報を運転者に提示することによって、運転者は、自身が見落としている対象物に対する安全確認を喚起されて、当該対象物に対する確認を行うことができ、車両走行中において、歩行者などとの衝突を防ぎ、車両の安全性を向上させることができる。
(実施の形態2)
図8は、本発明の実施の形態2における運転支援装置200のブロック図である。なお、この実施の形態2における運転支援装置200は、図1に示す実施の形態1に対応する運転支援装置100と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
この運転支援装置200では、運転支援装置100と比較して異なる点は、視認度算出部240において算出される視認度であり、運転支援装置200において算出される視認度には、運転者毎に異なる要素が加味されることである。
つまり、運転支援装置200では、対象物に対して算出する視認度に、運転者の視覚特性に影響を与える各要因を加味して算出するものである。
視覚特性に影響を与える要因として、運転者の年齢等の静的な運転者属性情報があり、例えば、年齢が高ければ高いほど、例えば、運転者の注視点を中心として視認できる範囲、ここでは周辺視野は狭くなることが考えられる。
また、同様に、運転者の視覚特性に影響を与える要因として、運転者の覚醒度合い、自車周辺の注意を払うべき対象物の数、天気・明るさなどが考えられる。
具体的には、覚醒時の運転時には、自車前方の広い範囲を視線が移動するのに対し、漫然運転などの覚醒度の低下時には、視線の移動範囲が中心付近に集中することが、これまでの研究で明らかになっている(参考文献:”Detection System of Gaze Direction for
Excessive Concentration through Cellular Phone Use and Inattention” Shinji Mita,2002年ITS世界会議論文)。そこで、視線移動により覚醒度合いを推定し、覚醒度に応じて視認度を変更することで、運転者状態に応じた視認度の算出が可能となる。
また、車両運転時、自車周辺の注意を払うべき対象物数が多くなると、周辺視できる範囲も狭くなることがこれまでの研究で明らかになっている(参考文献:「ドライバの視覚的注意特性」自動車技術、Vol.58,No.12,2004)。そこで、自車周辺の対象物の数に応じて視認度を変更することで、環境情報に応じた視認度の算出が可能となる。さらに、運転者の視覚特性に影響を与える可能性のある、渋滞度合い、天気、明るさなどの環境情報を加味して、視認度を変更してもよい。
このようにして、運転者の覚醒度合い、自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境に応じて視認度を変更することで、運転者状態、環境情報に応じた視認度の算出が可能となる。
図8において、運転支援装置200は、図1における構成要素に加え、運転者情報操作入力部210と、運転者状態検出部220と、環境情報収集部230とを有する。
運転者情報操作入力部210は、運転者の年齢、性別、運転歴、違反歴などの運転者に関わる静的な情報である運転者属性情報が操作により入力されるものであり、入力された運転者属性情報を視認度算出部240に出力する。これら静的な運転者属性情報は、運転者の視野特性を設定、変更するパラメータとなる。
運転者状態検出部220は、運転者の視野特性に影響を与える運転者の動的な属性情報を検出するものであり、例えば、動的な属性情報としての運転者の覚醒度合いを検出して視認度算出部240に出力する。具体的には、運転者状態検出部220は、アイカメラ等、運転者の視線移動を検出するものが挙げられる。この動的な運転者属性情報は、運転者の視野特性を設定、変更するパラメータとなる。
環境情報収集部230は、運転者の静的、動的な属性以外に運転者の視野特性に影響を与える環境情報、例えば、自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境を収集して取得し、視認度算出部240に出力する。この環境情報収集部230は、無線通信などで各情報が入力される構成としても良いし、自車周辺の環境状況を撮像するカメラなどを用いて情報を収集する構成としても良い。これら運転者が運転する車両周辺の環境状況は、運転中の視野特性を設定、変更するパラメータとなる。
視認度算出部240は、図1に示す視認度算出部140と同様に、視線検出部110から運転者の視線方向、注視点の情報が入力され、対象物抽出部130から安全確認に必要となる対象物の情報が入力される。
視認度算出部240には、更に、運転者の属性情報、運転者の覚醒度合い等の運転者における動的な情報、自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境情報が入力される。
これら入力される情報を用いて、視認度算出部240は、運転者の視線・注視点からそれぞれの対象物までの距離あるいは角度に応じて、ある一時点における対象物ごとの運転者の認識度合いを示す視認度を算出し、累積視認度算出部150に出力する。
換言すれば、視認度算出部240は、視線方向の角度、対象物の自車に対する相対角度に加えて、運転者情報、運転者状態、交通環境を用いて、対象物ごとの視認度を算出して、累積視認度算出部150に出力する。
視認度算出部240で算出される視認度は、実施の形態1と同様に、入力される視線及び注視点に加え、視線及び注視点から算出される周辺視野も視認度を決定する基準として含まれる。周辺視野は、上述したように瞬時に情報受容が可能な視野であり、注視点を中心に略10〜20度の範囲とする。
具体的に、視認度算出部240は、メモリ242を備えており、このメモリ242に格納された注視点と視認度との関係を示すテーブルと、入力される視線及び注視点とで、視線及び注視点の対象物に対する視認度を算出している。
視認度算出部240が、メモリ242に格納するテーブルは、運転者情報操作入力部210と、運転者状態検出部220と、環境情報収集部230とから入力される情報に基づいて視認度を変更可能とするものである。その一例として、視認度を、年齢により変更して設定する処理について図9を用いて説明する。
図9は、本発明の実施の形態2における運転支援装置200において周辺視野が加味された視認度を算出する際に用いられるテーブルの一例を示す。図9は、視認度算出部240がメモリ242に備える運転者の年齢に応じたグラフ(視認度曲線)G2〜G4を示し、注視点からの角度と視認度との関係を示すテーブルの一例を示す図である。なお、図9において、0は注視点、横軸は注視点0からの角度、縦軸は視認度を表し、グラフ(視認度曲線)G2〜G4は、それぞれ注視点からの角度に応じて、運転者の視認度がどのように変化するかを示している。
図9では、視認度曲線G2は20代のドライバの視認度曲線、視認度曲線G3は40代のドライバの視認度曲線、視認曲線G4は60代のドライバの視認度曲線と定義する。このように年齢に応じた視認度曲線G2〜G4を用いると、対象物Aの注視点からの角度θで運転者年齢が40歳の場合、対象物Aに対する視認度はRと算出される。同様に、
対象物Aの注視点からの角度θで運転者年齢が20歳の場合、対象物Aに対する視認度はRと算出され、同様の条件において算出される視認度は、40歳のそれより高くなる。
このようにして、視認度算出部240は、年齢に応じた対象物の視認特性を加味した上で、視認度の算出を行う。これにより、実際に運転する運転者及び運転者の運転状況に適格に対応して、運転者の視認度を正確に算出できる。
また、同様に、運転者状態検出部220から入力される、動的な属性情報としての運転者の覚醒度合いを加味する場合、覚醒度合いが低い場合には、覚醒度合いが通常の場合よりも勾配が急な視認度曲線を用いる。
例えば、図9のテーブルを用いる場合、運転者が20代の年齢の年齢である静的属性情報が入力された場合でも、視認度算出部240は、視認度曲線G2を用いずに、覚醒の低さ度合いに応じて、視認度曲線G2よりも勾配が急な視認度曲線G3、G4を用いて視認度を算出するような構成にする。
また、同様に、環境情報収集部230から、自車周辺の注意を払うべき情報が入力された場合、例えば、交通環境情報として自車周辺の車両数が多く、渋滞が緩やか、天気として曇りや雨で周辺が所定の明るさ(昼間)よりも暗いことを示す情報が入力された場合、通常時に用いられる視認度曲線よりも勾配が急な視認度曲線を用いる等する。
具体的には、実写周辺の注意を払うべき対象物の数としての自車周辺の車両数が10台以上や5台以上の場合、図9を適用すれば、運転者が20代の年齢であることを示す静的な運転者属性情報が入力された場合でも、視認度算出部240は、視認度曲線G2を用いずに、視認度曲線G2よりも勾配が急な視認度曲線G3、G4を用いて視認度を算出するような構成となる。
ここで、図10を用いて運転支援装置200の動作について説明する。
図10は、本発明の実施の形態2における運転支援装置の動作を示すフローチャートである。
図10に示すように、運転支援装置200を搭載した車両では、先ず、ステップS21において、運転者情報操作入力部210は、運転開始時あるいはシートの着席時に、運転者の操作によって、運転者の年齢、性別、運転歴、違反歴等の静的な運転者情報である運転者属性情報である運転者情報が入力され、これらの運転者属性情報を取得してステップS22に移行する。
ステップS22では、周辺状況収集部120が、走行中の自車周辺の情報として周辺映像(周辺情報)をカメラなどにより収集するとともに、視線検出部110が、視線情報取得部102により取得した運転者の視線情報を用いて、運転者の視線方向(及び注視点)の検出を行いステップS23に移行する。なお、この周辺状況取得と視線方向の検出は略同じタイミングで行われる。
ステップS23では、対象物抽出部130は、取得した周辺情報(周辺映像)から他車両、歩行者、二輪などの移動体や、標識・標示、信号、横断歩道、一時停止線等といった交通環境対象物等の中心位置の相対距離、相対角度を、画像処理などにより抽出してステップS24に移行する。
ステップS24では、運転者状態検出部220により運転者状態(ここでは運転者の覚醒度合い)を取得するとともに、環境情報収集部230により自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境を取得して、ステップS25に移行する。
ステップS25では、視認度算出部240は、対象物情報、視線情報、運転者状態(覚醒度合い)情報及び交通環境情報が入力されると、その時点における全ての対象物に対して、運転者の視認度を算出してステップS26に移行する。
詳細に、ステップS25では、視認度算出部240は、入力される視線方向の角度、対象物の自車に対する相対角度に加えて、運転者情報、運転者状態、交通環境を用いて、視線と対象物の角度差分(あるいは、注視点からの画像上での距離)から、ある一時点における対象物毎の視認度を算出する。
ステップS26では、累積視認度算出部150は、入力される一時点における対象物毎の視認度を、所定期間中、同一対象物毎に累積して、対象物毎の累積視認度を算出してステップS27に移行する。
ステップS27では、提示情報処理部160は、所定時間経過したか否かを判定し、所定時間経過していれば、ステップS28に移行し、経過していなければ、ステップS29に移行する。ステップS29において車両の運転が終了していなければステップS22に戻る。なお、ステップS27において判定される所定時間とは、算出される視認度を累積するために予め設定された時間である。
つまり、視認度算出部240及び累積視認度算出部150は、提示情報処理部160において、所定時間経過したと判定されるまで、所定時間の間、視認度の算出及び累積視認度の算出を継続する。なお、所定時間経過したと判定されるまで、つまり所定時間経過するまでの、視認度算出部240及び累積視認度算出部150の処理は、上述の視認度算出部140における視認度算出処理及び累積視認度算出部150における累積視認度算出処理と同様であるため説明は省略する。
ステップS28では、提示情報処理部160は、所定時間経過したと判定された後、入力される安全確認すべき対象物毎の累積視認度(累積値)に応じた情報の提示を行なうか否かを判定する。
ステップS28において、情報提示を行なわない場合にはステップS29に移行し、行う場合にはステップS30に移行する。なお、ステップS29に移行して、車両の運転が終了していなければ、運転支援装置200は、ステップS22に戻り累積視認度算出処理までを繰り返す。
ステップS30では、情報提示制御部160は、累積視認度の対象物に対する運転者の視認(認知)度合いを判定する。
このステップS30では、例えば、予め設定された基準値を用いて、累積視認度が、基準値(例えば1)以上で有れば、当該累積視認度の対象物に対しては、運転者は認知(視認)していると判断し、それ未満であれば、運転者は認知(視認)していないものと判断する。このような運転者の視認判定が行われた後、ステップS31へ移行する。
ステップS31では、情報提供制御部160は、対象物の認知度合いを反映させた、累積視認度に応じて提示情報を設定し、ステップS32に移行する。
ステップS32では、情報提示部170は、提示情報処理部160において設定された提示情報を運転者へ提示してステップS29に移行する。尚、運転中は、周辺状況取得から、情報提示までの処理は、任意のタイミングで連続的に実行されているものとする。
本運転支援装置200では、静的な運転者属性情報、運転者状態情報(動的な運転者属性情報)である運転者の覚醒度合い、交通環境(周辺環境)情報等の、運転者の視覚特性に影響を及ぼす各要因を加味して、対象物に対する視認度を算出している。
これにより、運転者に提供される情報として、運転者の安全確認を必要とする対象物の見落としなどを、運転者の実際の運転状態も加味して、より正確に提供して、安全確認を喚起することができる。
(実施の形態2の変形例)
図17は、本発明の実施の形態2における運転支援装置200aの変形例を示すブロック図である。なお、この実施の形態2における運転支援装置200aは、図8に示す実施の形態2に対応する運転支援装置200の構成に注視度算出部250を加えたものである。運転支援装置200aの他の構成要素は、運転支援装置200のものと同様のものであり、同様の機能を有する。したがって、同一の構成要素には同一の符号を付し、その説明を省略する。
この運転支援装置200aでは、運転支援装置100と比較して異なる点は、視認度算出部240において算出される視認度であり、運転支援装置200aにおいて算出される視認度には、運転者毎に異なる要素が加味されることである。
つまり、運転支援装置200では、対象物に対して算出する視認度に、運転者の視覚特性に影響を与える各要因を加味して算出するものである。
視覚特性に影響を与える要因として、運転者の年齢等の静的な運転者属性情報があり、例えば、年齢が高ければ高いほど、例えば、運転者の注視点を中心として視認できる範囲、ここでは周辺視野は狭くなることが考えられる。
また、同様に、運転者の視覚特性に影響を与える要因として、運転者の覚醒度合いや対象物への注視度合い、自車周辺の注意を払うべき対象物の数、天気・明るさなどが考えられる。
具体的には、覚醒時の運転時には、自車前方の広い範囲を視線が移動するのに対し、漫然運転などの覚醒度の低下時には、視線の移動範囲が中心付近に集中することが、これまでの研究で明らかになっている(参考文献:”Detection System of Gaze Direction for
Excessive Concentration through Cellular Phone Use and Inattention” Shinji Mita,2002年ITS世界会議論文)。そこで、視線移動により覚醒度合いを推定し、覚醒度に応じて視認度を変更することで、運転者状態に応じた視認度の算出が可能となる。
また、車両運転時、自車周辺の注意を払うべき対象物数が多くなると、周辺視できる範囲も狭くなることがこれまでの研究で明らかになっている(参考文献:「ドライバの視覚的注意特性」自動車技術、Vol.58,No.12,2004)。そこで、自車周辺の対象物の数に応じて視認度を変更することで、環境情報に応じた視認度の算出が可能となる。さらに、運転者の視覚特性に影響を与える可能性のある、渋滞度合い、天気、明るさなどの環境情報を加味して、視認度を変更してもよい。
また、道路脇の歩行者に気を取られて先行車両に気づくのが遅れるというように、運手
時に特定の対象物の確認に集中すると、周辺に対する注意力が低下し、周辺視野が狭くなることがある。そこで、このような場合にも対象物への視認を正確に判定し、運転者に警報を与えるために、対象物への注視度合いに応じて視認度を変更してもよい。
このようにして、運転者の覚醒度合いや対象物への注視度合い、自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境に応じて視認度を変更することで、運転者状態、環境情報に応じた視認度の算出が可能となる。
図17において、運転支援装置200は、図8における構成要素に加え、注視度算出部250を有する。
注視度算出部250は、対象物に対する運転者の注視度合いを算出し、視認度算出部240に出力する。この注視度算出部は、累積視認度算出部で対象物ごとに算出されている累積視認度の最大値(最も注視している対象物の累積視認度)を用いる。累積視認度は、所定時間内での注視度合いを示す指標であるため、最大値が大きいほど、一つの対象物に集中して注視しており、周辺の対象物への注意力が低下している可能性が高いと考えられる。
また、特定の対象物を注視時には、所定時間内の運転者の視線移動が小さくなることから、アイカメラなどで検出した視線方向から、所定時間内の視線移動量を算出し、小さいほど対象物に対する注視度合いが高いと判定しても良い。
以上のようにして動的に算出される注視度は、運転者の視野特性を設定、変更するパラメータとなる。
運転支援装置200aにおける視認度算出部240は、注視度算出部250からの注視度合いが入力される点を除き、運転支援装置200の視認度算出部240と同様の機能を有する。
特に、運転支援装置200aにおける視認度算出部240は、図1に示す視認度算出部140と同様に、視線検出部110から運転者の視線方向、注視点の情報が入力され、対象物抽出部130から安全確認に必要となる対象物の情報が入力される。
視認度算出部240には、更に、運転者の属性情報、運転者の覚醒度合い、対象物への注視度合い等の運転者における動的な情報、自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境情報が入力される。
これら入力される情報を用いて、視認度算出部240は、運転者の視線・注視点からそれぞれの対象物までの距離あるいは角度に応じて、ある一時点における対象物ごとの運転者の認識度合いを示す視認度を算出し、累積視認度算出部150に出力する。
換言すれば、視認度算出部240は、視線方向の角度、対象物の自車に対する相対角度に加えて、運転者情報、運転者状態(覚醒度合い、注視度合いを含む)、交通環境を用いて、対象物ごとの視認度を算出して、累積視認度算出部150に出力する。
この視認度算出部240における視認度算出は、上述したように、メモリ242に格納された注視点と視認度との関係を示すテーブルと、入力される視線及び注視点とで、視線及び注視点の対象物に対する視認度を算出している。
視認度算出部240は、視認度算出を、運転支援装置200のものと上述と同様にテーブルを用いて行うことに加えて、運転者が特定対象物に集中して注視している場合、図9
を適用すれば、運転者が20代の年齢であることを示す静的な運転者属性情報が入力された場合でも、特定の対象物の確認に集中して周辺視野が狭まっていることが推定される場合、視認度算出部240は、視認度曲線G2を用いずに、視認度曲線G2よりも勾配が急な視認度曲線G3、G4を用いて視認度を算出するような構成となる。
ここで、運転支援装置200において、注視度算出部250も用いた場合の動作を説明する。
図18は、本発明の実施の形態2の変形例における運転支援装置の動作を示すフローチャートである。
なお、図18に示す処理は図10に示す処理において、ステップS24とステップS25の間にステップS33の処理を行う点のみ異なり、その他のステップでは同様の処理を行う。したがって、異なる点のみ説明し図10と同様の動作についての説明は省略する。
図18において、ステップS24では、運転者状態検出部220により運転者状態(ここでは運転者の覚醒度合い)を取得するとともに、環境情報収集部230により自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境を取得して、ステップS33に移行する。
ステップS33では、注視度算出部250より注視度を算出する。注視度は、既に累積視認度が算出されていれば累積視認度の最大値を基に、または、アイカメラで検出された視線方向から算出された視線移動量を基に算出し、ステップS25に移行する。
ステップS25では、視認度算出部240は、対象物情報、視線情報、運転者状態(覚醒度合い)情報及び交通環境情報、注視度が入力され、これらを用いて、その時点における全ての対象物に対して、運転者の視認度を算出してステップS26に移行する。
詳細に、ステップS25では、視認度算出部240は、入力される視線方向の角度、対象物の自車に対する相対角度に加えて、運転者情報、運転者状態、交通環境、注視度を用いて、視線と対象物の角度差分(あるいは、注視点からの画像上での距離)から、ある一時点における対象物毎の視認度を算出する。
以下同様処理を行い、本運転支援装置200では、静的な運転者属性情報、運転者状態情報(動的な運転者属性情報)である運転者の覚醒度合い、交通環境(周辺環境)情報、注視度等の、運転者の視覚特性に影響を及ぼす各要因を加味して、対象物に対する視認度を算出している。これにより、運転者に提供される情報として、運転者の安全確認を必要とする対象物の見落としなどを、運転者の実際の運転状態も加味して、より正確に提供して、安全確認を喚起することができる。
(実施の形態3)
図11は、本発明の実施の形態3における運転支援装置300のブロック図である。なお、この実施の形態3における運転支援装置300は、図1に示す実施の形態1に対応する運転支援装置100と同様の基本的構成を有している。このため、同一の構成要素には同一の符号を付し、その説明を省略する。
この運転支援装置300は、運転支援装置100の構成に、対象物分類部310を更に加えて構成されている。
対象物分類部310は、対象物抽出部130で抽出された複数の対象物を、対象物の種別、距離、速度等の属性により、いくつかのグループ(対象物群)に分類して、分類した
グループ(対象物群)の情報を視認度算出部340に出力する。
視認度算出部340は、視線検出部110及び対象物分類部310から入力される情報を用いて、視線・注視点からそれぞれの対象物までの距離あるいは角度に応じて、ある一時点における全ての対象物に対する対象物のグループ毎に対する運転者の認識度合いを示す視認度を算出し、累積視認度算出部350に出力する。
視認度算出部340で算出される視認度は、入力される視線及び注視点に加え、視線及び注視点から算出される周辺視野も視認度を決定する基準として含まれる。なお、周辺視野は、上述したように、瞬時に情報受容が可能な視野であり、注視点を中心に略10〜20度の範囲をいう。
視認度算出部340は、メモリ342を備えており、このメモリ342に格納された注視点と視認度との関係を示すテーブルと、入力される視線及び注視点とで、視線及び注視点の対象物のグループに対する視認度を算出している。
累積視認度算出部350は、視認度算出部340から入力される一時点における全ての対象物群毎の視認度を、所定時間の間、対象物群ごとに累積して累積視認度を算出し、対象物毎の累積値として提示情報処理部160に出力する。
次に、本発明の実施の形態3における運転支援装置300における動作について図12を用いて説明する。図12は、本発明の実施の形態3における運転支援装置300の動作を示すフローチャートである。
図12に示すように、ステップS51では、運転支援装置300を搭載した車両において、周辺情報収集部120が、走行中の自車周辺(周辺状況)の情報として周辺映像(周辺情報)をカメラなどにより収集するともに、視線検出部110が、視線情報取得部102により取得した運転者の視線情報を用いて、運転者の視線方向(及び注視点)の検出を行いステップS52に移行する。なお、この周辺状況取得と視線方向の検出は略同じタイミングで行われる。
ステップS52では、対象物抽出部130は、取得した周辺情報(周辺映像)から他車両、歩行者、二輪などの移動体や、標識・標示、信号、横断歩道、一時停止線等といった交通環境対象物等の中心位置の相対距離、相対角度を、画像処理などにより抽出してステップS53に移行する。
ステップS53では、対象物分類部310が、対象物抽出部130にて抽出された複数の対象物を、対象物の属性(対象物の種別、距離、速度)を用いて、グループ(対象物群)に分類して、ステップS54に移行する。
ここで、対象物分類部310が、抽出された対象物から対象物群を抽出する対象物分類処理の概要を説明する。
図13及び図14は、本発明の実施の形態3における運転支援装置300において対象物分類部310により対象物を分類する処理を模式的に示す図である。
図13は、自車が左折する場面50であり、対象物(歩行者51〜55)の距離に応じて対象物を分類する例を示したものである。図13Aに示すように、歩行者55とともに、横断歩道56上における複数の歩行者51〜54が対象物抽出部130において抽出されている。
この場面において対象物抽出部130により抽出された対象物(特に、複数の歩行者51〜54)を、対象物分類部310では、対象物(特に、複数の歩行者51〜54)同士の中心間の距離が一定値以下の物を同一群と見なす。これにより、対象物分類部310では、図13Bに示すように歩行者群61、62が抽出される。
また、図14は、自車が右折する場面70であり、対象物71〜77の種別に応じて対象物を分類する例を示したものである。
図14Aに示す状態では、歩行者(対象物)71〜73、信号機(対象物)74、対向車(対象物)75〜77が対象物抽出部130において抽出されている。
この場面において対象物抽出部130により抽出された対象物71〜77を、対象物分類部310では、対象物の種別(歩行者、車両、交通設備)に着目して分類し、さらに対象物の中心間の距離が一定値の物を同一群と見なす。これにより、対象物分類部310では図14Bに示す歩行者群81、信号機群82、対向車群(対象物群)83が抽出される。
また、対象物分類部310では、対象物間の距離、対象物の種別に加え、対象物の移動速度が近いものを同一群と見なしても良い。
さらに、自車あるいは自車の予測される軌道に対して、接近してくるもの、遠ざかるもの同士を同一群と見なし、対象物をグループ化しても良い。また、対象物の存在する角度を用いて、所定の角度内に存在する対象物をグループ化する、などしても良い。
このように、対象物分類部310において、類似する対象物をグルーピングすることによって、このグルーピングした対象物に対して視認判定が行われることになる。よって、互いに接近している対象物毎に視認判定が行われる場合と比較して、煩雑な警報が低減されることになる。
ステップS54では、視認度算出部340は、対象物のグループ(対象物群)の情報及び視線情報が入力されると、分類された対象物群の全てに対して、対象物群毎に対する運転者の視認度を算出してステップS55に移行する。
詳細に、ステップS54では、視認度算出部340は、入力される視線方向の角度及び、対象物群の自車に対する相対角度から、視線と対象物群の角度差分(あるいは、注視点からの画像上での距離)から、ある一時点における対象物群毎の視認度を算出する。
ステップS55では、累積視認度算出部350は、入力される一時点における対象物群毎の視認度を、所定期間、同一対象物毎に累積して、対象物群毎の累積視認度を算出して、ステップS56に移行する。
ステップS56では、提示情報処理部160は、所定時間経過したか否かを判定し、所定時間経過していれば、ステップS57に移行し、経過していなければ、ステップS58に移行する。なお、ステップS56において判定される所定時間とは、算出される視認度を累積するために予め設定された時間である。
また、ステップS58では、車両の運転が終了した否かの判定、例えば、車両のエンジンがストップしているか否か等によって行われる。ステップS58では、運転が終了していなければ、つまりエンジンが停止していなければ、ステップS51に戻り、運転が終了
、つまり、エンジンが停止していれば、処理は終了する。
このように視認度算出部340及び累積視認度算出部350は、提示情報処理部160において、所定時間経過したと判定されるまで、所定時間の間、対象物群に対する視認度の算出及び累積視認度の算出を継続する。
ステップS57では、提示情報処理部160は、所定時間経過したと判定された際に入力される累積視認度に応じて情報の提示を行なうか否かを判定し、情報提示を行なわない場合にはステップS58に移行し、行う場合にはステップS59に移行する。ステップS58に移行して、車両の運転が終了していなければ、ステップS51に戻り累積視認度算出処理までを繰り返す。
ステップS59は、提示情報処理部160は、累積視認度の対象物群に対する運転者の視認(認知)度合いを判定してステップS60に移行する。
ステップS60では、提示情報処理部160は、対象物群の認知度合いを反映させた、累積視認度に応じて提示情報を設定し、ステップS61に移行する。
ステップS61では、情報提示部170は、提示情報処理部160において設定された提示情報を運転者へ提示してステップS58に移行する。
本実施の形態では、情報提示部170として表示パネルを用いて車両の運転者に情報を提供するものとしており、提示情報処理部160では、提示情報を、表示パネルに対象物群毎の累積視認度に対応して設定して表示されるものとする。ここでは、提示情報は、表示パネルに、安全確認の対象となる対象物群に色を重畳して表示(例えば、図13B、14B参照)されて、当該対象物の認識度合いを示すものとする。これを受けて情報提示部170は、表示パネルに表示される視認度合いを示す提示情報を、累積視認度に応じて提示色変更する。
図15は、情報提示部170において提示される提示情報の一例を示すものであり、累積視認度に応じた対象物群の提示の一例を示す概念図である。なお、図15では、抽出される対象物群に対して累積視認度を算出し、累積視認度に応じて色を変えて、情報提示部170の表示パネルを用いて表示画面90、93として提示した場合を示す。
図15Aの表示画面90では、提示情報処理部160により対象物群として抽出された2つの対象物群である第1歩行者群91、第2歩行者群92が表示されている。
これら第1歩行者群91と第2歩行者群92とはそれぞれ異なる色にて表示(提示)されており、ここでは、より安全確認を行う必要のある第1歩行者群91を赤色、運転者が視認しており特に注意を払う必要のない第2歩行者群92を青色で表示している。
つまり、運転者は、第1歩行者群91に対しては視認しておらず、第2歩行者群92に対しては視認している。
なお、これら歩行者群91、92は、対象物分類部310においてそれぞれ対象物群として抽出され、視認度算出部340にて、対応する視認度が算出される。これら算出された視認度を用いることにより、累積視認度算出部350は、第1歩行者群91、第2歩行者群92のそれぞれの累積視認度が算出される。そして、これら累積視認度を判定して、提示情報処理部160は、それぞれ異なる色の形態で表示されるように提示情報を設定する。
また、図15Bの表示画面93では、提示情報処理部160により対象物群として抽出された3つの対象物群である第3歩行者群(対象物群)94、対向車群(対象物群)95及び信号機群(対象物群)96が表示されている。
第3歩行者群94、対向車群95及び信号機群96は、累積視認度に対応してそれぞれ異なる色にて表示(提示)されている。ここでは、より安全確認を行う必要のある第3歩行者群94を赤色、運転者が視認しており特に注意しなくてもよい対向車群95及び信号機群96を青色で表示している。
このように、このように情報提示部170の表示パネル90、93では、情報提示部170によって、対象物群ごとに累積視認度に応じた情報提示が行われる。
このため、運転者がどの対象物群を確認すべきかを把握することができる。なお、図15Aでは、第2歩行者群92よりも第1歩行者群91を把握すべきものとし、図15Bでは、対向車群95及び信号機群96よりも、第3歩行者群94を把握すべきものとしている。
また、情報提示部170として運転者に視認させる表示パネルを用いた場合において、運転支援装置300では、対象物群を複数の区間に分割し、分割された区間ごとに累積視認度を算出しても良い。
これにより、グルーピングした対象物群内部においても、どの部分の視認度が低いかを運転者が把握することができる。
例えば、分割する方法としては、対象物分類部310にて抽出した対象物群を、上下左右に4分割するなどしても良いし、画素単位に分割し、各画素について累積視認度を算出することで、グルーピングした対象物群の内部においても、どの部分の視認度が低いかを運転者が直感的に把握することができる。
図16は、情報提示部170において提示される提示情報の別例を示すものであり、累積視認度に応じた対象物群の提示の別例を示す概念図である。
図16Aの表示画面97aでは、抽出された対象物群として対象物群98a、99aが表示されている。これら対象物群98a、99aは、それぞれを構成する画素について累積視認度が算出され、算出された累積視認度に対応して、視認判定が行われ、視認していない対象物群98a内の詳細な視認度を赤色のグラデーション表示(色の連続的な変化により表示)している。
また、図16Bの表示画面97bでは、抽出された対象物群として対象物群98c、98d、98eが表示されている。これら対象物群98c、98d、98eは、それぞれを構成する画素について累積視認度が算出され、算出された累積視認度に対応して、視認判定が行われ、視認していない対象物群98c内の詳細な視認度を赤色のグラデーション表示(色の連続的な変化により表示)している。
つまり、運転支援装置300では、抽出された対象物群を構成する画素について累積視認度を算出する。これら算出された累積視認度に応じて、提示情報処理部160によって、対象物群内の詳細な視認度をグラデーション表示する。
これにより、図16に示す表示画面97a、97bのように、対象物群内部についても
累積視認度に応じて色分けして表示されるため、対象物群のどの部分を確認すべきかを即座に把握することが可能となる。
なお、運転支援装置300において、対象物群内の視認度をグラデーション表示する際には、上述したように、安全確認の対象となる複数の対象物を対象物群にグルーピングしてから対象物群を分割して累積視認度を算出して表示してもよいが、これに限らない。例えば、個々の対象物に対して累積視認度を算出した後、表示の際に対象群を生成し、個々の累積視認度を加味してグラデーション表示を行うようにしてもよい。
この場合、運転支援装置100の構成において、提示情報処理部160が、対象物分類部310と同様の機能を有する構成とする構成が考えられる。この構成では、提示情報処理部160は、累積視認度算出部150から入力される対象物毎の累積視認度に対応して、情報提示情報としての表示形態(例えば、累積視認度が、比較される閾値より小さくなるにつれ色が濃くなるグラデーション)を設定する。
なお、運転中は、周辺状況取得から、情報提示までの処理は、任意のタイミングで連続的に実行されているものとする。
また、各実施の形態の運転支援装置100、200、300では、情報提示部170が情報提示を行う際には、表示パネルとしてカーナビゲーションなどの車載機の表示パネルを用い、この表示パネルの画面に前方映像を表示し、その画像上に視認度に応じた情報提示を行うものとする。
また、情報提示部170として、実際の景色に合わせてナビゲーション情報や道路情報などをフロントガラス越しに表示するウィンドシールドディスプレイを利用して、フロントガラス越しに視認度に応じた情報提示を行っても良い。
各実施の形態によれば、注視点による認知だけでなく、周辺視による認知も考慮して、対象物を見ている/見ていないを判定することが可能になり、結果として煩雑な警報を低減することが可能となる。
また、対象物群に対する視認判定を行なうことができ、交差点右折時の横断歩道上の多数の歩行者など、注視が必要な対象物が多数存在する場合でも、個々の対象物に対する警報を提示することなく、対象物群に対する警報を提示することができるため、結果として煩雑な警報を低減することができる。
また、各実施の形態の運転支援装置100、200、300において情報提示部170による情報提示を表示パネルを用いたものとしたが、これに限らず、上述した提示情報を音声により運転者に提供するものとしてもよい。また、音声及び表示によって情報提示を行うものとしてもよい。
さらに、各実施の形態の運転支援装置100、200、300では、情報提示部170は、運転支援装置100、200、300をそれぞれ搭載した車両の運転者に対して提示するものとしたがこれに限らない。つまり、運転者の視認状態によって、当該運転者が運転する車両と衝突の可能性がある対象に安全確認を喚起させる構成としてもよい。例えば、喚起・制御部180における情報提示部170を通信部とし、運転者の視認状態を無線通信を介して外部装置に提示する構成とする。この構成によって、当該運転者が乗車する車両と衝突の可能性がある歩行者や、対向車の運転者に対して情報を提示するようにしてもよい。これにより、当該運転者が乗車する車両と衝突の可能性がある歩行者や、対向車の運転者側から、当該運転者の視認度合いを確認でき、視認度合いが判定される運転者が
運転する車両の安全性を確保することができる。
また、各実施の形態において、情報提示部170に変えて、提示情報処理部160において設定された提示情報に対応して車両の駆動を制御する構成要素を有する喚起・制御部180としてもよい。例えば、提示情報処理部160における対象物の視認判定で、安全確認が必要な対象物に対して運転者の視認度が低い場合、車両を制動して、対象物に対する衝突の危険を回避する構成としても良い。
このように、運転者の安全確認対象物の認知を、運転者の注視による安全確認対象物の認知だけでなく、周辺視を含めて正確に判定して、運転する車両を制動することによって、走行車両の安全性を確保する。
また、各実施の形態における提示情報処理部160は、累積視認度算出部150、350により算出される累積視認度に対応する提示情報を情報提示部170に出力する構成としたが、これに限らず、視認度が入力され、この入力される対象物毎の視認度に対応する提示情報を出力する構成としてもよい。つまり、提示情報処理部160は、入力される対象物毎の視認度に応じて出力する提示情報を判断、変更・設定し、提示情報を情報提示部170に出力する構成としてもよい。
具体的には、提示情報処理部160に視認度算出部140から視認度が入力される構成とし、視認判定部164により視認度の対象物に対する運転者の認知度合いを判定(視認判定)する。また、提示情報設定部166は、視認判定部164からの認知度合い判定された視認度に対応する提示情報を設定・変更して、設定・変更した提示情報を情報提示部170に出力する。これにより、喚起・制御部180は運転者に対する安全確認の喚起を行う。これを受けて運転者は、安全確認対象物の認知を、運転者の注視による安全確認対象物の認知に加え、周辺視を含めて判定でき、走行車両の安全性を確保できる。
2006年9月4日出願の特願2006−239591の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明は、運転者の安全確認対象物の認知を、運転者の注視による安全確認対象物の認知だけでなく、周辺視を含めて正確に判定し、これを用いて、走行車両の安全性を確保する効果を有し、運転者の安全不確認を検出し、安全確認を促す提示を行う運転支援装置として有効である。
本発明の実施の形態1における運転支援装置のブロック図 本発明の実施の形態1における運転支援装置において視認度算出に用いられる注視点からの角度と視認度との関係を示すテーブルの一例を示す図 本発明の実施の形態1における運転支援装置において視認度算出に用いられる注視点からの角度と視認度との関係を示すテーブルの他例を示す図 本発明の実施の形態1における運転支援装置の動作を示すフローチャート 本発明の実施の形態1に係る累積視認度算出方法の概念図 本発明の実施の形態1における運転支援装置において情報提示部により提示される情報提示の一例を示す図 本発明の実施の形態1における運転支援装置において情報提示部により提示される情報提示の一例を示す図 本発明の実施の形態2における運転支援装置のブロック図 本発明の実施の形態2における運転支援装置において周辺視野が加味された視認度を算出する際に用いられるテーブルの一例を示す図 本発明の実施の形態2における運転支援装置の動作を示すフローチャート 本発明の実施の形態3における運転支援装置のブロック図 本発明の実施の形態3における運転支援装置の動作を示すフローチャート 本発明の実施の形態3における運転支援装置において対象物分類部により対象物を分類する処理を模式的に示す図 本発明の実施の形態3における運転支援装置において対象物分類部により対象物を分類する処理を模式的に示す図 情報提示部において提示される提示情報の一例を示すものであり、累積視認度に応じた対象物群の提示の一例を示す概念図 情報提示部において提示される提示情報の別例を示すものであり、累積視認度に応じた対象物群の提示の別例を示す概念図 本発明の実施の形態2における運転支援装置の変形例を示すブロック図 本発明の実施の形態2における運転支援装置の変形例の動作を示すフローチャート

Claims (12)

  1. 搭載される自車の周辺状況の周辺情報を取得する周辺情報収集手段と、
    前記周辺情報収集手段により取得した前記周辺情報から、前記自車の運転者が行う安全確認の対象となる安全確認対象物を抽出する対象物抽出手段と、
    前記運転者の視線方向を検出する視線検出手段と、
    検出された前記安全確認対象物及び前記運転者の視線方向を用いて、運転者の視線方向から対象物までの距離又は角度に応じて、前記安全確認対象物に対する運転者の周辺視を考慮した視認度を算出する視認度算出手段と、
    算出された前記視認度に基づいて、安全確認の喚起又は車両の運転状態の制御を行う喚起・制御手段と、
    を備える走行情報提供装置。
  2. 前記視認度算出手段により算出される前記視認度を、所定期間の間、対応する前記安全確認対象物毎に累積して、当該対象物毎の累積視認度として算出する累積視認度算出手段を更に有する請求項1記載の走行情報提供装置。
  3. 前記喚起・制御手段は、前記安全確認対象物毎に算出された視認度に応じて、前記安全確認の喚起対象または前記車両の運転状態の制御対象を変更する変更手段を有する請求項1記載の走行情報提供装置。
  4. 前記喚起・制御手段は、前記安全確認対象物毎に算出された累積視認度に応じて、前記安全確認の喚起対象または前記車両の運転状態の制御対象を変更する変更手段を有する請求項2記載の走行情報提供装置。
  5. 運転者の属性を示す運転者情報を入力する運転者情報入力手段を更に備え、
    前記視認度算出手段は、入力された前記運転者情報に応じて、前記視認度を算出する請求項1記載の走行情報提供装置。
  6. 運転者の覚醒度合いを検出する運転者状態検出手段を更に備え、
    前記視認度算出手段は、検出された前記覚醒度合いに応じて、前記視認度を算出する請求項1記載の走行情報提供装置。
  7. 自車周辺の環境情報を取得する環境情報収集手段を更に備え、
    前記視認度算出手段は、取得した周辺の前記環境情報に応じて、安全確認対象物に対する視認度を算出する請求項1記載の走行情報提供装置。
  8. 対象物に対する注意の集中度合いを計測する注視度算出手段を更に備え、前記視認度算出手段は、算出した注視度に応じて、前記視認度を算出することを特徴とする請求項1記載の走行情報提供装置。
  9. 前記対象物抽出手段によって複数の前記安全確認対象物が抽出された場合、当該安全確認対象物の属性毎に対象物群として分類する対象物分類手段を更に備え、
    前記視認度算出手段は、分類された対象物群に対して視認度を算出する請求項1記載の走行情報提供装置。
  10. 前記対象物抽出手段によって複数の前記安全確認対象物が抽出された場合、当該安全確認対象物の属性毎に対象物群として分類する対象物分類手段を更に備え、
    前記喚起・制御手段は、前記対象物群を表示部に表示することにより前記安全確認を喚起し、
    前記視認度算出手段は、前記表示部において表示される前記対象物群を複数の区間に分割し、これら分割された区間毎に前記視認度を算出し、
    前記表示部は、前記対象物群において分割された区間を、当該区間毎に算出された視認度又は累積視認度に対応する形態で表示する請求項1記載の走行情報提供装置。
  11. 前記喚起・制御手段は、前記安全確認対象物を表示部に表示することにより前記安全確認を喚起し、
    前記変更手段は、前記視認度算出手段において算出された視認度に応じて、前記表示部に表示される前記安全確認対象物の色を変更する請求項3記載の走行情報提供装置。
  12. 前記喚起・制御手段は、前記安全確認対象物を表示部に表示することにより前記安全確認を喚起し、
    前記変更手段は、前記累積視認度算出手段において算出された累積視認度に応じて、前記表示部に表示される前記安全確認対象物の色を変更する請求項4記載の走行情報提供装置。
JP2008533162A 2006-09-04 2007-09-04 走行情報提供装置 Expired - Fee Related JP5171629B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008533162A JP5171629B2 (ja) 2006-09-04 2007-09-04 走行情報提供装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006239591 2006-09-04
JP2006239591 2006-09-04
PCT/JP2007/067211 WO2008029802A1 (fr) 2006-09-04 2007-09-04 Dispositif fournissant des informations de voyage
JP2008533162A JP5171629B2 (ja) 2006-09-04 2007-09-04 走行情報提供装置

Publications (2)

Publication Number Publication Date
JPWO2008029802A1 true JPWO2008029802A1 (ja) 2010-01-21
JP5171629B2 JP5171629B2 (ja) 2013-03-27

Family

ID=39157229

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008533162A Expired - Fee Related JP5171629B2 (ja) 2006-09-04 2007-09-04 走行情報提供装置

Country Status (4)

Country Link
US (1) US8085140B2 (ja)
JP (1) JP5171629B2 (ja)
CN (1) CN101512617B (ja)
WO (1) WO2008029802A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014153875A (ja) * 2013-02-07 2014-08-25 Mitsubishi Electric Corp 運転支援装置
JP2020190942A (ja) * 2019-05-22 2020-11-26 株式会社デンソー 表示制御装置

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007132593A1 (ja) * 2006-05-16 2007-11-22 Panasonic Corporation 交通情報提供装置、方法、及びプログラム
JP4400624B2 (ja) * 2007-01-24 2010-01-20 トヨタ自動車株式会社 居眠り防止装置及び方法
JP5050735B2 (ja) * 2007-08-27 2012-10-17 マツダ株式会社 車両用運転支援装置
JP5649568B2 (ja) * 2008-05-21 2015-01-07 アー・デー・ツェー・オートモーティブ・ディスタンス・コントロール・システムズ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 車両と歩行者との衝突を回避するための運転者援助システム
JP5261045B2 (ja) * 2008-07-03 2013-08-14 富士重工業株式会社 車両の運転支援装置
CN102047304B (zh) * 2008-08-05 2013-04-03 松下电器产业株式会社 驾驶注意力程度判定装置、方法
JP4840452B2 (ja) * 2009-01-22 2011-12-21 株式会社デンソー 車両周辺表示装置
JP5210233B2 (ja) * 2009-04-14 2013-06-12 日立オートモティブシステムズ株式会社 車両用外界認識装置及びそれを用いた車両システム
DE102009020328A1 (de) * 2009-05-07 2010-11-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung von unterschiedlich gut sichtbaren Objekten aus der Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung
WO2011108198A1 (ja) * 2010-03-03 2011-09-09 本田技研工業株式会社 車両の周辺監視装置
JP5581754B2 (ja) * 2010-03-17 2014-09-03 トヨタ自動車株式会社 運転支援装置
US20120038668A1 (en) * 2010-08-16 2012-02-16 Lg Electronics Inc. Method for display information and mobile terminal using the same
US8599027B2 (en) * 2010-10-19 2013-12-03 Deere & Company Apparatus and method for alerting machine operator responsive to the gaze zone
EP2528049B1 (en) 2011-05-23 2014-01-01 Robert Bosch GmbH Method and a device for detecting safety critical objects to a vehicle using Navigation data
JP5664784B2 (ja) * 2011-07-21 2015-02-04 トヨタ自動車株式会社 車両用情報伝達装置
US9123252B2 (en) * 2011-08-10 2015-09-01 Toyota Jidosha Kabushiki Kaisha Drive assist apparatus
EP2564766B1 (en) * 2011-09-02 2018-03-21 Volvo Car Corporation Visual input of vehicle operator
JP5657809B2 (ja) * 2011-10-06 2015-01-21 本田技研工業株式会社 脇見検出装置
JP5960506B2 (ja) * 2012-05-25 2016-08-02 株式会社デンソー 交差点認識装置及び道路種別認識装置
DE102012214852B4 (de) * 2012-08-21 2024-01-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Selektieren von Objekten in einem Umfeld eines Fahrzeugs
JP2014048978A (ja) * 2012-08-31 2014-03-17 Denso Corp 移動体警告装置、および移動体警告方法
JP2014109958A (ja) * 2012-12-03 2014-06-12 Denso Corp 撮影画像表示装置、および撮影画像表示方法
US8847771B2 (en) * 2013-01-25 2014-09-30 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for early detection of dynamic attentive states for providing an inattentive warning
JP6007848B2 (ja) * 2013-03-28 2016-10-12 富士通株式会社 目視確認評価装置、方法及びプログラム
CN104097587B (zh) * 2013-04-15 2017-02-08 观致汽车有限公司 一种行车提示控制装置及方法
WO2014176474A1 (en) * 2013-04-25 2014-10-30 GM Global Technology Operations LLC Ambient display
JP6094399B2 (ja) * 2013-06-24 2017-03-15 株式会社デンソー ヘッドアップディスプレイ、及びプログラム
JP5890803B2 (ja) * 2013-07-01 2016-03-22 富士重工業株式会社 車両の運転支援制御装置
JP5842110B2 (ja) * 2013-10-10 2016-01-13 パナソニックIpマネジメント株式会社 表示制御装置、表示制御プログラム、および記録媒体
CN103770733B (zh) * 2014-01-15 2017-01-11 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
US9756319B2 (en) * 2014-02-27 2017-09-05 Harman International Industries, Incorporated Virtual see-through instrument cluster with live video
JP6259680B2 (ja) * 2014-03-10 2018-01-10 株式会社デンソーアイティーラボラトリ 安全確認判定装置、及び運転支援装置
JP6252304B2 (ja) * 2014-03-28 2017-12-27 株式会社デンソー 車両用認知通知装置、車両用認知通知システム
WO2015152304A1 (ja) * 2014-03-31 2015-10-08 エイディシーテクノロジー株式会社 運転支援装置、及び運転支援システム
JP6496982B2 (ja) * 2014-04-11 2019-04-10 株式会社デンソー 認知支援システム
CN105083291B (zh) * 2014-04-25 2018-11-09 歌乐株式会社 基于视线检测的驾驶员辅助***
CN104296967B (zh) * 2014-11-18 2017-03-22 北京工业大学 不同光环境下对非彩色目标物的视觉功效的测算方法及其***
US10235768B2 (en) 2014-12-10 2019-03-19 Mitsubishi Electric Corporation Image processing device, in-vehicle display system, display device, image processing method, and computer readable medium
JP6661883B2 (ja) * 2015-02-09 2020-03-11 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
JP6520668B2 (ja) * 2015-02-09 2019-05-29 株式会社デンソー 車両用表示制御装置及び車両用表示ユニット
JP6319349B2 (ja) * 2015-04-03 2018-05-09 株式会社デンソー 情報提示装置
KR102371587B1 (ko) * 2015-05-22 2022-03-07 현대자동차주식회사 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
DE102015213769A1 (de) * 2015-07-22 2017-01-26 Robert Bosch Gmbh Verfahren und Vorrichtung zum Prädizieren einer Blickrichtung eines Fahrzeuginsassen
CN113509158A (zh) * 2015-07-22 2021-10-19 松下电器(美国)知识产权公司 清醒度预测方法、清醒度预测装置以及控制对象设备
JP2017074871A (ja) * 2015-10-15 2017-04-20 日立建機株式会社 車両周囲障害物検出装置
JP6563798B2 (ja) * 2015-12-17 2019-08-21 大学共同利用機関法人自然科学研究機構 視覚認知支援システムおよび視認対象物の検出システム
KR102448919B1 (ko) * 2016-03-16 2022-10-04 삼성디스플레이 주식회사 표시 장치
DE102016208410A1 (de) * 2016-05-17 2017-11-23 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Signalsystems, Signalsystem, Fahrzeug
KR102060267B1 (ko) * 2016-06-27 2019-12-27 닛산 지도우샤 가부시키가이샤 물체 추적 방법 및 물체 추적 장치
US10814788B2 (en) * 2016-07-05 2020-10-27 Mitsubishi Electric Corporation Recognized-region estimation device, recognized-region estimation method, and recognized-region estimation program
US9952058B2 (en) * 2016-08-29 2018-04-24 Denso International America, Inc. Driver visibility detection system and method for detecting driver visibility
WO2018066711A1 (ja) * 2016-10-07 2018-04-12 アイシン・エィ・ダブリュ株式会社 走行支援装置及びコンピュータプログラム
JP2018067198A (ja) * 2016-10-20 2018-04-26 矢崎総業株式会社 走行支援装置
US10964137B2 (en) * 2017-06-22 2021-03-30 Mitsubishi Electric Corporation Risk information collection device mounted on a vehicle
WO2019021471A1 (ja) * 2017-07-28 2019-01-31 日産自動車株式会社 表示制御方法及び表示制御装置
US11276312B2 (en) 2017-09-20 2022-03-15 Honda Motor Co., Ltd. Vehicle control apparatus, vehicle control method, and program
US10713940B2 (en) 2017-10-31 2020-07-14 Waymo Llc Detecting and responding to traffic redirection for autonomous vehicles
US10401862B2 (en) * 2017-10-31 2019-09-03 Waymo Llc Semantic object clustering for autonomous vehicle decision making
TWI782971B (zh) * 2017-11-03 2022-11-11 英屬開曼群島商麥迪創科技股份有限公司 交通號誌燈號轉換提醒系統及方法
JP6914827B2 (ja) * 2017-12-25 2021-08-04 株式会社デンソーアイティーラボラトリ 見落し検知装置、見落し検知方法、およびプログラム
US11017249B2 (en) * 2018-01-29 2021-05-25 Futurewei Technologies, Inc. Primary preview region and gaze based driver distraction detection
KR102494865B1 (ko) * 2018-02-20 2023-02-02 현대자동차주식회사 차량 및 그 제어 방법
CN111788618A (zh) * 2018-03-02 2020-10-16 三菱电机株式会社 驾驶辅助装置以及驾驶辅助方法
CN108447303B (zh) * 2018-03-20 2021-01-15 武汉理工大学 基于人眼视觉与机器视觉耦合的外周视野危险识别方法
US11206375B2 (en) 2018-03-28 2021-12-21 Gal Zuckerman Analyzing past events by utilizing imagery data captured by a plurality of on-road vehicles
IL260822B (en) * 2018-07-26 2019-12-31 Ophir Yoav Method and system for a dynamic collision awareness envelope for a vehicle
US11138418B2 (en) 2018-08-06 2021-10-05 Gal Zuckerman Systems and methods for tracking persons by utilizing imagery data captured by on-road vehicles
FR3085927B1 (fr) * 2018-09-18 2023-04-14 Valeo Comfort & Driving Assistance Dispositif, systeme et procede de detection de la distraction d'un conducteur
US10882398B2 (en) * 2019-02-13 2021-01-05 Xevo Inc. System and method for correlating user attention direction and outside view
US11878698B2 (en) * 2019-04-12 2024-01-23 Mitsubishi Electric Corporation Display control device, display control method, and storage medium storing display control program
JP7042974B2 (ja) * 2019-04-24 2022-03-28 三菱電機株式会社 走行環境分析装置、走行環境分析システムおよび走行環境分析方法
JP7158352B2 (ja) * 2019-08-08 2022-10-21 本田技研工業株式会社 運転支援装置、車両の制御方法、およびプログラム
JP7354686B2 (ja) * 2019-08-27 2023-10-03 株式会社リコー 出力制御装置、表示制御システム、出力制御方法およびプログラム
JP7056632B2 (ja) * 2019-09-05 2022-04-19 トヨタ自動車株式会社 運転支援装置
WO2021140621A1 (ja) * 2020-01-09 2021-07-15 三菱電機株式会社 情報生成装置、警告装置、情報生成方法、警告方法、情報生成プログラム、および警告プログラム
CN111477036B (zh) * 2020-04-08 2021-01-29 中国电子科技集团公司第二十八研究所 一种空管自动化***航空器高度异常检测方法
CN113570901B (zh) * 2020-04-27 2022-09-20 北京七鑫易维信息技术有限公司 车辆驾驶的辅助方法及装置
JP7465738B2 (ja) 2020-07-17 2024-04-11 京セラ株式会社 電子機器、情報処理装置、覚醒度算出方法および覚醒度算出プログラム
JP7433155B2 (ja) 2020-07-17 2024-02-19 京セラ株式会社 電子機器、情報処理装置、推定方法、および推定プログラム
JP7415892B2 (ja) * 2020-11-25 2024-01-17 トヨタ自動車株式会社 歩行支援システム
JP2022088962A (ja) 2020-12-03 2022-06-15 京セラ株式会社 電子機器、情報処理装置、集中度算出プログラム、及び集中度算出方法
JP2022088959A (ja) 2020-12-03 2022-06-15 京セラ株式会社 電子機器、情報処理装置、集中度算出プログラム、集中度算出方法、コンピュータの学習方法
US11954921B2 (en) * 2021-02-26 2024-04-09 Honda Motor Co., Ltd. System and method for improving driver situation awareness prediction using human visual sensory and memory mechanism
EP4064116B1 (en) * 2021-03-23 2024-01-17 Aptiv Technologies Limited Method and a device for assigning a bounding box to an object
JP2022169359A (ja) 2021-04-27 2022-11-09 京セラ株式会社 電子機器、電子機器の制御方法、及びプログラム
JP2022169357A (ja) 2021-04-27 2022-11-09 京セラ株式会社 電子機器、電子機器の制御方法、及びプログラム
JP2024048772A (ja) * 2022-09-28 2024-04-09 マツダ株式会社 運転者異常予兆検出装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2929927B2 (ja) * 1993-12-14 1999-08-03 日産自動車株式会社 走行情報提供装置
JPH09244003A (ja) * 1996-03-13 1997-09-19 Toyota Motor Corp 車両用画面制御装置
JP3884815B2 (ja) 1997-03-03 2007-02-21 本田技研工業株式会社 車両用情報表示装置
JP3450189B2 (ja) * 1998-06-16 2003-09-22 ダイハツ工業株式会社 歩行者検知システム及びその制御方法
JP4385392B2 (ja) * 2000-06-15 2009-12-16 マツダ株式会社 車両用情報提供装置
CN2512665Y (zh) * 2001-09-13 2002-09-25 项联鹏 汽车周边侦测用的光纤影像侦测***
WO2005088970A1 (ja) * 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
US7403124B2 (en) * 2005-05-10 2008-07-22 Fuji Jukogyo Kabushiki Kaisha Driving support equipment for vehicles
EP1919730B1 (en) * 2005-08-30 2011-10-19 Honda Motor Co., Ltd. Vehicle with instrument device
JP4926437B2 (ja) * 2005-09-28 2012-05-09 富士重工業株式会社 車両の運転支援装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014153875A (ja) * 2013-02-07 2014-08-25 Mitsubishi Electric Corp 運転支援装置
JP2020190942A (ja) * 2019-05-22 2020-11-26 株式会社デンソー 表示制御装置

Also Published As

Publication number Publication date
WO2008029802A1 (fr) 2008-03-13
CN101512617B (zh) 2012-02-01
US20090303078A1 (en) 2009-12-10
US8085140B2 (en) 2011-12-27
CN101512617A (zh) 2009-08-19
JP5171629B2 (ja) 2013-03-27

Similar Documents

Publication Publication Date Title
JP5171629B2 (ja) 走行情報提供装置
US20210357670A1 (en) Driver Attention Detection Method
EP3006297B1 (en) Driving characteristics diagnosis device, driving characteristics diagnosis system, driving characteristics diagnosis method, information output device, and information output method
KR101867041B1 (ko) 운전자의 안전한 운전상태 검측 방법 및 장치
JP5341402B2 (ja) 車載表示システム
US20180338117A1 (en) Surround camera system for autonomous driving
CN104972967B (zh) 基于响应时间学习来调整车辆警示
US20140107911A1 (en) User interface method for terminal for vehicle and apparatus thereof
WO2011108218A1 (ja) 車両の周辺監視装置
JPWO2012169029A1 (ja) 車線逸脱防止支援装置、車線逸脱防止方法、記憶媒体
KR101986734B1 (ko) 차량 운전 보조 장치 및 이의 안전 운전 유도 방법
JP5855206B1 (ja) 車両用透過表示装置
CN107408338A (zh) 驾驶员辅助***
CN108482367A (zh) 一种基于智能后视镜辅助驾驶的方法、装置及***
US20230004154A1 (en) Method for remotely controlled driving of a motor vehicle comprising a teleoperator, computer program product, and teleoperation driving system
CN112896159A (zh) 行车安全预警方法及***
CN113631411B (zh) 显示控制装置、显示控制方法及记录介质
JP2000351339A (ja) 運転装置の制御装置
JP2019114104A (ja) 見落し検知装置、見落し検知方法、およびプログラム
KR100811499B1 (ko) 자동차의 차선이탈경보 장치 및 그 방법
JP2011206072A (ja) 有効視野測定システムおよび有効視野測定方法
JP2021162542A (ja) 運転支援装置及びデータ収集システム
JP6956473B2 (ja) わき見状態判定装置
JP7432198B2 (ja) 状況認識推定システム及び運転支援システム
US11328591B1 (en) Driver assistance system for drivers using bioptic lenses

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100830

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121225

R150 Certificate of patent or registration of utility model

Ref document number: 5171629

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees