JP4905648B2

JP4905648B2 - 車両用刺激提示装置及び刺激提示方法

Info

Publication number: JP4905648B2
Application number: JP2006044318A
Authority: JP
Inventors: 健二小野; 菊紀篠原; 俊治清水; 幸広平田
Original assignee: Tokyo University of Science
Current assignee: Tokyo University of Science
Priority date: 2006-02-21
Filing date: 2006-02-21
Publication date: 2012-03-28
Anticipated expiration: 2026-02-21
Also published as: JP2007223380A

Description

本発明は、自車の走行シーンに応じた音や振動による刺激を運転者に与えて、運転の楽しさを実感させる車両用刺激提示装置及び刺激提示方法に関する。

近年、自動車等の車両においては、車載カメラで車両周囲の画像を撮影し、この車載カメラの撮影画像から有用な情報を取得して運転者に提示することで、運転者の運転操作を支援するシステムが種々提案されている（例えば、特許文献１や特許文献２等参照。）。

特許文献１に記載のものは、車両が走行路を逸脱したことを検知して運転者にその旨を報知するシステムであり、特に、車載カメラの撮影画像を処理して車両の走行路に対する横変位を検出し、横変位の標準偏差から運転者の意識レベルを評価して、車両の横変位量と運転者の意識レベルとに基づいて、報知のパターンを変化させるようにしている。

また、特許文献２に記載のものは、車両後方の障害物を検知して運転者にその旨を報知するシステムであり、車載カメラで事前に撮影された障害物のない状況下での車両後方の撮影画像と、車両が後退走行を開始する直前に車載カメラで撮影された車両後方の撮影画像とを比較して車両後方に障害物が存在するか否かを判定し、障害物が存在することを検知したときには運転者にその旨の報知を行うようにしている。
特開平５−１０４９７６号公報特開２０００−１７７５１３号公報

しかしながら、上述した引用文献１に記載の技術や引用文献２に記載の技術をはじめとして、車載カメラの撮影画像を処理して運転者に何らかの情報を提示する従来のシステムは、何れも運転者が不適切な運転操作を行ってしまうことを未然に防止することを目的としたものであり、運転者に車両運転の臨場感を与えるような情報を提示することはできない。

すなわち、運転者が車両運転を楽しもうとしている場合などにおいては、例えば、ドライビングシミュレータやレーシングゲームなどのように、車両の走行シーンに合わせて様々に変化する効果音や振動などを与えると、車両運転の臨場感が高まって、運転者に運転の楽しさを実感させることができると考えられる。

しかしながら、車載カメラの撮影画像を処理して運転者に何らかの情報を提示する従来のシステムは、走行シーンに合わせて運転者に提示する情報の内容を変化させる構成とはなっておらず、このような車両運転の臨場感を高めるようなかたちでの情報の提示は困難である。

本発明は、以上のような従来の実情に鑑みて創案されたものであって、車載カメラで撮影された画像をもとに車両運転の臨場感を高めるようなかたちで運転者に刺激を与え、運転者に運転の楽しさを実感させることができる車両用刺激提示装置及び刺激提示方法を提供することを目的としている。

本発明は、自車前方の風景画像を車載カメラで撮影して、その風景画像を画像処理して自車の現在の走行シーンを推定し、推定した自車の現在の走行シーンに合わせて変化する態様の音や振動による刺激を発生させることで、自車の運転者に車両運転の臨場感を高めるような刺激を与えて、運転の楽しさを実感させることができるようにした。

本発明によれば、自車の現在の走行シーンに合わせて変化する態様の音や振動による刺激を発生させるようにしているので、自車の運転者に車両運転の臨場感を高めるような刺激を与えて、運転の楽しさを実感させることができる。

以下、本発明を適用して構成された車両用刺激提示装置の具体例について、図面を参照しながら説明する。

本実施形態の車両用刺激提示装置は、当該車両用刺激提示装置が搭載された車両である自車の前方の風景画像を車載カメラで撮影し、その風景画像を音に変換して、自車の現在の走行シーンに合わせて態様が変化する刺激音として、自車の運転者に提示するものである。

図１は、本実施形態の車両用刺激提示装置の構成を示すブロック図である。図１に示すように、この車両用刺激提示装置は、画像を音に変換する画像処理装置１０を主要な構成要素として備え、この画像処理装置１０の入力側に車載カメラ１と速度検出装置２とが接続され、画像処理装置１０の出力側にスピーカ３が接続された構成とされる。

車載カメラ１は、例えば自車前方のフロントバンパーなどに設置され、自車前方の風景画像を所定の撮影周期で連続的に撮影する。そして、車載カメラ１は、撮影した風景画像の画像データを、撮影周期に同期したフレーム単位で画像処理装置１０に出力する。

画像処理装置１０は、本発明に関わる部分として、輪郭検出部１１と、画像フィルタ部１２と、参照画像パターン記憶部１３と、画像パターン識別部１４と、画像パターン時間変化処理部１５と、提示音処理部１６とを備え、車載カメラ１から入力された自車前方の風景画像の画像データを処理して、自車の現在の走行シーンを推定し、それに合わせて態様の変化する刺激音をスピーカ３から出力させる。

本実施形態の車両用刺激提示装置においては、この画像処理装置１０の輪郭検出部１１及び画像フィルタ部１２がパターン抽出手段に相当し、参照画像パターン記憶部１３、画像パターン識別部１４及び画像パターン時間変化処理部１５が走行シーン推定手段に相当し、提示音処理部１６が刺激制御手段に相当する。また、スピーカ３が刺激発生手段に相当する。すなわち、本実施形態の車両用刺激提示装置では、車載カメラ１で撮影された自車前方の風景画像が画像処理装置１０に入力されると、輪郭検出部１１及び画像フィルタ部１２での処理によりこの風景画像から特定のパターンが抽出され、画像パターン識別部１４及び画像パターン時間変化処理部１５により、参照画像パターン記憶部１３に記憶された参照画像パターンを用いて、風景画像から抽出された特定のパターンの種類や時間的変化に基づき、自車の現在の走行シーンが推定される。そして、提示音処理部１６により、推定された自車の現在の走行シーンに合わせて態様の変化する刺激音が生成され、この刺激音が自車の運転者に対して車両運転の臨場感を高めるような刺激としてスピーカ３より出力される。

詳述すると、車載カメラ１から画像処理装置１０にフレーム単位で入力された風景画像の画像データは、まず、デジタルデータに変換された上で輪郭検出部１１に供給され、輪郭検出部１１において例えば既知のエッジ検出などの処理が行われて、風景画像に含まれる車両や道路などの輪郭が検出される。そして、輪郭検出部１１にて処理された風景画像が、画像フィルタ部１２において所定のフィルタリング処理が行なわれることで、余分な部分が取り除かれ、車両や道路などの特定のパターンが抽出される。

具体的な例を挙げて説明すると、例えば、車載カメラ１により図２（ａ）に示すような自車前方の風景画像が撮影された場合、この風景画像は、画像処理装置１０の輪郭検出部１１において図２（ｂ）に示すようなエッジ画像に加工され、さらに画像フィルタ部１２において図２（ｃ）に示すようなパターン画像に加工される。つまり、図２（ａ）に示すように、比較的広い直線道路を自車が走行中で前方に１台の先行車と１台の対向車が存在する風景が車載カメラ１により風景画像として撮影されると、画像処理装置１０の輪郭検出部１１及び画像フィルタ部１２での処理を経て、この風景画像から、画像内のある１点に集束する直線のパターンが、直線道路の道路側部やセンターライン、車線区分線などを表す道路パターンＰ１として抽出され、道路上に存在する２つの略矩形のパターンが、自車前方の先行車や対向車を表す車両パターンＰ２として抽出される。

また、例えば、車載カメラ１により図３（ａ）に示すような自車前方の風景画像が撮影された場合、この風景画像は、画像処理装置１０の輪郭検出部１１において図３（ｂ）に示すようなエッジ画像に加工され、さらに画像フィルタ部１２において図３（ｃ）に示すようなパターン画像に加工される。つまり、図３（ａ）に示すように、比較的狭い右カーブの道路を自車が走行中で前方に１台の先行車が存在する風景が車載カメラ１により風景画像として撮影されると、画像処理装置１０の輪郭検出部１１及び画像フィルタ部１２での処理を経て、この風景画像から、画像内のある１点に集束する曲線のパターンが、カーブ路の道路側部やセンターライン、車線区分線などを表す道路パターンＰ１として抽出され、道路上に存在する１つの略矩形のパターンが、自車前方の先行車を表す車両パターンＰ２として抽出される。

なお、ここでは、自車の現在の走行シーンを推定するために用いる特定のパターンとして、直線道路やカーブ路を表す道路パターンＰ１や自車前方の先行車や対向車を表す車両パターンＰ２を自車前方の風景画像から抽出しているが、これら道路パターンＰ１や車両パターンＰ２以外にも、例えば、道路脇の建造物や樹木、道路上の信号機や標識などの構造物、道路上の歩行者や二輪車などを表すパターンを、自車の現在の走行シーンを推定するための特定のパターンとして自車前方の風景画像から抽出するようにしてもよい。

画像フィルタ部１２において風景画像から道路パターンＰ１や車両パターンＰ２などの特定のパターンが抽出されると、画像パターン識別部１４により、その風景画像から抽出された道路パターンＰ１や車両パターンＰ２などの特定のパターンが、参照画像パターン記憶部１３に記憶されている参照画像パターンと照合され、自車の現在の走行シーンが推定される。すなわち、参照画像パターン記憶部１３には、例えば、様々な形状の道路に対応した各種の道路パターンや、自車に対して様々な位置関係で存在する車両に対応した各種の車両パターンなどが、参照画像パターンとして予め記憶されている。そして、これら参照画像パターン記憶部１３に記憶されている各種道路パターンや各種車両パターンなどの組み合わせにより、例えば図４にその一部を例示するように、自車の様々な走行シーンに対応した自車前方の風景画像全体を表す参照画像パターンが得られるようになっている。画像パターン認識部１４は、参照画像パターン記憶部１３に記憶されている各種道路パターンや各種車両パターンなどの組み合わせの中から、風景画像から抽出された道路パターンＰ１や車両パターンＰ２などの特定のパターンの組み合わせに最も近いものを特定し、特定した風景画像全体の参照画像パターンに基づいて、例えば、自車が直線道路を走行中であるのか或いはカーブ路を走行中であるのか、また、どの程度の道幅の道路を走行中であるのか、さらには、前方に先行車や対向車が存在するのかといった、自車の現在の走行シーンを推定する。

なお、自車が走行している道路の道幅については、風景画像から抽出された道路パターンＰ１と参照画像パターン記憶部１３に記憶されている各種道路パターンとの比較で推定する手法以外にも、例えば、図２（ｃ）や図３（ｃ）に示したようなパターン画像の中で自車から規定距離前方における左右両端の道路パターンＰ１間の距離Ｗを測定するといった手法でも推定することが可能である。

また、例えば、自車が対向車とすれ違うシーンや先行車を追い越すシーンといったように、時間変化の要素が加わる走行シーンについては、画像パターン時間変化処理部１５において、風景画像から抽出された道路パターンＰ１や車両パターンＰ２などの特定のパターンの時間的変化が、速度検出装置２から得られる自車の走行速度と合わせて把握されることで推定される。すなわち、画像パターン時間変化処理部１５は、画像パターン識別部１４での処理結果を、車載カメラ１で撮影された風景画像の複数フレームに亘って一時的に記憶しておき、各フレーム毎の処理結果を比較することによって、風景画像から抽出された道路パターンＰ１や車両パターンＰ２などの特定のパターンの時間的変化を認識する。なお、各パターンの時間的変化とは、例えば、道路パターンであれば道路が直線道路からカーブ路に変わったといったような形状の変化や道幅の変化などであり、車両パターンであれば自車に対する先行車或いは対向車の相対位置の変化や画像上での寸法変化などである。そして、画像パターン時間変化処理部１５は、速度検出装置２から得られる自車の走行速度に対して、風景画像から抽出された道路パターンＰ１や車両パターンＰ２などの特定のパターンが時間の経過とともにどのように変化しているかを特定し、それに基づき、自車が対向車とすれ違うシーンであるとか、先行車を追い越すシーンであるとかいったような時間変化の要素が加わる走行シーンを推定する。

ここで、自車前方の車両が先行車であるか対向車であるかは、例えば、以下の手法により区別することが可能である。すなわち、画像パターン時間変化処理部１５は、自車の走行速度Ｖに対する道路上の静止物体の画面上での時間的な寸法変化を、走行速度Ｖの関数：ΔＬ＝ｆ（Ｖ）として予め記憶しておく。そして、画像パターン時間変化処理部１５は、複数フレームに亘り風景画像から抽出された車両パターンＰ２の時間的な寸法変化がΔＬよりも小さければ、当該車両パターンＰ２が自車前方の先行車を表す車両パターンであると判定し、複数フレームに亘り風景画像から抽出された車両パターンＰ２の時間的な寸法変化がΔＬよりも大きければ、当該車両パターンＰ２が自車前方の対向車を表す車両パターンであると判定する。

画像パターン識別部１４や画像パターン時間変化処理部１５により、風景画像から抽出された道路パターンＰ１や車両パターンＰ２などの特定のパターンの種類や時間的変化に基づいて自車の現在の走行シーンが推定されると、提示音処理部１６により、推定された走行シーンに合わせて態様の変化する刺激音が生成される。そして、この刺激音が、自車の運転者に対して車両運転の臨場感を高めるような刺激として、スピーカ３より出力される。なお、自車の現在の走行シーンに合わせて変化する刺激音の態様とは、例えば、１つ１つの音の出力間隔（断続的な刺激音の場合）、音の周波数、音圧の何れか、或いはこれらの組み合わせである。

ここで、自車の現在の走行シーンが対向車とすれ違うシーンであると推定された場合を例に挙げて、提示音処理部１６で生成されてスピーカ３から出力される刺激音の具体例について説明する。

自車が対向車とすれ違うシーンにおける道路パターンＰ１及び車両パターンＰ２の時間的変化の様子を図５に示す。自車が対向車とすれ違うシーンでは、自車前方の対向車を表す車両パターンＰ２が、図５（ａ）から図５（ｂ）、図５（ｃ）といったように、時間の経過とともにその寸法を次第に大きくし、また、自車に対する相対位置、すなわち画像内での位置が、時間の経過とともに中央部から右下部へと変化していく。画像処理装置１０の画像パターン時間変化処理部１５では、このような傾向の車両パターンＰ２の時間的変化を、風景画像から車両パターンＰ２が抽出された初期の段階で判断するとともに、車両パターンＰ２が自車前方の対向車を表す車両パターンであることを上述した手法で判定し、自車の現在の走行シーンが対向車とすれ違うシーンであると推定する。そして、画像パターン時間変化処理部１５は、その後の対向車と自車との相対位置関係の変化を追跡しながら、提示音処理部１６に対して、自車の現在の走行シーンが対向車とすれ違うシーンである旨の情報や、時々刻々と変化する対向車と自車との相対位置関係の情報を随時出力する。

提示音処理部１６では、画像パターン時間変化処理部１５により自車の現在の走行シーンが対向車とすれ違うシーンであると推定されてその旨の情報が与えられると、例えば図６に示すように、対向車と自車との相対位置関係の変化に合わせて音圧や音の周波数が変化する継続的な刺激音を生成して、生成した刺激音をスピーカ３から随時出力させる。すなわち、自車の現在の走行シーンが対向車とすれ違うシーンである場合には、自車が対向車とすれ違う瞬間の時刻Ｔ１よりも前の段階では、高い周波数の継続的な刺激音を、音圧が自車と対向車との間の距離の２乗に反比例して次第に大きくなるようにスピーカ３から出力させ、自車が対向車とすれ違う瞬間の時刻Ｔ１以降では、周波数をすれ違う前よりも低い周波数に変化させた継続的な刺激音を、音圧が自車と対向車との間の距離の２乗に反比例して次第に小さくなるようにスピーカ３から出力させる。

なお、自車が対向車とすれ違う瞬間の時刻Ｔ１以降は、車載カメラ１で撮影される自車前方の風景画像に対向車が映らなくなってしまうので、すれ違った後の対向車の変化は、風景画像から抽出した車両パターンＰ２の変化から追うことはできない。そこで、対向車が車載カメラ１の撮影範囲外に移動した後（自車とすれ違った後）は、車載カメラ１の撮影範囲外に移動する直前（自車とすれ違う直前）までの車両パターンＰ２の変化から、対向車のその後の動きを推定する。すなわち、すれ違い直前の自車と対向車の相対速度及び相対加速度がその後も一定に保たれると仮定して、すれ違い直前の相対速度及び相対化速度から、すれ違った後の対向車の移動量を計算して自車との相対位置関係を推定する。

自車が対向車とすれ違うシーンと推定された場合にスピーカ３から出力される以上のような刺激音の態様の変化は、普段、救急車とすれ違う際に聞くサイレンの音がドップラー効果で変化して聞こえてくるものと同様の音の変化である。このように、運転者の経験と合致した刺激を刺激音として増幅して与えることによって、自車の運転者に車両運転の臨場感を与えて、爽快感や心地よさなどを喚起し、運転の楽しさを実感させることができる。ここで、スピーカ３から出力させる刺激音は単音や和音でもよいが、自動車のエンジン音や排気音などを模擬した音を刺激音としてスピーカ３から出力させるようにすれば、対象物が自動車であることが判りやすく、より効果的である。また、自車が対向車とすれ違う間に道幅が変化したり、直線道路とカーブ路との切り替わりなど、道路形状が変化したりした場合には、その変化に合わせてスピーカ３から出力させる刺激音の態様を変化させるようにしてもよい。

次に、自車の現在の走行シーンが先行車を追い越すシーンであると推定された場合を例に挙げて、提示音処理部１６で生成されてスピーカ３から出力される刺激音の具体例について説明する。

自車が対向車とすれ違うシーンにおける道路パターンＰ１及び車両パターンＰ２の時間的変化の様子を図７に示す。自車が先行車を追い越すシーンでは、自車前方の先行車を表す車両パターンＰ２が、図７（ａ）から図７（ｂ）、図７（ｃ）といったように、時間の経過とともにその寸法を次第に大きくし、また、自車に対する相対位置、すなわち画像内での位置が、時間の経過とともに中央部から左下部へと変化していく。画像処理装置１０の画像パターン時間変化処理部１５では、このような傾向の車両パターンＰ２の時間的変化を、風景画像から車両パターンＰ２が抽出された初期の段階で判断するとともに、車両パターンＰ２が自車前方の先行車を表す車両パターンであることを上述した手法で判定し、自車の現在の走行シーンが先行車を追い越すシーンであると推定する。そして、画像パターン時間変化処理部１５は、その後の先行車と自車との相対位置関係の変化を追跡しながら、提示音処理部１６に対して、自車の現在の走行シーンが先行車を追い越すシーンである旨の情報や、時々刻々と変化する先行車と自車との相対位置関係の情報を随時出力する。

提示音処理部１６では、画像パターン時間変化処理部１５により自車の現在の走行シーンが先行車を追い越すシーンであると推定されてその旨の情報が与えられると、例えば図８に示すように、先行車と自車との相対位置関係の変化に合わせて、１つ１つの音の出力間隔ｄや音圧、音の周波数が変化する断続的な刺激音を生成して、生成した刺激音をスピーカ３から随時出力させる。すなわち、自車の現在の走行シーンが先行車を追い越すシーンである場合には、スピーカ３から出力させる刺激音を断続音とし、自車が先行車を追い越す瞬間の時刻Ｔ２よりも前の段階では、自車が先行車に近づくにしたがって１つ１つの音の出力間隔ｄを次第に短くし、また、音の周波数が次第に高く、音圧が次第に大きくなるように変化する断続的な刺激音をスピーカ３から出力させ、自車が先行車を追い越す瞬間の時刻Ｔ２以降では、追い越した先行車が遠ざかるにしたがって１つ１つの音の出力間隔ｄを次第に長くし、また、音の周波数が次第に低く、音圧が次第に小さくなるように変化する断続的な刺激音をスピーカ３から出力させる。

なお、自車が先行車を追い越す瞬間の時刻Ｔ２以降は、車載カメラ１で撮影される自車前方の風景画像に先行車が映らなくなってしまうので、先行車が車載カメラ１の撮影範囲外に移動した後（先行車を追い越した後）は、対向車とすれ違う場合と同様の手法により、車載カメラ１の撮影範囲外に移動する直前までの車両パターンＰ２の変化から、先行車のその後の動きを推定する。すなわち、追い越し直前の自車と先行車の相対速度及び相対加速度がその後も一定に保たれると仮定して、追い越し直前の相対速度及び相対化速度から、追い越した後の先行車の移動量を計算して自車との相対位置関係を推定する。

自車が先行車を追い越すシーンと推定された場合にスピーカ３から出力される以上のような刺激音の態様の変化は、先行車を追い越すの際の運転者の興奮度合いを増長させる変化である。自車が先行車を追い越すシーンでこのような刺激音を与えることによって、自車の運転者に車両運転の臨場感を与えて、わくわく感などを喚起し、運転の楽しさを実感させることができる。ここで、スピーカ３から出力させる刺激音は単音や和音でもよいが、上述した対向車とすれ違うシーンの例と同様に、自動車のエンジン音や排気音などを模擬した音を刺激音としてスピーカ３から出力させるようにすれば、対象物が自動車であることが判りやすく、より効果的である。また、自車が先行車を追い越す間に道幅が変化したり、直線道路とカーブ路との切り替わりなど、道路形状が変化したりした場合には、その変化に合わせてスピーカ３から出力させる刺激音の態様を変化させるようにしてもよい。

以上、自車の現在の走行シーンが対向車とすれ違うシーンであると推定された場合と、自車の現在の走行シーンが先行車を追い越すシーンであると推定された場合を例に挙げて、スピーカ３から出力される刺激音の態様の変化について具体的に説明したが、本実施形態の車両用刺激提示装置では、以上のような対向車とすれ違うシーンや先行車を追い越すシーン以外でも、自車の様々な走行シーンに合わせて態様が変化する刺激音をスピーカ３から出力させる。

例えば、自車前方に先行車や対向車などの車両が存在しない場合であっても、自車が現在走行している道路の道幅に応じて、態様の変化する刺激音をスピーカ３から出力させることによって、自車の運転者が現在走行している道路の道幅から感じ取る感性を増長させて、運転者に運転の楽しさを実感させることができる。また、自車前方に先行車や対向車などの車両が存在しない場合であっても、自車が現在走行している道路が直線道路であるかカーブ路であるかといった道路形状に応じて、態様の変化する刺激音をスピーカ３から出力させるようにすれば、自車の運転者が現在走行している道路の道路形状から感じ取る感性を増長させて、運転者に運転の楽しさを実感させることができる。

具体的には、例えば、自車が広い道路を走行中の場合や直線道路を走行中の場合は、ゆったりとしたテンポの刺激音をスピーカ３から出力させて癒し感を与え、自車が狭い道路を走行中の場合やカーブ路を走行中の場合には、速いテンポの刺激音をスピーカ３から出力させて緊張感を高めるといった効果が期待できる。また、自車の運転者の個人特性に合わせて、以上の例とは逆に、自車が広い道路を走行中の場合や直線道路を走行中の場合に覚醒度が高まる早いテンポの刺激音をスピーカ３から出力させ、自車が狭い道路を走行中の場合やカーブ路を走行中の場合にゆったりしたテンポの刺激音で緊張感を和らげるようにしてもよい。

また、自車が市街地を走行中であるのか、或いは郊外を走行中であるのかといったような、自車が現在走行している道路環境に応じて、態様の変化する刺激音をスピーカ３から出力させるようにすれば、自車の運転者が周囲の風景から感じ取る感性を増長させて、運転者に運転の楽しさを実感させることができる。具体的には、例えば、自車が市街地を走行中の場合には速いテンポの刺激音をスピーカ３から出力させて緊張感を高め、自車が郊外を走行中の場合はゆったりとしたテンポの刺激音をスピーカ３から出力させて癒し感を与えるといった効果が期待できる。なお、自車が現在走行している道路環境が市街地であるか、或いは郊外であるかの推定は、例えば、画像処理装置１０の輪郭検出部１１や画像フィルタ部１２で、車載カメラ１により撮影された自車前方の風景画像から建物や樹木などを表すパターンを特定のパターンとして抽出し、これら建物や樹木などを表すパターンが抽出される頻度などを確認することで実現できる。すなわち、建物を表すパターンが頻繁に抽出されれば市街地を走行中、樹木を表すパターンが頻繁に抽出されれば郊外を走行中といった推定が可能である。また、画像処理装置１０の輪郭検出部１１で得られた図２（ｂ）や図３（ｂ）に示したようなエッジ画像から、比較的長い直線のエッジ成分が多く抽出されれば市街地を走行中、細かなエッジ成分が多く抽出されれば郊外を走行中といった推定も可能である。

また、その他、例えば、自車が渋滞中の道路を走行しているか、或いは空いている道路を走行しているのかといったような様々な走行シーンに応じて、スピーカ３から出力させる刺激音の態様を変化させることが望ましい。

図９は、以上のような本実施形態の車両用刺激提示装置における一連の動作の流れを示すフローチャートである。この図９のフローチャートで示すように、本実施形態の車両用刺激提示装置では、自車の運転者による電源スイッチの操作などにより電源が投入されると、まず、ステップＳ１において、車載カメラ１により自車前方の風景画像が撮影され、この車載カメラ１によって撮影された風景画像の画像データが、画像処理装置１０に入力される。そして、ステップＳ２において、画像処理装置１０の輪郭検出部１１及び画像フィルタブ１２により、自車前方の風景画像から道路パターンや車両パターンなどの特定のパターンが抽出される。

以上のステップＳ１及びステップＳ２の処理は、車載カメラ１の撮影周期に同期して繰り返し行われる。そして、ステップＳ３において、画像処理装置１０の画像パターン識別部１４及び画像パターン時間変化処理部１５により、ステップＳ２で抽出された道路パターンや車両パターンなどの特定のパターンの種類や時間的変化に基づいて、自車の現在の走行シーンが推定される。このステップＳ３における走行シーンの推定では、例えば、自車が現在走行している道路の道幅や道路形状などといった大きな分類での走行シーンについては、車載カメラ１で撮影された風景画像の１つ１つのフレーム毎に判断され、自車が対向車とすれ違うシーンや自車が先行車を追い越すシーンといったように、時間的変化の要素を含む走行シーンについては、車載カメラ１で撮影された風景画像の複数フレームに亘る特定のパターンの変化から判断される。

ステップＳ３で自車の現在の走行シーンが推定されると、次に、ステップＳ４において、画像処理装置１０の提示音処理部１６により、自車の現在の走行シーンに合わせて態様の変化する刺激音が生成され、ステップＳ５において、この画像処理装置１０の提示音処理部１６で生成された刺激音がスピーカ３から出力される。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態の車両用刺激提示装置によれば、車載カメラ１で撮影された自車前方の風景画像から道路パターンや車両パターンなどの特定のパターンを抽出し、これら特定のパターンの種類や時間的変化に基づいて自車の現在の走行シーンを推定し、推定した自車の現在の走行シーンに合わせて態様の変化する刺激音をスピーカ３から出力させるようにしているので、自車の運転者に車両運転の臨場感を高めるような刺激を与えて、運転の楽しさを実感させることができる。具体的には、例えば、対向車とすれ違う走行シーンや先行車を追い越す走行シーンでは、対向車や先行車が自車に近づいたり離れたりすることに呼応して変化する車両のエンジン音や排気音を模擬した刺激音など、運転者に視覚情報と合致した聴覚への刺激を与えることによって、通常の運転時に得られる感覚よりも増幅した感覚を運転者に与え、車両運転の臨場感を高めることができる。

また、広々とした道路や変化の少ない直線道路を走行中といった走行シーンではゆったりとしたテンポの刺激音を与えることで、安らぎや癒しなどの情動を喚起することができ、狭い道路やカーブ路、目まぐるしく変化する道路などの高い覚醒状態が必要な走行シーンでは速いテンポの刺激音によりの刺激音を与えることで、興奮状態を作り出し運転を楽しくするとともに、寝不足、疲労などでぼんやりとした頭を活性化してキビキビした運転へと変化させることができる。

なお、以上説明した車両用刺激提示装置は、本発明の一適用例を例示したものであり、本発明の技術的範囲は、以上の実施形態の説明で開示した内容に限定されるものではなく、これらの開示から容易に導き得る様々な代替技術も含まれることは勿論である。例えば、上述した車両用刺激提示装置では、自車の現在の走行シーンに合わせて態様が変化する刺激として、スピーカ３から断続又は継続的な刺激音を出力させるようにしているが、刺激音を出力する代わりに、或いは刺激音の出力と合わせて、自車の現在の走行シーンに合わせて態様が変化する振動を、自車の運転者への刺激として発生させるようにしてもよい。この場合は、例えば振動モータなどの振動発生器を画像処理装置１０に接続し、画像処理装置１０に画像を振動に変換する機能を持たせて、自車の現在の走行シーンに合わせて振動発生器が発生する振動の周波数や振幅の大きさなどを変化させるようにすればよい。

本発明を適用した車両用刺激提示装置の構成を示すブロック図である。車載カメラで撮影された自車前方の風景画像から特定のパターンを抽出する処理を説明する図であり、(ａ)は車載カメラで撮影された風景画像の一例、（ｂ）は(ａ)の風景画像を輪郭検出部で加工して得られるエッジ画像、（ｃ）は（ｂ）のエッジ画像を画像フィルタ部で加工して得られるパターン画像である。車載カメラで撮影された自車前方の風景画像から特定のパターンを抽出する処理を説明する図であり、(ａ)は車載カメラで撮影された風景画像の他の例、（ｂ）は(ａ)の風景画像を輪郭検出部で加工して得られるエッジ画像、（ｃ）は（ｂ）のエッジ画像を画像フィルタ部で加工して得られるパターン画像である。参照画像パターン記憶部に記憶されている各種道路パターンや各種車両パターンなどの組み合わせにより得られる自車前方の風景画像全体を表す参照画像パターンの例を一覧として示す図である。自車が対向車とすれ違うシーンにおける道路パターン及び車両パターンの時間的変化の様子を示す図であり、（ａ）は対向車が自車から離れている状態でのパターン画像、（ｂ）は対向車が自車に近づいてくる過程でのパターン画像、（ｃ）は対向車が自車に接近している状態でのパターン画像である。自車が対向車とすれ違うシーンでスピーカから出力される刺激音の態様の変化の様子を示す図である。自車が先行車を追い越すシーンにおける道路パターン及び車両パターンの時間的変化の様子を示す図であり、（ａ）は先行車が自車から離れている状態でのパターン画像、（ｂ）は先行車が自車に近づいてくる過程でのパターン画像、（ｃ）は先行車が自車に接近している状態でのパターン画像である。自車が先行車を追い越すシーンでスピーカから出力される刺激音の態様の変化の様子を示す図である。本発明を適用した車両用刺激提示装置における一連の動作の流れを示すフローチャートである。

符号の説明

１車載カメラ
２速度検出装置
３スピーカ
１０画像処理装置
１１輪郭検出部
１２画像フィルタ部
１３参照画像パターン記憶部
１４画像パターン識別部
１５画像パターン時間変化処理部
１６提示音処理部

Claims

自車前方の風景画像を撮影する車載カメラと、
前記車載カメラにより撮影された風景画像を処理して、当該風景画像から特定のパターンを抽出するパターン抽出手段と、
前記パターン抽出手段により抽出された特定のパターンの種類及び／又は時間的変化に基づいて、自車の現在の走行シーンを推定する走行シーン推定手段と、
音及び／又は振動による刺激を発生する刺激発生手段と、
前記刺激発生手段が発生する音及び／又は振動による刺激の態様を、前記走行シーン推定手段により推定された自車の現在の走行シーンに合わせて変化させる刺激制御手段とを備え、
前記パターン抽出手段は、前記車載カメラにより撮影された画像から、車両輪郭を表す略矩形のパターンと、道路側部又はセンターライン又は車線区分線を表す直線又は曲線のパターンとを、前記特定のパターンとして抽出し、
前記走行シーン推定手段は、自車速度に対する道路上の静止物体の画像上の寸法変化を予め記憶しており、前記車両輪郭を表す矩形のパターンの画像上の寸法変化が前記道路上の静止物体の寸法変化よりも大きければ、当該矩形のパターンが対向車を表すパターンであると判定し、前記車両輪郭を表す矩形のパターンの画像上の寸法変化が前記道路上の静止物体の寸法変化よりも小さければ、当該矩形のパターンが先行車を表すパターンであると判定することを特徴とする車両用刺激提示装置。
前記刺激発生手段は、前記刺激として断続又は継続的な刺激音を発生し、
前記刺激制御手段は、前記走行シーン推定手段により推定された自車の現在の走行シーンに合わせて、前記刺激発生手段が発生する刺激音の出力間隔、音の周波数、音圧の少なくとも何れかを変化させることを特徴とする請求項１に記載の車両用刺激提示装置。
前記走行シーン推定手段は、自車の現在の走行シーンが対向車とすれ違うシーンであると推定したときに、当該対向車と自車との相対位置関係を算出し、
前記刺激制御手段は、前記走行シーン推定手段により算出された前記対向車と自車との相対位置関係の変化に合わせて変化する刺激を前記刺激発生手段から発生させることを特徴とする請求項１又は２に記載の車両用刺激提示装置。
前記走行シーン推定手段は、前記対向車が前記車載カメラの撮影範囲外に移動した後は、前記車載カメラの撮影範囲外に移動する直前の対向車と自車との相対速度及び相対加速度から、当該対向車と自車との相対位置関係を推定することを特徴とする請求項３に記載の車両用刺激提示装置。
前記刺激制御手段は、自車が対向車とすれ違う前の方が、自車が対向車とすれ違った後よりも高い周波数となり、且つ、自車と対向車との間の距離の２乗に反比例した音圧となるように、前記刺激発生手段が発生する音による刺激を変化させることを特徴とする請求項３又は４に記載の車両用刺激提示装置。
前記走行シーン推定手段は、自車の現在の走行シーンが先行車を追い越すシーンであると推定したときに、当該先行車と自車との相対位置関係を算出し、
前記刺激制御手段は、前記走行シーン推定手段により算出された前記先行車と自車との相対位置関係の変化に合わせて変化する刺激を前記刺激発生手段から発生させることを特徴とする請求項１又は２に記載の車両用刺激提示装置。
前記走行シーン推定手段は、前記先行車が前記車載カメラの撮影範囲外に移動した後は、前記車載カメラの撮影範囲外に移動する直前の先行車と自車との相対速度及び相対加速度から、当該先行車と自車との相対位置関係を推定することを特徴とする請求項６に記載の車両用刺激提示装置。
前記刺激制御手段は、自車と先行車との間の距離が短いほど間隔が短く、且つ、自車と先行車との間の距離が短いほど音圧及び周波数が高い断続音となるように、前記刺激発生手段が発生する音による刺激を変化させることを特徴とする請求項６又は７に記載の車両用刺激提示装置。
前記走行シーン推定手段は、自車が現在走行している道路の道幅を推定し、
前記刺激制御手段は、前記走行シーン推定手段により推定された自車が現在走行している道路の道幅に応じて、前記刺激発生手段が発生する刺激を変化させることを特徴とする請求項１又は２に記載の車両用刺激提示装置。
前記走行シーン推定手段は、自車が現在走行している道路の形状を推定し、
前記刺激制御手段は、前記走行シーン推定手段により推定された自車が現在走行している道路の形状に応じて、前記刺激発生手段が発生する刺激を変化させることを特徴とする請求項１又は２に記載の車両用刺激提示装置。
前記走行シーン推定手段は、自車が現在走行している道路環境が市街地であるか、或いは郊外であるかを推定し、
前記刺激制御手段は、前記走行シーン推定手段により推定された自車が現在走行している道路環境に応じて、前記刺激発生手段が発生する刺激を変化させることを特徴とする請求項１又は２に記載の車両用刺激提示装置。
自車前方の風景画像を撮影する第１のステップと、
前記第１のステップで撮影した風景画像を処理して、当該風景画像から特定のパターンを抽出する第２のステップと、
前記第２のステップで抽出した特定のパターンの種類及び／又は時間的変化に基づいて、自車の現在の走行シーンを推定する第３のステップと、
音又は振動による刺激を発生する第４のステップとを有し、
前記第４のステップでは、発生する音又は振動による刺激の態様を、前記第３のステップで推定した自車の現在の走行シーンに合わせて変化させ、
前記第２のステップでは、前記第１のステップで撮影した画像から、車両輪郭を表す略矩形のパターンと、道路側部又はセンターライン又は車線区分線を表す直線又は曲線のパターンとを前記特定のパターンとして抽出し、
前記第３のステップでは、自車速度に対する道路上の静止物体の画像上の寸法変化を予め記憶しており、前記車両輪郭を表す矩形のパターンの画像上の寸法変化が前記道路上の静止物体の寸法変化よりも大きければ、当該矩形のパターンが対向車を表すパターンであると判定し、前記車両輪郭を表す矩形のパターンの画像上の寸法変化が前記道路上の静止物体の寸法変化よりも小さければ、当該矩形のパターンが先行車を表すパターンであると判定することを特徴とする刺激提示方法。