以下、図面を参照して、本発明に係る車両用路面判定装置及び運転支援装置の実施の形態を説明する。なお、各図において同一又は相当する要素については同一の符号を付し、重複する説明を省略する。
本実施の形態では、本発明を、路面状態判定装置と運転支援装置からなる運転支援システム(但し、学習装置も備える形態がある)に適用する。本実施の形態に係る運転支援システムは、路面状態判定装置において集音器(マイクロホン)で集音された車両の走行音に基づいて路面状態を判定し、運転支援装置においてその路面状態に応じた運転支援を行う。本実施の形態には、5つの形態があり、第1〜第4の実施の形態が車両開発時に事前の学習を行う学習装置と車両出荷時に各車両に搭載される運転支援システムからなる形態であり、第5の実施の形態が車両出荷時に各車両に搭載される運転支援システムのみからなる形態である。
なお、車両の走行音は、主として、ロードノイズ(タイヤ表面と路面との摩擦音)とパターンノイズ(タイヤ溝における空気の渦(圧縮/開放))である。このようなロードノイズやパターンノイズは、路面状態によってタイヤと接触との接触状態が変わるので、路面状態に応じて変わる。この車両の走行音の周波数成分の範囲は、実験等によって予め測定しておいてもよい。
図1〜図5を参照して、第1の実施の形態に係る学習装置1Aと運転支援システム2Aについて説明する。図1は、第1〜第4の実施の形態に係る学習装置の構成図である。図2は、第1〜第4の実施の形態に係る運転支援システムの構成図である。図3は、路面状態の変化の一例である。図4は、本実施の形態に係る走行音の特徴量の説明図である。図5は、第1の実施の形態に係る走行音特徴量/路面状態テーブルの一例であり、(a)が特定の路面状態毎のテーブルであり、(b)が路面摩擦係数毎のテーブルである。
学習装置1Aでの事前の学習は車両開発時に行われ、その学習によるテーブルが各車両の運転支援システム2Aに搭載される。事前の学習を行う場合、走行音を収集する実験車両を用いて、各種路面状態の道路において実験車両を走行させる実車実験が行われる。
学習装置1Aについて説明する。学習装置1Aは、様々な路面状態で走行音を集音し、その路面状態毎の走行音データを用いて路面状態毎の走行音の特徴量のテーブルを生成する。学習装置1Aは、集音装置10Aとコンピュータ11Aを備えている。なお、学習装置1Aの構成としては、集音装置10Aとコンピュータ11Aを共に実験車両に搭載する構成でもよいし、あるいは、集音装置10Aとデータ記憶装置を実験車両に搭載し、室内のコンピュータ11Aにデータ記憶装置から走行音データを入力する構成でもよい。なお、第1の実施の形態では、学習装置1Aのコンピュータ11Aが特許請求の範囲に記載する学習手段に相当する。
集音装置10Aは、1個以上の集音器を有している。1個以上の集音器は、例えば、車両の前端部に車幅方向(左右方向)に並べて配置される(1個の場合は車両の前端部の中央に配置)。また、事前の実験では、各車輪の走行音を高精度に集音するために、各車輪の近くに集音器をタイヤと路面の設置箇所に向けて1個ずつ配置してもよい。集音器は、音響電気変換器であり、車外の周囲の音を集音し、集音した音を電気信号に変換する。集音装置10Aでは、実験車両走行中、集音器で音を集音し、集音した音データを記憶する。
実車実験では、各種路面状態の道路において実験車両を特定時間走行させ、集音装置10Aの集音器で音を集音する。この集音された音データは、データ記憶装置に記憶される。データ記憶装置に記憶することなく、音データをコンピュータ11Aに順次入力するようにしてもよい。路面状態としては、例えば、乾燥状態、湿潤状態、圧雪状態、氷膜状態、氷板状態のように特定の状態でもよいし、各段階の路面摩擦係数(路面μ)のように数値で表す状態でもよい。例えば、図3に示すような、乾燥状態の路面DRや湿潤状態の路面WR等の道路において、実験車両を特定時間走行させて走行音を集音する。あるいは、各段階の路面摩擦係数の道路において、実験車両を特定時間走行させて走行音を集音する。なお、実車実験では、同じ路面状態を複数回走行させ、同じ路面状態での走行音データを複数回分取得してもよい、あるいは、同じ路面状態で1回走行させ、同じ路面状態での走行音データを1回分取得してもよい。
コンピュータ11Aは、パーソナルコンピュータ等のコンピュータであり、走行音特徴量抽出部12A、学習部13A、走行音特徴量/路面状態テーブル記憶部14Aが構成される。コンピュータ11Aには、集音装置10Aの集音器で集音された各路面状態の音データ(電気信号)が入力される。コンピュータ11Aでは、前処理として、各音データに対して、アナログの電気信号をデジタルの電気信号に変換し、その電気信号から所定の周波数帯域(車両の走行音の周波数帯域を十分に含む帯域よりも高い高周波数帯域と低い低周波数帯域)を除去する。
走行音特徴量抽出部12Aでは、路面状態毎に、前処理後の集音器の音データから走行音の特徴量を抽出する。特徴量としては、本実施の形態では、図4に示すように、特定時間(例えば、20m秒)分の音データの特定周波数(例えば、500Hz〜2000Hz)におけるFFT[Fast Fourier Transform]の各周波数毎(例えば、10Hz)の強度をベクトル化したものとする。強度は、ノルムが1になるように正規化してもよい。なお、同じ路面状態で複数回分の走行音データを取得している場合には平均化した特徴量を抽出する。図4に示す例の場合、乾燥路面の特徴量Sdryは、500Hzでの強度i500、510HZでの強度i510、・・・、2000Hzでの強度i2000からなるベクトルである。
学習部13Aでは、路面状態毎に走行音特徴量抽出部12Aで抽出した走行音特徴量を関連付けて走行音特徴量/路面状態テーブルを生成する。図5(a)には、5つの特定の路面状態に対して、乾燥状態の走行音特徴量Sdry、湿潤状態の走行音特徴量Swet、圧雪状態の走行音特徴量Ssnow、氷膜状態の走行音特徴量Sice1、氷板状態の走行音特徴量Sice2からなるテーブルが示されている。また、図5(b)には、10段階の路面摩擦係数に対して、路面摩擦係数が1.0の走行音特徴量S10、路面摩擦係数が0.9の走行音特徴量S09、路面摩擦係数が0.8の走行音特徴量S08、・・・、路面摩擦係数が0.1の走行音特徴量S01からなるテーブルが示されている。
走行音特徴量/路面状態テーブル記憶部14Aは、コンピュータ11Aの記憶装置の所定の領域に構成され、学習部13Aで生成した走行音特徴量/路面状態テーブルが格納される。
運転支援システム2Aについて説明する。運転支援システム2Aは、車両に搭載され、車両走行中に集音した走行音データがどの路面状態であるかを判定し、その判定した路面状態に応じた運転支援を行う。運転支援システム2Aは、路面状態判定装置3Aと運転支援装置4Aからなる。
路面状態判定装置3Aについて説明する。路面状態判定装置3Aは、車両走行中に自車両の走行音を集音し、その自車両の走行音の特徴量を抽出し、その特徴量と走行音特徴量/路面状態テーブルとを比較し、現在走行中の路面状態を判定する。路面状態判定装置3Aは、集音装置30A、ECU[Electronic Control Unit]31Aを備えている。
集音装置30Aは、1個以上の集音器を有している。1個以上の集音器は、例えば、車両の前端部に車幅方向(左右方向)に並べて配置される(1個の場合は車両の前端部の中央に配置)。このように配置することによって、接近する他車両の認識等に用いる集音器と共用できる。集音装置30Aでは、車両走行中、集音器で音を集音し、集音した音データをECU31Aに送信する。なお、第1の実施の形態では、集音装置30Aの集音器が特許請求の範囲に記載する集音手段に相当する。
ECU31Aは、CPU[CentralProcessing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]等からなる電子制御ユニットであり、路面状態判定装置3Aを統括制御する。ECU31Aには、走行音特徴量抽出部32A、路面状態判定部33A、走行音特徴量/路面状態テーブル記憶部34Aが構成される。ECU31Aは、集音装置30Aから集音器で集音された音データ(電気信号)を受信する。ECU31Aでは、音データに対する前処理として、学習装置1Aのコンピュータ11Aと同様の処理を行う。なお、第1の実施の形態では、走行音特徴量抽出部32Aが特許請求の範囲に記載する特徴量抽出手段に相当し、路面状態判定部33Aが特許請求の範囲に記載する路面状態判定手段に相当する。
走行音特徴量/路面状態テーブル記憶部34Aは、ECU31Aの記憶装置の所定の領域に構成され、学習装置1Aの走行音特徴量/路面状態テーブル記憶部34Aに格納される走行音特徴量/路面状態テーブルが格納される。
走行音特徴量抽出部32Aは、学習装置1Aの走行音特徴量抽出部12Aと同様の処理を行う。走行音特徴量抽出部32Aでは、集音装置30Aの集音器の音データを受信する毎に、前処理後の音データを用いて走行音の特徴量を抽出する。
路面状態判定部33Aでは、走行音特徴量/路面状態テーブル記憶部34Aに格納される路面状態毎の走行音特徴量と、走行音特徴量抽出部32Aで抽出した特徴量とをそれぞれ比較し、走行音特徴量抽出部32Aで抽出した特徴量に最も近い特徴量を持つ路面状態(すなわち、自車両が現在走行中の路面状態)を判定する。この判定方法としては、既存の識別手法を利用し、例えば、k−NN[k-nearest neighbor]法(k近傍法)、多クラスSVM[MultiClass Support Vector Machine]がある。
ECU31Aでは、路面状態判定部33Aでの判定結果に基づいて路面状態情報を生成し、路面状態情報を運転支援装置4Aに送信する。この路面状態情報としては、例えば、現在走行中の路面状態が乾燥状態、湿潤状態、圧雪状態、氷膜状態、氷板状態等のいずれの状態かの情報、あるいは、現在走行中の路面の摩擦係数の情報である。
運転支援装置4Aは、各種センサやECU等からなり、運転者に対して各種運転支援する装置である。特に、運転支援装置4Aでは、路面状態判定装置3Aから路面状態情報を受信すると、路面状態が関連する運転支援を実施する。例えば、路面状態に応じて制御を変えるABSの場合、路面状態情報として乾燥状態の路面よりもスリップし易い低摩擦係数の路面状態の情報を取得すると、運転者がブレーキ操作中の場合には車輪がスリップする前にブレーキ制御を実施する(例えば、緩やかな減速度で安全な速度域まで車速を低下させる)。また、PCS[Pre-Crash Safety System]の場合、路面状態情報として乾燥状態の路面よりも低摩擦係数の路面状態の情報を取得すると、衝突の可能性のある障害物が存在する場合には注意喚起報や車両制御の選択、注意喚起や車両制御の内容及びタイミング等を変更する。この路面状態に応じた運転支援の手法としては、例えば、路面状態毎に注意喚起や車両制御等を設定しておき、判定された路面状態に応じた注意喚起、車両制御等を選択し、その選択した運転支援を実施する。なお、第1の実施の形態では、運転支援装置4Aが特許請求の範囲に記載する運転支援手段に相当する。
図1〜図5を参照して、第1の実施の形態の動作について説明する。特に、運転支援システム2Aでの動作については図6のフローチャートに沿って説明する。図6は、第1の実施の形態に係る運転支援システムにおける処理の流れを示すフローチャートである。
事前の実車実験において、各路面状態の道路において、実験車両を特定時間走行させる。その際、車両に搭載した学習装置1Aの集音装置10Aでは、集音器で車外の周囲の音を集音し、その集音した音を電気信号に変換して、その音データをデータ記憶装置に記憶させる。この路面状態毎に収集された集音器の音データは、学習装置1Aのコンピュータ11Aに入力される。コンピュータ11Aでは、各音データに対して、前処理を施す。
コンピュータ11Aでは、路面状態毎に、前処理後の集音器の音データから走行音の特徴量を抽出する。そして、コンピュータ11Aでは、路面状態毎に特徴量を対応付けてテーブルを生成し、そのテーブルを走行音特徴量/路面状態テーブル記憶部14Aに格納する。
各車両には、運転支援システム2Aが搭載され、運転支援システム2Aの路面状態判定装置3Aの走行音特徴量/路面状態テーブル記憶部34Aには学習装置1Aの走行音特徴量/路面状態テーブル記憶部14Aの走行音特徴量/路面状態テーブルが格納されている。
各車両では、路面状態判定装置3Aの集音装置30Aの集音器が、車外の周囲の音を集音(計測)し、その集音した音を電気信号に変換してECU31Aに送信している(S10)。ECU31Aでは、この集音器の音データを受信し、音データに対して前処理を施す。
ECU31Aでは、集音装置30Aからの集音器の音データを受信する毎に、前処理後の音データから走行音の特徴量を抽出する(S11)。そして、ECU31Aでは、走行音特徴量/路面状態テーブル記憶部34Aに格納されている走行音特徴量/路面状態テーブルに基づいて、抽出した特徴量がどの路面状態の特徴量に最も近いかを判定する(S12)。ECU31Aでは、その判定結果に基づいて路面状態情報を生成し、その路面状態情報を運転支援装置4Aに送信する。
運転支援装置4Aでは、路面状態判定装置3Aから路面状態情報を受信すると、その路面状態に応じて運転支援を行う(S13)。
第1の実施の形態によれば、学習装置1Aによる学習によって路面状態毎の走行音特徴量のテーブルを生成しておき、そのテーブルに基づいて実際に走行中の自車両の走行音特徴量がどの路面状態かを判定することにより、簡単な構成で路面状態を早期に判定できる。タイヤと接触する路面の状態が変化すると走行音も直ちに変化するので、車両の挙動が変化する前あるいは変化の初期段階で路面状態を早期に判定できる。このように早期に判定された路面状態を利用することにより、未来の車両の挙動変化を予測することができ、適切な運転支援を行うことができる。その結果、より安全な運転支援システムを提供できる。
また、第1の実施の形態によれば、車両の走行音から抽出した特徴量に基づいて路面状態を判定することにより、走行音の特徴量から路面状態を高精度かつ簡単に判定できる。さらに、第1の実施の形態によれば、事前に路面状態毎の走行音の特徴量を学習しておくことにより、路面状態をより高精度に判定できる。
図1、図2、図4、図7、図8を参照して、第2の実施の形態に係る学習装置1Bと運転支援システム2Bについて説明する。図7は、白線(車線)がペイントされた路面の一例であり、(a)が自車両が白線を踏んでいない場合であり、(b)が自車両の右前輪が白線を踏んでいる場合である。図8は、第2の実施の形態に係る走行音特徴量/路面状態テーブルの一例であり、(a)が路面と白線のテーブルであり、(b)が特定の路面状態毎の路面と白線のテーブルである。
第2の実施の形態は、第1の実施の形態と比較すると、判定対象の路面状態が車線の区画線(特に、路面上にペイントされる白線)である点が異なる。自車両が車線の区画線(白線)を踏んだか否かを判定することにより、運転支援としては車線逸脱の可能性を判断し、車線逸脱の可能性がある場合には逸脱警報や車両制御等を行う。学習装置1Bでの事前の学習は車両開発時に行われ、その学習によるテーブルが各車両の運転支援システム2Bに搭載される。事前の学習を行う場合、走行音を収集する実験車両を用いて、車輪が白線を踏んでいる状態と踏んでいない状態で実験車両を走行させる実車実験が行われる。なお、車線の区間線として白線としたが、黄線等の他の区画線も対象となる。
学習装置1Bについて説明する。学習装置1Bは、全車輪が白線(車線の区画線)を踏んでいない状態(全輪が白線がペイントされていない路面上)と車輪が白線を踏んでいる状態(少なくとも一輪が白線上)で走行音を集音し、路面上と白線上の走行音データを用いて路面上と白線上の走行音の特徴量のテーブルを生成する。さらに、第1の実施の形態と同様に路面状態毎に走行音を集音し、路面状態毎の路面上と白線上の走行音の特徴量のテーブルを生成する。学習装置1Bは、集音装置10Bとコンピュータ11Bを備えている。なお、第2の実施の形態では、学習装置1Bのコンピュータ11Bが特許請求の範囲に記載する学習手段に相当する。
集音装置10Bは、第1の実施の形態に係る集音装置10Aと同様の装置なので、説明を省略する。実車実験では、所定の路面状態(例えば、乾燥状態)において全輪が白線を踏んでいない状態(図7(a)参照)と少なくとも一輪が白線を踏んでいる状態(図7(b)参照)で実験車両を特定時間それぞれ走行させ、集音装置10Bの集音器で音を集音する。この集音された音データは、データ記憶装置に記憶される。データ記憶装置に記憶することなく、音データをコンピュータ11Bに順次入力するようにしてもよい。さらに、第1の実施の形態と同様に、各種路面状態の道路において、全輪が白線を踏んでいない状態と少なくとも一輪が白線を踏んでいる状態で実験車両を特定時間それぞれ走行させ、集音装置10Bの集音器で音を集音する。
コンピュータ11Bは、パーソナルコンピュータ等のコンピュータであり、走行音特徴量抽出部12B、学習部13B、走行音特徴量/路面状態テーブル記憶部14Bが構成される。コンピュータ11Bには、集音装置10Bの集音器で集音された所定の路面状態における白線を踏んでいない状態と白線を踏んでいる状態(あるいは、路面状態毎の白線を踏んでいない状態と白線を踏んでいる状態)の音データ(電気信号)が入力される。コンピュータ11Bでは、前処理として、各音データに対して、アナログの電気信号をデジタルの電気信号に変換し、その電気信号から所定の周波数帯域を除去する。
走行音特徴量抽出部12Bでは、白線を踏んでいない状態と白線を踏んでいる状態とについて(あるいは、路面状態毎の白線を踏んでいない状態と白線を踏んでいる状態とについて)、前処理後の集音器の音データから走行音の特徴量を抽出する。
学習部13Bでは、白線を踏んでいない状態(全輪が路面上)と白線を踏んでいる状態(少なくとも一輪が白線上)とについて(あるいは、路面状態毎の白線を踏んでいない状態と白線を踏んでいる状態とについて)、走行音特徴量抽出部12Bで抽出した走行音特徴量を関連付けて走行音特徴量/路面状態テーブルを生成する。図8(a)には、所定の路面状態において、全輪路面上の走行音特徴量Sと少なくとも一輪が白線上の走行音特徴量Pからなるテーブルが示されている。また、図8(b)には、5つの特定の路面状態に対して、乾燥状態において全輪路面上の走行音特徴量Sdryと少なくとも一輪が白線上の走行音特徴量Pdry、湿潤状態において全輪路面上の走行音特徴量Swetと少なくとも一輪が白線上の走行音特徴量Pwet、圧雪状態において全輪路面上の走行音特徴量Ssnowと少なくとも一輪が白線上の走行音特徴量Psnow、氷膜状態において全輪路面上の走行音特徴量Sice1と少なくとも一輪が白線上の走行音特徴量Pice1、氷板状態において全輪路面上の走行音特徴量Sice2と少なくとも一輪が白線上の走行音特徴量Pice2からなるテーブルが示されている。なお、路面状態としては、各段階の路面摩擦係数の路面状態でもよい。
走行音特徴量/路面状態テーブル記憶部14Bは、コンピュータ11Bの記憶装置の所定の領域に構成され、学習部13Bで生成した走行音特徴量/路面状態テーブルが格納される。
運転支援システム2Bについて説明する。運転支援システム2Bは、車両に搭載され、自車両走行中に集音した走行音データに基づいて車輪が白線(車線の区画線)を踏んでいるか否かを判定し、その判定結果に応じて車線逸脱の可能性を判断して運転支援を行う。運転支援システム2Bは、路面状態判定装置3Bと運転支援装置4Bからなる。
路面状態判定装置3Bについて説明する。路面状態判定装置3Bは、車両走行中に自車両の走行音を集音し、その自車両の走行音の特徴量を抽出し、その特徴量と走行音特徴量/路面状態テーブルとを比較し、車輪が白線上か否かを判定する。路面状態判定装置3Bは、集音装置30B、ECU31Bを備えている。
集音装置30Bは、第1の実施の形態に係る集音装置30Aと同様の構成である。集音装置30Bでは、車両走行中、集音器で音を集音し、集音した音データをECU31Bに送信する。なお、第2の実施の形態では、集音装置30Bの集音器が特許請求の範囲に記載する集音手段に相当する。
ちなみに、車輪毎に集音器がそれぞれ配置されている場合には車輪毎の走行音を集音できるので、車輪毎に白線を踏んでいるか否かの判定が可能である。1個の集音器が配置されている場合には車輪毎の走行音を集音できないので、四輪のうちのいずれかの車輪が白線を踏んでいるか否かの判定が可能である。
ECU31Bは、CPU、ROM、RAM等からなる電子制御ユニットであり、路面状態判定装置3Bを統括制御する。ECU31Bには、走行音特徴量抽出部32B、路面状態判定部33B、走行音特徴量/路面状態テーブル記憶部34Bが構成される。ECU31Bは、集音装置30Bから集音器で集音された音データ(電気信号)を受信する。ECU31Bでは、音データに対する前処理として、第1の実施の形態に係るECU31Aと同様の処理を行う。なお、第2の実施の形態では、走行音特徴量抽出部32Bが特許請求の範囲に記載する特徴量抽出手段に相当し、路面状態判定部33Bが特許請求の範囲に記載する路面状態判定手段に相当する。
走行音特徴量/路面状態テーブル記憶部34Bは、ECU31Bの記憶装置の所定の領域に構成され、学習装置1Bの走行音特徴量/路面状態テーブル記憶部34Bに格納される走行音特徴量/路面状態テーブルが格納される。
走行音特徴量抽出部32Bは、第1の実施の形態に係る走行音特徴量抽出部32Aと同様の処理を行う。走行音特徴量抽出部32Bでは、集音装置30Bの集音器の音データを受信する毎に、前処理後の音データを用いて走行音の特徴量を抽出する。
路面状態判定部33Bでは、走行音特徴量/路面状態テーブル記憶部34Bに格納される路面上と白線上との各走行音特徴量と、走行音特徴量抽出部32Bで抽出した特徴量とをそれぞれ比較し、走行音特徴量抽出部32Bで抽出した特徴量に近い方の特徴量を持つ路面状態(すなわち、全輪が路面上かあるいは少なく一輪が白線上か)を判定する。さらに、走行音特徴量/路面状態テーブルが路面状態毎の路面上と白線上との走行音特徴量のテーブルの場合、特定の路面状態についても判定する。
ECU31Bでは、路面状態判定部33Bでの判定結果に基づいて路面状態情報を生成し、路面状態情報を運転支援装置4Bに送信する。この路面状態情報としては、例えば、全輪が白線を踏んでいないかあるいは少なくとも一輪が白線を踏んでいるかの情報であり、さらに、特定の路面状態の情報である。
運転支援装置4Bは、各種センサやECU等からなり、運転者に対して各種運転支援する装置である。特に、運転支援装置4Bでは、路面状態判定装置3Bから路面状態情報を受信すると、全輪が白線を踏んでいないかあるいは少なくとも一輪が白線を踏んでいるかを判断し、白線を踏んでいる場合には車線逸脱の可能性があると判断し、運転支援を実施する。例えば、車線逸脱警報装置や車線逸脱防止装置の場合、図7(a)に示すように白線Lを踏んでいない場合には車線逸脱の可能性がないと判断し、図7(b)に示すように白線Lを踏んでいる場合には車線逸脱の可能性があると判断し、車線逸脱の可能性がある場合には予め設定されている警報出力やステアリング制御等の車両制御を行う。なお、第2の実施の形態では、運転支援装置4Bが特許請求の範囲に記載する運転支援手段に相当する。
図1、図2、図4、図7、図8を参照して、第2の実施の形態の動作について説明する。特に、運転支援システム2Bでの動作については図9のフローチャートに沿って説明する。図9は、第2の実施の形態に係る運転支援システムにおける処理の流れを示すフローチャートである。ここでは、路面状態は乾燥状態等の特定の路面状態の場合とし、運転支援として車線逸脱に関する運転支援する場合とする。
事前の実車実験において、全輪が白線を踏んでいない状態と少なくとも一輪が白線を踏んでいる状態で、実験車両を特定時間走行させる。その際、車両に搭載した学習装置1Bの集音装置10Bでは、集音器で車外の周囲の音を集音し、その集音した音を電気信号に変換して、そのデータをデータ記憶装置に記憶させる。この白線を踏んでいない状態と踏んでいる状態とで収集された集音器の音データは、学習装置1Bのコンピュータ11Bに入力される。コンピュータ11Bでは、各音データに対して、前処理を施す。
コンピュータ11Bでは、白線を踏んでいない状態と踏んでいる状態とについて、前処理後の集音器の音データから走行音の特徴量を抽出する。そして、コンピュータ11Bでは、白線を踏んでいない状態と踏んでいる状態とに特徴量を対応付けてテーブルを生成し、そのテーブルを走行音特徴量/路面状態テーブル記憶部14Bに格納する。
各車両には、運転支援システム2Bが搭載され、運転支援システム2Bの路面状態判定装置3Bの走行音特徴量/路面状態テーブル記憶部34Bには学習装置1Bの走行音特徴量/路面状態テーブル記憶部14Bの走行音特徴量/路面状態テーブルが格納されている。
各車両では、路面状態判定装置3Bの集音装置30Bの集音器が、車外の周囲の音を集音し、その集音した音を電気信号に変換してECU31Bに送信している(S20)。ECU31Bでは、この集音器の音データを受信し、音データに対して前処理を施す。
ECU31Bでは、集音装置30Bからの集音器の音データを受信する毎に、前処理後の集音器の音データから走行音の特徴量を抽出する(S21)。そして、ECU31Bでは、走行音特徴量/路面状態テーブル記憶部34Bに格納されている走行音特徴量/路面状態テーブルに基づいて、抽出した特徴量が白線を踏んでいないときの特徴量かあるいは白線を踏んでいるときの特徴量かを判定する(S22)。ECU31Bでは、その判定結果に基づいて路面状態情報を生成し、その路面状態情報を運転支援装置4Bに送信する。
運転支援装置4Bでは、路面状態判定装置3Bから路面状態情報を受信すると、その路面状態に基づいて全輪が路面上か否かを判定する(S23)。S23にて全輪が路面上と判定した場合、運転支援装置4Bでは、車線逸脱なしと判定する(S24)。S23にて少なくとも一輪が白線上と判定した場合、運転支援装置4Bでは、車線逸脱の可能性ありと判定し(S25)、運転者に対して注意喚起等を実施する(S26)。
第2の実施の形態によれば、学習装置1Bによる学習によって路面上と白線上との走行音特徴量のテーブルを生成しておき、そのテーブルに基づいて実際に走行中の自車両の車輪が路面上かあるいは白線上かを判定することにより、簡単な構成で車輪が白線を踏んでいるか否かを正確に判定できる。このように正確なタイミングの白線を踏んでいるか否かの情報を利用することにより、自車両がどのタイミングで車線を逸脱するかを正確に判定でき、自車両が実際に白線を踏んでから車線逸脱の警報や車両逸脱防止の車両制御を高精度なタイミングで行うことができる。その結果、より信頼感のある運転支援システムを提供できる。
図1、図2、図4、図10〜図13を参照して、第3の実施の形態に係る学習装置1Cと運転支援システム2Cについて説明する。図10は、第3の実施の形態に係るビームフォーミングの説明図である。図11は、白線(車線)がペイントされた路面において白線を踏んだ車輪の一例であり、(a)が自車両の右前輪が白線を踏んでいる場合であり、(b)が自車両の右後輪が白線を踏んでいる場合である。図12は、白線(車線)がペイントされた路面において白線を踏んだ車輪の他の例であり、(a)が自車両の右前輪が白線を踏んでいる場合であり、(b)が自車両の右前輪及び右後輪が白線を踏んでいる場合である。図13は、低摩擦係数の箇所がある路面において低摩擦係数の箇所に入った車輪の例であり、(a)が自車両の全輪が低摩擦係数の箇所に入っていない場合であり、(b)が自車両の前輪が低摩擦係数の箇所に入った場合であり、(c)が自車両の全輪が低摩擦係数の箇所に入った場合であり、(d)が自車両の後輪が低摩擦係数の箇所に入った場合であり、(e)が自車両の左輪が低摩擦係数の箇所に入った場合である。
第3の実施の形態は、第1、2の実施の形態と比較すると、車輪毎に走行音を取得して特徴量を抽出し、車輪毎の路面状態を判定し、車輪毎の路面状態に応じて運転支援する点が異なる。車線毎に路面状態が得られるので、より詳細で高精度な運転支援が可能となる。
第3の実施の形態では、車輪毎の走行音を取得するために、ビームフォーミングを利用し、ビームフォーミングによって集音器の指向性を自車両の各車輪にそれぞれ向けて各車輪の走行音を取得する。ビームフォーミングは最低2個の集音器で可能であるので、車輪毎に集音器を配置して車輪毎の走行音を取得する場合に比べてコストを低減できる。また、ビームフォーミングは接近する他車両の認識等に用いる集音器の取り付け位置でも可能であるので、このような他のシステムの集音器と共用でき、コストを低減できる。
図10を参照し、ビームフォーミングについて説明しておく。この例では、車両の前端部に左右方向に配置された2個の集音器ML,MRでビームフォーミングを行う場合があり、自車両の右前輪Wfrと左後輪Wrlの各車輪位置(タイヤと地面との接地点)がビームフォーミングの指向性対象位置とする。図10(a)に示すように、右前輪Wfrから発生する走行音は、先に右側集音器MRに達し、遅れて左側集音器MLに達する。この左側集音器MLへの遅延時間dfrは一定時間であり、音速は既知なので、集音器ML,MRの各位置と右前輪Wfrの接地位置(音源の位置)から遅延時間dfrを求めることができる。また、図10(b)に示すように、左後輪Wrlから発生する走行音は、先に左側集音器MLに達し、遅れて右側集音器MRに達する。この右側の集音器MRへの遅延時間drlは一定時間であり、上記と同様に、集音器ML,MRの各位置と左後輪Wrlの接地位置から遅延時間drlを求めることができる。実験等で検出しておく。ここで、図10(c)に示すように、右側集音器MRで集音した音データに対して遅延時間dfr分遅延させ、その遅延させ音データと左側集音器MLで集音した音データとを加算することによって右前輪Wfrの走行音データを取得でき、左側集音器MLで集音した音データに対して遅延時間drl分遅延させ、その遅延させ音データと右側集音器MRで集音した音データとを加算することによって左後輪Wrlの走行音データを取得できる。
学習装置1Cについて説明する。学習装置1Cは、第1の実施の形態に係る学習装置1Aあるいは第2の実施の形態に係る学習装置1Bと同様の学習装置である。したがって、詳細な説明を省略する。なお、事前の学習を行う場合、走行音を収集する実験車両を用いて、第1の実施の形態あるいは第2の実施の形態と同様に実験車両を走行させる実車実験が行われるが、各車輪毎や2個の以上の車輪の組み合わせ毎に路面状態や白線を踏んでいる状態を変えて実験車両を走行させて実車実験を行い、走行音特徴量/路面状態テーブルとして各車輪毎や2個の以上の車輪の組み合わせ毎のテーブルを生成してもよい。
運転支援システム2Cについて説明する。運転支援システム2Cは、車両に搭載され、車両走行中に集音した走行音データに基づいて自車両の車輪毎の路面状態を判定し、その判定結果に応じた運転支援を行う。運転支援システム2Cは、路面状態判定装置3Cと運転支援装置4Cからなる。
路面状態判定装置3Cについて説明する。路面状態判定装置3Cは、車両走行中に複数の集音器で自車両の音を集音し、その複数の音データを用いてビームフォーミングによって自車両の車輪毎の走行音を取得し、その車輪毎の走行音の特徴量を抽出し、その車輪毎の特徴量と走行音特徴量/路面状態テーブルとを比較し、現在走行中の自車両の車輪毎の路面状態を判定する。路面状態判定装置3Cは、集音装置30C、ECU31Cを備えている。
集音装置30Cは、2個以上の集音器を有している。2個以上の集音器は、例えば、車両の前端部に車幅方向(左右方向)に並べて配置される。集音装置30Bでは、車両走行中、各集音器で音をそれぞれ集音し、集音した音データをECU31Cに送信する。なお、第3の実施の形態では、集音装置30Cの集音器が特許請求の範囲に記載する集音手段に相当する。
ECU31Cは、CPU、ROM、RAM等からなる電子制御ユニットであり、路面状態判定装置3Cを統括制御する。ECU31Cには、走行音特徴量抽出部32C、路面状態判定部33C、走行音特徴量/路面状態テーブル記憶部34Cが構成される。ECU31Cは、集音装置30Cから各集音器でそれぞれ集音された音データ(電気信号)を受信する。ECU31Cでは、音データに対する前処理として、第1の実施の形態に係るECU31Aと同様の処理を行う。なお、第3の実施の形態では、走行音特徴量抽出部32Cが特許請求の範囲に記載する自車両ビームフォーミング手段及び特徴量抽出手段に相当し、路面状態判定部33Cが特許請求の範囲に記載する路面状態判定手段に相当する。
走行音特徴量/路面状態テーブル記憶部34Cは、ECU31Cの記憶装置の所定の領域に構成され、学習装置1Cの走行音特徴量/路面状態テーブル記憶部34Cに格納される走行音特徴量/路面状態テーブルが格納される。
走行音特徴量抽出部32Cでは、集音装置30Aの各集音器の音データを受信する毎に、前処理後の各集音器の音データを用いて、ビームフォーミングによって、自車両の車輪毎に走行音データを算出する。さらに、走行音特徴量抽出部32Cでは、自車両の車輪毎に、ビームフォーミングによる走行音データを用いて特徴量を抽出する。
路面状態判定部33Cでは、自車両の車輪毎に、走行音特徴量/路面状態テーブル記憶部34Cに格納される路面状態毎の走行音特徴量あるいは路面上と白線上との走行音特徴量と、走行音特徴量抽出部32Cで抽出した特徴量とをそれぞれ比較し、走行音特徴量抽出部32Cで抽出した特徴量に最も近い特徴量を持つ路面状態(すなわち、自車両が現在走行中の路面状態あるいは路面上か白線上か)を判定する。
ECU31Cでは、路面状態判定部33Cでの判定結果に基づいて路面状態情報を生成し、路面状態情報を運転支援装置4Cに送信する。この路面状態情報としては、例えば、車輪毎の特定の路面状態の情報、車輪毎の白線を踏んでいないか否かの情報である。
運転支援装置4Cは、各種センサやECU等からなり、運転者に対して各種運転支援する装置である。特に、運転支援装置4Cでは、路面状態判定装置3Cから路面状態情報を受信すると、車輪毎の路面状態に応じて運転支援を実施する。なお、第3の実施の形態では、運転支援装置4Cが特許請求の範囲に記載する運転支援手段に相当する。
例えば、路面状態情報として車輪毎の白線を踏んでいないか否かの情報が得られた場合には車線逸脱警報装置や車線逸脱防止装置に適用できる。図11(a)に示すように、まず、自車両の右前輪Wfrのみが白線Lを踏んだ場合、自車両の右前輪Wfrの走行音のみが変化し、自車両の右前輪Wfrのみが白線Lを踏んでいると判定され、その所定時間後に、図11(b)に示すように、自車両の右後輪Wrrが白線Lを踏んだ場合、自車両の右後輪Wrrの走行音が変化し、自車両の右後輪Wrrのみが白線Lを踏んでいると判定される。この場合、自車両が完全に車線を逸脱しているので、強い注意喚起や車両制御等を行う。強い注意喚起としては、例えば、車線逸脱する方向へのステアリング操作に対して反力を与える。また、車両制御としては、例えば、減速制御や車線逸脱する方向と反対方向へのステアリング制御がある。車両制御を行う場合には、自車両周辺の状況(他車両の有無等)に応じて制御を変更したほうがよい場合がある。
また、図12(a)に示すように、まず、自車両の右前輪Wfrのみが白線Lを踏んだ場合、自車両の右前輪Wfrの走行音のみが変化し、自車両の右前輪Wfrのみが白線Lを踏んでいると判定され、その所定時間後に、図12(b)に示すように、自車両の右前輪Wfrに加えて右後輪Wrrも白線Lを踏んだ場合、自車両の右前輪Wfrと右後輪Wrrの走行音が変化し、自車両の右前輪Wfrと右後輪Wrrが白線Lを踏んでいると判定される。この場合、自車両が車線を逸脱していないが、逸脱寸前であるので、弱い注意喚起等を行う。弱い注意喚起としては、例えば、音声出力やディスプレイ表示で注意喚起する。このような注意喚起や車両制御について、車輪毎の白線の踏む状態や踏む車輪の組み合わせに応じて予め決めておくとよい。
また、路面状態情報として車輪毎に水たまりやアイスバーン等の低摩擦係数の箇所に入っているか否かの情報が得られた場合の運転支援に適用できる。図13(a)に示すように全輪が乾燥状態の路面DRで通常走行しており、その所定時間後に、図13(b)に示すように前輪のみが低摩擦係数の箇所WRに入った場合、前輪の各輪Wfl、Wfrの走行音が変化し、自車両の前輪Wfl、Wfrが低摩擦係数の箇所WRに入ったと判定される。この場合、大きく転舵するのは危険を伴うので、ステアリング操作に対して反力を与える制御を行ったり、ギヤ比を変える制御や注意喚起等を行う。さらに、その所定時間後に、図13(c)に示すように全輪が低摩擦係数の箇所WRに入った場合、全輪Wfl、Wfr,Wrl、Wrrの走行音が変化し、自車両の全輪Wfl、Wfr,Wrl、Wrrが低摩擦係数の箇所WRに入ったと判定される。さらに、その所定時間後に、図13(d)に示すように全輪が低摩擦係数の箇所WRから抜けた場合、後輪の各輪Wrl、Wrrの走行音のみが変化したたままであり、自車両の後輪Wrl、Wrrが低摩擦係数の箇所WRのままと判定される。また、図13(e)に示すように左輪のみが低摩擦係数の箇所WRに入った場合、左輪の各輪Wfl、Wrlの走行音が変化し、自車両の左輪Wfl、Wrlが低摩擦係数の箇所WRに入ったと判定される。これらの各場合も、状況に応じて適切な車両制御や注意喚起を行う。このような注意喚起や車両制御について、車輪毎の路面状態や車輪の組み合わせ毎に応じて予め決めておくとよい。
図1、図2、図4、図11、図12を参照して、第3の実施の形態の動作について説明する。特に、運転支援システム2Cでの動作については図14のフローチャートに沿って説明する。図14は、第3の実施の形態に係る運転支援システムにおける処理の流れを示すフローチャートである。ここでは、路面状態は乾燥状態等の特定の路面状態の場合とし、車輪毎に白線を踏んでいるか否かを判定し、運転支援として車線逸脱に関する運転支援する場合とする。
学習装置1Cにおける動作は、第2の実施の形態に係る学習装置1Bと同様の動作なので、説明を省略する。各車両には、運転支援システム2Cが搭載され、運転支援システム2Cの路面状態判定装置3Cの走行音特徴量/路面状態テーブル記憶部34Cには学習装置1Cの走行音特徴量/路面状態テーブル記憶部14Cの走行音特徴量/路面状態テーブルが格納されている。
各車両では、路面状態判定装置3Cの集音装置30Cの2個以上の集音器が、車外の周囲の音をそれぞれ集音し、そのそれぞれ集音した音を電気信号に変換してECU31Cに送信している(S30)。ECU31Cでは、この2個以上の集音器の音データを受信し、各音データに対して前処理を施す。
ECU31Cでは、集音装置30Cからの各集音器の音データを受信する毎に、前処理後の各集音器の音データを用いてビームフォーミングによって自車両の車輪毎の走行音を算出する(S31)。そして、ECU31Cでは、車輪毎に、ビームフォーミングによって取得した走行音から特徴量を抽出する(S32)。そして、ECU31Cでは、車輪毎に、走行音特徴量/路面状態テーブル記憶部34Cに格納されている走行音特徴量/路面状態テーブルに基づいて、抽出した特徴量が白線を踏んでいないときの特徴量かあるいは白線を踏んでいるときの特徴量かを判定する(S33)。ECU31Cでは、その判定結果に基づいて路面状態情報を生成し、その路面状態情報を運転支援装置4Cに送信する。
運転支援装置4Cでは、路面状態判定装置3Bから路面状態情報を受信すると、その路面状態に基づいて全輪が路面上か否かを判定する(S34)。S34にて全輪が路面上と判定した場合、運転支援装置4Bでは、車線逸脱なしと判定する(S35)。
S34にて少なくとも一輪が白線上と判定した場合、ECU31Cでは、判定後から一定時間経過したか否かを判定する(S36)。S36で一定時間経過したと判定した場合、ECU31Cでは、走行音特徴量/路面状態テーブル記憶部34Cに格納されている走行音特徴量/路面状態テーブルに基づいて、白線上と判定された車輪と左右同じ側の車輪の走行音から抽出した特徴量が白線を踏んでいないときの特徴量かあるいは白線を踏んでいるときの特徴量かを判定する(S37)。ECU31Cでは、その判定結果に基づいて路面状態情報を生成し、その路面状態情報を運転支援装置4Cに送信する。
運転支援装置4Cでは、左右同じ側の二輪両輪が白線上かあるいは他の一輪が白線上かを判定する(S38)。S38にて左右同じ側の二輪両輪が白線上と判定した場合、運転支援装置4Cでは、車線逸脱していないが、逸脱寸前と判定し(S39)、弱い注意喚起を実施する(S40)。一方、左右同じ側の他の一輪のみが白線上と判定した場合、運転支援装置4Cでは、車線逸脱と判定し(S41)、強い注意喚起や車両制御を実施する(S42)。
第3の実施の形態によれば、ビームフォーミングを利用して車輪毎の走行音を取得し、車輪毎の路面状態を判定することにより、各車輪の路面状態に応じてより詳細な注意喚起や車両制御等の運転支援を行うことができる。その結果、より適切でより高精度な運転支援システムを提供できる。また、第3の実施の形態によれば、ビームフォーミングによって各車輪に対して指向性を持たせることにより、各車輪に集音器を設ける必要がなくかつ他のシステムと集音器を共用でき、コストを低減できる。
ここで、図15、図16を参照して、ビームフォーミングで用いる2個以上の集音器の配置方法について説明する。図15は、ビームフォーミングによる両側への指向性の説明図である。図16は、ビームフォーミングを行うための集音器の配置の一例である。
ビームフォーミングによって任意の車輪の位置に指向性を向けた場合、その車輪の位置と反対側の位置にも指向性が生じる、例えば、図15に示すように、2個の集音器ML,MRを車両の前後方向の中央部の左右に配置した場合、右前輪Wfrにビームフォーミングする場合の遅延時間dfrと右後輪Wrrにビームフォーミングする場合の遅延時間drrとが同じ時間になるため、ビームフォーミングによって右前輪Wfrの走行音と右後輪Wrrの走行音との区別をつけることができない(同じ走行音となる)。したがって、任意の車輪の位置をビームフォーミングの指向性の位置とする場合、その反対側の指向性の位置が他の車輪の位置やその他の音源(エンジン、エンジンファン等)の位置にならないように2個以上の集音器を配置する必要がある。
そこで、ビームフォーミングで用いる2個以上の集音器の配置として、各車輪の位置をビームフォーミングの指向性の位置とする場合にその反対側の指向性位置が自車両の内部でありかつ音源が無い位置(あるいは、音の発生が極めて小さい位置)になるように配置するか、あるいは、その反対側の指向性位置が自車両の外側(ボディ外)でありかつ自車両から離れていない位置(ボディから近い位置)になるように配置する。自車両のボディから近い位置は、通常、他車両等の他の音源となる物体が存在する可能性が極めて低い。音源が存在しないことによって、ノイズの影響も受けない。例えば、図16には、3個の集音器ML,MC.MRを自車両の前端の左右方向に並べて配置しており、右前輪Wfrにビームフォーミングした場合にはその反対側の指向性位置が自車両の外側となりかつ自車両から近い位置となる。他の車輪にビームフォーミングした場合も、同様に、その反対側の指向性位置が自車両の外側となりかつ自車両から近い位置となる。
なお、ビームフォーミングに用いる集音器は2個以上であれば可能であるが、2個の集音器を用いてビームフォーミングを行うと面上の位置に指向性を持つことになる。また、3個の集音器を用いてビームフォーミングを行うと線上に指向性を持たせることができる。さらに、4個の集音器を用いてビームフォーミングを行うと3次元上の一点に指向性を持たせることができる。なお、2個の集音器を用いてビームフォーミングを行って面上の位置に指向性に持たせた場合でも、その面上には車輪の走行音しか音源が存在しない可能性が高いので(車輪以外は上空や地中に指向性が向いていることになるため)、実際には問題ない。
図1、図2、図4、図17、図18を参照して、第4の実施の形態に係る学習装置1Dと運転支援システム2Dについて説明する。図17は、低摩擦係数の箇所がある路面において他車両へのビームフォーミングの一例であり、(a)が他車両の走行音がビームフォーミングで得られていない場合であり、(b)が低摩擦係数の箇所に入っていない他車両の走行音をビームフォーミングで得られている場合であり、(c)が低摩擦係数の箇所に入った他車両の走行音をビームフォーミングで得られている場合である。図18は、カーブ路における他車両へのビームフォーミングの一例である。
第4の実施の形態は、第3の実施の形態と比較すると、ビームフォーミングを利用して自車両前方の他車両の走行音を取得して特徴量を抽出し、前方車両の路面状態を判定し、前方車両の路面状態に応じて運転支援する点が異なる。前方車両に路面状態が得られるので、自車両の路面状態が変化する前に適切な運転支援が可能となる。
第4の実施の形態では、前方車両の走行音を取得するために、ビームフォーミングを利用し、ビームフォーミングによって集音器の指向性を前方の所定位置に向け、前方車両の走行音を取得する。ビームフォーミングは最低2個の集音器で可能であるが、第4の実施の形態では、前方の特定の位置に指向性を持たせるために、3個の集音器を用いる。
学習装置1Dについて説明する。学習装置1Dは、第3の実施の形態に係る学習装置1Cと同様の学習装置である。したがって、詳細な説明を省略する。
運転支援システム2Dについて説明する。運転支援システム2Dは、車両に搭載され、車両走行中に集音した走行音データに基づいて前方車両の路面状態を判定し、その判定結果に応じた運転支援を行う。運転支援システム2Dは、路面状態判定装置3Dと運転支援装置4Dからなる。
路面状態判定装置3Dについて説明する。路面状態判定装置3Dは、車両走行中に3個の集音器で音を集音し、その3個の音データを用いてビームフォーミングによって前方車両の走行音を取得し、その前方車両の走行音の特徴量を抽出し、その前方車両の特徴量と走行音特徴量/路面状態テーブルとを比較し、現在走行中の前方車両の路面状態を判定する。路面状態判定装置3Dは、集音装置30D、ECU31Dを備えている。
集音装置30Dは、3個(4個以上でもよい)の集音器を有している。3個の集音器は、例えば、車両の前端部に車幅方向(左右方向)に並べて配置される。集音装置30Dでは、車両走行中、各集音器で音をそれぞれ集音し、集音した音データをECU31Dに送信する。なお、第4の実施の形態では、集音装置30Dの集音器が特許請求の範囲に記載する集音手段に相当する。
ECU31Dは、CPU、ROM、RAM等からなる電子制御ユニットであり、路面状態判定装置3Dを統括制御する。ECU31Dには、走行音特徴量抽出部32D、路面状態判定部33D、走行音特徴量/路面状態テーブル記憶部34Dが構成される。ECU31Dは、集音装置30Dから各集音器でそれぞれ集音された音データ(電気信号)を受信する。ECU31Dでは、音データに対する前処理として、第1の実施の形態に係るECU31Cと同様の処理を行う。なお、第4の実施の形態では、走行音特徴量抽出部32Dが特許請求の範囲に記載する他車両ビームフォーミング手段及び特徴量抽出手段に相当し、路面状態判定部33Dが特許請求の範囲に記載する路面状態判定手段に相当する。
走行音特徴量/路面状態テーブル記憶部34Dは、ECU31Dの記憶装置の所定の領域に構成され、学習装置1Dの走行音特徴量/路面状態テーブル記憶部34Cに格納される走行音特徴量/路面状態テーブルが格納される。
走行音特徴量抽出部32Dでは、集音装置30Dの各集音器の音データを受信する毎に、前処理後の各集音器の音データを用いて、ビームフォーミングによって、前方の所定の位置の音(その所定の位置周辺に他車両が存在する場合には前方車両の走行音)を算出する。前方のどの位置にビームフォーミングするかは、例えば、速度(自車両の現車速、走行中の道路の制限速度等)に応じた標準的な車間距離に基づいてビームフォーミングする前方の距離を設定し、カーブ路の場合にはステアリング操作角度あるいは道路曲率等に応じてビームフォーミングする方向を設定する。さらに、走行音特徴量抽出部32Dでは、その前方の所定の位置に対するビームフォーミングによる音データを用いて特徴量を抽出する。
例えば、図17に示すように、直線路の場合には自車両MVから前方の直進方向の所定距離先の位置BPにビームフォーミングする。一点BPにビームフォーミングした場合でも、実際には一点にならず、ある程度広がった範囲BA内の音がビームフォーミングで得られる。図17(a)に示すように、前方の所定範囲内BAに他車両が存在しない場合、ビームフォーミングされた音には他車両の走行音が含まれない。図17(b)に示すように、前方の所定範囲内BAに他車両FVが存在する場合、ビームフォーミングされた音には他車両FVの走行音が含まれ、この場合には乾燥路面DRでの走行音が得られる。図17(c)に示すように、図17(b)の状況から車両が進行し、他車両FVが湿潤状態等の低摩擦係数の路面WRに入ると、低摩擦係数の路面WRでの走行音が得られる。また、図18に示すように、前方がカーブ路の場合には自車両MVでのステアリング操作角度等に応じて前方の右方向に所定角度傾けた方向の所定距離先の位置BPにビームフォーミングする。
路面状態判定部33Dでは、走行音特徴量/路面状態テーブル記憶部34Dに格納される路面状態毎の走行音特徴量あるいは路面上と白線上との走行音特徴量と、走行音特徴量抽出部32Dで抽出した特徴量とを比較し、走行音特徴量抽出部32Dで抽出した特徴量に最も近い特徴量を持つ路面状態(すなわち、前方車両が現在走行中の路面状態あるいは路面上か白線上か)を判定する。なお、特徴量として各周波数の強度が所定値以上得られていない場合、前方に他車両が存在しないと判断し、路面状態を判定しない。
ECU31Dでは、路面状態判定部33Dでの判定結果に基づいて路面状態情報を生成し、路面状態情報を運転支援装置4Dに送信する。この路面状態情報としては、例えば、前方車両の有無、前方車両が存在する場合には前方車両の位置での路面状態の情報、前方車両が白線を踏んでいないか否かの情報である。
運転支援装置4Dは、各種センサやECU等からなり、運転者に対して各種運転支援する装置である。特に、運転支援装置4Dでは、路面状態判定装置3Dから路面状態情報を受信すると、前方車両の路面状態に応じて運転支援を実施する。なお、第4の実施の形態では、運転支援装置4Dが特許請求の範囲に記載する運転支援手段に相当する。
例えば、図17(a)に示すように、路面状態情報として前方に他車両が存在しないという情報が得られた場合(自車両MVの前方において他車両の走行音が得られない場合)、前方車両の路面状態に応じた運転支援を行わない。図17(b)に示すように、路面状態情報として前方に他車両が存在し、路面状態としては乾燥状態(高摩擦係数)という情報が得られた場合(自車両MVの前方において他車両の走行音として乾燥状態の走行音が得られた場合)、通常走行が可能なので、運転支援を行わない。図17(c)に示すように、路面状態情報として前方に他車両が存在し、路面状態としては湿潤状態等(低摩擦係数)という情報が得られた場合(自車両MVの前方において他車両の走行音として湿潤状態等の走行音が得られた場合)、自車両が数秒後にその路面に到達し、スリップ等の車両挙動が変化する可能性があるので、前方車両の路面状態に応じて、その路面状態に到達するまでの間に注意喚起や車両制御等を行なう。何秒後に到達するかは、自車両の車速等から算出できる。また、路面状態情報として前方の他車両が白線を踏んでいるという情報が得られた場合、前方の他車両がレーンチェンジしたと判定することもできる。
図1、図2、図4、図17、図18を参照して、第4の実施の形態の動作について説明する。特に、運転支援システム2Dでの動作については図19のフローチャートに沿って説明する。図19は、第4の実施の形態に係る運転支援システムにおける処理の流れを示すフローチャートである。ここでは、前方車両の路面状態として乾燥状態、湿潤状態等の路面状態を判定する場合とする。
学習装置1Dにおける動作は、第1の実施の形態に係る学習装置1Aと同様の動作なので、説明を省略する。各車両には、運転支援システム2Dが搭載され、運転支援システム2Dの路面状態判定装置3Dの走行音特徴量/路面状態テーブル記憶部34Dには学習装置1Dの走行音特徴量/路面状態テーブル記憶部14Dの走行音特徴量/路面状態テーブルが格納されている。
各車両では、路面状態判定装置3Dの集音装置30Dの3個の集音器が、車外の周囲の音をそれぞれ集音し、そのそれぞれ集音した音を電気信号に変換してECU31Dに送信している(S50)。ECU31Dでは、この3個の集音器の音データを受信し、各音データに対して前処理を施す。
ECU31Dでは、集音装置30Dからの各集音器の音データを受信する毎に、前処理後の各集音器の音データを用いてビームフォーミングによって前方の所定位置の音を算出する(S51)。この際、前方の所定位置周辺に車両が存在する場合、その前方車両の走行音が得られる(S51)。そして、ECU31Dでは、ビームフォーミングによって取得した音から特徴量を抽出する(S52)。この際、前方車両の走行音が得られている場合には、前方車両の走行音の特徴量が得られる(S52)。そして、ECU31Dでは、前方車両の走行音の特徴量が得られた場合、走行音特徴量/路面状態テーブル記憶部34Dに格納されている走行音特徴量/路面状態テーブルに基づいて、抽出した特徴量がどの路面状態の特徴量に最も近いかを判定する(S53)。ECU31Dでは、その判定結果に基づいて路面状態情報を生成し、その路面状態情報を運転支援装置4Dに送信する。
運転支援装置4Dでは、路面状態判定装置3Bから路面状態情報を受信すると、前方車両が存在する場合、その前方車両の路面状態に基づいて運転支援を行う(S54)。
第4の実施の形態によれば、ビームフォーミングを利用して前方車両の走行音を取得し、前方車両の路面状態を判定することにより、前方車両の路面状態に基づいて、前方の低摩擦係数の路面(車両挙動が変化するような路面)に到達する前に注意喚起や車両制御等の運転支援を行うことができる。その結果、より適切でより高精度な運転支援システムを提供できる。また、第4の実施の形態によれば、ビームフォーミングを利用することにより、前方車両の走行音と自車両の走行音とを確実に分離することができる。さらに、第4の実施の形態によれば、速度やステアリング操作角度等を考慮してビームフォーミングする位置を設定することにより、自車両にとって必要となる前方車両の走行音を確実に得ることができる。
図4、図20を参照して、第5の実施の形態に係る運転支援システム2Eについて説明する。図20は、第5の実施の形態に係る運転支援システムの構成図である。
第5の実施の形態は、第1〜第4の実施の形態のように、事前の学習を行う学習装置を必要としない。第5の実施の形態では、特定の路面状態を判定するのではなく、自車両が過去に走行した同じ場所において過去に走行したときと走行音が異なっているか否か(ひいては、路面状態が異なっているか否か)を判定する。第1〜第4の実施の形態の場合、路面状態毎に走行音の特徴量を学習して記憶しておき、特定の路面状態を識別する必要があるが、同じ場所を頻繁に通行するのであれば、普段の走行で発している走行音(特徴量)を記憶しておくことにより、同じ場所で普段と異なる走行音(特徴量)を発している場合には車両の挙動に影響を与えるような路面状態が変化していと判断できる。
運転支援システム2Eについて説明する。運転支援システム2Eは、車両に搭載され、自車両走行中に集音した走行音データに基づいて、過去に走行した同じ場所の路面状態が変化しているか否かを判定し、その判定結果に応じて運転支援を行う。運転支援システム2Eは、路面状態判定装置3Eと運転支援装置4Eからなる。
路面状態判定装置3Eについて説明する。路面状態判定装置3Eは、車両走行中に自車両の走行音を集音するとともに自車両の現在位置を取得し、その自車両の走行音の特徴量を抽出し、現在位置を過去に走行している場合にはその特徴量と過去の特徴量とを比較し、過去に走行したときと路面状態が変化しているか否かを判定する。路面状態判定装置3Eは、集音装置30E、位置情報取得装置35E、ECU31Eを備えている。
集音装置30Eは、第1の実施の形態に係る集音装置30Aと同様の構成である。集音装置30Eでは、車両走行中、集音器で音を集音し、集音した音データをECU31Eに送信する。なお、第5の実施の形態では、集音装置30Eの集音器が特許請求の範囲に記載する集音手段に相当する。
位置情報取得装置35Eは、自車両の現在位置を検出する装置である。位置情報取得装置35Eとしては、例えば、GPS[Global Positioning System]を利用して現在位置を演算する装置、自車両がナビゲーションシステムを搭載している場合にはそのナビゲーションシステムから現在位置情報を取得する装置である。位置情報取得装置35Eでは、一定時間毎に、自車両の現在位置を取得し、その現在位置情報をECU31Eに送信する。なお、第5の実施の形態では、位置情報取得装置35Eが特許請求の範囲に記載する位置検出手段に相当する。
ECU31Eは、CPU、ROM、RAM等からなる電子制御ユニットであり、路面状態判定装置3Eを統括制御する。ECU31Eには、走行音特徴量抽出部32E、路面状態変化判定部36E、走行音特徴量/位置データベース37Eが構成される。ECU31Eは、集音装置30Eから集音器で集音された音データ(電気信号)を受信するとともに、位置情報取得装置35Eから現在位置情報を受信する。ECU31Eでは、音データに対する前処理として、第1の実施の形態に係るECU31Aと同様の処理を行う。なお、第5の実施の形態では、走行音特徴量抽出部32Eが特許請求の範囲に記載する特徴量抽出手段に相当し、路面状態変化判定部36Eが特許請求の範囲に記載する路面状態判定手段に相当し、走行音特徴量/位置データベース37Eが特許請求の範囲に記載する記憶手段に相当する。
走行音特徴量/位置データベース37Eは、ECU31Eの記憶装置の所定の領域に構成されるデータベースである。走行音特徴量/位置データベース37Eには、走行音特徴量抽出部32Eで走行音の特徴量を抽出する毎に、その特徴量と位置情報取得装置35Eの現在位置情報とが関連付けて記憶される。さらに、路面状態の変化に関連する情報(例えば、ワイパーのON/OFF、日時、気温、天候)を取得できる場合、路面状態の変化に関連する情報も関連付けて記憶してもよい。さらに、車両の挙動情報を取得できる場合、車両の挙動情報も関連付けて記憶してもよい。
走行音特徴量抽出部32Eは、第1の実施の形態に係る走行音特徴量抽出部32Aと同様の処理を行う。走行音特徴量抽出部32Eでは、集音装置30Eの集音器の音データを受信する毎に、前処理後の音データを用いて走行音の特徴量を抽出する。
路面状態変化判定部36Eでは、走行音特徴量/位置データベース37Eを参照し、現在位置が走行音特徴量/位置データベース37Eに記憶されている位置か否かを判定する。現在位置が走行音特徴量/位置データベース37Eに記憶されている位置の場合、路面状態変化判定部36Eでは、走行音特徴量抽出部32Eで抽出した現在位置での特徴量と走行音特徴量/位置データベース37Eに記憶されている同じ位置での特徴量とを比較し、この2つの特徴量が異なっているか否かを判定する。路面状態変化判定部36Eでは、特徴量が異なっている場合には現在位置において普段と路面状態が変化(特に、湿潤等の低摩擦係数の状態に変化)していると判定し、特徴量が類似している場合には現在位置において普段と路面状態が同じと判定する。
ECU31Eでは、路面状態変化判定部36Eでの判定結果に基づいて路面状態情報を生成し、路面状態情報を運転支援装置4Eに送信する。この路面状態情報としては、例えば、現在位置において普段と路面状態が変化しているか否かの情報である。路面状態の変化に関連する情報も走行音特徴量/位置データベース37Eに記憶されている場合には、それらの情報も付加する。また、車両挙動情報も走行音特徴量/位置データベース37Eに記憶されている場合には、その車両挙動情報も付加する。
運転支援装置4Eは、各種センサやECU等からなり、運転者に対して各種運転支援する装置である。特に、運転支援装置4Eでは、路面状態判定装置3Eから路面状態情報を受信すると、路面状態が関連する運転支援を実施する。例えば、路面状態情報として現在位置において普段と路面状態が変化しているという情報が得られた場合、特定の路面状態が得られてはいないので、路面状態が普段走行しているときから変化しているので、注意して走行するようになどの具体的でない注意喚起を行う。路面状態情報に路面状態の変化に関連する情報も含まれている場合、路面状態の変化の状態をより詳細に判断できるので(例えば、雨又は雪が降っていて、路面状態が変化している)、より具体的な注意喚起等を行う。さらに、路面状態情報に車両挙動情報が含まれている場合、車両挙動が不安定なときの特徴量と同じ場合には強い注意喚起や車両制御等を行う。なお、第5の実施の形態では、運転支援装置4Eが特許請求の範囲に記載する運転支援手段に相当する。
図20を参照して、第5の実施の形態の動作について説明する。特に、運転支援システム2Eでの動作については図21のフローチャートに沿って説明する。図21は、第5の実施の形態に係る運転支援システムにおける処理の流れを示すフローチャートである。
各車両では、位置情報取得装置35Eが、自車両の現在位置を取得し、その現在位置情報をECU31Eに送信している(S60)。また、路面状態判定装置3Eの集音装置30Eの集音器が、車外の周囲の音を集音し、その集音した音を電気信号に変換してECU31Eに送信している(S61)。ECU31Eでは、この集音器の音データを受信し、音データに対して前処理を施す。
ECU31Eでは、集音装置30Eからの集音器の音データを受信する毎に、前処理後の集音器の音データから走行音の特徴量を抽出する(S62)。この際、走行音特徴量/位置データベース37Eに、現在位置と特徴量とが関連付けて記憶される。
ECU31Eでは、走行音特徴量/位置データベース37Eを参照し、現在位置と同じ位置の情報が記憶されている場合、その同じ位置での過去の特徴量と今回抽出された特徴量とを比較し、特徴量が異なっているか否か(ひいては、路面状態が変化しているか否か)を判定する(S63)。そして、ECU31Eでは、その判定結果に基づいて路面状態情報を生成し、その路面状態情報を運転支援装置4Eに送信する。
運転支援装置4Eでは、路面状態判定装置3Eから路面状態情報を受信すると、路面状態が変化している場合(特に、低摩擦係数の路面状態に変化していると推測できる場合)には運転支援を行う(S64)。
第5の実施の形態によれば、走行音の特徴量と現在位置とを関連付けて記憶しておき、同じ位置での今回の走行音の特徴量と過去の特徴量とを比較することにより、事前の学習や特定の路面情報の識別等を行うことなく、より簡単な構成で路面状態の変化を判定できる。
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
例えば、本実施の形態では路面状態判定装置と運転支援装置からなる運転支援システムに適用したが、他の構成でもよい。例えば、運転支援装置の中に路面状態判定機能として組み込まれるものでもよいし、路面状態判定装置の中に警報機能等を有するものでもよい。
また、本実施の形態では事前に学習を行う学習装置と学習テーブルを用いて実際に路面状態を判定して運転支援を行う運転支援システムとを別体とし、事前に学習を行う構成としたが、一体で構成してもよい。特に、一体の装置の場合、車両走行中に集音した音データに基づいてオフラインで走行音特徴量/路面状態テーブルを生成しておき、そのテーブルに用いてリアルタイムで路面状態を判定する。
また、本実施の形態では集音装置で走行音を集音し、その走行音から特徴量を抽出し、特徴量に基づいて路面状態を判定する構成としたが、集音装置で走行音を集音し、特徴量を抽出することなく、走行音から路面状態を直接判定する構成でもよい。また、本実施の形態では特徴量として周波数毎の強度を適用したが、他の特徴量でもよい。
また、本実施の形態ではビームフォーミングによって集音する走行音に指向性を持たせ、自車両の車輪毎の走行音を取得したり、前方車両の走行音を取得したが、ビームフォーミング以外の手法で指向性を持たせてもよい。
また、第3の実施の形態ではビームフォーミングを利用して自車両の各車輪についての路面状態を判定して運転支援を行い、第4の実施の形態ではビームフォーミングを利用して前方車両についての路面状態を判定して運転支援を行う構成としたが、第3の実施の形態と第4の実施の形態を組み合わせ、ビームフォーミングを利用して自車両の各車輪についての路面状態及び前方車両の路面状態を判定して運転支援を行う構成としてもよい。