JP2013198065A

JP2013198065A - 音声提示装置

Info

Publication number: JP2013198065A
Application number: JP2012065584A
Authority: JP
Inventors: Takashi Takazawa; 剛史高沢
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2012-03-22
Filing date: 2012-03-22
Publication date: 2013-09-30
Also published as: US20130251168A1; DE102013204798A1

Abstract

【課題】ドライバーに煩わしさを感じさせにくい音声提示装置を提供すること。
【解決手段】車室内の音声を取得する車室内音声取得手段２１３と、前記車室内の音声に基づき、以下の条件Ａ及び条件Ｂを充足するアンビエント提示音を作成するアンビエント提示音作成手段１００と、前記アンビエント提示音を出力するアンビエント提示音出力手段４０１、４０２と、を備えることを特徴とする音声提示装置１。（条件Ａ）前記アンビエント提示音の音圧レベルは、一部の周波数帯域において、前記車室内の音声の音圧レベルよりも高く、他の周波数帯域において、前記車室内の音声の音圧レベル以下であること。（条件Ｂ）音像定位方向が仮想音源に略一致する立体音響であること。
【選択図】図１

Description

本発明は、音声提示装置に関する。

従来、道路標識、横断歩道、信号等を認識した場合、音声によりドライバーに通知する車載装置が知られている（特許文献１参照）。

特開２００３−２３６９９号公報

特許文献１記載の技術では、本来は音声出力が必要ない場合（例えば、ドライバーが既に道路標識等を認識している場合）にも、音声を出力することがある。その場合、ドライバーは煩わしさを感じてしまう。

本発明は以上の点に鑑みなされたものであり、ドライバーに煩わしさを感じさせにくい音声提示装置を提供することを目的とする。

本発明の音声提示装置は、車室内の音声を取得する車室内音声取得手段と、車室内の音声に基づき、以下の条件Ａ及び条件Ｂを充足するアンビエント提示音を作成するアンビエント提示音作成手段と、アンビエント提示音を出力するアンビエント提示音出力手段とを備えることを特徴とする。

（条件Ａ）アンビエント提示音の音圧レベルは、一部の周波数帯域において、車室内の音声の音圧レベルよりも高く、他の周波数帯域において、車室内の音声の音圧レベル以下であること。

（条件Ｂ）音像定位方向が仮想音源に略一致する立体音響であること。
本発明の音声提示装置は、例えば、ドライバーが信号、標識等を見落としていた場合等に、アンビエント提示音を出力することができる。その場合、信号、標識等の見落としを防止することができる。

また、アンビエント提示音は、車室内の音声に基づき、前記条件Ａを満たすように作成されたものであるので、仮に、本来は音声を出力する必要がない状態において、アンビエント提示音が出力され続けていても、ドライバーは煩わしさを感じない。

また、アンビエント提示音は、条件Ｂを満たす立体音響であるので、ドライバーは、アンビエント提示音により示す対象物を容易に認識することができる。

音声提示装置１の構成を表すブロック図である。立体音像定位装置１００の構成を表すブロック図である。センサ装置２００及び車室内外状況認識手段３００の構成を表すブロック図である。自車両２における車室外マイク２０８ａ〜２０８ｋ及びスピーカ４０２ａ〜４０２ｋの配置と、実背景音の伝播を表す説明図である。アンビエント提示音生成処理を表すフローチャートである。提示音生成ステップを表すフローチャートである。仮想音像定位パラメータ計算ステップを表すフローチャートである。車室内の騒音スペクトルのスペクトルである。ピンクノイズのスペクトルである。アンビエント提示音のスペクトルである。警告音のスペクトルである。自車両２が土手を走行している場合における仮想音像定位パラメータの計算例を表す説明図である。自車両２が自動車専用道を走行している場合における仮想音像定位パラメータの計算例を表す説明図である。自車両２が高架自動車道を走行している場合における仮想音像定位パラメータの計算例を表す説明図である。交通信号（青色表示又は矢印表示）認識時のアンビエント提示音出力処理を表すフローチャートである。交通信号（黄色表示又は赤色表示）認識時のアンビエント提示音出力処理を表すフローチャートである。速度標識認識時のアンビエント提示音出力処理を表すフローチャートである。進入禁止標識認識時のアンビエント提示音出力処理を表すフローチャートである。

本発明の実施形態を図面に基づいて説明する
１．音声提示装置１の構成
音声提示装置１の構成を図１〜図４に基づいて説明する。図１に示すように、音声提示装置１は、立体音像定位装置（アンビエント提示音作成手段、反射・残響条件設定手段）１００と、センサ装置（第１の状況検出手段、第２の状況検出手段）２００と、車室内外状況認識手段３００と、オーディオ再生装置４００と、アンプ（アンビエント提示音出力手段）４０１ａ〜４０１ｋと、スピーカ（アンビエント提示音出力手段）４０２ａ〜４０２ｋとを備える。また、上述した各構成は、車載ＬＡＮ３により相互に接続されている。アンプ４０１ａ〜４０１ｋは、それぞれが車載ＬＡＮ３に接続している。

図２に示すように、立体音像定位装置１００は、仮想音像定位パラメータ計算手段１０１と、直接音合成手段１０２と、反射音合成手段１０３と、残響音合成手段１０４と、実背景音調整手段１０５と、提示音データ１０６とを備える。

仮想音像定位パラメータ計算手段１０１は、センサ装置２００に含まれる後述する各種センサから、車載ＬＡＮ３を介して送られる情報に基づき、オーディオ再生音、提示音のうちのいずれか１つ以上の音（以下ソース）を、（i）即時提示する、(ii)遅らせて提示する、(iii)提示しない、等の判断処理を行う。

また、仮想音像定位パラメータ計算手段１０１は、音を提示する場合には、提示するソース、音量、提示する方向、距離、その他合成に必要なパラメータ（制御パラメータ）を決定し、直接音合成手段１０２、反射音合成手段１０３、残響音合成手段１０４、実背景音調整手段１０５へ通知する。また、仮想音像定位パラメータ計算手段１０１は、カーナビゲーション３０３からの情報に基づき、反射音・残響音の制御パラメータを決定してもよい。

直接音合成手段１０２は、仮想音像定位パラメータ計算手段１０１から通知されたパラメータに基づき、指定されたソースを信号処理する手段である。この信号処理は、指定された位置（仮想音源）から音が放射されているかのような、車室内の音場をスピーカ４０２ａ〜４０２ｋで合成できるようにするものである。

反射音合成手段１０３は、仮想音像定位パラメータ計算手段１０１からから通知されたパラメータに基づき、指定されたソースを信号処理する手段である。この信号処理は、指定された位置（仮想音源）から放射された音が、付近の反射物で反射して車室内へ到達しているかのような、車室内の音場をスピーカ４０２ａ〜４０２ｋで合成できるようにするものである。

残響音合成手段１０４は、仮想音像定位パラメータ計算手段１０１から通知されたパラメータに基づき、指定されたソースを信号処理する手段である。この処理は、指定された位置（仮想音源）から放射された音が付近の反射物で繰り返し反射し残響しているかのような、車室内の音場をスピーカ４０２ａ〜４０２ｋで合成できるようにするものである。

実背景音調整手段１０５は、図４に示すように、車室外の音場がそのまま車室内に再現できるように、センサ装置２００に含まれる後述する車室外マイク２０８ａ〜２０８ｋで収音した音データを信号処理する手段である。

センサ装置２００は、図３に示すように、車室内カメラ２０１、車室外カメラ２０２、車室外センサ２０３、衛星測位装置２０４、車速センサ２０５、ジャイロセンサ２０６、舵角センサ２０７、車室外マイク２０８、ウィンカーＳＷ２０９、スロットル開度センサ２１０、ブレーキ圧センサ２１１、シフト位置センサ２１２、及び車室内マイク（車室内音声取得手段）２１３を備える。なお、それぞれのセンサは、いくつかの機能をまとめたセンサ装置でも、それぞれが個別のセンサ装置でもよい。

車室内カメラ２０１は、車室内に設けられ、ドライバー方向へ向けられた画像センサであり、後述する視線検出手段３０１へ画像データを送信する。
車室外カメラ２０２は、車外方向へ向けられた１つまたは複数の画像センサであり、後述する注意点検出手段３０２へ画像データを送信する。

車室外センサ２０３は、車室外の物体を検出するセンサであり、後述する注意点検出手段３０２へ検出データを送信する。車室外センサ２０３は、超音波、ミリ波、サブミリ波、近赤外光等を用いた公知のセンサである。

衛星測位装置２０４は、衛星からの電波を観測し、その観測結果に基づき、地表の絶対位置座標を算出する装置であり、算出結果を、後述するカーナビゲーション３０３へ通知する。

車速センサ２０５は、タイヤ、あるいはプロペラシャフト等、車速と相関がある車両部品から回転数を検出するセンサであり、結果を車載ＬＡＮ３へ送信する。
ジャイロセンサ２０６は、自車両２に積まれるジャイロスコープであり、Ｘ、Ｙ、Ｚ軸周りの角加速度を数値に変換して車載ＬＡＮ３に送信する。

舵角センサ２０７は、運転者が操作したステアリングの操舵角を検出するセンサであり、結果を数値化し車載ＬＡＮ３へ送信する。
車室外マイク２０８は、自車両２の外の音を収録するマイクロホンであり、収録された音を立体音像定位装置１００へ出力する。車室外マイク２０８は、走行時の風の影響を受けないよう十分工夫されたマイクロホンである。車室外マイク２０８は、図４に示すように、複数存在し、自車両２の車室外の音場を車室内に再生できるだけの十分な密度で配置される。以下では、複数の車室外マイク２０８のそれぞれに、２０８ａ〜２０８ｋという符号を付して区別する場合もある。車室外マイク２０８ａ〜２０８ｋで取得された信号は、実背景音調整手段１０５により適切に処理された後、アンプ４０１ａ〜４０１ｋ及びスピーカ４０２ａ〜４０２ｋにより車室内に音声提示される。

ウィンカーＳＷ２０９は、運転者が直接操作する左右ウィンカーを作動させるスイッチであり、状態を数値化し、車載ＬＡＮ３へ送信する。
スロットル開度センサ２１０は、運転者が操作したスロットルの操作量を検出するセンサであり、結果を数値化し、車載ＬＡＮ３へ送信する。

ブレーキ圧センサ２１１は、運転者が操作したブレーキの操作量を検出するセンサであり、結果を数値化し車載ＬＡＮ３へ送信する。
シフト位置センサ２１２は、運転者が操作したシフトレバーの位置を検出するセンサであり、結果を数値化し、車載ＬＡＮ３へ送信する。

車室内マイク２１３は、自車両２の室内の音を収録する複数のマイクロホンとその処理装置であり、収録した音から、車室内騒音の音圧レベル、スペクトルを計算し、結果を車載ＬＡＮ３へ通知する。車室内マイク２１３は、カーナビゲーション等の音声認識入力装置やハンズフリー電話装置のマイクと共通のマイクとしてもよい。

図３に示すように、車室内外状況認識手段３００は、視線検出手段３０１、注意点検出手段３０２、カーナビゲーション３０３を備える。なお、それぞれの手段は、いくつかの機能をまとめて１つの装置に実装されても、それぞれ別個の装置に実装されても良い。

視線検出手段３０１は、車室内カメラ２０１から得た画像データに基づき、ドライバーがどこを見ているのかを特定する手段であり、検出結果を車載ＬＡＮ３へ送信する。
注意点検出手段３０２は、走行時において、車室外カメラ２０２や車室外センサ２０３からの情報に基づき、自車両２の上下左右前後の全周囲の物体を監視している。また、注意点検出手段３０２は、周囲の物体（標識、信号、壁、天井、対向車、近隣の交通等）の情報を検出する手段であり、検出結果を車載ＬＡＮ３へ送信する。また、その中から、ドライバーへ注意を促す必要がある物体（予め登録されている種類の物体）の情報を抽出し、その検出結果も車載ＬＡＮ３へ送信する。検出結果は、車載ＬＡＮ３を介して、仮想音像定位パラメータ計算手段１０１に送られる。その検出結果を受信した仮想音像定位パラメータ計算手段１０１は、提示すべき音の直接音・反射音・残響音の制御パラメータを、直接音合成手段１０２、反射音合成手段１０３、残響音合成手段１０４へそれぞれ通知する。

カーナビゲーション３０３は、衛星測位装置２０４、車速センサ２０５、ジャイロセンサ２０６、内蔵する地図データ等の情報に基づき、自車位置、目的地との相対位置、経路等を計算し、結果を車載ＬＡＮ３へ通知するとともに、ディスプレイ（図示略）に表示する装置である。

オーディオ再生装置４００は、CD、MD、DVD、BD、TV、AM/FMラジオ等の再生機器であり、再生音を立体音像定位装置１００へ出力するとともに、再生状態を車載ＬＡＮ３へ通知する。

スピーカ４０２ａ〜４０２ｋは、図４に示すように、車室内において、一定の間隔をおいて、車室の周囲を囲むように配置されており、車室の内部に向けて音声を出力することができる。

２．音声提示装置１が実行する処理
音声提示装置１が実行する処理を、図５〜図１８に基づいて説明する。
（２−１）アンビエント提示音生成処理
アンビエント提示音生成処理を説明する。図５のステップ１００では、アンビエント提示音を生成する。この処理は、提示音データ１０６の出力を生成する処理である。この処理を図６に基づいて詳細に説明する。

ステップ１０１では、１つまたは複数の車室内マイク２１３を用いて車室内の騒音を計測する。
ステップ１０２では、前記ステップ１０１で計測した騒音のスペクトルを計算することにより、車室内の騒音スペクトルを推測する。このとき、スペクトルの計算は、短時間（数ミリ秒から数秒）のフレームに切って、フレーム毎に周波数分析する。さらに、同一時刻のフレーム内において周波数帯域間の平滑化処理をするか、異なる時刻のフレーム間の同一周波数帯域を時間軸方向に平滑化することができる。あるいは、その両方の処理をしてもよい。上記処理により、図８に示すような、車室内の騒音スペクトルを得る。

ステップ１０３では、前記ステップ１０２で得られる騒音スペクトルから、フィルタ係数を算出する。このフィルタ係数は、次のようなものである。
音声提示装置１は、予め、図９に示すスペクトルのピンクノイズ（ソース音源）を、提示音データ１０６として保持している。なお、ソース音源とは、後述する処理に用いられる音データであり、ピンクノイズ、ホワイトノイズのような連続音であってもよいし、パルス列や方形波などの高調波を多く含む周期音であってもよい。

上記のソース音源に対し、フィルタ係数を用いてフィルタリング処理を行うと、フィルタリング処理後のソース音源は、図１０に示すように、一部の周波数帯域（中間の周波数帯域）において、音圧が車室内の騒音の音圧レベルよりも高く（フィルタリング処理後のソース音源はマスクされず）、他の周波数帯域において、音圧が車室内の騒音の音圧レベル以下となる（フィルタリング処理後のソース音源はマスクされる）。

フィルタ係数は、フィルタリング処理後のソース音源が上記のものとなるように算出される。フィルタ係数は、必要に応じて、一部のスペクトルを増幅・減衰させるものであってもよい。フィルタリング処理後のソース音源を、以下では、アンビエント提示音の音源とする。アンビエント提示音は、背景音に埋もれない提示音である。アンビエント提示音の音源は、提示音データ１０６に保持される。なお、音声提示装置１は、図１１に示すスペクトルを有する、警告音の音源も、提示音データ１０６に保持している。

図５に戻り、ステップ２００では、仮想音像定位パラメータ計算手段１０１により、仮想音像定位パラメータを計算する。この処理を図７に基づいて詳細に説明する。
図７のステップ２０１では、視線検出手段３０１が出力する情報、注意点検出手段３０２が出力する情報、及びカーナビゲーション３０３が出力する情報を、仮想音像定位パラメータ計算手段１０１が、車載ＬＡＮ３経由で取得する。

ここで、視線検出手段３０１が出力する情報は、ドライバーの視線がどこを見ているかの情報である。また、注意点検出手段３０２が出力する情報は、周囲の物体に関する下記パラメータ情報である。
<自車周囲の環境に関する情報>
・左右前後上下の反射壁（天井や道路含む）の有無
・左右前後上下の反射壁までの距離・方向
・左右前後上下の反射壁の反射率
・自車のいる空間の周波数帯域ごとの残響時間
<注意物体に関する情報>
・物体の数、方向、距離、物体の大きさ、物体の種類（標識、信号、トラック、自転車等）
また、カーナビゲーション３０３が出力する情報は、自車両２の位置と地図データとを照合した結果得られる、注意点検出手段３０２が出力する情報と同等の情報である。

なお、反射壁の有無、壁までの距離、方向、壁の反射率、自車がいる空間の周波数帯域ごとの残響時間は、超音波センサ、ミリ波センサ、サブミリ波センサ、レーザレーダ、可視光ステレオカメラ等で複合的に判断してもよいし、カーナビゲーション３０３を用いて、自車位置座標とあらかじめ構築してある地図データベースとを照合して判断してもよい。

ステップ２０２では、前記ステップ２０１で取得したパラメータに基づき、提示音の直接音を音像定位させる座標（直接音音像座標、仮想音源の位置）を計算する。仮想音源の位置は、例えば、注意物体の位置とすることができる。また、ドライバーの視線方向上にある位置としてもよい。直接音音像座標を計算することにより、方向だけではなく、距離の情報も直接音合成手段１０２へ与えることができ、遠くなるほど音量が小さくなる距離減衰が模擬できるほか、近づいているのか遠ざかっているのかに基づいたドップラー効果を模擬したり、音源の距離に応じて変わる音波の波面の曲率半径を模擬したりでき、車室外の実環境を模擬できる。

また、本ステップ２０２では、提示音音源選択を行う。音源には、上述したように、アンビエント提示音の音源と、警告音の音源とがあるが、アンビエント提示音を作成する場合は、アンビエント提示音の音源が選択される。

本ステップ２０２では、高域距離減衰補正パラメータを決定する。すなわち、自車両２から距離が離れている物体の場合、空気による音の減衰により低い周波数帯域と比べ高い周波数帯域のエネルギーがより減少する傾向にあるため、それを模擬するための係数を周知の方法で決定する。

ステップ２０３では、前記ステップ２０２で計算したパラメータを提示音データ１０６と直接音合成手段１０２へ通知する。
ステップ２０４では、前記ステップ２０１で取得したパラメータに基づき、反射音パラメータを計算する。反射音パラメータは、音を反射する壁、天井、道路等を軸として対称な位置に仮想反射音源を置く鏡像法による方法で生成する。

仮想反射音源は、壁、天井、道路等の主要な反射面の個数分計算する。反射するものがない場合や小さい場合はその方向の反射音を減衰させたり、無音としたりする。これにより、都市部を走る高速道路等、壁や天井に囲まれている場合には複数の反射音が合成される状況、土手の上を走る場合には反射音はほとんど合成されない状況となり、実際に車室外へ出たときの聴感ともよく一致するようになる。

反射音パラメータは、音が壁や天井、道路等で複数回反射して受聴点へ到達する状況を想定して計算してもよい。これにより、より正確に車室外の実環境を模擬できる。
前記ステップ２０１で取得した自車周囲の環境に関する情報と注意物体の座標とに基づき、反射壁を軸とし、鏡像の位置にある点を仮想反射音源の座標とする。仮想反射音源の座標を計算することにより、方向だけではなく距離の情報も反射音合成手段１０３へ与えることができ、遠くなるほど音量が小さくなる距離減衰が模擬できるほか、近づいているのか遠ざかっているのかに基づいたドップラー効果も模擬できる。さらに、直接音と反射音との行路差に基づく到達時間差も正確に計算できるため、より正確に車室外の実環境を模擬できる。

仮想反射音源と受聴点との距離が大きく離れている場合、空気による音の減衰により低い周波数帯域と比べ高い周波数帯域のエネルギーがより減少する傾向にあるため、それを模擬するための係数（高域距離減衰補正パラメータ）を決定する。これにより、より正確に車室外の実環境を模擬できる。

また、前記ステップ２０１で取得した自車周囲の環境に関する情報に基づき、仮想反射音源に周波数振幅特性を持たせてもよい。例えば、コンクリート壁は吸音率が低く、反射音の周波数振幅特性もフラットであるが、砂利や芝生等は吸音率が高く、高い周波数帯域ほど吸音されやすい周波数特性を持っている。その結果、砂利や芝生では、反射音の大きさが全帯域で減衰し、特に高い周波数帯域はより減衰した特性となる。そのような反射音の特性を模擬するため、前記ステップ２０１で得られた情報から、各仮想反射音源に付与すべき周波数振幅特性を計算する。

ステップ２０５では、前記２０４で計算したパラメータを反射音合成手段１０３へ通知する。
ステップ２０６では、提示音が車室外の環境で複数回反射して生じる残響を模擬するため、前記ステップ２０１で取得したパラメータに基づき、残響音合成に必要となる残響音の周波数特性を計算する。具体的には、以下のようにする。

前記ステップ２０１で取得した自車周囲の環境に関する情報に基づき、各周波数帯域の残響時間を調整する。例えば、コンクリート壁に囲まれている空間は吸音率が低いため残響時間が長く、逆に衣服を着た人々に囲まれている空間は吸音率が高いため残響時間が短くなり、かつ高い周波数帯域の残響時間がより短くなる性質がある。そのような特性を模擬するため、前記ステップ２０１で得られた情報から、各周波数帯域の残響時間を計算する。

また、前記ステップ２０１で取得した注意物体の情報や自車周囲の環境に関する情報に基づき、各方向から聞こえてくる残響音の音量を調整する。例えば、遠くに直接音の音像が位置する場合、その音像の方向以外の残響音を減衰し合成する。このとき、直接音の音像が受聴点に近づくにつれ、残響音が分布する方向を広くし、最終的に全方位で残響音の音量を等しくする。また、周囲に壁に囲まれていない方向がある場合は、その方向の残響音を減衰し合成する。これにより、全方向に同じ音量の残響音を付加するよりも、より正確に車室外の実環境を模擬できる。

ステップ２０７では、前記ステップ２０６で計算したパラメータを、残響音合成手段１０４へ通知する。
上記のとおり、自車両２の外の状況に応じて、反射音又は残響音の作成条件が設定される。例えば、図１２に、自車両２が土手を走行している場合における仮想音像定位パラメータの計算例を示す。この場合、注意点検出手段３０２は道路４以外の物体を検出できない。そのため、仮想音像定位パラメータ計算手段１０１は、反射音合成手段１０３に対し、仮想音像位置からの直接音と道路４からの反射音のみを計算し出力するようなコマンドを送信する。また、仮想音像定位パラメータ計算手段１０１は、残響音合成手段１０４に対し、残響音が短い（RT60等の残響の指標が小さい）残響を合成するようコマンドを送信する。また、道路４の表面形状に合わせて、残響の周波数特性を調整するコマンドを送信する。

また、図１３に、自車両２が、高速道路等、遮音壁に囲まれた道路を走行している場合における仮想音像定位パラメータの計算例を示す。この場合、注意点検出手段３０２は、道路４と左右の壁５を検出している。そのため、仮想音像定位パラメータ計算手段１０１は、反射音合成手段１０３に対し、仮想音像位置からの直接音と道路４からの反射音、左右の壁５からの反射音を計算し出力するようなコマンドを送信する。また、仮想音像定位パラメータ計算手段１０１は、残響音合成手段１０４に対し、残響音が長い（RT60等の残響の指標が大きい）残響を合成するようコマンドを送信する。また、壁５や道路４の表面形状に合わせて、残響の周波数特性を調整するコマンドや、上方の残響音のレベルを下げるコマンドを送信する。

また、図１４に、自車両２が、高架自動車道路を走行している場合における仮想音像定位パラメータの計算例を示す。この場合、注意点検出手段３０２は道路４と天井６からの反射音を検出している。そのため、仮想音像定位パラメータ計算手段１０１は、反射音合成手段１０３に対し、仮想音像位置からの直接音と道路４からの反射音、天井６からの反射音を計算し出力するようなコマンドを送信する。また、仮想音像定位パラメータ計算手段１０１は、残響音合成手段１０４に対し、残響音が長い（RT60等の残響の指標が大きい）残響を合成するようコマンドを送信する。また、天井６や道路４の表面形状に合わせて、残響の周波数特性を調整するコマンドや、左右方向の残響音のレベルを下げるコマンドを送信する。

図５に戻り、ステップ３００では、直接音合成手段１０２により、直接音を合成する。直接音の音源は、上記のように作成したアンビエント提示音の音源である。直接音合成手段１０２では、仮想音像定位パラメータ計算手段１０１からの情報に基づき、仮想音像位置から到達する波面の到来方向、距離による減衰、距離による波面の曲率半径を制御する。具体的には、振幅パンニング、WFS（Wave Field Synthesis）、HOA（Higher Order Ambisonics）等の既存の技術により、波面を合成する。このとき、距離による減衰については、1/（距離）^x（0≦x）となるようにxを調整できるようにしてもよい。これは、下記のような理想的な音の減衰の中間を連続的に再現し、より現実の環境にあわせるためである。

点音源から放射される音波の減衰：1/（距離）1
線音源から放射される音波の減衰：１/（距離）^1/2
平面音源から放射される音波の減衰：１/（距離）⁰ （減衰なし）
無限に長い線音源とみなせるかどうか、無限に広い面音源とみなせるかどうかは、波長と音源の寸法との関係に依存するため、xは周波数の関数や想定する仮想音源の大きさの関数としてもよい。また、人間はある距離から遠くなると、実際に音源が置かれている距離よりも音像を近くに感じるようになるため、より遠くに音像を知覚させられるよう、xを1以上としてもよい。

ステップ４００では、反射音合成手段１０３により、反射音を合成する。反射音の音源も、上記のように作成したアンビエント提示音の音源である。反射音合成手段１０３では、仮想音像定位パラメータ計算手段１０１からの情報に基づき、反射音の仮想音像位置から到達する波面の到来方向、距離による減衰、距離による波面の曲率半径、反射物体の周波数特性を制御する。手法としては、直接音合成手段１０２で用いた方法と同様である。反射回数は、上下左右前後の６方向に対して各１回分の反射をシミュレーションしてもよいし、複数回の反射をシミュレーションしてもよい。反射音は、随時、仮想音像定位パラメータ計算手段１０１からの情報に基づき、自車両２が走行している周囲の状況に合わせて追従させ、より実際の環境での反射音に近い反射音を合成する。

ステップ５００では、残響音合成手段１０４により、残響音を合成する。残響音の音源も、上記のように作成したアンビエント提示音の音源である。残響音の合成条件においては、帯域毎の残響時間、又は各方向における残響音の音量を設定する。残響音合成手段１０４では、全域通過フィルタ、櫛形フィルタを用いる既存技術を用いる。理想的な拡散音場は、すべての場所でエネルギー密度が一様で、かつすべての方向に対するエネルギーの流れが等しい確率であるとみなされる分布をしている音場となるため、それをスピーカ４０２ａ〜４０２ｋで再生するには全スピーカでの残響音出力を一定とする。また、残響音の両耳間相関を小さくすることで空間の広さを感じさせられるよう、スピーカ４０２ａ〜４０２ｋで再生するチャンネルごとに異なる残響生成ブロックを用いる。しかし、実際の道路は理想的な拡散音場ではない。そのため、車室内の音場を実際の環境に合わせるため、特定の方向の残響音出力を増加させたり低減させたりしてもよい。

さらに、実際の残響音は空気による減衰の周波数特性や反射率の周波数特性の影響により、残響時間が周波数帯域によって異なる。一般的には高い音ほど残響時間が短い傾向にある。これを再現するため、各櫛型フィルタのフィードバックゲインを、ある周波数特性を持ったフィルタとする。さらに、このフィルタは、仮想音像定位パラメータ計算手段１０１からの情報に基づき、自車両２が走行している周囲の状況に合わせて周波数特性を変化させることにより、より実際の環境に近い残響音を合成しても良い。

また、直接音の音圧αと、残響音の音圧βとの比率が、下記式１を満たすように設定することができる。
（式１） α／β＝1/Ｒ^x
（Ｒは所定の受聴位置（ドライバーの耳の位置）と仮想音源との距離であり、ｘは０以上の定数）
ステップ６００では、実背景音調整手段１０５により、実背景音を調整する。実背景音は、車室外マイク２０８ａ〜ｋにより取得された車室外の音場（音圧場）そのものを、スピーカ４０２ａ〜ｋにより、車室内に再生した音声である（図４参照）。実背景音調整手段１０５は、周波数帯毎に振幅や位相を調整することで、実背景音を合成する。具体的には、WFSや境界音場制御と呼ばれる方法や、HOAと呼ばれる方法等で実背景音の波面を合成する。車室内の乗員（ドライバーを含む）は、実背景音に対し、ドアや窓、天井を音が通過しているように感じることができる。

ステップ７００では、直接音合成手段１０２、反射音合成手段１０３、残響音合成手段１０４、実背景音調整手段１０５の出力をミキシングし、アンプ４０１ａ〜４０１ｋへ信号を供給する。

ステップ８００では、前記ステップ１００を前回実行してから、所定時間（数百ミリ秒〜数秒間の範囲内で設定される時間）が経過しているか否かを判断する。所定時間が経過している場合は、ステップ１００を実行することが必要であると判断してステップ１００に進み、所定時間が経過していない場合は、ステップ２００に進む。
（２−２）アンビエント提示音出力処理
（イ）交通信号（青色表示又は矢印表示）認識時
交通信号（青色表示又は矢印表示）認識時のアンビエント提示音出力処理を説明する。図１５のステップ１００１では、その時点までアンビエント提示音を出力していたならば、その出力を停止する。その時点までアンビエント提示音を出力していなければ、特に処理を行わない。

ステップ１００２では、自車両２の車線に関する交通信号であって、進行可を示す信号（青色表示又は青矢印表示をしているもの等（以下、青信号とする））を認識したか否かを判断する。青信号は、車室外カメラ２０２、又は車室外センサ２０３により認識する。青信号を認識している場合はステップ１００３に進み、青信号を認識していない場合はステップ１００２に留まる。

ステップ１００３では、自車両２が既に走行しているか、ドライバーの発進の意思が認められるか（シフトレバーがＤレンジ、１速、２速に操作されている、ブレーキを離した等）否かを判断する。ＮＯの場合はステップ１００４に進み、ＹＥＳの場合はステップ１００１に進む。

ステップ１００４では、スピーカ４０２ａ〜４０２ｋにより、アンビエント提示音の出力を開始し、次にステップ１００１の処理を行うまで継続する。このアンビエント提示音は、信号の位置を仮想音源とし、音像定位方向がその仮想音源に一致する立体音響である。その後、ステップ１００３に進む。
（ロ）交通信号（黄色表示又は赤色表示）認識時
交通信号（黄色表示又は赤色表示）認識時のアンビエント提示音出力処理を説明する。図１６のステップ１１０１では、その時点までアンビエント提示音を出力していたならば、その出力を停止する。その時点までアンビエント提示音を出力していなければ、特に処理を行わない。

ステップ１１０２では、自車両２の車線に関する交通信号であって、停止を示す信号（黄色表示又は赤色表示をしているもの等（以下、黄赤信号とする））を認識したか否かを判断する。黄赤信号は、車室外カメラ２０２、又は車室外センサ２０３により認識できる。黄赤信号を認識している場合はステップ１１０３に進み、黄赤信号を認識していない場合はステップ１１０２に留まる。

ステップ１１０３では、スピーカ４０２ａ〜４０２ｋにより、アンビエント提示音の出力を開始し、次にステップ１１０１の処理を行うまで継続する。このアンビエント提示音は、信号の位置を仮想音源とし、音像定位方向がその仮想音源に一致する立体音響である。

ステップ１１０４では、黄赤信号を既に自車両２が通り過ぎた、あるいは信号の色が青に変わったか否かを判断する。ＮＯの場合はステップ１１０５に進み、ＹＥＳの場合はステップ１１０１に進む。

ステップ１１０５では、信号が黄色を表示し、且つ自車両２が交差点直前に位置し、急ブレーキでないと停止できないタイミングであるか否かを判断する。ＮＯの場合はステップ１１０６に進み、ＹＥＳの場合はステップ１１０３に進む。

ステップ１１０６では、自車両２が既に停止しているか、ドライバーの停止の意思が認められる操作（ブレーキ操作、アクセル操作、シフト操作等）が行われたか否かを判断する。ＮＯの場合はステップ１１０７に進み、ＹＥＳの場合はステップ１１０３に進む。

ステップ１１０７では、自車両２が停止線で停止できる限界の予想時間と現在時刻との差（余裕）が閾値を下回っているか否かを判断する。閾値を下回っている場合はステップ１１０８に進み、閾値以上の場合はステップ１１０３に進む。

ステップ１１０８では、スピーカ４０２ａ〜４０２ｋにより、警告音を提示する。
（ハ）速度規制標識認識時
速度規制標識認識時のアンビエント提示音出力処理を説明する。図１７のステップ１２０１では、その時点までアンビエント提示音を出力していたならば、その出力を停止する。その時点までアンビエント提示音を出力していなければ、特に処理を行わない。

ステップ１２０２では、自車両２の車線に関する速度規制標識を認識したか否かを判断する。速度規制標識は、車室外カメラ２０２、又は車室外センサ２０３により認識できる。速度規制標識を認識している場合はステップ１２０３に進み、速度規制標識を認識していない場合はステップ１２０２に留まる。

ステップ１２０３では、スピーカ４０２ａ〜４０２ｋにより、アンビエント提示音の出力を開始し、次にステップ１２０１の処理を行うまで継続する。このアンビエント提示音は、速度規制標識の位置を仮想音源とし、音像定位方向がその仮想音源に一致する立体音響である。

ステップ１２０４では、速度規制標識を既に自車両２が通り過ぎたか否かを判断する。ＮＯの場合はステップ１２０５に進み、ＹＥＳの場合はステップ１２０１に進む。
ステップ１２０５では、その時点での自車両２の速度が、速度規制標識で規定されている速度範囲外（速度規制標識が速度の上限を規定する場合は、その上限を越え、速度規制標識が速度の下限を規定する場合はその下限未満）であるか否かを判断する。範囲外である場合はステップ１２０６に進み、範囲内である場合はステップ１２０３に進む。

ステップ１２０６では、ドライバーの視線が、速度規制標識の方向を一定時間以上向いていたか否かを判断する。ドライバーの視線は、車室内カメラ２０１を用いて検出することができる。ドライバーの視線が、速度規制標識の方向を一定時間以上向いていなかった場合はステップ１２０７に進み、向いていた場合はステップ１２０３に進む。

ステップ１２０７では、自車両２の速度を速度規制標識で規定されている速度範囲内にしようとするドライバーの意思に対応する操作（ブレーキ操作、アクセル操作）が認められたか否かを判断する。ＮＯの場合はステップ１２０８へ進み、ＹＥＳの場合はステップ１２０３へ進む。

ステップ１２０８では、スピーカ４０２ａ〜４０２ｋにより、警告音を提示する。
（ニ）進入禁止標識認識時
進入禁止標識認識時のアンビエント提示音出力処理を説明する。図１８のステップ１３０１では、その時点までアンビエント提示音を出力していたならば、その出力を停止する。その時点までアンビエント提示音を出力していなければ、特に処理を行わない。

ステップ１３０２では、自車両２の車線、又は自車両２がこれから進入する車線に関する自車両２の進行を禁止する標識（車両通行止め、車両進入禁止等の標識（以下進入禁止標識））を認識したか否かを判断する。進入禁止標識は、車室外カメラ２０２、又は車室外センサ２０３により認識できる。進入禁止標識を認識している場合はステップ１３０３に進み、進入禁止標識を認識していない場合はステップ１３０２に留まる。

ステップ１３０３では、進入禁止標識が規定する進入禁止方向に自車両２が進む可能性があるドライバーの操作（ウインカー操作、ステアリング操作）があったか否かを判断する。そのような操作があった場合はステップ１３０４に進み、そのような操作がなかった場合はステップ１３０２に進む。

ステップ１３０４では、スピーカ４０２ａ〜４０２ｋにより、アンビエント提示音の出力を開始し、次にステップ１３０１の処理を行うまで継続する。このアンビエント提示音は、進入禁止標識の位置を仮想音源とし、音像定位方向がその仮想音源に一致する立体音響である。

ステップ１３０５では、進入禁止標識が規定する進入禁止方向に自車両２が進むことを回避するドライバーの操作（ブレーキ操作、ステアリング操作、ウインカー操作等）があったか否かを判断する。そのような操作がなかった場合はステップ１３０６に進み、そのような操作があった場合はステップ１３０１に進む。

ステップ１３０６では、自車両２が進入禁止路に進入する前に停止できる限界の予想時間と現在時刻との差（余裕）が閾値を下回っているか否かを判断する。閾値を下回っている場合はステップ１３０７に進み、閾値以上の場合はステップ１３０４に進む。

ステップ１３０７では、スピーカ４０２ａ〜４０２ｋにより、警告音を提示する。
３．音声提示装置１が奏する効果
（１）音声提示装置１は、ドライバーが信号、標識等を見落としていた場合等に、アンビエント提示音を出力することができる。そのため、ドライバーは、それらの見落としに気付くことができる。
（２）アンビエント提示音は、車室内の音声に基づき、以下の条件Ａを満たすように作成されたものであるので、仮に、本来は音声を出力する必要がない状態において、アンビエント提示音が出力され続けていても、ドライバーは煩わしさを感じない。

（条件Ａ）アンビエント提示音の音圧レベルは、一部の周波数帯域において、車室内の音声の音圧レベルよりも高く、他の周波数帯域において、車室内の音声の音圧レベル以下であること。
（３）アンビエント提示音は、車室内の音声に基づき、以下の条件Ｂを満たすように作成されたものであるので、ドライバーは、アンビエント提示音により示す対象物を容易に認識することができる。

（条件Ｂ）音像定位方向が仮想音源に略一致する立体音響であること。
（４）音声提示装置１は、車室内で実背景音を出力する。そのことにより、以下の効果が得られる。

人間は聴覚によって感じる距離感・方向感を、視覚によって感じる距離感・方向感によって無意識のうちに常に修正している。運転中のドライバーは聴覚によって感じる距離感・方向感を視覚によって感じる距離感・方向感で学習し続けていくことができるが、現状の自動車では実現されておらず、結果として、聴覚によって感じる距離感・方向感の精度はあまりよくない。

音声提示装置１は、実際の背景音を実時間で、かつ実際の音場そのものを車室内に再生する。これにより、聴覚によって感じる距離感・方向感を視覚によって感じる距離感・方向感で学習し続けられる状態とすることができる。その結果、無音状態で学習ができていない状態のドライバーにアンビエント提示音を提示するよりも、より定位精度が高くなる。また、実背景音とアンビエント提示音が比較できるため、それによっても定位精度が高くなる。また、実背景音は、アンビエント提示音を突出させないための背景雑音（マスカー）としての役割を担うことができる。

尚、本発明は前記実施の形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば、音声提示装置１は、ドライバーの所定の操作、又は自車両２の所定の挙動を検出し、その検出に応じてアンビエント提示音を出力するものであってもよい。

１・・・音声提示装置、２・・・自車両、３・・・車載ＬＡＮ、
４・・・道路、５・・・壁、６・・・天井、
１００・・・立体音像定位装置、
１０１・・・仮想音像定位パラメータ計算手段、
１０２・・・直接音合成手段、１０３・・・反射音合成手段、
１０４・・・残響音合成手段、
１０５・・・実背景音調整手段、１０６・・・提示音データ、
２００・・・センサ装置、
２０１・・・車室内カメラ、２０２・・・車室外カメラ、
２０３・・・車室外センサ、２０４・・・衛星測位装置、
２０５・・・車速センサ、２０６・・・ジャイロセンサ、
２０７・・・舵角センサ、２０８ａ〜ｋ・・・車室外マイク、
２０９・・・ウィンカーＳＷ、２１０・・・スロットル開度センサ、
２１１・・・ブレーキ圧センサ、２１２・・・シフト位置センサ、
２１３・・・車室内マイク、３００・・・車室内外状況認識手段、
３０１・・・視線検出手段、３０２・・・注意点検出手段、
３０３・・・カーナビゲーション、
４００・・・オーディオ再生装置、４０１ａ〜ｋ・・・アンプ、
４０２ａ〜ｋ・・・スピーカ

Claims

車室内の音声を取得する車室内音声取得手段と、
前記車室内の音声に基づき、以下の条件Ａ及び条件Ｂを充足するアンビエント提示音を作成するアンビエント提示音作成手段と、
前記アンビエント提示音を出力するアンビエント提示音出力手段と、
を備えることを特徴とする音声提示装置。
（条件Ａ）前記アンビエント提示音の音圧レベルは、一部の周波数帯域において、前記車室内の音声の音圧レベルよりも高く、他の周波数帯域において、前記車室内の音声の音圧レベル以下であること。
（条件Ｂ）音像定位方向が仮想音源に略一致する立体音響であること。
車外の対象物、ドライバーの操作、及び車両の挙動から成る群から選ばれる１以上を検出する第１の状況検出手段を備え、
前記アンビエント提示音出力手段は、前記第１の状況検出手段の検出結果に応じて前記アンビエント提示音を出力することを特徴とする請求項１記載の音声提示装置。
前記車外の対象物が、標識又は信号であることを特徴とする請求項２記載の音声提示装置。
前記アンビエント提示音は、直接音、反射音、及び残響音から構成され、
車外の状況を検出する第２の状況検出手段と、
前記第２の状況検出手段の検出結果に応じて、前記反射音又は前記残響音の作成条件を設定する反射・残響条件設定手段と、
を備えることを特徴とする請求項１〜３のいずれか１項記載の音声提示装置。
前記残響音の作成条件は、帯域毎の残響時間、又は各方向における残響音の音量であることを特徴とする請求項４記載の音声提示装置。
直接音の音圧αと、残響音の音圧βとの比率が、下記式１を満たすように設定されることを特徴とする請求項４又は５記載の音声提示装置。
（式１） α／β＝1/Ｒ^x
（Ｒは所定の聴取位置と前記仮想音源との距離であり、ｘは０以上の定数）
前記車室外の音場である実背景音を取得する実背景音取得手段と、
前記実背景音を前記車室内で再現する実背景音再現手段と、
を備えることを特徴とする請求項１〜６のいずれか１項に記載の音声提示装置。