JP2008151766A - 立体音響制御装置及び立体音響制御方法 - Google Patents

Abstract

【課題】音声による方向指示を容易に且つ低コストで行うことができる立体音響制御装置及び音響制御方法を提供する。
【解決手段】制御部６は、センサ部１から位置情報を取得して装置本体の位置を特定すると共に、センサ部１から加速度情報を取得して装置本体が向いている方角を特定し、特定した方角情報と位置情報とから予め設定された又は与えられた位置までの距離情報及び方向情報を求め、これらを音の定位情報として出力する。処理部７は音の定位情報に基づいてデジタル音声データに立体音響処理を施して方向性を持ったデジタル音声データを生成する。変換部８はデジタル音声データをアナログ変換した後、スピーカ９及び１０を駆動し立体的な音声を出力する。これにより、聴覚のみで直感的にわかる音声形式で聴取者に方向の指示を与えることが可能となる。
【選択図】図１

Description

本発明は、カーナビゲーションやナビゲーション機能を有する携帯電話等に用いて好適な立体音響制御装置及び立体音響制御方法に関する。

従来、ユーザに位置情報を通知する機能を有する装置として、カーナビゲーションやナビゲーション機能を有する携帯電話などがある。これらの装置には、通常、ＧＰＳ（Global Positioning System）受信機が搭載されており、このＧＰＳ受信機を用いて位置情報を取得し、それをディスプレイに表示する。特に、カーナビゲーションにはＧＰＳの他に加速度センサが搭載されていることから、この加速度センサを用いて方向情報を取得し、これにより取得した方向情報を位置情報と共にディスプレイに表示する。

また、位置や方向を視覚表示する以外に、ユーザに音声で位置や方向を通知する機能を有する装置もある。

一方、音を四方に拡散させることなく、ユーザの耳の近傍においてのみ音を発生させるようにした技術もある（例えば、特許文献１参照）。特許文献１には、カメラで撮影したユーザの顔の大きさに基づいて、携帯端末からユーザの顔までの距離を計測し、その計測距離に対応するフィルタ係数をメモリから読み出して立体音響処理部のフィルタに設定する技術が開示されている。この技術により、左右のスピーカからの音波に基づく音像がユーザの顔位置に定位されるので、左右のスピーカからの音声が周囲に拡散することなくユーザの顔の位置に収束される。

特開２００６−１５７５５８号公報

しかしながら、上述した従来技術においては、以下のような問題がある。
（ａ） ディスプレイに位置情報を表示する装置では、表示による指示であることから、位置表示以外の他の表示と混在する虞があり、そのようになった場合には位置表示が見難くなる。
（ｂ） 音声で方向を案内する装置では、右左上下などの読み上げに直感性を欠いてしまう。また、音声で直感的に方向を案内するため、上下左右３６０度方向に幾つもスピーカが必要となって装置が大掛かりになり、またコストが高くつく。
（ｃ） 立体音響を利用して音声に指向性を持たせる装置では、スピーカ２個で上下左右３６０度方向に擬似的な音声を発生させることが可能であるものの、その用途は単に音声を聞こえ易くするためのものであり、方向の指示（誘導、識別、注意等）を簡単に行えるものではない。

本発明は、係る事情に鑑みてなされたものであり、音声による方向の指示を容易に且つ低コストで行うことができる立体音響制御装置及び立体音響制御方法を提供することを目的とする。

上記目的は下記構成又は方法により達成される。
（１） 立体音響制御装置において、音声データを取得する音声データ取得手段と、位置情報を取得する位置情報取得手段と、前記位置情報取得手段で取得された位置情報の変化から装置本体の方角を特定し、前記方角情報及び前記位置情報とから予め設定された又は与えられた位置までの距離情報及び方向情報を求め、これらを音の定位情報として出力する制御手段と、前記定位情報に基づいて前記音声データ取得手段で取得された音声データに立体音響処理を施す処理手段と、を備える。

上記構成によれば、方角情報及び位置情報とから予め設定された又は与えられた位置までの距離情報及び方向情報を求め、これらを音の定位情報として出力するので、視覚情報とは別に音声による方向の指示が可能となる。

（２） 上記（１）に記載の立体音響制御装置において、加速度を検出する加速度検出手段を備え、前記制御手段は、前記加速度検出手段から加速度情報を取得して装置本体が移動した、若しくは、移動している方角を判定し、この判定により得られた方角情報と前記位置情報とから予め設定された又は与えられた位置までの距離情報及び方向情報を求め、これらを音の定位情報として出力する。

上記構成によれば、加速度検出手段によって加速度情報を取得して装置本体が移動した、若しくは、移動している方角を判定するので、精度のよい方角情報を得ることができる。

（３） 上記（１）に記載の立体音響制御装置において、方位を検出する方位検出手段を備え、前記制御手段は、前記方位検出手段から方位情報を取得して装置本体が向いている方角を判定し、この判定により得られた方角情報と前記位置情報とから予め設定された又は与えられた位置までの距離情報及び方向情報を求め、これらを音の定位情報として出力する。

上記構成によれば、磁気センサや水平センサ等の方位検出手段によって方位情報を取得して装置本体が向いている方角を判定するので、加速度検出手段を持たなくとも方角情報を得ることができる。

（４） 上記（３）に記載の立体音響制御装置において、姿勢を検出する姿勢検出手段を備え、前記制御手段は、前記姿勢検出手段から取得した装置本体の地表に対する姿勢情報に基づいて前記方向情報を補正する。

上記構成によれば、本発明を携帯電話等のモバイル端末に適用した場合、モバイル端末を持つ人の姿勢状態を知ることができ、姿勢情報に基づいて方向情報を補正するので、方向情報の精度向上が図れる。

（５） 上記（１）に記載の立体音響制御装置において、死角を検出する死角検出手段を備え、前記制御手段は、前記死角検出手段が捉えた物体までの距離情報及び方向情報を求め、これらを音の定位情報として出力する。

上記構成によれば、本発明をカーナビゲーションに適用した場合、車両の後方や側方などの死角を検出することが可能となり、安全性の向上が図れる。なお、死角検出手段としては、例えば人感知センサなどが挙げられる。

（６） 立体音響制御装置において、音声データを含む複数チャネルのデータを入力する入力手段と、前記入力手段から入力されるデータのチャネル毎に予め設定された又は与えられた位置情報を取得して距離情報及び方向情報を求め、これらを音の定位情報として出力する制御手段と、前記制御手段から出力された前記定位情報に基づいて前記データの音声データに立体音響処理を施す処理手段と、を備える。

上記構成によれば、チャネル毎に距離情報及び方向情報を求め、これらを音の定位情報とし、この定位情報に基づいて音声データに立体音響処理を施すので、互いに異なる複数の音声を入力した場合に、それぞれを容易に識別し易くなり、混乱することなく聴くことができるようになる。

（７） 上記（６）に記載の立体音響制御装置において、前記制御手段は、前記入力手段において同一チャネルから入力される音声データの識別を行い、チャネル情報だけでなく識別情報にも予め設定された又は与えられた位置情報を取得して距離情報及び方向情報を求め、これらを音の定位情報として出力する。

上記構成によれば、識別子毎に定位情報を付加した音声を得ることができる。

（８） 上記（６）に記載の立体音響制御装置において、前記入力手段は、電波を送受信するものであり、前記制御手段は、前記入力手段で受信した電波の指向強度により電話発信源の方向を把握して方向情報を求め、それを音の定位情報として出力する。

上記構成によれば、電波発信源の方位の提示が可能となり、また電波発信源の強弱をその音量に掛け合わすことによって、おおまかな距離情報も提示することができる。

（９） 上記（１）乃至（８）のいずれかに記載の立体音響制御装置において、切替手段を備え、前記切替手段は、前記音声データ取得手段で取得された音声データに立体音響処理を施すか否かを切り替える。

上記構成によれば、音声データに立体音響処理を施すか否かを切り替えることができる。

（１０） 上記（９）に記載の立体音響制御装置において、前記切替手段は、前記距離情報に基づいて切り替えを行う。

上記構成によれば、距離情報に基づいて音声データに立体音響処理を施すか否かを切り替えることができる。

（１１） 上記（１）乃至（１０）のいずれかに記載の立体音響制御装置において、前記処理手段は、前記立体音響処理として、前記距離情報が予め設定された距離以下の場合に立体音響処理を施す。

上記構成によれば、距離情報が予め設定された距離以下の場合にのみ立体音響処理を施すことができる。

（１２） 上記（１）乃至（１０）のいずれかに記載の立体音響制御装置において、前記処理手段は、前記立体音響処理として、前記距離情報が予め設定された距離範囲内の場合に立体音響処理を施す。

上記構成によれば、距離情報が予め設定された距離範囲内の場合にのみ立体音響処理を施すことができる。

（１３） 上記（１）乃至（１２）のいずれかに記載の立体音響制御装置において、表示手段を備え、前記制御手段は、前記表示手段に対して前記定位情報に基づく表示を行う。

上記構成によれば、音声のみならず表示によっても方向指示が可能となる。

（１４） 立体音響装置において、少なくとも２個のスピーカと、音声データを取得する音声データ取得手段と、位置情報を取得する位置情報取得手段と、前記位置情報取得手段で取得された位置情報の変化から装置本体の方角を特定し、前記方角情報及び前記位置情報とから予め設定された又は与えられた位置までの距離情報及び方向情報を求め、これらを音の定位情報として出力する制御手段と、前記定位情報に基づいて前記音声データ取得手段で取得された音声データに立体音響処理を施す処理手段と、前記処理手段で立体音響処理が施された音声データを前記スピーカで出力する出力手段と、を備える。

上記構成によれば、チャネル毎に方向性を持った音声データを生成するので、互いに異なる複数の音声を入力した場合に、それぞれを容易に識別し易くなり、混乱することなく聴くことができる。また、スピーカも最低２個あれば立体音響を実現できるので、本発明の立体音響制御装置を導入することによるコストアップを最小限に抑えることができる。

（１５） 上記（１４）に記載の立体音響装置において、被写体を撮像する撮像手段を備え、前記制御手段は、前記撮像手段から入力される画像から前記スピーカの音を聴く聴取者を認識し、該聴取者の装置本体との距離情報及び方向情報を求め、これらを音の定位情報として出力する。

上記構成によれば、スピーカの音を聴く聴取者に対して最適な立体音響を実現することができる。

（１６） 上記（１４）又は（１５）に記載の立体音響装置において、切替手段を備え、前記切替手段は、前記音声データ取得手段で取得された音声データに立体音響処理を施すか否かを切り替える。

上記構成によれば、音声データに立体音響処理を施すか否かを切り替えることができる。

（１７） 上記（１６）に記載の立体音響装置において、前記切替手段は、前記距離情報に基づいて切り替えを行う。

上記構成によれば、距離情報に基づいて音声データに立体音響処理を施すか否かを切り替えることができる。

（１８） 上記（１４）乃至（１７）のいずれかに記載の立体音響装置において、前記処理手段は、前記立体音響処理として、前記距離情報が予め設定された距離以下の場合に立体音響処理を施す。

上記構成によれば、距離情報が予め設定された距離以下の場合にのみ立体音響処理を施すことができる。

（１９） 上記（１４）乃至（１７）のいずれかに記載の立体音響装置において、前記処理手段は、前記立体音響処理として、前記距離情報が予め設定された距離範囲内の場合に立体音響処理を施す。

上記構成によれば、距離情報が予め設定された距離範囲内の場合にのみ立体音響処理を施すことができる。

（２０） 上記（１４）乃至（１９）のいずれかに記載の立体音響装置において、表示手段を備え、前記制御手段は、前記表示手段に対して前記定位情報に基づく表示を行う。

上記構成によれば、音声のみならず表示によっても方向指示が可能となる。

（２１） 音声データを取得する音声データ取得工程と、位置情報を取得する位置情報取得工程と、前記位置情報取得工程で取得された位置情報の時間的変化から装置本体の方向を特定し、前記方角情報と前記位置情報とから予め設定された又は与えられた位置までの距離情報及び方向情報を求め、これらを音の定位情報として出力する定位情報取得工程と、前記定位情報に基づいて前記音声データ取得工程で取得された音声データに立体音響処理を施す処理工程と、を備える。

上記方法によれば、方角情報及び位置情報とから予め設定された又は与えられた位置までの距離情報及び方向情報を求め、これらを音の定位情報として出力するので、視覚情報とは別に音声による方向の指示が可能となる。また、スピーカも最低２個で済むので、本発明の立体音響制御装置を導入することによるコストアップを最小限に抑えることができる。

本発明によれば、立体音響処理によって音声の方向情報を作り出して、視覚情報とは別に、音声による方向の指示（誘導、識別、注意等）を聴取者に与えることができる。

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る立体音響装置の概略構成を示すブロック図である。同図において、本実施の形態の立体音響装置は、本発明をカーナビゲーションに適用したものであり、センサ部１と、カメラ入力部２と、地図情報記憶部３と、デジタル音声データ記憶部４と、表示部５と、制御部６と、処理部７と、変換部８と、スピーカ９及び１０とを備えて構成される。

センサ部１は、ＧＰＳ（Global Positioning System）信号を受信するＧＰＳ受信機と加速度センサとを有し、ＧＰＳ受信機で位置情報を取得すると共に加速度センサで加速度を取得し、取得した位置情報と加速度情報を制御部６に入力する。カメラ入力部２は、被写体を撮像して得たカメラ映像データを制御部６に入力する。地図情報記憶部３は、地図情報を記憶する。デジタル音声データ記憶部４は、方向指示（誘導、識別、注意等）メッセージであるデジタル音声データを記憶する。表示部５は、液晶ディスプレイを有し、制御部６から入力される位置情報を含む表示データを表示する。

制御部６は、装置各部を制御するものであり、図示せぬＣＰＵ（Central Processing Unit）と、ＣＰＵを動作させるプログラムを記憶したＲＯＭ（Read Only Memory）等の不揮発性メモリと、ＣＰＵの動作に使用されるＲＡＭ（Random Access Memory）等の揮発性メモリとを有している。制御部６は、センサ部１から位置情報を取得して装置本体の位置を特定すると共に、地図情報記憶部３から装置本体を中心とした地図情報を取得し、更にセンサ部１から加速度情報を取得して装置本体が向いている方角を特定し、方角情報と位置情報とから予め設定された又は与えられた位置までの距離情報及び方向情報を求め、これらを音の定位情報として出力する。この定位情報は処理部７に入力される。処理部７に定位情報を入力する際、デジタル音声データ記憶部４に記憶されているデジタル音声データのうち、現状に見合う内容のデジタル音声データも処理部７に入力する。

また、制御部６は、カメラ入力部２から入力されたカメラ映像データを表示部５で表示できる表示データに変換して表示部５に入力する。

なお、制御部６が、カメラ入力部２から入力される画像を基にスピーカ９及び１０から出力される音を聴く聴取者を認識し、装置本体との位置や方角情報を取得して距離情報及び方向情報を求め、これらを音の定位情報として処理部７に入力するようにしてもよい。

処理部７は、制御部６から音の定位情報（距離情報と方角情報）とデジタル音声データが入力されると、距離情報が予め設定された距離以下の場合に、入力された音の定位情報に基づいてデジタル音声データに立体音響処理を施し、その結果を変換部８に入力する。なお、立体音響処理の実行を、距離情報が予め設定された距離以下の場合に行う以外に、距離情報が予め設定された距離範囲内の場合に行うようにしてもよいし、またこれらの限定を省いてもよい。

図２は、処理部７の詳細な構成を示すブロック図である。同図において、処理部７は、複数のフィルタ係数を記憶しているフィルタ係数メモリ７１と、デジタル音声データ記憶部４からのデジタル音声データに対し、定位情報に対応するフィルタ係数により位相を制御する左右両チャネル用の制御フィルタ７２Ｌ、７２Ｒとを備えている。

フィルタ係数メモリ７１は、定位情報に対応させたフィルタ係数をテーブル形式で記憶しており、入力された定位情報に対応するフィルタ係数を出力する。出力されたフィルタ係数は制御フィルタ７２Ｌ、７２Ｒに入力される。この場合、Ｌチャネル用のフィルタ係数はＬチャネル用の制御フィルタ７２Ｌに入力され、Ｒチャネル用のフィルタ係数はＲチャネル用の制御フィルタ７２Ｒに入力される。

制御フィルタ７２Ｌ、７２Ｒは、制御部６を経由して入力されるデジタル音声データ記憶部４からのデジタル音声データに対し、フィルタ係数メモリ７１からのフィルタ係数により位相を制御する。デジタル音声データ記憶部４から得られるデジタル音声データはモノラルであり、このモノラルのデジタル音声データが制御フィルタ７２ＬでＬチャネルの位相に、制御フィルタ７２ＲでＲチャネルの位相にそれぞれ制御される。

フィルタ係数メモリ７１に入力される定位情報は、図３に示すように、聴取者を中心とした「方位、仰角、距離」で示す座標系の情報である。定位情報に対応するフィルタ係数がフィルタ係数メモリ７１から読み出されて制御フィルタ７２Ｌ、７２Ｒに入力される。なお、制御フィルタ７２Ｌ、７２Ｒに入力されるフィルタ係数は、フィルタ係数メモリ７１に予め記憶されたもの以外にユーザが直接入力することも可能である。このように、処理部７では、定位情報を基にモノラルのデジタル音声データを定位処理してステレオのデジタル音声データを出力する。

変換部８は、Ｄ／Ａ変換器（図示略）を有し、処理部７からのデジタル音声データをアナログの音声信号に変換してスピーカ９及び１０を駆動する。スピーカ９及び１０は、ステレオ効果を得るための配置がなされている。

なお、センサ部１と制御部６は位置情報取得手段と加速度検出手段をそれぞれ構成する。また、カメラ入力部２は撮像手段に対応する。また、デジタル音声データ記憶部４と制御部６は音声データ取得手段を構成する。また、制御部６は制御手段に対応する。また、処理部７は処理手段に対応する。また、センサ部１、デジタル音声データ記憶部４、制御部６、処理部７及び変換部８は、立体音響制御装置を構成する。

次に、上記構成の立体音響装置の動作について説明する。制御部６は、センサ部１から位置情報と角度情報を取得する。そして、角度情報より装置本体が移動した、若しくは移動している方角を判定し、この判定により得られた方角情報と位置情報とから予め設定された又は与えられた位置までの距離情報及び方向情報を求め、これらを音の定位情報として処理部７に入力する。また、制御部６は、デジタル音声データ記憶部４から、現時点で最適な内容（方向の誘導や識別、注意等）のデジタル音声データを読み出し、これを処理部７に入力する。

処理部７は、制御部６から定位情報及び該定位情報に関連するデジタル音声データが入力されると、該定位情報に基づいてデジタル音声データに立体音響処理を施し、その結果を変換部８に入力する。即ち、処理部７では、聴取者を中心とした「方位、仰角、距離」で示す座標系の定位情報に対応するフィルタ係数がフィルタ係数メモリ７１から読み出されて制御フィルタ７２Ｌ、７２Ｒに入力される。この場合、Ｌチャネル用の制御フィルタ７２ＬにはＬチャネル用のフィルタ係数が入力され、Ｒチャネル用の制御フィルタ７２ＲにはＲチャネル用のフィルタ係数が入力される。

そして、制御フィルタ７２Ｌが、Ｌチャネル用のフィルタ係数を用いてデジタル音声データに対して位相を制御し、また制御フィルタ７２Ｒが、Ｒチャネル用のフィルタ係数を用いてデジタル音声データに対して位相を制御する。そして、位相制御されたＬチャネル用のデジタル音声データとＲチャネル用のデジタル音声データがステレオのデジタル音声データとして変換部８に入力される。変換部８は、処理部７から入力されたステレオのデジタル音声データをアナログ変換し、スピーカ９及び１０を駆動する。これにより、スピーカ９及び１０から立体的な音声が出力される。この立体的な音声は方向性を持つことから、表示形式ではなく音声形式で方向の指示が可能となる。なお、本実施の形態の立体音響装置は、本発明をカーナビゲーションに適用したので、聴取者は運転者になることは言うまでもない。

このように本実施の形態の立体音響装置によれば、位置情報の取得と加速度センサの検出が可能なセンサ部１から加速度情報を取得して装置本体が移動した、若しくは、移動している方角を判定し、この判定により得られた方角情報と位置情報とから予め設定された又は与えられた位置までの距離情報及び方向情報を求め、これらを音の定位情報として、デジタル音声データに立体音響処理を施して方向性を持ったデジタル音声データを生成し、生成したデジタル音声データをアナログ変換して２個のスピーカ９及び１０を駆動し立体的な音声を出力するようにした。これにより、表示部５の表示を見る表示形式ではなく、聴覚のみで直感的にわかる音声形式で聴取者に方向の指示（誘導、識別、注意等）を与えることが可能となる。特に、立体音響処理は３６０度方向の情報を音声データに取り入れることができるので、単純な左右だけでなく全方位に亘って方向を指示することができる。また、方向に併せて距離等も指示することができるので、ユーザ（聴取者）は、聴覚のみで必要な情報を瞬時に得ることができる。また、スピーカも最低２個で済むので、本発明の立体音響装置を導入することによるコストアップを最小限に抑えることができる。

因みに、従来のカーナビゲーションは、表示と音声による方向指示を行うだけであり、例えば「この先を左折」の場合、左折方向と左折までの距離を表示し、スピーカからは「この先を左折」と言う音声が流れる。この場合、方向や距離の詳細を知るには詳細表示を見る必要があるが、実際の交通状況の視認も同時に行わなければならず、情報把握に時間がかかったり、情報を見逃したりすることがある。その点、本発明では、視認を殆どする必要がないので、情報把握に時間がかかったり、情報を見逃したりすることがない。

なお、本実施の形態では、方角を判断するために加速度情報も取り入れたが、位置情報の時間変化で大まかな方角を判断できるので、センサ部１における加速度センサは必ずしも必要とするものではない。ここで、位置情報を使用する場合、次のようになる。即ち、制御部６は、センサ部１で取得された位置情報の変化から装置本体の方角を特定し、特定した方角とセンサ部１で取得された位置情報とから予め設定された又は与えられた位置までの距離情報及び方向情報を求め、これらを音の定位情報とし、この定位情報に基づいてデジタル音声データ記憶部４からのデジタル音声データに立体音響処理を施す。

また、方角の判断は、方位を検出できる方位センサ（方位検出手段、図示略）を用いても可能である。即ち、制御部６は、方位センサから方位情報を取得して装置本体が向いている方角を判定し、この判定により得られた方角情報と位置情報とから予め設定された又は与えられた位置までの距離情報及び方向情報を求め、これらを音の定位情報とし、この定位情報に基づいてデジタル音声データ記憶部４からのデジタル音声データに立体音響処理を施す。なお、地磁気センサや水平センサなどの姿勢検出手段（図示略）を用いることで方向情報の精度を高めることが可能である。即ち、制御部６は、姿勢検出センサから装置本体の地表に対する姿勢情報を取得し、取得した姿勢情報に基づいて方向情報を補正する。

また、本実施の形態では、センサ部１は位置情報と加速度情報を取得するものであるが、このセンサ部１に、後方や側方の人感知センサ（死角検出手段、図示略）を加えることで、後方や側方にいる人の位置を検出することが可能である。このようにすることで、自動車等の車両に適用した場合に、後進方向や巻き込み方向に注意を仕向けるようスピーカ９及び１０からその方向に注意音声を入れ込むことが可能となる。この場合、制御部６は人感知センサが捉えた物体までの距離情報及び方向情報を求め、これらを音の定位情報として処理部７に入力する。この後方・側方を検知する手段を追加することで、視覚と異なり、意識を傾けなくても自然に情報が入ってくるため、認識速度も高くなり、車両を運転する場合に安全性を確保することが可能となる。

また、人の位置は人感知センサによる検出以外に、ＧＰＳを用いて通話相手の位置情報を得ることができる。そして、この通話相手の位置情報を用いて、通話相手の位置から音が聞こえるようにすることも可能である。その際の音とは、通話相手そのもの音声であればなお臨場感が得られる。

また、本実施の形態では、本発明をカーナビゲーションに適用した場合であったが、携帯電話等のモバイル端末に適用した場合でも同様の効果を得ることができる。この場合、センサ部１は加速度などのセンサではなく地磁気センサや水平センサで代用することも可能である。但し、モバイル端末の姿勢は人の持つ角度などで絶えず変化するので、カメラ入力部２を用いてモバイル端末が地上に対して取る姿勢を求め、この結果に基づいて方向情報を補正するようにすればよい。

また、人との相対関係を知るには、例えば顔を常にモバイル端末に向けている制約を持つと仮定すれば、画像処理により人の顔特長を抽出し、目の位置や大きさなどからモバイル端末と人との相対的な姿勢状態をある程度知ることができる。この姿勢情報を得ることができれば、この姿勢情報を用いてモバイル端末の位置情報を補正することで、人を中心とした方向指示が可能となる。但し、人の姿勢は正しく立位しているなどの条件が前提になるので、この条件が満たされない場合に正確な方位を示すためにはモバイル端末に加速度センサや水平センサなどを搭載して補正する必要がある。勿論、センサはモバイル端末であろうと、カーナビゲーションであろうと任意であり、それぞれに適したものを利用することになる。

また、本実施の形態では、２個のスピーカ即ちスピーカ９及び１０を設けたが、この数は２個の限定されるものではなく、ステレオ効果を得るためであれば、２個以上であっても構わない。但し、あまり多く設けるとコストアップになるので、その点を考慮する必要がある。

また、本実施の形態では、本機能（デジタル音声データ記憶部４及び制御部６で取得した音声データに立体音響処理を施す機能）を使用するか否かを任意に選択することができるオプション機能は有していないが、ナビゲーションを開始するメニュー画面やシステム設定画面に、本機能を使用するか否かを選択できるオプション機能を設けてもよい。また、手動による選択の他に、距離情報等に基づいて自動選択することも可能である。

また、本実施の形態では、距離感を横方向の角度と音量と周波数特性によって表現しているが、代わりに仰角を用いてもよい。

（実施の形態２）
図４は、本発明の実施の形態２に係る立体音響装置の概略構成を示すブロック図である。同図において、本実施の形態の立体音響装置は、本発明を携帯電話等のモバイル端末に適用したものであり、前述した実施の形態１の立体音響装置と同様の構成及び機能に加えて、有線で音声データを含む複数チャネルのデータを取り込む入力部（入力手段）１１を備えている。なお、時分割に分けられたパケットを通信する場合、各パケットは”識別子”とそれに応じた”音声データ”とから構成される。制御部６は、入力部１１から入力されるデータのチャネル毎に予め設定された又は与えられた位置情報を取得して距離情報及び方向情報を求め、これらを音の定位情報として出力する。また、制御部６は、入力部１１において同一チャネルから入力される音声データの識別を行い、チャネル情報だけでなく識別情報にも予め設定された又は与えられた位置情報を取得して距離情報及び方向情報を求め、これらを音の定位情報として出力する。これにより、識別子毎に立体情報を付加した音声を得ることができる。即ち、識別子毎に方向の異なる音声が多重化されて人の耳に聞こえることになる。これにより、聴取者は複数の音声を殆ど混乱することなく識別することができる。

なお、方位情報は入力部１１に入力されるデータに多重化されていてもよい。また、音声は、文字情報を送受信してそれを変換することで生成してもよい。また、方位情報を表示部５に表示することにより識別情報による名前やクラスなどの詳細情報を付加して識別しやすくすることもできる。この様子を図５に示す。同図において、話者Ａ、Ｂ、Ｃがいて、各人の音声が多重化されたデジタルデータが電波となってモバイル端末１５に届く。この電波が入力部１１で受信されるが、パケット化されているので、それぞれの音声に分離される。そして、話者Ａには左側の位置情報、話者Ｂには上側の位置情報、話者Ｃには右側の位置情報が既に与えられているとすると、前述の分離された各音声は処理部７Ａにより話者Ａの音声は左側、話者Ｂの音声は上側、話者Ｃの音声は右側に定位するよう立体音響処理が行われる。また、処理部７Ａは、各人に対する定位情報に基づく表示を行う。これにより、図５に示すように、表示部５の画面に向かって話者Ａは左下領域に表示され、話者Ｂは***領域に表示され、話者Ｃは右下領域に表示される。

処理部７Ａは、同時に複数の音声データを処理できるように、Ｌチャネル、Ｒチャネルの夫々に対して複数の制御フィルタを有している。本実施の形態では話者Ａ〜話者Ｃの３人に対応する数の制御フィルタを有しているとする。図６に処理部７Ａの詳細な構成を示す。同図に示すように、処理部７Ａは、１個のフィルタ係数メモリ７１Ａと、３個のＬチャネル用の制御フィルタ７２ＡＬと、３個のＲチャネル用の制御フィルタ７２ＡＲと、３個の制御フィルタ７２ＡＬそれぞれの出力を加算する加算器７３ＡＬと、３個の制御フィルタ７２ＡＲそれぞれの出力を加算する加算器７３ＡＲとを有している。

フィルタ係数メモリ７１Ａは、複数の話者夫々に対する定位情報に対応させたフィルタ係数をテーブル形式で記憶しており、入力された各定位情報に対応するフィルタ係数を出力する。本実施の形態では、話者が話者Ａ〜話者Ｃの３人であるので、話者Ａに対応するＬ、Ｒチャネルのフィルタ係数と、話者Ｂに対応するＬ、Ｒチャネルのフィルタ係数と、話者Ｃに対応するＬ、Ｒチャネルのフィルタ係数が夫々出力される。フィルタ係数メモリ７１Ａから出力されたＬ、Ｒチャネルのフィルタ係数のうち、話者Ａに対応するＬ、Ｒチャネルのフィルタ係数は、１つ目の制御フィルタ７２ＡＬ、７２ＡＲに入力され、話者Ｂに対応するＬ、Ｒチャネルのフィルタ係数は、２つ目の制御フィルタ７２ＡＬ、７２ＡＲに入力され、話者Ｃに対応するＬ、Ｒチャネルのフィルタ係数は、３つ目の制御フィルタ７２ＡＬ、７２ＡＲに入力される。

各制御フィルタ７２ＡＬ、７２ＡＲは、入力された各人のデジタル音声データに対し、フィルタ係数メモリ７１Ａからのフィルタ係数により位相を制御する。処理部７Ａに入力されるデジタル音声データはモノラルであり、このモノラルのデジタル音声データが制御フィルタ７２ＡＬでＬチャネルの位相に、制御フィルタ７２ＡＲでＲチャネルの位相にそれぞれ制御される。フィルタ係数メモリ７１Ａに入力される定位情報は、図３を参照して前述したように、聴取者を中心とした「方位、仰角、距離」で示す座標系の情報である。なお、制御フィルタ７２ＡＬ、７２ＡＲに入力するフィルタ係数は、フィルタ係数メモリ７１Ａに予め記憶されたもの以外にユーザが直接入力することも可能である。

Ｌチャネル用の各制御フィルタ７２ＡＬの出力は加算器７３ＡＬで加算されて出力され、Ｒチャネル用の各制御フィルタ７２ＡＲの出力は加算器７３ＡＲで加算されて出力される。このように、処理部７Ａでは、各人に対する定位情報を基にモノラルのデジタル音声データを定位処理してステレオのデジタル音声データを出力する。

図４に戻り、制御部６は、各位置情報に応じて表示部５に識別子としての情報を表示する。例えばテレビ電話であれば、その動画情報を指定の位置に表示する。なお、表示部５を用いて人が手動で識別子毎に方位情報を与えるようにしてもよい。例えば表示を見ながら任意の表示位置に識別子が来るよう配置する。これにより、好みに沿った方位情報を与えることができる。

また、入力部１１に入力される音声データが識別子を持たず音声が単純に加算された多重化されたものもある。例えば、テレビ会議など複数話者の音声が１つのマイクで集約された音声データが挙げられる。この音声データが伝送されたものを仮定すると、制御部６は音声認識による分離を行って、それぞれの音声データに分解すると共に方位情報を生成する。これにより、擬似的に識別できることになる。このようにモバイル端末でも臨場感あふれる音声を聞くことが可能になる。

なお、センサ部１、デジタル音声データ記憶部４、制御部６、処理部７Ａ、変換部８及び入力部１１は、立体音響制御装置を構成する。

このように本実施の形態の立体音響装置によれば、識別子が与えられた複数の音声データのそれぞれについて、それぞれの方位情報に基づいて立体音響処理を施し、方向性を持った音声データを生成するので、聴取者は複数の音声を混乱することなく識別することができる。したがって、モバイル端末で複数の相手と同時通話した場合に、それぞれ異なった位置から各相手の音声が聞こえることになるので、混乱することなく各人の音声を確実に識別することができる。

（実施の形態３）
図７は、本発明の実施の形態３に係る立体音響装置の概略構成を示すブロック図である。同図において、本実施の形態の立体音響装置は、本発明を携帯電話等のモバイル端末に適用したものであり、前述した実施の形態１の立体音響装置と同様の構成及び機能に加えて、外部からデジタルデータを無線で取り込む機能即ち電波発信源から送信される電波を受信する機能を有する入力部１２を備えている。

制御部６は、入力部１２で受信されたデジタル音声データと同時に電波強度を一定時間毎に受け取って記録することで、前述したモバイル端末の姿勢変化と合わせて電波強度と方位を判定する。即ち、受信電波の指向強度を判定する。そして、判定した指向強度により電波発信源の方向を把握して方向情報を求め、それを音の定位情報として出力する。なお、入力部１２に送信機能を持たせてもよく、そのようにすることで、探知電波を逆に送信して、その受信強度を読み取ることが可能となる。

なお、センサ部１、デジタル音声データ記憶部４、制御部６、処理部７（又は７Ａ）、変換部８及び入力部１１は、立体音響制御装置を構成する。

このように本実施の形態の立体音響装置によれば、電波発信源から送信される電波（デジタルデータ）を一定時間毎に受け取って、モバイル端末の姿勢変化と合わせて受信電波の指向強度を判定するので、ユーザに電波発信源の方位を提示できると共に、電波発信源の強弱をその音量に掛け合わすことによって、おおまかな距離情報も提示することができる。

なお、本実施の形態は、実施の形態１と同様に１つの音声データを処理するものであるが、実施の形態２のように同時に複数の音声データを処理するものであってもよい。この場合、処理部として、処理部７Ａを用いる。

本発明は、立体的な音響処理を特定音声に施すことにより、簡単に方向の誘導や識別ができたり、補助情報として注意等の有益な情報を得たりすることができるといった効果を有し、カーナビゲーションやナビゲーション機能を有する携帯電話等への適用が可能である。

本発明の実施の形態１に係る立体音響装置の概略構成を示すブロック図 本発明の実施の形態１に係る立体音響装置の処理部の詳細な構成を示すブロック図 定位情報の一例である聴取者を中心とした「方位、仰角、距離」で示す座標系の情報を示す図 本発明の実施の形態２に係る立体音響装置の概略構成を示すブロック図 本発明の実施の形態２に係る立体音響装置の機能を説明するための図 本発明の実施の形態２に係る立体音響装置の処理部の詳細な構成を示すブロック図 本発明の実施の形態３に係る立体音響装置の概略構成を示すブロック図

符号の説明

１ センサ部
２ カメラ入力部
３ 地図情報記憶部
４ デジタル音声データ記憶部
５ 表示部
６ 制御部
７、７Ａ 処理部
８ 変換部
９、１０ スピーカ
１１、１２ 入力部
１５ モバイル端末
７１、７１Ａ フィルタ係数メモリ
７２Ｌ、７２Ｒ、７２ＡＬ、７２ＡＲ 制御フィルタ
７３ＡＬ、７３ＡＲ 加算器

Claims (21)

1. 音声データを取得する音声データ取得手段と、
   位置情報を取得する位置情報取得手段と、
   前記位置情報取得手段で取得された位置情報の変化から装置本体の方角を特定し、前記方角情報及び前記位置情報とから予め設定された又は与えられた位置までの距離情報及び方向情報を求め、これらを音の定位情報として出力する制御手段と、
   前記定位情報に基づいて前記音声データ取得手段で取得された音声データに立体音響処理を施す処理手段と、
   を備える立体音響制御装置。
2. 加速度を検出する加速度検出手段を備え、
   前記制御手段は、前記加速度検出手段から加速度情報を取得して装置本体が移動した、若しくは、移動している方角を判定し、この判定により得られた方角情報と前記位置情報とから予め設定された又は与えられた位置までの距離情報及び方向情報を求め、これらを音の定位情報として出力する請求項１に記載の立体音響制御装置。
3. 方位を検出する方位検出手段を備え、
   前記制御手段は、前記方位検出手段から方位情報を取得して装置本体が移動した、若しくは、移動している方角を判定し、この判定により得られた方角情報と前記位置情報とから予め設定された又は与えられた位置までの距離情報及び方向情報を求め、これらを音の定位情報として出力する請求項１に記載の立体音響制御装置。
4. 姿勢を検出する姿勢検出手段を備え、
   前記制御手段は、前記姿勢検出手段から取得した装置本体の地表に対する姿勢情報に基づいて前記方向情報を補正する請求項３に記載の立体音響制御装置。
5. 死角を検出する死角検出手段を備え、
   前記制御手段は、前記死角検出手段が捉えた物体までの距離情報及び方向情報を求め、これらを音の定位情報として出力する請求項１に記載の立体音響制御装置。
6. 音声データを含む複数チャネルのデータを入力する入力手段と、
   前記入力手段から入力されるデータのチャネル毎に予め設定された又は与えられた位置情報を取得して距離情報及び方向情報を求め、これらを音の定位情報として出力する制御手段と、
   前記制御手段から出力された前記定位情報に基づいて前記データの音声データに立体音響処理を施す処理手段と、
   を備える立体音響制御装置。
7. 前記制御手段は、前記入力手段において同一チャネルから入力される音声データの識別を行い、チャネル情報だけでなく識別情報にも予め設定された又は与えられた位置情報を取得して距離情報及び方向情報を求め、これらを音の定位情報として出力する請求項６に記載の立体音響制御装置。
8. 前記入力手段は、電波を送受信するものであり、
   前記制御手段は、前記入力手段で受信した電波の指向強度により電話発信源の方向を把握して方向情報を求め、それを音の定位情報として出力する請求項６に記載の立体音響制御装置。
9. 切替手段を備え、
   前記切替手段は、前記音声データ取得手段で取得された音声データに立体音響処理を施すか否かを切り替える請求項１乃至請求項８のいずれかに記載の立体音響制御装置。
10. 前記切替手段は、前記距離情報に基づいて切り替えを行う請求項９に記載の立体音響制御装置。
11. 前記処理手段は、前記立体音響処理として、前記距離情報が予め設定された距離以下の場合に立体音響処理を施す請求項１乃至請求項１０のいずれかに記載の立体音響制御装置。
12. 前記処理手段は、前記立体音響処理として、前記距離情報が予め設定された距離範囲内の場合に立体音響処理を施す請求項１乃至請求項１０のいずれかに記載の立体音響制御装置。
13. 表示手段を備え、
    前記制御手段は、前記表示手段に対して前記定位情報に基づく表示を行う請求項１乃至請求項１２のいずれかに記載の立体音響制御装置。
14. 少なくとも２個のスピーカと、
    音声データを取得する音声データ取得手段と、
    位置情報を取得する位置情報取得手段と、
    前記位置情報取得手段で取得された位置情報の変化から装置本体の方角を特定し、前記方角情報及び前記位置情報とから予め設定された又は与えられた位置までの距離情報及び方向情報を求め、これらを音の定位情報として出力する制御手段と、
    前記定位情報に基づいて前記音声データ取得手段で取得された音声データに立体音響処理を施す処理手段と、
    前記処理手段で立体音響処理が施された音声データを前記スピーカで出力する出力手段と、
    を備える立体音響装置。
15. 被写体を撮像する撮像手段を備え、
    前記制御手段は、前記撮像手段から入力される画像から前記スピーカの音を聴く聴取者を認識し、該聴取者の装置本体との距離情報及び方向情報を求め、これらを音の定位情報として出力する請求項１４に記載の立体音響装置。
16. 切替手段を備え、
    前記切替手段は、前記音声データ取得手段で取得された音声データに立体音響処理を施すか否かを切り替える請求項１４又は請求項１５に記載の立体音響装置。
17. 前記切替手段は、前記距離情報に基づいて切り替えを行う請求項１６に記載の立体音響装置。
18. 前記処理手段は、前記立体音響処理として、前記距離情報が予め設定された距離以下の場合に立体音響処理を施す請求項１４乃至請求項１７のいずれかに記載の立体音響装置。
19. 前記処理手段は、前記立体音響処理として、前記距離情報が予め設定された距離範囲内の場合に立体音響処理を施す請求項１４乃至請求項１７のいずれかに記載の立体音響装置。
20. 表示手段を備え、
    前記制御手段は、前記表示手段に対して前記定位情報に基づく表示を行う請求項１４乃至請求項１９のいずれかに記載の立体音響装置。
21. 音声データを取得する音声データ取得工程と、
    位置情報を取得する位置情報取得工程と、
    前記位置情報取得工程で取得された位置情報の時間的変化から装置本体の方向を特定し、前記方角情報と前記位置情報とから予め設定された又は与えられた位置までの距離情報及び方向情報を求め、これらを音の定位情報として出力する定位情報取得工程と、
    前記定位情報に基づいて前記音声データ取得工程で取得された音声データに立体音響処理を施す処理工程と、
    を備える立体音響制御方法。

Images