JP3363921B2 - 音像定位装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】近年、マンマシン・インタフェー
ス、ヒューマン・インタフェースというような人間と計
算機との対話方法に対する要求があり、人工現実感（Ａ
Ｒ）や仮想現実（ＶＲ）といった技術により人間の５感
を利用した直感的な対話方法が開発されるようになって
きた。しかし、これまでに開発された対話方法は視覚に
よるものが大多数をしめ、聴覚によるものは少ない。

【０００２】人間の現実感の認識を考えると視覚からの
情報が最も重要であると思われるが、視覚のみで効果的
な現実感は得られない。なぜなら、人間は現実感の認識
を５感全ての情報によって認識しているからである。こ
れからの対話装置を考えると、音像の定位が行える音響
装置が必要である。この音響定位装置を用いることによ
って音の方向や周りの環境をリアルに人間に与えること
ができ、現実感が向上するであろう。例えば、視覚装置
にヘッド・マウント・ディスプレイ（ＨＭＤ）と呼ばれ
る頭部搭載型立体視装置を用い、音響再生装置に音像の
定位が行える音響装置を用いることで、実時間で変化す
る仮想世界（景観シミュレーション、ＣＡＤ／ＣＡＭな
ど）をコンピュータ・グラフィクス（ＣＧ）やコンピュ
ータ・サウンド（ＣＳ）で体験し直感的な操作をするこ
とができる。本発明は、上記した音響定位装置に関し、
特に本発明は聴者に任意の音像の定位を知覚させること
ができる音響定位装置に関するものである。

【０００３】

【従来の技術】仮想世界に立体音を取り入れ現実感を表
現する人工現実感の聴覚装置として、現在、開発されて
いるものには、例えば、ヘッドホンを用いて立体音を
生成するシステム、あるいは、スピーカを用いて立体
音を生成するシステムが知られている。 （１）ヘッドホンを用いて立体音を生成するシステム。 図９（ａ）は上記システムの構成を示す図である。同図
において、９１は音源となるＣＤ等のドライ・ソース、
９２はディスク、９３はサンプラ、９４はＲＳ２３２Ｃ
シリアル・ポート、９５はホスト・コンピュータ、９６
は立体音生成用の専用計算機、９７はヘッドホン、９８
は位置検出装置、９９は聴者である。同図において、ま
ず、出力したいソース（ドライ・ソース）をサンプラ９
３に録音する。ホスト・コンピュータ９５はＲＳ−２３
２Ｃのシリアル・ポートを介してＭＩＤＩ（ミュージカ
ル・インストルメント・デジタル・インタフェース、デ
ジタル音楽信号の伝送規約であり、以下ＭＩＤＩとい
う）に変換し、ドライ・ソースの選択、４本の出力ライ
ンの選択および出力タイミングの制御を行う。

【０００４】聴者９９の位置、方向（位置、方向あわせ
て６自由度）は位置検出装置９８により検出され、ホス
ト・コンピュータ９５より立体音生成用の専用計算機９
６に伝えられる。立体音生成用の専用計算機９６は聴者
９９の位置、方向情報からドライ・ソースを立体音に変
換して、左右の音として聴者９９のヘッドホン９８に出
力する。本システムの特徴は次の通りである。 ヘッ
ドホンを使用する個人用の立体音生成装置である。
ヘッドホンを使用するため聴者の骨格や髪形によって聴
覚に個人差が生じ、その補正が困難である。 サンプ
ラによりドライ・ソースを表現する。 聴者には６自
由度（位置、方向）が与えられる。 聴者前面の音の
定位が困難である。 映像装置はヘッド・マウント・
ディスプレイ（ＨＭＤ）を用いたシステムである。

【０００５】（２）スピーカを用いて立体音を生成する
システム 図９（ｂ）は上記システムの構成を示す図であり、同図
において、１０１は音を生成することができるコンピュ
ータ、１０２はデジタル・サラウンド・デコーダ、１０
３ａないし１０３ｅはスピーカ、１０４は聴者である。
同図において、まず録音したいドライ・ソースをコンピ
ュータ１０１のメモリに記憶させる。コンピュータ１０
１は聴者１０５の位置と音源（最大４種類のドライ・ソ
ースを同時出力可能）位置からデジタル・サラウンド・
デコーダ１０２の特性を考慮して左右の音を生成する。
デジタル・サラウンド・デコーダ１０２は生成された左
右の音に方向性強調処理を行い４方向のスピーカ１０３
ａないし１０３ｅから立体音を出力する。本システムの
特徴は次の通りである。 複数人が聴くことができる
スピーカ・タイプの立体音生成装置である。 スピー
カの配置範囲内に音場を提供する。 市販のデジタル
・サラウンド・デコーダによって立体音を表現するため
方向性強調処理依存となる可能性がある。 聴者には
位置のみの３自由度が与えられる。 映像装置は単一
平面画面である。

【０００６】

【発明が解決しようとする課題】ところで、上記した
（１）のシステムは体験者の位置と方向により立体音を
生成するが、一般的にヘッドホンを用いるため、空間へ
の音の定位が弱く、音像の移動も左右の移動を表現でき
る程度である。特に、ヘッドホンの特性上、前方の音は
頭の中に、後方の音は上位に定位する傾向があるため、
あらゆる方向の定位が困難である。また、ヘッドホンを
用いたシステムにおいては、頭部伝達関数（骨格、耳の
形、頭髪など）の個人差によって音の認識に差が生じ、
現実感の表現をしにくい。

【０００７】（２）のシステムは前面を向いた聴者に立
体音を提供するシステムであり、音像の移動については
空間内の移動がある程度表現できるが、空間への音の定
位が弱い。また、人工現実感の認識という点からみて、
聴者の自由度や方向性強調処理への依存特性などに問題
がある。本発明は上記した従来技術の問題点に鑑みなさ
れたものであって、聴者（体験者）の頭部の動きに追従
させて、任意の音の音像を定位して聞かせることによ
り、聴者に音像を現実感をもって認識させることができ
る音像定位装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】図１は本発明の基本構成
図である。上記課題を解決するため、本発明の請求項１
の発明は、任意の音を発生する音発生装置１と、聴者５
の位置、角度等の聴点を検出する位置検出装置３と、音
像を生成する音制御装置２と、音像を再生する音再生装
置４ａ，４ｂ，４ｃ，４ｄと、仮想的な音の世界を提供
する管理計算機６と、音再生装置が設けられた場所とは
異なる場所で発生する任意の音を集音し 、音の発生位置
とともに音制御装置に送る集音装置１’を備え、管理計
算機６が位置検出装置３の出力に基づき任意の音の動き
あるいは変化を時間的に管理し、音制御装置２が管理計
算機６の出力に基づき位置検出装置３からの聴者５の位
置に関する情報、音再生装置４ａ，４ｂ，４ｃ，４ｄの
配置、および、任意に設定する発生音もしくは収集音の
定位位置との関係により発生音もしくは収集音に効果を
与えて再生するように構成したものである。

【０００９】本発明の請求項２の発明は、請求項１の発
明において、音再生装置４ａ，４ｂ，４ｃ，４ｄを移動
させる可動筐体を備え、可動筐体が、音像定位の認識低
下を防ぐように聴者５の移動にあわせて音再生装置４
ａ，４ｂ，４ｃ，４ｄを移動させるように構成したもの
である。本発明の請求項３の発明は、請求項１または請
求項２の発明において、音に同期した映像を生成する映
像生成装置７を備え、映像生成装置７が音再生装置４
ａ，４ｂ，４ｃ，４ｄが出力する音像と聴者５の動きに
同期した映像８を聴者５に提供するように構成したもの
である。

【００１０】

【作用】本発明の請求項１の発明において、聴者５の頭
部の位置は位置検出装置３により検出され、音制御装置
２に与えられる。管理計算機６が位置検出装置３の出力
に基づき任意の音の動きあるいは変化を時間的に管理す
る。 集音装置１’は音再生装置が設けられた場所とは異
なる場所で発生する任意の音を集音し、音の発生位置と
ともに音制御装置に送り、音制御装置２は位置検出装置
３により検出された聴者５の頭部の位置、方向から聴者
の聴点と音再生装置４ａないし４ｄの位置関係を求め、
これと、任意の音の発生位置を設定して、これら３者の
位置関係に基づき、音発生装置１が発生する音情報に、
その音圧比の制御、音情報の遅延、周波数変換等の効果
を与え、音再生装置４ａ，４ｂ，４ｃ，４ｄに出力す
る。聴者の頭部の位置、方向に追従させて音像を定位さ
せているので、聴者に現実感をもって音像定位を認識さ
せることができる。また、集音装置１’が遠隔地で発生
する音を取り込み、音制御装置２が収集された音に効果
を与えて音再生装置４ａ，４ｂ，４ｃ，４ｄに出力して
いるので、遠隔地の音を現実感をもって聴者に体験させ
ることができる。

【００１１】本発明の請求項２の発明においては、音像
定位の認識低下を防ぐように聴者５の移動にあわせて音
再生装置４ａ，４ｂ，４ｃ，４ｄを移動させるように構
成したので、音再生装置の再生性能の不足や聴者の移動
による音像定位の認識の低下を防ぐことができる。本発
明の請求項３の発明においては、音に同期した映像を生
成する映像生成装置７を備え、映像生成装置７が音再生
装置４ａ，４ｂ，４ｃ，４ｄが出力する音像と聴者５の
動きに同期した映像８を聴者５に提供するように構成し
たので、任意の音に映像を付加することができ、一層現
実感を高めることができる。

【００１２】

【実施例】図２は本発明の第１の実施例を示す図であ
り、同図において、２１は音情報を（ドライ・ソース）
を発生する音発生装置、２２は音発生装置２１が発生す
る音情報に効果を与える音制御装置、２３は聴者の頭部
の位置（位置、方向の６自由度）を検出する位置検出装
置、２４ａないし２４ｄは例えばスピーカ等からなる音
再生装置、２５は聴者である。図２において、音再生装
置２４ａないし２４ｄは聴者２５を取り囲むように配置
されており、聴者２５の頭部の位置は位置検出装置２３
により検出され、音制御装置２２に与えられる。音制御
装置２２は位置検出装置２３により検出された聴者２５
の頭部の位置、方向から聴者の聴点と音再生装置２４ａ
ないし２４ｄの位置関係を求め、これと、任意の音の発
生位置を設定して、これら３者の位置関係に基づき、音
発生装置２１が発生する音情報に効果を与える。

【００１３】音情報に与える効果としては、例えば、音
発生装置２１から発生する音情報を音再生装置２４ａな
いし２４ｄに割り振るとき、音圧比を変えたり、音情報
に遅延を与えたり、あるいは、周波数を変換したりす
る。また、反射音や残響音などの計算を行って、音像の
定位を行うとともに、部屋の大きさなどを聴者に認識さ
せる。本実施例においては、上記のように、聴者の頭部
の位置、方向に追従させて音像を定位させているので、
聴者に現実感をもって音像を認識させることができる。

【００１４】図３は本発明の第２の実施例を示す図であ
り、図２に示したものと同一のものには同一の符号が付
されており、本実施例においては、図２に示した音発生
装置２１に換え、遠隔地に設けた音収集装置２１’を設
けたものであり、その他の構成は第１の実施例と同一で
ある。図３において、音収集装置２１’は聴者２５とは
離れた空間の音を収集し、音制御装置２２に送る。その
際、必要に応じて、音収集装置２１’は収集する音の発
生位置に関する情報を送る。音制御装置２２は音収集装
置２１’より送られた音情報に、第１の実施例で説明し
たのと同様に効果を与え、音再生装置２４ａないし２４
ｄに与え、音像を定位させる。本実施例においては、上
記のように、遠隔地の音を現実感をもって聴者に体験さ
せることができる。

【００１５】図４は本発明の第３の実施例を示す図であ
り、図２に示したものと同一のものには同一の符号が付
されており、本実施例は、音再生装置２４ａないし２４
ｄを可動筐体２９ａないし２９ｄに取り付け、絶えず聴
者２５の方向に向けることができるようにしたものであ
る。同図において、音制御装置２２は、第１の実施例と
同様、音発生装置２１が発生する音に効果を与え各音再
生装置２４ａないし２４ｄに与えるとともに、位置検出
装置２３により検出された聴者２５の位置情報に基づき
音再生装置２４ａないし２４ｄを絶えず聴者２５の方向
に向かせるための可動筐体移動情報を与える。本実施例
においては、上記のように、可動筐体２９ａないし２９
ｄにより音再生装置２４ａないし２４ｄを聴者２５の方
向を向けるので、音再生装置の再生性能の不足や聴者の
移動による音像定位の認識の低下を防ぐことができる。

【００１６】図５は本発明の第４の実施例を示す図であ
り、図２に示したものと同一のものには同一の符号が付
されており、本実施例は、図２のものに任意の音を管理
するための管理計算機２６を設けたものであり、その他
の構成は第１の実施例と同一である。図５において、管
理計算機２６は任意の音の移動や音の変化を管理する
（時間成分を含む場合もある）計算機である。例えば、
蜜蜂が聴者２５の周りを飛び回る音を聴者２５に認識さ
せる場合には、蜂が飛んでいる間は管理計算機２６が音
発生装置２１に蜂の飛んでいる音を出させて音制御装置
２２には蜂の位置情報を伝達する。音制御装置２２は、
第１の実施例と同様、管理制御装置２６から与えられる
位置情報に基づき音発生装置２１が発生する音を各再生
装置２４ａないし２４ｄに割り振り、聴者２５に蜂が飛
んでいる音を認識させる。本実施例においては、上記の
ように、管理計算機２６を設けて任意の音の移動や音の
変化を管理するので、一層現実感を高めて聴者２５に音
を認識させることができる。

【００１７】図６は本発明の第５の実施例を示す図であ
り、図２に示したものと同一のものには同一の符号が付
されており、本実施例は、図２のものに映像再生装置２
７および映像を表示するための画面２８ａないし２８ｄ
を設けたものであり、その他の構成は第１の実施例と同
一である。図６において、映像再生装置２７は音を発生
する物体の位置情報などから体験者（聴者）が現実感を
得られるような映像を生成して体験者（聴者）に体験さ
せる。以上のように、本実施例においては、映像再生装
置２７および映像を表示するための画面２８ａないし２
８ｄを設けたので、任意の音に映像を付加することがで
き、現実感を高めることができる。

【００１８】図８は本発明の具体的実施例を示す図であ
り、本実施例は図５に示した第４の実施例と図６に示し
た実施例のものに、ヘッド・マウント・ディスプレイ
（ＨＭＤ）による立体画面表示装置と実時間画像生成装
置を設けた実施例を示したものであ。なお、ヘッド・マ
ウント・ディスプレイ（ＨＭＤ）は眼前の２枚の液晶表
示装置を光学系により左右の目に個々に見せることによ
り、立体視を可能とする装置である。図７は図８に示す
実施例におけるスピーカの配置を示す図であり、５０
Ｌ，５０Ｒはそれぞれ体験者（聴者）２５の前面に設け
られた左と右のスピーカ、５１Ｌ，５１Ｒは体験者（聴
者）２５の側面に設けられた左と右のスピーカ、５２
Ｌ，５２Ｒは体験者（聴者）２５の背面に設けられた左
と右のスピーカである。

【００１９】図８において、図５、図６の実施例に示し
たものと同一のものには同一の符号が付されており、同
図において、２３は体験者（聴者）の頭部の位置（位
置、方向の６自由度）を検出する位置検出装置、２５は
体験者（聴者）、２７は立体画像を実時間で生成する映
像生成装置、２８’は映像生成装置２７により生成され
る立体画面、２９は音に効果を与えるための制御信号を
発生する音制御装置であり、以下に述べるデジタル・サ
ンプラ、プログラマブル・ライン・セレクタ等を制御す
る信号を出力する。また、３１はプログラムされている
音をＭＩＤＩのタイミングで発生させるデジタル・サン
プラ、３２はデジタル・サンプラ３１が発生する音をデ
ジタル・サウンド・プロセッサに割り振るプログラマブ
ル・ライン・セレクタ、３３ａないし３３ｃはプログラ
マブル・ライン・セレクタ３２からの入力音源に対して
音圧、遅延、周波数の変換を行うデジタル・サウンド・
プロセッサである。

【００２０】３４ａないし３４ｆはデジタル・サウンド
・プロセッサ３３ａないし３３ｃの出力を増幅する増幅
器、３５ａないし３５ｃは増幅器３４ａないし３４ｆの
出力とＤＡＴ３８の出力の音圧制御を行うデジタル・ミ
キシング・プロセッサ、３６ａないし３６ｆはデジタル
・ミキシング・プロセッサ３５ａないし３５ｃの出力を
増幅して図７の体験者（聴者）２５の前面、側面、背面
の左右の各スピーカ５０Ｌ，５０Ｒ，５１Ｌ，５１Ｒ，
５２Ｌ，５２Ｒに出力する増幅器、３８は音が録音され
たＤＡＴ（デジタル・オーディオ・テープ）である。４
０，４１，４２はＲＳ−２３２Ｃ／ＭＩＤＩシリアル・
ポートであり、音制御装置とデジタル・サンプラ３１、
プログラマブル・ライン・セレクタ３２、デジタル・サ
ウンド・プロセッサ３３ａ〜３３ｃおよびデジタル・ミ
キシング・プロセッサ３５ａ〜３５ｃとの間の制御信号
の伝送を行う。また、４３，４４，４５はＲＳ２３２Ｃ
のシリアル信号をＭＩＤＩに変換するＭＩＤＩエキスパ
ンダである。

【００２１】図８において、体験者（聴者）２５の頭部
の位置、方向が位置検出装置２３で検出され、管理計算
機２６に与えられる。管理計算機２６は体験者（聴者）
２５の頭部の位置、方向信号に基づき、図５の第４の実
施例と同様、発生する音の種類、音の位置情報を音制御
装置２９に与えるとともに、映像生成装置２７に表示す
る映像と体験者（聴者）２５の位置情報を与える。映像
生成装置２７は管理計算機２６の出力に基づき、体験者
（聴者）２５の動きにあわせて仮想世界の物体の位置を
リアル・タイムでヘッド・マウント・ディスプレイ（Ｈ
ＭＤ）の左右に表示し、体験者（聴者）２５にコンピュ
ータ・グラフィクスの立体映像を提供する。音制御装置
２９は管理計算機２６が出力する音の位置情報に基づき
ＲＳ−２３２Ｃ／ＭＩＤＩシリアル・ポートを介してデ
ジタル・サンプラ３１、プログラマブル・ライン・セレ
クタ３２、デジタル・サウンド・プロセッサ３３ａ〜３
３ｃおよびデジタル・ミキシング・プロセッサ３５ａ〜
３５ｃを制御して立体音を生成させる。

【００２２】デジタル・サンプラ３１はプログラムされ
ている音を音制御装置２９が出力するＭＩＤＩのタイミ
ングに合わせて出力し、プログラマブル・ライン・セレ
クタ３２に与える。プログラマブル・ライン・セレクタ
３２はデジタル・サンプラ３１が発生する音を音制御装
置２９の制御信号に基づきデジタル・サウンド・プロセ
ッサ３３ａ〜３３ｃに割り振る。デジタル・サウンド・
プロセッサ３３ａ〜３３ｃは割り振られた入力音源に対
して体験者（聴者）２５の前面、側面、背面の左右の音
の音圧、遅延、周波数の変換を行う。デジタル・サウン
ド・プロセッサ３３ａ〜３３ｃの出力は増幅器３４ａ〜
３４ｆにより増幅され、デジタル・ミキシング・プロセ
ッサ３５ａ〜３５ｃに与えられる。デジタル・ミキシン
グ・プロセッサ３５ａ〜３５ｃは増幅器３４ａ〜３４ｆ
の出力とＤＡＴ３７の出力を音制御装置２９の制御信号
に基づきミキシングして増幅器３６ａ〜３６ｆを介して
図７に示す各スピーカ５０Ｌ，５０Ｒ，５１Ｌ，５１
Ｒ，５２Ｌ，５２Ｒに出力し、体験者（聴者）２５に立
体音を提供する。

【００２３】以上のように、本実施例においては、体験
者（聴者）の頭部の動きを検出して仮想世界の中の体験
者（聴者）と物体の位置関係により、体験者（聴者）の
動きに合わせた仮想世界の立体画像と立体音を提供する
ので、体験者（聴者）は仮想世界を現実としてとらえる
ことができ、仮想世界の操作性を向上させることができ
る。

【００２４】

【発明の効果】以上説明したことから明らかなように、
本発明においては、体験者（聴者）の頭部の位置、方向
等を検出して、聴者の位置に関する情報、音再生装置の
配置、および、任意に設定する発生音の定位位置との関
係により発生音に効果を与えて再生しているので、人間
と計算機のインタラクションで音像の定位を行うことが
でき、現実感を高めて体験者（聴者）に音を認識させる
ことができる。特に、映像生成装置と組み合わせること
により、ＣＡＤ／ＣＡＭ、テレ・プレゼンス、テレ・イ
グジスタンス、教育、建築エンターテーメントなどの多
様な分野に応用することができ、その効果は極めて大き
い。

【図面の簡単な説明】

【図１】本発明の基本構成図である。

【図２】本発明の第１の実施例を示す図である。

【図３】本発明の第２の実施例を示す図である。

【図４】本発明の第３の実施例を示す図である。

【図５】本発明の第４の実施例を示す図である。

【図６】本発明の第５の実施例を示す図である。

【図７】本発明の具体的実施例の再生装置の配置を示す
図である。

【図８】本発明の具体的実施例を示す図である。

【図９】従来例を示す図である。

【符号の説明】

１，２１ 音発生装置 １’，２１’ 集音装置 ２，２２ 音制御装置 ３，２３ 位置検出装置 ４ａ，４ｂ，４ｃ，４ｄ，２４ａ，２４ｂ，２４ｃ，２
４ｄ，５０Ｌ，５０Ｒ，５１Ｌ，５１Ｒ，５２Ｌ，５２
Ｒ 音再生装置 ５，２５ 聴者 ６，２６ 管理計算機 ７，２７ 映像生成装置 ２９ａ，２９ｂ，２９ｃ，２９ｄ 可動筺体 ３１ デジタル・サンプラ ３２ プログラマブル・ライン・セレクタ ３３ａ，３３ｂ，３３ｃ デジタル・サウンド・プロセ
ッサ ３４ａ，３４ｂ，３４ｃ，３４ｄ，３４ｅ，３４ｆ，３
６ａ，３６ｂ，３６ｄ，３６ｅ，３６ｆ 増幅器 ３５ａ，３５ｂ，３５ｃ デジタル・ミキシング・プロ
セッサ ３８ デジタル・オーディオ・テー
プ（ＤＡＴ）

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平１−279700（ＪＰ，Ａ) 特開 平１−239674（ＪＰ，Ａ) 特開 昭52−30402（ＪＰ，Ａ) 特開 平４−192066（ＪＰ，Ａ) 実開 平３−105099（ＪＰ，Ｕ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04S 7/00 H04S 1/00

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 任意の音を発生する音発生装置と、 聴者の位置、角度等の聴点を検出する位置検出装置と、 音像を生成する音制御装置と、 音像を再生する音再生装置と、 仮想的な音の世界を提供する管理計算機と、 音再生装置が設けられた場所とは異なる場所で発生する
   任意の音を集音し、音の発生位置とともに音制御装置に
   送る集音装置を備え、 管理計算機が位置検出装置の出力に基づき任意の音の動
   きあるいは変化を時間的に管理し、 音制御装置が管理計算機の出力に基づき位置検出装置か
   らの聴者の位置に関する情報、音再生装置の配置、およ
   び、任意に設定する発生音もしくは収集音の定位位置と
   の関係により発生音もしくは収集音に効果を与えて再生
   することを特徴とする音像定位装置。
2. 【請求項２】 音再生装置を移動させる可動筐体を備
   え、可動筐体が、音像定位の認識低下を防ぐように聴者
   の移動にあわせて音再生装置を移動させることを特徴と
   する請求項１の音像定位装置。
3. 【請求項３】 音に同期した映像を生成する映像生成装
   置を備え、映像生成装置が音再生装置が出力する音像と
   聴者の動きに同期した映像を聴者に提供することを特徴
   とする請求項１または請求項２の音像定位装置。