JP2003061200A

JP2003061200A - 音声処理装置及び音声処理方法、並びに制御プログラム

Info

Publication number: JP2003061200A
Application number: JP2001248209A
Authority: JP
Inventors: Kazufumi Yoshida; 和史吉田; Kohei Asada; 宏平浅田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-08-17
Filing date: 2001-08-17
Publication date: 2003-02-28

Abstract

(57)【要約】【課題】実空間で測定されたインパルス応答を使用し
て、より詳細な音声波形の計算を従来よりも少ない計算
量で行う。【解決手段】仮想空間の構成に関するデータが記憶さ
れた空間構成用データ記憶部１２と、仮想空間に相当す
る実空間で実測された音波のインパルス応答の断片デー
タが記憶されたインパルス応答断片データ記憶部１４と
を備え、振幅／遅延算出部１３において、空間構成用デ
ータに基づいて直接応答と反射応答のそれぞれの振幅／
遅延を算出し、インパルス応答合成部１５において、振
幅／遅延算出部１３で生成された振幅遅延データに基づ
き、合成インパルス応答を形成し、畳込部１６におい
て、この合成インパルス応答を音源音声データに畳み込
む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声処理装置及び
音声処理方法、並びに制御プログラムに関し、特に、シ
ミュレートによって求められる振幅遅延データと実空間
を実際に測定することによって得られるインパルス応答
断片データとを使用して現実感ある仮想空間が表現可能
な音声処理装置及び音声処理方法、並びに、該音声処理
方法に基づく音声処理を実行する制御プログラムに関す
る。

【０００２】

【従来の技術】特定の響きをもつ音響空間において、実
際に空間をモデル化することによって、ある２点位置間
のインパルス応答の伝達関数を実現する方法は、特に建
築音響の分野でよく用いられている。

【０００３】インパルス応答とは、音源から受音点に至
るまでの音響伝達特性であって、音響空間に壁等の反射
物があれば、直接音の伝達応答のほかに反射音の伝達特
性が含まれる。また、音波の伝達経路に障害物があれ
ば、音波は、物体の大きさに応じて回折効果を受ける。
また、周波数応答にも影響を受ける。特に、受音点が聴
取者の耳の位置であれば、頭部伝達関数（ＨＲＴＦ：He
ad Related Transfer Function）が適用される。

【０００４】例えば、コンサートホールやスタジオ等を
建築する際、その建築内部の形状や壁の材質等の情報を
用いることによって、設計段階において完成時の音響効
果をシミュレーションするソフトウェア等が既に知られ
ている。このようなソフトウェアは、例えば、無響室で
実際に録音した様々な状況に応じて作成されたインパル
ス応答をデータベース化して備え、状況に応じたインパ
ルス応答を音源音声データに畳み込むことによって、設
計された空間内の特定位置にて音を発したときの任意の
場所における聞こえ方をシミュレーションすることがで
きる。

【０００５】

【発明が解決しようとする課題】ところが、一般的に、
このような音響シミュレーションのためのソフトウェア
は、「音線法」や「虚像法」等を用いて、厳密な計算を
行うものであるため、実時間でインパルス応答を生成す
ることは困難である。

【０００６】一方、モデルを非常に単純化することによ
って実時間で音響空間のシミュレーションを生成できる
ソフトウェアとして、「デジタルリバーブ方式」も数多
く存在する。中には、音波の吸収率及び反射率の計算に
壁の材質や障害物の形状の情報を使用しているものもあ
るが、何れも現実の音をサンプリングしたものではない
ため音の現実感、立体感及び臨場感等に欠ける。

【０００７】そこで本発明は、このような従来の実情に
鑑みて提案されたものであり、実空間を実際に測定する
ことによって得られたインパルス応答の断片データを効
果的に使用することによって、より詳細なモデルの計算
を従来よりも少ない計算量で行い、現実感ある仮想空間
を表現できるインパルス応答の合成が可能な音声処理装
置及び音声処理方法、並びに該音声処理方法を実行させ
る制御プログラムを提供することを目的とする。

【０００８】

【課題を解決するための手段】上述した目的を達成する
ために、本発明に係る音声処理装置は、仮想空間におけ
る音源と該仮想音源からの音声を受音する受音点との間
の該仮想空間での位置関係に応じた音声を生成する音声
処理装置において、仮想空間を構成する要素に関する空
間構成用データが記憶された空間構成用データ記憶手段
と、仮想音源から受音点に伝播する音波の直接音応答と
主要な反射音応答の少なくとも振幅及び遅延からなる振
幅遅延データを、空間構成用データに基づいて算出する
振幅遅延算出手段と、仮想空間に相当する実空間で測定
された仮想音源から受音点に伝播する音波のインパルス
応答から、所定区間を抽出したインパルス応答断片デー
タが記憶されたインパルス応答断片データ記憶手段と、
振幅遅延データとインパルス応答断片データとに基づい
て合成インパルス応答を生成するインパルス応答合成手
段と、インパルス応答合成手段において合成された合成
インパルス応答を音源の音声データに畳み込む畳込手段
とを備える。

【０００９】このような音声処理装置は、振幅遅延算出
手段によって、仮想音源から受音点に伝播する音波の直
接音応答と主要な反射音応答の少なくとも振幅及び遅延
からなる振幅遅延データを空間構成用データに基づいて
算出し、インパルス応答合成手段によって、振幅遅延デ
ータとインパルス応答断片データとに基づいて合成イン
パルス応答を生成し、畳込手段によって、インパルス応
答合成手段において合成された合成インパルス応答を音
源の音声データに畳み込む。

【００１０】このような音声処理装置において、インパ
ルス応答断片データは、仮想空間に相当する実空間で測
定されたインパルス応答の所定区間を抽出したものであ
る。また、反射音応答には、仮想空間の空間構成に基づ
いた反射物或いは障害物に対する一次反射或いは回折の
応答が少なくとも含まれている。

【００１１】また、本発明に係る音声処理装置は、仮想
空間における音源と該仮想音源からの音声を受音する受
音点との間の該仮想空間での位置関係に応じた音声を生
成する音声処理装置において、仮想空間に相当する実空
間で測定された仮想音源から受音点に伝播する音波のイ
ンパルス応答から、所定区間を抽出したインパルス応答
断片データを音源の音声データに対して予め重畳した重
畳済音声データが記憶された音声データ記憶手段と、仮
想空間を構成する要素に関する空間構成用データが記憶
された空間構成用データ記憶手段と、仮想音源から受音
点に伝播する音波の直接音応答と主要な反射音応答の少
なくとも振幅及び遅延からなる振幅遅延データを、空間
構成用データに基づいて算出する振幅遅延算出手段と、
重畳済音声データを振幅遅延データに基づいて合成する
合成手段とを備える。

【００１２】このような音声処理装置は、振幅遅延算出
手段によって、仮想音源から受音点に伝播する音波の直
接音応答と主要な反射応答の少なくとも振幅及び遅延か
らなる振幅遅延データを、空間構成用データに基づいて
算出し、合成手段によって、仮想音源からの受音点に伝
播する音波のインパルス応答から抽出した直接音応答と
反射音応答の各々を表すインパルス応答断片データを音
源の音声データに対して予め重畳した重畳済音声データ
を、振幅遅延データに基づいて合成する。

【００１３】また、本発明に係る音声処理方法は、仮想
空間における音源と該仮想音源からの音声を受音する受
音点との間の該仮想空間での位置関係に応じた音声を生
成する音声処理方法において、仮想音源から受音点に伝
播する音波の直接音応答と主要な反射音応答の少なくと
も振幅及び遅延からなる振幅遅延データを、仮想空間を
構成する要素に関する空間構成用データに基づいて算出
する振幅遅延算出工程と、仮想空間に相当する実空間で
測定された仮想音源から受音点に伝播する音波のインパ
ルス応答から、所定区間を抽出したインパルス応答断片
データと振幅遅延データとに基づいて合成インパルス応
答を生成するインパルス応答合成工程と、インパルス応
答合成工程において合成された合成インパルス応答を音
源の音声データに畳み込む畳込工程とを備える。

【００１４】このような音声処理方法によれば、振幅遅
延算出工程において、仮想音源から受音点に伝播する音
波の直接音応答と主要な反射音応答の少なくとも振幅及
び遅延からなる振幅遅延データが空間構成用データに基
づいて算出され、インパルス応答合成工程において、イ
ンパルス応答とインパルス応答断片データとが合成され
て合成インパルス応答が生成され、畳込工程において、
インパルス応答合成工程において合成された合成インパ
ルス応答が音源の音声データに畳み込まれる。

【００１５】また、本発明に係る音声処理方法は、仮想
空間における音源と該仮想音源からの音声を受音する受
音点との間の該仮想空間での位置関係に応じた音声を生
成する音声処理方法において、仮想音源から受音点に伝
播する音波の直接音応答と主要な反射音応答の少なくと
も振幅及び遅延からなる振幅遅延データを、仮想空間を
構成する要素に関する空間構成用データに基づいて算出
する振幅遅延算出工程と、仮想空間に相当する実空間で
測定された仮想音源から受音点に伝播する音波のインパ
ルス応答から、所定区間を抽出したインパルス応答断片
データを音源の音声データに対して予め重畳した重畳済
音声データを、振幅遅延データに基づいて合成する合成
工程とを備える。

【００１６】このような音声処理方法によれば、振幅遅
延算出工程において、仮想音源から受音点に伝播する音
波の直接音応答と主要な反射音応答の振幅及び遅延から
なる振幅遅延データが空間構成用データに基づいて算出
され、合成工程において、仮想空間に相当する実空間で
測定された仮想音源から受音点に伝播する音波のインパ
ルス応答から、インパルス応答断片データを音源の音声
データに対して予め重畳した重畳済音声データが振幅遅
延データに基づいて合成される。

【００１７】この音声処理工程において、インパルス応
答断片データは、仮想空間に相当する実空間で測定され
たインパルス応答の所定区間を抽出したものであること
が好ましい。また、反射音応答には、仮想空間の空間構
成に基づいた反射物或いは障害物に対する一次反射或い
は回折の応答とが少なくとも含まれている。

【００１８】また、本発明に係る制御プログラムは、仮
想空間における音源と該仮想音源からの音声を受音する
受音点との間の該仮想空間での位置関係に応じた音声を
生成するコンピュータ制御可能な音声処理装置の制御プ
ログラムにおいて、仮想音源から受音点に伝播する音波
の直接音応答と主要な反射音応答の少なくとも振幅及び
遅延からなる振幅遅延データを、仮想空間を構成する要
素に関する空間構成用データに基づいて算出する振幅遅
延算出処理と、仮想空間に相当する実空間で測定された
仮想音源から受音点に伝播する音波のインパルス応答か
ら、所定区間を抽出したインパルス応答断片データと振
幅遅延データとに基づいて合成インパルス応答を生成す
るインパルス断片合成処理と、インパルス断片合成処理
において合成された合成インパルス応答を音源の音声デ
ータに畳み込む畳込処理とを音声処理装置に実行させ
る。

【００１９】また、本発明に係る制御プログラムは、仮
想空間における音源と該仮想音源からの音声を受音する
受音点との間の該仮想空間での位置関係に応じた音声を
生成するコンピュータ制御可能な音声処理装置の制御プ
ログラムにおいて、仮想音源から受音点に伝播する音波
の直接音応答と主要な反射音応答の少なくとも振幅及び
遅延からなる振幅遅延データを、仮想空間を構成する要
素に関する空間構成用データに基づいて算出する振幅遅
延算出処理と、仮想空間に相当する実空間で測定された
仮想音源から受音点に伝播する音波のインパルス応答か
ら、所定区間を抽出したインパルス応答断片データを音
源の音声データに対して予め重畳した重畳済音声データ
を、振幅遅延データに基づいて合成する合成処理とを音
声処理装置に実行させる。

【００２０】

【発明の実施の形態】本発明の具体例として示す音声処
理装置は、例えば、特願２０００−３５４５３０に記載
されたような多チャンネルの音声再生処理技術を用い
て、仮想空間における音源と該仮想音源からの音声を受
音する受音点との間の該仮想空間での位置関係に応じた
音声を生成する音声処理装置である。

【００２１】すなわち、聴取者を取り囲むように配置さ
れた複数の受音点に対し、仮想音源からの伝達特性（イ
ンパルス応答）を求める。これらの受音点に対応する位
置に同数の音響再生手段（スピーカ）を配置し、それぞ
れのインパルス応答を畳み込んだ音源音声をこれらのス
ピーカより再生することにより、聴取者にとっては、あ
たかも仮想音源が存在した位置に音像定位しているよう
に聴くことができるものである。

【００２２】特に、この音声処理装置は、仮想空間に相
当する実空間で予め測定されたインパルス応答の所定区
間を抽出したインパルス応答断片データを記憶したイン
パルス応答断片データ記憶手段を備え、振幅／遅延算出
部において仮想音源から受音点に伝播する音波の直接音
応答と主要な反射音応答の振幅及び遅延からなる振幅遅
延データを空間構成用データに基づいて算出し、インパ
ルス応答合成部において振幅遅延データとインパルス応
答断片データとに基づいて合成インパルス応答を生成
し、畳込部において合成インパルス応答を音源音声デー
タに畳み込むことによって、より詳細なモデルの計算を
従来よりも少ない計算量で行い、現実感ある仮想空間を
表現できる音声処理を実現したものである。

【００２３】この音声処理装置は、仮想的な空間のある
場所に存在する音源からの音波、特に、その音源からの
直接音や壁・床からの反射音が同空間のほかの場所でど
のように聞こえるかを実時間でシミュレーションでき
る。そのため、特に、３Ｄ（３-Dimensional：３次元）
ゲームやＣＧ（Computer Graphics）等において、音源
が仮想空間中を移動するとき、その音源に対する位置関
係の変化によって、聞こえ方が変わる場合に、さらなる
臨場感を与えることが期待できる。

【００２４】本発明の具体例としての音声処理装置は、
例えば、仮想空間に相当する実空間、及び考慮される状
況毎に用意した実空間を実際に設定して、この実空間で
インパルス応答を取得しておくことが前提となる。この
測定時のインパルス応答は、好ましくは、直接音と反射
音とが分離できることが理想的である。測定したインパ
ルス応答は、可能な限り直接音と反射音とに分離し、断
片毎にデータベース化して保持しておく。

【００２５】一方、空間のモデル化の段階において、音
源から受音位置（又はマイクロフォン位置）までの直接
音及び反射音の振幅と遅延とを計算してシミュレーショ
ンで使用する振幅遅延データを作成する。遅延が表す部
分にデータベース中のインパルス断片を振幅に合わせて
合成する。データベースとして、ほかの情報（何回反射
して聴取点に到達した音か、等）を含めておくことによ
り、リアル感・臨場感を高めた音声表現が可能となる。

【００２６】以下、本発明の具体例について、図面を参
照して詳細に説明する。ここでは本発明の具体例として
の音声処理装置を、例えば、ＣＧで表現された空間内を
音源や聴取者が移動するような３Ｄゲームに適用した場
合を考える。

【００２７】図１に示す音声処理装置１は、マルチチャ
ンネル方式、例えば８チャンネルで音声を再生できるよ
うに、スピーカ２ａ、２ｂ、２ｃ、２ｄ、２ｅ、２ｆ、
２ｇ、２ｈを備えている。各スピーカは、図１に点線で
示す閉曲面３を形成するように配置され、詳細を後述す
る音声信号制御生成部４からの音声信号に基づいて音声
を出力することにより、各スピーカによって囲まれる閉
曲面３の内部領域内に位置する聴取者（以下、リスナ、
必要に応じてプレーヤと記す。）１００は、仮想的な音
源位置と各スピーカ配置位置との位置関係に応じた臨場
感あふれる音響効果を得ることができる。

【００２８】音声処理装置１は、映像を表示する表示部
としてのディスプレイ５を備えており、ディスプレイ５
には、音声に同期した映像が表示されるようになってい
る。より具体的には、ディスプレイ５は、例えば、いわ
ゆるヘッドマウントディスプレイ（Head Mount Displa
y：ＨＭＤ）であり、映像制御生成部６からの映像信号
に基づいて映像が表示される。リスナ１００は、このＨ
ＭＤに表示される３Ｄ空間の映像を視ながら、映像とし
て表現される仮想空間に応じた音声を得ることができ
る。

【００２９】音声処理装置１は、さらに、ディスプレイ
５に表示される仮想空間における仮想音源と各スピーカ
位置との位置関係を変更する、すなわちリスナ１００と
仮想音源との位置関係を変更するための操作部７を備え
ている。操作部７は、プログラムにより制御されていて
もよいし、リスナ１００以外の第３者によって操作可能
なものであってもよいし、リスナ１００によって入力可
能なコントローラ７ａを介して操作入力されるものであ
ってもよい。

【００３０】なお、音声信号制御生成部４、映像制御生
成部６及び操作部７は、図示しないＣＰＵによって統括
制御されている。

【００３１】この音声処理装置１のように、音声信号制
御生成部４及び複数チャンネルの出力を有する音響シス
テムでは、閉曲面３内部に位置するリスナ１００にとっ
て、仮想空間のある地点にあたかも音源があるかのよう
な音場をつくり出すことができる。さらに、音源から各
スピーカ位置までの複数のインパルス応答を滑らかに入
れ換えることによって、音源が移動する場合や仮想空間
の中でリスナ１００が移動する場合等、音源とリスナ１
００との位置関係の相対的な変化を音声に反映できる。

【００３２】音声信号制御生成部４及び映像制御生成部
６の具体的な構成を明らかにした音声処理装置１を図２
に示す。

【００３３】音声信号制御生成部４は、場面及び状況に
応じた音声・効果音等の音声データであって、未処理の
オリジナル音声データである音源の音声データ（以下、
音源音声データと記す。）が記憶された音声データ記憶
部１１と、仮想空間の構成に関するデータが記憶された
空間構成用データ記憶部１２と、空間構成用データに基
づいて直接音と反射音の振幅の減衰量と時間遅延を算出
する振幅／遅延算出部１３と、仮想空間に相当する実空
間で実測された音波のインパルス応答が直接音部分と反
射音部分とに断片化されて記憶されたインパルス応答断
片データ記憶部１４と、振幅／遅延算出部１３で生成さ
れた子服遅延データとインパルス応答断片データとに基
づいて合成インパルス応答を合成するインパルス応答合
成部１５と、インパルス応答合成部１５で合成して生成
された合成インパルス応答を音源音声データに畳み込む
畳込部１６と、合成インパルス応答が重畳された音声デ
ータを各スピーカから出力する際の音声処理を行う音声
処理部２０とを備え、これらが内部バス１９によって接
続されている。また、音声処理部２０からの音声信号を
出力するためのＤ／Ａ（Digital to Analog）部１７及
びアンプ１８を備えている。

【００３４】映像制御生成部６は、図２に示すように、
例えば、仮想空間中の仮想音源となるオブジェクトと仮
想空間内におけるリスナ１００との表示位置関係を制御
するためのオブジェクト表示制御部２１と、画像信号処
理部２２とを備えている。

【００３５】本具体例では、図３に示すような仮想空間
を想定し、この仮想空間４０における仮想音源４１から
の音声を表現する場合を示す。仮想空間４０には、波線
で示す壁４２が想定されている。そのため、リスナ１０
０が仮想音源４１の位置に音像定位感を得るように各ス
ピーカから出力する音波を生成する際に、本具体例で
は、仮想音源４１からの直接波５１と、仮想音源４１の
壁４２に対する一次反射波５２ａ及び５２ｂと、仮想音
源４１の壁４２に対する二次反射波５３の影響を考慮
し、ここではまず、スピーカ２ｇから出力される音声波
形の生成について説明する。

【００３６】具体的に音声信号制御生成部４における空
間構成用データ記憶部１２には、仮想空間４０の空間構
成を表現するデータが記憶されている。本具体例におい
ては、空間構成用データは、仮想空間４０において仮想
音源から受音点に至る音波が影響を受ける構成要素を、
位置、形状寸法等のデータ構造として表したものをい
う。例えば、音波を反射する壁面を数点の３次元座標値
（ポリゴンデータ）で表現するものとする。このデータ
構造には、反射率（吸収率）や透過率等のデータを含め
てもよい。本具体例では、仮想空間を単純化又は簡略化
した要素で構成し、音源からの直接音と主要な反射音の
みが得られるような構成要素だけを考慮している。

【００３７】振幅／遅延算出部１３は、空間構成用デー
タに基づいて、仮想音源４１からの伝達応答としてスピ
ーカ２ｇに伝播する音波の直接音応答と直接波に対する
反射波の時間振幅及び遅延の減衰度合いを振幅／遅延モ
デル（以下、振幅遅延データと記す。）として算出す
る。振幅／遅延算出部１３は、仮想音源４１、壁４２、
スピーカ２ｇ間の位置関係を示す空間構成用データに基
づいて、音波を直線的に見立てて、仮想音源４１からス
ピーカ２ｇへの経路、仮想音源４１からの音波が壁４２
によって反射された場合のスピーカ２ｇまでの経路及び
音波の振幅の減衰度合いを算出する。

【００３８】本発明においては、振幅遅延データには、
上述される直接音応答の振幅及び遅延、反射音応答の振
幅及び遅延の各データに加えて、それぞれの直接音、反
射音の経路を表す情報を併せ持つことが望ましい。この
情報には、例えば、壁４２ａに入射角６０°で入射した
ことや、図示しない障害物Ｘによって回折された等の情
報を含めることができ、後述されるインパルス応答断片
データ記憶部１４から適切なインパルス応答断片データ
を選択する際の検索キーとして使用することができる。

【００３９】振幅／遅延算出部１３では、いわゆる「虚
像法」を用いて振幅／遅延を算出している。ここでは簡
単のため、音線が何回反射したかを意味する次数は、二
次程度の低い次数で打ち切るものとする。より高い次数
の計算を行う必要があるかどうかは、ＣＰＵ等のハード
ウェアの負荷や高次の反射波の大きさ等を考えて自由に
選択することができる。例えば、ユーザに提示する画像
処理の負荷が大きければ、より低次の次数で計算を打ち
切る処理も可能である。

【００４０】図４は、虚像法を用いた反射音の音線の一
般的な算出過程を示している。図４（ａ）は、一次反射
波の経路を求める場合であり、図４（ｂ）は、二次反射
の経路を求める場合である。虚像法では、仮想音源から
の音波からの音線が反射する壁Ｗ_１、Ｗ_２、Ｗ_３に対し
て、その壁の対称位置にある「虚像」を求めることによ
り、全ての反射音の経路Ｌを求める。

【００４１】すなわち、一次反射波の場合、仮想空間に
おける壁Ｗ_１に対して仮想音源Ｐ_１の虚像音源Ｐ_１’を
仮定する。また、二次反射波の場合、仮想空間における
壁Ｗ _２及びＷ_３に対して仮想音源Ｐ_２の虚像音源
Ｐ_２’、Ｐ_２”を仮定する。経路を分れることができれ
ば、その経路長から距離を知ることができ、さらには遅
延時間を知ることができる。また、同時に、ある減衰率
を仮定することにより距離に応じた減衰量を計算するこ
とができる。さらに、それぞれの壁の反射率、吸音率等
を含めて減衰量をより精密にしてもよい。

【００４２】なお、反射波１つ１つの振幅の減衰量と時
間遅延の算出方法は、特に限定されない。上述した手法
のほかには、例えば壁に対する反射角度に応じた減衰度
合いを表すパラメータ等を用いることもできる。

【００４３】このようにして、振幅／遅延算出部１３
は、図５に示すような振幅遅延データを生成する。ここ
では、図３における直接波５１、壁面４２ａに対する一
次反射波５２ａ、壁面４２ａと壁面４２ｂに対する二次
反射波５３についてのみ考慮する。

【００４４】図５において、０は、仮想音源４１からあ
る音声（インパルス応答測定用信号）が発生された時刻
を示す。時間軸Ｔに沿った時間経過とともに、直接波５
１、一次反射波５２ａ、二次反射波５２に対応するシグ
ナルが順次表示されている。ｔ_１は、仮想空間４０にお
けるスピーカ２ｇの位置で直接波５１が検出されるまで
の期間を示し、Ａ_１は、直接波５１の振幅を示す。同様
に、シグナルＳ_２は、スピーカ２ｇの位置で検出される
一次反射波５２ａの時間遅延ｔ_２と振幅Ａ_２を示し、シ
グナルＳ_３は、スピーカ２ｇの位置で検出される二次反
射波５３の時間遅延ｔ_３と振幅Ａ_３を示している。

【００４５】インパルス応答断片データ記憶部１４に
は、仮想音源から各スピーカ配置位置までのインパルス
応答のうち、直接音に対応する部分と反射音に対応する
部分とが、仮想空間に相当する実空間で測定されたイン
パルス応答の実測値の所定区間を抽出したインパルス応
答断片データとして記憶されている。本具体例では、上
述したように仮想空間に相当する実空間及び考慮される
状況毎に用意した実空間において、インパルス応答を予
め取得しておくことが前提となる。

【００４６】例えば、ある仮想空間の壁の反射音のイン
パルス応答断片データは、図６に示すように、この仮想
空間に相当する実空間において実際のインパルス応答を
測定することによって得られる。図６に示す実空間６０
において、位置Ｐに存在する音源６１により発生される
音波をマイクロフォン６２によって取得する。

【００４７】ここで取得されるインパルス応答を図７に
示す。図７に示すインパルス応答から、直接音に対応す
る部分をインパルス応答断片データＤ_１として、反射音
に対応する部分をインパルス応答断片データＤ_２として
抽出する。ここで、各インパルス応答断片データは、例
えば、抽出した区間の後半で音声波形の振幅が徐々に減
衰するような時間窓によって区切られている。実空間に
おけるインパルス応答に基づいて音声処理を行うので、
音声処理装置１は、より自然な音声波形を再現すること
ができる。

【００４８】なお、音波のサンプル数は、残響特性を表
現できる最低の点数でよい。また、場合によっては、抽
出した区間の前半で音声波形の振幅が徐々に減衰するよ
うな時間窓としてもよい。

【００４９】インパルス応答合成部１５は、振幅遅延デ
ータとインパルス応答断片データ記憶部１４に記憶され
たインパルス応答断片データとに基づいて合成インパル
ス応答を生成する。インパルス応答合成部１５において
合成される合成インパルス応答を図８に示す。インパル
ス応答合成部１５は、図５に示した振幅遅延データの振
幅、時間遅延の関係を保持したまま、直接音、一次反射
音及び二次反射音のインパルス応答断片データを合成
し、最終的な振幅遅延データ、すなわち合成インパルス
応答を生成する。図８の例では、二次反射に対応するイ
ンパルス応答断片データも、一次反射音のそれと同様に
インパルス断片データＤ_２を利用している。

【００５０】インパルス応答合成部１５において合成さ
れた合成インパルス応答は、畳込部１６において音声デ
ータ記憶部１１に記憶される音源音声データに畳み込ま
れる。

【００５１】音声処理部２０は、操作部７（コントロー
ラ７ａ）から入力される仮想空間における仮想音源と各
スピーカとの位置関係の変化に応じて、上述した合成イ
ンパルス応答に基づいて、リスナ１００に聞こえる音声
を滑らかに変化させるためのクロスフェイド処理を行っ
ている。クロスフェイド処理に関する詳細は、後述す
る。音声処理装置１では、この音声処理部２０において
クロスフェイド処理を行うことができるため、仮想空間
４０における代表点をいくつか選んで、その位置に関す
る空間構成用データ及びインパルス応答断片データを用
意すればよく、全ての位置について各データを用意する
必要はない。

【００５２】なお、上述の例では、スピーカ２ｇから出
力される音声に関して説明したが、音声処理装置１は、
８チャンネルのマルチチャンネル方式を採用しているた
め、各スピーカに対して上述と同様の方法で合成インパ
ルス応答を合成することによって、仮想音源４１から各
スピーカ２ａ乃至２ｈに対しての伝達特性を形成してい
る。再生時には、形成された各合成インパルス応答を音
源音声データに畳み込んで各スピーカ２ａ乃至２ｈより
放音することにより、リスナ１００は、あたかも仮想音
源４が配置される位置にあるような定位感を得ることが
できる。そのため、振幅／遅延算出部１３では、全ての
チャンネルに関して個々の応答部分の振幅及び時間遅延
が求められる。

【００５３】このように、音声処理装置１は、仮想空間
４０おけるリスナ１００と仮想音源４１との位置関係、
或いは仮想音源４１と各スピーカとの位置関係がコント
ローラ７ａ等の操作によって変更される場合、例えば仮
想音源が移動している場合であっても、時々刻々と変化
する仮想音源の位置からの音波を滑らかに切り換えて仮
想音源４１が移動しているように表現できる。仮想空間
４０でリスナ１００が移動した際、或いは仮想音源４１
が移動した際に、音声処理装置１が音場を生成する処理
を図９を用いて具体的に説明する。

【００５４】音声処理装置１は、ステップＳ１におい
て、操作部７（コントローラ７ａ）を介して、プレーヤ
又は仮想音源４１の位置移動が入力されたか否かの判別
を行う。位置移動が入力された場合、ステップＳ２に進
む。

【００５５】ステップＳ２において、音声処理装置１
は、振幅／遅延算出部１３において、移動した仮想音源
４１の位置情報の空間構成用データを空間構成用データ
記憶部１２から読出し、仮想音源４１から各スピーカ配
置位置までの直接音及び反射音の音線を算出し、振幅遅
延データを生成する。音線とは、仮想音源４１から各ス
ピーカ配置位置までの直接音及び反射音の経路を直線で
表したものであり、反射音には、少なくとも一次反射音
が含まれる。

【００５６】次に、ステップＳ３において、音声処理装
置１は、インパルス応答合成部１５において、音線が仮
想空間４０における壁４２に反射した、又は反射しない
という情報をキーとしてインパルス応答断片データ記憶
部１４よりインパルス応答断片データを抽出する。

【００５７】ステップＳ４において、音声処理装置１の
インパルス応答合成部１５は、ステップＳ２で音波の経
路から生成された直接波、一次反射音及び二次反射音の
振幅の減衰度合いと時間遅延とを示した振幅遅延データ
に、ステップＳ３で抽出されたインパルス応答断片デー
タを合成する。合成によって得られた合成インパルス応
答を、ステップＳ５において、最終的なインパルス応答
とする。

【００５８】音声処理装置１は、ステップＳ６におい
て、現在の合成インパルス応答を音源音声データに畳み
込む。

【００５９】ステップＳ１において、位置移動が入力さ
れない場合は、ステップＳ６に進み、その時点の合成イ
ンパルス応答を音源音声データに畳み込む。

【００６０】以上、図９に示した一連の処理によって、
音声処理装置１は、時々刻々と変化する仮想音源４１か
らの音波を滑らかに切り換えて仮想音源４１が移動して
いるように表現できる。

【００６１】合成インパルス応答は、仮想音源４１の位
置や仮想空間４０の空間構成が等しければ、毎回同じも
のが合成される。そのため、合成インパルス応答の一時
記憶部（キャッシュ機構）を備えることによって、操作
部７若しくはコントローラ７ａから受け取った位置情報
から一時記憶部内の同じ条件の合成インパルス応答を検
索し、一時的に記憶されていた場合には、振幅／遅延算
出部１３における振幅遅延データの算出からインパルス
応答合成部１５におけるインパルス応答断片データの合
成までの一連の処理を省略することもできる。

【００６２】本具体例では、仮想音源４１からの音声波
形を各スピーカ位置において再生する場合としたが、リ
スナ１００の耳の位置で再現される音声波形として考え
てもよい。つまり、音源からリスナの両耳までの頭部伝
達関数に基づいて音像定位処理を行う場合でも、この頭
部伝達関数に対して、上述した合成インパルス応答の合
成方法が適用できる。

【００６３】また、上述した例において、壁４２に対す
る反射回数は、音声処理装置のＣＰＵ、メモリ容量等の
基本性能に応じて変更可能である。これに伴い、空間構
成用データ記憶部１２に予め用意する空間位置情報及び
インパルス応答断片データ記憶部１４に予め用意するイ
ンパルス応答断片データもまた、音声処理装置の性能に
合わせて自由に設定できる。

【００６４】上述した例では、振幅／遅延算出部１３
は、直接波及び反射波の振幅減衰と時間遅延とを算出す
るのみであって、インパルス応答断片データは、直接波
か一次反射波か二次反射波かという点しか考慮していな
いが、インパルス応答断片データ記憶部１４のデータベ
ース設計時に、さらに詳細な情報を検索キーによって入
力して使用できるようにすると、最終的な合成インパル
ス応答をより忠実に再現できる。

【００６５】例えば、図１０及び図１１に示すように、
振幅遅延データを仮想音源４１から仮想空間を構成する
構成要素に対する音波の入射角、構成要素の材質等のよ
うな、仮想空間４０における音声の反射条件を示す付加
情報を含めたデータ構成とし、インパルス応答断片デー
タ記憶部１４を壁の種類や反射の順序によって断片デー
タを複数種類もつようなデータベースとすることもでき
る。この場合、振幅／遅延算出部１３は、図３に示され
た反射音の音線のうちの二次反射波５３に対しては、ま
ず、壁４２ａに入射し、次に壁４２ｂで反射して聴取位
置に到達することまで考慮して音波の振幅減衰と時間遅
延とを算出する。すなわち、壁による反射率や吸音率を
考慮して算出する。

【００６６】振幅及び時間遅延は、この音線を求める際
に、例えば、空気中を進行する際の減衰率や音速等から
も計算できる。インパルス応答断片データベースは、直
接波のインパルス応答断片データと反射波のインパルス
応答断片データに対して、壁４２ａ又は壁４２ｂに２回
反射したデータ等も含んでいる。

【００６７】したがって、図３に示す反射波５３の音線
に対しては、「壁４２ａに反射し、続いて壁４２ｂに反
射したデータ」を使用することになる。ここでは、入射
角を使用していないが、例えば「壁４２ａに○○°〜○
○°の入射角で反射したデータ」等のようにさらに細か
くデータベース化しておくこともできる。この場合、入
射角ｘが含まれるデータをデータベースから検索するこ
ととなる。このようにして、細かい条件に対してそれぞ
れ測定データを断片化して保持することにより、様々な
音色をもつ合成インパルス応答の形成が実現できる。

【００６８】また、直接波に対応するインパルス応答断
片データに関しても「仮想音源と受音位置との間に障害
物があった場合のインパルス応答断片データ」等のよう
に、データベースを詳細に分類することができる。音線
上に障害物がある場合、この障害物の大きさや透過率等
により回折効果を表すデータを複数用意してもよい。た
だし、この場合は、振幅遅延データにおいても音瀬淫が
障害物を通って到達したかどうかを示す付加情報の項目
を記憶することが必要になる。

【００６９】このように、インパルス応答断片データ記
憶部１４は、振幅／遅延算出部１３で算出される振幅遅
延データと密接に連携するような設計とすることが好ま
しい。

【００７０】上述したクロスフェイド処理を実行する音
声処理部としては、例えば、図１２に示す構成を有した
周知の音声処理部を用いることができる。音声処理部２
０は、複数の音声伝達特性を重畳させながら徐々に切り
換えることによって、複雑な音場の再生を可能としたも
のである。音声処理部２０は、図示しない音声信号入力
部から入力された音声信号Ｓ_ｉに対して、クロスフェイ
ド処理を行うものであり、音声信号入力部に対応する音
源としては、例えば、線形記録媒体、ディスク型記録媒
体等に記録された音声信号を再生する再生装置における
音声信号出力部等がこれに相当する。

【００７１】音声処理部は、音声信号入力部の後段に、
複数個の線形フィルタ３１_（１）、３１_（２）、・・
・、３１_（Ｎ）が並列に配置されており、さらに、これ
ら線形フィルタ各々の後段には、線形フィルタの個数に
対応する可変重み付け部３２_（ _１）、３２_（２）、・・
・、３２_（Ｎ）が並列に配置され、これら可変重み付け
部の後段には、１つの加算回路３３が接続されて構成さ
れている。図１２に示す音声処理部２０は、１チャンネ
ル分のみ示したが、本具体例では、８チャンネルのマル
チチャンネル方式であるため、この音声処理部２０が８
組用意されている。クロスフェイド処理後の信号Ｓ
_ｏは、加算回路３３の出力端子より取り出され、Ｄ／Ａ
部１７へと供給されている。

【００７２】各線形フィルタは、前段の音声信号入力部
の端子と共通接点を介して接続され、音声信号入力部か
らの出力信号がそれぞれ並列に入力されるように配線接
続されている。各線形フィルタは、入力された音声信号
Ｓ_ｉに対して、後述するコントローラ７ａから転送され
たフィルタ係数Ｄ_ｆを重畳処理し、この重畳信号Ｓ_（
_１）、Ｓ_（２）、・・・、Ｓ_（Ｎ）を後段の可変重み付
け部３２に出力する。ここで、フィルタ係数Ｄ_ｆは、例
えば、入力信号Ｓ_ｉの信号レベル、或いは位相を変化さ
せるための係数であって音響伝達特性を表している。フ
ィルタ係数は、仮想音源（以下、必要に応じて音像と示
す。）を仮想的な空間の中で定位させたい任意の位置に
あるものとして表現するために、シミュレーションや実
測によって得られたインパルス応答波形を示している。

【００７３】各可変重み付け部は、前段のそれぞれに対
応する線形フィルタと接続され、対応する線形フィルタ
からの重畳信号Ｓに対して、コントローラ７ａからの指
令信号Ｓ_ｃに基づいて、フェイドイン処理又はフェイド
アウト処理を行っている。

【００７４】一方、操作部７から供給された音像（仮想
音源）の移動要求信号Ｓ_ｄに基づいて、前回フェイドイ
ン処理を行った可変重み付け部に対しては、フェイドア
ウト処理を行わせるための指令信号Ｓ_ｃ１を出力し、前
回フェイドアウト処理を行った可変重み付け部に対して
は、フェイドイン処理を行わせるための指令信号Ｓ_ｃ _２
を出力する。また、制御部３４は、指令信号Ｓ_ｃの出力
に対して音像位置位置データを含む指令コードＣ_ｓを出
力する。

【００７５】フィルタ係数切換部３５は、各線形フィル
タのうち前回フィルタ係数Ｄｆが転送された線形フィル
タ以外の線形フィルタ部に返送されたフィルタ係数Ｄ_ｆ
を転送する。これによって、信号Ｓ_ｉは、各線形フィル
タにおいて、フィルタ係数Ｄ _ｆが重畳処理された信号Ｓ
となり、これら線形フィルタ部からの重畳信号Ｓが後段
の可変重み付け部にてフェイドイン処理又はフェイドア
ウト処理されて出力される。

【００７６】具体的には、信号Ｓｉは、前回のフィルタ
係数Ｄ_ｆが転送されている線形フィルタ部において、該
前回のフィルタ係数Ｄ_ｆが重畳処理され、今回、フィル
タ係数切換部３５から新たにフィルタ係数Ｄ_ｆが転送さ
れた線形フィルタ部において、今回のフィルタ係数Ｄ_ｆ
が重畳処理されることになる。

【００７７】これにより、前回のフィルタ係数Ｄ_ｆが転
送されている線形フィルタ部からの重畳信号Ｓによっ
て、対応する可変重み付け部においてフェイドアウト処
理が行われ、今回のフィルタ係数Ｄ_ｆが転送された線形
フィルタ部からの重畳信号Ｓによって、対応する可変重
み付け部においてフェイドイン処理が行われる。各可変
重み付け部からの出力信号は、後段の加算回路３３にて
加算処理され、最終出力信号、すなわち、クロスフェイ
ド処理信号Ｓ_ｏとしてＤ／Ａ部１７に供給されることに
なる。

【００７８】したがって、上述したような処理によっ
て、音声処理装置１は、ディスプレイ５に表示される状
況に対応して、仮想音源とリスナ１００との位置関係を
現実的に表現することができる。つまり、リスナ１００
にとっては、音源が実際にその位置にあるかのように聞
こえる。この音声処理装置１は、仮想空間における音源
のリスナ１００に対する移動、リスナ１００の音源に対
する移動、或いは周囲の状況変化、例えば、音源からの
音波が反射する壁、床、障害物等の相対的な移動に対応
して音源とリスナ１００との位置関係や音波の伝達特性
が実際に変化しているかのように表現できる。

【００７９】以上説明した具体例は、最終的に振幅遅延
データとインパルス応答断片データとに基づいて形成さ
れた合成インパルス応答を取り出し、これを入力音声信
号に畳み込む処理によってスピーカ２から出力する音声
波形を生成する例であったが、例えば、装置の能力上の
制約等によって振幅／遅延算出部１３が非常に少ない反
射波データしか扱えないような場合、また、同様の理由
によってインパルス応答断片データ記憶部１４に格納で
きるインパルス応答断片データ量が限られている場合、
上述した具体例を同様の処理を以下に示す別の具体例で
実現することもできる。

【００８０】図１３に示す音声処理装置７０は、音声処
理装置１と同様、仮想空間における音源と該仮想音源か
らの音声を受音する受音点との間の該仮想空間での位置
関係に応じた音声を生成する音声処理装置であり、図１
に示したような位置関係により各構成を配置することに
よって、臨場感あふれる音響効果を得ることができる。
音声処理装置７０において、音声処理装置１と同様の機
能を有する構成に関しては、図１と同じ番号を付して詳
細な説明を省略する。

【００８１】音声処理装置７０は、基本構成は、音声処
理装置１と同様であるが、仮想空間に相当する実空間で
測定された音源から各スピーカ位置までのインパルス応
答の実測値のうち、直接音に対応する部分と反射音に対
応する部分に対応する所定区間を抽出して得られたイン
パルス応答断片データをそれぞれの音源音声データに対
して予め重畳した重畳済音声データが記憶された音声デ
ータ記憶部７１を備え、音声データ合成部７２におい
て、振幅遅延データにこの重畳済音声データを合成する
点が特徴である。

【００８２】音声データ記憶部７１には、図１４（ａ）
に示す音源音声データの音声波形に対して、図１４
（ｂ）に示す実測値から抽出された直接波のインパルス
応答断片データＤ_１及び反射波のインパルス応答断片デ
ータＤ_２がそれぞれ予め重畳されて、図１４（ｃ）、図
１４（ｄ）に示すような重畳済音声データとして記憶さ
れている。ここで重畳済音声データは、時間遅延に関す
るデータが最小限になるようにデータベース化されてい
るため、これまで説明した方法で合成される振幅遅延デ
ータに比べて非常に短くできる。つまり、振幅遅延デー
タのデータ量が少なく、これを記憶しておくためのリソ
ースをさほど必要としない。

【００８３】音声データ合成部７２では、振幅／遅延算
出部１３からの振幅遅延データに対応させて音声データ
を合成している。すなわち、図１５（ａ）に示すような
振幅遅延データに対し、図１５（ｂ）で示す重畳済音声
データをそれぞれ合成し、図１５（ｃ）に示す音声波形
を得ている。

【００８４】音声処理装置７０によれば、最も遅れて届
く反射波の遅延時間までの期間長が短縮されるため、デ
ータ容量が節約され、音声処理のリアルタイム性が向上
する。

【００８５】以上説明したように、本発明に係る音声処
理装置１及び音声処理装置７０によれば、合成インパル
ス応答又は合成音声データを形成するに際して、全て計
算により求めるのではなく、計算により算出する部分
と、実空間における実測から得られたインパルス応答断
片データを使用する部分と効果的に分離することによっ
て、全てを計算により求める場合よりも少ない計算量
で、より現実感のある仮想空間を音響的に表現すること
が可能である。また、仮想空間中を仮想音源が移動する
場合の音場をつくり出す上でも、仮想音源が移動する全
てのポイントにおけるインパルス応答を実空間中で測定
することなく、数ポイントの測定と計算とを組み合わせ
て用いることによって、より簡素に、より現実的な音場
を表現することができる。

【００８６】なお、本発明は上述した実施の形態のみに
限定されるものではなく、本発明の要旨を逸脱しない範
囲において種々の変更が可能であることは勿論である。

【００８７】

【発明の効果】以上詳細に説明したように、本発明に係
る音声処理装置は、音場を再現するための音声波形を生
成するに際し、振幅遅延算出手段において仮想音源から
受音点に伝播する音波の直接音応答と主要な反射音応答
の少なくとも振幅及び遅延からなる振幅遅延データを、
空間構成用データに基づいて算出する部分と、仮想空間
に相当する実空間で測定されたインパルス応答の所定区
間を抽出したインパルス応答断片データを使用する部分
とに効果的に分離することによって、全てを計算により
求める場合よりも少ない計算量でより現実的な音響空間
を再現できるとともに、最終的な音質の向上をも同時に
達成できる。

【００８８】また、本発明に係る音声処理装置によれ
ば、仮想空間中を音源が移動する状態をシミュレートす
る場合、実空間中で特徴的な合成インパルス応答を数点
入力するだけで、音源がこの仮想空間内を自由に移動す
る状況を現実的に表現することができる。

【００８９】さらに、計算量を減らすことにより、例え
ばゲーム等のように音声処理にリアルタイム性が要求さ
れる状況下であっても臨場感ある音場を再現できる。

【００９０】また、本発明に係る音声処理装置は、振幅
遅延算出手段において仮想音源から受音点に伝播する音
波の直接音応答と主要な反射音応答の振幅及び遅延から
なる振幅遅延データを空間構成用データに基づいて算出
し、仮想音源から受音点に伝播する音波のインパルス応
答から抽出した直接音応答と反射音応答の各々を表すイ
ンパルス応答断片データを音源の音声データに対して予
め重畳した重畳済音声データと振幅遅延データに基づい
て合成することによって、全てを計算により求める場合
よりも少ない計算量でより現実的な音響空間を再現でき
るとともに、最終的な音質の向上をも同時に達成でき
る。

【００９１】さらに、計算量を減らすことにより、例え
ばゲーム等のように音声処理にリアルタイム性が要求さ
れる状況下であっても臨場感ある音場を再現できる。

【００９２】また、本発明に係る音声処理装置によれ
ば、仮想空間中を音源が移動する状態をシミュレートす
る場合、実空間中で特徴的なインパルス応答を数点測定
するだけで、音源がこの仮想空間内を自由に移動する状
況を現実的に表現することができる。

【００９３】また、本発明に係る音声処理方法は、音場
を再現するための音声波形を生成するに際し、振幅遅延
算出工程において仮想音源から受音点に伝播する音波の
直接音応答と主要な反射音応答の少なくとも振幅及び遅
延からなる振幅遅延データを空間構成用データに基づい
て算出する部分と、仮想空間に相当する実空間で測定さ
れたインパルス応答の所定区間を抽出したインパルス応
答断片データを使用する部分とに効果的に分離すること
によって、全てを計算により求める場合よりも少ない計
算量でより現実的な音響空間を再現できるとともに、最
終的な音質の向上をも同時に達成できる。

【００９４】また、本発明に係る音声処理方法によれ
ば、仮想空間中を音源が移動する状態をシミュレートす
る場合、実空間中で特徴的なインパルス応答を数点測定
するだけで、音源がこの仮想空間内を自由に移動する状
況を現実的に表現することができる。

【００９５】さらに、計算量を減らすことにより、例え
ばゲーム等のように音声処理にリアルタイム性が要求さ
れる状況下であっても臨場感ある音場を再現できる。

【００９６】また、本発明に係る音声処理方法によれ
ば、振幅遅延算出工程において仮想音源から受音点に伝
播する音波の直接音応答と主要な反射音応答の少なくと
も振幅及び遅延からなる振幅遅延データを空間構成用デ
ータに基づいて算出し、仮想音源から受音点に伝播する
音波のインパルス応答から抽出した直接音応答と反射音
応答の各々を表すインパルス応答断片データを音源の音
声データに対して予め重畳した重畳済音声データとを振
幅遅延データに基づいて合成することによって、全てを
計算により求める場合よりも少ない計算量でより現実的
な音響空間を再現できるとともに、最終的な音質の向上
をも同時に達成できる。

【００９７】さらに、計算量を減らすことにより、例え
ばゲーム等のように音声処理にリアルタイム性が要求さ
れる状況下であっても臨場感ある音場を再現できる。

【００９８】また、本発明に係る音声処理方法によれ
ば、仮想空間中を音源が移動する状態をシミュレートす
る場合、実空間中で特徴的なインパルス応答を数点測定
するだけで、音源がこの仮想空間内を自由に移動する状
況を現実的に表現することができる。

【００９９】また、本発明に係る制御プログラムによれ
ば、音場を再現するための音声波形を生成するに際し、
振幅遅延算出処理によって仮想音源から受音点に伝播す
る音波の直接音応答と主要な反射音応答の少なくとも振
幅及び遅延からなる振幅遅延データを空間構成用データ
に基づいて算出する部分と、仮想空間に相当する実空間
で測定されたインパルス応答の所定区間を抽出したイン
パルス応答断片データを使用する部分とに効果的に分離
することで、全てを計算により求める場合よりも少ない
計算量でより現実的な音響空間を再現できるとともに、
最終的な音質の向上をも同時に達成できる。

【０１００】また、本発明に係る制御プログラムによれ
ば、仮想空間中を音源が移動する状態をシミュレートす
る場合、実空間中で特徴的なインパルス応答を数点測定
するだけで、音源がこの仮想空間内を自由に移動する状
況を現実的に表現することができる。

【０１０１】さらに、計算量を減らすことにより、例え
ばゲーム等のように音声処理にリアルタイム性が要求さ
れる状況下であっても臨場感ある音場を再現できる。

【０１０２】また、本発明に係る制御プログラムによれ
ば、振幅遅延算出処理において仮想音源から受音点に伝
播する音波の直接音応答と主要な反射音応答の少なくと
も振幅及び遅延からなる振幅遅延データを空間構成用デ
ータに基づいて算出し、仮想音源から受音点に伝播する
音波のインパルス応答から抽出した直接音応答と反射音
応答の各々を表すインパルス応答断片データを音源の音
声データに対して予め重畳した重畳済音声データとを合
成することによって、全てを計算により求める場合より
も少ない計算量でより現実的な音響空間を再現できると
ともに、最終的な音質の向上をも同時に達成できる。

【０１０３】さらに、計算量を減らすことにより、例え
ばゲーム等のように音声処理にリアルタイム性が要求さ
れる状況下であっても臨場感ある音場を再現できる。

【０１０４】また、本発明に係る制御プログラムによれ
ば、仮想空間中を音源が移動する状態をシミュレートす
る場合、実空間中で特徴的なインパルス応答を数点測定
するだけで、音源がこの仮想空間内を自由に移動する状
況を現実的に表現することができる。

【図面の簡単な説明】

【図１】本発明の具体例として示す音声処理装置の構成
の概略を示す構成図である。

【図２】本発明の具体例として示す音声処理装置の構成
を説明する構成図である。

【図３】本発明の具体例として示す音声処理装置によっ
て表現される仮想空間における仮想音源とスピーカとリ
スナとの位置関係を説明する図である。

【図４】図４（ａ）は、虚像法によって仮想音源と受音
点との間の一次反射音の経路を算出する様子を説明する
模式図であり、図４（ｂ）は、虚像法によって仮想音源
と受音点との間の二次反射音の経路を算出する様子を説
明する模式図である。

【図５】本発明の具体例として示す音声処理装置の振幅
／遅延算出部において、空間構成用データに基づいて算
出される振幅／遅延データを示す図である。

【図６】本発明の具体例として示す音声処理装置のイン
パルス応答断片データ記憶部に記憶するインパルス応答
断片データの取得について説明する図である。

【図７】本発明の具体例として示す音声処理装置のイン
パルス応答断片データ記憶部に記憶されるインパルス応
答断片データを示す図である。

【図８】本発明の具体例として示す音声処理装置におい
て、インパルス応答断片データを振幅／遅延データに基
づいて合成する様子を示す模式図である。

【図９】本発明の具体例として示す音声処理装置が仮想
空間中を移動する仮想音源の音声波形を生成する処理を
説明するフローチャートである。

【図１０】本発明の具体例として示す音声処理装置の振
幅遅延算出部において算出される振幅遅延データのテー
ブルの例を示す模式図である。

【図１１】本発明の具体例として示す音声処理装置のイ
ンパルス応答断片データ記憶部に記憶されるインパルス
応答断片データのほかの例を示す図である。

【図１２】本発明の具体例として示す音声処理装置内の
音声処理部の構成を説明する構成図である。

【図１３】本発明の別の具体例として示す音声処理装置
の構成を説明する構成図である。

【図１４】図１４（ａ）は、音源音声データの音声波形
を示す波形図であり、図１４（ｂ）は、実測値から抽出
されたインパルス応答断片データの波形を示す波形図で
あり、図１４（ｃ）は、音源音声データの音声波形に対
して直接波を示すインパルス応答断片データを合成した
音声波形を示す波形図であり、図１４（ｄ）は、音源音
声データの音声波形に対して反射波を示すインパルス応
答断片データを合成した重畳済音声データを示す波形図
である。

【図１５】図１５（ａ）は、空間構成用データに基づい
て算出された振幅遅延データを示す図であり、図１５
（ｂ）は、振幅遅延データに基づいて構成された重畳済
音声データを示す波形図であり、図１５（ｃ）は、図１
５（ｂ）の各音声データを合成して得られた音声波形を
示す波形図である。

【符号の説明】

１、７０音声処理装置、２スピーカ、３閉曲面、
４音声信号制御生成部、５ディスプレイ、６映像
信号制御生成部、７操作部、７ａコントローラ、１
１音声データ記憶部、１２空間構成用データ記憶
部、１３振幅／遅延算出部、１４インパルス応答断
片データ記憶部、１５インパルス応答合成部、１６
畳込部、１７Ｄ／Ａ部、１８アンプ、１９内部バ
ス、２０音声処理部、２１オブジェクト表示制御部、
２２画像信号処理部、３１線形フィルタ、３２可
変重み付け部、３３加算回路、３４制御部、３５
フィルタ係数切換部、３６フィルタ係数発生部、４０
仮想空間、４１仮想音源、４１壁、５１直接
波、５２ａ一次反射波、５２ｂ一次反射波、５３二
次反射波、６０実空間、６１音源、６２マイクロ
フォン、７１音声データ記憶部、７２音声データ合
成部、１００リスナ

Claims

【特許請求の範囲】

【請求項１】仮想空間における音源と該仮想音源から
の音声を受音する受音点との間の該仮想空間での位置関
係に応じた音声を生成する音声処理装置において、上記仮想空間を構成する要素に関する空間構成用データ
が記憶された空間構成用データ記憶手段と、上記仮想音源から上記受音点に伝播する音波の直接音応
答と主要な反射音応答の少なくとも振幅及び遅延からな
る振幅遅延データを、上記空間構成用データに基づいて
算出する振幅遅延算出手段と、上記仮想空間に相当する実空間で測定された上記仮想音
源から上記受音点に伝播する音波のインパルス応答か
ら、所定区間を抽出したインパルス応答断片データが記
憶されたインパルス応答断片データ記憶手段と、上記振幅遅延データと上記インパルス応答断片データと
に基づいて合成インパルス応答を生成するインパルス応
答合成手段と、上記インパルス応答合成手段において合成された上記合
成インパルス応答をを上記音源の音声データに畳み込む
畳込手段とを備えることを特徴とする音声処理装置。
【請求項２】上記インパルス応答断片データは、上記
所定区間の後半で上記インパルス応答断片データの振幅
が徐々に減衰するような時間窓によって上記インパルス
応答から抽出されることを特徴とする請求項１記載の音
声処理装置。
【請求項３】上記空間構成用データには、上記仮想空
間における音声の反射条件を示す付加情報が含まれるこ
とを特徴とする請求項１記載の音声処理装置。
【請求項４】上記反射音応答には、上記仮想空間にお
ける上記仮想空間の空間構成に基づいた反射物或いは障
害物に対する一次反射或いは回折の応答が少なくとも含
まれることを特徴とする請求項１記載の音声処理装置。
【請求項５】上記振幅遅延算出手段は、上記仮想音源
から上記受音点に伝播する音波の直接音応答と主要な反
射音応答とを虚像法を用いて算出することを特徴とする
請求項１記載の音声処理装置。
【請求項６】仮想空間内の上記音源と上記受音点との
位置関係を変更する操作手段を備えることを特徴とする
請求項１記載の音声処理装置。
【請求項７】仮想空間における音源と該仮想音源から
の音声を受音する受音点との間の該仮想空間での位置関
係に応じた音声を生成する音声処理装置において、上記仮想空間に相当する実空間で測定された上記仮想音
源から上記受音点に伝播する音波のインパルス応答か
ら、所定区間を抽出したインパルス応答断片データを上
記音源の音声データに対して予め重畳した重畳済音声デ
ータが記憶された音声データ記憶手段と、上記仮想空間を構成する要素に関する空間構成用データ
が記憶された空間構成用データ記憶手段と、上記仮想音源から上記受音点に伝播する音波の直接音応
答と主要な反射音応答の少なくとも振幅及び遅延からな
る振幅遅延データを、上記空間構成用データに基づいて
算出する振幅遅延算出手段と、上記重畳済音声データを上記振幅遅延データに基づいて
合成する合成手段とを備えることを特徴とする音声処理
装置。
【請求項８】仮想空間における音源と該仮想音源から
の音声を受音する受音点との間の該仮想空間での位置関
係に応じた音声を生成する音声処理方法において、上記仮想音源から上記受音点に伝播する音波の直接音応
答と主要な反射音応答の少なくとも振幅及び遅延からな
る振幅遅延データを、上記仮想空間を構成する要素に関
する空間構成用データに基づいて算出する振幅遅延算出
工程と、上記仮想空間に相当する実空間で測定された上記仮想音
源から上記受音点に伝播する音波のインパルス応答か
ら、所定区間を抽出したインパルス応答断片データと上
記振幅遅延データとに基づいて合成インパルス応答を生
成するインパルス応答合成工程と、上記インパルス応答合成工程において合成された上記合
成インパルス応答をを上記音源の音声データに畳み込む
畳込工程とを備えることを特徴とする音声処理方法。
【請求項９】上記インパルス応答断片データは、上記
所定区間の後半で上記インパルス応答断片データの振幅
が徐々に減衰するような時間窓によって上記インパルス
応答から抽出されることを特徴とする請求項８記載の音
声処理方法。
【請求項１０】上記空間構成用データには、上記仮想
空間における音声の反射条件を示す付加情報が含まれる
ことを特徴とする請求項８記載の音声処理方法。
【請求項１１】上記反射音応答には、上記仮想空間の
空間構成に基づいた反射物或いは障害物に対する一次反
射或いは回折の応答が少なくとも含まれることを特徴と
する請求項８記載の音声処理方法。
【請求項１２】上記振幅遅延算出工程では、上記仮想
音源から上記受音点に伝播する音波の直接音応答と主要
な反射音応答とを虚像法を用いて算出することを特徴と
する請求項８記載の音声処理方法。
【請求項１３】仮想空間内の上記音源と上記受音点と
の位置関係を変更する操作工程を有することを特徴とす
る請求項８記載の音声処理方法。
【請求項１４】仮想空間における音源と該仮想音源か
らの音声を受音する受音点との間の該仮想空間での位置
関係に応じた音声を生成する音声処理方法において、上記仮想音源から上記受音点に伝播する音波の直接音応
答と主要な反射音応答の少なくとも振幅及び遅延からな
る振幅遅延データを、上記仮想空間を構成する要素に関
する空間構成用データに基づいて算出する振幅遅延算出
工程と、上記仮想空間に相当する実空間で測定された上記仮想音
源から上記受音点に伝播する音波のインパルス応答か
ら、所定区間を抽出したインパルス応答断片データを上
記音源の音声データに対して予め重畳した重畳済音声デ
ータを、上記振幅遅延データに基づいて合成する合成工
程とを備えることを特徴とする音声処理方法。
【請求項１５】仮想空間における音源と該仮想音源か
らの音声を受音する受音点との間の該仮想空間での位置
関係に応じた音声を生成するコンピュータ制御可能な音
声処理装置の制御プログラムにおいて、上記仮想音源から上記受音点に伝播する音波の直接音応
答と主要な反射音応答の少なくとも振幅及び遅延からな
る振幅遅延データを、上記仮想空間を構成する要素に関
する空間構成用データに基づいて算出する振幅遅延算出
処理と、上記仮想空間に相当する実空間で測定された上記仮想音
源から上記受音点に伝播する音波のインパルス応答か
ら、所定区間を抽出したインパルス応答断片データと上
記振幅遅延データとに基づいて合成インパルス応答を生
成するインパルス断片合成処理と、上記インパルス断片合成処理において合成された上記合
成インパルス応答を上記音源の音声データに畳み込む畳
込処理とを音声処理装置に実行させることを特徴とする
制御プログラム。
【請求項１６】仮想空間における音源と該仮想音源か
らの音声を受音する受音点との間の該仮想空間での位置
関係に応じた音声を生成するコンピュータ制御可能な音
声処理装置の制御プログラムにおいて、上記仮想音源から上記受音点に伝播する音波の直接音応
答と主要な反射音応答の少なくとも振幅及び遅延からな
る振幅遅延データを、上記仮想空間を構成する要素に関
する空間構成用データに基づいて算出する振幅遅延算出
処理と、上記仮想空間に相当する実空間で測定された上記仮想音
源から上記受音点に伝播する音波のインパルス応答か
ら、所定区間を抽出したインパルス応答断片データを上
記音源の音声データに対して予め重畳した重畳済音声デ
ータを、上記振幅遅延データに基づいて合成する合成処
理とを音声処理装置に実行させることを特徴とする制御
プログラム。