JP2008547255A - ランダムに発生する音源のためのスピーカ信号の生成方法および装置 - Google Patents

Abstract

マルチ・チャンネル再生空間においてスピーカ・チャンネルに対して、スピーカ信号を生成するための粒子発生装置であり、音源が発生する多数の位置を供給する位置発生器（１４）と、位置と関係して音源が発生する時間を供給する時間発生器（１８）とを備える。また、多数の位置の中のそれぞれの位置に対応した個々のパルス応答情報を発生するための個々のパルス応答発生器（１６）を備える。合成されたパルス応答が、発生時間にしたがい個々のパルス応答情報を合成するためのパルス応答合成器（２０）によって発生させられる。そして、この全体的なパルス応答は、最終的にオーディオ信号がフィルタ処理されるフィルタ（２１）を調整するために用いられる。
【選択図】図１

Description

本発明はオーディオ信号処理に関するものであり、波面合成システムのような多数のスピーカからなるオーディオ信号処理に関するものである。

図４は、典型的な波面合成（ＷＦＳ）の方法を示す。波面合成システムの心臓部は波面合成供給器４００であり、再生空間内にグループ配置された個々のスピーカ４０１に対してそれぞれ固有のスピーカ信号を生成するものである。具体的には、波面合成供給器４００とそれぞれのスピーカとの間には、波面合成供給器４００からそれぞれのスピーカ信号を伝送するスピーカ・チャンネルが存在する。入力側には、波面合成供給器４００に対して、典型的には制御ファイル４０２によって取り決められた制御データが供給される。その制御ファイルは、オーディオ・オブジェクトのリストを含み、それぞれのオーディオ・オブジェクトは仮想的な位置およびそれに関連したオーディオ信号を有する。その仮想的な位置は、再生空間内のリスナーが存在する位置である。

たとえば、再生空間内に映画のスクリーンが設置されている場合、視聴者のために生成されるのは、視覚空間シナリオ表現だけではなく、総合的空間シナリオ表現である。そのために、全てのスピーカ・チャンネルには、たとえば俳優の声や接近する列車の音等の音源に対して同一のオーディオ信号から生成された多数のスピーカ信号が供給される。ただし、これらの全てのスピーカ信号は、入力信号の大小や遅延時間において大なり小なり異なるものである。個々のスピーカに供給される信号の大小や遅延は、ホイヘンスの原理に基づく波面合成アルゴリズムによって生成される。よく知られているように、その原理は、全ての波形が多数の球面波を用いて得られるということに基づく。それぞれの「球面波」を放射する個々のスピーカは、同じ信号によって制御されるが、それぞれに供給される信号の大小や遅延は異なるから、もし人が再生空間にいれば、１つの音源が仮想的な位置に存在するかのような印象を受ける。

もし、複数のいくつかの音源が同時に存在し、任意の時間にまた異なる仮想的な位置で発生する場合には、波面合成供給器は、スピーカ・チャンネルを介してそれぞれのスピーカへスピーカ信号を伝送する前に、各々のオーディオ・オブジェクトに対して上述の手順の処理を行い、そして各々のコンポーネント信号の加算処理を行う。たとえば、特定のスピーカ設置位置が知られているスピーカ４０３に注目すれば、波面合成供給器はそれぞれのオーディオ・オブジェクトに対してスピーカ４０３によって再生されるべきコンポーネント信号を生成する。そして、スピーカ４０３に対して任意の時間での全てのコンポーネント信号が一度計算されると、それらのコンポーネント信号は、共通のまたは組み合わされたコンポーネント信号を得るために単純に加算されて、波面合成供給器４００からスピーカ４０３へつながるスピーカ・チャンネルへ送られる。しかしながら、任意の時間において、スピーカ４０３に対して唯一つの音源が有効であるような場合であるならば、当然ながら加算処理は行われない。

波面合成供給器４００には実用上の限界が存在する。全ての波面合成には比較的大きな計算時間が要求されるという事実から、波面合成供給器４００は、同時に特定の数の音源の処理ができるだけである。典型的には、同時に処理可能な音源数は３２である。この３２という数は、典型的なシーン、たとえば会話場面では十分である。しかしながら、非常に多くの個々の異なる音から構成される雨の音の場合、この数は非常に小さいものである。個々の音事象は、ある特定の表面に雨が降る時の雨滴によって発生する音である。

３２個の雨滴が個々の音源として局部的な仕方で適用されるのであれば、わずか３２個の雨滴ではリアリティのある雨音を生成できないことは明白である。

個々の処理ができない音源を多数含むそのようなランダムなプロセスでは、全体的な雨音を作り、例えば全てのスピーカ・チャンネルにミックスされる。しかしながら、このような方法では、空間的な局在化によって知覚される他の音の背景とは異なり、雨音に関する事例とは異なるという事実により聴感が損なわれる。

専門出版物、「コンピュータによる雨のリアルタイムサウンド合成」"Computational Real-Time Sound Synthesis of Rain", S.J. Miklavcic et.al., Proceedings of the Seventh International Conference on Digital Audio Effects (DAFx '04), Naples, Italy, 5 to 8 October 2004は、固体表面または水面への雨滴の衝突の物理的モデルによるコンピュータ・ゲーム向けの実時間サウンド合成が議論されている。２個のスピーカがリスナーの後方に、２個のスピーカがリスナーの前方に、１個のスピーカがリスナーの前方中央に置かれる５個のスピーカからなるマルチ・スピーカによる音再生では、そのリスナーの周りに対称的に配される雨滴の衝突の領域は、スピーカの配置によって決まる円形のセクターに分割される。ランダム分布関数により、衝突のセクターが決定されるように、雨滴の衝突音シミュレーションが行われる。そして、衝突の音圧は隣接する２個のスピーカ間で分割され、それを基本に、それら２個のスピーカに対して音声信号が生成される。

このコンセプトの欠点は、雨滴の位置を作り出すことは可能ではなく、雨滴衝突の位置に隣接する２個のスピーカ間のパンニングによって、単にリスナーに対して方向感を与えることのみが可能であるに過ぎない点である。繰り返すが、リスナーにとって理想的な雨音を作り出すことはできない。

ＡＥＳ大会論文、「波面合成再生のための高度に没入できる雰囲気の生成」"Generation of highly immersive atmospheres for Wave Field Synthesis reproduction", A. Wagner, et al., 116th Convention, 8-11 May, Berlin, Germany 「コンピュータによる雨のリアルタイムサウンド合成」"Computational Real-Time Sound Synthesis of Rain", S.J. Miklavcic et.al., Proceedings of the Seventh International Conference on Digital Audio Effects (DAFx '04), Naples, Italy, 5 to 8 October 2004

この発明の目的は、オーディオシーンにおけるさまざまな場所および時間に発生する音源の高品質な再生を可能とするスピーカ信号を生成することである。

この目的は、請求項１に記載の装置、請求項１２に記載の方法および請求項１３に記載のコンピュータ・プログラムによって達成される。

本発明は、オーディオ・シーンにおいて発生する音源の位置と時間の両方が合成して作り出されるという知見に基づくものである。本発明によれば、合成的に生成された位置と時間に基づき、それぞれの位置に対して個々のパルス応答が生成される。特に、個々のパルス応答は、特定の位置関係においてスピーカまたはスピーカ信号に対してアレンジされた音源のイメージを再現する。そして、個々のパルス応答情報の個々の要素は時間補正されて組み合わされ、たとえば、スピーカ・チャンネルへ送る複合化されたパルス応答情報を得るために、発生位置に関連して発生時間に応じて組み合わされる。上述のように、音源を再現するスピーカ信号をそのスピーカ・チャンネルに対して得るために、複合化されたパルス応答情報を用いて、音源を表現するオーディオ信号がフィルタ処理される。

音源を直接的に表現するようなオーディオ信号、すなわち個々の事象の録音である信号とは異なり、たとえば、雨滴の衝突の場合では、スピーカ・チャンネルに供給されるスピーカ信号は、特定の回数だけ繰り返し発生するオーディオ信号により、定められた仮想的位置関係によって、雨滴により発生する個々の事象が再生空間内に明確に配置されるような全体的な信号を表わす。

したがって、再生空間内に現実的な雨の背景が作り出され、そこではリスナーはある距離だけ離れたスクリーン内やその背後で雨が降っているものと思い、また実際に自分は「雨の外から内へ」入るように感じる。

パルス応答が通常は定常的であるか、ゆっくりと変化できるだけである従来技術とは対照的に、パルス応答によって決められるフィルタを用いて処理されるオーディオ信号は非常に可変的であり、それは本発明による異なる応用である。たとえば、単一で非常に短いオーディオ信号が得られ、それは、非常に長いパルス応答特性で表現され、時間的に大きな変化を与えるフィルタによって処理することができる。たとえば、その応答特性が時間的に遅れて発生する雨滴の衝突を最終的に決めるので、非常に長い遅延時間を持つ特有のパルス応答特性を有するフィルタが構成される。

本発明によれば、特に大きな空間での、ランダムに発生する粒子、たとえば雨滴のような過度的な音源により、包囲効果が実現できる。また、本発明によれば、同時には３２チャンネルまでの処理しか行えない波面合成供給器のハードウエア的な制限なしに、雨滴のような個々のサウンド・オブジェクトをどのような頻度でも発生させることができる。

本発明によれば、大きな再生空間内においても、リアルタイムで高速な繰り返しにより、空間的に分布した粒子が再現できる。したがって、本発明によれば、音源が空間内の異なる位置で同時に発生することができ、同時にシミュレーションを行うことができる。特に、音源が多数存在する大きな空間に対して、個々の音源に基づいて波面合成供給器によって信号が生成されるので、本発明にしたがって多数の入力チャンネルが必要となる。たとえば、多数の雨滴に対して、雨滴のオーディオ信号を含む単一のサウンド・オブジェクトがあれば十分である。異なる仮想的位置にあり、かつおおよそ同時に発生する多数の雨滴は、生成され組み合わされる多数の個々のパルス応答によってのみ表わされる。

個々のパルス応答の生成は、個々のパルス応答の組み合わせの場合と同様に計算時間の観点から効率的に行われるように図られ、本発明では、それぞれのサウンド・オブジェクトに関して、たとえば、制御ファイルにより特定の仮想的位置における波面合成供給器に対して、ある特定の仮想的な音源が与えられる場合に比べて、計算時間の大幅な短縮に繋がる。本発明による個々のパルス応答の組み合わせにより、異なる位置での任意に多数の雨滴であっても、多数の畳み込みは必要とせず、音源（雨滴）を表現するオーディオ信号を有する大きいパルス応答の１つの畳み込みで済む。これは、計算時間の観点で本発明による方法が非常に効果的であることの理由でもある。

本発明によれば、斬新なアルゴリズムに基づき、いかなる大きさのオーディオ知覚領域の全域でも、波面合成により、仮想的にいかなる本来の音源も再生される。また、必要とされる計算処理能力は、現在の波面合成アルゴリズムよりも非常に少なくて済む。

好ましくは、単位時間当たりの平均粒子密度数、空間内の二次元位置関係、空間内の三次元位置関係、パルス応答による各粒子の個々のフィルタ処理等のパラメータ生成は、乱数発生器によって行われる。また、本発明の方法はＸ，Ｙマルチチャンネル・サラウンド方式フォーマットにも適応できる。

また、パルス応答方法を用いて、たとえば雨滴などの粒子の音を変化させることや、当然相互に異なる木質表面への雨滴の落下や金属板表面への落下等のように、物理特性のシミュレートを行うことが好ましい。
本発明の好ましい実施形態については図を用いてその詳細を説明する。

図１は、再生空間内の多数のスピーカ位置の中の１つのスピーカ位置に設置されるスピーカ（たとえば、４０３）に関連するスピーカ・チャンネルのための出力１０におけるスピーカ信号を生成するための本発明による装置を示す概観ダイアグラムである。図１に示されている本発明による好ましい実施形態は、オーディオ・シーンにおいて異なる場所および異なる時間で発生する音源のオーディオ信号を供給する手段１２を含む。そのオーディオ信号を供給する手段は、当該オーディオ信号を格納する記録媒体であり、その中には、たとえば、雨滴の衝突、異なる粒子の音、宇宙ゲームなどでの接近して来たり消え去ったりする宇宙船の音、群れの中の一頭の馬や牝牛また牡牛によるひずめの音等を表すオーディオ信号が含まれる。本発明においては、音源に対するオーディオ信号は図４に示されている供給器のような波面合成供給器内に固定的に一度だけ書き込み格納され、制御ファイルによって供給される必要はない。もちろん、供給器に対して制御ファイルによってオーディオ信号を供給することもできる。その場合には、オーディオ信号を供給する手段１２は、関連する読み出し／伝送手段と同調する制御ファイルである。

本発明による装置はさらに、音源が存在すべき多数の仮想的位置を供給する位置発生器を備える。その位置発生器１４は、図４を考慮すると、再生空間の内側または外側に音源が配される仮想的位置を発生するように構成される。たとえば、図４において、再生空間の上端部にスクリーンが設置されている場合を仮定すると、映像が投射されるスクリーンの背後または前方に仮想的な位置が明らかに存在する。

実施状況によっては、位置発生器１４は、再生空間の内側または外側の任意の仮想的な（ｘ、ｙ）位置を与えるように構成されてもよい。スピーカ・アレイの構成によっては、二者択一的または付加的にｚ軸成分を発生させてもよく、リスナーの上方または下方に音源を位置させるかどうかの問題である。また、位置発生器は、以下で説明する個々のパルス応答発生器１６の適用により、再生空間の内側、その外側、または特定の格子内の１つの位置にランダムな位置を与えるように構成される。後述するように、個々のパルス応答発生器１６にルックアップテーブルが適用されて、少なくとも部分的または全体的な個々のパルス応答を発生するならば、特定の格子内のみでの位置発生には利点がある。しかしながら、もし連続的な位置生成が位置発生器１４によって行われる場合には、格子への位置の丸み付けが、位置発生器１４の出力または個々のパルス応答発生器１６の入力側において行われる。あるいは、さらなる位置の丸み付けや量子化を行うことなしに個々のパルス応答を計算するように、望まれる精密さを決定する位置は個々のパルス応答発生器により処理される。入力側においては、位置発生器１４は、位置を発生させる領域を表す三次元の場合のエリア情報または体積情報を得る。換言すれば、そのエリア情報は、雨が降るエリアを定め、そのエリアはスクリーンに対しては垂直位置関係にある。たとえば、再生空間の前方半分、すなわちリスナーの前方半分はトタン屋根の下に置かれ、リスナーの後方半分は「雨の中」に置かれるように、雨のシミュレーションが行われる。この目的のために、位置発生器は、再生空間全体にわたって雨が降るために、再生空間全体に位置を発生させることができる。しかしながら、もし、再生空間の前方半分にのみ雨が降り、後方半分には雨が降らないように要求されたならば、位置発生器１４は、空間の前方半分にのみ雨を降らせるための仮想的な位置ｘ、ｙを発生させるために、エリア情報によって制御される。

さらに、本発明による装置は、位置発生器１４によって発生された位置と関連して音源が発生する発生時間を供給する時間発生器１８を備える。したがって、相互に関連するＰｉ，Ｔｉのペアが存在し、Ｐｉは番号ｉを持つ位置を表し、他方のＴｉは番号ｉを持つ時間を表わし、その時点で位置Ｐｉは有効となる。好ましくは、時間発生器１８は、位置発生器１４に対するエリア平面情報のように、パラメータ制御器１９によって供給される密度パラメータによって制御される。そのように、時間発生器１８は、時間密度、すなわちある時間インターバルにおける音源の事象発生回数をパラメータとして受け取る。換言すれば、その時間密度は、ある時間インターバルの間、例えば１０秒間に、毎秒の雨滴の発生数、例えば１０００個の雨滴を制御する。ある固定された時間インターバルでの小さな値の時間密度は少ない雨滴の落下となり、他方、大きな値の時間密度は多い雨滴の落下となる。時間発生器１８は、そのようなある時間インターバルでの、時間密度によって予め定められた時間Ｔｉを供給するように構成される。点線１７によって表されているように、そのような時間密度情報は時間発生器１８のみならず、位置発生器１４へ供給され、時間発生器１８がそれに関連して発生した時間を有する位置を常に「出力する」ことが好ましい。しかしながら、密度情報が位置発生器に供給されることが必ず必要だということではない。もし、位置発生器が、位置の出力およびこれらの位置のラッチングに関して十分に高速で、個々のパルス応答発生器１６に対して、必要に応じて、すなわち時間的な時点に関係して、または時間密度情報によって制御され、供給されるのであれば、それを省略することができる。

一般的に、個々のパルス応答発生器１６は、多数の位置のそれぞれの位置に対応するスピーカ・チャンネルに対して、個々のパルス応答情報を発生するように構成される。特に、個々のパルス応答発生器１６は、問題となる位置関係およびスピーカ・チャンネルに関する情報に基づき動作する。したがって、図４の概念図に示されている下部左のスピーカに対するスピーカ信号は、上部右スピ−カに対する信号とは異なる。さらに、個々のパルス応答発生器１６は、位置発生器によって発生された位置情報により動作するように構成される。個々のパルス応答発生器は、図４の再生空間を決定する多数のスピーカの中の特定のスピーカによって表現される「割合」を計算し、同時に全てのスピーカが「動作」する時、ユーザーは位置発生器によって決められた位置ｘ、ｙで、雨滴が特定の表面へ落下するような印象を受ける。

さらに、本発明による装置は、スピーカ・チャンネルに対して合成されたパルス応答を得るために、発生時間に従い個々のパルス応答を組み合わせるためのパルス応答合成器を備える。パルス応答合成器は、その音源の多数回の事象発生、および時間的に正確な、すなわち時間情報によって制御された合成を確実にするよう構成される。好ましい合成は加算処理である。しかしながら、重み付け加算や減算処理も、特定の効果が得られるならば適用することができる。しかしながら、好ましい処理は、個々のパルス応答ＩＡｉの単純な加算処理であり、特に時間発生器１８によって発生させられた事象発生時間が考慮される。

パルス応答合成器２０によって発生された合成パルス応答情報は、手段１２の出力端子でのオーディオ信号のように、最終的にフィルタ（または、フィルタ装置）２１へ供給される。フィルタ２１は、パルス応答可変、即ちフィルタ特性可変特性を備えるフィルタである。手段１２の出力でのオーディオ信号は通常は短いものであり、パルス応答合成器２０により合成されたパルス応答の出力は相対的に長く、かつ大きく変化させることができるものである。原理的に、合成されたインパルス応答は、効果発生のための時間に依存して、所望のどのような長さのものであってよい。たとえば、もし３０分間の降雨に対して効果発生が３０分間行われるのであれば、合成されたパルス応答の長さも同程度のものとなる。

いずれにせよ、フィルタ２１の出力で受けるのは、スピーカ信号、すなわちオーディオ・シーンに依存してスピーカによって再生される実際のスピーカ信号、または、もし付加的なオーディオ・オブジェクトがそのスピーカによって再生されるならば、図３に関して後述されるスピーカ信号を生成するために、他のスピーカ信号と加算されたスピーカ信号である。そして、フィルタ２１は、特定のスピーカ・チャンネルに対して、異なる位置と異なる時間の音源の発生を表現するスピーカ・チャンネルに対するスピーカ信号を得るために、合成パルス応答情報を用いてオーディオ信号をフィルタ処理するように構成される。

次に、パルス応答合成器２０の機能に関して図２ａないし２ｃにより説明する。一例として、図２ａには、３つの個々のパルス応答情報ＩＡ１，ＩＡ２，ＩＡ３が示されている。３つのパルス応答のそれぞれはさらに固有の遅延値、すなわち時間遅延値、あるいはそのパルス応答によって表されるチャンネルに現れる「メモリ」を有する。第１のパルス応答ＩＡ１の遅延は１、また第２および第３のパルス応答ＩＡ２およびＩＡ３の遅延は、それぞれ２，３である。図２ｂから明らかなように、それら３つのパルス応答はそれぞれの遅延を考慮して時間的補正の形式で配置されている。そこでは、パルス応答ＩＡ３は、パルス応答ＩＡ１に対して２遅延単位により補正されているのがわかる。図２ａに示されている例では、発生時間Ｔ１の場合が示され、特にＴ＝０に関して、Ｔ１は同じものである。しかしながら、たとえば、もし発生時間Ｔ３が他の２つのパルス応答に対して３時間単位だけ補正をかけられた場合には、パルス応答ＩＡ３は、図２ｂの上の図が示すように時間６になるまではスタートしない。

次に、時間的に正確に調整された個々のパルス応答は、結果、すなわち合成パルス応答情報を得るために加算処理される。特に、時間的には同じ位置に配される個々のパルス応答の値は、加算処理されるが、加算処理の前後に重み係数で重み付けされる。

ここで、図２ａ，２ｂの示す説明図は単に概観的なものであることに注意すべきである。たとえば、時間的に正確な調整は、加算処理が行われる前にプロセッサ内のレジスタメモリ内で直接行われることは必ずしも必要ではない。代わって、個々のパルス応答に対して、遅延および必要な発生時間に関連する時間的な補正操作を、加算処理の前に速やかに行うことが好ましい。

最後に、図２ｃは、調整可能なパルス応答を有するフィルタ２１によって実行される処理を示す。特に、最終的にスピーカ・チャンネルに対するスピーカ信号を得るために、図２ｃの上段のサブイメージと図２ｃの中段のサブイメージとで、合成されたパルス応答が畳み込み処理される。その畳み込み処理は直接的に時間領域で実行される。あるいは、パルス応答およびオーディオ信号の両方が周波数領域へ変換され、畳み込みはオーディオ信号の周波数領域表現の乗算となり、合成されたパルス応答の周波数表現の乗算となって、伝達関数となる。

本発明の実施によっては、たとえばＦＦＴ畳み込み処理のようなブロック指向の他の畳み込みアルゴリズムも採用される。この状況で、合成されたパルス応答をブロック形式で表現することは好ましい。たとえば、合成されたパルス応答の時間１ないし４の部分が、時間的に後で計算される部分に属する後の部分と同時に用いられることがわかる。したがって、本発明の方法は処理遅延時間が短く、したがって少ないバッファメモリで実施できる。

図３を参照して、本発明の方法の好ましい実施形態として、特に、１つのスピーカ・チャンネルに対してのみならず多数のスピーカ・チャンネルに対してスピーカ信号を生成することが説明されるが、原理的に、１つのスピーカ・チャンネルに対してスピーカ信号を生成することは、他の全てのスピーカ・チャンネルに対する場合と同様に行われることを指摘しておく。

図３に示されている本発明の好ましい実施形態において、パラメータ制御器１９は、具体的な領域、たとえば四角形状のような領域の情報を供給するように構成される。たとえば、長さがｌ、幅がｂ、そしてステージ中央がＭであるというようなエリアが与えられたとする。そして、再生空間内の領域に雨滴を衝突させて、たとえば、再生空間全体に、または再生空間内の特定の領域にのみ「雨を降らせる」ような効果を実現できる。さらに、粒子密度、すなわちある時間窓でのそれら粒子の数も表現される。また、粒子フィルタ制御信号Ｆが供給され、後述するように、雨滴間の非相関を生成するための位置依存フィルタ処理のブロックで用いられる。この結果として、全体的な音に対する印象は合成的なものではなくなり、より現実的なものとなり、全ての雨滴の音が同じように聞こえるのではなく、ある範囲内でお互いに異なるように聞こえる。本発明によれば、ある特定の時間範囲で、単一の粒子のオーディオ信号のみが供給される。しかしながら、本質的に同質の雨滴の間で発生する音の違いが粒子フィルタによって確保される。

最後に、パラメータ制御器１９は、位置依存フィルタ処理に用いられるエリア特性Ｅを供給し、たとえば、雨が木製の物体表面に降るのか、金属表面に降るのか、水面に降るのかなど、すなわち異なる特性の適用状況によりフィルタ処理が行われる。

乱数発生器１４は、図１の位置発生器１４に対応し、真のまたは疑似乱数生成機能を有し、領域パラメータおよび密度パラメータによって制御され、時間制御器１８と同様に、個々の位置および個々の発生時間の両方を発生する。乱数発生器によって発生された位置ｘ、ｙに基づき、波面合成パラメータのデータベースが、図３に示されている本発明による好ましい実施形態に用いられる。この波面合成パラメータのデータベースでは、入力値、すなわち位置ｘ、ｙは、それに対応する個々のパルス応答情報の集合を有し、個々のパルス応答情報の集合の中のそれぞれの個々のパルス応答情報はスピーカ・チャンネルに対応する。スケール値（スケール）および遅延値がＮ個のスピーカーのそれぞれに、または複数のスピーカからなるＮ組のスピーカグループのそれぞれに供給される。このスケール値と遅延値のペアは、個々のパルス応答発生器１６によって供給される個々のパルス応答情報の最も単純な形態を表す。スケール値と遅延値によって表されるパルス応答は、ただ１つの値、すなわちスケール値により与えられる大きさを構成し、遅延値により与えられる時間的なポイントを有する。

しかしながら、波面合成パラメータのデータベース１６ａへのアクセスに加えて、ブロック（位置依存フィルタ処理１６ｂ）内のテーブルを用いることが好ましい。位置ｘ、ｙに依存して、１以上の値からなり雨滴の音色を作りだすための正確なパルス応答が出力される。たとえば、トタン屋根の上に降る雨は、ブロック１６ｂにおいて、その位置に依存してトタン屋根の上に降る雨ではなく、たとえば水の表面に降る雨の音と異なるパルス応答（ＩＲ）を得ることになる。「位置依存フィルタ処理」１６ｂのブロックにより、Ｎ個のフィルタ・パルス応答（フィルタＩＲ）の集合が、それぞれのスピーカに対して出力される。スピーカ・チャンネル毎の乗算処理が、乗算ブロック１６ｃで行われる。特に、スケール値と遅延値とによって表されるパルス応答は、同一のスピーカ・チャンネルに対してブロック１６ｂにおいて発生されたフィルタ・パルス応答により乗算処理される。この乗算がＮ個のスピーカ・チャンネルのそれぞれに実行されると、ブロック１６ｄに示されているように、それぞれの粒子の位置、すなわちそれぞれの雨滴に対してＮ個の個々のパルス応答からなる集合が得られる。

また、ブロック１６ｂにおいて、さらなる機能が提供される。雨滴の音色を考慮するための位置依存フィルタを備えることに加えて、さらに別のまたは組み合わされたパルス応答が付加的に供給され、それによって、雨滴の音が位置に依存して僅かに変調させられ、ランダムに生成される。このようにして、トタン屋根に降る全ての雨滴の音が全て同じではなく、それぞれの雨滴または少なくともある数の雨滴毎に音が異なり、より自然な印象を与えることができる。

加えて、ブロック１６ｂによって供給されるパルス応答に、波面合成におけるローパスアーチファクトを考慮することは好ましい。波面合成アルゴリズムは、リスナーによって感知されるローパスフィルタリングをもたらすことがわかる。特に高域周波数帯が好ましいが、波面合成アルゴリズムのローパス効果が生じる時に、周波数歪を可能な限り正確に補正できるように、フィルタ・パルス応答の初期のできるだけ早い段階で予めの歪処理を行うことが好ましい。

ブロック１６ｄで決定された粒子位置毎のＮ個のスピーカに対するそれらパルス応答の他の粒子位置に対して、この処理は繰り返し実行され、そして、既に図２ａで説明されているように、それぞれの粒子位置に対して、ブロック１６ａでスケール処理され、図２ａで説明されているように、遅延値が付与されたフィルタ・パルス応答がある。

それぞれのスピーカ・チャンネルに対してパルス応答を供給するパルス応答合成器２０により、合成されたパルス応答は、それぞれのスピーカ・チャンネルに対して計算され、フィルタ２１においてそれぞれのスピーカ・チャンネルに対してフィルタ処理するために用いられる。

このスピーカ・チャンネルに対するスピーカ信号は、たとえば、図３のブロック２１で表されているスピーカ・チャンネル１のように、それぞれの出力に現われる。図３に示されている加算器３０の表現は象徴的なものである。実際、それぞれのスピーカ・チャンネルのためにＮ個の加算器が存在し、ブロック２１によって計算されたスピーカ信号は、異なる特性を有する他の粒子発生器３１に対応するスピーカ信号と合成され、もちろん図４に示されている制御ファイル４０２によって表現されるオーディオ・オブジェクトのためのスピーカ信号とも合成される。そのようなスピーカ信号は、従来の波面合成処理３２によって生成される。従来の波面合成器３２は、たとえば、図４に示されているように、供給器４００および制御ファイル４０２を備えていてもよい。スピーカ・チャンネルに対する個々のスピーカ信号の加算処理の後、スピーカ・チャンネルに対して得られたスピーカ信号（ブロック３３）は加算器３０の出力に現れ、そのスピーカ信号は、たとえば図４に示されているスピーカ４０３などのスピーカに伝達される。

パラメータ制御器が供給するパラメータを用い、乱数発生器１４は粒子が生じる位置を発生する。粒子の発生頻度は接続された時間制御器１８によって制御される。時間制御器１８は、乱数発生器１４およびパルス応答発生器１６ａ，１６ｂに対して時間基準を与える。乱数発生器１４による粒子位置を用い、予め計算されたデータベース（１６ａ）からそれぞれのスピーカに対して、波面合成パラメータである「スケール値」および「遅延値」が与えられる。他方、フィルタ・パルス応答は、粒子の位置にしたがって発生させられるが、ブロック１６ｂのフィルタ・パルス応答の発生は任意に行われる。フィルタ・パルス応答（ＦＩＲフィルタ）とスケール値は、ブロック１６ｃにおいてベクトル的に乗算される。遅延値を考慮して、乗算された、すなわちスケーリングされたフィルタ・パルス応答は、パルス応答発生器２０のパルス応答の中に「組み入れ」られる。

パルス応答発生器のパルス応答の中へのこの組み入れは、ブロック１６ａによる遅延値の発生、およびそれによる粒子の発生時間、すなわち降雨の開始時間、持続時間、終了時間に基づき行われる。

代わって、ブロック１６ｂによって供給されるフィルタ・パルス応答は、遅延値に関して直接的に処理される。ブロック１６ａによって供給されるパルス応答は唯一つの値を有するので、その処理は、結果として、単純にブロック１６ｂによるパルス応答出力が遅延値により補正が加えられることになる。この補正付加は、ブロック２０への転送の前または計算時間の観点から遅延値を考慮したブロック２０への転送中に行われる。

本発明の好ましい実施形態において、パルス応答発生器２０は、全ての遅延値を含み、発生させられた粒子のパルス応答を加算するように構成された時間バッファである。

さらに、時間制御器は、その時間バッファの予め定められたブロック長を有するブロックを、それぞれのスピーカ・チャンネルに対するブロック２１のＦＦＴ演算処理機構へ送るように構成される。フィルタ２１によるフィルタ処理として、ＦＦＴ畳み込み演算、すなわち高速フーリエ変換に基づく高速畳み込み演算を用いることが好ましい。

ＦＦＴ畳み込み演算は、絶えず変化するパルス応答と時間的には変化しない粒子、すなわち粒子オーディオ信号のブロック１２から得られるオーディオ信号とを畳み込み演算処理する。したがって、パルス応答発生器からのそれぞれのパルスの決められた時間位置におけるＦＦＴ畳み込み演算中に粒子信号が組み込まれて存在することになる。ＦＦＴ畳み込み演算処理は、ブロック指向畳み込み処理であるので、粒子のオーディオ信号は各ブロック毎に切り換えることができる。ここで、一方で要求される計算能力と他方の粒子オーディオ信号の切り換え速度との妥協を図ることが好ましい。ＦＦＴ畳み込み演算処理の必要計算能力は、ブロックのサイズが大きくなると共に減少するが、他方において、粒子のオーディオ信号は相対的に長い遅延、すなわち１ブロック分の処理遅延で切り換えることができるだけである。粒子のオーディオ信号間の切り換えは正当なものであり、たとえば、雪から雨への切り換え、雨から雹への切り換え、小さな雨滴による降雨から大きな雨滴の降雨への切り換えなどがある。

それぞれのスピーカ・チャンネルに対するＦＦＴ畳み込み演算処理の出力信号は、図３の３０で表されているように、通常のスピーカ信号と加算され、また、それぞれの場合において個々のスピーカ・チャンネルに対する他の粒子発生器も加算され、スピーカ・チャンネルに対する最終的なスピーカ信号が得られる。

本発明のコンセプトは、高い計算処理能力を要求されることのない計算方法により、大きな可聴範囲において実時間で頻度が高く発生するサウンド・オブジェクトの現実感ある空間的な再生をすることができるという効果にとって有利である。

さらに、１つの粒子のオーディオ信号は記述されているアルゴリズムによって複製することができる。組み込まれている位置依存フィルタ処理により、粒子の疎外が可能なのも好ましい。加えて、異なるアルゴリズムが、異なる粒子の発生のために平行して用いられてもよく、それにより一層リアリティがあり効果的な音の演出ができる。

本発明のコンセプトは、波面合成システムのエフェクタにも、いかなるサラウンド再生システムにも適用できる。

上述の二次元システムではなく、三次元システムのためには、エリア情報を体積情報で置き換えればよい。その場合の位置は、三次元空間位置となる。粒子の密度は単位時間・単位体積当たりの粒子数となる。

さらに、本発明のコンセプトは二次元的な性格の波面合成システムに限定されない。アンビソニックスのようなリアルな三次元システムは、個々のパルス応答発生器１６（図１）の中の修正された係数（スケール値、遅延値、フィルタ・パルス応答）によって制御される。二次元の場合の全てのｘ、ｙフォーマットのような「ハーフ」システムとしても、修正された係数によって制御される。

可変型パルス応答２１（図１）を有するフィルタ素子におけるＦＦＴ畳み込み演算処理は、既存の最適化手法（半ブロック長化、パルス応答のブロック分割法）によりコンピュータ・コストを考慮して実行される。（William H. Pressらによる"Numerical Receipts in C", 1998, Cambridge University Pressを参照）。

使用環境により、本発明の方法はハードウエアまたはソフトウエアのいずれの形においても実施可能である。本発明の方法を実施するプログラムおよびデータは、プログラミング可能なコンピュータ・システムと相互に作用し合う電気的に読み出し可能な制御信号として１つのデジタル記憶媒体、とりわけハードディスクやＣＤに格納される。一般的には、コンピュータ上でコンピュータ・プログラムが動作する時、本発明の方法を実行する為に、本発明の方法は、マシン読み出し可能な媒体に格納されるプログラム・コードの形でコンピュータのプログラム製品として存在する。換言すれば、本発明の方法は、本発明の方法を実行するプログラム・コードを有する１つのコンピュータ・プログラムとして実現され、コンピュータ上でコンピュータ・プログラムが動作する時に、実行される。

図１は、本発明のコンセプトを示すブロック・ダイアグラムである。 図２ａは、異なる位置および時間での３つの異なるパルス応答を示す図である。 図２ｂは、時間的な遅延に関する個々のパルス応答および加算により生成された合成パルス応答を示す図である。 図２ｃは、スピーカ・チャンネルへのスピーカ信号を得るために、組み合わされたパルス応答により表されるフィルタを用い、音源に対するオーディオ信号のフィルタ処理を示す図である。 図３は、本発明の好ましい実施形態による装置のブロック・ダイアグラムである。 図４は、典型的な波面合成方法を示す基本的なブロック・ダイアグラムである。

Claims (13)

1. 再生空間において多数のスピーカ位置の中の１つのスピーカ位置に設置されたスピーカに関連するスピーカ信号を生成するための装置であって、
   オーディオ・シーンの中で異なる位置および異なる時間で発生する音源に対してオーディオ信号を供給する手段（１２）と、
   前記音源が発生する多数の位置を供給する位置発生器（１４）と、
   位置と関連して前記音源が発生する時間を供給する時間発生器（１８）と、
   位置およびスピーカ・チャンネルに関する情報に基づき、スピーカ・チャンネルに対して多数の位置の中のそれぞれの位置に対する個々のパルス応答情報を発生するための個々のパルス応答発生器（１６）と、
   前記スピーカ・チャンネルに対して合成されたパルス応答を得るために、前記発生時間にしたがって個々のパルス応答情報を合成するパルス応答合成器（２０）と、
   前記スピーカ・チャンネルに対して、前記オーディオ・シーンの中で異なる位置および異なる時間で発生する音源を表すスピーカ信号を得るために、前記合成されたパルス応答情報を用いて前記オーディオ信号をフィルタ処理するフィルタ（２１）とを備えることを特徴とする、スピーカ信号の生成装置。
2. 前記位置発生器（１４）が、あり得る位置の供給からランダムな位置を供給するための乱数発生器を備えることを特徴とする、請求項１に記載の装置。
3. 前記時間発生器（１８）が、予め定められた粒子密度の関数として発生時間が調整可能なように構成され、前記粒子密度によって予め定められた発生時間の数が時間窓に供給されることを特徴とする、請求項１または請求項２に記載の装置。
4. 前記個々のパルス応答発生器（１６）が、予め定められたテーブルにアクセスし、前記位置および前記スピーカ・チャンネルの関数として前記個々のパルス応答情報を決定するように構成されることを特徴とする、請求項３に記載の装置。
5. 前記個々のパルス応答発生器（１６）が、前記位置に依存してスケール値および遅延値を供給するように構成されることを特徴とする、請求項１ないし請求項４のいずれかに記載の装置。
6. 前記個々のパルス応答発生器（１６）が、位置によりスケーリング値および遅延値を決定し、
   前記音源の発生に関連した付加的なパルス応答を決定し（１６ｂ）、
   個々のパルス応答情報を得るために前記スケーリング値により前記付加的なパルス応答を重み付けする（１６ｃ）ことを特徴とする、請求項１ないし請求項５のいずれかに記載の装置。
7. 前記パルス応答合成器（２０）が、合成されたパルス応答情報を得るために、前記発生時間の関数として時間的な補正方法により、前記個々のパルス応答情報を加算するように構成されることを特徴とする、請求項１ないし請求項６のいずれかに記載の装置。
8. 前記パルス応答合成器（２０）が、合成されたパルス応答情報を得るために、前記発生時間および前記遅延値の関数として時間的な補正方法により、前記個々のパルス応答情報を加算するように構成されることを特徴とする、請求項６に記載の装置。
9. 前記個々のパルス応答発生器（１６）が、前記位置の関数として前記付加的なパルス応答を選択（１６ｂ）するよう構成されることを特徴とする、請求項６に記載の装置。
10. 前記供給手段（１２）が、ランダムにまたは準ランダムにオーディオ・シーンの中で発生する音源のためのオーディオ信号を供給するように構成されることを特徴とする、請求項１ないし請求項９のいずれかに記載の装置。
11. 仮想的位置および前記音源に対応するオーディオ信号、ならびに前記スピーカ・チャンネルに関する情報に基づき、オーディオ・オブジェクトに対応するコンポーネント信号を発生するための手段（３２）と、
    前記スピーカ・チャンネルに対する全体的なスピーカ信号を得るために、前記コンポーネント信号と前記スピーカ信号とを重ね合わせるためのビート発振器（３０）とを備えることを特徴とする、請求項１ないし請求項１０のいずれかに記載の装置。
12. 再生空間において多数のスピーカ配置位置の中のスピーカ位置に設置されたスピーカに関連しスピーカチャンネルに対してスピーカ信号を生成するための方法であって、
    オーディオ・シーンの中で異なる位置および異なる時間で発生する音源に対してオーディオ信号を供給する（１２）ステップと、
    前記音源が発生する多数の位置を供給する（１４）ステップと、
    前記位置と関連して前記音源が発生する時間を供給する（１８）ステップと、
    前記位置および前記スピーカ・チャンネルに関する情報に基づき、スピーカ・チャンネルに対して多数の位置の中のそれぞれの位置に対応する個々のパルス応答情報を発生する（１６）ステップと、
    前記スピーカ・チャンネルに対して、合成されたパルス応答を得るために、前記発生時間にしたがって個々のパルス応答情報を合成する（２０）ステップと、
    前記スピーカ・チャンネルに対して、前記オーディオ・シーンの中で異なる位置および異なる時間で発生する音源を表すスピーカ信号を得るために、前記合成されたパルス応答情報を用いて前記オーディオ信号をフィルタ処理する（２１）スップとを備えていることを特徴とする、スピーカ信号の生成方法。
13. コンピュータ上で請求項１２に記載の方法を実行するためのプログラム・コードを有する、コンピュータ・プログラム。

Images