JP4729186B2 - 音楽的空間構成制御装置、音楽的臨場感形成装置、及び音楽的空間構成制御方法 - Google Patents
音楽的空間構成制御装置、音楽的臨場感形成装置、及び音楽的空間構成制御方法 Download PDFInfo
- Publication number
- JP4729186B2 JP4729186B2 JP2001079233A JP2001079233A JP4729186B2 JP 4729186 B2 JP4729186 B2 JP 4729186B2 JP 2001079233 A JP2001079233 A JP 2001079233A JP 2001079233 A JP2001079233 A JP 2001079233A JP 4729186 B2 JP4729186 B2 JP 4729186B2
- Authority
- JP
- Japan
- Prior art keywords
- audio
- constraint
- musical
- configuration control
- space configuration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/40—Visual indication of stereophonic sound image
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、音源、すなわちサウンドトラックの音楽的空間処理（spatialisation）を聴取者、すなわちユーザにより実時間で制御して、空間ミキシングを行い、いわゆる「マルチチャンネルサウンド」を生成するための音楽的空間構成制御装置、音楽的臨場感形成装置及び音楽的空間構成制御方法に関する。
【０００２】
【従来の技術】
空間ミキシング（spatialised mixing）は、理論的に定義され、オーディオファイル内に格納されている制約（constraint）の組を充足しなくてはならない。このようなオーディオファイルは、オーディオサポート又はオーディオキャリアとも呼ばれる。
【０００３】
コンピュータ音楽の分野において、音楽の空間処理（spatialisation）に関する処理は、長年に亘り、重要な課題となっている。従来より、既存の音信号（sound signal）の音響的環境（acoustic environment）をシミュレートするソフトウェアの開発が盛んに行われている。このような技術の多くは、各サウンドチャンネルの音量の変更、左右の耳の距離を考慮に入れたサウンドチャンネル間の遅延、及び例えば反響処理（reverbration）等の音のフィルタリング技術等を利用し、距離感を再生するものである。このような手法は、１９９５年ＩＣＭＣ会報（Proceedings of ICMC, 1995）におけるジョット・ジェイ−エム（Jot J.-M.）及びワルスフェル・オー（Warusfer O.）著の論文「音楽及び仮想現実アプリケーションのための実時間空間的サウンドプロセッサ（A Real-Time Spatial Sound Processor for Music and Virtual Reality Applications）」に記載されている。例えば、１９９７年シカゴ芸術専門学校（School of the Art Institute of Chicago）において開催された第８回電子芸術国際シンポジウム会報（Proceedings of the 8th International Symposium on Electronic Art）におけるエッケル・ジー（Eckel G.）著、「仮想アーキテクチャによる音空間の研究（Exploring Music Space by Means of Virtual Architecture）」及び１９９６年、ニューライダーズパブリッシング社（New Riders Publishing）、リー・アール（Lea R.）、マツダ・ケー（Matsuda K.）、ミヤシタ・ケー（Miyashita K.）著、「３Ｄ及びＶＲＭＬワールドのためのJava（Java for 3D and VRML worlds）」等に開示されているように、従来の定位技術は、主に仮想現実環境の構築のために用いられている。
【０００４】
これに対し、本発明では、任意の音源が他の音源に対して有する制約に基づいて構築される。
【０００５】
本発明は、音源の位置と画面上の表示の位置とを対応させ、ミュージックスペース（MusicSpace）に互換性を有し、高レベルのユーザ制御を実現することを目的とする。
【０００６】
本発明は、空間処理装置（spatialiser）に接続され、音源を表示するグラフィカルユーザインターフェイス内の制約システムの導入に基づいている。制約システムは、音源の構成に関する様々な制限を表現することができる。例えば、ユーザがインターフェイス又は制御言語を用いてある音源の位置を変更するよう命令した場合、制約システムが起動し、このコマンドに基づく移動が制約に違反しないことが確認される。ＭＩＤＩによる空間処理装置は既に開発され、有効であることが確認されている。このような制約に基づくシステムは、本願出願人による欧州特許出願ＥＰ−Ａ−０９６１５２３号に開示されており、この内容は、参照により本願に組み込まれるものとする。
【０００７】
この欧州特許出願ＥＰ−Ａ−０９６１５２３号に開示された、制約に基づく音の空間処理の方法について、図１９及び図２０を用いて説明する。
【０００８】
記憶装置１には、１以上の音源１０〜１２（例えば、個別の楽器）及びこれら音源の聴取者１３を表すデータが格納されている。これらデータは、音源１０〜１２と聴取者１３のそれぞれの位置に関する情報により構成されている。ユーザは、グラフィックユーザインターフェイスにアクセスし、聴取者１３又は音源１０〜１２を表しているシンボルを選択し、例えばドラッグ等により、選択したシンボルの画面上の位置を変更することができる。すなわち、各シンボルは、変数に関連付けられる。例えば、ユーザは、ユーザインターフェイス装置２を用いて、表示されている１以上の楽器のシンボルの距離と相対的位置を変更することにより、所望の音空間を生成し、すなわち聴取者と他の全ての音源との相対的な位置関係を決定することができる。
【０００９】
新たな音空間が生成されると、制約解決装置３は、ユーザにより作成された音空間を所定の制約に適合させる処理を行う。この処理は、ユーザのコマンドにより選択された音源以外の音源及び／又は聴取者の位置を調整し、制約を充足させる処理を含む。換言すれば、ユーザがユーザインターフェイス装置２を用いていくつかの音源の位置を変更し、これにより「摂動（perturbation）」と呼ばれる状況が生じた場合、制約解決装置３は、１以上の他の音源を移動させ、各音源の配置が設定されている制約に適合するようにする。
【００１０】
図２０は、ユーザインターフェイス装置２上に表示される典型的なグラフィック表示画面２０を示す図であり、音源は、聴取者を表すアイコン１３の周辺に楽器を表すシンボル１０〜１２として表示されている。ユーザインターフェイス装置２は、例えばマウス等の入力装置（図示せず）を備え、ユーザは、この入力装置を用いて、グラフィック表示画面２０上に表示されたオブジェクトの相対的位置を変更及び決定することができる。この処理により入力された音源の空間的配置に関する全ての情報は、制約解決装置３に供給される。
【００１１】
ここで、制約とは、与えられた２つの音源と聴取者間の距離が一定の比を保たなくてはならないという制約、各音源と聴取者との間の相対的距離の積が一定でなくてはならないという制約、聴取者から所定の半径内に音源が存在してはならないという制約、あるいは聴取者に対する音源の相対的角度を制限する制約等である。これら制約は、不等式的な関係に関連して、アルゴリズムにより処理される。
【００１２】
制約解決装置３は、ユーザにより構成された空間を制約に適合させるために他の音源を再調節することができなかった場合、ユーザが指定した配置は実現することができない旨をユーザに通知し、全ての音源を初期の位置に戻す。
【００１３】
制約解決装置３は、制約に関係する音源又は聴取者の他の音源に対する移動により生じた摂動（perturbation）を再帰的に伝搬する制約伝搬アルゴリズム（constraint propagation algorithm）を実行する。欧州特許出願ＥＰ−Ａ−０９６１５２３号に基づくアルゴリズムは、以下のような特徴を有している。
・制約に関連付けられた不等式制約（inequality constraints）については、確認のみを行う。不等式制約が充足されない場合、アルゴリズムは終了し、空間構成のための検索は中止される。
・各関数制約（functional constraints）については、制約に含まれる変数の１つの摂動に応じて、他の変数に新たな任意の値を与える。これにより、与えられた制約に対する単一の任意の解が決定される。これは、与えられた制約について全ての解を検索する通常の制約伝搬アルゴリズムとは異なる処理である。
・与えられた変数が摂動している場合、すなわち、その値がユーザにより変更されている又はアルゴリズムにより新たな任意の値が与えられている場合、この変数は、アルゴリズムの実行期間中は、再び摂動されることはない。例えば、ある変数が２つの異なる制約に含まれ、第１の制約に関してこの変数に新たな任意の値を与えた場合、アルゴリズムは、第２の制約に関連する処理において、この変数に既に割り当てられているこの新たな任意の値を変更することはできない。第２の制約に関連してアルゴリズムが変数に与えようとする新たな任意の値が第１の制約を充足するために選択した値と異なる場合、アルゴリズムは終了し、空間を構成するためのコマンドは拒絶される。
【００１４】
音の空間処理を行うこの他の従来の手法として、１９９９年国際コンピュータミュージック会議会報（Proceedings of the 1999 International Computer Music Conference）におけるパシェ・エフ（Pachet, F.）及びドゥレリュー・オー（Delerue, O.）による論文「ミュージックスペース：音楽空間構築のための制約に基づく制御システム（MusicSpace: a Constraint-Based System for Music Spatialisation）」では、制約パラダイム、すなわち、制約を適用する前後関係の実例の組に基づく音源の空間処理を制御する手法が開示されている。
【００１５】
【発明が解決しようとする課題】
ここで、上述した従来の手法は、いわゆるＭＩＤＩフォーマットに関するものであり、すなわち、ＭＩＤＩ出力又はミキサ装置を用いたＭＩＤＩに基づくデータ通信に関するものであり、したがって応用範囲が制限されている。実際、制約に基づいて各音源を個別に制御するためには、各音源を独立のトラックに割り当て、多数のトラックを管理する必要がある。このため従来の空間処理は、特に音源の数が比較的多い場合、例えばコンパクトディスク（ＣＤ）、デジタルバーサタイルディスク（ＤＶＤ）、ミニディスク（ＭＤ）等の一般的な記録媒体を使用する家庭用オーディオシステムにおいては実現することができなかった。
【００１６】
さらに、ユーザが任意に空間処理を行った場合、制約が厳密に充足させられた場合であっても、音源の構成の本来の調和が保たれなくなる虞もある。実際、個別の調整による音源の再構成は、ユーザに対して必要以上に多くの可能性を与え、ユーザは必ずしも専門的な知識を有しているわけではなく、したがって、不適当な空間処理を行ってしまうこともある。
【００１７】
さらに、このような条件下では、ユーザが行った空間処理が制約により拒絶される可能性も高くなり、したがって、ユーザは、このような装置を使用することが煩わしくなってしまうこともある。
【００１８】
本発明は、音源の定位に臨場感を与えるために、いわゆる３次元サウンドバッファ技術（3D sound buffer technology）とともに実現することができる。この技術は、音源の組に対して実時間で精密な空間処理を行うことができるレベルにまで発達している。しかしながら、この技術は、使用される範囲が極めて狭い範囲に制限されている。第１に、対応する制御レベルは、ソフトウェアとしての完成度が低すぎ、複雑であるため、作曲者及び音響技術者は、３次元の楽曲を作成するためのこの技術を習得することが非常に難しい。その結果、この技術の可能性は、十分に発揮されていない。実際、聴取者は、受動的な受け手と考えられており、聴取者が聴く楽曲の空間的構成を能動的に制御することはできない。
【００１９】
以上の観点から、本発明は、動的なオーディオミキシングの手法及びそのための装置の設計、すなわち、音の拡張の実現に関する技術的課題を解決する上述したミュージックスペース等の実現装置を提供することを目的とする。
【００２０】
動的なオーディオミキシングには以下のような課題がある。
１）作曲者及び音響技術者に対し、空間的及び時間的に容易に楽曲を構成できる強力な理論的枠組（paradigm）を提供する必要がある。
２）同時に、聴取者も、自らが聴く楽曲における空間的構成をある程度制御できる必要がある。
【００２１】
動的なオーディオミキシングは、例えばＭＰＥＧ４やＭＰＥＧ７等の新たな標準化技術に適合し、動的ミキシング制約は、通常のメタデータとして取り扱われる。さらに、楽曲を「オンザフライ（on-the-fly）」ミキシング方式で再構築する発想は、ＭＰＥＧ４におけるシーン記述（scene description）の概念に適合する。さらに、ＭＰＥＧ７に完全に互換性を有する装置及び方法についても研究中である。
【００２２】
本発明は上述の課題に鑑み、ユーザ及び楽曲提供者の両者の観点から、より容易に空間処理を行うことができ、選択された空間処理の結果が常に「聴覚的に正しく」、家庭用オーディオシステムに採用されている標準的な録音技術により適合する音楽的空間構成制御装置、音楽的臨場感形成装置及び音楽的空間構成制御方法を提供することを目的とする。
【００２３】
また、本発明は、ＭＩＤＩに基づく装置に制限されることなく、発達したマルチトラックオーディオファイルを取り扱うフルオーディオシステムを実現する音楽的空間構成制御装置、音楽的臨場感形成装置及び音楽的空間構成制御方法を実現することを目的とする。
【００２４】
【課題を解決するための手段】
上述の目的を達成するために、本発明に係る音楽的空間構成制御装置は、複数のオーディオソースについての複数のオーディオトラックを含むオーディオストリームについて、実時間で、複数のオーディオソースについてのオーディオ空間の構成を制御する音楽的空間構成制御装置において、上記オーディオストリームに含まれる複数のオーディオソースの各々を、ユーザにより配置を操作可能なオブジェクトにより表示するインターフェイス手段と、オーディオストリームに含まれる複数のオーディオソースのうちの、一部の複数のオーディオソース間の空間配置についての制約を記憶する記憶手段と、上記インターフェイス手段におけるユーザ操作に基づく上記複数のオーディオソースの配置が上記制約を満たすか否かを判定する制約処理手段と、上記オーディオストリームにアクセスするアクセス手段とを有し、上記インターフェイス手段は、上記記憶手段にオーディオソース間の空間配置の制約が記憶されている上記一部の複数のオーディオソースを、ユーザ操作可能な単一のオブジェクトで表示し、上記制約処理手段は、上記インターフェイス手段の表示における上記単一のオブジェクトの配置に基づく上記一部の複数のオーディオソースの配置が、上記記憶手段に記憶されている上記一部の複数のオーディオソース間の空間配置についての制約に適合するか否かを判定し、上記アクセス手段は、上記制約処理手段において上記一部の複数のオーディオソース間の空間配置についての制約を満たすと判定された場合に、上記オーディオストリームにアクセスし、そのユーザ操作に基づく配置に基づくオーディオ空間の構成により制御する。
【００２５】
好適には、上記制約処理手段は、上記インターフェイス手段の表示における上記単一のオブジェクトの配置に基づく上記一部の複数のオーディオソースの配置が、上記記憶手段に記憶されている上記一部の複数のオーディオソース間の空間配置についての制約に適合しない場合には、上記オーディオソース間の制約に適合するように上記一部の複数のオーディオソースの配置を調整し、上記アクセス手段は、上記制約処理手段により調整されたオーディオソース間の配置に基づいて上記オーディオストリームにアクセスし、調整された配置に基づくオーディオ空間の構成により制御する。
【００２６】
好ましくは、上記制約は、設計者により宣言されて、上記記憶手段に記憶される。
【００２７】
また、好ましくは、上記制約は、上記インターフェイス手段を用いて、まず制約すべきオブジェクトを選択し、続いてボタンにより表示された制約をクリックすることにより設定され、上記インターフェイス手段において、制約に係るオブジェクトからの引出線によりリンクされた小さなボールとして表示され、上記インターフェイス手段を用いて、上記制約の設定と、ユーザによるオーディオソースの配置とが設定される。
【００２８】
上記制約は、複数のオーディオソースをグループ化して、当該複数のオーディオソースについてのオブジェクト間の距離を一定に保つものを含んでよい。
好ましくは、複数のオーディオソースは、一定距離比制約によりリンクされることにより、グループ化される。
【００２９】
包括的コマンドは、通常、アコスティックパート及びシンセサイザパートにそれぞれ対応する２つのグループ等のように複数のオーディオソースのグループ間のバランスと、グループの位置を同時に比例させて変更する音量レベルとのうちの少なくともいずれか一方を含む。
【００３０】
好ましくは、制約は一方向制約であり、各制約は、ユーザがインターフェイス手段を介して入力した入力変数と出力変数の組を含む。
【００３１】
本発明に係る音楽的空間構成制御装置は、インターフェイス手段を介して入力されたオーディオソースのグループ及びグループの構成要素に作用する制約パラメータに関するミキシング制約を記録するプログラムモードを有するものであってもよい。
【００３２】
さらに、インターフェイス手段は、対応するアイコンにより各制約を表現し、制約を表現するアイコンは、制約が課されるオブジェクトに視覚的にリンクされて表示される。
【００３３】
制約は、オーディオストリームに関連付けられたメタデータとして記録されるものであってもよい。
【００３４】
各制約は、変数部分と制約部分からなるデータ文字列により表されるものであってもよい。
【００３５】
さらに、変数部分は、その変数がオーディオトラックに作用するかグループに作用するかを示す変数タイプと、トラック識別データと、変数名と、変数アイコンと、各トラック変数に対する個別音量と、ｘｙ座標で表される初期位置データとのうちの少なくとも１つを表す。
【００３６】
一方、制約部分は、制約タイプと、個別のトラックを識別する制約変数と、入力変数のリストと、出力変数のリストと、制約位置と、制約方向とのうちの少なくとも１つを表す。
【００３７】
この音楽的空間構成制御装置において、空間構成決定用の複数のオーディオソースは、光ディスク又はハードディスク等の共通の記録媒体から読み出されるものであってもよい。
【００３８】
また、制約は、共通の記録媒体からメタデータとして読み出されるものであってもよい。
【００３９】
さらに、メタデータ及びオーディオストリームが記録されているトラックは、例えばＷＡＶフォーマット等に基づく共通のファイルから読み出されるものであってもよい。
【００４０】
この音楽的空間構成制御装置は、共通のファイルを読み出し、オーディオデータ及び制約を表すメタデータにアクセスして、共通のファイルに含まれる個別のトラックからオーディオストリームの組を再生し、及び共通のファイルにエンコードされているメタデータの詳細を再生するオーディオデータ／メタデータデコード手段を備えていてもよい。
【００４１】
この音楽的空間構成制御装置は、コンピュータオペレーティングシステムとサウンドカード間のインターフェイスとして実現してもよい。
【００４２】
また、音楽的空間構成制御装置は、サウンドカード及びサウンドカードのメモリ内に物理的に配設されている３次元オーディオバッファリング手段と連携し、サウンドカードの３次元アクセラレーション機能を使用するものであってもよい。
【００４３】
さらに、音楽的空間構成制御装置は、バッファリング手段への書込タスクを制御する待機可能タイマを備えていてもよい。
【００４４】
この音楽的空間構成制御装置において、入力手段は、共通ファイルにインターレースされているオーディオストリームのオーディオトラックにアクセスするものであってもよい。
【００４５】
音楽的空間構成制御装置は、３次元サウンドバッファと連携して定位制約を導入するものであってもよい。
【００４６】
好ましくは、制約は、関数制約又は不等式制約であり、循環的制約は、伝搬アルゴリズムが矛盾を検査することにより処理される。
【００４７】
音楽的空間構成制御装置は、個別のオーディオソースと、制約及び関連する制約変数を記述するデータベースとをインターレースして共通のオーディオファイルにエンコードするエンコード手段を備えていてもよい。
【００４８】
さらに、音楽的空間構成制御装置は、エンコード手段に対応して、共通のオーディオファイルをデコードするデコード手段を備えていてもよい。
【００４９】
好ましくは、この音楽的空間構成制御装置は、各楽曲に関する制約及び関連する制約変数を記述するデータベースが入力され、空間構成決定コマンドを生成する制約システムモジュールと、エンコード手段からの上記オーディオストリームの組と、制約システムモジュールからの空間構成決定コマンドとが入力される空間構成制御モジュールとを備える。
【００５０】
音楽的空間構成制御装置は、好ましくは、オーディオソース用の書込タスク及び読出タスクが同期され、オーディオファイルからのオーディオストリームを空間構成制御モジュールに中継し、各楽曲に対する制約及び制約に関連する変数を記述するデータベースを空間構成制御モジュールに中継する３次元サウンドバッファ手段を備える。
【００５１】
さらに、音楽的空間構成制御モジュールは、制約システムモジュールと空間構成制御モジュールとを接続するスケジューラ手段を備える。
【００５２】
さらに、音楽的空間構成制御モジュールは、静的オーディオセカンダリバッファ手段を備える。
【００５３】
音楽的空間構成制御装置は、さらに、書込タスクを所定の間隔で呼び出すタイマ手段を備えていてもよい。
【００５４】
また、空間構成制御モジュールは、遠隔制御可能なミキシング装置であってもよい。
【００５５】
また、制約手段は、検査アルゴリズムを実行するように構成されていてもよい。
【００５６】
また、上述の課題を解決するために、本発明に係る音楽的臨場感形成装置は、共通のデータ記録媒体からオーディオストリームデータと、空間構成決定のための制約を表すデータとを読み出すデータ読出手段を有するパーソナルコンピュータと、データ読出手段からデータを受け取る入力手段を有する上述の音楽的空間構成制御装置とを備える。
【００５７】
このパーソナルコンピュータは、データ読出手段から抽出されたコンテンツを格納する３次元サウンドバッファを備えているとよい。
【００５８】
さらに、この３次元サウンドバッファは、ダイナミックリンクライブラリにより制御されるものであってもよい。
【００５９】
また、上述の課題を解決するために、本発明に係る記録媒体は、上述の音楽的空間構成制御装置に使用され、オーディオストリームを表す複数のトラックと、処理制約を表すデータとが格納されている。
【００６０】
この記録媒体において、複数のトラックと処理制約を表すデータとは共通のファイルとして記録されているとよい。
【００６１】
好ましくは、処理制約を表すデータは、トラックに関するメタデータとして記録されている。
【００６２】
さらに、トラックはインターレースされているとよい。
【００６３】
この記録媒体は、コンパクトディスク、デジタルバーサタイルディスク、ミニディスク等のデジタル記録媒体であるとよい。
【００６４】
特に、この記録媒体は、コンピュータハードディスクであるとよい。
【００６５】
また、上述の課題を解決するために、本発明に係るコンピュータプログラム製品は、上述の音楽的空間構成制御装置をコード化して、汎用コンピュータの内部メモリユニットにロードされ、汎用コンピュータにより実行され、音楽的空間構成制御装置の構成要素を実現するソフトウェアコードからなる。
【００６６】
さらに、上述の課題を解決するために、本発明に係る音楽的空間構成制御方法は、複数のオーディオソースについての複数のオーディオトラックを含むオーディオストリームについて、実時間で、複数のオーディオソースについてのオーディオ空間の構成を制御する音楽的空間構成制御装置での音楽的空間構成制御方法であって、上記音楽的空間構成制御装置が、上記オーディオストリームに含まれる複数のオーディオソースの各々を、ユーザにより配置を操作可能なオブジェクトにより表示するインターフェイス手段と、オーディオストリームに含まれる複数のオーディオソースのうちの、一部の複数のオーディオソース間の空間配置についての制約を記憶する記憶手段と、上記インターフェイス手段におけるユーザ操作に基づく上記複数のオーディオソースの配置が上記制約を満たすか否かを判定する制約処理手段と、上記オーディオストリームにアクセスするアクセス手段とを有し、上記インターフェイス手段が、上記記憶手段にオーディオソース間の空間配置の制約が記憶されている上記一部の複数のオーディオソースを、ユーザ操作可能な単一のオブジェクトで表示し、上記制約処理手段が、上記インターフェイス手段の表示における上記単一のオブジェクトの配置に基づく上記一部の複数のオーディオソースの配置が、上記記憶手段に記憶されている上記一部の複数のオーディオソース間の空間配置についての制約に適合するか否かを判定し、上記アクセス手段が、上記制約処理手段において上記一部の複数のオーディオソース間の空間配置についての制約を満たすと判定された場合に、上記オーディオストリームにアクセスし、そのユーザ操作に基づく配置に基づくオーディオ空間の構成により制御する。
【００６７】
【発明の実施の形態】
以下、本発明に係る音楽的空間構成制御装置、音楽的臨場感形成装置、及び音楽的空間構成制御方法について図面を参照して詳細に説明する。
【００６８】
本発明の好ましい実施の形態を説明するにあたり、まず、本発明が実現される「ミュージックスペース（MusicSpace）」と呼ばれるシステムの概要を説明し、続いて、本発明により実現される基礎的な概念のさらなる説明を行う。
【００６９】
音楽空間システム
ミュージックスペース（MusicSpace）は、空間処理装置（spatialiser）への高レベルのコマンドを生成するユーザインターフェイスである。ミュージックスペースのインターフェイス及び制約解決アルゴリズムの特徴については、１９９９年、中国北京で開催された国際コンピュータミュージック会議の会報（Proceedings of the 1999 International Computer Music Conference）におけるパシェ・エフ（Pachet, F.）及びドゥレリュー・オー（Delerue, O.）による論文「ミュージックスペース：音楽空間構築のための制約に基づく制御システム（MusicSpace: a Constraint-Based System for Music Spatialisation）」及び、１９９８年、ブリストルで開催されたＡＣＭマルチメディア会議の会報（Proceedings of the 1998 ACM Multimedia Conference）におけるパシェ・エフ及びドゥレリュー・オーによる論文「時間的制約に基づく音楽空間処理装置」に開示されている。
【００７０】
ミュージックスペースの基礎的な発想は、ウィンドウ内に聴取者を表すシンボルと、音源を視覚的に表示するものであり、この方法は、例えば欧州特許出願ＥＰ−Ａ−０９６１５２３号にも開示されている。このウィンドウ内において、ユーザは、聴取者を表すアイコン又は楽器を表すアイコンを移動させることができる。音源の聴取者の位置に対する相対的関係により、距離を音量及びパノラマ的制御（panoramic controls）にマッピングする単純な幾何的な規則に基づいて、楽曲全体のミキシングが決定される。
【００７１】
音源の実時間によるミキシングは、ミュージックスペースから例えばミキシングコンソール、ＭＩＤＩ空間処理装置（MIDI Spatialiser）又は上述のジョット及びワルスフェル（Jot and Warusfel）により開示されているようなより高度な空間処理装置等が接続されている装置にコマンドを送信することにより実行される。
【００７２】
図１〜図５は、欧州特許出願ＥＰ−Ａ−０９６１５２３号に開示されている発明に基づく制約アルゴリズムを用いた処理の手順を示すフローチャートである。具体的には、図１は、「全ての制約の伝搬（propagateAllConstraints）」と称す処理のフローチャートであり、パラメータとして、変数Ｖと値New Valueを有する。図２は、「１つの制約の伝搬（propagateOneConstraint）」と称す処理のフローチャートであり、パラメータとして、制約Ｃと変数Ｖを有する。図３は、「不等式制約の伝搬（propagateInequality/Constraint）」と称す処理のフローチャートであり、パラメータとして、制約Ｃを有する。図４は、「関数制約の伝搬（propagateFunctionalConstraint）」と称す処理のフローチャートであり、パラメータとして、制約Ｃと変数Ｖを有する。図５は、「摂動」処理のフローチャートであり、パラメータとして、変数Ｖ、値New Value及び制約Ｃを有する。
【００７３】
図１に示す「全ての制約の伝搬」処理は、本発明におけるアルゴリズムの主な流れを示している。この処理におけるパラメータの組に含まれる変数Ｖは、ユーザが動かした聴取者又は音源（以下、要素ともいう。）の位置、すなわち座標（０，ｘ，ｙ）における位置に対応している。この処理におけるパラメータの組に含まれる値New Valueは、ユーザによって変更された後の位置の値に対応している。ステップＳ１は、初期化ステップであり、この処理において用いられる様々な局所的な変数が初期化される。ステップＳ２において、変数Ｖを含む制約の組の中の各制約Ｃに対して、後述の「１つの制約の伝搬」と称する処理が呼び出される。ステップＳ３において、ユーザが活性化した全ての制約Ｃが充足されたかを判定することにより、制約Ｃに基づく問題の解が見つかったか否かが判定される。具体的には、結果が真であるか否かが判定され、該当するときはステップＳ４に進み、該当しないときはステップＳ５に進む。ステップＳ４において、制約解決装置３により音源及び聴取者（要素）の元の位置が新たな位置で置換され、新たな位置がユーザインターフェイス装置２及びコマンド発生装置４に供給される。一方、ステップＳ５において、ユーザが動かした要素は、元の位置に戻され、それ以外の要素の位置は変更されず、「解が見つかりません」というメッセージがグラフィック表示画面２０に表示される。
【００７４】
図２に示す「１つの制約の伝搬」処理では、ステップＳ１１において、制約Ｃが関数制約か不等式制約かが判定され、制約Ｃが関数制約である場合は、ステップＳ１２に進み、制約Ｃが不等式制約である場合は、ステップＳ１３に進む。ステップＳ１２において、この制約Ｃに対して、後述の「関数制約の伝搬」と称す処理が呼び出される。一方、ステップＳ１３において、この制約Ｃに対して、後述の「不等式制約の伝搬」と称す処理が呼び出される。
【００７５】
図３に示す「不等式制約の伝搬」では、ステップＳ２１において、制約解決装置３は、単に不等式制約Ｃが充足されているかを判定し、該当するときはステップＳ２２に進み、該当しないときはステップＳ２３に進む。ステップＳ２２において、アルゴリズムが続行される。一方、ステップＳ２３において、ブール変数「結果（result）」が偽（false）とされ、図１におけるステップＳ５に戻り、アルゴリズムが終了する。
【００７６】
図４に示す「関数制約の伝搬」処理では、ステップＳ３１において、結果の初期化が行われる。続いて、ステップＳ３２において、制約Ｃに含まれる変数の組の中の変数Ｖとは異なる各変数Ｖ’に対し、パラメータとして、制約Ｃ及び変数Ｖ，Ｖ’を有する後述の「値の演算」が呼び出されるとともに、「値の演算」処理によって算出された値NewValueに基づいた後述の「摂動」と称す処理が呼び出される。
【００７７】
「値の演算」処理の役割は、変数Ｖの新たな値と、関数制約である制約Ｃに基づいて、変数Ｖ’に任意の値を与えることである。理解しやすいように、それぞれＸ，Ｙ，Ｚで表される３つの変数を含んだ制約の一般的な例を用いて、この処理を説明する。変数Ｘ，Ｙ，Ｚにリンクした関数制約は、次式で表される。
【００７８】
Ｘ＋Ｙ＋Ｚ＝定数
ここで、変数Ｘの値が、ユーザによって変更されると、制約解決装置３は、制約の充足を維持するために、変数Ｙ，Ｚの値を変更する。Ｘの１つの値に対して、変数Ｙ，Ｚに対する解は無限にある。ユーザによって変数Ｘの値が変更されると、変数Ｙ，Ｚに任意の値が与えられ、１つの解が導き出される。例えば、変数Ｘの値がδだけ増加すると、変数Ｙ，Ｚの各値をδ／２だけ増加するように決定することができる。
【００７９】
このような任意の値への変更は、本発明においては、二元でない制約、すなわち２つの変数を含む制約に対して実行される。Ｘ＋Ｙ＝定数のような二元の制約では、ユーザによって摂動される以外の変数の値は、以下のように直接的に求めることができる。
【００８０】
Ｙ＝定数−Ｘ
音源の位置に関する上述した関数制約、すなわちグラフィカルオブジェクトを関連させる制約及びグラフィカルオブジェクトを関連させない制約における「値の演算」処理について説明する。
【００８１】
制約が、グラフィカルオブジェクトを関連させる制約である場合、「値の演算」処理は、次式に示す比率計算を含む。
【００８２】
比率＝‖NewValue(V)−Ｓ０‖／‖Value(V)−Ｓ０‖
ここで、NewValue(V)は、摂動された変数Ｖの新たな値であり、Value(V)は、変数Ｖの元の値であり、Ｓ0は、聴取者の位置である。すなわち、この比率は、変数Ｖで表される音源と聴取者間の現在の距離を、変数Ｖで表される音源と聴取者間の元の距離で割ったものである。
【００８３】
そして、変数Ｖ’に与えられる値NewValueは、次のように算出される。
【００８４】
NewValue＝(Value(V')−Ｓ０)×比率＋Ｓ０
ここで、Value(V')は、変数Ｖ’の元の値である。
【００８５】
すなわち、変数Ｖの値の変更に応じて、グラフィカルオブジェクトを関連させる制約によってリンクされた変数Ｖ’の値が変更され、それに伴い、変数Ｖ’で表される音源と聴取者間の距離が、変数Ｖの場合と同じ比率で変更される。
【００８６】
一方、制約が、グラフィカルオブジェクトを関連させない制約であるとき、「値の演算」処理は、上述した同じ比率を有するの演算と、変数Ｖ’に与えられる新たな値NewValueを算出する演算とを含む。
【００８７】
比率＝‖NewValue(V)−Ｓ０‖／‖Value(V)−Ｓ０‖
NewValue=（Value(V')−Ｓ０）×比率１／（Ｎｃ−１）＋Ｓ０
ここで、Ｎcは、制約Ｃに含まれる変数の数である。
【００８８】
すなわち、変数Ｖの値の変更に応じて、グラフィカルオブジェクトを関連させない制約によって変数Ｖにリンクされた各変数Ｖ’に、音源と聴取者間の距離を一定に保つような任意の値が与えられる。
【００８９】
「関数制約の伝搬」処理のステップＳ３２において、上述した「値の演算」処理によって変数Ｖ’に新たな任意の値が与えられた後に、「摂動」処理が実行される。「摂動」処理は、変数Ｖ’から摂動を、制約Ｃとは異なる制約Ｃ’を介して変数Ｖ’にリンクした全ての変数に伝搬するものである。
【００９０】
このアルゴリズムの中心は、Ｓｉを元の変更された音源とし、NewValueをユーザにより指定された値として、処理の伝搬（Ｓｉ, NewValue）を行うことである。
【００９１】
本発明では、この空間処理システムを発展させ、高レベルなコマンド言語を使用して、個別の音源ではなく、関連する音源のグループを移動させる。この新たな高レベルのコマンドは、任意の空間処理システムに使用することができる。
【００９２】
ミュージックスペースの基本的な設計については、上述した通りであり、以下では、オーディオバージョン（audio version）に関する技術的側面について説明する。
【００９３】
ここに説明するシステムは、次の２つのモジュールからなる。すなわち、１）高レベルの空間処理コマンドを生成する制御装置と、２）実時間の空間処理及び音源のミキシングを行う空間処理モジュールである。制御システムは、ＭＩＤＩシェアオペレーティングシステム（１９９９年、国際コンピュータミュージック会議会報、フォバー・ディー（Fober, D.）レッツ・エス（Letz, S.）オーラレイ・ワイ（Orlarey, Y.）著「ＭＩＤＩシェアジョインズザオープンソースソフトウェア（Midishare joins the Open Source Software）」）及びJavaに基づく制約解決装置及びユーザインターフェイス装置により実現される。空間処理モジュールは、基礎となるオペレーティングシステムに対するインターフェイス（例えば、マイクロソフトDirectX（Microsoft DirectX）、オンライン情報http://msdn.microsoft.com/directx/crosoft.com/directx/（ＡＰＩホームページ、ダウンロード及び文書）及びhttp://www.directx.com/://www.directx.com/（伝搬関連）参照）、及びサウンドカードを備える。
【００９４】
ミュージックスペースは、空間処理の分野以外に、以下のような状況に応用して使用することができる。すなわち、ａ）実時間データのストリーム離散パラメータにより制御される（例えば、距離、パン、方向等により制御される音源のストリームである）状況、及び／又は、ｂ）これらパラメータ間の関係が制約又は制約の組み合わせとして表現できる状況である。
【００９５】
このような状況は、作曲、音の合成（synthesis）、実時間制御等の作業時に頻繁に発生する。他の応用例としては、例えば、他の音源の周りを自動的に周回する音源又は、制約により定義された経路を自動的に移動する音源等、音源の自動活動（automatic animation）がある。
【００９６】
ミュージックスペース及び関連事項に関する情報は、http://www.csl.sony.fr/MusicSpace/MusicSpaceからも入手できる。
【００９７】
動的ミキシング（ Dynamic Mixing ）
音楽を聴く側でミキシング処理を行えるようにすることにより、音楽を聴く楽しみは向上する。例えばステレオ、ドルビー（Dolby）、ＤＴＳ等の方式に基づいてミキシング処理され、聴取者側では、単に再生するだけの音楽提供の方法とは異なり、動的ミキシングでは、オーディオトラックを個別に提供し、聴取者が聴取時にこれら分離された個別のオーディオトラックをミキシング又は空間処理することができる。
【００９８】
この動的ミキシングを実現するために、複数のオーディオトラックには、これらのオーディオトラックをどのようにミキシングし、音源間でどのような関係を維持することが重要かを記述する命令の組が添付される。オーディオトラックを分離する方式の融通性の他に、いわゆる「オンザフライ（on-the-fly）」ミキシングは、聴取者に対してさらなる自由を与える。すなわち、聴取者は、単一の楽曲に複数のミキシング状態を与えることができ、したがって、楽曲に対するレンダリング（rendering）を選択して、特定の音楽的次元（musical dimension）を強調し、又は聴取者の嗜好に適合させることができる。
【００９９】
音楽的レンダリング（Musical Rendering）
本発明によれば、与えられた楽曲の個別のトラックにアクセスすることができ、同一の音源の組に対し複数の構成（arrangement）を作成することができる。複数の音源は、「ハンドル（handles）」としてユーザに与えられる。第１の可能性として、もちろん、普及している標準的なコンパクトディスクと同様の元のミキシングを再生することができる。さらに、後述するように、音源の構成を変形して定義することもできる。
【０１００】
図６は、ある楽曲の「アカペラ（a capella）」レンダリングの例を示す図である。アカペラスタイルを実現するために、高調波成分を発生する全ての楽器は、ミュートされ、すなわち対応するアイコンに×印が付される。リードシンガー、バックボーカル等の様々なボーカルトラックは、ミュートされず、聴取者の近くに配置される。ドライミックス（dry mix）を回避するために、ドラム及びベースの一部の音は出力されるが、聴取者からやや遠くに配置される。ここで、このユーザインターフェイス装置の表示画面は、本発明に基づき、個別の楽器を表示するのではなく、楽器のグループを符号Ｈで指示する対応するアイコン、すなわち「ハンドル」により集合的に表示している。これらハンドルは、例えば、アコスティック、ストリングス、ベース、ドラム等に対応する。この具体例では、各パーカッションの音源は、単一の組にまとめられている。
【０１０１】
これらと同じ音源の組を用いて、後述する「アンプラグド（unplugged）」や活動ミキシング（animated mix）等、他のレンダリングを作成することもできる。
【０１０２】
図７は、同じ楽曲の「テクノ（techno）」レンダリングを示す。テクノレンダリングは、テクノハンドルをアクティブにすることにより得られる。ここでは、シンセサイザ及びリズム楽器が強調され、聴覚的空間（auditory scene）の正面に配置される。結果の一貫性を維持するために、ボーカル及びアコスティック楽器はミュートせず、後方に配置し、これにより聴取者にとって目立たないようにしている。
【０１０３】
ミキシング結果に変化を与えるために、この表現では活動制約（animated constraints）を用いる。ストリングス、音響効果（sound effects）、及びテクノトラック用のハンドルのグループは、互いに回転制約（rotating constraint）に関連付けられ、それぞれがユーザに近付くたびに、これらストリングス、音響効果、テクノトラックが周期的に強調される。ドラムトラック及びベーストラックも回転制約に関連付けられているが、ドラムトラック及びベーストラックは、角度制限制約により、左右を往復する動きとなる。
【０１０４】
欧州特許出願ＥＰ−Ａ−０９６１５２３号に開示されているアルゴリズムは、潜在的に全ての変数を入力及び出力の両方として取り扱うが、本発明は、１つの制約について、任意の変数を入力及び／又は出力として特定することができる。この方法を図８を用いて説明する。各制約Ｃには、いわゆる「入力変数」と称されるリストと、「出力変数」と称されるリストとが与えられる。図８に示す例では、入力変数は、Ｖ１、Ｖ２、Ｖ３、Ｖ６であり、出力変数は、Ｖ２、Ｖ３、Ｖ５、Ｖ６である。
【０１０５】
これらの２つのリストの内容は、図９に示すグラフィカルユーザインターフェイスを介して、ユーザにより決定される。このインターフェイス画面は、プログラミングされた制約に基づくグループ間の関係を示すリンクを表している。これらリンクに対しては、ユーザインターフェイス装置に対する適切な入力コマンドにより、挿入、移動、削除等の処理を行うことができる。
【０１０６】
これにより、特定の制約に基づいて音源をグループ化することができる。このようにグループ化された音源の組は、許容できる解とともに制約解決アルゴリズムを適用できる統一性のある集合（coherent whole）を形成する。ユーザインターフェイスのレベルでは、音源ではなく、例えばアコスティック、ストリングス、ボーカル等、上述した音源のグループが表示される。これにより、各音源を個別の入力変数とすることにより生ずる矛盾を含む空間処理（conflicting spatialisation）をユーザが行ってしまう可能性がなくなる。すなわち、本発明によれば、ユーザは、集合的なコマンドを用いて、表示されている１以上の音源のグループの位置を変更することができる。内部の一貫性により、入力された位置変更のコマンドは、制約解決装置により許可されるものである可能性が高くなる。
【０１０７】
高レベルハンドル（High level handles）
本発明に基づくユーザの「ハンドル」は、音源のグループとこれら音源に関連する制約を単一のインターフェイスオブジェクトに内包させたものである。これらハンドルは、いわゆる「一方向制約（one way constraints）」により実現され、この一方向制約は、基本的な制約解決装置の機能を僅かに拡張することにより得られる。これらハンドルにより、ユーザは、全体のミキシングを動的に変更することができる。このように、与えられた構成において複数のハンドルが共存でき、従来変更できなかった唯一のミキシングに対し、統一性のある変化の組をユーザに提供できる。
【０１０８】
図１０に示す具体例では、音源は表示されておらず、ユーザは、所定の楽曲に対して特別に生成され、表示された１組のハンドルＨのみにアクセスする。この例では、ユーザは、第１のハンドルＨ−１を音源のアコスティックパートの調整に割り当て、第２のハンドルＨ−２をシンセサイザ楽器の調整に割り当て、第３のハンドルＨ−３をドラムの調整に割り当て、第４のハンドルＨ−４をボーカルの調整に割り当てている。さらに、この具体例では、アコスティックパートとシンセサイザパート間のバランス制御を行うためのプラグハンドルと称されるハンドルＨＰを設けている。このプラグハンドルＨＰを聴取者Ｌに近付けることにより、シンセサイザパートが強調され、アコスティックパートが目立たなくなる。逆に、プラグハンドルＨＰを聴取者Ｌから遠ざけることにより、アコスティックパートが強調され、シンセサイザパートが目立たなくなる。同様に、ボリュームハンドルＨＶも設けられており、このボリュームハンドルＨＶにより、全ての音源の位置を同時に一定の比で変更させることができる。
【０１０９】
図１０に示す具体例では、制約システムを拡張して使用し、音源（例えば、図６に示す）及び対応するハンドルＨ間の対応関係を構築する。
【０１１０】
図９は、本発明に基づくユーザインターフェイスのプログラムモードを示す。このプログラムモードでは、空間処理される全ての要素（element）、すなわちハンドルＨ、音源、制約、一方向制約が表示される。
【０１１１】
制約及びミキシング一貫性（Constraints and Mixing Consistency）
ユーザが音源の構成を変更し、すなわちミキシングを行うにあたり、ユーザは、統一性のある（coherent）聴き心地のよいミキシングを行うために必要な知識を必ずしも有していない。実際、音響技術者の知識を明確に表現することは難しい。基礎的な操作は、フェーダ又はノブ等の操作子を介して行われる。しかしながら、ミキシングは、それ以上単純化できない操作（irreducible actions）の構成（composition）として定義される高レベルの操作を含む。例えば、音響技術者は、全ての録音レベルが常に合理的な範囲内に設定されることを望む。一方、複数の音源は、他の音源に論理的に依存していることがある。例えば、リズムセクションは、ベーストラックと、ギタートラックと、ドラムトラックから構成されていることがある。
【０１１２】
この他の典型的なミキシング操作として、楽器又は楽器のグループに境界を割り当て、その楽器又は楽器のグループを常に与えられた空間的範囲内に留まらせる操作がある。このような操作の結果、ある音源の音量を他の音源から独立させて設定することができなくなる。通常、フェーダを上げると、他のフェーダ又は他のフェーダのグループが下がる。
【０１１３】
音の空間処理に関するこの種の知識は、制約の組としてエンコードされ、ミュージックスペースに統合された効率的な制約伝搬アルゴリズムにより実時間で解釈される。制約は、常に充足されるべき関係である。制約は、設計者により叙述的に宣言され、これにより複雑なアルゴリズムをプログラミングする必要がなくなる。制約伝搬アルゴリズムは、特に、１９９６年、「知識に基づくシステム」、エルスビエ、第９巻−７、第４４９〜４６４頁（Knowledge-Based System, Elesvier, vol.9, n7, pp.449-464）に掲載されているハウワー・ダブリュー（Hower, W.）、グラフ・ダブリュー・エイチ（Graf W.H.）による論文「ＣＡＤ、グラフィクス、レイアウト、視覚化及び関連するトピックへの制約に基づくアプローチに関する文献概観（a Bibliographical Survey of Constraint-Based Approaches to CAD, Graphics, Layout, Visualization, and related topics）」に記載されているグラフィカルインターフェイスのレイアウト管理のための応答システム（reactive system）の構築に関連している。
【０１１４】
音源間の「関心のある（interesting）」関係を特定する手法は、欧州特許出願ＥＰ−Ａ−０９６１５２３号に開示されている。この文献には、以下のような制約を定義している。
・不等式‖ｐi−ｌ‖＞ａi,j＞‖ｐj−ｌ‖で表されるオブジェクトを関連させる制約（related-objects constraints）。ここで、ｐi及びｐjは、２つの異なる音源の位置であり、ａi,jは、所定の定数である。
・オブジェクトを関連させない（リンクさせない）制約（anti-related (anti-link) object）。これは、制約に含まれる音源と聴取者間の距離の和を一定に維持することを定めるものであり、すなわち、ｉ＝１〜ｎとして、和‖ｐｉ−１‖＝定数とするものである。
・半径を制限する制約。この制約は、聴取者と制約に含まれる音源間の距離が所定の範囲内にあることを定めるものである。すなわち、この制約は、各音源について次のような式で表される。‖ｐi−ｌ‖≧αinf-i、ここで、αinf-iは、位置ｐiの音源に課された半径の下限を示し、及び／又は‖ｐi−ｌ‖≦αsup-i、ここでａsup-iは、位置piの音源に課された半径の上限を示す。
・角度制約（angular constraints）。この制約は、制約が課せられる音源の聴取者に対する角度が所定の範囲内にあるように規定するものである。
【０１１５】
ミキシングに関する制約の多くは、音源の集合と聴取者とを含む。本発明に基づく最も有効な制約の幾つかを以下に示す。
・一定エネルギレベル（Constant Energy Level）
この制約は、複数の音源間のエネルギレベルを一定とすることを課する制約である。直感的に、一方の音源が聴取者に近付けられると、他方の音源が聴取者から遠ざけられ、逆に、一方の音源が聴取者から遠ざけられると、他方の音源が聴取者に近付けられる。
・一定角度オフセット（Constant Angular Offset）
この制約は、複数の音源間の角度を一定とすることを課する制約である。この制約は、音源の空間的構成を維持し、すなわち、２つのオブジェクトと聴取者により形成される角度を一定に保つ。
・一定距離比（Constant Distance Ratio）
この制約は、２以上のオブジェクトから聴取者までの距離の比を一定に保つことを課する制約である。
・音源の半径制限（Radial Limits of Sound Sources）
この制約は、音源の位置を制限された半径により規定される範囲内に制限する制約である。この範囲は、聴取者の表現を中心とする円により定義される。
・グループ化制約（Grouping constraint）
この制約は、ｎ個の音源の組をグループ化する、すなわち、聴取者の表現の位置にかかわらず、これらオブジェクト間の距離を一定に保つことを課する制約である。
【０１１６】
他の典型的な制約として、位置に関連しない変数（non-geographical variables）を有する象徴的制約（symbolic constraints）がある。例えば、「非両立制約（incompatibility constraints）」は、同時に２つ以上の音源を発音しない、すなわち、最も近い音源のみを発音し、他の音源をミュートする。他の複雑な制約としては、「等化制約（Equalizing constraint）」があり、これは、ミキシング全体の周波数をイコライザの周波数範囲内に制限する制約である。例えば、音の全体の周波数スペクトルを平坦にする。
【０１１７】
制約アルゴリズム
上述の制約の例から、制約には以下の特性があることがわかる。
・制約は、線形ではない。すなわち２つ以上の音源間の一定エネルギレベルは、線形ではない。
・制約の全てが関数的ではない。すなわち音源の位置の制限は、通常、不等式制約である。
・制約は循環（cycles）を生じる。例えば、単に一定エネルギレベル制約及び一定角度オフセット制約によりリンクされた２つの音源は、既に循環的制約グラフを生じている。
【０１１８】
好ましい実施の形態において、制約アルゴリズムは、単純な伝搬スキームに基づいており、これにより関数制約及び不等式制約を処理することができる。制約アルゴリズムは、単に制約をチェックすることにより循環を処理する。制約アルゴリズムの重要な特徴は、伝搬処理（propagation procedures）を定義することにより、新たな制約クラスを容易に追加できる点にある（上述のPahchet and Delerue 1998, 参照）。
【０１１９】
制約システムの拡張
本発明に基づく方法には、上述したハンドルＨにより識別される新たな制約変数が含まれる。これらオブジェクトは、特定のオーディオトラックに割り当てられない制約変数である。
【０１２０】
本発明の好ましい実施の形態では、制約伝搬メカニズムを拡張し、いわゆる一方向制約（one-way constraints）の管理を行う。この制約解決装置の拡張は、制約により許可された方向のみに摂動を伝搬させる処理からなる。
【０１２１】
１）ハンドル変数
実現の観点から、各ハンドルは、以下の制限を有する音源変数とみなされる。
【０１２２】
コマンド発生装置は、ハンドル変数の位置を考慮しない。制約解決装置及びコマンド発生装置間のリンクは、系統的（systematic）ではなく、変数が実際の音源に関連付けられているかを確認するチェックが行われる。
【０１２３】
図９は、一方向制約のグラフを示す図である。小さな矢印は、その矢印の向きに応じて、どの変数が入力されるものであり、どの変数が出力されるものであるかを示している。
【０１２４】
２）本発明に基づくアルゴリズムの拡張
インターフェイス
制約を設定するためのインターフェイスは、わかりやすい構成を有している。各制約は、ボタンにより表示され、制約は、まず制約すべきグラフィカルオブジェクトを選択し、続いて適切な制約をクリックすることにより設定される。制約そのものは、制約オブジェクトからの引出線によりリンクされた小さなボールとして表現される。
【０１２５】
図１１は、ジャズトリオ用の典型的な音源の構成を示す図である。以下のような制約が設定される。
・ベース及びドラム音源は、一定距離比制約によりリンクされ、これによりベース及びドラム音源はグループ化され、一定の距離比を保つ。
・ピアノは、バランス制約によりリズムセクションにリンクされている。これにより、ピアノとリズムセクションの合計レベルが一定とされている。
・ピアノは、最大距離制約により移動が制限されている。これにより、ピアノは常に聴くことができる。
・ドラムは、２つの角度制約により、所定の角度範囲内に移動が制限されている。これにより、ドラムは、概ね、全音場（panoramic range）内の略々中央に定位する。
【０１２６】
図１１に示す初期状態から、ユーザはピアノを自らを表す聴取者の表現に近付くよう移動させる。これにより制約システムがトリガされ、他の音源が制約の組を充足するように移動される。
【０１２７】
データベース
１）メタデータフォーマットの詳細
本発明において使用される制約の詳細について説明する。
【０１２８】
制約の組の構成は、以下のように文字列で表現される。このフォーマットは、変数部分と制約部分の２つの部分からなる。
【０１２９】
ｉ）変数部分
独立した各サウンドトラックには、１〜ｎの番号が付される。各トラックパラメータは、以下の順序で１つずつ特定される。
・変数タイプ（「ハンドル」又は「トラック」）
・変数名
・変数アイコン
・独立音量（「トラック」変数のみ）
・初期位置（ｘ，ｙ座標）
【０１３０】
ｉｉ）制約部分
各制約は、以下の情報により表現される
・制約タイプ（可能な制約タイプの１つ）
・入力変数のリスト
・出力変数のリスト
・制約位置
【０１３１】
２）処理の特徴
従来の技術と比較し、本発明に基づく方法は以下のような特徴を有している。
【０１３２】
ｉ）複数の音源をデータ記録媒体（例えば、ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭ）にエンコードし、及びこれらデータ記録媒体からデコードする。したがって、ＭＩＤＩフォーマットを取り扱う欧州特許出願ＥＰ−Ａ−０９６１５２３号に記載されている方法に比べて、明確な音源処理を実現することができる。
【０１３３】
ｉｉ）音源レベルの最上位にあたる高レベルの制御を導入する。これらの制御は、音源の組を包含し、これによりユーザは、音源の構成に関するより高度な制御を行うことができる。
【０１３４】
ｉｉｉ）図１２に示すように、関数制約伝搬処理「propagateFunctionalConstant」に検査（test）を追加する処理をアルゴリズムに追加する。
【０１３５】
本発明の具体例では、この新たな検査は、上述の処理に組み込まれる。
【０１３６】
図１３は、本発明に基づく処理のデータフローを説明するための図である。
【０１３７】
この処理では、まず、与えられた楽曲の個別のオーディオトラックと、これらトラック用の基礎ミキシング規則を特定するミキシングメタデータとの２種類のデータがエンコードされる。エンコードされたこれら２種類のデータは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、ミニディスク又はコンピュータのハードディスク等の民生用電子機器で使用されているオーディオ媒体（audio support）の共通ファイルに記録される。オーディオ媒体は、本発明に基づく空間処理装置用に特化された記録媒体として、配給業者が提供してもよい。
【０１３８】
このように録音された楽曲を再生するために、オーディオ媒体は、空間処理装置のデコードモジュールに挿入され、このデコードモジュールは、上述の２種類のデータにアクセスして、ユーザインターフェイスにユーザ制御用の画像を表示する。これらのデータは、制約システムモジュールにより処理され、空間処理コマンドが生成される。これらの空間処理コマンドは、空間処理制御モジュールに供給され、空間処理制御モジュールは、対応する空間処理されたマルチチャンネルオーディオ信号を再生装置に供給し、再生させる。
【０１３９】
３）各モジュールの詳細
ｉ）オーディオ及びメタデータエンコーダ
このモジュールには、以下の情報が入力される。
・個別のオーディオトラック（モノフォニックフォーマット、本発明に基づき、例えばサンプリングレート、分解能等、他のパラメータを情報に組み込んでもよい。）
・制約システムに必要な制約及び関連する制約変数を記述するメタデータの組。
これらのメタデータは、象徴的なテキストフォーマットで表現される。
・フォーマット名
フォーマット名は、例えばＡＩＦＦ、ＷＡＶ、ＭＰＥＧ４（これらに限定されない）等、多重化されたオーディオデータ及び任意のメタデータをサポートする。
【０１４０】
エンコーダは、フォーマット名に基づき、オーディオトラック及びメタデータを単一のファイルにエンコードする。このファイルのフォーマットは、通常、ＷＡＶ（ウェーブファイル）である。ここでは、複数のモノフォニックトラックを単一のウェブファイルにエンコードする処理を標準的な処理とする。メタデータ情報は、ユーザ固有の情報であり、ＷＡＶフォーマット内では、<assoc-data-list>として表現される。ＷＡＶフォーマットの詳細については、http://www.cwi.nl/ftp/audio/RIFF-formatnl/ftp/audio/RIFF-format又は、http://vision1.cs.umr.cdu/ johns/links/music/audiofile1.htmlic/audiofile1.htmlに記載されている。
【０１４１】
例えばＡＩＦＦ又はＭＰＥＧフォーマット等、他のフォーマットも同様に、すなわち特別な情報用に設計されたフィールドを使用することにより、処理することができる。
【０１４２】
メタデータのフォーマットの詳細については、後述する。
【０１４３】
ｉｉ）オーディオ及びメタデータデコーダ
このモジュールは、エンコーダにより生成された１つのフォーマットのファイルを受け取り、以下の情報を生成する。
ａ）各トラックに基づくオーディオストリームの組
ｂ）エンコードされたフォーマットに基づくメタデータの詳細
オーディオストリームの組は、空間処理モジュールに供給される。
【０１４４】
メタデータの組は、制約システムモジュールに供給される。
【０１４５】
単一のファイルからトラック及びメタデータの組をデコードする処理は、例えばＷＡＶデコーダ（ここでは、この処理を標準とする）を用いて実行される。
【０１４６】
３次元バッファ技術
DirectXは、最も精密な空間処理システムであるとは言い難いが、本発明の実現において、この拡張は様々な利点を有している。
【０１４７】
第１に、DirectXは、ミュージックスペースを用いて制約を課すことができる３次元音源を記述するパラメータを提供する。例えば、DirectX音源は、定位（orientation）、方向（directivity）、及びドップラーパラメータまでも備えている。定位制約（orientation constraint）は、既に設計されており、ミュージックスペースの制約ライブラリに含まれている。この制約は、２つの音源が常に向き合う（face）状態にあることを課し、一方の音源が移動されると、これに応じて他方の音源の定位が移動される。第２に、DirectXは、多数の音源を実時間で処理することができる。これは、関連する音源が数十個もある複雑な交響曲のミキシング等において有効である。第３に、DirectXは、多くのパーソナルコンピュータに導入されており、このため広範囲に亘るユーザがミュージックスペースを使用することができる。
【０１４８】
空間処理制御モジュールには、以下のような情報が入力される。
・デコーダによりデコードされた個別のオーディオストリーム。
・制約システムから供給される空間処理コマンド
このモジュールは、マイクロソフト社（登録商標）のDirectX空間処理ミドルウェアとともに使用するために再設計されている点を除き、欧州特許出願ＥＰ−Ａ−０９６１５２３号に開示されているモジュールと同様のものである。
【０１４９】
オーディオバージョンは、パーソナルコンピュータ用の特定のダイナミックリンクライブラリ（ｄｌｌ）により実現され、これによりミュージックスペースは、マイクロソフトDirectX3Dサウンドバッファを制御することができる。このミュージックスペースオーディオ用のダイナミックリンクライブラリは、基本的に、DirectXのＡＰＩ Ｃ＋＋様式を例えば整数などJavaにより処理できる単純な様式に変換することにより、JavaアプリケーションとDirectX間を接続する。
【０１５０】
図１４に示すシステムアーキテクチャに示すように、空間処理モジュール１００は、基底のオペレーティングシステム（上述のマイクロソフトDirectX）１０２とサウンドカード１０４間のインターフェイスを司る。この空間処理モジュール１００は、Java（インターフェイス）及びＣ＋＋（空間処理モジュール）間のデータ様式の変換とともに、実時間によるオーディオファイルのストリーミングを行う。図１４に示すように、空間処理システムへの接続は、サウンドカード１０４の様々なバッファを管理する低レベルスケジューラを実装することにより実現される。図１４に示すシステムは、ウィンドウズ９８をプラットフォームとするパーソナルコンピュータにより実現される。サウンドカード１０４としてクリエイティブサウンドブラスタライブ（Creative Sound Blaster Live）が装着され、４チャンネル方式のスピーカ装置から音を出力するマルチメディアパーソナルコンピュータにより実験を行った結果、最大２０個のモノフォニックのサウンドファイルを実時間で空間処理できることが確認された。
【０１５１】
１）同期
動的ミキシングにおいては、３Ｄサウンドバッファに書き込まれ、及び３Ｄサウンドバッファから読み出される２つのタスク間の同期が問題となる。読出タスクは、空間処理システム（すなわち、DirectX）により処理され、本発明に基づくアプリケーションは、このバッファに必要なサンプルを所定の時間内に供給する必要がある。
【０１５２】
図１５〜図１７は、書込タスク及び読出タスクの同期処理を説明するための図である。
【０１５３】
オーディオストリーミングタスク（サウンドファイルの読出）及びオーディオ出力間の正しい同期を実現するために、バッファ内の読出ヘッドにおける通知イベントを用いる標準的な方法を用いる。この具体例では、読出タスクは、読出位置が所定の点を過ぎると、書込タスクに通知を行う。
【０１５４】
サウンドバッファは、半分に分割され、通知イベントを受け取ると、書込タスクは、現在読み出されていないバッファの半分を消去し、サンプルを置換する。
【０１５５】
なお、これらの通知イベントにアクセスするためには、バッファは、オペレーティングシステムにより処理される必要がある。このため、ハードウェアのアクセラレータ機能及び例えばサウンドカードの４チャンネル出力を使用することはできない。
【０１５６】
また、DirectX内に静的３Ｄオーディオセカンダリバッファを生成する方法もある。これらのバッファは、物理的にはサウンドカードのメモリ内に設けられ、したがって、３Ｄ処理速度を向上させる機能を活用することができる。この場合、通知イベントは利用できなくなり、これらは、毎秒毎に書込タスクを呼び出す書込可能なタイマに置き換えられる。書込タスクは、読出タスクをポーリングし、その現在の位置を知り、既に読み出されたサンプルを更新する。このタイマは、ウィンドウズ９８及びウィンドウズＮＴ４のみが備えるものであり、したがって、ウィンドウズ９５では、この手法は実現できない。
【０１５７】
図１５及び図１６に示しているタイマモデルにおいては、各バッファは、サウンドカードのメモリにおいて２秒を必要とする。これは、４４．１ｋＨｚのサンプリング周波数の１６ビットのモノサンプルについて２００キロバイト以下であることを示す。実際のサウンドカードの内部メモリは、３２メガバイトの情報を格納でき、したがって、実時間で処理できるトラック数は、メモリによっては制限されない。
【０１５８】
２）アクセスタイミング
本発明を実現するオーディオバージョンについて重要な課題は、データアクセスのタイミング、すなわちオーディオファイルを空間処理するタイミングである。現在のハードディスクの性能によれば、多数のオーディオトラックを個別に読み出すことができる。通常の楽曲は３分乃至４分程度の長さを有し、約１０個の独立したモノトラックを備えている。このような楽曲に必要な記録容量は、２００メガバイト以上になる。
【０１５９】
ＣＤ−ＲＯＭ等の外部記録媒体は、ハードディスクほどの柔軟性を有しておらず、すなわち、多数のトラックをＣＤ−ＲＯＭから個別に読み出すことは、現在のところ不可能である。しかしながら、この問題は、図１８に示すように、異なるオーディオトラックを単一のファイルにインターレースすることにより解決できる。これにより、読出ヘッドは、各トラックのサンプルを読み出すために読出位置を何度も移動させる必要はなく、各サンプルを連続的に読み出すことができる。ＷＡＶフォーマットは、インターレースされたマルチトラックのファイルをサポートしている。
【０１６０】
各トラックを読み出す必要がある。すなわち、マルチトラックは、いかなるＣＰＵリソースも解放しない。各トラック間の同期は、全て一度に固定する必要があり、トラックは他のトラックに対してオフセットを有することはできない。各トラックは、同じ速度又は同じサンプリングレートで読み出さなくてはならない。このため、例えば、サウンドファイルの速度及び聴取者に対する方向に基づいて、サウンドファイルの読出速度を若干シフトさせるDirectXのドップラー効果を利用することはできない。
【０１６１】
このような考察は、特定の実験的アプリケーションに適用されるものであり、本発明の目的を妨げるものではない。楽曲のトラック数は事前に固定されており、トラック間のオフセットを変更する必要はない。
【０１６２】
【発明の効果】
以上のように、本発明に係る音楽的空間構成制御装置は、実時間でオーディオ空間の構成を制御する音楽的空間構成制御装置において、オーディオトラックに関連付けられた複数のオーディオソースからなるオーディオストリームにアクセスするアクセス手段と、オーディオストリームの空間構成決定用の規則を表す制約を受け取り及び処理する制約手段と、制約手段に空間構成決定コマンドを入力するインターフェイス手段とを備え、インターフェイス手段は、オーディオソースの特定のグループに作用するグループ化された空間構成決定コマンドに対応するユーザ入力を提供し、制約手段は、オーディオソースのグループを複数の制約変数が適応される単一のオブジェクトとして処理する。これにより、ユーザ及び楽曲提供者の両者の観点から、より容易に空間処理を行うことができ、選択された空間処理の結果が常に「聴覚的に正しく」、家庭用オーディオシステムに採用されている標準的な録音技術により適合する。
【０１６３】
また、本発明に係る音楽的臨場感形成装置は、共通のデータ記録媒体からオーディオストリームデータと、空間構成決定のための制約を表すデータとを読み出すデータ読出手段を有するパーソナルコンピュータと、データ読出手段からデータを受け取る入力手段を有する上述の音楽的空間構成制御装置とを備える。これにより、ユーザ及び楽曲提供者の両者の観点から、より容易に空間処理を行うことができ、選択された空間処理の結果が常に「聴覚的に正しく」、家庭用オーディオシステムに採用されている標準的な録音技術により適合する。
【０１６４】
また、本発明に係る音楽的空間構成制御方法は、オーディオ空間の構成を制御する音楽的空間構成制御方法において、オーディオトラックに関連付けられた複数のオーディオソースからなるオーディオストリームにアクセスするステップと、オーディオストリームの空間構成決定用の規則を表す制約を受け取り及び処理するステップと、制約手段に空間構成決定コマンドを入力するステップとを有し、オーディオソースの特定のグループに作用するグループ化された空間構成決定コマンドに対応するユーザ入力が提供され、オーディオソースのグループは、複数の制約変数が適応される単一のオブジェクトとして処理される。これにより、ユーザ及び楽曲提供者の両者の観点から、より容易に空間処理を行うことができ、選択された空間処理の結果が常に「聴覚的に正しく」、家庭用オーディオシステムに採用されている標準的な録音技術により適合する。
【図面の簡単な説明】
【図１】全ての制約の伝搬処理のフローチャートである。
【図２】１つの制約の伝搬処理のフローチャートである。
【図３】不等式制約の伝搬処理のフローチャートである。
【図４】関数制約の伝搬処理のフローチャートである。
【図５】摂動処理のフローチャートである。
【図６】アカペラレンダリングに対応する表示画面を示す図である。
【図７】活動制約を含むテクノレンダリングに対応する表示画面を示す図である。
【図８】一方向制約を説明するための図である。
【図９】プログラムモードの表示画面を示す図である。
【図１０】聴取モードにおける動的構成処理時の表示画面を示す図である。
【図１１】制約を設定するための表示画面を示す図である。
【図１２】伝搬関数制約のタスクのシーケンスを示す制約伝搬アルゴリズムを示す図である。
【図１３】本発明に基づく処理の包括的な処理手順を示す図である。
【図１４】本発明に基づくシステムアーキテクチャを示す図である。
【図１５】読出タスクと書込タスクの同期を説明するための図である。
【図１６】ストリーミングモデルを説明するための図である。
【図１７】タイマモデルを説明するための図である。
【図１８】３つのトラックのインターレス処理を説明するための図である。
【図１９】本発明が適用される音楽的空間構成処理装置の構成を示す図である。
【図２０】従来の音楽的構成処理装置により表示される聴取者と音源からなる表示画面を示す図である。
【発明の属する技術分野】
本発明は、音源、すなわちサウンドトラックの音楽的空間処理（spatialisation）を聴取者、すなわちユーザにより実時間で制御して、空間ミキシングを行い、いわゆる「マルチチャンネルサウンド」を生成するための音楽的空間構成制御装置、音楽的臨場感形成装置及び音楽的空間構成制御方法に関する。
【０００２】
【従来の技術】
空間ミキシング（spatialised mixing）は、理論的に定義され、オーディオファイル内に格納されている制約（constraint）の組を充足しなくてはならない。このようなオーディオファイルは、オーディオサポート又はオーディオキャリアとも呼ばれる。
【０００３】
コンピュータ音楽の分野において、音楽の空間処理（spatialisation）に関する処理は、長年に亘り、重要な課題となっている。従来より、既存の音信号（sound signal）の音響的環境（acoustic environment）をシミュレートするソフトウェアの開発が盛んに行われている。このような技術の多くは、各サウンドチャンネルの音量の変更、左右の耳の距離を考慮に入れたサウンドチャンネル間の遅延、及び例えば反響処理（reverbration）等の音のフィルタリング技術等を利用し、距離感を再生するものである。このような手法は、１９９５年ＩＣＭＣ会報（Proceedings of ICMC, 1995）におけるジョット・ジェイ−エム（Jot J.-M.）及びワルスフェル・オー（Warusfer O.）著の論文「音楽及び仮想現実アプリケーションのための実時間空間的サウンドプロセッサ（A Real-Time Spatial Sound Processor for Music and Virtual Reality Applications）」に記載されている。例えば、１９９７年シカゴ芸術専門学校（School of the Art Institute of Chicago）において開催された第８回電子芸術国際シンポジウム会報（Proceedings of the 8th International Symposium on Electronic Art）におけるエッケル・ジー（Eckel G.）著、「仮想アーキテクチャによる音空間の研究（Exploring Music Space by Means of Virtual Architecture）」及び１９９６年、ニューライダーズパブリッシング社（New Riders Publishing）、リー・アール（Lea R.）、マツダ・ケー（Matsuda K.）、ミヤシタ・ケー（Miyashita K.）著、「３Ｄ及びＶＲＭＬワールドのためのJava（Java for 3D and VRML worlds）」等に開示されているように、従来の定位技術は、主に仮想現実環境の構築のために用いられている。
【０００４】
これに対し、本発明では、任意の音源が他の音源に対して有する制約に基づいて構築される。
【０００５】
本発明は、音源の位置と画面上の表示の位置とを対応させ、ミュージックスペース（MusicSpace）に互換性を有し、高レベルのユーザ制御を実現することを目的とする。
【０００６】
本発明は、空間処理装置（spatialiser）に接続され、音源を表示するグラフィカルユーザインターフェイス内の制約システムの導入に基づいている。制約システムは、音源の構成に関する様々な制限を表現することができる。例えば、ユーザがインターフェイス又は制御言語を用いてある音源の位置を変更するよう命令した場合、制約システムが起動し、このコマンドに基づく移動が制約に違反しないことが確認される。ＭＩＤＩによる空間処理装置は既に開発され、有効であることが確認されている。このような制約に基づくシステムは、本願出願人による欧州特許出願ＥＰ−Ａ−０９６１５２３号に開示されており、この内容は、参照により本願に組み込まれるものとする。
【０００７】
この欧州特許出願ＥＰ−Ａ−０９６１５２３号に開示された、制約に基づく音の空間処理の方法について、図１９及び図２０を用いて説明する。
【０００８】
記憶装置１には、１以上の音源１０〜１２（例えば、個別の楽器）及びこれら音源の聴取者１３を表すデータが格納されている。これらデータは、音源１０〜１２と聴取者１３のそれぞれの位置に関する情報により構成されている。ユーザは、グラフィックユーザインターフェイスにアクセスし、聴取者１３又は音源１０〜１２を表しているシンボルを選択し、例えばドラッグ等により、選択したシンボルの画面上の位置を変更することができる。すなわち、各シンボルは、変数に関連付けられる。例えば、ユーザは、ユーザインターフェイス装置２を用いて、表示されている１以上の楽器のシンボルの距離と相対的位置を変更することにより、所望の音空間を生成し、すなわち聴取者と他の全ての音源との相対的な位置関係を決定することができる。
【０００９】
新たな音空間が生成されると、制約解決装置３は、ユーザにより作成された音空間を所定の制約に適合させる処理を行う。この処理は、ユーザのコマンドにより選択された音源以外の音源及び／又は聴取者の位置を調整し、制約を充足させる処理を含む。換言すれば、ユーザがユーザインターフェイス装置２を用いていくつかの音源の位置を変更し、これにより「摂動（perturbation）」と呼ばれる状況が生じた場合、制約解決装置３は、１以上の他の音源を移動させ、各音源の配置が設定されている制約に適合するようにする。
【００１０】
図２０は、ユーザインターフェイス装置２上に表示される典型的なグラフィック表示画面２０を示す図であり、音源は、聴取者を表すアイコン１３の周辺に楽器を表すシンボル１０〜１２として表示されている。ユーザインターフェイス装置２は、例えばマウス等の入力装置（図示せず）を備え、ユーザは、この入力装置を用いて、グラフィック表示画面２０上に表示されたオブジェクトの相対的位置を変更及び決定することができる。この処理により入力された音源の空間的配置に関する全ての情報は、制約解決装置３に供給される。
【００１１】
ここで、制約とは、与えられた２つの音源と聴取者間の距離が一定の比を保たなくてはならないという制約、各音源と聴取者との間の相対的距離の積が一定でなくてはならないという制約、聴取者から所定の半径内に音源が存在してはならないという制約、あるいは聴取者に対する音源の相対的角度を制限する制約等である。これら制約は、不等式的な関係に関連して、アルゴリズムにより処理される。
【００１２】
制約解決装置３は、ユーザにより構成された空間を制約に適合させるために他の音源を再調節することができなかった場合、ユーザが指定した配置は実現することができない旨をユーザに通知し、全ての音源を初期の位置に戻す。
【００１３】
制約解決装置３は、制約に関係する音源又は聴取者の他の音源に対する移動により生じた摂動（perturbation）を再帰的に伝搬する制約伝搬アルゴリズム（constraint propagation algorithm）を実行する。欧州特許出願ＥＰ−Ａ−０９６１５２３号に基づくアルゴリズムは、以下のような特徴を有している。
・制約に関連付けられた不等式制約（inequality constraints）については、確認のみを行う。不等式制約が充足されない場合、アルゴリズムは終了し、空間構成のための検索は中止される。
・各関数制約（functional constraints）については、制約に含まれる変数の１つの摂動に応じて、他の変数に新たな任意の値を与える。これにより、与えられた制約に対する単一の任意の解が決定される。これは、与えられた制約について全ての解を検索する通常の制約伝搬アルゴリズムとは異なる処理である。
・与えられた変数が摂動している場合、すなわち、その値がユーザにより変更されている又はアルゴリズムにより新たな任意の値が与えられている場合、この変数は、アルゴリズムの実行期間中は、再び摂動されることはない。例えば、ある変数が２つの異なる制約に含まれ、第１の制約に関してこの変数に新たな任意の値を与えた場合、アルゴリズムは、第２の制約に関連する処理において、この変数に既に割り当てられているこの新たな任意の値を変更することはできない。第２の制約に関連してアルゴリズムが変数に与えようとする新たな任意の値が第１の制約を充足するために選択した値と異なる場合、アルゴリズムは終了し、空間を構成するためのコマンドは拒絶される。
【００１４】
音の空間処理を行うこの他の従来の手法として、１９９９年国際コンピュータミュージック会議会報（Proceedings of the 1999 International Computer Music Conference）におけるパシェ・エフ（Pachet, F.）及びドゥレリュー・オー（Delerue, O.）による論文「ミュージックスペース：音楽空間構築のための制約に基づく制御システム（MusicSpace: a Constraint-Based System for Music Spatialisation）」では、制約パラダイム、すなわち、制約を適用する前後関係の実例の組に基づく音源の空間処理を制御する手法が開示されている。
【００１５】
【発明が解決しようとする課題】
ここで、上述した従来の手法は、いわゆるＭＩＤＩフォーマットに関するものであり、すなわち、ＭＩＤＩ出力又はミキサ装置を用いたＭＩＤＩに基づくデータ通信に関するものであり、したがって応用範囲が制限されている。実際、制約に基づいて各音源を個別に制御するためには、各音源を独立のトラックに割り当て、多数のトラックを管理する必要がある。このため従来の空間処理は、特に音源の数が比較的多い場合、例えばコンパクトディスク（ＣＤ）、デジタルバーサタイルディスク（ＤＶＤ）、ミニディスク（ＭＤ）等の一般的な記録媒体を使用する家庭用オーディオシステムにおいては実現することができなかった。
【００１６】
さらに、ユーザが任意に空間処理を行った場合、制約が厳密に充足させられた場合であっても、音源の構成の本来の調和が保たれなくなる虞もある。実際、個別の調整による音源の再構成は、ユーザに対して必要以上に多くの可能性を与え、ユーザは必ずしも専門的な知識を有しているわけではなく、したがって、不適当な空間処理を行ってしまうこともある。
【００１７】
さらに、このような条件下では、ユーザが行った空間処理が制約により拒絶される可能性も高くなり、したがって、ユーザは、このような装置を使用することが煩わしくなってしまうこともある。
【００１８】
本発明は、音源の定位に臨場感を与えるために、いわゆる３次元サウンドバッファ技術（3D sound buffer technology）とともに実現することができる。この技術は、音源の組に対して実時間で精密な空間処理を行うことができるレベルにまで発達している。しかしながら、この技術は、使用される範囲が極めて狭い範囲に制限されている。第１に、対応する制御レベルは、ソフトウェアとしての完成度が低すぎ、複雑であるため、作曲者及び音響技術者は、３次元の楽曲を作成するためのこの技術を習得することが非常に難しい。その結果、この技術の可能性は、十分に発揮されていない。実際、聴取者は、受動的な受け手と考えられており、聴取者が聴く楽曲の空間的構成を能動的に制御することはできない。
【００１９】
以上の観点から、本発明は、動的なオーディオミキシングの手法及びそのための装置の設計、すなわち、音の拡張の実現に関する技術的課題を解決する上述したミュージックスペース等の実現装置を提供することを目的とする。
【００２０】
動的なオーディオミキシングには以下のような課題がある。
１）作曲者及び音響技術者に対し、空間的及び時間的に容易に楽曲を構成できる強力な理論的枠組（paradigm）を提供する必要がある。
２）同時に、聴取者も、自らが聴く楽曲における空間的構成をある程度制御できる必要がある。
【００２１】
動的なオーディオミキシングは、例えばＭＰＥＧ４やＭＰＥＧ７等の新たな標準化技術に適合し、動的ミキシング制約は、通常のメタデータとして取り扱われる。さらに、楽曲を「オンザフライ（on-the-fly）」ミキシング方式で再構築する発想は、ＭＰＥＧ４におけるシーン記述（scene description）の概念に適合する。さらに、ＭＰＥＧ７に完全に互換性を有する装置及び方法についても研究中である。
【００２２】
本発明は上述の課題に鑑み、ユーザ及び楽曲提供者の両者の観点から、より容易に空間処理を行うことができ、選択された空間処理の結果が常に「聴覚的に正しく」、家庭用オーディオシステムに採用されている標準的な録音技術により適合する音楽的空間構成制御装置、音楽的臨場感形成装置及び音楽的空間構成制御方法を提供することを目的とする。
【００２３】
また、本発明は、ＭＩＤＩに基づく装置に制限されることなく、発達したマルチトラックオーディオファイルを取り扱うフルオーディオシステムを実現する音楽的空間構成制御装置、音楽的臨場感形成装置及び音楽的空間構成制御方法を実現することを目的とする。
【００２４】
【課題を解決するための手段】
上述の目的を達成するために、本発明に係る音楽的空間構成制御装置は、複数のオーディオソースについての複数のオーディオトラックを含むオーディオストリームについて、実時間で、複数のオーディオソースについてのオーディオ空間の構成を制御する音楽的空間構成制御装置において、上記オーディオストリームに含まれる複数のオーディオソースの各々を、ユーザにより配置を操作可能なオブジェクトにより表示するインターフェイス手段と、オーディオストリームに含まれる複数のオーディオソースのうちの、一部の複数のオーディオソース間の空間配置についての制約を記憶する記憶手段と、上記インターフェイス手段におけるユーザ操作に基づく上記複数のオーディオソースの配置が上記制約を満たすか否かを判定する制約処理手段と、上記オーディオストリームにアクセスするアクセス手段とを有し、上記インターフェイス手段は、上記記憶手段にオーディオソース間の空間配置の制約が記憶されている上記一部の複数のオーディオソースを、ユーザ操作可能な単一のオブジェクトで表示し、上記制約処理手段は、上記インターフェイス手段の表示における上記単一のオブジェクトの配置に基づく上記一部の複数のオーディオソースの配置が、上記記憶手段に記憶されている上記一部の複数のオーディオソース間の空間配置についての制約に適合するか否かを判定し、上記アクセス手段は、上記制約処理手段において上記一部の複数のオーディオソース間の空間配置についての制約を満たすと判定された場合に、上記オーディオストリームにアクセスし、そのユーザ操作に基づく配置に基づくオーディオ空間の構成により制御する。
【００２５】
好適には、上記制約処理手段は、上記インターフェイス手段の表示における上記単一のオブジェクトの配置に基づく上記一部の複数のオーディオソースの配置が、上記記憶手段に記憶されている上記一部の複数のオーディオソース間の空間配置についての制約に適合しない場合には、上記オーディオソース間の制約に適合するように上記一部の複数のオーディオソースの配置を調整し、上記アクセス手段は、上記制約処理手段により調整されたオーディオソース間の配置に基づいて上記オーディオストリームにアクセスし、調整された配置に基づくオーディオ空間の構成により制御する。
【００２６】
好ましくは、上記制約は、設計者により宣言されて、上記記憶手段に記憶される。
【００２７】
また、好ましくは、上記制約は、上記インターフェイス手段を用いて、まず制約すべきオブジェクトを選択し、続いてボタンにより表示された制約をクリックすることにより設定され、上記インターフェイス手段において、制約に係るオブジェクトからの引出線によりリンクされた小さなボールとして表示され、上記インターフェイス手段を用いて、上記制約の設定と、ユーザによるオーディオソースの配置とが設定される。
【００２８】
上記制約は、複数のオーディオソースをグループ化して、当該複数のオーディオソースについてのオブジェクト間の距離を一定に保つものを含んでよい。
好ましくは、複数のオーディオソースは、一定距離比制約によりリンクされることにより、グループ化される。
【００２９】
包括的コマンドは、通常、アコスティックパート及びシンセサイザパートにそれぞれ対応する２つのグループ等のように複数のオーディオソースのグループ間のバランスと、グループの位置を同時に比例させて変更する音量レベルとのうちの少なくともいずれか一方を含む。
【００３０】
好ましくは、制約は一方向制約であり、各制約は、ユーザがインターフェイス手段を介して入力した入力変数と出力変数の組を含む。
【００３１】
本発明に係る音楽的空間構成制御装置は、インターフェイス手段を介して入力されたオーディオソースのグループ及びグループの構成要素に作用する制約パラメータに関するミキシング制約を記録するプログラムモードを有するものであってもよい。
【００３２】
さらに、インターフェイス手段は、対応するアイコンにより各制約を表現し、制約を表現するアイコンは、制約が課されるオブジェクトに視覚的にリンクされて表示される。
【００３３】
制約は、オーディオストリームに関連付けられたメタデータとして記録されるものであってもよい。
【００３４】
各制約は、変数部分と制約部分からなるデータ文字列により表されるものであってもよい。
【００３５】
さらに、変数部分は、その変数がオーディオトラックに作用するかグループに作用するかを示す変数タイプと、トラック識別データと、変数名と、変数アイコンと、各トラック変数に対する個別音量と、ｘｙ座標で表される初期位置データとのうちの少なくとも１つを表す。
【００３６】
一方、制約部分は、制約タイプと、個別のトラックを識別する制約変数と、入力変数のリストと、出力変数のリストと、制約位置と、制約方向とのうちの少なくとも１つを表す。
【００３７】
この音楽的空間構成制御装置において、空間構成決定用の複数のオーディオソースは、光ディスク又はハードディスク等の共通の記録媒体から読み出されるものであってもよい。
【００３８】
また、制約は、共通の記録媒体からメタデータとして読み出されるものであってもよい。
【００３９】
さらに、メタデータ及びオーディオストリームが記録されているトラックは、例えばＷＡＶフォーマット等に基づく共通のファイルから読み出されるものであってもよい。
【００４０】
この音楽的空間構成制御装置は、共通のファイルを読み出し、オーディオデータ及び制約を表すメタデータにアクセスして、共通のファイルに含まれる個別のトラックからオーディオストリームの組を再生し、及び共通のファイルにエンコードされているメタデータの詳細を再生するオーディオデータ／メタデータデコード手段を備えていてもよい。
【００４１】
この音楽的空間構成制御装置は、コンピュータオペレーティングシステムとサウンドカード間のインターフェイスとして実現してもよい。
【００４２】
また、音楽的空間構成制御装置は、サウンドカード及びサウンドカードのメモリ内に物理的に配設されている３次元オーディオバッファリング手段と連携し、サウンドカードの３次元アクセラレーション機能を使用するものであってもよい。
【００４３】
さらに、音楽的空間構成制御装置は、バッファリング手段への書込タスクを制御する待機可能タイマを備えていてもよい。
【００４４】
この音楽的空間構成制御装置において、入力手段は、共通ファイルにインターレースされているオーディオストリームのオーディオトラックにアクセスするものであってもよい。
【００４５】
音楽的空間構成制御装置は、３次元サウンドバッファと連携して定位制約を導入するものであってもよい。
【００４６】
好ましくは、制約は、関数制約又は不等式制約であり、循環的制約は、伝搬アルゴリズムが矛盾を検査することにより処理される。
【００４７】
音楽的空間構成制御装置は、個別のオーディオソースと、制約及び関連する制約変数を記述するデータベースとをインターレースして共通のオーディオファイルにエンコードするエンコード手段を備えていてもよい。
【００４８】
さらに、音楽的空間構成制御装置は、エンコード手段に対応して、共通のオーディオファイルをデコードするデコード手段を備えていてもよい。
【００４９】
好ましくは、この音楽的空間構成制御装置は、各楽曲に関する制約及び関連する制約変数を記述するデータベースが入力され、空間構成決定コマンドを生成する制約システムモジュールと、エンコード手段からの上記オーディオストリームの組と、制約システムモジュールからの空間構成決定コマンドとが入力される空間構成制御モジュールとを備える。
【００５０】
音楽的空間構成制御装置は、好ましくは、オーディオソース用の書込タスク及び読出タスクが同期され、オーディオファイルからのオーディオストリームを空間構成制御モジュールに中継し、各楽曲に対する制約及び制約に関連する変数を記述するデータベースを空間構成制御モジュールに中継する３次元サウンドバッファ手段を備える。
【００５１】
さらに、音楽的空間構成制御モジュールは、制約システムモジュールと空間構成制御モジュールとを接続するスケジューラ手段を備える。
【００５２】
さらに、音楽的空間構成制御モジュールは、静的オーディオセカンダリバッファ手段を備える。
【００５３】
音楽的空間構成制御装置は、さらに、書込タスクを所定の間隔で呼び出すタイマ手段を備えていてもよい。
【００５４】
また、空間構成制御モジュールは、遠隔制御可能なミキシング装置であってもよい。
【００５５】
また、制約手段は、検査アルゴリズムを実行するように構成されていてもよい。
【００５６】
また、上述の課題を解決するために、本発明に係る音楽的臨場感形成装置は、共通のデータ記録媒体からオーディオストリームデータと、空間構成決定のための制約を表すデータとを読み出すデータ読出手段を有するパーソナルコンピュータと、データ読出手段からデータを受け取る入力手段を有する上述の音楽的空間構成制御装置とを備える。
【００５７】
このパーソナルコンピュータは、データ読出手段から抽出されたコンテンツを格納する３次元サウンドバッファを備えているとよい。
【００５８】
さらに、この３次元サウンドバッファは、ダイナミックリンクライブラリにより制御されるものであってもよい。
【００５９】
また、上述の課題を解決するために、本発明に係る記録媒体は、上述の音楽的空間構成制御装置に使用され、オーディオストリームを表す複数のトラックと、処理制約を表すデータとが格納されている。
【００６０】
この記録媒体において、複数のトラックと処理制約を表すデータとは共通のファイルとして記録されているとよい。
【００６１】
好ましくは、処理制約を表すデータは、トラックに関するメタデータとして記録されている。
【００６２】
さらに、トラックはインターレースされているとよい。
【００６３】
この記録媒体は、コンパクトディスク、デジタルバーサタイルディスク、ミニディスク等のデジタル記録媒体であるとよい。
【００６４】
特に、この記録媒体は、コンピュータハードディスクであるとよい。
【００６５】
また、上述の課題を解決するために、本発明に係るコンピュータプログラム製品は、上述の音楽的空間構成制御装置をコード化して、汎用コンピュータの内部メモリユニットにロードされ、汎用コンピュータにより実行され、音楽的空間構成制御装置の構成要素を実現するソフトウェアコードからなる。
【００６６】
さらに、上述の課題を解決するために、本発明に係る音楽的空間構成制御方法は、複数のオーディオソースについての複数のオーディオトラックを含むオーディオストリームについて、実時間で、複数のオーディオソースについてのオーディオ空間の構成を制御する音楽的空間構成制御装置での音楽的空間構成制御方法であって、上記音楽的空間構成制御装置が、上記オーディオストリームに含まれる複数のオーディオソースの各々を、ユーザにより配置を操作可能なオブジェクトにより表示するインターフェイス手段と、オーディオストリームに含まれる複数のオーディオソースのうちの、一部の複数のオーディオソース間の空間配置についての制約を記憶する記憶手段と、上記インターフェイス手段におけるユーザ操作に基づく上記複数のオーディオソースの配置が上記制約を満たすか否かを判定する制約処理手段と、上記オーディオストリームにアクセスするアクセス手段とを有し、上記インターフェイス手段が、上記記憶手段にオーディオソース間の空間配置の制約が記憶されている上記一部の複数のオーディオソースを、ユーザ操作可能な単一のオブジェクトで表示し、上記制約処理手段が、上記インターフェイス手段の表示における上記単一のオブジェクトの配置に基づく上記一部の複数のオーディオソースの配置が、上記記憶手段に記憶されている上記一部の複数のオーディオソース間の空間配置についての制約に適合するか否かを判定し、上記アクセス手段が、上記制約処理手段において上記一部の複数のオーディオソース間の空間配置についての制約を満たすと判定された場合に、上記オーディオストリームにアクセスし、そのユーザ操作に基づく配置に基づくオーディオ空間の構成により制御する。
【００６７】
【発明の実施の形態】
以下、本発明に係る音楽的空間構成制御装置、音楽的臨場感形成装置、及び音楽的空間構成制御方法について図面を参照して詳細に説明する。
【００６８】
本発明の好ましい実施の形態を説明するにあたり、まず、本発明が実現される「ミュージックスペース（MusicSpace）」と呼ばれるシステムの概要を説明し、続いて、本発明により実現される基礎的な概念のさらなる説明を行う。
【００６９】
音楽空間システム
ミュージックスペース（MusicSpace）は、空間処理装置（spatialiser）への高レベルのコマンドを生成するユーザインターフェイスである。ミュージックスペースのインターフェイス及び制約解決アルゴリズムの特徴については、１９９９年、中国北京で開催された国際コンピュータミュージック会議の会報（Proceedings of the 1999 International Computer Music Conference）におけるパシェ・エフ（Pachet, F.）及びドゥレリュー・オー（Delerue, O.）による論文「ミュージックスペース：音楽空間構築のための制約に基づく制御システム（MusicSpace: a Constraint-Based System for Music Spatialisation）」及び、１９９８年、ブリストルで開催されたＡＣＭマルチメディア会議の会報（Proceedings of the 1998 ACM Multimedia Conference）におけるパシェ・エフ及びドゥレリュー・オーによる論文「時間的制約に基づく音楽空間処理装置」に開示されている。
【００７０】
ミュージックスペースの基礎的な発想は、ウィンドウ内に聴取者を表すシンボルと、音源を視覚的に表示するものであり、この方法は、例えば欧州特許出願ＥＰ−Ａ−０９６１５２３号にも開示されている。このウィンドウ内において、ユーザは、聴取者を表すアイコン又は楽器を表すアイコンを移動させることができる。音源の聴取者の位置に対する相対的関係により、距離を音量及びパノラマ的制御（panoramic controls）にマッピングする単純な幾何的な規則に基づいて、楽曲全体のミキシングが決定される。
【００７１】
音源の実時間によるミキシングは、ミュージックスペースから例えばミキシングコンソール、ＭＩＤＩ空間処理装置（MIDI Spatialiser）又は上述のジョット及びワルスフェル（Jot and Warusfel）により開示されているようなより高度な空間処理装置等が接続されている装置にコマンドを送信することにより実行される。
【００７２】
図１〜図５は、欧州特許出願ＥＰ−Ａ−０９６１５２３号に開示されている発明に基づく制約アルゴリズムを用いた処理の手順を示すフローチャートである。具体的には、図１は、「全ての制約の伝搬（propagateAllConstraints）」と称す処理のフローチャートであり、パラメータとして、変数Ｖと値New Valueを有する。図２は、「１つの制約の伝搬（propagateOneConstraint）」と称す処理のフローチャートであり、パラメータとして、制約Ｃと変数Ｖを有する。図３は、「不等式制約の伝搬（propagateInequality/Constraint）」と称す処理のフローチャートであり、パラメータとして、制約Ｃを有する。図４は、「関数制約の伝搬（propagateFunctionalConstraint）」と称す処理のフローチャートであり、パラメータとして、制約Ｃと変数Ｖを有する。図５は、「摂動」処理のフローチャートであり、パラメータとして、変数Ｖ、値New Value及び制約Ｃを有する。
【００７３】
図１に示す「全ての制約の伝搬」処理は、本発明におけるアルゴリズムの主な流れを示している。この処理におけるパラメータの組に含まれる変数Ｖは、ユーザが動かした聴取者又は音源（以下、要素ともいう。）の位置、すなわち座標（０，ｘ，ｙ）における位置に対応している。この処理におけるパラメータの組に含まれる値New Valueは、ユーザによって変更された後の位置の値に対応している。ステップＳ１は、初期化ステップであり、この処理において用いられる様々な局所的な変数が初期化される。ステップＳ２において、変数Ｖを含む制約の組の中の各制約Ｃに対して、後述の「１つの制約の伝搬」と称する処理が呼び出される。ステップＳ３において、ユーザが活性化した全ての制約Ｃが充足されたかを判定することにより、制約Ｃに基づく問題の解が見つかったか否かが判定される。具体的には、結果が真であるか否かが判定され、該当するときはステップＳ４に進み、該当しないときはステップＳ５に進む。ステップＳ４において、制約解決装置３により音源及び聴取者（要素）の元の位置が新たな位置で置換され、新たな位置がユーザインターフェイス装置２及びコマンド発生装置４に供給される。一方、ステップＳ５において、ユーザが動かした要素は、元の位置に戻され、それ以外の要素の位置は変更されず、「解が見つかりません」というメッセージがグラフィック表示画面２０に表示される。
【００７４】
図２に示す「１つの制約の伝搬」処理では、ステップＳ１１において、制約Ｃが関数制約か不等式制約かが判定され、制約Ｃが関数制約である場合は、ステップＳ１２に進み、制約Ｃが不等式制約である場合は、ステップＳ１３に進む。ステップＳ１２において、この制約Ｃに対して、後述の「関数制約の伝搬」と称す処理が呼び出される。一方、ステップＳ１３において、この制約Ｃに対して、後述の「不等式制約の伝搬」と称す処理が呼び出される。
【００７５】
図３に示す「不等式制約の伝搬」では、ステップＳ２１において、制約解決装置３は、単に不等式制約Ｃが充足されているかを判定し、該当するときはステップＳ２２に進み、該当しないときはステップＳ２３に進む。ステップＳ２２において、アルゴリズムが続行される。一方、ステップＳ２３において、ブール変数「結果（result）」が偽（false）とされ、図１におけるステップＳ５に戻り、アルゴリズムが終了する。
【００７６】
図４に示す「関数制約の伝搬」処理では、ステップＳ３１において、結果の初期化が行われる。続いて、ステップＳ３２において、制約Ｃに含まれる変数の組の中の変数Ｖとは異なる各変数Ｖ’に対し、パラメータとして、制約Ｃ及び変数Ｖ，Ｖ’を有する後述の「値の演算」が呼び出されるとともに、「値の演算」処理によって算出された値NewValueに基づいた後述の「摂動」と称す処理が呼び出される。
【００７７】
「値の演算」処理の役割は、変数Ｖの新たな値と、関数制約である制約Ｃに基づいて、変数Ｖ’に任意の値を与えることである。理解しやすいように、それぞれＸ，Ｙ，Ｚで表される３つの変数を含んだ制約の一般的な例を用いて、この処理を説明する。変数Ｘ，Ｙ，Ｚにリンクした関数制約は、次式で表される。
【００７８】
Ｘ＋Ｙ＋Ｚ＝定数
ここで、変数Ｘの値が、ユーザによって変更されると、制約解決装置３は、制約の充足を維持するために、変数Ｙ，Ｚの値を変更する。Ｘの１つの値に対して、変数Ｙ，Ｚに対する解は無限にある。ユーザによって変数Ｘの値が変更されると、変数Ｙ，Ｚに任意の値が与えられ、１つの解が導き出される。例えば、変数Ｘの値がδだけ増加すると、変数Ｙ，Ｚの各値をδ／２だけ増加するように決定することができる。
【００７９】
このような任意の値への変更は、本発明においては、二元でない制約、すなわち２つの変数を含む制約に対して実行される。Ｘ＋Ｙ＝定数のような二元の制約では、ユーザによって摂動される以外の変数の値は、以下のように直接的に求めることができる。
【００８０】
Ｙ＝定数−Ｘ
音源の位置に関する上述した関数制約、すなわちグラフィカルオブジェクトを関連させる制約及びグラフィカルオブジェクトを関連させない制約における「値の演算」処理について説明する。
【００８１】
制約が、グラフィカルオブジェクトを関連させる制約である場合、「値の演算」処理は、次式に示す比率計算を含む。
【００８２】
比率＝‖NewValue(V)−Ｓ０‖／‖Value(V)−Ｓ０‖
ここで、NewValue(V)は、摂動された変数Ｖの新たな値であり、Value(V)は、変数Ｖの元の値であり、Ｓ0は、聴取者の位置である。すなわち、この比率は、変数Ｖで表される音源と聴取者間の現在の距離を、変数Ｖで表される音源と聴取者間の元の距離で割ったものである。
【００８３】
そして、変数Ｖ’に与えられる値NewValueは、次のように算出される。
【００８４】
NewValue＝(Value(V')−Ｓ０)×比率＋Ｓ０
ここで、Value(V')は、変数Ｖ’の元の値である。
【００８５】
すなわち、変数Ｖの値の変更に応じて、グラフィカルオブジェクトを関連させる制約によってリンクされた変数Ｖ’の値が変更され、それに伴い、変数Ｖ’で表される音源と聴取者間の距離が、変数Ｖの場合と同じ比率で変更される。
【００８６】
一方、制約が、グラフィカルオブジェクトを関連させない制約であるとき、「値の演算」処理は、上述した同じ比率を有するの演算と、変数Ｖ’に与えられる新たな値NewValueを算出する演算とを含む。
【００８７】
比率＝‖NewValue(V)−Ｓ０‖／‖Value(V)−Ｓ０‖
NewValue=（Value(V')−Ｓ０）×比率１／（Ｎｃ−１）＋Ｓ０
ここで、Ｎcは、制約Ｃに含まれる変数の数である。
【００８８】
すなわち、変数Ｖの値の変更に応じて、グラフィカルオブジェクトを関連させない制約によって変数Ｖにリンクされた各変数Ｖ’に、音源と聴取者間の距離を一定に保つような任意の値が与えられる。
【００８９】
「関数制約の伝搬」処理のステップＳ３２において、上述した「値の演算」処理によって変数Ｖ’に新たな任意の値が与えられた後に、「摂動」処理が実行される。「摂動」処理は、変数Ｖ’から摂動を、制約Ｃとは異なる制約Ｃ’を介して変数Ｖ’にリンクした全ての変数に伝搬するものである。
【００９０】
このアルゴリズムの中心は、Ｓｉを元の変更された音源とし、NewValueをユーザにより指定された値として、処理の伝搬（Ｓｉ, NewValue）を行うことである。
【００９１】
本発明では、この空間処理システムを発展させ、高レベルなコマンド言語を使用して、個別の音源ではなく、関連する音源のグループを移動させる。この新たな高レベルのコマンドは、任意の空間処理システムに使用することができる。
【００９２】
ミュージックスペースの基本的な設計については、上述した通りであり、以下では、オーディオバージョン（audio version）に関する技術的側面について説明する。
【００９３】
ここに説明するシステムは、次の２つのモジュールからなる。すなわち、１）高レベルの空間処理コマンドを生成する制御装置と、２）実時間の空間処理及び音源のミキシングを行う空間処理モジュールである。制御システムは、ＭＩＤＩシェアオペレーティングシステム（１９９９年、国際コンピュータミュージック会議会報、フォバー・ディー（Fober, D.）レッツ・エス（Letz, S.）オーラレイ・ワイ（Orlarey, Y.）著「ＭＩＤＩシェアジョインズザオープンソースソフトウェア（Midishare joins the Open Source Software）」）及びJavaに基づく制約解決装置及びユーザインターフェイス装置により実現される。空間処理モジュールは、基礎となるオペレーティングシステムに対するインターフェイス（例えば、マイクロソフトDirectX（Microsoft DirectX）、オンライン情報http://msdn.microsoft.com/directx/crosoft.com/directx/（ＡＰＩホームページ、ダウンロード及び文書）及びhttp://www.directx.com/://www.directx.com/（伝搬関連）参照）、及びサウンドカードを備える。
【００９４】
ミュージックスペースは、空間処理の分野以外に、以下のような状況に応用して使用することができる。すなわち、ａ）実時間データのストリーム離散パラメータにより制御される（例えば、距離、パン、方向等により制御される音源のストリームである）状況、及び／又は、ｂ）これらパラメータ間の関係が制約又は制約の組み合わせとして表現できる状況である。
【００９５】
このような状況は、作曲、音の合成（synthesis）、実時間制御等の作業時に頻繁に発生する。他の応用例としては、例えば、他の音源の周りを自動的に周回する音源又は、制約により定義された経路を自動的に移動する音源等、音源の自動活動（automatic animation）がある。
【００９６】
ミュージックスペース及び関連事項に関する情報は、http://www.csl.sony.fr/MusicSpace/MusicSpaceからも入手できる。
【００９７】
動的ミキシング（ Dynamic Mixing ）
音楽を聴く側でミキシング処理を行えるようにすることにより、音楽を聴く楽しみは向上する。例えばステレオ、ドルビー（Dolby）、ＤＴＳ等の方式に基づいてミキシング処理され、聴取者側では、単に再生するだけの音楽提供の方法とは異なり、動的ミキシングでは、オーディオトラックを個別に提供し、聴取者が聴取時にこれら分離された個別のオーディオトラックをミキシング又は空間処理することができる。
【００９８】
この動的ミキシングを実現するために、複数のオーディオトラックには、これらのオーディオトラックをどのようにミキシングし、音源間でどのような関係を維持することが重要かを記述する命令の組が添付される。オーディオトラックを分離する方式の融通性の他に、いわゆる「オンザフライ（on-the-fly）」ミキシングは、聴取者に対してさらなる自由を与える。すなわち、聴取者は、単一の楽曲に複数のミキシング状態を与えることができ、したがって、楽曲に対するレンダリング（rendering）を選択して、特定の音楽的次元（musical dimension）を強調し、又は聴取者の嗜好に適合させることができる。
【００９９】
音楽的レンダリング（Musical Rendering）
本発明によれば、与えられた楽曲の個別のトラックにアクセスすることができ、同一の音源の組に対し複数の構成（arrangement）を作成することができる。複数の音源は、「ハンドル（handles）」としてユーザに与えられる。第１の可能性として、もちろん、普及している標準的なコンパクトディスクと同様の元のミキシングを再生することができる。さらに、後述するように、音源の構成を変形して定義することもできる。
【０１００】
図６は、ある楽曲の「アカペラ（a capella）」レンダリングの例を示す図である。アカペラスタイルを実現するために、高調波成分を発生する全ての楽器は、ミュートされ、すなわち対応するアイコンに×印が付される。リードシンガー、バックボーカル等の様々なボーカルトラックは、ミュートされず、聴取者の近くに配置される。ドライミックス（dry mix）を回避するために、ドラム及びベースの一部の音は出力されるが、聴取者からやや遠くに配置される。ここで、このユーザインターフェイス装置の表示画面は、本発明に基づき、個別の楽器を表示するのではなく、楽器のグループを符号Ｈで指示する対応するアイコン、すなわち「ハンドル」により集合的に表示している。これらハンドルは、例えば、アコスティック、ストリングス、ベース、ドラム等に対応する。この具体例では、各パーカッションの音源は、単一の組にまとめられている。
【０１０１】
これらと同じ音源の組を用いて、後述する「アンプラグド（unplugged）」や活動ミキシング（animated mix）等、他のレンダリングを作成することもできる。
【０１０２】
図７は、同じ楽曲の「テクノ（techno）」レンダリングを示す。テクノレンダリングは、テクノハンドルをアクティブにすることにより得られる。ここでは、シンセサイザ及びリズム楽器が強調され、聴覚的空間（auditory scene）の正面に配置される。結果の一貫性を維持するために、ボーカル及びアコスティック楽器はミュートせず、後方に配置し、これにより聴取者にとって目立たないようにしている。
【０１０３】
ミキシング結果に変化を与えるために、この表現では活動制約（animated constraints）を用いる。ストリングス、音響効果（sound effects）、及びテクノトラック用のハンドルのグループは、互いに回転制約（rotating constraint）に関連付けられ、それぞれがユーザに近付くたびに、これらストリングス、音響効果、テクノトラックが周期的に強調される。ドラムトラック及びベーストラックも回転制約に関連付けられているが、ドラムトラック及びベーストラックは、角度制限制約により、左右を往復する動きとなる。
【０１０４】
欧州特許出願ＥＰ−Ａ−０９６１５２３号に開示されているアルゴリズムは、潜在的に全ての変数を入力及び出力の両方として取り扱うが、本発明は、１つの制約について、任意の変数を入力及び／又は出力として特定することができる。この方法を図８を用いて説明する。各制約Ｃには、いわゆる「入力変数」と称されるリストと、「出力変数」と称されるリストとが与えられる。図８に示す例では、入力変数は、Ｖ１、Ｖ２、Ｖ３、Ｖ６であり、出力変数は、Ｖ２、Ｖ３、Ｖ５、Ｖ６である。
【０１０５】
これらの２つのリストの内容は、図９に示すグラフィカルユーザインターフェイスを介して、ユーザにより決定される。このインターフェイス画面は、プログラミングされた制約に基づくグループ間の関係を示すリンクを表している。これらリンクに対しては、ユーザインターフェイス装置に対する適切な入力コマンドにより、挿入、移動、削除等の処理を行うことができる。
【０１０６】
これにより、特定の制約に基づいて音源をグループ化することができる。このようにグループ化された音源の組は、許容できる解とともに制約解決アルゴリズムを適用できる統一性のある集合（coherent whole）を形成する。ユーザインターフェイスのレベルでは、音源ではなく、例えばアコスティック、ストリングス、ボーカル等、上述した音源のグループが表示される。これにより、各音源を個別の入力変数とすることにより生ずる矛盾を含む空間処理（conflicting spatialisation）をユーザが行ってしまう可能性がなくなる。すなわち、本発明によれば、ユーザは、集合的なコマンドを用いて、表示されている１以上の音源のグループの位置を変更することができる。内部の一貫性により、入力された位置変更のコマンドは、制約解決装置により許可されるものである可能性が高くなる。
【０１０７】
高レベルハンドル（High level handles）
本発明に基づくユーザの「ハンドル」は、音源のグループとこれら音源に関連する制約を単一のインターフェイスオブジェクトに内包させたものである。これらハンドルは、いわゆる「一方向制約（one way constraints）」により実現され、この一方向制約は、基本的な制約解決装置の機能を僅かに拡張することにより得られる。これらハンドルにより、ユーザは、全体のミキシングを動的に変更することができる。このように、与えられた構成において複数のハンドルが共存でき、従来変更できなかった唯一のミキシングに対し、統一性のある変化の組をユーザに提供できる。
【０１０８】
図１０に示す具体例では、音源は表示されておらず、ユーザは、所定の楽曲に対して特別に生成され、表示された１組のハンドルＨのみにアクセスする。この例では、ユーザは、第１のハンドルＨ−１を音源のアコスティックパートの調整に割り当て、第２のハンドルＨ−２をシンセサイザ楽器の調整に割り当て、第３のハンドルＨ−３をドラムの調整に割り当て、第４のハンドルＨ−４をボーカルの調整に割り当てている。さらに、この具体例では、アコスティックパートとシンセサイザパート間のバランス制御を行うためのプラグハンドルと称されるハンドルＨＰを設けている。このプラグハンドルＨＰを聴取者Ｌに近付けることにより、シンセサイザパートが強調され、アコスティックパートが目立たなくなる。逆に、プラグハンドルＨＰを聴取者Ｌから遠ざけることにより、アコスティックパートが強調され、シンセサイザパートが目立たなくなる。同様に、ボリュームハンドルＨＶも設けられており、このボリュームハンドルＨＶにより、全ての音源の位置を同時に一定の比で変更させることができる。
【０１０９】
図１０に示す具体例では、制約システムを拡張して使用し、音源（例えば、図６に示す）及び対応するハンドルＨ間の対応関係を構築する。
【０１１０】
図９は、本発明に基づくユーザインターフェイスのプログラムモードを示す。このプログラムモードでは、空間処理される全ての要素（element）、すなわちハンドルＨ、音源、制約、一方向制約が表示される。
【０１１１】
制約及びミキシング一貫性（Constraints and Mixing Consistency）
ユーザが音源の構成を変更し、すなわちミキシングを行うにあたり、ユーザは、統一性のある（coherent）聴き心地のよいミキシングを行うために必要な知識を必ずしも有していない。実際、音響技術者の知識を明確に表現することは難しい。基礎的な操作は、フェーダ又はノブ等の操作子を介して行われる。しかしながら、ミキシングは、それ以上単純化できない操作（irreducible actions）の構成（composition）として定義される高レベルの操作を含む。例えば、音響技術者は、全ての録音レベルが常に合理的な範囲内に設定されることを望む。一方、複数の音源は、他の音源に論理的に依存していることがある。例えば、リズムセクションは、ベーストラックと、ギタートラックと、ドラムトラックから構成されていることがある。
【０１１２】
この他の典型的なミキシング操作として、楽器又は楽器のグループに境界を割り当て、その楽器又は楽器のグループを常に与えられた空間的範囲内に留まらせる操作がある。このような操作の結果、ある音源の音量を他の音源から独立させて設定することができなくなる。通常、フェーダを上げると、他のフェーダ又は他のフェーダのグループが下がる。
【０１１３】
音の空間処理に関するこの種の知識は、制約の組としてエンコードされ、ミュージックスペースに統合された効率的な制約伝搬アルゴリズムにより実時間で解釈される。制約は、常に充足されるべき関係である。制約は、設計者により叙述的に宣言され、これにより複雑なアルゴリズムをプログラミングする必要がなくなる。制約伝搬アルゴリズムは、特に、１９９６年、「知識に基づくシステム」、エルスビエ、第９巻−７、第４４９〜４６４頁（Knowledge-Based System, Elesvier, vol.9, n7, pp.449-464）に掲載されているハウワー・ダブリュー（Hower, W.）、グラフ・ダブリュー・エイチ（Graf W.H.）による論文「ＣＡＤ、グラフィクス、レイアウト、視覚化及び関連するトピックへの制約に基づくアプローチに関する文献概観（a Bibliographical Survey of Constraint-Based Approaches to CAD, Graphics, Layout, Visualization, and related topics）」に記載されているグラフィカルインターフェイスのレイアウト管理のための応答システム（reactive system）の構築に関連している。
【０１１４】
音源間の「関心のある（interesting）」関係を特定する手法は、欧州特許出願ＥＰ−Ａ−０９６１５２３号に開示されている。この文献には、以下のような制約を定義している。
・不等式‖ｐi−ｌ‖＞ａi,j＞‖ｐj−ｌ‖で表されるオブジェクトを関連させる制約（related-objects constraints）。ここで、ｐi及びｐjは、２つの異なる音源の位置であり、ａi,jは、所定の定数である。
・オブジェクトを関連させない（リンクさせない）制約（anti-related (anti-link) object）。これは、制約に含まれる音源と聴取者間の距離の和を一定に維持することを定めるものであり、すなわち、ｉ＝１〜ｎとして、和‖ｐｉ−１‖＝定数とするものである。
・半径を制限する制約。この制約は、聴取者と制約に含まれる音源間の距離が所定の範囲内にあることを定めるものである。すなわち、この制約は、各音源について次のような式で表される。‖ｐi−ｌ‖≧αinf-i、ここで、αinf-iは、位置ｐiの音源に課された半径の下限を示し、及び／又は‖ｐi−ｌ‖≦αsup-i、ここでａsup-iは、位置piの音源に課された半径の上限を示す。
・角度制約（angular constraints）。この制約は、制約が課せられる音源の聴取者に対する角度が所定の範囲内にあるように規定するものである。
【０１１５】
ミキシングに関する制約の多くは、音源の集合と聴取者とを含む。本発明に基づく最も有効な制約の幾つかを以下に示す。
・一定エネルギレベル（Constant Energy Level）
この制約は、複数の音源間のエネルギレベルを一定とすることを課する制約である。直感的に、一方の音源が聴取者に近付けられると、他方の音源が聴取者から遠ざけられ、逆に、一方の音源が聴取者から遠ざけられると、他方の音源が聴取者に近付けられる。
・一定角度オフセット（Constant Angular Offset）
この制約は、複数の音源間の角度を一定とすることを課する制約である。この制約は、音源の空間的構成を維持し、すなわち、２つのオブジェクトと聴取者により形成される角度を一定に保つ。
・一定距離比（Constant Distance Ratio）
この制約は、２以上のオブジェクトから聴取者までの距離の比を一定に保つことを課する制約である。
・音源の半径制限（Radial Limits of Sound Sources）
この制約は、音源の位置を制限された半径により規定される範囲内に制限する制約である。この範囲は、聴取者の表現を中心とする円により定義される。
・グループ化制約（Grouping constraint）
この制約は、ｎ個の音源の組をグループ化する、すなわち、聴取者の表現の位置にかかわらず、これらオブジェクト間の距離を一定に保つことを課する制約である。
【０１１６】
他の典型的な制約として、位置に関連しない変数（non-geographical variables）を有する象徴的制約（symbolic constraints）がある。例えば、「非両立制約（incompatibility constraints）」は、同時に２つ以上の音源を発音しない、すなわち、最も近い音源のみを発音し、他の音源をミュートする。他の複雑な制約としては、「等化制約（Equalizing constraint）」があり、これは、ミキシング全体の周波数をイコライザの周波数範囲内に制限する制約である。例えば、音の全体の周波数スペクトルを平坦にする。
【０１１７】
制約アルゴリズム
上述の制約の例から、制約には以下の特性があることがわかる。
・制約は、線形ではない。すなわち２つ以上の音源間の一定エネルギレベルは、線形ではない。
・制約の全てが関数的ではない。すなわち音源の位置の制限は、通常、不等式制約である。
・制約は循環（cycles）を生じる。例えば、単に一定エネルギレベル制約及び一定角度オフセット制約によりリンクされた２つの音源は、既に循環的制約グラフを生じている。
【０１１８】
好ましい実施の形態において、制約アルゴリズムは、単純な伝搬スキームに基づいており、これにより関数制約及び不等式制約を処理することができる。制約アルゴリズムは、単に制約をチェックすることにより循環を処理する。制約アルゴリズムの重要な特徴は、伝搬処理（propagation procedures）を定義することにより、新たな制約クラスを容易に追加できる点にある（上述のPahchet and Delerue 1998, 参照）。
【０１１９】
制約システムの拡張
本発明に基づく方法には、上述したハンドルＨにより識別される新たな制約変数が含まれる。これらオブジェクトは、特定のオーディオトラックに割り当てられない制約変数である。
【０１２０】
本発明の好ましい実施の形態では、制約伝搬メカニズムを拡張し、いわゆる一方向制約（one-way constraints）の管理を行う。この制約解決装置の拡張は、制約により許可された方向のみに摂動を伝搬させる処理からなる。
【０１２１】
１）ハンドル変数
実現の観点から、各ハンドルは、以下の制限を有する音源変数とみなされる。
【０１２２】
コマンド発生装置は、ハンドル変数の位置を考慮しない。制約解決装置及びコマンド発生装置間のリンクは、系統的（systematic）ではなく、変数が実際の音源に関連付けられているかを確認するチェックが行われる。
【０１２３】
図９は、一方向制約のグラフを示す図である。小さな矢印は、その矢印の向きに応じて、どの変数が入力されるものであり、どの変数が出力されるものであるかを示している。
【０１２４】
２）本発明に基づくアルゴリズムの拡張
インターフェイス
制約を設定するためのインターフェイスは、わかりやすい構成を有している。各制約は、ボタンにより表示され、制約は、まず制約すべきグラフィカルオブジェクトを選択し、続いて適切な制約をクリックすることにより設定される。制約そのものは、制約オブジェクトからの引出線によりリンクされた小さなボールとして表現される。
【０１２５】
図１１は、ジャズトリオ用の典型的な音源の構成を示す図である。以下のような制約が設定される。
・ベース及びドラム音源は、一定距離比制約によりリンクされ、これによりベース及びドラム音源はグループ化され、一定の距離比を保つ。
・ピアノは、バランス制約によりリズムセクションにリンクされている。これにより、ピアノとリズムセクションの合計レベルが一定とされている。
・ピアノは、最大距離制約により移動が制限されている。これにより、ピアノは常に聴くことができる。
・ドラムは、２つの角度制約により、所定の角度範囲内に移動が制限されている。これにより、ドラムは、概ね、全音場（panoramic range）内の略々中央に定位する。
【０１２６】
図１１に示す初期状態から、ユーザはピアノを自らを表す聴取者の表現に近付くよう移動させる。これにより制約システムがトリガされ、他の音源が制約の組を充足するように移動される。
【０１２７】
データベース
１）メタデータフォーマットの詳細
本発明において使用される制約の詳細について説明する。
【０１２８】
制約の組の構成は、以下のように文字列で表現される。このフォーマットは、変数部分と制約部分の２つの部分からなる。
【０１２９】
ｉ）変数部分
独立した各サウンドトラックには、１〜ｎの番号が付される。各トラックパラメータは、以下の順序で１つずつ特定される。
・変数タイプ（「ハンドル」又は「トラック」）
・変数名
・変数アイコン
・独立音量（「トラック」変数のみ）
・初期位置（ｘ，ｙ座標）
【０１３０】
ｉｉ）制約部分
各制約は、以下の情報により表現される
・制約タイプ（可能な制約タイプの１つ）
・入力変数のリスト
・出力変数のリスト
・制約位置
【０１３１】
２）処理の特徴
従来の技術と比較し、本発明に基づく方法は以下のような特徴を有している。
【０１３２】
ｉ）複数の音源をデータ記録媒体（例えば、ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭ）にエンコードし、及びこれらデータ記録媒体からデコードする。したがって、ＭＩＤＩフォーマットを取り扱う欧州特許出願ＥＰ−Ａ−０９６１５２３号に記載されている方法に比べて、明確な音源処理を実現することができる。
【０１３３】
ｉｉ）音源レベルの最上位にあたる高レベルの制御を導入する。これらの制御は、音源の組を包含し、これによりユーザは、音源の構成に関するより高度な制御を行うことができる。
【０１３４】
ｉｉｉ）図１２に示すように、関数制約伝搬処理「propagateFunctionalConstant」に検査（test）を追加する処理をアルゴリズムに追加する。
【０１３５】
本発明の具体例では、この新たな検査は、上述の処理に組み込まれる。
【０１３６】
図１３は、本発明に基づく処理のデータフローを説明するための図である。
【０１３７】
この処理では、まず、与えられた楽曲の個別のオーディオトラックと、これらトラック用の基礎ミキシング規則を特定するミキシングメタデータとの２種類のデータがエンコードされる。エンコードされたこれら２種類のデータは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、ミニディスク又はコンピュータのハードディスク等の民生用電子機器で使用されているオーディオ媒体（audio support）の共通ファイルに記録される。オーディオ媒体は、本発明に基づく空間処理装置用に特化された記録媒体として、配給業者が提供してもよい。
【０１３８】
このように録音された楽曲を再生するために、オーディオ媒体は、空間処理装置のデコードモジュールに挿入され、このデコードモジュールは、上述の２種類のデータにアクセスして、ユーザインターフェイスにユーザ制御用の画像を表示する。これらのデータは、制約システムモジュールにより処理され、空間処理コマンドが生成される。これらの空間処理コマンドは、空間処理制御モジュールに供給され、空間処理制御モジュールは、対応する空間処理されたマルチチャンネルオーディオ信号を再生装置に供給し、再生させる。
【０１３９】
３）各モジュールの詳細
ｉ）オーディオ及びメタデータエンコーダ
このモジュールには、以下の情報が入力される。
・個別のオーディオトラック（モノフォニックフォーマット、本発明に基づき、例えばサンプリングレート、分解能等、他のパラメータを情報に組み込んでもよい。）
・制約システムに必要な制約及び関連する制約変数を記述するメタデータの組。
これらのメタデータは、象徴的なテキストフォーマットで表現される。
・フォーマット名
フォーマット名は、例えばＡＩＦＦ、ＷＡＶ、ＭＰＥＧ４（これらに限定されない）等、多重化されたオーディオデータ及び任意のメタデータをサポートする。
【０１４０】
エンコーダは、フォーマット名に基づき、オーディオトラック及びメタデータを単一のファイルにエンコードする。このファイルのフォーマットは、通常、ＷＡＶ（ウェーブファイル）である。ここでは、複数のモノフォニックトラックを単一のウェブファイルにエンコードする処理を標準的な処理とする。メタデータ情報は、ユーザ固有の情報であり、ＷＡＶフォーマット内では、<assoc-data-list>として表現される。ＷＡＶフォーマットの詳細については、http://www.cwi.nl/ftp/audio/RIFF-formatnl/ftp/audio/RIFF-format又は、http://vision1.cs.umr.cdu/ johns/links/music/audiofile1.htmlic/audiofile1.htmlに記載されている。
【０１４１】
例えばＡＩＦＦ又はＭＰＥＧフォーマット等、他のフォーマットも同様に、すなわち特別な情報用に設計されたフィールドを使用することにより、処理することができる。
【０１４２】
メタデータのフォーマットの詳細については、後述する。
【０１４３】
ｉｉ）オーディオ及びメタデータデコーダ
このモジュールは、エンコーダにより生成された１つのフォーマットのファイルを受け取り、以下の情報を生成する。
ａ）各トラックに基づくオーディオストリームの組
ｂ）エンコードされたフォーマットに基づくメタデータの詳細
オーディオストリームの組は、空間処理モジュールに供給される。
【０１４４】
メタデータの組は、制約システムモジュールに供給される。
【０１４５】
単一のファイルからトラック及びメタデータの組をデコードする処理は、例えばＷＡＶデコーダ（ここでは、この処理を標準とする）を用いて実行される。
【０１４６】
３次元バッファ技術
DirectXは、最も精密な空間処理システムであるとは言い難いが、本発明の実現において、この拡張は様々な利点を有している。
【０１４７】
第１に、DirectXは、ミュージックスペースを用いて制約を課すことができる３次元音源を記述するパラメータを提供する。例えば、DirectX音源は、定位（orientation）、方向（directivity）、及びドップラーパラメータまでも備えている。定位制約（orientation constraint）は、既に設計されており、ミュージックスペースの制約ライブラリに含まれている。この制約は、２つの音源が常に向き合う（face）状態にあることを課し、一方の音源が移動されると、これに応じて他方の音源の定位が移動される。第２に、DirectXは、多数の音源を実時間で処理することができる。これは、関連する音源が数十個もある複雑な交響曲のミキシング等において有効である。第３に、DirectXは、多くのパーソナルコンピュータに導入されており、このため広範囲に亘るユーザがミュージックスペースを使用することができる。
【０１４８】
空間処理制御モジュールには、以下のような情報が入力される。
・デコーダによりデコードされた個別のオーディオストリーム。
・制約システムから供給される空間処理コマンド
このモジュールは、マイクロソフト社（登録商標）のDirectX空間処理ミドルウェアとともに使用するために再設計されている点を除き、欧州特許出願ＥＰ−Ａ−０９６１５２３号に開示されているモジュールと同様のものである。
【０１４９】
オーディオバージョンは、パーソナルコンピュータ用の特定のダイナミックリンクライブラリ（ｄｌｌ）により実現され、これによりミュージックスペースは、マイクロソフトDirectX3Dサウンドバッファを制御することができる。このミュージックスペースオーディオ用のダイナミックリンクライブラリは、基本的に、DirectXのＡＰＩ Ｃ＋＋様式を例えば整数などJavaにより処理できる単純な様式に変換することにより、JavaアプリケーションとDirectX間を接続する。
【０１５０】
図１４に示すシステムアーキテクチャに示すように、空間処理モジュール１００は、基底のオペレーティングシステム（上述のマイクロソフトDirectX）１０２とサウンドカード１０４間のインターフェイスを司る。この空間処理モジュール１００は、Java（インターフェイス）及びＣ＋＋（空間処理モジュール）間のデータ様式の変換とともに、実時間によるオーディオファイルのストリーミングを行う。図１４に示すように、空間処理システムへの接続は、サウンドカード１０４の様々なバッファを管理する低レベルスケジューラを実装することにより実現される。図１４に示すシステムは、ウィンドウズ９８をプラットフォームとするパーソナルコンピュータにより実現される。サウンドカード１０４としてクリエイティブサウンドブラスタライブ（Creative Sound Blaster Live）が装着され、４チャンネル方式のスピーカ装置から音を出力するマルチメディアパーソナルコンピュータにより実験を行った結果、最大２０個のモノフォニックのサウンドファイルを実時間で空間処理できることが確認された。
【０１５１】
１）同期
動的ミキシングにおいては、３Ｄサウンドバッファに書き込まれ、及び３Ｄサウンドバッファから読み出される２つのタスク間の同期が問題となる。読出タスクは、空間処理システム（すなわち、DirectX）により処理され、本発明に基づくアプリケーションは、このバッファに必要なサンプルを所定の時間内に供給する必要がある。
【０１５２】
図１５〜図１７は、書込タスク及び読出タスクの同期処理を説明するための図である。
【０１５３】
オーディオストリーミングタスク（サウンドファイルの読出）及びオーディオ出力間の正しい同期を実現するために、バッファ内の読出ヘッドにおける通知イベントを用いる標準的な方法を用いる。この具体例では、読出タスクは、読出位置が所定の点を過ぎると、書込タスクに通知を行う。
【０１５４】
サウンドバッファは、半分に分割され、通知イベントを受け取ると、書込タスクは、現在読み出されていないバッファの半分を消去し、サンプルを置換する。
【０１５５】
なお、これらの通知イベントにアクセスするためには、バッファは、オペレーティングシステムにより処理される必要がある。このため、ハードウェアのアクセラレータ機能及び例えばサウンドカードの４チャンネル出力を使用することはできない。
【０１５６】
また、DirectX内に静的３Ｄオーディオセカンダリバッファを生成する方法もある。これらのバッファは、物理的にはサウンドカードのメモリ内に設けられ、したがって、３Ｄ処理速度を向上させる機能を活用することができる。この場合、通知イベントは利用できなくなり、これらは、毎秒毎に書込タスクを呼び出す書込可能なタイマに置き換えられる。書込タスクは、読出タスクをポーリングし、その現在の位置を知り、既に読み出されたサンプルを更新する。このタイマは、ウィンドウズ９８及びウィンドウズＮＴ４のみが備えるものであり、したがって、ウィンドウズ９５では、この手法は実現できない。
【０１５７】
図１５及び図１６に示しているタイマモデルにおいては、各バッファは、サウンドカードのメモリにおいて２秒を必要とする。これは、４４．１ｋＨｚのサンプリング周波数の１６ビットのモノサンプルについて２００キロバイト以下であることを示す。実際のサウンドカードの内部メモリは、３２メガバイトの情報を格納でき、したがって、実時間で処理できるトラック数は、メモリによっては制限されない。
【０１５８】
２）アクセスタイミング
本発明を実現するオーディオバージョンについて重要な課題は、データアクセスのタイミング、すなわちオーディオファイルを空間処理するタイミングである。現在のハードディスクの性能によれば、多数のオーディオトラックを個別に読み出すことができる。通常の楽曲は３分乃至４分程度の長さを有し、約１０個の独立したモノトラックを備えている。このような楽曲に必要な記録容量は、２００メガバイト以上になる。
【０１５９】
ＣＤ−ＲＯＭ等の外部記録媒体は、ハードディスクほどの柔軟性を有しておらず、すなわち、多数のトラックをＣＤ−ＲＯＭから個別に読み出すことは、現在のところ不可能である。しかしながら、この問題は、図１８に示すように、異なるオーディオトラックを単一のファイルにインターレースすることにより解決できる。これにより、読出ヘッドは、各トラックのサンプルを読み出すために読出位置を何度も移動させる必要はなく、各サンプルを連続的に読み出すことができる。ＷＡＶフォーマットは、インターレースされたマルチトラックのファイルをサポートしている。
【０１６０】
各トラックを読み出す必要がある。すなわち、マルチトラックは、いかなるＣＰＵリソースも解放しない。各トラック間の同期は、全て一度に固定する必要があり、トラックは他のトラックに対してオフセットを有することはできない。各トラックは、同じ速度又は同じサンプリングレートで読み出さなくてはならない。このため、例えば、サウンドファイルの速度及び聴取者に対する方向に基づいて、サウンドファイルの読出速度を若干シフトさせるDirectXのドップラー効果を利用することはできない。
【０１６１】
このような考察は、特定の実験的アプリケーションに適用されるものであり、本発明の目的を妨げるものではない。楽曲のトラック数は事前に固定されており、トラック間のオフセットを変更する必要はない。
【０１６２】
【発明の効果】
以上のように、本発明に係る音楽的空間構成制御装置は、実時間でオーディオ空間の構成を制御する音楽的空間構成制御装置において、オーディオトラックに関連付けられた複数のオーディオソースからなるオーディオストリームにアクセスするアクセス手段と、オーディオストリームの空間構成決定用の規則を表す制約を受け取り及び処理する制約手段と、制約手段に空間構成決定コマンドを入力するインターフェイス手段とを備え、インターフェイス手段は、オーディオソースの特定のグループに作用するグループ化された空間構成決定コマンドに対応するユーザ入力を提供し、制約手段は、オーディオソースのグループを複数の制約変数が適応される単一のオブジェクトとして処理する。これにより、ユーザ及び楽曲提供者の両者の観点から、より容易に空間処理を行うことができ、選択された空間処理の結果が常に「聴覚的に正しく」、家庭用オーディオシステムに採用されている標準的な録音技術により適合する。
【０１６３】
また、本発明に係る音楽的臨場感形成装置は、共通のデータ記録媒体からオーディオストリームデータと、空間構成決定のための制約を表すデータとを読み出すデータ読出手段を有するパーソナルコンピュータと、データ読出手段からデータを受け取る入力手段を有する上述の音楽的空間構成制御装置とを備える。これにより、ユーザ及び楽曲提供者の両者の観点から、より容易に空間処理を行うことができ、選択された空間処理の結果が常に「聴覚的に正しく」、家庭用オーディオシステムに採用されている標準的な録音技術により適合する。
【０１６４】
また、本発明に係る音楽的空間構成制御方法は、オーディオ空間の構成を制御する音楽的空間構成制御方法において、オーディオトラックに関連付けられた複数のオーディオソースからなるオーディオストリームにアクセスするステップと、オーディオストリームの空間構成決定用の規則を表す制約を受け取り及び処理するステップと、制約手段に空間構成決定コマンドを入力するステップとを有し、オーディオソースの特定のグループに作用するグループ化された空間構成決定コマンドに対応するユーザ入力が提供され、オーディオソースのグループは、複数の制約変数が適応される単一のオブジェクトとして処理される。これにより、ユーザ及び楽曲提供者の両者の観点から、より容易に空間処理を行うことができ、選択された空間処理の結果が常に「聴覚的に正しく」、家庭用オーディオシステムに採用されている標準的な録音技術により適合する。
【図面の簡単な説明】
【図１】全ての制約の伝搬処理のフローチャートである。
【図２】１つの制約の伝搬処理のフローチャートである。
【図３】不等式制約の伝搬処理のフローチャートである。
【図４】関数制約の伝搬処理のフローチャートである。
【図５】摂動処理のフローチャートである。
【図６】アカペラレンダリングに対応する表示画面を示す図である。
【図７】活動制約を含むテクノレンダリングに対応する表示画面を示す図である。
【図８】一方向制約を説明するための図である。
【図９】プログラムモードの表示画面を示す図である。
【図１０】聴取モードにおける動的構成処理時の表示画面を示す図である。
【図１１】制約を設定するための表示画面を示す図である。
【図１２】伝搬関数制約のタスクのシーケンスを示す制約伝搬アルゴリズムを示す図である。
【図１３】本発明に基づく処理の包括的な処理手順を示す図である。
【図１４】本発明に基づくシステムアーキテクチャを示す図である。
【図１５】読出タスクと書込タスクの同期を説明するための図である。
【図１６】ストリーミングモデルを説明するための図である。
【図１７】タイマモデルを説明するための図である。
【図１８】３つのトラックのインターレス処理を説明するための図である。
【図１９】本発明が適用される音楽的空間構成処理装置の構成を示す図である。
【図２０】従来の音楽的構成処理装置により表示される聴取者と音源からなる表示画面を示す図である。
Claims (43)
- 複数のオーディオソースについての複数のオーディオトラックを含むオーディオストリームについて、実時間で、複数のオーディオソースについてのオーディオ空間の構成を制御する音楽的空間構成制御装置において、
上記オーディオストリームに含まれる複数のオーディオソースの各々を、ユーザにより配置を操作可能なオブジェクトにより表示するインターフェイス手段と、
オーディオストリームに含まれる複数のオーディオソースのうちの、一部の複数のオーディオソース間の空間配置についての制約を記憶する記憶手段と、
上記インターフェイス手段におけるユーザ操作に基づく上記複数のオーディオソースの配置が上記制約を満たすか否かを判定する制約処理手段と、
上記オーディオストリームにアクセスするアクセス手段と
を有し、
上記インターフェイス手段は、
上記記憶手段にオーディオソース間の空間配置の制約が記憶されている上記一部の複数のオーディオソースを、ユーザ操作可能な単一のオブジェクトで表示し、
上記制約処理手段は、
上記インターフェイス手段の表示における上記単一のオブジェクトの配置に基づく上記一部の複数のオーディオソースの配置が、上記記憶手段に記憶されている上記一部の複数のオーディオソース間の空間配置についての制約に適合するか否かを判定し、
上記アクセス手段は、
上記制約処理手段において上記一部の複数のオーディオソース間の空間配置についての制約を満たすと判定された場合に、上記オーディオストリームにアクセスし、そのユーザ操作に基づく配置に基づくオーディオ空間の構成により制御する
音楽的空間構成制御装置。 - 上記制約処理手段は、
上記インターフェイス手段の表示における上記単一のオブジェクトの配置に基づく上記一部の複数のオーディオソースの配置が、上記記憶手段に記憶されている上記一部の複数のオーディオソース間の空間配置についての制約に適合しない場合には、上記オーディオソース間の制約に適合するように上記一部の複数のオーディオソースの配置を調整し、
上記アクセス手段は、
上記制約処理手段により調整されたオーディオソース間の配置に基づいて上記オーディオストリームにアクセスし、調整された配置に基づくオーディオ空間の構成により制御する
請求項１記載の音楽的空間構成制御装置。 - 上記制約は、
設計者により宣言されて、上記記憶手段に記憶される
請求項１または２記載の音楽的空間構成制御装置。 - 上記制約は、
上記インターフェイス手段を用いて、まず制約すべきオブジェクトを選択し、続いてボタンにより表示された制約をクリックすることにより設定され、
上記インターフェイス手段において、制約に係るオブジェクトからの引出線によりリンクされた小さなボールとして表示され、
上記インターフェイス手段を用いて、上記制約の設定と、ユーザによるオーディオソースの配置とが設定される
請求項１から３のいずれか一項記載の音楽的空間構成制御装置。 - 上記制約は、
複数のオーディオソースをグループ化して、当該複数のオーディオソースについてのオブジェクト間の距離を一定に保つものを含む
請求項１から４のいずれか一項記載の音楽的空間構成制御装置。 - 複数のオーディオソースは、
一定距離比制約によりリンクされることにより、グループ化される
請求項５記載の音楽的空間構成制御装置。 - 上記リンクは、
アコスティックパート及びシンセサイザパートにそれぞれ対応する２つのグループ等のように複数のオーディオソースのグループ間のバランスのリンクと、グループの位置を同時に比例させて変更する音量レベルのリンクと、のうちの少なくともいずれか一方を含む
請求項６記載の音楽的空間構成制御装置。 - 上記制約は、
一方向制約であり、各制約は、ユーザが上記インターフェイス手段を介して入力した入力変数と出力変数の組を含む
請求項１から７のいずれか一項記載の音楽的空間構成制御装置。 - 上記インターフェイス手段を介して入力された上記一部の複数のオーディオソースに作用する制約パラメータに関するミキシング制約を記録するプログラムモードを有する
請求項１から８のいずれか一項記載の音楽的空間構成制御装置。 - 上記制約は、
上記オーディオストリームに関連付けられたメタデータとして記録される
請求項１から９のいずれか一項記載の音楽的空間構成制御装置。 - 上記制約は、
変数部分と制約部分とからなるデータ文字列により表される
請求項１から１０のいずれか一項記載の音楽的空間構成制御装置。 - 上記変数部分は、
その変数がオーディオトラックに作用するかグループに作用するかを示す変数タイプと、
トラック識別データと、
変数名と、
変数アイコンと、
各トラック変数に対する個別音量と、
ｘｙ座標で表される初期位置データとのうちの、少なくとも１つを表す
請求項１１記載の音楽的空間構成制御装置。 - 上記制約部分は、
制約タイプと、
個別のトラックを識別する制約変数と、
入力変数のリストと、
出力変数のリストと、
制約位置と、
制約方向とのうちの、少なくとも１つを表す
請求項１１又は１２記載の音楽的空間構成制御装置。 - 空間構成決定用の上記複数のオーディオソースは、
光ディスク又はハードディスク等の共通の記録媒体から読み出される
請求項１から１３のいずれか一項の音楽的空間構成制御装置。 - 上記制約は、
上記共通の記録媒体からメタデータとして読み出される
請求項１４記載の音楽的空間構成制御装置。 - 上記メタデータ及び上記オーディオストリームが記録されているトラックは、
ＷＡＶフォーマット等の共通のファイルから読み出される
請求項１５記載の音楽的空間構成制御装置。 - 上記共通のファイルを読み出し、オーディオデータ及び制約を表すメタデータにアクセスして、該共通のファイルに含まれる個別のトラックからオーディオストリームの組を再生し、及び該共通のファイルにエンコードされているメタデータの詳細を再生するオーディオデータ／メタデータデコード手段を備える
請求項１６記載の音楽的空間構成制御装置。 - 上記音楽的空間構成制御装置が、
コンピュータオペレーティングシステムとサウンドカード間のインターフェイスとして実現されている
請求項１から１７のいずれか一項記載の音楽的空間構成制御装置。 - サウンドカード及び該サウンドカードのメモリ内に物理的に配設されている３次元オーディオのバッファリング手段と連携し、該サウンドカードの３次元アクセラレーション機能を使用する
請求項１８記載の音楽的空間構成制御装置。 - 上記バッファリング手段への書込タスクを制御する待機可能タイマを備える
請求項１９記載の音楽的空間構成制御装置。 - 上記インターフェイス手段は、
共通ファイルにインターレースされている上記オーディオストリームのオーディオトラックにアクセスする
請求項１６記載の音楽的空間構成制御装置。 - ３次元サウンドバッファと連携して定位制約を導入する
請求項１９記載の音楽的空間構成制御装置。 - 上記制約は、関数制約又は不等式制約であり、循環的制約は、伝搬アルゴリズムが矛盾を検査することにより処理される
請求項１から２２いずれか一項記載の音楽的空間構成制御装置。 - 個別のオーディオソースと、制約及び関連する制約変数を記述するデータベースとをインターレースして共通のオーディオファイルにエンコードするエンコード手段を備える
請求項１から２３のいずれか一項記載の音楽的空間構成制御装置。 - 上記エンコード手段に対応して、共通のオーディオファイルをデコードするデコード手段を備える
請求項２４記載の音楽的空間構成制御装置。 - 各楽曲に関する制約及び関連する制約変数を記述するデータベースが入力され、空間構成決定コマンドを生成する制約システムモジュールと、
エンコード手段からの上記オーディオストリームの組と、上記制約システムモジュールからの空間構成決定コマンドとが入力される空間構成制御モジュールと
を備える
請求項２４記載の音楽的空間構成制御装置。 - 各オーディオソース用の書込タスク及び読出タスクが同期され、オーディオファイルからの上記オーディオストリームを空間構成制御モジュールに中継し、各楽曲に対する上記制約及び該制約に関連する変数を記述するデータベースを上記空間構成制御モジュールに中継する３次元サウンドバッファ手段を備える
請求項２６記載の音楽的空間構成制御装置。 - 上記空間構成制御モジュールは、
上記制約システムモジュールと当該空間構成制御モジュールとを接続するスケジューラ手段を備える
請求項２７記載の音楽的空間構成制御装置。 - 上記空間構成制御モジュールは、
静的オーディオセカンダリバッファ手段を備える
請求項２７又は２８記載の音楽的空間構成制御装置。 - 上記書込タスクを所定の間隔で呼び出すタイマ手段を備える
請求項２７から２９のいずれか一項記載の音楽的空間構成制御装置。 - 上記空間構成制御モジュールは、
遠隔制御可能なミキシング装置である
請求項２７から３０のいずれか一項記載の音楽的空間構成制御装置。 - 上記制約処理手段は、
検査アルゴリズムを実行する
請求項１から３１のいずれか一項記載の音楽的空間構成制御装置。 - 共通のデータ記録媒体から、オーディオストリームデータと、空間構成決定のための制約を表すデータとを読み出すデータ読出手段を有するパーソナルコンピュータと、
上記データ読出手段からデータを受け取る入力手段を有する請求項１から３２のいずれか一項記載の音楽的空間構成制御装置と
を備える音楽的臨場感形成装置。 - 上記パーソナルコンピュータは、
上記データ読出手段から抽出されたコンテンツを格納する３次元サウンドバッファを備える
請求項３３記載の音楽的臨場感形成装置。 - 上記３次元サウンドバッファは、
ダイナミックリンクライブラリにより制御される
請求項３４記載の音楽的臨場感形成装置。 - 請求項１から３２のいずれか一項記載の音楽的空間構成制御装置に使用され、オーディオストリームを表す複数のトラックと、処理制約を表すデータと
が格納された記録媒体。 - 上記複数のトラックと上記処理制約を表すデータとは、共通のファイルとして記録されている
請求項３６記載の記録媒体。 - 上記処理制約を表すデータは、
上記トラックに関するメタデータとして記録されている
請求項３６又は３７記載の記録媒体。 - 上記トラックは、インターレースされている
請求項３６から３８のいずれか一項記載の記録媒体。 - 当該記録媒体は、
コンパクトディスク、デジタルバーサタイルディスク、ミニディスク等のデジタル記録媒体である
請求項３６から３９のいずれか一項記載の記録媒体。 - 当該記録媒体は、
コンピュータハードディスクである
請求項３６から３９のいずれか一項記載の記録媒体。 - 請求項１乃至３２いずれか１項記載の音楽的空間構成制御装置をコード化により実現し、汎用コンピュータの内部メモリユニットにロードされ、該汎用コンピュータにより実行され、該音楽的空間構成制御装置の構成要素を実現するソフトウェアコードからなる
コンピュータプログラム製品。 - 複数のオーディオソースについての複数のオーディオトラックを含むオーディオストリームについて、実時間で、複数のオーディオソースについてのオーディオ空間の構成を制御する音楽的空間構成制御装置での音楽的空間構成制御方法であって、
上記音楽的空間構成制御装置が、
上記オーディオストリームに含まれる複数のオーディオソースの各々を、ユーザにより配置を操作可能なオブジェクトにより表示するインターフェイス手段と、
オーディオストリームに含まれる複数のオーディオソースのうちの、一部の複数のオーディオソース間の空間配置についての制約を記憶する記憶手段と、
上記インターフェイス手段におけるユーザ操作に基づく上記複数のオーディオソースの配置が上記制約を満たすか否かを判定する制約処理手段と、
上記オーディオストリームにアクセスするアクセス手段と
を有し、
上記インターフェイス手段が、
上記記憶手段にオーディオソース間の空間配置の制約が記憶されている上記一部の複数のオーディオソースを、ユーザ操作可能な単一のオブジェクトで表示し、
上記制約処理手段が、
上記インターフェイス手段の表示における上記単一のオブジェクトの配置に基づく上記一部の複数のオーディオソースの配置が、上記記憶手段に記憶されている上記一部の複数のオーディオソース間の空間配置についての制約に適合するか否かを判定し、
上記アクセス手段が、
上記制約処理手段において上記一部の複数のオーディオソース間の空間配置についての制約を満たすと判定された場合に、上記オーディオストリームにアクセスし、そのユーザ操作に基づく配置に基づくオーディオ空間の構成により制御する
音楽的空間構成制御装置の音楽的空間構成制御方法。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP00400749 | 2000-03-17 | ||
| EP00400749.8 | 2000-03-17 | ||
| EP01400401.4 | 2001-02-15 | ||
| EP01400401A EP1134724B1 (en) | 2000-03-17 | 2001-02-15 | Real time audio spatialisation system with high level control |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001306081A JP2001306081A (ja) | 2001-11-02 |
| JP4729186B2 true JP4729186B2 (ja) | 2011-07-20 |
Family
ID=26073439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001079233A Expired - Fee Related JP4729186B2 (ja) | 2000-03-17 | 2001-03-19 | 音楽的空間構成制御装置、音楽的臨場感形成装置、及び音楽的空間構成制御方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20010055398A1 (ja) |
| EP (1) | EP1134724B1 (ja) |
| JP (1) | JP4729186B2 (ja) |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7085387B1 (en) * | 1996-11-20 | 2006-08-01 | Metcalf Randall B | Sound system and method for capturing and reproducing sounds originating from a plurality of sound sources |
| US6239348B1 (en) * | 1999-09-10 | 2001-05-29 | Randall B. Metcalf | Sound system and method for creating a sound event based on a modeled sound field |
| US6968564B1 (en) | 2000-04-06 | 2005-11-22 | Nielsen Media Research, Inc. | Multi-band spectral audio encoding |
| WO2004032351A1 (en) | 2002-09-30 | 2004-04-15 | Electro Products Inc | System and method for integral transference of acoustical events |
| KR100542129B1 (ko) * | 2002-10-28 | 2006-01-11 | 한국전자통신연구원 | 객체기반 3차원 오디오 시스템 및 그 제어 방법 |
| EP1427252A1 (en) * | 2002-12-02 | 2004-06-09 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for processing audio signals from a bitstream |
| JP2004236192A (ja) * | 2003-01-31 | 2004-08-19 | Toshiba Corp | 音響機器制御方法、情報機器及び音響機器制御システム |
| WO2005098583A1 (ja) * | 2004-03-30 | 2005-10-20 | Pioneer Corporation | 音情報出力装置、音情報出力方法、および音情報出力プログラム |
| AU2005234518A1 (en) * | 2004-04-16 | 2005-10-27 | Dolby Laboratories Licensing Corporation | Apparatuses and methods for use in creating an audio scene |
| US7624021B2 (en) | 2004-07-02 | 2009-11-24 | Apple Inc. | Universal container for audio data |
| US7720212B1 (en) | 2004-07-29 | 2010-05-18 | Hewlett-Packard Development Company, L.P. | Spatial audio conferencing system |
| US8627213B1 (en) | 2004-08-10 | 2014-01-07 | Hewlett-Packard Development Company, L.P. | Chat room system to provide binaural sound at a user location |
| US7636448B2 (en) * | 2004-10-28 | 2009-12-22 | Verax Technologies, Inc. | System and method for generating sound events |
| WO2006091540A2 (en) * | 2005-02-22 | 2006-08-31 | Verax Technologies Inc. | System and method for formatting multimode sound content and metadata |
| US20070083380A1 (en) | 2005-10-10 | 2007-04-12 | Yahoo! Inc. | Data container and set of metadata for association with a media item and composite media items |
| US8762403B2 (en) * | 2005-10-10 | 2014-06-24 | Yahoo! Inc. | Method of searching for media item portions |
| US8930002B2 (en) * | 2006-10-11 | 2015-01-06 | Core Wireless Licensing S.A.R.L. | Mobile communication terminal and method therefor |
| EP2118888A4 (en) * | 2007-01-05 | 2010-04-21 | Lg Electronics Inc | METHOD AND DEVICE FOR PROCESSING AN AUDIO SIGNAL |
| KR20080082917A (ko) * | 2007-03-09 | 2008-09-12 | 엘지전자 주식회사 | 오디오 신호 처리 방법 및 이의 장치 |
| WO2008111773A1 (en) * | 2007-03-09 | 2008-09-18 | Lg Electronics Inc. | A method and an apparatus for processing an audio signal |
| KR101569032B1 (ko) | 2007-09-06 | 2015-11-13 | 엘지전자 주식회사 | 오디오 신호의 디코딩 방법 및 장치 |
| KR101742256B1 (ko) | 2007-09-26 | 2017-05-31 | 에이큐 미디어 인크 | 오디오-비주얼 내비게이션 및 통신 |
| US20100223552A1 (en) * | 2009-03-02 | 2010-09-02 | Metcalf Randall B | Playback Device For Generating Sound Events |
| EP3893521B1 (en) | 2011-07-01 | 2024-06-19 | Dolby Laboratories Licensing Corporation | System and method for adaptive audio signal generation, coding and rendering |
| JP5915249B2 (ja) * | 2012-02-23 | 2016-05-11 | ヤマハ株式会社 | 音響処理装置および音響処理方法 |
| US20140115468A1 (en) * | 2012-10-24 | 2014-04-24 | Benjamin Guerrero | Graphical user interface for mixing audio using spatial and temporal organization |
| US10725726B2 (en) | 2012-12-20 | 2020-07-28 | Strubwerks, LLC | Systems, methods, and apparatus for assigning three-dimensional spatial data to sounds and audio files |
| US10203839B2 (en) | 2012-12-27 | 2019-02-12 | Avaya Inc. | Three-dimensional generalized space |
| US9892743B2 (en) * | 2012-12-27 | 2018-02-13 | Avaya Inc. | Security surveillance via three-dimensional audio space presentation |
| WO2014121336A1 (en) * | 2013-02-07 | 2014-08-14 | Score Addiction Pty Ltd | Systems and methods for enabling interaction with multi-channel media files |
| US9640163B2 (en) | 2013-03-15 | 2017-05-02 | Dts, Inc. | Automatic multi-channel music mix from multiple audio stems |
| CN106465036B (zh) * | 2014-05-21 | 2018-10-16 | 杜比国际公司 | 配置经由家庭音频回放***的音频的回放 |
| CN109716794B (zh) * | 2016-09-20 | 2021-07-13 | 索尼公司 | 信息处理装置、信息处理方法及计算机可读存储介质 |
| JP2018148323A (ja) * | 2017-03-03 | 2018-09-20 | ヤマハ株式会社 | 音像定位装置および音像定位方法 |
| WO2020045126A1 (ja) * | 2018-08-30 | 2020-03-05 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| US20220012007A1 (en) * | 2020-07-09 | 2022-01-13 | Sony Interactive Entertainment LLC | Multitrack container for sound effect rendering |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06348258A (ja) * | 1993-06-03 | 1994-12-22 | Kawai Musical Instr Mfg Co Ltd | 電子楽器の自動演奏装置 |
| JPH08140199A (ja) * | 1994-11-08 | 1996-05-31 | Roland Corp | 音像定位設定装置 |
| JPH09160546A (ja) * | 1996-10-14 | 1997-06-20 | Yamaha Corp | 音処理装置 |
| WO1999051063A1 (en) * | 1998-03-31 | 1999-10-07 | Lake Technology Limited | Headtracked processing for headtracked playback of audio signals |
| JP2000069600A (ja) * | 1998-05-27 | 2000-03-03 | Sony France Sa | 音楽的臨場感形成装置の制御装置及び制御方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5127306A (en) * | 1989-01-19 | 1992-07-07 | Casio Computer Co., Ltd. | Apparatus for applying panning effects to musical tone signals and for periodically moving a location of sound image |
| JP2971162B2 (ja) * | 1991-03-26 | 1999-11-02 | マツダ株式会社 | 音響装置 |
| US5331111A (en) * | 1992-10-27 | 1994-07-19 | Korg, Inc. | Sound model generator and synthesizer with graphical programming engine |
| US5451942A (en) * | 1994-02-04 | 1995-09-19 | Digital Theater Systems, L.P. | Method and apparatus for multiplexed encoding of digital audio information onto a digital audio storage medium |
| US7333863B1 (en) * | 1997-05-05 | 2008-02-19 | Warner Music Group, Inc. | Recording and playback control system |
| US6782299B1 (en) * | 1998-02-09 | 2004-08-24 | Sony Corporation | Method and apparatus for digital signal processing, method and apparatus for generating control data, and medium for recording program |
| JP2000013900A (ja) * | 1998-06-25 | 2000-01-14 | Matsushita Electric Ind Co Ltd | 音再生装置 |
-
2001
- 2001-02-15 EP EP01400401A patent/EP1134724B1/en not_active Expired - Lifetime
- 2001-03-15 US US09/808,895 patent/US20010055398A1/en not_active Abandoned
- 2001-03-19 JP JP2001079233A patent/JP4729186B2/ja not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06348258A (ja) * | 1993-06-03 | 1994-12-22 | Kawai Musical Instr Mfg Co Ltd | 電子楽器の自動演奏装置 |
| JPH08140199A (ja) * | 1994-11-08 | 1996-05-31 | Roland Corp | 音像定位設定装置 |
| JPH09160546A (ja) * | 1996-10-14 | 1997-06-20 | Yamaha Corp | 音処理装置 |
| WO1999051063A1 (en) * | 1998-03-31 | 1999-10-07 | Lake Technology Limited | Headtracked processing for headtracked playback of audio signals |
| JP2000069600A (ja) * | 1998-05-27 | 2000-03-03 | Sony France Sa | 音楽的臨場感形成装置の制御装置及び制御方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20010055398A1 (en) | 2001-12-27 |
| JP2001306081A (ja) | 2001-11-02 |
| EP1134724A2 (en) | 2001-09-19 |
| EP1134724B1 (en) | 2008-07-23 |
| EP1134724A3 (en) | 2006-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4729186B2 (ja) | 音楽的空間構成制御装置、音楽的臨場感形成装置、及び音楽的空間構成制御方法 | |
| US6093880A (en) | System for prioritizing audio for a virtual environment | |
| US7078607B2 (en) | Dynamically changing music | |
| JP3228340B2 (ja) | マルチメディア・プレーヤ・コンポーネント・オブジェクト・システム及びマルチメディア・プレゼンテーション方法 | |
| US8438482B2 (en) | Interactive multimedia content playback system | |
| EP0672276B1 (en) | Object-oriented audio system | |
| JP3770616B2 (ja) | オブジェクト指向ビデオ・システム | |
| EP0961523A1 (en) | Music spatialisation system and method | |
| Pachet et al. | On-the-fly multi-track mixing | |
| Heliades et al. | Dissemination of environmental soundscape and musical heritage through 3D virtual telepresence | |
| US20080215763A1 (en) | Graphical user interface, process, program, storage medium and computer system for arranging music | |
| Comunità et al. | Web-based binaural audio and sonic narratives for cultural heritage | |
| Tsingos | A versatile software architecture for virtual audio simulations | |
| Pachet et al. | A mixed 2D/3D interface for music spatialization | |
| Pachet et al. | MusicSpace: a Constraint-Based Control System for Music Spatialization. | |
| Comunita et al. | PlugSonic: a web-and mobile-based platform for binaural audio and sonic narratives | |
| Pachet et al. | Annotations for real time music spatialization | |
| KR102534870B1 (ko) | 복수 개의 오디오 스템을 이용한 오디오 믹싱 인터페이스 제공 방법 및 장치 | |
| Plans | Composer in Your Pocket: Procedural Music in Mobile Devices | |
| Thor | Sound and music in networked media | |
| Potard et al. | Using XML schemas to create and encode interactive 3-D audio scenes for multimedia and virtual reality applications | |
| Anil | Modern Workflows for Procedural Audio at the Intersection of Gaming and Music Performance in Virtual Reality | |
| JP2024501519A (ja) | オーディオアレンジメントの生成及びミキシング | |
| Pachet et al. | Musicspace goes audio | |
| Irving | Interpretive practice in laptop music performance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060331 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060412 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080304 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100817 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20101117 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20101122 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101207 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110322 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110418 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140422 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |