JP4055054B2 - 音響処理装置 - Google Patents
音響処理装置 Download PDFInfo
- Publication number
- JP4055054B2 JP4055054B2 JP2002140135A JP2002140135A JP4055054B2 JP 4055054 B2 JP4055054 B2 JP 4055054B2 JP 2002140135 A JP2002140135 A JP 2002140135A JP 2002140135 A JP2002140135 A JP 2002140135A JP 4055054 B2 JP4055054 B2 JP 4055054B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- data
- processing
- reverb
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、収録済の原音に対して所定の音響処理を施すための音響処理装置に関する。
【０００２】
【従来の技術】
オーディオ信号に対して効果音を付加するための装置の１つとして、残響付加装置（リバーブレータ：reverberator）が知られている。この装置は、例えば録音スタジオでオーディオ信号に残響音を付加し、音に広がりや深みを出すために多く用いられている。スタジオ等で録音された音に残響音を付加することで、実際にホールで演奏されているような効果や、さらに特殊な効果を与えることができる。
【０００３】
古くは、残響音の付加は、実際にホール等の残響音を得られるような場所で録音を行うか、あるいは、鉄板やスプリング等の機械的振動を利用して残響音的な効果を得るようにした鉄板エコー装置やスプリングエコー装置等を用いて行われていた。
【０００４】
実際にホール等で録音を行うと、より自然な残響音を得ることができる。しかしながら、実際のホールでは、残響音に関するパラメータ（例えば、残響時間等）を変更できないこと、瞬時にマイクロホンの位置や銘柄（特性）を変えることができないこと、膨大な機材が必要なこと、および空調機器等の騒音がありＳ／Ｎが悪いこと、等の問題点がある。また、鉄板エコー装置やスプリングエコー装置のような機械式の残響付加装置は、経年変化がありメンテナンスが大変であると共に、機械式なので、振動や外来のノイズに弱い。さらに、残響時間の調整可能範囲が制限されることに加え、再現性にも乏しい。さらに、装置自身が重厚長大であること、およびＳ／Ｎが悪いこと、等の問題点もある。
【０００５】
近年の残響付加装置では、これらの効果が電気的に実現されている。さらに、最近では、ディジタル信号処理技術の発達に伴い、ディジタル的に残響音を合成するような方法が普及してきている。この方法の１つに、例えば巡回型のディジタルフィルタを用いる方法がある。この方法では、入力されたディジタルオーディオ信号が減衰されながら巡回され、残響音が生成される。この残響音を元のディジタルオーディオ信号に混合する。実際には、直接音に対して所定期間遅延された位置に初期反射音が加えられ、さらに所定期間後に残響音が加えられる。直接音に対する残響音の遅延時間は、プリディレイと称される。この方法によれば、残響時間の調整、副残響音の付加、および細かなレベル調整等を行うことが可能で、幅広い音作りができる。
【０００６】
ところで、実際のホール等での残響音は、ホールの形状や音源の位置等により、音が様々に反射や干渉等を起こし、より複雑な波形となっている。しかしながら、上記した方法のように、ディジタルフィルタを用いて元のディジタルオーディオ信号をフィルタ処理するようにした場合には、単純に減衰した波形が得られるだけなので、どうしても人工的な印象を免れなかった。また、上記の方法では、元の信号をフィルタ処理により巡回させるようにしているので、入力がなくなった後の最終的な残響音のピッチが、巡回型フィルタ内部のフィードバックループのピッチとなってしまい、高品位で自然な残響音を得ることができなかった。
【０００７】
【発明が解決しようとする課題】
そこで、実際にホールや鉄板エコー等で残響音を発生させて、この残響音に基づきインパルス応答を収集し、収集されたインパルス応答をフィルタ処理により入力データと共にたたみ込むという方法が既に提案されている。ここで、インパルス応答とは、一般に、あるシステムに単位インパルス（所定の高さの細いパルス状の入力）を与えたときにそのシステムから出力される応答パルス列をいう。上記のようなたたみ込み法により、実際の空間や装置のインパルス応答に基づいた、より自然でリアルな残響音を得ることができる。そのようなたたみ込み処理を実現するハードウェア回路構成の一例が、例えば特開２０００−９７７６２号公報に記載されている。この公報に開示されたハードウェア回路は、ＦＩＲ(Finite Impulse Response) フィルタを用いて、時間軸上でインパルス応答をたたみ込むようにしたものである。
【０００８】
しかしながら、上記のように、時間軸方向にインパルス応答をたたみ込む方法では、膨大な数の遅延回路と係数乗算器とが必要になり、回路規模が極めて大きくなってしまうという問題点がある。
【０００９】
これを解決するために、例えば同公報に示されているように、入力ディジタルオーディオ信号およびインパルス応答データをそれぞれハードウェア回路を用いてフーリエ変換することにより周波数要素データに変換し、この周波数軸上で両者をたたみ込むという方法が提案されている。この方法では、上記した時間軸上でたたみ込みを行う方法に比べて、ハードウェア回路の規模が小さくて済むという利点がある。
【００１０】
また、インパルス応答のたたみ込みに関する上記の諸問題を解決するため、例えば特表平８−５０１６６７号公報に記載されているように、インパルス応答データを時間軸上で分割し、分割されたそれぞれのインパルス応答によって入力データのたたみ込みを行う方法も提案されている。
【００１１】
このように、従来より、オーディオ信号に関する処理については様々な試みがなされていたものの、必ずしも十分な臨場感をユーザに与え得るものではなかった。例えば、一部のクラシック音楽ファンやロック音楽ファンのような熱狂的な音楽ファンにあっては、実際のコンサートホールでの名演奏の視聴を希望しながらも、その場に行くことができないことがある。そのようなとき、彼らは、そのコンサートホールの雰囲気を仮想的に体験したいと希望する場合が多い。しかしながら、上記したいずれの方法においても、音響効果のみが考慮されており、その他の要素についてはまったく配慮がなされていなかった。
【００１２】
また、上記のいずれの方法においても、インパルス応答のたたみ込み処理にハードウェア回路を用いていることから、一般のコンスーマ（例えば、ＰＣ（パーソナルコンピュータ）ユーザ等）にとっては、手持ちのコンテンツ（例えばＣＤに記録された形で保有している既存の楽曲）に簡単に音響効果処理を施して臨場感のある音場を手軽に生成することは技術面およびコスト面の両面で困難であった。
【００１３】
本発明はかかる問題点に鑑みてなされたもので、その第１の目的は、記録媒体に記録された音楽等の収録音を、ユーザが十分な臨場感をもって楽しむことを可能とする音響処理装置を提供することにある。また、本発明の第２の目的は、音楽等の既存の収録音に対する音響処理を容易かつ低コストで行うことを可能にする音響処理装置を提供することにある。また、本発明の第３の目的は、記録媒体に記録された音楽等の収録音を再生する際に、ユーザに不自然な違和感を与えることなく音響処理を施すことが可能な音響処理装置を提供することにある。
【００１４】
【課題を解決するための手段】
本発明の音響処理装置は、原音に対して、実在する音響空間の響きに対応したインパルス応答データをたたみ込むことにより、効果音を生成するたたみ込み手段と、画像を再生して出力する画像再生手段と、画像再生手段からの再生画像の出力に沿って、原音とたたみ込み手段からの効果音とを重畳させて音響処理音を生成し出力するように画像再生手段およびたたみ込み手段を制御する制御手段とを備えると共に、この制御手段が、インパルス応答データのたたみ込み処理を行う際に生ずる遅延時間に相当する箇所から原音に対するたたみ込み処理を開始するようにたたみ込み手段の制御を行うと共に、音響処理の開始が指示された時点から遅延時間の経過時点までの間は原音をそのまま外部に出力する外部出力制御を行う一方、遅延時間の経過時点以降は原音と効果音とを重畳させて音響処理音を生成し出力する重畳制御を行うようにしたものである。この場合において、少なくともたたみ込み手段はソフトウェアにより構成するのが好ましく、また、インパルス応答データは、画像再生手段からの再生画像と関連したものであることが好ましい。ここで、原音とは、対象となる音響処理が未だ施されていない音響をいい、音響処理音とは、原音に基づいて作られた効果音をその原音に重畳して得られる音響をいう。効果音とは、原音にインパルス応答データをたたみ込むことにより得られる音響をいう。以下、本明細書において同様である。
【００１５】
本発明の音響処理装置では、たたみ込み手段によって原音にインパルス応答データをたたみ込むことにより効果音が生成され、さらに、この効果音が原音に重畳されて音響処理音が生成される。この音響処理音は、画像再生手段からの再生画像の出力に合わせて出力される。インパルス応答データは実在する音響空間の響きに対応したものなので、実際にその音響空間で音響を聴いているかのような臨場感を聴き手に与えることになる。しかも、音響処理音に連動して再生画像が出力されるので、聴き手に視覚的な臨場感をも与えることになる。
また、このようなたたみ込み処理の際には遅延が生ずる。このたたみ込み処理は、原音のうち、上記の遅延した時間を差し引いた箇所（遅延分をオフセットした位置）から開始される。そして、音響処理開始が指示された時点から遅延時間の経過時点までの間は原音がそのまま外部に出力される一方、遅延時間の経過時点以降は原音と効果音とを重畳させて生成された音響処理音が出力される。この結果、聴き手は、遅延時間に相当する当初の期間は原音を、その後は音響処理音を聴くことになる。このため、たたみ込み処理による遅延に起因する再生開始直後の無音期間がなくなる。
【００１６】
また、本発明の音響処理装置では、実在する第１の音響空間の響きに対応して得られた第１のインパルス応答データを保持する手段と、音響処理が施された音の再生出力が行われる予定の実在する第２の音響空間の響きに対応して得られた第２のインパルス応答データを保持する手段とを備えると共に、たたみ込み手段が、原音に対して第１および第２のインパルス応答データをたたみ込むことにより効果音を生成するようにするのが好ましい。このように構成した場合、実在する第１の音響空間の響きに対応して得られた第１のインパルス応答データと、音響処理が施された音の再生出力が行われる予定の実在する第２の音響空間の響きに対応して得られた第２のインパルス応答データとを原音にたたみ込むことにより、効果音が生成される。そして、この効果音が原音に重畳されて音響処理音が生成され、出力される。すなわち、収録空間としての第１の音響空間のみならず、再生空間としての第２の音響空間の音響特性をも加味した音響処理が行われることになる。このため、視聴する空間の良し悪しに左右されることなく、ほぼ一定の安定した音響特性を保った臨場感を聴き手に与えることになる。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２３】
［音響処理装置］
《第１の実施の形態》
図１は、本発明の第１の実施の形態に係る音響処理装置を用いて構成したオーディオビジュアルシステム（以下、ＡＶシステムという。）の概略構成を表すものである。このＡＶシステムは、収録済の原音に所定の音響処理を施して音響処理音を生成する音響処理装置１と、生成された音響処理音（オーディオデータ）を出力する４つのスピーカ２Ａ〜２Ｄと、音響処理装置１により再生された画像（以下、適宜、映像ともいう。）を表示する表示装置３とを含んで構成されている。スピーカ２Ａ〜２Ｄは、それぞれ、信号増幅機能を有するオーディオアンプ４Ａ〜４Ｄを介して、音響処理装置１に接続されている。表示装置３もまた音響処理装置１に接続されている。
【００２４】
音響処理装置１は、例えばパーソナルコンピュータ等で構成されるが、その他の情報処理装置を用いて構成することも可能である。４つのスピーカのうち、スピーカ２Ａ，２Ｂは、このシステムのユーザ（視聴者）Ｕの前方に配置されるフロントスピーカであり、スピーカ２Ｃ，２Ｄは、ユーザＵの後方に配置されるリアスピーカである。これらの４つのスピーカによって、いわゆるサラウンドシステム（surround system ）が実現されるようになっている。
【００２５】
ここで、サラウンドシステムとは、一般に、周囲に４個以上のスピーカーを配して、音の到達時間を変えたり、壁や天井からの反射による間接音や残響に相当する音を出したりすることにより、視聴者が感じる音の像に左右の広がりだけでなく、奥行も感じられるようにした音響再生システムであり、コンサートホールや映画館の臨場感を出すことを目的として用いられる。このサラウンドシステムでは、左右の音声信号の時間的ずれ、位相差と音量差によって、リアエフェクト音声を作り出し、これを後方や横に置かれたエフェクトスピーカから再生することにより、できる限り実際の音声に近づけることができる。
【００２６】
表示装置３は、通常、ユーザＵの正面に配置される。表示装置３としては、例えば、大画面のＣＲＴ（cathode −ray tube）ディスプレイ、液晶ディスプレイ、プラズマディスプレイ、ＥＬ（electoroluminescence）ディスプレイ、ＦＥＤ（Field Emission Display）、あるいは液晶プロジェクタ等が用いられる。
【００２７】
このＡＶシステムには、音響処理装置１による音響処理の結果生成された音響処理音および画像（ビデオデータ）を記録・再生することが可能な記録再生装置５を含めることも可能である。この記録再生装置５としては、例えば、追記型または書き替え可能型のＤＶＤ( Ｄigital Versatile Disk ）装置や、ビデオカセットレコーダ（ＶＴＲ）等が用いられる。この記録再生装置５には、ヘッドフォン６が接続可能である。ユーザＵは、記録再生装置５から再生されて表示装置３に表示される画像を見ながら、記録再生装置５から再生された音響処理音をヘッドフォン６を通じて聴取することができるようになっている。なお、記録再生装置５としては、音声の記録・再生のみが可能な装置、例えばＭＤ（Mini Disc ）やカセットテープレコーダ等のような携帯可能な小型の装置を用いるようにしてもよい。また、記録再生装置５を音響処理装置１に内蔵するようにしてもよく、その場合には、この記録再生装置５が本発明の「着脱可能記録媒体に記録する記録手段」の一具体例に対応する。
【００２８】
音響処理装置１は、オーディオソース（音源）７からオーディオデータ７Ａを取り込むと共に、コンテンツソース（素材源）８から処理用コンテンツデータ８Ｃを取り込み、この処理用コンテンツデータ８Ｃを用いてオーディオデータ７Ａに所定の音響処理（リバーブ処理、より具体的には、たたみ込み処理）を施すという機能を有している。
【００２９】
オーディオソース７は、例えば、ＣＤ（Compact Disc）、ＭＤおよびＤＶＤのような音声記録媒体であってもよいし、あるいはインターネットウェブサイト （すなわち、インターネット上に開設されている音楽配信サイト）のホームページ（ＨＰ）であってもよい。コンテンツソース８は、処理用コンテンツデータ８Ｃを提供するためのものであり、例えばＣＤ−ＲＯＭやフロッピーディスク等のデータ記録媒体の形で配布されるものであってもよいし、あるいは、インターネットウェブサイト（すなわち、インターネット上に開設されているコンテンツ配信サイト）のホームページ（ＨＰ）であってもよい。そのようなコンテンツ配信サイトについては後述する。
【００３０】
オーディオデータ７Ａは、既に収録された各種の音楽や音色（例えば楽器の音や鐘の音等）を表すデータである。処理用コンテンツデータ８Ｃは、リバーブデータ、画像データ、付帯データおよびリンクデータの４者よりなる複合データである。なお、以下の説明では、「処理用コンテンツデータ８Ｃ」を単に「コンテンツデータ８Ｃ」と略記する。
【００３１】
リバーブデータは、音声データに対して後述の音響処理（たたみ込み処理）を施すときに用いられる音響処理用データ（具体的には、インパルス応答データ）であり、実在する音響空間において採取されたものである。音響空間およびインパルス応答データについては後述する（図９参照）。
【００３２】
画像データは、リバーブデータと関連した内容の画像を表すデータであり、静止画もしくは動画のいずれか一方または双方を含むデータである。画像データには、例えば、インパルス応答データが採取された音響空間自体を撮影して得られる静止画または動画を表すデータや、その音響空間を想起させるような絵画または意匠等を表すデータ等が含まれる。この画像データは、圧縮されたデータである。具体的には、静止画の場合には、例えばｊｐｅｇ（joint photographic expert group ）形式等の圧縮データが用いられ、動画の場合には、例えばＭＰＥＧ（motion pictures expert group）形式等の圧縮データが用いられる。
【００３３】
付帯データは、コンテンツデータ８Ｃの内容に関する補足情報であり、リバーブデータのタイトルと、画像データのタイトルと、画像データに関わる説明とを含む。ここで、「画像データに関わる説明」としては、例えば、そのリバーブデータが採取された施設（音響空間）の紹介（例えば、その施設の規模や歴史）や、その施設がある都市の紹介、さらには、その施設や都市にまつわる人物やエピソード等の紹介が挙げられる。
【００３４】
リンクデータは、リバーブデータと画像データおよび付帯データとをリンクさせる（関連付ける）ための定義付け情報である。
【００３５】
なお、リバーブデータ、画像データ、付帯データおよびリンクデータの具体的内容、ならびにそれらのデータの相互関係については後述する（図４参照) 。
【００３６】
ここで、図９を参照して、リバーブデータとして用いられるインパルス応答データの意義について説明する。
【００３７】
図９は、ある音響空間について得られたインパルス応答データの一例を表すものである。なお、ここにいう音響空間とは、例えば、ウイーン・コンツェルトハウスやライプツィヒ・ゲヴァントハウスのような著名なコンサートホール、東京ドームのようなイベントホール、さらには、グランドキャニオンのような地表の壮大な空間や、鍾乳洞あるいは鉱石採掘跡のような地下空間等、およそ自然界に存在して音を伝播可能なすべての空間を意味するものとする。
【００３８】
図９において、横軸は時間軸を表し、縦軸はデータの値を表す。ここにいうインパルス応答データとは、ある音響空間に単位インパルス音を与えたときにそこに生ずる残響音を所定の時間間隔でサンプリングして得られるパルス列のデータをいい、その音響空間がもつ固有の音響特性、具体的には残響音特性を表している。なお、図９では、サンプリングポイント数をＮｓ（Ｎｓは正の整数）として描いている。この図に示したように、インパルス応答データは、一般に、時間の経過と共にほぼ指数関数的に減衰する形を有している。但し、その厳密な形は、音響空間の大きさ、形状、構造および構成材料等に応じて音響空間ごとに異なるのが普通であり、それぞれ独特の形をしている。
【００３９】
このように、インパルス応答データは、それが得られた音響空間と一体不可分の関係にある。そこで、本実施の形態では、画像データとして、例えば、その音響空間自体を撮影して得られる静止画または動画を表すデータや、その音響空間を想起させるような絵画または意匠等を表すデータを用い、この画像データを各音響空間に対応付けて提供すると共に、インパルス応答データを用いて生成した音響処理音に関連付けて画像データを取り扱うようにしている。その詳細については後述する。
【００４０】
図２は、図１に示した音響処理装置１の概略構成を表すものである。この音響処理装置１は、ＣＰＵ（中央処理装置）１１と、ＣＰＵ１１が行うデータ処理に必要な作業データ等の随時書き込みと随時読み出しとが可能なＲＡＭ１２と、ＢＩＯＳ（Basic Input/Output System ）等が格納された読み出し専用のＲＯＭ（Read Only Memory）１３とを備えている。音響処理装置１はまた、ＯＳ（operating system）およびアプリケーションプログラム等のプログラムを含む様々なデータを格納すると共にこれらのデータのランダム読出が可能なハードディスクドライブ（ＨＤＤ）１４と、インターネットに接続可能な通信Ｉ／Ｆ１５と、ＣＤドライブ１６と、オーディオビジュアルインタフェイス（ＡＶ−Ｉ／Ｆ）１７とを備えている。音響処理装置１は、さらに、データ入力用のキーボード１８Ｋおよびマウス１８Ｍと、表示デバイス（ＤＰＬＹ）１９とを備えている。以上列挙した各部は、バスＢによって相互に接続されている。
【００４１】
ＣＰＵ１１は、この音響処理装置１の全体に係わる動作を制御するほか、後述するたたみ込み演算等を高速で処理する機能を有する。ＣＰＵ１１としては、動作クロックが例えば５００ＭＨｚ以上の高速タイプのデバイスを用いるのが好ましい。ここで、ＣＰＵ１１が、本発明における「たたみ込み手段」、「画像再生手段」および「制御手段」を実現するハードウェアの一具体例に対応する。
【００４２】
ＨＤＤ１４は、上記したＯＳのほかに、少なくともリバーブアプリケーションプログラム１４Ｐと、コンテンツライブラリ１４Ｃとを格納できるだけの記憶容量を有する。リバーブアプリケーションプログラム１４Ｐは、オーディオソース７（図１）から供給される原音（オーディオデータ７Ａ）に音響処理であるリバーブ処理（たたみ込み処理）を施すためのプログラムであり、例えばＣＤドライブ１６を用いてＣＤ−ＲＯＭ１６ＰからＨＤＤ１４にインストールされるようになっている。コンテンツライブラリ１４Ｃは、コンテンツソース８（図１）から供給された、リバーブデータ、画像データ、付帯データおよびリンクデータからなるコンテンツデータ８Ｃを集めたファイルライブラリである。なお、図２に示した例では、オーディオソースは音楽ＣＤ１６Ａであり、コンテンツソースはインターネット上のウェブサイトである。
【００４３】
ＡＶ−Ｉ／Ｆ１７は、オーディオアンプ４Ａ〜４Ｄ、表示装置３および記録再生装置５（図１）とバスＢとの間を接続し、ディジタル信号（ディジタルオーディオデータおよびディジタル画像データ）を、アナログ信号（アナログオーディオデータおよびアナログ画像データ）に変換する信号変換機能等を有している。通信Ｉ／Ｆ１５としては、例えば、ＩＳＤＮ回線用であればターミナルアダプタ（ＴＡ）、アナログ回線用であればモデム（modem ）等が用いられる。ＣＤドライブ１６は、通常の音楽ＣＤ１６Ａを駆動してオーディオデータ７ＡをＨＤＤ１４に取り込むことができるほか、プログラムが記録されたＣＤ−ＲＯＭ１６Ｐを駆動してリバーブアプリケーションプログラム１４ＰをＨＤＤ１４に取り込むことができるようになっている。なお、ＣＤドライブ１６は、読み出し専用メディアであるＣＤやＣＤ−ＲＯＭを駆動可能なもののほか、追記型メディアであるＣＤ−Ｒ（Recordable）や、書き替え可能型メディアであるＣＤ−ＲＷ（Rewitable ）等の駆動が可能な複合型ドライブであってもよい。さらに、ＣＤドライブ１６に代えて、書込専用ＤＶＤや書き替え可能型ＤＶＤの駆動が可能なＤＶＤドライブを用いるようにしてもよい。
【００４４】
図３は、音響処理装置１がＨＤＤ１４内のコンテンツライブラリ１４Ｃを用いて行う機能の要部を表したものである。なお、図３において、「データ」という用語は、意味的なまとまりをもった一連の情報を意味し、「ファイル」という用語は、記憶装置に格納された複数の同種データの集合体を意味するものとする。例えば、リバーブファイルＲＦは、複数種類のリバーブデータＲＤi （ｉ＝１，２，３，…) を含むデータファイルであり、画像ファイルＩＭＦは、複数種類の画像データＩＭj （ｊ＝１，２，３，…) を含むデータファイルである。付帯ファイルＡＸＦは、複数の付帯データＡＸi （ｉ＝１，２，３，…) を含むデータファイルであり、リンクファイルＬＦは、複数のリンクデータＬi （ｉ＝１，２，３，…) を含むデータファイルである。
【００４５】
図４は、リンクファイルの内容の一具体例を表すものである。リンクファイルＬＦは、複数のリンクデータＬ１，Ｌ２，Ｌ３，…を含んでいる。各リンクデータＬi （ｉ＝１，２，３，…）は、１つのリバーブデータと、１または複数の画像データと、１つの付帯データとを相互に対応付ける定義付けデータである。例えば、リンクデータＬ１は、リバーブデータＲＤ１と、３つの画像データ［ＩＭ１，ＩＭ２，ＩＭ３］と、付帯データＡＸ1 とを対応付けており、リンクデータＬ２は、リバーブデータＲＤ２と、３つの画像データ［ＩＭ４，ＩＭ５，ＩＭ６］と、付帯データＡＸ2 とを対応付けている。リンクデータＬ３は、リバーブデータＲＤ３と、４つの画像データ［ＩＭ４，ＩＭ５，ＩＭ６，ＩＭ１］と、付帯データＡＸ3 とを対応付けている。なお、図４におけるＲＤｉ，ＩＭj ，ＡＸｉの表記は各データの中身自体を示すものではなく、データの中身が実際に格納されている場所（ハードディスク１４上のアドレス）を表しているにすぎない。
【００４６】
画像データＩＭ１〜ＩＭ６の実際のデータ内容は、例えば、
ＩＭ１：IMAGE1.bmp，ＩＭ２：IMAGE2.bmp，ＩＭ３：IMAGE3.bmp
ＩＭ４：VIDEO1.mpg，ＩＭ５：VIDEO2.mpg，ＩＭ６：VIDEO3.mpg
である。ここで、拡張子「bmp 」はビットマップ形式の静止画データであることを示し、拡張子「mpg 」はＭＰＥＧ(Moving Picture Experts Group)形式で圧縮された動画データであることを示す。
【００４７】
図４に示した例において、リンクデータＬ１は、「リバーブデータＲＤ１が選択された場合に、３つの静止画像データIMAGE1.bmp，IMAGE2.bmp，IMAGE3.bmpをそれぞれ所定の時間ずつ順次表示させると共に、これらの静止画像の表示に同期して付帯データＡＸ１の内容を表示する」ことを意味している。リンクデータＬ２は、「リバーブデータＲＤ２が選択された場合に、３つの動画像データVIDEO1.mpg，VIDEO2.mpg，VIDEO3.mpgを順次表示させると共に、これらの静止画像の表示に同期して付帯データＡＸ２の内容をオーバーラップ表示する」ことを意味している。リンクデータＬ３は、「リバーブデータＲＤ３が選択された場合に、３つの動画像データVIDEO1.mpg，VIDEO2.mpg，VIDEO3.mpgを順次表示させたのち、静止画像データIMAGE1.bmpを所定時間表示させ、その後、２番目の動画像データVIDEO2.mpgを表示させると共に、これらの静止画像の表示に同期して付帯データＡＸ３の内容をオーバーラップ表示する」ことを意味している。その他のリンクデータについても同様である。なお、リンクデータＬ３における「Go To #2」は、２番目の画像データに制御を移すことを意味するが、このような記述が存在しない場合には、先頭の画像データに制御を移すようになっている。
【００４８】
図３に示したように、リバーブアプリケーションプログラム１４Ｐは、少なくとも、リバーブモジュールＲＥＶ、画像再生モジュールＲＥＰおよびリンク制御モジュールＬＣという３つのプログラムモジュールを含んで構成されている。リンク制御モジュールＬＣは、ユーザによって指定されたリンクデータＬi をリンクファイルＬＦから読み出し、このリンクデータＬi の内容に従って、リバーブモジュールＲＥＶおよび画像再生モジュールＲＥＰを制御するようになっている。リバーブモジュールＲＥＶおよび画像再生モジュールＲＥＰは、それぞれ、リンク制御モジュールＬＣによる制御の下、互いに同期して、リバーブデータＲＤi と、画像データＩＭi および付帯データＡＸi とを読み出し、以下に述べる処理を行うようになっている。画像再生モジュールＲＥＰが、本発明における「画像再生手段」の一具体例に対応し、リンク制御モジュールＬＣが本発明における「制御手段」の一具体例に対応する。
【００４９】
すなわち、リバーブモジュールＲＥＶは、リバーブファイルＲＦからリバーブデータＲＤi を読み出し、このリバーブデータＲＤi を用いて、音楽ＣＤ１６Ａ（図２、図３参照）から出力されるオーディオデータ７Ａ（図１〜図３参照）に対して、後述するリバーブ処理（たたみ込み処理）を行い、スピーカ２Ａ〜２Ｄに出力するという音響処理機能を有する。
【００５０】
一方、画像再生モジュールＲＥＰは、画像ファイルＩＭＦから画像データＩＭj を読み出してその圧縮状態を解凍し、これをリバーブモジュールＲＥＶの出力に合わせて表示装置３に出力するという画像デコード機能を有する。画像再生モジュールＲＥＰはまた、付帯ファイルＡＸＦから付帯データＡＸi を読み出し、画像再生出力に同期して表示装置３に出力するという機能も有している。リバーブモジュールＲＥＶは以下に述べるような構造を有している。
【００５１】
図５は、図３に示したリバーブモジュールＲＥＶの機能構造を詳細に表すものである。なお、この図に示した各機能ブロックは、いずれもソフトウェアによって実現されるものである。
【００５２】
このリバーブモジュールＲＥＶは、ステレオ入力／ステレオ出力の機能を有する。すなわち、このリバーブモジュールＲＥＶは、Ｌチャンネル（左チャンネル）の入力オーディオデータＬinとＲチャンネル（右チャンネル）の入力オーディオデータＲinとからなるオーディオデータ７Ａ（図１、図２，図３参照）を入力とし、Ｌチャンネルの出力オーディオデータＬout とＲチャンネルの出力オーディオデータＲout とからなる音響処理データ７Ｂを出力するようになっている。
【００５３】
リバーブモジュールＲＥＶは、Ｌチャンネルの入力オーディオデータＬinに対してたたみ込み処理を行うための２つのたたみ込み処理部５１Ｌ１，５１Ｌ２と、Ｒチャンネルの入力オーディオデータＲinに対してたたみ込み処理を行うための２つのたたみ込み処理部５１Ｒ１，５１Ｒ２とを含んで構成されている。リバーブモジュールＲＥＶはまた、Ｌチャンネルの入力オーディオデータＬinを遅延させるための遅延処理部５２Ｌと、Ｒチャンネルの入力オーディオデータＲinを遅延させるための遅延処理部５２Ｒとを含んでいる。Ｌチャンネルの入力オーディオデータＬinは３経路に分岐されて入力され、各分岐されたデータが、それぞれ、たたみ込み処理部５１Ｌ１，５１Ｌ２および遅延処理部５２Ｌに入力されるようになっている。同様に、Ｒチャンネルの入力オーディオデータＲinは３経路に分岐されて入力され、各分岐されたデータが、それぞれ、たたみ込み処理部５１Ｒ１，５１Ｒ２および遅延処理部５２Ｒに入力されるようになっている。ここで、たたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２が本発明における「たたみ込み手段」の一具体例に対応する。
【００５４】
たたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２には、リバーブデータＲＤi （図３〜図５参照）が個別に供給され、これを用いて、入力オーディオデータＬin，Ｒinに対するたたみ込み処理が行われるようになっている。たたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２にはまた、リバーブ時間調整データ５６が供給され、これにより、リバーブ時間を個別に設定できるようになっている。このリバーブ時間は、入力オーディオデータＬin，Ｒinに対して実際にたたみ込み処理を施す時間の長さであり、通常、リバーブデータが採取された音響空間が有する固有の残響時間の長短に応じて設定される。なお、一般に、残響時間は音が止まってから音圧レベルが６０ｄＢ減衰するまでの時間を意味する。
【００５５】
たたみ込み処理部５１Ｌ１の出力とたたみ込み処理部５１Ｒ２の出力とは、加算部５３Ｌ１に入力され、ここで互いに加算されて、効果音（ウェット音）データＷＬとして出力されるようになっている。一方、たたみ込み処理部５１Ｌ２の出力とたたみ込み処理部５１Ｒ１の出力とは、加算部５３Ｒ１に入力され、ここで互いに加算されて、効果音データＷＲとして出力される。加算部５３Ｌ１から出力された効果音データＷＬは乗算部５４Ｌ１に入力され、ここで、Ｌチャンネル用のウェット成分調整データ５７Ｌと乗ぜられる。一方、加算部５３Ｒ１から出力された効果音データＷＲは乗算部５４Ｒ１に入力され、ここで、Ｒチャンネル用のウェット成分調整データ５７Ｒと乗ぜられるようになっている。ここで、ウェット成分調整データとは、最終的に視聴に供される音響処理済みの音の全体（すなわち、音響処理音）に占める効果音の割合を決定する係数である。具体的には、ウェット成分調整データ５７Ｌは、出力オーディオデータＬout のうち効果音データＷＬが占める割合を表し、ウェット成分調整データ５７Ｒは出力オーディオデータＲout のうち効果音データＷＲが占める割合を表す。
【００５６】
遅延処理部５２Ｌから出力された原音（たたみ込みがなされていないドライ音）データＤＬは乗算部５４Ｌ２に入力され、ここでＬチャンネル用のドライ成分調整データ５８Ｌと乗ぜられるようになっている。一方、遅延処理部５２Ｒから出力された原音データＤＲは乗算部５４Ｒ２に入力され、ここでＲチャンネル用のドライ成分調整データ５８Ｒと乗ぜられる。ここで、ドライ成分調整データとは、最終的に視聴に供される音響処理音に占める原音の割合を表す係数である。具体的には、ドライ成分調整データ５７Ｌは、出力オーディオデータＬout のうち原音データＤＬが占める割合を表す係数であり、ドライ成分調整データ５７Ｒは、出力オーディオデータＲout のうち原音データＤＲが占める割合を表す係数である。
【００５７】
乗算部５４Ｌ１，５４Ｌ２の各出力は、加算部５３Ｌ２で互いに加算（重畳）され、これにより、Ｌチャンネルの原音データＤＬと効果音データＷＬとが所定の比率（すなわち、ドライ成分調整データ５８Ｌとウェット成分調整データ５７Ｌの比）で混合された出力オーディオデータＬout が生成される。一方、乗算部５４Ｒ１，５４Ｒ２の各出力は、加算部５３Ｒ２で互いに加算（重畳）され、これにより、Ｒチャンネルの原音データＤＲと効果音データＷＲとが所定の比率で混合された出力オーディオデータＲout が生成されるようになっている。
【００５８】
図６は、図５におけるたたみ込み処理部５１Ｌ１の機能構造をより詳細に表すものである。このたたみ込み処理部５１Ｌ１は、Ｌチャンネルの入力オーディオデータＬinが入力されるバッファ処理ブロック６１と、バッファ処理ブロック６１の出力が供給されるＦＦＴ（Fast Fourier Transformation ）処理ブロック６２と、リバーブデータＲＤi （ｉ＝１，２，３，…；図３〜図５参照）が入力されるバッファ処理ブロック６３と、バッファ処理ブロック６３の出力が供給されるＦＦＴ処理ブロック６４とを含んで構成されている。たたみ込み処理部５１Ｌ１はまた、ＦＦＴ処理ブロック６２の出力とＦＦＴ処理ブロック６２の出力とが供給される乗算ブロック６５と、乗算ブロック６５の出力が供給されるＩＦＦＴ処理ブロック６６とを含んでいる。
【００５９】
バッファ処理ブロック６１は、音楽ＣＤ１６Ａ（図２，図３）からＬチャンネルの入力オーディオデータＬinを読み出し、これをメモリ（図２；ＲＡＭ１２）に所定量蓄積したのちに出力する処理を行うブロックである。このバッファ処理ブロック６１によってメモリに蓄積されるデータの量は、リバーブ時間調整データ５６によって設定されるようになっている。具体的には、例えば５１２ｋ（＝２19＝５２４，２８８）ポイント分のサンプリングデータがバッファ処理ブロック６１に格納される。
【００６０】
バッファ処理ブロック６３は、ＨＤＤ１４（図２）のリバーブファイルＲＦ （図３）からいずれかのリバーブデータＲＤi を読み出し、これをメモリ（図２；ＲＡＭ１２）に所定量蓄積したのち出力する処理を行うブロックである。このバッファ処理ブロック６３によってメモリに蓄積されるデータ量もまた、リバーブ時間調整データ５６によって設定される。
【００６１】
ＦＦＴ処理ブロック６２は、バッファ処理ブロック６１から出力された時間軸上のオーディオデータを高速フーリエ変換(FFT) によって周波数軸上のデータに変換する処理を行うブロックである。このブロックにより、Ｌチャンネルの入力オーディオデータＬinは、例えば、０．１Ｈｚ毎の周波数要素データに変換されるようになっている。ＦＦＴ処理ブロック６４は、バッファ処理ブロック６３から出力された時間軸上のリバーブデータＲＤi を高速フーリエ変換によって周波数軸上のデータに変換する処理を行うブロックである。
【００６２】
乗算ブロック６５は、ＦＦＴ処理ブロック６２の出力にＦＦＴ処理ブロック６４の出力を乗ずるたたみ込み演算処理を行うブロックである。このときの乗算は、互いに周波数成分が一致するデータ同士で行われる。
【００６３】
ＩＦＦＴ処理ブロック６６は、乗算ブロック６５から出力された周波数軸上のデータを逆高速フーリエ変換(IFFT ;Inverse Fast Fourier Transformation) によって時間軸上のデータに変換し、効果音（ウェット音）６７として出力する処理を行うブロックである。
【００６４】
なお、他のたたみ込み処理部５１Ｌ２は、たたみ込み処理部５１Ｌ１と同様のブロック構造および機能を有する。また、たたみ込み処理部５１Ｒ１，５１Ｒ２は、入力がＲチャンネルの入力オーディオデータＲinである点を除き、たたみ込み処理部５１Ｌ１と同様のブロック構造および機能を有する。但し、これらの４つのたたみ込み処理部５１Ｌ１〜５１Ｒ２で行われる処理は、実際には、ＣＰＵ１１（図２）によって時分割的に実行される処理である。
【００６５】
次に、主に図７および図８を参照して、以上のような構成の音響処理装置の全体動作および作用を説明する。
【００６６】
図７は、ユーザＵ（図１）が音響処理装置１を用いて音響処理を行う場合の操作を含めた全体の流れを表し、図８は、リバーブモジュールＲＥＶ（図３，図５参照）における音響処理のタイミングを表すものである。ここでは、図２に示したように、ユーザＵはすでに、ＣＤ−ＲＯＭ１６Ｐによって提供されたリバーブアプリケーションプログラム１４ＰをＣＤドライブ１６を用いてＨＤＤ１４にインストールする作業を終了しているものとする。このリバーブアプリケーションプログラム１４Ｐを記録したＣＤ−ＲＯＭ１６Ｐは、例えば音楽雑誌の付録として提供するようにしてもよい。なお、リバーブアプリケーションプログラム１４Ｐは、ＣＤ−ＲＯＭ以外の記憶媒体で提供されるようにしたり、あるいはインターネットのホームページからダウンロードにより提供されるようにすることも可能である。
【００６７】
ユーザＵはまず、音響処理装置１を操作して、コンテンツソース８（図１）から、リバーブデータ、画像データ、付帯データおよびリンクデータからなるコンテンツデータ８Ｃを取得する。ここでは、コンテンツソース８がインターネット上の任意のコンテンツ配信サイトのサーバ（図示せず）であるものとする。この場合、ユーザＵは、コンテンツ配信サイトのホームページ（図示せず）にアクセスして、コンテンツデータ８Ｃをダウンロードし（図７；ステップＳ１０１）、これをＨＤＤ１４のコンテンツライブラリ１４Ｃ（図２）に格納する。このとき、ユーザＵは、１つのサイトから複数種類のコンテンツデータ８Ｃをダウンロードしたり、あるいは、複数のサイトからコンテンツデータ８Ｃをダウンロードすることにより、ＨＤＤ１４のコンテンツライブラリ１４Ｃに複数のコンテンツデータ８Ｃを蓄積することができる。なお、コンテンツデータ８ＣをＣＤ−ＲＯＭ等の物理的な記憶媒体を介して取得することも可能である。
【００６８】
次に、ユーザＵが、ＣＤドライブ１６（図２）にオーディオソースである音楽ＣＤ１６Ａをセットし、ＨＤＤ１４内のリバーブアプリケーションプログラム１４Ｐを起動して所定の操作を行うと（ステップＳ１０２）、リバーブアプリケーションプログラム１４Ｐは、ＨＤＤ１４のコンテンツライブラリ１４Ｃの内容をディスプレイ１９にリスト表示すると共に、音楽ＣＤ１６Ａの中の楽曲（音楽プログラム）のリストを表示する（ステップＳ１０３）。
【００６９】
コンテンツライブラリ１４Ｃの内容表示は、次のようにして行われる。すなわち、リバーブアプリケーションプログラム１４Ｐのリンク制御モジュールＬＣ（図３）は、コンテンツライブラリ１４Ｃ内のリンクファイルＬＦ（図３，図４）に含まれるすべての付帯データＡＸｉの内容を参照し、リバーブデータＲＤi のタイトルと、このリバーブデータＲＤi に対応する画像データＩＭj のタイトルとをリスト形式でディスプレイ１９に表示する。具体的には、リバーブデータＲＤi のタイトルとして、例えばそのリバーブデータＲＤi が採取された音響空間（施設や場所）の名称（例えば、「ウィーンコンツェルトハウス」等）が表示され、画像データＩＭj のタイトルとして、その画像の内容を簡潔に表すタイトル（例えば、「ウィーンコンツェルトハウスの全景とウィーンの春の風景」等）が表示される。
【００７０】
こうして表示された楽曲リストおよびコンテンツライブラリリストの中から、ユーザＵによっていずれかの楽曲とリバーブデータＲＤi とが選択されると（ステップＳ１０４；Ｙ）、リバーブアプリケーションプログラム１４Ｐは、選択された楽曲の再生と、選択されたリバーブデータＲＤi が指し示す画像の再生とを開始する。
【００７１】
具体的には、リンク制御モジュールＬＣは、まず、リンクファイルＬＦから、その選択されたリバーブデータＲＤi に関するリンクデータＬi を読み出し、このリンクデータＬi の内容に従って、選択されたリバーブデータＲＤi に対応する画像データＩＭj の再生表示を開始するよう、画像再生モジュールＲＥＰ（図３）に指示する。さらに、リンク制御モジュールＬＣは、選択されたリバーブデータＲＤi を用いて、選択された楽曲のオーディオデータ７Ａ（図１〜図３）にリバーブ音響処理を行うよう、リバーブモジュールＲＥＶ（図３，図５）に指示する。
【００７２】
例えばリバーブデータＲ１が選択されたとすると、リンク制御モジュールＬＣは、コンテンツライブラリ１４ＣのリンクファイルＬＦから、対応するリンクデータＬ１を読み出す。そして、そのリンクデータＬ１中に列挙されている画像データＩＭj （図４に示した例では、静止画データIMAGE1.bmp，IMAGE2.bmp，IMAGE3.bmp）の再生出力を画像再生モジュールＲＥＰに指示する。さらに、リンク制御モジュールＬＣは、ユーザによって選択された楽曲（オーディオデータ７Ａ）を音楽ＣＤ１６Ａから読み出し、このオーディオデータ７Ａに対し、リバーブデータＲ１を用いたリバーブ音響処理を開始するよう、リバーブモジュールＲＥＶに指示する。
【００７３】
リンク制御モジュールＬＣからの指示を受けた画像再生モジュールＲＥＰは、画像再生を開始する（ステップＳ１０５）。具体的には、指示された圧縮状態の画像データＩＭj を画像ファイルＩＭＦ（図３）から読み出し、これを伸長（デコード）し、ＡＶ−Ｉ／Ｆ１７を介して表示装置３に出力する。これにより、表示装置３に、画像データＩＭj の内容（静止画IMAGE1.bmp，IMAGE2.bmp，IMAGE3.bmp）が、所定の時間間隔で順次表示される。なお、ユーザＵによる指示があった場合には、リンク制御モジュールＬＣは、リンクデータＬ１の付帯データＡＸ１をも読み出し、これを画像再生モジュールＲＥＰに渡す。画像再生モジュールＲＥＰは、付帯データＡＸ１の内容を静止画と共に表示装置３にオーバーラップさせて表示する（図３では図示せず）。
【００７４】
例えば、選択されたリバーブデータＲ１のタイトルが上記したように「ウィーンコンツェルトハウス」であったとすると、表示装置３には、ウィーンコンツェルトハウスの外観、内観およびウィーンの春の景色等が、このウィーンコンツェルトハウスの規模および歴史の解説や音楽の都ウィーンにまつわる作曲家のエピソード等の付帯データＡＸi と共に表示されることになる。
【００７５】
一方、リンク制御モジュールＬＣからの指示を受けたリバーブモジュールＲＥＶは、選択された楽曲に対するリバーブ処理を開始する（ステップＳ１０６）。具体的には、まず、オーディオデータ７Ａに対し、その曲頭から、リバーブデータＲＤ1 によるたたみ込み処理を開始すると共に、この開始時点から所定の時間τが経過したところで、原音（ドライ音）に効果音（ウェット音）が重畳した音響処理音の出力を開始する（ステップＳ１０７）。なお、上記した「所定の時間τ」については後述する。
【００７６】
こうして原音に効果音が重畳されて出力された音響処理音は、各チャンネルごとにオーディオアンプ４Ａ，４Ｂ（図１）によって増幅されたのち、スピーカ２Ａ，２Ｂ（図１，図３）から出力され、ユーザＵによって聴取される。この音響処理音は、ユーザＵが選択したリバーブデータＲＤi が採取された現実の音響空間（例えば、ウィーンコンツェルトハウス）においてその曲を演奏した場合に得られるものと同等の残響音を含んだ臨場感のある音響になっている。このため、ユーザＵは、あたかも、実際にその音響空間に行ってその曲を聞いているかのような疑似的聴取体験をすることができる。
【００７７】
さらに、このような臨場感のある音響処理音の出力と並行して、表示装置３には、画像再生モジュールＲＥＰによって再生された画像（例えば、ウィーンコンツェルトハウスの内観やウィーンの町並み等を表す絵や写真）が表示される。この再生画像の内容は、ユーザＵの選択に応じたもの（例えば、現にスピーカから出力されている音響処理音が形作る音場と対応したもの）になっているため、ユーザＵは、その音響空間の情景をイメージとして描きながら音楽を聞くことができる。すなわち、ユーザＵは、聴覚的な効果に加えて、視覚的にも臨場感のあるリアルな仮想体験をすることができる。しかも、ユーザＵの選択により、再生画像と共に、その擬似的創出の対象となった現実の音響空間に関する解説文もまた表示装置３に表示されるので、ユーザＵは、その音響空間等についての知識や理解を深めることができる。
【００７８】
次に、図５，図６および図８を参照して、リバーブモジュールＲＥＶが行うリバーブ音響処理について詳細に説明する。
【００７９】
図５において、音楽ＣＤ１６Ａ（図３参照）から読み出されたオーディオデータ７Ａのうち、Ｌチャンネルの入力オーディオデータＬinは、たたみ込み処理部５１Ｌ１，５１Ｌ２および遅延処理部５２Ｌに入力され、Ｒチャンネルの入力オーディオデータＲinは、たたみ込み処理部５１Ｒ１，５１Ｒ２および遅延処理部５２Ｒに入力される。たたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２には、ユーザＵによって選択されたリバーブデータＲＤi も入力される。
【００８０】
たたみ込み処理部５１Ｌ１，５１Ｒ２は、それぞれ、リバーブデータＲＤi に基づいて、入力オーディオデータＬin，Ｒinに対してたたみ込み処理（図６参照）を行い、その処理結果を、共に加算部５３Ｌ１に供給する。加算部５３Ｌ１は、たたみ込み処理部５１Ｌ１，５１Ｒ２の各出力同士を加算（混合）し、その結果を乗算部５４Ｌ１に供給する。
【００８１】
一方、たたみ込み処理部５１Ｌ２，５１Ｒ１は、それぞれ、リバーブデータＲＤi に基づき、入力オーディオデータＬin，Ｒinに対して、たたみ込み処理を行い、その処理結果を、共に加算部５３Ｒ１に供給する。加算部５３Ｒ１は、たたみ込み処理部５１Ｌ２，５１Ｒ１の各出力同士を加算（混合）し、その結果を乗算部５４Ｒ１に供給する。
【００８２】
遅延処理部５２Ｌは、入力オーディオデータＬinに対して所定時間τの遅延を与える処理を行い、その出力を原音データＤＬとして乗算部５４Ｌ２に供給する。一方、遅延処理部５２Ｒは、入力オーディオデータＲinに対して所定時間τの遅延を与える処理を行い、その出力を原音データＤＲとして乗算部５４Ｒ２に供給する。
【００８３】
原音データＤＬ，ＤＲに遅延を与える理由は次の通りである。すなわち、たたみ込み処理部５１Ｌ１（図５）では、後述するように、バッファ処理ブロック６１（図６）において、必要な残響時間に対応する分の入力オーディオデータＬinを、一旦メモリ（図２のＲＡＭ１２）に所定量蓄積したのちに読み出して、この読み出したデータにたたみ込み処理を行うようになっているため、効果音データ（ウェット音）ＷＬには所定の時間遅延が生ずる。そこで、効果音とドライ音との間のマッチング（曲ずれ防止）を図るために、効果音データ（ウェット音）ＷＬの遅延量と同一の時間遅延を、遅延処理部５２Ｌ（図５）によって原音（ドライ音）データＤＬにも与えるようにしているのである。
【００８４】
なお、遅延時間τは、オーディオデータ７Ａのサンプリング周波数、たたみ込みのサンプル数、およびたたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２における処理速度（すなわち、ＣＰＵ１１の動作周波数）等に依存して決まるが、通常は６秒程度に設定される。
【００８５】
乗算部５４Ｌ１は、加算部５３Ｌ１からの出力に対して、予め設定されたウェット成分調整データ５７Ｌを乗じ、その結果を加算部５３Ｌ２に供給する。乗算部５４Ｌ２は、遅延処理部５２Ｌからの出力に対して、予め設定されたドライ成分調整データ５８Ｌを乗じ、その結果を加算部５３Ｌ２に供給する。加算部５３Ｌ２は、乗算部５４Ｌ１，５４Ｌ２の各出力同士を加算（重畳）し、その結果をＬチャンネルの出力オーディオデータＬout として出力する。出力オーディオデータＬout は、オーディオアンプ４Ａ（図１）によって増幅され、スピーカ２Ａ（図１）から出力される。
【００８６】
一方、乗算部５４Ｒ１は、加算部５３Ｒ１からの出力に対して、予め設定されたウェット成分調整データ５７Ｒを乗じ、その結果を加算部５３Ｒ２に供給する。乗算部５４Ｒ２は、遅延処理部５２Ｒからの出力に対して、予め設定されたドライ成分調整データ５８Ｒを乗じ、その結果を加算部５３Ｒ２に供給する。加算部５３Ｒ２は、乗算部５４Ｒ１，５４Ｒ２の各出力同士を加算（重畳）し、その結果をＲチャンネルの出力オーディオデータＲout として出力する。出力オーディオデータＲout は、オーディオアンプ４Ｂ（図１）によって増幅され、スピーカ２Ｂ（図１）から出力される。
【００８７】
ここで、図６を参照して、たたみ込み処理部５１Ｌ１における処理内容を詳細に説明する。なお、他のたたみ込み処理部５１Ｌ２，５１Ｒ１，５１Ｒ２における処理も同様であるので、その説明を省略する。
【００８８】
図６に示したたたみ込み処理部５１Ｌ１において、バッファ処理ブロック６１は、Ｌチャンネルの入力オーディオデータＬinを一旦蓄積したのち、ＦＦＴ処理ブロック６２に供給する。一方、バッファ処理ブロック６３は、リバーブデータＲＤi を一旦蓄積したのち、ＦＦＴ処理ブロック６４に供給する。その際、バッファ処理ブロック６１，６３は、蓄積するデータの量をリバーブ時間調整データ５６に応じて決定する。この蓄積データ量は、遅延処理部５２Ｌでの遅延時間τに対応したものである。
【００８９】
ＦＦＴ処理ブロック６２は、バッファ処理ブロック６１の出力に対して高速フーリエ変換を行うことにより、時間軸上のデータである入力オーディオデータＬinを周波数軸上のデータに変換し、乗算ブロック６５へと出力する。一方、ＦＦＴ処理ブロック６４は、バッファ処理ブロック６３の出力に対して高速フーリエ変換を行うことにより、時間軸上のデータであるリバーブデータＲＤi を周波数軸上のデータに変換し、乗算ブロック６５に供給する。
【００９０】
乗算ブロック６５は、ＦＦＴ処理ブロック６２からの出力にＦＦＴ処理ブロック６４からの出力を乗ずるたたみ込み演算を行い、その結果をＩＦＦＴ処理ブロック６６に供給する。このとき、乗算ブロック６５は、互いに周波数成分が一致するデータ同士で乗算を行う。
【００９１】
例えば、入力オーディオデータＬinのサンプリング周波数が４８ｋＨｚであり、必要とされる残響時間に対応するサンプル数が２18＝２５６ｋであったとすると、遅延時間τは約５．３秒程度となる。ＣＰＵ１１は、このようなたたみ込み処理を、４つのたたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２において時分割的に並行して行うことになる。この場合、ＣＰＵ１１として動作周波数が５００ＭＨｚ程度のものを用い、３２ビットのフローティングポイント演算を行うようにすれば、十分実現可能である。
【００９２】
ＩＦＦＴ処理ブロック６６は、乗算ブロック６５の出力に対して逆高速フーリエ変換を行うことにより、周波数軸上のデータであるたたみ込み演算の結果を時間軸上のデータに戻して出力する。このようにして、Ｌチャンネル用の加算部５３Ｌ１（図５）に供給されるべきデータが生成される。
【００９３】
次に、図８を参照して、図３，図５に示したリバーブモジュールＲＥＶにおけるデータ処理のタイミングを説明する。この図の（Ａ）は、リバーブモジュールＲＥＶに原音 （＝ドライ音＝入力オーディオデータＬin, Ｒin）が入力されるタイミングを表し、（Ｂ）は、遅延処理部５２Ｌ，５２Ｒからドライ音が出力されるタイミングを表す。（Ｃ）は、リバーブモジュールＲＥＶのたたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２におけるたたみ込み処理のタイミングを表し、（Ｄ）は、たたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２の出力タイミングを表す。（Ｅ）は、加算部５３Ｌ２，５３Ｒ２の出力タイミング、すなわち、リバーブモジュールＲＥＶから最終的に音響処理音（ドライ音＋ウェット音）が出力されるタイミングを表す。なお、図８において、加算部５３Ｌ１，５３Ｒ１，５３Ｌ２，５３Ｒ２、および乗算部５４Ｌ１，５４Ｌ２，５４Ｒ１，５４Ｒ２における演算時間は、たたみ込み処理部５１Ｌ１等における演算時間に比べて十分小さいので、これを無視して描いている。
【００９４】
この図の（Ｃ）に示したように、時刻Ｔ０において、原音の曲頭からたたみ込み処理部５１Ｌ１におけるたたみ込み処理が開始し、これから時間τだけ遅れて、（Ｅ）に示したように、時刻Ｔ１において、最初の処理済みデータ（音響処理音）が出力される。この遅延は、上記したように、時間軸に沿って入力された原音およびリバーブデータＲＤi をそれぞれバッファ処理ブロック６１，６２に一旦蓄積してから周波数軸上のデータに変換するようにしていること、および、４つのたたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２の演算処理がソフトウェアによって行われるためＣＰＵ１１の処理能力に応じた遅延が生ずること、等の理由による。
【００９５】
このように、たたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２では入力に対して出力が時間τだけ遅れることから、遅延処理部５２Ｌ，５２Ｒは、（Ａ），（Ｂ）に示したように、その遅れ分に対応した時間τだけドライ音を遅延させて出力するようにしている。この結果、リバーブ処理が開始してから時間τが経過するまでは無音期間となる。そして、この無音期間τの経過後に、（Ｅ）に示したように、ドライ音とウェット音とが重畳された音響処理音の出力が開始する。
【００９６】
以上のように、本実施の形態に係る音響処理装置１によれば、現実の音響空間
において採取されたリバーブデータＲＤi を用いた音響処理を原音に施して出力するようにしたので、臨場感のある音響を得ることができる。さらに、本実施の形態では、音響処理音の出力と並行して、ユーザＵの選択に応じ、出力中の音響処理音が形作る音場と対応した画像を表示装置３に表示することを可能にしたので、ユーザＵは、その音響空間の情景をイメージとして描きながら音楽を聞くこともできる。このため、ユーザＵは、聴覚的にも視覚的にも臨場感のあるリアルな仮想体験、すなわち、あたかも、実際にその音響空間に身を置いてその曲を聞いているかのような疑似的聴取体験をすることができる。さらに、ユーザＵの選択により、再生画像と共に解説文もまた表示装置３に表示されるようにしたので、その音響空間等についての知識や理解を深めることもでき、仮想体験のリアル性を高めることができる。
【００９７】
また、本実施の形態の音響処理装置１によれば、たたみ込み処理をソフトウェアを用いて行うようにしたので、ユーザＵは、自分の所持しているパーソナルコンピュータにアプリケーションプログラム１４Ｐをインストールするだけでよく、特別のハードウェア装置を購入する必要がない。したがって、ユーザＵは、自分が既に所有しているＣＤ等に収録された音楽等に対する音響処理を、容易かつ低コストで行うことが可能になる。
【００９８】
次に、第１の実施の形態における音響処理装置１についてのいくつかの変形例を説明する。
【００９９】
〈変形例１−１〉
本変形例の音響処理装置は、図５のリバーブモジュールＲＥＶに代えて、図１０のようなモノラル入力／ステレオ出力の機能を有するリバーブモジュールＲＥＶ−Ａを用いるようにしたものであり、ＣＰＵ１１の処理能力が不足している場合に好適である。この図で、図５における要素と同一要素には同一の符号を付し、適宜説明を省略するものとする。
【０１００】
図１０に示したように、本変形例のリバーブモジュールＲＥＶ−Ａは、Ｌ，Ｒの両チャンネルの入力オーディオデータを１つに合成してモノラルの入力オーディオデータとし、このモノラルのオーディオデータを２分岐して、それぞれについてたたみ込み処理を行うようにしたものである。以下、詳細に説明する。
【０１０１】
このリバーブモジュールＲＥＶ−Ａは、Ｌチャンネルの入力オーディオデータＬinの一部とＲチャンネルの入力オーディオデータＲinの一部とを合成してモノラルの入力オーディオデータを生成する加算部５３と、Ｌチャンネルの入力オーディオデータＬinを遅延させるための遅延処理部５２Ｌと、Ｒチャンネルの入力オーディオデータＲinを遅延させるための遅延処理部５２Ｒとを備えている。Ｌチャンネルの入力オーディオデータＬinは２分岐されて、一方は加算部５３に入力され、他方は遅延処理部５２Ｌに入力される。Ｒチャンネルの入力オーディオデータＲinもまた２分岐されて、一方が加算部５３に入力され、他方が遅延処理部５２Ｒに入力されるようになっている。加算部５３から出力されたモノラルの入力オーディオデータは２分岐されて、それぞれ、たたみ込み処理部５１Ｌ１，５１Ｒ１に入力されるようになっている。たたみ込み処理部５１Ｌ１，５１Ｒ１には、それぞれ、リバーブデータＲＤi およびリバーブ時間調整データ５６が供給され、これらのデータに基づき、モノラルの入力オーディオデータに対するリバーブ処理が行われるようになっている。
【０１０２】
たたみ込み処理部５１Ｌ１から出力された効果音データＷＬは、乗算部５４Ｌ１に入力され、ここでウェット成分調整データ５７Ｌが乗ぜられる。たたみ込み処理部５１Ｒ１から出力された効果音データＷＲは、乗算部５４Ｒ１に入力され、ここでドライ成分調整データ５７Ｒが乗ぜられるようになっている。
【０１０３】
遅延処理部５２Ｌから出力された原音データＤＬは、乗算部５４Ｌ２に入力され、ここでＬチャンネル用のドライ成分調整データ５８Ｌが乗ぜられる。遅延処理部５２Ｒから出力された原音データＤＲは、乗算部５４Ｒ２に入力され、ここでＲチャンネル用のドライ成分調整データ５８Ｒが乗ぜられる。
【０１０４】
乗算部５４Ｌ１，５４Ｌ２の各出力は、加算部５３Ｌ２で加算され、これにより、Ｌチャンネルの原音と効果音とが所定の比率で混合された出力オーディオデータＬout が生成され、出力されるようになっている。乗算部５４Ｒ１，５４Ｒ２の各出力は、加算部５３Ｒ２で加算され、これにより、Ｒチャンネルの原音と効果音とが所定の比率で混合された出力オーディオデータＲout が生成され、出力されるようになっている。
【０１０５】
その他の構成は上記第１の実施の形態と同様である。
【０１０６】
上記第１の実施の形態では、ＬおよびＲチャンネルの入力オーディオデータＬin，Ｒinに対して、４つのたたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２によってたたみ込み処理を行うようにしている。これに対し、本変形例では、Ｌチャンネルの入力オーディオデータＬinとＲチャンネルの入力オーディオデータＲinとを、一旦、加算部５３によってモノラルの入力オーディオデータに合成し、このモノラルの入力オーディオデータに対して、２つのたたみ込み処理部５１Ｌ１，５１Ｒ１によってたたみ込み処理を行うようにしている。このため、これをソフトウェアで実行するＣＰＵ１１への負担が軽減されるという利点がある。したがって、さほど高速でないマイクロプロセッサであっても実現可能である。
【０１０７】
〈変形例１−２〉
本変形例の音響処理装置は、図５のリバーブモジュールＲＥＶに代えて、図１１に示したようなモノラル入力／４チャンネル出力（サラウンド出力）の機能を有するリバーブモジュールＲＥＶ−Ｂを用いるようにしたものである。その他の構成は上記第１の実施の形態と同様である。
【０１０８】
図１１に示したように、本変形例に係るリバーブモジュールＲＥＶ−Ｂは、上記〈変形例１−１〉のリバーブモジュールＲＥＶ−Ａ（図１０）に、たたみ込み処理部５１Ｌ２，５１Ｒ２と、加算部５４Ｌ３，５４Ｒ３とを追加したものである。本変形例では、加算部５３の出力を４分岐し、そのうちの２つをたたみ込み処理部５１Ｌ１，５１Ｒ１に入力し、他の２つをたたみ込み処理部５１Ｌ２，５１Ｒ２に入力するようにしている。
【０１０９】
たたみ込み処理部５１Ｌ２の出力ＷＬＲは、加算部５４Ｌ３に入力され、ここで、Ｌチャンネル用のドライ成分調整データ５９Ｌが乗ぜられて、リアＬチャンネルの出力オーディオデータＬout （Ｒ）が生成される。たたみ込み処理部５１Ｒ２の出力ＷＲＲは、加算部５４Ｒ３に入力され、ここで、Ｒチャンネル用のドライ成分調整データ５９Ｒが乗ぜられて、リアＲチャンネルの出力オーディオデータＲout （Ｒ）が生成される。これらの出力オーディオデータＬout （Ｒ），Ｒout （Ｒ）は、それスピーカ２Ｃ，２Ｄ（図１，図３）に出力される。
【０１１０】
一方、加算部５３Ｌ２，５３Ｒ２の各出力は、それぞれ、フロントＬチャンネルの出力オーディオデータＬout （Ｆ）およびフロントＲチャンネルの出力オーディオデータＲout （Ｆ）として、それぞれ、スピーカ２Ａ，２Ｂ（図１，図３）に出力される。
【０１１１】
このようにして、本変形例では、モノラル入力に対するたたみ込み処理を行うことにより、４チャンネルの出力が得られ、サラウンドモードでの聴取が可能になるので、ユーザは、図１０の場合よりも一層豊かな臨場感を享受することができる。なお、本変形例の音響処理装置は、サラウンド対応のオーディオ機器を所有しているユーザにとって特に利用価値が高い。一般に、ステレオ録音されたＣＤは多く出回っているが、サラウンド対応で録音されたＣＤは少ないという現実があるからである。すなわち、高価なサラウンド対応オーディオ機器を折角所有しながら、サラウンド対応の音楽ソフトの流通量が寡少であることによって、そのような高価な機器を十分に生かしきれていないユーザにとって、ステレオ録音ＣＤを用いてサラウンドオーディオを聞くことができるのは願ってもない福音だからである。
【０１１２】
なお、音響空間が、例えば音楽スタジオのような空間の場合には、残響時間が比較的短いので、そこで得られたリバーブデータＲＤi については３秒程度のたたみ込みで十分である。このような短い残響音の空間においては、モノラル入力に対してたたみ込み処理を行うよりも、ステレオ入力に対してたたみ込み処理を行うようにした方が、特に前方での定位がはっきりする。すなわち、ユーザの前方位置にはっきりした音像ができる。３秒のたたみ込み処理は６秒のたたみ込み処理に比べて半分の時間で行うことができるので、少なくとも前方についてはステレオ入力／ステレオ出力とするのが好ましい。
【０１１３】
さらに、バーチャルサウンド処理をすれば、２本のスピーカのみを用いて出力した場合や、ヘッドホーンを用いた場合でも、リアルな響きに包まれるような臨場感のある効果を期待することができる。
【０１１４】
《第２の実施の形態》
次に、本発明の第２の実施の形態に係る音響処理装置について説明する。
【０１１５】
上記第１の実施の形態において説明したように、リバーブモジュールＲＥＶのたたみ込み処理部５１Ｌ１（図５）では、バッファ処理ブロック６１（図６）において、必要な残響時間に対応する分の入力オーディオデータＬinを、一旦メモリ（図２のＲＡＭ１２）に所定量蓄積したのちに読み出して、この読み出したデータにたたみ込み処理を行うようになっているため、効果音データ（ウェット音）ＷＬには所定の時間遅延τが生ずる。そこで、この効果音データ（ウェット音）ＷＬの遅延量に相当する時間を、遅延処理部５２Ｌ（図５）によって原音（ドライ音）データＤＬにも与え、効果音とドライ音との間のマッチング（曲ずれ防止）を図っている。したがって、第１の実施の形態においては、ユーザが楽曲再生開始の操作を行ってから最初の音が出力されるまでに比較的長い時間（例えば数秒）がかかり、ユーザにとっては曲頭の無音期間が異常に長く感じられる結果、視聴時の快適さが損われる。
【０１１６】
本実施の形態は、この点に改善を加えたもので、曲頭の長い無音期間をなくすように構成したものである。以下、図１２〜図１４を参照して、本実施の形態を詳細に説明する。
【０１１７】
図１２は、本実施の形態の音響処理装置におけるリバーブモジュールＲＥＶ−Ｃの構成を表すもので、上記第１の実施の形態のリバーブモジュールＲＥＶ（図５）に代わるものである。
【０１１８】
このリバーブモジュールＲＥＶ−Ｃは、上記第１の実施の形態のリバーブモジュールＲＥＶ（図５）から遅延処理部５２Ｌ，５２Ｒを除いた構成となっている。したがって、入力オーディオデータＬinは、遅延されることなく、Ｌチャンネルの原音データである入力オーディオデータＬin（Ｔ０）として加算部５４Ｌ２に入力され、入力オーディオデータＲinは、遅延されることなく、Ｒチャンネルの原音データである入力オーディオデータＲin（Ｔ０）として加算部５４Ｒ２に入力されるようになっている。
【０１１９】
本実施の形態の音響処理装置では、入力オーディオデータＬin，Ｒinは、音楽ＣＤ１６ＡからリバーブモジュールＲＥＶ−Ｃに直接入力されるのではなく、一旦、「記録再生手段」としてのＨＤＤ１４に書き込まれたのちに、所定のタイミングで読み出され、リバーブモジュールＲＥＶ−Ｃに供給されるようになっている。なお、上記した「所定のタイミング」については後述する。
【０１２０】
本実施の形態に係る音響処理装置における上記以外の構成は、第１の実施の形態の場合（図１〜図４，図６）と同様である。また、処理の概要については、音楽ＣＤ１６ＡとリバーブモジュールＲＥＶ−Ｃとの間にＨＤＤ１４（図２）が配置されている点、および、リバーブモジュールＲＥＶ−Ｃに入力オーディオデータＬin，Ｒinが供給されるタイミング（後述）が異なる点を除き、上記第１の実施の形態（図３）と同様である。
【０１２１】
次に、本実施の形態の音響処理装置の動作を説明する。
【０１２２】
図１３は、ユーザＵ（図１）が音響処理装置１を用いて音響処理を行う場合の操作を含めた全体の流れを表し、図１４は、リバーブモジュールＲＥＶ−Ｃ（図３，図１２参照）における音響処理のタイミングを表すものである。なお、図１３に示した処理のうち、ステップＳ２０１〜Ｓ２０５については、第１の実施の形態の場合（図７）と同様であるので、説明を省略する。
【０１２３】
図１３のステップＳ２０５において、画像再生モジュールＲＥＰ（図３）は、リンク制御モジュールＬＣからの指示に基づいて画像再生を開始するが、これと同時に、リバーブモジュールＲＥＶは、リンク制御モジュールＬＣからの指示に基づいて、選択された楽曲についての原音（ドライ音）再生とリバーブ処理とを同時に開始する（ステップＳ２０６）。
【０１２４】
具体的には、図１２に示したように、まず、音楽ＣＤ１６Ａからオーディオデータ７Ａを入力オーディオデータＬin，ＲinとしてＨＤＤ１４に一旦書き込んだのち、Ｌチャンネルの入力オーディオデータＬinを２つの互いに異なるタイミング（図１４の時刻Ｔ０，Ｔ１）で読み出すと共に、Ｒチャンネルの入力オーディオデータＲinを２つの互いに異なるタイミング（時刻Ｔ０，Ｔ１）で読み出し、これらの４つのデータをリバーブモジュールＲＥＶ−Ｃに入力する。より具体的には、タイミングＴ０において、曲頭から入力オーディオデータＬin，Ｒinを読み出し、これらをそれぞれ入力オーディオデータＬin（Ｔ０），Ｒin（Ｔ０）として、加算部５４Ｌ２，５４Ｒ２（図１２）に入力する。一方、タイミングＴ１では、曲頭から時間τだけ進んだ位置から入力オーディオデータＬin，Ｒinを読み出し、この読み出した入力オーディオデータＬin（Ｔ１）をたたみ込み処理部５１Ｌ１，５１Ｌ２に入力し、読み出した入力オーディオデータＲin（Ｔ１）をたたみ込み処理部５１Ｒ１，５１Ｒ２に入力する。
【０１２５】
ここで、Ｔ０，Ｔ１は、Ｔ１−Ｔ０＝τを満たすように設定される。なお、τは、図８におけるτと同じものであり、たたみ込み処理部５１Ｌ１において生ずる遅延時間である。
【０１２６】
時刻Ｔ０からＴ１までの期間τにおいては、たたみ込み処理部５１Ｌ１等から加算部５４Ｌ２，５４Ｒ２への入力はないので、その間、原音である入力オーディオデータＬin（Ｔ０），Ｒin（Ｔ０）がそのまま出力される。
【０１２７】
一方、たたみ込み処理部５１Ｌ１，５１Ｌ２およびたたみ込み処理部５１Ｒ１，５１Ｒ２は、時刻Ｔ０において、入力オーディオデータＬin（Ｔ１），Ｒin （Ｔ１）に対して、その曲頭より時間τだけ進んだ位置から、リバーブデータＲＤi によるたたみ込み処理を開始する。そして、この開始時点から所定の時間τが経過した時刻Ｔ１において、効果音（ウェット音）の出力を開始する。これ以降、原音（ドライ音）に効果音（ウェット音）が重畳した音響処理音が出力される（ステップＳ２０７）。
【０１２８】
このようにして、時刻Ｔ０からＴ１までの期間は原音がそのまま出力され、時刻Ｔ１以降は、原音に効果音が重畳された音響処理音が出力される。これらの原音および音響処理音は、各チャンネルごとにオーディオアンプ４Ａ，４Ｂ（図１）によって増幅されたのち、スピーカ２Ａ，２Ｂ（図１，図３）から出力され、ユーザＵによって聴取される。
【０１２９】
次に、図１４を参照して、図１２に示したリバーブモジュールＲＥＶ−Ｃにおけるデータ処理のタイミングを説明する。この図の（Ａ）は、リバーブモジュールＲＥＶ−Ｃに原音（ドライ音＝入力オーディオデータＬin（Ｔ０）, Ｒin（Ｔ０））が入力されるタイミングを表す。（Ｂ）は、リバーブモジュールＲＥＶ−Ｃのたたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２におけるたたみ込み処理のタイミングを表し、（Ｃ）は、たたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２の出力タイミングを表す。（Ｄ）は、加算部５３Ｌ２，５３Ｒ２の出力タイミング、すなわち、リバーブモジュールＲＥＶ−Ｃから最終的に音響処理音（ドライ音＋ウェット音）が出力されるタイミングを表す。なお、図１４では、図８と同様に、加算部５３Ｌ１，５３Ｒ１，５３Ｌ２，５３Ｒ２、および乗算部５４Ｌ１，５４Ｌ２，５４Ｒ１，５４Ｒ２における演算時間を無視して描いている。
【０１３０】
図１４に示したように、本実施の形態では、時刻Ｔ０において、原音の曲頭より時間τだけ進んだ位置からたたみ込み処理部５１Ｌ１等によってたたみ込み処理が開始される（図１４（Ａ））と同時に、原音の出力が開始される（同図（Ｂ））。たたみ込み処理部は、時刻Ｔ０より時間τだけ遅れた時刻Ｔ１に効果音の出力を開始する（同図（Ｃ））。これ以降、原音に効果音が重畳した音響処理音が出力される（同図（Ｄ））。
【０１３１】
このように、本実施の形態によれば、リバーブ処理が開始した直後から時間τが経過するまでは原音をそのまま出力し、時間τの経過後以降はドライ音とウェット音とが重畳された音響処理音を出力するようにしたので、上記第１の実施の形態の場合（図８）とは異なり、曲頭からτの時間にわたって無音期間が続くということがない。すなわち、ユーザが再生操作をした直後から楽曲の再生が開始されるので、ユーザにとってあまり違和感がなく、視聴時の快適さが損われることがない。
【０１３２】
なお、本実施の形態では、音楽ＣＤ１６Ａからの出力タイミングと、リバーブモジュールＲＥＶ−Ｃへの入力タイミングとの間の調整を行うための手段としてＨＤＤ１４を利用するようにしたが、これに代えて、例えば図１５に示したように、バッファメモリ１２Ａを利用してタイミング調整を行うようにしてもよい。この場合、バッファメモリ１２Ａは、例えば、ＲＡＭ１２の一部を利用して構成することができる。
【０１３３】
《第３の実施の形態》
上記第１および第２の実施の形態では、収録済の音響データ（原音）に、実在の音楽ホール等の音響空間について予め得られているインパルス応答データ（リバーブデータ）を適用したリバーブ処理を行うことにより、その音があたかもその実在の音響空間で収録されたものであるかのような仮想現実的印象を聴き手 （ユーザ）に与えることができるようにしている。
【０１３４】
しかしながら、ユーザの視聴環境、すなわち、ユーザが実際に音楽を鑑賞する音響空間（例えば、ユーザ宅のオーディオルーム等。以下、ユーザ音響空間という。）は多様であり、音響効果を考慮して作られた広くて本格的なオーディオルームで音楽を楽しむユーザもいれば、ごく狭いリビングルームで音楽を鑑賞するユーザもいる。したがって、折角、仮想現実的な音響処理を施して音響を再生しているにもかかわらず、その効果が十分に発揮されない場合もあり得る。この場合、ユーザは、その実在の音響空間に実際に行って音響を聴いているかのように感じる仮想体験を十分にすることができない。
【０１３５】
本実施の形態は、この点に改善を加えたもので、収録済の音響データ（原音）を再生する際に、実在の音楽ホール等の音響空間について予め得られているインパルス応答データを用いたリバーブ処理（以下、第１のリバーブ処理という。）に加えて、ユーザ音響空間について予め得られているインパルス応答データを用いたリバーブ処理（以下、第２のリバーブ処理という。）をも行うことにより、ユーザ音響空間の音響特性をも加味した、より忠実な音響再生を可能にしたものである。以下、図１６および図１７を参照して、本実施の形態を詳細に説明する。なお、本実施の形態に係る音響処理装置のハードウェア構成は図２に示したものと同様であり、また、この音響処理装置が図１に示したＡＶシステムに適用される点もまた同様である。
【０１３６】
図１６は、本発明の第３の実施の形態に係る音響処理装置のリバーブモジュールＲＥＶ−Ｄ（図３，図５）におけるたたみ込み処理部１５１Ｌ１の構成を表すもので、上記第１の実施の形態のたたみ込み処理部５１Ｌ１（図６）に代わるものである。なお、図１６において、図６に示した構成要素と同一の構成要素には同一の符号を付し、適宜説明を省略する。
【０１３７】
このたたみ込み処理部１５１Ｌ１は、図６に示したたたみ込み処理部５１Ｌ１を構成する各要素に加えて、ユーザリバーブデータＲＤＵが入力されるバッファ処理ブロック６８と、バッファ処理ブロック６８の出力が供給されるＦＦＴ処理ブロック６９と、乗算ブロック６５の出力とＦＦＴ処理ブロック６９の出力とが供給される乗算ブロック７０とを備えている。乗算ブロック７０の出力は、ＩＦＦＴ処理ブロック６６に供給されるようになっている。ユーザリバーブデータＲＤＵは、ユーザ音響空間の音響特性を表すインパルス応答データであり、上記した第２のリバーブ処理に用いられる。このユーザリバーブデータＲＤＵは、後述するリバーブデータ収集装置（図１７）を用いて各ユーザによって予め収集され、例えばＨＤＤ１４に格納される。ここで、ユーザリバーブデータＲＤＵが本発明における「第２のインパルス応答データ」の一具体例に対応する。
【０１３８】
バッファ処理ブロック６８およびＦＦＴ処理ブロック６９の各機能は、バッファ処理ブロック６３およびＦＦＴ処理ブロック６４の各機能と同様である。すなわち、バッファ処理ブロック６８は、ＨＤＤ１４（図２）からユーザリバーブデータＲＤＵを読み出し、これをメモリ（図２；ＲＡＭ１２）に所定量蓄積したのち出力する処理を行う。ＦＦＴ処理ブロック６９は、バッファ処理ブロック６８から出力された時間軸上のオーディオデータを高速フーリエ変換によって周波数軸上のデータに変換する処理を行う。バッファ処理ブロック６８によってメモリに蓄積されるデータ量は、リバーブ時間調整データ５６によって設定可能になっている。
【０１３９】
なお、リバーブモジュールＲＥＶ−ＤにおけるＬチャンネル用の他のたたみ込み処理部は、たたみ込み処理部１５１Ｌ１と同様のブロック構造および機能を有する。また、Ｒチャンネル用の２つのたたみ込み処理部は、入力がＲチャンネルの入力オーディオデータＲinである点を除き、たたみ込み処理部１５１Ｌ１と同様のブロック構造および機能を有する。但し、これらの４つのたたみ込み処理部１５１Ｌ１等で行われる処理は、実際には、ＣＰＵ１１（図２）によって時分割的に実行される処理である。
【０１４０】
本実施の形態に係る音響処理装置における上記以外の構成は、第１の実施の形態の場合（図１〜図４，図６）と同様である。
【０１４１】
次に、図１６を参照して、たたみ込み処理部１５１Ｌ１における処理内容を詳細に説明する。なお、他のたたみ込み処理部１５１Ｌ２，１５１Ｒ１，１５１Ｒ２における処理も同様であるので、その説明を省略する。
【０１４２】
図１６において、バッファ処理ブロック６１、ＦＦＴ処理ブロック６２、バッファ処理ブロック６３、ＦＦＴ処理ブロック６４および乗算ブロック６５は、図６の場合と同様に、Ｌチャンネルの入力オーディオデータＬinに対し、リバーブデータＲＤi を用いてたたみ込み処理を行い、その処理されたデータを乗算ブロック７０に入力する。ここで、リバーブデータＲＤi が本発明における「第１のインパルス応答データ」の一具体例に対応する。
【０１４３】
一方、バッファ処理ブロック６８は、ユーザリバーブデータＲＤＵを一旦蓄積したのち、ＦＦＴ処理ブロック６９に供給する。その際、バッファ処理ブロック６８は、蓄積するユーザリバーブデータＲＤＵの量をリバーブ時間調整データ５６に応じて決定する。この蓄積データ量は、遅延処理部５２Ｌ（図５）での遅延時間τに対応したものである。ＦＦＴ処理ブロック６９は、バッファ処理ブロック６８の出力に対して高速フーリエ変換を行うことにより、時間軸上のデータであるユーザリバーブデータＲＤＵを周波数軸上のデータに変換し、乗算ブロック７０に供給する。
【０１４４】
乗算ブロック７０は、乗算ブロック６５からの出力にＦＦＴ処理ブロック６９からの出力を乗ずるたたみ込み演算を行い、その結果をＩＦＦＴ処理ブロック６６に供給する。このとき、乗算ブロック７０は、互いに周波数成分が一致するデータ同士で乗算を行う。
【０１４５】
ＩＦＦＴ処理ブロック６６は、乗算ブロック７０の出力に対して逆高速フーリエ変換を行うことにより、周波数軸上のデータであるたたみ込み演算の結果を時間軸上のデータに戻して出力する。こうして、Ｌチャンネル用の加算部５３Ｌ１（図５）に供給されるべきデータが生成される。
【０１４６】
それ以降のリバーブモジュールＲＥＶ−Ｄにおける処理は、上記第１の実施の形態のリバーブモジュールＲＥＶにおけるものと同様であり、最終的に、Ｌチャンネルの出力オーディオデータＬout とＲチャンネルの出力オーディオデータＲout が出力される。これらの出力オーディオデータＬout ，Ｒout は、実在の音響空間についてのインパルス応答データを用いて原音に対するたたみ込み処理を行って得られたデータに対して、さらに、ユーザ音響空間についてのインパルス応答データをたたみ込んで得られたデータであるので、これらの出力オーディオデータＬout ，Ｒout に基づく音響（楽曲等）が実際にそのユーザ音響空間で再生出力された際には、そのユーザ音響空間がもつ特有の音響特性が相殺される。その結果、そこでの響きは、実在の音響空間で演奏されたときに得られる響きに、より一層近づき、ユーザは、よりリアルな臨場感を得ることができる。
【０１４７】
次に、第２のリバーブ処理で用いられるユーザリバーブデータＲＤＵ（インパルス応答データ）を収集する方法について説明する。
【０１４８】
図１７は、ユーザリバーブデータＲＤＵを収集するためのリバーブデータ収集装置の概略構成を表すものである。この装置は、ユーザが実際に音楽を鑑賞するユーザ音響空間４５（例えば、ユーザ宅のオーディオルーム等）において得られる残響音をインパルス応答として測定し、収集するためのもので、例えばパーソナルコンピュータを利用して構成される。
【０１４９】
このリバーブデータ収集装置３０は、インパルス応答測定用の信号を発生する機能と、測定対象のユーザ音響空間４５から得られた測定結果を収集して測定結果をインパルス応答データに変換する機能とを備えている。測定対象のユーザ音響空間４５には、音源４０と、１対の音響検出部４１Ｌ，４１Ｒとを配置する。音源４０は、例えば、球面上の互いに異なる１２方向にスピーカが設けられた１２面体スピーカにより構成されており、リバーブデータ収集装置３０から供給されたインパルス応答測定用の信号に応じた音響を発生するようになっている。音響検出部４１Ｌ，４１Ｒは、それぞれ、ＬおよびＲチャンネル用のマイクロフォンで構成されており、音源４０から発せられた音響に応じてそれぞれ検出したＬおよびＲチャンネルのオーディオ信号をリバーブデータ収集装置３０に供給するようになっている。
【０１５０】
リバーブデータ収集装置３０は、測定用信号発生ブロック３１と、Ｄ／Ａ（ディジタル／アナログ）変換ブロック３２と、増幅ブロック３３と、Ａ／Ｄ（アナログ／ディジタル）変換ブロック部３４と、同期加算ブロック３５と、インパルス応答変換部３６とを備えている。
【０１５１】
測定用信号発生ブロック３１は、インパルス応答測定用の信号であるＴＳＰ（タイムストレッチパルス）信号を発生するためのものである。このＴＳＰ信号は、スイープ信号の一種であり、それ自身を逆特性の信号で除することによりインパルス信号が得られる。インパルス応答を測定するためには、直接的にインパルス信号を発生させるのがより好ましいが、測定が困難であるため、このような間接的な方法を用いる。なお、ＴＳＰ信号の発生は、後述するようにＮ回行われる。測定用信号発生ブロック３１から出力されたＴＳＰ信号は、Ｄ／Ａ変換ブロック３２および増幅ブロック３３を介して音源４０に供給されるようになっている。
【０１５２】
同期加算ブロック３５は、Ｎ回分のＴＳＰ信号に対応して音響検出部４１Ｌ，４１Ｒから出力された信号を同期加算するためのものである。同期加算は、例えばＴＳＰ信号の発生タイミングに基づき出力信号を揃えるようにして行われるようになっている。
【０１５３】
インパルス応答変換ブロック３６は、同期加算ブロック３５から供給されたデータを、ＴＳＰ信号の逆特性を有するデータで除することにより、インパルス応答データ（ユーザリバーブデータＲＤＵ）に変換するためのものである。
【０１５４】
次に、このリバーブデータ収集装置３０の動作を説明する。
【０１５５】
測定用信号発生ブロック３１から出力されたＴＳＰ信号３７Ａは、Ｄ／Ａ変換ブロック３２によりアナログ信号に変換され、増幅ブロック３３で増幅されたのち、音源４０に供給される。これにより、音源４０からは、ＴＳＰ信号３７Ａに対応した音響が出力される。音響検出部４１Ｌ，４１Ｒは、音源４０から出力された再生音響に応じたＬおよびＲチャンネルのオーディオ信号３７ＢＬ，３７ＢＲを出力し、リバーブデータ収集装置３０に入力供給する。
【０１５６】
リバーブデータ収集装置３０に入力されたＬおよびＲチャンネルのオーディオ信号３７ＢＬ，３７ＢＲは、Ａ／Ｄ変換ブロック３４で所定のサンプリング周波数（例えば、４８ｋＨｚあるいは９６ｋＨｚ）および量子化ビット数（例えば、２４ビット）でサンプリングされ、ＬおよびＲチャンネルのディジタルオーディオデータ３７ＣＬ，３７ＣＲとなる。なお、一般に、残響時間は、音が止まってから音圧レベルが６０ｄＢ減衰するまでの時間を意味するが、本実施の形態では、量子化ビット数（２４ビット）の各ビットに対して６ｄＢが割り当てられる。
【０１５７】
Ａ／Ｄ変換ブロック３４から出力されたディジタルオーディオデータ３７ＣＬ，３７ＣＲは、同期加算ブロック３５に入力される。同期加算ブロック３５は、入力されたディジタルオーディオデータ３７ＣＬ，３７ＣＲの各々について、ＴＳＰ信号３７Ａの発生回数（Ｎ回）と同数回にわたってそれぞれ同期加算を行う。同期加算は、例えばＴＳＰ信号３７Ａの発生タイミングに基づいて加算対象データ（ディジタルオーディオデータ３７ＣＬ，３７ＣＲ）を揃えるようにして行われる。このように、Ｎ回分のオーディオデータの同期加算を行うことにより、再現性のある信号のみが加算され、ランダムなノイズ成分は加算されないため、Ｓ／Ｎ比が向上する。
【０１５８】
同期加算ブロック３５から出力されたＬおよびＲチャンネルの同期加算データ３７ＤＬ，３７ＤＲは、インパルス応答変換ブロック３６に供給される。インパルス応答変換ブロック３６では、供給された同期加算データ３７ＤＬ，３７ＤＲを、それぞれ、ＴＳＰ信号３７Ａの逆特性を有する信号データで除する演算を行う。これにより、「ＴＳＰ信号３７Ａを予めインパルス信号に変換し、このインパルス信号を音源４０に供給し、音源４０で発生した残響音を収集し、この残響音に基づいてインパルス応答を得た」場合と同等の結果（インパルス応答データ３８Ｌ，３８Ｒ）が得られる。このインパルス応答データ３８Ｌ，３８Ｒは、サンプリング周波数に対応した間隔で得られる波高値である。
【０１５９】
インパルス応答変換ブロック３６から出力されたＬおよびＲチャンネルのインパルス応答データ３８Ｌ，３８Ｒは、ＨＤＤ１４や図示しないＭＯディスク等の記録媒体に記録され、上記したユーザリバーブデータＲＤＵ（図１６）として利用される。
【０１６０】
なお、以上のようなユーザリバーブデータの収集は、音源４０の位置を様々に変えたり、音源４０であるスピーカの種類等を様々に変えて行うようにしてもよい。同様に、音響検出部４１Ｌ，４１Ｒであるマイクロフォンについても、その配設位置や種類等を様々に変えて収集するようにしてもよい。この場合には、１つのユーザ音響空間４５について複数のユーザリバーブデータが収集されることになる。ユーザは、音響を再生させる際のバリエーションとして、これらの複数のユーザリバーブデータの中から任意の一つを選択することができる。
【０１６１】
また、リバーブデータ収集装置３０により得られたインパルス応答データは、必要に応じて適宜加工することができる。通常、オーディオデータには、音の伝搬によるシステムディレイ部分が存在するが、後からの加工処理により、このシステムディレイ部分の値を“０”に固定することにより、この部分のノイズを除去することが可能である。また、データの後半については、データの終端を“０”に収束させるためのフェードアウト処理を施すことで後半の微小レベル信号部分のノイズを除去するようにしてもよい。
【０１６２】
以上説明したように、本実施の形態によれば、収録済の音響データ（原音）を再生する際に、実在の音楽ホール等の音響空間について予め得られているインパルス応答データを用いた第１のリバーブ処理に加えて、ユーザ音響空間４５について予め得られているインパルス応答データを用いた第２のリバーブ処理をも行うようにしたので、ユーザ音響空間４５の音響特性をも加味した音響再生を行うことができる。したがって、ユーザの視聴環境に応じた音響再生が可能となり、上記第１の実施の形態の場合に比べて、忠実性（すなわち、実際に音楽ホール等に赴いて聴取しているかのように感ずるリアリティの度合い）が向上する。
【０１６３】
以上、いくつかの実施の形態および変形例を挙げて本発明の音響処理装置について説明したが、本発明はこれらの実施の形態等に限定されず、種々の変形が可能である。例えば、上記の各実施の形態では、インパルス応答データのたたみ込みをソフトウェアによって行うようにしたが、ハードウェアを用いるようにしてもよい。すなわち、図３に示したアプリケーションプログラム１４Ｐの機能のうち、リバーブモジュールＲＥＶの機能のすべてまたは一部をハードウェアに置き換えるようにしてもよい。さらに、アプリケーションプログラム１４Ｐの機能のうち、画像再生モジュールＲＥＰの機能のすべてまたは一部をハードウェアに置き換えることも可能である。
【０１６４】
また、上記各実施の形態では、４つのスピーカ２Ａ〜２Ｄを用いて再生するようにしたが、もう１つのスピーカを前方の２つのスピーカ２Ａ，２Ｂの間に追加して、５スピーカシステムにしてもよい。これにより、臨場感をさらに高めることができる。
【０１６５】
［音響処理用データの配信方法］
次に、本発明の一実施の形態に係る音響処理用データの配信方法について説明する。この配信方法は、例えば上記各実施の形態の音響処理装置において利用される音響処理用データである処理用コンテンツデータ８Ｃ（図１，図２）を、インターネットを介してユーザに配信して利用に供するための方法である。以下、この配信方法について、これを適用して構築されるビジネスモデルと共に説明する。
【０１６６】
図１８は本実施の形態に係る音響処理用データの配信方法が適用されるネットワークシステムの要部を表すものである。このシステムは、コンテンツ配信事業者１００が運用するサーバシステム１０１と、ユーザ２００が保有するユーザシステム２０１と、コンテンツ提供者３００が運用するコンテンツ提供システム３０１と、これらの各システムに接続された広域通信網としてのインターネット４００とを含んで構成されている。サーバシステム１０１、ユーザシステム２０１およびコンテンツ提供システム３０１は、例えば、一般的なパーソナルコンピュータやワークステーション等のコンピュータを用いて構成される。
【０１６７】
サーバシステム１０１は、第１に、様々な実在の音響空間について提供された処理用コンテンツデータ８Ｃを蓄積するコンテンツソース８（図１）としての機能を有する。より詳細には、サーバシステム１０１は、コンテンツ提供システム３０１からインターネット４００を介して提供されたコンテンツ８３を受信すると共に、受信したコンテンツ８３に含まれるリバーブデータ、画像データおよび付帯データをリンクデータによって相互にリンクさせるデータ加工を行い、その加工結果を処理用コンテンツデータ８Ｃの形で蓄積するようになっている。なお、処理用コンテンツデータ８Ｃは、図１および図２に示したものと同じもので、リバーブデータ（インパルス応答データ）、画像データ、付帯データおよびリンクデータを含む。
【０１６８】
サーバシステム１０１は、第２の機能として、ユーザシステム２０１からの要求に応じて、その要求をしたユーザシステム２０１に処理用コンテンツデータ８Ｃをインターネット４００を介して配信する配信機能を備え、さらに、第３の機能として、処理用コンテンツデータ８Ｃの配信に応じた料金をその配信先のユーザ２００に課金する課金機能を備えている。サーバシステム１０１はさらに、第４の機能として、ユーザシステム２０１に対する処理用コンテンツデータ８Ｃの配信回数に応じた料金を、その処理用コンテンツデータ８Ｃを提供したコンテンツ提供者３００に支払う支払機能を備えている。
【０１６９】
サーバシステム１０１は、上記した第１〜第４の機能を実現するために、後述するように、コンテンツデータベースＤＢ１（図１９）と、コンテンツ管理データベースＤＢ２（図２０）と、ユーザ管理データベースＤＢ３（図２１）とを備えている。
【０１７０】
ユーザシステム２０１は、例えば上記の図２に示した構成を有するもので、収録済の原音に対して実在の音響空間の響きに対応したリバーブデータをたたみ込む音響処理機能と、インターネット４００を介してサーバシステム１０１と通信を行う通信機能とを備えている。その詳細な構成および機能は、上記各実施の形態において説明した通りである。
【０１７１】
コンテンツ提供システム３０１は、リバーブデータ、画像データおよび付帯データを含むコンテンツ８３を少なくとも一時的に保有する保有機能と、保有するコンテンツ８３をインターネット４００を介してサーバシステム１０１に送信する通信機能とを備えている。
【０１７２】
次に、サーバシステム１０１における各データベースについて説明する。
【０１７３】
図１９はコンテンツデータベースＤＢ１の概略構造を表すものである。このデータベースは、コンテンツ提供者３００等から提供されたコンテンツ８３（リバーブデータ、画像データおよび付帯データ）を格納するもので、各コンテンツ８３ごとに、コンテンツ番号が付されている。
【０１７４】
図２０はコンテンツ管理データベースＤＢ２の概略構造を表すものである。このデータベースは、コンテンツデータベースＤＢ１に格納された各コンテンツ８３のコンテンツ番号ごとに、コンテンツ提供者情報と、アップロード情報と、使用権確認フラグと、ダウンロード回数とが対応付けられて構成されている。
【０１７５】
コンテンツ提供者情報は、コンテンツ８３を提供した者の氏名や銀行口座番号等を含む情報である。ここで、銀行口座番号は、後述するように、提供されたコンテンツ８３の利用じきに応じた対価をその提供者に支払う際に必要となるものである。
【０１７６】
アップロード情報は、アップロードライセンスと、アップロード年月日とを含む。アップロードライセンスは、コンテンツ配信事業者１００がコンテンツ提供者３００からコンテンツ８３の提供を受けるに際して、不特定の者からの悪意のアップロード（いわゆるハッキング）を防ぐために、予めコンテンツ配信事業者１００からコンテンツ提供者３００に発行する許可情報である。アップロード年月日は、コンテンツ配信事業者１００がコンテンツ提供者３００から実際にコンテンツ提供を受けたときの日付情報である。
【０１７７】
使用権確認フラグは、コンテンツ提供者３００から提供されたコンテンツ８３が正規のコンテンツ使用許諾を得たものであるか否かを示すフラグ情報であり、「確認済」または「未確認」のいずれかの状態をとる。具体的には、使用権確認フラグは、リバーブデータが得られた音響空間（音楽ホール等）の所有者や管理者等から、その音響空間の名前の使用、そのリバーブデータの使用、およびその音響空間に関わる画像データの使用を許可されていることを示すもので、これが「確認」状態になって初めて、そのコンテンツ８３のダウンロードが可能となる。これにより、その音響空間に関わる権利の無断使用を防止することができる。
【０１７８】
ダウンロード回数は、ある特定のコンテンツ８３がユーザ２００によってどのくらい利用されたかを示すためのもので、実際にダウンロードされた回数を表す。
【０１７９】
図２１はユーザ管理データベースＤＢ３の概略構造を表すものである。このデータベースは、ユーザ識別番号ごとに、ユーザ情報と、利用ライセンス情報と、利用コンテンツ番号とが対応付けられて構成されている。
【０１８０】
ユーザ識別番号は、個々のユーザ２００ごとに付された識別情報である。ユーザ情報は、ユーザの氏名やクレジットカード番号等を含む個人情報である。ここで、クレジットカード番号は、そのコンテンツ８３の利用に対する対価についての課金処理に用いられる。
【０１８１】
利用ライセンス情報は、ユーザ２００によってダウンロードされた鍵付きのコンテンツ８３の鍵を外して利用可能な状態にするために用いられるもので、例えば、ユーザ２００のクレジットカード番号とコンテンツの内容の一部とを用いて作成される。
【０１８２】
利用コンテンツ番号は、ユーザ２００によってダウンロードされ利用可能になったコンテンツ８３についてのコンテンツ番号を示す。
【０１８３】
次に、図２２および図２３を参照して、以上のような構成のネットワークシステムにおける処理内容を説明する。図２２は、コンテンツ提供システム３０１とサーバシステム１０１との間で行われる処理、およびそれぞれにおける処理を表すものである。図２３は、ユーザシステム２０１とサーバシステム１０１との間で行われる処理、およびそれぞれにおける処理を表すものである。
【０１８４】
まず、図１８および図２２を参照して、コンテンツ提供者３００がコンテンツ提供システム３０１からサーバシステム１０１にコンテンツ８３をアップロードして登録する場合の処理を説明する。
【０１８５】
コンテンツ提供者３００のコンテンツ提供システム３０１には、予め取得したコンテンツ８３が格納されているものとする。コンテンツ提供者３００は、取得したコンテンツ８３をコンテンツ配信事業者１００に提供するに際し、まず、コンテンツ提供システム３０１からウェブ上のサーバシステム１０１にアクセスし、サーバシステム１０１からコンテンツ登録画面（図示せず）の送信を受ける（ステップＳ３０１）。次に、コンテンツ提供者３００は、ウェブ上のコンテンツ登録画面（図示せず）から、自己の氏名や、コンテンツ提供の対価の振込を希望する銀行口座番号等の個人情報を含むアップロード申込情報８１（図１８）を入力し、送信する（ステップＳ３０２）。
【０１８６】
サーバシステム１０１は、コンテンツ提供システム３０１からアップロード申込情報８１が送られてくると、そのコンテンツ提供者３００のコンテンツ提供システム３０１に対し、コンテンツ８３のアップロードを許可するアップロードライセンス情報８２（図１８）を送信する（ステップＳ３０３）。アップロードライセンス情報８２は、例えば、コンテンツ提供者３００がアップロード申込時に送信した個人情報（例えば、アップロード申込情報８１のうちの口座番号等）を用いて生成するのが好ましい。ここで、アップロードライセンス情報８２が本発明における「第２の認証情報」の一具体例に対応する。
【０１８７】
コンテンツ提供システム３０１は、サーバシステム１０１からアップロードライセンス情報８２を受信する（ステップＳ３０４）。これにより、コンテンツ提供者３００は、アップロードライセンス情報８２を取得する。
【０１８８】
ここで、コンテンツ提供者３００が、コンテンツ提供システム３０１からサーバシステム１０１に対してコンテンツ８３のアップロードを要求すると、サーバシステム１０１は、コンテンツアップロード画面（図示せず）をコンテンツ提供システム３０１に送信する（ステップＳ３０５）。このコンテンツアップロード画面において、取得したアップロードライセンス情報８２を入力すると（ステップＳ３０６）、コンテンツ提供システム３０１は、コンテンツアップロード可能状態に移行する（ステップＳ３０７）。これにより、コンテンツ提供者３００は、コンテンツ８３を送信することができる（ステップＳ３０８）。
【０１８９】
サーバシステム１０１は、コンテンツ８３を受信し（ステップＳ３０９）、その受信したコンテンツ８３に含まれるリバーブデータ、画像データおよび付帯データを相互にリンクさせるリンクデータを作成し、これらをひとまとまりのコンテンツデータとしてコンテンツ番号を付してコンテンツデータベースＤＢ１（図１９）に記録する。さらに、サーバシステム１０１は、コンテンツ提供者３００に関わるコンテンツ提供者情報と、アップロードライセンスやアップロード年月日等を含むアップロード情報とをコンテンツ管理データベースＤＢ２（図２０）に記録する（ステップＳ３１０）。但し、この段階では、コンテンツ管理データベースＤＢ２における、そのコンテンツに関する使用権確認フラグ（図２０）は、まだ「未確認」となっている。
【０１９０】
次に、コンテンツ提供者３００は、コンテンツ配信事業者１００に対し、電子メールまたはファクシミリあるいは文書等を用いて、使用権の存在を示す使用権証明書を提供する。この証明書は、リバーブデータが得られた音響空間（音楽ホール等）の所有者や管理者等から、その音響空間の名前の使用、そのリバーブデータの使用、およびその音響空間に関わる画像データの使用を許可されていることを示すものである。
【０１９１】
コンテンツ配信事業者１００は、コンテンツ提供者３００から使用権証明書を受けると、サーバシステム１０１のコンテンツ管理データベースＤＢ２における該当コンテンツ番号についての使用権確認フラグを「確認済」に変更する。これにより、コンテンツ提供に対する対価支払処理に必要なコンテンツ登録手続のすべてが完了し、これ以降、ユーザへのコンテンツ提供（ダウンロード）が可能となる。
【０１９２】
次に、図１８および図２３を参照して、ユーザシステム２０１がサーバシステム１０１からコンテンツをダウンロードして利用する場合の処理を説明する。なお、ユーザシステム２０１には、予め、音響処理用プログラム（図１および図２のリバーブアプリケーションプログラム１４Ｐ）がインストールされているものとする。この音響処理用プログラムは、後述するロック解除情報を生成する機能を有するものとする。
【０１９３】
ユーザ２００は、ユーザシステム２０１からサーバシステム１０１にアクセスし、サーバシステム１０１からコンテンツダウンロード画面の送信を受ける（ステップＳ４０１）。ユーザ２００がコンテンツダウンロード画面において所望のコンテンツデータの番号を選択すると（ステップＳ４０２）、サーバシステム１０１は、コンテンツデータベースＤＢ１から、その選択された番号の処理用コンテンツデータ８Ｃを読み出し、ユーザシステム２０１に送信する（ステップＳ４０３）。
【０１９４】
ユーザ２００は、サーバシステム１０１からユーザシステム２０１にダウンロードされたコンテンツデータを用いて所定の期間または回数だけ試視聴を行うこと（すなわち、例えば自分の持っている楽曲に、ダウンロードしたコンテンツデータを適用することにより、音響効果と画像を確認すること）ができる（ステップＳ４０４）。なお、この試視聴機能は、予めアプリケーションプログラム１４Ｐが備えている機能である。
【０１９５】
ユーザ２００は、そのダウンロードしたコンテンツデータの購入を希望するときは（ステップＳ４０５；Ｙ）、購入申込画面を開いて自己の氏名、クレジットカード番号および購入を希望するコンテンツのコンテンツ番号等を含む購入申込情報８４（図１８）を入力し、これをサーバシステム１０１に送信する（ステップＳ４０６）。
【０１９６】
サーバシステム１０１は、ユーザシステム２０１から購入申込情報８４が送られてくると、この購入申込情報８４を基に利用ライセンス情報８５（図１８）を生成し、これをユーザシステム２０１に送信する（ステップＳ４０７）。利用ライセンス情報８５の生成は、例えば、購入申込情報８４から抽出したクレジットカード番号と、購入対象コンテンツデータの中のリバーブデータの一部（例えば、先頭よりｍバイト目からｎバイト目までのデータ（ｍ，ｎは整数））とを用いて行うのが好ましい。ここで、利用ライセンス情報８５が本発明における「第１の認証情報」の一具体例に対応する。クレジットカード番号が本発明における 「ユーザ個人情報」の一具体例に対応し、購入対象コンテンツデータ中のリバーブデータの一部が本発明における「データ固有情報」の一具体例に対応する。
【０１９７】
利用ライセンス情報８５の生成にクレジットカード番号を用いるようにしている理由は次の通りである。すなわち、一般に、ユーザにとってクレジットカード番号は非常に重要な情報であり、これを気軽に他人に教えることは殆ど考えられない。したがって、後述するように、このクレジットカード番号を入力しない限り、ダウンロードしたコンテンツの利用ができないようにしておけば、第３者による無断コピーによるコンテンツの使用を排除することができるのである。
【０１９８】
また、利用ライセンス情報８５の生成に購入対象コンテンツデータ中のリバーブデータの一部を用いるようにしているのは、あるコンテンツについてのみ利用ライセンスを受けたユーザが、試視聴のためにダウンロードした他のコンテンツを自由に利用することを不可能にするためである。
【０１９９】
サーバシステム１０１はさらに、購入申込情報８４から抽出したユーザの氏名、クレジットカード番号および購入対象コンテンツのコンテンツ番号、ならびに、これらから生成した利用ライセンス情報８５をユーザ管理データベースＤＢ３（図２１）に登録する（ステップＳ４０８）と共に、コンテンツ管理データベースＤＢ２の利用回数を１つカウントアップする。これにより、ユーザ２００によるコンテンツ利用に対する課金処理に必要なユーザ登録処理が完了すると共に、コンテンツ提供の対価に関するコンテンツ提供者３００への支払いに必要なデータエントリ処理が完了する。
【０２００】
ユーザシステム２０１は、サーバシステム１０１から送られてきた利用ライセンス情報８５を受信すると（ステップＳ４０９）、この利用ライセンス情報８５をメモリ（例えば図２のＲＡＭ１２）に記憶する。これにより、ユーザ２００による処理用コンテンツデータ８Ｃの購入処理が完了する。
【０２０１】
ここで、ユーザ２００が、ユーザシステム２０１においてリバーブアプリケーションプログラム１４Ｐを起動し、利用するコンテンツ８３の番号を指定した上で、キー番号としてクレジットカード番号を入力する（ステップＳ４１０；Ｙ）。すると、リバーブアプリケーションプログラム１４Ｐは、その入力されたキー番号（クレジットカード番号）と、その指定されたコンテンツ８３の中のリバーブデータの一部とに基づいて、ロック解除情報を生成し、これを、既にサーバシステム１０１から取得し記憶している利用ライセンス情報８５と照合する（ステップＳ４１１）。この結果、両者が一致したときは（ステップＳ４１２；Ｙ）、リバーブアプリケーションプログラム１４Ｐが楽曲再生可能状態へと移行する（ステップＳ４１３）。一方、一致しないときは、処理用コンテンツデータ８Ｃを用いた楽曲再生は禁止され、「キー番号または指定したコンテンツ番号が違っています」等のメッセージが表示される。なお、キー番号としてのクレジットカード番号が入力されたのち、これを暗号化しておけば、簡単にクレジットカード番号を盗まれるおそれがないので、ユーザ２００にとっては安心である。
【０２０２】
このようにして、サーバシステム１０１は、ユーザ２００が処理用コンテンツデータ８Ｃを購入するごとに、ユーザ管理データベースＤＢ３へのユーザ登録（課金処理）を行う。コンテンツ配信事業者１００は、購入処理が行われる都度、あるいは定期的にユーザ管理データベースＤＢ３を参照して、購入したユーザ２００に対して料金請求手続きを行うことにより、コンテンツ利用に対する対価の支払いをユーザ２００から受けることとなる。なお、サーバシステム１０１に請求処理用のソフトウェアをインストールしておき、ユーザ２００に対する請求処理を自動的に行うようにすることも可能である。
【０２０３】
また、サーバシステム１０１は、処理用コンテンツデータ８Ｃが利用（購入）されるごとに、コンテンツ管理データベースＤＢ２の利用回数をカウントアップする。コンテンツ配信事業者１００は、例えば一定期間（例えば１カ月）ごとに利用回数をチェックし、その利用回数に応じた対価の支払いをコンテンツ提供者３００に対して行うこととなる。なお、サーバシステム１０１に支払い処理用のソフトウェアをインストールしておき、コンテンツ提供者３００に対する対価の支払い処理を自動的に行うようにすることも可能である。
【０２０４】
以上のように、本実施の形態に係る音響処理用データの配信方法によれば、インターネットを通じて、世界中から広く、リバーブデータや画像データ等を含むコンテンツを収集することを容易に実現することができる。また、世界中のユーザに対して様々なコンテンツを提供することを容易に実現することができる。このため、ユーザは自宅に居ながらにして、世界中の著名な音楽ホール等へ実際に行って音楽を聴いているかのような仮想体験を得ることが可能になる。
【０２０５】
また、コンテンツ配信事業者にとっては、多くのユーザにコンテンツを配信することにより、配信回数に応じた利益を得ることができる。この場合、コンテンツの種類や内容等に応じて配信料金の額を適宜設定することが可能である。また、サーバシステム１０１を用いて、コンテンツの収集と配信とを自動的に管理するようにしたことにより、これらの一連の複雑な処理を自動的に行うことができ、極めて効率よくコンテンツ配信事業を運営することができる。
【０２０６】
さらに、コンテンツ提供者にとっては、貴重なあるいは人気のあるコンテンツを探して、これをコンテンツ配信事業者に提供することにより、ユーザによる購入の回数（利用回数）に応じた利益を得ることができる。
【０２０７】
また、コンテンツ提供者からコンテンツ配信事業者にコンテンツを提供するに際して、アップロードライセンス情報の入力を要求するようにしたので、不特定の者からの悪意のアップロード（いわゆるハッキング）を防ぐことができる。
【０２０８】
以上、実施の形態を挙げて本発明に係る音響処理用データの配信方法を説明したが、本発明はこの実施の形態に限定されず、以下に列挙するように、種々の変形が可能である。
【０２０９】
上記実施の形態では、配信する対象の音響処理用データが、リバーブデータのほかに、画像データおよび付帯データ、ならびにこれらをリンクさせるためのリンクデータを含むものとして説明したが、これには限定されない。例えば、画像データを含まずに、リバーブデータ、付帯データおよびリンクデータからなるようにしてもよい。あるいは、リバーブデータだけを含むようにしてもよい。
【０２１０】
上記実施の形態では、利用ライセンス情報およびこれと照合されるロック解除情報を生成する際に、クレジットカード番号のほかに、リバーブデータの一部を用いるようにしたが、これには限定されない。リバーブデータ、画像データおよび付帯データのうちの少なくとも１つを用いて生成するようにしてもよい。その際の各データの用い方については、単にそれぞれのデータの一部を抽出してそのまま用いるのではなく、各データに基づいて所定の演算を行って得られる演算結果データを用いるようにしてもよい。
【０２１１】
コンテンツデータをダウンロードして利用するユーザは、一般家庭の個人であってもよいが、カラオケハウスやゲームセンター等の娯楽施設に来店したユーザであってもよい。この場合には、これらの娯楽施設に来店した客からのオプション料金の支払いを条件として、その客がコンテンツをダウンロードして利用できるようにすればよい。
【０２１２】
コンテンツ配信事業者１００が運営するサーバシステム１０１は、リバーブデータおよび画像データ等を主とするコンテンツデータを配信するための専門サイトであってもよいが、一般的な音楽配信サイトであってもよい。この場合には、例えば、配信楽曲を選択するためのウェブ画面上に音響効果体験ボタンを設けて、これをクリックするだけでリバーブ効果を体験できるようにしておき、この画面から購入もできるようにすればよい。
【０２１３】
【発明の効果】
以上説明したように、請求項１ないし請求項７のいずれかに記載の音響処理装置によれば、原音に実在する音響空間の響きに対応したインパルス応答データをたたみ込むことにより生成した効果音を原音に重畳して音響処理音を生成し、この音響処理音を画像再生手段からの再生画像の出力に合わせて出力するようにしたので、聴き手は、実際にその音響空間で音響を聴いているかのような音響的な臨場感と視覚的な臨場感とを得ることができる。
また、原音にインパルス応答データをたたみ込む際に生じた遅延時間を差し引いた箇所（遅延分をオフセットした位置）から原音に対するたたみ込み処理を開始し、音響処理開始が指示された時点から遅延時間の経過時点までの間は原音をそのまま外部に出力する一方、遅延時間の経過時点以降は原音と効果音とを重畳させて生成した音響処理音を出力するようにしたので、聴き手は、遅延時間に相当する当初の期間は原音を、その後は音響処理音を聴くことになる。このため、たたみ込み処理による遅延に起因する再生開始直後の無音期間がなくなり、聴き手が違和感を覚えたりイライラすることがない。
【０２１４】
特に、請求項２に記載の音響処理装置によれば、少なくともたたみ込み手段をソフトウェアにより構成するようにしたので、特別なハードウェア機器を用いなくても、音響処理を行うことができる。例えば一般家庭に広く普及しているパーソナルコンピュータにソフトウェアをインストールするだけで、臨場感溢れる仮想視聴体験を手軽に楽しむことができる。
【０２１５】
また、特に、請求項３に記載の音響処理装置によれば、画像再生手段からの再生画像が実在する音響空間と関連したものであるようにしたので、聴き手は、今聴いている音の響きに重ねてその音響空間の情景をイメージとして描きながら音楽を聞くこともできる。このため、聴き手は、あたかも、実際にその音響空間に身を置いてその音響空間を見ながらその曲を聞いているかのように感じられるという疑似的視聴体験を実現することができる。
【０２１６】
また、特に、請求項４に記載の音響処理装置によれば、さらに、生成された音響処理音と画像再生手段からの再生画像とを着脱可能記録媒体に記録する記録手段を備えるようにしたので、一旦作成した画像付き音響処理音のうち、気に入ったものを保存しておくことができる。さらには、お気に入りの画像付き音響処理音を集めた疑似的視聴体験ライブラリを手軽に作成することも可能である。
【０２１８】
また、請求項７に記載の音響処理装置によれば、実在する第１の音響空間の響きに対応して得られた第１のインパルス応答データのみならず、音響処理が施された音の再生出力が行われる予定の実在する第２の音響空間の響きに対応して得られた第２のインパルス応答データをも原音にたたみ込むことにより効果音を生成し、この効果音を原音に重畳して音響処理音を生成するようにしたので、収録空間としての第１の音響空間のみならず、再生空間としての第２の音響空間の音響特性をも加味した音響処理が行われる。このため、視聴する空間の良し悪しに左右されることなく、ほぼ一定の安定した音響特性を保った臨場感を聴き手に与えることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る音響処理装置を用いて構成したオーディオビジュアルシステムの概略構成を表すブロック図である。
【図２】図１における音響処理装置のハードウェア構成の概略を表すブロック図である。
【図３】図１における音響処理装置の機能構成の要部を表すブロック図である。
【図４】図３におけるリンクファイルの一例を表す図である。
【図５】図３におけるリバーブモジュールの機能構造を表すブロック図である。
【図６】図５におけるたたみ込み処理部の機能構造を表すブロック図である。
【図７】本発明の第１の実施の形態に係る音響処理装置を用いて音響処理を行う場合のユーザ操作を含めた全体の流れを表す流れ図である。
【図８】図５に示したリバーブモジュールにおける音響処理のタイミングを表すタイミング図である。
【図９】インパルス応答データの一例を表す図である。
【図１０】本発明の第１の実施の形態の一変形例に係る音響処理装置におけるリバーブモジュールの機能構造を表すブロック図である。
【図１１】本発明の第１の実施の形態の他の変形例に係る音響処理装置におけるリバーブモジュールの機能構造を表すブロック図である。
【図１２】本発明の第２の実施の形態に係る音響処理装置におけるリバーブモジュールの機能構造を表すブロック図である。
【図１３】本発明の第２の実施の形態に係る音響処理装置を用いて音響処理を行う場合のユーザ操作を含めた全体の流れを表す流れ図である。
【図１４】図１２のリバーブモジュールにおける音響処理のタイミングを表すタイミング図である。
【図１５】本発明の第２の実施の形態の一変形例に係る音響処理装置におけるリバーブモジュールの機能構造を表すブロック図である。
【図１６】本発明の第３の実施の形態に係る音響処理装置におけるリバーブモジュールの機能構造を表すブロック図である。
【図１７】ユーザリバーブデータを収集するためのリバーブデータ収集装置の概略構成を表すブロック図である。
【図１８】本発明の一実施の形態に係る音響処理用データの配信方法が適用されるネットワークシステムの要部を表すシステム構成図である。
【図１９】図１８におけるサーバシステムに設けられたコンテンツデータベースの一例を表す図である。
【図２０】図１８におけるサーバシステムに設けられたコンテンツ管理データベースの一例を表す図である。
【図２１】図１８におけるサーバシステムに設けられたユーザ管理データベースの一例を表す図である。
【図２２】コンテンツ提供システムとサーバシステムとの間で行われる処理、およびこれらのシステムの各々における処理を表す流れ図である。
【図２３】ユーザシステムとサーバシステムとの間で行われる処理、およびこれらのシステムの各々における処理を表す流れ図である。
【符号の説明】
１…音響処理装置、２Ａ〜２Ｄ…スピーカ、３…表示装置、５…記録再生装置、７…オーディオソース、７Ａ…オーディオデータ、８…コンテンツソース、８Ｃ…処理用コンテンツデータ、１１…ＣＰＵ、１２…ＲＡＭ、１３…ＲＯＭ、１４…ハードディスク装置、１４Ｃ…コンテンツライブラリ、１４Ｐ…リバーブアプリケーションプログラム、１６…ＣＤドライブ、１６Ａ…音楽ＣＤ、１６Ｐ…ＣＤ−ＲＯＭ、５１Ｌ１，５１Ｌ２, ５１Ｒ１，５１Ｒ２…たたみ込み処理部、５２Ｌ，５２Ｒ…遅延処理部、６２，６４，６９…ＦＦＴ処理ブロック、６５…たたみ込み演算処理ブロック、６６…ＩＦＦＴ処理ブロック、Ｌi …リンクデータ、ＲＤi …リバーブデータ、ＩＭi …画像データ、ＡＸi …付帯データ、ＲＥＶ…リバーブモジュール、ＬＣ…リンクモジュール、ＲＥＰ…画像再生モジュール、８２…アップロードライセンス情報、８３…コンテンツ、８５…利用ライセンス情報、１０１…サーバシステム、２０１…ユーザシステム、３０１…コンテンツ提供システム、４００…インターネット、ＤＢ１…コンテンツデータベース、ＤＢ２…コンテンツ管理データベース、ＤＢ３…ユーザ管理データベース。
【発明の属する技術分野】
本発明は、収録済の原音に対して所定の音響処理を施すための音響処理装置に関する。
【０００２】
【従来の技術】
オーディオ信号に対して効果音を付加するための装置の１つとして、残響付加装置（リバーブレータ：reverberator）が知られている。この装置は、例えば録音スタジオでオーディオ信号に残響音を付加し、音に広がりや深みを出すために多く用いられている。スタジオ等で録音された音に残響音を付加することで、実際にホールで演奏されているような効果や、さらに特殊な効果を与えることができる。
【０００３】
古くは、残響音の付加は、実際にホール等の残響音を得られるような場所で録音を行うか、あるいは、鉄板やスプリング等の機械的振動を利用して残響音的な効果を得るようにした鉄板エコー装置やスプリングエコー装置等を用いて行われていた。
【０００４】
実際にホール等で録音を行うと、より自然な残響音を得ることができる。しかしながら、実際のホールでは、残響音に関するパラメータ（例えば、残響時間等）を変更できないこと、瞬時にマイクロホンの位置や銘柄（特性）を変えることができないこと、膨大な機材が必要なこと、および空調機器等の騒音がありＳ／Ｎが悪いこと、等の問題点がある。また、鉄板エコー装置やスプリングエコー装置のような機械式の残響付加装置は、経年変化がありメンテナンスが大変であると共に、機械式なので、振動や外来のノイズに弱い。さらに、残響時間の調整可能範囲が制限されることに加え、再現性にも乏しい。さらに、装置自身が重厚長大であること、およびＳ／Ｎが悪いこと、等の問題点もある。
【０００５】
近年の残響付加装置では、これらの効果が電気的に実現されている。さらに、最近では、ディジタル信号処理技術の発達に伴い、ディジタル的に残響音を合成するような方法が普及してきている。この方法の１つに、例えば巡回型のディジタルフィルタを用いる方法がある。この方法では、入力されたディジタルオーディオ信号が減衰されながら巡回され、残響音が生成される。この残響音を元のディジタルオーディオ信号に混合する。実際には、直接音に対して所定期間遅延された位置に初期反射音が加えられ、さらに所定期間後に残響音が加えられる。直接音に対する残響音の遅延時間は、プリディレイと称される。この方法によれば、残響時間の調整、副残響音の付加、および細かなレベル調整等を行うことが可能で、幅広い音作りができる。
【０００６】
ところで、実際のホール等での残響音は、ホールの形状や音源の位置等により、音が様々に反射や干渉等を起こし、より複雑な波形となっている。しかしながら、上記した方法のように、ディジタルフィルタを用いて元のディジタルオーディオ信号をフィルタ処理するようにした場合には、単純に減衰した波形が得られるだけなので、どうしても人工的な印象を免れなかった。また、上記の方法では、元の信号をフィルタ処理により巡回させるようにしているので、入力がなくなった後の最終的な残響音のピッチが、巡回型フィルタ内部のフィードバックループのピッチとなってしまい、高品位で自然な残響音を得ることができなかった。
【０００７】
【発明が解決しようとする課題】
そこで、実際にホールや鉄板エコー等で残響音を発生させて、この残響音に基づきインパルス応答を収集し、収集されたインパルス応答をフィルタ処理により入力データと共にたたみ込むという方法が既に提案されている。ここで、インパルス応答とは、一般に、あるシステムに単位インパルス（所定の高さの細いパルス状の入力）を与えたときにそのシステムから出力される応答パルス列をいう。上記のようなたたみ込み法により、実際の空間や装置のインパルス応答に基づいた、より自然でリアルな残響音を得ることができる。そのようなたたみ込み処理を実現するハードウェア回路構成の一例が、例えば特開２０００−９７７６２号公報に記載されている。この公報に開示されたハードウェア回路は、ＦＩＲ(Finite Impulse Response) フィルタを用いて、時間軸上でインパルス応答をたたみ込むようにしたものである。
【０００８】
しかしながら、上記のように、時間軸方向にインパルス応答をたたみ込む方法では、膨大な数の遅延回路と係数乗算器とが必要になり、回路規模が極めて大きくなってしまうという問題点がある。
【０００９】
これを解決するために、例えば同公報に示されているように、入力ディジタルオーディオ信号およびインパルス応答データをそれぞれハードウェア回路を用いてフーリエ変換することにより周波数要素データに変換し、この周波数軸上で両者をたたみ込むという方法が提案されている。この方法では、上記した時間軸上でたたみ込みを行う方法に比べて、ハードウェア回路の規模が小さくて済むという利点がある。
【００１０】
また、インパルス応答のたたみ込みに関する上記の諸問題を解決するため、例えば特表平８−５０１６６７号公報に記載されているように、インパルス応答データを時間軸上で分割し、分割されたそれぞれのインパルス応答によって入力データのたたみ込みを行う方法も提案されている。
【００１１】
このように、従来より、オーディオ信号に関する処理については様々な試みがなされていたものの、必ずしも十分な臨場感をユーザに与え得るものではなかった。例えば、一部のクラシック音楽ファンやロック音楽ファンのような熱狂的な音楽ファンにあっては、実際のコンサートホールでの名演奏の視聴を希望しながらも、その場に行くことができないことがある。そのようなとき、彼らは、そのコンサートホールの雰囲気を仮想的に体験したいと希望する場合が多い。しかしながら、上記したいずれの方法においても、音響効果のみが考慮されており、その他の要素についてはまったく配慮がなされていなかった。
【００１２】
また、上記のいずれの方法においても、インパルス応答のたたみ込み処理にハードウェア回路を用いていることから、一般のコンスーマ（例えば、ＰＣ（パーソナルコンピュータ）ユーザ等）にとっては、手持ちのコンテンツ（例えばＣＤに記録された形で保有している既存の楽曲）に簡単に音響効果処理を施して臨場感のある音場を手軽に生成することは技術面およびコスト面の両面で困難であった。
【００１３】
本発明はかかる問題点に鑑みてなされたもので、その第１の目的は、記録媒体に記録された音楽等の収録音を、ユーザが十分な臨場感をもって楽しむことを可能とする音響処理装置を提供することにある。また、本発明の第２の目的は、音楽等の既存の収録音に対する音響処理を容易かつ低コストで行うことを可能にする音響処理装置を提供することにある。また、本発明の第３の目的は、記録媒体に記録された音楽等の収録音を再生する際に、ユーザに不自然な違和感を与えることなく音響処理を施すことが可能な音響処理装置を提供することにある。
【００１４】
【課題を解決するための手段】
本発明の音響処理装置は、原音に対して、実在する音響空間の響きに対応したインパルス応答データをたたみ込むことにより、効果音を生成するたたみ込み手段と、画像を再生して出力する画像再生手段と、画像再生手段からの再生画像の出力に沿って、原音とたたみ込み手段からの効果音とを重畳させて音響処理音を生成し出力するように画像再生手段およびたたみ込み手段を制御する制御手段とを備えると共に、この制御手段が、インパルス応答データのたたみ込み処理を行う際に生ずる遅延時間に相当する箇所から原音に対するたたみ込み処理を開始するようにたたみ込み手段の制御を行うと共に、音響処理の開始が指示された時点から遅延時間の経過時点までの間は原音をそのまま外部に出力する外部出力制御を行う一方、遅延時間の経過時点以降は原音と効果音とを重畳させて音響処理音を生成し出力する重畳制御を行うようにしたものである。この場合において、少なくともたたみ込み手段はソフトウェアにより構成するのが好ましく、また、インパルス応答データは、画像再生手段からの再生画像と関連したものであることが好ましい。ここで、原音とは、対象となる音響処理が未だ施されていない音響をいい、音響処理音とは、原音に基づいて作られた効果音をその原音に重畳して得られる音響をいう。効果音とは、原音にインパルス応答データをたたみ込むことにより得られる音響をいう。以下、本明細書において同様である。
【００１５】
本発明の音響処理装置では、たたみ込み手段によって原音にインパルス応答データをたたみ込むことにより効果音が生成され、さらに、この効果音が原音に重畳されて音響処理音が生成される。この音響処理音は、画像再生手段からの再生画像の出力に合わせて出力される。インパルス応答データは実在する音響空間の響きに対応したものなので、実際にその音響空間で音響を聴いているかのような臨場感を聴き手に与えることになる。しかも、音響処理音に連動して再生画像が出力されるので、聴き手に視覚的な臨場感をも与えることになる。
また、このようなたたみ込み処理の際には遅延が生ずる。このたたみ込み処理は、原音のうち、上記の遅延した時間を差し引いた箇所（遅延分をオフセットした位置）から開始される。そして、音響処理開始が指示された時点から遅延時間の経過時点までの間は原音がそのまま外部に出力される一方、遅延時間の経過時点以降は原音と効果音とを重畳させて生成された音響処理音が出力される。この結果、聴き手は、遅延時間に相当する当初の期間は原音を、その後は音響処理音を聴くことになる。このため、たたみ込み処理による遅延に起因する再生開始直後の無音期間がなくなる。
【００１６】
また、本発明の音響処理装置では、実在する第１の音響空間の響きに対応して得られた第１のインパルス応答データを保持する手段と、音響処理が施された音の再生出力が行われる予定の実在する第２の音響空間の響きに対応して得られた第２のインパルス応答データを保持する手段とを備えると共に、たたみ込み手段が、原音に対して第１および第２のインパルス応答データをたたみ込むことにより効果音を生成するようにするのが好ましい。このように構成した場合、実在する第１の音響空間の響きに対応して得られた第１のインパルス応答データと、音響処理が施された音の再生出力が行われる予定の実在する第２の音響空間の響きに対応して得られた第２のインパルス応答データとを原音にたたみ込むことにより、効果音が生成される。そして、この効果音が原音に重畳されて音響処理音が生成され、出力される。すなわち、収録空間としての第１の音響空間のみならず、再生空間としての第２の音響空間の音響特性をも加味した音響処理が行われることになる。このため、視聴する空間の良し悪しに左右されることなく、ほぼ一定の安定した音響特性を保った臨場感を聴き手に与えることになる。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２３】
［音響処理装置］
《第１の実施の形態》
図１は、本発明の第１の実施の形態に係る音響処理装置を用いて構成したオーディオビジュアルシステム（以下、ＡＶシステムという。）の概略構成を表すものである。このＡＶシステムは、収録済の原音に所定の音響処理を施して音響処理音を生成する音響処理装置１と、生成された音響処理音（オーディオデータ）を出力する４つのスピーカ２Ａ〜２Ｄと、音響処理装置１により再生された画像（以下、適宜、映像ともいう。）を表示する表示装置３とを含んで構成されている。スピーカ２Ａ〜２Ｄは、それぞれ、信号増幅機能を有するオーディオアンプ４Ａ〜４Ｄを介して、音響処理装置１に接続されている。表示装置３もまた音響処理装置１に接続されている。
【００２４】
音響処理装置１は、例えばパーソナルコンピュータ等で構成されるが、その他の情報処理装置を用いて構成することも可能である。４つのスピーカのうち、スピーカ２Ａ，２Ｂは、このシステムのユーザ（視聴者）Ｕの前方に配置されるフロントスピーカであり、スピーカ２Ｃ，２Ｄは、ユーザＵの後方に配置されるリアスピーカである。これらの４つのスピーカによって、いわゆるサラウンドシステム（surround system ）が実現されるようになっている。
【００２５】
ここで、サラウンドシステムとは、一般に、周囲に４個以上のスピーカーを配して、音の到達時間を変えたり、壁や天井からの反射による間接音や残響に相当する音を出したりすることにより、視聴者が感じる音の像に左右の広がりだけでなく、奥行も感じられるようにした音響再生システムであり、コンサートホールや映画館の臨場感を出すことを目的として用いられる。このサラウンドシステムでは、左右の音声信号の時間的ずれ、位相差と音量差によって、リアエフェクト音声を作り出し、これを後方や横に置かれたエフェクトスピーカから再生することにより、できる限り実際の音声に近づけることができる。
【００２６】
表示装置３は、通常、ユーザＵの正面に配置される。表示装置３としては、例えば、大画面のＣＲＴ（cathode −ray tube）ディスプレイ、液晶ディスプレイ、プラズマディスプレイ、ＥＬ（electoroluminescence）ディスプレイ、ＦＥＤ（Field Emission Display）、あるいは液晶プロジェクタ等が用いられる。
【００２７】
このＡＶシステムには、音響処理装置１による音響処理の結果生成された音響処理音および画像（ビデオデータ）を記録・再生することが可能な記録再生装置５を含めることも可能である。この記録再生装置５としては、例えば、追記型または書き替え可能型のＤＶＤ( Ｄigital Versatile Disk ）装置や、ビデオカセットレコーダ（ＶＴＲ）等が用いられる。この記録再生装置５には、ヘッドフォン６が接続可能である。ユーザＵは、記録再生装置５から再生されて表示装置３に表示される画像を見ながら、記録再生装置５から再生された音響処理音をヘッドフォン６を通じて聴取することができるようになっている。なお、記録再生装置５としては、音声の記録・再生のみが可能な装置、例えばＭＤ（Mini Disc ）やカセットテープレコーダ等のような携帯可能な小型の装置を用いるようにしてもよい。また、記録再生装置５を音響処理装置１に内蔵するようにしてもよく、その場合には、この記録再生装置５が本発明の「着脱可能記録媒体に記録する記録手段」の一具体例に対応する。
【００２８】
音響処理装置１は、オーディオソース（音源）７からオーディオデータ７Ａを取り込むと共に、コンテンツソース（素材源）８から処理用コンテンツデータ８Ｃを取り込み、この処理用コンテンツデータ８Ｃを用いてオーディオデータ７Ａに所定の音響処理（リバーブ処理、より具体的には、たたみ込み処理）を施すという機能を有している。
【００２９】
オーディオソース７は、例えば、ＣＤ（Compact Disc）、ＭＤおよびＤＶＤのような音声記録媒体であってもよいし、あるいはインターネットウェブサイト （すなわち、インターネット上に開設されている音楽配信サイト）のホームページ（ＨＰ）であってもよい。コンテンツソース８は、処理用コンテンツデータ８Ｃを提供するためのものであり、例えばＣＤ−ＲＯＭやフロッピーディスク等のデータ記録媒体の形で配布されるものであってもよいし、あるいは、インターネットウェブサイト（すなわち、インターネット上に開設されているコンテンツ配信サイト）のホームページ（ＨＰ）であってもよい。そのようなコンテンツ配信サイトについては後述する。
【００３０】
オーディオデータ７Ａは、既に収録された各種の音楽や音色（例えば楽器の音や鐘の音等）を表すデータである。処理用コンテンツデータ８Ｃは、リバーブデータ、画像データ、付帯データおよびリンクデータの４者よりなる複合データである。なお、以下の説明では、「処理用コンテンツデータ８Ｃ」を単に「コンテンツデータ８Ｃ」と略記する。
【００３１】
リバーブデータは、音声データに対して後述の音響処理（たたみ込み処理）を施すときに用いられる音響処理用データ（具体的には、インパルス応答データ）であり、実在する音響空間において採取されたものである。音響空間およびインパルス応答データについては後述する（図９参照）。
【００３２】
画像データは、リバーブデータと関連した内容の画像を表すデータであり、静止画もしくは動画のいずれか一方または双方を含むデータである。画像データには、例えば、インパルス応答データが採取された音響空間自体を撮影して得られる静止画または動画を表すデータや、その音響空間を想起させるような絵画または意匠等を表すデータ等が含まれる。この画像データは、圧縮されたデータである。具体的には、静止画の場合には、例えばｊｐｅｇ（joint photographic expert group ）形式等の圧縮データが用いられ、動画の場合には、例えばＭＰＥＧ（motion pictures expert group）形式等の圧縮データが用いられる。
【００３３】
付帯データは、コンテンツデータ８Ｃの内容に関する補足情報であり、リバーブデータのタイトルと、画像データのタイトルと、画像データに関わる説明とを含む。ここで、「画像データに関わる説明」としては、例えば、そのリバーブデータが採取された施設（音響空間）の紹介（例えば、その施設の規模や歴史）や、その施設がある都市の紹介、さらには、その施設や都市にまつわる人物やエピソード等の紹介が挙げられる。
【００３４】
リンクデータは、リバーブデータと画像データおよび付帯データとをリンクさせる（関連付ける）ための定義付け情報である。
【００３５】
なお、リバーブデータ、画像データ、付帯データおよびリンクデータの具体的内容、ならびにそれらのデータの相互関係については後述する（図４参照) 。
【００３６】
ここで、図９を参照して、リバーブデータとして用いられるインパルス応答データの意義について説明する。
【００３７】
図９は、ある音響空間について得られたインパルス応答データの一例を表すものである。なお、ここにいう音響空間とは、例えば、ウイーン・コンツェルトハウスやライプツィヒ・ゲヴァントハウスのような著名なコンサートホール、東京ドームのようなイベントホール、さらには、グランドキャニオンのような地表の壮大な空間や、鍾乳洞あるいは鉱石採掘跡のような地下空間等、およそ自然界に存在して音を伝播可能なすべての空間を意味するものとする。
【００３８】
図９において、横軸は時間軸を表し、縦軸はデータの値を表す。ここにいうインパルス応答データとは、ある音響空間に単位インパルス音を与えたときにそこに生ずる残響音を所定の時間間隔でサンプリングして得られるパルス列のデータをいい、その音響空間がもつ固有の音響特性、具体的には残響音特性を表している。なお、図９では、サンプリングポイント数をＮｓ（Ｎｓは正の整数）として描いている。この図に示したように、インパルス応答データは、一般に、時間の経過と共にほぼ指数関数的に減衰する形を有している。但し、その厳密な形は、音響空間の大きさ、形状、構造および構成材料等に応じて音響空間ごとに異なるのが普通であり、それぞれ独特の形をしている。
【００３９】
このように、インパルス応答データは、それが得られた音響空間と一体不可分の関係にある。そこで、本実施の形態では、画像データとして、例えば、その音響空間自体を撮影して得られる静止画または動画を表すデータや、その音響空間を想起させるような絵画または意匠等を表すデータを用い、この画像データを各音響空間に対応付けて提供すると共に、インパルス応答データを用いて生成した音響処理音に関連付けて画像データを取り扱うようにしている。その詳細については後述する。
【００４０】
図２は、図１に示した音響処理装置１の概略構成を表すものである。この音響処理装置１は、ＣＰＵ（中央処理装置）１１と、ＣＰＵ１１が行うデータ処理に必要な作業データ等の随時書き込みと随時読み出しとが可能なＲＡＭ１２と、ＢＩＯＳ（Basic Input/Output System ）等が格納された読み出し専用のＲＯＭ（Read Only Memory）１３とを備えている。音響処理装置１はまた、ＯＳ（operating system）およびアプリケーションプログラム等のプログラムを含む様々なデータを格納すると共にこれらのデータのランダム読出が可能なハードディスクドライブ（ＨＤＤ）１４と、インターネットに接続可能な通信Ｉ／Ｆ１５と、ＣＤドライブ１６と、オーディオビジュアルインタフェイス（ＡＶ−Ｉ／Ｆ）１７とを備えている。音響処理装置１は、さらに、データ入力用のキーボード１８Ｋおよびマウス１８Ｍと、表示デバイス（ＤＰＬＹ）１９とを備えている。以上列挙した各部は、バスＢによって相互に接続されている。
【００４１】
ＣＰＵ１１は、この音響処理装置１の全体に係わる動作を制御するほか、後述するたたみ込み演算等を高速で処理する機能を有する。ＣＰＵ１１としては、動作クロックが例えば５００ＭＨｚ以上の高速タイプのデバイスを用いるのが好ましい。ここで、ＣＰＵ１１が、本発明における「たたみ込み手段」、「画像再生手段」および「制御手段」を実現するハードウェアの一具体例に対応する。
【００４２】
ＨＤＤ１４は、上記したＯＳのほかに、少なくともリバーブアプリケーションプログラム１４Ｐと、コンテンツライブラリ１４Ｃとを格納できるだけの記憶容量を有する。リバーブアプリケーションプログラム１４Ｐは、オーディオソース７（図１）から供給される原音（オーディオデータ７Ａ）に音響処理であるリバーブ処理（たたみ込み処理）を施すためのプログラムであり、例えばＣＤドライブ１６を用いてＣＤ−ＲＯＭ１６ＰからＨＤＤ１４にインストールされるようになっている。コンテンツライブラリ１４Ｃは、コンテンツソース８（図１）から供給された、リバーブデータ、画像データ、付帯データおよびリンクデータからなるコンテンツデータ８Ｃを集めたファイルライブラリである。なお、図２に示した例では、オーディオソースは音楽ＣＤ１６Ａであり、コンテンツソースはインターネット上のウェブサイトである。
【００４３】
ＡＶ−Ｉ／Ｆ１７は、オーディオアンプ４Ａ〜４Ｄ、表示装置３および記録再生装置５（図１）とバスＢとの間を接続し、ディジタル信号（ディジタルオーディオデータおよびディジタル画像データ）を、アナログ信号（アナログオーディオデータおよびアナログ画像データ）に変換する信号変換機能等を有している。通信Ｉ／Ｆ１５としては、例えば、ＩＳＤＮ回線用であればターミナルアダプタ（ＴＡ）、アナログ回線用であればモデム（modem ）等が用いられる。ＣＤドライブ１６は、通常の音楽ＣＤ１６Ａを駆動してオーディオデータ７ＡをＨＤＤ１４に取り込むことができるほか、プログラムが記録されたＣＤ−ＲＯＭ１６Ｐを駆動してリバーブアプリケーションプログラム１４ＰをＨＤＤ１４に取り込むことができるようになっている。なお、ＣＤドライブ１６は、読み出し専用メディアであるＣＤやＣＤ−ＲＯＭを駆動可能なもののほか、追記型メディアであるＣＤ−Ｒ（Recordable）や、書き替え可能型メディアであるＣＤ−ＲＷ（Rewitable ）等の駆動が可能な複合型ドライブであってもよい。さらに、ＣＤドライブ１６に代えて、書込専用ＤＶＤや書き替え可能型ＤＶＤの駆動が可能なＤＶＤドライブを用いるようにしてもよい。
【００４４】
図３は、音響処理装置１がＨＤＤ１４内のコンテンツライブラリ１４Ｃを用いて行う機能の要部を表したものである。なお、図３において、「データ」という用語は、意味的なまとまりをもった一連の情報を意味し、「ファイル」という用語は、記憶装置に格納された複数の同種データの集合体を意味するものとする。例えば、リバーブファイルＲＦは、複数種類のリバーブデータＲＤi （ｉ＝１，２，３，…) を含むデータファイルであり、画像ファイルＩＭＦは、複数種類の画像データＩＭj （ｊ＝１，２，３，…) を含むデータファイルである。付帯ファイルＡＸＦは、複数の付帯データＡＸi （ｉ＝１，２，３，…) を含むデータファイルであり、リンクファイルＬＦは、複数のリンクデータＬi （ｉ＝１，２，３，…) を含むデータファイルである。
【００４５】
図４は、リンクファイルの内容の一具体例を表すものである。リンクファイルＬＦは、複数のリンクデータＬ１，Ｌ２，Ｌ３，…を含んでいる。各リンクデータＬi （ｉ＝１，２，３，…）は、１つのリバーブデータと、１または複数の画像データと、１つの付帯データとを相互に対応付ける定義付けデータである。例えば、リンクデータＬ１は、リバーブデータＲＤ１と、３つの画像データ［ＩＭ１，ＩＭ２，ＩＭ３］と、付帯データＡＸ1 とを対応付けており、リンクデータＬ２は、リバーブデータＲＤ２と、３つの画像データ［ＩＭ４，ＩＭ５，ＩＭ６］と、付帯データＡＸ2 とを対応付けている。リンクデータＬ３は、リバーブデータＲＤ３と、４つの画像データ［ＩＭ４，ＩＭ５，ＩＭ６，ＩＭ１］と、付帯データＡＸ3 とを対応付けている。なお、図４におけるＲＤｉ，ＩＭj ，ＡＸｉの表記は各データの中身自体を示すものではなく、データの中身が実際に格納されている場所（ハードディスク１４上のアドレス）を表しているにすぎない。
【００４６】
画像データＩＭ１〜ＩＭ６の実際のデータ内容は、例えば、
ＩＭ１：IMAGE1.bmp，ＩＭ２：IMAGE2.bmp，ＩＭ３：IMAGE3.bmp
ＩＭ４：VIDEO1.mpg，ＩＭ５：VIDEO2.mpg，ＩＭ６：VIDEO3.mpg
である。ここで、拡張子「bmp 」はビットマップ形式の静止画データであることを示し、拡張子「mpg 」はＭＰＥＧ(Moving Picture Experts Group)形式で圧縮された動画データであることを示す。
【００４７】
図４に示した例において、リンクデータＬ１は、「リバーブデータＲＤ１が選択された場合に、３つの静止画像データIMAGE1.bmp，IMAGE2.bmp，IMAGE3.bmpをそれぞれ所定の時間ずつ順次表示させると共に、これらの静止画像の表示に同期して付帯データＡＸ１の内容を表示する」ことを意味している。リンクデータＬ２は、「リバーブデータＲＤ２が選択された場合に、３つの動画像データVIDEO1.mpg，VIDEO2.mpg，VIDEO3.mpgを順次表示させると共に、これらの静止画像の表示に同期して付帯データＡＸ２の内容をオーバーラップ表示する」ことを意味している。リンクデータＬ３は、「リバーブデータＲＤ３が選択された場合に、３つの動画像データVIDEO1.mpg，VIDEO2.mpg，VIDEO3.mpgを順次表示させたのち、静止画像データIMAGE1.bmpを所定時間表示させ、その後、２番目の動画像データVIDEO2.mpgを表示させると共に、これらの静止画像の表示に同期して付帯データＡＸ３の内容をオーバーラップ表示する」ことを意味している。その他のリンクデータについても同様である。なお、リンクデータＬ３における「Go To #2」は、２番目の画像データに制御を移すことを意味するが、このような記述が存在しない場合には、先頭の画像データに制御を移すようになっている。
【００４８】
図３に示したように、リバーブアプリケーションプログラム１４Ｐは、少なくとも、リバーブモジュールＲＥＶ、画像再生モジュールＲＥＰおよびリンク制御モジュールＬＣという３つのプログラムモジュールを含んで構成されている。リンク制御モジュールＬＣは、ユーザによって指定されたリンクデータＬi をリンクファイルＬＦから読み出し、このリンクデータＬi の内容に従って、リバーブモジュールＲＥＶおよび画像再生モジュールＲＥＰを制御するようになっている。リバーブモジュールＲＥＶおよび画像再生モジュールＲＥＰは、それぞれ、リンク制御モジュールＬＣによる制御の下、互いに同期して、リバーブデータＲＤi と、画像データＩＭi および付帯データＡＸi とを読み出し、以下に述べる処理を行うようになっている。画像再生モジュールＲＥＰが、本発明における「画像再生手段」の一具体例に対応し、リンク制御モジュールＬＣが本発明における「制御手段」の一具体例に対応する。
【００４９】
すなわち、リバーブモジュールＲＥＶは、リバーブファイルＲＦからリバーブデータＲＤi を読み出し、このリバーブデータＲＤi を用いて、音楽ＣＤ１６Ａ（図２、図３参照）から出力されるオーディオデータ７Ａ（図１〜図３参照）に対して、後述するリバーブ処理（たたみ込み処理）を行い、スピーカ２Ａ〜２Ｄに出力するという音響処理機能を有する。
【００５０】
一方、画像再生モジュールＲＥＰは、画像ファイルＩＭＦから画像データＩＭj を読み出してその圧縮状態を解凍し、これをリバーブモジュールＲＥＶの出力に合わせて表示装置３に出力するという画像デコード機能を有する。画像再生モジュールＲＥＰはまた、付帯ファイルＡＸＦから付帯データＡＸi を読み出し、画像再生出力に同期して表示装置３に出力するという機能も有している。リバーブモジュールＲＥＶは以下に述べるような構造を有している。
【００５１】
図５は、図３に示したリバーブモジュールＲＥＶの機能構造を詳細に表すものである。なお、この図に示した各機能ブロックは、いずれもソフトウェアによって実現されるものである。
【００５２】
このリバーブモジュールＲＥＶは、ステレオ入力／ステレオ出力の機能を有する。すなわち、このリバーブモジュールＲＥＶは、Ｌチャンネル（左チャンネル）の入力オーディオデータＬinとＲチャンネル（右チャンネル）の入力オーディオデータＲinとからなるオーディオデータ７Ａ（図１、図２，図３参照）を入力とし、Ｌチャンネルの出力オーディオデータＬout とＲチャンネルの出力オーディオデータＲout とからなる音響処理データ７Ｂを出力するようになっている。
【００５３】
リバーブモジュールＲＥＶは、Ｌチャンネルの入力オーディオデータＬinに対してたたみ込み処理を行うための２つのたたみ込み処理部５１Ｌ１，５１Ｌ２と、Ｒチャンネルの入力オーディオデータＲinに対してたたみ込み処理を行うための２つのたたみ込み処理部５１Ｒ１，５１Ｒ２とを含んで構成されている。リバーブモジュールＲＥＶはまた、Ｌチャンネルの入力オーディオデータＬinを遅延させるための遅延処理部５２Ｌと、Ｒチャンネルの入力オーディオデータＲinを遅延させるための遅延処理部５２Ｒとを含んでいる。Ｌチャンネルの入力オーディオデータＬinは３経路に分岐されて入力され、各分岐されたデータが、それぞれ、たたみ込み処理部５１Ｌ１，５１Ｌ２および遅延処理部５２Ｌに入力されるようになっている。同様に、Ｒチャンネルの入力オーディオデータＲinは３経路に分岐されて入力され、各分岐されたデータが、それぞれ、たたみ込み処理部５１Ｒ１，５１Ｒ２および遅延処理部５２Ｒに入力されるようになっている。ここで、たたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２が本発明における「たたみ込み手段」の一具体例に対応する。
【００５４】
たたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２には、リバーブデータＲＤi （図３〜図５参照）が個別に供給され、これを用いて、入力オーディオデータＬin，Ｒinに対するたたみ込み処理が行われるようになっている。たたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２にはまた、リバーブ時間調整データ５６が供給され、これにより、リバーブ時間を個別に設定できるようになっている。このリバーブ時間は、入力オーディオデータＬin，Ｒinに対して実際にたたみ込み処理を施す時間の長さであり、通常、リバーブデータが採取された音響空間が有する固有の残響時間の長短に応じて設定される。なお、一般に、残響時間は音が止まってから音圧レベルが６０ｄＢ減衰するまでの時間を意味する。
【００５５】
たたみ込み処理部５１Ｌ１の出力とたたみ込み処理部５１Ｒ２の出力とは、加算部５３Ｌ１に入力され、ここで互いに加算されて、効果音（ウェット音）データＷＬとして出力されるようになっている。一方、たたみ込み処理部５１Ｌ２の出力とたたみ込み処理部５１Ｒ１の出力とは、加算部５３Ｒ１に入力され、ここで互いに加算されて、効果音データＷＲとして出力される。加算部５３Ｌ１から出力された効果音データＷＬは乗算部５４Ｌ１に入力され、ここで、Ｌチャンネル用のウェット成分調整データ５７Ｌと乗ぜられる。一方、加算部５３Ｒ１から出力された効果音データＷＲは乗算部５４Ｒ１に入力され、ここで、Ｒチャンネル用のウェット成分調整データ５７Ｒと乗ぜられるようになっている。ここで、ウェット成分調整データとは、最終的に視聴に供される音響処理済みの音の全体（すなわち、音響処理音）に占める効果音の割合を決定する係数である。具体的には、ウェット成分調整データ５７Ｌは、出力オーディオデータＬout のうち効果音データＷＬが占める割合を表し、ウェット成分調整データ５７Ｒは出力オーディオデータＲout のうち効果音データＷＲが占める割合を表す。
【００５６】
遅延処理部５２Ｌから出力された原音（たたみ込みがなされていないドライ音）データＤＬは乗算部５４Ｌ２に入力され、ここでＬチャンネル用のドライ成分調整データ５８Ｌと乗ぜられるようになっている。一方、遅延処理部５２Ｒから出力された原音データＤＲは乗算部５４Ｒ２に入力され、ここでＲチャンネル用のドライ成分調整データ５８Ｒと乗ぜられる。ここで、ドライ成分調整データとは、最終的に視聴に供される音響処理音に占める原音の割合を表す係数である。具体的には、ドライ成分調整データ５７Ｌは、出力オーディオデータＬout のうち原音データＤＬが占める割合を表す係数であり、ドライ成分調整データ５７Ｒは、出力オーディオデータＲout のうち原音データＤＲが占める割合を表す係数である。
【００５７】
乗算部５４Ｌ１，５４Ｌ２の各出力は、加算部５３Ｌ２で互いに加算（重畳）され、これにより、Ｌチャンネルの原音データＤＬと効果音データＷＬとが所定の比率（すなわち、ドライ成分調整データ５８Ｌとウェット成分調整データ５７Ｌの比）で混合された出力オーディオデータＬout が生成される。一方、乗算部５４Ｒ１，５４Ｒ２の各出力は、加算部５３Ｒ２で互いに加算（重畳）され、これにより、Ｒチャンネルの原音データＤＲと効果音データＷＲとが所定の比率で混合された出力オーディオデータＲout が生成されるようになっている。
【００５８】
図６は、図５におけるたたみ込み処理部５１Ｌ１の機能構造をより詳細に表すものである。このたたみ込み処理部５１Ｌ１は、Ｌチャンネルの入力オーディオデータＬinが入力されるバッファ処理ブロック６１と、バッファ処理ブロック６１の出力が供給されるＦＦＴ（Fast Fourier Transformation ）処理ブロック６２と、リバーブデータＲＤi （ｉ＝１，２，３，…；図３〜図５参照）が入力されるバッファ処理ブロック６３と、バッファ処理ブロック６３の出力が供給されるＦＦＴ処理ブロック６４とを含んで構成されている。たたみ込み処理部５１Ｌ１はまた、ＦＦＴ処理ブロック６２の出力とＦＦＴ処理ブロック６２の出力とが供給される乗算ブロック６５と、乗算ブロック６５の出力が供給されるＩＦＦＴ処理ブロック６６とを含んでいる。
【００５９】
バッファ処理ブロック６１は、音楽ＣＤ１６Ａ（図２，図３）からＬチャンネルの入力オーディオデータＬinを読み出し、これをメモリ（図２；ＲＡＭ１２）に所定量蓄積したのちに出力する処理を行うブロックである。このバッファ処理ブロック６１によってメモリに蓄積されるデータの量は、リバーブ時間調整データ５６によって設定されるようになっている。具体的には、例えば５１２ｋ（＝２19＝５２４，２８８）ポイント分のサンプリングデータがバッファ処理ブロック６１に格納される。
【００６０】
バッファ処理ブロック６３は、ＨＤＤ１４（図２）のリバーブファイルＲＦ （図３）からいずれかのリバーブデータＲＤi を読み出し、これをメモリ（図２；ＲＡＭ１２）に所定量蓄積したのち出力する処理を行うブロックである。このバッファ処理ブロック６３によってメモリに蓄積されるデータ量もまた、リバーブ時間調整データ５６によって設定される。
【００６１】
ＦＦＴ処理ブロック６２は、バッファ処理ブロック６１から出力された時間軸上のオーディオデータを高速フーリエ変換(FFT) によって周波数軸上のデータに変換する処理を行うブロックである。このブロックにより、Ｌチャンネルの入力オーディオデータＬinは、例えば、０．１Ｈｚ毎の周波数要素データに変換されるようになっている。ＦＦＴ処理ブロック６４は、バッファ処理ブロック６３から出力された時間軸上のリバーブデータＲＤi を高速フーリエ変換によって周波数軸上のデータに変換する処理を行うブロックである。
【００６２】
乗算ブロック６５は、ＦＦＴ処理ブロック６２の出力にＦＦＴ処理ブロック６４の出力を乗ずるたたみ込み演算処理を行うブロックである。このときの乗算は、互いに周波数成分が一致するデータ同士で行われる。
【００６３】
ＩＦＦＴ処理ブロック６６は、乗算ブロック６５から出力された周波数軸上のデータを逆高速フーリエ変換(IFFT ;Inverse Fast Fourier Transformation) によって時間軸上のデータに変換し、効果音（ウェット音）６７として出力する処理を行うブロックである。
【００６４】
なお、他のたたみ込み処理部５１Ｌ２は、たたみ込み処理部５１Ｌ１と同様のブロック構造および機能を有する。また、たたみ込み処理部５１Ｒ１，５１Ｒ２は、入力がＲチャンネルの入力オーディオデータＲinである点を除き、たたみ込み処理部５１Ｌ１と同様のブロック構造および機能を有する。但し、これらの４つのたたみ込み処理部５１Ｌ１〜５１Ｒ２で行われる処理は、実際には、ＣＰＵ１１（図２）によって時分割的に実行される処理である。
【００６５】
次に、主に図７および図８を参照して、以上のような構成の音響処理装置の全体動作および作用を説明する。
【００６６】
図７は、ユーザＵ（図１）が音響処理装置１を用いて音響処理を行う場合の操作を含めた全体の流れを表し、図８は、リバーブモジュールＲＥＶ（図３，図５参照）における音響処理のタイミングを表すものである。ここでは、図２に示したように、ユーザＵはすでに、ＣＤ−ＲＯＭ１６Ｐによって提供されたリバーブアプリケーションプログラム１４ＰをＣＤドライブ１６を用いてＨＤＤ１４にインストールする作業を終了しているものとする。このリバーブアプリケーションプログラム１４Ｐを記録したＣＤ−ＲＯＭ１６Ｐは、例えば音楽雑誌の付録として提供するようにしてもよい。なお、リバーブアプリケーションプログラム１４Ｐは、ＣＤ−ＲＯＭ以外の記憶媒体で提供されるようにしたり、あるいはインターネットのホームページからダウンロードにより提供されるようにすることも可能である。
【００６７】
ユーザＵはまず、音響処理装置１を操作して、コンテンツソース８（図１）から、リバーブデータ、画像データ、付帯データおよびリンクデータからなるコンテンツデータ８Ｃを取得する。ここでは、コンテンツソース８がインターネット上の任意のコンテンツ配信サイトのサーバ（図示せず）であるものとする。この場合、ユーザＵは、コンテンツ配信サイトのホームページ（図示せず）にアクセスして、コンテンツデータ８Ｃをダウンロードし（図７；ステップＳ１０１）、これをＨＤＤ１４のコンテンツライブラリ１４Ｃ（図２）に格納する。このとき、ユーザＵは、１つのサイトから複数種類のコンテンツデータ８Ｃをダウンロードしたり、あるいは、複数のサイトからコンテンツデータ８Ｃをダウンロードすることにより、ＨＤＤ１４のコンテンツライブラリ１４Ｃに複数のコンテンツデータ８Ｃを蓄積することができる。なお、コンテンツデータ８ＣをＣＤ−ＲＯＭ等の物理的な記憶媒体を介して取得することも可能である。
【００６８】
次に、ユーザＵが、ＣＤドライブ１６（図２）にオーディオソースである音楽ＣＤ１６Ａをセットし、ＨＤＤ１４内のリバーブアプリケーションプログラム１４Ｐを起動して所定の操作を行うと（ステップＳ１０２）、リバーブアプリケーションプログラム１４Ｐは、ＨＤＤ１４のコンテンツライブラリ１４Ｃの内容をディスプレイ１９にリスト表示すると共に、音楽ＣＤ１６Ａの中の楽曲（音楽プログラム）のリストを表示する（ステップＳ１０３）。
【００６９】
コンテンツライブラリ１４Ｃの内容表示は、次のようにして行われる。すなわち、リバーブアプリケーションプログラム１４Ｐのリンク制御モジュールＬＣ（図３）は、コンテンツライブラリ１４Ｃ内のリンクファイルＬＦ（図３，図４）に含まれるすべての付帯データＡＸｉの内容を参照し、リバーブデータＲＤi のタイトルと、このリバーブデータＲＤi に対応する画像データＩＭj のタイトルとをリスト形式でディスプレイ１９に表示する。具体的には、リバーブデータＲＤi のタイトルとして、例えばそのリバーブデータＲＤi が採取された音響空間（施設や場所）の名称（例えば、「ウィーンコンツェルトハウス」等）が表示され、画像データＩＭj のタイトルとして、その画像の内容を簡潔に表すタイトル（例えば、「ウィーンコンツェルトハウスの全景とウィーンの春の風景」等）が表示される。
【００７０】
こうして表示された楽曲リストおよびコンテンツライブラリリストの中から、ユーザＵによっていずれかの楽曲とリバーブデータＲＤi とが選択されると（ステップＳ１０４；Ｙ）、リバーブアプリケーションプログラム１４Ｐは、選択された楽曲の再生と、選択されたリバーブデータＲＤi が指し示す画像の再生とを開始する。
【００７１】
具体的には、リンク制御モジュールＬＣは、まず、リンクファイルＬＦから、その選択されたリバーブデータＲＤi に関するリンクデータＬi を読み出し、このリンクデータＬi の内容に従って、選択されたリバーブデータＲＤi に対応する画像データＩＭj の再生表示を開始するよう、画像再生モジュールＲＥＰ（図３）に指示する。さらに、リンク制御モジュールＬＣは、選択されたリバーブデータＲＤi を用いて、選択された楽曲のオーディオデータ７Ａ（図１〜図３）にリバーブ音響処理を行うよう、リバーブモジュールＲＥＶ（図３，図５）に指示する。
【００７２】
例えばリバーブデータＲ１が選択されたとすると、リンク制御モジュールＬＣは、コンテンツライブラリ１４ＣのリンクファイルＬＦから、対応するリンクデータＬ１を読み出す。そして、そのリンクデータＬ１中に列挙されている画像データＩＭj （図４に示した例では、静止画データIMAGE1.bmp，IMAGE2.bmp，IMAGE3.bmp）の再生出力を画像再生モジュールＲＥＰに指示する。さらに、リンク制御モジュールＬＣは、ユーザによって選択された楽曲（オーディオデータ７Ａ）を音楽ＣＤ１６Ａから読み出し、このオーディオデータ７Ａに対し、リバーブデータＲ１を用いたリバーブ音響処理を開始するよう、リバーブモジュールＲＥＶに指示する。
【００７３】
リンク制御モジュールＬＣからの指示を受けた画像再生モジュールＲＥＰは、画像再生を開始する（ステップＳ１０５）。具体的には、指示された圧縮状態の画像データＩＭj を画像ファイルＩＭＦ（図３）から読み出し、これを伸長（デコード）し、ＡＶ−Ｉ／Ｆ１７を介して表示装置３に出力する。これにより、表示装置３に、画像データＩＭj の内容（静止画IMAGE1.bmp，IMAGE2.bmp，IMAGE3.bmp）が、所定の時間間隔で順次表示される。なお、ユーザＵによる指示があった場合には、リンク制御モジュールＬＣは、リンクデータＬ１の付帯データＡＸ１をも読み出し、これを画像再生モジュールＲＥＰに渡す。画像再生モジュールＲＥＰは、付帯データＡＸ１の内容を静止画と共に表示装置３にオーバーラップさせて表示する（図３では図示せず）。
【００７４】
例えば、選択されたリバーブデータＲ１のタイトルが上記したように「ウィーンコンツェルトハウス」であったとすると、表示装置３には、ウィーンコンツェルトハウスの外観、内観およびウィーンの春の景色等が、このウィーンコンツェルトハウスの規模および歴史の解説や音楽の都ウィーンにまつわる作曲家のエピソード等の付帯データＡＸi と共に表示されることになる。
【００７５】
一方、リンク制御モジュールＬＣからの指示を受けたリバーブモジュールＲＥＶは、選択された楽曲に対するリバーブ処理を開始する（ステップＳ１０６）。具体的には、まず、オーディオデータ７Ａに対し、その曲頭から、リバーブデータＲＤ1 によるたたみ込み処理を開始すると共に、この開始時点から所定の時間τが経過したところで、原音（ドライ音）に効果音（ウェット音）が重畳した音響処理音の出力を開始する（ステップＳ１０７）。なお、上記した「所定の時間τ」については後述する。
【００７６】
こうして原音に効果音が重畳されて出力された音響処理音は、各チャンネルごとにオーディオアンプ４Ａ，４Ｂ（図１）によって増幅されたのち、スピーカ２Ａ，２Ｂ（図１，図３）から出力され、ユーザＵによって聴取される。この音響処理音は、ユーザＵが選択したリバーブデータＲＤi が採取された現実の音響空間（例えば、ウィーンコンツェルトハウス）においてその曲を演奏した場合に得られるものと同等の残響音を含んだ臨場感のある音響になっている。このため、ユーザＵは、あたかも、実際にその音響空間に行ってその曲を聞いているかのような疑似的聴取体験をすることができる。
【００７７】
さらに、このような臨場感のある音響処理音の出力と並行して、表示装置３には、画像再生モジュールＲＥＰによって再生された画像（例えば、ウィーンコンツェルトハウスの内観やウィーンの町並み等を表す絵や写真）が表示される。この再生画像の内容は、ユーザＵの選択に応じたもの（例えば、現にスピーカから出力されている音響処理音が形作る音場と対応したもの）になっているため、ユーザＵは、その音響空間の情景をイメージとして描きながら音楽を聞くことができる。すなわち、ユーザＵは、聴覚的な効果に加えて、視覚的にも臨場感のあるリアルな仮想体験をすることができる。しかも、ユーザＵの選択により、再生画像と共に、その擬似的創出の対象となった現実の音響空間に関する解説文もまた表示装置３に表示されるので、ユーザＵは、その音響空間等についての知識や理解を深めることができる。
【００７８】
次に、図５，図６および図８を参照して、リバーブモジュールＲＥＶが行うリバーブ音響処理について詳細に説明する。
【００７９】
図５において、音楽ＣＤ１６Ａ（図３参照）から読み出されたオーディオデータ７Ａのうち、Ｌチャンネルの入力オーディオデータＬinは、たたみ込み処理部５１Ｌ１，５１Ｌ２および遅延処理部５２Ｌに入力され、Ｒチャンネルの入力オーディオデータＲinは、たたみ込み処理部５１Ｒ１，５１Ｒ２および遅延処理部５２Ｒに入力される。たたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２には、ユーザＵによって選択されたリバーブデータＲＤi も入力される。
【００８０】
たたみ込み処理部５１Ｌ１，５１Ｒ２は、それぞれ、リバーブデータＲＤi に基づいて、入力オーディオデータＬin，Ｒinに対してたたみ込み処理（図６参照）を行い、その処理結果を、共に加算部５３Ｌ１に供給する。加算部５３Ｌ１は、たたみ込み処理部５１Ｌ１，５１Ｒ２の各出力同士を加算（混合）し、その結果を乗算部５４Ｌ１に供給する。
【００８１】
一方、たたみ込み処理部５１Ｌ２，５１Ｒ１は、それぞれ、リバーブデータＲＤi に基づき、入力オーディオデータＬin，Ｒinに対して、たたみ込み処理を行い、その処理結果を、共に加算部５３Ｒ１に供給する。加算部５３Ｒ１は、たたみ込み処理部５１Ｌ２，５１Ｒ１の各出力同士を加算（混合）し、その結果を乗算部５４Ｒ１に供給する。
【００８２】
遅延処理部５２Ｌは、入力オーディオデータＬinに対して所定時間τの遅延を与える処理を行い、その出力を原音データＤＬとして乗算部５４Ｌ２に供給する。一方、遅延処理部５２Ｒは、入力オーディオデータＲinに対して所定時間τの遅延を与える処理を行い、その出力を原音データＤＲとして乗算部５４Ｒ２に供給する。
【００８３】
原音データＤＬ，ＤＲに遅延を与える理由は次の通りである。すなわち、たたみ込み処理部５１Ｌ１（図５）では、後述するように、バッファ処理ブロック６１（図６）において、必要な残響時間に対応する分の入力オーディオデータＬinを、一旦メモリ（図２のＲＡＭ１２）に所定量蓄積したのちに読み出して、この読み出したデータにたたみ込み処理を行うようになっているため、効果音データ（ウェット音）ＷＬには所定の時間遅延が生ずる。そこで、効果音とドライ音との間のマッチング（曲ずれ防止）を図るために、効果音データ（ウェット音）ＷＬの遅延量と同一の時間遅延を、遅延処理部５２Ｌ（図５）によって原音（ドライ音）データＤＬにも与えるようにしているのである。
【００８４】
なお、遅延時間τは、オーディオデータ７Ａのサンプリング周波数、たたみ込みのサンプル数、およびたたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２における処理速度（すなわち、ＣＰＵ１１の動作周波数）等に依存して決まるが、通常は６秒程度に設定される。
【００８５】
乗算部５４Ｌ１は、加算部５３Ｌ１からの出力に対して、予め設定されたウェット成分調整データ５７Ｌを乗じ、その結果を加算部５３Ｌ２に供給する。乗算部５４Ｌ２は、遅延処理部５２Ｌからの出力に対して、予め設定されたドライ成分調整データ５８Ｌを乗じ、その結果を加算部５３Ｌ２に供給する。加算部５３Ｌ２は、乗算部５４Ｌ１，５４Ｌ２の各出力同士を加算（重畳）し、その結果をＬチャンネルの出力オーディオデータＬout として出力する。出力オーディオデータＬout は、オーディオアンプ４Ａ（図１）によって増幅され、スピーカ２Ａ（図１）から出力される。
【００８６】
一方、乗算部５４Ｒ１は、加算部５３Ｒ１からの出力に対して、予め設定されたウェット成分調整データ５７Ｒを乗じ、その結果を加算部５３Ｒ２に供給する。乗算部５４Ｒ２は、遅延処理部５２Ｒからの出力に対して、予め設定されたドライ成分調整データ５８Ｒを乗じ、その結果を加算部５３Ｒ２に供給する。加算部５３Ｒ２は、乗算部５４Ｒ１，５４Ｒ２の各出力同士を加算（重畳）し、その結果をＲチャンネルの出力オーディオデータＲout として出力する。出力オーディオデータＲout は、オーディオアンプ４Ｂ（図１）によって増幅され、スピーカ２Ｂ（図１）から出力される。
【００８７】
ここで、図６を参照して、たたみ込み処理部５１Ｌ１における処理内容を詳細に説明する。なお、他のたたみ込み処理部５１Ｌ２，５１Ｒ１，５１Ｒ２における処理も同様であるので、その説明を省略する。
【００８８】
図６に示したたたみ込み処理部５１Ｌ１において、バッファ処理ブロック６１は、Ｌチャンネルの入力オーディオデータＬinを一旦蓄積したのち、ＦＦＴ処理ブロック６２に供給する。一方、バッファ処理ブロック６３は、リバーブデータＲＤi を一旦蓄積したのち、ＦＦＴ処理ブロック６４に供給する。その際、バッファ処理ブロック６１，６３は、蓄積するデータの量をリバーブ時間調整データ５６に応じて決定する。この蓄積データ量は、遅延処理部５２Ｌでの遅延時間τに対応したものである。
【００８９】
ＦＦＴ処理ブロック６２は、バッファ処理ブロック６１の出力に対して高速フーリエ変換を行うことにより、時間軸上のデータである入力オーディオデータＬinを周波数軸上のデータに変換し、乗算ブロック６５へと出力する。一方、ＦＦＴ処理ブロック６４は、バッファ処理ブロック６３の出力に対して高速フーリエ変換を行うことにより、時間軸上のデータであるリバーブデータＲＤi を周波数軸上のデータに変換し、乗算ブロック６５に供給する。
【００９０】
乗算ブロック６５は、ＦＦＴ処理ブロック６２からの出力にＦＦＴ処理ブロック６４からの出力を乗ずるたたみ込み演算を行い、その結果をＩＦＦＴ処理ブロック６６に供給する。このとき、乗算ブロック６５は、互いに周波数成分が一致するデータ同士で乗算を行う。
【００９１】
例えば、入力オーディオデータＬinのサンプリング周波数が４８ｋＨｚであり、必要とされる残響時間に対応するサンプル数が２18＝２５６ｋであったとすると、遅延時間τは約５．３秒程度となる。ＣＰＵ１１は、このようなたたみ込み処理を、４つのたたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２において時分割的に並行して行うことになる。この場合、ＣＰＵ１１として動作周波数が５００ＭＨｚ程度のものを用い、３２ビットのフローティングポイント演算を行うようにすれば、十分実現可能である。
【００９２】
ＩＦＦＴ処理ブロック６６は、乗算ブロック６５の出力に対して逆高速フーリエ変換を行うことにより、周波数軸上のデータであるたたみ込み演算の結果を時間軸上のデータに戻して出力する。このようにして、Ｌチャンネル用の加算部５３Ｌ１（図５）に供給されるべきデータが生成される。
【００９３】
次に、図８を参照して、図３，図５に示したリバーブモジュールＲＥＶにおけるデータ処理のタイミングを説明する。この図の（Ａ）は、リバーブモジュールＲＥＶに原音 （＝ドライ音＝入力オーディオデータＬin, Ｒin）が入力されるタイミングを表し、（Ｂ）は、遅延処理部５２Ｌ，５２Ｒからドライ音が出力されるタイミングを表す。（Ｃ）は、リバーブモジュールＲＥＶのたたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２におけるたたみ込み処理のタイミングを表し、（Ｄ）は、たたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２の出力タイミングを表す。（Ｅ）は、加算部５３Ｌ２，５３Ｒ２の出力タイミング、すなわち、リバーブモジュールＲＥＶから最終的に音響処理音（ドライ音＋ウェット音）が出力されるタイミングを表す。なお、図８において、加算部５３Ｌ１，５３Ｒ１，５３Ｌ２，５３Ｒ２、および乗算部５４Ｌ１，５４Ｌ２，５４Ｒ１，５４Ｒ２における演算時間は、たたみ込み処理部５１Ｌ１等における演算時間に比べて十分小さいので、これを無視して描いている。
【００９４】
この図の（Ｃ）に示したように、時刻Ｔ０において、原音の曲頭からたたみ込み処理部５１Ｌ１におけるたたみ込み処理が開始し、これから時間τだけ遅れて、（Ｅ）に示したように、時刻Ｔ１において、最初の処理済みデータ（音響処理音）が出力される。この遅延は、上記したように、時間軸に沿って入力された原音およびリバーブデータＲＤi をそれぞれバッファ処理ブロック６１，６２に一旦蓄積してから周波数軸上のデータに変換するようにしていること、および、４つのたたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２の演算処理がソフトウェアによって行われるためＣＰＵ１１の処理能力に応じた遅延が生ずること、等の理由による。
【００９５】
このように、たたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２では入力に対して出力が時間τだけ遅れることから、遅延処理部５２Ｌ，５２Ｒは、（Ａ），（Ｂ）に示したように、その遅れ分に対応した時間τだけドライ音を遅延させて出力するようにしている。この結果、リバーブ処理が開始してから時間τが経過するまでは無音期間となる。そして、この無音期間τの経過後に、（Ｅ）に示したように、ドライ音とウェット音とが重畳された音響処理音の出力が開始する。
【００９６】
以上のように、本実施の形態に係る音響処理装置１によれば、現実の音響空間
において採取されたリバーブデータＲＤi を用いた音響処理を原音に施して出力するようにしたので、臨場感のある音響を得ることができる。さらに、本実施の形態では、音響処理音の出力と並行して、ユーザＵの選択に応じ、出力中の音響処理音が形作る音場と対応した画像を表示装置３に表示することを可能にしたので、ユーザＵは、その音響空間の情景をイメージとして描きながら音楽を聞くこともできる。このため、ユーザＵは、聴覚的にも視覚的にも臨場感のあるリアルな仮想体験、すなわち、あたかも、実際にその音響空間に身を置いてその曲を聞いているかのような疑似的聴取体験をすることができる。さらに、ユーザＵの選択により、再生画像と共に解説文もまた表示装置３に表示されるようにしたので、その音響空間等についての知識や理解を深めることもでき、仮想体験のリアル性を高めることができる。
【００９７】
また、本実施の形態の音響処理装置１によれば、たたみ込み処理をソフトウェアを用いて行うようにしたので、ユーザＵは、自分の所持しているパーソナルコンピュータにアプリケーションプログラム１４Ｐをインストールするだけでよく、特別のハードウェア装置を購入する必要がない。したがって、ユーザＵは、自分が既に所有しているＣＤ等に収録された音楽等に対する音響処理を、容易かつ低コストで行うことが可能になる。
【００９８】
次に、第１の実施の形態における音響処理装置１についてのいくつかの変形例を説明する。
【００９９】
〈変形例１−１〉
本変形例の音響処理装置は、図５のリバーブモジュールＲＥＶに代えて、図１０のようなモノラル入力／ステレオ出力の機能を有するリバーブモジュールＲＥＶ−Ａを用いるようにしたものであり、ＣＰＵ１１の処理能力が不足している場合に好適である。この図で、図５における要素と同一要素には同一の符号を付し、適宜説明を省略するものとする。
【０１００】
図１０に示したように、本変形例のリバーブモジュールＲＥＶ−Ａは、Ｌ，Ｒの両チャンネルの入力オーディオデータを１つに合成してモノラルの入力オーディオデータとし、このモノラルのオーディオデータを２分岐して、それぞれについてたたみ込み処理を行うようにしたものである。以下、詳細に説明する。
【０１０１】
このリバーブモジュールＲＥＶ−Ａは、Ｌチャンネルの入力オーディオデータＬinの一部とＲチャンネルの入力オーディオデータＲinの一部とを合成してモノラルの入力オーディオデータを生成する加算部５３と、Ｌチャンネルの入力オーディオデータＬinを遅延させるための遅延処理部５２Ｌと、Ｒチャンネルの入力オーディオデータＲinを遅延させるための遅延処理部５２Ｒとを備えている。Ｌチャンネルの入力オーディオデータＬinは２分岐されて、一方は加算部５３に入力され、他方は遅延処理部５２Ｌに入力される。Ｒチャンネルの入力オーディオデータＲinもまた２分岐されて、一方が加算部５３に入力され、他方が遅延処理部５２Ｒに入力されるようになっている。加算部５３から出力されたモノラルの入力オーディオデータは２分岐されて、それぞれ、たたみ込み処理部５１Ｌ１，５１Ｒ１に入力されるようになっている。たたみ込み処理部５１Ｌ１，５１Ｒ１には、それぞれ、リバーブデータＲＤi およびリバーブ時間調整データ５６が供給され、これらのデータに基づき、モノラルの入力オーディオデータに対するリバーブ処理が行われるようになっている。
【０１０２】
たたみ込み処理部５１Ｌ１から出力された効果音データＷＬは、乗算部５４Ｌ１に入力され、ここでウェット成分調整データ５７Ｌが乗ぜられる。たたみ込み処理部５１Ｒ１から出力された効果音データＷＲは、乗算部５４Ｒ１に入力され、ここでドライ成分調整データ５７Ｒが乗ぜられるようになっている。
【０１０３】
遅延処理部５２Ｌから出力された原音データＤＬは、乗算部５４Ｌ２に入力され、ここでＬチャンネル用のドライ成分調整データ５８Ｌが乗ぜられる。遅延処理部５２Ｒから出力された原音データＤＲは、乗算部５４Ｒ２に入力され、ここでＲチャンネル用のドライ成分調整データ５８Ｒが乗ぜられる。
【０１０４】
乗算部５４Ｌ１，５４Ｌ２の各出力は、加算部５３Ｌ２で加算され、これにより、Ｌチャンネルの原音と効果音とが所定の比率で混合された出力オーディオデータＬout が生成され、出力されるようになっている。乗算部５４Ｒ１，５４Ｒ２の各出力は、加算部５３Ｒ２で加算され、これにより、Ｒチャンネルの原音と効果音とが所定の比率で混合された出力オーディオデータＲout が生成され、出力されるようになっている。
【０１０５】
その他の構成は上記第１の実施の形態と同様である。
【０１０６】
上記第１の実施の形態では、ＬおよびＲチャンネルの入力オーディオデータＬin，Ｒinに対して、４つのたたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２によってたたみ込み処理を行うようにしている。これに対し、本変形例では、Ｌチャンネルの入力オーディオデータＬinとＲチャンネルの入力オーディオデータＲinとを、一旦、加算部５３によってモノラルの入力オーディオデータに合成し、このモノラルの入力オーディオデータに対して、２つのたたみ込み処理部５１Ｌ１，５１Ｒ１によってたたみ込み処理を行うようにしている。このため、これをソフトウェアで実行するＣＰＵ１１への負担が軽減されるという利点がある。したがって、さほど高速でないマイクロプロセッサであっても実現可能である。
【０１０７】
〈変形例１−２〉
本変形例の音響処理装置は、図５のリバーブモジュールＲＥＶに代えて、図１１に示したようなモノラル入力／４チャンネル出力（サラウンド出力）の機能を有するリバーブモジュールＲＥＶ−Ｂを用いるようにしたものである。その他の構成は上記第１の実施の形態と同様である。
【０１０８】
図１１に示したように、本変形例に係るリバーブモジュールＲＥＶ−Ｂは、上記〈変形例１−１〉のリバーブモジュールＲＥＶ−Ａ（図１０）に、たたみ込み処理部５１Ｌ２，５１Ｒ２と、加算部５４Ｌ３，５４Ｒ３とを追加したものである。本変形例では、加算部５３の出力を４分岐し、そのうちの２つをたたみ込み処理部５１Ｌ１，５１Ｒ１に入力し、他の２つをたたみ込み処理部５１Ｌ２，５１Ｒ２に入力するようにしている。
【０１０９】
たたみ込み処理部５１Ｌ２の出力ＷＬＲは、加算部５４Ｌ３に入力され、ここで、Ｌチャンネル用のドライ成分調整データ５９Ｌが乗ぜられて、リアＬチャンネルの出力オーディオデータＬout （Ｒ）が生成される。たたみ込み処理部５１Ｒ２の出力ＷＲＲは、加算部５４Ｒ３に入力され、ここで、Ｒチャンネル用のドライ成分調整データ５９Ｒが乗ぜられて、リアＲチャンネルの出力オーディオデータＲout （Ｒ）が生成される。これらの出力オーディオデータＬout （Ｒ），Ｒout （Ｒ）は、それスピーカ２Ｃ，２Ｄ（図１，図３）に出力される。
【０１１０】
一方、加算部５３Ｌ２，５３Ｒ２の各出力は、それぞれ、フロントＬチャンネルの出力オーディオデータＬout （Ｆ）およびフロントＲチャンネルの出力オーディオデータＲout （Ｆ）として、それぞれ、スピーカ２Ａ，２Ｂ（図１，図３）に出力される。
【０１１１】
このようにして、本変形例では、モノラル入力に対するたたみ込み処理を行うことにより、４チャンネルの出力が得られ、サラウンドモードでの聴取が可能になるので、ユーザは、図１０の場合よりも一層豊かな臨場感を享受することができる。なお、本変形例の音響処理装置は、サラウンド対応のオーディオ機器を所有しているユーザにとって特に利用価値が高い。一般に、ステレオ録音されたＣＤは多く出回っているが、サラウンド対応で録音されたＣＤは少ないという現実があるからである。すなわち、高価なサラウンド対応オーディオ機器を折角所有しながら、サラウンド対応の音楽ソフトの流通量が寡少であることによって、そのような高価な機器を十分に生かしきれていないユーザにとって、ステレオ録音ＣＤを用いてサラウンドオーディオを聞くことができるのは願ってもない福音だからである。
【０１１２】
なお、音響空間が、例えば音楽スタジオのような空間の場合には、残響時間が比較的短いので、そこで得られたリバーブデータＲＤi については３秒程度のたたみ込みで十分である。このような短い残響音の空間においては、モノラル入力に対してたたみ込み処理を行うよりも、ステレオ入力に対してたたみ込み処理を行うようにした方が、特に前方での定位がはっきりする。すなわち、ユーザの前方位置にはっきりした音像ができる。３秒のたたみ込み処理は６秒のたたみ込み処理に比べて半分の時間で行うことができるので、少なくとも前方についてはステレオ入力／ステレオ出力とするのが好ましい。
【０１１３】
さらに、バーチャルサウンド処理をすれば、２本のスピーカのみを用いて出力した場合や、ヘッドホーンを用いた場合でも、リアルな響きに包まれるような臨場感のある効果を期待することができる。
【０１１４】
《第２の実施の形態》
次に、本発明の第２の実施の形態に係る音響処理装置について説明する。
【０１１５】
上記第１の実施の形態において説明したように、リバーブモジュールＲＥＶのたたみ込み処理部５１Ｌ１（図５）では、バッファ処理ブロック６１（図６）において、必要な残響時間に対応する分の入力オーディオデータＬinを、一旦メモリ（図２のＲＡＭ１２）に所定量蓄積したのちに読み出して、この読み出したデータにたたみ込み処理を行うようになっているため、効果音データ（ウェット音）ＷＬには所定の時間遅延τが生ずる。そこで、この効果音データ（ウェット音）ＷＬの遅延量に相当する時間を、遅延処理部５２Ｌ（図５）によって原音（ドライ音）データＤＬにも与え、効果音とドライ音との間のマッチング（曲ずれ防止）を図っている。したがって、第１の実施の形態においては、ユーザが楽曲再生開始の操作を行ってから最初の音が出力されるまでに比較的長い時間（例えば数秒）がかかり、ユーザにとっては曲頭の無音期間が異常に長く感じられる結果、視聴時の快適さが損われる。
【０１１６】
本実施の形態は、この点に改善を加えたもので、曲頭の長い無音期間をなくすように構成したものである。以下、図１２〜図１４を参照して、本実施の形態を詳細に説明する。
【０１１７】
図１２は、本実施の形態の音響処理装置におけるリバーブモジュールＲＥＶ−Ｃの構成を表すもので、上記第１の実施の形態のリバーブモジュールＲＥＶ（図５）に代わるものである。
【０１１８】
このリバーブモジュールＲＥＶ−Ｃは、上記第１の実施の形態のリバーブモジュールＲＥＶ（図５）から遅延処理部５２Ｌ，５２Ｒを除いた構成となっている。したがって、入力オーディオデータＬinは、遅延されることなく、Ｌチャンネルの原音データである入力オーディオデータＬin（Ｔ０）として加算部５４Ｌ２に入力され、入力オーディオデータＲinは、遅延されることなく、Ｒチャンネルの原音データである入力オーディオデータＲin（Ｔ０）として加算部５４Ｒ２に入力されるようになっている。
【０１１９】
本実施の形態の音響処理装置では、入力オーディオデータＬin，Ｒinは、音楽ＣＤ１６ＡからリバーブモジュールＲＥＶ−Ｃに直接入力されるのではなく、一旦、「記録再生手段」としてのＨＤＤ１４に書き込まれたのちに、所定のタイミングで読み出され、リバーブモジュールＲＥＶ−Ｃに供給されるようになっている。なお、上記した「所定のタイミング」については後述する。
【０１２０】
本実施の形態に係る音響処理装置における上記以外の構成は、第１の実施の形態の場合（図１〜図４，図６）と同様である。また、処理の概要については、音楽ＣＤ１６ＡとリバーブモジュールＲＥＶ−Ｃとの間にＨＤＤ１４（図２）が配置されている点、および、リバーブモジュールＲＥＶ−Ｃに入力オーディオデータＬin，Ｒinが供給されるタイミング（後述）が異なる点を除き、上記第１の実施の形態（図３）と同様である。
【０１２１】
次に、本実施の形態の音響処理装置の動作を説明する。
【０１２２】
図１３は、ユーザＵ（図１）が音響処理装置１を用いて音響処理を行う場合の操作を含めた全体の流れを表し、図１４は、リバーブモジュールＲＥＶ−Ｃ（図３，図１２参照）における音響処理のタイミングを表すものである。なお、図１３に示した処理のうち、ステップＳ２０１〜Ｓ２０５については、第１の実施の形態の場合（図７）と同様であるので、説明を省略する。
【０１２３】
図１３のステップＳ２０５において、画像再生モジュールＲＥＰ（図３）は、リンク制御モジュールＬＣからの指示に基づいて画像再生を開始するが、これと同時に、リバーブモジュールＲＥＶは、リンク制御モジュールＬＣからの指示に基づいて、選択された楽曲についての原音（ドライ音）再生とリバーブ処理とを同時に開始する（ステップＳ２０６）。
【０１２４】
具体的には、図１２に示したように、まず、音楽ＣＤ１６Ａからオーディオデータ７Ａを入力オーディオデータＬin，ＲinとしてＨＤＤ１４に一旦書き込んだのち、Ｌチャンネルの入力オーディオデータＬinを２つの互いに異なるタイミング（図１４の時刻Ｔ０，Ｔ１）で読み出すと共に、Ｒチャンネルの入力オーディオデータＲinを２つの互いに異なるタイミング（時刻Ｔ０，Ｔ１）で読み出し、これらの４つのデータをリバーブモジュールＲＥＶ−Ｃに入力する。より具体的には、タイミングＴ０において、曲頭から入力オーディオデータＬin，Ｒinを読み出し、これらをそれぞれ入力オーディオデータＬin（Ｔ０），Ｒin（Ｔ０）として、加算部５４Ｌ２，５４Ｒ２（図１２）に入力する。一方、タイミングＴ１では、曲頭から時間τだけ進んだ位置から入力オーディオデータＬin，Ｒinを読み出し、この読み出した入力オーディオデータＬin（Ｔ１）をたたみ込み処理部５１Ｌ１，５１Ｌ２に入力し、読み出した入力オーディオデータＲin（Ｔ１）をたたみ込み処理部５１Ｒ１，５１Ｒ２に入力する。
【０１２５】
ここで、Ｔ０，Ｔ１は、Ｔ１−Ｔ０＝τを満たすように設定される。なお、τは、図８におけるτと同じものであり、たたみ込み処理部５１Ｌ１において生ずる遅延時間である。
【０１２６】
時刻Ｔ０からＴ１までの期間τにおいては、たたみ込み処理部５１Ｌ１等から加算部５４Ｌ２，５４Ｒ２への入力はないので、その間、原音である入力オーディオデータＬin（Ｔ０），Ｒin（Ｔ０）がそのまま出力される。
【０１２７】
一方、たたみ込み処理部５１Ｌ１，５１Ｌ２およびたたみ込み処理部５１Ｒ１，５１Ｒ２は、時刻Ｔ０において、入力オーディオデータＬin（Ｔ１），Ｒin （Ｔ１）に対して、その曲頭より時間τだけ進んだ位置から、リバーブデータＲＤi によるたたみ込み処理を開始する。そして、この開始時点から所定の時間τが経過した時刻Ｔ１において、効果音（ウェット音）の出力を開始する。これ以降、原音（ドライ音）に効果音（ウェット音）が重畳した音響処理音が出力される（ステップＳ２０７）。
【０１２８】
このようにして、時刻Ｔ０からＴ１までの期間は原音がそのまま出力され、時刻Ｔ１以降は、原音に効果音が重畳された音響処理音が出力される。これらの原音および音響処理音は、各チャンネルごとにオーディオアンプ４Ａ，４Ｂ（図１）によって増幅されたのち、スピーカ２Ａ，２Ｂ（図１，図３）から出力され、ユーザＵによって聴取される。
【０１２９】
次に、図１４を参照して、図１２に示したリバーブモジュールＲＥＶ−Ｃにおけるデータ処理のタイミングを説明する。この図の（Ａ）は、リバーブモジュールＲＥＶ−Ｃに原音（ドライ音＝入力オーディオデータＬin（Ｔ０）, Ｒin（Ｔ０））が入力されるタイミングを表す。（Ｂ）は、リバーブモジュールＲＥＶ−Ｃのたたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２におけるたたみ込み処理のタイミングを表し、（Ｃ）は、たたみ込み処理部５１Ｌ１，５１Ｌ２，５１Ｒ１，５１Ｒ２の出力タイミングを表す。（Ｄ）は、加算部５３Ｌ２，５３Ｒ２の出力タイミング、すなわち、リバーブモジュールＲＥＶ−Ｃから最終的に音響処理音（ドライ音＋ウェット音）が出力されるタイミングを表す。なお、図１４では、図８と同様に、加算部５３Ｌ１，５３Ｒ１，５３Ｌ２，５３Ｒ２、および乗算部５４Ｌ１，５４Ｌ２，５４Ｒ１，５４Ｒ２における演算時間を無視して描いている。
【０１３０】
図１４に示したように、本実施の形態では、時刻Ｔ０において、原音の曲頭より時間τだけ進んだ位置からたたみ込み処理部５１Ｌ１等によってたたみ込み処理が開始される（図１４（Ａ））と同時に、原音の出力が開始される（同図（Ｂ））。たたみ込み処理部は、時刻Ｔ０より時間τだけ遅れた時刻Ｔ１に効果音の出力を開始する（同図（Ｃ））。これ以降、原音に効果音が重畳した音響処理音が出力される（同図（Ｄ））。
【０１３１】
このように、本実施の形態によれば、リバーブ処理が開始した直後から時間τが経過するまでは原音をそのまま出力し、時間τの経過後以降はドライ音とウェット音とが重畳された音響処理音を出力するようにしたので、上記第１の実施の形態の場合（図８）とは異なり、曲頭からτの時間にわたって無音期間が続くということがない。すなわち、ユーザが再生操作をした直後から楽曲の再生が開始されるので、ユーザにとってあまり違和感がなく、視聴時の快適さが損われることがない。
【０１３２】
なお、本実施の形態では、音楽ＣＤ１６Ａからの出力タイミングと、リバーブモジュールＲＥＶ−Ｃへの入力タイミングとの間の調整を行うための手段としてＨＤＤ１４を利用するようにしたが、これに代えて、例えば図１５に示したように、バッファメモリ１２Ａを利用してタイミング調整を行うようにしてもよい。この場合、バッファメモリ１２Ａは、例えば、ＲＡＭ１２の一部を利用して構成することができる。
【０１３３】
《第３の実施の形態》
上記第１および第２の実施の形態では、収録済の音響データ（原音）に、実在の音楽ホール等の音響空間について予め得られているインパルス応答データ（リバーブデータ）を適用したリバーブ処理を行うことにより、その音があたかもその実在の音響空間で収録されたものであるかのような仮想現実的印象を聴き手 （ユーザ）に与えることができるようにしている。
【０１３４】
しかしながら、ユーザの視聴環境、すなわち、ユーザが実際に音楽を鑑賞する音響空間（例えば、ユーザ宅のオーディオルーム等。以下、ユーザ音響空間という。）は多様であり、音響効果を考慮して作られた広くて本格的なオーディオルームで音楽を楽しむユーザもいれば、ごく狭いリビングルームで音楽を鑑賞するユーザもいる。したがって、折角、仮想現実的な音響処理を施して音響を再生しているにもかかわらず、その効果が十分に発揮されない場合もあり得る。この場合、ユーザは、その実在の音響空間に実際に行って音響を聴いているかのように感じる仮想体験を十分にすることができない。
【０１３５】
本実施の形態は、この点に改善を加えたもので、収録済の音響データ（原音）を再生する際に、実在の音楽ホール等の音響空間について予め得られているインパルス応答データを用いたリバーブ処理（以下、第１のリバーブ処理という。）に加えて、ユーザ音響空間について予め得られているインパルス応答データを用いたリバーブ処理（以下、第２のリバーブ処理という。）をも行うことにより、ユーザ音響空間の音響特性をも加味した、より忠実な音響再生を可能にしたものである。以下、図１６および図１７を参照して、本実施の形態を詳細に説明する。なお、本実施の形態に係る音響処理装置のハードウェア構成は図２に示したものと同様であり、また、この音響処理装置が図１に示したＡＶシステムに適用される点もまた同様である。
【０１３６】
図１６は、本発明の第３の実施の形態に係る音響処理装置のリバーブモジュールＲＥＶ−Ｄ（図３，図５）におけるたたみ込み処理部１５１Ｌ１の構成を表すもので、上記第１の実施の形態のたたみ込み処理部５１Ｌ１（図６）に代わるものである。なお、図１６において、図６に示した構成要素と同一の構成要素には同一の符号を付し、適宜説明を省略する。
【０１３７】
このたたみ込み処理部１５１Ｌ１は、図６に示したたたみ込み処理部５１Ｌ１を構成する各要素に加えて、ユーザリバーブデータＲＤＵが入力されるバッファ処理ブロック６８と、バッファ処理ブロック６８の出力が供給されるＦＦＴ処理ブロック６９と、乗算ブロック６５の出力とＦＦＴ処理ブロック６９の出力とが供給される乗算ブロック７０とを備えている。乗算ブロック７０の出力は、ＩＦＦＴ処理ブロック６６に供給されるようになっている。ユーザリバーブデータＲＤＵは、ユーザ音響空間の音響特性を表すインパルス応答データであり、上記した第２のリバーブ処理に用いられる。このユーザリバーブデータＲＤＵは、後述するリバーブデータ収集装置（図１７）を用いて各ユーザによって予め収集され、例えばＨＤＤ１４に格納される。ここで、ユーザリバーブデータＲＤＵが本発明における「第２のインパルス応答データ」の一具体例に対応する。
【０１３８】
バッファ処理ブロック６８およびＦＦＴ処理ブロック６９の各機能は、バッファ処理ブロック６３およびＦＦＴ処理ブロック６４の各機能と同様である。すなわち、バッファ処理ブロック６８は、ＨＤＤ１４（図２）からユーザリバーブデータＲＤＵを読み出し、これをメモリ（図２；ＲＡＭ１２）に所定量蓄積したのち出力する処理を行う。ＦＦＴ処理ブロック６９は、バッファ処理ブロック６８から出力された時間軸上のオーディオデータを高速フーリエ変換によって周波数軸上のデータに変換する処理を行う。バッファ処理ブロック６８によってメモリに蓄積されるデータ量は、リバーブ時間調整データ５６によって設定可能になっている。
【０１３９】
なお、リバーブモジュールＲＥＶ−ＤにおけるＬチャンネル用の他のたたみ込み処理部は、たたみ込み処理部１５１Ｌ１と同様のブロック構造および機能を有する。また、Ｒチャンネル用の２つのたたみ込み処理部は、入力がＲチャンネルの入力オーディオデータＲinである点を除き、たたみ込み処理部１５１Ｌ１と同様のブロック構造および機能を有する。但し、これらの４つのたたみ込み処理部１５１Ｌ１等で行われる処理は、実際には、ＣＰＵ１１（図２）によって時分割的に実行される処理である。
【０１４０】
本実施の形態に係る音響処理装置における上記以外の構成は、第１の実施の形態の場合（図１〜図４，図６）と同様である。
【０１４１】
次に、図１６を参照して、たたみ込み処理部１５１Ｌ１における処理内容を詳細に説明する。なお、他のたたみ込み処理部１５１Ｌ２，１５１Ｒ１，１５１Ｒ２における処理も同様であるので、その説明を省略する。
【０１４２】
図１６において、バッファ処理ブロック６１、ＦＦＴ処理ブロック６２、バッファ処理ブロック６３、ＦＦＴ処理ブロック６４および乗算ブロック６５は、図６の場合と同様に、Ｌチャンネルの入力オーディオデータＬinに対し、リバーブデータＲＤi を用いてたたみ込み処理を行い、その処理されたデータを乗算ブロック７０に入力する。ここで、リバーブデータＲＤi が本発明における「第１のインパルス応答データ」の一具体例に対応する。
【０１４３】
一方、バッファ処理ブロック６８は、ユーザリバーブデータＲＤＵを一旦蓄積したのち、ＦＦＴ処理ブロック６９に供給する。その際、バッファ処理ブロック６８は、蓄積するユーザリバーブデータＲＤＵの量をリバーブ時間調整データ５６に応じて決定する。この蓄積データ量は、遅延処理部５２Ｌ（図５）での遅延時間τに対応したものである。ＦＦＴ処理ブロック６９は、バッファ処理ブロック６８の出力に対して高速フーリエ変換を行うことにより、時間軸上のデータであるユーザリバーブデータＲＤＵを周波数軸上のデータに変換し、乗算ブロック７０に供給する。
【０１４４】
乗算ブロック７０は、乗算ブロック６５からの出力にＦＦＴ処理ブロック６９からの出力を乗ずるたたみ込み演算を行い、その結果をＩＦＦＴ処理ブロック６６に供給する。このとき、乗算ブロック７０は、互いに周波数成分が一致するデータ同士で乗算を行う。
【０１４５】
ＩＦＦＴ処理ブロック６６は、乗算ブロック７０の出力に対して逆高速フーリエ変換を行うことにより、周波数軸上のデータであるたたみ込み演算の結果を時間軸上のデータに戻して出力する。こうして、Ｌチャンネル用の加算部５３Ｌ１（図５）に供給されるべきデータが生成される。
【０１４６】
それ以降のリバーブモジュールＲＥＶ−Ｄにおける処理は、上記第１の実施の形態のリバーブモジュールＲＥＶにおけるものと同様であり、最終的に、Ｌチャンネルの出力オーディオデータＬout とＲチャンネルの出力オーディオデータＲout が出力される。これらの出力オーディオデータＬout ，Ｒout は、実在の音響空間についてのインパルス応答データを用いて原音に対するたたみ込み処理を行って得られたデータに対して、さらに、ユーザ音響空間についてのインパルス応答データをたたみ込んで得られたデータであるので、これらの出力オーディオデータＬout ，Ｒout に基づく音響（楽曲等）が実際にそのユーザ音響空間で再生出力された際には、そのユーザ音響空間がもつ特有の音響特性が相殺される。その結果、そこでの響きは、実在の音響空間で演奏されたときに得られる響きに、より一層近づき、ユーザは、よりリアルな臨場感を得ることができる。
【０１４７】
次に、第２のリバーブ処理で用いられるユーザリバーブデータＲＤＵ（インパルス応答データ）を収集する方法について説明する。
【０１４８】
図１７は、ユーザリバーブデータＲＤＵを収集するためのリバーブデータ収集装置の概略構成を表すものである。この装置は、ユーザが実際に音楽を鑑賞するユーザ音響空間４５（例えば、ユーザ宅のオーディオルーム等）において得られる残響音をインパルス応答として測定し、収集するためのもので、例えばパーソナルコンピュータを利用して構成される。
【０１４９】
このリバーブデータ収集装置３０は、インパルス応答測定用の信号を発生する機能と、測定対象のユーザ音響空間４５から得られた測定結果を収集して測定結果をインパルス応答データに変換する機能とを備えている。測定対象のユーザ音響空間４５には、音源４０と、１対の音響検出部４１Ｌ，４１Ｒとを配置する。音源４０は、例えば、球面上の互いに異なる１２方向にスピーカが設けられた１２面体スピーカにより構成されており、リバーブデータ収集装置３０から供給されたインパルス応答測定用の信号に応じた音響を発生するようになっている。音響検出部４１Ｌ，４１Ｒは、それぞれ、ＬおよびＲチャンネル用のマイクロフォンで構成されており、音源４０から発せられた音響に応じてそれぞれ検出したＬおよびＲチャンネルのオーディオ信号をリバーブデータ収集装置３０に供給するようになっている。
【０１５０】
リバーブデータ収集装置３０は、測定用信号発生ブロック３１と、Ｄ／Ａ（ディジタル／アナログ）変換ブロック３２と、増幅ブロック３３と、Ａ／Ｄ（アナログ／ディジタル）変換ブロック部３４と、同期加算ブロック３５と、インパルス応答変換部３６とを備えている。
【０１５１】
測定用信号発生ブロック３１は、インパルス応答測定用の信号であるＴＳＰ（タイムストレッチパルス）信号を発生するためのものである。このＴＳＰ信号は、スイープ信号の一種であり、それ自身を逆特性の信号で除することによりインパルス信号が得られる。インパルス応答を測定するためには、直接的にインパルス信号を発生させるのがより好ましいが、測定が困難であるため、このような間接的な方法を用いる。なお、ＴＳＰ信号の発生は、後述するようにＮ回行われる。測定用信号発生ブロック３１から出力されたＴＳＰ信号は、Ｄ／Ａ変換ブロック３２および増幅ブロック３３を介して音源４０に供給されるようになっている。
【０１５２】
同期加算ブロック３５は、Ｎ回分のＴＳＰ信号に対応して音響検出部４１Ｌ，４１Ｒから出力された信号を同期加算するためのものである。同期加算は、例えばＴＳＰ信号の発生タイミングに基づき出力信号を揃えるようにして行われるようになっている。
【０１５３】
インパルス応答変換ブロック３６は、同期加算ブロック３５から供給されたデータを、ＴＳＰ信号の逆特性を有するデータで除することにより、インパルス応答データ（ユーザリバーブデータＲＤＵ）に変換するためのものである。
【０１５４】
次に、このリバーブデータ収集装置３０の動作を説明する。
【０１５５】
測定用信号発生ブロック３１から出力されたＴＳＰ信号３７Ａは、Ｄ／Ａ変換ブロック３２によりアナログ信号に変換され、増幅ブロック３３で増幅されたのち、音源４０に供給される。これにより、音源４０からは、ＴＳＰ信号３７Ａに対応した音響が出力される。音響検出部４１Ｌ，４１Ｒは、音源４０から出力された再生音響に応じたＬおよびＲチャンネルのオーディオ信号３７ＢＬ，３７ＢＲを出力し、リバーブデータ収集装置３０に入力供給する。
【０１５６】
リバーブデータ収集装置３０に入力されたＬおよびＲチャンネルのオーディオ信号３７ＢＬ，３７ＢＲは、Ａ／Ｄ変換ブロック３４で所定のサンプリング周波数（例えば、４８ｋＨｚあるいは９６ｋＨｚ）および量子化ビット数（例えば、２４ビット）でサンプリングされ、ＬおよびＲチャンネルのディジタルオーディオデータ３７ＣＬ，３７ＣＲとなる。なお、一般に、残響時間は、音が止まってから音圧レベルが６０ｄＢ減衰するまでの時間を意味するが、本実施の形態では、量子化ビット数（２４ビット）の各ビットに対して６ｄＢが割り当てられる。
【０１５７】
Ａ／Ｄ変換ブロック３４から出力されたディジタルオーディオデータ３７ＣＬ，３７ＣＲは、同期加算ブロック３５に入力される。同期加算ブロック３５は、入力されたディジタルオーディオデータ３７ＣＬ，３７ＣＲの各々について、ＴＳＰ信号３７Ａの発生回数（Ｎ回）と同数回にわたってそれぞれ同期加算を行う。同期加算は、例えばＴＳＰ信号３７Ａの発生タイミングに基づいて加算対象データ（ディジタルオーディオデータ３７ＣＬ，３７ＣＲ）を揃えるようにして行われる。このように、Ｎ回分のオーディオデータの同期加算を行うことにより、再現性のある信号のみが加算され、ランダムなノイズ成分は加算されないため、Ｓ／Ｎ比が向上する。
【０１５８】
同期加算ブロック３５から出力されたＬおよびＲチャンネルの同期加算データ３７ＤＬ，３７ＤＲは、インパルス応答変換ブロック３６に供給される。インパルス応答変換ブロック３６では、供給された同期加算データ３７ＤＬ，３７ＤＲを、それぞれ、ＴＳＰ信号３７Ａの逆特性を有する信号データで除する演算を行う。これにより、「ＴＳＰ信号３７Ａを予めインパルス信号に変換し、このインパルス信号を音源４０に供給し、音源４０で発生した残響音を収集し、この残響音に基づいてインパルス応答を得た」場合と同等の結果（インパルス応答データ３８Ｌ，３８Ｒ）が得られる。このインパルス応答データ３８Ｌ，３８Ｒは、サンプリング周波数に対応した間隔で得られる波高値である。
【０１５９】
インパルス応答変換ブロック３６から出力されたＬおよびＲチャンネルのインパルス応答データ３８Ｌ，３８Ｒは、ＨＤＤ１４や図示しないＭＯディスク等の記録媒体に記録され、上記したユーザリバーブデータＲＤＵ（図１６）として利用される。
【０１６０】
なお、以上のようなユーザリバーブデータの収集は、音源４０の位置を様々に変えたり、音源４０であるスピーカの種類等を様々に変えて行うようにしてもよい。同様に、音響検出部４１Ｌ，４１Ｒであるマイクロフォンについても、その配設位置や種類等を様々に変えて収集するようにしてもよい。この場合には、１つのユーザ音響空間４５について複数のユーザリバーブデータが収集されることになる。ユーザは、音響を再生させる際のバリエーションとして、これらの複数のユーザリバーブデータの中から任意の一つを選択することができる。
【０１６１】
また、リバーブデータ収集装置３０により得られたインパルス応答データは、必要に応じて適宜加工することができる。通常、オーディオデータには、音の伝搬によるシステムディレイ部分が存在するが、後からの加工処理により、このシステムディレイ部分の値を“０”に固定することにより、この部分のノイズを除去することが可能である。また、データの後半については、データの終端を“０”に収束させるためのフェードアウト処理を施すことで後半の微小レベル信号部分のノイズを除去するようにしてもよい。
【０１６２】
以上説明したように、本実施の形態によれば、収録済の音響データ（原音）を再生する際に、実在の音楽ホール等の音響空間について予め得られているインパルス応答データを用いた第１のリバーブ処理に加えて、ユーザ音響空間４５について予め得られているインパルス応答データを用いた第２のリバーブ処理をも行うようにしたので、ユーザ音響空間４５の音響特性をも加味した音響再生を行うことができる。したがって、ユーザの視聴環境に応じた音響再生が可能となり、上記第１の実施の形態の場合に比べて、忠実性（すなわち、実際に音楽ホール等に赴いて聴取しているかのように感ずるリアリティの度合い）が向上する。
【０１６３】
以上、いくつかの実施の形態および変形例を挙げて本発明の音響処理装置について説明したが、本発明はこれらの実施の形態等に限定されず、種々の変形が可能である。例えば、上記の各実施の形態では、インパルス応答データのたたみ込みをソフトウェアによって行うようにしたが、ハードウェアを用いるようにしてもよい。すなわち、図３に示したアプリケーションプログラム１４Ｐの機能のうち、リバーブモジュールＲＥＶの機能のすべてまたは一部をハードウェアに置き換えるようにしてもよい。さらに、アプリケーションプログラム１４Ｐの機能のうち、画像再生モジュールＲＥＰの機能のすべてまたは一部をハードウェアに置き換えることも可能である。
【０１６４】
また、上記各実施の形態では、４つのスピーカ２Ａ〜２Ｄを用いて再生するようにしたが、もう１つのスピーカを前方の２つのスピーカ２Ａ，２Ｂの間に追加して、５スピーカシステムにしてもよい。これにより、臨場感をさらに高めることができる。
【０１６５】
［音響処理用データの配信方法］
次に、本発明の一実施の形態に係る音響処理用データの配信方法について説明する。この配信方法は、例えば上記各実施の形態の音響処理装置において利用される音響処理用データである処理用コンテンツデータ８Ｃ（図１，図２）を、インターネットを介してユーザに配信して利用に供するための方法である。以下、この配信方法について、これを適用して構築されるビジネスモデルと共に説明する。
【０１６６】
図１８は本実施の形態に係る音響処理用データの配信方法が適用されるネットワークシステムの要部を表すものである。このシステムは、コンテンツ配信事業者１００が運用するサーバシステム１０１と、ユーザ２００が保有するユーザシステム２０１と、コンテンツ提供者３００が運用するコンテンツ提供システム３０１と、これらの各システムに接続された広域通信網としてのインターネット４００とを含んで構成されている。サーバシステム１０１、ユーザシステム２０１およびコンテンツ提供システム３０１は、例えば、一般的なパーソナルコンピュータやワークステーション等のコンピュータを用いて構成される。
【０１６７】
サーバシステム１０１は、第１に、様々な実在の音響空間について提供された処理用コンテンツデータ８Ｃを蓄積するコンテンツソース８（図１）としての機能を有する。より詳細には、サーバシステム１０１は、コンテンツ提供システム３０１からインターネット４００を介して提供されたコンテンツ８３を受信すると共に、受信したコンテンツ８３に含まれるリバーブデータ、画像データおよび付帯データをリンクデータによって相互にリンクさせるデータ加工を行い、その加工結果を処理用コンテンツデータ８Ｃの形で蓄積するようになっている。なお、処理用コンテンツデータ８Ｃは、図１および図２に示したものと同じもので、リバーブデータ（インパルス応答データ）、画像データ、付帯データおよびリンクデータを含む。
【０１６８】
サーバシステム１０１は、第２の機能として、ユーザシステム２０１からの要求に応じて、その要求をしたユーザシステム２０１に処理用コンテンツデータ８Ｃをインターネット４００を介して配信する配信機能を備え、さらに、第３の機能として、処理用コンテンツデータ８Ｃの配信に応じた料金をその配信先のユーザ２００に課金する課金機能を備えている。サーバシステム１０１はさらに、第４の機能として、ユーザシステム２０１に対する処理用コンテンツデータ８Ｃの配信回数に応じた料金を、その処理用コンテンツデータ８Ｃを提供したコンテンツ提供者３００に支払う支払機能を備えている。
【０１６９】
サーバシステム１０１は、上記した第１〜第４の機能を実現するために、後述するように、コンテンツデータベースＤＢ１（図１９）と、コンテンツ管理データベースＤＢ２（図２０）と、ユーザ管理データベースＤＢ３（図２１）とを備えている。
【０１７０】
ユーザシステム２０１は、例えば上記の図２に示した構成を有するもので、収録済の原音に対して実在の音響空間の響きに対応したリバーブデータをたたみ込む音響処理機能と、インターネット４００を介してサーバシステム１０１と通信を行う通信機能とを備えている。その詳細な構成および機能は、上記各実施の形態において説明した通りである。
【０１７１】
コンテンツ提供システム３０１は、リバーブデータ、画像データおよび付帯データを含むコンテンツ８３を少なくとも一時的に保有する保有機能と、保有するコンテンツ８３をインターネット４００を介してサーバシステム１０１に送信する通信機能とを備えている。
【０１７２】
次に、サーバシステム１０１における各データベースについて説明する。
【０１７３】
図１９はコンテンツデータベースＤＢ１の概略構造を表すものである。このデータベースは、コンテンツ提供者３００等から提供されたコンテンツ８３（リバーブデータ、画像データおよび付帯データ）を格納するもので、各コンテンツ８３ごとに、コンテンツ番号が付されている。
【０１７４】
図２０はコンテンツ管理データベースＤＢ２の概略構造を表すものである。このデータベースは、コンテンツデータベースＤＢ１に格納された各コンテンツ８３のコンテンツ番号ごとに、コンテンツ提供者情報と、アップロード情報と、使用権確認フラグと、ダウンロード回数とが対応付けられて構成されている。
【０１７５】
コンテンツ提供者情報は、コンテンツ８３を提供した者の氏名や銀行口座番号等を含む情報である。ここで、銀行口座番号は、後述するように、提供されたコンテンツ８３の利用じきに応じた対価をその提供者に支払う際に必要となるものである。
【０１７６】
アップロード情報は、アップロードライセンスと、アップロード年月日とを含む。アップロードライセンスは、コンテンツ配信事業者１００がコンテンツ提供者３００からコンテンツ８３の提供を受けるに際して、不特定の者からの悪意のアップロード（いわゆるハッキング）を防ぐために、予めコンテンツ配信事業者１００からコンテンツ提供者３００に発行する許可情報である。アップロード年月日は、コンテンツ配信事業者１００がコンテンツ提供者３００から実際にコンテンツ提供を受けたときの日付情報である。
【０１７７】
使用権確認フラグは、コンテンツ提供者３００から提供されたコンテンツ８３が正規のコンテンツ使用許諾を得たものであるか否かを示すフラグ情報であり、「確認済」または「未確認」のいずれかの状態をとる。具体的には、使用権確認フラグは、リバーブデータが得られた音響空間（音楽ホール等）の所有者や管理者等から、その音響空間の名前の使用、そのリバーブデータの使用、およびその音響空間に関わる画像データの使用を許可されていることを示すもので、これが「確認」状態になって初めて、そのコンテンツ８３のダウンロードが可能となる。これにより、その音響空間に関わる権利の無断使用を防止することができる。
【０１７８】
ダウンロード回数は、ある特定のコンテンツ８３がユーザ２００によってどのくらい利用されたかを示すためのもので、実際にダウンロードされた回数を表す。
【０１７９】
図２１はユーザ管理データベースＤＢ３の概略構造を表すものである。このデータベースは、ユーザ識別番号ごとに、ユーザ情報と、利用ライセンス情報と、利用コンテンツ番号とが対応付けられて構成されている。
【０１８０】
ユーザ識別番号は、個々のユーザ２００ごとに付された識別情報である。ユーザ情報は、ユーザの氏名やクレジットカード番号等を含む個人情報である。ここで、クレジットカード番号は、そのコンテンツ８３の利用に対する対価についての課金処理に用いられる。
【０１８１】
利用ライセンス情報は、ユーザ２００によってダウンロードされた鍵付きのコンテンツ８３の鍵を外して利用可能な状態にするために用いられるもので、例えば、ユーザ２００のクレジットカード番号とコンテンツの内容の一部とを用いて作成される。
【０１８２】
利用コンテンツ番号は、ユーザ２００によってダウンロードされ利用可能になったコンテンツ８３についてのコンテンツ番号を示す。
【０１８３】
次に、図２２および図２３を参照して、以上のような構成のネットワークシステムにおける処理内容を説明する。図２２は、コンテンツ提供システム３０１とサーバシステム１０１との間で行われる処理、およびそれぞれにおける処理を表すものである。図２３は、ユーザシステム２０１とサーバシステム１０１との間で行われる処理、およびそれぞれにおける処理を表すものである。
【０１８４】
まず、図１８および図２２を参照して、コンテンツ提供者３００がコンテンツ提供システム３０１からサーバシステム１０１にコンテンツ８３をアップロードして登録する場合の処理を説明する。
【０１８５】
コンテンツ提供者３００のコンテンツ提供システム３０１には、予め取得したコンテンツ８３が格納されているものとする。コンテンツ提供者３００は、取得したコンテンツ８３をコンテンツ配信事業者１００に提供するに際し、まず、コンテンツ提供システム３０１からウェブ上のサーバシステム１０１にアクセスし、サーバシステム１０１からコンテンツ登録画面（図示せず）の送信を受ける（ステップＳ３０１）。次に、コンテンツ提供者３００は、ウェブ上のコンテンツ登録画面（図示せず）から、自己の氏名や、コンテンツ提供の対価の振込を希望する銀行口座番号等の個人情報を含むアップロード申込情報８１（図１８）を入力し、送信する（ステップＳ３０２）。
【０１８６】
サーバシステム１０１は、コンテンツ提供システム３０１からアップロード申込情報８１が送られてくると、そのコンテンツ提供者３００のコンテンツ提供システム３０１に対し、コンテンツ８３のアップロードを許可するアップロードライセンス情報８２（図１８）を送信する（ステップＳ３０３）。アップロードライセンス情報８２は、例えば、コンテンツ提供者３００がアップロード申込時に送信した個人情報（例えば、アップロード申込情報８１のうちの口座番号等）を用いて生成するのが好ましい。ここで、アップロードライセンス情報８２が本発明における「第２の認証情報」の一具体例に対応する。
【０１８７】
コンテンツ提供システム３０１は、サーバシステム１０１からアップロードライセンス情報８２を受信する（ステップＳ３０４）。これにより、コンテンツ提供者３００は、アップロードライセンス情報８２を取得する。
【０１８８】
ここで、コンテンツ提供者３００が、コンテンツ提供システム３０１からサーバシステム１０１に対してコンテンツ８３のアップロードを要求すると、サーバシステム１０１は、コンテンツアップロード画面（図示せず）をコンテンツ提供システム３０１に送信する（ステップＳ３０５）。このコンテンツアップロード画面において、取得したアップロードライセンス情報８２を入力すると（ステップＳ３０６）、コンテンツ提供システム３０１は、コンテンツアップロード可能状態に移行する（ステップＳ３０７）。これにより、コンテンツ提供者３００は、コンテンツ８３を送信することができる（ステップＳ３０８）。
【０１８９】
サーバシステム１０１は、コンテンツ８３を受信し（ステップＳ３０９）、その受信したコンテンツ８３に含まれるリバーブデータ、画像データおよび付帯データを相互にリンクさせるリンクデータを作成し、これらをひとまとまりのコンテンツデータとしてコンテンツ番号を付してコンテンツデータベースＤＢ１（図１９）に記録する。さらに、サーバシステム１０１は、コンテンツ提供者３００に関わるコンテンツ提供者情報と、アップロードライセンスやアップロード年月日等を含むアップロード情報とをコンテンツ管理データベースＤＢ２（図２０）に記録する（ステップＳ３１０）。但し、この段階では、コンテンツ管理データベースＤＢ２における、そのコンテンツに関する使用権確認フラグ（図２０）は、まだ「未確認」となっている。
【０１９０】
次に、コンテンツ提供者３００は、コンテンツ配信事業者１００に対し、電子メールまたはファクシミリあるいは文書等を用いて、使用権の存在を示す使用権証明書を提供する。この証明書は、リバーブデータが得られた音響空間（音楽ホール等）の所有者や管理者等から、その音響空間の名前の使用、そのリバーブデータの使用、およびその音響空間に関わる画像データの使用を許可されていることを示すものである。
【０１９１】
コンテンツ配信事業者１００は、コンテンツ提供者３００から使用権証明書を受けると、サーバシステム１０１のコンテンツ管理データベースＤＢ２における該当コンテンツ番号についての使用権確認フラグを「確認済」に変更する。これにより、コンテンツ提供に対する対価支払処理に必要なコンテンツ登録手続のすべてが完了し、これ以降、ユーザへのコンテンツ提供（ダウンロード）が可能となる。
【０１９２】
次に、図１８および図２３を参照して、ユーザシステム２０１がサーバシステム１０１からコンテンツをダウンロードして利用する場合の処理を説明する。なお、ユーザシステム２０１には、予め、音響処理用プログラム（図１および図２のリバーブアプリケーションプログラム１４Ｐ）がインストールされているものとする。この音響処理用プログラムは、後述するロック解除情報を生成する機能を有するものとする。
【０１９３】
ユーザ２００は、ユーザシステム２０１からサーバシステム１０１にアクセスし、サーバシステム１０１からコンテンツダウンロード画面の送信を受ける（ステップＳ４０１）。ユーザ２００がコンテンツダウンロード画面において所望のコンテンツデータの番号を選択すると（ステップＳ４０２）、サーバシステム１０１は、コンテンツデータベースＤＢ１から、その選択された番号の処理用コンテンツデータ８Ｃを読み出し、ユーザシステム２０１に送信する（ステップＳ４０３）。
【０１９４】
ユーザ２００は、サーバシステム１０１からユーザシステム２０１にダウンロードされたコンテンツデータを用いて所定の期間または回数だけ試視聴を行うこと（すなわち、例えば自分の持っている楽曲に、ダウンロードしたコンテンツデータを適用することにより、音響効果と画像を確認すること）ができる（ステップＳ４０４）。なお、この試視聴機能は、予めアプリケーションプログラム１４Ｐが備えている機能である。
【０１９５】
ユーザ２００は、そのダウンロードしたコンテンツデータの購入を希望するときは（ステップＳ４０５；Ｙ）、購入申込画面を開いて自己の氏名、クレジットカード番号および購入を希望するコンテンツのコンテンツ番号等を含む購入申込情報８４（図１８）を入力し、これをサーバシステム１０１に送信する（ステップＳ４０６）。
【０１９６】
サーバシステム１０１は、ユーザシステム２０１から購入申込情報８４が送られてくると、この購入申込情報８４を基に利用ライセンス情報８５（図１８）を生成し、これをユーザシステム２０１に送信する（ステップＳ４０７）。利用ライセンス情報８５の生成は、例えば、購入申込情報８４から抽出したクレジットカード番号と、購入対象コンテンツデータの中のリバーブデータの一部（例えば、先頭よりｍバイト目からｎバイト目までのデータ（ｍ，ｎは整数））とを用いて行うのが好ましい。ここで、利用ライセンス情報８５が本発明における「第１の認証情報」の一具体例に対応する。クレジットカード番号が本発明における 「ユーザ個人情報」の一具体例に対応し、購入対象コンテンツデータ中のリバーブデータの一部が本発明における「データ固有情報」の一具体例に対応する。
【０１９７】
利用ライセンス情報８５の生成にクレジットカード番号を用いるようにしている理由は次の通りである。すなわち、一般に、ユーザにとってクレジットカード番号は非常に重要な情報であり、これを気軽に他人に教えることは殆ど考えられない。したがって、後述するように、このクレジットカード番号を入力しない限り、ダウンロードしたコンテンツの利用ができないようにしておけば、第３者による無断コピーによるコンテンツの使用を排除することができるのである。
【０１９８】
また、利用ライセンス情報８５の生成に購入対象コンテンツデータ中のリバーブデータの一部を用いるようにしているのは、あるコンテンツについてのみ利用ライセンスを受けたユーザが、試視聴のためにダウンロードした他のコンテンツを自由に利用することを不可能にするためである。
【０１９９】
サーバシステム１０１はさらに、購入申込情報８４から抽出したユーザの氏名、クレジットカード番号および購入対象コンテンツのコンテンツ番号、ならびに、これらから生成した利用ライセンス情報８５をユーザ管理データベースＤＢ３（図２１）に登録する（ステップＳ４０８）と共に、コンテンツ管理データベースＤＢ２の利用回数を１つカウントアップする。これにより、ユーザ２００によるコンテンツ利用に対する課金処理に必要なユーザ登録処理が完了すると共に、コンテンツ提供の対価に関するコンテンツ提供者３００への支払いに必要なデータエントリ処理が完了する。
【０２００】
ユーザシステム２０１は、サーバシステム１０１から送られてきた利用ライセンス情報８５を受信すると（ステップＳ４０９）、この利用ライセンス情報８５をメモリ（例えば図２のＲＡＭ１２）に記憶する。これにより、ユーザ２００による処理用コンテンツデータ８Ｃの購入処理が完了する。
【０２０１】
ここで、ユーザ２００が、ユーザシステム２０１においてリバーブアプリケーションプログラム１４Ｐを起動し、利用するコンテンツ８３の番号を指定した上で、キー番号としてクレジットカード番号を入力する（ステップＳ４１０；Ｙ）。すると、リバーブアプリケーションプログラム１４Ｐは、その入力されたキー番号（クレジットカード番号）と、その指定されたコンテンツ８３の中のリバーブデータの一部とに基づいて、ロック解除情報を生成し、これを、既にサーバシステム１０１から取得し記憶している利用ライセンス情報８５と照合する（ステップＳ４１１）。この結果、両者が一致したときは（ステップＳ４１２；Ｙ）、リバーブアプリケーションプログラム１４Ｐが楽曲再生可能状態へと移行する（ステップＳ４１３）。一方、一致しないときは、処理用コンテンツデータ８Ｃを用いた楽曲再生は禁止され、「キー番号または指定したコンテンツ番号が違っています」等のメッセージが表示される。なお、キー番号としてのクレジットカード番号が入力されたのち、これを暗号化しておけば、簡単にクレジットカード番号を盗まれるおそれがないので、ユーザ２００にとっては安心である。
【０２０２】
このようにして、サーバシステム１０１は、ユーザ２００が処理用コンテンツデータ８Ｃを購入するごとに、ユーザ管理データベースＤＢ３へのユーザ登録（課金処理）を行う。コンテンツ配信事業者１００は、購入処理が行われる都度、あるいは定期的にユーザ管理データベースＤＢ３を参照して、購入したユーザ２００に対して料金請求手続きを行うことにより、コンテンツ利用に対する対価の支払いをユーザ２００から受けることとなる。なお、サーバシステム１０１に請求処理用のソフトウェアをインストールしておき、ユーザ２００に対する請求処理を自動的に行うようにすることも可能である。
【０２０３】
また、サーバシステム１０１は、処理用コンテンツデータ８Ｃが利用（購入）されるごとに、コンテンツ管理データベースＤＢ２の利用回数をカウントアップする。コンテンツ配信事業者１００は、例えば一定期間（例えば１カ月）ごとに利用回数をチェックし、その利用回数に応じた対価の支払いをコンテンツ提供者３００に対して行うこととなる。なお、サーバシステム１０１に支払い処理用のソフトウェアをインストールしておき、コンテンツ提供者３００に対する対価の支払い処理を自動的に行うようにすることも可能である。
【０２０４】
以上のように、本実施の形態に係る音響処理用データの配信方法によれば、インターネットを通じて、世界中から広く、リバーブデータや画像データ等を含むコンテンツを収集することを容易に実現することができる。また、世界中のユーザに対して様々なコンテンツを提供することを容易に実現することができる。このため、ユーザは自宅に居ながらにして、世界中の著名な音楽ホール等へ実際に行って音楽を聴いているかのような仮想体験を得ることが可能になる。
【０２０５】
また、コンテンツ配信事業者にとっては、多くのユーザにコンテンツを配信することにより、配信回数に応じた利益を得ることができる。この場合、コンテンツの種類や内容等に応じて配信料金の額を適宜設定することが可能である。また、サーバシステム１０１を用いて、コンテンツの収集と配信とを自動的に管理するようにしたことにより、これらの一連の複雑な処理を自動的に行うことができ、極めて効率よくコンテンツ配信事業を運営することができる。
【０２０６】
さらに、コンテンツ提供者にとっては、貴重なあるいは人気のあるコンテンツを探して、これをコンテンツ配信事業者に提供することにより、ユーザによる購入の回数（利用回数）に応じた利益を得ることができる。
【０２０７】
また、コンテンツ提供者からコンテンツ配信事業者にコンテンツを提供するに際して、アップロードライセンス情報の入力を要求するようにしたので、不特定の者からの悪意のアップロード（いわゆるハッキング）を防ぐことができる。
【０２０８】
以上、実施の形態を挙げて本発明に係る音響処理用データの配信方法を説明したが、本発明はこの実施の形態に限定されず、以下に列挙するように、種々の変形が可能である。
【０２０９】
上記実施の形態では、配信する対象の音響処理用データが、リバーブデータのほかに、画像データおよび付帯データ、ならびにこれらをリンクさせるためのリンクデータを含むものとして説明したが、これには限定されない。例えば、画像データを含まずに、リバーブデータ、付帯データおよびリンクデータからなるようにしてもよい。あるいは、リバーブデータだけを含むようにしてもよい。
【０２１０】
上記実施の形態では、利用ライセンス情報およびこれと照合されるロック解除情報を生成する際に、クレジットカード番号のほかに、リバーブデータの一部を用いるようにしたが、これには限定されない。リバーブデータ、画像データおよび付帯データのうちの少なくとも１つを用いて生成するようにしてもよい。その際の各データの用い方については、単にそれぞれのデータの一部を抽出してそのまま用いるのではなく、各データに基づいて所定の演算を行って得られる演算結果データを用いるようにしてもよい。
【０２１１】
コンテンツデータをダウンロードして利用するユーザは、一般家庭の個人であってもよいが、カラオケハウスやゲームセンター等の娯楽施設に来店したユーザであってもよい。この場合には、これらの娯楽施設に来店した客からのオプション料金の支払いを条件として、その客がコンテンツをダウンロードして利用できるようにすればよい。
【０２１２】
コンテンツ配信事業者１００が運営するサーバシステム１０１は、リバーブデータおよび画像データ等を主とするコンテンツデータを配信するための専門サイトであってもよいが、一般的な音楽配信サイトであってもよい。この場合には、例えば、配信楽曲を選択するためのウェブ画面上に音響効果体験ボタンを設けて、これをクリックするだけでリバーブ効果を体験できるようにしておき、この画面から購入もできるようにすればよい。
【０２１３】
【発明の効果】
以上説明したように、請求項１ないし請求項７のいずれかに記載の音響処理装置によれば、原音に実在する音響空間の響きに対応したインパルス応答データをたたみ込むことにより生成した効果音を原音に重畳して音響処理音を生成し、この音響処理音を画像再生手段からの再生画像の出力に合わせて出力するようにしたので、聴き手は、実際にその音響空間で音響を聴いているかのような音響的な臨場感と視覚的な臨場感とを得ることができる。
また、原音にインパルス応答データをたたみ込む際に生じた遅延時間を差し引いた箇所（遅延分をオフセットした位置）から原音に対するたたみ込み処理を開始し、音響処理開始が指示された時点から遅延時間の経過時点までの間は原音をそのまま外部に出力する一方、遅延時間の経過時点以降は原音と効果音とを重畳させて生成した音響処理音を出力するようにしたので、聴き手は、遅延時間に相当する当初の期間は原音を、その後は音響処理音を聴くことになる。このため、たたみ込み処理による遅延に起因する再生開始直後の無音期間がなくなり、聴き手が違和感を覚えたりイライラすることがない。
【０２１４】
特に、請求項２に記載の音響処理装置によれば、少なくともたたみ込み手段をソフトウェアにより構成するようにしたので、特別なハードウェア機器を用いなくても、音響処理を行うことができる。例えば一般家庭に広く普及しているパーソナルコンピュータにソフトウェアをインストールするだけで、臨場感溢れる仮想視聴体験を手軽に楽しむことができる。
【０２１５】
また、特に、請求項３に記載の音響処理装置によれば、画像再生手段からの再生画像が実在する音響空間と関連したものであるようにしたので、聴き手は、今聴いている音の響きに重ねてその音響空間の情景をイメージとして描きながら音楽を聞くこともできる。このため、聴き手は、あたかも、実際にその音響空間に身を置いてその音響空間を見ながらその曲を聞いているかのように感じられるという疑似的視聴体験を実現することができる。
【０２１６】
また、特に、請求項４に記載の音響処理装置によれば、さらに、生成された音響処理音と画像再生手段からの再生画像とを着脱可能記録媒体に記録する記録手段を備えるようにしたので、一旦作成した画像付き音響処理音のうち、気に入ったものを保存しておくことができる。さらには、お気に入りの画像付き音響処理音を集めた疑似的視聴体験ライブラリを手軽に作成することも可能である。
【０２１８】
また、請求項７に記載の音響処理装置によれば、実在する第１の音響空間の響きに対応して得られた第１のインパルス応答データのみならず、音響処理が施された音の再生出力が行われる予定の実在する第２の音響空間の響きに対応して得られた第２のインパルス応答データをも原音にたたみ込むことにより効果音を生成し、この効果音を原音に重畳して音響処理音を生成するようにしたので、収録空間としての第１の音響空間のみならず、再生空間としての第２の音響空間の音響特性をも加味した音響処理が行われる。このため、視聴する空間の良し悪しに左右されることなく、ほぼ一定の安定した音響特性を保った臨場感を聴き手に与えることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る音響処理装置を用いて構成したオーディオビジュアルシステムの概略構成を表すブロック図である。
【図２】図１における音響処理装置のハードウェア構成の概略を表すブロック図である。
【図３】図１における音響処理装置の機能構成の要部を表すブロック図である。
【図４】図３におけるリンクファイルの一例を表す図である。
【図５】図３におけるリバーブモジュールの機能構造を表すブロック図である。
【図６】図５におけるたたみ込み処理部の機能構造を表すブロック図である。
【図７】本発明の第１の実施の形態に係る音響処理装置を用いて音響処理を行う場合のユーザ操作を含めた全体の流れを表す流れ図である。
【図８】図５に示したリバーブモジュールにおける音響処理のタイミングを表すタイミング図である。
【図９】インパルス応答データの一例を表す図である。
【図１０】本発明の第１の実施の形態の一変形例に係る音響処理装置におけるリバーブモジュールの機能構造を表すブロック図である。
【図１１】本発明の第１の実施の形態の他の変形例に係る音響処理装置におけるリバーブモジュールの機能構造を表すブロック図である。
【図１２】本発明の第２の実施の形態に係る音響処理装置におけるリバーブモジュールの機能構造を表すブロック図である。
【図１３】本発明の第２の実施の形態に係る音響処理装置を用いて音響処理を行う場合のユーザ操作を含めた全体の流れを表す流れ図である。
【図１４】図１２のリバーブモジュールにおける音響処理のタイミングを表すタイミング図である。
【図１５】本発明の第２の実施の形態の一変形例に係る音響処理装置におけるリバーブモジュールの機能構造を表すブロック図である。
【図１６】本発明の第３の実施の形態に係る音響処理装置におけるリバーブモジュールの機能構造を表すブロック図である。
【図１７】ユーザリバーブデータを収集するためのリバーブデータ収集装置の概略構成を表すブロック図である。
【図１８】本発明の一実施の形態に係る音響処理用データの配信方法が適用されるネットワークシステムの要部を表すシステム構成図である。
【図１９】図１８におけるサーバシステムに設けられたコンテンツデータベースの一例を表す図である。
【図２０】図１８におけるサーバシステムに設けられたコンテンツ管理データベースの一例を表す図である。
【図２１】図１８におけるサーバシステムに設けられたユーザ管理データベースの一例を表す図である。
【図２２】コンテンツ提供システムとサーバシステムとの間で行われる処理、およびこれらのシステムの各々における処理を表す流れ図である。
【図２３】ユーザシステムとサーバシステムとの間で行われる処理、およびこれらのシステムの各々における処理を表す流れ図である。
【符号の説明】
１…音響処理装置、２Ａ〜２Ｄ…スピーカ、３…表示装置、５…記録再生装置、７…オーディオソース、７Ａ…オーディオデータ、８…コンテンツソース、８Ｃ…処理用コンテンツデータ、１１…ＣＰＵ、１２…ＲＡＭ、１３…ＲＯＭ、１４…ハードディスク装置、１４Ｃ…コンテンツライブラリ、１４Ｐ…リバーブアプリケーションプログラム、１６…ＣＤドライブ、１６Ａ…音楽ＣＤ、１６Ｐ…ＣＤ−ＲＯＭ、５１Ｌ１，５１Ｌ２, ５１Ｒ１，５１Ｒ２…たたみ込み処理部、５２Ｌ，５２Ｒ…遅延処理部、６２，６４，６９…ＦＦＴ処理ブロック、６５…たたみ込み演算処理ブロック、６６…ＩＦＦＴ処理ブロック、Ｌi …リンクデータ、ＲＤi …リバーブデータ、ＩＭi …画像データ、ＡＸi …付帯データ、ＲＥＶ…リバーブモジュール、ＬＣ…リンクモジュール、ＲＥＰ…画像再生モジュール、８２…アップロードライセンス情報、８３…コンテンツ、８５…利用ライセンス情報、１０１…サーバシステム、２０１…ユーザシステム、３０１…コンテンツ提供システム、４００…インターネット、ＤＢ１…コンテンツデータベース、ＤＢ２…コンテンツ管理データベース、ＤＢ３…ユーザ管理データベース。
Claims (7)
- 収録済の原音に対して所定の音響処理を施すための装置であって、
前記原音に対して、実在する音響空間の響きに対応したインパルス応答データをたたみ込むことにより、効果音を生成するたたみ込み手段と、
画像を再生して出力する画像再生手段と、
前記画像再生手段からの再生画像の出力に沿って、前記原音と前記たたみ込み手段からの効果音とを重畳させて音響処理音を生成し出力するように前記画像再生手段およびたたみ込み手段を制御する制御手段と
を備え、
前記制御手段は、前記インパルス応答データのたたみ込み処理を行う際に生ずる遅延時間に相当する箇所から前記原音に対するたたみ込み処理を開始するように前記たたみ込み手段の制御を行うと共に、前記音響処理の開始が指示された時点から前記遅延時間の経過時点までの間は前記原音をそのまま外部に出力する外部出力制御を行う一方、前記遅延時間の経過時点以降は前記原音と前記効果音とを重畳させて音響処理音を生成し出力する重畳制御を行う
ことを特徴とする音響処理装置。 - 少なくとも前記たたみ込み手段が、ソフトウェアにより構成されている
ことを特徴とする請求項１に記載の音響処理装置。 - 前記画像再生手段からの再生画像は、前記実在する音響空間と関連したものである
ことを特徴とする請求項１に記載の音響処理装置。 - さらに、前記生成された音響処理音と前記画像再生手段からの再生画像とを着脱可能記録媒体に記録する記録手段を備えた
ことを特徴とする請求項１に記載の音響処理装置。 - 前記原音の全体を記録することが可能な記録媒体を有すると共に、この記録媒体の任意の箇所から前記原音を再生する機能を有する記録再生手段をさらに備え、
前記制御手段は、前記記録再生手段からの原音の再生を制御することにより、前記たたみ込み手段の制御と、前記外部出力制御と、前記重畳制御とを行う
ことを特徴とする請求項１に記載の音響処理装置。 - 前記原音を一時的に蓄積するバッファメモリを備え、
前記制御手段は、前記バッファメモリからの原音の再生を制御することにより、前記たたみ込み手段の制御と、前記外部出力制御と、前記重畳制御とを行う
ことを特徴とする請求項１に記載の音響処理装置。 - 実在する第１の音響空間の響きに対応して得られた第１のインパルス応答データを保持する手段と、
前記音響処理が施された音の再生出力が行われる予定の実在する第２の音響空間の響きに対応して得られた第２のインパルス応答データを保持する手段と
を備え、
前記たたみ込み手段は、前記原音に対して前記第１および第２のインパルス応答データをたたみ込むことにより、前記効果音を生成する
ことを特徴とする請求項１に記載の音響処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002140135A JP4055054B2 (ja) | 2002-05-15 | 2002-05-15 | 音響処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002140135A JP4055054B2 (ja) | 2002-05-15 | 2002-05-15 | 音響処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003330477A JP2003330477A (ja) | 2003-11-19 |
| JP4055054B2 true JP4055054B2 (ja) | 2008-03-05 |
Family
ID=29701088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002140135A Expired - Fee Related JP4055054B2 (ja) | 2002-05-15 | 2002-05-15 | 音響処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4055054B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BRPI0416577A (pt) * | 2003-12-02 | 2007-01-30 | Thomson Licensing | método para codificação e decodificação de respostas a impulso de sinais de áudio |
| US8660280B2 (en) | 2007-11-28 | 2014-02-25 | Qualcomm Incorporated | Methods and apparatus for providing a distinct perceptual location for an audio source within an audio mixture |
| US8515106B2 (en) | 2007-11-28 | 2013-08-20 | Qualcomm Incorporated | Methods and apparatus for providing an interface to a processing engine that utilizes intelligent audio mixing techniques |
| JP6260768B2 (ja) * | 2013-10-17 | 2018-01-17 | カシオ計算機株式会社 | 効果付与装置、効果付与方法およびプログラム |
| WO2019176244A1 (ja) * | 2018-03-15 | 2019-09-19 | ソニー株式会社 | 残響付加装置、残響付加方法及び残響付加プログラム |
| EP4390918A2 (en) * | 2018-06-14 | 2024-06-26 | Magic Leap, Inc. | Reverberation gain normalization |
-
2002
- 2002-05-15 JP JP2002140135A patent/JP4055054B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003330477A (ja) | 2003-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5442607B2 (ja) | 選択可能なパフォーマーにより再生可能なメディア | |
| US7184557B2 (en) | Methods and apparatuses for recording and playing back audio signals | |
| JP6484605B2 (ja) | 複数のオーディオステムからの自動マルチチャネル音楽ミックス | |
| US7725203B2 (en) | Enhancing perceptions of the sensory content of audio and audio-visual media | |
| AU756265B2 (en) | Apparatus and method for presenting sound and image | |
| JP2007043334A (ja) | 音声信号処理方法、音場再現システム | |
| EP2743917B1 (en) | Information system, information reproducing apparatus, information generating method, and storage medium | |
| JP4055054B2 (ja) | 音響処理装置 | |
| US20050047619A1 (en) | Apparatus, method, and program for creating all-around acoustic field | |
| JP4196509B2 (ja) | 音場創出装置 | |
| JP3315333B2 (ja) | カラオケ装置 | |
| JP2021021870A (ja) | コンテンツ収集・配信システム | |
| JPH06110480A (ja) | カラオケ装置 | |
| JP2001216418A (ja) | 音楽データ販売方法、および著作物データ販売方法 | |
| JP2005086537A (ja) | 高臨場音場再現情報送信装置、高臨場音場再現情報送信プログラム、高臨場音場再現情報送信方法および高臨場音場再現情報受信装置、高臨場音場再現情報受信プログラム、高臨場音場再現情報受信方法 | |
| JP2004040450A (ja) | 情報配信システム、情報処理装置および方法、再生装置および方法、記録媒体、並びにプログラム | |
| JP4150580B2 (ja) | 配信システム、再生機器およびコンテンツ再生方法 | |
| JP4642685B2 (ja) | 歌曲録音作品を随所で随時に再生できる通信カラオケシステム、カラオケ装置、方法 | |
| WO2022113394A1 (ja) | ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法 | |
| WO2022113393A1 (ja) | ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法 | |
| JPH07281687A (ja) | 映像カラオケ装置 | |
| Logan | Recording the Classical Guitar: A Documentation and Sound Analysis of Great Classical Guitar Recordings with a Guide for Sonic Emulation | |
| KR20100055662A (ko) | 클라이언트 단말 장치, 공연 감상 서비스 장치, 공연 감상 서비스 시스템 및 그 방법 | |
| JP3671756B2 (ja) | 音場再生装置 | |
| JP5510435B2 (ja) | カラオケ装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050414 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070810 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071003 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071128 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121221 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |