JP2005086537A - 高臨場音場再現情報送信装置、高臨場音場再現情報送信プログラム、高臨場音場再現情報送信方法および高臨場音場再現情報受信装置、高臨場音場再現情報受信プログラム、高臨場音場再現情報受信方法 - Google Patents

Abstract

【課題】 受信側において、収録音と反射音とのバランスがとれた、高臨場感を再現することができる高臨場音場再現情報送信装置、プログラム、方法および高臨場音場再現情報受信装置、プログラム、方法を提供する。
【解決手段】 高臨場音場再現情報送信装置１は、無音響環境で音源から取得された信号であるドライソース音源信号と、当該ドライソース音源信号を受信側の環境に対応させて再現するための情報である音場再現情報とを送信する高臨場音場再現情報送信装置１であって、ドライソース音源信号取得手段５と、ドライソース音源信号送信手段７と、音場再現情報送信手段１１と、を備えた。
【選択図】 図１

Description

本発明は、音声信号を環境に合わせて再生させることにより、高臨場の音場を再現する高臨場音場再現情報送信装置、プログラム、方法および高臨場音場再現情報受信装置、プログラム、方法に関する。

従来、放送番組は、収録現場（収録スタジオ内のセット、ホール、劇場、スタジアム等）に依存した反射音が、別途収録されたり、エフェクターによって生成されたりして、当該放送番組において収録される音（出演者の台詞、司会者の話、音楽等；以下、収録音）に重畳されて放送されている（例えば、特許文献１参照）。

これら収録音と反射音とのバランスが、当該放送番組を収録する際や編集する際にミキサーと呼ばれる技術者によって決定され、これらを受信する受信側（視聴側）において、臨場感が得られるように調整されていた。

特開２０００−３２２０６９号公報（段落００２３〜００２７、図１）

しかしながら、従来の放送番組では、予め、放送番組を制作する制作者（ミキサー等）によってバランスが調整された収録音、反射音しか聞くことができなかったという問題がある。また、放送番組を制作する制作者側では、当該放送番組を受信して視聴（再生）する視聴側のスピーカ等の音声出力装置の数量、配置に配慮して、放送番組を制作していないので、当該視聴者側では、スピーカ等の音声出力装置の数量が適合していなかったり（不足していたり）、配置が適切でないと、十分な臨場感を得ること、つまり、高臨場感を再現することができないという問題がある。

そこで、本発明では、前記した問題を解決し、受信側（視聴者側）において、収録音と反射音とのバランスがとれた、高臨場感を再現することができる高臨場音場再現情報送信装置、高臨場音場再現情報送信プログラム、高臨場音場再現情報送信方法および高臨場音場再現情報受信装置、高臨場音場再現情報受信プログラム、高臨場音場再現情報受信方法を提供することを目的とする。

前記課題を解決するため、請求項１に記載の高臨場音場再現情報送信装置は、音響反射の無い空間で音源から取得された信号であるドライソース音源信号と、当該ドライソース音源信号を受信側の環境に対応させて再現するために反射音を予測した予測空間で前記音源から取得された各種データからなる音場再現情報とを送信する高臨場音場再現情報送信装置であって、ドライソース音源信号取得手段と、ドライソース音源信号送信手段と、音場再現情報送信手段と、を備える構成とした。

かかる構成によれば、高臨場音場再現情報送信装置は、ドライソース音源信号取得手段によって、音源毎にドライソース音源信号を取得する。このドライソース音源信号は、音源毎に専用の集音器（マイクロフォン）等を使用して、個別に取得（収録）されるもの（収録音）である。続いて、この高臨場音場再現情報送信装置は、個別に取得したドライソース音源信号を、ドライソース音源信号送信手段によって、別々に送信する。なお、このドライソース音源信号送信手段では、アナログ回線の伝送周波数帯域を複数の狭い帯域のチャンネルに分割して、この一つのチャンネルに一つのドライソース音源信号を割り当てる周波数分割多重（ＦＤＭ）や、デジタル回線を複数の低速チャンネルに分割して、この一つの低速のチャンネルに一つのドライソース音源信号を割り当てる時分割多重（ＴＤＭ）が採用される。

そして、高臨場音場再現情報送信装置は、音場再現情報送信手段によって、反射音を予測した予測空間で音源から発せられた音が反射した場合の反射成分を予測して生成した反射音データと、この反射音データの遅れ時間を表す反射音遅れ時間データと、ドライソース音源信号の周波数毎のレベルを表す周波数レベルデータと、音源からの到来方向を表す到来方向データとを音場再現情報として送信する。反射音データは、反射成分（予測空間によって増減する数百種類から数千種類の成分）を予測した結果であり、受信側で、ドライソース音源信号に畳み込む素材と言えるものである。反射音遅れ時間データは、ドライソース音源信号と反射音との時間的なずれ（遅れ）を示すものである。周波数レベルデータは、ドライソース音源信号の周波数毎のレベル、例えば、数百Ｈｚの成分のレベル、数千Ｈｚのレベルのことである。到来方向データは、音源から聴取点（聴取者の位置）まで方向（角度）を示すものである。

請求項２に記載の高臨場音場再現情報送信装置は、請求項１に記載の高臨場音場再現情報送信装置において、映像信号送信手段と、空間情報送信手段と、を備えることを特徴とする。

かかる構成によれば、高臨場音場再現情報送信装置は、映像信号送信手段によって、ドライソース音源信号と音場再現情報とに基づいて再現される音場に関連する仮想空間を予め設定した仮想空間映像データとし、受信側に備えられる表示装置に表示させる映像信号として送信し、空間情報送信手段によって、仮想空間における受信側の聴取者の仮想位置を予め設定した空間情報として送信する。仮想空間映像データは、例えば、コンサートホール内をＣＧで描いたものであり、空間情報は、このコンサートホールの任意の点、或いは、コンサートホールを特定の領域（コンサートホールの舞台の正面の席、右側の席、左側の席、後方の席、二階の席）に区分した場所を指すものである。つまり、高臨場音場再現情報送信装置は、映像信号送信手段および空間情報送信手段によって、仮想空間映像データおよび空間情報を送信することにより、受信側の表示装置では、予め設定した仮想空間内で聴取者が仮想位置を変化させることによって、聴取者が聴き取る音響を変化させることができる。

請求項３に記載の高臨場音場再現情報送信装置は、請求項２に記載の高臨場音場再現情報送信装置において、追加仮想空間映像データ送信手段を備えたことを特徴とする。

かかる構成によれば、高臨場音場再現情報送信装置は、追加仮想空間映像データ送信手段によって、仮想空間上の聴取者の仮想位置を示す座標が、予め設定した所定の空間の座標範囲から外れた場合に、受信側からネットワークを介して送信される仮想空間データ要求信号に基づいて、追加分の仮想空間映像データである追加仮想空間映像データを送信する。この追加仮想空間映像データが送信される場合は、例えば、仮想空間映像データがコンサートホール内を描いたものであった場合に、聴取者の仮想位置を示す座標がこのコンサートホールを示す座標範囲から外に出てしまった場合や、仮想空間映像データによって表示装置に表示される映像を極端に変更する場合、例として、草原のシーンから荒野のシーンに変更する場合（シーンチェンジ）である。

請求項４に記載の高臨場音場再現情報送信プログラムは、音響反射の無い空間で音源から取得された信号であるドライソース音源信号と、当該ドライソース音源信号を受信側の環境に対応させて再現するために反射音を予測した予測空間で前記音源から取得された各種データからなる音場再現情報とを送信する装置を、ドライソース音源信号取得手段、ドライソース音源信号送信手段、音場再現情報送信手段、として機能させる構成とした。

かかる構成によれば、高臨場音場再現情報送信プログラムは、ドライソース音源信号取得手段によって、音源毎にドライソース音源信号を取得し、この個別に取得したドライソース音源信号を、ドライソース音源信号送信手段によって、別々に送信する。そして、高臨場音場再現情報送信プログラムは、音場再現情報送信手段によって、反射音を予測した予測空間で音源から発せられた音が反射した場合の反射成分を予測して生成した反射音データと、この反射音データの遅れ時間を表す反射音遅れ時間データと、ドライソース音源信号の周波数毎のレベルを表す周波数レベルデータと、音源からの到来方向を表す到来方向データとを音場再現情報として送信する。

請求項５に記載の高臨場音場再現情報送信方法は、音響反射の無い空間で音源から取得された信号であるドライソース音源信号と、当該ドライソース音源信号を受信側の環境に対応させて再現するために反射音を予測した予測空間で前記音源から取得された各種データからなる音場再現情報とを送信する高臨場音場再現情報送信方法であって、ドライソース音源信号取得ステップと、ドライソース音源信号送信ステップと、音場再現情報送信ステップと、を含む手順とした。

かかる手順によれば、高臨場音場再現情報送信方法は、ドライソース音源信号取得ステップにおいて、音源毎にドライソース音源信号を取得し、この個別に取得したドライソース音源信号を、ドライソース音源信号送信ステップにおいて、別々に送信する。そして、高臨場音場再現情報送信方法は、音場再現情報送信ステップにおいて、反射音を予測した予測空間で音源から発せられた音が反射した場合の反射成分を予測して生成した反射音データと、この反射音データの遅れ時間を表す反射音遅れ時間データと、ドライソース音源信号の周波数毎のレベルを表す周波数レベルデータと、音源からの到来方向を表す到来方向データとを音場再現情報として送信する。

請求項６に記載の高臨場音場再現情報受信装置は、音響反射の無い空間で音源から取得された信号であるドライソース音源信号と、当該ドライソース音源信号を受信側の環境に対応させて再現するために反射音を予測した予測空間で前記音源から取得された各種データからなる音場再現情報とを受信し、複数の音声出力装置によって、高臨場の音場を再現する高臨場音場再現情報受信装置であって、ドライソース音源信号受信手段と、音場再現情報受信手段と、音声出力装置情報蓄積手段と、音声出力制御手段と、を備える構成とした。

かかる構成によれば、高臨場音場再現情報受信装置は、ドライソース音源信号受信手段によって、ドライソース音源信号を受信し、音場再現情報受信手段によって、音場再現情報を受信する。また、この高臨場音場再現情報受信装置は、音声出力装置情報蓄積手段に、音声出力装置の予め設定した配置数を少なくとも含む音声出力装置情報を蓄積している。そして、この高臨場音場再現情報受信装置は、音声出力制御手段によって、ドライソース音源信号と、音場再現情報と、音声出力装置情報とに基づいて、音声出力装置に出力する音声データを制御する。すなわち、この高臨場音場再現情報受信装置は、送信側から別々に送られてきたドライソース音源信号と、反射音を予測した予測空間で音源から発せられた音が反射した場合の反射成分を予測して生成した反射音データと、この反射音データの遅れ時間を表す反射音遅れ時間データと、ドライソース音源信号の周波数毎のレベルを表す周波数レベルデータと、音源からの到来方向を表す到来方向データとからなる音場再現情報と、音声出力装置の数を含む音声出力装置情報とに基づいて、音声出力制御手段により、高い臨場感のある音場が再現される。

請求項７に記載の高臨場音場再現情報受信装置は、請求項６記載の高臨場音場再現情報受信装置において、映像信号受信手段と、空間情報受信手段と、仮想位置操作手段と、を備える構成とした。

かかる構成によれば、高臨場音場再現情報受信装置は、映像信号受信手段によって、ドライソース音源信号と音場再現情報とに基づいて再現される音場に関連する仮想空間が予め送信側にて設定された仮想空間映像データを、表示装置に表示させる映像信号として受信し、空間情報受信手段によって、仮想空間における受信側の聴取者の仮想位置を予め設定した空間情報として受信する。そして、この高臨場音場再現情報受信装置は、仮想位置操作手段によって、仮想空間における聴取者の仮想位置を移動操作する。例えば、仮想空間映像データがコンサートホール内をＣＧで描いたものであり、空間情報によって、聴取者の仮想位置がコンサートホールの客席のほぼ中央に設定されていた場合、仮想位置操作手段によって、このコンサートホールのほぼ中央から任意の方向（例として右側の席）に、聴取者の仮想位置を移動操作することができる。

請求項８に記載の高臨場音場再現情報受信装置は、請求項７に記載の高臨場音源再現情報受信装置において、仮想空間データ要求信号送信手段とを備えることを特徴とする。

かかる構成によれば、高臨場音場再現情報受信装置は、仮想空間データ要求信号送信手段によって、仮想位置操作手段で聴取者の仮想位置を移動操作した結果、当該仮想位置を示す座標が送信側で予め設定された所定の空間の座標範囲から外れた場合に、当該仮想空間を補完するための追加仮想空間映像データを要求する仮想空間データ要求信号を送信する。これによって、例えば、仮想空間映像データがコンサートホール内を描いたものである場合、聴取者の仮想位置を移動操作した結果、当該仮想位置を示す座標がこのコンサートホールを規定している空間の座標範囲から外部に出てしまった（出ようとしてしまった）場合に、仮想空間データ要求信号を送信する。

請求項９に記載の高臨場音場再現情報受信プログラムは、音響反射の無い空間で音源から取得された信号であるドライソース音源信号と、当該ドライソース音源信号を受信側の環境に対応させて再現するための情報である音場再現情報とを受信し、複数の音声出力装置によって、高臨場の音場を再現する装置を、ドライソース音源信号受信手段、音場再現情報受信手段、音声出力制御手段、として機能させる構成とした。

かかる構成によれば、高臨場音場再現情報受信プログラムは、ドライソース音源信号受信手段によって、ドライソース音源信号を受信し、音場再現情報受信手段によって、音場再現情報を受信する。そして、この高臨場音場再現情報受信プログラムは、音声出力制御手段によって、ドライソース音源信号と、音場再現情報と、音声出力装置情報とに基づいて、音声出力装置に出力する音声データを制御する。

請求項１０に記載の高臨場音場再現情報受信方法は、音響反射の無い空間で音源から取得された信号であるドライソース音源信号と、当該ドライソース音源信号を受信側の環境に対応させて再現するための情報である音場再現情報とを受信し、複数の音声出力装置によって、高臨場の音場を再現する高臨場音源再現情報受信方法であって、ドライソース音源信号受信ステップと、音場再現情報受信ステップと、音声出力制御ステップと、を含む手順とした。

かかる手順によれば、高臨場音場再現情報受信方法は、ドライソース音源信号受信ステップにおいて、ドライソース音源信号を受信し、音場再現情報受信ステップにおいて、音場再現情報を受信する。そして、この高臨場音場再現情報受信方法は、音声出力制御ステップにおいて、ドライソース音源信号と、音場再現情報と、音声出力装置情報とに基づいて、音声出力装置に出力する音声データを制御する。

請求項１、４、５に記載の発明によれば、収録音であるドライソース音源信号と反射音データを含む音場再現情報とを別々に送信し、受信側で再構成させることによって、これらのバランスがとれた、高臨場感を再現することができる。

請求項２に記載の発明によれば、ドライソース音源信号と音場再現情報とに基づいて再現される音場に関連する仮想空間の仮想空間映像データと、この仮想空間における受信側の聴取者の仮想位置を設定した空間情報とを送信することによって、聴取者はあたかも仮想空間内に居るかのような感覚となり、高臨場感を味わうことができる。

請求項３に記載の発明によれば、仮想空間上の聴取者の仮想位置が、予め設定した所定の空間から外れた場合に、受信側からネットワークを介して送信される仮想空間データ要求信号に基づいて、追加分の仮想空間映像データである追加仮想空間映像データを送信することによって、受信側の聴取者は、様々な仮想空間内で、ドライソース音源信号と音場再現情報とによって構築される高臨場感の音場を体感することができる。

請求項６、９、１０に記載の発明によれば、ドライソース音源信号と、音場再現情報と、音声出力装置情報とに基づいて、聴取者の環境に応じた高い臨場感のある音場を再現することができる。

請求項７に記載の発明によれば、仮想空間映像データと空間情報とを受信し、仮想空間における聴取者の仮想位置を移動操作することによって、聴取者は仮想空間内の様々な音場を体感することができる。

請求項８に記載の発明によれば、仮想空間内にて聴取者の仮想位置を示す座標が送信側で予め設定された所定の空間の座標範囲から外れた場合に、当該仮想空間を補完するための追加仮想空間映像データを要求する仮想空間データ要求信号を送信することによって、聴取者は、予め設定された仮想空間内で高い臨場感のある音場を再現するだけではなく、より自由に、種々の場所で高い臨場感のある音場を再現することができる。

次に、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
（高臨場音場再現システムの構成）
図１は、高臨場音場再現システムのブロック図である。この図１に示すように、高臨場音場再現システムＡは、高臨場音場再現情報送信装置１と、高臨場音場再現情報受信装置３とを備えている。また、高臨場音場再現情報受信装置３には、スピーカ等から構成される音声出力装置２と、液晶画面、ＣＲＴ等から構成される表示装置４が接続されている。

この高臨場音場再現システムＡは、放送局等に備えられる送信側の高臨場音場再現情報送信装置１から送信されるドライソース音源信号と、音場再現情報とに基づいて、一般家庭に備えられる受信側の高臨場音場再現情報受信装置３において、高臨場感のある音声データの出力を実現する（音場を再現する）ものである。また、この高臨場音場再現システムＡは、高臨場音場再現情報送信装置１から映像信号としてＣＧ合成した仮想空間映像データを送信することによって、この仮想空間映像データによって描かれる仮想空間内における聴取者の仮想位置を自在に変更させ、この変更に伴った高臨場感のある音声データの出力を実現する（音場を再現する）ものである。

（高臨場音場再現情報送信装置の構成）
高臨場音場再現情報送信装置１は、無音響の状態で収録したドライソース音響信号と、当該ドライソース音響信号を元々の音響信号に近似させて再生するための情報である音場再現情報（反射音データを含む）とを個別に送信するもので、ドライソース音源信号取得手段５と、ドライソース音源信号送信手段７と、音場再現情報蓄積手段９と、音場再現情報送信手段１１と、仮想空間映像データ蓄積手段１３と、映像信号送信手段１５と、空間情報蓄積手段１７と、空間情報送信手段１９と、追加仮想空間映像データ送信手段２１とを備えている。

ドライソース音源信号取得手段５は、音響反射の無い空間（無音響の環境）、例えば、無音響室（無音響ホール）等で、個々の音源から発せられる音響信号（ドライソース音響信号、収録音）を、複数のマイクロフォン等の集音器を利用して、各音源から別個に取得するものである。なお、この実施の形態では、ドライソース音響信号は、５種類の２０ｋＨｚ帯域の音声を、ＡＡＣ圧縮した１６０ｋｂｐｓで伝送可能にしたものである。

ドライソース音源信号送信手段７は、ドライソース音源信号取得手段５で取得されたトライソース音響信号を放送波（ＢＳデジタル、地上デジタル等）を通じて、受信側の高臨場音場再現情報受信装置３に送信するものである。

音場再現情報蓄積手段９は、大容量のハードディスク等から構成されており、予め、ドライソース音響信号から元々の音響信号を、受信側で再現（再構築）するための情報である音場再現情報を蓄積するものである。この音場再現情報には、反射音データと、この反射音の遅れ時間（時間的なずれ）を示す反射音遅れ時間データと、ドライソース音源信号の周波数毎のレベルを示す周波数レベルデータと、音源から聴取点（聴取者の位置）までの方向を示す到来方向データとが含まれている。なお、反射音データは、反射成分（反射係数や遮蔽物の有無によって定義される音響環境によって増減する数百種類から数千種類の成分）を予測した結果であり、受信側の高臨場音場再現情報受信装置３で、ドライソース音源信号に畳み込む素材と言えるものである。

この実施の形態では、音場再現情報は、音源からの直接音であるドライソース音源信号の一つ一つの反射音データについて、到来方向（θ，φ）を含んでおり、予め、受信側の高臨場音場再現情報受信装置３をコントロールするユーザコントロール情報として設定されているものである。つまり、この音場再現情報は、受信側の再生環境の一つを示す、音声出力装置２（スピーカ）の数に応じて、ドライソース音源信号が最適に配分されるように設定されている。

例えば、受信側の高臨場音場再現情報受信装置３に２個の音声出力装置２が接続されていた場合（ＬとＲの２チャンネル）、この音場再現情報には、ドライソース音源信号に適当な反射音データと、この反射音データをθ＝０度および１８０度を境に左右方向に２手に分配させる到来方向データとを含んでいる。

また、受信側の高臨場音場再現情報受信装置３に５個の音声出力装置２が接続されていた場合（ＬとＣとＲとＳＬとＳＲの５チャンネル）、この音場再現情報には、ドライソース音源信号に適当な反射音データと、この反射音データをそれぞれの音声出力装置２の配置に応じて分配させる到来方向データとを含んでいる。

なお、最終的には、これらの反射音データがドライソース音源信号に畳み込まれて再生（出力）される。

音場再現情報送信手段１１は、音場再現情報蓄積手段９に蓄積されている音場再現情報を放送波（ＢＳデジタル、地上デジタル等）を通じて、受信側の高臨場音場再現情報受信装置３に送信するものである。なお、この音場再現情報は、ドライソース音源信号に比べて、情報量が少ないので、放送番組と放送番組との間のＣＭ中（スポット中）に伝送可能なものである。それゆえ、これらドライソース音響信号と音場再現情報とは別々に独立して送信している。

ここで、図２を参照して、ドライソース音源信号と音場再現情報とついて説明する。
図２は、ドライソース音源信号と音場再現情報とを例示したもので、この図２に示すように、ドライソース音源信号として、３つのドライソース＃１、ドライソース＃２、ドライソース＃３を例示しており、これらは時間軸波形データである。また、音場再現情報の反射音遅れ時間データとして“遅れ時間”が、周波数レベルデータとして“振幅＃１”、“振幅＃２”・・・“振幅＃ｎ”が、到来方向データとして“方向θ”、“方向φ”が含まれている。

図１に戻って説明を続ける。
仮想空間映像データ蓄積手段１３は、大容量のハードディスク等から構成されており、ＣＧ等によって描画されたコンサートホール、劇場、様々な風景（草原、砂漠、森林、海辺等）を仮想空間映像データとして蓄積しているものである。

映像信号送信手段１５は、仮想空間映像データ蓄積手段１３に蓄積されている仮想空間映像データを映像信号として放送波（ＢＳデジタル、地上デジタル等）を通じて、受信側の高臨場音場再現情報受信装置３に送信するものである。

空間情報蓄積手段１７は、大容量のハードディスク等から構成されており、仮想空間映像データによって描かれる仮想空間内の聴取者の座標と、音源との距離、方向等を含む空間情報を蓄積するものである。この空間情報によって、受信側の聴取者（視聴者）は、仮想空間映像データで描かれる（提供される）仮想空間の予め設定された所定の空間（領域、範囲）内において、適当な視点（任意の聴取点）でドライソース音源信号に反射音データが畳み込まれた音声データを聴取することができる。

空間情報送信手段１９は、空間情報蓄積手段１７に蓄積されている空間情報を、放送波（ＢＳデジタル、地上デジタル等）を通じて、受信側の高臨場音場再現情報受信装置３に送信するものである。なお、ドライソース音源信号送信手段７、音場再現情報送信手段１１、映像信号送信手段１５および空間情報送信手段１９から送信される、ドライソース音源信号、音場再現情報、映像信号および空間情報は、受信側の高臨場音場再現情報受信装置３において、同期するように関連付けられて送信されている。

追加仮想空間映像データ送信手段２１は、受信側の高臨場音場再現情報受信装置３からインターネット等のネットワークを介して送信された仮想空間データ要求信号に基づいて、仮想空間映像データ蓄積手段１３に蓄積されている、追加分となる仮想空間映像データ（追加仮想空間映像データ）を送信するものである。

この高臨場音場再現情報送信装置１によれば、ドライソース音源信号取得手段５によって、音源毎にドライソース音源信号が取得され、この個別に取得されたドライソース音源信号が、ドライソース音源信号送信手段７によって、別々に送信される。そして、音場再現情報送信手段１１によって、音場再現情報が送信される。このため、予め、送信側（放送局側）で編集した音声データを送信するのではなく、収録音であるドライソース音源信号と反射音データを含む音場再現情報とを別々に送信し、受信側で再構成させることによって、これらのバランスがとれた、高臨場感を再現することができる。

また、この高臨場音場再現情報送信装置１によれば、映像信号送信手段１５によって、ドライソース音源信号と音場再現情報とに基づいて再現される音場に関連する仮想空間の仮想空間映像データが送信され、空間情報送信手段１９によって、仮想空間における受信側の聴取者の仮想位置を設定した空間情報が送信される。このため、受信側の聴取者はあたかも仮想空間内に居るかのような感覚となり、高臨場感を体感する（味わうこと）ができる。

さらに、この高臨場音場再現情報送信装置１によれば、追加仮想空間映像データ送信手段２１によって、仮想空間上の聴取者の仮想位置が、予め設定した所定の空間から外れた場合に、受信側からネットワークを介して送信される仮想空間データ要求信号に基づいて、追加分の仮想空間映像データである追加仮想空間映像データが送信される。このため、受信側の聴取者は、様々な仮想空間内で、ドライソース音源信号と音場再現情報とによって構築される高臨場感の音場を体感することができる。

（高臨場音場再現情報受信装置の構成）
高臨場音場再現情報受信装置３は、ドライソース音源信号と音場再現情報とによって、高臨場感のある音声データの出力を実現する（音場を再現する）もので、ドライソース音源信号受信手段２３と、音場再現情報受信手段２５と、音声出力装置情報蓄積手段２７と、音声出力制御手段２９と、映像信号受信手段３１と、空間情報受信手段３３と、仮想位置操作手段３５と、映像信号制御手段３７と、仮想空間データ要求信号送信手段３９とを備えている。

ドライソース音源信号受信手段２３は、送信側の高臨場音場再現情報送信装置１から放送波（ＢＳデジタル、地上デジタル等）を通じて送信されたドライソース音源信号を受信するものである。

音場再現情報受信手段２５は、送信側の高臨場音場再現情報送信装置１から放送波（ＢＳデジタル、地上デジタル等）を通じて送信された音場再現情報を受信するものである。

音声出力装置情報蓄積手段２７は、大容量のハードディスク等から構成され、音声出力装置２の数量と、配置位置（配置間隔、配置方向）、出力ワット数等の音声出力装置２に関する情報である音声出力装置情報を蓄積するものである。

音声出力制御手段２９は、ドライソース音源信号受信手段２３で受信されたドライソース音源信号と、音場再現情報受信手段２５で受信された音場再現情報と、音声出力装置情報蓄積手段２７に蓄積されている音声出力装置情報と、空間情報受信手段３３で受信された空間情報と、仮想位置操作手段３５から出力された操作データ（後記する）とに基づいて、ドライソース音源信号に反射音データが畳み込まれた音声データを出力するものである。この音声出力制御手段２９の詳細を図３に示す。この図３に示すように、音声出力制御手段２９は、パン毎レベル振り分け手段２９ａと、反射音振り分け手段２９ｂと、畳み込み演算手段２９ｃと、混合手段２９ｄと、各部出力手段２９ｅとを備えている。

パン毎レベル振り分け手段２９ａは、ドライソース音源信号に含まれている出演者の台詞や楽音（楽器等による音）等に対して、パンとレベルの制御を行って、パン毎の周波数レベルにドライソース音源信号を振り分けるものである。パン制御は、出演者の台詞や楽音（楽器等による音）等の直接音の定位を、これらの座標の変化に伴って制御するものである。このパン制御によって、出演者の移動に伴って、音声出力装置２に出力される音声データが変化（遠くで聞こえたり、近くで聞こえたり）するので、聴取者は、高い臨場感のある音場を体感することができる。

反射音振り分け手段２９ｂは、音場再現情報に含まれている反射音データを、当該音場再現情報に含まれている反射音遅れ時間データと、周波数レベルデータと、到来方向データと、空間情報と、操作データとに基づいて、音声出力装置２の数に合わせて振り分けるものである。

畳み込み演算手段２９ｃは、入力されたドライソース音源信号に反射音データを畳み込む（合成させる）畳み込み演算を施すものである。

混合手段２９ｄは、パン毎レベル振り分け手段２９ａでパン毎の周波数レベルに振り分けられたドライソース音源信号と、畳み込み演算手段２９ｃによって、反射音データが畳み込まれたドライソース音源信号とを合成し、音声出力装置２の出力に対応させた音声データを生成するものである。

各部出力手段２９ｅは、混合手段２９ｄでパン毎の周波数レベルに振り分けられたドライソース音源信号と反射音データが畳み込まれたドライソース音源信号とが合成され、生成された音声データを複数の音声出力装置２に出力するものである。音声出力装置２は、Ｌ用（左側出力用）のものと、Ｃ用（中央出力用）のものと、Ｒ用（右側出力用）のものと、ＳＬ用（サラウンドレフト、左周囲出力用）のものと、ＳＲ用（サラウンドライト、右周囲出力用）のものとがある。

ここで、さらに、反射音振り分け手段２９ｂにおける反射音の振り分け（反射音の分配方法）について、図４、図５を参照して説明する。
図４は、音声出力装置２（スピーカ）の数量に基づいて、反射音の振り分けを模式的に説明した図である。図５は、ある反射音データの水平面における到来方向の角度がφ度であり、この角度を挟む２つのスピーカ（音声出力装置２）で再生する場合の分配手法を説明した図である。

図４（ａ）に示したように、１つのスピーカ（音声出力装置２）の場合、反射音分配は行えず、１つのスピーカで０度から３６０度の反射音が網羅されることになる。図４（ｂ）に示したように、２つのスピーカ（音声出力装置２）の場合、反射音が左右のスピーカに均等に分配され、左側のスピーカ（音声出力装置２）で１８０度から３６０度の反射音が、右側のスピーカ（音声出力装置２）で０度から１８０度の反射音が網羅される。図４（ｃ）に示したように、５つのスピーカ（音声出力装置２）の場合、反射音が５つのスピーカ（音声出力装置２）にドライソース音源信号に対応させて適当に分配される。

また、図５に示したように、聴取者を中心とし、この聴取者への到来方向の角度がφ度の反射音“ｓｏｕｎｄφ”は、φ²＝φ² _sp1＋φ² _sp2を満たしており、２つのスピーカ（音声出力装置２）である“ｓｐ１”、“ｓｐ２”に分配される反射音は、“ｓｐ１”では、φ_sp1＝φｃｏｓ｛α／（α＋β）×（π／２）｝となり、“ｓｐ２”では、φ_sp2＝φｓｉｎ｛α／（α＋β）×（π／２）｝となる。

図１に戻って説明を続ける。
映像信号受信手段３１は、送信側の高臨場音場再現情報送信装置１から放送波（ＢＳデジタル、地上デジタル等）を通じて送信された映像信号（仮想空間映像データ）を受信するものである。

空間情報受信手段３３は、送信側の高臨場音場再現情報送信装置１から放送波（ＢＳデジタル、地上デジタル等）を通じて送信された空間情報を受信するものである。

仮想位置操作手段３５は、ジョイステック、マウス等から構成されるもので、高臨場音場再現情報受信装置３のユーザ（聴取者）が、表示装置４に表示される仮想空間における仮想位置を移動操作するための操作データを出力するものである。なお、この操作データには、仮想位置を示す座標データと、移動速度を示す移動データとを含んでいる。

映像信号制御手段３７は、映像信号受信手段３１から出力された映像信号（仮想空間映像データ）と、空間情報受信手段３３から出力された空間情報と、仮想位置操作手段３５から出力された操作データ（座標等）と基づいて、表示装置４に表示させる表示データ（仮想空間映像データ）を制御するものである。なお、仮想位置操作手段３５から出力された操作データに含まれる座標データが、仮想空間における予め設定された所定の空間を示す座標データを超えた場合には、仮想空間データ要求信号送信手段３９に制御信号が出力される。

仮想空間データ要求信号送信手段３９は、映像信号制御手段３７から出力された制御信号に基づいて、送信側の高臨場音場再現情報送信装置１に仮想空間を補完するための追加仮想空間映像データを要求する仮想空間データ要求信号を出力するものである。この仮想空間データ要求信号を送信後、送信側の高臨場音場再現情報送信装置１から送信された追加仮想空間映像データを受信した場合には、この追加仮想空間映像データを映像信号制御手段３７に出力する。

この高臨場音場再現情報受信装置３によれば、ドライソース音源信号受信手段２３によって、ドライソース音源信号が受信され、音場再現情報受信手段２５によって、音場再現情報が受信される。音声出力装置情報蓄積手段２７に、音声出力装置２の配置数を少なくとも含む音声出力装置情報が予め蓄積されており、音声出力制御手段２９によって、ドライソース音源信号と、音場再現情報と、音声出力装置情報とに基づいて、音声出力装置２に出力する音声データが制御される。このため、この高臨場音場再現情報受信装置３は、送信側から別々に送られてきたドライソース音源信号と、音場再現情報と、音声出力装置情報とに基づいて、高い臨場感のある音場を再現することができる。

また、この高臨場音場再現情報受信装置３によれば、映像信号受信手段３１によって、ドライソース音源信号と音場再現情報とに基づいて再現される音場に関連する仮想空間の仮想空間映像データが、表示装置４に表示される映像信号として受信され、空間情報受信手段３３によって、仮想空間における受信側の聴取者の仮想位置を設定した空間情報が受信される。仮想位置操作手段３５によって、仮想空間における聴取者の仮想位置が移動操作される。このため、仮想空間における聴取者の仮想位置を移動操作することによって、聴取者は仮想空間内の様々音場を体感することができる。

さらに、この高臨場音場再現情報受信装置３によれば、仮想空間データ要求信号送信手段３９によって、仮想位置操作手段３５で聴取者の仮想位置を移動操作した結果、送信側で予め設定された所定の空間から外れた場合に、当該仮想空間を補完するための追加仮想空間映像データを要求する仮想空間データ要求信号が送信されることによって、聴取者は、予め設定された仮想空間内で高い臨場感のある音場を再現するだけではなく、より自由に、種々の場所で高い臨場感のある音場を再現することができる。

（高臨場音場再現情報送信装置の動作）
次に、図６に示すフローチャートを参照して、高臨場音場再現情報送信装置１の動作を説明する（適宜、図１参照）。
まず、高臨場音場再現情報送信装置１は、ドライソース音源信号取得手段５によってドライソース音源信号を取得する（Ｓ１）。続いて、高臨場音場再現情報送信装置１のドライソース音源信号送信手段７からドライソース音源信号を、音場再現情報送信手段１１から音場再現情報を、映像信号送信手段１５から映像信号（仮想空間映像データ）を、空間情報送信手段１９から空間情報を同期するようにして、送信する（Ｓ２）。

そして、高臨場音場再現情報送信装置１は、受信側の高臨場音場再現情報受信装置３から仮想空間データ要求信号が送信されたかどうかを判定し（Ｓ３）、送信された場合（Ｓ３、Ｙｅｓ）には、追加仮想空間映像データを送信し（Ｓ４）、送信されなかった場合（Ｓ３、Ｎｏ）には、動作を終了する。

（高臨場音場再現情報受信装置の動作）
次に、図７に示すフローチャートを参照して、高臨場音場再現情報受信装置３の動作を説明する（適宜、図１参照）。
まず、高臨場音場再現情報受信装置３は、ドライソース音源信号受信手段２３によってドライソース音源信号を、音場再現情報受信手段２５によって音場再現情報を、映像信号受信手段３１によって映像信号（仮想空間映像データ）を、空間情報受信手段３３によって空間情報を受信する（Ｓ１１）。

続いて、高臨場音場再現情報受信装置３は、音声出力制御手段２９によって、ドライソース音源信号と、音場再現情報と、空間情報と、音声出力装置情報蓄積手段２７に蓄積されている音声出力装置情報と、仮想位置操作手段３５から出力される操作データとに基づいて、各音声出力装置２に出力する音声データを生成し、出力タイミング等を制御する（Ｓ１２）。

そして、高臨場音場再現情報受信装置３は、映像信号制御手段３７によって、映像信号（仮想空間映像データ）と、空間情報と、操作データとに基づいて、表示装置４に表示する表示データを制御する（Ｓ１３）。

ここで、仮想位置操作手段３５から出力された操作データによって、聴取者の仮想位置を移動させた場合（Ｓ１４）、仮想空間の所定の空間内にいるかどうかを判定（Ｓ１５）しており、所定の空間内から外れてしまった場合（Ｓ１５、Ｎｏ）には、仮想空間データ要求信号送信手段３９から仮想空間データ要求信号を送信する（Ｓ１６）。所定の空間内である場合（Ｓ１５、Ｙｅｓ）には、ドライソース音源信号、映像信号の受信が終了次第、動作を終了する。

以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、高臨場音場再現情報送信装置１および高臨場音場再現情報受信装置３の各構成の処理を汎用的なコンピュータ言語で記述した高臨場音場再現情報送信プログラムおよび高臨場音場再現情報受信プログラムとみなすことや、高臨場音場再現情報送信装置１および高臨場音場再現情報受信装置３の各構成の処理を一つずつの過程ととらえた高臨場音場再現情報送信方法および高臨場音場再現情報受信方法とみなすことは可能である。

実施形態に係る一実施の形態である高臨場音場再現システムのブロック図である。 ドライソース音源信号と、音場再現情報との例を示した図である。 高臨場音場再現情報受信装置の音声出力制御手段のブロック図である。 音声出力装置の数に関して、反射音の分配方法を説明した図である。 到来方向に関して、反射音の分配方法を説明した図である。 図１に示した高臨場音場再現情報送信装置の動作を説明したフローチャートである。 図１に示した高臨場音場再現情報受信装置の動作を説明したフローチャートである。

符号の説明

１ 高臨場音場再現情報送信装置
３ 高臨場音場再現情報受信装置
５ ドライソース音源信号取得手段
７ ドライソース音源信号送信手段
９ 音場再現情報蓄積手段
１１ 音場再現情報送信手段
１３ 仮想空間映像データ蓄積手段
１５ 映像信号送信手段
１７ 空間情報蓄積手段
１９ 空間情報送信手段
２１ 追加仮想空間映像データ送信手段
２３ ドライソース音源信号受信手段
２５ 音場再現情報受信手段
２７ 音声出力装置情報蓄積手段
２９ 音声出力制御手段
３１ 映像信号受信手段
３３ 空間情報受信手段
３５ 仮想位置操作手段
３７ 映像信号制御手段
３９ 仮想空間データ要求信号送信手段

Claims (10)

1. 音響反射の無い空間で音源から取得された信号であるドライソース音源信号と、当該ドライソース音源信号を受信側の環境に対応させて再現するために反射音を予測した予測空間で前記音源から取得された各種データからなる音場再現情報とを送信する高臨場音場再現情報送信装置であって、
   前記音源毎にドライソース音源信号を取得するドライソース音源信号取得手段と、
   このドライソース音源信号取得手段で取得されたドライソース音源信号毎に送信するドライソース音源信号送信手段と、
   前記予測空間で前記音源から発せられた音が反射した場合の反射成分を予測して生成した反射音データと、この反射音データの遅れ時間を表す反射音遅れ時間データと、前記ドライソース音源信号の周波数毎のレベルを表す周波数レベルデータと、前記音源からの到来方向を表す到来方向データとを、前記音場再現情報として送信する音場再現情報送信手段と、
   を備えることを特徴とする高臨場音場再現情報送信装置。
2. 前記ドライソース音源信号と前記音場再現情報とに基づいて再現される音場に関連する仮想空間を予め設定した仮想空間映像データとし、前記受信側に備えられる表示装置に表示させる映像信号として送信する映像信号送信手段と、
   前記仮想空間における前記受信側の聴取者の仮想位置を予め設定した空間情報として送信する空間情報送信手段と、
   を備えることを特徴とする請求項１に記載の高臨場音場再現情報送信装置。
3. 受信側にて前記仮想空間上の前記聴取者の仮想位置を示す座標が、予め設定した所定の空間の座標範囲から外れた場合に当該受信側からネットワークを介して送信される仮想空間データ要求信号に基づいて、追加分の仮想空間映像データである追加仮想空間映像データを送信する追加仮想空間映像データ送信手段を備えたことを特徴とする請求項２に記載の高臨場音場再現情報送信装置。
4. 音響反射の無い空間で音源から取得された信号であるドライソース音源信号と、当該ドライソース音源信号を受信側の環境に対応させて再現するために反射音を予測した予測空間で前記音源から取得された各種データからなる音場再現情報とを送信する装置を、
   前記音源毎にドライソース音源信号を取得するドライソース音源信号取得手段、
   このドライソース音源信号取得手段で取得されたドライソース音源信号毎に送信するドライソース音源信号送信手段、
   前記予測空間で前記音源から発せられた音が反射した場合の反射成分を予測して生成した反射音データと、この反射音データの遅れ時間を表す反射音遅れ時間データと、前記ドライソース音源信号の周波数毎のレベルを表す周波数レベルデータと、前記音源からの到来方向を表す到来方向データとを、前記音場再現情報として送信する音場再現情報送信手段、
   として機能させることを特徴とする高臨場音場再現情報送信プログラム。
5. 音響反射の無い空間で音源から取得された信号であるドライソース音源信号と、当該ドライソース音源信号を受信側の環境に対応させて再現するために反射音を予測した予測空間で前記音源から取得された各種データからなる音場再現情報とを送信する高臨場音場再現情報送信方法であって、
   前記音源毎にドライソース音源信号を取得するドライソース音源信号取得ステップと、
   このドライソース音源信号取得ステップにて取得されたドライソース音源信号毎に送信するドライソース音源信号送信ステップと、
   前記予測空間で前記音源から発せられた音が反射した場合の反射成分を予測して生成した反射音データと、この反射音データの遅れ時間を表す反射音遅れ時間データと、前記ドライソース音源信号の周波数毎のレベルを表す周波数レベルデータと、前記音源からの到来方向を表す到来方向データとを、前記音場再現情報として送信する音場再現情報送信ステップと、
   を含むことを特徴とする高臨場音場再現情報送信方法。
6. 音響反射の無い空間で音源から取得された信号であるドライソース音源信号と、当該ドライソース音源信号を受信側の環境に対応させて再現するために反射音を予測した予測空間で前記音源から取得された各種データからなる音場再現情報とを受信し、複数の音声出力装置によって、高臨場の音場を再現する高臨場音場再現情報受信装置であって、
   前記ドライソース音源信号を受信するドライソース音源信号受信手段と、
   前記音場再現情報を受信する音場再現情報受信手段と、
   前記音声出力装置の予め設定された配置数を少なくとも含む音声出力装置情報を予め蓄積している音声出力装置情報蓄積手段と、
   前記ドライソース音源信号と、前記音場再現情報と、前記音声出力装置情報とに基づいて、前記音声出力装置に出力する音声データを制御する音声出力制御手段と、
   を備えることを特徴とする高臨場音場再現情報受信装置。
7. 前記ドライソース音源信号と前記音場再現情報とに基づいて再現される音場に関連する仮想空間が送信側にて予め設定された仮想空間映像データを、表示装置に表示させる映像信号として受信する映像信号受信手段と、
   前記仮想空間における前記受信側の聴取者の仮想位置を予め設定した空間情報として受信する空間情報受信手段と、
   前記仮想空間における前記聴取者の仮想位置を移動操作する仮想位置操作手段と、
   を備えることを特徴とする請求項６記載の高臨場音場再現情報受信装置。
8. 前記仮想位置操作手段によって、前記聴取者の仮想位置を移動操作した結果、当該仮想位置を示す座標が送信側で予め設定された所定の空間の座標範囲から外れた場合に、当該仮想空間を補完するための追加仮想空間映像データを要求する仮想空間データ要求信号を送信する仮想空間データ要求信号送信手段とを備えることを特徴とする請求項７に記載の高臨場音源再現情報受信装置。
9. 音響反射の無い空間で音源から取得された信号であるドライソース音源信号と、当該ドライソース音源信号を受信側の環境に対応させて再現するために反射音を予測した予測空間で前記音源から取得された各種データからなる音場再現情報とを受信し、複数の音声出力装置によって、高臨場の音場を再現する装置を、
   前記ドライソース音源信号を受信するドライソース音源信号受信手段、
   前記音場再現情報を受信する音場再現情報受信手段、
   前記ドライソース音源信号と、前記音場再現情報と、前記音声出力装置の予め設定された配置数を少なくとも含む音声出力装置情報とに基づいて、前記音声出力装置に出力する音声データを制御する音声出力制御手段、
   として機能させることを特徴とする高臨場音場再現情報受信プログラム。
10. 音響反射の無い空間で音源から取得された信号であるドライソース音源信号と、当該ドライソース音源信号を受信側の環境に対応させて再現するために反射音を予測した予測空間で前記音源から取得された各種データからなる音場再現情報とを受信し、複数の音声出力装置によって、高臨場の音場を再現する高臨場音源再現情報受信方法であって、
    前記ドライソース音源信号を受信するドライソース音源信号受信ステップと、
    前記音場再現情報を受信する音場再現情報受信ステップと、
    前記ドライソース音源信号と、前記音場再現情報と、前記音声出力装置の予め設定された配置数を少なくとも含む音声出力装置情報とに基づいて、前記音声出力装置に出力する音声データを制御する音声出力制御ステップと、
    を含むことを特徴とする高臨場音源再現情報受信方法。

Images