JP2009038605A - 音声信号生成装置、音声信号生成方法、音声信号生成プログラム並びに音声信号を記録した記録媒体 - Google Patents

Abstract

【課題】複数のディスプレイ（または表示領域）を利用して１つの画像（映像）を表示した場合に、各表示領域に表示された画像の内容に基づいて多様な音声の聴取が行えるようにする。
【解決手段】複数の表示領域１１〜１９に分割して表示された１つの画像に関して音声信号を生成する際、例えばユーザによって入力される制御信号を受信し、この制御信号に基づき指定された１以上の表示領域１２，１９を音声信号生成手段に指示する。そして、この音声信号生成手段にて指定された表示領域１２，１９に割り当てられた音声信号を生成する。このとき、指定された表示領域１２，１９に割り当てられた音声信号は、当該指定された表示領域１２，１９に表示された画像の内容に対応する音声信号であることが望ましい。
【選択図】図１０

Description

本発明は、複数の表示領域より構成される表示画面に表示される画像に対応して出力される、音声信号を生成するのに好適な音声信号生成装置、音声信号生成方法、音声信号生成プログラム、並びに生成した音声信号を記録した記録媒体に関する。

従来、平面パネルを振動子により振動させるフラットパネルスピーカ（シートスピーカとも呼ばれる）が存在する。このフラットパネルスピーカは、例えば、テレビジョン受像機（ＴＶ）やパーソナルコンピュータ（ＰＣ）等のモニタとして用いられる、液晶ディスプレイやプラズマディスプレイなどのフラットパネルディスプレイのスピーカ（それらのモニタに表示される画像に対応する音声を出力するためのスピーカ）に適用される。

例えば、フラットパネルディスプレイ（薄型平面ディスプレイ）に取り付けるフラットパネルスピーカに関して、複数の提案がなされている（例えば、特許文献１〜３を参照）。これら特許文献１〜３に記載されたものは、基本的には一枚のフラットパネルスピーカを単独で鳴らすものである。

一方、本出願人から、複数のフラットパネルを用いて構成したフラットパネルスピーカが提案されている（例えば、特許文献４を参照）。

特許文献４に記載されたフラットパネルスピーカを搭載したスケーラブルＴＶシステムでは、複数のチャンネルを同時に視聴すると音が混じってしまうため、１チャンネルの入力に対する音の選択のみが行われていた。ここでいうスケーラブルＴＶシステムとは、複数のディスプレイの表示面全体を使って１つの画像を表示する（以後、ズームと呼ぶ）等、複数のディスプレイを連携して動作させるマルチディスプレイという方法を用いて画像を表示するようにしたＴＶシステムである。

また、特許文献４に記載のスケーラブルＴＶシステムは、１つのディスプレイに１チャンネルの画像を映すだけでなく、複数のディスプレイにまたがって一つの画像を映し（ズーム）、その画像の大きさに応じてフラットパネルスピーカの音を鳴らす面積を変えることを行っていた。

特表２００２−５３３９５７号公報 特開２００７−４３４５２号公報 特開２００６−２５４３８１号公報 特開２００７−５３６１０号公報（図１１〜図１４）

ところで、特許文献４に記載された発明の場合、ズーム時には、音声入力のステレオ入力に対して、各出力について事前に得られた音量、残響および周波数特性などの各種フィルタを通すことで迫力を与えていた。しかしながら、このズーム時には、用いた音源のチャンネル数が少ないためそれ以上の空間分解能がなく、複数のディスプレイ（表示領域）を利用して１つの画像（映像）を映す際の音の使い方が限定されていた。

本発明はこのような状況に鑑みてなされたものであり、複数のディスプレイ（または表示領域）を利用して１つの画像（映像）を表示した場合に、各表示領域に表示された画像の内容に基づいて多様な音声の聴取が行えるようにすることを目的とする。

上記課題を解決するため、本発明は、複数の表示領域に分割して表示された１つの画像に関して音声信号を生成する際、例えばユーザによって入力される制御信号を受信し、この制御信号に基づき指定された表示領域を音声信号生成手段に指示する。そして、この音声信号生成手段にて指定された表示領域に割り当てられた音声信号を生成する。このとき、指定された表示領域に割り当てられた音声信号は、当該指定された表示領域に表示された画像の内容に対応する音声信号であることが望ましい。
さらに、指定された表示領域に表示された画像の内容に対応する音声信号は、当該指定された表示領域に表示された事物が発生する音を収録して生成する。

このようにしたことにより、複数の表示領域に分割して表示された１つの画像に関して、指定された表示領域に割り当てられた音声信号を生成することができる。また、ユーザが空間的に分割された音声を画面ごとに選択したり、それぞれの画面（表示領域）から聞こえる音の調和を確認したりすることができる。さらに、その音声信号が、当該指定された表示領域に表示された画像の内容に対応する音声信号であり、表示領域に表示された事物が発生する音を収録して生成したものである場合、より臨場感が高まる。

本発明によれば、複数の表示領域（ディスプレイ）を利用して１つの画像（映像）を表示した場合に、各表示領域に表示された画像の内容に基づいて多様な音声の聴取が行える。

以下、本発明の実施の形態の例について、添付図面を参照しながら説明する。なお、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、下記の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。例えば、以下の説明で挙げる処理時間、処理順序および数値的条件等は好適例に過ぎず、説明に用いた各図における寸法、形状および配置関係も概略的なものである。

図１は、本発明を適用したスケーラブルＴＶシステムの第１の実施の形態に係る構成例を示す斜視図である。

図１において、スケーラブルＴＶシステム１は、複数のテレビジョン受像機を必要に応じて連携して動作させ、１枚の画像や複数の画像を様々な方法で表示させるシステムである。つまり、一つの画像を複数の表示領域に分割したときに、分割された一つの表示領域の画像は一つのテレビジョン受像機で表示される。この実施の形態では、スピーカにフラットパネルスピーカ２１を使用している。

図１に示されるように、スケーラブルＴＶシステム１は、例えばテレビジョン受像機１１〜１９が設置台１０においてアレイ状（行列状）に配置される。図１においてテレビジョン受像機１１〜１９は、３行×３列のアレイ状に配置されている。図示は省略するが、テレビジョン受像機１１〜１９は、有線または無線により、互いに（電気的に）接続されており、単独で動作することも、他のテレビジョン受像機と連携して動作することもできる。

また正面の所定の位置には、リモートコントーラ装置（以下、「リモコン装置」という）３１からの赤外線信号や無線信号によるリモコン信号（制御信号）を受信する、リモコン信号受信部３０が設けられている。なお、スケーラブルＴＶシステム１の本体に設けられた図示しない操作ボタン等を、ユーザ２が操作することにより制御信号を発生するようにしてもよい。

なお、スケーラブルＴＶシステム１を構成するテレビジョン受像機の台数は、何台であってもよい。また、設置台１０に、テレビジョン受像機を横方向に何列、縦方向に何段で配置するようにしてもよい。

また、図１においては、テレビジョン受像機１１〜１９は、その各表示面が略平面上においてアレイ状に並ぶように配置されているが、これに限らず、例えば、各表示面が曲面上に並ぶようにしてもよい。また、テレビジョン受像機１１〜１９それぞれの代わりに、チューナを有していないモニタを用いるようにしてもよい。

スケーラブルＴＶシステム１に設置されたテレビジョン受像機１１〜１９の前面の画像表示部分には、それぞれフラットパネルスピーカ２１〜２９が配設されている。

ここでフラットパネルスピーカ２１〜２９について、図２を参照して説明する。図２では、テレビジョン受像機１１の前面の画像表示部分に設けられたフラットパネルスピーカ２１について説明するが、他のフラットパネルスピーカ２２〜２９も同様であるので他のフラットパネルスピーカ２２〜２９の説明は割愛する。

図２に示すように、振動板をディスプレイの表示面に重畳させるため、振動素子はその振動板の周辺部にのみ設けられている。

例えば、図２のテレビジョン受像機１１に取り付けられるフラットパネルスピーカ２１の場合、その振動板に取り付けられる複数の振動素子（振動素子３３−１〜振動素子３３−１２）は、画像表示の邪魔にならないよう、テレビジョン受像機１１の表示面３４に対応する部分には設置されず、表示面３４を囲む枠３５に対応する範囲の周辺部分にのみ設けられる。

例えば、テレビジョン受像機１１の表示面に画像が表示されている場合に、テレビジョン受像機１１の前面からのみ音声を出力するには、テレビジョン受像機１１の前面に配置されたフラットパネルスピーカ２１の振動素子３３−１〜振動素子３３−１２を振動させるようにする。

図２に示す例では、テレビジョン受像機１１〜１９の各々に対してそれぞれ個別にフラットパネルスピーカ２１〜２９が設けられているが、テレビジョン受像機１１〜１９の前面に一つの大きな音声出力部を構成するフラットパネルスピーカを設けるようにしてもよい。

例えば、図３に示されるように、このテレビジョン受像機１１〜１９の各画像表示面の前面に、スケーラブルＴＶシステム１の音声出力部として構成されるフラットパネルスピーカ４０が重畳されるように設けてもよい。フラットパネルスピーカの一例として、例えば、本出願人が出願した特開２００７−５３６１０号公報を参照されたい。

このフラットパネルスピーカ４０は、平面板状の透明なフラットパネル（透明パネル）を振動素子で振動させて電気信号を音声に変換するスピーカである。したがって、フラットパネルスピーカ４０で音声を出力する場合、ユーザには、その振動させる振動素子の位置付近の透明パネルより音声が聞こえるようになる。図３に白丸で示されるように、この透明パネルには複数の振動素子（例えば、２４個）が設けられる。

図３に示されるように、フラットパネルスピーカ４０は、振動板となる透明パネル４１と、その透明パネル４１を支え、透明パネル４１の振動の軸となる枠４２、複数の振動素子および振動素子を枠４２に固定する固定部材４４を有している。

透明パネル４１は、テレビジョン受像機１１〜１９の表示面に重畳されるため、例えば、ガラスやアクリル素材等の透明な材質の１枚の板状素材により構成される。なお、以下において、この透明パネル４１の大きさおよび形状は、設置台１０に設置されたときのテレビジョン受像機１１〜１９全体の大きさおよび形状と略同じとして説明するが、例えばテレビジョン受像機１１〜１９の全体の大きさより大きかったり、形状が互いに異なったりしてもよい。また、透明パネル４１が複数枚の板状素材を張り合わせたものであってももちろんよい。

枠４２は、この透明パネル４１を振動可能に支持する部材であり、フラットパネルスピーカ４０をテレビジョン受像機１１〜１９に重畳させた場合に、アレイ状に配置されたテレビジョン受像機１１〜１９の枠の、一番外側の部分に重畳される部材である。

各振動素子は、透明パネル４１を振動させる振動素子であり、いずれも、フラットパネルスピーカ４０がテレビジョン受像機１１〜１９に重畳された場合に、画像表示の邪魔にならないように、各テレビジョン受像機の枠（画像非表示部分）に重畳されるように配置される。なお、振動素子の数はいくつであってもよい。以下において、振動素子を互いに区別して説明する必要のない場合、振動素子５３と称する。

固定部材４４は、透明パネル４１に設置される振動素子４３を透明パネル４１（枠４２）とで挟み込むように枠４２に固定する部材であり、各振動素子４３の位置に応じて、各テレビジョン受像機の枠（画像非表示部分）に対応する位置に設けられる。上述したように、振動素子４３は、テレビジョン受像機１１〜１９の枠に対応する部分に設けられるため、固定部材４４は、テレビジョン受像機１１〜１９の枠の部分、つまり表示部分が網目となるような網状に形成される。

つまり、フラットパネルスピーカ４０は、スケーラブルＴＶシステムとして３行×３列に並べられて配置されたテレビジョン受像機１１〜１９の全体としての画像表示範囲の周囲だけでなく、その内部にも振動素子が設けられる。このとき、その内側の振動素子は各テレビジョン受像機の枠上（画像非表示部分）に位置するように設けられている。すなわち、フラットパネルスピーカ４０は、テレビジョン受像機１１〜１９の枠部分（画像非表示部分）を積極的に利用して、画像表示の妨げとならないように、画像表示範囲の内側に振動素子を配置している。これにより、フラットパネルスピーカ４０は、テレビジョン受像機１１〜１９による画像表示を妨げずに、画像表示範囲の周囲にのみ振動素子が配置された場合に比べて出力音圧を大きくすることができ、波形の歪みを抑制することができる。特に、フラットパネルスピーカ４０は、パネル全体を効率よく振動させることができるので、パネル全体を振動させなければ作り出すことのできない低音を容易に出力することができる。

さらに、上述したように、フラットパネルスピーカ４０は、パネル全体に振動素子が配置されているので、振動させる振動素子を切り替えるだけで、容易に、透明パネル上の任意の位置および範囲で音声を出力するように制御することができる（パネル全体の振動制御が容易になる）。例えば、テレビジョン受像機１１の表示面に画像が表示されている場合において、テレビジョン受像機１１の前面からのみ音声を出力するには、テレビジョン受像機１１の枠３５に対応する位置の振動子４３−１〜振動子４３−４を振動させるようにすればよい。

次に、このようなスケーラブルＴＶの電気的構成について説明する。図４に、本実施の形態によるシステムの内部構成例を示すブロック図を示す。

図４に示されるように、スケーラブルＴＶシステム１は、複数のチューナ５１と、複数の記録媒体５２と、制御部５０と、複数のディスプレイ（表示装置）５５と、その複数のディスプレイ５５の表面に取り付けられた複数のフラットパネルスピーカ５８と、メモリインタフェース（メモリＩ／Ｆ）６２から構成してある。チューナ５１は、例えば設置台１０に設置されたテレビジョン受像機に対応して設置され、放送局より受信したテレビジョン信号から、任意のチャンネルの番組の映像信号と音声信号を抽出する。記録媒体５２は、映像信号とビデオ信号を含むビデオデータなどを記憶するものであり、ハードディスクドライブなどの他、着脱可能なリムーバブルメディアでもよい。

このスケーラブルＴＶシステム１において、制御部５０には、映像信号および音声信号の入力先として、チューナ５１および記録媒体５２が接続されている。チューナ５１は、テレビジョン信号のような映像信号および音声信号を含む信号を制御部５０へ供給する。同様に、記録媒体５２はビデオ信号のような映像信号および音声信号を含む信号を制御部５０へ供給する。また、制御部５０には、映像信号の出力先として、ディスプレイ５５（例えば、テレビジョン受像機１１〜１９）が接続されている。また、制御部５０には、音声信号の出力先として、フラットパネルスピーカ５８（例えば、フラットパネルスピーカ２１〜２９）が接続されている。

制御部５０は、チューナ５１または記録媒体５２により得られる映像信号および音声信号を含む入力信号から、ユーザコマンドや音声出力ディスプレイ情報に基づいて出力用の映像信号や音声信号を生成し、それらを出力するディスプレイ（モニタ）やスピーカを選択し、その選択先に各信号を出力する。このような処理を行うために、制御部５０は、画像セレクタ５３、表示処理部５４、音声セレクタ５６、音変換処理部５７、音声出力モード処理モジュール５９、音変換係数６０、符号化部６１、不揮発性メモリ６４を有している。

画像セレクタ５３は、チューナ５１や記録媒体５２により得られる映像信号から、ユーザコマンドによる制御信号に基づいて、映像信号（画像）を選択するとともに表示するディスプレイを選択し、表示処理部５４に出力する。例えば、ユーザがリモコン装置３１を操作して、チューナ５１が受信するチャンネルの番組を選択するとともに、全画面、４画面、拡大画面等のいずれの表示態様でディスプレイに表示するのかを指定した場合、画像セレクタ５３は、選択された番組の映像信号を表示処理部５４に送るととともに、指定された表示態様の情報を表示処理部５４に送る。

表示処理部５４は、画像セレクタ５３から供給された映像信号に対して画像処理等、所定の処理を施すとともに、指定された表示態様の情報に基づいて、その映像信号の出力先として、ディスプレイ５５（テレビジョン受像機１１〜１９）の中から１つまたは複数選択し、その選択先に映像信号を出力し映像を表示させる。例えば、ユーザが設置台１０に設置されたテレビジョン受像機１１〜１９の全体に目的の映像を表示させたい場合、１つの画像を９分割処理して、分割した画像に対応する映像信号をテレビジョン受像機１１〜１９に出力する。

制御部５０は、音声信号生成部５０Ａ（音声信号生成手段）を有しており、この音声信号生成部５０Ａは、音声セレクタ５６、音変換処理部５７、音声出力モード処理モジュール５９、音変換係数６０から構成してある。

音声セレクタ５６（音声切り替え手段）は、チューナ５１や記録媒体５２により得られる音声信号から、ユーザコマンドおよび音声出力モード処理モジュール５９からの制御信号に基づいて、音声信号を選択するとともに出力するフラットパネルスピーカ（振動子）を選択し、音変換処理部５７に出力する。例えば、ユーザがリモコン装置３１を操作して、チューナ５１が受信するチャンネルの番組を選択するとともに、全画面、４画面、拡大画面等のいずれの表示態様でディスプレイに表示するのかを指定した場合、音声セレクタ５６は、選択された番組の音声信号を音変換処理部５７に送るととともに、指定された表示態様に対応するフラットパネルスピーカの振動子のみ振動するように制御する。さらに、画像が表示された複数のテレビジョン受像機の中からユーザがあるテレビジョン受像機を指定した場合、その指定されたテレビジョン受像機からまたはそのテレビジョン受像機の方向から音が聞こえるように、フラットパネルスピーカの振動させるべき振動子を選択し、音変換処理部５７に送る。

音声セレクタ５６は、フラットパネルスピーカ（一般的なコーン型等のスピーカにも適用される）の配置と出力音との関係についての情報（マッピングデータ）を内部に持っている。すなわち、スケーラブルＴＶシステムのディスプレイの配置とフラットパネルスピーカ（振動子）の配置関係に加えて、指定されたディスプレイに対してどのフラットパネルスピーカを鳴らすか（どの振動子を振動させるか）という情報が含まれている。このマッピングデータは、図示しない不揮発性のメモリに記憶されるが、不揮発性メモリ６４あるいはリムーバブルメディアに記憶されていてもよい。

例えば図１に示すスケーラブルＴＶシステム１において、テレビジョン受像機１１〜１９の前面に、それぞれ図２に示すようなフラットパネルスピーカが設置されている場合を考える。この場合において、ユーザがテレビジョン受像機１１を指定してこの方向から音が出力されるように設定すると、音声セレクタ５６は、指定されたテレビジョン受像機１１のディスプレイに対応して配置されたフラットパネルスピーカ２１の振動子３３−１〜振動子３３−１２を振動させるよう制御する。また他の例として、テレビジョン受像機１１〜１９の前面に、それぞれ図３に示すようなフラットパネルスピーカが設置されているとした場合において、ユーザがテレビジョン受像機１１を指定すると、音声セレクタ５６は、フラットパネルスピーカ４０の指定されたテレビジョン受像機１１の表示面に対応して配置された振動子４３−１〜振動子４３−４を振動させるよう制御する。

音変換処理部５７は、音声セレクタ５６より供給された音声信号に対し、音変換係数６０から供給された音変換係数に基づいて、音変換処理（音質変換処理、遅延処理）を行う。なお、後述するが音変換係数の選び方によっては、音変換処理前後で音質および遅延量が変化しない場合もある。この音変換処理に関しては後に詳細を記載する。

音声出力モード処理モジュール５９は、特許請求の範囲に記載された出力制御部の一例であり、ユーザコマンドおよび音声出力ディスプレイ情報に基づいて、音声セレクタ５６に振動を与えるべきスピーカ（振動子）を指示するとともに、受信したユーザコマンドに基づいて音変換係数６０の中から音変換処理部５７で音変換処理に使用する音変換係数を指示する。この音声出力ディスプレイ情報は、後述する仮想座席位置（仮想視聴位置）の情報を含み、音声出力モード処理モジュール５９は、ユーザコマンドと音声出力ディスプレイ情報によって、いずれの仮想座席位置が選択されたか判断し、判断結果を、音変換係数６０と音声セレクタ５６に送る。

音変換係数６０は、仮想座席位置と音変換係数および遅延量とが対応づけられたテーブル情報である。音変換係数６０において、音声出力モード処理モジュール５９からの仮想座席位置を含む制御信号に基づいて、音変換係数を抽出し音変換処理部に５７に出力する。この音変換係数６０は、図示しない不揮発性のメモリに記憶されるが、不揮発性メモリ６４あるいはリムーバブルメディアに記憶されていてもよい。

符号化部６１は、表示処理部５４から出力される映像信号および音声変換処理部６０から出力される音声信号を、所定の符号化方式により符号化処理してメモリＩ／Ｆ６２に出力する。符号化方式としては、一例としてＭＰＥＧ方式が挙げられるが、この例に限られない。符号化部６１で符号化された映像信号および音声信号は、メモリＩ／Ｆ６２を介してリムーバブルメディア６３に記録される。

リムーバブルメディア６３は、例えば半導体メモリを利用したメモリカードを使用できる。このリムーバブルメディア６３には、１つの画像を複数の表示領域（表示装置）に分割し、その分割した表示領域に対応する映像信号と、該映像信号ごとに音声信号が割り当てられ、各表示領域に対応して再生される音声信号が記録される。なお、リムーバブルメディアとしては、光ディスク記録媒体、相変化型記録媒体など、種々の記録媒体を利用することができる。

不揮発性メモリ６４は、制御部５０内の各部を動作させて映像信号および音声信号を生成するためのコンピュータプログラムやデータが記録されている。この不揮発性メモリ６４は、不揮発性の記憶手段であればよく、ハードディスクドライブなどの他、半導体メモリや着脱可能なリムーバブルメディアでもよい。

上述のように構成されたスケーラブルＴＶシステム１は、チューナ５１や記録媒体５２により得られた映像信号や音声信号が、画像セレクタ５３や音声セレクタ５６を通じてそれぞれ、各ディスプレイ（モニタ）５５やスピーカ５８に出力される。音声データに関しては、ユーザコマンドによる制御信号により選択された音変換係数６０を利用して音変換処理部５７により、仮想視聴位置の効果を向上させる処理が行われる。また、音声出力モード処理モジュール５９は、ユーザに指定されたディスプレイの方向から音が鳴るようにスピーカ（フラットパネルスピーカの振動子）を選択して、音声セレクタ５６に出力する。

次に、具体的に映像信号の内容（コンテンツ）の例を挙げて、様々な条件下での効果と処理内容について説明する。本実施の形態の例では、コンテンツの例として、オーケストラを対象とする。

本出願人が出願した特開２００６−３１３９６６号公報には、スタンドに取り付けて全周囲の音を集音できる器具（集音システム）が提案されている。本実施の形態は、このような器具を用いてオーケストラの映像および音源を収録した実施の形態の例である。

図５は、オーケストラの楽器配置例を示したものである。複数の楽器がそれぞれパートに別れて配置されている。弦楽器は観客席から見て手前に配置され、比較的高い音を出す弦楽器は向かって左側、低い音を出す弦楽器は向かって右側に位置し、木管楽器や金管楽器は正面方向、打楽器は左奥、合唱隊は上方（後方）に位置している。図５に示した例では、舞台の中央手前に指揮者、それから指揮者の近くにソリスト、第１バイオリン、第２のバイオリン、ヴィオラ、チェロが配置され、その奥にフルート、オーボエ、クラリネット、ファゴット、トランペット、トロンボーンが配置される。そして、左奥にはティンパニ打楽器、右側には手前からコントラバス、ホルン、チューバ等が配置される。合唱隊は一番奥に配置される。なお、本実施の形態では、オーケストラを上方から見たような映像になっているが、実際には、観客席上方から撮影したような映像（鳥瞰図）であると、全体の配置がより立体的にわかりやすいとともに、臨場感が高まる。

図６に、空間を分割して収録可能な集音システムの一例を示す。この集音システム７０では、ディスプレイ数（図１に示した例では、９個）に応じてほぼ全方向にマイクロホン（計９個）を配置してある。その集音システム７０の設置場所としては、図５に示すように、指揮者の前に設置をするのが望ましい。また、それぞれのパートごとに各マイクロホン７１の向きを上下左右に変えるようにする（パンチルトの微調整）。このとき各マイクロホン７１に入る音、は空間的に分割されていることが望ましい。さらに、多数のマイクロホン７１を配置したベース７２を安定的に、かつ、低い位置に配置することが望ましい。

例えば、図６で示されるように、３本の脚７３を図示しない固定穴または貫通穴に固定する。例えば、脚７３は、木製、樹脂、または金属で形成される。例えば、脚７３の長さは、ベース７２の直径より短くされる。より好ましくは、脚７３の長さは、ベース７２の半径より短くされる。脚７３を貫通穴に固定する場合には、ベース７２に対する脚７３の位置を自由に調整することができる。このようにすることで、多数のマイクロホン７１を配置したベース７２を安定的に、かつ、低い位置に配置することができる。その結果、ローアングルからの音を自在にとることができるようになる。

図６に示した集音システムの例は、特開２００６−３１３９６６号公報に提案されている器具の一つであり、この例に限られるものではない。

このような集音システム７０を用いて収録された音が、それぞれのフラットパネルスピーカ２１〜２９に出力される（図１参照）。図７は、図１に示す９個のフラットパネルスピーカに対応して各マイクロホン７１に番号Ａ〜Ｉを付した例を示したものである。そして、図８に示すように、各マイクロホン７１（Ａ〜Ｉ）で集音される音声を、スケーラブルＴＶシステム１のテレビジョン受像機１１〜１９に対応して配置されたフラットパネルスピーカ２１〜２９に割り当てる。

これにより、ユーザは、各パートの音をリモコン装置３１などの入力インタフェースを使って選択することができる。例えば、図９に示すように、例えば第１バイオリンの音が聴きたいときは、テレビジョン受像機１７（つまりフラットパネルスピーカ２７）を選択するなど、各空間（テレビジョン受像機に表示された画像）の音を選択できる。

また、それぞれのパートを組み合わせることができ、それぞれのパートの調和がとれているかが確認できる。例えば図１０に示すように、テレビジョン受像機１２（フラットパネルスピーカ２２）とテレビジョン受像機１９（フラットパネルスピーカ２９）を選択すれば、チェロやコントラバスの音に合唱が合っているか確認することができる。あるいは図１１に示すように、合唱による歌とソリストによる歌のタイミングや音程等が合っているか等を確認できる。

また、図１２に示すように、全てのフラットパネルスピーカ２１〜２９を鳴らしたとき（つまりテレビジョン受像機１１〜１９を選択したとき）は、オーケストラ全体の音を聴くことが可能である。

本実施形態によると、画像の視認性を確保できるディスプレイ一体型スピーカ装置を備えるスケーラブルＴＶシステムを用いて、ユーザが空間的に分割された音声を画面ごとに選択したり、それぞれの画面（ディスプレイ）から聞こえる音の調和を確認したりすることができる。

また、各パートの音のボリューム（音量）を調節するなど、観客席にいるのと同様な音量バランスをつくることが可能である。図１３に、仮想的な座席位置での音視聴例を示す。図１３に示すように、コンサート会場等では、任意の観客席（Ｓ１〜Ｓ５）に応じて各楽器からの距離が異なるので聞こえる雰囲気（音質、遅延量）が違う。この座席の幅は特に制限するものではないが、簡便のためオーケストラに向かって横に５分割した場合の例として説明する。縦に分割した場合にも適用可能なことは勿論である。図１３に示したシステムを使うことにより、任意の座席位置での音の雰囲気を楽しむことができる。

以下、本例の仮想的な座席位置での音視聴を実現する具体的な手段を説明する。

図１４は、音変換処理部５７（図４参照）の内部構成例を示すブロック図である。音変換処理部５７は、音声信号と各係数が入力され所定の音質変換処理を行う音質変換部５７−１と、音質変換処理された音声信号に対し遅延処理を行う遅延処理部５７−２とから構成される。

図１５に、座席表位置ごとの音変換係数をまとめた表の一例を示す。図４に示した音変換係数６０の内部に、各座席番号（Ｓ１〜Ｓ５）に対する各ディスプレイＡ〜Ｉ（テレビジョン受像機１１〜１９）への出力音声に掛かる音質係数Ｖと遅延量Ｄが一覧する形で入力されている。この音質係数Ｖは周波数軸のデータとして持つことができる。すなわち周波数（パート）ごとのボリューム変化量としての情報を含んでいる。座席番号Ｓ３のとき座席位置が中央となるので（図１３参照）、この座席位置を基準としている。つまり、音質係数Ｖの値を１．０とすることで、音質変換部５７−１による変換前後で音質が変化しないようにしてある。また遅延量Ｄも、座席位置がＳ３のときその値を０として遅延処理部５７−２による遅延処理前後で遅延量が変わらない。

図１５に示す音質係数および遅延量を得るには、仮想音源位置である仮想座席位置Ｓ１〜Ｓ５のそれぞれにおいて、各楽器（パート）から仮想座席位置Ｓ１〜Ｓ５までの音響伝達関数を求める必要がある。

これらの音響伝達関数は、例えば各楽器の配置位置に実スピーカを設置して、各位置に設置した実スピーカからインパルス音を放音し、仮想座席位置Ｓ１〜Ｓ５にそれぞれ聴取点を設け、それぞれの聴取点でのインパルス応答を測定することにより求めることができる。すなわち、それぞれの聴取点で測定したインパルス応答がインパルス音を放音した場合の実音源位置（各楽器）から仮想座席位置Ｓ１〜Ｓ５までの音響伝達関数である。

このようにして求められた各座席位置における音響伝達関数（音質係数および遅延量）を用いて、座席位置Ｓ３における音声信号に対して畳み込み（音変換）を行い、各座席位置における仮想的な音視聴が実現される。

図１６のフローチャートを参照して、スケーラブルＴＶシステム１による座席位置に基づく音変換処理例を示す。各座席での雰囲気を確認したい場合、ユーザはリモコン装置３１などを用いて音変換処理を実行するアプリケーションソフトウェアを起動させ、図示しないメニュー上で座席ＩＤ（座席位置を識別する番号Ｓ１〜Ｓ５）を選択する。スケーラブルＴＶシステム１はリモコン信号受信部３０（図１参照）よりリモコン信号を受信する（ステップＳ１）。そして、リモコン信号に含まれる座席ＩＤを受信する（ステップＳ２）。

次に、スケーラブルＴＶシステムの画像セレクタ５３および音声セレクタ５６（図４参照）は、リモコン信号（ユーザコマンド）に基づいて、チューナ５１または記録媒体５２から音声信号を選択するとともに、ディスプレイ（フラットパネルスピーカ）を選択する（ステップＳ３）。さらに、リモコン装置３１から発せられたユーザコマンドは、音声出力モード処理モジュール５９に入力され、座席ＩＤに基づき、音変換係数６０（図４参照）の内部係数（音質係数Ｖ、遅延量Ｄ）が抽出される（ステップＳ４）。

抽出された内部係数は、音変換処理部５７に入力される。そして、音変換処理部５７の音質変換部５７−１および遅延処理部５７−２によって、選択されたモニタＡ〜Ｉ（すなわち、テレビジョン受像機１１〜１９およびフラットパネルスピーカ２２〜２９に対応）に出力される音声信号に対し、各音質係数Ｖと遅延量Ｄよりなる係数に基づく音変換処理の演算が行われる（ステップＳ５）。

このような実際の座席位置とは異なる仮想的な座席位置であたかもその座席で音を視聴しているかのような効果を奏する処理は、仮想音像定位処理とも呼ばれる。このようにすることにより、画像の視認性を確保できるディスプレイ一体型スピーカ装置を備えるスケーラブルＴＶシステムを用いて、収音現場における仮想座席位置での音声の聞こえ方が確認できるようになる。

この遅延量に関しては、実際の楽器への代表距離差から求めてもよい。つまり、上述したように実測ではなく、机上の計算から求める手法である。図１７は、仮想座席位置Ｓ１に対する遅延量を求める場合の例を示したものである。図１７に示すように、座席ＩＤＳ１からコントラバスの代表地点までの代表距離を距離ｄとして、音変換係数６０内など、不揮発性のメモリに記憶しておく。不揮発性のメモリに、各楽器と各座席位置の組合せごとにその距離を登録しておく。この距離d と音速との比例関係から遅延量を求めることができる。このようにして計算した遅延量を、遅延処理部５７−２の遅延処理に用いることもできる。

図１８に示すフローチャートを参照して、遅延量計算を使った場合の音変換処理例を説明する。図１８におけるステップＳ１１〜Ｓ１３の処理は、図１６におけるステップＳ１〜Ｓ３の処理と同じなので、説明を割愛する。ステップＳ１３の処理が終了後、リモコン装置３１から発せられたユーザコマンドは、音声出力モード処理モジュール５９に入力され、座席ＩＤに基づき、音変換係数６０（図４参照）の内部係数（音質係数Ｖ）が抽出される。同時に、上記手法により、音変換係数の遅延量を計算する（ステップＳ１４）。

抽出された内部係数（音質係数Ｖ）は、音変換処理部５７に入力される。そして、音変換処理部５７の音質変換部５７−１および遅延処理部５７−２によって、選択されたモニタＡ〜Ｉ（すなわち、テレビジョン受像機１１〜１９およびフラットパネルスピーカ２２〜２９に対応）に出力される音声信号に対し、各音質係数Ｖと計算により求めた遅延量よりなる係数に基づく音変換処理の演算が行われる（ステップＳ１５）。

このようにしたことにより、計算により目的の楽器と座席配置との組合せにおける遅延量を求めることができるので、遅延量の実測が不要となり、楽器の配置が変更となっても容易に対応することができる。

次に、本発明の第２の実施の形態の例を説明する。
図１９は、本発明の第２の実施の形態に係るスケーラブルＴＶシステムの構成例を示したものである。スケーラブルＴＶシステム８０は、第１の実施の形態におけるスケーラブルＴＶシステム１と同様、テレビジョン受像機１１〜１９より構成される表示手段を有している。ただし、第１の実施の形態によるスケーラブルＴＶシステム１では、各テレビジョン受像機の前面にそれぞれフラットパネルスピーカを配置していたが、本実施の形態によるスケーラブルＴＶシステム８０では、テレビジョン受像機１１〜１９の周囲４辺に、コーン型などから構成される複数のスピーカ８１を配置した例としてある。なお、スピーカの配置および個数はこの例に限られるものではない。例えば、特許文献４（特開２００７−５３６１０号公報）の図２等に記載されているような態様でもよい。

指定されたテレビジョン受像機（ディスプレイ）の位置に応じて、このテレビジョン受像機１１〜１９の周囲に配置したスピーカ８１を適宜選択して、音を出力することにより、上述したスケーラブルＴＶシステム１と同様の効果が得られる。

例えば、図９に示すように第１バイオリンが表示されたテレビジョン受像機１７が選択された場合、下側の左３個のスピーカ８１と左側の下２個のスピーカ８１を選択するようにする。また、図１０に示すようにテレビジョン受像機１２とテレビジョン受像機１９が選択された場合、上側の中央１個または３個のスピーカ８１を選択するとともに、下側の右３個のスピーカ８１と右側の下２個のスピーカ８１を選択するようにすればよい。

次に、本発明の第３の実施の形態の例を説明する。
図２０は、本発明の第３の実施の形態に係るＴＶシステム（テレビジョン受像機）の例を示したものである。この例では、個別のテレビジョン受像機の組合せから大きな表示装置（スケーラブルＴＶシステム）を構成するのではなく、一つのテレビジョン受像機９０の表示画面を複数の表示領域９１〜９９に分割し、かつその両側に複数のコーン型等のスピーカ１００Ｌ−１〜スピーカ１００Ｌ−６およびスピーカ１００Ｒ−１〜スピーカ１００Ｒ−６を配置する。そして、選択された表示領域に基づいて、その表示領域と対応する所定のスピーカから音を鳴らすようにする。

例えば、図２０に示す表示領域９１〜９９からなる表示画面に、図８に示すオーケストラが表示されている場合について説明する。図９に示すように第１バイオリンが表示されている表示領域９７（テレビジョン受像機１７に相当）が選択された場合、左側の下２個のスピーカ１００Ｌ−５とスピーカ１００Ｌ−６を選択するようにする。また、図１０に示す場合と同じように表示領域９２，９９（テレビジョン受像機１２，１９に相当）が選択された場合、例えば左右上端のスピーカ１００Ｌ−１，１００Ｒ−１を選択するとともに、右側の下２個のスピーカ１００Ｒ−５とスピーカ１００Ｒ−６を選択するようにすればよい。

ただし、図２０に示す例の場合、表示領域とユーザが感じる音の出所が一致しない、あるいはその効果が弱いことも考えられる。その場合、図１３〜図１８を参照して説明した仮想音像定位処理を左右に配置されたスピーカに供給される音声信号に適用し、あたかも選択された表示領域から音が鳴っているように仮想音像を定位させる処理を施すとよい。

このようにした場合、一つのテレビジョン受像機の表示画面を複数の表示領域に分割することにより、複数のテレビジョン受像機を用意することなく、図１および図１９に示した例と同様の作用効果を奏することができる。

次に、本発明の第４の実施の形態の例を説明する。
図２１は、本発明の第４の実施の形態に係るスケーラブルＴＶシステムの構成例を示したものである。本例のスケーラブルＴＶシステム１１０は、図１に示したスケーラブルＴＶシステム１に対して、各テレビジョン受像機１１〜１９の前面にフラットパネルスピーカを設けずに、スケーラブルＴＶシステム１１０の前方にいるユーザ１１１の近くに例えば２つのスピーカ１１２Ｌとスピーカ１１２Ｒを配置するようにしている。スピーカ１１２Ｌとスピーカ１１２Ｒと、スケーラブルＴＶシステム１１０は、それぞれ有線または無線のケーブルで接続してある。

この場合も、上述した音響伝達関数を利用した仮想音像定位処理を応用することにより、選択されたテレビジョン受像機から音が聞こえてくるような効果を得ることができる。例えば、スピーカ１１２Ｌとスピーカ１１２ＲからスケーラブルＴＶシステム１１０の前方にいるユーザ２までの音響伝達関数を測定する。また、各テレビジョン受像機１１〜１９からユーザ２までの音響伝達関数をそれぞれ測定する。そして、スピーカ１１２Ｌおよびスピーカ１１２Ｒの音響伝達関数に、選択されたテレビジョン受像機の音響伝達関数をたたみ込むことにより、あたかも選択されたテレビジョン受像機の表示画面から音が聞こえるように仮想音像を定位することができる。

このようにした場合、図１の例と比較して、スピーカの個数が削減できるので、費用を抑えられる。

以上説明したように、上述した第１〜第４の実施の形態によると、ユーザは、複数の表示領域（複数の画面）に分割された一つの画像を見ながら、音の選択ととともに任意の空間の音の調和を確認することができる。

また、現場での音量バランスと同じような感覚で音を聞くことができるようになる。すなわち実際と異なる仮想的な視聴位置の音も確認することができる。

なお、上述した各実施の形態においては、コンテンツの例としてオーケストラの例を説明したが、スポーツなど空間的に音源を分割できる場について、同様に適用することができる。例えば、野球を例にとると、ライトスタンド側の応援、レフトスタンド側の応援、両チームのベンチ内の声、審判の声、各選手にマイクロホンをつけてもらって集音した音、など、空間的に種々の音を分割して集音することができる。

また、スケーラブルＴＶシステムのスピーカは、上述したようにフラットパネルスピーカを代表としたが、各モニタ（ディスプレイ）と一体または近傍に設置したスピーカであればよい。あるいは、図２１のように、仮想音像定位処理を用いれば、ディスプレイと離れていてもよい。また、上述した各システムは、モニタの数または表示領域の分割数を増やすことが可能であり、そのモニタ数に応じてマイクロホンを増やすことができる。

さらに、このスケーラブルＴＶシステムは、図中ではモニタ（例えば、テレビジョン受像機）間を密着して描いているが、モニタ間を離すことも可能であり、その状態でも音を視聴することが可能である。

また、コンテンツとして利用される画像は、動画やストリーム画像が好ましいが静止画でもよい。

本発明の第１の実施形態に係るスケーラブルＴＶシステムの構成例を示す斜視図である。 本発明の第１の実施形態に係るフラットパネルスピーカの例を示す分解斜視図である。 本発明の第１の実施形態に係る他のフラットパネルスピーカの例を示す分解斜視図である。 本発明の第１の実施形態に係るシステムの内部構成例を示すブロック図である。 本発明の第１の実施形態に係るオーケストラの楽器配置例を示す舞台上面図である。 本発明の第１の実施形態に係るマイクロホンの配置例を示す説明図である。 本発明の第１の実施形態に係るフラットパネルスピーカに対応したマイクロホン番号の例を示す説明図である。 本発明の第１の実施形態に係るマイクロホンとフラットパネルスピーカの対応例を示す説明図である。 本発明の第１の実施形態に係るフラットパネルスピーカの選択例を示す説明図である。 本発明の第１の実施形態に係るフラットパネルスピーカの組合せ例を示す説明図である。 本発明の第１の実施形態に係るフラットパネルスピーカの組合せ例を示す説明図である。 本発明の第１の実施形態に係る全てのフラットパネルスピーカを選択した例を示す説明図である。 本発明の第１の実施形態に係る仮想的な座席位置での音視聴の例を示す説明図である。 本発明の第１の実施形態に係る音変換処理部の内部構成例を示すブロック図である。 本発明の第１の実施形態に係る座席位置ごとの音変換係数例を示す表である。 本発明の第１の実施形態に係る座席位置に基づく音変換処理例を示すフローチャートである。 本発明の第１の実施形態に係る座席位置ごとの遅延量の算出方法を示す説明図である。 本発明の第１の実施形態に係る遅延量計算を用いた場合の音変換処理例を示すフローチャートである。 本発明の第２の実施形態に係るスケーラブルＴＶシステムの例を示す説明図である。 本発明の第３の実施形態に係るＴＶシステム（テレビジョン受像機）の例を示す説明図である。 本発明の第４の実施形態に係るスケーラブルＴＶシステムの例を示す外観図である。

符号の説明

１…スケーラブルＴＶシステム、１１〜１９…テレビジョン受像機、２１〜２９，４０…フラットパネルスピーカ、５１…チューナ、５２…記録媒体、５３…画像セレクタ、５４…表示処理部、５５…ディスプレイ、５６…音声セレクタ、５７…音変換処理部、５７−１…音質変換部、５７−２…遅延処理部、５８…スピーカ、５９…音声出力モード処理モジュール、６０…音声変換係数、６１…符号化部、６２…メモリＩ／Ｆ、６３…メモリカード、６４…制御部、６５…不揮発性メモリ、７０…集音システム、７１…マイクロホン、８０…スケーラブルＴＶシステム、８１…スピーカ、９０…テレビジョン受像機、９１〜９９…表示領域、１００Ｌ−１〜１００Ｌ−６，１００Ｒ−１〜１００Ｒ−６…スピーカ、１１０…スケーラブルＴＶシステム、１１２Ｌ，１１２Ｒ…スピーカ

Claims (17)

1. 複数の表示領域に分割して表示された１つの画像に関して音声信号を生成する音声信号生成装置であって、
   指定された１以上の表示領域に割り当てられた音声信号を生成する音声信号生成手段、
   を備える音声信号生成装置。
2. 前記指定された表示領域に割り当てられた音声信号は、当該指定された表示領域に表示された画像の内容に対応する音声信号である、
   請求項１に記載の音声信号生成装置。
3. 前記指定された表示領域に表示された画像の内容に対応する音声信号は、当該指定された表示領域に表示された事物が発生する音から生成される、
   請求項２に記載の音声信号生成装置。
4. 前記音声信号生成手段により生成された音声信号をスピーカに出力する、
   請求項３に記載の音声信号生成装置。
5. 前記スピーカは、複数の表示領域に分割された画像を表示できる装置とほぼ一体にまたはその近傍に設置される、
   請求項４に記載の音声信号生成装置。
6. 前記複数の表示領域に分割された画像を表示できる装置に対し、前記複数の表示領域の配置と対応して複数の前記スピーカが配置される、
   請求項５に記載の音声信号生成装置。
7. 前記音声信号生成手段は、前記指定された表示領域に応じた音声信号を、前記指定された表示領域に対応して配置されたスピーカに出力する、
   請求項６に記載の音声信号生成装置。
8. 前記スピーカは、複数の表示領域に分割された画像を表示できる装置と離れて設置され、
   前記音声信号生成手段は、前記指定された表示領域に割り当てられた音声信号を、前記スピーカに出力する、
   請求項４に記載の音声信号生成装置。
9. 前記音声信号生成手段は、前記指定された表示領域に割り当てられた音声信号に対し、前記指定された表示領域から音が出力されているような仮想音像定位処理を実施する、
   請求項８に記載の音声信号生成装置。
10. 前記複数の表示領域に分割された画像を表示できる表示手段を更に備える、
    請求項３に記載の音声信号生成装置。
11. 前記表示手段は、１つの表示領域を１つの表示装置により表示する、
    請求項１０に記載の音声信号生成装置。
12. 前記表示装置の前面の画像表示部分にフラットパネルスピーカが配置されている、
    請求項１１に記載の音声信号生成装置。
13. 入力される制御信号を受信し、該制御信号に基づき指定された表示領域を指示する出力制御部を更に備え、
    前記音声信号生成手段は、前記出力制御部の指示に基づいて前記指定された表示領域に割り当てられた音声信号を生成する、
    請求項３に記載の音声信号生成装置。
14. 仮想聴取位置と音変換係数とを対応づけて記憶する記憶部を更に備え、
    前記音声信号生成手段は、前記出力制御部が受信した前記制御信号に含まれる仮想聴取位置情報に対応する音変換係数を前記記憶部から選択し、該選択した音変換係数に基づいて前記指定された表示領域に割り当てられた音声信号の変換処理を行う、
    請求項１３に記載の音声信号生成装置。
15. 複数の表示領域に分割して表示された１つの画像に関して音声信号を生成する音声信号生成方法であって、
    入力される制御信号を受信し、該制御信号に基づき指定された１以上の表示領域を音声信号生成手段に指示するステップと、
    前記指定された表示領域に割り当てられた音声信号を前記音声信号生成手段にて生成するステップと、
    を含む音声信号生成方法。
16. 複数の表示領域に分割して表示された１つの画像に関して音声信号を生成するための音声信号生成プログラムであって、
    入力される制御信号を受信し、該制御信号に基づき指定された１以上の表示領域を音声信号生成手段に指示する手順と、
    前記指定された表示領域に割り当てられた音声信号を前記音声信号生成手段にて生成する手順を、
    コンピュータに実行させるための音声信号生成プログラム。
17. １つの画像を複数の表示領域に分割し、該分割した表示領域に対応する映像信号と、該映像信号ごとに音声信号が割り当てられ、指定された１以上の表示領域に対応して再生される音声信号が記録された、
    コンピュータ読み取り可能な記録媒体。

Images