JP6758956B2 - 制御装置、制御方法およびプログラム - Google Patents

Description

本発明は、収音対象エリアの収音状態を表示する制御装置、制御方法およびプログラムに関する。

スタジアムのような大規模な収音対象エリアで収音を行う場合、収音対象エリアに配置された複数の収音部の指向性による収音状態を把握できることが望ましい。
特許文献１では、収音対象エリアの表示に指定範囲を表す表示を重畳し、ユーザの操作入力による指定範囲の変更に応じて、収音部の指向制御を行っている。
特許文献２では、撮影した映像信号の各分割領域に、対応するチャンネルの収音された音響信号のレベルをバー状のレベルメータで重畳表示している。

特開２０１５−１９８４１３号公報 特開２０１４−１２７７３７号公報

特許文献１の方法では、収音対象エリアの表示に重畳される指定範囲の表示からは、収音部の指向性による収音状態を把握することはできない。
特許文献２の方法では、複数の収音された音響信号のレベルを把握することはできるが、収音部が形成する指向性による収音状態を把握することはできない。
本発明は上記課題を解決するために成されたものであり、収音対象エリアの音を収音する収音部の指向性による収音状態を容易に認識することができる制御装置、制御方法およびプログラムを提供することを課題とする。

上記課題を解決するため、本発明に係る制御装置のある態様によれば、収音対象エリアの音を収音する収音部の指向性に関する情報を取得する取得手段と、前記収音対象エリアを表すエリア画像と、前記取得手段により取得された情報により特定される前記収音部の指向性に応じた収音範囲を表す範囲画像であって前記収音範囲における音の大きさを表す範囲画像と、が重畳された重畳画像を表示部に表示させる表示制御手段と、を有し、前記表示制御手段は、前記収音部の指向性のビームパターンの方向と前記収音対象エリアの平面によって形成される角度に基づいて前記範囲画像の形状を決定することを特徴とする制御装置が提供される。

以上の構成を有する本発明によれば、収音対象エリアの音を収音する収音部の指向性による収音状態を容易に認識することができる。

本発明の実施形態に係る信号処理システムのブロック図。 収音対象エリアを示す図。 実施形態のコンピュータの構成を示すブロック図。 表示処理を示すフローチャート。 収音状態の表示の例を示す図。 収音部の表示の例を示す図。 指向性の断面の例を示す図。 収音範囲への収音レベル表示例。 収音部への収音レベル表示例。

以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜実施形態＞
図１は、本発明の実施形態に係る信号処理システム１の構成を示すブロック図である。信号処理システム１は、システム全体の制御を行う制御装置１０、収音対象エリアに配置されたＭ個の収音部３_１〜３_ＭおよびＣ個の撮影部４_１〜４_Ｃを備えている。制御装置１０と各収音部３_１〜３_Ｍおよび各撮影部４_１〜４_Ｃはネットワーク２で接続されている。
収音部３_１〜３_Ｍは、指向性マイクもしくはマイクアレイで構成され、収音に係るＩ／Ｆを備え、収音している音響信号をネットワーク２を介して制御装置１０に供給する。マイクアレイは例えば、複数のマイク素子が全方位に等方的に配置された球形マイクアレイで構成される。撮影部４_１〜４_Ｃは、カメラで構成され、撮影に係るＩ／Ｆを備え、撮影している映像信号をネットワーク２を介して制御装置１０に供給する。なお、収音部３_１〜３_Ｍは、撮影部４_１〜４_Ｃの少なくとも一つと位置および姿勢関係が明らかなように配置されているものとする。

収音部３_１〜３_Ｍは、収音対象エリアの音を収音する。収音対象エリアとは、各収音部３_１〜３_Ｍによって収音を行う対象となる領域のことである。本実施形態では、例えば図２に示すように、グラウンドエリア３１および観客席エリア３２〜３９を有する競技場（スタジアム）５を収音対象エリアとする。ここで図２は、収音対象エリアであるスタジアム５の３Ｄモデルを真上から見た場合の、二次元的な表示となっている。
例えば収音部３_１〜３_９は、指向性マイクで構成されている。また例えば収音部３_３０、３_４０および収音部３_５１、３_５２は、マイクアレイで構成されている。

収音部３_１〜３_４は観客席エリア３２に配置されており、観客席エリア３２内の音を収音する。収音部３_５、３_８、３_９は夫々観客席エリア３３、３８、３９に配置されており、夫々観客席エリア３３、３８、３９内の音を収音する。収音部３_６、３_７は観客席エリア３６に配置されており、観客席エリア３６内の音を収音する。また、収音部３_３０、３_４０は、夫々観客席エリア３４、３８に配置されており、観客席エリア３４、３８内の音を収音する。収音部３_５１、３_５２は、グラウンドエリア３１から離れた位置に設置されており、グラウンドエリア３１内の所定の領域（分割エリア）内の音を遠方から収音する。

制御装置１０は、各種データを記憶しておく記憶部１１、信号解析処理部１２、幾何処理部１３、表示部１４、表示処理部１５、操作検出部１６、収音制御部１７を備えている。
制御装置１０は、収音部３_１〜３_Ｍから供給された音響信号と、撮影部４_１〜４_Ｃから供給された映像信号とを記憶部１１に遂次記録する。
また、記憶部１１には、収音対象エリア（スタジアム）の３Ｄモデル、指向性マイクのビームパターン、指向性形成のフィルタ係数、各方向の音源とマイクアレイの各マイク素子間の伝達関数等のデータも格納されている。

信号解析処理部１２は、音響信号や映像信号の解析処理を行う。例えば、収音部（マイクアレイ）が収音している音響信号に対し、指向性形成のフィルタ係数を選択して掛け合わせることで、各収音部の指向性を形成する。幾何処理部１３は、収音部の位置および姿勢、形状等に係る処理を行う。この幾何処理部１３は、収音対象エリアの音を収音する複数の収音部夫々の指向性による収音対象エリア上の収音範囲を検出する。表示部１４は、ディスプレイであり、本実施形態ではタッチパネルで構成されるものとする。表示処理部１５は、収音対象エリアの収音状態に係る表示を生成し、表示部１４に表示する。すなわち、表示処理部１５は、表示部１４に、収音対象エリアを示す表示に、収音部の指向性に応じた表示を重畳表示させる。収音部の指向性に応じた表示には、収音部の位置、指向方向、収音範囲等が含まれる。また、表示処理部１５は、収音対象エリアを示す表示に、各収音部の指向性による収音対象エリアの収音範囲に応じた表示を重畳表示させる。操作検出部１６は、タッチパネルで構成される表示部１４へのユーザ操作入力を検出する。収音制御部１７は、収音部の収音ゲインの取得および調整や、収音部の機構的な制御（例えば収音部が指向性マイクで構成されており、遠隔制御可能な雲台等を備えている場合であれば、雲台の遠隔制御による収音部の位置および姿勢の変更等）を行う。

（ハードウェア構成）
図１の制御装置１０の各機能ブロックはプログラムとして、後述するＲＯＭ２２等の記憶部に記憶され、ＣＰＵ２１によって実行される。なお、図１に示す機能ブロックの少なくとも一部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。

図３は、制御装置１０のハードウェア構成の一例を示している。制御装置１０は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、外部メモリ２４、入力部２５、出力部２６を有する。
ＣＰＵ２１は、入力された信号やプログラムに従って、各種の演算や制御装置１０を構成する各部分の制御を行う。具体的には、ＣＰＵ２１は、収音対象エリアの音を収音する複数の収音部夫々の指向性による収音対象エリア上の収音範囲の検出、表示部１４に表示させる表示画像の生成等を行う。前述した図１の機能ブロックは、ＣＰＵ２１によって実行される機能を図示したものである。

ＲＡＭ２３は、一時的なデータを記憶し、ＣＰＵ２１の作業用に使われる。ＲＯＭ２２は、図１に示した各機能部を実行するためのプログラムや、各種の設定情報を記憶する。外部メモリ２４は、例えば、着脱可能なメモリカードであり、ＰＣ（パーソナルコンピュータ）などに装着してデータを読み出すことが可能である。
また、ＲＡＭ２３あるいは外部メモリ２４の所定の領域は記憶部１１として使われる。
入力部２５は、各収音部３_１〜３_Ｍから供給された音響信号をＲＡＭ２３あるいは外部メモリ２４の記憶部１１として使われる領域に格納する。また、入力部２５は、各よび各撮影部４_１〜４_Ｃから供給された映像信号をＲＡＭ２３あるいは外部メモリ２４の記憶部１１として使われる領域に格納する。出力部２６は、ＣＰＵ２１が生成した表示画像を表示部１４に表示させる。

（表示処理詳細）
以下、本実施形態における表示処理の詳細について、図４のフローチャートに沿って説明する。
Ｓ１では、幾何処理部１３と信号解析処理部１２が連携して、各撮影部４_１〜４_Ｃの位置および姿勢を算出する。さらに、幾何処理部１３と信号解析処理部１２が連携して、何れかの撮影部と位置および姿勢の関係が明らかである各収音部３_１〜３_Ｍの位置と姿勢を算出する。ここで、位置および姿勢はグローバル座標系で記述するものとする。例えばグラウンドエリア３１の中心にグローバル座標系の原点を取り、グラウンドエリア３１の各辺と平行になるようにｘ軸およびｙ軸を設定し、ｘ軸およびｙ軸と垂直な上方向にｚ軸を設定する。これによりグラウンドエリア３１は、ｚ＝０でｘ座標およびｙ座標の範囲が限定された、グラウンドエリア平面として記述される。
各撮影部の位置および姿勢は、カメラキャリブレーションと呼ばれる公知の手法により、例えばグラウンドエリアに広く配置したキャリブレーション用のマーカを複数の撮影部で撮影し、得られた複数の映像信号を用いて算出することができる。そして、各撮影部４_１〜４_Ｃの位置および姿勢が分かれば、少なくとも何れかの撮影部と位置および姿勢関係が明らかである各収音部３_１〜３_Ｍの位置および姿勢を算出することができる。

なお、収音部３_１〜３_Ｍの位置及び姿勢を算出する方法は、映像信号から算出する方法に限らず、例えばグラウンドエリア３１にキャリブレーション用の音源を配置し、各収音部で収音した音響信号から収音部３_１〜３_Ｍの位置及び姿勢を算出するようにしてもよい。例えば、特開２０１４−１７５９９６号公報に記載された技術を適用することができる。また、各収音部がＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機や姿勢センサを備えることで、収音部３_１〜３_Ｍの位置および姿勢を取得するようにしてもよい。
また、キャリブレーション用のマーカ、音源、ＧＰＳ受信機等をグラウンドエリア３１の例えば四隅にも配置しておくことで、このＳ１において、グローバル座標系におけるグラウンドエリア３１四隅の位置を取得することができる。

Ｓ２では、幾何処理部１３が、記憶部１１が保持している収音対象エリア（スタジアム５）の３Ｄモデルの例えばグラウンドエリア３１の四隅をＳ１で取得したグラウンドエリア３１の四隅の位置に対応させる。これにより、収音対象エリアの３Ｄモデルをグローバル座標系に対応付けることができる。つまり、Ｓ２では、グローバル座標系で記述する。
ここで、収音対象エリアであるスタジアムの３Ｄモデルは、図２のグラウンドエリア３１だけでなく、観客席エリア３２〜３９の情報も有しているものとする。このため、収音対象エリアとしてｚ＝０上のグラウンドエリア平面だけでなく、グラウンドエリア平面に対して傾きを有する観客席エリア３２〜３９についても、観客席エリア平面としてグローバル座標系で記述することができる。
なお、Ｓ２おいては、必ずしも収音対象エリアの３Ｄモデルを用いなくてもよい。すなわち、Ｓ１でキャリブレーション用のマーカ、音源、ＧＰＳ受信機等を観客席エリアにも配置できる場合には、収音対象エリアであるグラウンドエリア平面および観客席エリア平面の両方について、グローバル座標系における記述がＳ１で得られる。このため、Ｓ２の処理は不要になる。

制御装置１０は、表示に係るＳ３〜Ｓ１２の処理を、所定の時間長を有する時間ブロックごとに行うものとし、時間ブロックループの中で繰り返し実行する。ただし、収音レベルに係るＳ７〜Ｓ１２の処理のみ時間ブロックごとに行い、それ以外の処理は最初の時間ブロックでのみ行うようにしてもよい。
Ｓ３では、表示処理部１５が、Ｓ２でグローバル座標系に対応づけた収音対象エリア（スタジアム５）の３Ｄモデルをもとに、収音対象エリアを構成する図２のグラウンドエリア３１および観客席エリア３２〜３９の模式的な表示６を図５のように生成する。ここで図５は、収音対象エリアであるスタジアム５の３Ｄモデルを真上から見た場合の、二次元的な表示となっている。
このＳ３では、表示処理部１５は、まず、グラウンドエリア３１と観客席エリア３２〜３９に対応するグランドエリアの表示３１’と観客席エリアの表示３２’〜３９’を生成する。

制御装置１０は、Ｓ４〜Ｓ１１を、収音部ごとに行われる処理であるため、収音部ループの中で繰り返し実行する。
Ｓ４では、表示処理部１５が、Ｓ１で算出した各収音部３_１〜３_Ｍの位置および姿勢が明確になるように表示を生成する。さらに、表示処理部１５は、生成した表示をＳ３で生成した収音対象エリアの表示にさらに重畳表示させる。これにより、各収音部３_１〜３_Ｍの位置および姿勢を示す表示が表示される。すなわち、表示処理部１５は、収音対象エリアを示す表示３１’〜３９’に、収音部の指向性に応じた表示を重畳表示させる。
具体的には、収音部が指向性マイクで構成される場合は、表示処理部１５は、例えば図５の収音部の表示３１１〜３１９のように、指向性マイクを模式的に表す長方形で表示する。すなわち、表示処理部１５は、長方形で刻み線（図６の３１１ａ）がある方の短辺の中点（図６の３１１ｂ）を収音部の位置に対応させ、刻み線がない方からある方へ向かう方向（図６の矢印Ｘの方向）を収音部の方向（指向性マイクの軸方向）に対応させる。もしくは、中点３１１ｂの代わりに、長方形の中心など任意の位置を収音部の位置に対応させてもよい。なお、指向性マイクの指向性が鋭いほど長方形の長辺を長くしたり、長方形ではなく台形として、その上底と下底の比で収音部の仰角を表現したりしてもよい。

また、表示処理部１５は、例えば図２の収音部３_３０、３_４０、３_５１、３_５２のように、収音部がマイクアレイで構成される場合は、図５に示すように、収音部を、マイクアレイを模式的に表す円（３３０、３４０、３５１、３５２）で表示する。すなわち、表示処理部１５は、円の中心（もしくは半径方向の切れ目がある円の端でもよい）を収音部の位置に対応させ、円の中心から見て半径方向の切れ目がある方向を収音部の方向（マイクアレイの正面方向）に対応させる。なお、マイクアレイのサイズが大きいほど、またはマイクアレイを構成するマイク素子数が多いほど、円の半径を大きくするようにしてもよい。例えば図５の例では、表示処理部１５は、収音部３_５１〜３_５２の表示３５１、３５２の円の半径を、収音部３_３０、３_４０の表示３３０、３４０の円の半径より、大きくする。
なお、収音部を模式的に表す方法は上記に限らず、例えば二等辺三角形の頂点の位置を収音部の位置に、底辺の中点から頂点に向かう方向を収音部の方向に対応させるなど、位置と方向を表現可能な任意の図形、表現等を用いることができる。

次に、収音部が指向性マイクでなくマイクアレイで構成される場合は、単一の収音部（マイクアレイ）が複数の指向性を形成して、複数の収音範囲を担う場合がある。このため、制御装置１０は、各収音部の指向性に係るＳ５〜Ｓ１１の処理を、指向性ループの中で繰り返し実行する。
Ｓ５では、信号解析処理部１２が、現在の収音部ループが対象とする収音部について、現在の指向性ループが対象とする指向性のビームパターンを取得し、幾何処理部１３が、このビームパターンに応じて収音範囲を算出する。この実施形態において、収音部の指向性による収音範囲とは、例えば収音部による収音を行う収音対象エリアの範囲とし、以下のように算出する。

まず、観客席エリア３２〜３９の収音を行う収音部３_１〜３_９について考える。
収音部が指向性マイクで構成される場合は、信号解析処理部１２は、記憶部１１が保持している当該指向性マイクのビームパターンを取得する。ここで、ビームパターンの指向方向（指向性マイクの軸方向[図７の指向方向Ａ]）の収音レベルからの減衰量が所定値（例えば３ｄＢ）となる方向の集合を考えると、図７に示すように、これらの方向を母線方向（母線Ｂ）とする円錐を形成する。本実施形態では、これを指向性円錐と呼び、信号解析処理部１２は、指向性円錐内の音が収音され、指向性円錐外の音が抑制されるとして扱う。すなわち、幾何処理部１３は、収音部の向きを基準とした、収音部の指向性ビームパターンの収音感度の減衰量に基づいて、収音範囲の境界を決める。

Ｓ１で算出した収音部の位置および方向（姿勢）を用いて、上記指向性円錐を回転および並進させることで、グローバル座標系における指向性円錐が得られる。そして、幾何処理部１３は、グローバル座標系で表現した指向性円錐について、Ｓ２でグローバル座標系に対応づけた観客席エリア平面による断面を算出し、これを収音範囲とする。本実施形態では、収音範囲内の音が収音され、収音範囲外の音が抑制されるとして扱う。すなわち、幾何処理部１３は、指向性円錐の面の収音対象エリアの面による断面を収音範囲の境界とする。この指向性円錐の断面により収音範囲を求めることにより、収音範囲の境界を、収音部の指向性ビームパターンの収音感度の減衰量が所定値となる方向に対応させることができる。なお、このような立体図形の断面を求める処理は、公知の３ＤＣＡＤ（３ Ｄｉｍｅｎｓｉｏｎ Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ Ｄｅｓｉｇｎ）等の技術を適用することができる。
また、図７に示すように、平面による円錐の断面は、円錐曲線と呼ばれる楕円Ｄ、放物線Ｅ、または双曲線Ｆとなる。例えば、図２の収音部３_１６〜３_１９のように観客席エリアを上方から収音しており、指向方向Ａ（収音部の方向）と観客席エリア平面の成す角が比較的大きい場合は、図５の収音範囲の表示３２６〜３２９のように指向性円錐の断面が楕円となる。

また、図５の収音部の表示３１１〜３１５のように、指向方向と観客席エリア平面の成す角が比較的小さい場合は、指向性円錐の断面が双曲線（指向性円錐の母線と観客席エリア平面が平行な場合のみ放物線）となる。このため、幾何処理部１３は、収音部の指向性ビームパターンの収音感度が所定値となる面（指向性円錐の母線Ｂの集合で構成される面）と、収音対象エリアの面とが成す角度に基づいて、収音範囲の境界を決める。
ただし、指向性円錐の断面が双曲線や放物線となる場合は、幾何処理部１３は、収音部からの距離が所定値（例えば自由空間で基準距離１ｍに対して収音感度が２０ｄＢ減衰する距離である１０ｍ）となる点の集合により、収音範囲の境界の一部を定める。これにより、収音部からの距離による減衰量が所定値となる点を、収音範囲の境界に対応させることができる。

なお、図５は、収音範囲を扇形で近似して表示している例を示している。扇形で近似する方法については、公知の最小二乗フィッティング等の方法を用いることができる。図５の収音部の表示３１１〜３１５に対応する収音範囲の表示３２１〜３２５において、扇形の半径の間の角（中心角）は指向性円錐の断面である双曲線または放物線の開き具合を近似的に表しており、扇形の円弧が上述した収音部からの距離で定まる境界である。
なお、上記の説明では、指向性のビームパターンによる減衰量が所定値となる指向性円錐と、距離による減衰量が所定値となる点の集合から、それぞれ別々に収音範囲の境界を定めたが、これら二つの減衰量を総合的に考えて収音範囲の境界を定めてもよい。すなわち、収音対象エリアの各点について、指向性のビームパターン（指向方向からのずれ）による減衰量と、収音部からの距離による減衰量との合計を算出し、合計減衰量が所定値（例えば２０ｄＢ）となる点の集合から収音範囲の境界を定めてもよい。なお、収音部が無指向性の場合は収音範囲の境界が収音感度が所定値以上となる範囲を示す円となり、これは例えば半径１０ｍの球の収音対象エリアの平面による断面に対応する。

また、収音部がマイクアレイで構成される場合は、信号解析処理部１２は、記憶部１１が保持している指向性形成のフィルタ係数から、収音部が現在形成している指向性に対応するフィルタ係数を取得する。そして、信号解析処理部１２は、同じく記憶部１１が保持している、各方向の音源とマイクアレイの各マイク素子間の伝達関数を上記フィルタ係数に掛け合わせることで、指向性のビームパターンを算出する。この伝達関数として、例えばアレイ・マニフォールド・ベクトル（ＡＭＶ：Ａｒｒａｙ Ｍａｎｉｆｏｌｄ Ｖｅｃｔｏｒ）を用いることができる。マイクアレイで指向性が等方的に生成できる場合、ビームパターンの指向方向からの減衰量が所定値となる方向は、指向性マイクと同様に指向性円錐を形成する。指向性円錐の形成ができたなら、収音部が指向性マイクで構成される場合と同様に、グローバル座標系で表現した指向性円錐の観客席エリア平面による断面として、収音部３_３０、３_４０に対応する収音範囲を算出することができる。本実施形態では、収音部３_３０は３つの指向性により３つの収音範囲（図５の表示３３１〜３３３に対応）を形成し、収音部３_４０は２つの指向性により２つの収音範囲（図５の表示３４１〜３４２に対応）を形成している。
なお、必ずしも三次元的なビームパターンや指向性円錐を考えなくてもよい。例えば、指向性の指向方向と収音対象エリアである観客席エリア平面が略同一平面上にあると仮定して、簡易的に収音範囲を算出してもよい。より具体的には、方位角のみの二次元的なビームパターンを考え、指向方向からの減衰量が所定値となる方向を半径方向とする、例えば収音部の位置を中心とする半径１０ｍの円弧を収音範囲とするようにしてもよい。

グラウンドエリア３１の音は、大規模なマイクアレイで構成される図２の収音部３_５１〜３_５２を用いて、遠方から収音するものとする。
上述した観客席エリア３２〜３９の収音については、収音部の指向性から収音範囲が定まった。これに対し、グラウンドエリア３１の収音については、図５のようにグラウンドエリア３１をタイル状に１５個に分割した分割エリア（分割エリアの表示３１_１〜３１_１５に対応）が、個々の収音範囲としてあらかじめ定まっているものとする。そして、本実施形態では、このような収音範囲を実現する収音部３_５１〜３_５２の指向性が既に決定され、対応する指向性形成のフィルタ係数が使用されているものとする。すなわち、三次元的な指向性のグラウンドエリア平面による断面が、既定の収音範囲である分割エリア（表示３１_１〜３１_１５に対応）となるべく近くなるよう、収音部３_５１、３_５２が形成する各指向性の指向方向や鋭さがあらかじめ最適化されているものとする。

Ｓ６では、表示処理部１５が、Ｓ５で算出（生成）した各収音部の各指向性による収音範囲の表示をＳ４で生成した収音対象エリアおよび収音部の表示に重畳した表示を生成する。すなわち、図５に示すように、表示処理部１５は、観客席エリアの表示３２’、３３’、３６’、３８’、３９’については各収音部３_１〜３_９の表示３１１〜３１９の近傍に収音範囲の表示３２１〜３２９の画像を重畳させる。また、表示処理部１５は、観客席エリアの表示３４’、３８’については各収音部３_３０、３_４０の表示３３０、３４０の近傍に収音範囲の表示３３１〜３３３、３４１、３４２を重畳させる。このような画像を表示させることにより、収音部と収音範囲の対応付けが明確になり、ユーザがどの収音部がどの収音範囲の音を収音しているかを容易に認識することができる。

また、グラウンドエリア３１の収音のように収音部と収音範囲が離れている場合は、表示処理部１５が、収音部を表す図形の線と、収音範囲の少なくとも境界線の色、線種および太さのいずれかを対応させる。これにより、各収音部がどの範囲の音を収音しているか明らかにすることができる。すなわち、図５において、実線で表示される収音部３_５１の表示３５１は、グラウンドエリアの表示３１’の１５個の収音範囲（分割エリア）のうち、境界線が実線である８つの分割エリア３１_１〜３１_８の収音を行うことを示している。また、点線で表示される収音部３_５２の表示３５２は、境界線が点線である残り７つの分割エリア３１_９〜３１_１５の収音を担当していることを示している。このような画像を表示させることにより、収音部３_５１、３_５２の表示３５１、３５２と収音範囲の表示３１_１〜３１_１５との対応付けが明確になり、ユーザがどの収音部がどの範囲の音を収音しているかを容易に認識することができる。
このように、収音対象エリアを示す表示を表示させ、また収音部をその位置と方向が明らかなように表示させ、さらに収音範囲を収音部との対応が明らかなように表示することで、収音対象エリアの各収音部の指向性による収音状態を容易に認識することができる。

Ｓ７では、信号解析処理部１２が、現在の収音部ループの対象である収音部について、現在の指向性ループの対象である指向性で収音している音のレベル（収音レベル）を算出する。収音部が指向性マイクで構成される場合は、指向性マイクが収音している音響信号が、そのまま収音範囲の音である指向性収音信号となる。一方、収音部がマイクアレイで構成される場合は、マイクアレイの各マイク素子が収音している複数チャンネルの音響信号に、指向性に対応するフィルタ係数を掛け合わせることで指向性収音信号が得られる。指向性収音信号のレベルである指向性収音レベルは、信号解析処理部１２が、現在の時間ブロック内の指向性収音信号の二乗平均値として算出する。

ここで、本ステップ（Ｓ７）で算出した指向性収音レベルは、指向性収音信号がクリッピングしていないかなど、指向性収音信号そのものをモニタリングするためには有用である。一方、スタジアム５のような広範な収音対象エリアで、各収音部による収音状態を容易に認識するためには、各収音部の収音範囲の指向性収音信号のレベル表示について、収音範囲に存在する音源の空間平均的なパワーと対応付けられることが望ましい。すなわち、収音範囲の音源の空間平均的なパワーに応じて、観客席エリアの得点を挙げたチームに対応する収音範囲や、グラウンドエリアで主要なプレーが発生している収音範囲のレベルが大きくなるなど、音圧マップのような表示が得られると好適である。

まず、各収音部について、基準距離の同一の点音源を指向性により収音したときに、指向性収音レベルが略同一となるよう、デフォルトの収音ゲインが定められているものとする。しかしながら、各収音範囲における音源の状態により、指向性収音レベルが小さ過ぎたり大き過ぎたりする場合は、デフォルトの収音ゲインから調整することがあるため、指向性収音レベルと音源のパワーとの対応が崩れる場合がある。
また、図２の特に観客席エリア３２〜３９のような収音においては、収音部が形成する指向性の鋭さや観客席エリア平面との位置関係によって、収音範囲の大きさは様々に変わり得る。このため、観客の盛り上がりが同程度であっても、無指向性のような収音部で収音範囲が広い場合は指向性収音レベルが大きくなり、指向性を有する収音部で収音範囲が狭い場合は指向性収音レベルが小さくなる。

すなわち、指向性収音レベルと、盛り上がりに対応すると考えられる収音範囲の音源の空間平均的なパワーとの対応が崩れる場合がある。
さらに、図２の特にグラウンドエリア３１のような収音においては、マイクアレイで構成される収音部３_５１〜３_５２と、グラウンドエリアの各収音範囲（分割エリア）との距離がそれぞれ異なる。このため、仮に各分割エリアで同一の音が発生したとしても、収音部との距離が遠い収音範囲の指向性収音レベルほど小さくなるため、指向性収音レベルと音源のパワーとの対応が崩れる。

以上を踏まえ、制御装置１０は、Ｓ８〜Ｓ１０では、Ｓ７で算出した指向性収音レベルを正規化することで、収音範囲の音源の空間平均的なパワーと対応する正規化収音レベルを算出する。
Ｓ８では、収音制御部１７が、現在の収音部ループの対象である収音部について、デフォルトの収音ゲインからの調整量（例えば＋ＡｄＢ）を取得する。そして、信号解析処理部１２が、この調整量を相殺するように、Ｓ７で算出した指向性収音レベルを（例えばＡ［ｄＢ］下げて）正規化する。これにより、デフォルトの収音ゲインからの調整があっても、音源のパワーとの対応が取れるような正規化収音レベルを算出することができる。

Ｓ９では、幾何処理部１３が、Ｓ５で求めた収音範囲について、その大きさ（面積）を算出する。そして、信号解析処理部１２が、Ｓ８で算出した正規化収音レベルを上記面積で割ることでさらに正規化する。これにより、収音範囲の大きさが様々であっても、収音範囲の音源の空間平均的なパワーとの対応が取れるような正規化収音レベルを算出することができる。
Ｓ１０では、幾何処理部１３が、Ｓ１で算出した収音部の位置と、Ｓ５で求めた収音範囲とから、収音部と収音範囲との間の距離を算出する。収音範囲を代表する位置は、収音範囲の中心としてもよいし、収音範囲の境界で収音部に最も近い位置などとしてもよい。
そして、信号解析処理部１２が、Ｓ９で算出した正規化収音レベルに上記距離の二乗を掛けることでさらに正規化する。これにより、収音部と収音範囲との間の距離が様々であっても、音源のパワーとの対応が取れるような正規化収音レベルを算出する。なお、距離の二乗をかけることとしたのは、自由空間の逆二乗則による距離減衰分を相殺するためである。なお、反射のある空間では減衰は少ないと考えられるため、二乗より小さくしてもよい。

Ｓ１１では、表示処理部１５が、Ｓ７で算出した指向性収音レベルやＳ８〜Ｓ１０で算出した正規化収音レベルの表示を生成し、当該表示をＳ６で生成した収音対象エリア、収音部、および収音範囲の表示に重畳した表示を生成する。
すなわち、表示処理部１５は、図５の観客席エリアの収音範囲の表示３２１〜３２９、３３１〜３３３、３４１〜３４２や、グラウンドエリアの１５の収音範囲（分割エリア）の表示のように、正規化収音レベルに応じて収音範囲の表示の塗り潰し色を変える。すなわち、正規化収音レベルに応じて収音範囲の表示に異なる色を着色する。なお、図５では塗り潰し色の違いをグレースケールで表示している。このように、広範な収音対象エリアの収音範囲（分割エリア）の正規化収音レベルを示す音圧マップのような表示を生成することで、各収音範囲に存在する音源の空間平均的なパワーを直感的に把握して、容易に認識することができる。図５では色の違いはグレースケールで示されているが、正規化収音レベルが大きい収音範囲に赤のような暖色、正規化収音レベルが小さい収音範囲に青のような寒色、また正規化収音レベルが中程度の収音範囲に黄緑のような中性色を用いるのが好適である。グレースケールの図５の表示においては、白に近い明度の高い収音範囲ほど正規化収音レベルが大きく、黒に近い明度の低い収音範囲ほど正規化収音レベルが小さいことを表している。

収音範囲と正規化収音レベルが一体となったこのような表示により、例えば観客席エリアで盛り上がっている場所や、グラウンドエリアで主要なプレーが発生している場所を直感的に把握しながら、収音対象エリアの収音状態を容易に認識することができる。
Ｓ１２では、表示処理部１５が、Ｓ１１で生成した図５のような表示を表示部１４に表示させる。このように表示された表示を見ることにより、収音対象エリアの音を収音する収音部の指向性による収音状態を容易に認識することができる。

＜変形例＞
なお、収音範囲の塗り潰し色と正規化収音レベル（ｄＢ）との対応を示すカラーバーを、例えば収音対象エリアの外側に表示するようにしてもよい。
また、収音範囲の音源の空間平均的なパワーに対応する正規化収音レベルではなく、表示処理部１５が、指向性収音信号そのものをモニタリングするための、正規化していない指向性収音レベルを収音範囲に表示するようにしてもよい。表示方法として、上述した正規化収音レベルの表示と同様に、指向性収音レベルに応じて収音範囲の塗り潰し色を変えてもよい。あるいは、図８に示すように、表示処理部１５が指向性収音レベルに応じて収音範囲の塗り潰し範囲を変えてもよい。

すなわち、図８（ａ）〜（ｃ）のように、指向性収音レベルが小さいほど収音範囲４１の塗り潰し範囲４２を狭くし、指向性収音レベルが大きいほど収音範囲４１の塗り潰し範囲４２を広くする。また、指向性収音レベルが特に大きく指向性収音信号がクリッピングしている場合は、収音範囲４１全体を塗り潰し範囲４２とする。同図（ａ）は収音範囲が双曲線（または放物線）、同図（ｂ）は収音範囲が楕円、同図（ｃ）は収音範囲が分割エリアの場合の表示例である。ここで、塗り潰しの起点は収音範囲の中心としてもよいし、収音範囲の境界で収音部に最も近い位置などとしてもよい。図８（ａ）〜（ｃ）のような表示は、言わば収音範囲の形をした信号レベルメータであり、一般のレベルメータがバー状に表示されるのに比べて特徴的である。

また、指向性収音レベルに収音範囲の塗り潰し範囲を対応させた場合、塗り潰し範囲の色は指向性収音レベルに応じて変えてもよいし、変えなくてもよい（例えば黄緑一色にする）。ただし、指向性収音信号がクリッピングして、収音範囲全体が塗り潰される場合は、表示上目立つよう塗り潰し範囲の色を（例えばクリッピングを表す赤色に）変えるのが好適である。
収音範囲と指向性収音レベルが一体となったこのような表示により、収音対象エリアの収音状態を容易に認識することができるため、指向性収音信号のクリッピングの把握や収音ゲインの調整等を効果的に行うことができる。

なお、グラウンドエリア３１の収音のように、収音部と収音範囲の表示が離れている場合、Ｓ６では収音部３_５１、３_５２を表す表示（図形）３５１、３５２の線（実線と破線）と、収音範囲の表示３１_１〜３１_１５の境界線の色、線種、太さ等を対応させた。しかし、Ｓ６において、収音部を表す図形の線の色と、収音範囲の塗り潰し範囲の色を対応させるようにしてもよい。
なお、指向性収音レベルではなく、正規化収音レベルに応じて収音範囲の塗り潰し範囲や塗り潰し範囲の色を変えるようにしてもよい。

また、上記では、収音範囲を示す表示の塗り潰しにより正規化収音レベルや指向性収音レベルを表示したが、収音部を示す表示の同様な塗り潰しによって表示してもよい。すなわち、表示処理部１５が正規化収音レベルや指向性収音レベルに応じて収音部の表示の塗り潰し色を変えてもよいし、図９（ａ）〜（ｂ）のように収音部の表示５１の塗り潰し範囲５２を変えてもよい。図９（ａ）は収音部が指向性マイクで構成される場合の、図９（ｂ）は収音部がマイクアレイで構成される場合の表示例である。ここでも、指向性収音信号がクリッピングして、収音部全体が塗り潰される場合は、表示上目立つよう塗り潰し範囲５２の色を変えるのが好適である。

なお、マイクアレイで構成される収音部が複数の収音範囲を担う場合は、複数の正規化収音レベルや指向性収音レベルのうち、例えば最大のものを収音部に表示するようにしてもよい。
また、収音部が指向性マイクで構成される場合は、指向性収音信号と指向性マイクが収音している音響信号は同じであるが、収音部がマイクアレイで構成される場合は、指向性収音信号とマイクアレイの各マイク素子が収音している音響信号は異なる。そこで、音響信号のレベルである音響収音レベルを、例えば現時間ブロックの音響信号の二乗平均値として算出し、複数チャンネルの音響収音レベルのうち、例えば最大のものを収音部や収音範囲の塗り潰しにより表示するようにしてもよい。

なお、収音範囲および収音部の塗り潰しにより、正規化収音レベルと指向性収音レベルを同時に表示するようにしてもよい。例えば、正規化収音レベルに応じて収音範囲の塗り潰し色を変え、指向性収音レベル（または音響収音レベル）に応じて収音部の塗り潰し範囲を変えてもよい。また、操作検出部１６が検出するユーザ操作入力に応じて、表示処理部１５が、正規化収音レベルや指向性収音レベルの表示場所（収音範囲、収音部）や、収音の表示方法（塗り潰し色、塗り潰し範囲）を変更するようにしてもよい。
収音範囲や収音部の塗り潰しに用いる彩度の高い色を目立たせるため、収音対象エリアや収音部を表す図形の線、収音範囲の境界線、また表示の背景色として、彩度の低い色や無彩色を用いるようにしてもよい。
本実施形態の塗り潰しにおける透過性（例えば０〜１００％）は任意である。
図５の収音範囲の表示３２５のように、Ｓ８で取得したデフォルトの収音ゲインからの調整量（または収音ゲインそのもの）を、収音範囲（または収音部）の表示に対応付けて、例えば数値（＋５）で表示するようにしてもよい。

＜他の実施形態＞
なお、上記実施形態において記憶部１１が保持しているとした各種データは、不図示のデータ入出力部を介して外部から入力するようにしてもよい。
また、上記実施形態では図５のように、収音対象エリアを真上から見た場合の二次元的な表示を生成したが、他の方向から見た場合の三次元的な表示を生成してもよい。
また、収音対象エリアが例えばサッカースタジアムである場合は、グラウンドエリアにサッカーフィールドの各種ラインやゴールを模式的に表示してもよい。また、位置および姿勢が既知の撮影部による映像信号を射影変換し、グラウンドエリア平面や観客席エリアに平面に合わせて（例えば白黒で）表示するようにしてもよい。このとき、映像信号に映像認識を適用し、表示処理部１５が、選手やボールなど主要なオブジェクトのみ表示するようにしてもよい。このような表示により、試合状況との対応を確認しながら、収音対象エリアの収音状態を容易に認識することができる。
例えば図５では、ボール３６０を表示しており、主要なプレーが発生していると考えられるボール付近の収音対象エリア（分割エリア３１_７）が、周囲の分割エリアより相対的に白く表示されている。このような表示により、ユーザが当該分割エリア３１_７の正規化収音レベルが高くなっていることを容易に認識することができる。

なお、収音部が遠隔制御可能な雲台等を備えている場合、次のような構成が可能である。すなわち、操作検出部１６が検出するユーザ操作入力に応じて、収音制御部１７が上記雲台等を制御することで、収音部の位置、姿勢を制御するようにしてもよい。また、収音部がマイクアレイで構成される場合、次のような構成が可能である。すなわち、操作検出部１６が検出するユーザ操作入力に応じて、信号解析処理部１２が、音響信号に掛け合わせる指向性形成のフィルタ係数を切り替えることで、収音部が形成する指向性の指向方向や鋭さを制御するようにしてもよい。これらの場合、例えば時間ブロックごとに検出されるユーザ操作入力に応じて、収音部の位置および姿勢や指向性の収音範囲も時間ブロックごとに変わり得るため、関係するＳ４〜Ｓ６の処理も時間ブロックごとに行う。このとき、例えば指向性の鋭さを変更して収音範囲の大きさが変わった場合でも、Ｓ９の収音範囲の面積による正規化のため、観客の盛り上がり等が同程度であれば、正規化収音レベルに応じた塗り潰し色などは概ね維持されることが期待される。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１…信号処理システム、６…表示、１０…制御装置、１１…記憶部、１２…信号解析処理部、１３…幾何処理部、１４…表示部、１５…表示処理部、１６…操作検出部、１７…収音制御部

Claims (20)

1. 収音対象エリアの音を収音する収音部の指向性に関する情報を取得する取得手段と、
   前記収音対象エリアを表すエリア画像と、前記取得手段により取得された情報により特定される前記収音部の指向性に応じた収音範囲を表す範囲画像であって前記収音範囲における音の大きさを表す範囲画像と、が重畳された重畳画像を表示部に表示させる表示制御手段と、
   を有し、
   前記表示制御手段は、前記収音部の指向性のビームパターンの方向と前記収音対象エリアの平面によって形成される角度に基づいて前記範囲画像の形状を決定する
   ことを特徴とする制御装置。
2. 収音対象エリアの音を収音する収音部の指向性に関する情報を取得する取得手段と、
   前記収音対象エリアを表すエリア画像と、前記取得手段により取得された情報により特定される前記収音部の指向性に応じた収音範囲を表す範囲画像であって前記収音範囲における音の大きさを表す範囲画像と、が重畳された重畳画像を表示部に表示させる表示制御手段と、
   を有し、
   前記範囲画像が表す音の大きさは、前記収音部によって収音された音の大きさを前記収音範囲に基づいて正規化した収音レベルである
   ことを特徴とする制御装置。
3. 収音対象エリアの音を収音する収音部の指向性に関する情報を取得する取得手段と、
   前記収音対象エリアを表すエリア画像と、前記取得手段により取得された情報により特定される前記収音部の指向性に応じた収音範囲を表す範囲画像であって前記収音範囲における音の大きさを表す範囲画像と、が重畳された重畳画像を表示部に表示させる表示制御手段と、
   を有し、
   前記範囲画像が表す音の大きさは、前記収音部によって収音された音の大きさを前記収音部からの距離に基づいて正規化した収音レベルである
   ことを特徴とする制御装置。
4. 前記表示制御手段は、前記エリア画像と前記範囲画像と前記収音部の位置を示す収音画像と、が重畳された前記重畳画像を前記表示部に表示させることを特徴とする請求項１乃至３の何れか１項記載の制御装置。
5. 前記表示制御手段は、前記収音範囲における音量に応じて前記収音画像の色を決定することを特徴とする請求項４に記載の制御装置。
6. 前記表示制御手段は、前記収音範囲における音量に応じて前記収音画像の着色する部分のサイズを決定することを特徴とする請求項４または５に記載の制御装置。
7. 前記収音画像は、前記収音部の位置と向きを示すことを特徴とする請求項４から６のいずれか１項に記載の制御装置。
8. 前記表示制御手段は、前記収音部の指向性のビームパターンの方向に基づいて前記範囲画像の形状を決定することを特徴とする請求項１から７のいずれか１項に記載の制御装置。
9. 前記表示制御手段は、前記収音部からの距離に応じた前記収音部の収音感度の減衰量に基づいて、前記範囲画像の形状を決定することを特徴とする請求項１から８のいずれか１項に記載の制御装置。
10. 前記範囲画像が表す音の大きさは、前記収音部によって収音された音の大きさを予め設定されたゲイン調整量に基づいて正規化した収音レベルであることを特徴とする請求項１から９のいずれか１項に記載の制御装置。
11. 前記表示制御手段は、前記収音範囲における音量に応じて前記範囲画像の色を決定することを特徴とする請求項１から１０のいずれか１項に記載の制御装置。
12. 前記表示制御手段は、前記収音範囲における音量に応じて前記範囲画像の着色する部分のサイズを決定することを特徴とする請求項１から１１のいずれか１項に記載の制御装置。
13. 前記取得手段は、複数の前記収音部夫々の指向性に関する情報を取得し、
    前記表示制御手段は、前記複数の収音部に対応する複数の前記範囲画像を重畳した前記重畳画像を表示部に表示させることを特徴とする請求項１から１２のいずれか１項に記載の制御装置。
14. 前記表示制御手段は、前記複数の収音部夫々の位置を示す複数の収音画像を重畳した前記重畳画像を前記表示部に表示させることを特徴とする請求項１３記載の制御装置。
15. 前記表示制御手段は、第１の収音部に応じた第１の前記範囲画像と、前記第1の収音部に応じた第１の前記収音画像との、少なくとも色、線種、及び線の太さのいずれかを対応させることを特徴とする請求項１４記載の制御装置。
16. 収音対象エリアの音を収音する収音部の指向性に関する情報を取得する取得工程と、
    前記収音対象エリアを表すエリア画像と、前記取得された情報により特定される前記収音部の指向性に応じた収音範囲を表す範囲画像であって前記収音範囲における音の大きさを表す範囲画像と、が重畳された重畳画像を表示部に表示させる表示制御工程と、
    を有し、
    前記表示制御工程は、前記収音部の指向性のビームパターンの方向と前記収音対象エリアの平面によって形成される角度に基づいて前記範囲画像の形状を決定する
    ことを特徴とすることを特徴とする制御方法。
17. 収音対象エリアの音を収音する収音部の指向性に関する情報を取得する取得工程と、
    前記収音対象エリアを表すエリア画像と、前記取得された情報により特定される前記収音部の指向性に応じた収音範囲を表す範囲画像であって前記収音範囲における音の大きさを表す範囲画像と、が重畳された重畳画像を表示部に表示させる表示制御工程と、
    を有し、
    前記範囲画像が表す音の大きさは、前記収音部によって収音された音の大きさを前記収音範囲に基づいて正規化した収音レベルである
    ことを特徴とする制御方法。
18. 収音対象エリアの音を収音する収音部の指向性に関する情報を取得する取得工程と、
    前記収音対象エリアを表すエリア画像と、前記取得された情報により特定される前記収音部の指向性に応じた収音範囲を表す範囲画像であって前記収音範囲における音の大きさを表す範囲画像と、が重畳された重畳画像を表示部に表示させる表示制御工程と、
    を有し、
    前記範囲画像が表す音の大きさは、前記収音部によって収音された音の大きさを前記収音部からの距離に基づいて正規化した収音レベルである
    ことを特徴とする制御方法
19. 前記表示制御工程は、前記エリア画像と前記範囲画像と前記収音部の位置を示す収音部の画像と、が重畳された前記重畳画像を表示部に表示させる、ことを特徴とする請求項１６から１８のいずれか１項に記載の制御方法。
20. コンピュータを、請求項１乃至１５の何れか１項に記載の制御装置として動作させるためのプログラム。