JP6865371B2 - モニタリングシステム及びモニタリング方法 - Google Patents

Description

本発明は、例えば無人飛行体が飛翔しているカメラ装置の撮像エリアをモニタリングするモニタリングシステム及びモニタリング方法に関する。

従来、監視領域内に生じる音を方向毎に検知する複数の音検知部を用いて、物体の存在の検知と、物体の飛来方向の検知とが可能な飛来飛行物体監視装置が知られている（例えば特許文献１参照）。この飛来飛行物体監視装置の処理装置は、無指向性のマイクによる音検知によって飛行物体の飛来及びその飛来方向を検知すると、その飛行物体が飛来した方向に監視カメラを向ける。更に、処理装置は、この監視カメラで撮影された映像を表示装置に表示する。

特開２００６−１６８４２１号公報

特許文献１では、監視領域内の任意の方向に撮影方向を変向可能な監視カメラが設けられており、ヘリコプターやセスナ等の飛行物体が検出されると、この監視カメラの撮影方向を変向させることは開示されている。言い換えると、検出された飛行物体を注目して撮像するために、監視カメラの撮影方向を変向することは開示されている。

しかしながら、特許文献１には、撮像エリアに対するカメラ装置の画角の範囲内で検知された無人飛行体を含む周囲の撮像画像を広範に表示することは考慮されていない。このため、カメラ装置の撮像エリア内のどのような場所で無人飛行体が検知され、同じ撮像エリア内で他にどのような場所でどんな音源が存在しているかを、ユーザにとって視覚的に提示することはできないという課題があった。

本発明は、上述した従来の状況に鑑みて案出され、カメラ装置の撮像エリア内のどのような場所で無人飛行体が検知され、同じ撮像エリア内で他にどのような場所でどんな音源が存在しているかを、カメラ装置の撮像画像の視認性を劣化することなく、ユーザに対して視覚的に提示するモニタリングシステム及びモニタリング方法を提供することを目的とする。

本発明は、撮像エリアを撮像するカメラと、前記撮像エリアの音声を収音するマイクアレイと、前記カメラにより撮像された前記撮像エリアの撮像画像を表示するモニタと、前記マイクアレイにより収音された音声を基に、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの撮像画像を構成する画素の所定単位毎に導出する音パラメータ導出部と、前記音パラメータ導出部により導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記画素の所定単位毎の、前記音パラメータを異なる視覚画像に段階的に変換した音源視覚画像を用いて、前記撮像エリアの撮像画像の大きさに対応するように連結した複数種類の前記音源視覚画像を有する音パラメータマップの半透明マップを生成する信号処理部と、音の大きさを段階的に規定する前記複数の閾値の各閾値と複数種類の前記音源視覚画像との対応関係の設定を、前記撮像エリアの撮像画像に応じて変更する閾値調整部と、を備え、前記信号処理部は、前記音パラメータ導出部により導出された前記音パラメータと前記閾値調整部により変更された前記対応関係とを基に、前記画素の所定単位毎の音源視覚画像を前記撮像エリアの撮像画像の大きさに対応するように連結した前記半透明マップを生成し、前記信号処理部は、生成された前記半透明マップを前記撮像エリアの撮像画像に重畳して前記モニタに表示する、モニタリングシステムを提供する。

また、本発明は、カメラとマイクアレイとを有するモニタリングシステムにおけるモニタリング方法であって、前記カメラにより、撮像エリアを撮像し、前記マイクアレイにより、前記撮像エリアの音声を収音し、前記カメラにより撮像された前記撮像エリアの撮像画像をモニタに表示し、前記マイクアレイにより収音された音声を基に、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの撮像画像を構成する画素の所定単位毎に導出し、導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記画素の所定単位毎の、前記音パラメータを異なる視覚画像に段階的に変換した音源視覚画像を用いて、前記撮像エリアの撮像画像の大きさに対応するように連結した複数種類の前記音源視覚画像を有する音パラメータマップの半透明マップを生成し、音の大きさを段階的に規定する前記複数の閾値の各閾値と複数種類の前記音源視覚画像との対応関係の設定を、前記撮像エリアの撮像画像に応じて変更し、生成された前記半透明マップを前記撮像エリアの撮像画像に重畳して前記モニタに表示することを特徴とし、前記半透明マップの生成の際に、導出された前記音パラメータと変更された前記対応関係とを基に、前記画素の所定単位毎の音源視覚画像を前記撮像エリアの撮像画像の大きさに対応するように連結した前記半透明マップを生成する、モニタリング方法を提供する。

本発明によれば、カメラ装置の撮像エリアで検知された音源位置における音の大きさの大小に拘わらず、その音源位置における音の大きさをきめ細かく段階的に提示でき、その音源位置における音の大きさのユーザへの正確な把握に資することができる。

各実施形態の無人飛行体検知システムの概略構成の一例を示す図 音源検知ユニットの外観の一例を示す図 マイクアレイの内部構成の一例を詳細に示すブロック図 全方位カメラの内部構成の一例を詳細に示すブロック図 ＰＴＺカメラの内部構成の一例を詳細に示すブロック図 監視装置の内部構成の一例を詳細に示すブロック図 メモリに登録されている無人飛行体の検知音信号のパターンの一例を示すタイミングチャート 周波数分析処理の結果として得られた検知音信号の周波数変化の一例を示すタイミングチャート 第１の実施形態における、無人飛行体の検知及び検知結果の表示の動作手順の一例を説明するシーケンス図 図９のステップＳ８の無人飛行体検知判定の動作手順の詳細の一例を説明するフローチャート 監視エリア内で指向方向が順に走査され、無人飛行体が検知される様子の一例を示す図 マスキングエリアが設定されていない場合の第１モニタの表示画面例を示す図 自動学習処理時におけるマスキングエリアの表示例を時系列に示す説明図 第１の実施形態における、マスキングエリアの設定の動作手順の一例を説明するシーケンス図 マスキングエリアが設定された場合の第１モニタの表示画面例を示す図 第２の実施形態における、音圧ヒートマップの表示解像度の動的変更の概要説明図 第２の実施形態における、音圧ヒートマップの表示解像度の動的変更の動作手順の一例を説明するフローチャート 第２の実施形態における、音圧値の度数分布に応じた閾値の幅調整と幅調整に伴う撮像画像の表示結果の概要説明図 （Ａ），（Ｂ）第２の実施形態における、音源視覚画像の使用を規定する閾値間の幅の設定変更の概要説明図 第２の実施形態における、紅色画像及び群青色画像の使用を規定する閾値間の幅の設定変更に伴う撮像画像の表示の概要説明図 第２の実施形態における、閾値間の幅の設定変更の動作手順の一例を説明するフローチャート 第３の実施形態における、全方位画像と半透明音圧ヒートマップとのオーバーレイ表示の概要説明図 全方位画像と半透明音圧ヒートマップとがオーバーレイ表示された第１モニタの表示画面例を示す図 第３の実施形態における、全方位画像と半透明音圧ヒートマップとのオーバーレイ表示の動作手順の一例を説明するシーケンス図

以下、適宜図面を参照しながら、本発明に係るモニタリングシステム及びモニタリング方法を具体的に開示した各実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

以下、本発明に係るモニタリングシステムの一例として、監視対象となる無人飛行体（例えばドローン、ラジコンヘリコプタ）を検知するための無人飛行体検知システムを例示して説明する。また、本発明は、モニタリングシステムに限定されず、モニタリングシステムにおいて実行されるモニタリング方法として規定することも可能である。

以下、無人飛行体検知システムの使用者（例えば、監視エリアを見回り、警備等する監視員）を、単に「ユーザ」という。

図１は、各実施形態の無人飛行体検知システム５の概略構成の一例を示す図である。無人飛行体検知システム５は、検知対象としてユーザの目的とする無人飛行体ｄｎ（例えば図１２参照）を検知する。無人飛行体ｄｎは、例えばＧＰＳ（Global Positioning System）機能を利用して自律的に飛翔するドローン、第三者の無線操縦によって飛翔するラジコンヘリコプタ等である。このような無人飛行体ｄｎは、例えばターゲットの空撮、監視、物資の運搬等に利用される。

各実施形態では、無人飛行体ｄｎとして、複数のロータ（言い換えると、回転翼）を搭載したマルチコプタ型のドローンを例示する。マルチコプタ型のドローンでは、一般にロータの羽の枚数が２枚の場合、特定周波数に対し２倍の周波数の高調波、さらにはその逓倍の周波数の高調波が発生する。同様に、ロータの羽の枚数が３枚の場合、特定周波数に対し３倍の周波数の高調波、さらにはその逓倍の周波数の高調波が発生する。ロータの羽の枚数が４枚以上の場合も同様である。

無人飛行体検知システム５は、複数の音源検知ユニットＵＤ１，…，ＵＤｋ，…，ＵＤｎと、監視装置１０と、第１モニタＭＮ１と、第２モニタＭＮ２と、レコーダＲＣとを含む構成である。ｎは２以上の自然数である。複数の音源検知ユニットＵＤ１，…，ＵＤｋ，…，ＵＤｎは、ネットワークＮＷを介して監視装置１０と相互に接続される。ｋは、１〜ｎの自然数である。それぞれの音源検知ユニット（例えば音源検知ユニットＵＤ１）は、マイクアレイＭＡ１と、全方位カメラＣＡ１と、ＰＴＺカメラＣＺ１とを有する構成であり、他の音源検知ユニットＵＤｋも同様の構成を有する。

なお、個々の音源検知ユニットを特に区別する必要がある場合を除き、音源検知ユニットＵＤｋ又は単に音源検知ユニットＵＤという。同様に、個々のマイクアレイ、全方位カメラ、ＰＴＺカメラを特に区別する必要がある場合を除き、マイクアレイＭＡｋ又はマイクアレイＭＡ（図２参照）、全方位カメラＣＡｋ又は全方位カメラＣＡ（図２参照）、ＰＴＺカメラＣＺｋ又はＰＴＺカメラＣＺ（図２参照）という。

音源検知ユニットＵＤｋでは、マイクアレイＭＡｋは、自装置が設置された監視対象となるエリア（つまり、監視エリア）における全方位の音を無指向状態で収音する。マイクアレイＭＡｋは、中央に所定幅の円筒形状の開口部が形成された筐体１５（図２参照）を有する。マイクアレイＭＡｋが収音対象とする音は、例えばドローンのような機械的な動作音、人間等が発する音声、その他の音を広く含み、可聴周波数（つまり、２０Ｈｚ〜２３ｋｈＨｚ）域の音に限らず、可聴周波数より低い低周波音や可聴周波数を超える超音波音が含まれてもよい。

マイクアレイＭＡｋは、複数の無指向性のマイクロホンＭ１〜Ｍｑ（図３参照）を含む。ｑは２以上の自然数である。マイクロホンＭ１〜Ｍｑは、筐体１５に設けられた上記開口部の周囲に円周方向に沿って、同心円状に予め決められた間隔（例えば均一な間隔）で配置されている。マイクロホンＭ１〜Ｍｑは、例えばエレクトレットコンデンサーマイクロホン（ＥＣＭ：Electret Condenser Microphone）が用いられる。マイクアレイＭＡｋは、それぞれのマイクロホンＭ１〜Ｍｑの収音により得られた音の音声データを、ネットワークＮＷを介して監視装置１０に送信する。なお、上記の各マイクロホンＭ１〜Ｍｑの配列は、一例であり、他の配列（例えば正方形状な配置、長方形状の配置）であってもよいが、各マイクロホンＭ１〜Ｍｑは等間隔に並べて配置されることが好ましい。

また、マイクアレイＭＡｋは、複数のマイクロホンＭ１〜Ｍｑ（例えばｑ＝３２）、及び複数のマイクロホンＭ１〜Ｍｑの出力信号をそれぞれ増幅する複数の増幅器（アンプ）ＰＡ１〜ＰＡｑ（図３参照）を有する。各増幅器から出力されるアナログ信号は、後述するＡ／Ｄ変換器Ａ１〜Ａｑ（図３参照）でそれぞれデジタル信号に変換される。なお、マイクアレイＭＡｋにおけるマイクロホンの数は、３２個に限られず、他の数（例えば１６個、６４個、１２８個）であってもよい。

マイクアレイＭＡｋの筐体１５（図２参照）の中央に形成された開口部の内側には、開口部の容積と略一致する全方位カメラＣＡｋが収容される。つまり、マイクアレイＭＡｋと全方位カメラＣＡｋとは一体的かつ、それぞれの筐体中心が同軸方向となるように配置される（図２参照）。全方位カメラＣＡｋは、全方位カメラＣＡｋの撮像エリアとしての監視エリア（上述参照）の全方位画像を撮像可能な魚眼レンズ４５ａ（図４参照）を搭載したカメラである。各実施形態において、マイクアレイＭＡｋの収音エリアと全方位カメラＣＡｋの撮像エリアとはともに共通の監視エリアとして説明するが、収音エリアと撮像エリアの空間的な大きさ（例えば体積）は同一でなくてもよい。例えば収音エリアの体積が撮像エリアの体積より大きくても良いし、小さくてもよい。要は、収音エリアと撮像エリアとは共通する空間部分があればよい。全方位カメラＣＡｋは、例えば音源検知ユニットＵＤｋが設置された撮像エリアを撮像可能な監視カメラとして機能する。つまり、全方位カメラＣＡｋは、例えば垂直方向：１８０°、水平方向：３６０°の画角を有し、例えば半天球である監視エリア８（図１１参照）を撮像エリアとして撮像する。

それぞれの音源検知ユニットＵＤｋでは、全方位カメラＣＡｋが筐体１５の開口部の内側に嵌め込まれることで、全方位カメラＣＡとマイクアレイＭＡとが同軸上に配置される。このように、全方位カメラＣＡｋの光軸とマイクアレイＭＡｋの筐体の中心軸とが一致することで、軸周方向（つまり、水平方向）における撮像エリアと収音エリアとが略同一となり、全方位カメラＣＡｋが撮像した全方位画像中の被写体の位置（言い換えれば、全方位カメラＣＡｋから見た被写体の位置を示す方向）とマイクアレイＭＡｋの収音対象となる音源の位置（言い換えれば、マイクアレイＭＡｋから見た音源の位置を示す方向）とが同じ座標系（例えば（水平角，垂直角）で示される座標）で表現可能となる。なお、それぞれの音源検知ユニットＵＤｋは、上空で飛翔している無人飛行体ｄｎを検知するために、例えば天地方向の上向きが収音面及び撮像面となるように、取り付けられる（図２参照）。

監視装置１０は、例えばＰＣ（Personal Computer）又はサーバを用いて構成される。監視装置１０は、マイクアレイＭＡｋにより収音された全方位の音に対して、ユーザの操作に基づいて任意の方向を主ビーム方向とする指向性を形成（つまり、ビームフォーミング）し、その指向方向の音を強調することができる。なお、マイクアレイＭＡｋによって収音された音をビームフォーミングするための音データの指向性制御処理に関する技術は、例えば参考特許文献１，２に示されるように、公知の技術である。

（参考特許文献１）特開２０１４−１４３６７８号公報
（参考特許文献２）特開２０１５−０２９２４１号公報

監視装置１０は、全方位カメラＣＡｋにより撮像された画像（以下、「撮像画像」と略記することがある）を用いて、撮像画像を処理して全方位画像を生成する。なお、全方位画像は、監視装置１０ではなく、全方位カメラＣＡｋにより生成されてもよい。

監視装置１０は、全方位カメラＣＡｋにより撮像された撮像画像に、マイクアレイＭＡｋにより収音された音の大きさを特定する音パラメータ（例えば後述する音圧）の算出値に基づく音圧ヒートマップの画像（図１５参照）を重畳して第１モニタＭＮ１等へ出力して表示する。

また、監視装置１０は、全方位画像ＩＭＧ１に、検知された無人飛行体ｄｎをユーザにとって視覚的に判別し易い視覚画像（例えば識別マーク（不図示））を第１モニタＭＮ１の無人飛行体ｄｎの位置に表示してもよい。視覚画像とは、例えば全方位画像ＩＭＧ１において、ユーザが全方位画像ＩＭＧ１を見た時に、他の被写体とは明確に識別可能な程度に表された情報であることを意味し、以下同様とする。

第１モニタＭＮ１は、全方位カメラＣＡｋにより撮像された全方位画像ＩＭＧ１を表示する。第２モニタＭＮ２は、全方位カメラＣＡｋにより撮像された全方位画像ＩＭＧ１を表示する。また、第１モニタＭＮ１は、全方位画像ＩＭＧ１に上述した識別マーク（不図示）を重畳した合成画像を生成して表示する。なお図１では、第１モニタＭＮ１及び第２モニタＭＮ２と２つのモニタが監視装置１０に接続されているが、例えば第１モニタＭＮ１のみ接続されても構わない。また、第１モニタＭＮ１又は第２モニタＭＮ２、或いは第１モニタＭＮ１及び第２モニタＭＮ２は、監視装置１０と一体の装置として構成されてもよい。

レコーダＲＣは、例えばハードディスク（Hard Disk Drive）又はフラッシュメモリ等の半導体メモリを用いて構成され、監視装置１０により生成された各種画像のデータ（後述参照）や、それぞれの音源検知ユニットＵＤｋから送信された全方位画像や音声の各種データを保存する。なお、レコーダＲＣは、監視装置１０と一体の装置として構成されてもよいし、無人飛行体検知システム５の構成から省かれても構わない。

図１では、複数の音源検知ユニットＵＤｋ及び監視装置１０は、通信インタフェースを有し、ネットワークＮＷを介して相互にデータ通信可能に接続されている。ネットワークＮＷは、有線ネットワーク（例えばイントラネット、インターネット、有線ＬＡＮ（Local Area Network）でもよいし、無線ネットワーク（例えば無線ＬＡＮ）でもよい。なお、音源検知ユニットＵＤｋと監視装置１０とは、ネットワークＮＷを介することなく、直接に接続されてもよい。また、監視装置１０、第１モニタＭＮ１、第２モニタＭＮ２、レコーダＲＣは、いずれもユーザが監視時において常駐する監視室ＲＭに設置される。

図２は、音源検知ユニットＵＤの外観の一例を示す図である。音源検知ユニットＵＤは、上述したマイクアレイＭＡ、全方位カメラＣＡ、ＰＴＺカメラＣＺの他、これらを機械的に支持する支持台７０を有する。支持台７０は、三脚７１と、三脚７１の天板７１ａに固定された２本のレール７２と、２本のレール７２の両端部にそれぞれ取り付けられた第１取付板７３及び第２取付板７４とが組み合わされた構造を有する。

第１取付板７３と第２取付板７４は、２本のレール７２を跨るように取り付けられており、略同一の平面を有する。また、第１取付板７３及び第２取付板７４は、２本のレール７２上を摺動自在であり、互いに離間もしくは接近した位置に調節されて固定される。

第１取付板７３は円盤状の板材である。第１取付板７３の中央には、開口部７３ａが形成されている。開口部７３ａには、マイクアレイＭＡの筐体１５が収容されて固定される。一方、第２取付板７４は略長方形の板材である。第２取付板７４の外側に近い部分には、開口部７４ａが形成されている。開口部７４ａには、ＰＴＺカメラＣＺが収容されて固定される。

図２に示すように、マイクアレイＭＡの筐体１５に収容される全方位カメラＣＡの光軸Ｌ１と、第２取付板７４に取り付けられたＰＴＺカメラＣＺの光軸Ｌ２とは、初期設置状態においてそれぞれ平行になるように設定される。

三脚７１は、３本の脚７１ｂで接地面に支えられており、手動操作により、接地面に対して垂直方向に天板７１ａの位置を移動自在であり、かつ、パン方向及びチルト方向に天板７１ａの向きを調節可能である。これにより、マイクアレイＭＡの収音エリア（言い換えると、全方位カメラＣＡの撮像エリア又は無人飛行体検知システム５の監視エリア）を任意の向きに設定することができる。

図３は、マイクアレイＭＡｋの内部構成の一例を詳細に示すブロック図である。図３に示すマイクアレイＭＡｋは、複数のマイクロホンＭ１〜Ｍｑ（例えばｑ＝３２）、複数のマイクロホンＭ１〜Ｍｑの出力信号をそれぞれ増幅する複数の増幅器（アンプ）ＰＡ１〜ＰＡｑ、各増幅器ＰＡ１〜ＰＡｑから出力されるアナログ信号をそれぞれデジタル信号に変換する複数のＡ／Ｄ変換器Ａ１〜Ａｑ、圧縮処理部２５及び送信部２６を含む構成である。

圧縮処理部２５は、Ａ／Ｄ変換器Ａ１〜Ａｎから出力されるデジタル音声信号を基に、音声データのパケットを生成する。送信部２６は、圧縮処理部２５で生成された音声データのパケットを、ネットワークＮＷを介して監視装置１０に送信する。

このように、マイクアレイＭＡｋは、マイクロホンＭ１〜Ｍｑの出力信号を増幅器ＰＡ１〜ＰＡｑで増幅し、Ａ／Ｄ変換器Ａ１〜Ａｑでデジタル音声信号に変換する。その後、マイクアレイＭＡｋは、圧縮処理部２５で音声データのパケットを生成し、この音声データのパケットを、ネットワークＮＷを介して監視装置１０に送信する。

図４は、全方位カメラＣＡｋの内部構成の一例を詳細に示すブロック図である。図４に示す全方位カメラＣＡｋは、ＣＰＵ４１、通信部４２、電源管理部４４、イメージセンサ４５、魚眼レンズ４５ａ、メモリ４６及びネットワークコネクタ４７を含む構成である。

ＣＰＵ４１は、全方位カメラＣＡｋの各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。ＣＰＵ４１の代わりに、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）等のプロセッサが設けられてもよい。

例えばＣＰＵ４１は、監視装置１０を操作するユーザの指定により、全方位画像データのうち特定の範囲（方向）の画像を切り出した２次元パノラマ画像データ（つまり、２次元パノラマ変換した画像データ）を生成してメモリ４６に保存する。

イメージセンサ４５は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ、又はＣＣＤ（Charge Coupled Device）センサを用いて構成され、魚眼レンズ４５ａにより集光された撮像エリアからの被写体光の光学像を受光面において撮像処理することで、撮像エリアの全方位画像データを取得する。

魚眼レンズ４５ａは、撮像エリアの全方位からの被写体光を入射して集光し、イメージセンサ４５の受光面（不図示）に被写体光の光学像を結像する。

メモリ４６は、全方位カメラＣＡｋの動作を規定するためのプログラムや設定値のデータが格納されたＲＯＭ４６ｚと、全方位画像データ又はその一部の範囲が切り出された切り出し画像データやワークデータを記憶するＲＡＭ４６ｙと、全方位カメラＣＡｋに挿抜自在に接続され、各種データが記憶されるメモリカード４６ｘとを有する。

通信部４２は、ネットワークコネクタ４７を介して接続されるネットワークＮＷとの間のデータ通信を制御するネットワークインタフェース（Ｉ／Ｆ）である。

電源管理部４４は、全方位カメラＣＡｋの各部に直流電源を供給する。また、電源管理部４４は、ネットワークコネクタ４７を介してネットワークＮＷに接続される機器に直流電源を供給してもよい。

ネットワークコネクタ４７は、全方位画像データ又は２次元パノラマ画像データを、ネットワークＮＷを介して監視装置１０に伝送し、また、ネットワークケーブルを介して給電可能なコネクタである。

図５は、ＰＴＺカメラＣＺｋの内部構成の一例を詳細に示すブロック図である。全方位カメラＣＡｋと同様の各部については、図４の各部に対応する符号を付すことでその説明を省略する。ＰＴＺカメラＣＺｋは、監視装置１０からの画角変更指示により、光軸方向（撮像方向ともいうことがある）を調整可能なカメラである。

ＰＴＺカメラＣＺｋは、全方位カメラＣＡｋと同様、ＣＰＵ５１、通信部５２、電源管理部５４、イメージセンサ５５、撮像レンズ５５ａ、メモリ５６及びネットワークコネクタ５７を有する他、撮像方向制御部５８及びレンズ駆動モータ５９を有する。ＣＰＵ５１は、監視装置１０の画角変更指示があると、撮像方向制御部５８に画角変更指示を通知する。

撮像方向制御部５８は、ＣＰＵ５１から通知された画角変更指示に従い、ＰＴＺカメラＣＺの撮像方向をパン方向及びチルト方向のうち少なくとも１つを制御し、さらに必要に応じて、ズーム倍率を変更するための制御信号をレンズ駆動モータ５９に出力する。レンズ駆動モータ５９は、この制御信号に従って、撮像レンズ５５ａを駆動し、その撮像方向（図２に示す光軸Ｌ２の方向）を変更するとともに、撮像レンズ５５ａの焦点距離を調節してズーム倍率を変更する。

撮像レンズ５５ａは、１又は２以上のレンズを用いて構成される。撮像レンズ５５ａでは、撮像方向制御部５８からの制御信号に応じたレンズ駆動モータ５９の駆動により、パン回転、チルト回転の光軸方向が変更される。

図６は、監視装置１０の内部構成の一例を詳細に示すブロック図である。図６に示す監視装置１０は、通信部３１と、操作部３２と、信号処理部３３と、スピーカ装置（ＳＰＫ）３７と、メモリ３８と、設定管理部３９とを少なくとも含む構成を有する。

通信部３１は、全方位カメラＣＡｋが送信した全方位画像データ又は２次元パノラマ画像データと、マイクアレイＭＡｋが送信した音声データとを受信して信号処理部３３に出力する。

操作部３２は、ユーザの入力操作の内容を信号処理部３３に通知するためのユーザインターフェース（ＵＩ：User Interface）であり、例えばマウス、キーボード等のポインティングデバイスで構成される。また、操作部３２は、例えば第１モニタＭＮ１や第２モニタＭＮ２の各画面に対応して配置され、ユーザの指やスタイラスペンによって直接入力操作が可能なタッチパネル又はタッチパッドを用いて構成されてもよい。

操作部３２は、第１モニタＭＮ１や第２モニタＭＮ２においていずれかの全方位カメラＣＡｋの撮像画像（全方位画像ＩＭＧ１）に重畳されて表示された音圧ヒートマップ（図１５参照）の赤領域ＲＤ１がユーザにより指定されると、指定された位置を示す座標データを取得して信号処理部３３に出力する。信号処理部３３は、全方位カメラＣＡｋに対応するマイクアレイＭＡｋにより収音された音データをメモリ３８から読み出し、マイクアレイＭＡｋから、指定された位置に対応する実際の音源位置に向かう方向に指向性を形成した上でスピーカ装置３７から出力する。これにより、ユーザは、無人飛行体ｄｎに限らず、ユーザ自身が撮像画像（全方位画像ＩＭＧ１）上で指定された位置における音が強調された状態で鮮明に確認することができる。

信号処理部３３は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、監視装置１０の各部の動作を統括して制御するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。信号処理部３３は、音源方向検知部３４、出力制御部３５、指向性処理部６３、周波数分析部６４、対象物検知部６５、検知結果判定部６６、走査制御部６７、検知方向制御部６８、マスキングエリア設定部６９ａ及び閾値調整部６９ｂを含む。また、監視装置１０は第１モニタＭＮ１や第２モニタＭＮ２に接続される。

音源方向検知部３４は、例えば公知の白色化相互相関法（ＣＳＰ（Cross-power Spectrum Phase analysis）法）に従って、マイクアレイＭＡｋにより収音された監視エリア８の音声の音声データを用いて音源位置を推定する。ＣＳＰ法では、音源方向検知部３４は、図１１に示す監視エリア８を複数のブロックに分割し、マイクアレイＭＡｋで音が収音されると、ブロック毎に音圧又は音量等の閾値を超える音があるか否かを判定することで、監視エリア８内の音源位置をおおまかに推定することができる。

また、音パラメータ導出部としての音源方向検知部３４は、全方位カメラＣＡｋで撮像された全方位画像データとマイクアレイＭＡｋで収音された音声データとを基に、監視エリア８の全方位画像データを構成する一つ一つの画素毎に、音パラメータとしての音圧を算出する。音源方向検知部３４は、音圧の算出結果である算出値を出力制御部３５に出力する。この音圧の算出処理は公知技術であり、詳細な処理の説明は割愛する。

設定管理部３９は、全方位カメラＣＡｋで撮像された全方位画像データが表示された第１モニタＭＮ１の画面に対してユーザにより指定された位置の座標変換に関する座標変換式を有している。この座標変換式は、例えば全方位カメラＣＡｋの設置位置（図２参照）とＰＴＺカメラＣＺｋの設置位置（図２参照）との物理的な距離差に基づき、全方位画像データ上のユーザの指定位置の座標（つまり、（水平角，垂直角））を、ＰＴＺカメラＣＺｋから見た方向の座標に変換するための数式である。

信号処理部３３は、設定管理部３９が保持する上記座標変換式を用いて、ＰＴＺカメラＣＺｋの設置位置（図２参照）を基準として、ＰＴＺカメラＣＺｋの設置位置から、ユーザによって指定された位置に対応する実際の音源位置に向かう指向方向を示す座標（θＭＡｈ，θＭＡｖ）を算出する。θＭＡｈは、ＰＴＺカメラＣＺｋの設置位置から見て、ユーザにより指定された位置に対応する実際の音源位置に向かう方向の水平角である。θＭＡｖは、ＰＴＺカメラＣＺｋの設置位置から見て、ユーザにより指定された位置に対応する実際の音源位置に向かう方向の垂直角である。図２に示すように、全方位カメラＣＡｋとＰＴＺカメラＣＺｋとの距離は既知であり、かつそれぞれの光軸Ｌ１，Ｌ２は平行であるため、上記の座標変換式の算出処理は、例えば公知の幾何学計算により実現可能である。音源位置は、第１モニタＭＮ１，第２モニタＭＮ２に表示された映像データに対し、ユーザの指又はスタイラスペンの操作によって操作部３２から指定された位置に対応する実際の音源位置である。

なお、図２に示すように、各実施形態において全方位カメラＣＡｋの光軸方向とマイクアレイＭＡｋの筐体の中心軸とは同軸上となるように全方位カメラＣＡｋ及びマイクアレイＭＡｋはそれぞれ配置されている。このため、全方位画像データが表示された第１モニタＭＮ１に対するユーザの指定に応じて全方位カメラＣＡｋが導出するユーザ指定位置の座標は、マイクアレイＭＡｋから見た音の強調方向（指向方向ともいう）と同一にみなすことができる。言い換えると、監視装置１０は、全方位画像データが表示された第１モニタＭＮ１（なお、第２モニタＭＮ２でも可）に対するユーザの指定があると、全方位画像データ上の指定位置の座標を全方位カメラＣＡｋに送信する。これにより、全方位カメラＣＡｋは、監視装置１０から送信された指定位置の座標を用いて、全方位カメラＣＡｋから見た、ユーザ指定位置に対応する音源位置の方向を示す座標（水平角，垂直角）を算出する。全方位カメラＣＡｋにおける算出処理は、公知技術であるため、説明は割愛する。全方位カメラＣＡｋは、音源位置の方向を示す座標の算出結果を監視装置１０に送信する。監視装置１０は、全方位カメラＣＡｋにより算出された座標（水平角，垂直角）を、マイクアレイＭＡｋから見た音源位置の方向を示す座標（水平角，垂直角）として使用することができる。

但し、全方位カメラＣＡｋとマイクアレイＭＡｋとが同軸上に配置されていない場合には、設定管理部３９は、例えば特開２０１５−０２９２４１号に記載されている方法に従って、全方位カメラＣＡｋが導出した座標を、マイクアレイＭＡｋから見た方向の座標に変換する必要がある。

また、設定管理部３９は、音源方向検知部３４で算出された全方位画像データ又は２次元パノラマ画像データを構成する画素毎の音圧ｐと比較される第１閾値ｔｈ１、第２閾値ｔｈ２及び第３閾値ｔｈ３（例えば図９参照）を保持する。ここで、音圧ｐは、音源に関する音パラメータの一例として使用されており、マイクアレイＭＡで収音される音の大きさを表しており、スピーカ装置３７から出力される音の大きさを表す音量とは区別している。第１閾値ｔｈ１、第２閾値ｔｈ２及び第３閾値ｔｈ３は、監視エリア８内で発生した音の音圧と比較される値であり、例えば無人飛行体ｄｎが発する音を判断するための所定値に設定される。また、閾値は、上述した第１閾値ｔｈ１、第２閾値ｔｈ２及び第３閾値ｔｈ３以外にも複数設定可能であり、ここでは簡単に説明するために、例えば第１閾値ｔｈ１と、これより大きな値である第２閾値ｔｈ２と、さらに大きな値である第３閾値ｔｈ３の３つが設定される（第１閾値ｔｈ１＜第２閾値ｔｈ２＜第３閾値ｔｈ３）。

また、後述するように、出力制御部３５により生成される音圧ヒートマップでは、第３閾値ｔｈ３より大きな音圧が得られた画素の赤領域ＲＤ１（図１５参照）は、全方位画像データが表示された第１モニタＭＮ１上で、例えば赤色で描画される。また、第２閾値ｔｈ２より大きく第３閾値ｔｈ３以下の音圧が得られた画素のピンク領域ＰＤ１は、全方位画像データが表示された第１モニタＭＮ１上で、例えばピンク色で描画される。第１閾値ｔｈ１より大きく第２閾値ｔｈ２以下の音圧が得られた画素の青領域ＢＤ１は、全方位画像データが表示された第１モニタＭＮ１上で、例えば青色で描画される。また、第１閾値ｔｈ１以下の画素の音圧の領域Ｎ１は、全方位画像データが表示された第１モニタＭＮ１で、例えば無色で描画され、つまり、全方位画像データの表示色と何ら変わらない。

スピーカ装置３７は、マイクアレイＭＡｋが収音した音声データ、又はマイクアレイＭＡｋが収音して信号処理部３３によって指向性が形成された音声データを音声出力する。なお、スピーカ装置３７は、監視装置１０とは別体の装置として構成されてもよい。

メモリ３８は、例えばＲＯＭやＲＡＭを用いて構成され、例えば一定区間の音データを含む各種データ、設定情報、プログラム等を保持する。また、メモリ３８は、個々の無人飛行体ｄｎに固有な音パターンが登録されたパターンメモリ（図７参照）を有する。さらに、メモリ３８は、出力制御部３５により生成される音圧ヒートマップのデータを記憶する。また、メモリ３８には、無人飛行体ｄｎの位置を模式的に表す識別マーク（不図示）が登録されている。ここで用いられる識別マークは、一例として、星形の記号である。なお、識別マークとしては、星形に限らず、円形や四角形、さらには、無人飛行体ｄｎを連想させる「卍」形等の記号や文字であってもよい。また、昼間と夜間とで、識別マークの表示態様を変えてもよく、例えば、昼間には星形で、夜間には星と見間違わないような四角形としてもよい。また、識別マークを動的に変化させてよい。例えば星形の記号を点滅表示したり、回転させたりしてもよく、より一層、ユーザに注意を喚起できる。

図７は、メモリ３８に登録されている無人飛行体ｄｎの検知音のパターンの一例を示すタイミングチャートである。図７に示す検知音のパターンは、周波数パターンの組み合わせであり、マルチコプタ型の無人飛行体ｄｎに搭載された４つのロータの回転等によって発生する４つの周波数ｆ１，ｆ２，ｆ３，ｆ４の音を含む。それぞれの周波数の信号は、例えば各ロータに軸支された複数枚の羽の回転に伴って発生する、異なる音の周波数の信号である。

図７では、斜線で示された周波数の領域が、音圧の高い領域である。なお、検知音のパターンは、複数の周波数の音の数や音圧だけでなく、その他の音情報を含んでもよい。例えば各周波数の音圧の比率を表す音圧比等が挙げられる。ここでは、一例として無人飛行体ｄｎの検知は、検知音のパターンに含まれる、それぞれの周波数の音圧が閾値を超えているか否かによって判断される。

指向性処理部６３は、無指向性のマイクロホンＭ１〜Ｍｑで収音された音信号（音データともいう）とマスキングエリア設定部６９ａの設定結果とを用い、上述した指向性形成処理（ビームフォーミング）を行い、マスキングエリア設定部６９ａにより設定されたマスキングエリアを除く他のエリアの方向を指向方向とする音データの抽出処理を行う。また、指向性処理部６３は、マスキングエリア設定部６９ａにより設定されたマスキングエリアを除く他のエリアの方向の範囲を指向範囲とする音データの抽出処理を行うことも可能である。ここで、指向範囲は、隣接する指向方向を複数含む範囲であり、指向方向と比較すると、ある程度の指向方向の広がりを含むことを意図する。

周波数分析部６４は、指向性処理部６３によって指向方向に抽出処理された音データに対し、周波数分析処理を行う。この周波数分析処理では、指向方向の音データに含まれる周波数及びその音圧が検知される。

図８は、周波数分析処理の結果として得られた検知音信号の周波数変化の一例を示すタイミングチャートである。図８では、検知音信号（つまり、検知音データ）として、４つの周波数ｆ１１，ｆ１２，ｆ１３，ｆ１４及び各周波数の音圧が得られている。図中、不規則に変化する各周波数の変動は、例えば無人飛行体ｄｎが無人飛行体ｄｎ自身の機体の姿勢を制御する際に僅かに変化するロータ（回転翼）の回転変動によって起こる。

検知部としての対象物検知部６５は、周波数分析部６４の周波数分析処理結果を用いて、無人飛行体ｄｎの検知処理を行う。具体的には、無人飛行体ｄｎの検知処理では、対象物検知部６５は、マスキングエリア設定部６９ａにより設定されたマスキングエリアを除く他のエリアにおいて、周波数分析処理の結果として得られた検知音のパターン（図８参照）（周波数ｆ１１〜ｆ１４）と、メモリ３８のパターンメモリに予め登録された検知音のパターン（図７参照）（周波数ｆ１〜ｆ４）とを比較する。対象物検知部６５は、両者の検知音のパターンが近似するか否かを判定する。

両者のパターンが近似するか否かは、例えば以下のように判断される。４つの周波数ｆ１，ｆ２，ｆ３，ｆ４のうち、検知音データに含まれる少なくとも２つの周波数の音圧がそれぞれ閾値を超える場合、音パターンが近似しているとして、対象物検知部６５は、無人飛行体ｄｎを検知する。なお、他の条件を満たした場合に無人飛行体ｄｎが検知されてもよい。

検知結果判定部６６は、無人飛行体ｄｎが存在しないと判定された場合、次の指向方向での無人飛行体ｄｎの検知に移行するように検知方向制御部６８に指示する。検知結果判定部６６は、指向方向の走査の結果、無人飛行体ｄｎが存在すると判定された場合、無人飛行体ｄｎの検知結果を出力制御部３５に通知する。なお、この検知結果には、検知された無人飛行体ｄｎの情報が含まれる。無人飛行体ｄｎの情報には、例えば無人飛行体ｄｎの識別情報、収音空間における無人飛行体ｄｎの位置情報（例えば方向情報）が含まれる。

検知方向制御部６８は、検知結果判定部６６からの指示に基づいて、収音空間において無人飛行体ｄｎを検知するための方向を制御する。例えば検知方向制御部６８は、収音空間全体（つまり、監視エリア８）の中で、音源方向検知部３４により推定された音源位置を含む指向範囲ＢＦ１（図１１参照）の任意の方向を検知方向として設定する。

走査制御部６７は、検知方向制御部６８により設定された検知方向を指向方向としてビームフォーミングするよう、指向性処理部６３に対して指示する。

指向性処理部６３は、走査制御部６７から指示された指向方向に対して、ビームフォーミングする。なお、初期設定では、指向性処理部６３は、音源方向検知部３４によって推定された音源位置を含む指向範囲ＢＦ１（図１１参照）内の初期位置を指向方向ＢＦ２とする。指向方向ＢＦ２は、検知方向制御部６８により、指向範囲ＢＦ１の中で次々に設定される。

マスキングエリア設定部６９ａは、全方位カメラＣＡｋにより撮像された監視エリア８の全方位画像データ又は２次元パノラマ画像データとマイクアレイＭＡｋにより収音された監視エリア８の音声データとを基に、全方位画像又は２次元パノラマ画像（つまり、撮像画像）に現れる無人飛行体ｄｎの検知を除外するためのマスキングエリアを設定する。マスキングエリアの設定の詳細については、図１３及び図１４を参照して後述する。

出力制御部３５は、第１モニタＭＮ１、第２モニタＭＮ２及びスピーカ装置３７の各動作を制御するとともに、全方位カメラＣＡｋから送信された全方位画像データ或いは２次元パノラマ画像データを第１モニタＭＮ１，第２モニタＭＮ２に出力して表示し、さらに、マイクアレイＭＡから送信された音声データをスピーカ装置３７に音声出力する。また、出力制御部３５は、無人飛行体ｄｎが検知された場合、無人飛行体ｄｎを表す識別マーク（不図示）を、全方位画像に重畳して表示するために、第１モニタＭＮ１（第２モニタＭＮ２でも可）に出力する。

また、出力制御部３５は、マイクアレイＭＡｋにより収音された音声データと全方位カメラＣＡｋにより導出された音源位置の方向を示す座標とを用いて、マイクアレイＭＡｋにより収音された音データの指向性形成処理を行うことで、指向方向の音データを強調処理する。音声データの指向性形成処理は、例えば特開２０１５−０２９２４１号公報に記載されている公知の技術である。

また、出力制御部３５は、音源方向検知部３４により算出された全方位画像データ又は２次元パノラマ画像データを構成する画素毎の音圧値を用いて、全方位画像データ又は２次元パノラマ画像データを構成する一つ一つの画素毎に、該当する画素の位置に音圧の算出値を割り当てた音圧マップを生成する。さらに、出力制御部３５は、ユーザにとって視覚的で判別し易くなるように、生成した音圧マップの画素毎の音圧値を、視覚画像（例えば色付きの画像）に色変換処理を行うことで、図１５に示すような音圧ヒートマップを生成する。

なお、出力制御部３５は、画素単位で算出した音圧値を該当する画素の位置に割り当てた音圧マップ又は音圧ヒートマップを生成すると説明したが、一つ一つの画素毎に音圧を算出せず、所定数（例えば２×２個、４×４個）の画素からなる画素ブロック単位で音圧値の平均値を算出し、該当する所定数の画素に対応する音圧値の平均値を割り当てることで、音圧マップや音圧ヒートマップを生成してもよい。

なお、閾値調整部６９ｂの詳細については、後述する第２の実施形態において説明し、ここでは詳細な説明を省略する。

次に、本実施形態の無人飛行体検知システム５の動作について、詳細に説明する。

図９は、第１の実施形態における、無人飛行体ｄｎの検知及び検知結果の表示の動作の一例を説明するシーケンス図である。無人飛行体検知システム５の各装置（例えば第１モニタＭＮ１、監視装置１０、全方位カメラＣＡｋ、マイクアレイＭＡｋ）にそれぞれ電源が投入されると、無人飛行体検知システム５は動作を開始する。また、図９の説明の前提として、無人飛行体ｄｎの検知を除外するためのマスキングエリアは既に設定され、そのマスキングエリアを示す情報はメモリ３８に登録されているとする。

初期動作では、監視装置１０は、全方位カメラＣＡｋに対し、画像配信要求を行う（Ｓ１）。全方位カメラＣＡｋは、この画像配信要求に従い、電源の投入に応じた撮像処理を開始する。また、監視装置１０は、マイクアレイＭＡｋに対し、音声配信要求を行う（Ｓ２）。マイクアレイＭＡは、この音声配信要求に従い、電源の投入に応じた収音処理を開始する。

初期動作が終了すると、全方位カメラＣＡｋは、ネットワークＮＷを介して、撮像により得られた全方位画像（例えば静止画、動画）のデータを監視装置１０に送信する（Ｓ３）。なお、図９では説明を簡単にするために、全方位カメラＣＡｋから全方位画像データが送信されるとして説明しているが、２次元パノラマ画像データが送信されてもよく、図１４においても同様である。監視装置１０は、全方位カメラＣＡｋから送信された全方位画像データをＮＴＳＣ等の表示データに変換し、第１モニタＭＮ１に出力して全方位画像データの表示を指示する（Ｓ４）。第１モニタＭＮ１は、監視装置１０から送信された表示データを入力すると、画面に全方位カメラＣＡｋによる全方位画像ＩＭＧ１のデータ（図１２、図１５参照）を表示する。

また、マイクアレイＭＡｋは、ネットワークＮＷを介して、収音により得られた監視エリア８の音声データを符号化して監視装置１０に送信する（Ｓ５）。監視装置１０では、音源方向検知部３４が、全方位カメラＣＡｋで撮像された全方位画像データとマイクアレイＭＡｋで収音された音声データとを基に、監視エリア８の全方位画像データを構成する一つ一つの画素毎に、音パラメータとしての音圧を算出し、さらに、監視エリア８内の音源位置を推定する（Ｓ６）。この推定された音源位置は、監視装置１０が無人飛行体ｄｎを検知する際、初期の指向方向が設定されるために必要となる指向範囲ＢＦ１の基準位置として使用される。

また、監視装置１０では、出力制御部３５が、音源方向検知部３４により算出された全方位画像データを構成する画素毎の音圧値を用いて、全方位画像データを構成する一つ一つの画素毎に、該当する画素の位置に音圧の算出値を割り当てた音圧マップを生成する。さらに、出力制御部３５は、ユーザにとって視覚的で判別し易くなるように、生成した音圧マップの画素毎の音圧値を、視覚画像（例えば色付きの画像）に色変換処理を行うことで、図１５に示すような音圧ヒートマップを生成する（Ｓ７）。

さらに、監視装置１０では、信号処理部３３が、ステップＳ５においてマイクアレイＭＡｋから送信された音声データを用いて、マスキングエリア設定部６９ａにより設定されたマスキングエリアの領域外に対して順次指向性を形成することで、指向性を形成した指向方向毎に無人飛行体ｄｎの検知判定を行う（Ｓ８）。この無人飛行体ｄｎの検知判定処理の詳細については、図１０及び図１１を参照して後述する。

検知判定処理の結果、無人飛行体ｄｎが検知された場合、監視装置１０内の出力制御部３５は、第１モニタＭＮ１の画面に表示された全方位画像ＩＭＧ１に、ステップＳ７において生成した音圧ヒートマップ、並びにステップＳ８において検知した指向方向に存在する無人飛行体ｄｎを表す識別マーク（不図示）を重畳して表示することを指示する（Ｓ９）。

第１モニタＭＮ１は、監視装置１０からの指示に従い、全方位画像ＩＭＧ１に、音圧ヒートマップを合成（重畳）して表示するとともに、無人飛行体ｄｎを表す識別マーク（不図示）を合成（重畳）して表示する（Ｓ１０）。この後、無人飛行体検知システム５の処理はステップＳ３に戻り、例えば電源がオフに操作される等の所定のイベントが検知されるまで、ステップＳ３〜Ｓ１０の各処理が繰り返される。

図１０は、図９のステップＳ８の無人飛行体検知判定の動作手順の詳細の一例を説明するフローチャートである。音源検知ユニットＵＤｋにおいて、指向性処理部６３は、マスキングエリア設定部６９ａにより設定されたマスキングエリアの情報を用いて、マスキングエリア外であってかつ音源方向検知部３４によって推定された音源位置に基づく指向範囲ＢＦ１を、指向方向ＢＦ２の初期位置として設定する（Ｓ２１）。マスキングエリアの情報とは、マイクアレイＭＡｋから見たマスキングエリアを向く方向の座標である。

図１１は、監視エリア８内で指向方向ＢＦ２が順に走査され、無人飛行体ｄｎが検知される様子の一例を示す図である。なお、初期位置は、マスキングエリア設定部６９ａにより設定されたマスキングエリア外であればよく、音源方向検知部３４により推定された監視エリア８の音源位置に基づく指向範囲ＢＦ１に限定されなくてもよい。つまり、マスキングエリア設定部６９ａにより設定されたマスキングエリア外であれば、ユーザにより指定された任意の位置を初期位置として設定して、監視エリア８内が順次、走査されてもよい。初期位置が限定されないことで、推定された音源位置に基づく指向範囲ＢＦ１に含まれる音源が無人飛行体でなかった場合でも、他の指向方向に飛来する無人飛行体を早期に検知することが可能となる。

指向性処理部６３は、マイクアレイＭＡｋで収音され、Ａ／Ｄ変換器Ａｎ１〜Ａｑでデジタル値に変換された音データがメモリ３８に一時的に記憶されたか否かを判定する（Ｓ２２）。記憶されていない場合（Ｓ２２、ＮＯ）、指向性処理部６３の処理はステップＳ２１に戻る。

マイクアレイＭＡにより収音された音データがメモリ３８に一時的に記憶されていると（Ｓ２２、ＹＥＳ）、指向性処理部６３は、マスキングエリア設定部６９ａにより設定されたマスキングエリア外であって、かつ監視エリア８の指向範囲ＢＦ１における任意の指向方向ＢＦ２に対してビームフォーミングし、この指向方向ＢＦ２の音データを抽出処理する（Ｓ２３）。

周波数分析部６４は、抽出処理された音データの周波数及びその音圧を検知する（Ｓ２４）。

対象物検知部６５は、メモリ３８のパターンメモリに登録された検知音のパターンと、周波数分析処理の結果得られた検知音のパターンとを比較し、無人飛行体の検知を行う（Ｓ２５）。

検知結果判定部６６は、この比較の結果を出力制御部３５に通知するとともに、検知方向制御部６８へ検知方向移行について通知する（Ｓ２６）。

例えば対象物検知部６５は、周波数分析処理の結果得られた検知音のパターンと、メモリ３８のパターンメモリに登録されている４つの周波数ｆ１，ｆ２，ｆ３，ｆ４とを比較する。対象物検知部６５は、比較の結果、両検知音のパターンにおいて同じ周波数を少なくとも２つ有し、かつ、これらの周波数の音圧が第１閾値ｔｈ１より大きい場合、両者の検知音のパターンが近似し、無人飛行体ｄｎが存在すると判定する。

なお、ここでは、少なくとも２つの周波数が一致している場合を想定したが、対象物検知部６５は、１つの周波数が一致し、この周波数の音圧が第１閾値ｔｈ１より大きい場合、近似していると判定してもよい。

また、対象物検知部６５は、それぞれの周波数に対し、許容される周波数の誤差を設定し、この誤差範囲内の周波数は同じ周波数であるとして、上記近似の有無を判定してもよい。

また、対象物検知部６５は、周波数及び音圧の比較に加えて、それぞれの周波数の音の音圧比が略一致することを判定条件に加えて判定してもよい。この場合、判定条件が厳しくなるので、音源検知ユニットＵＤｋは、検知された無人飛行体ｄｎを予め登録された対象物であるとして特定し易くなり、無人飛行体ｄｎの検知精度を向上できる。

検知結果判定部６６は、ステップＳ２６の結果、無人飛行体ｄｎが存在するか存在しないかを判別する（Ｓ２７）。

無人飛行体ｄｎが存在する場合（Ｓ２７、ＹＥＳ）、検知結果判定部６６は、出力制御部３５に無人飛行体ｄｎが存在する旨（無人飛行体ｄｎの検知結果）を通知する（Ｓ２８）。

一方、無人飛行体ｄｎが存在しない場合（Ｓ２７、ＮＯ）、検知結果判定部６６は、監視エリア８内における走査対象の指向方向ＢＦ２を次の異なる方向に移動する旨を走査制御部６７に指示する。走査制御部６７は、検知結果判定部６６からの指示に応じて、監視エリア８内における走査対象の指向方向ＢＦ２を次の異なる方向に移動させる（Ｓ２９）。なお、無人飛行体ｄｎの検知結果の通知は、１つの指向方向の検知処理が終了したタイミングでなく、全方位走査完了した後にまとめて行われてもよい。

また、監視エリア８で指向方向ＢＦ２を順番に移動させる順序は、マスキングエリア設定部６９ａにより設定されたマスキングエリア外であれば、例えば監視エリア８の指向範囲ＢＦ１内或いは監視エリア８の全範囲内で、外側の円周から内側の円周に向かうように、又は内側の円周から外側の円周に向かうように、螺旋状（渦巻状）の順序でもよい。

また、検知方向制御部６８は、一筆書きのように連続して指向方向を走査するのではなく、監視エリア８内に予め位置を設定しておき、マスキングエリア設定部６９ａにより設定されたマスキングエリア外であれば、任意の順序で各位置に指向方向ＢＦ２を移動させてもよい。これにより、監視装置１０は、例えば無人飛行体ｄｎが侵入し易い位置から検知処理を開始でき、検知処理を効率化できる。

走査制御部６７は、監視エリア８における全方位の走査を完了したか否かを判定する（Ｓ３０）。全方位の走査が完了していない場合（Ｓ３０、ＮＯ）、信号処理部３３の処理はステップＳ２３に戻り、ステップＳ２３〜Ｓ３０までの処理が繰り返される。つまり、指向性処理部６３は、マスキングエリア設定部６９ａにより設定されたマスキングエリア外において、ステップＳ２９で移動された位置の指向方向ＢＦ２にビームフォーミングし、この指向方向ＢＦ２の音データを抽出処理する。これにより、音源検知ユニットＵＤｋは、１つの無人飛行体ｄｎが検知されても、他にも存在する可能性のある無人飛行体ｄｎの検知を続行するので、複数の無人飛行体ｄｎの検知が可能である。

一方、ステップＳ３０で全方位の走査が完了すると（Ｓ３０、ＹＥＳ）、指向性処理部６３は、メモリ３８に一時的に記憶された、マイクアレイＭＡｋで収音された音データを消去する（Ｓ３１）。また、指向性処理部６３は、マイクアレイＭＡｋで収音された音データをメモリ３８から消去し、かつレコーダＲＣに保存してもよい。

音データの消去後、信号処理部３３は、無人飛行体ｄｎの検知処理を終了するか否かを判別する（Ｓ３２）。この無人飛行体ｄｎの検知処理の終了は、所定のイベントに応じて行われる。例えばステップＳ２６で無人飛行体ｄｎが検知されなかった回数をメモリ３８に保持し、この回数が所定回数以上となった場合、無人飛行体ｄｎの検知処理を終了してもよい。また、タイマによるタイムアップや、操作部３２が有するＵＩ（User Interface）（不図示）に対するユーザ操作に基づいて、信号処理部３３が無人飛行体ｄｎの検知処理を終了してもよい。また、監視装置１０の電源がオフとなる場合に、終了してもよい。

なお、ステップＳ２４の処理では、周波数分析部６４は、周波数を分析するとともに、その周波数の音圧も計測する。検知結果判定部６６は、周波数分析部６４によって測定された音圧レベルが時間経過とともに徐々に大きくなっていると、音源検知ユニットＵＤｋに対して無人飛行体ｄｎが接近していると判定してもよい。

例えば時刻ｔ１１で測定された所定の周波数の音圧レベルが、時刻ｔ１１よりも後の時刻ｔ１２で測定された同じ周波数の音圧レベルよりも小さい場合、時間経過とともに音圧が大きくなっており、無人飛行体ｄｎが接近していると判定されてもよい。また、３回以上にわたって音圧レベルを測定し、統計値（例えば分散値、平均値、最大値、最小値等）の推移に基づいて、無人飛行体ｄｎが接近していると判定されてもよい。

また、測定された音圧レベルが警戒レベルである警戒閾値より大きい場合に、検知結果判定部６６が、無人飛行体ｄｎが警戒エリアに侵入したと判定してもよい。

なお、警戒閾値は、例えば上述した第３閾値ｔｈ３よりも大きな値である。警戒エリアは、例えば監視エリア８と同じエリア、又は監視エリア８に含まれ監視エリア８よりも狭いエリアである。警戒エリアは、例えば無人飛行体ｄｎの侵入が規制されたエリアである。また、無人飛行体ｄｎの接近判定や侵入判定は、検知結果判定部６６により実行されてもよい。

図１２は、マスキングエリアＭＳＫ３が設定されていない場合の第１モニタＭＮ１の表示画面例を示す図である。図１２では、第１モニタＭＮ１において、全方位画像ＩＭＧ１の図１２紙面の右上側に、監視装置１０により検知された無人飛行体ｄｎが映っている。さらに、無人飛行体ｄｎや、全方位カメラＣＡｋの撮像画角の範囲内において発生している音源にそれぞれ対応する音圧ヒートマップが重畳されて表示されている。

図９を参照して説明したように、本実施形態では、音源方向検知部３４により算出された画素毎の音圧値が第１閾値ｔｈ１以下であれば無色で表示され、音圧値が第１閾値ｔｈ１より大きくかつ第２閾値ｔｈ２以下であれば青色で表示され、音圧値が第２閾値ｔｈ２より大きくかつ第３閾値ｔｈ３以下であればピンク色で表示され、音圧値が第３閾値ｔｈ３より大きければ赤色で表示されている。

図１２では、例えば無人飛行体ｄｎの筐体中心の周囲の回転翼やロータ付近では音圧値が第３閾値ｔｈ３より大きいため、赤領域ＲＤ１，ＲＤ２，ＲＤ３，ＲＤ４で描画されている。同様に、赤領域の周囲には、赤領域の次に音圧値が大きいことを示すピンク領域ＰＤ１，ＰＤ２，ＰＤ３，ＰＤ４が描画されている。同様に、さらにピンク領域の周囲には、ピンク領域の次に音圧値が大きいことを示す青領域ＢＤ１，ＢＤ２，ＢＤ３，ＢＤ４が描画されている。

また、図１２では、オフィスビルにおいても音源が存在していることが示されており、音源方向検知部３４により算出された画素毎の音圧値が第３閾値ｔｈ３を超えている画素又はその集合に対しては赤領域Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５，Ｒ６，Ｒ７が描画されている。同様に、オフィスビルの赤領域の周囲には、赤領域の次に音圧値が大きいことを示すピンク領域Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５が描画されている。同様に、オフィスビルのピンク領域の周囲には、ピンク領域の次に音圧値が大きいことを示す青領域Ｂ１，Ｂ２が描画されている。なお、全方位画像ＩＭＧ１のその他の領域では、音圧値が第１閾値ｔｈ１以下であるため、無色領域Ｎ１で描画されており、背景となる全方位画像ＩＭＧ１の視認性を劣化させていない。

次に、本実施形態におけるマスキングエリアの設定の詳細について、図１３、図１４及び図１５を参照して説明する。図１３は、自動学習処理時におけるマスキングエリアの表示例を時系列に示す説明図である。図１４は、第１の実施形態における、マスキングエリアの設定の動作手順の一例を説明するシーケンス図である。図１５は、マスキングエリアが設定された場合の第１モニタの表示画面例を示す図である。図１４に示すシーケンスは、図９に示すシーケンスの動作の開始前に実行される、所謂、初期設定である。

図１４において、ユーザは例えば操作部３２を用いて、監視装置１０に対して、マスキングエリアの自動学習処理の開始を指示する（Ｔ１）。監視装置１０は、全方位カメラＣＡｋに対し、画像配信要求を行う（Ｔ２）。全方位カメラＣＡｋは、この画像配信要求に従い、電源の投入に応じた撮像処理を開始する。全方位カメラＣＡｋは、ネットワークＮＷを介して、撮像により得られた全方位画像（例えば静止画、動画）のデータを監視装置１０に送信する（Ｔ３）。監視装置１０は、全方位カメラＣＡｋから送信された全方位画像データをＮＴＳＣ等の表示データに変換し、第１モニタＭＮ１に出力して全方位画像データの表示を指示する（Ｔ４）。これにより、第１モニタＭＮ１は、監視装置１０から送信された表示データを入力すると、画面に全方位カメラＣＡｋによる全方位画像ＩＭＧ１のデータを表示する（図１３紙面左上参照）。

また、監視装置１０は、マイクアレイＭＡｋに対し、音声配信要求を行う（Ｔ５）。マイクアレイＭＡは、この音声配信要求に従い、電源の投入に応じた収音処理を開始する。マイクアレイＭＡｋは、ネットワークＮＷを介して、収音により得られた監視エリア８の音声データを符号化して監視装置１０に送信する（Ｔ６）。監視装置１０では、音源方向検知部３４が、全方位カメラＣＡｋで撮像された全方位画像データとマイクアレイＭＡｋで収音された音声データとを基に、監視エリア８の全方位画像データを構成する一つ一つの画素毎に、音パラメータとしての音圧を算出する。

さらに、マスキングエリア設定部６９ａは、音源方向検知部３４による音圧の算出値が所定のマスキングエリア閾値（例えば上述した第３閾値ｔｈ３）以上となった画素又はその集合を判定する。マスキングエリア設定部６９ａは、判定された画素又はその集合を示す情報を、マスキングエリアを示す情報としてメモリ３８に保存して登録する（Ｔ７）。マスキングエリアを示す情報とは、具体的には、音圧の算出値がマスキングエリア閾値以上となった画素の位置を特定する全方位画像上の座標である。マスキングエリア設定部６９ａは、出力制御部３５を介して、マスキングエリアを示す情報とマスキングエリア（つまり、音圧の算出値がマスキングエリア閾値以上となった画素又はその集合）を所定色（例えば赤色）で塗りつぶす旨の指示を第１モニタＭＮ１に出力する（Ｔ８）。これにより、第１モニタＭＮ１は、監視装置１０から送信された指示により、全方位画像ＩＭＧ上の、マスキングエリアＭＳＫ１に対応する座標の位置を所定色で塗りつぶす処理を行う（図１３紙面右上参照）。なお、図１３紙面右上の全方位画像ＩＭＧ１では、マスキングエリアＭＳＫ１は、所定色で塗りつぶされたエリアの全体を示す。

同様に、マイクアレイＭＡは、監視装置１０からの音声配信要求に従い、ネットワークＮＷを介して、継続して行っている収音により得られた監視エリア８の音声データを符号化して監視装置１０に送信する（Ｔ９）。監視装置１０では、音源方向検知部３４が、全方位カメラＣＡｋで撮像された全方位画像データとマイクアレイＭＡｋで収音された音声データとを基に、監視エリア８の全方位画像データを構成する一つ一つの画素毎に、音パラメータとしての音圧を算出する。

さらに、マスキングエリア設定部６９ａは、音源方向検知部３４による音圧の算出値がマスキングエリア閾値以上となった画素又はその集合を判定する。マスキングエリア設定部６９ａは、判定された画素又はその集合を示す情報を、マスキングエリアを示す情報としてメモリ３８に保存して登録する（Ｔ１０）。マスキングエリア設定部６９ａは、出力制御部３５を介して、マスキングエリアを示す情報とマスキングエリアを所定色（例えば赤色）で塗りつぶす旨の指示を第１モニタＭＮ１に出力する（Ｔ１１）。これにより、第１モニタＭＮ１は、監視装置１０から送信された指示により、全方位画像ＩＭＧ上の、マスキングエリアＭＳＫ１に対して累積されたマスキングエリアＭＳＫ２に対応する座標の位置を所定色で塗りつぶす処理を行う（図１３紙面右下参照）。なお、図１３紙面右下の全方位画像ＩＭＧ１では、マスキングエリアＭＳＫ２は、所定色で塗りつぶされたエリアの全体を示す。

ここで、操作部３２を用いたユーザ操作により、監視装置１０に対して、マスキングエリアの自動学習処理の終了が指示される（Ｔ１２）。監視装置１０は、この指示により、マイクアレイＭＡｋに対し、音声配信停止要求を送信する（Ｔ１３）。これにより、マイクアレイＭＡｋは、収音により得た監視エリア８の音声データの監視装置１０への配信（送信）を停止する。

また、操作部３２を用いたユーザ操作により、図１３紙面右下のマスキングエリアＭＳＫ２が示された第１モニタＭＮ１に対して、マスキングエリアの修正（つまり、マスキングエリアの追加、削除）の操作がなされると（Ｔ１４）、監視装置１０では、マスキングエリア設定部６９ａは、ユーザ操作により、指定された全方位画像ＩＭＧ１上の位置をマスキングエリアとして追加し、又はマスキングエリアから削除した上で、その修正後のマスキングエリアＭＳＫ３を示す情報をメモリ３８に保存して登録する（Ｔ１５）。

例えばステップＴ１４では、図１３紙面右下のマスキングエリアＭＳＫ２が示された第１モニタＭＮ１に対して、ユーザの判断の下でマスキングエリアとして不要な領域ＧＯＭ１，ＧＯＭ２，ＧＯＭ３を削除するための操作（例えば範囲指定操作）がなされたり、マスキングエリアＭＳＫ２により覆われる背景のオフィスビル一帯をマスキングエリアとして追加するための操作（つまり、描画操作）がなされたりする。

マスキングエリア設定部６９ａは、出力制御部３５を介して、マスキングエリアを示す情報とマスキングエリアを所定色（例えば赤色）で塗りつぶす旨の指示を第１モニタＭＮ１に出力する（Ｔ１６）。これにより、第１モニタＭＮ１は、監視装置１０から送信された指示により、全方位画像ＩＭＧ上の、マスキングエリアＭＳＫ１，ＭＳＫ２に対して累積されたマスキングエリアＭＳＫ３に対応する座標の位置を所定色で塗りつぶす処理を行う（図１３紙面左下参照）。なお、図１３紙面左下の全方位画像ＩＭＧ１では、マスキングエリアＭＳＫ３は、所定色で塗りつぶされたエリアの全体を示す。従って、上空はマスキングエリアＭＳＫ３から設定除外されたことになる。

これにより、図１４に示すシーケンスによれば、本実施形態の検知対象としての無人飛行体ｄｎは、全方位カメラＣＡｋの撮像画角の範囲内において、周囲に音源が殆ど存在していない上空を飛翔する傾向があることに鑑み、マイクアレイＭＡｋからの音声データの解析によってマスキングエリア閾値以上となる音圧が発した音源が上空では見当たらなかったので、上空を無人飛行体ｄｎの検知対象として設定可能となる。その一方で、周囲に音源が数多く存在するようなオフィスビル一帯をマスキングエリアと設定することで、無人飛行体ｄｎ以外の音源を本来検知したい無人飛行体ｄｎとして誤検知してしまうことを回避することができ、無人飛行体ｄｎの検知精度及び検知処理速度を向上することが可能となる。

言い換えると、図１５に示すように、全方位画像ＩＭＧ１において、マスキングエリアＭＳＫ３外の他のエリアにおいてのみ無人飛行体ｄｎの検知がなされる。その結果として、図１２に示す全方位画像ＩＭＧ１と比べて、マスキングエリアＭＳＫ３を除く他のエリアにおいて検知された無人飛行体ｄｎの周囲の音源位置に、その音源位置で発生した音の音圧値が視覚画像に変換された音圧ヒートマップが重畳して表示されている。その一方で、マスキングエリアＭＳＫ３において検知された無人飛行体ではない他の音源（例えばオフィスビルにいる人の怒鳴り声）の周囲には、その音源位置で発生した音の音圧値が視覚画像に変換された音圧ヒートマップの重畳表示は省かれている。

なお、本実施形態では、マスキングエリア設定部６９ａによりマスキングエリアが設定された場合に、図１５に示すように、無人飛行体ｄｎの周囲に、その音源位置で発生した音の音圧値が視覚画像に変換された音圧ヒートマップが重畳して表示されている。しかし、マスキングエリア設定部６９ａによりマスキングエリアが設定されていない場合には、図１２に示すように、全方位画像ＩＭＧ１上において、検知された音源の音圧値に対応する音圧ヒートマップが重畳して表示されても構わない。

以上により、本実施形態の無人飛行体検知システム５では、監視装置１０は、マイクアレイＭＡｋにより収音された音声データを用いて、監視エリア８の撮像画像（全方位画像ＩＭＧ１）に現れる無人飛行体ｄｎの検知を除外するためのマスキングエリアをマスキングエリア設定部６９ａにより設定する。監視装置１０は、マイクアレイＭＡｋにより収音された音声データとマスキングエリアを示す情報とを用いて、マスキングエリアを除く他のエリアにおい無人飛行体ｄｎを検知する。また、監視装置１０は、マスキングエリア外で無人飛行体ｄｎを検知した場合に、全方位画像ＩＭＧ１における無人飛行体ｄｎの音源位置に、その音源位置における音の大きさを示す音源視覚画像（つまり、赤領域ＲＤ１，ピンク領域ＰＤ１，青領域ＢＤ１，…の視覚画像）を重畳して第１モニタＭＮ１に表示する。

これにより、無人飛行体検知システム５は、全方位カメラＣＡｋの撮像対象となる監視エリア８に対して、検知対象となる無人飛行体ｄｎの検知処理を除外するためのマスキングエリアを自動的に設定できるので、マスキングエリア内の音源位置の物体を無人飛行体ｄｎとして誤検知する確率を低減でき、無人飛行体ｄｎの検知精度の劣化を抑制することができる。また、無人飛行体検知システム５は、全方位カメラＣＡｋの撮像画角（つまり、全方位画像ＩＭＧ１の全域）にわたって無人飛行体ｄｎを検知する必要がなく、マスキングエリアを省いたエリアに対して無人飛行体ｄｎの検知判定を行えばよいので、無人飛行体ｄｎの検知処理も一層向上できる。

また、無人飛行体検知システム５では、音源方向検知部３４は、マイクアレイＭＡｋにより収音された音声データを基に、監視エリア８の音の大きさを特定する音圧を、全方位画像ＩＭＧ１を構成する画素の所定単位毎に算出する。マスキングエリア設定部６９ａは、音圧の算出値が音の大きさに関するマスキングエリア閾値以上となった音源の位置又はその位置を含む領域を第１モニタＭＮ１に重畳して表示し、さらに、ユーザ確定操作により、第１モニタＭＮ１に表示された音源領域をマスキングエリアとして設定する。これにより、ユーザは、無人飛行体ｄｎが飛翔する可能性は少ないがその他の音源（例えば人物の怒鳴り声）が発生しそうな場所を、無人飛行体ｄｎの検知対象のエリアから省くためのマスキングエリアとして、第１モニタＭＮ１を目視で確認しながら簡易に設定できる。

また、マスキングエリア設定部６９ａは、第１モニタＭＮ１に表示された音源領域（つまり、マスキングエリアの候補となる領域）をさらに追加するためのユーザ追加操作により、ユーザ追加操作後の音源領域をマスキングエリアとして設定する。これにより、ユーザは、監視装置１０により自動的にマスキングエリアの候補として所定色に塗りつぶされた箇所を第１モニタＭＮ１上で目視によって確認しながら、自らの判断でさらにマスキングエリアに追加したい箇所を簡単に指定しながらマスキングエリアを設定でき、ユーザの使い勝手が向上する。

また、マスキングエリア設定部６９ａは、第１モニタＭＮ１に表示された音源領域（つまり、マスキングエリアの候補となる領域）の少なくとも一部を削除するためのユーザ削除操作により、ユーザ削除操作後の音源領域をマスキングエリアとして設定する。これにより、ユーザは、監視装置１０により自動的にマスキングエリアの候補として所定色に塗りつぶされた箇所を第１モニタＭＮ１上で目視によって確認しながら、自らの判断で所定色で塗りつぶされている箇所からマスキングエリアとして除外したい一部の箇所を簡単に指定しながらマスキングエリアを設定でき、ユーザの使い勝手が向上する。

また、出力制御部３５は、音圧の算出値と音の大きさに関する複数の閾値との比較に応じて、音圧を異なる視覚画像に段階的に変換した音源視覚画像を、監視エリア８の全方位画像ＩＭＧ１を構成する画素の所定単位毎に重畳して第１モニタＭＮ１に表示する。これにより、ユーザは、第１モニタＭＮ１を見ることで、全方位カメラＣＡｋにより撮像された監視エリア８の全方位画像ＩＭＧ１の中で、監視エリア８の広範な様子を全方位画像として知ることができるだけでなく、その監視エリア８のマスキングエリア外において発生した音の発生源（例えば無人飛行体ｄｎ）の場所、さらにその音の大きさを視覚的な画像として分かり易く確認することができる。

（第２の実施形態に至る経緯）
上述した特許文献１には、ヘリコプターやセスナ等の飛行物体に特有の周波数における音圧を既定の設定レベルと比較することで、設定レベル以上であれば、監視対象の飛行物体と判断することは開示されている。

しかしながら、上述した特許文献１には、測定された音圧が複数の段階が規定された音圧のうちいずれの段階であるかを定量的に示すことは考慮されていない。このため、カメラ装置の撮像エリア内で何かしらの音が検知された場合に、その検知された音源位置における音の大きさの大小に拘わりなく、その音の大きさをきめ細かい音の視覚情報で具体的に提示することはできないという課題があった。

そこで、第２の実施形態では、カメラ装置の撮像エリアで検知された音源位置における音の大きさの大小に拘わらず、その音源位置における音の大きさをきめ細かく段階的に提示し、その音源位置における音の大きさのユーザへの正確な把握に資するモニタリングシステムの例について説明する。

（第２の実施形態）
第２の実施形態において、無人飛行体検知システム５を構成する各装置の内部構成は第１の実施形態の無人飛行体検知システム５を構成する各装置の内部構成を同様であるため、同一の内容については同一の符号を付して説明を省略し、異なる内容について説明する。

第２の実施形態では、監視装置１０は、第１の実施形態において説明した音圧ヒートマップを生成して第１モニタＭＮ１に表示した後、ユーザの操作部３２に対する操作（後述参照）により、その音圧ヒートマップの生成に必要となった音圧の算出値と複数の閾値（後述参照）との関係に応じて、音圧ヒートマップをきめ細かく解析して表示する。以下、３通りの解析方法を説明していく。

（第１の解析方法）
第１の解析方法では、監視装置１０は、全方位画像ＩＭＧ２に対応する音圧ヒートマップを全方位画像ＩＭＧ２に重畳して第１モニタＭＮ１に表示した後、ユーザが全方位画像ＩＭＧ２の一部の範囲を指定すると、その指定された範囲の音圧ヒートマップの表示解像度を、全体となる全方位画像ＩＭＧ２の表示解像度と同一となるように変更する。この第１の解析方法の動作例について、図１６及び図１７を参照して説明する。図１６は、第２の実施形態における、音圧ヒートマップの表示解像度の動的変更の概要説明図である。図１７は、第２の実施形態における、音圧ヒートマップの表示解像度の動的変更の動作手順の一例を説明するフローチャートである。

図１７において、監視装置１０は、マイクアレイＭＡｋから送信された監視エリア８の音声データを入力している（Ｓ４１）。操作部３２を用いたユーザ操作により、第１モニタＭＮ１上に対する全方位画像ＩＭＧ２（図１６紙面左上参照）の一部の切り出し範囲が指定されたかどうかが判断される（Ｓ４２）。

ここで、図１６紙面左上において、第１モニタＭＮ１に表示された全方位画像ＩＭＧ２は、全方位画像ＩＭＧ２のＸ方向の表示サイズが「Ｗｍａｘ」かつＹ方向の表示サイズが「Ｈｍａｘ」とした場合に、「Ｗｍａｘ×Ｈｍａｘ」の表示解像度を有する。また、ユーザ操作により指定される、全方位画像ＩＭＧ２の一部となる切り出し範囲の端点の座標は、（Ｘ１，Ｙ１），（Ｘ１，Ｙ２），（Ｘ２，Ｙ１），（Ｘ２，Ｙ２）の矩形である。図１６では、同矩形の対角線上に存在する（Ｘ１，Ｙ１）及び（Ｘ２，Ｙ２）のみ図示されている。

ユーザ操作により、（Ｘ１，Ｙ１），（Ｘ１，Ｙ２），（Ｘ２，Ｙ１），（Ｘ２，Ｙ２）の４点を端点とする矩形が指定されていない場合には（Ｓ４２、ＮＯ）、監視装置１０の音源方向検知部３４は、全方位画像ＩＭＧ２の全体に対する音圧マップを生成するために、（Ｘ，Ｙ）＝（０，０）と設定し（Ｓ４３）、座標（Ｘ，Ｙ）＝（０，０）における音圧Ｐ（Ｘ，Ｙ）を算出する（Ｓ４５）。

さらに、音源方向検知部３４は、全方位画像ＩＭＧ２のＸ座標が最大値のＷｍａｘに一致していない場合には（Ｓ４６、ＮＯ）、全方位画像ＩＭＧ２の全体に対する音圧マップを生成するために、Ｘ座標を１インクリメントし（Ｓ４７）、インクリメント後の（Ｘ，Ｙ）において音圧Ｐ（Ｘ，Ｙ）を算出する。

音源方向検知部３４は、全方位画像ＩＭＧ２のＸ座標が最大値Ｗｍａｘに一致した場合に（Ｓ４６、ＹＥＳ）、全方位画像ＩＭＧ２のＹ座標が最大値のＨｍａｘに一致していない場合には（Ｓ４８、ＮＯ）、全方位画像ＩＭＧ２の全体に対する音圧マップを生成するために、Ｘ座標を０に戻しかつＹ座標を１インクリメントし（Ｓ４９）、インクリメント後の（Ｘ，Ｙ）において音圧Ｐ（Ｘ，Ｙ）を算出する。音源方向検知部３４は、全方位画像ＩＭＧ２のＹ座標が最大値Ｈｍａｘに一致するまでステップ４５〜Ｓ４９の各処理を繰り返すことで、第１の実施形態と同様に、全方位画像ＩＭＧ２の全体に対する音圧マップを生成することができ、メモリ３８に保存して登録する（Ｓ５０）。

一方、ユーザ操作により、（Ｘ１，Ｙ１），（Ｘ１，Ｙ２），（Ｘ２，Ｙ１），（Ｘ２，Ｙ２）の４点を端点とする矩形が指定された場合には（Ｓ４２、ＹＥＳ）、監視装置１０の音源方向検知部３４は、全方位画像ＩＭＧ２のうちユーザ操作により指定された範囲に対する音圧マップを生成するために、（Ｘ，Ｙ）＝（Ｘ１，Ｙ１）と設定し（Ｓ４４）、座標（Ｘ，Ｙ）＝（Ｘ１，Ｙ１）における音圧Ｐ（Ｘ，Ｙ）を算出する（Ｓ４５）。

さらに、音源方向検知部３４は、全方位画像ＩＭＧ２のＸ座標が最大値のＷｍａｘに一致していない場合には（Ｓ４６、ＮＯ）、全方位画像ＩＭＧ２のうちユーザ操作により指定された範囲に対する音圧マップを生成するために、Ｘ座標を（Ｘ２−Ｘ１）／Ｗｍａｘほど増加し（Ｓ４７）、増加後の（Ｘ，Ｙ）において音圧Ｐ（Ｘ，Ｙ）を算出する。

音源方向検知部３４は、全方位画像ＩＭＧ２のＸ座標が最大値Ｗｍａｘに一致した場合に（Ｓ４６、ＹＥＳ）、全方位画像ＩＭＧ２のＹ座標が最大値のＨｍａｘに一致していない場合には（Ｓ４８、ＮＯ）、全方位画像ＩＭＧ２のうちユーザ操作により指定された範囲に対する音圧マップを生成するために、Ｘ座標をＸ１に戻しかつＹ座標を（Ｙ２−Ｙ１）／Ｈｍａｘほど増加し（Ｓ４９）、増加後の（Ｘ，Ｙ）において音圧Ｐ（Ｘ，Ｙ）を算出する。音源方向検知部３４は、全方位画像ＩＭＧ２のＹ座標が最大値Ｈｍａｘに一致するまでステップ４５〜Ｓ４９の各処理を繰り返すことで、全方位画像ＩＭＧ２のうちユーザ操作により指定された範囲に対する音圧マップを生成することができ、メモリ３８に保存して登録する（Ｓ５０）。ステップＳ５０の後、監視装置１０の処理はステップＳ４１に戻り、ステップＳ４１において入力された音声データに対し、ステップＳ４２〜Ｓ５０の処理が繰り返される。

従って、監視装置１０は、図１６紙面右上に示すように、ユーザ操作により指定された範囲を単に切り出してその範囲を構成する画素毎の音圧値に応じて、音声ヒートマップを生成して第１モニタＭＮ１に重畳すると、表示解像度が低い（つまり、粗い）画像を表示することしかできない。

ところが、本実施形態の第１の解析方法により、監視装置１０は、ユーザ操作により指定された全方位画像ＩＭＧ２の一部の切り出し範囲について、その切り出し範囲の表示解像度を全方位画像ＩＭＧ２全体の表示解像度と同一となるように、音圧Ｐ（Ｘ，Ｙ）をきめ細かい単位（つまり、Ｘ方向においては（Ｘ２−Ｘ１）／Ｗｍａｘ毎、Ｙ方向においては（Ｙ２−Ｙ１）／Ｈｍａｘ毎）で算出する。これにより、監視装置１０は、図１６紙面右下に示すように、ユーザ操作により指定された切り出し範囲の音圧ヒートマップを、単に切り出した時の音圧ヒートマップにおける表示解像度よりもきめ細かい分解能（単位）で高精度に第１モニタＭＮ１に表示することができ、ユーザに対して、ユーザ操作により指定された切り出し範囲における音源の分布の詳細をより正確に把握させることができる。

（第２の解析方法）
第２の解析方法を説明する前に、図１８〜図２０に共通する事項として、本実施形態では、音の大きさを段階的に規定する複数の閾値の幅について説明する。図１８は、第２の実施形態における、音圧値の度数分布に応じた閾値の幅調整と幅調整に伴う撮像画像の表示結果との概要説明図である。図１８〜図２０では、音圧値が下限から上限に向かって、閾値間に対応する音源視覚画像が、群青色画像、藍色画像、青色画像、水色画像、青緑画像、黄緑画像、黄色画像、橙色画像、赤色画像、紅色画像が使用されると規定されている。音圧値が最小（つまり下限）の場合には群青色画像が使用され、音圧値が最大（つまり上限）の場合には紅色画像が使用される。

例えば図１８紙面左側に示すように、音圧値の大きさに対応するように閾値が計１０個規定されており、例えば図１８紙面左側の例では、それぞれの音圧値の軸に設けられた目盛りがそれぞれ閾値に相当している。このため、この図１８紙面左側の例では、音圧値がある閾値（例えば５）と次に大きい閾値（例えば６）との間に含まれる場合には、音圧ヒートマップの生成時には、その音圧値が含まれる閾値間に対応する色画像（例えば黄緑画像）がその音圧値を視覚的に示すための音源視覚画像として使用される。

第２の解析方法では、監視装置１０の閾値調整部６９ｂは、出力制御部３５が全方位画像に対応する音圧ヒートマップを生成する際、全方位画像を構成する画素毎（画素の所定単位毎でも可。以下同様。）に算出した音圧値の発生頻度（言い換えると、度数分布）を基に、計１０個の閾値又はその閾値間の幅を動的に変更する。つまり、閾値調整部６９ｂは、複数の閾値と音源視覚画像との対応関係の設定を、全方位画像に応じて動的に変更する。例えば図１８を参照すると、閾値調整部６９ｂは、音圧値が閾値５〜閾値６の間であれば音源視覚画像として黄緑画像を使用する設定を保持していたが、音圧値が閾値５〜閾値６となる出現頻度が全方位画像の全体の画素の中で高い場合には、黄緑画像を使用するための閾値間の幅ＬＧ１（例えば閾値５〜閾値６）を、より狭くなった幅ＬＧ２（例えば閾値４．５〜閾値４．８）に変更する。

従って、全方位画像を構成する画素毎の音圧値が特定の色画像が使用されるための閾値間の幅ＡＲ１に集中している場合には、図１８紙面左下に示すように、音圧ヒートマップＶＭＰ１として、同一の色画像又は視覚的に似たような色画像（例えば黄緑画像と青緑画像）が音源視覚画像として使用されてしまい、全方位画像に出現する音源の分布をきめ細かくユーザに提示することが難しい。

しかしながら、本実施形態の第２の解析方法によれば、監視装置１０は、閾値調整部６９ｂにより、全方位画像を構成する画素毎の音圧値の出現頻度（度数分布）に応じて、音源視覚画像と複数の閾値との対応関係の設定を動的に変更し、その変更を反映した上で全方位画像に対応する音圧ヒートマップＶＭＰ２を第１モニタＭＮ１に表示する。これにより、監視装置１０は、図１８紙面右下に示すように、音圧ヒートマップＶＭＰ２として、きめ細かな音圧分布をユーザに対して提示でき、音源位置の分布をユーザにより正確に把握させることができる。

（第３の解析方法）
第３の解析方法では、監視装置１０は、操作部３２を用いたユーザ操作により、音源視覚画像（つまり、色画像）の使用を規定するためのそれぞれの閾値の上限、下限又はその両方を任意に指定可能である。図１９（Ａ）及び（Ｂ）は、第２の実施形態における、音源視覚画像の使用を規定する閾値間の幅の設定変更の概要説明図である。

例えば図１９（Ａ）では、音圧値が最も高い（つまり、上限である）ことを示す音源視覚画像（つまり、紅色画像）の使用を規定するための閾値（上端閾値）間の幅が閾値９〜閾値１０から、閾値６〜閾値１０に変更され、さらに、音圧値が最も低い（つまり、下限である）ことを示す音源視覚画像（つまり、群青色画像）の使用を規定するための閾値（下端閾値）間の幅が閾値０〜閾値１から、閾値０〜閾値２に変更されている。これにより、監視装置１０は、残りの８個の閾値について、それらの閾値間の幅が等間隔となるように動的に変更し、ユーザ操作により変更された２つの閾値間の幅とは異なるように閾値間の幅を変更することができる。

また例えば図１９（Ｂ）では、図１９（Ａ）に示すように変更された後に、音圧値が最も高い（つまり、上限である）ことを示す音源視覚画像（つまり、紅色画像）の使用を規定するための閾値（上端閾値）間の幅が閾値６〜閾値１０から、閾値９．３〜閾値１０に変更され、さらに、音圧値が最も低い（つまり、下限である）ことを示す音源視覚画像（つまり、群青色画像）の使用を規定するための閾値（下端閾値）間の幅が閾値０〜閾値２から、閾値０〜閾値５に変更されている。これにより、監視装置１０は、同様に残りの８個の閾値について、図１９（Ａ）に示す例とはそれぞれの閾値は異なるが、残り８個の閾値間の幅が等間隔となるように動的に変更し、ユーザ操作により変更された２つの閾値間の幅とは異なるように閾値間の幅を変更することができる。

また図１９（Ａ）及び（Ｂ）では、音圧値が最も高い（つまり、上限である）ことを示す音源視覚画像（つまり、紅色画像）の使用を規定するための閾値（上端閾値）間の幅と、音圧値が最も低い（つまり、下限である）ことを示す音源視覚画像（つまり、群青色画像）の使用を規定するための閾値（下端閾値）間の幅との両方が変更される例を説明したが、いずれか一方だけの変更においても同様である。

つまり、音圧値が最も高い（つまり、上限である）ことを示す音源視覚画像（つまり、紅色画像）の使用を規定するための閾値（上端閾値）間の幅のみが変更された場合には、監視装置１０は、同様に残りの９個の閾値間の幅が等間隔となるように動的に変更し、ユーザ操作により変更された１つの閾値間の幅とは異なるように閾値間の幅を変更することができる。

また、音圧値が最も低い（つまり、下限である）ことを示す音源視覚画像（つまり、群青色画像）の使用を規定するための閾値（下端閾値）間の幅のみが変更された場合には、監視装置１０は、同様に残りの９個の閾値間の幅が等間隔となるように動的に変更し、ユーザ操作により変更された１つの閾値間の幅とは異なるように閾値間の幅を変更することができる。

ここで、第３の解析方法による、閾値幅の設定変更に関する動作について、図２０及び図２１を参照して説明する。図２０は、第２の実施形態における、紅色画像及び群青色画像の使用を規定する閾値間の幅の設定変更に伴う撮像画像の表示の概要説明図である。図２１は、第２の実施形態における、閾値間の幅の設定変更の動作手順の一例を説明するフローチャートである。

図２０に示すように、音圧値が最も高い（つまり、上限である）ことを示す音源視覚画像（つまり、紅色画像）と、音圧値が最も低い（つまり、下限である）ことを示す音源視覚画像（つまり、群青色画像）とのそれぞれの使用を規定する閾値間の幅がともに変更されたとする。この場合、監視装置１０では、閾値調整部６９ｂは、図２１に示すように、音源視覚画像と音源視覚画像の使用を規定する閾値又は閾値間の幅との対応テーブル（不図示、対応関係）の設定を動的に変更する。

従って、監視装置１０は、図２０に示す例では、全方位画像（つまり、撮像画像）に重畳される音圧ヒートマップＶＭＰ２が紅色画像のみであったが、ユーザ操作により、きめ細かい色の種類の音源視覚画像を用いた音圧ヒートマップＶＭＰ２Ａを生成し、その音圧ヒートマップＶＭＰ２Ａを全方位画像（つまり、撮像画像）に重畳して第１モニタＭＮ１に表示する。ユーザ操作は、例えば第１モニタＭＮ１上に表示された閾値又は閾値間の幅の入力画面（不図示）に対する入力操作、又は第１モニタＭＮ１上に表示された閾値間の幅の表示画面に対するドラッグ操作が該当するが、これらの操作に限定されない。

図２１において、閾値調整部６９ｂは、操作部３２を用いたユーザ操作により、音圧値が最も高い（つまり、上限である）ことを示す音源視覚画像（つまり、紅色画像）の使用を規定する閾値間の幅が変更されたか否かを判断する（Ｓ６１）。音圧値が最も高い（つまり、上限である）ことを示す音源視覚画像（つまり、紅色画像）の使用を規定する閾値間の幅が変更された場合（Ｓ６１、ＹＥＳ）、閾値調整部６９ｂは、音圧値が最も低い（つまり、下限である）ことを示す音源視覚画像（つまり、群青色画像）の使用を規定する閾値間の幅が変更されたか否かを判断する（Ｓ６２）。

閾値調整部６９ｂは、音圧値が最も低い（つまり、下限である）ことを示す音源視覚画像（つまり、群青色画像）の使用を規定する閾値間の幅が変更された場合に（Ｓ６２、ＹＥＳ）、その変更結果に応じて、音源視覚画像と音源視覚画像の使用を規定する閾値又は閾値間の幅との対応テーブルを修正する（Ｓ６３）。例えば閾値調整部６９ｂは、残りの８個の閾値について、それらの閾値間の幅が等間隔となるように動的に変更し、ユーザ操作により変更された２つの閾値間の幅とは異なるように閾値間の幅を変更する。これにより、監視装置１０は、例えば紅色画像の使用を規定する閾値と群青色画像の使用を規定する閾値との間の音圧値が多く得られている場合には、ユーザによる閾値間の幅の調整操作により、数多くの音圧値が集中している画素周囲の分布をきめ細かく音圧ヒートマップとして表示できる。

閾値調整部６９ｂは、音圧値が最も低い（つまり、上限である）ことを示す音源視覚画像（つまり、紅色画像）の使用を規定する閾値間の幅が変更されない場合に（Ｓ６２、ＮＯ）、その変更結果に応じて、音源視覚画像と音源視覚画像の使用を規定する閾値又は閾値間の幅との対応テーブルを修正する（Ｓ６４）。例えば閾値調整部６９ｂは、残りの９個の閾値について、それらの閾値間の幅が等間隔となるように動的に変更し、ユーザ操作により変更された１つの閾値間の幅とは異なるように閾値間の幅を変更する。これにより、監視装置１０は、例えば紅色画像の使用を規定する閾値以下の音圧値が多く得られている場合には、ユーザによる閾値間の幅の調整操作により、数多くの音圧値が集中している画素周囲の分布をきめ細かく音圧ヒートマップとして表示できる。

一方、ステップＳ６１において、音圧値が最も高い（つまり、上限である）ことを示す音源視覚画像（つまり、紅色画像）の使用を規定する閾値間の幅が変更されない場合（Ｓ６１、ＮＯ）、閾値調整部６９ｂは、音圧値が最も低い（つまり、下限である）ことを示す音源視覚画像（つまり、群青色画像）の使用を規定する閾値間の幅が変更されたか否かを判断する（Ｓ６５）。なお、音圧値が最も低い（つまり、下限である）ことを示す音源視覚画像（つまり、群青色画像）の使用を規定する閾値間の幅が変更されない場合には（Ｓ６５、ＮＯ）、閾値調整部６９ｂの処理はステップＳ６１に戻る。

閾値調整部６９ｂは、音圧値が最も低い（つまり、下限である）ことを示す音源視覚画像（つまり、群青色画像）の使用を規定する閾値間の幅が変更された場合に（Ｓ６５、ＹＥＳ）、その変更結果に応じて、音源視覚画像と音源視覚画像の使用を規定する閾値又は閾値間の幅との対応テーブルを修正する（Ｓ６６）。例えば閾値調整部６９ｂは、残りの９個の閾値について、それらの閾値間の幅が等間隔となるように動的に変更し、ユーザ操作により変更された１つの閾値間の幅とは異なるように閾値間の幅を変更する。これにより、監視装置１０は、例えば群青色画像の使用を規定する閾値以上の音圧値が多く得られている場合には、ユーザによる閾値間の幅の調整操作により、数多くの音圧値が集中している画素周囲の分布をきめ細かく音圧ヒートマップとして表示できる。

以上により、本実施形態の無人飛行体検知システム５では、監視装置１０は、マイクアレイＭＡｋにより収音された音声データを用いて、監視エリア８の音の大きさを特定する音圧を、監視エリア８の撮像画像（全方位画像ＩＭＧ２）を構成する画素の所定単位毎に算出する。監視装置１０は、音圧の算出値と音の大きさに関する複数の閾値との比較に応じて、音圧を異なる視覚画像に段階的に変換した音源視覚画像を、撮像画像を構成する画素の所定単位毎に重畳して第１モニタＭＮ１に表示する。監視装置１０は、音源視覚画像が重畳された撮像画像の中でいずれかの音源位置が指定されると、その音源位置を含む矩形範囲を構成する画素の所定単位を撮像画像と矩形範囲とのサイズ比で除した値毎に、音圧を算出する。

これにより、監視装置１０は、ユーザ操作により指定された矩形範囲（つまり、切り出し範囲）の音圧ヒートマップを、単に切り出した時の音圧ヒートマップにおける表示解像度よりもきめ細かい分解能（単位）で高精度に第１モニタＭＮ１に表示することができ、ユーザに対して、ユーザ操作により指定された切り出し範囲における音源の分布の詳細をより正確に把握させることができる。言い換えると、監視装置１０は、全方位カメラＣＡｋの監視エリア８で検知された音源位置における音の大きさの大小に拘わらず、その音源位置における音の大きさをきめ細かく段階的に提示し、その音源位置における音の大きさのユーザへの正確な把握に資することができる。

また、本実施形態の無人飛行体検知システム５では、監視装置１０は、マイクアレイＭＡｋにより収音された音声データを用いて、監視エリア８の音の大きさを特定する音圧を、監視エリア８の撮像画像（全方位画像ＩＭＧ２）を構成する画素の所定単位毎に算出する。監視装置１０は、音の大きさを段階的に規定する複数の閾値の各閾値と、各閾値との比較に応じて音圧が異なる視覚画像に段階的に変換される音源視覚画像との対応関係の設定を、監視エリア８の撮像画像（つまり、全方位画像）に応じて動的に変更する。監視装置１０は、音圧の算出値と変更された対応関係の設定とを基に、撮像画像を構成する画素の所定単位毎に、音圧の算出値に対応する音源視覚画像を撮像画像に重畳して第１モニタＭＮ１に表示する。

これにより、監視装置１０は、全方位カメラＣＡｋにより撮像された撮像画像に応じて、監視エリア８で収音された音源の位置を視覚的に示すための音圧ヒートマップとして、きめ細かな音圧分布をユーザに対して提示でき、音源位置の分布をユーザにより正確に把握させることができる。

また、監視装置１０の閾値調整部６９ｂは、監視エリア８の撮像画像を構成する画素の所定単位毎の音圧の出現頻度を基に、音源視覚画像を規定する各閾値間の幅を変更する。これにより、監視装置１０は、出現頻度の高い音圧算出値に対応する画素には音源視覚画像の種類を増加し、一方、出現頻度の低い音圧算出値に対応する画素には音源視覚画像の種類を減少した上で音圧ヒートマップを生成するので、単調な色合いではなく、きめ細かく多様な色合いの音圧分布を提示でき、音源位置の分布をユーザにより正確に把握させることができる。

また、監視装置１０の閾値調整部６９ｂは、音圧の上限値に対応する音源視覚画像（つまり、紅色画像）の使用を規定する閾値間の幅の変更操作に応じて、その幅が変更された後の閾値間の幅を除く他の全ての閾値間の幅を均等に変更する。これにより、監視装置１０は、例えば紅色画像の使用を規定する閾値以下の音圧値が多く得られている場合には、ユーザによる閾値間の幅の調整操作により、数多くの音圧値が集中している画素周囲の分布をきめ細かく音圧ヒートマップとして表示できる。

また、監視装置１０の閾値調整部６９ｂは、音圧の下限値に対応する音源視覚画像（つまり、群青色画像）の使用を規定する閾値間の幅の変更操作に応じて、その幅が変更された後の閾値間の幅を除く他の全ての閾値間の幅を均等に変更する。これにより、監視装置１０は、例えば群青色画像の使用を規定する閾値以上の音圧値が多く得られている場合には、ユーザによる閾値間の幅の調整操作により、数多くの音圧値が集中している画素周囲の分布をきめ細かく音圧ヒートマップとして表示できる。

また、監視装置１０の閾値調整部６９ｂは、音圧の上限値に対応する音源視覚画像（つまり、紅色画像）の使用を規定する閾値間の幅と音圧の下限値に対応する音源視覚画像（つまり、群青色画像）の使用を規定する閾値間の幅の変更操作に応じて、それらの幅が変更された後の閾値間の幅を除く他の全ての閾値間の幅を均等に変更する。これにより、監視装置１０は、例えば紅色画像の使用を規定する閾値と群青色画像の使用を規定する閾値との間の音圧値が多く得られている場合には、ユーザによる閾値間の幅の調整操作により、数多くの音圧値が集中している画素周囲の分布をきめ細かく音圧ヒートマップとして表示できる。

（第３の実施形態に至る経緯）
上述した特許文献１では、監視領域内の任意の方向に撮影方向を変向可能な監視カメラが設けられており、ヘリコプターやセスナ等の飛行物体が検出されると、この監視カメラの撮影方向を変向させることは開示されている。言い換えると、検出された飛行物体を注目して撮像するために、監視カメラの撮影方向を変向することは開示されている。

しかしながら、上述した特許文献１には、撮像エリアに対するカメラ装置の画角の範囲内で検知された無人飛行体を含む周囲の撮像画像を広範に表示することは考慮されていない。このため、カメラ装置の撮像エリア内のどのような場所で無人飛行体が検知され、同じ撮像エリア内で他にどのような場所でどんな音源が存在しているかを、ユーザにとって視覚的に提示することはできないという課題があった。

そこで、第３の実施形態では、カメラ装置の撮像エリア内のどのような場所で無人飛行体が検知され、同じ撮像エリア内で他にどのような場所でどんな音源が存在しているかを、カメラ装置の撮像画像の視認性を劣化することなく、ユーザに対して視覚的に提示するモニタリングシステムの例について説明する。

（第３の実施形態）
第３の実施形態において、無人飛行体検知システム５を構成する各装置の内部構成は第１の実施形態の無人飛行体検知システム５を構成する各装置の内部構成を同様であるため、同一の内容については同一の符号を付して説明を省略し、異なる内容について説明する。

第３の実施形態では、監視装置１０は、第１の実施形態において説明した音圧ヒートマップ（音パラメータマップ）を生成した後、その音圧ヒートマップの半透明画像（半透明マップ）となる半透明音圧ヒートマップを生成し、この半透明音圧ヒートマップを全方位画像に重畳して第１モニタＭＮ１に表示する（図２２参照）。図２２は、第３の実施形態における、全方位画像と半透明音圧ヒートマップとのオーバーレイ表示の概要説明図である。

本実施形態では、監視装置１０は、図２２に示すように、全方位カメラＣＡｋにより撮像された全方位画像ＩＭＧ１を第１モニタＭＮ１に表示する。また、監視装置１０は、全方位画像ＩＭＧ１を構成する画素毎又はその画素の所定単位毎に算出した音圧値を異なる視覚画像に段階的に変換した音源視覚画像を用いて、全方位画像ＩＧＭ１に対応する音圧ヒートマップを生成し、さらに、この音圧ヒートマップを半透明画像に変換した半透明音圧ヒートマップＴＲＬ１を生成して第２モニタＭＮ２に表示する。

なお、図２２では、監視装置１０は、全方位画像ＩＭＧ１を第１モニタＭＮ１、半透明音圧ヒートマップＴＲＬ１を第２モニタＭＮ２と別々のモニタに表示しているが、全方位画像ＩＭＧ１において、例えばウインドウに全方位画像ＩＭＧ１を表示し、別のウインドウに半透明音圧ヒートマップＴＲＬ１を表示してもよい。

さらに、監視装置１０は、全方位画像ＩＭＧ１に半透明音圧ヒートマップＴＲＬ１を重畳した全方位画像ＩＭＧ１Ａを第１モニタＭＮ１に表示する（図２３参照）。図２３は、全方位画像ＩＭＧ１と半透明音圧ヒートマップＴＲＬ１とがオーバーレイ表示された第１モニタＭＮ１の表示画面例を示す図である。

図２３では、第１モニタＭＮ１において、全方位画像ＩＭＧ１Ａの図２３紙面の右上側に、監視装置１０により検知された無人飛行体ｄｎが映っている。さらに、無人飛行体ｄｎや、全方位カメラＣＡｋの撮像画角の範囲内において発生している音源にそれぞれ対応する半透明音圧ヒートマップが重畳されて表示されている。

図２４を参照して説明するように、本実施形態では、音源方向検知部３４により算出された画素毎の音圧値が第１閾値ｔｈ１以下であれば無色の半透明色（つまり、無色）で表示され、音圧値が第１閾値ｔｈ１より大きくかつ第２閾値ｔｈ２以下であれば青色の半透明色で表示され、音圧値が第２閾値ｔｈ２より大きくかつ第３閾値ｔｈ３以下であればピンク色の半透明色で表示され、音圧値が第３閾値ｔｈ３より大きければ赤色の半透明色で表示されている。

図２３では、例えば無人飛行体ｄｎの筐体中心の周囲の回転翼やロータ付近では音圧値が第３閾値ｔｈ３より大きいため、半透明赤領域ＲＤ１Ａ，ＲＤ２Ａ，ＲＤ３Ａ，ＲＤ４Ａで描画されている。同様に、半透明赤領域の周囲には、半透明赤領域の次に音圧値が大きいことを示す半透明ピンク領域ＰＤ１Ａ，ＰＤ２Ａ，ＰＤ３Ａ，ＰＤ４Ａが描画されている。同様に、さらに半透明ピンク領域の周囲には、半透明ピンク領域の次に音圧値が大きいことを示す半透明青領域ＢＤ１Ａ，ＢＤ２Ａ，ＢＤ３Ａ，ＢＤ４Ａが描画されている。

また、図２３では、オフィスビルにおいても音源が存在していることが示されており、音源方向検知部３４により算出された画素毎の音圧値が第３閾値ｔｈ３を超えている画素又はその集合に対しては半透明赤領域Ｒ１Ａ，Ｒ２Ａ，Ｒ３Ａ，Ｒ４Ａ，Ｒ５Ａ，Ｒ６Ａ，Ｒ７Ａが描画されている。同様に、オフィスビルの半透明赤領域の周囲には、半透明赤領域の次に音圧値が大きいことを示す半透明ピンク領域Ｐ１Ａ，Ｐ２Ａ，Ｐ３Ａ，Ｐ４Ａ，Ｐ５Ａが描画されている。同様に、オフィスビルの半透明ピンク領域の周囲には、半透明ピンク領域の次に音圧値が大きいことを示す半透明青領域Ｂ１Ａ，Ｂ２Ａが描画されている。なお、全方位画像ＩＭＧ１Ａのその他の領域では、音圧値が第１閾値ｔｈ１以下であるため、無色領域で描画されている。

このように、本実施形態では、監視装置１０は、第１の実施形態とは異なる半透明音圧ヒートマップＴＲＬ１を全方位画像ＩＭＧ１に重畳して第１モニタＭＮ１に表示するので、全方位画像ＩＭＧ１に出現する音源の位置やその位置における音の大きさを視覚的にユーザに判別させることができ、さらに、全方位画像ＩＭＧ１の視認性も劣化させないことができる。

次に、本実施形態の無人飛行体検知システム５の動作について、図２４を参照して詳細に説明する。

図２４は、第３の実施形態における、全方位画像ＩＭＧ１と半透明音圧ヒートマップＴＲＬ１とのオーバーレイ表示の動作手順の一例を説明するシーケンス図である。無人飛行体検知システム５の各装置（例えば第１モニタＭＮ１、監視装置１０、全方位カメラＣＡｋ、マイクアレイＭＡｋ）にそれぞれ電源が投入されると、無人飛行体検知システム５は動作を開始する。また、図２４の説明では、第１の実施形態において説明したマスキングエリアを用いてもよいし用いなくてもよい。図２４では例えばマスキングエリアを用いる場合を例示して説明する。マスキングエリアを用いる場合には、そのマスキングエリアを示す情報はメモリ３８に登録されているとする。

監視装置１０は、全方位カメラＣＡｋに対し、画像配信要求を行う（Ｓ７１）。全方位カメラＣＡｋは、この画像配信要求に従い、電源の投入に応じた撮像処理を開始する。また、監視装置１０は、マイクアレイＭＡｋに対し、音声配信要求を行う（Ｓ７２）。マイクアレイＭＡは、この音声配信要求に従い、電源の投入に応じた収音処理を開始する。

初期動作が終了すると、全方位カメラＣＡｋは、ネットワークＮＷを介して、撮像により得られた全方位画像（例えば静止画、動画）のデータを監視装置１０に送信する（Ｓ７３）。なお、図２４では説明を簡単にするために、全方位カメラＣＡｋから全方位画像データが送信されるとして説明しているが、２次元パノラマ画像データが送信されてもよい。監視装置１０は、全方位カメラＣＡｋから送信された全方位画像データをＮＴＳＣ等の表示データに変換し、第１モニタＭＮ１に出力して全方位画像データの表示を指示する（Ｓ７４）。第１モニタＭＮ１は、監視装置１０から送信された表示データを入力すると、画面に全方位カメラＣＡｋによる全方位画像ＩＭＧ１のデータ（図２２紙面左上参照）を表示する。

また、マイクアレイＭＡｋは、ネットワークＮＷを介して、収音により得られた監視エリア８の音声データを符号化して監視装置１０に送信する（Ｓ７５）。監視装置１０では、音源方向検知部３４が、全方位カメラＣＡｋで撮像された全方位画像データとマイクアレイＭＡｋで収音された音声データとを基に、監視エリア８の全方位画像データを構成する一つ一つの画素毎に、音パラメータとしての音圧を算出し、さらに、監視エリア８内の音源位置を推定する（Ｓ７６）。この推定された音源位置は、監視装置１０が無人飛行体ｄｎを検知する際、初期の指向方向が設定されるために必要となる指向範囲ＢＦ１の基準位置として使用される。

また、監視装置１０では、出力制御部３５が、音源方向検知部３４により算出された全方位画像データを構成する画素毎の音圧値を用いて、全方位画像データを構成する一つ一つの画素毎に、該当する画素の位置に音圧の算出値を割り当てた音圧マップを生成する。さらに、出力制御部３５は、ユーザにとって視覚的で判別し易くなるように、生成した音圧マップの画素毎の音圧値を、視覚画像（例えば色付きの画像）に色変換処理を行うことで、図２２紙面右上に示すような半透明音圧ヒートマップを生成する（Ｓ７７）。半透明音圧ヒートマップの生成方法は、例えば出力制御部３５が第１次的に音圧ヒートマップ（図９のステップＳ７参照）を生成し、第２次的にその音圧ヒートマップを半透明処理することで、半透明音圧ヒートマップを生成するという手順である。

さらに、監視装置１０では、信号処理部３３が、ステップＳ７５においてマイクアレイＭＡｋから送信された音声データを用いて、マスキングエリア設定部６９ａにより設定されたマスキングエリアの領域外に対して順次指向性を形成することで、指向性を形成した指向方向毎に無人飛行体ｄｎの検知判定を行う（Ｓ７８）。この無人飛行体ｄｎの検知判定処理の詳細については、図１０及び図１１を参照して説明したので、ここでは説明を割愛する。

検知判定処理の結果、無人飛行体ｄｎが検知された場合、監視装置１０内の出力制御部３５は、第１モニタＭＮ１の画面に表示された全方位画像ＩＭＧ１に、ステップＳ７７において生成した半透明音圧ヒートマップ、並びにステップＳ７８において検知した指向方向に存在する無人飛行体ｄｎを表す識別マーク（不図示）を重畳して表示することを指示する（Ｓ７９）。

第１モニタＭＮ１は、監視装置１０からの指示に従い、全方位画像ＩＭＧ１に、半透明音圧ヒートマップを合成（重畳）して表示するとともに、無人飛行体ｄｎを表す識別マーク（不図示）を合成（重畳）して表示する（Ｓ８０）。この後、無人飛行体検知システム５の処理はステップＳ７３に戻り、例えば電源がオフに操作される等の所定のイベントが検知されるまで、ステップＳ７３〜Ｓ８０の各処理が繰り返される。

以上により、本実施形態の無人飛行体検知システム５では、監視装置１０は、マイクアレイＭＡｋにより収音された音声データを用いて、監視エリア８の音の大きさを特定する音圧を、監視エリア８の撮像画像（全方位画像ＩＭＧ１）を構成する画素の所定単位毎に算出する。監視装置１０は、音圧の算出値と音の大きさに関する閾値との比較に応じて、画素の所定単位毎の、音圧を視覚画像に変換した音源視覚画像を、監視エリア８の全方位画像の大きさに対応するように連結した半透明音圧ヒートマップを生成する。監視装置１０は、半透明音圧ヒートマップを監視エリア８の撮像画像に重畳して第１モニタＭＮ１に表示する。

これにより、無人飛行体検知システム５では、全方位カメラＣＡｋの監視エリア８内のどのような場所で無人飛行体が検知され、同じ監視エリア８内で他にどのような場所でどんな音源が存在しているかを、全方位カメラＣＡｋの撮像画像の視認性を劣化することなく、ユーザに対して視覚的に提示することができる。

また、音の大きさに関する閾値は複数設けられ、監視装置１０は、音圧と複数の閾値との比較に応じて、画素の所定単位毎の、音圧を異なる視覚画像に段階的に変換した音源視覚画像を用いて、複数種類の音源視覚画像を有する半透明音圧ヒートマップを生成する。これにより、監視装置１０は、全方位カメラＣＡｋにより撮像された全方位画像の中で、複数の閾値によって規定される複数種類の段階を有する音圧の存在を、視覚的な音源視覚画像によって、ユーザに対してより一層明示的に判別させることができる。

また、本実施形態においても、監視装置１０は、第１の実施形態において説明したマスキングエリアを設定し、マイクアレイＭＡｋにより収音された音声データとマスキングエリアを示す情報とを用いて、マスキングエリア外において無人飛行体を検知する。監視装置１０は、マスキングエリア外で無人飛行体を検知した場合に、全方位画像中の無人飛行体の周囲（言い換えると、無人飛行体の音源位置）に、無人飛行体から出ている音の大きさを示す音源視覚画像を半透明化して第１モニタＭＮ１に表示する。これにより、監視装置１０は、マスキングエリア内を無人飛行体の検知対象から除外できるので、マスキングエリアの検知精度の劣化を抑制でき、無人飛行体の検知スピードも向上できる。また、監視装置１０は、マスキングエリア外で検知した無人飛行体ｄｎの音源位置に、無人飛行体から出ている音の大きさのレベルを音源視覚画像の半透明化画像によってその大きさだけでなく、周囲の撮像画像の視認性を劣化させないことができる。

また、本実施形態においても、監視装置１０は、音の大きさを段階的に規定する複数の閾値の各閾値と複数種類の音源視覚画像との対応関係の設定を、撮像エリアの撮像画像に応じて変更する。監視装置１０は、音圧の算出値と変更された対応関係とを基に、画素の所定単位毎の音源視覚画像を撮像エリアの撮像画像の大きさに対応するように連結した半透明音圧ヒートマップを生成する。これにより、監視装置１０は、全方位カメラＣＡｋにより撮像された全方位画像（撮像画像）の内容に応じて、その撮像画像を構成する画素毎又は画素の所定単位毎に得た音圧の算出値とその音圧の算出値に対応する音源視覚画像との対応関係を可変にできる。従って、監視装置１０は、例えば特定の音圧算出値が集中している箇所では、その辺りでの音源視覚画像を単一色の音源視覚画像ではなく複数種類色の音源視覚画像を用いて、より鮮明かつきめ細かに撮像画像に現れた音源における音の大きさの分布をユーザに対して詳細に把握させることができる。

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明は、カメラ装置の撮像エリア内のどのような場所で無人飛行体が検知され、同じ撮像エリア内で他にどのような場所でどんな音源が存在しているかを、カメラ装置の撮像画像の視認性を劣化することなく、ユーザに対して視覚的に提示するモニタリングシステム及びモニタリング方法として有用である。

５ 無人飛行体検知システム
１０ 監視装置
３１ 通信部
３２ 操作部
３３ 信号処理部
３４ 音源方向検知部
３５ 出力制御部
３７ スピーカ装置（ＳＰＫ）
３８ メモリ
３９ 設定管理部
６３ 指向性処理部
６４ 周波数分析部
６５ 対象物検知部
６６ 検知結果判定部
６７ 走査制御部
６８ 検知方向制御部
６９ａ マスキングエリア設定部
６９ｂ 閾値調整部
ＣＡ１，ＣＡｋ，ＣＡｎ 全方位カメラ
ＣＺ１，ＣＺｋ，ＣＺｎ ＰＴＺカメラ
ＭＡ１，ＭＡｋ，ＭＡｎ マイクアレイ
ＭＮ１ 第１モニタ
ＭＮ２ 第２モニタ
ＮＷ ネットワーク
ＲＣ レコーダ
ＵＤ１，ＵＤｎ 音源検知ユニット

Claims (3)

1. 撮像エリアを撮像するカメラと、
   前記撮像エリアの音声を収音するマイクアレイと、
   前記カメラにより撮像された前記撮像エリアの撮像画像を表示するモニタと、
   前記マイクアレイにより収音された音声を基に、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの撮像画像を構成する画素の所定単位毎に導出する音パラメータ導出部と、
   前記音パラメータ導出部により導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記画素の所定単位毎の、前記音パラメータを異なる視覚画像に段階的に変換した音源視覚画像を用いて、前記撮像エリアの撮像画像の大きさに対応するように連結した複数種類の前記音源視覚画像を有する音パラメータマップの半透明マップを生成する信号処理部と、
   音の大きさを段階的に規定する前記複数の閾値の各閾値と複数種類の前記音源視覚画像との対応関係の設定を、前記撮像エリアの撮像画像に応じて変更する閾値調整部と、を備え、
   前記信号処理部は、前記音パラメータ導出部により導出された前記音パラメータと前記閾値調整部により変更された前記対応関係とを基に、前記画素の所定単位毎の音源視覚画像を前記撮像エリアの撮像画像の大きさに対応するように連結した前記半透明マップを生成し、
   前記信号処理部は、生成された前記半透明マップを前記撮像エリアの撮像画像に重畳して前記モニタに表示する、
   モニタリングシステム。
2. 請求項１に記載のモニタリングシステムであって、
   前記マイクアレイにより収音された音声を基に、前記撮像エリアの撮像画像に現れる無人飛行体の検知を除外するためのマスキングエリアを設定するマスキングエリア設定部と、
   前記マイクアレイにより収音された音声と前記マスキングエリア設定部により設定された前記マスキングエリアとを基に、前記マスキングエリア外における前記無人飛行体を検知する検知部と、をさらに備え、
   前記信号処理部は、前記マスキングエリア外で前記無人飛行体が検知された場合に、前記撮像エリアの撮像画像中の前記無人飛行体の周囲に、前記無人飛行体の音の大きさを示す前記音源視覚画像を半透明化して前記モニタに表示する、
   モニタリングシステム。
3. カメラとマイクアレイとを有するモニタリングシステムにおけるモニタリング方法であって、
   前記カメラにより、撮像エリアを撮像し、
   前記マイクアレイにより、前記撮像エリアの音声を収音し、
   前記カメラにより撮像された前記撮像エリアの撮像画像をモニタに表示し、
   前記マイクアレイにより収音された音声を基に、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの撮像画像を構成する画素の所定単位毎に導出し、
   導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記画素の所定単位毎の、前記音パラメータを異なる視覚画像に段階的に変換した音源視覚画像を用いて、前記撮像エリアの撮像画像の大きさに対応するように連結した複数種類の前記音源視覚画像を有する音パラメータマップの半透明マップを生成し、
   音の大きさを段階的に規定する前記複数の閾値の各閾値と複数種類の前記音源視覚画像との対応関係の設定を、前記撮像エリアの撮像画像に応じて変更し、
   生成された前記半透明マップを前記撮像エリアの撮像画像に重畳して前記モニタに表示することを特徴とし、
   前記半透明マップの生成の際に、導出された前記音パラメータと変更された前記対応関係とを基に、前記画素の所定単位毎の音源視覚画像を前記撮像エリアの撮像画像の大きさに対応するように連結した前記半透明マップを生成する、
   モニタリング方法。

Images