[1]実施例
図1は実施例に係る監視システム1の全体構成を表す。監視システム1は、監視エリアにおける監視を支援するシステムである。監視エリアには監視員が配置されて現場での監視を行う。また、監視員を支援するためのオペレータが監視センタに常駐し、監視員と連絡を取りながら監視エリア内の状況について情報を提供したり監視すべき場所を指示したりする。監視システム1は、主としてこれら監視員及びオペレータによって利用される。
監視システム1は、ネットワーク2と、イントラネット3と、複数の監視員端末10と、監視センタサーバ装置20と、オペレータ端末30と、複数の固定カメラ40とを備える。ネットワーク2は、移動体通信網及びインターネット等を含む通信システムであり、自システムに接続される装置同士のデータのやり取りを仲介する。ネットワーク2は、移動体通信を行う基地局及び無線LAN(Local Area Network)通信を行うアクセスポイント等の無線通信装置を備える。ネットワーク2には、監視員端末10及び固定カメラ40がこれらの無線通信装置と無線通信を行うことにより接続される。
イントラネット3は、例えばLAN及びWAN(Wide Area Network)を含む通信システムであり、自システムに接続される装置同士のデータのやり取りを仲介する。イントラネット3は、ネットワーク2に接続されている。また、イントラネット3には、監視センタサーバ装置20及びオペレータ端末30が接続されている。なお、イントラネット3との接続は有線通信及び無線通信のどちらでもよい。
固定カメラ40は、監視エリアの現場に設置されて周囲の映像、すなわち監視エリアの映像を撮影する装置であり、本発明の「撮影装置」の一例である。本発明でいう「映像」には、静止画像及び動画像のどちらも含まれ得るが、以下では動画像である場合を説明する。固定カメラ40は、撮影した映像を監視センタサーバ装置20に送信する。なお、映像を送信するとは、映像を示すデータを送信することを意味する。以下でも、各種の情報に対して送信等の処理を行うことは、それらの情報を示すデータに対して処理を行うことを意味する。
固定カメラ40は、映像の撮影に関連する撮影関連処理において、解像度(画素数)、フレームレート、画像伝送レート(伝送速度)、圧縮率、圧縮方式等の設定事項を変更できる機能を有している。設定事項とは、コンピュータが処理(この例では撮影関連処理)を実行する際の動作の詳細な態様(どのようにその処理を行うか)を規定するために定められる情報のことであり、パラメータとも呼ばれる。
以下では撮影関連処理で用いられる前述した各設定事項のことを「撮影用パラメータ」という。固定カメラ40は、定められた撮影用パラメータに基づいて撮影関連処理を行う。例えば解像度(画素数)が640×480=約30.7万画素と定められていれば、固定カメラ40は、画素数が640×480の映像を撮影する。
固定カメラ40は、例えば、撮影開始時は予め定められた初期の撮影用パラメータ又は前回の撮影終了時の撮影用パラメータに基づいて撮影関連処理を行う。また、固定カメラ40は、外部装置(本実施例では監視センタサーバ装置20)から使用する撮影用パラメータを指示されると、指示された撮影用パラメータに基づいて撮影関連処理を行う。また、固定カメラ40は、パン・チルト・ズーム機能を有し、オペレータ端末30や監視員端末10からの遠隔操作により制御可能としてもよい。
固定カメラ40が送信した映像は、監視センタの画面に表示され、オペレータはその画面を見ながら監視エリアの状況を確認する。映像が高画質であるほど詳細な状況まで確認することができるが、高画質な映像はデータ量も多いので、固定カメラ40が行う無線通信に遅延が生じやすくなる。そこで、監視システム1においては、全ての映像の画質を高くするのではなく、監視エリアにおいて優先度が高い撮影装置の映像の画質を、他の映像よりも高くする。
監視員端末10は、監視エリアの現場に配置される監視員が所持して持ち運ぶ端末である。監視員端末10は、例えばスマートフォンであるが、本システム専用に作られた端末であってもよい。
図2は監視員に装着された監視員端末10を表す。図2では、監視員A1が端末ケース5を身体に固定している。端末ケース5は、監視員端末10を格納する入れ物であり、バンドにより監視員の身体(詳細には胸部)に固定されている。
監視員端末10は、周囲の映像、すなわち監視エリアの映像を撮影する撮影手段を備えている。監視員端末10は本発明の「撮影装置」の一例でもある。端末ケース5は、自ケースに監視員端末10が格納された場合に撮影手段のレンズの位置する部分が透明になっている(孔が空いていてもよい)。監視員の胸部に装着された監視員端末10は、監視員の前方の映像を撮影する。
監視員端末10の撮影手段は、上述した撮影用パラメータを変更できる機能を有する。この撮影用パラメータも、固定カメラ40と同様に、監視センタサーバ装置20によって決定される。また、監視員端末10は、GPS(Global Positioning System)等の自装置の位置の測定手段も備えている。監視員端末10は、撮影手段が撮影した映像と、測位手段による位置の測定結果とを監視センタサーバ装置20に送信する。
監視センタサーバ装置20は、監視エリアの監視状況を管理するための各種の処理を実行する情報処理装置である。監視センタサーバ装置20は、例えば、送信されてきた映像に対して画像処理を行い、監視エリアでの異常事象の発生を検出する。ここでいう異常事象とは、監視エリアにおいて発生する事象のうち、周囲の人の安全を脅かしたり迷惑になったりするなどの理由で、監視員が何らかの対応(関係者への連絡や事態を収束するための対処など)を行う対象となる事象のことであり、単に異常又は事案と呼ばれることもある。
具体的には、例えば、不審者の出現、不審物の発見、立ち入り禁止エリアへの立ち入り、道路への飛び出し、怪我人の発生、事故の発生及びケンカの発生等が異常事象に含まれる。監視センタサーバ装置20は、異常事象の発生を検出すると、その旨を示す報知情報をオペレータ端末30に送信することで、オペレータへの報知を行う。
オペレータ端末30は、監視センタのオペレータによって使用される端末である。オペレータ端末30は、監視センタサーバ装置20から送信されてきた報知情報を例えば表示手段に表示することで、監視エリアでの異常事象の発生をオペレータに報知する。この報知によって異常事象の発生に気付いたオペレータは、異常事象の発生を監視の責任者に伝えたり、監視員と連絡を取って、発生した異常事象への対応を指示したりする。
監視センタサーバ装置20には、監視エリア内を撮影する全ての固定カメラ40及び監視員端末10から映像が送信されてくるため、全ての映像に対して画像処理に用いるリソース(CPU((Central Processing Unit))及びメモリ等)を均等に割り当てると、1つの映像当たりのリソース量が少なくなる。その結果、仮に異常事象が発生してもそれを検出するまでに要する時間が長くなり、異常事象への対応が遅くなるおそれがある。
対応の遅れをなくすためには、全ての映像に十分な量のリソースを割り当てることが望ましいが、費用等の制限からそこまでのリソースを用意することは難しい。そこで、監視システム1においては、監視エリア内の重要な箇所を撮影した映像に他の映像よりもリソース量を多く割り当てて、重要な箇所における異常事象の発生をより早く検出できるようにする。そして、そのための画像処理に関する設定事項(パラメータ)が、監視センタサーバ装置20によって決定される。この設定事項のことを以下では「画像処理用パラメータ」という。
図3は監視員端末10のハードウェア構成を表す。監視員端末10は、プロセッサ11と、メモリ12と、ストレージ13と、通信装置14と、入力装置15と、出力装置16と、撮影装置17と、測位装置18とを備えるコンピュータである。プロセッサ11は、CPU等を備え、オペレーティングシステムを動作させてコンピュータ全体を制御する機能を有するデバイスである。プロセッサ11は、プログラム及びデータ等をストレージ13及び通信装置14からメモリ12に読み出し、これらに従って各種の処理を実行する。
メモリ12は、プロセッサ11が読み取り可能なデータを記憶する機能を有する記録デバイスであり、例えばROM(Read Only Memory)及びRAM(Random Access Memory)等である。ストレージ13は、プロセッサ11が読み取り可能なデータを記憶する機能を有する記録デバイスであり、例えばハードディスクドライブ及びフラッシュメモリ等である。通信装置14は、有線ネットワーク又は/及び無線ネットワークを介してコンピュータ間の通信を行う機能を有する通信デバイスである。監視員端末10においては、通信装置14が、例えば移動体通信又は無線LANの規格に準拠した無線通信を行う。
入力装置15は、外部からの入力を受け付ける機能を有する入力デバイスである。監視員端末10においては、入力装置15が、例えばタッチセンサ、ボタン及びマイクロフォン等を備える。出力装置16は、外部への出力を実施する機能を有する出力デバイスである。監視員端末10においては、出力装置16が、ディスプレイを備え、入力装置15のタッチセンサ及び出力装置16のディスプレイが一体となってタッチスクリーンを構成する。
撮影装置17は、周囲の映像を撮影するデバイスである。撮影装置17は、上述した撮影用パラメータに基づいて映像を撮影し、撮影した映像をプロセッサ11に供給する。測位装置18は、例えば、GPS衛星からの信号を用いて自身の位置を測定し、測定した位置を示す位置情報(緯度及び経度を示す情報)をプロセッサ11に供給する。
監視センタサーバ装置20は、プロセッサと、メモリと、ストレージと、通信装置とを備えるコンピュータである。これらはいずれも、図3に表す同名の各装置と機能が共通するデバイスである。監視センタサーバ装置20においては、通信装置が、有線LANの規格に準拠した有線通信を行う(無線通信を行ってもよい)。
オペレータ端末30は、プロセッサと、メモリと、ストレージと、通信装置と、入力装置と、出力装置とを備えるコンピュータである。これらはいずれも、図3に表す同名の各装置と機能が共通するデバイスである。オペレータ端末30においては、通信装置が、有線LANの規格に準拠した有線通信を行い(無線通信を行ってもよい)、また、入力装置が、キーボード、マウス及びマイクロフォン等を備える。
固定カメラ40は、プロセッサと、メモリと、ストレージと、通信装置と、撮影装置とを備えるコンピュータである。これらはいずれも、図3に表す同名の各装置と機能が共通するデバイスである。
監視システム1が備える各装置のプロセッサがプログラムを実行して各部を制御することで、以下に述べる機能が実現される。
図4は監視システム1が実現する機能構成を表す。なお、図4では、監視員端末10及び固定カメラ40がそれぞれ1つしか表されていないが、他の監視員端末10及び固定カメラ40も同じ機能構成を備えている。
監視員端末10は、測位部101と、位置情報送信部102と、撮影部103と、映像送信部104と、撮影動作制御部105とを備える。監視センタサーバ装置20は、監視員端末情報取得部201と、固定カメラ情報取得部202と、優先度判定部203と、処理決定部204と、撮影指示部205と、画像処理動作制御部206と、画像処理部207と、報知部208と、発生場所特定部209とを備える。オペレータ端末30は、報知情報表示部301を備える。固定カメラ40は、撮影部401と、映像送信部402と、撮影動作制御部403とを備える。
監視員端末10の測位部101は、自装置の位置を繰り返し測定する。測位部101は、例えば、一定時間の間隔(1秒毎など)で自装置の位置を測定し、測定した位置を示す位置情報を位置情報送信部102に供給する。位置情報送信部102は、測位部101により測定された自装置の位置を示す位置情報を監視センタサーバ装置20に送信する。監視員端末10は自装置を識別する情報として装置ID(Identification)を記憶している。位置情報送信部102は、位置情報が供給される度にその位置情報を装置IDと共に監視センタサーバ装置20に送信する。
撮影部103は、自装置の周囲の映像を撮影する。撮影部103は、後述する撮影動作制御部105により制御されて、定められた撮影用パラメータ(解像度、フレームレート)に基づいて撮影を行う。撮影部103は、映像を撮影しながら、並行して、撮影済みの映像を映像送信部104に供給する。映像送信部104は、撮影部103により撮影された自装置の周囲の映像を監視センタサーバ装置20に送信する。
映像送信部104は、後述する撮影動作制御部105により制御されて、定められた撮影用パラメータ(画像伝送レート)に基づいて映像を送信する。また、映像送信部104は、自装置の装置IDを含むメタデータを映像に付与して送信する。撮影部103及び映像送信部104は、ストリーミングの技術を用いて映像の撮影及び送信を並行して行う。撮影部103及び映像送信部104は、このようにして監視エリアの映像を撮影する撮影関連処理を行う。
撮影動作制御部105は、撮影部103及び映像送信部104による撮影に関する動作を制御する。撮影動作制御部105は、例えば、予め定められた初期の撮影用パラメータ(解像度、フレームレート及び画像伝送レート等の初期値)を記憶しておき、その撮影用パラメータを用いて撮影関連処理を行うよう撮影部103及び映像送信部104を制御する。
固定カメラ40の撮影部401は、自カメラの周囲の映像を撮影する。映像送信部402は、撮影部401により撮影された自カメラの周囲の映像を監視センタサーバ装置20に送信する。撮影動作制御部403は、撮影部401及び映像送信部402による撮影に関する動作を制御する。撮影部401、映像送信部402、撮影動作制御部403は、監視員端末10の撮影部103、映像送信部104、撮影動作制御部105と同じ機能である。
監視センタサーバ装置20の監視員端末情報取得部201は、監視員端末10の位置情報送信部102から送信されてきた位置情報及び装置IDと、監視員端末10の映像送信部104から送信されてきた映像及び装置IDとを、この装置IDが示す監視員端末10に関する情報(監視員端末情報)として取得する。つまり、監視員端末情報取得部201は、監視エリアの映像を撮影する各撮影装置(監視員端末10)の位置情報を取得する手段であり、本発明の「第1取得手段」の一例である。
また、監視員端末10は監視員に装着されているから、監視員端末10の位置情報は監視員の位置情報とみなすことができる。つまり、監視員端末情報取得部201は、監視エリアにいる監視員の位置情報を取得する手段でもあり、本発明の「第2取得手段」の一例である。監視員端末情報取得部201は、取得した監視員端末情報を優先度判定部203及び画像処理部207に供給する。
固定カメラ情報取得部202は、固定カメラ40の映像送信部402から送信されてきた映像及び装置IDを、この装置IDが示す固定カメラ40に関する情報(固定カメラ情報)として取得する。また、固定カメラ情報取得部202は、装置IDとその装置IDが示す固定カメラ40の位置情報とを対応付けたリストである位置情報リストを記憶している。これらの位置情報は、該当する固定カメラ40の設置時等に、設置位置の緯度経度情報等を測定して取得しておく。固定カメラ情報取得部202は、取得した装置IDに位置情報リストで対応付けられている位置情報を、固定カメラ情報として取得する。
つまり、固定カメラ情報取得部202は、監視エリアの映像を撮影する各撮影装置(固定カメラ40)の位置情報を取得する手段であり、本発明の「第1取得手段」の一例である。なお、各固定カメラ40が、自装置の位置情報を記憶しておき、その位置情報を映像と共に送信して、固定カメラ情報取得部202がその映像及び位置情報を固定カメラ情報として取得してもよい。固定カメラ情報取得部202は、取得した固定カメラ情報を優先度判定部203及び画像処理部207に供給する。
優先度判定部203は、監視員端末情報取得部201及び固定カメラ情報取得部202により取得された各撮影装置の位置情報と、監視員端末情報取得部201により取得された監視員の位置情報とに基づいて、複数の撮影装置(監視員端末10及び固定カメラ40)のそれぞれの優先度を判定する。優先度判定部203は本発明の「判定手段」の一例である。監視システム1においては、この優先度が高い撮影装置ほど、監視の観点で重要な映像を撮影しているとみなし、その映像から監視エリアの状況を把握しやすくしたり、異常事象の発生を早く見つけられるようにしたりする。
優先度判定部203は、本実施例では、監視員端末10についての優先度と、固定カメラ40についての優先度を別々に判定する。以下ではまず、固定カメラ40の優先度の判定方法として、3つの判定方法について説明する。撮影装置の優先度は、一例として「1」から「5」までの5段階で表せられるものとする(ここでは「1」が最も優先度が高いものとする)。
第1の判定方法では、優先度判定部203は、監視員と第1の位置関係にある固定カメラ40の優先度を、当該固定カメラ40が監視員と第1の位置関係にない場合の優先度に比べて低くする。この場合の固定カメラ40のように監視員と第1の位置関係にある撮影装置は本発明の「第1撮影装置」の一例である。第1の位置関係とは、例えば、固定カメラ40が監視員から所定の距離(例えば10m)の範囲にある位置関係又は監視員が固定カメラ40から所定の距離の範囲にある位置関係である。
つまり、優先度判定部203は、監視員が近くにいる固定カメラ40の優先度を、監視員が近くにいない場合に比べて低くする。例えば或る監視エリアにおいては、3台の固定カメラ40の初期の優先度が設置場所の重要度に応じて「2」、「3」、「4」にそれぞれ定められているものとする。優先度判定部203は、第1の判定方法を用いた場合、例えば監視員が近くにいない場合において優先度が「2」の固定カメラ40について、当該固定カメラ40から所定の距離の範囲内に監視員が進入し、当該固定カメラ40が監視員と第1の位置関係になった場合、監視員と第1の位置関係にない場合の優先度(つまり「2」)よりも低い「3」又はそれ以下の優先度をその固定カメラ40の優先度とする。
第2の判定方法では、優先度判定部203は、監視員と第1の位置関係にある固定カメラ40の優先度を、監視員と第1の位置関係にない固定カメラ40の優先度に比べて低く判定する。例えば前述した監視エリアにおいて、優先度が「2」の固定カメラ40が監視員と第1の位置関係にあり、優先度が「4」の固定カメラ40が監視員と第1の位置関係になかったとすると、優先度判定部203は、第2の判定方法を用いて、前者の固定カメラ40の優先度を後者の固定カメラ40の優先度(「4」)よりも低い「5」と判定する。
なお、この場合に、第1の判定方法だけを用いれば、優先度判定部203は、優先度が「2」であった前者の固定カメラ40の優先度を、「5」と判定してもよいが、「2」よりも低ければよいので、「3」又は「4」と判定してもよい。一方、優先度が「4」の固定カメラ40が監視員と第1の位置関係にあり、優先度が「2」の固定カメラ40が監視員と第1の位置関係になかったとすると、優先度判定部203は、第2の判定方法だけを用いた場合、前者の固定カメラ40の優先度(「4」)が後者の固定カメラ40の優先度(「2」)よりも既に低いため、そのまま変更せずに「4」と判定してもよい。
第3の判定方法では、優先度判定部203は、第1の位置関係にある監視員の人数が多い固定カメラ40ほど優先度を低く判定する。例えば前述した監視エリアにおいて、優先度判定部203は、優先度が「2」の固定カメラ40が1人の監視員と第1の位置関係にある場合にはその固定カメラ40の優先度を「3」と判定し、その固定カメラ40が2人の監視員と第1の位置関係にある場合にはその固定カメラ40の優先度を「4」と判定する。
いずれの判定方法でも、優先度をそれ以上低くできない場合(例えば優先度が「5」の固定カメラ40が監視員と第1の位置関係にある場合)には、優先度判定部203は、最も低い優先度を判定する。優先度判定部203は、第1の判定方法及び第2の判定方法のうちのいずれか又は両方を用いて判定を行い、それに加えて第3の判定方法も用いて判定を行ってもよい。
上記では固定カメラ40の優先度の判定方法について説明したが、監視員端末10についても優先度を判定方法するようにしてもよい。監視員端末10の場合、最低でも1人の監視員が第1の位置関係になるため、監視員端末10を装着している監視員は存在しないものとして判定する。即ち、監視員端末10と、当該監視員端末10を装着している監視員以外の別の監視員との位置関係で判定するようにしてよい。この場合に、別の監視員が監視員端末10を装着しているか否かは問わない。
優先度判定部203は、上述した固定カメラ40の場合と同様に、第1から第3の判定方法を用いて監視員端末10の優先度を判定する。優先度判定部203は、例えば一定時間毎(10秒毎など)に、全ての撮影装置について上記のとおり判定を行う。優先度判定部203は、判定した優先度を、判定対象の撮影装置の装置IDに対応付けて処理決定部204に供給する。
処理決定部204は、監視エリアを撮影する映像に関する処理を、その映像を撮影する撮影装置について判定された優先度に応じて決定する。処理決定部204は本発明の「決定手段」の一例である。映像に関する処理とは、本実施例では、上述した撮影関連処理と、異常事象を検出するための映像に対する画像処理である。処理決定部204による処理の決定とは、映像に関する処理をどのようにして行うかを決定するということである。
処理決定部204は、撮影関連処理であれば、例えば高画質な処理を行うか、低画質な処理を行うかを決定する。また、処理決定部204は、画像処理であれば、例えばリソース(CPU及びメモリ等)を十分用いた処理を行うか、リソースを節約した処理を行うかを決定する。処理決定部204は、これらの決定を、より具体的には、上述した撮影用パラメータを決定し又は画像処理用パラメータを決定することで行う。
処理決定部204は、撮影関連処理については、優先度と撮影用パラメータとを対応付けた撮影用パラメータテーブルを用いて決定を行う。
図5は撮影用パラメータテーブルの一例を表す。この撮影用パラメータテーブルでは、「1」、「2」、「3」、「4」、「5」という優先度に、「192万画素(1600×1200)」、「155.5万画素(1440×1080)」、「122.9万画素(1280×960)」、「78.6万画素(1024×768)」、「30.7万画素(640×480)」という解像度(画素数)が対応付けられている。
処理決定部204は、優先度判定部203から供給された優先度に撮影用パラメータテーブルで対応付けられている解像度(画素数)を、共に供給された装置IDが示す撮影装置が撮影関連処理で用いる撮影用パラメータとして決定する。処理決定部204は、決定した撮影用パラメータを決定対象の撮影装置の装置IDと共に撮影指示部205に供給する。
図5に表す撮影用パラメータテーブルは、優先度が高いほど解像度を高く(画素数を多く)している。他にも、例えば、優先度が高いほどフレームレートを高くしてもよいし、優先度が高いほど画像サイズを大きくしてもよいし、優先度が高いほど画像伝送レートを高く(伝送速度を速く)してもよい。また、優先度が高いほど圧縮率を低くし又は圧縮率の低い圧縮方式を選択してもよい。
いずれの場合も、処理決定部204は、撮影関連処理により得られた映像が送信される際の単位時間当たりの送信データ量を優先度に応じて決定し、詳細には、優先度が高いほどその単位時間当たりの送信データ量が多くなる撮影用パラメータ(解像度、フレームレート及び画像サイズ等)を決定する。これにより、撮影装置の優先度が高いほど、表示される際の映像の画質が高くなり、映像を拡大したときに細部を明瞭に表示したり、映像内の人や物の動きを滑らかにしたりすることができる。
また、処理決定部204は、画像処理については、優先度とリソース量とを対応付けた画像処理用パラメータテーブルを用いて決定を行う。
図6は画像処理用パラメータテーブルの一例を表す。この画像処理用パラメータテーブルでは、「1」、「2」、「3」、「4」、「5」という優先度に、「5コア」、「4コア」、「3コア」、「2コア」、「1コア」というリソース量(CPUのコア数)が対応付けられている。
処理決定部204は、優先度判定部203から供給された優先度に画像処理用パラメータテーブルで対応付けられているリソース量(CPUのコア数)を、共に供給された装置IDが示す撮影装置が画像処理で用いる画像処理用パラメータとして決定する。処理決定部204は、決定した画像処理用パラメータを決定対象の撮影装置の装置IDと共に画像処理動作制御部206に供給する。
図6に表す画像処理用パラメータテーブルは、優先度が高いほどリソース量であるコア数を多くしているが、それ以外にも、例えば、優先度が高いほど使用可能なメモリの記憶領域を大きくしてもよい。また、異常事象の検出のための画像処理は繰り返し行われるが、優先度が高いほどその画像処理の間隔を短くしても(つまり画像処理の頻度を高くしても)よい。
いずれの場合も、処理決定部204は、優先度に応じて画像処理を決定する、すなわち、画像処理をどのように行うかを決定する。詳細には、処理決定部204は、画像処理が行われる際に単位時間当たりに処理されるデータ量を優先度に応じて決定する。上記の各例においては、処理決定部204は、優先度が高いほどその単位時間当たりに処理されるデータ量が多くなる画像処理用パラメータ(リソース量、画像処理の間隔及び頻度等)を決定する。
これにより、撮影装置の優先度が高いほど、映像のデータ量が同じであれば画像処理に要する時間が短くなる。その結果、撮影装置の優先度を一律にする場合に比べて、優先度の高い撮影装置の映像、すなわち監視の観点で重要な映像ほど、その映像からの異常事象の発生の検出をより迅速に行うことができる。
撮影指示部205は、処理決定部204により決定された撮影関連処理の実行を撮影装置に指示する。撮影指示部205は、処理決定部204から供給された撮影用パラメータを用いることを指示する指示データを生成し、生成した指示データを共に供給された装置IDが示す撮影装置(監視員端末10又は固定カメラ40)に送信する。例えば監視員端末10であれば、撮影動作制御部105が、送信されてきた指示データが示す撮影用パラメータを用いるよう撮影部103及び映像送信部104を制御することで、撮影指示部205から指示された撮影関連処理を実行する。
画像処理動作制御部206は、処理決定部204により決定された画像処理を実行するよう画像処理部207の動作を制御する。画像処理動作制御部206は、処理決定部204から供給された画像処理用パラメータ及び装置IDを画像処理部207に供給し、その装置IDと共に供給された映像についての画像処理を、その画像処理用パラメータを用いて行うよう画像処理の動作を制御する。
画像処理部207は、監視員端末情報取得部201及び固定カメラ情報取得部202により取得された撮影装置(監視員端末10及び固定カメラ40)の映像に対して画像処理を行う。画像処理部207は、例えば、特開2002−262282号公報に開示された監視対象区域の画像から異常を検出する技術及び特開2012−004720号公報に開示された映像データから特定の人物の異常行動を検出する技術等を応用して、撮影された監視エリアの映像を解析して異常事象の発生を検出する。
画像処理部207は、画像処理により異常事象の発生を検出すると、その旨と検出に用いた映像を撮影した撮影装置の装置IDとを示す情報を報知部208に供給する。報知部208は、この情報を受け取ると、例えば、異常事象が発生した旨と装置IDとを示す報知情報を生成してオペレータ端末30に送信する。オペレータ端末30の報知情報表示部301は、送信されてきた報知情報を表示する。オペレータは、こうして表示された報知情報を見て異常事象の発生に気付き、監視員と連絡を取って異常事象に対処する。
画像処理部207は、上記検出を行うと、検出に用いた映像を撮影した撮影装置から取得された監視員端末情報又は固定カメラ情報を発生場所特定部209に供給する。発生場所特定部209は、監視エリア内で発生した異常事象の発生場所を特定する。発生場所特定部209は本発明の「特定手段」の一例である。
発生場所特定部209は、本実施例では、画像処理部207から供給された監視員端末情報又は固定カメラ情報に含まれている位置情報が示す位置、すなわち異常事象の発生の検出に用いられた映像を撮影した撮影装置の位置を、異常事象の発生場所として特定する。なお、発生場所の特定方法はこれに限らない。例えば、各固定カメラ40の撮影範囲が決まっている場合に、発生場所特定部209は、その撮影範囲の中心を示す位置情報を装置IDに対応付けて記憶しておく。
発生場所特定部209は、画像処理部207から供給された固定カメラ情報に含まれている装置IDに対応付けて記憶している位置情報が示す位置を、異常事象の発生場所として特定してもよい。また、各撮影装置が自装置の撮影手段の光軸の向きを検出して監視員端末情報又は固定カメラ情報に含めて送信してくる場合に、発生場所特定部209は、異常事象の発生の検出に用いられた映像を撮影した撮影装置の位置からその光軸の向きに所定の距離だけ移動した位置を発生場所として特定してもよい。発生場所特定部209は、特定した発生場所を示す発生場所情報を優先度判定部203に供給する。
画像処理部207が異常事象の発生を検出した場合の優先度の判定方法として、さらに3つの判定方法を説明する。以下では固定カメラ40の優先度を判定する場合を説明する。第4の判定方法では、優先度判定部203は、発生場所特定部209により特定された発生場所と第2の位置関係にある固定カメラ40の優先度を、その発生場所と第2の位置関係にない場合に比べて高く判定する。この場合の固定カメラ40のように異常事象の発生場所と第2の位置関係にある撮影装置は本発明の「第2撮影装置」の一例である。
第2の位置関係とは、例えば、第1の位置関係と同様に、固定カメラ40が異常事象の発生場所から所定の距離(例えば10m)の範囲にある位置関係又は異常事象の発生場所が固定カメラ40から所定の距離の範囲にある位置関係である。つまり、優先度判定部203は、異常事象の発生場所の近くの固定カメラ40の優先度を、異常事象の発生場所が遠かった場合に比べて高くする。
優先度判定部203は、第4の判定方法を用いた場合、例えば上述した或る監視エリアにおいて優先度が「3」の固定カメラ40が異常事象の発生場所と第2の位置関係にある場合、異常事象の発生場所と第2の位置関係にない場合の優先度(つまり「3」)よりも高い「2」又は「1」という優先度をその固定カメラ40の優先度として判定する。なお、この固定カメラ40は、異常事象発生の検出に用いられた映像を撮影したものである場合もあるが、異常事象を撮影はしていないが発生場所の近くに設置されていた固定カメラ40の場合もある。
第5の判定方法が用いられる場合、その前提として、第1の判定方法が用いられているものとする。その上で、優先度判定部203は、発生場所特定部209により特定された発生場所と第2の位置関係にある固定カメラ40が監視者と第1の位置関係にある場合、その固定カメラ40の優先度を、監視者と第1の位置関係にない場合に比べて低くしない。つまり、優先度判定部203は、通常は、監視員が近くにいる固定カメラ40の優先度を、監視員が近くにいない場合に比べて低くするが、異常事象の発生場所が近い場合には、その例外として、優先度を低くしないようにする。
例えば前述した優先度が「3」の固定カメラ40が監視員と第1の位置関係にある場合、通常なら優先度を低くして「4」以下にするところ、異常事象の発生場所と第2の位置関係にもあるので、優先度判定部203は、第5の判定方法を用いて、その優先度を監視員と第1の位置関係にない場合の「3」よりも低くしない、すなわち「3」又はそれよりも高い優先度と判定する。
なお、優先度判定部203は、第1の判定方法に加えて第4の判定方法を前提として用いてもよい。その場合に、前述した優先度が「3」の固定カメラ40が監視員と第1の位置関係にあり且つ異常事象の発生場所と第2の位置関係にもあるものとする。その場合、優先度判定部203は、その固定カメラ40が監視員と第1の位置関係にない場合に比べて優先度を低くせず、且つ、その固定カメラ40が異常事象の発生場所と第2の位置関係にない場合に比べて優先度を高くする。要するに、優先度判定部203は、例えば固定カメラ40の優先度が「3」であったなら、それよりも高い「2」又は「1」をその固定カメラ40の優先度として判定する。
第6の判定方法も、前提として、第1の判定方法が用いられているものとする。その上で、優先度判定部203は、発生場所特定部209により特定された発生場所と第2の位置関係にある固定カメラ40の優先度を、他の撮影装置に比べて低くしない。例えば優先度が「4」の固定カメラ40が異常事象の発生場所と第2の位置関係にあり、優先度が「2」の固定カメラ40が異常事象の発生場所と第2の位置関係にないとする。
その場合、優先度判定部203は、第6の判定方法を用いて、前者の固定カメラ40の優先度を後者の固定カメラ40の優先度である「2」又はそれよりも高い「1」と判定する。なお、この例において、異常事象の発生場所と第2の位置関係にある固定カメラ40が他にも存在する場合、優先度判定部203は、第6の判定方法を用いて、異常事象の発生場所と第2の位置関係にある複数の固定カメラ40の優先度をいずれも「2」又は「1」と判定する(互いに相手の優先度よりも低くならないから)。
また、優先度が「2」の固定カメラ40が異常事象の発生場所と第2の位置関係にあり、優先度が「4」の固定カメラ40が異常事象の発生場所と第2の位置関係にないとする。その場合、優先度判定部203は、第6の判定方法を用いると、前者の固定カメラ40の優先度が後者の固定カメラ40の優先度よりも既に高いので、そのまま「2」と判定してもよいし、優先度を高くして「1」と判定してもよい。なお、第6の判定方法だけでなく第4の判定方法も用いる場合は、優先度を高くして「1」と判定する。
監視システム1が備える各装置は、上記構成に基づいて、監視エリアを撮影する映像に関する処理を、各撮影装置の優先度に基づいて行う優先度処理を行う。
図7は優先度処理における各装置の動作手順の一例を表す。この動作手順は、例えば、各装置の電源が投入されて監視エリアにおける監視が開始されることを契機に開始される。まず、監視員端末10(測位部101)が、自装置の位置を測定する(ステップS11)。次に、監視員端末10(位置情報送信部102)は、測定された自装置の位置を示す位置情報を監視センタサーバ装置20に送信する(ステップS12)。
また、監視員端末10(撮影部103)は、自装置の周囲の映像を撮影する(ステップS13)。次に、監視員端末10(映像送信部104)は、撮影された自装置の周囲の映像を監視センタサーバ装置20に送信する(ステップS14)。監視センタサーバ装置20(監視員端末情報取得部201)は、監視員端末10から送信されてきた位置情報及び映像を監視員端末情報として取得する(ステップS15)。
固定カメラ40(撮影部401)は、自装置の周囲の映像を撮影する(ステップS21)。次に、固定カメラ40(映像送信部402)は、撮影された自装置の周囲の映像を監視センタサーバ装置20に送信する(ステップS22)。監視センタサーバ装置20(固定カメラ情報取得部202)は、固定カメラ40から送信されてきた映像と、その固定カメラ40の位置情報とを固定カメラ情報として取得する(ステップS23)。ステップS11〜S15と、S21〜S23との各動作群は、並行して繰り返し行われる。
監視センタサーバ装置20(画像処理部207)は、取得された撮影装置(監視員端末10及び固定カメラ40)の映像に対して画像処理を行い、監視エリア内での異常事象の発生を検出する(ステップS31)。監視センタサーバ装置20(発生場所特定部209)は、異常事象の発生が検出された場合に、その異常事象の発生場所を特定する(ステップS32)。ステップS31及びS32の動作は、異常事象の発生が検出されない場合は行われない。
監視センタサーバ装置20(優先度判定部203)は、取得された各撮影装置の位置情報と、異常事象の発生が検出された場合には特定されたその発生場所とに基づいて、複数の撮影装置(監視員端末10及び固定カメラ40)のそれぞれの優先度を判定する(ステップS41)。次に、監視センタサーバ装置20(処理決定部204)は、監視エリアを撮影する映像に関する処理を、その映像を撮影する撮影装置について判定された優先度に応じて決定する(ステップS42)。
続いて、監視センタサーバ装置20(撮影指示部205)は、決定された撮影関連処理の実行を撮影装置に指示するための指示データを生成して(ステップS43)、その指示データを撮影装置(この例では監視員端末10)に送信する(ステップS44)。監視員端末10(撮影動作制御部105)は、受け取った指示データが示す指示のとおりに、自装置の撮影に関する動作を制御する(ステップS45)。また、監視センタサーバ装置20(画像処理動作制御部206)は、決定された画像処理を実行するように、自装置が行う画像処理の動作を制御する(ステップS46)。
複数の撮影装置が撮影した映像を用いて監視エリアを監視する場合、上述した映像に関する処理の負荷(通信や異常検出のための画像処理等の負荷)が過大になると、処理に遅延が生じてしまい、異常事象への対応の遅れに繋がるおそれがある。それを避けるためは、映像に関する処理の負荷を小さくするとよいが、負荷を小さくすると、映像の画質が低くなったり画像処理の所要時間が長くなったりして、その映像が映す監視エリアの監視が不十分になることがある。
本実施例では、監視員が近くにいて(第1の位置関係にあって)周辺の監視が十分に行われている撮影装置の優先度を低くしているので(第1の判定方法)、撮影装置の優先度を低くして監視エリアの映像に関する処理の負荷を小さくしたときに監視が不十分になることを、監視員の位置に関係なく優先度を判定する場合に比べて抑制することができる。また、監視員が近くにいる撮影装置の優先度を監視員が近くにいない(第1の位置関係にない)撮影装置よりも低くするので(第2の判定方法)、監視員が近くにいない撮影装置の映像に関する処理が、監視員が近くにいる撮影装置の映像に関する処理よりも迅速に行われるようにすることができる。
また、本実施例では、近くにいる監視員が多い撮影装置ほど優先度を低くするので(第3の判定方法)、近くにいる監視員の人数に関わらず優先度が一律な場合に比べて、監視員が近くにいない撮影装置の映像に関する処理が、監視員が近くにいる撮影装置の映像に関する処理よりもより迅速に行われるようにすることができる。また、異常事象の発生場所の近くにある(第2の位置関係にある)撮影装置の優先度を高くするので(第4の判定方法)、優先度を一律にする場合に比べて、異常事象の発生場所及びその付近の監視を強化することができる。
また、本実施例では、異常事象の発生場所の近くにある撮影装置の近くに監視員がいても、その優先度を監視員が近くにいない場合に比べて低くしないので(第5の判定方法)、この優先度を低くする場合に比べて、異常事象の発生場所及びその付近の監視が不十分になることを抑制することができる。また、異常事象の発生場所に近い撮影装置の優先度をそうでない撮影装置に比べて低くしないので(第6の判定方法)、異常事象の発生場所に近い撮影装置の映像に関する処理が、そうでない撮影装置の映像に関する処理よりも迅速か少なくとも同等の速さで行われるようにすることができる。
[2]変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、実施例及び各変形例は、必要に応じて組み合わせて実施してもよい。
[2−1]映像内の監視員の人数
優先度の判定の際に、撮影装置の映像に映っている監視員の人数を考慮してもよい。例えば、画像処理部207が、取得された撮影装置(監視員端末10及び固定カメラ40)の映像に対して画像処理を行い、その映像に映っている監視員の人数を判定する。画像処理部207は、例えば監視員の制服の形及び色等の特徴を示す情報を記憶しておき、周知のマッチング技術を用いて映像内の監視員を抽出し、その人数を判定する。
画像処理部207は、判定した人数を、判定対象の映像を撮影した撮影装置の装置IDと共に優先度判定部203に供給する。優先度判定部203は、画像処理部207により判定された監視員の人数が多い撮影装置ほど優先度を低くする。この判定方法は、監視員の人数の求め方は異なるが、それ以外は第3の判定方法と共通している。本変形例によれば、監視員端末10のように位置の測定が可能な端末を所持していない監視員の人数も考慮して優先度を判定することができる。
[2−2]監視員への指示
異常事象の発生場所に監視員を向かわせる指示をオペレータに代わって装置が行ってもよい。例えば、監視センタサーバ装置20が、図4に表す各部に加えて監視員所在判定部と、指示処理実行部とを備える。
監視員所在判定部には、発生場所特定部209から発生場所情報が、監視員端末情報取得部201から監視員端末情報が供給される。監視員所在判定部は、供給されたこれらの情報が表す発生場所と監視員の位置とに基づき、異常事象の発生場所と上述した第2の位置関係にある監視員の有無を判定する。監視員所在判定部は、そのような監視員がいないと判定すると、発生場所情報を指示処理実行部に供給する。
指示処理実行部は、監視員所在判定部により第2の位置関係にある監視員がいないと判定された場合に、その発生場所に監視員を向かわせる指示を行うための処理を実行する。指示処理実行部は、監視員所在判定部から発生場所情報が供給されると、そのような監視員がいないと判定されたと判断し、その発生場所情報が示す発生場所とそこへ向かうことを指示する指示データを生成して各監視員端末10に送信する。
監視員端末10は、指示データを受け取ると、その指示データが示す指示及び異常事象の発生場所を表示する。これを見た監視員は、表示された発生場所に向かう指示がされたことを認識する。これにより、例えば異常事象の発生時にオペレータによる指示が何かの事情で遅れることがあっても、その異常事象の発生場所に監視員を向かわせることができる。
[2−3]位置関係
第1及び第2の位置関係は、上述したものに限らない。例えば、監視員と第1の位置関係にある固定カメラ40として、固定カメラ40の撮影範囲の中心から所定の距離の範囲に監視員がいる関係又は監視員から所定の距離の範囲に固定カメラ40の撮影範囲の中心が含まれる関係であってもよい。また、固定カメラ40の撮影範囲に監視員がいる関係であってもよい。
また、固定カメラ40が設置されている区画に監視員がいる関係又は監視員がいる区画に固定カメラ40が設置されている関係であってもよい。この区画は、例えば街の区画や建物内の区画、監視エリア内の状況や環境に合わせて設定された区画などである。区画の形は、四角形でもよいし、街や建物、通り、通路などの形に合わせた凹凸のある形であってもよい。以上の位置関係は、異常事象の発生場所と撮影装置との第2の位置関係について適用してもよい。
いずれの場合も、撮影装置と監視員が第1の位置関係になっていれば、その撮影装置が撮影する監視エリアの領域をその監視員が監視できるよう(常時でなくともすぐに監視できる状態)になっていればよい。また、異常事象の発生場所と撮影装置が第2の位置関係になっていれば、その発生場所及び(又は)その周辺をその撮影装置が撮影できるよう(常時でなくともカメラの向きを変えれば監視できる状態)になっていればよい。
[2−4]画像処理用パラメータ
処理決定部204は、実施例とは異なる画像処理用パラメータを決定してもよい。例えば、処理決定部204は、複数の映像に対する画像処理が順番に行われる場合に、その順番を画像処理用パラメータとして、優先度に応じて決定する。処理決定部204は、例えば、優先度が高い撮影装置の映像ほど先に画像処理が行われるよう順番を決定する。
なお、画像処理の順番以外にも、処理決定部204は、映像に対する画像処理の終了時間が変化する画像処理用パラメータを優先度に応じて決定してもよい。いずれの場合も、撮影装置の優先度が高いほど、その映像に対する画像処理が早く終わるので、その撮影装置の撮影範囲で発生した異常事象にオペレータ等がより早く気付くことができる。
[2−5]撮影装置
上記の実施例では、監視エリアの映像を撮影する撮影装置として監視員端末10及び固定カメラ40が用いられたが、どちらか一方だけが用いられてもよい。その場合でも、上記の各判定方法で優先度が判定されることで、映像に関する処理の負荷を小さくしたときに監視が不十分になることを抑制したり、異常事象の発生場所及びその付近の監視を強化したりすることができる。
[2−6]優先度
優先度は、上記の各例とは異なる表し方をしてもよい。例えば「Lv1、Lv2、・・」や「A、B、C、・・」、「高、中、低」など、指標としての上限関係を表す記号や文字、図形などが用いられてもよい。要するに、撮影装置の優先度が高いものと低いものとを判別できれば、どのように表された優先度が用いられてもよい。
[2−7]監視エリアの監視者
上記の実施例では、監視エリアに配置された監視員が監視エリアの現場で監視の役割を果たす監視者であったが、これに限らない。例えば、監視エリア内で働く監視員以外のスタッフが監視者であってもよい。スタッフとは、具体的には、例えばマラソン会場が監視エリアである場合、会場の案内員、コース整理員、給水スタッフ、観客の誘導員などであり、スタジアム等が監視エリアである場合、監視員に相当する警備員の他、チケットの販売員、店舗の店員、清掃員などである。また、人間に限らず、例えば監視用のカメラが内蔵された自走式のロボットやドローン、監視員端末を装着した動物(警察犬のように訓練された犬等)などであってもよい。
[2−8]各機能を実現する装置
図4等に表す機能を実現する装置は、上述した各装置に限らない。例えば、監視センタサーバ装置が入力装置及び出力装置を備えておいて、オペレータ端末30が備える各部を実現してもよい。また、反対に、監視センタサーバ装置20が備える各部をオペレータ端末が実現してもよい。また、監視センタサーバ装置が実現する機能を、複数の情報処理装置が分担して実現してもよい。例えば、第1装置が監視員端末情報取得部201から優先度判定部203までの機能を実現し、第2装置が処理決定部204から発生場所特定部209までの機能を実現するという具合である。いずれの場合も、監視システムが備える装置全体で、上述した機能を実現していればよい。
[2−9]指示の自動化
実施例では、オペレータ端末30を使用するオペレータが監視員に対して指示を行ったが、将来は、この指示を含むオペレータの作業が自動化されてもよい。例えば、AI(Artificial Intelligence、人工知能)を活用して、監視員端末10からの投稿情報が示す事案の情報取得位置に最も近い監視員を選定して、選定した監視員に必要な情報(事案の発生場所を示す情報等)を伝達する。このように、一定のルールに基づく処理で実現可能な作業については、自動化されてもよい。
[2−10]発明のカテゴリ
本発明は、監視員端末10、監視センタサーバ装置20、オペレータ端末30及び固定カメラ40という各装置の他、それらの装置を備える監視システムとしても捉えられる。また、本発明は、各装置が実施する処理を実現するための情報処理方法としても捉えられる。また、各装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等のネットワークを介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。