以下、添付図面を適宜参照しながら、本開示に係る施設内監視システムおよび施設内監視方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
以下の実施の形態では、多くの(例えば数万人規模の)観客等の入場者が入場する閉鎖された施設(例えばサッカー等の試合が行われるスタジアム)に設置される施設内監視システムを例示して説明する。この施設内監視システムは、それぞれの入場者がゲート(具体的には、後述する入場時顔撮像ゲート)を通過してスタジアム内に入場する時に複数のカメラを用いて複数の異なる角度で入場者を撮像し、その時に得られた複数の角度からの顔画像等を有する入場者データを生成して登録し、この入場者データを用いてスタジアム内の入場者を監視する。
図1は、実施の形態1に係る施設内監視システム100のシステム構成例を示すブロック図である。施設内監視システム100は、それぞれスタジアム内の既定の位置に設置されるk(k:2以上の整数)個のセンサS1,…,Skと、k個のスタジアム内カメラCs1,…,Cskと、スタジアムのそれぞれの出入口付近に配置されるn(n:2以上の整数)個の入場者顔撮像ゲートGt1,…,Gtnと、レコーダRCD1と、監視装置1とを含む構成である。
センサS1~Skは、それぞれ同一のセンサでもよいし、異なるセンサでもよい。センサS1~Skは、モニタリングPC10と通信可能に接続され、スタジアム内の状態(例えば、正常な状態または異常な状態)を検知し、その検知結果をモニタリングPC10に通知(送信)する。また、センサS1~Skは、センシング結果に基づいて、スタジアム内の異常(例えば、事件または事故を意味する「事件等」)な状態の発生を検知する。センサS1~Skは、例えば煙、規定温度以上の温度、規定湿度以上の湿度、および重量物の落下等による衝突のうちいずれか一つを検知可能である。なお、センサS1~Skが検知する事象は、上述したものだけでなく、これらに限定されない。センサS1~Skは、スタジアム内の異常の発生を検知した場合には、異常の検知通知をモニタリングPC10に送信する。
スタジアム内カメラCs1~Cskは、それぞれスタジアム内の既定の位置に予め固定的に設置され、予め設置時に設定された画角内に含まれる被写体(例えば、複数の入場者)を撮像する。スタジアム内カメラCs1~Cskの内部構成は同一であり、詳細については図4を参照して後述する。実施の形態1において、スタジアム内カメラCs1~CskとセンサS1~Skとは同数個設置されており、例えばセンサS1とスタジアム内カメラCs1、以降同様にして、センサSkとスタジアム内カメラCskとがそれぞれ対応付けて同一箇所またはすぐ近くに設置される。従って、例えばセンサS1がスタジアム内での異常(例えば爆弾事件)を検知した場合には、その異常を発生させた被疑者あるいは犯人はセンサS1に対応付けられたスタジアム内カメラCs1により撮像された撮像映像に映っている可能性が高いと考えられる。
入場者顔撮像ゲートGt1~Gtnは、それぞれスタジアムの複数の出入口(いわゆる、ゲート)の付近に、入場者がスタジアムに入場するために所持するチケット(図10参照)に印字等されたバーコードを読取可能なID読取装置Br1,…,Brnと対応付けて設置される(図2参照)。つまり、実施の形態1において、入場者顔撮像ゲートGt1~GtnとID読取装置Br1~Brnとは同数個設置されており、例えば入場者顔撮像ゲートGt1とID読取装置Br1、以降同様にして、入場者顔撮像ゲートGtnとID読取装置Brnとがそれぞれ対応付けて同一箇所またはすぐ近くに設置される。
ID読取装置Br1~Brnは、顔登録サーバ20との間で通信可能に接続され、入場者が所持するチケットを読み取り、その読み取りによって得られたチケットの購入者である入場者のID情報を顔登録サーバ20に送信する。ID情報は、例えばチケットの識別情報(例えばチケットTC1に印字等されるバーコード)、チケットの購入者である入場者の氏名、購入年月日等の各種情報を含む。
図2は、入場者顔撮像ゲートGt1と取り付けられる複数のカメラCg11,Cg12,Cg13,Cg14,Cg15の一例を示す外観図である。図8は、実施の形態1に係る施設内監視システム100が配置されるスタジアムSTM1を俯瞰的に示す平面図である。図8の例では、以下の説明において、n=6となる。スタジアムSTM1には、例えば6箇所の出入口が設けられているとする。この場合、入場者顔撮像ゲートはスタジアムSTM1の出入口の数と同数の合計6箇所にそれぞれ配置される。つまり、第1の出入口には入場者顔撮像ゲートGt1、第2の出入口には入場者顔撮像ゲートGt2、第3の出入口には入場者顔撮像ゲートGt3、第4の出入口には入場者顔撮像ゲートGt4、第5の出入口には入場者顔撮像ゲートGt5、第6の出入口には入場者顔撮像ゲートGt6がそれぞれ配置される。なお、スタジアムSTM1に設けられる出入口の数は上述した6箇所に限定されないことは言うまでもない。
また、入場者顔撮像ゲートGt1~Gtnはいずれも同一のゲート本体BDY(図2参照)を有し、説明を簡単にするために、図2の説明では入場者顔撮像ゲートGt1を例示する。入場者顔撮像ゲートGt1は、例えばコの字状のゲート本体BDYを有し、複数のカメラCg11~Cg15をゲート本体BDYに内蔵する。同様に、入場者顔撮像ゲートGtnは、例えばコの字状のゲート本体BDYを有し、複数のカメラCgn1~Cgn5をゲート本体BDYに内蔵する。
それぞれのカメラCg11~Cg15は、レコーダRCD1および顔登録サーバ20との間で通信可能に接続され、それぞれ異なる角度(アングル)で、スタジアムへの入場時(例えば矢印Yg1の向き)に入場者顔撮像ゲートGt1を通過しようとする入場者INT0を撮像する。言い換えると、それぞれのカメラCg11~Cg15は、内蔵されるレンズの光軸がそれぞれ異なる方向を向くように設置されており、上述したように入場者1人ずつを複数の異なる角度で撮像可能である。それぞれのカメラCg11~Cg15は、複数の異なる角度で撮像された撮像画像をレコーダRCD1および顔登録サーバ20にそれぞれ送信する。
レコーダRCD1は、入場者顔撮像ゲートGt1~Gtn内に内蔵されたそれぞれのカメラ(例えばカメラCg11~Cg15,…,Cgn1~Cgn5)との間で通信可能に接続され、それぞれのカメラにより撮像された入場者毎の撮像画像のデータを記録する。また、レコーダRCD1は、モニタリングPC10との間で通信可能に接続され、モニタリングPC10にて受信された各スタジアム内カメラCs1~Cskにより撮像されたスタジアム内の様子を示す撮像映像のデータを記録してよい。
監視装置1は、モニタリングPC10と、顔登録サーバ20と、顔照合サーバ30とを含む構成である。言い換えると、モニタリングPC10、顔登録サーバ20、顔照合サーバ30は、いずれも施設内監視システム100を構成する監視装置1の一例である。
モニタリングPC10は、施設内監視システム100のユーザ(例えば、スタジアムSTM1のバックヤードの監視室等で監視する監視員)の操作を入力可能であり、例えばパーソナルコンピュータ(PC:Personal Computer)を用いて構成される。モニタリングPC10は、それぞれのセンサS1~Sk、およびそれぞれのスタジアム内カメラCs1~Cskとの間で通信可能に接続され、ユーザ(上述参照。以下同様。)の操作に基づいて、それぞれのスタジアム内カメラCs1~Cskから送信される撮像映像を受信してディスプレイDP1(図5参照)に表示してスタジアムSTM1内の入場者を監視する。また、モニタリングPC10は、それぞれのセンサS1~Skから送信される検知結果を受信して取得し、スタジアムSTM1内の状態を認識する。モニタリングPC10の内部構成の詳細については、図5を参照して後述する。
顔登録サーバ20は、例えばサーバ装置またはPCを用いて構成される。顔登録サーバ20は、モニタリングPC10および顔照合サーバ30との間で通信可能に接続され、スタジアムSTM1のそれぞれの入場者顔撮像ゲートGt1~Gtnを通過する入場者に対して複数の異なる角度で撮像された一連の撮像画像(例えば5種類の異なる角度で撮像された撮像画像)をモニタリングPC10から受信して取得する。顔登録サーバ20は、その取得された一連の撮像画像から入場者の顔画像をそれぞれ切り出し、チケット管理サーバ40から取得した入場者の個人情報と対応付けた入場者データを入場者毎に生成する。顔登録サーバ20は、入場者毎に生成された入場者データを顔照合サーバ30に登録するために送信する。なお、顔登録サーバ20は、顔照合サーバ30の一部として構成されてもよい。これにより、施設内監視システム100において、顔登録サーバ20の物理的な構成を省略可能とできる。顔登録サーバ20の内部構成の詳細については、図6を参照して後述する。
顔照合サーバ30は、例えばサーバ装置またはPCを用いて構成される。顔照合サーバ30は、モニタリングPC10および顔登録サーバ20との間で通信可能に接続され、例えばスタジアムSTM1内のどこかで異常(例えば爆弾事件)が検知された場合に、モニタリングPC10からの照合要求に従い、モニタリングPC10によって抽出された撮像映像(後述参照)に映る全員(つまり、全入場者)の顔画像と一致する入場者データを探索(照合)する。顔照合サーバ30は、探索結果(照合結果)として得られた入場者毎の入場者データをモニタリングPC10に返信(応答)する。また、顔照合サーバ30は、顔登録サーバ20により生成された入場者毎の入場者データを入場者データベースSPDBに登録して蓄積する。顔照合サーバ30の内部構成の詳細については、図7を参照して後述する。
チケット管理サーバ40は、例えばサーバ装置またはPCを用いて構成される。チケット管理サーバ40は、顔登録サーバ20との間で通信可能に接続され、スタジアムSTM1で行われるサッカー等の試合を含む各種のイベントの参加を申し込んだ入場者毎のチケット情報を保管する。入場者毎のチケット情報は、チケットの識別情報(例えばチケットに印字等されるバーコード)、チケットの購入者である入場者の氏名、年齢、性別、住所、電話番号等が含まれる。チケット管理サーバ40は、顔登録サーバ20からの個人情報取得要求に従い、上述したチケット情報を顔登録サーバ20に返信(応答)する。
携帯端末の一例としての警備用端末71,…,7p(p:2以上の整数)は、例えばスマートフォン等の携帯端末またはトランシーバ等の専用の警備端末を用いて構成され、それぞれ1台の警備用端末が1人の警備員により所持される。警備員は、スタジアムSTM1内を定期的に巡回して不審人物がいないか、または怪しいものが捨てられていないか等の見回りを行う。つまり、p人の警備員が1人1台ずつ警備用端末(つまり、警備用端末71~7pのうちいずれか1台)を所持して警備業務を行う。警備用端末71~7pは、それぞれモニタリングPC10との間で通信可能に接続される。警備用端末71~7pは、顔照合サーバ30における照合の結果として得られた入場者データ(後述参照)を、モニタリングPC10から受信して取得する。これにより、警備員は、自己が所持する警備用端末において取得された入場者データを基にして、スタジアムSTM1内で検知された異常(例えば爆弾事件)を発生させた被疑者あるいは犯人の特徴情報を把握でき、該当しそうな怪しい人物の見回りを効果的に実行できる。
図3は、カメラCg11~Cg15,…,Cgn1~Cgn5のハードウェア構成例を示すブロック図である。カメラCg11~Cg15,…,Cgn1~Cgn5のハードウェア構成はいずれも同一であるため、図3の説明ではカメラCg11を例示するが、図3の説明において、カメラCg11はカメラCg12,Cg13,Cg14,Cg15,…,Cgn1~Cgn5のうちいずれのカメラにも読み替えてよい。カメラCg11は、撮像部51と、メモリ52と、プロセッサ53と、通信部54と、記録部55とを含む構成である。
撮像部51は、集光用のレンズと、CCD(Charge Coupled Device)型イメージセンサもしくはCMOS(Complementary Metal Oxide Semiconductor)型イメージセンサ等の固体撮像素子とを有する構成である。撮像部51は、カメラCg11の電源がオンである間、固体撮像素子による撮像に基づいて得られた被写体の撮像映像のデータを常時プロセッサ53に出力する。また、撮像部51は、カメラの撮影方向やズーム倍率を変更させる機構(例えばパンチルトズーム機構)を備えてもよい。
メモリ52は、例えばRAM(Random Access Memory)とROM(Read Only Memory)を用いて構成され、カメラCg11の動作の実行に必要なプログラムやデータ、更には、動作中に生成された情報又はデータ等を一時的に保存する。RAMは、例えばプロセッサ53の動作時に使用されるワークメモリである。ROMは、例えばプロセッサ53を制御するためのプログラムおよびデータを予め記憶する。また、メモリ52は、例えばカメラCg11を識別する識別情報(例えばシリアル番号)および各種設定情報を記憶する。
プロセッサ53は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)もしくはFPGA(Field-Programmable Gate Array)を用いて構成される。プロセッサ53は、カメラCg11の制御部として機能し、カメラCg11の各部の動作を全体的に統括するための制御処理、カメラCg11の各部との間のデータの入出力処理、データの演算(計算)処理およびデータの記憶処理を行う。プロセッサ53は、メモリ52に記憶されたプログラムおよびデータに従って動作する。プロセッサ53は、動作時にメモリ52を使用し、現在の時刻情報を取得し、撮像部51により撮像された撮像画像のデータに対して各種の公知の画像処理を施した上で現在の時刻情報を撮像時刻として対応付けて記録部55に記録する。なお、図3には図示を省略しているが、カメラCg11がGPS(Global Positioning System)受信部を有する場合には、GPS受信部から現在の位置情報を取得し、撮像映像のデータに位置情報を更に対応付けて記録してよい。
ここでGPS受信部について簡単に説明する。GPS受信部は、複数のGPS発信機(例えば4個の航法衛星)から送信される、各自の信号送信時刻および位置座標を含む衛星信号を受信する。GPS受信部は、複数の衛星信号を用いて、現在のカメラの位置座標および衛星信号の受信時刻を算出する。なお、この算出は、GPS受信部ではなく、GPS受信部からの出力が入力されたプロセッサ(例えばプロセッサ53)により実行されてよい。なお、受信時刻の情報は、カメラのシステム時刻の補正のためにも使用されてよい。システム時刻は、例えば撮像映像を構成する撮像画像の撮像時刻の記録等に利用される。また、このGPS受信部の説明は以下の説明においても同様である。
また、プロセッサ53は、通信部54により受信された外部からの制御コマンドに従って、撮像部51による撮影条件を制御してよい。例えば、外部からの制御コマンドが撮影方向の変更を指示する場合、プロセッサ53は、その制御コマンドに従って、撮像部51の撮影時における撮影方向を変更する。例えば、外部からの制御コマンドがズーム倍率の変更を指示する場合、プロセッサ53は、その制御コマンドに従って、撮像部51の撮影時におけるズーム倍率を変更する。例えば、外部からの制御コマンドが指定された被写体の追跡処理を指示する場合、プロセッサ53は、その制御コマンドに従って、記録部55に記録された撮像映像のデータを用いて、指定された被写体の追跡処理を実行する。なお、複数種類の制御コマンドがプロセッサ53において取得された場合には、プロセッサ53は、それぞれの制御コマンドに従って、該当する処理を実行してよい。
また、プロセッサ53は、記録部55に記録された撮像画像に映る人物の顔画像をその撮像画像から切り出して抽出し、その抽出された顔画像のデータを、通信部54を介して顔登録サーバ20に繰り返して送信する。また、プロセッサ53は、撮像部51により撮像された撮像映像のデータを、通信部54を介して顔登録サーバ20に繰り返して送信する。ここで、繰り返して送信するとは、定められた一定周期の時間経過の度に送信することに限定されず、一定周期ではなく定められた不規則な時間間隔の経過の度に送信することも含まれてよく、複数回にわたって送信することを含み、以下同様である。
通信部54は、顔登録サーバ20およびレコーダRCD1との間で通信する通信回路を用いて構成され、プロセッサ53の指示に基づいて、記録部55に記録された撮像画像、撮像映像または顔画像のデータを、顔登録サーバ20もしくはレコーダRCD1に送信する。
記録部55は、カメラCg11に内蔵される半導体メモリ(例えばフラッシュメモリ)、HDD(Hard Disk Drive)、SSD(Solid State Drive)またはカメラCg11に内蔵されないメモリカード(例えばSDカード)などの外部記憶媒体を用いて構成される。記録部55は、プロセッサ53により生成された撮像画像または撮像映像、顔画像のデータをカメラCg11の識別情報および撮像時刻の情報と対応付けて記録する。記録部55は、所定時間(例えば30秒)分の撮像映像のデータを常時プリバッファリングして保持し、現在時刻より所定時間(例えば30秒)前までの撮像映像のデータを上書きしながら蓄積し続けてよい。なお、記録部55がメモリカードで構成される場合、カメラCg11の筐体に挿抜自在に装着される。
図4は、スタジアム内カメラCs1~Cskのハードウェア構成例を示すブロック図である。スタジアム内カメラCs1~Cskのハードウェア構成はいずれも同一であるため、図4の説明ではスタジアム内カメラCs1を例示するが、図4の説明において、スタジアム内カメラCs1はスタジアム内カメラCs2(図示略)~Cskのいずれにも読み替えてよい。施設内カメラの一例としてのスタジアム内カメラCs1は、撮像部61と、メモリ62と、プロセッサ63と、通信部64と、記録部65とを含む構成である。
撮像部61は、集光用のレンズと、CCD型イメージセンサもしくはCMOS型イメージセンサ等の固体撮像素子とを有する構成である。撮像部61は、スタジアム内カメラCs1の電源がオンである間、固体撮像素子による撮像に基づいて得られた被写体の撮像映像のデータを常時プロセッサ63に出力する。また、撮像部61は、スタジアム内カメラの撮影方向やズーム倍率を変更させる機構(例えばパンチルトズーム機構)を備えてもよい。
メモリ62は、例えばRAMとROMを用いて構成され、スタジアム内カメラCs1の動作の実行に必要なプログラムやデータ、更には、動作中に生成された情報又はデータ等を一時的に保存する。RAMは、例えばプロセッサ63の動作時に使用されるワークメモリである。ROMは、例えばプロセッサ63を制御するためのプログラムおよびデータを予め記憶する。また、メモリ62は、例えばスタジアム内カメラCs1を識別する識別情報(例えばシリアル番号)および各種設定情報を記憶する。
プロセッサ63は、例えばCPU、MPU、DSPもしくはFPGAを用いて構成される。プロセッサ63は、スタジアム内カメラCs1の制御部として機能し、スタジアム内カメラCs1の各部の動作を全体的に統括するための制御処理、スタジアム内カメラCs1の各部との間のデータの入出力処理、データの演算(計算)処理およびデータの記憶処理を行う。プロセッサ63は、メモリ62に記憶されたプログラムおよびデータに従って動作する。プロセッサ63は、動作時にメモリ62を使用し、現在の時刻情報を取得し、撮像部61により撮像された撮像画像のデータに対して各種の公知の画像処理を施した上で現在の時刻情報を撮像時刻として対応付けて記録部65に記録する。なお、図4には図示を省略しているが、スタジアム内カメラCs1がGPS受信部(上述参照)を有する場合には、GPS受信部から現在の位置情報を取得し、撮像映像のデータに位置情報を更に対応付けて記録してよい。
また、プロセッサ63は、通信部64により受信された外部からの制御コマンドに従って、撮像部61による撮影条件を制御してよい。例えば、外部からの制御コマンドが撮影方向の変更を指示する場合、プロセッサ63は、その制御コマンドに従って、撮像部61の撮影時における撮影方向を変更する。例えば、外部からの制御コマンドがズーム倍率の変更を指示する場合、プロセッサ63は、その制御コマンドに従って、撮像部61の撮影時におけるズーム倍率を変更する。例えば、外部からの制御コマンドが指定された被写体の追跡処理を指示する場合、プロセッサ63は、その制御コマンドに従って、記録部65に記録された撮像映像のデータを用いて、指定された被写体の追跡処理を実行する。なお、複数種類の制御コマンドがプロセッサ63において取得された場合には、プロセッサ63は、それぞれの制御コマンドに従って、該当する処理を実行してよい。
また、プロセッサ63は、記録部65に記録された撮像画像に映る人物の顔画像をその撮像画像から切り出して抽出し、その抽出された顔画像のデータを、通信部64を介してモニタリングPC10に繰り返して送信する。また、プロセッサ63は、撮像部61により撮像された撮像映像のデータを、通信部64を介してモニタリングPC10に繰り返して送信する。
通信部64は、モニタリングPC10との間で通信する通信回路を用いて構成され、プロセッサ63の指示に基づいて、記録部65に記録された撮像画像、撮像映像または顔画像のデータを、モニタリングPC10に送信する。また、通信部64は、モニタリングPC10から送信された撮像映像取得要求(図11参照)を受信すると、その撮像映像取得要求をプロセッサ63に出力する。
記録部65は、スタジアム内カメラCs1に内蔵される半導体メモリ(例えばフラッシュメモリ)、HDD、SSDまたはスタジアム内カメラCs1に内蔵されないメモリカード(例えばSDカード)などの外部記憶媒体を用いて構成される。記録部65は、プロセッサ63により生成された撮像画像または撮像映像、顔画像のデータをスタジアム内カメラCs1の識別情報および撮像時刻の情報と対応付けて記録する。記録部65は、所定時間(例えば30秒)分の撮像映像のデータを常時プリバッファリングして保持し、現在時刻より所定時間(例えば30秒)前までの撮像映像のデータを上書きしながら蓄積し続けてよい。なお、記録部65がメモリカードで構成される場合、スタジアム内カメラCs1の筐体に挿抜自在に装着される。
図5は、モニタリングPC10のハードウェア構成例を示すブロック図である。監視装置1の一例としてのモニタリングPC10は、入出力インターフェース11と、メモリ12と、プロセッサ13と、通信部14と、記録部15とを含む構成である。図5ではディスプレイDP1がモニタリングPC10の外部に設けられているが、ディスプレイDP1はモニタリングPC10に含まれる構成としてもよい。
モニタリングPC10は、上述したように、例えばスタジアムSTM1内のバックヤードの監視室等に配置され、その監視室等で監視する監視員をユーザとして、そのユーザの入力操作を受け付け可能な情報処理装置である。モニタリングPC10は、スタジアムSTM1内で異常(例えば爆弾事件)が発生した場合に、その異常が発生した箇所またはその周辺に配置されたスタジアム内カメラの撮像映像をディスプレイDP1に表示する。監視員は、この表示されたスタジアム内カメラの撮像映像を閲覧し、異常が発生した箇所に関する各種の情報を収集する。
入出力インターフェース11は、モニタリングPC10と外部装置(例えば図示しない操作部)からのデータもしくは情報の入力に関するインターフェースとして機能する。例えば、入出力インターフェース11は、ユーザが入力操作時に用いる操作部(図示略)からの信号を入力してユーザの入力操作を検出する。操作部は、例えばマウスやキーボード等を用いて構成される。なお、図5では記載を簡潔にするために、インターフェースを便宜的に「I/F」と略記している。入出力インターフェース11は、ユーザの入力操作に基づく信号をプロセッサ13に出力する。また、入出力インターフェース11は、モニタリングPC10と外部装置(例えばディスプレイDP1)との間のデータもしくは情報の出力に関するインターフェースとしても機能し、プロセッサ13から出力された撮像映像のデータをディスプレイDP1に出力する。
メモリ12は、例えばRAMとROMを用いて構成され、モニタリングPC10の動作の実行に必要なプログラムやデータ、更には、動作中に生成された情報又はデータ等を一時的に保存する。RAMは、例えばプロセッサ13の動作時に使用されるワークメモリである。ROMは、例えばプロセッサ13を制御するためのプログラムおよびデータを予め記憶する。また、メモリ12は、例えばモニタリングPC10を識別する識別情報(例えばシリアル番号)および各種設定情報を記憶する。
プロセッサ13は、例えばCPU、MPU、DSP又はFPGAを用いて構成され、モニタリングPC10の制御部として機能し、モニタリングPC10の各部の動作を全体的に統括するための制御処理、モニタリングPC10の各部との間のデータの入出力処理、データの演算(計算)処理およびデータの記憶処理を行う。プロセッサ13は、メモリ12に記憶されたプログラムおよびデータに従って動作する。プロセッサ13は、動作時にメモリ12を使用し、現在の時刻情報を取得するとともに、スタジアム内カメラCs1~Cskのそれぞれから送信された撮像映像のデータを、入出力インターフェース11を介してディスプレイDP1に表示する。また、プロセッサ13は、ディスプレイDP1に撮像映像が表示されている間に、ユーザの操作により撮像映像中の人物の顔領域の指定があると、その指定された顔領域の部分を切り出した顔画像のデータを生成し、その生成された顔画像のデータを含む照合要求を、通信部14を介して顔照合サーバ30に送信する。
通信部14は、センサS1~Sk、スタジアム内カメラCs1~Csk、顔照合サーバ30または警備用端末71~7pとの間で通信可能な通信回路を用いて構成される。通信部14は、プロセッサ13の指示に基づいて、メモリ12または記録部15に保持された顔画像のデータを含む照合要求を顔照合サーバ30に送信する。また、通信部14は、センサS1~Skから送信された検知結果の情報を受信してプロセッサ13に出力する。また、通信部14は、スタジアム内カメラCs1~Cskから送信された撮像映像のデータを受信してプロセッサ13に出力する。また、通信部14は、プロセッサ13の指示に基づいて、プロセッサ13により生成された警備指示(図11参照)を警備用端末71~7pに送信する。
記録部15は、モニタリングPC10に内蔵される半導体メモリ(例えばフラッシュメモリ)、HDD、SSDまたはモニタリングPC10に内蔵されないメモリカード(例えばSDカード)などの外部記憶媒体を用いて構成される。記録部15は、プロセッサ13により生成された撮像画像または撮像映像、顔画像のデータを対応するカメラの識別情報および撮像時刻の情報と対応付けて記録する。なお、記録部15がメモリカードで構成される場合、モニタリングPC10の筐体に挿抜自在に装着される。また、記録部15は、スタジアムSTM1内に対応付けて配置された、センサおよびスタジアム内カメラからなる複数のセットの配置位置に関する情報を保持している。例えば、記録部15は、1組のセットとして配置されるセンサおよびスタジアム内カメラのそれぞれの識別情報を対応付けて保持している。
ディスプレイDP1は、例えばLCD(Liquid Crystal Display)又は有機EL(Electroluminescence)等の表示デバイスを用いて構成され、プロセッサ13から送られた各種の撮像画像、撮像映像のデータを表示する。
図6は、顔登録サーバ20のハードウェア構成例を示すブロック図である。監視装置1の一例としての顔登録サーバ20は、メモリ22と、プロセッサ23と、通信部24と、記録部25とを含む構成である。
顔登録サーバ20は、例えばスタジアムSTM1内のバックヤードの監視室に配置されるオンプレミスのサーバ装置もしくはPCである。顔登録サーバ20は、入場者顔撮像ゲート(図2参照)に内蔵された各種のカメラ(図2の例ではカメラCg11~Cg15)により複数の異なる角度で撮像された複数の撮像画像中の顔画像を、その入場者に関する情報(例えば、チケット管理サーバ40に保存されている個人情報)と対応付けて顔照合サーバ30に登録する。顔画像の登録処理の詳細については、図10を参照して後述する。
メモリ22は、例えばRAMとROMを用いて構成され、顔登録サーバ20の動作の実行に必要なプログラムやデータ、更には、動作中に生成された情報又はデータ等を一時的に保存する。RAMは、例えばプロセッサ23の動作時に使用されるワークメモリである。ROMは、例えばプロセッサ23を制御するためのプログラムおよびデータを予め記憶する。また、メモリ22は、例えば顔登録サーバ20を識別する識別情報(例えばシリアル番号)および各種設定情報を記憶する。
プロセッサ23は、例えばCPU、MPU、DSP又はFPGAを用いて構成され、顔登録サーバ20の制御部として機能し、顔登録サーバ20の各部の動作を全体的に統括するための制御処理、顔登録サーバ20の各部との間のデータの入出力処理、データの演算(計算)処理およびデータの記憶処理を行う。プロセッサ23は、メモリ22に記憶されたプログラムおよびデータに従って動作する。プロセッサ23は、動作時にメモリ22を使用し、現在の時刻情報を取得するとともに、入場者顔撮像ゲート毎に内蔵されたそれぞれのカメラから送信された撮像画像またはその撮像画像から切り出された顔画像のデータを、通信部24を介して取得する。また、プロセッサ23は、入場者顔撮像ゲートに内蔵された複数のカメラにより撮像された、同一の入場者における複数の異なる顔画像のデータを含む顔登録を含む顔登録指示を、通信部24を介して顔照合サーバ30に送信する。なお、顔登録指示には、上述した同一の入場者における複数の異なる顔画像のデータと、その入場者に関する情報(例えば個人情報)とが少なくとも対応付けられた入場者データが含まれる。
通信部24は、チケット管理サーバ40、入場者顔撮像ゲートGt1~Gtn毎に内蔵されたそれぞれのカメラCg11~Cg15,Cgn1~Cgn5、ID読取装置Br1~Brnとの間で通信可能な通信回路を用いて構成される。通信部24は、プロセッサ23の指示に基づいて、メモリ22または記録部25に保持された複数の異なる角度で撮像された複数の顔画像のデータを含む顔登録指示を顔照合サーバ30に送信する。また、通信部24は、ID読取装置Br1~Brnのうちいずれかにより読み取られたチケット情報を受信するとともに、プロセッサ23の指示に基づいて、そのチケット情報を含む個人情報取得要求をチケット管理サーバ40に送信する。個人情報取得要求は、例えばチケットの所持者である入場者の個人情報の取得をチケット管理サーバ40に要求するためのメッセージである。
記録部25は、顔登録サーバ20に内蔵される半導体メモリ(例えばフラッシュメモリ)、HDD、SSDまたは顔登録サーバ20に内蔵されないメモリカード(例えばSDカード)などの外部記憶媒体を用いて構成される。記録部25は、プロセッサ23により取得された複数の異なる角度で撮像された複数の顔画像のデータを対応するそれぞれのカメラの識別情報および撮像時刻の情報と対応付けて記録する。なお、記録部25がメモリカードで構成される場合、顔登録サーバ20の筐体に挿抜自在に装着される。
図7は、顔照合サーバ30のハードウェア構成例を示すブロック図である。監視装置1の一例としての顔照合サーバ30は、メモリ32と、プロセッサ33と、通信部34と、記録部35とを含む構成である。
顔照合サーバ30は、例えばスタジアムSTM1内のバックヤードの監視室に配置されるオンプレミスのサーバ装置もしくはPCである。顔照合サーバ30は、入場者顔撮像ゲート(図2参照)に内蔵された各種のカメラ(図2の例ではカメラCg11~Cg15)により複数の異なる角度で撮像された複数の撮像画像中の顔画像を、その入場者に関する情報(例えば、チケット管理サーバ40に保存されている個人情報)と対応付けられた入場者データを記録部35の入場者データベースSPDBに保存する。顔画像の照合処理の詳細については、図11を参照して後述する。
メモリ32は、例えばRAMとROMを用いて構成され、顔照合サーバ30の動作の実行に必要なプログラムやデータ、更には、動作中に生成された情報又はデータ等を一時的に保存する。RAMは、例えばプロセッサ33の動作時に使用されるワークメモリである。ROMは、例えばプロセッサ33を制御するためのプログラムおよびデータを予め記憶する。また、メモリ32は、例えば顔照合サーバ30を識別する識別情報(例えばシリアル番号)および各種設定情報を記憶する。
プロセッサ33は、例えばCPU、MPU、DSP又はFPGAを用いて構成され、顔照合サーバ30の制御部として機能し、顔照合サーバ30の各部の動作を全体的に統括するための制御処理、顔照合サーバ30の各部との間のデータの入出力処理、データの演算(計算)処理およびデータの記憶処理を行う。プロセッサ33は、メモリ32に記憶されたプログラムおよびデータに従って動作する。プロセッサ33は、動作時にメモリ32を使用し、現在の時刻情報を取得するとともに、顔登録サーバ20から送信された顔登録指示に含まれる各種のデータ(上述参照)を、通信部34を介して取得する。また、プロセッサ23は、顔登録指示に含まれる入場者データを記録部35の入場者データベースSPDBに登録して保存(蓄積)する。また、プロセッサ33は、モニタリングPC10から送信された照合要求を、通信部34を介して取得し、その照合要求に従って入場者データベースSPDBを照合し、照合結果として、照合要求に含まれる1人以上の顔画像のデータ(図11参照)に対応する入場者毎の特徴情報を抽出する。
通信部34は、顔登録サーバ20またはモニタリングPC10との間で通信可能な通信回路を用いて構成される。通信部34は、顔登録サーバ20から送信された顔登録指示(上述参照)を受信してプロセッサ33に出力する。また、通信部34は、照合要求(図11参照)に応じてプロセッサ33が照合した結果としての入場者毎の特徴情報をモニタリングPC10に送信する。個人情報取得要求は、例えばチケットの所持者である入場者の個人情報の取得をチケット管理サーバ40に要求するためのメッセージである。
記録部35は、顔照合サーバ30に内蔵される半導体メモリ(例えばフラッシュメモリ)、HDD、SSDまたは顔照合サーバ30に内蔵されないメモリカード(例えばSDカード)などの外部記憶媒体を用いて構成される。記録部35は、プロセッサ33により取得された複数の異なる角度で撮像された複数の顔画像のデータを対応するそれぞれのカメラの識別情報および撮像時刻の情報と対応付けて記録する。また、記録部35は、スタジアムSTM1に入場した入場者毎の入場者データ(つまり、同一の入場者に対して複数の異なる角度で撮像された撮像画像から顔部分が切り出されて生成された複数の顔画像のデータと、その入場者に関する情報(例えば個人情報)とが少なくとも対応付けられたデータ)を登録した入場者データベースSPDBを保持する。なお、記録部35がメモリカードで構成される場合、顔照合サーバ30の筐体に挿抜自在に装着される。
図9Aは、スタジアムSTM1の観客席SPS1,SPS2とスタジアム内カメラCs1の配置例を示す模式図である。図9Bは、スタジアム内カメラCs1の撮像画像例を示す図である。図9Aに示す観客席SPS1,SPS2ならびにスタジアム内カメラCs1の配置はあくまで一例であって、図9Aに示す例に限定されないことは言うまでもない。図9Aの説明を簡単にするために、観客席SPS1は1階席で、観客席SPS2は2階席とする。
図9Aに示すように、スタジアムSTM1では、図9Aの紙面右側から紙面左側に向かう(例えば、サッカー等の試合が行われるスタジアムSTM1のフィールドまたはピッチに近づく)ように階下となる段状の観客席SPS1が設けられている。スタジアム内カメラCs1は、観客席SPS1の全域を含む画角が設定されており、例えば1階席と2階席との間の天井面に取り付けられている。図9Aでは図示されていないが、例えば2階席の観客席SPS2においても1階席の観客席SPS1と同様に、観客席SPS2の全域を含む画角が設定されたスタジアム内カメラが観客席SPS2の上方(例えば天井面)に取り付けられてよい。
図9Bに示す撮像画像には、観客席SPS1に観客(つまり、入場者INT1,INT2,INT3,INT4,INT5,INT6を含む複数の入場者)が座って観戦している様子が示されている。図9Bに示す撮像画像例のように、観客席SPS1に座っている全ての観客ではないが、一部の観客(例えば、入場者INT1,INT2,INT3,INT4,INT5,INT6)はスタジアム内カメラCs1を背にして座っている。言い換えると、スタジアム内カメラCs1により撮像された入場者INT1,INT2,INT3,INT4,INT5,INT6の顔画像は、正確な照合に適する正面視の顔画像ではなく、例えば左側面側または左斜め後ろ側から撮像されたような顔画像となっている。従って、例えば入場者の顔画像が正面視の顔画像しか登録されていない場合には、顔画像の照合に相当の時間や処理負荷がかかるという懸念がある。
ところが、実施の形態1では、スタジアムSTM1内に観客(つまり、入場者)が入場する時には入場者顔撮像ゲートGt1~Gtnのうちいずれかを通過する。そして、入場者顔撮像ゲートGt1~Gtnのそれぞれには例えば5台(図2参照)のカメラCg11~Cg15によって複数の異なる角度で入場者の顔画像が撮像されて入場者データベースSPDBに登録される。従って、顔照合サーバ30は、例えばスタジアムSTM1内に異常(例えば爆弾事件)が発生した場合には、その異常が発生した箇所またはその周辺に配置されたスタジアム内カメラの撮像映像に映る人物の顔画像を入場者データベースで照合することで、的確かつ迅速にその異常を発生させた被疑者あるいは犯人の特徴情報を抽出可能となる。
次に、実施の形態1に係る施設内監視システム100におけるスタジアムSTM1に入場した入場者の顔画像の登録(つまり、顔登録)の動作手順について、図10を参照して説明する。図10は、実施の形態1に係る施設内監視システム100における顔登録の動作手順の一例を説明するシーケンス図である。
図10に示す顔登録の動作手順は、例えばチケットTC1を所持する入場者INT0がスタジアムSTM1に入場する際、入場者顔撮像ゲートGt1~Gtnのうちいずれか(例えば入場者顔撮像ゲートGt1)を通過する時に実行される。また、図10の説明を分かり易くするため、スタジアムSTM1に入場するためのチケットTC1を所持する一人の入場者ITN0の顔画像の登録を例示して説明する。
図10において、チケットTC1を所持する入場者INT0は、スタジアムSTM1に入場する際に、例えば入場者顔撮像ゲートGt1より手前または同一の箇所に配置されたID読取装置(例えばID読取装置Br1)にチケットTC1をかざす。ID読取装置Br1は、チケットTC1に印字等されたバーコードを読み取り、バーコードの読み取りによって得られた入場者のID情報を取得する。ID情報は、上述したように、例えばチケットの識別情報(例えばチケットTC1に印字等されるバーコード)、チケットの購入者である入場者の氏名、購入年月日等の各種情報を含む。ID読取装置Br1は、バーコードの読み取りによって得られたID情報を顔登録サーバ20に送信する(St1)。
顔登録サーバ20は、ID読取装置Br1から送信されたID情報を受信してメモリ22または記録部25に保持する。顔登録サーバ20は、ステップSt1において受信されたID情報に含まれる入場者の氏名に対応する個人情報の取得要求を生成し、その個人情報取得要求をチケット管理サーバ40に送信する(St2)。個人情報取得要求は、例えばチケットTC1の所持者である入場者INT0の個人情報の取得をチケット管理サーバ40に要求するためのメッセージである。
チケット管理サーバ40は、ステップSt2において顔登録サーバ20から送信された個人情報取得要求に基づいて、その個人情報取得要求の対象者である入場者INT0の個人情報(例えば、入場者INT0の氏名、年齢、性別、住所、電話番号等の入場者INT0を識別するための各種情報)を取得する。チケット管理サーバ40は、その取得された入場者INT0の個人情報を顔登録サーバ20に返信(応答)する(St3)。
また、入場者INT0は、入場者顔撮像ゲートGt1(図2参照)を通過する(St4)。この時、入場者顔撮像ゲートGt1に内蔵された複数のカメラCg11~Cg15のそれぞれは、既定の画角で入場者INT0を撮像する(St5)。複数のカメラCg11~Cg15のそれぞれは、ステップSt5の撮像によって得られた入場者INT0の一連の撮像画像のデータから入場者INT0の顔部分を切り出して顔画像を抽出し、その抽出された複数の異なる角度で撮像された一連の顔画像AG1,AG2,AG3,…,AG5のデータを対応付けて顔登録サーバ20に送信する(St6)。
なお、顔画像AG1は、例えばカメラCg11により撮像された撮像画像に基づいて生成された入場者INT0の正面視の顔画像である。他の顔画像AG2~AG5は、例えばカメラCg12~Cg15のそれぞれにより撮像された撮像画像に基づいて生成された入場者INT0の正面視以外の斜視もしくは側視の顔画像である。
顔登録サーバ20は、ステップSt6においてカメラCg11~Cg15から送信された一連の顔画像のデータを受信する。顔登録サーバ20は、例えば公知の顔向き推定技術をプロセッサ23において用いて実行することで、その受信された一連の顔画像のそれぞれ毎に顔画像の顔の向き(言い換えると、正面視を基準のゼロ度とした場合の角度)を計算する(St7)。これにより、顔画像AG1,AG2,AG3,…,AG5の顔の向きは、例えばゼロ度,45度,-45度,…,-135度と計算されることになる。
顔登録サーバ20は、ステップSt7の計算結果を用いて、ステップSt3において受信された入場者INT0の個人情報とステップSt6において受信された一連の顔画像AG1~ASG5のデータとを対応付けた入場者INT0の入場者データを生成する(St8)。この入場者データでは、顔画像AG1~AG5のそれぞれにステップSt7において計算された顔の向きの情報も対応付けられる。
顔登録サーバ20は、ステップSt8において生成された入場者INT0の入場者データ(例えば、複数の異なる角度で撮像された入場者INT0の顔画像とその入場者INT0の個人情報)を顔照合サーバ30に登録するための顔登録指示を、その入場者データを含めて生成して顔照合サーバ30に送信する(St9)。
顔照合サーバ30は、ステップSt9において顔登録サーバ20から送信された顔登録指示を受信すると、その受信された顔登録指示に基づいて、その顔登録指示に含まれる入場者INT0の入場者データを入場者データベースSPDBに登録して蓄積する(St10)。これにより、施設内監視システム100は、スタジアムSTM1内に入場する全ての入場者毎に個別の入場者データを生成して顔照合サーバ30の入場者データベースSPDBに蓄積できる。言い換えると、スタジアムSTM1等のような閉鎖された施設内に入場している全ての入場者の入場者データが顔照合サーバ30内の入場者データベースSPDBに蓄積されることになる。
次に、実施の形態1に係る施設内監視システム100が設置されたスタジアムSTM1内で異常(例えば爆弾事件)が発生した時に、その異常を発生させた被疑者もしくは犯人の特徴情報を入場者データベースSPDBを用いて照合し、その結果を警備員に通知する動作手順について、図11を参照して説明する。図11は、実施の形態1に係る施設内監視システム100における顔照合の動作手順の一例を説明するシーケンス図である。
図11に示す顔照合の動作手順は、多くの(例えば数万人規模の)観客等の入場者がスタジアムSTM1に入場しており、サッカー等の試合の最中に異常(例えば爆弾事件)が発生した時に実行される。また、図11の説明を分かり易くするため、異常が発生した箇所またはその近くにスタジアム内カメラCs1とそのスタジアム内カメラCs1に対応付けられたセンサS1とが配置されている例を想定して説明する。
図11において、センサS1は、例えばサッカー等の試合の最中に突如、異常(例えば爆弾事件)の発生を検知したとする。この時、センサS1は、例えばセンサS1の識別情報と異常を検知した旨とを含む異常検知通知をモニタリングPC10に送信する(St11)。
モニタリングPC10は、記録部15に記録されたセンサおよびスタジアム内カメラのセットの配置位置に関する情報を参照し、ステップSt11においてセンサS1から送信された異常検知通知に含まれるセンサS1の識別情報に基づいて、異常が発生した箇所(言い換えると、警備員による監視対象となる箇所)のスタジアム内カメラを異常箇所近傍施設内カメラとして特定する(St12)。
モニタリングPC10は、ステップSt12により特定されたスタジアム内カメラ(例えばスタジアム内カメラCs1)により撮像された撮像映像の取得要求を生成し、撮像映像取得要求をスタジアム内カメラCs1に送信する(St13)。撮像映像取得要求は、例えばステップSt12において特定されたスタジアム内カメラにより異常発生時に撮像またはその所定時間(例えばプリバッファリング可能な30秒間分)前から撮像されていた撮像映像のデータをそのスタジアム内カメラに要求するためのメッセージである。
スタジアム内カメラCs1は、ステップSt13においてモニタリングPC10から送信された撮像映像取得要求に基づいて、異常が発生した箇所またはその周辺の地点を被写体とした異常発生当時もしくはその所定時間前の撮像映像のデータを取得する。なお、スタジアム内カメラCs1は、異常発生当時もしくはその所定時間前の撮像映像のデータを保持していない場合には、ステップSt13においてモニタリングPC10から送信された撮像映像取得要求を受信した時点における撮像映像のデータを取得してもよい。なお、この受信した時点における撮像映像には入場者INT0が映っているとする。スタジアム内カメラCs1は、その取得された撮像映像のデータをモニタリングPC10に返信(応答)する(St14)。
モニタリングPC10は、ステップSt14においてスタジアム内カメラCs1から送信された撮像映像のデータを受信すると、そのスタジアム内カメラCs1により撮像された撮像映像に映る全員(つまり、スタジアム内カメラCs1の画角内に存在する入場者INT0を含む全入場者)の顔画像を切り出して抽出する(St15)。モニタリングPC10は、ステップSt15において抽出されたそれぞれの入場者の顔画像のデータを含む照合要求を生成し、その生成された照合要求を顔照合サーバ30に送信する(St16)。
顔照合サーバ30は、ステップSt16においてモニタリングPC10から送信された照合要求に基づいて、ステップSt15において切り出された全入場者の顔画像のそれぞれと入場者データベースSPDBとを照合する(St17)。顔照合サーバ30は、ステップSt17の照合によって、ステップSt15において切り出された全入場者の顔画像に対応するそれぞれの入場者の特徴情報(具体的には、入場者の氏名、年齢、性別、住所、電話番号等の属性的な情報と、必要に応じて入場者の外見上(例えば服装や靴の色)の情報とを含む個人情報)をそれぞれの入場者の顔画像と対応付けた警備対象者情報を生成する。警備対象者情報に含まれる入場者の顔画像は、例えば正面視の顔画像(例えば顔画像AG1)だけでなく、入場時顔撮像ゲートに内蔵された各カメラにより撮像された側視もしくは/および斜視の顔画像も含まれてよい。顔照合サーバ30は、その生成された1人以上の警備対象者情報をモニタリングPC10に送信する(St18)。
これにより、顔照合サーバ30は、スタジアムSTM1に入場した全員(例えば数万人)ではなく、異常(例えば爆弾事件)が発生した箇所またはその近くに配置されたスタジアム内カメラに映る全入場者(例えば30~40人の入場者)を限定して仮の被疑者あるいは犯人として仮設定できる。また顔照合サーバ30は、その仮の被疑者あるいは犯人と位置付けられたスタジアム内カメラに映る全入場者(例えば30~40人の入場者)の特徴情報(上述参照)を、モニタリングPC10を介して警備員に知らせることができるので、スタジアムSTM1内での警備あるいは異常の発生した日より後日に行われる警察機関による捜査を効率的に支援できる。
モニタリングPC10は、ステップSt18において顔照合サーバ30から送信された1人以上の警備対象者情報を受信し、その警備対象者情報を含む警備指示を生成する。モニタリングPC10は、その生成された警備指示を、スタジアムSTM1内を巡回する警備員SCG1を含む全ての警備員がそれぞれ所持する警備用端末71~7pに送信する(St19)。警備員SCG1を含むそれぞれの警備員は、モニタリングPC10から送信された警備指示を受信すると、その警備指示に含まれる顔画像のデータおよびその顔画像に対応する入場者の特徴情報(個人情報)を参考してスタジアムSTM1内を巡回して該当しそうな人物がいないかどうかを監視する(St20)。
以上により、実施の形態1に係る施設内監視システム100は、それぞれ既定の位置に複数のスタジアム内カメラCs1~Cskが設置されたスタジアムSTM1等の施設内への入場時に入場者を複数の異なる角度で撮像する複数のカメラ(例えばカメラCg11~Cg15)を有する。施設内監視システム100は、複数のカメラのそれぞれと通信可能に接続され、複数の異なる角度で撮像されたそれぞれの撮像画像に基づく顔画像AG1~AG5と入場者の識別情報と対応付けた入場者データを蓄積する記録部35を有し、施設内の入場者を監視する監視装置1を有する。監視装置1は、施設内での異常の検知通知に応じて、複数のスタジアム内カメラのうち異常が検知された箇所またはその周辺を撮像するスタジアム内カメラを異常箇所近傍施設内カメラとして特定する。監視装置1は、入場者データを用いて、異常箇所近傍施設内カメラ(例えばスタジアム内カメラCs1)により撮像された撮像映像に映る1人以上の入場者を抽出し、その抽出された1人以上の入場者を警備対象者として、スタジアムSTM1内を巡回する警備員が所持する警備用端末71~7pに警備対象者情報(警備対象者に関する情報の一例)を送信する。
これにより、施設内監視システム100は、スタジアムSTM1等の閉鎖された施設内で事件等が発生した場合に、その施設内への入場時に取得した複数のカメラで複数の角度から撮像された顔画像を用いることで、被疑者あるいは犯人の可能性のある入場者を、例えば数万人規模の入場者全員から、異常の発生が検知された箇所またはその近くのスタジアム内カメラに映る複数の入場者に限定的に絞り込むことができる。従って、施設内監視システム100は、異常を発生させた被疑者あるいは犯人の絞り込みを効率的に支援でき、事件等の早期解決に資することができる。
また、スタジアムSTM1内には、複数のスタジアム内カメラのそれぞれと対応付けてそれぞれ異なるセンサS1~Skが配置される。監視装置1は、異常箇所近傍施設内カメラ(例えばスタジアム内カメラCs1)と対応付けて配置されたセンサ(例えばセンサS1)により異常が検知された旨の異常の検知通知を受信する。これにより、施設内監視システム100は、センサとスタジアム内カメラとからなるセットが対応付けて配置されているので、どのセンサから異常検知通知を受信したかによってどのスタジアム内カメラの近くで事件等の異常事態が発生したかを的確に推定できる。従って、施設内監視システム100は、直ぐに逃走する可能性のある被疑者あるいは犯人のいるスタジアム内の場所を効率的に絞り込むことができる。
また、監視装置1は、異常の検知通知を受信した時点より所定時間前に異常箇所近傍施設内カメラにより撮像された撮像映像に映る1人以上の入場者を抽出する。これにより、施設内監視システム100は、事件等の異常事態を発生させた被疑者あるいは犯人が映り込む映像をより正確に探索できるので、警備対象者に該当する入場者を効率的に絞り込むことができる。
また、監視装置1は、異常箇所近傍施設内カメラにより撮像された撮像映像に映る1人以上の入場者のうち、監視員の操作により選択された少なくとも1人の入場者を警備対象者として抽出する。これにより、施設内監視システム100は、例えば事件等の異常事態が発生した箇所またはその周辺の撮像映像に映る入場者のうち監視員の目に留まった少なくとも1人の不審人物を選択的に警備対象者に設定できるので、より特徴的な雰囲気を醸し出している入場者を効率的に警備対象者として特定できる。
また、監視装置1は、複数の異なる角度で撮像されたそれぞれの撮像画像内の入場者の顔画像と、入場者の識別情報と、入場者の服装等の色情報とを対応付けて入場者データとして記録部35に蓄積する。これにより、施設内監視システム100は、入場者の顔だけでなくスタジアムSTM1に入場した時の服装等の外見上の特徴も含めて入場者データとして登録することで、事件等の異常事態を発生させた被疑者あるいは犯人の照合精度を向上できる。
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
上述した実施の形態1では、顔照合の動作手順は、異常が発生した箇所またはその周辺に配置されたセンサからの異常検知通知に基づいて開始されている。また、そのセンサ(例えばセンサS1)に対応付けて配置されたスタジアム内カメラ(例えばスタジアム内カメラCs1)により撮像された撮像映像に映る全入場者を用いて警備対象者を特定したが、そのスタジアム内カメラCs1により撮像された撮像映像だけを用いて警備対象者を特定することに限定されない。例えば、モニタリングPC10は、そのスタジアム内カメラCs1以外の他のスタジアム内カメラ(例えばスタジアム内カメラCs1の近くに配置されている他のスタジアム内カメラ)により撮像された撮像映像に映る全入場者を用いて警備対象者を特定してもよい。これにより、施設内監視システム100は、異常を引き起こした被疑者あるいは犯人が爆弾事件を起こした現場から逃走している可能性を考慮して、一定距離離れた近くの箇所に移動している場合でも、リアルタイムにその被疑者あるいは犯人を効率的に追跡または絞り込みを行える。