JP6155032B2 - 撮影システム - Google Patents

Description

本発明は、建物から逃走しようとする賊を移動ロボットから撮影する撮影システムに関し、特に、建物内で撮影された賊を建物外においても移動ロボットから撮影する撮影システムに関する。

従来、建物とその周辺の監視領域に各種センサを設置し、センサが異常を検出すると、異常検知した場所に移動ロボットが移動して監視領域内を撮影する監視システムが提案されている。
例えば、特許文献１には、火災を検出するセンサや侵入者を検出するセンサからの信号に基づいて、地上走行型の移動ロボットが異常発生の場所に移動して異常状況を撮影する監視システムが開示されている。このような監視システムは、駐車場が設けられているような工場やショッピングモールなど広範囲な監視領域を監視することがある。特許文献１のシステムでは、移動ロボットは、センサが異常を検知した場所まで走行して、その異常発生場所の撮影や監視センタへの通報などを実行している。

特開２００９−１８１２７０号公報

ところで、広範囲な監視領域を持つ移動ロボットであっても、屋内移動と屋外移動の両方を可能にするのは困難な場合が多い。例えば、特許文献１に記載されている移動ロボットは、屋外の駐車場等の敷地を監視対象としている。このため、移動ロボットが建物の内側に入ろうとすると、建物の扉を開けなければならず、建物に階段があれば階段を昇降する機能を備える必要が出てくる。このため、移動ロボットは、屋内用と屋外用というように、担当する場所が予め決められている。

このような状況において、屋内に入ることができない屋外用の移動ロボットは、建物に賊が入ったとの信号を受け、撮影の準備を完了し、いざ建物の外にいる人物を撮影しようにも、何れの人物が賊なのかがわからず、賊が逃走してもそれがわからないという問題があった。

そこで、本発明は、屋内で撮影された賊の画像から、賊を特定するための人物特徴を抽出しておき、屋外で撮影された人物の画像から抽出した人物特徴との照合を行うことができる撮影システムの実現を目的とする

かかる目的を達成するために本発明は、建物内への侵入者を検出する建物内センサと、建物内を撮影する建物内カメラと、建物の外部を飛行しつつ撮影する飛行ロボットと、建物内カメラまたは飛行ロボットが撮影した画像を処理する画像処理部と、飛行ロボットの飛行を制御する飛行ロボット制御部を有する制御装置を備え、画像処理部は、建物センサが侵入者を検出した後、建物内カメラが撮影した建物内画像から抽出した人物領域と飛行ロボットが撮影した屋外画像から抽出した人物領域が同一人物のものか否かを照合し、照合結果を飛行ロボット制御部に出力し、飛行ロボット制御部は、画像処理部が同一人物と判定すると人物を追跡するように飛行ロボットを制御することを特徴とした撮影システムを提供する。

本発明にかかる撮影システムは、建物に侵入した侵入者と建物の外にいる人物との一致を判定することにより、侵入者らしき人物が建物の外に複数いたとしても、何れの人物が建物に侵入した賊であるかを特定し、その人物を追跡することができる。

また、撮影システムは、建物の外部領域に存在する物***置を出力する物体センサを設置し、制御装置は、物体センサの出力に基づき人物位置を算出する物***置算出部を更に有し、飛行ロボット制御部は、物***置算出部にて算出された人物を撮影するように飛行ロボットを制御することが好適である。

これにより、建物の外にいる人物を、飛行ロボットが撮影した画像から検出するよりも広い領域について人物を検出できる。

また、画像処理部は、人物領域から顔画像、服装情報、身長情報のうちの少なくとも１つを人物特徴として抽出して照合することが好適である。

これにより、人物を特徴付ける情報として有用な顔画像の他、服装情報なども併用して精度良く照合できる。

本発明によれば、建物外に存在する人物の何れかが賊なのかを判定でき、その後の追跡処理に活用できる。

飛行ロボットの飛行イメージを説明する図 飛行ロボットの機能ブロック図 監視システムの全体構成図 警備装置の機能ブロック図 ロボ制御モジュールの機能ブロック図 建物内画像から顔領域と胴体領域の抽出の様子を示す模式図 顔画像の照合処理に用いられる参照顔画像の模式図 レーザセンサの検知エリアを示す図 建物内画像についての処理フロー 侵入した賊を検出した時の飛行ロボットの制御フロー 屋外画像が取得されたときの処理フロー

以下、本発明にかかる撮影システムを監視システムに適用した実施の形態について説明する。

図３は、監視システム１の全体構成を模式に示した図である。監視システム１は、監視領域Ｅに設置される警備装置２、飛行ロボット３、レーザセンサ４、建物内センサ５と、ネットワークを介して接続される監視センタ内に設置されたセンタ装置６、建物内センサ５の検知範囲をおおよそ視野範囲とするカラーの建物内カメラ７から構成されている。
センタ装置６は、警備装置２とＩＰ網にて接続され、警備装置２から飛行ロボット３の撮影した画像や建物内カメラ７が撮影した画像、建物内センサ５の検知信号などを受信し、モニタに表示する。なお、監視員は、このモニタを視て監視領域Ｅの状況を把握し、適切な対応を実行する。また、ネットワークをＩＰ網として説明しているが、一般公衆回線網、携帯電話網など画像の送受信に支障がなければこれに限るものではない。
また図示はしていないが、建物内が暗く、建物内カメラ７の撮影に支障がある場合に対応するため、照明装置を備えるのも好適である。

飛行ロボット３は、警備装置２からの無線による飛行制御信号を受信して、所定の目標位置まで撮影しながら飛行し、撮影した画像を警備装置２に送信する。図２は、飛行ロボット３の機能ブロックを示した図である。
飛行ロボット３は、警備装置２との無線通信を行うためのアンテナ３１、上昇／下降／方向転換／前進などの飛行するための４つのロータ３２、ロータ３２に駆動力を提供するモータ等からなるロータ駆動部３３、鉛直下方にレーザーを投受光して飛行ロボット３の現在高度を計測する高度センサ３４、水平方向かつ周囲にレーザーを投受光して飛行ロボット３の周辺状況を計測する測距センサ３５、飛行ロボット３の前方をカラー画像にて撮影するカメラ３６、周囲が暗いときに点灯しカメラ３６での撮影を補助するＬＥＤ照明である照明３７、飛行ロボット３の全体を制御するロボ制御部３８、飛行ロボット３の各部に電気を供給するリチウムポリマー電池である電源３９から構成されている。

また、ロボ制御部３８は、アンテナ３１を介して警備装置２との無線通信を制御する通信制御手段３８１、カメラ３６の撮影開始／終了やカメラ３６が撮影した画像を取得して通信制御手段３８１から警備装置２へ送信するなどの処理をするカメラ制御手段３８２、測距センサ３５および高度センサ３４が測定した高度情報および周辺物体と自機との距離データをスキャンデータとして通信制御手段３８１から警備装置２へ送信するなどの処理をするスキャン手段３８３、警備装置２からの飛行制御信号に基づいてロータ駆動部３３を制御して飛行ロボット３を目標位置に飛行するように制御する飛行制御手段３８４から構成されている。

次に、図１、図４、図５を参照して、警備装置２について詳細に説明する。図１に示す監視領域Ｅの建屋Ｂの内部に警備装置２は設置されている。警備装置２は、建屋Ｂ内へ不法に侵入を試みる賊、あるいは侵入した賊（以下では侵入者と称する）を検知するための適宜の場所に設置された建物内センサ５、建物内センサ５の検知範囲をおおよそ視野範囲とする建物内カメラ７、監視領域Ｅ内であって駐車場等の建屋Ｂの外を検知領域とし物***置を出力するレーザセンサ４とそれぞれ接続されている。

図４は、警備装置２の機能ブロックを示す図である。警備装置２は、監視領域Ｅを監視センタが監視する警備セット状態と監視センタで監視しない警備解除状態との切替操作を行う警備モード切替部２１と、レーザセンサ４や建物内センサ５などの各種センサからの信号および建物内カメラ７からの画像の入力を受けるセンサインタフェース２２、飛行ロボット３との通信を行う飛行ロボット通信部２５、飛行ロボット３が撮影した画像、各種センサが検知した異常信号などについて、センタ装置６とネットワークを介して通信を行う監視センタ通信部２６、警備装置２の処理に必要なプログラムや各種のデータ、パラメータなどを記憶しているＲＯＭ／ＲＡＭなどの周辺部品にて構成される記憶部２４、および警備装置２の全体を統括制御するＣＰＵ、ＭＰＵなどから成る警備制御部２３から構成されている。

ここで、記憶部２４に記憶されている情報について説明する。監視空間マップ２４１は、監視領域Ｅを３次元にて表現した情報であって、地面から飛行ロボット３の飛行に必要な程度の高さまでの監視空間を表現したマップ情報である。本実施の形態では、監視領域Ｅと外部を仕切る塀の存在、建屋Ｂ、レーザセンサ４の設置位置などの予め監視空間内に存在している物体の情報が記憶されている。なお、監視空間マップ２４１には、建屋Ｂ内部の３次元情報も入っており、例えば扉や窓のように人が出入り可能な場所が登録されている。

建物内センサカメラ配置情報２４２は、各建物内センサ５および各建物内カメラ７の監視場所の監視空間マップ２４１における位置情報である。これは、予め警備計画によって決められており、建物内センサ５ごとに監視空間マップ２４１上の位置が対応付けられている。

レーザセンサパラメータ２４３は、レーザセンサ４の監視空間マップ２４１における位置、レーザセンサ４の検知領域における位置と監視空間マップ２４１上の位置との対応関係を含む情報であり、レーザセンサ４にて物体検知した位置を監視空間マップ２４１上の位置に変換するためのパラメータである。

なお、各種パラメータ２４４は、そのほかに警備装置２が監視領域Ｅを監視するために必要なセンタ装置６のＩＰアドレスや飛行ロボット３との通信のためのデータなど種々必要なパラメータである。記憶部２４には、これら以外に警備装置２の機能を実現するための各種プログラムが記憶されている。

３次元顔形状データ２４５は、人物の顔の標準的な３次元形状をフレームモデルで表現するためのデータであり、人物の顔について特徴的な部位の部分、例えば目について目頭や目尻、鼻について鼻尖点、口について口角点などに特徴点が設定されている。特徴点は、後述する２次元の顔画像との合成処理に必要な数だけ予め設定されている。
なお、３次元顔形状データ２４５の表現方法としては、ワイヤーフレームモデルに限らず、サーフェイスモデル等、人物の３次元構造をモデル化できる方法であれば他の方法を用いてもよい。

次に、警備制御部２３について詳細に説明する。なお、警備制御部２３は、記憶部２４には図示していないソフトウェアモジュールを読み出して、ＣＰＵ等にて各処理を行うものである。

レーザセンサ解析モジュール２３１は、物***置算出部として動作し、センサインタフェース２２から入力されるレーザセンサ４の信号を解析処理するソフトウェアである。具体的には、物体センサであるレーザセンサ４がレーザー光にて検知エリアを走査した結果である探査信号を時系列に解析する。検知エリアに新たな進入物体等がなければ、時系列に入力されるレーザセンサ４の探査信号はあまり変化しないので、移動物体なしとの解析結果となる。他方、検知エリアに新たな進入物体等があれば、レーザセンサ４の探査信号に変化が生じるので、変化が出た検知エリアでの位置を解析して求める。更に、記憶部２４のレーザセンサパラメータ２４３を用いて、監視空間マップ２４１上の位置に変換し、進入物体の位置・大きさ・移動方向を算出し、進入物体を監視空間マップ２４１上で追跡する。また、進入物体が停止すると、その後の信号の変化がなくなるので、追跡していた人物等の物体が、停止したと判定することができる。
また、レーザセンサ解析モジュール２３１の解析結果は、後述する異常判定モジュール２３２や飛行ロボット制御モジュール２３３に出力される。

異常判定モジュール２３２は、警備モード切替部２１からの警備セット／解除信号、建物内センサ５、レーザセンサ４からの信号を受信し、監視領域Ｅに異常が発生したか否かを判定する。異常判定モジュール２３２は、警備モード切替部２１から警備セット信号を受信すると監視領域Ｅを警戒する警備セットモードとし、警備解除信号を受信すると監視領域Ｅを警戒していない警備解除モードに設定する。
そして、警備解除モードでは、建物内センサ５やレーザセンサ４からの検知信号を受信しても、特段の処理は行わない。他方、警備セットモードでは、建物内センサ５やレーザセンサ４からの検知信号を受信すると異常発生と判定し、監視センタ通信部２６からセンタ装置６に異常通報する。異常通報とともに、建物内センサ５からの検知信号を受信した場合には、飛行ロボット制御モジュール２３３に対して飛行ロボット３の起動制御を実行する。そして、飛行ロボット通信部２５から受信した飛行ロボット３が撮影した画像を監視センタ通信部２６からセンタ装置６に送信する処理を異常状態の解除がされるまで継続する。なお、異常状態の解除方法は種々存在するが、本発明との関連性が低いので説明は省略する。

飛行ロボット制御モジュール２３３は、飛行ロボット制御部として動作し、異常判定モジュール２３２にて飛行ロボット３の起動信号を受けると、飛行ロボット通信部２５から飛行ロボット３の飛行制御を行う。また、飛行ロボット制御モジュール２３３は、後述する画像処理モジュール２３４が出力する照合結果を受け、建物内カメラ７が撮影した侵入者と一致する人物を追跡するよう飛行ロボット３の飛行制御を行う。

ここで、図５を参照して飛行ロボット制御モジュール２３３を詳細に説明する。図５は、飛行ロボット制御モジュール２３３の機能ブロック図である。飛行ロボット制御モジュール２３３は、飛行ロボット３が到達するべき目標位置を決める目標位置設定手段イと、目標位置設定手段イが設定した目標位置に到達するための飛行経路を算出する飛行経路算出手段ロと、飛行経路算出手段ロが算出した飛行経路にて飛行するように飛行ロボット３へ飛行制御信号を生成して送信するロボ制御手段ハと、飛行ロボット３の監視空間マップ２４１上における現在の飛行位置を算出する飛行位置算出手段ニから構成されている。

目標位置設定手段イは、レーザセンサ解析モジュール２３１が算出した人物の監視空間マップ２４１上の位置において、その人物の位置から３ｍ以上離れ、かつ地上３ｍ程度の高度を目標位置とする。
なお、ここで人物の位置から３ｍ以上離れ、かつ地上３ｍ程度の高度との目標位置は、後述するように、飛行ロボット３が人物の顔を撮影する際の俯角を３０度以下としつつ、賊から飛行ロボット３が届かないようにするための位置である。飛行ロボット３が搭載するカメラの焦点距離によっては、更に遠い位置から人物の顔を撮影できるが、顔に加えて、服装情報や身長情報も取得するため全身が撮影できるように、焦点距離を考慮した目標位置を設定する。
また、目標位置設定手段イが、目標位置を設定するのは、レーザセンサ４により建屋Ｂから人物が出てきたと判定された後が好ましい。これは、建物内センサ５が侵入者を検出した直後は、その侵入者がまだ建屋Ｂ内部にいる段階と考えられ、その時偶然監視空間Ｅに居合わせた賊ではない人物を侵入者と間違えないようにするためである。

図４に戻って、画像処理モジュール２３４は、飛行ロボット通信部２５から受信した飛行ロボット３が撮影した画像および建物内カメラ７が撮影した画像を処理する。

画像処理モジュール２３４は、画像処理部として動作し、建物内カメラ７が撮影した建物内画像および飛行ロボット３が備えるカメラ３６が撮影した屋外画像に写っている人物の人物特徴を抽出して照合を行う。すなわち、両カメラからの画像をキャプチャし、キャプチャした画像について以下に述べる処理を行う。
まず建物内画像を対象とした処理について、図６に示す模式図を参照して述べる。
建物内センサ５が、侵入者の存在を検知すると、建物内カメラ７は、建物内センサ５の検知範囲を撮影し、建物内画像を取得する。図６（ａ）に取得された建物内画像６００の例を示す。建物内画像６００には、窓６０１を破壊して建屋Ｂの内部に侵入してきた侵入者６０２が捉えられている様子が模式的に示されている。

画像処理モジュール２３４は、建物内カメラ７から建物内画像６００を取得すると、種々の人物についての画像により学習した学習識別器を用いて人物領域を抽出する。例えば、ＨＯＧ特徴量やＨａａｒ−Ｌｉｋｅ特徴量と呼ばれる特徴量を用い、人物の有無についての学習データを用いて事前に構築した学習識別器により人物領域を抽出する。学習識別器による人物領域の抽出は、ＡｄａＢｏｏｓｔ識別器など、適宜公知のものを用いればよいので、詳細は省略する。図６（ａ）には、侵入者６０２についての人物領域６０３が抽出された様子を示している。

画像処理モジュール２３４は、抽出した人物領域６０３から、侵入者６０２を建屋Ｂの外にて特定するのに用いる情報を得るために、顔領域と胴体領域を抽出する。
顔領域については、図６（ｂ）に示すように、人物領域６０３に含まれる画像について、人の頭部らしい楕円形状の検出アルゴリズムを用いることで顔領域６０４を抽出できる。あるいは人物領域６０３を抽出するのと同様に顔領域抽出のための学習識別器を構築しておいて適用しても良い。
胴体領域については、人物領域６０３から顔領域６０４を除いた残りとすることで胴体領域６０５を抽出できる。
図６（ｃ）は、顔領域６０４に含まれる画像を切り出した顔画像６０６であり、図６（ｄ）は、胴体領域６０５に含まれる画像を切り出した胴体画像６０７である。

また、画像処理モジュール２３４は、顔画像６０６について、顔の部位の特徴的な部分を表す特徴点抽出処理を行う。特徴点を抽出するには、適宜公知の方法を用いれば良いが、顔画像６０６からエッジ情報を抽出して、顔の各部位のエッジ情報とのテンプレートマッチングによる行うことができる。図６（ｃ）には、両目の目尻、目頭、鼻尖点、左右口角点、口点の８個の特徴点６０８が設定されている様子が模式的に示されている。顔画像６０６に設定される特徴点は、３次元顔形状データ２４５に設定されている特徴点に対応する位置に設定され、その数は３次元顔形状データ２４５に設定されている特徴点の数と同じか多いことが望ましい。本実施の形態では、３次元顔形状データ２４５に設定されている特徴点の位置と数に等しいだけ抽出する。

画像処理モジュール２３４は、抽出した胴体画像６０７から侵入者６０２が着用する服装の情報を抽出する。画像処理モジュール２３４は、胴体画像６０７を、図６（ｄ）でいう上下方向に２分割し、上半身と下半身に対応する領域とする。そして、それぞれの領域に含まれる画素について輝度値の平均を求め、そのＲＧＢ値を用いて服の色を判定する。例えば、ＲＧＢ値がそれぞれ（２４５，１５，２０）の場合にはＲ成分の強度が他の成分に比較して強いため、侵入者６０２は赤色の服を着用していると判定する。同様にＲＧＢ値が（１０，５，１５）の場合には、各色成分とも低い値であるので、侵入者６０２は黒色の服を着用していると判定する。
さらに画像処理モジュール２３４は、上半身と下半身のそれぞれに対応する領域に含まれる画素の値を参照して、２次元画像に対する周波数解析を行い、服装に関してテクスチャ情報を抽出する。例えば、人物の身長方向に直線成分が多く含まれると判断されると「縦縞の服」、何れの方向にも直線成分が含まれないと判断されると「無地の服」とする。
周波数解析手法については、フーリエ変換やガボールウェーブレット変換など周知のものを適宜採用できる。

画像処理モジュール２３４は、侵入者６０２の身長を算出する。そのために画像処理モジュール２３４は、焦点距離や俯角等の建物内カメラ７に関する撮影パラメータを参照し、建物内画像６００における人物領域６０３の位置や大きさから、既知の方法に基づき、侵入者６０２の身長を算出する。具体的な方法は、撮影技術の分野で公知の幾何学的な計算に依ればよいので省略する。
侵入者６０２の上半身と下半身の服装情報、身長情報は、記憶部２４に一時記憶する。

画像処理モジュール２３４は、顔画像６０６と記憶部２４に記憶されている３次元顔形状データ２４５とを合成して、３次元顔モデルを作成し、顔画像の照合に用いる参照顔画像を生成する。その処理を、図７を参照して説明する。
図７（ａ）には、３次元顔形状データ２４５が模式的に示されている。３次元顔形状データ２４５には、図６（ｃ）に示した顔画像６０６と同様に、顔の特徴的な部分である、両目の目尻、目頭、鼻尖点、左右口角点、口点の８箇所にそれぞれ特徴点２４５１が設定されている。
そして画像処理モジュール２３４は、顔画像６０６と３次元顔形状データ２４５の特徴点を基準に、３次元顔形状データ２４５を回転拡大収縮させて位置合わせ処理を行い、最も良く位置合わせがされたと判断されると、３次元顔形状データ２４５に顔画像６０６を貼り付ける合成処理を行い、３次元顔モデルを得る。特徴点を基準とした２次元の顔画像と３次元の顔形状データとの位置合わせの方法は公知の方法を適宜採用すればよい。

そして画像処理モジュール２３４は、得られた３次元顔モデルを複数の角度の顔向きに調整して２次元平面に投影した参照顔画像を生成し、記憶部２４に一時記憶する。なお、合成前の顔画像６０６から抽出された特徴点６０８も同時に参照顔画像に投影されて設定される。
図７（ｂ）に参照顔画像７００が模式的に示されている。同図に示すように、参照顔画像７００は、顔画像６０６と３次元顔形状データ２４５とを合成した３次元顔モデルを様々な向きに向けたものであり、同図に向かって左右に正面から１０度、２０度回転させたものと、更にそれぞれを、顔を頷かせるよう下方向に１５度、３０度回転させたものである。
例えば同図において“Ａ７”と示されている参照顔画像は、３次元顔モデルを向かって左に１０度、下方向に１５度回転させて２次元化したものである。

これらの回転の角度の範囲と刻みの角度は例示であり、他の値に設定しても良いが、余りにも大きく回転させると顔の特徴が顔画像に含まれなくなるので、顔画像による照合ができない。また回転の角度の範囲は、目標位置設定手段イにおける、飛行ロボット３を人物に対してどれだけの高さでどれだけ離した位置を目標位置に設定するかの処理に影響するので、顔画像認証に耐えうる範囲を設計パラメータとして決める必要がある。本実施の形態では、左右方向に２０度まで、下方向に３０度までしており、それに応じて目標位置設定手段イによる目標位置を定めている。

参照顔画像７００を作成して顔画像の照合処理に用いるのは、飛行ロボット３は人物の周囲を飛行しつつその人物を撮影するため、建物内カメラ７にて取得された顔画像に写っている顔の向きと同じ顔の向きの顔画像が取得できることは必ずしも期待できないためである。そこで３次元顔形状データ２４５を用いて様々向きの参照顔画像７００を生成すれば、そのいずれかは、飛行ロボット３が取得した顔画像の顔の向きとおおよそ揃うと考えられるので、精度の良い照合が可能となる。

なお、参照顔画像７００は、顔を上に向ける方向のものも生成してもよいが、図１からわかるように、飛行ロボット３は、人物の上から見下ろすように撮影するため、飛行ロボット３が撮影した画像には、飛行ロボット３に対して顔を正面に向けるか下に向けた状態で写ると考えられる。そこで処理量と記憶容量の削減の観点から、図７（ｂ）のように顔を正面および下に向けた参照顔画像を生成することで十分対応できる。

画像処理モジュール２３４は、飛行ロボット３が撮影した屋外画像について、建物内カメラ７が撮影した建物内画像に対する処理と同様の処理により、顔画像の抽出、服装情報の抽出、身長情報の計算を行う。顔画像から特徴点を抽出することも同様である。
なお身長情報の計算にあたっては、カメラ３６の撮影パラメータとしての焦点距離と水平方向からの俯角に関する情報が必要になるが、飛行ロボット３は常に水平の状態にて撮影するものとすれば設計パラメータとして既知とできる。また、地面からの高さは飛行ロボ３が備える高度センサ３４の出力を参照すればよい。撮影対象となる人物との距離は測距センサ３５の出力を参照するか、レーザセンサ４の出力を参照して位置関係を把握すればよい。

画像処理モジュール２３４は、建物内カメラ７が撮影した建物内画像から抽出した顔画像、服装情報、身長情報と、飛行ロボット３が撮影した屋外画像から抽出した顔画像、服装情報、身長情報との照合を行う。
画像処理モジュール２３４は、顔画像の照合として、建物内画像から抽出した顔画像を用いて生成され、記憶部２４に一時記憶されている参照顔画像７００のそれぞれと、飛行ロボット３が撮影した屋外画像から抽出した顔画像との照合を行う。
すなわち参照顔画像７００上の各特徴点を中心とした小領域に含まれる画素から、エッジ情報や色情報などの特徴量を抽出して、飛行ロボット３が撮影した顔画像上の対応する特徴点について同じく特徴量を算出する。特徴点毎の特徴量の差の総和が閾値以下の場合に、顔画像による照合では、２枚の顔画像に写った人物は同一人物であるとする。
なお参照顔画像７００は図７（ｂ）に示すように複数枚あるが、いずれかの参照顔画像にて上記総和が閾値以下の場合、顔画像による照合では同一人物と判定する。顔画像の照合の方法は各種方法が周知であるので、何れの方法を用いてもよい。

画像処理モジュール２３４は、建物内画像から抽出した服装情報と、屋外画像から抽出した服装情報を比較し、服装情報による照合を行う。服装情報による照合は、上半身の服装の色とテクスチャ、下半身の服装の色とテクスチャの一致の可否による。例えば、上半身の服装の色、上半身の服装のテクスチャ、下半身の服装の色、下半身の服装のテクスチャを順に並べたものが、建物内画像については（黒、縦縞、黒、無地）であり、屋外画像については（黒、縦縞、黒、無地）である場合には、服装情報による照合では同一人物であると判定する。一方、例えば、建物内画像については（黒、縦縞、黒、無地）であり、屋外画像については（灰色、無地、紺、無地）である場合には、服装情報による照合では同一人物ではないと判定する。

画像処理モジュール２３４は、建物内画像から計算した身長情報と、屋外画像から計算した身長情報を比較し、身長情報による照合を行う。身長情報による照合は、両画像から計算された身長の値の差が所定の閾値以内であるか否かで判定する。例えばその差が５センチ以内である場合には、身長情報による照合では同一人物であると判定し、５センチを超える場合には同一人物ではないと判定する。

画像処理モジュール２３４は、顔画像、服装情報、身長情報それぞれの照合を行い、いずれもが一致する場合に、建物内画像に写っている人物と屋外画像に写っている人物は同一人物であると判定し、いずれかが異なっている場合には同一人物ではないと判定する。そしてその判定結果を飛行ロボット制御モジュール２３３に出力する。

図３に戻って、レーザセンサ４は、屋外に設置されて、物体センサとして監視領域Ｅの駐車場や建屋Ｂの周囲への進入を監視している。図８は、レーザセンサ４の検知エリアを示した図である。同図に示すように、レーザセンサ４−１が監視領域Ｅの左上から建屋Ｂ方向を検知エリアとして設置され、レーザセンサ４−２が監視領域Ｅの右下から建屋Ｂ方向の裏手を検知エリアとするように設置されている。

レーザセンサ４は、予め設定された検知エリアを走査するように、放射状にレーザー光である探査信号を送信し、検知エリア内の物体に反射して戻ってきた探査信号を受信する。そして、送信と受信の時間差から物体までの距離を算出し、その探査信号を送信した方向と算出した距離を求める。

そしてレーザセンサ４は、所定周期で検知エリアを走査した走査単位の結果を警備装置２に送信する。これにより、警備装置２のレーザセンサ解析モジュール２３１にて、監視領域Ｅにおける屋外での物体配置状況や人物の有無や追跡などが可能となる。本実施の形態では、地上に存在する人物の進入監視を目的としているため、水平方向に１段での走査としているが、監視目的によっては、鉛直方向にも複数段の走査をするようにしてもよい。

次に、このように構成された監視システム１の動作イメージについて、図１を参照して説明する。図１（ａ）は、警備セットモード中に、侵入者が建屋Ｂに侵入したときの様子を示している。
侵入者が窓ガラスを破壊するなどして建屋Ｂに侵入すると、窓ガラスの破壊や、人の侵入行為をセンサが検出して警備装置２に通知する。図１（ａ）では、建物内センサ５ｆが、侵入者が窓ガラスを破壊したことを検知し、受動型赤外線人体検知センサなどから構成される建物内センサ５ｄが侵入者を検知しており、建物内センサ５ｄの検知範囲と概略同じまたはその検知範囲を含む範囲を撮影可能に設定された建物内カメラ７ａが侵入者を撮影した様子を示している。
また飛行ロボット３は、建物内センサ５ｆや建物内センサ５ｄが反応したことに呼応して、侵入者を撮影する準備のため、飛行を開始している。

図１（ｂ）は、建屋Ｂから侵入者らしき人物が出てきたときの状況を示している。このような、侵入者の可能性がある人物を本実施の形態では、候補侵入者と呼ぶことにする。まず、候補侵入者が建屋Ｂから出てくると、レーザセンサ４の信号に基づき、警備制御装置２３のレーザセンサ解析モジュール２３１は、監視空間内における候補侵入者の位置を求める。そして、警備装置２は、飛行ロボット３の制御を行い、候補侵入者の顔を可能な限り俯角が小さい状態で撮影できる位置に飛行させて、候補侵入者の顔を含む全身を撮影している。
本発明にかかる撮影システムを適用した監視システム１は、図１（ｂ）の候補侵入者が、図１（ａ）の侵入者と一致するか否かを判定する。

次に、侵入者が建屋Ｂに侵入した後、画像処理モジュール２３４にて、照合に用いられる特徴が算出される手順を図９のフロー図を用いて説明する。
まず監視領域Ｅおよび建屋Ｂが警備セット状態にて、侵入者が窓ガラスを破壊し建屋Ｂに侵入すると窓ガラスに設置された建物内センサ５が反応し、異常状態であるとして、警備装置２にその旨を示す信号を送信する。そして、それに応じて建物内センサ５が設置されている部屋に設置された建物内カメラ７が侵入者を含む建物内画像を取得し、警備装置２に送信する（Ｓ９１）。

画像処理モジュール２３４は、建物内カメラ７から送信されてきた建物内画像から人物領域を抽出する（Ｓ９２、図６（ａ）参照）。
画像処理モジュール２３４は、ステップＳ９２で抽出した人物領域と、建物内カメラ７の撮影パラメータなどを用いて侵入者の身長を計算する（Ｓ９３）。
画像処理モジュール２３４は、ステップＳ９３で抽出した人物領域から顔領域と胴体領域を抽出する（Ｓ９４、図６（ｂ）参照）。
画像処理モジュール２３４は、ステップＳ９３で抽出した顔領域に含まれる顔画像と、記憶部２４に記憶された３次元顔形状データ２４５をと合成して、３次元顔モデルを生成する（Ｓ９５）。
画像処理モジュール２３４は、ステップＳ９５にて生成した３次元顔モデルを様々な方向に調整して２次元平面に投影した参照顔画像７００を生成し（Ｓ９６、図７（ｂ）参照）、記憶部２４に一時記憶する（Ｓ９８）。

また画像処理モジュール２３４は、ステップＳ９４にて抽出した胴体領域に含まれる胴体画像から、上半身の服装情報、下半身の服装情報を抽出し（Ｓ９７）、記憶部２４に一時記憶する（Ｓ９８）。

次に、警備装置２による飛行ロボット３の制御のための処理について、図１０を参照して説明する。図１０は、監視領域Ｅが警備セット状態において、建物内センサ５が侵入者を検知した後における警備装置２の処理フローである。
まず、建物内センサ５により侵入者が検知されると、目標位置設定手段イは、レーザセンサ解析モジュール２３１が解析した、建屋Ｂの外に存在する人物を侵入者の可能性のある候補侵入者とし、その候補侵入者の現在位置を特定する（Ｓ１０１）。
そして、その候補侵入者の現在位置から３ｍ以上離れ、かつ地上３ｍ程度の高度を目標位置とする（Ｓ１０２）。

そして、飛行経路算出手段ロは、ステップＳ１０１にて設定された目標位置、飛行ロボット３の現在位置、監視空間マップ２４１を用いて既定の経路探索アルゴリズムにより、飛行経路を計算する。既定の経路探索アルゴリズムは、現在位置と目標位置を設定すれば、監視空間マップ２４１の配置状況および飛行ロボット３の大きさ等を考慮して、安全にかつ最短で到着できる経路を算出する（Ｓ１０３）。
なお、飛行ロボット３は、起動信号を受信するまでは、所定の待機位置に所在しているので、その位置が現在位置となっている。その他のときは、飛行位置算出手段ニが、飛行ロボット３のスキャン手段３８３が取得したスキャンデータを受信し、このスキャンデータが監視空間マップ２４１に合致する場所を算出することにより、飛行ロボット３の現在位置を算出する。なお、本実施の形態では、スキャンデータに基づいて現在位置を算出しているが、これに限らず飛行ロボット３にＧＰＳ信号の受信機能を設けて、ＧＰＳ信号に基づいて現在位置を算出してもよい。

次に、ロボ制御手段ハは、飛行ロボット３が飛行経路算出手段ロの算出した経路を飛行できるように、飛行ロボット３の飛行制御信号を算出する。具体的な飛行制御信号は、飛行ロボット３にある４つのロータ３２のそれぞれの回転数である。そして、飛行ロボット通信部２５から無線信号にて飛行制御信号を送信する（Ｓ１０４）。

飛行ロボット３は、アンテナ３１から飛行制御信号を受信すると、受信した飛行制御信号に基づいて飛行する。具体的には、アンテナ３１から受信した飛行制御信号を飛行制御手段３８４に入力され、ロータ駆動部３３から各ロータ３２の回転数を個別に制御して飛行する。

飛行ロボット制御モジュール２３３は、目標位置設定手段イがステップＳ１０２にて設定した目標位置と、飛行位置算出手段ニが算出した飛行ロボット３の現在位置を比較し、目標位置に飛行ロボットが到着したか否かを判定する（Ｓ１０５）。目標位置に到着していないと判断される場合にはステップＳ９４に戻り飛行制御を続行する。目標位置に到着したと判定されると（Ｓ１０５のＹｅｓの分岐）、飛行ロボット３は、監視領域Ｅに存在する候補侵入者を撮影し、取得した屋外画像を記憶部２に一時記憶し、照合処理を行う（Ｓ１０６）。ステップＳ１０６の処理の詳細は図１１を用いて後述する。
なお、監視領域Ｅに、候補侵入者が複数人存在する場合には、それぞれの候補侵入者についてステップＳ１０１から処理を繰り返す。

ここで、図１０に示すフローに記載しなかったが、飛行ロボット３が最初に飛行制御信号を受信すると、スキャン手段３８３が測距センサ３５、高度センサ３４を起動し、警備装置２にスキャンデータの送信を開始する。

次に、図１０におけるＳ１０６の処理を図１１のフロー図を用いて説明する。
まず、飛行ロボット３に搭載されたカメラ３６が候補侵入者を含む屋外画像を取得し、警備装置２に送信する（Ｓ１１１）。

画像処理モジュール２３４は、飛行ロボット３から送信されてきた屋外画像から人物領域を抽出する（Ｓ１１２）。これは図９におけるステップＳ９２と同様である。
画像処理モジュール２３４は、ステップＳ１１１で抽出した人物領域と、飛行ロボット３に搭載されたカメラ３６の撮影パラメータや、現在の飛行ロボット３の位置などを用いて候補侵入者の身長を計算し、記憶部２４に一時記憶されている、建物内画像に写っている侵入者の身長と照合する（Ｓ１１３）。その身長の差が所定の閾値（例えば５センチ）以内の場合には、身長情報による照合では同一人物と判定する。
画像処理モジュール２３４は、ステップＳ１１２で抽出した人物領域から顔領域と胴体領域を抽出する（Ｓ１１４）。これは図９におけるステップＳ９４と同様である。

画像処理モジュール２３４は、ステップＳ１１４にて抽出した顔領域に含まれる顔画像と、記憶部２４に一時記憶されている参照顔画像７００のそれぞれと照合し、いずれかの参照顔画像と一致する場合に、顔画像による照合では同一人物が写っていると判定する（Ｓ１１５）。
画像処理モジュール２３４は、ステップＳ１１４にて抽出した胴体領域に含まれる胴体画像から服装情報を抽出し、記憶部２４に一時記憶されている服装情報と照合する（Ｓ１１６）。服装情報が一致する場合には、服装情報による照合では同一人物と判定する。

画像処理モジュール２３４は、顔画像による照合、身長情報による照合、服装情報による照合の何れにおいても同一人物と判定された場合には、建物内画像に写った人物と屋外画像に写った人物は同一人物であると判定する。すなわち建屋Ｂに侵入した侵入者を建屋Ｂの外にて撮影できたと判定し（Ｓ１１７のＹｅｓ）、警備制御部２３は、その旨および顔画像、身長情報、服装情報を、監視センタ通信部２６を経由して監視センタ６に送信する（Ｓ１１８）。顔画像による照合、身長情報による照合、服装情報による照合のすべてにおいて同一人物と判定されることを条件にせずとも、顔画像による照合は必須として、他の２つのいずれかの照合において同一人物と判定されることを条件にしてもよい。

一方、ステップＳ１１７で同一人物ではないと判定される場合には（Ｎｏの分岐）、処理をステップＳ１１１に戻し、同じ候補侵入者について画像の撮影と照合の処理を繰り返す。既定の回数照合を行っても、同一人物との結果が得られない場合には、飛行ロボット３にて撮影されている候補侵入者は、建屋Ｂに侵入した侵入者ではないと判定する。そして証跡性確保のため、撮影した屋外画像を監視センタに送信する。さらには監視領域Ｅ内に他の人物がいる場合には、その人物の位置を目標位置に再設定した上で、飛行ロボット３はその人物付近まで飛行し、ステップＳ１１１以降の処理を行う。監視領域Ｅ内に存在する候補侵入者の全てについて、侵入者ではないと判定された場合には、再度既に判定済みの候補侵入者についてステップＳ１１１以降の処理を行うものとする。これらの処理は、何れかの候補侵入者が侵入者であると判定されるか、警備モード切替部２１により警備解除を示す信号が警備制御部２３に入力されるまで繰り返される。

なお、建屋Ｂの外にいる候補侵入者は静止しているとは限らないため、候補侵入者の移動に伴い飛行ロボット３を追跡させる必要がある。そこで、レーザセンサ解析モジュール２３１が、候補侵入者の移動を検出した場合には、図１０のステップＳ１０１以降の処理を繰り返す。
すなわち、目標位置設定手段イは、レーザセンサ解析モジュール２３１が出力した候補侵入者の移動後の位置と監視空間マップ２４１とを参照して、候補侵入者の移動後の位置を基準とした目標位置を再設定する。そして飛行ロボット制御モジュール２３３は、ステップＳ１０３とＳ１０４における処理と同様の処理により、飛行ロボット３を再設定された目標位置に移動させることで、候補侵入者を追跡する。再設定された目標位置に飛行ロボット３が移動したことが確認されたら、ステップＳ１０６と図１１に示した処理と同様の処理で候補侵入者の撮影と照合を行う。候補侵入者が移動し続けている場合には、適当な時間間隔や距離間隔ごとに候補侵入者の撮影と照合を行うこととしてもよい。
また、画像処理モジュール２３４における照合処理により、候補侵入者のいずれかが建屋Ｂに侵入した侵入者であるとの確認が取れた場合には、その候補侵入者に絞って上述の追跡処理を行うことで、その候補侵入者が監視領域Ｅの外に出たときの様子から逃走経路が判明し、その後の捜査情報に役立てることができる。

本実施の形態では、飛行ロボット３が動作を開始するのは、建物内センサ５が侵入者を検出して異常状態であるとの信号が警備制御装置２３に入力されてからであるとして説明したが、レーザセンサ４が侵入者を検出して異常状態であると信号が警備制御装置２３に入力してから飛行ロボット３が動作を開始するものとしてもよい。
この場合、建物内カメラ７が建物内画像を取得するよりも先に飛行ロボット３が屋外画像を取得して、候補侵入者の人物特徴を取得しておき、監視領域Ｅにおける位置をレーザセンサ４にて把握し続ける。そして、侵入者が建屋Ｂから出てきた後、監視領域Ｅに存在する候補侵入者のうち、建屋Ｂに侵入した人物を直ちに判断できるので、素早く追跡が可能となる。

また、本実施の形態では、画像処理モジュールにおける３次元顔モデルの生成にあたり、顔画像を１枚使う例を示したが、顔画像が１枚のみでは顔の向きにより顔の特徴的な部分が映らず、３次元顔モデルにおいて、情報が欠落する可能性がある。
そこで画像処理モジュールは、建物内カメラが撮影した複数の建物内画像からそれぞれ顔画像を抽出して、次々と３次元顔形状データに合成していくのが好適である。その際、合成に用いる顔画像の数に上限を設ける場合、顔画像の大きさの大きいものを優先的に選択する、顔の正面に向いているものを優先的に選択する、逆に顔の向きが均等に異なるよう選択するなどの条件を課すことが好適である。
さらには合成の際、顔画像どうしの明るさに差が大きい場合、合成の境界において、本来、顔にはない特徴が表れ、照合に悪影響を与えることも考えられるので、明るさの差が少ない顔画像の組合せを考えたり、合成の境界付近で輝度の変化がなだらかになるよう補正処理をするのが好適である。

さらには、建物内カメラが、建物内画像を複数枚取得するに辺り、建物内センサとしてＰＩＲ（受動型赤外線人体検知器）タイプのセンサを備える場合には、そのセンサが侵入者を検知し続けている間は建物内画像を取得し続けておき、上記のような処理に好適なものを選択することができる。

また、飛行ロボットは人物との距離一定に保ちつつ、その人物を複数回撮影をして、その中から照合に適した顔画像を選択することのほかに、飛行ロボットに音声出力手段（スピーカー）を備えるものとし、警告音声を通知したときに取得した顔画像を優先的に照合に使うのも好適である。人間の心理として、警告音声を聞くとその方向に無意識のうちに顔を向けることが多いと考えられるからである。

また、本実施の形態では、建物内カメラはカラー画像を取得できるタイプを用いるものとし、建屋Ｂ内が暗いときは照明装置を併用するのが好適であるとした。この照明光は建物内カメラにて服装についての色情報を取得するため、可視光照明が前提になる。ここで、照明装置として、侵入者に悟られないよう、あるいは近隣住民への影響を配慮して近赤外照明を用いる場合には、監視カメラとして一般的なモノクロタイプのものを用いることになる。その場合は、服装情報として色情報を用いる代わりに、明るさ情報を用いることになる。

１・・・監視システム
２・・・警備装置（制御部）
３・・・飛行ロボット
４・・・レーザセンサ（物体センサ）
５・・・建物内センサ

Claims (3)

1. 建物内への侵入者を検出する建物内センサと、
   前記建物内を撮影する建物内カメラと、
   前記建物の外部を飛行しつつ撮影する飛行ロボットと、
   前記建物内カメラまたは前記飛行ロボットが撮影した画像を処理する画像処理部と、前記飛行ロボットの飛行を制御する飛行ロボット制御部を有する制御装置を備え、
   前記画像処理部は、前記建物内センサが侵入者を検出した後、前記建物内カメラが撮影した建物内画像から抽出した人物領域と前記飛行ロボットが撮影した屋外画像から抽出した人物領域が同一人物のものか否かを照合し、照合結果を飛行ロボット制御部に出力し、
   前記飛行ロボット制御部は、前記画像処理部が同一人物と判定すると、前記屋外画像から抽出した人物領域に対応した人物を追跡するように前記飛行ロボットを制御することを特徴とした撮影システム。
   
2. 前記建物の外部領域に存在する物***置を出力する物体センサを設置し、
   前記制御装置は、前記物体センサの出力に基づき人物位置を算出する物***置算出部を更に有し、
   前記飛行ロボット制御部は、前記物***置算出部にて算出された人物を撮影するように前記飛行ロボットを制御する請求項１に記載の撮影システム。
   
3. 前記画像処理部は、前記人物領域から顔画像、服装情報、身長情報のうちの少なくとも
   １つを人物特徴として抽出して照合する請求項１または請求項２に記載の撮影システム。

Images