以下、本発明の実施の形態(以下実施形態という)について、図面に基づいて説明する。
図1は実施形態に係る監視システム1の概略の構成を示す模式図である。監視システム1は物体検出センサ2、ロボポート3、飛行ロボット4、飛行制御装置5及び監視センタ6を含んで構成される。
物体検出センサ2は監視区域E内で発生した異常(例えば監視区域E内へ侵入してきた不審な車両Mなど)を検知すると飛行制御装置5に通報する。物体検出センサ2の詳細については後述する。飛行制御装置5は、物体検出センサ2から異常検知の通報があると、ロボポート3を介して飛行ロボット4に飛行指示を与えると共に、監視センタ6に異常信号を出力する。飛行制御装置5についても詳細を後に述べる。
ロボポート3は飛行ロボット4の待機場所であり、飛行制御装置5からの指示を受け、飛行ロボット4の離陸や着陸を行うための設備を備える。また、飛行ロボット4が着陸するときに飛行ロボット4をポート内に収容する機構を備え、飛行ロボット4をポート内に収容したときに、飛行ロボット4に対して接触又は非接触にて給電を行う機能を有する。 飛行ロボット4は、飛行制御装置5から飛行指示を受けていない場合、ロボポート3に待機しており、一方、飛行指示を受けると、それに従って監視区域Eの異常発生箇所へ向かって飛行し、当該異常発生箇所の周辺に設定された目的箇所(例えば不審な車両M等の検出目的物体を含む周辺領域)を撮影する。例えば、飛行ロボット4は予め記憶した監視区域E内の3次元の地理情報に基づいて障害物を回避しながら目標位置に向かって自律的に飛行し、目標位置近辺に障害物が無いと判断したときに撮影等を行うために下降する。飛行ロボット4の詳細な構成については後述する。
監視センタ6は、警備会社などが運営するセンタ装置を備えた施設である。センタ装置は、通常、1又は複数のコンピュータで構成されている。センタ装置により各種機器を制御し、飛行制御装置5から受信した異常信号を記録するとともに、異常の情報をモニタに表示し、監視員が複数の監視区域Eを監視している。例えば、センタ装置は、飛行ロボット4から飛行制御装置5を介して送信される撮影画像をモニタに表示し、監視員が当該画像にて監視区域Eの監視を行う。また、監視センタ6は、監視員の判断、操作に基づき、飛行制御装置5に対して、監視区域Eの任意の場所に飛行ロボット4を向かわせる飛行指示(飛行ルート指示、目標位置や速度の指示、離陸指示、帰還指示、上昇指示など)を行うこともできる。
次に物体検出センサ2についてさらに説明する。物体検出センサ2は屋外に設定される警戒領域Sに対応して設置され、例えば、建物の屋外壁面に設置される。なお、警戒領域Sは物体検出センサ2が物体検出を行う対象領域である。警戒領域Sは監視区域Eに複数設定され得、その場合、警戒領域Sごとに物体検出センサ2が設置される。物体検出センサ2は予め設定された警戒領域S内にレーザ光などの探査信号を照射しながら所定の測定周期で空間走査を行い、光路上にある物体からの反射光を受光することで、警戒領域S内に存在する物体の位置を検出する。
図2は物体検出センサ2の概略の構成を示すブロック図である。物体検出センサ2は、通信部21、検知部22、記憶部23及び制御部24を有する。
通信部21は飛行制御装置5と通信を行う。具体的には、通信部21は飛行制御装置5に有線又は無線で接続され、飛行制御装置5から出力される警備開始信号及び警備解除信号を受信して制御部24に当該信号を出力する。また、通信部21は、制御部24にて警戒領域Sにおける検出目的物体の存在が判定されると異常検知の通報として、自己のアドレス情報を含む検出信号を飛行制御装置5に送信する。
検知部22(測定部)は基本的に警戒領域Sを周期的に走査して、警戒領域Sに現れた物体についての検出点の位置を測定するレーザ距離計であり、レーザ発振部221、走査鏡222、走査制御部223、反射光検出部224及び測距データ生成部225を有し、警戒領域Sを走査しつつレーザ光の照射及び受光による測距動作を行う。具体的には検知部22は、物体検出センサ2を中心として警戒領域Sを臨む水平方向の角度範囲に対して所定周期(例えば60ミリ秒)で走査を繰り返す。検知部22による測距は、走査角度範囲内にて所定の角度ステップ(例えば0.25゜)ごとに飛行時間法(TOF法:Time of Flight)を用いて行われ、具体的にはレーザパルスの出射から受光までに要する時間を計測し、当該時間と光速度とからレーザを反射した物体までの距離が算定される。検知部22による測距データは走査角(方位)と距離とで表され、物体検出センサ2を視点とした物体上の検出点の位置が当該測距データで与えられる。
レーザ発振部221は例えば波長890ナノメートル程度の近赤外光のレーザ光源であり、走査制御部223からの出射タイミング信号を受けて、レーザ光を走査鏡222に照射する。
走査鏡222はレーザ光を反射する可動鏡であり、走査制御部223は検知部22の走査方向に応じて走査鏡222の向きを制御する走査角制御を行う。この走査角制御は、レーザ発振部221に対する出射タイミング制御と同期して行われる。順次設定される各走査方向にて、走査鏡222はレーザ発振部221からのレーザ光を反射し当該走査方向へ出射すると共に、当該走査方向に存在する物体からのレーザ反射光を反射して反射光検出部224に入射させる。
例えば、走査鏡222は所定の軸を中心として回転可能であり、走査制御部223は走査鏡222を等速に回転駆動させる。これにより、検知部22は1次元的な走査を行い、レーザパルスを警戒領域Sの全域に順次照射する。なお、扇形の警戒領域Sを走査する場合、走査は走査角度範囲の一方端から他方端への一方向の走査を繰り返すものとすることもできるし、両端間での往復の走査を繰り返すものとすることもできる。
ここで、検知部22によるレーザビームの1次元走査におけるレーザ光の軌跡群を含む平面を走査平面と呼ぶことにすると、物体検出センサ2は、走査平面が水平面、又は俯角を以て遠距離となるほど地面に近づくような平面となるように設置される。また、物体検出センサ2は警戒領域Sの任意の位置に存在する検出目的物体にレーザ光が照射されるように設置される。具体的には、警戒領域Sの任意の位置にて走査平面が検出対象物体と交差し得るように、物体検出センサ2の設置高さが定められる。
反射光検出部224は受光素子を備え、レーザ発振部221の近傍に配置され、レーザ発振部221が発したレーザパルスに対する反射光を走査鏡222から入射し、受光素子で検知する。
測距データ生成部225は検知部22による警戒領域Sの走査結果に基づいて測距データを生成し制御部24へ出力する。測距データは上述のように、検出点の位置を表すデータであり、走査角と距離との組で表される。測距データ生成部225は走査制御部223から走査角を表すデータを取得する。また、測距データ生成部225は走査制御部223からレーザパルスの出射タイミングを取得し、反射光検出部224から反射光の受信タイミングを取得し、TOF法により検出点までの距離を算出する。なお、所定時間内に反射光が返ってこない場合には、レーザ光の照射可能な距離内に物体がないと考えることができ、測距データ生成部225は、距離として、所定の擬似データ(例えば、警戒領域Sの外周までの距離値、レーザ光による有効測定距離以上の適当な値等)を設定する。
記憶部23はHDD(Hard Disk Drive)、ROM(Read Only Memory)、RAM(Random Access Memory)などで構成される記憶装置であり、物体検出センサ2を動作させるためのプログラムや各種設定情報などを記憶する。例えば、記憶部23には、警戒領域情報231、基準データ232、トラッキング情報233が記憶される。
警戒領域情報231は、例えば物体検出センサ2にて監視すべき範囲として警備会社などによる監視区域Eの警備プランニングに応じ設定される警戒領域Sを示す情報である。
基準データ232は、基本的に警戒領域Sに移動物体が存在しない状態(基準時)での測距データである。基準データ232として、例えば、監視システム1の起動時に警戒領域Sを走査して取得された測距データを用いることができる。基準データ232は、背景差分処理に用いられる背景データに相当し、現在の測距データとの比較により、警戒領域Sに出現した物体を抽出するために用いられる比較基準情報である。基準データ232は例えば、角度(方向)に距離を対応付けたテーブルの形式で記憶することができる。
トラッキング情報233は、警戒領域Sに新規に出現した物体を複数周期に渡り追跡するトラッキング処理に用いられる情報である。トラッキング情報233には、物体ごとに各走査周期における位置及び大きさが対応付けられて記憶される。また、トラッキング情報233には、当該物体の識別情報(車両、人物等)を記憶することができ、特に、検出目的物体であるか否かを示す情報を記憶することができる。また、警戒領域Sには複数の物体が出現し得るため、物体同士を区別する識別子(物体ID)を付すことが行われる。この場合には、トラッキング情報233には物体IDが対応付けられて記憶される。
また、物体検出センサ2が複数設置される場合には、記憶部23には、監視システム1の動作開始に先立って、物体検出センサ2自身を特定するためのアドレス情報が格納される。
制御部24は、駆動制御部241、基準データ生成部242、監視制御部243を含んで構成される。具体的には、制御部24はCPU(Central Processing Unit)、ROM、RAM等からなるマイクロコンピュータ及びその周辺回路で構成され、マイクロコンピュータが記憶部23からプログラムを読み出して実行することで駆動制御部241、基準データ生成部242、監視制御部243として機能する。
駆動制御部241は、通信部21を介して飛行制御装置5から警備開始信号が入力されると検知部22に駆動信号を出力し、検知部22の駆動を開始させる。これにより、走査制御部223による走査鏡222の駆動や、レーザ発振部221によるレーザ光の照射などが開始される。一方、駆動制御部241は、飛行制御装置5から警備解除信号が入力されると検知部22に駆動停止信号を出力し、その時点の走査終了を以て検知部22の駆動を停止させる。これにより、走査鏡222の駆動やレーザ光の照射などが停止される。
基準データ生成部242は、検知部22によって取得される測距データを用いて、記憶部23に格納される基準データ232を生成する。上述したように基準データ232は警戒領域Sに移動物体が存在しない状態(基準時)での測距データである。例えば、制御部24が飛行制御装置5から警備開始信号を入力されると、基準データ生成部242は初回の走査で出力された測距データを基準データ232として記憶部23に記憶する。また、警備開始に先立って、別途、利用者等が物体検出センサ2に基準データ取得動作を行わせてもよい。利用者等は、警戒領域Sに移動物体が存在しないことを確認して当該基準データ取得動作を実行することができる。基準データ生成部242により例えば、警戒領域Sに当初から存在する植栽や外壁などの既設物が基準データ232として取り込まれる。
監視制御部243は、警戒領域Sに現れた物体についての検出点群をグループ化して、位置が近接したものからなるクラスタを生成し、当該クラスタのうち、予め与えられた条件を満たすものを検出目的物体に対応する監視対象として検出する監視対象検出部としての機能を有する。
具体的には、監視制御部243は、現在の測距データと基準データとを比較して警戒領域Sに出現した物体の検出点を抽出する。すなわち、現在の測距データから得られる走査角度ごとの距離値と、基準データに記憶された角度ごとの距離値との差分を対応する角度ごとに算出して、距離値が変化した角度における現在の測距データの検出点を、背景の物体ではなく警戒領域Sに現れた物体の検出点(前景検出点と呼ぶことにする)と判断する。監視制御部243は前景検出点群のうち、角度が隣接し、かつ距離値の差が閾値以下であるものは同じ物体表面の点であるとして共通のクラスタに分類する。
監視制御部243は、前景検出点のクラスタが、検出目的物体から得られるクラスタが備えるべき特徴を有するかを判定し、当該特徴を有する場合、当該前景検出点のクラスタを監視対象とする。例えば、監視制御部243は、クラスタから算出される特徴量に基づいて当該判定を行う。後述するように、監視システム1は検出目的物体のうち特定の種類のもの(特定対象)について運動状態を判定し、当該状態に応じて飛行ロボット4の撮影動作を制御する。本実施形態では、特定対象とする検出目的物体は車両とする。車両に対応するクラスタは、走査平面上にて略直線形状、又は略L字形状に並び、当該形状の直線部は数メートルの長さを有し得る。そこで、クラスタを構成する検出点群の並びのうち、線分として近似できる部分を検出し、近似線分の長さを車両についての上述の特徴量とすることができる。また、検出目的物体のうち車両以外のもの(例えば、人物)についてもクラスタから把握される物体の大きさや形状の特徴に基づいて監視対象を検出することができる。あるいは、上記特徴の他に、クラスタから把握される速度、測距データの反射強度などを車両を判定する特徴としてもよい。
また、監視制御部243は、監視対象の代表位置を算出する代表位置算出部としての機能、及び、過去の監視対象と現在の監視対象との間で同じ検出目的物体に対応するものを判定する同一物体判定部としての機能を有する。
例えば、代表位置としてクラスタの重心位置を用いることができる。過去の監視対象と現在の監視対象とを対応付けるトラッキング処理は、代表位置の距離や、監視対象の特徴の類似に基づいて行うことができる。例えば、特定対象である車両については、前回の周期におけるクラスタと現在の周期におけるクラスタとで代表位置間の距離が閾値以内であり、かつ上述の近似線分の長さで表される物体の大きさの変動が閾値以内である場合に、当該両クラスタは同一物体、つまり同一の車両に対応すると判定される。なお、トラッキング処理の結果はトラッキング情報233に記録される。また、重心位置の算出については、後述する図7(a)のようにクラスタが略L字型をなす場合には、当該L字の2つの端点及び1つの屈曲点の3点を頂点とする三角形の重心位置を算出しても良いし、当該L字を2辺とする矩形又は平行四辺形の重心位置(図7(a)に示す点P0)を算出するようにしても良い。また、図7(b)のようにクラスタの概略形状が線分である場合には、当該線分の中点(図7(b)に示す点P1)を重心位置として算出することができる。なお、重心位置の算出方法はこれに限るものでないし、代表位置として重心位置以外を用いることも可能である。
さらに監視制御部243は、検出目的物体についての代表位置の変化に基づいて当該検出目的物体の状態判定を行う状態判定部としての機能を有する。例えば、監視制御部243は、検出目的物体である特定対象の運動状態に関して状態判定を行う。具体的には、監視制御部243は車両が移動中であるか停止しているかを判定する。状態判定結果はトラッキング情報233に記憶される。なお、状態判定については、移動中か停止しているかのみでなく、検出目的物体の移動方向や速度、加速度などを判定してもよい。いずれにおいても、所定期間における代表位置の変化から判定を行うことが可能である。
ここで、状態判定部は、検出目的物体について現在の監視対象の大きさが過去の監視対象に対し所定基準以上変化した場合には、当該検出目的物体について代表位置に基づく状態判定を行わず、直前の状態判定結果を現在の状態判定結果として維持する(変化時保留動作)。
また、状態判定部は、状態判定保留動作を開始すると、その後、代表位置が所定回数更新されるまで直前の状態判定結果を現在の状態判定結果として維持し、しかる後、大きさ変化後に更新された代表位置に基づいて状態判定を行う(保留解除動作)。
さらに、状態判定部は、検出目的物体が他の物体に隠れている部分を有すると推定される場合に、代表位置に基づく状態判定を行わず、直前の状態判定結果を現在の状態判定結果として維持する(隠蔽時保留動作)。
次に飛行ロボット4について説明する。図3は飛行ロボット4の概略の構成を示すブロック図である。飛行ロボット4は、ロータ41、ロータ駆動部42、アンテナ43、高度センサ44、撮影部45、記憶部46、電源47、ロボ制御部48を含んで構成される。
ロータ41は回転翼であり、複数(例えば4つ)設けられ、ロータ駆動部42により駆動され回転する。ロータ駆動部42はロボ制御部48に制御に基づいてロータ41を回転駆動する。ロータ41の回転による揚力で飛行ロボット4は飛行し、ロータ41の回転を制御することで飛行ロボット4を上昇、下降、並進、方向転換などさせることができる。
アンテナ43は小電力無線、Wi−Fiなどにより飛行制御装置5との間で行う無線通信に用いられる。
高度センサ44は飛行ロボット4の現在高度を計測するセンサであり、ロボ制御部48の制御に従い動作する。例えば、高度センサ44は気圧センサや、飛行ロボット4の機体から鉛直下方にレーザ光を発するレーザ距離計などで構成される。
撮影部45は例えば撮像素子を用いたカメラで構成され、飛行ロボット4の周囲(例えば前方や下方など)を撮影する。
記憶部46は、飛行制御装置5から転送された検知物体情報、障害物情報を一時記憶する。また、飛行ロボット4の飛行中に撮影部45が撮影した画像を逐次記憶する。
電源47は例えばリチウムポリマー電池などの充電式電池などで構成され、飛行ロボット4の各部に必要な電力を供給する。
ロボ制御部48は、撮影制御手段48a、ロータ制御手段48b、姿勢制御手段48cを含む。
撮影制御手段48aは、飛行制御装置5からの指示に基づいて撮影部45の撮影開始や終了、撮影部45の撮影角度の制御、撮影部45が撮影した画像を飛行制御装置5へライブ送信するなどの処理を行う。
ロータ制御手段48bはロータ駆動部42を介してロータ41の動作を制御する。例えば、ロータ制御手段48bは、飛行制御装置5から受信して記憶部46に一時記憶した障害物情報に応じて障害物を回避しつつ、飛行ロボット4を検出目的物体へ向けて飛行させたり、飛行ロボット4の高度や速度を飛行制御装置5から指示された目標値になるように制御したりする。
姿勢制御手段48cは飛行ロボット4の飛行状態(向き、姿勢、加速度など)、現在位置、現在高度に基づいて飛行ロボット4の飛行中の姿勢を制御する。
次に飛行制御装置5について説明する。飛行制御装置5は飛行ロボット4の動作を制御する装置であり、監視区域E内の所定箇所や監視区域Eの近傍に設置される。飛行制御装置5は例えば、LAN(Local Area Network )などを介して物体検出センサ2と接続され、物体検出センサ2の検出信号などに基づき監視区域Eの異常を確定し監視センタ6に異常信号を出力すると共に、飛行ロボット4に飛行指示を与える信号や検知物体情報、障害物情報を送信する。
図4は飛行制御装置5の概略の構成を示すブロック図である。飛行制御装置5は通信部51、記憶部52、制御部53を備える。
通信部51は飛行ロボット4との間で例えば小電力無線やWi−Fi通信などにより無線通信を行う。例えば、通信部51は、飛行ロボット4から飛行状態情報としての位置(緯度、経度、高度)、速度等の情報を受信して制御部53に渡し、この受信した情報に応じて制御部53が出力する各種制御信号を飛行ロボット4に送信する。
また、飛行制御装置5が監視センタ6から飛行ロボット4の飛行指示を受信すると、通信部51はこの飛行指示に従った各種制御信号を飛行ロボット4に送信する。
さらに、通信部51は飛行ロボット4の撮影部45が撮影した画像をインターネット等の広域ネットワーク(WAN)上に構築された仮想専用ネットワーク(VPN)を介して監視センタ6に送信する。また、物体検出センサ2から検知物体情報を受信し制御部53に入力する。
記憶部52は例えばROM,RAMなどで構成される記憶装置であり、飛行制御装置5を動作させるためのプログラムや各種設定情報などを記憶する。さらに、記憶部52には、飛行ロボット4が飛行する領域を緯度、経度、高度の3次元にて表現した飛行領域マップ、監視区域Eに関する各種情報である監視区域情報、飛行ロボット4と通信を行うためのデータや飛行ロボット4の飛行を制御するための各種パラメータ、ロボポート3の位置情報(緯度、経度情報)、監視区域E内における物体検出センサ2の種別および設置位置情報(緯度、経度情報)が記憶されている。
制御部53は飛行制御手段53a、撮影制御手段53b、状態確認手段53cを含む。具体的には、制御部53はCPU等からなるマイクロコンピュータで構成され、マイクロコンピュータが記憶部52からプログラムを読み出して実行することで飛行制御手段53a、撮影制御手段53b、状態確認手段53cとして機能する。
飛行制御手段53aは物体検出センサ2が検出目的物体に対応する監視対象を検出すると、飛行ロボット4を当該検出目的物体へ向けて派遣する。具体的には、飛行制御手段53aは、物体検出センサ2により異常が検出されると飛行ロボット4に、飛行指示を与える。また、飛行制御手段53aは、飛行ロボット4から飛行状態情報、位置情報、高度情報を取得し、飛行ロボット4の飛行に関わる制御信号(目標位置、速度等)を飛行ロボット4に送信し、飛行ロボット4の飛行を制御する。
撮影制御手段53bは飛行ロボット4の撮影部45による撮影を制御するもので、飛行ロボット4から取得した現在位置(高度)に基づいて撮影許可信号(撮影禁止解除信号)又は撮影禁止信号を生成し、通信部51を介して飛行ロボット4に送信する。
状態確認手段53cは、物体検出センサ2の出力に基づいて検出目的物体の運動状態を確認する。例えば、状態確認手段53cは、検出目的物体に対応する監視対象の代表位置の変化から当該検出目的物体の移動方向を算出する。また、状態確認手段53cは物体検出センサ2による検出目的物体についての現在の状態判定結果が静止状態である場合、代表位置及び直前の移動方向に基づいて当該検出目的物体を撮影する位置及び方向を定めて、撮影制御手段53bに飛行ロボット4への撮影動作の開始指示を送信させる。一方、状態確認手段53cは当該撮影動作の途中に現在の状態判定結果が静止状態から変化した場合、撮影制御手段53bに飛行ロボット4への撮影動作の中止指示を送信させる。
なお、物体検出センサ2による監視区域Eの監視の開始又は解除は監視センタ6から飛行制御装置5への指示で行うことができるほか、飛行制御装置5に利用者等が操作する操作部を備え、この操作部を利用者等が操作して監視の開始又は解除を設定することもできる。飛行制御装置5は監視の開始又は解除の指示/設定を受けて、それぞれ警備開始信号又は警備解除信号を物体検出センサ2に送信する。
次に監視システム1の動作について説明する。図5は物体検出センサ2の監視制御処理の概略のフロー図である。当該処理は物体検出センサ2が警備開始信号を受信すると開始され、ステップS1〜S6を含む一連の処理を警備解除信号を受信するまで繰り返す。
測距データ生成部225は警戒領域Sから測距データを取得する(ステップS1)。監視制御部243は得られた測距データに対し基準データ232を用いた背景差分処理を行い、前景検出点のクラスタを求める。なお、当該背景差分処理では複数のクラスタが取得され得る。監視制御部243は当該クラスタの中から、大きさなどの特徴が車両や人物など検出目的物体の所定の条件を満たす監視対象であるものを抽出する(ステップS2)。
監視対象が抽出された場合(S2にて「Yes」の場合)は当該監視対象について、トラッキング情報233を用いてトラッキング処理を行う(ステップS3)。すなわち、監視制御部243は、現在の周期で抽出された監視対象が前回周期で得られたトラッキング情報233に記録されているクラスタのいずれかと同一物体と判定される場合は当該クラスタに現在の監視対象の情報を追記し、同一物体と判定されるクラスタがトラッキング情報233に記録されていない場合は新規出現物体としてトラッキング情報233に記録される。
次に監視制御部243は監視対象が特定対象であれば(ステップS4にて「Yes」の場合)、状態判定処理(ステップS5)を行い、その判定結果と共に監視対象の検出信号を飛行制御装置5へ送信する(ステップS6)。一方、監視制御部243は監視対象が特定対象でなければ(ステップS4にて「No」の場合)、状態判定処理(ステップS5)を省略し、監視対象の検出信号を飛行制御装置5へ送信する(ステップS6)。なお、本実施形態では車両を特定対象としており、監視対象が車両であれば状態判定処理S5が行われ、例えば、人物など特定対象でないものについては当該処理が省略される。
検出信号送信(S6)の完了後、及びステップS2にて監視対象が抽出されなかった場合は処理はステップS1に戻る。
図6は状態判定処理S5の概略のフロー図である。監視制御部243は監視対象の大きさが所定の基準値以上変化したか否かを判定する(ステップS51)。当該変化が検出された場合には(S51にて「Yes」の場合)、監視制御部243はトラッキング情報233に記録されている当該監視対象の位置情報履歴をリセットすると共に(ステップS52)、上述の変化時保留動作を行い、監視対象の運動状態についての直前の状態判定結果を現在の状態判定結果として維持する(ステップS55)。
また、監視制御部243は監視対象の大きさの変化が基準値未満である場合でも(S51にて「No」の場合)、トラッキング情報233に蓄積されている代表位置情報が所定数に満たない場合(ステップS53で「Yes」の場合)は、前回の状態判定結果を維持する(S55)。
ステップS53における代表位置情報が所定数に満たない場合とは、具体的には、ステップS52にて位置情報履歴がリセットされてから間もない場合が該当する。代表位置の測定回数が少ない場合、測定のばらつきの影響が大きくなり、監視対象の移動の有無の判定の信頼度が低くなる。そこで、そのような場合には、代表位置に基づく状態判定(ステップS56)は行わず、変化時保留動作を継続する。
変化時保留動作を継続する走査回数は、測定値の分散が収束して静止状態の監視対象が移動と誤判定されないように設定される。当該回数は物体検出センサ2の精度にも依存するが、例えば、数回程度とすることができる。なお、走査周期を60ミリ秒とすると、代表位置は1秒間に約16回測定され得るので、数回程度の状態判定の保留が異常検出のリアルタイム性へ与える影響は小さいと言える。
代表位置情報が所定の走査回数以上得られた場合(ステップS53で「No」の場合)は、監視制御部243は基準値以上の大きさ変化により位置情報がリセットされた後に更新された代表位置に基づいて状態判定を行うことを可能とする。すなわち、大きさ変化に伴う状態判定の保留を解除する保留解除動作を行う。
なお、監視対象が警戒領域Sに出現してから間もない場合も、上述の変化時保留動作及び保留解除動作と同様の処理とすることができる。但し、この場合は、ステップS55では、前回の状態判定結果がないという状態が維持され、保留解除動作後の代表位置に基づく状態判定(ステップS56)にて最初の状態判定結果が得られる。
さらに、監視制御部243の処理として、監視対象の大きさの変化が基準値未満であっても(S51にて「No」の場合)、検出目的物体が他の物体に隠れている部分を有すると推定される場合には(ステップS54にて「Yes」の場合)、代表位置に基づく状態判定(S56)を行わず、直前の状態判定結果を現在の状態判定結果として維持する処理(S55)を行う隠蔽時保留動作を加えることができる。なお、検出目的物体が他の物体に隠れている部分を有すると推定される場合には(S54にて「Yes」の場合)、監視制御部243はトラッキング情報233に記録されている当該検出目的物体に対応する監視対象の位置情報履歴をリセットするようにしてもよい。
隠蔽(オクルージョン)が生じている場合、検出目的物体の運動状態を物体検出センサ2から測定できる一部分のみに基づいて判定することになり、基本的に状態判定の信頼度は低くなる。そこで、この場合にも、代表位置に基づく状態判定(ステップS56)は行わないこととし、隠蔽時保留動作とすることで、より信頼できる前回の状態を出力する。
よって、本実施形態では、監視対象の大きさの変化が基準値未満であり(S51にて「No」の場合)、かつ保留解除動作が行われ(S53にて「No」の場合)、かつ監視対象に対する他の物体による部分的遮蔽が生じていない場合(ステップS54で「No」の場合)に、代表位置に基づく状態判定(S56)が行われる。
図7は状態判定処理S5を説明する模式図であり、検出目的物体についての監視対象となる前景検出点のクラスタを走査平面上で実線で表している。図7(a)は停車した車両(自動車)が存在する警戒領域Sを物体検出センサ2からレーザ光で走査した例を示しており、車両表面に対応する監視対象100がL字形状に検出されており、監視対象100について定義される重心P0を×印で示している。図7(b)は図7(a)の車両から人が降りた状態の例を示しており、監視対象101,102は図7(a)の監視対象100の一部に対応する。一方、監視対象103は車両と物体検出センサ2との間に立つ人に対応する。監視対象100の一部が人に隠蔽されたため、車両は2つの監視対象101,102に分かれて検出されている。
例えば、図7(a)が前走査周期の状態を示し、図7(b)が現走査周期の状態を示すとする。監視制御部243は監視対象の代表位置や大きさに基づいて、図7(a)の監視対象と図7(b)の監視対象との間のトラッキングを行い、例えば、監視対象100と位置が近い監視対象101,102のうち大きい方の監視対象101を監視対象100に対応付けてトラッキング情報233に記憶する。その際、監視対象101の重心P1が代表位置として記録される。
例えば、監視制御部243は状態判定処理S5にて、監視対象100と監視対象101との大きさを比較して、前走査周期と現走査周期との間での大きさの変化が基準値以上であると判断した場合(S51にて「Yes」の場合)、トラッキング情報233に記録された前走査周期までの監視対象100の代表位置P0を消去させ(S52)、一方、重心P1を代表位置としてトラッキング情報233に記録する。監視制御部243は、前走査周期と現走査周期との間で、代表位置がP0からP1に変化しているが、監視対象である車両の運動状態を移動状態であるとは判定せず、現在の状態判定結果を前回の状態判定結果と同じ静止状態に維持する(S55)。
図7(b)では、車両に対応する監視対象の大きさの変化が、他の物体である人による遮蔽により生じる例を示したが、大きさ変化は他の原因で起きるものであってよい。例えば、反射状態の変化により生じる場合などもある。具体的には、停止車両のドアが開き、当該ドアの向きが物体検出センサ2へのレーザ光の拡散反射成分が検出下限未満となる方向となった場合や、ドアのレーザ光の当たる部分が鏡面反射を生じるものとなった場合などである。
図7(b)に示すような、停止している車両を部分的に遮蔽する人が当該車両の前で移動すると、車両に対応する監視対象の大きさや代表位置が変化する。その際の大きさ変化はステップS51の基準値未満となり得るが、状態判定処理にて移動状態と誤判定され得る。しかし監視制御部243は上述した隠蔽時保留動作を行うことにより、隠蔽状態では大きさ変化の有無に関わらず、現在の状態判定結果を静止状態に維持し誤判定を防止する。
図8は検出目的物体に対する他の物体による部分的遮蔽を検知する方法を説明するための模式図であり、走査平面上での検出点112、レーザ光の走査線Lの位置関係などを表している。直線で示す物体110は車両を、また楕円で示す物体111は物体検出センサ2から見て車両より手前に位置する人を表しており、それぞれの表面に検出点112が得られている。
監視制御部243は、位置が近接した検出点からなるクラスタを監視対象として定義し、これにより図8の例では、物体110に対応して、検出点112a及びその左側に並ぶ複数の検出点からなるクラスタと、検出点112d及びその右側に並ぶ複数の検出点からなるクラスタとがそれぞれ監視対象として抽出される。また、物体111に対応して検出点112b,112cを両端とするクラスタが監視対象として抽出される。
監視制御部243は2つの監視対象が走査角に関して隣接している場合に遮蔽が生じていると判断する。具体的には、物体110の監視対象の端に位置する検出点112aの走査線L1と、物体111の監視対象の端に位置する検出点112bの走査線L2とが隣接する走査角を有するので、物体110の一部がそれより手前に位置する物体111により遮蔽されていると判断される。また、検出点112dと検出点112cとの間でも同様の判断がされる。
次に、物体検出センサ2が検出目的物体を検出した場合の飛行制御装置5における対処処理を説明する。既に述べたように、監視システム1は検出目的物体のうち車両を特定対象とし、車両の運動状態を判定し、当該状態に応じて飛行ロボット4の撮影動作を制御する。具体的には、車両が静止状態である場合に、ロボット4に撮影動作を行わせ、一方、車両が移動状態である場合には当該撮影動作を行わせない。車両が移動状態である場合は、飛行制御装置5は飛行ロボット4の飛行高度を比較的高く保って車両を追跡させ、車両が停止すると、飛行ロボット4の高度を下げさせて車両の好適な画像を撮影させる撮影動作を指示する。その際、飛行制御装置5は車両を撮影する位置及び方向を定めて撮影を指示することができ、例えば、飛行ロボット4を車両の前後に位置させてナンバープレートを撮影させたり、車両搭乗者の顔を撮影させたりするような指示を行うことができる。具体的には、車両のナンバープレートを撮影する場合には、車両の正面または後面に飛行ロボット4を位置する必要があるが、車両の正面または後面の方向は車両の移動方向から判断することができる。したがって、車両の直前の移動方向、つまり、車両が停止する直前に得られた移動方向から撮影方向を定めることができる。また、撮影の位置については、停止している車両が急発進することを考慮して、撮影可能な範囲で車両の代表位置から所定距離(例えば、5m)以上離れた位置を定めることで安全に撮影を行うことが可能となる。なお、車両が停止して撮影動作を開始させた後、車両が移動を開始した場合は、飛行制御装置5は飛行ロボット4に撮影動作を中断させ上空からの追跡動作に移らせる。
図9は飛行制御装置5における対処処理の概略のフロー図である。既に述べたように物体検出センサ2は検出目的物体を検出すると検出信号を飛行制御装置5へ送信する。飛行制御装置5は検出信号を待ち(ステップS10)、検出信号と共に送られる検知対象(検出目的物体)の物体情報を取得すると(S10にて「Yes」の場合)、当該情報に基づいて飛行ロボット4を派遣する目標位置、及び飛行ルートを設定する(ステップS11)。例えば、物体検出センサ2からの検出信号は、検出した物体の警戒領域Sにおける位置情報を含み、また、物体検出センサ2が複数設置される場合には、物体検出センサ2を特定するアドレス情報を含む。飛行制御装置5はこれらの情報及び記憶部52に記憶されている物体検出センサ2の設置位置情報などから目標位置を設定することができる。また、飛行制御装置5は記憶部52に記憶された飛行領域マップなどを用いて、飛行ルートを設定することができる。
飛行制御装置5は設定した飛行ルートをロボポート3を介して飛行ロボット4に指示し、また、飛行ルートに存在する障害物情報を飛行ロボット4へ送信し(ステップS12)、飛行ロボット4に離陸指示を与える(ステップS13)。
飛行ロボット4は、例えば、高度センサ44や、GPS(Global Positioning System)、慣性計測装置(Inertial Measurement Unit:IMU)を備えて自身の位置を把握しつつ、設定された飛行ルートに従って飛行する一方、自身の位置を飛行制御装置5へ知らせることができる。飛行制御装置5は飛行ロボット4が目標位置の付近かを監視する(ステップS14)。
飛行制御装置5は飛行ロボット4が目標位置付近に到達すると(S14にて「Yes」の場合)、物体検出センサ2が検知対象の物体に対応する監視対象について出力した最新の状態判定結果が静止状態であるか確認し(ステップS15)、静止状態であれば飛行ロボット4を撮影動作に移らせる(S15にて「Yes」の場合)。すなわち、飛行ロボット4に降下指示を与え(ステップS16)、撮影許可信号を送信して検知対象の車両の撮影を開始させる(ステップS18)。例えば、当該撮影の終了により(ステップS20にて「Yes」の場合)対処処理の終了とすることができる。
目標位置付近に到達したときに監視対象が移動状態である場合は(S15にて「No」の場合)、飛行制御装置5は物体検出センサ2の検出信号に基づいて目標位置を修正し、飛行ロボット4に追跡動作を行わせる(ステップS21)。
なお、飛行制御装置5は撮影動作の指示後も物体検出センサ2からの状態判定結果を監視し、検知対象の車両の運動状態が静止状態から移動状態に変化した場合には飛行ロボット4の撮影動作を中断して追跡動作に移らせる。例えば、降下指示(S16)後のタイミングで移動状態となった場合には、撮影開始(S18)を指示せず、上昇を指示する(ステップS22)。また撮影許可信号の送信(S18)後のタイミングで移動状態となった場合には、撮影禁止信号を送信して撮影を中断させ(ステップS23)、上昇を指示する(ステップS22)。そして、目標位置修正を行って(S21)、上昇後の飛行ロボット4を追跡動作に移らせる。
また、上述の説明では、飛行ロボット4は飛行制御装置5からの指示を受けて動作する例を説明したが、これに限らず、飛行ロボット4において、物体検出センサ2から検出信号や検知対象の物体情報等を受信し、飛行ロボット4自身で、検出目的物体の移動方向を算出し、検出目的物体を撮影する位置及び方向を定めたり、撮影の開始(降下)/中止(上昇)の判断をしたりするようにしてもよい。
上記実施形態の監視システム1の物体検出センサ2は、監視対象の運動状態の判定に際して、信頼性の低い重心位置情報は採用せず、信頼性のある重心位置情報のみを用いるように構成される。具体的には、トラッキング中の監視対象の大きさが所定基準以上変化したと判定した場合には、重心位置に基づく状態判定を行わず、直前の状態判定結果を現在の状態判定結果として維持する。
上記実施形態の物体検出センサ2によれば、当該物体検出センサ2と監視対象の物体との間に別の物体が入り部分的な遮蔽が生じたり、監視対象の物体にてレーザ光の鏡面反射が生じたりして監視対象の重心位置が大きく変化しても、例えば、監視対象である停止車両を移動していると誤判定してしまうことを防止できる。また、この物体検出センサ2の検出結果を用いることで、飛行ロボット4を制御する監視システム1において、飛行ロボット4の適切な制御が可能となる。
上述の実施形態では静止状態を維持する場合を説明したが、移動状態であるとの判定結果が維持される場合もあり得る。例えば、警戒領域Sを移動中の車両が物体検出センサ2から見て手前に位置する人などの物体とすれ違うときに、状態判定結果を維持する。また、その際、トラッキング処理で算出される車両の運動状態(移動方向、速度、加速度など)も維持することができる。
また、上述の実施形態では物体検出センサ2は1次元の走査を行うものであったが、2次元の走査を行い距離画像を取得するものであってもよい。
また、本実施形態では、状態判定の例として移動状態か静止状態かを判定する例を説明したがこれに限るものではない。例えば、状態判定において、検出目的物体の移動方向を判定する場合には、当該物体の移動方向の判定精度が向上することにより、当該物体の追跡や撮影を精度良く行うことが可能となる。また、状態判定において、検出目的物体の速度を判定する場合には、当該物体の速度の判定精度が向上することにより、例えば、飛行ロボットと検出目的物体との離間距離を適切に保ったまま追跡を行うことが可能となる。このように、本発明は種々の状態判定に適用可能である。
また、本実施形態では、監視対象の大きさが所定基準以上変化した場合には、代表位置に基づく状態判定を行わない例を説明したが、これに限らず、監視対象の形状が変化した場合に代表位置に基づく状態判定を行わないようにしてもよい。具体的には、停止車両から人物が降車した状況を表した図7を参照すると、車両の形状に関して、図7(a)では監視対象は略L字形状を示しており、図7(b)では略直線形状を示している。このように、監視対象の形状の変化が生じた場合に代表位置に基づく状態判定を行わないようにしても、本実施形態と同様の効果が得られる。
また、本実施形態では、監視対象の大きさが過去の監視対象に対して所定基準以上変化した場合、代表位置に基づく状態判定を行わないこととしたが、これに限らず、代表位置に基づく状態判定を行うが、その判定結果を採用しない構成であっても本実施形態と同様の効果が得られる。
また、本実施形態では、監視対象の大きさが過去の監視対象に対して所定基準以上変化した場合、または、検出目的物体が他の物体に隠れている部分を有すると推定される場合には、当該監視対象の位置情報履歴をリセットする例を説明したが、これに限らず、位置情報履歴をリセットせずに保持しておくが、状態判定には使用しない構成であってもよい。