JP2012174058A - 特定事象検出装置、システム、方法及びプログラム - Google Patents

Abstract

【課題】監視対象の環境が変化する状況でも、特定の事象を検出することができる特定事象検出装置を提供する。
【解決手段】撮影手段が所定の場所を撮影した画像から物体を検出する物体検出手段２０１と、物体検出手段２０１が検出した物体の種別を識別する物体識別手段２０２と、物体識別手段２０２が識別した物体の種別に基づいて、予め記憶している特定の事象を検出するための事象検出ルールのうちの移動体に対応する事象検出ルールを特定する事象検出ルール特定手段２０３と、事象検出ルール特定手段２０３が特定した事象検出ルールで示される事象を物体の状態が満たしているか否かを判定する検出判定手段２０４とを含む。
【選択図】図２

Description

本発明は、画像から特定の事象を検出する特定事象検出装置、特定事象検出システム、特定事象検出方法及び特定事象検出プログラムに関する。

警備業務において異常事象を検出するために、監視カメラや画像処理装置が用いられることがある。この場合、例えば、監視カメラが所定の場所を撮影し、画像処理装置が撮影画像を解析して異常事象を検出する。関連する技術として、例えば特許文献１には、監視エリア内を離れた場所から監視することができるシステムが記載されている。

特開２００２−２３０６５４号公報

警備業務において監視カメラや画像処理装置を用いて異常事象を検出する場合には、長期的な観点で通常状態との違いを検出する。つまり、建物の大きさや、入口や窓の設置場所などは固定されているものであるため、警戒領域や検出点も固定的に定めることによって通常状態を特定し、特定した通常状態と現在の状況との違いを検出する。

しかし、監視カメラや画像処理装置を用いて特定の事象を検出する技術を工場等の業務領域に適用する場合には、状況が常に変化することを前提にしなければならない。例えば、工場のレイアウト変更などは日々の業務改善に伴い、頻繁に行われるものである。また物流・倉庫では常に積荷の出入りが発生しており、人の移動経路や積荷の置き場所が時間と共に変化していく。

そこで、本発明は、監視対象の環境が変化する状況でも、特定の事象を検出することができる特定事象検出装置、特定事象検出システム、特定事象検出方法及び特定事象検出プログラムを提供することを目的とする。

本発明による特定事象検出装置は、撮影手段が所定の場所を撮影した画像から物体を検出する物体検出手段と、物体検出手段が検出した物体の種別を識別する物体識別手段と、物体識別手段が識別した物体の種別に基づいて、予め記憶している特定の事象を検出するための事象検出ルールのうちの物体に対応する事象検出ルールを特定する事象検出ルール特定手段と、事象検出ルール特定手段が特定した事象検出ルールで示される事象を物体の状態が満たしているか否かを判定する検出判定手段とを含むことを特徴とする。

本発明による特定事象検出システムは、撮影手段と、情報処理装置とを備え、情報処理装置は、撮影手段が所定の場所を撮影した画像から物体を検出する物体検出手段と、物体検出手段が検出した物体の種別を識別する物体識別手段と、物体識別手段が識別した物体の種別に基づいて、予め記憶している特定の事象を検出するための事象検出ルールのうちの物体に対応する事象検出ルールを特定する事象検出ルール特定手段と、事象検出ルール特定手段が特定した事象検出ルールで示される事象を物体の状態が満たしているか否かを判定する検出判定手段とを含むことを特徴とする。

本発明による特定事象検出方法は、撮影手段が所定の場所を撮影した画像から物体を検出し、検出した物体の種別を識別し、識別した物体の種別に基づいて、予め記憶している特定の事象を検出するための事象検出ルールのうちの物体に対応する事象検出ルールを特定し、特定した事象検出ルールで示される事象を物体の状態が満たしているか否かを判定することを特徴とする。

本発明による特定事象検出プログラムは、コンピュータに、撮影手段が所定の場所を撮影した画像から物体を検出する物体検出処理と、検出した物体の種別を識別する物体識別処理と、識別した物体の種別に基づいて、予め記憶している特定の事象を検出するための事象検出ルールのうちの物体に対応する事象検出ルールを特定する事象検出ルール特定処理と、特定した事象検出ルールで示される事象を物体の状態が満たしているか否かを判定する検出判定処理とを実行させることを特徴とする。

本発明によれば、監視対象の環境が変化する状況でも、特定の事象を検出することができる。

本発明による特定事象検出システムの構成の一例を示すブロック図である。 特定事象検出システムの機能構成の一例を示す機能ブロック図である。 検出ルールの一例を示す説明図である。 特定事象検出システムが実行する処理例を示す流れ図である。

以下、本発明の実施形態について図面を参照して説明する。図１は、本発明による特定事象検出システムの構成の一例を示すブロック図である。図１に示すように、特定事象検出システムは、監視カメラ１００と、画像解析装置２００と、検出ルールデータベース記憶装置２５０と、表示装置３００とを含む。監視カメラ１００と、画像解析装置２００とは、ＬＡＮやインターネット等の通信ネットワークを介して相互に接続されている。また、画像解析装置２００と検出ルールデータベース記憶装置２５０及び表示装置３００とは、有線または無線回線を介して相互に通信可能である。なお、画像解析装置２００と検出ルールデータベース記憶装置２５０とは、同一の装置によって実現されていてもよい。

監視カメラ１００は、所定の場所（例えば、倉庫内の検品作業場所）を撮影し、画像（例えば、動画像や静止画像）を画像解析装置２００に出力する機能を備えている。

画像解析装置２００は、具体的には、プログラムに従って動作するパーソナルコンピュータ等の情報処理装置によって実現される。

検出ルールデータベース記憶装置２５０は、具体的には、磁気ディスク装置や光ディスク装置などの記憶装置によって実現される。検出ルールデータベース記憶装置２５０は、検出ルールデータベース（詳細については後述する）を記憶している。

表示装置３００は、具体的には、ディスプレイ装置などによって実現される。表示装置３００は、画像解析装置２００が出力するアラートなどを表示する機能を備えている。

次に、特定事象検出システムの機能構成について説明する。図２は、特定事象検出システムの機能構成の一例を示す機能ブロック図である。図２に示すように、画像解析装置２００は、物体検出手段２０１、物体識別手段２０２、事象検出ルール特定手段２０３及び検出判定手段２０４を含む。

物体検出手段２０１は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。物体検出手段２０１は、監視カメラ１００が出力した画像から移動体を検出する機能を備えている。なお、本実施形態では、移動体とは、時間経過に従ってある場所に存在したり存在しなかったりするものであり、具体的には、作業員や物品などである。

物体識別手段２０２は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。物体識別手段２０２は、物体検出手段２０１が検出した移動体の種別を識別する機能を備えている。

物体識別手段２０２は、例えば、検出した移動体の形や大きさ、色、付された文字やマークなどの情報に基づいて識別する。具体的には、物体識別手段２０２は、検出した移動体の形や大きさ、色、付された文字やマークなどの情報と、予め移動体の種別ごとに記憶している特徴情報とを比較し、両者の類似度が所定の閾値以上であるか否かによって種別を識別する。

図３に示す例を用いて説明すると、例えば、物体識別手段２０２は、画像から検出した移動体と作業員や物品のテンプレート画像との類似度が所定値以上であれば、作業員や物品と判定する。また例えば、物体識別手段２０２は、画像から検出した移動体の色情報が作業服や物品の色と合致するか否かを判定し、判定結果に基づいて移動体の種別を識別する。また例えば、物体識別手段２０２は、画像から検出した移動体の特徴が予め記憶しているいずれの移動体の特徴情報とも合致しない場合には、不審物（すなわち非管理対象）であると判定する。

また例えば、物体識別手段２０２は、ＲＦＩＤ（Radio Frequency Identification）や認証技術などの別の技術を用いて得られる情報に基づいて、検出した移動体の種別を識別するようにしてもよい。

事象検出ルール特定手段２０３は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。事象検出ルール特定手段２０３は、物体識別手段２０２が識別した移動体の種別に基づいて、検出ルールデータベース記憶装置２５０から移動体に対応する検出ルールを特定する機能を備えている。

検出判定手段２０４は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。検出判定手段２０４は、検出した移動体が事象検出ルール特定手段２０３が特定した検出ルールを満たしているか否かを判定する機能を備えている。

次に、検出ルールデータベース記憶装置２５０が記憶する検出ルールについて説明する。図３は、検出ルールの一例を示す説明図である。図３に示す例では、検出した移動体の種別ごとに動作条件、位置及び検知事象が定められている。なお、本実施形態では、移動体の種別ごとに検出ルールとして、動作条件、位置及び検知事象を定めているが、これに限らず、例えば時間帯などの条件を追加してもよい。

図３に示す検出ルールは、倉庫内での動作を想定したものである。倉庫内では通常、物品の入荷・出荷時に、物品を壁際に仮置きして検品を行う。この場合、壁際は物を置いてもよいスペースとして業務運用上、定義されていることになる。したがって、人が壁際に立ち止まると業務の妨げになるため、所定期間停止していた場合には、警告を発して速やかに別の場所に移動させる必要がある。

さらに壁際に物品が仮置きされた場合、その周辺では検品作業を行わなければならない。この場合、物品と物品リストとを照合するため、人が所定期間立ち止まりながら作業をすることになる。したがって、壁際に置かれた物の周辺では人が立ち止まることを許可しなければならない。よって、壁際で移動体を検出したときには、検出した移動体について、物品であるか人であるかという種別を判断する。そして、種別が物品である場合には、壁際に置かれていてもよいため、アラートを発信せず、人である場合にはアラートを発信する。さらに壁際に物品が置かれている場合には、人がその周辺に立ち止まることは認め、アラートを発信しない。図３に示す例では、このような検出ルールが示されている。

次に、特定事象検出システムの動作について説明する。図４は、特定事象検出システムが実行する処理例を示す流れ図である。なお、本実施形態では、倉庫内で動作しているものとする。

特定事象検出システムが起動している状態では、監視カメラ１００は、倉庫内を撮影し、画像を画像解析装置２００に出力する（ステップＳ１）。なお、監視カメラ１００は、継続的に倉庫内を撮影し、画像を画像解析装置２００に出力するものとする。

次いで、物体検出手段２０１は、監視カメラ１００が出力した画像から移動体を検出する（ステップＳ２）。

次いで、物体識別手段２０２は、物体検出手段２０１が検出した移動体の種別を識別する（ステップＳ３、Ｓ４）。例えば、物体識別手段２０２は、検出した移動体の形や大きさ（ステップＳ３）、色や付された文字、マークなどの情報（ステップＳ４）を識別し、識別した情報と予め移動体の種別ごとに記憶している特徴情報とを比較し、両者の類似度が所定の閾値以上であるか否かによって移動体の種別を識別する。なお、物体識別手段２０２は、ＲＦＩＤや認証技術などの別の技術を用いて得られる情報に基づいて、検出した移動体の種別を識別するようにしてもよい。

次いで、事象検出ルール特定手段２０３は、物体識別手段２０２が識別した移動体の種別に基づいて、検出ルールデータベース記憶装置２５０から検出した移動体に対応する検出ルールを特定する。そして、事象検出ルール特定手段２０３は、特定できなかった場合には処理をステップＳ１に戻し、特定できた場合には、処理をステップＳ６に移行する（ステップＳ５）。なお、ステップＳ５とＳ６とは順序が逆でもよいし、並行して行ってもよい。

検出ルールを特定すると、検出判定手段２０４は、画像から移動体の位置を特定し、監視カメラ１００が継続的に出力する画像中で移動体の軌跡を追跡する（すなわち、移動体の位置の変化を求める）。ここでは、検出判定手段２０４は、移動体の位置を示す位置情報として、例えば、移動体と、壁や柱、検出した他の移動体との距離を求めるようにしてもよい。具体的には、検出判定手段２０４は、画像中の物体と人物との画像平面内での距離を求めて、その距離が閾値以内であるか否かを判定する。また、例えば、監視カメラ１００が固定されている場合には、検出判定手段２０４は、画像中の所定領域に所定割合以上物体があれば、検品場所に物体があると判定するようにしてもよい。

そして、検出判定手段２０４は、移動体の位置を特定可能である場合には処理をステップＳ７に移行し、特定できない場合には処理を終了する（ステップＳ６）。

移動体の位置が特定可能である場合には、検出判定手段２０４は、移動体が検出ルールを満たしているか否かを判定する（ステップＳ７）。例えば、検出判定手段２０４は、図３に示される移動体ごとに定められた動作条件、位置及び検知事象に基づいて判定する。

具体的には、検出判定手段２０４は、検出した移動体の種別が作業員である場合には、動作条件として、画像中に検出した他の移動体（物）が存在するか否かを判定する。また、検出判定手段２０４は、ステップＳ６で特定した位置が、図３に示される予め移動体ごとに定められた位置と合致するか否かを判定する。また、検出判定手段２０４は、追跡している移動体の軌跡が図３に示される検知事象と合致するか否かを判定する。具体的には、検出判定手段２０４は、検出した移動体が検出ルールで定められた位置に所定期間存在しているか否かを判定する。

図３に示す例によれば、検出判定手段２０４は、検出した移動体が作業員であり、他に移動体として検出した物がある場合には、作業員が物の周辺１ｍ以内に存在すると、立ち止まってもよいと判定する。また、検出判定手段２０４は、検出した移動体が作業員であり、他に移動体として検出した物がない場合には、全てのエリアにおいて作業員が１０秒以上立ち止まっているか否かを判定する。そして、作業員が１０秒以上立ち止まっていると、検出判定手段２０４は、検出した移動体（作業員）の状態が検出ルールで示される事象を満たしていると判定する。

また例えば、検出判定手段２０４は、検出した移動体が管理対象の物である場合には、その物が検出ルールで定められた壁・柱周辺以外または管理対象物の周辺以外に、３０秒以上または１５秒以上存在しているか否かを判定する。そして、いずれの条件も満たす場合には、検出判定手段２０４は、検出した移動体（管理対象の物）の状態が検出ルールで示される事象を満たしていると判定する。

このように、検出判定手段２０４は、検出した移動体が、予め移動体の種別ごとに定められた動作条件、位置及び検知事象をすべて満たしている場合に、検出ルールを満たしていると判定する。

検出ルールを満たしていると判定した場合には、検出判定手段２０４は、アラートを表示装置３００に表示させるように制御する（ステップＳ８）。また、検出ルールを満たしていないと判定した場合には、検出判定手段２０４は、処理を終了する。なお、本実施形態では、アラートを表示装置３００に表示させることによって作業者に警告を発しているが、これに限らず、例えば、警告音を発するようにしてもよい。

次に、本実施形態の効果について説明する。まず、既存の技術として、画像解析装置で画像から特定の事象を検出するために、位置情報を基点とした検出ルールを定義して用いる方法がある。例えば、カメラ映像の中で特定の位置に線上の検出領域を定義して、その線を通過した移動体を検出する。また、例えば、特定の位置に多角形の検出領域を定義して、その検出領域に進入したことを検出する。

しかし、工場等の業務領域のように環境が変化する場所においては、位置情報を基点とした検出ルールを定義することができない。例えば、検品作業を行う場所は、検品対象の物が置かれる前の段階では、物を置くためその場所に人が立ち止まっては危険なので、原則として立ち止まることが禁止されているが、物が置かれた時には検品作業をするために立ち止まることが許可されていなければならない。これを位置情報を基点とした検出ルールで定義しようとすると、物を置く場所を正確に定義して、その定義範囲内を物だけが置いてもよい場所として定義して、その周辺を人が立ち止まってもよい場所と定義することになる。しかし現実には、正確に物を置く場所を定義し、また正確にその定義範囲内に物を置くということは困難である。また物が運ばれてきて置かれた時に、その周辺に人が近づいてはいけないといった場合にも、位置情報を基点とした検出ルールでは定義することができない。

これに対して、本実施形態では、予め移動体の種別ごとに検出ルールを定義しておき、移動体を検出すると、検出した移動体の種別を識別し、識別した種別に定義された検出ルールを満たす場合にだけアラートを発する。また、本実施形態では、周辺の物体（例えば、壁や柱、他の移動体など）との位置関係に基づいて事象を定義した検出ルールを用いることができる。

したがって、本実施形態では、工場等の監視対象の環境が変化する状況でも、特定の行動を検出することができる。一般的な方法で用いられる位置情報を基点として定めた検出ルールではなく、移動体の種別ごとに定めた検出ルールを用いるからである。

また、本実施形態では、柔軟な検出ルールを簡易に設定することが出来る。位置情報を基点とした検出ルールを用いる場合には、物を置く場所や人が立ち止まっても良い場所を正確に定義しなければならないが、本実施形態では、移動体の種別ごとに検出する事象の条件（例えば、他の移動体との位置関係など）を定めることができるからである。

なお、移動体の種別の判定には、画像だけでなく、各種センサやＲＦＩＤ、バイオメトリクス認証技術などを使用してもよい。

以上のことから、本実施形態では、以下の（１）〜（７）に示すような特定事象検出装置の特徴的構成が示されている。

（１）特定事象検出装置は、撮影手段（例えば、監視カメラ１００によって実現される）が所定の場所を撮影した画像から物体（例えば、作業者や物品）を検出する物体検出手段（例えば、物体検出手段２０１によって実現される）と、物体検出手段が検出した物体の種別を識別する物体識別手段（例えば、物体識別手段２０２によって実現される）と、物体識別手段が識別した物体の種別に基づいて、予め記憶している特定の事象を検出するための事象検出ルールのうちの物体に対応する事象検出ルール（例えば、図３に示される検出ルール）を特定する事象検出ルール特定手段（例えば、事象検出ルール特定手段２０３によって実現される）と、事象検出ルール特定手段が特定した事象検出ルールで示される事象を物体の状態が満たしているか否かを判定する検出判定手段（例えば、検出判定手段２０４によって実現される）とを含むことを特徴とする。

（２）特定事象検出装置において、検出判定手段が事象検出ルールで示される事象を物体の状態が満たしていると判定すると、警告を発する警告手段（例えば、画像解析装置２００と表示装置３００によって実現される）を含むように構成されていてもよい。

（３）特定事象検出装置において、警告手段は、表示装置（例えば、表示装置３００）に警告を表示させるように制御するように構成されていてもよい。

（４）特定事象検出装置において、物体識別手段は、物体検出手段が検出した物体の特徴を示す特徴情報（例えば、物体の形や大きさ、色、付された文字やマークなどの情報。また例えば、各種センサやＲＦＩＤなどの技術を用いて取得する情報）を取得し、取得した特徴情報と予め記憶している物体の特徴情報とに基づいて、物体の種別を識別するように構成されていてもよい。

（５）特定事象検出装置において、物体の種別ごとに定められた事象検出ルールを記憶する記憶手段（例えば、検出ルールデータベース記憶装置２５０によって実現される）を含み、事象検出ルール特定手段は、物体識別手段が識別した物体の種別に基づいて、記憶手段が記憶する事象検出ルールのうちの物体に対応する事象検出ルールを特定し、検出判定手段は、事象検出ルール特定手段が特定した事象検出ルールで示される事象を物体の状態が満たしているか否かを判定するように構成されていてもよい。

（６）特定事象検出装置において、検出判定手段は、事象検出ルールで示される位置に物体があるか否かを判定するように構成されていてもよい。

（７）特定事象検出装置において、検出判定手段は、事象検出ルールで示される期間以上、物体が所定の位置にあるか否かを判定するように構成されていてもよい。

本発明は、物流・倉庫業界や店舗などで特定の事象を検出する用途に適用可能である。

１００ 監視カメラ
２００ 画像解析装置
２０１ 移動体検出手段
２０２ 移動体識別手段
２０３ 事象検出ルール特定手段
２０４ 検出判定手段
２５０ 検出ルールデータベース記憶装置
３００ 表示装置

Claims (10)

1. 撮影手段が所定の場所を撮影した画像から物体を検出する物体検出手段と、
   前記物体検出手段が検出した前記物体の種別を識別する物体識別手段と、
   前記物体識別手段が識別した前記物体の種別に基づいて、予め記憶している特定の事象を検出するための事象検出ルールのうちの前記物体に対応する事象検出ルールを特定する事象検出ルール特定手段と、
   前記事象検出ルール特定手段が特定した事象検出ルールで示される事象を前記物体の状態が満たしているか否かを判定する検出判定手段とを
   含むことを特徴とする特定事象検出装置。
2. 検出判定手段が事象検出ルールで示される事象を物体の状態が満たしていると判定すると、警告を発する警告手段を含む
   請求項１記載の特定事象検出装置。
3. 警告手段は、表示装置に警告を表示させるように制御する
   請求項２記載の特定事象検出装置。
4. 物体識別手段は、物体検出手段が検出した物体の特徴を示す特徴情報を取得し、取得した特徴情報と予め記憶している物体の特徴情報とに基づいて、物体の種別を識別する
   請求項１から請求項３のうちのいずれか１項に記載の特定事象検出装置。
5. 物体の種別ごとに定められた事象検出ルールを記憶する記憶手段を含み、
   事象検出ルール特定手段は、物体識別手段が識別した物体の種別に基づいて、前記記憶手段が記憶する事象検出ルールのうちの前記物体に対応する事象検出ルールを特定し、
   検出判定手段は、前記事象検出ルール特定手段が特定した事象検出ルールで示される事象を前記物体の状態が満たしているか否かを判定する
   請求項１から請求項４のうちのいずれか１項に記載の特定事象検出装置。
6. 検出判定手段は、事象検出ルールで示される位置に物体があるか否かを判定する
   請求項１から請求項５のうちのいずれか１項に記載の特定事象検出装置。
7. 検出判定手段は、事象検出ルールで示される期間以上、物体が所定の位置にあるか否かを判定する
   請求項１から請求項６のうちのいずれか１項に記載の特定事象検出装置。
8. 撮影手段と、
   情報処理装置とを備え、
   前記情報処理装置は、
   前記撮影手段が所定の場所を撮影した画像から物体を検出する物体検出手段と、
   前記物体検出手段が検出した前記物体の種別を識別する物体識別手段と、
   前記物体識別手段が識別した前記物体の種別に基づいて、予め記憶している特定の事象を検出するための事象検出ルールのうちの前記物体に対応する事象検出ルールを特定する事象検出ルール特定手段と、
   前記事象検出ルール特定手段が特定した事象検出ルールで示される事象を前記物体の状態が満たしているか否かを判定する検出判定手段とを
   含むことを特徴とする特定事象検出システム。
9. 撮影手段が所定の場所を撮影した画像から物体を検出し、
   検出した前記物体の種別を識別し、
   識別した前記物体の種別に基づいて、予め記憶している特定の事象を検出するための事象検出ルールのうちの前記物体に対応する事象検出ルールを特定し、
   特定した事象検出ルールで示される事象を前記物体の状態が満たしているか否かを判定する
   ことを特徴とする特定事象検出方法。
10. コンピュータに、
    撮影手段が所定の場所を撮影した画像から物体を検出する物体検出処理と、
    検出した前記物体の種別を識別する物体識別処理と、
    識別した前記物体の種別に基づいて、予め記憶している特定の事象を検出するための事象検出ルールのうちの前記物体に対応する事象検出ルールを特定する事象検出ルール特定処理と、
    特定した事象検出ルールで示される事象を前記物体の状態が満たしているか否かを判定する検出判定処理とを
    実行させるための特定事象検出プログラム。

Images