以下に図面を参照して実施形態について説明する。図1は、行動認識システムのシステム構成の一例を示す図である。
本実施形態の行動認識システム100は、行動識別装置200と、端末装置300とを有し、行動識別装置200と端末装置300とは、ネットワーク等を介して接続されている。
本実施形態の行動認識システム100において、行動識別装置200は、画像データベース210、識別結果データベース220、異常行動パターンデータベース230、行動データベース240、環境条件データベース250、閾値データベース260、評価データベース270、行動識別処理部280を有する。
本実施形態の行動識別装置200において、行動識別処理部280は、画像データ群を取得すると、画像データベース210に格納する。そして、行動識別処理部280は、画像データ群を解析して行動パターンの識別対象となる個体(識別対象物)を検出してこの個体の行動パターンを識別し、識別結果データベース220へ格納する。
次に、行動識別処理部280は、異常行動パターンデータベース230を参照し、検出された個体の行動パターンが、異常な行動を示す行動パターンであるか否かを判定し、異常な行動と判定された場合には、その行動パターンを行動データベース240に格納する。
さらに、行動識別処理部280は、異常行動パターンデータベース230と、環境条件データベース250と、閾値データベース260を参照して、個体の行動が、外部機関等への通報を要する行動であるか否かを判定する。つまり、異常行動パターンデータベース230と、環境条件データベース250と、閾値データベース260は、個体の行動の通報の要否の判定において、参照される基準となる情報が格納されている。
行動識別処理部280は、通報を要すると判定された場合、端末装置300に対し、異常な行動を行っている個体が存在することを通知する。そして、行動識別処理部280は、通報の要否に関する判定結果を評価データベース270へ格納する。
また、本実施形態の行動識別処理部280は、通報の要否に関する判定結果の正誤を示す情報が入力されると、異常行動パターンデータベース230等に格納された、通報の要否の判定の基準となる情報に、判定結果の正誤を示す情報を反映させる。
本実施形態では、このように、判定結果の正誤を示す情報を、通報の要否の判定の基準となる情報に反映させるため、異常とされる行動パターンの識別の精度を向上させることができる。
尚、図1の例では、行動識別装置200は、一台のコンピュータにより実現されるものとしているが、行動識別装置200は、例えば、複数台のコンピュータにより実現されても良い。また、図1の例では、画像データベース210は行動識別装置200が有するものとしたが、これに限定されない。画像データベース210は、行動識別装置200の外部に設けられていても良い。
図2は、行動識別装置のハードウェア構成の一例を示す図である。本実施形態の行動識別装置200は、それぞれバスBで相互に接続されている入力装置201、出力装置202、ドライブ装置203、補助記憶装置204、メモリ装置205、演算処理装置206及びインターフェース装置207を含む。
入力装置201は、各種の情報の入力を行うための装置であり、例えばキーボードやポインティングデバイス等により実現される。出力装置202は、各種の情報の出力を行うためものであり、例えばディスプレイ等により実現される。インターフェース装置207は、LANカード等を含み、ネットワークに接続する為に用いられる。
行動識別処理部280を実現する行動識別プログラムは、行動識別装置200を制御する各種プログラムの少なくとも一部である。行動識別プログラムは例えば記憶媒体208の配布やネットワークからのダウンロード等によって提供される。行動識別プログラムを記録した記憶媒体208は、CD−ROM、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記憶媒体、ROM、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記憶媒体を用いることができる。
また、行動識別プログラムは、行動識別プログラムを記録した記憶媒体208がドライブ装置203にセットされると、記憶媒体208からドライブ装置203を介して補助記憶装置204にインストールされる。ネットワークからダウンロードされた行動識別プログラムは、インターフェース装置207を介して補助記憶装置204にインストールされる。
補助記憶装置204は、インストールされた行動識別プログラムを格納すると共に、各データベース等の必要なファイル、データ等を格納する。メモリ装置205は、行動識別装置200の起動時に補助記憶装置204から行動識別プログラムを読み出して格納する。そして、演算処理装置206はメモリ装置205に格納された行動識別プログラムに従って、後述するような各種処理を実現している。
本実施形態の端末装置300のハードウェア構成は、行動識別装置200と同様であるから、説明を省略する。尚、端末装置300は、例えば、タブレット型の端末装置や、スマートフォン等であっても良く、入力装置201と出力装置202との代わりに、タッチパネル等により実現される表示操作装置を有していても良い。
次に、図3乃至図9を参照して、行動識別装置200の有する各データベースについて説明する。
尚、本実施形態の行動識別装置200の有する各データベースは、例えば、行動識別装置200の補助記憶装置204やメモリ装置205に設けられる。
図3は、画像データベースの一例を示す図である。本実施形態では、画像データベース210は、行動識別処理部280が画像データを取得する度に、画像データが蓄積される。本実施形態の画像データベース210は、情報の項目として、画像ID、時刻、場所を有し、項目「画像ID」とその他の項目とが対応づけられている。
項目「画像ID」の値は、取得した画像データを識別するための識別情報である。項目「時刻」の値は、対応する画像データが取得された時刻を示す。項目「場所」の値は、対応する画像データが取得された場所を示す。具体的には、項目「場所」の値は、例えば、画像データにより撮像された画像の中心点を示す緯度、経度の値等であっても良い。また、項目「場所」の値は、例えば、画像データとして撮像された領域を指定するための緯度・経度等であっても良い。また、項目「場所」の値は、例えば、画像データとして撮像された領域の地名等であっても良い。
また、本実施形態の画像データベース210が有する情報の項目は、図3に示す項目に限定されない。例えば、画像データベース210には、情報の項目として、画像データが撮像された年月日や、画像データが撮像されたときの天候等を有していても良い。言い換えれば、画像データベース210は、情報の項目として、画像データが撮像されたときの環境を示す項目が含まれていても良い。
本実施形態の画像データベース210は、一定間隔毎に取得された画像データが時系列に格納されることが好ましい。
図3の例では、時刻t1において、画像ID「pic1」の画像データが取得され、その次の時刻t2において、画像ID「pic2」の画像データが取得されたことがわかる。
尚、本実施形態において取得される画像データは、例えば、人工衛星や航空機等によって取得された画像データであっても良いし、ドローン等の飛行体に設けられた撮像装置等により撮像された画像データであっても良い。本実施形態で取得される画像データは、地表を俯瞰するような画像の画像データであることが好ましい。
図4は、識別結果データベースの一例を示す図である。識別結果データベース220は、行動識別処理部280が画像データを取得する度に、取得した画像データから検出された個体の行動パターンを識別した結果である識別結果情報が蓄積される。
識別結果データベース220は、情報の項目として、個体ID、時間、位置、速度、方向、画像IDを有する。以下の説明では、項目「個体ID」の値と、その他の項目の値とを含む情報を、識別結果情報と呼ぶ。識別結果情報は、複数の画像データを解析することによって得られる。
項目「個体ID」の値は、取得された画像データの中から特定された、行動パターンの識別対象となる個体を特定する識別情報である。尚、個体とは、人であっても良いし、車両等であっても良く、行動パターンの識別対象となりえるものであれば、どのような物体であっても良い。
項目「時間」の値は、前の画像データが撮像された時刻から、次の画像データが撮像された時刻までの時間を示す。言い換えれば、項目「時間」の値は、対応する個体IDが特定する個体が行動していた時間の長さ(期間)を示す。
項目「位置」の値は、対応する時間における個体IDが特定する個体の位置を示す。具体的には、項目「位置」の値は、緯度、経度等で示されても良く、例えば、項目「位置」の値は、対応する時間の最後の時刻における個体の位置を示す情報であっても良い。
項目「速度」の値は、対応する時間における個体の移動速度を示す。項目「方向」の値は、対応する時間における個体の移動方向を示す。項目「画像ID」の値は、識別結果情報を取得する際に解析された画像データの画像IDを示す。
図4の例では、時刻t1に撮像された画像ID「pic1」の画像データと、時刻t2に撮像された画像ID「pic2」の画像データにおいて特定された個体ID「A」の個体が、時刻t1から時刻t2までの間に、速度V1でdir1方向へ移動し、(x1,y1)に位置していることがわかる。
また、個体ID「A」の個体は、時刻t2に撮像された画像ID「pic2」の画像データと、時刻t3に撮像された画像ID「pic3」の画像データから、時刻t2から時刻t3までの間に、速度V2でdir2方向へ移動し、(x2,y2)に位置していることがわかる。
図5は、異常行動パターンデータベースの一例を示す図である。本実施形態の異常行動パターンデータベース230は、予め行動識別装置200に与えられているものであり、異常な行動と判定すべき行動パターンを示す情報が格納される。
異常行動パターンデータベース230は、情報の項目として、行動パターンID、名称、判定条件、基準値を有する。
項目「行動パターンID」の値は、異常行動とされる行動パターンを特定するための識別情報である。項目「名称」の値は、異常行動の名称を示す。
項目「判定条件」の値は、個体の行動が異常行動であると判定するための条件を示す。項目「判定条件」には、その値として、項目「移動方向」、「移動範囲」、「平均速度」が対応付けられている。項目「移動方向」の値は、識別対象の移動方向を示す。項目「移動範囲」の値は、識別対象が移動している領域の範囲を示す。項目「平均速度」の値は、識別対象の移動における平均速度を示す。
項目「基準値」の値は、対応する行動パターンIDによって特定される行動パターンの評価値の基準となる値である。言い換えれば、項目「基準値」の値は、個体の行動を評価する際に基準とされる値である。尚、評価値の詳細は後述する。
以下の説明では、項目「行動パターンID」の値と、その他の項目の値と、を含む情報を、異常行動パターン情報と呼ぶ。
以下に、図6を参照して、異常行動パターン情報が示す異常行動パターンについて説明する。図6は、異常行動の例を説明する図である。
図6(A)〜図6(E)は、図5に示す異常行動パターン情報が示す異常行動パターンの例を示している。図6(A)は、行動パターンID「1」で特定される異常行動「往復」の例を示している。異常行動「往復」では、移動方向は、往路と復路において一定であり、移動範囲と移動速度は、通常範囲である。尚、移動範囲が通常の範囲である場合とは、移動範囲が、個体の移動の平均速度と移動時間から想定される移動範囲である場合を示す。
異常行動「往復」は、例えば、画像データから検出された個体が、建造物への侵入を企てている場合や、何かを躊躇って行き来している場合等が考えられ、不審な行動と考えられるため、異常行動とされる。
図6(B)は、行動パターンID「2」で特定される異常行動「静止」の例を示している。異常行動「静止」は、移動がないため移動範囲は狭く、移動速度も遅い。
異常行動「静止」は、例えば、画像データが撮像された場所が山岳地帯等である場合には、個体が遭難者である可能性がある。また、個体が何らかの対象物を監視するために、同じ場所で待機している可能性がある。このような行動は、個体が危険にさらされている可能性や、不審な行動であることを示唆するものであり、異常行動とされる。
図6(C)は、行動パターンID「3」で特定される異常行動「右往左往」の例を示している。異常行動「右往左往」は、移動方向が不定であり、移動範囲は狭く、平均速度は普通である。異常行動「右往左往」は、個体が道に迷っている場合が想定されるため、異常行動とされる。
図6(D)は、行動パターンID「4」で特定される異常行動「移動(多数)」の例を示している。異常行動「移動(多数)」は、移動方向が一定であり、移動範囲と平均速度は普通である。異常行動「移動(多数)」は、例えば、特に過疎地等なおいては、集団での示威行動等が想定されるため、異常行動とされる。
図6(E)は、行動パターンID「5」で特定される異常行動「移動」の例を示している。異常行動「移動」は、移動方向が不定であり、移動範囲と平均速度は普通である。異常行動「移動」は、例えば、目標が定まらない状態で行動をしていたり、建造物内の物色をしている場合等が想定されるため、異常行動とされる。
本実施形態では、このように、不審な行動や、個体が危険にさらされていることを示唆する行動と想定される行動パターンを異常行動パターン情報が、異常行動パターンデータベース230に格納される。
尚、異常行動とされる行動パターンは、図6に示す例に限定されない。本実施形態において、異常行動とされる行動パターンには、図6に示す以外の行動パターンも含まれていて良い。
図7は、行動データベースの一例を示す図である。行動データベース240は、識別結果情報に基づき識別された個体の行動パターンから、異常行動とされる行動パターンが検出される度に、異常行動とされる行動パターンを示す情報が格納される。
行動データベース240は、情報の項目として、個体ID、時間、移動距離、平均速度、行動パターンIDを有する。以下の説明では、項目「個体ID」の値と、その他の項目の値とを含む情報を行動情報と呼ぶ。
項目「時間」の値は、個体が行動していた時間の長さを示す。項目「移動距離」の値は、対応する時間において個体が移動した距離を示す。項目「平均速度」の値は、対応する時間における個体の移動速度の平均を示す。
項目「行動パターンID」の値は、対応する時間における個体の行動パターンと対応する行動パターンIDを示す。個体の行動パターンIDは、異常行動パターンデータベース230に基づいて特定される。
図7の例では、例えば、個体ID「A」の個体は、時刻t1から時刻t5までの間に、「len1」を移動し、そのときの平均速度がVave1であり、時刻t1から時刻t5までの個体ID「A」の個体の行動は、行動パターンID「1」に該当することがわかる。
言い換えれば、個体ID「A」は、時刻t1から時刻t5までの間に、行動パターンID「1」で特定される異常行動「往復」を行ったことがわかる。
また、図7の例では、個体ID「A」の個体は、時刻t5から時刻t7までの間に、「len2」を移動し、そのときの平均速度がVave2であり、時刻t5から時刻t7までの個体ID「A」の個体の行動は、行動パターンID「2」に該当することがわかる。
言い換えれば、個体ID「A」は、時刻t5から時刻t7までの間に、行動パターンID「2」で特定される異常行動「静止」を行ったことがわかる。
つまり、図7の例では、時刻t1から時刻t7までの間の個体ID「A」の個体の行動には、異常行動「往復」、「静止」が含まれることがわかる。
図8は、環境条件データベースの一例を示す図である。本実施形態の環境条件データベース250は、予め行動識別装置200に与えられているものであり、個体の行動パターンの評価の際に参照される。
本実施形態の環境条件データベース250は、情報の項目として、環境条件ID、環境、倍率の値を示す。
項目「環境条件ID」の値は、環境条件を特定するための識別情報である。項目「環境」の値は、画像データベース210に格納された画像データが撮像されたときの環境を示す。項目「倍率」の値は、個体の行動パターンの評価値の算出に用いられる値である。
以下の説明では、項目「環境条件ID」の値と、その他の項目の値とを含む情報を環境条件情報と呼ぶ。
図9は、閾値データベースの一例を示す図である。本実施形態の閾値データベース260は、予め行動識別装置200に与えられているものであり、個体の行動の通報の要否を判定する際に参照される。
本実施形態の閾値データベース260は、情報の項目として、閾値ID、閾値名、上限値、下限値を有する。項目「閾値ID」の値は、閾値を特定するための識別情報である。項目「判定結果」の値は、閾値と対応した判定結果を示す。項目「上限値」及び項目「下限値」の値は、閾値そのものを示す。
以下の説明では、項目「閾値ID」の値と、その他の値とを含む情報を、閾値情報と呼ぶ。
図9の例では、個体の行動の評価値が200以上である場合には、閾値ID「1」が適用されて、個体の行動は要通報と判定されることがわかる。また、例えば、個体の行動の評価値が30以上150以下である場合には、閾値ID「3」が適用されて、個体の行動は「監視継続」と判定されることがわかる。
図10は、評価データベースの一例を示す図である。本実施形態の評価データベース270は、異常行動とされた個体の行動パターンに対する評価結果を示す情報が格納されており、個体の行動パターンが異常行動と判定される度に更新される。
本実施形態の評価データベース270は、情報の項目として、個体ID、時間、累積評価値、行動パターンID、環境条件ID、評価値、閾値ID、判定結果、確認結果を有する。
項目「累積評価値」の値は、対応する時間における個体の行動パターンの評価値の合算値である。項目「評価値」の値は、対応する行動パターンIDと環境条件IDによって特定される行動パターンと環境に基づき算出される値である。
尚、本実施形態の評価値は、行動パターンIDが示す異常行動の異常の度合いを示す指標(第二の指標値)である。
また、本実施形態における累積評価値は、対応する時間における個体の行動が、第三者による介入が必要な異常行動である可能性を示す指標値(第一の指標値)である。
つまり、本実施形態の評価値算出部287は、第一及び第二の指標値を算出する指標値算出部と言える。また、異常の度合いとは、例えば、異常行動によって個体や第三者がさらされる危険の大きさ等を示す。
したがって、本実施形態では、個体が評価値が大きい行動パターンと合致する行動を行っている時間(期間)が長いほど、累積評価値が大きくなり、外部への通報が必要な行動と判定される可能性が高くなる。
項目「判定結果」の値は、行動識別処理部280が、累積評価値と、閾値データベース260とに基づき、第三者による介入が必要か否かを判定した結果を示す。項目「確認結果」の値は、第三者が、実際に個体が行動している現場を目視等によって確認した結果を示す。項目「確認結果」の値は、例えば、端末装置300等から入力される値である。
以下の説明では、項目「個体ID」の値と、その他の項目の値とを含む情報を評価情報と呼ぶ。
次に、図11を参照して、本実施形態の行動識別処理部280の機能について説明する。図11は、行動識別処理部の機能構成を説明する図である。
本実施形態の行動識別処理部280は、情報収集部281と、基準値学習部282と、を有する。
情報収集部281は、画像データを取得すると、画像データベース210、識別結果データベース220、行動データベース240、評価データベース270のそれぞれに、画像データ、識別結果情報、行動情報、評価情報を格納する。つまり、本実施形態の情報収集部281は、画像データを分析して各種の情報の収集を行う。
基準値学習部282は、収集した情報に基づき、画像データから識別される個体の行動パターンを学習し、異常行動パターンデータベース230に格納された異常行動パターン情報毎の基準値を更新する。
本実施形態の情報収集部281は、画像データ取得部283、画像解析部284、行動識別部285、照合部286、評価値算出部287、通報判定部288、出力部289を有する。
画像データ取得部283は、画像データを取得して、画像データベース210へ格納する。画像データ取得部283は、例えは、行動識別装置200と接続された監視カメラ等から画像データを随時取得しても良い。また、画像データ取得部283は、ドローンや飛行機等の飛行体から撮像された画像データが記録された記録媒体等から、画像データを取得しても良いし、外部装置から送信された画像データを取得しても良い。
尚、本実施形態では、画像データベース210に格納される画像データは、静止画像データである。したがって、例えば、画像データ取得部283は、動画データを取得した場合には、所定の間隔毎のフレームを画像データとして画像データベース210に格納しても良い。
画像解析部284は、画像データベース210に格納された画像データを解析する。具体的には、画像解析部284は、画像データ取得部283により時系列に取得された画像データから、行動の識別対象となる個体を特定する。
行動識別部285は、画像解析部284により特定された個体の行動パターンを識別し、識別結果情報を識別結果データベース220へ格納する。画像解析部284による識別の処理の詳細は後述する。
照合部286は、識別結果データベース220と異常行動パターンデータベース230とを照合する。そして、照合部286は、行動識別部285が識別した行動パターンが異常行動パターン情報の判定条件と合致する場合、この行動パターンを、異常行動パターンを示す行動情報として、行動データベース240に格納する。
評価値算出部287は、行動パターン毎の評価値を算出する。また、評価値算出部287は、時間の経過に応じた累積評価値を算出する。そてし、評価値算出部287は、評価値と累積評価値とを含む評価情報を生成し、評価データベース270へ格納する。評価値算出部287による評価値の算出の処理の詳細は後述する。
通報判定部288は、評価データベース270に格納された累積評価値と、閾値データベース260とを参照して、個体の行動に対して第三者の介入を要するか否かの判定を行い、判定結果を評価データベース270へ格納する。言い換えれば、通報判定部288は、個体の行動に関する情報の出力の要否を判定する。
出力部289は、通報判定部288により、第三者の介入を要すると判定された場合に、外部装置等へ異常な行動を行っている個体の存在を通知する。言い換えれば、出力部289は、第三者の介入を要すると判定された場合に、個体の行動に関する情報を出力する。
本実施形態の基準値学習部282は、入力受付部291、表示制御部292、入力結果格納部293、一致判定部294、基準値更新部295を有する。
入力受付部291は、行動識別装置200に対する入力を受け付ける。具体的には、入力受付部291は、通報判定部288による判定結果の正誤を示す情報の入力を受け付ける。
表示制御部292は、表示の制御を行う。具体的には、表示制御部292は、端末装置300へ、通報判定部288の判定結果の正誤を入力させるための入力画面を表示させる。尚、表示制御部292は、この入力画面を行動識別装置200の有するディスプレイに表示させても良い。
入力結果格納部293は、入力受付部291が受け付けた判定結果の正誤を示す情報を、評価データベース270へ格納する。
一致判定部294は、入力結果格納部293に格納された正誤を示す情報に基づき、通報判定部288による判定結果が正しいか否かを判定する。
基準値更新部295は、一致判定部294により、判定結果が誤っていると判定された
場合に、判定結果が正しくなるように、異常行動パターンデータベース230において該当する行動パターンの基準値を更新する。
以下に、図12を参照して、本実施形態の情報収集部281の処理について説明する。図12は、行動識別処理部の処理を説明する第一のフローチャートである。図12では、行動識別処理部280の有する情報収集部281の処理を示している。
本実施形態の情報収集部281は、画像データ取得部283により、画像データを取得する(ステップS1201)。尚、本実施形態では、例えば、一定間隔毎に、その間に撮像された複数の画像データを、画像データ群として取得しても良いし、画像データが撮像される度に、撮像された画像データを取得しても良い。以下の説明では、画像データ取得部283が所定間隔毎に、画像データ群を取得するものとして説明する。
次に、情報収集部281は、画像解析部284により、取得した画像データ群を解析し、行動の識別を行う個体を特定する(ステップS1202)。
続いて、情報収集部281は、行動識別部285により、画像データ群に含まれる各画像データの個体の位置から、個体の行動を識別し、識別結果情報を識別結果データベース220に格納する(ステップS1203)。
続いて、情報収集部281は、照合部286により、識別結果データベース220に格納された識別結果情報が示す行動パターンと、異常行動パターンデータベース230とを照合し(ステップS1204)、この行動パターンが、異常行動であるか否かを判定する(ステップS1205)。
ステップS1205において、異常行動ではない場合には、情報収集部281は、処理を終了する。
ステップS1205において、異常行動である場合、情報収集部281は、照合部286により、識別された行動パターンに関する行動情報を行動データベース240に格納する(ステップS1206)。
続いて、情報収集部281は、評価値算出部287により、識別された行動パターン毎の評価値と、累積評価値とを算出し、行動パターン毎の評価値と累積評価値を含む評価情報を評価データベース270へ格納する(ステップS1207)。
続いて、情報収集部281は、通報判定部288により、閾値データベース260と評価データベース270とを参照し、個体の行動が異常であることを外部機関へ通報するか否かを判定する(ステップS1208)。尚、外部機関とは、例えば、緊急通報受理機関であっても良い。
ステップS1208において通報すると判定された場合、情報収集部281は、通報判定部288による判定結果を評価データベース270に格納し、出力部289により、通報を出力し(ステップS1209)、処理を終了する。
また、ステップS1208において、通報しないと判定された場合、情報収集部281は、通報判定部288による判定結果を評価データベース270に格納し(ステップS1210)、処理を終了する。
以下に、図13乃至図16を参照して、情報収集部281の各部の処理についてさらに説明する。
図13は、画像解析部の処理を説明する図である。図13の例では、画像データ取得部283が、時刻t1、t2、t3、t4、t5、t6、t7のそれぞれにおいて撮像された画像データを含む画像データ群を取得した場合を示している。
本実施形態の画像解析部284は、各時刻において取得した画像データにおいて、行動の識別対象となる個体を特定する。具体的には、画像解析部284は、例えば、行動の識別対象が人や車両等である場合には、画像解析によって、識別対象の形状等から個体を識別する。
図13の例では、画像解析部284によって、時刻t1に取得された画像データでは、点P1において個体が識別され、時刻t2に取得された画像データでは、点P2において個体が識別され、時刻t3に取得された画像データでは、点P3において個体が識別されたことを示している。時刻t4〜t7において取得された画像データでも、同様に、点P4〜P7において個体が識別される。
図14は、行動識別部による処理を説明する図である。本実施形態の行動識別部285は、画像解析部284によって、画像データ群に含まれる各画像データにおいて個体が識別されると、この個体の行動パターンを識別する。
図14の例では、行動識別部285は、時刻t1に取得された画像ID「pic1」の画像データと、時刻t2に取得された画像ID「pic2」の画像データから、個体は、時刻t1から時刻t2までの間に、点P1から点P2に移動したこと識別する。
したがって、行動識別部285は、例えば、個体に対して個体ID「A」を付与し、個体ID「A」を含む識別結果情報を生成し、識別結果データベース220に格納する。
図14の例では、例えば、行動識別部285は、個体IDが「A」であり、時間が「t1〜t2」であり、位置が点P2の位置を示す緯度・経度(x1,y1)であり、速度がv1であり方向が点P1から点P2へ向かう方向dir1であり、画像IDが「pic1,pic2」である識別結果情報を生成し、識別結果データベース220へ格納する(図4参照)。
図15は、照合部と評価値算出部の処理について説明する図である。本実施形態の照合部286は、画像データ群から識別結果情報が生成されると、この識別結果情報と、異常行動パターンデータベース230とを照合する。そして、照合部286は、識別結果情報が示す行動が異常行動であるか否かを判定する。
図15の例では、照合部286は、時間が「t1からt2」の識別結果情報と、時間が「t2からt3」の識別結果情報と、時間が「t3からt4」の識別結果情報から、個体ID「A」の個体の動作が、行動パターンID「1」の異常行動パターン「往復」であると判定する。また、照合部286は、時間が「t5からt6」の識別結果情報と、時間が「t2からt3」の識別結果情報と、時間が「t6からt7」の識別結果情報から、個体ID「A」の個体の動作が、行動パターンID「2」の異常行動パターン「静止」であると判定する。
つまり、図15の例では、時刻t1〜時刻t7において、個体ID「A」の個体から2パターンの異常行動パターンが検出されたことになる。
照合部286は、異常行動パターンを検出すると、この異常行動を示す行動情報を行動データベース240に格納する。
ここでは、照合部286は、個体ID「A」、時間「t1〜t5」、移動距離「len1」、平均速度「Vave1」、行動パターンID「1」を含む行動情報と、個体ID「A」、時間「t5〜t7」、移動距離「len2」、平均速度「Vave2」、行動パターンID「2」を含む行動情報と、が行動データベース240に格納する(図7参照)。
次に、評価値算出部287は、異常行動パターン毎の評価値を算出する。具体的には、評価値算出部287は、異常行動パターンデータベース230を参照し、検出された異常行動パターンと対応する基準値を取得する。
異常行動パターンデータベース230において、行動パターンID「1」と対応する基準値は「30」であり、行動パターンID「2」と対応する基準値は「20」である(図5参照)。よって、評価値算出部287は、時間「t1からt5」と対応する基準値「30」と、時間「t5からt6」と対応する基準値「20」とを取得する。
次に、評価値算出部287は、画像データベース210を参照し、画像データ群が撮像されたときの環境に関する情報を取得する。具体的には、評価値算出部287は、例えば、画像データ群が撮像された日付から、画像データ群が撮像されたときの季節を示す情報を取得しても良い。
また、評価値算出部287は、例えば、画像データ群を撮像したときの日付と時刻から、画像データが撮像されたときの天候を示す情報を取得しても良い。天候を示す情報は、例えば、行動識別装置200とネットワーク等を介して接続される気象情報提供サーバ等から取得されても良いし、画像データベース210に画像データ群と共に格納されていても良い。
評価値算出部287は、環境に関する情報を取得すると、環境条件データベース250を参照し、該当する環境条件IDを特定する。図15の例では、画像データ群が撮像されたときの環境は、季節は冬であり、天候は悪天候であるため、環境条件ID「1」、「3」が特定される(図8参照)。
次に、評価値算出部287は、時間が「t1からt5」と対応する行動パターンID「1」と対応する基準値「30」に、環境条件ID「1」と対応する倍率「1.5」と、環境条件ID「3」と対応する倍率「1.2」と、を乗算した値を、行動パターンID「1」の評価値とする。
同様に、評価値算出部287は、時間が「t5からt7」と対応する行動パターンID「2」と対応する基準値「20」に、環境条件ID「1」と対応する倍率「1.5」と、環境条件ID「3」と対応する倍率「1.2」と、を乗算した値を、行動パターンID「2」の評価値とする。
したがって、行動パターンID「1」と対応する異常行動「往復」の評価値は54となり、行動パターンID「2」と対応する異常行動「静止」の評価値は36となる。
次に、評価値算出部287は、行動パターンID毎の評価値を累積した累積評価値を算出する。
図16は、評価値算出部による累積評価値の算出を説明する図である。本実施形態の評価値算出部287は、画像データ群から検出された行動パターンID毎の評価値を加算し、累積評価値とする。
図16の例では、個体ID「A」の個体は、時刻t1から時刻t5までは、行動パターンID「1」の異常行動をとっており、評価値が54である。また、この個体は、時刻t5から時刻t7までは、行動パターンID「2」の異常行動をとっており、評価値が36である。したがって、時刻t1から時刻t4までの累積評価値は、評価値54と同じ値となり、時刻t5から時刻t7までの累積評価値は、評価値54に行動パターンID「2」と対応する評価値36を合算した値である「90」となる。
本実施形態では、このようにして、累積評価値を算出する度に、通報判定部288により、閾値データベース260を参照し、個体の異常行動についての通報の要否を判定する。
図16の例では、時刻t7の時点で累積評価値は90であり、外部機関への通報が必要とされる値に達していないため、外部機関への通報は行われない。
本実施形態では、行動パターンID毎の評価値と、累積評価値と、通報判定部288による判定結果とを含む情報を、評価情報として評価データベース270に格納する。
ここで、図10を参照し、例えば、個体ID「A」の個体の画像を含む画像データ群がさらに取得された場合について説明する。
ここでは、画像データ取得部283が、時刻t8から時刻t15までの間に撮像された画像データ群を取得したものとする。
このとき、時刻t7から時刻t10までの間の個体ID「A」の個体の行動パターンは、行動パターンID「2」が示す「静止」であり、この時刻t7から時刻t10は、夜間の時間帯となっている。
したがって、時刻t7から時刻t10までの行動パターンID「2」と対応する評価値は、基準値20に、倍率1.5、1.3、1.2を乗算した値「43.2」となる。また、このときの累積評価値は133.2となる。
このとき、累積評価値は、閾値データベース260の閾値ID「3」と対応する閾値が示す範囲内の値である。ここで、閾値データベース260において、閾値ID「3」と対応する判定結果は「監視継続」である。したがって、通報判定部288は、個体の異常行動を外部機関に通報せず、評価データベース270における、時間「t7からt10」と対応する判定結果を「監視継続」とする。
尚、行動識別処理部280は、判定結果が「監視継続」とされた場合には、画像データ取得部283に、時刻t7から時刻t10までの画像データ群を取得した取得元から、継続して画像データ群を取得させても良い。
また、図10では、時刻t10から時刻t13までの間の個体ID「A」の個体の行動パターンは、行動パターンID「3」が示す「右往左往」である。したがって、時刻t10から時刻t13までの行動パターンID「3」と対応する評価値は、基準値15に、倍率1.5、1.3、1.2を乗算した値「28.08」となる。また、このときの累積評価値は133.2と、28.08とを合算した値「161.28」となる。
このときの累積評価値は、閾値データベース260の閾値ID「2」と対応する閾値が示す範囲内の値である。閾値データベース260において、閾値ID「2」と対応する判定結果は「要注意」である。したがって、通報判定部288は、個体の異常行動を外部機関に通報せず、評価データベース270における、時間「t10からt13」と対応する判定結果を「要注意」とする。尚、判定結果「要注意」となった場合には、例えば、画像データ群が撮像された場所の近傍に設置された監視施設や、予め登録されている通知先等に対して、「要注意」と判定された異常行動を行っている個体が存在することを通知しても良い。
また、図10では、時刻t13から時刻t15までの間の個体ID「A」の個体の行動パターンは、行動パターンID「1」が示す「往復」である。したがって、時刻t13から時刻t15までの行動パターンID「1」と対応する評価値は、基準値30に、倍率1.5、1.3、1.2を乗算した値「56.16」となる。また、このときの累積評価値は161.28と、56.16とを合算した値「217.44」となる。
このとき、累積評価値は、閾値データベース260の閾値ID「1」と対応する閾値が示す範囲内の値である。閾値データベース260において、閾値ID「1」と対応する判定結果は「要通報」である。したがって、通報判定部288は、個体の異常行動を外部機関に通報する。具体的には、通報判定部288は、出力部289により、端末装置300等に対して、現地を確認する必要がある異常行動を行っている個体が存在することを通知する画面を表示させる。
次に、図17を参照して、本実施形態の基準値学習部282の処理について説明する。図17は、行動識別処理部の処理を説明する第二のフローチャートである。
本実施形態の基準値学習部282は、入力受付部291により、出力部289が通報を行った後に、端末装置300等から、現地を確認した結果の入力要求を受け付けたか否かを判定する(ステップS1701)。ステップS1701において、入力要求を受け付けない場合、基準値学習部282は、入力要求を受け付けるまで待機する。
ステップS1701において、入力要求を受け付けた場合、基準値学習部282は、表示制御部292により、端末装置300に対して、確認結果の入力画面を表示させる(ステップS1702)。
続いて、基準値学習部282は、入力受付部291により、端末装置300から、確認結果の入力を受け付けたか否かを判定する(ステップS1703)。ステップS1703において、入力を受け付けない場合、基準値学習部282は、入力を受け付けるまで待機する。
ステップS1703において、入力を受け付けた場合には、基準値学習部282は、入力結果格納部293により、入力結果を評価データベース270に格納する(ステップS1704)。尚、入力結果格納部293による入力結果の格納の詳細は後述する。
続いて、基準値学習部282は、一致判定部294により、評価データベース270を参照して、判定結果が「要通報」とされた評価情報において、判定結果と入力結果とが一致するか否かを判定する(ステップS1705)。ステップS1705において、両者が一致する場合には、基準値学習部282は処理を終了する。
ステップS1705において、両者が一致しない場合、基準値学習部282は、基準値更新部295により、異常行動パターンデータベース230における、この評価情報に含まれる行動パターンIDと対応する基準値を更新する(ステップS1706)。基準値更新部295による基準値の更新の詳細は後述する。
続いて、基準値学習部282は、照合部286により、基準値を更新した後の異常行動パターンデータベース230と、評価情報の元となる識別結果情報と、異常行動パターンデータベース230とを照合し、評価情報を生成する(ステップS1707)。
言い換えれば、基準値学習部282は、情報収集部281に対して、ステップS1707の処理は、図12のステップS1204からステップS1210までの処理を実行させる。
続いて、基準値学習部282は、一致判定部294により、ステップS1707において生成された評価情報の判定結果と、ステップS1703において入力された入力結果とが一致するか否かを判定する(ステップS1708)。
ステップS1708において、両者が一致しない場合、基準値学習部282は、ステップS1706へ戻る。ステップS1708において、両者が一致した場合、基準値学習部282は処理を終了する。
以下に、図18を参照して、端末装置300に表示される確認結果の入力画面について説明する。図18は、入力画面の一例を示す図である。
図18に示す画面181は、例えば、端末装置300に表示される。端末装置300は、例えば、通報を受けて、異常行動が行われている現場へ出向き、現場の確認を行った人物(以下、確認者と呼ぶ)等により所持される端末装置であっても良い。
画面181には、メッセージ182と、個体の行動時間の表示欄183と、入力欄184とを有する。
メッセージ182は、現場の状況の確認と、確認した結果の入力を促すメッセージである。尚、図18の例では、メッセージ182は、確認者に対し、通報が必要な異常行動であったかを判断させるメッセージとなっているが、メッセージの内容はこれに限定されない。メッセージ182は、例えば、個体の行動が異常行動であったか否かの確認を促すメッセージ等であっても良い。
表示欄183には、個体IDと、異常行動とされる行動パターンが検出された時間帯を示す情報とが表示される。図18の例では、評価データベース270において、判定結果が「要通報」とされた時間帯と、その直前の時間帯であって、判定結果が「要注意」とされた時間帯と、を、異常行動とされる行動パターンが検出された時間帯として表示している。具体的には、表示欄183には、時刻t10から時刻t15が、異常行動とされる行動パターンが検出された時間帯として表示されている。
尚、表示欄183に表示される時間帯は、図18に示す例に限定されない。例えば、表示欄183には、判定結果が「要通報」とされた時間帯と連続している時間帯(時刻t1から時刻t15)を表示させても良い。
また、図18の例では、入力欄184には、評価データベース270において、要通報とされた行動パターンIDと対応する確認結果の入力欄と、要注意とされた行動パターンIDと対応する確認結果の入力欄とが含まれる。
尚、入力欄184には、時刻t1から時刻t15までに検出された行動パターンID全てと対応する確認結果の入力欄が表示されても良い。
本実施形態では、例えば、入力欄184の行動パターン「往復」について、通報の要否のうち、「要」が選択された場合、確認者によって通報が必要であったと判断されたことを示す。よって、この場合、入力結果格納部293は、評価データベース270における時間「t13からt15」と対応する確認結果は「要通報」とされる。よって、この場合、判定結果は、確認結果と一致していることがわかる。
また、例えば、入力欄184の行動パターン「右往左往」について、通報の要否のうち、「要」が選択された場合、「要確認」と判定されなかったが、確認者によって通報が必要であったと判断されたことを示す。よって、この場合、入力結果格納部293は、評価データベース270における時間「t10からt13」と対応する確認結果は「要通報」とされる。よって、この場合、判定結果と確認結果とが一致していないことがわかる。
尚、本実施形態では、例えば、評価データベース270において、「要通報」と判定された評価情報に含まれる個体IDと対応する行動パターンID毎に、確認結果の入力欄を表示させても良い。
具体的では、例えば、評価データベース270において、個体ID「A」と対応する行動パターンIDは、行動パターンID「1」、「2」、「3」である。よって、入力欄184は、各行動パターンIDの確認結果の入力欄を含むように表示させても良い。
次に、基準値更新部295による基準値の更新について説明する。基準値更新部295は、評価データベース270における判定結果と、確認結果とを一致させるように、異常行動パターンデータベース230の行動パターンIDの基準値を変更する。
本実施形態では、例えば、評価データベース270において、判定結果が「要通報」であり、確認結果が「不要」であった場合には、確認者による現地の確認により、通報は不要であったと判断されたことを示す。この場合、基準値更新部295は、累積評価値が小さくなるように、行動パターンIDと対応する基準値を更新する。具体的には、基準値更新部295は、異常行動パターンデータベース230において、該当する行動パターンIDと対応する基準値を小さくする。
また、例えば、評価データベース270において、判定結果が「要通報」以外の結果であり、確認結果が「要通報」であった場合には、確認者による現地の確認により、実際は通報が必要であるか、又は、通報することが好ましいと判断されたことを示す。したがって、この場合、基準値更新部295は、累積評価値が大きくなるように、行動パターンIDと対応する基準値を更新する。具体的には、基準値更新部295は、異常行動パターンデータベース230において、該当する行動パターンIDと対応する基準値を大きくする。
本実施形態では、このように、異常行動パターンデータベース230の行動パターンIDの基準値を更新することで、実際に確認者が現場を確認した結果と、異常行動パターンデータベース230と行動情報との照合による判定結果と、が一致する確率を向上させることができる。
したがって、本実施形態によれば、異常行動とされる行動パターンの識別の精度を向上させることができる。
また、本実施形態によれば、画像データから個体の行動パターンを識別するため、通信環境が悪い状況や通信端末を持たない人物でも、監視対象とすることができる。さらに、本実施形態では、例えば、飛行体等から撮像された画像データ群を用いることもできるため、従来の監視カメラでは対応できない広範囲の監視を行うことができる。
また、本実施形態では、時系列で取得した画像データ群を用いて行動パターンの識別を行うため、静止画像だけでは判断できない行動目的を検知することが出来る。さらに、本実施形態によれば、個人を特定しない形で認識可能なので個人のプライバシーを侵害する恐れを排除できる。
また、本実施形態では、例えば、過疎地や軍用地、廃墟、山岳地帯等、人があまり立ち入らない地域等に適用すれば、より効果的である。
また、本実施形態では、例えば、行動パターンIDの基準値を所定の回数変更しても、判定結果と確認結果とが一致しない場合、環境条件データベース250の環境条件IDと対応する倍率の値や、閾値データベース260の上限又は下限の値を変更しても良い。
また、例えば、本実施形態の基準値更新部295は、評価データベース270において、個体IDが同一であり、且つ、時間が連続している評価情報のうち、判定結果と確認結果が一致しない評価情報が複数存在する場合には、全ての評価情報において、判定結果と確認結果が一致するまで、基準値を変更する処理を行っても良い。
開示の技術では、以下に記載する付記のような形態が考えられる。
(付記1)
画像データに基づき識別された識別対象物の行動パターンと、記憶部に格納された異常行動パターンと基準値を対応付けた情報とを照合し、異常行動パターンとされた前記行動パターンが行われた期間と、前記異常行動パターンと対応する基準値に応じた第一の指標値を算出し、
前記第一の指標値と閾値との比較により、異常行動の通報の要否を判定し、
前記通報の要否の確認の結果の入力を受け付けて、前記確認の結果に応じて前記基準値を更新する、処理をコンピュータに実行させる行動識別プログラム。
(付記2)
前記通報の要否の判定の結果と、前記通報の要否の確認の結果とが一致した場合に、前記基準値を更新せず、
前記通報の要否の判定の結果と、前記通報の要否の確認の結果とが一致しない場合に、前記基準値を更新する、処理を前記コンピュータに実行させる、付記1記載の行動識別プログラム。
(付記3)
前記通報の要否の判定の結果が要通報であり、前記確認の結果が通報不要であった場合、該当する異常行動パターンと対応する基準値を小さくする、処理をコンピュータに実行させる付記2記載の行動識別プログラム。
(付記4)
前記通報の要否の判定の結果が通報不要であり、前記確認の結果が要通報であった場合、該当する異常行動パターンと対応する基準値を大きくする、処理をコンピュータに実行させる付記2又は3記載の行動識別プログラム。
(付記5)
前記通報の要否の確認結果を入力させる入力画面を外部装置に表示させる、付記1乃至4の何れか一項に記載の行動識別プログラム。
(付記6)
前記第一の指標値は、
前記期間において、前記行動パターンと合致した異常行動パターン毎に、前記基準値を用いて算出された第二の指標値を合算した値である、付記1乃至5の何れか一項に記載の行動識別プログラム。
(付記7)
記憶部に環境と倍率とを対応付けた情報が格納されており、
前記画像データと共に、前記画像データの撮像時の環境を示す情報を取得し、
前記撮像時の環境と対応する倍率と、前記行動パターンと合致した異常行動パターンと対応する基準値とを乗算して前記第二の評価値を算出する、処理を前記コンピュータに実行させる付記6記載の行動識別プログラム。
(付記8)
コンピュータによる行動識別方法であって、前記コンピュータが、
画像データに基づき識別された識別対象物の行動パターンと、記憶部に格納された異常行動パターンと基準値を対応付けた情報とを照合し、異常行動パターンとされた前記行動パターンが行われた期間と、前記異常行動パターンと対応する基準値に応じた第一の指標値を算出し、
前記第一の指標値と閾値との比較により、異常行動の通報の要否を判定し、
前記通報の要否の確認の結果の入力を受け付けて、前記確認の結果に応じて前記基準値を更新する、行動識別方法。
(付記9)
画像データに基づき識別された識別対象物の行動パターンと、記憶部に格納された異常行動パターンと基準値を対応付けた情報とを照合し、異常行動パターンとされた前記行動パターンが行われた期間と、前記異常行動パターンと対応する基準値に応じた第一の指標値を算出する指標値算出部と、
前記第一の指標値と閾値との比較により、異常行動の通報の要否を判定する通報判定部と、
前記通報の要否の確認の結果の入力を受け付けて、前記確認の結果に応じて前記基準値を更新する基準値更新部と、を有する行動識別装置。
本発明は、具体的に開示された実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。