JP2009205594A - 警備装置および不審者判定方法 - Google Patents

Abstract

【課題】画像から高精度に不審者を判定する警備装置を提供する。
【解決手段】監視カメラ１２０によって撮像された物体の画像情報から検出された物体の動作状態を表す情報であって、物体の動作の種類を表す動詞と物体の動作に関連する名詞である格要素との間の意味関係を示す格フレームによって表された状態情報を記憶する言語情報ＤＢ１７２と、不審者の動作の種類を表す動詞と不審者の動作に関連する名詞である格要素に関する条件とを含む不審者情報を記憶する不審者情報ＤＢ１７４と、状態情報に含まれる動詞が不審者情報に含まれる動詞と一致し、かつ、状態情報に含まれる格要素が不審者情報に含まれる条件を満たす状態情報を言語情報ＤＢ１７２から取得し、取得した状態情報によって動作状態が表される物体を不審者であると判定する不審者判定部１４３と、を備えた。
【選択図】 図２

Description

この発明は、監視カメラなどの撮像装置によって撮影された画像から不審者を判定する警備装置および不審者判定方法に関する。

従来から、センサや監視カメラを用いて監視領域内の人物の監視や特定を行う警備システムが知られている。このような警備システムでは、センサで検知された指紋や網膜、監視カメラで撮影された顔画像などの生体情報を、事前に登録した生体情報と照合することにより人物を特定し、不審者や不要な訪問者を排除できるようにしている。

例えば、特許文献１では、訪問担当者に配布されたＩＤカード、および訪問担当者の顔画像などの生体情報をそれぞれ事前に登録された情報と照合することにより、住宅への訪問者を特定する訪問者特定システムが提案されている。

特開２００７−２４１５０１号公報

しかしながら、従来の方法では、顔画像やカード情報などの一致のみによって人物を特定するため、不審者を適切に検出することができない場合があった。例えば、偽造されたＩＤカードが利用された場合や、顔画像が不鮮明なため誤って照合された場合などには、訪問者の不審な行動が監視カメラで撮影されていたとしても、不審者として検出することができなかった。このため、逆に、監視領域への正当な入館者が不審者として判定され、監視センタに誤った警報が送信されてしまう。この場合、監視センタで待機している警備員が誤報にもかかわらず現場の監視領域に駆けつけてしまうため、警備員の労力が過大となるという問題があった。

本発明は、上記に鑑みてなされたものであって、監視カメラなどで撮影された画像から高精度に不審者を判定し、誤報を防止することができる警備装置および不審者判定方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、撮像手段によって撮像された物体の画像情報から検出された前記物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を記憶する状態情報記憶手段と、不審者の動作状態として予め定められた情報であって、前記不審者の動作の種類を表す動詞と、前記不審者の動作に関連する名詞である格要素に関する条件とを含む不審者情報を記憶する不審者情報記憶手段と、前記状態情報に含まれる動詞が前記不審者情報に含まれる動詞と一致し、かつ、前記状態情報に含まれる格要素が前記不審者情報に含まれる前記条件を満たす前記状態情報を前記状態情報記憶手段から取得し、取得した前記状態情報によって動作状態が表される前記物体を不審者であると判定する判定手段と、を備えたことを特徴とする。

また、請求項２にかかる発明は、請求項１に記載の警備装置において、前記状態情報は、前記物体の識別情報である前記格要素を含み、前記状態情報記憶手段に記憶されている前記状態情報の前記識別情報ごとに、前記識別情報の前記物体が不審者であると判定されたか否かを表す判定結果を含む人物情報を生成する生成手段と、生成された前記人物情報を表示する表示手段と、をさらに備えたこと、を特徴とする。

また、請求項３にかかる発明は、請求項２に記載の警備装置において、他の警備装置で生成された前記人物情報である外部人物情報を前記他の警備装置から受信する受信手段をさらに備え、前記表示手段は、さらに受信した前記人物情報を表示すること、を特徴とする。

また、請求項４にかかる発明は、請求項２に記載の警備装置において、他の警備装置が記憶している前記状態情報である外部状態情報を前記他の警備装置から受信する受信手段をさらに備え、前記生成手段は、受信した前記外部状態情報または前記状態情報記憶手段に記憶されている前記状態情報の前記識別情報ごとに、前記人物情報を生成すること、を特徴とする。

また、請求項５にかかる発明は、請求項２に記載の警備装置において、他の撮像手段によって撮像された物体の画像情報である外部画像情報を記憶する他の警備装置から、前記外部画像情報を受信する受信手段をさらに備え、前記表示手段は、さらに受信した前記外部画像情報を表示すること、を特徴とする。

また、請求項６にかかる発明は、請求項２に記載の警備装置において、前記状態情報は、さらに前記物体の動作が発生した時刻である前記格要素を含み、前記生成手段は、前記状態情報記憶手段から取得した前記状態情報の前記識別情報および前記時刻ごとに前記人物情報を生成し、前記画像情報を記憶する画像情報記憶手段と、前記画像情報記憶手段に記憶された前記画像情報の中から、前記人物情報に対応する前記時刻の前記画像情報を取得する画像情報取得手段と、をさらに備え、前記表示手段は、さらに取得された前記画像情報を表示すること、を特徴とする。

また、請求項７にかかる発明は、請求項２に記載の警備装置において、前記状態情報記憶手段に記憶された前記状態情報、および生成された前記人物情報の少なくとも一方を他の警備装置に送信する送信手段をさらに備えたこと、を特徴とする。

また、請求項８にかかる発明は、請求項１に記載の警備装置において、前記不審者情報記憶手段は、前記物体が予め登録された物体であるか否かを表す登録状態をさらに含む前記不審者情報を記憶し、前記判定手段は、前記状態情報が表す動作状態の前記物体の登録状態が前記不審者状態に含まれる登録状態と一致し、かつ、前記状態情報に含まれる動詞が前記不審者情報に含まれる動詞と一致し、かつ、前記状態情報に含まれる格要素が前記不審者情報に含まれる前記条件を満たす前記状態情報を前記状態情報記憶手段から取得し、取得した前記状態情報によって動作状態が表される前記物体を不審者であると判定すること、を特徴とする。

また、請求項９にかかる発明は、警備装置で実行される不審者判定方法であって、前記警備装置は、撮像手段によって撮像された物体の画像情報から検出された前記物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を記憶する状態情報記憶手段と、不審者の動作状態として予め定められた情報であって、前記不審者の動作の種類を表す動詞と、前記不審者の動作に関連する名詞である格要素に関する条件とを含む不審者情報を記憶する不審者情報記憶手段と、を備え、判定手段が、前記状態情報に含まれる動詞が前記不審者情報に含まれる動詞と一致し、かつ、前記状態情報に含まれる格要素が前記不審者情報に含まれる前記条件を満たす前記状態情報を前記状態情報記憶手段から取得する取得ステップと、判定手段が、取得した前記状態情報によって動作状態が表される前記物体を不審者であると判定する判定ステップと、を備えたことを特徴とする。

本発明によれば、画像情報から検出した人物等の物体の動作状態をテキスト情報で表した状態情報を、不審者の行動パターンや特徴を定めた不審者情報と比較することにより、撮影された画像内の人物が不審者であるか否かを判定することができる。このため、監視カメラなどで撮影された画像から高精度に不審者を判定し、誤報を防止することができるという効果を奏する。また、各種情報を装置間で共有する場合、不審者の判断が困難な場合に遠隔地で確認および不審者の判断を行えるという効果を奏する。

以下に添付図面を参照して、この発明にかかる警備装置および不審者判定方法の最良な実施の形態を詳細に説明する。

（第１の実施の形態）
第１の実施の形態にかかる警備装置は、監視カメラで撮像した画像情報から、監視対象物である人物の行動を解析し、解析結果を深層格フレーム構造で表して記憶部に保存する。そして、記憶部に保存した深層格フレームと、事前に定められた不審者の行動パターンを表す不審者情報と比較することにより、撮像した画像情報内の人物が不審者であるか否かを判定する。

第１の実施の形態について、添付図面を参照して説明する。まず、第１の実施の形態が適用される警備システムの構成例について説明する。図１は、第１の実施の形態にかかる警備システム１０の構成を示すブロック図である。図１に示すように、警備システム１０は、警備装置１００ａ、１００ｂと監視センタ２００とを備えている。警備装置１００ａ、１００ｂと監視センタ２００は、電話回線、無線ネットワーク、インターネットなどのネットワーク３００を介して接続されている。

警備装置１００ａ、１００ｂは、例えばそれぞれ独立した世帯である親世帯、子世帯に設置される。なお、警備装置１００ａ、１００ｂは同様の構成を備えるため、以下では単に警備装置１００という場合がある。警備装置１００の構成の詳細については後述する。

監視センタ２００は、監視領域の異常を検知した警備装置１００からの通報を受け、待機中の警備員に対して異常が検知された監視領域（不図示）へ向かう旨の指示を出すとともに、必要に応じて警察や消防等の関係機関への通報を行う。

次に、警備装置１００の構成の詳細について説明する。図２は、第１の実施の形態にかかる警備装置１００のブロック図である。図２に示すように、警備装置１００は、センサ１１０と、監視カメラ１２０と、警備操作部１３０とを備えている。

センサ１１０は、警備対象である監視領域に設置されており、主に侵入者等の異常を検知する目的で設置された人感センサである。センサ１１０は、人の存在や扉の開閉を検知した場合に検知信号を出力する。センサ１１０は、例えば赤外線の受光量の変化をもとに人の存在を検出する赤外線センサ、赤外線等の受信が遮断されることで人の存在を検出する遮断センサ、電磁波の乱れで人の存在を検知する電波センサ、およびマグネットにより扉の開閉を検出するマグネットセンサなどの監視領域の異常を検出する各種センサによって構成できる。

監視カメラ１２０は、警備対象である監視領域を撮像する。監視カメラ１２０は、主に監視領域である住居の出入口付近や敷地内への出入口付近に設置されている。

次に、警備操作部１３０について説明する。警備操作部１３０は、検知情報受信部１３１と、画像情報受信部１３２と、警備状態切替部１３３と、操作パネル制御部１３４と、操作パネル１６０と、送受信部１３５と、警備状態記憶部１３６と、第１検出部１３７と、第２検出部１３８と、言語構造構築部１３９と、言語情報取得部１４０と、画像情報取得部１４１と、人物情報生成部１４２と、不審者判定部１４３と、タイマー１５０と、ＨＤＤ（Hard Disk Drive）１７０と、を備えている。

検知情報受信部１３１は、センサ１１０によって異常が検知された場合に送出される検知情報を受信する。検知情報は、センサ１１０から送出される検知信号である。センサ１１０が複数設置されている場合、検知情報は検知信号およびセンサ１１０を識別するセンサＩＤを含む。画像情報受信部１３２は、監視カメラ１２０によって撮像された画像情報を取得する。

警備状態切替部１３３は、操作パネル制御部１３４によって受付けた警備状態を警備状態記憶部１３６に格納する。

警備状態記憶部１３６は、現在の警備装置１００の警備状態である警備モードまたは警備解除モードのいずれかを記憶する。なお、警備状態記憶部１３６は、ハードディスク、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。

ここで、警備モードとは、センサ１１０が異常を検知して検知情報を取得した場合に、警備領域での異常を知らせる警報情報をネットワーク３００で接続されている監視センタ２００に送信する状態をいう。また、警備解除モードとは、上記検知情報を取得した場合でも異常を知らせる警報情報を監視センタ２００に送信しない状態をいう。

操作パネル制御部１３４は、操作パネル１６０への表示情報の出力や、操作パネル１６０から入力された検索キー等の入力情報の取得等の制御を行う。

操作パネル１６０は、ＬＣＤ（Liquid Crystal Display）等の液晶パネルから構成され、液晶パネル上に表示された操作ボタンの押下等によって上述した警備モードまたは警備解除モードのいずれかの警備状態を入力する。操作パネル１６０は、入力受付部１６１と、言語情報表示部１６２と、映像表示部１６３とを備えている。

入力受付部１６１は、ユーザが、映像ＤＢ（データベース）１７１に記憶されている画像や映像を検索して取得するためのキーワードや文章等の入力を受け付ける。入力受付部１６１には、上述した深層格フレームとして構成する格要素（深層格）や、人名、または、深層格の１つである行動名を、プルダウンメニューで表示されたウィンドウ等から選択して検索することや、これらのプルダウンメニューに表示されていないキーワードや文章等を指定することも可能である。

言語情報表示部１６２は、入力受付部１６１が入力を受け付けたキーワードや文章等を含む深層格フレームを構成する格要素（深層格）の内容を表示する。ユーザは、入力受付部１６１に表示されたボタン等を押下することによって、映像表示部１６３に画像や映像を表示させたり、または言語情報表示部１６２に格要素（深層格）の内容を要約して表示させることも可能である。

映像表示部１６３は、画像情報取得部１４１が取得した画像や映像を表示する。

送受信部１３５は、ネットワーク３００を介して監視センタ２００との間で各種情報を送受信する。例えば、送受信部１３５は、監視カメラ１２０が撮像した画像情報を監視センタ２００に送信する。また、送受信部１３５は、センサ１１０から検知情報を受信した場合で、かつ警備状態記憶部１３６に記憶された現在の警備状態に警備モードが記憶されている場合に、警報情報を監視センタ２００に送信する。

ＨＤＤ１７０は、物体の動作検出に関する各種データを記憶する。具体的には、ＨＤＤ１７０は、映像ＤＢ１７１と、言語情報ＤＢ１７２と、規則ＤＢ１７３と、不審者情報ＤＢ１７４と、人物情報ファイル１７５と、を格納している。なお、各ＤＢまたはファイルを、光ディスク、メモリカードなどのＨＤＤ１７０以外の記憶媒体に格納するように構成してもよい。

映像ＤＢ１７１は、監視カメラ１２０が撮像した画像や映像を、その撮像された時間（例えば、撮像開始時刻、撮像終了時刻）および深層格フレームの深層格フレームＩＤ（後述）と共に記憶する。

言語情報ＤＢ１７２は、物体の動作状態を深層格フレーム構造で表した状態情報を、映像ＤＢ１７１に記憶されている画像や映像に対応付けて記憶する。なお、深層格フレーム（以下、単に格フレームとも言う）とは、動詞を基準として、動詞に対する名詞の意味関係を深層格として表した言語構造のことである。具体的には、映像ＤＢ１７１に記憶される画像や映像と言語情報ＤＢ１７２とは、深層格フレームＩＤ（後述）によって対応付けられている。

図３は、言語情報ＤＢ１７２に記憶される状態情報のデータ構造の一例を示す図である。図３に示すように、状態情報は、格フレームを識別する格フレームＩＤ（深層格フレームＩＤ）と、動作（行動）の種類を表す行動名と、動作に関連する名詞である格要素（深層格）とを含んでいる。深層格には、主格、属性格、場所格、時間格、源泉格、目標格、対象格、および道具格が含まれる。

主格は、動作を引き起こす主体を表す。属性格は、主格に関する情報をいう。例えば、属性格は、身長高、体型、上半身色、下半身色、頭色、顔情報、および歩容情報等を含む。

顔情報および歩容情報は、さらに詳細な要素に分けられる。例えば、顔情報は、顔の特徴を表す顔特徴、視線方向、マスクの有無、サングラスの有無、性別、および年代などの要素を含む。また、歩容情報は、歩幅、姿勢、脚長、および歩速などの要素を含む。

場所格は、動作や状態が起こる場所を表す。例えば、場所格は、頭部位置、***置、手位置、顔位置、および脚部位置等を含む。

時間格は、動作や状態が起こる時間を表す。例えば、時間格は、現在時刻を表す時刻、動作が開始された時刻を表す動作開始時刻、動作が終了した時刻を表す動作終了時刻、および動作が発生した年月日等を表す。

源泉格は、移動や状態変化などの起点を表す。例えば、源泉格は、主格が移動や動作等を行う起点の位置を表す場所情報、および起点での主格の属性を表す属性情報を含む。

目標格は、移動や状態変化などの終点を表す。例えば、目標格は、主格が移動や動作等を行う終点の位置を表す場所情報、および終点での主格の属性を表す属性情報を含む。

対象格は、動作や状態の対象となる事物を表す。対象格は、固有の識別情報である対象ＩＤ、および固有の情報である属性情報を含む。

道具格は、動作の補助的手段を表す。道具格は、固有の識別情報である道具ＩＤ、および固有の情報である属性情報を含む。

なお、利用できる深層格はこれらに限られず、例えば精神的事象の経験者を表す経験者格などの、その他のあらゆる深層格を用いることができる。

図４は、言語情報ＤＢ１７２に記憶される状態情報の具体例を示す図である。図４は、人物Ａ（主格）が、「しゃがむ」という行動を検出したときに生成される状態情報の一例を示している。この場合、属性格には、人物Ａの身長高、体型などの具体的な値が設定される。また、場所格および時間格には、それぞれ人物Ａがしゃがんだときの位置や時刻に関する具体的な値が設定される。

図２に戻り、規則ＤＢ１７３は、後述する第２検出部１３８が、言語情報ＤＢ１７２に保存された格フレームを比較して動作を検出するときに参照する行動検出規則を記憶する。図５は、規則ＤＢ１７３に記憶される行動検出規則のデータ構造の一例を示す図である。

図５に示すように、行動検出規則は、比較元となる情報であって、時間的に前の状態情報である前格フレームと、比較先となる情報であって、時間的に後の状態情報である後格フレームと、その他の条件と、検出される状態情報とを対応づけた形式となっている。

前格フレームおよび後格フレームは、それぞれ行動名と格情報とを含んでいる。格情報には、比較すべき少なくとも１つの深層格を設定する。

前格フレームおよび後格フレームは、２つの格フレームが差異を有するパターンを表す情報（差分情報）に相当する。すなわち、ある２つの格フレームが、それぞれ前格フレームと後格フレームとで設定された行動名および格情報と適合するとき、この２つの格フレーム間には差異が存在すると判断される。例えば、図５では、ある格フレーム（格フレーム１）の行動名が「存在する」、場所格に含まれる***置が「Ａ」であり、他の格フレーム（格フレーム２）の行動名が「存在する」、場所格に含まれる***置が「Ｂ」であるとき、格フレーム１と格フレーム２との間には差分が存在すると判断される。そして、差分が存在すると判断された場合、差分に対応する行動として、「検出される状態情報」欄に記載された行動名の行動が検出される。

その他の条件には、必要に応じて、比較する状態情報が満たすべき条件が設定される。例えば、同図の行動名「しゃがむ」の行動を検出する行動検出規則では、前格フレームに含まれる頭部位置Ｂと、後格フレームに含まれる頭部位置Ｃとが、Ｂ＞Ｃの関係を満たすことが条件として設定されている。

検出される状態情報は、検出される行動の行動名と、保存すべき少なくとも１つの深層格を表す格情報とを含んでいる。同図では、例えば、行動名「移動する」の行動が検出された場合は、前格フレームに含まれる***置Ａおよび後格フレームに含まれる***置Ｂを、それぞれ検出した行動に対応する格フレームの源泉格の***置Ａおよび目標格の***置Ｂとして保存する例が示されている。

なお、行動検出規則は同図に示す形式に限られるものではなく、複数の状態情報間の差分に応じて予め定められた行動を決定可能なものであればあらゆる形式の規則を適用できる。

不審者情報ＤＢ１７４は、不審者の動作状態を表す行動パターンとして予め定められた不審者情報を記憶する。図６は、第１の実施の形態の不審者情報ＤＢ１７４に記憶された不審者情報のデータ構造の一例を示す図である。図６に示すように、不審者情報は、不審者の動作の種類を表す行動名と、不審者の動作に関連する深層格（格情報）と、当該深層格が満たすべき条件とを含んでいる。

同図の網掛け部は、行動名が「きょろきょろする」である場合であって、かつ場所格の***置が「玄関前」、すなわち、玄関前できょろきょろしている場合を不審者または不審行動として記憶している例を示している。

なお、不審者情報ＤＢ１７４に記憶される行動名や、深層格の種類等は、予めユーザによって記憶される。

図２に戻り、人物情報ファイル１７５は、言語情報ＤＢ１７２に記憶された格フレームから、人物ごとに生成された来訪日時、来訪回数、および不審判定結果などを含む人物情報を記憶したファイルである。

図７は、人物情報ファイル１７５に記憶される人物情報のデータ構造の一例を示す図である。図７に示すように人物情報は、人物を識別する人物名と、不審者であると判定された場合の不審要因と、来訪回数と、来訪回数分の来訪データとを含んでいる。来訪データには、生成元である格フレームをアクセスするためのファイルパス、行動開始日、行動終了日などの来訪者の来訪状況を表す情報が記憶される。

人物情報は、監視カメラ１２０による監視領域の監視状況を、操作パネル１６０に表示することによりユーザに提示するための情報である。なお、後述するように、人物情報ファイル１７５を、親世帯の警備装置１００ａおよび子世帯の警備装置１００ｂで共有可能とするため、ある世帯の監視状況を他の世帯で表示し確認することができる。

図２に戻り、第１検出部１３７は、画像情報受信部１３２によって取得された画像情報を解析することにより、画像情報から物体の動作状態を検出する。また、第１検出部１３７は、検出した動作状態を表す状態情報を生成して言語情報ＤＢ１７２に保存する。

第１検出部１３７は、例えば画像情報から人物領域を抽出することにより、人物が「存在する」という動作状態を検出する。また、第１検出部１３７は、検出した人物の視線方向を検出することにより、当該人物の「見る」という動作状態を検出する。また、第１検出部１３７は、人物以外の他の物体を画像情報から抽出し、抽出した物体が新たに現れた場合には「取り出す」という動作状態を、抽出した物体が以前から存在し、人物の手の位置と重なった場合には「触る」という動作状態を検出する。

なお、第１検出部１３７が人物または物体を抽出する方法としては、連続する画像情報の背景を比較することにより抽出した変動領域を人物領域とする方法や、人物パターンまたは物体パターンと照合することにより人物または物体を抽出する方法などの、従来から用いられているあらゆる方法を適用できる。また、第１検出部１３７が人物の視線方向を検出する方法としては、顔領域パターンと照合することにより顔領域を抽出するとともに視線方向を検出する方法などの従来から用いられているあらゆる方法を適用できる。

第２検出部１３８は、言語情報ＤＢ１７２に保存された２つの状態情報が規則ＤＢ１７３に保存された行動検出規則に適合するか否かを判定することによって、新たな行動を検出する。

具体的には、第２検出部１３８は、まず、第１検出部１３７によって検出され、言語情報ＤＢ１７２に保存された状態情報のうち、時刻が連続する２つの状態情報を取得する。次に、第２検出部１３８は、取得した２つの状態情報の行動名および格情報が一致する行動検出規則を規則ＤＢ１７３から取得する。そして、第２検出部１３８は、行動検出規則が取得できた場合に、行動検出規則で定められた行動を新たな行動として検出する。

言語構造構築部１３９は、映像ＤＢ１７１に記憶された画像や映像から抽出した物体の動作状態の画像や映像やキーワードや文章等から、深層格フレームによって表された状態情報を構築する。

言語情報取得部１４０は、入力受付部１６１が入力を受け付けた検索キーが、キーワードや文章等であるか否かを判定し、検索キーが、キーワードや文章等であると判定した場合には、言語情報ＤＢ１７２に記憶する状態情報に含まれる動作（行動）の種類を表す行動名や、動作に関連する名詞である格要素（深層格）に記憶されているものであるか否かを判定し、検索キーとして入力が受け付けられたキーワードや文章等を含む深層格フレームを操作パネル１６０に表示する。

また、言語情報取得部１４０は、入力受付部１６１が入力を受け付けたキーワードや文章等に人名が含まれているか否かを判定し、人名が含まれていると判定した場合には、言語情報ＤＢ１７２に記憶される深層格フレームの１つである主格として記憶されているか否かを判定する。

さらに、言語情報取得部１４０は、言語情報ＤＢ１７２に記憶される深層格フレームの１つである主格として人名が記憶されていると判定した場合に、さらにその人名に対応する顔情報が属性格に記憶されているか否かを判定する。

また、言語情報取得部１４０は、言語情報ＤＢ１７２に記憶される深層格フレームの１つである主格として人名が記憶されていると判定した場合であって、さらにその人名に対応する顔情報が属性格に記憶されていないと判定した場合には、入力受付部１６１が、顔画像の入力を受け付けた顔画像から深層格フレームの１つである顔情報を抽出する。

さらに、言語情報取得部１４０は、映像ＤＢ１７１が記憶する画像や映像に含まれる、撮像開始時刻や、撮像終了時刻を、言語情報ＤＢ１７２に記憶される深層格フレームの１つである時間格にセットする。

なお、上述した言語情報取得部１４０が、入力受付部１６１が入力を受け付けたキーワードや文章、または顔画像等に従って、深層格フレームとして記憶された主格や属性格等の情報を検索する方法は、入力されたキーワード等が、主格や属性格といった深層格フレームとして記憶されている内容と完全に一致する場合の他、部分的に一致する場合、これらの内容に類似性がある場合等も検索できるものとする。ここで、類似性がある場合の検索手法については、その内容の主成分分析を行って検索する手法等、従来から行われている技術によって検索することができる。

言語情報取得部１４０は、さらに、アクセス権限に応じて他の警備装置が記憶している人物情報ファイルや状態情報を当該他の警備装置から取得する機能、および、他の警備装置からの要求に対して人物情報ファイル１７５や言語情報ＤＢ１７２内の状態情報を取得する機能を備える。なお、言語情報取得部１４０は、送受信部１３５を介して他の警備装置との間で各種情報を送受信する。

アクセス権限としては、例えば、人物情報ファイルのみにアクセス可能な「最低限アクセス」、人物情報ファイルおよび状態情報などのテキスト情報全般にアクセス可能な「映像秘匿アクセス」、およびテキスト情報と映像情報を共にアクセス可能な「フルアクセス」などを設定する。「映像秘匿アクセス」では、言語情報ＤＢ１７２に保存された状態情報を参照するできるため、他の警備装置で検出された人物の移動経路や、行動の遷移を表示することが可能となる。

なお、アクセス権限は、例えばＨＤＤ１７０等の記憶部に事前に設定しておき、言語情報取得部１４０が他の警備装置にアクセスするときに参照可能とする。また、アクセス権限は、プライバシーポリシーおよび通信環境などの要因に応じて選択できるものとする。また、アクセス権限は、原則として被参照側で設定する。ただし、犯罪発生時など特定の条件化では、参照側で一時的に設定を変更できるようにしてもよい。

図８〜図１０は、アクセス権限と共有する情報の一例を示す模式図である。図８は、アクセス権限が「最低限アクセス」の場合に共有可能な情報の例を表している。同図に示すように、この場合は、子世帯側の警備装置１００ｂからは、親世帯側の警備装置１００ａの人物情報ファイル１７５のみにアクセスできる。

図９は、アクセス権限が「映像秘匿アクセス」の場合に共有可能な情報の例を表している。同図に示すように、この場合は、警備装置１００ｂからは警備装置１００ａの人物情報ファイル１７５と言語情報ＤＢ１７２とにアクセスできる。

図１０は、アクセス権限が「フルアクセス」の場合に共有可能な情報の例を表している。同図に示すように、この場合は、警備装置１００ｂからは警備装置１００ａの人物情報ファイル１７５と言語情報ＤＢ１７２と映像ＤＢ１７１とにアクセスできる。

図２に戻り、画像情報取得部１４１は、映像ＤＢ１７１に記憶されている監視カメラ１２０が撮像した画像や映像と、上述した言語情報取得部１４０が判定した深層格フレームの深層格フレームＩＤが含まれる映像ＤＢ１７１に記憶された画像や映像を取得して、映像表示部１６３に表示させる。

また、画像情報取得部１４１は、言語情報取得部１４０から、深層格フレームの時間格に、撮像開始時刻、撮像終了時刻をセットすると、受けその撮像開始時刻から撮像終了時刻までの画像や映像を、映像ＤＢ１７１に記憶されている画像や映像の中から抽出して、映像表示部１６３に表示させる。

さらに、画像情報取得部１４１は、タイマー１５０（後述）が計時する映像ＤＢ１７１に画像や映像が記憶されてからの時間が、予めメモリ等の記憶媒体（不図示）に記憶された所定の経過時間を経過している画像や映像を削除する。

画像情報取得部１４１は、さらに、アクセス権限に応じて他の警備装置が記憶している画像や映像を当該他の警備装置から取得する機能、および、他の警備装置からの要求に対して画像や映像を取得する機能を備える。なお、画像情報取得部１４１は、送受信部１３５を介して他の警備装置との間で各種情報を送受信する。

人物情報生成部１４２は、人物情報ファイル１７５に保存する人物情報を生成する。人物情報の生成方法の詳細については後述する。

不審者判定部１４３は、不審者情報ＤＢ１７４に記憶されている不審者情報に適合する状態情報を言語情報ＤＢ１７２から検索することにより、不審者の有無を判定する。具体的には、不審者判定部１４３は、言語情報ＤＢ１７２に記憶されている状態情報のうち、状態情報の行動名が不審者情報の行動名と一致し、かつ状態情報の格要素のうち不審者情報の格情報に記載された格要素が不審者情報の条件を満たす状態情報を検索する。そして、不審者判定部１４３は、条件を満たす状態情報の主格である人物が不審者であると判定する。

タイマー１５０は、監視カメラ１２０によって画像が撮像された時刻からの時間を計時する。

次に、このように構成された第１の実施の形態にかかる警備装置１００による画像からの動作検出処理について図１１を用いて説明する。画像からの動作検出処理とは、監視カメラ１２０で撮影された画像情報から人物等の動作（行動）を検出する処理をいう。図１１は、第１の実施の形態における画像からの動作検出処理の全体の流れを示すフローチャートである。

まず、画像情報受信部１３２は、監視カメラ１２０が撮影した画像情報を入力する（ステップＳ１１０１）。次に、第１検出部１３７が、画像情報から人物領域を検出する（ステップＳ１１０２）。次に、第１検出部１３７は、人物領域が検出されたか否かを判断する（ステップＳ１１０３）。人物領域が検出されなかった場合は（ステップＳ１１０３：ＮＯ）、次の画像情報を入力して処理を繰り返す（ステップＳ１１０１）。

人物領域が検出された場合（ステップＳ１１０３：ＹＥＳ）、第１検出部１３７は、行動名＝「存在する」の格フレームを作成する（ステップＳ１１０４）。なお、作成した格フレームの格フレームＩＤには、他の格フレームと重複しない値を割り当てる。

次に、第１検出部１３７は、検出した人物領域の各部位の検出位置を場所格へ格納する（ステップＳ１１０５）。例えば、第１検出部１３７は、検出した人物領域に含まれる頭部、体、手、顔、および脚部の座標を算出し、それぞれ頭部位置、***置、手位置、顔位置、および脚部位置として場所格に格納する。なお、人物領域の各部位は、部位ごとの照合パターンと照合して検出する方法などの従来から用いられているあらゆる方法により検出できる。

第１検出部１３７は、ステップＳ１１０４〜ステップＳ１１０５と並行して、人物同定処理（ステップＳ１１０６〜ステップＳ１１０７）、顔検出処理（ステップＳ１１０８〜ステップＳ１１１０）、体型判定処理（ステップＳ１１１１〜ステップＳ１１１２）、および歩容検出処理（ステップＳ１１１３〜ステップＳ１１１４）の各処理を実行する。なお、これらの各処理は必ずしも並行して処理する必要はなく、任意の順序で実行するように構成することができる。

人物同定処理では、第１検出部１３７は、抽出済みの人物領域と照合する方法などにより、抽出された人物を同定する（ステップＳ１１０６）。そして、第１検出部１３７は、同定した人物に既に割り当てられているエージェントＩＤ（図２のＡｇｔＩＤ）を、作成した格フレームの主格に格納する（ステップＳ１１０７）。

顔検出処理では、第１検出部１３７は、顔領域パターンと照合する方法などによって顔領域を検出する（ステップＳ１１０８）。また、第１検出部１３７は、照合結果に応じて、視線方向、マスクの有無、およびサングラスの有無などの顔情報を属性格に格納する（ステップＳ１１０９）。視線方向が検出された場合は、第１検出部１３７は、行動名＝「見る」の格フレームを作成する（ステップＳ１１１０）。

体型判定処理では、第１検出部１３７は、照合した人物パターンに予め付与された体型を求める方法などにより、検出した人物の体型を判定する（ステップＳ１１１１）。そして、第１検出部１３７は、判定した体型を、作成した格フレームの属性格に格納する（ステップＳ１１１２）。

歩容検出処理では、第１検出部１３７は、主に検出した人物領域の脚部を解析することにより、歩速、歩幅、脚長、姿勢などの歩容情報を検出する（ステップＳ１１１３）。歩速は、例えば連続する画像情報の脚部の位置を比較することにより算出することができる。そして、第１検出部１３７は、検出した歩容情報を、作成した格フレームの属性格に格納する（ステップＳ１１１４）。

次に、第１検出部１３７は、画像情報から物体を検出する（ステップＳ１１１５）。なお、物体検出処理は、人物領域検出処理（ステップＳ１１０２）とともに実行してもよい。

次に、第１検出部１３７は、物体が検出されたか否かを判断する（ステップＳ１１１６）。物体が検出された場合（ステップＳ１１１６：ＹＥＳ）、第１検出部１３７は、物体が前の画像情報で検出されていたか否か、および物体と人物領域の位置関係に応じて、行動名＝「触る」または「取り出す」の格フレームを作成する（ステップＳ１１１７）。

具体的には、第１検出部１３７は、前の画像情報で検出された物体と照合することなどにより、物体が既に検出されていると判断でき、かつ、人物の手の位置と物体の位置とが重なると判断できる場合は、行動名＝「触る」の格フレームを新たに作成する。また、第１検出部１３７は、未検出の物体が新たに検出されたと判断でき、かつ、人物の手の位置と物体の位置とが重なると判断できる場合は、行動名＝「取り出す」の格フレームを新たに作成する。

ステップＳ１１１６で物体が検出されなかったと判断された場合（ステップＳ１１１６：ＮＯ）、またはステップＳ１１１７で新たな格フレームを作成後、第１検出部１３７は、これまでに作成した格フレームを状態情報ＤＢに保存し（ステップＳ１１１８）、画像からの動作検出処理を終了する。

次に、第１の実施の形態にかかる警備装置１００による状態情報からの動作検出処理について図１２を用いて説明する。状態情報からの動作検出処理とは、言語情報ＤＢ１７２に保存されている状態情報から人物等の動作（行動）を検出する処理をいう。図１２は、第１の実施の形態における状態情報からの動作検出処理の全体の流れを示すフローチャートである。

まず、第２検出部１３８は、言語情報ＤＢ１７２に保存されている状態情報である格フレームのうち、未処理の格フレーム（以下、第１格フレームという）を取得する（ステップＳ１２０１）。次に、第２検出部１３８は、取得した第１格フレームと時間的に連続する格フレーム（以下、第２格フレームという）を言語情報ＤＢ１７２から取得する（ステップＳ１２０２）。

次に、第２検出部１３８は、取得した２つの格フレームが満たす行動検出規則を規則ＤＢ１７３から検索する（ステップＳ１２０３）。具体的には、第２検出部１３８は、第１格フレームおよび第２格フレームの行動名が、それぞれ行動検出規則の前格フレームおよび後格フレームの行動名と一致し、格情報が行動検出規則の格情報が表す条件を満たす行動検出規則を検索する。

例えば、第１格フレームおよび第２格フレームの行動名が共に「存在する」であり、第１格フレームの***置（***置Ａとする）と、第２格フレームの***置（***置Ｂとする）とが異なる場合、図５に示すような規則ＤＢ１７３の最初の行動検出規則が検索される。

次に、第２検出部１３８は、行動検出規則が検索されたか否かを判断し（ステップＳ１２０４）、検索された場合は（ステップＳ１２０４：ＹＥＳ）、検索した行動検出規則の「検出される状態情報」に設定された行動名の格フレームを作成する（ステップＳ１２０５）。

行動検出規則が検索されなかった場合（ステップＳ１２０４：ＮＯ）、または、格フレームを作成後、第２検出部１３８は、未処理の格フレームが存在するか否かを判断する（ステップＳ１２０６）。

未処理の格フレームが存在する場合（ステップＳ１２０６：ＹＥＳ）、第２検出部１３８は、次の格フレームを取得して処理を繰り返す（ステップＳ１２０１）。未処理の格フレームが存在しない場合は（ステップＳ１２０６：ＮＯ）、状態情報からの動作検出処理を終了する。

このような処理により、画像情報からだけでなく、テキスト情報として保存した状態情報から、人物等の対象物の行動を検出することができる。このため、画像の分析のみによって監視対象物の動作を認識する従来の方法と比較して、動作検出処理の処理負荷を低減することが可能となる。

次に、このように構成された第１の実施の形態にかかる警備装置１００による検索処理について図１３を用いて説明する。図１３は、第１の実施の形態における検索処理の全体の流れを示すフローチャートである。

同図は、第１の実施の形態において、ユーザが、警備装置１００に記憶された画像や映像を、キーワードや文章等を入力して検索し、その結果を取得するまでの処理手順を示すフローチャートである。以下の説明では、映像ＤＢ１７１には予め監視カメラ１２０によって撮像された画像や映像が記憶され、言語情報ＤＢ１７２には、その画像や映像に対応付けられて記憶された深層格フレームが記憶されているものとする。

まず、入力受付部１６１が、ユーザから画像や映像を検索するためのキーワードや文章等の入力を受け付けると（ステップＳ１３０１）、言語情報取得部１４０は、入力が受け付けられた検索キーが、キーワードや文章等の言語であるか否かを判定する（ステップＳ１３０２）。

そして、言語情報取得部１４０が、検索キーが、キーワードや文章等が言語であると判定した場合（ステップＳ１３０２：ＹＥＳ）、言語構造構築部１３９は、そのキーワードや文章等の言語を、深層格フレームによって表された状態情報を構築する（ステップＳ１３０３）。続いて、言語情報取得部１４０は、言語情報ＤＢ１７２に記憶されている格フレームを読み込んで（ステップＳ１３０４）、読み込んだ格フレームの中から、ステップＳ１３０１で入力が受け付けられたキーワード等や文章等の言語を含む格フレームがあるか否かを判定する（ステップＳ１３０５）。

その後、さらに言語情報取得部１４０は、入力受付部１６１が、さらにキーワードや文章等の言語の入力を受け付けているか否かを判定し（ステップＳ１３０６）、そのキーワードや文章等の言語の入力を受け付けていると判定した場合（ステップＳ１３０６：ＹＥＳ）、ステップＳ１３０１に戻り、ステップＳ１３０１〜Ｓ１３０５までの処理を繰り返す。

一方、言語情報取得部１４０は、キーワードや文章等の言語の入力を受け付けていないと判定した場合（ステップＳ１３０６：ＮＯ）、そのキーワードや文章等を含む検索した深層格フレームを操作パネル１６０に表示し（ステップＳ１３１２）、さらに映像ＤＢ１７１に記憶されている撮像開始時刻、撮像終了時刻を検索した深層格フレームの時間格に記憶させる（ステップＳ１３１３、Ｓ１３１４）。

その後、画像情報取得部１４１は、ステップＳ１３１３、Ｓ１３１４で時間格に設定された撮像開始時刻から撮像終了時刻までの間の時刻を含む画像や映像を、映像ＤＢ１７１の中から取得して、映像表示部１６３に表示させる（ステップＳ１３１５）。

そして、画像情報取得部１４１は、タイマー１５０が計時する映像ＤＢ１７１に画像や映像が記憶されてから所定の時間を経過している画像や映像を削除する(ステップＳ１３１６)。

一方、ステップＳ１３０２において、言語情報取得部１４０が、キーワードや文章等が言語でないと判定した場合（ステップＳ１３０２：ＮＯ）、さらにそのキーワードや文章等が人名であるか否かを判定し（ステップＳ１３０７）、キーワードや文章等が人名でないと判定した場合（ステップＳ１３０７：ＮＯ）、ステップＳ１３０１に戻る。

一方、言語情報取得部１４０が、そのキーワードや文章等が人名であると判定した場合（ステップＳ１３０７：ＹＥＳ）、さらに深層格にその人名に対応する主格を検索し（ステップＳ１３０８）、その主格に対応する顔情報が、属性格に記憶されているか否かを判定する（ステップＳ１３０９）。

そして、言語情報取得部１４０が、主格に対応する顔情報が属性格に記憶されていると判定した場合（ステップＳ１３０９：ＹＥＳ）、その顔情報を言語構造構築部１３９に送り、ステップＳ１３０３に戻って、ステップＳ１３０４以降に示す検索処理を行う。

一方、言語情報取得部１４０が、主格に対応する顔情報が、属性格に記憶されていないと判定した場合（ステップＳ１３０９：ＮＯ）、さらに入力受付部１６１が、顔画像の入力を受け付けたか否かを判定する（ステップＳ１３１０）。そして、入力受付部１６１が、顔画像の入力を受け付けていないと判定した場合（ステップＳ１３１０：ＮＯ）、ステップＳ１３０１に戻る。

一方、入力受付部１６１が、顔画像の入力を受け付けたと判定した場合（ステップＳ１３１０：ＹＥＳ）、顔画像から顔情報を抽出し、その顔情報を言語構造構築部１３９に送り（ステップＳ１３１１）、ステップＳ１３０３に戻って、ステップＳ１３０４以降の検索処理を行う。このように、ステップＳ１３０１〜Ｓ１３１６までの処理が終了すると、検索処理が終了する。

次に、このように構成された第１の実施の形態にかかる警備装置１００による不審者判定処理について図１４を用いて説明する。図１４は、第１の実施の形態における不審者判定処理の全体の流れを示すフローチャートである。

同図に示す各処理では、図６に示すような不審者情報ＤＢ１７４が、ユーザや監視センタ２００によって予め記憶され、さらに入力受付部１６１等からユーザによって不審者判定を行うための指示がなされたものとする。

まず、不審者判定部１４３は、不審者情報ＤＢ１７４を参照して、記憶されている不審者情報を読み込む（ステップＳ１４０１）。そして、読み込んだ不審者情報をキーにして、その不審者情報を含む深層格フレームを言語情報ＤＢ１７２の中から検索する（ステップＳ１４０２）。

そして、言語情報ＤＢ１７２の中に、不審者情報を含む深層格フレームがあるか否かを判定し(ステップＳ１４０３)、不審者情報を含む深層格フレームがないと判定した場合(ステップＳ１４０３：ＮＯ)、何もせずに次のステップに進む。

一方、不審者情報を含む深層格フレームがあると判定した場合(ステップＳ１４０３：ＹＥＳ)、その不審者情報を含む深層格フレームを言語情報表示部１６２に表示する(ステップＳ１４０４)。その後、不審者情報ＤＢ１７４に記憶されているすべての不審者情報の規則を参照したか否かを判定し（ステップＳ１４０５）、すべての不審者情報の規則を参照していないと判定した場合（ステップＳ１４０５：ＮＯ）、ステップＳ１４０１に戻り、以降の処理を繰り返す。一方、すべての不審者情報の規則を参照したと判定した場合（ステップＳ１４０５：ＹＥＳ）、不審者判定処理が終了する。

なお、不審者判定処理を、例えば、検索処理のステップＳ１３０３〜Ｓ１３０６のいずれかの箇所に組み込み、言語情報取得部１４０が取得した深層格フレームと、不審者判定部１４３が検索した深層格フレームとを比較することによって、不審者の特定を効率的に行うことも可能である。

次に、このように構成された第１の実施の形態にかかる警備装置１００による人物情報ファイル生成処理について図１５を用いて説明する。図１５は、第１の実施の形態における人物情報ファイル生成処理の全体の流れを示すフローチャートである。

まず、人物情報生成部１４２は、言語情報ＤＢ１７２から状態情報を取得する（ステップＳ１５０１）。次に、人物情報生成部１４２は、人物ごとに取得した状態情報を分類する（ステップＳ１５０２）。具体的には、人物情報生成部１４２は、主格ごとに状態情報を分類する。

次に、人物情報生成部１４２は、分類した状態情報のうち、未処理の人物の状態情報について、時間的に連続する行動の状態情報をグループ化する（ステップＳ１５０３）。そして、人物情報生成部１４２は、生成されたグループの個数を、当該人物の来訪回数として算出する（ステップＳ１５０４）。

次に、来訪データを作成するために、算出した来訪回数分、以下の処理（ステップＳ１５０５〜ステップＳ１５１０）を実行する。

まず、人物情報生成部１４２は、未処理のグループについて、グループ内の時間的に最初の状態情報の年月日、動作開始時刻を、人物情報ファイル１７５の行動開始時、行動開始時刻に設定する（ステップＳ１５０５）。次に、人物情報生成部１４２は、グループ内の時間的に最後の状態情報の年月日、動作終了時刻を、人物情報ファイル１７５の行動終了時、行動終了時刻に設定する（ステップＳ１５０６）。

さらに、人物情報生成部１４２は、グループ内の状態情報から、不審者情報ＤＢ１７４に記憶されている不審者情報に適合する状態情報を検索する（ステップＳ１５０７）。そして、人物情報生成部１４２は、適合する状態情報が検索されたか否かを判断し（ステップＳ１５０８）、検索された場合は（ステップＳ１５０８：ＹＥＳ）、人物情報ファイル１７５の不審要因に判定結果を設定する（ステップＳ１５０９）。

不審者情報に適合する状態情報が検索されなかった場合（ステップＳ１５０８：ＮＯ）、または不審要因を設定後、人物情報生成部１４２は、グループ内の各状態情報の属性情報それぞれの平均を求めて人物情報ファイル１７５の対応するフィールドにそれぞれ設定する（ステップＳ１５１０）。

例えば、人物情報生成部１４２は、グループ内の各状態情報の属性格に含まれる性別のうち、設定されている個数が多い性別を、人物情報ファイル１７５の推定性別フィールドに設定する。また、人物情報生成部１４２は、グループ内の各状態情報の属性格に含まれる身長高の平均値を算出し、算出した平均値を人物情報ファイル１７５の推定身長フィールドに設定する。同様にして、人物情報生成部１４２は、各状態情報の属性情報の平均値や代表値などを求めて、対応する人物情報ファイル１７５のフィールドに設定する。

次に、人物情報生成部１４２は、すべてのグループを処理したか否かを判断し（ステップＳ１５１１）、処理していない場合は（ステップＳ１５１１：ＮＯ）、次の未処理のグループに対して処理を繰り返す（ステップＳ１５０５）。

すべてのグループを処理した場合は（ステップＳ１５１１：ＹＥＳ）、人物情報生成部１４２は、すべての人物を処理したか否かを判断する（ステップＳ１５１２）。すべての人物を処理していない場合は（ステップＳ１５１２：ＹＥＳ）、次の未処理の人物の状態情報に対して処理を繰り返す（ステップＳ１５０３）。すべての人物を処理した場合は（ステップＳ１５１２：ＹＥＳ）、人物情報ファイル生成処理を終了する。

このようにして、第１の実施の形態にかかる警備装置１００は、格フレーム構造で表された人物等の物体の状態情報を集計し、不審者に関する情報等を容易に把握可能な形式の人物情報を生成することができる。生成した人物情報の表示例については後述する。

また、第１の実施の形態にかかる警備装置１００は、このようにして生成した人物情報を、他の警備装置と共有することができる。さらに、上述のように、アクセス権限に応じて、人物情報だけでなく言語情報ＤＢ１７２に記憶された状態情報や映像ＤＢ１７１に記憶された画像情報も共有することができる。

以下に、他の警備装置の情報を共有できるように設定されている場合の情報共有処理の一例について図１６を用いて説明する。図１６は、第１の実施の形態における情報共有処理の全体の流れを示すフローチャートである。

情報共有処理は、例えば、ユーザによって他の警備装置の監視状況の確認が指示されたことを契機に開始する。まず、言語情報取得部１４０は、送受信部１３５を介して他の警備装置から人物情報ファイルを取得する（ステップＳ１６０１）。次に、操作パネル制御部１３４は、取得された人物情報ファイル内の人物情報を操作パネル１６０に表示する（ステップＳ１６０２）。

ここで、操作パネル１６０の入力受付部１６１が、表示した人物情報に関連する映像の確認の指示を受け付けたとすると（ステップＳ１６０３）、言語情報取得部１４０は、事前にＨＤＤ１７０等に記憶されたアクセス権限を取得し、アクセス権限がフルアクセスであるか否かを判断する（ステップＳ１６０４）。

アクセス権限がフルアクセスの場合（ステップＳ１６０４：ＹＥＳ）、画像情報取得部１４１は、送受信部１３５を介して他の警備装置から対応する映像を取得する（ステップＳ１６０５）。そして、操作パネル制御部１３４は、取得された映像を操作パネル１６０に表示する（ステップＳ１６０６）。アクセス権限がフルアクセスでない場合（ステップＳ１６０４：ＮＯ）、操作パネル制御部１３４は、映像を取得できないことを表すメッセージ等を操作パネル１６０に表示する（ステップＳ１６０７）。

なお、映像確認の指示を受付後にアクセス権限を判定する代わりに、アクセス権限に応じて映像確認の指示を受け付け可能とするか否かを事前に判定するように構成してもよい。例えば、アクセス権限がフルアクセスのときは、人物情報に対応する映像を確認するための映像確認ボタンを表示し、それ以外のときは映像確認ボタンを非表示にするように構成することができる。

情報共有処理の他の例として、自装置の言語情報ＤＢ１７２に記憶している状態情報だけでなく、他の警備装置から取得した状態情報を用いて人物情報ファイルを生成するように構成してもよい。このような構成により、他の場所でのみ不審な行動をとった人物であっても、不審者として検出することが可能となる。

ここで、情報を共有する利用形態の例について説明する。

（１）親世帯−子世帯間での安否確認
それぞれ独立した親世帯および子世帯にそれぞれ警備装置１００ａおよび１００ｂを設置し、子世帯から親世帯の監視領域の監視状況を参照する利用形態が想定できる。例えば、親世帯では警備装置１００ａの操作が困難である、または、不審者の判定がつかないなどの要因が生じ、子世帯で来訪者を確認する必要がある場合などが該当する。

この場合、「フルアクセス」または「映像秘匿」のアクセス権限で子世帯から親世帯の情報にアクセスするように構成すれば、親世帯での来訪者に対し、子世帯で不審者か否かを判断することが可能となる。

一方、親世帯の来訪者に知人が多く、プライバシー上の観点から映像を遠隔参照することが嫌悪される場合は、「映像秘匿」または「最低限」のアクセス権限を付与することで、プライバシーに配慮した遠隔確認を行うことが可能となる。

（２）マンション等のコミュニティ内での不審者情報の共有
ある世帯で不審と判断された人物の状態情報をコミュニティ内で共有することで、コミュニティ全体で不審者に対しての警戒が可能となる。この場合、プライバシー上の観点から、アクセス権限は「最低限アクセス」を設定する。

次に、第１の実施の形態で表示される各種画面の一例について図１７〜図２０を用いて説明する。図１７は、帰宅時などに初期表示されるシステムトップ画面の一例を示す図である。

図１７に示すように、システムトップ画面は、例えば当日の来訪者数や、来訪者のうち不審者であると判定された人物の人数を表示する。なお、この例では、この時点までに検出された状態情報から、人物情報ファイル１７５が生成され、来訪者数や不審者の人数が算出されていることを前提としている。確認ボタン１７０１を押下すると、人物情報ファイル１７５の内容を表示する人物情報表示画面が表示される。

図１８は、人物情報表示画面の一例を示す図である。図１８に示すように、人物情報表示画面は、生成された人物情報ファイル１７５内の人物情報を一覧形式で表示する。同図は、人物情報のうち、人物名（名前）と、行動開始日を表す日付と、行動開始時刻を表す時刻と、来訪回数と、不審判定結果とを表示した例を示している。なお、その他の来訪データを表示するように構成してもよい。

一覧形式で表示された人物情報の詳細を確認する場合は、所望の人物に対応するセルをクリックする。図１９は、この場合に表示される詳細表示画面の一例を示す図である。図１９に示すように、詳細表示画面は、行動開始日や行動開始時刻の他に、行動時間や不審者と判定された要因などを表示する。また、詳細表示画面は、表示された行動に対応する映像を確認するための映像確認ボタン１９０１を含んでいる。

図２０は、映像確認ボタン１９０１が押下された場合に表示される映像表示画面の一例を示す図である。図２０に示すように、映像表示画面には、映像ＤＢ１７１内に記憶された映像のうち、選択された行動に対応する映像、移動軌跡、および画像処理経過が表示され、一連の映像の再生が終了すると、最終判定結果が表示される。

このように、第１の実施の形態にかかる警備装置では、人物の動作状態を深層格フレームで表して記憶した状態情報と、事前に定められた不審者の行動パターンを表す不審者情報と比較することにより、撮像した画像情報内の人物が不審者であるか否かを判定することができる。これにより、例えばＩＤカードや指紋認証等では不審者と判定されない場合であっても、行動パターンの解析により不審者と判定することが可能となる。すなわち、監視カメラなどで撮影された画像から高精度に不審者を判定し、監視センタへの誤報を防止することができる。また、テキスト情報である格フレームと、同様にテキスト情報である不審者情報とを比較することで不審者を判定できるため、不審者判定処理の処理負荷を軽減することができる。

（第２の実施の形態）
第２の実施の形態にかかる警備装置は、撮影された人物が認証されているか否か（登録されているか否か）に応じて、不審者の判定基準を変更する。

図２１は、第２の実施の形態にかかる警備装置２１００の構成を示すブロック図である。図２１に示すように、警備装置２１００は、センサ１１０と、監視カメラ１２０と、警備操作部２１３０とを備えている。

第２の実施の形態では、警備操作部２１３０のＨＤＤ２１７０内の不審者情報ＤＢ２１７４の構成、および不審者判定部２１４３の機能が第１の実施の形態と異なっている。その他の構成および機能は、第１の実施の形態にかかる警備装置１００の構成を表すブロック図である図２と同様であるので、同一符号を付し、ここでの説明は省略する。

不審者情報ＤＢ２１７４は、不審者であると判定する基準を、人物の登録状態に応じて変更した不審者情報を記憶する。図２２は、第２の実施の形態の不審者情報ＤＢ２１７４に記憶された不審者情報のデータ構造の一例を示す図である。図２２に示すように、第２の実施の形態の不審者情報は、行動名と格情報と条件とに加えて、登録状態を含んでいる。

登録状態とは、人物を同定するために、事前に照合用の顔情報等が登録されているか否かを表す情報である。登録状態としては、例えば、家人として登録されていることを表す「登録者（家人）」、知人として登録されていることを表す「登録者（知人）」、および未登録であることを表す「未登録者」などが想定される。なお、登録状態はこれに限られるものではない。

同図の最初の不審者情報は、人物が玄関から庭に移動した場合、その人物が未登録者であれば不審行動であると判定することを意味する。また、同図の２つ目の不審者情報は、人物が玄関から駐車場に移動した場合、その人物が未登録者または知人であれば不審行動であると判定することを意味する。

ここで、登録状態に応じて基準を変更する具体例について図２３〜図２５を用いて説明する。図２３〜図２５は、人物の移動経路と登録状態とに応じて、不審者と判定する基準を切り替える例を表している。なお、各図では、網掛け部のエリアが侵入禁止エリアを意味している。

図２３は、未登録者に対するエリアごとの移動可否の例を示す図である。同図に示すように、未登録者の場合は、通路および玄関に相当するエリア２３０１のみが通行許可エリアであり、庭と窓に相当するエリア２３０２、および駐車場に相当するエリア２３０３は侵入禁止エリアとして設定されている。

図２４は、知人に対するエリアごとの移動可否の例を示す図である。同図に示すように、知人の場合は、エリア２４０１および２４０２が通行許可エリアであり、エリア２４０３は侵入禁止エリアとして設定されている。すなわち、知人の場合は、庭（エリア２４０２）への侵入は許可されているため、玄関から庭へ移動しても不審行動とは判定されない。一方、駐車場（エリア２４０３）への侵入は禁止されているため、玄関から駐車場へ移動した場合は不審行動と判定される。

図２５は、家人に対するエリアごとの移動可否の例を示す図である。同図に示すように、家人の場合は、すべてのエリア２５０１〜２５０３が通行許可エリアであるため、誤って不審者として判定されることがない。

なお、基準を切り替える情報は登録状態に限られず、例えば季節や時間帯によって不審者と判定する基準を変更するように構成してもよい。この場合も、不審者情報に、季節や時間帯の条件を新たに追加するように構成すればよい。

図２１に戻り、不審者判定部２１４３は、このような不審者情報を参照して、人物の登録状態に応じて判定基準を変更して不審者を判定する点が、第１の実施の形態の不審者判定部１４３と異なっている。

次に、このように構成された第２の実施の形態にかかる警備装置２１００による不審者判定処理について図２６を用いて説明する。図２６は、第２の実施の形態における不審者判定処理の全体の流れを示すフローチャートである。

ステップＳ２６０１からステップＳ２６０３までの、不審者情報照合処理は、第１の実施の形態にかかる警備装置１００におけるステップＳ１４０１からステップＳ１４０３までと同様の処理なので、その説明を省略する。

不審者情報を含む深層格フレームが存在すると判定した場合(ステップＳ２６０３：ＹＥＳ)、不審者判定部２１４３は、当該深層格フレームの主格の登録状態を判定する（ステップＳ２６０４）。不審者判定部２１４３は、例えば、図１１の人物同定処理（図１１のステップＳ１１０６、１１０７）で設定されたエージェントＩＤが家人または知人に対して事前に割り当てられたＩＤであるかを判定する方法などにより、人物の登録状態を判定する。

次に、不審者判定部２１４３は、判定した登録状態と、不審者情報内の登録状態とが一致するか否かを判断する（ステップＳ２６０５）。一致する場合は（ステップＳ２６０５：ＹＥＳ）、不審者判定部２１４３は、不審者情報を含む深層格フレームを言語情報表示部１６２に表示する(ステップＳ２６０６)。

一致しない場合（ステップＳ２６０５：ＮＯ）、または不審者情報の深層格フレームを表示後、不審者判定部２１４３は、不審者情報ＤＢ２１７４に記憶されているすべての不審者情報の規則を参照したか否かを判定する（ステップＳ２６０７）。すべての不審者情報の規則を参照していないと判定した場合（ステップＳ２６０７：ＮＯ）、不審者判定部２１４３は、ステップＳ２６０１に戻り、以降の処理を繰り返す。一方、すべての不審者情報の規則を参照したと判定した場合（ステップＳ２６０７：ＹＥＳ）、不審者判定処理が終了する。

このように、第２の実施の形態にかかる警備装置では、人物の登録状態に応じて不審者の判定基準を変更することができるため、より高精度に不審者・不審行動を判定することが可能となる。

なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

第１の実施の形態にかかる警備システムの構成を示すブロック図である。 第１の実施の形態にかかる警備装置のブロック図である。 言語情報ＤＢに記憶される状態情報のデータ構造の一例を示す図である。 言語情報ＤＢに記憶される状態情報の具体例を示す図である。 規則ＤＢに記憶される行動検出規則のデータ構造の一例を示す図である。 第１の実施の形態の不審者情報ＤＢに記憶された不審者情報のデータ構造の一例を示す図である。 人物情報ファイルに記憶される人物情報のデータ構造の一例を示す図である。 最低限アクセスの場合に共有可能な情報の例を表している図である。 映像秘匿アクセスの場合に共有可能な情報の例を表している図である。 フルアクセスの場合に共有可能な情報の例を表している図である。 第１の実施の形態における画像からの動作検出処理の全体の流れを示すフローチャートである。 第１の実施の形態における状態情報からの動作検出処理の全体の流れを示すフローチャートである。 第１の実施の形態における検索処理の全体の流れを示すフローチャートである。 第１の実施の形態における不審者判定処理の全体の流れを示すフローチャートである。 第１の実施の形態における人物情報ファイル生成処理の全体の流れを示すフローチャートである。 第１の実施の形態における情報共有処理の全体の流れを示すフローチャートである。 システムトップ画面の一例を示す図である。 人物情報表示画面の一例を示す図である。 詳細表示画面の一例を示す図である。 映像表示画面の一例を示す図である。 第２の実施の形態にかかる警備装置の構成を示すブロック図である。 第２の実施の形態の不審者情報ＤＢに記憶された不審者情報のデータ構造の一例を示す図である。 未登録者に対するエリアごとの移動可否の例を示す図である。 知人に対するエリアごとの移動可否の例を示す図である。 家人に対するエリアごとの移動可否の例を示す図である。 第２の実施の形態における不審者判定処理の全体の流れを示すフローチャートである。

符号の説明

１０ 警備システム
１００ａ、１００ｂ 警備装置
１１０ センサ
１２０ 監視カメラ
１３０ 警備操作部
１３１ 検知情報受信部
１３２ 画像情報受信部
１３３ 警備状態切替部
１３４ 操作パネル制御部
１３５ 送受信部
１３６ 警備状態記憶部
１３７ 第１検出部
１３８ 第２検出部
１３９ 言語構造構築部
１４０ 言語情報取得部
１４１ 画像情報取得部
１４２ 人物情報生成部
１４３ 不審者判定部
１５０ タイマー
１６０ 操作パネル
１６１ 入力受付部
１６２ 言語情報表示部
１６３ 映像表示部
１７０ ＨＤＤ
１７１ 映像ＤＢ
１７２ 言語情報ＤＢ
１７３ 規則ＤＢ
１７４ 不審者情報ＤＢ
１７５ 人物情報ファイル
２００ 監視センタ
３００ ネットワーク
１７０１ 確認ボタン
１９０１ 映像確認ボタン
２１００ 警備装置
２１３０ 警備操作部
２１４３ 不審者判定部
２１７０ ＨＤＤ
２１７４ 不審者情報ＤＢ
２３０１〜２３０３、２４０１〜２４０３、２５０１〜２５０３ エリア

Claims (9)

1. 撮像手段によって撮像された物体の画像情報から検出された前記物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を記憶する状態情報記憶手段と、
   不審者の動作状態として予め定められた情報であって、前記不審者の動作の種類を表す動詞と、前記不審者の動作に関連する名詞である格要素に関する条件とを含む不審者情報を記憶する不審者情報記憶手段と、
   前記状態情報に含まれる動詞が前記不審者情報に含まれる動詞と一致し、かつ、前記状態情報に含まれる格要素が前記不審者情報に含まれる前記条件を満たす前記状態情報を前記状態情報記憶手段から取得し、取得した前記状態情報によって動作状態が表される前記物体を不審者であると判定する判定手段と、
   を備えたことを特徴とする警備装置。
2. 前記状態情報は、前記物体の識別情報である前記格要素を含み、
   前記状態情報記憶手段に記憶されている前記状態情報の前記識別情報ごとに、前記識別情報の前記物体が不審者であると判定されたか否かを表す判定結果を含む人物情報を生成する生成手段と、
   生成された前記人物情報を表示する表示手段と、をさらに備えたこと、
   を特徴とする請求項１に記載の警備装置。
3. 他の警備装置で生成された前記人物情報である外部人物情報を前記他の警備装置から受信する受信手段をさらに備え、
   前記表示手段は、さらに受信した前記人物情報を表示すること、
   を特徴とする請求項２に記載の警備装置。
4. 他の警備装置が記憶している前記状態情報である外部状態情報を前記他の警備装置から受信する受信手段をさらに備え、
   前記生成手段は、受信した前記外部状態情報または前記状態情報記憶手段に記憶されている前記状態情報の前記識別情報ごとに、前記人物情報を生成すること、
   を特徴とする請求項２に記載の警備装置。
5. 他の撮像手段によって撮像された物体の画像情報である外部画像情報を記憶する他の警備装置から、前記外部画像情報を受信する受信手段をさらに備え、
   前記表示手段は、さらに受信した前記外部画像情報を表示すること、
   を特徴とする請求項２に記載の警備装置。
6. 前記状態情報は、さらに前記物体の動作が発生した時刻である前記格要素を含み、
   前記生成手段は、前記状態情報記憶手段から取得した前記状態情報の前記識別情報および前記時刻ごとに前記人物情報を生成し、
   前記画像情報を記憶する画像情報記憶手段と、
   前記画像情報記憶手段に記憶された前記画像情報の中から、前記人物情報に対応する前記時刻の前記画像情報を取得する画像情報取得手段と、をさらに備え、
   前記表示手段は、さらに取得された前記画像情報を表示すること、
   を特徴とする請求項２に記載の警備装置。
7. 前記状態情報記憶手段に記憶された前記状態情報、および生成された前記人物情報の少なくとも一方を他の警備装置に送信する送信手段をさらに備えたこと、
   を特徴とする請求項２に記載の警備装置。
8. 前記不審者情報記憶手段は、前記物体が予め登録された物体であるか否かを表す登録状態をさらに含む前記不審者情報を記憶し、
   前記判定手段は、前記状態情報が表す動作状態の前記物体の登録状態が前記不審者状態に含まれる登録状態と一致し、かつ、前記状態情報に含まれる動詞が前記不審者情報に含まれる動詞と一致し、かつ、前記状態情報に含まれる格要素が前記不審者情報に含まれる前記条件を満たす前記状態情報を前記状態情報記憶手段から取得し、取得した前記状態情報によって動作状態が表される前記物体を不審者であると判定すること、
   を特徴とする請求項１に記載の警備装置。
9. 警備装置で実行される不審者判定方法であって、
   前記警備装置は、
   撮像手段によって撮像された物体の画像情報から検出された前記物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を記憶する状態情報記憶手段と、
   不審者の動作状態として予め定められた情報であって、前記不審者の動作の種類を表す動詞と、前記不審者の動作に関連する名詞である格要素に関する条件とを含む不審者情報を記憶する不審者情報記憶手段と、を備え、
   判定手段が、前記状態情報に含まれる動詞が前記不審者情報に含まれる動詞と一致し、かつ、前記状態情報に含まれる格要素が前記不審者情報に含まれる前記条件を満たす前記状態情報を前記状態情報記憶手段から取得する取得ステップと、
   判定手段が、取得した前記状態情報によって動作状態が表される前記物体を不審者であると判定する判定ステップと、
   を備えたことを特徴とする不審者判定方法。

Images