JP2009211389A - 日誌作成装置及び日誌作成方法 - Google Patents

Abstract

【課題】画像情報に基づき正確な文字情報が生成可能で警備の品質向上を実現可能な日誌作成装置及び日誌作成方法の提供である。
【解決手段】物体の画像情報を記憶する第１記憶手段と、物体の動作の種類を表す動詞と動作に関連する名詞である格要素とを含み、動詞と格要素の意味関係を示す深層格で動作の種類を意味する行動名と動作主体を表す動作主格と動作開始時刻と動作終了時刻とを表す時間格とを深層格として有する深層格フレームを記憶可能な第２記憶部１６０と、画像情報から動作を抽出し、行動名と動作主格と時間格とを生成して深層格フレームに登録する言語構造構築部１３９と、行動名と動作主格と時間格とを取得し行動名を動詞に、動作主格を主語にした自然言語文から要約文を生成すると共に時間格を時間情報として付与することにより警備日誌を作成する警備日誌作成部１４０とを備えた日誌作成装置である。
【選択図】 図１

Description

本発明は、監視カメラによって撮像された監視領域の画像から生成された画像情報に含まれる行動者の画像情報に基づいて、言語情報である要約文を作成し、警備日誌を作成する日誌作成装置及び日誌作成方法に関するものである。

従来、美術館や銀行等の施設やビルの警備において、警備員が携帯するコードレス電話から位置情報信号を送信し、監視センタにおいて位置情報信号を受信し、記録することにより、警備の記録である警備日誌を作成する技術が開示されている。昨今においては、コードレス電話（移動局装置）から、移動局装置の在圏管理を行う構内変換装置に位置情報信号を送信し、構内変換装置において受信した位置情報信号と、移動機番号と、在圏するゾーンの固有の識別番号であるゾーン番号とを、位置情報信号の受信時刻とともに記録し、コンピュータから出力することにより、警備日誌を作成するものが提供されている（例えば、特許文献１参照）。

特許文献１に記載の技術によれば、移動局装置が無線基地局の異なるゾーンに在圏するたびに、位置情報信号を送信するため、移動局装置がゾーンを移動した履歴を構内変換装置に接続されるコンピュータに蓄積することができる。これにより、更新された時刻情報を迅速且つ正確に警備日誌に反映することが可能であるといえる。

特開平１１−１４６０６８号公報

しかしながら、特許文献１に記載の技術によれば、警備日誌の出力は、コンピュータが受信した位置情報信号に基づいて、移動機番号とゾーン番号と位置情報信号等を編集することにより行う。従って、場所と日時については正確であっても動作等については正確で緻密な文字情報を生成することができない虞れがある。

本発明は、上記に鑑みてなされたものであって、画像情報に基づき正確な文字情報を生成することができ、警備の品質向上を実現することが可能な、警備日誌作成装置及び警備日誌作成方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、撮像手段によって撮像された所定の領域における物体の画像情報を記憶する第１記憶手段と、物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す深層格であって、少なくとも、前記物体の動作の種類を意味する行動名と、前記動作の主体を表す動作主格と、前記動作が開始された時刻である動作開始時刻と前記動作が終了した時刻である動作終了時刻とを表す時間格と、を深層格として有する深層格フレームを記憶可能な第２記憶手段と、前記画像情報を解析して物体の動作状態を抽出し、抽出した動作状態を表す前記行動名と前記動作主格と前記時間格とを生成して前記深層格フレームに登録する言語構造構築手段と、前記深層格フレームから、前記動作主格を取得し、前記行動名を動詞にするとともに、前記動作主格と、前記動作開始時刻と前記動作終了時刻とからなる前記時間格を時間情報とに基づいて、前記画像情報の要約を示す日誌を作成する日誌作成手段と、を備えたことを特徴とする。

本発明によれば、監視カメラによって撮影した画像情報から、動作状態等を抽出して深層格を作成し、深層格フレームから、前記動作主格を取得し、前記行動名を動詞にするとともに、前記動作主格と、前記動作開始時刻と前記動作終了時刻とからなる前記時間格を時間情報とに基づいて、前記画像情報の要約を示す日誌を作成することで、画像情報に基づいて正確に文字情報を生成することが可能となり、正確な情報を有する警備日誌を容易に得ることができるという効果を奏する。

また、本発明によれば、正確な日誌を作成することができるので、深層格フレームの格要素の文書キーワードとして用いることにより、必要に応じた画像検索を容易にし、警備の品質向上を実現することが可能となるという効果を奏する。

以下に添付図面を参照して、この発明にかかる日誌作成装置（警備装置）及び日誌作成方法の最良な実施の形態を詳細に説明する。なお、本発明はこれらの実施の形態に限定されるものではない。なお、以下では、監視カメラや各種センサからの情報を用いて所定領域を警備する警備装置１３０として日誌作成装置を実現した例について説明する。適用可能な装置は警備装置に限られず、画像情報を解析して深層格フレームを作成するとともに、深層格に基づいて自然言語文を生成し、要約文を作成する機能を備える装置であればあらゆる装置に適用できる。

（実施の形態１）
図１は、実施の形態１にかかる警備システム１００の機能的構成を示すブロック図である。警備装置（日誌作成装置）１３０は、ネットワーク３００を介して監視センタ２００に接続されている。ネットワーク３００は、電話回線、無線ネットワーク、インターネット等である。

本実施の形態における警備装置１３０は、警備対象である監視領域（不図示）を撮像する監視カメラ１２０によって撮像された監視領域の画像から、人物領域抽出処理等を行うことにより深層格を作成し、深層格に基づいて自然言語文を生成し、要約文を作成し、警備日誌を出力するものである。

監視センタ２００は、監視領域の異常を検知した警備装置１３０からの通報を受け、待機中の警備員に対して異常が検知された監視領域（不図示）へ向かう旨の支持を出すとともに、必要に応じて警察や消防等の関係機関への通報を行うセンタである。

次に、警備装置（日誌作成装置）１３０の詳細について説明する。実施の形態１にかかる警備装置１３０は、センサ１１０と、監視カメラ１２０と、検知情報受信部１３１と、画像処理部１３２と、警備状態切換部１３３と、操作パネル制御部１３４と、操作パネル１３５と、出力部１３６と、送受信部１３７と、警備状態記憶部１３８と、言語構造構築部（言語構造構築手段）１３９と、警備日誌作成部（要約文作成手段）１４０と、映像データベース１５１を記憶する第１記憶部（第１記憶手段）１５０と、言語情報データベース１６１を記憶する第２記憶部（第２記憶手段）１６０とを主に備えている。

センサ１１０は、警備対象である監視領域に設置されており、主に侵入者等の異常を検知する目的で設置された人感センサであり、たとえば赤外線の受光量の変化をもとに人の存在を検出する赤外線センサ、赤外線等の受信が遮断されることで人の存在を検出する遮断センサ、電磁波の乱れで人の存在を検知する気配センサ、およびマグネットにより扉の開閉を検出するマグネットセンサなどの監視領域の異常を検出する各種センサが該当し、人の存在や扉の開閉を検知した場合に検知信号を出力する。

監視カメラ１２０は、警備対象である監視領域を撮像するものであり、主に監視領域として住居の出入口付近や敷地内への出入口付近に設置されている。

検知情報受信部１３１は、センサ１１０によって異常が検知された場合に送出される検知情報を受信する。検知情報は、センサ１１０から送出される検知信号であり、センサ１１０が複数設置されている場合は、検知信号およびセンサを識別するセンサＩＤである。

画像処理部１３２は、監視カメラ１２０によって撮像された画像を受信し、所定の画像処理を行って画像情報を生成し、画像データを映像データベース１５１に登録する。所定の画像処理とは、例えばγ補正処理や像域分離処理、フィルタ処理等である。

警備状態切替部１３３は、操作パネル制御部１３４によって受付けた警備状態を警備状態記憶部１３８に格納する。警備状態記憶部１３８は、現在の警備装置１３０の警備状態である警備モードまたは警備解除モードのいずれかを記憶する。

ここで、警備モードとは、センサ１１０が異常を検知して検知情報を取得した場合に、監視領域での異常を知らせる警報情報をネットワーク３００で接続されている監視センタ２００に送信する状態をいい、警備解除モードとは、上記検知情報を取得した場合でも異常を知らせる警報情報を監視センタ２００に送信しない状態をいう。

操作パネル１３５は、警備装置１３０に関する情報が表示され、警備装置１３０に対して情報が入力される。操作パネル１３５は、ボタンの押下等によって警備モードまたは警備解除モードのいずれかの警備状態を入力する。操作パネル制御部１３４は、操作パネル１３５への表示情報の出力や、操作パネル１３５から入力された入力情報の取得等の操作パネル１３５に対する制御を行う。操作パネル１３５は、本発明にかかる警備設定手段を構成する。

送受信部１３７は、監視センタ２００とネットワーク３００を介して各種情報を送受信する。また、送受信部１３７は、センサ１１０から検知情報を受信した場合で、かつ警備状態記憶部１３８に記憶された現在の警備状態に警備モードが記憶されている場合に、警報情報を監視センタ２００に送信する。

第１記憶部（第１記憶手段）１５０は、映像データベース１５１を記憶するメモリ、ＨＤＤ等の記憶媒体である。映像データベース１５１は、画像処理部１３２によって生成された画像情報を蓄積するデータベースである。

第２記憶部（第２記憶手段）１６０は、言語情報データベース１６１を記憶するメモリ、ＨＤＤ等の記憶媒体である。言語情報データベース１６１は、物体の動作状態を深層格フレーム構造で表した状態情報（格フレーム）を記憶する。深層格フレームとは、動詞を基準として、動詞に対する名詞の意味関係を深層格として表した言語構造をいう。

図２は、言語情報データベース１６１に記憶される深層格フレームのデータ構造の一例を示す図である。図２に示すように、深層格フレームは、格フレームを識別する格フレームＩＤと、動作（行動）の種類を表す行動名と、動作に関連する名詞である格要素（深層格）とを含んでいる。深層格には、主格、属性格、場所格、時間格、源泉格、目標格、対象格、および道具格が含まれる。

主格は、動作を引き起こす主体を表す。属性格は、主格に関する情報をいう。例えば、属性格は、身長高、体型、上半身色、下半身色、頭色、顔情報、および歩容情報等を含む。

顔情報および歩容情報は、さらに詳細な要素に分けられる。例えば、顔情報は、顔の特徴を表す顔特徴、視線方向、マスクの有無、サングラスの有無、性別、および年代などの要素を含む。また、歩容情報は、歩幅、姿勢、脚長、および歩速などの要素を含む。

場所格は、動作や状態が起こる場所を表す。例えば、場所格は、頭部位置、***置、手位置、顔位置、および脚部位置等を含む。

時間格は、動作や状態が起こる時間を表す。例えば、時間格は、現在時刻を表す時刻、動作が開始された時刻を表す動作開始時刻、動作が終了した時刻を表す動作終了時刻、および年月日等を表す。

源泉格は、移動や状態変化などの起点を表す。例えば、源泉格は、主格が移動や動作等を行う起点の位置を表す場所情報、および起点での主格の属性を表す属性情報を含む。

目標格は、移動や状態変化などの終点を表す。例えば、目標格は、主格が移動や動作等を行う終点の位置を表す場所情報、および起点での主格の属性を表す属性情報を含む。

対象格は、動作や状態の対象となる事物を表す。対象格は、固有の識別情報である対象ＩＤ、および固有の情報である属性情報を含む。

道具格は、動作の補助的手段を表す。道具格は、固有の識別情報である道具ＩＤ、および固有の情報である属性情報を含む。

なお、利用できる深層格はこれらに限られず、例えば精神的事象の経験者を表す経験者格などの、その他のあらゆる深層格を用いることができる。

図３は、実施の形態１にかかる言語情報データベース１６１に登録された深層格のデータ構造の一例を示す図である。図３は、人物Ａ（主格）が、「しゃがむ」という行動を検出したときに生成される状態情報（格フレーム）の一例を示している。この場合、属性格には、人物Ａの身長高、体型などの具体的な値が設定される。また、場所格および時間格には、それぞれ人物Ａがしゃがんだときの位置や時刻に関する具体的な値が設定される。

図１に戻り、言語構造構築部１３９（言語構造構築手段）は、第１記憶部１５０に格納される映像データベース１５１から取得した画像情報を解析することにより、画像情報から物体の動作状態を検出する。また、言語構造構築部１３９は、検出した動作状態を表す行動名、動作主格等の深層格を生成し、深層格フレームを蓄積する言語情報データベース１６１に登録する。

言語構造構築部１３９は、例えば画像情報から人物領域を抽出することにより、人物が「存在する」という動作状態を検出する。また、言語構造構築部１３９は、検出した人物の視線方向を検出することにより、当該人物の「見る」という動作状態を検出する。また、言語構造構築部１３９は、人物以外の他の物体を画像情報から抽出し、抽出した物体が新たに現れた場合には「取り出す」という動作状態を、抽出した物体が以前から存在し、人物の手の位置と重なった場合には「触る」という動作状態を検出する。

なお、言語構造構築部１３９が人物または物体を抽出する方法としては、連続する画像情報の背景を比較することにより抽出した変動領域を人物領域とする方法や、人物パターンまたは物体パターンと照合することにより人物または物体を抽出する方法などの、従来から用いられているあらゆる方法を適用できる。また、言語構造構築部１３９が人物の視線方向を検出する方法としては、顔領域パターンと照合することにより顔領域を抽出するとともに視線方向を検出する方法などの従来から用いられているあらゆる方法を適用できる。

警備日誌作成部（日誌作成手段）１４０は、言語情報データベース１６１に蓄積される深層格フレーム（以下、「格フレーム」という。）から、行動名、動作主格、時間格等の深層格を取得する。そして、取得した深層格である行動名を動詞に設定し、動作主格を主語に設定することにより、自然言語文を生成して画像情報の要約文を作成し、要約文に動作開始時刻と動作終了時刻とからなる時間格を時間情報として付与することにより日誌を作成する。なお、警備日誌作成部１４０の警備日誌作成処理の手順については後述する。出力部１３６は、例えば液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の出力装置である。出力部１３６は、警備日誌作成部１４０によって作成された、画像情報の要約文と、要約文に付与された時間情報とからなる警備日誌を画面上に表示し出力する。

次に、以上のように構成された本実施の形態にかかる警備装置１３０による画像からの動作検出処理について図４を用いて説明する。画像からの動作検出処理とは、監視カメラ１２０で撮影された画像情報から人物等の動作（行動）を検出する処理をいう。図４は、実施の形態１における画像からの動作検出処理の全体の流れを示すフローチャートである。

まず、画像処理部１３２は、監視カメラ１２０が撮影した画像を受信して画像処理を行うことにより画像情報を生成して入力する（ステップＳ４０１）。次に、言語構造構築部１３９は、画像情報から人物領域を検出し（ステップＳ４０２）、人物領域が検出されたか否かを判断する（ステップＳ４０３）。人物領域が検出されなかった場合は（ステップＳ４０３：Ｎｏ）、画像処理部１３２は次の画像情報を入力して処理を繰り返す（ステップＳ４０１）。

人物領域が検出された場合（ステップＳ４０３：Ｙｅｓ）、言語構造構築部１３９は、行動名＝「存在する」の深層格フレームを作成する（ステップＳ４０４）。なお、作成した深層格フレームの格フレームＩＤには、他の深層格フレームと重複しない値を割り当てる。

次に、言語構造構築部１３９は、検出した人物領域の各部位の検出位置を場所格へ格納する（ステップＳ４０５）。例えば、言語構造構築部１３９は、検出した人物領域に含まれる頭部、体、手、顔、および脚部の座標を算出し、それぞれ頭部位置、***置、手位置、顔位置、および脚部位置として場所格に格納する。なお、人物領域の各部位は、部位ごとの照合パターンと照合して検出する方法などの従来から用いられているあらゆる方法により検出できる。

言語構造構築部１３９は、ステップＳ４０４〜ステップＳ４０５と並行して、人物同定処理（ステップＳ４０６〜ステップＳ４０７）、顔検出処理（ステップＳ４０８〜ステップＳ４１０）、体型判定処理（ステップＳ４１１〜ステップＳ４１２）、および歩容検出処理（ステップＳ４１３〜ステップＳ４１４）の各処理を実行する。なお、これらの各処理は必ずしも並行して処理する必要はなく、任意の順序で実行するように構成することができる。

人物同定処理では、言語構造構築部１３９は、抽出済みの人物領域と照合する方法などにより、抽出された人物を同定する（ステップＳ４０６）。そして、言語構造構築部１３９は、同定した人物に既に割り当てられている人物ＩＤを、作成した深層格フレームの動作主格に格納する（ステップＳ４０７）。

なお、本実施の形態では、登録データベース（図示せず）等により監視領域の会社の社員や警備員等の人物ＩＤと顔画像、氏名等を予め登録しており、人物同定処理ではこの登録データベースを参照して、抽出した人物の顔画像等から既に割り当てられた人物ＩＤを深層格フレームの動作主格に格納している。この際、深層格フレームの動作主格には、人物ＩＤの他氏名等も登録してもよい。この場合、単に「登録者１」等を深層格フレームの動作主格に格納するように構成してもよい。また、本実施の形態では、人物同定処理において、抽出した人物の顔画像等とこれに対応する人物ＩＤが登録データベースに登録されていない場合には、「未登録者」の旨を深層格フレームの動作主格に格納する。

顔検出処理では、言語構造構築部１３９は、顔領域パターンと照合する方法などによって顔領域を検出する（ステップＳ４０８）。また、言語構造構築部１３９は、照合結果に応じて、視線方向、マスクの有無、およびサングラスの有無などの顔情報を属性格に格納する（ステップＳ４０９）。視線方向が検出された場合は、言語構造構築部１３９は、行動名＝「見る」の深層格フレームを作成する（ステップＳ４１０）。

体型判定処理では、言語構造構築部１３９は、照合した人物パターンに予め付与された体型を求める方法などにより、検出した人物の体型を判定する（ステップＳ４１１）。そして、言語構造構築部１３９は、判定した体型を、作成した深層格フレームの属性格に格納する（ステップＳ４１２）。

歩容検出処理では、言語構造構築部１３９は、主に検出した人物領域の脚部を解析することにより、歩速、歩幅、脚長、姿勢などの歩容情報を検出する（ステップＳ４１３）。歩速は、例えば連続する画像情報の脚部の位置を比較することにより算出することができる。そして、言語構造構築部１３９は、検出した歩容情報を、作成した深層格フレームの属性格に格納する（ステップＳ４１４）。

次に、言語構造構築部１３９は、画像情報から物体を検出する（ステップＳ４１５）。なお、物体検出処理は、人物領域検出処理（ステップＳ４０２）とともに実行してもよい。

次に、言語構造構築部１３９は、物体が検出されたか否かを判断する（ステップＳ４１６）。物体が検出された場合（ステップＳ４１６：Ｙｅｓ）、言語構造構築部１３９は、物体が前の画像情報で検出されていたか否か、および物体と人物領域の位置関係に応じて、行動名＝「触る」または「取り出す」の深層格フレームを作成する（ステップＳ４１７）。

具体的には、言語構造構築部１３９は、前の画像情報で検出された物体と照合することなどにより、物体が既に検出されていると判断でき、かつ、人物の手の位置と物体の位置とが重なると判断できる場合は、行動名＝「触る」の深層格フレームを新たに作成する。また、言語構造構築部１３９は、未検出の物体が新たに検出されたと判断でき、かつ、人物の手の位置と物体の位置とが重なると判断できる場合は、行動名＝「取り出す」の深層格フレームを新たに作成する。

ステップＳ４１６で物体が検出されなかったと判断された場合（ステップＳ４１６：Ｎｏ）、またはステップＳ４１７で新たな深層格フレームを作成後、言語構造構築部１３９は、これまでに作成した深層格フレームを言語情報データベース１６１に保存し（ステップＳ４１８）、画像からの動作検出処理を終了する。

次に、以上のように構成された本実施の形態にかかる警備装置１３０における警備日誌作成処理について図５〜７を用いて説明する。図５は、実施の形態１にかかる警備装置１３０における警備日誌作成処理の手順を示すフローチャートである。図６は、映像データベース１５１に記憶されている画像情報を示す図である。図７は、言語情報データベース１６１に保存された深層格フレームを示す図である。

図６に例示する画像情報は動画であって、人物Ａが図６において左方から右方に向かって歩いて移動し、右方で停止し、振り向いて再び左方に向かって歩いて移動している状態を示している。言語構造構築部１３９は、図６で例示した画像情報に基づいて図４で説明した処理を行って深層格フレームを作成する。図７では、この画像情報に基づいて作成された深層格フレームを例示する。例えば、行動名「移動する」、動作主格は「未登録者」、属性格は、「身長高１７５ｃｍの痩せ型」、源泉格「エレベータ」、目標格「玄関」、場所格の脚部位置「玄関」、時間格として動作開始時刻「２００７年１１月１２日１４時３分１０秒」、動作終了時刻「２００７年１１月１２日１４時３分５５秒」、副行動「振り向く」、副行動についての源泉格「θ０」、目標格「θ１」である。図５の説明において、図６の動画から図７の深層格フレームが生成されていることを前提に説明する。

警備日誌作成部１４０は、言語情報データベース１６１に登録されている上述の深層格フレームを読み込み（ステップＳ５０１）、動作主格、行動名、時間格、源泉格、目標格、場所格等の格要素に設定されているデータを取得する。次に、警備日誌作成部１４０は、取得した動作主格のデータを自然言語文の主語（Ａ）に設定し（ステップＳ５０２）、行動名が「移動する」であるか否かを判断する（ステップＳ５０３）。取得した行動名が「移動する」であると判断された場合は、（ステップＳ５０３；Ｙｅｓ）、警備日誌作成部１４０は「移動した」を自然言語文の動詞に設定する（ステップＳ５０４）。次に、警備日誌作成部１４０は、動詞である移動の始点（Ｐ０）に源泉格のデータを設定し（ステップＳ５０５）、移動の終点（Ｐ１）に目標格のデータを設定する（ステップＳ５０６）。次に、警備日誌作成部１４０は、主語のデータ（Ａ）、動詞「移動した」、動詞の始点のデータ（Ｐ０）、動詞の終点のデータ（Ｐ１）とを用いて、自然言語文「（Ａ）が（Ｐ０）から（Ｐ１）に移動した」を、警備日誌用要約文として出力する（ステップＳ５０８）。次に、警備日誌作成部１４０は要約文の文頭に動作開始時刻と動作終了時刻とからなる時間格を時間情報として付与する（ステップＳ５０９）。

図８は、警備日誌用要約文の文頭に時間情報を付与した状態を示す説明図である。図８では、図６の動画から生成された図７に示す深層格フレームに基づき、図５のステップＳ５０１〜ステップＳ５０８の処理を行って作成された警備日誌用要約文と時間情報とを例示する。警備日誌用要約文「未登録者がエレベータから玄関に移動した」は、図８における右方に、動作開始時刻と動作終了時刻とからなる時間格は、動作が行われた日時と対応付けた時間情報として、図８における左方に表示してある。人物Ａの上記動作は２００７年１１月１２日１４時３分１０秒に開始され、同日１４時３分５５秒に終了するまで継続していたことが読み取れる。

図５に戻り、ステップＳ５０３において、取得した行動名が「移動する」でないと判断された場合には、（ステップＳ５０３；Ｎｏ）、次に、警備日誌作成部１４０は取得した行動名が「しゃがみ」であるか否かを判断する（ステップＳ５１１）。取得した行動名が「しゃがみ」であると判断された場合は（ステップＳ５１１；Ｙｅｓ）、警備日誌作成部１４０は「しゃがんだ」を自然言語文の動詞に設定する（ステップＳ５１２）。次に、「しゃがみ」が行われた場所（Ｐ２）に場所格の脚部位置のデータを設定する（ステップＳ５１３）。次に、警備日誌作成部１４０は、主語のデータ（Ａ）、動詞「しゃがんだ」、動作場所のデータ（Ｐ２）とを用いて自然言語文「（Ａ）が（Ｐ２）でしゃがんだ」を警備情報用要約文として出力する（ステップＳ５１５）。尚、ステップＳ５１１において、警備日誌作成部１４０が、取得した行動名が「しゃがみ」でないと判断した場合は（ステップＳ５１１；Ｎｏ）、動詞に設定すべき行動名を他の行動名から検索する。

上記のステップＳ５０１からＳ５０９までの処理は、すべての格フレームについて繰り返し実行される。そして、すべての格フレームについての上記処理が終了したら、警備日誌作成部１４０は、生成した警備日誌用要約文と時間情報とから成る警備日誌を表示装置や印刷装置などの出力装置に出力する（ステップＳ５１０）。

図９は、警備日誌の作成例を示す図である。図９では、図６の動画から生成された図７に示す深層格フレームに基づき、図５のステップＳ５０１〜ステップＳ５１５の処理を行って出力される警備日誌を例示している。警備日誌は、作成年月日毎に出力され、図９における上方に作成年月日の欄が設けてある。警備日誌用要約文「人物ＡがＰ０からＰ１に移動して振り向いた」は、図９の右方において、上方から時系列に表示される。時間情報は図９において左方に表示される。作成された警備日誌用要約文においては、必要に応じて深層格を用いたキーワード検索や画像検索が可能である。これにより、警備の品質を向上させることが可能となる。

なお、警備日誌作成部１４０は、図７に示す深層格フレームから属性格である身長高、体型、顔情報等を取得し、上述したステップＳ５０１〜Ｓ５１５の処理を行って、身長「１７５ｃｍ」、体型「痩せ型」顔情報「マスク無し、サングラス無し」等、動作主格Ａの特徴を現す情報を主語「Ａ」に付加した自然言語文を生成し、自然言語文から警備日誌用要約文を作成し、要約文の文頭に時間情報を付与することにより警備日誌を出力することとしてもよい。

また、警備日誌作成部１４０は、図７に示す深層格フレームから副行動を取得し、上述したステップＳ５０１〜Ｓ５１３の処理を行って、動詞「移動する」に副行動「振り向く」を付加した自然言語文を生成することとしてもよい。さらに、警備日誌作成部１４０は、図７に示す深層格フレームから、源泉格と目標格とを取得し、副行動「振り向く」について視線方向の始点「θ０」、視線方向の終点「θ１」を付加した自然言語文を生成し、自然言語文から警備日誌用要約文を作成し、要約文の文頭に時間情報を付与することにより警備日誌を出力することとしてもよい。

このように、実施の形態１にかかる警備装置１３０は、画像情報について、物体の動作の種類を意味する行動名や動作の主体を表す動作主格等である深層格を生成し、深層格に基づいて画像情報の要約文を生成し、要約文に時間情報を付与することにより警備日誌を作成するので、正確な情報を有する警備日誌を容易に得ることができる。また、本実施の形態によれば、正確な警備日誌を作成することができるので、画像情報に基づいて正確に文字情報を生成することが可能となる。また、本実施の形態によれば、正確な警備日誌を作成することができるので、深層格フレームの格要素の文書キーワードとして用いることにより、必要に応じた画像検索を容易にし、警備の品質向上を実現することが可能となる。

（実施の形態２）
実施の形態１の警備装置１３０では、監視カメラで撮像した監視領域の画像情報から監視領域内の人物の行動を記録した警備日誌を生成していたが、この実施の形態２では、かかる行動から不審者か否かを判断して、その判断結果を記録した警備日誌を生成している。

図１０は、実施の形態２の警備装置の機能的構成を示すブロック図である。実施の形態２の警備装置１０００は、図１０に示すように、センサ１１０と、監視カメラ１２０と、検知情報受信部１３１と、画像処理部１３２と、警備状態切換部１３３と、操作パネル制御部１３４と、操作パネル１３５と、出力部１３６と、送受信部１３７と、警備状態記憶部１３８と、言語構造構築部１３９と、警備日誌作成部１０４０と、不審判定部１９０と、映像データベース１５１を記憶する第１記憶部１５０と、言語情報データベース１６１を記憶する第２記憶部１６０と、不審情報データベース１０３１を記憶する第３記憶部１７０とを主に備えている。

ここで、センサ１１０、監視カメラ１２０、検知情報受信部１３１、画像処理部１３２、警備状態切換部１３３、操作パネル制御部１３４、操作パネル１３５、出力部１３６、送受信部１３７、警備状態記憶部１３８、言語構造構築部１３９、映像データベース１５１、言語情報データベース１６１については実施の形態１と同様である。

不審情報データベース１０３１は、不審者の動作状態を表す行動パターンとして予め定められた不審情報を記憶する。図１１は、不審情報データベース１０３１のデータ構造の一例を示す図である。図１１に示すように、不審情報は、不審者の動作の種類を表す行動名と、不審者の動作に関連する深層格（格情報）と、当該深層格が満たすべき条件とを含んでいる。

図１１の網掛け部は、行動名が「きょろきょろする」である場合であって、かつ場所格の***置が「玄関前」、すなわち、玄関前できょろきょろしている場合を不審者または不審行動として記憶している例を示している。

なお、不審情報データベース１０３１に記憶される行動名や、深層格の種類等は、予めユーザによって記憶される。また、第３記憶部１７０は、メモリ、ＨＤＤ等の記憶媒体である。

図１０に戻り、不審判定部１９０は、入力された格フレーム（状態情報）が不審情報データベース１０３１に登録されている不審情報に適合するか否かを判断することにより、入力された格フレームの行動が不審か否かを判定する。具体的には、不審判定部１９０は、警備日誌作成部１０４０から入力された格フレームから、格フレームの行動名が不審情報の行動名と一致し、かつ格フレームの格要素のうち不審情報の格情報に記載された格要素が不審情報の条件を満たす格フレームを検索する。そして、不審判定部１０４０は、条件を満たす格フレームの示す行動が不審であると判定する。

警備日誌作成部１０４０は、言語情報データベース１６１に蓄積される深層格フレームから、行動名、動作主格、属性格、時間格等の深層格を取得し、これらの各要素と不審判定部１９０の判定結果から警備日誌を生成するものである。

次に、以上のように構成された実施の形態２の警備装置１０００による警備日誌の生成処理について説明する。図１２は、実施の形態２の警備日誌生成処理の手順を示すフローチャートである。ここで、本実施の形態では、図１４に示す形式の警備日誌が生成されるものとする。

警備日誌作成部１０４０は、言語情報データベース１６１に登録されている深層格フレームを読み込み（ステップＳ１２０１）、動作主格、属性格、行動名、時間格、源泉格、目標格、場所格等の格要素に設定されているデータを取得する。具体的には、属性格のデータとして具体的には、身長高、体型、顔情報の性別とサングラスの有無の各データを取得するそして、警備日誌作成部１０４０は、まず、図１４に示す警備日誌の来訪者情報欄に、属性格のデータと動作主格のデータを設定する（ステップＳ１２０２）。これにより、図１４に示すように、警備日誌には、動作主格のデータとして「Ａ」等が、属性格のデータとして、身長、体型、性別、サングラスの有無のそれぞれが記録される。

次に、警備日誌作成部１０４０は、警備日誌の来訪者情報欄に、取得した行動名のデータを設定する（ステップＳ１２０３）。具体的には、警備日誌作成部１０４０は、図１４に示すように、取得した行動名「不正解錠動作」と「をした」等の述語が警備日誌に記録される。なお、この行動名は、後述する不審行動と判定された場合にのみ警備日誌に記録して、不審行動でないと判定された場合には行動名の記録を行わないように構成してもよい。

次に、警備日誌作成部１０４０は、警備日誌の入館時刻欄に時間格のデータを設定する（ステップＳ１２０４）。そして、同一の動作主格の格フレームで行動名が退出動作の格フレームを検索し、検索された退出動作の格フレームの時間格を、警備日誌の退館時刻欄に設定する（ステップＳ１２０５）。これにより、図１４に示すように、警備日誌の入館時刻欄と退館時刻欄にそれぞれ時刻が記録される。

次に、不審判定部１９０により、現在処理中の格フレームで示される行動が不審行動か否かを判定する不審判定処理を行う（ステップＳ１２０６）。図１３は、不審判定処理の手順を示すフローチャートである。

不審判定部１９０は、現在処理中の格フレームを警備日誌作成部１０４０から入力し、この格フレームと一致する不審情報を不審情報データベース１０３１から検索する（ステップＳ１３０１）。具体的には、不審判定部１９０は、格フレームの行動名が不審情報の行動名と一致し、かつ格フレームの格要素のうち不審情報の格情報に記載された格要素が不審情報の条件を満たす格フレームを検索する。

そして、不審判定部１９０は、格フレームが不審情報と一致するか否かを判断する（ステップＳ１３０２）。そして、不審判定部１９０は、格フレームが不審情報と一致する場合には（ステップＳ１３０２：Ｙｅｓ）、不審行動と判定し（ステップＳ１３０３）、一致しない場合には（ステップＳ１３０２：Ｎｏ）、不審行動でない判定する（ステップＳ１３０４）。この判定結果は、警備日誌作成部１０４０に送出される。

図１２に戻り、不審判定処理の判定結果を受け取った警備日誌作成部１０４０は、判定結果が不審行動か否かを調べる（ステップＳ１２０７）。そして、判定結果が不審行動である場合には（ステップＳ１２０７：Ｙｅｓ）、警備日誌作成部１０４０は、警備日誌の不審欄に「不審」を記録する（ステップＳ１２０８）。一方、判定結果が不審行動でない場合には（ステップＳ１２０７：Ｎｏ）、警備日誌作成部１０４０は、警備日誌の不審欄に不審行動でない旨を示す「−」を記録する（ステップＳ１２１３）。

以上のステップＳ１２０２からＳ１２０８，Ｓ１２１３までの処理を、読み込んだ全ての格フレームに対して実行する。これにより、格フレームごとに警備日誌の記録が生成されて記録されることになる。この結果、警備日誌に記録された格フレームごとの記録数が来訪者数に該当するので、そして、警備日誌作成部１０４０はこの記録数をカウントし、カウント数を警備日誌の来訪者人数欄に記録する（ステップＳ１２０９）。また、警備日誌作成部１０４０は、警備日誌における不審の記録数をカウントし、このカウント数を警備日誌の不審者人数欄に記録する（ステップＳ１２１０）。さらに、警備日誌作成部１０４０は、取得した時間格の年月日のデータを警備日誌の年月日欄に記録する（ステップＳ１２１１）。そして、このようにして生成された警備日誌を表示装置や印刷装置などの出力装置に出力する（ステップＳ１２１２）。これにより、図１４に示す警備日誌が生成され、出力されることになる。

このように実施の形態２の警備装置１０４０では、かかる行動から不審者か否かを判断して、その判断結果を記録した警備日誌を生成しているので、実施の形態１と同様に、正確な情報を有する警備日誌を容易に得ることができる他、不審者か否かの情報も正確に記録することが可能となる。

なお、本実施の形態では、格フレームから時間格と動作主格の他、属性格のデータも取得して警備日誌を生成していたが、時間格と動作主格に設定されたデータのみを取得して、来訪者情報欄に動作主体のみを記録した警備日誌を生成するように警備日誌作成部１０４０を構成してもよい。図１５は、来訪者情報欄に動作主体のみを記録した警備日誌の生成例を示す説明図である。図１５に示す例では、来訪者情報欄に動作主体のみが記録されており、監視領域に来訪した者を特定すればよい場合に、警備日誌の生成処理を効率的に実現することができて便宜である。

また、本実施の形態で作成した複数日数分の警備日誌の来場者情報欄の動作主体の記録数および未登録者か否かの情報、不審欄の「不審」の記録数をそれぞれ日ごとに集計して、日ごとの来訪者数、登録者数、未登録者数、不審数の集計一覧を記録した警備日誌を生成するように警備日誌作成部１０４０を構成してもよい。

図１６は、集計一覧を記録した警備日誌の例を示す説明図である。図１６に示すように、警備日誌には、日ごとに集計して、日ごとの来訪者数、登録者数、未登録者数、不審数の集計一覧が記録されている。このような警備日誌を生成することにより、一定期間内における監視領域への来訪者の種類を容易に判別することが可能となる。なお、集計を週単位や月単位で行うように構成してもよく、あるいは曜日ごとに統計を取るように構成してもよい。

（実施の形態３）
実施の形態１および２の警備装置では、主として監視領域への来訪者の行動を記録した警備日誌を生成していたが、この実施の形態３では、監視領域を巡回する警備員たる巡回者の行動を記録した警備日誌を生成している。

図１７は、実施の形態３の警備装置の機能的構成を示すブロック図である。実施の形態３の警備装置１７００は、図１７に示すように、センサ１１０と、監視カメラ１２０と、検知情報受信部１３１と、画像処理部１３２と、警備状態切換部１３３と、操作パネル制御部１３４と、操作パネル１３５と、出力部１３６と、送受信部１３７と、警備状態記憶部１３８と、言語構造構築部１３９と、警備日誌作成部１７４０と、映像データベース１５１を記憶する第１記憶部１５０と、言語情報データベース１６１を記憶する第２記憶部１６０とを主に備えている。

ここで、センサ１１０、監視カメラ１２０、検知情報受信部１３１、画像処理部１３２、警備状態切換部１３３、操作パネル制御部１３４、操作パネル１３５、出力部１３６、送受信部１３７、警備状態記憶部１３８、言語構造構築部１３９、映像データベース１５１、言語情報データベース１６１については実施の形態１と同様である。

本実施の形態の警備日誌作成部１７４０は、言語情報データベース１６１に登録された格フレーム（状態情報）から、監視領域を巡回する巡回者の行動を示す格フレームを抽出し、巡回者の行動を記録した警備日誌を生成するものである。

次に、以上のように構成された実施の形態３の警備日誌の生成処理について説明する。図１８，１９は、実施の形態３の警備日誌の生成処理の手順を示すフローチャートである。図２０は、実施の形態３の警備装置により生成される警備日誌の一例を示す説明図である。

警備日誌作成部１７４０は、言語情報データベース１６１に登録されている深層格フレームを読み込み（ステップＳ１８０１）、動作主格、行動名、時間格、源泉格、目標格、場所格等の格要素に設定されているデータを取得する。次に、警備日誌作成部１７４０は、取得した動作主格のデータが巡回者の格フレームを全て抽出する（ステップＳ１８０２）。そして、警備日誌作成部１７４０は、行動名が「移動する」であるか否かを判断する（ステップＳ１８０３）。取得した行動名が「移動する」であると判断された場合は（ステップＳ１８０３；Ｙｅｓ）、警備日誌作成部１７４０は「巡回した」を自然言語文の動詞に設定する（ステップＳ１８０４）。次に、警備日誌作成部１７４０は、動詞である移動の始点（Ｐ０）に源泉格のデータを設定し（ステップＳ１８０５）、移動の終点（Ｐ１）に目標格のデータを設定する（ステップＳ１８０６）。次に、警備日誌作成部１７４０は、動詞「巡回した」、動詞の始点のデータ（Ｐ０）、動詞の終点のデータ（Ｐ１）とを用いて、自然言語文「（Ｐ０）から（Ｐ１）に巡回した」を、警備日誌用要約文として出力し、図２０に示す警備日誌の来訪者情報欄に設定する（ステップＳ１８０８）。次に、警備日誌作成部１４０は、警備日誌の時刻欄に時間格に設定された時間情報を付与する（ステップＳ１８０９）。警備日誌作成部１４０は、警備日誌の行動記録欄に「巡回」を設定する（ステップＳ１８１０）。

図１８、１９に戻り、ステップＳ１８０３において、取得した行動名が「移動する」でないと判断された場合には、（ステップＳ１８０３；Ｎｏ）、次に、警備日誌作成部１７４０は取得した行動名が「しゃがみ」であるか否かを判断する（ステップＳ１８１１）。取得した行動名が「しゃがみ」であると判断された場合は（ステップＳ１８１１；Ｙｅｓ）、警備日誌作成部１７４０は「施錠した」を自然言語文の動詞に設定する（ステップＳ１８１２）。次に、「施錠した」場所（Ｐ２）に場所格の脚部位置のデータを設定する（ステップＳ１８１３）。次に、警備日誌作成部１７４０は、動詞「施錠した」、動作場所のデータ（Ｐ２）とを用いて自然言語文「（Ｐ２） 施錠した」を警備情報用要約文として生成し、警備日誌の来訪者情報欄に設定する（ステップＳ１８１５）。

一方、ステップＳ１８１１において、取得した行動名が「しゃがみ」でないと判断された場合には、（ステップＳ１８１１；Ｎｏ）、次に、警備日誌作成部１７４０は取得した行動名が「見る」であるか否かを判断する（ステップＳ１８１６）。取得した行動名が「見る」であると判断された場合は（ステップＳ１８１６；Ｙｅｓ）、警備日誌作成部１７４０は「確認した」を自然言語文の動詞に設定する（ステップＳ１８１７）。次に、「確認した」対象（Ｐ３）に対象格のデータを設定する（ステップＳ１８１８）。次に、警備日誌作成部１７４０は、動詞「確認した」、対象のデータ（Ｐ３）とを用いて自然言語文「（Ｐ３） 確認した」を警備情報用要約文として生成し、警備日誌の来訪者情報欄に設定する（ステップＳ１８２０）。

一方、ステップＳ１８１６において、取得した行動名が「見る」でないと判断された場合には、（ステップＳ１８１６；Ｎｏ）、警備日誌作成部１７４０は、自然言語文の場所（Ｐ４）に場所格のデータを設定する（ステップＳ１８２１）。次に、警備日誌作成部１７４０は、場所のデータ（Ｐ４）を用いて自然言語文「（Ｐ４）で待機」を警備情報用要約文として生成し、警備日誌の来訪者情報欄に設定する（ステップＳ１８２２）。また、警備日誌作成部１７４０は、警備日誌の行動記録欄に「待機」を設定する（ステップＳ１８２３）。

以上のステップＳ１８０３からＳ１８１０までの処理を、抽出した巡回者の格フレームの全てについて繰り返し実行する。そして、すべての巡回者の格フレームについての上記処理が終了したら、警備日誌作成部１７４０は、警備日誌を表示装置や印刷装置などの出力装置に出力する（ステップＳ１８２５）。

このように実施の形態３にかかる警備装置では、物体の動作の種類を意味する行動名や動作の主体を表す動作主格等である深層格から、監視領域を巡回する警備員たる巡回者の行動を記録した警備日誌を生成するので、巡回者である警備員の警備につき、正確な情報を有する警備日誌を容易に得ることができる。

なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

実施の形態１にかかる警備システム１００の構成を示すブロック図である。 実施の形態１にかかる言語情報データベース１６１に記憶される深層格のデータ構造の一例を示す図である。 実施の形態１にかかる言語情報データベース１６１に登録された深層格のデータ構造の一例を示す図である。 実施の形態１における画像からの動作検出処理の全体の流れを示すフローチャートである。 実施の形態１にかかる警備装置における警備日誌作成処理の手順を示すフローチャートである。 映像データベース１５１に記憶されている画像情報を示す図である。 言語情報データベース１６１に保存された深層格フレームを示す図である。 警備日誌用要約文の文頭に時間情報を付与した状態を示す説明図である。 実施の形態１の警備日誌の作成例を示す図である。 実施の形態２の警備装置の機能的構成を示すブロック図である。 不審情報データベース１０３１のデータ構造の一例を示す図である。 実施の形態２の警備日誌生成処理の手順を示すフローチャートである。 不審判定処理の手順を示すフローチャートである。 実施の形態２の警備日誌の一例を示す説明図である。 来訪者情報欄に動作主体のみを記録した警備日誌の生成例を示す説明図である。 集計一覧を記録した警備日誌の例を示す説明図である。 実施の形態３の警備装置の機能的構成を示すブロック図である。 、実施の形態３の警備日誌の生成処理の手順を示すフローチャートである。 実施の形態３の警備日誌の生成処理の手順を示す図１８の続きのフローチャートである。 実施の形態３の警備装置により生成される警備日誌の一例を示す説明図である。

符号の説明

１００，１０００，１７００ 警備システム
１１０ センサ
１２０ 監視カメラ
１３０，１０３０，１７３０ 警備装置
１３１ 検知情報受信部
１３２ 画像処理部
１３３ 警備状態切替部
１３４ 操作パネル制御部
１３５ 操作パネル
１３６ 出力部
１３７ 送受信部
１３８ 警備状態記憶部
１３９ 言語構造構築部
１４０，１０４０，１７４０ 警備日誌作成部
１５０ 第１記憶部
１５１ 映像データベース
１６０ 第２記憶部
１６１ 言語情報データベース
１７０ 第３記憶部
１０３１ 不審情報データベース
１９０ 不審判定部
２００ 監視センタ
３００ ネットワーク

Claims (10)

1. 撮像手段によって撮像された所定の領域における物体の画像情報を記憶する第１記憶手段と、
   物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す深層格であって、少なくとも、前記物体の動作の種類を意味する行動名と、前記動作の主体を表す動作主格と、前記動作が開始された時刻である動作開始時刻と前記動作が終了した時刻である動作終了時刻とを表す時間格と、を深層格として有する深層格フレームを記憶可能な第２記憶手段と、
   前記画像情報を解析して物体の動作状態を抽出し、抽出した動作状態を表す前記行動名と前記動作主格と前記時間格とを生成して前記深層格フレームに登録する言語構造構築手段と、
   前記深層格フレームから、前記動作主格を取得し、前記行動名を動詞にするとともに、前記動作主格と、前記動作開始時刻と前記動作終了時刻とからなる前記時間格を時間情報とに基づいて、前記画像情報の要約を示す日誌を作成する日誌作成手段と、
   を備えたことを特徴とする日誌作成装置。
2. 前記日誌作成手段は、前記深層格フレームから、前記行動名と前記動作主格と前記時間格とを取得し、前記行動名を動詞にするとともに、前記動作主格を主語にした自然言語文を生成することにより、前記画像情報の要約文を作成し、前記要約文に前記動作開始時刻と前記動作終了時刻とからなる前記時間格を時間情報として付与することにより日誌を作成することを特徴とする請求項１に記載の日誌作成装置。
3. 前記深層格フレームは、さらに、前記動作が開始された位置を表す源泉格と、前記動作が終了された位置を表す目標格とを深層格として有し、
   前記言語構造構築手段は、さらに、前記源泉格と前記目標格とを生成して前記深層格フレームに登録し、
   前記日誌作成手段は、さらに、前記深層格フレームから前記源泉格と前記目標格とを取得し、前記行動名が移動を示す場合に、前記移動の始点を前記源泉格とし、前記移動の終点を前記目標格とした自然言語文を生成することにより、前記画像情報の要約文を作成すること、を特徴とする請求項２に記載の日誌作成装置。
4. 前記深層格フレームは、さらに、前記動作が行われた場所である場所格を深層格として有し、
   前記言語構造構築手段は、さらに、前記場所格を生成して前記深層格フレームに登録し、
   前記日誌作成手段は、さらに、前記深層格フレームから前記場所格を取得し、前記行動名がしゃがみを示す場合に、しゃがんだ場所を前記場所格とした自然言語文を生成することにより、前記画像情報の要約文を作成すること、を特徴とする請求項２に記載の日誌作成装置。
5. 前記第２記憶手段は、さらに、前記動作主格の身長高、体型、顔情報等を表す属性格を深層格として有する深層格フレームを記憶可能であって、
   前記言語構造構築手段は、さらに、前記属性格を生成して前記深層格フレームに登録し、
   前記日誌作成手段は、さらに、前記深層格フレームから前記属性格を取得し、前記動作主格の身長、体型、顔情報等を前記属性格とした自然言語文を生成することにより、前記画像情報の要約文を作成すること、を特徴とする請求項２〜４のいずれか１つに記載の日誌作成装置。
6. 前記第２記憶手段は、動作の種類が複数ある場合に、主たる動作に付随して行われる動作である副行動を深層格として有する深層格フレームを記憶可能であって、
   前記言語構造構築手段は、さらに、前記副行動を生成して前記深層格フレームに登録し、
   前記日誌作成手段は、さらに、前記深層格フレームから前記副行動を取得し、前記行動名と前記副行動とを前記動詞とした自然言語文を生成することにより、前記画像情報の要約文を作成すること、を特徴とする請求項２〜５のいずれか１つに記載の日誌作成装置。
7. 前記深層格フレームは、さらに、前記動作が開始された位置を表す源泉格と、前記動作が終了された位置を表す目標格とを深層格として有し、
   前記言語構造構築手段は、さらに、前記源泉格と前記目標格とを生成して前記深層格フレームに登録し、
   前記日誌作成手段は、さらに、前記深層格フレームから前記源泉格と前記目標格とを取得し、前記副行動が振り向くを示す場合に、前記副行動の始点を前記源泉格とし、前記副行動の終点を前記目標格とした自然言語文を生成することにより、前記画像情報の要約文を作成すること、を特徴とする請求項６に記載の日誌作成装置。
8. 不審者の動作状態として予め定められた情報であって、前記不審者の動作の種類を表す動詞と、前記不審者の動作に関連する名詞である格要素に関する条件とを含む不審情報を記憶する不審情報記憶手段と、
   前記状態情報に含まれる動詞が前記不審情報に含まれる動詞と一致し、かつ、前記状態情報に含まれる格要素が前記不審情報に含まれる前記条件を満たす前記状態情報を不審行動であると判定する判定手段と、を更に備え、
   前記日誌作成手段は、さらに、前記判定手段によって前記状態情報が不審行動であると判定された場合に、前記要約文に前記不審行動である旨を対応付けて付与することにより前記日誌を作成することを特徴とする請求項１〜７のいずれか１つに記載の日誌作成装置。
9. 前記日誌作成手段は、前記深層格フレームから、前記動作主格が巡回者である前記深層格フレームを抽出し、抽出された前記深層格フレームから、前記行動名と前記時間格とを取得し、前記行動名を動詞にした自然言語文を生成することにより、前記画像情報の要約文を作成し、前記要約文に前記動作開始時刻と前記動作終了時刻とからなる前記時間格を時間情報として付与することにより日誌を作成することを特徴とする請求項１に記載の日誌作成装置。
10. 撮像手段によって撮像された所定の領域における物体の画像情報の要約文を作成することにより日誌を作成する日誌作成装置で実行される日誌作成方法であって、
    前記日誌作成装置は、
    前記画像情報を記憶する第１記憶手段と、
    物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す深層格であって、少なくとも、前記物体の動作の種類を意味する行動名と、前記動作の主体を表す動作主格と、前記動作が開始された時刻である動作開始時刻と前記動作が終了した時刻である動作終了時刻とを表す時間格と、を深層格として有する深層格フレームを記憶可能な第２記憶手段と、を備え、
    前記画像情報を解析して物体の動作状態を抽出し、抽出した動作状態を表す前記行動名と前記動作主格と前記時間格とを生成して前記深層格フレームに登録する言語構造構築ステップと、
    前記深層格フレームから、前記動作主格を取得し、前記行動名を動詞にするとともに、前記動作主格と、前記動作開始時刻と前記動作終了時刻とからなる前記時間格を時間情報とに基づいて、前記画像情報の要約を示す日誌を作成する日誌作成ステップと、
    を含むことを特徴とする日誌作成方法。

Images