JP5227046B2

JP5227046B2 - Motion detection device and motion detection method

Info

Publication number: JP5227046B2
Application number: JP2008042834A
Authority: JP
Inventors: 拓雄森口; 健宏馬渕; 聡二見; 正貴村川
Original assignee: SOHGO SECURITY SERVICES CO.,LTD.
Current assignee: SOHGO SECURITY SERVICES CO.,LTD.
Priority date: 2008-02-25
Filing date: 2008-02-25
Publication date: 2013-07-03
Anticipated expiration: 2028-02-25
Also published as: JP2009199516A

Description

この発明は、カメラなどの撮像手段により撮像された画像情報から人物などの物体の動作を検出する動作検出装置および動作検出方法に関する。 The present invention relates to a motion detection apparatus and a motion detection method for detecting the motion of an object such as a person from image information captured by an imaging means such as a camera.

従来から、監視カメラ等で撮影した画像を分析して、人物などの監視対象物の行動を認識する認識装置が知られている。例えば、特許文献１では、建物等に固定された固定カメラではなく、人物等の移動体に装着されたカメラによって撮影された画像を加工して被写体の行動を分析する技術が提案されている。 2. Description of the Related Art Conventionally, a recognition device that analyzes an image captured by a monitoring camera or the like and recognizes an action of a monitoring target such as a person is known. For example, Patent Document 1 proposes a technique for analyzing an action of a subject by processing an image captured by a camera attached to a moving body such as a person, not a fixed camera fixed to a building or the like.

特許文献１では、移動するカメラで撮影された画像から分析された行動をテキスト情報として出力するため、カメラを装着した人物の特性に応じたテキスト情報を集積してテキストデータベースを構築することが可能となる。 In Patent Document 1, since behaviors analyzed from images taken with a moving camera are output as text information, it is possible to build a text database by accumulating text information according to the characteristics of the person wearing the camera. It becomes.

特開２００４−２８０３７６号公報JP 2004-280376 A

しかしながら、特許文献１の方法は、画像の分析のみによって監視対象物の行動を認識するため、分析のための画像処理の処理負荷が高くなるという問題があった。例えば、特許文献１では、画像から抽出した人物の顔領域を着色して元の画像に組み込み、ノイズ除去処理、メジアンフィルタ処理などの画像処理後の画像を比較することにより顔領域の動きを分析し、被撮影者の動作を推定している。 However, the method of Patent Literature 1 has a problem that the processing load of image processing for analysis increases because the behavior of the monitoring object is recognized only by image analysis. For example, in Patent Document 1, a human face area extracted from an image is colored and incorporated into the original image, and the movement of the face area is analyzed by comparing images after image processing such as noise removal processing and median filter processing. The movement of the subject is estimated.

本発明は、上記に鑑みてなされたものであって、画像から監視対象物の動作を検出するときの処理負荷を低減することができる動作検出装置および動作検出方法を提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide an operation detection device and an operation detection method capable of reducing a processing load when detecting an operation of a monitoring object from an image. .

上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を記憶可能な記憶手段と、撮像手段によって撮像された前記物体の画像情報を取得する取得手段と、前記画像情報を解析して物体の動作状態を検出し、検出した動作状態を表す前記状態情報を生成して前記記憶手段に保存する第１検出手段と、保存された複数の前記状態情報間の差分を検出し、前記差分に応じた前記物体の動作を予め定めた規則に基づいて、検出した差分に対応する前記物体の動作を検出する第２検出手段と、を備え、前記規則は、比較元の前記状態情報の前記動詞または前記格要素と比較先の前記状態情報の前記動詞または前記格要素とによって表される前記状態情報の差分のパターンを表す差分情報と、前記差分情報に応じて定められた前記物体の動作とを含み、前記第２検出手段は、第１状態情報の前記動詞または前記格要素が前記比較元の前記状態情報の前記動詞または前記格要素と一致し、第２状態情報の前記動詞または前記格要素が前記比較先の前記状態情報の前記動詞または前記格要素と一致する場合に、前記第１状態情報と前記第２状態情報との間に差分が存在することを検出し、検出した差分を表す前記差分情報に対応する前記物体の動作を検出すること、を特徴とする動作検出装置である。 In order to solve the above-described problems and achieve the object, the invention according to claim 1 is information representing the motion state of an object, and is related to a verb representing the motion type of the object and the motion of the object. A storage element capable of storing state information represented by a case frame including a case element that is a noun and indicating a semantic relationship between the verb and the case element, and image information of the object imaged by the imaging means A first detection unit that analyzes the image information to detect an operation state of the object, generates the state information representing the detected operation state, and stores the state information in the storage unit; detecting a difference between a plurality of the state information, based on a predetermined rule an operation of the object in accordance with the difference, and the second detection means for detecting the operation of the object corresponding to the detected difference, the The rule comprises a ratio In accordance with the difference information, which represents a difference pattern of the state information represented by the verb or the case element of the original state information and the verb or the case element of the state information of the comparison destination The movement of the object is determined, and the second detection means matches the verb or the case element of the state information of the comparison source with the verb or the case element of the first state information, There is a difference between the first state information and the second state information when the verb or case element of the state information matches the verb or case element of the state information to be compared. And detecting an action of the object corresponding to the difference information representing the detected difference .

また、請求項２にかかる発明は、請求項１に記載の動作検出装置において、前記第２検出手段は、さらに、検出した前記物体の動作の種類を表す動詞と、検出した前記物体の動作に関連する格要素とを含む前記状態情報を生成して前記記憶手段に保存し、保存した複数の前記状態情報間の差分をさらに検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、を特徴とする。 According to a second aspect of the present invention, in the motion detection device according to the first aspect, the second detection means further includes a verb representing a type of motion of the detected object and a motion of the detected object. The state information including a related case element is generated and stored in the storage unit, a difference between the plurality of stored state information is further detected, and the action of the object corresponding to the detected difference is set as the rule. It detects based on.

また、請求項３にかかる発明は、請求項１に記載の動作検出装置において、前記状態情報は、前記格要素として前記物体の動作が発生した時刻を含み、前記第２検出手段は、保存された前記状態情報のうち、前記時刻が連続する複数の前記状態情報間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、を特徴とする。 According to a third aspect of the present invention, in the motion detection device according to the first aspect, the state information includes a time when the motion of the object has occurred as the case element, and the second detection means is stored. Further, it is characterized in that a difference between a plurality of the state information having the continuous time among the state information is detected, and an action of the object corresponding to the detected difference is detected based on the rule.

また、請求項４にかかる発明は、請求項１に記載の動作検出装置において、前記状態情報は、前記格要素として前記物体の位置を含み、前記第２検出手段は、保存された複数の前記状態情報に含まれる前記位置間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、を特徴とする。 According to a fourth aspect of the present invention, in the motion detection device according to the first aspect, the state information includes the position of the object as the case element, and the second detection means includes a plurality of the stored states. A difference between the positions included in the state information is detected, and an action of the object corresponding to the detected difference is detected based on the rule.

また、請求項５にかかる発明は、請求項１に記載の動作検出装置において、前記状態情報は、前記格要素として前記物体の向きを含み、前記第２検出手段は、保存された複数の前記状態情報に含まれる前記向きの間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、を特徴とする。 According to a fifth aspect of the present invention, in the motion detection device according to the first aspect, the state information includes an orientation of the object as the case element, and the second detection means includes a plurality of the stored states. A difference between the directions included in the state information is detected, and an action of the object corresponding to the detected difference is detected based on the rule.

また、請求項６にかかる発明は、請求項１に記載の動作検出装置において、前記状態情報は、前記格要素として前記物体の高さを含み、前記第２検出手段は、保存された複数の前記状態情報に含まれる前記高さ間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、を特徴とする。 According to a sixth aspect of the present invention, in the motion detection device according to the first aspect, the state information includes the height of the object as the case element, and the second detection means includes a plurality of stored A difference between the heights included in the state information is detected, and an action of the object corresponding to the detected difference is detected based on the rule.

また、請求項７にかかる発明は、取得手段が、撮像手段によって撮像された物体の画像情報を取得する取得ステップと、第１検出手段が、前記画像情報を解析して物体の動作状態を検出し、検出した動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を生成して記憶手段に保存する第１検出ステップと、第２検出手段が、保存された複数の前記状態情報間の差分を検出し、前記差分に応じた前記物体の動作を予め定めた規則に基づいて、検出した差分に対応する前記物体の動作を検出する第２検出ステップと、を含み、前記規則は、比較元の前記状態情報の前記動詞または前記格要素と比較先の前記状態情報の前記動詞または前記格要素とによって表される前記状態情報の差分のパターンを表す差分情報と、前記差分情報に応じて定められた前記物体の動作とを含み、前記第２検出ステップは、第１状態情報の前記動詞または前記格要素が前記比較元の前記状態情報の前記動詞または前記格要素と一致し、第２状態情報の前記動詞または前記格要素が前記比較先の前記状態情報の前記動詞または前記格要素と一致する場合に、前記第１状態情報と前記第２状態情報との間に差分が存在することを検出し、検出した差分を表す前記差分情報に対応する前記物体の動作を検出すること、を特徴とする動作検出方法である。 According to a seventh aspect of the present invention, the acquisition means acquires the image information of the object imaged by the imaging means, and the first detection means detects the operation state of the object by analyzing the image information. Information indicating the detected motion state, including a verb indicating the type of motion of the object and a case element that is a noun related to the motion of the object, and the meaning between the verb and the case element A first detection step of generating state information represented by a case frame indicating a relationship and storing the state information in a storage unit; and a second detection unit detecting a difference between the plurality of stored state information, A second detection step of detecting the motion of the object corresponding to the detected difference based on a rule that predetermines the motion of the corresponding object , wherein the rule is the verb of the state information of the comparison source Or the case element Difference information representing a difference pattern of the state information represented by the verb or the case element of the state information of the comparison destination, and an action of the object determined according to the difference information, 2 detecting step, wherein the verb or the case element of the first state information matches the verb or the case element of the state information of the comparison source, and the verb or the case element of the second state information is the comparison destination When the state information coincides with the verb or the case element, it is detected that a difference exists between the first state information and the second state information, and the difference information representing the detected difference is included in the difference information. It is a motion detection method characterized by detecting a motion of the corresponding object .

本発明によれば、画像情報から検出した物体の動作状態を、テキスト情報である格フレームで表した状態情報を記憶するとともに、記憶した状態情報を比較することにより物体の動作をさらに検出することができる。このため、画像の分析のみによって監視対象物の動作を認識する方法と比較して、画像から監視対象物の動作を検出するときの処理負荷を低減することができるという効果を奏する。 According to the present invention, the state of movement of an object detected from image information is stored in a case frame that is text information, and the movement of the object is further detected by comparing the stored state information. Can do. For this reason, compared with the method of recognizing the operation of the monitoring object only by analyzing the image, the processing load when detecting the operation of the monitoring object from the image can be reduced.

以下に添付図面を参照して、この発明にかかる動作検出装置および動作検出方法の最良な実施の形態を詳細に説明する。 Exemplary embodiments of an operation detection apparatus and an operation detection method according to the present invention will be explained below in detail with reference to the accompanying drawings.

本実施の形態にかかる動作検出装置は、監視カメラで撮像した画像情報から、監視対象物である人物の行動（動作状態）を解析し、解析結果を深層格フレーム構造で表して記憶部に保存する。そして、記憶部に保存した深層格フレームを相互に比較することによって、さらに人物の行動を検出する。 The motion detection apparatus according to the present embodiment analyzes the behavior (motion state) of a person who is a monitoring target from image information captured by a surveillance camera, and stores the analysis result in a deep case frame structure. To do. Then, the person's action is further detected by comparing the deep case frames stored in the storage unit with each other.

なお、以下では、監視カメラや各種センサからの情報を用いて所定領域を警備する警備装置として動作検出装置を実現した例について説明する。適用可能な装置は警備装置に限られず、画像情報を解析して物体の動作を検出する機能を備える装置であればあらゆる装置に適用できる。 In the following, an example in which the motion detection device is realized as a security device that guards a predetermined area using information from a monitoring camera and various sensors will be described. Applicable devices are not limited to security devices, and can be applied to any device that has a function of analyzing image information and detecting the motion of an object.

本実施の形態について、添付図面を参照して説明する。まず、本実施の形態が適用される監視システムの構成例について説明する。図１は、本実施の形態にかかる監視システム１０の構成を示すブロック図である。図１に示すように、監視システム１０は、警備装置１００と監視センタ２００とを備えている。警備装置１００と監視センタ２００は、電話回線、無線ネットワーク、インターネットなどのネットワーク３００を介して接続されている。 The present embodiment will be described with reference to the accompanying drawings. First, a configuration example of a monitoring system to which this exemplary embodiment is applied will be described. FIG. 1 is a block diagram showing a configuration of a monitoring system 10 according to the present embodiment. As shown in FIG. 1, the monitoring system 10 includes a security device 100 and a monitoring center 200. The security device 100 and the monitoring center 200 are connected via a network 300 such as a telephone line, a wireless network, or the Internet.

監視センタ２００は、監視領域の異常を検知した警備装置１００からの通報を受け、待機中の警備員に対して異常が検知された監視領域（不図示）へ向かう旨の指示を出すとともに、必要に応じて警察や消防等の関係機関への通報を行う。 The monitoring center 200 receives a report from the security device 100 that has detected an abnormality in the monitoring area, and instructs the standby security guard to go to the monitoring area (not shown) where the abnormality has been detected. Report to relevant agencies such as the police and fire departments.

警備装置１００は、センサ１１０と、監視カメラ１２０と、警備操作部１３０とを備えている。 The security device 100 includes a sensor 110, a monitoring camera 120, and a security operation unit 130.

センサ１１０は、警備対象である監視領域に設置されており、主に侵入者等の異常を検知する目的で設置された人感センサである。センサ１１０は、人の存在や扉の開閉を検知した場合に検知信号を出力する。センサ１１０は、例えば赤外線の受光量の変化をもとに人の存在を検出する赤外線センサ、赤外線等の受信が遮断されることで人の存在を検出する遮断センサ、電磁波の乱れで人の存在を検知する電波センサ、およびマグネットにより扉の開閉を検出するマグネットセンサなどの監視領域の異常を検出する各種センサによって構成できる。 The sensor 110 is a human sensor that is installed in a monitoring area that is a security target and is mainly installed for the purpose of detecting an abnormality such as an intruder. The sensor 110 outputs a detection signal when the presence of a person or the opening / closing of a door is detected. The sensor 110 is, for example, an infrared sensor that detects the presence of a person based on a change in the amount of received infrared light, a blocking sensor that detects the presence of a person by blocking reception of infrared light, and the presence of a person due to disturbance of electromagnetic waves. Can be configured by various sensors that detect abnormalities in the monitoring area, such as a radio wave sensor that detects the opening and closing of the door with a magnet.

監視カメラ１２０は、警備対象である監視領域を撮像する。監視カメラ１２０は、主に監視領域である住居の出入口付近や敷地内への出入口付近に設置されている。 The monitoring camera 120 images a monitoring area that is a security target. The monitoring camera 120 is installed mainly in the vicinity of the entrance / exit of a residence, which is a monitoring area, or in the vicinity of the entrance / exit to the site.

次に、警備操作部１３０について説明する。警備操作部１３０は、検知情報受信部１３１と、画像情報取得部１３２と、警備状態切替部１３３と、操作パネル制御部１３４と、操作パネル１３５と、送受信部１３６と、警備状態記憶部１３７と、第１検出部１３８と、第２検出部１３９と、ＨＤＤ（Hard Disk Drive）１５０と、を備えている。 Next, the security operation unit 130 will be described. The security operation unit 130 includes a detection information reception unit 131, an image information acquisition unit 132, a security state switching unit 133, an operation panel control unit 134, an operation panel 135, a transmission / reception unit 136, and a security state storage unit 137. , A first detection unit 138, a second detection unit 139, and an HDD (Hard Disk Drive) 150.

検知情報受信部１３１は、センサ１１０によって異常が検知された場合に送出される検知情報を受信する。検知情報は、センサ１１０から送出される検知信号である。センサ１１０が複数設置されている場合、検知情報は検知信号およびセンサ１１０を識別するセンサＩＤを含む。画像情報取得部１３２は、監視カメラ１２０によって撮像された画像情報を取得する。 The detection information receiving unit 131 receives detection information that is sent when an abnormality is detected by the sensor 110. The detection information is a detection signal sent from the sensor 110. When a plurality of sensors 110 are installed, the detection information includes a detection signal and a sensor ID that identifies the sensor 110. The image information acquisition unit 132 acquires image information captured by the monitoring camera 120.

警備状態切替部１３３は、操作パネル制御部１３４によって受付けた警備状態を警備状態記憶部１３７に格納する。 The guard state switching unit 133 stores the guard state received by the operation panel control unit 134 in the guard state storage unit 137.

警備状態記憶部１３７は、現在の警備装置１００の警備状態である警備モードまたは警備解除モードのいずれかを記憶する。なお、警備状態記憶部１３７は、ハードディスク、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。 The security state storage unit 137 stores either a security mode or a security release mode that is a security state of the current security device 100. The security state storage unit 137 can be configured by any storage medium that is generally used, such as a hard disk, an optical disk, a memory card, and a RAM (Random Access Memory).

ここで、警備モードとは、センサ１１０が異常を検知して検知情報を取得した場合に、警備領域での異常を知らせる警報情報をネットワーク３００で接続されている監視センタ２００に送信する状態をいう。また、警備解除モードとは、上記検知情報を取得した場合でも異常を知らせる警報情報を監視センタ２００に送信しない状態をいう。 Here, the security mode refers to a state in which alarm information notifying abnormality in the security area is transmitted to the monitoring center 200 connected via the network 300 when the sensor 110 detects abnormality and acquires detection information. . The security release mode refers to a state in which alarm information notifying abnormality is not transmitted to the monitoring center 200 even when the detection information is acquired.

操作パネル１３５は、警備装置１００に関する情報が表示され、警備装置１００に対して情報が入力される。操作パネル１３５は、ボタンの押下等によって警備モードまたは警備解除モードのいずれかの警備状態を入力する。操作パネル制御部１３４は、操作パネル１３５への表示情報の出力や、操作パネル１３５から入力された入力情報の取得等の操作パネル１３５に対する制御を行う。 The operation panel 135 displays information related to the security device 100, and information is input to the security device 100. The operation panel 135 inputs the security state of either the security mode or the security release mode by pressing a button or the like. The operation panel control unit 134 controls the operation panel 135 such as outputting display information to the operation panel 135 and acquiring input information input from the operation panel 135.

送受信部１３６は、ネットワーク３００を介して監視センタ２００との間で各種情報を送受信する。例えば、送受信部１３６は、監視カメラ１２０が撮像した画像情報を監視センタ２００に送信する。また、送受信部１３６は、センサ１１０から検知情報を受信した場合で、かつ警備状態記憶部１３７に記憶された現在の警備状態に警備モードが記憶されている場合に、警報情報を監視センタ２００に送信する。 The transmission / reception unit 136 transmits / receives various information to / from the monitoring center 200 via the network 300. For example, the transmission / reception unit 136 transmits image information captured by the monitoring camera 120 to the monitoring center 200. In addition, the transmission / reception unit 136 transmits alarm information to the monitoring center 200 when the detection information is received from the sensor 110 and the security mode is stored in the current security state stored in the security state storage unit 137. Send.

ＨＤＤ１５０は、物体の動作検出に関する各種データを記憶する。具体的には、ＨＤＤ１５０は、状態情報ＤＢ（データベース）１５１と、規則ＤＢ１５２とを格納している。なお、各ＤＢを、光ディスク、メモリカードなどのＨＤＤ１５０以外の記憶媒体に格納するように構成してもよい。 The HDD 150 stores various types of data related to object motion detection. Specifically, the HDD 150 stores a state information DB (database) 151 and a rule DB 152. Each DB may be configured to be stored in a storage medium other than the HDD 150 such as an optical disk or a memory card.

なお、第１検出部１３８、第２検出部１３９、ＨＤＤ１５０等を監視センタ２００に設け、センサ１１０や監視カメラ１２０で得られた情報を監視センタ２００に送り、動作検出を監視センタで行うように構成してもよい。 The first detection unit 138, the second detection unit 139, the HDD 150, and the like are provided in the monitoring center 200, information obtained by the sensor 110 and the monitoring camera 120 is sent to the monitoring center 200, and operation detection is performed at the monitoring center. It may be configured.

状態情報ＤＢ１５１は、物体の動作状態を深層格フレーム構造で表した状態情報を記憶する。深層格フレーム（以下、単に格フレームとも言う）とは、動詞を基準として、動詞に対する名詞の意味関係を深層格として表した言語構造をいう。 The state information DB 151 stores state information representing the motion state of the object in a deep case frame structure. A deep case frame (hereinafter also simply referred to as a case frame) refers to a language structure that expresses the semantic relationship of a noun to a verb as a deep case, based on the verb.

図２は、状態情報ＤＢ１５１に記憶される状態情報のデータ構造の一例を示す図である。図２に示すように、状態情報は、格フレームを識別する格フレームＩＤと、動作（行動）の種類を表す行動名と、動作に関連する名詞である格要素（深層格）とを含んでいる。深層格には、主格、属性格、場所格、時間格、源泉格、目標格、対象格、および道具格が含まれる。 FIG. 2 is a diagram illustrating an example of a data structure of state information stored in the state information DB 151. As shown in FIG. 2, the state information includes a case frame ID that identifies a case frame, an action name that represents the type of action (action), and a case element (deep case) that is a noun related to the action. Yes. The deep case includes a main case, an attribute case, a place case, a time case, a source case, a target case, a target case, and a tool case.

主格は、動作を引き起こす主体を表す。属性格は、主格に関する情報をいう。例えば、属性格は、身長高、体型、上半身色、下半身色、頭色、顔情報、および歩容情報等を含む。 The main character represents the subject that causes the action. The attribute case refers to information on the main case. For example, the attribute case includes height, body type, upper body color, lower body color, head color, face information, gait information, and the like.

顔情報および歩容情報は、さらに詳細な要素に分けられる。例えば、顔情報は、顔の特徴を表す顔特徴、視線方向、マスクの有無、サングラスの有無、性別、および年代などの要素を含む。また、歩容情報は、歩幅、姿勢、脚長、および歩速などの要素を含む。 Face information and gait information are further divided into detailed elements. For example, the face information includes elements such as a facial feature representing a facial feature, a line-of-sight direction, the presence / absence of a mask, the presence / absence of sunglasses, gender, and age. The gait information includes elements such as stride length, posture, leg length, and walking speed.

場所格は、動作や状態が起こる場所を表す。例えば、場所格は、頭部位置、***置、手位置、顔位置、および脚部位置等を含む。 A place case represents a place where an action or a state occurs. For example, the place case includes a head position, a body position, a hand position, a face position, a leg position, and the like.

時間格は、動作や状態が起こる時間を表す。例えば、時間格は、現在時刻を表す時刻、動作が開始された時刻を表す動作開始時刻、動作が終了した時刻を表す動作終了時刻、および動作が発生した年月日等を表す。 The time case represents the time at which an action or condition occurs. For example, the time case represents the time representing the current time, the operation start time representing the time when the operation was started, the operation end time representing the time when the operation was completed, and the date when the operation occurred.

源泉格は、移動や状態変化などの起点を表す。例えば、源泉格は、主格が移動や動作等を行う起点の位置を表す場所情報、および起点での主格の属性を表す属性情報を含む。 The source case represents the starting point of movement or state change. For example, the source case includes location information indicating the position of the starting point where the leading character moves or moves, and attribute information indicating the attribute of the leading character at the starting point.

目標格は、移動や状態変化などの終点を表す。例えば、目標格は、主格が移動や動作等を行う終点の位置を表す場所情報、および起点での主格の属性を表す属性情報を含む。 The target case represents an end point such as movement or state change. For example, the target case includes location information indicating the position of the end point where the main character moves or moves, and attribute information indicating the attribute of the main character at the starting point.

対象格は、動作や状態の対象となる事物を表す。対象格は、固有の識別情報である対象ＩＤ、および固有の情報である属性情報を含む。 A target case represents an object that is the target of an action or state. The target case includes a target ID that is unique identification information and attribute information that is unique information.

道具格は、動作の補助的手段を表す。道具格は、固有の識別情報である道具ＩＤ、および固有の情報である属性情報を含む。 The tool scale represents an auxiliary means of movement. The tool case includes a tool ID that is unique identification information and attribute information that is unique information.

なお、利用できる深層格はこれらに限られず、例えば精神的事象の経験者を表す経験者格などの、その他のあらゆる深層格を用いることができる。 In addition, the deep case which can be utilized is not restricted to these, For example, all other deep cases, such as the experience person's case showing the experience person of a mental event, can be used.

図３は、状態情報ＤＢ１５１に記憶される状態情報の具体例を示す図である。図３は、人物Ａ（主格）が、「しゃがむ」という行動を検出したときに生成される状態情報の一例を示している。この場合、属性格には、人物Ａの身長高、体型などの具体的な値が設定される。また、場所格および時間格には、それぞれ人物Ａがしゃがんだときの位置や時刻に関する具体的な値が設定される。 FIG. 3 is a diagram illustrating a specific example of the state information stored in the state information DB 151. FIG. 3 shows an example of state information generated when the person A (main character) detects the action of “squatting”. In this case, specific values such as the height and body shape of the person A are set in the attribute case. In the place case and the time case, specific values relating to the position and time when the person A squats down are set.

図１に戻り、規則ＤＢ１５２は、後述する第２検出部１３９が、状態情報ＤＢ１５１に保存された格フレームを比較して動作を検出するときに参照する行動検出規則を記憶する。図４は、規則ＤＢ１５２に記憶される行動検出規則のデータ構造の一例を示す図である。 Returning to FIG. 1, the rule DB 152 stores an action detection rule that the second detection unit 139 described later refers to when detecting a motion by comparing case frames stored in the state information DB 151. FIG. 4 is a diagram illustrating an example of the data structure of the action detection rule stored in the rule DB 152.

図４に示すように、行動検出規則は、比較元となる情報であって、時間的に前の状態情報である前格フレームと、比較先となる情報であって、時間的に後の状態情報である後格フレームと、その他の条件と、検出される状態情報とを対応づけた形式となっている。 As shown in FIG. 4, the behavior detection rule is information that is a comparison source, that is, a temporal frame that is state information that is temporally previous, and information that is a comparison destination that is temporally subsequent. This is a format in which the post-grade frame that is information, other conditions, and detected state information are associated with each other.

前格フレームおよび後格フレームは、それぞれ行動名と格情報とを含んでいる。格情報には、比較すべき少なくとも１つの深層格を設定する。 Each of the front case frame and the back case frame includes an action name and case information. In the case information, at least one deep case to be compared is set.

前格フレームおよび後格フレームは、２つの格フレームが差異を有するパターンを表す情報（差分情報）に相当する。すなわち、ある２つの格フレームが、それぞれ前格フレームと後格フレームとで設定された行動名および格情報と適合するとき、この２つの格フレーム間には差異が存在すると判断される。例えば、図４では、ある格フレーム（格フレーム１）の行動名が「存在する」、場所格に含まれる***置が「Ａ」であり、他の格フレーム（格フレーム２）の行動名が「存在する」、場所格に含まれる***置が「Ｂ」であるとき、格フレーム１と格フレーム２との間には差分が存在すると判断される。そして、差分が存在すると判断された場合、差分に対応する行動として、「検出される状態情報」欄に記載された行動名の行動が検出される。 The front case frame and the back case frame correspond to information (difference information) representing a pattern in which two case frames have a difference. That is, when two case frames are matched with the action name and case information set in the front case frame and the back case frame, it is determined that there is a difference between the two case frames. For example, in FIG. 4, the action name of a case frame (case frame 1) is “exists”, the body position included in the place case is “A”, and the action names of other case frames (case frame 2) are When the body position included in the place case is “B”, it is determined that there is a difference between the case frame 1 and the case frame 2. When it is determined that there is a difference, an action with the action name described in the “detected state information” column is detected as an action corresponding to the difference.

その他の条件には、必要に応じて、比較する状態情報が満たすべき条件が設定される。例えば、同図の行動名「しゃがむ」の行動を検出する行動検出規則では、前格フレームに含まれる頭部位置Ｂと、後格フレームに含まれる頭部位置Ｃとが、Ｂ＞Ｃの関係を満たすことが条件として設定されている。 In other conditions, conditions to be satisfied by the state information to be compared are set as necessary. For example, in the behavior detection rule for detecting the behavior with the behavior name “squatting” in the same figure, the relationship B> C between the head position B included in the front case frame and the head position C included in the back case frame. Satisfying is set as a condition.

検出される状態情報は、検出される行動の行動名と、保存すべき少なくとも１つの深層格を表す格情報とを含んでいる。同図では、例えば、行動名「移動する」の行動が検出された場合は、前格フレームに含まれる***置Ａおよび後格フレームに含まれる***置Ｂを、それぞれ検出した行動に対応する格フレームの源泉格の***置Ａおよび目標格の***置Ｂとして保存する例が示されている。 The detected state information includes the action name of the detected action and case information representing at least one deep case to be saved. In the figure, for example, when an action with the action name “move” is detected, the body position A included in the front case frame and the body position B included in the back case frame are respectively corresponding to the detected actions. An example of saving as the body position A of the source case of the frame and the body position B of the target case is shown.

なお、行動検出規則は同図に示す形式に限られるものではなく、複数の状態情報間の差分に応じて予め定められた行動を決定可能なものであればあらゆる形式の規則を適用できる。 The behavior detection rule is not limited to the format shown in the figure, and any format rule can be applied as long as a predetermined behavior can be determined according to a difference between a plurality of state information.

図５は、検出される行動間の遷移関係を表す図である。具体的には、図５は、画像情報から検出される行動と、状態情報ＤＢ１５１に保存された状態情報を比較し、行動検出規則によって検出される行動との関係を表している。同図の楕円は、検出される行動名の一例を表している。また、楕円間の矢印に付された文字列は、ある行動から他の行動を検出するための状態情報間の差分の基準を表している。 FIG. 5 is a diagram illustrating a transition relationship between detected actions. Specifically, FIG. 5 shows the relationship between the behavior detected from the image information and the behavior detected by the behavior detection rule by comparing the status information stored in the status information DB 151. The ellipse in the figure represents an example of the action name to be detected. Moreover, the character string attached | subjected to the arrow between ellipses represents the reference | standard of the difference between the state information for detecting another action from a certain action.

なお、この基準は、図４の規則ＤＢ１５２に記憶された行動検出規則に対応する。例えば、「位置座標の変異」という基準は、図４では行動名「移動する」を検出する最初の行動検出規則に対応する。すなわち、例えば同図の行動名５０１（存在する）に対応する複数の状態情報を比較することにより、「位置座標の変異」という差分が検出された場合は、「移動する」という行動名の行動が新たに検出される。 This criterion corresponds to the action detection rule stored in the rule DB 152 of FIG. For example, the criterion “variation in position coordinates” corresponds to the first action detection rule for detecting the action name “move” in FIG. That is, for example, when a difference “positional mutation” is detected by comparing a plurality of state information corresponding to the action name 501 (exists) in FIG. Is newly detected.

なお、図５の行動名５０１〜５０４は、後述する第１検出部１３８によって画像情報から検出される行動名を表している。それ以外の行動名は、後述する第２検出部１３９によって、行動検出規則を用いて検出される行動名を表している。また、同図の行動名５１１〜５１３は、他の行動へ派生しない行動名を表している。すなわち、この状態に達した場合は、同図の遷移から離脱することを意味する。 Note that action names 501 to 504 in FIG. 5 represent action names detected from the image information by the first detection unit 138 described later. The other action names represent the action names detected by the second detection unit 139 described later using the action detection rule. Also, action names 511 to 513 in the same figure represent action names that are not derived from other actions. That is, when this state is reached, it means leaving from the transition of FIG.

図１に戻り、第１検出部１３８は、画像情報取得部１３２によって取得された画像情報を解析することにより、画像情報から物体の動作状態を検出する。また、第１検出部１３８は、検出した動作状態を表す状態情報を生成して状態情報ＤＢ１５１に保存する。 Returning to FIG. 1, the first detection unit 138 detects the motion state of the object from the image information by analyzing the image information acquired by the image information acquisition unit 132. Further, the first detection unit 138 generates state information representing the detected operation state and stores it in the state information DB 151.

第１検出部１３８は、例えば画像情報から人物領域を抽出することにより、人物が「存在する」という動作状態を検出する。また、第１検出部１３８は、検出した人物の視線方向を検出することにより、当該人物の「見る」という動作状態を検出する。また、第１検出部１３８は、人物以外の他の物体を画像情報から抽出し、抽出した物体が新たに現れた場合には「取り出す」という動作状態を、抽出した物体が以前から存在し、人物の手の位置と重なった場合には「触る」という動作状態を検出する。 The first detection unit 138 detects an operation state in which a person “exists”, for example, by extracting a person region from image information. In addition, the first detection unit 138 detects an operation state of “seeing” the person by detecting the detected gaze direction of the person. Further, the first detection unit 138 extracts an object other than a person from the image information, and when the extracted object newly appears, an operation state of “take out” is present, and the extracted object has existed before. When it overlaps with the position of a person's hand, an operation state of “touch” is detected.

なお、第１検出部１３８が人物または物体を抽出する方法としては、連続する画像情報の背景を比較することにより抽出した変動領域を人物領域とする方法や、人物パターンまたは物体パターンと照合することにより人物または物体を抽出する方法などの、従来から用いられているあらゆる方法を適用できる。また、第１検出部１３８が人物の視線方向を検出する方法としては、顔領域パターンと照合することにより顔領域を抽出するとともに視線方向を検出する方法などの従来から用いられているあらゆる方法を適用できる。 In addition, as a method for the first detection unit 138 to extract a person or an object, a variation area extracted by comparing backgrounds of continuous image information is used as a person area, or a person pattern or an object pattern is collated. Any method conventionally used, such as a method of extracting a person or an object by the above, can be applied. In addition, as a method for the first detection unit 138 to detect the gaze direction of a person, any conventionally used method such as a method of extracting a face area by collating with a face area pattern and detecting the gaze direction is used. Applicable.

第２検出部１３９は、状態情報ＤＢ１５１に保存された２つの状態情報が規則ＤＢ１５２に保存された行動検出規則に適合するか否かを判定することによって、新たな行動を検出する。 The second detection unit 139 detects a new action by determining whether or not the two state information stored in the state information DB 151 matches the action detection rule stored in the rule DB 152.

具体的には、第２検出部１３９は、まず、第１検出部１３８によって検出され、状態情報ＤＢ１５１に保存された状態情報のうち、時刻が連続する２つの状態情報を取得する。次に、第２検出部１３９は、取得した２つの状態情報の行動名および格情報が一致する行動検出規則を規則ＤＢ１５２から取得する。そして、第２検出部１３９は、行動検出規則が取得できた場合に、行動検出規則で定められた行動を新たな行動として検出する。 Specifically, the second detection unit 139 first acquires two pieces of state information having consecutive times among the state information detected by the first detection unit 138 and stored in the state information DB 151. Next, the 2nd detection part 139 acquires the action detection rule from which the action name and case information of two acquired state information correspond from rule DB152. Then, when the behavior detection rule can be acquired, the second detection unit 139 detects the behavior defined by the behavior detection rule as a new behavior.

次に、このように構成された本実施の形態にかかる警備装置１００による画像からの動作検出処理について図６を用いて説明する。画像からの動作検出処理とは、監視カメラ１２０で撮影された画像情報から人物等の動作（行動）を検出する処理をいう。図６は、本実施の形態における画像からの動作検出処理の全体の流れを示すフローチャートである。 Next, operation detection processing from an image by the security device 100 according to the present embodiment configured as described above will be described with reference to FIG. The operation detection process from an image refers to a process for detecting an operation (behavior) of a person or the like from image information captured by the monitoring camera 120. FIG. 6 is a flowchart showing the overall flow of the operation detection process from an image in the present embodiment.

まず、画像情報取得部１３２は、監視カメラ１２０が撮影した画像情報を入力する（ステップＳ６０１）。次に、第１検出部１３８が、画像情報から人物領域を検出する（ステップＳ６０２）。次に、第１検出部１３８は、人物領域が検出されたか否かを判断する（ステップＳ６０３）。人物領域が検出されなかった場合は（ステップＳ６０３：ＮＯ）、次の画像情報を入力して処理を繰り返す（ステップＳ６０１）。 First, the image information acquisition unit 132 inputs image information captured by the monitoring camera 120 (step S601). Next, the first detection unit 138 detects a person area from the image information (step S602). Next, the first detection unit 138 determines whether a person area has been detected (step S603). If no person area is detected (step S603: NO), the next image information is input and the process is repeated (step S601).

人物領域が検出された場合（ステップＳ６０３：ＹＥＳ）、第１検出部１３８は、行動名＝「存在する」の格フレームを作成する（ステップＳ６０４）。なお、作成した格フレームの格フレームＩＤには、他の格フレームと重複しない値を割り当てる。 When the person area is detected (step S603: YES), the first detection unit 138 creates a case frame with action name = “exists” (step S604). A value that does not overlap with other case frames is assigned to the case frame ID of the created case frame.

次に、第１検出部１３８は、検出した人物領域の各部位の検出位置を場所格へ格納する（ステップＳ６０５）。例えば、第１検出部１３８は、検出した人物領域に含まれる頭部、体、手、顔、および脚部の座標を算出し、それぞれ頭部位置、***置、手位置、顔位置、および脚部位置として場所格に格納する。なお、人物領域の各部位は、部位ごとの照合パターンと照合して検出する方法などの従来から用いられているあらゆる方法により検出できる。 Next, the 1st detection part 138 stores the detection position of each site | part of the detected person area in a place case (step S605). For example, the first detection unit 138 calculates the coordinates of the head, body, hand, face, and leg included in the detected person region, and the head position, body position, hand position, face position, and leg, respectively. Stored in a place case as a part position. It should be noted that each part of the person region can be detected by any conventionally used method such as a method of detecting by matching with a matching pattern for each part.

第１検出部１３８は、ステップＳ６０４〜ステップＳ６０５と並行して、人物同定処理（ステップＳ６０６〜ステップＳ６０７）、顔検出処理（ステップＳ６０８〜ステップＳ６１０）、体型判定処理（ステップＳ６１１〜ステップＳ６１２）、および歩容検出処理（ステップＳ６１３〜ステップＳ６１４）の各処理を実行する。なお、これらの各処理は必ずしも並行して処理する必要はなく、任意の順序で実行するように構成することができる。 In parallel with step S604 to step S605, the first detection unit 138 performs person identification processing (step S606 to step S607), face detection processing (step S608 to step S610), body type determination processing (step S611 to step S612), And each process of a gait detection process (step S613-step S614) is performed. Note that these processes are not necessarily performed in parallel, and can be configured to be executed in an arbitrary order.

人物同定処理では、第１検出部１３８は、抽出済みの人物領域と照合する方法などにより、抽出された人物を同定する（ステップＳ６０６）。そして、第１検出部１３８は、同定した人物に既に割り当てられているエージェントＩＤ（図２のＡｇｔＩＤ）を、作成した格フレームの主格に格納する（ステップＳ６０７）。 In the person identification process, the first detection unit 138 identifies the extracted person by a method of collating with the extracted person region (step S606). Then, the first detection unit 138 stores the agent ID already assigned to the identified person (AgtID in FIG. 2) in the main case of the created case frame (step S607).

顔検出処理では、第１検出部１３８は、顔領域パターンと照合する方法などによって顔領域を検出する（ステップＳ６０８）。また、第１検出部１３８は、照合結果に応じて、視線方向、マスクの有無、およびサングラスの有無などの顔情報を属性格に格納する（ステップＳ６０９）。視線方向が検出された場合は、第１検出部１３８は、行動名＝「見る」の格フレームを作成する（ステップＳ６１０）。 In the face detection process, the first detection unit 138 detects a face area by a method of matching with a face area pattern (step S608). Further, the first detection unit 138 stores face information such as the line-of-sight direction, the presence / absence of a mask, and the presence / absence of sunglasses in the attribute case according to the collation result (step S609). When the line-of-sight direction is detected, the first detection unit 138 creates a case frame of action name = “see” (step S610).

体型判定処理では、第１検出部１３８は、照合した人物パターンに予め付与された体型を求める方法などにより、検出した人物の体型を判定する（ステップＳ６１１）。そして、第１検出部１３８は、判定した体型を、作成した格フレームの属性格に格納する（ステップＳ６１２）。 In the body type determination process, the first detection unit 138 determines the body type of the detected person by a method of obtaining a body type given in advance to the collated person pattern (step S611). Then, the first detection unit 138 stores the determined body type in the attribute case of the created case frame (step S612).

歩容検出処理では、第１検出部１３８は、主に検出した人物領域の脚部を解析することにより、歩速、歩幅、脚長、姿勢などの歩容情報を検出する（ステップＳ６１３）。歩速は、例えば連続する画像情報の脚部の位置を比較することにより算出することができる。そして、第１検出部１３８は、検出した歩容情報を、作成した格フレームの属性格に格納する（ステップＳ６１４）。 In the gait detection process, the first detection unit 138 detects gait information such as a gait, a stride, a leg length, and a posture by mainly analyzing the legs of the detected human area (step S613). The walking speed can be calculated, for example, by comparing the positions of the leg portions of successive image information. Then, the first detection unit 138 stores the detected gait information in the attribute case of the created case frame (step S614).

次に、第１検出部１３８は、画像情報から物体を検出する（ステップＳ６１５）。なお、物体検出処理は、人物領域検出処理（ステップＳ６０２）とともに実行してもよい。 Next, the first detection unit 138 detects an object from the image information (step S615). The object detection process may be executed together with the person area detection process (step S602).

次に、第１検出部１３８は、物体が検出されたか否かを判断する（ステップＳ６１６）。物体が検出された場合（ステップＳ６１６：ＹＥＳ）、第１検出部１３８は、物体が前の画像情報で検出されていたか否か、および物体と人物領域の位置関係に応じて、行動名＝「触る」または「取り出す」の格フレームを作成する（ステップＳ６１７）。 Next, the first detection unit 138 determines whether or not an object has been detected (step S616). When an object is detected (step S616: YES), the first detection unit 138 determines whether the object has been detected based on the previous image information and the positional relationship between the object and the person area, action name = “ A case frame of “touch” or “take out” is created (step S617).

具体的には、第１検出部１３８は、前の画像情報で検出された物体と照合することなどにより、物体が既に検出されていると判断でき、かつ、人物の手の位置と物体の位置とが重なると判断できる場合は、行動名＝「触る」の格フレームを新たに作成する。また、第１検出部１３８は、未検出の物体が新たに検出されたと判断でき、かつ、人物の手の位置と物体の位置とが重なると判断できる場合は、行動名＝「取り出す」の格フレームを新たに作成する。 Specifically, the first detection unit 138 can determine that the object has already been detected, for example, by collating with the object detected in the previous image information, and can also determine the position of the person's hand and the position of the object. If it can be determined that they overlap, a case frame of action name = “touch” is newly created. Further, if the first detection unit 138 can determine that an undetected object is newly detected and can determine that the position of the person's hand and the position of the object overlap, the action name = “take out” case. Create a new frame.

ステップＳ６１６で物体が検出されなかったと判断された場合（ステップＳ６１６：ＮＯ）、またはステップＳ６１７で新たな格フレームを作成後、第１検出部１３８は、これまでに作成した格フレームを状態情報ＤＢに保存し（ステップＳ６１８）、画像からの動作検出処理を終了する。 When it is determined in step S616 that no object has been detected (step S616: NO), or after creating a new case frame in step S617, the first detection unit 138 uses the case frame created so far to the state information DB. (Step S618), and the motion detection process from the image is terminated.

次に、本実施の形態にかかる警備装置１００による状態情報からの動作検出処理について図７を用いて説明する。状態情報からの動作検出処理とは、状態情報ＤＢ１５１に保存されている状態情報から人物等の動作（行動）を検出する処理をいう。図７は、本実施の形態における状態情報からの動作検出処理の全体の流れを示すフローチャートである。 Next, operation detection processing from state information by the security device 100 according to the present embodiment will be described with reference to FIG. The operation detection process from the state information refers to a process of detecting an operation (behavior) of a person or the like from the state information stored in the state information DB 151. FIG. 7 is a flowchart showing the overall flow of the operation detection process from the state information in the present embodiment.

まず、第２検出部１３９は、状態情報ＤＢ１５１に保存されている状態情報である格フレームのうち、未処理の格フレーム（以下、第１格フレームという）を取得する（ステップＳ７０１）。次に、第２検出部１３９は、取得した第１格フレームと時間的に連続する格フレーム（以下、第２格フレームという）を状態情報ＤＢ１５１から取得する（ステップＳ７０２）。 First, the second detection unit 139 acquires an unprocessed case frame (hereinafter referred to as a first case frame) among the case frames that are state information stored in the state information DB 151 (step S701). Next, the second detection unit 139 acquires a case frame (hereinafter referred to as a second case frame) that is temporally continuous with the acquired first case frame from the state information DB 151 (step S702).

次に、第２検出部１３９は、取得した２つの格フレームが満たす行動検出規則を規則ＤＢ１５２から検索する（ステップＳ７０３）。具体的には、第２検出部１３９は、第１格フレームおよび第２格フレームの行動名が、それぞれ行動検出規則の前格フレームおよび後格フレームの行動名と一致し、格情報が行動検出規則の格情報が表す条件を満たす行動検出規則を検索する。 Next, the second detection unit 139 searches the rule DB 152 for an action detection rule that the two acquired case frames satisfy (step S703). Specifically, the second detection unit 139 matches the action names of the first case frame and the second case frame with the action names of the front case frame and the back case frame of the action detection rule, respectively, and the case information detects the action. A behavior detection rule that satisfies the condition represented by the rule case information is searched.

例えば、第１格フレームおよび第２格フレームの行動名が共に「存在する」であり、第１格フレームの***置（***置Ａとする）と、第２格フレームの***置（***置Ｂとする）とが異なる場合、図４に示すような規則ＤＢ１５２の最初の行動検出規則が検索される。 For example, the action names of the first case frame and the second case frame are both “exist”, and the body position of the first case frame (referred to as body position A) and the body position of the second case frame (body position B) The first action detection rule in the rule DB 152 as shown in FIG. 4 is searched.

次に、第２検出部１３９は、行動検出規則が検索されたか否かを判断し（ステップＳ７０４）、検索された場合は（ステップＳ７０４：ＹＥＳ）、検索した行動検出規則の「検出される状態情報」に設定された行動名の格フレームを作成する（ステップＳ７０５）。 Next, the second detection unit 139 determines whether or not a behavior detection rule has been searched (step S704). If the behavior detection rule has been searched (step S704: YES), the “detected state” of the searched behavior detection rule is determined. A case frame of the action name set in “information” is created (step S705).

行動検出規則が検索されなかった場合（ステップＳ７０４：ＮＯ）、または、格フレームを作成後、第２検出部１３９は、未処理の格フレームが存在するか否かを判断する（ステップＳ７０６）。 If no action detection rule is found (step S704: NO), or after creating a case frame, the second detection unit 139 determines whether there is an unprocessed case frame (step S706).

未処理の格フレームが存在する場合（ステップＳ７０６：ＹＥＳ）、第２検出部１３９は、次の格フレームを取得して処理を繰り返す（ステップＳ７０１）。未処理の格フレームが存在しない場合は（ステップＳ７０６：ＮＯ）、状態情報からの動作検出処理を終了する。 If there is an unprocessed case frame (step S706: YES), the second detection unit 139 acquires the next case frame and repeats the process (step S701). If there is no unprocessed case frame (step S706: NO), the operation detection process from the state information is terminated.

このような処理により、画像情報からだけでなく、テキスト情報として保存した状態情報から、人物等の対象物の行動を検出することができる。このため、画像の分析のみによって監視対象物の動作を認識する従来の方法と比較して、動作検出処理の処理負荷を低減することが可能となる。 By such processing, it is possible to detect the behavior of an object such as a person not only from image information but also from state information stored as text information. For this reason, it is possible to reduce the processing load of the motion detection process as compared with the conventional method of recognizing the motion of the monitoring object only by analyzing the image.

次に、動作検出処理の具体例について図８を用いて説明する。図８は、動作検出処理の具体例を示す模式図である。同図は、一般家屋の玄関前に設置された監視カメラ１２０で撮影された画像情報８０１〜８０３から人物の行動を検出する例を示している。 Next, a specific example of the operation detection process will be described with reference to FIG. FIG. 8 is a schematic diagram illustrating a specific example of the motion detection process. The figure shows an example in which a person's action is detected from image information 801 to 803 photographed by a monitoring camera 120 installed in front of a general house entrance.

同図に示すように、最初の画像情報８０１を解析することにより、人物が通路にいることを表す行動名＝「存在する」の格フレーム８１１が構築される。また、次に撮影された画像情報８０２を解析することにより、人物が玄関前にいることを表す行動名＝「存在する」の格フレーム８１２が構築される。これらの２つの格フレームを比較すると、同一人物が異なる場所で存在していることから、図４に示すような規則ＤＢ１５２の行動名＝「移動する」を検出可能な行動検出規則と一致する。このため、行動名＝「移動する」の格フレーム８２１が検出される。 As shown in the figure, by analyzing the first image information 801, a case frame 811 of action name = “exists” indicating that a person is in the passage is constructed. Further, by analyzing the image information 802 photographed next, an action name = “exists” case frame 812 representing that a person is in front of the entrance is constructed. Comparing these two case frames, since the same person exists in different places, it matches the action detection rule that can detect action name = “move” in the rule DB 152 as shown in FIG. For this reason, a case frame 821 of action name = “move” is detected.

さらに、次に撮影された画像情報８０３を解析することにより、人物が玄関前にいる（頭部の位置が低い）ことを表す行動名＝「存在する」の格フレーム８１３が構築される。同様に前後の格フレームを比較すると、同一人物が同位置に存在し、頭部の高さのみが変化していることから、図４に示すような規則ＤＢ１５２の行動名＝「しゃがむ」を検出可能な行動検出規則と一致する。このため、行動名＝「しゃがむ」の格フレーム８２２が検出される。 Further, by analyzing the image information 803 photographed next, an action name = “exists” case frame 813 representing that the person is in front of the entrance (the position of the head is low) is constructed. Similarly, when comparing the case frames before and after, the same person is present at the same position and only the height of the head is changed, so the action name = “squatting” in the rule DB 152 as shown in FIG. 4 is detected. Match the possible behavior detection rules. For this reason, a case frame 822 of action name = “squatting” is detected.

このように、本実施の形態にかかる動作検出装置では、監視カメラで撮影した動画像中の任意の瞬間の画像（フレーム画像）に対して画像処理を行って人物等の監視対象物を検出し、検出した監視対象物の状態を表す格フレームを構築して記憶部に保存する。さらに時間が経過するごとに構築される格フレーム上の差異を比較することで、さらに監視対象物の行動を検出する。すなわち、本実施の形態で必要な画像処理は、主に監視対象物の検出とその特徴抽出であり、監視対象物の詳細な行動を検出するための画像処理が不要となる。これにより、画像から監視対象物の動作を検出するときの処理負荷を低減することができる。 As described above, in the motion detection device according to the present embodiment, an image at an arbitrary moment (frame image) in a moving image captured by a monitoring camera is subjected to image processing to detect a monitoring target such as a person. A case frame representing the state of the detected monitoring object is constructed and stored in the storage unit. Furthermore, the behavior of the monitoring object is further detected by comparing the differences on the case frames constructed as time elapses. That is, the image processing necessary in the present embodiment is mainly the detection of the monitoring object and the feature extraction thereof, and the image processing for detecting the detailed behavior of the monitoring object is not necessary. Thereby, the processing load at the time of detecting the operation | movement of the monitoring target object from an image can be reduced.

また、本実施の形態は、全てのフレーム画像に対して画像処理を実行する必要がないため、何らかの要因により、画像処理が正常に行われなかったフレーム画像が存在したとしても、監視対象物の行動を検出することが可能である。 Further, in this embodiment, since it is not necessary to perform image processing on all frame images, even if there is a frame image for which image processing has not been performed normally for some reason, It is possible to detect behavior.

さらに、新たな犯罪手口の発生等により、検出対象とすべき行動が増えた場合、従来のように画像処理のみで行動を検出する方法であれば、新たな画像処理を追加する必要が生じる。これに対し、本実施の形態の方法によれば、新たな行動検出規則を追加するだけで、検出対象行動の増加に対して容易に対応することができる。 Furthermore, when the number of actions to be detected increases due to the occurrence of a new criminal technique or the like, if it is a conventional method for detecting actions only by image processing, it is necessary to add new image processing. On the other hand, according to the method of the present embodiment, it is possible to easily cope with an increase in the detection target behavior simply by adding a new behavior detection rule.

なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。 It should be noted that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.

本実施の形態にかかる監視システムの構成を示すブロック図である。It is a block diagram which shows the structure of the monitoring system concerning this Embodiment. 状態情報ＤＢに記憶される状態情報のデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of the status information memorize | stored in status information DB. 状態情報ＤＢに記憶される状態情報の具体例を示す図である。It is a figure which shows the specific example of the status information memorize | stored in status information DB. 規則ＤＢに記憶される行動検出規則のデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of the action detection rule memorize | stored in rule DB. 検出される行動間の遷移関係を表す図である。It is a figure showing the transition relation between the detected actions. 本実施の形態における画像からの動作検出処理の全体の流れを示すフローチャートである。It is a flowchart which shows the whole flow of the operation | movement detection process from the image in this Embodiment. 本実施の形態における状態情報からの動作検出処理の全体の流れを示すフローチャートである。It is a flowchart which shows the whole flow of the operation | movement detection process from the status information in this Embodiment. 動作検出処理の具体例を示す模式図である。It is a schematic diagram which shows the specific example of an operation | movement detection process.

符号の説明Explanation of symbols

１０監視システム
１００警備装置
１１０センサ
１２０監視カメラ
１３０警備操作部
１３１検知情報受信部
１３２画像情報取得部
１３３警備状態切替部
１３４操作パネル制御部
１３５操作パネル
１３６送受信部
１３７警備状態記憶部
１３８第１検出部
１３９第２検出部
１５０ＨＤＤ
１５１状態情報ＤＢ
１５２規則ＤＢ
２００監視センタ
３００ネットワーク
５０１〜５０４、５１１〜５１３行動名
８０１〜８０３画像情報
８１１〜８１３、８２１〜８２２格フレーム DESCRIPTION OF SYMBOLS 10 Monitoring system 100 Security apparatus 110 Sensor 120 Monitoring camera 130 Security operation part 131 Detection information reception part 132 Image information acquisition part 133 Security state switching part 134 Operation panel control part 135 Operation panel 136 Transmission / reception part 137 Security state storage part 138 1st detection Unit 139 second detection unit 150 HDD
151 Status information DB
152 Rule DB
200 Monitoring Center 300 Network 501-504, 511-513 Action Name 801-803 Image Information 811-813, 821-822 Case Frame

Claims

物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を記憶可能な記憶手段と、
撮像手段によって撮像された前記物体の画像情報を取得する取得手段と、
前記画像情報を解析して物体の動作状態を検出し、検出した動作状態を表す前記状態情報を生成して前記記憶手段に保存する第１検出手段と、
保存された複数の前記状態情報間の差分を検出し、前記差分に応じた前記物体の動作を予め定めた規則に基づいて、検出した差分に対応する前記物体の動作を検出する第２検出手段と、を備え、
前記規則は、比較元の前記状態情報の前記動詞または前記格要素と比較先の前記状態情報の前記動詞または前記格要素とによって表される前記状態情報の差分のパターンを表す差分情報と、前記差分情報に応じて定められた前記物体の動作とを含み、
前記第２検出手段は、第１状態情報の前記動詞または前記格要素が前記比較元の前記状態情報の前記動詞または前記格要素と一致し、第２状態情報の前記動詞または前記格要素が前記比較先の前記状態情報の前記動詞または前記格要素と一致する場合に、前記第１状態情報と前記第２状態情報との間に差分が存在することを検出し、検出した差分を表す前記差分情報に対応する前記物体の動作を検出すること、
を特徴とする動作検出装置。 Information representing the motion state of an object, including a verb indicating the type of motion of the object and a case element that is a noun related to the motion of the object, and a semantic relationship between the verb and the case element Storage means capable of storing the state information represented by the case frame shown;
Obtaining means for obtaining image information of the object imaged by the imaging means;
First detection means for analyzing the image information to detect an operation state of the object, generating the state information representing the detected operation state, and storing it in the storage means;
Second detecting means for detecting a difference between the plurality of stored state information, and detecting an action of the object corresponding to the detected difference based on a rule in which the action of the object according to the difference is determined in advance. and, with a,
The rule includes difference information indicating a difference pattern of the state information represented by the verb or the case element of the state information of the comparison source and the verb or the case element of the state information of the comparison destination; The movement of the object determined according to the difference information,
The second detection means is configured such that the verb or the case element of the first state information matches the verb or the case element of the state information of the comparison source, and the verb or the case element of the second state information is the The difference representing the difference detected by detecting that a difference exists between the first state information and the second state information when the verb or case element of the state information of the comparison destination matches Detecting the movement of the object corresponding to the information;
Operation detecting apparatus according to claim.

前記第２検出手段は、さらに、検出した前記物体の動作の種類を表す動詞と、検出した前記物体の動作に関連する格要素とを含む前記状態情報を生成して前記記憶手段に保存し、保存した複数の前記状態情報間の差分をさらに検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、
を特徴とする請求項１に記載の動作検出装置。 The second detection means further generates the state information including a verb representing the type of motion of the detected object and a case element related to the detected motion of the object, and stores the state information in the storage means. Further detecting a difference between the plurality of stored state information, and detecting an action of the object corresponding to the detected difference based on the rule;
The motion detection apparatus according to claim 1.

前記状態情報は、前記格要素として前記物体の動作が発生した時刻を含み、
前記第２検出手段は、保存された前記状態情報のうち、前記時刻が連続する複数の前記状態情報間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、
を特徴とする請求項１に記載の動作検出装置。 The state information includes a time when the movement of the object occurs as the case element,
The second detection means detects a difference between a plurality of the state information having the continuous time among the stored state information, and detects an action of the object corresponding to the detected difference based on the rule. To do,
The motion detection apparatus according to claim 1.

前記状態情報は、前記格要素として前記物体の位置を含み、
前記第２検出手段は、保存された複数の前記状態情報に含まれる前記位置間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、
を特徴とする請求項１に記載の動作検出装置。 The state information includes the position of the object as the case element,
The second detection means detects a difference between the positions included in the plurality of stored state information, and detects an action of the object corresponding to the detected difference based on the rule;
The motion detection apparatus according to claim 1.

前記状態情報は、前記格要素として前記物体の向きを含み、
前記第２検出手段は、保存された複数の前記状態情報に含まれる前記向きの間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、
を特徴とする請求項１に記載の動作検出装置。 The state information includes the direction of the object as the case element,
The second detection means detects a difference between the directions included in the plurality of stored state information, and detects an action of the object corresponding to the detected difference based on the rule;
The motion detection apparatus according to claim 1.

前記状態情報は、前記格要素として前記物体の高さを含み、
前記第２検出手段は、保存された複数の前記状態情報に含まれる前記高さ間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、
を特徴とする請求項１に記載の動作検出装置。 The state information includes the height of the object as the case element,
The second detecting means detects a difference between the heights included in the plurality of stored state information, and detects an action of the object corresponding to the detected difference based on the rule;
The motion detection apparatus according to claim 1.

取得手段が、撮像手段によって撮像された物体の画像情報を取得する取得ステップと、
第１検出手段が、前記画像情報を解析して物体の動作状態を検出し、検出した動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を生成して記憶手段に保存する第１検出ステップと、
第２検出手段が、保存された複数の前記状態情報間の差分を検出し、前記差分に応じた前記物体の動作を予め定めた規則に基づいて、検出した差分に対応する前記物体の動作を検出する第２検出ステップと、を含み、
前記規則は、比較元の前記状態情報の前記動詞または前記格要素と比較先の前記状態情報の前記動詞または前記格要素とによって表される前記状態情報の差分のパターンを表す差分情報と、前記差分情報に応じて定められた前記物体の動作とを含み、
前記第２検出ステップは、第１状態情報の前記動詞または前記格要素が前記比較元の前記状態情報の前記動詞または前記格要素と一致し、第２状態情報の前記動詞または前記格要素が前記比較先の前記状態情報の前記動詞または前記格要素と一致する場合に、前記第１状態情報と前記第２状態情報との間に差分が存在することを検出し、検出した差分を表す前記差分情報に対応する前記物体の動作を検出すること、
を特徴とする動作検出方法。 An acquisition step in which the acquisition means acquires image information of the object imaged by the imaging means;
The first detection means analyzes the image information to detect the motion state of the object, and is information indicating the detected motion state, a verb indicating the motion type of the object and a noun related to the motion of the object A first detection step of generating state information represented by a case frame indicating a semantic relationship between the verb and the case element and storing it in a storage means,
The second detecting means detects a difference between the plurality of stored state information, and determines the motion of the object corresponding to the detected difference based on a predetermined rule for the motion of the object according to the difference. A second detecting step for detecting ,
The rule includes difference information indicating a difference pattern of the state information represented by the verb or the case element of the state information of the comparison source and the verb or the case element of the state information of the comparison destination; The movement of the object determined according to the difference information,
In the second detection step, the verb or the case element of the first state information matches the verb or the case element of the state information of the comparison source, and the verb or the case element of the second state information is the The difference representing the difference detected by detecting that a difference exists between the first state information and the second state information when the verb or case element of the state information of the comparison destination matches Detecting the movement of the object corresponding to the information;
Operation detection method according to claim.