JP5227046B2 - Motion detection device and motion detection method - Google Patents
Motion detection device and motion detection method Download PDFInfo
- Publication number
- JP5227046B2 JP5227046B2 JP2008042834A JP2008042834A JP5227046B2 JP 5227046 B2 JP5227046 B2 JP 5227046B2 JP 2008042834 A JP2008042834 A JP 2008042834A JP 2008042834 A JP2008042834 A JP 2008042834A JP 5227046 B2 JP5227046 B2 JP 5227046B2
- Authority
- JP
- Japan
- Prior art keywords
- state information
- difference
- information
- detected
- verb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 155
- 230000033001 locomotion Effects 0.000 title claims description 69
- 230000009471 action Effects 0.000 claims description 88
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 description 41
- 238000012544 monitoring process Methods 0.000 description 37
- 230000006399 behavior Effects 0.000 description 29
- 230000008569 process Effects 0.000 description 25
- 230000005856 abnormality Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000005021 gait Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000037237 body shape Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Description
この発明は、カメラなどの撮像手段により撮像された画像情報から人物などの物体の動作を検出する動作検出装置および動作検出方法に関する。 The present invention relates to a motion detection apparatus and a motion detection method for detecting the motion of an object such as a person from image information captured by an imaging means such as a camera.
従来から、監視カメラ等で撮影した画像を分析して、人物などの監視対象物の行動を認識する認識装置が知られている。例えば、特許文献1では、建物等に固定された固定カメラではなく、人物等の移動体に装着されたカメラによって撮影された画像を加工して被写体の行動を分析する技術が提案されている。 2. Description of the Related Art Conventionally, a recognition device that analyzes an image captured by a monitoring camera or the like and recognizes an action of a monitoring target such as a person is known. For example, Patent Document 1 proposes a technique for analyzing an action of a subject by processing an image captured by a camera attached to a moving body such as a person, not a fixed camera fixed to a building or the like.
特許文献1では、移動するカメラで撮影された画像から分析された行動をテキスト情報として出力するため、カメラを装着した人物の特性に応じたテキスト情報を集積してテキストデータベースを構築することが可能となる。 In Patent Document 1, since behaviors analyzed from images taken with a moving camera are output as text information, it is possible to build a text database by accumulating text information according to the characteristics of the person wearing the camera. It becomes.
しかしながら、特許文献1の方法は、画像の分析のみによって監視対象物の行動を認識するため、分析のための画像処理の処理負荷が高くなるという問題があった。例えば、特許文献1では、画像から抽出した人物の顔領域を着色して元の画像に組み込み、ノイズ除去処理、メジアンフィルタ処理などの画像処理後の画像を比較することにより顔領域の動きを分析し、被撮影者の動作を推定している。 However, the method of Patent Literature 1 has a problem that the processing load of image processing for analysis increases because the behavior of the monitoring object is recognized only by image analysis. For example, in Patent Document 1, a human face area extracted from an image is colored and incorporated into the original image, and the movement of the face area is analyzed by comparing images after image processing such as noise removal processing and median filter processing. The movement of the subject is estimated.
本発明は、上記に鑑みてなされたものであって、画像から監視対象物の動作を検出するときの処理負荷を低減することができる動作検出装置および動作検出方法を提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide an operation detection device and an operation detection method capable of reducing a processing load when detecting an operation of a monitoring object from an image. .
上述した課題を解決し、目的を達成するために、請求項1にかかる発明は、物体の動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を記憶可能な記憶手段と、撮像手段によって撮像された前記物体の画像情報を取得する取得手段と、前記画像情報を解析して物体の動作状態を検出し、検出した動作状態を表す前記状態情報を生成して前記記憶手段に保存する第1検出手段と、保存された複数の前記状態情報間の差分を検出し、前記差分に応じた前記物体の動作を予め定めた規則に基づいて、検出した差分に対応する前記物体の動作を検出する第2検出手段と、を備え、前記規則は、比較元の前記状態情報の前記動詞または前記格要素と比較先の前記状態情報の前記動詞または前記格要素とによって表される前記状態情報の差分のパターンを表す差分情報と、前記差分情報に応じて定められた前記物体の動作とを含み、前記第2検出手段は、第1状態情報の前記動詞または前記格要素が前記比較元の前記状態情報の前記動詞または前記格要素と一致し、第2状態情報の前記動詞または前記格要素が前記比較先の前記状態情報の前記動詞または前記格要素と一致する場合に、前記第1状態情報と前記第2状態情報との間に差分が存在することを検出し、検出した差分を表す前記差分情報に対応する前記物体の動作を検出すること、を特徴とする動作検出装置である。 In order to solve the above-described problems and achieve the object, the invention according to claim 1 is information representing the motion state of an object, and is related to a verb representing the motion type of the object and the motion of the object. A storage element capable of storing state information represented by a case frame including a case element that is a noun and indicating a semantic relationship between the verb and the case element, and image information of the object imaged by the imaging means A first detection unit that analyzes the image information to detect an operation state of the object, generates the state information representing the detected operation state, and stores the state information in the storage unit; detecting a difference between a plurality of the state information, based on a predetermined rule an operation of the object in accordance with the difference, and the second detection means for detecting the operation of the object corresponding to the detected difference, the The rule comprises a ratio In accordance with the difference information, which represents a difference pattern of the state information represented by the verb or the case element of the original state information and the verb or the case element of the state information of the comparison destination The movement of the object is determined, and the second detection means matches the verb or the case element of the state information of the comparison source with the verb or the case element of the first state information, There is a difference between the first state information and the second state information when the verb or case element of the state information matches the verb or case element of the state information to be compared. And detecting an action of the object corresponding to the difference information representing the detected difference .
また、請求項2にかかる発明は、請求項1に記載の動作検出装置において、前記第2検出手段は、さらに、検出した前記物体の動作の種類を表す動詞と、検出した前記物体の動作に関連する格要素とを含む前記状態情報を生成して前記記憶手段に保存し、保存した複数の前記状態情報間の差分をさらに検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、を特徴とする。 According to a second aspect of the present invention, in the motion detection device according to the first aspect, the second detection means further includes a verb representing a type of motion of the detected object and a motion of the detected object. The state information including a related case element is generated and stored in the storage unit, a difference between the plurality of stored state information is further detected, and the action of the object corresponding to the detected difference is set as the rule. It detects based on.
また、請求項3にかかる発明は、請求項1に記載の動作検出装置において、前記状態情報は、前記格要素として前記物体の動作が発生した時刻を含み、前記第2検出手段は、保存された前記状態情報のうち、前記時刻が連続する複数の前記状態情報間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、を特徴とする。 According to a third aspect of the present invention, in the motion detection device according to the first aspect, the state information includes a time when the motion of the object has occurred as the case element, and the second detection means is stored. Further, it is characterized in that a difference between a plurality of the state information having the continuous time among the state information is detected, and an action of the object corresponding to the detected difference is detected based on the rule.
また、請求項4にかかる発明は、請求項1に記載の動作検出装置において、前記状態情報は、前記格要素として前記物体の位置を含み、前記第2検出手段は、保存された複数の前記状態情報に含まれる前記位置間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、を特徴とする。 According to a fourth aspect of the present invention, in the motion detection device according to the first aspect, the state information includes the position of the object as the case element, and the second detection means includes a plurality of the stored states. A difference between the positions included in the state information is detected, and an action of the object corresponding to the detected difference is detected based on the rule.
また、請求項5にかかる発明は、請求項1に記載の動作検出装置において、前記状態情報は、前記格要素として前記物体の向きを含み、前記第2検出手段は、保存された複数の前記状態情報に含まれる前記向きの間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、を特徴とする。 According to a fifth aspect of the present invention, in the motion detection device according to the first aspect, the state information includes an orientation of the object as the case element, and the second detection means includes a plurality of the stored states. A difference between the directions included in the state information is detected, and an action of the object corresponding to the detected difference is detected based on the rule.
また、請求項6にかかる発明は、請求項1に記載の動作検出装置において、前記状態情報は、前記格要素として前記物体の高さを含み、前記第2検出手段は、保存された複数の前記状態情報に含まれる前記高さ間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、を特徴とする。 According to a sixth aspect of the present invention, in the motion detection device according to the first aspect, the state information includes the height of the object as the case element, and the second detection means includes a plurality of stored A difference between the heights included in the state information is detected, and an action of the object corresponding to the detected difference is detected based on the rule.
また、請求項7にかかる発明は、取得手段が、撮像手段によって撮像された物体の画像情報を取得する取得ステップと、第1検出手段が、前記画像情報を解析して物体の動作状態を検出し、検出した動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を生成して記憶手段に保存する第1検出ステップと、第2検出手段が、保存された複数の前記状態情報間の差分を検出し、前記差分に応じた前記物体の動作を予め定めた規則に基づいて、検出した差分に対応する前記物体の動作を検出する第2検出ステップと、を含み、前記規則は、比較元の前記状態情報の前記動詞または前記格要素と比較先の前記状態情報の前記動詞または前記格要素とによって表される前記状態情報の差分のパターンを表す差分情報と、前記差分情報に応じて定められた前記物体の動作とを含み、前記第2検出ステップは、第1状態情報の前記動詞または前記格要素が前記比較元の前記状態情報の前記動詞または前記格要素と一致し、第2状態情報の前記動詞または前記格要素が前記比較先の前記状態情報の前記動詞または前記格要素と一致する場合に、前記第1状態情報と前記第2状態情報との間に差分が存在することを検出し、検出した差分を表す前記差分情報に対応する前記物体の動作を検出すること、を特徴とする動作検出方法である。 According to a seventh aspect of the present invention, the acquisition means acquires the image information of the object imaged by the imaging means, and the first detection means detects the operation state of the object by analyzing the image information. Information indicating the detected motion state, including a verb indicating the type of motion of the object and a case element that is a noun related to the motion of the object, and the meaning between the verb and the case element A first detection step of generating state information represented by a case frame indicating a relationship and storing the state information in a storage unit; and a second detection unit detecting a difference between the plurality of stored state information, A second detection step of detecting the motion of the object corresponding to the detected difference based on a rule that predetermines the motion of the corresponding object , wherein the rule is the verb of the state information of the comparison source Or the case element Difference information representing a difference pattern of the state information represented by the verb or the case element of the state information of the comparison destination, and an action of the object determined according to the difference information, 2 detecting step, wherein the verb or the case element of the first state information matches the verb or the case element of the state information of the comparison source, and the verb or the case element of the second state information is the comparison destination When the state information coincides with the verb or the case element, it is detected that a difference exists between the first state information and the second state information, and the difference information representing the detected difference is included in the difference information. It is a motion detection method characterized by detecting a motion of the corresponding object .
本発明によれば、画像情報から検出した物体の動作状態を、テキスト情報である格フレームで表した状態情報を記憶するとともに、記憶した状態情報を比較することにより物体の動作をさらに検出することができる。このため、画像の分析のみによって監視対象物の動作を認識する方法と比較して、画像から監視対象物の動作を検出するときの処理負荷を低減することができるという効果を奏する。 According to the present invention, the state of movement of an object detected from image information is stored in a case frame that is text information, and the movement of the object is further detected by comparing the stored state information. Can do. For this reason, compared with the method of recognizing the operation of the monitoring object only by analyzing the image, the processing load when detecting the operation of the monitoring object from the image can be reduced.
以下に添付図面を参照して、この発明にかかる動作検出装置および動作検出方法の最良な実施の形態を詳細に説明する。 Exemplary embodiments of an operation detection apparatus and an operation detection method according to the present invention will be explained below in detail with reference to the accompanying drawings.
本実施の形態にかかる動作検出装置は、監視カメラで撮像した画像情報から、監視対象物である人物の行動(動作状態)を解析し、解析結果を深層格フレーム構造で表して記憶部に保存する。そして、記憶部に保存した深層格フレームを相互に比較することによって、さらに人物の行動を検出する。 The motion detection apparatus according to the present embodiment analyzes the behavior (motion state) of a person who is a monitoring target from image information captured by a surveillance camera, and stores the analysis result in a deep case frame structure. To do. Then, the person's action is further detected by comparing the deep case frames stored in the storage unit with each other.
なお、以下では、監視カメラや各種センサからの情報を用いて所定領域を警備する警備装置として動作検出装置を実現した例について説明する。適用可能な装置は警備装置に限られず、画像情報を解析して物体の動作を検出する機能を備える装置であればあらゆる装置に適用できる。 In the following, an example in which the motion detection device is realized as a security device that guards a predetermined area using information from a monitoring camera and various sensors will be described. Applicable devices are not limited to security devices, and can be applied to any device that has a function of analyzing image information and detecting the motion of an object.
本実施の形態について、添付図面を参照して説明する。まず、本実施の形態が適用される監視システムの構成例について説明する。図1は、本実施の形態にかかる監視システム10の構成を示すブロック図である。図1に示すように、監視システム10は、警備装置100と監視センタ200とを備えている。警備装置100と監視センタ200は、電話回線、無線ネットワーク、インターネットなどのネットワーク300を介して接続されている。
The present embodiment will be described with reference to the accompanying drawings. First, a configuration example of a monitoring system to which this exemplary embodiment is applied will be described. FIG. 1 is a block diagram showing a configuration of a
監視センタ200は、監視領域の異常を検知した警備装置100からの通報を受け、待機中の警備員に対して異常が検知された監視領域(不図示)へ向かう旨の指示を出すとともに、必要に応じて警察や消防等の関係機関への通報を行う。
The
警備装置100は、センサ110と、監視カメラ120と、警備操作部130とを備えている。
The
センサ110は、警備対象である監視領域に設置されており、主に侵入者等の異常を検知する目的で設置された人感センサである。センサ110は、人の存在や扉の開閉を検知した場合に検知信号を出力する。センサ110は、例えば赤外線の受光量の変化をもとに人の存在を検出する赤外線センサ、赤外線等の受信が遮断されることで人の存在を検出する遮断センサ、電磁波の乱れで人の存在を検知する電波センサ、およびマグネットにより扉の開閉を検出するマグネットセンサなどの監視領域の異常を検出する各種センサによって構成できる。
The
監視カメラ120は、警備対象である監視領域を撮像する。監視カメラ120は、主に監視領域である住居の出入口付近や敷地内への出入口付近に設置されている。
The
次に、警備操作部130について説明する。警備操作部130は、検知情報受信部131と、画像情報取得部132と、警備状態切替部133と、操作パネル制御部134と、操作パネル135と、送受信部136と、警備状態記憶部137と、第1検出部138と、第2検出部139と、HDD(Hard Disk Drive)150と、を備えている。
Next, the security operation unit 130 will be described. The security operation unit 130 includes a detection information reception unit 131, an image
検知情報受信部131は、センサ110によって異常が検知された場合に送出される検知情報を受信する。検知情報は、センサ110から送出される検知信号である。センサ110が複数設置されている場合、検知情報は検知信号およびセンサ110を識別するセンサIDを含む。画像情報取得部132は、監視カメラ120によって撮像された画像情報を取得する。
The detection information receiving unit 131 receives detection information that is sent when an abnormality is detected by the
警備状態切替部133は、操作パネル制御部134によって受付けた警備状態を警備状態記憶部137に格納する。
The guard
警備状態記憶部137は、現在の警備装置100の警備状態である警備モードまたは警備解除モードのいずれかを記憶する。なお、警備状態記憶部137は、ハードディスク、光ディスク、メモリカード、RAM(Random Access Memory)などの一般的に利用されているあらゆる記憶媒体により構成することができる。
The security
ここで、警備モードとは、センサ110が異常を検知して検知情報を取得した場合に、警備領域での異常を知らせる警報情報をネットワーク300で接続されている監視センタ200に送信する状態をいう。また、警備解除モードとは、上記検知情報を取得した場合でも異常を知らせる警報情報を監視センタ200に送信しない状態をいう。
Here, the security mode refers to a state in which alarm information notifying abnormality in the security area is transmitted to the
操作パネル135は、警備装置100に関する情報が表示され、警備装置100に対して情報が入力される。操作パネル135は、ボタンの押下等によって警備モードまたは警備解除モードのいずれかの警備状態を入力する。操作パネル制御部134は、操作パネル135への表示情報の出力や、操作パネル135から入力された入力情報の取得等の操作パネル135に対する制御を行う。
The
送受信部136は、ネットワーク300を介して監視センタ200との間で各種情報を送受信する。例えば、送受信部136は、監視カメラ120が撮像した画像情報を監視センタ200に送信する。また、送受信部136は、センサ110から検知情報を受信した場合で、かつ警備状態記憶部137に記憶された現在の警備状態に警備モードが記憶されている場合に、警報情報を監視センタ200に送信する。
The transmission /
HDD150は、物体の動作検出に関する各種データを記憶する。具体的には、HDD150は、状態情報DB(データベース)151と、規則DB152とを格納している。なお、各DBを、光ディスク、メモリカードなどのHDD150以外の記憶媒体に格納するように構成してもよい。
The
なお、第1検出部138、第2検出部139、HDD150等を監視センタ200に設け、センサ110や監視カメラ120で得られた情報を監視センタ200に送り、動作検出を監視センタで行うように構成してもよい。
The
状態情報DB151は、物体の動作状態を深層格フレーム構造で表した状態情報を記憶する。深層格フレーム(以下、単に格フレームとも言う)とは、動詞を基準として、動詞に対する名詞の意味関係を深層格として表した言語構造をいう。
The
図2は、状態情報DB151に記憶される状態情報のデータ構造の一例を示す図である。図2に示すように、状態情報は、格フレームを識別する格フレームIDと、動作(行動)の種類を表す行動名と、動作に関連する名詞である格要素(深層格)とを含んでいる。深層格には、主格、属性格、場所格、時間格、源泉格、目標格、対象格、および道具格が含まれる。
FIG. 2 is a diagram illustrating an example of a data structure of state information stored in the
主格は、動作を引き起こす主体を表す。属性格は、主格に関する情報をいう。例えば、属性格は、身長高、体型、上半身色、下半身色、頭色、顔情報、および歩容情報等を含む。 The main character represents the subject that causes the action. The attribute case refers to information on the main case. For example, the attribute case includes height, body type, upper body color, lower body color, head color, face information, gait information, and the like.
顔情報および歩容情報は、さらに詳細な要素に分けられる。例えば、顔情報は、顔の特徴を表す顔特徴、視線方向、マスクの有無、サングラスの有無、性別、および年代などの要素を含む。また、歩容情報は、歩幅、姿勢、脚長、および歩速などの要素を含む。 Face information and gait information are further divided into detailed elements. For example, the face information includes elements such as a facial feature representing a facial feature, a line-of-sight direction, the presence / absence of a mask, the presence / absence of sunglasses, gender, and age. The gait information includes elements such as stride length, posture, leg length, and walking speed.
場所格は、動作や状態が起こる場所を表す。例えば、場所格は、頭部位置、***置、手位置、顔位置、および脚部位置等を含む。 A place case represents a place where an action or a state occurs. For example, the place case includes a head position, a body position, a hand position, a face position, a leg position, and the like.
時間格は、動作や状態が起こる時間を表す。例えば、時間格は、現在時刻を表す時刻、動作が開始された時刻を表す動作開始時刻、動作が終了した時刻を表す動作終了時刻、および動作が発生した年月日等を表す。 The time case represents the time at which an action or condition occurs. For example, the time case represents the time representing the current time, the operation start time representing the time when the operation was started, the operation end time representing the time when the operation was completed, and the date when the operation occurred.
源泉格は、移動や状態変化などの起点を表す。例えば、源泉格は、主格が移動や動作等を行う起点の位置を表す場所情報、および起点での主格の属性を表す属性情報を含む。 The source case represents the starting point of movement or state change. For example, the source case includes location information indicating the position of the starting point where the leading character moves or moves, and attribute information indicating the attribute of the leading character at the starting point.
目標格は、移動や状態変化などの終点を表す。例えば、目標格は、主格が移動や動作等を行う終点の位置を表す場所情報、および起点での主格の属性を表す属性情報を含む。 The target case represents an end point such as movement or state change. For example, the target case includes location information indicating the position of the end point where the main character moves or moves, and attribute information indicating the attribute of the main character at the starting point.
対象格は、動作や状態の対象となる事物を表す。対象格は、固有の識別情報である対象ID、および固有の情報である属性情報を含む。 A target case represents an object that is the target of an action or state. The target case includes a target ID that is unique identification information and attribute information that is unique information.
道具格は、動作の補助的手段を表す。道具格は、固有の識別情報である道具ID、および固有の情報である属性情報を含む。 The tool scale represents an auxiliary means of movement. The tool case includes a tool ID that is unique identification information and attribute information that is unique information.
なお、利用できる深層格はこれらに限られず、例えば精神的事象の経験者を表す経験者格などの、その他のあらゆる深層格を用いることができる。 In addition, the deep case which can be utilized is not restricted to these, For example, all other deep cases, such as the experience person's case showing the experience person of a mental event, can be used.
図3は、状態情報DB151に記憶される状態情報の具体例を示す図である。図3は、人物A(主格)が、「しゃがむ」という行動を検出したときに生成される状態情報の一例を示している。この場合、属性格には、人物Aの身長高、体型などの具体的な値が設定される。また、場所格および時間格には、それぞれ人物Aがしゃがんだときの位置や時刻に関する具体的な値が設定される。
FIG. 3 is a diagram illustrating a specific example of the state information stored in the
図1に戻り、規則DB152は、後述する第2検出部139が、状態情報DB151に保存された格フレームを比較して動作を検出するときに参照する行動検出規則を記憶する。図4は、規則DB152に記憶される行動検出規則のデータ構造の一例を示す図である。
Returning to FIG. 1, the rule DB 152 stores an action detection rule that the
図4に示すように、行動検出規則は、比較元となる情報であって、時間的に前の状態情報である前格フレームと、比較先となる情報であって、時間的に後の状態情報である後格フレームと、その他の条件と、検出される状態情報とを対応づけた形式となっている。 As shown in FIG. 4, the behavior detection rule is information that is a comparison source, that is, a temporal frame that is state information that is temporally previous, and information that is a comparison destination that is temporally subsequent. This is a format in which the post-grade frame that is information, other conditions, and detected state information are associated with each other.
前格フレームおよび後格フレームは、それぞれ行動名と格情報とを含んでいる。格情報には、比較すべき少なくとも1つの深層格を設定する。 Each of the front case frame and the back case frame includes an action name and case information. In the case information, at least one deep case to be compared is set.
前格フレームおよび後格フレームは、2つの格フレームが差異を有するパターンを表す情報(差分情報)に相当する。すなわち、ある2つの格フレームが、それぞれ前格フレームと後格フレームとで設定された行動名および格情報と適合するとき、この2つの格フレーム間には差異が存在すると判断される。例えば、図4では、ある格フレーム(格フレーム1)の行動名が「存在する」、場所格に含まれる***置が「A」であり、他の格フレーム(格フレーム2)の行動名が「存在する」、場所格に含まれる***置が「B」であるとき、格フレーム1と格フレーム2との間には差分が存在すると判断される。そして、差分が存在すると判断された場合、差分に対応する行動として、「検出される状態情報」欄に記載された行動名の行動が検出される。 The front case frame and the back case frame correspond to information (difference information) representing a pattern in which two case frames have a difference. That is, when two case frames are matched with the action name and case information set in the front case frame and the back case frame, it is determined that there is a difference between the two case frames. For example, in FIG. 4, the action name of a case frame (case frame 1) is “exists”, the body position included in the place case is “A”, and the action names of other case frames (case frame 2) are When the body position included in the place case is “B”, it is determined that there is a difference between the case frame 1 and the case frame 2. When it is determined that there is a difference, an action with the action name described in the “detected state information” column is detected as an action corresponding to the difference.
その他の条件には、必要に応じて、比較する状態情報が満たすべき条件が設定される。例えば、同図の行動名「しゃがむ」の行動を検出する行動検出規則では、前格フレームに含まれる頭部位置Bと、後格フレームに含まれる頭部位置Cとが、B>Cの関係を満たすことが条件として設定されている。 In other conditions, conditions to be satisfied by the state information to be compared are set as necessary. For example, in the behavior detection rule for detecting the behavior with the behavior name “squatting” in the same figure, the relationship B> C between the head position B included in the front case frame and the head position C included in the back case frame. Satisfying is set as a condition.
検出される状態情報は、検出される行動の行動名と、保存すべき少なくとも1つの深層格を表す格情報とを含んでいる。同図では、例えば、行動名「移動する」の行動が検出された場合は、前格フレームに含まれる***置Aおよび後格フレームに含まれる***置Bを、それぞれ検出した行動に対応する格フレームの源泉格の***置Aおよび目標格の***置Bとして保存する例が示されている。 The detected state information includes the action name of the detected action and case information representing at least one deep case to be saved. In the figure, for example, when an action with the action name “move” is detected, the body position A included in the front case frame and the body position B included in the back case frame are respectively corresponding to the detected actions. An example of saving as the body position A of the source case of the frame and the body position B of the target case is shown.
なお、行動検出規則は同図に示す形式に限られるものではなく、複数の状態情報間の差分に応じて予め定められた行動を決定可能なものであればあらゆる形式の規則を適用できる。 The behavior detection rule is not limited to the format shown in the figure, and any format rule can be applied as long as a predetermined behavior can be determined according to a difference between a plurality of state information.
図5は、検出される行動間の遷移関係を表す図である。具体的には、図5は、画像情報から検出される行動と、状態情報DB151に保存された状態情報を比較し、行動検出規則によって検出される行動との関係を表している。同図の楕円は、検出される行動名の一例を表している。また、楕円間の矢印に付された文字列は、ある行動から他の行動を検出するための状態情報間の差分の基準を表している。
FIG. 5 is a diagram illustrating a transition relationship between detected actions. Specifically, FIG. 5 shows the relationship between the behavior detected from the image information and the behavior detected by the behavior detection rule by comparing the status information stored in the
なお、この基準は、図4の規則DB152に記憶された行動検出規則に対応する。例えば、「位置座標の変異」という基準は、図4では行動名「移動する」を検出する最初の行動検出規則に対応する。すなわち、例えば同図の行動名501(存在する)に対応する複数の状態情報を比較することにより、「位置座標の変異」という差分が検出された場合は、「移動する」という行動名の行動が新たに検出される。 This criterion corresponds to the action detection rule stored in the rule DB 152 of FIG. For example, the criterion “variation in position coordinates” corresponds to the first action detection rule for detecting the action name “move” in FIG. That is, for example, when a difference “positional mutation” is detected by comparing a plurality of state information corresponding to the action name 501 (exists) in FIG. Is newly detected.
なお、図5の行動名501〜504は、後述する第1検出部138によって画像情報から検出される行動名を表している。それ以外の行動名は、後述する第2検出部139によって、行動検出規則を用いて検出される行動名を表している。また、同図の行動名511〜513は、他の行動へ派生しない行動名を表している。すなわち、この状態に達した場合は、同図の遷移から離脱することを意味する。
Note that action names 501 to 504 in FIG. 5 represent action names detected from the image information by the
図1に戻り、第1検出部138は、画像情報取得部132によって取得された画像情報を解析することにより、画像情報から物体の動作状態を検出する。また、第1検出部138は、検出した動作状態を表す状態情報を生成して状態情報DB151に保存する。
Returning to FIG. 1, the
第1検出部138は、例えば画像情報から人物領域を抽出することにより、人物が「存在する」という動作状態を検出する。また、第1検出部138は、検出した人物の視線方向を検出することにより、当該人物の「見る」という動作状態を検出する。また、第1検出部138は、人物以外の他の物体を画像情報から抽出し、抽出した物体が新たに現れた場合には「取り出す」という動作状態を、抽出した物体が以前から存在し、人物の手の位置と重なった場合には「触る」という動作状態を検出する。
The
なお、第1検出部138が人物または物体を抽出する方法としては、連続する画像情報の背景を比較することにより抽出した変動領域を人物領域とする方法や、人物パターンまたは物体パターンと照合することにより人物または物体を抽出する方法などの、従来から用いられているあらゆる方法を適用できる。また、第1検出部138が人物の視線方向を検出する方法としては、顔領域パターンと照合することにより顔領域を抽出するとともに視線方向を検出する方法などの従来から用いられているあらゆる方法を適用できる。
In addition, as a method for the
第2検出部139は、状態情報DB151に保存された2つの状態情報が規則DB152に保存された行動検出規則に適合するか否かを判定することによって、新たな行動を検出する。
The
具体的には、第2検出部139は、まず、第1検出部138によって検出され、状態情報DB151に保存された状態情報のうち、時刻が連続する2つの状態情報を取得する。次に、第2検出部139は、取得した2つの状態情報の行動名および格情報が一致する行動検出規則を規則DB152から取得する。そして、第2検出部139は、行動検出規則が取得できた場合に、行動検出規則で定められた行動を新たな行動として検出する。
Specifically, the
次に、このように構成された本実施の形態にかかる警備装置100による画像からの動作検出処理について図6を用いて説明する。画像からの動作検出処理とは、監視カメラ120で撮影された画像情報から人物等の動作(行動)を検出する処理をいう。図6は、本実施の形態における画像からの動作検出処理の全体の流れを示すフローチャートである。
Next, operation detection processing from an image by the
まず、画像情報取得部132は、監視カメラ120が撮影した画像情報を入力する(ステップS601)。次に、第1検出部138が、画像情報から人物領域を検出する(ステップS602)。次に、第1検出部138は、人物領域が検出されたか否かを判断する(ステップS603)。人物領域が検出されなかった場合は(ステップS603:NO)、次の画像情報を入力して処理を繰り返す(ステップS601)。
First, the image
人物領域が検出された場合(ステップS603:YES)、第1検出部138は、行動名=「存在する」の格フレームを作成する(ステップS604)。なお、作成した格フレームの格フレームIDには、他の格フレームと重複しない値を割り当てる。
When the person area is detected (step S603: YES), the
次に、第1検出部138は、検出した人物領域の各部位の検出位置を場所格へ格納する(ステップS605)。例えば、第1検出部138は、検出した人物領域に含まれる頭部、体、手、顔、および脚部の座標を算出し、それぞれ頭部位置、***置、手位置、顔位置、および脚部位置として場所格に格納する。なお、人物領域の各部位は、部位ごとの照合パターンと照合して検出する方法などの従来から用いられているあらゆる方法により検出できる。
Next, the
第1検出部138は、ステップS604〜ステップS605と並行して、人物同定処理(ステップS606〜ステップS607)、顔検出処理(ステップS608〜ステップS610)、体型判定処理(ステップS611〜ステップS612)、および歩容検出処理(ステップS613〜ステップS614)の各処理を実行する。なお、これらの各処理は必ずしも並行して処理する必要はなく、任意の順序で実行するように構成することができる。
In parallel with step S604 to step S605, the
人物同定処理では、第1検出部138は、抽出済みの人物領域と照合する方法などにより、抽出された人物を同定する(ステップS606)。そして、第1検出部138は、同定した人物に既に割り当てられているエージェントID(図2のAgtID)を、作成した格フレームの主格に格納する(ステップS607)。
In the person identification process, the
顔検出処理では、第1検出部138は、顔領域パターンと照合する方法などによって顔領域を検出する(ステップS608)。また、第1検出部138は、照合結果に応じて、視線方向、マスクの有無、およびサングラスの有無などの顔情報を属性格に格納する(ステップS609)。視線方向が検出された場合は、第1検出部138は、行動名=「見る」の格フレームを作成する(ステップS610)。
In the face detection process, the
体型判定処理では、第1検出部138は、照合した人物パターンに予め付与された体型を求める方法などにより、検出した人物の体型を判定する(ステップS611)。そして、第1検出部138は、判定した体型を、作成した格フレームの属性格に格納する(ステップS612)。
In the body type determination process, the
歩容検出処理では、第1検出部138は、主に検出した人物領域の脚部を解析することにより、歩速、歩幅、脚長、姿勢などの歩容情報を検出する(ステップS613)。歩速は、例えば連続する画像情報の脚部の位置を比較することにより算出することができる。そして、第1検出部138は、検出した歩容情報を、作成した格フレームの属性格に格納する(ステップS614)。
In the gait detection process, the
次に、第1検出部138は、画像情報から物体を検出する(ステップS615)。なお、物体検出処理は、人物領域検出処理(ステップS602)とともに実行してもよい。
Next, the
次に、第1検出部138は、物体が検出されたか否かを判断する(ステップS616)。物体が検出された場合(ステップS616:YES)、第1検出部138は、物体が前の画像情報で検出されていたか否か、および物体と人物領域の位置関係に応じて、行動名=「触る」または「取り出す」の格フレームを作成する(ステップS617)。
Next, the
具体的には、第1検出部138は、前の画像情報で検出された物体と照合することなどにより、物体が既に検出されていると判断でき、かつ、人物の手の位置と物体の位置とが重なると判断できる場合は、行動名=「触る」の格フレームを新たに作成する。また、第1検出部138は、未検出の物体が新たに検出されたと判断でき、かつ、人物の手の位置と物体の位置とが重なると判断できる場合は、行動名=「取り出す」の格フレームを新たに作成する。
Specifically, the
ステップS616で物体が検出されなかったと判断された場合(ステップS616:NO)、またはステップS617で新たな格フレームを作成後、第1検出部138は、これまでに作成した格フレームを状態情報DBに保存し(ステップS618)、画像からの動作検出処理を終了する。
When it is determined in step S616 that no object has been detected (step S616: NO), or after creating a new case frame in step S617, the
次に、本実施の形態にかかる警備装置100による状態情報からの動作検出処理について図7を用いて説明する。状態情報からの動作検出処理とは、状態情報DB151に保存されている状態情報から人物等の動作(行動)を検出する処理をいう。図7は、本実施の形態における状態情報からの動作検出処理の全体の流れを示すフローチャートである。
Next, operation detection processing from state information by the
まず、第2検出部139は、状態情報DB151に保存されている状態情報である格フレームのうち、未処理の格フレーム(以下、第1格フレームという)を取得する(ステップS701)。次に、第2検出部139は、取得した第1格フレームと時間的に連続する格フレーム(以下、第2格フレームという)を状態情報DB151から取得する(ステップS702)。
First, the
次に、第2検出部139は、取得した2つの格フレームが満たす行動検出規則を規則DB152から検索する(ステップS703)。具体的には、第2検出部139は、第1格フレームおよび第2格フレームの行動名が、それぞれ行動検出規則の前格フレームおよび後格フレームの行動名と一致し、格情報が行動検出規則の格情報が表す条件を満たす行動検出規則を検索する。
Next, the
例えば、第1格フレームおよび第2格フレームの行動名が共に「存在する」であり、第1格フレームの***置(***置Aとする)と、第2格フレームの***置(***置Bとする)とが異なる場合、図4に示すような規則DB152の最初の行動検出規則が検索される。 For example, the action names of the first case frame and the second case frame are both “exist”, and the body position of the first case frame (referred to as body position A) and the body position of the second case frame (body position B) The first action detection rule in the rule DB 152 as shown in FIG. 4 is searched.
次に、第2検出部139は、行動検出規則が検索されたか否かを判断し(ステップS704)、検索された場合は(ステップS704:YES)、検索した行動検出規則の「検出される状態情報」に設定された行動名の格フレームを作成する(ステップS705)。
Next, the
行動検出規則が検索されなかった場合(ステップS704:NO)、または、格フレームを作成後、第2検出部139は、未処理の格フレームが存在するか否かを判断する(ステップS706)。
If no action detection rule is found (step S704: NO), or after creating a case frame, the
未処理の格フレームが存在する場合(ステップS706:YES)、第2検出部139は、次の格フレームを取得して処理を繰り返す(ステップS701)。未処理の格フレームが存在しない場合は(ステップS706:NO)、状態情報からの動作検出処理を終了する。
If there is an unprocessed case frame (step S706: YES), the
このような処理により、画像情報からだけでなく、テキスト情報として保存した状態情報から、人物等の対象物の行動を検出することができる。このため、画像の分析のみによって監視対象物の動作を認識する従来の方法と比較して、動作検出処理の処理負荷を低減することが可能となる。 By such processing, it is possible to detect the behavior of an object such as a person not only from image information but also from state information stored as text information. For this reason, it is possible to reduce the processing load of the motion detection process as compared with the conventional method of recognizing the motion of the monitoring object only by analyzing the image.
次に、動作検出処理の具体例について図8を用いて説明する。図8は、動作検出処理の具体例を示す模式図である。同図は、一般家屋の玄関前に設置された監視カメラ120で撮影された画像情報801〜803から人物の行動を検出する例を示している。
Next, a specific example of the operation detection process will be described with reference to FIG. FIG. 8 is a schematic diagram illustrating a specific example of the motion detection process. The figure shows an example in which a person's action is detected from image information 801 to 803 photographed by a
同図に示すように、最初の画像情報801を解析することにより、人物が通路にいることを表す行動名=「存在する」の格フレーム811が構築される。また、次に撮影された画像情報802を解析することにより、人物が玄関前にいることを表す行動名=「存在する」の格フレーム812が構築される。これらの2つの格フレームを比較すると、同一人物が異なる場所で存在していることから、図4に示すような規則DB152の行動名=「移動する」を検出可能な行動検出規則と一致する。このため、行動名=「移動する」の格フレーム821が検出される。
As shown in the figure, by analyzing the first image information 801, a
さらに、次に撮影された画像情報803を解析することにより、人物が玄関前にいる(頭部の位置が低い)ことを表す行動名=「存在する」の格フレーム813が構築される。同様に前後の格フレームを比較すると、同一人物が同位置に存在し、頭部の高さのみが変化していることから、図4に示すような規則DB152の行動名=「しゃがむ」を検出可能な行動検出規則と一致する。このため、行動名=「しゃがむ」の格フレーム822が検出される。
Further, by analyzing the
このように、本実施の形態にかかる動作検出装置では、監視カメラで撮影した動画像中の任意の瞬間の画像(フレーム画像)に対して画像処理を行って人物等の監視対象物を検出し、検出した監視対象物の状態を表す格フレームを構築して記憶部に保存する。さらに時間が経過するごとに構築される格フレーム上の差異を比較することで、さらに監視対象物の行動を検出する。すなわち、本実施の形態で必要な画像処理は、主に監視対象物の検出とその特徴抽出であり、監視対象物の詳細な行動を検出するための画像処理が不要となる。これにより、画像から監視対象物の動作を検出するときの処理負荷を低減することができる。 As described above, in the motion detection device according to the present embodiment, an image at an arbitrary moment (frame image) in a moving image captured by a monitoring camera is subjected to image processing to detect a monitoring target such as a person. A case frame representing the state of the detected monitoring object is constructed and stored in the storage unit. Furthermore, the behavior of the monitoring object is further detected by comparing the differences on the case frames constructed as time elapses. That is, the image processing necessary in the present embodiment is mainly the detection of the monitoring object and the feature extraction thereof, and the image processing for detecting the detailed behavior of the monitoring object is not necessary. Thereby, the processing load at the time of detecting the operation | movement of the monitoring target object from an image can be reduced.
また、本実施の形態は、全てのフレーム画像に対して画像処理を実行する必要がないため、何らかの要因により、画像処理が正常に行われなかったフレーム画像が存在したとしても、監視対象物の行動を検出することが可能である。 Further, in this embodiment, since it is not necessary to perform image processing on all frame images, even if there is a frame image for which image processing has not been performed normally for some reason, It is possible to detect behavior.
さらに、新たな犯罪手口の発生等により、検出対象とすべき行動が増えた場合、従来のように画像処理のみで行動を検出する方法であれば、新たな画像処理を追加する必要が生じる。これに対し、本実施の形態の方法によれば、新たな行動検出規則を追加するだけで、検出対象行動の増加に対して容易に対応することができる。 Furthermore, when the number of actions to be detected increases due to the occurrence of a new criminal technique or the like, if it is a conventional method for detecting actions only by image processing, it is necessary to add new image processing. On the other hand, according to the method of the present embodiment, it is possible to easily cope with an increase in the detection target behavior simply by adding a new behavior detection rule.
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。 It should be noted that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
10 監視システム
100 警備装置
110 センサ
120 監視カメラ
130 警備操作部
131 検知情報受信部
132 画像情報取得部
133 警備状態切替部
134 操作パネル制御部
135 操作パネル
136 送受信部
137 警備状態記憶部
138 第1検出部
139 第2検出部
150 HDD
151 状態情報DB
152 規則DB
200 監視センタ
300 ネットワーク
501〜504、511〜513 行動名
801〜803 画像情報
811〜813、821〜822 格フレーム
DESCRIPTION OF
151 Status information DB
152 Rule DB
200
Claims (7)
撮像手段によって撮像された前記物体の画像情報を取得する取得手段と、
前記画像情報を解析して物体の動作状態を検出し、検出した動作状態を表す前記状態情報を生成して前記記憶手段に保存する第1検出手段と、
保存された複数の前記状態情報間の差分を検出し、前記差分に応じた前記物体の動作を予め定めた規則に基づいて、検出した差分に対応する前記物体の動作を検出する第2検出手段と、を備え、
前記規則は、比較元の前記状態情報の前記動詞または前記格要素と比較先の前記状態情報の前記動詞または前記格要素とによって表される前記状態情報の差分のパターンを表す差分情報と、前記差分情報に応じて定められた前記物体の動作とを含み、
前記第2検出手段は、第1状態情報の前記動詞または前記格要素が前記比較元の前記状態情報の前記動詞または前記格要素と一致し、第2状態情報の前記動詞または前記格要素が前記比較先の前記状態情報の前記動詞または前記格要素と一致する場合に、前記第1状態情報と前記第2状態情報との間に差分が存在することを検出し、検出した差分を表す前記差分情報に対応する前記物体の動作を検出すること、
を特徴とする動作検出装置。 Information representing the motion state of an object, including a verb indicating the type of motion of the object and a case element that is a noun related to the motion of the object, and a semantic relationship between the verb and the case element Storage means capable of storing the state information represented by the case frame shown;
Obtaining means for obtaining image information of the object imaged by the imaging means;
First detection means for analyzing the image information to detect an operation state of the object, generating the state information representing the detected operation state, and storing it in the storage means;
Second detecting means for detecting a difference between the plurality of stored state information, and detecting an action of the object corresponding to the detected difference based on a rule in which the action of the object according to the difference is determined in advance. and, with a,
The rule includes difference information indicating a difference pattern of the state information represented by the verb or the case element of the state information of the comparison source and the verb or the case element of the state information of the comparison destination; The movement of the object determined according to the difference information,
The second detection means is configured such that the verb or the case element of the first state information matches the verb or the case element of the state information of the comparison source, and the verb or the case element of the second state information is the The difference representing the difference detected by detecting that a difference exists between the first state information and the second state information when the verb or case element of the state information of the comparison destination matches Detecting the movement of the object corresponding to the information;
Operation detecting apparatus according to claim.
を特徴とする請求項1に記載の動作検出装置。 The second detection means further generates the state information including a verb representing the type of motion of the detected object and a case element related to the detected motion of the object, and stores the state information in the storage means. Further detecting a difference between the plurality of stored state information, and detecting an action of the object corresponding to the detected difference based on the rule;
The motion detection apparatus according to claim 1.
前記第2検出手段は、保存された前記状態情報のうち、前記時刻が連続する複数の前記状態情報間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、
を特徴とする請求項1に記載の動作検出装置。 The state information includes a time when the movement of the object occurs as the case element,
The second detection means detects a difference between a plurality of the state information having the continuous time among the stored state information, and detects an action of the object corresponding to the detected difference based on the rule. To do,
The motion detection apparatus according to claim 1.
前記第2検出手段は、保存された複数の前記状態情報に含まれる前記位置間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、
を特徴とする請求項1に記載の動作検出装置。 The state information includes the position of the object as the case element,
The second detection means detects a difference between the positions included in the plurality of stored state information, and detects an action of the object corresponding to the detected difference based on the rule;
The motion detection apparatus according to claim 1.
前記第2検出手段は、保存された複数の前記状態情報に含まれる前記向きの間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、
を特徴とする請求項1に記載の動作検出装置。 The state information includes the direction of the object as the case element,
The second detection means detects a difference between the directions included in the plurality of stored state information, and detects an action of the object corresponding to the detected difference based on the rule;
The motion detection apparatus according to claim 1.
前記第2検出手段は、保存された複数の前記状態情報に含まれる前記高さ間の差分を検出し、検出した差分に対応する前記物体の動作を前記規則に基づいて検出すること、
を特徴とする請求項1に記載の動作検出装置。 The state information includes the height of the object as the case element,
The second detecting means detects a difference between the heights included in the plurality of stored state information, and detects an action of the object corresponding to the detected difference based on the rule;
The motion detection apparatus according to claim 1.
第1検出手段が、前記画像情報を解析して物体の動作状態を検出し、検出した動作状態を表す情報であって、前記物体の動作の種類を表す動詞と前記物体の動作に関連する名詞である格要素とを含み、前記動詞と前記格要素との間の意味関係を示す格フレームによって表された状態情報を生成して記憶手段に保存する第1検出ステップと、
第2検出手段が、保存された複数の前記状態情報間の差分を検出し、前記差分に応じた前記物体の動作を予め定めた規則に基づいて、検出した差分に対応する前記物体の動作を検出する第2検出ステップと、を含み、
前記規則は、比較元の前記状態情報の前記動詞または前記格要素と比較先の前記状態情報の前記動詞または前記格要素とによって表される前記状態情報の差分のパターンを表す差分情報と、前記差分情報に応じて定められた前記物体の動作とを含み、
前記第2検出ステップは、第1状態情報の前記動詞または前記格要素が前記比較元の前記状態情報の前記動詞または前記格要素と一致し、第2状態情報の前記動詞または前記格要素が前記比較先の前記状態情報の前記動詞または前記格要素と一致する場合に、前記第1状態情報と前記第2状態情報との間に差分が存在することを検出し、検出した差分を表す前記差分情報に対応する前記物体の動作を検出すること、
を特徴とする動作検出方法。 An acquisition step in which the acquisition means acquires image information of the object imaged by the imaging means;
The first detection means analyzes the image information to detect the motion state of the object, and is information indicating the detected motion state, a verb indicating the motion type of the object and a noun related to the motion of the object A first detection step of generating state information represented by a case frame indicating a semantic relationship between the verb and the case element and storing it in a storage means,
The second detecting means detects a difference between the plurality of stored state information, and determines the motion of the object corresponding to the detected difference based on a predetermined rule for the motion of the object according to the difference. A second detecting step for detecting ,
The rule includes difference information indicating a difference pattern of the state information represented by the verb or the case element of the state information of the comparison source and the verb or the case element of the state information of the comparison destination; The movement of the object determined according to the difference information,
In the second detection step, the verb or the case element of the first state information matches the verb or the case element of the state information of the comparison source, and the verb or the case element of the second state information is the The difference representing the difference detected by detecting that a difference exists between the first state information and the second state information when the verb or case element of the state information of the comparison destination matches Detecting the movement of the object corresponding to the information;
Operation detection method according to claim.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008042834A JP5227046B2 (en) | 2008-02-25 | 2008-02-25 | Motion detection device and motion detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008042834A JP5227046B2 (en) | 2008-02-25 | 2008-02-25 | Motion detection device and motion detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009199516A JP2009199516A (en) | 2009-09-03 |
JP5227046B2 true JP5227046B2 (en) | 2013-07-03 |
Family
ID=41142916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008042834A Active JP5227046B2 (en) | 2008-02-25 | 2008-02-25 | Motion detection device and motion detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5227046B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5091095B2 (en) * | 2008-11-25 | 2012-12-05 | 綜合警備保障株式会社 | Motion detection device and motion detection method |
WO2015093330A1 (en) * | 2013-12-17 | 2015-06-25 | シャープ株式会社 | Recognition data transmission device |
-
2008
- 2008-02-25 JP JP2008042834A patent/JP5227046B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009199516A (en) | 2009-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5091095B2 (en) | Motion detection device and motion detection method | |
JP5523900B2 (en) | Person search device, person search method, and person search program | |
JP5674406B2 (en) | Surveillance system, monitoring device, autonomous mobile body, monitoring method, and monitoring program using autonomous mobile body | |
US20060271525A1 (en) | Person searching device, person searching method and access control system | |
US20070229663A1 (en) | Image processing apparatus, monitoring camera, and image monitoring system | |
JP5590945B2 (en) | Person search device, person search method, and person search program | |
JP2013069128A (en) | System and method for finding lost child | |
JP2008108243A (en) | Person recognition device and person recognition method | |
JP2009252215A (en) | Security device and information display method | |
JP2019020777A (en) | Information processing device, control method of information processing device, computer program, and storage medium | |
JP5143780B2 (en) | Monitoring device and monitoring method | |
CN111353374A (en) | Information processing apparatus, control method thereof, and computer-readable storage medium | |
JP2009194711A (en) | Region user management system and management method of the same | |
JP5227046B2 (en) | Motion detection device and motion detection method | |
JP2010170212A (en) | Action estimation device and method | |
JP5188840B2 (en) | Security device and update method | |
JP2021106330A (en) | Information processing apparatus, information processing method, and program | |
JP2010257450A (en) | Device, method, and program for retrieving person | |
JP2009205594A (en) | Security device and suspicious person determining method | |
JP4944818B2 (en) | Search device and search method | |
JP6558178B2 (en) | Nuisance agent estimation system, control method and control program for nuisance agent estimation system | |
CN115937730A (en) | Estimation device, estimation method, and storage medium | |
JP2009211389A (en) | Logger and logging method | |
JP2018173913A (en) | Image processing system, information processing device, and program | |
JP2009201014A (en) | Apparatus and method for creating summary sentence |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130315 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5227046 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160322 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |