JP5285575B2 - Human behavior determination device and program thereof - Google Patents
Human behavior determination device and program thereof Download PDFInfo
- Publication number
- JP5285575B2 JP5285575B2 JP2009252559A JP2009252559A JP5285575B2 JP 5285575 B2 JP5285575 B2 JP 5285575B2 JP 2009252559 A JP2009252559 A JP 2009252559A JP 2009252559 A JP2009252559 A JP 2009252559A JP 5285575 B2 JP5285575 B2 JP 5285575B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- human
- trajectory
- feature amount
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、映像に含まれる人物の行動を判定する技術に関する。 The present invention relates to a technique for determining an action of a person included in a video.
映像解析による人物の動作認識は、例えば、人物行動の自動認識、個人認証、又は、動作をキーとした映像検索に活用できる有用な技術である。特に、防犯を目的とし、固定監視カメラの映像から人物の特定動作を自動検出する技術は、その需要が高い。例えば、エレベータや書店に設置した固定監視カメラの映像を自動的に解析し、人物の異常行動に対してアラームを発するシステムが開発されている。 Human motion recognition by video analysis is a useful technique that can be utilized for, for example, automatic recognition of human behavior, personal authentication, or video search using motion as a key. In particular, there is a great demand for a technology for automatically detecting a specific action of a person from a fixed surveillance camera image for the purpose of crime prevention. For example, a system has been developed that automatically analyzes video from a fixed surveillance camera installed in an elevator or bookstore and issues an alarm for abnormal behavior of a person.
ここで、映像解析による人物の動作認識は、モデルをベースにした技術と、特徴をベースにした技術とに大きく分類できる。
このモデルをベースした技術としては、例えば、人体の胴体、腕などの各パーツを幾何学的モデルとして表現し、それらの関節角などのパラメータで人物の姿勢を記述したものがある(特許文献1参照)。そして、このモデルをベースした技術は、人体の腕や足などのパーツの細やかな動作を解析することを主眼としている。
Here, human motion recognition by video analysis can be broadly classified into technology based on models and technology based on features.
As a technique based on this model, for example, there is a technique in which each part such as a human torso and arm is expressed as a geometric model, and the posture of the person is described by parameters such as their joint angles (Patent Document 1). reference). The technology based on this model focuses on analyzing the detailed movements of parts such as human arms and legs.
一方、特徴をベースにした技術としては、例えば、2次元動画像を処理対象として画像特徴量から人物領域を判定し、ジェスチャー認識、人物数カウント、移動方向の算出を行うものがある(特許文献2参照)。
また、この技術としては、例えば、人物位置の時系列データから移動ベクトルを求めて、速度や静止回数から人物の行動を認識するものがある(特許文献3参照)。
On the other hand, as a technique based on features, for example, there is a technique for determining a person region from an image feature amount for processing a two-dimensional moving image, and performing gesture recognition, counting the number of people, and calculating a moving direction (Patent Document). 2).
In addition, as this technique, for example, there is a technique that obtains a movement vector from time series data of a person position and recognizes the action of the person from the speed and the number of times of stationary (see Patent Document 3).
ここで、映像解析による人物の動作認識は、映像中から人物領域を切り出し、その人物の輪郭を正確に取得することが前提となる。このとき、従来技術では、背景が平坦で、一人から数人程度の人物が点在するシーンを対象としており、人物毎の領域の切り出しが困難となる、混雑したシーンを対象としたものではない。例えば、前記した特許文献1,2に記載の発明は、一人だけが含まれる映像を対象にしていると考えられる。
Here, human motion recognition by video analysis is based on the premise that a person region is cut out from video and the outline of the person is accurately acquired. At this time, the conventional technique is intended for a scene with a flat background and dotted with about one to several persons, and is not intended for a crowded scene in which it is difficult to cut out an area for each person. . For example, it is considered that the inventions described in
特許文献3に記載の発明は、比較的混雑したシーンを対象としているが、人物の位置測定にRFID(Radio Frequency IDentification)を用いており、必ずしも映像処理のみで人物の行動判定を行っておらず、装置の大規模化やコストアップにつながるという問題がある。
The invention described in
そこで、本発明は、映像処理のみで、混雑したシーンにおいても人物の行動を正確に判定できる人物行動判定装置及びそのプログラムを提供することを目的とする。 Therefore, an object of the present invention is to provide a human behavior determination device and a program thereof that can accurately determine a human behavior even in a crowded scene by only video processing.
本願第1発明に係る人物行動判定装置は、複数のフレーム画像が連続した映像が入力されると共に、映像に含まれる1以上の人物の行動を判定する人物行動判定装置であって、人物領域検出手段と、人物軌跡生成手段と、人物行動判定手段と、を備えることを特徴とする。 The human behavior determination device according to the first invention of the present application is a human behavior determination device that receives a video in which a plurality of frame images are continuous and determines the behavior of one or more persons included in the video, and includes a human region detection. Means, a person trajectory generation means, and a person action determination means.
かかる構成によれば、人物行動判定装置は、人物領域検出手段によって、映像に含まれる1以上の人物領域を所定のフレーム間隔で機械学習により検出する。また、人物行動判定装置は、人物軌跡生成手段によって、人物領域検出手段が検出した人物領域毎に特徴量を算出すると共に、複数のフレーム画像において人物領域の特徴量が類似する人物領域を同一人物の人物領域と判定し、同一人物の人物領域で隣接する重心位置を結んだ人物軌跡動きベクトルを連結して人物軌跡を生成する。つまり、人物行動判定装置は、例えば、連続する2枚のフレーム画像から検出する動きベクトルに比べ、より長い期間(例えば、30フレーム)にわたって人物軌跡を生成する。 According to this configuration, the human behavior determination device detects one or more human regions included in the video by machine learning at predetermined frame intervals by the human region detection unit. In addition, the human behavior determination device calculates a feature amount for each person region detected by the person region detection unit by the person trajectory generation unit, and assigns a person region having a similar person region feature amount in a plurality of frame images to the same person. The person locus is generated by connecting the person locus motion vectors connecting the adjacent centroid positions in the person area of the same person. That is, for example, the human behavior determination apparatus generates a human trajectory over a longer period (for example, 30 frames) than a motion vector detected from two consecutive frame images.
また、人物行動判定装置は、人物行動判定手段によって、人物軌跡生成手段が生成した人物軌跡毎に、フレームレートと人物領域を検出したフレーム間隔と人物軌跡に含まれる重心位置の数との積の逆数である追跡時間、人物軌跡で最も古いフレーム画像における重心位置である初回検出位置、人物軌跡で処理対象のフレーム画像における重心位置である現在検出位置、人物軌跡に含まれる全ての人物軌跡動きベクトルの向きを平均した移動方向、初回検出位置から現在検出位置までを順番に結んだ線の長さを合計した移動距離、人物軌跡に含まれる全ての人物軌跡動きベクトルの大きさを平均した平均速度、隣接する人物軌跡動きベクトルの差分である加速度を平均した平均加速度、及び、初回検出位置及び現在検出位置以外の重心位置から、初回検出位置及び現在検出位置を結ぶ近似直線までの法線の長さを平均した直線性を含めた多次元の特徴量を算出すると共に、人物軌跡の特徴量が予め設定された行動条件を満たすか否かを人物の行動毎に判定し、人物軌跡の特徴量が行動条件を満たすときは、人物が行動条件に対応する行動を行っていると判定する。つまり、人物行動判定装置は、従来の動きベクトルよりも長い期間にわたって求めた人物軌跡に基づいて、人物の行動を判定する。 In addition, the human behavior determination device is configured to calculate, for each human trajectory generated by the human trajectory generation unit, the product of the frame rate, the frame interval at which the human region is detected, and the number of barycentric positions included in the human trajectory. Tracking time that is the reciprocal, initial detection position that is the center of gravity position in the oldest frame image in the human trajectory, current detection position that is the barycentric position in the frame image to be processed in the human trajectory, and all human trajectory motion vectors included in the human trajectory Direction of movement, average moving speed of the total length of lines connecting the first detection position to the current detection position, and average speed of all human trajectory motion vectors included in the human trajectory , Average acceleration that is the average acceleration that is the difference between adjacent human trajectory motion vectors, and the center of gravity position other than the initial detection position and the current detection position , Calculates the feature amount of a multidimensional, including linearity obtained by averaging the lengths of the normals to approximate a straight line connecting the first detected position and the present position detection feature amount of the person locus a preset behavior condition Whether or not it is satisfied is determined for each person's action, and when the feature amount of the person trajectory satisfies the action condition, it is determined that the person is performing an action corresponding to the action condition. In other words, the human behavior determination device determines the human behavior based on the human trajectory obtained over a longer period than the conventional motion vector.
また、本願第2発明に係る人物行動判定装置は、人物領域検出手段が、同一の前記フレーム画像から検出された複数の人物領域について、互いの距離、色ヒストグラム分布の距離又はサイズの差分の何れか一つを代表特徴量として算出すると共に、代表特徴量が予め設定された閾値以下であるときに代表特徴量が類似すると判定し、代表特徴量が類似する人物領域の中で中央側に位置する一つの代表人物領域を人物領域として選択する代表人物領域選択部をさらに備えることを特徴とする。 Further, in the human behavior determination device according to the second invention of the present application, the human area detecting means may select any one of a distance between each other, a color histogram distribution distance, or a size difference for a plurality of human areas detected from the same frame image. Is calculated as a representative feature quantity, and it is determined that the representative feature quantity is similar when the representative feature quantity is equal to or less than a preset threshold, and the representative feature quantity is located at the center side in a similar person area. And a representative person area selecting unit that selects one representative person area as a person area.
ここで、同一のフレーム画像において、同一人物の周辺には類似した画像特徴が存在するため、ある人物の周辺には、複数の人物領域が検出される。また、同一のフレーム画像において、離れた位置にいる別の人物についても、その別の人物の周囲から複数の人物領域が検出される。
かかる構成によれば、人物行動判定装置は、同一のフレーム画像において、同一人物の周囲から複数の人物領域が検出された場合でも、それら人物領域の中で中央側に位置する人物領域を一つ選択する。
Here, in the same frame image, since similar image features exist around the same person, a plurality of person regions are detected around a certain person. In addition, in the same frame image, a plurality of person regions are detected from the periphery of another person who is located at a distant position.
According to such a configuration, the person behavior determination device can detect one person area located on the center side among the person areas even when a plurality of person areas are detected from around the same person in the same frame image. select.
また、本願第3発明に係る人物行動判定装置は、人物軌跡生成手段が生成した人物軌跡から、人物の予測領域を予測フィルタにより予測する人物予測部をさらに備え、人物軌跡生成手段が、予測領域内に人物領域の重心位置が含まれる場合、人物軌跡を生成することを特徴とする。
かかる構成によれば、人物行動判定装置は、オクルージョンにより人物領域が誤検出された場合でも、誤検出された人物領域から人物軌跡を生成してしまう事態を防止できる。
In addition, the human behavior determination device according to the third invention of the present application further includes a human prediction unit that predicts a prediction region of a person using a prediction filter from the human trajectory generated by the human trajectory generation unit, and the human trajectory generation unit includes the prediction region. A human trajectory is generated when the center of gravity of the human area is included in the human trajectory.
According to this configuration, the human behavior determination device can prevent a situation in which a human trajectory is generated from an erroneously detected person area even when the human area is erroneously detected by occlusion.
また、本願第4発明に係る人物行動判定装置は、人物行動判定手段が、人物軌跡の特徴量と人物の行動毎に予め設定された閾値との対応関係が予め設定された行動条件により、人物の行動を判定することを特徴とする。
かかる構成によれば、人物行動判定装置は、簡易な閾値処理で人物の行動を判定できる。
Further, in the human behavior determination device according to the fourth invention of the present application, the human behavior determination means uses a behavior condition in which a correspondence relationship between a feature amount of a human trajectory and a threshold value preset for each human behavior is set in advance. It is characterized by determining the behavior of
According to such a configuration, the human behavior determination device can determine the human behavior by simple threshold processing.
また、本願第5発明に係る人物行動判定装置は、映像を逆方向に再生する指令である逆再生指令が入力されると共に、逆再生指令に基づいて、映像を逆方向に再生した逆再生映像を出力する映像逆再生手段をさらに備え、人物領域検出手段が、逆再生映像を用いて、人物領域を検出し、人物軌跡生成手段が、逆再生映像から生成された人物領域に基づいて、人物軌跡を生成し、人物行動判定手段が、予め設定された検証対象行動を人物が行っていると判定した場合に逆再生指令を出力し、逆再生映像から生成された人物軌跡に基づいて人物の行動を判定し、順方向の映像と逆再生映像との両方で、同一人物で同じ検証対象行動を判定できた場合、人物の行動の判定結果を出力することを特徴とする。
かかる構成によれば、人物行動判定装置は、逆再生映像を用いて判定結果を検証するので、判定結果の正確性をより高くすることができる。
Further, the personal behavior determining apparatus according to the present fifth invention, the reverse reproduction with reverse playback command is a command for reproducing video in the reverse direction is input, based on the reverse play command, and reproduces the video backwards Video reverse playback means for outputting video is further provided, the person area detection means detects the person area using the reverse playback video, and the person trajectory generation means is based on the person area generated from the reverse playback video, A person trajectory is generated, and when the person action determination means determines that the person is performing the preset action to be verified, a reverse playback command is output, and the person based on the person trajectory generated from the reverse playback video is generated. When the same verification target action can be determined by the same person in both the forward video and the reverse playback video, a determination result of the person's action is output .
According to such a configuration, the human behavior determination device verifies the determination result using the reversely reproduced video, so that the accuracy of the determination result can be further increased.
また、本願第6発明に係る人物行動判定プログラムは、複数のフレーム画像が連続した映像が入力されると共に、前記映像に含まれる1以上の人物の行動を判定するために、コンピュータを、人物領域検出手段、人物軌跡生成手段、人物行動判定手段、として機能させることを特徴とする。 In addition, the human behavior determination program according to the sixth aspect of the present invention is configured to input a video in which a plurality of frame images are continuous, and to determine a behavior of one or more persons included in the video, It is made to function as a detection means, a person locus generation means, and a person action determination means.
かかる構成によれば、人物行動判定プログラムは、人物領域検出手段によって、映像に含まれる1以上の人物領域を所定のフレーム間隔で機械学習により検出する。また、人物行動判定プログラムは、人物軌跡生成手段によって、人物領域検出手段が検出した人物領域毎に特徴量を算出すると共に、複数のフレーム画像において人物領域の特徴量が類似する人物領域を同一人物の人物領域と判定し、同一人物の人物領域で隣接する重心位置を結んだ人物軌跡動きベクトルを連結して人物軌跡を生成する。つまり、人物行動判定プログラムは、例えば、連続する2枚のフレーム画像から検出する動きベクトルに比べ、より長い期間にわたって人物軌跡を生成する。 According to this configuration, the human behavior determination program detects one or more human regions included in the video by machine learning at a predetermined frame interval by the human region detection unit. In addition, the human behavior determination program calculates a feature amount for each person area detected by the person region detection unit by the person trajectory generation unit, and assigns a person region having a similar person region feature amount in a plurality of frame images to the same person. The person locus is generated by connecting the person locus motion vectors connecting the adjacent centroid positions in the person area of the same person. That is, for example, the human behavior determination program generates a human trajectory over a longer period than a motion vector detected from two consecutive frame images.
また、人物行動判定プログラムは、人物行動判定手段によって、人物軌跡生成手段が生成した人物軌跡毎に、フレームレートと人物領域を検出したフレーム間隔と人物軌跡に含まれる重心位置の数との積の逆数である追跡時間、人物軌跡で最も古いフレーム画像における重心位置である初回検出位置、人物軌跡で処理対象のフレーム画像における重心位置である現在検出位置、人物軌跡に含まれる全ての人物軌跡動きベクトルの向きを平均した移動方向、初回検出位置から現在検出位置までを順番に結んだ線の長さを合計した移動距離、人物軌跡に含まれる全ての人物軌跡動きベクトルの大きさを平均した平均速度、隣接する人物軌跡動きベクトルの差分である加速度を平均した平均加速度、及び、初回検出位置及び現在検出位置以外の重心位置から、初回検出位置及び現在検出位置を結ぶ近似直線までの法線の長さを平均した直線性を含めた多次元の特徴量を算出すると共に、人物軌跡の特徴量が予め設定された行動条件を満たすか否かを判定し、人物軌跡の特徴量が行動条件を満たすときは、人物が行動条件に対応する行動を行っていると判定する。つまり、人物行動判定プログラムは、従来の動きベクトルよりも長い期間にわたって求めた人物軌跡に基づいて、人物の行動を判定する。 In addition, the human behavior determination program calculates, for each human trajectory generated by the human trajectory generation unit, the product of the frame rate, the frame interval at which the human region is detected, and the number of barycentric positions included in the human trajectory. Tracking time that is the reciprocal, initial detection position that is the center of gravity position in the oldest frame image in the human trajectory, current detection position that is the barycentric position in the frame image to be processed in the human trajectory, and all human trajectory motion vectors included in the human trajectory Direction of movement, average moving speed of the total length of lines connecting the first detection position to the current detection position, and average speed of all human trajectory motion vectors included in the human trajectory , Average acceleration obtained by averaging acceleration that is the difference between adjacent human trajectory motion vectors, and the center of gravity other than the initial detection position and the current detection position Placed al, initial detection position and calculates a feature amount of a multidimensional, including averaged linearity the length of the normal line to approximate a straight line connecting the current position detection action feature quantity of a person trajectory is preset It is determined whether or not the condition is satisfied, and when the feature amount of the person trajectory satisfies the action condition, it is determined that the person is performing an action corresponding to the action condition. In other words, the human behavior determination program determines the human behavior based on the human trajectory obtained over a longer period than the conventional motion vector.
本発明によれば、以下のような優れた効果を奏する。
本願第1,6発明によれば、従来の動きベクトルよりも長い期間にわたって求めた人物軌跡に基づいて人物の行動を判定できるので、映像処理のみで、混雑したシーンにおいても人物の行動を正確に判定できる。従って、本願第1,6発明によれば、低コストで、正確な人物の行動判定技術を提供できる。
According to the present invention, the following excellent effects can be obtained.
According to the first and sixth inventions of the present application, since a person's action can be determined based on a person trajectory obtained over a longer period than the conventional motion vector, the person's action can be accurately determined even in a crowded scene by only video processing. Can be judged. Therefore, according to the first and sixth inventions of the present application, it is possible to provide an accurate human behavior determination technique at low cost.
本願第2発明によれば、同一のフレーム画像において、同一人物の周囲から複数の人物領域が検出された場合でも、それら人物領域の中で中央側に位置する人物領域を一つ選択できる。従って、本願第2発明によれば、正確な人物軌跡を生成し、人物の行動をより正確に判定できる。 According to the second aspect of the present invention, even when a plurality of person areas are detected from the periphery of the same person in the same frame image, one person area located on the center side can be selected from these person areas. Therefore, according to the second invention of the present application, it is possible to generate an accurate person trajectory and more accurately determine the action of the person.
本願第3発明によれば、人物領域が誤検出された場合でも、誤検出された人物領域から人物軌跡を生成してしまう事態を防止できる。従って、本願第3発明によれば、正確な人物軌跡を生成し、人物の行動をより正確に判定できる。 According to the third invention of the present application, even when a person area is erroneously detected, it is possible to prevent a situation in which a person locus is generated from the erroneously detected person area. Therefore, according to the third invention of the present application, it is possible to generate an accurate person trajectory and more accurately determine the action of the person.
本願第4発明によれば、簡易な閾値処理で人物の行動を判定できるので、処理の高速化を図ることができる。
本願第5発明によれば、逆再生映像を用いて判定結果を検証するので、判定結果の正確性をより高くすることができる。
According to the fourth aspect of the present invention, since the action of a person can be determined by simple threshold processing, the processing speed can be increased.
According to the fifth aspect of the present invention, since the determination result is verified using the reverse reproduction video, the accuracy of the determination result can be further increased.
(第1実施形態)
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
(First embodiment)
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate. In each embodiment, means having the same function are denoted by the same reference numerals and description thereof is omitted.
[人物行動判定装置の全体構成]
図1を参照して、本発明の第1実施形態に係る人物行動判定装置1の全体構成について説明する。図1に示すように、人物行動判定装置1は、映像に含まれる1以上の人物の行動を判定するものであり、人物領域検出手段10と、人物軌跡生成手段20と、人物行動判定手段30とを備える。
[Overall configuration of person action determination device]
With reference to FIG. 1, the whole structure of the human
人物行動判定装置1は、例えば、図示を省略した1台の撮影カメラで撮影された映像が入力される。ここで、撮影カメラは、例えば、イベント会場、エレベータ、書店、駅、空港等の混雑する場所に固定される。つまり、撮影カメラが撮影した映像は、2以上の人物が含まれる混雑したシーンとなることが多い。
For example, the human
人物領域検出手段10は、フレーム間差分、背景差分等の差分が生じた変化領域において、HOG(Histograms of Oriented Gradients)特徴量を算出し、サポートベクターマシン等の機械学習により、その変化領域が人物領域であるか否かの判定を行う。また、人物領域検出手段10は、同一人物について複数の人物領域が検出された場合、クラスタリングを行い、一人に一つの人物領域を割り当てる。 The person area detection means 10 calculates HOG (Histograms of Oriented Gradients) feature quantities in a change area where differences such as inter-frame differences and background differences occur, and the change area is determined by machine learning such as a support vector machine. It is determined whether the area. Further, when a plurality of person areas are detected for the same person, the person area detecting means 10 performs clustering and assigns one person area to one person.
人物軌跡生成手段20は、人物領域検出手段10で検出された人物領域を、距離や色ヒストグラムを考慮してマッチングする。そして、人物軌跡生成手段20は、所定のフレーム数にわたって人物領域を追跡することで、人物軌跡を生成する。このとき、人物軌跡生成手段20は、混雑したシーンでも頑健に追跡するために、予測フィルタを用いて人物位置を予測することとした。これによって、人物軌跡生成手段20は、オクルージョンにより追跡ミスが生じた場合でも、人物領域の再出現時に追跡を再開することが可能となる。なお、オクルージョンは、例えば、撮影カメラから見て、奥側に位置する人物が手前側に位置する別の人物等の障害物に隠れてしまう状態を言う。
The person trajectory generation means 20 matches the person area detected by the person area detection means 10 in consideration of the distance and the color histogram. Then, the person
人物行動判定手段30は、人物軌跡生成手段20が生成した人物軌跡から、平均速度、追跡時間、移動方向等の人物軌跡の特徴量を算出する。そして、人物行動判定手段30は、これら人物軌跡の特徴量から、「走る」、「人と会う」、「物を置く」等の人物の行動を判定する。例えば、「走る」ときはフレーム間移動量が大きく、「人と会う」ときは加速度が移動方向の反対側(負方向)に高くなる。
The human
[人物領域検出手段の構成]
以下、図2を参照し、人物領域検出手段10の構成について説明する。図2に示すように、人物領域検出手段10は、人物画像データベース11と、訓練データ特徴量算出部12と、変化領域検出部13と、変化領域特徴量算出部14と、人物領域判定部15と、代表人物領域選択部16とを備える。
[Configuration of Person Area Detection Means]
Hereinafter, the configuration of the person region detecting means 10 will be described with reference to FIG. As shown in FIG. 2, the person area detection means 10 includes a
人物画像データベース11は、事前に人物を切り出した正例の画像と人物以外の負例の画像とを、訓練データとして予め格納する。
ここで、人物領域の検出精度は、人物画像データベース11の訓練データに左右される。このため、人物画像データベース11に格納する正例の画像は、実際に撮影を行う撮影カメラの映像から切り出すことが好ましい。一方、人物画像データベース11は、様々な映像から切り出した正例の画像と負例の画像とを、訓練データとして格納することで、人物行動判定装置1に汎用性を持たせることも可能である。
The
Here, the detection accuracy of the person region depends on the training data in the
図3(a)に示すように、正例の画像は、様々な人種、姿勢、服装、年齢及び性別の人物を切り出した画像である。また、図3(b)に示すように、負例の画像は、例えば、ファクシミリ、パーソナルコンピュータ、携帯電話端末等の電子機器、自動車、オートバイ等の移動手段、靴等の衣料品、及び、動物等の様々な人物以外の物を切り出した画像である。 As shown in FIG. 3A, the positive image is an image obtained by cutting out persons of various races, postures, clothes, ages and genders. Further, as shown in FIG. 3B, negative examples include, for example, electronic devices such as facsimiles, personal computers, and mobile phone terminals, moving means such as automobiles and motorcycles, clothing such as shoes, and animals. It is the image which cut out things other than various persons, such as.
訓練データ特徴量算出部12は、人物画像データベース11を参照し、人物画像データベース11に格納された訓練データの特徴量をそれぞれ算出し、人物領域判定部15に出力する。ここで、訓練データ特徴量算出部12は、訓練データの特徴量として、HOG特徴量を算出する。
The training data feature
<HOG特徴量>
以下、図4を参照して、HOG特徴量について説明する(適宜図2参照)。このHOG特徴量は、画像の局所領域(セル)での輝度の勾配方向をヒストグラム化したものである。この例では、図4(b)に示すように、1セルは、例えば、縦方向に5ピクセル、及び、横方向に5ピクセルで構成される。また、1ブロックは、例えば、縦方向に3セル、及び、横方向に3セルで構成される。
<HOG features>
Hereinafter, the HOG feature amount will be described with reference to FIG. 4 (see FIG. 2 as appropriate). This HOG feature amount is a histogram of the gradient direction of luminance in a local region (cell) of an image. In this example, as shown in FIG. 4B, one cell includes, for example, 5 pixels in the vertical direction and 5 pixels in the horizontal direction. In addition, one block includes, for example, 3 cells in the vertical direction and 3 cells in the horizontal direction.
まず、訓練データ特徴量算出部12は、例えば、図4(a)の画像に含まれる全てのピクセルから、輝度の勾配強度及び輝度の勾配方向を求める。図4(b)のセルでは、各ピクセルにおける輝度の勾配強度及び輝度の勾配強度を矢印で図示した。つまり、図4(b)のセルにおいて、矢印の長さが輝度の勾配強度を示し、矢印の向きが輝度の勾配方向を示す。
First, the training data feature
次に、訓練データ特徴量算出部12は、例えば、図4(c)に示すように、セル毎に、輝度の勾配方向を0°〜180°の間で20°間隔で9方向に区分けして、輝度のヒストグラムを生成する。つまり、このヒストグラムは、縦軸が輝度の勾配強度となり、横軸が輝度の勾配方向となる。
Next, for example, as shown in FIG. 4C, the training data feature
さらに、訓練データ特徴量算出部12は、例えば、セル毎に生成したヒストグラムを、1ブロック単位で正規化する。ここで、訓練データ特徴量算出部12は、例えば、正規化の対象となるブロックを1セルずつ移動させながら、全ブロックに対して正規化を行う。言い換えると、各セルは、異なるブロックで繰り返し正規化されることになる。
Furthermore, the training data feature
なお、訓練データ特徴量算出部12は、HOG特徴量を用いるとして説明したが、これに限定されない。例えば、訓練データ特徴量算出部12は、SIFT(Scale Invariant Feature Transform)特徴量、エッジ特徴量等の任意の特徴量を用いることができる。
In addition, although the training data feature-
以下、図2に戻り、人物領域検出手段10の構成について説明を続ける。
変化領域検出部13は、撮影カメラから映像が入力されると共に、この映像で変化が有る変化領域を求める。具体的には、変化領域検出部13は、例えば、映像から、3フレーム間隔で、フレーム間差分画像、背景差分画像等の差分画像を生成する。
Hereinafter, returning to FIG. 2, the description of the configuration of the person region detecting means 10 will be continued.
The change
例えば、図5(a)に示すように、入力された映像は、動いている人物H1〜H4と、転がっているボールOb1と、背景とを含んでいるとする。この場合、変化領域検出部13は、図5(b)のような背景差分画像を生成する。この背景差分画像は、変化(動き)の無い部分(背景部分)が黒色になっており、変化(動き)が有る部分(人物H1〜H4、及び、ボールOb1)が白色や灰色になっている。そして、変化領域検出部13は、変化が有る部分として、人物H1〜H4の矩形領域やボールOb1の矩形領域を、背景差分画像から検出する。さらに、図5(a)に示すように、変化領域検出部13は、この変化の有る部分と同じ領域を入力された映像から求め、変化領域R1〜R5として変化領域特徴量算出部14に出力する。
For example, as shown in FIG. 5A, it is assumed that the input video includes moving persons H1 to H4, a rolling ball Ob1, and a background. In this case, the change
なお、変化領域検出部13は、3フレーム間隔で差分画像を生成するとして説明したが、これに制限されない。例えば、変化領域検出部13は、1フレーム間隔、2フレーム間隔、又は4以上のフレーム間隔で差分画像を生成できる。
Although the change
以下、図2に戻り、人物領域検出手段10の構成について説明を続ける。
変化領域特徴量算出部14は、変化領域検出部13から変化領域が入力されると共に、この変化領域の特徴量を算出する。このとき、変化領域特徴量算出部14は、訓練データ特徴量算出部12と同じ種類の特徴量(例えば、HOG特徴量)を用いることが好ましい。
Hereinafter, returning to FIG. 2, the description of the configuration of the person region detecting means 10 will be continued.
The change area feature
このように、変化領域特徴量算出部14が、フレーム画像全体からHOG特徴量を算出する場合に比べ、変化領域だけからHOG特徴量を算出するので、処理の高速化を図ることができる。
As described above, since the change region feature
なお、変化領域特徴量算出部14は、HOG特徴量を用いるとして説明したが、これに限定されない。例えば、変化領域特徴量算出部14は、SIFT特徴量、エッジ特徴量等の任意の特徴量を用いることができる。
In addition, although the change area | region feature-
人物領域判定部15は、訓練データ特徴量算出部12から訓練データのHOG特徴量が入力されると共に、このHOG特徴量を用いて機械学習を行う。ここで、人物領域判定部15は、教師ありの機械学習として、サポートベクターマシン(SVM)を用いる。
The person
サポートベクターマシンは、2クラス(例えば、人物のクラス、人物以外のクラス)を認識可能な機械学習である。具体的には、サポートベクターマシンは、訓練データとシナプス荷重との内積が閾値以上なら1を出力し、閾値未満なら−1を出力する識別関数を用いる。このとき、サポートベクターマシンは、訓練データの認識誤りを最小にするため、学習パラメータを、異なるクラスの訓練データの間際ではなく、各訓練データから余裕があるものとして学習する。つまり、サポートベクターマシンは、異なるクラスに属する訓練データ同士のマージンを求め、このマージンが最大となるように学習パラメータを学習する。なお、人物領域判定部15は、サポートベクターマシンによる機械学習を、変化領域特徴量算出部14から変化領域の特徴量が入力される前に行うことが好ましい。
The support vector machine is machine learning capable of recognizing two classes (for example, a person class and a class other than a person). Specifically, the support vector machine uses a discriminant function that outputs 1 if the inner product of the training data and the synaptic load is equal to or greater than a threshold, and outputs -1 if it is less than the threshold. At this time, the support vector machine learns the learning parameters as having a margin from each training data, not just between different classes of training data, in order to minimize the recognition error of the training data. That is, the support vector machine obtains a margin between training data belonging to different classes, and learns learning parameters so that this margin is maximized. Note that the person
その後、人物領域判定部15は、変化領域特徴量算出部14から変化領域のHOG特徴量が入力される。また、人物領域判定部15は、機械学習した学習パラメータを用いて、変化領域のHOG特徴量が人物のクラスであるか否かを判定する。そして、人物領域判定部15は、この変化領域のHOG特徴量が人物のクラスである場合、この変化領域が人物領域であると判定する。この場合、人物領域判定部15は、この変化領域を人物領域として代表人物領域選択部16に出力する。
Thereafter, the person
一方、人物領域判定部15は、この変化領域のHOG特徴量が人物以外のクラスである場合、この変化領域が人物領域でないと判定し、この変化領域を破棄する。なお、人物領域とは、映像において人物を含む矩形状の領域である。
On the other hand, when the HOG feature amount of the change area is a class other than a person, the person
なお、人物領域判定部15がサポートベクターマシンによる機械学習を行うとして説明したが、これに限定されない。ここで、人物領域判定部15は、2クラスを認識可能な機械学習、例えば、決定木又はニューラルネットワークを用いることができる。また、人物領域判定部15が教師あり機械学習を行うとして説明したが、教師なし機械学習を行ってもよい。
In addition, although demonstrated that the person area |
以下、図2に戻り、人物領域検出手段10の構成について説明を続ける。
ここで、人物行動判定装置1は、同一人物については、一つの人物領域のみを検出することが好ましい。しかし、同一のフレーム画像において、同一人物の周辺には類似した画像特徴が存在するため、ある人物の周辺には、複数の人物領域が検出される。また、同一のフレーム画像において、離れた位置にいる別の人物についても、複数の人物領域が検出される。このように、同一のフレーム画像において、同一人物の周囲から複数の人物領域を検出すると、人物行動判定装置1は、人物の行動の判定に不都合を生じてしまう。
Hereinafter, returning to FIG. 2, the description of the configuration of the person region detecting means 10 will be continued.
Here, it is preferable that the person
このため、代表人物領域選択部16は、人物領域判定部15から人物領域が入力されると共に、一枚のフレーム画像において、同一人物に対しては一つの人物領域を選択する。
なお、複数の人物領域から同一人物の人物領域を集約し、集約した人物領域の中から一つの人物領域を選択する処理が、クラスタリングと呼ばれることがある。
For this reason, the representative person
Note that the process of aggregating person areas of the same person from a plurality of person areas and selecting one person area from the aggregated person areas may be called clustering.
以下、図6を参照し、代表人物領域選択部16によるクラスタリングについて、第1例から第3例までを順に説明する。このとき、各例では、図6に示すように、人物H1について4個の人物領域R1〜R4が検出され、人物H2について3個の人物領域R5〜R7が検出され、人物H3について3個の人物領域R8〜R10が検出されたこととする。
Hereinafter, with reference to FIG. 6, clustering by the representative person
<選択の第1例:色ヒストグラム>
この第1例では、代表人物領域選択部16は、代表人物領域を選択する基準となる代表特徴量として、色ヒストグラムを用いる。
<First example of selection: color histogram>
In this first example, the representative person
代表人物領域選択部16は、人物領域R1〜R10のそれぞれについて、色ヒストグラム分布を算出する。また、代表人物領域選択部16は、人物領域R1〜R10の色ヒストグラム分布について、互いの距離を求める。このとき、同一人物であれば、それら色ヒストグラム分布は、類似すると考えられる。従って、代表人物領域選択部16は、色ヒストグラム分布の距離が予め設定された閾値以下となるものを、同一人物の人物領域として集約する。さらに、代表人物領域選択部16は、同一人物の人物領域として集約された人物領域の中から、中央側に位置する代表人物領域を人物領域として選択する。
The representative person
図6の例では、代表人物領域選択部16は、人物H1に対応する人物領域R1〜R4と、人物H2に対応する人物領域R5〜R7と、人物H3に対応する人物領域R8〜R10とに集約する。また、代表人物領域選択部16は、人物領域R1〜R4の中から、中央側に位置する代表人物領域R3を、人物H1の人物領域として選択する。また、代表人物領域選択部16は、人物領域R5〜R7の中から、中央側に位置する代表人物領域R6を、人物H2の人物領域として選択する。さらに、代表人物領域選択部16は、人物領域R8〜R10の中から、中央側に位置する代表人物領域R9を、人物H3の人物領域として選択する。その後、代表人物領域選択部16は、選択した人物領域R3,R6,R9を、図2の人物軌跡生成手段20に出力する。なお、図6では、代表人物領域R3,R6,R9を太線で図示した。
In the example of FIG. 6, the representative person
<第2例:人物領域の距離>
この第2例では、代表人物領域選択部16は、代表人物領域を選択する基準となる代表特徴量として、人物領域の距離を用いる。
<Second example: distance of person area>
In this second example, the representative person
代表人物領域選択部16は、例えば、入力された人物領域R1〜R10において、人物領域の距離として、重心位置の距離を算出する。このとき、同一人物の人物領域R1〜R10は、互いに近い位置で検出されると考えられる。従って、代表人物領域選択部16は、人物領域R1〜R10の距離が予め設定された閾値以下となるものを、同一人物の人物領域として集約する。そして、代表人物領域選択部16は、同一人物として集約された人物領域の中から、中央側に位置する代表人物領域を人物領域として選択し、出力する。
For example, the representative person
図6の例では、人物領域R1〜R4が近くに位置し、人物領域R5〜R7が近くに位置し、人物領域R8〜R10が近くに位置する。従って、代表人物領域選択部16は、人物H1に対応する人物領域R1〜R4と、人物H2に対応する人物領域R5〜R7と、人物H3に対応する人物領域R8〜R10とに集約する。その後、代表人物領域選択部16は、第1例と同様に人物領域R3,R6,R9を選択し、図2の人物軌跡生成手段20に出力する。
In the example of FIG. 6, the person areas R1 to R4 are located nearby, the person areas R5 to R7 are located nearby, and the person areas R8 to R10 are located nearby. Therefore, the representative person
<第3例:人物領域のサイズ>
この第3例では、代表人物領域選択部16は、代表人物領域を選択する基準となる代表特徴量として、人物領域のサイズを用いる。
<Third example: size of person area>
In the third example, the representative person
代表人物領域選択部16は、入力された人物領域R1〜R10のサイズ(例えば、人物領域の高さ又は幅)を算出する。このとき、同一人物の人物領域R1〜R10は、互いに近いサイズで検出されると考えられる。従って、代表人物領域選択部16は、人物領域R1〜R10のサイズの差分が予め設定された閾値以下となるものを、同一人物の人物領域として集約する。そして、代表人物領域選択部16は、同一人物として集約された人物領域の中から、中央側に位置する代表人物領域を人物領域として選択し、出力する。
The representative person
図6の例では、人物領域R1〜R4が近いサイズであり、人物領域R5〜R7が近いサイズであり、人物領域R8〜R10が近いサイズである。従って、代表人物領域選択部16は、人物H1に対応する人物領域R1〜R4と、人物H2に対応する人物領域R5〜R7と、人物H3に対応する人物領域R8〜R10とに集約する。その後、代表人物領域選択部16は、第1例と同様に人物領域R3,R6,R9を選択し、図2の人物軌跡生成手段20に出力する。
In the example of FIG. 6, the person areas R1 to R4 are close in size, the person areas R5 to R7 are close in size, and the person areas R8 to R10 are close in size. Therefore, the representative person
このように、代表人物領域選択部16は、第1例から第3例の何れかを用いて、同一のフレーム画像において、一人の人物に一つの人物領域を割り当てることができる。例えば、オペレータが、第1例から第3例の何れかを用いるか、予め設定する。なお、代表人物領域選択部16は、人物領域が一つだけ入力された場合、クラスタリングを行わずに、その人物領域を人物軌跡生成手段20に出力することが好ましい。
As described above, the representative person
[人物軌跡生成手段の構成]
以下、図7を参照し、人物軌跡生成手段20の構成について、説明する。
人物軌跡生成手段20は、図7に示すように、人物領域特徴量算出部21と、特徴量データベース22と、人物領域特徴量照合部23と、人物軌跡生成部24と、人物予測部25とを備える。
[Configuration of person trajectory generation means]
Hereinafter, the configuration of the human trajectory generation means 20 will be described with reference to FIG.
As shown in FIG. 7, the person
人物領域特徴量算出部21は、人物領域検出手段10(図2参照)から人物領域が入力されると共に、この人物領域の特徴量を算出する。そして、人物領域特徴量算出部21は、算出した人物領域の特徴量を、処理対象のフレーム画像(現在のフレーム画像)における人物領域の特徴量として、人物領域特徴量照合部23に出力する。また、このとき、人物領域特徴量算出部21は、この人物領域の特徴量を、後記する特徴量データベース22に登録する。
The person area feature
ここで、人物領域特徴量算出部21は、HOG特徴量、色ヒストグラム又は人物位置の何れかを、人物領域の特徴量として算出してもよい。ここで、人物領域特徴量算出部21は、人物領域の特徴量として人物位置を用いる場合、例えば、人物領域の重心位置を人物位置とする。
また、人物領域特徴量算出部21は、HOG特徴量と色ヒストグラムとの組み合わせ、HOG特徴量と人物位置との組み合わせ、又は、色ヒストグラムと人物位置との組み合わせの何れかを、人物領域の特徴量として算出してもよい。
さらに、人物領域特徴量算出部21は、HOG特徴量と色ヒストグラムと人物位置との組み合わせを、人物領域の特徴量として算出してもよい。
なお、オペレータが、人物領域の特徴量として、人物行動判定装置1でどれを用いるのか、予め設定する。
Here, the person region feature
In addition, the person region feature
Furthermore, the person area feature
It should be noted that the operator previously sets which character
特徴量データベース22は、人物領域特徴量算出部21で算出された人物領域の特徴量を格納する。言い換えると、特徴量データベース22は、過去のフレーム画像で検出された人物領域について、その特徴量を格納する。
The
人物領域特徴量照合部23は、特徴量データベース22を参照し、過去のフレーム画像における人物領域の特徴量を読み出す。また、人物領域特徴量照合部23は、人物領域特徴量算出部21から、処理対象のフレーム画像における人物領域の特徴量が入力される。さらに、人物領域特徴量照合部23は、後記する人物予測部25から人物の予測位置と予測領域とが入力される。
The person region feature amount matching unit 23 refers to the
そして、人物領域特徴量照合部23は、処理対象のフレーム画像における人物領域の特徴量と、過去のフレーム画像における人物領域の特徴量とを照合し、これら人物領域の特徴量が類似しているか否かを判定する。以下、人物領域特徴量照合部23による人物領域の特徴量の照合について、第1例から第5例までを順に説明する。 Then, the person region feature amount matching unit 23 compares the feature amount of the person region in the frame image to be processed with the feature amount of the person region in the past frame image, and whether the feature amounts of these person regions are similar. Determine whether or not. Hereinafter, the first to fifth examples will be sequentially described with respect to the matching of the human region feature amount by the human region feature amount matching unit 23.
<第1例:色ヒストグラム>
以下、図8を参照し、人物領域特徴量照合部23による人物領域の特徴量の照合の第1例について、説明する(適宜図7参照)。この第1例では、人物領域特徴量照合部23は、人物領域の特徴量として、色ヒストグラムを用いる。
<First example: color histogram>
Hereinafter, a first example of human area feature amount matching performed by the person region feature amount matching unit 23 will be described with reference to FIG. 8 (see FIG. 7 as appropriate). In this first example, the person region feature amount matching unit 23 uses a color histogram as the feature amount of the person region.
図8では、左側の色ヒストグラムが、処理対象のフレーム画像における人物領域の色ヒストグラムである。また、図8では、右側の色ヒストグラムが、過去のフレーム画像における人物領域の色ヒストグラムである。なお、図8では、色ヒストグラムとして赤−青色領域を図示したが、本発明では、色ヒストグラムに他の色を含めてもよい。 In FIG. 8, the color histogram on the left side is a color histogram of the person region in the frame image to be processed. In FIG. 8, the color histogram on the right side is the color histogram of the person region in the past frame image. In FIG. 8, the red-blue region is illustrated as the color histogram, but in the present invention, other colors may be included in the color histogram.
別の人物の場合、図8(a)に示すように、処理対象のフレーム画像における人物領域の色ヒストグラムと、過去のフレーム画像における人物領域の色ヒストグラムとは、大きく異なる。一方、同一人物の場合、図8(b)に示すように、処理対象のフレーム画像における人物領域の色ヒストグラムと、過去のフレーム画像における人物領域の色ヒストグラムとは、類似する。 In the case of another person, as shown in FIG. 8A, the color histogram of the person area in the frame image to be processed is greatly different from the color histogram of the person area in the past frame image. On the other hand, in the case of the same person, as shown in FIG. 8B, the color histogram of the person area in the frame image to be processed is similar to the color histogram of the person area in the past frame image.
従って、人物領域特徴量照合部23は、下記の式(1)により、処理対象のフレーム画像における人物領域の色ヒストグラムの分布pと、過去のフレーム画像における人物領域の色ヒストグラムの分布qとの間の距離BC(p,q)を求める。そして、人物領域特徴量照合部23は、式(1)で算出した距離BC(p,q)が、予め設定した閾値以下の場合、色ヒストグラムが類似すると判定する。一方、人物領域特徴量照合部23は、この距離BC(p,q)が、予め設定した閾値を超えれば、色ヒストグラムが類似しないと判定する。ここでは、人物領域特徴量照合部23は、距離BC(p,q)として、Bhattacharyya距離を用いる。 Accordingly, the person area feature amount matching unit 23 calculates the distribution h of the color histogram of the person area in the frame image to be processed and the distribution q of the color histogram of the person area in the past frame image by the following equation (1). A distance BC (p, q) is obtained. The person region feature amount matching unit 23 determines that the color histograms are similar when the distance BC (p, q) calculated by the equation (1) is equal to or less than a preset threshold value. On the other hand, the person region feature amount matching unit 23 determines that the color histograms are not similar if the distance BC (p, q) exceeds a preset threshold value. Here, the person region feature amount matching unit 23 uses the Bhattacharya distance as the distance BC (p, q).
また、人物領域特徴量照合部23は、人物領域を一意に識別する人物領域IDを格納した人物領域IDリストを有する。そして、人物領域特徴量照合部23は、人物領域IDリストを参照し、色ヒストグラムが類似する場合(同一人物の場合)、過去のフレーム画像でその人物領域に付与した人物領域IDを、処理対象のフレーム画像で検出された人物領域に付与する。つまり、同一人物の人物領域は、過去のフレーム画像と処理対象のフレーム画像との間で、同一の人物領域IDを有する。 The person area feature amount matching unit 23 has a person area ID list that stores person area IDs that uniquely identify the person area. Then, the person area feature amount matching unit 23 refers to the person area ID list, and when the color histograms are similar (in the case of the same person), the person area ID assigned to the person area in the past frame image is processed. To the person area detected in the frame image. That is, the person area of the same person has the same person area ID between the past frame image and the frame image to be processed.
一方、色ヒストグラムが類似しない場合(別の人物の場合)、人物領域特徴量照合部23は、人物領域IDリストに登録されていない新たな人物領域IDを、処理対象のフレーム画像で検出された人物領域に付与する。この場合、人物領域特徴量照合部23は、新たに付与した人物領域IDを人物領域IDリストに登録する。その後、人物領域特徴量照合部23は、人物領域IDが付与された人物領域を人物軌跡生成部24に出力する。
On the other hand, if the color histograms are not similar (in the case of another person), the person area feature amount matching unit 23 has detected a new person area ID that is not registered in the person area ID list in the processing target frame image. It is given to the person area. In this case, the person area feature amount matching unit 23 registers the newly assigned person area ID in the person area ID list. Thereafter, the person area feature amount matching unit 23 outputs the person area to which the person area ID is assigned to the person
<第2例:人物位置>
以下、人物領域特徴量照合部23による人物領域の特徴量の照合の第2例について、説明する。この第2例では、人物領域特徴量照合部23は、人物領域の特徴量として、人物位置を用いる。
<Second example: person position>
Hereinafter, a second example of human region feature amount matching performed by the person region feature amount matching unit 23 will be described. In the second example, the person area feature amount matching unit 23 uses the person position as the feature amount of the person area.
人物領域特徴量照合部23は、処理対象のフレーム画像における人物位置と、過去のフレーム画像を用いて予測した人物位置との距離を求める。ここで、処理対象のフレーム画像における人物位置は、人物領域特徴量算出部21から入力される人物位置である。また、過去のフレーム画像を用いて予測した人物位置は、人物予測部25から入力される予測位置である。
The person region feature amount matching unit 23 obtains the distance between the person position in the frame image to be processed and the person position predicted using the past frame image. Here, the person position in the frame image to be processed is the person position input from the person region feature
そして、人物領域特徴量照合部23は、この距離が予め設定した閾値以内であれば、人物位置が類似すると判定する。一方、人物領域特徴量照合部23は、この距離が予め設定した閾値を超えれば、人物位置が類似しないと判定する。その後、人物領域特徴量照合部23は、前記した第1例と同様に、人物領域IDリストを参照して、人物領域に人物領域IDを付与し、人物軌跡生成部24に出力する。
Then, the person region feature amount matching unit 23 determines that the person positions are similar if the distance is within a preset threshold. On the other hand, the person area feature amount matching unit 23 determines that the person positions are not similar if the distance exceeds a preset threshold value. Thereafter, as in the first example described above, the person area feature amount matching unit 23 refers to the person area ID list, assigns a person area ID to the person area, and outputs the person area ID to the person
このとき、人物領域特徴量照合部23は、処理対象のフレーム画像における人物位置が、予測領域内に含まれる場合だけ、人物領域を人物軌跡生成部24に出力することが好ましい。言い換えると、人物領域特徴量照合部23は、処理対象のフレーム画像における人物位置が、予測領域内に含まれない場合、人物領域の誤検出として照合処理をスキップする。これによって、人物行動判定装置1は、誤検出した人物領域から、人物軌跡を生成してしまう事態を防止できる。
At this time, it is preferable that the person area feature amount matching unit 23 outputs the person area to the person
<第3例:HOG特徴量>
以下、人物領域特徴量照合部23による人物領域の特徴量の照合の第3例について、説明する。この第3例では、人物領域特徴量照合部23は、人物領域の特徴量として、HOG特徴量を用いる。
<Third example: HOG feature amount>
Hereinafter, a third example of human area feature amount matching performed by the person region feature amount matching unit 23 will be described. In the third example, the person region feature amount matching unit 23 uses a HOG feature amount as the feature amount of the person region.
人物領域特徴量照合部23は、処理対象のフレーム画像におけるHOG特徴量と、過去のフレーム画像におけるHOG特徴量との距離を、HOG特徴量の次元毎に算出する。そして、人物領域特徴量照合部23は、この次元毎の距離の総和を算出し、算出した総和が予め設定した閾値以下であれば、HOG特徴量が類似すると判定する。一方、人物領域特徴量照合部23は、この総和が予め設定した閾値を超えれば、HOG特徴量が類似しないと判定する。その後、人物領域特徴量照合部23は、前記した第1例と同様に、人物領域IDリストを参照して、人物領域毎に人物領域IDを付与し、人物軌跡生成部24に出力する。
The person region feature amount matching unit 23 calculates the distance between the HOG feature amount in the processing target frame image and the HOG feature amount in the past frame image for each dimension of the HOG feature amount. Then, the person region feature amount matching unit 23 calculates the sum of distances for each dimension, and determines that the HOG feature amounts are similar if the calculated sum is equal to or less than a preset threshold value. On the other hand, the person area feature amount matching unit 23 determines that the HOG feature amounts are not similar if the sum exceeds a preset threshold value. Thereafter, as in the first example described above, the person area feature amount matching unit 23 refers to the person area ID list, assigns a person area ID to each person area, and outputs the person area ID to the person
<第4例:類似度>
以下、人物領域特徴量照合部23による人物領域の特徴量の照合の第4例について、説明する。この第4例では、人物領域特徴量照合部23は、人物領域の特徴量として、色ヒストグラムと、人物位置と、HOG特徴量とを組み合わせた類似度を用いる。
<Fourth example: Similarity>
Hereinafter, a fourth example of collation of human region feature amounts by the human region feature amount collation unit 23 will be described. In the fourth example, the person region feature amount matching unit 23 uses a similarity obtained by combining a color histogram, a person position, and a HOG feature amount as the feature amount of the person region.
この場合、人物領域特徴量照合部23は、人物位置と、色ヒストグラムと、HOG特徴量とにそれぞれ重みを乗算し、これらを加算して類似度を算出する。そして、人物領域特徴量照合部23は、算出した類似度が予め設定した閾値以下であれば、類似すると判定する。一方、人物領域特徴量照合部23は、この類似度が予め設定した閾値を超えれば、類似しないと判定する。その後、人物領域特徴量照合部23は、前記した第1例と同様に、人物領域IDリストを参照して、人物領域毎に人物領域IDを付与し、人物軌跡生成部24に出力する。
In this case, the person region feature quantity matching unit 23 multiplies the person position, the color histogram, and the HOG feature quantity by weights, and adds these to calculate the similarity. Then, the person region feature amount matching unit 23 determines that the similarity is similar if the calculated similarity is equal to or less than a preset threshold value. On the other hand, the person region feature amount matching unit 23 determines that they are not similar if the similarity exceeds a preset threshold. Thereafter, as in the first example described above, the person area feature amount matching unit 23 refers to the person area ID list, assigns a person area ID to each person area, and outputs the person area ID to the person
具体的に、人物領域特徴量照合部23は、下記の式(2)を用いて、類似度を算出する。なお、人物位置、色ヒストグラム及びHOG特徴量は、前記した第1例〜第3例と同様に算出できるので、説明を省略する。 Specifically, the person region feature amount matching unit 23 calculates the similarity using the following equation (2). Since the person position, color histogram, and HOG feature amount can be calculated in the same manner as in the first to third examples described above, description thereof is omitted.
なお、式(2)では、Simが類似度であり、αが人物位置の重みであり、Locが人物位置である。また、式(2)では、βが色ヒストグラムの重みであり、Hisが色ヒストグラムである。さらに、式(2)では、γがHOG特徴量の重みであり、HogがHOG特徴量である。 In Equation (2), Sim is the similarity, α is the weight of the person position, and Loc is the person position. In Equation (2), β is the weight of the color histogram, and His is the color histogram. Furthermore, in Expression (2), γ is the weight of the HOG feature value, and Hog is the HOG feature value.
また、式(2)では、3個の重みα,β,γは、予め設定される。さらに、式(2)では、人物位置、色ヒストグラム及びHOG特徴量のうち、類似度の算出に用いないものは、その重みをゼロに設定する。 In the formula (2), the three weights α, β, and γ are set in advance. Further, in the expression (2), the weight of the person position, the color histogram, and the HOG feature value that is not used for calculating the similarity is set to zero.
ここで、人物位置、色ヒストグラム及びHOG特徴量は、単位が異なることから、標準化される。具体的には、人物領域特徴量照合部23は、各特徴量(人物位置、色ヒストグラム及びHOG特徴量)について、平均をゼロとし、分散を1とするように、下記の式(3)により、標準化を行う。これによって、人物領域特徴量照合部23は、単位の相違による影響を排除できる。なお、式(3)では、Xが元の特徴量、μがXの平均、σがXの分散、Zが標準化された特徴量を表す。 Here, the person position, the color histogram, and the HOG feature amount are standardized because the units are different. Specifically, the person area feature amount matching unit 23 uses the following equation (3) so that the average is zero and the variance is one for each feature amount (person position, color histogram, and HOG feature amount). , Standardize. Accordingly, the person region feature amount matching unit 23 can eliminate the influence due to the difference in units. In Expression (3), X represents the original feature value, μ represents the average of X, σ represents the variance of X, and Z represents the standardized feature value.
<第5例:閾値判定の組み合わせ>
以下、人物領域特徴量照合部23による人物領域の特徴量の照合の第5例について、説明する。この第5例では、人物領域特徴量照合部23は、第1例の色ヒストグラムと、第2例の人物位置と、第3例のHOG特徴量とをそれぞれ算出する。そして、人物領域特徴量照合部23は、色ヒストグラムと人物位置とHOG特徴量との何れか一つでも、それぞれの閾値を超えた場合、類似しないと判定する。一方、人物領域特徴量照合部23は、色ヒストグラムと、人物位置と、HOG特徴量との全てが、それぞれの閾値以下の場合、類似すると判定する。その後、人物領域特徴量照合部23は、前記した第1例と同様に、人物領域IDリストを参照して、人物領域毎に人物領域IDを付与し、人物軌跡生成部24に出力する。
<Fifth example: Combination of threshold determination>
In the following, a fifth example of person area feature amount matching by the person area feature amount matching unit 23 will be described. In this fifth example, the person region feature amount matching unit 23 calculates the color histogram of the first example, the person position of the second example, and the HOG feature amount of the third example. Then, the person region feature amount matching unit 23 determines that they are not similar if any one of the color histogram, the person position, and the HOG feature amount exceeds the respective threshold values. On the other hand, the person region feature amount matching unit 23 determines that the color histogram, the person position, and the HOG feature amount are similar if they are all equal to or less than the respective threshold values. Thereafter, as in the first example described above, the person area feature amount matching unit 23 refers to the person area ID list, assigns a person area ID to each person area, and outputs the person area ID to the person
このように、人物領域特徴量照合部23は、第1例から第5例までの何れか一つを用いて、代表人物領域を選択できる。この場合、例えば、オペレータが、第1例から第5例の何れかを用いるか予め設定する。 As described above, the person area feature amount matching unit 23 can select the representative person area using any one of the first to fifth examples. In this case, for example, the operator sets in advance whether to use any of the first to fifth examples.
図7に戻り、人物軌跡生成手段20の構成について説明を続ける。
人物軌跡生成部24は、人物領域特徴量照合部23から人物領域IDが付与された人物領域が入力される。そして、人物軌跡生成部24は、過去のフレーム画像と処理対象のフレーム画像との間で、人物領域の重心位置を求め、同一の人物領域IDが付与された人物領域の重心位置を連結して人物軌跡を生成する。
Returning to FIG. 7, the description of the configuration of the human
The person
以下、図9を参照し、人物軌跡の詳細について説明する(適宜図7参照)。図9では、♯1〜♯9がフレーム画像の番号を古い順に示しており、#1が最も過去のフレーム画像に対応し、#9が処理対象のフレーム画像(現在のフレーム画像)に対応する。また、符号R1〜R9が、それぞれのフレーム画像で検出された同一人物の人物領域を示す。さらに、符号P1〜P9が、人物領域R1〜R9の重心位置を示す。なお、図9では、説明を簡易にするため、一部符号のみを図示した。また、図9(b)の破線については、後記する。 Hereinafter, the details of the person trajectory will be described with reference to FIG. 9 (see FIG. 7 as appropriate). In FIG. 9, # 1 to # 9 indicate the frame image numbers in order from the oldest, # 1 corresponds to the oldest frame image, and # 9 corresponds to the frame image to be processed (current frame image). . Reference numerals R1 to R9 indicate person regions of the same person detected in the respective frame images. Furthermore, the symbols P1 to P9 indicate the gravity center positions of the person regions R1 to R9. In FIG. 9, only a part of the reference numerals are shown for the sake of simplicity. The broken line in FIG. 9B will be described later.
図9(a)に示すように、人物軌跡生成部24は、過去のフレーム画像(♯1〜♯8)で検出された人物領域R1〜R8について、それぞれの重心位置P1〜P8を求める。また、人物軌跡生成部24は、処理対象のフレーム画像(#9)で検出された人物領域R9から、その重心位置P9を求める。そして、人物軌跡生成部24は、これら重心位置P1〜P9を連結し、図9(b)に示すような人物軌跡を生成する。その後、人物軌跡生成部24は、この人物軌跡を人物予測部25と人物行動判定手段30(図11参照)とに出力する。
As shown in FIG. 9A, the person
ここで、人物軌跡は、隣接する重心位置P1〜P2・・・P8〜P9を結んだ線分のそれぞれが、その人物の動きベクトルに相当する。図9(b)の例では、人物軌跡には、8個の人物軌跡動きベクトルV1〜V8が含まれる。以下、人物軌跡に含まれる動きベクトルを人物軌跡動きベクトルと略記する。 Here, in the human trajectory, each of the line segments connecting adjacent gravity center positions P1 to P2... P8 to P9 corresponds to the motion vector of the person. In the example of FIG. 9B, the human trajectory includes eight human trajectory motion vectors V1 to V8. Hereinafter, the motion vector included in the person trajectory is abbreviated as a person trajectory motion vector.
なお、図9では、一人分の人物軌跡を図示したが、映像に複数の人物が含まれる場合、人物軌跡生成部24は、人物毎に人物軌跡を生成することが好ましい。
また、人物軌跡生成部24は、ある人物の人物領域を最初に検出してから、予め設定されたフレーム数(例えば、30フレーム)を超えたときに、その人物について、人物軌跡の生成を終了してもよい。
また、人物軌跡生成部24は、ある人物の人物領域を最初に検出した場合、人物軌跡の代わりに人物領域の重心位置を人物の現在位置として人物予測部25に出力する。
Although FIG. 9 illustrates a person trajectory for one person, when a plurality of persons are included in the video, the person
In addition, the person
Further, when the person
以下、図10を参照し、人物予測部25の詳細について説明する(適宜図7参照)。なお、図10では、人物の予測位置を符号Ybで図示した。
人物予測部25は、人物軌跡生成部24から人物軌跡が入力されると共に、この人物軌跡から、人物の予測領域Ya及び予測位置Ybを予測フィルタにより予測する。ここで、人物予測部25は、カルマンフィルタ、パーティクルフィルタ等の予測フィルタを用いる。
Hereinafter, the details of the
The
カルマンフィルタは、複数の観測位置(図9の重心位置P1〜P9)から、予測領域Ya及び予測位置Ybを予測する。具体的には、カルマンフィルタは、予測位置Ybと観測位置との誤差からカルマンゲインを算出し、その大きさに従って、補正量を調整する。また、カルマンフィルタにおいて、誤差共分散は、誤差量に加えて、各フレーム画像での人物領域の検出状況に応じて変化する。 The Kalman filter predicts the prediction region Ya and the prediction position Yb from a plurality of observation positions (centroid positions P1 to P9 in FIG. 9). Specifically, the Kalman filter calculates the Kalman gain from the error between the predicted position Yb and the observation position, and adjusts the correction amount according to the magnitude. In the Kalman filter, the error covariance changes in accordance with the detection state of the person area in each frame image in addition to the error amount.
図10(a)に示すように、カルマンフィルタは、人物領域の検出が成功した場合、予測領域Yaを縮小する。一方、図10(b)に示すように、カルマンフィルタは、誤差量が大きい場合や人物領域の検出が不安定な場合、予測領域Yaを拡大する。そして、人物予測部25は、カルマンフィルタで予測した予測領域Ya及び予測位置Ybを人物領域特徴量照合部23に出力する。
As shown in FIG. 10A, the Kalman filter reduces the prediction area Ya when the person area is successfully detected. On the other hand, as shown in FIG. 10B, the Kalman filter enlarges the prediction area Ya when the amount of error is large or when the detection of the person area is unstable. Then, the
このように、カルマンフィルタは、オクルージョンにより人物領域の検出に失敗した場合でも、事前に指定した運動モデルに従って、予測位置及び予測領域を更新できる。このため、人物行動判定装置1は、オクルージョンを越えた時点で同一人物の人物領域を再検出でき、信頼性が向上する。
As described above, the Kalman filter can update the predicted position and the predicted region according to the motion model specified in advance even when the detection of the human region fails due to occlusion. For this reason, the person
なお、人物予測部25は、人物軌跡生成部24から人物の現在位置が入力された場合、予測領域Ya及び予測位置Ybを予測できない。このため、人物予測部25は、この現在位置を予測位置Ybとして、人物領域特徴量照合部23に出力する。
Note that the
[人物行動判定手段の構成]
以下、図11を参照し、人物行動判定手段30の構成について、説明する。
人物行動判定手段30は、図11に示すように、人物軌跡特徴量算出部31と、人物軌跡特徴量正規化部32と、行動判定部33とを備える。
[Configuration of person action determination means]
Hereinafter, the configuration of the person
As shown in FIG. 11, the human
人物軌跡特徴量算出部31は、人物軌跡生成手段20から人物軌跡が入力されると共に、それぞれの人物軌跡毎に特徴量を算出する。ここで、人物軌跡特徴量算出部31は、追跡時間、初回検出位置、現在検出位置、移動方向、移動距離、平均速度、平均加速度、及び、直線性を含めた多次元の特徴量として、人物軌跡の特徴量を算出する。
The person trajectory feature
図9に戻り、人物軌跡の特徴量の算出の具体例について、説明する(適宜図11参照)。このとき、人物軌跡特徴量算出部31には、図9(b)の人物軌跡が入力されたこととする。 Returning to FIG. 9, a specific example of the calculation of the feature amount of the human trajectory will be described (see FIG. 11 as appropriate). At this time, it is assumed that the person trajectory shown in FIG.
<第1例:追跡時間>
人物軌跡特徴量算出部31は、下記の式(4)より、追跡時間を算出できる。
<First example: tracking time>
The person trajectory feature
追跡時間=1/フレームレート×フレーム間隔×重心位置の数・・・式(4) Tracking time = 1 / frame rate x frame interval x number of barycentric positions Equation (4)
例えば、人物軌跡に9個の重心位置P1〜P9が含まれ、映像のフレームレートが30であり、3フレーム間隔で人物領域を検出した場合を考える。この場合、人物軌跡特徴量算出部31は、式(5)に示すように、追跡時間0.9秒を算出する。
For example, consider a case where nine gravity center positions P1 to P9 are included in a person trajectory, the frame rate of the video is 30, and a person region is detected at intervals of three frames. In this case, the human trajectory feature
0.9=1/30×3×9・・・式(5) 0.9 = 1/30 × 3 × 9 Expression (5)
<第2例:初回検出位置>
人物軌跡特徴量算出部31は、最も古いフレーム画像#1における重心位置P1を初回検出位置として算出する。
<Second example: first detection position>
The person trajectory feature
<第3例:現在検出位置>
人物軌跡特徴量算出部31は、処理対象のフレーム画像#9における重心位置P9を現在検出位置として算出する。
<Third example: current detection position>
The person trajectory feature
<第4例:移動方向>
人物軌跡特徴量算出部31は、全ての人物軌跡動きベクトルV1〜V8の向きを平均して、移動方向を算出する。
<Fourth example: moving direction>
The human trajectory feature
<第5例:移動距離>
人物軌跡特徴量算出部31は、初回検出位置(重心位置P1)から現在検出位置(P9)までを順番に結んだ線の長さを合計し、移動距離を算出する。
<Fifth example: moving distance>
The person trajectory feature
<第6例:平均速度>
人物軌跡特徴量算出部31は、全ての人物軌跡動きベクトルV1〜V8の大きさを平均し、平均速度を算出する。
<Sixth example: average speed>
The human trajectory feature
<第7例:平均加速度>
人物軌跡特徴量算出部31は、個々のフレーム#1〜#9について、隣接する人物軌跡動きベクトルV1〜V8の差分を求める。例えば、人物軌跡特徴量算出部31は、フレーム#4の加速度として、人物軌跡動きベクトルV5と人物軌跡動きベクトルV4との差分を求める。そして、人物軌跡特徴量算出部31は、全てのフレーム#1〜#9の加速度を平均する。
<Seventh example: average acceleration>
The human trajectory feature
<第8例:直線性>
人物軌跡特徴量算出部31は、初回検出位置(重心位置P1)から現在検出位置(P9)までを結ぶ近似直線を求める。そして、人物軌跡特徴量算出部31は、初回検出位置及び現在検出位置以外の各検出位置(重心位置P2〜P8)から、近似直線までの法線を求める。さらに、人物軌跡特徴量算出部31は、全ての法線の長さの平均値を算出し、この平均値を直線性とする。なお、図9(b)では、近似直線、および、重心位置P2から近似直線までの法線を破線で図示した。
<Eighth example: linearity>
The person trajectory feature
その後、人物軌跡特徴量算出部31は、算出した人物軌跡の特徴量を人物軌跡特徴量正規化部32に出力する。なお、人物軌跡特徴量算出部31は、人物軌跡の特徴量として、追跡時間、初回検出位置、現在検出位置、移動方向、移動距離、平均速度、平均加速度、及び、直線性の全てを算出せずに、後記する行動判定部33で用いるものだけを算出してもよい。
Thereafter, the person trajectory feature
以下、図12を参照し、人物軌跡特徴量正規化部32による正規化を、準備段階と正規化段階とに分けて説明する(適宜図11参照)。
Hereinafter, with reference to FIG. 12, the normalization by the human trajectory feature
2次元画像座標内での検出位置により、画素を単位としたフレーム画像間の移動距離が異なる。例えば、撮影カメラが斜め上から人物を見下ろすように設置されている場合を考える。この場合、人物が等速で移動しているとしても、その撮影カメラで撮影された映像では、手前側で人物軌跡動きベクトルが大きくなり、奥側では人物軌跡動きベクトルが小さくなる。そこで、人物軌跡特徴量正規化部32は、検出位置の相違による人物軌跡動きベクトルの誤差(つまり、速度の誤差)を補正する。
Depending on the detection position in the two-dimensional image coordinates, the moving distance between frame images in units of pixels differs. For example, let us consider a case where a photographing camera is installed so as to look down at a person from above. In this case, even if the person is moving at a constant speed, in the video shot by the photographing camera, the person trajectory motion vector is large on the near side and the person trajectory motion vector is small on the far side. Accordingly, the human trajectory feature
<準備段階>
まず、撮影カメラで一定時間(例えば、2時間程度)の正規化用映像を予め撮影しておき、この正規化用映像を人物軌跡特徴量正規化部32に入力する。そして、人物軌跡特徴量正規化部32は、図12(a)に示すように、この正規化用映像を所定数のブロック(例えば、縦3ブロック、横4ブロック)に分割する。また、人物軌跡特徴量正規化部32は、正規化用映像の開始から終了まで、ブロック毎に、このブロックから動きベクトルを検出する。そして、人物軌跡特徴量正規化部32は、ブロック毎に、検出された全ての動きベクトルを平均し、平均動きベクトルを算出する。
<Preparation stage>
First, a normalization video for a predetermined time (for example, about 2 hours) is captured in advance by the imaging camera, and this normalization video is input to the person trajectory feature
図12(a)では、ブロック毎に、平均動きベクトルを矢印で図示した。つまり、この矢印の大きさが平均動きベクトルの大きさであり、この矢印の向きが平均動きベクトルの向きである。図12(a)に示すように、撮影カメラの手前側(図12の下側)で平均動きベクトルが大きくなり、撮影カメラの奥側(図12の上側)では平均動きベクトルが小さくなる。 In FIG. 12A, the average motion vector is indicated by an arrow for each block. That is, the size of this arrow is the size of the average motion vector, and the direction of this arrow is the direction of the average motion vector. As shown in FIG. 12A, the average motion vector increases on the front side of the photographing camera (lower side in FIG. 12), and the average motion vector decreases on the far side of the photographing camera (upper side in FIG. 12).
そして、人物軌跡特徴量正規化部32は、これらブロックの間で平均動きベクトルが等しくなるように、ブロック毎に正規化係数を算出する。例えば、図12(b)に示すように、撮影カメラの手前側で平均動きベクトルが大きくなることから、人物軌跡特徴量正規化部32は、下段のブロックでは、例えば、0.6〜0.7といった1未満の正規化係数を算出する。一方、撮影カメラの奥側で平均動きベクトルが小さくなることから、人物軌跡特徴量正規化部32は、上段のブロックでは、例えば、1.2〜1.5といった1を超える正規化係数を算出する。さらに、中段のブロックでは、人物軌跡特徴量正規化部32は、1近辺の正規化係数を算出する。
Then, the human trajectory feature
なお、正規化を正確に行うために、正規化用映像と人物領域を検出する映像とは、同一の撮影カメラを用いて、同一の場所で撮影することが好ましい。 In order to perform normalization accurately, it is preferable that the normalization video and the video for detecting the person area are shot at the same place using the same shooting camera.
<正規化段階>
人物軌跡特徴量正規化部32は、人物軌跡特徴量算出部31から人物軌跡の特徴量が入力されると共に、人物軌跡の特徴量を正規化する。まず、人物軌跡特徴量正規化部32は、人物軌跡動きベクトルが検出された位置(例えば、人物軌跡動きベクトルの始点又は終点)から、その動きベクトルがどのブロックに含まれるかを求める。そして、人物軌跡特徴量正規化部32は、人物軌跡動きベクトルの大きさに、その人物軌跡動きベクトルに対応するブロックの正規化係数を乗算する。さらに、人物軌跡特徴量正規化部32は、正規化した人物軌跡の特徴量を行動判定部33に出力する。
<Normalization stage>
The human trajectory feature
なお、この正規化は、検出位置の相違による人物軌跡動きベクトルの大きさ、つまり、速度に関係する特徴量を補正するものである。このため、人物軌跡特徴量正規化部32は、速度に関係ない特徴量、例えば、初回検出位置、現在検出位置、及び、移動方向については、正規化しなくともよい。
This normalization is to correct the size of the human locus motion vector due to the difference in detection position, that is, the feature quantity related to the speed. For this reason, the human trajectory feature
図11に戻り、人物行動判定手段30の構成について、説明を続ける。
行動判定部33は、人物軌跡特徴量正規化部32から人物軌跡の特徴量が入力されると共に、この人物軌跡の特徴量に基づいて、人物の行動を判定する。なお、行動判定部33は、単純な閾値処理によるルールベースの判定を行うとして説明するが、機械学習に基づく判定を行ってもよい。
Returning to FIG. 11, the description of the configuration of the human
The
また、行動判定部33は、人物軌跡の特徴量から、人物の行動を個別に判定するため、行動の種類毎に判定部を備える。図11の例では、行動判定部33は、走る判定部33aと、人と会う判定部33bと、反対方向に歩く判定部33cとを備える。以下、人物行動の判定の第1例〜第3例を順に説明する。
In addition, the
<第1例:「走る」>
走る判定部33aは、人物軌跡の特徴量が「走る」の行動条件を満たすか否かを判定する。そして、走る判定部33aは、この行動条件を満たすときは、人物の行動を「走る」と判定する。その後、走る判定部33aは、「走る」を判定結果として出力する。一方、走る判定部33aは、この行動条件を満たさないときは、人物の行動を「走る」と判定せずに、何も出力しない。ここで、「走る」の行動条件は、例えば、以下のように設定される。
<First example: “Run”>
The running
<<「走る」の行動条件>>
平均速度 > 平均速度の閾値 AND
直線性 > 直線性の閾値 AND
移動距離 > 移動距離の閾値
<< Action conditions for "Running">>
Average speed> Average speed threshold AND
Linearity> Linearity threshold AND
Moving distance> Moving distance threshold
この「走る」の行動条件において、平均速度、移動距離及び直線性は、人物軌跡の特徴量として算出された値を用いる。また、平均速度の閾値、移動距離の閾値及び直線性の閾値は、予め設定されるか又は機械学習により決定される。 In this “run” action condition, the average speed, the moving distance, and the linearity use values calculated as the feature amount of the person trajectory. Further, the threshold value of the average speed, the threshold value of the moving distance, and the threshold value of the linearity are set in advance or determined by machine learning.
なお、「走る」の行動条件は、ANDを含むが、その少なくとも一つをORにしてもよい。また、「走る」の行動条件は、超える(>)を用いているが、以上(≧)、以下(≦)、又は、未満(<)を用いてもよい。 The action condition of “run” includes AND, but at least one of them may be OR. Moreover, although the exceeding (>) is used for the action condition of “running”, the above (≧), the following (≦), or the less (<) may be used.
<第2例:「人と会う」>
人と会う判定部33bは、人物軌跡の特徴量が「人と会う」の行動条件を満たすか否かを判定する。そして、人と会う判定部33bは、この行動条件を満たすときは、人物の行動を「人と会う」と判定する。その後、人と会う判定部33bは、「人と会う」を判定結果として出力する。一方、人と会う判定部33bは、この行動条件を満たさないときは、「人と会う」と判定せずに、何も出力しない。ここで、「人と会う」の行動条件は、例えば、以下のように設定される。
<Second example: “Meeting people”>
The
<<「人と会う」の行動条件>>
初回検出位置の上限閾値>初回検出位置>初回検出位置の下限閾値 AND
現在検出位置の上限閾値>現在検出位置>現在検出位置の下限閾値 AND
移動距離 > 移動距離の閾値 AND
平均速度 > 平均速度の閾値 AND
平均加速度 > 平均加速度の閾値 AND
直線性 > 直線性の閾値
<<< Action Conditions for “Meeting People” >>>
Upper limit threshold for first detection position> First detection position> Lower threshold for first detection position AND
Current detection position upper limit threshold> Current detection position> Current detection position lower limit threshold AND
Movement distance> Movement distance threshold AND
Average speed> Average speed threshold AND
Average acceleration> Average acceleration threshold AND
Linearity> Linearity threshold
この「人と会う」の行動条件において、初回検出位置、現在検出位置、移動距離、平均速度、平均加速度及び直線性は、人物軌跡の特徴量として算出された値を用いる。また、初回検出位置の上限閾値や下限閾値、現在検出位置の上限閾値や下限閾値、移動距離の閾値、平均速度の閾値、平均加速度の閾値及び直線性の閾値は、予め設定されるか又は機械学習により決定される。 In the action condition of “meet people”, the first detection position, the current detection position, the moving distance, the average speed, the average acceleration, and the linearity use values calculated as the feature amount of the person trajectory. Further, the upper limit threshold and lower limit threshold for the first detection position, the upper limit threshold and lower limit threshold for the current detection position, the movement distance threshold, the average speed threshold, the average acceleration threshold, and the linearity threshold are set in advance or Determined by learning.
なお、「人と会う」の行動条件は、ANDを含むが、その少なくとも一つをORにしてもよい。また、「人と会う」の行動条件は、超える(>)を用いているが、以上(≧)、以下(≦)、又は、未満(<)を用いてもよい。 In addition, although the action condition of “meet people” includes AND, at least one of them may be OR. Moreover, although the exceeding (>) is used as the action condition of “meet with a person”, the above (≧), the following (≦), or the less (<) may be used.
<第3例:「反対方向に歩く」>
反対方向に歩く判定部33cは、人物軌跡の特徴量が「反対方向に歩く」の行動条件を満たすか否かを判定する。そして、反対方向に歩く判定部33cは、この行動条件を満たすときは、人物の行動を「反対方向に歩く」と判定する。その後、反対方向に歩く判定部33cは、「反対方向に歩く」を判定結果として出力する。一方、反対方向に歩く判定部33cは、この行動条件を満たさないときは、「反対方向に歩く」と判定ぜず、何も出力しない。ここで、「反対方向に歩く」の行動条件は、例えば、以下のように設定される。
<Third example: “Walk in the opposite direction”>
The
<<「反対方向に歩く」の行動条件>>
移動距離 > 移動距離の閾値 AND
移動方向の上限閾値>移動方向>移動方向の下限閾値
<< Action conditions for "walking in the opposite direction">>
Movement distance> Movement distance threshold AND
Upper limit threshold for moving direction> Moving direction> Lower limit threshold for moving direction
この「反対方向に歩く」の行動条件において、移動距離及び移動方向は、人物軌跡の特徴量として算出された値を用いる。また、移動距離の閾値、及び、移動方向の上限閾値や下限閾値は、予め設定されるか又は機械学習により決定される。 In the action condition of “walking in the opposite direction”, the value calculated as the feature amount of the person trajectory is used as the movement distance and the movement direction. Further, the threshold for the movement distance and the upper limit threshold and the lower limit threshold for the movement direction are set in advance or determined by machine learning.
なお、「反対方向に歩く」の行動条件は、ANDを用いているが、ORを用いてもよい。また、「反対方向に歩く」の行動条件は、超える(>)を用いているが、以上(≧)、以下(≦)、又は、未満(<)を用いてもよい。 The action condition “walk in the opposite direction” uses AND, but OR may be used. In addition, the action condition “walking in the opposite direction” exceeds (>), but above (≧), below (≦), or less (<) may be used.
なお、行動判定部33が判定する人物の行動は、前記した第1例〜第3例に限定されないことは言うまでもない。例えば、行動判定部33は、物を置く判定部(不図示)を備え、「物を置く」を判定してもよい。この場合、物を置く判定部は、現在検出位置がほとんど変化せず、下方向に動きがあった場合、「物を置く」と判定してもよい。
Needless to say, the behavior of the person determined by the
また、行動判定部33は、行動判定に用いる人物軌跡の特徴量や閾値を手動で設定する判定手法に限られず、主成分分析による判定手法を利用してもよい。この主成分分析による判定手法の詳細は、第3実施形態として後記する。
Further, the
ここで、例えば、「人に会う」と「物を置く」は、同時に判定されることが考えられる。このため、行動判定部33は、人と会う判定部33bや物を置く判定部等の各判定部が独立する構成とした。この構成では、行動判定部33は、矛盾した判定結果を出力することも考えられる。しかし、「物を置く」の行動条件に、例えば、平均速度が低いという条件を加えることで、行動判定部33は、互いに矛盾する「物を置く」と「走る」とを同時に判定する事態を防止できる。
Here, for example, it is conceivable that “meet a person” and “place an object” are determined at the same time. For this reason, the
[人物行動判定装置の全体動作]
図13を参照して、人物行動判定装置1の全体構成について、説明する(適宜図1参照)。図13に示すように、人物行動判定装置1は、人物領域検出手段10によって、撮影カメラから映像が入力されると共に、この映像に含まれる1以上の人物領域を機械学習により検出する(ステップS1)。
[Overall operation of human action determination device]
With reference to FIG. 13, the whole structure of the person
また、人物行動判定装置1は、人物軌跡生成手段20によって、人物領域検出手段10から人物領域が入力されると共に、人物領域毎に特徴量を算出する。そして、人物行動判定装置1は、人物軌跡生成手段20によって、人物領域の特徴量が類似するか否かを判定する。さらに、人物行動判定装置1は、人物軌跡生成手段20によって、同一人物の人物領域の重心位置を連結して人物軌跡を生成する(ステップS2)。
In the human
また、人物行動判定装置1は、人物行動判定手段30によって、人物軌跡生成手段20から人物軌跡が入力されると共に、人物軌跡毎に特徴量を算出する。また、人物行動判定手段30は、この人物軌跡の特徴量が行動条件を満たすか否かを判定する。そして、人物行動判定手段30は、この人物軌跡の特徴量が行動条件を満たすときは、その人物が行動条件に対応する行動を行っていると判定する(ステップS3)。
In the human
[人物領域検出手段の動作]
以下、図14を参照し、人物領域検出手段10の動作について、説明する(適宜図2参照)。人物領域検出手段10は、訓練データ特徴量算出部12によって、訓練データの特徴量を算出する(ステップS11)。
[Operation of Person Area Detection Means]
Hereinafter, the operation of the person region detection means 10 will be described with reference to FIG. 14 (see FIG. 2 as appropriate). The person area detection means 10 calculates the feature amount of the training data by the training data feature amount calculation unit 12 (step S11).
また、人物領域検出手段10は、人物領域判定部15によって、訓練データを機械学習し、学習パラメータを求める(ステップS12)。そして、人物領域検出手段10は、変化領域検出部13によって、映像から変化領域を求める(ステップS13)。
Further, the person area detecting means 10 performs machine learning on the training data by the person
また、人物領域検出手段10は、変化領域特徴量算出部14によって、変化領域の特徴量を算出する(ステップS14)。そして、人物領域検出手段10は、人物領域判定部15によって、学習パラメータを用いて、変化領域が人物領域であるか否かを判定する(ステップS15)。
In addition, the person
また、人物領域検出手段10は、代表人物領域選択部16によって、人物領域判定部15から複数の人物領域が入力されたときは、クラスタリングを行い、一つの人物領域を選択する(ステップS16)。
In addition, when a plurality of person areas are input from the person
[人物軌跡生成手段の動作]
以下、図15を参照し、人物軌跡生成手段20の動作について、説明する(適宜図7参照)。人物軌跡生成手段20は、人物領域特徴量算出部21によって、人物領域の特徴量を算出する。そして、人物軌跡生成手段20は、人物領域特徴量算出部21によって、人物領域の特徴量を特徴量データベース22に登録する(ステップS21)。
[Operation of human trajectory generation means]
Hereinafter, the operation of the human trajectory generation means 20 will be described with reference to FIG. 15 (see FIG. 7 as appropriate). The person trajectory generation means 20 calculates the feature amount of the person region by the person region feature
また、人物軌跡生成手段20は、人物領域特徴量照合部23によって、現在のフレーム画像における人物領域の特徴量と、過去のフレーム画像における人物領域の特徴量とを照合し、同一人物の人物領域であるか否かを判定する(ステップS22)。
In addition, the person
また、人物軌跡生成手段20は、人物軌跡生成部24によって、過去のフレーム画像と処理対象のフレーム画像との間で、同一人物の人物領域の重心位置を求め、これを連結して人物軌跡を生成する(ステップS23)。
In addition, the person trajectory generation means 20 obtains the center of gravity position of the person area of the same person between the past frame image and the frame image to be processed by the person
また、人物軌跡生成手段20は、人物予測部25(カルマンフィルタ)によって、人物軌跡を用いて人物位置を予測し、予測領域と予測位置とを出力する(ステップS24)。
In addition, the person
[人物行動判定手段の構成]
以下、図16を参照し、人物行動判定手段30の動作について説明する(適宜図11参照)。人物行動判定手段30は、人物軌跡特徴量算出部31によって、人物軌跡毎に特徴量を算出する。ここで、人物行動判定手段30は、人物軌跡特徴量算出部31によって、追跡時間、初回検出位置、現在検出位置、移動方向、移動距離、平均速度、平均加速度、及び、直線性を含めた多次元の特徴量で、人物軌跡の特徴量を算出する(ステップS31)。
[Configuration of person action determination means]
Hereinafter, the operation of the human behavior determination means 30 will be described with reference to FIG. 16 (see FIG. 11 as appropriate). In the human
また、人物行動判定手段30は、人物軌跡特徴量正規化部32によって、予め設定した正規化係数を用いて、人物軌跡の特徴量を正規化する(ステップS32)。
In addition, the person
また、人物行動判定手段30は、行動判定部33によって、正規化された人物軌跡の特徴量に基づいて、人物の行動を判定する(ステップS33)。そして、人物行動判定手段30は、行動判定部33によって、その判定結果を出力する(ステップS34)。
In addition, the person
以上のように、本発明の第1実施形態に係る人物行動判定装置1は、映像から特定の人物を長期(例えば、30フレーム)にわたり追跡し、人物軌跡を生成する。そして、人物行動判定装置1は、この人物軌跡から様々な特徴量を算出し、これら特徴量に基づいて、人物の行動を判定する。これによって、人物行動判定装置1は、オクルージョンが発生するような混雑したシーンからも人物の行動を正確に判定できる。
As described above, the human
また、人物行動判定装置1は、同一のフレーム画像において、同一人物の周囲から複数の人物領域が検出された場合でも、代表人物領域選択部16が一つの人物領域を選択するので、その人物の行動をより正確に判定できる。そして、人物行動判定装置1は、人物軌跡特徴量正規化部32が正規化を行うので、撮影カメラの位置に関わらず、その人物の行動をより正確に判定できる。さらに、人物行動判定装置1は、人物行動判定手段30が簡易なルールベースの判定を行うので、処理の高速化を図ることができる。
In addition, even when a plurality of person areas are detected from the periphery of the same person in the same frame image, the person
(第2実施形態)
以下、図17を参照し、本発明の第2実施形態に係る人物行動判定装置1Bについて、第1実施形態と異なる点を説明する。人物行動判定装置1Bは、人物行動判定手段30Bが、人物軌跡特徴量算出部31と、人物軌跡特徴量正規化部32と、行動判定部33と、行動提示部34とを備える。
(Second Embodiment)
Hereinafter, with reference to FIG. 17, a difference from the first embodiment will be described regarding the human
行動提示部34は、撮影カメラから映像が入力されると共に、行動判定部33の判定結果をこの映像に付加する。また、行動提示部34は、人物軌跡を映像に付加してもよい。さらに、行動提示部34は、判定結果と人物軌跡との両方を映像に付加してもよい。その後、行動提示部34は、判定結果や人物軌跡を付加した映像を、外部(例えば、監視者)に提示する。
The
以上のように、本発明の第2実施形態に係る人物行動判定装置1Bは、人物の行動や人物軌跡が付加された映像を外部に提示するので、実際の映像と合わせて判定結果や人物軌跡を確認でき、映像による監視を行いやすくなる。
As described above, the person
(第3実施形態)
以下、図18を参照し、本発明の第3実施形態に係る人物行動判定装置1Cについて、第1実施形態と異なる点を説明する。人物行動判定装置1Cは、人物軌跡の特徴量を主成分分析し、3次元程度まで次元数を落として、特徴空間を作成する。そして、人物行動判定装置1Cは、この特徴空間内で、例えば、「走る」クラス、「反対方向に歩く」クラス、「人に会う」クラスを作成し、人物軌跡の特徴量をその特徴空間に射影した際にどのクラスに含まれるかを評価して、人物の行動を判定できる。
(Third embodiment)
Hereinafter, with reference to FIG. 18, a difference from the first embodiment will be described regarding a human
人物行動判定装置1Cは、図18に示すように、人物行動判定手段30Cが、人物軌跡特徴量算出部31と、人物軌跡特徴量正規化部32と、行動判定部33Cと、特徴空間データベース35と、人物軌跡特徴量射影部36を備える。
As shown in FIG. 18, in the human
まず、人物行動判定装置1Cは、予め用意した学習用映像から、第1実施形態と同様に人物軌跡を生成する。また、人物行動判定装置1Cは、学習用映像から生成した人物軌跡に対して、主成分分析を行い、特徴空間を生成する。そして、人物行動判定装置1Cは、生成した特徴空間を特徴空間データベース35に格納する。
First, the human
ここで、主成分分析は、相関関係にあるいくつかの要因を合成(圧縮)して、いくつかの成分にし、その総合力や特性を求める方法である。また、特徴空間は、それぞれの人物の行動毎に行動クラス(平均座標、分散)を含む。 Here, the principal component analysis is a method of obtaining (combining) several factors having correlations into several components and obtaining the total power and characteristics thereof. The feature space includes an action class (average coordinates, variance) for each person's action.
人物軌跡特徴量射影部36は、人物軌跡特徴量正規化部32から人物軌跡の特徴量が入力されると共に、人物軌跡の特徴量に固有ベクトルを乗算し、特徴空間における人物軌跡の座標を求める。そして、人物軌跡特徴量射影部36は、この人物軌跡の座標を、行動判定部33Cに出力する。
The human trajectory feature
行動判定部33Cは、人物軌跡特徴量射影部36から人物軌跡の座標が入力されると共に、人物軌跡の座標と、行動毎に求められた行動クラスとの距離を算出する。そして、行動判定部33Cは、この距離(行動条件)に基づいて、人物の行動を判定する。
The
以下、図19を参照し、特徴空間を用いた人物行動の判定について説明する(適宜図18参照)。前記したように、人物軌跡の特徴量は、追跡時間、初回検出位置、現在検出位置、移動方向、移動距離、平均速度、平均加速度、及び、直線性を含めた多次元の特徴量である。この場合、多次元の特徴量を次元圧縮することで、ある特徴量を低次元の特徴空間で評価することができる。 Hereinafter, with reference to FIG. 19, the determination of the human action using the feature space will be described (see FIG. 18 as appropriate). As described above, the feature amount of the human trajectory is a multidimensional feature amount including tracking time, initial detection position, current detection position, moving direction, moving distance, average speed, average acceleration, and linearity. In this case, a certain feature amount can be evaluated in a low-dimensional feature space by dimensionally compressing the multi-dimensional feature amount.
図19に示すように、人物軌跡の特徴量は、P1軸、P2軸及びP3軸で表現される3次元の特徴空間に次元圧縮される。これによって、人物領域の特徴量間の距離は、3次元の特徴空間において、点と点との距離として評価することができる。なお、図19では、特徴空間の各点が人物軌跡の特徴量を示す。 As shown in FIG. 19, the feature amount of the person trajectory is dimensionally compressed into a three-dimensional feature space expressed by the P1, A2, and P3 axes. Thereby, the distance between the feature amounts of the person region can be evaluated as the distance between the points in the three-dimensional feature space. In FIG. 19, each point in the feature space represents a feature amount of the person trajectory.
ここで、図19の特徴空間では、例えば、走るクラスが符合CL1の範囲内であり、人に会うクラスが符号CL2の範囲内であるとする。この場合、走る判定部33aは、人物軌跡の座標が走るクラスCL1の範囲内であれば、「走る」と判定する。また、人と会う判定部33bは、人物軌跡の座標が人に会うクラスCL2の範囲内であれば、「人と会う」と判定する。なお、この符合CL1,CL2は、予め設定してもよいし、各行動クラスの分散値としてもよい。
Here, in the feature space of FIG. 19, for example, it is assumed that the running class is within the range of the sign CL1, and the class that meets a person is within the range of the sign CL2. In this case, the running
なお、行動判定部33Cは、一般的な特徴点が特徴空間の中央に集まることが多いため、中央から遠い特徴点を異常値とみなし、「通常行動」又は「異常行動」であるかを判定してもよい。
In addition, since the general feature points often gather in the center of the feature space, the
以上のように、本発明の第3実施形態に係る人物行動判定装置1Cは、人物領域の特徴量の次元数を低減できるので、処理負荷を低減することができる。なお、第3実施形態では、3次元の次元圧縮を説明したが、これに限定されず、5次元の次元圧縮を行ってもよい。
As described above, the human
(第4実施形態)
以下、図20を参照し、本発明の第4実施形態に係る人物行動判定装置1Dについて、第1実施形態と異なる点を説明する。図20に示すように、人物行動判定装置1Dは、人物領域検出手段10Dと、人物軌跡生成手段20と、人物行動判定手段30Dと、映像逆再生手段40とを備える。
(Fourth embodiment)
Hereinafter, with reference to FIG. 20, a different point from 1st Embodiment is demonstrated about the human
人物行動判定手段30Dは、順方向の映像について、図1の人物行動判定手段30と同様に人物の行動を判定する。そして、人物行動判定手段30Dは、「走る」等の検証対象行動を判定した場合、逆再生指令を映像逆再生手段40に出力する。この検証対象行動は、例えば、オペレータによって、予め設定される。
The person action determination unit 30D determines a person's action for the forward video in the same manner as the person
映像逆再生手段40は、撮影カメラから入力された映像を一時的に蓄積するフレームメモリ(不図示)を備える。そして、映像逆再生手段40は、人物行動判定手段30Dから逆再生指令が入力された場合、逆再生映像を人物領域検出手段10Dに出力する。なお、逆再生映像は、フレームメモリに蓄積した映像を逆の順番で再生したものである。 The video reverse playback means 40 includes a frame memory (not shown) that temporarily stores video input from the photographing camera. Then, the reverse video reproduction means 40 outputs the reverse reproduction video to the person area detection means 10D when the reverse reproduction command is input from the person action determination means 30D. Note that the reversely reproduced video is obtained by reproducing the video stored in the frame memory in the reverse order.
人物領域検出手段10Dは、映像逆再生手段40からの逆再生映像を用いて、図1の人物領域検出手段10と同様の処理を行う。
人物軌跡生成手段20は、逆再生映像から生成された人物領域に基づいて、図1の人物軌跡生成手段20と同様の処理を行う。
The person area detection means 10D performs the same processing as the person area detection means 10 of FIG. 1 using the reversely reproduced video from the video reverse reproduction means 40.
The person trajectory generation means 20 performs the same processing as the person trajectory generation means 20 of FIG. 1 based on the person region generated from the reverse playback video.
その後、人物行動判定手段30Dは、逆再生映像から生成した人物軌跡に基づいて、図1の人物行動判定手段30と同様に人物の行動を判定する。そして、人物行動判定手段30Dは、同一人物について、順方向の映像と逆再生映像との両方で、同一人物で同じ検証対象行動を判定できた場合、その判定結果を出力する。一方、人物行動判定手段30Dは、順方向の映像と逆再生映像との両方で、同一人物で同じ検証対象行動を判定できない場合、何の判定結果も出力しない。
Thereafter, the person action determining unit 30D determines the person's action based on the person trajectory generated from the reverse reproduction video, similarly to the person
以上のように、本発明の第4実施形態に係る人物行動判定装置1Dは、逆再生映像を用いて判定結果を検証するので、判定結果の正確性をより高くすることができる。
As described above, since the human
なお、各実施形態では、本発明に係る人物行動判定装置を独立した装置として説明したが、本発明では、一般的なコンピュータを、前記した各手段として機能させるプログラムによって動作させることもできる。このプログラムは、通信回線を介して配布しても良く、CD−ROMやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。 In each embodiment, the human behavior determination device according to the present invention has been described as an independent device. However, in the present invention, a general computer can be operated by a program that functions as each of the above-described units. This program may be distributed via a communication line, or may be distributed by writing in a recording medium such as a CD-ROM or a flash memory.
本発明に係る人物行動判定装置は、セキュリティ分野、スポーツ映像解析、個人認証、及び、人物の行動をキーとした映像検索装置に用いることができる。また、本発明に係る人物行動判定装置は、得られた情報を提示して視聴者の理解を促進することも可能であり、テレビ放送、インターネットなどに向けた映像制作を支援する分野に用いることができる。 The human behavior determination device according to the present invention can be used in a security field, sports video analysis, personal authentication, and a video search device using human behavior as keys. In addition, the human behavior determination device according to the present invention can be used in the field of supporting video production for television broadcasting, the Internet, etc., by presenting the obtained information and promoting viewers' understanding. Can do.
1,1B,1C,1D 人物行動判定装置
10,10D 人物領域検出手段
11 人物画像データベース
12 訓練データ特徴量算出部
13 変化領域検出部
14 変化領域特徴量算出部
15 人物領域判定部
16 代表人物領域選択部
20 人物軌跡生成手段
21 人物領域特徴量算出部
22 特徴量データベース
23 人物領域特徴量照合部
24 人物軌跡生成部
25 人物予測部
30,30B,30C,30D 人物行動判定手段
31 人物軌跡特徴量算出部
32 人物軌跡特徴量正規化部
33,33C 行動判定部
33a 走る判定部
33b 人と会う判定部
33c 反対方向に歩く判定部
34 行動提示部
35 特徴空間データベース
36 人物軌跡特徴量射影部
40 映像逆再生手段
1, 1B, 1C, 1D Human
Claims (6)
前記映像に含まれる1以上の人物領域を所定のフレーム間隔で機械学習により検出する人物領域検出手段と、
前記人物領域検出手段が検出した人物領域毎に特徴量を算出すると共に、前記複数のフレーム画像において前記人物領域の特徴量が類似する人物領域を同一人物の人物領域と判定し、前記同一人物の人物領域で隣接する重心位置を結んだ人物軌跡動きベクトルを連結して人物軌跡を生成する人物軌跡生成手段と、
前記人物軌跡生成手段が生成した人物軌跡毎に、フレームレートと前記人物領域を検出したフレーム間隔と前記人物軌跡に含まれる重心位置の数との積の逆数である追跡時間、前記人物軌跡で最も古いフレーム画像における重心位置である初回検出位置、前記人物軌跡で処理対象のフレーム画像における重心位置である現在検出位置、前記人物軌跡に含まれる全ての人物軌跡動きベクトルの向きを平均した移動方向、前記初回検出位置から前記現在検出位置までを順番に結んだ線の長さを合計した移動距離、前記人物軌跡に含まれる全ての人物軌跡動きベクトルの大きさを平均した平均速度、隣接する前記人物軌跡動きベクトルの差分である加速度を平均した平均加速度、及び、前記初回検出位置及び前記現在検出位置以外の重心位置から、前記初回検出位置及び前記現在検出位置を結ぶ近似直線までの法線の長さを平均した直線性を含めた多次元の特徴量を算出すると共に、当該人物軌跡の特徴量が予め設定された行動条件を満たすか否かを前記人物の行動毎に判定し、当該人物軌跡の特徴量が前記行動条件を満たすときは、前記人物が当該行動条件に対応する行動を行っていると判定する人物行動判定手段と、
を備えることを特徴とする人物行動判定装置。 A human behavior determination device that receives a continuous video of a plurality of frame images and determines the behavior of one or more persons included in the video,
Human area detection means for detecting one or more human areas included in the video by machine learning at predetermined frame intervals;
A feature amount is calculated for each person region detected by the person region detection means, and a person region having a similar feature amount of the person region in the plurality of frame images is determined as a person region of the same person, and A human trajectory generating means for generating a human trajectory by connecting human trajectory motion vectors connecting adjacent gravity center positions in the human area;
For each human trajectory generated by the human trajectory generating means , the tracking time, which is the reciprocal of the product of the frame rate, the frame interval at which the human region is detected, and the number of barycentric positions included in the human trajectory, A first detection position that is a center of gravity position in an old frame image, a current detection position that is a center of gravity position in a frame image to be processed in the person trajectory, a moving direction that averages the directions of all human trajectory motion vectors included in the person trajectory, The movement distance obtained by summing the lengths of the lines connecting the first detection position to the current detection position in order, the average speed obtained by averaging the magnitudes of all human trajectory motion vectors included in the human trajectory, and the adjacent person From the average acceleration obtained by averaging the acceleration that is the difference of the trajectory motion vector, and the center of gravity position other than the initial detection position and the current detection position, It calculates a characteristic amount of a multidimensional, including linearity obtained by averaging the lengths of the normals to the approximation line connecting the serial initial detection position and the current position detection feature amount of the person trajectories preset action Whether or not a condition is satisfied is determined for each action of the person, and when the feature amount of the person locus satisfies the action condition, the person action that determines that the person is performing an action corresponding to the action condition A determination means;
A human behavior determination device comprising:
同一の前記フレーム画像から検出された複数の前記人物領域について、互いの距離、色ヒストグラム分布の距離又はサイズの差分の何れか一つを代表特徴量として算出すると共に、当該代表特徴量が予め設定された閾値以下であるときに前記代表特徴量が類似すると判定し、前記代表特徴量が類似する人物領域の中で中央側に位置する一つの代表人物領域を前記人物領域として選択する代表人物領域選択部をさらに備えることを特徴とする請求項1に記載の人物行動判定装置。 The person area detecting means includes
For the plurality of human regions detected from the same frame image, one of a distance between each other, a color histogram distribution distance, or a size difference is calculated as a representative feature amount, and the representative feature amount is preset. A representative person area that determines that the representative feature amount is similar when it is equal to or less than the threshold value and selects one representative person area located on the center side among the person areas with the similar representative feature quantity as the person area The person action determination device according to claim 1, further comprising a selection unit.
前記人物軌跡生成手段は、前記予測領域内に前記人物領域の前記重心位置が含まれる場合、前記人物軌跡を生成することを特徴とする請求項1又は請求項2に記載の人物行動判定装置。 A person prediction unit that predicts a prediction region of the person by a prediction filter from the person locus generated by the person locus generation unit;
3. The human behavior determination device according to claim 1, wherein the human trajectory generation unit generates the human trajectory when the barycentric position of the human area is included in the prediction area.
前記人物軌跡の特徴量と前記人物の行動毎に予め設定された閾値との対応関係が予め設定された前記行動条件により、前記人物の行動を判定することを特徴とする請求項1から請求項3の何れか一項に記載の人物行動判定装置。 The person action determination means includes
The action of the person is determined based on the action condition in which a correspondence relationship between a feature amount of the person trajectory and a threshold value set in advance for each action of the person is set in advance. The person action determination device according to claim 3.
前記人物領域検出手段は、前記逆再生映像を用いて、前記人物領域を検出し、
前記人物軌跡生成手段は、前記逆再生映像から生成された人物領域に基づいて、前記人物軌跡を生成し、
前記人物行動判定手段は、予め設定された検証対象行動を前記人物が行っていると判定した場合に前記逆再生指令を出力し、前記逆再生映像から生成された人物軌跡に基づいて前記人物の行動を判定し、順方向の前記映像と前記逆再生映像との両方で、前記同一人物で同じ前記検証対象行動を判定できた場合、前記人物の行動の判定結果を出力することを特徴とする請求項1から請求項4の何れか一項に記載の人物行動判定装置。 The image processing apparatus further includes reverse video reproduction means for inputting a reverse reproduction command that is a command for reproducing the video in the reverse direction and outputting a reverse reproduction video in which the video is reproduced in the reverse direction based on the reverse reproduction command. ,
The person area detecting means detects the person area using the reverse reproduction video,
The person trajectory generating means generates the person trajectory based on a person area generated from the reverse playback video,
The person action determining means outputs the reverse playback command when it is determined that the person is performing a preset action to be verified, and the person action determining means outputs the person based on the person trajectory generated from the reverse playback video. A behavior is determined, and when the same verification target behavior can be determined by the same person in both the forward video and the reverse playback video, a determination result of the human behavior is output. The person action determination device according to any one of claims 1 to 4.
前記映像に含まれる1以上の人物領域を所定のフレーム間隔で機械学習により検出する人物領域検出手段、
前記人物領域検出手段が検出した人物領域毎に特徴量を算出すると共に、前記複数のフレーム画像において前記人物領域の特徴量が類似する人物領域を同一人物の人物領域と判定し、前記同一人物の人物領域で隣接する重心位置を結んだ人物軌跡動きベクトルを連結して人物軌跡を生成する人物軌跡生成手段、
前記人物軌跡生成手段が生成した人物軌跡毎に、フレームレートと前記人物領域を検出したフレーム間隔と前記人物軌跡に含まれる重心位置の数との積の逆数である追跡時間、前記人物軌跡で最も古いフレーム画像における重心位置である初回検出位置、前記人物軌跡で処理対象のフレーム画像における重心位置である現在検出位置、前記人物軌跡に含まれる全ての人物軌跡動きベクトルの向きを平均した移動方向、前記初回検出位置から前記現在検出位置までを順番に結んだ線の長さを合計した移動距離、前記人物軌跡に含まれる全ての人物軌跡動きベクトルの大きさを平均した平均速度、隣接する前記人物軌跡動きベクトルの差分である加速度を平均した平均加速度、及び、前記初回検出位置及び前記現在検出位置以外の重心位置から、前記初回検出位置及び前記現在検出位置を結ぶ近似直線までの法線の長さを平均した直線性を含めた多次元の特徴量を算出すると共に、当該人物軌跡の特徴量が予め設定された行動条件を満たすか否かを前記人物の行動毎に判定し、当該人物軌跡の特徴量が前記行動条件を満たすときは、前記人物が当該行動条件に対応する行動を行っていると判定する人物行動判定手段、
として機能させるための人物行動判定プログラム。 In order to determine a behavior of one or more persons included in the video, and a video in which a plurality of frame images are continuously input,
Human area detection means for detecting one or more human areas included in the video by machine learning at predetermined frame intervals;
A feature amount is calculated for each person region detected by the person region detection means, and a person region having a similar feature amount of the person region in the plurality of frame images is determined as a person region of the same person, and Human trajectory generating means for generating a human trajectory by connecting human trajectory motion vectors connecting adjacent gravity center positions in a human area;
For each human trajectory generated by the human trajectory generating means , the tracking time, which is the reciprocal of the product of the frame rate, the frame interval at which the human region is detected, and the number of barycentric positions included in the human trajectory, A first detection position that is a center of gravity position in an old frame image, a current detection position that is a center of gravity position in a frame image to be processed in the person trajectory, a moving direction that averages the directions of all human trajectory motion vectors included in the person trajectory, The movement distance obtained by summing the lengths of the lines connecting the first detection position to the current detection position in order, the average speed obtained by averaging the magnitudes of all human trajectory motion vectors included in the human trajectory, and the adjacent person From the average acceleration obtained by averaging the acceleration that is the difference of the trajectory motion vector, and the center of gravity position other than the initial detection position and the current detection position, It calculates a characteristic amount of a multidimensional, including linearity obtained by averaging the lengths of the normals to the approximation line connecting the serial initial detection position and the current position detection feature amount of the person trajectories preset action Whether or not a condition is satisfied is determined for each action of the person, and when the feature amount of the person locus satisfies the action condition, the person action that determines that the person is performing an action corresponding to the action condition Determination means,
A human behavior determination program for functioning as
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009252559A JP5285575B2 (en) | 2009-11-04 | 2009-11-04 | Human behavior determination device and program thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009252559A JP5285575B2 (en) | 2009-11-04 | 2009-11-04 | Human behavior determination device and program thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011100175A JP2011100175A (en) | 2011-05-19 |
JP5285575B2 true JP5285575B2 (en) | 2013-09-11 |
Family
ID=44191317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009252559A Expired - Fee Related JP5285575B2 (en) | 2009-11-04 | 2009-11-04 | Human behavior determination device and program thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5285575B2 (en) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5864231B2 (en) * | 2011-11-30 | 2016-02-17 | アイホン株式会社 | Moving direction identification device |
JP5864230B2 (en) * | 2011-11-30 | 2016-02-17 | アイホン株式会社 | Object detection device |
CN103324977B (en) * | 2012-03-21 | 2016-03-30 | 日电(中国)有限公司 | A kind of destination number detection method and equipment |
JP5808282B2 (en) * | 2012-03-23 | 2015-11-10 | 三菱電機株式会社 | Video signal recording / reproducing apparatus and monitoring method |
US9122929B2 (en) * | 2012-08-17 | 2015-09-01 | Ge Aviation Systems, Llc | Method of identifying a tracked object for use in processing hyperspectral data |
US9875431B2 (en) | 2013-06-28 | 2018-01-23 | Nec Corporation | Training data generating device, method, and program, and crowd state recognition device, method, and program |
JP5897532B2 (en) * | 2013-11-05 | 2016-03-30 | ファナック株式会社 | Apparatus and method for picking up articles placed in three-dimensional space by robot |
JP2016171526A (en) * | 2015-03-13 | 2016-09-23 | 株式会社東芝 | Image sensor, person detection method, control system, control method, and computer program |
JP6613976B2 (en) * | 2016-03-11 | 2019-12-04 | 富士通株式会社 | Imaging control program, imaging control method, and imaging control apparatus |
JP2017191501A (en) | 2016-04-14 | 2017-10-19 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
JP6916415B2 (en) * | 2016-07-04 | 2021-08-11 | 株式会社ニコン | Image processing device, imaging device |
WO2019130548A1 (en) * | 2017-12-28 | 2019-07-04 | Nec Corporation | Information processing apparatus, method, and program |
JP6973509B2 (en) | 2018-01-12 | 2021-12-01 | 日本電気株式会社 | Information processing equipment, control methods, and programs |
JP7210890B2 (en) | 2018-03-29 | 2023-01-24 | 株式会社リコー | Behavior recognition device, behavior recognition method, its program, and computer-readable recording medium recording the program |
KR102138680B1 (en) * | 2018-04-16 | 2020-07-28 | 연세대학교 산학협력단 | Apparatus for Video Recognition and Method thereof |
CN111259702B (en) * | 2018-12-03 | 2023-05-26 | 株式会社理光 | User interest estimation method and device |
JP7334432B2 (en) * | 2019-03-15 | 2023-08-29 | オムロン株式会社 | Object tracking device, monitoring system and object tracking method |
JP7338182B2 (en) * | 2019-03-19 | 2023-09-05 | 株式会社リコー | Action recognition device, action recognition method and program |
JP6906577B2 (en) * | 2019-09-12 | 2021-07-21 | 三菱電機インフォメーションシステムズ株式会社 | Notification judgment device, notification judgment method and notification judgment program |
US11394870B2 (en) | 2019-10-29 | 2022-07-19 | Canon Kabushiki Kaisha | Main subject determining apparatus, image capturing apparatus, main subject determining method, and storage medium |
JP2021077177A (en) * | 2019-11-11 | 2021-05-20 | 株式会社リコー | Operation recognition apparatus, operation recognition method, and operation recognition program |
JP2021081804A (en) * | 2019-11-14 | 2021-05-27 | 株式会社リコー | State recognition device, state recognition method, and state recognition program |
JP7444604B2 (en) | 2019-12-26 | 2024-03-06 | キヤノン株式会社 | Image processing device and method, and imaging device |
US11410443B2 (en) * | 2020-03-13 | 2022-08-09 | Nec Corporation | Labelling training method and system for implementing the same |
CN111603162B (en) * | 2020-05-07 | 2023-05-30 | 京东科技信息技术有限公司 | Myoelectric signal processing method and device, intelligent wearable equipment and storage medium |
JPWO2023089691A1 (en) * | 2021-11-17 | 2023-05-25 | ||
JPWO2023112213A1 (en) * | 2021-12-15 | 2023-06-22 | ||
WO2023181580A1 (en) * | 2022-03-22 | 2023-09-28 | キヤノン株式会社 | Image processing device, control method thereof, program, system, and training data generation method |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3334319B2 (en) * | 1994-03-01 | 2002-10-15 | 松下電器産業株式会社 | Toilet seat device |
JP4507243B2 (en) * | 2004-03-25 | 2010-07-21 | 独立行政法人理化学研究所 | Behavior analysis method and system |
JP4559311B2 (en) * | 2005-06-27 | 2010-10-06 | 日本電信電話株式会社 | Action identification device, action identification method, program, and storage medium |
JP2009027393A (en) * | 2007-07-19 | 2009-02-05 | Hitachi Ltd | Image searching system and personal searching method |
JP4979623B2 (en) * | 2008-03-19 | 2012-07-18 | 三洋電機株式会社 | Image processing device |
-
2009
- 2009-11-04 JP JP2009252559A patent/JP5285575B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011100175A (en) | 2011-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5285575B2 (en) | Human behavior determination device and program thereof | |
CN105469029B (en) | System and method for object re-identification | |
US20190130191A1 (en) | Bounding box smoothing for object tracking in a video analytics system | |
US8705813B2 (en) | Identification device, identification method, and storage medium | |
CN104573706B (en) | A kind of subject image recognition methods and its system | |
US8619135B2 (en) | Detection of abnormal behaviour in video objects | |
US8098888B1 (en) | Method and system for automatic analysis of the trip of people in a retail space using multiple cameras | |
WO2019064375A1 (en) | Information processing device, control method, and program | |
D'Angelo et al. | People re-identification in camera networks based on probabilistic color histograms | |
US20060018516A1 (en) | Monitoring activity using video information | |
US20140003710A1 (en) | Unsupervised learning of feature anomalies for a video surveillance system | |
CN112800944B (en) | Crowd behavior detection method and device, electronic equipment and storage medium | |
JP2004192637A (en) | Face detection | |
JP2008501172A (en) | Image comparison method | |
JP2004199669A (en) | Face detection | |
CN110674680B (en) | Living body identification method, living body identification device and storage medium | |
JP2019057815A (en) | Monitoring system | |
JP2006508462A (en) | Face detection | |
US20220366570A1 (en) | Object tracking device and object tracking method | |
US20230394792A1 (en) | Information processing device, information processing method, and program recording medium | |
JP2005174353A (en) | Object detection | |
KR20210062256A (en) | Method, program and system to judge abnormal behavior based on behavior sequence | |
JP7488674B2 (en) | OBJECT RECOGNITION DEVICE, OBJECT RECOGNITION METHOD, AND OBJECT RECOGNITION PROGRAM | |
CN107665495B (en) | Object tracking method and object tracking device | |
CN111738059A (en) | Non-sensory scene-oriented face recognition method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120321 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130531 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5285575 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |