JP5334008B2 - Abnormal operation detection device - Google Patents
Abnormal operation detection device Download PDFInfo
- Publication number
- JP5334008B2 JP5334008B2 JP2007283998A JP2007283998A JP5334008B2 JP 5334008 B2 JP5334008 B2 JP 5334008B2 JP 2007283998 A JP2007283998 A JP 2007283998A JP 2007283998 A JP2007283998 A JP 2007283998A JP 5334008 B2 JP5334008 B2 JP 5334008B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- value
- motion data
- calculating
- abnormal operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Alarm Systems (AREA)
Description
本発明は、例えばエレベータの乗りかごにおいて、監視カメラによって撮影された画像から人の異常な動作(暴れなど)を検出する異常動作検出装置に関する。 The present invention relates to an abnormal operation detection device that detects an abnormal operation (such as rampage) of a person from an image taken by a surveillance camera, for example, in an elevator car.
従来、監視カメラによって撮影された画像から人の異常な動作を検出する方法として、撮影画像から人の頭部などの身体の特定の部位を検出し、その特定の部位を時空間的に追跡するといった方法がある。しかしながら、この方法は、監視カメラによって身体の特定の部位を撮影することが必要となるため、エレベータの乗りかごのように、監視カメラの設置場所が制限される狭い閉空間では使えない。 Conventionally, as a method for detecting an abnormal movement of a person from an image taken by a surveillance camera, a specific part of the body such as a human head is detected from the photographed image, and the specific part is tracked in time and space. There is a method. However, since this method requires that a specific part of the body be photographed by the surveillance camera, it cannot be used in a narrow closed space where the installation location of the surveillance camera is limited, such as an elevator car.
そこで、エレベータでは、監視カメラによって撮影された2枚の画像を用い、画像上の各点の動きの向きや大きさを検出することによって、暴れ動作を判定する方法が用いられる(例えば、特許文献1参照)。
通常、暴れでない人の動きは定速運動であり、暴れているときに加速度運動になる。上記特許文献1のように、2枚の画像間で各点の動きを検出する方法では、このような加速度運動までを含めて詳細に人の動きを解析することはできない。このため、乗りかご内で人が単に大きな動きをすると、暴れ動作と誤判定してしまう可能性があり、精度的に問題があった。
Normally, the movement of a person who is not rampant is a constant speed movement, and when it is rampant, it becomes an acceleration movement. In the method of detecting the movement of each point between two images as in
本発明は上記のような点に鑑みなされたもので、監視カメラで撮影された画像を用いて人の異常動作を高精度に検出することのできる異常動作検出装置を提供することを目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to provide an abnormal operation detection device that can detect an abnormal operation of a person with high accuracy using an image taken by a surveillance camera. .
本発明に係る異常動作検出装置は、監視エリアとしてエレベータの載りかご内を所定フレーム間隔で連続撮影する監視カメラと、この監視カメラによって撮影された少なくとも3枚以上の連続した画像を用いて、画像上の各点の加速度的な要素を含む動きデータを算出する動きデータ算出手段と、この動きデータ算出手段によって算出された上記各画像の各点の動きデータの時間的な変化を表わす統計値を算出する第1の統計値算出手段と、上記各画像の各点の動きデータの空間的な広がりを表わす統計値を算出する第2の統計値算出手段と、上記第1および第2の統計値算出手段によって算出された統計値に所定の重み係数を乗じて、異常動作を判定するための評価値を算出する評価値算出手段と、この評価値算出手段によって算出された評価値と予め設定された閾値とを比較し、上記評価値が上記閾値を超えた状態が所定時間継続した場合に上記監視エリアで人が異常動作しているものと判定する動作判定手段と、上記監視カメラによって撮影された画像から上記乗りかごのドアの部分の画像を抽出し、その画像変化から上記乗りかごのドアの開閉動作を検出するドア開閉検出手段と、このドア開閉検出手段によって検出されたドアの開閉動作に基づいて、上記動作判定手段による異常動作の判定タイミングを制御する判定タイミング制御手段とを具備したことを特徴とする。 The abnormal operation detection apparatus according to the present invention uses a monitoring camera that continuously captures an elevator car as a monitoring area at predetermined frame intervals, and at least three or more consecutive images captured by the monitoring camera. A motion data calculating means for calculating motion data including an acceleration element at each point above, and a statistical value representing a temporal change in the motion data at each point of each image calculated by the motion data calculating means. A first statistical value calculating means for calculating; a second statistical value calculating means for calculating a statistical value representing a spatial spread of motion data at each point of each image; and the first and second statistical values. An evaluation value calculation means for calculating an evaluation value for determining abnormal operation by multiplying the statistical value calculated by the calculation means by a predetermined weighting factor, and calculated by this evaluation value calculation means Comparing the preset threshold value, and determines the operation determination means and that person is abnormal operation in the monitoring area when the state in which the evaluation value exceeds the threshold value continues for a predetermined time, the An image of the door part of the car is extracted from the image taken by the surveillance camera, and door opening / closing detecting means for detecting the opening / closing operation of the car door from the image change, and the door opening / closing detecting means And a determination timing control means for controlling the determination timing of the abnormal operation by the operation determination means based on the opening / closing operation of the door.
本発明によれば、少なくとも3枚以上の連続した画像を用いて各点の動きデータを算出すると共に、その動きデータを時間的および空間的に解析することで、人の異常動作を高精度に検出することができる。 According to the present invention, the motion data of each point is calculated using at least three or more consecutive images, and the motion data is analyzed temporally and spatially, so that abnormal human movements can be accurately performed. Can be detected.
以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1は本発明の第1の実施形態に係る異常動作検出装置の構成を示すブロック図である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is a block diagram showing a configuration of an abnormal operation detecting apparatus according to the first embodiment of the present invention.
図1に示すように、本実施形態における異常動作検出装置は、監視カメラ10、変化部分抽出部11、動きデータ算出部12、時間的統計値算出部13、空間的統計値算出部14、評価値算出部15、動作判定部16を備える。
As shown in FIG. 1, the abnormal motion detection apparatus according to the present embodiment includes a
監視カメラ10は、監視エリアに設置され、その監視エリアの画像を所定フレーム間隔で連続撮影する。本実施形態では、図2に示すように、上記監視エリアとしてエレベータの乗りかご21を想定している。
The
エレベータの乗りかご21には、着床時に開閉するドア22が設けられていると共に、そのドア22の横に操作盤23が設置されている。操作盤23には、行き先階を指定するための行き先階ボタン24の他、戸開を指示するための戸開ボタン25、戸閉を指示するための戸閉ボタン26などが配設されている。また、非常時に外部に連絡するための非常呼びボタン27が配設されている。
The
ここで、監視カメラ10は、例えば乗りかご21の天井面に設置される。なお、監視カメラ10の設置場所は、天井面に限らず、乗りかご21内の人の動きを監視できる場所であれば、どこでも良い。
Here, the
変化部分抽出部11は、監視カメラ10によって撮影された各画像をフレーム単位で順に比較して、当該撮影画像の中で変化した部分(つまり、人が動いた部分)を抽出する。
The change
動きデータ算出部12は、少なくとも3枚以上の連続した画像を用い、上記変化部分抽出部11によって抽出された変化部分を処理対象として、画像上の各点の動きに関わるデータ(以下、「動きデータ」と称す)を算出する。上記動きデータとしては、「速度」,「加速度」,「角速度」,「相関値」,「近似角速度」などがある。
The motion
時間的統計値算出部13は、動きデータ算出部12によって算出された各点の動きデータの時間的な変化を示す統計値を算出する。詳しくは、所定枚数分の画像から時系列順に得られる各点の動きデータを時間軸方向に平均化あるいは分散化した値を時間的な統計値として算出する。
The temporal statistical
空間的統計値算出部14は、上記各点の動きデータの空間的な広がりを示す統計値を算出する。詳しくは、各画像の各点の動きデータを画像全体(フレームの画面全体)に渡って平均化あるいは分散化した値を空間的な統計値として算出する。
The spatial statistical
評価値算出部15は、時間的統計値算出部13および空間的統計値算出部14によって算出された統計値に所定の重み係数を乗じて、異常動作を判定するための評価値を算出する。
The evaluation
動作判定部16は、評価値算出部15によって算出された評価値と予め設定された閾値とを比較して異常動作(暴れ)の判定を行う。詳しくは、評価値が閾値を超えた状態が所定時間継続している場合に異常動作と判定する。なお、異常動作の有無だけでなく、異常動作量とした連続した数値を出すことも可能である。
The
次に、本実施形態の動作を説明する。
図3は本実施形態における異常動作検出装置による処理の流れを示すフローチャートである。
Next, the operation of this embodiment will be described.
FIG. 3 is a flowchart showing the flow of processing by the abnormal operation detection apparatus in this embodiment.
まず、監視カメラ10によって一定間隔(または間隔T)で連続的に撮影された各画像を時系列順に1枚ずつ取り込んでいく(ステップS11)。なお、以下の「フレーム(t)」のtは、サンプリングNoを示している。また、フレームレートは通常は30枚/秒をさす場合が多いが、10枚/秒のように少なくても構わない。
First, each image taken continuously by the monitoring
ここで、図4に示すように、変化部分抽出部11において、撮影画像から人物や物の動きを抽出するため、フレーム(t−1)とフレーム(t)との差分計算を行い、変化している部分の画像を抽出する。図中のAの部分が差分計算によって得られた変化部分の画像を示す。
Here, as shown in FIG. 4, the change
通常、図5に示すように、画像の中で処理対象とする点(以下、計測点と称す)の個数は、画像のサイズによって予め固定的に決められているが、上記変化部分だけを処理対象とすることで、後述する統計値の計算量を抑えることができる。 Usually, as shown in FIG. 5, the number of points to be processed (hereinafter referred to as measurement points) in the image is fixedly determined in advance according to the size of the image, but only the changed portion is processed. By making it a target, it is possible to suppress the amount of calculation of statistical values described later.
次に、動きデータ算出部12において、現在の画像、1フレーム前の画像、2フレーム前の画像の少なくとも3枚以上の画像を用いて、上記変化部分抽出部11によって絞り込まれた計測点の動きデータを求める(ステップS13)。
Next, in the motion
上述したように、動きデータとは、「速度」,「加速度」,「角速度」,「相関値」などである。少なくとも3枚以上の画像を用いて動きデータを求めるのは、「速度」だけでなく、加速度的な要素も含めて算出するためである。すなわち、通常、暴れでない人の動きは定速運動をしているので、速度だけを調べても意味がない。そこで、3枚以上の画像を用いて、「加速度」を含む動きデータを算出するものとする。 As described above, the motion data includes “speed”, “acceleration”, “angular velocity”, “correlation value”, and the like. The reason why the motion data is obtained using at least three or more images is to calculate not only “speed” but also an acceleration factor. In other words, since the movement of a person who is not rampant usually moves at a constant speed, it is meaningless to examine only the speed. Therefore, it is assumed that motion data including “acceleration” is calculated using three or more images.
また、フレーム(t−1)の画像上の計測点Qがフレーム(t)の画像のどの位置に移動したかを推定する方法としては、以下のような方法を用いる。 Further, as a method for estimating the position of the measurement point Q on the image of the frame (t-1) moved to the image of the frame (t), the following method is used.
すなわち、ある計測点Qについて、フレーム(t−1)の画像の一部を切り出したテンプレートを作成し、フレーム(t)の計測点Qを中心として探索範囲を走査しながら類似度を計算する。そして、最も類似度が高い箇所を探し出すことで、フレーム(t)後での位置を推定する。 That is, for a certain measurement point Q, a template in which a part of the image of the frame (t−1) is cut out is created, and the similarity is calculated while scanning the search range around the measurement point Q of the frame (t). Then, a position after the frame (t) is estimated by searching for a portion having the highest similarity.
次に、時間的統計値算出部13において、計測点の時間的統計値が算出される(ステップS14)。この時間的統計値は、計測点の動きデータをnフレーム単位で平均化あるいは分散化することで求められる。
Next, the temporal statistical
今、時間的統計値として、加速度の平均値、相関値の平均値を算出する場合を例にして、具体的に説明する。 Now, the case where the average value of acceleration and the average value of correlation values are calculated as temporal statistical values will be described in detail.
(1)加速度の平均値
加速度の平均値は、人物が一定速度で動作する場合は値が小さくなる傾向があるが、速度が連続的に変化するケースにおいて、異常動作を判別するために有効である。
(1) Average value of acceleration The average value of acceleration tends to be small when a person moves at a constant speed, but it is effective for discriminating abnormal movement in cases where the speed changes continuously. is there.
フレーム(t)における計測点Qの空間上の座標位置をq(t)、1フレーム前の計測点Qの空間上の座標位置をq(t−1)とすると、計測点Qの動きベクトルの大きさVq(t)は、
Vq(t)=q(t)−q(t−1)
となる。
If the coordinate position in the space of the measurement point Q in the frame (t) is q (t), and the coordinate position in the space of the measurement point Q one frame before is q (t−1), the motion vector of the measurement point Q is The magnitude Vq (t) is
Vq (t) = q (t) -q (t-1)
It becomes.
また、2フレーム前の計測点Qの座標位置をq(t−2)とすると、計測点Qの動きベクトルの大きさVq(t−1)は、
Vq(t−1)=q(t−1)−q(t−2)
となる。
If the coordinate position of the measurement point Q two frames before is q (t−2), the magnitude Vq (t−1) of the motion vector at the measurement point Q is
Vq (t-1) = q (t-1) -q (t-2)
It becomes.
ここで、時刻tでの計測点Qの動きの変化つまり加速度をαq(t)とすると、以下のような式で求められる。 Here, assuming that the change in the movement of the measurement point Q at time t, that is, the acceleration is αq (t), the following equation is obtained.
αq(t)=Vq(t)−Vq(t−1)
また、時刻tでのn枚のフレーム間での加速度の平均値(時間軸上のn個の加速度を平均化した値)をMαqとすると、以下のような式で求められる。なお、Mαqは、q点の加速度αの平均値Mを示している。
αq (t) = Vq (t) −Vq (t−1)
Further, when an average value of accelerations between n frames at time t (a value obtained by averaging n accelerations on the time axis) is Mαq, the following equation is obtained. Mαq represents the average value M of the acceleration α at the point q.
Mαq=Σ(αqi)/n
但し、i=t〜(t−n+1),nはフレーム枚数。
Mαq = Σ (αqi) / n
However, i = t to (t−n + 1), n is the number of frames.
(2)相関値の平均値
フレーム間における動きベクトルの相関値の平均値は、暴れ量に反比例する。
(2) Average value of correlation values The average value of correlation values of motion vectors between frames is inversely proportional to the amount of rampage.
図6および図7に示すように、フレーム(t)における計測点QのベクトルをV1=(x1、y1)、大きさをdv1とし、フレーム(t−1)におけるベクトルをV2=(x2、y2)、大きさをdv2とする。 As shown in FIGS. 6 and 7, the vector of the measurement point Q in the frame (t) is V1 = (x1, y1), the magnitude is dv1, and the vector in the frame (t−1) is V2 = (x2, y2). ), And the size is dv2.
ここで、フレーム(t−1)のとフレーム(t)間における動きベクトルの方向成分の変化量(相関値)をcosθとすると、
cosθ=(x1x2+y1y2)/dv1dv2
となる。
Here, when the change amount (correlation value) of the direction component of the motion vector between the frame (t−1) and the frame (t) is cos θ,
cos θ = (x1x2 + y1y2) / dv1dv2
It becomes.
また、時刻tにおけるn枚のフレーム間での相関値の平均値(時間軸上のn個の相関値を平均化した値)をMcθqとすると、以下のような式で求められる。 Further, when Mcθq is an average value of correlation values between n frames at time t (a value obtained by averaging n correlation values on the time axis), the following equation is obtained.
Mcθq=Σ(cosθqi)/n
但し、i=t〜(t−n+1),nはフレーム枚数。
Mcθq = Σ (cosθqi) / n
However, i = t to (t−n + 1), n is the number of frames.
なお、この他に、例えば角速度(回転速度)や疑似角速度(疑似回転速度)の平均値を求めることでも良い。 In addition, for example, an average value of angular velocity (rotational speed) or pseudo angular velocity (pseudo rotational speed) may be obtained.
すなわち、角速度をω、時刻tにおけるn枚のフレーム間での角速度の平均値をMωqとすると、以下のように表せる。 That is, if the angular velocity is ω and the average value of the angular velocities between n frames at time t is Mωq, it can be expressed as follows.
ω=θ/t
Mωq=|Σ(θqi)|/n
但し、i=t〜(t−n+1),θは0〜180度,nはフレーム枚数。
ω = θ / t
Mωq = | Σ (θqi) | / n
However, i = t to (t−n + 1), θ is 0 to 180 degrees, and n is the number of frames.
また、疑似角速度は、図8に示すように、上記相関値cosθを変形し、暴れ量に比例させることで求められる。時刻tでの疑似角速度をCωq(t)、時刻tでの計測点Qの時間軸上のn個の疑似角速度の平均値をMCωqとすると、以下のように表せる。 Further, as shown in FIG. 8, the pseudo angular velocity is obtained by modifying the correlation value cos θ and making it proportional to the amount of rampage. Assuming that the pseudo angular velocity at time t is Cωq (t) and the average value of n pseudo angular velocities on the time axis of the measurement point Q at time t is MCωq, it can be expressed as follows.
Cωq(t)=1−COSθ
MCωq=|Σ(Cωqi)|/n
但し、i=t〜(t−n+1),θは0〜180度,nはフレーム枚数。
Cωq (t) = 1−COSθ
MCωq = | Σ (Cωqi) | / n
However, i = t to (t−n + 1), θ is 0 to 180 degrees, and n is the number of frames.
角速度ωや疑似角速度Cωの平均値は暴れ量に比例し、激しく方向転換を繰り返すような異常動作の場合に大きくなる傾向がある。 The average value of the angular velocity ω and the pseudo angular velocity Cω is proportional to the amount of rampage, and tends to increase in the case of abnormal operation that repeatedly changes direction.
次に、空間的統計値算出部14において、計測点Qの空間的統計値が算出される(ステップS15)。この空間的統計値は、計測点Qの空間的な広がりを表わすものであり、時間的統計値算出部13によって算出された統計値を用いて算出される。
Next, the spatial statistical
すなわち、q点の時間tにおける加速度αq(t)の時間軸上の平均値Mαqの画像全体の平均値をX1(t)とすると、以下のようにして求められる。
X1(t)=ΣMαq/m
但し、m=対象計測点全ての数,q=1〜m;計測点。
That is, when the average value of the average value Mαq on the time axis of the acceleration αq (t) at the time t at the q point is X1 (t), it can be obtained as follows.
X1 (t) = ΣMαq / m
However, m = number of all target measurement points, q = 1 to m; measurement points.
また、時間tにおける疑似角速度Cωq(t)の画像全体の平均値をX2(t)とすると、以下のようにして求められる。
X2(t)=ΣMcωq/m
但し、m=対象計測点全ての数,q=1〜m;計測点。
Further, when the average value of the entire image of the pseudo angular velocity Cωq (t) at time t is X2 (t), it is obtained as follows.
X2 (t) = ΣMcωq / m
However, m = number of all target measurement points, q = 1 to m; measurement points.
次に、評価値算出部15において、異常動作の評価値が算出される(ステップS16)。この評価値は、空間的統計値算出部14によって最終的に得られた統計値に所定の重み係数を乗じた一次式によって算出される。
Next, the evaluation
すなわち、時刻tでの異常動作の評価値をY(t)とすると、次のような一次関数式にて算出される。 That is, when the evaluation value of the abnormal operation at time t is Y (t), it is calculated by the following linear function equation.
Y(t)=a1*X1(t)+a2*X2(t)+a3*X3(t)+・・+b
ここで、X1(t),X2(t),X3(t)…は、空間的統計値算出部14によって得られる各時点tにおける統計値である。また、a1,a2,a3…は重み係数、bは定数である。
Y (t) = a1 * X1 (t) + a2 * X2 (t) + a3 * X3 (t) +.
Here, X1 (t), X2 (t), X3 (t)... Are statistical values at each time point t obtained by the spatial statistical
なお、重み係数は、予め異常動作画像(人が異常な動作をしているときに撮影した画像)と正常動作画像(人が定常的な動作をしているときに撮影した画像)から求められた統計値を重回帰分析や判別分析した結果に基づいて設定される。例えば異常と正常の2カテゴリに分けるだけであれば、判別分析の方が優れている。しかし、異常の大きさによって異常のレベルを設ける場合、分類は3以上となるので回帰分析が適している。実際には正常、異常レベル1、2、3の4カテゴリに分類している。
Note that the weighting coefficient is obtained in advance from an abnormal operation image (an image taken when a person is operating abnormally) and a normal operation image (an image taken when a person is performing a steady operation). The statistical value is set based on the result of multiple regression analysis or discriminant analysis. For example, if it is only divided into two categories of abnormal and normal, discriminant analysis is superior. However, when the level of abnormality is set according to the size of the abnormality, the classification is 3 or more, so regression analysis is suitable. Actually, it is classified into four categories of normal and
評価値算出部15にて算出された評価値Yは動作判定部16に与えられる。動作判定部16では、この評価値と予め設定された異常判定用の閾値とを比較して、異常動作の有無を判定する(ステップS17)。
The evaluation value Y calculated by the evaluation
この場合、図9および図10に示すように、閾値を瞬間的に超える動きは検出せずに、継続的に超える動きを検出するものとする。なお、図10の一点鎖線で示すように、若干の断絶があっても、閾値以上の時間を計測し、例えば5秒間のうちの3秒間が閾値を超えていれば検出することでも良い。動作判定部16は、評価値が閾値を超えた状態が所定時間以上経過した場合に(ステップS18のYes)、乗りかご21内で人が異常動作しているものと判定する(ステップS19)。
In this case, as shown in FIG. 9 and FIG. 10, it is assumed that the movement exceeding the threshold value is not detected, but the movement exceeding the threshold is detected continuously. Note that, as indicated by the one-dot chain line in FIG. 10, even if there is a slight break, a time longer than the threshold value may be measured and detected, for example, if 3 seconds out of 5 seconds exceed the threshold value. The
異常動作と判定されると、ビルの監視室にその旨の発報がなされると共に、乗りかご21が最寄階で停止して戸開するようになっている。
When it is determined that the operation is abnormal, a notification to that effect is given to the building monitoring room, and the
このように、少なくとも3枚以上の時系列画像から各点の加速度的な動きを求め、これらの点の時間的な変化と空間的な広がりに基づいて異常動作の判定を行うようにしたことで、乗りかご21内で人が暴れているときの微妙な動きをより正確に検出できる。
As described above, the acceleration movement of each point is obtained from at least three time-series images, and the abnormal operation is determined based on the temporal change and spatial spread of these points. Thus, it is possible to more accurately detect a subtle movement when a person is rampaging in the
すなわち、本発明の実施形態によれば、時間的統計算出部13にて各点の動きデータの時間的な変化を示す統計値を算出することにより、動きベクトルの大きさだけでは検出できなかった乗客の急激な動きを検出することができる。さらに、時間的統計算出部13に加えて、空間的統計算出部14にて画像全体における各点の動きデータの広がりを示す統計値を算出することで、ある時間にて1フレーム画像の中でどれくらいの比率で大きく変化しているのかを検出することができ、フレーム毎にある程度の比率をもって写っていることが予想される乗客の動きを正確に検出することができる。
That is, according to the embodiment of the present invention, the statistical value indicating the temporal change of the motion data of each point is calculated by the temporal
このように、時間的統計算出部13と空間的統計算出部14の両方を備えることで、乗客の急激な動きを暴れ動作としてより正確に検出することが可能となる。
Thus, by providing both the temporal
なお、従来のように2枚の画像を用いて各点の動き(各点の動きの向きと大きさ)を分析するだけの方法では、人が単に大きく動いたときにも暴れ動作と誤判定してしまう可能性があるが、本発明の方法を用いれば、このような誤判定をなくして、異常動作だけを高精度に検出することが可能となる。 Note that the conventional method of analyzing the movement of each point (the direction and magnitude of the movement of each point) using two images is erroneously determined as a violent action even when a person moves greatly. However, if the method of the present invention is used, it is possible to eliminate such erroneous determination and detect only an abnormal operation with high accuracy.
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。
第2の実施形態では、監視対象の撮影状況に応じて、評価値の算出に用いられる重み係数または異常動作の判定基準となる閾値を補正する構成としたものである。
(Second Embodiment)
Next, a second embodiment of the present invention will be described.
In the second embodiment, a weighting factor used for calculating an evaluation value or a threshold value that is a criterion for determining an abnormal operation is corrected in accordance with a shooting situation of a monitoring target.
図11は本発明の第2の実施形態に係る異常動作検出装置の構成を示すブロック図である。なお、上記第1の実施形態における図1の構成と同じ部分には同一符号を付して、その説明を省略するものとする。 FIG. 11 is a block diagram showing a configuration of an abnormal operation detecting apparatus according to the second embodiment of the present invention. In addition, the same code | symbol is attached | subjected to the same part as the structure of FIG. 1 in the said 1st Embodiment, and the description shall be abbreviate | omitted.
第2の実施形態において、異常動作検出装置には、図1の構成に加えて、荷重検出部31と補正部32が設けられている。荷重検出部31は、監視対象である乗りかご21の積載荷重を検出する。具体的には、乗りかご21の底部に荷重検出用のセンサを設置しておき、そのセンサの信号によって現在の荷重値を検出する。補正部32は、荷重検出部31によって検出された荷重値に基づいて、評価値算出部15で用いられる重み係数あるいは動作判定部16で用いられる閾値を最適値に補正する。
In the second embodiment, the abnormal operation detection device is provided with a
監視カメラ10で撮影された画像において、人が同じ動作をした場合でも、そのときに乗りかご21内に乗車している人の数によって異常動作の評価量Yの値が異なってくる。例えば図12(a),(b)に示すように、例えば乗りかご21内で人が1人で動いている場合と、2人で動いている場合とでは、2人で動いている場合の方が画像上の各点の動き量が大きくなるため、評価値の値が増加する傾向にある。
In the image taken by the monitoring
そこで、補正部32は、荷重検出部31によって検出された荷重値が標準値(例えば一人相当の荷重値)よりも大きい場合には、そのときの荷重値に応じて重み係数を段階的に下げるか、あるいは、閾値を段階的に上げる。これにより、乗車人数による評価値のばらつきを抑えて、異常動作をより正確に検出することが可能となる。
Therefore, when the load value detected by the
なお、監視カメラ10から被写体(異常動作の検出対象となる人物)までの距離によっても統計値は変化する。すなわち、図13(a),(b)に示すように、乗りかご21内において、監視カメラ10から被写体までの距離が近い場合と遠い場合とでは、同じ動作をしても、監視カメラ10に近い方が画像上の各点の動き量が大きくなるので、評価値は増加する。逆に、監視カメラ10から遠いほど、評価値は減少する傾向がある。
Note that the statistical value also changes depending on the distance from the monitoring
そこで、上記荷重検出部31とは別に、監視カメラ10から被写体までの距離を推定する距離推定部33を備え、この距離推定部33によって推定された距離に基づいて重み係数または閾値を補正する構成とする。
Therefore, in addition to the
なお、監視カメラ10から被写体までの距離を推定する方法として、予め無人のときに撮影した乗りかご21の基準画像と撮影画像との差分計算により変化部分の面積を求め、その変化部分の面積に基づいて推定する方法がある。この場合、変化部分の面積が大きいほど距離が近く、面積が小さいほど距離が遠いものと推定できる。
As a method for estimating the distance from the monitoring
補正部32は、距離推定部33によって推定された距離が標準値(例えばかご内の中央位置)よりも大きい場合には、そのときの長さに応じて重み係数の値を段階的に下げるか、あるいは、閾値を段階的に上げる。これにより、被写体までの距離による評価値のばらつきを抑えて、異常動作をより正確に検出することが可能となる。
If the distance estimated by the
なお、乗りかご21内に複数の人がいた場合に、これらの人と監視カメラ10との位置関係はほぼ同じであるものとする。これは、本実施形態では人物の暴れ検出を行うことを前提としているため、例えば乗りかご21内に2人の乗客がいた場合に、その2人のうちの一方が暴れている場合に両者が近接しているものと考えられるからである。
When there are a plurality of people in the
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。
第3の実施形態では、エレベータの乗りかごを監視対象とした場合に、その乗りかごのドアの開閉動作に基づいて異常動作の判定タイミングを制御する構成としたものである。
(Third embodiment)
Next, a third embodiment of the present invention will be described.
In the third embodiment, when an elevator car is a monitoring target, the determination timing of the abnormal operation is controlled based on the opening / closing operation of the door of the car.
図14は本発明の第3の実施形態に係る異常動作検出装置の構成を示すブロック図である。なお、上記第1の実施形態における図1の構成と同じ部分には同一符号を付して、その説明を省略するものとする。 FIG. 14 is a block diagram showing a configuration of an abnormal operation detecting apparatus according to the third embodiment of the present invention. In addition, the same code | symbol is attached | subjected to the same part as the structure of FIG. 1 in the said 1st Embodiment, and the description shall be abbreviate | omitted.
第3の実施形態において、異常動作検出装置には、図1の構成に加えて、ドア開閉検出部41と判定タイミング制御部42が設けられている。ドア開閉検出部41は、図2に示す乗りかご21のドア22の開閉動作を検出する。具体的には、ドア22の所定の箇所にドアセンサを設け、そのドアセンサの信号に基づいて開閉動作を検出する。
In the third embodiment, the abnormal operation detection device is provided with a door opening /
また、別の方法として、監視カメラ10によって撮影された画像からドア22の部分の画像を抽出し、その画像変化から開閉動作を検出することでも良い。
As another method, an image of a portion of the
乗りかご21のドア22が開いているときには人の出入りがあり、また、乗りかご21が密室状態でもないので、異常動作を検出する意味がない。そこで、ドア22が閉じてから次の目的階でドア22が開くまでの間だけ異常動作の検出を行うべく、ドア開閉検出部41にてドアの開閉動作を検出して、判定タイミング制御部42にて動作判定部16の動作を制御する。これにより、無駄な検出動作を抑え、乗りかご21が密室状態でるときにのみ異常動作の検出を効率的に行うことができる。
When the
なお、上記各実施形態では、監視対象としてエレベータの乗りかごを例にして説明したが、異常動作の検出を必要する閉空間であれば、その全てに適用可能である。 In each of the above-described embodiments, the elevator car has been described as an example of the monitoring target. However, the present invention can be applied to any closed space that requires detection of abnormal operation.
要するに、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の形態を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を省略してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 In short, the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the components without departing from the scope of the invention in the implementation stage. In addition, various forms can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be omitted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
10…監視カメラ、11…変化部分抽出部、12…動きデータ算出部、13…時間的統計値算出部、14…空間的統計値算出部、15…評価値算出部、16…動作判定部、21…乗りかご、22…ドア、23…操作盤、24…行き先階ボタン、25…戸開ボタン、26…戸閉ボタン、27…非常呼びボタン、31…荷重検出部、32…補正部、33…距離推定部、41…ドア開閉検出部、42…判定タイミング制御部。
DESCRIPTION OF
Claims (1)
この監視カメラによって撮影された少なくとも3枚以上の連続した画像を用いて、画像上の各点の加速度的な要素を含む動きデータを算出する動きデータ算出手段と、
この動きデータ算出手段によって算出された上記各画像の各点の動きデータの時間的な変化を表わす統計値を算出する第1の統計値算出手段と、
上記各画像の各点の動きデータの空間的な広がりを表わす統計値を算出する第2の統計値算出手段と、
上記第1および第2の統計値算出手段によって算出された統計値に所定の重み係数を乗じて、異常動作を判定するための評価値を算出する評価値算出手段と、
この評価値算出手段によって算出された評価値と予め設定された閾値とを比較し、上記評価値が上記閾値を超えた状態が所定時間継続した場合に上記監視エリアで人が異常動作しているものと判定する動作判定手段と、
上記監視カメラによって撮影された画像から上記乗りかごのドアの部分の画像を抽出し、その画像変化から上記乗りかごのドア開閉動作を検出するドア開閉検出手段と、
このドア開閉検出手段によって検出されたドアの開閉動作に基づいて、上記動作判定手段による異常動作の判定タイミングを制御する判定タイミング制御手段と、
を具備したことを特徴とする異常動作検出装置。 A surveillance camera that continuously photographs the inside of the elevator car as a surveillance area at predetermined frame intervals;
Motion data calculating means for calculating motion data including an acceleration element at each point on the image using at least three or more consecutive images captured by the monitoring camera;
First statistical value calculating means for calculating a statistical value representing a temporal change in the motion data of each point of each image calculated by the motion data calculating means;
Second statistical value calculating means for calculating a statistical value representing a spatial spread of the motion data of each point of each image;
An evaluation value calculating means for calculating an evaluation value for determining an abnormal operation by multiplying the statistical value calculated by the first and second statistical value calculating means by a predetermined weight coefficient;
The evaluation value calculated by the evaluation value calculation means is compared with a preset threshold value, and a person is abnormally operating in the monitoring area when the evaluation value exceeds the threshold value for a predetermined time. An operation determination means for determining a thing,
Door opening / closing detection means for extracting an image of the door portion of the car from the image taken by the monitoring camera and detecting the door opening / closing operation of the car from the image change ;
A determination timing control means for controlling the determination timing of the abnormal operation by the operation determination means based on the opening / closing operation of the door detected by the door opening / closing detection means;
An abnormal operation detecting device comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007283998A JP5334008B2 (en) | 2007-10-31 | 2007-10-31 | Abnormal operation detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007283998A JP5334008B2 (en) | 2007-10-31 | 2007-10-31 | Abnormal operation detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009110424A JP2009110424A (en) | 2009-05-21 |
JP5334008B2 true JP5334008B2 (en) | 2013-11-06 |
Family
ID=40778822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007283998A Active JP5334008B2 (en) | 2007-10-31 | 2007-10-31 | Abnormal operation detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5334008B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012153404A1 (en) * | 2011-05-11 | 2012-11-15 | 三菱電機株式会社 | Information processing device, information processing method, and program |
JP5842543B2 (en) * | 2011-11-02 | 2016-01-13 | コニカミノルタ株式会社 | Safety monitoring device |
JP5986689B2 (en) * | 2012-11-06 | 2016-09-06 | アルカテル−ルーセント | System and method for processing visual information for event detection |
WO2016085795A1 (en) * | 2014-11-26 | 2016-06-02 | Otis Elevator Company | Elevator security and control system based on passenger movement |
JP6901942B2 (en) * | 2017-09-06 | 2021-07-14 | 株式会社日立製作所 | Equipment abnormality cause estimation system |
WO2023286154A1 (en) * | 2021-07-13 | 2023-01-19 | 三菱電機ビルソリューションズ株式会社 | Operation determination device and control method |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2865774B2 (en) * | 1990-03-02 | 1999-03-08 | 株式会社日立製作所 | Image processing device |
JPH07134767A (en) * | 1993-11-10 | 1995-05-23 | Toshiba Corp | Monitoring device for intrusion of suspicious person |
JP2816310B2 (en) * | 1994-07-08 | 1998-10-27 | 株式会社日立製作所 | Object detection device in elevator car |
JPH0944759A (en) * | 1995-07-28 | 1997-02-14 | Oki Electric Ind Co Ltd | Monitoring device |
JP2002074369A (en) * | 2000-08-28 | 2002-03-15 | Ntt Data Corp | System and method for monitoring based on moving image and computer readable recording medium |
JP2003169319A (en) * | 2001-11-30 | 2003-06-13 | Mitsubishi Electric Corp | Image-monitoring apparatus |
JP3914973B2 (en) * | 2003-11-27 | 2007-05-16 | 防衛省技術研究本部長 | Image motion detection device |
JP4507243B2 (en) * | 2004-03-25 | 2010-07-21 | 独立行政法人理化学研究所 | Behavior analysis method and system |
JP4321471B2 (en) * | 2005-03-28 | 2009-08-26 | 三菱電機株式会社 | Rampage detection device |
JP4627711B2 (en) * | 2005-10-07 | 2011-02-09 | 日本電信電話株式会社 | Motion region detection system, motion region detection method, and motion region detection program |
JP4701100B2 (en) * | 2006-02-17 | 2011-06-15 | 株式会社日立製作所 | Abnormal behavior detection device |
-
2007
- 2007-10-31 JP JP2007283998A patent/JP5334008B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009110424A (en) | 2009-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10196241B2 (en) | Elevator system | |
EP2300949B1 (en) | Video-based system and method of elevator door detection | |
JP4663756B2 (en) | Abnormal behavior detection device | |
JP5334008B2 (en) | Abnormal operation detection device | |
CN108622776B (en) | Elevator riding detection system | |
JP4321471B2 (en) | Rampage detection device | |
JP5969147B1 (en) | Elevator boarding detection system | |
JP2020014210A (en) | Information processing system, information processing method, and program | |
JP6068694B1 (en) | Elevator boarding detection system | |
JP2009143722A (en) | Person tracking apparatus, person tracking method and person tracking program | |
US20070229663A1 (en) | Image processing apparatus, monitoring camera, and image monitoring system | |
JP6139729B1 (en) | Image processing device | |
WO2019220589A1 (en) | Video analysis device, video analysis method, and program | |
JP2015000807A (en) | Elevator control system and elevator control method | |
JP6271776B1 (en) | Elevator boarding detection system | |
JP2005126184A (en) | Control device of elevator | |
US8873804B2 (en) | Traffic monitoring device | |
JPWO2021176642A5 (en) | ||
KR101441107B1 (en) | Method and apparatus for determining abnormal behavior | |
JP6604821B2 (en) | Station surveillance camera system | |
US20220398765A1 (en) | Image analysis apparatus and monitoring system | |
JP2020135099A (en) | State recognition device | |
US20220405956A1 (en) | Monitoring system | |
CN116040432B (en) | Elevator image processing method, system and storage medium | |
WO2022029860A1 (en) | Moving body tracking system, moving body tracking device, program and moving body tracking method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101013 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120229 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120306 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120507 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121113 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130722 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5334008 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |