JP5334008B2

JP5334008B2 - Abnormal operation detection device

Info

Publication number: JP5334008B2
Application number: JP2007283998A
Authority: JP
Inventors: 知樹真榮里; 浩一石井; 眞吾関口; 洋光河村
Original assignee: Toshiba Elevator Co Ltd
Current assignee: Toshiba Elevator and Building Systems Corp
Priority date: 2007-10-31
Filing date: 2007-10-31
Publication date: 2013-11-06
Anticipated expiration: 2027-10-31
Also published as: JP2009110424A

Description

本発明は、例えばエレベータの乗りかごにおいて、監視カメラによって撮影された画像から人の異常な動作（暴れなど）を検出する異常動作検出装置に関する。 The present invention relates to an abnormal operation detection device that detects an abnormal operation (such as rampage) of a person from an image taken by a surveillance camera, for example, in an elevator car.

従来、監視カメラによって撮影された画像から人の異常な動作を検出する方法として、撮影画像から人の頭部などの身体の特定の部位を検出し、その特定の部位を時空間的に追跡するといった方法がある。しかしながら、この方法は、監視カメラによって身体の特定の部位を撮影することが必要となるため、エレベータの乗りかごのように、監視カメラの設置場所が制限される狭い閉空間では使えない。 Conventionally, as a method for detecting an abnormal movement of a person from an image taken by a surveillance camera, a specific part of the body such as a human head is detected from the photographed image, and the specific part is tracked in time and space. There is a method. However, since this method requires that a specific part of the body be photographed by the surveillance camera, it cannot be used in a narrow closed space where the installation location of the surveillance camera is limited, such as an elevator car.

そこで、エレベータでは、監視カメラによって撮影された２枚の画像を用い、画像上の各点の動きの向きや大きさを検出することによって、暴れ動作を判定する方法が用いられる（例えば、特許文献１参照）。
特開２００６−２７６９６９号公報 Therefore, in an elevator, a method of determining a rampage operation by using two images taken by a surveillance camera and detecting the direction and size of the movement of each point on the image is used (for example, patent document). 1).
JP 2006-276969 A

通常、暴れでない人の動きは定速運動であり、暴れているときに加速度運動になる。上記特許文献１のように、２枚の画像間で各点の動きを検出する方法では、このような加速度運動までを含めて詳細に人の動きを解析することはできない。このため、乗りかご内で人が単に大きな動きをすると、暴れ動作と誤判定してしまう可能性があり、精度的に問題があった。 Normally, the movement of a person who is not rampant is a constant speed movement, and when it is rampant, it becomes an acceleration movement. In the method of detecting the movement of each point between two images as in Patent Document 1, it is not possible to analyze the movement of a person in detail including the acceleration motion. For this reason, if a person simply makes a large movement in the car, there is a possibility that it will be erroneously determined as a violent movement, and there is a problem in accuracy.

本発明は上記のような点に鑑みなされたもので、監視カメラで撮影された画像を用いて人の異常動作を高精度に検出することのできる異常動作検出装置を提供することを目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to provide an abnormal operation detection device that can detect an abnormal operation of a person with high accuracy using an image taken by a surveillance camera. .

本発明に係る異常動作検出装置は、監視エリアとしてエレベータの載りかご内を所定フレーム間隔で連続撮影する監視カメラと、この監視カメラによって撮影された少なくとも３枚以上の連続した画像を用いて、画像上の各点の加速度的な要素を含む動きデータを算出する動きデータ算出手段と、この動きデータ算出手段によって算出された上記各画像の各点の動きデータの時間的な変化を表わす統計値を算出する第１の統計値算出手段と、上記各画像の各点の動きデータの空間的な広がりを表わす統計値を算出する第２の統計値算出手段と、上記第１および第２の統計値算出手段によって算出された統計値に所定の重み係数を乗じて、異常動作を判定するための評価値を算出する評価値算出手段と、この評価値算出手段によって算出された評価値と予め設定された閾値とを比較し、上記評価値が上記閾値を超えた状態が所定時間継続した場合に上記監視エリアで人が異常動作しているものと判定する動作判定手段と、上記監視カメラによって撮影された画像から上記乗りかごのドアの部分の画像を抽出し、その画像変化から上記乗りかごのドアの開閉動作を検出するドア開閉検出手段と、このドア開閉検出手段によって検出されたドアの開閉動作に基づいて、上記動作判定手段による異常動作の判定タイミングを制御する判定タイミング制御手段とを具備したことを特徴とする。 The abnormal operation detection apparatus according to the present invention uses a monitoring camera that continuously captures an elevator car as a monitoring area at predetermined frame intervals, and at least three or more consecutive images captured by the monitoring camera. A motion data calculating means for calculating motion data including an acceleration element at each point above, and a statistical value representing a temporal change in the motion data at each point of each image calculated by the motion data calculating means. A first statistical value calculating means for calculating; a second statistical value calculating means for calculating a statistical value representing a spatial spread of motion data at each point of each image; and the first and second statistical values. An evaluation value calculation means for calculating an evaluation value for determining abnormal operation by multiplying the statistical value calculated by the calculation means by a predetermined weighting factor, and calculated by this evaluation value calculation means Comparing the preset threshold value, and determines the operation determination means and that person is abnormal operation in the monitoring area when the state in which the evaluation value exceeds the threshold value continues for a predetermined time, the An image of the door part of the car is extracted from the image taken by the surveillance camera, and door opening / closing detecting means for detecting the opening / closing operation of the car door from the image change, and the door opening / closing detecting means And a determination timing control means for controlling the determination timing of the abnormal operation by the operation determination means based on the opening / closing operation of the door.

本発明によれば、少なくとも３枚以上の連続した画像を用いて各点の動きデータを算出すると共に、その動きデータを時間的および空間的に解析することで、人の異常動作を高精度に検出することができる。 According to the present invention, the motion data of each point is calculated using at least three or more consecutive images, and the motion data is analyzed temporally and spatially, so that abnormal human movements can be accurately performed. Can be detected.

以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１は本発明の第１の実施形態に係る異常動作検出装置の構成を示すブロック図である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is a block diagram showing a configuration of an abnormal operation detecting apparatus according to the first embodiment of the present invention.

図１に示すように、本実施形態における異常動作検出装置は、監視カメラ１０、変化部分抽出部１１、動きデータ算出部１２、時間的統計値算出部１３、空間的統計値算出部１４、評価値算出部１５、動作判定部１６を備える。 As shown in FIG. 1, the abnormal motion detection apparatus according to the present embodiment includes a monitoring camera 10, a change portion extraction unit 11, a motion data calculation unit 12, a temporal statistical value calculation unit 13, a spatial statistical value calculation unit 14, and an evaluation. A value calculation unit 15 and an operation determination unit 16 are provided.

監視カメラ１０は、監視エリアに設置され、その監視エリアの画像を所定フレーム間隔で連続撮影する。本実施形態では、図２に示すように、上記監視エリアとしてエレベータの乗りかご２１を想定している。 The monitoring camera 10 is installed in a monitoring area, and continuously captures images in the monitoring area at predetermined frame intervals. In the present embodiment, as shown in FIG. 2, an elevator car 21 is assumed as the monitoring area.

エレベータの乗りかご２１には、着床時に開閉するドア２２が設けられていると共に、そのドア２２の横に操作盤２３が設置されている。操作盤２３には、行き先階を指定するための行き先階ボタン２４の他、戸開を指示するための戸開ボタン２５、戸閉を指示するための戸閉ボタン２６などが配設されている。また、非常時に外部に連絡するための非常呼びボタン２７が配設されている。 The elevator car 21 is provided with a door 22 that opens and closes when landing, and an operation panel 23 is provided beside the door 22. In addition to the destination floor button 24 for designating the destination floor, the operation panel 23 is provided with a door opening button 25 for instructing door opening, a door closing button 26 for instructing door closing, and the like. . In addition, an emergency call button 27 is provided for contacting the outside in an emergency.

ここで、監視カメラ１０は、例えば乗りかご２１の天井面に設置される。なお、監視カメラ１０の設置場所は、天井面に限らず、乗りかご２１内の人の動きを監視できる場所であれば、どこでも良い。 Here, the surveillance camera 10 is installed on the ceiling surface of the car 21, for example. The installation location of the monitoring camera 10 is not limited to the ceiling surface, and may be any location as long as the movement of a person in the car 21 can be monitored.

変化部分抽出部１１は、監視カメラ１０によって撮影された各画像をフレーム単位で順に比較して、当該撮影画像の中で変化した部分（つまり、人が動いた部分）を抽出する。 The change portion extraction unit 11 sequentially compares each image captured by the monitoring camera 10 in units of frames, and extracts a changed portion (that is, a portion where a person has moved) in the captured image.

動きデータ算出部１２は、少なくとも３枚以上の連続した画像を用い、上記変化部分抽出部１１によって抽出された変化部分を処理対象として、画像上の各点の動きに関わるデータ（以下、「動きデータ」と称す）を算出する。上記動きデータとしては、「速度」，「加速度」，「角速度」，「相関値」，「近似角速度」などがある。 The motion data calculation unit 12 uses at least three or more continuous images, uses the change portion extracted by the change portion extraction unit 11 as a processing target, and data related to the motion of each point on the image (hereinafter, “motion”). Data)). Examples of the motion data include “velocity”, “acceleration”, “angular velocity”, “correlation value”, “approximate angular velocity”, and the like.

時間的統計値算出部１３は、動きデータ算出部１２によって算出された各点の動きデータの時間的な変化を示す統計値を算出する。詳しくは、所定枚数分の画像から時系列順に得られる各点の動きデータを時間軸方向に平均化あるいは分散化した値を時間的な統計値として算出する。 The temporal statistical value calculation unit 13 calculates a statistical value indicating a temporal change in the motion data of each point calculated by the motion data calculation unit 12. Specifically, a value obtained by averaging or dispersing the motion data of each point obtained from a predetermined number of images in chronological order in the time axis direction is calculated as a temporal statistical value.

空間的統計値算出部１４は、上記各点の動きデータの空間的な広がりを示す統計値を算出する。詳しくは、各画像の各点の動きデータを画像全体（フレームの画面全体）に渡って平均化あるいは分散化した値を空間的な統計値として算出する。 The spatial statistical value calculation unit 14 calculates a statistical value indicating the spatial spread of the motion data of each point. Specifically, a value obtained by averaging or distributing the motion data of each point of each image over the entire image (the entire frame screen) is calculated as a spatial statistical value.

評価値算出部１５は、時間的統計値算出部１３および空間的統計値算出部１４によって算出された統計値に所定の重み係数を乗じて、異常動作を判定するための評価値を算出する。 The evaluation value calculation unit 15 multiplies the statistical value calculated by the temporal statistical value calculation unit 13 and the spatial statistical value calculation unit 14 by a predetermined weighting factor to calculate an evaluation value for determining an abnormal operation.

動作判定部１６は、評価値算出部１５によって算出された評価値と予め設定された閾値とを比較して異常動作（暴れ）の判定を行う。詳しくは、評価値が閾値を超えた状態が所定時間継続している場合に異常動作と判定する。なお、異常動作の有無だけでなく、異常動作量とした連続した数値を出すことも可能である。 The operation determination unit 16 compares the evaluation value calculated by the evaluation value calculation unit 15 with a preset threshold value to determine abnormal operation (roughness). Specifically, the abnormal operation is determined when the state where the evaluation value exceeds the threshold value continues for a predetermined time. In addition to the presence or absence of abnormal operation, it is possible to output a continuous numerical value as the abnormal operation amount.

次に、本実施形態の動作を説明する。
図３は本実施形態における異常動作検出装置による処理の流れを示すフローチャートである。 Next, the operation of this embodiment will be described.
FIG. 3 is a flowchart showing the flow of processing by the abnormal operation detection apparatus in this embodiment.

まず、監視カメラ１０によって一定間隔（または間隔Ｔ）で連続的に撮影された各画像を時系列順に１枚ずつ取り込んでいく（ステップＳ１１）。なお、以下の「フレーム（ｔ）」のｔは、サンプリングＮｏを示している。また、フレームレートは通常は３０枚／秒をさす場合が多いが、１０枚／秒のように少なくても構わない。 First, each image taken continuously by the monitoring camera 10 at a constant interval (or interval T) is taken in time-sequential order (step S11). Note that t in the following “frame (t)” indicates a sampling number. The frame rate is usually 30 frames / second, but may be as low as 10 frames / second.

ここで、図４に示すように、変化部分抽出部１１において、撮影画像から人物や物の動きを抽出するため、フレーム（ｔ−１）とフレーム（ｔ）との差分計算を行い、変化している部分の画像を抽出する。図中のＡの部分が差分計算によって得られた変化部分の画像を示す。 Here, as shown in FIG. 4, the change portion extraction unit 11 performs a difference calculation between the frame (t−1) and the frame (t) in order to extract the movement of a person or an object from the captured image, and changes. Extract the part of the image. The portion A in the figure shows the image of the changed portion obtained by the difference calculation.

通常、図５に示すように、画像の中で処理対象とする点（以下、計測点と称す）の個数は、画像のサイズによって予め固定的に決められているが、上記変化部分だけを処理対象とすることで、後述する統計値の計算量を抑えることができる。 Usually, as shown in FIG. 5, the number of points to be processed (hereinafter referred to as measurement points) in the image is fixedly determined in advance according to the size of the image, but only the changed portion is processed. By making it a target, it is possible to suppress the amount of calculation of statistical values described later.

次に、動きデータ算出部１２において、現在の画像、１フレーム前の画像、２フレーム前の画像の少なくとも３枚以上の画像を用いて、上記変化部分抽出部１１によって絞り込まれた計測点の動きデータを求める（ステップＳ１３）。 Next, in the motion data calculation unit 12, the movement of the measurement points narrowed down by the change portion extraction unit 11 using at least three images of the current image, the image before one frame, and the image before two frames. Data is obtained (step S13).

上述したように、動きデータとは、「速度」，「加速度」，「角速度」，「相関値」などである。少なくとも３枚以上の画像を用いて動きデータを求めるのは、「速度」だけでなく、加速度的な要素も含めて算出するためである。すなわち、通常、暴れでない人の動きは定速運動をしているので、速度だけを調べても意味がない。そこで、３枚以上の画像を用いて、「加速度」を含む動きデータを算出するものとする。 As described above, the motion data includes “speed”, “acceleration”, “angular velocity”, “correlation value”, and the like. The reason why the motion data is obtained using at least three or more images is to calculate not only “speed” but also an acceleration factor. In other words, since the movement of a person who is not rampant usually moves at a constant speed, it is meaningless to examine only the speed. Therefore, it is assumed that motion data including “acceleration” is calculated using three or more images.

また、フレーム（ｔ−１）の画像上の計測点Ｑがフレーム（ｔ）の画像のどの位置に移動したかを推定する方法としては、以下のような方法を用いる。 Further, as a method for estimating the position of the measurement point Q on the image of the frame (t-1) moved to the image of the frame (t), the following method is used.

すなわち、ある計測点Ｑについて、フレーム（ｔ−１）の画像の一部を切り出したテンプレートを作成し、フレーム（ｔ）の計測点Ｑを中心として探索範囲を走査しながら類似度を計算する。そして、最も類似度が高い箇所を探し出すことで、フレーム（ｔ）後での位置を推定する。 That is, for a certain measurement point Q, a template in which a part of the image of the frame (t−1) is cut out is created, and the similarity is calculated while scanning the search range around the measurement point Q of the frame (t). Then, a position after the frame (t) is estimated by searching for a portion having the highest similarity.

次に、時間的統計値算出部１３において、計測点の時間的統計値が算出される（ステップＳ１４）。この時間的統計値は、計測点の動きデータをｎフレーム単位で平均化あるいは分散化することで求められる。 Next, the temporal statistical value calculation unit 13 calculates the temporal statistical value of the measurement point (step S14). This temporal statistical value is obtained by averaging or distributing the motion data of measurement points in units of n frames.

今、時間的統計値として、加速度の平均値、相関値の平均値を算出する場合を例にして、具体的に説明する。 Now, the case where the average value of acceleration and the average value of correlation values are calculated as temporal statistical values will be described in detail.

（１）加速度の平均値
加速度の平均値は、人物が一定速度で動作する場合は値が小さくなる傾向があるが、速度が連続的に変化するケースにおいて、異常動作を判別するために有効である。 (1) Average value of acceleration The average value of acceleration tends to be small when a person moves at a constant speed, but it is effective for discriminating abnormal movement in cases where the speed changes continuously. is there.

フレーム（ｔ）における計測点Ｑの空間上の座標位置をｑ（ｔ）、１フレーム前の計測点Ｑの空間上の座標位置をｑ（ｔ−１）とすると、計測点Ｑの動きベクトルの大きさＶｑ（ｔ）は、
Ｖｑ（ｔ）＝ｑ（ｔ）−ｑ（ｔ−１）
となる。 If the coordinate position in the space of the measurement point Q in the frame (t) is q (t), and the coordinate position in the space of the measurement point Q one frame before is q (t−1), the motion vector of the measurement point Q is The magnitude Vq (t) is
Vq (t) = q (t) -q (t-1)
It becomes.

また、２フレーム前の計測点Ｑの座標位置をｑ（ｔ−２）とすると、計測点Ｑの動きベクトルの大きさＶｑ（ｔ−１）は、
Ｖｑ（ｔ−１）＝ｑ（ｔ−１）−ｑ（ｔ−２）
となる。 If the coordinate position of the measurement point Q two frames before is q (t−2), the magnitude Vq (t−1) of the motion vector at the measurement point Q is
Vq (t-1) = q (t-1) -q (t-2)
It becomes.

ここで、時刻ｔでの計測点Ｑの動きの変化つまり加速度をαｑ（ｔ）とすると、以下のような式で求められる。 Here, assuming that the change in the movement of the measurement point Q at time t, that is, the acceleration is αq (t), the following equation is obtained.

αｑ（ｔ）＝Ｖｑ（ｔ）−Ｖｑ（ｔ−１）
また、時刻ｔでのｎ枚のフレーム間での加速度の平均値（時間軸上のｎ個の加速度を平均化した値）をＭαｑとすると、以下のような式で求められる。なお、Ｍαｑは、ｑ点の加速度αの平均値Ｍを示している。 αq (t) = Vq (t) −Vq (t−1)
Further, when an average value of accelerations between n frames at time t (a value obtained by averaging n accelerations on the time axis) is Mαq, the following equation is obtained. Mαq represents the average value M of the acceleration α at the point q.

Ｍαｑ＝Σ（αｑｉ）／ｎ
但し、ｉ＝ｔ〜（ｔ−ｎ＋１），ｎはフレーム枚数。 Mαq = Σ (αqi) / n
However, i = t to (t−n + 1), n is the number of frames.

（２）相関値の平均値
フレーム間における動きベクトルの相関値の平均値は、暴れ量に反比例する。 (2) Average value of correlation values The average value of correlation values of motion vectors between frames is inversely proportional to the amount of rampage.

図６および図７に示すように、フレーム（ｔ）における計測点ＱのベクトルをＶ１＝（ｘ１、ｙ１）、大きさをｄｖ１とし、フレーム（ｔ−１）におけるベクトルをＶ２＝（ｘ２、ｙ２）、大きさをｄｖ２とする。 As shown in FIGS. 6 and 7, the vector of the measurement point Q in the frame (t) is V1 = (x1, y1), the magnitude is dv1, and the vector in the frame (t−1) is V2 = (x2, y2). ), And the size is dv2.

ここで、フレーム（ｔ−１）のとフレーム（ｔ）間における動きベクトルの方向成分の変化量（相関値）をｃｏｓθとすると、
ｃｏｓθ＝（ｘ１ｘ２＋ｙ１ｙ２）／ｄｖ１ｄｖ２
となる。 Here, when the change amount (correlation value) of the direction component of the motion vector between the frame (t−1) and the frame (t) is cos θ,
cos θ = (x1x2 + y1y2) / dv1dv2
It becomes.

また、時刻ｔにおけるｎ枚のフレーム間での相関値の平均値（時間軸上のｎ個の相関値を平均化した値）をＭｃθｑとすると、以下のような式で求められる。 Further, when Mcθq is an average value of correlation values between n frames at time t (a value obtained by averaging n correlation values on the time axis), the following equation is obtained.

Ｍｃθｑ＝Σ（ｃｏｓθｑｉ）／ｎ
但し、ｉ＝ｔ〜（ｔ−ｎ＋１），ｎはフレーム枚数。 Mcθq = Σ (cosθqi) / n
However, i = t to (t−n + 1), n is the number of frames.

なお、この他に、例えば角速度（回転速度）や疑似角速度（疑似回転速度）の平均値を求めることでも良い。 In addition, for example, an average value of angular velocity (rotational speed) or pseudo angular velocity (pseudo rotational speed) may be obtained.

すなわち、角速度をω、時刻ｔにおけるｎ枚のフレーム間での角速度の平均値をＭωｑとすると、以下のように表せる。 That is, if the angular velocity is ω and the average value of the angular velocities between n frames at time t is Mωq, it can be expressed as follows.

ω＝θ／ｔ
Ｍωｑ＝｜Σ（θｑｉ）｜／ｎ
但し、ｉ＝ｔ〜（ｔ−ｎ＋１），θは０〜１８０度，ｎはフレーム枚数。 ω = θ / t
Mωq = | Σ (θqi) | / n
However, i = t to (t−n + 1), θ is 0 to 180 degrees, and n is the number of frames.

また、疑似角速度は、図８に示すように、上記相関値ｃｏｓθを変形し、暴れ量に比例させることで求められる。時刻ｔでの疑似角速度をＣωｑ（ｔ）、時刻ｔでの計測点Ｑの時間軸上のｎ個の疑似角速度の平均値をＭＣωｑとすると、以下のように表せる。 Further, as shown in FIG. 8, the pseudo angular velocity is obtained by modifying the correlation value cos θ and making it proportional to the amount of rampage. Assuming that the pseudo angular velocity at time t is Cωq (t) and the average value of n pseudo angular velocities on the time axis of the measurement point Q at time t is MCωq, it can be expressed as follows.

Ｃωｑ（ｔ）＝１−ＣＯＳθ
ＭＣωｑ＝｜Σ（Ｃωｑｉ）｜／ｎ
但し、ｉ＝ｔ〜（ｔ−ｎ＋１），θは０〜１８０度，ｎはフレーム枚数。 Cωq (t) = 1−COSθ
MCωq = | Σ (Cωqi) | / n
However, i = t to (t−n + 1), θ is 0 to 180 degrees, and n is the number of frames.

角速度ωや疑似角速度Ｃωの平均値は暴れ量に比例し、激しく方向転換を繰り返すような異常動作の場合に大きくなる傾向がある。 The average value of the angular velocity ω and the pseudo angular velocity Cω is proportional to the amount of rampage, and tends to increase in the case of abnormal operation that repeatedly changes direction.

次に、空間的統計値算出部１４において、計測点Ｑの空間的統計値が算出される（ステップＳ１５）。この空間的統計値は、計測点Ｑの空間的な広がりを表わすものであり、時間的統計値算出部１３によって算出された統計値を用いて算出される。 Next, the spatial statistical value calculation unit 14 calculates the spatial statistical value of the measurement point Q (step S15). This spatial statistical value represents the spatial extent of the measurement point Q, and is calculated using the statistical value calculated by the temporal statistical value calculation unit 13.

すなわち、ｑ点の時間ｔにおける加速度αｑ（ｔ）の時間軸上の平均値Ｍαｑの画像全体の平均値をＸ１（ｔ）とすると、以下のようにして求められる。
Ｘ１（ｔ）＝ΣＭαｑ／ｍ
但し、ｍ＝対象計測点全ての数，ｑ＝１〜ｍ；計測点。 That is, when the average value of the average value Mαq on the time axis of the acceleration αq (t) at the time t at the q point is X1 (t), it can be obtained as follows.
X1 (t) = ΣMαq / m
However, m = number of all target measurement points, q = 1 to m; measurement points.

また、時間ｔにおける疑似角速度Ｃωｑ（ｔ）の画像全体の平均値をＸ２（ｔ）とすると、以下のようにして求められる。
Ｘ２（ｔ）＝ΣＭｃωｑ／ｍ
但し、ｍ＝対象計測点全ての数，ｑ＝１〜ｍ；計測点。 Further, when the average value of the entire image of the pseudo angular velocity Cωq (t) at time t is X2 (t), it is obtained as follows.
X2 (t) = ΣMcωq / m
However, m = number of all target measurement points, q = 1 to m; measurement points.

次に、評価値算出部１５において、異常動作の評価値が算出される（ステップＳ１６）。この評価値は、空間的統計値算出部１４によって最終的に得られた統計値に所定の重み係数を乗じた一次式によって算出される。 Next, the evaluation value calculation unit 15 calculates an evaluation value of abnormal operation (step S16). This evaluation value is calculated by a linear expression obtained by multiplying the statistical value finally obtained by the spatial statistical value calculation unit 14 by a predetermined weight coefficient.

すなわち、時刻ｔでの異常動作の評価値をＹ（ｔ）とすると、次のような一次関数式にて算出される。 That is, when the evaluation value of the abnormal operation at time t is Y (t), it is calculated by the following linear function equation.

Ｙ（ｔ）＝ａ１＊Ｘ１（ｔ）＋ａ２＊Ｘ２（ｔ）＋ａ３＊Ｘ３（ｔ）＋・・＋ｂ
ここで、Ｘ１（ｔ），Ｘ２（ｔ），Ｘ３（ｔ）…は、空間的統計値算出部１４によって得られる各時点ｔにおける統計値である。また、ａ１，ａ２，ａ３…は重み係数、ｂは定数である。 Y (t) = a1 * X1 (t) + a2 * X2 (t) + a3 * X3 (t) +.
Here, X1 (t), X2 (t), X3 (t)... Are statistical values at each time point t obtained by the spatial statistical value calculation unit 14. Further, a1, a2, a3... Are weighting factors, and b is a constant.

なお、重み係数は、予め異常動作画像（人が異常な動作をしているときに撮影した画像）と正常動作画像（人が定常的な動作をしているときに撮影した画像）から求められた統計値を重回帰分析や判別分析した結果に基づいて設定される。例えば異常と正常の２カテゴリに分けるだけであれば、判別分析の方が優れている。しかし、異常の大きさによって異常のレベルを設ける場合、分類は３以上となるので回帰分析が適している。実際には正常、異常レベル１、２、３の４カテゴリに分類している。 Note that the weighting coefficient is obtained in advance from an abnormal operation image (an image taken when a person is operating abnormally) and a normal operation image (an image taken when a person is performing a steady operation). The statistical value is set based on the result of multiple regression analysis or discriminant analysis. For example, if it is only divided into two categories of abnormal and normal, discriminant analysis is superior. However, when the level of abnormality is set according to the size of the abnormality, the classification is 3 or more, so regression analysis is suitable. Actually, it is classified into four categories of normal and abnormal levels 1, 2, and 3.

評価値算出部１５にて算出された評価値Ｙは動作判定部１６に与えられる。動作判定部１６では、この評価値と予め設定された異常判定用の閾値とを比較して、異常動作の有無を判定する（ステップＳ１７）。 The evaluation value Y calculated by the evaluation value calculation unit 15 is given to the operation determination unit 16. The operation determination unit 16 compares the evaluation value with a preset abnormality determination threshold value to determine whether or not there is an abnormal operation (step S17).

この場合、図９および図１０に示すように、閾値を瞬間的に超える動きは検出せずに、継続的に超える動きを検出するものとする。なお、図１０の一点鎖線で示すように、若干の断絶があっても、閾値以上の時間を計測し、例えば５秒間のうちの３秒間が閾値を超えていれば検出することでも良い。動作判定部１６は、評価値が閾値を超えた状態が所定時間以上経過した場合に（ステップＳ１８のＹｅｓ）、乗りかご２１内で人が異常動作しているものと判定する（ステップＳ１９）。 In this case, as shown in FIG. 9 and FIG. 10, it is assumed that the movement exceeding the threshold value is not detected, but the movement exceeding the threshold is detected continuously. Note that, as indicated by the one-dot chain line in FIG. 10, even if there is a slight break, a time longer than the threshold value may be measured and detected, for example, if 3 seconds out of 5 seconds exceed the threshold value. The operation determination unit 16 determines that a person is operating abnormally in the car 21 when the evaluation value exceeds the threshold value for a predetermined time or longer (Yes in step S18) (step S19).

異常動作と判定されると、ビルの監視室にその旨の発報がなされると共に、乗りかご２１が最寄階で停止して戸開するようになっている。 When it is determined that the operation is abnormal, a notification to that effect is given to the building monitoring room, and the car 21 stops at the nearest floor and opens.

このように、少なくとも３枚以上の時系列画像から各点の加速度的な動きを求め、これらの点の時間的な変化と空間的な広がりに基づいて異常動作の判定を行うようにしたことで、乗りかご２１内で人が暴れているときの微妙な動きをより正確に検出できる。 As described above, the acceleration movement of each point is obtained from at least three time-series images, and the abnormal operation is determined based on the temporal change and spatial spread of these points. Thus, it is possible to more accurately detect a subtle movement when a person is rampaging in the car 21.

すなわち、本発明の実施形態によれば、時間的統計算出部１３にて各点の動きデータの時間的な変化を示す統計値を算出することにより、動きベクトルの大きさだけでは検出できなかった乗客の急激な動きを検出することができる。さらに、時間的統計算出部１３に加えて、空間的統計算出部１４にて画像全体における各点の動きデータの広がりを示す統計値を算出することで、ある時間にて１フレーム画像の中でどれくらいの比率で大きく変化しているのかを検出することができ、フレーム毎にある程度の比率をもって写っていることが予想される乗客の動きを正確に検出することができる。 That is, according to the embodiment of the present invention, the statistical value indicating the temporal change of the motion data of each point is calculated by the temporal statistical calculation unit 13 and thus cannot be detected only by the magnitude of the motion vector. Rapid movement of passengers can be detected. Further, in addition to the temporal statistical calculation unit 13, the spatial statistical calculation unit 14 calculates a statistical value indicating the spread of the motion data of each point in the entire image, so that one frame image can be obtained at a certain time. It is possible to detect how much the ratio is changing greatly, and it is possible to accurately detect the movement of the passenger expected to be captured at a certain ratio for each frame.

このように、時間的統計算出部１３と空間的統計算出部１４の両方を備えることで、乗客の急激な動きを暴れ動作としてより正確に検出することが可能となる。 Thus, by providing both the temporal statistical calculation unit 13 and the spatial statistical calculation unit 14, it is possible to more accurately detect a sudden movement of a passenger as a rampage operation.

なお、従来のように２枚の画像を用いて各点の動き（各点の動きの向きと大きさ）を分析するだけの方法では、人が単に大きく動いたときにも暴れ動作と誤判定してしまう可能性があるが、本発明の方法を用いれば、このような誤判定をなくして、異常動作だけを高精度に検出することが可能となる。 Note that the conventional method of analyzing the movement of each point (the direction and magnitude of the movement of each point) using two images is erroneously determined as a violent action even when a person moves greatly. However, if the method of the present invention is used, it is possible to eliminate such erroneous determination and detect only an abnormal operation with high accuracy.

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
第２の実施形態では、監視対象の撮影状況に応じて、評価値の算出に用いられる重み係数または異常動作の判定基準となる閾値を補正する構成としたものである。 (Second Embodiment)
Next, a second embodiment of the present invention will be described.
In the second embodiment, a weighting factor used for calculating an evaluation value or a threshold value that is a criterion for determining an abnormal operation is corrected in accordance with a shooting situation of a monitoring target.

図１１は本発明の第２の実施形態に係る異常動作検出装置の構成を示すブロック図である。なお、上記第１の実施形態における図１の構成と同じ部分には同一符号を付して、その説明を省略するものとする。 FIG. 11 is a block diagram showing a configuration of an abnormal operation detecting apparatus according to the second embodiment of the present invention. In addition, the same code | symbol is attached | subjected to the same part as the structure of FIG. 1 in the said 1st Embodiment, and the description shall be abbreviate | omitted.

第２の実施形態において、異常動作検出装置には、図１の構成に加えて、荷重検出部３１と補正部３２が設けられている。荷重検出部３１は、監視対象である乗りかご２１の積載荷重を検出する。具体的には、乗りかご２１の底部に荷重検出用のセンサを設置しておき、そのセンサの信号によって現在の荷重値を検出する。補正部３２は、荷重検出部３１によって検出された荷重値に基づいて、評価値算出部１５で用いられる重み係数あるいは動作判定部１６で用いられる閾値を最適値に補正する。 In the second embodiment, the abnormal operation detection device is provided with a load detection unit 31 and a correction unit 32 in addition to the configuration of FIG. The load detection unit 31 detects the loaded load of the car 21 that is a monitoring target. Specifically, a load detection sensor is installed at the bottom of the car 21, and the current load value is detected by a signal from the sensor. Based on the load value detected by the load detection unit 31, the correction unit 32 corrects the weighting coefficient used in the evaluation value calculation unit 15 or the threshold used in the operation determination unit 16 to an optimum value.

監視カメラ１０で撮影された画像において、人が同じ動作をした場合でも、そのときに乗りかご２１内に乗車している人の数によって異常動作の評価量Ｙの値が異なってくる。例えば図１２（ａ），（ｂ）に示すように、例えば乗りかご２１内で人が１人で動いている場合と、２人で動いている場合とでは、２人で動いている場合の方が画像上の各点の動き量が大きくなるため、評価値の値が増加する傾向にある。 In the image taken by the monitoring camera 10, even if a person performs the same operation, the value of the abnormal operation evaluation amount Y varies depending on the number of people who are in the car 21 at that time. For example, as shown in FIGS. 12 (a) and 12 (b), for example, when one person is moving in the car 21 and when two persons are moving, two persons are moving. However, since the amount of movement of each point on the image becomes larger, the evaluation value tends to increase.

そこで、補正部３２は、荷重検出部３１によって検出された荷重値が標準値（例えば一人相当の荷重値）よりも大きい場合には、そのときの荷重値に応じて重み係数を段階的に下げるか、あるいは、閾値を段階的に上げる。これにより、乗車人数による評価値のばらつきを抑えて、異常動作をより正確に検出することが可能となる。 Therefore, when the load value detected by the load detection unit 31 is larger than a standard value (for example, a load value equivalent to one person), the correction unit 32 decreases the weighting factor stepwise according to the load value at that time. Alternatively, the threshold value is raised step by step. As a result, it is possible to more accurately detect abnormal operations while suppressing variations in evaluation values depending on the number of passengers.

なお、監視カメラ１０から被写体（異常動作の検出対象となる人物）までの距離によっても統計値は変化する。すなわち、図１３（ａ），（ｂ）に示すように、乗りかご２１内において、監視カメラ１０から被写体までの距離が近い場合と遠い場合とでは、同じ動作をしても、監視カメラ１０に近い方が画像上の各点の動き量が大きくなるので、評価値は増加する。逆に、監視カメラ１０から遠いほど、評価値は減少する傾向がある。 Note that the statistical value also changes depending on the distance from the monitoring camera 10 to the subject (the person who is the target of the abnormal motion detection). That is, as shown in FIGS. 13A and 13B, even if the same operation is performed in the car 21 when the distance from the monitoring camera 10 to the subject is short, the same operation is performed on the monitoring camera 10. Since the amount of movement of each point on the image increases as the distance increases, the evaluation value increases. Conversely, the evaluation value tends to decrease as the distance from the monitoring camera 10 increases.

そこで、上記荷重検出部３１とは別に、監視カメラ１０から被写体までの距離を推定する距離推定部３３を備え、この距離推定部３３によって推定された距離に基づいて重み係数または閾値を補正する構成とする。 Therefore, in addition to the load detection unit 31, a distance estimation unit 33 that estimates the distance from the monitoring camera 10 to the subject is provided, and a weighting coefficient or a threshold value is corrected based on the distance estimated by the distance estimation unit 33. And

なお、監視カメラ１０から被写体までの距離を推定する方法として、予め無人のときに撮影した乗りかご２１の基準画像と撮影画像との差分計算により変化部分の面積を求め、その変化部分の面積に基づいて推定する方法がある。この場合、変化部分の面積が大きいほど距離が近く、面積が小さいほど距離が遠いものと推定できる。 As a method for estimating the distance from the monitoring camera 10 to the subject, the area of the changed portion is obtained by calculating the difference between the reference image and the captured image of the car 21 taken in advance when there is no person, and the area of the changed portion is calculated. There is a method to estimate based on. In this case, it can be estimated that the larger the area of the changed portion is, the closer the distance is, and the smaller the area is, the farther the distance is.

補正部３２は、距離推定部３３によって推定された距離が標準値（例えばかご内の中央位置）よりも大きい場合には、そのときの長さに応じて重み係数の値を段階的に下げるか、あるいは、閾値を段階的に上げる。これにより、被写体までの距離による評価値のばらつきを抑えて、異常動作をより正確に検出することが可能となる。 If the distance estimated by the distance estimation unit 33 is larger than the standard value (for example, the center position in the car), the correction unit 32 reduces the value of the weighting factor stepwise according to the length at that time. Alternatively, the threshold value is raised step by step. Thereby, it is possible to more accurately detect an abnormal operation while suppressing variations in evaluation values due to the distance to the subject.

なお、乗りかご２１内に複数の人がいた場合に、これらの人と監視カメラ１０との位置関係はほぼ同じであるものとする。これは、本実施形態では人物の暴れ検出を行うことを前提としているため、例えば乗りかご２１内に２人の乗客がいた場合に、その２人のうちの一方が暴れている場合に両者が近接しているものと考えられるからである。 When there are a plurality of people in the car 21, the positional relationship between these people and the monitoring camera 10 is substantially the same. This is based on the premise that a person's rampage is detected in the present embodiment. For example, when there are two passengers in the car 21, when one of the two passengers is rampant, This is because they are considered to be close.

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
第３の実施形態では、エレベータの乗りかごを監視対象とした場合に、その乗りかごのドアの開閉動作に基づいて異常動作の判定タイミングを制御する構成としたものである。 (Third embodiment)
Next, a third embodiment of the present invention will be described.
In the third embodiment, when an elevator car is a monitoring target, the determination timing of the abnormal operation is controlled based on the opening / closing operation of the door of the car.

図１４は本発明の第３の実施形態に係る異常動作検出装置の構成を示すブロック図である。なお、上記第１の実施形態における図１の構成と同じ部分には同一符号を付して、その説明を省略するものとする。 FIG. 14 is a block diagram showing a configuration of an abnormal operation detecting apparatus according to the third embodiment of the present invention. In addition, the same code | symbol is attached | subjected to the same part as the structure of FIG. 1 in the said 1st Embodiment, and the description shall be abbreviate | omitted.

第３の実施形態において、異常動作検出装置には、図１の構成に加えて、ドア開閉検出部４１と判定タイミング制御部４２が設けられている。ドア開閉検出部４１は、図２に示す乗りかご２１のドア２２の開閉動作を検出する。具体的には、ドア２２の所定の箇所にドアセンサを設け、そのドアセンサの信号に基づいて開閉動作を検出する。 In the third embodiment, the abnormal operation detection device is provided with a door opening / closing detection unit 41 and a determination timing control unit 42 in addition to the configuration of FIG. The door opening / closing detector 41 detects the opening / closing operation of the door 22 of the car 21 shown in FIG. Specifically, a door sensor is provided at a predetermined location of the door 22, and an opening / closing operation is detected based on a signal from the door sensor.

また、別の方法として、監視カメラ１０によって撮影された画像からドア２２の部分の画像を抽出し、その画像変化から開閉動作を検出することでも良い。 As another method, an image of a portion of the door 22 may be extracted from an image taken by the monitoring camera 10, and an opening / closing operation may be detected from the image change.

乗りかご２１のドア２２が開いているときには人の出入りがあり、また、乗りかご２１が密室状態でもないので、異常動作を検出する意味がない。そこで、ドア２２が閉じてから次の目的階でドア２２が開くまでの間だけ異常動作の検出を行うべく、ドア開閉検出部４１にてドアの開閉動作を検出して、判定タイミング制御部４２にて動作判定部１６の動作を制御する。これにより、無駄な検出動作を抑え、乗りかご２１が密室状態でるときにのみ異常動作の検出を効率的に行うことができる。 When the door 22 of the car 21 is open, there is a person going in and out, and since the car 21 is not in a closed room state, there is no point in detecting an abnormal operation. Therefore, the door opening / closing detection unit 41 detects the opening / closing operation of the door so that the abnormal operation is detected only after the door 22 is closed until the door 22 is opened on the next destination floor. The operation of the operation determination unit 16 is controlled by. Thereby, useless detection operation can be suppressed and abnormal operation can be detected efficiently only when the car 21 is in a closed room.

なお、上記各実施形態では、監視対象としてエレベータの乗りかごを例にして説明したが、異常動作の検出を必要する閉空間であれば、その全てに適用可能である。 In each of the above-described embodiments, the elevator car has been described as an example of the monitoring target. However, the present invention can be applied to any closed space that requires detection of abnormal operation.

要するに、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の形態を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を省略してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 In short, the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the components without departing from the scope of the invention in the implementation stage. In addition, various forms can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be omitted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.

図１は本発明の第１の実施形態に係る異常動作検出装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of an abnormal operation detecting apparatus according to the first embodiment of the present invention. 図２は同実施形態における異常動作検出装置が監視対象とするエレベータの乗りかごの内部構成の一例を示す図である。FIG. 2 is a diagram illustrating an example of an internal configuration of an elevator car that is monitored by the abnormal operation detection device according to the embodiment. 図３は同実施形態における異常動作検出装置による処理の流れを示すフローチャートである。FIG. 3 is a flowchart showing the flow of processing by the abnormal operation detection apparatus in the embodiment. 図４は同実施形態におけるフレーム間の差分計算による変化部分の抽出方法を説明するための図である。FIG. 4 is a diagram for explaining a method for extracting a changed portion by calculating a difference between frames in the embodiment. 図５は同実施形態におけるフレーム間の差分計算による計測点の絞り込みを説明するための図である。FIG. 5 is a diagram for explaining the narrowing down of measurement points by the difference calculation between frames in the embodiment. 図６は同実施形態におけるフレーム間の動き検出を説明するための図である。FIG. 6 is a diagram for explaining motion detection between frames in the embodiment. 図７は同実施形態におけるフレーム間の動きベクトルを示す図である。FIG. 7 is a diagram showing motion vectors between frames in the same embodiment. 図８は同実施形態における疑似角速度Ｃωの算出方法を説明するための図である。FIG. 8 is a diagram for explaining a method of calculating the pseudo angular velocity Cω in the same embodiment. 図９は同実施形態における異常動作の判定方法を説明するための図であり、瞬間的な動きがあった場合の評価値の変化を示す図である。FIG. 9 is a diagram for explaining a method for determining an abnormal operation in the embodiment, and is a diagram illustrating a change in evaluation value when there is an instantaneous movement. 図１０は同実施形態における異常動作の判定方法を説明するための図であり、継続的な異常動作があった場合の評価値の変化を示す図である。FIG. 10 is a diagram for explaining a method for determining an abnormal operation in the embodiment, and is a diagram illustrating a change in evaluation value when there is a continuous abnormal operation. 図１１は本発明の第２の実施形態に係る異常動作検出装置の構成を示すブロック図である。FIG. 11 is a block diagram showing a configuration of an abnormal operation detecting apparatus according to the second embodiment of the present invention. 図１２は同実施形態における人数による評価値のばらつきを説明するための図である。FIG. 12 is a diagram for explaining variations in evaluation values depending on the number of people in the embodiment. 図１３は同実施形態における被写体までの距離による評価値のばらつきを説明するための図である。FIG. 13 is a diagram for explaining variations in evaluation values depending on the distance to the subject in the embodiment. 図１４は本発明の第３の実施形態に係る異常動作検出装置の構成を示すブロック図である。FIG. 14 is a block diagram showing a configuration of an abnormal operation detecting apparatus according to the third embodiment of the present invention.

符号の説明Explanation of symbols

１０…監視カメラ、１１…変化部分抽出部、１２…動きデータ算出部、１３…時間的統計値算出部、１４…空間的統計値算出部、１５…評価値算出部、１６…動作判定部、２１…乗りかご、２２…ドア、２３…操作盤、２４…行き先階ボタン、２５…戸開ボタン、２６…戸閉ボタン、２７…非常呼びボタン、３１…荷重検出部、３２…補正部、３３…距離推定部、４１…ドア開閉検出部、４２…判定タイミング制御部。 DESCRIPTION OF SYMBOLS 10 ... Surveillance camera, 11 ... Change part extraction part, 12 ... Motion data calculation part, 13 ... Temporal statistical value calculation part, 14 ... Spatial statistical value calculation part, 15 ... Evaluation value calculation part, 16 ... Motion determination part, DESCRIPTION OF SYMBOLS 21 ... Car, 22 ... Door, 23 ... Operation panel, 24 ... Destination floor button, 25 ... Door open button, 26 ... Door close button, 27 ... Emergency call button, 31 ... Load detection part, 32 ... Correction part, 33 ... distance estimation part, 41 ... door opening / closing detection part, 42 ... determination timing control part.

Claims

監視エリアとしてエレベータの乗りかご内を所定フレーム間隔で連続撮影する監視カメラと、
この監視カメラによって撮影された少なくとも３枚以上の連続した画像を用いて、画像上の各点の加速度的な要素を含む動きデータを算出する動きデータ算出手段と、
この動きデータ算出手段によって算出された上記各画像の各点の動きデータの時間的な変化を表わす統計値を算出する第１の統計値算出手段と、
上記各画像の各点の動きデータの空間的な広がりを表わす統計値を算出する第２の統計値算出手段と、
上記第１および第２の統計値算出手段によって算出された統計値に所定の重み係数を乗じて、異常動作を判定するための評価値を算出する評価値算出手段と、
この評価値算出手段によって算出された評価値と予め設定された閾値とを比較し、上記評価値が上記閾値を超えた状態が所定時間継続した場合に上記監視エリアで人が異常動作しているものと判定する動作判定手段と、
上記監視カメラによって撮影された画像から上記乗りかごのドアの部分の画像を抽出し、その画像変化から上記乗りかごのドア開閉動作を検出するドア開閉検出手段と、
このドア開閉検出手段によって検出されたドアの開閉動作に基づいて、上記動作判定手段による異常動作の判定タイミングを制御する判定タイミング制御手段と、
を具備したことを特徴とする異常動作検出装置。 A surveillance camera that continuously photographs the inside of the elevator car as a surveillance area at predetermined frame intervals;
Motion data calculating means for calculating motion data including an acceleration element at each point on the image using at least three or more consecutive images captured by the monitoring camera;
First statistical value calculating means for calculating a statistical value representing a temporal change in the motion data of each point of each image calculated by the motion data calculating means;
Second statistical value calculating means for calculating a statistical value representing a spatial spread of the motion data of each point of each image;
An evaluation value calculating means for calculating an evaluation value for determining an abnormal operation by multiplying the statistical value calculated by the first and second statistical value calculating means by a predetermined weight coefficient;
The evaluation value calculated by the evaluation value calculation means is compared with a preset threshold value, and a person is abnormally operating in the monitoring area when the evaluation value exceeds the threshold value for a predetermined time. An operation determination means for determining a thing,
Door opening / closing detection means for extracting an image of the door portion of the car from the image taken by the monitoring camera and detecting the door opening / closing operation of the car from the image change ;
A determination timing control means for controlling the determination timing of the abnormal operation by the operation determination means based on the opening / closing operation of the door detected by the door opening / closing detection means;
An abnormal operation detecting device comprising: