JP2013127716A - Abnormal state detection system for congestion - Google Patents
Abnormal state detection system for congestion Download PDFInfo
- Publication number
- JP2013127716A JP2013127716A JP2011277215A JP2011277215A JP2013127716A JP 2013127716 A JP2013127716 A JP 2013127716A JP 2011277215 A JP2011277215 A JP 2011277215A JP 2011277215 A JP2011277215 A JP 2011277215A JP 2013127716 A JP2013127716 A JP 2013127716A
- Authority
- JP
- Japan
- Prior art keywords
- congestion
- state
- detection system
- direction histogram
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、混雑の非通常状態検知システムに関し、特に、例えば駅の改札口やプラットホーム、駅内外の通路等のように多くの人が集まり移動する場所での人の流動状態を監視することにより混雑時の通常または非通常の状況判断を正確に行うことができる混雑の非通常状態検知システムに関するものである。 The present invention relates to a system for detecting an abnormal state of congestion, and in particular, by monitoring the flow state of people at a place where many people gather and move, such as a ticket gate of a station, a platform, and a passage inside and outside a station. The present invention relates to a congestion non-normal state detection system capable of accurately determining a normal or unusual situation at the time of congestion.
近年では、防犯や保安等の安全性の向上の観点から、街(繁華街等)の各所、店舗の付近、駅構内、道路や交差点等において監視カメラが設置され、不審者や不審物、異常な事態の発生を監視している。これらの監視システムは、通常は、監視カメラで取得された特定の監視場所の画像情報に基づいて、具体的には当該画像に写った人物や物の存在状態に基づいて正常または異常を判断するようにしている。この場合に判断主体は画像情報を視認する人間である。このような監視カメラによる不審者等の監視は、混雑した状況を想定しているものではなく、モニタ画面に表示される画像の上で人物や物が個別に認識できることを想定している。 In recent years, surveillance cameras have been installed in various places in towns (business districts, etc.), in the vicinity of stores, in station premises, on roads and intersections, etc., from the viewpoint of improving security such as crime prevention and security. Monitoring the occurrence of unusual situations. These monitoring systems usually determine normality or abnormality based on the image information of a specific monitoring location acquired by a monitoring camera, specifically based on the presence state of a person or an object shown in the image. I am doing so. In this case, the determination subject is a person who visually recognizes the image information. Such monitoring of a suspicious person or the like by a monitoring camera does not assume a crowded situation, but assumes that a person or an object can be individually recognized on an image displayed on a monitor screen.
ターミナル駅など多くの人が集まって移動する結果、混雑した状態が発生する場所での監視でも、基本的に上記の監視手法が主流である。他方、当該混雑した状態に係る画像(混雑シーン)において、各人物の移動の状態を追跡することでその移動軌跡を取得し、当該移動軌跡から各人物の行動の正常または異常を個別に認識する手法も提案されている。かかる移動軌跡を取得することは、異常な行動や、不審物の存在を見つけるための良い手懸かりになる。また異常検知装置等の従来の技術としては、下記の特許文献1,2に開示された技術が存在する。特許文献1,2のいずれも、混雑していない状態を想定した技術であり、混雑が発生する状態には適用することができない技術である。
The above monitoring method is basically the mainstream even when monitoring in a place where a crowded state occurs as a result of many people gathering and moving, such as a terminal station. On the other hand, in the image related to the crowded state (congested scene), the movement locus is obtained by tracking the movement state of each person, and the normal or abnormal behavior of each person is individually recognized from the movement locus. Techniques have also been proposed. Acquiring such a movement trajectory is a good clue for finding abnormal behavior and the presence of suspicious objects. Further, as conventional techniques such as an anomaly detection device, there are techniques disclosed in
監視カメラで得られる時系列の画像に基づいて、当該画像に写る人物の移動軌跡を取得することは不審者の情報を得る観点で望ましいことではあるが、人物の移動軌跡を正確に得ることは、オクルージョン(見え隠れ状態)、カメラ視野外への退出またはカメラ視野内への進入等が頻繁に起きるため、容易ではない。特に混雑な状態が発生する場所の監視では、オクルージョンが多く起こるため、各人物の移動軌跡の正確な取得は極めて困難である。そこで、特に、ターミナル駅など多くの人が集まって移動する結果、混雑した状態が発生する場所での監視において、より有効にその通常状態または非通常状態を検知できる手法が強く望まれている。 Although it is desirable from the viewpoint of obtaining information on a suspicious person based on a time-series image obtained by a surveillance camera, it is desirable to obtain a person's movement trajectory. , Occlusion (visible / hidden state), exiting from the camera field of view, or entering the camera field of view, etc. frequently occur, which is not easy. In particular, in the monitoring of a place where a crowded state occurs, a lot of occlusion occurs, and thus it is very difficult to accurately acquire the movement trajectory of each person. In view of this, there is a strong demand for a technique that can detect the normal state or the non-normal state more effectively in monitoring in a place where a crowded state occurs as a result of many people gathering and moving, such as a terminal station.
本発明の目的は、上記の課題に鑑み、多くの人が集まり移動する混雑が生じる特定の場所での人の流動状態に着目し、混雑時の通常または非通常の状況判断を正確に行うことができる混雑の非通常状態検知システムを提供することにある。 In view of the above-described problems, the object of the present invention is to focus on the flow state of a person in a specific place where crowding occurs where many people gather and move, and to accurately determine a normal or unusual situation at the time of congestion. It is an object of the present invention to provide a non-normal state detection system for congestion.
本発明に係る混雑の非通常状態検知システムは、上記の目的を達成するため、次のように構成される。 In order to achieve the above object, the congestion abnormal state detection system according to the present invention is configured as follows.
第1の混雑の非通常状態検知システム(請求項1に対応)は、
人が集まり移動する特定場所を撮影するカメラ(撮像装置)と、
カメラの撮影で取得された特定場所に係る画像データで、当該画像に係る領域を少なくとも2つの区画に分割する分割手段と、
各区画毎でオプティカルフローを計算するオプティカルフロー演算部(第1演算手段)と、
各区画毎で、オプティカルフローについて方向ヒストグラムを計算する方向ヒストグラム演算部(第2演算手段)と、
各区画毎、撮影および演算により取得された方向ヒストグラムと予め用意された通常状態に係る方向ヒストグラムとを比較する比較部と、
比較部による各区画毎の比較結果と比較基準値とに基づき非通常状態であるか否かを判断する判断部と、
判断部で非通常状態であると判断されたときに通報を行う出力装置(通報手段)と、
を備えるによって構成される。
The first congestion non-normal state detection system (corresponding to claim 1)
A camera (imaging device) that captures a specific place where people gather and move;
A dividing unit that divides an area related to the image into at least two sections in the image data related to the specific place acquired by the camera shooting;
An optical flow calculation unit (first calculation means) for calculating an optical flow for each section;
A direction histogram calculation unit (second calculation means) for calculating a direction histogram for the optical flow for each section;
A comparison unit that compares a direction histogram acquired by photographing and calculation with each direction, a direction histogram according to a normal state prepared in advance,
A determination unit that determines whether or not the non-normal state based on a comparison result and a comparison reference value for each section by the comparison unit;
An output device (notification means) for reporting when it is determined that the determination unit is in an abnormal state;
It comprises by comprising.
上記の混雑の非通常状態検知システムでは、混雑が生じる場所についての監視画像データにおいて、オプティカルフローを求めて人の流動状態に係る情報を取得し、この流動状態に係る情報からさらに流動状態の特性情報(例えば方向ヒストグラム)を取得し、この流動状態の特性情報を、予め用意された通常状態の流動状態の特性情報と比較することにより、監視画像データで得た混雑シーンの状態が通常であるかまたは非通常であるかを判断し、非通常であると判断された場合には、通報を発するように構成される。混雑シーンの通常または非通常の判断に対して人の流動状態を監視し解析するという手法を採用したため、混雑状態の通常または非通常(異常を含む)を的確に判断することができる。 In the above-described congestion non-normal state detection system, in the monitoring image data about the place where the congestion occurs, information on the flow state of the person is obtained by obtaining the optical flow, and the flow state characteristics are further obtained from the information on the flow state. By acquiring information (for example, a direction histogram) and comparing the flow state characteristic information with the flow state characteristic information prepared in advance, the state of the crowded scene obtained from the monitoring image data is normal. It is configured to issue a notification if it is determined to be abnormal or non-normal. Since a method of monitoring and analyzing a person's flow state in response to a normal or abnormal determination of a crowded scene is adopted, it is possible to accurately determine whether the congestion state is normal or abnormal (including abnormality).
第2の混雑の非通常状態検知システム(請求項2に対応)は、上記の構成において、好ましくは、予め用意された通常状態に係る方向ヒストグラムおよび比較基準値のいずれか一方または両方に、曜日・時間帯に係る情報、イベントに係る情報、事故または故障に係る情報、自然災害に係る情報の少なくとも一つを条件として反映させたことを特徴としている。 In the second congestion non-normal state detection system (corresponding to claim 2), the day of the week is preferably included in one or both of the direction histogram and the comparison reference value according to the normal state prepared in advance. -It is characterized by reflecting as a condition at least one of time-related information, event-related information, accident / failure-related information, and natural disaster-related information.
第3の混雑の非通常状態検知システム(請求項3に対応)は、上記の構成において、好ましくは、予め用意された通常状態に係る方向ヒストグラムおよび比較基準値のいずれか一方または両方に、鉄道を含む交通機関の運行情報を条件として反映させたことを特徴としている。 In the third congestion non-normal state detection system (corresponding to claim 3), in the configuration described above, preferably, either one or both of the direction histogram and the comparison reference value relating to the normal state prepared in advance are used for the railway. It is characterized by reflecting the operation information of transportation including
第4の混雑の非通常状態検知システム(請求項4に対応)は、上記の構成において、好ましくは、特定場所は駅改札口または駅構内であることを特徴としている。 In a fourth congestion non-normal state detection system (corresponding to claim 4), the specific place is preferably a station ticket gate or a station premises.
本発明によれば、次の効果を奏する。
第1に、混雑場所の監視画像データについてフレーム全体でのオプティカルフローを求めて人の流動状態に係る情報を取得し、この流動状態に係る情報からさらに流動状態の特性情報を取得し、この流動状態の特性情報を、予め用意された通常状態の流動状態の特性情報と比較することにより、監視画像データで得た混雑シーンの状態が通常であるかまたは非通常であるかを判断するようにしたため、混雑状態の非通常状態を正確に検知することができる。さらに、非通常状態のときには通報を迅速に行うことにより、運営管理上、安全性を高めることができる。
第2に、判断に使用される通常状態に係る方向ヒストグラム、比較基準値に、曜日・時間帯に係る情報、イベントに係る情報、事故または故障に係る情報、自然災害に係る情報の少なくとも一つ、または鉄道を含む交通機関の運行情報を、条件として反映させるようにしたため、混雑原因を含めて混雑シーンの非通常状態を正確に検知することができる。
第3に、本発明に係る混雑の非通常状態検知システムを、駅改札口等に適用することにより、鉄道の運営管理においてより安全性を高めることができる。
The present invention has the following effects.
First, with regard to monitoring image data of a crowded place, an optical flow for the entire frame is obtained to obtain information related to the flow state of the person, and flow state characteristic information is further acquired from the information related to the flow state. By comparing the state characteristic information with the flow state characteristic information prepared in advance, it is determined whether the state of the crowded scene obtained from the monitoring image data is normal or abnormal. Therefore, it is possible to accurately detect the non-normal state of the congestion state. Furthermore, safety can be improved in terms of operation and management by promptly reporting in an abnormal state.
Secondly, at least one of the direction histogram related to the normal state used for the judgment, the comparison reference value, the information related to the day of the week / time zone, the information related to the event, the information related to the accident or failure, and the information related to the natural disaster In addition, since the operation information of the transportation facility including the railway is reflected as a condition, it is possible to accurately detect the non-normal state of the congestion scene including the cause of the congestion.
Thirdly, by applying the congestion abnormal state detection system according to the present invention to a station ticket gate or the like, safety can be further improved in railway operation and management.
以下に、本発明の好適な実施形態(実施例)を添付図面に基づいて説明する。 DESCRIPTION OF EMBODIMENTS Preferred embodiments (examples) of the present invention will be described below with reference to the accompanying drawings.
図1を参照して、本実施形態に係る混雑の非通常状態検知システム100の構成を説明する。11は監視用のカメラ(撮像装置)である。カメラ11は、混雑が生じる可能性の高い特定の場所を撮影するように設置されている。混雑が生じる可能性の高い場所とは、多くの人が集まり移動する場所であり、例えば、ターミナル駅の改札口やプラットホーム、駅内外の通路、あるいは繁華街の各所、コンビニ店舗の付近、道路や交差点等である。この実施形態では駅に適用された例で説明する。カメラ11は、定点監視用カメラとして、所定の時間間隔で、当該特定場所における監視対象の画像を撮影し、取得する。カメラ11で取得された監視画像に係るデータは、流動認識部12に転送される。混雑の非通常状態検知システム100において、流動認識部12は、カメラ11で定期的に取得された監視画像データに基づいて、当該監視画像データで得られる流動(混雑の状態を生じさせる多数の人の移動の流れ)を認識し、この流動認識に基づいて、生じた混雑状態が通常の混雑であるか、または非通常(異常)の混雑であるかを判断し、非通常の混雑であると判断したときには通報を行うように動作する。
With reference to FIG. 1, the structure of the congestion unusual state detection system 100 which concerns on this embodiment is demonstrated.
流動認識部12は、ハードウェア的にはCPUとメモリで構成され、メモリに格納された流動認識プログラムを読み出して実行することにより、流動認識の機能を実現する。流動認識部12は、監視画像に係るデータにおいて、監視画像中に含まれる各人物画像の移動軌跡を得るものではなく、混雑を形成する多数の人物の存在を流動として処理して認識する機能を有している。
The
流動認識部12は、流動認識を行うため、監視画像全体の中の多数のオプティカルフローを計算するオプティカルフロー演算部21と、監視画像のフレームを、複数のブロックに分割し、および少なくとも2つの区画に分割するブロック/区画分割部22と、2つの区画の各々ですべてのオプティカルフローについてフロー方向に係る方向ヒストグラムを計算して求める方向ヒストグラム演算部23と、各区画において生成した方向ヒストグラムと「通常状態に係る方向ヒストグラム」とを比較する比較部24と、比較部24による比較結果と比較基準値とに基づいて生成した方向ヒストグラムに関して通常または非通常を判断する判断部25とを備えている。流動認識部12は入力インターフェース13を介して、カメラ11から与えられた監視画像データを取り込む。最終的な判断部25による判断結果において非通常の状態であると判断された場合には、判断部25の判断結果出力が、通報を行う出力装置26に与えられる。
The
流動認識部12の比較部24での比較処理で使用される「通常状態に係る方向ヒストグラム」の情報、および判断部25の判断で使用される「比較基準値」の情報は、データベース27に予め用意されている。データベース27には、さらに、「鉄道等の交通機関の運行情報」、「曜日/時間帯に係る情報」、「イベントに係る情報」、「事故または故障に係る情報」、「自然災害に係る情報」等が、予め用意して保存されている。予め用意された「通常状態に係る方向ヒストグラム」および「比較基準値」のいずれか一方または両方には、好ましくは、「鉄道等の交通機関の運行情報」、または「曜日/時間帯に係る情報」、「イベントに係る情報」、「事故または故障に係る情報」、「自然災害に係る情報」の少なくとも一つを条件として反映させるように設定されている。
Information on the “direction histogram related to the normal state” used in the comparison process in the
次に、図2に示したフローチャートを参照して、混雑の非通常状態検知システム100において流動認識部12の流動認識に基づいて行われる混雑の非通常状態の検知の方式について説明する。この流動認識の処理の流れでは、カメラ11から監視画像データが提供されることが前提になっている。さらにこの説明では、併せて図3〜図6を参照して流動認識の内容をイメージ的に説明する。
Next, with reference to the flowchart shown in FIG. 2, a method for detecting an abnormal state of congestion performed based on the flow recognition of the
図2において、最初の処理ステップS11では監視用カメラ11から与えられる監視画像全体のデータにおいて、そのオプティカルフローを計算する。オプティカルフローの計算はオプティカルフロー演算部21によって実行される。図3では、オプティカルフローのイメージを示している。図3の(1)は通常流動の状態を示し、(2)は非通常流動の状態を示している。図3の(1)と(2)で、矩形の範囲31は1つの監視画像におけるフレームを示し、その内部の多数の矢印32は監視画像内のオプティカルフローを示している。これらのオプティカルフロー32は、カメラ11の監視領域に存在する多数の人物の各々の移動状態を示す動きベクトルであり、流動状態を示す情報である。処理ステップS11では、各監視画像全体のフレーム31毎に関してこれらのオプティカルフロー32を算出する。フレーム31毎に得られる画面全体のオプティカルフロー32は統計的に扱われる。処理ステップS11で算出された多数のオプティカルフロー32に基づいて、監視画像全体のフレーム31における多数の人物の流動状態が認識され、各人物をトラッキングするのではなく、多数の人物によって作られる混雑のシーンの流動状態が認識される。図3に示した(1)と(2)を対比すると、通常の流動状態と非通常の流動状態との相違が出ている、図3の(2)では破線領域33に流動を阻害する物体が存在すると想定されるために、その流動状態が通常の流動状態に比較して異なるものとなっている。このような流動状態(2)と通常の流動状態(1)との差が大きいと、何らかの異常(非通常な状態)が起こっていると判断することができる。そこで次には通常の流動状態(1)との差の求め方が重要となる。
In FIG. 2, in the first processing step S <b> 11, the optical flow is calculated for the entire monitoring image data given from the monitoring
上記の処理ステップS11で算出された、監視画像についてのオプティカルフローに係るデータはメモリに保存される(ステップS12)。 The data related to the optical flow for the monitoring image calculated in the processing step S11 is stored in the memory (step S12).
次の処理ステップS13では、監視画像のフレーム31(視野)を複数のブロック34に分割する。この複数のブロック34への分割は、ブロック/区画分割部22によって実行される。複数のブロック34の各々では、ブロック毎の大まかな傾向として、先に算出したオプティカルフロー32に基づき、それぞれのオプティカルフローの方向がブロック毎個別に定められる。図4に、監視画像のフレーム31内で、分割された複数のブロック34毎のオプティカルフロー32のイメージを示している。図4の(1)は図3(1)に対応して通常流動の状態を示し、(2)は図3(2)に対応して非通常流動の状態を示している。各ブロック34は、格子状の破線35で仕切られることにより形成されている。図4に示すように、複数のブロック34の各々では、ブロック毎に個別に大まかなオプティカルフローの方向が決まる。各ブロック34毎に決まるオプティカルフローの方向に基づいて、各ブロック34のオプティカルフロー方向の差異を算出することが可能となる。
In the next processing step S13, the frame 31 (field of view) of the monitoring image is divided into a plurality of blocks. The division into the plurality of
上記のブロック/区画分割部22は、さらに、図5の(A)に示すごとく、監視画像のフレーム21を例えば少なくとも2つの区画36,37に分割する(ステップS14)。これは、上記の複数のブロック34の各々の差異を算出するに当たって、図5(A)中で左側区画36と右側区画37の2つの区画の各々で特徴の傾向を見ることにより、複数のブロック34の各々の差異を算出する。
The block /
次に、処理ステップS15では、2つの区画36,37の各々において、各区画に含まれる複数のブロック34の各オプティカルフロー32に基づいて当該オプティカルフローの方向ヒストグラム38,39を計算する。この方向ヒストグラム38,39は、図5の(B)に示すように、等角度(45°)間隔の8つの方向(0,1,2,3,4,5,6,7)の予め定め、各方向に関して、各区画36,37に含まれる複数のブロック34の各オプティカルフローを統計的に処理することにより、計算される。このようにして、左側区画36について方向ヒストグラム38が求められ、右側区画37について方向ヒストグラム39が求められる。この方向ヒストグラム38,39の計算は方向ヒストグラム演算部23によって実行される。方向ヒストグラム38,39は、流動状態を表す特性情報である。
Next, in processing step S15, in each of the two
方向ヒストグラム38,39は、それぞれ、対応する区画36,37に含まれるブロック34の各オプティカルフローを8つの方向(0〜7)のそれぞれに累積したものである。これにより、各区画38,39毎の方向ヒストグラムのパターンを得ることができる。
The direction histograms 38 and 39 are obtained by accumulating the optical flows of the
上記のような方向ヒストグラムを、上記の処理ステップS11〜S15を繰り返して、例えば過去数日分あるいは数時間分取得することにより、通常状態に係る方向ヒストグラムのパターンを得ることができる。この通常状態の方向ヒストグラムのパターンは、通常の流動状態になる。「通常状態に係る方向ヒストグラム」のパターンのデータは、前述の通り、データベース27に用意されている。
By obtaining the above-described direction histogram by repeating the above processing steps S11 to S15, for example, for the past several days or several hours, a pattern of the direction histogram according to the normal state can be obtained. This normal state direction histogram pattern is in a normal flow state. The data of the pattern of “direction histogram related to normal state” is prepared in the
なお上記の方向ヒストグラムでは方向のみに着目したが、さらにオプティカルフローとしての動ベクトルの長さに基づき速度についても考慮することもできる。オプティカルフローの長さが長ければ、方向ヒストグラム算出時の重みを大きくすることにより、速度が反映された方向ヒストグラムにすることもできる。 In the above-described direction histogram, only the direction is focused. However, the speed can also be considered based on the length of the motion vector as an optical flow. If the length of the optical flow is long, the direction histogram reflecting the speed can be obtained by increasing the weight at the time of calculating the direction histogram.
また、図2に示した処理の流れでは、オプティカルフローの概念を説明するため、便宜上、オプティカルフロー32の計算を最初の処理ステップS11で行うようにしたが、オプティカルフローの計算は、複数のブロック34の分割、および2つの区画36,37の分割の後に行うこともできる。処理ステップS11〜S14の実行順序は適宜に任意に変更することができる。
In the processing flow shown in FIG. 2, for the sake of convenience, the calculation of the
次に、処理ステップS16では、監視対象になっている場所の現時点での監視画像から得られた各区画36,37の方向ヒストグラム38,39と、データベース27に用意されている「通常状態に係る方向ヒストグラム」とが比較される。この比較処理は、上記の比較部24によって実行される。この比較処理では、比較結果として、類似度を表す指標が求められる。類似度を表す指標としては、例えば、ユークリッド距離、またはコサイン類似度が利用される。ユークリッド距離を利用する場合には、方向ヒストグラムに含まれるデータ数を正規化したもの同士を用いて比較を行う。この比較によって得られる「類似度を表す指標」に基づいて、「通常状態に係る方向ヒストグラム」との間の類似度度合いを得ることができる。
Next, in the processing step S16, the direction histograms 38 and 39 of the
図6は、比較処理をイメージ的に示している。図6において、51は通常状態の監視画像でのオプティカルフロー(図2の(1)で示した内容)を示し、これの左右の区画36,37に対応して上記の方向ヒストグラム38,39が示されている。他方、52は他の監視画像でのオプティカルフロー(図2の(2)で示した内容に対応し、非通常状態を示す監視画像)を示し、これの左右の区画(上記の区画36,37に対応)に対応して方向ヒストグラム38’,39’が示されている。この状況で、上記の処理ステップS16での比較処理では、一方の方向ヒストグラム38と38’、他方の方向ヒストグラム39と39’が、それぞれ比較され(図6中、比較53,54)、「類似度を表す指標」が計算される。
FIG. 6 conceptually shows the comparison process. In FIG. 6,
その後の処理ステップS17,S18では、ステップS16の比較処理で求められた「類似度を表す指標」に基づいて、カメラ11から与えられた監視画像の内容(混雑シーン)が、通常状態であるかまたは非通常状態(異常状態)であるかを判断する。この判断処理は、上記の判断部25で実行される。判断処理は、「類似度を表す指標」を、データベース27に用意されている「比較基準値」(一定の閾値)と比較し(ステップS17)、「類似度を表す指標」が「比較基準値」以上であると、通常状態であると判断し、「比較基準値」未満であると、非通常状態であると判断する(判断ステップS18)。判断ステップS18で非通常状態と判断された場合には、出力装置26を介して通報が行われる(ステップS19)。
In subsequent processing steps S17 and S18, based on the “index indicating similarity” obtained in the comparison processing in step S16, is the content of the monitoring image (congested scene) given from the
上記の「通常状態」の内容(方向ヒストグラム、比較基準値)は、実情を反映させて実情と連動して定義することが効果的である。すなわち、前述した通り、「通常状態に係る方向ヒストグラム」および「比較基準値」のいずれか一方または両方には、「鉄道等の交通機関の運行情報」、または「曜日/時間帯に係る情報」、「イベントに係る情報」、「事故または故障に係る情報」、「自然災害に係る情報」の少なくとも一つを条件として反映させるように設定することが効果的である。 It is effective to define the contents of the above “normal state” (direction histogram, comparison reference value) in association with the actual situation by reflecting the actual situation. That is, as described above, one or both of the “direction histogram related to the normal state” and the “comparison reference value” include “operation information of transportation facilities such as railways” or “information related to day / time zone”. It is effective to set to reflect at least one of “information related to an event”, “information related to an accident or failure”, and “information related to a natural disaster” as a condition.
以上の実施形態で説明された構成、形状、大きさおよび配置関係については本発明が理解・実施できる程度に概略的に示したものにすぎない。従って本発明は、説明された実施形態に限定されるものではなく、特許請求の範囲に示される技術的思想の範囲を逸脱しない限り様々な形態に変更することができる。 The configurations, shapes, sizes, and arrangement relationships described in the above embodiments are merely schematically shown to the extent that the present invention can be understood and implemented. Therefore, the present invention is not limited to the described embodiments, and can be variously modified without departing from the scope of the technical idea shown in the claims.
本発明に係る混雑の非通常状態検知システムは、流動認識の手法を利用して混雑における人の流動をオプティカルフローの方向ヒストグラムで表現し、混雑シーンの非通常状態を的確に判断することに利用される。 The congestion non-normal state detection system according to the present invention uses a flow recognition technique to express human flow in a congestion with an optical flow direction histogram, and is used to accurately determine the non-normal state of a crowded scene. Is done.
11 カメラ
12 流動認識部
21 オプティカルフロー演算部
22 ブロック/区画分割部
23 方向ヒストグラム演算部
24 比較部
25 判断部
26 出力装置
27 データベース
31 フレーム
32 オプティカルフロー
33 破線領域
34 ブロック
35 格子状破線
36,37 区画
38,39 方向ヒストグラム
DESCRIPTION OF
Claims (4)
前記撮像装置の撮影で取得された前記特定場所に係る画像データで、当該画像に係る領域を少なくとも2つの区画に分割する分割手段と、
前記各区画毎でオプティカルフローを計算する第1演算手段と、
前記各区画毎で、前記オプティカルフローについて方向ヒストグラムを計算する第2演算手段と、
前記各区画毎、撮影および演算により取得された前記方向ヒストグラムと予め用意された通常状態に係る方向ヒストグラムとを比較する比較手段と、
前記比較手段による前記各区画毎の比較結果と比較基準値とに基づき非通常状態であるか否かを判断する判断手段と、
前記判断手段で非通常状態であると判断されたときに通報を行う通報手段と、
を備えることを特徴とする混雑の非通常状態検知システム。 An imaging device for photographing a specific place where people gather and move;
A dividing unit that divides an area related to the image into at least two sections in the image data related to the specific location acquired by the imaging device;
First computing means for calculating an optical flow for each section;
Second computing means for calculating a direction histogram for the optical flow for each of the sections;
Comparing means for comparing the direction histogram acquired by photographing and calculation for each section with a direction histogram according to a normal state prepared in advance;
A determination means for determining whether or not an abnormal state based on a comparison result and a comparison reference value for each section by the comparison means;
A reporting means for reporting when it is determined by the determining means that the state is abnormal;
A non-normal state detection system for congestion characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011277215A JP5992681B2 (en) | 2011-12-19 | 2011-12-19 | Unusual condition detection system for congestion |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011277215A JP5992681B2 (en) | 2011-12-19 | 2011-12-19 | Unusual condition detection system for congestion |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013127716A true JP2013127716A (en) | 2013-06-27 |
JP5992681B2 JP5992681B2 (en) | 2016-09-14 |
Family
ID=48778214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011277215A Active JP5992681B2 (en) | 2011-12-19 | 2011-12-19 | Unusual condition detection system for congestion |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5992681B2 (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015001967A1 (en) * | 2013-07-02 | 2015-01-08 | 富士通株式会社 | Device and method for creating image-processing filter |
JP2015046732A (en) * | 2013-08-28 | 2015-03-12 | キヤノン株式会社 | Image processing apparatus and image processing method |
JP2015052534A (en) * | 2013-09-06 | 2015-03-19 | パナソニック株式会社 | Moving body detection device and moving body detection system |
JP2016024651A (en) * | 2014-07-22 | 2016-02-08 | 沖電気工業株式会社 | State determination system, state determination method, and program |
KR101675692B1 (en) * | 2015-06-26 | 2016-11-14 | 성균관대학교산학협력단 | Method and apparatus for crowd behavior recognition based on structure learning |
JP2017041869A (en) * | 2015-08-20 | 2017-02-23 | 株式会社東芝 | Image processing system, image processing method, and program |
US10289884B2 (en) | 2015-08-27 | 2019-05-14 | Kabushiki Kaisha Toshiba | Image analyzer, image analysis method, computer program product, and image analysis system |
WO2020090010A1 (en) * | 2018-10-30 | 2020-05-07 | 三菱電機株式会社 | Abnormal behavior detection device, abnormal behavior detection program, and abnormal behavior detection method |
CN114863670A (en) * | 2022-01-17 | 2022-08-05 | 深圳市慧视通科技股份有限公司 | Method and device for early warning of taxi gathering condition |
JP7440332B2 (en) | 2020-04-21 | 2024-02-28 | 株式会社日立製作所 | Event analysis system and method |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022020352A (en) | 2020-07-20 | 2022-02-01 | キヤノン株式会社 | Information processing device, information processing method, and program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008160462A (en) * | 2006-12-22 | 2008-07-10 | Matsushita Electric Works Ltd | Imaging device |
JP2009110152A (en) * | 2007-10-29 | 2009-05-21 | Panasonic Corp | Congestion estimation device |
-
2011
- 2011-12-19 JP JP2011277215A patent/JP5992681B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008160462A (en) * | 2006-12-22 | 2008-07-10 | Matsushita Electric Works Ltd | Imaging device |
JP2009110152A (en) * | 2007-10-29 | 2009-05-21 | Panasonic Corp | Congestion estimation device |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9971954B2 (en) | 2013-07-02 | 2018-05-15 | Fujitsu Limited | Apparatus and method for producing image processing filter |
JP2015011641A (en) * | 2013-07-02 | 2015-01-19 | 富士通株式会社 | Apparatus and method of creating image processing filter |
WO2015001967A1 (en) * | 2013-07-02 | 2015-01-08 | 富士通株式会社 | Device and method for creating image-processing filter |
JP2015046732A (en) * | 2013-08-28 | 2015-03-12 | キヤノン株式会社 | Image processing apparatus and image processing method |
JP2015052534A (en) * | 2013-09-06 | 2015-03-19 | パナソニック株式会社 | Moving body detection device and moving body detection system |
JP2016024651A (en) * | 2014-07-22 | 2016-02-08 | 沖電気工業株式会社 | State determination system, state determination method, and program |
KR101675692B1 (en) * | 2015-06-26 | 2016-11-14 | 성균관대학교산학협력단 | Method and apparatus for crowd behavior recognition based on structure learning |
JP2017041869A (en) * | 2015-08-20 | 2017-02-23 | 株式会社東芝 | Image processing system, image processing method, and program |
US10289884B2 (en) | 2015-08-27 | 2019-05-14 | Kabushiki Kaisha Toshiba | Image analyzer, image analysis method, computer program product, and image analysis system |
WO2020090010A1 (en) * | 2018-10-30 | 2020-05-07 | 三菱電機株式会社 | Abnormal behavior detection device, abnormal behavior detection program, and abnormal behavior detection method |
JPWO2020090010A1 (en) * | 2018-10-30 | 2021-03-18 | 三菱電機株式会社 | Anomaly detection device, anomaly detection program and anomaly detection method |
JP7440332B2 (en) | 2020-04-21 | 2024-02-28 | 株式会社日立製作所 | Event analysis system and method |
CN114863670A (en) * | 2022-01-17 | 2022-08-05 | 深圳市慧视通科技股份有限公司 | Method and device for early warning of taxi gathering condition |
CN114863670B (en) * | 2022-01-17 | 2022-12-02 | 深圳市慧视通科技股份有限公司 | Method and device for early warning of taxi gathering condition |
Also Published As
Publication number | Publication date |
---|---|
JP5992681B2 (en) | 2016-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5992681B2 (en) | Unusual condition detection system for congestion | |
JP5560397B2 (en) | Autonomous crime prevention alert system and autonomous crime prevention alert method | |
WO2017047687A1 (en) | Monitoring system | |
KR102195706B1 (en) | Method and Apparatus for Detecting Intruder | |
KR102356666B1 (en) | Method and apparatus for risk detection, prediction, and its correspondence for public safety based on multiple complex information | |
KR102172239B1 (en) | Method and system for abnormal situation monitoring based on video | |
CN108376246A (en) | A kind of identification of plurality of human faces and tracking system and method | |
US20100007738A1 (en) | Method of advanced person or object recognition and detection | |
CN113936465A (en) | Traffic incident detection method and device | |
CN114495011A (en) | Non-motor vehicle and pedestrian illegal intrusion identification method based on target detection, storage medium and computer equipment | |
CN113673311A (en) | Traffic abnormal event detection method, equipment and computer storage medium | |
JP2023524623A (en) | Method, apparatus, equipment, storage medium and program for detecting traffic anomalies | |
Desai et al. | Accident detection using ml and ai techniques | |
US11935303B2 (en) | System and method for mitigating crowd panic detection | |
CN107920224B (en) | Abnormity warning method, abnormity warning equipment and video monitoring system | |
US20120257052A1 (en) | Electronic device and method for detecting abnormities of image capturing device | |
Wang et al. | Vision-based highway traffic accident detection | |
CN111064924B (en) | Video monitoring method and system based on artificial intelligence | |
CN112330742A (en) | Method and device for recording activity routes of key personnel in public area | |
CN112949359A (en) | Convolutional neural network-based abnormal behavior identification method and device | |
KR20130047131A (en) | Method and system for surveilling contents of surveillance using mobile terminal | |
Anithadevi et al. | An Improved SSD Object Detection Algorithm For Safe Social Distancing and Face Mask Detection In Public Areas Through Intelligent Video Analytics | |
Yang et al. | A Deep Learning Approach for Automated Detection of Railroad Trespassers | |
Acharjee et al. | YOLOv3 based real time social distance violation detection in public places | |
KR102614856B1 (en) | System and method for predicting risk of crowd turbulence |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151006 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160216 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160415 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160818 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5992681 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |