JP2013127716A - Abnormal state detection system for congestion - Google Patents

Abnormal state detection system for congestion Download PDF

Info

Publication number
JP2013127716A
JP2013127716A JP2011277215A JP2011277215A JP2013127716A JP 2013127716 A JP2013127716 A JP 2013127716A JP 2011277215 A JP2011277215 A JP 2011277215A JP 2011277215 A JP2011277215 A JP 2011277215A JP 2013127716 A JP2013127716 A JP 2013127716A
Authority
JP
Japan
Prior art keywords
congestion
state
detection system
direction histogram
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011277215A
Other languages
Japanese (ja)
Other versions
JP5992681B2 (en
Inventor
Takuma Yamaguchi
拓真 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Signal Co Ltd
Original Assignee
Nippon Signal Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Signal Co Ltd filed Critical Nippon Signal Co Ltd
Priority to JP2011277215A priority Critical patent/JP5992681B2/en
Publication of JP2013127716A publication Critical patent/JP2013127716A/en
Application granted granted Critical
Publication of JP5992681B2 publication Critical patent/JP5992681B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an abnormal state detection system of congestion for accurately determining normal or abnormal situations in congestion under the consideration of the flow state of persons at a place where congestion occurs.SOLUTION: An abnormal state detection system 100 of congestion comprises: a camera 11; a division part 22 for dividing an area relating to an image, based on image data obtained by the photographing with a camera, into at least two partitions 36 and 37; an optical flow arithmetic part 21 for calculating an optical flow 32 in each partition; a direction histogram arithmetic part 23 for calculating direction histograms 38 and 39 concerning the optical flow in each partition; a comparison part 24 for comparing the direction histogram obtained by photographing and arithmetic operation with a preliminarily prepared direction histogram relating to a normal state in each partition; a determination part 25 for determining whether or not the congestion is an abnormal state on the basis of the comparison result in each partition and a comparison reference value; and an output device 26 for performing notification when it is determined that the congestion is an abnormal state.

Description

本発明は、混雑の非通常状態検知システムに関し、特に、例えば駅の改札口やプラットホーム、駅内外の通路等のように多くの人が集まり移動する場所での人の流動状態を監視することにより混雑時の通常または非通常の状況判断を正確に行うことができる混雑の非通常状態検知システムに関するものである。   The present invention relates to a system for detecting an abnormal state of congestion, and in particular, by monitoring the flow state of people at a place where many people gather and move, such as a ticket gate of a station, a platform, and a passage inside and outside a station. The present invention relates to a congestion non-normal state detection system capable of accurately determining a normal or unusual situation at the time of congestion.

近年では、防犯や保安等の安全性の向上の観点から、街（繁華街等）の各所、店舗の付近、駅構内、道路や交差点等において監視カメラが設置され、不審者や不審物、異常な事態の発生を監視している。これらの監視システムは、通常は、監視カメラで取得された特定の監視場所の画像情報に基づいて、具体的には当該画像に写った人物や物の存在状態に基づいて正常または異常を判断するようにしている。この場合に判断主体は画像情報を視認する人間である。このような監視カメラによる不審者等の監視は、混雑した状況を想定しているものではなく、モニタ画面に表示される画像の上で人物や物が個別に認識できることを想定している。   In recent years, surveillance cameras have been installed in various places in towns (business districts, etc.), in the vicinity of stores, in station premises, on roads and intersections, etc., from the viewpoint of improving security such as crime prevention and security. Monitoring the occurrence of unusual situations. These monitoring systems usually determine normality or abnormality based on the image information of a specific monitoring location acquired by a monitoring camera, specifically based on the presence state of a person or an object shown in the image. I am doing so. In this case, the determination subject is a person who visually recognizes the image information. Such monitoring of a suspicious person or the like by a monitoring camera does not assume a crowded situation, but assumes that a person or an object can be individually recognized on an image displayed on a monitor screen.

ターミナル駅など多くの人が集まって移動する結果、混雑した状態が発生する場所での監視でも、基本的に上記の監視手法が主流である。他方、当該混雑した状態に係る画像（混雑シーン）において、各人物の移動の状態を追跡することでその移動軌跡を取得し、当該移動軌跡から各人物の行動の正常または異常を個別に認識する手法も提案されている。かかる移動軌跡を取得することは、異常な行動や、不審物の存在を見つけるための良い手懸かりになる。また異常検知装置等の従来の技術としては、下記の特許文献１，２に開示された技術が存在する。特許文献１，２のいずれも、混雑していない状態を想定した技術であり、混雑が発生する状態には適用することができない技術である。   The above monitoring method is basically the mainstream even when monitoring in a place where a crowded state occurs as a result of many people gathering and moving, such as a terminal station. On the other hand, in the image related to the crowded state (congested scene), the movement locus is obtained by tracking the movement state of each person, and the normal or abnormal behavior of each person is individually recognized from the movement locus. Techniques have also been proposed. Acquiring such a movement trajectory is a good clue for finding abnormal behavior and the presence of suspicious objects. Further, as conventional techniques such as an anomaly detection device, there are techniques disclosed in Patent Documents 1 and 2 below. Each of Patent Documents 1 and 2 is a technique that assumes a non-congested state, and cannot be applied to a state in which congestion occurs.

特開２０１１−７０３３２号公報JP 2011-70332 A 特開２０１１−６１６５１号公報JP 2011-61651 A

監視カメラで得られる時系列の画像に基づいて、当該画像に写る人物の移動軌跡を取得することは不審者の情報を得る観点で望ましいことではあるが、人物の移動軌跡を正確に得ることは、オクルージョン（見え隠れ状態）、カメラ視野外への退出またはカメラ視野内への進入等が頻繁に起きるため、容易ではない。特に混雑な状態が発生する場所の監視では、オクルージョンが多く起こるため、各人物の移動軌跡の正確な取得は極めて困難である。そこで、特に、ターミナル駅など多くの人が集まって移動する結果、混雑した状態が発生する場所での監視において、より有効にその通常状態または非通常状態を検知できる手法が強く望まれている。   Although it is desirable from the viewpoint of obtaining information on a suspicious person based on a time-series image obtained by a surveillance camera, it is desirable to obtain a person's movement trajectory. , Occlusion (visible / hidden state), exiting from the camera field of view, or entering the camera field of view, etc. frequently occur, which is not easy. In particular, in the monitoring of a place where a crowded state occurs, a lot of occlusion occurs, and thus it is very difficult to accurately acquire the movement trajectory of each person. In view of this, there is a strong demand for a technique that can detect the normal state or the non-normal state more effectively in monitoring in a place where a crowded state occurs as a result of many people gathering and moving, such as a terminal station.

本発明の目的は、上記の課題に鑑み、多くの人が集まり移動する混雑が生じる特定の場所での人の流動状態に着目し、混雑時の通常または非通常の状況判断を正確に行うことができる混雑の非通常状態検知システムを提供することにある。   In view of the above-described problems, the object of the present invention is to focus on the flow state of a person in a specific place where crowding occurs where many people gather and move, and to accurately determine a normal or unusual situation at the time of congestion. It is an object of the present invention to provide a non-normal state detection system for congestion.

本発明に係る混雑の非通常状態検知システムは、上記の目的を達成するため、次のように構成される。   In order to achieve the above object, the congestion abnormal state detection system according to the present invention is configured as follows.

第１の混雑の非通常状態検知システム（請求項１に対応）は、
人が集まり移動する特定場所を撮影するカメラ（撮像装置）と、
カメラの撮影で取得された特定場所に係る画像データで、当該画像に係る領域を少なくとも２つの区画に分割する分割手段と、
各区画毎でオプティカルフローを計算するオプティカルフロー演算部（第１演算手段）と、
各区画毎で、オプティカルフローについて方向ヒストグラムを計算する方向ヒストグラム演算部（第２演算手段）と、
各区画毎、撮影および演算により取得された方向ヒストグラムと予め用意された通常状態に係る方向ヒストグラムとを比較する比較部と、
比較部による各区画毎の比較結果と比較基準値とに基づき非通常状態であるか否かを判断する判断部と、
判断部で非通常状態であると判断されたときに通報を行う出力装置（通報手段）と、
を備えるによって構成される。 The first congestion non-normal state detection system (corresponding to claim 1)
A camera (imaging device) that captures a specific place where people gather and move;
A dividing unit that divides an area related to the image into at least two sections in the image data related to the specific place acquired by the camera shooting;
An optical flow calculation unit (first calculation means) for calculating an optical flow for each section;
A direction histogram calculation unit (second calculation means) for calculating a direction histogram for the optical flow for each section;
A comparison unit that compares a direction histogram acquired by photographing and calculation with each direction, a direction histogram according to a normal state prepared in advance,
A determination unit that determines whether or not the non-normal state based on a comparison result and a comparison reference value for each section by the comparison unit;
An output device (notification means) for reporting when it is determined that the determination unit is in an abnormal state;
It comprises by comprising.

上記の混雑の非通常状態検知システムでは、混雑が生じる場所についての監視画像データにおいて、オプティカルフローを求めて人の流動状態に係る情報を取得し、この流動状態に係る情報からさらに流動状態の特性情報（例えば方向ヒストグラム）を取得し、この流動状態の特性情報を、予め用意された通常状態の流動状態の特性情報と比較することにより、監視画像データで得た混雑シーンの状態が通常であるかまたは非通常であるかを判断し、非通常であると判断された場合には、通報を発するように構成される。混雑シーンの通常または非通常の判断に対して人の流動状態を監視し解析するという手法を採用したため、混雑状態の通常または非通常（異常を含む）を的確に判断することができる。   In the above-described congestion non-normal state detection system, in the monitoring image data about the place where the congestion occurs, information on the flow state of the person is obtained by obtaining the optical flow, and the flow state characteristics are further obtained from the information on the flow state. By acquiring information (for example, a direction histogram) and comparing the flow state characteristic information with the flow state characteristic information prepared in advance, the state of the crowded scene obtained from the monitoring image data is normal. It is configured to issue a notification if it is determined to be abnormal or non-normal. Since a method of monitoring and analyzing a person's flow state in response to a normal or abnormal determination of a crowded scene is adopted, it is possible to accurately determine whether the congestion state is normal or abnormal (including abnormality).

第２の混雑の非通常状態検知システム（請求項２に対応）は、上記の構成において、好ましくは、予め用意された通常状態に係る方向ヒストグラムおよび比較基準値のいずれか一方または両方に、曜日・時間帯に係る情報、イベントに係る情報、事故または故障に係る情報、自然災害に係る情報の少なくとも一つを条件として反映させたことを特徴としている。   In the second congestion non-normal state detection system (corresponding to claim 2), the day of the week is preferably included in one or both of the direction histogram and the comparison reference value according to the normal state prepared in advance. -It is characterized by reflecting as a condition at least one of time-related information, event-related information, accident / failure-related information, and natural disaster-related information.

第３の混雑の非通常状態検知システム（請求項３に対応）は、上記の構成において、好ましくは、予め用意された通常状態に係る方向ヒストグラムおよび比較基準値のいずれか一方または両方に、鉄道を含む交通機関の運行情報を条件として反映させたことを特徴としている。   In the third congestion non-normal state detection system (corresponding to claim 3), in the configuration described above, preferably, either one or both of the direction histogram and the comparison reference value relating to the normal state prepared in advance are used for the railway. It is characterized by reflecting the operation information of transportation including

第４の混雑の非通常状態検知システム（請求項４に対応）は、上記の構成において、好ましくは、特定場所は駅改札口または駅構内であることを特徴としている。   In a fourth congestion non-normal state detection system (corresponding to claim 4), the specific place is preferably a station ticket gate or a station premises.

本発明によれば、次の効果を奏する。
第１に、混雑場所の監視画像データについてフレーム全体でのオプティカルフローを求めて人の流動状態に係る情報を取得し、この流動状態に係る情報からさらに流動状態の特性情報を取得し、この流動状態の特性情報を、予め用意された通常状態の流動状態の特性情報と比較することにより、監視画像データで得た混雑シーンの状態が通常であるかまたは非通常であるかを判断するようにしたため、混雑状態の非通常状態を正確に検知することができる。さらに、非通常状態のときには通報を迅速に行うことにより、運営管理上、安全性を高めることができる。
第２に、判断に使用される通常状態に係る方向ヒストグラム、比較基準値に、曜日・時間帯に係る情報、イベントに係る情報、事故または故障に係る情報、自然災害に係る情報の少なくとも一つ、または鉄道を含む交通機関の運行情報を、条件として反映させるようにしたため、混雑原因を含めて混雑シーンの非通常状態を正確に検知することができる。
第３に、本発明に係る混雑の非通常状態検知システムを、駅改札口等に適用することにより、鉄道の運営管理においてより安全性を高めることができる。 The present invention has the following effects.
First, with regard to monitoring image data of a crowded place, an optical flow for the entire frame is obtained to obtain information related to the flow state of the person, and flow state characteristic information is further acquired from the information related to the flow state. By comparing the state characteristic information with the flow state characteristic information prepared in advance, it is determined whether the state of the crowded scene obtained from the monitoring image data is normal or abnormal. Therefore, it is possible to accurately detect the non-normal state of the congestion state. Furthermore, safety can be improved in terms of operation and management by promptly reporting in an abnormal state.
Secondly, at least one of the direction histogram related to the normal state used for the judgment, the comparison reference value, the information related to the day of the week / time zone, the information related to the event, the information related to the accident or failure, and the information related to the natural disaster In addition, since the operation information of the transportation facility including the railway is reflected as a condition, it is possible to accurately detect the non-normal state of the congestion scene including the cause of the congestion.
Thirdly, by applying the congestion abnormal state detection system according to the present invention to a station ticket gate or the like, safety can be further improved in railway operation and management.

本発明の代表的な実施形態に係る混雑の非通常状態検知システムのシステム構成を示すブロック図である。It is a block diagram which shows the system configuration | structure of the congestion abnormal state detection system which concerns on typical embodiment of this invention. 本実施形態に係る混雑の非通常状態検知システムにおける検知処理の動作の手順を示すフローチャートである。It is a flowchart which shows the procedure of the operation | movement of the detection process in the congestion unusual state detection system which concerns on this embodiment. 本実施形態に係る混雑の非通常状態検知システムでの検知方式の第１段階を説明するための監視画像のフレーム画面全体を示すオプティカルフロー図であって、通常流動状態（１）と非通常流動状態（２）を示すオプティカルフロー図である。It is an optical flow figure which shows the whole frame screen of the monitoring image for demonstrating the 1st step of the detection system in the non-normal state detection system of congestion which concerns on this embodiment, Comprising: Normal flow state (1) and non-normal flow It is an optical flow figure showing a state (2). 本実施形態に係る混雑の非通常状態検知システムでの検知方式の第２段階を説明するための複数のブロックに分割されたオプティカルフロー図であって、通常流動状態（１）と非通常流動状態（２）を示すオプティカルフロー図である。It is an optical flow figure divided into a plurality of blocks for explaining the 2nd step of the detection system in the non-normal state detection system of congestion concerning this embodiment, Comprising: Normal flow state (1) and non-normal flow state It is an optical flow figure showing (2). 本実施形態に係る混雑の非通常状態検知システムでの検知方式の第３段階を説明するためのフレーム画面全体を２つの区画（領域）に分けたオプティカルフロー図と各領域のフロー方向別の分布を示す方向ヒストグラムを示す図である。An optical flow diagram in which the entire frame screen for explaining the third stage of the detection method in the congestion non-normal state detection system according to the present embodiment is divided into two sections (regions), and the distribution of each region according to the flow direction It is a figure which shows the direction histogram which shows. 本実施形態に係る混雑の非通常状態検知システムでの検知方式の第４段階を説明するための方向ヒストグラムの比較を示す図である。It is a figure which shows the comparison of the direction histogram for demonstrating the 4th step of the detection system in the congestion unusual state detection system which concerns on this embodiment.

以下に、本発明の好適な実施形態（実施例）を添付図面に基づいて説明する。   DESCRIPTION OF EMBODIMENTS Preferred embodiments (examples) of the present invention will be described below with reference to the accompanying drawings.

図１を参照して、本実施形態に係る混雑の非通常状態検知システム１００の構成を説明する。１１は監視用のカメラ（撮像装置）である。カメラ１１は、混雑が生じる可能性の高い特定の場所を撮影するように設置されている。混雑が生じる可能性の高い場所とは、多くの人が集まり移動する場所であり、例えば、ターミナル駅の改札口やプラットホーム、駅内外の通路、あるいは繁華街の各所、コンビニ店舗の付近、道路や交差点等である。この実施形態では駅に適用された例で説明する。カメラ１１は、定点監視用カメラとして、所定の時間間隔で、当該特定場所における監視対象の画像を撮影し、取得する。カメラ１１で取得された監視画像に係るデータは、流動認識部１２に転送される。混雑の非通常状態検知システム１００において、流動認識部１２は、カメラ１１で定期的に取得された監視画像データに基づいて、当該監視画像データで得られる流動（混雑の状態を生じさせる多数の人の移動の流れ）を認識し、この流動認識に基づいて、生じた混雑状態が通常の混雑であるか、または非通常（異常）の混雑であるかを判断し、非通常の混雑であると判断したときには通報を行うように動作する。   With reference to FIG. 1, the structure of the congestion unusual state detection system 100 which concerns on this embodiment is demonstrated. Reference numeral 11 denotes a monitoring camera (imaging device). The camera 11 is installed so as to photograph a specific place where there is a high possibility of congestion. Places where congestion is likely to occur are places where many people gather and move, such as terminal ticket gates and platforms, passages inside and outside the station, downtown areas, near convenience stores, roads, Such as an intersection. In this embodiment, an example applied to a station will be described. As a fixed point monitoring camera, the camera 11 captures and acquires images to be monitored at the specific location at predetermined time intervals. Data relating to the monitoring image acquired by the camera 11 is transferred to the flow recognition unit 12. In the congestion non-normal state detection system 100, the flow recognition unit 12 is based on the monitoring image data periodically acquired by the camera 11, and the flow obtained from the monitoring image data (a large number of people who cause the congestion state). Flow), and based on this flow recognition, it is determined whether the resulting congestion state is normal congestion or unusual (abnormal) congestion. When judged, it operates to make a report.

流動認識部１２は、ハードウェア的にはＣＰＵとメモリで構成され、メモリに格納された流動認識プログラムを読み出して実行することにより、流動認識の機能を実現する。流動認識部１２は、監視画像に係るデータにおいて、監視画像中に含まれる各人物画像の移動軌跡を得るものではなく、混雑を形成する多数の人物の存在を流動として処理して認識する機能を有している。   The flow recognition unit 12 includes a CPU and a memory in hardware, and realizes a flow recognition function by reading and executing a flow recognition program stored in the memory. The flow recognition unit 12 does not obtain the movement trajectory of each person image included in the monitoring image in the data related to the monitoring image, but has a function of processing and recognizing the presence of a large number of people forming a congestion as a flow. Have.

流動認識部１２は、流動認識を行うため、監視画像全体の中の多数のオプティカルフローを計算するオプティカルフロー演算部２１と、監視画像のフレームを、複数のブロックに分割し、および少なくとも２つの区画に分割するブロック／区画分割部２２と、２つの区画の各々ですべてのオプティカルフローについてフロー方向に係る方向ヒストグラムを計算して求める方向ヒストグラム演算部２３と、各区画において生成した方向ヒストグラムと「通常状態に係る方向ヒストグラム」とを比較する比較部２４と、比較部２４による比較結果と比較基準値とに基づいて生成した方向ヒストグラムに関して通常または非通常を判断する判断部２５とを備えている。流動認識部１２は入力インターフェース１３を介して、カメラ１１から与えられた監視画像データを取り込む。最終的な判断部２５による判断結果において非通常の状態であると判断された場合には、判断部２５の判断結果出力が、通報を行う出力装置２６に与えられる。   The flow recognition unit 12 divides the frame of the monitoring image into a plurality of blocks, and at least two sections, for performing flow recognition, the optical flow calculation unit 21 that calculates a number of optical flows in the entire monitoring image A block / partition dividing unit 22 that divides into two, a direction histogram calculation unit 23 that calculates and obtains a direction histogram related to the flow direction for all optical flows in each of the two sections, and a direction histogram generated in each section The comparison unit 24 that compares the “direction histogram according to the state”, and the determination unit 25 that determines whether the direction histogram is generated based on the comparison result by the comparison unit 24 and the comparison reference value. The flow recognition unit 12 takes in the monitoring image data given from the camera 11 via the input interface 13. If it is determined in the final determination result by the determination unit 25 that the state is an abnormal state, the determination result output of the determination unit 25 is given to the output device 26 that makes a report.

流動認識部１２の比較部２４での比較処理で使用される「通常状態に係る方向ヒストグラム」の情報、および判断部２５の判断で使用される「比較基準値」の情報は、データベース２７に予め用意されている。データベース２７には、さらに、「鉄道等の交通機関の運行情報」、「曜日／時間帯に係る情報」、「イベントに係る情報」、「事故または故障に係る情報」、「自然災害に係る情報」等が、予め用意して保存されている。予め用意された「通常状態に係る方向ヒストグラム」および「比較基準値」のいずれか一方または両方には、好ましくは、「鉄道等の交通機関の運行情報」、または「曜日／時間帯に係る情報」、「イベントに係る情報」、「事故または故障に係る情報」、「自然災害に係る情報」の少なくとも一つを条件として反映させるように設定されている。   Information on the “direction histogram related to the normal state” used in the comparison process in the comparison unit 24 of the flow recognition unit 12 and information on the “comparison reference value” used in the determination of the determination unit 25 are stored in the database 27 in advance. It is prepared. The database 27 further includes “operation information of railways and other transportation facilities”, “information related to day / time zone”, “information related to events”, “information related to accidents or breakdowns”, and “information related to natural disasters”. And the like are prepared and stored in advance. Preferably, one or both of the “direction histogram according to the normal state” and the “comparison reference value” prepared in advance are preferably “operation information of transportation such as railways” or “information regarding day / time zone”. ", Information related to an event", "information related to an accident or failure", and "information related to a natural disaster" are set to be reflected as conditions.

次に、図２に示したフローチャートを参照して、混雑の非通常状態検知システム１００において流動認識部１２の流動認識に基づいて行われる混雑の非通常状態の検知の方式について説明する。この流動認識の処理の流れでは、カメラ１１から監視画像データが提供されることが前提になっている。さらにこの説明では、併せて図３〜図６を参照して流動認識の内容をイメージ的に説明する。   Next, with reference to the flowchart shown in FIG. 2, a method for detecting an abnormal state of congestion performed based on the flow recognition of the flow recognition unit 12 in the congestion abnormal state detection system 100 will be described. This flow recognition processing flow is based on the premise that monitoring image data is provided from the camera 11. Furthermore, in this description, the contents of the flow recognition will be described conceptually with reference to FIGS.

図２において、最初の処理ステップＳ１１では監視用カメラ１１から与えられる監視画像全体のデータにおいて、そのオプティカルフローを計算する。オプティカルフローの計算はオプティカルフロー演算部２１によって実行される。図３では、オプティカルフローのイメージを示している。図３の（１）は通常流動の状態を示し、（２）は非通常流動の状態を示している。図３の（１）と（２）で、矩形の範囲３１は１つの監視画像におけるフレームを示し、その内部の多数の矢印３２は監視画像内のオプティカルフローを示している。これらのオプティカルフロー３２は、カメラ１１の監視領域に存在する多数の人物の各々の移動状態を示す動きベクトルであり、流動状態を示す情報である。処理ステップＳ１１では、各監視画像全体のフレーム３１毎に関してこれらのオプティカルフロー３２を算出する。フレーム３１毎に得られる画面全体のオプティカルフロー３２は統計的に扱われる。処理ステップＳ１１で算出された多数のオプティカルフロー３２に基づいて、監視画像全体のフレーム３１における多数の人物の流動状態が認識され、各人物をトラッキングするのではなく、多数の人物によって作られる混雑のシーンの流動状態が認識される。図３に示した（１）と（２）を対比すると、通常の流動状態と非通常の流動状態との相違が出ている、図３の（２）では破線領域３３に流動を阻害する物体が存在すると想定されるために、その流動状態が通常の流動状態に比較して異なるものとなっている。このような流動状態（２）と通常の流動状態（１）との差が大きいと、何らかの異常（非通常な状態）が起こっていると判断することができる。そこで次には通常の流動状態（１）との差の求め方が重要となる。   In FIG. 2, in the first processing step S <b> 11, the optical flow is calculated for the entire monitoring image data given from the monitoring camera 11. The optical flow calculation is executed by the optical flow calculation unit 21. FIG. 3 shows an optical flow image. FIG. 3 (1) shows a normal flow state, and (2) shows a non-normal flow state. In (1) and (2) of FIG. 3, a rectangular range 31 indicates a frame in one monitoring image, and a large number of arrows 32 therein indicate optical flows in the monitoring image. These optical flows 32 are motion vectors indicating the movement states of a large number of persons existing in the monitoring area of the camera 11 and are information indicating the flow state. In the processing step S11, these optical flows 32 are calculated for each frame 31 of the entire monitoring image. The optical flow 32 of the entire screen obtained for each frame 31 is treated statistically. Based on the large number of optical flows 32 calculated in the processing step S11, the flow state of the large number of persons in the frame 31 of the entire monitoring image is recognized, and instead of tracking each person, the congestion generated by the large number of persons is detected. The flow state of the scene is recognized. When (1) and (2) shown in FIG. 3 are compared, there is a difference between the normal flow state and the non-normal flow state. In FIG. Therefore, the flow state is different from the normal flow state. If the difference between the flow state (2) and the normal flow state (1) is large, it can be determined that some abnormality (unusual state) has occurred. Therefore, next, it is important to obtain the difference from the normal flow state (1).

上記の処理ステップＳ１１で算出された、監視画像についてのオプティカルフローに係るデータはメモリに保存される（ステップＳ１２）。   The data related to the optical flow for the monitoring image calculated in the processing step S11 is stored in the memory (step S12).

次の処理ステップＳ１３では、監視画像のフレーム３１（視野）を複数のブロック３４に分割する。この複数のブロック３４への分割は、ブロック／区画分割部２２によって実行される。複数のブロック３４の各々では、ブロック毎の大まかな傾向として、先に算出したオプティカルフロー３２に基づき、それぞれのオプティカルフローの方向がブロック毎個別に定められる。図４に、監視画像のフレーム３１内で、分割された複数のブロック３４毎のオプティカルフロー３２のイメージを示している。図４の（１）は図３（１）に対応して通常流動の状態を示し、（２）は図３（２）に対応して非通常流動の状態を示している。各ブロック３４は、格子状の破線３５で仕切られることにより形成されている。図４に示すように、複数のブロック３４の各々では、ブロック毎に個別に大まかなオプティカルフローの方向が決まる。各ブロック３４毎に決まるオプティカルフローの方向に基づいて、各ブロック３４のオプティカルフロー方向の差異を算出することが可能となる。   In the next processing step S13, the frame 31 (field of view) of the monitoring image is divided into a plurality of blocks. The division into the plurality of blocks 34 is performed by the block / partition division unit 22. In each of the plurality of blocks 34, as a general tendency for each block, the direction of each optical flow is determined individually for each block based on the previously calculated optical flow 32. FIG. 4 shows an image of the optical flow 32 for each of a plurality of divided blocks 34 in the frame 31 of the monitoring image. (1) in FIG. 4 shows a normal flow state corresponding to FIG. 3 (1), and (2) shows a non-normal flow state corresponding to FIG. 3 (2). Each block 34 is formed by being partitioned by a grid-like broken line 35. As shown in FIG. 4, in each of the plurality of blocks 34, a rough optical flow direction is determined individually for each block. Based on the optical flow direction determined for each block 34, the difference in the optical flow direction of each block 34 can be calculated.

上記のブロック／区画分割部２２は、さらに、図５の（Ａ）に示すごとく、監視画像のフレーム２１を例えば少なくとも２つの区画３６，３７に分割する（ステップＳ１４）。これは、上記の複数のブロック３４の各々の差異を算出するに当たって、図５（Ａ）中で左側区画３６と右側区画３７の２つの区画の各々で特徴の傾向を見ることにより、複数のブロック３４の各々の差異を算出する。   The block / partition division unit 22 further divides the monitoring image frame 21 into at least two sections 36 and 37, for example, as shown in FIG. 5A (step S14). This is because, in calculating the difference between each of the plurality of blocks 34 described above, the tendency of the features in each of the two sections, the left section 36 and the right section 37 in FIG. The difference of each of 34 is calculated.

次に、処理ステップＳ１５では、２つの区画３６，３７の各々において、各区画に含まれる複数のブロック３４の各オプティカルフロー３２に基づいて当該オプティカルフローの方向ヒストグラム３８，３９を計算する。この方向ヒストグラム３８，３９は、図５の（Ｂ）に示すように、等角度（４５°）間隔の８つの方向（０，１，２，３，４，５，６，７）の予め定め、各方向に関して、各区画３６，３７に含まれる複数のブロック３４の各オプティカルフローを統計的に処理することにより、計算される。このようにして、左側区画３６について方向ヒストグラム３８が求められ、右側区画３７について方向ヒストグラム３９が求められる。この方向ヒストグラム３８，３９の計算は方向ヒストグラム演算部２３によって実行される。方向ヒストグラム３８，３９は、流動状態を表す特性情報である。   Next, in processing step S15, in each of the two sections 36 and 37, the direction histograms 38 and 39 of the optical flow are calculated based on the optical flows 32 of the plurality of blocks 34 included in each section. The direction histograms 38 and 39 are predetermined in eight directions (0, 1, 2, 3, 4, 5, 6, 7) at equiangular (45 °) intervals, as shown in FIG. For each direction, the calculation is performed by statistically processing each optical flow of the plurality of blocks 34 included in each of the partitions 36 and 37. In this way, the direction histogram 38 is obtained for the left section 36 and the direction histogram 39 is obtained for the right section 37. The calculation of the direction histograms 38 and 39 is executed by the direction histogram calculation unit 23. The direction histograms 38 and 39 are characteristic information representing the flow state.

方向ヒストグラム３８，３９は、それぞれ、対応する区画３６，３７に含まれるブロック３４の各オプティカルフローを８つの方向（０〜７）のそれぞれに累積したものである。これにより、各区画３８，３９毎の方向ヒストグラムのパターンを得ることができる。   The direction histograms 38 and 39 are obtained by accumulating the optical flows of the blocks 34 included in the corresponding sections 36 and 37 in eight directions (0 to 7), respectively. Thereby, the pattern of the direction histogram for each section 38, 39 can be obtained.

上記のような方向ヒストグラムを、上記の処理ステップＳ１１〜Ｓ１５を繰り返して、例えば過去数日分あるいは数時間分取得することにより、通常状態に係る方向ヒストグラムのパターンを得ることができる。この通常状態の方向ヒストグラムのパターンは、通常の流動状態になる。「通常状態に係る方向ヒストグラム」のパターンのデータは、前述の通り、データベース２７に用意されている。   By obtaining the above-described direction histogram by repeating the above processing steps S11 to S15, for example, for the past several days or several hours, a pattern of the direction histogram according to the normal state can be obtained. This normal state direction histogram pattern is in a normal flow state. The data of the pattern of “direction histogram related to normal state” is prepared in the database 27 as described above.

なお上記の方向ヒストグラムでは方向のみに着目したが、さらにオプティカルフローとしての動ベクトルの長さに基づき速度についても考慮することもできる。オプティカルフローの長さが長ければ、方向ヒストグラム算出時の重みを大きくすることにより、速度が反映された方向ヒストグラムにすることもできる。   In the above-described direction histogram, only the direction is focused. However, the speed can also be considered based on the length of the motion vector as an optical flow. If the length of the optical flow is long, the direction histogram reflecting the speed can be obtained by increasing the weight at the time of calculating the direction histogram.

また、図２に示した処理の流れでは、オプティカルフローの概念を説明するため、便宜上、オプティカルフロー３２の計算を最初の処理ステップＳ１１で行うようにしたが、オプティカルフローの計算は、複数のブロック３４の分割、および２つの区画３６，３７の分割の後に行うこともできる。処理ステップＳ１１〜Ｓ１４の実行順序は適宜に任意に変更することができる。   In the processing flow shown in FIG. 2, for the sake of convenience, the calculation of the optical flow 32 is performed in the first processing step S11 in order to explain the concept of optical flow. It can also be performed after the division of 34 and the division of the two compartments 36 and 37. The execution order of the processing steps S11 to S14 can be arbitrarily changed as appropriate.

次に、処理ステップＳ１６では、監視対象になっている場所の現時点での監視画像から得られた各区画３６，３７の方向ヒストグラム３８，３９と、データベース２７に用意されている「通常状態に係る方向ヒストグラム」とが比較される。この比較処理は、上記の比較部２４によって実行される。この比較処理では、比較結果として、類似度を表す指標が求められる。類似度を表す指標としては、例えば、ユークリッド距離、またはコサイン類似度が利用される。ユークリッド距離を利用する場合には、方向ヒストグラムに含まれるデータ数を正規化したもの同士を用いて比較を行う。この比較によって得られる「類似度を表す指標」に基づいて、「通常状態に係る方向ヒストグラム」との間の類似度度合いを得ることができる。   Next, in the processing step S16, the direction histograms 38 and 39 of the sections 36 and 37 obtained from the monitoring image at the present time of the place to be monitored and the “related to the normal state” prepared in the database 27 are prepared. The “direction histogram” is compared. This comparison process is executed by the comparison unit 24 described above. In this comparison process, an index representing similarity is obtained as a comparison result. As an index representing the degree of similarity, for example, Euclidean distance or cosine similarity is used. When the Euclidean distance is used, the comparison is performed using the normalized numbers of data included in the direction histogram. Based on the “index indicating similarity” obtained by this comparison, the degree of similarity with the “direction histogram related to the normal state” can be obtained.

図６は、比較処理をイメージ的に示している。図６において、５１は通常状態の監視画像でのオプティカルフロー（図２の（１）で示した内容）を示し、これの左右の区画３６，３７に対応して上記の方向ヒストグラム３８，３９が示されている。他方、５２は他の監視画像でのオプティカルフロー（図２の（２）で示した内容に対応し、非通常状態を示す監視画像）を示し、これの左右の区画（上記の区画３６，３７に対応）に対応して方向ヒストグラム３８’，３９’が示されている。この状況で、上記の処理ステップＳ１６での比較処理では、一方の方向ヒストグラム３８と３８’、他方の方向ヒストグラム３９と３９’が、それぞれ比較され（図６中、比較５３，５４）、「類似度を表す指標」が計算される。   FIG. 6 conceptually shows the comparison process. In FIG. 6, reference numeral 51 denotes an optical flow (the contents shown in (1) of FIG. 2) in the monitoring image in the normal state, and the direction histograms 38 and 39 correspond to the left and right sections 36 and 37, respectively. It is shown. On the other hand, 52 shows an optical flow in another monitoring image (a monitoring image corresponding to the contents shown in (2) of FIG. 2 and showing an abnormal state), and left and right sections (the above sections 36 and 37). Corresponding to), direction histograms 38 'and 39' are shown. In this situation, in the comparison process in the above-described processing step S16, the one direction histograms 38 and 38 ′ and the other direction histograms 39 and 39 ′ are respectively compared (comparison 53 and 54 in FIG. 6). An index representing the degree is calculated.

その後の処理ステップＳ１７，Ｓ１８では、ステップＳ１６の比較処理で求められた「類似度を表す指標」に基づいて、カメラ１１から与えられた監視画像の内容（混雑シーン）が、通常状態であるかまたは非通常状態（異常状態）であるかを判断する。この判断処理は、上記の判断部２５で実行される。判断処理は、「類似度を表す指標」を、データベース２７に用意されている「比較基準値」（一定の閾値）と比較し（ステップＳ１７）、「類似度を表す指標」が「比較基準値」以上であると、通常状態であると判断し、「比較基準値」未満であると、非通常状態であると判断する（判断ステップＳ１８）。判断ステップＳ１８で非通常状態と判断された場合には、出力装置２６を介して通報が行われる（ステップＳ１９）。   In subsequent processing steps S17 and S18, based on the “index indicating similarity” obtained in the comparison processing in step S16, is the content of the monitoring image (congested scene) given from the camera 11 in a normal state? Alternatively, it is determined whether the state is abnormal (abnormal state). This determination process is executed by the determination unit 25 described above. In the determination process, the “index indicating similarity” is compared with the “comparison reference value” (constant threshold) prepared in the database 27 (step S17), and the “index indicating similarity” is set to “comparison reference value”. If it is above, it is determined that the current state is normal, and if it is less than the “comparison reference value”, it is determined that the state is abnormal (determination step S18). If it is determined in the determination step S18 that the state is abnormal, a notification is made via the output device 26 (step S19).

上記の「通常状態」の内容（方向ヒストグラム、比較基準値）は、実情を反映させて実情と連動して定義することが効果的である。すなわち、前述した通り、「通常状態に係る方向ヒストグラム」および「比較基準値」のいずれか一方または両方には、「鉄道等の交通機関の運行情報」、または「曜日／時間帯に係る情報」、「イベントに係る情報」、「事故または故障に係る情報」、「自然災害に係る情報」の少なくとも一つを条件として反映させるように設定することが効果的である。   It is effective to define the contents of the above “normal state” (direction histogram, comparison reference value) in association with the actual situation by reflecting the actual situation. That is, as described above, one or both of the “direction histogram related to the normal state” and the “comparison reference value” include “operation information of transportation facilities such as railways” or “information related to day / time zone”. It is effective to set to reflect at least one of “information related to an event”, “information related to an accident or failure”, and “information related to a natural disaster” as a condition.

以上の実施形態で説明された構成、形状、大きさおよび配置関係については本発明が理解・実施できる程度に概略的に示したものにすぎない。従って本発明は、説明された実施形態に限定されるものではなく、特許請求の範囲に示される技術的思想の範囲を逸脱しない限り様々な形態に変更することができる。   The configurations, shapes, sizes, and arrangement relationships described in the above embodiments are merely schematically shown to the extent that the present invention can be understood and implemented. Therefore, the present invention is not limited to the described embodiments, and can be variously modified without departing from the scope of the technical idea shown in the claims.

本発明に係る混雑の非通常状態検知システムは、流動認識の手法を利用して混雑における人の流動をオプティカルフローの方向ヒストグラムで表現し、混雑シーンの非通常状態を的確に判断することに利用される。   The congestion non-normal state detection system according to the present invention uses a flow recognition technique to express human flow in a congestion with an optical flow direction histogram, and is used to accurately determine the non-normal state of a crowded scene. Is done.

１１ カメラ
１２ 流動認識部
２１ オプティカルフロー演算部
２２ ブロック／区画分割部
２３ 方向ヒストグラム演算部
２４ 比較部
２５ 判断部
２６ 出力装置
２７ データベース
３１ フレーム
３２ オプティカルフロー
３３ 破線領域
３４ ブロック
３５ 格子状破線
３６，３７ 区画
３８，３９ 方向ヒストグラム DESCRIPTION OF SYMBOLS 11 Camera 12 Flow recognition part 21 Optical flow calculation part 22 Block / partition division part 23 Direction histogram calculation part 24 Comparison part 25 Judgment part 26 Output device 27 Database 31 Frame 32 Optical flow 33 Dashed area 34 Block 35 Grid-like broken line 36,37 Section 38, 39 direction histogram

Claims (4)

人が集まり移動する特定場所を撮影する撮像装置と、
前記撮像装置の撮影で取得された前記特定場所に係る画像データで、当該画像に係る領域を少なくとも２つの区画に分割する分割手段と、
前記各区画毎でオプティカルフローを計算する第１演算手段と、
前記各区画毎で、前記オプティカルフローについて方向ヒストグラムを計算する第２演算手段と、
前記各区画毎、撮影および演算により取得された前記方向ヒストグラムと予め用意された通常状態に係る方向ヒストグラムとを比較する比較手段と、
前記比較手段による前記各区画毎の比較結果と比較基準値とに基づき非通常状態であるか否かを判断する判断手段と、
前記判断手段で非通常状態であると判断されたときに通報を行う通報手段と、
を備えることを特徴とする混雑の非通常状態検知システム。 An imaging device for photographing a specific place where people gather and move;
A dividing unit that divides an area related to the image into at least two sections in the image data related to the specific location acquired by the imaging device;
First computing means for calculating an optical flow for each section;
Second computing means for calculating a direction histogram for the optical flow for each of the sections;
Comparing means for comparing the direction histogram acquired by photographing and calculation for each section with a direction histogram according to a normal state prepared in advance;
A determination means for determining whether or not an abnormal state based on a comparison result and a comparison reference value for each section by the comparison means;
A reporting means for reporting when it is determined by the determining means that the state is abnormal;
A non-normal state detection system for congestion characterized by comprising: 前記の予め用意された通常状態に係る方向ヒストグラムおよび前記比較基準値のいずれか一方または両方に、曜日・時間帯に係る情報、イベントに係る情報、事故または故障に係る情報、自然災害に係る情報の少なくとも一つを条件として反映させたことを特徴とする請求項１記載の混雑の非通常状態検知システム。   Either or both of the direction histogram according to the normal state prepared in advance and the comparison reference value, information relating to day / time, information relating to an event, information relating to an accident or failure, information relating to a natural disaster 2. The congestion non-normal state detection system according to claim 1, wherein at least one of the conditions is reflected as a condition. 前記の予め用意された通常状態に係る方向ヒストグラムおよび前記比較基準値のいずれか一方または両方に、鉄道を含む交通機関の運行情報を条件として反映させたことを特徴とする請求項１記載の混雑の非通常状態検知システム。   The congestion according to claim 1, wherein operation information of a transportation facility including a railroad is reflected as a condition in one or both of the direction histogram and the comparison reference value relating to the normal state prepared in advance. Unusual condition detection system. 前記特定場所は駅改札口または駅構内であることを特徴とする請求項１〜３のいずれか１項に記載の混雑の非通常状態検知システム。   The non-normal state detection system for congestion according to any one of claims 1 to 3, wherein the specific place is a station ticket gate or a station premises.
JP2011277215A 2011-12-19 2011-12-19 Unusual condition detection system for congestion Active JP5992681B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011277215A JP5992681B2 (en) 2011-12-19 2011-12-19 Unusual condition detection system for congestion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011277215A JP5992681B2 (en) 2011-12-19 2011-12-19 Unusual condition detection system for congestion

Publications (2)

Publication Number Publication Date
JP2013127716A true JP2013127716A (en) 2013-06-27
JP5992681B2 JP5992681B2 (en) 2016-09-14

Family

ID=48778214

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011277215A Active JP5992681B2 (en) 2011-12-19 2011-12-19 Unusual condition detection system for congestion

Country Status (1)

Country Link
JP (1) JP5992681B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015001967A1 (en) * 2013-07-02 2015-01-08 富士通株式会社 Device and method for creating image-processing filter
JP2015046732A (en) * 2013-08-28 2015-03-12 キヤノン株式会社 Image processing apparatus and image processing method
JP2015052534A (en) * 2013-09-06 2015-03-19 パナソニック株式会社 Moving body detection device and moving body detection system
JP2016024651A (en) * 2014-07-22 2016-02-08 沖電気工業株式会社 State determination system, state determination method, and program
KR101675692B1 (en) * 2015-06-26 2016-11-14 성균관대학교산학협력단 Method and apparatus for crowd behavior recognition based on structure learning
JP2017041869A (en) * 2015-08-20 2017-02-23 株式会社東芝 Image processing system, image processing method, and program
US10289884B2 (en) 2015-08-27 2019-05-14 Kabushiki Kaisha Toshiba Image analyzer, image analysis method, computer program product, and image analysis system
WO2020090010A1 (en) * 2018-10-30 2020-05-07 三菱電機株式会社 Abnormal behavior detection device, abnormal behavior detection program, and abnormal behavior detection method
CN114863670A (en) * 2022-01-17 2022-08-05 深圳市慧视通科技股份有限公司 Method and device for early warning of taxi gathering condition
JP7440332B2 (en) 2020-04-21 2024-02-28 株式会社日立製作所 Event analysis system and method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022020352A (en) 2020-07-20 2022-02-01 キヤノン株式会社 Information processing device, information processing method, and program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008160462A (en) * 2006-12-22 2008-07-10 Matsushita Electric Works Ltd Imaging device
JP2009110152A (en) * 2007-10-29 2009-05-21 Panasonic Corp Congestion estimation device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008160462A (en) * 2006-12-22 2008-07-10 Matsushita Electric Works Ltd Imaging device
JP2009110152A (en) * 2007-10-29 2009-05-21 Panasonic Corp Congestion estimation device

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9971954B2 (en) 2013-07-02 2018-05-15 Fujitsu Limited Apparatus and method for producing image processing filter
JP2015011641A (en) * 2013-07-02 2015-01-19 富士通株式会社 Apparatus and method of creating image processing filter
WO2015001967A1 (en) * 2013-07-02 2015-01-08 富士通株式会社 Device and method for creating image-processing filter
JP2015046732A (en) * 2013-08-28 2015-03-12 キヤノン株式会社 Image processing apparatus and image processing method
JP2015052534A (en) * 2013-09-06 2015-03-19 パナソニック株式会社 Moving body detection device and moving body detection system
JP2016024651A (en) * 2014-07-22 2016-02-08 沖電気工業株式会社 State determination system, state determination method, and program
KR101675692B1 (en) * 2015-06-26 2016-11-14 성균관대학교산학협력단 Method and apparatus for crowd behavior recognition based on structure learning
JP2017041869A (en) * 2015-08-20 2017-02-23 株式会社東芝 Image processing system, image processing method, and program
US10289884B2 (en) 2015-08-27 2019-05-14 Kabushiki Kaisha Toshiba Image analyzer, image analysis method, computer program product, and image analysis system
WO2020090010A1 (en) * 2018-10-30 2020-05-07 三菱電機株式会社 Abnormal behavior detection device, abnormal behavior detection program, and abnormal behavior detection method
JPWO2020090010A1 (en) * 2018-10-30 2021-03-18 三菱電機株式会社 Anomaly detection device, anomaly detection program and anomaly detection method
JP7440332B2 (en) 2020-04-21 2024-02-28 株式会社日立製作所 Event analysis system and method
CN114863670A (en) * 2022-01-17 2022-08-05 深圳市慧视通科技股份有限公司 Method and device for early warning of taxi gathering condition
CN114863670B (en) * 2022-01-17 2022-12-02 深圳市慧视通科技股份有限公司 Method and device for early warning of taxi gathering condition

Also Published As

Publication number Publication date
JP5992681B2 (en) 2016-09-14

Similar Documents

Publication Publication Date Title
JP5992681B2 (en) Unusual condition detection system for congestion
JP5560397B2 (en) Autonomous crime prevention alert system and autonomous crime prevention alert method
WO2017047687A1 (en) Monitoring system
KR102195706B1 (en) Method and Apparatus for Detecting Intruder
KR102356666B1 (en) Method and apparatus for risk detection, prediction, and its correspondence for public safety based on multiple complex information
KR102172239B1 (en) Method and system for abnormal situation monitoring based on video
CN108376246A (en) A kind of identification of plurality of human faces and tracking system and method
US20100007738A1 (en) Method of advanced person or object recognition and detection
CN113936465A (en) Traffic incident detection method and device
CN114495011A (en) Non-motor vehicle and pedestrian illegal intrusion identification method based on target detection, storage medium and computer equipment
CN113673311A (en) Traffic abnormal event detection method, equipment and computer storage medium
JP2023524623A (en) Method, apparatus, equipment, storage medium and program for detecting traffic anomalies
Desai et al. Accident detection using ml and ai techniques
US11935303B2 (en) System and method for mitigating crowd panic detection
CN107920224B (en) Abnormity warning method, abnormity warning equipment and video monitoring system
US20120257052A1 (en) Electronic device and method for detecting abnormities of image capturing device
Wang et al. Vision-based highway traffic accident detection
CN111064924B (en) Video monitoring method and system based on artificial intelligence
CN112330742A (en) Method and device for recording activity routes of key personnel in public area
CN112949359A (en) Convolutional neural network-based abnormal behavior identification method and device
KR20130047131A (en) Method and system for surveilling contents of surveillance using mobile terminal
Anithadevi et al. An Improved SSD Object Detection Algorithm For Safe Social Distancing and Face Mask Detection In Public Areas Through Intelligent Video Analytics
Yang et al. A Deep Learning Approach for Automated Detection of Railroad Trespassers
Acharjee et al. YOLOv3 based real time social distance violation detection in public places
KR102614856B1 (en) System and method for predicting risk of crowd turbulence

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151006

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160216

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160818

R150 Certificate of patent or registration of utility model

Ref document number: 5992681

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150