JP2010140371A - System, method and program for monitoring video - Google Patents

System, method and program for monitoring video Download PDF

Info

Publication number
JP2010140371A
JP2010140371A JP2008317778A JP2008317778A JP2010140371A JP 2010140371 A JP2010140371 A JP 2010140371A JP 2008317778 A JP2008317778 A JP 2008317778A JP 2008317778 A JP2008317778 A JP 2008317778A JP 2010140371 A JP2010140371 A JP 2010140371A
Authority
JP
Japan
Prior art keywords
video
inter
processing means
monitoring
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008317778A
Other languages
Japanese (ja)
Other versions
JP4982472B2 (en
Inventor
Toshio Watanabe
敏雄 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2008317778A priority Critical patent/JP4982472B2/en
Publication of JP2010140371A publication Critical patent/JP2010140371A/en
Application granted granted Critical
Publication of JP4982472B2 publication Critical patent/JP4982472B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a video monitoring system for directly catching macroscopic behaviors of a group, such as traffic flow without catching microscopic behaviors of an individual vehicle, or the like. <P>SOLUTION: The video monitoring system includes an interframe average processing means 200 for obtaining an interframe average video image by averaging image signals of each pixel of a frame image with respect to a monitored video image within a set time, photographed with a group as a monitoring target by a monitoring camera 100, an optical flow evaluation processing means 300 for calculating a motion place in a video image to obtain a motion of trajectory with respect to the interframe average video image obtained by the interframe average processing means 200, and an outputting means 400 for outputting the motion of trajectory obtained by the optical flow evaluation processing means 300. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、交通流や人込みの流れ、動物の集団の移動などの映像監視において、集団の大局的な動き・挙動を認識・計測するのに適した映像監視ステム、映像監視方法および映像監視プログラムに関する。   The present invention relates to a video surveillance system, a video surveillance method, and a video surveillance suitable for recognizing and measuring a global movement / behavior of a group in video surveillance such as traffic flow, crowd flow, and movement of an animal group. Regarding the program.

交通の映像監視などにおいては、個々の車両の挙動を解析して、事故や故障などの異常発見が目的の一つであるが、他方、マクロな交通状態(流れ)を知ることも重要な目的である。道路・交通状況などの遠隔監視のニーズは高く、光ファイバの普及などの通信環境の整備に合わせて監視カメラの設置は加速度的に増加する傾向にあるが、重要な地点以外では、個別の車両の挙動に関わる詳細な事象ではなく、後者の監視対象のマクロな交通状況の把握が、第一義的に求められている。   In traffic video surveillance, etc., one of the objectives is to analyze the behavior of individual vehicles and discover abnormalities such as accidents and breakdowns. On the other hand, it is also important to know macro traffic conditions (flows). It is. The need for remote monitoring of roads and traffic conditions is high, and the installation of surveillance cameras tends to increase at an accelerated pace in line with the development of the communication environment such as the spread of optical fiber. It is primarily required to grasp the macro traffic situation of the latter, not the detailed events related to the behavior of the latter.

尚、従来、異常交通事象の検出システムについては例えば非特許文献1に記載のものが提案され、車両追跡法については例えば非特許文献2に記載のものが提案されている。また、本発明で利用するオプティカルフローの導出については例えば非特許文献3に記載されている。
上條俊介,原田将弘,坂内正夫,“統計モデルと意味階層の結合による交通映像異常事象検出システム”,電子情報通信学会論文誌 A Vol.J88−A,No.2 pp.152−163,2005. 安倍満,小沢慎治,“拘束付きグラフ分割を用いたオクルージョンに強い車両追跡”,電子情報通信学会論文誌 A Vol.J90−A,No.12 pp.948−959,2007. 安居院猛,長尾智晴,“画像の処理と認識”,昭晃堂,1992年 11月,11.3節 pp.164−170.
Conventionally, an abnormal traffic event detection system has been proposed, for example, in Non-Patent Document 1, and a vehicle tracking method has been proposed, for example, in Non-Patent Document 2. The derivation of the optical flow used in the present invention is described in Non-Patent Document 3, for example.
Shunsuke Kamijo, Masahiro Harada, Masao Sakauchi, “Traffic image abnormal event detection system by combining statistical model and semantic hierarchy”, IEICE Transactions A Vol. J88-A, no. 2 pp. 152-163, 2005. Mitsuru Abe, Shinji Ozawa, “Occlusion-resistant vehicle tracking using constrained graph partitioning”, IEICE Transactions A Vol. J90-A, no. 12 pp. 948-959, 2007. Takeshi Aoi, Tomoharu Nagao, “Image Processing and Recognition”, Shosodo, November 1992, section 11.3 pp. 164-170.

通常、マクロな交通の状態は、ミクロな事象である個々の車両の挙動を求めたのち、その平均をとるなどの総合的な判定処理により求められる。しかしながら、大きなトラックによる他の車両の一部、または全部の遮蔽などのオクルージョンの問題、影、光の反射その他による画像認識における外乱要因の影響などにより、特に車両の存在密度が高い場合、個々の車両を的確に捉えることは、まだ課題も残されており、また、その対応に、多大な計算パワーを要してしまっていた。   Usually, the state of macro traffic is obtained by a comprehensive determination process such as obtaining the average of behaviors of individual vehicles, which are micro events, and then taking the average. However, due to occlusion problems such as occlusion of other or part of other vehicles by large trucks, influence of disturbance factors in image recognition due to shadows, light reflections, etc. There is still a problem to be able to accurately capture the vehicle, and a great deal of computational power is required to deal with it.

また、個々の挙動には、車線変更や追い越しなど、一部イレギュラーなものも含まれ、個々の挙動から全体の状態に結びつけるまでの処理も必ずしも容易ではない。例えば、事故車等の回避などの車線変更は、例外とは言えず、定常/非定常の定義も困難であった。   Each behavior includes some irregular things such as lane change and overtaking, and processing from individual behavior to the whole state is not always easy. For example, lane changes such as avoiding accident vehicles are not an exception, and it is difficult to define steady / unsteady.

本発明は、このような課題を鑑みて行われたものであり、例えば個々の車両などミクロな挙動を捉えずに、ダイレクトに交通流など集団のマクロな挙動を捉える映像監視システム、映像監視方法および映像監視プログラムを提供するものである。   The present invention has been made in view of such problems. For example, a video monitoring system and a video monitoring method for capturing a macro behavior of a group such as a traffic flow directly without capturing a micro behavior of an individual vehicle, for example. And a video surveillance program.

本発明では、監視映像に対して、一定時間(例えば30秒〜数分)のフレーム間平均処理を施した映像に対して、映像内の動きの場(オプティカルフロー)の算出を行うことを特徴とする。   In the present invention, a motion field (optical flow) in a video is calculated for a video obtained by performing an inter-frame averaging process for a certain time (for example, 30 seconds to several minutes) for a monitoring video. And

フレーム間平均処理は、簡易なノイズ除去手段として知られているが、一定以上の密度のある交通流に対して、十分な時間のフレーム間平均処理を施した場合には、例えば個々の車両は全く識別できなくなるが、完全に見えなくなるわけではなく、平均処理時間の間に通過する他の車両の像と重ね合わせられることで道路の上に雲がかかったような映像となる。   Inter-frame averaging is known as a simple noise removal means. However, if the average processing between frames for a sufficient amount of time is applied to a traffic flow with a certain density or more, for example, individual vehicles Although it cannot be identified at all, it is not completely invisible, and it is superimposed on an image of another vehicle that passes during the average processing time, resulting in an image that looks like a cloud on the road.

映像内のオプティカルフローを求める手法については、古くより様々な検討が行われている(例えば非特許文献3参照)。これらの既存の手法を用いて、前記雲のように見えるものの動きを求めることで、ミクロな動き(この場合は個々の車両の挙動)を求めることなく、大局的な状態(この場合は交通流の平均的な状態)を求めることができる。   Various studies have been conducted on the method for obtaining the optical flow in a video (for example, see Non-Patent Document 3). By using these existing methods to determine the movement of what looks like the cloud, it is possible to obtain a global state (in this case, traffic flow) without calculating microscopic movement (in this case, the behavior of individual vehicles). Average state).

すなわち、請求項1に記載の映像監視システムは、撮影手段によって集団の大局的な動きを監視する映像監視システムであって、前記集団を監視対象として撮影手段によって撮影された、設定時間内の監視映像に対して、フレーム画像の画素毎の画像信号を平均化してフレーム間平均映像を得るフレーム間平均処理手段と、前記フレーム間平均処理手段によって得られたフレーム間平均映像に対して、映像内の動きの場を算出して軌跡の動きを得るオプティカルフロー評価処理手段とを備え、前記オプティカルフロー評価処理手段によって得られた軌跡の動きに基づいて、監視対象集団の大局的な動きを求めることを特徴としている。   In other words, the video monitoring system according to claim 1 is a video monitoring system that monitors a global movement of a group by an imaging unit, and is monitored within a set time, which is captured by the imaging unit with the group as a monitoring target. An inter-frame average processing unit that averages an image signal for each pixel of a frame image to obtain an inter-frame average video for the video, and an inter-frame average video obtained by the inter-frame average processing unit An optical flow evaluation processing means for obtaining a movement of the trajectory by calculating a motion field of the object, and obtaining a global movement of the monitoring target group based on the movement of the trajectory obtained by the optical flow evaluation processing means It is characterized by.

また、請求項2に記載の映像監視方法は、撮影手段によって集団の大局的な動きを監視する映像監視方法であって、フレーム間平均処理手段が、前記集団を監視対象として撮影手段によって撮影された、設定時間内の監視映像に対して、フレーム画像の画素毎の画像信号を平均化してフレーム間平均映像を得るフレーム間平均処理ステップと、オプティカルフロー評価処理手段が、前記フレーム間平均処理手段によって得られたフレーム間平均映像に対して、映像内の動きの場を算出して軌跡の動きを得るオプティカルフロー評価処理ステップとを備え、前記オプティカルフロー評価処理ステップによって得られた軌跡の動きに基づいて、監視対象集団の大局的な動きを求めることを特徴としている。   The video monitoring method according to claim 2 is a video monitoring method in which the overall movement of the group is monitored by the imaging unit, and the inter-frame averaging processing unit is captured by the imaging unit with the group as a monitoring target. Further, an inter-frame averaging processing step of averaging image signals for each pixel of a frame image with respect to a monitoring video within a set time to obtain an inter-frame average video, and an optical flow evaluation processing means include the inter-frame average processing means And an optical flow evaluation processing step for obtaining a motion of the trajectory by calculating a motion field in the video with respect to the inter-frame average video obtained by the step, and the motion of the trajectory obtained by the optical flow evaluation processing step. Based on this, the global movement of the monitoring target group is obtained.

また、請求項3に記載の映像監視プログラムは、コンピュータに請求項2に記載の各手順を実行させる映像監視プログラムである。   According to a third aspect of the present invention, there is provided a video monitoring program for causing a computer to execute each procedure according to the second aspect.

本発明によれば、フレーム間平均処理を施した監視映像に対してオプティカルフローを求める手順をとることで、例えば交通監視においては、個々の車両の挙動を求めずに、ダイレクトに大局的な交通状態を導出することができる。   According to the present invention, by taking a procedure for obtaining an optical flow with respect to a monitoring image subjected to an inter-frame averaging process, for example, in traffic monitoring, a direct global traffic can be obtained without obtaining the behavior of individual vehicles. A state can be derived.

フレーム間平均処理を施すことにより、例えば、一時的に画面を大きく遮るようなトラックが走行しても、フレーム間平均映像では、ほとんど識別できない程度に影響が減じられるため、一般の交通監視などで課題となる、車両間のオクルージョンの問題は生じない。   By performing the average processing between frames, for example, even if a truck that temporarily blocks the screen travels, the influence is reduced to the extent that it can hardly be identified with the average image between frames. There is no problem of occlusion between vehicles, which is a problem.

また、車線変更などの一時的なイレギュラーな挙動は、フレーム間平均映像ではほとんど残らず、また、一方で、車線変更でも、故障車回避のために多くの車両がとる挙動については、前述した雲のような残像として捉えられるため、定常/非定常な挙動の識別も自動的に行うことができるため、少ない計算負荷で、ロバスト・効率的に大局的な交通状態(集団の動き)を得ることができる。   In addition, temporary irregular behavior such as lane change is hardly left in the average image between frames. On the other hand, the behavior that many vehicles take to avoid a broken car is also described above. Since it is captured as an afterimage like a cloud, it can also automatically identify steady / unsteady behavior, so it can obtain a robust and efficient global traffic condition (group movement) with a small computational load. be able to.

以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図1は、本発明を交通監視に適用した映像監視システムの一実施形態例の構成を示すブロック図である。   Hereinafter, embodiments of the present invention will be described with reference to the drawings, but the present invention is not limited to the following embodiments. FIG. 1 is a block diagram showing the configuration of an embodiment of a video monitoring system in which the present invention is applied to traffic monitoring.

図1において、100は監視対象の例えば道路を撮影する、固定された監視カメラ(撮影手段)である。200は、監視カメラ100により取得された交通監視映像に対して、直近のあらかじめ設定された時間(フレーム)で逐次、フレーム画像の画素毎の画像信号を平均化するフレーム間平均処理を施してフレーム間平均映像を得るフレーム間平均処理手段である。   In FIG. 1, reference numeral 100 denotes a fixed surveillance camera (photographing means) that photographs, for example, a road to be monitored. Reference numeral 200 denotes a frame obtained by performing an inter-frame averaging process that sequentially averages image signals for each pixel of a frame image with respect to the traffic monitoring video acquired by the monitoring camera 100 at the latest preset time (frame). This is an inter-frame average processing means for obtaining an inter-average video.

300は、前記フレーム間平均処理手段200により得られたフレーム間平均映像に対して、映像内の動きの場(オプティカルフロー)を算出して軌跡の動きを得るオプティカルフロー評価処理手段である。   Reference numeral 300 denotes an optical flow evaluation processing unit that obtains a motion of a locus by calculating a motion field (optical flow) in the video with respect to the inter-frame average video obtained by the inter-frame average processing unit 200.

400は、オプティカルフロー評価処理手段300によって得られた軌跡の動きに基づく大局的交通状態を出力する(例えば表示装置に表示する)出力手段である。   Reference numeral 400 denotes output means for outputting a global traffic state based on the movement of the trajectory obtained by the optical flow evaluation processing means 300 (for example, displaying it on a display device).

前記フレーム間平均処理手段200およびオプティカルフロー評価処理手段300の各機能は、例えばコンピュータによって達成される。   Each function of the inter-frame average processing means 200 and the optical flow evaluation processing means 300 is achieved by, for example, a computer.

前記フレーム間平均処理手段200の詳細は図2のように構成されている。図2において、nフレームの平均処理を行う場合には、監視カメラ100から入力される映像の各画素の画像信号に対して、nフレーム分の時間遅れ映像を時間遅れ映像作成部210-1〜210-(n−1)によって各々作成し、それを除算部220-0〜220-(n−1)によって各々nで除し、加算部230-1〜230-(n−1)によって足し合わせることで、元の監視映像からフレーム間平均映像が作成できる。 The details of the inter-frame average processing means 200 are configured as shown in FIG. In Figure 2, when performing an average processing for n frames, the image signal of each pixel of the images input from the monitoring camera 100, a time delay video n frames delay image generator 210 - 1 210 - create each by (n-1), which division unit 220 - divided by each n by (n-1), adding section 230 - - 0 to 220 summed by (n-1) - 1-230 Thus, an inter-frame average video can be created from the original monitoring video.

なお、図2では連続したnフレーム全てに対して平均処理を行っているが、本発明におけるフレーム間平均処理は、必ずしも全フレームである必要はなく、例えば、2フレームに1枚のように間引いた状態で平均処理を行うことによっても効果が得られる。   In FIG. 2, the averaging process is performed for all the consecutive n frames. However, the inter-frame averaging process in the present invention does not necessarily need to be performed for all frames. For example, thinning is performed for every two frames. The effect can also be obtained by carrying out the averaging process in a state where the recording is performed.

図3は本発明の効果を説明するイメージ図であり、図3(a)が生監視映像であり、片側二車線の道をスムーズに車両が走行している状態である。図3(b)は図3(a)のフレーム間平均映像であり、フレーム間平均処理を行う時間は、平均的に各車両が画面右端に現れ、左端で消滅するのに要する時間より長いものとする。図3(c)は図3(b)のフレーム間平均映像のオプティカルフローをオプティカルフロー評価処理手段300によって求めた結果を表すものである。   FIG. 3 is an image diagram for explaining the effect of the present invention. FIG. 3 (a) is a live monitoring video image showing a state where the vehicle is smoothly running on a one-lane two-lane road. FIG. 3B is an average image between frames in FIG. 3A, and the time for performing the average processing between frames is longer than the time required for each vehicle to appear at the right end of the screen on the average and disappear at the left end. And FIG. 3C shows the result obtained by the optical flow evaluation processing means 300 for the optical flow of the inter-frame average video in FIG.

nフレームのフレーム間平均映像においては、1枚毎の画像の影響が1/nになるということである。不変的な構造物は、n枚分足し合わせることで元の状態に戻るが、移動物体は、nが大きくなるにつれて、各フレームの像が不明瞭になり、十分にnを大きくすると、人間では識別できなくなる。しかしながら、実際にはたくさんの車両が走行しており、nフレームの間に何台もの車両が通過する。仮にnフレームの間の通過車両数をm台とすると、ある画素における車両の出現比はm/nとなり、フレーム間平均映像(図3(b))では、交通軌跡が、出現比に応じた濃さで雲のような感じに残ることになる。ここで重要なことは、車線変更などのイレギュラーな走行は、m台分の車両画像の重ね合わせが起こらないため、交通軌跡の中で目立たなくなる、すなわちフレーム間平均映像における雲のような交通軌跡は大局的な交通流を表しており、このフレーム間平均映像のオプティカルフローを求め、交通軌跡の動きを捉えることで、すなわち個々の車両の動きにとらわれない大局的な交通状態が得られることになる。   In the average image between frames of n frames, the effect of each image is 1 / n. An invariant structure returns to its original state by adding n pieces, but as for a moving object, the image of each frame becomes unclear as n increases, and if n is sufficiently large, Cannot be identified. However, in reality, many vehicles are traveling, and many vehicles pass through n frames. If the number of passing vehicles between n frames is m, the appearance ratio of vehicles at a certain pixel is m / n, and in the inter-frame average image (FIG. 3B), the traffic trajectory corresponds to the appearance ratio. It will remain cloudy in the depth. What is important here is that irregular driving such as lane change does not cause superimposition of vehicle images for m cars, so it becomes inconspicuous in the traffic trajectory, that is, traffic like clouds in the average image between frames The trajectory represents a global traffic flow. By obtaining the optical flow of the average image between frames and capturing the movement of the traffic trajectory, that is, a global traffic state independent of the movement of individual vehicles can be obtained. become.

オプティカルフロー評価処理手段300におけるオプティカルフローの導出については、以前より多くの研究が行われており、基本的な部分は確立された技術である。オクルージョン、陰影の扱いなど、画像処理上の実用課題は残されており、現在でも引き続き盛んに研究が行われているが、本発明においては、元の交通監視映像にフレーム間平均処理を行うことにより、車両間のオクルージョンなどの問題が発生せず、雲のような交通軌跡(例えば前記図3(b))の動きを求めれば良いだけであるため、初歩的なオプティカルフロー導出手法を用いることで、雲のような交通軌跡の動き(例えば前記図3(c))、すなわち大域的な交通流を、平易に求めることができる。   With regard to the derivation of the optical flow in the optical flow evaluation processing means 300, more research has been conducted than before, and the basic part is an established technique. Practical issues in image processing, such as occlusion and shading, remain, and research is still ongoing, but in the present invention, the original traffic monitoring video is subjected to interframe averaging. Therefore, since there is no problem such as occlusion between vehicles, and it is only necessary to obtain the movement of a traffic trajectory like a cloud (for example, FIG. 3B), an elementary optical flow derivation method should be used. Thus, the movement of a traffic locus such as a cloud (for example, FIG. 3C), that is, a global traffic flow can be easily obtained.

次に本発明の映像監視方法の実施形態例を説明する。本実施形態例では、図1〜図3で述べた映像監視システムにおける各処理を実行するものである。   Next, an embodiment of the video monitoring method of the present invention will be described. In this embodiment, each process in the video surveillance system described with reference to FIGS. 1 to 3 is executed.

すなわち、
ステップS1; フレーム間平均処理手段200が、集団を監視対象として監視カメラ100によって撮影された、直近の設定時間内の交通監視映像に対して、フレーム画像の画素毎の画像信号を平均化してフレーム間平均映像を得る。
That is,
Step S1: The interframe average processing means 200 averages the image signal for each pixel of the frame image with respect to the traffic monitoring video within the latest set time taken by the monitoring camera 100 with the group as the monitoring target. Get an average video.

ステップS2; オプティカルフロー評価処理手段300が、前記フレーム間平均処理手段200によって得られたフレーム間平均映像に対して、映像内の動きの場を算出して交通軌跡の動きを得る。   Step S2; The optical flow evaluation processing means 300 calculates the motion field in the video for the inter-frame average video obtained by the inter-frame average processing means 200 to obtain the motion of the traffic trajectory.

ステップS3; 出力手段400が、前記オプティカルフロー評価処理手段300によって得られた交通軌跡の動きに基づく大局的交通状態を出力する(例えば表示装置に表示する)。   Step S3; The output means 400 outputs the global traffic state based on the movement of the traffic trajectory obtained by the optical flow evaluation processing means 300 (for example, displays it on the display device).

また、本実施形態の映像監視システムにおける各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の映像監視方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばFD(Floppy(登録商標) Disk)や、MO(Magneto−Optical disk)、ROM(Read Only Memory)、メモリカード、CD(Compact Disk)−ROM、DVD(Digital Versatile Disk)−ROM、CD−R、CD−RW、HDD、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。   Further, a part or all of the functions of each means in the video monitoring system of the present embodiment can be configured by a computer program, and the program can be executed using the computer to realize the present invention. It goes without saying that the procedure in the video monitoring method can be configured by a computer program and the program can be executed by the computer, and the program for realizing the function by the computer can be read by a computer-readable recording medium such as an FD. (Floppy (registered trademark) Disk), MO (Magneto-Optical disk), ROM (Read Only Memory), memory card, CD (Compact Disk) -ROM, DVD (Digital Versatile) Disk) -ROM, CD-R, CD-RW, HDD, removable disk, etc., and can be stored and distributed. It is also possible to provide the above program through a network such as the Internet or electronic mail.

尚、ここまでの説明では、主に交通監視を例に説明してきたが、本発明は繁華街の人込みの流れ、自然界の動物の群れ・集団などの監視・観察にも無論適用可能である。   In the description so far, traffic monitoring has been mainly described as an example. However, the present invention is naturally applicable to monitoring / observation of crowded crowds in a downtown area, a herd / group of animals in the natural world, and the like. .

本発明の実施形態例の構成を示すブロック図。The block diagram which shows the structure of the example of embodiment of this invention. 本発明の実施形態例におけるフレーム間平均処理手段の詳細を示す構成図。The block diagram which shows the detail of the average process means between frames in the example of embodiment of this invention. 本発明の実施形態例におけるフレーム間平均処理およびオプティカルフロー評価処理の適用例を示す説明図。Explanatory drawing which shows the example of application of the average process between frames in the example embodiment of this invention, and an optical flow evaluation process.

符号の説明Explanation of symbols

100…監視カメラ、200…フレーム間平均処理手段、300…オプティカルフロー評価処理手段、400…出力手段。   DESCRIPTION OF SYMBOLS 100 ... Surveillance camera, 200 ... Interframe average process means, 300 ... Optical flow evaluation process means, 400 ... Output means.

Claims (3)

撮影手段によって集団の大局的な動きを監視する映像監視システムであって、
前記集団を監視対象として撮影手段によって撮影された、設定時間内の監視映像に対して、フレーム画像の画素毎の画像信号を平均化してフレーム間平均映像を得るフレーム間平均処理手段と、
前記フレーム間平均処理手段によって得られたフレーム間平均映像に対して、映像内の動きの場を算出して軌跡の動きを得るオプティカルフロー評価処理手段とを備え、
前記オプティカルフロー評価処理手段によって得られた軌跡の動きに基づいて、監視対象集団の大局的な動きを求めることを特徴とする映像監視システム。
A video surveillance system that monitors the global movement of a group by means of photographing,
An inter-frame average processing means that averages the image signal for each pixel of the frame image and obtains an inter-frame average video for the monitoring video within a set time taken by the imaging means with the group as a monitoring target;
Optical flow evaluation processing means for obtaining a motion of a trajectory by calculating a motion field within the video for the inter-frame average video obtained by the inter-frame average processing means,
A video surveillance system characterized in that a global movement of a monitoring target group is obtained based on a movement of a trajectory obtained by the optical flow evaluation processing means.
撮影手段によって集団の大局的な動きを監視する映像監視方法であって、
フレーム間平均処理手段が、前記集団を監視対象として撮影手段によって撮影された、設定時間内の監視映像に対して、フレーム画像の画素毎の画像信号を平均化してフレーム間平均映像を得るフレーム間平均処理ステップと、
オプティカルフロー評価処理手段が、前記フレーム間平均処理手段によって得られたフレーム間平均映像に対して、映像内の動きの場を算出して軌跡の動きを得るオプティカルフロー評価処理ステップとを備え、
前記オプティカルフロー評価処理ステップによって得られた軌跡の動きに基づいて、監視対象集団の大局的な動きを求めることを特徴とする映像監視方法。
A video monitoring method for monitoring the global movement of a group by photographing means,
The inter-frame average processing means averages the image signals for each pixel of the frame image with respect to the monitoring video within the set time taken by the imaging means with the group as a monitoring target, and obtains the inter-frame average video. An average processing step;
The optical flow evaluation processing means comprises an optical flow evaluation processing step for obtaining a movement of a trajectory by calculating a motion field in the video for the inter-frame average video obtained by the inter-frame average processing means,
A video monitoring method characterized in that a global movement of a monitoring target group is obtained based on a movement of a trajectory obtained by the optical flow evaluation processing step.
コンピュータに請求項2に記載の各手順を実行させる映像監視プログラム。   A video monitoring program for causing a computer to execute each procedure according to claim 2.
JP2008317778A 2008-12-15 2008-12-15 Video surveillance system, video surveillance method, and video surveillance program Expired - Fee Related JP4982472B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008317778A JP4982472B2 (en) 2008-12-15 2008-12-15 Video surveillance system, video surveillance method, and video surveillance program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008317778A JP4982472B2 (en) 2008-12-15 2008-12-15 Video surveillance system, video surveillance method, and video surveillance program

Publications (2)

Publication Number Publication Date
JP2010140371A true JP2010140371A (en) 2010-06-24
JP4982472B2 JP4982472B2 (en) 2012-07-25

Family

ID=42350446

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008317778A Expired - Fee Related JP4982472B2 (en) 2008-12-15 2008-12-15 Video surveillance system, video surveillance method, and video surveillance program

Country Status (1)

Country Link
JP (1) JP4982472B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933859A (en) * 2015-05-18 2015-09-23 华南理工大学 Macroscopic fundamental diagram-based method for determining bearing capacity of network
CN111127880A (en) * 2019-12-16 2020-05-08 西南交通大学 MFD-based grid network traffic performance analysis method
CN111445699A (en) * 2020-04-13 2020-07-24 黑龙江工程学院 Intersection traffic conflict discrimination method based on real-time vehicle track
US11055856B2 (en) 2016-12-21 2021-07-06 Axis Ab Method for and apparatus for detecting events

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63182800A (en) * 1987-01-23 1988-07-28 日本電気株式会社 Vehicle flow measuring apparatus
JPS643800A (en) * 1987-06-25 1989-01-09 Matsushita Electric Works Ltd Degree of traffic jam measuring instrument
JPH05312819A (en) * 1992-05-14 1993-11-26 N T T Data Tsushin Kk Speed detecting device for moving object
JP2002247564A (en) * 2001-02-21 2002-08-30 Koito Mfg Co Ltd Monitoring camera system
JP2006031645A (en) * 2004-07-12 2006-02-02 Nariyuki Mitachi Real-time estimation method for dynamic crowd density and crowd accident prevention system
JP2006048238A (en) * 2004-08-02 2006-02-16 Toshiba Corp Image processor and image processing program
JP2007209008A (en) * 2003-10-21 2007-08-16 Matsushita Electric Ind Co Ltd Surveillance device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63182800A (en) * 1987-01-23 1988-07-28 日本電気株式会社 Vehicle flow measuring apparatus
JPS643800A (en) * 1987-06-25 1989-01-09 Matsushita Electric Works Ltd Degree of traffic jam measuring instrument
JPH05312819A (en) * 1992-05-14 1993-11-26 N T T Data Tsushin Kk Speed detecting device for moving object
JP2002247564A (en) * 2001-02-21 2002-08-30 Koito Mfg Co Ltd Monitoring camera system
JP2007209008A (en) * 2003-10-21 2007-08-16 Matsushita Electric Ind Co Ltd Surveillance device
JP2006031645A (en) * 2004-07-12 2006-02-02 Nariyuki Mitachi Real-time estimation method for dynamic crowd density and crowd accident prevention system
JP2006048238A (en) * 2004-08-02 2006-02-16 Toshiba Corp Image processor and image processing program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933859A (en) * 2015-05-18 2015-09-23 华南理工大学 Macroscopic fundamental diagram-based method for determining bearing capacity of network
US11055856B2 (en) 2016-12-21 2021-07-06 Axis Ab Method for and apparatus for detecting events
CN111127880A (en) * 2019-12-16 2020-05-08 西南交通大学 MFD-based grid network traffic performance analysis method
CN111445699A (en) * 2020-04-13 2020-07-24 黑龙江工程学院 Intersection traffic conflict discrimination method based on real-time vehicle track

Also Published As

Publication number Publication date
JP4982472B2 (en) 2012-07-25

Similar Documents

Publication Publication Date Title
JP7036863B2 (en) Systems and methods for activity monitoring using video data
US11856290B2 (en) Method and apparatus of processing a signal from an event-based sensor
JP6439820B2 (en) Object identification method, object identification device, and classifier training method
US8942913B2 (en) System and method for on-road traffic density analytics using video stream mining and statistical techniques
CN104506804B (en) Motor vehicle abnormal behaviour monitoring device and its method on a kind of through street
US9224049B2 (en) Detection of static object on thoroughfare crossings
KR100834550B1 (en) Detecting method at automatic police enforcement system of illegal-stopping and parking vehicle and system thereof
CN103179350B (en) The camera and method of the exposure of picture frame in picture frame sequence based on the sports level optimization capturing scenes in scene
Parthasarathi et al. Smart control of traffic signal system using image processing
TW200807338A (en) Object density estimation in video
GB2450614A (en) Shadow detection and/or suppression in camera images
KR100820952B1 (en) Detecting method at automatic police enforcement system of illegal-stopping and parking vehicle using single camera and system thereof
US10277888B2 (en) Depth triggered event feature
JP4982472B2 (en) Video surveillance system, video surveillance method, and video surveillance program
US20160180201A1 (en) Image processing
Sharma Human detection and tracking using background subtraction in visual surveillance
JP2019154027A (en) Method and device for setting parameter for video monitoring system, and video monitoring system
US20220351515A1 (en) Method for perceiving event tagging-based situation and system for same
CN115760912A (en) Moving object tracking method, device, equipment and computer readable storage medium
SuganyaDevi et al. Object motion detection in video frames using background frame matching
JP2019192201A (en) Learning object image extraction device and method for autonomous driving
TWI589158B (en) Storage system of original frame of monitor data and storage method thereof
CN210955484U (en) Traffic condition monitor
Hashmi et al. Analysis and monitoring of a high density traffic flow at T-intersection using statistical computer vision based approach
JP2010141755A (en) System, method and program for monitoring road

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100611

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120417

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120423

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees