JP2019041207A - Monitoring system and monitoring method - Google Patents

Monitoring system and monitoring method Download PDF

Info

Publication number
JP2019041207A
JP2019041207A JP2017161060A JP2017161060A JP2019041207A JP 2019041207 A JP2019041207 A JP 2019041207A JP 2017161060 A JP2017161060 A JP 2017161060A JP 2017161060 A JP2017161060 A JP 2017161060A JP 2019041207 A JP2019041207 A JP 2019041207A
Authority
JP
Japan
Prior art keywords
monitoring
person
image processing
area
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017161060A
Other languages
Japanese (ja)
Other versions
JP6829165B2 (en
Inventor
豊彦 林
Toyohiko Hayashi
豊彦 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2017161060A priority Critical patent/JP6829165B2/en
Publication of JP2019041207A publication Critical patent/JP2019041207A/en
Application granted granted Critical
Publication of JP6829165B2 publication Critical patent/JP6829165B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

To provide a technology that achieves good detection accuracy and improves maintainability when a platform is monitored as a monitoring area by image processing.SOLUTION: In a monitoring system 101, an image processing apparatus 8 identifies a person included in a video of a monitoring area, which is photographed by a monitoring camera 1, accumulates the appearance point and the disappearance point of the person, and learns the location of an object included in the monitoring area of the monitoring camera based on the accumulated result. Further, the image processing apparatus 8 determines an action area of the person based on the storage result, sets a dangerous action detection area for determining dangerous action and associates the feature and time information of a vehicle entering a platform with each other and stores the feature and the time information. When the appearance frequency of the dangerous action is equal to or more than a predetermined time in a predetermined time zone, the image processing apparatus 8 performs a display for calling attention to a tablet terminal 14 or the like in the predetermined time zone.SELECTED DRAWING: Figure 1

Description

本発明は、監視システム及び監視方法に係り、例えば、鉄道のようにプラットホームに車両が進入するエリアを監視する監視システム及び監視方法に関する。   The present invention relates to a monitoring system and a monitoring method, for example, a monitoring system and a monitoring method for monitoring an area where a vehicle enters a platform such as a railway.

駅ホームにおける乗客等の安全確保の為に、画像処理を用いた監視システムが知られている（例えば特許文献１、２参照）。特許文献１に開示の技術では、ホーム監視における外乱と転落者を区別し、転落者のみを正確に検出して発報等する。また、特許文献２に開示の技術では、異なるホームの画像表示に伴う混乱を最小限にとどめるとともに、ホームと列車の状況を判断する検出手段を不要とし、構成が簡単で設置が容易なシステムが提案されている。   A monitoring system using image processing is known for ensuring the safety of passengers and the like in a station platform (see, for example, Patent Documents 1 and 2). In the technique disclosed in Patent Document 1, disturbance in home monitoring is distinguished from a fallen person, and only the fallen person is accurately detected and issued. In addition, the technique disclosed in Patent Document 2 minimizes the confusion associated with image display of different homes, eliminates the need for detection means for determining the status of the home and the train, and provides a system that is simple in configuration and easy to install. Proposed.

特開２０１１−１６６２４３号公報JP 2011-166243 A 特開２０１２−８６７５４号公報JP 2012-86754 A

ところで、画像処理による検知処理では、画像処理検知エリアの設定、現地環境に応じた画像処理パラメータのチューニング、カメラ設定等、システム運用前に現地にて技術者が手動で調整する必要があり、作業ボリュームが非常に多くコストと時間がかかっていた。運用開始後も検知精度が顧客要求に満たない場合は、再度、技術者が現地に赴いて調整する必要があり別の技術が求められていた。すなわち、検知精度に関して、定期的に技術者が現地で画像処理結果を基に判別することが求められ、この点でも別の技術が必要とされていた。別の観点では、画像処理で危険行動を検知した際に警報を出力して駅員が当該映像を見て最終判断することが多く、また、その情報を蓄積して危険予測に使用する技術が求められていた。   By the way, in detection processing by image processing, it is necessary for the engineer to manually adjust the system operation before setting the image processing detection area, tuning image processing parameters according to the local environment, camera settings, etc. The volume was very large and costly and time consuming. If the detection accuracy did not meet customer requirements even after the start of operation, it was necessary for engineers to visit the site again to make adjustments, and another technology was required. That is, regarding the detection accuracy, it is required that an engineer periodically discriminates on the basis of the image processing result on the site, and another technique is also required in this respect. From another viewpoint, when a dangerous action is detected by image processing, an alarm is often output and the station staff often makes a final judgment by looking at the video, and there is a need for a technology that accumulates this information and uses it for risk prediction. It was done.

本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。   The present invention has been made in view of such a situation, and an object thereof is to solve the above problems.

本発明は、車両が入線するプラットホームを監視エリアとして撮影する監視カメラと、前記監視カメラによって撮影された映像に対して画像処理を行って警告レベルを判断するデータ処理装置とを備える監視システムであって、前記データ処理装置は、前記監視エリアの映像に含まれる人物を特定し、前記人物の出現点及び消失点を蓄積し、蓄積した結果をもとに、前記監視カメラの監視エリアに含まれる物体の位置を学習するとともに、前記人物の行動エリアを判別し、前記人物に関して危険行動を判断するための危険行動検知エリアを設定する。
また、前記データ処理装置は、前記プラットホームに入線した前記車両の特徴を画像処理により検出し、検出した特徴を時刻情報と関連付けて蓄積するとともに、前記車両の運行情報と照合し前記車両の特徴の検出結果に反映させてもよい。
また、前記データ処理装置は、前記プラットホームに出力される音声データを取得する機能を有し、前記プラットホーム上の前記危険行動検知エリアにおける画像フレーム間の前記人物の移動量から一定速度以上の人物の動作を危険行動であると判断し、前記取得した音声データが所定の参照データと一致する場合、前記音声データより後に危険行動と認識された人物について、警告レベルを高くしてもよい。
また、前記データ処理装置は、前記危険行動が記録された映像を、前記危険行動の発生位置、発生時刻及び警告レベル情報を関連づけて記録し、所定時間帯において前記危険行動の出現頻度が所定以上の場合に、前記所定時間帯において、注意を促す表示出力を行ってもよい。
本発明は、車両が入線するプラットホームを監視エリアとして撮影する監視カメラによって撮影された映像に対して画像処理を行って警告レベルを判断するデータ処理を行う監視方法であって、前記監視エリアの映像に含まれる人物を特定し、前記人物の出現点及び消失点を蓄積し、蓄積した結果をもとに、前記監視カメラの監視エリアに含まれる物体の位置を学習する工程と、前記人物の行動エリアを判別し、前記人物に関して危険行動を判断するための危険行動検知エリアを設定する工程と、前記プラットホームに入線した前記車両の特徴を画像処理により検出し、検出した特徴を時刻情報と関連付けて蓄積するとともに、前記車両の運行情報と照合し前記車両の特徴の検出結果に反映させる工程と、前記危険行動が記録された映像を、前記危険行動の発生位置、発生時刻及び警告レベル情報を関連づけて記録する工程と、所定時間帯において前記危険行動の出現頻度が所定以上の場合に、前記所定時間帯において、注意を促す表示出力を行う工程と、を備える。 The present invention is a monitoring system including a monitoring camera that captures a platform on which a vehicle enters as a monitoring area, and a data processing device that performs image processing on a video captured by the monitoring camera and determines a warning level. The data processing device identifies a person included in the video of the monitoring area, accumulates the appearance points and vanishing points of the person, and includes the person in the monitoring area of the monitoring camera based on the accumulated result. While learning the position of the object, the action area of the person is determined, and a dangerous action detection area for determining a dangerous action with respect to the person is set.
Further, the data processing device detects the characteristics of the vehicle entering the platform by image processing, accumulates the detected characteristics in association with time information, and collates with the operation information of the vehicle to check the characteristics of the vehicle. It may be reflected in the detection result.
In addition, the data processing device has a function of acquiring audio data output to the platform, and the movement amount of the person between image frames in the dangerous behavior detection area on the platform If it is determined that the action is a dangerous action and the acquired voice data matches predetermined reference data, the warning level may be increased for a person recognized as a dangerous action after the voice data.
Further, the data processing device records the video in which the dangerous behavior is recorded in association with the occurrence position, the occurrence time, and the warning level information of the dangerous behavior, and the frequency of appearance of the dangerous behavior in a predetermined time zone is greater than or equal to a predetermined value. In this case, display output for calling attention may be performed in the predetermined time period.
The present invention relates to a monitoring method for performing data processing for performing image processing on a video captured by a monitoring camera that captures a platform on which a vehicle enters as a monitoring area and determining a warning level, and the video of the monitoring area Identifying the person included in the image, accumulating the appearance points and vanishing points of the person, learning the position of the object included in the surveillance area of the surveillance camera based on the accumulated results, and the behavior of the person Determining the area, setting a dangerous behavior detection area for judging dangerous behavior with respect to the person, detecting the characteristics of the vehicle entering the platform by image processing, and associating the detected characteristics with time information A step of accumulating and reflecting the operation information of the vehicle and reflecting the result of detection of the characteristics of the vehicle, and an image in which the dangerous behavior is recorded, A process for recording the dangerous behavior occurrence position, occurrence time, and warning level information in association with each other, and a display output that calls attention in the predetermined time zone when the appearance frequency of the dangerous behavior is greater than or equal to the predetermined time zone. And a step of performing.

本発明によると、車両が入線するプラットホームを監視エリアとして画像処理にて監視する場合に、良好な検知精度を実現するとともに、メンテナンス性を改善した技術を実現できる。   According to the present invention, it is possible to realize a technique that realizes good detection accuracy and improved maintainability when monitoring by image processing using a platform on which a vehicle enters as a monitoring area.

実施形態に係る、監視システムの構成図である。It is a lineblock diagram of a surveillance system concerning an embodiment. 実施形態に係る、画像処理装置により検知された乗降客の出現点、消失点を示した図である。It is the figure which showed the appearance point and vanishing point of the passenger who were detected by the image processing apparatus based on embodiment. 実施形態に係る、乗降客の動線情報、危険行動検知エリア及び重点検知エリアを示した図である。It is the figure which showed the flow line information of a passenger, the dangerous action detection area, and the priority detection area based on embodiment. 実施形態に係る、乗降客の移動ベクトルを示した図である。It is the figure which showed the movement vector of the passenger according to the embodiment. 実施形態に係る、重点検知エリアの画面合成イメージを示した図である。It is the figure which showed the screen composition image of the important point detection area based on embodiment. 実施形態に係る、検知した危険行動の内、警告レベルの高いものをプロットして示した図である。It is the figure which plotted and showed the thing with a high warning level among the detected dangerous action based on embodiment. 実施形態に係る、検知枠付きの記録映像を示した図である。It is the figure which showed the recorded image | video with a detection frame based on embodiment.

次に、本発明を実施するための形態（以下、単に「実施形態」という）を、図面を参照して具体的に説明する。本実施形態の概要は次の通りである。すなわち、画像処理で検知された駅ホームや車両等の鉄道向け監視システム特有の物体形状・物***置と乗降客の行動（出現点・消失点や危険行動）について、両者を関連付けて学習させる。これによって、危険行動検知エリアを自動的に設定すると共に検知精度の向上を図る。以下、具体的に説明する。   Next, modes for carrying out the present invention (hereinafter, simply referred to as “embodiments”) will be specifically described with reference to the drawings. The outline of the present embodiment is as follows. That is, an object shape / object position specific to a railway monitoring system such as a station platform or a vehicle detected by image processing and passenger behavior (appearance point / vanishing point or dangerous behavior) are learned in association with each other. Thus, the dangerous behavior detection area is automatically set and the detection accuracy is improved. This will be specifically described below.

図１は、本実施形態の監視システム１０１の構成図である。監視システム１０１は、ホーム監視装置２０と、データ処理装置３０と、端末装置４０と、監視ＰＣ（サービス会社）１６とを備え、それらがＬＡＮ６や公衆回線１５等のネットワーク回線で接続され、鉄道ホームの監視を行う。また、監視システム１０１は、ＮＴＰサーバ１２や列車運行を管理する運行管理サーバ１７（運行管理システム）とネットワーク接続されており、それらサーバから所望の情報を適宜取得して利用する。   FIG. 1 is a configuration diagram of a monitoring system 101 according to the present embodiment. The monitoring system 101 includes a home monitoring device 20, a data processing device 30, a terminal device 40, and a monitoring PC (service company) 16, which are connected by a network line such as a LAN 6 or a public line 15, and are installed in a railway home. Monitor. The monitoring system 101 is network-connected to the NTP server 12 and an operation management server 17 (operation management system) that manages train operations, and acquires and uses desired information as appropriate from these servers.

ホーム監視装置２０は、主に鉄道のホームに設置される装置であって、複数の監視カメラ１と複数の車掌用ホームモニタ２と、集音装置３と、画像エンコーダー４と、ネットワークスイッチ５とを備える。監視カメラ１や車掌用ホームモニタ２、集音装置３の数は、特に限定せず、設置されるホームの大きさ等に応じて適宜設定される。   The home monitoring device 20 is a device mainly installed in a railway platform, and includes a plurality of monitoring cameras 1, a plurality of conductor home monitors 2, a sound collecting device 3, an image encoder 4, and a network switch 5. Is provided. The numbers of the monitoring camera 1, the conductor home monitor 2, and the sound collection device 3 are not particularly limited, and are appropriately set according to the size of the installed home.

ホームに設置される監視カメラ１の映像は、車掌用ホームモニタ２を介して画像エンコーダー４で集約される。同様に、集音装置３で取得した音声データも画像エンコーダー４に集約される。画像エンコーダー４は、集約した映像及び音声データを、エンコードした上で、ネットワークスイッチ５からＬＡＮ６を介して、データ処理装置３０（画像処理装置８）に対して配信する。   The images of the surveillance camera 1 installed at the home are collected by the image encoder 4 via the conductor home monitor 2. Similarly, audio data acquired by the sound collection device 3 is also collected in the image encoder 4. The image encoder 4 encodes the aggregated video and audio data, and distributes the data to the data processing device 30 (image processing device 8) from the network switch 5 via the LAN 6.

データ処理装置３０は、画像生成装置７と、画像処理装置８と、音声処理装置９と、システム管理サーバ１０と、映像記録装置１１と、を備える。なお、ここでは、異なる装置構成として示しているが、それら全て又は一部が一体に構成されてもよい。例えば、画像生成装置７と画像処理装置８は、画像処理機能として類似の処理を行うため、一体として設けられてもよい。   The data processing device 30 includes an image generation device 7, an image processing device 8, an audio processing device 9, a system management server 10, and a video recording device 11. In addition, although it has shown as a different apparatus structure here, all or some of them may be comprised integrally. For example, the image generation device 7 and the image processing device 8 may be provided as one unit in order to perform similar processing as an image processing function.

画像処理装置８は、ホーム監視装置２０から取得したデータを蓄積し、各種の処理を行う。そのような処理の一つとして、画像処理装置８は、蓄積された乗降客の行動から危険行動検知エリアを自動的に学習して登録する。   The image processing device 8 accumulates data acquired from the home monitoring device 20 and performs various processes. As one of such processes, the image processing apparatus 8 automatically learns and registers a dangerous behavior detection area from the accumulated passenger behavior.

また、画像処理装置８は、重点検知エリアを画像から切り出して画像生成装置７に送る。さらに、画像処理装置８は、監視カメラ１を制御する機能を有しており、映像レベル、ガンマ特性等の各種カメラパラメータを自動的にまたはユーザー操作で設定制御する。   Further, the image processing device 8 cuts out the priority detection area from the image and sends it to the image generation device 7. Further, the image processing device 8 has a function of controlling the surveillance camera 1 and controls various camera parameters such as video level and gamma characteristics automatically or by user operation.

画像生成装置７は、これらの画像に対して最適化処理を施して、画像処理装置８へフィードバックする。   The image generation device 7 performs optimization processing on these images and feeds back to the image processing device 8.

画像処理装置８は、画像生成装置７からのフィードバックをもとに、乗降客の危険行動を検知し、当該情報をシステム管理サーバ１０へ送る。   The image processing device 8 detects the dangerous behavior of passengers based on the feedback from the image generation device 7 and sends the information to the system management server 10.

画像処理装置８は、検知対象物や危険行動検知エリア、重点検知エリアの情報を映像上にマーキングを施し、当該映像を映像記録装置１１へ配信する。映像記録装置１１は、配信されてきた映像を録画し保持する。   The image processing device 8 marks information on the detection target, the dangerous behavior detection area, and the priority detection area on the video, and distributes the video to the video recording device 11. The video recording device 11 records and holds the distributed video.

なお、重点検知エリアは、車両種別で異なることが予想される。そこで、画像処理装置８は、運行管理サーバ１７から取得したダイヤ情報やＮＴＰサーバ１２から取得した時刻情報を利用することで、重点検知エリア（画像の切り出し位置）の精度を向上させることが可能となる。   Note that the priority detection area is expected to differ depending on the vehicle type. Therefore, the image processing apparatus 8 can improve the accuracy of the priority detection area (the cutout position of the image) by using the diamond information acquired from the operation management server 17 and the time information acquired from the NTP server 12. Become.

音声処理装置９は、集音装置３が取得したホームアナウンスや警笛等の音を基に音声認識を行い、その認識結果の情報を画像処理装置８へ送る。画像処理装置８は、上述の乗降客の危険行動の検知において、その認識結果を利用する。   The voice processing device 9 performs voice recognition based on sounds such as home announcements and horns acquired by the sound collecting device 3, and sends information of the recognition result to the image processing device 8. The image processing apparatus 8 uses the recognition result in the above-described detection of the dangerous behavior of passengers.

システム管理サーバ１０は、端末装置４０のクライアントＰＣ１３や駅員が携帯するタブレット端末１４へ警告情報を配信し、駅員等に対して注意を促す。   The system management server 10 distributes warning information to the client PC 13 of the terminal device 40 and the tablet terminal 14 carried by the station staff, and alerts the station staff and the like.

サービス会社の監視ＰＣ１６は、映像記録装置１１の記録映像を定期的に閲覧することで、画像処理装置８の各種検知精度を確認することが可能である。   The monitoring PC 16 of the service company can check various detection accuracy of the image processing device 8 by periodically browsing the recorded video of the video recording device 11.

図２は、画像処理装置８により検知された乗降客の出現点、消失点を示す図である。出現点を「〇」、消失点を「×」で表記している。図２（ａ）は、ホーム部Ａ３に、検知した乗客（以下、「検知乗降客」）Ａ２と、ホームに進入した車両Ａ５が含まれた状態のホーム映像Ａ１を示している。ホーム部Ａ３には、黄色線Ａ４が破線で示されている。また、車両Ａ５の正面には車両番号Ａ８が設けられており、側面には車両ドアＡ６や車側灯Ａ７が設けられているのが示されている。   FIG. 2 is a diagram showing the appearance points and vanishing points of passengers detected by the image processing device 8. The appearance point is indicated by “◯” and the vanishing point is indicated by “×”. FIG. 2A shows the home video A1 in a state where the detected passenger (hereinafter referred to as “detected passenger”) A2 and the vehicle A5 entering the home are included in the home part A3. A yellow line A4 is indicated by a broken line in the home portion A3. Further, the vehicle number A8 is provided on the front surface of the vehicle A5, and the vehicle door A6 and the vehicle side light A7 are provided on the side surface.

図２（ｂ）は乗車時出現点／消失点プロット映像Ａ９を示しており、乗降客が車両Ａ５に乗る場合の出現点Ａ１０及び乗り込んで消える消失点Ａ１１がプロットされている。図２（ｃ）は降車時出現点／消失点プロット映像Ａ１２を示しており、乗降客が車両Ａ５から降りる場合の出現点Ａ１３、降りた乗降客が映像から消えた消失点Ａ１４がプロットされている。   FIG. 2B shows an appearance point / disappearance point plot image A9 when boarding, where an appearance point A10 when the passenger gets on the vehicle A5 and an disappearance point A11 that disappears after getting on the vehicle are plotted. FIG. 2 (c) shows the appearance point / disappearance point plot image A12 when getting off, where the appearance point A13 when the passenger gets off the vehicle A5 and the vanishing point A14 where the passenger who got off disappeared from the image are plotted. Yes.

画像処理装置８は、監視カメラ１が撮影した映像について、背景差分により動体を検知し、形状・大きさから人物（検知乗降客Ａ２）と判定する。人物を最初に検知したポイントを出現点とし、その後、連続的に同一人物を検知し続けて消失したポイントを消失点として管理する。   The image processing device 8 detects a moving object based on the background difference in the video captured by the monitoring camera 1, and determines the person (detected passenger A2) from the shape and size. The point at which a person is first detected is set as an appearance point, and then the point at which the same person is continuously detected and disappears is managed as a vanishing point.

列車に乗る場合は、出現点は階段、エスカレータ、エレベータ近傍等であり、消失点は車両ドアとなる場合が多く、列車から降りる場合は、出現点は車両ドアであり、消失点はエスカレータ、エレベータ近傍等である場合が多い。   When you get on a train, the appearance point is near the stairs, escalator, elevator, etc., and the vanishing point is often a vehicle door. It is often in the vicinity.

図３は、蓄積された乗降客の動線情報と画像処理装置で生成された危険行動検知エリアと重点検知エリアを示す。   FIG. 3 shows accumulated traffic flow information of passengers and dangerous behavior detection areas and priority detection areas generated by the image processing apparatus.

図３（ａ）は、乗降客の動きを示す動線（軌跡）Ｂ２を追加したホーム映像Ｂ１である。図３（ｂ）は、画像生成装置７で生成された生成映像Ｂ３であり、危険行動検知エリアＢ４、黄色線Ｂ５、車両側危険行動検知エリアＢ６、車両ドアＢ７、車側灯Ｂ８、車両番号Ｂ９が示されている。   FIG. 3A is a home video B1 to which a flow line (trajectory) B2 indicating movement of passengers is added. FIG. 3B is a generated video B3 generated by the image generation device 7, and includes a dangerous behavior detection area B4, a yellow line B5, a vehicle side dangerous behavior detection area B6, a vehicle door B7, a vehicle side light B8, and a vehicle number. B9 is shown.

画像処理装置８は、出現点、消失点、乗降客の動線情報を蓄積し、車両ドアから出入りする乗降客がホーム上を移動するエリアに対して危険行動を検知するための危険行動検知エリアＢ４（すなわち画像処理対象エリア）として登録する。危険行動検知エリアＢ４以外のエリアは、危険行動検知のための画像処理対象エリアから除外することで、列車や太陽光などといった外乱が画像処理に与える影響（誤検知等）を抑制することが可能となる。   The image processing device 8 accumulates appearance point, vanishing point, and passenger flow information, and a dangerous behavior detection area for detecting dangerous behavior for an area where passengers entering and exiting from the vehicle door move on the platform. It is registered as B4 (that is, image processing target area). By excluding areas other than the dangerous behavior detection area B4 from the image processing target area for dangerous behavior detection, it is possible to suppress the influence (false detection etc.) of disturbances such as trains and sunlight on the image processing. It becomes.

画像処理装置８は、蓄積された車両側の出現点及び消失点から車両ドアＢ７の位置を登録する。また、画像処理装置８は、車両ドア開閉時の車側灯明滅を検知して車側灯Ｂ８の位置を登録する。また、画像処理装置８は、車両先頭の車両番号Ｂ９を検知して車両番号Ｂ９の位置を登録する。車両種別によるこれらの位置情報の相違について、画像処理装置８は、登録した時刻情報、ダイヤ情報と照合し、車両種別を特定して位置の精度を高めることができる。   The image processing device 8 registers the position of the vehicle door B7 from the accumulated appearance point and vanishing point on the vehicle side. Further, the image processing device 8 detects the blinking of the vehicle side lamp when the vehicle door is opened and closed and registers the position of the vehicle side lamp B8. Further, the image processing device 8 detects the vehicle number B9 at the head of the vehicle and registers the position of the vehicle number B9. About the difference of these positional information by vehicle type, the image processing apparatus 8 can collate with the registered time information and diamond information, can specify a vehicle type, and can improve the precision of a position.

図４は、乗降客の移動ベクトルを示した図である。ホーム映像Ｃ１には、乗降客の移動ベクトルとして、歩行している乗降客の移動ベクトル（歩行乗降客移動ベクトルＣ２）、黄色線Ｃ５の外で走っている乗降客の移動ベクトル（線外走行者移動ベクトルＣ３）、黄色線Ｃ５の内で走っている乗降客の移動ベクトル（線内走行者移動ベクトルＣ４）が示されている。   FIG. 4 is a diagram showing movement vectors of passengers. In the home video C1, as the movement vector of passengers, the movement vector of walking passengers (walking passenger movement vector C2), the movement vector of passengers running outside the yellow line C5 (off-line runner) The movement vector C3) and the movement vector of passengers running in the yellow line C5 (in-line runner movement vector C4) are shown.

画像処理装置８は、車両ドアＣ６に向かう乗降客について、上述の移動ベクトルから、フレーム間の人物の移動距離から速度を計算し、一定速度以上の乗降客を危険行動（駆け込み乗車）と判定する。   The image processing device 8 calculates the speed of the passengers heading for the vehicle door C6 from the above-described movement vector based on the movement distance of the person between frames, and determines that passengers at or above a certain speed are dangerous behaviors (running boarding). .

更に、音声処理装置９から「まもなくドアが閉まります」や「出発メロディ」等の音声情報が通知された際には、ドアの挟み込みが懸念されるため、画像処理装置８は、警告レベルを上げる処理を行う。   Further, when voice information such as “the door will be closed soon” or “departure melody” is notified from the voice processing device 9, the image processing device 8 raises the warning level because there is a concern that the door may be caught. Process.

なお、音声処理装置９は、警告レベルの調整に用いる音声情報の参照用データを有しており、その参照用データと取得した音声情報とを比較し、同じと判断できる場合に、警告レベルを調整する。   The voice processing device 9 has voice data reference data used for adjusting the warning level. When the voice data is compared with the acquired voice information, the warning level is set. adjust.

警告レベルとして、例えば、通常時の歩行者を「低レベル」、通常時の走行者を「中レベル」、閉扉直前の歩行者を「中レベル」、閉扉直前の走行者を「高レベル」、閉扉直前の走行者で黄色線Ｃ５の内側もしくは線近傍の走行者を「最高レベル」とする。これらの警告レベル情報を駅員に通知することで、危険度合を知らせることができ、事故の未然防止を図る。なお、クライアントＰＣ１３やタブレット端末１４等で通知を表示する場合には、警告レベルに応じて対象の色や、対象を囲む枠等を異なるものとし、警告レベルを容易に判断可能にすることが望ましい。   As warning levels, for example, pedestrians at normal times are `` low level '', pedestrians at normal time are `` medium level '', pedestrians just before closing are `` medium level '', pedestrians just before closing are `` high level '', A runner immediately before closing the door and inside the yellow line C5 or in the vicinity of the line is defined as the “highest level”. By notifying station staff of these warning level information, the degree of danger can be informed and accidents can be prevented. When displaying a notification on the client PC 13 or the tablet terminal 14 or the like, it is desirable that the target color, the frame surrounding the target, and the like differ according to the warning level so that the warning level can be easily determined. .

逆に「まもなく列車が参ります」や「入線メロディ」等の列車入線直前の音声情報が通知された際には、画像処理装置８は、黄色線Ｃ５からのはみ出し、ホーム転落者については警告レベルが「高レベル」と判定し駅員（より具体的には、クライアントＰＣ１３やタブレット端末１４等）に通知する。なお、列車の出線情報や入線情報は、上述の音声情報以外に運行管理サーバ１７からの物理的な条件信号を本監視システム１０１に入力することで行うこともできる。   On the contrary, when the voice information immediately before entering the train such as “Train is coming soon” or “Entry melody” is notified, the image processing device 8 protrudes from the yellow line C5, and the warning level is given to those who fall home. Is determined to be “high level” and notified to the station staff (more specifically, the client PC 13 or the tablet terminal 14). In addition, the train outgoing line information and incoming line information can be performed by inputting a physical condition signal from the operation management server 17 to the monitoring system 101 in addition to the voice information described above.

図５は、重点検知エリアの画面合成イメージを示す図である。合成前ホーム映像Ｄ１から、重点検知エリア除外背景画像Ｄ５及び抽出重点検知エリア画像Ｄ６が生成される。さらに、重点検知エリア除外背景画像Ｄ５及び抽出重点検知エリア画像Ｄ６を合成することで合成画像Ｄ７が生成される。   FIG. 5 is a diagram showing a screen composition image of the priority detection area. An important point detection area excluded background image D5 and an extracted important point detection area image D6 are generated from the pre-combination home video D1. Furthermore, the synthesized image D7 is generated by synthesizing the priority detection area excluded background image D5 and the extracted priority detection area image D6.

図示のように、合成前ホーム映像Ｄ１には、ホーム部Ｄ２、車側灯Ｄ３、車両番号Ｄ４が含まれ、重点検知エリアとして認識される。   As shown in the figure, the pre-combination home video D1 includes a home part D2, a vehicle side light D3, and a vehicle number D4, and is recognized as a priority detection area.

画像処理装置８は、重点検知エリアであるホーム部Ｄ２、車側灯Ｄ３、車両番号Ｄ４を抽出して画像生成装置７へ送信する。画像処理装置８は、送信の際に、重点検知エリア（ここでは、ホーム部Ｄ２、車側灯Ｄ３、車両番号Ｄ４）を除いた背景画像も合わせて画像生成装置７へ送信する。   The image processing device 8 extracts the home portion D2, the vehicle side light D3, and the vehicle number D4, which are the priority detection areas, and transmits them to the image generation device 7. At the time of transmission, the image processing device 8 also transmits the background image excluding the priority detection area (here, the home portion D2, the vehicle side light D3, and the vehicle number D4) to the image generation device 7.

画像生成装置７は、重点検知エリアの各々（ここでは、ホーム部Ｄ２、車側灯Ｄ３、車両番号Ｄ４）に対して、白とびや黒つぶれがない最適な映像となるように個別にコントラスト補正、映像レベル補正等の画像補正処理を行う。   The image generation device 7 individually performs contrast correction for each of the priority detection areas (here, the home portion D2, the vehicle side light D3, and the vehicle number D4) so as to obtain an optimal image without overexposure or underexposure. Image correction processing such as video level correction is performed.

画像生成装置８は、補正後の重点検知エリアの映像と背景映像を合成して一枚の映像（すなわち、合成画像Ｄ７）を生成して画像処理装置８へフィードバックする。画像処理装置８は画像生成装置７からの合成画像Ｄ７を基に再び画像処理することで、画像処理の検知精度を向上させることが可能となる。すなわち、重点検知エリアについては、画像認識が容易になるような画像処理が施されている。   The image generation device 8 combines the corrected image of the priority detection area and the background image to generate a single image (that is, the combined image D7) and feeds it back to the image processing device 8. The image processing device 8 can perform image processing again based on the composite image D7 from the image generation device 7, thereby improving the detection accuracy of the image processing. That is, image processing that facilitates image recognition is performed on the priority detection area.

図６は、検知した危険行動の内、警告レベルの高いものをプロットした図である。図６（ａ）のホーム映像Ｅ１には、警告レベルの高い検知点（高警告レベル検知点Ｅ２）が示されている。図６（ｂ）は、ホーム映像を平面座標に変換した座標変換ホーム映像Ｅ３に、警告レベルの高い検知点を蓄積したグラフ（高警告レベル検知点蓄積グラフＥ４）が示されている。   FIG. 6 is a diagram in which the detected dangerous behavior is plotted with a high warning level. In the home video E1 in FIG. 6A, a detection point with a high warning level (high warning level detection point E2) is shown. FIG. 6B shows a graph (high warning level detection point accumulation graph E4) in which detection points having a high warning level are accumulated in the coordinate-converted home video E3 obtained by converting the home video into plane coordinates.

画像処理装置８は、図６（ａ）に示すような映像範囲を二次元座標に変換し図６（ｂ）の座標変換ホーム映像Ｅ３を得て、さらに、警告レベルの高い検知点の位置情報（二次元座標情報と時刻情報）を時間経過と共に蓄積し高警告レベル検知点蓄積グラフＥ４を得る。これにより、警告レベルの高い危険行動の場所と時間の傾向分析が可能となり、将来危険行動が発生すると予測される場所と時間を監視システム１０１のユーザーに通知することが可能となる。   The image processing apparatus 8 converts the video range as shown in FIG. 6A to two-dimensional coordinates to obtain the coordinate conversion home video E3 of FIG. 6B, and further, the position information of the detection point with a high warning level. (Two-dimensional coordinate information and time information) are accumulated over time to obtain a high warning level detection point accumulation graph E4. Thereby, it is possible to analyze the trend of the location and time of the dangerous behavior with a high warning level, and to notify the user of the monitoring system 101 of the location and time where the dangerous behavior is predicted to occur in the future.

具体的には、画像処理装置８は、所定時間や曜日ごとに所定の場所における過去の危険行動の情報を蓄積し、それが所定頻度以上になると、その時間帯のそのエリアで危険行動が発生すると予測し、監視者に注意喚起する。注意喚起の方法は、どのようなものでもよいが、例えば監視モニタ（車掌用ホームモニタ２、タブレット端末１４、クライアントＰＣ１３等）において、危険行動が予測される場所に所定のマークや枠などを表示する。   Specifically, the image processing apparatus 8 accumulates past dangerous behavior information at a predetermined location for each predetermined time or day of the week, and when that frequency exceeds a predetermined frequency, the dangerous behavior occurs in that area in that time zone. Then predict and alert the observer. Any method of alerting may be used. For example, a predetermined mark or a frame is displayed at a place where dangerous behavior is predicted on a monitoring monitor (such as a conductor's home monitor 2, a tablet terminal 14, or a client PC 13). To do.

図７は検知枠付きの記録映像を示している。ホーム映像Ｆ１に黄色線Ｆ８外の危険行動検知エリアを示す線外危険行動検知エリア枠Ｆ２（例えば緑枠で表示する）、黄色線Ｆ８内の危険行動検知エリア枠を示す線内危険行動検知エリア枠Ｆ３（例えば赤枠で表示する）、車側灯枠Ｆ４（例えば黄枠で表示する）、車両番号枠Ｆ５（例えば黒枠で表示する）、通常の乗降客Ｆ６（例えば黒枠で表示する）、危険行動として検知された乗降客Ｆ７（例えば赤枠で表示する）が示されている。枠の種類や警告レベルに応じて色分けして表示されている。   FIG. 7 shows a recorded video with a detection frame. In-line dangerous behavior detection area frame F2 indicating a dangerous behavior detection area outside yellow line F8 in home video F1 (for example, displayed in a green frame), in-line dangerous behavior detection area indicating a dangerous behavior detection area frame in yellow line F8 Frame F3 (for example, displayed with a red frame), vehicle side light frame F4 (for example, displayed with a yellow frame), vehicle number frame F5 (for example, displayed with a black frame), normal passenger F6 (for example, displayed with a black frame), A passenger F7 detected as a dangerous behavior (for example, displayed in a red frame) is shown. They are displayed in different colors according to the frame type and warning level.

画像処理装置８は、このように色分けして枠表示した映像を生成し、当該映像を映像記録装置１１に配信する。映像記録装置１１は時刻情報と共に当該映像を記録する。また、映像記録装置１１は、警告レベル情報を記録映像データのヘッダ部に付与する。これによって、危険行動が記録された映像をレベルに応じて事後検索することが効率的になる。   The image processing device 8 generates a video image that is color-coded and displayed in a frame as described above, and distributes the video image to the video recording device 11. The video recording device 11 records the video together with time information. Further, the video recording device 11 gives warning level information to the header portion of the recorded video data. As a result, it is efficient to perform a post search according to the level of the video in which the dangerous behavior is recorded.

監視システム１０１のサービス会社の監視ＰＣ１６から定期的に上述の枠付きの記録映像を閲覧することで、画像処理装置８で検知された対象物の正常性を確認することができ、検知精度を計測することができる。誤検知等で画像処理装置８による検知結果が正しくないと判断した場合、画像処理装置８に対して正しい情報を入力することで学習プロセスを補正する。   The normality of the object detected by the image processing apparatus 8 can be confirmed by periodically browsing the recorded video with the frame from the monitoring PC 16 of the service company of the monitoring system 101, and the detection accuracy is measured. can do. When it is determined that the detection result by the image processing apparatus 8 is incorrect due to erroneous detection or the like, the learning process is corrected by inputting correct information to the image processing apparatus 8.

また、サービス会社は、監視ＰＣ１６等の操作によって検知精度に一定の閾値を設けて、閾値以上となったことが確認された時点で運用開始を監視システム１０１のユーザーに通知する。例えば、転落者検知のような重要な警報については検知精度の閾値を上げることで、検知対象に応じた閾値設定も可能とする。   In addition, the service company sets a certain threshold for detection accuracy by operating the monitoring PC 16 or the like, and notifies the user of the monitoring system 101 of the start of operation when it is confirmed that the threshold is exceeded. For example, for an important alarm such as detection of a fallen person, the threshold value can be set according to the detection target by raising the threshold value of detection accuracy.

以上、本実施形態の監視システム１０１によると、画像処理で検知された駅ホームや車両等の鉄道向け監視システム特有の物体形状・物***置と乗降客の行動（出現点・消失点や危険行動）について、両者を関連付けて学習させることで、危険行動検知エリアを自動的に設定し、検知精度の向上を図ることができる。さらに、それとともに、映像上の重点検知エリア（ホーム部、車両ドア、車側灯、車両番号等）を特定して各々独立して画像処理することで視認性向上を図ることができる。また、監視ＰＣ１６のサービス会社が、画像処理装置８の学習効果を遠隔監視することで、運用開始可能か否か判定することを可能とする。   As described above, according to the monitoring system 101 of the present embodiment, the object shape / object position and the passenger behavior (appearance point / vanishing point and dangerous behavior) specific to the monitoring system for railways such as station platforms and vehicles detected by image processing. By learning both in association with each other, it is possible to automatically set a dangerous behavior detection area and improve detection accuracy. In addition, it is possible to improve the visibility by specifying the priority detection area (home portion, vehicle door, vehicle side light, vehicle number, etc.) on the image and independently processing each image. In addition, the service company of the monitoring PC 16 can determine whether or not the operation can be started by remotely monitoring the learning effect of the image processing apparatus 8.

監視システム１０１の特徴を纏めると次の通りである。
監視システム１０１は、画像処理で検知された乗降客の動線から出現点及び消失点の情報を蓄積、学習することで、映像中の車両ドア、階段、エスカレータ等の位置を精度よく特定する。 The characteristics of the monitoring system 101 are summarized as follows.
The monitoring system 101 accumulates and learns information on the appearance points and vanishing points from the traffic lines of passengers detected by image processing, thereby accurately identifying the positions of vehicle doors, stairs, escalators, and the like in the video.

また、監視システム１０１は、乗降客の動線から乗降客の行動エリアを自動的に判別し、乗降客の危険行動を画像処理するための危険行動検知エリアを自動設定する。映像の中で検知エリアを限定し、列車等で映像上変化する部分を除去することで誤報の低減を図ることも可能となる。   In addition, the monitoring system 101 automatically determines the behavior area of the passenger from the traffic line of the passenger and automatically sets the dangerous behavior detection area for image processing of the dangerous behavior of the passenger. It is also possible to reduce false alarms by limiting the detection area in the video and removing the part that changes on the video by a train or the like.

また、監視システム１０１は、時間と共に変化する乗降客や列車等の動体を抽出してこれらを排除することで背景映像を生成する。背景映像の中からホームの特徴（黄色線、ホーム境界）を画像処理で判別する。   In addition, the monitoring system 101 generates background images by extracting moving objects such as passengers and trains that change with time and eliminating them. The feature of the home (yellow line, home boundary) is determined from the background video by image processing.

また、監視システム１０１は、ホームに入線した車両の特徴（形状、色、ドア位置、ドア数、車側灯位置、車両前面の車両番号）を画像処理で検知する。ドア位置については、乗降客の車両側の消失点の蓄積情報から判定する。車両番号については、車両前方を撮像したカメラ映像から輝度の高い文字情報を抽出して判定する。蓄積されたこれらの情報と時刻情報及びダイヤ情報を照合することで、検知精度を時間と共に上げていく。   Moreover, the monitoring system 101 detects the characteristics (shape, color, door position, number of doors, vehicle side lamp position, vehicle number on the front of the vehicle) of the vehicle that has entered the platform by image processing. The door position is determined from the accumulated information of vanishing points on the vehicle side of passengers. The vehicle number is determined by extracting character information with high brightness from a camera image obtained by imaging the front of the vehicle. By collating these accumulated information with time information and diamond information, the detection accuracy is increased with time.

また、監視システム１０１は、画像フレーム間の乗降客の移動量から速度を計測して一定速度以上の人物を駆け込み乗車（危険行動）と判定する。例えば、「まもなくドアが閉まります」や「出発メロディ」等の閉扉直前の音を音声処理装置９にて音声認識された情報をシステムに取り込むことで、これ以降に検知された駆け込み乗車は警告レベルが高いものと判定して駅員に通知する。なお、閉扉直前であることを知らせる情報としては、上述の音声情報以外に、運行システム側からの出発条件信号を本システムに取り込んでもよい。   In addition, the monitoring system 101 measures the speed from the moving amount of passengers between the image frames, and determines that the person who runs at a certain speed or more is boarding (dangerous behavior). For example, the information immediately recognized by the voice processing device 9 such as “the door will close soon” or “departure melody” is taken into the system and the rush-in boarding detected after this is alert level. It is determined that the price is high and the station staff is notified. In addition, as information notifying that it is just before a door closing, the departure condition signal from the operation system side may be taken in into this system other than the above-mentioned audio | voice information.

また、監視システム１０１は、画像処理により検知された乗降客の黄色線はみ出しと音声処理により検知された警笛鳴動が同時に検知された場合に危険行動（黄色線はみ出し）の警告レベルが高いものと判定する。   In addition, the monitoring system 101 determines that the warning level of the dangerous action (the yellow line sticks out) is high when the passenger's yellow line sticking out detected by the image processing and the horn sound detected by the voice processing are detected at the same time. To do.

また、監視システム１０１は、例えば、「まもなく列車が参ります」や「入線メロディ」等の列車入線直前の音を音声処理装置９で検知された場合に、これ以降に検知された危険行動（黄色線はみ出し、ホーム転落者）は警告レベルが高いものと判定して駅員に通知する。列車入線であることを知らせる情報としては、上述の音声情報以外に、運行システム側からの入線条件信号を本システムに取り込んでもよい。   In addition, the monitoring system 101, for example, when the sound processing device 9 detects a sound immediately before entering the train such as “a train is coming soon” or “entrance melody”, the dangerous behavior (yellow) The line sticks out and the person who falls to the platform) determines that the warning level is high and notifies the station staff. As information notifying that it is a train entry line, in addition to the voice information described above, an entry condition signal from the operation system side may be taken into the system.

また、監視システム１０１は、警告レベル情報を記録映像データのヘッダ部に付与することで、危険行動が記録された映像をレベルに応じて事後検索する。   In addition, the monitoring system 101 adds the warning level information to the header portion of the recorded video data, thereby performing a post-search on the video in which the dangerous behavior is recorded according to the level.

また、監視システム１０１は、危険行動情報（駆け込み、黄色線はみ出し、ホーム転落）と検知時刻情報（月日時分秒）を蓄積し、時間や場所の傾向分析を行うことで将来の危険発生時刻、発生場所を予測する。予測は、過去の危険行動が所定頻度を超えたか否かで行うことができる。   In addition, the monitoring system 101 accumulates dangerous behavior information (running, yellow line sticks out, home falls) and detection time information (month, date, hour, minute, second), and analyzes the trend of time and location, Predict where it occurs. The prediction can be made based on whether or not past risky behavior has exceeded a predetermined frequency.

また、監視システム１０１は、映像上の重点検知エリア（ホーム部、車両ドア、車側灯、車両番号）の映像を部分的に切り出して、各々が白とびや黒つぶれがない最適な映像に変換した上でこれらを背景映像と合成して一つの映像を生成することで、視認性向上と検知精度向上を図ることができる。   In addition, the monitoring system 101 partially cuts out the video of the priority detection area (home portion, vehicle door, vehicle side light, vehicle number) on the video, and converts each video to an optimal video with no overexposure or underexposure. Then, by combining these with the background video to generate one video, it is possible to improve visibility and detection accuracy.

また、監視システム１０１は、部分的に切り出された重点検知エリア（ホーム部、車両ドア、車側灯、車両番号）の映像レベルを計測し、白とびや黒つぶれがない最適な映像になるように監視カメラ１に対して映像レベル、ガンマ特性等の各種カメラパラメータを自動的に設定制御する。   In addition, the monitoring system 101 measures the video level of the focus detection area (home portion, vehicle door, vehicle side light, vehicle number) that is partially cut out so as to obtain an optimal image with no overexposure or underexposure. In addition, various camera parameters such as video level and gamma characteristics are automatically set and controlled for the monitoring camera 1.

また、監視システム１０１は、危険行動検知エリア（ホーム部、線路部）、重点検知エリア（ホーム部、車両ドア、車側灯、車両番号）の検知結果情報と危険行動検知結果情報を公衆回線１５経由で本システムのサービス会社（より具体的にはその監視ＰＣ１６）に定期的に送信することで、画像処理による学習効果を定期的に計測すると共に、サービス会社は検知結果の良否を判定して本システムにフィードバックすることで学習効果を更に上げることを可能とする。検知精度が一定の閾値以上になった場合にシステム運用開始を判断する。なお、検知精度（すなわちその閾値）を高くすると、システム構成やアプリケーションが高度になり導入が難しくなる場合もあるが、検知精度を安全サイドに広くとるように閾値設定を緩くすることで、監視システム１０１の導入促進に繋がる。   Moreover, the monitoring system 101 sends the detection result information and the dangerous behavior detection result information of the dangerous behavior detection area (home portion, track portion) and the priority detection area (home portion, vehicle door, vehicle side light, vehicle number) to the public line 15. By periodically transmitting to the service company of this system (more specifically, the monitoring PC 16), the learning effect by the image processing is regularly measured, and the service company determines the quality of the detection result. It is possible to further improve the learning effect by feeding back to this system. When the detection accuracy is equal to or higher than a certain threshold, the system operation start is determined. If the detection accuracy (that is, the threshold value) is increased, the system configuration and applications may become more sophisticated and difficult to introduce. However, the monitoring system can be reduced by loosening the threshold setting so that the detection accuracy is wide on the safe side. 101 leads to the promotion of introduction.

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。例えば、本実施形態では、鉄道の監視システムを想定したが、これに限る趣旨では無く、例えば、バス・ラピッド・トランジット（ＢＲＴ）のプラットホーム監視にも適用することができる。   The present invention has been described based on the embodiments. This embodiment is an exemplification, and it will be understood by those skilled in the art that various modifications can be made to combinations of these components, and such modifications are also within the scope of the present invention. For example, in the present embodiment, a railway monitoring system is assumed. However, the present invention is not limited to this. For example, the present invention can be applied to platform monitoring of a bus rapid transit (BRT).

１ 監視カメラ
２ 車掌用ホームモニタ
３ 集音装置
４ 画像エンコーダー
５ ネットワークスイッチ
６ ＬＡＮ
７ 画像生成装置
８ 画像処理装置
９ 音声処理装置
１０ システム管理サーバ
１１ 映像記録装置
１２ ＮＴＰサーバ
１３ クライアントＰＣ
１４ タブレット端末
１５ 公衆回線
１６ 監視ＰＣ
１７ 運行管理サーバ
２０ ホーム監視装置
３０ データ処理装置
４０ 端末装置
１０１ 監視システム DESCRIPTION OF SYMBOLS 1 Surveillance camera 2 Home monitor for conductor 3 Sound collecting device 4 Image encoder 5 Network switch 6 LAN
7 Image generation device 8 Image processing device 9 Audio processing device 10 System management server 11 Video recording device 12 NTP server 13 Client PC
14 Tablet terminal 15 Public line 16 Monitoring PC
17 Operation Management Server 20 Home Monitoring Device 30 Data Processing Device 40 Terminal Device 101 Monitoring System

Claims (5)

車両が入線するプラットホームを監視エリアとして撮影する監視カメラと、前記監視カメラによって撮影された映像に対して画像処理を行って警告レベルを判断するデータ処理装置とを備える監視システムであって、
前記データ処理装置は、
前記監視エリアの映像に含まれる人物を特定し、前記人物の出現点及び消失点を蓄積し、蓄積した結果をもとに、前記監視カメラの監視エリアに含まれる物体の位置を学習するとともに、前記人物の行動エリアを判別し、前記人物に関して危険行動を判断するための危険行動検知エリアを設定することを特徴とする監視システム。 A monitoring system comprising: a monitoring camera that captures a platform on which a vehicle enters as a monitoring area; and a data processing device that performs image processing on a video captured by the monitoring camera and determines a warning level.
The data processing device includes:
Identify the person included in the video of the monitoring area, accumulate the appearance point and vanishing point of the person, learn the position of the object included in the monitoring area of the monitoring camera based on the accumulated results, A monitoring system characterized by determining an action area of the person and setting a dangerous action detection area for determining a dangerous action with respect to the person. 前記データ処理装置は、前記プラットホームに入線した前記車両の特徴を画像処理により検出し、検出した特徴を時刻情報と関連付けて蓄積するとともに、前記車両の運行情報と照合し前記車両の特徴の検出結果に反映させることを特徴とする請求項１に記載の監視システム。   The data processing device detects the characteristics of the vehicle that has entered the platform by image processing, accumulates the detected characteristics in association with time information, and collates with the operation information of the vehicle to detect the characteristics of the vehicle The monitoring system according to claim 1, wherein the monitoring system is reflected in the above. 前記データ処理装置は、
前記プラットホームに出力される音声データを取得する機能を有し、
前記プラットホーム上の前記危険行動検知エリアにおける画像フレーム間の前記人物の移動量から一定速度以上の人物の動作を危険行動であると判断し、前記取得した音声データが所定の参照データと一致する場合、前記音声データより後に危険行動と認識された人物について、警告レベルを高くする
ことを特徴とする請求項１または２に記載の監視システム。 The data processing device includes:
Having a function of acquiring audio data output to the platform;
When the movement of the person between image frames in the dangerous action detection area on the platform is determined to be a dangerous action when the person moves at a certain speed or more, and the acquired audio data matches predetermined reference data The monitoring system according to claim 1, wherein a warning level is increased for a person recognized as dangerous behavior after the voice data. 前記データ処理装置は、前記危険行動が記録された映像を、前記危険行動の発生位置、発生時刻及び警告レベル情報を関連づけて記録し、
所定時間帯において前記危険行動の出現頻度が所定以上の場合に、前記所定時間帯において、注意を促す表示出力を行うことを特徴とする請求項１から３までのいずれかに記載の監視システム。 The data processing apparatus records the video in which the dangerous behavior is recorded in association with the occurrence position, occurrence time and warning level information of the dangerous behavior,
The monitoring system according to any one of claims 1 to 3, wherein when the appearance frequency of the dangerous behavior is greater than or equal to a predetermined value during a predetermined time period, display output for calling attention is performed during the predetermined time period. 車両が入線するプラットホームを監視エリアとして撮影する監視カメラによって撮影された映像に対して画像処理を行って警告レベルを判断するデータ処理を行う監視方法であって、
前記監視エリアの映像に含まれる人物を特定し、前記人物の出現点及び消失点を蓄積し、蓄積した結果をもとに、前記監視カメラの監視エリアに含まれる物体の位置を学習する工程と、
前記人物の行動エリアを判別し、前記人物に関して危険行動を判断するための危険行動検知エリアを設定する工程と、
前記プラットホームに入線した前記車両の特徴を画像処理により検出し、検出した特徴を時刻情報と関連付けて蓄積するとともに、前記車両の運行情報と照合し前記車両の特徴の検出結果に反映させる工程と、
前記危険行動が記録された映像を、前記危険行動の発生位置、発生時刻及び警告レベル情報を関連づけて記録する工程と、
所定時間帯において前記危険行動の出現頻度が所定以上の場合に、前記所定時間帯において、注意を促す表示出力を行う工程と、
を備えることを特徴とする監視方法。 A monitoring method for performing data processing for performing image processing on a video captured by a monitoring camera that captures a platform where a vehicle enters as a monitoring area and determining a warning level,
Identifying a person included in the video of the surveillance area, accumulating the appearance points and vanishing points of the person, and learning the position of an object contained in the surveillance area of the surveillance camera based on the accumulated results; ,
Determining a behavior area of the person, and setting a dangerous behavior detection area for judging dangerous behavior with respect to the person;
Detecting the characteristics of the vehicle entering the platform by image processing, storing the detected characteristics in association with time information, collating with the operation information of the vehicle, and reflecting the detection result of the characteristics of the vehicle;
Recording the video in which the dangerous behavior is recorded in association with the occurrence position, occurrence time and warning level information of the dangerous behavior;
A step of performing display output for calling attention in the predetermined time zone when the appearance frequency of the dangerous behavior is greater than or equal to a predetermined time zone;
A monitoring method comprising:
JP2017161060A 2017-08-24 2017-08-24 Monitoring system and monitoring method Active JP6829165B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017161060A JP6829165B2 (en) 2017-08-24 2017-08-24 Monitoring system and monitoring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017161060A JP6829165B2 (en) 2017-08-24 2017-08-24 Monitoring system and monitoring method

Publications (2)

Publication Number Publication Date
JP2019041207A true JP2019041207A (en) 2019-03-14
JP6829165B2 JP6829165B2 (en) 2021-02-10

Family

ID=65727211

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017161060A Active JP6829165B2 (en) 2017-08-24 2017-08-24 Monitoring system and monitoring method

Country Status (1)

Country Link
JP (1) JP6829165B2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110775110A (en) * 2019-11-07 2020-02-11 交控科技股份有限公司 Train control system based on vehicle-to-vehicle communication
WO2021156060A1 (en) * 2020-02-04 2021-08-12 Siemens Mobility GmbH Method and system for monitoring the surroundings of a means of transportation
JP7023429B1 (en) * 2020-12-22 2022-02-21 楽天グループ株式会社 Surveillance system and unmanned vehicle
WO2022138479A1 (en) * 2020-12-22 2022-06-30 株式会社日立国際電気 Monitoring system and monitoring method
JP2022099338A (en) * 2020-12-22 2022-07-04 楽天グループ株式会社 Monitor system and unmanned travel body
WO2023286152A1 (en) * 2021-07-13 2023-01-19 日本電気株式会社 Detection device, detection method, and non-transitory computer-readable medium
JP2023119723A (en) * 2022-02-17 2023-08-29 東芝エレベータ株式会社 Passenger conveyor control device and passenger conveyor control method
US11787335B2 (en) 2019-07-26 2023-10-17 Aisin Corporation Periphery monitoring device
JP7518208B2 (en) 2020-12-22 2024-07-17 株式会社日立国際電気 Monitoring system and monitoring method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08244612A (en) * 1995-03-10 1996-09-24 Hitachi Ltd Dash-on-car-passenger monitor
JP2003224844A (en) * 2002-01-31 2003-08-08 Mitsubishi Heavy Ind Ltd Home supervisory system
JP2004058737A (en) * 2002-07-25 2004-02-26 National Institute Of Advanced Industrial & Technology Safety monitoring device in station platform
JP2006074513A (en) * 2004-09-02 2006-03-16 Oki Electric Ind Co Ltd Monitoring system and monitoring device
JP2014086789A (en) * 2012-10-22 2014-05-12 Saxa Inc Imaging apparatus and vehicle door monitoring system
JP2015039125A (en) * 2013-08-19 2015-02-26 キヤノン株式会社 Monitoring device
JP2016162408A (en) * 2015-03-05 2016-09-05 サクサ株式会社 Image processing device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08244612A (en) * 1995-03-10 1996-09-24 Hitachi Ltd Dash-on-car-passenger monitor
JP2003224844A (en) * 2002-01-31 2003-08-08 Mitsubishi Heavy Ind Ltd Home supervisory system
JP2004058737A (en) * 2002-07-25 2004-02-26 National Institute Of Advanced Industrial & Technology Safety monitoring device in station platform
JP2006074513A (en) * 2004-09-02 2006-03-16 Oki Electric Ind Co Ltd Monitoring system and monitoring device
JP2014086789A (en) * 2012-10-22 2014-05-12 Saxa Inc Imaging apparatus and vehicle door monitoring system
JP2015039125A (en) * 2013-08-19 2015-02-26 キヤノン株式会社 Monitoring device
JP2016162408A (en) * 2015-03-05 2016-09-05 サクサ株式会社 Image processing device

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11787335B2 (en) 2019-07-26 2023-10-17 Aisin Corporation Periphery monitoring device
CN110775110A (en) * 2019-11-07 2020-02-11 交控科技股份有限公司 Train control system based on vehicle-to-vehicle communication
WO2021156060A1 (en) * 2020-02-04 2021-08-12 Siemens Mobility GmbH Method and system for monitoring the surroundings of a means of transportation
CN114981850A (en) * 2020-12-22 2022-08-30 乐天集团股份有限公司 Monitoring system and unmanned walking body
WO2022137350A1 (en) * 2020-12-22 2022-06-30 楽天グループ株式会社 Monitoring system and unmanned ground vehicle
JP2022099338A (en) * 2020-12-22 2022-07-04 楽天グループ株式会社 Monitor system and unmanned travel body
WO2022138479A1 (en) * 2020-12-22 2022-06-30 株式会社日立国際電気 Monitoring system and monitoring method
JP7312868B2 (en) 2020-12-22 2023-07-21 楽天グループ株式会社 Surveillance system and unmanned vehicle
GB2617005A (en) * 2020-12-22 2023-09-27 Hitachi Int Electric Inc Monitoring system and monitoring method
JP7023429B1 (en) * 2020-12-22 2022-02-21 楽天グループ株式会社 Surveillance system and unmanned vehicle
JP7518208B2 (en) 2020-12-22 2024-07-17 株式会社日立国際電気 Monitoring system and monitoring method
WO2023286152A1 (en) * 2021-07-13 2023-01-19 日本電気株式会社 Detection device, detection method, and non-transitory computer-readable medium
JP2023119723A (en) * 2022-02-17 2023-08-29 東芝エレベータ株式会社 Passenger conveyor control device and passenger conveyor control method

Also Published As

Publication number Publication date
JP6829165B2 (en) 2021-02-10

Similar Documents

Publication Publication Date Title
JP6829165B2 (en) Monitoring system and monitoring method
CN101607668B (en) Embedded computer vision escalator pedestrian flow supervision and alarm device
KR101793636B1 (en) Image processing system
WO2018096371A1 (en) Passenger transport monitoring system
KR100956978B1 (en) The system which integrated manages a traffic accident notice area
EP1943612B1 (en) Video image track supervision system
KR101937272B1 (en) Method and Apparatus for Detecting Event from Multiple Image
KR101377029B1 (en) The apparatus and method of monitoring cctv with control moudule
JP2017028364A (en) Monitoring system and monitoring device
KR102131437B1 (en) Adaptive video surveillance system and method
KR20100121020A (en) Apparatus for detecting a obstacle in a road crossing and controlling method thereof using a moving track of an object
KR20090027409A (en) Monitoring system in railway station
CN110759199A (en) Device and method for detecting electric bicycle trying to enter elevator
CN106713492A (en) Garbage station relay monitoring system and monitoring method based on cloud computing
KR101407952B1 (en) Elevator crime prvent system and method of controlling the same
KR101167605B1 (en) Intelligent controller using camera and method thereof
US20230260387A1 (en) Systems and methods for detecting security events in an environment
KR100444929B1 (en) Image processing alarm system and method for automatically sensing unexpected accident at train platform
JP5520675B2 (en) Reporting device
US20240203221A1 (en) Monitoring device and monitoring system
WO2023209782A1 (en) Monitoring apparatus, monitoring method, and recording medium
KR101936004B1 (en) Intelligent pedestrian detecting method
KR100497311B1 (en) Method for automatically detecting and alarming unexpected accident while boarding or alighting from subway and train at platform
JP7517422B2 (en) Conversation monitoring device, control method, and program
US20240054815A1 (en) Information processing apparatus, information processing method, computer-readable medium, and information processing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210121

R150 Certificate of patent or registration of utility model

Ref document number: 6829165

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250