JP7107596B2 - Station monitoring system and station monitoring method - Google Patents
Station monitoring system and station monitoring method Download PDFInfo
- Publication number
- JP7107596B2 JP7107596B2 JP2020538275A JP2020538275A JP7107596B2 JP 7107596 B2 JP7107596 B2 JP 7107596B2 JP 2020538275 A JP2020538275 A JP 2020538275A JP 2020538275 A JP2020538275 A JP 2020538275A JP 7107596 B2 JP7107596 B2 JP 7107596B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- captured image
- transmission
- captured
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims description 104
- 238000000034 method Methods 0.000 title claims description 39
- 230000005540 biological transmission Effects 0.000 claims description 276
- 238000012806 monitoring device Methods 0.000 claims description 75
- 239000002131 composite material Substances 0.000 claims description 40
- 230000004044 response Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 241000282472 Canis lupus familiaris Species 0.000 description 10
- 239000000872 buffer Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Description
本発明は、駅監視システム及び駅監視方法に関する。 The present invention relates to a station monitoring system and a station monitoring method.
特許文献１には、監視装置が複数の映像配信装置のそれぞれから駅のプラットホームを撮影した映像を受信して、受信した複数の映像を合成した映像を表示させる技術が記載されている。
また、映像に特定のオブジェクトが表れているか否かの判定や映像内において特定のオブジェクトが表れている領域の特定などといった映像解析を行える映像解析システムも知られている。 Also known is a video analysis system that can perform video analysis such as determining whether a specific object appears in a video or not, and identifying an area in the video where a specific object appears.
駅のプラットホームを撮影した映像の解像度が高いほど当該映像の解析精度は高くなる。ここで例えば白杖を持った人物や補助犬などが駅のプラットホームにいるかどうかの判定や白杖を持った人物や補助犬が当該映像内において表れている領域の特定などといった精細な解析を行う場合は、解像度が高い映像を解析する必要がある。 The higher the resolution of the image of the station platform, the higher the accuracy of analysis of the image. Here, for example, detailed analysis is performed, such as determining whether a person with a white cane or an assistance dog is on the station platform, and specifying the area where a person with a white cane or an assistance dog appears in the image. In that case, it is necessary to analyze images with high resolution.
一方で、解像度が高い映像が送信されるとネットワークに負荷がかかる。 On the other hand, when high-resolution video is transmitted, the load is placed on the network.
本発明は上記課題に鑑みてなされたものであって、その目的の１つは、駅のプラットホームを撮影した映像の解析精度を確保しつつ送信によりかかるネットワークの負荷を低減できる駅監視システム及び駅監視方法を提供することにある。 SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and one of its objects is to provide a station monitoring system and a station monitoring system capable of reducing the load on the network due to transmission while ensuring the analysis accuracy of the video of the station platform. It is to provide a monitoring method.
本発明に係る駅監視システムは、監視装置と複数の送信装置とを含む、駅のプラットホームを監視する駅監視システムであって、前記複数の送信装置のそれぞれは、当該送信装置が設置されているプラットホームを撮影した撮影映像を取得する撮影映像取得手段と、前記撮影映像に基づいて、当該撮影映像に所与のオブジェクトが表れているか否かを判定する判定手段と、前記撮影映像と前記判定の結果とに基づいて、前記撮影映像を低解像度化した低解像度映像と前記判定の結果とを示す送信データを生成する送信データ生成手段と、前記送信データを前記監視装置に送信する送信手段と、を含み、前記監視装置は、それぞれ互いに異なる前記送信装置から送信される複数の前記送信データを受信する受信手段と、前記複数の前記送信データのうちの少なくとも１つが示す前記判定の結果が表された、前記複数の前記送信データのそれぞれが示す前記低解像度映像を合成した合成映像を生成する合成映像生成手段と、前記合成映像を表示させる表示制御手段と、を含む。 A station monitoring system according to the present invention is a station monitoring system for monitoring a station platform, including a monitoring device and a plurality of transmitting devices, wherein each of the plurality of transmitting devices is provided with the transmitting device. a captured image acquiring means for acquiring a captured image of the platform; a determination means for determining whether or not a given object appears in the captured image based on the captured image; transmission data generating means for generating transmission data indicating a low-resolution image obtained by reducing the resolution of the captured image and the result of the determination based on the result; transmission means for transmitting the transmission data to the monitoring device; and the monitoring device includes receiving means for receiving a plurality of transmission data transmitted from the transmission devices different from each other, and a result of the determination indicated by at least one of the plurality of transmission data. Further, it includes synthetic image generating means for generating a synthetic image obtained by synthesizing the low-resolution images indicated by each of the plurality of transmission data, and display control means for displaying the synthetic image.
本発明の一態様では、前記監視装置は、前記送信装置に前記撮影映像の送信要求を送信する送信要求手段、をさらに含み、前記送信装置の前記送信手段は、前記送信要求の受信に応じて、前記撮影映像を前記監視装置に送信し、前記監視装置の前記表示制御手段は、前記撮影映像の受信に応じて当該撮影映像を表示させる。 In one aspect of the present invention, the monitoring device further includes transmission request means for transmitting a transmission request for the captured image to the transmission device, and the transmission means of the transmission device responds to reception of the transmission request. and transmitting the captured image to the monitoring device, and the display control means of the monitoring device displays the captured image in response to receiving the captured image.
あるいは、前記監視装置は、前記送信装置に前記撮影映像の送信要求を送信する送信要求手段、をさらに含み、前記送信装置の前記送信手段は、前記送信要求の受信に応じて、前記撮影映像と前記判定の結果とを示す代替送信データを前記監視装置に送信し、前記監視装置の前記表示制御手段は、前記代替送信データの受信に応じて、当該代替送信データが示す前記判定の結果が表された、当該代替送信データが示す前記撮影映像を表示させる。 Alternatively, the monitoring device further includes transmission request means for transmitting a transmission request for the captured image to the transmission device, and the transmission means of the transmission device transmits the captured image and the alternative transmission data indicating the determination result is transmitted to the monitoring apparatus, and the display control means of the monitoring apparatus displays the determination result indicated by the alternative transmission data in response to reception of the alternative transmission data. The photographed image indicated by the alternative transmission data that has been received is displayed.
また、本発明の一態様では、前記監視装置の前記合成映像生成手段は、前記送信データが示す前記判定の結果が当該送信データを送信する前記送信装置に対応付けられる番線に進入する車両の状況に応じた態様で表された前記合成映像を生成する。 Further, in one aspect of the present invention, the synthetic image generation means of the monitoring device may determine the situation of a vehicle entering a track whose determination result indicated by the transmission data is associated with the transmission device that transmits the transmission data. to generate the composite image represented in a manner according to .
また、本発明の一態様では、前記送信装置の前記判定手段は、前記撮影映像に含まれるフレーム画像に対する画像認識処理を実行することによって当該フレーム画像内において前記オブジェクトが表れている領域を特定する画像認識手段と、前記撮影映像に含まれるフレーム画像内において前記オブジェクトが表れている領域を、当該フレーム画像よりも前に撮影されたフレーム画像について前記画像認識手段が特定した前記領域を追尾することにより特定する追尾手段と、を含む。 Further, in one aspect of the present invention, the determination means of the transmission device specifies an area in which the object appears in the frame image by executing image recognition processing on the frame image included in the captured image. an image recognition means, and tracking the area in which the object appears in the frame image included in the captured image, the area specified by the image recognition means in the frame image captured before the frame image. and a tracking means identified by
また、本発明の一態様では、前記送信装置は、前記オブジェクトの検出に応じて撮影される当該オブジェクトが検出された場所の画像である参照撮影画像を取得する参照撮影画像取得手段、をさらに含み、前記送信装置の前記判定手段は、前記参照撮影画像と前記撮影映像とに基づいて、当該撮影映像に前記オブジェクトが表れているか否かを判定する。 In one aspect of the present invention, the transmission device further includes reference captured image acquisition means for acquiring a reference captured image, which is an image of a location where the object is detected, captured in response to detection of the object. and the determination means of the transmission device determines whether or not the object appears in the captured image based on the reference captured image and the captured image.
この態様では、前記参照撮影画像取得手段は、前記オブジェクトの検出に応じて互いに異なる方向から撮影される複数の前記参照撮影画像を取得し、前記送信装置の前記判定手段は、複数の前記参照撮影画像と前記撮影映像とに基づいて、当該撮影映像に前記オブジェクトが表れているか否かを判定してもよい。 In this aspect, the reference captured image acquisition means acquires a plurality of reference captured images captured from different directions in response to detection of the object, and the determination means of the transmission device obtains a plurality of the reference captured images. Based on the image and the captured video, it may be determined whether the object appears in the captured video.
また、この態様では、前記送信装置の前記判定手段は、前記参照撮影画像に対する画像認識処理を実行することによって特定される、当該参照撮影画像内において前記オブジェクトが表れている領域を用いて、前記撮影映像に含まれるフレーム画像に対する画像認識処理を実行することによって、当該フレーム画像内において前記オブジェクトが表れている領域を特定する画像認識手段、を含んでいてもよい。 Further, in this aspect, the determination means of the transmission device uses an area in which the object appears in the reference captured image, which is specified by executing image recognition processing on the reference captured image, to determine the An image recognition means may be included for specifying an area in which the object appears in the frame image by executing image recognition processing on the frame image included in the captured image.
あるいは、前記送信装置の前記判定手段は、前記参照撮影画像に対する画像認識処理を実行することによって当該参照撮影画像内において前記オブジェクトが表れている領域を特定する画像認識手段と、前記撮影映像に含まれるフレーム画像内において前記オブジェクトが表れている領域を、前記参照撮影画像について前記画像認識手段が特定した前記領域を追尾することにより特定する追尾手段と、を含んでいてもよい。 Alternatively, the determination means of the transmission device may include image recognition means for specifying an area in which the object appears in the reference captured image by executing image recognition processing on the reference captured image, and tracking means for identifying an area in which the object appears in the captured frame image by tracking the area identified by the image recognition means for the reference captured image.
また、本発明に係る駅監視方法は、駅のホームを監視する駅監視方法であって、複数の送信装置のそれぞれが、当該送信装置が設置されているプラットホームを撮影した撮影映像を取得するステップと、前記複数の送信装置のそれぞれが、前記撮影映像に基づいて、当該撮影映像に所与のオブジェクトが表れているか否かを判定するステップと、前記複数の送信装置のそれぞれが、前記撮影映像と前記判定の結果とに基づいて、前記撮影映像を低解像度化した低解像度映像と前記判定の結果とを示す送信データを生成するステップと、前記複数の送信装置のそれぞれが、前記送信データを監視装置に送信するステップと、前記監視装置が、それぞれ互いに異なる前記送信装置から送信される複数の前記送信データを受信するステップと、前記監視装置が、前記複数の前記送信データのうちの少なくとも１つが示す前記判定の結果が表された、前記複数の前記送信データのそれぞれが示す前記低解像度映像を合成した合成映像を生成するステップと、前記監視装置が、前記合成映像を表示させるステップと、を含む。 Further, a station monitoring method according to the present invention is a station monitoring method for monitoring a platform of a station, wherein each of a plurality of transmitting devices obtains a captured image of the platform on which the transmitting device is installed. and each of the plurality of transmission devices determines whether or not a given object appears in the captured image based on the captured image; and each of the plurality of transmission devices determines the captured image. a step of generating transmission data indicating a low-resolution image obtained by lowering the resolution of the captured image and the result of the determination based on the result of the determination; transmitting to a monitoring device; receiving, by the monitoring device, a plurality of transmission data transmitted from the transmission devices different from each other; and receiving at least one of the plurality of transmission data by the monitoring device. a step of generating a synthesized image obtained by synthesizing the low-resolution images indicated by each of the plurality of transmission data, in which the result of the determination indicated by one is expressed; and a step of the monitoring device displaying the synthesized image; including.
以下、本発明の一実施形態について図面に基づき詳細に説明する。 An embodiment of the present invention will be described in detail below with reference to the drawings.
図１は、本発明の一実施形態に係る駅監視システム１の全体構成の一例を示す図である。図１に示すように、本実施形態に係る駅監視システム１には、中央監視装置１０、及び、複数の映像送信システム１２、が含まれている。
FIG. 1 is a diagram showing an example of the overall configuration of a
中央監視装置１０と、複数の映像送信システム１２とは、インターネット等のコンピュータネットワーク１４に接続されている。そのため、中央監視装置１０と映像送信システム１２とはコンピュータネットワーク１４を介して互いに通信可能となっている。
A
中央監視装置１０は、例えばパーソナルコンピュータなどのコンピュータである。図１に示すように中央監視装置１０には、プロセッサ１０ａ、記憶部１０ｂ、通信部１０ｃ、全体監視モニタ１０ｄ、及び、個別監視モニタ１０ｅが含まれる。
The
プロセッサ１０ａは、例えば、中央監視装置１０にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。記憶部１０ｂは、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１０ｂには、プロセッサ１０ａによって実行されるプログラムなどが記憶される。通信部１０ｃは、例えば映像送信システム１２との間でデータを授受するためのネットワークボードなどの通信インタフェースである。中央監視装置１０は、通信部１０ｃを経由して映像送信システム１２との間で情報の送受信を行う。全体監視モニタ１０ｄ、及び、個別監視モニタ１０ｅは、例えば、液晶ディスプレイ等の表示デバイスであって、プロセッサ１０ａの指示に従って各種の画像を表示する。
The
図２は、本実施形態に係る映像送信システム１２の構成の一例を示す図である。図２に示すように、本実施形態に係る映像送信システム１２には、カメラ２０と、映像解析装置２２と、ダウンコンバータ２４と、プラットホームモニタ２６と、駅舎モニタ２８と、が含まれている。本実施形態に係る映像解析装置２２は、カメラ２０、ダウンコンバータ２４、駅舎モニタ２８と接続されている。また本実施形態に係るカメラ２０は、プラットホームモニタ２６と接続されている。
FIG. 2 is a diagram showing an example of the configuration of the
カメラ２０は、例えばデジタルカメラなどの撮影デバイスである。プラットホームモニタ２６、及び、駅舎モニタ２８は、例えば、液晶ディスプレイ等の表示デバイスである。ダウンコンバータ２４は、例えば受け付ける映像を低解像度化して出力する機器である。
The
映像解析装置２２は、例えばパーソナルコンピュータなどのコンピュータである。図２に示すように、本実施形態に係る映像解析装置２２には、プロセッサ２２ａ、記憶部２２ｂ、通信部２２ｃ、が含まれる。プロセッサ２２ａは、例えば、映像解析装置２２にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。記憶部２２ｂは、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部２２ｂには、プロセッサ２２ａによって実行されるプログラムなどが記憶される。通信部２２ｃは、例えば中央監視装置１０との間でデータを授受するためのネットワークボードなどの通信インタフェースである。映像解析装置２２は、通信部２２ｃを経由して中央監視装置１０との間で情報の送受信を行う。
The
以下、一例として、駅監視システム１に、９個の映像送信システム１２（１２ａ～１２ｉ）が含まれる場合について説明する。なお、駅監視システム１に含まれる映像送信システム１２の数はもちろん９個には限定されない。
As an example, a case where the
図３は、本実施形態に係る映像送信システム１２ｅに含まれるカメラ２０が生成する、駅のプラットホーム３０等の監視対象を撮影した撮影映像に含まれる１つのフレーム画像の一例を示す図である。以下、撮影映像に含まれるフレーム画像を撮影画像３２と呼ぶこととする。図４は、当該撮影映像に含まれる別の１つの撮影画像３２の一例を示す図である。本実施形態では例えば、カメラ２０が所定のフレームレートで撮影画像３２を生成する。そしてここでは例えば、図３に示す撮影画像３２が生成されたフレームよりも後のフレームにおいて、図４に示す撮影画像３２が生成されることとする。
FIG. 3 is a diagram showing an example of one frame image included in a captured image of a monitoring target such as a
本実施形態では例えば、９個の映像送信システム１２（１２ａ～１２ｉ）のそれぞれにおいて、当該映像送信システム１２に含まれるカメラ２０により撮影映像が生成される。カメラ２０により生成される撮影映像は、当該カメラ２０が監視するプラットホーム３０に設置されたプラットホームモニタ２６に表示されてもよい。
In this embodiment, for example, in each of the nine video transmission systems 12 (12a to 12i), the captured video is generated by the
以下の説明では、９個の映像送信システム１２（１２ａ～１２ｉ）のそれぞれは、互いに異なる駅に配置されており、１つの駅では１つのカメラ２０によって当該駅のプラットホーム３０が監視されることとする。
In the following explanation, each of the nine video transmission systems 12 (12a to 12i) is arranged at different stations, and one
そして本実施形態では例えば、映像解析装置２２において撮影画像３２に対して公知の画像認識技術による画像認識処理が実行され、当該撮影画像３２に所与のオブジェクトが表れているか否かが判定される。なお当該画像認識処理が、学習済の機械学習モデルを用いて実行されてもよい。以下、当該所与のオブジェクトをターゲットオブジェクト３４と呼ぶこととする。ターゲットオブジェクト３４の例としては、白杖を持った人物や、盲導犬や聴導犬等の補助犬など、重点的に注意を向けることが望ましいオブジェクトが挙げられる。なおターゲットオブジェクト３４は、１つの種類のオブジェクトである必要はなく、複数の種類のオブジェクトであっても構わない。
In this embodiment, for example, the
ここで図３に示す撮影画像３２には、ターゲットオブジェクト３４は表れていない。一方、図４に示す撮影画像３２には、ターゲットオブジェクト３４が表れている。そのため図３に示す撮影画像３２についてはターゲットオブジェクト３４が表されていないと判定され、図４に示す撮影画像３２についてはターゲットオブジェクト３４が表れていると判定される。
Here, the
そして本実施形態では例えば、ターゲットオブジェクト３４が表れていると判定された撮影画像３２については、ターゲットオブジェクト３４が表れている領域が特定される。以下、ターゲットオブジェクト３４が表れている領域をターゲット領域と呼ぶこととする。
Then, in the present embodiment, for example, with respect to the photographed
そして本実施形態では例えば、ターゲット領域を示すターゲット領域情報が生成される。図５は、ターゲット領域情報の一例である領域特定結果画像３６の一例を示す図である。図５に示す領域特定結果画像３６では、図４に示す撮影画像３２にターゲットオブジェクト３４を囲む枠状のターゲット領域画像３８が重畳されている。
Then, in this embodiment, for example, target area information indicating the target area is generated. FIG. 5 is a diagram showing an example of an area identification result
図６は、図４に示す撮影画像３２が生成されたフレームよりも後のフレームにおいてカメラ２０によって生成される撮影画像３２の一例を示す図である。図６に示す撮影画像３２についてもターゲットオブジェクト３４が表れている。
FIG. 6 is a diagram showing an example of a captured
ここで例えば、映像解析装置２２において、図４に示す撮影画像３２に対する画像認識処理において特定されたターゲット領域を追尾する公知の追尾処理を実行することによって、図６に示す撮影画像３２内におけるターゲット領域が特定されてもよい。そしてこのようにして特定されるターゲット領域を示す、図７に例示する領域特定結果画像３６が生成されてもよい。図７に示す領域特定結果画像３６では、図６に示す撮影画像３２にターゲットオブジェクト３４を囲む枠状のターゲット領域画像３８が重畳されている。
Here, for example, in the
図８は、１６個のフレームに着目した、本実施形態における、撮影画像３２の撮影、撮影画像３２に対する画像認識、及び、ターゲット領域の追尾の関係の一例を模式的に示す図である。以下、当該１６個のフレームを、第１フレーム～第１６フレームと呼ぶこととする。
FIG. 8 is a diagram schematically showing an example of the relationship between the photographing of the photographed
本実施形態では例えば、上述の画像認識処理が、機械学習モデルを用いて実装されており、その処理の実行には時間がかかることとする。一方、上述の追尾処理は、ターゲット領域内の画素の画素値の分布などといった特徴量を用いたパターンマッチング技術などによって実装されており、上述の画像認識処理よりも１つの画像に対する処理の実行時間が短いこととする。以下の説明では、一例として、１つの撮影画像３２に対する画像認識処理には、３フレームに相当する時間がかかることとし、１つの撮影画像３２に対する追尾処理には、１フレームに相当する時間よりも短い時間しかかからないこととする。
In this embodiment, for example, the image recognition processing described above is implemented using a machine learning model, and it takes time to execute the processing. On the other hand, the tracking process described above is implemented by pattern matching technology using feature quantities such as the distribution of pixel values of pixels in the target area, and the execution time for one image is longer than the image recognition process described above. be short. In the following description, as an example, image recognition processing for one captured
図８では、第ｎフレームで撮影される撮影画像３２がｐ（ｎ）と表現されている（ｎは１以上１６以下の整数）。また第ｎフレームで撮影される撮影画像３２（ｐ（ｎ））に対する画像認識の結果は、ｒ（ｐ（ｎ））と表現されている。例えば、図５に例示する領域特定結果画像３６が、画像認識の結果ｒ（ｐ（ｎ））の一例に相当する。
In FIG. 8, the captured
図８に示すように、第１フレームの撮影画像３２（ｐ（１））の画像認識の結果（ｒ（ｐ（１）））は、第４フレームの撮影画像３２（ｐ（４））の撮影タイミングに特定される。 As shown in FIG. 8, the image recognition result (r(p(1))) of the captured image 32 (p(1)) of the first frame is the result of the captured image 32 (p(4)) of the fourth frame. It is specified by the shooting timing.
そしてその後、本実施形態では例えば、第４フレームの撮影画像３２（ｐ（４））に対して画像認識が実行される。そして当該画像認識の結果（ｒ（ｐ（４）））は、第７フレームの撮影画像３２（ｐ（７））の撮影タイミングに特定される。 After that, in the present embodiment, for example, image recognition is performed on the captured image 32 (p(4)) of the fourth frame. The image recognition result (r(p(4))) is specified at the shooting timing of the shot image 32 (p(7)) of the seventh frame.
以下、同様にして、第１０フレームの撮影画像３２（ｐ（１０））に対する画像認識の結果（ｒ（ｐ（１０）））は、第１３フレームの撮影画像３２（ｐ（１３））の撮影タイミングに特定される。また第１３フレームの撮影画像３２（ｐ（１３））に対する画像認識の結果（ｒ（ｐ（１３）））は、第１６フレームの撮影画像３２（ｐ（１６））の撮影タイミングに特定される。 Similarly, the image recognition result (r(p(10))) for the captured image 32 (p(10)) of the 10th frame is obtained by capturing the captured image 32 (p(13)) of the 13th frame. specified in timing. The image recognition result (r(p(13))) for the captured image 32 (p(13)) of the 13th frame is specified at the capturing timing of the captured image 32 (p(16)) of the 16th frame. .
そして本実施形態では例えば、撮影画像３２に対して、当該撮影画像３２の撮影タイミングにおいて利用可能な最新の画像認識の結果によって特定されたターゲット領域を追尾する処理が実行されることで当該撮影画像３２内におけるターゲット領域が特定される。例えば第４フレーム～第６フレームの撮影画像３２（ｐ（４）～ｐ（６））については、第１フレームの撮影画像３２に対する画像認識の結果（ｒ（ｐ（１）））によって特定されたターゲット領域を追尾する処理が実行される。この追尾処理の結果が、図８では、ｔ（ｐ（４），ｒ（ｐ（１）））、ｔ（ｐ（５），ｒ（ｐ（１）））、ｔ（ｐ（６），ｒ（ｐ（１）））と表現されている。例えば、図７に例示する領域特定結果画像３６が、追尾処理の結果ｔの一例に相当する。
Then, in the present embodiment, for example, the captured
同様にして、例えば第７フレーム～第９フレームの撮影画像３２（ｐ（７）～ｐ（９））については、第４フレームの撮影画像３２に対する画像認識の結果（ｒ（ｐ（４）））によって特定されたターゲット領域を追尾する処理が実行される。この追尾処理の結果が、図８では、ｔ（ｐ（７），ｒ（ｐ（４）））、ｔ（ｐ（８），ｒ（ｐ（４）））、ｔ（ｐ（９），ｒ（ｐ（４）））と表現されている。以下、同様にして、第１０フレーム以降の撮影画像３２についても、ターゲット領域を追尾する処理が実行される。
Similarly, for the captured images 32 (p(7) to p(9)) of the seventh to ninth frames, for example, the result of image recognition (r(p(4)) for the captured
本実施形態では以上のようにして、撮影画像３２に対して当該撮影画像３２の撮影タイミングにおいて利用可能な最新の画像認識の結果によって特定されたターゲット領域を追尾する処理が実行されることで当該撮影画像３２内におけるターゲット領域が特定される。そのため本実施形態では、撮影画像３２の撮影から短い時間で当該撮影画像３２内におけるターゲット領域の特定が可能となる。
In the present embodiment, as described above, the process of tracking the target area specified by the latest image recognition result available at the timing of photographing the photographed
そして本実施形態では例えば、撮影映像を低解像度化した低解像度映像と当該撮影映像にターゲットオブジェクト３４が表れているか否かの判定の結果とを示す送信データが生成される。
Then, in the present embodiment, for example, transmission data is generated that indicates a low-resolution image obtained by reducing the resolution of the captured image and the determination result of whether or not the
ここで例えば、撮影画像３２にターゲット領域画像３８が重畳された、図７に示す領域特定結果画像３６をダウンコンバータ２４によって低解像度化した画像である低解像度画像をフレーム画像として含む映像が送信データとして生成されてもよい。この場合は、当該低解像度画像は、撮影映像を低解像度化した低解像度映像のフレーム画像でもあり、撮影画像３２にターゲットオブジェクト３４が表れているか否かの判定の結果を示す画像でもあることとなる。
Here, for example, an image including a low-resolution image, which is an image obtained by lowering the resolution of the area identification result
また例えば、撮影映像を低解像度化した低解像度化映像と含むとともに、ヘッダ等に、撮影映像に含まれるそれぞれの撮影画像３２についてのターゲットオブジェクト３４が表れているか否かの判定の結果を示すフラグを含む送信データが生成されてもよい。この場合、当該低解像度映像は、撮影画像３２を低解像度化した低解像度化画像をフレーム画像として含むこととなる。またこの場合は、送信データに含まれるフラグが、撮影映像にターゲットオブジェクト３４が表れているか否かの判定の結果を示していることとなる。
Further, for example, a flag indicating whether or not the
また例えば、撮影映像を低解像度化した低解像度化映像、及び、ターゲット領域情報を含む送信データが生成されてもよい。ここでターゲット領域情報は、例えば、低解像度化映像に含まれるフレーム画像である低解像度画像のうち、ターゲットオブジェクト３４が表れている低解像度画像について、当該低解像度画像内におけるターゲット領域の位置や形状を示す情報であってもよい。例えばターゲット領域情報が、低解像度画像内におけるターゲット領域に相当する枠の４つの角の位置の座標値を示す情報であってもよい。またターゲット領域情報は、ターゲット領域画像３８のような画像の形式の情報であってもよい。この場合は、送信データに含まれるターゲット領域情報が、撮影映像にターゲットオブジェクト３４が表れているか否かの判定の結果を示していることとなる。
Further, for example, a low-resolution image obtained by reducing the resolution of a captured image and transmission data including target area information may be generated. Here, the target area information is, for example, the position and shape of the target area in the low-resolution image of the low-resolution image in which the
以下、撮影画像３２、又は、当該撮影画像３２とターゲット領域画像３８とが重畳された領域特定結果画像３６を低解像度化した低解像度画像を、当該撮影画像３２に対応付けられる低解像度画像と呼ぶこととする。
Hereinafter, a low-resolution image obtained by lowering the resolution of the captured
そして本実施形態ではこのようにして生成される送信データが中央監視装置１０に送信される。同様にして、他の映像送信システム１２（１２ａ～１２ｄ、及び、１２ｆ～１２ｉ）からも、当該映像送信システム１２で生成される送信データが中央監視装置１０に送信される。
Then, in this embodiment, the transmission data generated in this manner is transmitted to the
また本実施形態において例えば、撮影映像、又は、低解像度映像が、駅舎に設置された駅舎モニタ２８に表示されてもよい。ここで駅舎モニタ２８に表示される映像に含まれるフレーム画像にターゲット領域が示されていてもよい。例えば、一連の領域特定結果画像３６をフレーム画像として含む映像が駅舎モニタ２８に表示されてもよい。
Further, in this embodiment, for example, a captured image or a low-resolution image may be displayed on the station building monitor 28 installed in the station building. Here, the target area may be shown in the frame image included in the video displayed on the
本実施形態では例えば、中央監視装置１０が、複数の映像送信システム１２（１２ａ～１２ｉ）のそれぞれから送信される上述の送信データを受信する。
In this embodiment, for example, the
そして中央監視装置１０において、当該複数の送信データに基づいて、当該複数の送信データのうちの少なくとも１つが示す上述の判定の結果が表された、当該複数の送信データのそれぞれが示す低解像度映像を合成した合成映像が生成される。そして生成された合成映像が全体監視モニタ１０ｄに表示される。図９及び図１０は、それぞれ、合成映像に含まれる１つのフレーム画像である合成画像４０の一例を示す図である。
Then, in the
図９には、受信するすべての送信データにおいてターゲットオブジェクト３４が表れていないことが上述の判定の結果として示されている場合における合成画像４０の一例が示されている。図１０には、受信する２つの送信データにおいてターゲットオブジェクト３４が表れていることが上述の判定の結果として示されている場合における合成画像４０の一例が示されている。
FIG. 9 shows an example of the
合成画像４０には、例えばそれぞれ互いに異なる映像送信システム１２に対応付けられる複数の個別画像領域４２が含まれている。図９及び図１０に例示されている合成画像４０には、９個の映像送信システム１２（１２ａ～１２ｉ）にそれぞれ対応付けられる、９つの個別画像領域４２（４２ａ～４２ｉ）が含まれている。ここで例えば、図３、図４、及び、図６に示す撮影画像３２を撮影したカメラ２０を含む映像送信システム１２ｅは、個別画像領域４２ｅに対応付けられることとなる。
本実施形態では例えば、映像送信システム１２から受信した送信データが示す低解像度映像に含まれるフレーム画像である低解像度画像が、当該映像送信システム１２に対応付けられる個別画像領域４２に配置される。
In this embodiment, for example, a low-resolution image, which is a frame image included in the low-resolution video indicated by the transmission data received from the
そして本実施形態では例えば、中央監視装置１０が、複数の個別画像領域４２のそれぞれについて、当該個別画像領域４２に配置される低解像度画像に対応付けられる撮影画像３２にターゲットオブジェクト３４が表れているか否かの判定の結果を特定する。ここで例えば、送信データに含まれるフラグに基づいて、当該判定の結果が特定されてもよい。また例えば、撮影画像３２を低解像度化した低解像度画像内におけるターゲット領域の位置や形状を示すターゲット領域情報が送信データに含まれている場合に、当該撮影画像３２にターゲットオブジェクト３４が表れていると判定されてもよい。また例えば、送信データが示す低解像度画像からターゲット領域画像３８を検出する処理が実行されるようにしてもよい。そしてターゲット領域画像３８が検出できた場合に、当該低解像度画像が低解像度化される前の撮影画像３２にターゲットオブジェクト３４が表れていると判定されてもよい。
In this embodiment, for example, the
そして本実施形態では例えば、上述の判定の結果が表された合成画像４０が生成される。ここで例えば、配置される低解像度画像に対応付けられる撮影画像３２にターゲットオブジェクト３４が表れていると判定された個別画像領域４２を囲む枠状の判定識別画像４４が重畳された合成画像４０が生成されてもよい。図１０には、一例として、個別画像領域４２ｅを囲む判定識別画像４４ａ、及び、個別画像領域４２ｇを囲む判定識別画像４４ｂが示されている。
Then, in this embodiment, for example, a
また本実施形態では例えば、図１０に示すように、低解像度画像内においてターゲットオブジェクト３４が表れているターゲット領域が、当該低解像度画像が配置される個別画像領域４２に示される。ここで例えば、図１０に示すように、領域特定結果画像４６がターゲット領域を表す情報として個別画像領域４２に示されるようにしてもよい。ここで領域特定結果画像４６は、例えば、領域特定結果画像３６を低解像度化した画像であってもよい。あるいは、領域特定結果画像４６は、例えば、ターゲット領域情報が示す座標値によって表現される位置を角とする枠状の画像であってもよい。
Further, in the present embodiment, for example, as shown in FIG. 10, the target area in which the
また本実施形態において例えば、送信データに対応付けられる番線に進入する車両の状況に基づいて、映像の監視の優先度が決定されてもよい。ここで送信データに対応付けられる番線とは、例えば、送信データを送信する映像送信システム１２が配置されている駅にある番線や、送信データを送信する映像送信システム１２のカメラ２０によって監視されるプラットホーム３０に隣接する番線などを意味する。なお１つのカメラ２０に１つの番線が対応付けられてもよいし、１つのカメラ２０に複数の番線が対応付けられてもよい。また、撮影画像３２にターゲットオブジェクト３４が表れていると判定された個別画像領域４２について、映像の監視の優先度が決定されるようにしてもよい。
Further, in the present embodiment, for example, the priority of video monitoring may be determined based on the situation of vehicles entering the track number associated with the transmission data. Here, the track number associated with the transmission data is, for example, the track number at the station where the
以下、映像の監視の優先度の決定の一例について説明する。 An example of determining the priority of video monitoring will be described below.
図１１には、９個の映像送信システム１２（１２ａ～１２ｉ）のそれぞれが配置されている駅と、これらの駅の間を運行する車両との関係の一例が模式的に示されている。図１１には、９個の映像送信システム１２（１２ａ～１２ｉ）が配置されている駅にそれぞれ対応付けられる９つの駅オブジェクト５０（５０ａ～５０ｉ）と、運行する車両に対応付けられる４つの車両オブジェクト５２（５２ａ～５２ｄ）が示されている。また図１１には、車両の進行方向が矢印で表現されている。ここでは例えば、図１０に例示する合成画像４０に対応付けられる撮影画像３２の撮影タイミングにおける車両の位置が、車両オブジェクト５２の位置として図１１に示されていることとする。
FIG. 11 schematically shows an example of the relationship between stations in which nine video transmission systems 12 (12a to 12i) are arranged and vehicles operating between these stations. FIG. 11 shows nine station objects 50 (50a to 50i) each associated with a station where nine video transmission systems 12 (12a to 12i) are arranged, and four vehicles associated with running vehicles. Objects 52 (52a-52d) are shown. Further, in FIG. 11, the traveling direction of the vehicle is represented by an arrow. Here, for example, it is assumed that the position of the vehicle at the shooting timing of the
ここで例えば、駅オブジェクト５０ｅと車両オブジェクト５２ｃとの間の長さは、駅オブジェクト５０ｇと車両オブジェクト５２ｄとの間の長さよりも短い。このことは、映像送信システム１２ｅが配置されている駅と当該駅に接近する車両との間の距離が、映像送信システム１２ｇが配置されている駅と当該駅に接近する車両との間の距離よりも短いことを意味する。例えばこのような場合に、映像送信システム１２ｅに含まれるカメラ２０により撮影される映像の監視の優先度が、映像送信システム１２ｇに含まれるカメラ２０により撮影される映像の監視の優先度よりも高いと決定されてもよい。
Here, for example, the length between the
図１０には、以上のようにして決定された映像の監視の優先度に応じた態様の判定識別画像４４が合成画像４０に配置される。なお本実施形態では、映像の監視の優先度に応じた態様が予め定められていることとする。例えば、最も優先度が高い態様が判定識別画像４４ａのような塗りつぶされた模様で、次に優先度が高い態様が判定識別画像４４ｂのようなハッチの模様であることとする。そのため図１０の例では、判定識別画像４４ａは、個別画像領域４２ｅを囲むよう配置され、判定識別画像４４ｂは、個別画像領域４２ｇを囲むよう配置されることとなる。
In FIG. 10, the judgment identification image 44 in a form corresponding to the priority of video monitoring determined as described above is arranged in the
なお、以上の例では、送信データに対応付けられる番線がある駅と車両との間の距離に基づいて、映像の監視の優先度が決定された。ここで例えば、送信データに対応付けられる番線に車両が到着するまでの推定時間に基づいて、映像の監視の優先度が決定されてもよい。例えば当該推定時間が短いものほど優先度が高く決定されてもよい。 In the above example, the priority of video monitoring is determined based on the distance between the vehicle and the station having the track number associated with the transmission data. Here, for example, the priority of video monitoring may be determined based on the estimated time until the vehicle arrives at the track number associated with the transmission data. For example, a shorter estimated time may be determined with a higher priority.
また例えば、送信データに対応付けられる番線を通過する際の車両の速度に基づいて、映像の監視の優先度が決定されてもよい。例えば当該速度が速いものほど優先度が高く決定されてもよい。 Also, for example, the priority of video monitoring may be determined based on the speed of the vehicle when it passes through the numbered track associated with the transmission data. For example, the higher the speed, the higher the priority may be determined.
また例えば、送信データに対応付けられる番線に進入する際の車両の乗客の属性に基づいて、映像の監視の優先度が決定されてもよい。ここで車両の乗客の属性の例としては、車いすを使用している、補助犬を連れている、などの属性が挙げられる。ここで例えば、次に番線に進入する車両に車いすを使用している乗客や補助犬を連れている乗客がいる場合は、そうでない場合よりも優先度が高く決定されてもよい。 Further, for example, the priority of video monitoring may be determined based on attributes of passengers of vehicles entering a track number associated with transmission data. Examples of vehicle passenger attributes include attributes such as using a wheelchair and having an assistance dog. Here, for example, if there is a passenger using a wheelchair or a passenger with an assistance dog in the next vehicle entering the track, the priority may be determined to be higher than otherwise.
また映像の監視の優先度に応じた態様は図１０に示すような模様には限定されない。例えば、映像の監視の優先度に応じた色の判定識別画像４４が合成画像４０に配置されてもよい。また例えば、映像の監視の優先度に応じた大きさの個別画像領域４２が合成画像４０内に配置されてもよい。この場合例えば、優先度が高いほど大きな個別画像領域４２が合成画像４０に配置されてもよい。
Also, the mode corresponding to the priority of video monitoring is not limited to the pattern shown in FIG. For example, the judgment identification image 44 having a color corresponding to the priority of video monitoring may be arranged in the
以上で説明した車両の状況は、例えば、公知の運行管理システムによって管理されていてもよい。そして、中央監視装置１０は、運行管理システムから取得する各種のデータに基づいて、上述した距離、推定時間、速度、乗客の属性、などといった車両の状況を特定してもよい。また本実施形態において、距離、推定時間、速度、乗客の属性のうちの複数の組合せに基づいて、映像の監視の優先度が決定されてもよい。
The vehicle conditions described above may be managed by, for example, a known operation management system. Then, the
また本実施形態において、中央監視装置１０は、映像送信システム１２に、撮影映像の送信要求を送信してもよい。例えば、合成画像４０を監視している監視者（中央監視装置１０のユーザ）による個別画像領域４２を指定する操作に応じて、当該個別画像領域４２に対応付けられる送信データの送信元である映像送信システム１２に、撮影映像の送信要求が送信されてもよい。また例えば、映像の監視の優先度に基づいて決定される映像送信システム１２に撮影映像の送信要求が送信されてもよい。例えば監視の優先度が最も高い映像を撮影するカメラ２０を含む映像送信システム１２に撮影映像の送信要求が送信されてもよい。
Further, in the present embodiment, the
そして撮影映像の送信要求を受信した映像送信システム１２は、当該送信要求に応じて撮影映像を中央監視装置１０に送信してもよい。そして中央監視装置１０は、受信した撮影映像を個別監視モニタ１０ｅに表示させてもよい。このようにすれば監視者が高解像度の撮影映像を中央監視装置１０において詳細に監視できることとなる。
The
ここで例えば、映像送信システム１２は、送信要求の受信に応じて、撮影映像と上述の判定の結果とを示す代替送信データを中央監視装置１０に送信してもよい。そして中央監視装置１０は、代替送信データが示す上述の判定の結果が表された、当該代替送信データが示す撮影映像を個別監視モニタ１０ｅに表示させてもよい。ここで例えば、撮影映像に含まれる撮影画像３２に基づいて生成される領域特定結果画像３６をフレーム画像として含む映像が代替送信データとして映像送信システム１２から中央監視装置１０に送信されるようにしてもよい。そして当該映像が個別監視モニタ１０ｅに表示されるようにしてもよい。
Here, for example, the
撮影映像の解像度が高いほど当該撮影映像の解析精度は高くなる。ここで例えば白杖を持った人物や補助犬などがプラットホーム３０にいるかどうかの判定や白杖を持った人物や補助犬が撮影映像内において表れている領域の特定などといった精細な解析を行う場合は、解像度が高い映像を解析する必要がある。一方で、解像度が高い撮影映像が映像送信システム１２から中央監視装置１０に送信されるとコンピュータネットワーク１４に負荷がかかる。
The higher the resolution of the captured image, the higher the analysis accuracy of the captured image. Here, for example, when performing a detailed analysis such as determining whether a person with a white cane or an assistance dog is on the
本実施形態では、映像の解析は高解像度の撮影映像に対して実行されるので、映像の解析精度は確保される。また送信される映像は低解像度映像なので、コンピュータネットワーク１４の負荷は軽減できる。このようにして本実施形態によれば、駅のプラットホーム３０を撮影した映像の解析精度を確保しつつ送信によりかかるコンピュータネットワーク１４の負荷を低減できることとなる。
In the present embodiment, video analysis is performed on high-resolution captured video, so video analysis accuracy is ensured. Also, since the image to be transmitted is a low-resolution image, the load on the
以上の説明では、撮影画像３２にターゲットオブジェクト３４が表れていると判定された個別画像領域４２について、映像の監視の優先度が決定されるようにした。ここで例えば、撮影画像３２にターゲットオブジェクト３４が表れていると判定されたか否かに関係なく、すべての個別画像領域４２について、映像の監視の優先度が決定されてもよい。
In the above description, the priority of video monitoring is determined for the individual image region 42 in which it is determined that the
図１２は、合成画像４０の別の一例を示す図である。図１３は、９個の映像送信システム１２（１２ａ～１２ｉ）のそれぞれが配置されている駅と、これらの駅の間を運行する車両との関係の別の一例が模式的に示されている。また図１３には、車両の進行方向が矢印で表現されている。図１３には、図１２に例示する合成画像４０に対応付けられる撮影画像３２の撮影タイミングにおける車両の位置が、車両オブジェクト５２の位置として示されていることとする。
FIG. 12 is a diagram showing another example of the
ここで図１３に示すように、駅オブジェクト５０ｇと車両オブジェクト５２ｄとの間の長さは、駅オブジェクト５０ｃと車両オブジェクト５２ｂとの間の長さよりも短い。また駅オブジェクト５０ｆと車両オブジェクト５２ｃとの間の長さは、駅オブジェクト５０ｇと車両オブジェクト５２ｄとの間の長さよりも短い。また駅オブジェクト５０ｂと車両オブジェクト５２ａとの間の長さは、駅オブジェクト５０ｆと車両オブジェクト５２ｃとの間の長さよりも短い。例えばこのような場合に、映像の監視の優先度が高い方から順に、個別画像領域４２ｂ、個別画像領域４２ｆ、個別画像領域４２ｇ、個別画像領域４２ｃと決定されてもよい。
Here, as shown in FIG. 13, the length between the
図１２には、以上のようにして決定された映像の監視の優先度に応じた態様の判定識別画像４４が示されている。なお本実施形態では、映像の監視の優先度に応じた態様が予め定められていることとする。例えば、最も優先度が高い態様が判定識別画像４４ａのような塗りつぶされた模様で、次に優先度が高い態様が判定識別画像４４ｂのようなハッチの模様で、その次に優先度が高い態様が判定識別画像４４ｃのような白抜きの模様であることとする。また優先度が４番目以降である個別画像領域４２には、判定識別画像４４が配置されないこととする。そのため図１２の例では、判定識別画像４４ａは、個別画像領域４２ｂを囲むよう配置され、判定識別画像４４ｂは、個別画像領域４２ｆを囲むよう配置され、判定識別画像４４ｃは、個別画像領域４２ｇを囲むよう配置されることとなる。
FIG. 12 shows the determination identification image 44 in a manner corresponding to the priority of video monitoring determined as described above. In the present embodiment, it is assumed that a mode corresponding to the priority of video monitoring is determined in advance. For example, the aspect with the highest priority is a solid pattern such as the
なお、以上の例では、送信データに対応付けられる番線がある駅と車両との間の距離に基づいて、映像の監視の優先度が決定された。ここで例えば、上述したように、番線に車両が到着するまでの推定時間、番線を通過する際の車両の速度、番線に進入する際の車両の乗客の属性、などに基づいて、映像の監視の優先度が決定されてもよい。また上述したように、映像の監視の優先度に応じた態様は図１２に示すような模様には限定されない。 In the above example, the priority of video monitoring is determined based on the distance between the vehicle and the station having the track number associated with the transmission data. Here, for example, as described above, video monitoring is performed based on the estimated time until the vehicle arrives at the track number, the speed of the vehicle when passing the track number, the attributes of the passengers of the vehicle when entering the track number, etc. may be determined. Also, as described above, the mode corresponding to the priority of video monitoring is not limited to the pattern shown in FIG.
合成映像に表れている個々の映像の監視の優先度は様々であるにも関わらず、優先度が合成映像に表れていないと重点的に監視すべき部分を監視者が容易に認識できない。 In spite of the fact that the individual images appearing in the composite image have different priorities for monitoring, the observer cannot easily recognize the portion to be monitored intensively unless the priority appears in the composite image.
本実施形態によれば、以上のようにすることで、表示されている合成映像から重点的に監視すべき部分を監視者が容易に認識できることとなる。 According to the present embodiment, by doing as described above, the observer can easily recognize the part to be monitored intensively from the displayed synthesized image.
以下、本実施形態に係る駅監視システム１の機能、並びに、本実施形態に係る駅監視システム１で実行される処理についてさらに説明する。
The functions of the
図１４は、駅のプラットホーム３０を監視する本実施形態に係る駅監視システム１に含まれる、中央監視装置１０、及び、映像送信システム１２で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る中央監視装置１０、及び、映像送信システム１２で、図１４に示す機能のすべてが実装される必要はなく、また、図１４に示す機能以外の機能が実装されていても構わない。
FIG. 14 is a functional block diagram showing an example of functions implemented in the
図１４に示すように、本実施形態に係る中央監視装置１０には、機能的には例えば、送信データ受信部６０、映像取得部６２、車両状況データ取得部６４、監視優先度決定部６６、合成映像生成部６８、撮影映像送信要求部７０、撮影映像受信部７２、表示制御部７４、が含まれる。送信データ受信部６０、撮影映像送信要求部７０、撮影映像受信部７２は、通信部１０ｃを主として実装される。映像取得部６２、車両状況データ取得部６４、監視優先度決定部６６、合成映像生成部６８は、プロセッサ１０ａを主として実装される。表示制御部７４は、プロセッサ１０ａ、全体監視モニタ１０ｄ、及び、個別監視モニタ１０ｅを主として実装される。中央監視装置１０は、本実施形態における、駅のプラットホーム３０を監視する駅監視装置としての役割を担うこととなる。
As shown in FIG. 14, the
以上の機能は、コンピュータである中央監視装置１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１０ａで実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して中央監視装置１０に供給されてもよい。
The functions described above may be implemented by causing the
図１４に示すように、本実施形態に係る映像送信システム１２には、機能的には例えば、撮影映像取得部８０、判定部８２、送信データ生成部８４、送信データ送信部８６、送信要求受信部８８、撮影映像送信部９０、が含まれる。また判定部８２には、画像認識部８２ａと、追尾部８２ｂと、が含まれる。撮影映像取得部８０は、カメラ２０、及び、映像解析装置２２のプロセッサ２２ａを主として実装される。判定部８２は、映像解析装置２２のプロセッサ２２ａを主として実装される。送信データ生成部８４は、映像解析装置２２のプロセッサ２２ａ、通信部２２ｃ、及び、ダウンコンバータ２４を主として実装される。送信データ送信部８６、送信要求受信部８８、撮影映像送信部９０は、映像解析装置２２の通信部２２ｃを主として実装される。本実施形態に係る映像解析装置２２は、送信データを中央監視装置１０に送信する送信装置としての役割を担うこととなる。
As shown in FIG. 14 , the
以上の機能は、コンピュータである映像解析装置２２にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ２２ａで実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して映像解析装置２２に供給されてもよい。
The functions described above may be implemented by causing the processor 22a to execute a program containing instructions corresponding to the functions described above, which is installed in the
また、送信データ生成部８４が、ダウンコンバータ２４等のハードウェア及び映像解析装置２２で動作するソフトウェアで実装されてもよい。また、送信データ生成部８４が、ダウンコンバータ２４等のハードウェアのみ、あるいは、映像解析装置２２で動作するソフトウェアのみにより実装されてもよい。
Also, the
送信データ受信部６０は、本実施形態では例えば、それぞれ互いに異なる映像送信システム１２から送信される複数の上述の送信データを受信する。ここで上述のように、送信データには、撮影映像を低解像度化した低解像度映像と当該撮影映像にターゲットオブジェクト３４が表れているか否かの判定の結果とが示されている。
In this embodiment, for example, the transmission
映像取得部６２は、本実施形態では例えば、それぞれ互いに異なる監視対象の様子を表す複数の映像を取得する。ここで映像取得部６２は、送信データ受信部６０が受信する複数の送信データのそれぞれが示す低解像度映像を取得してもよい。
In the present embodiment, for example, the
以上の説明では、１つのプラットホーム３０は１つのカメラ２０によって撮影されていた。ここで例えば１つのプラットホーム３０の互いに異なる部分がそれぞれ別のカメラ２０によって撮影されてもよい。この場合、１つのカメラ２０によって撮影されるプラットホーム３０の一部と、別のカメラ２０によって撮影される当該プラットホーム３０の別の一部とは、互いに異なる監視対象であることとなる。また１つのカメラ２０によって複数のプラットホーム３０が撮影されてもよい。この場合、当該複数のプラットホーム３０が１つの監視対象に相当することとなる。
In the above explanation, one
車両状況データ取得部６４は、本実施形態では例えば、監視対象の様子を表す映像に対応付けられる番線に進入する車両の状況を示す車両状況データを取得する。ここで上述のように、車両状況データ取得部６４は、公知の運行管理システムから車両状況データを取得してもよい。
In this embodiment, for example, the vehicle status
監視優先度決定部６６は、本実施形態では例えば、監視対象の様子を表す映像に対応付けられる番線に進入する車両の状況に基づいて、当該映像の監視の優先度を決定する。ここで例えば、車両状況データ取得部６４が取得する車両状況データに基づいて、映像の監視の優先度が決定されてもよい。
In this embodiment, the monitoring
上述のように、監視優先度決定部６６は、監視対象の様子を表す映像に対応付けられる番線がある駅と車両との間の距離に基づいて、当該番線に対応付けられる映像の監視の優先度を決定してもよい。
As described above, the monitoring
また、監視優先度決定部６６は、監視対象の様子を表す映像に対応付けられる番線に車両が到着するまでの推定時間に基づいて、当該番線に対応付けられる映像の監視の優先度を決定してもよい。
In addition, the monitoring
また、監視優先度決定部６６は、監視対象の様子を表す映像に対応付けられる番線を通過する際の車両の速度に基づいて、当該番線に対応付けられる映像の監視の優先度を決定してもよい。
In addition, the monitoring
また、監視優先度決定部６６は、監視対象の様子を表す映像に対応付けられる番線に進入する車両の乗客の属性に基づいて、当該番線に対応付けられる映像の監視の優先度を決定してもよい。
In addition, the monitoring
また、監視優先度決定部６６は、上述の距離、推定時間、速度、乗客の属性のうちの複数の組合せに基づいて、映像の監視の優先度を決定してもよい。
Moreover, the monitoring
合成映像生成部６８は、本実施形態では例えば、それぞれ互いに異なる監視対象の様子を表す複数の映像を合成した合成映像を生成する。ここで合成映像生成部６８は、映像の監視の優先度が表された合成映像を生成してもよい。
In the present embodiment, for example, the synthetic
また合成映像生成部６８は、複数の送信データのそれぞれが示す低解像度映像を合成した合成映像を生成してもよい。ここで合成映像生成部６８は、映像取得部６２が取得する映像を合成した合成映像を生成してもよい。また合成映像生成部６８は、複数の送信データのうちの少なくとも１つが示す上述の判定の結果が表された合成映像を生成してもよい。また合成映像生成部６８は、複数の送信データのそれぞれが示す上述の判定の結果が当該送信データを送信する映像送信システム１２に対応付けられる番線に進入する車両の状況に応じた態様で表された合成映像を生成してもよい。
Alternatively, the composite
撮影映像送信要求部７０は、本実施形態では例えば、映像送信システム１２に当該映像送信システム１２が設置されているプラットホーム３０を撮影した撮影映像の送信要求を送信する。ここで例えば監視者等のユーザによって指定された映像送信システム１２に撮影映像の送信要求が送信されてもよい。また例えば、映像の監視の優先度に基づいて決定される映像送信システム１２に撮影映像の送信要求が送信されてもよい。ここで例えば監視の優先度が最も高い映像を撮影するカメラ２０を含む映像送信システム１２に撮影映像の送信要求が送信されてもよい。
In this embodiment, for example, the captured video
撮影映像受信部７２は、本実施形態では例えば、撮影映像の送信要求の受信に応じて映像送信システム１２が送信する撮影映像を受信する。
In the present embodiment, for example, the captured
表示制御部７４は、本実施形態では例えば、合成映像生成部６８が生成する合成映像を表示させる。また表示制御部７４は、本実施形態では例えば、撮影映像受信部７２が受信する撮影映像を表示させる。上述の例では表示制御部７４は、合成映像を全体監視モニタ１０ｄに表示させ、撮影映像を個別監視モニタ１０ｅに表示させる。
In this embodiment, the
また表示制御部７４は、複数の撮影映像を切替表示させてもよい。例えば監視の優先度の高い複数の撮影映像が、自動的に所定の時間ずつ繰り返し切替表示されるようにしてもよい。また撮影映像送信要求部７０が、表示の切替タイミングに応じて、撮影映像の送信要求の送信先である映像送信システム１２を変更するようにしてもよい。
The
撮影映像取得部８０は、本実施形態では例えば、監視対象を撮影した撮影映像を取得する。ここで例えば、映像送信システム１２が設置されているプラットホーム３０を撮影した撮影映像が取得されてもよい。
In this embodiment, the captured
判定部８２は、本実施形態では例えば、撮影映像取得部８０が取得する撮影映像に基づいて、当該撮影映像に所与のオブジェクトが表れているか否かを判定する。ここで例えば上述のターゲットオブジェクト３４が当該所与のオブジェクトに相当する。
In this embodiment, for example, the
画像認識部８２ａは、本実施形態では例えば、撮影画像３２に対する画像認識処理を実行することによって当該撮影画像３２内においてターゲットオブジェクト３４が表れている領域を特定する。
In this embodiment, for example, the
追尾部８２ｂは、本実施形態では例えば、撮影画像３２内においてターゲットオブジェクト３４が表れている領域を、当該撮影画像３２よりも前に撮影された撮影画像３２について画像認識部８２ａが特定した領域を追尾することにより特定する。
In the present embodiment, the
送信データ生成部８４は、本実施形態では例えば、撮影映像と上述の判定の結果とに基づいて、当該撮影映像を低解像度化した低解像度映像と当該判定の結果とを示す送信データを生成する。
In the present embodiment, for example, the transmission
送信データ送信部８６は、本実施形態では例えば、送信データ生成部８４が生成する送信データを中央監視装置１０に送信する。
The transmission
送信要求受信部８８は、本実施形態では例えば、中央監視装置１０の撮影映像送信要求部７０が送信する撮影映像の送信要求を受信する。
In this embodiment, for example, the transmission
撮影映像送信部９０は、本実施形態では例えば、送信要求受信部８８による撮影映像の送信要求の受信に応じて、撮影映像を中央監視装置１０に送信する。ここで撮影映像送信部９０は、撮影映像取得部８０が取得する撮影映像を中央監視装置１０に送信してもよい。
In this embodiment, for example, the captured
また撮影映像送信部９０は、送信要求受信部８８による撮影映像の送信要求の受信に応じて、撮影映像と上述の判定の結果とを示す代替送信データを中央監視装置１０に送信してもよい。ここで上述のように、例えば撮影映像に含まれる撮影画像３２に基づいて生成される領域特定結果画像３６をフレーム画像として含む映像が代替送信データとして送信されてもよい。
In addition, the photographed
この場合、中央監視装置１０の表示制御部７４は、代替送信データの受信に応じて、当該代替送信データが示す上述の判定の結果が表された、当該代替送信データが示す撮影映像を表示させてもよい。例えば中央監視装置１０の表示制御部７４は、領域特定結果画像３６をフレーム画像として含む映像を表示させてもよい。
In this case, the
以下、本実施形態に係る映像送信システム１２において所定のフレームレートで繰り返し行われる処理の流れの一例を、図１５に例示するフロー図を参照しながら説明する。
An example of the flow of processing that is repeatedly performed at a predetermined frame rate in the
まず、撮影映像取得部８０が、撮影画像３２を取得する（Ｓ１０１）。ここで取得される撮影画像３２は、撮影映像における当該フレームのフレーム画像である。
First, the captured
そして、撮影映像取得部８０が、画像認識部８２ａによる画像認識が可能であるか否かを判定する（Ｓ１０２）。ここで例えば当該フレームよりも前のフレームで取得された撮影画像３２に対する画像認識を画像認識部８２ａが実行中である場合は、画像認識が可能でないことが判定される。一方、撮影画像３２に対する画像認識を画像認識部８２ａが実行していない場合は、画像認識が可能であることが判定される。
Then, the captured
画像認識部８２ａによる画像認識が可能であると判定された場合は（Ｓ１０２：Ｙ）、画像認識部８２ａは、Ｓ１０１に示す処理で取得された撮影画像３２に対して、画像認識処理の実行を開始する（Ｓ１０３）。当該画像認識処理によって、当該撮影画像３２内においてターゲットオブジェクト３４が表れているターゲット領域が特定されることとなる。ここで上述の領域特定結果画像３６が生成されてもよい。また例えばターゲット領域の位置や形状を示すターゲット領域情報が生成されてもよい。
When it is determined that image recognition by the
画像認識部８２ａによる画像認識が可能でないと判定された場合は（Ｓ１０２：Ｎ）、追尾部８２ｂは、Ｓ１０３に示す処理での画像認識処理の結果である、利用可能なターゲット領域の特定結果があるか否かを確認する（Ｓ１０４）。Ｓ１０３に示す処理が実行された後も同様に、追尾部８２ｂは、Ｓ１０３に示す処理での画像認識処理の結果である、利用可能なターゲット領域の特定結果があるか否かを確認する（Ｓ１０４）。
If it is determined that image recognition by the
ここで特定結果があることが確認された場合は（Ｓ１０４：Ｙ）、追尾部８２ｂは、追尾処理を実行する（Ｓ１０５）。ここでは図８を参照して説明したように、例えばＳ１０３に示す処理での画像認識処理における最新の利用可能な特定結果が特定される。そして当該特定結果が示す撮影画像３２内におけるターゲット領域を追尾することにより、Ｓ１０１に示す処理で取得された撮影画像３２内においてターゲットオブジェクト３４が表れているターゲット領域が特定される。ここで上述の領域特定結果画像３６が生成されてもよい。また例えばターゲット領域の位置や形状を示すターゲット領域情報が生成されてもよい。
If it is confirmed that there is a specific result (S104: Y), the
利用可能なターゲット領域の特定結果がないことが確認された場合は（Ｓ１０４：Ｎ）、追尾部８２ｂが、Ｓ１０１に示す処理で取得された撮影画像３２にターゲットオブジェクト３４が表れているか否かを判定する（Ｓ１０６）。Ｓ１０５に示す処理が終了した場合も同様に、追尾部８２ｂが、Ｓ１０１に示す処理で取得された撮影画像３２にターゲットオブジェクト３４が表れているか否かを判定する（Ｓ１０６）。ここでは例えば、Ｓ１０５に示す処理でターゲット領域が特定された場合は、撮影画像３２にターゲットオブジェクト３４が表れていると判定される。また、Ｓ１０５に示す処理で追尾できず、ターゲット領域が特定されなかった場合は、撮影画像３２にターゲットオブジェクト３４が表れていないと判定される。また、Ｓ１０４に示す処理で利用可能なターゲット領域の特定結果がないことが確認された場合も、撮影画像３２に所与のオブジェクトが表れていないと判定される。
When it is confirmed that there is no usable target area identification result (S104: N), the
そして送信データ生成部８４は、Ｓ１０１に示す処理で取得された撮影画像３２を低解像度化することにより、低解像度画像を生成する（Ｓ１０７）。ここで上述のように、領域特定結果画像３６を低解像度化することにより低解像度画像が生成されてもよい。
Then, the transmission
そして送信データ生成部８４は、Ｓ１０６に示す処理での判定の結果とＳ１０７に示す処理で生成された低解像度画像とに基づいて、送信データを生成する（Ｓ１０８）。ここでは例えばＳ１０７に示す処理で生成された、低解像度化された領域特定結果画像３６を含む送信データが生成されてもよい。また例えば、ヘッダ等に、Ｓ１０６に示す処理での判定の結果を示すフラグを含む送信データが生成されてもよい。また例えば、撮影画像３２を低解像度化した低解像度画像と、当該低解像度画像内におけるターゲット領域の位置や形状を示すターゲット領域情報と、を含む送信データが生成されてもよい。
Then, the transmission
そして送信データ送信部８６は、Ｓ１０８に示す処理で生成された送信データを中央監視装置１０に送信して（Ｓ１０９）、Ｓ１０１に示す処理に戻る。
Then, the transmission
本処理例では、Ｓ１０１～Ｓ１０９に示す処理が所定のフレームレートで繰り返し実行される。なお上述の処理例に示す処理では、送信データの送信が毎フレーム行われるが、例えば、Ｓ１０１～Ｓ１０８に示す処理が複数回繰り返し実行された後に、生成された複数の送信データがまとめて中央監視装置１０に送信されてもよい。
In this processing example, the processing shown in S101 to S109 is repeatedly executed at a predetermined frame rate. In the processing shown in the above processing example, transmission of transmission data is performed for each frame. It may be sent to
以下、本実施形態に係る中央監視装置１０において所定のフレームレートで繰り返し行われる処理の流れの一例を、図１６に例示するフロー図を参照しながら説明する。なお本処理例に示す処理では、送信データ受信部６０は、複数の映像送信システム１２のそれぞれから受信する送信データをバッファすることとする。
An example of the flow of processing that is repeatedly performed at a predetermined frame rate in the
まず、映像取得部６２が、当該フレームにおける複数の送信データを送信データ受信部６０のバッファから取得する（Ｓ２０１）。当該複数の送信データは、複数の映像送信システム１２のそれぞれから送信されたものである。なお本処理例では、送信データにはフレーム番号が含まれており、当該フレームにおける複数の送信データは映像取得部６２が特定できることとする。
First, the
そして、合成映像生成部６８が、Ｓ２０１に示す処理で取得した複数の送信データのそれぞれについて、当該送信データに対応付けられる撮影画像３２にターゲットオブジェクト３４が表れているか否かの判定の結果を特定する（Ｓ２０２）。上述したように例えば、送信データが示す低解像度画像からのターゲット領域画像３８の検出結果、送信データに含まれるフラグが示す判定の結果、送信データに含まれるターゲット領域情報、などに基づいて、判定の結果は特定される。
Then, for each of the plurality of pieces of transmission data acquired in the processing shown in S201, the composite
そして車両状況データ取得部６４が、当該フレームにおける車両の状況を示す車両状況データを取得する（Ｓ２０３）。
Then, the vehicle condition
そして監視優先度決定部６６が、Ｓ２０３に示す処理で取得した車両状況データに基づいて、Ｓ２０１に示す処理で取得された複数の送信データのそれぞれについて、映像の監視の優先度を決定する（Ｓ２０４）。ここでＳ２０２において撮影画像３２にターゲットオブジェクト３４が表れていると判定された送信データについてのみ、映像の監視の優先度が決定されてもよい。
Then, the monitoring
そして合成映像生成部６８が、当該フレームにおける合成画像４０を生成する（Ｓ２０５）。ここでは例えば、Ｓ２０１に示す処理で取得された送信データに含まれる低解像度映像、Ｓ２０２に示す処理で特定された判定の結果、及び、Ｓ２０４に示す処理で決定された優先度に基づいて、合成画像４０が生成される。
Then, the composite
そして表示制御部７４が、Ｓ２０５に示す処理で生成された合成画像４０を表示させて（Ｓ２０６）、Ｓ２０１に示す処理に戻る。
Then, the
本処理例では、Ｓ２０１～Ｓ２０６に示す処理が所定のフレームレートで繰り返し実行される。 In this processing example, the processing shown in S201 to S206 is repeatedly executed at a predetermined frame rate.
なお、本発明は上述の実施形態に限定されるものではない。 It should be noted that the present invention is not limited to the above-described embodiments.
例えば、図１７及び図１８に示すように、改札口などの特定の場所におけるターゲットオブジェクト３４の検出に応じて当該特定の場所の画像が撮影されてもよい。以下、このようにして撮影される、ターゲットオブジェクト３４の検出に応じて撮影される当該ターゲットオブジェクト３４が検出された場所の画像を参照撮影画像９２と呼ぶこととする。ここで参照撮影画像９２は、例えば、駅のプラットホーム３０等の監視対象を撮影するカメラ２０とは異なるカメラ２０により撮影される。
For example, as shown in FIGS. 17 and 18, upon detection of the
図１７には、ターゲットオブジェクト３４を改札口において前方から撮影した参照撮影画像９２ａの一例が示されている。図１８には、ターゲットオブジェクト３４を改札口において後方から撮影した参照撮影画像９２ｂの一例が示されている。このように、ＩＣタグの検出に応じて互いに異なる方向から複数の参照撮影画像９２が撮影されるようにしてもよい。
FIG. 17 shows an example of a reference photographed
ここで例えば白杖に埋め込まれたＩＣタグ、白杖を持った人物が持参しているＩＣカード、補助犬にぶらさげられているＩＣカード、などを検出するセンサが、改札口などの特定の場所に設置されていてもよい。そして当該センサによるＩＣタグやＩＣカードの検出に応じて、１または複数の参照撮影画像９２が撮影されるようにしてもよい。なおターゲットオブジェクト３４がＩＣタグやＩＣカードの検出とは異なる方法で検出されてもよい。
Here, for example, a sensor that detects an IC tag embedded in a white cane, an IC card carried by a person with a white cane, an IC card hung by an assistance dog, etc., is placed in a specific place such as a ticket gate. may be installed in One or a plurality of reference captured images 92 may be captured in response to detection of the IC tag or IC card by the sensor. Note that the
なおターゲットオブジェクト３４の検出が行われる場所は、改札口には限定されない。例えば、ホームドアなどに上述のセンサが設置されていてもよい。そして当該センサによるターゲットオブジェクト３４の検出に応じて、ホームドア及びその周辺の場所の参照撮影画像９２が撮影されるようにしてもよい。
Note that the location where the
そして撮影映像取得部８０が、このようにして撮影される参照撮影画像９２を取得してもよい。ここで撮影映像取得部８０が、互いに異なる方向から撮影される複数の参照撮影画像９２を取得してもよい。
Then, the captured
そして画像認識部８２ａが、上述の参照撮影画像９２に対して公知の画像認識技術による画像認識処理を実行し、当該参照撮影画像９２においてターゲットオブジェクト３４が表れているターゲット領域を特定してもよい。そして画像認識部８２ａが、当該ターゲット領域を示す上述のターゲット領域情報を生成してもよい。
Then, the
図１９は、図１７に示す参照撮影画像９２ａに基づいて生成されるターゲット領域情報の一例である領域特定結果画像９４ａの一例を示す図である。図２０は、図１８に示す参照撮影画像９２ｂに基づいて生成されるターゲット領域情報の一例である領域特定結果画像９４ｂの一例を示す図である。
FIG. 19 is a diagram showing an example of an area identification result
図１９に示す領域特定結果画像９４ａでは、図１７に示す参照撮影画像９２ａにターゲットオブジェクト３４を囲む枠状のターゲット領域画像９６ａが重畳されている。図２０に示す領域特定結果画像９４ｂでは、図１８に示す参照撮影画像９２ｂにターゲットオブジェクト３４を囲む枠状のターゲット領域画像９６ｂが重畳されている。
In an area identification result
そして判定部８２が、参照撮影画像９２と、駅のプラットホーム３０等の監視対象を撮影した撮影映像とに基づいて、当該撮影映像にターゲットオブジェクト３４が表れているか否かを判定してもよい。ここで互いに異なる方向から撮影される複数の参照撮影画像９２と、撮影映像とに基づいて、当該撮影映像にターゲットオブジェクト３４が表れているか否かが判定されてもよい。
Then, the
例えば画像認識部８２ａが、参照撮影画像９２に基づいて特定されるターゲット領域を用いて撮影画像３２に対する画像認識処理を実行することによって、当該撮影画像３２内においてターゲットオブジェクト３４が表れている領域を特定してもよい。
For example, the
あるいは、追尾部８２ｂが、撮影画像３２内においてターゲットオブジェクト３４が表れている領域を、上述の参照撮影画像９２について画像認識部８２ａが特定したターゲット領域を追尾することにより特定してもよい。
Alternatively, the
ターゲットオブジェクト３４の検出に応じて撮影される参照撮影画像９２には、ターゲットオブジェクト３４が鮮明に表れている可能性が高い。そのため以上のようにすることで、駅のプラットホーム３０等の監視対象を撮影した撮影画像３２からより的確にターゲットオブジェクト３４が検出できることとなる。
There is a high possibility that the
またここで互いに異なる方向から複数の参照撮影画像９２が撮影されるようにすることで、より多くの情報を用いて駅のプラットホーム３０等の監視対象を撮影した撮影画像３２に対する画像認識処理や追尾処理が実行できる。そのため、駅のプラットホーム３０等の監視対象を撮影した撮影画像３２からより的確にターゲットオブジェクト３４が検出できることとなる。
In addition, by allowing a plurality of reference captured images 92 to be captured from different directions, image recognition processing and tracking of the captured
また例えば中央監視装置１０と映像送信システム１２との役割分担は上述のものには限定されない。例えば、監視対象の様子を表す映像に対応付けられる番線に進入する車両の状況は、映像送信システム１２において特定されてもよい。そして当該車両の状況を示す車両状況データが映像送信システム１２から中央監視装置１０に送信されてもよい。そして中央監視装置１０が、映像送信システム１２から受信した車両状況データに基づいて、映像の監視の優先度を決定してもよい。
Further, for example, the division of roles between the
また例えば、１つの映像送信システム１２で複数の駅の監視対象を監視してもよい。この場合は、１つの映像送信システム１２は、互いに異なる複数の駅に設置される複数のカメラ２０を含むこととなる。そして１つの映像送信システム１２が、当該複数のカメラ２０のそれぞれが撮影する映像に基づいて、当該映像に対応付けられる送信データを生成してもよい。
Further, for example, one
また中央監視装置１０の機能の一部又は全部が、１つの映像送信システム１２に実装されてもよい。また例えば１つの映像送信システム１２が、複数の駅のプラットホーム３０を監視してもよい。また例えば１つの映像送信システム１２が、当該映像送信システム１２が配置されている駅に設置されている複数のプラットホーム３０を監視してもよい。このように本発明は、中央監視装置１０における複数の駅の監視のみならず、１つの駅における複数のプラットホーム３０の監視にも適用可能である。
Also, part or all of the functions of the
また、上述の具体的な文字列や数値、並びに、図面中の具体的な文字列は例示であり、これらの文字列や数値には限定されない。 Moreover, the specific character strings and numerical values described above and the specific character strings in the drawings are examples, and the character strings and numerical values are not limited.
Claims (9)
前記複数の送信装置のそれぞれは、
当該送信装置が設置されているプラットホームを撮影した撮影映像を取得する撮影映像取得手段と、
前記撮影映像に基づいて、当該撮影映像に所与のオブジェクトが表れているか否かを判定する判定手段と、
前記撮影映像と前記判定の結果とに基づいて、前記撮影映像を低解像度化した低解像度映像と前記判定の結果とを示す送信データを生成する送信データ生成手段と、
前記送信データを前記監視装置に送信する送信手段と、を含み、
前記監視装置は、
それぞれ互いに異なる前記送信装置から送信される複数の前記送信データを受信する受信手段と、
前記複数の前記送信データのうちの少なくとも１つが示す前記判定の結果が表された、前記複数の前記送信データのそれぞれが示す前記低解像度映像を合成した合成映像を生成する合成映像生成手段と、
前記合成映像を表示させる表示制御手段と、を含み、
前記監視装置の前記合成映像生成手段は、前記送信データが示す前記判定の結果が当該送信データを送信する前記送信装置に対応付けられる番線に進入する車両の状況に応じた態様で表された前記合成映像を生成する、
ことを特徴とする駅監視システム。 A station monitoring system for monitoring a station platform, comprising a monitoring device and a plurality of transmitting devices, comprising:
Each of the plurality of transmitters,
a captured image acquiring means for acquiring a captured image of the platform on which the transmission device is installed;
determination means for determining whether or not a given object appears in the captured image based on the captured image;
transmission data generation means for generating transmission data indicating a low-resolution image obtained by reducing the resolution of the captured image and the result of the determination based on the captured image and the result of the determination;
transmitting means for transmitting the transmission data to the monitoring device;
The monitoring device
receiving means for receiving a plurality of the transmission data transmitted from the transmission devices different from each other;
Synthetic image generation means for generating a synthesized image obtained by synthesizing the low-resolution images indicated by each of the plurality of transmission data, in which the result of the determination indicated by at least one of the plurality of transmission data is expressed;
and display control means for displaying the composite image,
The synthetic video generation means of the monitoring device is configured such that the result of the determination indicated by the transmission data is expressed in a mode corresponding to the situation of a vehicle entering a track associated with the transmission device transmitting the transmission data. generate composite video,
A station monitoring system characterized by:
前記送信装置の前記送信手段は、前記送信要求の受信に応じて、前記撮影映像を前記監視装置に送信し、
前記監視装置の前記表示制御手段は、前記撮影映像の受信に応じて当該撮影映像を表示させる、
ことを特徴とする請求項１に記載の駅監視システム。 The monitoring device further includes transmission request means for transmitting a transmission request for the captured image to the transmission device,
the transmission means of the transmission device transmits the captured image to the monitoring device in response to reception of the transmission request;
The display control means of the monitoring device displays the captured image in response to receiving the captured image.
The station monitoring system according to claim 1, characterized by:
前記送信装置の前記送信手段は、前記送信要求の受信に応じて、前記撮影映像と前記判定の結果とを示す代替送信データを前記監視装置に送信し、
前記監視装置の前記表示制御手段は、前記代替送信データの受信に応じて、当該代替送信データが示す前記判定の結果が表された、当該代替送信データが示す前記撮影映像を表示させる、
ことを特徴とする請求項１に記載の駅監視システム。 The monitoring device further includes transmission request means for transmitting a transmission request for the captured image to the transmission device,
the transmission means of the transmission device transmits alternative transmission data indicating the captured image and the result of the determination to the monitoring device in response to reception of the transmission request;
The display control means of the monitoring device, in response to receiving the alternative transmission data, displays the captured image indicated by the alternative transmission data, which indicates the result of the determination indicated by the alternative transmission data.
The station monitoring system according to claim 1, characterized by:
前記撮影映像に含まれるフレーム画像に対する画像認識処理を実行することによって当該フレーム画像内において前記オブジェクトが表れている領域を特定する画像認識手段と、
前記撮影映像に含まれるフレーム画像内において前記オブジェクトが表れている領域を、当該フレーム画像よりも前に撮影されたフレーム画像について前記画像認識手段が特定した前記領域を追尾することにより特定する追尾手段と、を含む、
ことを特徴とする請求項１から３のいずれか一項に記載の駅監視システム。 The determination means of the transmission device,
image recognition means for identifying an area in which the object appears in the frame image by executing image recognition processing on the frame image included in the captured video;
Tracking means for identifying an area in which the object appears in a frame image included in the captured image by tracking the area identified by the image recognition means for a frame image captured before the frame image. and including
The station monitoring system according to any one of claims 1 to 3 , characterized in that:
前記送信装置の前記判定手段は、前記参照撮影画像と前記撮影映像とに基づいて、当該撮影映像に前記オブジェクトが表れているか否かを判定する、
ことを特徴とする請求項１から３のいずれか一項に記載の駅監視システム。 The transmission device further includes reference captured image acquisition means for acquiring a reference captured image, which is an image of a location where the object is detected, captured in response to the detection of the object,
The determination means of the transmission device determines whether or not the object appears in the captured video based on the reference captured image and the captured video.
The station monitoring system according to any one of claims 1 to 3 , characterized in that:
前記送信装置の前記判定手段は、複数の前記参照撮影画像と前記撮影映像とに基づいて、当該撮影映像に前記オブジェクトが表れているか否かを判定する、
ことを特徴とする請求項５に記載の駅監視システム。 The reference captured image acquisition means acquires a plurality of the reference captured images captured from different directions according to the detection of the object,
The determination means of the transmission device determines whether or not the object appears in the captured video based on the plurality of reference captured images and the captured video.
6. The station monitoring system according to claim 5 , characterized in that:
ことを特徴とする請求項５又は６に記載の駅監視システム。 The determining means of the transmission device uses an area in which the object appears in the reference captured image, which is specified by executing image recognition processing on the reference captured image, to determine the frame included in the captured video. image recognition means for identifying an area in which the object appears in the frame image by executing image recognition processing on the image;
7. The station monitoring system according to claim 5 or 6 , characterized in that:
前記参照撮影画像に対する画像認識処理を実行することによって当該参照撮影画像内において前記オブジェクトが表れている領域を特定する画像認識手段と、
前記撮影映像に含まれるフレーム画像内において前記オブジェクトが表れている領域を、前記参照撮影画像について前記画像認識手段が特定した前記領域を追尾することにより特定する追尾手段と、を含む、
ことを特徴とする請求項５又は６に記載の駅監視システム。 The determination means of the transmission device,
image recognition means for identifying an area in which the object appears in the reference captured image by executing image recognition processing on the reference captured image;
tracking means for identifying an area where the object appears in a frame image included in the captured image by tracking the area identified by the image recognition means for the reference captured image;
7. The station monitoring system according to claim 5 or 6 , characterized in that:
複数の送信装置のそれぞれが、当該送信装置が設置されているプラットホームを撮影した撮影映像を取得するステップと、
前記複数の送信装置のそれぞれが、前記撮影映像に基づいて、当該撮影映像に所与のオブジェクトが表れているか否かを判定するステップと、
前記複数の送信装置のそれぞれが、前記撮影映像と前記判定の結果とに基づいて、前記撮影映像を低解像度化した低解像度映像と前記判定の結果とを示す送信データを生成するステップと、
前記複数の送信装置のそれぞれが、前記送信データを監視装置に送信するステップと、
前記監視装置が、それぞれ互いに異なる前記送信装置から送信される複数の前記送信データを受信するステップと、
前記監視装置が、前記複数の前記送信データのうちの少なくとも１つが示す前記判定の結果が表された、前記複数の前記送信データのそれぞれが示す前記低解像度映像を合成した合成映像を生成するステップと、
前記監視装置が、前記合成映像を表示させるステップと、
前記監視装置が前記合成映像を生成するステップでは、前記送信データが示す前記判定の結果が当該送信データを送信する前記送信装置に対応付けられる番線に進入する車両の状況に応じた態様で表された前記合成映像を生成する、
ことを特徴とする駅監視方法。 A station monitoring method for monitoring a station platform,
a step in which each of the plurality of transmission devices obtains a captured image of the platform on which the transmission device is installed;
a step in which each of the plurality of transmission devices determines whether or not a given object appears in the captured image based on the captured image;
a step in which each of the plurality of transmission devices generates transmission data indicating a low-resolution image obtained by reducing the resolution of the captured image and the result of the determination, based on the captured image and the result of the determination;
each of the plurality of transmission devices transmitting the transmission data to a monitoring device;
a step in which the monitoring device receives a plurality of the transmission data transmitted from the transmission devices different from each other;
the monitoring device generating a composite image obtained by synthesizing the low-resolution images indicated by each of the plurality of transmission data, in which the result of the determination indicated by at least one of the plurality of transmission data is expressed; When,
causing the monitoring device to display the composite image;
In the step of the monitoring device generating the composite image, the result of the determination indicated by the transmission data is expressed in a manner according to the situation of the vehicle entering the track number associated with the transmission device transmitting the transmission data. generating said composite video;
A station monitoring method characterized by:
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018153982 | 2018-08-20 | ||
| JP2018153982 | 2018-08-20 | ||
| PCT/JP2019/030535 WO2020039897A1 (en) | 2018-08-20 | 2019-08-02 | Station monitoring system and station monitoring method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2020039897A1 JPWO2020039897A1 (en) | 2021-05-13 |
| JP7107596B2 true JP7107596B2 (en) | 2022-07-27 |
Family
ID=69593049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020538275A Active JP7107596B2 (en) | 2018-08-20 | 2019-08-02 | Station monitoring system and station monitoring method |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP7107596B2 (en) |
| CN (1) | CN112585957A (en) |
| WO (1) | WO2020039897A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005008329A1 (en) * | 2003-07-16 | 2005-01-27 | Matsushita Electric Industrial Co., Ltd. | Light source device, lighting device, and projection type display device |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114228794B (en) * | 2021-12-17 | 2023-09-22 | 神思电子技术股份有限公司 | Automatic monitoring method and equipment for CTC scheduling |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002104189A (en) | 2000-09-28 | 2002-04-10 | Matsushita Electric Ind Co Ltd | Train operation support system, ground apparatus for train operation support, and vehicle apparatus for train operation support |
| JP2005167604A (en) | 2003-12-02 | 2005-06-23 | Chuo Electronics Co Ltd | Image monitoring system |
| JP2014127847A (en) | 2012-12-26 | 2014-07-07 | Panasonic Corp | Image monitoring system |
| JP2017212680A (en) | 2016-05-27 | 2017-11-30 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| JP2018106282A (en) | 2016-12-22 | 2018-07-05 | セコム株式会社 | Object detection device |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005292879A (en) * | 2004-03-31 | 2005-10-20 | Fujitsu Ltd | Photographic information server and photographic information transmission system |
| JP2006093839A (en) * | 2004-09-21 | 2006-04-06 | Mitsubishi Electric Corp | Monitoring terminal unit and monitoring system |
| EP1806786A1 (en) * | 2005-02-09 | 2007-07-11 | Matsushita Electric Industrial Co., Ltd. | Monitoring camera device, monitoring system using the same, and monitoring image transmission method |
| JP4685561B2 (en) * | 2005-09-12 | 2011-05-18 | 株式会社日立国際電気 | Display method of camera system and camera system |
| JP5397014B2 (en) * | 2009-05-21 | 2014-01-22 | ソニー株式会社 | Monitoring system, imaging device, analysis device, and monitoring method |
| JP2015016704A (en) * | 2013-07-08 | 2015-01-29 | 株式会社日立ビルシステム | Video monitoring system for station |
| JP6413530B2 (en) * | 2014-09-12 | 2018-10-31 | 沖電気工業株式会社 | Surveillance system, video analysis apparatus, video analysis method and program |
| CN106878666B (en) * | 2015-12-10 | 2020-04-28 | 杭州海康威视数字技术股份有限公司 | Method, device and system for searching target object based on monitoring camera |
-
2019
- 2019-08-02 JP JP2020538275A patent/JP7107596B2/en active Active
- 2019-08-02 WO PCT/JP2019/030535 patent/WO2020039897A1/en active Application Filing
- 2019-08-02 CN CN201980054342.2A patent/CN112585957A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002104189A (en) | 2000-09-28 | 2002-04-10 | Matsushita Electric Ind Co Ltd | Train operation support system, ground apparatus for train operation support, and vehicle apparatus for train operation support |
| JP2005167604A (en) | 2003-12-02 | 2005-06-23 | Chuo Electronics Co Ltd | Image monitoring system |
| JP2014127847A (en) | 2012-12-26 | 2014-07-07 | Panasonic Corp | Image monitoring system |
| JP2017212680A (en) | 2016-05-27 | 2017-11-30 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| JP2018106282A (en) | 2016-12-22 | 2018-07-05 | セコム株式会社 | Object detection device |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005008329A1 (en) * | 2003-07-16 | 2005-01-27 | Matsushita Electric Industrial Co., Ltd. | Light source device, lighting device, and projection type display device |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020039897A1 (en) | 2020-02-27 |
| CN112585957A (en) | 2021-03-30 |
| JPWO2020039897A1 (en) | 2021-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3434626B1 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
| US9477891B2 (en) | Surveillance system and method based on accumulated feature of object | |
| EP2450832A1 (en) | Image processing apparatus and image processing method | |
| WO2010101227A1 (en) | Device for creating information for positional estimation of matter, method for creating information for positional estimation of matter, and program | |
| CA3160731A1 (en) | Interactive behavior recognizing method, device, computer equipment and storage medium | |
| JP2012185540A (en) | Image processing device, image processing method, and image processing program | |
| EP3434621B1 (en) | Instruction projecting device, parcel sorting system and instruction projecting method | |
| JP7107596B2 (en) | Station monitoring system and station monitoring method | |
| JP2010128727A (en) | Image processor | |
| EP3434622A1 (en) | Instruction projecting device, package sorting system and instruction projecting method | |
| JP7459916B2 (en) | Object tracking method, object tracking device, and program | |
| EP3434623B1 (en) | Projection indicator, cargo assortment system, and projection indicating method | |
| US20180278914A1 (en) | Image generation system and image generation method | |
| JP7107597B2 (en) | STATION MONITORING DEVICE, STATION MONITORING METHOD AND PROGRAM | |
| US11537814B2 (en) | Data providing system and data collection system | |
| JP2021051470A (en) | Target tracking program, device and method capable of switching target tracking means | |
| CN109903308B (en) | Method and device for acquiring information | |
| JP7384158B2 (en) | Image processing device, moving device, method, and program | |
| JP2023100805A (en) | Imaging apparatus, imaging method, and imaging program | |
| CN114596239A (en) | Loading and unloading event detection method and device, computer equipment and storage medium | |
| CN112581630A (en) | User interaction method and system | |
| CN112313944A (en) | Image processing method, device, equipment and storage medium | |
| EP3434625B1 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
| JP5849762B2 (en) | Prediction information presentation system, prediction information presentation device, prediction information presentation method, and prediction information presentation program | |
| JP4552018B2 (en) | Moving image processing apparatus and moving image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201022 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220203 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220621 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220707 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7107596 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |