JP7117645B2 - MONITORING DEVICE, MONITORING SYSTEM, MONITORING METHOD, AND COMPUTER PROGRAM - Google Patents
MONITORING DEVICE, MONITORING SYSTEM, MONITORING METHOD, AND COMPUTER PROGRAM Download PDFInfo
- Publication number
- JP7117645B2 JP7117645B2 JP2020175472A JP2020175472A JP7117645B2 JP 7117645 B2 JP7117645 B2 JP 7117645B2 JP 2020175472 A JP2020175472 A JP 2020175472A JP 2020175472 A JP2020175472 A JP 2020175472A JP 7117645 B2 JP7117645 B2 JP 7117645B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- monitoring
- positioning
- information
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Train Traffic Observation, Control, And Security (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
本開示は、監視装置、監視システム、監視方法、及び、コンピュータプログラムに関する。 The present disclosure relates to a monitoring device, a monitoring system, a monitoring method, and a computer program.
従来、鉄道の保守用車両等にカメラを装着し、保守用車両等を走行させながらカメラでレールを撮影し、その撮影した画像をレールの保守に用いることが行われている。 2. Description of the Related Art Conventionally, a camera is attached to a railroad maintenance vehicle or the like, a rail is photographed by the camera while the maintenance vehicle or the like is running, and the photographed image is used for rail maintenance.
特許文献1には、保守用車両等に装着した赤外線カメラでレールを撮影して赤外線画像を生成し、その赤外線画像を撮影した位置を保守用車両等の走行距離から特定し、その特定した位置と赤外線画像とを対応付けたデータを生成することが開示されている。
In
しかしながら、特許文献1のように走行距離から位置を特定するためには、保守用車両等の発車位置及び走行ルートを示す情報を予め登録しておく必要がある。また、走行距離は、保守用車両等が備える走行距離計において車輪の回転数を用いて算出されるため、車輪の摩耗及び/又はスリップ等により大きな誤差を含み得る。
However, in order to specify the position from the travel distance as in
本開示は、鉄道等を含む交通インフラの保守又は監視のために撮影した画像の撮影位置を精度良く特定できる技術を提供することを目的とする。 An object of the present disclosure is to provide a technology capable of accurately specifying the photographing position of an image photographed for maintenance or monitoring of transportation infrastructure including railways.
本開示の一態様に係る監視装置は、車両の移動経路上の保守対象物を監視する監視装置であって、前記保守対象物を撮影した第1画像と、前記第1画像の撮影時刻にて距離又は場所を示す物体を撮影した第2画像とを対応付ける制御部、を備え、前記制御部は、前記第1画像と、前記第1画像に対応付けられている前記第2画像を表示させる。 A monitoring device according to an aspect of the present disclosure is a monitoring device that monitors a maintenance target on a vehicle movement route, and includes a first image obtained by capturing the maintenance target, and at the capturing time of the first image. a control unit that associates a second image obtained by photographing an object indicating a distance or a location, wherein the control unit displays the first image and the second image associated with the first image.
本開示の一態様に係る監視装置は、車両の移動経路上の保守対象物を監視する監視装置であって、前記保守対象物を撮影した第1画像と、前記第1画像の撮影時刻にて距離又は場所を示す物体を撮影した第2画像とを対応付ける制御部、を備え、前記制御部は、前記第1画像の撮影位置を、前記第1画像に対応付けられている前記第2画像に基づいて特定する。 A monitoring device according to an aspect of the present disclosure is a monitoring device that monitors a maintenance target on a vehicle movement route, and includes a first image obtained by capturing the maintenance target, and at the capturing time of the first image. a control unit that associates a second image obtained by photographing an object indicating a distance or a location, wherein the control unit associates the photographing position of the first image with the second image associated with the first image. Identify based on
本開示の一態様に係る監視装置は、車両の移動経路上の保守対象物を監視する監視装置であって、前記保守対象物を撮影した第1画像と、前記第1画像の撮影時刻にて前記第1画像の撮影位置の周辺を撮影した風景画像とを対応付ける制御部、を備え、前記制御部は、前記第1画像と、前記第1画像に対応付けられている前記風景画像を表示させる。 A monitoring device according to an aspect of the present disclosure is a monitoring device that monitors a maintenance target on a vehicle movement route, and includes a first image obtained by capturing the maintenance target, and at the capturing time of the first image. a controller that associates the landscape image captured around the shooting position of the first image with the controller, wherein the controller displays the first image and the landscape image associated with the first image. .
本開示の一態様に係る監視システムは、車両の移動経路上の保守対象物を監視する監視システムであって、前記保守対象物を撮影して第1画像を生成する第1のカメラと、前記第1画像の撮影時刻にて距離又は場所を示す物体を撮影して第2画像を生成する第2のカメラと、前記保守対象物を撮影した前記第1画像と、前記第1画像の撮影時刻にて距離又は場所を示す物体を撮影した第2画像とを対応付け、前記第1画像と、前記第1画像に対応付けられている前記第2画像を表示させる監視装置と、を備える。 A monitoring system according to one aspect of the present disclosure is a monitoring system for monitoring a maintenance target on a vehicle movement route, comprising: a first camera that captures the maintenance target to generate a first image; a second camera that captures an object indicating the distance or location at the capturing time of the first image to generate a second image; the first image capturing the maintenance object; and the capturing time of the first image. and a monitoring device that associates a second image obtained by photographing an object indicating a distance or a location with and displays the first image and the second image associated with the first image.
本開示の一態様に係る監視システムは、車両の移動経路上の保守対象物を監視する監視システムであって、前記保守対象物を撮影して第1画像を生成する第1のカメラと、前記第1画像の撮影時刻にて距離又は場所を示す物体を撮影して第2画像を生成する第2のカメラと、前記保守対象物を撮影した前記第1画像と、前記第1画像の撮影時刻にて距離又は場所を示す物体を撮影した第2画像とを対応付け、前記第1画像の撮影位置を、前記第1画像に対応付けられている前記第2画像に基づいて特定する監視装置と、を備える。 A monitoring system according to one aspect of the present disclosure is a monitoring system for monitoring a maintenance target on a vehicle movement route, comprising: a first camera that captures the maintenance target to generate a first image; a second camera that captures an object indicating the distance or location at the capturing time of the first image to generate a second image; the first image capturing the maintenance object; and the capturing time of the first image. and a monitoring device that associates a second image obtained by photographing an object indicating a distance or location with a monitoring device that specifies the photographing position of the first image based on the second image associated with the first image; , provided.
本開示の一態様に係る監視システムは、車両の移動経路上の保守対象物を監視する監視システムであって、前記保守対象物を撮影して第1画像を生成する第1のカメラと、前記第1画像の撮影時刻にて前記第1画像の撮影位置の周辺を撮影して風景画像を生成する第2のカメラと、前記保守対象物を撮影した前記第1画像と、前記第1画像の撮影時刻にて前記第1画像の撮影位置の周辺を撮影した風景画像とを対応付け、前記第1画像と、前記第1画像に対応付けられている前記風景画像を表示させる監視装置と、を備える。 A monitoring system according to one aspect of the present disclosure is a monitoring system for monitoring a maintenance target on a vehicle movement route, comprising: a first camera that captures the maintenance target to generate a first image; a second camera that captures the surroundings of the capturing position of the first image at the capturing time of the first image to generate a landscape image; the first image that captures the maintenance object; a monitoring device that associates a scenery image captured around the shooting position of the first image at a shooting time, and displays the first image and the scenery image associated with the first image; Prepare.
本開示の一態様に係る監視方法は、車両の移動経路上の保守対象物を監視する監視方法であって、前記保守対象物を撮影した第1画像と、前記第1画像の撮影時刻にて距離又は場所を示す物体を撮影した第2画像とを対応付け、前記第1画像と、前記第1画像に対応付けられている前記第2画像を表示させる。 A monitoring method according to an aspect of the present disclosure is a monitoring method for monitoring a maintenance target on a moving route of a vehicle. A second image obtained by photographing an object indicating a distance or a place is associated with the first image and the second image associated with the first image are displayed.
本開示の一態様に係る監視方法は、車両の移動経路上の保守対象物を監視する監視方法であって、前記保守対象物を撮影した第1画像と、前記第1画像の撮影時刻にて距離又は場所を示す物体を撮影した第2画像とを対応付け、前記第1画像の撮影位置を、前記第1画像に対応付けられている前記第2画像に基づいて特定する。 A monitoring method according to an aspect of the present disclosure is a monitoring method for monitoring a maintenance target on a moving route of a vehicle. A second image obtained by photographing an object indicating the distance or location is associated, and the photographing position of the first image is specified based on the second image associated with the first image.
本開示の一態様に係る監視方法は、車両の移動経路上の保守対象物を監視する監視方法であって、前記保守対象物を撮影した第1画像と、前記第1画像の撮影時刻にて前記第1画像の撮影位置の周辺を撮影した風景画像とを対応付け、前記第1画像と、前記第1画像に対応付けられている前記風景画像を表示させる。 A monitoring method according to an aspect of the present disclosure is a monitoring method for monitoring a maintenance target on a moving route of a vehicle. A scenery image photographed around the shooting position of the first image is associated with the first image, and the scenery image associated with the first image is displayed.
本開示の一態様に係るコンピュータプログラムは、車両の移動経路上の保守対象物を監視するためのコンピュータプログラムであって、前記保守対象物を撮影した第1画像と、前記第1画像の撮影時刻にて距離又は場所を示す物体を撮影した第2画像とを対応付け、前記第1画像と、前記第1画像に対応付けられている前記第2画像を表示させる、ことをコンピュータに実行させる。 A computer program according to an aspect of the present disclosure is a computer program for monitoring a maintenance target on a vehicle travel route, and includes a first image obtained by capturing the maintenance target and a capturing time of the first image. and a second image obtained by photographing an object indicating the distance or location, and causing the computer to display the first image and the second image associated with the first image.
本開示の一態様に係るコンピュータプログラムは、車両の移動経路上の保守対象物を監視するためのコンピュータプログラムであって、前記保守対象物を撮影した第1画像と、前記第1画像の撮影時刻にて距離又は場所を示す物体を撮影した第2画像とを対応付け、前記第1画像の撮影位置を、前記第1画像に対応付けられている前記第2画像に基づいて特定する、ことをコンピュータに実行させる。 A computer program according to an aspect of the present disclosure is a computer program for monitoring a maintenance target on a vehicle travel route, and includes a first image obtained by capturing the maintenance target and a capturing time of the first image. is associated with a second image obtained by photographing an object indicating the distance or location, and the photographing position of the first image is specified based on the second image associated with the first image. let the computer do it.
本開示の一態様に係るコンピュータプログラムは、車両の移動経路上の保守対象物を監視するためのコンピュータプログラムであって、前記保守対象物を撮影した第1画像と、前記第1画像の撮影時刻にて前記第1画像の撮影位置の周辺を撮影した風景画像とを対応付け、前記第1画像と、前記第1画像に対応付けられている前記風景画像を表示させる、ことをコンピュータに実行させる。 A computer program according to an aspect of the present disclosure is a computer program for monitoring a maintenance target on a vehicle travel route, and includes a first image obtained by capturing the maintenance target and a capturing time of the first image. causing a computer to perform the following: .
なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。 In addition, these generic or specific aspects may be realized by a system, device, method, integrated circuit, computer program or recording medium, and any of the system, device, method, integrated circuit, computer program and recording medium may be implemented. may be implemented in any combination.
本開示によれば、鉄道等を含む交通インフラの保守又は監視のために撮影した画像の撮影位置を精度良く特定できる。 Advantageous Effects of Invention According to the present disclosure, it is possible to accurately identify the photographing position of an image photographed for maintenance or monitoring of transportation infrastructure including railways.
以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。 Hereinafter, embodiments of the present disclosure will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of well-known matters and redundant descriptions of substantially the same configurations may be omitted. This is to avoid unnecessary verbosity in the following description and to facilitate understanding by those skilled in the art. It should be noted that the accompanying drawings and the following description are provided to allow those skilled in the art to fully understand the present disclosure, and are not intended to limit the subject matter of the claims.
(本実施の形態)
<監視システムの構成>
図1は、本実施の形態に係る監視システムの構成例を示すブロック図である。
(this embodiment)
<Structure of monitoring system>
FIG. 1 is a block diagram showing a configuration example of a monitoring system according to this embodiment.
監視システム2は、鉄道の保守対象物を監視するためのシステムである。鉄道の保守対象物の例として、レール、レール締結装置、枕木、道床、路盤、架線、架線電柱、碍子、バランサ、信号機、トンネル内壁、橋梁、のり面等が挙げられる。なお、本開示に係る「鉄道」には、一般的な電車又は汽車が走行する軌道に限られず、路面電車が走行する軌道、モノレールが走行する軌道、新幹線が走行する軌道等も含まれる。
The
監視システム2は、鉄道の保守用車両等(以下「車両」という)1に載せられる。車両1は、動力付き車両であってもよいし、動力付き車両に牽引される車両(台車)であってもよい。なお、監視システム2の一部は、車両1とは異なる場所に設置されてもよい。
The
監視システム2は、カメラ10A、10B、10C、映像レコーダ20、全球測位衛星(以下GNSS(Global Navigation Satellite System)と記載)受信装置30、及び、RTK(Real Time Kinematic)受信装置40、及び、監視装置100を備える。
The
カメラ10A、10B、10Cは、PoE(Power over Ethernet)に対応しており、イーサネットケーブルによって、映像レコーダ20に接続されてよい。ただし、カメラ10A、10B、10Cは、イーサネットケーブルとは異なる有線ケーブル(例えばUSB(Universal Serial Bus)ケーブル)又は無線方式(例えばIEEE802.11又はBluetooth)によって、映像レコーダ20に接続されてもよい。また、カメラ10A、10B、10Cと映像レコーダ20との接続方式は、PoEに限られない。例えば、カメラ10A、10B、10Cは、他の接続方式によって補助電力が供給されてもよい。
The
映像レコーダ20は、例えばイーサネットケーブルによって、監視装置100に接続される。ただし、映像レコーダ20は、イーサネットケーブルとは異なる有線ケーブル(例えばUSBケーブル)又は無線方式(例えばIEEE802.11又はBluetooth)によって、監視装置100に接続されてもよい。
The
GNSS受信装置30は、例えばUSBケーブルによって、監視装置100に接続される。ただし、GNSS受信装置30は、USBケーブルとは異なる有線ケーブル又は無線方式によって、監視装置100に接続されてもよい。
The GNSS
RTK受信装置40は、例えばUSBケーブルによって、監視装置100に接続される。ただし、RTK受信装置40は、USBケーブルとは異なる有線ケーブル又は無線方式によって、監視装置100に接続されてもよい。
The
カメラ10Aは、保守対象物を撮影できるように車両1に設置される。カメラ10Aの設置数は1つに限られず、2つ以上であってもよい。走行中の車両1からカメラ10Aが撮影して生成した動画データを、監視動画と称する。監視動画のフォーマットの例として、MPEG2、MPEG4、H.264、H.265、JPEG、非圧縮データが挙げられる。
The
カメラ10Bは、軌道周辺に存在する距離標を撮影できるように車両1に設置される。カメラ10Bの設置数は1つに限られず、2つ以上であってもよい。走行中の車両1からカメラ10Bが撮影して生成した動画データを、距離標動画と称する。距離標動画のフォーマットは、監視動画と同じであってよい。距離標とは、鉄道において、ある起点からの距離を表す標識である。距離標には、その距離を示す文字が記されていることが多いが、文字が示されていなくてもよい。なお、距離標の「文字」には、数字及び記号等が含まれてよい。また、距離標は、ある起点からの距離を表す標識に限られず、距離、距離の間隔、又は特定の場所を示す物であってもよい。
The
カメラ10Cは、車両1から見える風景を撮影できるように車両1に設置される。カメラ10Cの設置数は1つに限られず、2つ以上であってもよい。走行中の車両1からカメラ10Cが撮影して生成した動画データを、風景動画と称する。風景動画のフォーマットは、監視動画と同じであってよい。カメラ10Cは、車両1の後方、前方、又は、側方の風景が撮影されるように設置されてよい。カメラ10Cは、車両1の内側に設置されてもよいし、車両1の外側(例えば車両1の屋根の上)に設置されてもよい。
The
カメラ10A、カメラ10B、カメラ10Cは、互いに異なる方向を撮影できるように車両1に設置されてよい。これにより、上述したように、保守対象物、距離標、風景といった互いに異なるものを撮影できる。あるいは、1つのカメラで距離標及び風景の両方を撮影できる場合、カメラ10Cを設置せずに、カメラ10Bで距離標及び風景の両方を含む動画を撮影してもよい。
The
映像レコーダ20は、カメラ10A、10B、10Cから監視動画、距離標動画、及び、風景動画をそれぞれ受信して記録する装置である。
The
GNSS受信装置30は、GNSS衛星3から発射される測位用の信号であるGNSS信号を定期的に受信し、受信したGNSS信号からGNSS情報201(図2参照)を生成する。GNSS情報201には、GNSS信号の受信時刻と、当該受信時刻におけるGNSS受信装置30の緯度及び経度と、当該緯度及び経度の測位精度とが対応付けて含まれる。GNSS受信装置30は、生成したGNSS情報201を監視装置100へ送信する。以下、測位された緯度及び経度を測位座標と称する。
The
RTK受信装置40は、無線基地局4から送信される測位用の信号であるRTK信号を定期的に受信し、受信したRTK信号から補正情報202(図2参照)を生成する。補正情報202には、GNSS信号が示す測位座標を補正するための情報が含まれる。RTK信号を用いて補正した測位座標は、補正前の測位座標よりも正確な位置を示す。RTK受信装置40は、生成した補正情報202を監視装置100へ送信する。
The
監視装置100は、GNSS受信装置30及びRTK受信装置40からGNSS情報201及び補正情報202をそれぞれ受信する。監視装置100は、受信したGNSS情報201及び補正情報202に基づいて、そのGNSS情報201及び補正情報202に含まれる受信時刻における、カメラ10Aの測位座標を示す情報(以下「測位情報」という)206を生成する。例えば、GNSS受信装置30及びカメラ10Aを高さ方向にて一直線に並ぶように設置することにより、GNSS情報201からカメラ10Aの測位座標を得ることができる。あるいは、GNSS受信装置30とカメラ10Aとの間の位置ずれを予め登録しておき、GNSS情報201が示す測位座標を、その登録された位置ずれで補正することにより、カメラ10Aの測位座標を得ることができる。
The
監視装置100は、GNSS情報201に含まれる時刻情報、及び、時刻サーバ5(例えばNTP(Network Time Protocol)サーバ)から受信した時刻情報のうちの少なくとも1つに基づいて、当該監視装置100の内部時計を設定する。これにより、監視装置100の内部時計は、正確な時刻に同期される。加えて、監視装置100は、映像レコーダ20、及び、カメラ10A、10B、10Cの内部時計を、当該監視装置100の内部時計と同期させる。これにより、カメラ10A、10B、10C、映像レコーダ20、及び、監視装置100の内部時計が、正確な時刻に同期される。
Based on at least one of the time information included in the
監視装置100は、映像レコーダ20から、監視動画を構成する各画像フレーム(以下「監視画像」という)203(図2参照)と、距離標動画を構成する各画像フレーム(以下「距離標画像」という)204(図2参照)と、風景動画を構成する各画像フレーム(以下「風景画像」という)205(図2参照)とを取得して格納する。
The
監視装置100は、監視画像203の撮影時刻と同時刻に測位された測位情報206を用いて、当該監視画像203の撮影位置を特定する。これにより、監視画像203の撮影位置を精度良く特定できる。しかし、車両1が山間部、都市部、又はトンネル内等を走行中は、GNSS信号を受信できなかったり、GNSS信号の測位精度が不十分であったりして、測位情報206を用いることができない場合がある。このような場合、監視装置100は、監視画像203の撮影時刻と同時刻に撮影された距離標画像204及び風景画像205のうちの少なくとも1つを用いて、当該監視画像203の撮影位置を特定する。これにより、測位情報206を用いることができない場合であっても、監視画像203の撮影位置を精度良く特定できる。なお、本開示の説明において、「撮影時刻と同時刻」という表現は、厳密に同じ時刻を表すものではなく、撮影時刻を含む所定の期間内に含まれる時刻を表す。次に、上述の内容について詳細に説明する。
The
<監視装置の構成>
図2は、本実施の形態に係る監視装置100の構成例を示す機能ブロック図である。
<Structure of monitoring device>
FIG. 2 is a functional block diagram showing a configuration example of the
監視装置100は、情報格納部101、GNSS情報受信部102、補正情報受信部103、時計同期部104、画像取得部105、測位情報生成部106、監視情報生成部107、撮影位置特定部108、及び、UI処理部109を有する。
The
情報格納部101は、図8に示すメモリ1002、ストレージ1003又はこれらの組み合わせによって実現されてよい。情報格納部101は、GNSS情報201、補正情報202、監視画像203、距離標画像204、風景画像205、測位情報206、及び、監視情報207を格納する。
The
GNSS情報受信部102、補正情報受信部103、時計同期部104、画像取得部105、測位情報生成部106、監視情報生成部107、撮影位置特定部108、及び、UI処理部109は、図8に示すプロセッサ1001がメモリ1002等と協働することによって実現されてよい。したがって、これらの機能ブロック102~109を主体として説明する処理は、プロセッサ1001を主体とする処理に読み替えることができる。
The GNSS
GNSS情報受信部102は、GNSS受信装置30から定期的にGNSS情報201を受信し、情報格納部101に格納する。
The
補正情報受信部103は、RTK受信装置40から定期的に補正情報202を受信し、情報格納部101に格納する。
The correction
時計同期部104は、GNSS情報201及び補正情報202に含まれる時刻情報、及び、時刻サーバ5から受信した時刻情報のうちの少なくとも1つに基づいて、監視装置100の内部時計を設定する。例えば、時計同期部104は、GNSS情報201及び補正情報202のうちの少なくとも1つから時刻情報が得られた場合、その時刻情報を用いて監視装置100の内部時計を設定する。時計同期部104は、GNSS情報201及び補正情報202の何れからも時刻情報が得られなかった場合、時刻サーバ5から時刻情報を取得し、その時刻情報を用いて監視装置100の内部時計を設定する。
The
加えて、時計同期部104は、映像レコーダ20及びカメラ10A、10B、10Cの内部時計を、監視装置100の内部時計と同期させる。これにより、カメラ10A、10B、10C、映像レコーダ20、及び、監視装置100の内部時計が正確な時刻に同期される。よって、監視画像203、距離標画像204、及び、風景画像205の撮影時刻は、いずれも正確な時刻を表す。
Additionally, the
画像取得部105は、映像レコーダ20から、監視画像203、距離標画像204、及び、風景画像205を取得し、情報格納部101に格納する。
The
測位情報生成部106は、GNSS情報201及び補正情報202に基づいて、そのGNSS情報201及び補正情報202に含まれる受信時刻における、カメラ10Aの測位座標(緯度及び経度)を示す測位情報206を生成し、情報格納部101に格納する。
Based on the
監視情報生成部107は、監視画像203と、当該監視画像203の撮影時刻と同時刻に撮影された距離標画像204及び風景画像205と、当該撮影時刻と同時刻に測位された測位情報206とを対応付けて監視情報207を生成する。なお、監視情報207の詳細については後述する(図3参照)。
The monitoring
撮影位置特定部108は、監視情報207において監視画像203と対応付けられている測位情報206、距離標画像204及び風景画像205のうちの少なくとも1つを用いて、当該監視画像203の撮影位置を特定する。監視画像203の撮影位置は、鉄道路線における、所定の起点からの距離を示す営業キロとして表現されてよい。
The shooting
撮影位置特定部108は、監視情報207において監視画像203と対応付けられている測位情報206の測位精度が十分である(例えば測位精度が所定の閾値以上である)場合、その測位情報206の測位座標に対応する営業キロを、当該監視画像203の撮影位置としてよい。例えば、撮影位置特定部108は、軌道上の測位座標を営業キロに変換する所定のデータベースを用いて、測位情報206の測位座標を営業キロに変換する。
If the positioning accuracy of the
撮影位置特定部108は、監視情報207において監視画像203に測位情報206が対応付けられていない場合、あるいは、監視画像203と対応付けられている測位情報206の測位精度が不十分である(例えば測位精度が所定の閾値未満である)場合、次の処理を行ってよい。すなわち、撮影位置特定部108は、監視情報207において監視画像203と対応付けられている距離標画像204及び風景画像205のうちの少なくとも1つを用いて、当該監視画像203の撮影位置の営業キロを特定してよい。なお、この特定方法の詳細については後述する。
The imaging
UI処理部109は、監視情報207に基づいて保守用UI400(図7参照)を表示し、保守用UI400に対する操作を受け付ける。例えば、UI処理部109は、図8に示す出力装置1005の一例であるディスプレイに保守用UI400を表示する。そして、UI処理部109は、図8に示す入力装置1004の一例であるキーボード及びマウスを通じて保守用UI400に対する操作を受け付ける。なお、保守用UI400の詳細については後述する(図7参照)。
The
<監視情報の構成>
図3は、本実施の形態に係る監視情報207の構成例を示す図である。
<Structure of monitoring information>
FIG. 3 is a diagram showing a configuration example of the
監視情報207は、項目として、監視画像、距離標画像、風景画像、撮影時刻、測位情報、路線名称、営業キロ、保守要否フラグ、保守要因、撮影手段、撮影者、及び、メモを有する。すなわち、監視情報207は、これらの項目の対応関係を示す情報であるともいえる。
The
監視画像の項目には、監視画像203のID(Identification)が登録される。監視画像203のIDの例として、監視画像203のファイル名が挙げられる。
The ID (Identification) of the
距離標画像の項目には、距離標画像204のIDが登録される。距離標画像204のIDの例として、距離標画像204のファイル名が挙げられる。
The ID of the
風景画像の項目には、風景画像205のIDが登録される。風景画像205のIDの例として、風景画像205のファイル名が挙げられる。
The ID of the
撮影時刻の項目には、監視画像203の撮影時刻が登録される。なお、撮影時刻の項目には、時刻だけでなく、日付も含まれてよい。また、撮影時刻は、撮影のfpsに応じて、ミリ秒又はマイクロ秒まで表示することで各画像の撮影のタイミングを詳細に確認することができる。これによって、fpsの値が大きくなったとしても、異なるタイミングで撮影された画像に対して、同時刻で撮影されたと認識することを防ぐことができる。例えば、1ミリ秒ごとで撮影される画像に対して、撮影時刻が秒単位までしか表示されないと各画像の撮影順を把握することができないが、ミリ秒単位まで表示することで各画像の撮影順を把握することができる。
The shooting time of the
測位情報の項目には、監視画像203の撮影時刻と同時刻に測位された測位座標と、その測位座標の測位精度とが登録される。測位精度は、精度の高さを示す数値で表現されてもよい。あるいは、測位精度は、精度が十分であることを示す「良好」、精度が不十分であることを示す「不良」、測位ができなかったことを示す「不可」の3段階で表現されてもよい。
In the item of positioning information, the positioning coordinates measured at the same time as the imaging time of the
路線名称の項目には、監視画像203が撮影された路線の名称が登録される。
The name of the route on which the
営業キロの項目には、監視画像203の撮影位置の営業キロが登録される。
The business km of the shooting position of the
保守要否フラグの項目には、監視画像203に示される保守対象物について、保守作業が必要か否かを示すフラグが登録される。保守作業者は、後述する保守用UI400に表示された監視画像203を見て、監視画像203内の保守対象物について保守作業が必要か否かを判断してよい。あるいは、監視装置100は、監視画像203を画像解析して監視画像203内の保守対象物について保守作業が必要か否かを自動的に判断してもよい。保守要否フラグの項目には、その判断の結果を示すフラグが登録されてよい。例えば、保守要否フラグには、保守作業が必要であることを示す「必要」、又は、保守作業が不要であることを示す「不要」が登録されてよい。
A flag indicating whether maintenance work is required for the maintenance object shown in the
保守要因の項目には、保守要否フラグが「必要」である場合に、保守作業が必要である要因が登録される。例えば、保守対象物の設備が異常である場合、保守要因の項目には「設備異常」が登録されてよい。例えば、保守対象物が欠損している場合、保守要因の項目には「欠損」が登録されてよい。 In the item of maintenance factor, when the maintenance necessity flag is "required", the factor that maintenance work is required is registered. For example, when the equipment of the maintenance object is abnormal, "equipment abnormality" may be registered in the maintenance factor item. For example, if the maintenance target is missing, "missing" may be registered in the maintenance factor item.
撮影手段の項目には、監視画像203の撮影手段が登録される。例えば、監視画像203が、保守用車両等に載せられたカメラ10Aで撮影されたものである場合、撮影手段の項目には「保守用車両等」が登録されてよい。例えば、監視画像203が、保守作業者が所持するカメラ付き端末によって撮影されたものである場合、撮影手段の項目には「手元端末」が登録されてよい。
The shooting means of the
撮影者の項目には、監視画像203の撮影者が登録される。例えば、監視画像203が、「パナ花子」という氏名の保守作業者によって撮影されたものである場合、撮影者の項目には「パナ花子」が登録される。例えば、監視画像203が、「松下太郎」という氏名の保守作業者によって撮影されたものである場合、撮影者の項目には「松下太郎」が登録される。
The photographer of the
メモの項目には、監視画像203に対するメモの内容が登録される。例えば、保守作業者が、後述する保守用UI400に表示された監視画像203を見てメモを入力した場合、メモの項目には、その入力されたメモの内容が登録される。
The content of the memo for the
<監視画像と測位情報の対応付け>
図4は、監視画像203と測位情報206との対応付け方法の一例を説明するための図である。
<Association of monitoring images with positioning information>
FIG. 4 is a diagram for explaining an example of a method of associating the
図3に示すように、監視情報生成部107は、監視画像203に、当該監視画像203の撮影時刻と同時刻に測位された測位情報206を対応付けて監視情報207を生成する。これにより、監視画像203の撮影位置を、当該監視画像203に対応付けられている測位情報206から特定することができる。
As shown in FIG. 3 , the monitoring
しかし、監視動画のフレームレートと、GNSS信号の受信頻度とは異なり得る。例えば、監視動画のフレームレートが30fpsであり、GNSS信号の受信頻度が10Hzであるとする。この場合、監視動画のフレーム周期は(1/30)秒であり、GNSS信号による測位周期は(1/10)秒であるため、すべての監視画像203に対して1対1で測位情報206を対応付けることはできない。 However, the frame rate of the surveillance video and the reception frequency of the GNSS signals may differ. For example, it is assumed that the frame rate of the monitoring video is 30 fps and the reception frequency of the GNSS signal is 10 Hz. In this case, the frame cycle of the monitoring video is (1/30) second, and the positioning cycle by the GNSS signal is (1/10) second. cannot be matched.
そこで、撮影位置特定部108は、監視画像203の撮影時刻と同時刻に測位された測位情報206が存在する場合、その監視画像203にその測位情報206を対応付け、監視画像203の撮影時刻と同時刻に測位された測位情報206が存在しない場合、他の時刻に測位された測位情報206に基づいて、その監視画像203に対応する測位情報206を推定する。
Therefore, if there is positioning
例えば、図4に示すように、時刻t1、t2、t3、t4のそれぞれにて監視画像203が撮影され、時刻t1と時刻t4にて測位情報206が測位された場合、撮影位置特定部108は、次の処理を行う。すなわち、撮影位置特定部108は、時刻t1に撮影された監視画像203に、時刻t1に測位された測位情報206を対応付け、時刻t4に撮影された監視画像203に、時刻t4に測位された測位情報206を対応付ける。加えて、撮影位置特定部108は、時刻t1及び時刻t4における測位情報206に基づいて、時刻t2及び時刻t3における測位情報206を推定する。次に、当該推定方法について説明する。
For example, as shown in FIG. 4, when the
図5は、測位情報の推定方法の一例を説明するための図である。 FIG. 5 is a diagram for explaining an example of a positioning information estimation method.
例えば、図5に示すように、撮影位置特定部108は、時刻t1の測位情報206が示す位置P1と時刻t4の測位情報206が示す位置P4とを結ぶ線分Lを3分割し、分割点P2、P3を得る。なお、分割数は、測位の周期を監視画像203の周期で除した値に基づいて算出されてよい。また、線分Lの形状は、レールの線形に沿うものであってよい。
For example, as shown in FIG. 5, the photographing
撮影位置特定部108は、分割点P2を時刻t2の測位情報206と推定し、分割点P3を時刻t3の測位情報206と推定する。そして、撮影位置特定部108は、監視情報207において、時刻t2の監視画像203に、その推定した時刻t2の測位情報206を対応付け、時刻t3の監視画像203に、その推定した時刻t3の測位情報206を対応付ける。
The shooting
これにより、監視動画のフレーム周期と、GNSS信号による測位周期とが異なる場合であっても、各監視画像203に測位情報206を対応付けることができる。
Thereby, even if the frame cycle of the monitoring video and the positioning cycle by the GNSS signal are different, the
<測位精度が不十分な場合>
車両1がトンネル又は地下等を走行している間、GNSS信号を受信できないため、測位情報生成部106は、その間の測位情報206を生成できない。したがって、監視情報207において、車両1がトンネル又は地下等を走行している間に撮影された監視画像203には、測位情報206が対応付けられない場合がある。この場合、測位情報206からは監視画像203の撮影位置を特定することができない。
<When positioning accuracy is insufficient>
Since the GNSS signal cannot be received while the
また、車両1が都市部又は山間部等を走行している間、GNSS信号は受信できるもののRTK信号を受信できなかったり、GNSS信号の受信精度が不十分であったりして、生成された監視情報207の測位精度が不十分な場合がある。したがって、監視情報207において、車両1が都市部又は山間部等を走行している間に撮影された監視画像203に対応付けられている測位情報206は、測位精度が不十分である場合がある。この場合、測位情報206から特定した監視画像203の撮影位置は、実際の撮影位置から大きくずれていることがある。
In addition, while the
そこで、撮影位置特定部108は、監視情報207において、測位情報206が対応付けられていない、あるいは、測位精度が不十分(所定の閾値未満)な測位情報206が対応付けられている監視画像203については、当該監視画像203の撮影時刻と同時刻に撮影された距離標画像204及び風景画像205のうちの少なくとも1つを用いて、当該監視画像203の撮影位置を特定する。
Therefore, the imaging
例えば、撮影位置特定部108は、次のように、距離標画像204から撮影位置を特定する。すなわち、撮影位置特定部108は、監視画像203の撮影時刻と同時刻に撮影された距離標画像204に対して文字認識を行い、距離標の文字を読み取る。撮影位置特定部108は、その読み取った距離標の文字から、その距離標が示す営業キロを特定する。撮影位置特定部108は、監視情報207において、その距離標画像204の撮影時刻と同時刻に撮影された監視画像203に対して、その特定した営業キロを対応付ける。
For example, the shooting
例えば、撮影位置特定部108は、次のように、風景画像205から撮影位置を特定する。すなわち、撮影位置特定部108は、監視画像203の撮影時刻と同時刻に撮影された風景画像205に対して物体認識を行い、その物体を認識する。撮影位置特定部108は、認識した物体と当該物体が存在する位置との対応関係を有する所定のデータベースに、その認識した物体が存在する位置を問い合わせ、その物体が存在する位置を得る。撮影位置特定部108は、監視情報207において、その風景画像205の撮影時刻と同時刻に撮影された監視画像203に、その物体が存在する位置の営業キロを対応付ける。風景画像に撮影され、位置を特定し得る物体の例として、トンネル、橋りょう、駅舎、店舗、看板、標識、橋、ランドマークが挙げられる。
For example, the shooting
例えば、撮影位置特定部108は、UI処理部109と連携して、次のように、風景画像205から撮影位置を特定する。すなわち、UI処理部109は、監視画像203の撮影時刻と同時刻に撮影された風景画像205を表示し、保守作業者からその風景画像205が示す位置の入力を受け付ける。保守作業者は、表示された風景画像205を見て、その風景画像205が撮影された位置を入力する。撮影位置特定部108は、監視情報207において、その風景画像205の撮影時刻と同時刻に撮影された監視画像203に、その入力された位置の営業キロを対応付ける。
For example, the shooting
<監視画像の撮影位置を特定する処理>
図6は、監視画像203の撮影位置を特定する処理の一例を示すフローチャートである。
<Processing for Identifying Shooting Position of Monitoring Image>
FIG. 6 is a flow chart showing an example of processing for specifying the shooting position of the
撮影位置特定部108は、監視情報207に含まれる複数の監視画像203の中から、監視画像203を1つ選択する(S101)。
The shooting
撮影位置特定部108は、監視情報207においてS101にて選択された監視画像203と対応付けられている(つまり監視画像203の撮影時刻と同時刻に測定された)測位情報206を取得する(S102)。
The imaging
監視情報生成部107は、S102にて取得された測位情報206に含まれる測位精度が所定の閾値以上であるか否かを判定する(S103)。
The monitoring
測位精度が閾値以上である場合(S103:YES)、撮影位置特定部108は、S102にて取得された測位情報206の測位座標における営業キロを特定する(S104)。そして、S112の処理が実行される。
If the positioning accuracy is equal to or greater than the threshold (S103: YES), the shooting
測位精度が閾値未満である場合、又は、S101にて選択された監視画像203に測位情報206が対応付けられていない場合(S103:NO)、撮影位置特定部108は、次の処理を行う。すなわち、撮影位置特定部108は、監視情報207においてS101にて選択された監視画像203と対応付けられている(つまり監視画像203の撮影時刻と同時刻に撮影された)距離標画像204を取得する(S105)。
If the positioning accuracy is less than the threshold value, or if the
撮影位置特定部108は、S105にて選択された距離標画像204に対して距離標の文字認識を行う(S106)。撮影位置特定部108は、S106にて距離標の文字認識に成功したか否かを判定する(S107)。
The photographing
距離標の文字認識に成功した場合(S107:YES)、撮影位置特定部108は、認識した距離標の文字が示す営業キロを特定する(S108)。そして、S112の処理が実行される。
If character recognition of the distance marker is successful (S107: YES), the photographing
距離標の文字認識に失敗した場合(S107:NO)、撮影位置特定部108は、UI処理部109と連携し、次の処理を行う。すなわち、UI処理部109は、保守用UI400として、監視情報207においてS101にて選択された監視画像203と対応付けられている(つまり監視画像203の撮影時刻と同時刻に撮影された)風景画像205を表示し、その風景画像205が示す位置の入力を受け付ける(S109)。
When the character recognition of the distance marker fails (S107: NO), the shooting
保守作業者は、表示された風景画像205が示す位置情報を入力する(S110)。撮影位置特定部108は、S110で入力された位置の営業キロを特定する(S111)。そして、S112の処理が実行される。
The maintenance worker inputs position information indicated by the displayed landscape image 205 (S110). The photographing
撮影位置特定部108は、監視情報207において、S101にて選択された監視画像203に、S104、S108又はS111で特定した営業キロを対応付ける(S112)。監視装置100は、監視情報207に含まれる各監視画像203について上述した処理を実行した後、本処理を終了する。
In the
以上の処理によれば、撮影位置特定部108は、監視画像203に対応付けられている測位情報206の測位精度が十分な場合、その測位情報206を用いて監視画像203の撮影位置の営業キロを特定する。また、撮影位置特定部108は、監視画像203に対応付けられている測位情報206の測位精度が不十分な場合、あるいは、監視画像203に測位情報206が対応付けられてない場合、監視画像203に対応付けられている距離標画像204又は風景画像205を用いて監視画像203の撮影位置の営業キロを特定する。これにより、監視画像203が何れの場所で撮影されたものであっても、その監視画像203の撮影位置の営業キロを特定することができる。
According to the above processing, if the
<保守用UIの表示>
図7は、本実施の形態に係る保守用UI400の表示例を示す図である。
<Display of maintenance UI>
FIG. 7 is a diagram showing a display example of the
UI処理部109は、図7に示すような保守用UI400の画像を、出力装置1005の一例であるディスプレイに表示する。保守用UI400は、監視画像領域401、距離標画像領域402、風景画像領域403、情報領域404、地図領域405、前ボタン406、次ボタン407、要保守ボタン408、及び、メモボタン409を含む。
The
監視画像領域401には、監視情報207に含まれる監視画像203の1つが表示される。
One of the
距離標画像領域402には、監視情報207において監視画像領域401に表示された監視画像203と対応付けられている距離標画像204が表示される。
A
風景画像領域403には、監視情報207において監視画像領域401に表示された監視画像203と対応付けられている風景画像205が表示される。
A
情報領域404には、監視画像領域401に表示された監視画像203に関する情報が表示される。例えば、監視画像203のファイル名、撮影日、撮影時刻、撮影者、メモ、営業キロ、撮影位置を示す緯度及び経度が表示される。UI処理部109は、監視情報207を参照して、情報領域404にこれらの情報を表示してよい。
Information about the
地図領域405には、監視画像領域401に表示された監視画像203の撮影位置の周辺地図と、その撮影位置を示すピン410とが表示される。
In the
なお、図6のS110で述べた、風景画像205が示す位置の入力を受け付けるUIは、保守用UI400と同様であってよい。この場合、保守作業者は、風景画像領域403に表示された風景画像205を見て、その風景が示す地図上の位置にピン410を打つことにより、風景画像205が示す位置情報を入力できる。
Note that the UI for receiving the input of the position indicated by the
前ボタン406が押下されると、UI処理部109は、監視情報207において1つ前の撮影時刻に対応付けられている監視画像203、距離標画像204、及び、風景画像205を、監視画像領域401、距離標画像領域402、及び、風景画像領域403にそれぞれ表示する。また、UI処理部109は、1つ前の撮影時刻に対応付けられている監視画像203の撮影位置の周辺地図と、その撮影位置を示すピン410とを地図領域405に表示する。
When the
次ボタン407が押下されると、UI処理部109は、監視情報207において1つ後の撮影時刻に対応付けられている監視画像203、距離標画像204、及び、風景画像205を、監視画像領域401、距離標画像領域402、及び、風景画像領域403にそれぞれ表示する。また、UI処理部109は、1つ後の撮影時刻に対応付けられている監視画像203の撮影位置の周辺地図と、その撮影位置を示すピン410とを地図領域405に表示する。
When the
要保守ボタン408が押下されると、UI処理部109は、監視情報207において、表示中の監視画像203と対応付けられている保守要否フラグを「必要」に変更する。
When the maintenance required
メモボタン409が押下されると、UI処理部109は、メモ入力用UI(図示しない)を表示する。加えて、UI処理部109は、監視情報207において、表示中の監視画像203と対応付けられているメモの項目に、メモ入力用UIに入力された内容を登録する。
When the
例えば、保守作業者は、次ボタン407を押下して、表示させる監視画像203を切り替えていき、保守対象物に問題が無いか否かを確認する。保守作業者は、保守対象物に問題がある場合、要保守ボタン408を押下する。また、保守作業者は、保守対象物にコメントを付しておきたい場合、メモボタン409を押下してメモを入力する。
For example, the maintenance worker presses the
UI処理部109は、検索機能を提供してもよい。例えば、UI処理部109は、監視情報207の中から、営業キロが対応付けられていない監視画像203を検索して、保守用UI400に表示してもよい。これにより、保守作業者は、風景画像205が示す位置の入力を効率的に行うことができる。また、例えば、UI処理部109は、監視情報207の中から、保守要否フラグ「必要」に対応付けられている監視画像203を検索して、保守用UI400に表示してもよい。これにより、保守作業者は、保守が必要な保守対象物の監視画像203を効率的に確認できる。
The
<変形例及び補足>
情報格納部101には、車両1に備えたカメラ10A、10B、10Cから撮影した監視画像203、距離標画像204、風景画像205に加えて、保守作業者が所持するカメラから撮影した監視画像203、距離標画像204、風景画像205も格納されてよい。この場合、監視情報生成部107は、保守作業者が撮影した監視画像203、距離標画像204、風景画像205についても、監視情報207に加えてよい。保守作業者が所持するカメラは、カメラ付きのスマートフォン又はタブレット端末であってよい。あるいは、保守作業者が所持するカメラは、保守作業者がかぶっているヘルメットに装着されたものであってもよい。
<Modification and Supplement>
The
上述では測位にRTK信号も使用しているが、RTK信号を使用せずに、GNSS信号のみで測位を行ってもよい。あるいは、監視装置100は、GNSS信号及びRTK信号のいずれも使用せず、距離標画像204又は風景画像205を用いて、監視画像203の撮影位置を特定してもよい。
Although the RTK signal is also used for positioning in the above description, positioning may be performed using only the GNSS signal without using the RTK signal. Alternatively, the
上述では、保守対象を鉄道とした場合について説明したが、保守対象は鉄道に限られない。上述した内容は、一般道路又は高速道路といった車両が走行する場所に適応することができる。例えば、上述した内容を高速道路に適応することにより、高速道路上のトンネル、路肩又は崩落防止壁といった保守のために撮影した画像の撮影位置を精度良く特定できる。 In the above description, the case where the maintenance object is the railway has been described, but the maintenance object is not limited to the railway. What has been described above can be applied to locations where the vehicle travels, such as general roads or highways. For example, by applying the above-described content to an expressway, it is possible to accurately specify the photographing positions of images photographed for maintenance, such as tunnels, road shoulders, or collapsing prevention walls on the expressway.
また、上述では、GNSS又はRTKを用いて位置を特定する場合について説明したが、路線名及び営業キロの情報に基づいて、位置を特定することもできる。この構成によれば、距離標等から認識した営業キロと路線名とから位置を正確に特定できる。なお、路線名は事前に登録しておき、距離標からは営業キロを認識するような構成でもよい。 Moreover, although the case where the position is specified using GNSS or RTK has been described above, the position can also be specified based on the information on the route name and operating kilometers. According to this configuration, it is possible to accurately specify the position from the operating kilometers and the route name recognized from the milepost or the like. It should be noted that the route name may be registered in advance, and the operating kilometers may be recognized from the distance marker.
<ハードウェア構成>
上述した監視装置100の機能ブロックは、コンピュータプログラムにより実現されてもよい。図8は、本実施の形態に係る監視装置100の機能ブロックをコンピュータプログラムにより実現するコンピュータのハードウェア構成を示す図である。なお、コンピュータは、情報処理装置と読み替えられてもよい。
<Hardware configuration>
The functional blocks of the
コンピュータ1000は、プロセッサ1001、メモリ1002、ストレージ1003、入力装置1004、出力装置1005、通信装置1006、GPU(Graphics Processing Unit)1007、読取装置1008、及び、バス1009を備える。
各装置1001~1008は、バス1009に接続され、バス1009を介して双方向にデータを送受信できる。
Each device 1001-1008 is connected to a
プロセッサ1001は、メモリ1002に記憶されたコンピュータプログラムを実行し、上述した機能ブロックを実現する装置である。プロセッサ1001は、制御部と読み替えられてもよい。プロセッサ1001の例として、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、コントローラ、LSI(large scale integration)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field-Programmable Gate Array)が挙げられる。
A
メモリ1002は、コンピュータ1000が取り扱うコンピュータプログラム及びデータを記憶する装置である。メモリ1002は、記憶部と読み替えられてもよい。メモリ1002は、ROM(Real-Only Memory)及びRAM(Random Access Memory)を含んでよい。RAMの例として、DRAM(Dynamic Random Access Memory)、MRAM(Magnetoresistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)が挙げられる。
ストレージ1003は、不揮発性記憶媒体で構成され、コンピュータ1000が取り扱うコンピュータプログラム及びデータを記憶する装置である。ストレージ1003の例として、HDD(Hard Disk Drive)、SSD(Solid State Drive)が挙げられる。
The
入力装置1004は、プロセッサ1001に入力するデータを受け付ける装置である。入力装置1004の例として、キーボード、マウス、タッチパッド、マイクが挙げられる。
The
出力装置1005は、プロセッサ1001が生成したデータを出力する装置である。出力装置1005の例として、ディスプレイ、スピーカーが挙げられる。
The
通信装置1006は、サーバに代表される他の装置と、通信ネットワークを介して、データを送受信する装置である。通信装置1006は、データを送信する送信部とデータを受信する受信部とを含んでよい。通信装置1006は、有線通信及び無線通信の何れに対応してもよい。有線通信の例として、Ethernet(登録商標)が挙げられる。無線通信の例として、IEEE802.11、Bluetooth、LTE、4G、5Gが挙げられる。
The
GPU1007は、画像描写を高速に処理する装置である。なお、GPU1007は、AI(Artificial Intelligence)に関する処理(例えばディープラーニング)や、距離標等に対する文字認識に関する処理に利用されてもよい。
The
読取装置1008は、DVD-ROM(Digital Versatile Disk Read Only Memory)又はUSBメモリといった外部の記録媒体からデータを読み取る装置である。
The
なお、監視装置100の機能ブロックは、集積回路であるLSIとして実現されてもよい。これらの機能ブロックは、個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
Note that the functional blocks of the
なお、本実施の形態の映像レコーダ20は、カメラ10A、10B、10Cから監視動画、距離標動画、及び、風景動画をそれぞれ受信したが、映像レコーダ20は、カメラ10A、10B、10Cから監視画像、距離標画像、及び、風景画像をそれぞれ受信してもよい。この構成によれば、動画から画像を抽出する処理が不要となる。
Note that the
以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。 Although the embodiments have been described above with reference to the accompanying drawings, the present disclosure is not limited to such examples. It is obvious that a person skilled in the art can conceive of various modifications, modifications, substitutions, additions, deletions, and equivalents within the scope of the claims. It is understood that it belongs to the technical scope of the present disclosure. Also, the components in the above-described embodiments may be combined arbitrarily without departing from the spirit of the invention.
本開示の技術は、鉄道を含む、交通インフラ全般の監視及び保守に有用である。 The technology of the present disclosure is useful for monitoring and maintaining transportation infrastructure in general, including railways.
1 車両
2 監視システム
3 GNSS衛星
4 無線基地局
5 時刻サーバ
10A、10B、10C カメラ
20 映像レコーダ
30 GNSS受信装置
40 RTK受信装置
100 監視装置
101 情報格納部
102 GNSS情報受信部
103 補正情報受信部
104 時計同期部
105 画像取得部
106 測位情報生成部
107 監視情報生成部
108 撮影位置特定部
109 UI処理部
201 GNSS情報
202 補正情報
203 監視画像
204 距離標画像
205 風景画像
206 測位情報
207 監視情報
400 保守用UI
401 監視画像領域
402 距離標画像領域
403 風景画像領域
404 情報領域
405 地図領域
406 前ボタン
407 次ボタン
408 要保守ボタン
409 メモボタン
410 ピン
1000 コンピュータ
1001 プロセッサ
1002 メモリ
1003 ストレージ
1004 入力装置
1005 出力装置
1006 通信装置
1007 GPU
1008 読取装置
1009 バス
1
401
1008
Claims (7)
前記保守対象物を撮影した第1画像と、前記第1画像の撮影時刻にて距離又は場所を示す物体を撮影した第2画像とを対応付けて情報格納部に格納させる制御部、を備え、
前記制御部は、前記第1画像と、前記第2画像に加えて、前記第1画像の撮影位置を測位した測位情報を対応付け、
前記測位情報は、前記測位の精度を示す測位精度を含み、
前記制御部は、
前記測位精度が所定の閾値以上の場合、前記測位情報に基づいて前記第1画像の撮影位置を特定し、
前記測位精度が前記閾値未満の場合、前記第2画像に基づいて前記第1画像の撮影位置を特定する、
監視装置。 A monitoring device for monitoring a maintenance object on a moving route of a vehicle,
a control unit for storing in an information storage unit a first image obtained by photographing the maintenance object and a second image obtained by photographing the object indicating the distance or location at the photographing time of the first image in association with each other;
The control unit associates, in addition to the first image and the second image, positioning information obtained by measuring the photographing position of the first image,
The positioning information includes positioning accuracy indicating the positioning accuracy,
The control unit
If the positioning accuracy is equal to or greater than a predetermined threshold, specifying the shooting position of the first image based on the positioning information;
If the positioning accuracy is less than the threshold, specifying the shooting position of the first image based on the second image;
surveillance equipment.
前記第1画像と、前記第2画像と、前記測位情報に加えて、前記第1画像の撮影時刻にて前記第1画像の撮影位置の周辺を撮影した風景画像を対応付け、
前記測位情報が前記閾値未満であり、かつ、前記第2画像に基づいて前記第1画像の撮影位置を特定できない場合、前記第1画像に対応付けられている前記風景画像を表示させる、
請求項1に記載の監視装置。 The control unit
In addition to the first image, the second image, and the positioning information, associating a scenery image captured around the shooting position of the first image at the shooting time of the first image,
displaying the scenery image associated with the first image when the positioning information is less than the threshold and the shooting position of the first image cannot be specified based on the second image;
A monitoring device according to claim 1 .
請求項2に記載の監視装置。 When the positioning information is less than the threshold value and the photographing position of the first image cannot be specified based on the second image, the controller determines the scenic image associated with the first image. display and receive an input of the shooting position of the landscape image;
3. A monitoring device according to claim 2.
請求項1、2及び3の何れか1項に記載の監視装置。 The control unit calculates an operating kilometer corresponding to the specified shooting position of the first image.
4. A monitoring device according to any one of claims 1, 2 and 3.
前記保守対象物を撮影して第1画像を生成する第1のカメラと、
前記第1画像の撮影時刻にて距離又は場所を示す物体を撮影して第2画像を生成する第2のカメラと、
前記保守対象物を撮影した前記第1画像と、前記第1画像の撮影時刻にて距離又は場所を示す物体を撮影した第2画像とを対応付けて情報格納部に格納し、
前記第1画像と、前記第2画像に加えて、前記第1画像の撮影位置を測位した測位情報を対応付け、
前記測位情報は、前記測位の精度を示す測位精度を含み、
前記測位精度が所定の閾値以上の場合、前記測位情報に基づいて前記第1画像の撮影位置を特定し、
前記測位精度が前記閾値未満の場合、前記第2画像に基づいて前記第1画像の撮影位置を特定する監視装置と、を備える、
監視システム。 A monitoring system for monitoring a maintenance object on a moving route of a vehicle,
a first camera that captures the maintenance object to generate a first image;
a second camera that captures an object indicating the distance or location at the capture time of the first image to generate a second image;
storing in an information storage unit the first image obtained by photographing the maintenance object and a second image obtained by photographing the object indicating the distance or location at the photographing time of the first image in association with each other;
Associating the first image with positioning information obtained by positioning the shooting position of the first image in addition to the second image,
The positioning information includes positioning accuracy indicating the accuracy of the positioning,
If the positioning accuracy is equal to or greater than a predetermined threshold, specifying the shooting position of the first image based on the positioning information;
a monitoring device that specifies the shooting position of the first image based on the second image when the positioning accuracy is less than the threshold;
Monitoring system.
前記保守対象物を撮影した第1画像と、前記第1画像の撮影時刻にて距離又は場所を示す物体を撮影した第2画像とを対応付けて情報格納部に格納し、
前記第1画像と、前記第2画像に加えて、前記第1画像の撮影位置を測位した測位情報を対応付け、
前記測位情報は、前記測位の精度を示す測位精度を含み、
前記測位精度が所定の閾値以上の場合、前記測位情報に基づいて前記第1画像の撮影位置を特定し、
前記測位精度が前記閾値未満の場合、前記第2画像に基づいて前記第1画像の撮影位置を特定する、
監視方法。 A monitoring method for monitoring a maintenance target on a moving route of a vehicle,
storing in an information storage unit a first image obtained by photographing the maintenance object and a second image obtained by photographing the object indicating the distance or location at the photographing time of the first image in association with each other;
Associating the first image with positioning information obtained by positioning the shooting position of the first image in addition to the second image,
The positioning information includes positioning accuracy indicating the accuracy of the positioning,
If the positioning accuracy is equal to or greater than a predetermined threshold, specifying the shooting position of the first image based on the positioning information;
If the positioning accuracy is less than the threshold, specifying the shooting position of the first image based on the second image;
Monitoring method.
前記保守対象物を撮影した第1画像と、前記第1画像の撮影時刻にて距離又は場所を示す物体を撮影した第2画像とを対応付けて情報格納部に格納させ、
前記第1画像と、前記第2画像に加えて、前記第1画像の撮影位置を測位した測位情報を対応付け、
前記測位情報は、前記測位の精度を示す測位精度を含み、
前記測位精度が所定の閾値以上の場合、前記測位情報に基づいて前記第1画像の撮影位置を特定し、
前記測位精度が前記閾値未満の場合、前記第2画像に基づいて前記第1画像の撮影位置を特定する、
ことをコンピュータに実行させる、
コンピュータプログラム。 A computer program for monitoring a maintenance object on a moving route of a vehicle,
storing in an information storage unit a first image obtained by photographing the maintenance object and a second image obtained by photographing the object indicating the distance or location at the photographing time of the first image in association with each other;
Associating the first image with positioning information obtained by positioning the shooting position of the first image in addition to the second image,
The positioning information includes positioning accuracy indicating the accuracy of the positioning,
If the positioning accuracy is equal to or greater than a predetermined threshold, specifying the shooting position of the first image based on the positioning information;
If the positioning accuracy is less than the threshold, specifying the shooting position of the first image based on the second image;
make the computer do
computer program.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020175472A JP7117645B2 (en) | 2020-10-19 | 2020-10-19 | MONITORING DEVICE, MONITORING SYSTEM, MONITORING METHOD, AND COMPUTER PROGRAM |
JP2021198516A JP7417871B2 (en) | 2020-10-19 | 2021-12-07 | Monitoring device, monitoring system, monitoring method, and computer program |
JP2023180978A JP2024001239A (en) | 2020-10-19 | 2023-10-20 | Monitoring device, monitoring system, monitoring method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020175472A JP7117645B2 (en) | 2020-10-19 | 2020-10-19 | MONITORING DEVICE, MONITORING SYSTEM, MONITORING METHOD, AND COMPUTER PROGRAM |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021198516A Division JP7417871B2 (en) | 2020-10-19 | 2021-12-07 | Monitoring device, monitoring system, monitoring method, and computer program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022066880A JP2022066880A (en) | 2022-05-02 |
JP7117645B2 true JP7117645B2 (en) | 2022-08-15 |
Family
ID=81389861
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020175472A Active JP7117645B2 (en) | 2020-10-19 | 2020-10-19 | MONITORING DEVICE, MONITORING SYSTEM, MONITORING METHOD, AND COMPUTER PROGRAM |
JP2021198516A Active JP7417871B2 (en) | 2020-10-19 | 2021-12-07 | Monitoring device, monitoring system, monitoring method, and computer program |
JP2023180978A Pending JP2024001239A (en) | 2020-10-19 | 2023-10-20 | Monitoring device, monitoring system, monitoring method, and computer program |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021198516A Active JP7417871B2 (en) | 2020-10-19 | 2021-12-07 | Monitoring device, monitoring system, monitoring method, and computer program |
JP2023180978A Pending JP2024001239A (en) | 2020-10-19 | 2023-10-20 | Monitoring device, monitoring system, monitoring method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP7117645B2 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6821284B1 (en) | 2020-03-24 | 2021-01-27 | 株式会社ファンクリエイト | Road surface covering sheet and road surface covering sheet inspection method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6555255B2 (en) * | 2014-04-25 | 2019-08-07 | ソニー株式会社 | Information processing apparatus, information processing method, and computer program |
JP6998710B2 (en) * | 2017-09-12 | 2022-01-18 | 西日本旅客鉄道株式会社 | Inspection work support device, distance marker information management method, and program |
-
2020
- 2020-10-19 JP JP2020175472A patent/JP7117645B2/en active Active
-
2021
- 2021-12-07 JP JP2021198516A patent/JP7417871B2/en active Active
-
2023
- 2023-10-20 JP JP2023180978A patent/JP2024001239A/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6821284B1 (en) | 2020-03-24 | 2021-01-27 | 株式会社ファンクリエイト | Road surface covering sheet and road surface covering sheet inspection method |
Also Published As
Publication number | Publication date |
---|---|
JP2022067096A (en) | 2022-05-02 |
JP2022066880A (en) | 2022-05-02 |
JP7417871B2 (en) | 2024-01-19 |
JP2024001239A (en) | 2024-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108413975B (en) | Map acquisition method and system, cloud processor and vehicle | |
CN204087491U (en) | Information acquisition system, server, information issuing system and car-mounted terminal | |
CN106462729B (en) | Vehicle image data management system and method | |
JP6494103B2 (en) | Train position detection system using image processing and train position and environment change detection system using image processing | |
US9171363B2 (en) | Computer-readable recording medium and road surface survey device | |
CN103150786B (en) | Non-contact type unmanned vehicle driving state measuring system and measuring method | |
US20130102335A1 (en) | Mobile device, information processing device, location information acquisition method, location information acquisition system, and program | |
CN111024115A (en) | Live-action navigation method, device, equipment, storage medium and vehicle-mounted multimedia system | |
US20200034637A1 (en) | Real-Time Track Asset Recognition and Position Determination | |
JP2009083815A (en) | Drive recorder device and accident analysis simulation device | |
CN102244772A (en) | Intelligent driving monitoring system | |
CN111829546A (en) | AR navigation system and equipment, and clock correction method | |
CN105387854A (en) | Navigation system with content delivery mechanism and method of operation thereof | |
WO2013098980A1 (en) | Information processing system, information processing device, information processing program, information recording medium and method for processing information | |
JP2002357557A (en) | Control system of road, surrounding facility, and the like | |
CN203480561U (en) | Driving state measurement system of non-contact unmanned vehicle | |
CN113269976A (en) | Positioning method and device | |
CN111402702A (en) | Map construction method, device and system | |
JP3544703B2 (en) | Tour inspection apparatus and display method for tour inspection | |
JP7117645B2 (en) | MONITORING DEVICE, MONITORING SYSTEM, MONITORING METHOD, AND COMPUTER PROGRAM | |
JP2019087969A (en) | Travel field investigation support device | |
CN106162061A (en) | A kind of vehicle mounted imaging apparatus and method | |
CN106840181B (en) | System and method for determining vehicle position | |
AU2015406902A1 (en) | Digital context-aware data collection | |
Oliveira et al. | Camera synchronization using an audio-based approach for mobile mapping systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210108 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210108 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210413 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210614 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211207 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20211207 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20211215 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20211221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220623 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7117645 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |