JP7299041B2 - Overhead wire fitting detection device and overhead wire fitting detection method - Google Patents
Overhead wire fitting detection device and overhead wire fitting detection method Download PDFInfo
- Publication number
- JP7299041B2 JP7299041B2 JP2019045432A JP2019045432A JP7299041B2 JP 7299041 B2 JP7299041 B2 JP 7299041B2 JP 2019045432 A JP2019045432 A JP 2019045432A JP 2019045432 A JP2019045432 A JP 2019045432A JP 7299041 B2 JP7299041 B2 JP 7299041B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- line sensor
- processing
- overhead wire
- fitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、ハンガーをはじめとする架線金具を画像処理によって検出する架線金具検出装置および架線金具検出方法に関する。 The present invention relates to an overhead wire fitting detection device and an overhead wire fitting detection method for detecting overhead wire fittings such as hangers by image processing.
鉄道事業者では、長距離に亘る鉄道軌道に沿って設置された電車線の検査を行う必要がある。電車線としてのハンガーをはじめとする架線金具は、従来、保守員の目視によって営業車や軌陸車あるいは線路上から確認される。この作業にかかる保守員の労力を低減するため、電車線の検査の自動化によって業務を省力化することが望まれている。例えば、架線金具の検査において、鉄道軌道を走行する鉄道車両の屋根上にラインセンサカメラを設置して撮影したトロリ線近傍の画像を用いて架線金具の画像を検出する方法がある。そして、この架線金具の画像からハンガーの画像を検出してその検査や良否判定を行うものである。 A railway operator needs to inspect contact lines installed along a long-distance railway track. Conventionally, overhead wire fittings such as hangers as overhead contact lines are visually checked by maintenance personnel from commercial vehicles, rail vehicles, or on railroad tracks. In order to reduce the labor of maintenance personnel involved in this work, it is desired to save labor by automating the inspection of contact lines. For example, in the inspection of overhead wire fittings, there is a method of detecting an image of overhead wire fittings using an image of the vicinity of a trolley wire captured by a line sensor camera installed on the roof of a railcar running on a railroad track. Then, the image of the hanger is detected from the image of the wire fitting, and the inspection and quality judgment are performed.
一般に、正常なハンガーは鉛直に架設されているが、温度変化等により鉛直方向に対して傾斜すると電車の集電特性を劣化させるため、ハンガーの角度や位置を把握することも要求されている。 In general, normal hangers are installed vertically, but if they are tilted from the vertical direction due to temperature changes, etc., the current collection characteristics of the train will deteriorate, so it is also required to know the angle and position of the hangers.
ここで、下記特許文献１には、撮影した画像からテンプレートマッチング処理、または鉛直方向のエッジ検出処理によって、ハンガーを検出する技術が開示されている。また下記特許文献２には、撮影した画像から、Ｈｏｕｇｈ変換処理によりハンガーを検出する技術が開示されている。
Here,
また、下記特許文献３には、ＧＳＴＨ処理を応用することで、ハンガーを検出する技術が開示されている。特許文献３によれば、架線に対して交差する長方形形状をしたハンガーを検出することができる。
Further,
また、本出願人は、特許文献４で、ハンガーだけではなく、コネクタなどの架線金具を検出することを可能とした技術を提案した。特許文献１～３に開示された技術が、ハンガーのように架線に交差する方向に延びるものを検出する技術であるのに対し、特許文献４では架線をまず初めに除去し、残った構造物を検出することで、電車線を枕木方向から見た際（図１３）に、架線と異なる方向に延伸している架線金具を検出することができる。
In addition, in
しかしながら、特許文献１，２に開示された発明は、単純な線条構成であればハンガー検出が可能であるが、わたり線や、オーバーラップ箇所など、複数の線条が交差する箇所では、ハンガー検出が難しい。
すなわち、特許文献１は鉛直方向のエッジ検出によってハンガーを検出する。一般的なエッジ検出は２ｐｉｘｅｌ間の微分値の大きい箇所をエッジとして検出するが、２ｐｉｘｅｌ間という局所的な検出では、誤検出が多くなる可能性があるという問題があった。
また、特許文献２は、Ｈｏｕｇｈ変換処理によりハンガーを検出する。Ｈｏｕｇｈ変換は画像全体の特徴とハンガー特徴との相対的な投票量を用いてハンガーを検出するので、画像全体に対して小さく写るハンガーを検出することが難しいという問題があった。
However, the inventions disclosed in
That is,
Further,
また、特許文献３は、例えばコネクタのような、長方形ではなく曲線を持つような形状のものは検出できないという問題があった。
In addition,
特許文献４は、背景に架線と異なる方向に延伸している背景物やノイズが存在する場合に、それらを架線金具として誤検出してしまう可能性があるという問題があった。
このようなことから本発明は、架線金具のみを正しく検出することを可能とした架線金具検出装置および架線金具検出方法を提供することを目的とする。 In view of the above, an object of the present invention is to provide an overhead wire fitting detection device and an overhead wire fitting detection method capable of correctly detecting only wire fittings.
上記の課題を解決するための第１の発明に係る架線金具検出装置は、
鉄道車両の走行中に架線および架線設備を前記鉄道車両の進行方向に対して垂直に撮影するラインセンサカメラと、
前記ラインセンサカメラから出力された画像信号を時系列に並べて作成したラインセンサ画像に対し、画像処理を行って、前記画像の中から架線金具を検出する画像処理部とを有し、
前記画像処理部は、
予め取得した前記架線金具の画像および前記架線金具以外の画像を用いて学習した人工知能機能を実装した演算装置を備え、
前記演算装置は、
前記人工知能機能の学習を行う事前処理部と、
前記車両の走行中に前記ラインセンサカメラから入力される画像信号からラインセンサ画像を作成するラインセンサ画像作成部と、
前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正処理を行う明るさ補正部と、
前記明るさ補正処理を行った前記ラインセンサ画像から前記架線金具又は前記架線金具以外を切り出した切り出し画像を作成する画像切り出し部と、
前記切り出し画像を前記人工知能機能に入力することにより前記架線金具の識別を行う金具識別処理部と
を備えることを特徴とする。
A wire fitting detection device according to a first invention for solving the above problems,
a line sensor camera that captures an image of overhead wires and overhead wire equipment perpendicularly to the traveling direction of the railway vehicle while the railway vehicle is running;
an image processing unit that performs image processing on a line sensor image created by arranging image signals output from the line sensor camera in time series, and detects an overhead wire fitting from the image;
The image processing unit
An arithmetic device equipped with an artificial intelligence function learned using an image of the overhead wire fitting obtained in advance and an image other than the overhead wire fitting,
The computing device is
a preprocessing unit that learns the artificial intelligence function;
a line sensor image creation unit that creates a line sensor image from an image signal input from the line sensor camera while the vehicle is running;
a brightness correction unit that performs a brightness correction process for increasing the difference between brightness and darkness in the image signal with respect to the line sensor image;
an image clipping unit that creates a clipped image clipped from the line sensor image that has undergone the brightness correction process and the overhead wire fitting or other than the overhead wire fitting;
and a fitting identification processing unit that identifies the overhead wire fitting by inputting the clipped image to the artificial intelligence function.
また、上記の課題を解決するための第２の発明に係る架線金具検出装置は、第１の発明において、
前記画像切り出し部は、
前記明るさ補正処理を行った前記ラインセンサ画像を格子状に分割し、分割された前記ラインセンサ画像中から前記架線金具の画像又は前記架線金具以外の画像を切り出す判定画像切り出し部である
ことを特徴とする。
Further, a wire fitting detection device according to a second invention for solving the above problems is the first invention,
The image clipping unit
The judgment image clipping unit splits the line sensor image that has undergone the brightness correction process into a grid pattern, and clips an image of the overhead wire fitting or an image other than the overhead wire fitting from the divided line sensor image. Characterized by
また、上記の課題を解決するための第３の発明に係る架線金具検出装置は、第２の発明において、
前記人工知能機能は、予め取得したラインセンサ画像を格子状に分割し、分割された各画像について、前記架線金具が存在し正解フラグが付された画像と、前記架線金具以外が存在し不正解フラグが付された画像とに基づいて、予め前記架線金具と前記架線金具以外の２クラス識別学習を行った学習済みの畳み込みニューラルネットワークである
ことを特徴とする。
Further, a wire fitting detection device according to a third invention for solving the above problems is, in the second invention,
The artificial intelligence function divides the line sensor image obtained in advance into a grid pattern, and for each of the divided images, an image in which the overhead wire fitting exists and a correct flag is attached, and an incorrect answer in which a wire fitting other than the overhead wire fitting exists. The convolutional neural network is a trained convolutional neural network in which 2-class discrimination learning for the overhead wire fitting and other than the overhead wire fitting is carried out in advance based on the flagged image.
また、上記の課題を解決するための第４の発明に係る架線金具検出装置は、第１の発明において、
前記演算装置は、
前記明るさ補正処理を行った前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定する昼夜判定部と、
前記画像に対し、前記昼夜判定部で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転部と、
前記画像輝度反転部で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理部と、
前記メディアンフィルタ処理部でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行うＧＳＴＨ処理部と、
前記ＧＳＴＨ処理部でＧＳＴＨ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理部と、
前記グレースケールオープニング処理部でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理部と、
前記二値化処理部で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理部と、
前記クロージング処理部でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理部と
をさらに備え、
前記画像切り出し部が、前記金具候補検出処理部で検出した金具候補の情報に基づいて前記画像から金具候補の画像を切り出す金具候補画像切り出し部である
ことを特徴とする。
In addition, a wire fitting detection device according to a fourth invention for solving the above problems is the first invention,
The computing device is
a day/night determining unit that determines whether the brightness of each of the image signals subjected to the brightness correction process is equivalent to daytime or equivalent to nighttime;
an image brightness reversing unit that performs a brightness reversal process on the image signal determined by the day/night determining unit to be equivalent in brightness to daytime;
a median filter processing unit that performs median filter processing on the line sensor image that has been subjected to the brightness inversion processing by the image brightness inversion unit;
a GSTH processing unit that performs GSTH processing in the extending direction of the overhead wire on the line sensor image that has been subjected to median filtering by the median filtering unit;
a grayscale opening processing unit that performs grayscale opening processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has been subjected to the GSTH processing by the GSTH processing unit;
a binarization processing unit that performs binarization processing on the line sensor image that has undergone grayscale opening processing in the grayscale opening processing unit;
a closing processing unit that performs closing processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has been subjected to the binarization processing by the binarization processing unit;
a metal fitting candidate detection processing unit that detects a white mass from the line sensor image that has been subjected to the closing processing by the closing processing unit, and detects the overhead wire metal fitting candidate from the size of the detected white mass. ,
The image clipping unit is a metal fitting candidate image clipping unit that cuts out an image of the metal fitting candidate from the image based on the information of the metal fitting candidate detected by the metal fitting candidate detection processing unit.
また、上記の課題を解決するための第５の発明に係る架線金具検出装置は、第４の発明において、
前記人工知能機能は、予め取得したラインセンサ画像中に存在する前記架線金具の部分を切り出して正解フラグを付した画像と、予め取得したラインセンサ画像中に存在する前記架線金具以外の部分を切り出して不正解フラグを付した画像とに基づいて、予め前記架線金具と前記架線金具以外の２クラス識別学習を行った学習済みの畳み込みニューラルネットワークである
ことを特徴とする。
Further, a wire fitting detection device according to a fifth invention for solving the above problems is the fourth invention,
The artificial intelligence function extracts an image with a correct flag attached by cutting out the wire fitting part existing in the line sensor image acquired in advance, and extracting the part other than the overhead wire fitting existing in the line sensor image acquired in advance. It is a pre-trained convolutional neural network in which two-class discrimination learning of the wire fitting and other than the wire fitting is carried out in advance based on an image flagged with an incorrect answer.
また、上記の課題を解決するための第６の発明に係る架線金具検出装置は、第４又は第５の発明において、
前記事前処理部は、
予め取得した前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正処理を行う明るさ補正部と、
明るさ補正処理を行った前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定する昼夜判定部と、
昼夜判定部で昼夜判定を行った前記ラインセンサ画像に対し、前記昼夜判定部で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転部と、
前記画像輝度反転部で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理部と、
前記メディアンフィルタ処理部でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行うＧＳＴＨ処理部と、
前記ＧＳＴＨ処理部でＧＳＴＨ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理部と、
前記グレースケールオープニング処理部でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理部と、
前記二値化処理部で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理部と、
前記クロージング処理部でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理部と、
前記金具候補検出処理部で検出した金具候補の情報に基づいて前記ラインセンサ画像から金具候補の画像を切り出す金具候補画像切り出し部と、
前記金具候補画像切り出し部で切り出され正解フラグが付された画像と、前記金具候補画像切り出し部で切り出され不正解フラグが付された画像とを前記人工知能機能に入力して前記人工知能機能の学習を行う重み学習部と
を備えることを特徴とする。
Further, a wire fitting detection device according to a sixth invention for solving the above problems is the fourth or fifth invention,
The preprocessing unit is
a brightness correction unit that performs a brightness correction process for increasing a difference between light and dark in the image signal with respect to the previously obtained line sensor image;
a day/night determination unit that determines whether the brightness of each image signal subjected to brightness correction processing is equivalent to daytime or equivalent to nighttime;
an image brightness reversing unit that performs a brightness reversal process on the image signal determined by the day/night determination unit to have brightness equivalent to that of daytime with respect to the line sensor image subjected to the day/night determination by the day/night determination unit;
a median filter processing unit that performs median filter processing on the line sensor image that has been subjected to the brightness inversion processing by the image brightness inversion unit;
a GSTH processing unit that performs GSTH processing in the extending direction of the overhead wire on the line sensor image that has been subjected to median filtering by the median filtering unit;
a grayscale opening processing unit that performs grayscale opening processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has been subjected to the GSTH processing by the GSTH processing unit;
a binarization processing unit that performs binarization processing on the line sensor image that has undergone grayscale opening processing in the grayscale opening processing unit;
a closing processing unit that performs closing processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has been subjected to the binarization processing by the binarization processing unit;
a metal fitting candidate detection processing unit that detects a white mass from the line sensor image that has been subjected to the closing processing by the closing processing unit, and detects the wire metal fitting candidate from the size of the detected white mass;
a metal fitting candidate image clipping unit that cuts out an image of a metal fitting candidate from the line sensor image based on information on the metal fitting candidate detected by the metal fitting candidate detection processing unit;
The image clipped by the metal fitting candidate image clipping unit and flagged with a correct answer and the image clipped by the metal fitting candidate image clipping unit and flagged with an incorrect flag are input to the artificial intelligence function to perform the artificial intelligence function. and a weight learning unit that performs learning.
また、上記の課題を解決するための第７の発明に係る架線金具検出方法は、
予め取得した架線金具の画像および前記架線金具以外の画像を用いて人工知能機能の学習を行う事前処理工程と、
鉄道車両の走行中に架線および架線設備を前記鉄道車両の進行方向に対して垂直に撮影するラインセンサカメラから出力された画像信号を時系列に並べてラインセンサ画像を作成する画像作成工程と、
前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正工程と、
明るさ補正を行った前記ラインセンサ画像から前記架線金具又は前記架線金具以外を切り出す画像切り出し工程と、
切り出した画像を、前記事前処理工程により学習した前記人工知能機能に入力して前記架線金具の識別を行う金具判定工程と
を含むことを特徴とする。
In addition, a wire fitting detection method according to a seventh invention for solving the above problems,
A pre-processing step of learning an artificial intelligence function using an image of an overhead wire fitting obtained in advance and an image other than the overhead wire fitting;
an image creation step of creating a line sensor image by arranging in time series image signals output from a line sensor camera that captures an image of an overhead wire and overhead wire equipment perpendicular to the traveling direction of the rail vehicle while the rail vehicle is running;
a brightness correction step of increasing a difference between light and dark in the image signal with respect to the line sensor image;
an image clipping step of clipping the overhead wire fitting or other than the overhead wire fitting from the line sensor image subjected to brightness correction;
and a fitting determination step of inputting the clipped image to the artificial intelligence function learned in the preprocessing step to identify the overhead wire fitting.
また、上記の課題を解決するための第８の発明に係る架線金具検出方法は、第７の発明において、
前記画像切り出し工程が、前記架線金具の画像又は前記架線金具以外の画像を格子状に分割し、分割された前記ラインセンサ画像中から前記架線金具の画像又は前記架線金具以外の画像を切り出す判定画像切り出し工程である
ことを特徴とする。
Further, an overhead wire fitting detection method according to an eighth invention for solving the above problems is, in the seventh invention,
The image clipping step divides the image of the overhead wire fitting or the image other than the overhead wire fitting into a grid pattern, and cuts out the image of the overhead wire fitting or the image other than the overhead wire fitting from the divided line sensor image. It is characterized by being a cutting process.
また、上記の課題を解決するための第９の発明に係る架線金具検出方法は、第８の発明において、
前記人工知能機能は、予め取得したラインセンサ画像を格子状に分割し、分割された各画像について、前記架線金具が存在し正解フラグが付された画像と、前記架線金具以外が存在し不正解フラグが付された画像とに基づいて、予め前記架線金具と前記架線金具以外の２クラス識別学習を行った学習済みの畳み込みニューラルネットワークである
ことを特徴とする。
Further, a wire fitting detection method according to a ninth invention for solving the above problems is, in the eighth invention,
The artificial intelligence function divides the line sensor image obtained in advance into a grid pattern, and for each of the divided images, an image in which the overhead wire fitting exists and a correct flag is attached, and an incorrect answer in which a wire fitting other than the overhead wire fitting exists. The convolutional neural network is a trained convolutional neural network in which 2-class discrimination learning for the overhead wire fitting and other than the overhead wire fitting is carried out in advance based on the flagged image.
また、上記の課題を解決するための第１０の発明に係る架線金具検出方法は、第７の発明において、
前記明るさ補正処理を行った前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定する昼夜判定工程と、
前記ラインセンサ画像に対し、前記昼夜判定工程で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転工程と、
前記画像輝度反転工程で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理工程と、
前記メディアンフィルタ処理工程でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行うＧＳＴＨ処理工程と、
前記ＧＳＴＨ処理工程でＧＳＴＨ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理工程と、
前記グレースケールオープニング処理工程でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理工程と、
前記二値化処理工程で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理工程と、
前記クロージング処理工程でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理工程と
をさらに含み、
前記画像切り出し工程が、前記金具候補検出処理部で検出した金具候補の情報に基づいて前記画像から金具候補の画像を切り出す金具候補画像切り出し工程である
ことを特徴とする。
Further, a wire fitting detection method according to a tenth invention for solving the above problems is, in the seventh invention,
a day/night determination step of determining whether the brightness of each image signal subjected to the brightness correction process is equivalent to daytime or equivalent to nighttime;
an image brightness reversal step of performing a brightness reversal process on the image signal determined to have brightness equivalent to daytime in the day/night determination step with respect to the line sensor image;
a median filter processing step of performing median filtering on the line sensor image subjected to the luminance inversion processing in the image luminance inversion step;
A GSTH processing step of performing GSTH processing in the extension direction of the overhead wire on the line sensor image that has undergone median filtering in the median filtering step;
A grayscale opening processing step of performing a grayscale opening processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image subjected to the GSTH processing in the GSTH processing step;
a binarization processing step of performing binarization processing on the line sensor image that has undergone grayscale opening processing in the grayscale opening processing step;
A closing processing step of performing closing processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has undergone the binarization processing in the binarization processing step;
a metal fitting candidate detection processing step of detecting a white mass from the line sensor image subjected to the closing processing in the closing processing step, and detecting the wire metal fitting candidate from the size of the detected white mass. ,
The image clipping step is a metal fitting candidate image clipping step of cutting out an image of the metal fitting candidate from the image based on information of the metal fitting candidate detected by the metal fitting candidate detection processing section.
また、上記の課題を解決するための第１１の発明に係る架線金具検出方法は、第１０の発明において、
前記人工知能機能は、予め取得したラインセンサ画像中に存在する前記架線金具の部分を切り出して正解フラグを付した画像と、予め取得したラインセンサ画像中に存在する前記架線金具以外の部分を切り出して不正解フラグを付した画像とに基づいて、予め前記架線金具と前記架線金具以外の２クラス識別学習を行った学習済みの畳み込みニューラルネットワークである
ことを特徴とする。
Further, an overhead wire fitting detection method according to an eleventh invention for solving the above problems is, in the tenth invention,
The artificial intelligence function extracts an image with a correct flag attached by cutting out the wire fitting part existing in the line sensor image acquired in advance, and extracting the part other than the overhead wire fitting existing in the line sensor image acquired in advance. It is a pre-trained convolutional neural network in which two-class discrimination learning of the wire fitting and other than the wire fitting is carried out in advance based on an image flagged with an incorrect answer.
また、上記の課題を解決するための第１２の発明に係る架線金具検出方法は、第１０又は第１１の発明において、
前記事前処理工程は、
予め取得した前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正処理を行う明るさ補正工程と、
明るさ補正処理を行った前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定する昼夜判定工程と、
昼夜判定工程で昼夜判定を行った前記ラインセンサ画像に対し、前記昼夜判定工程で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転工程と、
前記画像輝度反転工程で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理工程と、
前記メディアンフィルタ処理工程でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行うＧＳＴＨ処理工程と、
前記ＧＳＴＨ処理工程でＧＳＴＨ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理工程と、
前記グレースケールオープニング処理工程でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理工程と、
前記二値化処理工程で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理工程と、
前記クロージング処理工程でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理工程と、
前記金具候補検出処理工程で検出した金具候補の情報に基づいて前記ラインセンサ画像から金具候補の画像を切り出す金具候補画像切り出し工程と、
前記金具候補画像切り出し工程で切り出され正解フラグが付された画像と、前記金具候補画像切り出し部で切り出され不正解フラグが付された画像とを前記人工知能機能に入力して前記人工知能機能の学習を行う重み学習工程と
を含むことを特徴とする。
Further, a wire fitting detection method according to a twelfth invention for solving the above problems is the tenth or eleventh invention,
The pretreatment step includes
a brightness correction step of performing a brightness correction process for increasing the difference between brightness and darkness in the image signal on the line sensor image obtained in advance;
a day/night determination step of determining whether the brightness of each image signal subjected to brightness correction processing is equivalent to daytime or equivalent to nighttime;
an image brightness reversing step of performing a brightness reversal process on the image signal whose brightness is determined to be equivalent to daytime in the day/night determination step with respect to the line sensor image subjected to the day/night determination in the day/night determination step;
a median filter processing step of performing median filtering on the line sensor image subjected to the luminance inversion processing in the image luminance inversion step;
A GSTH processing step of performing GSTH processing in the extension direction of the overhead wire on the line sensor image that has undergone median filtering in the median filtering step;
A grayscale opening processing step of performing a grayscale opening processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image subjected to the GSTH processing in the GSTH processing step;
a binarization processing step of performing binarization processing on the line sensor image that has undergone grayscale opening processing in the grayscale opening processing step;
A closing processing step of performing closing processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has undergone the binarization processing in the binarization processing step;
a metal fitting candidate detection processing step of detecting a white mass from the line sensor image subjected to the closing processing in the closing processing step and detecting the wire metal fitting candidate from the size of the detected white mass;
a metal fitting candidate image cutting step of cutting out an image of a metal fitting candidate from the line sensor image based on information of the metal fitting candidate detected in the metal fitting candidate detection processing step;
The image clipped in the metal fitting candidate image clipping step and flagged with a correct answer and the image clipped by the metal clip candidate image clipping unit and flagged with an incorrect flag are input to the artificial intelligence function to perform the artificial intelligence function. and a weight learning step of performing learning.
本発明に係る架線金具検出装置および架線金具検出方法によれば、人工知能機能を利用して金具判定を行うことにより、誤検出を含む検出箇所の中から架線金具以外を除外し、架線金具のみを正しく検出することができる。 According to the overhead wire fitting detection device and the overhead wire fitting detection method according to the present invention, by performing fitting determination using an artificial intelligence function, parts other than overhead wire fittings are excluded from detection locations including erroneous detection, and only overhead wire fittings are detected. can be detected correctly.
以下、図面を参照しつつ本発明に係る架線金具検出装置および架線金具検出方法について説明する。 DESCRIPTION OF THE PREFERRED EMBODIMENTS An overhead wire fitting detection device and an overhead wire fitting detection method according to the present invention will be described below with reference to the drawings.
ここで、以下の説明において「架線金具」とは以下のものを指すものとする。
・ハンガー、ドロッパ、コネクタ、ダブルイヤー
・曲線引架線金具、支持物
これらが本発明に係る架線金具検出装置および架線金具検出方法によって検出できるものである。
Here, in the following description, the term "wire fitting" refers to the following.
Hangers, droppers, connectors, double-ear/curved wire fittings, supports These can be detected by the wire fitting detection device and the wire fitting detection method according to the present invention.
本発明は、ラインセンサカメラによって取得した画像からまず架線を除去し、残った構造物を検出することにより、架線設備を枕木方向から見た際に、架線と異なる方向に延伸している架線金具を検出するものであり、図１３に示す交差架線金具８のように架線と同一方向に延伸している架線金具以外であれば、ハンガー６に限らずコネクタ７などの架線金具を検出することができる。換言すると、上述した架線金具（ハンガー６，コネクタ７）以外のものでも、架線と異なる方向に延伸している構造物であれば検出可能である。さらに、深層学習（機械学習）による架線金具の識別を行うことにより、従来、架線金具として誤検出されていた架線と異なる方向に延伸している背景物などを除外することが可能となる。
The present invention first removes the overhead wire from the image acquired by the line sensor camera, and detects the remaining structures. In addition to the overhead wire fittings extending in the same direction as the overhead wires, such as the
なお、本明細書において「ライン」は以下の意味とする。
ライン：ラインセンサカメラで車両の進行方向に直交する方向に沿ってスキャンした時に得られる測定面。例えばラインセンサカメラが１０００Ｈｚで測定する際、１秒間に得られるライン数は１０００ラインとなる。
In this specification, "line" means the following.
Line: A measurement surface obtained when scanning along a direction perpendicular to the vehicle's traveling direction with a line sensor camera. For example, when a line sensor camera measures at 1000 Hz, the number of lines obtained per second is 1000 lines.
図１から図７を用いて本発明の実施例１に係る架線金具検出装置および架線金具検出方法について説明する。 Embodiment 1 A wire fitting detection device and a wire fitting detection method according to a first embodiment of the present invention will be described with reference to FIGS. 1 to 7. FIG.
図１に示すように、本実施例において架線金具検出装置は、電車車両（以下、車両）１の屋根上に設置されたラインセンサカメラ２と、車両１の内部に設置された画像処理部３とを備えている。
また、トロリ線（架線）４はちょう架線５に概ね等間隔に設置された複数のハンガー６によって支持されている。
As shown in FIG. 1, the overhead wire fitting detection device in this embodiment includes a
The trolley wire (trolley wire) 4 is supported by a plurality of
ラインセンサカメラ２は、車両１の屋根上の側方に設置され、その光軸が車両１の進行方向に直交するように、且つ、その視野に一つのハンガー６が収まるように設置角度および仰角を設定されている。なお、図１中に示す一点鎖線はラインセンサカメラ２による撮影ラインである。ラインセンサカメラ２によって取得した画像信号（ライン）は画像処理部３に入力される。
The
画像処理部３は、ラインセンサカメラ２から入力される画像信号（ライン）を時系列に並べてなるラインセンサ画像を解析して架線金具を検出するものであり、演算装置３１と記録装置３２とから構成されている。
The
演算装置３１は、予め取得した架線金具の画像および架線金具以外の画像を用いて学習した人工知能機能を実装したものであり、図２に示すように、演算装置３１は事前処理部３１ａ、ラインセンサ画像作成部３１ｂ、明るさ補正部３１ｃ、判定画像切り出し部（画像切り出し部）３１ｄ、金具識別処理部３１ｅ、メモリＭ１およびメモリＭ２を備えている。画像処理部３の具体的な機能については図３に示すフローチャートと共に説明する。
The
（ステップＳ１）
事前処理部３１ａは、人工知能機能の学習を行う部分であり、画像データベース３１ａａ、正解データ作成部３１ａｂおよび重み学習部３１ａｃを備えている。画像処理部３では、まず事前処理部３１ａを利用して次のステップＳ１－１からステップＳ１－３の事前処理を行う。
(Step S1)
The
（ステップＳ１－１）
画像データベース３１ａａには、架線金具および架線金具以外をラインセンサカメラ２により撮影して取得した画像信号（ライン）を時系列的に並べて取得した例えば図４に示すような入力画像（以下、ラインセンサ画像）Ｌ０が予め多数保管されている。
(Step S1-1)
In the image database 31aa, an input image (hereinafter referred to as a line sensor Image) A large number of L0 are stored in advance.
そこで、まず、画像データベース３１ａａに保管されているラインセンサ画像Ｌ０を取得する。 Therefore, first, the line sensor image L0 stored in the image database 31aa is acquired.
（ステップＳ１－２）
続いて、画像データベース３１ａａから取得したラインセンサ画像Ｌ０を用いて正解データ作成部３１ａｂおよび手動で正解データの作成を行う。
(Step S1-2)
Subsequently, using the line sensor image L0 acquired from the image database 31aa, correct data is created by the correct data creating unit 31ab and manually.
本実施例において正解データは、ラインセンサ画像Ｌ０中の架線金具が存在する箇所の切り出し画像と正解フラグ、ラインセンサ画像Ｌ０中の架線金具以外の構造物（以下、単に架線金具以外という）が存在する箇所の切り出し画像と不正解フラグの二つを指す。 In this embodiment, the correct data includes a clipped image and a correct flag of a portion where an overhead wire fitting exists in the line sensor image L0, and a structure other than the overhead wire fitting in the line sensor image L0 (hereinafter simply referred to as a non-overhead wire fitting). It refers to the clipped image of the part to be answered and the incorrect answer flag.
例えば、図４に示すようなラインセンサ画像Ｌ０がある場合、符号９１，９２，９３が架線金具、９４が架線金具以外とすると、正解データは図５に示すＡ91，Ａ92，Ａ93およびＡ94となる。すなわち、本実施例では図５に示すように、正解データ作成部３１ａｂによりラインセンサ画像Ｌ０を格子状に分割する。その後、手動で架線金具９１，９２又は９３が存在する領域（図５中、一点鎖線で囲んで示す分割領域）には架線金具ラベル（正解フラグ）を、架線金具以外９４が存在する領域（図５中、二点鎖線で囲んで示す分割領域）には架線金具以外のラベル（不正解フラグ）を付与する。正解データ作成部３１ａｂは、架線金具ラベル又は架線金具以外のラベルを付与された部分を切り出し、畳み込みニューラルネットワーク（上記非特許文献１参照）に入力できる形状にリサイズする（以下、切り出した画像（正解データ）を切り出し画像Ａと称する）。
For example, when there is a line sensor image L0 as shown in FIG. 4, if reference numerals 91, 92, and 93 are overhead wire fittings, and 94 is a non-overhead wire fitting, the correct data are A91 , A92 , A93 and It becomes A94 . That is, in this embodiment, as shown in FIG. 5, the correct data generation unit 31ab divides the line sensor image L0 into a grid pattern. After that, the area where the
（ステップＳ１－３）
重み学習部３１ａｃは、リサイズされた切り出し画像Ａを、畳み込みニューラルネットワーク（ＣＮＮ）に入力し、架線金具と架線金具以外の２クラス識別の学習（機械学習）をさせる。
(Step S1-3)
The weight learning unit 31ac inputs the resized clipped image A to a convolutional neural network (CNN), and performs learning (machine learning) for two-class classification of wire fittings and non-wire fittings.
以下、図６を用いて重み学習部３１ａｃにおける機械学習の内容について大まかに説明する。図６に示すように、本実施例において、畳み込みニューラルネットワークＣＮＮは、５層の畳み込み層Ｃ１～Ｃ５（総称する場合は畳み込み層Ｃ）と３層の全結合層Ｄ１～Ｄ３（総称する場合は全結合層Ｄ）とから構成されている。 The contents of machine learning in the weight learning unit 31ac will be roughly described below with reference to FIG. As shown in FIG. 6, in the present embodiment, the convolutional neural network CNN includes five convolutional layers C1 to C5 (generically the convolutional layer C) and three fully connected layers D1 to D3 (generically It is composed of a fully connected layer D).
畳み込み層Ｃでは、畳み込みフィルタ処理と、プーリング処理と、正規化処理とを行う。 The convolution layer C performs convolution filter processing, pooling processing, and normalization processing.
畳み込みフィルタ処理では、図７に示すように例えばａ×ａの入力画像（ここでは、リサイズされた切り出し画像Ａ）に対して畳み込み処理を適用する。畳み込み処理とは、リサイズされた切り出し画像Ａに対し一定サイズごとに重み付き和を取る処理のことである。このときの重み係数のことをフィルタＦと呼ぶ。フィルタＦのサイズがｆ×ｆ［pixel］の場合、リサイズされた切り出し画像Ａ上でフィルタＦを移動させながらｆ×ｆ［pixel］の領域ごとに重み付き和を取る。この処理を、リサイズされた切り出し画像Ａ全体に対して行う。 In the convolution filter process, as shown in FIG. 7, for example, a convolution process is applied to an a×a input image (here, the resized clipped image A). The convolution process is a process of obtaining a weighted sum for each fixed size of the resized clipped image A. FIG. The weighting coefficient at this time is called a filter F. When the size of the filter F is f×f [pixel], the weighted sum is calculated for each area of f×f [pixel] while moving the filter F on the resized clipped image A. This process is performed on the entire resized clipped image A. FIG.
畳み込みフィルタ処理は具体的には、入力に対し、どの部分を強調しどの部分を平滑化すべきかなどの重み係数を表すフィルタＦとの重み付き和を取ることで、リサイズされた切り出し画像Ａの特徴マップＭを作成する処理のことである。特徴マップＭによりエッジ特徴等の画像の濃淡パターンを抽出することが可能になる。また、局所的な領域からフィルタＦを通して特徴を抽出するため、物体の位置の空間的なずれに頑健になる。 Specifically, the convolution filter processing is performed by taking a weighted sum of the input with a filter F representing a weighting factor such as which part should be emphasized and which part should be smoothed, so that the resized clipped image A is obtained. This is the process of creating the feature map M. The feature map M makes it possible to extract the density pattern of the image such as the edge feature. In addition, since features are extracted from a local area through the filter F, it is robust against spatial displacement of the position of the object.
そして、プーリング処理とは、入力データをより扱いやすくするために、情報を圧縮する処理のことである。本実施例では、局所領域から出力が最大となる部分を選択して次の層に継承するマックスプーリング処理を行う。これにより、画像の特徴に特化した最適な特徴のみを後続の層に継承することが可能となる。 Pooling processing is processing for compressing information in order to make input data easier to handle. In this embodiment, a max pooling process is performed in which a portion having the maximum output is selected from the local region and inherited to the next layer. This makes it possible to inherit only the optimal features specific to the features of the image to subsequent layers.
正規化処理とは、濃淡変化が強調されるように正規化を行う処理のことである。上記の畳み込み層は２クラス分類のための特徴抽出をするというよりは、リサイズされた切り出し画像Ａに対して、画像らしい特徴（エッジや軌道の濃淡パターンなど）を抽出する処理である。 Normalization processing is processing for performing normalization so as to emphasize changes in gradation. The above-described convolution layer is a process of extracting image-like features (edges, trajectory shading patterns, etc.) for the resized clipped image A, rather than extracting features for two-class classification.
全結合層Ｄでは、上記畳み込み層を通して得られた各特徴マップＭから架線金具９１～９３と架線金具以外９４との２クラスの分類を行うために全特徴マップＭを結合する重みを学習させる。
In the fully connected layer D, weights for connecting all the feature maps M are learned in order to classify each feature map M obtained through the convolution layer into two classes, that is, the
重み学習部３１ａｃで学習した結果（以下、学習済みネットワーク）はメモリＭ２に保存される。 The result of learning by the weight learning unit 31ac (hereinafter referred to as a learned network) is stored in the memory M2.
車両１の走行中に実際に架線金具検出を行うときは、次のステップＳ２からステップＳ６の処理を行う。
When the wire fitting is actually detected while the
（ステップＳ２）
ラインセンサ画像作成部３１ｂは、車両１の走行中にラインセンサカメラ２から入力される画像信号（ライン）を時系列的に並べて、ラインセンサ画像Ｌ１を作成する。作成されたラインセンサ画像Ｌ１は、メモリＭ１に保存され、その後、メモリＭ２に保存される。
(Step S2)
The line sensor
（ステップＳ３）
明るさ補正部３１ｃは、ラインセンサ画像Ｌ１が入力されると、白と黒（明暗）の差を大きくするように輝度値を補正する明るさ補正処理を行って、明るさ補正処理後のラインセンサ画像（金具判定画像）Ｌ２をメモリＭ２へ保存する。
（ステップＳ４）
判定画像切り出し部３１ｄは、ラインセンサ画像Ｌ２が入力されると、ラインセンサ画像Ｌ２を格子状に分割して、分割後のラインセンサ画像（判定画像）Ｌ３をメモリＭ２へ保存する。
(Step S3)
When the line sensor image L1 is input, the
(Step S4)
When the line sensor image L2 is input, the determination
（ステップＳ５）
金具識別処理部３１ｅは、メモリＭ２から学習済みネットワークとラインセンサ画像Ｌ３とを読み出して、ラインセンサ画像Ｌ３を学習済みネットワークに入力し、金具識別ラベルとそのときの金具識別確率を算出してそれぞれを金具識別ラベルデータ，金具識別確率データとしてメモリＭ２へ保存すると共に、金具識別ラベルおよび金具識別確率に基づき架線金具ラベルであると判定された箇所を架線金具存在箇所として金具判定結果、金具位置情報をメモリＭ２へ保存する。
（ステップＳ６）
上述したステップＳ２からステップＳ５までの処理を検査が終了するまで繰り返す。
(Step S5)
The metal fitting
(Step S6)
The processing from step S2 to step S5 described above is repeated until the inspection is completed.
このように構成される本実施例に係る架線金具検出装置および架線金具検出方法によれば、人工知能機能を利用して金具判定を行うことにより、誤検出を含む検出箇所の中から架線金具以外を除外し、架線金具のみを正しく検出することができる。また、ラインセンサ画像Ｌ１全体を金具識別対象領域とすることにより、従来架線金具検出処理で未検出となってしまっていた架線金具であっても、検出することが可能となる。また、識別対象箇所の個数が一定であるため、一定の処理時間で架線金具検出が可能となる。 According to the overhead wire fitting detection device and the overhead wire fitting detection method according to the present embodiment configured as described above, by performing fitting determination using the artificial intelligence function, detection points other than the overhead wire fitting are selected from among detection points including erroneous detection. can be excluded and only overhead wire fittings can be detected correctly. Further, by setting the entire line sensor image L1 as the metal fitting identification target area, it becomes possible to detect even the metal fittings that have not been detected in the conventional metal fitting detection process. In addition, since the number of identification target locations is constant, it is possible to detect overhead wire fittings in a constant processing time.
なお、本実施例では車両１にラインセンサカメラ２および画像処理部３を設置する例を示したが、本発明は上述した実施例に限定されるものではなく、車両１以外の鉄道車両（例えば、気動車）にラインセンサカメラ２および画像処理部３を設置して架線金具の検出を行うなど、本発明の趣旨を逸脱しない範囲で種々の変更が可能であることは言うまでもない。
In this embodiment, an example in which the
図８から図１０を用いて本発明の実施例２に係る架線金具検出装置および架線金具検出方法について説明する。 Embodiment 2 A wiring fitting detection device and a wiring fitting detection method according to a second embodiment of the present invention will be described with reference to FIGS. 8 to 10. FIG.
図８に示すように、本実施例において演算装置３１は、図２に示し上述した事前処理部３１ａ、ラインセンサ画像作成部３１ｂ、明るさ補正部３１ｃ、金具識別処理部３１ｅと、昼夜判定部３１ｆ、画像輝度反転部３１ｇ、メディアンフィルタ処理部３１ｈ、ＧＳＴＨ処理部３１ｉ、グレースケールオープニング処理部３１ｊ、二値化処理部３１ｋ、クロージング処理部３１ｌ、ラベリング処理部３１ｍ、金具候補検出処理部３１ｎおよび金具候補画像切り出し部３１ｏとを備えている。本実施例における画像処理部３の具体的な機能については図９に示すフローチャートと共に説明する。
As shown in FIG. 8, the
なお、演算装置３１以外の構成は実施例１と概ね同様であるので、以下、重複する説明は省略する。
Since the configuration other than the
（ステップＳ１１）
事前処理部３１ａは、実施例１と同様に、画像データベース３１ａａ、正解データ作成部３１ａｂおよび重み学習部３１ａｃを備えている。画像処理部３では、まず事前処理部３１ａを利用して次のステップＳ１１－１からステップＳ１１－３の事前処理を行う。
（ステップＳ１１－１）
まず、画像データベース３１ａａに保管されているラインセンサ画像Ｌ０を取得する。
（ステップＳ１１－２）
本実施例では実施例１に比較して、正解データを作成する手順が異なる。すなわち、本実施例では、ラインセンサ画像Ｌ０を格子状に分割することはせず、図１０に示すように、手動で直接架線金具９１，９２，９３および架線金具以外の構造物９４を囲み、架線金具９１，９２又は９３が存在する領域（図１０中、実線で囲んで示す領域）には架線金具ラベルを、架線金具以外９４が存在する領域（図１０中、破線で囲んで示す領域）には架線金具以外のラベルを付与する。正解データ作成部３１ａｂは、手動で囲んだ部分（以下、切り出し画像）Ｂ91，Ｂ92，Ｂ93，Ｂ94を切り出し、畳み込みニューラルネットワークに入力できる形状にリサイズする。
(Step S11)
The
(Step S11-1)
First, the line sensor image L0 stored in the image database 31aa is obtained.
(Step S11-2)
This embodiment differs from the first embodiment in the procedure for creating correct data. That is, in this embodiment, the line sensor image L0 is not divided into a grid pattern, and as shown in FIG. The wiring fitting label is placed in the area where the wiring fitting 91, 92 or 93 exists (the area surrounded by the solid line in FIG. 10), and the area where the wiring fitting 94 other than the wiring fitting exists (the area surrounded by the broken line in FIG. 10). Labels other than overhead wire fittings are given to . The correct data creation unit 31ab cuts out the manually surrounded portions (hereinafter referred to as cutout images) B91 , B92 , B93 , and B94 , and resizes them into a shape that can be input to the convolutional neural network.
（ステップＳ１１－３）
重み学習部３１ａｃは、リサイズされた切り出し画像Ｂ91，Ｂ92，Ｂ93，Ｂ94を、畳み込みニューラルネットワーク（ＣＮＮ）に入力し、架線金具と架線金具以外の２クラス識別の学習（機械学習）をさせる。
(Step S11-3)
The weight learning unit 31ac inputs the resized clipped images B 91 , B 92 , B 93 , and B 94 to a convolutional neural network (CNN), and learns (machine learning) two-class classification of overhead wire fittings and non-overhead wire fittings. Let
車両１の走行中に実際に架線金具検出を行うときは、次のステップＳ１２からステップＳ２５の処理を行う。
When the wire fitting is actually detected while the
（ステップＳ１２）
ラインセンサ画像作成部３１ｂは、車両１の走行中にラインセンサカメラ２から入力される画像信号（ライン）を時系列的に並べて、ラインセンサ画像Ｌ１を作成する。作成されたラインセンサ画像Ｌ１は、メモリＭ１に保存され、その後、メモリＭ２に保存される。
(Step S12)
The line sensor
（ステップＳ１３）
明るさ補正部３１ｃは、ラインセンサ画像Ｌ１が入力されると、白と黒（明暗）の差を大きくするように輝度値を補正する明るさ補正処理を行って、明るさ補正処理後のラインセンサ画像Ｌ１２をメモリＭ２へ保存する。
(Step S13)
When the line sensor image L1 is input, the
（ステップＳ１４）
昼夜判定部３１ｆは、ラインセンサ画像Ｌ１２が入力されると、ラインセンサ画像Ｌ１２を構成するそれぞれのラインに対して昼夜判定処理を行う。つまり、各ラインの明るさが昼（昼と同等）なのか夜（夜と同等）なのかを判定する。判定基準は、各ラインにおいて、その明るさの中央値が閾値以上であれば昼とし、閾値未満であれば夜とする。各ラインに対する昼夜判定処理の結果は昼夜フラグデータとしてメモリＭ２へ保存する。
(Step S14)
When the line sensor image L12 is input, the day/
（ステップＳ１５）
画像輝度反転部３１ｇは、ラインセンサ画像Ｌ１２および昼夜フラグデータが入力されると、ラインセンサ画像Ｌ１２の輝度値を反転させる輝度反転処理を行う。このとき、昼夜フラグデータに基づいて、昼夜判定部３１ｆで明るさが昼（昼と同等）と判定されたラインのみに輝度反転を行って、輝度反転処理後のラインセンサ画像Ｌ１３をメモリＭ２へ保存する。
(Step S15)
When the line sensor image L12 and the day/night flag data are input, the image
（ステップＳ１６）
メディアンフィルタ処理部３１ｈは、ラインセンサ画像Ｌ１３が入力されると、例えば明るさ補正部３１ｃにおける処理により背景に発生した白い点を除去するためにメディアンフィルタ処理を行い、メディアンフィルタ処理後のラインセンサ画像Ｌ１４をメモリＭ２へ保存する。
(Step S16)
When the line sensor image L13 is input, the median
（ステップＳ１７）
ＧＳＴＨ処理部３１ｉは、ラインセンサ画像Ｌ１４が入力されると、ラインセンサ画像Ｌ１４に対して横方向ではなく、縦方向にＧＳＴＨ処理を行う。具体的には、まず、縦方向にグレースケールオープニング処理（収縮してから膨張する処理）を行うことで、ハンガー６やコネクタ７等の横線を消す。ここで行う収縮膨脹の回数は、ハンガー６やコネクタ７の縦方向の長さよりも大きな値に設定することで、ハンガー６やコネクタ７等の横線を消すことができるようになる。続いて、ラインセンサ画像Ｌ１４からグレースケールオープニング処理をした画像を引くことでハンガー６やコネクタ７、そして、トロリ線４やちょう架線５の縁のみが残るようなラインセンサ画像Ｌ１５を得ることができ、これをメモリＭ２へ保存する。
(Step S17)
When the line sensor image L14 is input, the
（ステップＳ１８）
グレースケールオープニング処理部３１ｊは、ラインセンサ画像Ｌ１５が入力されると、ラインセンサ画像Ｌ１５中に残ったトロリ線４やちょう架線５の縁を消すため、横方向にグレースケールオープニング処理を行う。具体的には、ラインセンサ画像Ｌ１５中に残ったトロリ線４やちょう架線５の縁よりも大きな値でグレースケールオープニング処理を行うことで、トロリ線４やちょう架線５の縁を消去したラインセンサ画像Ｌ１６を得ることができ、これをメモリＭ２へ保存する。
(Step S18)
When the line sensor image L15 is input, the grayscale
（ステップＳ１９）
二値化処理部３１ｋは、ラインセンサ画像Ｌ１６が入力されると、グレースケールを白黒二値に変換する二値化処理を行う。このときの二値化しきい値は、背景よりも大きく、かつ、非常に小さな輝度値（例えば、１０等）を設定する。つまり、背景の輝度値よりも大きな値は全て２５５に変換する。この処理により、二値化されたラインセンサ画像Ｌ１７を得ることができ、これをメモリＭ２へ保存する。
(Step S19)
When the line sensor image L16 is input, the
（ステップＳ２０）
クロージング処理部３１ｌは、ラインセンサ画像Ｌ１７が入力されると、途切れた塊をつなげるため、横方向にクロージング処理（膨脹してから収縮する処理）を行う。このとき、クロージング処理の膨張収縮回数は、トロリ線４やちょう架線５の幅よりも大きな値を設定する。この処理により、トロリ線４やちょう架線５の幅で一度途切れたハンガー６やコネクタ７の架線金具が再度つながった二値化のラインセンサ画像Ｌ１８を得ることができ、これをメモリＭ２へ保存する。
(Step S20)
When the line sensor image L17 is input, the closing processing unit 31l performs a closing process (a process of expanding and then contracting) in the horizontal direction in order to connect the disconnected blocks. At this time, the number of times of expansion and contraction in the closing process is set to a value larger than the width of the
（ステップＳ２１）
ラベリング処理部３１ｍは、ラインセンサ画像Ｌ１８が入力されると、二値化画像の白色塊を検出し、それぞれの塊にラベル付けをするラベリング処理を行い、検出した白色塊の各々にラベルを付けたラベル付きラインセンサ画像Ｌ１９をメモリＭ２へ保存する。
(Step S21)
When the line sensor image L18 is input, the
（ステップＳ２２）
金具候補検出処理部３１ｎは、ラベル付きラインセンサ画像Ｌ１９が入力されると、ラベルを付与した白色塊の大きさに基づいて、架線金具かノイズかを判定する。大きさが小さいものはノイズであるとして除去し、一定の大きさ以上の白色塊を架線金具と判定し、架線金具と判定されたものの位置情報を金具候補位置情報としてメモリＭ２へ保存する。
(Step S22)
When the labeled line sensor image L19 is input, the metal fitting candidate
（ステップＳ２３）
金具候補画像切り出し部３１ｏは、金具候補位置情報に基づきラインセンサ画像Ｌ１から金具候補画像を切り出し、金具候補切り出し画像としてメモリＭ２へ保存する。
(Step S23)
The metal fitting candidate image clipping unit 31o cuts out metal fitting candidate images from the line sensor image L1 based on the metal fitting candidate position information, and stores them in the memory M2 as metal fitting candidate cutout images.
（ステップＳ２４）
金具識別処理部３１ｅは、メモリＭ２から学習済みネットワークと金具候補切り出し画像とを読み出して、金具候補切り出し画像を学習済みネットワークに入力し、金具識別ラベルとそのときの金具識別確率を算出してそれぞれを金具識別ラベルデータ，金具識別確率データとしてメモリＭ２へ保存すると共に、金具識別ラベルおよび金具識別確率に基づき架線金具ラベルであると判定された箇所を架線金具存在箇所として金具判定結果、金具位置情報をメモリＭ２へ保存する。
（ステップＳ２５）
以上に示したステップＳ１２からステップＳ２４の処理を検査が終了するまで繰り返す。
(Step S24)
The metal fitting
(Step S25)
The processing from step S12 to step S24 described above is repeated until the inspection is completed.
このように構成される本実施例に係る架線金具検出装置および架線金具検出方法によれば、人工知能機能を利用して金具判定を行うことにより、誤検出を含む検出箇所の中から特許文献４で誤検出されてしまっていた背景物を除去して、架線金具のみを正しく検出することが可能である。また、学習する画像データの見え方を統一することが可能である。そのため、学習する画像のばらつきが減り、学習が収束しやすくなり、識別精度が向上する。 According to the overhead wire fitting detection device and the overhead wire fitting detection method according to the present embodiment configured as described above, by performing the metal fitting determination using the artificial intelligence function, the detected parts including false detections can be selected from the detected parts including false detection. It is possible to remove background objects that have been erroneously detected in 1 and correctly detect only overhead wire fittings. In addition, it is possible to unify the appearance of image data to be learned. As a result, variations in images to be learned are reduced, learning is more likely to converge, and identification accuracy is improved.
なお、上述したラベリング処理部３１ｍは、視認性のためにはあったほうが良いが、必須ではない。ラベリング処理部３１ｍがない場合には、金具候補検出処理部３１ｎにはラインセンサ画像Ｌ１８が入力され、金具候補検出処理部３１ｎは、ラインセンサ画像Ｌ１８に対して白色塊の検出を行い、検出した白色塊の大きさによって架線金具かノイズかを判定すればよい。
Note that the above-described
図１１および図１２を用いて本発明の実施例３に係る架線金具検出装置および架線金具検出方法について説明する。本実施例は、上述した実施例２に比較して、事前処理部３１ａにより正解データを作成する手法が異なるものである。その他の構成は実施例２と同様であり、以下、実施例２と重複する説明は省略する。
Embodiment 3 A wire fitting detection device and a wire fitting detection method according to a third embodiment of the present invention will be described with reference to FIGS. 11 and 12. FIG. This embodiment differs from the above-described second embodiment in the method of creating correct data by the
図１１に示すように、本実施例において事前処理部３１ａは、上述した画像データベース３１ａａ、正解データ作成部３１ａｂおよび重み学習部３１ａｃと、金具候補検出部３１ａｄとを備えている。本実施例における画像処理部３の機能については図１２に示すフローチャートと共に説明する。
（ステップＳ３１）
画像処理部３では、まず事前処理部３１ａを利用して次のステップＳ３１－１～ステップＳ３１－５の事前処理を行う。
As shown in FIG. 11, in this embodiment, the
(Step S31)
In the
（ステップＳ３１－１）
まず、画像データベース３１ａａに保管されているラインセンサ画像Ｌ０を取得する。
（ステップＳ３１－２）
金具候補検出部３１ａｄは、図９に示し上述したステップＳ１３からステップＳ２３と同様の処理を行う。なお、図１１では、簡単のため図８に示し上述した明るさ補正部３１ｃ、昼夜判定部３１ｆ、画像輝度反転部３１ｇ、メディアンフィルタ処理部３１ｈ、ＧＳＴＨ処理部３１ｉ、グレースケールオープニング処理部３１ｊ、二値化処理部３１ｋ、クロージング処理部３１ｌ、ラベリング処理部３１ｍ、架線金具検出処理部３１ｎ、金具候補画像切り出し部３１ｏをまとめて金具候補検出部３１ａｄとして示している。
(Step S31-1)
First, the line sensor image L0 stored in the image database 31aa is acquired.
(Step S31-2)
The metal fitting candidate detection unit 31ad performs the same processing as steps S13 to S23 shown in FIG. 9 and described above. 11, for simplicity, the
要するに、本実施例において事前処理部３１ａでは、画像データベース３１ａａから取得したラインセンサ画像Ｌ０に対して上述したステップＳ１３からステップＳ２３までの処理により金具候補切り出し画像を切り出す。すなわち、実施例２では手動で金具位置を検出し、ラベル付けを行っていたが、本実施例では、画像データベース３１ａａから取得したラインセンサ画像Ｌ０に対して、画像処理により金具候補を検出し、検出された金具候補の位置情報を基に検出箇所を金具候補切り出し画像として切り出す。
In short, in the present embodiment, the
（ステップＳ３１－３）
金具候補検出部３１ａｄにより切り出した金具候補切り出し画像に対し、手動で、架線金具９１，９２又は９３が存在する領域（図１０中、実線で囲んで示す領域）には架線金具ラベルを、架線金具以外９４が存在する領域（図１０中、破線で囲んで示す領域）には架線金具以外のラベルを付与する。
(Step S31-3)
For the metal fitting candidate cutout image cut out by the metal fitting candidate detection unit 31ad, the area where the overhead wire fitting 91, 92, or 93 exists (the area surrounded by the solid line in FIG. 10) is manually labeled, and the overhead wire fitting A region where there is a non-wire 94 (a region surrounded by a dashed line in FIG. 10) is given a label other than wire fitting.
（ステップＳ３１－４）
正解データ作成部ａｂは、ラベルを付与された金具候補切り出し画像を、畳み込みニューラルネットワークに入力できる形状にリサイズして正解データとする。
(Step S31-4)
The correct data creation unit ab resizes the labeled metal fitting candidate clipped image into a shape that can be input to the convolutional neural network to obtain correct data.
（ステップＳ３１－５）
重み学習部３１ａｃは、リサイズされた金具候補切り出し画像を、畳み込みニューラルネットワーク（ＣＮＮ）に入力し、架線金具と架線金具以外の２クラス識別の学習（機械学習）をさせる。
(Step S31-5)
The weight learning unit 31ac inputs the resized metal fitting candidate clipped image to a convolutional neural network (CNN), and performs learning (machine learning) for two-class classification of wire metal fittings and non-wire metal fittings.
車両１の走行中に実際に架線金具検出を行うときは、次のステップＳ３２からステップＳ３４の処理を行う。
When the wire fitting is actually detected while the
（ステップＳ３２）
ラインセンサ画像作成部３１ｂは、車両１の走行中にラインセンサカメラ２から入力される画像信号（ライン）を時系列的に並べて、ラインセンサ画像Ｌ１を作成する。作成されたラインセンサ画像Ｌ１は、メモリＭ１に保存され、その後、メモリＭ２に保存される。
(Step S32)
The line sensor
（ステップＳ３３）
金具識別部３１ｐは、上述した実施例２で説明したステップＳ１３からステップＳ２４と同様の処理を行う。なお、図１１では、簡単のため図８に示し上述した明るさ補正部３１ｃ、昼夜判定部３１ｆ、画像輝度反転部３１ｇ、メディアンフィルタ処理部３１ｈ、ＧＳＴＨ処理部３１ｉ、グレースケールオープニング処理部３１ｊ、二値化処理部３１ｋ、クロージング処理部３１ｌ、ラベリング処理部３１ｍ、架線金具検出処理部３１ｎ、金具候補画像切り出し部３１ｏ、および金具識別処理部３１ｅをまとめて金具候補検出部３１ｐとして示している。
（ステップＳ３４）
ステップＳ３２からステップＳ３３の処理を検査が終了するまで繰り返す。
(Step S33)
The metal
(Step S34)
The processing from step S32 to step S33 is repeated until the inspection is completed.
このように構成されることにより、例えば、実施例２では、学習する画像のばらつきが減り、学習が収束しやすくなり、学習精度が向上するものの、実際に入力される金具候補切り出し画像とは乖離がある場合があるため、未知の画像に対する識別精度が悪くなってしまう可能性があるのに対し、本実施例に係る架線金具検出装置および架線金具検出方法によれば、事前学習部３１ａにおいて、架線金具検出処理によって検出された画像に対してラベル付けを行うことにより、実際に金具識別部３１ｐに入力される画像に近い画像で機械学習を行うことができるため、識別精度が向上する。
With this configuration, for example, in the second embodiment, variations in images to be learned are reduced, learning is more likely to converge, and learning accuracy is improved. Therefore, there is a possibility that the accuracy of identifying an unknown image may be degraded. By labeling the image detected by the overhead wire fitting detection process, machine learning can be performed with an image that is close to the image actually input to the
１ 電車車両
２ ラインセンサカメラ
３ 画像処理部
４ トロリ線
５ ちょう架線
６ ハンガー
７ コネクタ
８ 交差架線金具
３１ 演算装置
３１ａ 事前処理部
３１ａａ 画像データベース
３１ａｂ 正解データ作成部
３１ａｃ 重み学習部
３１ａｄ 金具候補検出部
３１ｂ ラインセンサ画像作成部
３１ｃ 明るさ補正部
３１ｄ 判定画像切り出し部
３１ｅ 金具識別処理部
３１ｆ 昼夜判定部
３１ｇ 画像輝度反転部
３１ｈ メディアンフィルタ処理部
３１ｉ ＧＳＴＨ処理部
３１ｊ グレースケールオープニング処理部
３１ｋ 二値化処理部
３１ｌ クロージング処理部
３１ｍ ラベリング処理部
３１ｎ 金具候補検出処理部
３１ｏ 金具候補画像切り出し部
３１ｐ 金具識別部
３２ 記録装置
９１～９３ 架線金具
９４ 架線金具以外
Ａ91～Ａ93，Ｂ91～Ｂ93 架線金具ラベル
Ａ94，Ｂ94 架線金具以外ラベル
Ｍ１，Ｍ２ メモリ
1
Claims (10)
前記ラインセンサカメラから出力された画像信号を時系列に並べて作成したラインセンサ画像に対し、画像処理を行って、前記画像の中から架線金具を検出する画像処理部とを有し、
前記画像処理部は、
予め取得した前記架線金具の画像および前記架線金具以外の画像を用いて学習した人工知能機能を実装した演算装置を備え、
前記演算装置は、
前記人工知能機能の学習を行う事前処理部と、
前記車両の走行中に前記ラインセンサカメラから入力される画像信号からラインセンサ画像を作成するラインセンサ画像作成部と、
前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正処理を行う明るさ補正部と、
前記明るさ補正処理を行った前記ラインセンサ画像から前記架線金具又は前記架線金具以外を切り出した切り出し画像を作成する画像切り出し部と、
前記切り出し画像を前記人工知能機能に入力することにより前記架線金具の識別を行う金具識別処理部と
を備え、
前記画像切り出し部は、
前記明るさ補正処理を行った前記ラインセンサ画像を格子状に分割し、分割された前記ラインセンサ画像中から前記架線金具の画像又は前記架線金具以外の画像を切り出す判定画像切り出し部である
ことを特徴とする架線金具検出装置。 a line sensor camera that captures an image of overhead wires and overhead wire equipment perpendicularly to the traveling direction of the railway vehicle while the railway vehicle is running;
an image processing unit that performs image processing on a line sensor image created by arranging image signals output from the line sensor camera in time series, and detects an overhead wire fitting from the image;
The image processing unit
An arithmetic device equipped with an artificial intelligence function learned using an image of the overhead wire fitting obtained in advance and an image other than the overhead wire fitting,
The computing device is
a preprocessing unit that learns the artificial intelligence function;
a line sensor image creation unit that creates a line sensor image from an image signal input from the line sensor camera while the vehicle is running;
a brightness correction unit that performs a brightness correction process for increasing the difference between brightness and darkness in the image signal with respect to the line sensor image;
an image clipping unit that creates a clipped image clipped from the line sensor image that has undergone the brightness correction process and the overhead wire fitting or other than the overhead wire fitting;
a fitting identification processing unit that identifies the overhead wire fitting by inputting the clipped image to the artificial intelligence function ,
The image clipping unit
a determination image clipping unit that divides the line sensor image that has undergone the brightness correction process into a grid pattern, and cuts out an image of the overhead wire fitting or an image other than the overhead wire fitting from the divided line sensor image.
An overhead wire fitting detection device characterized by:
ことを特徴とする請求項１に記載の架線金具検出装置。 The artificial intelligence function divides the line sensor image obtained in advance into a grid pattern, and for each of the divided images, an image in which the overhead wire fitting exists and a correct flag is attached, and an incorrect answer in which a wire fitting other than the overhead wire fitting exists. 2. The overhead wire fitting detection according to claim 1 , wherein the trained convolutional neural network is a pre-trained convolutional neural network in which two-class discrimination learning of the overhead wire fitting and the wire fitting other than the overhead wire fitting is carried out in advance based on the flagged image. Device.
前記明るさ補正処理を行った前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定する昼夜判定部と、
前記画像に対し、前記昼夜判定部で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転部と、
前記画像輝度反転部で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理部と、
前記メディアンフィルタ処理部でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行うＧＳＴＨ処理部と、
前記ＧＳＴＨ処理部でＧＳＴＨ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理部と、
前記グレースケールオープニング処理部でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理部と、
前記二値化処理部で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理部と、
前記クロージング処理部でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理部と
をさらに備え、
前記画像切り出し部が、前記金具候補検出処理部で検出した金具候補の情報に基づいて前記画像から金具候補の画像を切り出す金具候補画像切り出し部である
ことを特徴とする請求項１に記載の架線金具検出装置。 The computing device is
a day/night determining unit that determines whether the brightness of each of the image signals subjected to the brightness correction process is equivalent to daytime or equivalent to nighttime;
an image brightness reversing unit that performs a brightness reversal process on the image signal determined by the day/night determining unit to be equivalent in brightness to daytime;
a median filter processing unit that performs median filter processing on the line sensor image that has been subjected to the brightness inversion processing by the image brightness inversion unit;
a GSTH processing unit that performs GSTH processing in the extending direction of the overhead wire on the line sensor image that has been subjected to median filtering by the median filtering unit;
a grayscale opening processing unit that performs grayscale opening processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has been subjected to the GSTH processing by the GSTH processing unit;
a binarization processing unit that performs binarization processing on the line sensor image that has undergone grayscale opening processing in the grayscale opening processing unit;
a closing processing unit that performs closing processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has been subjected to the binarization processing by the binarization processing unit;
a metal fitting candidate detection processing unit that detects a white mass from the line sensor image that has been subjected to the closing processing by the closing processing unit, and detects the overhead wire metal fitting candidate from the size of the detected white mass. ,
2. The overhead wire according to claim 1, wherein the image clipping unit is a metal fitting candidate image clipping unit that cuts out an image of the metal fitting candidate from the image based on the metal fitting candidate information detected by the metal fitting candidate detection processing unit. Hardware detection device.
ことを特徴とする請求項３に記載の架線金具検出装置。 The artificial intelligence function extracts an image with a correct flag attached by cutting out the wire fitting part existing in the line sensor image acquired in advance, and extracting the part other than the overhead wire fitting existing in the line sensor image acquired in advance. 4. The overhead wire according to claim 3 , wherein the trained convolutional neural network is a pre-trained convolutional neural network in which two-class discrimination learning of the wire fitting and the wire fitting other than the wire fitting is performed in advance based on the image to which an incorrect answer flag is attached. Hardware detection device.
予め取得した前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正処理を行う明るさ補正部と、
明るさ補正処理を行った前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定する昼夜判定部と、
昼夜判定部で昼夜判定を行った前記ラインセンサ画像に対し、前記昼夜判定部で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転部と、
前記画像輝度反転部で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理部と、
前記メディアンフィルタ処理部でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行うＧＳＴＨ処理部と、
前記ＧＳＴＨ処理部でＧＳＴＨ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理部と、
前記グレースケールオープニング処理部でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理部と、
前記二値化処理部で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理部と、
前記クロージング処理部でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理部と、
前記金具候補検出処理部で検出した金具候補の情報に基づいて前記ラインセンサ画像から金具候補の画像を切り出す金具候補画像切り出し部と、
前記金具候補画像切り出し部で切り出され正解フラグが付された画像と、前記金具候補画像切り出し部で切り出され不正解フラグが付された画像とを前記人工知能機能に入力して前記人工知能機能の学習を行う重み学習部と
を備えることを特徴とする請求項３又は請求項４に記載の架線金具検出装置。 The preprocessing unit is
a brightness correction unit that performs a brightness correction process for increasing a difference between light and dark in the image signal with respect to the previously acquired line sensor image;
a day/night determination unit that determines whether the brightness of each image signal subjected to brightness correction processing is equivalent to daytime or equivalent to nighttime;
an image brightness reversing unit that performs a brightness reversal process on the image signal determined by the day/night determination unit to have brightness equivalent to that of daytime with respect to the line sensor image subjected to the day/night determination by the day/night determination unit;
a median filter processing unit that performs median filter processing on the line sensor image that has been subjected to the brightness inversion processing by the image brightness inversion unit;
a GSTH processing unit that performs GSTH processing in the extending direction of the overhead wire on the line sensor image that has been subjected to median filtering by the median filtering unit;
a grayscale opening processing unit that performs grayscale opening processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has been subjected to the GSTH processing by the GSTH processing unit;
a binarization processing unit that performs binarization processing on the line sensor image that has undergone grayscale opening processing in the grayscale opening processing unit;
a closing processing unit that performs closing processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has been subjected to the binarization processing by the binarization processing unit;
a metal fitting candidate detection processing unit that detects a white mass from the line sensor image that has been subjected to the closing processing by the closing processing unit, and detects the wire metal fitting candidate from the size of the detected white mass;
a metal fitting candidate image clipping unit that cuts out an image of a metal fitting candidate from the line sensor image based on information on the metal fitting candidate detected by the metal fitting candidate detection processing unit;
The image clipped by the metal fitting candidate image clipping unit and flagged with a correct answer and the image clipped by the metal fitting candidate image clipping unit and flagged with an incorrect flag are input to the artificial intelligence function to perform the artificial intelligence function. 5. The overhead wire fitting detection device according to claim 3 , further comprising a weight learning unit that performs learning.
鉄道車両の走行中に架線および架線設備を前記鉄道車両の進行方向に対して垂直に撮影するラインセンサカメラから出力された画像信号を時系列に並べてラインセンサ画像を作成する画像作成工程と、
前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正工程と、
明るさ補正を行った前記ラインセンサ画像から前記架線金具又は前記架線金具以外を切り出す画像切り出し工程と、
切り出した画像を、前記事前処理工程により学習した前記人工知能機能に入力して前記架線金具の識別を行う金具判定工程と
を含み、
前記画像切り出し工程が、前記架線金具の画像又は前記架線金具以外の画像を格子状に分割し、分割された前記ラインセンサ画像中から前記架線金具の画像又は前記架線金具以外の画像を切り出す判定画像切り出し工程である
ことを特徴とする架線金具検出方法。 A pre-processing step of learning an artificial intelligence function using an image of an overhead wire fitting obtained in advance and an image other than the overhead wire fitting;
an image creation step of creating a line sensor image by arranging in time series image signals output from a line sensor camera that captures an image of an overhead wire and overhead wire equipment perpendicular to the traveling direction of the rail vehicle while the rail vehicle is running;
a brightness correction step of increasing a difference between light and dark in the image signal with respect to the line sensor image;
an image clipping step of clipping the overhead wire fitting or other than the overhead wire fitting from the line sensor image subjected to brightness correction;
a metal fitting determination step of inputting the clipped image to the artificial intelligence function learned in the preprocessing step to identify the overhead wire metal fitting ,
The image clipping step divides the image of the overhead wire fitting or the image other than the overhead wire fitting into a grid pattern, and cuts out the image of the overhead wire fitting or the image other than the overhead wire fitting from the divided line sensor image. cutting process
An overhead wire fitting detection method characterized by:
ことを特徴とする請求項６に記載の架線金具検出方法。 The artificial intelligence function divides the line sensor image obtained in advance into a grid pattern, and for each of the divided images, an image in which the overhead wire fitting exists and a correct flag is attached, and an incorrect answer in which a wire fitting other than the overhead wire fitting exists. 7. The wire fitting detection according to claim 6 , wherein the trained convolutional neural network is a pre-trained convolutional neural network in which two-class discrimination learning of the wire fitting and the wire fitting other than the wire fitting is carried out in advance based on the flagged image. Method.
前記ラインセンサ画像に対し、前記昼夜判定工程で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転工程と、
前記画像輝度反転工程で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理工程と、
前記メディアンフィルタ処理工程でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行うＧＳＴＨ処理工程と、
前記ＧＳＴＨ処理工程でＧＳＴＨ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理工程と、
前記グレースケールオープニング処理工程でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理工程と、
前記二値化処理工程で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理工程と、
前記クロージング処理工程でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理工程と
をさらに含み、
前記画像切り出し工程が、前記金具候補検出処理工程で検出した金具候補の情報に基づいて前記画像から金具候補の画像を切り出す金具候補画像切り出し工程である
ことを特徴とする請求項６に記載の架線金具検出方法。 a day/night determination step of determining whether the brightness of each image signal subjected to the brightness correction process is equivalent to daytime or equivalent to nighttime;
an image brightness reversal step of performing a brightness reversal process on the image signal determined to have brightness equivalent to daytime in the day/night determination step with respect to the line sensor image;
a median filter processing step of performing median filtering on the line sensor image subjected to the luminance inversion processing in the image luminance inversion step;
A GSTH processing step of performing GSTH processing in the extension direction of the overhead wire on the line sensor image that has undergone median filtering in the median filtering step;
A grayscale opening processing step of performing a grayscale opening processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image subjected to the GSTH processing in the GSTH processing step;
a binarization processing step of performing binarization processing on the line sensor image that has undergone grayscale opening processing in the grayscale opening processing step;
A closing processing step of performing closing processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has undergone the binarization processing in the binarization processing step;
a metal fitting candidate detection processing step of detecting a white mass from the line sensor image subjected to the closing processing in the closing processing step, and detecting the wire metal fitting candidate from the size of the detected white mass. ,
7. The overhead wire according to claim 6 , wherein the image clipping step is a metal fitting candidate image clipping step of cutting out an image of the metal fitting candidate from the image based on the metal fitting candidate information detected in the metal fitting candidate detection processing step. Hardware detection method.
ことを特徴とする請求項８に記載の架線金具検出方法。 The artificial intelligence function extracts an image with a correct flag attached by cutting out the wire fitting part existing in the line sensor image acquired in advance, and extracting the part other than the overhead wire fitting existing in the line sensor image acquired in advance. 9. The overhead wire according to claim 8 , wherein the trained convolutional neural network is a pre-trained convolutional neural network that has previously performed two-class discrimination learning of the overhead wire fitting and the other than the overhead wire fitting based on the image to which an incorrect flag is attached. Hardware detection method.
予め取得した前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正処理を行う明るさ補正工程と、
明るさ補正処理を行った前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定する昼夜判定工程と、
昼夜判定工程で昼夜判定を行った前記ラインセンサ画像に対し、前記昼夜判定工程で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転工程と、
前記画像輝度反転工程で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理工程と、
前記メディアンフィルタ処理工程でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行うＧＳＴＨ処理工程と、
前記ＧＳＴＨ処理工程でＧＳＴＨ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理工程と、
前記グレースケールオープニング処理工程でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理工程と、
前記二値化処理工程で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理工程と、
前記クロージング処理工程でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理工程と、
前記金具候補検出処理工程で検出した金具候補の情報に基づいて前記ラインセンサ画像から金具候補の画像を切り出す金具候補画像切り出し工程と、
前記金具候補画像切り出し工程で切り出され正解フラグが付された画像と、前記金具候補画像切り出し工程で切り出され不正解フラグが付された画像とを前記人工知能機能に入力して前記人工知能機能の学習を行う重み学習工程と
を含むことを特徴とする請求項８又は請求項９に記載の架線金具検出方法。 The pretreatment step includes
a brightness correction step of performing a brightness correction process for increasing the difference between brightness and darkness in the image signal on the line sensor image obtained in advance;
a day/night determination step of determining whether the brightness of each image signal subjected to brightness correction processing is equivalent to daytime or equivalent to nighttime;
an image brightness reversing step of performing a brightness reversal process on the image signal whose brightness is determined to be equivalent to daytime in the day/night determination step with respect to the line sensor image subjected to the day/night determination in the day/night determination step;
a median filter processing step of performing median filtering on the line sensor image subjected to the luminance inversion processing in the image luminance inversion step;
A GSTH processing step of performing GSTH processing in the extension direction of the overhead wire on the line sensor image that has undergone median filtering in the median filtering step;
A grayscale opening processing step of performing a grayscale opening processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image subjected to the GSTH processing in the GSTH processing step;
a binarization processing step of performing binarization processing on the line sensor image that has undergone grayscale opening processing in the grayscale opening processing step;
A closing processing step of performing closing processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has undergone the binarization processing in the binarization processing step;
a metal fitting candidate detection processing step of detecting a white mass from the line sensor image subjected to the closing processing in the closing processing step and detecting the wire metal fitting candidate from the size of the detected white mass;
a metal fitting candidate image cutting step of cutting out an image of a metal fitting candidate from the line sensor image based on information of the metal fitting candidate detected in the metal fitting candidate detection processing step;
The image cut out in the metal fitting candidate image cutout step and marked with a correct flag and the image cut out in the metal fitting candidate image cutout step and marked with an incorrect flag are input to the artificial intelligence function to perform the artificial intelligence function. 10. The wire fitting detection method according to claim 8 , further comprising a weight learning step of performing learning.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019045432A JP7299041B2 (en) | 2019-03-13 | 2019-03-13 | Overhead wire fitting detection device and overhead wire fitting detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019045432A JP7299041B2 (en) | 2019-03-13 | 2019-03-13 | Overhead wire fitting detection device and overhead wire fitting detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020147129A JP2020147129A (en) | 2020-09-17 |
| JP7299041B2 true JP7299041B2 (en) | 2023-06-27 |
Family
ID=72429153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019045432A Active JP7299041B2 (en) | 2019-03-13 | 2019-03-13 | Overhead wire fitting detection device and overhead wire fitting detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7299041B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113525183A (en) * | 2021-07-29 | 2021-10-22 | 北京南凯自动化***工程有限公司 | Railway contact net barrier cleaning system and method |
| JP2023075660A (en) * | 2021-11-19 | 2023-05-31 | 株式会社明電舎 | Line hardware abnormality detection apparatus and line hardware abnormality detection method |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005157679A (en) | 2003-11-25 | 2005-06-16 | Sony Corp | Object detecting device and method and group learning device and method |
| JP2011013720A (en) | 2009-06-30 | 2011-01-20 | Jfe Steel Corp | Method and device for creating category determination rule, and computer program |
| JP2016168937A (en) | 2015-03-13 | 2016-09-23 | 株式会社明電舎 | Hanger detection device by image processing |
| JP2017215743A (en) | 2016-05-31 | 2017-12-07 | クラリオン株式会社 | Image processing device, and external world recognition device |
| JP2018092238A (en) | 2016-11-30 | 2018-06-14 | 横河電機株式会社 | On-demand service providing system and on-demand service providing method |
| JP2018114935A (en) | 2017-01-20 | 2018-07-26 | 公益財団法人鉄道総合技術研究所 | Train line metal fitting detection system and its detection method |
| WO2018141995A1 (en) | 2017-02-06 | 2018-08-09 | Bilberry Sas | Weeding systems and methods, railway weeding vehicles |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6125137B1 (en) * | 2016-11-17 | 2017-05-10 | 三菱電機株式会社 | Water level measuring device and water level measuring method |
-
2019
- 2019-03-13 JP JP2019045432A patent/JP7299041B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005157679A (en) | 2003-11-25 | 2005-06-16 | Sony Corp | Object detecting device and method and group learning device and method |
| JP2011013720A (en) | 2009-06-30 | 2011-01-20 | Jfe Steel Corp | Method and device for creating category determination rule, and computer program |
| JP2016168937A (en) | 2015-03-13 | 2016-09-23 | 株式会社明電舎 | Hanger detection device by image processing |
| JP2017215743A (en) | 2016-05-31 | 2017-12-07 | クラリオン株式会社 | Image processing device, and external world recognition device |
| JP2018092238A (en) | 2016-11-30 | 2018-06-14 | 横河電機株式会社 | On-demand service providing system and on-demand service providing method |
| JP2018114935A (en) | 2017-01-20 | 2018-07-26 | 公益財団法人鉄道総合技術研究所 | Train line metal fitting detection system and its detection method |
| WO2018141995A1 (en) | 2017-02-06 | 2018-08-09 | Bilberry Sas | Weeding systems and methods, railway weeding vehicles |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020147129A (en) | 2020-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110555361B (en) | Image processing method for lane classification | |
| CN107154040B (en) | Tunnel lining surface image crack detection method | |
| CN112434695B (en) | Upper pull rod fault detection method based on deep learning | |
| CN103442209B (en) | Video monitoring method of electric transmission line | |
| CA2959967C (en) | Identification of a contact point between a pantograph and a power supply line in an image | |
| CN113436157B (en) | Vehicle-mounted image identification method for pantograph fault | |
| JP7299041B2 (en) | Overhead wire fitting detection device and overhead wire fitting detection method | |
| CN107428261B (en) | Lifting hook detection device based on image processing | |
| CN111325769A (en) | Target object detection method and device | |
| CN107909009B (en) | Obstacle detection method and device based on road surface learning | |
| CN112800974A (en) | Subway rail obstacle detection system and method based on machine vision | |
| Chatterjee et al. | A fast and accurate automated pavement crack detection algorithm | |
| JP6920979B2 (en) | Overhead wire fitting detection device and method | |
| JP2020149286A (en) | Overhead wire fitting detection device and overhead wire fitting detection method | |
| Katakam | Pavement crack detection system through localized thresholing | |
| JP2850608B2 (en) | Roadway detection device for vehicles | |
| CN116958837A (en) | Municipal facilities fault detection system based on unmanned aerial vehicle | |
| CN110503048A (en) | The identifying system and method for rigid contact net suspension arrangement | |
| Ma et al. | Road extraction from ETM panchromatic image based on dual-edge following | |
| JP3333468B2 (en) | Roadway image processing device for autonomous running of vehicles | |
| KR102585146B1 (en) | Pothole detection device and method based on deep learning | |
| JP3232064B2 (en) | Target area extraction method for color images | |
| Wang et al. | High-speed acquisition and intelligent tunnel surface defects recognition | |
| CA2958903A1 (en) | Identification of a pantograph represented in an image | |
| JP3232065B2 (en) | A method for merging multiple regions in a color image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190403 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190403 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190529 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190618 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190911 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210721 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220722 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220726 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220922 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230303 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230523 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230615 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7299041 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |