JP7299041B2 - Overhead wire fitting detection device and overhead wire fitting detection method - Google Patents
Overhead wire fitting detection device and overhead wire fitting detection method Download PDFInfo
- Publication number
- JP7299041B2 JP7299041B2 JP2019045432A JP2019045432A JP7299041B2 JP 7299041 B2 JP7299041 B2 JP 7299041B2 JP 2019045432 A JP2019045432 A JP 2019045432A JP 2019045432 A JP2019045432 A JP 2019045432A JP 7299041 B2 JP7299041 B2 JP 7299041B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- line sensor
- processing
- overhead wire
- fitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、ハンガーをはじめとする架線金具を画像処理によって検出する架線金具検出装置および架線金具検出方法に関する。 The present invention relates to an overhead wire fitting detection device and an overhead wire fitting detection method for detecting overhead wire fittings such as hangers by image processing.
鉄道事業者では、長距離に亘る鉄道軌道に沿って設置された電車線の検査を行う必要がある。電車線としてのハンガーをはじめとする架線金具は、従来、保守員の目視によって営業車や軌陸車あるいは線路上から確認される。この作業にかかる保守員の労力を低減するため、電車線の検査の自動化によって業務を省力化することが望まれている。例えば、架線金具の検査において、鉄道軌道を走行する鉄道車両の屋根上にラインセンサカメラを設置して撮影したトロリ線近傍の画像を用いて架線金具の画像を検出する方法がある。そして、この架線金具の画像からハンガーの画像を検出してその検査や良否判定を行うものである。 A railway operator needs to inspect contact lines installed along a long-distance railway track. Conventionally, overhead wire fittings such as hangers as overhead contact lines are visually checked by maintenance personnel from commercial vehicles, rail vehicles, or on railroad tracks. In order to reduce the labor of maintenance personnel involved in this work, it is desired to save labor by automating the inspection of contact lines. For example, in the inspection of overhead wire fittings, there is a method of detecting an image of overhead wire fittings using an image of the vicinity of a trolley wire captured by a line sensor camera installed on the roof of a railcar running on a railroad track. Then, the image of the hanger is detected from the image of the wire fitting, and the inspection and quality judgment are performed.
一般に、正常なハンガーは鉛直に架設されているが、温度変化等により鉛直方向に対して傾斜すると電車の集電特性を劣化させるため、ハンガーの角度や位置を把握することも要求されている。 In general, normal hangers are installed vertically, but if they are tilted from the vertical direction due to temperature changes, etc., the current collection characteristics of the train will deteriorate, so it is also required to know the angle and position of the hangers.
ここで、下記特許文献1には、撮影した画像からテンプレートマッチング処理、または鉛直方向のエッジ検出処理によって、ハンガーを検出する技術が開示されている。また下記特許文献2には、撮影した画像から、Hough変換処理によりハンガーを検出する技術が開示されている。
Here,
また、下記特許文献3には、GSTH処理を応用することで、ハンガーを検出する技術が開示されている。特許文献3によれば、架線に対して交差する長方形形状をしたハンガーを検出することができる。
Further,
また、本出願人は、特許文献4で、ハンガーだけではなく、コネクタなどの架線金具を検出することを可能とした技術を提案した。特許文献1~3に開示された技術が、ハンガーのように架線に交差する方向に延びるものを検出する技術であるのに対し、特許文献4では架線をまず初めに除去し、残った構造物を検出することで、電車線を枕木方向から見た際(図13)に、架線と異なる方向に延伸している架線金具を検出することができる。
In addition, in
しかしながら、特許文献1,2に開示された発明は、単純な線条構成であればハンガー検出が可能であるが、わたり線や、オーバーラップ箇所など、複数の線条が交差する箇所では、ハンガー検出が難しい。
すなわち、特許文献1は鉛直方向のエッジ検出によってハンガーを検出する。一般的なエッジ検出は2pixel間の微分値の大きい箇所をエッジとして検出するが、2pixel間という局所的な検出では、誤検出が多くなる可能性があるという問題があった。
また、特許文献2は、Hough変換処理によりハンガーを検出する。Hough変換は画像全体の特徴とハンガー特徴との相対的な投票量を用いてハンガーを検出するので、画像全体に対して小さく写るハンガーを検出することが難しいという問題があった。
However, the inventions disclosed in
That is,
Further,
また、特許文献3は、例えばコネクタのような、長方形ではなく曲線を持つような形状のものは検出できないという問題があった。
In addition,
特許文献4は、背景に架線と異なる方向に延伸している背景物やノイズが存在する場合に、それらを架線金具として誤検出してしまう可能性があるという問題があった。
このようなことから本発明は、架線金具のみを正しく検出することを可能とした架線金具検出装置および架線金具検出方法を提供することを目的とする。 In view of the above, an object of the present invention is to provide an overhead wire fitting detection device and an overhead wire fitting detection method capable of correctly detecting only wire fittings.
上記の課題を解決するための第1の発明に係る架線金具検出装置は、
鉄道車両の走行中に架線および架線設備を前記鉄道車両の進行方向に対して垂直に撮影するラインセンサカメラと、
前記ラインセンサカメラから出力された画像信号を時系列に並べて作成したラインセンサ画像に対し、画像処理を行って、前記画像の中から架線金具を検出する画像処理部とを有し、
前記画像処理部は、
予め取得した前記架線金具の画像および前記架線金具以外の画像を用いて学習した人工知能機能を実装した演算装置を備え、
前記演算装置は、
前記人工知能機能の学習を行う事前処理部と、
前記車両の走行中に前記ラインセンサカメラから入力される画像信号からラインセンサ画像を作成するラインセンサ画像作成部と、
前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正処理を行う明るさ補正部と、
前記明るさ補正処理を行った前記ラインセンサ画像から前記架線金具又は前記架線金具以外を切り出した切り出し画像を作成する画像切り出し部と、
前記切り出し画像を前記人工知能機能に入力することにより前記架線金具の識別を行う金具識別処理部と
を備えることを特徴とする。
A wire fitting detection device according to a first invention for solving the above problems,
a line sensor camera that captures an image of overhead wires and overhead wire equipment perpendicularly to the traveling direction of the railway vehicle while the railway vehicle is running;
an image processing unit that performs image processing on a line sensor image created by arranging image signals output from the line sensor camera in time series, and detects an overhead wire fitting from the image;
The image processing unit
An arithmetic device equipped with an artificial intelligence function learned using an image of the overhead wire fitting obtained in advance and an image other than the overhead wire fitting,
The computing device is
a preprocessing unit that learns the artificial intelligence function;
a line sensor image creation unit that creates a line sensor image from an image signal input from the line sensor camera while the vehicle is running;
a brightness correction unit that performs a brightness correction process for increasing the difference between brightness and darkness in the image signal with respect to the line sensor image;
an image clipping unit that creates a clipped image clipped from the line sensor image that has undergone the brightness correction process and the overhead wire fitting or other than the overhead wire fitting;
and a fitting identification processing unit that identifies the overhead wire fitting by inputting the clipped image to the artificial intelligence function.
また、上記の課題を解決するための第2の発明に係る架線金具検出装置は、第1の発明において、
前記画像切り出し部は、
前記明るさ補正処理を行った前記ラインセンサ画像を格子状に分割し、分割された前記ラインセンサ画像中から前記架線金具の画像又は前記架線金具以外の画像を切り出す判定画像切り出し部である
ことを特徴とする。
Further, a wire fitting detection device according to a second invention for solving the above problems is the first invention,
The image clipping unit
The judgment image clipping unit splits the line sensor image that has undergone the brightness correction process into a grid pattern, and clips an image of the overhead wire fitting or an image other than the overhead wire fitting from the divided line sensor image. Characterized by
また、上記の課題を解決するための第3の発明に係る架線金具検出装置は、第2の発明において、
前記人工知能機能は、予め取得したラインセンサ画像を格子状に分割し、分割された各画像について、前記架線金具が存在し正解フラグが付された画像と、前記架線金具以外が存在し不正解フラグが付された画像とに基づいて、予め前記架線金具と前記架線金具以外の2クラス識別学習を行った学習済みの畳み込みニューラルネットワークである
ことを特徴とする。
Further, a wire fitting detection device according to a third invention for solving the above problems is, in the second invention,
The artificial intelligence function divides the line sensor image obtained in advance into a grid pattern, and for each of the divided images, an image in which the overhead wire fitting exists and a correct flag is attached, and an incorrect answer in which a wire fitting other than the overhead wire fitting exists. The convolutional neural network is a trained convolutional neural network in which 2-class discrimination learning for the overhead wire fitting and other than the overhead wire fitting is carried out in advance based on the flagged image.
また、上記の課題を解決するための第4の発明に係る架線金具検出装置は、第1の発明において、
前記演算装置は、
前記明るさ補正処理を行った前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定する昼夜判定部と、
前記画像に対し、前記昼夜判定部で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転部と、
前記画像輝度反転部で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理部と、
前記メディアンフィルタ処理部でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にGSTH処理を行うGSTH処理部と、
前記GSTH処理部でGSTH処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理部と、
前記グレースケールオープニング処理部でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理部と、
前記二値化処理部で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理部と、
前記クロージング処理部でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理部と
をさらに備え、
前記画像切り出し部が、前記金具候補検出処理部で検出した金具候補の情報に基づいて前記画像から金具候補の画像を切り出す金具候補画像切り出し部である
ことを特徴とする。
In addition, a wire fitting detection device according to a fourth invention for solving the above problems is the first invention,
The computing device is
a day/night determining unit that determines whether the brightness of each of the image signals subjected to the brightness correction process is equivalent to daytime or equivalent to nighttime;
an image brightness reversing unit that performs a brightness reversal process on the image signal determined by the day/night determining unit to be equivalent in brightness to daytime;
a median filter processing unit that performs median filter processing on the line sensor image that has been subjected to the brightness inversion processing by the image brightness inversion unit;
a GSTH processing unit that performs GSTH processing in the extending direction of the overhead wire on the line sensor image that has been subjected to median filtering by the median filtering unit;
a grayscale opening processing unit that performs grayscale opening processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has been subjected to the GSTH processing by the GSTH processing unit;
a binarization processing unit that performs binarization processing on the line sensor image that has undergone grayscale opening processing in the grayscale opening processing unit;
a closing processing unit that performs closing processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has been subjected to the binarization processing by the binarization processing unit;
a metal fitting candidate detection processing unit that detects a white mass from the line sensor image that has been subjected to the closing processing by the closing processing unit, and detects the overhead wire metal fitting candidate from the size of the detected white mass. ,
The image clipping unit is a metal fitting candidate image clipping unit that cuts out an image of the metal fitting candidate from the image based on the information of the metal fitting candidate detected by the metal fitting candidate detection processing unit.
また、上記の課題を解決するための第5の発明に係る架線金具検出装置は、第4の発明において、
前記人工知能機能は、予め取得したラインセンサ画像中に存在する前記架線金具の部分を切り出して正解フラグを付した画像と、予め取得したラインセンサ画像中に存在する前記架線金具以外の部分を切り出して不正解フラグを付した画像とに基づいて、予め前記架線金具と前記架線金具以外の2クラス識別学習を行った学習済みの畳み込みニューラルネットワークである
ことを特徴とする。
Further, a wire fitting detection device according to a fifth invention for solving the above problems is the fourth invention,
The artificial intelligence function extracts an image with a correct flag attached by cutting out the wire fitting part existing in the line sensor image acquired in advance, and extracting the part other than the overhead wire fitting existing in the line sensor image acquired in advance. It is a pre-trained convolutional neural network in which two-class discrimination learning of the wire fitting and other than the wire fitting is carried out in advance based on an image flagged with an incorrect answer.
また、上記の課題を解決するための第6の発明に係る架線金具検出装置は、第4又は第5の発明において、
前記事前処理部は、
予め取得した前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正処理を行う明るさ補正部と、
明るさ補正処理を行った前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定する昼夜判定部と、
昼夜判定部で昼夜判定を行った前記ラインセンサ画像に対し、前記昼夜判定部で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転部と、
前記画像輝度反転部で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理部と、
前記メディアンフィルタ処理部でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にGSTH処理を行うGSTH処理部と、
前記GSTH処理部でGSTH処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理部と、
前記グレースケールオープニング処理部でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理部と、
前記二値化処理部で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理部と、
前記クロージング処理部でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理部と、
前記金具候補検出処理部で検出した金具候補の情報に基づいて前記ラインセンサ画像から金具候補の画像を切り出す金具候補画像切り出し部と、
前記金具候補画像切り出し部で切り出され正解フラグが付された画像と、前記金具候補画像切り出し部で切り出され不正解フラグが付された画像とを前記人工知能機能に入力して前記人工知能機能の学習を行う重み学習部と
を備えることを特徴とする。
Further, a wire fitting detection device according to a sixth invention for solving the above problems is the fourth or fifth invention,
The preprocessing unit is
a brightness correction unit that performs a brightness correction process for increasing a difference between light and dark in the image signal with respect to the previously obtained line sensor image;
a day/night determination unit that determines whether the brightness of each image signal subjected to brightness correction processing is equivalent to daytime or equivalent to nighttime;
an image brightness reversing unit that performs a brightness reversal process on the image signal determined by the day/night determination unit to have brightness equivalent to that of daytime with respect to the line sensor image subjected to the day/night determination by the day/night determination unit;
a median filter processing unit that performs median filter processing on the line sensor image that has been subjected to the brightness inversion processing by the image brightness inversion unit;
a GSTH processing unit that performs GSTH processing in the extending direction of the overhead wire on the line sensor image that has been subjected to median filtering by the median filtering unit;
a grayscale opening processing unit that performs grayscale opening processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has been subjected to the GSTH processing by the GSTH processing unit;
a binarization processing unit that performs binarization processing on the line sensor image that has undergone grayscale opening processing in the grayscale opening processing unit;
a closing processing unit that performs closing processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has been subjected to the binarization processing by the binarization processing unit;
a metal fitting candidate detection processing unit that detects a white mass from the line sensor image that has been subjected to the closing processing by the closing processing unit, and detects the wire metal fitting candidate from the size of the detected white mass;
a metal fitting candidate image clipping unit that cuts out an image of a metal fitting candidate from the line sensor image based on information on the metal fitting candidate detected by the metal fitting candidate detection processing unit;
The image clipped by the metal fitting candidate image clipping unit and flagged with a correct answer and the image clipped by the metal fitting candidate image clipping unit and flagged with an incorrect flag are input to the artificial intelligence function to perform the artificial intelligence function. and a weight learning unit that performs learning.
また、上記の課題を解決するための第7の発明に係る架線金具検出方法は、
予め取得した架線金具の画像および前記架線金具以外の画像を用いて人工知能機能の学習を行う事前処理工程と、
鉄道車両の走行中に架線および架線設備を前記鉄道車両の進行方向に対して垂直に撮影するラインセンサカメラから出力された画像信号を時系列に並べてラインセンサ画像を作成する画像作成工程と、
前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正工程と、
明るさ補正を行った前記ラインセンサ画像から前記架線金具又は前記架線金具以外を切り出す画像切り出し工程と、
切り出した画像を、前記事前処理工程により学習した前記人工知能機能に入力して前記架線金具の識別を行う金具判定工程と
を含むことを特徴とする。
In addition, a wire fitting detection method according to a seventh invention for solving the above problems,
A pre-processing step of learning an artificial intelligence function using an image of an overhead wire fitting obtained in advance and an image other than the overhead wire fitting;
an image creation step of creating a line sensor image by arranging in time series image signals output from a line sensor camera that captures an image of an overhead wire and overhead wire equipment perpendicular to the traveling direction of the rail vehicle while the rail vehicle is running;
a brightness correction step of increasing a difference between light and dark in the image signal with respect to the line sensor image;
an image clipping step of clipping the overhead wire fitting or other than the overhead wire fitting from the line sensor image subjected to brightness correction;
and a fitting determination step of inputting the clipped image to the artificial intelligence function learned in the preprocessing step to identify the overhead wire fitting.
また、上記の課題を解決するための第8の発明に係る架線金具検出方法は、第7の発明において、
前記画像切り出し工程が、前記架線金具の画像又は前記架線金具以外の画像を格子状に分割し、分割された前記ラインセンサ画像中から前記架線金具の画像又は前記架線金具以外の画像を切り出す判定画像切り出し工程である
ことを特徴とする。
Further, an overhead wire fitting detection method according to an eighth invention for solving the above problems is, in the seventh invention,
The image clipping step divides the image of the overhead wire fitting or the image other than the overhead wire fitting into a grid pattern, and cuts out the image of the overhead wire fitting or the image other than the overhead wire fitting from the divided line sensor image. It is characterized by being a cutting process.
また、上記の課題を解決するための第9の発明に係る架線金具検出方法は、第8の発明において、
前記人工知能機能は、予め取得したラインセンサ画像を格子状に分割し、分割された各画像について、前記架線金具が存在し正解フラグが付された画像と、前記架線金具以外が存在し不正解フラグが付された画像とに基づいて、予め前記架線金具と前記架線金具以外の2クラス識別学習を行った学習済みの畳み込みニューラルネットワークである
ことを特徴とする。
Further, a wire fitting detection method according to a ninth invention for solving the above problems is, in the eighth invention,
The artificial intelligence function divides the line sensor image obtained in advance into a grid pattern, and for each of the divided images, an image in which the overhead wire fitting exists and a correct flag is attached, and an incorrect answer in which a wire fitting other than the overhead wire fitting exists. The convolutional neural network is a trained convolutional neural network in which 2-class discrimination learning for the overhead wire fitting and other than the overhead wire fitting is carried out in advance based on the flagged image.
また、上記の課題を解決するための第10の発明に係る架線金具検出方法は、第7の発明において、
前記明るさ補正処理を行った前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定する昼夜判定工程と、
前記ラインセンサ画像に対し、前記昼夜判定工程で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転工程と、
前記画像輝度反転工程で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理工程と、
前記メディアンフィルタ処理工程でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にGSTH処理を行うGSTH処理工程と、
前記GSTH処理工程でGSTH処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理工程と、
前記グレースケールオープニング処理工程でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理工程と、
前記二値化処理工程で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理工程と、
前記クロージング処理工程でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理工程と
をさらに含み、
前記画像切り出し工程が、前記金具候補検出処理部で検出した金具候補の情報に基づいて前記画像から金具候補の画像を切り出す金具候補画像切り出し工程である
ことを特徴とする。
Further, a wire fitting detection method according to a tenth invention for solving the above problems is, in the seventh invention,
a day/night determination step of determining whether the brightness of each image signal subjected to the brightness correction process is equivalent to daytime or equivalent to nighttime;
an image brightness reversal step of performing a brightness reversal process on the image signal determined to have brightness equivalent to daytime in the day/night determination step with respect to the line sensor image;
a median filter processing step of performing median filtering on the line sensor image subjected to the luminance inversion processing in the image luminance inversion step;
A GSTH processing step of performing GSTH processing in the extension direction of the overhead wire on the line sensor image that has undergone median filtering in the median filtering step;
A grayscale opening processing step of performing a grayscale opening processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image subjected to the GSTH processing in the GSTH processing step;
a binarization processing step of performing binarization processing on the line sensor image that has undergone grayscale opening processing in the grayscale opening processing step;
A closing processing step of performing closing processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has undergone the binarization processing in the binarization processing step;
a metal fitting candidate detection processing step of detecting a white mass from the line sensor image subjected to the closing processing in the closing processing step, and detecting the wire metal fitting candidate from the size of the detected white mass. ,
The image clipping step is a metal fitting candidate image clipping step of cutting out an image of the metal fitting candidate from the image based on information of the metal fitting candidate detected by the metal fitting candidate detection processing section.
また、上記の課題を解決するための第11の発明に係る架線金具検出方法は、第10の発明において、
前記人工知能機能は、予め取得したラインセンサ画像中に存在する前記架線金具の部分を切り出して正解フラグを付した画像と、予め取得したラインセンサ画像中に存在する前記架線金具以外の部分を切り出して不正解フラグを付した画像とに基づいて、予め前記架線金具と前記架線金具以外の2クラス識別学習を行った学習済みの畳み込みニューラルネットワークである
ことを特徴とする。
Further, an overhead wire fitting detection method according to an eleventh invention for solving the above problems is, in the tenth invention,
The artificial intelligence function extracts an image with a correct flag attached by cutting out the wire fitting part existing in the line sensor image acquired in advance, and extracting the part other than the overhead wire fitting existing in the line sensor image acquired in advance. It is a pre-trained convolutional neural network in which two-class discrimination learning of the wire fitting and other than the wire fitting is carried out in advance based on an image flagged with an incorrect answer.
また、上記の課題を解決するための第12の発明に係る架線金具検出方法は、第10又は第11の発明において、
前記事前処理工程は、
予め取得した前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正処理を行う明るさ補正工程と、
明るさ補正処理を行った前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定する昼夜判定工程と、
昼夜判定工程で昼夜判定を行った前記ラインセンサ画像に対し、前記昼夜判定工程で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転工程と、
前記画像輝度反転工程で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理工程と、
前記メディアンフィルタ処理工程でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にGSTH処理を行うGSTH処理工程と、
前記GSTH処理工程でGSTH処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理工程と、
前記グレースケールオープニング処理工程でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理工程と、
前記二値化処理工程で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理工程と、
前記クロージング処理工程でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理工程と、
前記金具候補検出処理工程で検出した金具候補の情報に基づいて前記ラインセンサ画像から金具候補の画像を切り出す金具候補画像切り出し工程と、
前記金具候補画像切り出し工程で切り出され正解フラグが付された画像と、前記金具候補画像切り出し部で切り出され不正解フラグが付された画像とを前記人工知能機能に入力して前記人工知能機能の学習を行う重み学習工程と
を含むことを特徴とする。
Further, a wire fitting detection method according to a twelfth invention for solving the above problems is the tenth or eleventh invention,
The pretreatment step includes
a brightness correction step of performing a brightness correction process for increasing the difference between brightness and darkness in the image signal on the line sensor image obtained in advance;
a day/night determination step of determining whether the brightness of each image signal subjected to brightness correction processing is equivalent to daytime or equivalent to nighttime;
an image brightness reversing step of performing a brightness reversal process on the image signal whose brightness is determined to be equivalent to daytime in the day/night determination step with respect to the line sensor image subjected to the day/night determination in the day/night determination step;
a median filter processing step of performing median filtering on the line sensor image subjected to the luminance inversion processing in the image luminance inversion step;
A GSTH processing step of performing GSTH processing in the extension direction of the overhead wire on the line sensor image that has undergone median filtering in the median filtering step;
A grayscale opening processing step of performing a grayscale opening processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image subjected to the GSTH processing in the GSTH processing step;
a binarization processing step of performing binarization processing on the line sensor image that has undergone grayscale opening processing in the grayscale opening processing step;
A closing processing step of performing closing processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has undergone the binarization processing in the binarization processing step;
a metal fitting candidate detection processing step of detecting a white mass from the line sensor image subjected to the closing processing in the closing processing step and detecting the wire metal fitting candidate from the size of the detected white mass;
a metal fitting candidate image cutting step of cutting out an image of a metal fitting candidate from the line sensor image based on information of the metal fitting candidate detected in the metal fitting candidate detection processing step;
The image clipped in the metal fitting candidate image clipping step and flagged with a correct answer and the image clipped by the metal clip candidate image clipping unit and flagged with an incorrect flag are input to the artificial intelligence function to perform the artificial intelligence function. and a weight learning step of performing learning.
本発明に係る架線金具検出装置および架線金具検出方法によれば、人工知能機能を利用して金具判定を行うことにより、誤検出を含む検出箇所の中から架線金具以外を除外し、架線金具のみを正しく検出することができる。 According to the overhead wire fitting detection device and the overhead wire fitting detection method according to the present invention, by performing fitting determination using an artificial intelligence function, parts other than overhead wire fittings are excluded from detection locations including erroneous detection, and only overhead wire fittings are detected. can be detected correctly.
以下、図面を参照しつつ本発明に係る架線金具検出装置および架線金具検出方法について説明する。 DESCRIPTION OF THE PREFERRED EMBODIMENTS An overhead wire fitting detection device and an overhead wire fitting detection method according to the present invention will be described below with reference to the drawings.
ここで、以下の説明において「架線金具」とは以下のものを指すものとする。
・ハンガー、ドロッパ、コネクタ、ダブルイヤー
・曲線引架線金具、支持物
これらが本発明に係る架線金具検出装置および架線金具検出方法によって検出できるものである。
Here, in the following description, the term "wire fitting" refers to the following.
Hangers, droppers, connectors, double-ear/curved wire fittings, supports These can be detected by the wire fitting detection device and the wire fitting detection method according to the present invention.
本発明は、ラインセンサカメラによって取得した画像からまず架線を除去し、残った構造物を検出することにより、架線設備を枕木方向から見た際に、架線と異なる方向に延伸している架線金具を検出するものであり、図13に示す交差架線金具8のように架線と同一方向に延伸している架線金具以外であれば、ハンガー6に限らずコネクタ7などの架線金具を検出することができる。換言すると、上述した架線金具(ハンガー6,コネクタ7)以外のものでも、架線と異なる方向に延伸している構造物であれば検出可能である。さらに、深層学習(機械学習)による架線金具の識別を行うことにより、従来、架線金具として誤検出されていた架線と異なる方向に延伸している背景物などを除外することが可能となる。
The present invention first removes the overhead wire from the image acquired by the line sensor camera, and detects the remaining structures. In addition to the overhead wire fittings extending in the same direction as the overhead wires, such as the
なお、本明細書において「ライン」は以下の意味とする。
ライン:ラインセンサカメラで車両の進行方向に直交する方向に沿ってスキャンした時に得られる測定面。例えばラインセンサカメラが1000Hzで測定する際、1秒間に得られるライン数は1000ラインとなる。
In this specification, "line" means the following.
Line: A measurement surface obtained when scanning along a direction perpendicular to the vehicle's traveling direction with a line sensor camera. For example, when a line sensor camera measures at 1000 Hz, the number of lines obtained per second is 1000 lines.
図1から図7を用いて本発明の実施例1に係る架線金具検出装置および架線金具検出方法について説明する。 Embodiment 1 A wire fitting detection device and a wire fitting detection method according to a first embodiment of the present invention will be described with reference to FIGS. 1 to 7. FIG.
図1に示すように、本実施例において架線金具検出装置は、電車車両(以下、車両)1の屋根上に設置されたラインセンサカメラ2と、車両1の内部に設置された画像処理部3とを備えている。
また、トロリ線(架線)4はちょう架線5に概ね等間隔に設置された複数のハンガー6によって支持されている。
As shown in FIG. 1, the overhead wire fitting detection device in this embodiment includes a
The trolley wire (trolley wire) 4 is supported by a plurality of
ラインセンサカメラ2は、車両1の屋根上の側方に設置され、その光軸が車両1の進行方向に直交するように、且つ、その視野に一つのハンガー6が収まるように設置角度および仰角を設定されている。なお、図1中に示す一点鎖線はラインセンサカメラ2による撮影ラインである。ラインセンサカメラ2によって取得した画像信号(ライン)は画像処理部3に入力される。
The
画像処理部3は、ラインセンサカメラ2から入力される画像信号(ライン)を時系列に並べてなるラインセンサ画像を解析して架線金具を検出するものであり、演算装置31と記録装置32とから構成されている。
The
演算装置31は、予め取得した架線金具の画像および架線金具以外の画像を用いて学習した人工知能機能を実装したものであり、図2に示すように、演算装置31は事前処理部31a、ラインセンサ画像作成部31b、明るさ補正部31c、判定画像切り出し部(画像切り出し部)31d、金具識別処理部31e、メモリM1およびメモリM2を備えている。画像処理部3の具体的な機能については図3に示すフローチャートと共に説明する。
The
(ステップS1)
事前処理部31aは、人工知能機能の学習を行う部分であり、画像データベース31aa、正解データ作成部31abおよび重み学習部31acを備えている。画像処理部3では、まず事前処理部31aを利用して次のステップS1-1からステップS1-3の事前処理を行う。
(Step S1)
The
(ステップS1-1)
画像データベース31aaには、架線金具および架線金具以外をラインセンサカメラ2により撮影して取得した画像信号(ライン)を時系列的に並べて取得した例えば図4に示すような入力画像(以下、ラインセンサ画像)L0が予め多数保管されている。
(Step S1-1)
In the image database 31aa, an input image (hereinafter referred to as a line sensor Image) A large number of L0 are stored in advance.
そこで、まず、画像データベース31aaに保管されているラインセンサ画像L0を取得する。 Therefore, first, the line sensor image L0 stored in the image database 31aa is acquired.
(ステップS1-2)
続いて、画像データベース31aaから取得したラインセンサ画像L0を用いて正解データ作成部31abおよび手動で正解データの作成を行う。
(Step S1-2)
Subsequently, using the line sensor image L0 acquired from the image database 31aa, correct data is created by the correct data creating unit 31ab and manually.
本実施例において正解データは、ラインセンサ画像L0中の架線金具が存在する箇所の切り出し画像と正解フラグ、ラインセンサ画像L0中の架線金具以外の構造物(以下、単に架線金具以外という)が存在する箇所の切り出し画像と不正解フラグの二つを指す。 In this embodiment, the correct data includes a clipped image and a correct flag of a portion where an overhead wire fitting exists in the line sensor image L0, and a structure other than the overhead wire fitting in the line sensor image L0 (hereinafter simply referred to as a non-overhead wire fitting). It refers to the clipped image of the part to be answered and the incorrect answer flag.
例えば、図4に示すようなラインセンサ画像L0がある場合、符号91,92,93が架線金具、94が架線金具以外とすると、正解データは図5に示すA91,A92,A93およびA94となる。すなわち、本実施例では図5に示すように、正解データ作成部31abによりラインセンサ画像L0を格子状に分割する。その後、手動で架線金具91,92又は93が存在する領域(図5中、一点鎖線で囲んで示す分割領域)には架線金具ラベル(正解フラグ)を、架線金具以外94が存在する領域(図5中、二点鎖線で囲んで示す分割領域)には架線金具以外のラベル(不正解フラグ)を付与する。正解データ作成部31abは、架線金具ラベル又は架線金具以外のラベルを付与された部分を切り出し、畳み込みニューラルネットワーク(上記非特許文献1参照)に入力できる形状にリサイズする(以下、切り出した画像(正解データ)を切り出し画像Aと称する)。
For example, when there is a line sensor image L0 as shown in FIG. 4, if reference numerals 91, 92, and 93 are overhead wire fittings, and 94 is a non-overhead wire fitting, the correct data are A91 , A92 , A93 and It becomes A94 . That is, in this embodiment, as shown in FIG. 5, the correct data generation unit 31ab divides the line sensor image L0 into a grid pattern. After that, the area where the
(ステップS1-3)
重み学習部31acは、リサイズされた切り出し画像Aを、畳み込みニューラルネットワーク(CNN)に入力し、架線金具と架線金具以外の2クラス識別の学習(機械学習)をさせる。
(Step S1-3)
The weight learning unit 31ac inputs the resized clipped image A to a convolutional neural network (CNN), and performs learning (machine learning) for two-class classification of wire fittings and non-wire fittings.
以下、図6を用いて重み学習部31acにおける機械学習の内容について大まかに説明する。図6に示すように、本実施例において、畳み込みニューラルネットワークCNNは、5層の畳み込み層C1~C5(総称する場合は畳み込み層C)と3層の全結合層D1~D3(総称する場合は全結合層D)とから構成されている。 The contents of machine learning in the weight learning unit 31ac will be roughly described below with reference to FIG. As shown in FIG. 6, in the present embodiment, the convolutional neural network CNN includes five convolutional layers C1 to C5 (generically the convolutional layer C) and three fully connected layers D1 to D3 (generically It is composed of a fully connected layer D).
畳み込み層Cでは、畳み込みフィルタ処理と、プーリング処理と、正規化処理とを行う。 The convolution layer C performs convolution filter processing, pooling processing, and normalization processing.
畳み込みフィルタ処理では、図7に示すように例えばa×aの入力画像(ここでは、リサイズされた切り出し画像A)に対して畳み込み処理を適用する。畳み込み処理とは、リサイズされた切り出し画像Aに対し一定サイズごとに重み付き和を取る処理のことである。このときの重み係数のことをフィルタFと呼ぶ。フィルタFのサイズがf×f[pixel]の場合、リサイズされた切り出し画像A上でフィルタFを移動させながらf×f[pixel]の領域ごとに重み付き和を取る。この処理を、リサイズされた切り出し画像A全体に対して行う。 In the convolution filter process, as shown in FIG. 7, for example, a convolution process is applied to an a×a input image (here, the resized clipped image A). The convolution process is a process of obtaining a weighted sum for each fixed size of the resized clipped image A. FIG. The weighting coefficient at this time is called a filter F. When the size of the filter F is f×f [pixel], the weighted sum is calculated for each area of f×f [pixel] while moving the filter F on the resized clipped image A. This process is performed on the entire resized clipped image A. FIG.
畳み込みフィルタ処理は具体的には、入力に対し、どの部分を強調しどの部分を平滑化すべきかなどの重み係数を表すフィルタFとの重み付き和を取ることで、リサイズされた切り出し画像Aの特徴マップMを作成する処理のことである。特徴マップMによりエッジ特徴等の画像の濃淡パターンを抽出することが可能になる。また、局所的な領域からフィルタFを通して特徴を抽出するため、物体の位置の空間的なずれに頑健になる。 Specifically, the convolution filter processing is performed by taking a weighted sum of the input with a filter F representing a weighting factor such as which part should be emphasized and which part should be smoothed, so that the resized clipped image A is obtained. This is the process of creating the feature map M. The feature map M makes it possible to extract the density pattern of the image such as the edge feature. In addition, since features are extracted from a local area through the filter F, it is robust against spatial displacement of the position of the object.
そして、プーリング処理とは、入力データをより扱いやすくするために、情報を圧縮する処理のことである。本実施例では、局所領域から出力が最大となる部分を選択して次の層に継承するマックスプーリング処理を行う。これにより、画像の特徴に特化した最適な特徴のみを後続の層に継承することが可能となる。 Pooling processing is processing for compressing information in order to make input data easier to handle. In this embodiment, a max pooling process is performed in which a portion having the maximum output is selected from the local region and inherited to the next layer. This makes it possible to inherit only the optimal features specific to the features of the image to subsequent layers.
正規化処理とは、濃淡変化が強調されるように正規化を行う処理のことである。上記の畳み込み層は2クラス分類のための特徴抽出をするというよりは、リサイズされた切り出し画像Aに対して、画像らしい特徴(エッジや軌道の濃淡パターンなど)を抽出する処理である。 Normalization processing is processing for performing normalization so as to emphasize changes in gradation. The above-described convolution layer is a process of extracting image-like features (edges, trajectory shading patterns, etc.) for the resized clipped image A, rather than extracting features for two-class classification.
全結合層Dでは、上記畳み込み層を通して得られた各特徴マップMから架線金具91~93と架線金具以外94との2クラスの分類を行うために全特徴マップMを結合する重みを学習させる。
In the fully connected layer D, weights for connecting all the feature maps M are learned in order to classify each feature map M obtained through the convolution layer into two classes, that is, the
重み学習部31acで学習した結果(以下、学習済みネットワーク)はメモリM2に保存される。 The result of learning by the weight learning unit 31ac (hereinafter referred to as a learned network) is stored in the memory M2.
車両1の走行中に実際に架線金具検出を行うときは、次のステップS2からステップS6の処理を行う。
When the wire fitting is actually detected while the
(ステップS2)
ラインセンサ画像作成部31bは、車両1の走行中にラインセンサカメラ2から入力される画像信号(ライン)を時系列的に並べて、ラインセンサ画像L1を作成する。作成されたラインセンサ画像L1は、メモリM1に保存され、その後、メモリM2に保存される。
(Step S2)
The line sensor
(ステップS3)
明るさ補正部31cは、ラインセンサ画像L1が入力されると、白と黒(明暗)の差を大きくするように輝度値を補正する明るさ補正処理を行って、明るさ補正処理後のラインセンサ画像(金具判定画像)L2をメモリM2へ保存する。
(ステップS4)
判定画像切り出し部31dは、ラインセンサ画像L2が入力されると、ラインセンサ画像L2を格子状に分割して、分割後のラインセンサ画像(判定画像)L3をメモリM2へ保存する。
(Step S3)
When the line sensor image L1 is input, the
(Step S4)
When the line sensor image L2 is input, the determination
(ステップS5)
金具識別処理部31eは、メモリM2から学習済みネットワークとラインセンサ画像L3とを読み出して、ラインセンサ画像L3を学習済みネットワークに入力し、金具識別ラベルとそのときの金具識別確率を算出してそれぞれを金具識別ラベルデータ,金具識別確率データとしてメモリM2へ保存すると共に、金具識別ラベルおよび金具識別確率に基づき架線金具ラベルであると判定された箇所を架線金具存在箇所として金具判定結果、金具位置情報をメモリM2へ保存する。
(ステップS6)
上述したステップS2からステップS5までの処理を検査が終了するまで繰り返す。
(Step S5)
The metal fitting
(Step S6)
The processing from step S2 to step S5 described above is repeated until the inspection is completed.
このように構成される本実施例に係る架線金具検出装置および架線金具検出方法によれば、人工知能機能を利用して金具判定を行うことにより、誤検出を含む検出箇所の中から架線金具以外を除外し、架線金具のみを正しく検出することができる。また、ラインセンサ画像L1全体を金具識別対象領域とすることにより、従来架線金具検出処理で未検出となってしまっていた架線金具であっても、検出することが可能となる。また、識別対象箇所の個数が一定であるため、一定の処理時間で架線金具検出が可能となる。 According to the overhead wire fitting detection device and the overhead wire fitting detection method according to the present embodiment configured as described above, by performing fitting determination using the artificial intelligence function, detection points other than the overhead wire fitting are selected from among detection points including erroneous detection. can be excluded and only overhead wire fittings can be detected correctly. Further, by setting the entire line sensor image L1 as the metal fitting identification target area, it becomes possible to detect even the metal fittings that have not been detected in the conventional metal fitting detection process. In addition, since the number of identification target locations is constant, it is possible to detect overhead wire fittings in a constant processing time.
なお、本実施例では車両1にラインセンサカメラ2および画像処理部3を設置する例を示したが、本発明は上述した実施例に限定されるものではなく、車両1以外の鉄道車両(例えば、気動車)にラインセンサカメラ2および画像処理部3を設置して架線金具の検出を行うなど、本発明の趣旨を逸脱しない範囲で種々の変更が可能であることは言うまでもない。
In this embodiment, an example in which the
図8から図10を用いて本発明の実施例2に係る架線金具検出装置および架線金具検出方法について説明する。 Embodiment 2 A wiring fitting detection device and a wiring fitting detection method according to a second embodiment of the present invention will be described with reference to FIGS. 8 to 10. FIG.
図8に示すように、本実施例において演算装置31は、図2に示し上述した事前処理部31a、ラインセンサ画像作成部31b、明るさ補正部31c、金具識別処理部31eと、昼夜判定部31f、画像輝度反転部31g、メディアンフィルタ処理部31h、GSTH処理部31i、グレースケールオープニング処理部31j、二値化処理部31k、クロージング処理部31l、ラベリング処理部31m、金具候補検出処理部31nおよび金具候補画像切り出し部31oとを備えている。本実施例における画像処理部3の具体的な機能については図9に示すフローチャートと共に説明する。
As shown in FIG. 8, the
なお、演算装置31以外の構成は実施例1と概ね同様であるので、以下、重複する説明は省略する。
Since the configuration other than the
(ステップS11)
事前処理部31aは、実施例1と同様に、画像データベース31aa、正解データ作成部31abおよび重み学習部31acを備えている。画像処理部3では、まず事前処理部31aを利用して次のステップS11-1からステップS11-3の事前処理を行う。
(ステップS11-1)
まず、画像データベース31aaに保管されているラインセンサ画像L0を取得する。
(ステップS11-2)
本実施例では実施例1に比較して、正解データを作成する手順が異なる。すなわち、本実施例では、ラインセンサ画像L0を格子状に分割することはせず、図10に示すように、手動で直接架線金具91,92,93および架線金具以外の構造物94を囲み、架線金具91,92又は93が存在する領域(図10中、実線で囲んで示す領域)には架線金具ラベルを、架線金具以外94が存在する領域(図10中、破線で囲んで示す領域)には架線金具以外のラベルを付与する。正解データ作成部31abは、手動で囲んだ部分(以下、切り出し画像)B91,B92,B93,B94を切り出し、畳み込みニューラルネットワークに入力できる形状にリサイズする。
(Step S11)
The
(Step S11-1)
First, the line sensor image L0 stored in the image database 31aa is obtained.
(Step S11-2)
This embodiment differs from the first embodiment in the procedure for creating correct data. That is, in this embodiment, the line sensor image L0 is not divided into a grid pattern, and as shown in FIG. The wiring fitting label is placed in the area where the wiring fitting 91, 92 or 93 exists (the area surrounded by the solid line in FIG. 10), and the area where the wiring fitting 94 other than the wiring fitting exists (the area surrounded by the broken line in FIG. 10). Labels other than overhead wire fittings are given to . The correct data creation unit 31ab cuts out the manually surrounded portions (hereinafter referred to as cutout images) B91 , B92 , B93 , and B94 , and resizes them into a shape that can be input to the convolutional neural network.
(ステップS11-3)
重み学習部31acは、リサイズされた切り出し画像B91,B92,B93,B94を、畳み込みニューラルネットワーク(CNN)に入力し、架線金具と架線金具以外の2クラス識別の学習(機械学習)をさせる。
(Step S11-3)
The weight learning unit 31ac inputs the resized clipped images B 91 , B 92 , B 93 , and B 94 to a convolutional neural network (CNN), and learns (machine learning) two-class classification of overhead wire fittings and non-overhead wire fittings. Let
車両1の走行中に実際に架線金具検出を行うときは、次のステップS12からステップS25の処理を行う。
When the wire fitting is actually detected while the
(ステップS12)
ラインセンサ画像作成部31bは、車両1の走行中にラインセンサカメラ2から入力される画像信号(ライン)を時系列的に並べて、ラインセンサ画像L1を作成する。作成されたラインセンサ画像L1は、メモリM1に保存され、その後、メモリM2に保存される。
(Step S12)
The line sensor
(ステップS13)
明るさ補正部31cは、ラインセンサ画像L1が入力されると、白と黒(明暗)の差を大きくするように輝度値を補正する明るさ補正処理を行って、明るさ補正処理後のラインセンサ画像L12をメモリM2へ保存する。
(Step S13)
When the line sensor image L1 is input, the
(ステップS14)
昼夜判定部31fは、ラインセンサ画像L12が入力されると、ラインセンサ画像L12を構成するそれぞれのラインに対して昼夜判定処理を行う。つまり、各ラインの明るさが昼(昼と同等)なのか夜(夜と同等)なのかを判定する。判定基準は、各ラインにおいて、その明るさの中央値が閾値以上であれば昼とし、閾値未満であれば夜とする。各ラインに対する昼夜判定処理の結果は昼夜フラグデータとしてメモリM2へ保存する。
(Step S14)
When the line sensor image L12 is input, the day/
(ステップS15)
画像輝度反転部31gは、ラインセンサ画像L12および昼夜フラグデータが入力されると、ラインセンサ画像L12の輝度値を反転させる輝度反転処理を行う。このとき、昼夜フラグデータに基づいて、昼夜判定部31fで明るさが昼(昼と同等)と判定されたラインのみに輝度反転を行って、輝度反転処理後のラインセンサ画像L13をメモリM2へ保存する。
(Step S15)
When the line sensor image L12 and the day/night flag data are input, the image
(ステップS16)
メディアンフィルタ処理部31hは、ラインセンサ画像L13が入力されると、例えば明るさ補正部31cにおける処理により背景に発生した白い点を除去するためにメディアンフィルタ処理を行い、メディアンフィルタ処理後のラインセンサ画像L14をメモリM2へ保存する。
(Step S16)
When the line sensor image L13 is input, the median
(ステップS17)
GSTH処理部31iは、ラインセンサ画像L14が入力されると、ラインセンサ画像L14に対して横方向ではなく、縦方向にGSTH処理を行う。具体的には、まず、縦方向にグレースケールオープニング処理(収縮してから膨張する処理)を行うことで、ハンガー6やコネクタ7等の横線を消す。ここで行う収縮膨脹の回数は、ハンガー6やコネクタ7の縦方向の長さよりも大きな値に設定することで、ハンガー6やコネクタ7等の横線を消すことができるようになる。続いて、ラインセンサ画像L14からグレースケールオープニング処理をした画像を引くことでハンガー6やコネクタ7、そして、トロリ線4やちょう架線5の縁のみが残るようなラインセンサ画像L15を得ることができ、これをメモリM2へ保存する。
(Step S17)
When the line sensor image L14 is input, the
(ステップS18)
グレースケールオープニング処理部31jは、ラインセンサ画像L15が入力されると、ラインセンサ画像L15中に残ったトロリ線4やちょう架線5の縁を消すため、横方向にグレースケールオープニング処理を行う。具体的には、ラインセンサ画像L15中に残ったトロリ線4やちょう架線5の縁よりも大きな値でグレースケールオープニング処理を行うことで、トロリ線4やちょう架線5の縁を消去したラインセンサ画像L16を得ることができ、これをメモリM2へ保存する。
(Step S18)
When the line sensor image L15 is input, the grayscale
(ステップS19)
二値化処理部31kは、ラインセンサ画像L16が入力されると、グレースケールを白黒二値に変換する二値化処理を行う。このときの二値化しきい値は、背景よりも大きく、かつ、非常に小さな輝度値(例えば、10等)を設定する。つまり、背景の輝度値よりも大きな値は全て255に変換する。この処理により、二値化されたラインセンサ画像L17を得ることができ、これをメモリM2へ保存する。
(Step S19)
When the line sensor image L16 is input, the
(ステップS20)
クロージング処理部31lは、ラインセンサ画像L17が入力されると、途切れた塊をつなげるため、横方向にクロージング処理(膨脹してから収縮する処理)を行う。このとき、クロージング処理の膨張収縮回数は、トロリ線4やちょう架線5の幅よりも大きな値を設定する。この処理により、トロリ線4やちょう架線5の幅で一度途切れたハンガー6やコネクタ7の架線金具が再度つながった二値化のラインセンサ画像L18を得ることができ、これをメモリM2へ保存する。
(Step S20)
When the line sensor image L17 is input, the closing processing unit 31l performs a closing process (a process of expanding and then contracting) in the horizontal direction in order to connect the disconnected blocks. At this time, the number of times of expansion and contraction in the closing process is set to a value larger than the width of the
(ステップS21)
ラベリング処理部31mは、ラインセンサ画像L18が入力されると、二値化画像の白色塊を検出し、それぞれの塊にラベル付けをするラベリング処理を行い、検出した白色塊の各々にラベルを付けたラベル付きラインセンサ画像L19をメモリM2へ保存する。
(Step S21)
When the line sensor image L18 is input, the
(ステップS22)
金具候補検出処理部31nは、ラベル付きラインセンサ画像L19が入力されると、ラベルを付与した白色塊の大きさに基づいて、架線金具かノイズかを判定する。大きさが小さいものはノイズであるとして除去し、一定の大きさ以上の白色塊を架線金具と判定し、架線金具と判定されたものの位置情報を金具候補位置情報としてメモリM2へ保存する。
(Step S22)
When the labeled line sensor image L19 is input, the metal fitting candidate
(ステップS23)
金具候補画像切り出し部31oは、金具候補位置情報に基づきラインセンサ画像L1から金具候補画像を切り出し、金具候補切り出し画像としてメモリM2へ保存する。
(Step S23)
The metal fitting candidate image clipping unit 31o cuts out metal fitting candidate images from the line sensor image L1 based on the metal fitting candidate position information, and stores them in the memory M2 as metal fitting candidate cutout images.
(ステップS24)
金具識別処理部31eは、メモリM2から学習済みネットワークと金具候補切り出し画像とを読み出して、金具候補切り出し画像を学習済みネットワークに入力し、金具識別ラベルとそのときの金具識別確率を算出してそれぞれを金具識別ラベルデータ,金具識別確率データとしてメモリM2へ保存すると共に、金具識別ラベルおよび金具識別確率に基づき架線金具ラベルであると判定された箇所を架線金具存在箇所として金具判定結果、金具位置情報をメモリM2へ保存する。
(ステップS25)
以上に示したステップS12からステップS24の処理を検査が終了するまで繰り返す。
(Step S24)
The metal fitting
(Step S25)
The processing from step S12 to step S24 described above is repeated until the inspection is completed.
このように構成される本実施例に係る架線金具検出装置および架線金具検出方法によれば、人工知能機能を利用して金具判定を行うことにより、誤検出を含む検出箇所の中から特許文献4で誤検出されてしまっていた背景物を除去して、架線金具のみを正しく検出することが可能である。また、学習する画像データの見え方を統一することが可能である。そのため、学習する画像のばらつきが減り、学習が収束しやすくなり、識別精度が向上する。 According to the overhead wire fitting detection device and the overhead wire fitting detection method according to the present embodiment configured as described above, by performing the metal fitting determination using the artificial intelligence function, the detected parts including false detections can be selected from the detected parts including false detection. It is possible to remove background objects that have been erroneously detected in 1 and correctly detect only overhead wire fittings. In addition, it is possible to unify the appearance of image data to be learned. As a result, variations in images to be learned are reduced, learning is more likely to converge, and identification accuracy is improved.
なお、上述したラベリング処理部31mは、視認性のためにはあったほうが良いが、必須ではない。ラベリング処理部31mがない場合には、金具候補検出処理部31nにはラインセンサ画像L18が入力され、金具候補検出処理部31nは、ラインセンサ画像L18に対して白色塊の検出を行い、検出した白色塊の大きさによって架線金具かノイズかを判定すればよい。
Note that the above-described
図11および図12を用いて本発明の実施例3に係る架線金具検出装置および架線金具検出方法について説明する。本実施例は、上述した実施例2に比較して、事前処理部31aにより正解データを作成する手法が異なるものである。その他の構成は実施例2と同様であり、以下、実施例2と重複する説明は省略する。
Embodiment 3 A wire fitting detection device and a wire fitting detection method according to a third embodiment of the present invention will be described with reference to FIGS. 11 and 12. FIG. This embodiment differs from the above-described second embodiment in the method of creating correct data by the
図11に示すように、本実施例において事前処理部31aは、上述した画像データベース31aa、正解データ作成部31abおよび重み学習部31acと、金具候補検出部31adとを備えている。本実施例における画像処理部3の機能については図12に示すフローチャートと共に説明する。
(ステップS31)
画像処理部3では、まず事前処理部31aを利用して次のステップS31-1~ステップS31-5の事前処理を行う。
As shown in FIG. 11, in this embodiment, the
(Step S31)
In the
(ステップS31-1)
まず、画像データベース31aaに保管されているラインセンサ画像L0を取得する。
(ステップS31-2)
金具候補検出部31adは、図9に示し上述したステップS13からステップS23と同様の処理を行う。なお、図11では、簡単のため図8に示し上述した明るさ補正部31c、昼夜判定部31f、画像輝度反転部31g、メディアンフィルタ処理部31h、GSTH処理部31i、グレースケールオープニング処理部31j、二値化処理部31k、クロージング処理部31l、ラベリング処理部31m、架線金具検出処理部31n、金具候補画像切り出し部31oをまとめて金具候補検出部31adとして示している。
(Step S31-1)
First, the line sensor image L0 stored in the image database 31aa is acquired.
(Step S31-2)
The metal fitting candidate detection unit 31ad performs the same processing as steps S13 to S23 shown in FIG. 9 and described above. 11, for simplicity, the
要するに、本実施例において事前処理部31aでは、画像データベース31aaから取得したラインセンサ画像L0に対して上述したステップS13からステップS23までの処理により金具候補切り出し画像を切り出す。すなわち、実施例2では手動で金具位置を検出し、ラベル付けを行っていたが、本実施例では、画像データベース31aaから取得したラインセンサ画像L0に対して、画像処理により金具候補を検出し、検出された金具候補の位置情報を基に検出箇所を金具候補切り出し画像として切り出す。
In short, in the present embodiment, the
(ステップS31-3)
金具候補検出部31adにより切り出した金具候補切り出し画像に対し、手動で、架線金具91,92又は93が存在する領域(図10中、実線で囲んで示す領域)には架線金具ラベルを、架線金具以外94が存在する領域(図10中、破線で囲んで示す領域)には架線金具以外のラベルを付与する。
(Step S31-3)
For the metal fitting candidate cutout image cut out by the metal fitting candidate detection unit 31ad, the area where the overhead wire fitting 91, 92, or 93 exists (the area surrounded by the solid line in FIG. 10) is manually labeled, and the overhead wire fitting A region where there is a non-wire 94 (a region surrounded by a dashed line in FIG. 10) is given a label other than wire fitting.
(ステップS31-4)
正解データ作成部abは、ラベルを付与された金具候補切り出し画像を、畳み込みニューラルネットワークに入力できる形状にリサイズして正解データとする。
(Step S31-4)
The correct data creation unit ab resizes the labeled metal fitting candidate clipped image into a shape that can be input to the convolutional neural network to obtain correct data.
(ステップS31-5)
重み学習部31acは、リサイズされた金具候補切り出し画像を、畳み込みニューラルネットワーク(CNN)に入力し、架線金具と架線金具以外の2クラス識別の学習(機械学習)をさせる。
(Step S31-5)
The weight learning unit 31ac inputs the resized metal fitting candidate clipped image to a convolutional neural network (CNN), and performs learning (machine learning) for two-class classification of wire metal fittings and non-wire metal fittings.
車両1の走行中に実際に架線金具検出を行うときは、次のステップS32からステップS34の処理を行う。
When the wire fitting is actually detected while the
(ステップS32)
ラインセンサ画像作成部31bは、車両1の走行中にラインセンサカメラ2から入力される画像信号(ライン)を時系列的に並べて、ラインセンサ画像L1を作成する。作成されたラインセンサ画像L1は、メモリM1に保存され、その後、メモリM2に保存される。
(Step S32)
The line sensor
(ステップS33)
金具識別部31pは、上述した実施例2で説明したステップS13からステップS24と同様の処理を行う。なお、図11では、簡単のため図8に示し上述した明るさ補正部31c、昼夜判定部31f、画像輝度反転部31g、メディアンフィルタ処理部31h、GSTH処理部31i、グレースケールオープニング処理部31j、二値化処理部31k、クロージング処理部31l、ラベリング処理部31m、架線金具検出処理部31n、金具候補画像切り出し部31o、および金具識別処理部31eをまとめて金具候補検出部31pとして示している。
(ステップS34)
ステップS32からステップS33の処理を検査が終了するまで繰り返す。
(Step S33)
The metal
(Step S34)
The processing from step S32 to step S33 is repeated until the inspection is completed.
このように構成されることにより、例えば、実施例2では、学習する画像のばらつきが減り、学習が収束しやすくなり、学習精度が向上するものの、実際に入力される金具候補切り出し画像とは乖離がある場合があるため、未知の画像に対する識別精度が悪くなってしまう可能性があるのに対し、本実施例に係る架線金具検出装置および架線金具検出方法によれば、事前学習部31aにおいて、架線金具検出処理によって検出された画像に対してラベル付けを行うことにより、実際に金具識別部31pに入力される画像に近い画像で機械学習を行うことができるため、識別精度が向上する。
With this configuration, for example, in the second embodiment, variations in images to be learned are reduced, learning is more likely to converge, and learning accuracy is improved. Therefore, there is a possibility that the accuracy of identifying an unknown image may be degraded. By labeling the image detected by the overhead wire fitting detection process, machine learning can be performed with an image that is close to the image actually input to the
1 電車車両
2 ラインセンサカメラ
3 画像処理部
4 トロリ線
5 ちょう架線
6 ハンガー
7 コネクタ
8 交差架線金具
31 演算装置
31a 事前処理部
31aa 画像データベース
31ab 正解データ作成部
31ac 重み学習部
31ad 金具候補検出部
31b ラインセンサ画像作成部
31c 明るさ補正部
31d 判定画像切り出し部
31e 金具識別処理部
31f 昼夜判定部
31g 画像輝度反転部
31h メディアンフィルタ処理部
31i GSTH処理部
31j グレースケールオープニング処理部
31k 二値化処理部
31l クロージング処理部
31m ラベリング処理部
31n 金具候補検出処理部
31o 金具候補画像切り出し部
31p 金具識別部
32 記録装置
91~93 架線金具
94 架線金具以外
A91~A93,B91~B93 架線金具ラベル
A94,B94 架線金具以外ラベル
M1,M2 メモリ
1
Claims (10)
前記ラインセンサカメラから出力された画像信号を時系列に並べて作成したラインセンサ画像に対し、画像処理を行って、前記画像の中から架線金具を検出する画像処理部とを有し、
前記画像処理部は、
予め取得した前記架線金具の画像および前記架線金具以外の画像を用いて学習した人工知能機能を実装した演算装置を備え、
前記演算装置は、
前記人工知能機能の学習を行う事前処理部と、
前記車両の走行中に前記ラインセンサカメラから入力される画像信号からラインセンサ画像を作成するラインセンサ画像作成部と、
前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正処理を行う明るさ補正部と、
前記明るさ補正処理を行った前記ラインセンサ画像から前記架線金具又は前記架線金具以外を切り出した切り出し画像を作成する画像切り出し部と、
前記切り出し画像を前記人工知能機能に入力することにより前記架線金具の識別を行う金具識別処理部と
を備え、
前記画像切り出し部は、
前記明るさ補正処理を行った前記ラインセンサ画像を格子状に分割し、分割された前記ラインセンサ画像中から前記架線金具の画像又は前記架線金具以外の画像を切り出す判定画像切り出し部である
ことを特徴とする架線金具検出装置。 a line sensor camera that captures an image of overhead wires and overhead wire equipment perpendicularly to the traveling direction of the railway vehicle while the railway vehicle is running;
an image processing unit that performs image processing on a line sensor image created by arranging image signals output from the line sensor camera in time series, and detects an overhead wire fitting from the image;
The image processing unit
An arithmetic device equipped with an artificial intelligence function learned using an image of the overhead wire fitting obtained in advance and an image other than the overhead wire fitting,
The computing device is
a preprocessing unit that learns the artificial intelligence function;
a line sensor image creation unit that creates a line sensor image from an image signal input from the line sensor camera while the vehicle is running;
a brightness correction unit that performs a brightness correction process for increasing the difference between brightness and darkness in the image signal with respect to the line sensor image;
an image clipping unit that creates a clipped image clipped from the line sensor image that has undergone the brightness correction process and the overhead wire fitting or other than the overhead wire fitting;
a fitting identification processing unit that identifies the overhead wire fitting by inputting the clipped image to the artificial intelligence function ,
The image clipping unit
a determination image clipping unit that divides the line sensor image that has undergone the brightness correction process into a grid pattern, and cuts out an image of the overhead wire fitting or an image other than the overhead wire fitting from the divided line sensor image.
An overhead wire fitting detection device characterized by:
ことを特徴とする請求項1に記載の架線金具検出装置。 The artificial intelligence function divides the line sensor image obtained in advance into a grid pattern, and for each of the divided images, an image in which the overhead wire fitting exists and a correct flag is attached, and an incorrect answer in which a wire fitting other than the overhead wire fitting exists. 2. The overhead wire fitting detection according to claim 1 , wherein the trained convolutional neural network is a pre-trained convolutional neural network in which two-class discrimination learning of the overhead wire fitting and the wire fitting other than the overhead wire fitting is carried out in advance based on the flagged image. Device.
前記明るさ補正処理を行った前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定する昼夜判定部と、
前記画像に対し、前記昼夜判定部で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転部と、
前記画像輝度反転部で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理部と、
前記メディアンフィルタ処理部でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にGSTH処理を行うGSTH処理部と、
前記GSTH処理部でGSTH処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理部と、
前記グレースケールオープニング処理部でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理部と、
前記二値化処理部で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理部と、
前記クロージング処理部でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理部と
をさらに備え、
前記画像切り出し部が、前記金具候補検出処理部で検出した金具候補の情報に基づいて前記画像から金具候補の画像を切り出す金具候補画像切り出し部である
ことを特徴とする請求項1に記載の架線金具検出装置。 The computing device is
a day/night determining unit that determines whether the brightness of each of the image signals subjected to the brightness correction process is equivalent to daytime or equivalent to nighttime;
an image brightness reversing unit that performs a brightness reversal process on the image signal determined by the day/night determining unit to be equivalent in brightness to daytime;
a median filter processing unit that performs median filter processing on the line sensor image that has been subjected to the brightness inversion processing by the image brightness inversion unit;
a GSTH processing unit that performs GSTH processing in the extending direction of the overhead wire on the line sensor image that has been subjected to median filtering by the median filtering unit;
a grayscale opening processing unit that performs grayscale opening processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has been subjected to the GSTH processing by the GSTH processing unit;
a binarization processing unit that performs binarization processing on the line sensor image that has undergone grayscale opening processing in the grayscale opening processing unit;
a closing processing unit that performs closing processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has been subjected to the binarization processing by the binarization processing unit;
a metal fitting candidate detection processing unit that detects a white mass from the line sensor image that has been subjected to the closing processing by the closing processing unit, and detects the overhead wire metal fitting candidate from the size of the detected white mass. ,
2. The overhead wire according to claim 1, wherein the image clipping unit is a metal fitting candidate image clipping unit that cuts out an image of the metal fitting candidate from the image based on the metal fitting candidate information detected by the metal fitting candidate detection processing unit. Hardware detection device.
ことを特徴とする請求項3に記載の架線金具検出装置。 The artificial intelligence function extracts an image with a correct flag attached by cutting out the wire fitting part existing in the line sensor image acquired in advance, and extracting the part other than the overhead wire fitting existing in the line sensor image acquired in advance. 4. The overhead wire according to claim 3 , wherein the trained convolutional neural network is a pre-trained convolutional neural network in which two-class discrimination learning of the wire fitting and the wire fitting other than the wire fitting is performed in advance based on the image to which an incorrect answer flag is attached. Hardware detection device.
予め取得した前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正処理を行う明るさ補正部と、
明るさ補正処理を行った前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定する昼夜判定部と、
昼夜判定部で昼夜判定を行った前記ラインセンサ画像に対し、前記昼夜判定部で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転部と、
前記画像輝度反転部で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理部と、
前記メディアンフィルタ処理部でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にGSTH処理を行うGSTH処理部と、
前記GSTH処理部でGSTH処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理部と、
前記グレースケールオープニング処理部でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理部と、
前記二値化処理部で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理部と、
前記クロージング処理部でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理部と、
前記金具候補検出処理部で検出した金具候補の情報に基づいて前記ラインセンサ画像から金具候補の画像を切り出す金具候補画像切り出し部と、
前記金具候補画像切り出し部で切り出され正解フラグが付された画像と、前記金具候補画像切り出し部で切り出され不正解フラグが付された画像とを前記人工知能機能に入力して前記人工知能機能の学習を行う重み学習部と
を備えることを特徴とする請求項3又は請求項4に記載の架線金具検出装置。 The preprocessing unit is
a brightness correction unit that performs a brightness correction process for increasing a difference between light and dark in the image signal with respect to the previously acquired line sensor image;
a day/night determination unit that determines whether the brightness of each image signal subjected to brightness correction processing is equivalent to daytime or equivalent to nighttime;
an image brightness reversing unit that performs a brightness reversal process on the image signal determined by the day/night determination unit to have brightness equivalent to that of daytime with respect to the line sensor image subjected to the day/night determination by the day/night determination unit;
a median filter processing unit that performs median filter processing on the line sensor image that has been subjected to the brightness inversion processing by the image brightness inversion unit;
a GSTH processing unit that performs GSTH processing in the extending direction of the overhead wire on the line sensor image that has been subjected to median filtering by the median filtering unit;
a grayscale opening processing unit that performs grayscale opening processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has been subjected to the GSTH processing by the GSTH processing unit;
a binarization processing unit that performs binarization processing on the line sensor image that has undergone grayscale opening processing in the grayscale opening processing unit;
a closing processing unit that performs closing processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has been subjected to the binarization processing by the binarization processing unit;
a metal fitting candidate detection processing unit that detects a white mass from the line sensor image that has been subjected to the closing processing by the closing processing unit, and detects the wire metal fitting candidate from the size of the detected white mass;
a metal fitting candidate image clipping unit that cuts out an image of a metal fitting candidate from the line sensor image based on information on the metal fitting candidate detected by the metal fitting candidate detection processing unit;
The image clipped by the metal fitting candidate image clipping unit and flagged with a correct answer and the image clipped by the metal fitting candidate image clipping unit and flagged with an incorrect flag are input to the artificial intelligence function to perform the artificial intelligence function. 5. The overhead wire fitting detection device according to claim 3 , further comprising a weight learning unit that performs learning.
鉄道車両の走行中に架線および架線設備を前記鉄道車両の進行方向に対して垂直に撮影するラインセンサカメラから出力された画像信号を時系列に並べてラインセンサ画像を作成する画像作成工程と、
前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正工程と、
明るさ補正を行った前記ラインセンサ画像から前記架線金具又は前記架線金具以外を切り出す画像切り出し工程と、
切り出した画像を、前記事前処理工程により学習した前記人工知能機能に入力して前記架線金具の識別を行う金具判定工程と
を含み、
前記画像切り出し工程が、前記架線金具の画像又は前記架線金具以外の画像を格子状に分割し、分割された前記ラインセンサ画像中から前記架線金具の画像又は前記架線金具以外の画像を切り出す判定画像切り出し工程である
ことを特徴とする架線金具検出方法。 A pre-processing step of learning an artificial intelligence function using an image of an overhead wire fitting obtained in advance and an image other than the overhead wire fitting;
an image creation step of creating a line sensor image by arranging in time series image signals output from a line sensor camera that captures an image of an overhead wire and overhead wire equipment perpendicular to the traveling direction of the rail vehicle while the rail vehicle is running;
a brightness correction step of increasing a difference between light and dark in the image signal with respect to the line sensor image;
an image clipping step of clipping the overhead wire fitting or other than the overhead wire fitting from the line sensor image subjected to brightness correction;
a metal fitting determination step of inputting the clipped image to the artificial intelligence function learned in the preprocessing step to identify the overhead wire metal fitting ,
The image clipping step divides the image of the overhead wire fitting or the image other than the overhead wire fitting into a grid pattern, and cuts out the image of the overhead wire fitting or the image other than the overhead wire fitting from the divided line sensor image. cutting process
An overhead wire fitting detection method characterized by:
ことを特徴とする請求項6に記載の架線金具検出方法。 The artificial intelligence function divides the line sensor image obtained in advance into a grid pattern, and for each of the divided images, an image in which the overhead wire fitting exists and a correct flag is attached, and an incorrect answer in which a wire fitting other than the overhead wire fitting exists. 7. The wire fitting detection according to claim 6 , wherein the trained convolutional neural network is a pre-trained convolutional neural network in which two-class discrimination learning of the wire fitting and the wire fitting other than the wire fitting is carried out in advance based on the flagged image. Method.
前記ラインセンサ画像に対し、前記昼夜判定工程で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転工程と、
前記画像輝度反転工程で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理工程と、
前記メディアンフィルタ処理工程でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にGSTH処理を行うGSTH処理工程と、
前記GSTH処理工程でGSTH処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理工程と、
前記グレースケールオープニング処理工程でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理工程と、
前記二値化処理工程で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理工程と、
前記クロージング処理工程でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理工程と
をさらに含み、
前記画像切り出し工程が、前記金具候補検出処理工程で検出した金具候補の情報に基づいて前記画像から金具候補の画像を切り出す金具候補画像切り出し工程である
ことを特徴とする請求項6に記載の架線金具検出方法。 a day/night determination step of determining whether the brightness of each image signal subjected to the brightness correction process is equivalent to daytime or equivalent to nighttime;
an image brightness reversal step of performing a brightness reversal process on the image signal determined to have brightness equivalent to daytime in the day/night determination step with respect to the line sensor image;
a median filter processing step of performing median filtering on the line sensor image subjected to the luminance inversion processing in the image luminance inversion step;
A GSTH processing step of performing GSTH processing in the extension direction of the overhead wire on the line sensor image that has undergone median filtering in the median filtering step;
A grayscale opening processing step of performing a grayscale opening processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image subjected to the GSTH processing in the GSTH processing step;
a binarization processing step of performing binarization processing on the line sensor image that has undergone grayscale opening processing in the grayscale opening processing step;
A closing processing step of performing closing processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has undergone the binarization processing in the binarization processing step;
a metal fitting candidate detection processing step of detecting a white mass from the line sensor image subjected to the closing processing in the closing processing step, and detecting the wire metal fitting candidate from the size of the detected white mass. ,
7. The overhead wire according to claim 6 , wherein the image clipping step is a metal fitting candidate image clipping step of cutting out an image of the metal fitting candidate from the image based on the metal fitting candidate information detected in the metal fitting candidate detection processing step. Hardware detection method.
ことを特徴とする請求項8に記載の架線金具検出方法。 The artificial intelligence function extracts an image with a correct flag attached by cutting out the wire fitting part existing in the line sensor image acquired in advance, and extracting the part other than the overhead wire fitting existing in the line sensor image acquired in advance. 9. The overhead wire according to claim 8 , wherein the trained convolutional neural network is a pre-trained convolutional neural network that has previously performed two-class discrimination learning of the overhead wire fitting and the other than the overhead wire fitting based on the image to which an incorrect flag is attached. Hardware detection method.
予め取得した前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正処理を行う明るさ補正工程と、
明るさ補正処理を行った前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定する昼夜判定工程と、
昼夜判定工程で昼夜判定を行った前記ラインセンサ画像に対し、前記昼夜判定工程で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転工程と、
前記画像輝度反転工程で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理工程と、
前記メディアンフィルタ処理工程でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にGSTH処理を行うGSTH処理工程と、
前記GSTH処理工程でGSTH処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理工程と、
前記グレースケールオープニング処理工程でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理工程と、
前記二値化処理工程で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理工程と、
前記クロージング処理工程でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理工程と、
前記金具候補検出処理工程で検出した金具候補の情報に基づいて前記ラインセンサ画像から金具候補の画像を切り出す金具候補画像切り出し工程と、
前記金具候補画像切り出し工程で切り出され正解フラグが付された画像と、前記金具候補画像切り出し工程で切り出され不正解フラグが付された画像とを前記人工知能機能に入力して前記人工知能機能の学習を行う重み学習工程と
を含むことを特徴とする請求項8又は請求項9に記載の架線金具検出方法。 The pretreatment step includes
a brightness correction step of performing a brightness correction process for increasing the difference between brightness and darkness in the image signal on the line sensor image obtained in advance;
a day/night determination step of determining whether the brightness of each image signal subjected to brightness correction processing is equivalent to daytime or equivalent to nighttime;
an image brightness reversing step of performing a brightness reversal process on the image signal whose brightness is determined to be equivalent to daytime in the day/night determination step with respect to the line sensor image subjected to the day/night determination in the day/night determination step;
a median filter processing step of performing median filtering on the line sensor image subjected to the luminance inversion processing in the image luminance inversion step;
A GSTH processing step of performing GSTH processing in the extension direction of the overhead wire on the line sensor image that has undergone median filtering in the median filtering step;
A grayscale opening processing step of performing a grayscale opening processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image subjected to the GSTH processing in the GSTH processing step;
a binarization processing step of performing binarization processing on the line sensor image that has undergone grayscale opening processing in the grayscale opening processing step;
A closing processing step of performing closing processing in a direction perpendicular to the extension direction of the overhead wire on the line sensor image that has undergone the binarization processing in the binarization processing step;
a metal fitting candidate detection processing step of detecting a white mass from the line sensor image subjected to the closing processing in the closing processing step and detecting the wire metal fitting candidate from the size of the detected white mass;
a metal fitting candidate image cutting step of cutting out an image of a metal fitting candidate from the line sensor image based on information of the metal fitting candidate detected in the metal fitting candidate detection processing step;
The image cut out in the metal fitting candidate image cutout step and marked with a correct flag and the image cut out in the metal fitting candidate image cutout step and marked with an incorrect flag are input to the artificial intelligence function to perform the artificial intelligence function. 10. The wire fitting detection method according to claim 8 , further comprising a weight learning step of performing learning.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019045432A JP7299041B2 (en) | 2019-03-13 | 2019-03-13 | Overhead wire fitting detection device and overhead wire fitting detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019045432A JP7299041B2 (en) | 2019-03-13 | 2019-03-13 | Overhead wire fitting detection device and overhead wire fitting detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020147129A JP2020147129A (en) | 2020-09-17 |
JP7299041B2 true JP7299041B2 (en) | 2023-06-27 |
Family
ID=72429153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019045432A Active JP7299041B2 (en) | 2019-03-13 | 2019-03-13 | Overhead wire fitting detection device and overhead wire fitting detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7299041B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113525183A (en) * | 2021-07-29 | 2021-10-22 | 北京南凯自动化***工程有限公司 | Railway contact net barrier cleaning system and method |
JP2023075660A (en) * | 2021-11-19 | 2023-05-31 | 株式会社明電舎 | Line hardware abnormality detection apparatus and line hardware abnormality detection method |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005157679A (en) | 2003-11-25 | 2005-06-16 | Sony Corp | Object detecting device and method and group learning device and method |
JP2011013720A (en) | 2009-06-30 | 2011-01-20 | Jfe Steel Corp | Method and device for creating category determination rule, and computer program |
JP2016168937A (en) | 2015-03-13 | 2016-09-23 | 株式会社明電舎 | Hanger detection device by image processing |
JP2017215743A (en) | 2016-05-31 | 2017-12-07 | クラリオン株式会社 | Image processing device, and external world recognition device |
JP2018092238A (en) | 2016-11-30 | 2018-06-14 | 横河電機株式会社 | On-demand service providing system and on-demand service providing method |
JP2018114935A (en) | 2017-01-20 | 2018-07-26 | 公益財団法人鉄道総合技術研究所 | Train line metal fitting detection system and its detection method |
WO2018141995A1 (en) | 2017-02-06 | 2018-08-09 | Bilberry Sas | Weeding systems and methods, railway weeding vehicles |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6125137B1 (en) * | 2016-11-17 | 2017-05-10 | 三菱電機株式会社 | Water level measuring device and water level measuring method |
-
2019
- 2019-03-13 JP JP2019045432A patent/JP7299041B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005157679A (en) | 2003-11-25 | 2005-06-16 | Sony Corp | Object detecting device and method and group learning device and method |
JP2011013720A (en) | 2009-06-30 | 2011-01-20 | Jfe Steel Corp | Method and device for creating category determination rule, and computer program |
JP2016168937A (en) | 2015-03-13 | 2016-09-23 | 株式会社明電舎 | Hanger detection device by image processing |
JP2017215743A (en) | 2016-05-31 | 2017-12-07 | クラリオン株式会社 | Image processing device, and external world recognition device |
JP2018092238A (en) | 2016-11-30 | 2018-06-14 | 横河電機株式会社 | On-demand service providing system and on-demand service providing method |
JP2018114935A (en) | 2017-01-20 | 2018-07-26 | 公益財団法人鉄道総合技術研究所 | Train line metal fitting detection system and its detection method |
WO2018141995A1 (en) | 2017-02-06 | 2018-08-09 | Bilberry Sas | Weeding systems and methods, railway weeding vehicles |
Also Published As
Publication number | Publication date |
---|---|
JP2020147129A (en) | 2020-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110555361B (en) | Image processing method for lane classification | |
CN107154040B (en) | Tunnel lining surface image crack detection method | |
CN112434695B (en) | Upper pull rod fault detection method based on deep learning | |
CN103442209B (en) | Video monitoring method of electric transmission line | |
CA2959967C (en) | Identification of a contact point between a pantograph and a power supply line in an image | |
CN113436157B (en) | Vehicle-mounted image identification method for pantograph fault | |
JP7299041B2 (en) | Overhead wire fitting detection device and overhead wire fitting detection method | |
CN107428261B (en) | Lifting hook detection device based on image processing | |
CN111325769A (en) | Target object detection method and device | |
CN107909009B (en) | Obstacle detection method and device based on road surface learning | |
CN112800974A (en) | Subway rail obstacle detection system and method based on machine vision | |
Chatterjee et al. | A fast and accurate automated pavement crack detection algorithm | |
JP6920979B2 (en) | Overhead wire fitting detection device and method | |
JP2020149286A (en) | Overhead wire fitting detection device and overhead wire fitting detection method | |
Katakam | Pavement crack detection system through localized thresholing | |
JP2850608B2 (en) | Roadway detection device for vehicles | |
CN116958837A (en) | Municipal facilities fault detection system based on unmanned aerial vehicle | |
CN110503048A (en) | The identifying system and method for rigid contact net suspension arrangement | |
Ma et al. | Road extraction from ETM panchromatic image based on dual-edge following | |
JP3333468B2 (en) | Roadway image processing device for autonomous running of vehicles | |
KR102585146B1 (en) | Pothole detection device and method based on deep learning | |
JP3232064B2 (en) | Target area extraction method for color images | |
Wang et al. | High-speed acquisition and intelligent tunnel surface defects recognition | |
CA2958903A1 (en) | Identification of a pantograph represented in an image | |
JP3232065B2 (en) | A method for merging multiple regions in a color image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190403 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190618 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190911 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210721 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220726 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220922 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230615 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7299041 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |