JP2021057957A - Patrol inspection system and patrol inspection method - Google Patents
Patrol inspection system and patrol inspection method Download PDFInfo
- Publication number
- JP2021057957A JP2021057957A JP2019177670A JP2019177670A JP2021057957A JP 2021057957 A JP2021057957 A JP 2021057957A JP 2019177670 A JP2019177670 A JP 2019177670A JP 2019177670 A JP2019177670 A JP 2019177670A JP 2021057957 A JP2021057957 A JP 2021057957A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- inspected
- abnormal
- patrol inspection
- abnormality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Electric Cable Installation (AREA)
- Image Analysis (AREA)
Abstract
Description
本開示は、飛行体などを用いた巡視点検システムおよび巡視点検方法に関する。 The present disclosure relates to a patrol inspection system and a patrol inspection method using an air vehicle or the like.
従来、架空送電線(以下、送電線と称する)などの送電設備に対する定期点検や事故発生時の巡視は、巡視員がヘリコプターに同乗して送電線に沿って飛行して双眼鏡で送電線を見ながら異常個所の有無を確認したり、送電設備を徒歩で移動しながら確認したりしていた。 Conventionally, for periodic inspections of power transmission equipment such as overhead power transmission lines (hereinafter referred to as power transmission lines) and patrols in the event of an accident, a patrolman rides on a helicopter and flies along the power transmission line to see the power transmission line with binoculars. However, he was checking for abnormalities and checking the power transmission equipment while moving on foot.
しかしながら、巡視員による双眼鏡を持っての点検/巡視は、巡視員の負担となっており、また、異常個所を見過ごすおそれがあった。 However, inspection / patrol by the patrolman with binoculars is a burden on the patrolman, and there is a risk of overlooking the abnormal part.
また、ヘリコプターを使用した送電設備の点検/巡視は、ヘリコプターを利用するための費用の他、ヘリコプターの操縦士の他に複数の巡視員を搭乗させるため、点検/巡視のための費用が高くなるほか、急に点検/巡視が必要になった場合に簡易かつ迅速に対応することができない。また、ヘリコプターから送電線の画像撮影を行って、撮影した画像を巡視員が見て送電線の素線切れやアーク痕(雷痕)の有無の点検などをすることもなされている。 In addition to the cost of using a helicopter, inspection / patrol of power transmission equipment using a helicopter requires a plurality of patrols in addition to the helicopter operator, so the cost for inspection / patrol is high. In addition, if an inspection / patrol is suddenly required, it cannot be handled simply and quickly. In addition, an image of a transmission line is taken from a helicopter, and a patrolman looks at the taken image to check for a broken wire of the transmission line and the presence or absence of an arc mark (lightning mark).
また、画像撮影による送電線の点検作業も、撮影された全ての画像を巡視員が見ながら異常個所を検出しているため、迅速な点検が行えないという問題がある。 In addition, the inspection work of the transmission line by taking an image also has a problem that a quick inspection cannot be performed because an abnormal part is detected while the patrolman is looking at all the taken images.
この点で、画像処理の技術を利用して素線切れやアーク痕を検出する方式等が提案されている(特許文献1)。 In this respect, a method of detecting wire breakage and arc marks by using an image processing technique has been proposed (Patent Document 1).
本開示は、送電設備に生じた異常箇所を画像処理によって簡易な方式で検出可能な巡視点検システムおよび巡視点検方法を提供することである。 The present disclosure is to provide a patrol inspection system and a patrol inspection method capable of detecting an abnormal portion generated in a power transmission facility by a simple method by image processing.
ある局面に従う航空機に搭載されたカメラにより撮影された画像データをもとに被点検物について巡視点検するための巡視点検システムであって、画像データから被点検物に異常が生じた可能性のある異常箇所を特定する異常箇所検出部と、画像データ内の異常箇所検出部で特定された異常箇所の異常画素が第1の所定数以上であるか否かを判断し、異常箇所が第1の所定数以上である場合には、異常状態と判別する異常判別部とを備える。 It is a patrol inspection system for patrol inspection of the object to be inspected based on the image data taken by the camera mounted on the aircraft according to a certain situation, and there is a possibility that an abnormality has occurred in the object to be inspected from the image data. It is determined whether or not the number of abnormal pixels of the abnormal part identified by the abnormal part detecting unit for identifying the abnormal part and the abnormal part detecting unit in the image data is equal to or more than the first predetermined number, and the abnormal part is the first. When the number is equal to or more than a predetermined number, an abnormality determining unit for determining an abnormal state is provided.
好ましくは、異常判別部は、画像データ内の異常箇所の異常画素が第1の所定数未満の場合に、第2の所定数以上の集合群の異常画素があるか否かを判断し、画像データ内の異常箇所の異常画素が第1の所定数未満の場合に、第2の所定数以上の集合群の異常画素がある場合には異常状態と判断する。 Preferably, when the number of abnormal pixels in the abnormal portion in the image data is less than the first predetermined number, the abnormality determining unit determines whether or not there are abnormal pixels in the second predetermined number or more of the set group, and determines whether or not there are abnormal pixels in the second predetermined number or more. When the number of abnormal pixels in the abnormal portion in the data is less than the first predetermined number, and when there are abnormal pixels in the set group of the second predetermined number or more, it is determined to be an abnormal state.
好ましくは、異常判別部は、画像データ内の異常箇所の異常画素が第1の所定数未満の場合に、第2の所定数以上の集合群の異常画素が無い場合に、被点検物の外周領域に隣接している異常画素があるか否かを判断し、画像データ内の異常箇所の異常画素が第1の所定数未満の場合に、第2の所定数以上の集合群の異常画素が無い場合に、被点検物の外周領域に隣接している異常画素がある場合には異常状態と判断する。 Preferably, the abnormality determining unit is the outer periphery of the object to be inspected when the number of abnormal pixels in the abnormal portion in the image data is less than the first predetermined number and when there is no abnormal pixel in the set group of the second predetermined number or more. It is determined whether or not there are abnormal pixels adjacent to the area, and when the number of abnormal pixels in the abnormal part in the image data is less than the first predetermined number, the abnormal pixels of the second predetermined number or more of the set group are If there are no abnormal pixels adjacent to the outer peripheral area of the object to be inspected, it is judged to be in an abnormal state.
別の局面に従う航空機に搭載されたカメラにより撮影された画像データをもとに被点検物について巡視点検するための巡視点検システムであって、被点検物について連続的に撮影された複数の第1の画像データを記録する記録部と、複数の第1の画像データから被点検物を特定する特定部と、複数の第1の画像データのそれぞれの第1の画像データの被点検物の撮影状態の良否を判定する判定部と、複数の第1の画像データのうち判定部の判定結果に基づいて撮影状態が不良の画像データを不良画像データとして記録部に記録する設定部とを備える。 A patrol inspection system for patrol inspection of an object to be inspected based on image data taken by a camera mounted on an aircraft according to another aspect, and a plurality of first shots of the object to be inspected continuously. A recording unit that records the image data of the above, a specific unit that identifies the inspected object from the plurality of first image data, and a shooting state of the inspected object of the first image data of each of the plurality of first image data. It is provided with a determination unit for determining the quality of the image, and a setting unit for recording image data in a poor shooting state as defective image data in the recording unit based on the determination result of the determination unit among the plurality of first image data.
好ましくは、判定部は、複数の第1の画像データのそれぞれの第1の画像データの被点検物の幅を算出し、複数の第1の画像データのうち被点検物の幅が所定値以下であると判断された第1の画像データは、被点検物の撮影状態が不良と判定する。 Preferably, the determination unit calculates the width of the object to be inspected of the first image data of each of the plurality of first image data, and the width of the object to be inspected among the plurality of first image data is equal to or less than a predetermined value. For the first image data determined to be, it is determined that the photographing state of the object to be inspected is defective.
好ましくは、判定部は、複数の第1の画像データのそれぞれの第1の画像データの被点検物の外周領域が有るか否かを判断し、複数の第1の画像データのうち被点検物の外周領域が無いと判断された第1の画像データは、被点検物の撮影状態が不良と判定する。 Preferably, the determination unit determines whether or not there is an outer peripheral region of the object to be inspected in each of the first image data of the plurality of first image data, and the object to be inspected among the plurality of first image data. The first image data, which is determined to have no outer peripheral region, is determined to be in a poor imaging state of the object to be inspected.
好ましくは、記録部は、被点検物について連続的に再撮影した複数の第2の画像データを記録し、特定部は、複数の第2の画像データから被点検物を特定し、判定部は、複数の第2の画像データのそれぞれの第2の画像データの被点検物の撮影状態の良否を判定し、複数の第2の画像データのうち、被点検物について記録部に記録された不良画像データに対応する位置の撮影状態が良いと判定された再撮影画像データを特定する特定部と、不良画像データを特定部により特定された再撮影画像データに変更して複数の第1の画像データとして編集する編集部とを備える。 Preferably, the recording unit records a plurality of second image data continuously re-photographed about the object to be inspected, the specific unit identifies the object to be inspected from the plurality of second image data, and the determination unit , The quality of the shooting state of the inspected object of each of the second image data of the plurality of second image data is determined, and among the plurality of second image data, the defect recorded in the recording unit for the inspected object. A plurality of first images by changing a specific unit that identifies the re-photographed image data determined to be in a good shooting state at a position corresponding to the image data and a re-photographed image data that specifies the defective image data by the specific unit. It has an editorial department for editing as data.
ある局面に従う航空機に搭載されたカメラにより撮影された画像データをもとに被点検物について巡視点検するための巡視点検方法であって、画像データから被点検物に異常が生じた可能性のある異常箇所を特定するステップと、画像データ内の特定された異常箇所の異常画素が第1の所定数以上であるか否かを判断するステップと、異常箇所が第1の所定数以上である場合には、異常状態と判別するステップとを備える。 It is a patrol inspection method for patrol inspection of the inspected object based on the image data taken by the camera mounted on the aircraft according to a certain situation, and there is a possibility that an abnormality has occurred in the inspected object from the image data. A step of identifying an abnormal part, a step of determining whether or not the number of abnormal pixels of the specified abnormal part in the image data is equal to or more than the first predetermined number, and a case where the abnormal part is equal to or more than the first predetermined number. Is provided with a step of determining an abnormal state.
別の局面に従う航空機に搭載されたカメラにより撮影された画像データをもとに被点検物について巡視点検するための巡視点検方法であって、記録部に記録された、被点検物について連続的に撮影された複数の第1の画像データから被点検物を特定するステップと、複数の第1の画像データのそれぞれの第1の画像データの被点検物の撮影状態の良否を判定するステップと、複数の第1の画像データのうち判定結果に基づいて撮影状態が不良の画像データを不良画像データとして記録部に記録するステップとを備える。 It is a patrol inspection method for patrol inspection of the inspected object based on the image data taken by the camera mounted on the aircraft according to another aspect, and the inspected object recorded in the recording unit is continuously inspected. A step of identifying an inspected object from a plurality of captured first image data, a step of determining the quality of the photographed state of the inspected object of the first image data of each of the plurality of first image data, and a step of determining the quality of the inspected object. The present invention includes a step of recording image data in a poor shooting state as defective image data in a recording unit based on a determination result among the plurality of first image data.
本開示の巡視点検システムおよび巡視点検方法は、送電設備に生じた異常箇所を画像処理によって簡易な方式で検出可能である。 The patrol inspection system and the patrol inspection method of the present disclosure can detect an abnormal part generated in a power transmission facility by a simple method by image processing.
実施形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付し、その説明は繰り返さない。 The embodiment will be described in detail with reference to the drawings. The same or corresponding parts in the drawings are designated by the same reference numerals, and the description thereof will not be repeated.
(実施形態1)
図1は、実施形態1に従う巡視点検について説明する図である。
(Embodiment 1)
FIG. 1 is a diagram illustrating a patrol inspection according to the first embodiment.
図1に示されるように、巡視点検システム1は、例えば発電所や変電所から送電するための送電設備(送電線、鉄塔)200について、通常時あるいは事故発生時において航空機、例えばヘリコプター100を利用して、巡視点検するためのシステムである。
As shown in FIG. 1, the
なお、本例においては、ヘリコプター100を利用する場合について説明するが、特に有人飛行体に限られず無人飛行体(UAV(Unmanned aerial vehicle))を用いることも可能である。
In this example, the case where the
巡視点検システム1は、ヘリコプター100に搭載されたカメラにより撮影された画像データをもとに、送電設備200に含まれる複数の異なる被点検物(例えば、架空地線、送電線等)に生じた異常箇所を検出する。
The
実施形態1に従う巡視点検システム1は、例えば情報処理装置を用いて構成される。なお、ネットワークを介して複数の装置として実現することも可能である。例えば、クラウドコンピューティングにより実現されるものとし、ネットワーク(インターネット)を介して接続された1台のサーバ、あるいは複数のサーバが協働して動作することで実現されても良い。
The
図2は、実施形態1に従う巡視点検システム1の構成を説明する図である。
図2を参照して、巡視点検システム1は、プロセッサ2と、メモリ4と、記憶装置6と、入出力I/F8と、表示装置10と、入力装置12と、通信装置14とを含む。
FIG. 2 is a diagram illustrating a configuration of a
With reference to FIG. 2, the
各部は互いに内部バスで接続されており、相互にデータの授受が可能に設けられている。 Each part is connected to each other by an internal bus, and data can be exchanged with each other.
プロセッサ2は、メモリ4に記憶された基本プログラム(OS)やアプリケーションプログラムを実行して、各種の機能を実現する。例えば、プロセッサ2は、巡視点検制御プログラムを実行することでヘリコプター100に搭載されたカメラにより撮影された画像をもとに、送電施設の被点検物に生じた異常箇所を検出し、その検出結果をもとに巡視点検結果を出力する処理を実行する。
The
メモリ4は、プロセッサ2により実行されるプログラムや一時的なデータ等を記憶する。
The memory 4 stores a program executed by the
記憶装置6は、各種のプログラムや各種データが記憶される。記憶装置6に記憶されるデータには、ヘリコプター100から受信される取得データ(画像データ、位置データ)、画像データから被点検物に生じた異常箇所を検出するための画像処理に用いる学習モデルデータ、異常箇所の画像データ等を含む。
The
入出力I/F8は、外部機器とデータを送受信するためのインタフェースである。入出力I/F8は、例えば可搬型のメモリ媒体を介してデータを入出力することができる。
The input / output I /
表示装置10は、LCD(Liquid Crystal Display)などであり、プロセッサ2の処理に応じた画面を表示させる。
The
入力装置12は、キーボードやポインティングデバイスなどであり、作業者等により操作される。
The
通信装置14は、無線通信あるいは有線通信を制御するもので、ヘリコプター100との間、あるいは無線公衆網に収容された基地局との間の無線通信あるいは有線通信を制御する。通信装置14は、ネットワークを通じた外部装置、例えば他の情報処理装置等との通信を制御する。ネットワークは、無線あるいは有線によるWAN(Wide Area Network)、LAN(Local Area Network)等を含む。
The
巡視点検システム1は、ヘリコプター100に搭載されたカメラにより撮影された画像データをもとにした被点検物に生じた異常箇所の検出、異常箇所の画像の確認処理などが実行される。
The
ヘリコプター100は、GNSS(Global Navigation Satellite System))を利用して生成される位置データ等、例えばGPS(Global Positioning System)衛星から受信されるGPS信号から生成する位置データ等を記憶しながら巡視点検対象とする送電設備200を撮影して画像データを記憶する。
The
なお、巡視点検システム1は、ヘリコプター100に搭載されたカメラにより撮影された画像データを通信装置14を用いてリアルタイムに受信して、被点検物に生じた異常箇所を検出することも可能であるが、カメラにより撮影された画像データをディスク等の情報記憶媒体に一旦記録後、当該データを記憶装置6に格納した後に被点検物に生じた異常箇所を検出するようにしてもよい。
The
なお、本例においては、巡視点検システム1は、ヘリコプター100の外部に設けられた構成について説明するが、ヘリコプター100内に搭載していてもよい。
In this example, the
図3は、実施形態1に従う巡視点検システム1において、プロセッサ2により巡視点検制御プログラムを実行することにより実現される機能構成を示すブロック図である。
FIG. 3 is a block diagram showing a functional configuration realized by executing a patrol inspection control program by the
図3に示されるように、プロセッサ2は、巡視点検制御プログラムに基づいて、例えば学習モデル記憶部20と、異常箇所検出部22と、取得データ記憶部24と、異常判定部26と、確認データ記憶部28との機能を実現する。
As shown in FIG. 3, the
学習モデル記憶部20は、巡視点検システム1で用いる学習モデルを記憶する。学習モデルは、ヘリコプター100に搭載されたカメラによって取得された画像データから電線領域と異常箇所とを画像中から検出するためのもので、被点検物に生じる異常状態の特徴を表す。被点検物に生じた異常としては、例えば送電線の場合にはアーク痕がある。
The learning
図4は、実施形態1に従う学習モデルを説明する図である。
図4に示されるように、実際に生じた異常箇所の画像データとともに、当該画像データに関する情報を付加したラベル画像データを組み合わせて学習済みモデルとして記憶する。
FIG. 4 is a diagram illustrating a learning model according to the first embodiment.
As shown in FIG. 4, the image data of the abnormal portion actually generated and the label image data to which the information about the image data is added are combined and stored as a trained model.
具体的には、背景画像(ラベル「0」)と、電線画像(ラベル「1」)と、異常画像(ラベル「2」)とに分類されたラベル画像データを記憶する。なお、本例においては3つに分類されたラベル画像データを記憶する場合について説明するが、電線画像(ラベル「1」)と、異常画像(ラベル「2」)とに分類されたラベル画像データを記憶するようにしても良い。 Specifically, label image data classified into a background image (label "0"), an electric wire image (label "1"), and an abnormal image (label "2") is stored. In this example, the case of storing the label image data classified into three categories will be described, but the label image data classified into the electric wire image (label "1") and the abnormal image (label "2"). You may try to remember.
巡視点検システム1は、学習モデル記憶部20に記憶された学習モデルを用いて画像データから異常箇所を探索することで、確実に被点検物に生じた異常箇所を検出できるようにすることができる。
The
なお、実際に生じた異常箇所の画像データだけでなく、被点検物に生じる異常/劣化の状態を表す擬似的な画像(類似画像)をニューラルネットワークを活用したディープラーニング(深層学習)の技術を利用して学習済みモデルを生成するようにしてもよい。ディープラーニング(深層学習)の技術を利用して、異常箇所の画像(異常画像)と異常箇所の周辺にある正常画像の組み合わせと、正常画像と異常画像とを組み合わせる比を変更しながら類似画像を生成することで、大量の類似画像に基づいた学習モデルを学習(生成)することも可能である。 In addition to the image data of the abnormal part that actually occurred, a deep learning (deep learning) technology that utilizes a neural network to generate a pseudo image (similar image) that shows the abnormal / deteriorated state that occurs in the object to be inspected. It may be used to generate a trained model. Using deep learning technology, you can create similar images by changing the combination of the image of the abnormal part (abnormal image) and the normal image around the abnormal part, and the ratio of combining the normal image and the abnormal image. By generating it, it is also possible to train (generate) a learning model based on a large number of similar images.
取得データ記憶部24は、ヘリコプター100から取得された取得データを記憶する。取得データには、例えば、被点検物を撮影した動画像データ(静止画像データでも良い)、画像撮影時のヘリコプター100の位置を示す位置データ(緯度、経度、高度)等が含まれる。
The acquired
異常箇所検出部22は、取得データ記憶部24に記憶された取得データから、学習モデル記憶部20に記憶された学習モデル(被点検物の異常箇所の特徴)をもとにした画像処理により電線領域および異常箇所を検出する。具体的には、異常箇所検出部22は、取得された画像データに関して学習モデルを用いて、当該画像データに対応する図4で説明したラベル画像データを生成する。例えば取得された画像データのうち背景として判断された画素はラベル「0」に設定する。また、取得された画像データのうち電線として判断された画素はラベル「1」に設定する。取得された画像データのうち異常として判断された画素はラベル「2」に設定する。ラベル画像データにラベル「2」が含まれている場合に当該取得された画像データは異常候補画像と判断される。異常箇所検出部22は、取得データ記憶部24に記憶された画像データとともに、生成したラベル画像データを異常候補画像データとして異常判定部26に出力する。
The abnormality
異常判定部26は、異常箇所検出部22で検出された異常の候補画像(異常候補画像とも称する)について実際に異常が有るか否かを判定する。
The
確認データ記憶部28は、異常判定部26で異常候補画像が異常であることが確認された異常画像データ、検出位置、検出日時などを示す各データを確認データとして記憶する。これにより簡易に異常箇所を確認することが可能である。
The confirmation
図5は、実施形態1に従う異常判定部26における異常候補画像データの異常判定処理について説明する図である。
FIG. 5 is a diagram illustrating an abnormality determination process of abnormality candidate image data in the
本例においては、異常判定部26は、異常候補画像データに含まれるラベル画像データに基づいて異常が有るか否かを判定する。
In this example, the
図5(A)に示されるように、異常候補画像データ(ラベル画像データ)に関して、異常箇所の候補画素(ラベル「2」)の個数が第1の所定数以上である場合には、当該異常候補画像データは異常と判定する。傷や経年劣化に従って多数の異常と判定される画素が多い画像の場合には異常有りと判断する。 As shown in FIG. 5A, with respect to the abnormality candidate image data (label image data), when the number of candidate pixels (label “2”) at the abnormality location is equal to or greater than the first predetermined number, the abnormality is concerned. The candidate image data is determined to be abnormal. If the image has a large number of pixels that are judged to be abnormal due to scratches or deterioration over time, it is judged that there is an abnormality.
図5(B)に示されるように、異常候補画像データ(ラベル画像データ)に関して、異常箇所の候補画素(ラベル「2」)の個数が第1の所定数以上で無い場合であっても、集合群の異常箇所の候補画素(ラベル「2」)が第2の所定数以上である場合には、当該異常候補画像データは異常と判定する。アーク痕のような局所的に集合群の異常と判定される画素がある画像の場合には異常有りと判断する。 As shown in FIG. 5B, with respect to the abnormality candidate image data (label image data), even when the number of candidate pixels (label “2”) at the abnormality portion is not equal to or more than the first predetermined number. When the candidate pixels (label "2") of the abnormal portion of the set group are equal to or larger than the second predetermined number, the abnormal candidate image data is determined to be abnormal. In the case of an image having pixels that are locally determined to be abnormal in the set group, such as arc marks, it is determined that there is an abnormality.
図5(C)に示されるように、異常候補画像データ(ラベル画像データ)に関して、異常箇所の候補画素(ラベル「2」)の個数が第1の所定数以上で無く、かつ集合群の異常箇所の候補画素(ラベル「2」)の個数が第2の所定数以上でない場合であっても、電線の外周領域に隣接する異常箇所の候補画素(ラベル「2」)が有る場合には、異常と判定する。素線切れのような外周領域に異常と判定される画素がある画像の場合には異常有りと判断する。 As shown in FIG. 5C, with respect to the abnormality candidate image data (label image data), the number of candidate pixels (label “2”) at the abnormality portion is not equal to or more than the first predetermined number, and the abnormality of the set group is abnormal. Even if the number of candidate pixels (label "2") at the location is not equal to or greater than the second predetermined number, if there are candidate pixels (label "2") at the abnormal location adjacent to the outer peripheral region of the electric wire, there is a candidate pixel (label "2") at the location. Judge as abnormal. If the image has pixels that are determined to be abnormal in the outer peripheral region, such as broken wires, it is determined that there is an abnormality.
図5(D)に示されるように、異常候補画像データ(ラベル画像データ)に関して、異常箇所の候補画素が複数ある場合であっても第1の所定数未満であり、かつ集合群の異常箇所の候補画素が第2の所定数未満である場合には、当該異常候補画像データは異常でないと判定する。異常と判定される画素がある場合であってもその個数が少ない場合には異常無しと判断する。 As shown in FIG. 5D, with respect to the abnormality candidate image data (label image data), even if there are a plurality of candidate pixels for the abnormality portion, the number is less than the first predetermined number and the abnormality portion of the set group is abnormal. If the number of candidate pixels is less than the second predetermined number, it is determined that the abnormality candidate image data is not abnormal. Even if there are pixels that are determined to be abnormal, if the number is small, it is determined that there is no abnormality.
図5(E)に示されるように、異常候補画像データ(ラベル画像データ)に関して、異常箇所の候補画像が電線の外周領域の外にある場合には、当該異常候補画像データは異常ではないと判定する。電線の外周領域の外であるためノイズの可能性が高いため異常と判定される画素がある場合であっても異常無しと判断する。 As shown in FIG. 5 (E), regarding the abnormality candidate image data (label image data), when the candidate image of the abnormality portion is outside the outer peripheral region of the electric wire, the abnormality candidate image data is not abnormal. judge. Since it is outside the outer peripheral region of the electric wire, there is a high possibility of noise, so even if there are pixels that are judged to be abnormal, it is judged that there is no abnormality.
図6は、実施形態1に従う巡視点検システム1における異常判定処理のフローについて説明する図である。
FIG. 6 is a diagram illustrating a flow of abnormality determination processing in the
図6を参照して、巡視点検システム1は、画像データを取得する(ステップS2)。
具体的には、ヘリコプター100に搭載されたカメラによって撮像された画像データが記憶装置6に格納される。取得データ記憶部24は、ヘリコプター100から取得された取得データを記憶する。異常箇所検出部22は、取得データ記憶部24に記憶された画像データを取得する。
With reference to FIG. 6, the
Specifically, the image data captured by the camera mounted on the
次に、巡視点検システム1は、電線領域と異常箇所とを検出する(ステップS4)。異常箇所検出部22は、取得データ記憶部24に記憶された画像データと、学習モデル記憶部20に格納されている学習モデルとに基づいて異常箇所を検出する。異常箇所検出部22は、学習モデルを用いてラベル画像データを生成し、取得データ記憶部24に記憶された画像データに関して異常箇所が有ると判定された場合には異常候補画像データとして異常判定部26に出力する。
Next, the
次に、巡視点検システム1は、異常を判定する(ステップS6)。異常判定部26は、異常候補画像について実際に異常で有るか否かを判定する。異常判定処理の詳細については後述する。
Next, the
そして、処理を終了する(エンド)。
図7は、実施形態1に従う異常判定部26の異常判定処理のサブルーチンフローを説明する図である。
Then, the process ends (end).
FIG. 7 is a diagram illustrating a subroutine flow of abnormality determination processing of the
図7に示されるように、巡視点検システム1は、異常画素が第1の所定数以上であるか否かを判定する(ステップS10)。異常判定部26は、取得した異常候補画像データに含まれる異常箇所と判定された異常画素が第1の所定数以上であるか否かを判定する。本例においては、異常判定部26は、ラベル画像データに含まれるラベル「2」の個数をカウントして、当該カウントした個数が第1の所定数以上であるか否かを判定する。第1の所定数は任意の数に設定することが可能である。
As shown in FIG. 7, the
ステップS10において、巡視点検システム1は、異常画素が第1の所定数以上であると判定した場合(ステップS10においてYES)には、異常有りと判定する(ステップS18)。異常判定部26は、ラベル画像データに含まれるラベル「2」の個数が第1の所定数以上であると判定した場合には、図5(A)で説明したように傷や経年劣化に従って異常の可能性が高い画像データを異常有りと判定する。
In step S10, when the
そして、処理を終了する(リターン)。
次に、巡視点検システム1は、異常画素が第1の所定数以上で無いと判定した場合(ステップS10においてNO)には、集合群の異常画素が第2の所定数以上であるか否かを判定する(ステップS12)。異常判定部26は、取得した異常候補画像データに含まれる異常箇所と判定された異常画素が第1の所定数以上で無い場合には、集合群の異常画素が第2の所定数以上であるか否かを判定する。本例においては、異常判定部26は、ラベル画像データに含まれる互いに隣接するラベル「2」の個数をカウントして、当該カウントした個数が第2の所定数以上であるか否かを判定する。第2の所定数は任意の数に設定することが可能である。
Then, the process ends (return).
Next, when the
ステップS12において、巡視点検システム1は、集合群の異常画素が第2の所定数以上有ると判定した場合(ステップS12においてYES)には、異常有りと判定する(ステップS18)。異常判定部26は、ラベル画像データに含まれる互いに隣接するラベル「2」の個数が第2の所定数以上であると判定した場合には、図5(B)で説明したようにアーク痕のような異常の可能性が高い画像データを異常有りと判定する。
In step S12, when the
そして、処理を終了する(リターン)。
次に、巡視点検システム1は、集合群の異常画素が第2の所定数以上で無いと判定した場合(ステップS12においてNO)には、電線の外周領域に隣接する異常画素が有るか否かを判定する(ステップS14)。異常判定部26は、取得した異常候補画像データに含まれる異常箇所と判定された異常画素が第1の所定数以上で無く、集合群の異常画素が第2の所定数以上で無い場合には、電線の外周領域に隣接する異常画素があるか否かを判定する。本例においては、異常判定部26は、ラベル画像データに含まれるラベル「1」に基づいて電線の外周領域を特定する。異常判定部26は、特定された電線の外周領域に隣接するラベル「2」の異常画素があるか否かを判定する。
Then, the process ends (return).
Next, when the
ステップS14において、巡視点検システム1は、電線の外周領域に隣接する異常画素が有ると判定した場合(ステップS14においてYES)には、異常有りと判定する(ステップS18)。異常判定部26は、特定された電線の外周領域に隣接するラベル「2」の異常画素がある場合には、図5(C)で説明したような素線切れのような異常の可能性が高い画像データを異常有りと判定する。
In step S14, when the
そして、処理を終了する(リターン)。
一方、ステップS14において、巡視点検システム1は、電線の外周領域に隣接する異常画素が無いと判定した場合(ステップS14においてNO)には、異常無しと判定する(ステップS16)。異常判定部26は、図5(D)あるいは図5(E)で説明したようにノイズのような異常の可能性が低い画像データを異常無しと判定する。
Then, the process ends (return).
On the other hand, in step S14, when the
そして、処理を終了する(リターン)。
なお、ステップS10,S12,S14の判定処理を実行する場合について説明したが、これに限られずいずれか1つとしても良いし、任意の組み合わせで2つの判定処理を実行することも可能である。
Then, the process ends (return).
Although the case of executing the determination processing of steps S10, S12, and S14 has been described, the present invention is not limited to this, and any one of them may be used, or two determination processes may be executed in any combination.
実施形態1に従う巡視点検システム1は、上記に従って被点検物(例えば、架空地線、送電線等)に生じた異常箇所を画像処理によって簡易な方式で検出することが可能である。また、実施形態1に従う巡視点検システム1は、被点検物(例えば、架空地線、送電線等)の傷や経年劣化による異常のみならず、アーク痕や素線切れ等の異常に対しても精度の高い異常検出が可能である。
The
(実施形態2)
上記の実施形態1においては、画像データの異常の判定方式について説明した。一方で、ヘリコプター100に搭載されたカメラで取得した画像データに関して撮影対象の被点検物(例えば、架空地線、送電線等)が正常に撮影されていない可能性もある。
(Embodiment 2)
In the first embodiment described above, a method for determining an abnormality in image data has been described. On the other hand, there is a possibility that the object to be inspected (for example, an overhead ground wire, a power transmission line, etc.) is not normally photographed with respect to the image data acquired by the camera mounted on the
図8は、実施形態2に従う巡視点検システム1において、プロセッサ2により巡視点検制御プログラムを実行することにより実現される機能構成を示すブロック図である。
FIG. 8 is a block diagram showing a functional configuration realized by executing a patrol inspection control program by the
図8に示されるように、図3で説明した構成と比較して、データ検証部29をさらに備えた点が異なる。その他の構成については同様であるのでその詳細な説明については繰り返さない。
As shown in FIG. 8, the point that the
データ検証部29は、取得データ記憶部24に格納されている取得された画像データが正常な画像データか否かを検証する。すなわち、被点検物が正常に撮影されているか否かを検証する。本例においては、被点検物が正常に撮影されていないと判断された場合には当該被点検物を再撮影する。本例においては、被点検物の一例として電線を撮影する場合について説明する。
The
図9は、実施形態2に従うデータ検証部29の構成について説明する図である。
図9に示されるようにデータ検証部29は、特定部30と、良否判定部32と、設定部34と、編集部36とを含む。
FIG. 9 is a diagram illustrating the configuration of the
As shown in FIG. 9, the
特定部30は、画像データから被点検物である電線を特定する。
良否判定部32は、画像データの被点検物である電線の撮影状態の良否を判定する。
The
The
設定部34は、良否判定部32の判定結果に基づいて撮影状態が良い画像データを良好画像データとして、撮影状態が良くない画像データを不良画像データとして記憶装置6に記録する。
The setting
編集部36は、記憶装置6に記録された不良画像データを良好な再撮影画像データに変更する。
The
図10は、実施形態2に従う良否判定部32における画像データの良否判定処理について説明する図である。
FIG. 10 is a diagram illustrating a quality determination process of image data in the
良否判定部26は、画像データに基づいて撮影状態が不良か否かを判定する。
図10(A)に示されるように、被点検物である電線の一部が欠落しているような画像データの場合には撮影状態が不良であり、不良画像データと判定する。具体的には、画像データに含まれる被点検物の電線幅が所定値以下の箇所がある場合には不良画像データと判定する。
The
As shown in FIG. 10A, in the case of image data in which a part of the electric wire, which is the object to be inspected, is missing, the photographing state is defective, and it is determined that the image data is defective. Specifically, if the wire width of the object to be inspected included in the image data is equal to or less than a predetermined value, it is determined to be defective image data.
図10(B)に示されるように、被点検物である電線の一部が欠落していない画像であっても被点検物の大きさが小さい場合には撮影状態が不良であり、不良画像データと判定する。具体的には、画像データに含まれる被点検物の電線幅が所定値以下の箇所がある場合には不良画像データと判定する。 As shown in FIG. 10B, even if an image in which a part of the electric wire to be inspected is not missing, if the size of the inspected object is small, the photographing state is poor and the defective image. Judge as data. Specifically, if the wire width of the object to be inspected included in the image data is equal to or less than a predetermined value, it is determined to be defective image data.
図10(C)に示されるように、画像データに含まれる被点検物である電線幅が所定値を超える場合であっても外周領域が欠落しているような画像データの場合には撮影状態が不良であり、不良画像データと判定する。具体的には、画像データに含まれる被点検物の電線の外周領域が存在するか否かを判定し、存在しない場合には不良画像データと判定する。例えば、画像データの電線を構成する画素の上下方向に電線以外の画素が存在するか否かにより外周領域が存在するか否かを判定するようにしてもよい。 As shown in FIG. 10C, even if the width of the electric wire, which is the object to be inspected, included in the image data exceeds a predetermined value, the image data is in a state of being photographed in the case where the outer peripheral region is missing. Is defective and is determined to be defective image data. Specifically, it is determined whether or not the outer peripheral region of the electric wire of the object to be inspected included in the image data exists, and if it does not exist, it is determined as defective image data. For example, it may be determined whether or not the outer peripheral region exists depending on whether or not pixels other than the electric wire are present in the vertical direction of the pixels constituting the electric wire of the image data.
図11は、実施形態2に従う巡視点検システム1におけるデータ検証処理のフローについて説明する図である。
FIG. 11 is a diagram illustrating a flow of data verification processing in the
図11を参照して、巡視点検システム1は、画像データを取得する(ステップS20)。
With reference to FIG. 11, the
具体的には、ヘリコプター100に搭載されたカメラによって撮像された画像データが記憶装置6に格納される。取得データ記憶部24は、ヘリコプター100から取得された取得データを記憶する。特定部30は、取得データ記憶部24に記憶された画像データを取得する。
Specifically, the image data captured by the camera mounted on the
次に、巡視点検システム1は、電線領域を特定する(ステップS22)。特定部30は、取得データ記憶部24に記憶された画像データから被点検物である電線領域を特定する。
Next, the
具体的には、上記で説明したように、学習モデル記憶部20に記憶された学習モデルをもとにした画像処理により電線領域を特定する。あるいは、特定部30は、形状により電線領域を特定してもよいし、画像データに含まれる色データに基づいて電線領域を特定しても良い。
Specifically, as described above, the electric wire region is specified by image processing based on the learning model stored in the learning
次に、巡視点検システム1は、撮影状態の良否を判定する(ステップS24)。良否判定部32は、画像データの特定された電線領域に基づいて撮影状態の良否を判定する。撮影状態の良否判定処理の詳細については後述する。
Next, the
図12は、実施形態2に従う良否判定部32の良否判定処理のサブルーチンフローを説明する図である。
FIG. 12 is a diagram illustrating a subroutine flow of the pass / fail determination process of the pass /
図12に示されるように、巡視点検システム1は、電線幅を算出する(ステップS30)。良否判定部32は、特定した電線領域の電線幅を算出する。例えば、画像データの特定された電線領域の画素数(画素(ラベル「1」)の個数)により電線幅を算出するようにしても良い。電線幅は、電線領域の長さ方向に直交する方向の距離である。
As shown in FIG. 12, the
次に、巡視点検システム1は、電線幅が所定値以下であるか否かを判定する(ステップS32)。良否判定部32は、電線幅が所定値以下であるか否かを判定する。具体的には、良否判定部32は、画像データの特定された電線領域の長さ方向に直交する方向の画素数が所定個数以下であるか否かを判定するようしてもよい。
Next, the
ステップS32において、巡視点検システム1は、電線幅が所定値以下であると判定した場合(ステップS32においてYES)には、撮影状態は不良であると判定する(ステップS38)。良否判定部32は、電線幅が所定値以下であると判定した場合には、図10(A)、(B)で説明したように撮影状態は不良であり、不良画像データと判定する。
In step S32, when the
そして、処理を終了する(リターン)。
一方、巡視点検システム1は、電線幅が所定値以下で無いと判定した場合(ステップS32においてNO)には、画像データの特定された電線領域の外周領域が有るか否かを判定する(ステップS34)。良否判定部32は、取得した画像データに含まれる電線領域の外周領域があるか否かを判定する。例えば、取得した画像データに含まれる電線領域を構成する画素の上下方向に電線領域以外の画素が存在するか否かにより外周領域が存在するか否かを判定するようにしてもよい。なお、少なくとも1つの画素が存在していれば電線領域の外周領域が存在すると判定しても良いし、マージンを設けて複数の画素が存在していれば電線領域の外周領域が存在すると判定するようにしても良い。
Then, the process ends (return).
On the other hand, when the
ステップS34において、巡視点検システム1は、特定された電線領域の外周領域がないと判定した場合(ステップS34においてNO)には、撮影状態は不良であると判定する(ステップS38)。良否判定部32は、特定された電線領域の外周領域が無いと判定した場合には、図10(C)で説明したように、撮影状態は不良であり、不良画像データと判定する。
In step S34, when the
そして、処理を終了する(リターン)。
一方、ステップS34において、巡視点検システム1は、特定された電線領域の外周領域があると判定した場合(ステップS34においてYES)には、撮影状態は良好であると判定する(ステップS36)。
Then, the process ends (return).
On the other hand, in step S34, when the
そして、処理を終了する(リターン)。
再び図11を参照して、巡視点検システム1は、判定結果を撮像された画像データに設定する(ステップS26)。
Then, the process ends (return).
With reference to FIG. 11 again, the
具体的には、設定部34は、良否判定部32の良否判定の結果を画像データに設定する。例えば、設定部34は、記憶装置6に格納されている複数の画像データに対して良好あるいは不良画像データとしてそれぞれ判定結果を関連付けて設定する。
Specifically, the setting
そして、処理を終了する(エンド)。
本例においては、被点検物が正常に撮影されていないと判断された場合には当該被点検物を再撮影する。この場合、再撮影画像データについても図11で説明した処理が実行される。設定部34は、良否判定部32の良否判定の結果を再撮影画像データに設定する。設定部34は、記憶装置6に格納されている複数の再撮影画像データに対して良好あるいは不良画像データとしてそれぞれ判定結果を関連付けて設定する。
Then, the process ends (end).
In this example, if it is determined that the object to be inspected is not photographed normally, the object to be inspected is photographed again. In this case, the process described with reference to FIG. 11 is also executed for the retaken image data. The setting
図13は、実施形態2に従う編集部36の編集処理について説明するフロー図である。
図13に示されるように、巡視点検システム1は、記憶装置6に格納されている不良画像データを取得する(ステップS40)。編集部36は、取得データ記憶部24に記憶されている不良に設定された不良画像データを取得する。
FIG. 13 is a flow chart illustrating the editing process of the
As shown in FIG. 13, the
次に、巡視点検システム1は、対応する再撮影画像データを特定する(ステップS42)。具体的には、編集部36は、不良画像データに関連付けられている位置情報に基づいて同一の位置情報に対応する再撮影画像データを特定する。位置情報は、特定された電線領域に関する位置情報でも良いし、カメラが設けられているヘリコプター100の位置情報を用いることも可能である。
Next, the
次に、巡視点検システム1は、記憶装置6に格納されている画像データを編集する(ステップS44)。編集部36は、当該撮影状態が不良に設定された画像データの位置データを取得して、当該位置データに対応する再撮影画像データを特定して、入れ替える。
Next, the
次に、巡視点検システム1は、全ての不良に設定された画像データをチェックしたか否かを判断する(ステップS46)。
Next, the
ステップS46において、巡視点検システム1は、全ての不良に設定された画像データをチェックしていないと判断した場合(ステップS46においてNO)には、ステップS40に戻り、他の不良に設定された画像データを取得して上記の処理を繰り返す。
If it is determined in step S46 that the
一方、ステップS46において、巡視点検システム1は、全ての不良に設定された画像データをチェックしたと判断した場合(ステップS46においてYES)には、処理を終了する(エンド)。
On the other hand, in step S46, when it is determined that the
図14は、実施形態2に従う編集部36の編集処理について説明する図である。
図14に示されているように、例えば動画像データの一部の画像データにおいて撮影状態が不良であるとして不良画像データとして設定された場合が示されている。
FIG. 14 is a diagram illustrating an editing process of the
As shown in FIG. 14, for example, a case where a part of the moving image data is set as defective image data because the shooting state is defective is shown.
編集部36は、当該撮影状態が不良に設定された不良画像データの位置データを取得して、当該位置データに対応する再撮影画像データを特定する。本例においては、位置データPEにおける再撮影画像データが不良画像データと対応している場合が示されている。
The
そして、編集部36は、再撮影画像データを不良画像データと入れ替えて編集する。
これにより、不良画像データを再撮影画像データに入れ替えて適切な画像データを取得することが可能である。なお、再撮影画像データは、良好な画像データとして設定されているものとする。なお、再撮影画像データの入れ替えに関して、不良画像データと判定された位置データPEと同一の位置に対応する再撮影画像データだけでなく、その前後の位置関係に対応する撮影状態が良好と判定された複数の再撮影画像データを入れ替えるようにしてもよい。
Then, the
Thereby, it is possible to replace the defective image data with the re-photographed image data and acquire appropriate image data. It is assumed that the re-photographed image data is set as good image data. Regarding the replacement of the re-photographed image data, it is determined that not only the re-photographed image data corresponding to the same position as the position data PE determined to be defective image data but also the photographing state corresponding to the positional relationship before and after the re-photographed image data is good. A plurality of retaken image data may be exchanged.
実施形態2に従う巡視点検システム1は、被点検物に生じた異常箇所の検出処理の前に被点検物を撮影した画像データが正常か否かを判定する。
The
そして、不良な画像データである場合には、再撮影により取得した再撮影画像データを用いて不良画像データと入れ替えて適切な画像データのセットを作成することが可能である。 Then, in the case of defective image data, it is possible to use the re-photographed image data acquired by re-imaging and replace it with the defective image data to create an appropriate set of image data.
例えば、距離の長い被点検物(例えば、架空地線、送電線等)を撮影する場合には、環境要因によって一部撮影が適切でなくなる可能性もある。当該方式により、不良と判定された不良画像データを良好な再撮影画像データに入れ替えることが可能であり、精度の高い巡視点検が可能である。 For example, when photographing a long-distance object to be inspected (for example, an overhead ground wire, a power transmission line, etc.), there is a possibility that some photographs may not be appropriate due to environmental factors. According to this method, defective image data determined to be defective can be replaced with good re-photographed image data, and highly accurate patrol inspection is possible.
なお、上記の各実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(ハードディスクなど)、光ディスク(CDROM、DVDなど)、光磁気ディスク(MO)、半導体メモリなどの記憶媒体に格納して頒布することもできる。また、記憶媒体としては、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であっても良い。 The method described in each of the above embodiments stores a magnetic disk (hard disk, etc.), an optical disk (CDROM, DVD, etc.), a magneto-optical disk (MO), a semiconductor memory, etc. as a program that can be executed by a computer. It can also be stored on a medium and distributed. Further, the storage medium may be in any form as long as it is a storage medium capable of storing a program and readable by a computer.
また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているOS(オペレーティングシステム)や、データベース管理ソフト、ネットワークソフト等のMW(ミドルウェア)等が上記実施形態を実現するための各処理の一部を実行しても良い。 Further, in order for the OS (operating system) running on the computer, the database management software, the MW (middleware) such as the network software, etc. to realize the above embodiment based on the instruction of the program installed on the computer from the storage medium. You may execute a part of each process of.
さらに、各実施形態における記憶媒体は、コンピュータと独立した媒体に限らず、LANやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。 Further, the storage medium in each embodiment is not limited to a medium independent of the computer, but also includes a storage medium in which a program transmitted by a LAN, the Internet, or the like is downloaded and stored or temporarily stored.
また、記憶媒体は1つに限らず、複数の媒体から上記の各実施形態における処理が実行される場合も本発明における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。 Further, the storage medium is not limited to one, and the case where the processing in each of the above embodiments is executed from a plurality of media is also included in the storage medium in the present invention, and the medium configuration may be any configuration.
なお、各実施形態におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、上記の各実施形態における各処理を実行するものであって、パーソナルコンピュータ等の1つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であっても良い。 The computer in each embodiment executes each process in each of the above embodiments based on the program stored in the storage medium, and is composed of one device such as a personal computer and a plurality of devices in a network. Any configuration such as a connected system may be used.
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 It should be considered that the embodiments disclosed this time are exemplary in all respects and not restrictive. The scope of the present disclosure is indicated by the scope of claims, not the above description, and is intended to include all modifications within the meaning and scope equivalent to the scope of claims.
1 巡視点検システム、2 プロセッサ、4 メモリ、6 記憶装置、10 表示装置、12 入力装置、14 通信装置、20 学習モデル記憶部、22 異常箇所検出部、24 取得データ記憶部、26 異常判定部、28 確認データ記憶部、29 データ検証部、30 特定部、32 良否判定部、34 設定部、36 編集部、100 ヘリコプター、200 送電設備。 1 Patrol inspection system, 2 processors, 4 memories, 6 storage devices, 10 display devices, 12 input devices, 14 communication devices, 20 learning model storage units, 22 abnormality location detection units, 24 acquisition data storage units, 26 abnormality determination units, 28 Confirmation data storage unit, 29 Data verification unit, 30 Specific unit, 32 Good / bad judgment unit, 34 Setting unit, 36 Editorial department, 100 Helicopter, 200 Transmission equipment.
Claims (9)
前記画像データから前記被点検物に異常が生じた可能性のある異常箇所を特定する異常箇所検出部と、
前記画像データ内の前記異常箇所検出部で特定された前記異常箇所の異常画素が第1の所定数以上であるか否かを判断し、前記異常箇所が前記第1の所定数以上である場合には、異常状態と判別する異常判別部とを備える、巡視点検システム。 It is a patrol inspection system for patrol inspection of the object to be inspected based on the image data taken by the camera mounted on the aircraft.
An abnormality location detection unit that identifies an abnormality location where an abnormality may have occurred in the object to be inspected from the image data,
When it is determined whether or not the number of abnormal pixels of the abnormal portion specified by the abnormal portion detection unit in the image data is equal to or greater than the first predetermined number, and the abnormal portion is equal to or greater than the first predetermined number. Is a patrol inspection system equipped with an abnormality discriminating unit that discriminates from an abnormal state.
前記画像データ内の前記異常箇所の異常画素が前記第1の所定数未満の場合に、第2の所定数以上の集合群の異常画素があるか否かを判断し、
前記画像データ内の前記異常箇所の異常画素が前記第1の所定数未満の場合に、前記第2の所定数以上の集合群の異常画素がある場合には異常状態と判断する、請求項1記載の巡視点検システム。 The abnormality determination unit
When the number of abnormal pixels in the abnormal portion in the image data is less than the first predetermined number, it is determined whether or not there are abnormal pixels in the set group of the second predetermined number or more.
Claim 1 in which, when the number of abnormal pixels in the abnormal portion in the image data is less than the first predetermined number and there are abnormal pixels in the set group of the second predetermined number or more, it is determined to be an abnormal state. Described patrol inspection system.
前記画像データ内の前記異常箇所の異常画素が前記第1の所定数未満の場合に、第2の所定数以上の集合群の異常画素が無い場合に、前記被点検物の外周領域に隣接している異常画素があるか否かを判断し、
前記画像データ内の前記異常箇所の異常画素が前記第1の所定数未満の場合に、第2の所定数以上の集合群の異常画素が無い場合に、前記被点検物の外周領域に隣接している異常画素がある場合には異常状態と判断する、請求項2記載の巡視点検システム。 The abnormality determination unit
When the number of abnormal pixels in the abnormal portion in the image data is less than the first predetermined number, and when there is no abnormal pixel in the set group of the second predetermined number or more, the image data is adjacent to the outer peripheral region of the object to be inspected. Judge whether there is an abnormal pixel that is
When the number of abnormal pixels in the abnormal portion in the image data is less than the first predetermined number and there is no abnormal pixel in the set group of the second predetermined number or more, the image data is adjacent to the outer peripheral region of the object to be inspected. The patrol inspection system according to claim 2, wherein if there is an abnormal pixel, it is determined to be in an abnormal state.
前記被点検物について連続的に撮影された複数の第1の画像データを記録する記録部と、
前記複数の第1の画像データから前記被点検物を特定する特定部と、
前記複数の第1の画像データのそれぞれの第1の画像データの前記被点検物の撮影状態の良否を判定する判定部と、
前記複数の第1の画像データのうち前記判定部の判定結果に基づいて撮影状態が不良の画像データを不良画像データとして前記記録部に記録する設定部とを備える、巡視点検システム。 It is a patrol inspection system for patrol inspection of the object to be inspected based on the image data taken by the camera mounted on the aircraft.
A recording unit that records a plurality of first image data continuously captured for the object to be inspected, and a recording unit.
A specific part that identifies the object to be inspected from the plurality of first image data, and
A determination unit for determining the quality of the shooting state of the object to be inspected of the first image data of each of the plurality of first image data, and a determination unit.
A patrol inspection system including a setting unit that records image data in a poor shooting state as defective image data in the recording unit based on a determination result of the determination unit among the plurality of first image data.
前記複数の第1の画像データのそれぞれの第1の画像データの前記被点検物の幅を算出し、
前記複数の第1の画像データのうち前記被点検物の幅が所定値以下であると判断された第1の画像データは、前記被点検物の撮影状態が不良と判定する、請求項4記載の巡視点検システム。 The determination unit
The width of the object to be inspected of the first image data of each of the plurality of first image data is calculated.
The fourth aspect of claim 4, wherein the first image data in which the width of the inspected object is determined to be equal to or less than a predetermined value among the plurality of first image data is determined to be in a defective photographing state of the inspected object. Patrol inspection system.
前記複数の第1の画像データのそれぞれの第1の画像データの前記被点検物の外周領域が有るか否かを判断し、
前記複数の第1の画像データのうち前記被点検物の外周領域が無いと判断された第1の画像データは、前記被点検物の撮影状態が不良と判定する、請求項5記載の巡視点検システム。 The determination unit
It is determined whether or not there is an outer peripheral region of the object to be inspected in each of the first image data of the plurality of first image data.
The patrol inspection according to claim 5, wherein among the plurality of first image data, the first image data for which it is determined that there is no outer peripheral region of the object to be inspected is determined to have a defective imaging state of the object to be inspected. system.
前記特定部は、前記複数の第2の画像データから前記被点検物を特定し、
前記判定部は、前記複数の第2の画像データのそれぞれの第2の画像データの前記被点検物の撮影状態の良否を判定し、
前記複数の第2の画像データのうち、前記被点検物について前記記録部に記録された前記不良画像データに対応する位置の撮影状態が良好と判定された再撮影画像データを特定する特定部と、
前記不良画像データを前記特定部により特定された再撮影画像データに変更して前記複数の第1の画像データとして編集する編集部とを備える、請求項4記載の巡視点検システム。 The recording unit records a plurality of second image data that are continuously re-photographed with respect to the object to be inspected.
The specific unit identifies the object to be inspected from the plurality of second image data, and then
The determination unit determines whether or not the imaged state of the inspected object of the second image data of each of the plurality of second image data is good or bad.
Among the plurality of second image data, a specific unit for specifying the re-photographed image data for which the imaging state at the position corresponding to the defective image data recorded in the recording unit for the object to be inspected is determined to be good. ,
The patrol inspection system according to claim 4, further comprising an editorial unit that changes the defective image data into rephotographed image data specified by the specific unit and edits the defective image data as the plurality of first image data.
前記画像データから前記被点検物に異常が生じた可能性のある異常箇所を特定するステップと、
前記画像データ内の特定された前記異常箇所の異常画素が第1の所定数以上であるか否かを判断するステップと、
前記異常箇所が前記第1の所定数以上である場合には、異常状態と判別するステップとを備える、巡視点検方法。 It is a patrol inspection method for patrol inspection of the object to be inspected based on the image data taken by the camera mounted on the aircraft.
A step of identifying an abnormal part where an abnormality may have occurred in the object to be inspected from the image data, and
A step of determining whether or not the number of abnormal pixels of the specified abnormal portion in the image data is equal to or greater than the first predetermined number, and
A patrol inspection method comprising a step of determining an abnormal state when the number of abnormal points is equal to or greater than the first predetermined number.
記録部に記録された、前記被点検物について連続的に撮影された複数の第1の画像データから前記被点検物を特定するステップと、
前記複数の第1の画像データのそれぞれの第1の画像データの前記被点検物の撮影状態の良否を判定するステップと、
前記複数の第1の画像データのうち判定結果に基づいて撮影状態が不良の画像データを不良画像データとして前記記録部に記録するステップとを備える、巡視点検方法。 It is a patrol inspection method for patrol inspection of the object to be inspected based on the image data taken by the camera mounted on the aircraft.
A step of identifying the inspected object from a plurality of first image data continuously photographed about the inspected object recorded in the recording unit, and
A step of determining the quality of the photographing state of the inspected object of the first image data of each of the plurality of first image data, and
A patrol inspection method comprising a step of recording image data in a poor shooting state as defective image data in the recording unit based on a determination result among the plurality of first image data.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019177670A JP6993391B2 (en) | 2019-09-27 | 2019-09-27 | Patrol inspection system and patrol inspection method |
JP2021178806A JP7018540B2 (en) | 2019-09-27 | 2021-11-01 | Patrol inspection system and patrol inspection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019177670A JP6993391B2 (en) | 2019-09-27 | 2019-09-27 | Patrol inspection system and patrol inspection method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021178806A Division JP7018540B2 (en) | 2019-09-27 | 2021-11-01 | Patrol inspection system and patrol inspection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021057957A true JP2021057957A (en) | 2021-04-08 |
JP6993391B2 JP6993391B2 (en) | 2022-01-13 |
Family
ID=75272916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019177670A Active JP6993391B2 (en) | 2019-09-27 | 2019-09-27 | Patrol inspection system and patrol inspection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6993391B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116994354A (en) * | 2023-09-28 | 2023-11-03 | 上海闪马智能科技有限公司 | Road electric facility inspection method and device, storage medium and electronic device |
CN117830954A (en) * | 2024-01-11 | 2024-04-05 | 北京朝阳环境集团有限公司 | Abnormality identification method, device and equipment based on image identification |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001117633A (en) * | 1999-10-20 | 2001-04-27 | Babcock Hitachi Kk | Plant-monitoring method |
JP2007041730A (en) * | 2005-08-01 | 2007-02-15 | Central Res Inst Of Electric Power Ind | Electric wire abnormality detection method, device, and program |
JP2007310828A (en) * | 2006-05-22 | 2007-11-29 | Central Res Inst Of Electric Power Ind | Method, device, and program for detecting failure of electric wire |
JP2019009919A (en) * | 2017-06-26 | 2019-01-17 | 株式会社東芝 | Patrol inspection support system and patrol inspection support control program |
JP2020128877A (en) * | 2019-02-07 | 2020-08-27 | 株式会社明電舎 | Linear object abnormality detection device and abnormality detection method |
-
2019
- 2019-09-27 JP JP2019177670A patent/JP6993391B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001117633A (en) * | 1999-10-20 | 2001-04-27 | Babcock Hitachi Kk | Plant-monitoring method |
JP2007041730A (en) * | 2005-08-01 | 2007-02-15 | Central Res Inst Of Electric Power Ind | Electric wire abnormality detection method, device, and program |
JP2007310828A (en) * | 2006-05-22 | 2007-11-29 | Central Res Inst Of Electric Power Ind | Method, device, and program for detecting failure of electric wire |
JP2019009919A (en) * | 2017-06-26 | 2019-01-17 | 株式会社東芝 | Patrol inspection support system and patrol inspection support control program |
JP2020128877A (en) * | 2019-02-07 | 2020-08-27 | 株式会社明電舎 | Linear object abnormality detection device and abnormality detection method |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116994354A (en) * | 2023-09-28 | 2023-11-03 | 上海闪马智能科技有限公司 | Road electric facility inspection method and device, storage medium and electronic device |
CN116994354B (en) * | 2023-09-28 | 2024-01-23 | 上海闪马智能科技有限公司 | Road electric facility inspection method and device, storage medium and electronic device |
CN117830954A (en) * | 2024-01-11 | 2024-04-05 | 北京朝阳环境集团有限公司 | Abnormality identification method, device and equipment based on image identification |
Also Published As
Publication number | Publication date |
---|---|
JP6993391B2 (en) | 2022-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11098455B2 (en) | Systems and methods for data acquisition and asset inspection in presence of magnetic interference | |
CN103675868A (en) | Method and system for location determination for an object using visual data | |
US20190041217A1 (en) | Star tracker for mobile applications | |
JP6993391B2 (en) | Patrol inspection system and patrol inspection method | |
US11551411B2 (en) | Data processor, data processing method, and data processing program for determining correspondence relationships between laser scanning point clouds | |
JP7018540B2 (en) | Patrol inspection system and patrol inspection method | |
US20050238220A1 (en) | Method and device for inspecting linear infrastructures | |
US11776252B2 (en) | Method and system for asset inspection using unmanned aerial vehicles | |
TWI773898B (en) | Management apparatus and management method thereof for electronic equipment | |
JP7293174B2 (en) | Road Surrounding Object Monitoring Device, Road Surrounding Object Monitoring Program | |
CN113065462A (en) | Monitoring method, device, equipment and storage medium for power grid overhead line | |
RU2699940C1 (en) | Method of main pipeline route monitoring | |
US20240061100A1 (en) | Information processing device, information processing method, and non-transitory computer-readable storage medium | |
JP7480072B2 (en) | Information processing device, information processing program | |
JP2022167343A (en) | Earth surface condition grasping method, earth surface condition grasping device, and earth surface condition grasping program | |
EP4092315A1 (en) | System and method for inspecting stability of heat transfer pipe by using drone | |
US11410133B2 (en) | Management apparatus and management method thereof for electronic equipment | |
JP2021144518A (en) | Data collection determination system, determination device, data collection determination device, and program | |
CN117002748A (en) | Aircraft defect detection method, system, equipment and medium | |
CN117478840A (en) | River risk inspection method, device and equipment based on 5G unmanned aerial vehicle | |
CN117474981A (en) | Government aviation service management platform based on unmanned aerial vehicle takes photo by plane | |
JP2023037415A (en) | Information processing device and method, and computer program | |
CN117788378A (en) | Power transmission line fault diagnosis method and device, electronic equipment and storage medium | |
WO2019064456A1 (en) | Maintenance device control system, maintenance device control method, and program | |
CN116883217A (en) | Ecological protection area supervision system and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210701 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210701 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211001 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211012 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6993391 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |