JP4255065B2 - Method and apparatus for detecting electric wire abnormality by image processing, program, and method for creating image for electric wire inspection - Google Patents

Method and apparatus for detecting electric wire abnormality by image processing, program, and method for creating image for electric wire inspection Download PDF

Info

Publication number
JP4255065B2
JP4255065B2 JP2003288870A JP2003288870A JP4255065B2 JP 4255065 B2 JP4255065 B2 JP 4255065B2 JP 2003288870 A JP2003288870 A JP 2003288870A JP 2003288870 A JP2003288870 A JP 2003288870A JP 4255065 B2 JP4255065 B2 JP 4255065B2
Authority
JP
Japan
Prior art keywords
electric wire
wire
image
target image
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003288870A
Other languages
Japanese (ja)
Other versions
JP2005057956A (en
Inventor
隆一 石野
富士雄 堤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central Research Institute of Electric Power Industry
Original Assignee
Central Research Institute of Electric Power Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central Research Institute of Electric Power Industry filed Critical Central Research Institute of Electric Power Industry
Priority to JP2003288870A priority Critical patent/JP4255065B2/en
Publication of JP2005057956A publication Critical patent/JP2005057956A/en
Application granted granted Critical
Publication of JP4255065B2 publication Critical patent/JP4255065B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Electric Cable Installation (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理の方法および装置およびプログラムに関する。更に詳述すると本発明は、画像処理により電線の形状や色の異常等を検出する方法および装置およびプログラムに関する。   The present invention relates to an image processing method, apparatus, and program. More specifically, the present invention relates to a method, apparatus, and program for detecting an abnormality in the shape and color of an electric wire by image processing.

送電線の保守および管理のために、ヘリコプターによる送電線の巡視点検が従来行われている。この点検の目的の一つは、雷撃等により損傷を受けた電線の異常箇所の早期発見である。電線異常箇所の早期発見は、電力供給の信頼度の維持に不可欠となっている。点検は、ヘリコプターに搭載したビデオカメラで電線を撮影した後、ビデオ映像を再生し、作業者がこのビデオ映像を目視観察することで行なわれている。作業者は、電線の一部が切れてしまっている素線切れや将来素線切れを起こす可能性のあるアーク痕の有無などを確認する。電線の異常箇所の見落としを減らすために、ビデオ映像のスロー再生によるチェックや、作業者二人によるダブルチェックが行われる場合もある。   In order to maintain and manage the transmission line, a patrol inspection of the transmission line by a helicopter is conventionally performed. One of the purposes of this inspection is the early detection of abnormal parts of electric wires damaged by lightning strikes. Early detection of abnormalities in wires is essential for maintaining the reliability of power supply. The inspection is performed by photographing the electric wire with a video camera mounted on the helicopter, playing the video image, and visually observing the video image by the operator. The operator confirms whether or not there is a broken wire that has a part of the electric wire cut or an arc mark that may cause a broken wire in the future. In order to reduce oversight of the abnormal part of the electric wire, a check by slow reproduction of the video image or a double check by two workers may be performed.

一方、送電線点検作業に画像処理技術を適用した電線異常検出方法や装置も提案されている（特許文献１，非特許文献１参考）。例えば特許文献１の技術では、図２９（Ａ）に示すように、画面の左右端の上から下に向かって輪郭情報であるエッジＡ１，Ａ２を検出し、次に予め分かっている電線の直径分だけ離れたＢ１，Ｂ２点を求め、Ａ１，Ａ２，Ｂ１，Ｂ２で囲まれる領域を電線領域とし、当該電線領域内の濃度情報に基いて、電線領域内における素線切れやアーク痕などの異常を検出するようにしている。 On the other hand, an electric wire abnormality detection method and apparatus in which an image processing technique is applied to a power transmission line inspection work have also been proposed (see Patent Document 1 and Non-Patent Document 1). For example, in the technique of Patent Document 1, as shown in FIG. 29 (A), edges A 1 and A 2 that are contour information are detected from the top to the bottom of the left and right ends of the screen, and then the wires are known in advance. B 1 and B 2 points that are separated by the diameter of the wire region, and the region surrounded by A 1 , A 2 , B 1 , and B 2 is defined as the wire region, and based on the concentration information in the wire region, Abnormalities such as wire breakage and arc marks are detected.

特開平４−１５６２１２号公報JP-A-4-156212 外岡他、”送電線点検作業への画像処理技術の適用−電線異常箇所自動判定装置−”三菱電機技報、pp.52-56 Vol.66 No.11 1991Tonooka et al., "Application of Image Processing Technology to Transmission Line Inspection Work-Automatic Wire Fault Detection Device-" Mitsubishi Electric Technical Report, pp.52-56 Vol.66 No.11 1991

しかしながら、作業者がビデオ映像を目視観察することにより電線異常を発見する方法は、多大な労力と時間が必要となる。人間は単調な作業を続けた場合、注意力が持続せず、疲労などの影響から見落としを起こしかねない。また眼をこらす作業を長時間行うのは労働としても軽くない。   However, a method for finding an abnormality in the electric wire by visual observation of the video image by the operator requires a great deal of labor and time. When humans continue to work monotonously, their attention is not sustained, and oversight can occur due to fatigue and other effects. Also, it is not light as labor to carry out the work of squinting for a long time.

一方、特許文献１の技術では、図２９（Ｂ）に示すように、Ａ１，Ａ２，Ｂ１，Ｂ２で囲まれる領域の裏側から外側に向かって跳ねてしまっている素線切れ１００を検出することができない。また、図２９（Ｃ）に示すように、エッジＡ１，Ａ２の一方が外側に跳ねてしまっている素線切れの部分にあたるような場合、Ａ１，Ａ２，Ｂ１，Ｂ２で囲まれる領域１０１は、真の電線領域から大きく外れてしまい、正確な電線異常検出が行なえない。結果、作業者の見直しが必要となってしまう。また、上記のような事態を避けるため、すべてのエッジを検出することも考えられるが、画像の全体に対してそのような詳細なエッジ検出処理を行なうと多大な処理時間を要してしまう。 On the other hand, in the technique of Patent Document 1, as shown in FIG. 29 (B), the strand break 100 that has bounced outward from the back side of the region surrounded by A 1 , A 2 , B 1 , B 2. Cannot be detected. In addition, as shown in FIG. 29C, when one of the edges A 1 and A 2 hits a portion of a strand that has bounced outward, A 1 , A 2 , B 1 , B 2 The enclosed area 101 is greatly deviated from the true electric wire area, and accurate electric wire abnormality detection cannot be performed. As a result, the operator needs to be reviewed. Further, in order to avoid the above situation, it is conceivable to detect all edges, but if such a detailed edge detection process is performed on the entire image, a great amount of processing time is required.

ヘリコプターによる撮影から電線の点検作業が終了するまでの時間は短いほど良いのは言うまでもない。短ければ、現地で確認する必要のあるような重大な問題を早期に対処でき、リスクを軽減できるからである。   Needless to say, the shorter the time from the shooting by the helicopter to the completion of the wire inspection, the better. This is because if it is short, a serious problem that needs to be confirmed locally can be dealt with early and the risk can be reduced.

そこで本発明は、作業者の労力を軽減でき、また高速な処理を可能とした画像処理による電線異常検出方法および装置およびプログラム並びに電線点検用画像の作成方法を提供することを目的とする。   SUMMARY OF THE INVENTION An object of the present invention is to provide a method and apparatus for detecting an abnormality in an electric wire by image processing and a method for creating an image for electric wire inspection, which can reduce the labor of an operator and enable high-speed processing.

かかる目的を達成するため、請求項１記載の画像処理による電線異常検出方法は、電線が撮影された対象画像に対して、電線の実際の輪郭線を構成するエッジ画素を検出する処理と、エッジ画素から予め定めた基準を満足しない低信頼性画素を除いた画素群を直線で近似して電線が健全である場合の理想輪郭線を求める処理と、対象画像の水平方向と垂直方向とのうち対象画像内の電線の方向に沿う方を電線長手方向とするとともに他方を電線横断方向として、理想輪郭線から電線横断方向に予め定めた距離を超えて離れたエッジ画素が電線長手方向に予め定めた数だけ連続した場合に、電線に異常が生じている可能性があると判断する処理とを行なうようにしている。 In order to achieve such an object, the wire abnormality detection method by image processing according to claim 1 includes a process for detecting edge pixels constituting an actual outline of the wire with respect to a target image in which the wire is photographed, and an edge a process of obtaining an ideal contour line when the wire is healthy approximates a predetermined reference pixel group except the low reliability pixels that do not satisfy in a straight line from a pixel, among the horizontal and vertical directions of the target image Edge pixels that are separated by more than a predetermined distance from the ideal contour line in the wire crossing direction are predetermined in the wire longitudinal direction, with the direction along the direction of the wire in the target image being the wire longitudinal direction and the other being the wire crossing direction. When a certain number of consecutive lines are continued, processing for determining that there is a possibility that an abnormality has occurred in the electric wire is performed.

また、請求項８記載の画像処理により電線異常を検出する装置は、電線が撮影された対象画像に対して、電線の実際の輪郭線を構成するエッジ画素を検出する手段と、エッジ画素から予め定めた基準を満足しない低信頼性画素を除いた画素群を直線で近似して電線が健全である場合の理想輪郭線を求める手段と、対象画像の水平方向と垂直方向とのうち対象画像内の電線の方向に沿う方を電線長手方向とするとともに他方を電線横断方向として、理想輪郭線から電線横断方向に予め定めた距離を超えて離れたエッジ画素が電線長手方向に予め定めた数だけ連続した場合に、電線に異常が生じている可能性があると判断する手段とを有するようにしている。 According to an eighth aspect of the present invention, there is provided an apparatus for detecting an abnormality of a wire by image processing, in advance from an edge pixel and means for detecting an edge pixel constituting an actual contour line of the wire with respect to a target image obtained by photographing the wire. Means for obtaining an ideal outline when the wire is sound by approximating a pixel group excluding low-reliability pixels that do not satisfy the defined criteria, and within the target image among the horizontal and vertical directions of the target image As long as the direction along the direction of the wire is the wire longitudinal direction and the other is the wire transverse direction, a predetermined number of edge pixels separated from the ideal outline beyond the predetermined distance in the wire transverse direction in the wire longitudinal direction. And means for determining that there is a possibility that an abnormality has occurred in the electric wire when it is continuous.

また、請求項１１記載の電線異常検出プログラムは、電線が撮影された対象画像に対して、電線の実際の輪郭線を構成するエッジ画素を検出する手段と、エッジ画素から予め定めた基準を満足しない低信頼性画素を除いた画素群を直線で近似して電線が健全である場合の理想輪郭線を求める手段と、対象画像の水平方向と垂直方向とのうち対象画像内の電線の方向に沿う方を電線長手方向とするとともに他方を電線横断方向として、理想輪郭線から電線横断方向に予め定めた距離を超えて離れたエッジ画素が電線長手方向に予め定めた数だけ連続した場合に、電線に異常が生じている可能性があると判断する手段として、コンピュータを機能させるようにしている。 Further, the electric wire abnormality detection program according to claim 11 satisfies a predetermined criterion from the edge pixel and means for detecting the edge pixel constituting the actual outline of the electric wire with respect to the target image in which the electric wire is photographed. Means for obtaining an ideal outline when the wire is healthy by approximating the pixel group excluding low-reliability pixels with a straight line, and in the direction of the wire in the target image among the horizontal direction and the vertical direction of the target image When the edge pixels separated beyond the predetermined distance from the ideal contour line in the wire crossing direction are continuous in a predetermined number in the wire longitudinal direction, with the one along the wire longitudinal direction and the other as the wire crossing direction, The computer is made to function as means for judging that there is a possibility that an abnormality has occurred in the electric wire.

従って、電線の一部が切れて外側に跳ねてしまっているような場合は、理想輪郭線からある程度離れたところに、エッジ画素がある程度まとまって存在するようになるため、理想輪郭線とエッジ画素との関係から、素線切れなどに起因する電線の形状異常を検出することができる。   Therefore, when a part of the electric wire is cut off and bounces outside, the edge pixels come together to some extent at some distance from the ideal contour line. Therefore, it is possible to detect an abnormality in the shape of the electric wire caused by a broken wire.

また、請求項２記載の画像処理による電線異常検出方法は、電線が撮影された対象画像に対して、電線の実際の輪郭線を構成するエッジ画素を検出する処理と、エッジ画素から予め定めた基準を満足しない低信頼性画素を除いた画素群を２本の直線で近似して電線が健全である場合の２本の理想輪郭線を求める処理と、対象画像の水平方向と垂直方向とのうち対象画像内の電線の方向に沿う方を電線長手方向とするとともに他方を電線横断方向として、２本の理想輪郭線に挟まれる各電線横断方向の画素列の色情報値から当該電線横断方向における代表値を求め、色情報閾値から外れる代表値が電線長手方向に予め定めた数だけ連続した場合に、電線に異常が生じている可能性があると判断する処理とを行なうようにしている。 According to a second aspect of the present invention, there is provided a method for detecting an abnormality of an electric wire by image processing, wherein a target image obtained by photographing an electric wire is preliminarily determined from an edge pixel and processing for detecting an edge pixel constituting an actual outline of the electric wire. Approximating a pixel group excluding low-reliability pixels that do not satisfy the criteria with two straight lines to obtain two ideal contour lines when the wire is sound, and the horizontal and vertical directions of the target image The direction along the direction of the electric wire in the target image is the electric wire longitudinal direction and the other is the electric wire transverse direction, and the electric wire transverse direction from the color information value of the pixel row in each electric wire transverse direction sandwiched between two ideal contour lines The representative value is determined, and when the representative value deviating from the color information threshold value continues in a predetermined number in the longitudinal direction of the electric wire, processing for determining that there is a possibility that the electric wire is abnormal is performed. .

また、請求項９記載の画像処理により電線異常を検出する装置は、電線が撮影された対象画像に対して、電線の実際の輪郭線を構成するエッジ画素を検出する手段と、エッジ画素から予め定めた基準を満足しない低信頼性画素を除いた画素群を２本の直線で近似して電線が健全である場合の２本の理想輪郭線を求める手段と、対象画像の水平方向と垂直方向とのうち対象画像内の電線の方向に沿う方を電線長手方向とするとともに他方を電線横断方向として、２本の理想輪郭線に挟まれる各電線横断方向の画素列の色情報値から当該電線横断方向における代表値を求め、色情報閾値から外れる代表値が電線長手方向に予め定めた数だけ連続した場合に、電線に異常が生じている可能性があると判断する手段とを有するようにしている。 The device for detecting an electric wire abnormality by image processing according to claim 9, to the target image lines are captured, means for detecting the edge pixels constituting the actual contour of the wire, in advance from the edge pixels Means for obtaining two ideal contour lines when the wire group is healthy by approximating the pixel group excluding the low-reliability pixels that do not satisfy the defined criteria with two straight lines, and the horizontal and vertical directions of the target image the wire towards along the direction of the electric wire in the target image as the wire transversely to the other while the wire longitudinal direction, the color information value of the pixel columns of the wires transversely sandwiched two ideal contour line of the Means for obtaining a representative value in the transverse direction and determining that there is a possibility that the wire is abnormal when a representative value deviating from the color information threshold value continues for a predetermined number in the longitudinal direction of the wire. ing.

また、請求項１２記載の電線異常検出プログラムは、電線が撮影された対象画像に対して、電線の実際の輪郭線を構成するエッジ画素を検出する手段と、エッジ画素から予め定めた基準を満足しない低信頼性画素を除いた画素群を２本の直線で近似して電線が健全である場合の２本の理想輪郭線を求める手段と、対象画像の水平方向と垂直方向とのうち対象画像内の電線の方向に沿う方を電線長手方向とするとともに他方を電線横断方向として、２本の理想輪郭線に挟まれる各電線横断方向の画素列の色情報値から当該電線横断方向における代表値を求め、色情報閾値から外れる代表値が電線長手方向に予め定めた数だけ連続した場合に、電線に異常が生じている可能性があると判断する手段として、コンピュータを機能させるようにしている。 Further, the electric wire abnormality detection program according to claim 12 satisfies a predetermined criterion from the edge pixel and means for detecting an edge pixel constituting an actual outline of the electric wire with respect to a target image in which the electric wire is photographed. Means for obtaining two ideal contour lines when the wire group is healthy by approximating the pixel group excluding the unreliable pixels by two straight lines, and the target image out of the horizontal direction and the vertical direction of the target image The direction along the direction of the inside wire is the wire longitudinal direction and the other is the wire transverse direction, and the representative value in the wire transverse direction from the color information value of the pixel row in each wire transverse direction sandwiched between two ideal contour lines When the representative value deviating from the color information threshold continues for a predetermined number in the longitudinal direction of the electric wire, the computer is made to function as a means for judging that there is a possibility that the electric wire is abnormal. .

従って、電線にアーク痕や傷などがある場合、当該異常箇所は電線の正常箇所よりも黒くなる若しくは白くなるため、理想輪郭線に囲まれた領域の色情報値の傾向から、アーク痕や傷などに起因する電線の色の異常を検出することができる。また、理想輪郭線に囲まれた領域の色情報値を用いることで、電線ではない背景などの色情報値が含まれてしまうことを防ぎ、正確な色異常検出を行なうことができる。   Therefore, when there are arc marks or scratches on the electric wire, the abnormal part becomes blacker or whiter than the normal part of the electric wire, so the arc mark or flaw is determined from the tendency of the color information value in the area surrounded by the ideal outline. It is possible to detect an abnormality in the color of the electric wire caused by the above. Further, by using the color information value of the region surrounded by the ideal outline, it is possible to prevent color information values such as a background that is not an electric wire from being included, and to perform accurate color abnormality detection.

また、請求項３記載の発明は、請求項１または２記載の画像処理による電線異常検出方法において、電線が撮影された原画像の水平方向と垂直方向とのうち原画像内の電線の方向に沿う方を電線長手方向とし、水平方向範囲および垂直方向範囲が予め定められた探索領域を原画像の電線長手方向に３箇所以上分布させるとともに、探索対象である電線の画像をテンプレートとして予め与え、該テンプレートと最も類似する領域を各探索領域内で探索し、各探索領域についての探索結果が予め定めた規則性を満たすか否かを判断し、当該規則性を満たす探索結果を少なくとも含む画像を原画像から切り出して対象画像とするようにしている。 According to a third aspect of the present invention, in the electric wire abnormality detection method by the image processing according to the first or second aspect , the direction of the electric wire in the original image out of the horizontal direction and the vertical direction of the original image in which the electric wire is photographed. The direction along the wire is the wire longitudinal direction, the horizontal range and the vertical range are preliminarily distributed in three or more locations in the wire longitudinal direction of the original image, and the image of the wire to be searched is given in advance as a template, An area most similar to the template is searched in each search area, a determination is made as to whether or not the search result for each search area satisfies a predetermined regularity, and an image including at least a search result that satisfies the regularity The target image is cut out from the original image.

また、請求項１０記載の発明は、請求項８または９記載の画像処理により電線異常を検出する装置において、電線が撮影された原画像の水平方向と垂直方向とのうち原画像内の電線の方向に沿う方を電線長手方向とし、水平方向範囲および垂直方向範囲が予め定められた探索領域を原画像の電線長手方向に３箇所以上分布させるとともに、探索対象である電線の画像をテンプレートとして予め与え、該テンプレートと最も類似する領域を各探索領域内で探索し、各探索領域についての探索結果が予め定めた規則性を満たすか否かを判断し、当該規則性を満たす探索結果を少なくとも含む画像を原画像から切り出して対象画像とする手段を更に有するようにしている。 According to a tenth aspect of the present invention, in the apparatus for detecting an abnormality in the electric wire by the image processing according to the eighth or ninth aspect , the electric wire in the original image out of the horizontal direction and the vertical direction of the original image in which the electric wire is photographed . The direction along the direction is the electric wire longitudinal direction, and the search area in which the horizontal range and the vertical range are determined in advance is distributed in three or more locations in the electric wire longitudinal direction of the original image, and the electric wire image to be searched is used as a template in advance. A region that is most similar to the template is searched in each search region, and it is determined whether or not a search result for each search region satisfies a predetermined regularity, and includes at least a search result that satisfies the regularity The image processing apparatus further includes means for cutting out an image from an original image to be a target image.

また、請求項１３記載の発明は、請求項１１または１２記載の電線異常検出プログラムにおいて、電線が撮影された原画像の水平方向と垂直方向とのうち原画像内の電線の方向に沿う方を電線長手方向とし、水平方向範囲および垂直方向範囲が予め定められた探索領域を原画像の電線長手方向に３箇所以上分布させるとともに、探索対象である電線の画像をテンプレートとして予め与え、該テンプレートと最も類似する領域を各探索領域内で探索し、各探索領域についての探索結果が予め定めた規則性を満たすか否かを判断し、当該規則性を満たす探索結果を少なくとも含む画像を原画像から切り出して対象画像とする手段として、コンピュータを更に機能させるようにしている。 The invention according to claim 13 is the electric wire abnormality detection program according to claim 11 or 12, wherein the direction along the direction of the electric wire in the original image is selected from the horizontal direction and the vertical direction of the original image in which the electric wire is photographed. The electric wire longitudinal direction, the horizontal range and the vertical range are preliminarily determined to be distributed in three or more locations in the electric wire longitudinal direction of the original image, the image of the electric wire to be searched is given in advance as a template, The most similar region is searched in each search region, it is determined whether the search result for each search region satisfies a predetermined regularity, and an image including at least the search result satisfying the regularity is determined from the original image The computer is caused to further function as means for cutting out and making it a target image.

従って、電線は曲率の極めて小さい曲線形状であるためほぼ直線とみなすことができ、画面内における電線位置は一定の規則性を有している。限定された探索領域内でテンプレート照合を行い、かつ３箇所以上の探索結果が一定の規則性を満たすか判断することで、高速且つ効率的な電線の探索が行なえる。また、原画像から電線部分の領域を切り出して対象画像とすることで、エッジを検出する領域が狭まり、電線の異常を検出する処理を高速に行なえる。   Therefore, since the electric wire has a curved shape with a very small curvature, it can be regarded as a substantially straight line, and the electric wire position in the screen has a certain regularity. By performing template matching within a limited search area and determining whether the search results at three or more locations satisfy a certain regularity, a high-speed and efficient wire search can be performed. In addition, by cutting out the region of the electric wire portion from the original image as the target image, the region for detecting the edge is narrowed, and the processing for detecting the abnormality of the electric wire can be performed at high speed.

また、請求項４記載の発明は、請求項３記載の画像処理による電線異常検出方法において、探索結果が予め定めた規則性を満たさない場合または探索結果の類似度が予め定めた基準を満足しない場合に新たなテンプレートを追加するようにしている。従って、必要に応じてテンプレートを追加することができ、当初からあらゆる状況を想定して複数のテンプレートを用意する必要が無くなる。   According to a fourth aspect of the present invention, in the electric wire abnormality detection method using the image processing according to the third aspect, when the search result does not satisfy the predetermined regularity, or the similarity of the search result does not satisfy the predetermined criterion. If so, try to add a new template. Therefore, templates can be added as necessary, and it is not necessary to prepare a plurality of templates assuming all situations from the beginning.

また、請求項５記載の発明は、請求項３または４記載の画像処理による電線異常検出方法において、複数のテンプレートのうち探索結果の類似度が最も高くなるテンプレートを選択するようにしている。したがって、テンプレート照合の精度を向上させることができる。   According to a fifth aspect of the present invention, in the wire abnormality detection method using image processing according to the third or fourth aspect, a template having the highest similarity of search results is selected from a plurality of templates. Therefore, the accuracy of template matching can be improved.

また、請求項６記載の発明は、請求項１から５のいずれかに記載の画像処理による電線異常検出方法において、対象画像における各電線横断方向の画素列について、電線横断方向の一方向に向かい隣接する２画素間の色情報値の差分値を求めて行き、当該差分値の絶対値が最大となる点を求め、上記最大点から電線横断方向の両方向に向かって予め定めた範囲にあり且つ上記最大点から最も離れた、差分値０から突出した点を求め、当該各突出点を構成する画素をエッジ画素とするようにしている。この場合、太陽の方向や天候などによって閾値を動的に変化させるような必要は無く、簡単且つ正確にエッジ画素を検出できる。   According to a sixth aspect of the present invention, in the wire abnormality detection method by image processing according to any one of the first to fifth aspects, the pixel row in each wire transverse direction in the target image faces in one direction in the wire transverse direction. Find the difference value of the color information value between two adjacent pixels, find the point where the absolute value of the difference value is maximum, and be in a predetermined range from the maximum point in both directions of the wire crossing direction and A point that is farthest from the maximum point and protrudes from the difference value 0 is obtained, and the pixels constituting each protruding point are set as edge pixels. In this case, there is no need to dynamically change the threshold value depending on the direction of the sun or the weather, and the edge pixels can be detected easily and accurately.

また、請求項７記載の発明は、請求項１から６のいずれかに記載の画像処理による電線異常検出方法において、対象画像はビデオカメラのフレーム画像より得られるものであり、電線に異常が生じている可能性があると判断された対象画像が予め定めた数だけ連続した場合に、電線に異常が真であると判断するようにしている。この場合、電線の異常箇所は数フレームに渡って現れるので、１フレームの結果だけで判断せず、複数フレームの結果により判断することで、より信頼性の高い電線異常検出を行なえる。   According to a seventh aspect of the invention, in the electric wire abnormality detection method by image processing according to any one of the first to sixth aspects, the target image is obtained from a frame image of a video camera, and an abnormality occurs in the electric wire. When a predetermined number of target images determined to be possible continue, it is determined that the abnormality is true in the electric wire. In this case, since the abnormal part of the electric wire appears over several frames, it is possible to detect the abnormality of the electric wire with higher reliability by making the determination based on the result of a plurality of frames instead of determining only the result of one frame.

請求項１記載の電線異常検出方法、請求項８記載の電線異常検出装置、請求項１１記載の電線異常検出プログラムによれば、素線切れなどに起因する電線の形状異常を自動で正確に検出することができる。従って、作業者の労力を大幅に軽減できる。 According to the wire abnormality detection method according to claim 1, the wire abnormality detection device according to claim 8 , and the wire abnormality detection program according to claim 11, it is possible to automatically and accurately detect an abnormality in the shape of the wire caused by a broken wire. can do. Therefore, the labor of the worker can be greatly reduced.

また、請求項２記載の電線異常検出方法、請求項９記載の電線異常検出装置、請求項１２記載の電線異常検出プログラムによれば、アーク痕や傷などに起因する電線の色の異常を自動で正確に検出することができる。従って、作業者の労力を大幅に軽減できる。 Further, according to the wire abnormality detection method according to claim 2, the wire abnormality detection device according to claim 9 , and the wire abnormality detection program according to claim 12, an abnormality in the color of the wire caused by arc marks or scratches is automatically detected. Can be detected accurately. Therefore, the labor of the worker can be greatly reduced.

さらに、請求項３記載の電線異常検出方法、請求項１０記載の電線異常検出装置、請求項１３記載の電線異常検出プログラムによれば、高速且つ効率的に電線の探索が行なえる。また、原画像から電線部分の領域を切り出して対象画像とすることで、エッジを検出する領域が狭まり、電線の異常を検出する処理を高速に行なえる。 Further, the wire abnormality detecting method according to claim 3, wherein the wire abnormality detecting device according to claim 10, wherein, according to claim 13 wire abnormality detecting program described, fast and efficiently perform the search of the wire. In addition, by cutting out the region of the electric wire portion from the original image as the target image, the region for detecting the edge is narrowed, and the processing for detecting the abnormality of the electric wire can be performed at high speed.

さらに、請求項４記載の電線異常検出方法によれば、必要に応じてテンプレートを追加することができ、当初からあらゆる状況を想定して複数のテンプレートを用意する負担が軽減される。   Furthermore, according to the electric wire abnormality detection method of the fourth aspect, a template can be added as necessary, and the burden of preparing a plurality of templates is reduced by assuming all situations from the beginning.

さらに、請求項５記載の電線異常検出方法によれば、複数のテンプレートのうち探索結果の類似度が最も高くなるテンプレートを選択するので、テンプレート照合の精度を向上させることができる。   Furthermore, according to the electric wire abnormality detection method of the fifth aspect, the template with the highest similarity of the search results is selected from the plurality of templates, so that the accuracy of template matching can be improved.

さらに、請求項６記載の電線異常検出方法によれば、太陽の方向や天候などによって閾値を動的に変化させるような必要は無く、簡単且つ正確にエッジ画素を検出できる。   Furthermore, according to the electric wire abnormality detection method of the sixth aspect, it is not necessary to dynamically change the threshold value depending on the direction of the sun or the weather, and the edge pixel can be detected easily and accurately.

さらに、請求項７記載の電線異常検出方法によれば、電線の異常箇所は数フレームに渡って現れるので、１フレームの結果だけで判断せず、複数フレームの結果により判断することで、より信頼性の高い電線異常検出を行なえる。   Furthermore, according to the wire abnormality detection method according to the seventh aspect, since an abnormal portion of the wire appears over several frames, it is more reliable not to judge only by the result of one frame but by the result of a plurality of frames. It is possible to perform highly reliable electric wire abnormality detection.

以下、本発明の構成を図面に示す実施形態に基づいて詳細に説明する。   Hereinafter, the configuration of the present invention will be described in detail based on embodiments shown in the drawings.

図１から図２８に本発明の画像処理による電線異常検出方法および装置およびプログラムの実施の一形態を示す。この電線異常検出方法は、例えば図１１に示すように、電線が撮影された原画像を得る前処理（Ｓ１）と、原画像から電線部分の領域を切り出す処理（Ｓ２）と、切り出した対象画像に対して電線の異常を検出する処理（Ｓ３）と、対象画像が上手く切り出せなかった画像や電線の異常が検出された画像を出力する処理（Ｓ４）からなる。   1 to 28 show an embodiment of an electric wire abnormality detection method and apparatus by image processing according to the present invention and a program. For example, as shown in FIG. 11, the wire abnormality detection method includes pre-processing (S1) for obtaining an original image in which a wire is photographed, processing (S2) for cutting out a region of a wire portion from the original image, and a cut-out target image. In contrast, the processing includes detecting a wire abnormality (S3), and outputting the image in which the target image cannot be cut out successfully or the wire abnormality is detected (S4).

電線異常検出処理（Ｓ３）では、例えば図１３に示すように、電線の実際の輪郭線を構成するエッジ画素を検出する処理（Ｓ３０６）と、検出されたエッジ画素を用いて電線が健全である場合の理想輪郭線を求める処理（Ｓ３０７）と、エッジ画素と理想輪郭線との情報に基いて電線の形状の異常を検出する処理（Ｓ３０８）と、理想輪郭線に囲まれる領域の色情報値に基いて電線の色の異常を検出する処理（Ｓ３０９）とを行なうようにしている。   In the electric wire abnormality detection process (S3), for example, as shown in FIG. 13, the electric wire is sound using the process (S306) for detecting the edge pixel constituting the actual outline of the electric wire and the detected edge pixel. A process for obtaining an ideal contour line (S307), a process for detecting an abnormality in the shape of the electric wire based on information on the edge pixel and the ideal contour line (S308), and a color information value of an area surrounded by the ideal contour line And the process of detecting an abnormality in the color of the electric wire (S309).

点検対象である電線が撮影された画像として、例えば本実施形態では、ヘリコプターに搭載したビデオカメラで撮影した電線の空撮映像を利用している。ビデオカメラは例えば毎秒３０フレームの画像を生成するものとしている。ビデオカメラより得られる各フレーム画像は、前処理（Ｓ１）において、コンピュータでの処理が可能なＲＧＢのカラーモデルに変換され、さらに処理の簡素化および高速化等のために８ビットのグレースケール画像に変換される。上記のように変換された各フレーム画像を本実施形態における原画像とする。原画像を構成する各画素は、色情報値として、０（黒）〜２５５（白）までの２５６階調の明るさの値（輝度値）を有する。原画像の解像度は、例えば水平方向画素数を６４０画素とし、垂直方向画素数を４８０画素としている。但し、原画像はグレースケール画像に限定されずカラー画像であっても良く、また解像度も上記の例に限定されるものではない。   For example, in the present embodiment, an aerial image of a wire taken by a video camera mounted on a helicopter is used as an image of the wire that is the inspection target. For example, the video camera generates an image of 30 frames per second. Each frame image obtained from the video camera is converted into an RGB color model that can be processed by a computer in the pre-processing (S1), and further an 8-bit grayscale image for simplifying and speeding up the processing. Is converted to Each frame image converted as described above is used as an original image in this embodiment. Each pixel constituting the original image has a brightness value (luminance value) of 256 gradations from 0 (black) to 255 (white) as a color information value. The resolution of the original image is, for example, 640 pixels in the horizontal direction and 480 pixels in the vertical direction. However, the original image is not limited to a gray scale image and may be a color image, and the resolution is not limited to the above example.

例えば本実施形態の原画像には、電線が画面の左右方向にわたって撮影されているものとする。このため本実施形態では、画面水平方向を電線長手方向とし、画面垂直方向を電線横断方向とする。尚、電線が画面の上下方向にわたって撮影されているような場合には、画面垂直方向を電線長手方向とし、画面水平方向を電線横断方向として良い。   For example, in the original image of this embodiment, it is assumed that the electric wire is photographed over the left and right direction of the screen. For this reason, in this embodiment, the screen horizontal direction is the electric wire longitudinal direction, and the screen vertical direction is the electric wire transverse direction. When the electric wire is photographed in the vertical direction of the screen, the vertical direction of the screen may be the longitudinal direction of the electric wire, and the horizontal direction of the screen may be the horizontal direction of the electric wire.

細長い電線が撮影された部分は原画像の中のごく一部であるため、原画像全体に対してエッジ検出処理（Ｓ３０６）を行なっても、エッジ検出精度に余り寄与しないばかりか多大な処理時間がかかる。本実施形態のように原画像の中から電線が撮影された部分を切り出す処理（Ｓ２）を行ない、当該切り出された領域を対象画像とし、当該対象画像に対してエッジ検出処理（Ｓ３０６）を行なうことで、処理時間を大幅に短縮できる。例えば本実施形態では、対象画像の電線長手方向である水平方向の画素数は原画像の水平画素数と同じとし、対象画像の電線横断方向である垂直方向の画素数を原画像の垂直画素数よりも小さくするようにしている。具体的には、対象画像の解像度を例えば６４０×８０画素とする。この場合、エッジ検出処理の対象となる領域は原画像の６分の１に狭まり、エッジ検出処理の処理時間を原画像全体に対して処理を行なう場合の約６分の１程度に短縮できる。   Since the portion where the elongated electric wire is photographed is a very small portion of the original image, even if the edge detection process (S306) is performed on the entire original image, it does not contribute much to the edge detection accuracy, and a great amount of processing time is required. It takes. As in the present embodiment, a process (S2) for cutting out a portion where an electric wire has been photographed from the original image is performed, the extracted region is set as a target image, and an edge detection process (S306) is performed on the target image. As a result, the processing time can be greatly reduced. For example, in the present embodiment, the number of pixels in the horizontal direction, which is the wire longitudinal direction of the target image, is the same as the number of horizontal pixels in the original image, and the number of vertical pixels in the wire crossing direction of the target image is the number of vertical pixels in the original image. I try to make it smaller. Specifically, the resolution of the target image is set to 640 × 80 pixels, for example. In this case, the area to be subjected to the edge detection process is narrowed to 1/6 of the original image, and the processing time of the edge detection process can be reduced to about 1/6 of the case where the entire original image is processed.

本実施形態の対象画像の切り出し処理では、例えば図１２に示すように、水平方向範囲および垂直方向範囲が予め定められた探索領域を原画像の電線長手方向である水平方向に３箇所以上分布させる（Ｓ２０５）とともに、探索対象である電線の画像をテンプレートとして予め与え（Ｓ２０２）、テンプレートと最も類似する領域を各探索領域内で探索し（Ｓ２０６）、各探索領域についての探索結果が予め定めた規則性を満たすか否かを判断し、当該規則性を満たす探索結果を少なくとも含む画像を原画像から切り出して対象画像とするようにしている（Ｓ２１０）。   In the target image cut-out processing of the present embodiment, for example, as shown in FIG. 12, three or more search areas in which the horizontal range and the vertical range are predetermined are distributed in the horizontal direction, which is the wire longitudinal direction of the original image. Along with (S205), an image of the electric wire to be searched is given in advance as a template (S202), an area most similar to the template is searched in each search area (S206), and a search result for each search area is predetermined. It is determined whether or not regularity is satisfied, and an image including at least a search result satisfying the regularity is cut out from the original image to be a target image (S210).

本実施形態における探索領域は、例えば図２３に示すように縦長とし、その水平方向範囲の画素数Ｘはテンプレートの水平方向画素数と同じとし、垂直方向範囲の画素数Ｙはテンプレートの垂直方向画素数よりも大きく且つ原画像の垂直方向画素数以下としている。ここで、図２３および図２４中の符号１は原画像を示し、符号２はテンプレートを示し、符号３は探索領域を示し、符号４は電線の画像を示している。但し、探索領域の大きさは上記例に限定されるものではない。探索領域は、大きく広くとるほどテンプレート照合の失敗の可能性を減らせる利点があり、逆に、小さく狭くとるほど処理を高速化できる利点がある。例えば連続するフレーム間で電線が探索領域の垂直方向範囲Ｙを超えて大きく位置を変えると、当該探索領域内に電線が含まれず、その探索領域におけるテンプレート照合は失敗する。垂直方向範囲Ｙを大きくすることで当該失敗の可能性を減少させることができ、原画像の垂直方向画素数と等しくすれば当該失敗を無くすことができる。一方、水平方向範囲Ｘをテンプレートの水平方向画素数よりも大きくすることで、各探索領域において水平方向への探索も可能となる。例えば難着雪リングの装備された電線が撮影されているような場合には垂直方向にテンプレートと類似する領域が現れない可能性があるが、このような場合でも、水平方向への探索をも行なうことでテンプレート照合の失敗の可能性を減らすことができる。   The search area in the present embodiment is, for example, vertically long as shown in FIG. 23, the number X of pixels in the horizontal range is the same as the number of horizontal pixels in the template, and the number Y of pixels in the vertical range is the vertical pixels in the template. The number of pixels is larger than the number and equal to or less than the number of pixels in the vertical direction of the original image. Here, reference numeral 1 in FIGS. 23 and 24 indicates an original image, reference numeral 2 indicates a template, reference numeral 3 indicates a search area, and reference numeral 4 indicates an image of an electric wire. However, the size of the search area is not limited to the above example. The larger the search area, the more advantageous it is that the possibility of template matching failure can be reduced. Conversely, the smaller the search area, the more advantageous it is that the processing speed can be increased. For example, if the position of the electric wire greatly changes beyond the vertical range Y of the search area between successive frames, the electric wire is not included in the search area, and template matching in the search area fails. The possibility of the failure can be reduced by increasing the vertical range Y, and the failure can be eliminated if it is equal to the number of pixels in the vertical direction of the original image. On the other hand, by making the horizontal range X larger than the number of horizontal pixels of the template, it is possible to search in the horizontal direction in each search region. For example, when an electric wire equipped with a snow ring is photographed, there is a possibility that a region similar to the template does not appear in the vertical direction. By doing so, the possibility of template matching failure can be reduced.

また、本実施形態における探索領域は、例えば図２４に示すように電線長手方向である水平方向に予め定めた距離をおいて３箇所分布させるようにしている。但し、探索領域の数は３つ以上であっても良い。ここで、本実施形態では、各探索領域は水平方向には移動させず、垂直方向にのみ移動させるようにしている。例えば、前フレームにおける探索結果が中央に位置するように各探索領域を垂直方向に移動させるようにしている。これは、連続するフレーム画像間では電線の画面内の位置と角度は大きくは変動しないという特徴を利用して、原画像の垂直方向画素数よりも小さい範囲Ｙで、電線を上手く追尾するための工夫でもある。   Further, for example, as shown in FIG. 24, the search areas in the present embodiment are distributed at three places with a predetermined distance in the horizontal direction which is the longitudinal direction of the electric wire. However, the number of search areas may be three or more. Here, in the present embodiment, each search area is not moved in the horizontal direction, but is moved only in the vertical direction. For example, each search area is moved in the vertical direction so that the search result in the previous frame is located at the center. This is because the position and angle of the electric wire in the screen do not vary greatly between successive frame images, and the electric wire can be tracked well in a range Y smaller than the number of pixels in the vertical direction of the original image. It is also a device.

探索領域内におけるテンプレートと同じ大きさの領域（以下、候補領域と呼ぶ。）と、テンプレートとの類似度の計算には、例えば二乗誤差による相違度を用いる。この場合、テンプレートの座標（ｘ、ｙ）の輝度値をｖ（ｘ、ｙ）とし、候補領域の座標（ｘ、ｙ）の輝度値をｖ’（ｘ、ｙ）とすると、相違度errは次式で求められる。   For example, the degree of difference due to a square error is used to calculate the similarity between an area having the same size as the template in the search area (hereinafter referred to as a candidate area) and the template. In this case, if the brightness value of the template coordinates (x, y) is v (x, y) and the brightness value of the candidate area coordinates (x, y) is v ′ (x, y), the dissimilarity err is It is calculated by the following formula.

この相違度errが最も小さくなる候補領域を、探索領域内においてテンプレートと最も類似した領域、即ち探索結果とする。但し、候補領域とテンプレートとの類似度の計算方法は上記例に限定されない。例えば類似度の計算に相互相関を用いたり、周波数領域での類似性を判定するなどの方法を用いることにより、照度変化の影響を軽減した、より安定したテンプレート照合を行うことができる。   A candidate area having the smallest difference err is set as an area most similar to the template in the search area, that is, a search result. However, the method of calculating the similarity between the candidate area and the template is not limited to the above example. For example, by using a method such as using cross-correlation for similarity calculation or determining similarity in the frequency domain, it is possible to perform more stable template matching with reduced influence of illuminance change.

本実施形態では、探索の成否判定規準となる「探索結果の規則性」として、各探索結果の変位の位相が揃っているか否か、を判断するようにしている。ここでの位相は「位相幾何」で用いられるものを指す。例えば線分で表現される２つの図形の形状が同じであれば、当該２つの図形は位相が同じ、即ち位相が揃っている、と判断する。本実施形態の場合では、３つの探索結果を例えば左から順に第１、第２、第３の探索結果とすると、第１の探索結果と第２の探索結果とを結ぶ線分の傾きと、第２の探索結果と第３の探索結果とを結ぶ線分の傾きが、同じと見なせれば、位相が揃っていると判断する。各探索結果の変位の位相が揃っているか否かで、探索の成否が判定できる根拠を以下に説明する。即ち、電線は鉄塔部分を除いて他の物体に接触しておらず、物理法則に従って垂れた状態にある。したがって、電線は曲率の極めて小さい曲線形状であり、画面内という小さな範囲ではほぼ直線とみなして問題ない。そのため画面内での電線位置の変位は、ヘリコプターもしくはカメラの動きによる相対的なものである。ヘリコプターは電線に沿って一定速度で飛行を続けており、急激にその進行方向を変えることはない。また、カメラは回転せず上下左右方向のパンのみを行っている。以上より、電線は時間変化とともに３つの探索領域内で垂直方向に移動し得るが、当該移動は３つの探索領域で揃っているのが通例である。従って、各探索結果の変位の位相が揃っていない場合は、当該探索が失敗していると考えられる。   In the present embodiment, as “regularity of search results” that is a criterion for determining success or failure of search, it is determined whether or not the phases of displacement of search results are aligned. The phase here refers to that used in “topology”. For example, if two graphics expressed by line segments have the same shape, it is determined that the two graphics have the same phase, that is, the phases are aligned. In the case of this embodiment, if the three search results are, for example, the first, second, and third search results in order from the left, the slope of the line segment connecting the first search result and the second search result, If the slopes of the line segments connecting the second search result and the third search result can be regarded as the same, it is determined that the phases are aligned. The reason why the success or failure of the search can be determined depending on whether or not the phases of the displacements of the search results are aligned will be described below. That is, the electric wires are not in contact with other objects except for the steel tower portion, and are in a state of hanging according to the laws of physics. Therefore, the electric wire has a curved shape with a very small curvature, and can be regarded as a straight line within a small range within the screen without any problem. Therefore, the displacement of the wire position in the screen is relative to the movement of the helicopter or camera. The helicopter keeps flying at a constant speed along the electric wire and does not change its advancing direction suddenly. In addition, the camera does not rotate and only pans in the vertical and horizontal directions. As described above, the electric wire can move in the vertical direction in the three search areas with time change, but the movement is usually aligned in the three search areas. Therefore, if the phase of the displacement of each search result is not aligned, it is considered that the search has failed.

各探索結果の変位の位相が揃っているか否かを数値的に表現する一例を以下に示す。各探索結果の予め定めた点、例えば各探索結果における中心点の垂直方向の座標位置をそれぞれｙ１ｉ，ｙ２ｉ，ｙ３ｉとする。尚、添字ｉ＝０，…，ｐである。ここで、ｙ１０，ｙ２０，ｙ３０を現在の原画像における座標位置とし、ｙ１１，ｙ２１，ｙ３１を１フレーム前の原画像における座標位置とし、ｙ１ｐ，ｙ２ｐ，ｙ３ｐをｐフレーム前の原画像における座標位置とする。そして、次式に基づいて、一定期間におけるｙ１ｉとｙ２ｉとの距離とｙ２ｉとｙ３ｉとの距離の差の平均dy12rateを計算し、当該平均dy12rateが予め定めた一定値以内であれば各探索結果の変位の位相が揃っていると判断し、当該一定値を超えた場合に各探索結果の変位の位相が揃っていないと判断する。 An example of numerically expressing whether or not the phase of displacement of each search result is aligned is shown below. Assume that y 1i , y 2i , and y 3i are the vertical coordinate positions of predetermined points of each search result, for example, the center point in each search result. Subscripts i = 0,..., P. Here, y 10 , y 20 , y 30 are the coordinate positions in the current original image, y 11 , y 21 , y 31 are the coordinate positions in the original image one frame before, and y 1p , y 2p , y 3p are The coordinate position in the original image before p frames is used. Then, based on the following formula, an average dy12rate of the difference between the distance between y 1i and y 2i and the distance between y 2i and y 3i in a certain period is calculated, and if the average dy12rate is within a predetermined constant value It is determined that the displacement phases of the search results are aligned, and when the predetermined values are exceeded, it is determined that the displacement phases of the search results are not aligned.

但し、各探索結果の変位の位相が揃っているか否かの判断は、上記計算に基づくものには必ずしも限定されない。例えば、より一般的な以下の計算方法を用いても良い。例えば、上述した垂直方向座標位置ｙ１ｉ，ｙ２ｉ，ｙ３ｉを用いて、ｙ１＝（ｙ１０，…，ｙ１ｐ），ｙ２＝（ｙ２０，…，ｙ２ｐ），ｙ３＝（ｙ３０，…，ｙ３ｐ）を定義し、ｙ１，ｙ２，ｙ３の相互相関を計算する。ここで、cor12をｙ１とｙ２の相互相関ベクトルとし、cor23をｙ２とｙ３の相互相関ベクトルとし、cor31をｙ３とｙ１の相互相関ベクトルとする。各相互相関ベクトルcor12，cor23，cor31において、最大値がそれぞれｊ１，ｊ２，ｊ３番目の要素であったとする。これらｊ１，ｊ２，ｊ３が共に一定値以下である場合に、各探索結果の変位の位相が揃っていると判断し、当該一定値を超えた場合に各探索結果の変位の位相が揃っていないと判断する。尚、位相が完全に揃っている場合は、ｊ１，ｊ２，ｊ３は０となる。この計算方法の場合、より精度良く各探索結果の変位の位相が揃っているか否かを検出できる。但し、数式２に基づく方法と比較して計算時間がかかる。 However, the determination of whether or not the phase of the displacement of each search result is aligned is not necessarily limited to that based on the above calculation. For example, the following more general calculation method may be used. For example, y1 = (y 10 ,..., Y 1p ), y2 = (y 20 ,..., Y 2p ), y3 = (y 30 , y 3i using the above-described vertical coordinate positions y 1i , y 2i , y 3i . .., Y 3p ), and the cross-correlation of y1, y2, and y3 is calculated. Here, cor12 is a cross-correlation vector between y1 and y2, cor23 is a cross-correlation vector between y2 and y3, and cor31 is a cross-correlation vector between y3 and y1. In each cross correlation vector cor12, cor23, cor31, it is assumed that the maximum value is the j1, j2, j3th element, respectively. When these j1, j2, and j3 are both equal to or less than a certain value, it is determined that the phase of the displacement of each search result is aligned, and when the value exceeds the certain value, the phase of the displacement of each search result is not aligned. Judge. Note that j1, j2, and j3 are 0 when the phases are completely aligned. In the case of this calculation method, it is possible to detect whether or not the phase of displacement of each search result is aligned with higher accuracy. However, the calculation time is longer than the method based on Equation 2.

ここで、同じ系統の電線であっても、実際に撮影された電線の画像は必ずしも一定ではない。その原因としては、例えばカメラの照度設定による明るさの違い、また山影などによる明るさの違い、電線に付着した汚れやペイントなどの電線の表面状態の違いなどがある。これら電線画像の複数のバリエーションを一つのテンプレートで表現することは困難であり、複数のテンプレートを使い分けることが望ましい。しかし、充分かつ適切な量と質のテンプレートを最初から用意することは必ずしも容易ではない。   Here, even if the wires are of the same system, the actually captured images of the wires are not always constant. The causes include, for example, a difference in brightness due to the illuminance setting of the camera, a difference in brightness due to a mountain shadow, etc., and a difference in the surface state of the wire such as dirt or paint attached to the wire. It is difficult to express a plurality of variations of these electric wire images with one template, and it is desirable to use a plurality of templates properly. However, it is not always easy to prepare a template of sufficient and appropriate quantity and quality from the beginning.

そこで本実施形態では、複数のテンプレートを用意する作業を容易にし且つテンプレート照合の精度を向上させるため、例えば図１２に示すように、探索結果が予め定めた規則性を満たさない場合（Ｓ２０８；Ｎｏ）または探索結果の類似度が予め定めた基準を満足しない場合（Ｓ２０９；Ｎｏ）に、新たなテンプレートを追加できるようにしている（Ｓ２１３）。   Therefore, in the present embodiment, in order to facilitate the work of preparing a plurality of templates and improve the accuracy of template matching, for example, as shown in FIG. 12, the search result does not satisfy a predetermined regularity (S208; No) ) Or when the similarity of the search results does not satisfy a predetermined criterion (S209; No), a new template can be added (S213).

例えば、各探索結果の変位の位相が揃っていないと判断された場合、即ち探索が失敗した場合に、ユーザインターフェース画面を表示して、作業者が新たなテンプレートを追加できるようにする。また、各探索結果の変位の位相が揃っていると判断された場合でも、探索結果とテンプレートとの類似度が一定値を超えて小さくなっている場合、換言すれば相違度が一定値を超えて大きくなっている場合、電線以外のものを探索結果として返している可能性があり、新たなテンプレートが必要と考えられる。そこで、例えばユーザインターフェース画面を利用して類似度が一定値を超えて小さくなっている状況を通知し、作業者が新たなテンプレートを追加できるようにする。例えば類似度をグラフとして表示し、且つ類似度が一定値を超えて小さくなっている部分を色分け表示することで、新たなテンプレートが必要であることを作業者に示唆するようにする。上記のユーザインターフェース画面には、探索結果の変位の位相が揃っていない原画像または探索結果とテンプレートとの類似度が一定値未満である原画像を含めるようにし、作業者がマウス等のポインティングデバイスを用いて当該原画像中の電線部分を指定できるようにし、指定された電線部分を新たなテンプレートとして登録できるようにする。作業者は、ユーザインターフェース画面に表示された原画像中の電線部分を、新たなテンプレートとするか否か判断すれば良く、少ない労力で充分かつ適切な量と質のテンプレートを用意することができる。   For example, when it is determined that the phases of the displacements of the search results are not aligned, that is, when the search fails, the user interface screen is displayed so that the operator can add a new template. Even if it is determined that the phase of displacement of each search result is aligned, if the similarity between the search result and the template is smaller than a certain value, in other words, the difference exceeds a certain value. If it is larger, there is a possibility that something other than the electric wire is returned as a search result, and a new template is considered necessary. Therefore, for example, the user interface screen is used to notify the situation where the similarity is smaller than a certain value, and the worker can add a new template. For example, the similarity is displayed as a graph, and the portion where the similarity is smaller than a certain value is displayed in different colors to indicate to the operator that a new template is necessary. The above-described user interface screen includes an original image in which the phase of the displacement of the search result is not aligned or an original image in which the similarity between the search result and the template is less than a certain value, and the operator uses a pointing device such as a mouse. Can be used to designate the electric wire portion in the original image, and the designated electric wire portion can be registered as a new template. The operator only needs to determine whether or not to use the wire portion in the original image displayed on the user interface screen as a new template, and can prepare a sufficient and appropriate amount and quality template with less effort. .

ここで、探索が失敗した場合または探索結果の類似度が予め定めた基準を満足しない場合に、上記のユーザインターフェース画面より新たなテンプレートを直ちに追加しても良いが、一連の処理の後で追加するようにしても良い。例えば、探索が失敗した原画像または探索結果とテンプレートとの類似度が一定値未満である原画像を、対象画像を切り出すことなくログに記録しておく（Ｓ２１４）。そして、後続の原画像について対象画像の切り出し処理を終了させた後に、作業者が新たなテンプレートを追加して、ログに記録されている原画像について、対象画像の切り出し処理を再度行なうようにしても良い。   Here, if the search fails or the similarity of the search results does not satisfy a predetermined criterion, a new template may be added immediately from the above user interface screen, but added after a series of processing. You may make it do. For example, an original image in which the search has failed or an original image in which the similarity between the search result and the template is less than a certain value is recorded in the log without cutting out the target image (S214). Then, after finishing the target image clipping process for the subsequent original image, the operator adds a new template and performs the target image clipping process again for the original image recorded in the log. Also good.

次に複数のテンプレートを使い分けて安定した電線探索を行う方法について述べる。例えば本実施形態では、複数のテンプレートのうち探索結果の類似度が最も高くなるテンプレートを選択するようにしている。例えば現時点で探索結果とされている領域と、用意されたすべてのテンプレートとの類似度を計算し、最も類似度が高いテンプレートを選択し、選択したテンプレートを現時点および次回からの原画像に対する処理に使用するようにする。但し、現時点における原画像の探索領域に対して、すべてのテンプレートを用いて探索を行い、類似度が最も高かった探索結果を採用すると共に、当該探索結果が得られたテンプレートを次回からの原画像に対する処理に使用するようにしても良い。或いは、現時点における原画像の探索領域に対して、複数のテンプレートを予め定めた順番で用いて探索を行い、探索結果の類似度が予め定めた基準を満足した最初のテンプレートを、現時点および次回からの原画像に対する処理に使用するようにしても良い。この場合、例えば登録時が最も新しいテンプレートから順番に用いるようにしても良く、または最近使用されたテンプレートから順番に用いるようにしても良く、あるいは使用頻度の最も高いテンプレートから順番に用いるようにしても良い。   Next, a method for performing a stable electric wire search using a plurality of templates will be described. For example, in the present embodiment, a template having the highest similarity of search results is selected from a plurality of templates. For example, calculate the similarity between the current search area and all prepared templates, select the template with the highest similarity, and use the selected template for processing the original image from the current and next time. Try to use it. However, the search area of the original image at the current time is searched using all templates, the search result having the highest similarity is adopted, and the template from which the search result is obtained is used as the original image from the next time. You may make it use for the process with respect to. Alternatively, a search is performed using a plurality of templates in a predetermined order with respect to the search area of the original image at the current time, and the first template that satisfies the predetermined criteria for the similarity of the search results is determined from the current time and the next time The original image may be used for processing. In this case, for example, the template may be used in order from the newest template, or may be used in order from the most recently used template, or may be used in order from the template with the highest use frequency. Also good.

次に、原画像から切り出した対象画像に対して、電線の実際の輪郭線を構成するエッジ画素を検出する。原画像から電線部分を切り出した対象画像の中で、エッジすなわち輪郭情報がはっきりと現れるものは電線のみであり、エッジ画素を検出することで、電線の領域を正確に抽出することができる。   Next, the edge pixel which comprises the actual outline of an electric wire is detected with respect to the object image cut out from the original image. Among the target images obtained by cutting out the electric wire portion from the original image, only the electric wire has the edge, that is, the contour information clearly appears, and the electric wire region can be accurately extracted by detecting the edge pixel.

例えば図７に示すような画像に対し、図中の矢印で示すように、電線横断方向である垂直方向の一方向、例えば図中の上方に向かう方向に、隣接する２画素間の輝度値の差分値を求め、当該差分値と垂直方向の座標位置との関係を表したものを図８に示す。図８に現れている差分値０から突出した点、換言すれば差分値が両隣にある双方の差分値のよりも大きいか又は小さい点（以下、ピークとも呼ぶ。）のうち、絶対値の大きなものが電線部分を示している。従って、電線部分を示すピークの両端を検出できれば、電線領域を正確に抽出できる。   For example, with respect to an image as shown in FIG. 7, as indicated by an arrow in the figure, the luminance value between two adjacent pixels in one direction in the vertical direction that is the electric wire crossing direction, for example, in the upward direction in the figure. FIG. 8 shows the relationship between the difference value obtained and the vertical coordinate position. Among the points protruding from the difference value 0 appearing in FIG. 8, in other words, the difference value is larger or smaller than both of the difference values on both sides (hereinafter also referred to as a peak), the absolute value is large. The thing has shown the electric wire part. Therefore, if both ends of the peak indicating the electric wire portion can be detected, the electric wire region can be accurately extracted.

ここで、差分値の絶対値が閾値を超えるピークを探し、当該ピークを構成する画素をエッジ画素と判断する方法もあるが、この場合、太陽の方向や天候などによって適切な閾値が変動するため、一定の閾値の下では正確なエッジ検出が行なえない。   Here, there is a method of searching for a peak where the absolute value of the difference value exceeds the threshold and determining the pixel constituting the peak as an edge pixel. However, in this case, an appropriate threshold fluctuates depending on the sun direction, weather, and the like. Therefore, accurate edge detection cannot be performed under a certain threshold.

そこで、本実施形態のエッジ検出処理では、例えば図１４に示すように、対象画像における各電線横断方向の画素列について、電線横断方向の一方向に向かい隣接する２画素間の色情報値の差分値を求めて行く（Ｓ３０６−５）。そして、図１５に示すように、当該差分値の絶対値が最大となる点を求め（Ｓ３０６−７−１）、この最大点から電線横断方向の両方向に向かって予め定めた範囲にあり且つ当該最大点から最も離れた、差分値０から突出した点を求め、各突出点を構成する画素をエッジ画素と判断するようにしている（Ｓ３０６−７−６，Ｓ３０６−７−１１）。   Therefore, in the edge detection processing of the present embodiment, for example, as shown in FIG. 14, for each pixel row in the wire crossing direction in the target image, the difference in color information value between two adjacent pixels facing in one direction in the wire crossing direction. The value is obtained (S306-5). Then, as shown in FIG. 15, a point where the absolute value of the difference value is maximum is obtained (S306-7-1), and is within a predetermined range from the maximum point in both directions in the electric wire crossing direction and A point that is farthest from the maximum point and protrudes from the difference value 0 is obtained, and the pixels constituting each protruding point are determined as edge pixels (S306-7-6, S306-7-11).

図８を拡大した図９を用いて上記の原理を説明する。図９の中で差分値の絶対値が最大となる点Ｐ１を探す。さらに、この最大点Ｐ１を中心として、予め定めた範囲Δｊにあり且つ当該最大点Ｐ１から最も離れたピークＰ２を探す。ここで、ピークＰ２を探す範囲Δｊは、例えば対象画像における電線の太さに基いて定めるようにする。例えば電線の太さは４０画素程度であるものとし、最大点Ｐ１を中心に±２０画素の範囲Δｊでそれぞれ最も外側にあるピークＰ２を探す。そして、ピークＰ２を構成する画素をエッジ画素とする。ここで、ピークＰ２はそれぞれ２つの画素により構成されるが、最大点Ｐ１に近い方をエッジ画素とする。これより２つのエッジ画素が得られる。当該２つのエッジ画素の一方を第１エッジ画素と呼び、他方を第２エッジ画素と呼ぶ。本実施形態では、対象画像における上側に位置するエッジ画素を第１エッジ画素とし、下側に位置するエッジ画素を第２エッジ画素としている。以上の処理を対象画像の垂直方向画素列のすべてについて行なう。 The above principle will be described with reference to FIG. 9 which is an enlarged view of FIG. A point P1 where the absolute value of the difference value is maximum is searched for in FIG. Further, a peak P2 that is within a predetermined range Δj and is farthest from the maximum point P1 around the maximum point P1 is searched. Here, the range Δj for searching for the peak P2 is determined based on the thickness of the electric wire in the target image, for example. For example, it is assumed that the thickness of the electric wire is about 40 pixels, and the outermost peak P2 is searched for in the range Δj of ± 20 pixels around the maximum point P1. And let the pixel which comprises the peak P2 be an edge pixel. Here, each of the peaks P2 is composed of two pixels, and the one closer to the maximum point P1 is an edge pixel. As a result, two edge pixels are obtained. One of the two edge pixels is called a first edge pixel, and the other is called a second edge pixel. In the present embodiment, the upper edge pixel in the target image is the first edge pixel, and the lower edge pixel is the second edge pixel. The above processing is performed for all the vertical pixel rows of the target image.

次に、上述の処理で検出されたエッジ画素に基づいて、電線が健全である場合の理想輪郭線を求める処理を行なう。例えば図１６に示すように、第１エッジ画素群および第２エッジ画素群から予め定めた基準を満足しない低信頼性画素を除き、残りの第１エッジ画素群および第２エッジ画素群をそれぞれ直線で近似して、２本の理想輪郭線を求めるようにする（Ｓ３０７−１〜Ｓ３０７−３）。   Next, based on the edge pixel detected by the above-mentioned process, the process which calculates | requires the ideal outline in case an electric wire is healthy is performed. For example, as shown in FIG. 16, low-reliability pixels that do not satisfy a predetermined criterion are excluded from the first edge pixel group and the second edge pixel group, and the remaining first edge pixel group and second edge pixel group are respectively straight lines. To obtain two ideal contour lines (S307-1 to S307-3).

例えば本実施形態では、第１エッジ画素群および第２エッジ画素群についてそれぞれ以下の処理を行なうことにより、直線性を大きく損ねている低信頼性画素を除くようにしている。即ち、図１７に示すように、エッジ画素をそれぞれ着目画素とし、着目画素を中心として電線長手方向である水平方向に予め定めた範囲、例えば±１５画素にあるエッジ画素の電線横断方向である垂直方向の座標位置の平均を求める（Ｓ３０７−１−３，Ｓ３０７−１−５）。そして、垂直方向の座標位置が当該平均から大きく外れる着目画素としてのエッジ画素、即ち垂直方向の座標位置と当該平均との差の絶対値が予め定めた閾値以上となる着目画素としてのエッジ画素を低信頼性画素として除くようにする（Ｓ３０７−１−４，Ｓ３０７−１−６）。 For example, in the present embodiment, the following processing is performed on the first edge pixel group and the second edge pixel group, respectively, so that low-reliability pixels that greatly impair the linearity are removed. That is, as shown in FIG. 17, each edge pixel is a pixel of interest, and a vertical range that is a predetermined range in the horizontal direction that is the longitudinal direction of the wire around the pixel of interest, for example, ± 15 pixels is the wire transverse direction of the edge pixel. The average of the coordinate positions in the direction is obtained (S307-1-3, S307-1-5). Then, the edge pixel as a pixel of interest coordinate position in the vertical direction deviates significantly from the average, i.e. an edge pixel as a target pixel whose absolute value is the predetermined threshold value or more of a difference between the coordinate position and the average vertical The pixels are excluded as low-reliability pixels (S307-1-4, S307-1-6).

また、対となる第１エッジ画素と第２エッジ画素の間隔が極端に狭い又は広いエッジ画素、換言すれば、水平方向の座標位置が同じである第１エッジ画素と第２エッジ画素との垂直方向の座標位置の差が予め定めた上限値以上または下限値以下となるエッジ画素を、低信頼性画素として除くようにする（Ｓ３０７−１−７，Ｓ３０７−１−８）。   In addition, an edge pixel in which the distance between the paired first edge pixel and the second edge pixel is extremely narrow or wide, in other words, the vertical direction between the first edge pixel and the second edge pixel having the same horizontal coordinate position. Edge pixels whose direction coordinate position difference is not less than a predetermined upper limit value or less than a lower limit value are excluded as low reliability pixels (S307-1-7, S307-1-8).

低信頼性画素を除いたエッジ画素群に直線を当てはめる方法として、例えば本実施形態では最小自乗法を用いる。但し、直線近似の方法はこの例に限定されるものではない。低信頼性画素を除いた第１エッジ画素群および第２エッジ画素群に基づいて求められた直線を、それぞれ第１理想輪郭線および第２理想輪郭線と呼ぶ。   As a method of applying a straight line to the edge pixel group excluding the low reliability pixels, for example, a least square method is used in the present embodiment. However, the method of linear approximation is not limited to this example. The straight lines obtained based on the first edge pixel group and the second edge pixel group excluding the low reliability pixels are referred to as a first ideal contour line and a second ideal contour line, respectively.

上記理想輪郭線を利用する形状異常検出処理（図１３のＳ３０８）では、理想輪郭線から電線横断方向である垂直方向に予め定めた距離を超えて離れたエッジ画素が、電線長手方向である水平方向に予め定めた数だけ連続した場合に、素線切れなどにより電線の形状に異常が生じている可能性があると判断するようにしている。例えば、理想輪郭線から１０画素以上離れたエッジ画素が２０画素の長さにわたって現れた場合に、素線切れなどの電線異常の可能性があると判断するようにしている。これは、電線の一部が切れて外側に跳ねてしまっている場合、理想輪郭線からある程度離れたところに、エッジ画素がある程度まとまって存在するようになることを利用している。   In the shape abnormality detection process using the ideal outline (S308 in FIG. 13), the edge pixels that are separated from the ideal outline by a predetermined distance in the vertical direction that is the electric wire crossing direction are horizontal in the electric wire longitudinal direction. When a predetermined number of lines continue in the direction, it is determined that there is a possibility that an abnormality has occurred in the shape of the electric wire due to a broken wire or the like. For example, when an edge pixel that is 10 pixels or more away from the ideal contour line appears over a length of 20 pixels, it is determined that there is a possibility of a wire abnormality such as a broken wire. This utilizes the fact that when a part of the electric wire is cut off and jumps to the outside, the edge pixels come together to some extent at some distance from the ideal contour line.

一方、色異常検出処理（図１３のＳ３０９）では、第１および第２理想輪郭線に挟まれる各電線横断方向の画素列の色情報値から当該電線横断方向における代表値を求め、色情報の閾値から外れる代表値が電線長手方向に予め定めた数だけ連続した場合に、素線切れやアーク痕もしくは傷などにより電線の色に異常が生じている可能性があると判断するようにしている。   On the other hand, in the color abnormality detection process (S309 in FIG. 13), a representative value in the wire transverse direction is obtained from the color information value of the pixel row in each wire transverse direction sandwiched between the first and second ideal contour lines, and the color information When representative values that deviate from the threshold value continue for a predetermined number in the longitudinal direction of the electric wire, it is determined that there is a possibility that the color of the electric wire may be abnormal due to wire breakage, arc marks, or scratches. .

例えば本実施形態では、第１および第２理想輪郭線に挟まれる各垂直方向の画素列の輝度値の平均値を当該垂直方向における代表値とする。但し、この例に限定されず、第１および第２理想輪郭線に挟まれる各垂直方向の画素列の輝度値の最頻値を当該垂直方向における代表値としても良い。   For example, in this embodiment, the average value of the luminance values of the vertical pixel columns sandwiched between the first and second ideal contour lines is set as the representative value in the vertical direction. However, the present invention is not limited to this example, and the mode value of the luminance value of each vertical pixel column sandwiched between the first and second ideal contour lines may be used as the representative value in the vertical direction.

また、本実施形態では、上記の代表値と比較する色情報の閾値を、各対象画像ごとに算出するようにしている。例えば数式３に示すように、ある対象画像について求めた代表値の標準偏差にαを乗じた値を、当該対象画像について求めた代表値の平均値に加算し、その値を当該対象画像における上限の閾値とし、代表値の標準偏差にαを乗じた値を代表値の平均値から減算した値を下限の閾値とする。ここで、αは任意の係数である。αを０．５から１．５まで変化させたところ、特にα＝０．９のとき正確な電線異常の検出が行なえた。そこで、本実施形態ではα＝０．９に設定している。   In the present embodiment, the threshold value of the color information to be compared with the representative value is calculated for each target image. For example, as shown in Formula 3, a value obtained by multiplying the standard deviation of the representative value obtained for a certain target image by α is added to the average value of the representative values obtained for the target image, and the value is added to the upper limit of the target image. And a value obtained by subtracting a value obtained by multiplying the standard deviation of the representative value by α from the average value of the representative values is set as the lower limit threshold value. Here, α is an arbitrary coefficient. When α was changed from 0.5 to 1.5, it was possible to accurately detect an abnormal electric wire particularly when α = 0.9. Therefore, in this embodiment, α = 0.9 is set.

＜数３＞
閾値＝代表値の平均値±α×代表値の標準偏差 <Equation 3>
Threshold = average value of representative values ± α × standard deviation of representative values

そして、上限の閾値以上となる代表値が水平方向に２０画素以上連続した場合、または下限の閾値以下となる代表値が水平方向に２０画素以上連続した場合に、素線切れやアーク痕などの電線異常の可能性があると判断するようにしている。これは、電線にアーク痕や傷などがある場合、当該異常箇所は電線の正常箇所よりも黒っぽくなる若しくは白っぽくなることを利用している。   When a representative value that is equal to or higher than the upper limit threshold is continuous for 20 pixels or more in the horizontal direction, or when a representative value that is equal to or lower than the lower limit threshold is continuous for 20 pixels or more in the horizontal direction, It is determined that there is a possibility of wire abnormality. This utilizes the fact that when an electric wire has an arc mark or a flaw, the abnormal portion becomes darker or whitish than a normal portion of the electric wire.

ここで、上記の色異常検出処理において、第１エッジ画素および第２エッジ画素に挟まれる各電線横断方向の画素列の輝度値の平均値を、当該電線横断方向における代表値とすることも考えられる。但し、この場合、電線の一部が外に跳ねている素線切れがある場合は、電線でない部分の輝度値、例えば背景の輝度値も平均値の計算に含まれてしまい、正確な色異常検出が行なえない。本実施形態のように、第１および第２理想輪郭線に挟まれる領域で輝度値の平均を求めて代表値とすることにより、電線でない部分の輝度値が平均値の計算に含まれることを防ぎ、正確な色異常検出を行なうことができる利点が得られる。   Here, in the above-described color abnormality detection process, the average value of the luminance values of the pixel rows in the electric wire transverse direction sandwiched between the first edge pixel and the second edge pixel may be used as the representative value in the electric wire transverse direction. It is done. However, in this case, if there is a break in the wire part of the wire is jumping outside, the luminance value of the non-wire part, for example, the luminance value of the background is also included in the average value calculation, and an accurate color abnormality It cannot be detected. As in this embodiment, by calculating the average of the luminance values in the region sandwiched between the first and second ideal contour lines and using it as the representative value, the luminance value of the portion that is not the electric wire is included in the calculation of the average value. This provides an advantage of preventing and performing accurate color abnormality detection.

ここで、本実施形態の対象画像は空撮映像より得られるものであり、電線の異常箇所は数フレームに渡って現れる。そこで、本実施形態では、電線に異常が生じている可能性があると判断された対象画像が予め定めた数、例えば２フレーム以上連続した場合に、電線に異常が生じていると判断するようにしている。これにより、より信頼性の高い電線異常検出を行なえる。ただし、ヘリコプターの飛行速度が遅い場合等には、さらに多くの連続フレームに異常箇所が現れるので、より多くのフレーム数以上連続した場合に、電線に異常が生じていると判断するようにしても良い。   Here, the target image of the present embodiment is obtained from an aerial image, and an abnormal portion of the electric wire appears over several frames. Therefore, in the present embodiment, it is determined that an abnormality has occurred in the electric wire when the target image that is determined to have the possibility that the electric wire has an abnormality continues for a predetermined number, for example, two frames or more. I have to. Thereby, a more reliable electric wire abnormality detection can be performed. However, if the flight speed of the helicopter is slow, etc., abnormal parts appear in more continuous frames. Therefore, if more than a number of frames continue, it may be determined that an abnormality has occurred in the electric wire. good.

以上に説明した電線異常検出方法は、例えば周知のコンピュータを用いて、電線異常検出装置として装置化できる。この電線異常検出装置１０は、例えば図１０に示すように、電線が撮影された映像が入力される入力インターフェース１１と、原画像や対象画像等のデータが記録される外部記憶装置１２としてのハードディスクと、一時的な作業データ等が記録される主記憶装置１３としてのＲＡＭと、異常が検出された画像等が出力される出力装置１４と、中央処理演算装置（ＣＰＵ）１５等を備えている。上記のハードウェア資源は例えばバス１６を通じて電気的に接続されている。入力インターフェース１１は、例えばビデオカメラから入力される又は映像が記録されたＤＶＤ等の媒体から読み込まれる信号をコンピュータでの処理が可能なデータに変換する機能や、映像を構成する各フレームをそれぞれ画像データとして外部記憶装置１２に記録する機能を有する。このような入力インターフェース１１として、例えば既存のＮＴＳＣ−ＲＧＢコンバータやフレームグラバまたはパーソナルコンピュータ用画像取り込みボード等を利用して良い。出力装置１４は、例えばディスプレイであり、異常が検出された画像やユーザインターフェース画面などが表示される。また、外部記憶装置１２には本発明の電線異常検出プログラムが記録されており、当該プログラムがＣＰＵ１５に読み込まれ実行されることによって、コンピュータが電線異常検出装置１０として機能する。   The wire abnormality detection method described above can be implemented as a wire abnormality detection device using, for example, a known computer. For example, as shown in FIG. 10, the electric wire abnormality detection device 10 includes an input interface 11 to which video images of electric wires are input, and a hard disk as an external storage device 12 in which data such as original images and target images are recorded. A RAM as a main storage device 13 in which temporary work data and the like are recorded, an output device 14 in which an image in which an abnormality is detected is output, a central processing unit (CPU) 15 and the like. . The hardware resources are electrically connected through the bus 16, for example. The input interface 11 converts, for example, a signal input from a video camera or read from a medium such as a DVD on which video is recorded into data that can be processed by a computer, and each frame constituting the video is an image. It has a function of recording in the external storage device 12 as data. As such an input interface 11, for example, an existing NTSC-RGB converter, a frame grabber, an image capturing board for a personal computer, or the like may be used. The output device 14 is a display, for example, and displays an image in which an abnormality is detected, a user interface screen, and the like. Moreover, the electric wire abnormality detection program of the present invention is recorded in the external storage device 12, and the computer functions as the electric wire abnormality detection device 10 when the program is read and executed by the CPU 15.

本実施形態の電線異常検出プログラムによって、電線異常検出装置１０が実行する処理の一例を、図１１〜図２２のフローチャートに沿って説明する。先ず前処理を行なう（図１１のＳ１）。図２２に、この前処理を詳細化したフローチャートを示す。ビデオカメラまたは映像が記録された媒体から、入力インターフェース１１を介して、外部記憶装置１２に画像データを読み込む（Ｓ１０１）。そして、外部記憶装置１２に記録した画像データを、例えば８ビットのグレースケール画像に変換する（Ｓ１０２）。これにより得た原画像に対し、ガウシアンフィルタをかけ、原画像からノイズ成分を除去する（Ｓ１０３）。これは、インパルスノイズのような突発的なノイズが画像に現れるとエッジ検出処理での差分計算の際に大きなピークを発生し、エッジの誤検出を引き起こしてしまうので、このような事態を避けるためである。以上で前処理を終了する。   An example of processing executed by the wire abnormality detection device 10 by the wire abnormality detection program of the present embodiment will be described along the flowcharts of FIGS. First, pre-processing is performed (S1 in FIG. 11). FIG. 22 shows a flowchart detailing this preprocessing. Image data is read into the external storage device 12 from the video camera or the medium on which the video is recorded via the input interface 11 (S101). Then, the image data recorded in the external storage device 12 is converted into, for example, an 8-bit grayscale image (S102). A Gaussian filter is applied to the original image thus obtained to remove noise components from the original image (S103). In order to avoid such a situation, sudden noise such as impulse noise appears in the image and a large peak is generated in the difference calculation in the edge detection process, causing erroneous detection of the edge. It is. This completes the preprocessing.

前処理の終了後、対象画像の切り出し処理を行なう（図１１のＳ２）。図１２に対象画像の切り出し処理を詳細化したフローチャートを示す。この処理では、先ず、フレームカウンタｎに１をセットする（Ｓ２０１）。そして、テンプレートの登録処理を行なう（Ｓ２０２）。例えば図２５に示す画面を表示する。この画面では、作業者が「撮影」ボタン２１をマウス等のポインティングデバイスでクリックすると、ｎフレーム目すなわち１フレーム目の原画像をウィンドウ２２内に表示する。尚、符号４は電線の画像を示している。さらに作業者がポインティングデバイスで電線画像４上の点をクリックすると、クリックされた点を中心として予め定めた大きさの領域２３を表示する。そして、作業者が「追跡点確定」ボタン２４をポインティングデバイスでクリックすると、領域２３をテンプレートとして登録する。そして、領域２３の中心から水平方向に予め定めた範囲離れた位置、例えば左右に３０画素離れた位置で、テンプレートと類似した領域を垂直方向に自動探索し、その探索結果２８を図２６に示すように画面に表示する。３つの領域２８，２３，２８は最初の探索結果とし、各々の垂直方向座標位置を記録する。そして、作業者が「追跡開始」ボタン２５をポインティングデバイスでクリックすると、以下の電線位置の追跡処理を行なう。尚、既にテンプレートが登録されている場合には、上記のテンプレートの登録処理（Ｓ２０２）はスキップしても良い。   After the preprocessing is completed, the target image is cut out (S2 in FIG. 11). FIG. 12 shows a detailed flowchart of the target image cut-out process. In this process, first, 1 is set to the frame counter n (S201). Then, a template registration process is performed (S202). For example, the screen shown in FIG. 25 is displayed. In this screen, when the operator clicks the “shoot” button 21 with a pointing device such as a mouse, the original image of the nth frame, that is, the first frame is displayed in the window 22. Reference numeral 4 denotes an image of the electric wire. Further, when the operator clicks a point on the electric wire image 4 with a pointing device, an area 23 having a predetermined size centered on the clicked point is displayed. Then, when the operator clicks the “confirm tracking point” button 24 with a pointing device, the region 23 is registered as a template. Then, an area similar to the template is automatically searched in the vertical direction at a position away from the center of the area 23 in the horizontal direction by a predetermined range, for example, 30 pixels left and right, and the search result 28 is shown in FIG. As shown on the screen. The three areas 28, 23, 28 are the first search results, and the respective vertical coordinate positions are recorded. When the operator clicks the “tracking start” button 25 with the pointing device, the following wire position tracking process is performed. If a template has already been registered, the above template registration process (S202) may be skipped.

ｎフレーム目の原画像が存在する場合は（Ｓ２０３；Ｙｅｓ）、当該原画像を読み込む（Ｓ２０４）。ここで、１フレーム目の原画像については上記のテンプレートの登録の際に電線探索が行なわれているため、テンプレートの登録処理（Ｓ２０２）の中でフレームカウンタｎに１を加算しておいても良い。読み込んだ原画像に対して３つの探索領域を配置する（Ｓ２０５）。各探索領域は、該当する水平位置における前回の探索結果の垂直方向座標位置が中央に位置するように配置される。そして、各探索領域内でテンプレートと最も類似する領域を探索するテンプレート照合処理を行なう（Ｓ２０６）。図２７は、電線追跡を行なっている画面例を示す。符号３は探索領域を示し、符号２９は探索結果を示している。ここで、ウィンドウ２７内には例えば中央の探索結果とテンプレートとの相違度を各フレームで計算した結果の経時変化を示すグラフ３１を表示するようにしている。ウィンドウ２７内の直線３０は相違度の最小値を表す基準線であり、グラフ３１が基準線３０から上側に離れるほど相違度が高い、即ち類似度が低いことを示している。 When the n-th frame original image exists (S203; Yes), the original image is read (S204). Here, since the wire search is performed for the original image of the first frame when the above template is registered, it is possible to add 1 to the frame counter n in the template registration process (S202). good. Three search areas are arranged for the read original image (S205). Each search area is arranged such that the vertical coordinate position of the previous search result at the corresponding horizontal position is located at the center. Then, a template matching process for searching for a region most similar to the template in each search region is performed (S206). FIG. 27 shows an example of a screen in which electric wire tracking is performed. Reference numeral 3 indicates a search area, and reference numeral 29 indicates a search result. Here, in the window 27, for example, a graph 31 showing a change with time of the result of calculating the difference between the central search result and the template in each frame is displayed. A straight line 30 in the window 27 is a reference line representing the minimum value of the dissimilarity, and indicates that the dissimilarity is higher, that is, the similarity is lower as the graph 31 is further away from the reference line 30.

各探索結果の垂直方向座標位置を求め（Ｓ２０７）、記録されている過去の探索結果の垂直方向座標位置を用いて、例えば数式２に基づき、各探索結果の変位の位相が揃っているかを判断する（Ｓ２０８）。各探索結果の変位の位相が揃っており（Ｓ２０８；Ｙｅｓ）、且つ各探索結果の類似度が定めた基準を満足する場合（Ｓ２０９；Ｙｅｓ）、原画像から各探索結果を少なくとも含む画像を切り出し、ｎ番目の対象画像として外部記憶装置１２に記録する（Ｓ２１０）。そして、次回の探索領域の配置のため及び各探索結果の変位の位相が揃っているかの判断のために、各探索結果の垂直方向座標位置を記録する（Ｓ２１１）。そして、フレームカウンタｎに１を加算し（Ｓ２１２）、次フレームであるｎフレーム目の原画像について、Ｓ２０３以下の処理を繰り返す。   The vertical coordinate position of each search result is obtained (S207), and using the recorded vertical coordinate position of the past search result, it is determined whether the phase of the displacement of each search result is aligned based on, for example, Equation 2. (S208). When the phase of the displacement of each search result is aligned (S208; Yes) and the similarity of each search result satisfies the defined criteria (S209; Yes), an image including at least each search result is cut out from the original image. The nth target image is recorded in the external storage device 12 (S210). Then, the vertical coordinate position of each search result is recorded in order to arrange the next search area and to determine whether the phase of the displacement of each search result is aligned (S211). Then, 1 is added to the frame counter n (S212), and the processing from S203 onward is repeated for the original image of the nth frame which is the next frame.

一方、各探索結果の変位の位相が揃っていないか（Ｓ２０８；Ｎｏ）、または各探索結果の類似度が定めた基準を満足しない場合（Ｓ２０９；Ｎｏ）、作業者はテンプレートを追加できる（Ｓ２１３）。例えば図２８に示す画面は、電線の背景が変化し照明条件が変化したために電線の見た目が変わり、探索結果の類似度が定めた基準を満足しなくなった例を示している。グラフ３１ａは基準線３０から大きく離れ、相違度が高いことを示している。例えば当該画面を一定時間表示して、新たなテンプレートが必要であることを作業者に示唆するようにする。作業者は、画面に表示された「基準データの追加」ボタン２６をポインティングデバイスでクリックし、ウィンドウ２２内の電線画像４上の点をクリックすることで、新たなテンプレートを追加できる。テンプレートが追加されると（Ｓ２１３；Ｙｅｓ）、当該追加されたテンプレートを利用したテンプレート照合処理を行なう（Ｓ２０６）。図２８中のグラフ３１ｂはテンプレートの追加により相違度が小さくなった様子を示している。   On the other hand, if the phase of the displacement of each search result is not aligned (S208; No), or if the similarity of each search result does not satisfy the defined criteria (S209; No), the operator can add a template (S213). ). For example, the screen shown in FIG. 28 shows an example in which the appearance of the electric wire changes because the background of the electric wire changes and the illumination condition changes, and the similarity of the search results does not satisfy the defined criteria. The graph 31a is far away from the reference line 30 and shows that the degree of difference is high. For example, the screen is displayed for a certain period of time to indicate to the worker that a new template is necessary. The operator can add a new template by clicking the “add reference data” button 26 displayed on the screen with a pointing device and clicking a point on the wire image 4 in the window 22. When a template is added (S213; Yes), a template matching process using the added template is performed (S206). A graph 31b in FIG. 28 shows a state in which the degree of difference is reduced by adding a template.

作業者によりテンプレートが追加されない場合は（Ｓ２１３；Ｎｏ）、当該原画像をログに記録する（Ｓ２１４）。ログは例えば外部記憶装置１２に設けられた記録領域である。そして、フレームカウンタｎに１を加算し（Ｓ２１２）、次フレームであるｎフレーム目の原画像について、Ｓ２０３以下の処理を繰り返す。   When the template is not added by the operator (S213; No), the original image is recorded in the log (S214). The log is a recording area provided in the external storage device 12, for example. Then, 1 is added to the frame counter n (S212), and the processing from S203 onward is repeated for the original image of the nth frame which is the next frame.

すべての原画像について以上の処理を行なうと（Ｓ２０３；Ｎｏ）、対象画象の切り出し処理を終了し、電線異常検出処理を行なう（図１１のＳ３）。図１３に電線異常検出処理を詳細化したフローチャートを示す。この処理では、画像カウンタｋに１をセットし（Ｓ３０１）、形状異常カウンタｚに０をセットし（Ｓ３０２）、色異常カウンタｑに０をセットする（Ｓ３０３）。そして、ｋ番目の対象画像が存在する場合は（Ｓ３０４；Ｙｅｓ）、当該対象画像を読み込み（Ｓ３０５）、読み込んだ対象画像について、エッジ検出処理（Ｓ３０６）、理想輪郭線推定処理（Ｓ３０７）、形状異常検出処理（Ｓ３０８）、色異常検出処理（Ｓ３０９）を行なう。これらの処理の終了後、画像カウンタｋに１を加算し、次フレームにあたるｋ番目の対象画像について、Ｓ３０４以下の処理を繰り返す。すべての対象画像について以上の処理を行なうと（Ｓ３０４；Ｎｏ）、電線異常検出処理を終了する。   When the above processing is performed for all the original images (S203; No), the target image cutout processing is terminated, and the wire abnormality detection processing is performed (S3 in FIG. 11). FIG. 13 shows a detailed flowchart of the electric wire abnormality detection process. In this process, 1 is set in the image counter k (S301), 0 is set in the shape abnormality counter z (S302), and 0 is set in the color abnormality counter q (S303). If the k-th target image exists (S304; Yes), the target image is read (S305), the edge detection process (S306), the ideal contour estimation process (S307), the shape are read for the read target image. An abnormality detection process (S308) and a color abnormality detection process (S309) are performed. After completion of these processes, 1 is added to the image counter k, and the processes from S304 onward are repeated for the kth target image corresponding to the next frame. If the above process is performed about all the target images (S304; No), an electric wire abnormality detection process will be complete | finished.

図１４にエッジ検出処理を詳細化したフローチャートを示す。この処理では、電線長手方向である水平方向の画素番号ｉに１をセットする（Ｓ３０６−１）。そして、水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えていないか判断する（Ｓ３０６−２）。水平画素番号ｉがi_max以下であれば（Ｓ３０６−２；Ｙｅｓ）、電線横断方向である垂直方向の画素番号ｊに１をセットする（Ｓ３０６−３）。そして、垂直画素番号ｊの値が、対象画像の垂直方向画素数j_maxから１を減算した値を超えていないか判断する（Ｓ３０６−４）。垂直画素番号ｊがj_max−１以下であれば（Ｓ３０６−４；Ｙｅｓ）、座標（ｉ，ｊ）にある画素の輝度値と座標（ｉ，ｊ＋１）にある画素の輝度値との差を求め、差分値（ｊ）として記録する（Ｓ３０６−５）。そして、垂直画素番号ｊに１を加算し（Ｓ３０６−６）、Ｓ３０６−４以下の処理を繰り返す。垂直画素番号ｊの値が、j_max−１を超えると（Ｓ３０６−４；Ｎｏ）、水平画素番号ｉにおける垂直方向画素列の隣接する２画素間の輝度値の差分値はすべて求められたこととなり、次にエッジ画素の検索処理を行なう（Ｓ３０６−７）。   FIG. 14 shows a detailed flowchart of the edge detection process. In this process, 1 is set to the pixel number i in the horizontal direction, which is the longitudinal direction of the electric wire (S306-1). Then, it is determined whether the value of the horizontal pixel number i exceeds the horizontal pixel number i_max of the target image (S306-2). If the horizontal pixel number i is equal to or less than i_max (S306-2; Yes), 1 is set to the pixel number j in the vertical direction that is the electric wire crossing direction (S306-3). Then, it is determined whether the value of the vertical pixel number j exceeds the value obtained by subtracting 1 from the number of vertical pixels j_max of the target image (S306-4). If the vertical pixel number j is equal to or smaller than j_max−1 (S306-4; Yes), the difference between the luminance value of the pixel at the coordinate (i, j) and the luminance value of the pixel at the coordinate (i, j + 1) is obtained. The difference value (j) is recorded (S306-5). Then, 1 is added to the vertical pixel number j (S306-6), and the processes after S306-4 are repeated. When the value of the vertical pixel number j exceeds j_max-1 (S306-4; No), all the luminance value difference values between two adjacent pixels in the vertical pixel row at the horizontal pixel number i are obtained. Next, edge pixel search processing is performed (S306-7).

図１５にエッジ画素の検索処理を詳細化したフローチャートを示す。当該処理では、記録された差分値の中から絶対値が最大となる差分値（ｊ’）を求め、差分値（ｊ’）に対応する垂直画素番号ｊ’を求める（Ｓ３０６−７−１）。そして、ｊ’にΔｊとして例えば２０を加えた値をＪとする（Ｓ３０６−７−２）。そして、垂直画素番号Ｊに対応する差分値（Ｊ）がピークを構成するか否か判断する。具体的には、差分値（Ｊ）＞０であり且つ差分値（Ｊ）＞差分値（Ｊ−１）であり且つ差分値（Ｊ）＞差分値（Ｊ＋１）であるか（Ｓ３０６−７−３）、若しくは、差分値（Ｊ）＜０であり且つ差分値（Ｊ）＜差分値（Ｊ−１）であり且つ差分値（Ｊ）＜差分値（Ｊ＋１）であるか（Ｓ３０６−７−４）、を判断する。差分値（Ｊ）がピークを構成する場合には（Ｓ３０６−７−３；ＹｅｓまたはＳ３０６−７−４；Ｙｅｓ）、座標（ｉ，Ｊ）にある画素を第１エッジ画素として記録する（Ｓ３０６−７−６）。差分値（Ｊ）がピークを構成しない場合には（Ｓ３０６−７−３；ＮｏかつＳ３０６−７−４；Ｎｏ）、垂直画素番号Ｊから１を減じ（Ｓ３０６−７−５）、Ｊを中心となる垂直画素番号ｊ’に１画素近づけて、当該垂直画素番号Ｊに対応する差分値（Ｊ）がピークを構成するか否か再び検討する。同様に、ｊ’からΔｊとして２０を減じた値をＪ’とし（Ｓ３０６−７−７）、垂直画素番号Ｊ’に対応する差分値（Ｊ’）がピークを構成するか否か判断し（Ｓ３０６−７−８，Ｓ３０６−７−９）、ピークを構成する場合は座標（ｉ，Ｊ’）にある画素を第２エッジ画素として記録し（Ｓ３０６−７−１１）、ピークを構成しない場合は垂直画素番号Ｊ’に１を加算し（Ｓ３０６−７−１０）、Ｊ’を中心となる垂直画素番号ｊ’に１画素近づけて、差分値（Ｊ’）がピークを構成するか否か再び判断する。以上により、差分値が最大となる点ｊ’から定めた範囲±Δｊにあり且つ当該最大点ｊ’から最も離れたピークを構成する画素、即ちエッジ画素が求められる。   FIG. 15 shows a detailed flowchart of the edge pixel search process. In this process, the difference value (j ′) having the maximum absolute value is obtained from the recorded difference values, and the vertical pixel number j ′ corresponding to the difference value (j ′) is obtained (S306-7-1). . A value obtained by adding, for example, 20 to Δ ′ as Δj is set as J (S306-7-2). Then, it is determined whether or not the difference value (J) corresponding to the vertical pixel number J constitutes a peak. Specifically, whether difference value (J)> 0, difference value (J)> difference value (J-1), and difference value (J)> difference value (J + 1) (S306-7-) 3) or whether difference value (J) <0 and difference value (J) <difference value (J-1) and difference value (J) <difference value (J + 1) (S306-7-) 4). When the difference value (J) constitutes a peak (S306-7-3; Yes or S306-7-4; Yes), the pixel at the coordinates (i, J) is recorded as the first edge pixel (S306). -7-6). When the difference value (J) does not constitute a peak (S306-7-3; No and S306-7-4; No), 1 is subtracted from the vertical pixel number J (S306-7-5), and J is the center. One pixel is brought closer to the vertical pixel number j ′, and it is examined again whether or not the difference value (J) corresponding to the vertical pixel number J forms a peak. Similarly, a value obtained by subtracting 20 as Δj from j ′ is set as J ′ (S306-7-7), and it is determined whether or not the difference value (J ′) corresponding to the vertical pixel number J ′ constitutes a peak ( S306-7-8, S306-7-9), when forming a peak, the pixel at coordinates (i, J ′) is recorded as the second edge pixel (S306-7-11), and no peak is formed 1 is added to the vertical pixel number J ′ (S306-7-10), and J ′ is brought close to the vertical pixel number j ′ centered by one pixel, and whether or not the difference value (J ′) forms a peak. Judge again. As described above, a pixel that constitutes a peak that is in the range ± Δj determined from the point j ′ where the difference value is maximum and is farthest from the maximum point j ′, that is, an edge pixel is obtained.

水平画素番号ｉについて第１エッジ画素および第２エッジ画素が求められると、図１４の処理に戻り、水平画素番号ｉに１を加算し（Ｓ３０６−８）、当該水平画素番号ｉについてＳ３０６−２以下の処理を繰り返す。以上により、対象画像を構成する各垂直画素列ごとに、換言すれば各水平画素番号ごとに、第１エッジ画素および第２エッジ画素が求められる。水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えると（Ｓ３０６−２；Ｎｏ）、当該対象画像におけるエッジ検出処理を終了する。   When the first edge pixel and the second edge pixel are obtained for the horizontal pixel number i, the process returns to the process of FIG. 14, and 1 is added to the horizontal pixel number i (S306-8), and S306-2 for the horizontal pixel number i. The following process is repeated. As described above, the first edge pixel and the second edge pixel are obtained for each vertical pixel column constituting the target image, in other words, for each horizontal pixel number. When the value of the horizontal pixel number i exceeds the horizontal pixel number i_max of the target image (S306-2; No), the edge detection process in the target image is terminated.

エッジ検出処理を終了すると、理想輪郭線推定処理（Ｓ３０７）を行なう。図１６に理想輪郭線推定処理を詳細化したフローチャートを示す。この処理では、先ず除去候補画素の検索処理を行なう（Ｓ３０７−１）。更にこの処理では、図１７に詳細を示すように、電線長手方向である水平方向の画素番号ｉに１をセットする（Ｓ３０７−１−１）。そして、水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えていないか判断する（Ｓ３０７−１−２）。水平画素番号ｉがi_max以下であれば（Ｓ３０７−１−２；Ｙｅｓ）、 水平画素番号ｉ−Δｉ〜ｉ＋Δｉにおいて存在する第１エッジ画素について、電線横断方向である垂直方向の座標位置の平均値を求め、Ave1とする（Ｓ３０７−１−３）。尚、Δｉは例えば１５とする。そして、 水平画素番号ｉの第１エッジ画素の垂直方向の座標位置と上記平均値Ave1との差の絶対値が、予め定めた閾値以上となるエッジ画素を除去候補画素として記録する（Ｓ３０７−１−４）。同様に、水平画素番号ｉ−Δｉ〜ｉ＋Δｉにおいて存在する第２エッジ画素について、垂直方向の座標位置の平均値を求めてAve2とし（Ｓ３０７−１−５）、水平画素番号ｉの第２エッジ画素の垂直方向の座標位置と上記平均値Ave2との差の絶対値が、予め定めた閾値以上となるエッジ画素を除去候補画素として記録する（Ｓ３０７−１−６）。さらに、水平画素番号ｉにおける第１エッジ画素と第２エッジ画素の垂直方向の位置の差を求め、ΔＤとする（Ｓ３０７−１−７）。ΔＤが予め定めた上限値以上または下限値以下となる場合、当該水平画素番号ｉにおける第１エッジ画素と第２エッジ画素を除去候補画素として記録する（Ｓ３０７−１−８）。そして、水平画素番号ｉに１を加算し（Ｓ３０７−１−９）、当該水平画素番号ｉについてＳ３０７−１−２以下の処理を繰り返す。以上により、垂直方向の座標位置が±１５画素の範囲にある周囲のエッジ画素の平均から大きく外れるエッジ画素や、対となる第１エッジ画素と第２エッジ画素の間隔が極端に狭い又は広いエッジ画素が、除去候補画素として記録される。水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えると（Ｓ３０７−１−２；Ｎｏ）、当該対象画像における除去候補画素の検索処理を終了する。 When the edge detection process is completed, an ideal contour estimation process (S307) is performed. FIG. 16 shows a detailed flowchart of the ideal contour estimation process. In this process, first, a removal candidate pixel search process is performed (S307-1). Further, in this process, as shown in detail in FIG. 17, 1 is set to the pixel number i in the horizontal direction which is the longitudinal direction of the electric wire (S307-1-1). Then, it is determined whether the value of the horizontal pixel number i exceeds the horizontal pixel number i_max of the target image (S307-1-2). If the horizontal pixel number i is less than or equal to i_max (S307-1-2; Yes), the average value of the coordinate positions in the vertical direction that is the wire crossing direction for the first edge pixels existing in the horizontal pixel numbers i−Δi to i + Δi Is determined as Ave1 (S307-1-3). Δi is set to 15, for example. Then, an edge pixel in which the absolute value of the difference between the vertical coordinate position of the first edge pixel of the horizontal pixel number i and the average value Ave1 is equal to or greater than a predetermined threshold is recorded as a removal candidate pixel (S307-1). -4). Similarly, for the second edge pixels existing in the horizontal pixel numbers i−Δi to i + Δi, the average value of the coordinate positions in the vertical direction is obtained and set as Ave2 (S307-1-5), and the second edge pixel of the horizontal pixel number i Edge pixels whose absolute value of the difference between the vertical coordinate position and the average value Ave2 is equal to or greater than a predetermined threshold value are recorded as removal candidate pixels (S307-1-6). Further, the difference between the positions of the first edge pixel and the second edge pixel in the horizontal pixel number i in the vertical direction is obtained and set as ΔD (S307-1-7). When ΔD is greater than or equal to a predetermined upper limit value or less than a lower limit value, the first edge pixel and the second edge pixel at the horizontal pixel number i are recorded as removal candidate pixels (S307-1-8). Then, 1 is added to the horizontal pixel number i (S307-1-9), and the processing from S307-1-2 onward is repeated for the horizontal pixel number i. As described above, an edge pixel greatly deviating from the average of surrounding edge pixels whose vertical coordinate position is within a range of ± 15 pixels, or an edge where the distance between the paired first edge pixel and the second edge pixel is extremely narrow or wide Pixels are recorded as removal candidate pixels. When the value of the horizontal pixel number i exceeds the horizontal pixel number i_max of the target image (S307-1-2; No), the removal candidate pixel search process in the target image ends.

除去候補画素が求められると、図１６の処理に戻り、第１エッジ画素群から、除去候補画素すなわちエッジの直線性を損ねる低信頼性画素を除いた残りの画素を用いて、最小自乗法により、第１輪郭線を作成する（Ｓ３０７−２）。同様に、第２エッジ画素群から除去候補画素を除いた残りの画素を用いて、最小自乗法により第２輪郭線を作成する（Ｓ３０７−３）。これにより、当該対象画像における理想輪郭線推定処理を終了し、当該対象画像について形状異常検出処理（Ｓ３０８）および色異常検出処理（Ｓ３０９）を行なう。   When the removal candidate pixel is obtained, the process returns to the process of FIG. 16, and the remaining pixels excluding the removal candidate pixel, that is, the low-reliability pixel that impairs the linearity of the edge, from the first edge pixel group are used. A first contour line is created (S307-2). Similarly, a second contour line is created by the least square method using the remaining pixels obtained by removing the removal candidate pixels from the second edge pixel group (S307-3). Thereby, the ideal outline estimation process in the target image is finished, and the shape abnormality detection process (S308) and the color abnormality detection process (S309) are performed on the target image.

図１８および図１９に形状異常検出処理を詳細化したフローチャートを示す。この処理では、カウンタｗ，ｗ’に０をセットし（Ｓ３０８−１，Ｓ３０８−２）、電線長手方向である水平方向の画素番号ｉに１をセットする（Ｓ３０８−３）。そして、水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えていないか判断する（Ｓ３０８−４）。水平画素番号ｉがi_max以下であれば（Ｓ３０８−４；Ｙｅｓ）、水平画素番号ｉにおける第１エッジ画素と水平画素番号ｉにおける第１輪郭線上の点との電線横断方向である垂直方向の座標位置の差を求め、ΔＨ１とする（Ｓ３０８−５）。同様に、水平画素番号ｉにおける第２エッジ画素と水平画素番号ｉにおける第２輪郭線上の点との垂直方向の座標位置の差を求め、ΔＨ２とする（Ｓ３０８−６）。そして、ΔＨ１の絶対値およびΔＨ２の絶対値が、予め定めた値H_max以上であるか判断する（Ｓ３０８−７，Ｓ３０８−９）。H_maxは例えば１０とする。ΔＨ１がH_max以上である場合はカウンタｗに１を加算し（Ｓ３０８−８）、ΔＨ２がH_max以上である場合はカウンタｗ’に１を加算する（Ｓ３０８−１０）。そして、カウンタｗまたはカウンタｗ’の値が予め定めた値w_max以上であるか判断する（Ｓ３０８−１１）。w_maxは例えば２０とする。カウンタｗ，ｗ’の双方がw_maxに満たなければ（Ｓ３０８−１１；Ｎｏ）、水平画素番号ｉに１を加算し（Ｓ３０８−１３）、当該水平画素番号ｉについてＳ３０８−４以下の処理を繰り返す。一方、ΔＨ１とΔＨ２の双方がH_maxに満たない場合は、カウンタｗ，ｗ’に０をセットし（Ｓ３０８−１２）、水平画素番号ｉに１を加算し（Ｓ３０８−１３）、当該水平画素番号ｉについてＳ３０８−４以下の処理を繰り返す。   18 and 19 show flowcharts detailing the shape abnormality detection processing. In this processing, 0 is set in the counters w and w '(S308-1 and S308-2), and 1 is set in the horizontal pixel number i which is the longitudinal direction of the electric wire (S308-3). Then, it is determined whether the value of the horizontal pixel number i exceeds the horizontal pixel number i_max of the target image (S308-4). If the horizontal pixel number i is equal to or less than i_max (S308-4; Yes), the vertical coordinate that is the electric wire crossing direction between the first edge pixel at the horizontal pixel number i and the point on the first contour line at the horizontal pixel number i. A difference in position is obtained and set as ΔH1 (S308-5). Similarly, the difference in the vertical coordinate position between the second edge pixel at the horizontal pixel number i and the point on the second contour line at the horizontal pixel number i is obtained, and is set as ΔH2 (S308-6). Then, it is determined whether the absolute value of ΔH1 and the absolute value of ΔH2 are equal to or greater than a predetermined value H_max (S308-7, S308-9). H_max is set to 10, for example. When ΔH1 is greater than or equal to H_max, 1 is added to the counter w (S308-8), and when ΔH2 is greater than or equal to H_max, 1 is added to the counter w ′ (S308-10). Then, it is determined whether the value of the counter w or the counter w ′ is equal to or greater than a predetermined value w_max (S308-11). For example, w_max is 20. If both of the counters w and w ′ do not satisfy w_max (S308-11; No), 1 is added to the horizontal pixel number i (S308-13), and the processing from S308-4 onward is repeated for the horizontal pixel number i. . On the other hand, if both ΔH1 and ΔH2 are less than H_max, 0 is set to the counters w and w ′ (S308-12), 1 is added to the horizontal pixel number i (S308-13), and the horizontal pixel number The process from S308-4 onward is repeated for i.

カウンタｗ，ｗ’の少なくとも一方がw_max以上となる場合は（Ｓ３０８−１１；Ｙｅｓ）、理想輪郭線から１０画素以上離れたエッジ画素が２０画素連続して現れたこととなるので、当該対象画像を形状異常候補画像として記録する（Ｓ３０８−１４）。そして、形状異常カウンタｚに１を加算し（Ｓ３０８−１５）、当該カウンタｚが予め定めた値z_max以上であるか判断する（Ｓ３０８−１６）。z_maxは例えば２とする。形状異常カウンタｚがz_maxに満たなければ（Ｓ３０８−１６；Ｎｏ）、当該対象画像についての形状異常検出処理を終了する。一方、形状異常カウンタｚがz_max以上である場合（Ｓ３０８−１６；Ｙｅｓ）、z_maxを２とした場合には形状異常候補画像が２フレーム以上連続したこととなるので、これらの形状異常候補画像をログに記録する（Ｓ３０８−１７）。そして、形状異常カウンタｚを０にリセットし（Ｓ３０８−１８）、当該対象画像についての形状異常検出処理を終了する。他方、水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えるまで処理された場合は（Ｓ３０８−４；Ｎｏ）、理想輪郭線から１０画素以上離れたエッジ画素が２０画素連続して現れることの無かった場合であり、形状異常カウンタｚを０にリセットし（Ｓ３０８−１８）、当該対象画像についての形状異常検出処理を終了する。 When at least one of the counters w and w ′ is equal to or greater than w_max (S308-11; Yes), edge pixels that are separated by 10 pixels or more from the ideal contour line appear continuously, so that the target image Is recorded as a shape abnormality candidate image (S308-14). Then, 1 is added to the shape abnormality counter z (S308-15), and it is determined whether the counter z is equal to or greater than a predetermined value z_max (S308-16). z_max is set to 2, for example. If the shape abnormality counter z does not satisfy z_max (S308-16; No), the shape abnormality detection process for the target image is terminated. On the other hand, when the shape abnormality counter z is equal to or larger than z_max (S308-16; Yes), when z_max is set to 2, the shape abnormality candidate images are continuous for two or more frames. Record in the log (S308-17). Then, the shape abnormality counter z is reset to 0 (S308-18), and the shape abnormality detection process for the target image ends. On the other hand, when the processing is performed until the value of the horizontal pixel number i exceeds the horizontal pixel number i_max of the target image (S308-4; No), 20 edge pixels that are separated by 10 pixels or more from the ideal contour line are consecutive. In this case, the shape abnormality counter z is reset to 0 (S308-18), and the shape abnormality detection process for the target image ends.

図４は素線切れを起こしている電線が撮影された画像を示す。図４の画像に対し、上記のエッジ検出処理を行なった結果を図２に示す。また、図２に示すエッジ画素の中から上記の理想輪郭線推定処理によって低信頼性画素を特定し、当該低信頼性画素を除いた残りのエッジ画素に基づいて理想輪郭線を求めた結果を図３に示す。そして、図２のエッジ画素と図３の理想輪郭線とを重ねて表示した結果を図１に示す。尚、図中の符号４０は第１エッジ画素を示し、符号４１は第２エッジ画素を示し、符号４２は第１理想輪郭線を示し、符号４３は第２理想輪郭線を示す。図１には、理想輪郭線から１０画素以上離れたエッジ画素が２０画素以上連続して現れる様子が示されており、上記の形状異常検出処理によって素線切れを起こしている電線を正確に検出できることが確認できる。   FIG. 4 shows an image obtained by photographing an electric wire that is causing a wire break. FIG. 2 shows the result of performing the above edge detection processing on the image of FIG. Further, the result of obtaining the ideal contour based on the remaining edge pixels excluding the low reliability pixel is identified by the above-described ideal contour estimation process from the edge pixels shown in FIG. As shown in FIG. FIG. 1 shows a result of displaying the edge pixel of FIG. 2 and the ideal outline of FIG. 3 in an overlapping manner. In the figure, reference numeral 40 indicates a first edge pixel, reference numeral 41 indicates a second edge pixel, reference numeral 42 indicates a first ideal contour line, and reference numeral 43 indicates a second ideal contour line. FIG. 1 shows a state in which 20 pixels or more of edge pixels that are 10 pixels or more away from the ideal contour line appear continuously, and the above-described shape abnormality detection processing accurately detects the wire that has been broken. I can confirm that I can do it.

次に、図２０および図２１に色異常検出処理を詳細化したフローチャートを示す。この処理では、カウンタｕ，ｕ’に０をセットし（Ｓ３０９−１，Ｓ３０９−２）、電線長手方向である水平方向の画素番号ｉに１をセットする（Ｓ３０９−３）。そして、水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えていないか判断する（Ｓ３０９−４）。水平画素番号ｉがi_max以下であれば（Ｓ３０９−４；Ｙｅｓ）、水平画素番号ｉにおいて第１輪郭線と第２輪郭線との間に位置する画素の輝度値の平均値を求め、当該平均値を代表値Val（ｉ）とする（Ｓ３０９−５）。そして、水平画素番号ｉに１を加算し（Ｓ３０９−６）、当該水平画素番号ｉについてＳ３０９−４以下の処理を繰り返す。これにより、各水平画素番号ｉについて代表値Val（ｉ）が求められる。水平画素番号ｉがi_maxを超えると（Ｓ３０９−４；Ｎｏ）、求めた代表値Val（１）〜Val（i_max）を用いて数式３により上限の閾値Val’と下限の閾値Val”を求める（Ｓ３０９−７）。   Next, FIG. 20 and FIG. 21 show flowcharts detailing the color abnormality detection processing. In this processing, 0 is set to the counters u and u '(S309-1, S309-2), and 1 is set to the pixel number i in the horizontal direction which is the longitudinal direction of the wire (S309-3). Then, it is determined whether the value of the horizontal pixel number i exceeds the horizontal pixel number i_max of the target image (S309-4). If the horizontal pixel number i is equal to or less than i_max (S309-4; Yes), the average value of the luminance values of the pixels located between the first contour line and the second contour line at the horizontal pixel number i is obtained, and the average The value is set as a representative value Val (i) (S309-5). Then, 1 is added to the horizontal pixel number i (S309-6), and the processing from S309-4 onward is repeated for the horizontal pixel number i. Thereby, the representative value Val (i) is obtained for each horizontal pixel number i. When the horizontal pixel number i exceeds i_max (S309-4; No), the upper limit threshold value Val ′ and the lower limit threshold value Val ″ are obtained by Expression 3 using the obtained representative values Val (1) to Val (i_max) ( S309-7).

そして、再び水平画素番号ｉに１をセットし（Ｓ３０９−８）、水平画素番号ｉがi_max以下であるか判断する（Ｓ３０９−９）。水平画素番号ｉがi_max以下であれば、当該画素番号ｉに対応する代表値Val（ｉ）が上限値Val’以上であるか又は下限値Val’以下であるか判断する（Ｓ３０９−１０，Ｓ３０９−１２）。代表値Val（ｉ）が上限値Val’以上である場合はカウンタｕに１を加算し（Ｓ３０９−１１）、代表値Val（ｉ）が下限値Val”以下である場合はカウンタｕ’に１を加算する（Ｓ３０９−１３）。そして、カウンタｕまたはカウンタｕ’の値が予め定めた値u_max以上であるか判断する（Ｓ３０９−１４）。u_maxは例えば２０とする。カウンタｕ，ｕ’の双方がu_maxに満たなければ（Ｓ３０９−１４；Ｎｏ）、水平画素番号ｉに１を加算し（Ｓ３０９−１６）、当該水平画素番号ｉについてＳ３０９−９以下の処理を繰り返す。一方、代表値Val（ｉ）が上限値Val’以上でなく且つ下限値Val”以下でない場合は、カウンタｕ，ｕ’に０をセットし（Ｓ３０９−１５）、水平画素番号ｉに１を加算し（Ｓ３０９−１６）、当該水平画素番号ｉについてＳ３０９−９以下の処理を繰り返す。   Then, the horizontal pixel number i is set to 1 again (S309-8), and it is determined whether the horizontal pixel number i is equal to or less than i_max (S309-9). If the horizontal pixel number i is not more than i_max, it is determined whether the representative value Val (i) corresponding to the pixel number i is not less than the upper limit value Val ′ or not more than the lower limit value Val ′ (S309-10, S309). -12). When the representative value Val (i) is greater than or equal to the upper limit value Val ′, 1 is added to the counter u (S309-11), and when the representative value Val (i) is less than or equal to the lower limit value Val ″, 1 is added to the counter u ′. (S309-13) Then, it is determined whether the value of the counter u or the counter u ′ is equal to or larger than a predetermined value u_max (S309-14), where u_max is set to 20, for example. If both do not satisfy u_max (S309-14; No), 1 is added to the horizontal pixel number i (S309-16), and the processing from S309-9 onward is repeated for the horizontal pixel number i. If (i) is not greater than or equal to the upper limit value Val ′ and not less than the lower limit value Val ″, 0 is set in the counters u and u ′ (S309-15), and 1 is added to the horizontal pixel number i (S309-16). ), S3 for the horizontal pixel number i 9-9 repeats the following processing.

カウンタｕ，ｕ’の少なくとも一方がu_max以上となる場合は（Ｓ３０９−１４；Ｙｅｓ）、上限値Val’以上または下限値Val”以下となる代表値Val（ｉ）が２０画素連続して現れたこととなるので、当該対象画像を色異常候補画像として記録する（Ｓ３０９−１７）。そして、色異常カウンタｑに１を加算し（Ｓ３０９−１８）、当該カウンタｑが予め定めた値q_max以上であるか判断する（Ｓ３０９−１９）。q_maxは例えば２とする。色異常カウンタｑがq_maxに満たなければ（Ｓ３０９−１９；Ｎｏ）、当該対象画像についての色異常検出処理を終了する。一方、色異常カウンタｑがq_max以上である場合（Ｓ３０９−１９；Ｙｅｓ）、q_maxを２とした場合には色異常候補画像が２フレーム以上連続したこととなるので、これらの色異常候補画像をログに記録する（Ｓ３０９−２０）。そして、色異常カウンタｑを０にリセットし（Ｓ３０９−２１）、当該対象画像についての色異常検出処理を終了する。他方、水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えるまで処理された場合は（Ｓ３０９−９；Ｎｏ）、上限値Val’以上または下限値Val”以下となる代表値Val（ｉ）が２０画素連続して現れることの無かった場合であり、色異常カウンタｑを０にリセットし（Ｓ３０９−２１）、当該対象画像についての色異常検出処理を終了する。 When at least one of the counters u and u ′ is greater than or equal to u_max (S309-14; Yes), a representative value Val (i) that is greater than or equal to the upper limit value Val ′ or less than or equal to the lower limit value Val ″ appears continuously for 20 pixels. Therefore, the target image is recorded as a color abnormality candidate image (S309-17), and 1 is added to the color abnormality counter q (S309-18), and the counter q is equal to or greater than a predetermined value q_max. In step S309-19, q_max is set to 2. If the color abnormality counter q is less than q_max (S309-19; No), the color abnormality detection process for the target image is terminated. If the color abnormality counter q is greater than or equal q_max (S309-19; Yes), since the fact that the color abnormality candidate image continuous two frames or more in the case of the 2 Q_Max, logs these colors abnormality candidate image In step S309-20, the color abnormality counter q is reset to 0 (S309-21), and the color abnormality detection process for the target image is terminated. When processing is performed until the number of pixels i_max in the horizontal direction is exceeded (S309-9; No), the representative value Val (i) that is equal to or higher than the upper limit value Val ′ or lower than the lower limit value Val ″ does not appear continuously for 20 pixels. In this case, the color abnormality counter q is reset to 0 (S309-21), and the color abnormality detection process for the target image ends.

図６はアーク痕がある電線が撮影された画像を示す。図６の画像に対し、上記の色異常検出処理を行なった結果を図５に示す。尚、図中の符号４４は各水平画素番号における代表値を示し、符号５５は下限の閾値を示す。図５には、下限の閾値以下となる代表値が２０画素以上連続して現れる様子が示されており、上記の色異常検出処理によってアーク痕がある電線を正確に検出できることが確認できる。   FIG. 6 shows an image in which an electric wire with an arc mark is photographed. FIG. 5 shows the result of the above color abnormality detection process performed on the image of FIG. In the figure, reference numeral 44 indicates a representative value in each horizontal pixel number, and reference numeral 55 indicates a lower limit threshold. FIG. 5 shows a state in which a representative value equal to or lower than the lower limit threshold appears continuously for 20 pixels or more, and it can be confirmed that an electric wire having an arc mark can be accurately detected by the color abnormality detection process.

電線異常検出処理を終了すると、ログに記録された異常画像の出力処理を行なう（図１１のＳ４）。当該処理では、対象画像が切り出せなかった原画像や、電線の形状や色に異常があると判断された対象画像が、出力装置１４に表示される。作業者は出力装置１４に表示された画像を見て、問題の有無を目視により判定できる。例えば本実施形態の色異常検出処理では、電線にしみ等がある場合にも異常ありと判断する可能性があるが、単なるしみであるかアーク痕であるかの判断は、最終的に作業者が行なうようにしている。尚、作業者が見易いように、静止画像をアルバム状に整理して表示するようにしても良い。また、ログに記録された画像のフレーム番号等に基いて、実際のビデオ映像を出力装置１４に表示するようにしても良い。   When the electric wire abnormality detection process is completed, an abnormal image recorded in the log is output (S4 in FIG. 11). In this process, the original image in which the target image could not be cut out and the target image determined to have an abnormality in the shape and color of the electric wire are displayed on the output device 14. The operator can visually determine whether there is a problem by looking at the image displayed on the output device 14. For example, in the color abnormality detection process of the present embodiment, there is a possibility of determining that there is an abnormality even when there is a stain or the like on the electric wire. Is trying to do. Note that still images may be arranged and displayed in an album form so that the operator can easily see them. Further, the actual video image may be displayed on the output device 14 based on the frame number of the image recorded in the log.

本発明によれば、作業者は電線の空撮映像を最初からすべて目視点検する必要は無く、電線異常検出装置１０が提示する一部の画像や映像について確認すれば良く、作業者の労力が大幅に軽減される。さらに、ビデオカメラを電線異常検出装置１０に接続して、ビデオカメラより得られる映像をリアルタイムで処理することで、ヘリコプターで巡視している現場で電線の異常箇所の検出まで行うことも可能となり、作業に関わる人的資源や設備資源を縮小し全体のコストを大幅に低減することが可能になる。   According to the present invention, it is not necessary for the operator to visually inspect all the aerial images of the electric wires from the beginning, and it is only necessary to check some images and videos presented by the electric wire abnormality detection device 10. It is greatly reduced. Furthermore, by connecting the video camera to the electric wire abnormality detection device 10 and processing the image obtained from the video camera in real time, it becomes possible to detect the abnormal portion of the electric wire at the site where the helicopter patrols, It becomes possible to reduce human resources and equipment resources related to work and to greatly reduce the overall cost.

なお、上述の実施形態は本発明の好適な実施の一例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。例えば、上述の実施形態ではグレースケール画像を原画像として各処理を行なったが、カラー画像を原画像として各処理を行なっても良い。例えば原画像がグレースケール画像である場合、対象画像の切り出し処理において、山の稜線などを変位の位相が揃っている探索結果として判断してしまう場合があるが、原画像をカラー画像とし、輝度値に加えて色相値も用いたテンプレート照合を行なうことで、そのような失敗を回避できる。   The above-described embodiment is an example of a preferred embodiment of the present invention, but is not limited thereto, and various modifications can be made without departing from the gist of the present invention. For example, in the above-described embodiment, each process is performed using a grayscale image as an original image, but each process may be performed using a color image as an original image. For example, when the original image is a grayscale image, the target image may be judged as a search result in which the ridge lines of the mountains are aligned in the phase of displacement in the clipping process of the target image. Such a failure can be avoided by performing template matching using the hue value in addition to the value.

また、エッジ検出処理は必ずしも上述の実施形態の例には限定されず、従来のエッジ検出方法を採用しても良い。また、更なる処理の高速化を図るために、図１１から図２２に示した処理の一部又は全部をハードウェア化しても良い。特にエッジ検出処理の部分は、汎用的な手法であるため、市販の画像処理ボードとの親和性も良く、ハードウェア化が容易である。ハードウェア化によって、ビデオレートでの処理も期待できる。   Further, the edge detection process is not necessarily limited to the example of the above-described embodiment, and a conventional edge detection method may be adopted. In order to further increase the processing speed, a part or all of the processing shown in FIGS. 11 to 22 may be implemented as hardware. In particular, since the edge detection processing part is a general-purpose method, it has good compatibility with a commercially available image processing board and can be easily implemented as hardware. By using hardware, processing at the video rate can also be expected.

また、閾値などの各パラメータ、例えばエッジ検出処理においてピークを探す範囲Δｊ、形状異常を判断するエッジ画素と理想輪郭線との距離の基準H_max、色異常を判断する閾値の係数α、連続する異常候補画素の基準w_max，u_max、連続する異常候補画像の基準ｚ，ｑなどは、撮影条件などに合わせて適宜調節してよい。   Each parameter such as a threshold, for example, a range Δj for searching for a peak in the edge detection process, a reference H_max of a distance between an edge pixel for determining a shape abnormality and an ideal outline, a threshold coefficient α for determining a color abnormality, a continuous abnormality The criteria w_max and u_max for candidate pixels and the criteria z and q for consecutive abnormal candidate images may be adjusted as appropriate according to the shooting conditions.

また、対象画像の切り出し処理において、原画像に何ら電線に類似する物が無い場合、画面の最上部もしくは最下部に探索結果が張り付き、探索結果の変位の位相が揃っていると判断してしまう場合がある。このため、探索結果が画面の上端または下端に張り付いた場合には、探索失敗と判断するという条件分岐を入れるようにしても良い。この場合、例えばそれぞれの探索結果の変位の一定期間での標準偏差を計算し、当該標準偏差が一定値を下回る場合に張り付きが起こっていると判定しても良い。   Also, in the target image cut-out process, if there is no object similar to an electric wire in the original image, the search result sticks to the top or bottom of the screen, and it is determined that the phase of the search result displacement is aligned. There is a case. For this reason, when the search result sticks to the upper end or the lower end of the screen, a conditional branch that determines that the search has failed may be inserted. In this case, for example, a standard deviation in a certain period of displacement of each search result may be calculated, and it may be determined that sticking has occurred when the standard deviation is less than a certain value.

また、上述の実施形態では、対象画像の切り出し処理において電線探索が失敗した場合にテンプレートを追加できるようにしたが、電線探索が失敗した場合に探索領域の大きさを拡大して再度探索を行うようにしても良い。また、上述の実施形態では、対象画像の切り出し処理における探索領域を３箇所としたが、計算機の性能と処理時間の制限に余裕がある場合などには、探索領域の数を更に増やしても良い。例えば５箇所以上での電線探索を行うようにし、これらの探索結果の中から直線性を満足する３箇所以上の探索結果を選択するようにしても良い。   In the above-described embodiment, the template can be added when the wire search fails in the target image cut-out process. However, when the wire search fails, the search area is enlarged and the search is performed again. You may do it. In the above embodiment, the number of search areas in the target image cut-out process is three, but the number of search areas may be further increased when there is a margin in the performance and processing time of the computer. . For example, the electric wire search may be performed at five or more locations, and the search results at three or more locations that satisfy the linearity may be selected from these search results.

また、上述の実施形態では、原画像から切り出した対象画像に対して電線異常検出処理を行なったが、場合によっては原画像をそのまま対象画像として、電線異常検出処理を行なっても良い。また、上述の切り出し処理で得られた対象画像を、形状異常検出処理や色異常検出処理以外の電線点検用の画像処理に用いても良い。   In the above-described embodiment, the wire abnormality detection process is performed on the target image cut out from the original image. However, in some cases, the wire abnormality detection process may be performed using the original image as it is as the target image. Moreover, you may use the target image obtained by the above-mentioned cutting-out process for the image processing for electric wire inspections other than a shape abnormality detection process and a color abnormality detection process.

本発明の電線異常検出方法の原理を説明するグラフであり、電線のエッジ画素と理想輪郭線を重ねて表示したものである。グラフの縦軸は垂直画素番号を示し、横軸は水平画素番号を示す。It is a graph explaining the principle of the electric wire abnormality detection method of this invention, and displays the edge pixel of an electric wire and an ideal outline so as to overlap. The vertical axis of the graph indicates the vertical pixel number, and the horizontal axis indicates the horizontal pixel number. 電線のエッジ画素を表示したグラフであり、縦軸は垂直画素番号を示し、横軸は水平画素番号を示す。It is the graph which displayed the edge pixel of the electric wire, a vertical axis shows a vertical pixel number, and a horizontal axis shows a horizontal pixel number. 電線の理想輪郭線を表示したグラフであり、縦軸は垂直画素番号を示し、横軸は水平画素番号を示す。It is the graph which displayed the ideal outline of the electric wire, a vertical axis shows a vertical pixel number, and a horizontal axis shows a horizontal pixel number. 図１〜図３の元となる画像を示し、素線切れを起こしている電線の画像を示している。The image which becomes the origin of Drawing 1-Drawing 3 is shown, and the image of the electric wire which has raise | disconnected the strand is shown. 本発明の電線異常検出方法の原理を説明するグラフであり、電線の色情報値の代表値と閾値とを表示したものである。グラフの縦軸は輝度値を示し、横軸は水平画素番号を示す。It is a graph explaining the principle of the electric wire abnormality detection method of this invention, and represents the representative value and threshold value of the color information value of an electric wire. The vertical axis of the graph indicates the luminance value, and the horizontal axis indicates the horizontal pixel number. 図５の元となる画像を示し、アーク痕がある電線の画像を示している。FIG. 5 shows the original image of FIG. 5 and shows an image of an electric wire with arc marks. エッジ検出の原理を説明するための電線の画像を示す。The image of the electric wire for demonstrating the principle of edge detection is shown. 図７の矢印で示す垂直方向上方に、隣接する２画素間の輝度値の差分値を求めた結果を示すグラフである。グラフの縦軸は差分値を求めた下側画素の垂直画素番号を示し、横軸は差分値の大きさを示す。It is a graph which shows the result of having calculated | required the difference value of the luminance value between two adjacent pixels above the perpendicular direction shown by the arrow of FIG. The vertical axis of the graph indicates the vertical pixel number of the lower pixel for which the difference value is obtained, and the horizontal axis indicates the magnitude of the difference value. 図８の一部を拡大したものである。FIG. 9 is an enlarged view of a part of FIG. 本発明の電線異常検出装置の実施の一形態を示す概略構成図である。It is a schematic block diagram which shows one Embodiment of the electric wire abnormality detection apparatus of this invention. 本発明の電線異常検出方法及び装置及びプラグラムの実行により行なわれる処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process performed by execution of the electric wire abnormality detection method and apparatus of this invention, and a program. 図１１の対象画象の切り出し処理を詳細化した処理の一例を示すフローチャートである。12 is a flowchart illustrating an example of processing in which the target image cutout processing in FIG. 11 is detailed. 図１１の電線異常検出処理を詳細化した処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process which detailed the electric wire abnormality detection process of FIG. 図１３のエッジ検出処理を詳細化した処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process which detailed the edge detection process of FIG. 図１４のエッジ画素の検索処理を詳細化した処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process which detailed the search process of the edge pixel of FIG. 図１３の理想輪郭線推定処理を詳細化した処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process which detailed the ideal outline estimation process of FIG. 図１６の除去候補画素の検索処理を詳細化した処理の一例を示すフローチャートである。FIG. 17 is a flowchart illustrating an example of a process in which the removal candidate pixel search process of FIG. 16 is detailed. 図１３の形状異常検出処理を詳細化した処理の一例を示し、処理の前半部分を示すフローチャートである。It is a flowchart which shows an example of the process which detailed the shape abnormality detection process of FIG. 13, and shows the first half part of a process. 図１８の後半部分を示すフローチャートである。It is a flowchart which shows the second half part of FIG. 図１３の色異常検出処理を詳細化した処理の一例を示し、処理の前半部分を示すフローチャートである。It is a flowchart which shows an example of the process which detailed the color abnormality detection process of FIG. 13, and shows the first half part of a process. 図２０の後半部分を示すフローチャートである。It is a flowchart which shows the second half part of FIG. 図１１の前処理を詳細化した処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process which detailed the pre-process of FIG. 本発明の電線異常検出方法において電線を探索する原理を説明する概念図である。It is a conceptual diagram explaining the principle which searches an electric wire in the electric wire abnormality detection method of this invention. 本発明の電線異常検出方法において電線を探索する原理を説明する概念図である。It is a conceptual diagram explaining the principle which searches an electric wire in the electric wire abnormality detection method of this invention. 本発明の電線異常検出装置が表示する画面の例を示す図である。It is a figure which shows the example of the screen which the electric wire abnormality detection apparatus of this invention displays. 本発明の電線異常検出装置が表示する画面の他の例を示す図である。It is a figure which shows the other example of the screen which the electric wire abnormality detection apparatus of this invention displays. 本発明の電線異常検出装置が表示する画面の他の例を示す図である。It is a figure which shows the other example of the screen which the electric wire abnormality detection apparatus of this invention displays. 本発明の電線異常検出装置が表示する画面の他の例を示す図である。It is a figure which shows the other example of the screen which the electric wire abnormality detection apparatus of this invention displays. （Ａ）は従来技術により電線領域を抽出する原理を説明する概念図であり、（Ｂ）および（Ｃ）は同方法を用いた場合の問題点を示す概念図である。(A) is a conceptual diagram explaining the principle which extracts an electric wire area | region by a prior art, (B) and (C) are conceptual diagrams which show the problem at the time of using the same method.

符号の説明Explanation of symbols

１ 原画像
２ テンプレート
３ 探索領域
１０ 電線異常検出装置
２９ 探索結果 DESCRIPTION OF SYMBOLS 1 Original image 2 Template 3 Search area 10 Electric wire abnormality detection apparatus 29 Search result

Claims (13)

電線が撮影された対象画像に対して、前記電線の実際の輪郭線を構成するエッジ画素を検出する処理と、前記エッジ画素から予め定めた基準を満足しない低信頼性画素を除いた画素群を直線で近似して前記電線が健全である場合の理想輪郭線を求める処理と、前記対象画像の水平方向と垂直方向とのうち前記対象画像内の前記電線の方向に沿う方を電線長手方向とするとともに他方を電線横断方向として、前記理想輪郭線から前記電線横断方向に予め定めた距離を超えて離れた前記エッジ画素が前記電線長手方向に予め定めた数だけ連続した場合に、前記電線に異常が生じている可能性があると判断する処理とを行なうことを特徴とする画像処理による電線異常検出方法。 A process for detecting an edge pixel constituting an actual outline of the electric wire for a target image in which the electric wire is photographed, and a pixel group excluding low-reliability pixels that do not satisfy a predetermined criterion from the edge pixel. The process of obtaining an ideal outline when the electric wire is healthy by approximating with a straight line, and the direction along the direction of the electric wire in the target image out of the horizontal direction and the vertical direction of the target image is the electric wire longitudinal direction the other as the wire cross direction as well as, when the said edge pixels from the ideal contour away beyond the predetermined distance in the wire cross direction is continuous to the number determined in advance in the wire longitudinal direction, the wire An electric wire abnormality detection method by image processing, characterized by performing a process of determining that there is a possibility that an abnormality has occurred. 電線が撮影された対象画像に対して、前記電線の実際の輪郭線を構成するエッジ画素を検出する処理と、前記エッジ画素から予め定めた基準を満足しない低信頼性画素を除いた画素群を２本の直線で近似して前記電線が健全である場合の２本の理想輪郭線を求める処理と、前記対象画像の水平方向と垂直方向とのうち前記対象画像内の前記電線の方向に沿う方を電線長手方向とするとともに他方を電線横断方向として、前記２本の理想輪郭線に挟まれる各前記電線横断方向の画素列の色情報値から当該電線横断方向における代表値を求め、色情報閾値から外れる前記代表値が前記電線長手方向に予め定めた数だけ連続した場合に、前記電線に異常が生じている可能性があると判断する処理とを行なうことを特徴とする画像処理による電線異常検出方法。 A process for detecting an edge pixel constituting an actual outline of the electric wire for a target image in which the electric wire is photographed, and a pixel group excluding low-reliability pixels that do not satisfy a predetermined criterion from the edge pixel. A process of obtaining two ideal contour lines when the electric wire is healthy by approximating with two straight lines, and along the direction of the electric wire in the target image among the horizontal direction and the vertical direction of the target image Write as wires transversely to the other while the wire longitudinal direction, obtains a representative value in the wire cross direction from the color information values of the pixel columns of each said wire transversely sandwiched the two ideal outline, color information when the representative value deviates from the threshold are consecutive by the number determined in advance in the wire longitudinal direction, the electric wire by image processing and performs the processing for abnormality in the electric wire is determined that there is a possibility occurring Abnormal Way out. 電線が撮影された原画像の水平方向と垂直方向とのうち前記原画像内の前記電線の方向に沿う方を電線長手方向とし、水平方向範囲および垂直方向範囲が予め定められた探索領域を前記原画像の前記電線長手方向に３箇所以上分布させるとともに、探索対象である電線の画像をテンプレートとして予め与え、該テンプレートと最も類似する領域を前記各探索領域内で探索し、前記各探索領域についての探索結果が予め定めた規則性を満たすか否かを判断し、当該規則性を満たす探索結果を少なくとも含む画像を前記原画像から切り出して前記対象画像とすることを特徴とする請求項１または２記載の画像処理による電線異常検出方法。 Wires and the wire longitudinal direction towards along the direction of the electric wire in the original image in the horizontal and vertical directions of the photographed original images, the search area in which the horizontal range and vertical extent predetermined the causes are distributed wire longitudinally three or more original images, given in advance a wire image of a search target as a template to search an area most similar to the template at each search region, for each search area 2. The method according to claim 1, further comprising: determining whether or not the search result satisfies a predetermined regularity and cutting out an image including at least the search result satisfying the regularity from the original image as the target image. 3. An electric wire abnormality detection method by image processing according to 2. 前記探索結果が予め定めた前記規則性を満たさない場合または前記探索結果の類似度が予め定めた基準を満足しない場合に新たなテンプレートを追加するようにしたことを特徴とする請求項３記載の画像処理による電線異常検出方法。 The search results according to claim 3, characterized in that so as to add a new template when predetermined similarity of the regularity of or does not the search results satisfy does not satisfy the predetermined reference Wire abnormality detection method by image processing. 複数の前記テンプレートのうち前記探索結果の類似度が最も高くなる前記テンプレートを選択するようにしたことを特徴とする請求項３または４記載の画像処理による電線異常検出方法。 Wire abnormality detecting method by the image processing according to claim 3, wherein it has to select the template that similarity of the search result is the highest among the plurality of templates. 前記対象画像における各前記電線横断方向の画素列について、前記電線横断方向の一方向に向かい隣接する２画素間の色情報値の差分値を求めて行き、当該差分値の絶対値が最大となる点を求め、当該最大点から前記電線横断方向の両方向に向かって予め定めた範囲にあり且つ前記最大点から最も離れた、差分値０から突出した点を求め、当該各突出点を構成する画素を前記エッジ画素とすることを特徴とする請求項１から５のいずれかに記載の画像処理による電線異常検出方法。 The pixel columns of each said wire cross direction of the target image, go obtains a difference value of the color information values of adjacent two pixels toward the direction of the electric wire transverse, absolute value of the difference value is maximized pixels determined point, the there from the maximum point in a predetermined range toward both of the wire cross direction and farthest from the maximum point, obtains a point protruding from the difference value 0, constitute the respective protruding point The wire abnormality detection method by image processing according to claim 1, wherein the edge pixel is the edge pixel. 前記対象画像はビデオカメラのフレーム画像より得られるものであり、電線に異常が生じている可能性があると判断された前記対象画像が予め定めた数だけ連続した場合に、前記電線の異常が真であると判断することを特徴とする請求項１から６のいずれかに記載の画像処理による電線異常検出方法。   The target image is obtained from a frame image of a video camera. When the target image determined that there is a possibility that an abnormality has occurred in the electric wire continues for a predetermined number of times, the abnormality in the electric wire is detected. It is judged that it is true, The electric wire abnormality detection method by the image processing in any one of Claim 1 to 6 characterized by the above-mentioned. 電線が撮影された対象画像に対して、前記電線の実際の輪郭線を構成するエッジ画素を検出する手段と、前記エッジ画素から予め定めた基準を満足しない低信頼性画素を除いた画素群を直線で近似して前記電線が健全である場合の理想輪郭線を求める手段と、前記対象画像の水平方向と垂直方向とのうち前記対象画像内の前記電線の方向に沿う方を電線長手方向とするとともに他方を電線横断方向として、前記理想輪郭線から前記電線横断方向に予め定めた距離を超えて離れた前記エッジ画素が前記電線長手方向に予め定めた数だけ連続した場合に、前記電線に異常が生じている可能性があると判断する手段とを有することを特徴とする画像処理により電線異常を検出する装置。 Means for detecting edge pixels constituting an actual outline of the electric wire for a target image in which the electric wire is photographed, and a pixel group excluding low-reliability pixels that do not satisfy a predetermined criterion from the edge pixels. Means for obtaining an ideal outline when the electric wire is healthy by approximating with a straight line, and the direction along the direction of the electric wire in the target image out of the horizontal direction and the vertical direction of the target image is the electric wire longitudinal direction the other as the wire cross direction as well as, when the said edge pixels from the ideal contour away beyond the predetermined distance in the wire cross direction is continuous to the number determined in advance in the wire longitudinal direction, the wire An apparatus for detecting a wire abnormality by image processing, characterized by comprising means for determining that there is a possibility that an abnormality has occurred. 電線が撮影された対象画像に対して、前記電線の実際の輪郭線を構成するエッジ画素を検出する手段と、前記エッジ画素から予め定めた基準を満足しない低信頼性画素を除いた画素群を２本の直線で近似して前記電線が健全である場合の２本の理想輪郭線を求める手段と、前記対象画像の水平方向と垂直方向とのうち前記対象画像内の前記電線の方向に沿う方を電線長手方向とするとともに他方を電線横断方向として、前記２本の理想輪郭線に挟まれる各前記電線横断方向の画素列の色情報値から当該電線横断方向における代表値を求め、色情報閾値から外れる前記代表値が前記電線長手方向に予め定めた数だけ連続した場合に、前記電線に異常が生じている可能性があると判断する手段とを有することを特徴とする画像処理により電線異常を検出する装置。 Means for detecting edge pixels constituting an actual outline of the electric wire for a target image in which the electric wire is photographed, and a pixel group excluding low-reliability pixels that do not satisfy a predetermined criterion from the edge pixels. Means for obtaining two ideal contour lines when the electric wire is healthy by approximating with two straight lines, and along the direction of the electric wire in the target image among the horizontal direction and the vertical direction of the target image Write as wires transversely to the other while the wire longitudinal direction, obtains a representative value in the wire cross direction from the color information values of the pixel columns of each said wire transversely sandwiched the two ideal outline, color information when the representative value deviates from the threshold are consecutive by the number determined in advance in the wire longitudinal direction, the electric wire by image processing, characterized in that it comprises a means for determining an abnormality in the electric wire may be occurring Abnormal Detection devices. 電線が撮影された原画像の水平方向と垂直方向とのうち前記原画像内の前記電線の方向に沿う方を電線長手方向とし、水平方向範囲および垂直方向範囲が予め定められた探索領域を前記原画像の前記電線長手方向に３箇所以上分布させるとともに、探索対象である電線の画像をテンプレートとして予め与え、該テンプレートと最も類似する領域を前記各探索領域内で探索し、前記各探索領域についての探索結果が予め定めた規則性を満たすか否かを判断し、当該規則性を満たす探索結果を少なくとも含む画像を前記原画像から切り出して前記対象画像とする手段を更に有することを特徴とする請求項８または９記載の画像処理により電線異常を検出する装置。 Wires and the wire longitudinal direction towards along the direction of the electric wire in the original image in the horizontal and vertical directions of the photographed original images, the search area in which the horizontal range and vertical extent predetermined the causes are distributed wire longitudinally three or more original images, given in advance a wire image of a search target as a template to search an area most similar to the template at each search region, for each search area It further comprises means for determining whether or not the search result satisfies a predetermined regularity and cutting out an image including at least the search result satisfying the regularity from the original image as the target image. An apparatus for detecting an electric wire abnormality by image processing according to claim 8 or 9 . 電線が撮影された対象画像に対して、前記電線の実際の輪郭線を構成するエッジ画素を検出する手段と、前記エッジ画素から予め定めた基準を満足しない低信頼性画素を除いた画素群を直線で近似して前記電線が健全である場合の理想輪郭線を求める手段と、前記対象画像の水平方向と垂直方向とのうち前記対象画像内の前記電線の方向に沿う方を電線長手方向とするとともに他方を電線横断方向として、前記理想輪郭線から前記電線横断方向に予め定めた距離を超えて離れた前記エッジ画素が前記電線長手方向に予め定めた数だけ連続した場合に、前記電線に異常が生じている可能性があると判断する手段としてコンピュータを機能させることを特徴とする電線異常検出プログラム。 Means for detecting edge pixels constituting an actual outline of the electric wire for a target image in which the electric wire is photographed, and a pixel group excluding low-reliability pixels that do not satisfy a predetermined criterion from the edge pixels. Means for obtaining an ideal outline when the electric wire is healthy by approximating with a straight line, and the direction along the direction of the electric wire in the target image out of the horizontal direction and the vertical direction of the target image is the electric wire longitudinal direction the other as the wire cross direction as well as, when the said edge pixels from the ideal contour away beyond the predetermined distance in the wire cross direction is continuous to the number determined in advance in the wire longitudinal direction, the wire An electric wire abnormality detection program for causing a computer to function as means for judging that an abnormality may have occurred. 電線が撮影された対象画像に対して、前記電線の実際の輪郭線を構成するエッジ画素を検出する手段と、前記エッジ画素から予め定めた基準を満足しない低信頼性画素を除いた画素群を２本の直線で近似して前記電線が健全である場合の２本の理想輪郭線を求める手段と、前記対象画像の水平方向と垂直方向とのうち前記対象画像内の前記電線の方向に沿う方を電線長手方向とするとともに他方を電線横断方向として、前記２本の理想輪郭線に挟まれる各前記電線横断方向の画素列の色情報値から当該電線横断方向における代表値を求め、色情報閾値から外れる前記代表値が前記電線長手方向に予め定めた数だけ連続した場合に、前記電線に異常が生じている可能性があると判断する手段としてコンピュータを機能させることを特徴とする電線異常検出プログラム。 Means for detecting edge pixels constituting an actual outline of the electric wire for a target image in which the electric wire is photographed, and a pixel group excluding low-reliability pixels that do not satisfy a predetermined criterion from the edge pixels. Means for obtaining two ideal contour lines when the electric wire is healthy by approximating with two straight lines, and along the direction of the electric wire in the target image among the horizontal direction and the vertical direction of the target image Write as wires transversely to the other while the wire longitudinal direction, obtains a representative value in the wire cross direction from the color information values of the pixel columns of each said wire transversely sandwiched the two ideal outline, color information when the representative value deviates from the threshold are consecutive by the number determined in advance in the wire longitudinal direction, electrodeposition for causing a computer to function as means for determining an abnormality in the electric wire may be occurring Anomaly detection program. 電線が撮影された原画像の水平方向と垂直方向とのうち前記原画像内の前記電線の方向に沿う方を電線長手方向とし、水平方向範囲および垂直方向範囲が予め定められた探索領域を前記原画像の前記電線長手方向に３箇所以上分布させるとともに、探索対象である電線の画像をテンプレートとして予め与え、該テンプレートと最も類似する領域を前記各探索領域内で探索し、前記各探索領域についての探索結果が予め定めた規則性を満たすか否かを判断し、当該規則性を満たす探索結果を少なくとも含む画像を前記原画像から切り出して前記対象画像とする手段としてコンピュータを更に機能させることを特徴とする請求項１１または１２記載の電線異常検出プログラム。 Wires and the wire longitudinal direction towards along the direction of the electric wire in the original image in the horizontal and vertical directions of the photographed original images, the search area in which the horizontal range and vertical extent predetermined the causes are distributed wire longitudinally three or more source image, given in advance a wire image of a search target as a template to search an area most similar to the template at each search region, for each search area Determining whether or not the search result satisfies a predetermined regularity, and further causing the computer to function as a means for cutting out an image including at least the search result satisfying the regularity from the original image to be the target image The electric wire abnormality detection program according to claim 11 or 12, characterized in that:
JP2003288870A 2003-08-07 2003-08-07 Method and apparatus for detecting electric wire abnormality by image processing, program, and method for creating image for electric wire inspection Expired - Fee Related JP4255065B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003288870A JP4255065B2 (en) 2003-08-07 2003-08-07 Method and apparatus for detecting electric wire abnormality by image processing, program, and method for creating image for electric wire inspection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003288870A JP4255065B2 (en) 2003-08-07 2003-08-07 Method and apparatus for detecting electric wire abnormality by image processing, program, and method for creating image for electric wire inspection

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008200618A Division JP2008276805A (en) 2008-08-04 2008-08-04 Method of creating image for electric wire inspection

Publications (2)

Publication Number Publication Date
JP2005057956A JP2005057956A (en) 2005-03-03
JP4255065B2 true JP4255065B2 (en) 2009-04-15

Family

ID=34367387

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003288870A Expired - Fee Related JP4255065B2 (en) 2003-08-07 2003-08-07 Method and apparatus for detecting electric wire abnormality by image processing, program, and method for creating image for electric wire inspection

Country Status (1)

Country Link
JP (1) JP4255065B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276805A (en) * 2008-08-04 2008-11-13 Central Res Inst Of Electric Power Ind Method of creating image for electric wire inspection

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007041730A (en) * 2005-08-01 2007-02-15 Central Res Inst Of Electric Power Ind Electric wire abnormality detection method, device, and program
JP4843368B2 (en) * 2006-05-01 2011-12-21 財団法人電力中央研究所 Wire abnormality detection method, wire abnormality detection device, and wire abnormality detection program
JP4734176B2 (en) * 2006-05-22 2011-07-27 財団法人電力中央研究所 Wire abnormality detection method, wire abnormality detection device, and wire abnormality detection program
JP5243486B2 (en) * 2010-06-01 2013-07-24 日本電信電話株式会社 Cable position detection device, cable position detection method, and cable position detection program
JP5653174B2 (en) * 2010-10-29 2015-01-14 株式会社キーエンス Video tracking device, video tracking method, and video tracking program
JP5603796B2 (en) * 2011-02-10 2014-10-08 株式会社キーエンス Image inspection apparatus, image inspection method, and computer program
JP6173160B2 (en) * 2013-10-07 2017-08-02 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． Tape feeder
JP6320730B2 (en) * 2013-11-25 2018-05-09 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． Tape feeder
JP6833452B2 (en) * 2016-10-28 2021-02-24 株式会社東芝 Patrol inspection system, information processing device, patrol inspection control program
JP7030431B2 (en) * 2017-06-26 2022-03-07 株式会社東芝 Inspection support system and inspection support control program
CN108037133B (en) * 2017-12-27 2021-01-26 武汉市智勤创亿信息技术股份有限公司 Intelligent electric power equipment defect identification method and system based on unmanned aerial vehicle inspection image
CN111311884A (en) * 2020-01-13 2020-06-19 徐琳 Signal identification system and method based on content detection
WO2021186640A1 (en) * 2020-03-18 2021-09-23 日本電信電話株式会社 Deterioration detection device, deterioration detection system, deterioration detection method, and program
CN112001902A (en) * 2020-08-19 2020-11-27 上海商汤智能科技有限公司 Defect detection method and related device, equipment and storage medium
CN116027798B (en) * 2022-09-30 2023-11-17 三峡大学 Unmanned aerial vehicle power inspection system and method based on image correction
CN116758529B (en) * 2023-08-21 2023-11-14 广东电网有限责任公司广州供电局 Line identification method, device and computer equipment
CN116977326B (en) * 2023-09-04 2024-02-20 广东新亚光电缆股份有限公司 Aluminum core insulated cable detection system based on incision analysis technology

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0360313A (en) * 1989-07-26 1991-03-15 Mitsubishi Electric Corp Image processor for inspection of overhead line
JPH06103967B2 (en) * 1989-07-26 1994-12-14 三菱電機株式会社 Image processor for overhead line inspection
JPH06103968B2 (en) * 1989-07-26 1994-12-14 三菱電機株式会社 Image processor for overhead line inspection
JP2710687B2 (en) * 1990-07-06 1998-02-10 三菱電機株式会社 Appearance inspection device
JPH0571928A (en) * 1991-09-09 1993-03-23 Nippon Telegr & Teleph Corp <Ntt> Method and device for diagnosing deterioration of overhead wire
JP3419636B2 (en) * 1996-10-09 2003-06-23 三菱電機株式会社 Automatic inspection equipment for overhead lines

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276805A (en) * 2008-08-04 2008-11-13 Central Res Inst Of Electric Power Ind Method of creating image for electric wire inspection

Also Published As

Publication number Publication date
JP2005057956A (en) 2005-03-03

Similar Documents

Publication Publication Date Title
JP4255065B2 (en) Method and apparatus for detecting electric wire abnormality by image processing, program, and method for creating image for electric wire inspection
CN110678901B (en) Information processing apparatus, information processing method, and computer-readable storage medium
JP4954206B2 (en) Cut and paste video objects
JP4006007B2 (en) Crack detection method
JP2007041730A (en) Electric wire abnormality detection method, device, and program
WO2017104372A1 (en) Image processing apparatus, image processing system, image processing method, and program
JP2006331347A (en) Image processor and object domain tracking program
JP7387261B2 (en) Information processing device, information processing method and program
JPWO2019009214A1 (en) Image processing apparatus, image processing method, and program for detecting deformation from image
JP5705711B2 (en) Crack detection method
JP6983049B2 (en) Object tracking device and its program
JP2018128309A (en) Crack detection method
CN115639248A (en) System and method for detecting quality of building outer wall
JP2008276805A (en) Method of creating image for electric wire inspection
JP4734176B2 (en) Wire abnormality detection method, wire abnormality detection device, and wire abnormality detection program
CN110852172B (en) Method for expanding crowd counting data set based on Cycle Gan picture collage and enhancement
CN112132884A (en) Sea cucumber length measuring method and system based on parallel laser and semantic segmentation
JP4843368B2 (en) Wire abnormality detection method, wire abnormality detection device, and wire abnormality detection program
JP4796535B2 (en) Multi-conductor electric wire tracking method, apparatus and program by image processing, and multi-conductor electric wire abnormality detection method, apparatus and program using the same
Ghahremani et al. Cascaded CNN method for far object detection in outdoor surveillance
US20210304417A1 (en) Observation device and observation method
JP6348020B2 (en) Image processing apparatus, image processing method, and inspection method using the same
JP4262297B2 (en) Cluster generation device, defect classification device, cluster generation method and program
CN113792629A (en) Helmet wearing detection method and system based on deep neural network
JP2018128315A (en) Crack detection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080604

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090121

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090123

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees