JP2002366953A - Method, device and program for extracting image, and method, device and program for detecting abnormality of pole mounted equipment of distribution pole utilizing image extracting method - Google Patents

Abstract

PROBLEM TO BE SOLVED: To unnecessitate strict positioning between an infrared camera and a visible light camera. SOLUTION: This image extracting device is provided with a distance image preparing means 6 for preparing a distance image 5 in which a color is changed for each distance on the basis of distance information calculated from a plurality of visible light images 4 obtained by photographing an object 2, a correspondence point extracting means 7 for calculating correspondence points of a thermal image 3 of the object 2 and the distance image 5, a matrix preparing means 8 for calculating a conversion matrix that coincides the correspondence point of the distance image 5 with that of the thermal image 3, an image coinciding means 9 for specifying the object 2 in the distance image 5 and also converting either an area including the object 2 of the distance image 5 or the thermal image 3 with the conversion matrix before or after this specification to coincide both images with each other, and an image extracting means 10 for extracting the object 2 from the thermal image 3 by utilizing the position of the object 2 in the coincided distance image 5'.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、画像抽出方法およ
び装置ならびに画像抽出プログラムと、画像抽出方法を
利用した配電柱の柱上機材の異常検出方法および装置な
らびに異常検出プログラムとに関する。さらに詳しく
は、本発明は、対象物の熱画像および距離画像を利用す
る画像抽出方法および装置ならびに画像抽出プログラム
と、画像抽出方法を利用した配電柱の柱上機材の異常検
出方法および装置ならびに異常検出プログラムとに関す
る。[0001] The present invention relates to an image extraction method and apparatus, an image extraction program, and a method and apparatus for detecting an abnormality of equipment on a pole of a distribution pole using the image extraction method, and an abnormality detection program. More specifically, the present invention relates to an image extraction method and apparatus using a thermal image and a distance image of an object, an image extraction program, and a method and an apparatus for detecting an abnormality of equipment on a power pole using the image extraction method, and an abnormality. Regarding the detection program.

【０００２】[0002]

【従来の技術】対象物の温度を測定するために赤外線カ
メラにより撮影した熱画像を利用することがある。しか
し、熱画像だけでは似た熱パターンが多いため熱画像か
ら測定対象物を抽出する処理は非常に困難であり、温度
測定の高精度化や自動化の妨げになっている。そこで、
対象物を可視光カメラにより撮影して得られた可視画像
を併用して熱画像中の対象物を抽出する技術が開発され
ている。2. Description of the Related Art A thermal image taken by an infrared camera is sometimes used to measure the temperature of an object. However, since there are many similar thermal patterns in the thermal image alone, it is very difficult to extract the measurement target from the thermal image, which hinders high precision and automation of temperature measurement. Therefore,
Techniques have been developed for extracting an object in a thermal image by using a visible image obtained by photographing the object with a visible light camera.

【０００３】このとき、熱画像と可視画像との視野が同
一であれば、可視画像中の対象物の位置座標を熱画像に
そのまま射影できるので熱画像での対象物の位置決めを
簡単に行うことができる。At this time, if the visual field of the thermal image and that of the visible image are the same, the position coordinates of the object in the visible image can be directly projected on the thermal image, so that the positioning of the object in the thermal image can be easily performed. Can be.

【０００４】このため、一つの撮影レンズを使用して捉
えられた撮像をハーフミラーで分離して赤外線カメラと
可視光カメラとで撮影することにより、各カメラで同一
視野の画像を撮影できるようにした対象物抽出装置が開
発されている（特開平８−１８９８０９号公報参照）。For this reason, an image captured using one photographing lens is separated by a half mirror and photographed by an infrared camera and a visible light camera so that each camera can photograph an image having the same field of view. An object extraction device has been developed (see Japanese Patent Application Laid-Open No. 8-189809).

【０００５】[0005]

【発明が解決しようとする課題】しかしながら、上述し
た対象物抽出装置では、赤外線カメラおよび可視光カメ
ラで同一視野の画像を撮影しなければならないので、撮
影レンズに対してハーフミラーや各カメラを正確に位置
決めしなければならず、測定開始前に光軸合わせ等の煩
雑な調整作業が必要になってしまう。However, in the above-described object extracting apparatus, since an image in the same field of view must be taken with an infrared camera and a visible light camera, the half mirror and each camera can be accurately positioned with respect to the taking lens. Position, and a complicated adjustment operation such as optical axis alignment is required before the measurement is started.

【０００６】また、測定中に振動等で各カメラの位置が
互いにずれてしまわないように組み付けの剛性を高くす
る必要があるので、対象物抽出装置が大型化・重量化し
てしまう。Further, it is necessary to increase the rigidity of the assembly so that the positions of the cameras do not shift from each other due to vibration or the like during the measurement, so that the object extracting apparatus is increased in size and weight.

【０００７】そこで、本発明は赤外線カメラと可視光カ
メラとの厳密な位置合わせを不要にできる画像抽出方法
および装置ならびに画像抽出プログラム、画像抽出方法
を利用した配電柱の柱上機材の異常検出方法および装置
ならびに異常検出プログラムを提供することを目的とす
る。Accordingly, the present invention provides an image extracting method and apparatus which can eliminate the need for precise alignment between an infrared camera and a visible light camera, an image extracting program, and a method for detecting an abnormality of equipment on a power pole using the image extracting method. And an apparatus and an abnormality detection program.

【０００８】[0008]

【課題を解決するための手段】かかる目的を達成するた
め、請求項１記載の画像抽出方法は、対象物を撮影した
複数の可視画像から求めた距離情報に基づき距離ごとに
色を変えた距離画像を作成する距離画像作成工程と、対
象物の熱画像および距離画像の対応点を求める対応点抽
出工程と、距離画像および熱画像の対応点を一致させる
変換行列を求める行列作成工程と、距離画像中で対象物
を特定すると共に該特定の前または後に距離画像の対象
物を含む領域および熱画像の一方を変換行列により変換
して両画像を一致させる画像一致工程と、一致後に距離
画像中の対象物の位置を利用して熱画像から対象物を抽
出する画像抽出工程とを備えるようにしている。In order to achieve the above object, an image extracting method according to claim 1 is a method for extracting a distance from a plurality of visible images obtained by photographing an object by changing a color for each distance. A distance image creating step of creating an image, a corresponding point extracting step of finding corresponding points of the thermal image and the distance image of the object, a matrix creating step of finding a transformation matrix that matches the corresponding points of the distance image and the thermal image, An image matching step of specifying an object in the image and converting one of the region including the object and the thermal image of the distance image before or after the specific image by a conversion matrix to match the two images, and And an image extracting step of extracting the object from the thermal image using the position of the object.

【０００９】また、請求項３記載の画像抽出装置は、対
象物を撮影した複数の可視画像から求めた距離情報に基
づき距離ごとに色を変えた距離画像を作成する距離画像
作成手段と、対象物の熱画像および距離画像の対応点を
求める対応点抽出手段と、距離画像および熱画像の対応
点を一致させる変換行列を求める行列作成手段と、距離
画像中で対象物を特定すると共に該特定の前または後に
距離画像の対象物を含む領域および熱画像の一方を変換
行列により変換して両画像を一致させる画像一致手段
と、一致後に距離画像中の対象物の位置を利用して熱画
像から対象物を抽出する画像抽出手段とを備えるように
している。According to a third aspect of the present invention, there is provided an image extracting apparatus, comprising: a distance image creating means for creating a distance image in which a color is changed for each distance based on distance information obtained from a plurality of visible images of an object; Corresponding point extracting means for finding corresponding points of the thermal image and the distance image of the object; matrix creating means for finding a transformation matrix for matching the corresponding points of the distance image and the thermal image; and identifying and identifying the object in the distance image Image matching means for converting one of the region including the object in the distance image and the thermal image before or after by using the conversion matrix to match the two images, and a thermal image using the position of the object in the distance image after matching And an image extracting means for extracting an object from the image.

【００１０】したがって、距離画像中の対象物を含む領
域および熱画像の一方を変換行列により変換して両画像
を一致させてから熱画像より対象物を切り出しているの
で、複数の可視画像および熱画像の撮影時に各カメラの
視野を一致させる必要が無い。このため、赤外線カメラ
および可視光カメラの厳密な位置合わせを不要にできる
ので、カメラの位置合わせの作業を容易化できる。ま
た、カメラを含めた画像抽出装置の高い剛性が不要に成
るので、装置の大型化や重量化を抑えることができる。Therefore, one of the region including the object and the thermal image in the range image is converted by the conversion matrix to match the two images, and then the object is cut out from the thermal image. There is no need to match the field of view of each camera when capturing images. This eliminates the need for precise positioning of the infrared camera and the visible light camera, thereby facilitating camera positioning. In addition, since high rigidity of the image extraction device including the camera is not required, the size and weight of the device can be suppressed.

【００１１】さらに、請求項４記載の画像抽出プログラ
ムは、対象物の熱画像および複数の可視画像を利用して
対象物の熱画像を抽出するためにコンピュータを、対象
物を撮影した複数の可視画像から求めた距離情報に基づ
き距離ごとに色を変えた距離画像を作成する距離画像作
成手段と、対象物の熱画像および距離画像の対応点を求
める対応点抽出手段と、距離画像および熱画像の対応点
を一致させる変換行列を求める行列作成手段と、距離画
像中で対象物を特定すると共に該特定の前または後に距
離画像の対象物を含む領域および熱画像の一方を変換行
列により変換して両画像を一致させる画像一致手段と、
一致後に距離画像中の対象物の位置を利用して熱画像か
ら対象物を抽出する画像抽出手段として機能させるよう
にしている。Further, according to a fourth aspect of the present invention, there is provided an image extraction program for controlling a computer to extract a thermal image of an object using the thermal image of the object and a plurality of visible images. A distance image creating means for creating a distance image in which a color is changed for each distance based on the distance information obtained from the image, a corresponding point extracting means for finding corresponding points of the thermal image of the object and the distance image, and a distance image and the thermal image Matrix generation means for obtaining a conversion matrix that matches the corresponding points of the distance image, and specifying an object in the distance image and converting one of a region including the object of the distance image and the thermal image before or after the specific image by a conversion matrix. Image matching means for matching the two images
After the matching, the position of the object in the distance image is used to function as an image extracting means for extracting the object from the thermal image.

【００１２】したがって、コンピュータでプログラムを
実行することによって、赤外線カメラおよび可視光カメ
ラの厳密な位置合わせをすることなく熱画像から対象物
を抽出することができる。Therefore, by executing the program on the computer, the object can be extracted from the thermal image without strictly aligning the infrared camera and the visible light camera.

【００１３】そして、請求項２記載の発明は、請求項１
記載の画像抽出方法において、画像一致工程では、距離
画像を変換行列により変換して熱画像に一致させてか
ら、変換後の距離画像中で対象物を特定するようにして
いる。したがって、距離画像と熱画像とを一致させてか
ら熱画像より対象物を切り出しているので、熱画像およ
び可視画像の撮影時に各カメラの視野を合わせる必要が
無く、カメラの位置合わせの作業を容易化できる。The invention according to claim 2 is the invention according to claim 1.
In the described image extraction method, in the image matching step, the distance image is converted by a conversion matrix to match the thermal image, and then the target object is specified in the converted distance image. Therefore, since the object is cut out from the thermal image after the distance image and the thermal image are matched, it is not necessary to adjust the field of view of each camera when capturing the thermal image and the visible image, which facilitates the work of aligning the cameras. Can be

【００１４】一方、請求項５記載の配電柱の柱上機材の
異常検出方法は、アームと該アームに設けられた柱上機
材とを備える配電柱を１台の赤外線カメラで撮影して熱
画像を得ると共に少なくとも２台の可視光カメラでステ
レオ撮影して各可視光カメラから１枚ずつの可視画像を
得て、得られた熱画像および複数の可視画像を請求項１
から３までのいずれか記載の画像抽出方法により処理し
て熱画像から対象物を抽出して抽出後熱画像を作成し、
該抽出後熱画像からアームの画像を抽出して、このアー
ムの位置に基づいて柱上機材およびその周辺の温度勾配
を算出して柱上機材が正常か異常かを判定するようにし
ている。On the other hand, according to a fifth aspect of the present invention, there is provided a method for detecting abnormalities of pole equipment on a power pole, wherein a power pole equipped with an arm and pole equipment provided on the arm is photographed by one infrared camera and a thermal image is taken. 2. Obtaining a stereo image with at least two visible light cameras, obtaining one visible image from each visible light camera, and obtaining the obtained thermal image and the plurality of visible images.
To extract an object from the thermal image by processing according to the image extraction method according to any one of the above to create a thermal image after extraction;
An image of the arm is extracted from the post-extraction thermal image, and based on the position of the arm, a temperature gradient on the pole equipment and its surroundings is calculated to determine whether the pole equipment is normal or abnormal.

【００１５】また、請求項６記載の配電柱の柱上機材の
異常検出装置は、アームと該アームに設けられた柱上機
材とを備える配電柱を撮影する１台の赤外線カメラおよ
び少なくとも２台の可視光カメラと、赤外線カメラで得
られた熱画像および可視光カメラで得られた複数の可視
画像に基づき熱画像から対象物を抽出して抽出後熱画像
を作成する請求項３記載の画像抽出装置と、抽出後熱画
像からアームの画像を抽出するアーム抽出手段と、アー
ムの位置に基づいて柱上機材およびその周辺の温度勾配
を算出する温度勾配算出手段と、温度勾配から柱上機材
が正常か異常かを判定する異常判定手段とを備えるよう
にしている。According to a sixth aspect of the present invention, there is provided an apparatus for detecting abnormalities of pole equipment on a power pole, wherein one infrared camera and at least two infrared cameras for photographing a power pole equipped with an arm and pole equipment provided on the arm. 4. An image according to claim 3, wherein an object is extracted from the thermal image based on the visible light camera, the thermal image obtained by the infrared camera, and the plurality of visible images obtained by the visible light camera, and the extracted thermal image is created. An extracting device, an arm extracting means for extracting an image of the arm from the extracted thermal image, a temperature gradient calculating means for calculating a temperature gradient on the pole and its surroundings based on the position of the arm, and a pole on the pole from the temperature gradient Abnormality determining means for determining whether the is normal or abnormal.

【００１６】さらに、請求項７記載の配電柱の柱上機材
の異常検出プログラムは、アームと該アームに設けられ
た柱上機材とを備える配電柱を１台の赤外線カメラで撮
影して熱画像を得ると共に少なくとも２台の可視光カメ
ラでステレオ撮影して各可視光カメラから１枚ずつの可
視画像を得て、得られた熱画像および複数の可視画像を
利用して柱上機材が正常か異常かを判定するためにコン
ピュータを、複数の可視画像から求めた距離情報に基づ
き距離ごとに色を変えた距離画像を作成する距離画像作
成手段と、熱画像および距離画像の対応点を求める対応
点抽出手段と、距離画像および熱画像の対応点を一致さ
せる変換行列を求める行列作成手段と、距離画像中で対
象物を特定すると共に該特定の前または後に距離画像の
対象物を含む領域および熱画像の一方を変換行列により
変換して両画像を一致させる画像一致手段と、一致後に
距離画像中の対象物の位置を利用して熱画像から対象物
を抽出して抽出後熱画像を作成する画像抽出手段と、抽
出後熱画像からアームの画像を抽出するアーム抽出手段
と、アームの位置に基づいて柱上機材およびその周辺の
温度勾配を算出する温度勾配算出手段と、温度勾配から
柱上機材が正常か異常かを判定する異常判定手段として
機能させるようにしている。Further, according to a seventh aspect of the present invention, there is provided a program for detecting an abnormality of a pole on a pole of a distribution pole, wherein the distribution pole including an arm and a pole on the arm is photographed with a single infrared camera to obtain a thermal image. And at least two visible light cameras to perform stereo photography to obtain one visible image from each visible light camera, and use the obtained thermal image and a plurality of visible images to determine whether the pole equipment is normal. A distance image creating means for creating a distance image in which a color is changed for each distance based on distance information obtained from a plurality of visible images, and a method for determining corresponding points of the thermal image and the distance image in order to determine whether the image is abnormal Point extraction means, matrix creation means for obtaining a transformation matrix for matching the corresponding points of the distance image and the thermal image, an area specifying the object in the distance image and including the object of the distance image before or after the specific Image matching means for converting one of the thermal image and the thermal image by a conversion matrix to match the two images, and extracting the thermal image from the thermal image using the position of the object in the distance image after the matching, and extracting the extracted thermal image. An image extraction unit to be created, an arm extraction unit to extract an image of the arm from the post-extraction thermal image, a temperature gradient calculation unit to calculate a temperature gradient of the on-board equipment and its surroundings based on the position of the arm, and It is designed to function as abnormality determination means for determining whether the pole equipment is normal or abnormal.

【００１７】したがって、柱上機材を撮影するカメラの
位置合わせの作業を容易化できると共に装置の大型化や
重量化を抑えることができるので、柱上機材の異常判定
を簡易に行うことができるようになる。しかも、柱上機
材の撮影から異常検出まで人為的な作業を不要にできる
ので、全工程の自動化を図ることができる。Therefore, the work of positioning the camera for photographing the pole equipment can be facilitated and the size and weight of the apparatus can be suppressed, so that the abnormality determination of the pole equipment can be easily performed. become. In addition, since no artificial work is required from photographing the equipment on the pole to detecting an abnormality, the entire process can be automated.

【００１８】[0018]

【発明の実施の形態】以下、本発明の構成を図面に示す
一実施の形態に基づいて詳細に説明する。図１に本発明
の画像抽出装置１の実施形態の一例を示す。この画像抽
出装置１は、対象物２の熱画像３および複数の可視画像
４を利用して、熱画像３から対象物２を抽出するもので
ある。この画像抽出装置１は、距離画像５を作成する距
離画像作成手段６と、熱画像３および距離画像５の対応
点を求める対応点抽出手段７と、変換行列Ｈを求める行
列作成手段８と、距離画像５の対象物２を含む領域およ
び熱画像３を一致させる画像一致手段９と、一致後に熱
画像３から対象物２を抽出する画像抽出手段１０とを備
えるようにしている。このため、距離画像５中の対象物
２を含む領域および熱画像３を一致させてから熱画像３
より対象物２を切り出しているので、複数の可視画像４
および熱画像３の撮影時に各カメラ１１，１２の視野を
一致させる必要が無い。よって、赤外線カメラ１１およ
び可視光カメラ１２の厳密な位置合わせを不要にできる
ので、カメラ１１，１２の位置合わせの作業を容易化で
きる。また、カメラ１１，１２を含めた画像抽出装置１
の高い剛性が不要に成るので、装置１の大型化や重量化
を抑えることができる。DESCRIPTION OF THE PREFERRED EMBODIMENTS The structure of the present invention will be described below in detail based on one embodiment shown in the drawings. FIG. 1 shows an example of an embodiment of an image extraction device 1 of the present invention. The image extracting apparatus 1 extracts an object 2 from a thermal image 3 using a thermal image 3 and a plurality of visible images 4 of the object 2. The image extracting apparatus 1 includes a distance image creating unit 6 that creates a distance image 5, a corresponding point extracting unit 7 that finds corresponding points of the thermal image 3 and the distance image 5, a matrix creating unit 8 that finds a transformation matrix H, An image matching unit 9 for matching the region including the object 2 of the distance image 5 with the thermal image 3 and an image extracting unit 10 for extracting the object 2 from the thermal image 3 after matching are provided. For this reason, the region including the object 2 in the distance image 5 and the thermal image 3 are matched, and then the thermal image 3
Since the target object 2 has been cut out, a plurality of visible images 4
In addition, it is not necessary to match the fields of view of the cameras 11 and 12 when capturing the thermal image 3. Therefore, since it is not necessary to precisely align the infrared camera 11 and the visible light camera 12, the work of aligning the cameras 11 and 12 can be facilitated. Further, the image extracting device 1 including the cameras 11 and 12
Since high rigidity is not required, the size and weight of the apparatus 1 can be suppressed.

【００１９】距離画像作成手段６は、対象物２を撮影し
た複数の可視画像４（図２参照）から求めた距離情報に
基づき距離ごとに色を変えた距離画像５（図３参照）を
作成するものとしている。この距離画像作成手段６には
例えば２台の可視光カメラ１２ａ，１２ｂが接続されて
いる。そして、各カメラ１２ａ，１２ｂを利用して同一
の対象物２を若干異なる撮影方向から撮影し、得られた
複数の可視画像４を利用して距離画像作成手段６により
可視画像４上の各物体の距離情報を算出する。距離画像
５は画像中の物体をカメラ１２からの距離に対応させて
着色して表したものであり、例えば図３に示すようにカ
メラ１２から近いほど白く、また遠いほど黒く表示する
ように作成する。The distance image creating means 6 creates a distance image 5 (see FIG. 3) having a different color for each distance based on distance information obtained from a plurality of visible images 4 (see FIG. 2) of the object 2. Shall do. For example, two visible light cameras 12a and 12b are connected to the distance image creating means 6. Then, the same object 2 is photographed from slightly different photographing directions using the cameras 12a and 12b, and each object on the visible image 4 is photographed by the distance image creating means 6 using the plurality of visible images 4 obtained. Is calculated. The distance image 5 is obtained by coloring an object in the image in correspondence with the distance from the camera 12, and is created such that, for example, as shown in FIG. I do.

【００２０】対応点抽出手段７は、熱画像３（図４参
照）および距離画像５から特徴点を抽出して両画像３，
５間の特徴点の対応付けを行う。この特徴点としては、
人工物に含まれる２次曲線（コニック）、特に円や楕円
の中心を利用する。熱画像は温度の輻射情報を可視化し
たものであるので、円や楕円を使用することにより高精
度な測定を行うことができるようになる。The corresponding point extracting means 7 extracts feature points from the thermal image 3 (see FIG. 4) and the distance image 5,
The five feature points are associated with each other. These features include:
A quadratic curve (conic) included in an artifact is used, particularly the center of a circle or ellipse. Since the thermal image is obtained by visualizing the radiation information of the temperature, highly accurate measurement can be performed by using a circle or an ellipse.

【００２１】行列作成手段８は、距離画像５および熱画
像３の対応点を一致させる変換行列Ｈを求める。この変
換行列Ｈは所謂ホモグラフィと呼ばれるものであり、以
下のように定義される。The matrix creating means 8 finds a transformation matrix H for matching the corresponding points of the distance image 5 and the thermal image 3. This transformation matrix H is called a so-called homography, and is defined as follows.

【００２２】図７に示すように、或る平面πでの対象点
Ｘ_πが距離画像５および熱画像３のそれぞれに射影され
るとき、距離画像５での対応点をＸ_１、熱画像３での対
応点をＸ_２とする。このとき、射影幾何学では、Ｘ_１＝
Ｈ_１πＸ_π、Ｘ_２＝Ｈ_２πＸ _πと表現できる。これらの
関係からＸ_πを消去すれば、Ｘ_２＝Ｈ_２πＨ_１π ^−１Ｘ
_１＝ＨＸ_１という関係が導かれる。そして、ここでの変
換行列Ｈ＝Ｈ_２π／Ｈ _１πがホモグラフィと呼ばれる。As shown in FIG. 7, the target point on a certain plane π
X_πIs projected on each of the distance image 5 and the thermal image 3.
The corresponding point in the distance image 5 is X₁, Thermal image 3
X₂And Then, in projective geometry, X₁=
H_1πX_π, X₂= H_2πX _πCan be expressed as these
X from relationship_πIs deleted, X₂= H_2πH_1π ^-1X
₁= HX₁Is derived. And the strange here
Permutation matrix H = H_2π/ H _1πIs called homography.

【００２３】このＸ_２＝ＨＸ_１を数式１に具体的に示
す。This X ₂ = HX ₁ is specifically shown in Equation 1.

【数１】 ここで、Ｘ_１（ｘ_１，ｙ_１）、Ｘ_２（ｘ_２，ｙ_２）は両
画像中での点、ｆ_１，ｆ_２は各画像を撮影したカメラ１
１，１２のレンズの焦点距離としている。(Equation 1) Here, X ₁ (x ₁ , y ₁ ) and X ₂ (x ₂ , y ₂ ) are points in both images, and f ₁ and f ₂ are cameras 1 that have captured each image.
These are the focal lengths of the lenses 1 and 12.

【００２４】そして、変換行列Ｈは３×３行列であるの
で、各成分を決定するには９点以上の対応点の組み合わ
せが分かれば良い。Since the transformation matrix H is a 3.times.3 matrix, it is sufficient to determine combinations of nine or more corresponding points in order to determine each component.

【００２５】また、画像一致手段９では、距離画像５を
変換行列Ｈによって熱画像３と一致するように変換・射
影して、図５に示す距離画像５’を得る。そして、射影
後の距離画像５’中で距離情報に基づいて対象物２を特
定する。The image matching means 9 converts and projects the distance image 5 by using the conversion matrix H so as to match the thermal image 3 to obtain a distance image 5 'shown in FIG. Then, the target object 2 is specified based on the distance information in the projected distance image 5 ′.

【００２６】画像抽出手段１０は、距離画像５’中の対
象物２の位置をそのまま熱画像３に移して、該熱画像３
から図６に示すように対象物２を抽出する。本実施形態
では、対象物２を抽出して得られた画像を抽出後熱画像
１３とする。The image extracting means 10 transfers the position of the object 2 in the distance image 5 'to the thermal image 3 as it is,
Then, the target object 2 is extracted as shown in FIG. In the present embodiment, an image obtained by extracting the object 2 is referred to as an extracted thermal image 13.

【００２７】ところで、上述した画像抽出装置１は、例
えば配電柱１４の柱上機材１５の異常検出装置１６に搭
載されて使用される。この異常検出装置１６は、図１に
示すようにアーム１７と該アーム１７に設けられた柱上
機材１５とを備える配電柱１４を撮影する１台の赤外線
カメラ１１および少なくとも２台の可視光カメラ１２
ａ，１２ｂと、赤外線カメラ１１で得られた熱画像３お
よび可視光カメラ１２で得られた複数の可視画像４に基
づき熱画像３から対象物２であるアーム１７および柱上
機材１５を抽出して抽出後熱画像１３を作成する請求項
４記載の画像抽出装置１と、抽出後熱画像１３からアー
ム１７の画像を抽出するアーム抽出手段１８と、アーム
１７の位置に基づいて柱上機材１５およびその周辺の温
度勾配を算出する温度勾配算出手段１９と、温度勾配か
ら柱上機材１５が正常か異常かを判定する異常判定手段
２０とを備えている。さらに、アーム抽出手段１８に
は、アーム１７の教師画像２６およびその特徴ベクトル
Ｔを予め作成しておく教師画像作成手段２１が設けられ
ている。The above-described image extracting apparatus 1 is used, for example, by being mounted on an abnormality detecting apparatus 16 of pole equipment 15 of a distribution pole 14. As shown in FIG. 1, the abnormality detection device 16 includes one infrared camera 11 and at least two visible light cameras for photographing a distribution pole 14 including an arm 17 and a pole device 15 provided on the arm 17. 12
Based on a and 12b, the thermal image 3 obtained by the infrared camera 11, and the plurality of visible images 4 obtained by the visible light camera 12, the arm 17 and the pole equipment 15 as the object 2 are extracted from the thermal image 3. The image extracting apparatus 1 according to claim 4, wherein the post-extraction thermal image 13 is created, an arm extracting means 18 for extracting an image of the arm 17 from the post-extraction thermal image 13, and a pole-mounted device 15 based on the position of the arm 17. And a temperature gradient calculating means 19 for calculating a temperature gradient in the vicinity thereof, and an abnormality determining means 20 for determining whether the pole equipment 15 is normal or abnormal based on the temperature gradient. Further, the arm extracting means 18 is provided with a teacher image creating means 21 for creating a teacher image 26 of the arm 17 and its feature vector T in advance.

【００２８】このため、柱上機材１５を撮影するカメラ
１１，１２の位置合わせの作業を容易化できると共に装
置１６の大型化や重量化を抑えることができるので、柱
上機材１５の異常判定を簡易に行うことができるように
なる。しかも、柱上機材１５の撮影から異常検出まで人
為的な作業を不要にできるので、全工程の自動化を図る
ことができる。For this reason, the work of aligning the cameras 11 and 12 for photographing the pole equipment 15 can be facilitated, and the size and weight of the device 16 can be suppressed. It can be easily performed. In addition, since no artificial work is required from photographing of the pole device 15 to detection of an abnormality, the entire process can be automated.

【００２９】上述した画像抽出装置１と、アーム抽出手
段１８と、教師画像作成手段２１と、温度勾配算出手段
１９と、異常判定手段２０とは、コンピュータシステム
にて構成されている。このコンピュータシステムは、特
に図示していないが、例えば各種の演算処理を実行する
中央演算処理装置と、演算処理を実行する上で必要なプ
ログラムやデータ等を記憶する主記憶装置と、入出力ポ
ート等の各種インタフェースと、距離画像作成手段６と
対応点抽出手段７と行列作成手段８と画像一致手段９と
画像抽出手段１０とアーム抽出手段１８と教師画像作成
手段２１と温度勾配算出手段１９と異常判定手段２０と
を実現するプログラムやその処理を実行する上で必要な
各種データや定数等を記憶する例えばハードディスクド
ライブ装置と、各カメラ１１，１２からの撮影データや
必要な指令を入力する入力装置と、中央演算処理装置で
処理した結果を出力する出力装置とから構成されてい
る。The image extracting apparatus 1, the arm extracting means 18, the teacher image creating means 21, the temperature gradient calculating means 19, and the abnormality judging means 20 are constituted by a computer system. Although not shown, the computer system includes, for example, a central processing unit that executes various types of arithmetic processing, a main storage device that stores programs and data required for executing the arithmetic processing, and an input / output port. Various interfaces such as distance image creating means 6, corresponding point extracting means 7, matrix creating means 8, image matching means 9, image extracting means 10, arm extracting means 18, teacher image creating means 21, temperature gradient calculating means 19, For example, a hard disk drive for storing a program for realizing the abnormality determining means 20 and various data and constants necessary for executing the processing, and an input for inputting photographing data from the cameras 11 and 12 and necessary commands It is composed of a device and an output device for outputting a result processed by the central processing unit.

【００３０】上述した配電柱１４の柱上機材１５の異常
検出装置１６により柱上機材１５の異常検出を実行する
手順を図８、図９、図１５に示すフローチャートに基づ
いて説明する。The procedure for executing the abnormality detection of the pole equipment 15 by the abnormality detection device 16 of the pole equipment 15 of the distribution pole 14 will be described with reference to the flowcharts shown in FIGS. 8, 9 and 15.

【００３１】２台の可視光カメラ１２ａ，１２ｂにより
配電柱１４のステレオ撮影を行うと同時に、１台の赤外
線カメラ１１でも配電柱１４の撮影を行う（ステップ
１）。可視光カメラ１２ａ，１２ｂにより撮影された２
枚の可視画像４，４は距離画像作成手段６に入力され
て、これらの画像４，４に基づいて距離画像５が作成さ
れる（ステップ２）。At the same time as the two visible light cameras 12a and 12b perform stereo photography of the power distribution pole 14, the one infrared camera 11 also photographs the power distribution pole 14 (step 1). 2 photographed by the visible light cameras 12a and 12b
The visible images 4 and 4 are input to the distance image creating means 6, and a distance image 5 is created based on these images 4 and 4 (step 2).

【００３２】そして、対応点抽出手段７により熱画像３
および距離画像５から特徴点を抽出して、両画像３，５
間の特徴点の対応付けを行う（ステップ３）。この特徴
点の対応付けは、具体的には図９に示すフローチャート
のように実行される。ここでは、両画像３，５から特徴
点を抽出する手順について例として図１０に示す原画像
２２から特徴点を抽出する手順に置き換えて説明しつ
つ、両画像３，５間の特徴点を対応付ける手順について
説明する。Then, the thermal image 3 is output by the corresponding point extracting means 7.
The feature points are extracted from the distance image 5 and the two images 3 and 5.
The correspondence between the feature points is performed (step 3). The association of the feature points is specifically performed as shown in the flowchart of FIG. Here, the procedure for extracting feature points from both images 3 and 5 will be described as an example by replacing the procedure for extracting feature points from original image 22 shown in FIG. The procedure will be described.

【００３３】まず、原画像２２にガウシアンフィルタを
掛けて畳み込み、得られた値が或る閾値以上となる点群
を選択して、画像中の線を細線化して（ステップ２
１）、エッジを抽出し（ステップ２２）、図１１に示す
エッジ画像２３を得る。そして、エッジ画像２３から或
る長さを持ったコニックの候補を抽出し（ステップ２
３）、図１２に示すコニック候補画像２４を得る。First, the original image 22 is convoluted with a Gaussian filter, and a group of points whose obtained value is equal to or greater than a certain threshold is selected, and a line in the image is thinned (step 2).
1) Extract edges (step 22) to obtain an edge image 23 shown in FIG. Then, a conic candidate having a certain length is extracted from the edge image 23 (step 2).
3), a conic candidate image 24 shown in FIG. 12 is obtained.

【００３４】さらに、コニックの各候補について、２次
曲線を意味する数式２を満たすような係数Ａ，Ｂ，Ｃ，
Ｄ，Ｅ，Ｆを算出する（ステップ２４）。Further, for each conic candidate, the coefficients A, B, C,
D, E, and F are calculated (step 24).

【数２】Ａｘ^２＋２Ｂｘｙ＋Ｃｙ^２＋２（Ｄｘ＋Ｅｙ）
＋Ｆ＝０ ここで、ｘ，ｙは各候補の画像上の座標 そして、得られた係数組の中からＡＣ−Ｂ^２＞０という
円または楕円の条件を満たすものを取り出す（ステップ
２５）。これにより、コニック候補画像２４の中から曲
率の大きなものを円や楕円として抽出して、図１３に示
すコニック画像２５が得られる。Ax ² + 2Bxy + Cy ² +2 (Dx + Ey)
+ F = 0 Here, x and y are the coordinates on the image of each candidate. Those obtained from the obtained coefficient set satisfying the condition of a circle or an ellipse of AC-B ² > 0 (step 25). As a result, a conic image 25 shown in FIG. 13 is obtained by extracting a large curvature from the conic candidate images 24 as a circle or an ellipse.

【００３５】さらに、熱画像３および距離画像５に各々
表れる円や楕円の中心点を特徴点とすると共に、楕円の
場合は長短軸を抽出する（ステップ２６）。そして、熱
画像３および距離画像５の円や楕円の中心点あるいは長
短軸の端点について、両画像３，５間でマッチングを行
う（ステップ２７）。マッチングの結果、矛盾無く対応
関係が取れたものを対応点とする。Further, the center point of a circle or ellipse appearing in each of the thermal image 3 and the distance image 5 is used as a feature point, and in the case of an ellipse, the major and minor axes are extracted (step 26). Then, matching is performed between the images 3 and 5 with respect to the center point of the circle or the ellipse or the end point of the long and short axes of the thermal image 3 and the distance image 5 (step 27). As a result of the matching, those that have a correspondence without contradiction are defined as corresponding points.

【００３６】ところで、図１３中、左側の縦長の楕円や
右下の水平に長い楕円は原画像２２には含まれていない
ので、特徴点を決定するための楕円としては除外する必
要がある。このような除外すべき円や楕円は、その中心
点を一旦は特徴点として上げておき、マッチング処理で
画像３，５間で特徴点の対応を取って矛盾を生じたとき
に除去するようにしている。In FIG. 13, a vertically long ellipse on the left side and a horizontally long ellipse on the lower right side are not included in the original image 22, and therefore need to be excluded as ellipses for determining feature points. For such circles and ellipses to be excluded, the center point is once raised as a feature point, and the matching process is performed so that feature points are corresponded between the images 3 and 5 so as to be removed when inconsistency arises. ing.

【００３７】また、特徴点として図形の角や直線の交点
を使用することもできる。しかし、図形の角や直線の交
点を特徴点とすると、その数が多いため画像３，５間で
特徴点の対応を取るときに矛盾無く対応を取ることが難
しい。矛盾が生じ易いのは対応を取る手掛かりが少な過
ぎるためであり、手掛かりが十分にあれば矛盾が生じ難
くなり対応を取る精度が向上すると考えられる。そこ
で、本実施形態では、画像中に円や楕円がそれ程多く現
れないことに着目して、円や楕円の中心点を特徴点とし
て対応を取るようにしている。これによれば、１つの特
徴点について対応を取るための十分な手掛かりを得られ
るので対応の推定精度を高めることができる。Also, the corners of a figure or the intersections of straight lines can be used as feature points. However, if the feature points are the intersections of the corners of the figure or the straight line, it is difficult to take correspondence without inconsistency when taking correspondence between the feature points between the images 3 and 5 because of the large number. The inconsistency is likely to occur because there are too few clues to take the countermeasure. It is considered that if the clues are sufficient, the inconsistency hardly occurs and the accuracy of taking the countermeasure is improved. Thus, in the present embodiment, attention is paid to the fact that circles and ellipses do not appear so much in an image, and correspondence is made with the center point of the circle or ellipse as a feature point. According to this, since sufficient clues can be obtained for taking a correspondence with respect to one feature point, it is possible to improve the estimation accuracy of the correspondence.

【００３８】対応点抽出手段７で得られた対応付けに基
づいて、行列作成手段８により距離画像５および熱画像
３の対応点を一致させる変換行列Ｈを求める。さらに、
画像一致手段９で、距離画像５を変換行列Ｈにより熱画
像３と一致するように変換する。そして、変換後の距離
画像５中で距離情報に基づいて対象物２を特定する。対
象物２の特定は、例えばカメラ１１，１２に最も近い被
写体を対象物２と判断して行う。対象物２の特定後に画
像抽出手段１０により熱画像３から対象物２を切り出し
て抽出後熱画像１３を作成する。On the basis of the correspondence obtained by the corresponding point extracting means 7, a transformation matrix H for matching the corresponding points of the distance image 5 and the thermal image 3 is obtained by the matrix creating means 8. further,
The image matching means 9 converts the distance image 5 by the conversion matrix H so as to match the thermal image 3. Then, the target object 2 is specified in the converted distance image 5 based on the distance information. The object 2 is specified by, for example, determining the object closest to the cameras 11 and 12 as the object 2. After specifying the target object 2, the target object 2 is cut out from the thermal image 3 by the image extracting means 10 to create a post-extraction thermal image 13.

【００３９】一方、異常検出対象となる柱上機材１５、
例えば３つのピン碍子が取り付けられるアーム１７の教
師画像２６およびその特徴ベクトルＴを教師画像作成手
段２１により予め作成しておく。特徴ベクトルＴは、教
師画像についていわゆる高次局所自己相関特徴を利用し
た特徴パターンとして求めている。On the other hand, on-column equipment 15 for which abnormality is to be detected,
For example, a teacher image 26 of the arm 17 to which three pin insulators are attached and its feature vector T are created in advance by the teacher image creating means 21. The feature vector T is obtained as a feature pattern using a so-called higher-order local autocorrelation feature for the teacher image.

【００４０】そして、アーム抽出手段１８により、図１
４に示すように画像抽出装置１で抽出した抽出後熱画像
１３の１画素を選択して、該選択画素２７にアーム１７
の教師画像２６の端部を一致させる（ステップ３１）。
さらに、アーム１７の教師画像２６を選択画素２７を中
心にして上下に１度ずつ例えば±１５度まで回転させる
（ステップ３２）。すなわち、この教師画像２６は１つ
の選択画素２７に対して３１カ所に位置し得る。教師画
像２６が各位置にあるときに、該教師画像２６とこれに
重なる位置の抽出後熱画像１３との間でマッチングを行
い一致度を求める（ステップ３３）。このマッチング処
理は、両画像の特徴ベクトルを比較して行われる。比較
手法としては、従来から用いられる既知の各種の方法、
あるいは新規の方法を採用することができる。これによ
り、１つの選択画素２７に対して３１個の一致度が算出
される。Then, the arm extracting means 18
As shown in FIG. 4, one pixel of the extracted thermal image 13 extracted by the image extracting device 1 is selected, and the selected pixel 27 is set to the arm 17.
Are matched (step 31).
Further, the teacher image 26 of the arm 17 is rotated up and down by one degree, for example, ± 15 degrees around the selected pixel 27 (step 32). That is, the teacher image 26 can be located at 31 positions with respect to one selected pixel 27. When the teacher image 26 is at each position, matching is obtained by performing matching between the teacher image 26 and the extracted thermal image 13 at a position overlapping the teacher image 26 (step 33). This matching process is performed by comparing the feature vectors of both images. As a comparison method, various known methods conventionally used,
Alternatively, a new method can be adopted. Thereby, 31 coincidences are calculated for one selected pixel 27.

【００４１】さらに、選択画素２７を変更して再び教師
画像２６と全体画像とのマッチング処理を行う。ここ
で、選択画素２７の選択順は、例えば図１４に示すよう
に左上の画素から順に下げていき、最下画素まで達した
ら隣の列の最上画素に上がって再び下げていくようにす
る。但し、選択画素２７の選択順はこれに限られないの
は勿論である。また、選択画素２７が抽出後熱画像１３
の上から数画素以内にあるときは、教師画像２６を上方
に回転させると抽出後熱画像１３から出てしまい正確な
マッチング処理ができないので回転処理を省略しても良
い。同様に、選択画素２７が抽出後熱画像１３の下から
数画素以内にあるときは、教師画像２６を下方に回転さ
せる処理を省略しても良い。さらに、選択画素２７が抽
出後熱画像１３の右端から教師画像２６よりも短い範囲
内にあるときは、教師画像２６の右端が全体画像から飛
び出してしまうのでマッチング処理を省略しても良い。
これらのように無駄な処理を省略することにより、全体
の処理速度を速めることができる。Further, the selected pixel 27 is changed, and the matching process between the teacher image 26 and the whole image is performed again. Here, the selection order of the selection pixels 27 is, for example, as shown in FIG. 14, lowering from the upper left pixel, and when reaching the lowermost pixel, the selection pixel 27 is raised to the uppermost pixel in the adjacent column and lowered again. However, it goes without saying that the selection order of the selected pixels 27 is not limited to this. In addition, the selected pixel 27 is the extracted thermal image 13
When the teacher image 26 is within a few pixels from above, if the teacher image 26 is rotated upward, it will come out of the extracted thermal image 13 and an accurate matching process cannot be performed, so the rotation process may be omitted. Similarly, when the selected pixel 27 is within several pixels from the bottom of the extracted thermal image 13, the process of rotating the teacher image 26 downward may be omitted. Furthermore, when the selected pixel 27 is within a range shorter than the teacher image 26 from the right end of the extracted thermal image 13, the matching process may be omitted because the right end of the teacher image 26 jumps out of the entire image.
By omitting such unnecessary processing, the overall processing speed can be increased.

【００４２】そして、候補となる全ての選択画素２７に
ついてマッチング処理を行ったか判断して（ステップ３
４）、未だで有れば（ステップ３４；ＮＯ）、次の選択
画素２７を選択して処理を続行する（ステップ３１〜３
３）。候補の全ての選択画素２７でマッチング処理が完
了すれば（ステップ３４；ＹＥＳ）、全ての一致度から
最高の値となるものを選出する。そして、この最も一致
度の高い教師画像２６の位置にアーム１７の画像が位置
すると判断する。このアーム１７の画像に基づいて、ア
ーム１７の傾斜角度θと両端の位置を検出する（ステッ
プ３５）。Then, it is determined whether or not matching processing has been performed for all the selected pixels 27 as candidates (step 3).
4) If it is not yet (step 34; NO), the next selected pixel 27 is selected and the process is continued (steps 31 to 3).
3). When the matching process is completed for all the selected pixels 27 of the candidates (Step 34; YES), the one having the highest value is selected from all the matching degrees. Then, it is determined that the image of the arm 17 is located at the position of the teacher image 26 having the highest matching degree. Based on the image of the arm 17, the inclination angle θ of the arm 17 and the positions of both ends are detected (step 35).

【００４３】また、１本の配電柱１４には通常１本のア
ーム１７が取り付けられていると共に撮影された熱画像
３から画像抽出装置１により対象物２の配電柱１４以外
の画像が削除されているので、アーム抽出手段１８に入
力される画像には通常１本のアーム１７が存在してい
る。このため、画像からアーム１７を抽出する精度を高
く維持することができる。Also, one power pole 14 is usually provided with one arm 17, and an image other than the power pole 14 of the object 2 is deleted from the thermal image 3 taken by the image extracting device 1. Therefore, there is usually one arm 17 in the image input to the arm extracting means 18. Therefore, the accuracy of extracting the arm 17 from the image can be kept high.

【００４４】次に、温度勾配算出手段１９で、図１６に
示すようにアーム１７に沿った画素ごとにアーム１７に
直交した方向Ｙに走査して、アーム１７と直交する成分
の温度の変化率（以下、温度勾配と呼ぶ）を求める。こ
こで、熱画像３は、赤外線カメラ１１で得られた温度デ
ータを例えば２５６階調の輝度で可視化したものであ
る。このため、熱画像３から得られる輝度値よりも赤外
線カメラ１１で直接得られる温度データの値を使用した
方が高い温度分解能を得ることができる。そこで、本実
施形態では柱上機材１５やその周辺の温度を検出するた
めに、熱画像３の各画素に対応する輝度値を利用せず
に、各画素に対応する温度データを使用している。Next, the temperature gradient calculating means 19 scans each pixel along the arm 17 in the direction Y orthogonal to the arm 17 as shown in FIG. (Hereinafter, referred to as a temperature gradient). Here, the thermal image 3 is obtained by visualizing the temperature data obtained by the infrared camera 11 with, for example, 256 levels of luminance. Therefore, a higher temperature resolution can be obtained by using the value of the temperature data directly obtained by the infrared camera 11 than by using the luminance value obtained from the thermal image 3. Therefore, in the present embodiment, in order to detect the temperature of the pole equipment 15 and its surroundings, the temperature data corresponding to each pixel is used without using the luminance value corresponding to each pixel of the thermal image 3. .

【００４５】具体的には、図１６に示すように抽出され
たアーム１７上の１画素から該アーム１７に直交する方
向Ｙに向けて５画素おきに３０画素までの７画素を設定
する。そして、７画素のそれぞれを中心とする５×５画
素の画素組を設定して、各画素組に対応する温度の平均
Ｉ_１〜Ｉ_７を求める。さらに、７箇所の画素組の隣接す
るもの同士の平均温度差分を求め、数式３に示すように
差分（温度勾配）の絶対値の累積を累積温度勾配Ｔ_ｘと
する。Specifically, as shown in FIG. 16, seven pixels are set from one pixel on the extracted arm 17 to 30 pixels every five pixels in the direction Y orthogonal to the arm 17. Then, a pixel set of 5 × 5 pixels centering on each of the seven pixels is set, and the averages I _{1 to} I ₇ of the temperatures corresponding to each pixel set are obtained. Further, an average temperature difference between adjacent ones of the set of pixels 7 places, the cumulative absolute value of the difference (temperature gradient) as shown in Equation 3, the cumulative temperature gradient T _x.

【数３】 この累積温度勾配Ｔ_ｘをアーム１７に沿った全画素につ
いて求める。そして、図１７〜図１９に示すように、ア
ーム方向の画素値と各画素における累積温度勾配Ｔ_ｘの
関係を求める。(Equation 3) This cumulative temperature gradient _Tx is obtained for all pixels along the arm 17. Then, as shown in FIGS. 17 to 19, determining the relationship between the cumulative temperature gradient T _x in the arm direction of the pixel values and the pixel.

【００４６】次に、図１７〜図１９に示すアーム方向の
画素値と各画素における累積温度勾配Ｔ_ｘの関係のグラ
フを用いて、異常判定手段２０により各柱上機材１５同
士の最大累積温度勾配Ｔ_ｘの差を求める。その一方、図
２０に示すように、健全機材および不良機材の実際の温
度差と健全機材および不良機材の最大累積温度勾配Ｔ _ｘ
の差との関係を求めておく。この関係は、撮影するカメ
ラ１１，１２の解像度や柱上機材１５の高さ等によって
異なるので、測定を開始する前に予め決定しておく。Next, the arm direction shown in FIGS.
Pixel value and cumulative temperature gradient T at each pixel_xRelationship Gra
And the on-pillar equipment 15
The maximum cumulative temperature gradient T_xFind the difference between Meanwhile, the figure
As shown in FIG. 20, the actual temperature of
Difference and maximum cumulative temperature gradient T of healthy equipment and defective equipment _x
Find the relationship with the difference. This relationship is
Depending on the resolution of the
Since they are different, they are determined before starting the measurement.

【００４７】本実施形態では、最大累積温度勾配の差の
値が１０℃以上である場合に最大累積温度勾配の大きい
方の柱上機材１５が異常発熱して動作不良を起こしてい
ると判断している。すなわち、図２０に示すように、健
全機材よりも温度が２℃以上高い柱上機材１５を不良機
材と判断している。In this embodiment, when the value of the difference of the maximum cumulative temperature gradient is 10 ° C. or more, it is determined that the pole equipment 15 having the larger maximum cumulative temperature gradient is abnormally heated and malfunctions. ing. That is, as shown in FIG. 20, the pole equipment 15 whose temperature is higher than the healthy equipment by 2 ° C. or more is determined to be defective equipment.

【００４８】アーム方向の画素値と各画素における累積
温度勾配Ｔ_ｘの関係として、例えば図１７および図１８
に示す結果が得られた場合は、３つのピン碍子の最大累
積温度勾配の差が１０℃以内であるので、全て健全機材
であると判断することができる。FIGS. 17 and 18 _show the relationship between the pixel value in the arm direction and the cumulative temperature gradient Tx at each pixel.
Is obtained, the difference between the maximum cumulative temperature gradients of the three pin insulators is within 10 ° C., so that it can be determined that all of them are sound equipment.

【００４９】また、アーム方向の画素値と各画素におけ
る累積温度勾配Ｔ_ｘの関係として、例えば図１９に示す
結果が得られた場合は、中央のピン碍子の最大累積温度
勾配が両端のピン碍子の最大累積温度勾配に比べて１０
℃以上高いので、中央のピン碍子が不良機材であると判
断することができる。[0049] Further, as the relationship of the cumulative temperature gradient T _x in the arm direction of the pixel values and the pixel, for example, if the result is obtained as shown in FIG. 19, the maximum cumulative temperature gradient in the center of the pin insulator is across pins insulators 10 compared to the maximum cumulative temperature gradient of
Since the temperature is higher than ℃, it can be determined that the center pin insulator is defective.

【００５０】なお、上述の実施形態は本発明の好適な実
施の一例ではあるがこれに限定されるものではなく本発
明の要旨を逸脱しない範囲において種々変形実施可能で
ある。例えば、本実施形態では、最大累積温度勾配の差
の値が１０℃以上である場合に最大累積温度勾配の大き
い方の柱上機材１５を不良機材と判断するようにしてい
るが、判断基準としては１０℃以上に限られず、例えば
５℃などの他の値でも良い。また、本実施形態では健全
機材および不良機材の実際の温度差と健全機材および不
良機材の最大累積温度勾配Ｔ_ｘの差とは図２０に示す関
係としているが、これには限られず撮影するカメラ１
１，１２の解像度や柱上機材１５の高さ等によっては他
の関係になる。すなわち、図２０に示す関係は一例に過
ぎず、実際の装置１６や対象物２に応じて予め健全機材
および不良機材の実際の温度差と健全機材および不良機
材の最大累積温度勾配Ｔ_ｘの差との関係を求めておき、
最大累積温度勾配Ｔ_ｘの差がどの程度であれば不良機材
であるかを判断する閾値を設定しておくようにする。The above embodiment is an example of a preferred embodiment of the present invention, but the present invention is not limited to this, and various modifications can be made without departing from the spirit of the present invention. For example, in the present embodiment, when the value of the difference of the maximum cumulative temperature gradient is equal to or more than 10 ° C., the pole device 15 having the larger maximum cumulative temperature gradient is determined as the defective device. Is not limited to 10 ° C. or more, and may be another value such as 5 ° C. The camera in the difference between the maximum cumulative temperature gradient T _x of the actual temperature difference and sound equipment and bad equipment sound gear and bad gear in this embodiment although the relationship shown in FIG. 20, to which the shooting not limited 1
Depending on the resolution of 1, 12 or the height of the pole equipment 15, another relationship may be obtained. That is, the relationship shown in FIG. 20 is only an example, the difference between the actual device 16 and the object 2 maximum accumulated temperature gradient T _x of the actual temperature difference and sound equipment and bad equipment previously healthy gear and bad gear in accordance with the Seeking a relationship with
The difference between the maximum cumulative temperature gradient T _x so as setting the threshold for determining whether the bad gear if what extent.

【００５１】また、上述した実施形態では柱上機材１５
としてピン碍子の画像を抽出しているが、これには限ら
れず耐張碍子や開閉器等の画像を抽出するようにしても
良い。これらの場合も、柱上機材１５がアーム１７に取
り付けられているので、柱上機材１５の画像抽出および
異常判定を高精度にできると共にその自動化を促進でき
る。In the above embodiment, the onboard equipment 15
Although the image of the pin insulator is extracted as described above, the invention is not limited to this, and an image of a tension insulator, a switch, or the like may be extracted. Also in these cases, since the pole equipment 15 is attached to the arm 17, image extraction and abnormality determination of the pole equipment 15 can be performed with high accuracy and automation thereof can be promoted.

【００５２】さらに、上述した実施形態では教師画像２
６と抽出後熱画像１３とのマッチング処理を高次局所自
己相関特徴の特徴ベクトルの比較により行っているが、
これには限られず既知のあるいは新規の画像マッチング
手法を使用することができる。この場合も、カメラ１
１，１２の設置を容易にして簡易に測定できるようにな
ると共に、人為的な作業を要さずに柱上機材１５の画像
抽出を行うことができるようになる。Further, in the above embodiment, the teacher image 2
6 and the extracted thermal image 13 are compared by comparing feature vectors of higher-order local autocorrelation features.
The present invention is not limited to this, and a known or new image matching method can be used. Also in this case, camera 1
In addition to making the installation of the first and the second equipment 12 easier, the measurement can be easily performed, and the image of the pole equipment 15 can be extracted without requiring any artificial work.

【００５３】そして、上述した実施形態では、画像一致
手段９は距離画像５を変換行列Ｈによって熱画像３と一
致するように変換してから変換後の距離画像５’中で対
象物２を特定しているが、順序としてはこれに限られず
変換前の距離画像５の中で対象物２を特定してから該対
象物２を変換行列Ｈによって熱画像３と一致するように
変換しても良い。あるいは、上述した実施形態では距離
画像５を変換行列Ｈによって熱画像３と一致するように
変換しているが、これには限られず熱画像３を変換逆行
列Ｈ^−１によって距離画像５と一致するように変換し
て、対象物２は不変換の距離画像５で特定するようにし
ても良い。この場合は、画像抽出手段１０において、距
離画像５中の対象物２の位置を変換後の熱画像に移し
て、該熱画像から対象物２を抽出する。In the above-described embodiment, the image matching means 9 converts the distance image 5 so as to match the thermal image 3 by the conversion matrix H, and then specifies the object 2 in the converted distance image 5 '. However, the order is not limited to this. Even if the target 2 is specified in the distance image 5 before conversion, the target 2 is converted by the conversion matrix H so as to match the thermal image 3. good. Alternatively, in the above-described embodiment, the distance image 5 is converted by the conversion matrix H so as to match the thermal image 3. However, the present invention is not limited to this, and the thermal image 3 matches the distance image 5 by the conversion inverse matrix H ^-1 . The target object 2 may be identified by the unconverted distance image 5. In this case, the position of the object 2 in the distance image 5 is transferred to the converted thermal image in the image extracting means 10, and the object 2 is extracted from the thermal image.

【００５４】また、上述した実施形態では、温度勾配算
出手段１９で温度データを使用して温度勾配を算出して
いるが、これには限られず熱画像３の輝度値をそのまま
利用しても良い。この場合、温度データを得られずに熱
画像３のみしか利用できない場合でも温度勾配を求める
ことができる。In the above embodiment, the temperature gradient is calculated by the temperature gradient calculating means 19 using the temperature data. However, the present invention is not limited to this, and the luminance value of the thermal image 3 may be used as it is. . In this case, even when only the thermal image 3 can be used without obtaining the temperature data, the temperature gradient can be obtained.

【００５５】さらに、上述した各実施形態では画像抽出
装置１および異常検出装置１６はコンピュータシステム
から構成されるものとしているが、これには限られな
い。例えば、上述した画像抽出方法や異常検出方法をコ
ンピュータに実行させるためのプログラムを使用して汎
用コンピュータを作動させることにより実行することも
できる。Further, in each of the above-described embodiments, the image extracting device 1 and the abnormality detecting device 16 are configured by computer systems, but are not limited thereto. For example, it can be executed by operating a general-purpose computer using a program for causing a computer to execute the above-described image extraction method and abnormality detection method.

【００５６】ここでの画像抽出プログラムは、距離画像
作成手段６と、対応点抽出手段７と、行列作成手段８
と、画像一致手段９と、画像抽出手段１０として機能さ
せるようにしている。また、異常検出プログラムは、距
離画像作成手段６と、対応点抽出手段７と、行列作成手
段８と、画像一致手段９と、画像抽出手段１０と、アー
ム抽出手段１８と、温度勾配算出手段１９と、異常判定
手段２０として機能させるようにしている。Here, the image extracting program includes a distance image creating means 6, a corresponding point extracting means 7, and a matrix creating means 8.
And an image matching unit 9 and an image extracting unit 10. Further, the abnormality detection program includes a distance image creating means 6, a corresponding point extracting means 7, a matrix creating means 8, an image matching means 9, an image extracting means 10, an arm extracting means 18, a temperature gradient calculating means 19 And function as the abnormality determination means 20.

【００５７】これらの場合はプログラムを汎用コンピュ
ータに実行させているが、これには限られずこの方法を
専用のコンピュータから成る独立した装置に実行させる
ようにしても良い。さらに、上述した実施形態では、画
像抽出方法をコンピュータに実行させているが、これに
は限られずこの方法をシーケンス回路に実行させるよう
にしても良い。いずれの場合も、カメラ１１，１２の設
置を容易にして簡易に測定できるようになると共に、柱
上機材１５の画像抽出の自動化を促進できるので、自動
配電設備点検装置の実現に貢献できる。In these cases, the program is executed by a general-purpose computer. However, the present invention is not limited to this, and the method may be executed by an independent device including a dedicated computer. Further, in the above-described embodiment, the computer executes the image extracting method. However, the present invention is not limited to this. The image extracting method may be executed by a sequence circuit. In any case, the installation of the cameras 11 and 12 can be facilitated and the measurement can be performed easily, and the automation of the image extraction of the pole equipment 15 can be promoted, which can contribute to the realization of an automatic power distribution equipment inspection device.

【００５８】[0058]

【実施例】（実施例１）図１に示す異常検出装置１６を
利用して、図２１に示す対象物２の累積温度勾配算出を
行った。同図に示すように、カメラ１１，１２と対象物
２との間隔は３ｍ、該対象物２と背景物２８との間隔は
１．５ｍとした。EXAMPLE 1 Using the abnormality detection device 16 shown in FIG. 1, the cumulative temperature gradient of the object 2 shown in FIG. 21 was calculated. As shown in the figure, the distance between the cameras 11 and 12 and the object 2 is 3 m, and the distance between the object 2 and the background object 28 is 1.5 m.

【００５９】また、対象物２および背景物２８は、いず
れも３つの柱上機材１５とした。さらに、対象物２の中
央の柱上機材１５と背景物２８の右側の柱上機材とは、
他の柱上機材に比べて３．６℃高く設定した。The object 2 and the background object 28 were all three pillar-mounted devices 15. Further, the on-column equipment 15 in the center of the object 2 and the on-column equipment on the right side of the background object 28 are:
The temperature was set to be 3.6 ° C higher than other on-pole equipment.

【００６０】このとき撮影された熱画像３を図４に、可
視画像４を図２に、作成された距離画像５を図３に、変
換された距離画像５’を図５に、抽出後熱画像１３を図
６にそれぞれ示す。また、測定結果を図２２の「距離情
報有」の線で示す。同図に示すように、背景物２８の影
響を受けることなく、対象物２の中央の柱上機材１５の
みが高温であることが検出されている。The thermal image 3 taken at this time is shown in FIG. 4, the visible image 4 is shown in FIG. 2, the created distance image 5 is shown in FIG. 3, the converted distance image 5 'is shown in FIG. Images 13 are shown in FIG. In addition, the measurement result is indicated by the line “with distance information” in FIG. As shown in the figure, it is detected that only the on-column equipment 15 at the center of the target object 2 has a high temperature without being affected by the background object 28.

【００６１】（比較例）実施例１と同様に、図１に示す
異常検出装置１６を利用して、図２１に示す対象物２の
撮影および温度勾配算出を行った。実施例１との違い
は、画像抽出装置１で距離情報を利用すること無く対象
物２の画像抽出を行ったことである。(Comparative Example) As in the first embodiment, the photographing of the object 2 and the calculation of the temperature gradient shown in FIG. 21 were performed using the abnormality detection device 16 shown in FIG. The difference from the first embodiment is that an image of the object 2 is extracted by the image extracting device 1 without using the distance information.

【００６２】測定結果を図２２の「距離情報無」の線で
示す。同図に示すように、背景物２８の影響を受けてし
まい、中央と右側の柱上機材が高温であるように検出さ
れている。The measurement result is shown by the line “no distance information” in FIG. As shown in the drawing, the influence of the background object 28 has been detected, and it has been detected that the on-center equipment on the center and the right side has a high temperature.

【００６３】したがって、本発明の異常検出装置１６に
よれば、実施例１のように画像抽出装置１で距離情報を
使用して対象物２の抽出を行っているので、背景の影響
を極力抑制することができる。Therefore, according to the abnormality detecting device 16 of the present invention, since the object 2 is extracted using the distance information in the image extracting device 1 as in the first embodiment, the influence of the background is minimized. can do.

【００６４】（実施例２）図１に示す異常検出装置１６
を利用して、図２３に示す対象物２の累積温度勾配算出
を行った。カメラ１１，１２と対象物２との間隔は３ｍ
とした。また、対象物２は３つの柱上機材１５とした。
さらに、対象物２の中央の柱上機材１５にテープ状ヒー
タ２９を取り付けて、スライダック３０で温度を制御し
た。(Embodiment 2) The abnormality detection device 16 shown in FIG.
Was used to calculate the cumulative temperature gradient of the object 2 shown in FIG. The distance between the cameras 11 and 12 and the object 2 is 3 m
And In addition, the object 2 was made up of three pillar-mounted devices 15.
Furthermore, a tape-shaped heater 29 was attached to the on-column equipment 15 at the center of the object 2, and the temperature was controlled by a sliderac 30.

【００６５】累積温度勾配算出の結果を図１７〜図１９
に示す。図１７は加熱無し、即ち３つの柱上機材１５が
全て室温である場合、図１８は０．６℃加熱した場合、
図１９は１．２℃加熱した場合をそれぞれ示す。そし
て、これらの関係から算出された健全機材および不良機
材の実際の温度差と健全機材および不良機材の最大累積
温度勾配Ｔ_ｘの差との関係を図２０に示す。FIGS. 17 to 19 show the results of the cumulative temperature gradient calculation.
Shown in FIG. 17 shows no heating, that is, when all the three pillar-mounted devices 15 are at room temperature, and FIG.
FIG. 19 shows the case of heating at 1.2 ° C., respectively. Then, showing the relationship between the difference between the maximum cumulative temperature gradient T _x of the actual temperature difference and sound equipment and bad equipment sound gear and bad gear calculated from these relationships in Figure 20.

【００６６】図１７に示すように、全ての柱上機材１５
が健全であっても各々に累積温度勾配のばらつきがあっ
て必ずしも等しくはならない。本実施例によれば、この
ばらつきが３℃程度であった。また、図１８および図１
９を参照すると、健全機材に対して最大累積温度勾配Ｔ
_ｘの差が１０℃以上あるときに、実際の健全機材に対し
て明らかな温度差が表れている。As shown in FIG. 17, all of the on-post equipment 15
Are healthy, they do not always become equal due to variations in the accumulated temperature gradients. According to the present embodiment, this variation was about 3 ° C. 18 and FIG.
Referring to FIG. 9, the maximum cumulative temperature gradient T
_When the difference in _x is 10 ° C. or more, a clear temperature difference appears for the actual healthy equipment.

【００６７】そこで、健全機材との最大累積温度勾配Ｔ
_ｘの差が１０℃以上あるときに異常であると判断するの
が妥当であると考えられる。このとき、図２０より、健
全機材および不良機材の温度差は２℃以上であると判断
される。Therefore, the maximum cumulative temperature gradient T with the healthy equipment
It is considered appropriate to judge that _x is abnormal when the difference of _x is 10 ° C. or more. At this time, it is determined from FIG. 20 that the temperature difference between the healthy equipment and the defective equipment is 2 ° C. or more.

【００６８】（実施例３）図１に示す異常検出装置１６
を利用して、図２４に示す対象物２の累積温度勾配算出
を行った。カメラ１１，１２と対象物２との間隔は３ｍ
とした。また、対象物２は３つの柱上機材１５とした。
さらに、対象物２の中央の柱上機材１５にテープ状ヒー
タ２９を取り付けて、スライダック３０で温度を制御し
た。そして、対象物２の背後に温風器３１を設置した。
これは、対象物２の背後の温度を一様にするためであ
る。(Embodiment 3) The abnormality detecting device 16 shown in FIG.
Was used to calculate the cumulative temperature gradient of the object 2 shown in FIG. The distance between the cameras 11 and 12 and the object 2 is 3 m
And In addition, the object 2 was made up of three pillar-mounted devices 15.
Furthermore, a tape-shaped heater 29 was attached to the on-column equipment 15 at the center of the object 2, and the temperature was controlled by a sliderac 30. And the warm air blower 31 was installed behind the object 2.
This is to make the temperature behind the object 2 uniform.

【００６９】得られた累積温度勾配算出の結果から、背
景および不良機材の実際の温度差と背景および不良機材
の最大累積温度勾配Ｔ_ｘの差との関係を求めた。その結
果を図２５に示す。[0069] From the results of the cumulative temperature gradient calculation obtained to determine the relationship between the difference between the background and the maximum accumulated temperature gradient T _x of the actual temperature difference and background and poor equipment failure gear. FIG. 25 shows the result.

【００７０】同図に示すように、実施例２と同様に最大
累積温度勾配Ｔ_ｘの差が１０℃以上有れば良いとする
と、背景と不良機材とは０．８℃以上の温度差があれば
区別できることが分かった。したがって、不良機材の発
熱が背景よりも僅か０．８℃程度であっても、大きな影
響を受けること無く異常判定を行うことができる。[0070] As shown in the figure, when the difference between similarly maximum accumulated temperature gradient T _x to that of Example 2, and it is sufficient 10 ° C. or higher, the temperature difference above 0.8 ° C. The background and poor equipment It turned out that it could be distinguished. Therefore, even if the heat generation of the defective device is only about 0.8 ° C. lower than the background, the abnormality determination can be performed without being greatly affected.

【００７１】[0071]

【発明の効果】以上の説明より明らかなように、請求項
１または２記載の画像抽出方法および請求項３記載の画
像抽出装置ならびに請求項４記載の画像抽出プログラム
によれば、複数の可視画像および熱画像の撮影時に各カ
メラの視野を一致させる必要が無い。このため、赤外線
カメラおよび可視光カメラの厳密な位置合わせを不要に
できるので、カメラの位置合わせの作業を容易化でき
る。また、カメラを含めた画像抽出装置の高い剛性が不
要に成るので、装置の大型化や重量化を抑えることがで
きる。As is apparent from the above description, according to the image extracting method according to claim 1 or 2, the image extracting apparatus according to claim 3, and the image extracting program according to claim 4, a plurality of visible images can be obtained. In addition, it is not necessary to match the fields of view of the cameras when capturing a thermal image. This eliminates the need for precise positioning of the infrared camera and the visible light camera, thereby facilitating camera positioning. In addition, since high rigidity of the image extraction device including the camera is not required, the size and weight of the device can be suppressed.

【００７２】一方、請求項５記載の配電柱の柱上機材の
異常検出方法および請求項６記載の配電柱の柱上機材の
異常検出装置ならびに請求項７記載の配電柱の柱上機材
の異常検出プログラムによれば、柱上機材を撮影するカ
メラの位置合わせの作業を容易化できると共に装置の大
型化や重量化を抑えることができるので、柱上機材の異
常判定を簡易に行うことができるようになる。しかも、
柱上機材の撮影から異常検出まで人為的な作業を不要に
できるので、全工程の自動化を図ることができる。On the other hand, a method for detecting an abnormality of a pole on a distribution pole according to claim 5, a device for detecting an abnormality of a pole on a distribution pole according to claim 6, and an abnormality of a pole on a distribution pole according to claim 7. According to the detection program, the work of positioning the camera for photographing the pole equipment can be facilitated, and the size and weight of the apparatus can be suppressed, so that the abnormality determination of the pole equipment can be easily performed. Become like Moreover,
Since no artificial work is required from photographing the equipment on the pole to detecting an abnormality, the entire process can be automated.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明に係る画像抽出装置および配電柱の柱上
機材の異常検出装置を示すブロック図である。FIG. 1 is a block diagram showing an image extraction device and an abnormality detection device for pole equipment on a distribution pole according to the present invention.

【図２】可視画像を示す図である。FIG. 2 is a diagram showing a visible image.

【図３】距離画像を示す図である。FIG. 3 is a diagram showing a distance image.

【図４】熱画像を示す図である。FIG. 4 is a diagram showing a thermal image.

【図５】変換後の距離画像を示す図である。FIG. 5 is a diagram showing a converted distance image.

【図６】抽出後熱画像を示す図である。FIG. 6 is a diagram showing a thermal image after extraction.

【図７】変換行列を求めるための概念図である。FIG. 7 is a conceptual diagram for obtaining a transformation matrix.

【図８】本発明に係る画像抽出方法および配電柱の柱上
機材の異常検出方法を示すフローチャートである。FIG. 8 is a flowchart showing a method for extracting an image and a method for detecting an abnormality of a pole equipment of a distribution pole according to the present invention.

【図９】画像一致工程での処理手順を示すフローチャー
トである。FIG. 9 is a flowchart illustrating a processing procedure in an image matching step.

【図１０】可視画像を示す図である。FIG. 10 is a diagram showing a visible image.

【図１１】エッジ画像を示す図である。FIG. 11 is a diagram showing an edge image.

【図１２】コニック候補画像を示す図である。FIG. 12 is a diagram showing a conic candidate image.

【図１３】コニック画像を示す図である。FIG. 13 is a diagram showing a conic image.

【図１４】抽出後熱画像でアームを探索する様子を示す
図である。FIG. 14 is a diagram illustrating a state in which an arm is searched for in an extracted thermal image.

【図１５】アーム抽出工程での処理手順を示すフローチ
ャートである。FIG. 15 is a flowchart showing a processing procedure in an arm extraction step.

【図１６】累積温度勾配を算出する様子を示す概略図で
ある。FIG. 16 is a schematic diagram showing how to calculate a cumulative temperature gradient.

【図１７】加熱無しの場合におけるアーム方向の画素値
と各画素における累積温度勾配の関係を示すグラフであ
る。FIG. 17 is a graph showing a relationship between a pixel value in an arm direction and a cumulative temperature gradient in each pixel when no heating is performed.

【図１８】０．６℃加熱の場合におけるアーム方向の画
素値と各画素における累積温度勾配の関係を示すグラフ
である。FIG. 18 is a graph showing the relationship between the pixel value in the arm direction and the cumulative temperature gradient in each pixel when heating at 0.6 ° C.

【図１９】１．２℃加熱の場合におけるアーム方向の画
素値と各画素における累積温度勾配の関係を示すグラフ
である。FIG. 19 is a graph showing the relationship between the pixel value in the arm direction and the cumulative temperature gradient in each pixel when heating at 1.2 ° C.

【図２０】健全機材および不良機材の実際の温度差と健
全機材および不良機材の最大累積温度勾配Ｔ_ｘの差との
関係を示すグラフである。20 is a graph showing the relationship between the actual difference between the maximum cumulative temperature gradient T _x temperature difference and sound equipment and bad equipment sound gear and bad gear.

【図２１】実施例１の測定物を示す斜視図である。FIG. 21 is a perspective view showing a measurement object of Example 1.

【図２２】実施例１および比較例の結果を示すグラフで
ある。FIG. 22 is a graph showing the results of Example 1 and Comparative Example.

【図２３】実施例２の測定物を示す斜視図である。FIG. 23 is a perspective view showing a measured object of Example 2.

【図２４】実施例３の測定物を示す斜視図である。FIG. 24 is a perspective view showing a measurement object of Example 3.

【図２５】実施例３の結果を示すグラフである。FIG. 25 is a graph showing the results of Example 3.

【符号の説明】[Explanation of symbols]

１ 画像抽出装置 ２ 対象物 ３ 熱画像 ４ 可視画像 ５ 距離画像 ６ 距離画像作成手段 ７ 対応点抽出手段 ８ 行列作成手段 ９ 画像一致手段 １０ 画像抽出手段 １１ 赤外線カメラ １２ 可視光カメラ １４ 配電柱 １５ 柱上機材 １６ 配電柱の柱上機材の異常検出装置 １７ アーム １８ アーム抽出手段 １９ 温度勾配算出手段 ２０ 異常判定手段 DESCRIPTION OF SYMBOLS 1 Image extraction apparatus 2 Object 3 Thermal image 4 Visible image 5 Distance image 6 Distance image creation means 7 Corresponding point extraction means 8 Matrix creation means 9 Image matching means 10 Image extraction means 11 Infrared camera 12 Visible light camera 14 Distribution pole 15 pillar Upper equipment 16 Abnormality detector for pole equipment on distribution pole 17 Arm 18 Arm extraction means 19 Temperature gradient calculation means 20 Abnormality judgment means

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 1/00 ３１５ Ｇ０６Ｔ 1/00 ３１５ ５Ｃ０５４ 7/60 １８０ 7/60 １８０Ｂ ５Ｌ０９６ Ｈ０４Ｎ 5/225 Ｈ０４Ｎ 5/225 Ｃ 7/18 7/18 Ｋ Ｆターム(参考） 2F065 AA06 AA51 CC00 FF05 FF09 FF69 GG09 JJ03 JJ05 QQ00 QQ17 QQ21 QQ25 QQ32 QQ33 QQ38 QQ41 2F112 AC06 BA01 BA16 DA28 FA32 FA38 FA41 2G066 AC09 BA14 CA04 CA14 5B057 AA19 BA02 BA08 BA11 CA12 CA16 CB01 CB13 CB16 CE16 DA01 DA07 DB03 DB06 DC09 DC16 5C022 AA01 AA15 5C054 AA01 AA04 CA04 CA05 FC12 FC15 HA05 HA20 5L096 AA02 AA09 BA03 BA18 CA05 DA04 EA45 FA04 FA06 FA15 GA12 GA41 HA01 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. ⁷ Identification symbol FI Theme coat ゛ (Reference) G06T 1/00 315 G06T 1/00 315 5C054 7/60 180 7/60 180B 5L096 H04N 5/225 H04N 5 / 225 C 7/18 7/18 K F term (reference) 2F065 AA06 AA51 CC00 FF05 FF09 FF69 GG09 JJ03 JJ05 QQ00 QQ17 QQ21 QQ25 QQ32 QQ33 QQ38 QQ41 2F112 AC06 BA01 BA16 DA28 FA32 FA38 FA41 2G066 AC09 BA04 BA04 CA12 CA16 CB01 CB13 CB16 CE16 DA01 DA07 DB03 DB06 DC09 DC16 5C022 AA01 AA15 5C054 AA01 AA04 CA04 CA05 FC12 FC15 HA05 HA20 5L096 AA02 AA09 BA03 BA18 CA05 DA04 EA45 FA04 FA06 FA15 GA12 GA41 HA01

Claims (7)

【特許請求の範囲】[Claims] 【請求項１】 対象物を撮影した複数の可視画像から求
めた距離情報に基づき距離ごとに色を変えた距離画像を
作成する距離画像作成工程と、前記対象物の熱画像およ
び前記距離画像の対応点を求める対応点抽出工程と、前
記距離画像および前記熱画像の前記対応点を一致させる
変換行列を求める行列作成工程と、前記距離画像中で前
記対象物を特定すると共に該特定の前または後に前記距
離画像の前記対象物を含む領域および前記熱画像の一方
を前記変換行列により変換して両画像を一致させる画像
一致工程と、前記一致後に前記距離画像中の前記対象物
の位置を利用して前記熱画像から前記対象物を抽出する
画像抽出工程とを備えることを特徴とする画像抽出方
法。1. A distance image creating step of creating a distance image in which a color is changed for each distance based on distance information obtained from a plurality of visible images of an object, and a thermal image of the object and a distance image of the distance image. A corresponding point extraction step of finding a corresponding point, a matrix creation step of finding a transformation matrix that matches the corresponding points of the distance image and the thermal image, and specifying the target object in the distance image and before the specific or An image matching step of converting one of the region including the object and the thermal image of the distance image using the conversion matrix to match the two images, and using the position of the object in the distance image after the matching An image extracting step of extracting the object from the thermal image. 【請求項２】 前記画像一致工程では、前記距離画像を
前記変換行列により変換して前記熱画像に一致させてか
ら、変換後の前記距離画像中で前記対象物を特定するこ
とを特徴とする請求項１記載の画像抽出方法。2. In the image matching step, the distance image is converted by the conversion matrix to match the thermal image, and then the object is specified in the converted distance image. The image extraction method according to claim 1. 【請求項３】 対象物を撮影した複数の可視画像から求
めた距離情報に基づき距離ごとに色を変えた距離画像を
作成する距離画像作成手段と、前記対象物の熱画像およ
び前記距離画像の対応点を求める対応点抽出手段と、前
記距離画像および前記熱画像の前記対応点を一致させる
変換行列を求める行列作成手段と、前記距離画像中で前
記対象物を特定すると共に該特定の前または後に前記距
離画像の前記対象物を含む領域および前記熱画像の一方
を前記変換行列により変換して両画像を一致させる画像
一致手段と、前記一致後に前記距離画像中の前記対象物
の位置を利用して前記熱画像から前記対象物を抽出する
画像抽出手段とを備えることを特徴とする画像抽出装
置。3. A distance image creating means for creating a distance image in which a color is changed for each distance based on distance information obtained from a plurality of visible images of an object, and a thermal image of the object and a distance image of the distance image. Corresponding point extracting means for finding corresponding points, matrix creating means for finding a transformation matrix that matches the corresponding points of the distance image and the thermal image, and specifying the object in the distance image and specifying the object before or Image matching means for converting one of the region including the object in the distance image and the thermal image using the conversion matrix to match the two images, and using the position of the object in the distance image after the matching Image extracting means for extracting the object from the thermal image. 【請求項４】 対象物の熱画像および複数の可視画像を
利用して前記対象物の熱画像を抽出するためにコンピュ
ータを、対象物を撮影した複数の可視画像から求めた距
離情報に基づき距離ごとに色を変えた距離画像を作成す
る距離画像作成手段と、前記対象物の熱画像および前記
距離画像の対応点を求める対応点抽出手段と、前記距離
画像および前記熱画像の前記対応点を一致させる変換行
列を求める行列作成手段と、前記距離画像中で前記対象
物を特定すると共に該特定の前または後に前記距離画像
の前記対象物を含む領域および前記熱画像の一方を前記
変換行列により変換して両画像を一致させる画像一致手
段と、前記一致後に前記距離画像中の前記対象物の位置
を利用して前記熱画像から前記対象物を抽出する画像抽
出手段として機能させることを特徴とする画像抽出プロ
グラム。4. A computer for extracting a thermal image of the object using the thermal image of the object and the plurality of visible images, based on distance information obtained from the plurality of visible images of the object. A distance image creating unit that creates a distance image with a different color for each, a corresponding point extracting unit that determines a corresponding point of the thermal image of the object and the corresponding distance image, and a corresponding point of the corresponding distance image and the thermal image. Matrix creation means for determining a conversion matrix to be matched, and specifying the object in the distance image and specifying one of the region including the object in the distance image and the thermal image before or after the identification using the conversion matrix. Image matching means for converting and matching the two images, and functioning as image extracting means for extracting the object from the thermal image using the position of the object in the distance image after the matching. An image extraction program characterized by causing 【請求項５】 アームと該アームに設けられた柱上機材
とを備える配電柱を１台の赤外線カメラで撮影して熱画
像を得ると共に少なくとも２台の可視光カメラでステレ
オ撮影して各可視光カメラから１枚ずつの可視画像を得
て、得られた前記熱画像および複数の前記可視画像を請
求項１または２記載の画像抽出方法により処理して前記
熱画像から前記対象物を抽出して抽出後熱画像を作成
し、該抽出後熱画像から前記アームの画像を抽出して、
このアームの位置に基づいて前記柱上機材およびその周
辺の温度勾配を算出して前記柱上機材が正常か異常かを
判定することを特徴とする配電柱の柱上機材の異常検出
方法。5. A power distribution pole having an arm and a pole-mounted device provided on the arm is photographed with one infrared camera to obtain a thermal image, and stereoscopically photographed with at least two visible light cameras to obtain each visible light. Obtaining one visible image at a time from an optical camera, processing the obtained thermal image and a plurality of the visible images by the image extraction method according to claim 1 or 2, and extracting the object from the thermal image. To create a thermal image after extraction, to extract the image of the arm from the thermal image after the extraction,
A method for detecting an abnormality of a pole equipment of a power distribution pole, comprising calculating a temperature gradient of the pole equipment and its surroundings based on the position of the arm to determine whether the pole equipment is normal or abnormal. 【請求項６】 アームと該アームに設けられた柱上機材
とを備える配電柱を撮影する１台の赤外線カメラおよび
少なくとも２台の可視光カメラと、前記赤外線カメラで
得られた熱画像および前記可視光カメラで得られた複数
の前記可視画像に基づき前記熱画像から前記対象物を抽
出して抽出後熱画像を作成する請求項３記載の画像抽出
装置と、前記抽出後熱画像から前記アームの画像を抽出
するアーム抽出手段と、前記アームの位置に基づいて前
記柱上機材およびその周辺の温度勾配を算出する温度勾
配算出手段と、前記温度勾配から前記柱上機材が正常か
異常かを判定する異常判定手段とを備えることを特徴と
する配電柱の柱上機材の異常検出装置。6. An infrared camera and at least two visible light cameras for photographing a power distribution pole including an arm and a pole-mounted device provided on the arm, a thermal image obtained by the infrared camera, and The image extraction device according to claim 3, wherein the object is extracted from the thermal image based on the plurality of visible images obtained by a visible light camera to create a thermal image after extraction, and the arm from the thermal image after extraction. Arm extracting means for extracting the image of the above, temperature gradient calculating means for calculating the temperature gradient on the pole equipment and its surroundings based on the position of the arm, and whether the pole equipment is normal or abnormal based on the temperature gradient An abnormality detecting device for a pole-mounted device of a distribution pole, comprising: an abnormality determining means for determining. 【請求項７】 アームと該アームに設けられた柱上機材
とを備える配電柱を１台の赤外線カメラで撮影して熱画
像を得ると共に少なくとも２台の可視光カメラでステレ
オ撮影して各可視光カメラから１枚ずつの可視画像を得
て、得られた前記熱画像および複数の前記可視画像を利
用して前記柱上機材が正常か異常かを判定するためにコ
ンピュータを、複数の前記可視画像から求めた距離情報
に基づき距離ごとに色を変えた距離画像を作成する距離
画像作成手段と、前記熱画像および前記距離画像の対応
点を求める対応点抽出手段と、前記距離画像および前記
熱画像の前記対応点を一致させる変換行列を求める行列
作成手段と、前記距離画像中で前記対象物を特定すると
共に該特定の前または後に前記距離画像の前記対象物を
含む領域および前記熱画像の一方を前記変換行列により
変換して両画像を一致させる画像一致手段と、前記一致
後に前記距離画像中の前記対象物の位置を利用して前記
熱画像から前記対象物を抽出して抽出後熱画像を作成す
る画像抽出手段と、前記抽出後熱画像から前記アームの
画像を抽出するアーム抽出手段と、前記アームの位置に
基づいて前記柱上機材およびその周辺の温度勾配を算出
する温度勾配算出手段と、前記温度勾配から前記柱上機
材が正常か異常かを判定する異常判定手段として機能さ
せることを特徴とする配電柱の柱上機材の異常検出プロ
グラム。7. A power distribution pole having an arm and a pole-mounted device provided on the arm is photographed by one infrared camera to obtain a thermal image, and stereoscopic photographed by at least two visible light cameras to obtain a visible image. Obtaining a visible image one by one from an optical camera, and using the obtained thermal image and a plurality of the visible images, a computer to determine whether the pole equipment is normal or abnormal by using the plurality of visible images. A distance image creating means for creating a distance image in which a color is changed for each distance based on the distance information obtained from the image; a corresponding point extracting means for finding corresponding points of the thermal image and the distance image; Matrix creation means for finding a transformation matrix that matches the corresponding points of the image, and an area including the object in the distance image, specifying the object in the distance image before and after the identification; and Image matching means for converting one of the thermal images by the conversion matrix to match both images, and extracting the object from the thermal image using the position of the object in the distance image after the matching. Image extraction means for creating a post-extraction thermal image, arm extraction means for extracting the image of the arm from the post-extraction thermal image, and calculating the temperature gradient on the pole equipment and its surroundings based on the position of the arm A program for functioning as a temperature gradient calculating means and as an abnormality judging means for judging whether the equipment on the pole is normal or abnormal based on the temperature gradient, an abnormality detection program for the equipment on the pole of the distribution pole.