JP2002366953A - Method, device and program for extracting image, and method, device and program for detecting abnormality of pole mounted equipment of distribution pole utilizing image extracting method - Google Patents
Method, device and program for extracting image, and method, device and program for detecting abnormality of pole mounted equipment of distribution pole utilizing image extracting methodInfo
- Publication number
- JP2002366953A JP2002366953A JP2001175814A JP2001175814A JP2002366953A JP 2002366953 A JP2002366953 A JP 2002366953A JP 2001175814 A JP2001175814 A JP 2001175814A JP 2001175814 A JP2001175814 A JP 2001175814A JP 2002366953 A JP2002366953 A JP 2002366953A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- pole
- extracting
- thermal image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Radiation Pyrometers (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、画像抽出方法およ
び装置ならびに画像抽出プログラムと、画像抽出方法を
利用した配電柱の柱上機材の異常検出方法および装置な
らびに異常検出プログラムとに関する。さらに詳しく
は、本発明は、対象物の熱画像および距離画像を利用す
る画像抽出方法および装置ならびに画像抽出プログラム
と、画像抽出方法を利用した配電柱の柱上機材の異常検
出方法および装置ならびに異常検出プログラムとに関す
る。[0001] The present invention relates to an image extraction method and apparatus, an image extraction program, and a method and apparatus for detecting an abnormality of equipment on a pole of a distribution pole using the image extraction method, and an abnormality detection program. More specifically, the present invention relates to an image extraction method and apparatus using a thermal image and a distance image of an object, an image extraction program, and a method and an apparatus for detecting an abnormality of equipment on a power pole using the image extraction method, and an abnormality. Regarding the detection program.
【0002】[0002]
【従来の技術】対象物の温度を測定するために赤外線カ
メラにより撮影した熱画像を利用することがある。しか
し、熱画像だけでは似た熱パターンが多いため熱画像か
ら測定対象物を抽出する処理は非常に困難であり、温度
測定の高精度化や自動化の妨げになっている。そこで、
対象物を可視光カメラにより撮影して得られた可視画像
を併用して熱画像中の対象物を抽出する技術が開発され
ている。2. Description of the Related Art A thermal image taken by an infrared camera is sometimes used to measure the temperature of an object. However, since there are many similar thermal patterns in the thermal image alone, it is very difficult to extract the measurement target from the thermal image, which hinders high precision and automation of temperature measurement. Therefore,
Techniques have been developed for extracting an object in a thermal image by using a visible image obtained by photographing the object with a visible light camera.
【0003】このとき、熱画像と可視画像との視野が同
一であれば、可視画像中の対象物の位置座標を熱画像に
そのまま射影できるので熱画像での対象物の位置決めを
簡単に行うことができる。At this time, if the visual field of the thermal image and that of the visible image are the same, the position coordinates of the object in the visible image can be directly projected on the thermal image, so that the positioning of the object in the thermal image can be easily performed. Can be.
【0004】このため、一つの撮影レンズを使用して捉
えられた撮像をハーフミラーで分離して赤外線カメラと
可視光カメラとで撮影することにより、各カメラで同一
視野の画像を撮影できるようにした対象物抽出装置が開
発されている(特開平8−189809号公報参照)。For this reason, an image captured using one photographing lens is separated by a half mirror and photographed by an infrared camera and a visible light camera so that each camera can photograph an image having the same field of view. An object extraction device has been developed (see Japanese Patent Application Laid-Open No. 8-189809).
【0005】[0005]
【発明が解決しようとする課題】しかしながら、上述し
た対象物抽出装置では、赤外線カメラおよび可視光カメ
ラで同一視野の画像を撮影しなければならないので、撮
影レンズに対してハーフミラーや各カメラを正確に位置
決めしなければならず、測定開始前に光軸合わせ等の煩
雑な調整作業が必要になってしまう。However, in the above-described object extracting apparatus, since an image in the same field of view must be taken with an infrared camera and a visible light camera, the half mirror and each camera can be accurately positioned with respect to the taking lens. Position, and a complicated adjustment operation such as optical axis alignment is required before the measurement is started.
【0006】また、測定中に振動等で各カメラの位置が
互いにずれてしまわないように組み付けの剛性を高くす
る必要があるので、対象物抽出装置が大型化・重量化し
てしまう。Further, it is necessary to increase the rigidity of the assembly so that the positions of the cameras do not shift from each other due to vibration or the like during the measurement, so that the object extracting apparatus is increased in size and weight.
【0007】そこで、本発明は赤外線カメラと可視光カ
メラとの厳密な位置合わせを不要にできる画像抽出方法
および装置ならびに画像抽出プログラム、画像抽出方法
を利用した配電柱の柱上機材の異常検出方法および装置
ならびに異常検出プログラムを提供することを目的とす
る。Accordingly, the present invention provides an image extracting method and apparatus which can eliminate the need for precise alignment between an infrared camera and a visible light camera, an image extracting program, and a method for detecting an abnormality of equipment on a power pole using the image extracting method. And an apparatus and an abnormality detection program.
【0008】[0008]
【課題を解決するための手段】かかる目的を達成するた
め、請求項1記載の画像抽出方法は、対象物を撮影した
複数の可視画像から求めた距離情報に基づき距離ごとに
色を変えた距離画像を作成する距離画像作成工程と、対
象物の熱画像および距離画像の対応点を求める対応点抽
出工程と、距離画像および熱画像の対応点を一致させる
変換行列を求める行列作成工程と、距離画像中で対象物
を特定すると共に該特定の前または後に距離画像の対象
物を含む領域および熱画像の一方を変換行列により変換
して両画像を一致させる画像一致工程と、一致後に距離
画像中の対象物の位置を利用して熱画像から対象物を抽
出する画像抽出工程とを備えるようにしている。In order to achieve the above object, an image extracting method according to claim 1 is a method for extracting a distance from a plurality of visible images obtained by photographing an object by changing a color for each distance. A distance image creating step of creating an image, a corresponding point extracting step of finding corresponding points of the thermal image and the distance image of the object, a matrix creating step of finding a transformation matrix that matches the corresponding points of the distance image and the thermal image, An image matching step of specifying an object in the image and converting one of the region including the object and the thermal image of the distance image before or after the specific image by a conversion matrix to match the two images, and And an image extracting step of extracting the object from the thermal image using the position of the object.
【0009】また、請求項3記載の画像抽出装置は、対
象物を撮影した複数の可視画像から求めた距離情報に基
づき距離ごとに色を変えた距離画像を作成する距離画像
作成手段と、対象物の熱画像および距離画像の対応点を
求める対応点抽出手段と、距離画像および熱画像の対応
点を一致させる変換行列を求める行列作成手段と、距離
画像中で対象物を特定すると共に該特定の前または後に
距離画像の対象物を含む領域および熱画像の一方を変換
行列により変換して両画像を一致させる画像一致手段
と、一致後に距離画像中の対象物の位置を利用して熱画
像から対象物を抽出する画像抽出手段とを備えるように
している。According to a third aspect of the present invention, there is provided an image extracting apparatus, comprising: a distance image creating means for creating a distance image in which a color is changed for each distance based on distance information obtained from a plurality of visible images of an object; Corresponding point extracting means for finding corresponding points of the thermal image and the distance image of the object; matrix creating means for finding a transformation matrix for matching the corresponding points of the distance image and the thermal image; and identifying and identifying the object in the distance image Image matching means for converting one of the region including the object in the distance image and the thermal image before or after by using the conversion matrix to match the two images, and a thermal image using the position of the object in the distance image after matching And an image extracting means for extracting an object from the image.
【0010】したがって、距離画像中の対象物を含む領
域および熱画像の一方を変換行列により変換して両画像
を一致させてから熱画像より対象物を切り出しているの
で、複数の可視画像および熱画像の撮影時に各カメラの
視野を一致させる必要が無い。このため、赤外線カメラ
および可視光カメラの厳密な位置合わせを不要にできる
ので、カメラの位置合わせの作業を容易化できる。ま
た、カメラを含めた画像抽出装置の高い剛性が不要に成
るので、装置の大型化や重量化を抑えることができる。Therefore, one of the region including the object and the thermal image in the range image is converted by the conversion matrix to match the two images, and then the object is cut out from the thermal image. There is no need to match the field of view of each camera when capturing images. This eliminates the need for precise positioning of the infrared camera and the visible light camera, thereby facilitating camera positioning. In addition, since high rigidity of the image extraction device including the camera is not required, the size and weight of the device can be suppressed.
【0011】さらに、請求項4記載の画像抽出プログラ
ムは、対象物の熱画像および複数の可視画像を利用して
対象物の熱画像を抽出するためにコンピュータを、対象
物を撮影した複数の可視画像から求めた距離情報に基づ
き距離ごとに色を変えた距離画像を作成する距離画像作
成手段と、対象物の熱画像および距離画像の対応点を求
める対応点抽出手段と、距離画像および熱画像の対応点
を一致させる変換行列を求める行列作成手段と、距離画
像中で対象物を特定すると共に該特定の前または後に距
離画像の対象物を含む領域および熱画像の一方を変換行
列により変換して両画像を一致させる画像一致手段と、
一致後に距離画像中の対象物の位置を利用して熱画像か
ら対象物を抽出する画像抽出手段として機能させるよう
にしている。Further, according to a fourth aspect of the present invention, there is provided an image extraction program for controlling a computer to extract a thermal image of an object using the thermal image of the object and a plurality of visible images. A distance image creating means for creating a distance image in which a color is changed for each distance based on the distance information obtained from the image, a corresponding point extracting means for finding corresponding points of the thermal image of the object and the distance image, and a distance image and the thermal image Matrix generation means for obtaining a conversion matrix that matches the corresponding points of the distance image, and specifying an object in the distance image and converting one of a region including the object of the distance image and the thermal image before or after the specific image by a conversion matrix. Image matching means for matching the two images
After the matching, the position of the object in the distance image is used to function as an image extracting means for extracting the object from the thermal image.
【0012】したがって、コンピュータでプログラムを
実行することによって、赤外線カメラおよび可視光カメ
ラの厳密な位置合わせをすることなく熱画像から対象物
を抽出することができる。Therefore, by executing the program on the computer, the object can be extracted from the thermal image without strictly aligning the infrared camera and the visible light camera.
【0013】そして、請求項2記載の発明は、請求項1
記載の画像抽出方法において、画像一致工程では、距離
画像を変換行列により変換して熱画像に一致させてか
ら、変換後の距離画像中で対象物を特定するようにして
いる。したがって、距離画像と熱画像とを一致させてか
ら熱画像より対象物を切り出しているので、熱画像およ
び可視画像の撮影時に各カメラの視野を合わせる必要が
無く、カメラの位置合わせの作業を容易化できる。The invention according to claim 2 is the invention according to claim 1.
In the described image extraction method, in the image matching step, the distance image is converted by a conversion matrix to match the thermal image, and then the target object is specified in the converted distance image. Therefore, since the object is cut out from the thermal image after the distance image and the thermal image are matched, it is not necessary to adjust the field of view of each camera when capturing the thermal image and the visible image, which facilitates the work of aligning the cameras. Can be
【0014】一方、請求項5記載の配電柱の柱上機材の
異常検出方法は、アームと該アームに設けられた柱上機
材とを備える配電柱を1台の赤外線カメラで撮影して熱
画像を得ると共に少なくとも2台の可視光カメラでステ
レオ撮影して各可視光カメラから1枚ずつの可視画像を
得て、得られた熱画像および複数の可視画像を請求項1
から3までのいずれか記載の画像抽出方法により処理し
て熱画像から対象物を抽出して抽出後熱画像を作成し、
該抽出後熱画像からアームの画像を抽出して、このアー
ムの位置に基づいて柱上機材およびその周辺の温度勾配
を算出して柱上機材が正常か異常かを判定するようにし
ている。On the other hand, according to a fifth aspect of the present invention, there is provided a method for detecting abnormalities of pole equipment on a power pole, wherein a power pole equipped with an arm and pole equipment provided on the arm is photographed by one infrared camera and a thermal image is taken. 2. Obtaining a stereo image with at least two visible light cameras, obtaining one visible image from each visible light camera, and obtaining the obtained thermal image and the plurality of visible images.
To extract an object from the thermal image by processing according to the image extraction method according to any one of the above to create a thermal image after extraction;
An image of the arm is extracted from the post-extraction thermal image, and based on the position of the arm, a temperature gradient on the pole equipment and its surroundings is calculated to determine whether the pole equipment is normal or abnormal.
【0015】また、請求項6記載の配電柱の柱上機材の
異常検出装置は、アームと該アームに設けられた柱上機
材とを備える配電柱を撮影する1台の赤外線カメラおよ
び少なくとも2台の可視光カメラと、赤外線カメラで得
られた熱画像および可視光カメラで得られた複数の可視
画像に基づき熱画像から対象物を抽出して抽出後熱画像
を作成する請求項3記載の画像抽出装置と、抽出後熱画
像からアームの画像を抽出するアーム抽出手段と、アー
ムの位置に基づいて柱上機材およびその周辺の温度勾配
を算出する温度勾配算出手段と、温度勾配から柱上機材
が正常か異常かを判定する異常判定手段とを備えるよう
にしている。According to a sixth aspect of the present invention, there is provided an apparatus for detecting abnormalities of pole equipment on a power pole, wherein one infrared camera and at least two infrared cameras for photographing a power pole equipped with an arm and pole equipment provided on the arm. 4. An image according to claim 3, wherein an object is extracted from the thermal image based on the visible light camera, the thermal image obtained by the infrared camera, and the plurality of visible images obtained by the visible light camera, and the extracted thermal image is created. An extracting device, an arm extracting means for extracting an image of the arm from the extracted thermal image, a temperature gradient calculating means for calculating a temperature gradient on the pole and its surroundings based on the position of the arm, and a pole on the pole from the temperature gradient Abnormality determining means for determining whether the is normal or abnormal.
【0016】さらに、請求項7記載の配電柱の柱上機材
の異常検出プログラムは、アームと該アームに設けられ
た柱上機材とを備える配電柱を1台の赤外線カメラで撮
影して熱画像を得ると共に少なくとも2台の可視光カメ
ラでステレオ撮影して各可視光カメラから1枚ずつの可
視画像を得て、得られた熱画像および複数の可視画像を
利用して柱上機材が正常か異常かを判定するためにコン
ピュータを、複数の可視画像から求めた距離情報に基づ
き距離ごとに色を変えた距離画像を作成する距離画像作
成手段と、熱画像および距離画像の対応点を求める対応
点抽出手段と、距離画像および熱画像の対応点を一致さ
せる変換行列を求める行列作成手段と、距離画像中で対
象物を特定すると共に該特定の前または後に距離画像の
対象物を含む領域および熱画像の一方を変換行列により
変換して両画像を一致させる画像一致手段と、一致後に
距離画像中の対象物の位置を利用して熱画像から対象物
を抽出して抽出後熱画像を作成する画像抽出手段と、抽
出後熱画像からアームの画像を抽出するアーム抽出手段
と、アームの位置に基づいて柱上機材およびその周辺の
温度勾配を算出する温度勾配算出手段と、温度勾配から
柱上機材が正常か異常かを判定する異常判定手段として
機能させるようにしている。Further, according to a seventh aspect of the present invention, there is provided a program for detecting an abnormality of a pole on a pole of a distribution pole, wherein the distribution pole including an arm and a pole on the arm is photographed with a single infrared camera to obtain a thermal image. And at least two visible light cameras to perform stereo photography to obtain one visible image from each visible light camera, and use the obtained thermal image and a plurality of visible images to determine whether the pole equipment is normal. A distance image creating means for creating a distance image in which a color is changed for each distance based on distance information obtained from a plurality of visible images, and a method for determining corresponding points of the thermal image and the distance image in order to determine whether the image is abnormal Point extraction means, matrix creation means for obtaining a transformation matrix for matching the corresponding points of the distance image and the thermal image, an area specifying the object in the distance image and including the object of the distance image before or after the specific Image matching means for converting one of the thermal image and the thermal image by a conversion matrix to match the two images, and extracting the thermal image from the thermal image using the position of the object in the distance image after the matching, and extracting the extracted thermal image. An image extraction unit to be created, an arm extraction unit to extract an image of the arm from the post-extraction thermal image, a temperature gradient calculation unit to calculate a temperature gradient of the on-board equipment and its surroundings based on the position of the arm, and It is designed to function as abnormality determination means for determining whether the pole equipment is normal or abnormal.
【0017】したがって、柱上機材を撮影するカメラの
位置合わせの作業を容易化できると共に装置の大型化や
重量化を抑えることができるので、柱上機材の異常判定
を簡易に行うことができるようになる。しかも、柱上機
材の撮影から異常検出まで人為的な作業を不要にできる
ので、全工程の自動化を図ることができる。Therefore, the work of positioning the camera for photographing the pole equipment can be facilitated and the size and weight of the apparatus can be suppressed, so that the abnormality determination of the pole equipment can be easily performed. become. In addition, since no artificial work is required from photographing the equipment on the pole to detecting an abnormality, the entire process can be automated.
【0018】[0018]
【発明の実施の形態】以下、本発明の構成を図面に示す
一実施の形態に基づいて詳細に説明する。図1に本発明
の画像抽出装置1の実施形態の一例を示す。この画像抽
出装置1は、対象物2の熱画像3および複数の可視画像
4を利用して、熱画像3から対象物2を抽出するもので
ある。この画像抽出装置1は、距離画像5を作成する距
離画像作成手段6と、熱画像3および距離画像5の対応
点を求める対応点抽出手段7と、変換行列Hを求める行
列作成手段8と、距離画像5の対象物2を含む領域およ
び熱画像3を一致させる画像一致手段9と、一致後に熱
画像3から対象物2を抽出する画像抽出手段10とを備
えるようにしている。このため、距離画像5中の対象物
2を含む領域および熱画像3を一致させてから熱画像3
より対象物2を切り出しているので、複数の可視画像4
および熱画像3の撮影時に各カメラ11,12の視野を
一致させる必要が無い。よって、赤外線カメラ11およ
び可視光カメラ12の厳密な位置合わせを不要にできる
ので、カメラ11,12の位置合わせの作業を容易化で
きる。また、カメラ11,12を含めた画像抽出装置1
の高い剛性が不要に成るので、装置1の大型化や重量化
を抑えることができる。DESCRIPTION OF THE PREFERRED EMBODIMENTS The structure of the present invention will be described below in detail based on one embodiment shown in the drawings. FIG. 1 shows an example of an embodiment of an image extraction device 1 of the present invention. The image extracting apparatus 1 extracts an object 2 from a thermal image 3 using a thermal image 3 and a plurality of visible images 4 of the object 2. The image extracting apparatus 1 includes a distance image creating unit 6 that creates a distance image 5, a corresponding point extracting unit 7 that finds corresponding points of the thermal image 3 and the distance image 5, a matrix creating unit 8 that finds a transformation matrix H, An image matching unit 9 for matching the region including the object 2 of the distance image 5 with the thermal image 3 and an image extracting unit 10 for extracting the object 2 from the thermal image 3 after matching are provided. For this reason, the region including the object 2 in the distance image 5 and the thermal image 3 are matched, and then the thermal image 3
Since the target object 2 has been cut out, a plurality of visible images 4
In addition, it is not necessary to match the fields of view of the cameras 11 and 12 when capturing the thermal image 3. Therefore, since it is not necessary to precisely align the infrared camera 11 and the visible light camera 12, the work of aligning the cameras 11 and 12 can be facilitated. Further, the image extracting device 1 including the cameras 11 and 12
Since high rigidity is not required, the size and weight of the apparatus 1 can be suppressed.
【0019】距離画像作成手段6は、対象物2を撮影し
た複数の可視画像4(図2参照)から求めた距離情報に
基づき距離ごとに色を変えた距離画像5(図3参照)を
作成するものとしている。この距離画像作成手段6には
例えば2台の可視光カメラ12a,12bが接続されて
いる。そして、各カメラ12a,12bを利用して同一
の対象物2を若干異なる撮影方向から撮影し、得られた
複数の可視画像4を利用して距離画像作成手段6により
可視画像4上の各物体の距離情報を算出する。距離画像
5は画像中の物体をカメラ12からの距離に対応させて
着色して表したものであり、例えば図3に示すようにカ
メラ12から近いほど白く、また遠いほど黒く表示する
ように作成する。The distance image creating means 6 creates a distance image 5 (see FIG. 3) having a different color for each distance based on distance information obtained from a plurality of visible images 4 (see FIG. 2) of the object 2. Shall do. For example, two visible light cameras 12a and 12b are connected to the distance image creating means 6. Then, the same object 2 is photographed from slightly different photographing directions using the cameras 12a and 12b, and each object on the visible image 4 is photographed by the distance image creating means 6 using the plurality of visible images 4 obtained. Is calculated. The distance image 5 is obtained by coloring an object in the image in correspondence with the distance from the camera 12, and is created such that, for example, as shown in FIG. I do.
【0020】対応点抽出手段7は、熱画像3(図4参
照)および距離画像5から特徴点を抽出して両画像3,
5間の特徴点の対応付けを行う。この特徴点としては、
人工物に含まれる2次曲線(コニック)、特に円や楕円
の中心を利用する。熱画像は温度の輻射情報を可視化し
たものであるので、円や楕円を使用することにより高精
度な測定を行うことができるようになる。The corresponding point extracting means 7 extracts feature points from the thermal image 3 (see FIG. 4) and the distance image 5,
The five feature points are associated with each other. These features include:
A quadratic curve (conic) included in an artifact is used, particularly the center of a circle or ellipse. Since the thermal image is obtained by visualizing the radiation information of the temperature, highly accurate measurement can be performed by using a circle or an ellipse.
【0021】行列作成手段8は、距離画像5および熱画
像3の対応点を一致させる変換行列Hを求める。この変
換行列Hは所謂ホモグラフィと呼ばれるものであり、以
下のように定義される。The matrix creating means 8 finds a transformation matrix H for matching the corresponding points of the distance image 5 and the thermal image 3. This transformation matrix H is called a so-called homography, and is defined as follows.
【0022】図7に示すように、或る平面πでの対象点
Xπが距離画像5および熱画像3のそれぞれに射影され
るとき、距離画像5での対応点をX1、熱画像3での対
応点をX2とする。このとき、射影幾何学では、X1=
H1πXπ、X2=H2πX πと表現できる。これらの
関係からXπを消去すれば、X2=H2πH1π −1X
1=HX1という関係が導かれる。そして、ここでの変
換行列H=H2π/H 1πがホモグラフィと呼ばれる。As shown in FIG. 7, the target point on a certain plane π
XπIs projected on each of the distance image 5 and the thermal image 3.
The corresponding point in the distance image 5 is X1, Thermal image 3
X2And Then, in projective geometry, X1=
H1πXπ, X2= H2πX πCan be expressed as these
X from relationshipπIs deleted, X2= H2πH1π -1X
1= HX1Is derived. And the strange here
Permutation matrix H = H2π/ H 1πIs called homography.
【0023】このX2=HX1を数式1に具体的に示
す。This X 2 = HX 1 is specifically shown in Equation 1.
【数1】 ここで、X1(x1,y1)、X2(x2,y2)は両
画像中での点、f1,f2は各画像を撮影したカメラ1
1,12のレンズの焦点距離としている。(Equation 1) Here, X 1 (x 1 , y 1 ) and X 2 (x 2 , y 2 ) are points in both images, and f 1 and f 2 are cameras 1 that have captured each image.
These are the focal lengths of the lenses 1 and 12.
【0024】そして、変換行列Hは3×3行列であるの
で、各成分を決定するには9点以上の対応点の組み合わ
せが分かれば良い。Since the transformation matrix H is a 3.times.3 matrix, it is sufficient to determine combinations of nine or more corresponding points in order to determine each component.
【0025】また、画像一致手段9では、距離画像5を
変換行列Hによって熱画像3と一致するように変換・射
影して、図5に示す距離画像5’を得る。そして、射影
後の距離画像5’中で距離情報に基づいて対象物2を特
定する。The image matching means 9 converts and projects the distance image 5 by using the conversion matrix H so as to match the thermal image 3 to obtain a distance image 5 'shown in FIG. Then, the target object 2 is specified based on the distance information in the projected distance image 5 ′.
【0026】画像抽出手段10は、距離画像5’中の対
象物2の位置をそのまま熱画像3に移して、該熱画像3
から図6に示すように対象物2を抽出する。本実施形態
では、対象物2を抽出して得られた画像を抽出後熱画像
13とする。The image extracting means 10 transfers the position of the object 2 in the distance image 5 'to the thermal image 3 as it is,
Then, the target object 2 is extracted as shown in FIG. In the present embodiment, an image obtained by extracting the object 2 is referred to as an extracted thermal image 13.
【0027】ところで、上述した画像抽出装置1は、例
えば配電柱14の柱上機材15の異常検出装置16に搭
載されて使用される。この異常検出装置16は、図1に
示すようにアーム17と該アーム17に設けられた柱上
機材15とを備える配電柱14を撮影する1台の赤外線
カメラ11および少なくとも2台の可視光カメラ12
a,12bと、赤外線カメラ11で得られた熱画像3お
よび可視光カメラ12で得られた複数の可視画像4に基
づき熱画像3から対象物2であるアーム17および柱上
機材15を抽出して抽出後熱画像13を作成する請求項
4記載の画像抽出装置1と、抽出後熱画像13からアー
ム17の画像を抽出するアーム抽出手段18と、アーム
17の位置に基づいて柱上機材15およびその周辺の温
度勾配を算出する温度勾配算出手段19と、温度勾配か
ら柱上機材15が正常か異常かを判定する異常判定手段
20とを備えている。さらに、アーム抽出手段18に
は、アーム17の教師画像26およびその特徴ベクトル
Tを予め作成しておく教師画像作成手段21が設けられ
ている。The above-described image extracting apparatus 1 is used, for example, by being mounted on an abnormality detecting apparatus 16 of pole equipment 15 of a distribution pole 14. As shown in FIG. 1, the abnormality detection device 16 includes one infrared camera 11 and at least two visible light cameras for photographing a distribution pole 14 including an arm 17 and a pole device 15 provided on the arm 17. 12
Based on a and 12b, the thermal image 3 obtained by the infrared camera 11, and the plurality of visible images 4 obtained by the visible light camera 12, the arm 17 and the pole equipment 15 as the object 2 are extracted from the thermal image 3. The image extracting apparatus 1 according to claim 4, wherein the post-extraction thermal image 13 is created, an arm extracting means 18 for extracting an image of the arm 17 from the post-extraction thermal image 13, and a pole-mounted device 15 based on the position of the arm 17. And a temperature gradient calculating means 19 for calculating a temperature gradient in the vicinity thereof, and an abnormality determining means 20 for determining whether the pole equipment 15 is normal or abnormal based on the temperature gradient. Further, the arm extracting means 18 is provided with a teacher image creating means 21 for creating a teacher image 26 of the arm 17 and its feature vector T in advance.
【0028】このため、柱上機材15を撮影するカメラ
11,12の位置合わせの作業を容易化できると共に装
置16の大型化や重量化を抑えることができるので、柱
上機材15の異常判定を簡易に行うことができるように
なる。しかも、柱上機材15の撮影から異常検出まで人
為的な作業を不要にできるので、全工程の自動化を図る
ことができる。For this reason, the work of aligning the cameras 11 and 12 for photographing the pole equipment 15 can be facilitated, and the size and weight of the device 16 can be suppressed. It can be easily performed. In addition, since no artificial work is required from photographing of the pole device 15 to detection of an abnormality, the entire process can be automated.
【0029】上述した画像抽出装置1と、アーム抽出手
段18と、教師画像作成手段21と、温度勾配算出手段
19と、異常判定手段20とは、コンピュータシステム
にて構成されている。このコンピュータシステムは、特
に図示していないが、例えば各種の演算処理を実行する
中央演算処理装置と、演算処理を実行する上で必要なプ
ログラムやデータ等を記憶する主記憶装置と、入出力ポ
ート等の各種インタフェースと、距離画像作成手段6と
対応点抽出手段7と行列作成手段8と画像一致手段9と
画像抽出手段10とアーム抽出手段18と教師画像作成
手段21と温度勾配算出手段19と異常判定手段20と
を実現するプログラムやその処理を実行する上で必要な
各種データや定数等を記憶する例えばハードディスクド
ライブ装置と、各カメラ11,12からの撮影データや
必要な指令を入力する入力装置と、中央演算処理装置で
処理した結果を出力する出力装置とから構成されてい
る。The image extracting apparatus 1, the arm extracting means 18, the teacher image creating means 21, the temperature gradient calculating means 19, and the abnormality judging means 20 are constituted by a computer system. Although not shown, the computer system includes, for example, a central processing unit that executes various types of arithmetic processing, a main storage device that stores programs and data required for executing the arithmetic processing, and an input / output port. Various interfaces such as distance image creating means 6, corresponding point extracting means 7, matrix creating means 8, image matching means 9, image extracting means 10, arm extracting means 18, teacher image creating means 21, temperature gradient calculating means 19, For example, a hard disk drive for storing a program for realizing the abnormality determining means 20 and various data and constants necessary for executing the processing, and an input for inputting photographing data from the cameras 11 and 12 and necessary commands It is composed of a device and an output device for outputting a result processed by the central processing unit.
【0030】上述した配電柱14の柱上機材15の異常
検出装置16により柱上機材15の異常検出を実行する
手順を図8、図9、図15に示すフローチャートに基づ
いて説明する。The procedure for executing the abnormality detection of the pole equipment 15 by the abnormality detection device 16 of the pole equipment 15 of the distribution pole 14 will be described with reference to the flowcharts shown in FIGS. 8, 9 and 15.
【0031】2台の可視光カメラ12a,12bにより
配電柱14のステレオ撮影を行うと同時に、1台の赤外
線カメラ11でも配電柱14の撮影を行う(ステップ
1)。可視光カメラ12a,12bにより撮影された2
枚の可視画像4,4は距離画像作成手段6に入力され
て、これらの画像4,4に基づいて距離画像5が作成さ
れる(ステップ2)。At the same time as the two visible light cameras 12a and 12b perform stereo photography of the power distribution pole 14, the one infrared camera 11 also photographs the power distribution pole 14 (step 1). 2 photographed by the visible light cameras 12a and 12b
The visible images 4 and 4 are input to the distance image creating means 6, and a distance image 5 is created based on these images 4 and 4 (step 2).
【0032】そして、対応点抽出手段7により熱画像3
および距離画像5から特徴点を抽出して、両画像3,5
間の特徴点の対応付けを行う(ステップ3)。この特徴
点の対応付けは、具体的には図9に示すフローチャート
のように実行される。ここでは、両画像3,5から特徴
点を抽出する手順について例として図10に示す原画像
22から特徴点を抽出する手順に置き換えて説明しつ
つ、両画像3,5間の特徴点を対応付ける手順について
説明する。Then, the thermal image 3 is output by the corresponding point extracting means 7.
The feature points are extracted from the distance image 5 and the two images 3 and 5.
The correspondence between the feature points is performed (step 3). The association of the feature points is specifically performed as shown in the flowchart of FIG. Here, the procedure for extracting feature points from both images 3 and 5 will be described as an example by replacing the procedure for extracting feature points from original image 22 shown in FIG. The procedure will be described.
【0033】まず、原画像22にガウシアンフィルタを
掛けて畳み込み、得られた値が或る閾値以上となる点群
を選択して、画像中の線を細線化して(ステップ2
1)、エッジを抽出し(ステップ22)、図11に示す
エッジ画像23を得る。そして、エッジ画像23から或
る長さを持ったコニックの候補を抽出し(ステップ2
3)、図12に示すコニック候補画像24を得る。First, the original image 22 is convoluted with a Gaussian filter, and a group of points whose obtained value is equal to or greater than a certain threshold is selected, and a line in the image is thinned (step 2).
1) Extract edges (step 22) to obtain an edge image 23 shown in FIG. Then, a conic candidate having a certain length is extracted from the edge image 23 (step 2).
3), a conic candidate image 24 shown in FIG. 12 is obtained.
【0034】さらに、コニックの各候補について、2次
曲線を意味する数式2を満たすような係数A,B,C,
D,E,Fを算出する(ステップ24)。Further, for each conic candidate, the coefficients A, B, C,
D, E, and F are calculated (step 24).
【数2】Ax2+2Bxy+Cy2+2(Dx+Ey)
+F=0 ここで、x,yは各候補の画像上の座標 そして、得られた係数組の中からAC−B2>0という
円または楕円の条件を満たすものを取り出す(ステップ
25)。これにより、コニック候補画像24の中から曲
率の大きなものを円や楕円として抽出して、図13に示
すコニック画像25が得られる。Ax 2 + 2Bxy + Cy 2 +2 (Dx + Ey)
+ F = 0 Here, x and y are the coordinates on the image of each candidate. Those obtained from the obtained coefficient set satisfying the condition of a circle or an ellipse of AC-B 2 > 0 (step 25). As a result, a conic image 25 shown in FIG. 13 is obtained by extracting a large curvature from the conic candidate images 24 as a circle or an ellipse.
【0035】さらに、熱画像3および距離画像5に各々
表れる円や楕円の中心点を特徴点とすると共に、楕円の
場合は長短軸を抽出する(ステップ26)。そして、熱
画像3および距離画像5の円や楕円の中心点あるいは長
短軸の端点について、両画像3,5間でマッチングを行
う(ステップ27)。マッチングの結果、矛盾無く対応
関係が取れたものを対応点とする。Further, the center point of a circle or ellipse appearing in each of the thermal image 3 and the distance image 5 is used as a feature point, and in the case of an ellipse, the major and minor axes are extracted (step 26). Then, matching is performed between the images 3 and 5 with respect to the center point of the circle or the ellipse or the end point of the long and short axes of the thermal image 3 and the distance image 5 (step 27). As a result of the matching, those that have a correspondence without contradiction are defined as corresponding points.
【0036】ところで、図13中、左側の縦長の楕円や
右下の水平に長い楕円は原画像22には含まれていない
ので、特徴点を決定するための楕円としては除外する必
要がある。このような除外すべき円や楕円は、その中心
点を一旦は特徴点として上げておき、マッチング処理で
画像3,5間で特徴点の対応を取って矛盾を生じたとき
に除去するようにしている。In FIG. 13, a vertically long ellipse on the left side and a horizontally long ellipse on the lower right side are not included in the original image 22, and therefore need to be excluded as ellipses for determining feature points. For such circles and ellipses to be excluded, the center point is once raised as a feature point, and the matching process is performed so that feature points are corresponded between the images 3 and 5 so as to be removed when inconsistency arises. ing.
【0037】また、特徴点として図形の角や直線の交点
を使用することもできる。しかし、図形の角や直線の交
点を特徴点とすると、その数が多いため画像3,5間で
特徴点の対応を取るときに矛盾無く対応を取ることが難
しい。矛盾が生じ易いのは対応を取る手掛かりが少な過
ぎるためであり、手掛かりが十分にあれば矛盾が生じ難
くなり対応を取る精度が向上すると考えられる。そこ
で、本実施形態では、画像中に円や楕円がそれ程多く現
れないことに着目して、円や楕円の中心点を特徴点とし
て対応を取るようにしている。これによれば、1つの特
徴点について対応を取るための十分な手掛かりを得られ
るので対応の推定精度を高めることができる。Also, the corners of a figure or the intersections of straight lines can be used as feature points. However, if the feature points are the intersections of the corners of the figure or the straight line, it is difficult to take correspondence without inconsistency when taking correspondence between the feature points between the images 3 and 5 because of the large number. The inconsistency is likely to occur because there are too few clues to take the countermeasure. It is considered that if the clues are sufficient, the inconsistency hardly occurs and the accuracy of taking the countermeasure is improved. Thus, in the present embodiment, attention is paid to the fact that circles and ellipses do not appear so much in an image, and correspondence is made with the center point of the circle or ellipse as a feature point. According to this, since sufficient clues can be obtained for taking a correspondence with respect to one feature point, it is possible to improve the estimation accuracy of the correspondence.
【0038】対応点抽出手段7で得られた対応付けに基
づいて、行列作成手段8により距離画像5および熱画像
3の対応点を一致させる変換行列Hを求める。さらに、
画像一致手段9で、距離画像5を変換行列Hにより熱画
像3と一致するように変換する。そして、変換後の距離
画像5中で距離情報に基づいて対象物2を特定する。対
象物2の特定は、例えばカメラ11,12に最も近い被
写体を対象物2と判断して行う。対象物2の特定後に画
像抽出手段10により熱画像3から対象物2を切り出し
て抽出後熱画像13を作成する。On the basis of the correspondence obtained by the corresponding point extracting means 7, a transformation matrix H for matching the corresponding points of the distance image 5 and the thermal image 3 is obtained by the matrix creating means 8. further,
The image matching means 9 converts the distance image 5 by the conversion matrix H so as to match the thermal image 3. Then, the target object 2 is specified in the converted distance image 5 based on the distance information. The object 2 is specified by, for example, determining the object closest to the cameras 11 and 12 as the object 2. After specifying the target object 2, the target object 2 is cut out from the thermal image 3 by the image extracting means 10 to create a post-extraction thermal image 13.
【0039】一方、異常検出対象となる柱上機材15、
例えば3つのピン碍子が取り付けられるアーム17の教
師画像26およびその特徴ベクトルTを教師画像作成手
段21により予め作成しておく。特徴ベクトルTは、教
師画像についていわゆる高次局所自己相関特徴を利用し
た特徴パターンとして求めている。On the other hand, on-column equipment 15 for which abnormality is to be detected,
For example, a teacher image 26 of the arm 17 to which three pin insulators are attached and its feature vector T are created in advance by the teacher image creating means 21. The feature vector T is obtained as a feature pattern using a so-called higher-order local autocorrelation feature for the teacher image.
【0040】そして、アーム抽出手段18により、図1
4に示すように画像抽出装置1で抽出した抽出後熱画像
13の1画素を選択して、該選択画素27にアーム17
の教師画像26の端部を一致させる(ステップ31)。
さらに、アーム17の教師画像26を選択画素27を中
心にして上下に1度ずつ例えば±15度まで回転させる
(ステップ32)。すなわち、この教師画像26は1つ
の選択画素27に対して31カ所に位置し得る。教師画
像26が各位置にあるときに、該教師画像26とこれに
重なる位置の抽出後熱画像13との間でマッチングを行
い一致度を求める(ステップ33)。このマッチング処
理は、両画像の特徴ベクトルを比較して行われる。比較
手法としては、従来から用いられる既知の各種の方法、
あるいは新規の方法を採用することができる。これによ
り、1つの選択画素27に対して31個の一致度が算出
される。Then, the arm extracting means 18
As shown in FIG. 4, one pixel of the extracted thermal image 13 extracted by the image extracting device 1 is selected, and the selected pixel 27 is set to the arm 17.
Are matched (step 31).
Further, the teacher image 26 of the arm 17 is rotated up and down by one degree, for example, ± 15 degrees around the selected pixel 27 (step 32). That is, the teacher image 26 can be located at 31 positions with respect to one selected pixel 27. When the teacher image 26 is at each position, matching is obtained by performing matching between the teacher image 26 and the extracted thermal image 13 at a position overlapping the teacher image 26 (step 33). This matching process is performed by comparing the feature vectors of both images. As a comparison method, various known methods conventionally used,
Alternatively, a new method can be adopted. Thereby, 31 coincidences are calculated for one selected pixel 27.
【0041】さらに、選択画素27を変更して再び教師
画像26と全体画像とのマッチング処理を行う。ここ
で、選択画素27の選択順は、例えば図14に示すよう
に左上の画素から順に下げていき、最下画素まで達した
ら隣の列の最上画素に上がって再び下げていくようにす
る。但し、選択画素27の選択順はこれに限られないの
は勿論である。また、選択画素27が抽出後熱画像13
の上から数画素以内にあるときは、教師画像26を上方
に回転させると抽出後熱画像13から出てしまい正確な
マッチング処理ができないので回転処理を省略しても良
い。同様に、選択画素27が抽出後熱画像13の下から
数画素以内にあるときは、教師画像26を下方に回転さ
せる処理を省略しても良い。さらに、選択画素27が抽
出後熱画像13の右端から教師画像26よりも短い範囲
内にあるときは、教師画像26の右端が全体画像から飛
び出してしまうのでマッチング処理を省略しても良い。
これらのように無駄な処理を省略することにより、全体
の処理速度を速めることができる。Further, the selected pixel 27 is changed, and the matching process between the teacher image 26 and the whole image is performed again. Here, the selection order of the selection pixels 27 is, for example, as shown in FIG. 14, lowering from the upper left pixel, and when reaching the lowermost pixel, the selection pixel 27 is raised to the uppermost pixel in the adjacent column and lowered again. However, it goes without saying that the selection order of the selected pixels 27 is not limited to this. In addition, the selected pixel 27 is the extracted thermal image 13
When the teacher image 26 is within a few pixels from above, if the teacher image 26 is rotated upward, it will come out of the extracted thermal image 13 and an accurate matching process cannot be performed, so the rotation process may be omitted. Similarly, when the selected pixel 27 is within several pixels from the bottom of the extracted thermal image 13, the process of rotating the teacher image 26 downward may be omitted. Furthermore, when the selected pixel 27 is within a range shorter than the teacher image 26 from the right end of the extracted thermal image 13, the matching process may be omitted because the right end of the teacher image 26 jumps out of the entire image.
By omitting such unnecessary processing, the overall processing speed can be increased.
【0042】そして、候補となる全ての選択画素27に
ついてマッチング処理を行ったか判断して(ステップ3
4)、未だで有れば(ステップ34;NO)、次の選択
画素27を選択して処理を続行する(ステップ31〜3
3)。候補の全ての選択画素27でマッチング処理が完
了すれば(ステップ34;YES)、全ての一致度から
最高の値となるものを選出する。そして、この最も一致
度の高い教師画像26の位置にアーム17の画像が位置
すると判断する。このアーム17の画像に基づいて、ア
ーム17の傾斜角度θと両端の位置を検出する(ステッ
プ35)。Then, it is determined whether or not matching processing has been performed for all the selected pixels 27 as candidates (step 3).
4) If it is not yet (step 34; NO), the next selected pixel 27 is selected and the process is continued (steps 31 to 3).
3). When the matching process is completed for all the selected pixels 27 of the candidates (Step 34; YES), the one having the highest value is selected from all the matching degrees. Then, it is determined that the image of the arm 17 is located at the position of the teacher image 26 having the highest matching degree. Based on the image of the arm 17, the inclination angle θ of the arm 17 and the positions of both ends are detected (step 35).
【0043】また、1本の配電柱14には通常1本のア
ーム17が取り付けられていると共に撮影された熱画像
3から画像抽出装置1により対象物2の配電柱14以外
の画像が削除されているので、アーム抽出手段18に入
力される画像には通常1本のアーム17が存在してい
る。このため、画像からアーム17を抽出する精度を高
く維持することができる。Also, one power pole 14 is usually provided with one arm 17, and an image other than the power pole 14 of the object 2 is deleted from the thermal image 3 taken by the image extracting device 1. Therefore, there is usually one arm 17 in the image input to the arm extracting means 18. Therefore, the accuracy of extracting the arm 17 from the image can be kept high.
【0044】次に、温度勾配算出手段19で、図16に
示すようにアーム17に沿った画素ごとにアーム17に
直交した方向Yに走査して、アーム17と直交する成分
の温度の変化率(以下、温度勾配と呼ぶ)を求める。こ
こで、熱画像3は、赤外線カメラ11で得られた温度デ
ータを例えば256階調の輝度で可視化したものであ
る。このため、熱画像3から得られる輝度値よりも赤外
線カメラ11で直接得られる温度データの値を使用した
方が高い温度分解能を得ることができる。そこで、本実
施形態では柱上機材15やその周辺の温度を検出するた
めに、熱画像3の各画素に対応する輝度値を利用せず
に、各画素に対応する温度データを使用している。Next, the temperature gradient calculating means 19 scans each pixel along the arm 17 in the direction Y orthogonal to the arm 17 as shown in FIG. (Hereinafter, referred to as a temperature gradient). Here, the thermal image 3 is obtained by visualizing the temperature data obtained by the infrared camera 11 with, for example, 256 levels of luminance. Therefore, a higher temperature resolution can be obtained by using the value of the temperature data directly obtained by the infrared camera 11 than by using the luminance value obtained from the thermal image 3. Therefore, in the present embodiment, in order to detect the temperature of the pole equipment 15 and its surroundings, the temperature data corresponding to each pixel is used without using the luminance value corresponding to each pixel of the thermal image 3. .
【0045】具体的には、図16に示すように抽出され
たアーム17上の1画素から該アーム17に直交する方
向Yに向けて5画素おきに30画素までの7画素を設定
する。そして、7画素のそれぞれを中心とする5×5画
素の画素組を設定して、各画素組に対応する温度の平均
I1〜I7を求める。さらに、7箇所の画素組の隣接す
るもの同士の平均温度差分を求め、数式3に示すように
差分(温度勾配)の絶対値の累積を累積温度勾配Txと
する。Specifically, as shown in FIG. 16, seven pixels are set from one pixel on the extracted arm 17 to 30 pixels every five pixels in the direction Y orthogonal to the arm 17. Then, a pixel set of 5 × 5 pixels centering on each of the seven pixels is set, and the averages I 1 to I 7 of the temperatures corresponding to each pixel set are obtained. Further, an average temperature difference between adjacent ones of the set of pixels 7 places, the cumulative absolute value of the difference (temperature gradient) as shown in Equation 3, the cumulative temperature gradient T x.
【数3】 この累積温度勾配Txをアーム17に沿った全画素につ
いて求める。そして、図17〜図19に示すように、ア
ーム方向の画素値と各画素における累積温度勾配Txの
関係を求める。(Equation 3) This cumulative temperature gradient Tx is obtained for all pixels along the arm 17. Then, as shown in FIGS. 17 to 19, determining the relationship between the cumulative temperature gradient T x in the arm direction of the pixel values and the pixel.
【0046】次に、図17〜図19に示すアーム方向の
画素値と各画素における累積温度勾配Txの関係のグラ
フを用いて、異常判定手段20により各柱上機材15同
士の最大累積温度勾配Txの差を求める。その一方、図
20に示すように、健全機材および不良機材の実際の温
度差と健全機材および不良機材の最大累積温度勾配T x
の差との関係を求めておく。この関係は、撮影するカメ
ラ11,12の解像度や柱上機材15の高さ等によって
異なるので、測定を開始する前に予め決定しておく。Next, the arm direction shown in FIGS.
Pixel value and cumulative temperature gradient T at each pixelxRelationship Gra
And the on-pillar equipment 15
The maximum cumulative temperature gradient TxFind the difference between Meanwhile, the figure
As shown in FIG. 20, the actual temperature of
Difference and maximum cumulative temperature gradient T of healthy equipment and defective equipment x
Find the relationship with the difference. This relationship is
Depending on the resolution of the
Since they are different, they are determined before starting the measurement.
【0047】本実施形態では、最大累積温度勾配の差の
値が10℃以上である場合に最大累積温度勾配の大きい
方の柱上機材15が異常発熱して動作不良を起こしてい
ると判断している。すなわち、図20に示すように、健
全機材よりも温度が2℃以上高い柱上機材15を不良機
材と判断している。In this embodiment, when the value of the difference of the maximum cumulative temperature gradient is 10 ° C. or more, it is determined that the pole equipment 15 having the larger maximum cumulative temperature gradient is abnormally heated and malfunctions. ing. That is, as shown in FIG. 20, the pole equipment 15 whose temperature is higher than the healthy equipment by 2 ° C. or more is determined to be defective equipment.
【0048】アーム方向の画素値と各画素における累積
温度勾配Txの関係として、例えば図17および図18
に示す結果が得られた場合は、3つのピン碍子の最大累
積温度勾配の差が10℃以内であるので、全て健全機材
であると判断することができる。FIGS. 17 and 18 show the relationship between the pixel value in the arm direction and the cumulative temperature gradient Tx at each pixel.
Is obtained, the difference between the maximum cumulative temperature gradients of the three pin insulators is within 10 ° C., so that it can be determined that all of them are sound equipment.
【0049】また、アーム方向の画素値と各画素におけ
る累積温度勾配Txの関係として、例えば図19に示す
結果が得られた場合は、中央のピン碍子の最大累積温度
勾配が両端のピン碍子の最大累積温度勾配に比べて10
℃以上高いので、中央のピン碍子が不良機材であると判
断することができる。[0049] Further, as the relationship of the cumulative temperature gradient T x in the arm direction of the pixel values and the pixel, for example, if the result is obtained as shown in FIG. 19, the maximum cumulative temperature gradient in the center of the pin insulator is across pins insulators 10 compared to the maximum cumulative temperature gradient of
Since the temperature is higher than ℃, it can be determined that the center pin insulator is defective.
【0050】なお、上述の実施形態は本発明の好適な実
施の一例ではあるがこれに限定されるものではなく本発
明の要旨を逸脱しない範囲において種々変形実施可能で
ある。例えば、本実施形態では、最大累積温度勾配の差
の値が10℃以上である場合に最大累積温度勾配の大き
い方の柱上機材15を不良機材と判断するようにしてい
るが、判断基準としては10℃以上に限られず、例えば
5℃などの他の値でも良い。また、本実施形態では健全
機材および不良機材の実際の温度差と健全機材および不
良機材の最大累積温度勾配Txの差とは図20に示す関
係としているが、これには限られず撮影するカメラ1
1,12の解像度や柱上機材15の高さ等によっては他
の関係になる。すなわち、図20に示す関係は一例に過
ぎず、実際の装置16や対象物2に応じて予め健全機材
および不良機材の実際の温度差と健全機材および不良機
材の最大累積温度勾配Txの差との関係を求めておき、
最大累積温度勾配Txの差がどの程度であれば不良機材
であるかを判断する閾値を設定しておくようにする。The above embodiment is an example of a preferred embodiment of the present invention, but the present invention is not limited to this, and various modifications can be made without departing from the spirit of the present invention. For example, in the present embodiment, when the value of the difference of the maximum cumulative temperature gradient is equal to or more than 10 ° C., the pole device 15 having the larger maximum cumulative temperature gradient is determined as the defective device. Is not limited to 10 ° C. or more, and may be another value such as 5 ° C. The camera in the difference between the maximum cumulative temperature gradient T x of the actual temperature difference and sound equipment and bad equipment sound gear and bad gear in this embodiment although the relationship shown in FIG. 20, to which the shooting not limited 1
Depending on the resolution of 1, 12 or the height of the pole equipment 15, another relationship may be obtained. That is, the relationship shown in FIG. 20 is only an example, the difference between the actual device 16 and the object 2 maximum accumulated temperature gradient T x of the actual temperature difference and sound equipment and bad equipment previously healthy gear and bad gear in accordance with the Seeking a relationship with
The difference between the maximum cumulative temperature gradient T x so as setting the threshold for determining whether the bad gear if what extent.
【0051】また、上述した実施形態では柱上機材15
としてピン碍子の画像を抽出しているが、これには限ら
れず耐張碍子や開閉器等の画像を抽出するようにしても
良い。これらの場合も、柱上機材15がアーム17に取
り付けられているので、柱上機材15の画像抽出および
異常判定を高精度にできると共にその自動化を促進でき
る。In the above embodiment, the onboard equipment 15
Although the image of the pin insulator is extracted as described above, the invention is not limited to this, and an image of a tension insulator, a switch, or the like may be extracted. Also in these cases, since the pole equipment 15 is attached to the arm 17, image extraction and abnormality determination of the pole equipment 15 can be performed with high accuracy and automation thereof can be promoted.
【0052】さらに、上述した実施形態では教師画像2
6と抽出後熱画像13とのマッチング処理を高次局所自
己相関特徴の特徴ベクトルの比較により行っているが、
これには限られず既知のあるいは新規の画像マッチング
手法を使用することができる。この場合も、カメラ1
1,12の設置を容易にして簡易に測定できるようにな
ると共に、人為的な作業を要さずに柱上機材15の画像
抽出を行うことができるようになる。Further, in the above embodiment, the teacher image 2
6 and the extracted thermal image 13 are compared by comparing feature vectors of higher-order local autocorrelation features.
The present invention is not limited to this, and a known or new image matching method can be used. Also in this case, camera 1
In addition to making the installation of the first and the second equipment 12 easier, the measurement can be easily performed, and the image of the pole equipment 15 can be extracted without requiring any artificial work.
【0053】そして、上述した実施形態では、画像一致
手段9は距離画像5を変換行列Hによって熱画像3と一
致するように変換してから変換後の距離画像5’中で対
象物2を特定しているが、順序としてはこれに限られず
変換前の距離画像5の中で対象物2を特定してから該対
象物2を変換行列Hによって熱画像3と一致するように
変換しても良い。あるいは、上述した実施形態では距離
画像5を変換行列Hによって熱画像3と一致するように
変換しているが、これには限られず熱画像3を変換逆行
列H−1によって距離画像5と一致するように変換し
て、対象物2は不変換の距離画像5で特定するようにし
ても良い。この場合は、画像抽出手段10において、距
離画像5中の対象物2の位置を変換後の熱画像に移し
て、該熱画像から対象物2を抽出する。In the above-described embodiment, the image matching means 9 converts the distance image 5 so as to match the thermal image 3 by the conversion matrix H, and then specifies the object 2 in the converted distance image 5 '. However, the order is not limited to this. Even if the target 2 is specified in the distance image 5 before conversion, the target 2 is converted by the conversion matrix H so as to match the thermal image 3. good. Alternatively, in the above-described embodiment, the distance image 5 is converted by the conversion matrix H so as to match the thermal image 3. However, the present invention is not limited to this, and the thermal image 3 matches the distance image 5 by the conversion inverse matrix H -1 . The target object 2 may be identified by the unconverted distance image 5. In this case, the position of the object 2 in the distance image 5 is transferred to the converted thermal image in the image extracting means 10, and the object 2 is extracted from the thermal image.
【0054】また、上述した実施形態では、温度勾配算
出手段19で温度データを使用して温度勾配を算出して
いるが、これには限られず熱画像3の輝度値をそのまま
利用しても良い。この場合、温度データを得られずに熱
画像3のみしか利用できない場合でも温度勾配を求める
ことができる。In the above embodiment, the temperature gradient is calculated by the temperature gradient calculating means 19 using the temperature data. However, the present invention is not limited to this, and the luminance value of the thermal image 3 may be used as it is. . In this case, even when only the thermal image 3 can be used without obtaining the temperature data, the temperature gradient can be obtained.
【0055】さらに、上述した各実施形態では画像抽出
装置1および異常検出装置16はコンピュータシステム
から構成されるものとしているが、これには限られな
い。例えば、上述した画像抽出方法や異常検出方法をコ
ンピュータに実行させるためのプログラムを使用して汎
用コンピュータを作動させることにより実行することも
できる。Further, in each of the above-described embodiments, the image extracting device 1 and the abnormality detecting device 16 are configured by computer systems, but are not limited thereto. For example, it can be executed by operating a general-purpose computer using a program for causing a computer to execute the above-described image extraction method and abnormality detection method.
【0056】ここでの画像抽出プログラムは、距離画像
作成手段6と、対応点抽出手段7と、行列作成手段8
と、画像一致手段9と、画像抽出手段10として機能さ
せるようにしている。また、異常検出プログラムは、距
離画像作成手段6と、対応点抽出手段7と、行列作成手
段8と、画像一致手段9と、画像抽出手段10と、アー
ム抽出手段18と、温度勾配算出手段19と、異常判定
手段20として機能させるようにしている。Here, the image extracting program includes a distance image creating means 6, a corresponding point extracting means 7, and a matrix creating means 8.
And an image matching unit 9 and an image extracting unit 10. Further, the abnormality detection program includes a distance image creating means 6, a corresponding point extracting means 7, a matrix creating means 8, an image matching means 9, an image extracting means 10, an arm extracting means 18, a temperature gradient calculating means 19 And function as the abnormality determination means 20.
【0057】これらの場合はプログラムを汎用コンピュ
ータに実行させているが、これには限られずこの方法を
専用のコンピュータから成る独立した装置に実行させる
ようにしても良い。さらに、上述した実施形態では、画
像抽出方法をコンピュータに実行させているが、これに
は限られずこの方法をシーケンス回路に実行させるよう
にしても良い。いずれの場合も、カメラ11,12の設
置を容易にして簡易に測定できるようになると共に、柱
上機材15の画像抽出の自動化を促進できるので、自動
配電設備点検装置の実現に貢献できる。In these cases, the program is executed by a general-purpose computer. However, the present invention is not limited to this, and the method may be executed by an independent device including a dedicated computer. Further, in the above-described embodiment, the computer executes the image extracting method. However, the present invention is not limited to this. The image extracting method may be executed by a sequence circuit. In any case, the installation of the cameras 11 and 12 can be facilitated and the measurement can be performed easily, and the automation of the image extraction of the pole equipment 15 can be promoted, which can contribute to the realization of an automatic power distribution equipment inspection device.
【0058】[0058]
【実施例】(実施例1)図1に示す異常検出装置16を
利用して、図21に示す対象物2の累積温度勾配算出を
行った。同図に示すように、カメラ11,12と対象物
2との間隔は3m、該対象物2と背景物28との間隔は
1.5mとした。EXAMPLE 1 Using the abnormality detection device 16 shown in FIG. 1, the cumulative temperature gradient of the object 2 shown in FIG. 21 was calculated. As shown in the figure, the distance between the cameras 11 and 12 and the object 2 is 3 m, and the distance between the object 2 and the background object 28 is 1.5 m.
【0059】また、対象物2および背景物28は、いず
れも3つの柱上機材15とした。さらに、対象物2の中
央の柱上機材15と背景物28の右側の柱上機材とは、
他の柱上機材に比べて3.6℃高く設定した。The object 2 and the background object 28 were all three pillar-mounted devices 15. Further, the on-column equipment 15 in the center of the object 2 and the on-column equipment on the right side of the background object 28 are:
The temperature was set to be 3.6 ° C higher than other on-pole equipment.
【0060】このとき撮影された熱画像3を図4に、可
視画像4を図2に、作成された距離画像5を図3に、変
換された距離画像5’を図5に、抽出後熱画像13を図
6にそれぞれ示す。また、測定結果を図22の「距離情
報有」の線で示す。同図に示すように、背景物28の影
響を受けることなく、対象物2の中央の柱上機材15の
みが高温であることが検出されている。The thermal image 3 taken at this time is shown in FIG. 4, the visible image 4 is shown in FIG. 2, the created distance image 5 is shown in FIG. 3, the converted distance image 5 'is shown in FIG. Images 13 are shown in FIG. In addition, the measurement result is indicated by the line “with distance information” in FIG. As shown in the figure, it is detected that only the on-column equipment 15 at the center of the target object 2 has a high temperature without being affected by the background object 28.
【0061】(比較例)実施例1と同様に、図1に示す
異常検出装置16を利用して、図21に示す対象物2の
撮影および温度勾配算出を行った。実施例1との違い
は、画像抽出装置1で距離情報を利用すること無く対象
物2の画像抽出を行ったことである。(Comparative Example) As in the first embodiment, the photographing of the object 2 and the calculation of the temperature gradient shown in FIG. 21 were performed using the abnormality detection device 16 shown in FIG. The difference from the first embodiment is that an image of the object 2 is extracted by the image extracting device 1 without using the distance information.
【0062】測定結果を図22の「距離情報無」の線で
示す。同図に示すように、背景物28の影響を受けてし
まい、中央と右側の柱上機材が高温であるように検出さ
れている。The measurement result is shown by the line “no distance information” in FIG. As shown in the drawing, the influence of the background object 28 has been detected, and it has been detected that the on-center equipment on the center and the right side has a high temperature.
【0063】したがって、本発明の異常検出装置16に
よれば、実施例1のように画像抽出装置1で距離情報を
使用して対象物2の抽出を行っているので、背景の影響
を極力抑制することができる。Therefore, according to the abnormality detecting device 16 of the present invention, since the object 2 is extracted using the distance information in the image extracting device 1 as in the first embodiment, the influence of the background is minimized. can do.
【0064】(実施例2)図1に示す異常検出装置16
を利用して、図23に示す対象物2の累積温度勾配算出
を行った。カメラ11,12と対象物2との間隔は3m
とした。また、対象物2は3つの柱上機材15とした。
さらに、対象物2の中央の柱上機材15にテープ状ヒー
タ29を取り付けて、スライダック30で温度を制御し
た。(Embodiment 2) The abnormality detection device 16 shown in FIG.
Was used to calculate the cumulative temperature gradient of the object 2 shown in FIG. The distance between the cameras 11 and 12 and the object 2 is 3 m
And In addition, the object 2 was made up of three pillar-mounted devices 15.
Furthermore, a tape-shaped heater 29 was attached to the on-column equipment 15 at the center of the object 2, and the temperature was controlled by a sliderac 30.
【0065】累積温度勾配算出の結果を図17〜図19
に示す。図17は加熱無し、即ち3つの柱上機材15が
全て室温である場合、図18は0.6℃加熱した場合、
図19は1.2℃加熱した場合をそれぞれ示す。そし
て、これらの関係から算出された健全機材および不良機
材の実際の温度差と健全機材および不良機材の最大累積
温度勾配Txの差との関係を図20に示す。FIGS. 17 to 19 show the results of the cumulative temperature gradient calculation.
Shown in FIG. 17 shows no heating, that is, when all the three pillar-mounted devices 15 are at room temperature, and FIG.
FIG. 19 shows the case of heating at 1.2 ° C., respectively. Then, showing the relationship between the difference between the maximum cumulative temperature gradient T x of the actual temperature difference and sound equipment and bad equipment sound gear and bad gear calculated from these relationships in Figure 20.
【0066】図17に示すように、全ての柱上機材15
が健全であっても各々に累積温度勾配のばらつきがあっ
て必ずしも等しくはならない。本実施例によれば、この
ばらつきが3℃程度であった。また、図18および図1
9を参照すると、健全機材に対して最大累積温度勾配T
xの差が10℃以上あるときに、実際の健全機材に対し
て明らかな温度差が表れている。As shown in FIG. 17, all of the on-post equipment 15
Are healthy, they do not always become equal due to variations in the accumulated temperature gradients. According to the present embodiment, this variation was about 3 ° C. 18 and FIG.
Referring to FIG. 9, the maximum cumulative temperature gradient T
When the difference in x is 10 ° C. or more, a clear temperature difference appears for the actual healthy equipment.
【0067】そこで、健全機材との最大累積温度勾配T
xの差が10℃以上あるときに異常であると判断するの
が妥当であると考えられる。このとき、図20より、健
全機材および不良機材の温度差は2℃以上であると判断
される。Therefore, the maximum cumulative temperature gradient T with the healthy equipment
It is considered appropriate to judge that x is abnormal when the difference of x is 10 ° C. or more. At this time, it is determined from FIG. 20 that the temperature difference between the healthy equipment and the defective equipment is 2 ° C. or more.
【0068】(実施例3)図1に示す異常検出装置16
を利用して、図24に示す対象物2の累積温度勾配算出
を行った。カメラ11,12と対象物2との間隔は3m
とした。また、対象物2は3つの柱上機材15とした。
さらに、対象物2の中央の柱上機材15にテープ状ヒー
タ29を取り付けて、スライダック30で温度を制御し
た。そして、対象物2の背後に温風器31を設置した。
これは、対象物2の背後の温度を一様にするためであ
る。(Embodiment 3) The abnormality detecting device 16 shown in FIG.
Was used to calculate the cumulative temperature gradient of the object 2 shown in FIG. The distance between the cameras 11 and 12 and the object 2 is 3 m
And In addition, the object 2 was made up of three pillar-mounted devices 15.
Furthermore, a tape-shaped heater 29 was attached to the on-column equipment 15 at the center of the object 2, and the temperature was controlled by a sliderac 30. And the warm air blower 31 was installed behind the object 2.
This is to make the temperature behind the object 2 uniform.
【0069】得られた累積温度勾配算出の結果から、背
景および不良機材の実際の温度差と背景および不良機材
の最大累積温度勾配Txの差との関係を求めた。その結
果を図25に示す。[0069] From the results of the cumulative temperature gradient calculation obtained to determine the relationship between the difference between the background and the maximum accumulated temperature gradient T x of the actual temperature difference and background and poor equipment failure gear. FIG. 25 shows the result.
【0070】同図に示すように、実施例2と同様に最大
累積温度勾配Txの差が10℃以上有れば良いとする
と、背景と不良機材とは0.8℃以上の温度差があれば
区別できることが分かった。したがって、不良機材の発
熱が背景よりも僅か0.8℃程度であっても、大きな影
響を受けること無く異常判定を行うことができる。[0070] As shown in the figure, when the difference between similarly maximum accumulated temperature gradient T x to that of Example 2, and it is sufficient 10 ° C. or higher, the temperature difference above 0.8 ° C. The background and poor equipment It turned out that it could be distinguished. Therefore, even if the heat generation of the defective device is only about 0.8 ° C. lower than the background, the abnormality determination can be performed without being greatly affected.
【0071】[0071]
【発明の効果】以上の説明より明らかなように、請求項
1または2記載の画像抽出方法および請求項3記載の画
像抽出装置ならびに請求項4記載の画像抽出プログラム
によれば、複数の可視画像および熱画像の撮影時に各カ
メラの視野を一致させる必要が無い。このため、赤外線
カメラおよび可視光カメラの厳密な位置合わせを不要に
できるので、カメラの位置合わせの作業を容易化でき
る。また、カメラを含めた画像抽出装置の高い剛性が不
要に成るので、装置の大型化や重量化を抑えることがで
きる。As is apparent from the above description, according to the image extracting method according to claim 1 or 2, the image extracting apparatus according to claim 3, and the image extracting program according to claim 4, a plurality of visible images can be obtained. In addition, it is not necessary to match the fields of view of the cameras when capturing a thermal image. This eliminates the need for precise positioning of the infrared camera and the visible light camera, thereby facilitating camera positioning. In addition, since high rigidity of the image extraction device including the camera is not required, the size and weight of the device can be suppressed.
【0072】一方、請求項5記載の配電柱の柱上機材の
異常検出方法および請求項6記載の配電柱の柱上機材の
異常検出装置ならびに請求項7記載の配電柱の柱上機材
の異常検出プログラムによれば、柱上機材を撮影するカ
メラの位置合わせの作業を容易化できると共に装置の大
型化や重量化を抑えることができるので、柱上機材の異
常判定を簡易に行うことができるようになる。しかも、
柱上機材の撮影から異常検出まで人為的な作業を不要に
できるので、全工程の自動化を図ることができる。On the other hand, a method for detecting an abnormality of a pole on a distribution pole according to claim 5, a device for detecting an abnormality of a pole on a distribution pole according to claim 6, and an abnormality of a pole on a distribution pole according to claim 7. According to the detection program, the work of positioning the camera for photographing the pole equipment can be facilitated, and the size and weight of the apparatus can be suppressed, so that the abnormality determination of the pole equipment can be easily performed. Become like Moreover,
Since no artificial work is required from photographing the equipment on the pole to detecting an abnormality, the entire process can be automated.
【図1】本発明に係る画像抽出装置および配電柱の柱上
機材の異常検出装置を示すブロック図である。FIG. 1 is a block diagram showing an image extraction device and an abnormality detection device for pole equipment on a distribution pole according to the present invention.
【図2】可視画像を示す図である。FIG. 2 is a diagram showing a visible image.
【図3】距離画像を示す図である。FIG. 3 is a diagram showing a distance image.
【図4】熱画像を示す図である。FIG. 4 is a diagram showing a thermal image.
【図5】変換後の距離画像を示す図である。FIG. 5 is a diagram showing a converted distance image.
【図6】抽出後熱画像を示す図である。FIG. 6 is a diagram showing a thermal image after extraction.
【図7】変換行列を求めるための概念図である。FIG. 7 is a conceptual diagram for obtaining a transformation matrix.
【図8】本発明に係る画像抽出方法および配電柱の柱上
機材の異常検出方法を示すフローチャートである。FIG. 8 is a flowchart showing a method for extracting an image and a method for detecting an abnormality of a pole equipment of a distribution pole according to the present invention.
【図9】画像一致工程での処理手順を示すフローチャー
トである。FIG. 9 is a flowchart illustrating a processing procedure in an image matching step.
【図10】可視画像を示す図である。FIG. 10 is a diagram showing a visible image.
【図11】エッジ画像を示す図である。FIG. 11 is a diagram showing an edge image.
【図12】コニック候補画像を示す図である。FIG. 12 is a diagram showing a conic candidate image.
【図13】コニック画像を示す図である。FIG. 13 is a diagram showing a conic image.
【図14】抽出後熱画像でアームを探索する様子を示す
図である。FIG. 14 is a diagram illustrating a state in which an arm is searched for in an extracted thermal image.
【図15】アーム抽出工程での処理手順を示すフローチ
ャートである。FIG. 15 is a flowchart showing a processing procedure in an arm extraction step.
【図16】累積温度勾配を算出する様子を示す概略図で
ある。FIG. 16 is a schematic diagram showing how to calculate a cumulative temperature gradient.
【図17】加熱無しの場合におけるアーム方向の画素値
と各画素における累積温度勾配の関係を示すグラフであ
る。FIG. 17 is a graph showing a relationship between a pixel value in an arm direction and a cumulative temperature gradient in each pixel when no heating is performed.
【図18】0.6℃加熱の場合におけるアーム方向の画
素値と各画素における累積温度勾配の関係を示すグラフ
である。FIG. 18 is a graph showing the relationship between the pixel value in the arm direction and the cumulative temperature gradient in each pixel when heating at 0.6 ° C.
【図19】1.2℃加熱の場合におけるアーム方向の画
素値と各画素における累積温度勾配の関係を示すグラフ
である。FIG. 19 is a graph showing the relationship between the pixel value in the arm direction and the cumulative temperature gradient in each pixel when heating at 1.2 ° C.
【図20】健全機材および不良機材の実際の温度差と健
全機材および不良機材の最大累積温度勾配Txの差との
関係を示すグラフである。20 is a graph showing the relationship between the actual difference between the maximum cumulative temperature gradient T x temperature difference and sound equipment and bad equipment sound gear and bad gear.
【図21】実施例1の測定物を示す斜視図である。FIG. 21 is a perspective view showing a measurement object of Example 1.
【図22】実施例1および比較例の結果を示すグラフで
ある。FIG. 22 is a graph showing the results of Example 1 and Comparative Example.
【図23】実施例2の測定物を示す斜視図である。FIG. 23 is a perspective view showing a measured object of Example 2.
【図24】実施例3の測定物を示す斜視図である。FIG. 24 is a perspective view showing a measurement object of Example 3.
【図25】実施例3の結果を示すグラフである。FIG. 25 is a graph showing the results of Example 3.
1 画像抽出装置 2 対象物 3 熱画像 4 可視画像 5 距離画像 6 距離画像作成手段 7 対応点抽出手段 8 行列作成手段 9 画像一致手段 10 画像抽出手段 11 赤外線カメラ 12 可視光カメラ 14 配電柱 15 柱上機材 16 配電柱の柱上機材の異常検出装置 17 アーム 18 アーム抽出手段 19 温度勾配算出手段 20 異常判定手段 DESCRIPTION OF SYMBOLS 1 Image extraction apparatus 2 Object 3 Thermal image 4 Visible image 5 Distance image 6 Distance image creation means 7 Corresponding point extraction means 8 Matrix creation means 9 Image matching means 10 Image extraction means 11 Infrared camera 12 Visible light camera 14 Distribution pole 15 pillar Upper equipment 16 Abnormality detector for pole equipment on distribution pole 17 Arm 18 Arm extraction means 19 Temperature gradient calculation means 20 Abnormality judgment means
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 1/00 315 G06T 1/00 315 5C054 7/60 180 7/60 180B 5L096 H04N 5/225 H04N 5/225 C 7/18 7/18 K Fターム(参考) 2F065 AA06 AA51 CC00 FF05 FF09 FF69 GG09 JJ03 JJ05 QQ00 QQ17 QQ21 QQ25 QQ32 QQ33 QQ38 QQ41 2F112 AC06 BA01 BA16 DA28 FA32 FA38 FA41 2G066 AC09 BA14 CA04 CA14 5B057 AA19 BA02 BA08 BA11 CA12 CA16 CB01 CB13 CB16 CE16 DA01 DA07 DB03 DB06 DC09 DC16 5C022 AA01 AA15 5C054 AA01 AA04 CA04 CA05 FC12 FC15 HA05 HA20 5L096 AA02 AA09 BA03 BA18 CA05 DA04 EA45 FA04 FA06 FA15 GA12 GA41 HA01 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G06T 1/00 315 G06T 1/00 315 5C054 7/60 180 7/60 180B 5L096 H04N 5/225 H04N 5 / 225 C 7/18 7/18 K F term (reference) 2F065 AA06 AA51 CC00 FF05 FF09 FF69 GG09 JJ03 JJ05 QQ00 QQ17 QQ21 QQ25 QQ32 QQ33 QQ38 QQ41 2F112 AC06 BA01 BA16 DA28 FA32 FA38 FA41 2G066 AC09 BA04 BA04 CA12 CA16 CB01 CB13 CB16 CE16 DA01 DA07 DB03 DB06 DC09 DC16 5C022 AA01 AA15 5C054 AA01 AA04 CA04 CA05 FC12 FC15 HA05 HA20 5L096 AA02 AA09 BA03 BA18 CA05 DA04 EA45 FA04 FA06 FA15 GA12 GA41 HA01
Claims (7)
めた距離情報に基づき距離ごとに色を変えた距離画像を
作成する距離画像作成工程と、前記対象物の熱画像およ
び前記距離画像の対応点を求める対応点抽出工程と、前
記距離画像および前記熱画像の前記対応点を一致させる
変換行列を求める行列作成工程と、前記距離画像中で前
記対象物を特定すると共に該特定の前または後に前記距
離画像の前記対象物を含む領域および前記熱画像の一方
を前記変換行列により変換して両画像を一致させる画像
一致工程と、前記一致後に前記距離画像中の前記対象物
の位置を利用して前記熱画像から前記対象物を抽出する
画像抽出工程とを備えることを特徴とする画像抽出方
法。1. A distance image creating step of creating a distance image in which a color is changed for each distance based on distance information obtained from a plurality of visible images of an object, and a thermal image of the object and a distance image of the distance image. A corresponding point extraction step of finding a corresponding point, a matrix creation step of finding a transformation matrix that matches the corresponding points of the distance image and the thermal image, and specifying the target object in the distance image and before the specific or An image matching step of converting one of the region including the object and the thermal image of the distance image using the conversion matrix to match the two images, and using the position of the object in the distance image after the matching An image extracting step of extracting the object from the thermal image.
前記変換行列により変換して前記熱画像に一致させてか
ら、変換後の前記距離画像中で前記対象物を特定するこ
とを特徴とする請求項1記載の画像抽出方法。2. In the image matching step, the distance image is converted by the conversion matrix to match the thermal image, and then the object is specified in the converted distance image. The image extraction method according to claim 1.
めた距離情報に基づき距離ごとに色を変えた距離画像を
作成する距離画像作成手段と、前記対象物の熱画像およ
び前記距離画像の対応点を求める対応点抽出手段と、前
記距離画像および前記熱画像の前記対応点を一致させる
変換行列を求める行列作成手段と、前記距離画像中で前
記対象物を特定すると共に該特定の前または後に前記距
離画像の前記対象物を含む領域および前記熱画像の一方
を前記変換行列により変換して両画像を一致させる画像
一致手段と、前記一致後に前記距離画像中の前記対象物
の位置を利用して前記熱画像から前記対象物を抽出する
画像抽出手段とを備えることを特徴とする画像抽出装
置。3. A distance image creating means for creating a distance image in which a color is changed for each distance based on distance information obtained from a plurality of visible images of an object, and a thermal image of the object and a distance image of the distance image. Corresponding point extracting means for finding corresponding points, matrix creating means for finding a transformation matrix that matches the corresponding points of the distance image and the thermal image, and specifying the object in the distance image and specifying the object before or Image matching means for converting one of the region including the object in the distance image and the thermal image using the conversion matrix to match the two images, and using the position of the object in the distance image after the matching Image extracting means for extracting the object from the thermal image.
利用して前記対象物の熱画像を抽出するためにコンピュ
ータを、対象物を撮影した複数の可視画像から求めた距
離情報に基づき距離ごとに色を変えた距離画像を作成す
る距離画像作成手段と、前記対象物の熱画像および前記
距離画像の対応点を求める対応点抽出手段と、前記距離
画像および前記熱画像の前記対応点を一致させる変換行
列を求める行列作成手段と、前記距離画像中で前記対象
物を特定すると共に該特定の前または後に前記距離画像
の前記対象物を含む領域および前記熱画像の一方を前記
変換行列により変換して両画像を一致させる画像一致手
段と、前記一致後に前記距離画像中の前記対象物の位置
を利用して前記熱画像から前記対象物を抽出する画像抽
出手段として機能させることを特徴とする画像抽出プロ
グラム。4. A computer for extracting a thermal image of the object using the thermal image of the object and the plurality of visible images, based on distance information obtained from the plurality of visible images of the object. A distance image creating unit that creates a distance image with a different color for each, a corresponding point extracting unit that determines a corresponding point of the thermal image of the object and the corresponding distance image, and a corresponding point of the corresponding distance image and the thermal image. Matrix creation means for determining a conversion matrix to be matched, and specifying the object in the distance image and specifying one of the region including the object in the distance image and the thermal image before or after the identification using the conversion matrix. Image matching means for converting and matching the two images, and functioning as image extracting means for extracting the object from the thermal image using the position of the object in the distance image after the matching. An image extraction program characterized by causing
とを備える配電柱を1台の赤外線カメラで撮影して熱画
像を得ると共に少なくとも2台の可視光カメラでステレ
オ撮影して各可視光カメラから1枚ずつの可視画像を得
て、得られた前記熱画像および複数の前記可視画像を請
求項1または2記載の画像抽出方法により処理して前記
熱画像から前記対象物を抽出して抽出後熱画像を作成
し、該抽出後熱画像から前記アームの画像を抽出して、
このアームの位置に基づいて前記柱上機材およびその周
辺の温度勾配を算出して前記柱上機材が正常か異常かを
判定することを特徴とする配電柱の柱上機材の異常検出
方法。5. A power distribution pole having an arm and a pole-mounted device provided on the arm is photographed with one infrared camera to obtain a thermal image, and stereoscopically photographed with at least two visible light cameras to obtain each visible light. Obtaining one visible image at a time from an optical camera, processing the obtained thermal image and a plurality of the visible images by the image extraction method according to claim 1 or 2, and extracting the object from the thermal image. To create a thermal image after extraction, to extract the image of the arm from the thermal image after the extraction,
A method for detecting an abnormality of a pole equipment of a power distribution pole, comprising calculating a temperature gradient of the pole equipment and its surroundings based on the position of the arm to determine whether the pole equipment is normal or abnormal.
とを備える配電柱を撮影する1台の赤外線カメラおよび
少なくとも2台の可視光カメラと、前記赤外線カメラで
得られた熱画像および前記可視光カメラで得られた複数
の前記可視画像に基づき前記熱画像から前記対象物を抽
出して抽出後熱画像を作成する請求項3記載の画像抽出
装置と、前記抽出後熱画像から前記アームの画像を抽出
するアーム抽出手段と、前記アームの位置に基づいて前
記柱上機材およびその周辺の温度勾配を算出する温度勾
配算出手段と、前記温度勾配から前記柱上機材が正常か
異常かを判定する異常判定手段とを備えることを特徴と
する配電柱の柱上機材の異常検出装置。6. An infrared camera and at least two visible light cameras for photographing a power distribution pole including an arm and a pole-mounted device provided on the arm, a thermal image obtained by the infrared camera, and The image extraction device according to claim 3, wherein the object is extracted from the thermal image based on the plurality of visible images obtained by a visible light camera to create a thermal image after extraction, and the arm from the thermal image after extraction. Arm extracting means for extracting the image of the above, temperature gradient calculating means for calculating the temperature gradient on the pole equipment and its surroundings based on the position of the arm, and whether the pole equipment is normal or abnormal based on the temperature gradient An abnormality detecting device for a pole-mounted device of a distribution pole, comprising: an abnormality determining means for determining.
とを備える配電柱を1台の赤外線カメラで撮影して熱画
像を得ると共に少なくとも2台の可視光カメラでステレ
オ撮影して各可視光カメラから1枚ずつの可視画像を得
て、得られた前記熱画像および複数の前記可視画像を利
用して前記柱上機材が正常か異常かを判定するためにコ
ンピュータを、複数の前記可視画像から求めた距離情報
に基づき距離ごとに色を変えた距離画像を作成する距離
画像作成手段と、前記熱画像および前記距離画像の対応
点を求める対応点抽出手段と、前記距離画像および前記
熱画像の前記対応点を一致させる変換行列を求める行列
作成手段と、前記距離画像中で前記対象物を特定すると
共に該特定の前または後に前記距離画像の前記対象物を
含む領域および前記熱画像の一方を前記変換行列により
変換して両画像を一致させる画像一致手段と、前記一致
後に前記距離画像中の前記対象物の位置を利用して前記
熱画像から前記対象物を抽出して抽出後熱画像を作成す
る画像抽出手段と、前記抽出後熱画像から前記アームの
画像を抽出するアーム抽出手段と、前記アームの位置に
基づいて前記柱上機材およびその周辺の温度勾配を算出
する温度勾配算出手段と、前記温度勾配から前記柱上機
材が正常か異常かを判定する異常判定手段として機能さ
せることを特徴とする配電柱の柱上機材の異常検出プロ
グラム。7. A power distribution pole having an arm and a pole-mounted device provided on the arm is photographed by one infrared camera to obtain a thermal image, and stereoscopic photographed by at least two visible light cameras to obtain a visible image. Obtaining a visible image one by one from an optical camera, and using the obtained thermal image and a plurality of the visible images, a computer to determine whether the pole equipment is normal or abnormal by using the plurality of visible images. A distance image creating means for creating a distance image in which a color is changed for each distance based on the distance information obtained from the image; a corresponding point extracting means for finding corresponding points of the thermal image and the distance image; Matrix creation means for finding a transformation matrix that matches the corresponding points of the image, and an area including the object in the distance image, specifying the object in the distance image before and after the identification; and Image matching means for converting one of the thermal images by the conversion matrix to match both images, and extracting the object from the thermal image using the position of the object in the distance image after the matching. Image extraction means for creating a post-extraction thermal image, arm extraction means for extracting the image of the arm from the post-extraction thermal image, and calculating the temperature gradient on the pole equipment and its surroundings based on the position of the arm A program for functioning as a temperature gradient calculating means and as an abnormality judging means for judging whether the equipment on the pole is normal or abnormal based on the temperature gradient, an abnormality detection program for the equipment on the pole of the distribution pole.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001175814A JP2002366953A (en) | 2001-06-11 | 2001-06-11 | Method, device and program for extracting image, and method, device and program for detecting abnormality of pole mounted equipment of distribution pole utilizing image extracting method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001175814A JP2002366953A (en) | 2001-06-11 | 2001-06-11 | Method, device and program for extracting image, and method, device and program for detecting abnormality of pole mounted equipment of distribution pole utilizing image extracting method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2002366953A true JP2002366953A (en) | 2002-12-20 |
Family
ID=19016885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001175814A Pending JP2002366953A (en) | 2001-06-11 | 2001-06-11 | Method, device and program for extracting image, and method, device and program for detecting abnormality of pole mounted equipment of distribution pole utilizing image extracting method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2002366953A (en) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005119175A1 (en) * | 2004-06-03 | 2005-12-15 | Matsushita Electric Industrial Co., Ltd. | Camera module |
JP2006350553A (en) * | 2005-06-14 | 2006-12-28 | Kyoto Univ | Corresponding point retrieval method, mutual location method, three-dimensional image measurement method, corresponding point retrieval device, mutual location device, three-dimensional image measurement device, corresponding point retrieval program and computer-readable recording medium with its program recorded |
JP2007147507A (en) * | 2005-11-29 | 2007-06-14 | Kurabo Ind Ltd | Spectrometry and optical spectrometer |
JP2008232898A (en) * | 2007-03-22 | 2008-10-02 | Railway Technical Res Inst | Peel detection method of concrete structure by passive infrared method, and infrared camera therefor |
JP2008232897A (en) * | 2007-03-22 | 2008-10-02 | Railway Technical Res Inst | Peel detection method of concrete structure by active infrared method |
JP2009014415A (en) * | 2007-07-02 | 2009-01-22 | National Institute Of Advanced Industrial & Technology | Object recognition device and method |
JP2013020543A (en) * | 2011-07-13 | 2013-01-31 | Yamaha Motor Co Ltd | Obstacle detection device for vehicle and vehicle using the same |
CN103884435A (en) * | 2014-04-03 | 2014-06-25 | 江苏物联网研究发展中心 | Electronic equipment infrared monitoring system |
KR101600316B1 (en) | 2014-12-12 | 2016-03-21 | 옵토파워주식회사 | Apparatus for diagnosing a switchboard with electromagnetic waves and temperature and method using the same |
CN108254077A (en) * | 2018-01-02 | 2018-07-06 | 国网上海市电力公司 | The GIS thermal fault detection methods merged based on part with global characteristics information |
KR20190063671A (en) * | 2017-11-30 | 2019-06-10 | (주)코어센스 | 3d thermal distribution display device using stereo camera and thermal camera |
WO2019163212A1 (en) * | 2018-02-22 | 2019-08-29 | コニカミノルタ株式会社 | Monitoring system and control method for monitoring system |
WO2021039160A1 (en) * | 2019-08-30 | 2021-03-04 | パナソニックIpマネジメント株式会社 | Stress analysis device |
JP2021092521A (en) * | 2019-12-12 | 2021-06-17 | 株式会社関電工 | Head-mounted type temperature distribution recognition device |
JP2021096128A (en) * | 2019-12-16 | 2021-06-24 | 旭化成テクノシステム株式会社 | Overheat monitoring device, switchboard, and overheat monitoring program |
KR20220114218A (en) * | 2021-02-08 | 2022-08-17 | 국민대학교산학협력단 | Method and apparatus for detecting coating area of printed circuit board |
WO2023058113A1 (en) * | 2021-10-05 | 2023-04-13 | 日本電気株式会社 | Analysis device, analysis method, and non-temporary computer-readable medium on which program is stored |
-
2001
- 2001-06-11 JP JP2001175814A patent/JP2002366953A/en active Pending
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005119175A1 (en) * | 2004-06-03 | 2005-12-15 | Matsushita Electric Industrial Co., Ltd. | Camera module |
US7385680B2 (en) | 2004-06-03 | 2008-06-10 | Matsushita Electric Industrial Co., Ltd. | Camera module |
JP2006350553A (en) * | 2005-06-14 | 2006-12-28 | Kyoto Univ | Corresponding point retrieval method, mutual location method, three-dimensional image measurement method, corresponding point retrieval device, mutual location device, three-dimensional image measurement device, corresponding point retrieval program and computer-readable recording medium with its program recorded |
JP4521568B2 (en) * | 2005-06-14 | 2010-08-11 | 国立大学法人京都大学 | Corresponding point search method, relative orientation method, three-dimensional image measurement method, corresponding point search device, relative orientation device, three-dimensional image measurement device, corresponding point search program, and computer-readable recording medium recording the corresponding point search program |
JP2007147507A (en) * | 2005-11-29 | 2007-06-14 | Kurabo Ind Ltd | Spectrometry and optical spectrometer |
JP2008232898A (en) * | 2007-03-22 | 2008-10-02 | Railway Technical Res Inst | Peel detection method of concrete structure by passive infrared method, and infrared camera therefor |
JP2008232897A (en) * | 2007-03-22 | 2008-10-02 | Railway Technical Res Inst | Peel detection method of concrete structure by active infrared method |
JP2009014415A (en) * | 2007-07-02 | 2009-01-22 | National Institute Of Advanced Industrial & Technology | Object recognition device and method |
JP2013020543A (en) * | 2011-07-13 | 2013-01-31 | Yamaha Motor Co Ltd | Obstacle detection device for vehicle and vehicle using the same |
CN103884435A (en) * | 2014-04-03 | 2014-06-25 | 江苏物联网研究发展中心 | Electronic equipment infrared monitoring system |
KR101600316B1 (en) | 2014-12-12 | 2016-03-21 | 옵토파워주식회사 | Apparatus for diagnosing a switchboard with electromagnetic waves and temperature and method using the same |
KR102041544B1 (en) * | 2017-11-30 | 2019-11-06 | (주)코어센스 | 3d thermal distribution display device using stereo camera and thermal camera |
KR20190063671A (en) * | 2017-11-30 | 2019-06-10 | (주)코어센스 | 3d thermal distribution display device using stereo camera and thermal camera |
CN108254077A (en) * | 2018-01-02 | 2018-07-06 | 国网上海市电力公司 | The GIS thermal fault detection methods merged based on part with global characteristics information |
CN108254077B (en) * | 2018-01-02 | 2020-04-28 | 国网上海市电力公司 | GIS thermal fault diagnosis method based on local and global feature information fusion |
JPWO2019163212A1 (en) * | 2018-02-22 | 2021-03-18 | コニカミノルタ株式会社 | Monitoring system and control method of monitoring system |
WO2019163212A1 (en) * | 2018-02-22 | 2019-08-29 | コニカミノルタ株式会社 | Monitoring system and control method for monitoring system |
JP7243707B2 (en) | 2018-02-22 | 2023-03-22 | コニカミノルタ株式会社 | Surveillance system and method of controlling the surveillance system |
WO2021039160A1 (en) * | 2019-08-30 | 2021-03-04 | パナソニックIpマネジメント株式会社 | Stress analysis device |
JP7209398B2 (en) | 2019-08-30 | 2023-01-20 | パナソニックIpマネジメント株式会社 | stress analyzer |
JPWO2021039160A1 (en) * | 2019-08-30 | 2021-03-04 | ||
JP2021092521A (en) * | 2019-12-12 | 2021-06-17 | 株式会社関電工 | Head-mounted type temperature distribution recognition device |
JP7395137B2 (en) | 2019-12-12 | 2023-12-11 | 株式会社関電工 | Head-mounted temperature distribution recognition device |
JP2021096128A (en) * | 2019-12-16 | 2021-06-24 | 旭化成テクノシステム株式会社 | Overheat monitoring device, switchboard, and overheat monitoring program |
JP7323440B2 (en) | 2019-12-16 | 2023-08-08 | 旭化成テクノシステム株式会社 | Overheat monitor, switchboard, overheat monitor program |
KR20220114218A (en) * | 2021-02-08 | 2022-08-17 | 국민대학교산학협력단 | Method and apparatus for detecting coating area of printed circuit board |
KR102509215B1 (en) * | 2021-02-08 | 2023-03-14 | 국민대학교산학협력단 | Method and apparatus for detecting coating area of printed circuit board |
WO2023058113A1 (en) * | 2021-10-05 | 2023-04-13 | 日本電気株式会社 | Analysis device, analysis method, and non-temporary computer-readable medium on which program is stored |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2002366953A (en) | Method, device and program for extracting image, and method, device and program for detecting abnormality of pole mounted equipment of distribution pole utilizing image extracting method | |
JP5580164B2 (en) | Optical information processing apparatus, optical information processing method, optical information processing system, and optical information processing program | |
JP5620200B2 (en) | Point cloud position data processing device, point cloud position data processing method, point cloud position data processing system, and point cloud position data processing program | |
JP5593177B2 (en) | Point cloud position data processing device, point cloud position data processing method, point cloud position data processing system, and point cloud position data processing program | |
JP5096303B2 (en) | Imaging device | |
US20070008312A1 (en) | Method for determining camera position from two-dimensional images that form a panorama | |
CN114727744A (en) | System and method for describing endoscope and automatically calibrating endoscope camera system | |
JP5096301B2 (en) | Imaging device | |
CN115176274A (en) | Heterogeneous image registration method and system | |
CN112949478A (en) | Target detection method based on holder camera | |
JP5091099B2 (en) | Imaging device | |
JP6615486B2 (en) | Camera calibration apparatus, method and program | |
JP2006250722A (en) | Device, method and program for calibration | |
KR101785202B1 (en) | Automatic Calibration for RGB-D and Thermal Sensor Fusion and Method thereof | |
CN113706635A (en) | Long-focus camera calibration method based on point feature and line feature fusion | |
Morgan et al. | Selection and installation of high resolution imaging to monitor the PBFAM process, and synchronization to post-build 3D computed tomography | |
JP5209099B2 (en) | Imaging device | |
JP4796535B2 (en) | Multi-conductor electric wire tracking method, apparatus and program by image processing, and multi-conductor electric wire abnormality detection method, apparatus and program using the same | |
JP2006317418A (en) | Image measuring device, image measurement method, measurement processing program, and recording medium | |
JP5209100B2 (en) | Imaging device | |
JP2019041208A (en) | Panoramic image generation system and setting device | |
Liu et al. | Multiple methods of geometric calibration of thermal camera and a method of extracting thermal calibration feature points | |
US20140184781A1 (en) | Furnace tube inspection | |
CN115908758B (en) | AR technology-based operation method and AR technology-based operation system for panoramic display of intelligent agricultural greenhouse | |
JP5209138B2 (en) | Imaging device |