JP7505867B2 - Image position specifying device, method, program, and temperature control system - Google Patents
Image position specifying device, method, program, and temperature control system Download PDFInfo
- Publication number
- JP7505867B2 JP7505867B2 JP2019162272A JP2019162272A JP7505867B2 JP 7505867 B2 JP7505867 B2 JP 7505867B2 JP 2019162272 A JP2019162272 A JP 2019162272A JP 2019162272 A JP2019162272 A JP 2019162272A JP 7505867 B2 JP7505867 B2 JP 7505867B2
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- image
- relative
- photographing
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 20
- 238000005259 measurement Methods 0.000 claims description 413
- 238000007689 inspection Methods 0.000 claims description 58
- 238000004364 calculation method Methods 0.000 claims description 56
- 238000003384 imaging method Methods 0.000 claims description 46
- 230000009466 transformation Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 239000003550 marker Substances 0.000 description 18
- 238000012545 processing Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 11
- 238000009826 distribution Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000009529 body temperature measurement Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 230000004807 localization Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Radiation Pyrometers (AREA)
Description
本開示は、計測対象物の温度の計測位置に対応する熱画像上の位置を特定(同定)する技術に関する。 This disclosure relates to a technique for identifying a position on a thermal image that corresponds to a measurement position of the temperature of an object to be measured.
特許文献1には、製鉄業における屋内又は屋外の生産設備(計測対象物)の検査作業を行う自走式検査装置が開示されている。この自走式検査装置は、GPSまたはSLAM技術により装置の位置を推定し、推定した位置に基づいて所定のルートに沿って進行する共に、自装置に搭載された可視画像(可視光画像)や熱画像を撮影する撮像装置や温度計測装置などを用いて検査作業を実行する。これによって、情報通信が困難なエリアや走行面が平らでないエリアであっても、生産設備の検査作業を実行ができるとされる。
しかしながら、特許文献1には、可視光画像や熱画像、温度計測装置などを用いた温度計測の手法についての具体的な開示はない。例えば、計測対象物が大型の場合には、計測対象物の温度は、計測対象物上の所望の位置の温度を計測することにより行う場合がある。この際、熱画像は、計測対象物の輪郭や表面の細部が不鮮明となり易く、目視や可視画像上では明確に区別し得る箇所であっても、熱画像に表れる計測位置の撮影位置や撮影方向が可視画像や目視の状況と異なる場合には、熱画像上でその計測位置を特定するのは容易ではない場合がある。
However,
また、計測対象物の同一の計測位置の温度を定期的に計測する場合において、所定の位置に設置した赤外カメラにより同一の撮影方向を計測する場合(定点計測)などには、この定期的な計測の度に撮影される熱画像における計測位置の位置は一致させることが可能なので、大きな問題は生じない。しかしながら、このような定点計測ではなく、赤外カメラを搭載した自走式検査装置などを予め指定した撮影位置に定期的に移動させて熱画像を撮影する場合には、その定期的な撮影を、同じ撮影位置でカメラ姿勢を同一にして行うことは現実的には困難である。このため、同じ撮影位置から同じ計測位置を撮影しようとして得た熱画像であっても計測対象物の写り方が異なり易く、熱画像上における目的の計測位置の位置を特定(同定)するのは容易ではない。さらに、この特定作業を人手で行うのは、多大な労力を必要とする。 In addition, when periodically measuring the temperature of the same measurement position on the object, for example when measuring the same shooting direction with an infrared camera installed at a specified position (fixed-point measurement), the measurement position in the thermal image taken each time the periodic measurement is performed can be made to match, so no major problems arise. However, instead of such fixed-point measurement, when taking thermal images by periodically moving a self-propelled inspection device equipped with an infrared camera to a pre-specified shooting position, it is practically difficult to take the periodic images at the same shooting position with the camera in the same position. For this reason, even if thermal images are obtained by attempting to shoot the same measurement position from the same shooting position, the measurement object is likely to appear differently, and it is not easy to specify (identify) the position of the target measurement position on the thermal image. Furthermore, performing this specification task manually requires a great deal of effort.
上述の事情に鑑みて、本発明の少なくとも一実施形態は、計測対象物の計測位置の熱画像における位置を精度良く特定することが可能な画像位置特定装置を提供することを目的とする。 In view of the above, at least one embodiment of the present invention aims to provide an image position identification device that can accurately identify the position of a measurement position of a measurement object in a thermal image.
本発明の少なくとも一実施形態に係る画像位置特定装置は、
計測対象物上の温度の計測位置に対応する熱画像上の画像位置を特定するための画像位置特定装置であって、
赤外カメラによる前記計測位置の撮影により得られる前記熱画像を取得するよう構成された熱画像取得部と、
取得された前記熱画像の撮影時の前記赤外カメラの画角および姿勢を含む撮影情報を取得するよう構成された撮影情報取得部と、
前記計測対象物の周囲の所定の位置に設けられた基準位置に対する前記熱画像の撮影位置の相対位置である相対撮影位置の計測結果を取得するよう構成された撮影位置取得部と、
予め測定されている、前記基準位置に対する前記計測位置の相対位置である相対計測位置の計測結果を取得するよう構成された計測位置取得部と、
前記相対撮影位置、前記相対計測位置および前記撮影情報に基づいて、前記相対計測位置に対応する前記画像位置を算出するよう構成された位置特定部と、を備える。
According to at least one embodiment of the present invention, an image localization device includes:
1. An image position identifying device for identifying an image position on a thermal image corresponding to a measurement position of a temperature on a measurement object, comprising:
A thermal image acquisition unit configured to acquire the thermal image obtained by photographing the measurement position with an infrared camera;
An imaging information acquisition unit configured to acquire imaging information including an angle of view and an attitude of the infrared camera when capturing the acquired thermal image;
an imaging position acquisition unit configured to acquire a measurement result of a relative imaging position, which is a relative position of the imaging position of the thermal image with respect to a reference position provided at a predetermined position around the measurement object;
a measurement position acquisition unit configured to acquire a measurement result of a relative measurement position, which is a relative position of the measurement position with respect to the reference position, which is measured in advance;
and a position specifying unit configured to calculate the image position corresponding to the relative measurement position based on the relative shooting position, the relative measurement position, and the shooting information.
本発明の少なくとも一実施形態に係る温度管理システムは、
上述した、計測対象物の温度の計測位置に対応する熱画像上の画像位置を特定するための画像位置特定装置と、
前記計測位置の前記熱画像を撮影するため自走式の自走式検査装置であって、
本体と、
前記本体を移動可能に支持する移動装置と、
前記本体に設置された、前記熱画像を撮像可能な赤外カメラと、
前記本体に設置された、前記画像位置の特定に用いられる、前記計測対象物の周囲の所定の位置に設けられた基準位置との距離および方向を計測するためのセンサと、
前記本体に設置された、前記移動装置を制御する制御装置と、を有する自走式検査装置と、を備える。
At least one embodiment of the temperature management system of the present invention comprises:
an image position specifying device for specifying an image position on a thermal image corresponding to a measurement position of a temperature of a measurement object as described above;
A self-propelled inspection device for taking the thermal image of the measurement position,
The main body,
A moving device that movably supports the main body;
An infrared camera installed on the main body and capable of capturing the thermal image;
a sensor installed in the main body, which is used to specify the image position, for measuring a distance and a direction to a reference position provided at a predetermined position around the measurement object;
The self-propelled inspection device is provided with a control device that is installed on the main body and controls the moving device.
本発明の少なくとも一実施形態に係る画像位置特定方法は、
計測対象物上の温度の計測位置に対応する熱画像上の画像位置を特定するための画像位置特定方法であって、
赤外カメラによる前記計測位置の撮影により得られる前記熱画像を取得するステップと、
取得された前記熱画像の撮影時の前記赤外カメラの画角および姿勢を含む撮影情報を取得するステップと、
前記計測対象物の周囲の所定の位置に設けられた基準位置に対する前記熱画像の撮影位置の相対位置である相対撮影位置の計測結果を取得するステップと、
予め測定されている、前記基準位置に対する前記計測位置の相対位置である相対計測位置の計測結果を取得するステップと、
前記相対撮影位置、前記相対計測位置および前記撮影情報に基づいて、前記相対計測位置に対応する前記画像位置を算出するステップと、を備える。
An image localization method according to at least one embodiment of the present invention comprises the steps of:
1. A method for identifying an image position on a thermal image corresponding to a measurement position of a temperature on a measurement object, comprising:
acquiring the thermal image obtained by photographing the measurement position with an infrared camera;
acquiring imaging information including an angle of view and an attitude of the infrared camera when the acquired thermal image was captured;
acquiring a measurement result of a relative photographing position, which is a relative position of a photographing position of the thermal image with respect to a reference position provided at a predetermined position around the measurement object;
acquiring a measurement result of a relative measurement position, which is a relative position of the measurement position with respect to the reference position, which is measured in advance;
and calculating the image position corresponding to the relative measurement position based on the relative shooting position, the relative measurement position, and the shooting information.
本発明の少なくとも一実施形態に係る画像位置特定プログラムは、
計測対象物上の温度の計測位置に対応する熱画像上の画像位置を特定するための画像位置特定プログラムであって、
コンピュータに、
赤外カメラによる前記計測位置の撮影により得られる前記熱画像を取得するよう構成された熱画像取得部と、
取得された前記熱画像の撮影時の前記赤外カメラの画角および姿勢を含む撮影情報を取得するよう構成された撮影情報取得部と、
前記計測対象物の周囲の所定の位置に設けられた基準位置に対する前記熱画像の撮影位置の相対位置である相対撮影位置の計測結果を取得するよう構成された撮影位置取得部と、
予め測定されている、前記基準位置に対する前記計測位置の相対位置である相対計測位置の計測結果を取得するよう構成された計測位置取得部と、
前記相対撮影位置、前記相対計測位置および前記撮影情報に基づいて、前記相対計測位置に対応する前記画像位置を算出するよう構成された位置特定部と、を実現させるためのプログラムである。
An image location identification program according to at least one embodiment of the present invention includes:
An image position identification program for identifying an image position on a thermal image corresponding to a measurement position of a temperature on a measurement object, comprising:
On the computer,
A thermal image acquisition unit configured to acquire the thermal image obtained by photographing the measurement position with an infrared camera;
an imaging information acquisition unit configured to acquire imaging information including an angle of view and an attitude of the infrared camera when capturing the acquired thermal image;
an imaging position acquisition unit configured to acquire a measurement result of a relative imaging position, which is a relative position of the imaging position of the thermal image with respect to a reference position provided at a predetermined position around the measurement object;
a measurement position acquisition unit configured to acquire a measurement result of a relative measurement position, which is a relative position of the measurement position with respect to the reference position, which is measured in advance;
a position specifying unit configured to calculate the image position corresponding to the relative measurement position based on the relative shooting position, the relative measurement position, and the shooting information; and a program for realizing the position specifying unit.
本発明の少なくとも一実施形態によれば、計測対象物の計測位置の熱画像における位置を精度良く特定することが可能な画像位置特定装置が提供される。 According to at least one embodiment of the present invention, an image position identification device is provided that can accurately identify the position of a measurement position of a measurement object in a thermal image.
以下、添付図面を参照して本発明の幾つかの実施形態について説明する。ただし、実施形態として記載されている又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、本発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。
例えば、「ある方向に」、「ある方向に沿って」、「平行」、「直交」、「中心」、「同心」或いは「同軸」等の相対的或いは絶対的な配置を表す表現は、厳密にそのような配置を表すのみならず、公差、若しくは、同じ機能が得られる程度の角度や距離をもって相対的に変位している状態も表すものとする。
例えば、「同一」、「等しい」及び「均質」等の物事が等しい状態であることを表す表現は、厳密に等しい状態を表すのみならず、公差、若しくは、同じ機能が得られる程度の差が存在している状態も表すものとする。
例えば、四角形状や円筒形状等の形状を表す表現は、幾何学的に厳密な意味での四角形状や円筒形状等の形状を表すのみならず、同じ効果が得られる範囲で、凹凸部や面取り部等を含む形状も表すものとする。
一方、一の構成要素を「備える」、「具える」、「具備する」、「含む」、又は、「有する」という表現は、他の構成要素の存在を除外する排他的な表現ではない。
Hereinafter, some embodiments of the present invention will be described with reference to the accompanying drawings. However, the dimensions, materials, shapes, relative arrangements, etc. of components described as the embodiments or shown in the drawings are merely illustrative examples and are not intended to limit the scope of the present invention.
For example, expressions expressing relative or absolute configuration, such as "in a certain direction,""along a certain direction,""parallel,""orthogonal,""center,""concentric," or "coaxial," not only express such a configuration strictly, but also express a state in which there is a relative displacement with a tolerance or an angle or distance to the extent that the same function is obtained.
For example, expressions indicating that things are in an equal state, such as "identical,""equal," and "homogeneous," not only indicate a state of strict equality, but also indicate a state in which there is a tolerance or a difference to the extent that the same function is obtained.
For example, expressions describing shapes such as a rectangular shape or a cylindrical shape do not only represent rectangular shapes or cylindrical shapes in the strict geometric sense, but also represent shapes that include uneven portions, chamfered portions, etc., to the extent that the same effect can be obtained.
On the other hand, the expressions "comprise,""include,""have,""includes," or "have" of one element are not exclusive expressions excluding the presence of other elements.
(全体構成)
図1は、本発明の一実施形態に係る温度管理システム7の構成を表す概略図である。また、図2は、本発明の一実施形態に係る自走式検査装置8の構成を示す概略図である。
(overall structure)
Fig. 1 is a schematic diagram showing the configuration of a
温度管理システム7は、温度管理の対象となる施設(以下、対象施設70。図1参照)の温度を監視し、対象施設70の異常を検出するためのシステムである。対象施設70は、図1に示すような例えば火力発電所や原子力発電所などの発電プラントなどであっても良い。例えば火力発電所は、ボイラ、蒸気タービン、発電機などの複数の設備で構成される。そして、温度管理システム7は、対象施設70を構成する任意の1以上の設備(計測対象物9)を対象に、温度管理を実行するように構成される。
The
このため、図1に示すように、温度管理システム7は、対象施設70に設置された各計測対象物9の計測位置Mの熱画像Dt(後述)を撮影するため自走式の自走式検査装置8と、対象施設70の温度を管理する温度管理装置71と、画像位置特定装置1と、を備える。上記の計測対象物9上の計測位置Mは、計測対象物9に予め設定されている、温度を計測すべき位置(3次元)である。計測位置Mは、例えば対象施設70が備える1以上(例えば複数)の計測対象物9にそれぞれ1以上ずつ設定される。なお、図1では、対象施設70が備える複数の計測対象物9のうちの、以下の説明に用いる1つの設備にのみ符号を付している。
これらの温度管理システム7が備える構成について、それぞれ説明する。
For this reason, as shown in Fig. 1, the
The configuration of the
(自走式検査装置8の構成)
自走式検査装置8は、予め定められた経路(以下、設定経路R)を自力で走行しつつ、検査に必要な熱画像Dtなどの情報を収集する装置である。この熱画像Dtは、後述する赤外カメラ83tの撮影により得られる情報(遠赤外線などの赤外線量)に基づいて生成される画像である。より詳細には、熱画像Dtは、赤外カメラ83tの撮影範囲Rtを例えば碁盤目状などの複数の領域に区分けした際の各領域の計測温度に対応する色などの情報で表した画像である。つまり、熱画像Dtは、上記の撮影範囲Rvを表す二次元平面上の温度分布を図として表した画像である。また、設定経路Rは、例えば、対象施設70に設定された、熱画像Dtを撮影すべき位置として予め設定された全ての撮影指示位置Tを網羅的に順番に辿るように設定される。なお、図1には、設定経路Rの一部を図示しており、設定経路Rの残りの部分は省略している。
(Configuration of self-propelled inspection device 8)
The self-propelled
そして、この自走式検査装置8は、図2に示すように、自走式検査装置8は、自走式検査装置8の外郭をなす筐体である本体81と、この本体81を移動可能に支持する移動装置82と、上記の本体81にそれぞれ設置された、遠赤外線カメラなどによって実現され、計測対象物9の計測位置Mの熱画像Dtを撮影する赤外カメラ83t、後述する画像位置Dpの特定に用いられる、計測対象物9の周囲の所定の位置に設けられた後述する基準位置Poとなる検出対象との距離および方向を計測するためのセンサ84、および移動装置82を制御する制御装置85を含む各種機器と、を備える。また、幾つかの実施形態では、図2に示すように、自走式検査装置8は、上記の本体81に設置された、計測対象物9の計測位置Mを撮影するための可視カメラ83vをさらに備えても良い。
As shown in FIG. 2, the self-propelled
上記の移動装置82は、車輪、無限軌道、脚機構など、地面に接地して、本体81を移動可能に支持する装置であっても良い。あるいは、移動装置82は、プロペラなどのスラスタなど、本体81を水中または空中を移動可能に支持する装置であっても良い。図2に示す実施形態では、移動装置82は無限軌道であり、その場での本体81の転回を可能にし、また、その転回時の回転半径を小さくすることが可能となっている。
The moving
また、上記の赤外カメラ83tおよび可視カメラ83vは、移動装置82の移動方向F(前進方向)に対して横を向くように本体81に取り付けられても良い(図2参照)。図2に示す実施形態では、赤外カメラ83tおよび可視カメラ83vは、撮影方向が本体81に対して固定されるように本体81に取り付けられている。よって、本体81の方向、重力方向の傾きなどの姿勢に応じて、撮影方向が変わるようになっている。ただし、本実施形態に本発明は限定されず、赤外カメラ83tおよび可視カメラ83vは撮影方向が調整可能な機構を有していても良い。
The
上記のセンサ84は、LiDAR(Light Detecting And Ranging)、可視カメラ83v、またはRFID(Radio Frequency Identifier)リーダであっても良い。計測対象物9の周囲の所定の位置(図1、および後述の図4、図6A~図9参照)に設けられた検出対象であるマーカ76を検出するよう構成される。例えばセンサ84がLiDARの場合のマーカ76は再帰性反射板などの反射板となる。センサ84が可視カメラ83vの場合のマーカ76はARマーカ(AR:Augmented Reality)となる。センサ84がRFIDリーダの場合のマーカ76はRFIDとなる。図1~図2に示す実施形態では、対象施設70における計測対象物9の付近には所定の高さを有する円柱状の形状を有するポール75が設置されており、このポール75の上部などに再帰性反射板(マーカ76)が設けられている。そして、センサ84であるLiDARで再帰性反射板を検出することで、検出された位置(3次元位置)を基準位置Poとしている。
The
また、上記の制御装置85は、自走式検査装置8の位置(自己位置)および方位(自己方位)を取得し、自己位置が設定経路R上になるように、移動装置82の走行を制御する。この自己位置および自己方位の検出(推定)は、周知な方法により行えば良い。例えば、GNSS(Global Navigation Satellite System)に係る信号、自走式検査装置8に搭載したセンサで検出した方位および距離に基づく自律航法、あるいは、自装置に搭載したLiDARあるいはデプスカメラから出力される距離分布(撮影範囲を表す二次元平面上の距離の分布)を用いたSLAM(Simultaneous Localization and Mapping)のいずれかの手法により行っても良い。また、制御装置85は、上記の赤外カメラ83tによる撮影の実行を制御しても良いし、上記のセンサ84による計測の制御を実行しても良い。
The
ここで、上述した設定経路R上またはその付近には、上記の熱画像Dtを撮影すべき1以上の位置(以下、撮影指示位置T)が予め設定(教示)されている(後述する図4、図9参照)。よって、制御装置85は、この熱画像Dtの撮影指示位置Tが設定経路R上にない場合には、熱画像Dtを撮影するために適当な位置で設定経路Rから撮影指示位置Tに向けて自走式検査装置8を移動させる。例えば、制御装置85は、検出した自己位置が撮影指示位置Tになった判定される位置で自走式検査装置8を停止させた上で赤外カメラ83tによる撮影の実行を制御するように構成されても良い。
Here, one or more positions (hereinafter, designated shooting positions T) at which the thermal image Dt should be captured are set (taught) in advance on or near the set route R described above (see Figures 4 and 9 described below). Therefore, when the designated shooting position T for this thermal image Dt is not on the set route R, the
図1~図2に示す実施形態では、制御装置85は本体81の内部に設置されており、制御装置85が出力する信号に従って、規定回数の巡回や終了指示がなされるまで設定経路Rを繰返し巡回するよう構成されている。つまり、自走式検査装置8は巡回点検装置となっている。この際、制御装置85は、LiDARなどが出力する距離分布を用いたSLAMにより自己位置および自己方位を検出するように構成されており、実際に熱画像Dtを撮影した位置(以下、撮影位置P)で得られた計測対象物9の熱画像Dtと、距離分布と、撮影位置Pおよび方位を示す位置情報と、を温度管理装置71に送信する。これによって、温度管理装置71が、距離分布と位置情報とに基づいて生成された三次元位置情報に、赤外カメラ83tが出力した温度分布をマッピングしたもの(三次元温度分布)を作成することが可能となる。ただし、制御装置85が三次元温度分布を作成して、送信しても良い。
In the embodiment shown in Figs. 1 and 2, the
(温度管理装置71の構成)
温度管理装置71は、自走式検査装置8から受信した情報に基づいて、対象施設70を高さ方向から平面視した平面マップに、温度をマッピングした温度マップを作成する。そして、温度管理装置71は、温度マップに基づいて対象施設70のうち異常が生じている箇所を特定する。この温度管理装置71は、対象施設70内に設けられても良いし、対象施設70と遠隔の地に設けられても良い。また、温度管理装置71は、自走式検査装置8に設けられても良い。なお、自走式検査装置8による巡回の開始前(初回起動時)は、温度マップの値がないため、初期値として対象施設70の周辺温度の平均値、対象施設70の温度の設計値、または他の対象施設70の実績値が記録されていても良い。
(Configuration of temperature management device 71)
The
(画像位置特定装置1の構成)
次に、上記の画像位置特定装置1について、図3~図9を用いて説明する。
図3は、本発明の一実施形態に係る画像位置特定装置1の機能を概略的に示すブロック図である。また、図4は、本発明の一実施形態に係る計測対象物9の温度の計測時を説明するための、図1に示す計測対象物9の付近の平面視を示す図である。
(Configuration of image position identifying device 1)
Next, the image
Fig. 3 is a block diagram showing the outline of the functions of the image
画像位置特定装置1は、計測対象物9上の温度の計測位置Mに対応する熱画像Dt上の位置(以下、画像位置Dp)を特定するための装置である。図3に示すように、画像位置特定装置1は、熱画像取得部21と、撮影情報取得部22と、撮影位置取得部23と、計測位置取得部3と、位置特定部4と、を備える。
これらの画像位置特定装置1が備える構成について、以下の説明における計測位置Mが第1計測位置M1(図4、図6A~図6B、図9参照)である場合を例にそれぞれ説明する。以下の説明における方向は、特に記載がない場合には上記の自己位置と同じ座標系におけるものとする。
The image
The configuration of the image
また、画像位置特定装置1は、コンピュータで構成されていても良く、図示しないCPU(プロセッサ)や、ROMやRAMといったメモリや、外部記憶装置などとなる記憶装置12を備えている。そして、メモリ(主記憶装置)にロードされたプログラム(画像位置特定プログラム)の命令に従ってCPUが動作(データの演算など)することで、上記の各機能部を実現する。換言すれば、上記のプログラムは、コンピュータに後述する各機能部を実現させるためのソフトウェアであり、コンピュータによる読み込みが可能な記憶媒体に記憶されても良い。本実施形態では、画像位置特定装置1は、上述した温度管理装置71と同じOS(Operation System)上で動作するなど、温度管理装置71とハードウェアを共有しており、画像位置特定装置1の記憶装置12は温度管理装置71のものでもある。
The image
熱画像取得部21は、計測対象物9における計測位置Mの赤外カメラ83tによる撮影により得られる熱画像Dtを取得するよう構成された機能部である。例えば、自走式検査装置8からの撮影を通して得られる熱画像Dtは、画像位置特定装置1の記憶装置12に記憶されるようになっており、熱画像取得部21は、この記憶装置12から熱画像Dtを取得しても良い。
The thermal
撮影情報取得部22は、上述した熱画像取得部21によって取得された熱画像Dtの撮影時の赤外カメラ83tの画角(視野角)および姿勢を含む撮影情報Sを取得するよう構成された機能部である。この撮影情報Sは、熱画像Dtとの対応関係が分かるように例えば記憶装置12に格納される。これによって、自走式検査装置8による実際の撮影時の状況に応じて撮影情報Sが変わるような場合にでも、熱画像取得部21によって取得された熱画像Dtの撮影時の撮影情報Sを得ることが可能となる。なお、撮影情報Sが変化しない場合には、記憶装置12などに予め記憶されていても良い。
The photographing
撮影位置取得部23は、計測対象物9の周囲に設けられた基準位置Poに対する熱画像Dtの撮影位置Pの相対位置である相対撮影位置Prの計測結果を取得するよう構成された機能部である。基準位置Poは、自走式検査装置8から最も近い位置にある第1マーカ76aの座標(3次元座標。以下同様)である。そして、自走式検査装置8に設置されたセンサ84により第1マーカ76aを検出することで、検出時のセンサ84と第1マーカ76aとの距離(直線距離)、およびセンサ84から第1マーカ76aへの方向の検出結果(センサ検出結果Pm)が得られる。よって、このセンサ検出結果Pmからセンサ84と第1マーカ76aとの相対的な位置関係が分かる。図1~図4に示す実施形態では、この位置関係に基づいて、例えば基準位置Poを原点とした撮影位置Pの座標を算出し、これを相対撮影位置Prとしている。
The photographing
計測位置取得部3は、既に説明した基準位置Poに対する計測対象物9の計測位置Mの相対位置である相対計測位置Qrの計測結果を取得するよう構成された機能部である。相対計測位置Qrは、後述するような測定を実際に行うことにより得られたものである。相対計測位置Qrは記憶装置12などに予め記憶されており、計測位置取得部3は、記憶装置12などから、相対計測位置Qrを取得する。この相対計測位置Qrの計測方法については後述する。
The measurement
位置特定部4は、上述したようにそれぞれ取得される相対撮影位置Pr、相対計測位置Qrおよび撮影情報Sに基づいて、上記の相対計測位置Qr(計測位置M)に対応する熱画像Dt上の位置(画像位置Dp)を算出するよう構成された機能部である。幾つかの実施形態では、この位置特定部4は、周知な透視投影変換により、相対計測位置Qrを画像位置Dpに変換しても良い。具体的には、撮影情報Sに基づいて、例えば、基準位置Poの座標系(x、y、z)を赤外カメラ83tの座標系(x´、y´、z´)に変換する行列A(姿勢変換行列)およびb(並進ベクトル)と、赤外カメラ83tの座標系を熱画像Dtの座標系に変換するための行列C(射影変換行列)を作成する。そして、これらの行列を用いた、Dp=C(AQr+b)の行列式により、相対計測位置Qrを画像位置Dpに変換することが可能である。
The
なお、図1~図4で示す実施形態では、図4に示すように、計測対象物9には3つの計測位置Mが設定されている。計測対象物9の周囲には2つのポール75(第1ポール75a、第2ポール75b)が設けられている。また、この計測対象物9に設定された3つの計測位置Mを撮影するための撮影指示位置Tは、第1撮影指示位置T1および第2撮影指示位置T2の合計で2箇所設けられている。具体的には、第1撮影指示位置T1は、自走式検査装置8の移動方向Fに対して、第1ポール75aの手前の位置であり、第2撮影指示位置T2は、第1ポール75aと第2ポール75bとの間の位置に設けられている。そして、第1撮影指示位置T1および第2撮影指示位置T2から、それぞれ、上記の3つの計測位置M(M1~M3)を一度に撮影するようになっている。この第2撮影指示位置T2からの撮影により得られる熱画像Dtの基準位置Poは、第1ポール75aの第1マーカ76aまたは第2ポール75bの第2マーカ76bのいずれのマーカ76であっても良い。そして、各計測位置Mに対応する熱画像Dt上の画像位置Dpは、上述したのと同様に処理されることで求めることが可能である。
In the embodiment shown in FIG. 1 to FIG. 4, three measurement positions M are set on the
また、図4における破線8dは、相対計測位置Qrを計測した際の自走式検査装置8を示しており、後述する可視カメラ83vにより撮影される計測位置Mの画像D(図4では可視画像Dv)の撮影が最適となるように、自走式検査装置8の位置を調整した時のものである。しかしながら。図4の実線に示すように、赤外カメラ83tによる撮影時の本体81の撮影位置Pや移動方向Fは、破線8dで示す可視カメラ83vによる撮影時の本体81のそれとは完全に一致していない。このため、赤外カメラ83tの撮影範囲Rtと可視カメラ83vの撮影範囲Rvと完全に一致はしていない。このように、自走式検査装置8を撮影指示位置Tに完全に一致するように移動させて、同じ撮影方向から撮影することは容易ではなく、ずれが生じ易い。しかしながら、上述のように処理することで、各計測位置Mに対応する熱画像Dt上の画像位置Dpを精度良く求めることが可能となる。
Also, the dashed
上記の構成によれば、設定された計測対象物9上の計測位置Mが、同じ計測対象物9を赤外カメラ83tで撮影した熱画像Dt上のどの位置に対応するかを特定(同定)するために、まずは計測対象物9の周囲に、計測対象物9との相対位置が変わらない基準位置Poを設けておく。また、例えばこの基準位置Poを原点とする計測位置Mの座標などとなる、基準位置Poに対する計測位置Mの相対位置の計測結果(相対計測位置Qr)を、事前(位置特定前)に測定などを通して用意しておく。そして、実際に撮影した熱画像Dtにおける計測位置の特定の際には、その熱画像Dtの撮影時の撮影位置Pから基準位置Poを計測することで、撮影位置Pの基準位置Poに対する相対位置(相対撮影位置Pr)を取得すると共に、事前に測定されている相対計測位置Qrを取得する。
According to the above configuration, in order to specify (identify) which position on the thermal image Dt of the
これによって、同一の座標系(例えば原点が基準位置Po)における計測位置Mおよび熱画像Dtの撮影位置Pが得られるので、この熱画像Dtの撮影時の画角や姿勢を含む撮影情報Sに基づいて、例えば透視投影変換などを実行することで、画像位置Dpを精度良く特定することができる。例えば、自走式検査装置8により計測位置Mを定期的に撮影する場合において、熱画像Dtの撮影時の自走式検査装置8の自己位置や自己方向を用いて画像位置Dpを特定する場合の精度は、その自己位置等の推定精度に依存する。しかし、基準位置Poの計測により得られる相対撮影位置Prの精度は比較的高く、上記の構成によれば、画像位置Dpを高精度で特定することができる。
This allows the measurement position M and the shooting position P of the thermal image Dt to be obtained in the same coordinate system (e.g., the origin is the reference position Po), and the image position Dp can be accurately identified by performing, for example, perspective projection transformation based on the shooting information S including the angle of view and posture when the thermal image Dt was shot. For example, when the measurement position M is periodically shot by the self-propelled
次に、上述した相対計測位置Qr(基準位置Poと計測位置Mとの相対位置)の求め方について、図5~図8を用いて説明する。
図5は、本発明の一実施形態に係る相対計測位置Qrの算出に関する画像位置特定装置1の機能を概略的に示すブロック図である。図6Aは、本発明の一実施形態に係る相対計測位置Qrの計測時を説明するための、図1に示す計測対象物9の付近の平面視を示す図である。図6Bは、本発明の他の一実施形態に係る相対計測位置Qrの計測時を説明するための、図1に示す計測対象物9の付近の平面視を示す図である。図7は、本発明の一実施形態に係る計測対象物9を第1撮影位置P1から撮影した可視画像を示す図である。また、図8は、本発明の一実施形態に係る計測対象物9を第2撮影位置P2から撮影した可視画像を示す図である。
Next, a method for determining the above-mentioned relative measurement position Qr (the relative position between the reference position Po and the measurement position M) will be described with reference to FIGS.
Fig. 5 is a block diagram showing a schematic function of the image
幾つかの実施形態では、図5に示すように、計測位置取得部3は、相対計測位置Qrを算出するよう構成された位置算出部40を有しても良い。具体的には、この位置算出部40は、少なくとも1つの撮影位置からの任意の種類のカメラ83(図5では可視カメラ83v)による計測位置Mの撮影により得られる少なくとも1つの画像Dを取得するよう構成された画像取得部41と、この画像取得部41によって取得された1以上の画像Dに基づいて、この1以上の画像Dに共通して含まれる計測位置Mの相対計測位置Qrを算出する相対位置算出部42と、を備える。
In some embodiments, as shown in FIG. 5, the measurement
より詳細には、幾つかの実施形態では、位置算出部40は、三角測量により計測位置Mの座標を求めるよう構成されても良い。すなわち、互いに異なる2つの位置(図6Aの第1撮影位置P1、第2撮影位置P2)の各々について、それぞれ、基準位置Poに対する位置(3次元座標)と、この2つの撮影位置P(P1、P2)の各々からの計測位置Mの方向(3次元方向)とを求める。これによって、同一の座標系における2つの撮影位置P(P1、P2)と、この2つの撮影位置P(P1、P2)の各々からの、位置が不明となっている計測位置M(図6Aでは、第1計測位置M1)の方向(d1、d2)が得られるので、三角測量により計測位置Mの座標を求めることが可能である。
More specifically, in some embodiments, the
このため、幾つかの実施形態では、図5に示すように、上記の位置算出部40は、画像取得部41と、第2撮影情報取得部43と、方向算出部44と、第2撮影位置取得部45と、算出部46と、を有する。
これらの位置算出部40が備える機能部について、画像取得部41が可視カメラ83vによって撮影された可視画像Dvを取得する場合を例に、それぞれ説明する。ただし、本実施形態に本発明は限定されず、画像取得部41は、例えば赤外カメラ83tによって撮影された熱画像Dtを取得しても良い。
For this reason, in some embodiments, as shown in FIG. 5, the
The functional units of the
画像取得部41は、互いに異なる2つの撮影位置Pからの可視カメラ83vによる同一の計測位置Mの撮影により得られる2つの可視画像Dv(図7~図8参照)を取得するよう構成された機能部である。既に説明した自走式検査装置8などからの可視カメラ83vによる撮影を通して得られる可視画像Dvは、画像位置特定装置1の記憶装置12に記憶されるようになっており、画像取得部41は、この記憶装置12から2つの可視画像Dvを取得しても良い。図6Aに示す実施形態では、自走式検査装置8が、上述した第1撮影位置P1および第2撮影位置P2の2つの位置に順番に移動し、この2つの位置でそれぞれ可視画像Dvを撮影している。
The
第2撮影情報取得部43は、上述した画像取得部41によって取得された2つの可視画像Dvの撮影時の各々における可視カメラ83vの画角(視野角)および姿勢を含む第2撮影情報Svを取得するよう構成された機能部である。この第2撮影情報Svは、可視画像Dvとの対応関係が分かるように例えば記憶装置12に格納される。この第2撮影情報取得部43は、既に説明した撮影情報取得部22の処理内容と同じであり、取得する情報が可視画像Dvに関するものである点が異なるので、撮影情報取得部22であっても良い。
The second photographing
方向算出部44は、上述した画像取得部41によって取得された2つの可視画像Dvの各々における計測位置Mの方向である計測位置方向d(d1、d2)を、この2つの可視画像Dvの第2撮影情報Svに基づいてそれぞれ算出するよう構成された機能部である。すなわち、自走式検査装置8の本体81に対する可視カメラ83vの撮影方向は既知なので、本体81の重力方向における傾きなどの自走式検査装置8の撮影時の姿勢から、その撮影時における可視カメラ83vの姿勢が分かるので、撮影方向が分かる。また、可視カメラ83vの画角が既知なので、可視画像Dvにおける計測位置Mの位置に基づいて、可視画像Dvにおける計測位置Mの方向が分かる。よって、可視カメラ83vの撮影方向と、可視画像Dvにおける計測位置Mの方向とに基づいて、計測位置方向dを算出することが可能である。方向算出部44は、第1撮影位置P1から計測位置Mの計測位置方向dである第1計測位置方向d1と、第2撮影位置P2から計測位置Mの計測位置方向dである第2計測位置方向d2とを算出する。
The
第2撮影位置取得部45は、上記の2つの可視画像Dvの各々の撮影位置P(P1、P2)の基準位置Poに対する相対位置である相対撮影位置Pr(以下、第2相対撮影位置Pv)の計測結果をそれぞれ取得するよう構成された機能部である。この第2撮影位置取得部45は、既に説明した撮影位置取得部23の処理内容と同じであるため、省略する。つまり、第2撮影位置取得部45は、撮影位置取得部23であっても良い。これによって、基準位置Poを原点とする2つの撮影位置P(P1、P2)の3次元座標が求まる。
The second photographing
算出部46は、上記の2つの可視画像Dvの各々についてのPvおよび計測位置方向dに基づいて、目的となる相対計測位置Qrを算出するよう構成された機能部である。具体的には、算出部46は三角測量により計測位置Mを求める。すなわち、第2撮影位置取得部45によって、第1撮影位置P1および第2撮影位置P2の基準位置Poを原点とした座標が得られている。また、方向算出部44によって、第1撮影位置P1から計測位置M(ここでは第1計測位置M1)の方向(第1計測位置方向d1)と、第2撮影位置P2から計測位置Mの方向(第2計測位置方向d2)とが得られている。よって、これらの情報に基づいて三角測量により、計測位置Mから、第1撮影位置P1と第2撮影位置P2とを結ぶ直線Lbに下した垂線の長さLが分かり、基準位置Poを原点とする計測位置Mの座標を求めることが可能となる。
The
図5に示す実施形態では、可視カメラ83vによって可視画像Dvが撮影されると、可視画像Dvと、この可視画像Dvの撮影位置Pから上述したセンサ84によって計測した基準位置Poの検出結果(センサ検出結果Pm)と、その撮影時の可視カメラ83vの第2撮影情報Svの情報とが関連付けられて、記憶装置12に記憶されるようになっている。そして、上記の画像取得部41は、記憶装置12から2つの可視画像Dv(Dv1、Dv2)を取得する。第2撮影情報取得部43は、この2つの可視画像Dv(Dv1、Dv2)の各々の第2撮影情報Sv(Sv1、Sv2)を取得する。上記の方向算出部44は、上記の画像取得部41および第2撮影情報取得部43に接続されており、入力された可視画像Dv(Dv1、Dv2)と、その可視画像Dvの第2撮影情報Sv(Sv1、Sv2)とが入力されると、上述した入力された可視画像Dvにおける計測位置方向d(d1、d2)を算出する。他方、第2撮影位置取得部45は、記憶装置12から2つの撮影位置P(P1、P2)の各々でのセンサ検出結果Pm(Pm1、Pm2)を取得し、その各々の第2相対撮影位置Pv(Pv1、Pv2)を算出する。そして、算出部46は、方向算出部44および第2撮影位置取得部45に接続されており、2つの撮影位置P(P1、P2)の各々の相対撮影位置Pr(Pv1、Pv2)と、2つの計測位置方向d(d1、d2)が入力されると、三角測量により、基準位置Poを原点とする計測位置Mの座標(相対計測位置Qr)を算出する。
5, when a visible image Dv is captured by the
上記の構成によれば、基準位置Poに対する計測位置Mの相対値(相対計測位置Qr)を、可視カメラの2つの撮影位置Pの各々の基準位置Poに対する相対位置(第2相対撮影位置Pv)の計測結果、および、可視カメラ83vによる計測対象物9(計測位置M)の撮影を通して計測される、2つの撮影位置Pの各々からの計測位置Mの方向(計測位置方向d)に基づいて、三角測量により算出する。これによって、相対計測位置Qrを適切に求めることができる。
According to the above configuration, the relative value (relative measurement position Qr) of the measurement position M with respect to the reference position Po is calculated by triangulation based on the measurement results of the relative positions (second relative shooting position Pv) of each of the two shooting positions P of the visible camera with respect to the reference position Po, and the direction (measurement position direction d) of the measurement position M from each of the two shooting positions P measured through shooting of the measurement object 9 (measurement position M) by the
ただし、上述した実施形態に本発明は限定されない。上述した実施形態では、位置算出部40は、相対計測位置Qrを算出するために、2つの撮影位置P(図6AのP1、P2)から撮影した画像D(図6Aでは可視画像Dv)を用いていたが、他の幾つかの実施形態では、位置算出部40は、1つの撮影位置Pから撮影した画像D(図6Bでは可視画像Dv)に基づいて、相対計測位置Qrを算出しても良い(図6B参照)。この場合、上述したのと同様に、1つの可視画像Dvと、その可視画像Dvの第2撮影情報Svに基づいて、計測位置Mの計測位置方向dを求めると共に、その可視画像Dvの基準位置Poに対する相対位置である相対撮影位置Prを計測により求める。他方、この可視画像Dvの撮影位置Pから計測対象物9に対する奥行方向の距離Ldを、例えば定規やメジャー等の道具、あるいは距離を計測可能な測距センサ(例えばRFID、ミリ波レーダ、レーザ測距計)などを用いて実測することで、撮影位置Pから計測位置M(図6Bでは第1計測位置M1)までの距離が分かる。つまり、撮影位置Pに対する計測位置Mの相対位置が得られるので、これを基準位置Poからの相対位置に変換することで、相対計測位置Qrが算出可能である。この奥行方向は、基準位置Poを原点とした座標系において、撮影位置PとY座標およびZ座標が同じで、かつ、計測位置MとX座標が同じとなる仮想の位置から計測位置Mの方向を意味する。
However, the present invention is not limited to the above-mentioned embodiment. In the above-mentioned embodiment, the
その他の幾つかの実施形態では、例えば、計測対象物9が設置されている現場においてマーカ76の位置から計測位置Mをメジャーなどの道具や測距センサなどを用いて相対計測位置Qrを直接計測するなど、他の手法により相対計測位置Qrを計測したものを取得しても良い。
In some other embodiments, the relative measurement position Qr may be measured using other methods, such as directly measuring the measurement position M from the position of the
次に、画像位置特定装置1が備えるその他の構成について、それぞれ説明する。
幾つかの実施形態では、図5に示すように、画像位置特定装置1は、上述した画像取得部41によって取得された画像D(図5では可視画像Dv)を用いて指定された位置を計測位置Mとして取得するよう構成された計測位置設定部5を、さらに備えても良い。
Next, other components of the image
In some embodiments, as shown in FIG. 5, the image
図5に示す実施形態では、計測位置設定部5は、可視画像Dvを表示するディスプレイ61を有するユーザの例えばラップトップ型やデスクトップ型などのパソコン6に接続されている。そして、図7~図8に示すように、ディスプレイ61に表示された可視画像Dv上で、ユーザがマウスやタップ操作により所望の位置(図7~図8の矢印)を選択すると、選択した位置の可視画像Dvにおける位置(2次元座標)が計測位置設定部5に入力されるようになっており、計測位置設定部5は、入力された座標を計測位置Mとして記憶装置12に記憶するようになっている。
In the embodiment shown in FIG. 5, the measurement
図7の例示は第1撮影位置P1で撮影した可視画像Dvに対応しており、図8の例示は第2撮影位置P2で撮影した可視画像Dvに対応している。ユーザは、この2つの撮影位置Pの各々での撮影により得られた2つの可視画像Dvにおいて、それぞれ、計測位置Mとしたい所望の位置を指定する。2つの可視画像Dvにおいて選択される計測位置Mは、互いに同じ位置となるようにそれぞれの可視画像Dv上で選択される。また、図7~図8に示す実施形態では、選択(指定)された箇所(計測位置M)の可視画像Dvにおける2次元座標(uxx、vxx)が表示可能になっている。図7および図8における2次元座標は、例えば各可視画像Dvの所定位置(左下端など)を原点とする座標であり、図7と図8とで同じ計測位置Mが指定されたとしても、その2つの座標は通常は互いに異なる。 The example in FIG. 7 corresponds to a visible image Dv captured at a first image capturing position P1, and the example in FIG. 8 corresponds to a visible image Dv captured at a second image capturing position P2. The user designates a desired position to be a measurement position M in each of the two visible images Dv obtained by capturing images at the two image capturing positions P. The measurement positions M selected in the two visible images Dv are selected on the respective visible images Dv so as to be the same positions. In addition, in the embodiment shown in FIG. 7 to FIG. 8, the two-dimensional coordinates (u xx , v xx ) of the selected (designated) location (measurement position M) in the visible image Dv can be displayed. The two-dimensional coordinates in FIG. 7 and FIG. 8 are coordinates having a predetermined position (such as the lower left corner) of each visible image Dv as the origin, for example, and even if the same measurement position M is designated in FIG. 7 and FIG. 8, the two coordinates are usually different from each other.
なお、上記の実施形態では、可視画像Dv上で計測位置Mが指定されるが、他の幾つかの実施形態では、例えば熱画像Dt上で計測位置Mが指定されるなど、可視画像Dv以外の画像D上で計測位置Mが指定されるように構成されても良い。 In the above embodiment, the measurement position M is specified on the visible image Dv, but in some other embodiments, the measurement position M may be specified on an image D other than the visible image Dv, for example, on a thermal image Dt.
上記の構成によれば、例えば相対計測位置Qrの算出のために撮影される可視画像Dvなどをディスプレイ61に表示し、その画面上でユーザにより指定された可視画像Dvの指定位置を計測位置Mとして設定する。これによって、計測対象物9が設置されている現場に作業員が出向いて計測位置Mを指定するような作業を行うことなく、計測対象物9における計測位置Mを容易に設定することができる。
According to the above configuration, for example, a visible image Dv captured for calculating the relative measurement position Qr is displayed on the
ただし、上述した実施形態に本発明は限定されない。他の幾つかの実施形態では、計測対象物9上に計測位置Mを示すマーカを設置するなど、他の手法により計測位置Mを指定しても良い。
However, the present invention is not limited to the above-described embodiment. In some other embodiments, the measurement position M may be specified by other methods, such as by placing a marker indicating the measurement position M on the
図9は、本発明の一実施形態に係る複数の候補画像Dcを撮影する実施形態を説明するための図である。
また、幾つかの実施形態では、上述した熱画像取得部21(図3参照)は、熱画像Dtの撮影の候補となる複数の候補位置Pcにおける赤外カメラ83tでの撮影により得られた複数の候補画像Dcのうちから、可視画像Dvの撮影状況に最も近い状況で撮影された候補画像Dcを熱画像Dtとして取得する。
FIG. 9 is a diagram for explaining an embodiment in which a plurality of candidate images Dc are photographed according to an embodiment of the present invention.
In addition, in some embodiments, the above-mentioned thermal image acquisition unit 21 (see Figure 3) acquires as a thermal image Dt a candidate image Dc captured under conditions closest to the capturing conditions of the visible image Dv from among a plurality of candidate images Dc obtained by photographing with an
例えば、この撮影状況は、撮影位置Pまたは撮影方向の少なくとも一方を含んでも良い。つまり、可視カメラ83vの撮影位置Pに最も近い撮影位置Pであった候補画像Dcを、熱画像Dtとしても良い。可視カメラ83vの撮影方向に最も近い撮影方向であった候補画像Dcを、熱画像Dtとしても良い。あるいは、可視カメラ83vの撮影位置Pおよび撮影方向に最も近い撮影位置Pおよび撮影方向であった候補画像Dcを、熱画像Dtとしても良い。
For example, this shooting situation may include at least one of the shooting position P or the shooting direction. In other words, the candidate image Dc that was at the shooting position P closest to the shooting position P of the
この際、幾つかの実施形態では、図9に示すように、赤外カメラ83tによる撮影は、1つの撮影指示位置Tに対して、その撮影指示位置Tから所定の距離だけ前(手前)にある1以上の位置と、その撮影指示位置Tから所定の距離だけ遠ざかる間の1以上の位置と、を含む複数の位置で行われるように構成されても良い。こうして撮影された複数の熱画像Dtを候補画像Dcとして、熱画像取得部21は1つの熱画像Dtを取得する。
In this case, in some embodiments, as shown in FIG. 9, the
図9に示す実施形態では、撮影指示位置T(図9では第1撮影指示位置T1)と判定される位置から所定の距離まで近づくと、所定の時間間隔あるいは距離間隔で規定回数だけ撮影を実行するようになっている。その結果、撮影指示位置Tの前後で合わせて規定回数分の撮影が実行されることで、撮影指示位置Tと判定される位置を含めて合計で規定回数分(図9の実施形態では5回)の撮影位置Pにおける撮影が実際に移動した経路に沿って行われている。 In the embodiment shown in Fig. 9, when the camera approaches a predetermined distance from a position determined to be the designated photographing position T (first designated photographing position T1 in Fig. 9), photographing is performed a specified number of times at a specified time or distance interval. As a result, photographing is performed a specified number of times in total before and after the designated photographing position T, and photographing is performed a specified number of times (five times in the embodiment of Fig. 9) at the photographing position P including the position determined to be the designated photographing position T along the route actually traveled.
上記の構成によれば、赤外カメラ83tによる熱画像Dtの撮影を互いに異なる複数の撮影位置P(候補位置Pc)で行うことで得られる複数の熱画像Dtのうち、可視カメラ83vによる撮影状況と最も近い撮影状況で撮影された熱画像Dtを処理対象とする。これによって、可視カメラ83vおよび赤外カメラ83tの各々の撮影状況の違いによる影響が小さくなるように図ることができ、同定精度の向上を図ることができる。
According to the above configuration, among the multiple thermal images Dt obtained by capturing thermal images Dt by the
以下、上述した構成(機能)を備える画像位置特定装置1が行う処理に対応する画像位置特定方法について、図10~図11を用いて説明する。
図10は、本発明の一実施形態に係る画像位置特定方法を示す図である。また、図11は、本発明の一実施形態に係る位置算出ステップを示す図である。
Hereinafter, an image position specifying method corresponding to the processing performed by the image
Figure 10 illustrates an image localization method according to an embodiment of the present invention, and Figure 11 illustrates a position calculation step according to an embodiment of the present invention.
画像位置特定方法は、上述した計測対象物9上の温度の計測位置Mに対応する画像位置Dpを特定するための方法である。図10に示すように、画像位置特定方法は、熱画像取得ステップ(S1)と、撮影情報取得ステップ(S2)と、撮影位置取得ステップ(S3)と、計測位置取得ステップ(S4)と、位置特定ステップ(S5)と、を備える。
これらのステップについて、図10のステップ順に説明する。
The image position specifying method is a method for specifying an image position Dp corresponding to the temperature measurement position M on the
These steps will be explained in the order of steps in FIG.
図10のステップS1において、熱画像取得ステップを実行する。熱画像取得ステップ(S1)は、計測対象物9における計測位置Mの赤外カメラ83tによる撮影により得られる熱画像Dtを取得するステップである。熱画像取得ステップ(S1)は、既に説明した熱画像取得部21が実行する処理内容と同様であるため、詳細は省略する。
In step S1 of FIG. 10, a thermal image acquisition step is executed. The thermal image acquisition step (S1) is a step of acquiring a thermal image Dt obtained by photographing the measurement position M on the
ステップS2において、撮影情報取得ステップを実行する。撮影情報取得ステップ(S2)は、熱画像取得ステップ(S1)によって取得された熱画像Dtの撮影時の赤外カメラ83tの撮影情報Sを取得するステップである。撮影情報取得ステップ(S2)は、既に説明した撮影情報取得部22が実行する処理内容と同様であるため、詳細は省略する。
In step S2, a photographing information acquisition step is executed. The photographing information acquisition step (S2) is a step for acquiring photographing information S of the
ステップS3において、撮影位置取得ステップを実行する。撮影位置取得ステップ(S3)は、熱画像取得ステップ(S1)によって取得された熱画像Dtの撮影位置Pの相対撮影位置Prの計測結果を取得するステップである。撮影位置取得ステップ(S3)は、既に説明した撮影位置取得部23が実行する処理内容と同様であるため、詳細は省略する。
In step S3, a photographing position acquisition step is executed. The photographing position acquisition step (S3) is a step for acquiring the measurement result of the relative photographing position Pr of the photographing position P of the thermal image Dt acquired in the thermal image acquisition step (S1). The photographing position acquisition step (S3) is similar to the processing content executed by the photographing
ステップS4において、計測位置取得ステップを実行する。計測位置取得ステップ(S4)は、予め測定されている相対計測位置Qrの計測結果を取得するステップである。計測位置取得ステップ(S4)は、既に説明した計測位置取得部3が実行する処理内容と同様であるため、詳細は省略する。
In step S4, a measurement position acquisition step is executed. The measurement position acquisition step (S4) is a step for acquiring the measurement result of the relative measurement position Qr that has been measured in advance. The measurement position acquisition step (S4) is similar to the processing content executed by the measurement
ステップS5において、位置特定ステップを実行する。位置特定ステップ(S5)は、上述したようにそれぞれ取得される相対撮影位置Pr、相対計測位置Qrおよび撮影情報Sに基づいて、上記の相対計測位置Qr(計測位置M)に対応する熱画像Dt上の位置(画像位置Dp)を算出するステップである。位置特定ステップ(S5)は、既に説明した計測位置取得部3が実行する処理内容と同様であるため、詳細は省略する。図10に示す実施形態では、位置特定ステップ(S5)では、周知な透視投影変換により、相対計測位置Qrを画像位置Dpに変換する。
In step S5, a position identification step is executed. The position identification step (S5) is a step of calculating a position (image position Dp) on the thermal image Dt corresponding to the relative measurement position Qr (measurement position M) based on the relative shooting position Pr, relative measurement position Qr, and shooting information S, which are acquired as described above. The position identification step (S5) is similar to the processing content executed by the measurement
なお、上述した熱画像取得ステップ(S1)、撮影情報取得ステップ(S2)、撮影位置取得ステップ(S3)、計測位置取得ステップ(S4)の実行順序は、処理対象の熱画像Dtが特定されている場合においては、位置特定ステップ(S5)よりも前に実行していれば、相互に順番を入れ替えても良い。この処理対象の熱画像Dtの特定は、熱画像取得ステップ(S1)で行われても良いし、全てのステップ(S1~S5)の前に実行される熱画像Dtを特定するステップ(不図示)により実行されても良い。 The order of execution of the above-mentioned thermal image acquisition step (S1), shooting information acquisition step (S2), shooting position acquisition step (S3), and measurement position acquisition step (S4) may be interchanged, provided that they are executed before the position identification step (S5) when the thermal image Dt to be processed has been identified. Identification of the thermal image Dt to be processed may be performed in the thermal image acquisition step (S1), or may be performed by a step (not shown) of identifying the thermal image Dt, which is executed before all steps (S1 to S5).
また、幾つかの実施形態では、上記の計測位置取得ステップ(S4)は、図11に示すような、上記の相対計測位置Qrを算出するよう構成された位置算出ステップ(S41~S45)を有しても良い。この位置算出ステップは、既に説明した位置算出部40が実行する処理内容と同様である。
In addition, in some embodiments, the measurement position acquisition step (S4) may include a position calculation step (S41 to S45) configured to calculate the relative measurement position Qr as shown in FIG. 11. This position calculation step is similar to the processing executed by the
図11に示す実施形態では、三角測量により算出する。このため、この位置算出ステップ(S41~S45)は、互いに異なる2つの撮影位置Pからのカメラ83(図11では可視カメラ83v)による同一の計測位置Mの撮影により得られる2つの画像(図11では、可視画像Dv(図7~図8参照))を取得するよう構成された画像取得ステップ(S41)と、上記の2つの画像Dの撮影時の各々におけるカメラ83の第2撮影情報Svを取得する第2撮影情報取得ステップ(S42)と、上記の2つの画像Dの各々からの計測位置Mの計測位置方向dを、上記の第2撮影情報Svに基づいてそれぞれ算出する方向算出ステップ(S43)と、上記の2つの画像Dの各々の撮影位置Pの基準位置Poに対する相対位置である第2相対撮影位置Pvの計測結果をそれぞれ取得する第2撮影位置取得ステップ(S44)と、上記の2つの画像Dの各々についての第2相対撮影位置Pvおよび計測位置方向dに基づいて、目的となる相対計測位置Qrを算出する算出ステップ(S45)と、を有する。
他の幾つかの実施形態では、上述した位置算出ステップ(S41~S45)は、1つの画像Dを取得し(画像取得ステップ(S41))、この1つの画像Dに基づいて、相対計測位置Qrを算出しても良い。
In the embodiment shown in FIG. 11, the calculation is performed by triangulation. For this reason, this position calculation step (S41 to S45) includes an image acquisition step (S41) configured to acquire two images (in FIG. 11, visible image Dv (see FIGS. 7 to 8)) obtained by photographing the same measurement position M by a camera 83 (
In some other embodiments, the above-mentioned position calculation steps (S41 to S45) may involve acquiring one image D (image acquisition step (S41)) and calculating the relative measurement position Qr based on this one image D.
上記の画像取得ステップ(S41)、第2撮影情報取得ステップ(S42)、方向算出ステップ(S43)、第2撮影位置取得ステップ(S44)、算出ステップ(S45)は、それぞれ、既に説明した画像取得部41、第2撮影情報取得部43、方向算出部44、第2撮影位置取得部45、算出部46がそれぞれ実行する処理内容と同様であるため、詳細は省略する。
The above image acquisition step (S41), second shooting information acquisition step (S42), direction calculation step (S43), second shooting position acquisition step (S44), and calculation step (S45) are similar to the processing contents executed by the
図11に示す実施形態では、自走式検査装置8を設定経路Rに沿って移動させることで、計測位置Mの可視画像Dvを撮影する。そして、可視画像Dvを撮影した際の撮影位置Pを撮影指示位置Tとして設定する。その後、熱画像Dtの撮影のために、再度、自走式検査装置8を設定経路Rに沿って移動させ、撮影指示位置Tで熱画像Dtを撮影させるようになっている。例えば、自走式検査装置8を設定経路Rに沿って一周など移動させる間に各計測位置Mの可視画像Dvを撮影し、定期的に2周目以降を行わせつつ各回において自走式検査装置8を設定経路Rに沿って移動(自動など)させつつ、各計測位置Mの熱画像Dtを撮影しても良い。
In the embodiment shown in FIG. 11, the self-propelled
図11に示す実施形態では、ステップS41において、2つの撮影位置P(図6AのP1、P2)から、それぞれ可視カメラ83vで同一の計測位置Mを撮影した結果えられた2つの可視画像Dvを取得する。ステップS42において、2つの可視画像Dvの撮影時の各々における可視カメラ83vの第2撮影情報Svを取得する。ステップS43において、2つの可視画像Dvの各々における計測位置Mの計測位置方向d(図6Aのd1、d2)を、その2つの可視画像Dvの第2撮影情報Svに基づいてそれぞれ算出する。ステップS44において、2つの可視画像Dvの各々の撮影位置Pの基準位置Poに対する相対位置(第2相対撮影位置Pv)の計測結果を取得する。ステップS45において、2つの可視画像Dvの各々の第2相対撮影位置Pvおよび計測位置方向dに基づいて、相対計測位置Qrを算出する。
In the embodiment shown in FIG. 11, in step S41, two visible images Dv obtained as a result of photographing the same measurement position M by the
なお、上述した画像取得ステップ(S41)および第2撮影情報取得ステップ(S42)は、方向算出ステップ(S43)の前であれば、順番は逆であっても良い。方向算出ステップ(S43)および第2撮影位置取得ステップ(S44)は、算出ステップ(S45)の前に実行されていれば、その順序は逆であっても良い。 The above-mentioned image acquisition step (S41) and second shooting information acquisition step (S42) may be performed in the reverse order as long as they are performed before the direction calculation step (S43). The direction calculation step (S43) and second shooting position acquisition step (S44) may be performed in the reverse order as long as they are performed before the calculation step (S45).
本発明は上述した実施形態に限定されることはなく、上述した実施形態に変形を加えた形態や、これらの形態を適宜組み合わせた形態も含む。
(付記)
The present invention is not limited to the above-described embodiment, and includes modifications to the above-described embodiment and appropriate combinations of these modifications.
(Additional Note)
(1)本発明の少なくとも一実施形態に係る画像位置特定装置(1)は、
計測対象物(9)上の温度の計測位置(M)に対応する熱画像(Dt)上の画像位置(Dp)を特定するための画像位置特定装置(1)であって、
赤外カメラ(83t)による前記計測位置(M)の撮影により得られる前記熱画像(Dt)を取得するよう構成された熱画像取得部(21)と、
取得された前記熱画像(Dt)の撮影時の前記赤外カメラ(83t)の画角および姿勢を含む撮影情報(S)を取得するよう構成された撮影情報取得部(22)と、
前記計測対象物(9)の周囲の所定の位置に設けられた基準位置(Po)に対する前記熱画像(Dt)の撮影位置(P)の相対位置である相対撮影位置(Pr)の計測結果を取得するよう構成された撮影位置取得部(23)と、
予め測定されている、前記基準位置(Po)に対する前記計測位置(M)の相対位置である相対計測位置(Qr)の計測結果を取得するよう構成された計測位置取得部(3)と、
前記相対撮影位置(Pr)、前記相対計測位置(Qr)および前記撮影情報(S)に基づいて、前記相対計測位置(Qr)に対応する前記画像位置(Dp)を算出するよう構成された位置特定部(4)と、を備える。
(1) An image location identification device (1) according to at least one embodiment of the present invention comprises:
An image position identifying device (1) for identifying an image position (Dp) on a thermal image (Dt) corresponding to a temperature measurement position (M) on a measurement object (9), comprising:
a thermal image acquisition unit (21) configured to acquire the thermal image (Dt) obtained by photographing the measurement position (M) with an infrared camera (83t);
an imaging information acquisition unit (22) configured to acquire imaging information (S) including an angle of view and an attitude of the infrared camera (83t) when the acquired thermal image (Dt) was captured;
an imaging position acquisition unit (23) configured to acquire a measurement result of a relative imaging position (Pr), which is a relative position of an imaging position (P) of the thermal image (Dt) relative to a reference position (Po) provided at a predetermined position around the measurement object (9);
a measurement position acquisition unit (3) configured to acquire a measurement result of a relative measurement position (Qr), which is a relative position of the measurement position (M) with respect to the reference position (Po), which has been measured in advance;
and a position identification unit (4) configured to calculate the image position (Dp) corresponding to the relative measurement position (Qr) based on the relative shooting position (Pr), the relative measurement position (Qr) and the shooting information (S).
上記(1)の構成によれば、例えば計測対象物(9)を可視カメラ(83v)などのカメラ(83)で撮影した可視画像(Dv)などの画像(D)上での指定などを通して設定された計測対象物(9)上の計測位置(M)が、同じ計測対象物(9)を赤外カメラ(83t)で撮影した熱画像(Dt)上のどの位置に対応するかを特定(同定)するために、まずは計測対象物(9)の周囲に、計測対象物(9)との相対位置が変わらない基準位置(Po)を設けておく。また、例えばこの基準位置(Po)を原点とする計測位置(M)の座標などとなる、基準位置(Po)に対する計測位置(M)の相対位置の計測結果(相対計測位置(Qr))を、事前(位置特定前)に測定などを通して用意しておく。そして、実際に撮影した熱画像(Dt)における計測位置(M)の特定の際には、その熱画像(Dt)の撮影時の撮影位置(P)から基準位置(Po)を計測することで、撮影位置(P)の基準位置(Po)に対する相対位置(相対撮影位置(Pr))を取得すると共に、事前に測定されている相対計測位置(Qr)を取得する。 According to the above configuration (1), in order to specify (identify) which position on the thermal image (Dt) of the same measurement object (9) captured by an infrared camera (83t) corresponds to a measurement position (M) on the measurement object (9) set through designation on an image (D) such as a visible image (Dv) captured by a camera (83) such as a visible camera (83v). First, a reference position (Po) whose relative position with respect to the measurement object (9) does not change is provided around the measurement object (9). In addition, a measurement result (relative measurement position (Qr)) of the relative position of the measurement position (M) with respect to the reference position (Po), which is, for example, the coordinate of the measurement position (M) with the reference position (Po) as the origin, is prepared in advance (before position specification) through measurement or the like. Then, when identifying the measurement position (M) in the actually captured thermal image (Dt), the reference position (Po) is measured from the capture position (P) when the thermal image (Dt) was captured, thereby obtaining the relative position (relative capture position (Pr)) of the capture position (P) with respect to the reference position (Po), and also obtaining the relative measurement position (Qr) that was measured in advance.
これによって、同一の座標系(例えば原点が基準位置(Po))における計測位置(M)および熱画像(Dt)の撮影位置(P)が得られるので、この熱画像(Dt)の撮影時の画角や姿勢を含む撮影情報(S)に基づいて、例えば透視投影変換などを実行することで、計測位置(M)の熱画像(Dt)における位置(画像位置(Dp))を精度良く特定することができる。例えば、自走式検査装置(8)により計測位置(M)を定期的に撮影する場合において、熱画像(Dt)の撮影時の自走式検査装置(8)の自己位置や自己方向を用いて画像位置(Dp)を特定する場合の精度は、その自己位置等の推定精度に依存する。しかし、基準位置(Po)の計測により得られる相対撮影位置(Pr)の精度は比較的高く、上記の構成によれば、画像位置(Dp)を高精度で特定することができる。 This allows the measurement position (M) and the shooting position (P) of the thermal image (Dt) to be obtained in the same coordinate system (e.g., the origin is the reference position (Po)), and by performing, for example, perspective projection transformation based on the shooting information (S) including the angle of view and attitude when the thermal image (Dt) was shot, the position of the measurement position (M) in the thermal image (Dt) (image position (Dp)) can be accurately identified. For example, when the measurement position (M) is periodically shot by the self-propelled inspection device (8), the accuracy of identifying the image position (Dp) using the self-position and self-orientation of the self-propelled inspection device (8) when shooting the thermal image (Dt) depends on the accuracy of estimating the self-position, etc. However, the accuracy of the relative shooting position (Pr) obtained by measuring the reference position (Po) is relatively high, and the above configuration allows the image position (Dp) to be identified with high accuracy.
(2)幾つかの実施形態では、上記(1)の構成において、
前記位置特定部(4)は、透視投影変換により、前記相対計測位置(Qr)を前記画像位置(Dp)に変換する。
上記(2)の構成によれば、透視投影変換により、画像位置(Dp)を精度良く特定することができる。
(2) In some embodiments, in the configuration of (1),
The position identification unit (4) transforms the relative measurement position (Qr) into the image position (Dp) by perspective projection transformation.
According to the above configuration (2), the image position (Dp) can be specified with high accuracy by perspective projection transformation.
(3)幾つかの実施形態では、上記(1)~(2)の構成において、
前記計測位置取得部(3)は、前記相対計測位置(Qr)を算出するよう構成された位置算出部(40)を含み、
前記位置算出部(40)は、
少なくとも1つの撮影位置(P)からのカメラ(83)による前記計測位置(M)の撮影により得られる少なくとも1つの画像(D)を取得するよう構成された画像取得部(41)と、
取得された1以上の前記画像(D)に基づいて、前記画像(D)に含まれる前記計測位置(M)の前記相対計測位置(Qr)を算出する相対位置算出部(42)と、を有する。
(3) In some embodiments, in the configurations (1) and (2) above,
The measurement position acquisition unit (3) includes a position calculation unit (40) configured to calculate the relative measurement position (Qr),
The position calculation unit (40)
An image acquisition unit (41) configured to acquire at least one image (D) obtained by photographing the measurement position (M) by a camera (83) from at least one photographing position (P);
and a relative position calculation unit (42) that calculates the relative measurement position (Qr) of the measurement position (M) included in the image (D) based on the one or more acquired images (D).
上記(3)の構成によれば、取得した1以上の画像(D)に基づいて、相対計測位置(Qr)を適切に求めることができる。 According to the above configuration (3), the relative measurement position (Qr) can be appropriately determined based on one or more acquired images (D).
(4)幾つかの実施形態では、上記(3)の構成において、
前記計測位置取得部(3)は、前記相対計測位置(Qr)を算出するよう構成された位置算出部(40)を有し、
前記位置算出部(40)は、
互いに異なる2つの撮影位置(P)からのカメラ(83。例えば可視カメラなど。以下同様。)による同一の前記計測位置(M)の撮影により得られる2つの画像(D)を取得するよう構成された画像取得部(41)と、
前記2つの画像(D)の撮影時の各々における前記カメラ(83)の画角および姿勢を含む第2撮影情報を取得するよう構成された第2撮影情報取得部(42)と、
取得された前記2つの画像(D)の各々における前記計測位置(M)の方向である計測位置方向を、前記2つの画像(D)の各々の前記第2撮影情報(Sv)に基づいてそれぞれ算出するよう構成された方向算出部(43)と、
前記2つの画像(D)の各々の前記撮影位置(P)の前記基準位置(Po)に対する相対位置である第2相対撮影位置(Pv)の計測結果を取得するよう構成された第2撮影位置取得部(44)と、
前記2つの画像(D)の各々の前記第2相対撮影位置(Pv)および前記計測位置方向に基づいて、前記相対計測位置(Qr)を算出するよう構成された算出部(45)と、を有する。
(4) In some embodiments, in the configuration of (3),
The measurement position acquisition unit (3) has a position calculation unit (40) configured to calculate the relative measurement position (Qr),
The position calculation unit (40)
An image acquisition unit (41) configured to acquire two images (D) obtained by photographing the same measurement position (M) using a camera (83, e.g., a visible camera, etc., the same applies below) from two different photographing positions (P);
a second photographing information acquisition unit (42) configured to acquire second photographing information including an angle of view and an attitude of the camera (83) when each of the two images (D) was photographed;
a direction calculation unit (43) configured to calculate a measurement position direction, which is a direction of the measurement position (M) in each of the two acquired images (D), based on the second shooting information (Sv) of each of the two images (D);
a second photographing position acquisition unit (44) configured to acquire a measurement result of a second relative photographing position (Pv), which is a relative position of the photographing position (P) of each of the two images (D) with respect to the reference position (Po);
and a calculation unit (45) configured to calculate the relative measurement position (Qr) based on the second relative shooting position (Pv) and the measurement position direction of each of the two images (D).
上記(4)の構成によれば、基準位置(Po)に対する計測位置(M)の相対値(相対計測位置(Qr))を、例えば可視カメラ(83v)や赤外カメラ(83t)などのカメラ83の2つの撮影位置(P)の各々の基準位置(Po)に対する相対位置(第2相対撮影位置(Pv))の計測結果、および、カメラ(83v)による計測対象物(9)(計測位置(M))の撮影を通して計測される、2つの撮影位置(P)の各々からの計測位置(M)の方向(計測位置方向)に基づいて、三角測量により算出する。これによって、相対計測位置(Qr)を適切に求めることができる。
According to the configuration of (4) above, the relative value (relative measurement position (Qr)) of the measurement position (M) with respect to the reference position (Po) is calculated by triangulation based on the measurement results of the relative positions (second relative shooting position (Pv)) of the two shooting positions (P) of the
(5)幾つかの実施形態では、上記(3)~(4)の構成において、
前記画像取得部によって取得された前記画像(D)の各々を用いて指定された位置を前記計測位置(M)として取得するよう構成された計測位置(M)設定部(5)を、さらに備える。
(5) In some embodiments, in the configurations (3) to (4) above,
The apparatus further includes a measurement position (M) setting unit (5) configured to acquire, as the measurement position (M), a position designated using each of the images (D) acquired by the image acquisition unit.
上記(5)の構成によれば、例えば相対計測位置(Qr)の算出のために撮影される画像(D)などをディスプレイ(61)に表示し、その画面上でユーザにより指定された画像(D)の指定位置を計測位置(M)として設定する。これによって、計測対象物(9)が設置されている現場に作業員が出向いて計測位置(M)を指定するような作業を行うことなく、計測対象物(9)における計測位置(M)を容易に設定することができる。 According to the above configuration (5), for example, an image (D) captured for calculating the relative measurement position (Qr) is displayed on the display (61), and a position of the image (D) designated by the user on the screen is set as the measurement position (M). This makes it possible to easily set the measurement position (M) on the measurement object (9) without requiring an operator to go to the site where the measurement object (9) is installed and designate the measurement position (M).
(6)幾つかの実施形態では、上記(3)~(5)の構成において、
前記熱画像取得部(21)は、複数の候補位置(Pc)における前記赤外カメラ(83t)での撮影により得られた複数の候補画像(Dc)のうちから、前記画像(D)の撮影状況に最も近い状況で撮影された前記候補画像(Dc)を前記熱画像(Dt)として取得する。
(6) In some embodiments, in the configurations (3) to (5) above,
The thermal image acquisition unit (21) acquires, from among a plurality of candidate images (Dc) obtained by photographing with the infrared camera (83t) at a plurality of candidate positions (Pc), the candidate image (Dc) captured under conditions closest to the photographing conditions of the image (D) as the thermal image (Dt).
上記(6)の構成によれば、赤外カメラ(83t)による熱画像(Dt)の撮影を互いに異なる複数の撮影位置(P)(候補位置(Pc))で行うことで得られる複数の熱画像(Dt)のうち、カメラ(83)による撮影状況と最も近い撮影状況で撮影された熱画像(Dt)を処理対象とする。これによって、カメラ(83)および赤外カメラ(83t)の各々の撮影状況の違いによる影響が小さくなるように図ることができ、同定精度の向上を図ることができる。 According to the above configuration (6), among the multiple thermal images (Dt) obtained by capturing thermal images (Dt) with the infrared camera (83t) at multiple different capturing positions (P) (candidate positions (Pc)), the thermal image (Dt) captured under the capturing conditions closest to those of the camera (83) is processed. This makes it possible to reduce the influence of differences in the capturing conditions of the camera (83) and the infrared camera (83t), thereby improving the identification accuracy.
(7)幾つかの実施形態では、上記(6)の構成において、
前記撮影状況は、前記撮影位置(P)または撮影方向の少なくとも一方を含む。
(7) In some embodiments, in the configuration of (6),
The photographing situation includes at least one of the photographing position (P) and the photographing direction.
上記(7)の構成によれば、熱画像(Dt)の複数の候補画像(Dc)のうちから、画像(D)の撮影位置(P)およびその撮影時の撮影方向の少なくとも一方が近かった候補画像(Dc)を処理対象の熱画像(Dt)とする。これによって、熱画像(Dt)上の計測位置(M)の同定精度の向上を図ることができる。 According to the above configuration (7), among multiple candidate images (Dc) of the thermal image (Dt), the candidate image (Dc) that is close in at least one of the shooting position (P) of the image (D) and the shooting direction at the time of shooting is set as the thermal image (Dt) to be processed. This makes it possible to improve the accuracy of identifying the measurement position (M) on the thermal image (Dt).
(8)幾つかの実施形態では、上記(1)~(7)の構成において、
前記相対撮影位置(Pr)は、前記基準位置(Po)までの距離および方向を測定するためのセンサ(84)を用いて測定される。
(8) In some embodiments, in the configurations (1) to (7) above,
The relative photographing position (Pr) is measured using a sensor (84) for measuring the distance and direction to the reference position (Po).
上記(8)の構成によれば、センサ(84)を用いることで、精度の高い相対撮影位置(Pr)を取得することができる。同様に、このセンサ(84)を用いて第2相対撮影位置(Pv)も測定することで、精度の高い第2相対撮影位置(Pv)を取得することができると共に、同一のセンサ(84)を用いることで高コスト化を防止することができる。 According to the above configuration (8), by using the sensor (84), it is possible to obtain a highly accurate relative shooting position (Pr). Similarly, by measuring the second relative shooting position (Pv) using this sensor (84), it is possible to obtain a highly accurate second relative shooting position (Pv), and by using the same sensor (84), it is possible to prevent high costs.
(9)本発明の少なくとも一実施形態に係る温度管理システム(7)は、
上記(1)~(8)のいずれか1項に記載の、計測対象物(9)の温度の計測位置(M)に対応する熱画像(Dt)上の画像位置(Dp)を特定するための画像位置特定装置(1)と、
前記計測位置(M)の前記熱画像(Dt)を撮影するため自走式の自走式検査装置(8)であって、
本体(81)と、
前記本体(81)を移動可能に支持する移動装置(82)と、
前記本体(81)に設置された、前記熱画像(Dt)を撮像可能な赤外カメラ(83t)と、
前記本体(81)に設置された、前記画像位置(Dp)の特定に用いられる、前記計測対象物(9)の周囲の所定の位置に設けられた基準位置(Po)との距離および方向を計測するためのセンサ(84)と、
前記本体(81)に設置された、前記移動装置(82)を制御する制御装置(85)と、を有する自走式検査装置(8)と、を備える。
(9) At least one embodiment of the temperature management system (7) of the present invention comprises:
An image position identifying device (1) for identifying an image position (Dp) on a thermal image (Dt) corresponding to a measurement position (M) of a temperature of a measurement object (9) according to any one of (1) to (8) above;
A self-propelled inspection device (8) for taking the thermal image (Dt) of the measurement position (M),
A main body (81);
A moving device (82) that movably supports the main body (81);
An infrared camera (83t) installed on the main body (81) and capable of capturing the thermal image (Dt);
A sensor (84) installed in the main body (81) for measuring a distance and a direction to a reference position (Po) provided at a predetermined position around the measurement object (9) and used to identify the image position (Dp);
The self-propelled inspection device (8) includes a control device (85) that is installed on the main body (81) and controls the moving device (82).
上記(9)の構成によれば、例えば自動で移動しながら熱画像(Dt)を撮影しつつ、上記(1)と同様な効果を奏することができる。なお、相対計測位置(Qr)を得るための用いるカメラ(83)が、可視カメラ(83v)である場合など赤外カメラ(83t)とは異なる場合には、そのカメラ(83)も本体(81)に一緒に設置すれば、自走式検査装置(8)による検査をより効率良く行うことが可能となる。 According to the configuration of (9) above, for example, it is possible to obtain the same effect as in (1) above while capturing thermal images (Dt) while moving automatically. Note that if the camera (83) used to obtain the relative measurement position (Qr) is different from the infrared camera (83t), such as a visible camera (83v), the camera (83) can also be installed on the main body (81) to make the inspection by the self-propelled inspection device (8) more efficient.
(10)本発明の少なくとも一実施形態に係る画像位置特定方法は、
計測対象物(9)上の温度の計測位置(M)に対応する熱画像(Dt)上の画像位置(Dp)を特定するための画像位置特定方法であって、
赤外カメラ(83t)による前記計測位置(M)の撮影により得られる前記熱画像(Dt)を取得するステップと、
取得された前記熱画像(Dt)の撮影時の前記赤外カメラ(83t)の画角および姿勢を含む撮影情報(S)を取得するステップと、
前記計測対象物(9)の周囲の所定の位置に設けられた基準位置(Po)に対する前記熱画像(Dt)の撮影位置(P)の相対位置である相対撮影位置(Pr)の計測結果を取得するステップと、
予め測定されている、前記基準位置(Po)に対する前記計測位置(M)の相対位置である相対計測位置(Qr)の計測結果を取得するステップと、
前記相対撮影位置(Pr)、前記相対計測位置(Qr)および前記撮影情報(S)に基づいて、前記相対計測位置(Qr)に対応する前記画像位置(Dp)を算出するステップと、を備える。
上記(10)の構成によれば、上記(1)と同様な効果を奏する。
(10) An image location method according to at least one embodiment of the present invention, comprising:
1. An image position identification method for identifying an image position (Dp) on a thermal image (Dt) corresponding to a temperature measurement position (M) on a measurement object (9), comprising:
acquiring the thermal image (Dt) obtained by photographing the measurement position (M) with an infrared camera (83t);
Acquiring shooting information (S) including an angle of view and an attitude of the infrared camera (83t) when the acquired thermal image (Dt) was captured;
A step of acquiring a measurement result of a relative photographing position (Pr), which is a relative position of a photographing position (P) of the thermal image (Dt) with respect to a reference position (Po) provided at a predetermined position around the measurement object (9);
A step of acquiring a measurement result of a relative measurement position (Qr), which is a relative position of the measurement position (M) with respect to the reference position (Po), which is measured in advance;
and calculating the image position (Dp) corresponding to the relative measurement position (Qr) based on the relative shooting position (Pr), the relative measurement position (Qr) and the shooting information (S).
The configuration (10) above has the same effect as the configuration (1) above.
(11)本発明の少なくとも一実施形態に係る画像位置(Dp)特定プログラムは、
計測対象物(9)上の温度の計測位置(M)に対応する熱画像(Dt)上の画像位置(Dp)を特定するための画像位置(Dp)特定プログラムであって、
コンピュータに、
赤外カメラ(83t)による前記計測位置(M)の撮影により得られる前記熱画像(Dt)を取得するよう構成された熱画像取得部(21)と、
取得された前記熱画像(Dt)の撮影時の前記赤外カメラ(83t)の画角および姿勢を含む撮影情報(S)を取得するよう構成された撮影情報取得部(22)と、
前記計測対象物(9)の周囲の所定の位置に設けられた基準位置(Po)に対する前記熱画像(Dt)の撮影位置(P)の相対位置である相対撮影位置(Pr)の計測結果を取得するよう構成された撮影位置取得部(23)と、
予め測定されている、前記基準位置(Po)に対する前記計測位置(M)の相対位置である相対計測位置(Qr)の計測結果を取得するよう構成された計測位置取得部(3)と、
前記相対撮影位置(Pr)、前記相対計測位置(Qr)および前記撮影情報(S)に基づいて、前記相対計測位置(Qr)に対応する前記画像位置(Dp)を算出するよう構成された位置特定部(4)と、を実現させるためのプログラムである。
上記(11)の構成によれば、上記(1)と同様な効果を奏する。
(11) An image position (Dp) specifying program according to at least one embodiment of the present invention,
An image position (Dp) identification program for identifying an image position (Dp) on a thermal image (Dt) corresponding to a temperature measurement position (M) on a measurement object (9),
On the computer,
a thermal image acquisition unit (21) configured to acquire the thermal image (Dt) obtained by photographing the measurement position (M) with an infrared camera (83t);
an imaging information acquisition unit (22) configured to acquire imaging information (S) including an angle of view and an attitude of the infrared camera (83t) when the acquired thermal image (Dt) was captured;
an imaging position acquisition unit (23) configured to acquire a measurement result of a relative imaging position (Pr), which is a relative position of an imaging position (P) of the thermal image (Dt) relative to a reference position (Po) provided at a predetermined position around the measurement object (9);
a measurement position acquisition unit (3) configured to acquire a measurement result of a relative measurement position (Qr), which is a relative position of the measurement position (M) with respect to the reference position (Po), which has been measured in advance;
and a position identification unit (4) configured to calculate the image position (Dp) corresponding to the relative measurement position (Qr) based on the relative shooting position (Pr), the relative measurement position (Qr), and the shooting information (S).
The configuration of (11) above has the same effect as that of (1) above.
1 画像位置特定装置
12 記憶装置
21 熱画像取得部
22 撮影情報取得部
23 撮影位置取得部
3 計測位置取得部
4 位置特定部
40 位置算出部
41 画像取得部
42 相対位置算出部
43 第2撮影情報取得部
44 方向算出部
44 第2撮影位置取得部
45 算出部
5 計測位置設定部
6 パソコン
61 ディスプレイ
7 温度管理システム
70 対象施設
71 温度管理装置
75 ポール
75a 第1ポール
75b 第2ポール
76 マーカ
76a 第1マーカ
76b 第2マーカ
8 自走式検査装置
81 本体
82 移動装置
83 カメラ
83t 赤外カメラ
83v 可視カメラ
84 センサ
85 制御装置
8d 破線(可視画像の撮影時の本体)
9 計測対象物
M 計測位置
M1 第1計測位置
M2 第2計測位置
M3 第3計測位置
T 撮影指示位置
T1 第1撮影指示位置
T2 第2撮影指示位置
D 画像
Dt 熱画像
Dc 候補画像(熱画像)
Dv 可視画像
Dp 画像位置
Po 基準位置
P 撮影位置
P1 第1撮影位置
P2 第2撮影位置
Pc 候補位置
Pr 相対撮影位置
Pv 第2相対撮影位置
Pm センサ検出結果
Qr 相対計測位置
R 設定経路
S 撮影情報(赤外カメラ)
Sv 第2撮影情報(カメラ)
d 計測位置方向
d1 第1計測位置方向
d2 第2計測位置方向
F 移動方向
Rt 赤外カメラの撮影範囲
Rv カメラの撮影範囲
Lb 直線
Ld 奥行方向の距離
1 Image
9 Measurement object M Measurement position M 1 First measurement position M 2 Second measurement position M 3 Third measurement position T Shooting instruction position T 1 First shooting instruction position T 2 Second shooting instruction position D Image Dt Thermal image Dc Candidate image (thermal image)
Dv Visible image Dp Image position Po Reference position P Shooting position P1 First shooting position P2 Second shooting position Pc Candidate position Pr Relative shooting position Pv Second relative shooting position Pm Sensor detection result Qr Relative measurement position R Set route S Shooting information (infrared camera)
Sv Second shooting information (camera)
d: direction of measurement position d1; first measurement position direction d2; second measurement position direction F: movement direction Rt: infrared camera shooting range Rv: camera shooting range Lb: straight line Ld: distance in the depth direction
Claims (11)
設定経路を定期的に走行する自走式検査装置に設けられた赤外カメラによる前記計測位置の撮影により得られる前記熱画像を取得するよう構成された熱画像取得部であって、前記設定経路を走行する前記自走式検査装置が、予め設定された撮影指示位置に到達すると判定して停止した場合に、前記赤外カメラが撮影を実行する熱画像取得部と、
取得された前記熱画像の撮影時の前記赤外カメラの画角および姿勢を含む撮影情報を取得するよう構成された撮影情報取得部と、
前記計測対象物の周囲の所定の位置に設けられた基準位置に対する前記熱画像の撮影位置の相対位置である相対撮影位置の計測結果を取得するよう構成された撮影位置取得部であって、前記基準位置は、前記計測対象物の周囲に配置されると共に前記計測対象物とは異なる周囲物において規定される位置である撮影位置取得部と、
予め測定されている、前記基準位置に対する前記計測位置の相対位置である相対計測位置の計測結果を取得するよう構成された計測位置取得部と、
前記相対撮影位置、前記相対計測位置および前記撮影情報に基づいて、前記相対計測位置に対応する前記画像位置を算出するよう構成された位置特定部と、を備える画像位置特定装置。 1. An image position identifying device for periodically identifying an image position on a thermal image that corresponds to a predetermined measurement position of a temperature on a measurement object, comprising:
a thermal image acquisition unit configured to acquire the thermal image obtained by photographing the measurement position by an infrared camera provided on a self-propelled inspection device that periodically travels along a set route, the thermal image acquisition unit causing the infrared camera to perform photographing when the self-propelled inspection device traveling along the set route is determined to have reached a preset photographing instruction position and stops;
An imaging information acquisition unit configured to acquire imaging information including an angle of view and an attitude of the infrared camera when capturing the acquired thermal image;
an imaging position acquisition unit configured to acquire a measurement result of a relative imaging position, which is a relative position of the imaging position of the thermal image with respect to a reference position provided at a predetermined position around the measurement object, the reference position being a position that is arranged around the measurement object and is defined in a surrounding object different from the measurement object ;
a measurement position acquisition unit configured to acquire a measurement result of a relative measurement position, which is a relative position of the measurement position with respect to the reference position, which is measured in advance;
a position specifying unit configured to calculate the image position corresponding to the relative measurement position based on the relative shooting position, the relative measurement position, and the shooting information.
前記位置算出部は、
少なくとも1つの撮影位置からのカメラによる前記計測位置の撮影により得られる少なくとも1つの画像を取得するよう構成された画像取得部と、
取得された1以上の前記画像に基づいて、前記画像に含まれる前記計測位置の前記相対計測位置を算出する相対位置算出部と、を有する請求項1または2に記載の画像位置特定装置。 the measurement position acquisition unit includes a position calculation unit configured to calculate the relative measurement position,
The position calculation unit is
an image acquisition unit configured to acquire at least one image obtained by photographing the measurement position by a camera from at least one photographing position;
The image position specifying device according to claim 1 , further comprising: a relative position calculation unit that calculates the relative measurement position of the measurement position included in the image based on the one or more acquired images.
前記相対位置算出部は、
前記2つの画像の撮影時の各々における前記カメラの画角および姿勢を含む第2撮影情報を取得するよう構成された第2撮影情報取得部と、
取得された前記2つの画像の各々における前記計測位置の方向である計測位置方向を、前記2つの画像の各々の前記第2撮影情報に基づいてそれぞれ算出するよう構成された方向算出部と、
前記2つの画像の各々の前記撮影位置の前記基準位置に対する相対位置である第2相対撮影位置の計測結果を取得するよう構成された第2撮影位置取得部と、
前記2つの画像の各々の前記第2相対撮影位置および前記計測位置方向に基づいて、前記相対計測位置を算出するよう構成された算出部と、を有する請求項3に記載の画像位置特定装置。 the image acquisition unit is configured to acquire two images obtained by photographing the same measurement position by the camera from two different photographing positions,
The relative position calculation unit
a second photographing information acquisition unit configured to acquire second photographing information including an angle of view and an attitude of the camera when the two images were captured;
a direction calculation unit configured to calculate a measurement position direction, which is a direction of the measurement position in each of the two acquired images, based on the second shooting information of each of the two images;
a second photographing position acquisition unit configured to acquire a measurement result of a second relative photographing position, which is a relative position of the photographing position of each of the two images with respect to the reference position;
The image position specifying device according to claim 3 , further comprising: a calculation unit configured to calculate the relative measurement position based on the second relative photographing position and the measurement position direction of each of the two images.
前記計測位置の前記熱画像を撮影するため自走式の自走式検査装置であって、
本体と、
前記本体を移動可能に支持する移動装置と、
前記本体に設置された、前記熱画像を撮像可能な赤外カメラと、
前記本体に設置された、前記画像位置の特定に用いられる、前記計測対象物の周囲の所定の位置に設けられた基準位置との距離および方向を計測するためのセンサと、
前記本体に設置された、前記移動装置を制御する制御装置と、を有する自走式検査装置と、を備える温度管理システム。 An image position specifying device for specifying an image position on a thermal image corresponding to a measurement position of a temperature of a measurement object according to any one of claims 1 to 8;
A self-propelled inspection device for taking the thermal image of the measurement position,
The main body,
A moving device that movably supports the main body;
An infrared camera installed on the main body and capable of capturing the thermal image;
a sensor installed in the main body, which is used to specify the image position, for measuring a distance and a direction to a reference position provided at a predetermined position around the measurement object;
A temperature management system comprising: a self-propelled inspection device having a control device installed on the main body that controls the moving device.
設定経路を定期的に走行する自走式検査装置に設けられた赤外カメラによる前記計測位置の撮影により得られる前記熱画像を取得するステップであって、前記設定経路を走行する前記自走式検査装置が、予め設定された撮影指示位置に到達すると判定して停止した場合に、前記赤外カメラが撮影を実行するステップと、
取得された前記熱画像の撮影時の前記赤外カメラの画角および姿勢を含む撮影情報を取得するステップと、
前記計測対象物の周囲の所定の位置に設けられた基準位置に対する前記熱画像の撮影位置の相対位置である相対撮影位置の計測結果を取得するステップであって、前記基準位置は、前記計測対象物の周囲に配置されると共に前記計測対象物とは異なる周囲物において規定される位置であるステップと、
予め測定されている、前記基準位置に対する前記計測位置の相対位置である相対計測位置の計測結果を取得するステップと、
前記相対撮影位置、前記相対計測位置および前記撮影情報に基づいて、前記相対計測位置に対応する前記画像位置を算出するステップと、を備える画像位置特定方法。 1. A method for periodically identifying image locations on a thermal image that correspond to predetermined measurement locations of temperature on a measurement object, comprising:
A step of acquiring the thermal image obtained by photographing the measurement position by an infrared camera provided on a self-propelled inspection device that periodically travels along a set route, in which the infrared camera performs photographing when the self-propelled inspection device traveling along the set route determines that it has reached a preset photographing instruction position and stops;
acquiring imaging information including an angle of view and an attitude of the infrared camera when the acquired thermal image was captured;
a step of acquiring a measurement result of a relative photographing position, which is a relative position of the photographing position of the thermal image with respect to a reference position provided at a predetermined position around the measurement object, the reference position being a position that is arranged around the measurement object and is defined in a surrounding object other than the measurement object;
acquiring a measurement result of a relative measurement position, which is a relative position of the measurement position with respect to the reference position, which is measured in advance;
and calculating the image position corresponding to the relative measurement position based on the relative shooting position, the relative measurement position, and the shooting information.
コンピュータに、
設定経路を定期的に走行する自走式検査装置に設けられた赤外カメラによる前記計測位置の撮影により得られる前記熱画像を取得するよう構成された熱画像取得部であって、前記設定経路を走行する前記自走式検査装置が、予め設定された撮影指示位置に到達すると判定して停止した場合に、前記赤外カメラが撮影を実行する熱画像取得部と、
取得された前記熱画像の撮影時の前記赤外カメラの画角および姿勢を含む撮影情報を取得するよう構成された撮影情報取得部と、
前記計測対象物の周囲の所定の位置に設けられた基準位置に対する前記熱画像の撮影位置の相対位置である相対撮影位置の計測結果を取得するよう構成された撮影位置取得部であって、前記基準位置は、前記計測対象物の周囲に配置されると共に前記計測対象物とは異なる周囲物において規定される位置である撮影位置取得部と、
予め測定されている、前記基準位置に対する前記計測位置の相対位置である相対計測位置の計測結果を取得するよう構成された計測位置取得部と、
前記相対撮影位置、前記相対計測位置および前記撮影情報に基づいて、前記相対計測位置に対応する前記画像位置を算出するよう構成された位置特定部と、を実現させるためプログラム。 An image position identification program for periodically identifying an image position on a thermal image corresponding to a predetermined measurement position of a temperature on a measurement object, comprising:
On the computer,
a thermal image acquisition unit configured to acquire the thermal image obtained by photographing the measurement position by an infrared camera provided on a self-propelled inspection device that periodically travels along a set route, the thermal image acquisition unit causing the infrared camera to perform photographing when the self-propelled inspection device traveling along the set route is determined to have reached a preset photographing instruction position and stops;
An imaging information acquisition unit configured to acquire imaging information including an angle of view and an attitude of the infrared camera when capturing the acquired thermal image;
an imaging position acquisition unit configured to acquire a measurement result of a relative imaging position, which is a relative position of the imaging position of the thermal image with respect to a reference position provided at a predetermined position around the measurement object, the reference position being a position that is arranged around the measurement object and is defined in a surrounding object different from the measurement object ;
a measurement position acquisition unit configured to acquire a measurement result of a relative measurement position, which is a relative position of the measurement position with respect to the reference position, which is measured in advance;
a position specifying unit configured to calculate the image position corresponding to the relative measurement position based on the relative shooting position, the relative measurement position, and the shooting information; and a program for realizing the position specifying unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019162272A JP7505867B2 (en) | 2019-09-05 | 2019-09-05 | Image position specifying device, method, program, and temperature control system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019162272A JP7505867B2 (en) | 2019-09-05 | 2019-09-05 | Image position specifying device, method, program, and temperature control system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021039071A JP2021039071A (en) | 2021-03-11 |
JP7505867B2 true JP7505867B2 (en) | 2024-06-25 |
Family
ID=74846966
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019162272A Active JP7505867B2 (en) | 2019-09-05 | 2019-09-05 | Image position specifying device, method, program, and temperature control system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7505867B2 (en) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002132341A (en) | 2000-10-26 | 2002-05-10 | Toshiba Corp | Field inspection device |
JP2009014436A (en) | 2007-07-03 | 2009-01-22 | Jfe Steel Kk | Welding inspection system of spherical tank |
JP2009282915A (en) | 2008-05-26 | 2009-12-03 | Global Engineering Inc | Temperature monitoring method for server computer and its device |
JP2015161577A (en) | 2014-02-27 | 2015-09-07 | Jfeスチール株式会社 | Self-traveling inspection device and inspection system |
JP2016070676A (en) | 2014-09-26 | 2016-05-09 | 株式会社トプコン | Calculation device, calculation method, and program |
JP2016145111A (en) | 2015-02-03 | 2016-08-12 | Jfeスチール株式会社 | Belt conveyor facility inspection system |
WO2017073310A1 (en) | 2015-10-27 | 2017-05-04 | 三菱電機株式会社 | Image capture system for shape measurement of structure, method of capturing image of stucture used for shape measurement of structure, onboard control device, remote control device, program, and recording medium |
JP2017211758A (en) | 2016-05-24 | 2017-11-30 | シャープ株式会社 | Autonomous travel device |
-
2019
- 2019-09-05 JP JP2019162272A patent/JP7505867B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002132341A (en) | 2000-10-26 | 2002-05-10 | Toshiba Corp | Field inspection device |
JP2009014436A (en) | 2007-07-03 | 2009-01-22 | Jfe Steel Kk | Welding inspection system of spherical tank |
JP2009282915A (en) | 2008-05-26 | 2009-12-03 | Global Engineering Inc | Temperature monitoring method for server computer and its device |
JP2015161577A (en) | 2014-02-27 | 2015-09-07 | Jfeスチール株式会社 | Self-traveling inspection device and inspection system |
JP2016070676A (en) | 2014-09-26 | 2016-05-09 | 株式会社トプコン | Calculation device, calculation method, and program |
JP2016145111A (en) | 2015-02-03 | 2016-08-12 | Jfeスチール株式会社 | Belt conveyor facility inspection system |
WO2017073310A1 (en) | 2015-10-27 | 2017-05-04 | 三菱電機株式会社 | Image capture system for shape measurement of structure, method of capturing image of stucture used for shape measurement of structure, onboard control device, remote control device, program, and recording medium |
JP2017211758A (en) | 2016-05-24 | 2017-11-30 | シャープ株式会社 | Autonomous travel device |
Also Published As
Publication number | Publication date |
---|---|
JP2021039071A (en) | 2021-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9898821B2 (en) | Determination of object data by template-based UAV control | |
US11645757B2 (en) | Method of and apparatus for analyzing images | |
US10397550B2 (en) | Apparatus and method for three dimensional surface measurement | |
Huh et al. | Integrated navigation system using camera and gimbaled laser scanner for indoor and outdoor autonomous flight of UAVs | |
JP6560366B2 (en) | Structure identifying device and method for structure | |
EP3261071B1 (en) | Methods and systems for detecting intrusions in a monitored volume | |
US10477180B1 (en) | Photogrammetry system and method of operation | |
Rumpler et al. | Automated end-to-end workflow for precise and geo-accurate reconstructions using fiducial markers | |
WO2013059160A1 (en) | Acquisition of information for a construction site | |
US20210374978A1 (en) | Capturing environmental scans using anchor objects for registration | |
US20190129045A1 (en) | Radiation imaging apparatus | |
Tang et al. | Surveying, geomatics, and 3D reconstruction | |
JP6325834B2 (en) | Maintenance support system and maintenance support method | |
Rashidi et al. | Capturing geometry for labeling and mapping built infrastructure: an overview of technologies | |
EP4332631A1 (en) | Global optimization methods for mobile coordinate scanners | |
US20230324167A1 (en) | Laser scanner for verifying positioning of components of assemblies | |
JP7505867B2 (en) | Image position specifying device, method, program, and temperature control system | |
US20220018950A1 (en) | Indoor device localization | |
US20220414925A1 (en) | Tracking with reference to a world coordinate system | |
NL2027547B1 (en) | Method of and apparatus for determining deformations of quay walls using a photogrammetric system | |
Wu et al. | An Assessment of Errors Using Unconventional Photogrammetric Measurement Technology-with UAV Photographic Images as an Example | |
EP4181063A1 (en) | Markerless registration of image data and laser scan data | |
Ergun et al. | Real-time relative mobile target positioning using GPS-assisted stereo videogrammetry | |
Altuntas et al. | The registration of point cloud data from range imaging camera | |
JP2023139821A (en) | Image management system and image management method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220616 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240604 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240613 |