JP2010169590A - Thermal deformation measurement method and apparatus - Google Patents

Thermal deformation measurement method and apparatus Download PDF

Info

Publication number
JP2010169590A
JP2010169590A JP2009013562A JP2009013562A JP2010169590A JP 2010169590 A JP2010169590 A JP 2010169590A JP 2009013562 A JP2009013562 A JP 2009013562A JP 2009013562 A JP2009013562 A JP 2009013562A JP 2010169590 A JP2010169590 A JP 2010169590A
Authority
JP
Japan
Prior art keywords
data
image
visible
thermal
synchronization signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009013562A
Other languages
Japanese (ja)
Inventor
Akashi Yamaguchi
証 山口
Hiroyuki Takamatsu
弘行 高松
Kohei Suzuki
康平 鈴木
Shugo Miyake
修吾 三宅
Shunji Araki
俊二 荒木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobe Steel Ltd
Kobelco Research Institute Inc
Original Assignee
Kobe Steel Ltd
Kobelco Research Institute Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobe Steel Ltd, Kobelco Research Institute Inc filed Critical Kobe Steel Ltd
Priority to JP2009013562A priority Critical patent/JP2010169590A/en
Publication of JP2010169590A publication Critical patent/JP2010169590A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To correctly measure a three-dimensional thermal deformation characteristic of a to-be-measured object in which a temperature and a shape are changed in various patterns. <P>SOLUTION: A synchronization signal Strg is generated in a temporal sequence. A combination of thermal image data from a thermal camera 20 and visible image data from a plurality of visible cameras 21 at the same imaging time point is sampled in synchronization with the synchronization signal Strg. Three-dimensional shape data at each imaging time point is calculated through a stereo image processing based on the visible image data at each imaging time point. A displacement on the visible image of an image in an observation region at each imaging time point is calculated through a pattern tracking processing by a digital image correlation method based on a plurality of the visible image data at different imaging time points. Data corresponding to location and temperature data in a three-dimensional coordinate system of the observation region at each imaging time point is recorded based on calculation results. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は，被測定物の温度変化に応じた三次元の形状変化を測定する熱変形測定方法及び熱変形測定装置に関するものである。   The present invention relates to a thermal deformation measuring method and a thermal deformation measuring apparatus for measuring a three-dimensional shape change according to a temperature change of an object to be measured.

昨今，プロセッサやパワーモジュール，コネクタなどの電子デバイスは、三次元的な構造の複雑化と使用環境の高温化とが進んでいる。例えば，ＣＰＵやＤＳＰ（Digital Signal Processor）などのプロセッサは，演算速度の高速化に伴って発熱量が著しく増大しており，熱変形によるパッケージや電極の破損が問題となりつつある。また，電気自動車やハイブリッド自動車，あるいはデジタル家電機器などに用いられるインバータ用パワーモジュールなどの電子デバイスも，出力向上に伴って発熱量が増大している。これらは高い信頼性が求められ，耐熱性評価が極めて重要になりつつある。さらに，自動車や航空機などに利用される電装部品であるコネクタなどの電子デバイスも，エンジンなどの熱源に近接配置されることにより，耐熱性が求められる。
一般に，電子デバイスの設計においては，計算機を用いた熱変形のシミュレーションにより，電子デバイスの温度変化に応じた三次元の形状変化が計算され，その計算結果に基づいて電子デバイスの耐熱性が評価されることが多い。しかしながら，ＣＰＵなどのプロセッサは，発熱位置が局所的かつ高熱となるため，材料の組成分布や組織構造等に起因する局所的な特性の違いにより，熱変形挙動が設計値と異なる可能性がある。そこで，電子デバイスの実物の変形パターンを実測評価し，設計値とのずれを補正してシミュレーションの高精度化を行なう必要がある。
一方，プロセッサＩＣやメモリＩＣ，信号処理ＩＣなど，複数のＩＣチップが１つのパッケージに収められたＭＣＰ（Multi Chip Package）が，携帯情報端末等に用いられるようになっている。中でも，複数のＢＧＡ（Ball Grid Array）モジュールが垂直に積層されたＰｏＰ（Package on Package）や，ＭＥＭＳ（Micro Electro Mechanical Systems）モジュールまでも内蔵し，さらにはチップが垂直積層されて１つにパッケージ化されたＳｉＰ（System in Package）といった複雑な構造を持つＭＣＰも実用化されつつある。ＳｉＰやＰｏＰ等の新しいタイプのパッケージは，構造が複雑なため高精度の熱変形のシミュレーションが難しい。従って，そのような構造の複雑な電子デバイスについて，実測定により熱変形パターンを把握し，耐熱性を評価することが非常に重要となっている。 In recent years, electronic devices such as processors, power modules, connectors, and the like have become more complicated in three-dimensional structures and used in higher temperatures. For example, in a processor such as a CPU or DSP (Digital Signal Processor), the amount of heat generation is remarkably increased as the calculation speed is increased, and the breakage of packages and electrodes due to thermal deformation is becoming a problem. In addition, electronic devices such as inverter power modules used in electric vehicles, hybrid vehicles, digital home appliances, and the like have increased in heat generation as output is improved. These require high reliability, and heat resistance evaluation is becoming extremely important. Furthermore, electronic devices such as connectors, which are electrical components used in automobiles and aircraft, are also required to have heat resistance by being placed close to a heat source such as an engine.
In general, in designing electronic devices, a three-dimensional shape change corresponding to a temperature change of the electronic device is calculated by a thermal deformation simulation using a computer, and the heat resistance of the electronic device is evaluated based on the calculation result. Often. However, because the heat generation position of a processor such as a CPU is local and high, the thermal deformation behavior may differ from the design value due to differences in local characteristics due to the material composition distribution, tissue structure, etc. . Therefore, it is necessary to improve the simulation accuracy by actually measuring and evaluating the actual deformation pattern of the electronic device and correcting the deviation from the design value.
On the other hand, an MCP (Multi Chip Package) in which a plurality of IC chips such as a processor IC, a memory IC, and a signal processing IC are housed in one package is used for a portable information terminal or the like. In particular, PoP (Package on Package) in which multiple BGA (Ball Grid Array) modules are stacked vertically and MEMS (Micro Electro Mechanical Systems) modules are also built in, and chips are stacked vertically into a single package. An MCP having a complicated structure such as a simplified SiP (System in Package) is also being put into practical use. New types of packages such as SiP and PoP are difficult to simulate with high accuracy due to their complicated structure. Therefore, it is very important to grasp the heat deformation pattern by actual measurement and evaluate the heat resistance of a complicated electronic device having such a structure.

一方，画像を用いた被測定物の変形の測定方法として，デジタル画像相関法（Digital image correlation method）でのパターン追跡処理が知られている。
一般に，前記デジタル画像相関法でのパターン追跡処理は，演算手段によって以下の手順に従った処理を行う方法である。
まず，被測定物を順次撮像して得られた異なる時点の画像相互間において，複数に区分された小領域の画像パターンであるサブセットごとに，相関の高い前記サブセットどうしの位置の対応付けを行う。このようにして対応付けられた前記サブセット（画像パターン）は，時間の経過に応じて変位した同一の撮像部位の像であるといえる。
そして，対応づけられた前記サブセットを，撮像時点の遷移に応じて順次追跡することにより，撮像時点の変化に応じた所定の撮像部位の変位量を算出する。このようにして算出される前記撮像部位各々の変位量は，前記被測定物の表面上の各部位の画像上での変位量，即ち，前記被測定物の撮像画像の座標系における形状変化を表す。なお，前記被測定物が移動する物である場合，前記デジタル画像相関法でのパターン追跡処理により前記被測定物の画像上での移動量が測定される。 On the other hand, pattern tracking processing using a digital image correlation method is known as a method for measuring deformation of an object to be measured using an image.
In general, the pattern tracking process in the digital image correlation method is a method in which processing according to the following procedure is performed by an arithmetic means.
First, among the images at different time points obtained by sequentially imaging the object to be measured, the positions of the subsets having a high correlation are associated with each subset that is an image pattern of a small area divided into a plurality of areas. . It can be said that the subset (image pattern) associated in this way is an image of the same imaging region displaced with the passage of time.
Then, by sequentially tracking the associated subsets according to the transition of the imaging time point, a displacement amount of a predetermined imaging region corresponding to the change of the imaging time point is calculated. The displacement amount of each of the imaging parts calculated in this way is the displacement amount on the image of each part on the surface of the object to be measured, that is, the shape change in the coordinate system of the imaged image of the object to be measured. To express. When the object to be measured is a moving object, the amount of movement of the object to be measured on the image is measured by pattern tracking processing using the digital image correlation method.

また，複数の二次元の画像を用いて被測定物の三次元の形状を測定する方法として，ステレオ画像処理による形状測定法が知られている。
一般に，前記ステレオ画像処理による形状測定法は，演算手段によって以下の手順に従った処理を行う方法である。
まず，被測定物を複数のカメラにより異なる方向から撮像して得られた複数の画像相互間において，複数に区分された小領域の画像のデータであるサブセットごとに，相関の高い前記サブセットどうしの位置の対応付けを行う。
次に，三角測量法に基づいて，対応付けられた前記サブセットの位置関係とカメラの位置関係とから，前記被測定物が配置されている実空間における三次元形状のデータを算出する。前記三次元形状のデータは，実空間での所定の三次元座標系における各座標のデータである。また，前記三次元形状のデータは，複数のカメラから得られた複数の画像各々との間で座標の対応関係が既知である。前記ステレオ画像処理による形状測定法は，３つ以上の二次元の画像を用いて被測定物の三次元の形状を測定することにも応用可能である。 In addition, as a method for measuring the three-dimensional shape of an object to be measured using a plurality of two-dimensional images, a shape measurement method using stereo image processing is known.
In general, the shape measuring method by the stereo image processing is a method of performing processing according to the following procedure by a calculation means.
First, among the plurality of images obtained by imaging the object to be measured from different directions with a plurality of cameras, for each subset that is image data of a small area divided into a plurality, the correlation between the subsets having a high correlation is obtained. Associate positions.
Next, based on the triangulation method, the three-dimensional shape data in the real space in which the object to be measured is arranged is calculated from the positional relationship of the associated subset and the positional relationship of the camera. The three-dimensional shape data is data of each coordinate in a predetermined three-dimensional coordinate system in real space. The three-dimensional shape data has a known coordinate correspondence with each of a plurality of images obtained from a plurality of cameras. The shape measurement method based on the stereo image processing can be applied to the measurement of the three-dimensional shape of an object to be measured using three or more two-dimensional images.

また，特許文献１には，前記デジタル画像相関法を利用する以下の方法によって構造物の応力変動を測定することについて示されている。
即ち，特許文献１に示される測定法では，まず，測定対象である構造物を，相互の視野を一致させた赤外線カメラと可視カメラとにより撮像し，時系列の熱画像と可視画像とを取得する。なお，前記可視カメラは，画素ごとに輝度データが設定された通常の画像データである前記可視画像のデータを取得するための一般的なカメラである。また，前記熱画像のデータは，画素ごとに温度データが設定されたデータである。
次に，前記可視画像に前記デジタル画像相関法を適用することにより，前記構造物の歪みを検出する。これにより検出される歪みは，前記構造物の二次元方向の歪みである。
そして，前記構造物の歪みに基づいて前記構造物の応力分布を算出し，その応力分布に基づいて前記熱画像の位置補正を行う。
最後に，位置補正後の前記熱画像に基づいて，前記構造物の応力変動を検出する。 Japanese Patent Application Laid-Open No. H10-228561 discloses measuring the stress fluctuation of a structure by the following method using the digital image correlation method.
In other words, in the measurement method disclosed in Patent Document 1, first, a structure to be measured is imaged with an infrared camera and a visible camera whose visual fields coincide with each other, and a time-series thermal image and a visible image are acquired. To do. The visible camera is a general camera for acquiring the visible image data which is normal image data in which luminance data is set for each pixel. The thermal image data is data in which temperature data is set for each pixel.
Next, the distortion of the structure is detected by applying the digital image correlation method to the visible image. The strain detected thereby is a strain in the two-dimensional direction of the structure.
Then, the stress distribution of the structure is calculated based on the distortion of the structure, and the position of the thermal image is corrected based on the stress distribution.
Finally, the stress variation of the structure is detected based on the thermal image after the position correction.

また，特許文献２には，前記ステレオ画像処理による形状測定法を利用して可視画像と熱画像との座標の対応付けを行う温度測定法について示されている。
即ち，特許文献２に示される温度測定法では，温度の測定対象が一部に含まれる撮像範囲が，１つの赤外線カメラと２台の可視カメラとにより撮像される。これら３台のカメラ各々の撮像範囲は，重複しているが一致はしていない。
さらに，特許文献２に示される温度測定法では，２台の前記可視カメラにより得られた２つの可視画像に対し，前記ステレオ画像処理による形状測定法が適用され，三次元形状が算出される。そして，前記可視画像と前記三次元形状との座標の対応関係と，前記赤外線カメラにより得られる熱画像と前記三次元形状との座標の対応関係とに基づいて，前記可視画像と前記熱画像との間の座標の対応関係が導出される。
これにより，前記赤外線カメラと前記可視カメラとの視野範囲を完全に一致させなくても，前記可視画像上で指定される位置に存在する被測定物の温度を，前記熱画像において特定することができる。 Patent Document 2 discloses a temperature measurement method that associates coordinates between a visible image and a thermal image using the shape measurement method based on the stereo image processing.
That is, in the temperature measurement method disclosed in Patent Document 2, an imaging range including a part of a temperature measurement target is imaged by one infrared camera and two visible cameras. The imaging ranges of each of these three cameras overlap but do not match.
Furthermore, in the temperature measurement method disclosed in Patent Document 2, the shape measurement method by the stereo image processing is applied to two visible images obtained by the two visible cameras, and a three-dimensional shape is calculated. Then, based on the correspondence relationship between the visible image and the three-dimensional shape, and the correspondence relationship between the thermal image obtained by the infrared camera and the three-dimensional shape, the visible image and the thermal image A coordinate correspondence between is derived.
Thus, the temperature of the object to be measured existing at the position designated on the visible image can be specified in the thermal image without completely matching the visual field range of the infrared camera and the visible camera. it can.

特開２００８−２３２９９８号公報JP 2008-232998 A 特開２００２−３６６９５３号公報JP 2002-36653 A

しかしながら，従来の技術は，電子デバイスのように温度変化の著しい被測定物について，温度変化に応じた三次元の形状変化を正確に測定するにあたり以下のような問題点を有していた。
例えば，特許文献１に示される技術は，前記デジタル画像相関法によって被測定物の二次元方向の熱変形を測定できるものの，被測定物の三次元の熱変形を測定することができないという問題点があった。
また，特許文献２に示される技術は，前記可視画像上で指定される位置に存在する被測定物の温度を前記熱画像において特定できるものの，時々刻々と変化する被測定物の温度と三次元形状との対応関係，即ち，被測定物の三次元の熱変形特性を正確に測定することができないという問題点があった。
従って，本発明は上記事情に鑑みてなされたものであり，その目的とするところは，多様なパターンで温度及び形状が変化する被測定物の三次元の熱変形特性を正確に測定可能な熱変形測定方法及び熱変形測定装置を提供することにある。 However, the prior art has the following problems in accurately measuring the three-dimensional shape change corresponding to the temperature change of an object to be measured with a significant temperature change such as an electronic device.
For example, the technique disclosed in Patent Document 1 can measure the two-dimensional thermal deformation of the object to be measured by the digital image correlation method, but cannot measure the three-dimensional heat deformation of the object to be measured. was there.
Further, although the technique disclosed in Patent Document 2 can specify the temperature of the object to be measured existing at the position designated on the visible image in the thermal image, the temperature of the object to be measured which changes from time to time and the three-dimensional There is a problem in that the correspondence with the shape, that is, the three-dimensional thermal deformation characteristic of the object to be measured cannot be measured accurately.
Therefore, the present invention has been made in view of the above circumstances, and the object of the present invention is to provide a heat measurement characteristic capable of accurately measuring the three-dimensional thermal deformation characteristics of an object whose temperature and shape change in various patterns. An object of the present invention is to provide a deformation measuring method and a thermal deformation measuring apparatus.

上記目的を達成するために本発明に係る熱変形測定方法は，被測定物の温度変化に応じた三次元の変形を測定する方法であり，次の（１．１）〜（１．５）に示される各手順を有する方法である。
（１．１）信号生成手段により同期信号を時系列で発生させる同期信号生成手順。
（１．２）前記同期信号に同期して，前記被測定物の熱画像を撮像するサーモカメラ及びそれぞれ異なる位置において前記被測定物の可視画像を撮像する複数の可視カメラから，撮像時点が同じ前記熱画像及び複数の前記可視画像のデータの組合せをサンプリングする画像データサンプリング手順。
（１．３）演算手段により，前記撮像時点ごとの複数の前記可視画像のデータの組合せに基づくステレオ画像処理を通じて，前記撮像時点ごとの三次元形状のデータを算出する三次元形状データ算出手順。
（１．４）演算手段により，特定の前記可視カメラから得られた前記撮像時点が異なる複数の前記可視画像のデータに基づくデジタル画像相関法でのパターン追跡処理を通じて，前記撮像時点ごとの前記可視画像における前記被測定物の１又は複数の観測部位の像の前記可視画像上での変位量を算出する変位量算出手順。
（１．５）演算手段により，予め設定された前記三次元形状及び前記熱画像の間の座標変換の情報と前記画像データサンプリング手順により得られた前記撮像時点ごとの前記熱画像のデータと前記三次元形状データ算出手順により得られた前記撮像時点ごとの前記三次元形状のデータと前記変位量算出手順により得られた前記撮像時点ごとの前記観測部位の像の前記可視画像上での変位量とに基づいて，前記観測部位の前記撮像時点ごとの三次元座標系での位置及び温度のデータが対応付けられた三次元熱変形データを記憶手段に記憶させる熱変形データ記録手順。
なお，前記三次元形状データ算出手順及び前記変位量算出手順は，いずれが先に実行されてもよく，並列に実行されてもよい。 In order to achieve the above object, a thermal deformation measuring method according to the present invention is a method for measuring three-dimensional deformation according to a temperature change of an object to be measured, and includes the following (1.1) to (1.5) It is a method which has each procedure shown by.
(1.1) A synchronization signal generation procedure for generating a synchronization signal in time series by the signal generation means.
(1.2) The imaging time point is the same from a thermo camera that captures a thermal image of the object to be measured and a plurality of visible cameras that capture visible images of the object to be measured at different positions in synchronization with the synchronization signal. An image data sampling procedure for sampling a combination of data of the thermal image and the plurality of visible images.
(1.3) A three-dimensional shape data calculation procedure for calculating three-dimensional shape data for each imaging time point through stereo image processing based on a combination of a plurality of visible image data for each imaging time point by an arithmetic means.
(1.4) Through the pattern tracking process in the digital image correlation method based on the data of a plurality of the visible images obtained from the specific visible camera by the calculation unit, the visible at each imaging time A displacement amount calculation procedure for calculating a displacement amount on the visible image of an image of one or a plurality of observation parts of the object to be measured in the image.
(1.5) Information of coordinate conversion between the preset three-dimensional shape and the thermal image, data of the thermal image at each imaging time point obtained by the image data sampling procedure, and the data Displacement amount on the visible image of the three-dimensional shape data for each imaging time point obtained by the three-dimensional shape data calculation procedure and the image of the observation site for each imaging time point obtained by the displacement amount calculation procedure Based on the above, a thermal deformation data recording procedure for storing in the storage means the three-dimensional thermal deformation data in which the position and temperature data in the three-dimensional coordinate system at each imaging time point of the observation site are associated.
Note that either the three-dimensional shape data calculation procedure or the displacement amount calculation procedure may be executed first or in parallel.

本発明に係る熱変形測定方法では，前記同期信号に基づいて撮像時点が同じ複数の前記可視画像のデータの組合せが順次サンプリングされ，その可視画像のデータに基づくステレオ画像処理及びデジタル画像相関法でのパターン追跡処理により，前記被測定物の観測部位の前記撮像時点ごとの三次元座標系での位置が算出される。ここで，前記観測部位の前記撮像時点ごとの三次元座標系での位置の情報は，前記撮像時点の変遷に応じた前記被測定物の三次元の形状変化の情報である。
さらに，本発明に係る熱変形測定方法では，前記被測定物の温度分布を表す前記熱画像のデータも，前記同期信号に基づいて，前記可視画像のデータのサンプリングと同じタイミングでサンプリングされる。また，前記三次元形状と前記熱画像との座標の変換情報は，ホモグラフィと称される座標の変換行列で表され，そのホモグラフィは予め計算により求めることができる。
従って，既知の情報に基づいて，前記画像データサンプリング手順により得られた前記撮像時点ごとの前記熱画像のデータから，対応する撮像時点における前記三次元形状内の前記観測部位の位置に対応する温度データを特定できる。即ち，熱変形データ記録手順において得られる前記三次元熱変形データは，時々刻々と変化する前記被測定物における前記観測部位の温度と三次元の位置との正確な対応関係，即ち，前記被測定物の正確な熱変形特性を示すデータとなる。 In the thermal deformation measurement method according to the present invention, a combination of a plurality of visible image data having the same imaging time point is sequentially sampled based on the synchronization signal, and stereo image processing and digital image correlation based on the visible image data are performed. With this pattern tracking process, the position of the observation part of the object to be measured in the three-dimensional coordinate system at each imaging time point is calculated. Here, the information on the position of the observation part in the three-dimensional coordinate system for each imaging time point is information on the three-dimensional shape change of the object to be measured according to the transition of the imaging time point.
Furthermore, in the thermal deformation measuring method according to the present invention, the thermal image data representing the temperature distribution of the object to be measured is also sampled at the same timing as the sampling of the visible image data based on the synchronization signal. The coordinate conversion information between the three-dimensional shape and the thermal image is represented by a coordinate conversion matrix called homography, and the homography can be obtained in advance by calculation.
Therefore, based on the known information, the temperature corresponding to the position of the observation part in the three-dimensional shape at the corresponding imaging time point from the data of the thermal image for each imaging time point obtained by the image data sampling procedure. Data can be identified. That is, the three-dimensional thermal deformation data obtained in the thermal deformation data recording procedure is an accurate correspondence between the temperature of the observation site and the three-dimensional position of the object to be measured, which changes every moment, that is, the measured object. The data shows the exact thermal deformation characteristics of the object.

また，本発明に係る熱変形測定方法において，前記同期信号生成手順は，次の（１．６）〜（１．９）に示される各手順のいずれかであることが考えられる。
（１．６）所定の操作部を通じた操作入力をトリガとして前記同期信号を時系列で発生させる手順。以下，この手順を第１の同期信号生成手順と称する。
（１．７）予定された時間が経過することをトリガとして前記同期信号を時系列で発生させる手順。以下，この手順を第２の同期信号生成手順と称する。
（１．８）前記サーモカメラから逐次得られる前記熱画像のデータが予定された温度状態に達することをトリガとして前記同期信号を時系列で発生させる手順。以下，この手順を第３の同期信号生成手順と称する。
（１．９）前記可視カメラから逐次得られる前記可視画像のデータに基づき算出される前記被測定物の形状の変化が予定された変形状態に達することをトリガとして前記同期信号を時系列で発生させる手順。以下，この手順を第４の同期信号生成手順と称する。
前記被測定物が，外部から加熱又は冷却される場合，或いは自己発熱又は自己冷却する場合のいずれにおいても，前記第１の同期信号生成手順を採用すれば，前記操作入力の操作者が，任意のタイミングで前記被測定物１の熱変形を測定できる。
一方，予め定められたタイムスケジュールに従って前記被測定物を外部から加熱又は冷却したときの前記被測定物の熱変形を測定したい場合がある。その場合，本発明に係る熱変形測定方法において，前記第２の同期信号生成手順を採用すれば，前記タイムスケジュールにおける特定の時点を経過するごとの前記被測定物の熱変形を測定できる。
また，前記被測定物の熱変形を，所定の温度変化が生じるごとに測定したい場合がある。また，前記被測定物の熱変形を，温度域ごとに異なる温度分解能で測定したい場合もある。そのような場合，本発明に係る熱変形測定方法において，前記第３の同期信号生成手順を採用すれば，必要な測定データのみを効率的に得ることができる。
また，前記被測定物の熱変形の測定において，前記被測定物に所定の形状変化が生じるごとにその熱変形のデータを測定したい場合がある。また，前記被測定物の熱変形を，形状変化の大きさに応じて異なる分解能で測定したい場合もある。そのような場合，本発明に係る熱変形測定方法において，前記第４の同期信号生成手順を採用すれば，必要な測定データのみを効率的に得ることができる。 In the thermal deformation measurement method according to the present invention, the synchronization signal generation procedure may be any one of the procedures shown in the following (1.6) to (1.9).
(1.6) A procedure for generating the synchronization signal in time series using an operation input through a predetermined operation unit as a trigger. Hereinafter, this procedure is referred to as a first synchronization signal generation procedure.
(1.7) A procedure for generating the synchronization signal in time series triggered by the elapse of a scheduled time. Hereinafter, this procedure is referred to as a second synchronization signal generation procedure.
(1.8) A procedure for generating the synchronization signal in time series by using the thermal image data sequentially obtained from the thermocamera as a trigger when reaching a predetermined temperature state. Hereinafter, this procedure is referred to as a third synchronization signal generation procedure.
(1.9) The synchronization signal is generated in time series triggered by a change in the shape of the object to be measured, which is calculated based on the data of the visible image sequentially obtained from the visible camera, reaching a predetermined deformation state. Procedure to make. Hereinafter, this procedure is referred to as a fourth synchronization signal generation procedure.
Whether the object to be measured is heated or cooled from the outside, self-heating or self-cooling, if the first synchronization signal generation procedure is adopted, the operator of the operation input can arbitrarily The thermal deformation of the DUT 1 can be measured at the timing.
On the other hand, there is a case where it is desired to measure the thermal deformation of the measurement object when the measurement object is heated or cooled from the outside according to a predetermined time schedule. In this case, in the thermal deformation measurement method according to the present invention, if the second synchronization signal generation procedure is adopted, the thermal deformation of the object to be measured can be measured every time a specific time point in the time schedule elapses.
In some cases, it is desired to measure the thermal deformation of the object to be measured every time a predetermined temperature change occurs. In some cases, it is desired to measure the thermal deformation of the object to be measured with different temperature resolutions for each temperature range. In such a case, in the thermal deformation measurement method according to the present invention, if the third synchronization signal generation procedure is employed, only necessary measurement data can be efficiently obtained.
Further, in the measurement of the thermal deformation of the object to be measured, there are cases where it is desired to measure the data of the heat deformation every time a predetermined shape change occurs in the object to be measured. In some cases, it is desired to measure the thermal deformation of the object to be measured with different resolutions depending on the magnitude of the shape change. In such a case, in the thermal deformation measurement method according to the present invention, if the fourth synchronization signal generation procedure is employed, only necessary measurement data can be efficiently obtained.

また，本発明は，以上に示した本発明に係る熱変形測定方法を実現する熱変形測定装置として捉えることもできる。
即ち，本発明に係る熱変形測定装置は，被測定物の温度変化に応じた三次元の変形を測定する装置であり，次の（２．１）〜（２．７）に示される各構成要素を備える装置である。
（２．１）同期信号を時系列で発生させる同期信号生成手段。
（２．２）前記被測定物の熱画像を撮像するサーモカメラ。
（２．３）それぞれ異なる位置において前記被測定物の可視画像を撮像する複数の可視カメラ。
（２．４）前記同期信号に同期して，前記サーモカメラ及び複数の前記可視カメラから撮像時点が同じ前記熱画像及び複数の前記可視画像のデータの組合せをサンプリングする画像データサンプリング手段。
（２．５）前記撮像時点ごとの複数の前記可視画像のデータの組合せに基づくステレオ画像処理を通じて，前記撮像時点ごとの三次元形状のデータを算出する三次元形状データ算出手段。
（２．６）特定の前記可視カメラから得られた前記撮像時点が異なる複数の前記可視画像のデータに基づくデジタル画像相関法でのパターン追跡処理を通じて，前記撮像時点ごとの前記可視画像における前記被測定物の像の前記可視画像上での変位量を算出する変位量算出手段。
（２．７）予め設定された前記三次元形状及び前記熱画像の間の座標変換の情報と前記画像データサンプリング手段により得られた前記撮像時点ごとの前記熱画像のデータと前記三次元形状データ算出手段により得られた前記撮像時点ごとの前記三次元形状のデータと前記変位量算出手段により得られた前記撮像時点ごとの前記観測部位の像の前記可視画像上での変位量とに基づいて，前記観測部位の前記撮像時点ごとの三次元座標系での位置及び温度のデータが対応付けられた三次元熱変形データを記憶手段に記憶させる熱変形データ記録手段。
なお，本発明に係る熱変形測定装置における前記同期信号生成手段としては，前記第１の同期信号生成手順，前記第２の同期信号生成手順，前記第３の同期信号生成手順又は前記第４の同期信号生成手順のいずれかを実行するものが考えられる。
本発明に係る熱変形測定装置によっても，前述した本発明に係る熱変形測定方法と同様の作用効果が得られる。 Further, the present invention can also be regarded as a thermal deformation measuring device that realizes the thermal deformation measuring method according to the present invention described above.
That is, the thermal deformation measuring apparatus according to the present invention is an apparatus for measuring three-dimensional deformation in accordance with a temperature change of an object to be measured, and each configuration shown in the following (2.1) to (2.7) A device comprising elements.
(2.1) Synchronization signal generation means for generating a synchronization signal in time series.
(2.2) A thermo camera that captures a thermal image of the object to be measured.
(2.3) A plurality of visible cameras that capture visible images of the measurement object at different positions.
(2.4) Image data sampling means for sampling a combination of data of the thermal image and the plurality of visible images having the same imaging time point from the thermo camera and the plurality of visible cameras in synchronization with the synchronization signal.
(2.5) Three-dimensional shape data calculating means for calculating three-dimensional shape data for each imaging time point through stereo image processing based on a combination of a plurality of visible image data for each imaging time point.
(2.6) Through the pattern tracking process in the digital image correlation method based on the data of the plurality of visible images having different imaging time points obtained from the specific visible camera, the coverage in the visible image at each imaging time point Displacement amount calculation means for calculating a displacement amount of the image of the measurement object on the visible image.
(2.7) Information of coordinate conversion between the preset three-dimensional shape and the thermal image, the thermal image data and the three-dimensional shape data for each imaging time point obtained by the image data sampling means Based on the data of the three-dimensional shape for each imaging time point obtained by the calculation means and the displacement amount on the visible image of the image of the observation site for each imaging time point obtained by the displacement amount calculation means. Thermal deformation data recording means for storing in the storage means three-dimensional thermal deformation data in which the position and temperature data in the three-dimensional coordinate system for each imaging time point of the observation site are associated.
The synchronization signal generating means in the thermal deformation measuring apparatus according to the present invention includes the first synchronization signal generation procedure, the second synchronization signal generation procedure, the third synchronization signal generation procedure, or the fourth synchronization signal generation procedure. One that performs any of the synchronization signal generation procedures is conceivable.
The thermal deformation measuring apparatus according to the present invention can provide the same effects as the above-described thermal deformation measuring method according to the present invention.

本発明によれば，多様なパターンで温度及び形状が変化する被測定物の三次元の熱変形特性を正確に測定することが可能となる。   According to the present invention, it is possible to accurately measure the three-dimensional thermal deformation characteristics of an object to be measured whose temperature and shape change in various patterns.

本発明の第１の実施形態に係る熱変形測定装置Ｘ１の概略構成図。The schematic block diagram of the thermal deformation measuring apparatus X1 which concerns on the 1st Embodiment of this invention. 熱変形測定装置Ｘ１における同期信号のタイムチャートの一例。An example of the time chart of the synchronizing signal in the thermal deformation measuring apparatus X1. 熱変形測定装置Ｘ１による三次元熱変形測定処理の一例を表すフローチャート。The flowchart showing an example of the three-dimensional thermal deformation measurement process by the thermal deformation measuring apparatus X1. 本発明の第２の実施形態に係る熱変形測定装置Ｘ２の概略構成図。The schematic block diagram of the thermal deformation measuring apparatus X2 which concerns on the 2nd Embodiment of this invention. 熱変形測定装置Ｘ２における同期信号のタイムチャートの一例。An example of the time chart of the synchronizing signal in the thermal deformation measuring apparatus X2. 本発明の第３の実施形態に係る熱変形測定装置Ｘ３の概略構成図。The schematic block diagram of the thermal deformation measuring apparatus X3 which concerns on the 3rd Embodiment of this invention. 熱変形測定装置Ｘ３における同期信号のタイムチャートの一例。An example of the time chart of the synchronizing signal in the thermal deformation measuring apparatus X3.

以下添付図面を参照しながら，本発明の実施の形態について説明し，本発明の理解に供する。尚，以下の実施の形態は，本発明を具体化した一例であって，本発明の技術的範囲を限定する性格のものではない。   Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings so that the present invention can be understood. The following embodiment is an example embodying the present invention, and does not limit the technical scope of the present invention.

本発明の実施形態に係る熱変形測定装置Ｘ１〜Ｘ３は，多様なパターンで温度及び形状が変化する電子デバイスなどの被測定物の温度変化に応じた三次元形状の変形を測定する装置である。
まず，図１を参照しつつ，本発明の第１の実施形態に係る熱変形測定装置Ｘ１の構成及び機能について説明する。
図１に示されるように，前記熱変形測定装置Ｘ１は，加熱・冷却プレート１１，温度制御装置１２，サーモカメラ２０，２台の可視カメラ２１，トリガ信号発生タイミング外部入力装置３０，時間監視装置３１，可視画像サンプリング装置４１，可視画像ディスプレイ４２，三次元形状演算装置４３，熱画像サンプリング装置５１，熱画像ディスプレイ５２，熱変形解析用計算機６１，データ入力器６２，解析画像ディスプレイ６３などを備えている。
前記可視画像サンプリング装置４１，前記熱画像サンプリング装置５１及び前記三次元形状演算装置４３は，例えば，ＤＳＰ（Digital Signal Processor）やパーソナルコンピュータなどの計算機などの演算手段により実現される。 The thermal deformation measuring devices X1 to X3 according to the embodiment of the present invention are devices that measure the deformation of a three-dimensional shape according to a temperature change of an object to be measured such as an electronic device whose temperature and shape change in various patterns. .
First, the configuration and function of the thermal deformation measuring apparatus X1 according to the first embodiment of the present invention will be described with reference to FIG.
As shown in FIG. 1, the thermal deformation measuring device X1 includes a heating / cooling plate 11, a temperature control device 12, a thermo camera 20, two visible cameras 21, a trigger signal generation timing external input device 30, and a time monitoring device. 31, a visible image sampling device 41, a visible image display 42, a three-dimensional shape calculation device 43, a thermal image sampling device 51, a thermal image display 52, a thermal deformation analysis computer 61, a data input device 62, an analysis image display 63, and the like. ing.
The visible image sampling device 41, the thermal image sampling device 51, and the three-dimensional shape calculation device 43 are realized by calculation means such as a DSP (Digital Signal Processor) or a computer such as a personal computer.

前記加熱・冷却プレート１１は，その上に載置された被測定物１を加熱又は冷却する装置である。前記加熱・冷却プレート１１は，例えば，ヒータなどの加熱器と，ペルチェ式クーラーなどの冷却器とを備えている。
前記温度制御装置１２は，予め設定された加熱量又は冷却量のタイムスケジュールに従って，前記加熱・冷却プレート１１による前記被測定物１の加熱又は冷却の熱量を制御する装置である。
予め定められたタイムスケジュールに従って前記被測定物１を外部から加熱又は冷却したときの前記被測定物１の熱変形を測定したい場合，或いは周囲の温度環境を予め定められた状態に維持して前記被測定物１の熱変形を測定したい場合に，前記加熱・冷却プレート１１及び前記温度制御装置１２が用いられる。 The heating / cooling plate 11 is a device for heating or cooling the DUT 1 placed thereon. The heating / cooling plate 11 includes, for example, a heater such as a heater and a cooler such as a Peltier cooler.
The temperature control device 12 is a device that controls the amount of heating or cooling of the DUT 1 by the heating / cooling plate 11 according to a preset time schedule of heating amount or cooling amount.
When it is desired to measure the thermal deformation of the DUT 1 when the DUT 1 is heated or cooled from the outside according to a predetermined time schedule, or the ambient temperature environment is maintained in a predetermined state, When it is desired to measure the thermal deformation of the DUT 1, the heating / cooling plate 11 and the temperature control device 12 are used.

前記サーモカメラ２０は，前記被測定物１の熱画像を撮像する赤外線カメラである。このサーモカメラ２０により得られる前記熱画像のデータは，画素ごとに温度データが設定されたデータである。即ち，前記サーモカメラ２０は，前記被測定物１の温度分布を測定する温度センサである。
２台の前記可視カメラ２１は，それぞれ異なる位置に配置され，それぞれ異なる方向から前記被測定物１の可視画像を撮像する通常のカメラである。この可視カメラ２１により得られる前記可視画像のデータは，画素ごとに輝度データが設定された通常の画像データである。前記可視カメラ２１は，例えば，ＣＣＤカメラやＣＭＯＳカメラなどである。
前記サーモカメラ２０及び２台の前記可視カメラ２１は，それぞれの撮像範囲において前記被測定物１における温度及び形状変化の観測部位を含むように撮像範囲が設定されている。従って，前記サーモカメラ２０及び２台の前記可視カメラ２１は，前記被測定物１全体がそれぞれの撮像範囲に共通して含まれるよう配置される場合の他，前記観測部位を含む前記被測定物１の一部のみがそれぞれの撮像範囲に共通して含まれるよう配置される場合もある。
なお，便宜上，２台の前記可視カメラ２１の各々を区別する場合，一方を第１可視カメラ２１ａ，他方を第２可視カメラ２１ｂと称する。 The thermo camera 20 is an infrared camera that captures a thermal image of the DUT 1. The thermal image data obtained by the thermo camera 20 is data in which temperature data is set for each pixel. That is, the thermo camera 20 is a temperature sensor that measures the temperature distribution of the DUT 1.
The two visible cameras 21 are normal cameras that are arranged at different positions and capture visible images of the device under test 1 from different directions. The visible image data obtained by the visible camera 21 is normal image data in which luminance data is set for each pixel. The visible camera 21 is, for example, a CCD camera or a CMOS camera.
The imaging ranges of the thermocamera 20 and the two visible cameras 21 are set so as to include temperature and shape change observation sites in the DUT 1 in each imaging range. Therefore, in addition to the case where the thermo camera 20 and the two visible cameras 21 are arranged so that the entire object to be measured 1 is included in each imaging range, the object to be measured including the observation part. There is a case where only a part of 1 is arranged so as to be included in each imaging range in common.
For convenience, when distinguishing each of the two visible cameras 21, one is referred to as a first visible camera 21a and the other is referred to as a second visible camera 21b.

前記時間監視装置３１は，予め設定されたタイムスケジュールに従って，予定された時間が経過することをトリガとして所定の同期信号Ｓtrgを時系列で発生させる装置である。この可視画像サンプリング装置４１は，前記同期信号生成手段の一例である。
図２は，前記時間監視装置３１が生成する前記同期信号Ｓtrgのタイムチャートの一例である。
図２に示される例は，前記時間監視装置３１が，予め設定された時間Δτが経過するごとに前記同期信号Ｓtrgを発生させる例である。なお，時間Δτは，毎回一定である場合の他，前記同期信号Ｓtrgの発生回数に応じて異なる時間が設定されることも考えられる。
なお，前記時間監視装置３１には，前記トリガ信号発生タイミング外部入力装置３０が接続されている。このトリガ信号発生タイミング外部入力装置３０を用いて，例えば人間が，前記タイムスケジュールとは別に，或いは前記タイムスケジュールを取り消して，任意のタイミングでトリガを発生させることができる。前記トリガ信号発生タイミング外部入力装置３０としては，例えば，ボタン式スイッチやキーボード等，人間が手動で前記同期信号Ｓtrgの発生タイミングを入力する装置が採用される。 The time monitoring device 31 is a device that generates a predetermined synchronization signal Strg in time series by using a predetermined time as a trigger according to a preset time schedule. The visible image sampling device 41 is an example of the synchronization signal generating unit.
FIG. 2 is an example of a time chart of the synchronization signal Strg generated by the time monitoring device 31.
The example shown in FIG. 2 is an example in which the time monitoring device 31 generates the synchronization signal Strg every time a preset time Δτ elapses. In addition to the case where the time Δτ is constant every time, it is also conceivable that a different time is set according to the number of generations of the synchronization signal Strg.
The time monitoring device 31 is connected to the trigger signal generation timing external input device 30. Using this trigger signal generation timing external input device 30, for example, a human can generate a trigger at an arbitrary timing separately from the time schedule or by canceling the time schedule. As the trigger signal generation timing external input device 30, for example, a device such as a button-type switch or a keyboard for manually inputting the generation timing of the synchronization signal Strg is adopted.

前記可視画像サンプリング装置４１及び前記熱画像サンプリング装置５１は，前記同期信号Ｓtrgに同期して，２台の前記可視カメラ２１及び１台の前記サーモカメラ２０から，撮像時点が同じ２つの前記可視画像のデータ及び前記熱画像のデータの組合せをサンプリングする装置である。
即ち，前記可視画像サンプリング装置４１は，時系列で発生する前記同期信号Ｓtrgに同期して，２台の前記可視カメラ２１から撮像時点が同じ２種類の前記可視画像のデータをサンプリングし，そのデータを前記三次元形状演算装置４３に対して出力する。例えば，前記可視画像サンプリング装置４１は，２台の前記可視カメラ２１から前記可視画像のデータをごく短い周期で逐次取得しつつ，前記同期信号Ｓtrgの発生時に取得した前記可視画像のデータのみを前記三次元形状演算装置４３に出力する。或いは，前記可視画像サンプリング装置４１は，前記同期信号Ｓtrgが発生するごとに２台の前記可視カメラ２１から同時に２種類の前記可視画像のデータを取得し，そのデータを前記三次元形状演算装置４３に出力する。
また，前記熱画像サンプリング装置５１は，時系列で発生する前記同期信号Ｓtrgに同期して，前記サーモカメラ２０から，撮像時点が２種類の前記可視画像と同じである前記熱画像のデータをサンプリングし，そのデータを前記熱変形解析用計算機６１に対して出力する。この熱画像サンプリング装置５１も，前記可視画像サンプリング装置４１と同様にして前記熱画像のデータのサンプリングを行う。
通常は，前記可視画像のデータ及び前記熱画像のデータのサンプリングは同時に行われる。但し，前記可視カメラ２１と前記サーモカメラ２０との間で，撮像からデータ出力までの時間に時間差がある場合，その時間差が打ち消されるように，前記可視画像サンプリング装置４１と前記熱画像サンプリング装置５１との間でデータサンプリングのタイミングが予め調整される。
以上より，前記熱変形測定装置Ｘ１では，前記同期信号Ｓtrgに基づいて撮像時点が同じ複数の前記可視画像及び前記熱画像のデータの組合せが順次サンプリングされる。 The visible image sampling device 41 and the thermal image sampling device 51 are synchronized with the synchronization signal Strg, and the two visible images having the same imaging time point from the two visible cameras 21 and the one thermocamera 20. And a combination of the thermal image data.
That is, the visible image sampling device 41 samples data of two types of visible images having the same imaging time point from the two visible cameras 21 in synchronization with the synchronization signal Strg generated in time series. Is output to the three-dimensional shape calculation device 43. For example, the visible image sampling device 41 sequentially acquires the visible image data from the two visible cameras 21 with a very short period, and only the visible image data acquired when the synchronization signal Strg is generated. The result is output to the three-dimensional shape calculation device 43. Alternatively, the visible image sampling device 41 acquires two types of visible image data simultaneously from the two visible cameras 21 every time the synchronization signal Strg is generated, and uses the data as the three-dimensional shape calculation device 43. Output to.
In addition, the thermal image sampling device 51 samples data of the thermal image from the thermo camera 20 at the same time as the two types of visible images in synchronization with the synchronization signal Strg generated in time series. The data is output to the thermal deformation analysis computer 61. The thermal image sampling device 51 also samples the thermal image data in the same manner as the visible image sampling device 41.
Usually, the sampling of the visible image data and the thermal image data is performed simultaneously. However, if there is a time difference between imaging and data output between the visible camera 21 and the thermocamera 20, the visible image sampling device 41 and the thermal image sampling device 51 are canceled so that the time difference is canceled out. The timing of data sampling is adjusted in advance.
As described above, in the thermal deformation measuring device X1, a plurality of combinations of the visible image data and the thermal image data having the same imaging time point are sequentially sampled based on the synchronization signal Strg.

前記可視画像ディスプレイ４２は，前記可視画像サンプリング装置４１により前記可視カメラ２１から取得された前記可視画像のデータに基づく画像（前記可視画像）を表示するディスプレイである。
また，前記熱画像ディスプレイ５２は，前記熱画像サンプリング装置５１により前記サーモカメラ２０から取得された前記熱画像のデータに基づく画像（前記熱画像）を表示するディスプレイである。 The visible image display 42 is a display that displays an image (the visible image) based on the data of the visible image acquired from the visible camera 21 by the visible image sampling device 41.
The thermal image display 52 is a display that displays an image (the thermal image) based on the thermal image data acquired from the thermo camera 20 by the thermal image sampling device 51.

また，前記三次元形状演算装置４３は，前記被測定物１の表面の１つ又は複数の観測部位の前記撮像時点ごとの三次元座標系での位置，即ち，随時変化する前記被測定物１の三次元形状を算出する装置である。その算出は，前記可視画像サンプリング装置４１によりサンプリングされた２種類の前記可視画像のデータに基づいて，ステレオ画像処理及びデジタル画像相関法の画像処理を行うことにより行われる。
また，前記熱変形解析用計算機６１は，前記観測部位の前記撮像時点ごとの三次元座標系での位置及び温度のデータが対応付けられた三次元熱変形データを生成し，そのデータをハードディスクドライブ等のデータ記憶装置に記録する計算機である。
前記三次元形状演算装置４３及び前記熱変形解析用計算機６１が実行する処理のより具体的な内容については後述する。
また，前記データ入力器６２は，前記熱変形解析用計算機６１に接続されたキーボードやマウスなどの操作入力部である。
また，前記解析画像ディスプレイ６３は，前記熱変形解析用計算機６１に入力されるデータや前記熱変形解析用計算機６１の演算結果を表示するディスプレイである。 In addition, the three-dimensional shape calculation device 43 is configured so that the position of one or a plurality of observation parts on the surface of the measurement object 1 in the three-dimensional coordinate system at each imaging time point, that is, the measurement object 1 that changes as needed. This is a device for calculating the three-dimensional shape. The calculation is performed by performing stereo image processing and digital image correlation method image processing based on the two types of visible image data sampled by the visible image sampling device 41.
The thermal deformation analysis computer 61 generates three-dimensional thermal deformation data in which the position and temperature data of the observation region in the three-dimensional coordinate system for each imaging time point are associated, and the data is stored in the hard disk drive. Or the like.
More specific contents of the processing executed by the three-dimensional shape calculation device 43 and the thermal deformation analysis computer 61 will be described later.
The data input device 62 is an operation input unit such as a keyboard and a mouse connected to the thermal deformation analysis computer 61.
The analysis image display 63 is a display for displaying data input to the thermal deformation analysis computer 61 and the calculation result of the thermal deformation analysis computer 61.

次に，図３に示されるフローチャートを参照しつつ，前記三次元形状演算装置４３及び前記熱変形解析用計算機６１により実行される三次元熱変形測定処理の一例について説明する。図３及び以下に示されるステップＳ１，Ｓ２，…は，前記三次元熱変形測定処理において実行される複数の手順（ステップ）の識別符号である。
前記三次元熱変形測定処理において，まず，前記熱変形解析用計算機６１が，前記同期信号Ｓtrgの発生に応じて実行される測定の開始前に，２つの前記可視画像のデータを取得し，後述する観測部位の設定処理及び各観測部位へのマーキング処理を実行する（Ｓ１）。 Next, an example of the three-dimensional thermal deformation measurement process executed by the three-dimensional shape calculation device 43 and the thermal deformation analysis computer 61 will be described with reference to the flowchart shown in FIG. Steps S1, S2,... Shown in FIG. 3 and below are identification codes of a plurality of procedures (steps) executed in the three-dimensional thermal deformation measurement process.
In the three-dimensional thermal deformation measurement process, first, the thermal deformation analysis computer 61 obtains two pieces of visible image data before starting measurement performed in response to the generation of the synchronization signal Strg. The observation site setting process and the marking process for each observation site are executed (S1).

即ち，ステップＳ１において，前記熱変形解析用計算機６１が，予め定められた特定の前記可視カメラ２１から得られる前記可視画像のデータについて，前記被測定物１における１つ又は複数の観測部位の設定処理及び各観測部位へのマーキング処理を実行する。ここで，前記マーキング処理は，前記可視画像データにおける前記観測部位それぞれに対応する座標のデータに対して前記観測部位の識別情報を設定する処理である。
以下の説明では，便宜上，特定の前記可視カメラ２１が前記第１可視カメラ２１ａであるとする。また，前記第１可視カメラ２１ａから得られる前記可視画像を主可視画像，前記第２可視カメラ２１ｂから得られる前記可視画像を副可視画像と称し，その前記主可視画像のデータについて，前記観測部位の設定処理及びマーキング処理が行われるものとする。 例えば，前記熱変形解析用計算機６１は，前記主可視画像を前記解析用ディスプレイ６３に表示させつつ，ユーザによる前記データ入力器６２に対する操作入力に応じて前記観測部位の座標情報を設定する。例えば，前記熱変形解析用計算機６１は，マウスなどの操作入力に従って，前記被測定物１の表面上の代表する１点又は複数の点を前記観測部位として設定する。前記主可視画像における前記被測定物１の像全体に渡る範囲に多数の前記観測部位を設定することにより，前記被測定物１全体が前記観測部位となる。
なお，前記解析用ディスプレイ６３に表示させる前記主可視画像のデータは，前記可視画像サンプリング装置４１及び前記三次元形状演算装置４３を通じて前記熱変形解析用計算機６１へ伝送される。 That is, in step S1, the thermal deformation analysis computer 61 sets one or a plurality of observation parts in the object to be measured 1 with respect to the data of the visible image obtained from the predetermined specific visible camera 21. Processing and marking processing for each observation site are executed. Here, the marking process is a process of setting identification information of the observation site for the coordinate data corresponding to each of the observation sites in the visible image data.
In the following description, for the sake of convenience, it is assumed that the specific visible camera 21 is the first visible camera 21a. Further, the visible image obtained from the first visible camera 21a is referred to as a main visible image, and the visible image obtained from the second visible camera 21b is referred to as a sub-visible image. It is assumed that the setting process and the marking process are performed. For example, the thermal deformation analysis computer 61 sets the observation site coordinate information in accordance with an operation input to the data input device 62 by the user while displaying the main visible image on the analysis display 63. For example, the thermal deformation analysis computer 61 sets one or more representative points on the surface of the DUT 1 as the observation site in accordance with an operation input from a mouse or the like. By setting a large number of observation sites in a range over the entire image of the device under test 1 in the main visible image, the entire device under test 1 becomes the observation site.
The main visible image data to be displayed on the analysis display 63 is transmitted to the thermal deformation analysis computer 61 through the visible image sampling device 41 and the three-dimensional shape calculation device 43.

一方，前記三次元形状演算装置４３は，前記可視画像のデータを，前記可視画像の全領域が多数に区画された小領域内のデータであるサブセットに区分して管理する。そのため，前記三次元形状演算装置４３は，ステップＳ１において，前記主可視画像のデータにおいて，前記サブセットの自動区分処理を行う。前記サブセットの大きさ及び前記サブセット相互間のオーバーラップ量は，前記三次元形状演算装置４３に予め設定しておく。例えば，前記サブセットの大きさは，Ｘ軸方向２１画素×Ｙ軸方向２１画素程度とし，それらのオーバーラップ量は前記サブセットのサイズの５０％程度とする。
ステップＳ１の処理の終了後，前記三次元形状演算装置４３及び前記熱変形解析用計算機６１は，前記同期信号Ｓtrgの発生に応じた以下の測定処理（Ｓ２〜Ｓ９）を実行する。
まず，前記三次元形状演算装置４３及び前記熱変形解析用計算機６１は，それぞれ撮像時点が同じ２つの前記可視画像及び前記熱画像のデータを取得する（Ｓ２）。このステップＳ２で取得される前記可視画像及び前記熱画像のデータは，最初の前記同期信号Ｓtrgの発生に応じて前記可視画像サンプリング装置４１及び前記熱画像サンプリング装置５１によりサンプリングされたデータである。 On the other hand, the three-dimensional shape calculation device 43 manages the data of the visible image by dividing it into subsets that are data in a small region in which the entire region of the visible image is divided into a large number. Therefore, in step S1, the three-dimensional shape calculation device 43 performs automatic classification processing of the subset on the data of the main visible image. The size of the subset and the amount of overlap between the subsets are set in advance in the three-dimensional shape calculation device 43. For example, the size of the subset is about 21 pixels in the X-axis direction × 21 pixels in the Y-axis direction, and the overlap amount is about 50% of the size of the subset.
After the process of step S1, the three-dimensional shape calculation device 43 and the thermal deformation analysis computer 61 perform the following measurement processes (S2 to S9) according to the generation of the synchronization signal Strg.
First, the three-dimensional shape calculation device 43 and the thermal deformation analysis computer 61 obtain the data of the two visible images and the thermal images having the same imaging time point (S2). The data of the visible image and the thermal image acquired in step S2 are data sampled by the visible image sampling device 41 and the thermal image sampling device 51 in response to the first generation of the synchronization signal Strg.

次に，前記三次元形状演算装置４３は，ステップＳ２で得られた２つの前記可視画像のデータに基づくステレオ画像処理により，前記主可視画像における少なくとも前記観測部位を含む画像領域についての三次元形状のデータを算出する（Ｓ３：三次元形状データ算出手順）。
前記ステレオ画像処理による三次元形状のデータの算出方法は周知であるが，以下に，その処理手順を簡単に説明する。
前記三次元形状演算装置４３は，２種類の前記可視画像から，三角測量の原理に基づいて前記被測定物１の三次元形状を求める。前記可視画像を得るための前記可視カメラ２１については，それぞれ光軸の向きや焦点距離などのカメラ内部変数および２台の前記可視カメラ２１ａ及び２１ｂ間の距離（基線距離と呼ぶ）を予め校正作業によって求めておく。このとき，前記被測定物１上の点Ｒに対し，それが前記第１可視カメラ２１ａによって撮像された前記主可視画像上の点Ｐ1と，前記第２可視カメラ２１ｂによって撮像された前記副可視画像上の点Ｐ2とを対応付けることにより，三角測量の原理を適用して前記被測定物１上の点Ｒの三次元座標を求める。
前記主可視画像上の点Ｐ1と前記副可視画像上の点Ｐ2との対応付けは，前記サブセット間の輝度相関値を算出することによって行なう。すなわち，前記主可視画像上の点Ｐ1を，前記主可視画像上に配置されたサブセットＷLの中央点とし，前記副可視画像上で同じ大きさのサブセットＷRを移動させながら順次両者の輝度相関値を算出し，その輝度相関値が最大となる前記サブセットＷRの中央点を，前記副可視画像上の対応点Ｐ2とする。
前記サブセットＷLと前記サブセットＷRとの間の輝度相関値は，例えば，以下に示す（１）式〜（３）式に基づいて算出される。ここで，前記サブセットＷL及び前記サブセットＷRはいずれも縦ｎ画素×横ｍ画素の範囲の方形領域であるとする。
まず，前記サブセットＷLと前記サブセットＷRとの間の類似度の指標となる相互相関値Ｃ1は，次の（１）式により求められる。

Figure 2010169590
（１）式において，ｎ及びｍは，前記サブセットＷL及び前記サブセットＷRのＹ軸方向及びＸ軸方向各々の画素数，ＩL(ｉ，ｊ)及びＩR(ｉ，ｊ)は，前記サブセットＷL及び前記サブセットＷR各々における点（ｉ，ｊ）の輝度である。
さらに，前記相互相関値Ｃ１を両サブセットの画像の明るさの平均振幅によって正規化した正規化値Ｃ2は，次の（２）式により求められる。
Figure 2010169590
 一方，次の（３）式は，前記サブセットＷLと前記サブセットＷRとの間の相互相関値を明るさの平均値によって正規化した正規化値Ｃ3を算出する式である。
Figure 2010169590
 （３）式において，μL，μRは，前記サブセットＷL及び前記サブセットＷR各々の領域内の輝度の平均値である。
前記三次元形状演算装置４３は，相互相関値の正規化値Ｃ2又はＣ3を，前記サブセットＷLと前記サブセットＷRとの輝度相関値として算出し，その相互相関値が最大となる前記サブセットＷRの位置を求める。
前記サブセットＷRの移動範囲は，予め設定された制約条件の範囲内とする。その制約条件は，エピポーラ拘束条件や視差の連続性に基づく拘束条件等の周知の条件が設定されるが，ここでは説明を省略する。
また，画素単位を下回る高精度の対応点位置算出を行なうため，前記サブセットＷRをまず粗く移動させてそれぞれの位置で前記輝度相関値を求めた後，２次曲面フィッティングやニュートン・ラフソン法などのよく知られた近似計算手法により，前記輝度相関値が最大となる前記サブセットＷRの位置を求める方法もある。
以上のようにして前記輝度相関値が最大となる前記サブセットＷRの位置が決定されれば，その中央点を前記対応点Ｐ2として決定する。
なお、前記輝度相関値Ｃ2又はＣ3を精度よく求めるために，通常，前記被測定物１の表面には，予め不規則な模様，例えば，斑点模様が形成されている。
前記主可視画像上の点Ｐ1及びそれに対応する前記副可視画像上の点Ｐ2が求められれば，三角測量の原理を適用することにより，前記被測定物１上の点Ｒの三次元座標が求められる。これを，前記ステップＳ１においてマーキング処理を施された前記主可視画像上のサブセットＷLの全てに対して実行すれば，前記被測定物１における１つ又は複数の前記観測部位の三次元形状が求まる。
また，前記三次元形状は，前記第１可視カメラ２１ａから得られる前記主可視画像との間で座標の対応関係が既知である。そこで，ステップＳ３において，前記三次元形状演算装置４３は，前記主可視画像上の座標と前記三次元形状との関係を，前記熱変形解析用計算機６１へ伝送する。 Next, the three-dimensional shape calculation device 43 performs a three-dimensional shape for an image region including at least the observation site in the main visible image by stereo image processing based on the data of the two visible images obtained in step S2. (S3: Three-dimensional shape data calculation procedure).
A method of calculating three-dimensional shape data by the stereo image processing is well known, but the processing procedure will be briefly described below.
The three-dimensional shape calculation device 43 obtains the three-dimensional shape of the DUT 1 from the two types of visible images based on the principle of triangulation. For the visible camera 21 for obtaining the visible image, the camera internal variables such as the direction of the optical axis and the focal length and the distance between the two visible cameras 21a and 21b (referred to as the baseline distance) are calibrated in advance. Sought by. At this time, for the point R on the DUT 1, the point P1 on the main visible image captured by the first visible camera 21a and the sub-visible image captured by the second visible camera 21b. By associating with the point P2 on the image, the three-dimensional coordinates of the point R on the DUT 1 are obtained by applying the principle of triangulation.
The association between the point P1 on the main visible image and the point P2 on the sub-visible image is performed by calculating a luminance correlation value between the subsets. That is, the point P1 on the main visible image is set as the center point of the subset W L arranged on the main visible image, and the luminance of both is sequentially changed while moving the subset W R of the same size on the sub-visible image. calculating a correlation value, the center point of said subset W R of the brightness correlation value is maximized, the corresponding point P2 on the secondary visual images.
The luminance correlation value between the subset W L and the subset W R is calculated based on, for example, the following expressions (1) to (3). Here, it is assumed that the subset W L and the subset W R are both rectangular regions in the range of vertical n pixels × horizontal m pixels.
First, the cross-correlation value C 1 that is an index of the degree of similarity between the subset W L and the subset W R is obtained by the following equation (1).
Figure 2010169590
 In the equation (1), n and m are the numbers of pixels in the Y-axis direction and the X-axis direction of the subset W L and the subset W R , and I L (i, j) and I R (i, j) are: The luminance of the point (i, j) in each of the subset W L and the subset W R.
Further, the normalized value C 2 normalized by the mean amplitude of the brightness of the cross-correlation value C1 between both subsets image is obtained by the following equation (2).
Figure 2010169590
 Meanwhile, the following equation (3) is an equation for calculating a normalized value C 3 normalized by the cross-correlation value average brightness value between the subset W R and the subset W L.
Figure 2010169590
 In the equation (3), μ L and μ R are average values of luminance in the respective regions of the subset W L and the subset W R.
The three-dimensional shape calculation device 43 calculates the normalized value C 2 or C 3 of the cross-correlation value as the luminance correlation value between the subset W L and the subset W R, and the cross-correlation value is maximized. The position of the subset W R is obtained.
Moving range of said subset W R is within a range of preset constraints. As the constraint conditions, known conditions such as epipolar constraint conditions and constraint conditions based on continuity of parallax are set, but description thereof is omitted here.
Moreover, to perform the corresponding point position calculation precision below the pixel unit, wherein after obtaining the subset W R is first coarsely moving said luminance correlation value at each position by, quadratic surface fitting and Newton-Raphson method or the like by well-known approximation method, the luminance correlation value is also a method for determining the position of said subset W R becomes maximum.
If the subset W position of R is determined that the luminance correlation value as described above is maximized, it determines its center point as the corresponding point P2.
In order to obtain the luminance correlation value C 2 or C 3 with high accuracy, an irregular pattern, for example, a spot pattern is usually formed on the surface of the DUT 1 in advance.
If the point P1 on the main visible image and the corresponding point P2 on the subvisible image are obtained, the three-dimensional coordinates of the point R on the object to be measured 1 are obtained by applying the principle of triangulation. It is done. This, if executed for all the subsets W L on the main visible image or marking process in step S1, one or more three-dimensional shape of the observation site in the DUT 1 I want.
The three-dimensional shape has a known coordinate correspondence with the main visible image obtained from the first visible camera 21a. Therefore, in step S3, the three-dimensional shape calculation device 43 transmits the relationship between the coordinates on the main visible image and the three-dimensional shape to the thermal deformation analysis computer 61.

ところで，前記ステレオ画像処理による形状測定法は，３つ以上の前記可視画像を用いて前記被測定物１の三次元の形状を測定することにも応用可能である。
即ち，３つ以上の前記可視画像を用いる場合，１つの前記主可視画像と２つ以上の前記副可視画像各々との組合せごとに前述した前記サブセットの対応付けを行い，それら対応付けの結果を統合して前記三次元形状のデータを算出する。統合の方法は種々知られている。
観測部位が２台の前記可視カメラ２１の一方の視野方向からの死角の領域に存在して正しい形状測定ができなくなる状況であっても，３台以上の前記可視カメラ２１を用いることによって正しい形状測定が可能となる。また，２つの前記可視画像相互間の前記サブセットの対応付けに誤りが生じ得るような場合でも，２組以上の前記可視画像の組合せごとに前記サブセットの対応付けを行ってその結果を統合することにより，一部の前記可視画像の組合せについての前記サブセットの対応付けの誤りを排除又は緩和することができる。
但し，通常は，観測部位が２台の前記可視カメラ２１の死角に入らないように装置を調整可能であることが多い。また，前記被測定物１の表面に不規則な模様を付して前記サブセットの対応付けに誤りが生じないようにすることも可能である。従って，通常は，前記可視カメラ２１は２台で十分な場合が多い。 By the way, the shape measuring method by the stereo image processing can be applied to measuring the three-dimensional shape of the DUT 1 using three or more visible images.
That is, when using three or more visible images, the above-described subsets are associated for each combination of one main visible image and two or more sub-visible images, and the result of the association is obtained. The three-dimensional shape data is calculated by integration. Various methods of integration are known.
Even when the observation site is in a blind spot region from one of the visual field directions of the two visible cameras 21 and correct shape measurement cannot be performed, the correct shape can be obtained by using three or more visible cameras 21. Measurement is possible. Further, even when an error may occur in the association of the subsets between the two visible images, the subsets are associated for each combination of two or more of the visible images and the results are integrated. Thus, it is possible to eliminate or alleviate errors in association of the subsets with respect to some combinations of the visible images.
However, normally, the apparatus can often be adjusted so that the observation site does not enter the blind spot of the two visible cameras 21. It is also possible to give an irregular pattern to the surface of the DUT 1 so that no error occurs in the association of the subsets. Therefore, usually, two visible cameras 21 are often sufficient.

ところで，前記三次元形状と前記サーモカメラ２０から得られる前記熱画像との間の座標の対応関係は，前記熱変形解析用計算機６１により，前記主可視画像と前記熱画像との間での座標の対応関係に基づいて算出される。前記主可視画像と前記熱画像との間の座標の対応関係は，一般に，ホモグラフィと称される座標変換行列によって表すことが出来る。このホモグラフィは，事前の校正測定の結果に基づく計算によって算出することが出来る。
前記校正測定は，例えば以下のようにして行なわれる。
まず，前記サーモカメラ２０および前記第１可視カメラ２１ａの撮像範囲に，画像処理又は視覚を通じて位置を認識できる複数の温度相違点を配置する。この温度相違点は，周囲に対して局所的に温度が異なる点であるが，周囲よりも温度が高くても低くてもよい。この温度相違点は，前記サーモカメラ２０で十分視認できる程度に周囲との温度差を有する点である。また，前記温度相違点は，前記第１可視カメラでも十分視認できるように，可視光領域での輝度もしくは色が周囲と異なる点である。これらの条件を備えた前期温度相違点として，例えば，十分熱せられたニクロム線や，豆電球などが所定位置に配置される。
次に，前記サーモカメラ２０及び前記第１可視カメラ２１ａにより，複数の前記温度相違点を撮像し，得られた前記熱画像と前記主可視画像との間で，前記温度相違点像各々の像の対応付けを行なう。この対応付けは，人の視覚を通じて人手により行なってもよいし，所定の画像処理によって自動的に行なっても良い。
その対応付けの結果から，前記ホモグラフィ行列の各要素の値を算出する。算出方法は周知であり，ここでは説明を省略する。前記ホモグラフィ行列を算出するためには，前記温度相違点の数は最低８点以上必要である。
以上のようにして得られた前記ホモグラフィ行列の情報は，予め前記熱変形解析用計算機６１に設定および記憶される。 By the way, the correspondence relationship between the three-dimensional shape and the thermal image obtained from the thermo camera 20 is determined by the coordinate between the main visible image and the thermal image by the thermal deformation analysis computer 61. It is calculated based on the correspondence relationship. The coordinate relationship between the main visible image and the thermal image can be generally expressed by a coordinate transformation matrix called homography. This homography can be calculated by calculation based on the result of a prior calibration measurement.
The calibration measurement is performed as follows, for example.
First, a plurality of temperature differences whose positions can be recognized through image processing or vision are arranged in the imaging range of the thermo camera 20 and the first visible camera 21a. This temperature difference is a point where the temperature is locally different from the surroundings, but the temperature may be higher or lower than the surroundings. This temperature difference is a point having a temperature difference from the surroundings to such an extent that it can be sufficiently visually recognized by the thermo camera 20. Further, the temperature difference is that the luminance or color in the visible light region is different from the surroundings so that the first visible camera can sufficiently recognize the temperature. As a temperature difference with the above conditions, for example, a sufficiently heated nichrome wire, miniature light bulb, or the like is arranged at a predetermined position.
Next, a plurality of the temperature differences are imaged by the thermo camera 20 and the first visible camera 21a, and each of the temperature difference images is obtained between the obtained thermal image and the main visible image. Is associated. This association may be performed manually through human vision or automatically by predetermined image processing.
The value of each element of the homography matrix is calculated from the result of the association. The calculation method is well-known and will not be described here. In order to calculate the homography matrix, the number of temperature differences should be at least 8 or more.
The information of the homography matrix obtained as described above is set and stored in advance in the thermal deformation analysis computer 61.

ステップＳ４では，前記熱変形解析用計算機６１により，以下の処理が実行される。
即ち，ステップＳ４において，前記熱変形解析用計算機６１は，ステップＳ１で行われたマーキング処理の結果に基づいて，前記主可視画像上での前記観測部位を特定し，前記三次元形状演算装置４３から伝送されたデータに基づいて，前記観測部位の三次元形状を算出する。
次に，前記熱変形解析用計算機６１は，前記ホモグラフィ行列を用いて，ステップＳ２で得られた前記熱画像上の各点の位置を前記主可視画像上の位置に変換したのち，前記三次元形状演算装置４３から伝送されたデータに基づいて，前記三次元形状と前記熱画像で得られた温度データとを対応付ける。こうして得られた三次元形状・温度対応データを，ハードディスクドライブ等のデータ記憶装置に記録する。 In step S4, the following processing is executed by the thermal deformation analysis computer 61.
That is, in step S4, the thermal deformation analysis computer 61 specifies the observation site on the main visible image based on the result of the marking process performed in step S1, and the three-dimensional shape calculation device 43. The three-dimensional shape of the observation site is calculated based on the data transmitted from the.
Next, the thermal deformation analysis computer 61 uses the homography matrix to convert the position of each point on the thermal image obtained in step S2 to the position on the main visible image, and then the third order. Based on the data transmitted from the original shape arithmetic unit 43, the three-dimensional shape is associated with the temperature data obtained from the thermal image. The three-dimensional shape / temperature correspondence data thus obtained is recorded in a data storage device such as a hard disk drive.

以上に示したステップＳ１〜Ｓ４の処理がなされた後，前記三次元形状演算装置４３及び前記熱変形解析用計算機６１は，予め定められた終了条件の成立を判別（Ｓ９）しつつ，その終了条件が成立するまで以下に示すステップＳ５〜Ｓ８の処理を実行する。ステップＳ５〜Ｓ８の処理は，２番目以降の前記同期信号Ｓtrgが発生して前記熱画像及び前記可視画像のデータがサンプリングされるごとに実行される。   After the processes of steps S1 to S4 described above are performed, the three-dimensional shape calculation device 43 and the thermal deformation analysis computer 61 determine whether a predetermined termination condition is satisfied (S9), and terminate it. Steps S5 to S8 shown below are executed until the condition is satisfied. Steps S5 to S8 are executed each time the second and subsequent synchronization signals Strg are generated and the thermal image and the visible image data are sampled.

まず，前記三次元形状演算装置４３及び前記熱変形解析用計算機６１が，ステップＳ２と同様に，それぞれ新たな撮像時点における２つの前記可視画像及び前記熱画像のデータを取得する（Ｓ５）。このステップＳ５で取得される前記可視画像及び前記熱画像のデータは，２番目以降の前記同期信号Ｓtrgの発生に応じて順次サンプリングされるデータである。   First, the three-dimensional shape calculation device 43 and the thermal deformation analysis computer 61 respectively acquire the two visible images and the thermal image data at new imaging points in the same manner as in step S2 (S5). The data of the visible image and the thermal image acquired in step S5 is data that is sequentially sampled in accordance with the generation of the second and subsequent synchronization signals Strg.

次に，前記三次元形状演算装置４３が，前記第１可視カメラ２１ａから得られた前回および今回の各撮像時点での前記主可視画像のデータに基づくデジタル画像相関法でのパターン追跡処理を行なうことにより，前記撮像時点ごとの前記主可視画像における前記観測部位の像の前記可視画像上での変位量を算出する（Ｓ６：変位量算出手順）。
前記デジタル画像相関法でのパターン追跡処理は周知であるが，以下に，その処理手順を簡単に説明する。
前記三次元形状演算装置４３は，前回および今回の各撮像時点の前記主可視画像データ間で，前記輝度相関値が高い前記サブセット同士の対応付けを行なう。
即ち，前記三次元形状演算装置４３は，前回の撮像時点で得られた前記主可視画像上の前記サブセットＷL1に対し，今回の撮像時点で得られた前記主可視画像上の前記サブセットＷL2を画像内で移動させながら，前記サブセットＷL1と前記サブセットＷL2との輝度相関値を，相互相関値Ｃ4を求める以下の（４）式に基づき算出する。ここで，前記サブセットＷL1及び前記サブセットＷL2は，いずれも縦ｎ画素×横ｍ画素の範囲の方形領域であるとする。

Figure 2010169590
（４）式において，ｎ及びｍは，前記サブセットＷL1及び前記サブセットＷL2のＹ軸方向及びＸ軸方向各々の画素数，ＩL1(ｉ，ｊ)及びＩL2(ｉ，ｊ)は，前記サブセットＷL1及び前記サブセットＷL2各々における点（ｉ，ｊ）の輝度，ｕL1，ｕL2は，前記サブセットＷL1及び前記サブセットＷL2各々の領域内の輝度の平均値である。
前記三次元形状演算装置４３は，（４）式に基づく相互相関値Ｃ4を，前記サブセットＷL1と前記サブセットＷL2との輝度相関値として算出し，その輝度相関値が最大となる前記サブセットＷL2の位置を求める。ここで，前記ステップＳ３と同様に，２次曲面フィッティング法やニュートンラフソン法などの既知の近似計算手法を用いて，前記輝度相関値が最大となる前記サブセットＷL2の位置を高精度で求めることも考えられる。
前記輝度相関値が最大となる前記サブセットＷL2の位置が求まると，前記サブセットＷL1と前記サブセットＷL2との画像上の座標の差を求める。通常は，前記サブセットＷL1の中央点の座標と，前記サブセットＷL2の中央点の座標との差を求める。即ち，前回撮像時点から今回撮像時点までの間に前記サブセットＷL1に対応する前記観測部位が変位したものとして，前記サブセットＷL1と前記サブセットＷL2との画像上の座標の差を画像座標上の変位量として算出する。 Next, the three-dimensional shape calculation device 43 performs a pattern tracking process by the digital image correlation method based on the data of the main visible image at the previous and current imaging times obtained from the first visible camera 21a. Thus, the displacement amount on the visible image of the image of the observation site in the main visible image at each imaging time point is calculated (S6: displacement amount calculating procedure).
The pattern tracking process by the digital image correlation method is well known, but the process procedure will be briefly described below.
The three-dimensional shape calculation device 43 associates the subsets having a high luminance correlation value between the main visible image data at the previous and current imaging times.
That is, the three-dimensional shape operation unit 43, with respect to the subset W L1 on the main visible image obtained by the imaging time of the latest, the subset of the resulting the main visible image in this imaging point W L2 the while moving in an image, the brightness correlation value between the subset W L1 and the subset W L2, is calculated based on the following equation (4) for obtaining the cross-correlation value C 4. Here, it is assumed that each of the subset WL1 and the subset WL2 is a rectangular region having a range of vertical n pixels x horizontal m pixels.
Figure 2010169590
 In equation (4), n and m are the numbers of pixels in the Y-axis direction and the X-axis direction of the subset W L1 and the subset W L2 , and I L1 (i, j) and I L2 (i, j) are the brightness of the subset W L1 and the point in the subset W L2 each (i, j), u L1 , u L2 is the average value of the luminance of said subset W L1 and the subset W L2 each region.
The three-dimensional shape calculation device 43 calculates the cross-correlation value C 4 based on the equation (4) as a luminance correlation value between the subset W L1 and the subset W L2, and the subset having the maximum luminance correlation value is calculated. Find the position of WL2. Here, similarly to the step S3, using the known approximation method such as quadratic surface fitting method and Newton Raphson method, we obtain the position of said subset W L2 of the luminance correlation value is maximized with high precision that Is also possible.
The position of said subset W L2 of the luminance correlation value is maximized is obtained, obtaining the difference between the coordinates of the image of the subset W L2 and the subset W L1. Typically, obtains the central coordinates of the subset W L1, the difference between the coordinates of the center point of said subset W L2. That is, as the observation region corresponding to said subset W L1 until this imaging point from the previous imaging time is displaced, said subset W L1 and the subset W image on the coordinate difference of the image coordinates of the L2 The amount of displacement is calculated.

さらに，前記三次元形状演算装置４３は，ステップＳ３と同様に，ステップＳ５で得られた今回の撮像時点の２つの前記可視画像（前記主可視画像と前記副可視画像）のデータに基づくステレオ画像処理により，前記主可視画像における少なくとも前記観測部位を含む画像領域についての三次元形状のデータを算出する（Ｓ７：三次元形状データ算出手順）。
ステップＳ７において，前記三次元形状演算装置４３は，ステップＳ３と同様に，前記主可視画像上の各点の位置と，ステップＳ７で得られた前記三次元形状データとを対応付けて前記熱変形解析用計算機６１に伝送する。また，前記三次元形状演算装置４３は，ステップＳ６で得られた前記観測部位の像の前記可視画像上での変位量も併せて，前記熱変形解析用計算機６１に伝送する。 Further, the three-dimensional shape calculation device 43, like step S3, is a stereo image based on the data of the two visible images (the main visible image and the sub-visible image) at the time of the current imaging obtained in step S5. By processing, three-dimensional shape data is calculated for an image region including at least the observation site in the main visible image (S7: three-dimensional shape data calculation procedure).
In step S7, the three-dimensional shape calculation device 43 associates the position of each point on the main visible image with the three-dimensional shape data obtained in step S7 in the same manner as in step S3. It transmits to the computer 61 for analysis. The three-dimensional shape calculation device 43 also transmits the displacement amount on the visible image of the image of the observation site obtained in step S6 to the thermal deformation analysis computer 61.

次に，前記熱変形解析用計算機６１が，ステップＳ４と同様に，前記観測部位を含む画像領域について，ステップＳ１で得られた前記マーキング処理の結果に基づいて，前記三次元形状演算装置４３から伝送された前記主可視画像データから前記観測部位を抽出し，それに対応する前記三次元形状を抽出する。
次に，前記熱変形解析用計算機６１は，前記三次元形状演算装置４３から伝送されたもうひとつの情報である，前記観測部位の像の前記可視画像上での変位量から，前記観測部位の三次元変位量を求める。
さらに，前記熱変形解析用計算機６１は，ステップＳ５で得られた前記熱画像上の各点の温度データを，前記ホモグラフィ行列を用いて前記主可視画像上の位置での温度データに変換し，さらにその温度データを前記三次元形状データと対応させる。これらの一連のデータ，即ち，前記観測部位の前記三次元形状データ，前記三次元変位量及び前記温度データは，前記熱変形解析用計算機６１により，三次元的位置の対応付けがなされた形状・変位・温度対応データとしてハードディスクドライブ等のデータ記憶装置に記録される（Ｓ８：熱変形データ記録手順）。
以上のようにして，前記三次元形状演算装置４３及び前記熱変形解析用計算機６１は，前記終了条件が成立するまで，新たな前記熱画像及び前記可視画像のデータがサンプリングされるごとに，その新たなサンプリングデータについて前記ステップＳ５〜Ｓ８の処理を繰り返す。
前記終了条件は，例えば，予め定められたタイムアップ時間以上，新たにサンプリングされた前記熱画像及び前記可視画像のデータが得られないことや，ステップＳ５〜Ｓ８の処理が，予め設定された回数だけ繰り返されたことなどが考えられる。 Next, similarly to step S4, the thermal deformation analysis computer 61 performs the processing from the three-dimensional shape calculation device 43 based on the result of the marking process obtained in step S1 for the image region including the observation region. The observation site is extracted from the transmitted main visible image data, and the corresponding three-dimensional shape is extracted.
Next, the thermal deformation analysis computer 61 calculates the observation site from the amount of displacement of the image of the observation site on the visible image, which is another information transmitted from the three-dimensional shape calculation device 43. Find the 3D displacement.
Further, the thermal deformation analysis computer 61 converts the temperature data of each point on the thermal image obtained in step S5 into temperature data at a position on the main visible image using the homography matrix. Further, the temperature data is made to correspond to the three-dimensional shape data. These series of data, that is, the three-dimensional shape data, the three-dimensional displacement amount, and the temperature data of the observation region are the shapes and three-dimensional positions associated by the thermal deformation analysis computer 61. It is recorded in a data storage device such as a hard disk drive as displacement / temperature correspondence data (S8: thermal deformation data recording procedure).
As described above, the three-dimensional shape calculation device 43 and the thermal deformation analysis computer 61 each time data of the new thermal image and visible image are sampled until the termination condition is satisfied. The processes in steps S5 to S8 are repeated for new sampling data.
The end condition is, for example, that the sampled data of the thermal image and the visible image cannot be obtained for a predetermined time-up time or more, and the number of times the processes in steps S5 to S8 are set in advance. It is thought that it was repeated only.

ここで，演算手段の一例である前記熱変形解析用計算機６１によるステップＳ８の手順を熱変形データ記録手順と称し，その際に前記データ記憶装置に記録されるデータを三次元熱変形データと称する。
前記熱変形データ記録手順は，予め設定された前記ホモグラフィと，ステップＳ５でサンプリングされた前記撮像時点ごとの前記熱画像のデータと，ステップＳ７で算出された前記撮像時点ごとの前記三次元形状のデータと，ステップＳ６で算出された前記撮像時点ごとの前記観測部位の像の前記可視画像上での変位量とに基づいて，前記三次元熱変形データを前記データ記憶装置に記憶させる手順である。また，前記三次元熱変形データは，前記観測部位の前記撮像時点ごとの三次元座標系での位置，変位量及び温度のデータが対応付けられたデータである。
なお，前述したように，前記ホモグラフィは，前記三次元形状及び前記熱画像の間の座標変換の情報の一例である。 Here, the procedure of step S8 performed by the thermal deformation analysis computer 61, which is an example of the calculation means, is referred to as a thermal deformation data recording procedure, and the data recorded in the data storage device at that time is referred to as three-dimensional thermal deformation data. .
The thermal deformation data recording procedure includes the preset homography, the data of the thermal image for each imaging time point sampled in step S5, and the three-dimensional shape for each imaging time point calculated in step S7. The three-dimensional thermal deformation data is stored in the data storage device on the basis of the above-described data and the displacement amount on the visible image of the image of the observation site calculated at the imaging time point calculated in step S6. is there. Further, the three-dimensional thermal deformation data is data in which position, displacement amount, and temperature data in the three-dimensional coordinate system at each imaging time point of the observation site are associated with each other.
As described above, the homography is an example of coordinate conversion information between the three-dimensional shape and the thermal image.

以上に示したように，前記熱変形測定装置Ｘ１は，前記同期信号Ｓtrgに基づいて撮像時点が同じで視野方向の異なる２つの前記可視画像のデータの組合せを順次サンプリングする（Ｓ２，Ｓ５）。さらに，前記熱変形測定装置Ｘ１は，その可視画像のデータに基づくステレオ画像処理（Ｓ３，Ｓ７）及びデジタル画像相関法でのパターン追跡処理（Ｓ６）により，前記撮像時点ごとの，前記主可視画像上の各点の位置と前記三次元座標が対応付けられたデータ，及び前記観測部位の像の前記主可視画像上の変位量のデータを算出する。両データは，前記撮像時点の変遷に応じた前記被測定物１の三次元の形状変化の情報である。
さらに，前記熱変形測定装置Ｘ１は，前記被測定物１の温度分布を表す前記熱画像のデータも，前記同期信号Ｓtrgに基づいて，前記可視画像のデータのサンプリングと同じタイミングでサンプリングされる（Ｓ２，Ｓ５）。また，前記三次元形状と前記熱画像との座標の対応関係は，前記ホモグラフィを用いた計算により求めることができる。
そして，前記熱変形測定装置Ｘ１は，既知の情報に基づいて，前記撮像時点ごとの前記熱画像のデータから，対応する撮像時点における前記三次元形状内の前記観測部位の位置に対応する温度データを特定する（Ｓ４，Ｓ８）。さらに加えて，前記観測部位の三次元変位量も対応付けられる（Ｓ８）。即ち，ステップＳ４及びＳ８の処理によって記録される前記三次元熱変形データは，時々刻々と変化する前記被測定物１における前記観測部位の温度と三次元の位置及び変位量との正確な対応関係，即ち，前記被測定物１の正確な熱変形特性を示すデータとなる。 As described above, the thermal deformation measuring apparatus X1 sequentially samples combinations of data of two visible images having the same imaging time point and different viewing directions based on the synchronization signal Strg (S2, S5). Further, the thermal deformation measuring device X1 performs the main visible image for each imaging time point by stereo image processing (S3, S7) based on the data of the visible image and pattern tracking processing (S6) by the digital image correlation method. Data in which the position of each point above is associated with the three-dimensional coordinates, and displacement amount data on the main visible image of the image of the observation site are calculated. Both data are information on the three-dimensional shape change of the DUT 1 according to the transition at the time of imaging.
Further, the thermal deformation measuring device X1 samples the thermal image data representing the temperature distribution of the DUT 1 at the same timing as the sampling of the visible image data based on the synchronization signal Strg ( S2, S5). The correspondence relationship between the three-dimensional shape and the thermal image can be obtained by calculation using the homography.
Then, the thermal deformation measuring device X1 calculates temperature data corresponding to the position of the observation part in the three-dimensional shape at the corresponding imaging time point from the data of the thermal image at each imaging time point based on known information. Is specified (S4, S8). In addition, the three-dimensional displacement amount of the observation site is also associated (S8). In other words, the three-dimensional thermal deformation data recorded by the processes of steps S4 and S8 is an accurate correspondence between the temperature of the observation site and the three-dimensional position and displacement amount of the DUT 1 that changes every moment. That is, the data shows the accurate thermal deformation characteristics of the DUT 1.

また，前記熱変形解析用計算機６１は，前記三次元熱変形データに基づいて，前記被測定物１に関する各種の熱変形解析の機能を備える。
例えば，前記熱変形解析用計算機６１は，前記三次元熱変形データに基づいて，前記撮像時点の経過に応じた前記被測定物１の三次元形状や断面形状の変化の様子を前記解析画像ディスプレイ６３にアニメーション表示させる機能を備える。その際，前記熱変形解析用計算機６１は，前記アニメーション表示において，前記観測部位に相当する部分にその温度に応じた着色を行う。前記アニメーション表示の画面は，前記被測定物１の温度と三次元変形との関係を一見して把握できる画面となる。
また，前記熱変形解析用計算機６１は，前記三次元熱変形データにおける前記観測部位の温度と元の形状からの変位量との関係から，前記観測部位ごとの線膨張係数を算出する機能も備える。
以上に示した熱変形解析の機能は，多様なパターンで温度及び形状が変化する電子デバイスなどの製品の設計を効率化する効果を有する。 The thermal deformation analysis computer 61 has various thermal deformation analysis functions related to the device under test 1 based on the three-dimensional thermal deformation data.
For example, the computer 61 for thermal deformation analysis may use the analytical image display to show how the three-dimensional shape or cross-sectional shape of the DUT 1 changes with the progress of the imaging based on the three-dimensional thermal deformation data. 63 has a function of displaying an animation. At that time, in the animation display, the thermal deformation analysis computer 61 colors a portion corresponding to the observation site according to the temperature. The animation display screen is a screen on which the relationship between the temperature of the DUT 1 and the three-dimensional deformation can be grasped at a glance.
The thermal deformation analysis computer 61 also has a function of calculating a linear expansion coefficient for each observation region from the relationship between the temperature of the observation region and the displacement from the original shape in the three-dimensional heat deformation data. .
The thermal deformation analysis function described above has the effect of improving the efficiency of designing products such as electronic devices whose temperature and shape change in various patterns.

次に，図４及び図５を参照しつつ，本発明の第２実施形態に係る熱変形測定装置Ｘ２について説明する。前記熱変形測定装置Ｘ２は，前記熱変形測定装置Ｘ１の応用例であり，前記同期信号Ｓtrgの発生のさせ方が異なる以外は，前記熱変形測定装置Ｘ１と同じ構成及び機能を備えている。以下，前記熱変形測定装置Ｘ２について，前記熱変形測定装置Ｘ１と異なる部分のみについて説明する。なお，図４において，図１に示された構成要素と同じ構成要素については，図１において付された符号と同じ符号が付されている。
図４に示されるように，前記熱変形測定装置Ｘ２は，前記同期信号Ｓtrgを発生させる装置として，前記熱変形測定装置Ｘ１における前記時間監視装置３１の代わりに温度監視装置３２を備えている。
前記温度監視装置３２は，前記サーモカメラ２０から逐次得られる前記熱画像のデータの一部又は全部を，前記熱画像サンプリング装置５１を介して十分に短い周期で逐次取得する。さらに，前記温度監視装置３２は，短周期で得られる前記熱画像のデータが予定された温度状態に達することをトリガとして，前記同期信号Ｓtrgを時系列で発生させる。 Next, the thermal deformation measuring device X2 according to the second embodiment of the present invention will be described with reference to FIGS. The thermal deformation measuring device X2 is an application example of the thermal deformation measuring device X1, and has the same configuration and function as the thermal deformation measuring device X1 except that the generation of the synchronization signal Strg is different. Hereinafter, only the portions of the thermal deformation measuring device X2 that are different from the thermal deformation measuring device X1 will be described. In FIG. 4, the same components as those shown in FIG. 1 are given the same reference numerals as those shown in FIG.
As shown in FIG. 4, the thermal deformation measuring device X2 includes a temperature monitoring device 32 as a device for generating the synchronization signal Strg, instead of the time monitoring device 31 in the thermal deformation measuring device X1.
The temperature monitoring device 32 sequentially acquires part or all of the thermal image data sequentially obtained from the thermo camera 20 with a sufficiently short period via the thermal image sampling device 51. Further, the temperature monitoring device 32 generates the synchronization signal Strg in time series, triggered by the fact that the thermal image data obtained in a short cycle reaches a predetermined temperature state.

図５は，前記温度監視装置３２が生成する前記同期信号Ｓtrgのタイムチャートの一例である。
図５に示される例は，前記温度監視装置３２により，前記熱画像のデータに基づく所定の代表温度Ｔxが，予め設定された温度変化幅ΔＴだけ変化した状態に至るごとに前記同期信号Ｓtrgを発生させる例である。
なお，前記温度変化幅ΔＴは，毎回一定である場合の他，前記同期信号Ｓtrgの発生回数に応じて異なる値が設定されることも考えられる。また，前記代表温度Ｔxが，予め設定された複数の絶対温度のいずれかに至るごとに前記同期信号Ｓtrgを発生させることも考えられる。 FIG. 5 is an example of a time chart of the synchronization signal Strg generated by the temperature monitoring device 32.
In the example shown in FIG. 5, each time the predetermined representative temperature Tx based on the thermal image data is changed by the preset temperature change width ΔT by the temperature monitoring device 32, the synchronization signal Strg is changed. This is an example.
It should be noted that the temperature change width ΔT may be set differently depending on the number of generations of the synchronization signal Strg, in addition to the case where the temperature change width ΔT is constant every time. It is also conceivable that the synchronization signal Strg is generated every time the representative temperature Tx reaches one of a plurality of preset absolute temperatures.

前記被測定物１の熱変形を，所定の温度変化が生じるごとに測定したい場合がある。また，前記被測定物１の熱変形を，温度域ごとに異なる温度分解能で測定したい場合もある。前記熱変形測定装置Ｘ２は，そのような場合に利用されれば，必要な測定データのみを効率的に得ることができる。   In some cases, it is desired to measure the thermal deformation of the DUT 1 every time a predetermined temperature change occurs. In some cases, it is desired to measure the thermal deformation of the DUT 1 with different temperature resolution for each temperature range. If the thermal deformation measuring device X2 is used in such a case, only necessary measurement data can be efficiently obtained.

次に，図６及び図７を参照しつつ，本発明の第３実施形態に係る熱変形測定装置Ｘ３について説明する。前記熱変形測定装置Ｘ３は，前記熱変形測定装置Ｘ１の応用例であり，前記同期信号Ｓtrgの発生のさせ方が異なる以外は，前記熱変形測定装置Ｘ１と同じ構成及び機能を備えている。以下，前記熱変形測定装置Ｘ３について，前記熱変形測定装置Ｘ１と異なる部分のみについて説明する。なお，図６において，図１に示された構成要素と同じ構成要素については，図１において付された符号と同じ符号が付されている。
図６に示されるように，前記熱変形測定装置Ｘ３は，前記同期信号Ｓtrgを発生させる装置として，前記熱変形測定装置Ｘ１における前記時間監視装置３１の代わりに変形監視装置３３を備えている。
前記変形監視装置３３は，前記熱変形解析用計算機６１から逐次得られる前記観測部位の前記三次元変形量の一部又は全部を，十分に短い周期で逐次取得する。さらに，前記変形監視装置３３は，短周期で得られる前記三次元変形量のデータに基づき所定の変形量を逐次算出し，その変形量が予定された変形状態に達することをトリガとして前記同期信号Ｓtrgを時系列で発生させる。 Next, a thermal deformation measuring device X3 according to a third embodiment of the present invention will be described with reference to FIGS. The thermal deformation measuring device X3 is an application example of the thermal deformation measuring device X1, and has the same configuration and function as the thermal deformation measuring device X1 except that the method of generating the synchronization signal Strg is different. Hereinafter, only the portions of the thermal deformation measuring device X3 that are different from the thermal deformation measuring device X1 will be described. In FIG. 6, the same constituent elements as those shown in FIG. 1 are denoted by the same reference numerals as those shown in FIG.
As shown in FIG. 6, the thermal deformation measuring device X3 includes a deformation monitoring device 33 as a device for generating the synchronization signal Strg instead of the time monitoring device 31 in the thermal deformation measuring device X1.
The deformation monitoring device 33 sequentially acquires a part or all of the three-dimensional deformation amount of the observation site sequentially obtained from the thermal deformation analysis computer 61 at a sufficiently short period. Further, the deformation monitoring device 33 sequentially calculates a predetermined deformation amount based on the data of the three-dimensional deformation amount obtained in a short cycle, and the synchronization signal is triggered when the deformation amount reaches a predetermined deformation state. Strg is generated in time series.

図７は，前記変形監視装置３３が生成する前記同期信号Ｓtrgのタイムチャートの一例である。
図７に示される例は，前記熱変形解析用計算機６１により得られる前記三次元変位量のデータに基づき逐次算出される前記変形量αが，予め設定された変形量変化幅Δαだけ変化した状態に至るごとに前記同期信号Ｓtrgを発生させる例である。
前記変形監視装置３３は，例えば，予め設定された１つの前記観測部位の三次元方向の位置の変化幅を前記変形量αとして算出する。その場合、前記変形監視装置３３は，前記熱変形解析用計算機６１から得られた前記観測部位の前記三次元変位量のうち，特定の１つの部位のデータだけを取り出して，前記変形量αとして算出する。
また，前記変形監視装置３３が，予め設定された複数の前記観測部位の三次元方向の位置の変化幅の平均値や最大値等を前記変位量αとして算出することも考えられる。
さらには，前記変形監視装置３３が，予め設定された１つの前記観測部位の像の前記主可視画像上の変位量，或いは予め設定された複数の前記観測部位の像の前記主可視画像上の変位量の平均値や最大値等を前記変形量αとして算出することも考えられる。
なお，前記変形量変化幅Δαは，毎回一定である場合の他，前記同期信号Ｓtrgの発生回数に応じて異なる値が設定されることも考えられる。また，前記変形量αが，予め設定された複数の絶対値のいずれかに至るごとに前記同期信号Ｓtrgを発生させることも考えられる。 FIG. 7 is an example of a time chart of the synchronization signal Strg generated by the deformation monitoring device 33.
In the example shown in FIG. 7, the deformation amount α sequentially calculated based on the three-dimensional displacement amount data obtained by the thermal deformation analysis computer 61 is changed by a preset deformation amount change width Δα. In this example, the synchronization signal Strg is generated every time.
The deformation monitoring device 33 calculates, for example, a change width of the position of one observation portion set in advance in the three-dimensional direction as the deformation amount α. In that case, the deformation monitoring device 33 extracts only the data of one specific part out of the three-dimensional displacement amount of the observation part obtained from the thermal deformation analysis computer 61 and uses it as the deformation quantity α. calculate.
It is also conceivable that the deformation monitoring device 33 calculates, as the displacement amount α, an average value, a maximum value, or the like of a change width of a plurality of preset positions of the observation parts in the three-dimensional direction.
Further, the deformation monitoring device 33 may include a displacement amount on the main visible image of one preset image of the observed region or a plurality of preset images of the observed region on the main visible image. It is also conceivable to calculate an average value or maximum value of the displacement amount as the deformation amount α.
In addition to the case where the deformation amount variation width Δα is constant each time, it is also conceivable that different values are set according to the number of generations of the synchronization signal Strg. It is also conceivable that the synchronization signal Strg is generated every time the deformation amount α reaches one of a plurality of preset absolute values.

前記被測定物１の熱変形の測定において，前記被測定物１に所定の形状変化が生じるごとにその熱変形のデータを測定したい場合がある。また，前記被測定物１の熱変形を，形状変化の大きさに応じて異なる分解能で測定したい場合もある。前記熱変形測定装置Ｘ３は，そのような場合に利用されれば，必要な測定データのみを効率的に得ることができる。
また，前記被測定物１の熱変形の測定において，オペレータが前記被測定物１の温度や形状変化の状況を監視しながら任意のタイミングで熱変形のデータを測定したい場合もある。
そのような場合，例えば，前記熱変形測定装置Ｘ１において，前記時間監視装置３１の代わりに，前記熱変形解析用計算機６１が，前記データ入力器６２に対する所定の信号発生のための操作入力に応じて，前記同期信号Ｓtrgを発生させることも考えられる。前記操作入力は，例えば，マウスボタンのクリック操作やキーボードにおける所定の操作キーの押下操作などである。 In the measurement of the thermal deformation of the device under test 1, it is sometimes desired to measure the data of the heat deformation every time a predetermined shape change occurs in the device under test 1. In some cases, it is desired to measure the thermal deformation of the DUT 1 with different resolutions depending on the magnitude of the shape change. If the thermal deformation measuring device X3 is used in such a case, only necessary measurement data can be efficiently obtained.
In the measurement of the thermal deformation of the device under test 1, the operator may want to measure the data of the heat deformation at an arbitrary timing while monitoring the temperature or shape change state of the device under test 1.
In such a case, for example, in the thermal deformation measuring device X1, instead of the time monitoring device 31, the thermal deformation analysis computer 61 responds to an operation input for generating a predetermined signal to the data input device 62. It is also conceivable to generate the synchronization signal Strg. The operation input is, for example, a mouse button click operation or a predetermined operation key press operation on the keyboard.

以上に示した各実施形態における各構成要素による機能分担はあくまで一例であり，他の実施形態も種々考えられる。
例えば，前記可視画像サンプリング装置４１の機能が前記三次元形状演算装置４３に組み込まれることや，前記時間監視装置３１の機能が前記三次元形状演算装置４３又は前記熱解析用計算機６１に組み込まれること等が考えられる。
また，前記温度監視装置３２の機能が前記熱画像サンプリング装置５１に組み込まれることや，前記可視画像サンプリング装置４１及び前記変形監視装置３３の機能が前記三次元形状演算装置４３に組み込まれることも考えられる。
また，前記可視カメラ２１が３台以上設けられることや，前記サーモカメラ２０及び複数の前記可視カメラ２１が図１に示される状態とは異なる位置関係で配置されることも考えられる。 The function sharing by each component in each embodiment described above is merely an example, and various other embodiments can be considered.
For example, the function of the visible image sampling device 41 is incorporated in the three-dimensional shape calculation device 43, and the function of the time monitoring device 31 is incorporated in the three-dimensional shape calculation device 43 or the thermal analysis computer 61. Etc. are considered.
It is also conceivable that the function of the temperature monitoring device 32 is incorporated in the thermal image sampling device 51, and that the functions of the visible image sampling device 41 and the deformation monitoring device 33 are incorporated in the three-dimensional shape calculation device 43. It is done.
It is also conceivable that three or more visible cameras 21 are provided, and that the thermo camera 20 and the plurality of visible cameras 21 are arranged in a positional relationship different from the state shown in FIG.

本発明は，被測定物の温度変化に応じた三次元の形状変化を測定する方法及び装置に利用可能である。   The present invention can be used in a method and apparatus for measuring a three-dimensional shape change according to a temperature change of an object to be measured.

Ｘ１，Ｘ２，Ｘ３：熱変形測定装置
１ ：被測定物
１１ ：加熱・冷却プレート
１２ ：温度制御装置
２０ ：サーモカメラ
２１ ：可視カメラ
３０ ：トリガ信号発生タイミング外部入力装置
３１ ：時間監視装置
３２ ：温度監視装置
３３ ：変形監視装置
４１ ：可視画像サンプリング装置
４２ ：可視画像ディスプレイ
４３ ：三次元形状演算装置
５１ ：熱画像サンプリング装置
５２ ：熱画像ディスプレイ
６１ ：熱変形解析用計算機
６２ ：データ入力器
６３ ：解析画像ディスプレイ
Ｓ１，Ｓ２，…：処理手順（ステップ） X1, X2, X3: Thermal deformation measuring device 1: Object to be measured 11: Heating / cooling plate 12: Temperature control device 20: Thermo camera 21: Visible camera 30: Trigger signal generation timing external input device 31: Time monitoring device 32: Temperature monitoring device 33: Deformation monitoring device 41: Visible image sampling device 42: Visible image display 43: Three-dimensional shape calculation device 51: Thermal image sampling device 52: Thermal image display 61: Thermal deformation analysis computer 62: Data input device 63 : Analysis image display S1, S2,...: Processing procedure (step)

Claims (7)

被測定物の温度変化に応じた三次元の変形を測定する熱変形測定方法であって，
信号生成手段により同期信号を時系列で発生させる同期信号生成手順と，
前記同期信号に同期して，前記被測定物の熱画像を撮像するサーモカメラ及びそれぞれ異なる位置において前記被測定物の可視画像を撮像する複数の可視カメラから，撮像時点が同じ前記熱画像及び複数の前記可視画像のデータの組合せをサンプリングする画像データサンプリング手順と，
演算手段により，前記撮像時点ごとの複数の前記可視画像のデータの組合せに基づくステレオ画像処理を通じて，前記撮像時点ごとの三次元形状のデータを算出する三次元形状データ算出手順と，
演算手段により，特定の前記可視カメラから得られた前記撮像時点が異なる複数の前記可視画像のデータに基づくデジタル画像相関法でのパターン追跡処理を通じて，前記撮像時点ごとの前記可視画像における前記被測定物の１又は複数の観測部位の像の前記可視画像上での変位量を算出する変位量算出手順と，
演算手段により，予め設定された前記三次元形状及び前記熱画像の間の座標変換の情報と前記画像データサンプリング手順により得られた前記撮像時点ごとの前記熱画像のデータと前記三次元形状データ算出手順により得られた前記撮像時点ごとの前記三次元形状のデータと前記変位量算出手順により得られた前記撮像時点ごとの前記観測部位の像の前記可視画像上での変位量とに基づいて，前記観測部位の前記撮像時点ごとの三次元座標系での位置及び温度のデータが対応付けられた三次元熱変形データを記憶手段に記憶させる熱変形データ記録手順と，
を有してなることを特徴とする熱変形測定方法。 A thermal deformation measurement method for measuring a three-dimensional deformation according to a temperature change of an object to be measured,
A synchronization signal generation procedure for generating a synchronization signal in time series by the signal generation means;
In synchronization with the synchronization signal, a thermal camera that captures a thermal image of the object to be measured and a plurality of visible cameras that capture a visible image of the object to be measured at different positions, respectively, An image data sampling procedure for sampling a combination of the visible image data of
A three-dimensional shape data calculation procedure for calculating three-dimensional shape data for each imaging time point through stereo image processing based on a combination of a plurality of the visible image data for each imaging time point by an arithmetic means;
Through the pattern tracking process in the digital image correlation method based on the data of the plurality of visible images with different imaging time points obtained from the specific visible camera by the calculation means, the measured object in the visible image at each imaging time point A displacement amount calculating procedure for calculating a displacement amount on the visible image of an image of one or a plurality of observation parts of the object;
Information on the coordinate conversion between the preset three-dimensional shape and the thermal image, the thermal image data and the three-dimensional shape data calculated at each imaging time point obtained by the image data sampling procedure by the calculation means Based on the three-dimensional shape data for each imaging time point obtained by the procedure and the displacement amount on the visible image of the image of the observation site for each imaging time point obtained by the displacement amount calculation procedure, A thermal deformation data recording procedure for storing, in a storage means, three-dimensional thermal deformation data in which data of a position and temperature in a three-dimensional coordinate system for each imaging time point of the observation site are associated;
A method of measuring thermal deformation, comprising: 前記同期信号生成手順が，所定の操作部を通じた操作入力をトリガとして前記同期信号を時系列で発生させる手順である請求項１に記載の熱変形測定方法。   The thermal deformation measurement method according to claim 1, wherein the synchronization signal generation procedure is a procedure for generating the synchronization signal in time series with an operation input through a predetermined operation unit as a trigger. 前記同期信号生成手順が，予定された時間が経過することをトリガとして前記同期信号を時系列で発生させる手順である請求項１に記載の熱変形測定方法。   The thermal deformation measurement method according to claim 1, wherein the synchronization signal generation procedure is a procedure for generating the synchronization signal in time series with a predetermined time elapses as a trigger. 前記同期信号生成手順が，前記サーモカメラから逐次得られる前記熱画像のデータが予定された温度状態に達することをトリガとして前記同期信号を時系列で発生させる手順である請求項１に記載の熱変形測定方法。   2. The thermal signal according to claim 1, wherein the synchronization signal generation procedure is a procedure for generating the synchronization signal in time series triggered by the arrival of the thermal image data sequentially obtained from the thermocamera at a predetermined temperature state. Deformation measurement method. 前記同期信号生成手順が，前記可視カメラから逐次得られる前記可視画像のデータに基づき算出される前記被測定物の形状の変化が予定された変形状態に達することをトリガとして前記同期信号を時系列で発生させる手順である請求項１に記載の熱変形測定方法。   The synchronization signal is time-sequentially triggered by a change in the shape of the object to be measured calculated based on the data of the visible image sequentially obtained from the visible camera reaching a predetermined deformation state. The method for measuring thermal deformation according to claim 1, wherein the thermal deformation measurement method is a procedure generated in step 1. 被測定物の温度変化に応じた三次元の変形を測定する熱変形測定装置であって，
同期信号を時系列で発生させる同期信号生成手段と，
前記被測定物の熱画像を撮像するサーモカメラと，
それぞれ異なる位置において前記被測定物の可視画像を撮像する複数の可視カメラと，
前記同期信号に同期して，前記サーモカメラ及び複数の前記可視カメラから撮像時点が同じ前記熱画像及び複数の前記可視画像のデータの組合せをサンプリングする画像データサンプリング手段と，
前記撮像時点ごとの複数の前記可視画像のデータの組合せに基づくステレオ画像処理を通じて，前記撮像時点ごとの三次元形状のデータを算出する三次元形状データ算出手段と，
特定の前記可視カメラから得られた前記撮像時点が異なる複数の前記可視画像のデータに基づくデジタル画像相関法でのパターン追跡処理を通じて，前記撮像時点ごとの前記可視画像における前記被測定物の像の前記可視画像上での変位量を算出する変位量算出手段と，
予め設定された前記三次元形状及び前記熱画像の間の座標変換の情報と前記画像データサンプリング手段により得られた前記撮像時点ごとの前記熱画像のデータと前記三次元形状データ算出手段により得られた前記撮像時点ごとの前記三次元形状のデータと前記変位量算出手段により得られた前記撮像時点ごとの前記観測部位の像の前記可視画像上での変位量とに基づいて，前記観測部位の前記撮像時点ごとの三次元座標系での位置及び温度のデータが対応付けられた三次元熱変形データを記憶手段に記憶させる熱変形データ記録手段と，
を具備してなることを特徴とする熱変形測定装置。 A thermal deformation measuring device for measuring a three-dimensional deformation according to a temperature change of an object to be measured,
Synchronization signal generating means for generating the synchronization signal in time series;
A thermo camera for capturing a thermal image of the object to be measured;
A plurality of visible cameras that capture visible images of the object to be measured at different positions;
Image data sampling means for sampling a combination of the thermal image and the data of the plurality of visible images having the same imaging time point from the thermo camera and the plurality of visible cameras in synchronization with the synchronization signal;
Three-dimensional shape data calculation means for calculating three-dimensional shape data for each imaging time point through stereo image processing based on a combination of data of the plurality of visible images for each imaging time point;
Through the pattern tracking process in the digital image correlation method based on the data of the plurality of visible images with different imaging time points obtained from the specific visible camera, the image of the object to be measured in the visible image at each imaging time point A displacement amount calculating means for calculating a displacement amount on the visible image;
Information on the coordinate conversion between the preset three-dimensional shape and the thermal image, the thermal image data obtained by the image data sampling means, and the three-dimensional shape data calculation means at each imaging time point. Further, based on the data of the three-dimensional shape for each imaging time point and the displacement amount on the visible image of the image of the observation site for each imaging time point obtained by the displacement amount calculation means, Thermal deformation data recording means for storing in the storage means three-dimensional thermal deformation data associated with position and temperature data in the three-dimensional coordinate system for each imaging time point;
A thermal deformation measuring device comprising: 前記同期信号生成手段が，所定の操作部を通じた操作入力をトリガとして前記同期信号を時系列で発生させる手段，予定された時間が経過することをトリガとして前記同期信号を時系列で発生させる手段，前記サーモカメラから逐次得られる前記熱画像のデータが予定された温度状態に達することをトリガとして前記同期信号を時系列で発生させる手段及び前記可視カメラから逐次得られる前記可視画像のデータに基づき算出される前記被測定物の形状の変化が予定された変形状態に達することをトリガとして前記同期信号を時系列で発生させる手段のうちのいずれかである請求項６に記載の熱変形測定装置。   Means for generating the synchronization signal in time series triggered by an operation input through a predetermined operation unit; means for generating the synchronization signal in time series triggered by elapse of a predetermined time Based on the data of the visible image sequentially obtained from the visible camera and means for generating the synchronization signal in time series triggered by the arrival of the thermal image data sequentially obtained from the thermo camera reaching a predetermined temperature state The thermal deformation measuring apparatus according to claim 6, wherein the apparatus is one of means for generating the synchronization signal in time series triggered by a calculated change in the shape of the object to be measured reaching a predetermined deformation state. .
JP2009013562A 2009-01-23 2009-01-23 Thermal deformation measurement method and apparatus Withdrawn JP2010169590A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009013562A JP2010169590A (en) 2009-01-23 2009-01-23 Thermal deformation measurement method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009013562A JP2010169590A (en) 2009-01-23 2009-01-23 Thermal deformation measurement method and apparatus

Publications (1)

Publication Number Publication Date
JP2010169590A true JP2010169590A (en) 2010-08-05

Family

ID=42701872

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009013562A Withdrawn JP2010169590A (en) 2009-01-23 2009-01-23 Thermal deformation measurement method and apparatus

Country Status (1)

Country Link
JP (1) JP2010169590A (en)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013083605A (en) * 2011-10-12 2013-05-09 Kurosaki Harima Corp Displacement measuring apparatus, displacement measuring method, and program
JP2013092448A (en) * 2011-10-26 2013-05-16 Toyota Motor Corp Distortion measuring apparatus, method for measuring coefficient of linear expansion, and method for measuring correction coefficient of thermo-viewer
CN103278102A (en) * 2013-05-07 2013-09-04 江苏苏威尔科技有限公司 Laser measurement system and method for three-dimensional deformation of object
CN103575227A (en) * 2013-09-23 2014-02-12 西安新拓三维光测科技有限公司 Vision extensometer implementation method based on digital speckles
CN103673912A (en) * 2013-12-07 2014-03-26 中国民航大学 Image correcting system for deformation measurement of speckle correlation methods
CN103743621A (en) * 2014-01-03 2014-04-23 东南大学 Ectopic digital volume correlation method based on image registration
CN105509651A (en) * 2016-01-11 2016-04-20 石家庄铁道大学 Digital image measuring device and method for three-dimensional microstrain field of gear engagement face
CN105806245A (en) * 2016-05-16 2016-07-27 总装备部工程设计研究总院 Three-dimensional photographic monitoring method of building deformation
WO2016207442A1 (en) * 2015-06-26 2016-12-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and device for measuring an object surface in a contactless manner
CN106969743A (en) * 2017-04-17 2017-07-21 南京工程学院 Nut-welding deflection infrared detection and method of dissolving
CN107167089A (en) * 2017-06-21 2017-09-15 苏州卡睿知光电科技有限公司 The measuring method of deformation of body, apparatus and system under hot environment
CN107548449A (en) * 2015-04-21 2018-01-05 卡尔蔡司工业测量技术有限公司 For the method and apparatus for the actual size feature for determining measurand
JP2020041807A (en) * 2018-09-06 2020-03-19 エスペック株式会社 Environmental test device
KR20200058162A (en) * 2018-11-19 2020-05-27 한국항공우주연구원 Measuring Device And Method of Thermal Expansion Factor of Composite Materials
JP2021501311A (en) * 2017-10-06 2021-01-14 オサケユキチュア マップヴィジョン リミテッド Measurement system with thermal measurement
CN113815898A (en) * 2021-11-24 2021-12-21 中国飞机强度研究所 Method for determining abnormal deformation temperature of airplane body in extreme cold climate test

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013083605A (en) * 2011-10-12 2013-05-09 Kurosaki Harima Corp Displacement measuring apparatus, displacement measuring method, and program
JP2013092448A (en) * 2011-10-26 2013-05-16 Toyota Motor Corp Distortion measuring apparatus, method for measuring coefficient of linear expansion, and method for measuring correction coefficient of thermo-viewer
CN103278102A (en) * 2013-05-07 2013-09-04 江苏苏威尔科技有限公司 Laser measurement system and method for three-dimensional deformation of object
CN103575227A (en) * 2013-09-23 2014-02-12 西安新拓三维光测科技有限公司 Vision extensometer implementation method based on digital speckles
CN103575227B (en) * 2013-09-23 2016-07-06 西安新拓三维光测科技有限公司 A kind of vision extensometer implementation method based on digital speckle
CN103673912A (en) * 2013-12-07 2014-03-26 中国民航大学 Image correcting system for deformation measurement of speckle correlation methods
CN103743621A (en) * 2014-01-03 2014-04-23 东南大学 Ectopic digital volume correlation method based on image registration
CN107548449A (en) * 2015-04-21 2018-01-05 卡尔蔡司工业测量技术有限公司 For the method and apparatus for the actual size feature for determining measurand
CN107548449B (en) * 2015-04-21 2019-11-12 卡尔蔡司工业测量技术有限公司 Method and apparatus for determining the actual size feature of measurand
WO2016207442A1 (en) * 2015-06-26 2016-12-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and device for measuring an object surface in a contactless manner
CN105509651A (en) * 2016-01-11 2016-04-20 石家庄铁道大学 Digital image measuring device and method for three-dimensional microstrain field of gear engagement face
CN105806245A (en) * 2016-05-16 2016-07-27 总装备部工程设计研究总院 Three-dimensional photographic monitoring method of building deformation
CN106969743A (en) * 2017-04-17 2017-07-21 南京工程学院 Nut-welding deflection infrared detection and method of dissolving
CN107167089A (en) * 2017-06-21 2017-09-15 苏州卡睿知光电科技有限公司 The measuring method of deformation of body, apparatus and system under hot environment
JP2021501311A (en) * 2017-10-06 2021-01-14 オサケユキチュア マップヴィジョン リミテッド Measurement system with thermal measurement
JP7181927B2 (en) 2017-10-06 2022-12-01 オサケユキチュア マップヴィジョン リミテッド Measuring system with thermal measurement
JP2020041807A (en) * 2018-09-06 2020-03-19 エスペック株式会社 Environmental test device
JP7166849B2 (en) 2018-09-06 2022-11-08 エスペック株式会社 Environmental test equipment
KR20200058162A (en) * 2018-11-19 2020-05-27 한국항공우주연구원 Measuring Device And Method of Thermal Expansion Factor of Composite Materials
KR102128895B1 (en) 2018-11-19 2020-07-01 한국항공우주연구원 Measuring Device And Method of Thermal Expansion Factor of Composite Materials
CN113815898A (en) * 2021-11-24 2021-12-21 中国飞机强度研究所 Method for determining abnormal deformation temperature of airplane body in extreme cold climate test
CN113815898B (en) * 2021-11-24 2022-02-08 中国飞机强度研究所 Method for determining abnormal deformation temperature of airplane body in extreme cold climate test

Similar Documents

Publication Publication Date Title
JP2010169590A (en) Thermal deformation measurement method and apparatus
US10116885B2 (en) Systems and approaches for repeated thermal imaging determinations
EP2608531A2 (en) Thermal imaging camera for infrared rephotography
US8823803B2 (en) Apparatus and method to calculate energy dissipated from an object
US9176990B2 (en) Visual image annotation, tagging of infrared images, and infrared image linking
CN107534734B (en) Humidity measurement device with thermal imaging capability and related methods
JP5097765B2 (en) Measuring method, measuring program and measuring device
CN205157051U (en) Infrared sensor package
CN204649311U (en) Measurement mechanism
US20120320189A1 (en) Thermal imager that analyzes temperature measurement calculation accuracy
US20100058222A1 (en) Graphical user interfaces and methods for thermography
EP1811771A1 (en) Camera with visible light and infrared image blending
US9196026B2 (en) Thermal imager with large dynamic range and improved signal-to-noise ratio
Landmann et al. High-speed 3D thermography
CN107233082B (en) Infrared thermal imaging detection system
JP5522630B2 (en) 3D system
JP2015049200A (en) Measuring device, measuring method, and measuring program
CN113834571A (en) Target temperature measurement method, device and temperature measurement system
Cho et al. 3D thermal modeling for existing buildings using hybrid LIDAR system
CN107238440B (en) The temperature correction method of infrared thermal imaging detection system
Borrmann et al. Spatial projection of thermal data for visual inspection
KR102220654B1 (en) Correction System of Measurement Temperature
Acampora et al. 3D reconstruction of thermal images
JP2015064755A (en) Three-dimensional shape measuring system and color information attachment method
JP2009222446A (en) Distance measuring device and its program

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20120403