JP2010169590A - 熱変形測定方法及び装置 - Google Patents

熱変形測定方法及び装置 Download PDF

Info

Publication number
JP2010169590A
JP2010169590A JP2009013562A JP2009013562A JP2010169590A JP 2010169590 A JP2010169590 A JP 2010169590A JP 2009013562 A JP2009013562 A JP 2009013562A JP 2009013562 A JP2009013562 A JP 2009013562A JP 2010169590 A JP2010169590 A JP 2010169590A
Authority
JP
Japan
Prior art keywords
data
image
visible
thermal
synchronization signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009013562A
Other languages
English (en)
Inventor
Akashi Yamaguchi
証 山口
Hiroyuki Takamatsu
弘行 高松
Kohei Suzuki
康平 鈴木
Shugo Miyake
修吾 三宅
Shunji Araki
俊二 荒木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobe Steel Ltd
Kobelco Research Institute Inc
Original Assignee
Kobe Steel Ltd
Kobelco Research Institute Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobe Steel Ltd, Kobelco Research Institute Inc filed Critical Kobe Steel Ltd
Priority to JP2009013562A priority Critical patent/JP2010169590A/ja
Publication of JP2010169590A publication Critical patent/JP2010169590A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】多様なパターンで温度及び形状が変化する被測定物の三次元の熱変形特性を正確に測定できること。
【解決手段】同期信号Strgを時系列で発生させ,その同期信号Strgに同期して,サーモカメラ20及び複数の可視カメラ21から撮像時点が同じ前記熱画像及び複数の前記可視画像のデータの組合せをサンプリングし,撮像時点ごとの可視画像のデータに基づくステレオ画像処理を通じて,撮像時点ごとの三次元形状のデータを算出し,撮像時点が異なる複数の可視画像のデータに基づくデジタル画像相関法でのパターン追跡処理を通じて,前記撮像時点ごとの観測部位の像の前記可視画像上での変位量を算出し,それら算出結果に基づいて,観測部位の撮像時点ごとの三次元座標系での位置及び温度のデータが対応付けられたデータを記録する。
【選択図】図1

Description

本発明は,被測定物の温度変化に応じた三次元の形状変化を測定する熱変形測定方法及び熱変形測定装置に関するものである。
昨今,プロセッサやパワーモジュール,コネクタなどの電子デバイスは、三次元的な構造の複雑化と使用環境の高温化とが進んでいる。例えば,CPUやDSP(Digital Signal Processor)などのプロセッサは,演算速度の高速化に伴って発熱量が著しく増大しており,熱変形によるパッケージや電極の破損が問題となりつつある。また,電気自動車やハイブリッド自動車,あるいはデジタル家電機器などに用いられるインバータ用パワーモジュールなどの電子デバイスも,出力向上に伴って発熱量が増大している。これらは高い信頼性が求められ,耐熱性評価が極めて重要になりつつある。さらに,自動車や航空機などに利用される電装部品であるコネクタなどの電子デバイスも,エンジンなどの熱源に近接配置されることにより,耐熱性が求められる。
一般に,電子デバイスの設計においては,計算機を用いた熱変形のシミュレーションにより,電子デバイスの温度変化に応じた三次元の形状変化が計算され,その計算結果に基づいて電子デバイスの耐熱性が評価されることが多い。しかしながら,CPUなどのプロセッサは,発熱位置が局所的かつ高熱となるため,材料の組成分布や組織構造等に起因する局所的な特性の違いにより,熱変形挙動が設計値と異なる可能性がある。そこで,電子デバイスの実物の変形パターンを実測評価し,設計値とのずれを補正してシミュレーションの高精度化を行なう必要がある。
一方,プロセッサICやメモリIC,信号処理ICなど,複数のICチップが1つのパッケージに収められたMCP(Multi Chip Package)が,携帯情報端末等に用いられるようになっている。中でも,複数のBGA(Ball Grid Array)モジュールが垂直に積層されたPoP(Package on Package)や,MEMS(Micro Electro Mechanical Systems)モジュールまでも内蔵し,さらにはチップが垂直積層されて1つにパッケージ化されたSiP(System in Package)といった複雑な構造を持つMCPも実用化されつつある。SiPやPoP等の新しいタイプのパッケージは,構造が複雑なため高精度の熱変形のシミュレーションが難しい。従って,そのような構造の複雑な電子デバイスについて,実測定により熱変形パターンを把握し,耐熱性を評価することが非常に重要となっている。
一方,画像を用いた被測定物の変形の測定方法として,デジタル画像相関法(Digital image correlation method)でのパターン追跡処理が知られている。
一般に,前記デジタル画像相関法でのパターン追跡処理は,演算手段によって以下の手順に従った処理を行う方法である。
まず,被測定物を順次撮像して得られた異なる時点の画像相互間において,複数に区分された小領域の画像パターンであるサブセットごとに,相関の高い前記サブセットどうしの位置の対応付けを行う。このようにして対応付けられた前記サブセット(画像パターン)は,時間の経過に応じて変位した同一の撮像部位の像であるといえる。
そして,対応づけられた前記サブセットを,撮像時点の遷移に応じて順次追跡することにより,撮像時点の変化に応じた所定の撮像部位の変位量を算出する。このようにして算出される前記撮像部位各々の変位量は,前記被測定物の表面上の各部位の画像上での変位量,即ち,前記被測定物の撮像画像の座標系における形状変化を表す。なお,前記被測定物が移動する物である場合,前記デジタル画像相関法でのパターン追跡処理により前記被測定物の画像上での移動量が測定される。
また,複数の二次元の画像を用いて被測定物の三次元の形状を測定する方法として,ステレオ画像処理による形状測定法が知られている。
一般に,前記ステレオ画像処理による形状測定法は,演算手段によって以下の手順に従った処理を行う方法である。
まず,被測定物を複数のカメラにより異なる方向から撮像して得られた複数の画像相互間において,複数に区分された小領域の画像のデータであるサブセットごとに,相関の高い前記サブセットどうしの位置の対応付けを行う。
次に,三角測量法に基づいて,対応付けられた前記サブセットの位置関係とカメラの位置関係とから,前記被測定物が配置されている実空間における三次元形状のデータを算出する。前記三次元形状のデータは,実空間での所定の三次元座標系における各座標のデータである。また,前記三次元形状のデータは,複数のカメラから得られた複数の画像各々との間で座標の対応関係が既知である。前記ステレオ画像処理による形状測定法は,3つ以上の二次元の画像を用いて被測定物の三次元の形状を測定することにも応用可能である。
また,特許文献1には,前記デジタル画像相関法を利用する以下の方法によって構造物の応力変動を測定することについて示されている。
即ち,特許文献1に示される測定法では,まず,測定対象である構造物を,相互の視野を一致させた赤外線カメラと可視カメラとにより撮像し,時系列の熱画像と可視画像とを取得する。なお,前記可視カメラは,画素ごとに輝度データが設定された通常の画像データである前記可視画像のデータを取得するための一般的なカメラである。また,前記熱画像のデータは,画素ごとに温度データが設定されたデータである。
次に,前記可視画像に前記デジタル画像相関法を適用することにより,前記構造物の歪みを検出する。これにより検出される歪みは,前記構造物の二次元方向の歪みである。
そして,前記構造物の歪みに基づいて前記構造物の応力分布を算出し,その応力分布に基づいて前記熱画像の位置補正を行う。
最後に,位置補正後の前記熱画像に基づいて,前記構造物の応力変動を検出する。
また,特許文献2には,前記ステレオ画像処理による形状測定法を利用して可視画像と熱画像との座標の対応付けを行う温度測定法について示されている。
即ち,特許文献2に示される温度測定法では,温度の測定対象が一部に含まれる撮像範囲が,1つの赤外線カメラと2台の可視カメラとにより撮像される。これら3台のカメラ各々の撮像範囲は,重複しているが一致はしていない。
さらに,特許文献2に示される温度測定法では,2台の前記可視カメラにより得られた2つの可視画像に対し,前記ステレオ画像処理による形状測定法が適用され,三次元形状が算出される。そして,前記可視画像と前記三次元形状との座標の対応関係と,前記赤外線カメラにより得られる熱画像と前記三次元形状との座標の対応関係とに基づいて,前記可視画像と前記熱画像との間の座標の対応関係が導出される。
これにより,前記赤外線カメラと前記可視カメラとの視野範囲を完全に一致させなくても,前記可視画像上で指定される位置に存在する被測定物の温度を,前記熱画像において特定することができる。
特開2008−232998号公報 特開2002−366953号公報
しかしながら,従来の技術は,電子デバイスのように温度変化の著しい被測定物について,温度変化に応じた三次元の形状変化を正確に測定するにあたり以下のような問題点を有していた。
例えば,特許文献1に示される技術は,前記デジタル画像相関法によって被測定物の二次元方向の熱変形を測定できるものの,被測定物の三次元の熱変形を測定することができないという問題点があった。
また,特許文献2に示される技術は,前記可視画像上で指定される位置に存在する被測定物の温度を前記熱画像において特定できるものの,時々刻々と変化する被測定物の温度と三次元形状との対応関係,即ち,被測定物の三次元の熱変形特性を正確に測定することができないという問題点があった。
従って,本発明は上記事情に鑑みてなされたものであり,その目的とするところは,多様なパターンで温度及び形状が変化する被測定物の三次元の熱変形特性を正確に測定可能な熱変形測定方法及び熱変形測定装置を提供することにある。
上記目的を達成するために本発明に係る熱変形測定方法は,被測定物の温度変化に応じた三次元の変形を測定する方法であり,次の(1.1)〜(1.5)に示される各手順を有する方法である。
(1.1)信号生成手段により同期信号を時系列で発生させる同期信号生成手順。
(1.2)前記同期信号に同期して,前記被測定物の熱画像を撮像するサーモカメラ及びそれぞれ異なる位置において前記被測定物の可視画像を撮像する複数の可視カメラから,撮像時点が同じ前記熱画像及び複数の前記可視画像のデータの組合せをサンプリングする画像データサンプリング手順。
(1.3)演算手段により,前記撮像時点ごとの複数の前記可視画像のデータの組合せに基づくステレオ画像処理を通じて,前記撮像時点ごとの三次元形状のデータを算出する三次元形状データ算出手順。
(1.4)演算手段により,特定の前記可視カメラから得られた前記撮像時点が異なる複数の前記可視画像のデータに基づくデジタル画像相関法でのパターン追跡処理を通じて,前記撮像時点ごとの前記可視画像における前記被測定物の1又は複数の観測部位の像の前記可視画像上での変位量を算出する変位量算出手順。
(1.5)演算手段により,予め設定された前記三次元形状及び前記熱画像の間の座標変換の情報と前記画像データサンプリング手順により得られた前記撮像時点ごとの前記熱画像のデータと前記三次元形状データ算出手順により得られた前記撮像時点ごとの前記三次元形状のデータと前記変位量算出手順により得られた前記撮像時点ごとの前記観測部位の像の前記可視画像上での変位量とに基づいて,前記観測部位の前記撮像時点ごとの三次元座標系での位置及び温度のデータが対応付けられた三次元熱変形データを記憶手段に記憶させる熱変形データ記録手順。
なお,前記三次元形状データ算出手順及び前記変位量算出手順は,いずれが先に実行されてもよく,並列に実行されてもよい。
本発明に係る熱変形測定方法では,前記同期信号に基づいて撮像時点が同じ複数の前記可視画像のデータの組合せが順次サンプリングされ,その可視画像のデータに基づくステレオ画像処理及びデジタル画像相関法でのパターン追跡処理により,前記被測定物の観測部位の前記撮像時点ごとの三次元座標系での位置が算出される。ここで,前記観測部位の前記撮像時点ごとの三次元座標系での位置の情報は,前記撮像時点の変遷に応じた前記被測定物の三次元の形状変化の情報である。
さらに,本発明に係る熱変形測定方法では,前記被測定物の温度分布を表す前記熱画像のデータも,前記同期信号に基づいて,前記可視画像のデータのサンプリングと同じタイミングでサンプリングされる。また,前記三次元形状と前記熱画像との座標の変換情報は,ホモグラフィと称される座標の変換行列で表され,そのホモグラフィは予め計算により求めることができる。
従って,既知の情報に基づいて,前記画像データサンプリング手順により得られた前記撮像時点ごとの前記熱画像のデータから,対応する撮像時点における前記三次元形状内の前記観測部位の位置に対応する温度データを特定できる。即ち,熱変形データ記録手順において得られる前記三次元熱変形データは,時々刻々と変化する前記被測定物における前記観測部位の温度と三次元の位置との正確な対応関係,即ち,前記被測定物の正確な熱変形特性を示すデータとなる。
また,本発明に係る熱変形測定方法において,前記同期信号生成手順は,次の(1.6)〜(1.9)に示される各手順のいずれかであることが考えられる。
(1.6)所定の操作部を通じた操作入力をトリガとして前記同期信号を時系列で発生させる手順。以下,この手順を第1の同期信号生成手順と称する。
(1.7)予定された時間が経過することをトリガとして前記同期信号を時系列で発生させる手順。以下,この手順を第2の同期信号生成手順と称する。
(1.8)前記サーモカメラから逐次得られる前記熱画像のデータが予定された温度状態に達することをトリガとして前記同期信号を時系列で発生させる手順。以下,この手順を第3の同期信号生成手順と称する。
(1.9)前記可視カメラから逐次得られる前記可視画像のデータに基づき算出される前記被測定物の形状の変化が予定された変形状態に達することをトリガとして前記同期信号を時系列で発生させる手順。以下,この手順を第4の同期信号生成手順と称する。
前記被測定物が,外部から加熱又は冷却される場合,或いは自己発熱又は自己冷却する場合のいずれにおいても,前記第1の同期信号生成手順を採用すれば,前記操作入力の操作者が,任意のタイミングで前記被測定物1の熱変形を測定できる。
一方,予め定められたタイムスケジュールに従って前記被測定物を外部から加熱又は冷却したときの前記被測定物の熱変形を測定したい場合がある。その場合,本発明に係る熱変形測定方法において,前記第2の同期信号生成手順を採用すれば,前記タイムスケジュールにおける特定の時点を経過するごとの前記被測定物の熱変形を測定できる。
また,前記被測定物の熱変形を,所定の温度変化が生じるごとに測定したい場合がある。また,前記被測定物の熱変形を,温度域ごとに異なる温度分解能で測定したい場合もある。そのような場合,本発明に係る熱変形測定方法において,前記第3の同期信号生成手順を採用すれば,必要な測定データのみを効率的に得ることができる。
また,前記被測定物の熱変形の測定において,前記被測定物に所定の形状変化が生じるごとにその熱変形のデータを測定したい場合がある。また,前記被測定物の熱変形を,形状変化の大きさに応じて異なる分解能で測定したい場合もある。そのような場合,本発明に係る熱変形測定方法において,前記第4の同期信号生成手順を採用すれば,必要な測定データのみを効率的に得ることができる。
また,本発明は,以上に示した本発明に係る熱変形測定方法を実現する熱変形測定装置として捉えることもできる。
即ち,本発明に係る熱変形測定装置は,被測定物の温度変化に応じた三次元の変形を測定する装置であり,次の(2.1)〜(2.7)に示される各構成要素を備える装置である。
(2.1)同期信号を時系列で発生させる同期信号生成手段。
(2.2)前記被測定物の熱画像を撮像するサーモカメラ。
(2.3)それぞれ異なる位置において前記被測定物の可視画像を撮像する複数の可視カメラ。
(2.4)前記同期信号に同期して,前記サーモカメラ及び複数の前記可視カメラから撮像時点が同じ前記熱画像及び複数の前記可視画像のデータの組合せをサンプリングする画像データサンプリング手段。
(2.5)前記撮像時点ごとの複数の前記可視画像のデータの組合せに基づくステレオ画像処理を通じて,前記撮像時点ごとの三次元形状のデータを算出する三次元形状データ算出手段。
(2.6)特定の前記可視カメラから得られた前記撮像時点が異なる複数の前記可視画像のデータに基づくデジタル画像相関法でのパターン追跡処理を通じて,前記撮像時点ごとの前記可視画像における前記被測定物の像の前記可視画像上での変位量を算出する変位量算出手段。
(2.7)予め設定された前記三次元形状及び前記熱画像の間の座標変換の情報と前記画像データサンプリング手段により得られた前記撮像時点ごとの前記熱画像のデータと前記三次元形状データ算出手段により得られた前記撮像時点ごとの前記三次元形状のデータと前記変位量算出手段により得られた前記撮像時点ごとの前記観測部位の像の前記可視画像上での変位量とに基づいて,前記観測部位の前記撮像時点ごとの三次元座標系での位置及び温度のデータが対応付けられた三次元熱変形データを記憶手段に記憶させる熱変形データ記録手段。
なお,本発明に係る熱変形測定装置における前記同期信号生成手段としては,前記第1の同期信号生成手順,前記第2の同期信号生成手順,前記第3の同期信号生成手順又は前記第4の同期信号生成手順のいずれかを実行するものが考えられる。
本発明に係る熱変形測定装置によっても,前述した本発明に係る熱変形測定方法と同様の作用効果が得られる。
本発明によれば,多様なパターンで温度及び形状が変化する被測定物の三次元の熱変形特性を正確に測定することが可能となる。
本発明の第1の実施形態に係る熱変形測定装置X1の概略構成図。 熱変形測定装置X1における同期信号のタイムチャートの一例。 熱変形測定装置X1による三次元熱変形測定処理の一例を表すフローチャート。 本発明の第2の実施形態に係る熱変形測定装置X2の概略構成図。 熱変形測定装置X2における同期信号のタイムチャートの一例。 本発明の第3の実施形態に係る熱変形測定装置X3の概略構成図。 熱変形測定装置X3における同期信号のタイムチャートの一例。
以下添付図面を参照しながら,本発明の実施の形態について説明し,本発明の理解に供する。尚,以下の実施の形態は,本発明を具体化した一例であって,本発明の技術的範囲を限定する性格のものではない。
本発明の実施形態に係る熱変形測定装置X1〜X3は,多様なパターンで温度及び形状が変化する電子デバイスなどの被測定物の温度変化に応じた三次元形状の変形を測定する装置である。
まず,図1を参照しつつ,本発明の第1の実施形態に係る熱変形測定装置X1の構成及び機能について説明する。
図1に示されるように,前記熱変形測定装置X1は,加熱・冷却プレート11,温度制御装置12,サーモカメラ20,2台の可視カメラ21,トリガ信号発生タイミング外部入力装置30,時間監視装置31,可視画像サンプリング装置41,可視画像ディスプレイ42,三次元形状演算装置43,熱画像サンプリング装置51,熱画像ディスプレイ52,熱変形解析用計算機61,データ入力器62,解析画像ディスプレイ63などを備えている。
前記可視画像サンプリング装置41,前記熱画像サンプリング装置51及び前記三次元形状演算装置43は,例えば,DSP(Digital Signal Processor)やパーソナルコンピュータなどの計算機などの演算手段により実現される。
前記加熱・冷却プレート11は,その上に載置された被測定物1を加熱又は冷却する装置である。前記加熱・冷却プレート11は,例えば,ヒータなどの加熱器と,ペルチェ式クーラーなどの冷却器とを備えている。
前記温度制御装置12は,予め設定された加熱量又は冷却量のタイムスケジュールに従って,前記加熱・冷却プレート11による前記被測定物1の加熱又は冷却の熱量を制御する装置である。
予め定められたタイムスケジュールに従って前記被測定物1を外部から加熱又は冷却したときの前記被測定物1の熱変形を測定したい場合,或いは周囲の温度環境を予め定められた状態に維持して前記被測定物1の熱変形を測定したい場合に,前記加熱・冷却プレート11及び前記温度制御装置12が用いられる。
前記サーモカメラ20は,前記被測定物1の熱画像を撮像する赤外線カメラである。このサーモカメラ20により得られる前記熱画像のデータは,画素ごとに温度データが設定されたデータである。即ち,前記サーモカメラ20は,前記被測定物1の温度分布を測定する温度センサである。
2台の前記可視カメラ21は,それぞれ異なる位置に配置され,それぞれ異なる方向から前記被測定物1の可視画像を撮像する通常のカメラである。この可視カメラ21により得られる前記可視画像のデータは,画素ごとに輝度データが設定された通常の画像データである。前記可視カメラ21は,例えば,CCDカメラやCMOSカメラなどである。
前記サーモカメラ20及び2台の前記可視カメラ21は,それぞれの撮像範囲において前記被測定物1における温度及び形状変化の観測部位を含むように撮像範囲が設定されている。従って,前記サーモカメラ20及び2台の前記可視カメラ21は,前記被測定物1全体がそれぞれの撮像範囲に共通して含まれるよう配置される場合の他,前記観測部位を含む前記被測定物1の一部のみがそれぞれの撮像範囲に共通して含まれるよう配置される場合もある。
なお,便宜上,2台の前記可視カメラ21の各々を区別する場合,一方を第1可視カメラ21a,他方を第2可視カメラ21bと称する。
前記時間監視装置31は,予め設定されたタイムスケジュールに従って,予定された時間が経過することをトリガとして所定の同期信号Strgを時系列で発生させる装置である。この可視画像サンプリング装置41は,前記同期信号生成手段の一例である。
図2は,前記時間監視装置31が生成する前記同期信号Strgのタイムチャートの一例である。
図2に示される例は,前記時間監視装置31が,予め設定された時間Δτが経過するごとに前記同期信号Strgを発生させる例である。なお,時間Δτは,毎回一定である場合の他,前記同期信号Strgの発生回数に応じて異なる時間が設定されることも考えられる。
なお,前記時間監視装置31には,前記トリガ信号発生タイミング外部入力装置30が接続されている。このトリガ信号発生タイミング外部入力装置30を用いて,例えば人間が,前記タイムスケジュールとは別に,或いは前記タイムスケジュールを取り消して,任意のタイミングでトリガを発生させることができる。前記トリガ信号発生タイミング外部入力装置30としては,例えば,ボタン式スイッチやキーボード等,人間が手動で前記同期信号Strgの発生タイミングを入力する装置が採用される。
前記可視画像サンプリング装置41及び前記熱画像サンプリング装置51は,前記同期信号Strgに同期して,2台の前記可視カメラ21及び1台の前記サーモカメラ20から,撮像時点が同じ2つの前記可視画像のデータ及び前記熱画像のデータの組合せをサンプリングする装置である。
即ち,前記可視画像サンプリング装置41は,時系列で発生する前記同期信号Strgに同期して,2台の前記可視カメラ21から撮像時点が同じ2種類の前記可視画像のデータをサンプリングし,そのデータを前記三次元形状演算装置43に対して出力する。例えば,前記可視画像サンプリング装置41は,2台の前記可視カメラ21から前記可視画像のデータをごく短い周期で逐次取得しつつ,前記同期信号Strgの発生時に取得した前記可視画像のデータのみを前記三次元形状演算装置43に出力する。或いは,前記可視画像サンプリング装置41は,前記同期信号Strgが発生するごとに2台の前記可視カメラ21から同時に2種類の前記可視画像のデータを取得し,そのデータを前記三次元形状演算装置43に出力する。
また,前記熱画像サンプリング装置51は,時系列で発生する前記同期信号Strgに同期して,前記サーモカメラ20から,撮像時点が2種類の前記可視画像と同じである前記熱画像のデータをサンプリングし,そのデータを前記熱変形解析用計算機61に対して出力する。この熱画像サンプリング装置51も,前記可視画像サンプリング装置41と同様にして前記熱画像のデータのサンプリングを行う。
通常は,前記可視画像のデータ及び前記熱画像のデータのサンプリングは同時に行われる。但し,前記可視カメラ21と前記サーモカメラ20との間で,撮像からデータ出力までの時間に時間差がある場合,その時間差が打ち消されるように,前記可視画像サンプリング装置41と前記熱画像サンプリング装置51との間でデータサンプリングのタイミングが予め調整される。
以上より,前記熱変形測定装置X1では,前記同期信号Strgに基づいて撮像時点が同じ複数の前記可視画像及び前記熱画像のデータの組合せが順次サンプリングされる。
前記可視画像ディスプレイ42は,前記可視画像サンプリング装置41により前記可視カメラ21から取得された前記可視画像のデータに基づく画像(前記可視画像)を表示するディスプレイである。
また,前記熱画像ディスプレイ52は,前記熱画像サンプリング装置51により前記サーモカメラ20から取得された前記熱画像のデータに基づく画像(前記熱画像)を表示するディスプレイである。
また,前記三次元形状演算装置43は,前記被測定物1の表面の1つ又は複数の観測部位の前記撮像時点ごとの三次元座標系での位置,即ち,随時変化する前記被測定物1の三次元形状を算出する装置である。その算出は,前記可視画像サンプリング装置41によりサンプリングされた2種類の前記可視画像のデータに基づいて,ステレオ画像処理及びデジタル画像相関法の画像処理を行うことにより行われる。
また,前記熱変形解析用計算機61は,前記観測部位の前記撮像時点ごとの三次元座標系での位置及び温度のデータが対応付けられた三次元熱変形データを生成し,そのデータをハードディスクドライブ等のデータ記憶装置に記録する計算機である。
前記三次元形状演算装置43及び前記熱変形解析用計算機61が実行する処理のより具体的な内容については後述する。
また,前記データ入力器62は,前記熱変形解析用計算機61に接続されたキーボードやマウスなどの操作入力部である。
また,前記解析画像ディスプレイ63は,前記熱変形解析用計算機61に入力されるデータや前記熱変形解析用計算機61の演算結果を表示するディスプレイである。
次に,図3に示されるフローチャートを参照しつつ,前記三次元形状演算装置43及び前記熱変形解析用計算機61により実行される三次元熱変形測定処理の一例について説明する。図3及び以下に示されるステップS1,S2,…は,前記三次元熱変形測定処理において実行される複数の手順(ステップ)の識別符号である。
前記三次元熱変形測定処理において,まず,前記熱変形解析用計算機61が,前記同期信号Strgの発生に応じて実行される測定の開始前に,2つの前記可視画像のデータを取得し,後述する観測部位の設定処理及び各観測部位へのマーキング処理を実行する(S1)。
即ち,ステップS1において,前記熱変形解析用計算機61が,予め定められた特定の前記可視カメラ21から得られる前記可視画像のデータについて,前記被測定物1における1つ又は複数の観測部位の設定処理及び各観測部位へのマーキング処理を実行する。ここで,前記マーキング処理は,前記可視画像データにおける前記観測部位それぞれに対応する座標のデータに対して前記観測部位の識別情報を設定する処理である。
以下の説明では,便宜上,特定の前記可視カメラ21が前記第1可視カメラ21aであるとする。また,前記第1可視カメラ21aから得られる前記可視画像を主可視画像,前記第2可視カメラ21bから得られる前記可視画像を副可視画像と称し,その前記主可視画像のデータについて,前記観測部位の設定処理及びマーキング処理が行われるものとする。 例えば,前記熱変形解析用計算機61は,前記主可視画像を前記解析用ディスプレイ63に表示させつつ,ユーザによる前記データ入力器62に対する操作入力に応じて前記観測部位の座標情報を設定する。例えば,前記熱変形解析用計算機61は,マウスなどの操作入力に従って,前記被測定物1の表面上の代表する1点又は複数の点を前記観測部位として設定する。前記主可視画像における前記被測定物1の像全体に渡る範囲に多数の前記観測部位を設定することにより,前記被測定物1全体が前記観測部位となる。
なお,前記解析用ディスプレイ63に表示させる前記主可視画像のデータは,前記可視画像サンプリング装置41及び前記三次元形状演算装置43を通じて前記熱変形解析用計算機61へ伝送される。
一方,前記三次元形状演算装置43は,前記可視画像のデータを,前記可視画像の全領域が多数に区画された小領域内のデータであるサブセットに区分して管理する。そのため,前記三次元形状演算装置43は,ステップS1において,前記主可視画像のデータにおいて,前記サブセットの自動区分処理を行う。前記サブセットの大きさ及び前記サブセット相互間のオーバーラップ量は,前記三次元形状演算装置43に予め設定しておく。例えば,前記サブセットの大きさは,X軸方向21画素×Y軸方向21画素程度とし,それらのオーバーラップ量は前記サブセットのサイズの50%程度とする。
ステップS1の処理の終了後,前記三次元形状演算装置43及び前記熱変形解析用計算機61は,前記同期信号Strgの発生に応じた以下の測定処理(S2〜S9)を実行する。
まず,前記三次元形状演算装置43及び前記熱変形解析用計算機61は,それぞれ撮像時点が同じ2つの前記可視画像及び前記熱画像のデータを取得する(S2)。このステップS2で取得される前記可視画像及び前記熱画像のデータは,最初の前記同期信号Strgの発生に応じて前記可視画像サンプリング装置41及び前記熱画像サンプリング装置51によりサンプリングされたデータである。
次に,前記三次元形状演算装置43は,ステップS2で得られた2つの前記可視画像のデータに基づくステレオ画像処理により,前記主可視画像における少なくとも前記観測部位を含む画像領域についての三次元形状のデータを算出する(S3:三次元形状データ算出手順)。
前記ステレオ画像処理による三次元形状のデータの算出方法は周知であるが,以下に,その処理手順を簡単に説明する。
前記三次元形状演算装置43は,2種類の前記可視画像から,三角測量の原理に基づいて前記被測定物1の三次元形状を求める。前記可視画像を得るための前記可視カメラ21については,それぞれ光軸の向きや焦点距離などのカメラ内部変数および2台の前記可視カメラ21a及び21b間の距離(基線距離と呼ぶ)を予め校正作業によって求めておく。このとき,前記被測定物1上の点Rに対し,それが前記第1可視カメラ21aによって撮像された前記主可視画像上の点P1と,前記第2可視カメラ21bによって撮像された前記副可視画像上の点P2とを対応付けることにより,三角測量の原理を適用して前記被測定物1上の点Rの三次元座標を求める。
前記主可視画像上の点P1と前記副可視画像上の点P2との対応付けは,前記サブセット間の輝度相関値を算出することによって行なう。すなわち,前記主可視画像上の点P1を,前記主可視画像上に配置されたサブセットWLの中央点とし,前記副可視画像上で同じ大きさのサブセットWRを移動させながら順次両者の輝度相関値を算出し,その輝度相関値が最大となる前記サブセットWRの中央点を,前記副可視画像上の対応点P2とする。
前記サブセットWLと前記サブセットWRとの間の輝度相関値は,例えば,以下に示す(1)式〜(3)式に基づいて算出される。ここで,前記サブセットWL及び前記サブセットWRはいずれも縦n画素×横m画素の範囲の方形領域であるとする。
まず,前記サブセットWLと前記サブセットWRとの間の類似度の指標となる相互相関値C1は,次の(1)式により求められる。
Figure 2010169590
(1)式において,n及びmは,前記サブセットWL及び前記サブセットWRのY軸方向及びX軸方向各々の画素数,IL(i,j)及びIR(i,j)は,前記サブセットWL及び前記サブセットWR各々における点(i,j)の輝度である。
さらに,前記相互相関値C1を両サブセットの画像の明るさの平均振幅によって正規化した正規化値C2は,次の(2)式により求められる。
Figure 2010169590
一方,次の(3)式は,前記サブセットWLと前記サブセットWRとの間の相互相関値を明るさの平均値によって正規化した正規化値C3を算出する式である。
Figure 2010169590
(3)式において,μL,μRは,前記サブセットWL及び前記サブセットWR各々の領域内の輝度の平均値である。
前記三次元形状演算装置43は,相互相関値の正規化値C2又はC3を,前記サブセットWLと前記サブセットWRとの輝度相関値として算出し,その相互相関値が最大となる前記サブセットWRの位置を求める。
前記サブセットWRの移動範囲は,予め設定された制約条件の範囲内とする。その制約条件は,エピポーラ拘束条件や視差の連続性に基づく拘束条件等の周知の条件が設定されるが,ここでは説明を省略する。
また,画素単位を下回る高精度の対応点位置算出を行なうため,前記サブセットWRをまず粗く移動させてそれぞれの位置で前記輝度相関値を求めた後,2次曲面フィッティングやニュートン・ラフソン法などのよく知られた近似計算手法により,前記輝度相関値が最大となる前記サブセットWRの位置を求める方法もある。
以上のようにして前記輝度相関値が最大となる前記サブセットWRの位置が決定されれば,その中央点を前記対応点P2として決定する。
なお、前記輝度相関値C2又はC3を精度よく求めるために,通常,前記被測定物1の表面には,予め不規則な模様,例えば,斑点模様が形成されている。
前記主可視画像上の点P1及びそれに対応する前記副可視画像上の点P2が求められれば,三角測量の原理を適用することにより,前記被測定物1上の点Rの三次元座標が求められる。これを,前記ステップS1においてマーキング処理を施された前記主可視画像上のサブセットWLの全てに対して実行すれば,前記被測定物1における1つ又は複数の前記観測部位の三次元形状が求まる。
また,前記三次元形状は,前記第1可視カメラ21aから得られる前記主可視画像との間で座標の対応関係が既知である。そこで,ステップS3において,前記三次元形状演算装置43は,前記主可視画像上の座標と前記三次元形状との関係を,前記熱変形解析用計算機61へ伝送する。
ところで,前記ステレオ画像処理による形状測定法は,3つ以上の前記可視画像を用いて前記被測定物1の三次元の形状を測定することにも応用可能である。
即ち,3つ以上の前記可視画像を用いる場合,1つの前記主可視画像と2つ以上の前記副可視画像各々との組合せごとに前述した前記サブセットの対応付けを行い,それら対応付けの結果を統合して前記三次元形状のデータを算出する。統合の方法は種々知られている。
観測部位が2台の前記可視カメラ21の一方の視野方向からの死角の領域に存在して正しい形状測定ができなくなる状況であっても,3台以上の前記可視カメラ21を用いることによって正しい形状測定が可能となる。また,2つの前記可視画像相互間の前記サブセットの対応付けに誤りが生じ得るような場合でも,2組以上の前記可視画像の組合せごとに前記サブセットの対応付けを行ってその結果を統合することにより,一部の前記可視画像の組合せについての前記サブセットの対応付けの誤りを排除又は緩和することができる。
但し,通常は,観測部位が2台の前記可視カメラ21の死角に入らないように装置を調整可能であることが多い。また,前記被測定物1の表面に不規則な模様を付して前記サブセットの対応付けに誤りが生じないようにすることも可能である。従って,通常は,前記可視カメラ21は2台で十分な場合が多い。
ところで,前記三次元形状と前記サーモカメラ20から得られる前記熱画像との間の座標の対応関係は,前記熱変形解析用計算機61により,前記主可視画像と前記熱画像との間での座標の対応関係に基づいて算出される。前記主可視画像と前記熱画像との間の座標の対応関係は,一般に,ホモグラフィと称される座標変換行列によって表すことが出来る。このホモグラフィは,事前の校正測定の結果に基づく計算によって算出することが出来る。
前記校正測定は,例えば以下のようにして行なわれる。
まず,前記サーモカメラ20および前記第1可視カメラ21aの撮像範囲に,画像処理又は視覚を通じて位置を認識できる複数の温度相違点を配置する。この温度相違点は,周囲に対して局所的に温度が異なる点であるが,周囲よりも温度が高くても低くてもよい。この温度相違点は,前記サーモカメラ20で十分視認できる程度に周囲との温度差を有する点である。また,前記温度相違点は,前記第1可視カメラでも十分視認できるように,可視光領域での輝度もしくは色が周囲と異なる点である。これらの条件を備えた前期温度相違点として,例えば,十分熱せられたニクロム線や,豆電球などが所定位置に配置される。
次に,前記サーモカメラ20及び前記第1可視カメラ21aにより,複数の前記温度相違点を撮像し,得られた前記熱画像と前記主可視画像との間で,前記温度相違点像各々の像の対応付けを行なう。この対応付けは,人の視覚を通じて人手により行なってもよいし,所定の画像処理によって自動的に行なっても良い。
その対応付けの結果から,前記ホモグラフィ行列の各要素の値を算出する。算出方法は周知であり,ここでは説明を省略する。前記ホモグラフィ行列を算出するためには,前記温度相違点の数は最低8点以上必要である。
以上のようにして得られた前記ホモグラフィ行列の情報は,予め前記熱変形解析用計算機61に設定および記憶される。
ステップS4では,前記熱変形解析用計算機61により,以下の処理が実行される。
即ち,ステップS4において,前記熱変形解析用計算機61は,ステップS1で行われたマーキング処理の結果に基づいて,前記主可視画像上での前記観測部位を特定し,前記三次元形状演算装置43から伝送されたデータに基づいて,前記観測部位の三次元形状を算出する。
次に,前記熱変形解析用計算機61は,前記ホモグラフィ行列を用いて,ステップS2で得られた前記熱画像上の各点の位置を前記主可視画像上の位置に変換したのち,前記三次元形状演算装置43から伝送されたデータに基づいて,前記三次元形状と前記熱画像で得られた温度データとを対応付ける。こうして得られた三次元形状・温度対応データを,ハードディスクドライブ等のデータ記憶装置に記録する。
以上に示したステップS1〜S4の処理がなされた後,前記三次元形状演算装置43及び前記熱変形解析用計算機61は,予め定められた終了条件の成立を判別(S9)しつつ,その終了条件が成立するまで以下に示すステップS5〜S8の処理を実行する。ステップS5〜S8の処理は,2番目以降の前記同期信号Strgが発生して前記熱画像及び前記可視画像のデータがサンプリングされるごとに実行される。
まず,前記三次元形状演算装置43及び前記熱変形解析用計算機61が,ステップS2と同様に,それぞれ新たな撮像時点における2つの前記可視画像及び前記熱画像のデータを取得する(S5)。このステップS5で取得される前記可視画像及び前記熱画像のデータは,2番目以降の前記同期信号Strgの発生に応じて順次サンプリングされるデータである。
次に,前記三次元形状演算装置43が,前記第1可視カメラ21aから得られた前回および今回の各撮像時点での前記主可視画像のデータに基づくデジタル画像相関法でのパターン追跡処理を行なうことにより,前記撮像時点ごとの前記主可視画像における前記観測部位の像の前記可視画像上での変位量を算出する(S6:変位量算出手順)。
前記デジタル画像相関法でのパターン追跡処理は周知であるが,以下に,その処理手順を簡単に説明する。
前記三次元形状演算装置43は,前回および今回の各撮像時点の前記主可視画像データ間で,前記輝度相関値が高い前記サブセット同士の対応付けを行なう。
即ち,前記三次元形状演算装置43は,前回の撮像時点で得られた前記主可視画像上の前記サブセットWL1に対し,今回の撮像時点で得られた前記主可視画像上の前記サブセットWL2を画像内で移動させながら,前記サブセットWL1と前記サブセットWL2との輝度相関値を,相互相関値C4を求める以下の(4)式に基づき算出する。ここで,前記サブセットWL1及び前記サブセットWL2は,いずれも縦n画素×横m画素の範囲の方形領域であるとする。
Figure 2010169590
(4)式において,n及びmは,前記サブセットWL1及び前記サブセットWL2のY軸方向及びX軸方向各々の画素数,IL1(i,j)及びIL2(i,j)は,前記サブセットWL1及び前記サブセットWL2各々における点(i,j)の輝度,uL1,uL2は,前記サブセットWL1及び前記サブセットWL2各々の領域内の輝度の平均値である。
前記三次元形状演算装置43は,(4)式に基づく相互相関値C4を,前記サブセットWL1と前記サブセットWL2との輝度相関値として算出し,その輝度相関値が最大となる前記サブセットWL2の位置を求める。ここで,前記ステップS3と同様に,2次曲面フィッティング法やニュートンラフソン法などの既知の近似計算手法を用いて,前記輝度相関値が最大となる前記サブセットWL2の位置を高精度で求めることも考えられる。
前記輝度相関値が最大となる前記サブセットWL2の位置が求まると,前記サブセットWL1と前記サブセットWL2との画像上の座標の差を求める。通常は,前記サブセットWL1の中央点の座標と,前記サブセットWL2の中央点の座標との差を求める。即ち,前回撮像時点から今回撮像時点までの間に前記サブセットWL1に対応する前記観測部位が変位したものとして,前記サブセットWL1と前記サブセットWL2との画像上の座標の差を画像座標上の変位量として算出する。
さらに,前記三次元形状演算装置43は,ステップS3と同様に,ステップS5で得られた今回の撮像時点の2つの前記可視画像(前記主可視画像と前記副可視画像)のデータに基づくステレオ画像処理により,前記主可視画像における少なくとも前記観測部位を含む画像領域についての三次元形状のデータを算出する(S7:三次元形状データ算出手順)。
ステップS7において,前記三次元形状演算装置43は,ステップS3と同様に,前記主可視画像上の各点の位置と,ステップS7で得られた前記三次元形状データとを対応付けて前記熱変形解析用計算機61に伝送する。また,前記三次元形状演算装置43は,ステップS6で得られた前記観測部位の像の前記可視画像上での変位量も併せて,前記熱変形解析用計算機61に伝送する。
次に,前記熱変形解析用計算機61が,ステップS4と同様に,前記観測部位を含む画像領域について,ステップS1で得られた前記マーキング処理の結果に基づいて,前記三次元形状演算装置43から伝送された前記主可視画像データから前記観測部位を抽出し,それに対応する前記三次元形状を抽出する。
次に,前記熱変形解析用計算機61は,前記三次元形状演算装置43から伝送されたもうひとつの情報である,前記観測部位の像の前記可視画像上での変位量から,前記観測部位の三次元変位量を求める。
さらに,前記熱変形解析用計算機61は,ステップS5で得られた前記熱画像上の各点の温度データを,前記ホモグラフィ行列を用いて前記主可視画像上の位置での温度データに変換し,さらにその温度データを前記三次元形状データと対応させる。これらの一連のデータ,即ち,前記観測部位の前記三次元形状データ,前記三次元変位量及び前記温度データは,前記熱変形解析用計算機61により,三次元的位置の対応付けがなされた形状・変位・温度対応データとしてハードディスクドライブ等のデータ記憶装置に記録される(S8:熱変形データ記録手順)。
以上のようにして,前記三次元形状演算装置43及び前記熱変形解析用計算機61は,前記終了条件が成立するまで,新たな前記熱画像及び前記可視画像のデータがサンプリングされるごとに,その新たなサンプリングデータについて前記ステップS5〜S8の処理を繰り返す。
前記終了条件は,例えば,予め定められたタイムアップ時間以上,新たにサンプリングされた前記熱画像及び前記可視画像のデータが得られないことや,ステップS5〜S8の処理が,予め設定された回数だけ繰り返されたことなどが考えられる。
ここで,演算手段の一例である前記熱変形解析用計算機61によるステップS8の手順を熱変形データ記録手順と称し,その際に前記データ記憶装置に記録されるデータを三次元熱変形データと称する。
前記熱変形データ記録手順は,予め設定された前記ホモグラフィと,ステップS5でサンプリングされた前記撮像時点ごとの前記熱画像のデータと,ステップS7で算出された前記撮像時点ごとの前記三次元形状のデータと,ステップS6で算出された前記撮像時点ごとの前記観測部位の像の前記可視画像上での変位量とに基づいて,前記三次元熱変形データを前記データ記憶装置に記憶させる手順である。また,前記三次元熱変形データは,前記観測部位の前記撮像時点ごとの三次元座標系での位置,変位量及び温度のデータが対応付けられたデータである。
なお,前述したように,前記ホモグラフィは,前記三次元形状及び前記熱画像の間の座標変換の情報の一例である。
以上に示したように,前記熱変形測定装置X1は,前記同期信号Strgに基づいて撮像時点が同じで視野方向の異なる2つの前記可視画像のデータの組合せを順次サンプリングする(S2,S5)。さらに,前記熱変形測定装置X1は,その可視画像のデータに基づくステレオ画像処理(S3,S7)及びデジタル画像相関法でのパターン追跡処理(S6)により,前記撮像時点ごとの,前記主可視画像上の各点の位置と前記三次元座標が対応付けられたデータ,及び前記観測部位の像の前記主可視画像上の変位量のデータを算出する。両データは,前記撮像時点の変遷に応じた前記被測定物1の三次元の形状変化の情報である。
さらに,前記熱変形測定装置X1は,前記被測定物1の温度分布を表す前記熱画像のデータも,前記同期信号Strgに基づいて,前記可視画像のデータのサンプリングと同じタイミングでサンプリングされる(S2,S5)。また,前記三次元形状と前記熱画像との座標の対応関係は,前記ホモグラフィを用いた計算により求めることができる。
そして,前記熱変形測定装置X1は,既知の情報に基づいて,前記撮像時点ごとの前記熱画像のデータから,対応する撮像時点における前記三次元形状内の前記観測部位の位置に対応する温度データを特定する(S4,S8)。さらに加えて,前記観測部位の三次元変位量も対応付けられる(S8)。即ち,ステップS4及びS8の処理によって記録される前記三次元熱変形データは,時々刻々と変化する前記被測定物1における前記観測部位の温度と三次元の位置及び変位量との正確な対応関係,即ち,前記被測定物1の正確な熱変形特性を示すデータとなる。
また,前記熱変形解析用計算機61は,前記三次元熱変形データに基づいて,前記被測定物1に関する各種の熱変形解析の機能を備える。
例えば,前記熱変形解析用計算機61は,前記三次元熱変形データに基づいて,前記撮像時点の経過に応じた前記被測定物1の三次元形状や断面形状の変化の様子を前記解析画像ディスプレイ63にアニメーション表示させる機能を備える。その際,前記熱変形解析用計算機61は,前記アニメーション表示において,前記観測部位に相当する部分にその温度に応じた着色を行う。前記アニメーション表示の画面は,前記被測定物1の温度と三次元変形との関係を一見して把握できる画面となる。
また,前記熱変形解析用計算機61は,前記三次元熱変形データにおける前記観測部位の温度と元の形状からの変位量との関係から,前記観測部位ごとの線膨張係数を算出する機能も備える。
以上に示した熱変形解析の機能は,多様なパターンで温度及び形状が変化する電子デバイスなどの製品の設計を効率化する効果を有する。
次に,図4及び図5を参照しつつ,本発明の第2実施形態に係る熱変形測定装置X2について説明する。前記熱変形測定装置X2は,前記熱変形測定装置X1の応用例であり,前記同期信号Strgの発生のさせ方が異なる以外は,前記熱変形測定装置X1と同じ構成及び機能を備えている。以下,前記熱変形測定装置X2について,前記熱変形測定装置X1と異なる部分のみについて説明する。なお,図4において,図1に示された構成要素と同じ構成要素については,図1において付された符号と同じ符号が付されている。
図4に示されるように,前記熱変形測定装置X2は,前記同期信号Strgを発生させる装置として,前記熱変形測定装置X1における前記時間監視装置31の代わりに温度監視装置32を備えている。
前記温度監視装置32は,前記サーモカメラ20から逐次得られる前記熱画像のデータの一部又は全部を,前記熱画像サンプリング装置51を介して十分に短い周期で逐次取得する。さらに,前記温度監視装置32は,短周期で得られる前記熱画像のデータが予定された温度状態に達することをトリガとして,前記同期信号Strgを時系列で発生させる。
図5は,前記温度監視装置32が生成する前記同期信号Strgのタイムチャートの一例である。
図5に示される例は,前記温度監視装置32により,前記熱画像のデータに基づく所定の代表温度Txが,予め設定された温度変化幅ΔTだけ変化した状態に至るごとに前記同期信号Strgを発生させる例である。
なお,前記温度変化幅ΔTは,毎回一定である場合の他,前記同期信号Strgの発生回数に応じて異なる値が設定されることも考えられる。また,前記代表温度Txが,予め設定された複数の絶対温度のいずれかに至るごとに前記同期信号Strgを発生させることも考えられる。
前記被測定物1の熱変形を,所定の温度変化が生じるごとに測定したい場合がある。また,前記被測定物1の熱変形を,温度域ごとに異なる温度分解能で測定したい場合もある。前記熱変形測定装置X2は,そのような場合に利用されれば,必要な測定データのみを効率的に得ることができる。
次に,図6及び図7を参照しつつ,本発明の第3実施形態に係る熱変形測定装置X3について説明する。前記熱変形測定装置X3は,前記熱変形測定装置X1の応用例であり,前記同期信号Strgの発生のさせ方が異なる以外は,前記熱変形測定装置X1と同じ構成及び機能を備えている。以下,前記熱変形測定装置X3について,前記熱変形測定装置X1と異なる部分のみについて説明する。なお,図6において,図1に示された構成要素と同じ構成要素については,図1において付された符号と同じ符号が付されている。
図6に示されるように,前記熱変形測定装置X3は,前記同期信号Strgを発生させる装置として,前記熱変形測定装置X1における前記時間監視装置31の代わりに変形監視装置33を備えている。
前記変形監視装置33は,前記熱変形解析用計算機61から逐次得られる前記観測部位の前記三次元変形量の一部又は全部を,十分に短い周期で逐次取得する。さらに,前記変形監視装置33は,短周期で得られる前記三次元変形量のデータに基づき所定の変形量を逐次算出し,その変形量が予定された変形状態に達することをトリガとして前記同期信号Strgを時系列で発生させる。
図7は,前記変形監視装置33が生成する前記同期信号Strgのタイムチャートの一例である。
図7に示される例は,前記熱変形解析用計算機61により得られる前記三次元変位量のデータに基づき逐次算出される前記変形量αが,予め設定された変形量変化幅Δαだけ変化した状態に至るごとに前記同期信号Strgを発生させる例である。
前記変形監視装置33は,例えば,予め設定された1つの前記観測部位の三次元方向の位置の変化幅を前記変形量αとして算出する。その場合、前記変形監視装置33は,前記熱変形解析用計算機61から得られた前記観測部位の前記三次元変位量のうち,特定の1つの部位のデータだけを取り出して,前記変形量αとして算出する。
また,前記変形監視装置33が,予め設定された複数の前記観測部位の三次元方向の位置の変化幅の平均値や最大値等を前記変位量αとして算出することも考えられる。
さらには,前記変形監視装置33が,予め設定された1つの前記観測部位の像の前記主可視画像上の変位量,或いは予め設定された複数の前記観測部位の像の前記主可視画像上の変位量の平均値や最大値等を前記変形量αとして算出することも考えられる。
なお,前記変形量変化幅Δαは,毎回一定である場合の他,前記同期信号Strgの発生回数に応じて異なる値が設定されることも考えられる。また,前記変形量αが,予め設定された複数の絶対値のいずれかに至るごとに前記同期信号Strgを発生させることも考えられる。
前記被測定物1の熱変形の測定において,前記被測定物1に所定の形状変化が生じるごとにその熱変形のデータを測定したい場合がある。また,前記被測定物1の熱変形を,形状変化の大きさに応じて異なる分解能で測定したい場合もある。前記熱変形測定装置X3は,そのような場合に利用されれば,必要な測定データのみを効率的に得ることができる。
また,前記被測定物1の熱変形の測定において,オペレータが前記被測定物1の温度や形状変化の状況を監視しながら任意のタイミングで熱変形のデータを測定したい場合もある。
そのような場合,例えば,前記熱変形測定装置X1において,前記時間監視装置31の代わりに,前記熱変形解析用計算機61が,前記データ入力器62に対する所定の信号発生のための操作入力に応じて,前記同期信号Strgを発生させることも考えられる。前記操作入力は,例えば,マウスボタンのクリック操作やキーボードにおける所定の操作キーの押下操作などである。
以上に示した各実施形態における各構成要素による機能分担はあくまで一例であり,他の実施形態も種々考えられる。
例えば,前記可視画像サンプリング装置41の機能が前記三次元形状演算装置43に組み込まれることや,前記時間監視装置31の機能が前記三次元形状演算装置43又は前記熱解析用計算機61に組み込まれること等が考えられる。
また,前記温度監視装置32の機能が前記熱画像サンプリング装置51に組み込まれることや,前記可視画像サンプリング装置41及び前記変形監視装置33の機能が前記三次元形状演算装置43に組み込まれることも考えられる。
また,前記可視カメラ21が3台以上設けられることや,前記サーモカメラ20及び複数の前記可視カメラ21が図1に示される状態とは異なる位置関係で配置されることも考えられる。
本発明は,被測定物の温度変化に応じた三次元の形状変化を測定する方法及び装置に利用可能である。
X1,X2,X3:熱変形測定装置
1 :被測定物
11 :加熱・冷却プレート
12 :温度制御装置
20 :サーモカメラ
21 :可視カメラ
30 :トリガ信号発生タイミング外部入力装置
31 :時間監視装置
32 :温度監視装置
33 :変形監視装置
41 :可視画像サンプリング装置
42 :可視画像ディスプレイ
43 :三次元形状演算装置
51 :熱画像サンプリング装置
52 :熱画像ディスプレイ
61 :熱変形解析用計算機
62 :データ入力器
63 :解析画像ディスプレイ
S1,S2,…:処理手順(ステップ)

Claims (7)

  1. 被測定物の温度変化に応じた三次元の変形を測定する熱変形測定方法であって,
    信号生成手段により同期信号を時系列で発生させる同期信号生成手順と,
    前記同期信号に同期して,前記被測定物の熱画像を撮像するサーモカメラ及びそれぞれ異なる位置において前記被測定物の可視画像を撮像する複数の可視カメラから,撮像時点が同じ前記熱画像及び複数の前記可視画像のデータの組合せをサンプリングする画像データサンプリング手順と,
    演算手段により,前記撮像時点ごとの複数の前記可視画像のデータの組合せに基づくステレオ画像処理を通じて,前記撮像時点ごとの三次元形状のデータを算出する三次元形状データ算出手順と,
    演算手段により,特定の前記可視カメラから得られた前記撮像時点が異なる複数の前記可視画像のデータに基づくデジタル画像相関法でのパターン追跡処理を通じて,前記撮像時点ごとの前記可視画像における前記被測定物の1又は複数の観測部位の像の前記可視画像上での変位量を算出する変位量算出手順と,
    演算手段により,予め設定された前記三次元形状及び前記熱画像の間の座標変換の情報と前記画像データサンプリング手順により得られた前記撮像時点ごとの前記熱画像のデータと前記三次元形状データ算出手順により得られた前記撮像時点ごとの前記三次元形状のデータと前記変位量算出手順により得られた前記撮像時点ごとの前記観測部位の像の前記可視画像上での変位量とに基づいて,前記観測部位の前記撮像時点ごとの三次元座標系での位置及び温度のデータが対応付けられた三次元熱変形データを記憶手段に記憶させる熱変形データ記録手順と,
    を有してなることを特徴とする熱変形測定方法。
  2. 前記同期信号生成手順が,所定の操作部を通じた操作入力をトリガとして前記同期信号を時系列で発生させる手順である請求項1に記載の熱変形測定方法。
  3. 前記同期信号生成手順が,予定された時間が経過することをトリガとして前記同期信号を時系列で発生させる手順である請求項1に記載の熱変形測定方法。
  4. 前記同期信号生成手順が,前記サーモカメラから逐次得られる前記熱画像のデータが予定された温度状態に達することをトリガとして前記同期信号を時系列で発生させる手順である請求項1に記載の熱変形測定方法。
  5. 前記同期信号生成手順が,前記可視カメラから逐次得られる前記可視画像のデータに基づき算出される前記被測定物の形状の変化が予定された変形状態に達することをトリガとして前記同期信号を時系列で発生させる手順である請求項1に記載の熱変形測定方法。
  6. 被測定物の温度変化に応じた三次元の変形を測定する熱変形測定装置であって,
    同期信号を時系列で発生させる同期信号生成手段と,
    前記被測定物の熱画像を撮像するサーモカメラと,
    それぞれ異なる位置において前記被測定物の可視画像を撮像する複数の可視カメラと,
    前記同期信号に同期して,前記サーモカメラ及び複数の前記可視カメラから撮像時点が同じ前記熱画像及び複数の前記可視画像のデータの組合せをサンプリングする画像データサンプリング手段と,
    前記撮像時点ごとの複数の前記可視画像のデータの組合せに基づくステレオ画像処理を通じて,前記撮像時点ごとの三次元形状のデータを算出する三次元形状データ算出手段と,
    特定の前記可視カメラから得られた前記撮像時点が異なる複数の前記可視画像のデータに基づくデジタル画像相関法でのパターン追跡処理を通じて,前記撮像時点ごとの前記可視画像における前記被測定物の像の前記可視画像上での変位量を算出する変位量算出手段と,
    予め設定された前記三次元形状及び前記熱画像の間の座標変換の情報と前記画像データサンプリング手段により得られた前記撮像時点ごとの前記熱画像のデータと前記三次元形状データ算出手段により得られた前記撮像時点ごとの前記三次元形状のデータと前記変位量算出手段により得られた前記撮像時点ごとの前記観測部位の像の前記可視画像上での変位量とに基づいて,前記観測部位の前記撮像時点ごとの三次元座標系での位置及び温度のデータが対応付けられた三次元熱変形データを記憶手段に記憶させる熱変形データ記録手段と,
    を具備してなることを特徴とする熱変形測定装置。
  7. 前記同期信号生成手段が,所定の操作部を通じた操作入力をトリガとして前記同期信号を時系列で発生させる手段,予定された時間が経過することをトリガとして前記同期信号を時系列で発生させる手段,前記サーモカメラから逐次得られる前記熱画像のデータが予定された温度状態に達することをトリガとして前記同期信号を時系列で発生させる手段及び前記可視カメラから逐次得られる前記可視画像のデータに基づき算出される前記被測定物の形状の変化が予定された変形状態に達することをトリガとして前記同期信号を時系列で発生させる手段のうちのいずれかである請求項6に記載の熱変形測定装置。
JP2009013562A 2009-01-23 2009-01-23 熱変形測定方法及び装置 Withdrawn JP2010169590A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009013562A JP2010169590A (ja) 2009-01-23 2009-01-23 熱変形測定方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009013562A JP2010169590A (ja) 2009-01-23 2009-01-23 熱変形測定方法及び装置

Publications (1)

Publication Number Publication Date
JP2010169590A true JP2010169590A (ja) 2010-08-05

Family

ID=42701872

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009013562A Withdrawn JP2010169590A (ja) 2009-01-23 2009-01-23 熱変形測定方法及び装置

Country Status (1)

Country Link
JP (1) JP2010169590A (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013083605A (ja) * 2011-10-12 2013-05-09 Kurosaki Harima Corp 変位計測装置、変位計測方法及びプログラム
JP2013092448A (ja) * 2011-10-26 2013-05-16 Toyota Motor Corp 歪測定装置、線膨張係数測定方法、及び、サーモビュアの補正係数測定方法
CN103278102A (zh) * 2013-05-07 2013-09-04 江苏苏威尔科技有限公司 一种物体立体形变的激光测量***及其测量方法
CN103575227A (zh) * 2013-09-23 2014-02-12 西安新拓三维光测科技有限公司 一种基于数字散斑的视觉引伸计实现方法
CN103673912A (zh) * 2013-12-07 2014-03-26 中国民航大学 一种散斑相关方法变形测量图像矫正***
CN103743621A (zh) * 2014-01-03 2014-04-23 东南大学 一种基于图像配准的异位数字体积相关方法
CN105509651A (zh) * 2016-01-11 2016-04-20 石家庄铁道大学 齿轮啮合面三维微应变场的数字图像测量装置及测量方法
CN105806245A (zh) * 2016-05-16 2016-07-27 总装备部工程设计研究总院 建筑物变形的三维摄影监测方法
WO2016207442A1 (de) * 2015-06-26 2016-12-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und vorrichtung zum berührungslosen vermessen einer objektoberfläche
CN106969743A (zh) * 2017-04-17 2017-07-21 南京工程学院 螺母焊接变形量红外检测及消纳方法
CN107167089A (zh) * 2017-06-21 2017-09-15 苏州卡睿知光电科技有限公司 高温环境下物体变形的测量方法、装置及***
CN107548449A (zh) * 2015-04-21 2018-01-05 卡尔蔡司工业测量技术有限公司 用于确定被测对象的实际尺寸特征的方法和装置
JP2020041807A (ja) * 2018-09-06 2020-03-19 エスペック株式会社 環境試験装置
KR20200058162A (ko) * 2018-11-19 2020-05-27 한국항공우주연구원 복합재의 열팽창계수 측정 장치 및 방법
JP2021501311A (ja) * 2017-10-06 2021-01-14 オサケユキチュア マップヴィジョン リミテッド 熱測定を伴う測定システム
CN113815898A (zh) * 2021-11-24 2021-12-21 中国飞机强度研究所 一种极寒气候试验中飞机机体异常变形温度确定方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013083605A (ja) * 2011-10-12 2013-05-09 Kurosaki Harima Corp 変位計測装置、変位計測方法及びプログラム
JP2013092448A (ja) * 2011-10-26 2013-05-16 Toyota Motor Corp 歪測定装置、線膨張係数測定方法、及び、サーモビュアの補正係数測定方法
CN103278102A (zh) * 2013-05-07 2013-09-04 江苏苏威尔科技有限公司 一种物体立体形变的激光测量***及其测量方法
CN103575227A (zh) * 2013-09-23 2014-02-12 西安新拓三维光测科技有限公司 一种基于数字散斑的视觉引伸计实现方法
CN103575227B (zh) * 2013-09-23 2016-07-06 西安新拓三维光测科技有限公司 一种基于数字散斑的视觉引伸计实现方法
CN103673912A (zh) * 2013-12-07 2014-03-26 中国民航大学 一种散斑相关方法变形测量图像矫正***
CN103743621A (zh) * 2014-01-03 2014-04-23 东南大学 一种基于图像配准的异位数字体积相关方法
CN107548449A (zh) * 2015-04-21 2018-01-05 卡尔蔡司工业测量技术有限公司 用于确定被测对象的实际尺寸特征的方法和装置
CN107548449B (zh) * 2015-04-21 2019-11-12 卡尔蔡司工业测量技术有限公司 用于确定被测对象的实际尺寸特征的方法和装置
WO2016207442A1 (de) * 2015-06-26 2016-12-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und vorrichtung zum berührungslosen vermessen einer objektoberfläche
CN105509651A (zh) * 2016-01-11 2016-04-20 石家庄铁道大学 齿轮啮合面三维微应变场的数字图像测量装置及测量方法
CN105806245A (zh) * 2016-05-16 2016-07-27 总装备部工程设计研究总院 建筑物变形的三维摄影监测方法
CN106969743A (zh) * 2017-04-17 2017-07-21 南京工程学院 螺母焊接变形量红外检测及消纳方法
CN107167089A (zh) * 2017-06-21 2017-09-15 苏州卡睿知光电科技有限公司 高温环境下物体变形的测量方法、装置及***
JP2021501311A (ja) * 2017-10-06 2021-01-14 オサケユキチュア マップヴィジョン リミテッド 熱測定を伴う測定システム
JP7181927B2 (ja) 2017-10-06 2022-12-01 オサケユキチュア マップヴィジョン リミテッド 熱測定を伴う測定システム
JP2020041807A (ja) * 2018-09-06 2020-03-19 エスペック株式会社 環境試験装置
JP7166849B2 (ja) 2018-09-06 2022-11-08 エスペック株式会社 環境試験装置
KR20200058162A (ko) * 2018-11-19 2020-05-27 한국항공우주연구원 복합재의 열팽창계수 측정 장치 및 방법
KR102128895B1 (ko) 2018-11-19 2020-07-01 한국항공우주연구원 복합재의 열팽창계수 측정 장치 및 방법
CN113815898A (zh) * 2021-11-24 2021-12-21 中国飞机强度研究所 一种极寒气候试验中飞机机体异常变形温度确定方法
CN113815898B (zh) * 2021-11-24 2022-02-08 中国飞机强度研究所 一种极寒气候试验中飞机机体异常变形温度确定方法

Similar Documents

Publication Publication Date Title
JP2010169590A (ja) 熱変形測定方法及び装置
US10116885B2 (en) Systems and approaches for repeated thermal imaging determinations
EP2608531A2 (en) Thermal imaging camera for infrared rephotography
US8823803B2 (en) Apparatus and method to calculate energy dissipated from an object
US9176990B2 (en) Visual image annotation, tagging of infrared images, and infrared image linking
CN107534734B (zh) 具有热成像能力的湿度测量装置及相关方法
CN205157051U (zh) 红外传感器组件
JP5097765B2 (ja) 計測方法および計測プログラムならびに計測装置
CN204649311U (zh) 测量装置
US20120320189A1 (en) Thermal imager that analyzes temperature measurement calculation accuracy
US20100058222A1 (en) Graphical user interfaces and methods for thermography
EP1811771A1 (en) Camera with visible light and infrared image blending
US9196026B2 (en) Thermal imager with large dynamic range and improved signal-to-noise ratio
CN107233082B (zh) 红外热成像检测***
CN105547342B (zh) 基于液晶面板的工业镜头测试装置及方法
JP5522630B2 (ja) 三次元化装置
JP2015049200A (ja) 計測装置、方法及びプログラム
JP2018066712A (ja) 計測装置
Cho et al. 3D thermal modeling for existing buildings using hybrid LIDAR system
CN113834571A (zh) 一种目标测温方法、装置及测温***
Borrmann et al. Spatial projection of thermal data for visual inspection
KR102220654B1 (ko) 측정온도 보정시스템
JP2019032600A (ja) 三次元画像生成装置、三次元画像生成方法、および三次元画像生成プログラム
Acampora et al. 3D reconstruction of thermal images
CN112268619A (zh) 辐射率控制装置和辐射率控制方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20120403