以下、本発明の実施の形態に係る三次元形状測定装置について図面を参照しながら説明する。
[1]三次元形状測定装置の構成
図1は、本発明の一実施の形態に係る三次元形状測定装置の構成を示すブロック図である。図2は、図1の三次元形状測定装置500の測定部の構成を示す模式図である。以下、本実施の形態に係る三次元形状測定装置500について、図1および図2を参照しながら説明する。図1に示すように、三次元形状測定装置500は、測定部100、PC(パーソナルコンピュータ)200、制御部300および表示部400を備える。測定部100は、例えば投受光一体の撮像デバイスであり、投光部110、受光部120、照明光出力部130、ステージ140および制御基板150を含む。
測定部100は、複数の投光部110を含んでもよい。また、測定部100は複数の受光部120を含んでもよい。本実施の形態では、測定部100は2つの投光部110および2つの受光部120を含む。以下、2つの投光部110を区別する場合は、一方の投光部110を投光部110Aと呼び、他方の投光部110を投光部110Bと呼ぶ。また、2つの受光部120を区別する場合は、一方の受光部120を受光部120Aと呼び、他方の受光部120を受光部120Bと呼ぶ。
図2では、2つの投光部110および2つの受光部120のうち、2つの投光部110および1つの受光部120が示される。投光部110および受光部120は、ステージ140の斜め上方の位置で一方向に並ぶように配置される。投光部110および受光部120の配置の詳細については後述する。図2に示すように、各投光部110は、測定光源111、パターン生成部112および複数のレンズ113,114を含む。受光部120は、カメラ121およびレンズ122を含む。ステージ140上には、測定対象物Sが載置される。
各投光部110A,110Bの測定光源111は、例えば青色LED(発光ダイオード)である。測定光源111は、ハロゲンランプ等の他の光源であってもよい。測定光源111から出射された光(以下、測定光と呼ぶ。)は、レンズ113により適切に集光された後、パターン生成部112に入射する。
パターン生成部112は、例えばDMD(デジタルマイクロミラーデバイス)である。パターン生成部112は、LCD(液晶ディスプレイ)、LCOS(Liquid Crystal on Silicon:反射型液晶素子)またはマスクであってもよい。パターン生成部112に入射した測定光は、予め設定されたパターンおよび予め設定された強度(明るさ)に変換されて出射される。パターン生成部112から出射された測定光は、レンズ114により測定対象物Sの寸法よりも大きい径を有する光に変換された後、ステージ140上の測定対象物Sに照射される。
投光部110Aの測定光源111、レンズ113およびパターン生成部112は、受光部120の光軸と略平行に並ぶように配置される。同様に、投光部110Bの測定光源111、レンズ113およびパターン生成部112は、受光部120の光軸と略平行に並ぶように配置される。一方、各投光部110A,110Bのレンズ114は、測定光源111、レンズ113およびパターン生成部112に対してオフセットするように配置される。これにより、投光部110A,110Bの光軸が受光部120の光軸に対して傾斜し、受光部120の両側方からそれぞれ測定対象物Sに向けて測定光が出射される。
測定対象物Sによりステージ140の上方に反射された測定光は、受光部120のレンズ122により集光および結像され、カメラ121の撮像素子121aにより受光される。
受光部120の撮像視野を広くするため、一定の画角を有するように受光部120が構成される。本実施の形態においては、受光部120の撮像視野とは、受光部120により撮像が可能な空間上の領域を意味する。受光部120の画角は、例えば、撮像素子121aの寸法およびレンズ122の焦点距離により定まる。広い視野を必要としない場合には、テレセントリック光学系が受光部120に用いられてもよい。ここで、測定部100に設けられる2つの受光部120のレンズ122の倍率は互いに異なる。それにより、2つの受光部120を選択的に用いることにより、測定対象物Sを互いに異なる2種類の倍率で撮像することができる。2つの受光部120は、2つの受光部120の光軸が互いに平行となるように配置されることが好ましい。
カメラ121は、例えばCCD(電荷結合素子)カメラである。撮像素子121aは、例えばモノクロCCD(電荷結合素子)である。撮像素子121aは、CMOS(相補性金属酸化膜半導体)イメージセンサ等の他の撮像素子であってもよい。撮像素子121aの各画素からは、受光量に対応するアナログの電気信号(以下、受光信号と呼ぶ。)が制御基板150に出力される。
照明光出力部130は、測定対象物Sに赤色波長の光、緑色波長の光および青色波長の光を時分割で出射する。この構成によれば、モノクロCCDを用いた受光部120により測定対象物Sのカラー画像を撮像することができる。
なお、カラーCCDが十分な分解能および感度を有する場合には、撮像素子121aは、カラーCCDであってもよい。この場合、照明光出力部130は、測定対象物Sに赤色波長の光、緑色波長の光および青色波長の光を時分割で照射する必要はなく、白色光を測定対象物Sに照射する。そのため、照明光源320の構成を単純にすることができる。
制御基板150には、図示しないA/D変換器(アナログ/デジタル変換器)およびFIFO(First In First Out)メモリが実装される。カメラ121から出力される受光信号は、制御部300による制御に基づいて、制御基板150のA/D変換器により一定のサンプリング周期でサンプリングされるとともにデジタル信号に変換される。A/D変換器から出力されるデジタル信号は、FIFOメモリに順次蓄積される。FIFOメモリに蓄積されたデジタル信号は画素データとして順次PC200に転送される。ここで、カメラ121が、例えば、モノクロCMOSカメラであって、撮像素子121aの各画素から受光量に対応するデジタルの電気信号が制御基板150へ出力される場合、A/D変換器は必ずしも必要ではない。
図1に示すように、PC200は、CPU(中央演算処理装置)210、ROM(リードオンリメモリ)220、作業用メモリ230、記憶装置240および操作部250を含む。操作部250は、キーボードおよびポインティングデバイスを含む。ポインティングデバイスとしては、マウスまたはジョイスティック等が用いられる。
ROM220には、システムプログラムが記憶される。作業用メモリ230は、RAM(ランダムアクセスメモリ)からなり、種々のデータの処理のために用いられる。記憶装置240は、ハードディスク等からなる。記憶装置240には、三次元形状測定プログラムが記憶される。三次元形状測定プログラムには、後述する形状測定プログラムおよび表示態様設定プログラムが含まれる。また、記憶装置240は、制御基板150から与えられる画素データ等の種々のデータを保存するために用いられる。
CPU210は、制御基板150から与えられる画素データに基づいて画像データを生成する。また、CPU210は、生成した画像データに作業用メモリ230を用いて各種処理を行うとともに、画像データに基づく画像を表示部400に表示させる。さらに、CPU210は、後述するステージ駆動部146に制御基板150を通して駆動信号を与える。表示部400は、例えばLCDパネルまたは有機EL(エレクトロルミネッセンス)パネルにより構成される。表示部400には、例えば受光部120のカメラ121によりリアルタイムで取得される画像データに基づく画像(以下、ライブ画像と呼ぶ。)が表示される。
図2に示すように、ステージ140は、ステージベース141およびステージプレート142を含む。ステージベース141上にステージプレート142が配置される。ステージプレート142は、測定対象物Sが載置される載置面を有する。ステージプレート142には、クランプまたは治具等を取り付けるための取付部(例えばねじ孔)が設けられてもよい。本実施の形態に係るステージプレート142は円板形状を有する。
ステージプレート142上の空間には、略円柱状の有効領域MRが設定される。有効領域MRは、投光部110A,110Bにより測定光を照射可能でかつ受光部120により撮像可能な領域である。受光部120の撮像視野は、その受光部120が有するレンズ122の倍率、焦点深度および画角等により定まる。
ステージ140は回転機構143に取り付けられる。回転機構143は、後述する設置部161(図4)に固定されている。また、回転機構143は、例えばエンコーダおよびステッピングモータを含む。また、回転機構143は、図1のステージ操作部145またはステージ駆動部146により駆動され、ステージ140をその中心を通るとともに鉛直方向に延びる回転軸Axの周りで回転させる。使用者は、ステージ操作部145を手動で操作することにより、ステージ140を回転させることができる。また、ステージ駆動部146は、PC200より制御基板150を通して与えられる駆動信号に基づいて、回転機構143に電流を供給することにより、ステージプレート142の載置面を受光部120に相対的に回転させることができる。
ステージ140の回転時には、回転機構143のエンコーダから出力される信号が、制御基板150を通してPC200に送られる。それにより、図1のCPU210は、予め定められた基準角度からのステージプレート142の回転量(回転位置)を検出する。
制御部300は、制御基板310および照明光源320を含む。制御基板310には、図示しないCPUが実装される。制御基板310のCPUは、PC200のCPU210からの指令に基づいて、投光部110、受光部120および制御基板150を制御する。制御基板310および照明光源320は、測定部100に搭載されてもよい。
照明光源320は、例えば赤色光、緑色光および青色光を出射する3つのLEDを含む。各LEDから出射される光の輝度を制御することにより、照明光源320から任意の色の光を発生することができる。照明光源320から発生される光(以下、照明光と呼ぶ。)は、導光部材(ライトガイド)330を通して測定部100の照明光出力部130から出力される。なお、制御部300に照明光源320を設けずに、測定部100に照明光源320を設けてもよい。この場合、導光部材330は必要ない。
ここで、測定部100においては、複数の投光部110、複数の受光部120、照明光出力部130およびステージ140の位置関係が一定に固定されるように、これらの構成要素が連結される。
図3は、測定部100の模式的な外観斜視図である。図3では、測定部100の外観が太い実線で示されるとともに、測定部100の内部に設けられる一部の構成要素が点線で示される。図3に示すように、測定部100は台座170を含む。台座170には、2つの投光部110、2つの受光部120、照明光出力部130および制御基板150が取り付けられる。この状態で、2つの投光部110、2つの受光部120、照明光出力部130の位置関係が台座170により固定される。2つの受光部120は上下に並ぶように配置されている。また、照明光出力部130は、楕円筒形状を有し、2つの受光部120を取り囲むように配置されている。照明光出力部130の一端部には、楕円形状を有する照明光の出射口131が形成されている。さらに、2つの投光部110は、2つの受光部120および照明光出力部130を挟んで並ぶように配置される。
台座170には、さらに2つの投光部110、2つの受光部120、照明光出力部130および制御基板150の一部を収容するヘッドケーシング180が取り付けられる。2つの投光部110、2つの受光部120、照明光出力部130、制御基板150、台座170およびヘッドケーシング180によりヘッド部190が構成される。
測定部100は、さらに設置部161およびスタンド部162を含む。設置部161は、平坦な底面を有するとともに略一定幅で一方向に延びるように形成されている。設置部161は、テーブルの上面等の水平な設置面上に設置される。
スタンド部162は、設置部161の一端部に接続され、設置部161の一端部から上方に延びるように形成される。設置部161の他端部近傍の位置に図2の回転機構143が固定されている。回転機構143によりステージ140が回転可能に保持される。
台座170は、スタンド部162の上端に着脱可能に構成されている。スタンド部162にヘッド部190の台座170が取り付けられることにより、ヘッド部190と設置部161とがスタンド部162により固定的に連結される。これにより、ステージ140、2つの投光部110および2つの受光部120の位置関係が一定に保持される。
各投光部110は、測定光の照射される照射領域がステージ140およびその上方の空間を含むように位置決めされる。測定光は、各投光部110から測定対象物Sに対して斜め下方に導かれる。さらに、各受光部120は、光軸が斜め下方に延びるようにかつ図2のカメラ121の撮像視野がステージ140およびその上方の空間を含むように位置決めされる。図3では、各投光部110の照射領域IRが二点鎖線で示されるとともに、一方の受光部120Aの撮像視野TR1が一点鎖線で示される。各受光部120A,120Bは、その光学系の光軸(図2のレンズ122の光軸)がステージプレート142の載置面に対して予め定められた角度(例えば45度)をなす状態で固定される。
図3に示すように、2つの投光部110A,110Bの照射領域IRの一部と受光部120Aの撮像視野TR1の一部とは、ステージ140の上方の空間内で重なり合う。投光部110A,110Bの照射領域IRと受光部120Aの撮像視野TR1とが重なり合う位置に、受光部120Aに対応する有効領域MR1が設定される。
本例の測定部100に設けられる2つの受光部120A,120Bは、レンズ122の倍率、焦点深度および画角が互いに異なる。具体的には、受光部120Bのレンズ122の倍率は受光部120Aのレンズ122の倍率よりも高い。また、受光部120Bのレンズ122の焦点深度は受光部120Aのレンズ122の焦点深度よりも小さい。さらに、受光部120Bのレンズ122の画角は受光部120Aのレンズ122の画角よりも小さい。この場合、受光部120Bの撮像視野は、受光部120Aの撮像視野TR1よりも小さくなる。それにより、一方の受光部120Aに対応する有効領域MR1はステージ140上に比較的広い範囲で設定される。これに対して、他方の受光部120Bに対応する有効領域は、受光部120Aに対応する有効領域MR1よりも狭い範囲でステージ140上に設定される。
図4は、図3の測定部100の模式的側面図である。図4では、受光部120Aの光学系の光軸A1が太い一点鎖線で示され、受光部120Aの有効領域MR1が太い点線で示される。また、受光部120Bの光学系の光軸A2が一点鎖線で示され、受光部120Bの有効領域MR2が点線で示される。
本実施の形態に係る測定部100においては、図4に示すように、光軸A2が光軸A1よりも下方に位置する。また、光軸A1,A2は互いに平行である。受光部120Aに対応する有効領域MR1は、例えばステージ140の回転軸Axと受光部120Aの光学系の焦点面との交点F1を中心として設定される。受光部120Bに対応する有効領域MR2は、例えばステージ140の回転軸Axと受光部120Bの光学系の焦点面との交点F2を中心として設定される。
図3および図4に示される測定部100においては、有効領域MR1,MR2を含むステージ140上の空間に、測定部100に固有の三次元座標系(以下、装置座標系と呼ぶ。)が定義される。本例の装置座標系は、原点と互いに直交するX軸、Y軸およびZ軸とを含む。以下の説明では、装置座標系のX軸に平行な方向をX方向と呼び、Y軸に平行な方向をY方向と呼び、Z軸に平行な方向をZ方向と呼ぶ。さらに、Z軸に平行な軸の周りで回転する方向をθ方向と呼ぶ。X方向およびY方向は、ステージプレート142の載置面に平行な面内で互いに直交する。Z方向は、ステージプレート142の載置面に平行な面に対して直交する。図3および図4では、X方向、Y方向、Z方向およびθ方向が矢印で示される。
[2]測定対象物の立体形状を示す立体形状データ
(1)三角測距方式による形状測定
測定部100においては、三角測距方式により測定対象物Sの形状が測定される。図5は、三角測距方式の原理を説明するための図である。図5には、装置座標系とともに定義されるX方向、Y方向、Z方向およびθ方向がそれぞれ矢印で示される。
図5に示すように、投光部110から出射される測定光の光軸と受光部120に入射する測定光の光軸(受光部120の光軸)との間の角度αが予め設定される。角度αは、0度よりも大きく90度よりも小さい。
ステージ140上に測定対象物Sが載置されない場合、投光部110から出射される測定光は、ステージ140の載置面の点Oにより反射され、受光部120に入射する。一方、ステージ140上に測定対象物Sが載置される場合、投光部110から出射される測定光は、測定対象物Sの表面の点Aにより反射され、受光部120に入射する。
点Oと点Aとの間のX方向における距離をdとすると、ステージ140の載置面に対する測定対象物Sの点Aの高さhは、h=d÷tan(α)により与えられる。図1のPC200のCPU210は、制御基板150により与えられる測定対象物Sの画素データに基づいて、X方向における点Oと点Aとの間の距離dを測定する。また、CPU210は、測定された距離dに基づいて、測定対象物Sの表面の点Aの高さhを算出する。測定対象物Sの表面の全ての点の高さを算出することにより、測定光が照射された全ての点について装置座標系で表される座標を特定することができる。それにより、測定対象物Sの三次元的な形状が測定される。
測定対象物Sの表面の全ての点に測定光を照射するために、図2の投光部110からは種々のパターンを有する測定光が出射される。測定光のパターンは、図2のパターン生成部112により制御される。
例えば第1のパターンとして、Y方向に平行な直線状の断面を有する測定光(以下、ライン状測定光と呼ぶ。)が投光部110から出射される。また、第2のパターンとして、Y方向に平行な直線状の断面を有しかつX方向に強度が正弦波状に変化するパターンを有する測定光(以下、正弦波状測定光と呼ぶ。)が投光部110から複数回(本例においては4回)出射される。さらに、第3のパターンとして、Y方向に平行でかつX方向に並ぶような直線状の断面を有する測定光(以下、縞状測定光と呼ぶ。)が投光部110から複数回(本例においては16回)出射される。さらに、第4のパターンとして、Y方向に平行な直線状の断面を有しかつ明部分と暗部分とがX方向に並ぶ測定光(以下、コード状測定光と呼ぶ。)が投光部110から複数回(本例においては4回)出射される。コード状測定光の明部分および暗部分の割合は、それぞれ50%である。
上述のライン状測定光を測定対象物S上で走査する方法は一般に光切断法と呼ばれる。一方、正弦波状測定光、縞状測定光またはコード状測定光を測定対象物Sに照射する方法は、パターン投影法に分類される。また、パターン投影法の中でも、正弦波状測定光または縞状測定光を測定対象物Sに照射する方法は位相シフト法に分類され、コード状測定光を測定対象物Sに照射する方法は空間コード法に分類される。
本実施の形態に係る測定部100においては、ステージ140上に載置される測定対象物Sに対して互いに異なる複数(本例では2つ)の方向から測定光を投光することができる。それにより、投光部110Aから投光される測定光により測定不可能な部分がある場合に、その測定不可能な部分の形状を投光部110Bから投光される測定光を用いて測定することができる。同様に、投光部110Bから投光される測定光により測定不可能な部分がある場合に、その測定不可能な部分の形状を投光部110Aから投光される測定光を用いて測定することができる。これらの結果、測定対象物Sにおける測定不可能な部分を低減することができる。
上記の光切断法、パターン投影法、位相シフト法および空間コード法は、各々短所および長所を有しているが、いずれも三角測距の原理を用いている点は共通である。所定パターンを有する測定光が投影された測定対象物Sの画像データ(以下、パターン画像データと呼ぶ。)に基づいて、測定対象物Sの立体形状を表す点群(ポイントクラウド)データが生成される。
以下の説明では、測定対象物Sの立体形状を表す点群データを立体形状データと呼ぶ。立体形状データは、測定対象物Sの表面上の複数の点の位置データを含む。位置データは、例えば、X方向、Y方向およびZ方向における座標を表す。この場合、立体形状データのうち任意の点のデータをPn(nは自然数)とすると、Pnは、例えば装置座標系の座標値を用いて(Xn,Yn,Zn)で表すことができる。なお、立体形状データは、点群データに基づいて生成される面情報データにより構成されてもよく、ポリゴンメッシュ等の他の形式のデータを含んでもよい。立体形状データに基づいて、測定対象物Sの立体形状を表す画像を表示することができる。以下、立体形状データに基づいて表示される測定対象物Sの立体形状を含む画像を立体形状画像と呼ぶ。
本実施の形態においては、立体形状画像は、二次元座標系が定義された任意の平面上に立体形状データが投影された状態を示す画像であり、使用者による計測箇所の指定を受け付けるための画像である。使用者は、測定対象物Sを見る方向(測定対象物Sに対する受光部120の位置)として立体形状データが投影される平面を指定することができる。それにより、立体形状画像により表される測定対象物Sの姿勢(向き)が変化する。
(2)複数の立体形状データの合成
投光部110および受光部120に対する測定対象物Sの位置および姿勢が一定であると、測定対象物Sの一部にしか測定光が照射されない。また、測定対象物Sの一部で反射される光しか受光部120に入射しない。そのため、測定対象物Sの表面の広範囲に渡る立体形状データを求めることができない。そこで、測定対象物Sの位置または姿勢を変化させることにより、互いに異なる複数の方向から測定対象物Sを撮像し、複数の撮像方向にそれぞれ対応する複数の立体形状データを取得し、取得された複数の立体形状データを合成してもよい。
図6は、複数の方向から測定対象物Sを撮像することにより複数の立体形状データを生成する例を説明するための図である。例えば、図6(a)に示すように、使用者により測定対象物Sの位置および姿勢がステージ140上で調整された後、測定光を用いて測定対象物Sが撮像されることにより最初の立体形状データが生成される。これにより取得される立体形状画像の一例が図6(d)に示される。立体形状データは、測定対象物Sの表面で反射して受光部120に入射する測定光に基づいて生成される。そのため、測定対象物Sの表面のうち受光部120の位置から視認可能な部分については立体形状データが生成されるが、測定対象物Sの表面のうち受光部120の位置から視認不可能な部分については立体形状データを生成することができない。
そこで、図6(b)に示すように、図2の回転機構143によりステージ140が一定角度回転された後、測定光を用いて測定対象物Sが撮像されることにより2番目の立体形状データが生成される。図6(b)の例では、ステージ140を上方から見た場合に、ステージ140が図6(a)の状態から反時計回りに約45度回転されている。これにより取得される立体形状画像の一例が図6(e)に示される。上記のように、ステージ140が回転すると、その回転に伴って測定対象物Sの表面のうち受光部120の位置から視認可能な部分および視認不可能な部分も変化する。その結果、最初の撮像時には取得されなかった部分を含む立体形状データが生成される。
さらに、図6(c)に示すように、図2の回転機構143によりステージ140が一定角度回転された後、測定光を用いて測定対象物Sが撮像されることにより3番目の立体形状データが生成される。図6(c)の例では、ステージ140を上方から見た場合に、ステージ140が図6(b)の状態から反時計回りに約45度回転されている。これにより取得される立体形状画像の一例が図6(f)に示される。
このようにして、ステージ140の回転および測定対象物Sの撮像が繰り返されることにより、複数の撮像方向にそれぞれ対応する複数の立体形状データが生成される。
上記の複数の撮像時には、ステージ140の回転位置(回転角度)が図1のCPU210により検出される。2つの投光部110および2つの受光部120とステージ140の回転軸Axとの位置関係は一定に保持されている。これらの相対位置を表すパラメータ(以下、機器パラメータ)が、例えば図1の記憶装置240に予め記憶される。機器パラメータは、例えば装置座標系で表される。
この場合、機器パラメータとステージ140の回転位置とに基づいて、複数の立体形状データに含まれる位置データがステージ140の一部を基準とする仮想的な共通の三次元座標系で表されるように、各立体形状データの座標変換を実行することができる。
本例では、上記のように、複数の立体形状データが共通の三次元座標系で表されるように座標変換され、座標変換された複数の立体形状データが互いに重複する部分のパターンマッチングにより合成される。それにより、測定対象物Sの外表面の広範囲に渡る立体形状データが生成される。
[3]測定対象物の外観を表すテクスチャ画像データ
測定部100においては、照明光出力部130から測定対象物Sに照明光が照射された状態または投光部110A,110Bから測定対象物Sに均一な測定光が照射された状態で、測定対象物Sの外観(表面状態)を表す画像データ(以下、テクスチャ画像データと呼ぶ。)が生成される。均一な測定光とは、パターンを有さない測定光であり、照明光の代わりに用いることができる。以下、このような測定光を均一測定光と呼ぶ。測定対象物Sの表面状態は、例えば模様または色彩を含む。以下、テクスチャ画像データにより表される画像をテクスチャ画像と呼ぶ。
テクスチャ画像データの種々の例について説明する。例えば、測定対象物Sに対して受光部120の焦点位置が相対的に変化されつつ複数のテクスチャ画像データが取得されてもよい。この場合、複数のテクスチャ画像データを合成することにより、測定対象物Sの表面の全体に焦点が合ったテクスチャ画像データ(以下、全焦点テクスチャ画像データと呼ぶ。)が生成される。なお、全焦点テクスチャ画像データを生成する場合、測定部100には、受光部120の焦点位置を移動させる焦点移動機構が設けられる必要がある。
また、異なる複数の撮像条件で複数のテクスチャ画像データが取得されてもよい。撮像条件は、例えば、受光部120の露光時間、照明光出力部130からの照明光の強度(明るさ)または投光部110からの均一測定光の強度(明るさ)等を含む。この場合、取得された複数のテクスチャ画像データを用いて公知のハイダイナミック(HDR)合成を行うことにより、黒つぶれおよび白とび等が抑制されたテクスチャ画像データ(以下、HDRテクスチャ画像データと呼ぶ。)が生成される。
また、焦点位置が変化されるとともに撮像条件が変化されてもよい。具体的には、測定対象物Sに対して受光部120の焦点が複数の位置へ相対的に変化されるとともに、各位置において互いに異なる複数の撮像条件でテクスチャ画像データが取得される。取得された複数のテクスチャ画像データを合成することにより、測定対象物Sの表面の全体に焦点が合いかつ黒つぶれおよび白とび等が抑制されたテクスチャ画像データが生成される。
各テクスチャ画像データは、測定対象物Sの各点の色または輝度を表すテクスチャ情報(光学的表面状態を表す情報)を含む。一方、上記の立体形状データは、測定対処物Sの光学的表面状態の情報を含まない。そこで、立体形状データといずれかのテクスチャ画像データとが合成されることにより、立体形状データにテクスチャ情報が付与されたテクスチャ付き立体形状データが生成される。
テクスチャ付き立体形状データは、測定対象物Sの表面上の複数の点の位置データを含むとともに各点の位置データに対応付けられた当該点の色または輝度を示すデータを含む。この場合、テクスチャ付き立体形状データのうち任意の点のデータをTPn(nは自然数)とすると、TPnは、例えば装置座標系の座標値と、赤色、緑色および青色の三原色の成分(R,G,B)とを用いて(Xn,Yn,Zn,Rn,Gn,Bn)で表すことができる。または、TPnは、例えば装置座標系の座標値と、輝度値(I)とを用いて(Xn,Yn,Zn,In)で表すことができる。テクスチャ付き立体形状データは、点群データに基づいて生成される面情報データにより構成されてもよい。
以下の説明では、一定の焦点位置および撮像条件で取得されたテクスチャ画像データにより表されるテクスチャ画像を通常テクスチャ画像と呼び、全焦点テクスチャ画像データにより表される画像を全焦点テクスチャ画像と呼び、HDRテクスチャ画像データにより表される画像をHDRテクスチャ画像と呼ぶ。また、テクスチャ付き立体形状データにより表される画像をテクスチャ付き立体形状画像と呼ぶ。
本実施の形態においては、テクスチャ付き立体形状画像は、二次元座標系が定義された任意の平面上にテクスチャ付き立体形状データが投影された状態を示す画像であり、使用者による計測箇所の指定を受け付けるための画像である。使用者は、測定対象物Sを見る方向(測定対象物Sに対する受光部120の位置)としてテクスチャ付き立体形状データが投影される平面を指定することができる。それにより、テクスチャ付き立体形状画像により表される測定対象物Sの向きが変化する。
上記のように、テクスチャ画像データを生成するために、照明光または均一測定光を用いて測定対象物Sが撮像される。ここで、上記のように、照明光出力部130は、2つの受光部120を取り囲むように形成された照明光の出射口131を有する。このような構成により、出射口131から出射される照明光の少なくとも一部は受光部120の光軸とほぼ平行な状態で測定対象物Sに照射される。それにより、照明光を用いて測定対象物Sが撮像される場合には、生成されるテクスチャ画像データに影の成分が発生しにくい。したがって、テクスチャ画像データの生成時には照明光を用いることが好ましい。
なお、図6の例で示されるように、測定対象物Sについて複数の方向から撮像を行うことにより複数の立体形状データを生成する場合には、測定光を用いた撮像とともに照明光または均一測定光を用いた撮像を行ってもよい。この場合、複数の立体形状データにそれぞれ対応する複数のテクスチャ画像データを生成することができる。したがって、複数の立体形状データおよび複数のテクスチャ画像データを合成することにより、測定対象物Sの外表面の広い範囲に渡って立体形状および表面状態を表すテクスチャ付き立体形状データを生成することができる。
[4]形状測定
(1)形状測定の準備
まず使用者は、測定対象物Sの測定を行う前に、形状測定の準備を行う。図7は、形状測定の準備の手順を示すフローチャートである。以下、図1、図2および図7を参照しながら形状測定の準備の手順を説明する。まず、使用者は、測定対象物Sをステージ140上に載置する(ステップS1)。次に、使用者は、投光部110から測定対象物Sに測定光を照射する(ステップS2)。このとき測定対象物Sのライブ画像が表示部400に表示される。続いて、使用者は、表示部400に表示されたライブ画像を見ながら、取得されるライブ画像の明るさ、ならびに測定対象物Sの位置および姿勢の調整(以下、第1の調整と呼ぶ。)を行う(ステップS3)。ステップS3において取得されるライブ画像の明るさは、測定光の光量および受光部120の露光時間のうち少なくとも一方を変化させることにより調整することができる。本実施の形態では、測定光を用いて取得されるライブ画像の明るさを観察に適した明るさにするために、測定光の光量または受光部120の露光時間のうち一方が調整される。
ステップS2では、上記の第1〜第4のパターンの測定光のいずれかが測定対象物Sに照射されてもよく、均一測定光が測定対象物Sに照射されてもよい。ステップS3において、測定対象物Sの計測すべき箇所(以下、計測箇所と呼ぶ)に影が発生していない場合、使用者は、測定対象物Sの位置および姿勢の調整を行う必要はなく、測定光の光量または受光部120の露光時間の調整を行えばよい。
次に、使用者は、測定光の照射を停止するとともに、照明光出力部130から測定対象物Sに照明光を照射する(ステップS4)。このとき、測定対象物Sのライブ画像が表示部400に表示される。続いて、使用者は、表示部400に表示されたライブ画像を見ながら、取得されるライブ画像の明るさの調整(以下、第2の調整と呼ぶ。)を行う(ステップS5)。ステップS5において取得されるライブ画像の明るさは、基本的にステップS3の例と同様に、照明光の光量および受光部120の露光時間のうち少なくとも一方を変化させることにより調整することができる。本実施の形態では、照明光を用いて取得されるライブ画像の明るさを観察に適した明るさにするために、照明光の光量または受光部120の露光時間のうち一方が調整される。
次に、使用者は、表示部400に表示されたライブ画像を確認し、光量、受光部120の露光時間、測定対象物Sの位置および姿勢(以下、観察状態と呼ぶ。)が適切であるか否かを判定する(ステップS6)。ステップS6においては、測定対象物Sに測定光が照射されてもよく、照明光が照射されてもよく、または測定光および照明光が順に照射されてもよい。
ステップS6において、観察状態が適切でないと判定した場合、使用者は、ステップS2の処理に戻る。一方、ステップS6において、観察状態が適切であると判定した場合、使用者は、形状測定の準備を終了する。
なお、上記の例では、第1の調整の後に第2の調整が行われるが、第2の調整の後に第1の調整が行われてもよい。この場合、使用者は、第2の調整において測定対象物Sの位置および姿勢を調整し、第1の調整時に測定対象物Sの所望の部分に測定光が照射されていることを確認してもよい。測定対象物Sの所望の部分に測定光が照射されていない場合には、測定対象物Sの位置および姿勢を再調整し、再度第2の調整として照明光の光量または受光部120の露光時間の調整等を行ってもよい。
ここで、ステップS5の第2の調整時に、使用者は、取得されるべきテクスチャ画像の種類を選択してもよい。テクスチャ画像の種類は、例えば、通常テクスチャ画像、全焦点テクスチャ画像、HDRテクスチャ画像を含む。この場合、第2の調整が行われることにより、選択されたテクスチャ画像のテクスチャ画像データを生成するために最適な照明光の光量条件、または照明光に対応する受光部120の露光時間の条件が自動設定されてもよい。
(2)形状測定処理
使用者による図7の形状測定の準備の後、測定対象物Sの形状測定処理が行われる。図8は、形状測定処理のフローチャートである。形状測定処理は、図1のCPU210が使用者による形状測定処理の開始の指示に応答して形状測定プログラムを実行することにより開始される。
まず、CPU210は、測定対象物Sに測定光を照射し、パターン画像データを取得する(ステップS41)。取得されたパターン画像データは、作業用メモリ230に記憶される。
次に、CPU210は、取得したパターン画像データを所定のアルゴリズムで処理することにより、測定対象物Sの立体形状を示す立体形状データを生成する(ステップS42)。生成された立体形状データは、作業用メモリ230に記憶される。
次に、CPU210は、測定対象物Sに照明光または均一測定光を照射し、テクスチャ画像データを取得する(ステップS43)。取得されたテクスチャ画像データは、作業用メモリ230に記憶される。
次に、CPU210は、ステップS42で生成された立体形状データとステップS43で取得されたテクスチャ画像データとを合成することにより、テクスチャ付き立体形状データを生成する(ステップS44)。
ここで、形状測定処理の開始前には、予め定められたデータの生成条件が図1の記憶装置240に記憶されている。データの生成条件には、形状測定処理において生成されるべき立体形状データに関する情報が含まれる。例えば、図6の例で示したように、複数の方向から撮像を行うことにより得られる複数の立体形状データを合成して1つの立体形状データを生成する場合には、複数の立体形状データを生成するためにステージ140(図2)を回転させる必要がある。そこで、撮像ごとのステージ140の回転位置、ステージ140の回転方向および撮像回数等がデータの生成条件として記憶装置240に記憶されている。
CPU210は、ステップS44の処理後、予め設定された生成条件に基づいて、測定対象物Sについての全ての撮像が終了したか否かを判定する(ステップS45)。全ての撮像が終了していない場合、CPU210は、生成条件に基づいてステージ140(図2)を予め定められたピッチ分回転させ(ステップS46)、ステップS41の処理に戻る。
ステップS45において全ての撮像が終了すると、CPU210は、ステップS42の処理が複数繰り返されることにより生成された複数の立体形状データの合成を行うとともに、ステップS44の処理が複数繰り返されることにより生成された複数のテクスチャ付き立体形状データの合成を行う(ステップS47)。なお、ステップS41〜S45の処理が1度しか実行されていない場合、ステップS47の処理は省略される。このようにして、測定対象物Sの計測に用いる立体形状データおよびテクスチャ付き立体形状データが生成される。
次に、CPU210は、生成された立体形状データまたはテクスチャ付き立体形状データに基づいて、測定対象物Sの立体形状画像またはテクスチャ付き立体形状画像を表示部400に表示させる(ステップS48)。この場合、使用者は、表示部400に表示すべき画像として立体形状画像またはテクスチャ付き立体形状画像のいずれかを適宜選択することができる。
その後、CPU210は、使用者による図1の操作部250の操作に応答して計測条件の設定を行うとともに設定された計測条件に基づいて計測箇所の計測を行う(ステップS49)。計測条件の設定については後述する。これにより、形状測定処理が終了する。
上記の形状測定処理においては、ステップS41〜S45,S47,S48の処理が主として後述する図34の形状データ生成部211により実行される。
(3)計測条件の設定
計測条件は、計測箇所および計測項目を含む。計測条件の設定時には、上記のステップS48の処理により、例えば立体形状画像が表示部400に表示されている。使用者は、図1の操作部250を操作することにより、測定対象物Sを見る方向(測定対象物Sに対する受光部120の位置)を指定することができる。この場合、CPU210は、使用者による方向の指定に応答して、指定された方向から測定対象物Sを見た状態が再現されるように、表示部400上に観察対象物Sの向きが調整された立体形状画像を表示する。
使用者は、立体形状画像を視認することにより、測定対象物Sの各部の形状を大まかに把握しつつ立体形状画像上で計測箇所を指定する。このとき、使用者は、計測箇所を特定するために、計測箇所を含む幾何形状(例えば、点、直線、円、面、球、円筒および円錐等)を指定することができる。また、使用者は、指定した幾何形状についての計測項目を指定することができる。計測項目は、使用者により指定される測定対象物Sの計測箇所において計測されるべきパラメータの種類であり、距離、高さ、直径および面積等を含む。
図9〜図12は、計測条件の設定例を説明するための図である。図9に、基板上に1つの素子が実装された測定対象物Sについて、上記のステップS48の処理で表示部400に表示される立体形状画像SIの一例が示される。図9の立体形状画像SIにおいては、測定対象物Sのうち基板および素子をそれぞれ示す画像B1I,B2Iが明りょうに区別される。
例えば、使用者は、表示部400の画面上に表示されるポインタPIを操作することにより、図10に示すように、素子の上面に対応する画像B2Iの部分を計測箇所として指定する。次に、使用者は、ポインタPIを操作することにより、図11に示すように、基板の上面に対応する画像B1Iの部分を計測箇所として指定する。
ここで、計測条件の設定時には、使用者により指定された計測箇所が他の部分とは異なる態様で表示されることが好ましい。図10および図11の例では、使用者により指定された計測箇所にハッチングが施されている。これにより、使用者は、自己の指定した計測箇所を容易に識別することができる。
続いて、使用者は、計測項目として指定された2つの計測箇所(平面)間の距離を指定する。それにより、基板の上面に対応する点群データと素子の上面に対応する点群データとに基づいて、基板の上面と素子の上面との間の距離が算出される。その結果、図12に示すように、算出結果が計測結果として表示部400に表示される。図12の例では、基板の上面と素子の上面との間の距離として、“zz(mm)”が表示される。
[5]表示態様設定機能
(1)表示態様設定機能の概略
三次元形状測定装置500は、形状測定処理のステップS41〜S47の処理により得られる立体形状データまたはテクスチャ付き立体形状データを用いて測定対象物Sの各部の形状をより正確に把握するための表示態様設定機能を有する。
表示態様設定機能は、立体形状データが生成された測定対象物Sについて、測定対象物Sの立体形状に関する幾何的な基準(以下、幾何基準と呼ぶ。)を設定するとともに、設定された幾何基準に基づいて測定対象物Sの立体形状画像の少なくとも一部の表示態様を設定する機能である。本実施の形態において、立体形状画像の少なくとも一部の表示態様を設定するとは、立体形状画像の少なくとも一部の表示態様を予め定められた本来の表示態様から幾何基準に基づいて定められる他の表示態様に切り替えることを意味する。換言すれば、立体形状画像の少なくとも一部の表示態様を設定するとは、立体形状画像の少なくとも一部の表示態様を予め定められた本来の表示態様から幾何基準に基づいて定められる他の表示態様に変更することを意味する。さらに換言すれば、立体形状画像の少なくとも一部の表示態様を設定するとは、立体形状画像の少なくとも一部の表示態様を予め定められた本来の表示態様から幾何基準に基づいて定められる他の表示態様にすることを意味する。
その表示態様設定機能によれば、立体形状画像のうちの測定対象物Sの少なくとも一部分に対応する部分の表示態様を、測定対象物Sの当該少なくとも一部分と設定された幾何基準との間の距離(以下、対比距離と呼ぶ。)に応じて異なるように設定することができる。本実施の形態では、表示態様として対比距離に応じた色が設定される。
幾何基準は、装置座標系で表される点、線または面からなる幾何的な基準である。さらに、表示態様設定機能においては、表示態様の設定対象となる測定対象物Sの部分(以下、測定対象部分と呼ぶ。)を設定することもできる。測定対象部分は、測定対象物Sの一部分であってもよいし、測定対象物Sの全体であってもよい。
(2)表示態様設定機能の一使用例
以下、表示態様設定機能の基本的な使用例について説明する。図13は、測定対象物Sの一例を示す外観斜視図である。図13の測定対象物Sは、略直方体形状を有する部材の上面に段差が形成されるとともに、その上面の中央部に上方に向いて開口する窪みが形成された構造を有する。
上面は、互いに平行な上段面s11および下段面s12を含む。窪みは、上段面s11および下段面s12に平行な矩形の底面s21を有する。底面s21の一辺から上段面s11にかけて垂直面s22が形成されている。底面s21の一辺に対向する他辺から下段面s12にかけて傾斜面s23が形成されている。垂直面s22は底面s21に対して垂直であり、傾斜面s23は底面s21に対して傾斜している。さらに、測定対象物Sは、その長手方向において互いに対向する一端面s31および他端面s32を有する。垂直面s22、一端面s31および他端面s32は互いに平行である。
図14〜図25は、表示態様設定機能の一使用例を説明するための図である。本例では、図13の測定対象物Sについて、例えば上段面s11、下段面s12、底面s21、垂直面s22および傾斜面s23の位置関係の詳細を把握するために、使用者が表示態様設定機能を使用する場合を想定する。なお、図13の測定対象物Sの立体形状データは、予め図1の記憶装置240に記憶されているものとする。
使用者による表示態様設定機能の使用の指示に応答して、図14に示すように、図1の表示部400に幾何要素設定画面SC1が表示される。幾何要素設定画面SC1は、上記の幾何基準または測定対象部分を特定するための幾何的な要素(以下、幾何要素と呼ぶ。)を、使用者が立体形状画像SI上で指定するための画面である。
幾何要素設定画面SC1においては、表示部400の表示領域が、主表示領域maおよび副表示領域saに分割されている。幾何要素設定画面SC1において、主表示領域maおよび副表示領域saは左右に並ぶ。
主表示領域maには立体形状画像SIが表示される。使用者は、主表示領域ma上でドラッグ操作等を行うことにより、立体形状画像SIにおける測定対象物Sの姿勢を所望の姿勢に変更することができる。
副表示領域saには、要素種類選択欄es、名称入力欄f01、戻るボタンb01、設定ボタンb02および表示態様ボタンb03が表示される。要素種類選択欄esには、複数の幾何的な要素の種類にそれぞれ対応する複数の項目アイコンicが表示される。幾何的な要素の種類には、平面、円筒、円錐、球および点が含まれる。
本例では、使用者は、幾何的な要素の種類、設定対象となる要素の装置座標系上の位置および名称を指定することにより、幾何要素の設定を行う。具体的には、使用者は、要素種類選択欄esに表示される複数の項目アイコンicのうちいずれかを操作することにより要素の種類を指定する。このとき、指定された項目アイコンicは例えばハイライト表示される。なお、図14の例では、平面に対応する項目アイコンicが操作されることにより、当該項目アイコンicがハイライト表示されている様子がハッチングで示される。
次に、使用者は、名称入力欄f01に設定対象となる要素について所望の名称を入力する。なお、名称入力欄f01には、指定された要素の種類に応じて予め定められた方法に従う名称が自動入力されてもよい。
さらに、使用者は、主表示領域maに表示された立体形状画像SI上で、要素の位置を指定する。例えば、使用者は、要素の種類として平面が指定された状態で、測定対象物Sの3以上の複数の部分にそれぞれ対応する立体形状画像SI上の複数の部分をシングルクリック操作により指定する。この場合、測定対象物Sの3以上の複数の部分により規定される装置座標系上の平面の位置および大きさが定められる。3以上の複数の部分により規定される装置座標系上の平面は、複数の部分を含む平面であってもよいし、複数の部分にフィッティングされた平面であってもよい。
あるいは、使用者は、要素の種類として平面が指定された状態で、測定対象物Sの所望の平面部分に対応する立体形状画像SI上の部分をダブルクリック操作により指定する。この場合、測定対象物Sの当該平面部分に対応する装置座標系上の平面の位置および大きさが定められる。
戻るボタンb01は、使用者が表示態様設定機能の使用の取り消しを指令するためのボタンである。使用者は、表示部400に幾何要素設定画面SC1が表示された状態で戻るボタンb01を操作する。それにより、表示部400の表示状態が通常の形状計測時の状態(例えば図9〜図12に示される状態)に戻る。
設定ボタンb02は、使用者が幾何要素の設定を指令するためのボタンである。使用者は、上記のように、幾何的な要素の種類、設定対象となる要素の装置座標系上の位置および名称を指定した後、設定ボタンb02を操作する。それにより、指定された一連の内容が、幾何要素ごとに図1の記憶装置240に記憶される(幾何要素の設定)。
幾何要素の設定時には、図15に点線およびハッチングで示すように、設定された幾何要素を示す画像が主表示領域maの立体形状画像SI上に重畳表示される。それにより、使用者は、自己が設定した幾何要素を容易に把握することができる。本例では、図13の測定対象物Sの上段面s11、下段面s12、底面s21、垂直面s22および傾斜面s23にそれぞれ対応する幾何要素「平面1」、「平面2」、「平面0」、「平面3」および「平面4」が設定されている。
表示態様ボタンb03は、使用者が主表示領域maに表示されている立体形状画像SIについて上記の対比距離に応じた表示態様の設定を指令するためのボタンである。対比距離に応じた表示態様の設定は、幾何要素設定画面SC1において設定された1または複数の幾何要素に基づいて行われる。
使用者は、所望の幾何要素を設定した後、表示態様ボタンb03を操作する。それにより、図16に示すように、表示部400に表示される画面が幾何要素設定画面SC1から表示態様設定画面SC2に切り替わる。表示態様設定画面SC2においても、幾何要素設定画面SC1の例と同様に、表示部400の表示領域は、主表示領域maおよび副表示領域saに分割されている。
画面の切り替わり直後においては、主表示領域maの表示状態は切り替わり前の表示状態で維持される。一方、副表示領域saには、対応関係設定欄dc、対象プルダウンメニューm11、基準プルダウンメニューm12、戻るボタンb04、OKボタンb05および幾何要素ボタンb06が表示される。
上記のように、本実施の形態に係る表示態様設定機能においては、立体形状画像のうちの測定対象物Sの少なくとも一部分に対応する部分の表示態様として、対比距離に応じた色の設定が行われる。対応関係設定欄dcには、対比距離と色との対応関係を設定するためのボタンおよびスライダ等が表示される。
具体的には、対応関係設定欄dcには、色表示バー411、距離基準調整バー412、色レンジ調整バー413、その他設定ボタン414および対応自動設定ボタン415が表示される。
色表示バー411においては、立体形状画像SIにおいて表示可能な複数種類の色が、複数種類の表示態様として予め対応付けられた対比距離に応じた並びで表示される。図16以降の所定の図面においては、立体形状画像SIにおいて表示される複数種類の色の代わりに、互いに異なる複数種類のドットパターンが示される。図16に示される色表示バー411には、段階的に濃度が異なる6種類のドットパターンが示される。これらのドットパターンは、濃度が濃いものから濃度が薄くなる順に、例えば青色、水色、緑色、黄色、橙色および赤色を表す。このように、色表示バー411にスペクトル順に並ぶ色の中心に位置する色を基準色と呼ぶ。
距離基準調整バー412はスライダを含む。使用者は、距離基準調整バー412のスライダを操作することにより、基準色に対応する対比距離の基準値(以下、基準色距離と呼ぶ。)を設定することができる。例えば、幾何基準として水平な平面が設定されかつ基準色距離が10.00mmに設定される場合には、測定対象部分が当該平面から上方に10.00mm離間しているときに当該測定対象部分の画像が基準色で表されることになる。
色レンジ調整バー413はスライダを含む。使用者は、色レンジ調整バー413のスライダを操作することにより、色表示バー411に表示される複数種類の色により表現されるべき対比距離の範囲を設定することができる。例えば、対比距離の範囲として5.00mmが設定される場合には、上記の基準色距離を中心として±5.00mmの範囲が色表示バー411に表示されたいずれかの色に対応付けられる。
対応自動設定ボタン415は、対比距離と表示態様(本例では色)との対応関係を自動設定すべきことを使用者が指令するためのボタンである。後述する対象プルダウンメニューm11および基準プルダウンメニューm12が操作されることにより幾何基準および測定対象部分が設定されると、測定対象物Sの立体形状データに基づいて対比距離が算出される。対応自動設定ボタン415が操作されると、算出される対比距離の最小値および最大値が少なくとも色表示バー411に表示されたいずれかの色で表示されるように、対比距離の基準値および表現されるべき対比距離の範囲が図1のCPU210により自動設定される。
その他設定ボタン414は、幾何基準に対する対比距離の扱い、色の反転および対比距離の補正に関する設定を行うためのボタンである。その他設定ボタン414が操作されると、図17に示すその他設定ウィンドウSWが表示態様設定画面SC2上に表示される。その他設定ウィンドウSWには、3つのチェックボックス421,422,423が表示される。
幾何基準として平面が設定される場合に、通常、その平面から測定対象物Sの部分までの対比距離は当該平面を基準として正の値または負の値で算出される。そのため、例えば基準色距離が10.00mmに設定されかつ対比距離の範囲として5.00mmが設定される場合には、図18(a)にハッチングで示すように、幾何基準となる平面を基準として正の値で算出される対比距離にのみ色表示バー411に表される色が対応付けられる。
一方、幾何基準として平面が設定される場合に、その平面から測定対象物Sの部分までの距離として算出される値の絶対値を対比距離とする。この場合、当該平面を基準として正の値で算出される対比距離に色表示バー411に表される色が対応付けられるとともに、本来的に負の値で算出される対比距離にも色表示バー411に表される色が対応付けられる。そのため、例えば基準色距離が10.00mmに設定されかつ対比距離の範囲として5.00mmが設定される場合には、図18(b)にハッチングで示すように、幾何基準となる平面を基準として5.00mm〜15.00mmの範囲および−15.00mm〜−5.00mmの範囲で算出される対比距離に色表示バー411で表される色が対応付けられる。
このように、チェックボックス421は、幾何基準として平面が設定される場合に、算出される対比距離を絶対値に変換して用いるか否かを設定するために用いられる。
チェックボックス422は、幾何基準として平面が設定される場合に、予め対応付けられた対比距離に対する色の対応関係を反転させるために用いられる。
チェックボックス423は、幾何基準として円錐の軸(中心軸)が設定される場合に、算出される対比距離を補正するために用いられる。チェックボックス423がチェックされることにより行われる対比距離の補正を円錐補正と呼ぶ。円錐補正の詳細は後述する。
図16の対象プルダウンメニューm11は、使用者が測定対象部分を特定するための幾何要素(以下、対象要素と呼ぶ。)を指定する際に用いられる。対象プルダウンメニューm11においては、使用者の操作に応答して、予め設定されている1または複数の幾何要素が表示される。さらに、設定されている1または複数の幾何要素の組み合わせ等が表示される。これにより、使用者は、対象プルダウンメニューm11を操作することにより、所望の対象要素を指定することができる。なお、対象プルダウンメニューm11においては、使用者の操作に応答して、測定対象物Sの全体が対象要素の候補として表示されてもよい。
基準プルダウンメニューm12は、使用者が幾何基準を特定するための幾何要素(以下、基準要素と呼ぶ。)を指定する際に用いられる。基準プルダウンメニューm12においては、使用者の操作に応答して、予め設定されている1または複数の幾何要素が表示される。さらに、設定されている幾何要素に固有の関係を有する幾何要素が表示される。例えば円筒の幾何要素が予め設定されている場合には、当該円筒の軸(中心軸)等が表示される。また、互いに平行な2つの平面の幾何要素が予め設定されている場合には、その2つの平面の中間に位置する面(中面)等が表示される。これにより、使用者は、基準プルダウンメニューm12を操作することにより、所望の基準要素を指定することができる。
戻るボタンb04は、図14の戻るボタンb01と同様に、使用者が表示態様設定機能の使用の取り消しを指令するためのボタンである。幾何要素ボタンb06は、使用者が新たな幾何要素を設定することを指令するためのボタンである。使用者は、表示態様設定画面SC2が表示された状態で、新たな幾何要素を設定したい場合に、幾何要素ボタンb06を操作する。それにより、表示部400に表示される画面が表示態様設定画面SC2から再度幾何要素設定画面SC1に切り替わる。
OKボタンb05は、使用者が測定対象部分に対応する立体形状画像SIの部分に対応関係設定欄dcにおいて設定された表示態様を適用することを指令するためのボタンである。使用者は、距離と色との対応関係を設定し、対象要素を指定し、基準要素を指定した後、OKボタンb05を操作する。それにより、設定された対応関係、指定された対象要素および基準要素に基づいて、測定対象部分に対応する立体形状画像SIの部分の色が対比距離に応じた色に変更される。
図19に、基準要素として図15の幾何要素「平面0」が指定されるとともに対象要素として図15の幾何要素「平面0」、「平面1」、「平面2」、「平面3」および「平面4」(設定された幾何要素の全て)が指定され、OKボタンb05が操作された場合の立体形状画像SIの表示例が示される。
上記のように、図13の測定対象物Sにおいて幾何要素「平面1」、「平面2」および「平面0」にそれぞれ対応する上段面s11、下段面s12および底面s21は、互いに平行である。それにより、立体形状画像SIにおいては、幾何要素「平面1」、「平面2」および「平面0」により特定される各部分の画像が単色で表示される。
一方、図13の測定対象物Sにおいて幾何要素「平面3」に対応する垂直面s22は底面s21に対して垂直であり、幾何要素「平面4」に対応する傾斜面s23は底面s21に対して傾斜している。それにより、立体形状画像SIにおいては、幾何要素「平面3」および「平面4」により特定される各部分の画像が一方向に並ぶ複数種類の色で表示される。
この状態で、使用者は、図20および図21に示すように、立体形状画像SIにおける測定対象物Sの姿勢を変更することができる。それにより、互いに異なる複数の視点で、幾何要素「平面0」を基準とした場合の測定対象物Sの各部の位置関係を容易に把握することができる。
使用者は、図19〜図21の表示状態で、その他設定ボタン414を操作し、図17のチェックボックス422をチェックすることにより、予め対応付けられた対比距離に対する色の対応関係を反転させることができる。この場合、図22に示すように、色表示バー411に表示される複数種類の色が、図19の色表示バー411に表示される複数種類の色に対して基準色を中心として反転する。また、反転された対応関係に従って立体形状画像SIのうちの測定対象部分に対応する部分の色が変化する。
ところで、図19〜図21の例では、立体形状画像SIのうちの幾何要素「平面1」、「平面2」および「平面0」により特定される各部分に対応する部分は、単色で表示される。この場合、使用者は、当該立体形状画像SIを視認することにより、幾何要素「平面1」、「平面2」および「平面0」にそれぞれ対応する測定対象物Sの上段面s11、下段面s12および底面s21が互いに平行であることを容易に認識することができる。
しかしながら、図19〜図21の例では、立体形状画像SIのうちの幾何要素「平面3」および「平面4」により特定される各部分に対応する部分は、複数種類の色で表示される。この場合、使用者は、当該立体形状画像SIを視認しても、幾何要素「平面3」および「平面4」に対応する測定対象物Sの傾斜面s23および垂直面s22が互いに平行であるか否かを把握しにくい。
このような場合に、使用者は、幾何要素ボタンb06を操作することにより、新たな幾何要素を設定することができる。例えば、図23に示すように、上記の幾何要素「平面3」および「平面4」が再設定されるとともに、図13の測定対象物Sの一端面s31および他端面s32にそれぞれ対応する幾何要素「平面5」および「平面6」が新たに設定される。
この場合、図24に示すように、使用者は、表示態様設定画面SC2において基準プルダウンメニューm12を操作することにより、幾何要素「平面5」および「平面6」の中面を基準要素として指定することができる。
幾何要素「平面5」および「平面6」の中面により特定される仮想面に対して、測定対象物Sの垂直面s22は平行であり、傾斜面s23は傾斜している。そのため、幾何要素「平面5」および「平面6」の中面が基準要素として指定された状態でOKボタンb05が操作されると、図25に示すように、立体形状画像SIのうちの幾何要素「平面3」により特定される部分に対応する部分は、単色で表示される。一方、図24に示すように、立体形状画像SIのうちの幾何要素「平面4」により特定される部分に対応する部分は、一方向に並ぶ複数種類の色で表示される。これにより、使用者は、図24および図25の立体形状画像SIを視認することにより、幾何要素「平面3」および「平面4」に対応する測定対象物Sの傾斜面s23および垂直面s22が互いに平行でないことを容易に把握することができる。
使用者は、図24および図25の表示状態で、その他設定ボタン414を操作し、図17のチェックボックス421をチェックすることにより、中面を基準とする垂直面s22および傾斜面s23までの対比距離を同じ対応関係の色で表示させることができる。それにより、使用者は、測定対象物Sの長手方向における中心部分から垂直面s22までの距離と、測定対象物Sの長手方向における中心部分から傾斜面s23までの距離とを容易に対比することができる。
(3)表示態様設定機能の他の使用例
図26〜図30は、表示態様設定機能の他の使用例を説明するための図である。本例では、取っ手がない紙コップを測定対象物Sとして説明する。表示部400に幾何要素設定画面SC1が表示された状態で、図26に示すように、幾何要素「円錐1」および「平面10」が設定される。幾何要素「円錐1」は測定対象物Sの側面(外周面)全体に対応し、幾何要素「平面10」は測定対象物Sの開口端部を塞ぐ仮想平面に対応する。
その後、表示部400に表示態様設定画面SC2が表示された状態で、図27に示すように、幾何要素「平面10」が基準要素として指定されるとともに、設定された幾何要素「円錐1」が対象要素として指定される。この場合、幾何要素「平面10」を基準として対比距離に応じた表示態様を含む立体形状画像SIが表示される。
図27に示される立体形状画像SIによれば、測定対象物Sの側面を示す部分に、色表示バー411に示される複数種類の色が並ぶように表示されるが、測定対象物Sの側面に発生した膨らみまたは窪み等を把握することはできない。
そこで、図28に示すように、幾何要素「円錐1」の軸(中心軸)が基準要素として指定されるとともに、設定された幾何要素「円錐1」が対象要素として指定される。それにより、立体形状画像SIにおいては、測定対象物Sの側面を示す部分が幾何要素「円錐1」の軸を基準として対比距離に応じた色で表示される。本例における対比距離は、測定対象物Sの中心軸から側面までの距離である。したがって、図28の立体形状画像SIによれば、図27の立体形状画像SIに比べて測定対象物Sの側面に局部的な形状変化部が存在することを把握しやすい。
ここで、使用者は、図28の表示状態で、その他設定ボタン414を操作し、図17のチェックボックス423をチェックすることにより、上記の円錐補正を行うことができる。円錐補正について説明する。
理想的な円錐の側面は、その円錐の軸が延びる方向に対して一定の傾きを有する。この場合、図29(a)に示すように、円錐の軸axから当該円錐の側面まで延びる軸axの垂線plの長さは、頂点ppから離間するにつれて一定の比率で大きくなる。そのため、円錐の軸を幾何基準としかつ当該円錐の側面を対象要素として表示態様が設定された立体形状画像SIにおいては、円錐の軸方向に円錐の形状に起因する色の変化成分が現れる。
そこで、円錐補正では、円錐の形状に起因する色の変化成分が除去されるように、対比距離が補正される。具体的には、図29(b)に示すように、設定された円錐の幾何要素において、その軸ax上で基準位置αを定める。また、軸ax上の任意の位置βにおける当該軸axから側面までの垂線の長さd2が、基準位置αにおける当該軸axから側面までの垂線の長さd1に一致するように軸ax上の位置に応じた演算式を求める。このようにして算出された演算式に基づいて、実際に算出された対比距離を補正する。
上記の補正後の対比距離は、測定対象部分が理想的な円錐形状を有することにより一定の値を示すことになる。一方、測定対象部分が理想的な円錐形状から局所的にずれることにより大きくばらついた値を示すことになる。
それにより、円錐補正後の対比距離に基づいて表示態様が設定された立体形状画像SIにおいては、図30に示すように、測定対象物Sの側面の局所的な形状の変化が顕著に表れる。したがって、使用者は、測定対象物Sの側面に局部的な形状変化部が存在することをその形状とともに正確に把握することができる。図30の例によれば、測定対象物Sの側面の一部に局所的な膨らみが発生していることがわかる。
(4)表示態様設定機能のさらに他の使用例
図31〜図33は、表示態様設定機能のさらに他の使用例を説明するための図である。本例では、電球を測定対象物Sとして説明する。表示部400に幾何要素設定画面SC1が表示された状態で、図31に示すように、幾何要素「球1」および「平面11」が設定される。幾何要素「球1」は測定対象物Sのバルブ全体に対応し、幾何要素「平面10」は測定対象物Sの口金の下端部近傍で当該電球の中心軸に直交する仮想平面に対応する。
その後、表示部400に表示態様設定画面SC2が表示された状態で、図32に示すように、幾何要素「平面11」が基準要素として指定されるとともに、設定された幾何要素「球1」が対象要素として指定される。この場合、立体形状画像SIにおいては、測定対象物Sのバルブ全体を示す部分が幾何要素「平面11」を基準として対比距離に応じた色で表示される。
図32に示される立体形状画像SIによれば、測定対象物Sのバルブを示す部分に、色表示バー411に示される複数種類の色が並ぶように表示されるが、測定対象物Sのバルブの外面に発生した膨らみまたは窪み等を把握することはできない。
そこで、図33に示すように、幾何要素「球1」の中心が基準要素として指定されるとともに、幾何要素「球1」により特定される測定対象物Sのバルブの外面全体が対象要素として指定される。この場合、立体形状画像SIにおいては、測定対象物Sのバルブ全体を示す部分が幾何要素「球1」の中心を基準として対比距離に応じた色で表示される。本例における対比距離は、測定対象物Sのバルブの中心から当該バルブの外面までの距離である。したがって、図33の立体形状画像SIによれば、図32の立体形状画像SIに比べて測定対象物Sのバルブの外面に局部的な形状変化部が存在することをその形状とともに正確に把握することができる。
(5)表示態様設定機能を実現するためのCPU210の機能的構成
図34は、本発明の一実施の形態に係る表示態様設定機能を実現するためのCPU210の機能ブロック図である。図34に示すように、CPU210は、形状データ生成部211、表示制御部212、特定部213、要素受付部214および対応関係設定部215を含む。これらの構成要素は、CPU210が記憶装置240に記憶された表示態様設定プログラムを実行することにより実現される。なお、CPU210に含まれる上記の複数の構成要素の一部または全てが電子回路等のハードウェアにより実現されてもよい。
形状データ生成部211は、受光部120により出力される受光信号に基づいて、測定対象物Sの立体形状を表す点群データを立体形状データとして生成し、記憶装置240に記憶させる。表示制御部212は、記憶装置240に記憶された立体形状データに基づいて測定対象物Sの立体形状を含む画像を立体形状画像SIとして姿勢変更可能に表示部400に表示させる。また、表示制御部212は、後述する対応関係設定部215により設定された対応関係に基づいて立体形状画像SIのうちの測定対象部分に対応する部分の表示態様の設定を行う。さらに、表示制御部212は、設定された表示態様を含む立体形状画像SIを表示部400に表示させる。
要素受付部214は、使用者による操作部250の操作に基づいて、表示部400に表示された立体形状画像SI上で、幾何要素の指定を受け付ける。また、要素受付部214は、使用者による操作部250の操作に基づいて、設定された幾何要素を用いた基準要素および対象要素の指定を受け付ける。
特定部213は、要素受付部214により受け付けられた基準要素に基づいて、測定対象物Sの立体形状に関する幾何的な基準を幾何基準として特定する。また、特定部213は、要素受付部214により受け付けられた対象要素に基づいて、表示態様が設定されるべき測定対象物Sの測定対象部分を特定する。
対応関係設定部215は、使用者による操作部250の操作に基づいて、対比距離と色(表示態様)との対応関係を設定する。なお、対応関係設定部215は、特定部213により特定された測定対象部分の立体形状データと幾何基準との間の距離に基づいて、対比距離と色との対応関係を設定してもよい。例えば、対応関係設定部215は、算出される対比距離の最小値および最大値が互いに異なる種類の色で表示されるように、対比距離と色との対応関係を設定してもよい。
(6)表示態様設定処理
図35は、表示態様設定プログラムに基づく表示態様設定処理の基本的な流れを示すフローチャートである。本例では、初期状態で、予め図34の形状データ生成部211により測定対象物Sの立体形状データが生成され、図1の記憶装置240に記憶されているものとする。
表示態様設定処理は、使用者による表示態様設定機能の使用の指示に応答して開始される。表示態様設定処理が開始されると、図34の表示制御部212は、記憶装置240に記憶された測定対象物Sの立体形状データを読み込む(ステップS11)。また、表示制御部212は、読み込んだ立体形状データに基づいて図1の表示部400に測定対象物Sの立体形状画像SIを表示させる(ステップS12)。
次に、図34の要素受付部214は、表示部400に表示される立体形状画像SI上で幾何要素の指定を受け付ける(ステップS13)。この場合、受け付けられた幾何要素を示す情報は、記憶装置240に記憶される。
次に、要素受付部214は、指定された幾何要素を用いた基準要素の指定を受け付ける(ステップS14)。そこで、図34の特定部213は、要素受付部214により受け付けられた基準要素に基づいて、測定対象物Sの形状測定のための幾何基準を特定する(ステップS15)。この場合、特定された幾何基準を示す情報は、記憶装置240に記憶される。
次に、要素受付部214は、設定された幾何要素を用いた対象要素の指定を受け付ける(ステップS16)。そこで、図34の特定部213は、要素受付部214により受け付けられた対象要素に基づいて、測定対象物Sの測定対象部分を特定する(ステップS17)。この場合、特定された測定対象部分を示す情報は、記憶装置240に記憶される。
次に、図34の対応関係設定部215は、使用者による操作部250の操作に基づいて、対比距離と色(表示態様)との対応関係を設定する(ステップS18)。
その後、表示制御部212は、対応関係設定部215により設定された対応関係に基づいて立体形状画像SIのうちの測定対象部分に対応する部分の色を設定し、対比距離に応じた色を含む立体形状画像SIを表示部400に表示させる(ステップS19)。これにより、表示態様設定処理が終了する。
上記のステップS14〜S19の一連の処理は、例えば上記の表示態様設定画面SC2のOKボタンb05が操作されることにより行われる。
図35の表示態様設定処理においては、例えばステップS19の処理後に、使用者による操作部250の操作に応答して、ステップS13以降の処理が再度行われてもよい。この場合、再度行われるステップS19の処理で新たな表示態様を含む立体形状画像SIが表示部400に表示されることになる。
[6]効果
本実施の形態に係る三次元形状測定装置500においては、測定対象物Sの立体形状データが生成され、生成された立体形状データに基づく立体形状画像SIが表示部400に表示される。使用者による操作部250の操作に基づいて、立体形状画像SI上で1または複数の幾何要素が指定される。指定されたいずれかの幾何要素を用いて基準要素の指定がさらに受け付けられ、その基準要素に基づいて幾何基準が特定される。また、指定されたいずれかの幾何要素を用いて対象要素の指定がさらに受け付けられ、その対象要素に基づいて測定対象部分が特定される。測定対象部分と幾何基準との間の対比距離に応じて、立体形状画像SIのうち測定対象部分に対応する部分の表示態様が設定される。対比距離に応じた表示態様を含む立体形状画像SIが、表示部400に表示される。それにより、使用者は、対比距離に応じた表示態様を含む立体形状画像SIを視認することにより、所望の幾何基準と測定対象物Sの所望の部分の形状との関係を容易かつ直感的に把握することが可能になる。
また、本実施の形態に係る三次元形状測定装置500においては、投光部110A,110B、受光部120A,120Bおよびステージ140が一体的に設けられているので、受光部120A,120Bとステージ140との位置関係が一義的に定まる。そのため、高い精度で立体形状データとしての点群データを得ることができる。したがって、立体形状データに基づいて高い精度で測定対象物Sの形状測定を行うことができる。
[7]他の実施の形態
(1)平行面抽出機能
三次元形状測定装置500は、使用者による幾何要素の設定作業を補助するための平行面抽出機能を有してもよい。本例の平行面抽出機能は、平面の幾何要素が設定された場合に、設定された幾何要素に平行な測定対象物Sの平面部分を立体形状データに基づいて抽出し、抽出された平面部分を示す抽出画像を立体形状画像SI上に重畳表示する機能である。
図36および図37は、平行面抽出機能を説明するための幾何要素設定画面SC1の一例を示す図である。本例の幾何要素設定画面SC1においては、主表示領域maに図13の測定対象物Sの立体形状画像SIが示される。平行面抽出機能を有する三次元形状測定装置500においては、幾何要素設定画面SC1の副表示領域saに平行面抽出ボタンb11が表示される。
例えば、使用者は、図36に示すように、図13の測定対象物Sの底面s21に対応する幾何要素「平面0」を設定した後、平行面抽出ボタンb11を操作する。この場合、CPU210は、測定対象物Sの立体形状データに基づいて、測定対象物Sのうち直前に設定された幾何要素「平面0」に対して予め定められた範囲内の平行度を有する部分(以下、平行部分と呼ぶ。)が存在するか否かを判定する。平行部分が存在する場合、CPU210は、測定対象物Sの立体形状データから当該平行部分の立体形状データを抽出する。
なお、この場合、CPU210は、基準となる幾何要素「平面0」に対応する測定対象物Sの部分を抽出しなくてもよいし、抽出してもよい。本例では、CPU210は、幾何要素「平面0」に対応する測定対象物Sの部分を抽出しない。
さらに、CPU210は、抽出された立体形状データに基づいて、抽出された平行部分を示す抽出画像を、図37に示すように、立体形状画像SI上に重畳表示する。図37の例では、立体形状画像SIのうち図13の測定対象物Sの上段面s11および下段面s12に対応する部分にそれぞれ抽出画像が重畳表示されている。抽出画像は、設定済みの幾何要素とは識別可能な態様(例えば色)で表示される。
さらに、立体形状画像SI上には、抽出画像ごとに当該平行部分を個別に識別可能とするための名称が付される。図37の例では、2つの抽出画像にそれぞれ「抽出e1」および「抽出e2」の名称が付されている。
この状態で、使用者は、立体形状画像SI上の所望の抽出画像を選択し、設定ボタンb02を操作することにより、選択された抽出画像に対応する平行部分に基づいて新たな幾何要素を設定することができる。また、使用者は、立体形状画像SI上の所望の抽出画像を選択し、当該抽出画像を削除することもできる。
なお、平行部分を抽出するための基準となる幾何要素は、平行面抽出ボタンb11の操作の直前に設定される必要はなく、設定済みの複数の幾何要素から使用者により選択されてもよい。
(2)垂直面抽出機能
三次元形状測定装置500は、使用者による幾何要素の設定作業を補助するための垂直面抽出機能を有してもよい。本例の垂直面抽出機能は、平面の幾何要素が設定された場合に、設定された幾何要素に垂直な測定対象物Sの平面部分を立体形状データに基づいて抽出し、抽出された平面部分を示す抽出画像を立体形状画像SI上に重畳表示する機能である。
図38および図39は、垂直面抽出機能を説明するための幾何要素設定画面SC1の一例を示す図である。本例の幾何要素設定画面SC1においては、主表示領域maに電子部品からなる測定対象物Sの立体形状画像SIが示される。垂直面抽出機能を有する三次元形状測定装置500においては、幾何要素設定画面SC1の副表示領域saに垂直面抽出ボタンb12が表示される。
ここで、本例の測定対象物Sとなる電子部品は、集積回路を収容する略長方形状のパッケージを有するものとする。パッケージの両側部の各々においては、当該パッケージの内部から複数の帯状リードが引き出されている。複数の帯状リードは、パッケージの長手方向に並ぶ。各帯状リードは、パッケージの両側部から下方に延びるように屈曲されている。パッケージの上面に対して各帯状リードの上下方向に延びる部分は、略垂直であるものとする。
例えば、使用者は、図38に示すように、電子部品のパッケージの上面に対応する幾何要素「平面50」を設定した後、垂直面抽出ボタンb12を操作する。この場合、CPU210は、測定対象物Sの立体形状データに基づいて、測定対象物Sのうち直前に設定された幾何要素「平面50」に対して予め定められた範囲内の垂直度を有する部分(以下、垂直部分と呼ぶ。)が存在するか否かを判定する。垂直部分が存在する場合、CPU210は、測定対象物Sの立体形状データから当該垂直部分の立体形状データを抽出する。
さらに、CPU210は、抽出された立体形状データに基づいて、抽出された垂直部分を示す抽出画像を、図39に示すように、立体形状画像SI上に重畳表示する。図39の例では、立体形状画像SIのうち電子部品の複数の帯状リードの外面に対応する部分にそれぞれ抽出画像が重畳表示されている。抽出画像は、設定済みの幾何要素とは識別可能な態様(例えば色)で表示される。
さらに、立体形状画像SI上には、抽出画像ごとに当該垂直部分を個別に識別可能とするための名称が付される。図39の例では、14個の抽出画像にそれぞれ「抽出e1」〜「抽出e14」の名称が付されている。
この状態で、使用者は、立体形状画像SI上の所望の抽出画像を選択し、設定ボタンb02を操作することにより、選択された抽出画像に対応する垂直部分に基づいて新たな幾何要素を設定することができる。また、使用者は、立体形状画像SI上の所望の抽出画像を選択し、当該抽出画像を削除することもできる。
なお、垂直部分を抽出するための基準となる幾何要素は、平行面抽出ボタンb11の操作の直前に設定される必要はなく、設定済みの複数の幾何要素から使用者により選択されてもよい。
(3)領域抽出機能
三次元形状測定装置500は、使用者による幾何要素の設定作業を補助するための領域抽出機能を有してもよい。本例の領域抽出機能は、使用者により立体形状画像SI上で特定の領域が選択された場合に、選択された領域内に位置する測定対象物Sの平面部分を立体形状データに基づいて抽出し、抽出された平面部分を示す抽出画像を立体形状画像SI上に重畳表示する機能である。
図40および図41は、領域抽出機能を説明するための幾何要素設定画面SC1の一例を示す図である。本例の幾何要素設定画面SC1においては、図38および図39の例と同様に、主表示領域maに電子部品からなる測定対象物Sの立体形状画像SIが示される。本例の測定対象物Sとなる電子部品は、図38および図39に示される測定対象物Sの電子部品と同じである。領域抽出機能を有する三次元形状測定装置500においては、幾何要素設定画面SC1の副表示領域saに領域抽出ボタンb13が表示される。
例えば、使用者は、領域抽出ボタンb13を操作した後、図40に太い一点鎖線で示すように、立体形状画像SI上で所望の領域を選択する。この領域の選択は、例えば立体形状画像SI上の複数の部分を使用者がシングルクリック操作することにより行われる。
この場合、CPU210は、測定対象物Sの立体形状データに基づいて、選択された領域内の画像に対応する測定対象物Sの部分で予め定められたサイズ以上の平面部分(以下、領域内部分と呼ぶ。)が存在するか否かを判定する。領域内部分が存在する場合、CPU210は、測定対象物Sの立体形状データから当該領域内部分の立体形状データを抽出する。
さらに、CPU210は、抽出された立体形状データに基づいて、抽出された領域内部分を示す抽出画像を、図41に示すように、立体形状画像SI上に重畳表示する。図41の例では、立体形状画像SIのうち使用者により選択された領域内に位置しかつ電子部品の複数の帯状リードの外面に対応する部分にそれぞれ抽出画像が重畳表示されている。
さらに、立体形状画像SI上には、抽出画像ごとに当該領域内部分を個別に識別可能とするための名称が付される。図39の例では、7個の抽出画像にそれぞれ「抽出e1」〜「抽出e7」の名称が付されている。
この状態で、使用者は、立体形状画像SI上の所望の抽出画像を選択し、設定ボタンb02を操作することにより、選択された抽出画像に対応する領域内部分に基づいて新たな幾何要素を設定することができる。また、使用者は、立体形状画像SI上の所望の抽出画像を選択し、当該抽出画像を削除することもできる。
(4)テンプレート設定機能
三次元形状測定装置500は、使用者による幾何要素の指定作業、基準要素の指定作業および対象要素の指定作業を補助するためのテンプレート設定機能を有してもよい。本例のテンプレート設定機能は、同一形状を有する複数の測定対象物Sについて同一内容の形状測定を順次行う場合に、一の測定対象物Sに対して行われた各種作業を他の測定対象物Sについて自動的に再現する機能である。
テンプレート設定機能では、予め使用者によって基準とすべき測定対象物Sが定められる。以下、基準とされた測定対象物Sを基準対象物と呼ぶ。使用者は、操作部250を操作することにより、基準対象物について立体形状データの生成、幾何要素の指定、基準要素の指定および対象要素の指定等を行う。この場合、CPU210は、使用者による操作部250の操作内容に基づいて、基準対象物に対する幾何要素の指定、基準要素の指定および対象要素の指定の操作手順をテンプレート情報として記憶する。
その後、使用者は、基準対象物と同じ形状を有する他の測定対象物Sについて立体形状データを生成した後、上記のテンプレート設定機能の使用を指令する。この場合、CPU210は、記憶されたテンプレート情報に基づいて、基準対象物について指定された幾何要素に対応する幾何要素を他の測定対象物Sについて指定する。また、CPU210は、テンプレート情報に基づいて、基準対象物について指定された基準要素および対象要素に対応する基準要素および対象要素を他の測定対象物Sについて指定する。
これにより、使用者は、基準対象物について幾何要素の指定、基準要素の指定および対象要素の指定を行った後は、同一形状を有する他の測定対象物Sについて改めて同じ作業を繰り返すことなく測定対象部分の色が対比距離に応じた色で表された立体形状画像SIの確認等を行うことができる。したがって、三次元形状測定装置500の利便性が向上する。
ところで、上記のテンプレート設定機能を有効に利用するためには、基準対象物の立体形状データと他の測定対象物Sの立体形状データとの位置関係を正確に把握する必要がある。例えば、立体形状データの生成時における基準対象物の姿勢と他の測定対象物Sの姿勢とが互いに大きく異なる場合には、上記のテンプレート情報を用いても適切な幾何要素の指定等を行うことができない。
そこで、本例では、テンプレート設定機能の使用が指令されると、その事前処理として他の測定対象物Sの立体形状データを基準対象物の立体形状データに合わせこむ処理(以下、合わせこみ処理と呼ぶ。)が行われる。
合わせこみ処理が開始されることにより、合わせこみ画面が表示部400に表示される。図42および図43は、表示部400に表示される合わせこみ画面の一例を示す図である。合わせこみ画面SC3においては、表示部400の表示領域が、第1主表示領域ma1、第2主表示領域ma2、第3主表示領域ma3および副表示領域saに分割されている。
第1主表示領域ma1に他の測定対象物Sの立体形状画像SIが表示され、第2主表示領域ma2に基準対象物の立体形状画像SIが表示される。第3主表示領域ma3に、基準対象物の立体形状データに対する他の測定対象物Sの立体形状データの合わせこみの程度が画像で表示される。具体的には、基準対象物の立体形状画像SIと他の測定対象物Sの立体形状画像とが共通の座標系に従って互いに異なる色で表示される。図42および図43の例では、互いに異なる2種類の色がドットパターンとハッチングとで示される。
副表示領域saには、要素種類選択欄es、位置合わせ要素表示欄et、戻るボタンb21および適用ボタンb22が表示される。要素種類選択欄esには、上記実施の形態と同様に、複数の幾何的な要素の種類にそれぞれ対応する複数の項目アイコンicが表示される。位置合わせ要素表示欄etについては後述する。
表示部400に合わせこみ画面SC3が表示された状態で、使用者は、第1主表示領域ma1に表示される立体形状画像SI上で他の測定対象物Sの姿勢を変更することができる。また、使用者は、第2主表示領域ma2に表示される立体形状画像SI上で基準対象物の姿勢を変更することができる。
そこで、使用者は、他の測定対象物Sを含む立体形状画像SIと基準対象物を含む立体形状画像SIとを対比しつつ、共通の形状を有しかつ互いに対応する部分を位置合わせ要素として3組指定する。このとき、使用者は、要素種類選択欄esに表示された複数の項目アイコンicのいずれかを操作することにより、指定対象となる位置合わせ要素の種類を選択することができる。
副表示領域saの位置合わせ要素表示欄etには、他の測定対象物Sおよび基準対象物に関して3組の位置合わせ要素が指定されたか否かが示される。図42の例では、3組の位置合わせ要素は全く指定されていない。
使用者は、例えば1組目の位置合わせ要素を指定するために平面に対応する項目アイコンicを操作する。その後、他の測定対象物Sを含む立体形状画像SI上および基準対象物を含む立体形状画像SI上で互いに対応する平面部分をそれぞれダブルクリック操作により指定する。これにより、他の測定対象物Sおよび基準対象物について1組目の位置合わせ要素(図43の「平面A」)の指定が完了する。
次に、使用者は、1番目の位置合わせ要素の指定と同様の手順で、他の測定対象物Sおよび基準対象物について2番目および3番目の位置合わせ要素(図43の「平面B」および「平面C」)を順次指定する。このとき、図43に示すように、指定された位置合わせ要素は、第1主表示領域ma1および第2主表示領域ma2に表示される立体形状画像SI上に逐次識別可能に表示される。
3組の位置合わせ要素が指定されると、CPU210は、3組の位置合わせ要素に対応する他の測定対象物Sの3つの部分が、3組の位置合わせ要素に対応する基準対象物の3つの部分にそれぞれ一致するように、他の測定対象物Sの立体形状データの座標変換を行う。
基準対象物の立体形状データに対する他の測定対象物Sの立体形状データの合わせこみが正確に行われることにより、図43に示すように、第3主表示領域ma3に表示される立体形状画像SIの基準対象物の位置および姿勢と他の測定対象物Sの位置および姿勢とが一致する。
使用者は、合わせこみ画面SC3における第3主表示領域ma3の表示状態を確認しつつ、問題がないと判断すると適用ボタンb22を操作する。それにより、合わせこみ処理が完了する。戻るボタンb21は、使用者が合わせこみ処理の取り消しを指令するためのボタンである。使用者は、表示部400に合わせこみ画面SC3が表示された状態で戻るボタンb21を操作する。それにより、表示部400の表示状態が通常の形状計測時の状態(例えば図9〜図12に示される状態)に戻る。
なお、図43の例では、3つの位置合わせ要素として「平面A」、「平面B」および「平面C」が指定されているが、これらの要素のうち「平面B」および「平面C」は互いに平行な面である。3つの面を用いて上記の合わせこみを行う場合には、3つの位置合わせ要素は互いに交差するように設定されることが望ましい。したがって、例えば図43の例では、「平面B」に代えて一点鎖線で示される「平面D」が位置合わせ要素として指定されてもよい。この場合、互いに交差する位置合わせ要素「平面A」、「平面C」および「平面D」を用いることにより、より高い精度で立体形状データの合わせこみを行うことが可能となる。
(5)対比強調表示機能
三次元形状測定装置500は、幾何基準に対する測定対象部分の幾何的な対比結果を使用者に容易に理解させるための対比強調表示機能を有してもよい。本例の対比強調表示機能は、一方向に延びる幾何基準と他方向に延びる測定対象物Sの測定対象部分とが特定される場合に、当該幾何基準に対する当該測定対象部分の傾斜する向きを表す指標(以下、傾斜指標と呼ぶ。)を立体形状画像SI上に重畳表示させる機能を含む。さらに、本例の対比強調表示機能は、当該幾何基準に対する当該測定対象部分の傾斜する向き(以下、単に傾斜の向きと呼ぶ。)を強調して表すように、傾斜指標の表示態様を調整する機能を含む。以下、対比強調表示機能の使用例について説明する。
図44は、測定対象物Sの他の例を示す外観斜視図である。図44の測定対象物Sは、扁平な直方体形状を有する第1の部材p1、第2の部材p2および第3の部材p3から構成される。第1の部材p1および第2の部材p2は、間隔をおいて互いに対向するように第3の部材p3により連結されている。第1の部材p1および第2の部材p2には、それぞれ円形の第1の貫通孔h1および第2の貫通孔h2が形成されている。
図44の測定対象物Sについて、第2の貫通孔h2の中心軸が第1の貫通孔h1の中心軸に対してどの方向に傾斜しているのかを知りたい場合、使用者は、最初に図44の測定対象物Sについての立体形状データを生成する。その後、使用者は、対比強調表示機能を使用する。
図45〜図47は、対比強調表示機能の一使用例を説明するための図である。図45に示すように、対比強調表示機能を有する三次元形状測定装置500においては、幾何要素設定画面SC1の副表示領域saに傾斜確認ボタンb31が表示される。
例えば、使用者は、主表示領域maに図44の測定対象物Sに対応する立体形状画像SIが表示された状態で、図44の第1の貫通孔h1の内周面に対応する幾何要素「円筒1」を設定する。また、使用者は、図44の第2の貫通孔h2の内周面に対応する幾何要素「円筒2」を設定する。その後、使用者は、傾斜確認ボタンb31を操作する。
それにより、図46に示すように、表示部400に表示される画面が幾何要素設定画面SC1から傾斜確認画面SC4に切り替わる。傾斜確認画面SC4は、対応関係設定欄dcに代えて傾斜確認設定欄euが表示される点を除いて、上記の表示態様設定画面SC2と基本的に同じである。
傾斜確認設定欄euには、チェックボックス431および強調度合い調整バー432が表示される。チェックボックス431は、幾何基準および測定対象部分としてそれぞれ軸が指定される際に、傾斜の向きを強調するように傾斜指標を表示させるか否かを設定するために用いられる。使用者は、チェックボックス431をチェックすることにより、傾斜の向きを強調するように傾斜指標を表示させることができる。
強調度合い調整バー432はスライダを含む。使用者は、強調度合い調整バー432のスライダを操作することにより、傾斜指標により示される傾斜の向きの強調度合いを調整することができる。
本例では、図46に示すように、使用者は、対象要素として幾何要素「円筒2」の軸を指定し、基準要素として幾何要素「円筒1」の軸を指定するものとする。この場合、図46に一点鎖線で示すように、幾何要素「円筒1」の軸および幾何要素「円筒2」の軸を示す画像が立体形状画像SI上に重畳表示される。
この状態で、OKボタンb05が操作されることにより、図46に白抜きの矢印で示すように、幾何要素「円筒1」の軸に対する幾何要素「円筒2」の軸の傾斜する向きを示す傾斜指標が立体形状画像SI上に重畳表示される。
ここで、幾何要素「円筒1」の軸に対する幾何要素「円筒2」の軸の傾斜角度が小さいと、使用者は、傾斜指標を視認しても、幾何要素「円筒1」の軸に対して幾何要素「円筒2」の軸はどの方向に傾斜しているのかを把握することが難しい。そこで、使用者は、チェックボックス431をチェックし、強調度合い調整バー432を操作する。この場合、図47に示すように、幾何要素「円筒1」の軸に対する幾何要素「円筒2」の軸の傾斜の向きが、傾斜指標により強調表示される。具体的には、装置座標系における基準軸(本例では、幾何要素「円筒1」の軸)に対する対象軸(本例では、幾何要素「円筒2」の軸)の交差角度が、傾斜指標により過大に表示される。それにより、使用者は、幾何要素「円筒1」の軸に対して幾何要素「円筒2」の軸が傾斜する向きを容易に把握することができる。
なお、対比強調表示機能を有する三次元形状測定装置500においては、図34の表示制御部212は、特定された測定対象部分と幾何基準との幾何的な対比結果として、上記の傾斜の向きを示す傾斜指標を表示部400に表示させる。また、表示制御部212は、使用者による操作部250の操作に応答して、傾斜の向きが強調して表されるように傾斜指標の表示態様を調整する。
(6)その他
上記実施の形態では、1または複数の幾何要素が指定および設定された後、設定されたいずれかの幾何要素を用いて基準要素が指定されるが、本発明はこれに限定されない。幾何要素の指定時に、当該幾何要素が基準要素として指定されてもよい。同様に、上記実施の形態では、1または複数の幾何要素が設定された後、設定されたいずれかの幾何要素を用いて対象要素が指定されるが、本発明はこれに限定されない。幾何要素の指定時に、当該幾何要素が対象要素として指定されてもよい。
上記実施の形態では、受光部120A,120Bに単眼カメラが用いられるが、単眼カメラに代えてまたは単眼カメラに加えて、複眼カメラが用いられてもよい。また、複数の受光部120Aおよび複数の受光部120Bが用いられ、ステレオ法によって立体形状データが生成されてもよい。また、上記実施の形態では、2つの投光部110が用いられるが、立体形状データの生成が可能であれば、1つの投光部110のみが用いられてもよく、または3つ以上の投光部110が用いられてもよい。
また、投光部110からの均一な測定光を用いてテクスチャ画像データを取得する場合には、照明光出力部130および照明光源320が設けられなくてもよい。また、パターン画像データを合成してテクスチャ画像データを生成することも可能であり、その場合にも照明光出力部130および照明光源320が設けられなくてもよい。
また、上記実施の形態では、パターン画像データおよびテクスチャ画像データが共通の受光部120A,120Bによって取得されるが、立体形状データを取得するための受光部と、ライブ画像データおよびテクスチャ画像データを取得するための受光部とが別個に設けられてもよい。
また、上記実施の形態では、三角測距法により点群データが生成されるが、TOF(Time Of Flight)法等の他の方法により点群データが生成されてもよい。
[8]請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。
上記実施の形態においては、形状データ生成部211が形状データ生成部の例であり、表示制御部212が表示制御部の例であり、要素受付部214が要素受付部の例であり、特定部213が特定部の例であり、三次元形状測定装置500が三次元形状測定装置の例である。
また、傾斜指標が指標の例であり、設置部161および回転機構143がステージ保持部の例であり、ステージ140がステージの例であり、投光部110,110A,110Bが投光部の例であり、受光部120,120A,120Bが受光部の例であり、ヘッド部190がヘッド部の例であり、スタンド部162が連結部の例である。
さらに、対応関係設定部215が対応関係設定部の例であり、操作部250が操作部の例であり、CPU210がテンプレート記憶部およびテンプレート指定部の例であり、PC200が処理装置の例である。
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。