JP2008046952A - 画像合成方法および表面観察装置 - Google Patents

Abstract

【課題】迅速に合成画像を作成可能な画像合成方法および表面観察装置を提供する。
【解決手段】画像合成方法は、撮影部２の焦点をパンチ３の基準位置Ｐ₀₁、Ｐ₀₂に合わせる合焦ステップ（ステップＳ４）と、パンチ３の三次元形状を表す座標データ２２に基づいて、撮影部２の焦点を撮影部２の焦点深度以下の距離だけ移動させた移動位置Ｐ₁₁、Ｐ₁₂に移す移動ステップ（ステップＳ７）と、基準位置Ｐ₀₁、Ｐ₀₂および移動位置Ｐ₁₁、Ｐ₁₂におけるパンチ３の表面を撮影部２によってそれぞれ撮影する撮影ステップ（ステップＳ５）と、撮影ステップで撮影した画像２１の焦点の合っている画像領域Ｇ₀₁〜Ｇ₁₂を表す領域データ２３に基づいて、画像領域Ｇ₀₁〜Ｇ₁₂を選択して切り取る切取ステップ（ステップＳ８）と、画像領域Ｇ₀₁〜Ｇ₁₂を繋ぎ合わせて合成画像５０を作成する合成ステップ（ステップＳ９）と、を有することを特徴とする。
【選択図】図８

Description

本発明は、画像合成方法および画像合成方法を用いた表面観察装置に関する。

従来、部分的に異なる奥行きを有する被写体（被観察物）を撮影するために、全フォーカス法を用いることが知られている。全フォーカス法によれば、撮影部を被写体の奥行き方向に微小距離ずつ移動させながら撮影位置を変え、撮影位置毎に撮影した被写体の画像を取得する。そして、取得したそれぞれの画像の中から焦点の合っている部分を切り出して合成することにより、奥行きの異なる被写体のいずれの部分をも、鮮明に表示した合成画像が得られる（たとえば特許文献１）。

特開２０００−２７６１２１号公報

しかし、従来の技術では、被写体の焦点の合った部分を抽出するために、各種のフィルタリング手法を用いて複雑で膨大な画像処理を行う必要があった。そのため、画像処理部が肥大化し、さらに、合成画像を得るまでの時間がかかるという課題が生じていた。

本発明は、上記課題を解決するために、迅速に合成画像を作成可能な画像合成方法および表面観察装置を提供することを目的とする。

本発明の画像合成方法は、撮影部の焦点を被観察物の基準位置に合わせる合焦ステップと、被観察物の三次元形状を表す座標データに基づいて、撮影部の焦点を撮影部の焦点深度以下の距離だけ移動させた移動位置に移す移動ステップと、基準位置および移動位置における被観察物の表面を撮影部によってそれぞれ撮影する撮影ステップと、撮影ステップで撮影した画像の焦点の合っている画像領域を表す領域データに基づいて、前記画像領域を選択して切り取る切取ステップと、画像領域を繋ぎ合わせて合成画像を作成する合成ステップと、を有することを特徴とする。

この画像合成方法によれば、三次元形状を有する被観察物のいずれの部分にも焦点のあった合成画像を作成するために、まず、被観察物の焦点の合わせやすい部分である基準位置に撮影部の焦点を合わせる（合焦ステップ）。そして、基準位置における被観察物の表面を撮影する（撮影ステップ）。撮影した画像は、撮影部の焦点深度内に位置する被観察物の表面部を撮影した部分が、焦点の合っている、いわゆるピントの合った、鮮明な状態の画像領域であり、撮影部の焦点深度外に位置する他の表面部が、いわゆるピントの外れたボケた状態である。次に、撮影部を撮影部の焦点深度以下の距離だけ移動させ（移動ステップ）、移動した移動位置における被観察物の表面を撮影する（撮影ステップ）。移動位置で撮影した画像は、基準位置での画像と同様、撮影部の焦点深度内に位置する被観察物の表面部を撮影した部分が、鮮明な状態の画像領域である。撮影後、基準位置および移動位置のそれぞれの画像から鮮明な画像領域のみを選択して切り取る（切取ステップ）。この時、画像領域は、事前に取得してある被観察物の座標データおよび領域データに基づいて特定されている。従って、切取ステップでは、特定されている領域を選択して切り取れば良く、画像領域と画像領域以外の領域をフィルタリング等で処理して選択する必要が無い。次に、切り取った画像領域を順に繋ぎ合わせて合成画像を作成する（合成ステップ）。合成画像の作成により、撮影部の焦点深度内に収まらない三次元形状をなしている被観察物であっても、被観察物の撮影可能な部分がいずれも鮮明な状態で得られる。この方法によれば、形状が既知である被観察物の表面状態を表す合成画像を、迅速に、作成可能である。

この場合、合成画像を表示部に表示する表示ステップをさらに有することが好ましい。

この方法によれば、表示ステップをさらに有し、合成画像を表示部に表示することにより、迅速に作成した合成画像の確認がリアルタイムに行える。従って、多量の被観察物の表面を観察してチェックする場合などにおいて、短時間に、且つ、容易にチェックを行うことが可能である。

この場合、被観察物を回転させる回転ステップをさらに有することが好ましい。

この方法によれば、回転ステップをさらに有し、被観察物を回転させることにより、被観察物の撮影部と対極側にある表面部の撮影が、連続して行える。これにより、撮影部に対して、被観察物の位置を変えて再度取り付け直す必要が無くなり、被観察物の全周撮影が容易に行える。

この場合、移動ステップは、複数回実行されることが好ましい。

この方法によれば、移動ステップを複数回実行することにより、移動ステップでの移動方向の長さが、撮影部の焦点深度より複数倍長い被観察物であっても、複数回の撮影によって、合成画像に必要な画像領域を、容易に、取得可能である。

本発明の表面観察装置は、被観察物を載置するための載置部と、被観察物の表面を撮影する撮影部と、被観察物の三次元形状を表す座標データを記憶している記憶部と、座標データを基に撮影部を撮影部の焦点深度以下の距離ずつ移動させる移動部と、撮影部が撮影した画像の焦点の合っている画像領域を表す領域データに基づいて、前記画像領域を選択して切り取る切取部と、画像領域のそれぞれを繋ぎ合わせて合成画像を作成する合成部と、を備えていることを特徴とする。

この表面観察装置によれば、三次元形状を有する被観察物のいずれの部分にも焦点のあった合成画像を作成するための載置部、撮影部、記憶部、移動部、切取部および合成部を有している。まず、載置部に被観察物が載置されると、撮影部が被観察物の表面を撮影する。この時、撮影した画像は、撮影部の焦点深度内に位置する被観察物の表面部を撮影した部分が、焦点の合っている、いわゆるピントの合った、鮮明な状態の画像領域であり、撮影部の焦点深度外に位置する他の表面部が、いわゆるピントの外れたボケた状態である。次に、移動部が撮影部を撮影部の焦点深度以下の距離ずつ移動させる。そして、撮影部は、移動した位置における被観察物の表面を撮影する。移動した位置で撮影した画像も、撮影部の焦点深度内に位置する被観察物の表面部を撮影した部分が、鮮明な状態の画像領域である。撮影後、切取部は、それぞれの画像から鮮明な画像領域のみを選択して切り取る。この時、画像領域は、事前に取得してある被観察物の座標データおよび領域データに基づいて特定されており、切取部は、特定されている領域を選択すれば良い。従って、切取ステップにおいて、画像領域と画像領域以外の領域をフィルタリング等で処理して、処理結果に基づいて選択する等の必要が無い。次に、合成部が切り取った画像領域を順に繋ぎ合わせて合成画像を作成する。合成画像の作成により、撮影部の焦点深度内に収まらない三次元形状をなしている被観察物であっても、被観察物の撮影可能な部分がいずれも鮮明な状態で得られる。この表面観察装置によれば、形状が既知である被観察物の表面状態を表す合成画像を、迅速に、作成することが可能である。

この場合、合成画像を表示する表示部をさらに備えていることが好ましい。

この構成によれば、表面観察装置は、表示部をさらに有し、合成画像を表示部に表示することにより、迅速に作成した合成画像の確認がリアルタイムに行える。従って、多量の被観察物を観察してチェックする場合などにおいて、短時間に、且つ、容易にチェックを行うことが可能である。

この場合、被観察物は、載置部に載置された固定治具の回転部に取り付けられていることが好ましい。

この構成によれば、表面観察装置は、被観察物を回転させることが可能であり、被観察物の撮影部と対極側にある表面部の撮影が可能である。これにより、撮影部に対して被観察物の位置を変えるために、再度取り付け直す必要が無くなり、被観察物の全周撮影が、容易に、行える。

以下、本発明を具体化した実施形態について図面に従って説明する。実施形態では、表面観察装置によって、プレス抜き加工用のパンチの表面状態を撮影し、キズ等の有無を観察チェックする場合を例にして説明する。表面状態の確認は、撮影した画像を基に作成した合成画像によって行われる。
（実施形態）

図１は、本発明の表面観察装置の構成を示す模式図である。表面観察装置１は、撮影部２と、被観察物であるパンチ３を固定治具４を介して載置しＸ軸方向に移動可能なＸ軸ステージ（載置部）５と、Ｙ軸方向に移動可能なＹ軸ステージ６と、撮影部２をＺ軸方向に移動させるＺ軸ステージ（移動部）７と、を備えている。また、撮影部２は、パンチ３を撮影するためのＣＣＤカメラ２ａと、カメラレンズ２ｂと、を有し、固定治具４は、パンチ３を回転させる回転部４ａを有する。そして、表面観察装置１は、さらに、制御部１０を備えており、制御部１０は、撮影部２、Ｘ軸ステージ５、Ｙ軸ステージ６およびＺ軸ステージ７を制御すると共に、各種データや指示の入力を行うための入力部２０と、撮影したパンチ３の合成画像などを表示するための表示部２５と、を制御する。

次に、図２は、表面観察装置の制御部の構成を示すブロック図である。制御部１０は、ＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、を有する。ＲＯＭ１２は、合成画像を作成するための画像合成プログラム１８を有する読み書き自在な不揮発性メモリであり、ＲＡＭ１３は、撮影部２が撮影したパンチ３の画像２１と、入力部２０から入力されるデータであってパンチ３の三次元データを表す座標データ２２と、パンチ３の画像２１において焦点が合っている画像領域を予め演算した領域データ２３と、画像領域を合成した合成画像５０と、を一時的に記憶する記憶部としてのメモリである。さらに、制御部１０は、撮影部２を制御する撮影制御部１４と、Ｘ軸ステージ５、Ｙ軸ステージ６およびＺ軸ステージ７をそれぞれ制御する駆動制御部１５と、表示部２５を制御する表示制御部１６と、入力部２０を制御する入力制御部１７と、を有する。

このような構成の制御部１０において、ＣＰＵ１１は、ＲＯＭ１２の画像合成プログラム１８に基づいて、領域データ２３を参照して画像２１から画像領域を切り取る切取部および切り取った画像領域を繋ぎ合わせて合成する合成部として機能すると共に、ＲＯＭ１２の図示していないファームウエアに基づいて制御部１０の全体を制御する。そして、パンチ３の座標データ２２は、撮影部２の焦点深度に合わせて、パンチ３に対して焦点位置を変えて複数回撮影することにより、得られた複数の画像２１の中に三次元形状のパンチ３の表面の鮮明な画像領域を漏れなく得るためのものである。また、領域データ２３は、各画像２１の中の焦点の合っている鮮明な部分である画像領域を、予め演算して特定したものである。座標データ２２および領域データ２３の詳細については、図４に基づいて後述する。

ここで、被観察物のパンチ３について、簡単に説明する。図３（ａ）は、パンチの外観を示す平面図、（ｂ）は、ノズルプレートへのノズルのプレス加工を示す断面図、（ｃ）は、ノズルからの液滴の吐出を示す断面図である。パンチ３は、インクジェット装置において、各種の材料液を液滴状態で吐出するためのノズルを加工する工具であって、図３（ａ）に示すように、直径がｄで、長さがｅの円柱状をなしている打抜部３ａと、パンチ３をプレス機にとりつけるための直径がｄより大きな保持部３ｃと、打抜部３ａと保持部３ｃとの間に設けられている略円錐状の鍛造部３ｂと、を有する。この場合、直径ｄが２０μｍ、長さｅが８０μｍである。

このパンチ３をプレス機に取り付け、図３（ｂ）に示すように、厚さ８０μｍのノズルプレート３０にノズル３１を加工する。まず、パンチ３に対して、ノズルプレート３０のノズル３１を加工する位置を合わせる。そして、プレス機を作動させて、パンチ３の打抜部３ａによってノズルプレート３０を円形に打抜く。打抜部３ａに続いて、さらに、パンチ３の鍛造部３ｂによって、円錐状部を形成する。これにより、ノズル３１は、断面形状が漏斗状の形状に加工される。打抜部３ａの加工によって生じたカエリ等は、研削加工で除去する。

このように加工されたノズルプレート３０は、インクジェット装置に装着され、図３（ｃ）に示すように、ノズルプレート３０に形成されたノズル３１の漏斗状に開いた側に材料液４０が貯留されている。材料液４０に圧力Ｗが加えられると、材料液４０は、ノズル３１から押し出され、液滴４１となって吐出される。この時、規定量の液滴４１を所定の方向へ吐出させるためには、ノズル３１の寸法精度の確保および表面にキズ等のない面精度が要求される。そのためには、ノズル３１を加工するパンチ３の寸法精度およびパンチ表面の面精度を確保する必要がある。表面観察装置１は、パンチ３の表面にキズ、割れ、異物、歪みなどがないかを観察し、面精度を保証するためのチェックに用いられるものである。

次に、表面観察装置１によってパンチ３の表面を撮影した画像から、焦点の合っている画像領域を切り取り、合成画像を作成してパンチ３の面精度を観察チェックする方法について説明する。図４は、撮影部により撮影したパンチ表面各部の画像領域を示す模式図である。また、図５（ａ）は、撮影部から最遠部の画像領域を示す平面図、（ｂ）は、撮影部から最遠部の画像領域に隣接する画像領域を示す平面図である。そして、図６（ｃ）は、撮影部から最近部の画像領域に隣接する画像領域を示す平面図、（ｄ）は、撮影部から最近部の画像領域を示す平面図である。図４は、図１に示す撮影部２およびパンチ３の打抜部３ａの円形面をＹ軸方向に沿って見た図であり、図中の撮影部２内には、撮影部２が捉える画像領域Ｇ₀₁〜Ｇ₃₁を模式的に表してある。この場合、撮影部２は、パンチ３の撮影部２の側の半周面を画像２１として撮影可能である。また、図５および図６は、図４の画像領域Ｇ₀₁〜Ｇ₃₁個々の詳細を示している。

図４に示すように、表面観察装置１は、打抜部３ａの半周面を漏れなく鮮明に撮影するために、移動距離ｈの間隔で位置する撮影位置Ｚ₀〜Ｚ₃の各々で合計４回の撮影を行う。この場合、移動距離ｈは、撮影部２の焦点深度と同じ値に設定する。最初に、撮影位置Ｚ₀において、パンチ３を撮影するため、まず、オートフォーカス機能に連動するＺ軸ステージ７によって撮影部２を移動させ、焦点の合わせ易いパンチ３のエッジ（外周位置）である基準位置Ｐ₀₁およびＰ₀₂に撮影部２の焦点を合わせる。さらに、撮影部２の焦点深度を考慮して、焦点深度の撮影部２から最遠部が、基準位置Ｐ₀₁およびＰ₀₂に合致するように撮影部２を移動させる。つまり、撮影部２をｈ／２だけパンチ３から離反させることにより、基準位置Ｐ₀₁およびＰ₀₂において、撮影部２の焦点深度内にあって鮮明に撮影可能なパンチ３の半周面の領域を増やすことが可能である。

この鮮明に撮影可能なパンチ３の半周面の領域が、基準位置Ｐ₀₁と基準位置Ｐ₀₁からＺ軸方向に移動距離ｈだけ離れた移動位置Ｐ₁₁との間の撮影面Ｆ₀₁、および、基準位置Ｐ₀₂と基準位置Ｐ₀₂からＺ軸方向に移動距離ｈだけ離れた移動位置Ｐ₁₂との間の撮影面Ｆ₀₂である。基準位置Ｐ₀₁と移動位置Ｐ₁₁との間、および、基準位置Ｐ₀₂と移動位置Ｐ₁₂との間が撮影部２の焦点深度である。焦点深度内の撮影面Ｆ₀₁は、撮影部２で撮影された画像２１において、画像領域幅Ｌ₀₁を有する鮮明な画像領域Ｇ₀₁である。同様に、焦点深度内の撮影面Ｆ₀₂は、撮影部２で撮影された画像２１において、画像領域幅Ｌ₀₂を有する鮮明な画像領域Ｇ₀₂である。撮影位置Ｚ₀で撮影した画像２１は、画像領域Ｇ₀₁およびＧ₀₂に該当する部分が鮮明に撮影されており、他の撮影面の部分は不鮮明な、いわゆるピンボケである。

撮影位置Ｚ₀において撮影部２が撮影したパンチ３は、図５（ａ）に示すように、打抜部３ａの撮影面Ｆ₀₁が画像領域幅Ｌ₀₁および長さｅの長方形をなす鮮明な画像領域Ｇ₀₁であって、他の撮影面を含んだ画像２１としてＲＡＭ１３に記憶される。同時に、打抜部３ａの撮影面Ｆ₀₂も、画像領域幅Ｌ₀₂および長さｅの長方形をなす鮮明な画像領域Ｇ₀₂としてＲＡＭ１３に記憶される。

撮影位置Ｚ₀での撮影終了後、Ｚ軸ステージによって、撮影部２を撮影位置Ｚ₁方向へ移動距離ｈだけ移動させる。撮影位置Ｚ₁では、移動位置Ｐ₁₁と移動位置Ｐ₁₁からＺ軸方向に移動距離ｈだけ離れた移動位置Ｐ₂₁との間の撮影面Ｆ₁₁、および、移動位置Ｐ₁₂と移動位置Ｐ₁₂からＺ軸方向に移動距離ｈだけ離れた移動位置Ｐ₂₂との間の撮影面Ｆ₁₂が、撮影部２の焦点深度内である。従って、撮影面Ｆ₁₁は、撮影部２で撮影された画像２１において、画像領域幅Ｌ₁₁を有する鮮明な画像領域Ｇ₁₁であり、同様に、焦点深度内の撮影面Ｆ₁₂は、撮影部２で撮影された画像２１において、画像領域幅Ｌ₁₂を有する鮮明な画像領域Ｇ₁₂である。撮影位置Ｚ₁で撮影した画像２１は、画像領域Ｇ₁₁およびＧ₁₂に該当する部分が鮮明であって、他の撮影面の部分は不鮮明である。

撮影位置Ｚ₁おいて撮影部２が撮影したパンチ３は、図５（ｂ）に示すように、打抜部３ａの撮影面Ｆ₁₁が、画像領域幅Ｌ₁₁および長さｅの長方形をなす鮮明な画像領域Ｇ₁₁としてＲＡＭ１３に記憶される。同時に、打抜部３ａの撮影面Ｆ₁₂も、画像領域幅Ｌ₁₂および長さｅの長方形をなす鮮明な画像領域Ｇ₁₂としてＲＡＭ１３に記憶される。

撮影位置Ｚ₁での撮影終了後、Ｚ軸ステージによって、撮影部２を撮影位置Ｚ₂方向へ移動距離ｈだけ移動させる。撮影位置Ｚ₂では、移動位置Ｐ₂₁と移動位置Ｐ₂₁からＺ軸方向に移動距離ｈだけ離れた移動位置Ｐ₃₁との間の撮影面Ｆ₂₁、および、移動位置Ｐ₂₂と移動位置Ｐ₂₂からＺ軸方向に移動距離ｈだけ離れた移動位置Ｐ₃₂との間の撮影面Ｆ₂₂が、撮影部２の焦点深度内である。従って、撮影面Ｆ₂₁は、撮影部２で撮影された画像２１において、画像領域幅Ｌ₂₁を有する鮮明な画像領域Ｇ₂₁であり、同様に、焦点深度内の撮影面Ｆ₂₂は、撮影部２で撮影された画像２１において、画像領域幅Ｌ₂₂を有する鮮明な画像領域Ｇ₂₂である。撮影位置Ｚ₂で撮影した画像２１は、画像領域Ｇ₂₁およびＧ₂₂に該当する部分が鮮明であって、他の撮影面の部分は不鮮明である。

撮影位置Ｚ₂おいて撮影部２が撮影したパンチ３は、図６（ｃ）に示すように、打抜部３ａの撮影面Ｆ₂₁が、画像領域幅Ｌ₂₁および長さｅの長方形をなす鮮明な画像領域Ｇ₂₁としてＲＡＭ１３に記憶される。同時に、打抜部３ａの撮影面Ｆ₂₂も、画像領域幅Ｌ₂₂および長さｅの長方形をなす鮮明な画像領域Ｇ₂₂としてＲＡＭ１３に記憶される。

そして、撮影位置Ｚ₂での撮影終了後、Ｚ軸ステージによって、撮影部２を撮影位置Ｚ₃方向へ移動距離ｈだけ移動させる。この場合、撮影位置Ｚ₃では、移動位置Ｐ₃₁と移動位置Ｐ₃₂の間のパンチ３の半周部の領域が撮影部２の焦点深度内であり、このパンチ３の半周部の領域が、移動位置Ｐ₃₁と移動位置Ｐ₃₂との間の撮影面Ｆ₃₁である。従って、撮影面Ｆ₃₁は、撮影部２で撮影された画像２１において、画像領域幅Ｌ₃₁を有する鮮明な画像領域Ｇ₃₁であり、他の撮影面の部分は不鮮明である。

撮影位置Ｚ₃おいて撮影部２が撮影したパンチ３は、図６（ｄ）に示すように、打抜部３ａの撮影面Ｆ₃₁が、画像領域幅Ｌ₃₁および長さｅの長方形をなす鮮明な画像領域Ｇ₃₁としてＲＡＭ１３に記憶される。以上説明したように、４回の撮影により得られた４つの画像２１には、パンチ３の半周面を鮮明に捉えた画像領域Ｇ₀₁〜Ｇ₃₁が含まれている。

ここで、パンチ３を撮影する撮影位置Ｚ₀〜Ｚ₃の設定について説明する。表面観察装置１は、パンチ３を撮影部２で撮影するために、入力部から座標データ２２および領域データ２３をＲＡＭ１３に取り込んで記憶している。この場合、パンチ３の直径ｄが２０μｍであり、撮影部２の焦点深度が３μｍであるので、図４に示す半径ｒが１０μｍのパンチ３の半周面を漏れなく撮影するためには、撮影部２の移動距離ｈを３μｍとすると、撮影位置Ｚ₀〜Ｚ₃において４回の撮影が必要であり、パンチ３の直径ｄと撮影部２の焦点深度とから撮影位置および撮影回数が設定可能である。被観察物のパンチ３は、形状が既知であるため、座標データ２２は、打抜部３ａの半周面の撮影位置Ｚ₀〜Ｚ₃にそれぞれ位置する基準位置Ｐ₀₁および基準位置Ｐ₀₂と、移動位置Ｐ₁₁〜移動位置Ｐ₃₂の座標値を有し、パンチ３の三次元形状を表している。

また、領域データ２３は、座標データ２２に基づき、撮影位置Ｚ₀〜Ｚ₃のそれぞれで撮影した画像２１において、撮影部２の焦点深度内に位置する打抜部３ａの半周面を撮影した画像領域Ｇ₀₁〜Ｇ₃₁を予め演算して特定したものである。領域データ２３を参照すれば、画像２１のどの領域が画像領域Ｇ₀₁〜Ｇ₃₁であるかの判断が容易である。

なお、撮影部２の焦点深度を深くすれば、鮮明に撮影可能な範囲は、撮影位置Ｚ₀とＺ₁との距離３μｍより広くなり、撮影回数の削減が図れるが、画像２１の劣化が生じて面精度の観察チェックがし難くなる。従って、パンチ３の面精度を観察チェックするためには、撮影回数が増えるが、焦点深度を例えば１μｍ程度に浅くして、より緻密な画像を得ることが望ましい。

次に、合成画像５０の作成について簡単に説明する。図７は、合成画像を示す平面図である。合成画像５０は、パンチ３の半周面のいずれの部分をも、鮮明に、一つの画像として表したものである。合成画像５０の作成は、撮影位置Ｚ₀〜Ｚ₃において撮影し、ＲＡＭ１３に記憶している各画像２１を基に、ＣＰＵ１１がＲＯＭ１２の画像合成プログラムに従って行う。まず、画像２１から画像領域Ｇ₀₁〜Ｇ₃₁を切り取り、次に、切り取った画像領域Ｇ₀₁〜Ｇ₃₁を順に繋ぎ合わせて、図７に示すような合成画像５０を作成する。この合成画像５０により、三次元形状のパンチ３の表面状態を精密に観察チェックすることが可能である。

以下に、表面観察装置１によって合成画像５０を作成する画像合成方法について、フローチャート図を参照して説明する。図８は、合成画像を作成するためのフローチャート図である。フローチャート図は、表面観察装置１の制御部１０が実行するステップを示している。

まず、ステップＳ１において、パンチ３が固定治具４にセットされ、観察開始の指示を受信したか否かを判断する。観察開始の指示は、入力部２０から入力される。指示を受信していなければ、ステップＳ１において指示を待ち、一方、受信していれば、ステップＳ２へ進む。

ステップＳ２において、パンチ３の座標データ２２を基に、Ｘ軸ステージ５およびＹ軸ステージ６の移動を指示して、パンチ３を撮影可能な位置へ移動させる。移動指示後、ステップＳ３へ進む。

ステップＳ３において、パンチ３がＣＣＤカメラ２ａの視野内に入ったか否かを判断する。判断は、撮影制御部１４が撮影部２からの画像を確認して行う。パンチ３が視野外であれば、ステップＳ２へ戻り、一方、視野内であれば、ステップＳ４へ進む。

ステップＳ４において、Ｚ軸ステージ７を移動させて、パンチ３のエッジにＣＣＤカメラ２ａの焦点があっているか否かを判断する。この判断は、撮影制御部１４が撮影部２からの画像を確認して行う。この場合、既述したように、パンチ３のエッジには、焦点深度内のＣＣＤカメラ２ａから最遠部が合致している。ステップＳ４は、合焦ステップに該当する。焦点が合っていなければ、ステップＳ４においてＺ軸ステージ７を移動させて調整を続け、一方、焦点が合えば、ステップＳ５へ進む。

ステップＳ５において、ＣＣＤカメラ２ａでパンチ３の表面を撮影し、撮影した画像２１をＲＡＭ１３へ記憶する。ステップＳ５は、撮影ステップに該当する。撮影後、ステップＳ６へ進む。

ステップＳ６において、４回の撮影を実行したか否かを判断する。判断は、撮影制御部１４が撮影部２へ指示した撮影命令の回数をＣＰＵ１１がカウントすることによって行う。４回未満であれば、ステップＳ７へ進み、一方、４回に到達していれば、ステップＳ８へ進む。

４回未満の場合、ステップＳ７において、Ｚ軸ステージ７を移動距離ｈだけ移動させる。ステップＳ７は、移動ステップに該当する。移動後、ステップＳ５へ戻る。

４回に達していれば、ステップＳ８において、撮影した各画像２１を領域データ２３に基づいて切り取る。切り取る部分は、各画像２１の画像領域Ｇ₀₁〜Ｇ₃₁である。この場合、領域データ２３によって、画像領域Ｇ₀₁〜Ｇ₃₁のそれぞれが座標値で特定されているため、フィルタ処理等の演算が不要で、容易に切り取ることが可能である。この処理は、ＣＰＵ１１がＲＯＭ１２の画像合成プログラム１８に従って切取部として機能することにより実行される。ステップＳ８は、切取ステップに該当する。切取後、ステップＳ９へ進む。

ステップＳ９において、切り取った画像領域Ｇ₀₁〜Ｇ₃₁を図７に示すように、順に繋ぎ合わせて、合成画像５０を作成する。この処理は、ＣＰＵ１１がＲＯＭ１２の画像合成プログラム１８に従って合成部として機能することにより実行される。ステップＳ９は、合成ステップに該当する。作成後、ステップＳ１０へ進む。

ステップＳ１０において、表示部２５へ合成画像５０を表示する。表示部２５への表示により、パンチ３の面精度をリアルタイムで観察チェックすることが可能である。ステップＳ１０は、表示ステップに該当する。以上のような各ステップにより、合成画像５０が作成される。

なお、ステップＳ１０の終了後に、固定治具４の回転部４ａを操作し、回転ステップとして、パンチ３を１８０度回転させれば、再度、ステップＳ１からＳ１０のステップの実行により、パンチ３の反対側の半周面を引き続いて撮影することが可能である。これにより、最少のパンチ３の回転移動だけで、パンチ３の打抜部３ａの全周を漏れなく撮影可能である。

以上、表面観察装置１による画像合成方法に関する具体的な実施形態について説明した。以下に実施形態の効果をまとめて記載する。

（１）被観察物のパンチ３の形状を座標データ２２および領域データ２３により、予め特定する画像合成方法により、撮影部２の焦点深度から外れるような三次元形状をなしているパンチ３であっても、パンチ３の撮影可能な部分がいずれも鮮明な状態の一つの合成画像５０として得られる。この方法によれば、パンチ３の表面状態を表示する合成画像５０を、迅速に作成することが可能である。

（２）合成画像５０を作成して、一つの合成画像によってパンチ３の表面状態をチェック可能であるため、撮影位置Ｚ₀〜Ｚ₃において撮影した各画像２１を、個々にチェックする必要がなく、効率的なチェックが行える。

（３）合成画像５０の作成に当たって、通常行われている複雑なフィルタリング処理等が不必要であるため、フィルタリング処理等を行うには処理速度の遅い制御部１０であっても、実用上支障なく画像合成処理を実行可能である。

（４）表示部２５によって、合成画像５０を表示することにより、迅速に作成した合成画像５０の確認がリアルタイムに行える。従って、多量のパンチ３の表面を観察してチェックする場合などにおいて、短時間に、且つ、容易に行うことが可能である。

また、本発明は上記の実施形態に限定されるものではなく、次に挙げる変形例のような形態であっても、実施形態と同様な効果が得られる。

（変形例１）基準位置Ｐ₀₁と移動位置Ｐ₁₁との距離、移動位置Ｐ₁₁と移動位置Ｐ₂₁との距離、および、移動位置Ｐ₂₁と移動位置Ｐ₃₁との距離は、焦点深度と同じである移動距離ｈではなく、移動距離ｈ以下であっても良い。また、それぞれが移動距離ｈ以下の異なった距離であっても良い、画像領域Ｇ₀₁〜Ｇ₃₁の重なる部分があり、領域データ２３の演算が煩雑化するが、実施形態と同様に合成画像５０が作成可能である。

（変形例２）ステップＳ４において、ＣＣＤカメラ２ａの焦点は、基準位置Ｐ₀₁およびＰ₀₂に合わせたままで、焦点深度に対応した調整を行わなくても良い。画像領域Ｇ₀₁およびＧ₀₂の画像領域幅Ｌ₀₁およびＬ₀₂が小さくなるが、合成画像の作成は可能である。

（変形例３）座標データ２２および領域データ２３は、ＲＡＭ１３ではなくＲＯＭ１２に記憶させても良い。ＲＯＭ１２は、不揮発性メモリであり、パンチ３の観察の都度、入力部から読み込む操作が不要になる。

（変形例４）Ｚ軸ステージ７は、撮影部２を移動させる構成ではなく、載置部であるＸ軸ステージ５を移動させても良い。撮影部２が固定されて、より安定した撮影状態を保持可能である。

（変形例５）固定治具４を介してパンチ３を載置するステージは、Ｘ軸ステージ５に限定されず、Ｙ軸ステージ６が載置部であっても良い。表面観察装置１の載置部構成の自由度を増すことが可能である。

（変形例６）固定治具４の回転部４ａは、制御部１０の制御により回転する構成であっても良い。多量のパンチ３を連続して観察する場合などに、操作が効率的である。

（変形例７）ステップＳ１０において、合成画像５０を表示部２５に表示するだけではなく、プリンタで出力しても良い。パンチ３の観察チェック記録として残しておくことが可能である。

本発明の表面観察装置の構成を示す模式図。 表面観察装置の制御部の構成を示すブロック図。 （ａ）パンチの外観を示す平面図、（ｂ）ノズルプレートへのノズルのプレス加工を示す断面図、（ｃ）ノズルからの液滴の吐出を示す断面図。 撮影部により撮影したパンチ表面各部の画像領域を示す模式図。 （ａ）撮影部から最遠部の画像領域を示す平面図、（ｂ）撮影部から最遠部の画像領域に隣接する画像領域を示す平面図。 （ｃ）撮影部から最近部の画像領域に隣接する画像領域を示す平面図、（ｄ）撮影部から最近部の画像領域を示す平面図。 合成画像を示す平面図。 合成画像を作成するためのフローチャート図。

符号の説明

１…表面観察装置、２…撮影部、２ａ…ＣＣＤカメラ、２ｂ…カメラレンズ、３…被観察物としてのパンチ、４…固定治具、５…載置部としてのＸ軸ステージ、６…Ｙ軸ステージ、７…移動部としてのＺ軸ステージ、１０…制御部、１１…切取部および合成部としてのＣＰＵ、１２…ＲＯＭ、１３…記憶部としてのＲＡＭ、１４…撮影制御部、１５…駆動制御部、１８…画像合成プログラム、２１…画像、２２…座標データ、２３…領域データ、３０…ノズルプレート、３１…ノズル、５０…合成画像、ｈ…移動距離、Ｐ₀₁、Ｐ₀₂…基準位置、Ｐ₀₃〜Ｐ₃₂…移動位置、Ｆ₀₁〜Ｆ₃₁…撮影面、Ｇ₀₁〜Ｇ₃₁…画像領域、Ｌ₀₁〜Ｌ₃₁…画像領域幅、Ｚ₀〜Ｚ₃…撮影位置。

Claims (7)

1. 撮影部の焦点を被観察物の基準位置に合わせる合焦ステップと、
   前記被観察物の三次元形状を表す座標データに基づいて、前記撮影部の焦点を前記撮影部の焦点深度以下の距離だけ移動させた移動位置に移す移動ステップと、
   前記基準位置および前記移動位置における前記被観察物の表面を前記撮影部によってそれぞれ撮影する撮影ステップと、
   前記撮影ステップで撮影した画像の焦点の合っている画像領域を表す領域データに基づいて、前記画像領域を選択して切り取る切取ステップと、
   前記画像領域を繋ぎ合わせて合成画像を作成する合成ステップと、を有することを特徴とする画像合成方法。
2. 請求項１に記載の画像合成方法において、
   前記合成画像を表示部に表示する表示ステップをさらに有することを特徴とする画像合成方法。
3. 請求項１または２に記載の画像合成方法において
   前記被観察物を回転させる回転ステップをさらに有することを特徴とする画像合成方法。
4. 請求項１から３のいずれか一項に記載の画像合成方法において、
   前記移動ステップは、複数回実行されることを特徴とする画像合成方法。
5. 被観察物を載置するための載置部と、
   前記被観察物の表面を撮影する撮影部と、
   前記被観察物の三次元形状を表す座標データを記憶している記憶部と、
   前記座標データを基に前記撮影部を前記撮影部の焦点深度以下の距離ずつ移動させる移動部と、
   前記撮影部が撮影した画像の焦点の合っている画像領域を表す領域データに基づいて、前記画像領域を選択して切り取る切取部と、
   前記画像領域のそれぞれを繋ぎ合わせて合成画像を作成する合成部と、を備えていることを特徴とする表面観察装置。
6. 請求項５に記載の表面観察装置において、
   前記合成画像を表示する表示部をさらに備えていることを特徴とする表面観察装置。
7. 請求項５または６に記載の表面観察装置において、
   前記被観察物は、前記載置部に載置された固定治具の回転部に取り付けられていることを特徴とする表面観察装置。
   

Images