JPS6282314A - 光度差ステレオ計測方式 - Google Patents
光度差ステレオ計測方式Info
- Publication number
- JPS6282314A JPS6282314A JP60224020A JP22402085A JPS6282314A JP S6282314 A JPS6282314 A JP S6282314A JP 60224020 A JP60224020 A JP 60224020A JP 22402085 A JP22402085 A JP 22402085A JP S6282314 A JPS6282314 A JP S6282314A
- Authority
- JP
- Japan
- Prior art keywords
- images
- evaluation function
- brightness
- equal
- stereo measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005259 measurement Methods 0.000 title claims description 9
- 238000011156 evaluation Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 20
- 238000000691 measurement method Methods 0.000 claims description 19
- 238000002310 reflectometry Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 235000019557 luminance Nutrition 0.000 description 4
- 238000010894 electron beam technology Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Length-Measuring Devices Using Wave Or Particle Radiation (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔発明の利用分野〕
本発明は、光度差ステレオ計測方式に関し、特に走査電
子顕微鏡（以下、ＳＥＭと略記する）による試料表面形
状の立体測定において、高精度な結果を与えるための反
射率地図自動修正機構付き光度差ステレオ計測方式に関
する。
子顕微鏡（以下、ＳＥＭと略記する）による試料表面形
状の立体測定において、高精度な結果を与えるための反
射率地図自動修正機構付き光度差ステレオ計測方式に関
する。
従来、画面より３次元情報を得ようとする場合には、２
つの異なった視点から写した２つの画像間で対応する点
を求め、視差の原理によりこれを求めるようなステレオ
計測が行われている。この方法の有効性は、航空写真に
よる地形図の作成等で実証されているが、上記２つの画
像間の対応点を求めるためにかなりの手間がかかる。ま
た、ＳＥＭによりステレオ計測を行う際には、試料台を
傾けて２つの画像を得ているが、試料台を傾ける際に焦
点の再調整等の操作を行う必要がある。
つの異なった視点から写した２つの画像間で対応する点
を求め、視差の原理によりこれを求めるようなステレオ
計測が行われている。この方法の有効性は、航空写真に
よる地形図の作成等で実証されているが、上記２つの画
像間の対応点を求めるためにかなりの手間がかかる。ま
た、ＳＥＭによりステレオ計測を行う際には、試料台を
傾けて２つの画像を得ているが、試料台を傾ける際に焦
点の再調整等の操作を行う必要がある。
一方、別個の観点からも３次元情報を得る研究が近年盛
んに行われている。その１つに、光度差ステレオ計測方
式（Ｐ ｈｏｔｏｍｅｔｒｉｃ Ｓ ｔｅｒｅｏ法）
がある、この方法については、池内克史著「反射率地図
に基づき、二次元濃淡画像より三次元形状を再構成する
２手法」電子通信学会論文誌Ｖ ｏ ｌ 。
んに行われている。その１つに、光度差ステレオ計測方
式（Ｐ ｈｏｔｏｍｅｔｒｉｃ Ｓ ｔｅｒｅｏ法）
がある、この方法については、池内克史著「反射率地図
に基づき、二次元濃淡画像より三次元形状を再構成する
２手法」電子通信学会論文誌Ｖ ｏ ｌ 。
Ｊ６５−Ｄ、Ｎｏ、７．’ ８２／７＋ ｐｐ８４２〜
８４９に記載されている。この論文に述べられているよ
うに、光度差ステレオ計測方式では、視点と被写体の位
置が固定しており、被写体を照らす光源の方向を変化さ
せて写した複数枚の画像を用いる。この際、視点と被写
体の位置関係は固定しであるので、普通のステレオ計測
の場合に必要であった対応点の位置合せは不要である。
８４９に記載されている。この論文に述べられているよ
うに、光度差ステレオ計測方式では、視点と被写体の位
置が固定しており、被写体を照らす光源の方向を変化さ
せて写した複数枚の画像を用いる。この際、視点と被写
体の位置関係は固定しであるので、普通のステレオ計測
の場合に必要であった対応点の位置合せは不要である。
また。
ＳＥＭの場合、検出器の方向が通常の光学系での光源方
向に対応するので、複数の検出器を取付けておけば、同
時に必要な複数枚の画像を得ることができる。
向に対応するので、複数の検出器を取付けておけば、同
時に必要な複数枚の画像を得ることができる。
この光度差ステレオ計測方式の処理は、大きく分けて次
の３つに分類される。（、）複数枚の画像の入力、（ｂ
）上記画像の各画素の輝度より、各面素の傾きを求める
。（ｅ）前記（ｂ）で求めた各面素の傾きより、積分処
理等を用いて、立体形状を得る。以下、さらに詳しく述
べる。
の３つに分類される。（、）複数枚の画像の入力、（ｂ
）上記画像の各画素の輝度より、各面素の傾きを求める
。（ｅ）前記（ｂ）で求めた各面素の傾きより、積分処
理等を用いて、立体形状を得る。以下、さらに詳しく述
べる。
第２図は、光度差ステレオ計測方式の標準的なハードウ
ェア構成を示す図である。第２図において、カメラ１は
、光源２、光源３、光源４のうちのいずれかに照らされ
ている試料台５の上の試料６を撮影する。計算機７は、
キーボード８より入力された指示に従って、光源２、光
源３．光源４を点灯あるいは消灯させるとともに、カメ
ラ１より入力した光源２、光源３．光１４のうち１つの
光源のみ点灯させて撮影した３枚の画像間の演算を行い
、試料の表面形状を得る。そして、ディスプレイ９に、
その演算の結果、あるいは必要に応じて、入力画像等を
表示する。第２図では、最も標準的な場合として、光源
が３個の場合を示しているが、光源が４個以上の方法も
可能である。また、特殊な場合として、光源を２個だけ
使用する場合もある。また、複数個の光源を使用する代
りに、光源の位置を変化させること、例えば試料の回り
を回転させて行う方法もある。いずれの場合も、カメラ
と試料の位置関係を固定して、光源の位置を変えて画像
を撮影する点では同一である。
ェア構成を示す図である。第２図において、カメラ１は
、光源２、光源３、光源４のうちのいずれかに照らされ
ている試料台５の上の試料６を撮影する。計算機７は、
キーボード８より入力された指示に従って、光源２、光
源３．光源４を点灯あるいは消灯させるとともに、カメ
ラ１より入力した光源２、光源３．光１４のうち１つの
光源のみ点灯させて撮影した３枚の画像間の演算を行い
、試料の表面形状を得る。そして、ディスプレイ９に、
その演算の結果、あるいは必要に応じて、入力画像等を
表示する。第２図では、最も標準的な場合として、光源
が３個の場合を示しているが、光源が４個以上の方法も
可能である。また、特殊な場合として、光源を２個だけ
使用する場合もある。また、複数個の光源を使用する代
りに、光源の位置を変化させること、例えば試料の回り
を回転させて行う方法もある。いずれの場合も、カメラ
と試料の位置関係を固定して、光源の位置を変えて画像
を撮影する点では同一である。
第３図は、光度差ステレオ計測方式をＳＥＭに適用した
場合におけるハードウェア構成図である。
場合におけるハードウェア構成図である。
ＳＥＭの鏡体１０中の電子銃１１より放出された電子！
！Ａ１９は、電子レンズ系１２によって試料台１８上の
試料１７の表面を走査する。これにより、試料１７より
放出された２次電子（または、反射電子等の情報担体）
２０は、検出器１３，１４、’１５，１６に検知される
。これらの検知された信号より得られる画像間の演算を
、計算機２１がキーボード２２の指示のもとに行い、そ
の結果をディスプレイ２３に表示する。第２図と第３図
の対応関係は、カメラ１の方向が電子線１９の方向に、
また光源２，３．４が検出器１３，１４゜１５．１６に
、そわぞれ対応する。ただし１通常のＳＥＭでは、４本
まで検出器が取付けられる場合が多いので、第３図では
、検出器が４本となっている。このような対応付けを行
うと、第２図と第３図は、全く同じ原理に基づいて説明
することができるので、以下、第２図のハードウェアに
基づいて説明を行い、第３図のＳＥＭの場合には。
！Ａ１９は、電子レンズ系１２によって試料台１８上の
試料１７の表面を走査する。これにより、試料１７より
放出された２次電子（または、反射電子等の情報担体）
２０は、検出器１３，１４、’１５，１６に検知される
。これらの検知された信号より得られる画像間の演算を
、計算機２１がキーボード２２の指示のもとに行い、そ
の結果をディスプレイ２３に表示する。第２図と第３図
の対応関係は、カメラ１の方向が電子線１９の方向に、
また光源２，３．４が検出器１３，１４゜１５．１６に
、そわぞれ対応する。ただし１通常のＳＥＭでは、４本
まで検出器が取付けられる場合が多いので、第３図では
、検出器が４本となっている。このような対応付けを行
うと、第２図と第３図は、全く同じ原理に基づいて説明
することができるので、以下、第２図のハードウェアに
基づいて説明を行い、第３図のＳＥＭの場合には。
これに含まれるものとする。
次に、これらの画像より、各面素の方向を求める方法に
ついて述べる。
ついて述べる。
前記の論文（池内著）で述べられているように、被写体
の見かけ上の明るさは、被写体の表面の材質および視線
方向１面素の法線方向、光源方向が織りなす３つの角に
よって決定される。正射投影法の近似が成立し、さらに
光源と被写体の距離が被写体の大きさに比して充分に遠
いときには、光源方向も、被写体の面素の空間上の位置
に無関係に定まることになる。この場合、面素の方向が
決まれば、被写体の見かけ上の明るさは決まることにな
る。
の見かけ上の明るさは、被写体の表面の材質および視線
方向１面素の法線方向、光源方向が織りなす３つの角に
よって決定される。正射投影法の近似が成立し、さらに
光源と被写体の距離が被写体の大きさに比して充分に遠
いときには、光源方向も、被写体の面素の空間上の位置
に無関係に定まることになる。この場合、面素の方向が
決まれば、被写体の見かけ上の明るさは決まることにな
る。
第４図は、単位半径を持つガウス球２４と、Ｘ軸２６．
ｙ軸コア、Ｚ軸２８および原点０２９と。
ｙ軸コア、Ｚ軸２８および原点０２９と。
ｘ＝ｏ、ｙ＝０．ｚ＝１の点でガウス球２４に接するｚ
＝１の方程式で表現される平面Σ２５を表わした図であ
る。この球２４上の各点のみかけ上の明るさがわかれば
、上記仮定のちとに各面素のみかけ上の明るさが、ガウ
ス球２４上の同じ傾きの点の明るさとして求めることが
できる。ここで、球面を、原点０２９を中心として平面
Σ２５に心射投影を行う方法が広く用いられている。こ
の投影の結果を、反射率地図と呼ぶ。第２図に示す配置
で、ガウス球に相当する半球上の試料６を、３つの光源
のうち１つだけを点灯して撮影した３つの画像は、それ
ぞれ模式的に表わすと、第５図の３０．３１．３２に示
すようになる。ここで、３６．３７で表されているＰ軸
とｑ軸は、第５図の平面Σ２５上にとられた軸で、この
平面上のＰ。
＝１の方程式で表現される平面Σ２５を表わした図であ
る。この球２４上の各点のみかけ上の明るさがわかれば
、上記仮定のちとに各面素のみかけ上の明るさが、ガウ
ス球２４上の同じ傾きの点の明るさとして求めることが
できる。ここで、球面を、原点０２９を中心として平面
Σ２５に心射投影を行う方法が広く用いられている。こ
の投影の結果を、反射率地図と呼ぶ。第２図に示す配置
で、ガウス球に相当する半球上の試料６を、３つの光源
のうち１つだけを点灯して撮影した３つの画像は、それ
ぞれ模式的に表わすと、第５図の３０．３１．３２に示
すようになる。ここで、３６．３７で表されているＰ軸
とｑ軸は、第５図の平面Σ２５上にとられた軸で、この
平面上のＰ。
ｑの値は、心射投影により対応する球面２４上の点の、
Ｘ方向と、Ｘ方向の傾きを表わしている。
Ｘ方向と、Ｘ方向の傾きを表わしている。
このため、反射率地図上の値は、ある傾きの面素の輝度
を表わすことになる。これら３０，３１゜３２に対応し
た反射率地図は、第６図の３３，３４．３５に示すよう
になる。第６図に示すように、反射率地図は、最も明る
い点を中心に描かれた等明るさ線をもって表現される。
を表わすことになる。これら３０，３１゜３２に対応し
た反射率地図は、第６図の３３，３４．３５に示すよう
になる。第６図に示すように、反射率地図は、最も明る
い点を中心に描かれた等明るさ線をもって表現される。
一般の形状の試料に対して、第２図の配置により撮影し
た３つの画像中の同じ点の輝度がそれぞれＥｌ ｒ Ｅ
２ ｒ Ｅ３であったとすると、それぞれの反射率地図
中でこれらの輝度に対応する等明るさ線が対応する。こ
れらの３つの等明るさ線を反射率地図上で書くと。
た３つの画像中の同じ点の輝度がそれぞれＥｌ ｒ Ｅ
２ ｒ Ｅ３であったとすると、それぞれの反射率地図
中でこれらの輝度に対応する等明るさ線が対応する。こ
れらの３つの等明るさ線を反射率地図上で書くと。
第７図の３８．３９．４０に示すようになり、理想的な
場合には、これら３つの等明るさ線は１点で交わり、こ
れよりその面素の方向を決定することができる。すべて
の面素の方向が決定できれば、積分処理等により、表面
形状を決定できる。
場合には、これら３つの等明るさ線は１点で交わり、こ
れよりその面素の方向を決定することができる。すべて
の面素の方向が決定できれば、積分処理等により、表面
形状を決定できる。
このようにして、光度差ステレオ計測方式により反射率
地図が作成されるが、この反射率地図は理論的に導き出
したものが用いられるが、較正用のサンプルで実測して
求めたものが用いられる。
地図が作成されるが、この反射率地図は理論的に導き出
したものが用いられるが、較正用のサンプルで実測して
求めたものが用いられる。
しかし１反射率地図は、微妙な観測条件の差や。
試料の材質の違い等により変化するものであるにもかか
わらず、従来の光度差ステレオ計測方式では、この点に
関して何も考慮されておらず、その結果、必然的に計画
結果の精度は不正確となっていた。
わらず、従来の光度差ステレオ計測方式では、この点に
関して何も考慮されておらず、その結果、必然的に計画
結果の精度は不正確となっていた。
本発明の目的は、このような従来の問題を改善し、反射
率地図を観測画像より自動的に修正する機能を持ち、高
精度の表面形状測定を行うことができる光度差ステレオ
計測方式を提供することにある。
率地図を観測画像より自動的に修正する機能を持ち、高
精度の表面形状測定を行うことができる光度差ステレオ
計測方式を提供することにある。
上記目的を達成するため、本発明の光度差ステレオ計測
方式は、同一被写体を同一方向から、光源の状態を変化
させて撮影した複数枚の画像により、上記被写体の面素
の方向を決定し、該面素の方向を用いて該被写体の表面
形状を決定する光度差ステレオ計測方式において、３枚
以上の画像を入力して、該画像の冗長性を用いて評価関
数を発生させ、該評価関数が最小になるように画像の関
係式を補正することにより、面素の方向決定に使用する
反射率地図を修正することに特徴がある。
方式は、同一被写体を同一方向から、光源の状態を変化
させて撮影した複数枚の画像により、上記被写体の面素
の方向を決定し、該面素の方向を用いて該被写体の表面
形状を決定する光度差ステレオ計測方式において、３枚
以上の画像を入力して、該画像の冗長性を用いて評価関
数を発生させ、該評価関数が最小になるように画像の関
係式を補正することにより、面素の方向決定に使用する
反射率地図を修正することに特徴がある。
以下、本発明の原理および実施例を、図面により詳細に
説明する。第８図、第９図は、本発明の詳細な説明する
ための図である。前述したように、従来の方法で作成し
た反射率地図は、多くの場合、不正確である。その結果
、第８図に示すように、３つの画像の同じ点より得られ
た反射率地図上の３つの等明るさ線は、１点で交わらな
い。第８図では、３つの等明るさ線４１，４２．４３を
表わしている。本来、第６図の等明るさ線３３，３４゜
３５が正しければ、全ての画素に対して、対応する等明
るさ線は、１点で交わるはずである。そこで、第６図に
示す等明るさ線を補正することができれば、正しい面素
の方向が得られ、正しい立体形状が得られるはずである
。本発明の基本的な考え方は、第８図の等明るさ３４１
，４２．４３の共通部分の大きさを、評価関数として複
数個の画素に対してこれを計算し、その和が最小となる
ように等四るさ線を補正し、反射率地図を正しいものに
近付けるというものである。次に、その具体的な方法に
ついて述べる。第２図に示すような配置において、光源
２，３．４が互いに１２０°の水平角度をなし、試料６
を照らしている場合、反射率地図を等四るさ線を用いて
表わすと、第６図の３３．３４．３５のようになる。こ
の場合、等四るさ線は、互いにｐ−ｑ平面内で１２０°
回転したものになっている。つまり、第６図の３３の等
四るさ線のうち、輝度Ｅに対応した等四るさ線が、ｆ
Ｌ （ｐ＋ ｑ）＝Ｅで表わされるとする。第６図の３
４．３５の同じ輝度Ｅに対応する等四るさ線の方程式を
それぞれｆ２ （Ｐ＋ ｑ）＝Ｅ＋ ｆａ（ｐ＋ ｑ）
＝Ｅとすると、ｆ２（ｐ＋ ｑＬ ｆａ （ｐ＋ｑ
）はそれぞれｆｔ（ｐ、ｑ）において−Ｐｔ ｑに１２
０°回転、２４０°回転の座標変換を施したものになる
。１つの光源のみ点灯して撮影した３つの画像の同じ画
素の輝度が、それぞれＥｌ、Ｅ２１Ｅ３である場合、第
７図１７）３８，３９．４０に相当する等四るさ線の方
程式は、それぞれｆｌ（ｐ＋ ｑ）＝Ｅｔ 、ｆ２（ｐ
＋ ｑ）＝Ｅ２＋ ｆａ（ｐ。
説明する。第８図、第９図は、本発明の詳細な説明する
ための図である。前述したように、従来の方法で作成し
た反射率地図は、多くの場合、不正確である。その結果
、第８図に示すように、３つの画像の同じ点より得られ
た反射率地図上の３つの等明るさ線は、１点で交わらな
い。第８図では、３つの等明るさ線４１，４２．４３を
表わしている。本来、第６図の等明るさ線３３，３４゜
３５が正しければ、全ての画素に対して、対応する等明
るさ線は、１点で交わるはずである。そこで、第６図に
示す等明るさ線を補正することができれば、正しい面素
の方向が得られ、正しい立体形状が得られるはずである
。本発明の基本的な考え方は、第８図の等明るさ３４１
，４２．４３の共通部分の大きさを、評価関数として複
数個の画素に対してこれを計算し、その和が最小となる
ように等四るさ線を補正し、反射率地図を正しいものに
近付けるというものである。次に、その具体的な方法に
ついて述べる。第２図に示すような配置において、光源
２，３．４が互いに１２０°の水平角度をなし、試料６
を照らしている場合、反射率地図を等四るさ線を用いて
表わすと、第６図の３３．３４．３５のようになる。こ
の場合、等四るさ線は、互いにｐ−ｑ平面内で１２０°
回転したものになっている。つまり、第６図の３３の等
四るさ線のうち、輝度Ｅに対応した等四るさ線が、ｆ
Ｌ （ｐ＋ ｑ）＝Ｅで表わされるとする。第６図の３
４．３５の同じ輝度Ｅに対応する等四るさ線の方程式を
それぞれｆ２ （Ｐ＋ ｑ）＝Ｅ＋ ｆａ（ｐ＋ ｑ）
＝Ｅとすると、ｆ２（ｐ＋ ｑＬ ｆａ （ｐ＋ｑ
）はそれぞれｆｔ（ｐ、ｑ）において−Ｐｔ ｑに１２
０°回転、２４０°回転の座標変換を施したものになる
。１つの光源のみ点灯して撮影した３つの画像の同じ画
素の輝度が、それぞれＥｌ、Ｅ２１Ｅ３である場合、第
７図１７）３８，３９．４０に相当する等四るさ線の方
程式は、それぞれｆｌ（ｐ＋ ｑ）＝Ｅｔ 、ｆ２（ｐ
＋ ｑ）＝Ｅ２＋ ｆａ（ｐ。
ｑ）”Ｅ３となる。理想的には、これらの３つの等四る
さ線は１点で交わることになり、これより面素の方向は
決定される。ところが、観測条件等の変化により、ｆ１
＋ ｆ２＋ ｆａの関数形はあらかじめ準備しておい
たものと違ってくることが考えられる。このため、等四
るさ線は１点では交わらず、第９図の４．４．４５に示
すような交わり方をすることが予想される。４４は深く
交わり過ぎであり、４５は浅く交わり過ぎである。ｆｌ
、ｆ２、ｆａの関数形が不正確な場合には、各画素に対
するそれぞれの等四るさ線は、１点では交わらない。こ
れらの不正確さの度合は、例えば最も近い３つの交点間
の距離の２乗の和で表わすことができる。これは、第９
図の４６と４７．４７と４８．４８と４６の距離の２乗
の和、または４９と５０．５０と５１．５１と４９の距
離の２乗の和のことである。ｗｉ察面画像中適当な数の
画素より求めたこれら３つの点間の２乗の和を、ｆｌ、
ｆ２、ｆａの関数形に対する評価関数として用いること
ができる。この評価関数を最小となるように。
さ線は１点で交わることになり、これより面素の方向は
決定される。ところが、観測条件等の変化により、ｆ１
＋ ｆ２＋ ｆａの関数形はあらかじめ準備しておい
たものと違ってくることが考えられる。このため、等四
るさ線は１点では交わらず、第９図の４．４．４５に示
すような交わり方をすることが予想される。４４は深く
交わり過ぎであり、４５は浅く交わり過ぎである。ｆｌ
、ｆ２、ｆａの関数形が不正確な場合には、各画素に対
するそれぞれの等四るさ線は、１点では交わらない。こ
れらの不正確さの度合は、例えば最も近い３つの交点間
の距離の２乗の和で表わすことができる。これは、第９
図の４６と４７．４７と４８．４８と４６の距離の２乗
の和、または４９と５０．５０と５１．５１と４９の距
離の２乗の和のことである。ｗｉ察面画像中適当な数の
画素より求めたこれら３つの点間の２乗の和を、ｆｌ、
ｆ２、ｆａの関数形に対する評価関数として用いること
ができる。この評価関数を最小となるように。
□＋ ｆ２ｙ ｆａの関数形を変更すれば、面素の方向
をより正確に決定できる。この関数形の変化のさせ方は
、種々の方法が考えられる。最も単純には、ｆ １（ｐ
＋ ｑＬｆ２（ｐ、ｑＬ ｆ（ｐ＋ ｑ）を。
をより正確に決定できる。この関数形の変化のさせ方は
、種々の方法が考えられる。最も単純には、ｆ １（ｐ
＋ ｑＬｆ２（ｐ、ｑＬ ｆ（ｐ＋ ｑ）を。
αｆｉ（ｐ、ｑ）、αｆ２（ｐ＋ｑＬ αｆ３（ｐ＋ｑ
）で表わし、ここでαは１付近の定数とすることにより
、上記評価関数を最小にするαを見付けることができ、
その結果として、反射率地図を修正することになる。
）で表わし、ここでαは１付近の定数とすることにより
、上記評価関数を最小にするαを見付けることができ、
その結果として、反射率地図を修正することになる。
第１図は、本発明の一実施例を示す自動修正機能付き計
測方法の処理フローチャートである。第１図のプログラ
ムは、第３図の計算機２１が実行するプログラムである
。先ず、キーボード２２より初期設定することによりＳ
ＥＭを起動させる。
測方法の処理フローチャートである。第１図のプログラ
ムは、第３図の計算機２１が実行するプログラムである
。先ず、キーボード２２より初期設定することによりＳ
ＥＭを起動させる。
検出器１３，１４，１５，１６より４つの画像を同時に
入力する（ステップ５２）。操作者は、標準搭載の予め
準備されている反射率地図を用いるが、その修正を行う
かを選択する（ステップ５３）。種々の高速化が考えら
れるが、一般的にこの反射率地図の修正の手続きは、面
素の計算や積分処理に比べて長時間を要する。そのため
、操作者の要求精度に従って、これをどうするか選択さ
せることが望ましい。操作者が反射率地図の修正を望ん
だ場合には、前述した方法によりこれを修正する（ステ
ップ５４）。すなわち、前述のように、第９図の最も近
い３つの交点間の距離の２乗の和を求め、これをｆ関数
の評価関数として用い、一方、ｆ関数をαｆ（ｐ、ｑ）
の形に変形して、αを種々に変化させることにより、評
価関数が最小になるようにする。また、修正を望まない
場合には、標準装備のものを用いる。そして、面素の方
向の計算を行う（ステップ５５）、すなわち、３つの画
像中の同じ点の輝度を、反射率地図中で３つの等四るさ
線として書くことにより、第７図に示す３８，３９．４
０の等四るさ線が１点で交わった座標値から面素の方向
を決定する。この面素の方向を用いて積分処理を行うこ
とにより、試料表面の形状を計算する（ステップ５６）
、計算された表面形状を。
入力する（ステップ５２）。操作者は、標準搭載の予め
準備されている反射率地図を用いるが、その修正を行う
かを選択する（ステップ５３）。種々の高速化が考えら
れるが、一般的にこの反射率地図の修正の手続きは、面
素の計算や積分処理に比べて長時間を要する。そのため
、操作者の要求精度に従って、これをどうするか選択さ
せることが望ましい。操作者が反射率地図の修正を望ん
だ場合には、前述した方法によりこれを修正する（ステ
ップ５４）。すなわち、前述のように、第９図の最も近
い３つの交点間の距離の２乗の和を求め、これをｆ関数
の評価関数として用い、一方、ｆ関数をαｆ（ｐ、ｑ）
の形に変形して、αを種々に変化させることにより、評
価関数が最小になるようにする。また、修正を望まない
場合には、標準装備のものを用いる。そして、面素の方
向の計算を行う（ステップ５５）、すなわち、３つの画
像中の同じ点の輝度を、反射率地図中で３つの等四るさ
線として書くことにより、第７図に示す３８，３９．４
０の等四るさ線が１点で交わった座標値から面素の方向
を決定する。この面素の方向を用いて積分処理を行うこ
とにより、試料表面の形状を計算する（ステップ５６）
、計算された表面形状を。
例えば、鳥観図、等高線表示等によって表示する（ステ
ップ５７）２ステツプ５４で反射率地図を修正した場合
には、そのまま終了しくステップ５８）。
ップ５７）２ステツプ５４で反射率地図を修正した場合
には、そのまま終了しくステップ５８）。
そうでない場合には、操作者に反射率地図の修正を行わ
せ、再度表面形状を求めるか否かの選択をさせる（ステ
ップ５８．５９）。すなわち、操作者は、先ず短時間に
結果を得る必要があるか否かにより、反射率地図の修正
を行うか否かを決定し、次に結果を見てから結果が満足
できるか否かによって、再び前に戻って反射率地図の修
正を行うようにしている。
せ、再度表面形状を求めるか否かの選択をさせる（ステ
ップ５８．５９）。すなわち、操作者は、先ず短時間に
結果を得る必要があるか否かにより、反射率地図の修正
を行うか否かを決定し、次に結果を見てから結果が満足
できるか否かによって、再び前に戻って反射率地図の修
正を行うようにしている。
本実施例では、単に高精度の表面形状測定ができるだけ
でなく、長時間になりがちな反射率地図の修正処理の実
行を操作者に選択させて、効率的な使用を可能にする。
でなく、長時間になりがちな反射率地図の修正処理の実
行を操作者に選択させて、効率的な使用を可能にする。
以上説明したように、本発明によれば、反射率地図を、
その時々の観測条件の変化に応じて修正を行うことがで
きるので、高精度の表面形状測定を行うことができる利
点がある。
その時々の観測条件の変化に応じて修正を行うことがで
きるので、高精度の表面形状測定を行うことができる利
点がある。
第１図は本発明の一実施例を示す光度差ステレオ計測方
式の処理フローチャート、第２図は本発明に適用される
光度差ステレオ計測方式のハードウェア構成図、第３図
は本発明に適用される他の光度差ステレオ計測方式のハ
ードウェア構成図、第４図はガウス球とそれに接触する
平面の図、第５図は光度差ステレオ計測方式の＠側面像
の例を示す図、第６図は反射率地図の一例を示す図、第
７図は理想的な場合の反射率地図上の面素の方向決定の
ための図、第８図、第９図は同じく非理想的な場合を示
すもので、本発明の原理を示す図である。 １：カメラ、２，３，４：光源、５．１８：試料台、６
．１７：試料、７：計算機、８：キーボード、９．２３
：ディスプレイ、１０：ＳＥＭの鏡体、１１：ｆｌ！子
銃、１２：を子レンズ系、１３゜１４．１５．Ｌ６：検
出器、１９；入射電子線。 ２０：２次電子（または他の情報担体）、２１：計算機
、２２：キーボード、２４ニガウス球、２５：接平面、
３０，３１．３１観潤画像。 特許出願人 株式会社日立製作所 代理人弁理士磯村雅俊１′□パ・ 第 １ 図 第 ２ 図 第 ３ 図 第 ４ 図 第 ５ 図 第 ６ 図 第 ７ 図 第 ８ 図 第 ９ 図
式の処理フローチャート、第２図は本発明に適用される
光度差ステレオ計測方式のハードウェア構成図、第３図
は本発明に適用される他の光度差ステレオ計測方式のハ
ードウェア構成図、第４図はガウス球とそれに接触する
平面の図、第５図は光度差ステレオ計測方式の＠側面像
の例を示す図、第６図は反射率地図の一例を示す図、第
７図は理想的な場合の反射率地図上の面素の方向決定の
ための図、第８図、第９図は同じく非理想的な場合を示
すもので、本発明の原理を示す図である。 １：カメラ、２，３，４：光源、５．１８：試料台、６
．１７：試料、７：計算機、８：キーボード、９．２３
：ディスプレイ、１０：ＳＥＭの鏡体、１１：ｆｌ！子
銃、１２：を子レンズ系、１３゜１４．１５．Ｌ６：検
出器、１９；入射電子線。 ２０：２次電子（または他の情報担体）、２１：計算機
、２２：キーボード、２４ニガウス球、２５：接平面、
３０，３１．３１観潤画像。 特許出願人 株式会社日立製作所 代理人弁理士磯村雅俊１′□パ・ 第 １ 図 第 ２ 図 第 ３ 図 第 ４ 図 第 ５ 図 第 ６ 図 第 ７ 図 第 ８ 図 第 ９ 図
Claims (3)
- （１）同一被写体を同一方向から、光源の状態を変化さ
せて撮影した複数枚の画像により、上記被写体の面素の
方向を決定し、該面素の方向を用いて該被写体の表面形
状を決定する光度差ステレオ計測方式において、３枚以
上の画像を入力して、該画像の冗長性を用いて評価関数
を発生させ、該評価関数が最小になるように画像の関係
式を補正することにより、面素の方向決定に使用する反
射率地図を修正することを特徴とする光度差ステレオ方
式。 - （２）上記評価関数は、上記複数枚の画像の同じ画素の
輝度に対応する等明るさ線を反射地図上に書いた場合の
各交点間の距離の２乗の和を算出し、該２乗の和を上記
複数枚の画像の同じ画素の等明るさ線の方程式に対する
評価関数として用い、該評価関数を最小とするように上
記方程式の形を変更することにより、面素の方向決定に
使用する反射率地図を修正することを特徴とする特許請
求の範囲第１項記載の光度差ステレオ計測方式。 - （３）上記複数枚の画像は、走査電子顕微鏡に取付けた
複数個の検出器より同時に得た画像であることを特徴と
する特許請求の範囲第１項または第２項記載の光度差ス
テレオ計測方式。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP60224020A JPS6282314A (ja) | 1985-10-08 | 1985-10-08 | 光度差ステレオ計測方式 |
| US06/916,703 US4755047A (en) | 1985-10-08 | 1986-10-08 | Photometric stereoscopic shape measuring method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP60224020A JPS6282314A (ja) | 1985-10-08 | 1985-10-08 | 光度差ステレオ計測方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPS6282314A true JPS6282314A (ja) | 1987-04-15 |
Family
ID=16807325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP60224020A Pending JPS6282314A (ja) | 1985-10-08 | 1985-10-08 | 光度差ステレオ計測方式 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US4755047A (ja) |
| JP (1) | JPS6282314A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7103212B2 (en) | 2002-11-22 | 2006-09-05 | Strider Labs, Inc. | Acquisition of three-dimensional images by an active stereo technique using locally unique patterns |
| JP2015049105A (ja) * | 2013-08-30 | 2015-03-16 | 株式会社東芝 | 検査装置および検査方法 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4858157A (en) * | 1985-03-13 | 1989-08-15 | Tokyo Kogaku Kikai Kabushiki Kaisha | Apparatus and method for determining the coordinates of a three-dimensional object |
| DE4003983C1 (en) * | 1990-02-09 | 1991-08-29 | Abos Automation, Bildverarbeitung, Optische Systeme Gmbh, 8057 Eching, De | Automated monitoring of space=shape data for mfg. semiconductors - compares image signals for defined illumination angle range with master signals, to determine defects |
| JP3186799B2 (ja) * | 1991-09-17 | 2001-07-11 | 興和株式会社 | 立体形状測定装置 |
| DE69523274D1 (de) * | 1994-12-29 | 2001-11-22 | At & T Corp | Linienbreitenmessung an integrierten Schaltungsstrukturen |
| US6025905A (en) * | 1996-12-31 | 2000-02-15 | Cognex Corporation | System for obtaining a uniform illumination reflectance image during periodic structured illumination |
| US5924788A (en) * | 1997-09-23 | 1999-07-20 | Teledyne Lighting And Display Products | Illuminating lens designed by extrinsic differential geometry |
| US6852974B2 (en) * | 2001-03-06 | 2005-02-08 | Topcon Corporation | Electron beam device and method for stereoscopic measurements |
| JP2007206797A (ja) * | 2006-01-31 | 2007-08-16 | Omron Corp | 画像処理方法および画像処理装置 |
| JP2010071782A (ja) * | 2008-09-18 | 2010-04-02 | Omron Corp | ３次元計測装置およびその方法 |
| CN107830814B (zh) * | 2017-10-16 | 2020-09-11 | 北京科技大学 | 一种基于光度学的测量表面变形的方法 |
| JP6954943B2 (ja) | 2019-03-15 | 2021-10-27 | 日本電子株式会社 | 荷電粒子線装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4269513A (en) * | 1975-08-27 | 1981-05-26 | Solid Photography Inc. | Arrangement for sensing the surface of an object independent of the reflectance characteristics of the surface |
-
1985
- 1985-10-08 JP JP60224020A patent/JPS6282314A/ja active Pending
-
1986
- 1986-10-08 US US06/916,703 patent/US4755047A/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7103212B2 (en) | 2002-11-22 | 2006-09-05 | Strider Labs, Inc. | Acquisition of three-dimensional images by an active stereo technique using locally unique patterns |
| JP2015049105A (ja) * | 2013-08-30 | 2015-03-16 | 株式会社東芝 | 検査装置および検査方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US4755047A (en) | 1988-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5819016A (en) | Apparatus for modeling three dimensional information | |
| US8264546B2 (en) | Image processing system for estimating camera parameters | |
| KR102661681B1 (ko) | 선호된 포인트들을 식별하고 유지하는 포인트 클라우드들의 병합 방법 | |
| US6396495B1 (en) | Producing image data in a virtual set | |
| US6930681B2 (en) | System and method for registering multiple images with three-dimensional objects | |
| US6677956B2 (en) | Method for cross-fading intensities of multiple images of a scene for seamless reconstruction | |
| US6741241B1 (en) | Generating registration data for a virtual set | |
| US6556195B1 (en) | Image processing device and image processing method | |
| JPS6282314A (ja) | 光度差ステレオ計測方式 | |
| CN113146073B (zh) | 基于视觉的激光切割方法及装置、电子设备、存储介质 | |
| US20100134688A1 (en) | Image processing system | |
| US20030043152A1 (en) | Simulating motion of static objects in scenes | |
| CN102252630A (zh) | 形状计测装置以及校准方法 | |
| JP2010536061A (ja) | パノラマ投影デバイス及び前記デバイスによって実施される方法 | |
| Lin | Automatic 3D color shape measurement system based on a stereo camera | |
| JP2018106643A (ja) | 空間モデル処理装置 | |
| JPH06243236A (ja) | 視覚認識装置の座標系校正パラメータ設定装置 | |
| JP2007272847A (ja) | 照明シミュレーション方法及び画像合成方法 | |
| US6346949B1 (en) | Three-dimensional form data processor retaining information on color boundaries of an object when thinning coordinate data | |
| JPH0863618A (ja) | 画像処理装置 | |
| CN114241059A (zh) | 一种光度立体视觉***中相机和光源的同步标定方法 | |
| CN113989378A (zh) | 一种双目线阵相机位置调节以及标定的方法 | |
| Lathuiliere et al. | Calibration of an LCD projector with pinhole model in active stereovision applications | |
| JPS6332314A (ja) | 断面形状測定方法 | |
| JP2961140B2 (ja) | 画像処理方法 |