JPH04191607A - ３次元計測方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の目的〕 （産業上の利用分野） 本発明は、物体の３次元形状の計測を画像認識により行
う方法に関するもので、特に、ワイヤボンディングされ
たワイヤのように線状でかつ任意の方向を向いて存在す
る物体を計測対象とする場合に用いる３次元計測方法に
関する。

（従来の技術） 画像認識により３次元計測を行う場合には、−般にステ
レオ視と呼ばれる方法が使用される。これは、第４図に
示すように、３次元空間上の物体１−１を２台のカメラ
１−１１．１−１２で撮像し、両画像平面内の２次元位
置から３次元座標を求めるものである。なお、Ｐ　　　
、Ｐ　　　は合力メラ１−１１．１−１２の画像である
。

この方法では、物体１−１が第４図に示すように点状の
ものであれば、比較的容易にそれぞれの画像平面内にお
ける２次元位置を求め、空間上の３次元位置を導き出す
ことができるか、第５図に示すように物体２−１が線状
のものであった場合には、それぞれの画像平面内におい
て物体２−１上の同一の点を特定することが困難になり
、したがって容易に線状の物体２−１の３次元位置を導
出すことができない。

そこで、これを解決する手法として、エピポーラ・ライ
ンというものを用いる方法が知られている。このエピポ
ーラ・ラインとは第６図に示すように、一方のカメラ１
−１２が物体１−１を見ている視線３−１を仮想的にも
う一方のカメラ１−１１で写したとして得られる線で、
カメラ１−１１の画像平面上にエピポーラ・ライン３−
２として求めることができる。このエピポーラ・ライン
の持つ意味は、物体１−１が視線３−１上に存在し、そ
してその視線３−１を写した線がエピポーラ・ライン３
−２であることから、カメラ１−１１の画像平面上にお
いて、物体１−１の像は必ずエピポーラ・ライン３−２
上に写っている、ということである。

このことを応用して、第７図に示すように物体４−１が
線状であった場合に、まず、カメラ１−１２の画像平面
上で物体４−１の像上の１点４−２を決め、それに対応
するエピポーラ・ライン３−２をカメラ１−１１の画像
平面上に求め、そのカメラ１−１１の画像平面内におけ
る物体４−１の像と、エピポーラ・ライン３−２との交
点４−３を求めれば、点４−２と点４−３とは物体４−
１上の同一点であると言えるわけである。したがって、
物体４−１上のある１点の３次元位置を求めることがで
きる。

しかし、このエピポーラ・ライン３−２のカメラ１−１
１の画像平面内の傾きというものは２つ′のカメラ１−
１１．１−１２の位置関係と、もとの１点４−２とから
一意に決まってしまうものであり、物体４−１の方向や
形状とは全く無関係のものである。したがって、交点４
−３を高精度に求めようとすれば、その交わり角をでき
るだけ直角に近付けるようにカメラ１−１１．１−１２
と物体４−１との位置関係を調節しなければならなかっ
た。

（発明が解決しようとする課題） 上述のように線状で任意の方向を持つ物体を３次元計測
するためには、上記カメラ１−１１．　１−１２と物体
４−１との位置関係の調節という作業が必要となり、特
に自動計測機を構成させる場合には大変に複雑なものと
なってしまう。

本発明は、このような従来技術の有する問題点に鑑みて
なされたもので、その目的とすることろは、上記位置関
係の調節を必要とすることなく線状物体の３次元形状の
計測を可能とする簡便な自動計測機を構成し得る３次元
計測方法を提供することにある。

Ｅ発明の構成〕 （課題を解決するための手段） 本発明の３次元計測方法は、計測対象物体を撮像装置で
撮像し、その画像情報を用いて計測対象物体の３次元形
状を計測するにあたり、３台以上の撮像装置を用いて各
々異なる方向から上記計測対象物体を撮像し、それら撮
像装置のうち少なくとも２台の撮像装置による画像情報
を計測用画像情報として使用することを特徴とする。

その少なくとも２台の撮像装置の選択は、例えば各撮像
装置の計測対象物体に対する向きと計測対象物体の方向
性との関係を参照することにより行う。

ここで、方向性とは計測対象物体の総体的な方向性のみ
を指すのではなく、形状によって変化する計測対象物体
の部分的な方向性をも意味するものである。

（作　用） 本発明によれば、計測対象物体をそれぞれ異なる方向か
ら撮像をする３台以上の撮像装置を用意しているため、
エピポーラ・ラインが計測対象物体と成す角度が直角に
より近い少なくとも２台の撮像装置の組合わせを選択し
て用いることができるために、めんどうな撮像装置の位
置の調整作業を伴うことなく物体の３次元形状を高精度
に計測することができる。

（実施例） 以下に本発明の実施例について図面を参照しつつ説明す
る。

第１図は本発明の一実施例に係る３次元計測方法を実施
するための計測機の構成を示すものである。

第１図において、５−１．　５−１．・・・はワイヤボ
ンディングされたワイヤ、５−２はそのワイヤ５−１．
５−１．・・・がボンディングされているＬＳＩ、５−
３はワイヤ５−１．　５−１．・・・及びＬＳ　１５−
２を照明する照明装置である。照明装置５−３は環状を
呈し、ワイヤ５−１．５−１゜・・・について計測を行
う際には、ＬＳ　Ｉ　５−３は、この照明装置５−３内
に収められ、その周囲から全域に渡り均一に照明され、
ワイヤ５−１．５−１、・・・をそれ以外のものと比べ
高いコントラストで映し出すようにされる。

照明装置５−３の上方には３台のカメラ５−４゜５−５
．５−６が設置され、これらのカメラ５−４〜５−６は
それぞれ異なる方角からワイヤ５−１、　５−１．・・
・やＬＳ　Ｉ　５−２を撮像するようにされている。す
なわち、Ｙ軸負方向から正方向へ向かって見た場合、カ
メラ５−４は真上、カメラ５−５は斜め右、カメラ５−
６は斜め奥からそれぞれＬＳＩ５−２を撮像するように
なっている。

第２図（ａ）〜同図（Ｃ）は各カメラ５−４〜５−６か
らの画像を示すものであり、この図において、Ｐ　　は
カメラ５−４の、Ｐ５−５はカメラ５−５の、Ｐ５−６
はカメラ５〜６の各画像平面であり、カメラ５−４〜５
−６の上記位置関係によれば、画像平面Ｐ、−４上の任
意の１点（例えば点６−０）から画像平面Ｐ５−５上へ
求めたエピポーラ・ライン６−１と、その任意の１点６
−０から画像平面Ｐ５−６上へ求めたエピポーラ・ライ
ン６−２とが互いにほぼ直交する方向に伸びることとな
る。

５−７は画像処理装置、５−８はホストコンピュータで
ある。３台のカメラ５−４〜５−６からの映像信号は、
この画像処理装置５−７に供給されるようになっており
、この画像処理装置５−７は、ホストコンピュータ５−
８の指示の下でカメラ５−４〜５−６からの映像信号を
取込み、各画像平面Ｐ５−４〜Ｐ５−６内での２次元座
標情報を算出している。この２次元座標情報は各画面内
に写る各ワイヤの２次元形状を特定する。

ホストコンピュータ５−８はその２次元座標情報を受取
り、多数本のワイヤにつき１本ずつを計測対象ワイヤと
して扱い、まずその計測・検査しようとしているワイヤ
が概略どのような方向性を持っているかを検出する。以
下、例としてワイヤ７−１を計測対象とする場合の動作
を説明する。

まず、ホストコンピュータ５−８が、このワイヤ７−１
が概略どのような方向性を持っているかをカメラ５−４
の映像信号に基づく画像平面Ｐ５−４についての２次元
座標情報を用い、ワイヤ７−１の両端の座標から認知す
る。これにより、カメラ５−４．５−５の組合わせと、
カメラ５−４．５−６の組合わせとの何れが、そのエピ
ポーラ・ライン６−１．６−２の傾きとワイヤ７−１の
方向性との関係において適切かを判断する。その判断基
準は、エピポーラ・ライン６−１とワイヤ７−１とを交
差させたときと、エピポーラ・ライン６−２とワイヤ７
−１とを交差させたときとでどちらの交差角度がより直
角に近いがというものである。したがって、ワイヤ７−
１の場合、カメラ５−４とカメラ５−６との組合わせの
方が適切であると判断される。そして、ホストコンピュ
ータ５−８は、その判断の結果を画像処理装置５−７に
知らせ、カメラ５−４の他に、カメラ５−６からの映像
信号を取込むように指示を出す。

すると、画像処理装置５−７は、その指示に従って、ま
ず、カメラ５−４の画像平面Ｐ５−４内においてワイヤ
７−１の像を認識し、そのワイヤ７−１の像上の１点７
−２を決め、その座標情報をホストコンピュータ５−８
に渡す。

ホストコンピュータ５−８は、予め上述したように校正
されている各カメラ５−４〜５−６の位置・方向関係に
基づいて、点７−２に対応するカメラ５−６の画像平面
Ｐ５−６上のエピポーラ・ライン７−３を算出し、その
方程式を画像処理装置５−７に渡す。この方程式は画像
平面Ｐ５−６内の座標系で表現されたものである。

画像処理装置５−７は、そのエピポーラ・ライン７−３
とワイヤ７−１との交点７−４の座標を求め、これをホ
ストコンピュータ５−８へ返ス。

これにより、ホストコンピュータ５−８は、ワイヤ７−
１上の点７−２の両画像平面Ｐ５−４’Ｐ５−６内にお
ける２次元座標を知ることができたこととなり、これら
の座標に基づいて点７−２の３次元座標を算出すること
となる。

ワイヤ７−１について、以上のような処理を繰返し、ワ
イヤ７−１の軌跡を離散的な有限個の点列として計測す
る。

さらに、計測対象となっている他のワイヤについても同
様な処理を行ないその形状を出すこととなる。

以上説明したように本実施例によれば、それぞれ異なる
指向性をもって撮像を行う３台のカメラ５−４〜５−６
を用意し、エピポーラ・ラインが計測対象物体と成す角
度が直角により近い２台のカメラの組合わせを選択して
いるため、カメラのめんどうな位置調整作業を伴うこと
なく物体の３次元形状を高精度に計測することができる
こととなる。

上記実施例によれば、カメラ５−４〜５−６の位置関係
が画像平面Ｐ５−４上の任意の１点（例えば点６−０）
から画像平面Ｐ５−５上へ求めたエピポーラ・ライン６
−１と、その任意の１点６−０から画像平面Ｐ５−６上
へ求めたエピポーラ・ライン６−２とが互いにほぼ直交
する方向に伸びるように設定されているため、ワイヤと
エピポーラ・ラインとの成す角度が最悪でも約４５°を
確保することができる。

以上、本発明の一実施例について説明したが、上記に限
定されることはなく、例えば、以下のような場合をも含
むものである。

（１）　上記実施例ではワイヤ、つまり線状物体の両端
部の２次元座標からその総体的な方向性を認知している
が、一つの線状物体につき範囲を絞って方向性を見るよ
うにしても良く、その方が都合の良い場合がある。

つまり、上記のワイヤ７−１のように大きな形状の変化
がほとんど無く、直線に近く総体的に方向性が一定なも
のであれば、両端の座標から方向性を見出し、これに基
づいて選択したカメラの画像情報の使用により該物体の
全域について支障なく計測が可能である。

しかし、物体の形状によってはその方向性が場所的に変
わる。例えば、ホチキスの針のように屈曲形状を持つ物
の場合、その中間部分と両端部側の部分とでは方向性が
異なる。よって、このような物の場合には、計測対象地
点毎に、物体の方向性を見るための２点をその近くの場
所に絞って選択した方が良い。

（２）　また、上記実施例では、カメラの画像情報に基
づいて計測対象物体の両端座標を認識し、その物体の方
向性判断を行っているが、ホストコンピュータに既存デ
ータを用いてその計測対象物体の２次元両端座標を予め
与えてお（こともできる。

ただし、この場合、上記実施例とはカメラからの映像信
号取込み手順が異なってくる。

−１３一 つまり、上記実施例ではまずカメラ５−４の映像信号を
取込んで、その情報に基づき物体の方向性判断を行って
いるため、物体の方向性判断が済んだ段階で、既にカメ
ラ５−４の映像信号取込みは済んでいる。したがって、
物体の方向性判断が済んだ後に必要な映像信号取込みは
カメラ５−４と組合わされる他方のカメラ（実施例では
５−６）からのみの取込みであるため、そのように処理
を行っている。

しかし、ホストコンピュータ５−８に物体の方向性判断
用のデータを予め与えておく方式の場合、物体の方向性
判断が済んだだけの段階では、画像処理装置５−７は、
いまだ何れのカメラからも映像信号を取込んでいない。

よって、ホストコンピュータ５−８はその物体の方向性
判断、そして、カメラの組合わせ判断が付いた段階で、
その結果を画像処理装置５−７に知らせ、その組合わせ
が例えば上記実施例と同じカメラ５−４．５−６の組合
わせであれば、その両者５−４．５−６からの映像信号
を取込むように画像処理装置５−７に指示し、カメラの
組合わせ判断後、両カメラ５−４．５−６からの映像信
号の取込みを行う必要がある。

また、上記方向性判断用にホストコンピュータ５−８に
与えるデータとしては、例えば、計測対象物体がボンデ
ィングワイヤである場合、ワイヤボンダの始点および終
点の両座標データや、ベレットのパッド位置およびイン
ナーリードのボンディング位置の両座標データを使用す
ることができる。

（３）　上記実施例ではボンディングワイヤを計測対象
としているが、本発明はパッケージのアウターリード等
の各種線状物体の計測に使用することができる。なお、
半導体装置関係以外のものでも使用可能であることは勿
論のことである。

（４）　用意するカメラの数は少なくとも３台であり、
必要に応じて増設すると良い。

上記実施例ではカメラを３台設置しそのうち２台を使用
しているが、カメラを４台以上設置し、そのうち３台以
上を使用して、計ｉｌＮ精度を高めることができる。

例えば、使用するカメラが３台であれば、３台のカメラ
Ａ、　　Ｂ、　Ｃのうち２台のカメラＡ、Ｂを上述した
実施例のごとき計測に使用し、その結果が正しいか否か
を残りの１台のカメラＣで確認する。

ここで、カメラＡの視線からカメラＢでエピポーラ・ラ
インを求め、その結果、疑わしい点が２点出てきたとす
る。そこで、カメラＡからカメラＣへ、またカメラＢか
らカメラＣへのエピポーラ・ラインを求め、両者の交差
する点を確認すれば、カメラＡとカメラＢとの同一視点
を割出すことができる。

〔発明の効果〕

以上説明したように本発明によれば、計測対象物体をそ
れぞれ異なる方向から撮像する３台以上の撮像装置を用
意しているため、エピポーラ・ラインが計測対象物体と
成す角度が直角により近い少なくとも２台の撮像装置の
組合わせを選択して用いることができるために、めんど
うな撮像装置の位置の調整作業を伴うことなく物体の３
次元形状を高精度に計測することができる。

【図面の簡単な説明】

第１図は本発明の一実施例に係る３次元計測方法を実施
するための装置の構成図、第２図は第１図に示す３台の
カメラから２台のカメラを選択するときの選択基準とな
るエピポーラ・ラインの方向性とワイヤの方向性との関
係を各カメラによる画像平面で示す説明図、第３図は計
測手順を選択されたカメラの画像平面で示す説明図、第
４図および第５図は従来の３次元針ｎノの原理説明図、
第６図および第７図はエピポーラ・ラインの概念説明図
である。 ５−１．７−１・・・計測対象物体となるボンディング
ワイヤ、５−２・・・ＬＳＩ、５−３・・・照明装置、
５−４〜５−６・・・カメラ、５−７・・・画像処理装
置、５−８・・・ホストコンピュータ、６−１．６−２
゜７−３・・・エピポーラ・ライン、Ｐ５−４　、　　
Ｐ５−５　。 Ｐ５−６・・・画像平面。 砂

Claims (1)

1. 【特許請求の範囲】 １、計測対象物体を撮像装置で撮像し、その画像情報を
   用いて前記計測対象物体の３次元形状を計測するにあた
   り、 ３台以上の撮像装置を用いて各々異なる方向から前記計
   測対象物体を撮像し、 前記３台以上の撮像装置のうち少なくとも２台の撮像装
   置による画像情報を計測用画像情報として使用する、 ことを特徴とする３次元計測方法。 ２、３台以上の撮像装置各々の計測対象物体に対する向
   きと該計測対象物体の方向性との関係でその出力画像情
   報を計測用画像情報として使用する少なくとも２台の撮
   像装置を選択する請求項１記載の３次元計測方法。