JP2004534337A - 撮像素子の位置を予測するのに用いられる参照マーキング選択の最適化 - Google Patents

撮像素子の位置を予測するのに用いられる参照マーキング選択の最適化 Download PDF

Info

Publication number
JP2004534337A
JP2004534337A JP2003511608A JP2003511608A JP2004534337A JP 2004534337 A JP2004534337 A JP 2004534337A JP 2003511608 A JP2003511608 A JP 2003511608A JP 2003511608 A JP2003511608 A JP 2003511608A JP 2004534337 A JP2004534337 A JP 2004534337A
Authority
JP
Japan
Prior art keywords
reference group
individual
substrate
groups
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003511608A
Other languages
English (en)
Other versions
JP2004534337A5 (ja
Inventor
ヴィラン,ニコラ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2004534337A publication Critical patent/JP2004534337A/ja
Publication of JP2004534337A5 publication Critical patent/JP2004534337A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K1/00Printed circuits
    • H05K1/02Details
    • H05K1/0266Marks, test patterns or identification means
    • H05K1/0269Marks, test patterns or identification means for visual or optical inspection
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0818Setup of monitoring devices prior to starting mounting operations; Teaching of monitoring devices for specific products; Compensation of drifts during operation, e.g. due to temperature shifts
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K2201/00Indexing scheme relating to printed circuits covered by H05K1/00
    • H05K2201/09Shape and layout
    • H05K2201/09818Shape or layout details not covered by a single group of H05K2201/09009 - H05K2201/09809
    • H05K2201/09918Optically detected marks used for aligning tool relative to the PCB, e.g. for mounting of components

Landscapes

  • Engineering & Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

カメラのような、撮像素子の視野の基板との相対位置を予測する方法は、該基板上のマーキング群を参照群と規定すること、及び、前記カメラの視野内のこれらの一連の参照群における各自のシフトをそこでの既知の位置と比較して検出すること、に関するものである。選択が、位置予測に用いられる種々の起こり得る曖昧でない識別し得る参照群の集合族から行われる。この選択は、遺伝的アルゴリズム最適化処理手順に基づくものであり、該手順においては、母集団における個体が異なった候補参照群集合族であり、複数の個体世代が生成され、及び、適用度の最高値を有する個体が、位置予測に用いられる前記参照群集合を設けるよう選択される。前記参照群の検出及び位置検出が前記撮像素子によって生成される前記画像の各自の部分集合だけに関することは有益であるものである。

Description

【技術分野】
【0001】
本発明は、位置予測の分野に関するものであり、及び、特に、カメラのような撮像素子の視野の、基板又は同様のものとの相対位置を、基板上の参照パターンの前記機器によって生成された画像における位置検出に基づいて予測する方法に関するものである。本発明はさらに、前記方法を実行するよう形成された装置に関するものである。
【背景技術】
【0002】
従来の技術には、カメラの視野の、基板との相対位置、特に電子部品を配置する配線基板との相対位置を予測する方法が提案されたものがある(例えば、非特許文献1参照。)。前記カメラは前記配線基板上に前記電子部品を位置決めするのに用いられるロボットによって運搬される。前記配線基板は直線セグメントを有する幾何学的パターンを形成する導体を有している。前記提案された方法は動画像におけるいくつもの前記セグメントの位置検出に基づいて前記カメラの視野の正確な位置を判定することに関するものである。カメラの位置を予測する前記方法に用いられる前記セグメントは「参照セグメント」と呼び得る。前記方法においては、該参照セグメントを検出及び位置検出するよう、前記基板全体の画像が取得され、かつ、処理される。
【0003】
さらに、前記撮像素子の位置を速く予測することを可能にする参照マーキングの選択に関するものもある(例えば、“Choice of Reference Markings for Enabling Fast Estimating of the Position of an Imaging Device”と題する本出願人による本出願と同日付の同時係属出願 参照。)。
【非特許文献1】
F. deJong及びP.P. Jonker、 ”Visual servoing in PCB Manufacture“、2000年、L.J. vanVliet、J.W.J. Heijnsdijk、T. Kielman及びP.M.W. Knijnenburg編、デルフト、ASCI、6th Annual Conference of the Advanced School for Computing and Imaging、Proc. ASCI 2000(第59−63頁)
【発明の開示】
【発明が解決しようとする課題】
【0004】
セグメントの参照群の検出に基づいた位置予測手法は、多数の参照群を用いた場合、より高い正確性を有するものである。しかしながら、実際には、各参照群を位置検出するのに必要な時間は処理し得る群の数に上限を設ける。用いてもよい参照群を有する全ての異なった起こり得る部分集合を広範囲にわたって検査するのは時間が長くかかりすぎるものである。例えば、起こり得る25個の中から参照群10個1組を選択することは10の12乗を超える組み合わせの検査が関わるものである。しかしながら、参照群の任意の選択は、セグメントの参照群のいくつかがカメラの視野の位置を正確に予測することを可能にするのに他よりも適しているため、前記位置予測の最高の正確性を保証しないものである。
【課題を解決するための手段】
【0005】
本発明の目的は、参照マーキング群の位置検出に基づいて、(カメラのような)撮像素子の視野の、基板との相対位置を予測する方法において、種々の起こり得る曖昧でない参照群の中から前記位置予測を正確に、かつ/あるいは、迅速に実行することを可能にするのに適切な参照群を選択するよう形成された選択手法である。
【0006】
本発明は、撮像素子の視野の、目に見えるマーキングを上に有する基板との、相対位置を予測する方法を設け、該方法は、選択された一連の参照マーキング群のある位置の変化に基づいて撮像素子の視野の位置を予測する工程、及び、候補の一連の参照群が母集団のそれぞれの個体を構成する、遺伝的アルゴリズムの応用によって一連の参照マーキング群を選択する工程、を有するものである。
【0007】
本発明の好適実施例では、前記位置を予測する方法の前記選択する工程は、複数の個体の世代が生成される、遺伝的アルゴリズム最適化処理過程の利用を有し、及び、適用度パラメータの最高値を有する前記個体が、位置予測に用いられる一連の参照群を設けるよう、選択される。
【0008】
前記位置予測手順において用いられる一連の参照群を選択する遺伝的アルゴリズムを利用することによって、本発明は過度の処理量を必要とすることなく、前記選択を最適化することを可能にする。さらに、遺伝的アルゴリズムの利用は前記選択の基礎となっている基準を変更するか、あるいは新しい基準を容易に加えることを可能にする。
【0009】
本発明による前記方法は、
複数の候補参照群を定義する工程であって、それぞれの候補参照群が前記基板上に1つ以上のマーキングを有し、及び、前記候補参照群が前記撮像素子の視野における名目位置にある場合、前記撮像素子の視野が前記基板との相対において第1位置にあることを特徴とする工程;
前記撮像素子によって、前記基板の少なくとも一部分の画像を生成する工程;
それぞれの選択された参照群について、該各自の選択された参照群の画像を検出し、及び、前記撮像素子の視野における前記選択された参照群の位置と前記選択された参照グループの前記名目位置との間のオフセットを判定する工程;
該判定されたオフセットに基づいて、かつ、前記撮像素子の前記第1位置と前記選択された参照群の前記名目位置との間の既知の関係に基づいて、前記撮像素子の視野の位置を予測する工程を有するものである、ことが望ましい。
【0010】
本発明の好適実施例によって設けられた利点は、前記参照マーキングを選択するのに用いられる前記遺伝的アルゴリズムにおいて、最終位置予測の精度、及び予測の速度の両方の最適化を図る適用度パラメータを用いることにある。
【0011】
本発明の好適実施例においては、前記選択する工程において用いられる前記適用度パラメータが、行列Aにおいて、sが前記選択された参照群の前記オフセットのビクトリア表現であって、及びcが前記撮像素子の視野の位置であって、s=A/cの場合に、最小特異値の逆数の最小化を図るパラメータであると有益である。前記選択する工程に用いられる前記適用度パラメータは、代わりに、あるいは、さらに、選択された参照群の集合におけるマーキングの総数を最小化し、かつ、それによって処理時間を削減することを図る成分を有することがある。前記選択する工程に用いられる前記適用度パラメータは、代わりに、あるいは、さらに、異なった選択された参照群に同様に存在するマーキングの割合を最小化することを図る成分を有することがある。
【0012】
本発明において用いられる前記遺伝的アルゴリズム最適化処理過程において、適用度パラメータの最高値を有する個体を有することがあり、及び、これらの個体が次の世代を生成するのに用いられることを特徴とするものである。代わりに、あるいは、さらに、次の世代を生成するのに用いられる個体を、確率的選択方法に基づいて、選択を行うことがある。そしてさらに、新しい世代の個体を生成するのに、1つ以上の処理過程を用いることが可能であり、及び、これらの処理過程は交叉及び/又は突然変異を含み得る。
【0013】
本発明において用いられる前記遺伝的アルゴリズム最適化処理過程においては、処理時間を合理的な範囲内に保つため、前記遺伝的アルゴリズム最適化過程の個体を構成する候補の一連の参照群が有し得る参照群数の上限を設け得る。該上限は前記基板の少なくとも一部分を有する生成された画像における各参照群を位置検出するのに必要な時間に基づいて設定されることが望ましい。
【0014】
本発明の前記位置予測方法においては、前記複数の候補参照群を定義する工程は、曖昧でなく識別し得る、1つ以上のマーキングを有する群を識別するよう前記基板を解析することを有するものである。さらに、前記参照群を構成する前記マーキングが直線セグメントである場合は有益である。
【0015】
特に、本発明の前記位置予測方法は前記基板の各自の選択された部分集合の画像においてのみ、参照群の検出及び位置検出に関わるものであることが望ましい。前記基板全体の画像の取得を避けることによって、前記位置予測は有意に迅速化し得る。前記カメラの最大位置誤差に関する先験的知識を用いて、解析された部分集合画像が、セグメントを有する前記の各自の参照群が確実に現れる部分に対応することを保証し得る。
【0016】
特に、前記部分集合画像の大きさは、前記撮像素子の最大位置決め誤差と少なくとも等しい長さの、又は、該誤差の2倍よりも長い、細長い形状の画像線の場合、前記参照群が検出し得ることを保証しながらも、最小化し得る。前記参照セグメントはその場合には、前記最大位置決め誤差に等しい、又は、該誤差の2倍よりも長い、距離上を延びる直線セグメントである。
【0017】
本発明はさらに前述の方法のうち、少なくとも前記参照群選択工程を実行する手段を有する装置を設けるものである。本発明は、適切にプログラムに組まれたコンピュータ、又は、前述の方法によって少なくとも前記参照群の選択工程を実行するよう形成された回路手段を有する特定用途向けプロセッサ、を有するシステムを設けるものであることが望ましい。本発明はさらに加えて、前述の方法を実行する一連の命令を有するコンピュータ・プログラム製品を設けるものである。前記の装置、システム、又はコンピュータ・プログラム製品は前記方法における前記参照群選択工程及び前記位置予測工程の両方を実行するよう形成されることがある。
【0018】
本発明の前記位置予測方法において、前記位置予測処理過程において用い得る、異なった起こり得る候補セグメント群を識別するよう、種々の手法を用いることが可能である。例えば、上記にて引用した特許文献において説明された手法を用いてもよい。しかしながら、本出願人による上述の同時係属出願に説明された前記手法を用いることが望ましい。したがって、この最初の識別処理過程のさらに付け加えた詳細はここでは説明しないが、本明細書及び特許請求の範囲の原文の「a group of segments」の語が、単一のセグメントを有する群を有することだけは特筆する。さらに、本明細書及び特許請求の範囲の原文の「segment」の語はここでは異なった形状を有するマーキングに適用されるが、望ましいマーキングは直線セグメントであることも特筆する。
【0019】
さらに本明細書及び特許請求の範囲の原文の、参照セグメント群に関する「unambiguous」の語は、参照セグメントの前記群の名目位置の中央に位置するエラー・ウィンドウの中に存在する他のセグメント群のどれかから(例えば、方向及び/又は間隔に基づいて)区別し得るセグメントの群を表すものである。前記エラー・ウィンドウは、前記参照セグメント群が確実に現れ、かつ、前記撮像素子の最大位置決め誤差の2倍に等しい寸法を有する部分である。例えば、カメラの位置が±1ミリメートルに至るまで正確である場合、前記エラー・ウィンドウは2ミリメートル×2ミリメートルの寸法を有するものである。
【0020】
さらに、参照セグメント群が撮像素子の視野の位置の予測を行うのを可能にするのに用いられる方法に関するさらに加えた詳細はここでは説明しないものとする。代わりに、上記に引用した前記出願文献又は非特許文献1を参照するものとする。
【0021】
本発明自体は主に、選択が、異なった候補参照セグメント群から、撮像素子の、それらの参照セグメントを表示する基板との相対位置を予測するのに用いられる一連の参照セグメント群を選ぶために、行われる方法に関するものである。
【0022】
本発明の好適実施例は、カメラの視野の、配線基板との、相対位置を予測する応用に関連して、前記基板に電子部品を正確に配置することを確実にする目的で、下記に説明するものである。この応用においては、前記カメラは同様の導体の配置を有する新しい配線基板に、及び、各基板上の異なった導体の位置に繰り返して修整されるものである。しかしながら、本発明はこの出願に限定されないものである。それどころか、撮像素子の視野の、直線セグメント、又は他のマーキングを表示する基板との、相対位置が予測される場合に一般に適用され得る。
【発明を実施するための最良の形態】
【0023】
図1は電子部品が配置される配線基板の一部のデザインの略図である。該配線基板には既にその上に導体の輪郭がはっきり現れている。図1においてはF.O.V.と名付けられた黒色の正方形は前記カメラが前記基板との第1相対位置にある場合の前記カメラの視野の位置を示すものである。影を付けた正方形は前記カメラからマスクされた前記基板の部分を示すものである。さまざまな項目が前記カメラから前記基板の部分をマスクすることがある。この場合、前記カメラは前記基板に部品を配置するロボットの一部を形成し、該ロボット装置及び/又はそれによって支えられている部品は前記基板を前記カメラからマスクし得る。同様に、前記基板に既に配置された部品は基板の特定の部分を前記カメラからマスクすることがある。本出願人による上述の同時係属出願において説明された手法を用いた、前記カメラの視野における前記直線の導体部分の解析は、この基板上に30の曖昧でない直線セグメント群を明確にし得ることを表すものである。
【0024】
前記位置予測手順の間には、参照群を処理する(すなわち、該群を検出し、かつ、その位置における前記オフセットを判定する)のに必要な時間、tRG、は合理的な精度にて規定し得る。さらに、配線基板上に電子部品を配置する応用においては、所定の周波数、
fPEにおいて前記位置予測手順を繰り返すことが一般に必要である。したがって、前記位置予測に用い得る参照セグメント群数には上限、N、があり、N=1÷(tRG x fPE)である。本発明は前記位置予測手順に用いる参照群の最適な選択を行う手法を設けるものである。
【0025】
本発明によれば、母集団の個体が各自の異なった一連の候補参照群に対応する、遺伝的アルゴリズムが用いられる。所定の個体においては、該成分となっている候補参照群が該個体の遺伝子であると考え得る。母集団における各個体は同数の遺伝子(成分となっている候補参照群)を有することが望ましい。母集団における全ての個体は異なるが、遺伝子のいくつかは1つ以上の異なった個体に存在することがある。遺伝的アルゴリズムの原理は、個体を有する初期母集団を生成し、かつ、それから、反復して、後に来る世代を生成するようこの母集団を操作し、及び、次の世代、などを生成するのに用いるようこの世代から最善の個体を選択するものである。当該目的は「適用度」パラメータによって評価された場合、ますます価値ある個体を発育させることにある。
【0026】
本発明は一世代の個体を操作して次を生成する、種々のアプローチを用いて、かつ、母集団における個体の「適用度」を評価する種々の基準を用いて、種々さまざまのアルゴリズムを利用するものである。しかしながら、本発明の好適実施例においてたどる基本アプローチは図2の流れ図において表されるものである。
【0027】
図2からわかるように、第1工程(S1)では初期の個体の母集団が選択される。この選択は起こり得る候補参照群の異なった部分集合を任意に選択することによって行い得る。下記に説明された例においては、前記の初期の母集団は500個体(候補参照群の部分集合)を有する。個体毎遺伝子数(部分集合毎候補参照群)は(上述のように)位置予測手順の間に参照群の所定の部分集合のどれかを処理するのにかかる所要時間を考慮して一般に設定されるものである。
【0028】
次に、図2の工程S2では、初期母集団から、次の世代を生成する個体を選択する。この選択は「適用度」パラメータの最高値を有する初期母集団の個体を選択することを有することがあり得る。しかしながら、さらに、母集団の多様性を増すよう他の、確率的選択方法を用いるのも有益であり得る。
【0029】
個体の次の世代はそれから、例えば交叉及び/又は突然変異によって、前記選択された個体から生成される(工程S3)。交叉は、親個体の母集団に既に存在する遺伝子(成分となっている候補参照群)を有する個体を生成することを有するものである。突然変異は、親個体の母集団にまだ存在しない遺伝子を有する個体を生成することを有するものである。
【0030】
工程S2及びS3は、固定数、M、の世代、繰り返される。下記にて説明した例ではMは200である。この遺伝的アルゴリズムを適切に形成することによって、母集団の平均適用度は増加する。前記適用度パラメータの最高値を有する個体について特筆する。この個体は最終世代には必ずしも存在しない。この個体は前記位置予測手順に用いられることになる前記一連の参照群を設けるよう選択される。
【0031】
本発明の好適実施例では、前記遺伝的アルゴリズムは、前記選択された一連の参照群を用いてもたらされる前記位置予測の正確性を最大化するよう企図された適合度パラメータを利用するものである。この適用度パラメータは下記の説明からより良く理解されるものである。
【0032】
位置予測においては、カメラの位置を予測する手順は下記のようにまとめ得る:
一連のN個の曖昧でない参照群であって、{Pi}i=1,・・,N,が前記予測されたカメラ視野において選択される;
これらの参照群は前記カメラによって生成された画像データにおいて検出され、及び、前記オフセット又はシフト、s=〔Si〕i=1,・・,N,が名目位置との相対位置において算定される;
前記シフト・ベクトル、s、と前記カメラ位置cとの間の関係は、下記のように、前記カメラ位置cが最小2乗インバージョンによって予測し得るよう、線形(S=A/c)であるとみなすものとする:
c=(A・A)−1・s=M・s
行列A、及びしたがって行列M(M=(A・A)−1、は、前記位置予測手順において用いるよう前記選択された曖昧でない参照群の位置によって判定される。
【0033】
前記選択された参照群は、前記シフト・ベクトルを破壊する測定誤差がほとんど影響を及ぼさないよう、選択することが可能な場合、有益である。前記カメラの正確な位置がc=M・sの場合、測定誤差が影響する予測値は
c´=M・(s+δs)=c+M・δsとなる。
【0034】
したがってδsのすべての値についてM・δsを最小化することが望ましい。これは行列Mの平均を最小化するか、さもなければ、他の見方をした場合、行列Aにおける最小特異値の逆数を最小化することが望ましいことを暗示するものである。したがって、本発明の好適実施例においては、前記遺伝的アルゴリズムは下記のように、異なる個体の「適用度」、f、を評価するものである:Tが、ギブの公式における温度に相似して、調整パラメータを表す時、
f=exp{−(Aの最小特異値)−1/T}となる。
Tの値は母集団の平均適用度が異なった世代を通じて進化するやり方に影響する。Tが高く設定されすぎた場合、所定の世代における異なった個体の前記適用度の間に明白な差異はあまりない。Tが低く設定されすぎた場合、平均適用度は最初の数世代において劇的に増加し得るがその後は起こり得る最善値に向けて進化しないことがある。実際には、Tは一般に、遺伝的アルゴリズムの分野において周知のように、母集団の平均適用度は数世代を通じて増加するように設定され、及び、必要とする世代数が生成された時までに、平均適用度は比較的高い適用度値に相当して停滞するものである。
【0035】
適用度パラメータは最終の位置予測の正確性に影響する他の要因を考慮するよう形成し得る。例えば、前記選択された集合における前記参照群のうちのいくつかが同様のセグメントを有する場合、これらのセグメントの位置的オフセットを予測するうえでの誤差は誇張された影響を有するものである。したがって、前記適用度パラメータは前記異なった個体の参照群に共通するセグメント数を最小化する成分を有するよう形成し得る。
【0036】
同様に、前記適用度パラメータは最終の位置予測の正確性を最大化するのに加えて他の要素を考慮するよう形成し得る。例えば、処理速度が重要である場合、前記「適用度」パラメータは処理速度と関係のある成分を有するよう形成し得る。処理速度は前記選択された参照群の集合におけるセグメントの総数によるので、前記適用度パラメータは前記選択された個体の前記参照群におけるセグメントの総数を最小化することを図り得る。
【0037】
前記適用度パラメータは、適切な荷重係数T1からT3によって、上述した3つの成分全てを有するよう形成することが可能であり、その場合、前記適用度パラメータは、下記のように、評価し得る:
f=exp{−((Aの最小特異値)−1)}/T1−(セグメント総数)/T2−(共通するセグメント数)/T3}
一般に、前記適用度パラメータに用いられる荷重係数の値はどれも、利用者が前記適用度パラメータにおける種々の成分に相当する種々の基準(位置予測の精度、計算速度、など)におく相対的な重要性に応じて設定されるものである。したがって、多くの場合、参照マーキングが選択される前記基板のデザインに変更が行われる場合においても前記荷重係数が同じ値を保つことを可能にし得る。
【0038】
上述のアプローチは図1の配線基板部分について識別された30の候補参照群から最適な15の参照群の集合を選択するよう用いられた。この例では、15の候補参照群を有する500の部分集合が、30の曖昧でない参照群のさまざまな起こり得る組み合わせから任意に選択された。200の世代が生成された。用いられた適用度の値は上述の3成分適用度パラメータで、T1=5、T2=10、T3=10である。
【0039】
次の世代を生成するために、現時の母集団の要素から任意に選択され、所定の個体が選択される確率はその個体の前記適用度パラメータの値に比例するものである。次の世代を生成するのには標準の交叉及び突然変異の手法が用いられた。特に、次の世代を生成する場合、「親」の個体において所定の参照群のどれかが取り除かれる可能性は0.5%あり、参照群の所定の対のどれかが、該群の個々のものにおいて、交叉を経る可能性が60%ある。この手順によって選択された15の参照群の前記集合は選択された参照群を図3において太線にてマークして示した。
【0040】
検討中の個体の平均適用度は、図4の図表にて示されるように、この例の前記遺伝的アルゴリズム・ベースの選択処理過程中に実際に増加した。しかしながら、前記適用度パラメータの最高値を有する個体は65代目辺りに現れた。この個体は、選択される前記参照群の集合を設けるよう選択されたものである。ところで、この例の前記アルゴリズムが、同一のパラメータを用いて繰り返された場合でも、最高の適用度を有する前記個体は、前記アルゴリズムに固有の、前記選択されたもののいくつかの任意性が原因で、異なった世代に現れうる。
【0041】
図5の略図で表されたように、本発明は上述の方法を実現する装置を設けるものである。
【0042】
図5によれば、本発明による装置は少なくとも上述の遺伝的アルゴリズム選択処理過程を実現するためにデータを処理するデジタル処理システム120を有するものである。該デジタル処理システム120は前記基板上に存在する曖昧でない参照群の初期の識別を実行するよう形成されることがあり、あるいは、前記システムはこれらの曖昧でない参照群を識別するデータを受け取ることがある。さらに、前記デジタル処理システム120は、マーキングの参照群の前記選択を実行すること、及び、前記選択された参照群を検出し、かつ、位置検出し、並びに前記カメラの視野の位置の前記予測値を計算するのに関する処理を実行することの両方に形成されることがある。
【0043】
前記処理システム120が、前記遺伝的アルゴリズムを実装するのに加えて、前記位置予測を実行する場合、画像データ取得手段150は前記処理システムに画像データを設ける。前記画像データ取得手段150は撮像素子を有することがあり、あるいは、前記基板を検視する撮像素子から画像データを受け取る(物理的に、あるいは、ソフトウェアで、実装された)インタフェースであり得る。
【0044】
前記処理システムは一般に少なくとも1つの出力(この例では、前記処理システム120は2つの出力105及び106)を有する。前記処理システム120は、第1出力106を経由して、表示及び/又は記憶手段130及び140に、該システムの参照群選択、及び/又は、位置予測データを示すデータを出力することがある。一般に位置予測データは数値データ形式であることがあるが、使いやすい表現であれば何でもよいものである(例えば、前記カメラの視野の、前記基板の表現との相対的な、前記の予測された位置を表す図形表現)。前記表示及び記憶手段は、それぞれ、ワークステーション110のスクリーン140及び記憶装置130であることがある。前記記憶手段は代わりに外部記憶手段であることがある。
【0045】
前記処理システム120が参照群の前記選択のみを実行し、及び別の処理手段(図なし)が参照群の前記検出並びに位置検出、及び、前記位置予測の前記計算を実行する場合、前記処理手段120は、前記出力105を通じて、この別の処理手段に、前記選択された参照群集合を識別するデータを出力する。
【0046】
前記データ処理システム120は前記ワークステーション110の適切にプログラムに組み込まれたコンピュータか、さもなければ、本発明による前記方法工程の前記機能を実行するよう形成された、ルックアップ・テーブル(LUT)、記憶装置、フィルタ、論理演算子のような回路手段を有する特別用途向けプロセッサであることがある。前記ワークステーション110はキーボード131及びマウス132を有することもある。前記処理システム120は前述の方法を実行するために前記処理システムの前記コンピュータ手段によって実行されるプログラム命令を有するコンピュータ・プログラム製品を用いることがある。
【0047】
前記の図とそれらの説明は本発明を限定するよりもむしろ図示するものである。本特許請求の範囲に記載の請求項の範囲内にあたる数々の代替案があることは明白である。
【0048】
本発明は、導体の経路によって構成されたセグメントを有する配線基板とのカメラの視野の相対位置を予測する状況において、これらの経路に正確に回路部品を配置することを可能にする観点から、説明したものである。上述のように、本発明はこの応用に限定されるものではなく、特に、本明細書及び特許請求の範囲の原文における「board」は撮像し得る、マーキングを有するどのような媒体をも指すものである。さらに、本明細書及び特許請求の範囲の原文における「camera」は従来の静止画あるいは動画のカメラに限定されない、種々の撮像素子に適用されるものと解されるべきである。さらに、前記マーキング及び検討された前記基板の、色は、前記マーキングと前記基板との間の識別し得るコントラストがある限りは、本発明に重要でない。
【0049】
さらに、本発明は、特に上述されたもの以上に、遺伝的アルゴリズムの分野において周知の適切な、どんな手法も利用し得るものである。例えば、前記遺伝的アルゴリズムの前記実現中に生成される世代数をあらかじめ固定する必要のない、種々の手法が知られている。代わりに、新しい世代の前記生成は所定の条件が満たされた場合、自動的に停止される。この手法は、他の手法の中でも特に、本発明の実施例において活用し得る。
【図面の簡単な説明】
【0050】
【図1】直線の導体セグメントを有している配線基板の一部の一例のデザインの略図である。
【図2】本発明の好適実施例に用いられる遺伝的アルゴリズムの主要工程を図示する流れ図である。
【図3】本発明の好適実施例によって選択されたセグメントの参照群を表している、図1の前記配線基板部分の略図である。
【図4】母集団の平均適用度及び最善の個体の適用度が、本発明の一好適実施例に用いられる遺伝的アルゴリズムの複数世代を通じてどのように変化するのかを図示した図表である。
【図5】本発明による前記方法を実施するのに適した装置の略図である。

Claims (18)

  1. 撮像素子の視野の位置を、目に見えるマーキングを有する基板と比較して予測する方法であって:
    前記撮像素子の視野の位置を、マーキングを有する選択された一連の参照群の位置の変化に基づいて予測する工程; 及び
    マーキングを有する一連の参照群を、候補参照群の集合族が母集団のそれぞれの個体を構成する遺伝的アルゴリズム最適化処理過程の利用によって選択する工程;
    を有することを特徴とする方法。
  2. 請求項1記載の位置予測方法であって、前記選択する工程は、個体の複数の世代が生成される遺伝的アルゴリズム最適化処理手順の利用を有し、及び適用度パラメータの最高値を有する個体が位置予測に用いられる前記一連の参照群を設けるよう選択されることを特徴とする方法。
  3. 請求項1又は2記載の位置予測方法であって、更に:
    複数の候補参照群を定義する工程であって、それぞれの候補参照群が前記基板上に1つ以上のマーキングを有し、及び前記撮像素子の視野は、前記候補参照群が前記撮像素子の視野における名目位置にある場合に、前記基板と比較して第1位置にあることを特徴とする工程;
    少なくとも前記基板の一部分の画像を前記撮像素子によって生成する工程;
    それぞれの選択された参照群について、該各自の選択された参照群の前記画像を検出し、及び前記撮像素子の視野における前記選択された参照群の位置と前記選択された参照群の前記名目位置との間のオフセットを判定する工程; 及び
    前記撮像素子の視野の位置を、該判定されたオフセットに基づいて、かつ、前記撮像素子の前記第1位置と前記選択された参照群の前記名目位置との間の既知の関係に基づいて、予測する工程;
    を有することを特徴とする方法。
  4. 請求項1、2、又は3記載の位置予測方法であって、前記選択する工程において用いられる前記適用度パラメータは、行列Aにおける最小特異値の逆数を最小化するよう図る成分を、s=A/cで、s が前記選択された参照群のオフセットのビクトリア表現であり、及び、c が前記撮像素子の視野の位置である時、有することを特徴とする方法。
  5. 上記請求項何れかに記載の位置予測方法であって、前記選択する工程において用いられる前記適用度パラメータが、前記一連の選択された参照群におけるマーキング総数を最小化するよう、かつ、したがって処理時間を削減するよう、図る成分を有するパラメータであることを特徴とする方法。
  6. 上記請求項何れかに記載の位置予測方法であって、前記選択する工程に用いられる前記適用度パラメータが、異なった選択された参照群において共通に発生するマーキングの割合を最小化するよう図る成分を有するパラメータであることを特徴とする方法。
  7. 上記請求項何れかに記載の位置予測方法であって、前記遺伝的アルゴリズム最適化処理過程において、選択が、次の世代を生成するのに用いられる個体について、行われ、該選択された個体が適用度パラメータの最高値を有する個体を有することを特徴とする方法。
  8. 上記請求項何れかに記載の位置予測方法であって、前記遺伝的アルゴリズム最適化処理過程において、選択が、次の世代を生成するのに用いられる個体について、行われ、当該選択された個体が確率的選択方法を用いて選択された個体を有することを特徴とする方法。
  9. 上記請求項何れかに記載の位置予測方法であって、前記遺伝的アルゴリズム最適化処理過程において、少なくとも1つの処理過程が新しい世代の前記個体を生成するのに用いられ、該少なくとも1つの処理過程が交叉を有することを特徴とする方法。
  10. 上記請求項何れかに記載の位置予測方法であって、前記遺伝的アルゴリズム最適化処理過程において、少なくとも1つの処理過程が新しい世代の前記個体を生成するのに用いられ、該少なくとも1つの処理過程が突然変異を有することを特徴とする方法。
  11. 上記請求項何れかに記載の位置予測方法であって、前記遺伝的アルゴリズム最適化処理過程の個体を構成する候補の一連の参照群を有し得る参照群の数に上限があり、該上限が前記生成された画像におけるそれぞれの参照群を位置検出するのに必要な時間に関するものであることを特徴とする方法。
  12. 上記請求項何れかに記載の位置予測方法であって、前記複数の候補参照群を定義する工程が1つ以上のマーキングを有する曖昧でない識別し得る群を識別するよう前記基板を解析することを有することを特徴とする方法。
  13. 上記請求項何れかに記載の位置予測方法であって、前記複数の候補参照群を定義する工程が、それぞれが1つ以上の直線セグメントを有する候補参照群を定義することを有することを特徴とする方法。
  14. 上記請求項何れかに記載の位置予測方法であって、前記撮像素子によって前記基板の少なくとも一部の画像を生成する工程がそれぞれの選択された参照群について該参照群の名目位置に相当する前記基板の各自の部分集合画像を生成することを有し、及び、前記各自の選択された参照群の前記画像を検出する工程が該部分集合画像における該選択された参照群を位置検出することを有することを特徴とする方法。
  15. 上記請求項何れかに記載の方法の少なくとも前記参照群選択工程を実現するよう形成された手段を有する装置。
  16. 適切にプログラムに組まれたコンピュータ、又は、請求項1乃至14の何れか1項に記載の方法の少なくとも前記参照群選択工程を実行するよう形成された回路手段を有する特別用途向けプロセッサ、を有するシステム。
  17. 請求項1乃至14の何れか1項に記載の方法の少なくとも前記参照群選択工程を実行する一連の命令を有するコンピュータ・プログラム製品。
  18. 請求項15乃至17による、あるいは、請求項1乃至14の何れか1項に記載の方法の前記位置予測工程を実現するよう形成された、装置、システム又はコンピュータ・プログラム製品。
JP2003511608A 2001-07-04 2002-07-04 撮像素子の位置を予測するのに用いられる参照マーキング選択の最適化 Pending JP2004534337A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01401791 2001-07-04
PCT/IB2002/002740 WO2003005792A1 (en) 2001-07-04 2002-07-04 Optimizing selection of reference markings used in estimating the position of an imaging device

Publications (2)

Publication Number Publication Date
JP2004534337A true JP2004534337A (ja) 2004-11-11
JP2004534337A5 JP2004534337A5 (ja) 2006-01-05

Family

ID=8182794

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003511608A Pending JP2004534337A (ja) 2001-07-04 2002-07-04 撮像素子の位置を予測するのに用いられる参照マーキング選択の最適化

Country Status (4)

Country Link
US (1) US20040184654A1 (ja)
EP (1) EP1407646A1 (ja)
JP (1) JP2004534337A (ja)
WO (1) WO2003005792A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1611780A1 (en) 2003-03-28 2006-01-04 Koninklijke Philips Electronics N.V. Method of determining at least one marking element on a substrate
US7398257B2 (en) * 2003-12-24 2008-07-08 Yamaha Hatsudoki Kabushiki Kaisha Multiobjective optimization apparatus, multiobjective optimization method and multiobjective optimization program
JP2005229111A (ja) * 2004-02-13 2005-08-25 Assembleon Nv 基体上の少なくとも1つの部品配置位置を推定する方法及びかかる方法を実施する装置
CN109684688B (zh) * 2018-12-11 2023-05-30 上海航天控制技术研究所 一种基准载荷与目标载荷交叉定标轨道设计方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63311485A (ja) * 1987-06-13 1988-12-20 Omron Tateisi Electronics Co 自動キャリブレ−ション装置
JPH02105262A (ja) * 1988-10-13 1990-04-17 Narumi China Corp 配線パターンを検査する際の最適位置補正領域の決定方法
JPH0415883A (ja) * 1990-05-09 1992-01-21 Omron Corp 画像処理装置
JPH0750500A (ja) * 1993-08-04 1995-02-21 Tescon:Kk 基板の部品実装検査方法
JPH07287760A (ja) * 1994-04-18 1995-10-31 Sanyo Electric Co Ltd テンプレートマッチング方法
JPH11312716A (ja) * 1998-01-09 1999-11-09 Seiko Instruments Inc ウェ―ハ形状自動観察方法
JP2000155011A (ja) * 1998-11-19 2000-06-06 Hitachi Ltd 位置計測方法および装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4860374A (en) * 1984-04-19 1989-08-22 Nikon Corporation Apparatus for detecting position of reference pattern
US5864833A (en) * 1996-12-23 1999-01-26 Philips Electronics North American Corp. Apparatus for optimizing the layout and charge maps of a flowline of pick and place machines
US5974169A (en) * 1997-03-20 1999-10-26 Cognex Corporation Machine vision methods for determining characteristics of an object using boundary points and bounding regions
US6324299B1 (en) * 1998-04-03 2001-11-27 Cognex Corporation Object image search using sub-models
WO2000056056A2 (en) * 1999-03-18 2000-09-21 Showbites, Inc. Method for optimization of video coverage
US6260178B1 (en) * 1999-03-26 2001-07-10 Philips Electronics North America Corporation Component placement machine step size determination for improved throughput via an evolutionary algorithm
US6577758B1 (en) * 1999-09-24 2003-06-10 Cognex Technology And Investment Corporation Image position detection technique in which input parameters can be easily determined
US6748104B1 (en) * 2000-03-24 2004-06-08 Cognex Corporation Methods and apparatus for machine vision inspection using single and multiple templates or patterns
JP4740405B2 (ja) * 2000-11-09 2011-08-03 東京エレクトロン株式会社 位置合わせ方法及びプログラム記録媒体
US6915008B2 (en) * 2001-03-08 2005-07-05 Point Grey Research Inc. Method and apparatus for multi-nodal, three-dimensional imaging
US20040096107A1 (en) * 2002-11-14 2004-05-20 Lockheed Martin Corporation Method and computer program product for determining an efficient feature set and an optimal threshold confidence value for a pattern recogniton classifier

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63311485A (ja) * 1987-06-13 1988-12-20 Omron Tateisi Electronics Co 自動キャリブレ−ション装置
JPH02105262A (ja) * 1988-10-13 1990-04-17 Narumi China Corp 配線パターンを検査する際の最適位置補正領域の決定方法
JPH0415883A (ja) * 1990-05-09 1992-01-21 Omron Corp 画像処理装置
JPH0750500A (ja) * 1993-08-04 1995-02-21 Tescon:Kk 基板の部品実装検査方法
JPH07287760A (ja) * 1994-04-18 1995-10-31 Sanyo Electric Co Ltd テンプレートマッチング方法
JPH11312716A (ja) * 1998-01-09 1999-11-09 Seiko Instruments Inc ウェ―ハ形状自動観察方法
JP2000155011A (ja) * 1998-11-19 2000-06-06 Hitachi Ltd 位置計測方法および装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
安居院猛 長尾智晴, ジェネティックアルゴリズム, vol. 初版1刷, JPN6008043299, 22 September 1993 (1993-09-22), JP, pages 53 - 67, ISSN: 0001121119 *

Also Published As

Publication number Publication date
US20040184654A1 (en) 2004-09-23
EP1407646A1 (en) 2004-04-14
WO2003005792A1 (en) 2003-01-16

Similar Documents

Publication Publication Date Title
CN108961236A (zh) 电路板缺陷检测模型的训练方法及装置、检测方法及装置
TWI748242B (zh) 掃描晶圓的系統及方法
JP7353946B2 (ja) アノテーション装置および方法
CN110766095B (zh) 基于图像灰度特征的缺陷检测方法
CN108229488A (zh) 用于检测物体关键点的方法、装置及电子设备
JP2004012422A (ja) パターン検査装置、パターン検査方法およびプログラム
US8131059B2 (en) Defect inspection device and defect inspection method for inspecting whether a product has defects
JP2014137284A (ja) 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法
KR102538785B1 (ko) 컴퓨터 지원 설계(cad) 파일로부터 웨이퍼 이미지를 생성하는 방법 및 시스템
EP1407647B1 (en) Choice of reference markings for enabling fast estimating of the position of an imaging device
JP2004534337A (ja) 撮像素子の位置を予測するのに用いられる参照マーキング選択の最適化
JP2002140694A (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体
CN104637781A (zh) 一种在处理机台上生成用于定位晶圆的制程的方法
CN109804731B (zh) 基板检查装置及利用其的基板检查方法
CN109804730B (zh) 基板检查装置及利用其的基板歪曲补偿方法
CN112347837A (zh) 图像处理***
KR101510143B1 (ko) 기판 검사 시의 측정영역 보상 방법
EP3046406B1 (en) Method for generating compensation matrix during substrate inspection
KR102073362B1 (ko) 웨이퍼 맵을 불량 패턴에 따라 분류하는 방법 및 컴퓨터 프로그램
JP2011118882A (ja) データ生成方法および画像検査方法
JP2010198089A (ja) 位置検出方法およびプログラム、並びに測定装置
JP7521588B2 (ja) 画像解析装置
JP2005301789A (ja) クラスタ解析装置、クラスタ解析方法、及びクラスタ解析プログラム
KR101959619B1 (ko) 반도체 결함 시각화 방법 및 시스템
TW201018331A (en) Method, system and computer program product for reference information based evaluation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050630

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090817

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090915