JPH06227711A - 物体を配置する装置とその方法 - Google Patents

物体を配置する装置とその方法

Info

Publication number
JPH06227711A
JPH06227711A JP5345562A JP34556293A JPH06227711A JP H06227711 A JPH06227711 A JP H06227711A JP 5345562 A JP5345562 A JP 5345562A JP 34556293 A JP34556293 A JP 34556293A JP H06227711 A JPH06227711 A JP H06227711A
Authority
JP
Japan
Prior art keywords
pixels
base point
pixel
arranging
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5345562A
Other languages
English (en)
Other versions
JP2816304B2 (ja
Inventor
Lawrence P O'gorman
パトリック ゴーマン ローレンス
Everett F Simons
フューダー シモンズ エバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AT&T Corp
Original Assignee
American Telephone and Telegraph Co Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by American Telephone and Telegraph Co Inc filed Critical American Telephone and Telegraph Co Inc
Publication of JPH06227711A publication Critical patent/JPH06227711A/ja
Application granted granted Critical
Publication of JP2816304B2 publication Critical patent/JP2816304B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Registering Or Overturning Sheets (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 直線状端部を有する物体を正確に配置する方
法を提供する。 【構成】本発明の実施例においては、物体の端部が、そ
の物体を走査する入力デバイスのサンプリング平面の座
標系の軸に対して斜角をなすようにその方向付けがなさ
れる。物体の端部に係るピクセルのサブセットが識別さ
れて物体すなわち端部の位置を推定するために用いられ
る。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、自動化されたガイドシ
ステムに関し、特に、物体を精密に配置し及び/あるい
はその位置を調節する方法及びそのシステムに関する。
【0002】
【従来の技術】自動製造システムは、通常、コンポーネ
ントアセンブリへの準備として物品のコンポーネントを
配置するための機械映像システムを利用している。一般
的には、物品の品質は、機械映像システムが配置しかつ
操作することが出来る精度によって拘束されている。よ
って、物体を非常に高精度で配置することが可能な機械
映像システムが有利である。
【0003】残念ながら、機械映像システムは、生物に
おける対応するシステムと同様、物体の位置を精密に決
定する能力を妨げる物理的な限界を有している。動物に
おいては、その限界には網膜中の桿体及び錐体の数及び
感度が含まれる。機械映像システムにおいては、前記物
理的限界には、そのシステムのビデオカメラにおける個
々の光受容素子の数及び感度が含まれる。
【0004】
【発明が解決しようとする課題】現時点においては、ビ
デオカメラは多数の高感度光受容素子を有するように作
製されうる。しかしながら、その製造コストは制限され
てしまう。ローコストかつ低解像度のビデオカメラは市
販されているが、それらは要求されている精度を実現す
ることがしばしば不可能である。よって、低解像度装置
によって物体が精密に配置されることが望ましい。
【0005】
【課題を解決するための手段】本発明に従って、従来技
術に係るコスト及び制限事項の多くを回避しつつビデオ
カメラなどの入力デバイスを用いて物体を非常に精密に
配置することが可能になる。このような結果は、ビデオ
カメラによって導入される歪が干渉によって打ち消され
ることを促進するようにビデオカメラによって捉えられ
ている物体の形及び向きを適切に制御する本発明に係る
実施例において実現される。
【0006】本明細書において用いられている術語は機
械映像及び自動製造の分野において非常に一般的に用い
られているものであり、当業者には本発明が光学技術以
外の技術を用いさらに製造以外の技術に係る問題を解決
していることが明らかである。本発明はなかんずくリモ
ートセンシング及びロボティクスにおいて利用価値があ
る。
【0007】
【実施例】説明を明瞭にするために、本発明の具体的な
実施例は(”プロセッサ”としてラベルされているもの
を含む)個別のオペレーションブロックよりなるものと
して記述される。これらのブロックが表現している機能
は、ソフトウエアを実行することが可能なハードウエア
を含む、共用あるいは専用のハードウエアを用いること
によって実現されうるがソフトウエアを実行することが
可能なハードウエアに限定されている訳ではない。(よ
って、”プロセッサ”という語の使用は、固定された機
能エレメント及びソフトウエアを実行することが可能な
ハードウエアに対してのみ言及しているのではないこと
に留意されたい。)本発明の実施例には、例えば、以下
に記述される機能及び操作を実行するソフトウエアと共
に用いられる、AT&T社製のDSP16あるいはDS
P32C等のデジタル信号プロセッサ(DSP)ハード
ウエアが含まれている。
【0008】本明細書において用いられている術語は、
機械映像分野において最も一般的に用いられているもの
である。しかしながら、これらの術語の使用は、処理さ
れる信号を生成するために光学デバイスのみが用いられ
うるということを意味しているのでは無いことに留意さ
れたい。メカニカルアセンブリ、検査あるいは調整分野
における当業者には、相異なった形態の入力デバイスを
用いる本発明の実施例を如何に構成するかが明らかであ
る。
【0009】以下の説明は3つの部分よりなる。まずは
じめに本発明の実施例が記述される。この実施例は、ロ
ボット挿入ツールを用いてプリント回路ボードにコンポ
ーネントを挿入する自動化された製造システムの一部で
ある。ロボットがコンポーネントをボード上の適切な位
置に配置することを可能にするためには、ロボットがボ
ードを精密に配置できることが有利である。このプロセ
スを容易にするために、本実施例においては、各々のプ
リント回路ボード上の一つあるいは複数個のマークの各
々の重心上に軸受けを固定することによって各々プリン
ト回路ボードを固定する。これらのマークは、基点登録
マークあるいは基点として知られているものである。続
いて、有効な基点の設計に係る基準の組が記述され、そ
の後、本実施例において軸受けを基点上に固定するため
に用いられたプロセスが記述される。
【0010】以下の米国特許がそれぞれ全体が公布され
たものとして引用されている:(1)ケイ・フジワラ
(K.Fujiwara)らによる1986年11月1
1日付けの”電子コンポーネント挿入装置”という表題
の米国特許第4,621,406号;(2)アール・ヴ
ィ・ルブラーノ(R.V.Lubrano)らによる1
991年1月15日付けの”PCボード上のソケットへ
の/からのパッケージ挿入/抜き取り装置”という表題
の米国特許第4,984,355号;(3)エヌ・エス
・ザレンバ(N.S.Zaremba)らによる198
9年9月26日付けの”プリント回路ボードソケットへ
のデュアル・イン・ラインパッケージ回路の挿入装置”
という表題の米国特許第4,868,975号;及び、
(4)ピー・メンゲル(P.Mengel)らによる1
991年7月9日付けの”カラー及びハーフトーン画像
における物体構造のフレキシブルな認識”という表題の
米国特許第5,031,224号。
【0011】図1は、人間が介在することなく部品をプ
リント回路基板に挿入することが可能な、本発明に係る
具体的な実施例を示した模式的に図である。本実施例
は、プリント回路基板101、入力デバイス(例えばビ
デオカメラ109)の視点からは少なくとも一つの直線
状端部を有するように見えるプリント回路基板101上
の2次元あるは3次元の物体(例えば基点103)、プ
リント回路基板101をX−Y平面内の実質的に所定の
角度方向を有する位置に保持する保持材105、基点1
03を走査して視野を表すビデオ信号を生成するビデオ
カメラ109、ビデオカメラによって生成されたビデオ
信号を処理する(ロボットコントローラ111などの)
モニタステーション、部品をプリント回路基板101に
挿入する(ロボットアーム125を有する)ロボット挿
入ツール123、ビデオカメラ109によって生成され
たビデオ信号をロボットコントローラ111に伝達する
リード線107、及び、基点103のX−Y座標を表す
信号をロボット挿入ツール123に伝達するリード線1
21を含んでいる。
【0012】図2に示されているように、ロボットコン
トローラ111は、ビデオキャプチャー回路255、
(RAM253などの)読み書きメモリ、汎用プロセッ
サ251、(ROM259などの)読み出し専用メモ
リ、及びロボット駆動回路257を有している。ビデオ
キャプチャー回路255は、ビデオカメラ109によっ
て生成された単一のビデオフレームを受信し、(それぞ
れ図4の403に示されているような)128x128
個の”画素”よりなる(図4の401に示されてい
る)”サンプリングウィンドウ”を生成するために前記
ビデオフレーム内の信号をある順序を有してRAM25
3に供給することが望ましい。ROM259にストアさ
れた単一あるいは複数個のプロシージャを用いるプロセ
ッサ251は、基点103の位置を推定するためにサン
プリングウィンドウ内の画素を解析する。プロセッサ2
51が基点103の位置の推定を完了すると、ロボット
駆動回路257はリード線121を介してロボット挿入
装置123にその位置を伝達する。
【0013】プリント回路基板101は保持材105に
よって、プリント回路基板101が実質的にX−Y面内
に位置しておりかつZ軸回りの回転に関して実質的に拘
束されているよう所定の角度方向に実質的に保持されて
いることが望ましい。保持材105がプリント回路基板
101のZ軸回りの回転を実質的に制限しないような実
施例においては、プリント回路基板101が複数個の個
別の基点を有していてプリント回路基板101の方向及
び位置が推定されうることが望ましい。プリント回路基
板101が複数個の基点を有する場合の本発明の実施例
の具体的な構成方法は当業者には明らかである。
【0014】基点103の形、大きさ、及び方向は、以
下の基準を満たすことが望ましい。
【0015】形:基点103は、充分に大きくかつ高い
コントラスト比が実現される(例えば白などの)背景に
対してセットされた(図6の103に示されているよう
な)黒い四角であることが望ましい。このようにするこ
とによって、ビデオカメラ109の視野内には基点10
3及び背景603のみが含まれることになる。基点10
3は、ビデオカメラ109の視点からは実質的に少なく
とも一つの直線状端部を有する、菱形、台形、あるいは
その他の形で良いことは、当業者には明らかである。
【0016】大きさ:ビデオカメラ109で見た場合に
基点103がビデオカメラ109の視野のおよそ25%
を占めるように基点103の大きさが設定されているこ
とが望ましい。
【0017】基点103の各々の側部の長さ、d、は、
ビデオカメラ109の物理的な限界によってサンプリン
グウィンドウに導入される歪が互いに打ち消しあう方向
に干渉するような長さに設定されていることが望まし
い。それゆえ、基点103の各々の側部の長さ、d、
は、 d=[(n+1)/2n]f (1) で表わされるものに等しいことが望ましい。ここで、n
はサンプリングウィンドウ内の列(あるいは行)の数で
あり、fはビデオカメラ109の(基点を含む平面に投
影した場合の)視野をリニアに測ったものである。本実
施例においてはサンプリングウィンドウは128列12
8行であり、サンプリング平面上の視野は1.0インチ
である。式1から、基点103の各々の側部の長さ、
d、は d=((128+1)/256)*1.0=0.504
(インチ) であることが望ましい。f及びnの相異なった値に対し
てdの値がどのように設定されるべきであるかは当業者
には明らかである。
【0018】当業者には、ビデオカメラ109の焦点面
と基点との間の距離を調節することにより、所定のサイ
ズを有する基点に関して式1を満足するような実施例を
如何にして作製するかは明らかである。
【0019】方向:図7に示されているように、基点1
03が、ビデオカメラ109によって見られた場合に、
基点103の側部がサンプリングウィンドウの行及び列
の軸に関して所定の角度、θ、だけずれているように、
X−Y平面内に配置されていることが望ましい。サンプ
リングウィンドウの軸に関する基点103の”チルト”
は、ビデオカメラ109の物理的な制限によって引き起
こされる歪を打ち消すような干渉を促進するという点で
有利である。
【0020】θが直角以外の角度であることが望ましい
が、チルトの効果は0゜、45゜、90゜、135゜、
180゜等、45゜の倍数に関しては同一である。0゜
あるいは45゜に近い角度は本質的により正確な測定が
可能であるが、0゜と45゜との中間(すなわち〜2
2.5゜)の角度はノイズに対して影響されにくい。当
業者には、異なったθの値を用いる実施例を作製する方
法は明らかである。
【0021】図3は、図1及び図2に示された実施例の
動作を記述した流れ図である。本発明の実施例の動作
は、ブロック301において、プリント回路基板101
が保持材105上にマウントされる時点で開始される。
前述されているように、プリント回路基板101は、大
きさ及び方向に関する前記基点に対する基準が充足され
るようにマウントされることが望ましい。
【0022】ブロック303に記載されているように、
ビデオカメラ109は周期的あるいはコマンドに応答し
て基点103を走査し、リード107を介してビデオキ
ャプチャー回路255へビデオカメラ109の視野を表
すビデオ信号の組を送出する。ブロック305において
は、ビデオキャプチャー回路255は、サンプリングウ
ィンドウ801を構成するために、これらの信号を所定
の順序に従ってRAM253へ供給する。サンプリング
ウィンドウ801における各々の画素はビデオカメラ1
09の視野内の個別の領域に関するある種の情報を表現
しているため、ビデオキャプチャー回路255は、走査
がなされた場合にサンプリングウィンドウ801が全体
としてビデオカメラ109の視野を表現するよう、各々
の画素に対して有益な”トークン”(例えば、”黒”あ
るいは”白”)を割り当てる。
【0023】本実施例においては、”黒”トークンが割
り当てられた画素は、あるスレッショルド強度より暗い
(すなわち、プリント回路基板101上に入射した光を
あるスレッショルド以下の強度しか反射しない)領域を
表すものとして規定される。よって、黒トークンが割り
当てられなかった場合には白トークンが画素に対して割
り当てられる。ウィンドウエレメントに色あるいはグレ
ースケールを表現する特徴が割り当てられるような本発
明の実施例をどのように構成するかは当業者には明らか
である。
【0024】サンプリングウィンドウ801内の黒で示
された画素には黒トークンが割り当てられており、基点
103を含むビデオカメラ109の視野を表わしてい
る。白で示されたウィンドウエレメントには白トークン
が割り当てられており、基点103の回りの背景603
を含むビデオカメラ109の視野を表わしている。
【0025】サンプリングウィンドウ801は様々なコ
ンフィギュレーションを取りうるが、直交する列及び行
として配列させられた128x128個の四角形画素ア
レイよりなることが望ましい。サンプリングウィンドウ
801内の各々の画素はデカルト座標によって識別され
る。例えば、画素(0,127)はサンプリングウィン
ドウ801の北西の角の位置するウィンドウエレメント
であり、ウィンドウエレメント(127,127)はサ
ンプリングウィンドウ801の北東の角に位置する画素
である。本実施例とは相異なった大きさ(例えば、長方
形あるいは直交しないもの)のサンプリングウィンドウ
あるいは相異なった形を有する画素を用いた本発明の別
の実施例をどのように構成するかは当業者には明らかで
ある。
【0026】ビデオキャプチャー回路255は2つの
(黒及び白)トークンしか割り当てないが、プロセッサ
251が各々の画素に対して第三のトークン、”ナ
ル”、を割り当てられることが望ましい。ナルトークン
はビデオカメラ109の視野に関して何ら情報を提供し
ないが、以下の計算においてプレースホールダーとして
用いられる。
【0027】図3に示されているように、プロセッサ2
51は基点103の重心の位置を以下の2つのフェーズ
で推定する:(1)”良い推定操作”(ブロック30
7)及び(2)”より良い推定操作”(ブロック30
9)。”良い推定操作”(ブロック307)において
は、基点103の重心がサンプリングウィンドウ801
内の全ての画素を解析することによって推定される。こ
こで、本明細書において記載されている、ROM259
内にストアされたプロシージャに従ってプロセッサ25
1によって実行されるべき全ての操作は、付録I(表
1、表2)に記載されたプログラムリスト例によって実
行されることに留意されたい。本発明に係る別の実施例
を構成してそれを用いるために前記リスト例をどのよう
に用いかつ/あるいは修正するかは当業者には明らかで
ある。
【表1】
【表2】
【0028】より詳細に述べれば、良い推定操作(ブロ
ック307)は、黒トークンが割り当てられたすべての
画素のX座標の平均を計算することによって基点103
の重心のX座標、Xg、を推定する。同様に、良い推定
操作(ブロック307)は、黒トークンが割り当てられ
た全ての画素のY座標の平均を計算することによって基
点103の重心のY座標、Yg、を推定する。プログラ
ムプロセッサ251がこの良い推定操作をどのように実
行するかは当業者には明らかである。良い推定操作(ブ
ロック307)により、サンプリングウィンドウ801
内の基点の重心の推定値(例えば、Xg=75.74、
g=71.09)が得られる。
【0029】プロセッサ251が良い推定操作(ブロッ
ク307)を実行した後、プロセッサ251は図3に示
されているより良い推定操作(ブロック309)の実行
を開始する。このより良い推定操作は、サンプリングウ
ィンドウ801内の基点103の端部を規定する単一あ
るいは複数個の画素を解析することによって基点103
の重心を推定する。基点の端部は、黒トークンが割り当
てられた画素あるいは白トークンが割り当てられた画素
のいずれか一方によって表現されうることに留意された
い。
【0030】より詳細に述べれば、より良い推定操作
(ブロック309)は、基点103のY軸により平行な
2つの端部を規定している画素の幾つかのX座標の平均
を求めることによって基点103の重心のX座標、
b、を推定する。同様に、より良い推定操作(ブロッ
ク309)は、基点103のX軸により平行な2つの端
部を規定している画素の幾つかのY座標の平均を求める
ことによって基点103の重心のY座標、Yb、を推定
する。
【0031】より良い推定操作(ブロック309)は、
それ自体、”Y座標操作(ブロック311)”及び”X
座標操作(ブロック321)”を有している。これら2
つの操作のうちの一方のみしか実行しないあるいは双方
を順番に実行するもしくはこれら2つをマルチタスク/
マルチプロセッサシステムにおいて同時に実行するよう
な本発明の実施例をどのように構成するかは当業者には
明らかである。
【0032】Y座標操作(ブロック311)は、
(1)”ウィンドウ二重化操作”(ブロック313)、
(2)”垂直マスキング操作”(ブロック315)、
(3)”端部分離操作”(ブロック317)、及び
(4)”Y平均操作”(ブロック319)を有してい
る。
【0033】ウィンドウ二重化操作(ブロック313)
においては、プロセッサ251はサンプリングウィンド
ウ801をRAM253内で複写してデュープリケート
サンプリングウィンドウを形成する。プロセッサ251
によってY座標操作(ブロック311)がなされる間に
実行される全てのステップはこのデュープリケートサン
プリングウィンドウに関して機能する。元のサンプリン
グウィンドウはX座標操作(ブロック321)用に保存
される。
【0034】プロセッサ251は、ウィンドウ二重化操
作(ブロック313)を完了すると、デュープリケート
サンプリングウィンドウに対して垂直マスキング操作
(ブロック315)を実行する。垂直マスキング操作
(ブロック315)は、以下の2つの機能を実行する:
(1)基点103の垂直端部をより規定している画素を
水平端部をより規定している画素から分離させる、及び
(2)ビデオカメラ109の物理的な限界に起因する歪
が互いに打ち消すように干渉するのをさらに促進する。
【0035】垂直マスキング操作(ブロック315)に
おいては、XL以下あるいはXHより大きいX座標を有す
るデュープリケートサンプリングウィンドウ内の各々の
画素に対してナルトークンが再び割り当てられる。XL
及びXHの値は、以下の式2及び式3を同時に満たすよ
うに決定される; XH−Xg=Xg−XL (2) XH−XL=(dncosθ)/(2f) (3)
【0036】式2は、マスクされない領域が基点103
の重心の前記よい推定値の近傍にその中心を有すること
を保証する。このことには2つの利点がある。第一に、
このことにより基点の角に発生し易いノイズを除去する
ことが可能になり、第二に、基点103の左右の端部を
規定する画素から上下の端部を規定する画素を分離する
ことが出来る。
【0037】式3は、基点の上下の端部を各々規定する
画素数が基点の周期の整数倍に等しいことを保証する。
基点周期は、基点の端部の一部が一つの列を横断するた
めに横断しなければならない行の数の概数を表わしてい
る。Y平均操作(ブロック319)において用いられる
画素数は基点周期の整数倍であることが望ましい。なぜ
なら、このことにより、ビデオカメラ109の物理的限
界によって引き起こされる歪が更に打ち消されるからで
ある。
【0038】本実施例においては、d=0.504”、
n=128、θ=7.125゜、f=1.0”及びXg
=75.74となる。式3から、 XH−XL=0.504"x128xCOS(7.125゜)/2x1.0"=32.00 (3a) 及び、式2から XH−75.74=75.74−XL (2a) となる。式3a及び式3bを同時に解くことにより、最
も近い整数としてXH=92及びXL=60が得られる。
与えられた相異なったパラメータに対してXH及びXL
値をどのように決定するかは当業者には明らかである。
プロセッサ251は92より大きいあるいは60以下の
X座標を有する全てのウィンドウエレメントにナルトー
クンを割り当てる。このようにしてマスクされた二重化
サンプリングウィンドウが図9の901に示されてい
る。ナルトークンが割り当てられた画素はクロスハッチ
によって表わされている。この時点で、垂直マスキング
操作(ブロック315)が完了する。
【0039】端部分離操作(ブロック317)により、
マスクされた二重化サンプリングウィンドウ中の画素の
サブセットが”端部画素”として識別される。この識別
のために、端部画素が基点103の端部を規定する画素
として規定される。この実施例においては、端部画素
が、黒トークンが割り当てられていて少なくとも一つの
白トークンが割り当てられた”隣接する画素”を有する
画素として規定される。この定義の系として、ナルトー
クンあるいは白トークンが割り当てられた画素は端部画
素となり得ないことになる。
【0040】この識別のために、隣接画素は、他の画素
に関連してある座標関係を有する画素として規定され
る。(図5に示されている)本実施例においては、画素
501が4つの隣接する画素を有するものとして規定さ
れている:その4つの画素とは、画素503(画素50
1の北側)、画素505(画素501の東側)、画素5
07(画素501の南側)、及び画素509(画素50
1の西側9である。プロセッサ251がこの端部分離操
作(ブロック317)をどのように実行するかは当業者
には明らかである。また、隣接画素の定義が相異なる
(例えば、与えられた画素の北東、南東、南西、及び北
西画素を含む、など)本発明の実施例をどのように構成
して実現するかも当業者には明らかである。
【0041】端部分離操作(ブロック317)が完了す
ると、その結果は図10に示された二重化サンプリング
ウィンドウのようになる(黒トークンが割り当てられて
黒く見える端部画素以外の全ての画素には白トークンが
割り当てられていて白く見える)。
【0042】Y座標操作(ブロック311)に関する最
終ステップは、Y平均操作(ブロック319)である。
Y平均操作(ブロック319)においては、プロセッサ
251は、基点103の重心のY座標のより良い推定
値、Yb、を、端部画素(すなわち、図10に示されて
いるように、二重化サンプリングウィンドウ内の黒トー
クンが割り当てられた画素)全てのY座標を平均するこ
とによって決定する。本実施例においては、基点103
のより良い推定値はプロセッサ251によってYb=6
8.87と決定される。
【0043】当業者には、端部画素のサブセットのみを
どのように用いるかは明らかである。さらに、垂直マス
キング操作(ブロック317)の後及び端部分離操作
(ブロック319)の前に基点103の重心のY座標を
どのように推定するかも当業者には明らかである。
【0044】Y座標操作(ブロック311)が完了する
と、プロセッサ251はX座標操作(ブロック321)
を開始する。X座標操作(ブロック321)は、
(1)”水平マスキング操作”(ブロック323)、
(2)”端部分離操作”(ブロック325)、及び
(3)”X平均操作”(ブロック327)よりなる。
【0045】プロセッサ251は、X座標操作(ブロッ
ク321)を、Y座標操作(ブロック311)によって
何ら操作を受けずに残されていた元のサンプリングウィ
ンドウ801に対して水平マスキング操作(ブロック3
23)を実行することによって開始する。水平マスキン
グ操作(ブロック323)は、垂直マスキング操作(ブ
ロック315)と同様のものであり、同様の理由から有
効である。
【0046】水平マスキング操作(ブロック323)に
おいては、YL以下あるいはYH以上のY座標を有するサ
ンプリングウィンドウ内の各々の画素に対してナルトー
クンが再び割り当てられる。YL及びYHの値は、式4及
び式5を同時に満足するように決定される; YH−Yg=Yg−YL (4) YH−YL=dncosθ/2f (5)
【0047】式4は式2と同様のものであり、同様の理
由から有効である。式5は式3と同様のものであり、同
様の理由から有効である。
【0048】本実施例においては、d=0.504”、
n=128、θ=7.125゜、f=1.0”及びYg
=71.09となる。式3から XH−XL=0.504"x128xCOS(7.125゜)/2x1.0"=32.00 (5a) 及び式2から XH−71.09=71.09−XL (4a) となる。式4a及び式5aを同時に解くことにより、最
も近い整数としてYH=87及びYL=55が得られる。
相異なったパラメータに対してYH及びYLをどのように
決定するかは当業者には明らかである。これより、プロ
セッサ251は、87より大きいあるいは55以下のY
座標を有するすべての画素にナルトークンを割り当て
る。マスクされたサンプリングウィンドウ801が図1
1の1101に示されている。ナルトークンが割り当て
られた画素は、クロスハッチで示されている。この時点
で水平マスキング操作(ブロック323)が完了する。
【0049】端部分離操作(ブロック325)は、Y座
標操作(ブロック311)における端部分離操作(ブロ
ック311)と同一であり、図11に示されているマス
クされたサンプリングウィンドウから図12に示されて
いるサンプリングウィンドウ(黒トークンが割り当てら
れて黒く見える端部画素以外はすべて白トークンが割り
当てられて白く見える)が生成される。
【0050】X座標操作(ブロック321)における最
終ステップは、X平均操作(ブロック327)である。
X平均操作(ブロック327)においては、プロセッサ
251は、端部画素(すなわち、図12に示されてい
る、黒トークンが割り当てられたサンプリングウィンド
ウ内の画素)の全てのX座標を平均することによって、
基点103の重心のX座標のより良い推定値、Xb、を
決定する。本実施例においては、基点103のX座標の
より良い推定値は、プロセッサ251によってXb=7
1.65と決定される。
【0051】当業者には、図12に示されている端部画
素のサブセットのみをどのように利用するかは明らかで
ある。さらに、水平マスキング操作(ブロック323)
の後及び端部分離操作(ブロック325)の前に基点1
03の重心のX座標をどのように推定するかも当業者に
は明らかである。
【0052】この時点で、X座標操作(ブロック32
1)及びより良い推定操作(ブロック309)は完了す
る。基点103の重心のより良い推定値は、本実施例に
おいては、Xb=71.65、Yb=68.87、と決定
される。ロボット駆動回路257はこれらの座標をリー
ド121を介してロボット挿入ツール123へ伝達し、
そこでプリント回路基板101にコンポーネントを挿入
するために用いられる。
【0053】ロボット挿入ツール123はロボットアー
ム125をX及びY方向に駆動する手段を有しており、
ロボットアーム125は本発明の実施例における規定に
従ってプリント回路基板101にコンポーネントを挿入
することが出来る。
【0054】本明細書においてプロセッサ251によっ
て実行されると記載されたROM259にストアされた
プロシージャ中の全ての操作は、付録Iに記載されたプ
ログラムリストによって実行される。本発明の他の実施
例を作製して利用するためにこのプログラムリストを利
用及び/あるいは修正する方法は当業者には明らかであ
る。
【0055】
【発明の効果】以上述べたごとく、本発明によれば、物
体を精密に配置し及び/あるいはその位置を調節する方
法及びそのシステムが提供される。
【図面の簡単な説明】
【図1】本発明の一実施例を示したブロック図。
【図2】図1に示されたロボットコントローラの構成を
示したブロック図。
【図3】本発明の実施例において実行されるオペレーシ
ョンを例を示した流れ図。
【図4】直交する行列の形に配置された128x128
個の画素アレイよりなるサンプリングウィンドウを示し
た図。
【図5】リファレンスウィンドウとその隣接する画素と
の間の関係を示した図。
【図6】図1に示されている基点の例を示す図。
【図7】図1に示されている基点例及び図4に示されて
いるサンプリングウィンドウのウィンドウエレメントの
列及び行に関する角度の方向を示す図。
【図8】図7に示されている基点を含む画像を表現して
いるサンプリングウィンドウ例を示す図。
【図9】基点の垂直間隔に等しい部分を分離するために
マスクされている図8のサンプリングウィンドウを示す
図。
【図10】基点の水平方向のエッジを部分的に規定して
いる画素の組を分離した場合の図9のサンプリングウィ
ンドウを示した図。
【図11】基点の水平間隔に等しい部分を分離するため
にマスクされている図8のサンプリングウィンドウを示
す図。
【図12】基点の垂直方向のエッジを部分的に規定して
いる画素の組を分離した場合の図11のサンプリングウ
ィンドウを示した図。
【符号の説明】
101 プリント回路基板 103 基点 105 保持材 107、121 リード 109 ビデオカメラ 111 ロボットコントローラ 123 ロボット挿入ツール 125 ロボットアーム 251 プロセッサ 253 RAM 255 ビデオキャプチャー回路 257 ロボット駆動回路 259 ROM 270 ウィンドウ二重化プロシージャ 271 垂直ウィンドウプロシージャ 272 端部分離プロシージャ 273 Y平均プロシージャ 274 水平マスキングプロシージャ 275 X平均プロシージャ 276 管理プロシージャ 277 オペレーティングシステム 301 プリント回路基板101を保持材105にマウ
ント 303 基点103を走査 305 サンプリングウィンドウ801を生成 307 良い推定操作 309 より良い推定操作 311 Y座標操作 313 ウィンドウ二重化操作 315 垂直マスキング操作 317 端部分離操作 319 Y平均操作 321 X座標操作 323 水平マスキング操作 325 端部分離操作 327 X平均操作 401 サンプリングウィンドウ 403 ビデオフレーム 405 X座標 407 Y座標 501 画素 503 北側隣接画素 505 東側隣接画素 507 南側隣接画素 509 西側隣接画素 603 背景 801 サンプリングウィンドウ 805 X座標 807 Y座標 901 二重化サンプリングウィンドウ 905 X座標 907 Y座標
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ローレンス パトリック ゴーマン アメリカ合衆国 07940 ニュージャージ ー マディソン、アルブライト サーク ル、18 (72)発明者 エバート フューダー シモンズ アメリカ合衆国 07927 ニュージャージ ー セダー クノール、クロス ロード、 75

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】 物体の実質的に直線状の少なくとも一つ
    の端部を含む画像を取り込み、実質的に平行な複数個の
    列に配列している画素アレイを含むサンプリングウィン
    ドウを生成する入力デバイス(109)と、 前記実質的に直線状の端部と前記列とが斜角を構成する
    よう前記物体を前記入力デバイスに関してその方向付け
    を行なう手段(111)と、 前記実質的に直線状の端部を規定する前記画素のうちの
    少なくとも一つを端部画素として識別する手段(10
    9)と、 前記物体を前記端部画素の少なくとも一つに基づいて配
    置する手段(105)とを有することを特徴とする物体
    を配置する装置。
  2. 【請求項2】 前記物体がプリント回路基板上の基点登
    録マークであり、前記入力デバイスが、ビデオカメラで
    あることを特徴とする請求項第1項に記載の装置。
  3. 【請求項3】 前記基点登録マークが第一の対向する端
    部対及び第二の対向する端部対を有する平行四辺形であ
    ることを特徴とする請求項第2項に記載の装置。
  4. 【請求項4】 前記識別手段が、前記第二の対向する端
    部対を表す画素から前記第一の対向する端部対を表す画
    素を分離する手段を有することを特徴とする請求項第3
    項に記載の装置。
  5. 【請求項5】 前記配置手段が、前記第一の対向する端
    部対を表す前記画素に基づいて前記基点登録マークを第
    一の方向に配置する手段を有することを特徴とする請求
    項第4項に記載の装置。
  6. 【請求項6】 前記配置手段が、さらに、前記第二の対
    向する端部対を表す前記画素に基づいて前記基点登録マ
    ークを第二の方向に配置する手段を有することを特徴と
    する請求項第5項に記載の装置。
  7. 【請求項7】 入力デバイスからの映像によって実質的
    に直線状の端部を有するように見える物体の位置決めを
    行なう方法において、 前記入力デバイスによって前記実質的に直線状の端部を
    含む前記物体の少なくとも一部を走査し、実質的に平行
    な複数個の列に配置された画素アレイよりなるサンプリ
    ングウィンドウを生成するステップと、 前記実質的に直線状の端部と前記列とが斜角を構成する
    よう前記物体を前記入力デバイスに関してその方向付け
    を行なうステップと、 前記実質的に直線状の端部を規定する前記画素のうちの
    少なくとも一つを端部画素として規定するステップと、 前記端部画素の少なくとも一つに基づいて前記物体を配
    置するステップとを有することを特徴とする位置決め方
    法。
  8. 【請求項8】 前記物体が、プリント回路基板上の基点
    登録マークであり、前記入力デバイスが、ビデオカメラ
    であることを特徴とする請求項第7項に記載の方法。
  9. 【請求項9】 前記基点登録マークが、第一の対向する
    端部対及び第二の対向する端部対を有する平行四辺形で
    あることを特徴とする請求項第8項に記載の方法。
  10. 【請求項10】 前記識別ステップが、前記第二の対向
    する端部対を表す画素から前記第一の対向する端部対を
    表す画素を分離するステップを有することを特徴とする
    請求項第9項に記載の位置決め方法。
  11. 【請求項11】 前記配置ステップが、前記第一の対向
    する端部対を表す前記画素に基づいて前記基点登録マー
    クを第一の方向に配置するステップを有することを特徴
    とする請求項第10項に記載の位置決め方法。
  12. 【請求項12】 前記配置ステップが、さらに、前記第
    二の対向する端部対を表す前記画素に基づいて前記基点
    登録マークを第二の方向に配置するステップを有するこ
    とを特徴とする請求項第11項に記載の位置決め方法。
  13. 【請求項13】 実質的に直線状の端部を少なくとも一
    つ有する物体を配置する装置において、 前記物体の画像を取り込む手段と、前記画像は少なくと
    も2つの識別可能な状態を示す画素の配列より構成され
    ており、前記画素が前記物体に関して既知の位置を有す
    る実質的に平行な列に配列されており、前記実質的に直
    線状の端部は前記画像内で一方の状態を示す画素から他
    方の状態を示す画素への遷移として表わされており前記
    実質的に直線状の端部が前記実質的に平行な列に関して
    斜角を構成するよう前記物体の方向付けを行なう手段
    と、 前記一方の状態を示す画素に隣接する前記他方の状態を
    示す画素のうちの少なくとも複数個を、前記実質的に直
    線状の端部を配置するために、識別する手段と、 前記物体を前記他方の状態を示す前記画素のうちの少な
    くとも複数個の位置に基づいて配置する手段とを有する
    ことを特徴とする位置決め装置。
JP5345562A 1992-12-23 1993-12-22 物体を配置する装置とその方法 Expired - Fee Related JP2816304B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US99630392A 1992-12-23 1992-12-23
US996303 1992-12-23

Publications (2)

Publication Number Publication Date
JPH06227711A true JPH06227711A (ja) 1994-08-16
JP2816304B2 JP2816304B2 (ja) 1998-10-27

Family

ID=25542749

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5345562A Expired - Fee Related JP2816304B2 (ja) 1992-12-23 1993-12-22 物体を配置する装置とその方法

Country Status (4)

Country Link
US (1) US5557690A (ja)
EP (1) EP0604052B1 (ja)
JP (1) JP2816304B2 (ja)
DE (1) DE69330550T2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010147401A (ja) * 2008-12-22 2010-07-01 Hitachi High-Tech Instruments Co Ltd 電子部品装着装置及び画像歪補正方法
KR20150064080A (ko) * 2012-09-28 2015-06-10 일리노이즈 툴 워크스 인코포레이티드 엣지 검출에 기초한 재료 분배 방법

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5949924A (en) * 1995-10-06 1999-09-07 Ricoh Company, Ltd. Image processing apparatus, method and computer program product
US6259827B1 (en) 1996-03-21 2001-07-10 Cognex Corporation Machine vision methods for enhancing the contrast between an object and its background using multiple on-axis images
US6075881A (en) 1997-03-18 2000-06-13 Cognex Corporation Machine vision methods for identifying collinear sets of points from an image
US5974169A (en) 1997-03-20 1999-10-26 Cognex Corporation Machine vision methods for determining characteristics of an object using boundary points and bounding regions
US6608647B1 (en) 1997-06-24 2003-08-19 Cognex Corporation Methods and apparatus for charge coupled device image acquisition with independent integration and readout
US6381375B1 (en) 1998-02-20 2002-04-30 Cognex Corporation Methods and apparatus for generating a projection of an image
US6381366B1 (en) 1998-12-18 2002-04-30 Cognex Corporation Machine vision methods and system for boundary point-based comparison of patterns and images
US6687402B1 (en) 1998-12-18 2004-02-03 Cognex Corporation Machine vision methods and systems for boundary feature comparison of patterns and images
US6684402B1 (en) 1999-12-01 2004-01-27 Cognex Technology And Investment Corporation Control methods and apparatus for coupling multiple image acquisition devices to a digital data processor
US6748104B1 (en) 2000-03-24 2004-06-08 Cognex Corporation Methods and apparatus for machine vision inspection using single and multiple templates or patterns
US20020120728A1 (en) * 2000-12-22 2002-08-29 Jason Braatz Method and apparatus for network-enablement of devices using device intelligence and network architecture
JP3741013B2 (ja) * 2001-09-17 2006-02-01 ウシオ電機株式会社 蛇行修正機構を備えた帯状ワークの露光装置
US7228428B2 (en) * 2001-12-14 2007-06-05 Xerox Corporation Method and apparatus for embedding encrypted images of signatures and other data on checks
AU2003900180A0 (en) * 2003-01-16 2003-01-30 Silverbrook Research Pty Ltd Method and apparatus (dam001)
CN100334592C (zh) * 2004-12-30 2007-08-29 财团法人工业技术研究院 非对应性基材的视觉对位方法
US7864159B2 (en) 2005-01-12 2011-01-04 Thinkoptics, Inc. Handheld vision based absolute pointing system
EP1926520B1 (en) 2005-09-19 2015-11-11 Varian Medical Systems, Inc. Apparatus and methods for implanting objects, such as bronchoscopically implanting markers in the lung of patients
US8111904B2 (en) 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
US8913003B2 (en) 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
US8162584B2 (en) 2006-08-23 2012-04-24 Cognex Corporation Method and apparatus for semiconductor wafer alignment
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
US10043284B2 (en) * 2014-05-07 2018-08-07 Varian Medical Systems, Inc. Systems and methods for real-time tumor tracking
US9919165B2 (en) 2014-05-07 2018-03-20 Varian Medical Systems, Inc. Systems and methods for fiducial to plan association

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02184100A (ja) * 1989-01-11 1990-07-18 Hitachi Ltd 電子部品装着装置及び装着方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4209830A (en) * 1976-04-19 1980-06-24 Tokyo Shibaura Electric Co., Ltd. Fine object having position and direction sensing mark and a system for detecting the position and direction of the sensing mark
US4621406A (en) 1983-02-28 1986-11-11 Matsushita Electric Industrial Co., Ltd. Electronic component insertion apparatus
JPS63104348A (ja) * 1986-10-21 1988-05-09 Toko Inc 半導体装置
DE3870729D1 (de) 1987-07-10 1992-06-11 Siemens Ag Flexible erkennung von objektstrukturen in farb- und grauwertbildern.
US5119435A (en) * 1987-09-21 1992-06-02 Kulicke And Soffa Industries, Inc. Pattern recognition apparatus and method
US4845558A (en) * 1987-12-03 1989-07-04 Kla Instruments Corporation Method and apparatus for detecting defects in repeated microminiature patterns
US4969200A (en) * 1988-03-25 1990-11-06 Texas Instruments Incorporated Target autoalignment for pattern inspector or writer
US4972311A (en) * 1988-08-15 1990-11-20 Kulicke And Soffa Industries Inc. X-Y table error mapping apparatus and method
US4868975A (en) 1988-12-05 1989-09-26 Ag Communication Systems Corporation Tool for inserting dual in-line packaged circuits into printed circuit board sockets
US4984355A (en) 1989-03-06 1991-01-15 Unisys Corporation Tool for inserting/extracting package from socket on PC board
JPH083405B2 (ja) * 1989-06-30 1996-01-17 松下電器産業株式会社 リード位置認識装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02184100A (ja) * 1989-01-11 1990-07-18 Hitachi Ltd 電子部品装着装置及び装着方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010147401A (ja) * 2008-12-22 2010-07-01 Hitachi High-Tech Instruments Co Ltd 電子部品装着装置及び画像歪補正方法
KR20150064080A (ko) * 2012-09-28 2015-06-10 일리노이즈 툴 워크스 인코포레이티드 엣지 검출에 기초한 재료 분배 방법
JP2016504750A (ja) * 2012-09-28 2016-02-12 イリノイ トゥール ワークス インコーポレイティド エッジ検出に基づいて材料を供給する方法
US9779494B2 (en) 2012-09-28 2017-10-03 Illinois Tool Works Inc. Apparatus for dispensing material based on edge detection
KR20200103883A (ko) * 2012-09-28 2020-09-02 일리노이즈 툴 워크스 인코포레이티드 엣지 검출에 기초한 재료 분배 방법

Also Published As

Publication number Publication date
US5557690A (en) 1996-09-17
JP2816304B2 (ja) 1998-10-27
DE69330550T2 (de) 2002-05-16
DE69330550D1 (de) 2001-09-13
EP0604052A3 (en) 1995-07-26
EP0604052A2 (en) 1994-06-29
EP0604052B1 (en) 2001-08-08

Similar Documents

Publication Publication Date Title
JPH06227711A (ja) 物体を配置する装置とその方法
CN110555889B (zh) 一种基于CALTag和点云信息的深度相机手眼标定方法
KR102261020B1 (ko) 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스
CN107292927B (zh) 一种基于双目视觉的对称运动平台位姿测量方法
ES2435248T3 (es) Sistema y método táctil basado en cámaras
JP4901903B2 (ja) 三次元検査システム
US9972101B2 (en) Reconstruction of three dimensional model of an object from surface or slice scans compensating for motion blur
WO1999015854A1 (en) Machine vision methods using feedback to determine calibration locations of multiple cameras that image a common object
DE102006005036A1 (de) Vorrichtung und Verfahren zur verbesserten Formcharakterisierung
JP2009042162A (ja) キャリブレーション装置及びその方法
JPH11166818A (ja) 三次元形状計測装置の校正方法及び校正装置
JPH0680404B2 (ja) カメラ位置姿勢校正方法
CN113034612A (zh) 一种标定装置、方法及深度相机
JPH06137840A (ja) 視覚センサの自動キャリブレーション装置
JPH0886613A (ja) ステレオカメラ校正装置
JPH05196437A (ja) 3次元情報入力装置
JPH06259536A (ja) 撮像位置、姿勢の三次元補正方法およびロボットの三次元位置補正方法
Andersson A low-latency 60 Hz stereo vision system for real-time visual control
US20180293764A1 (en) Reconstruction of three dimensional model of an object compensating for object orientation changes between surface or slice scans
JP3572252B2 (ja) 実写画像とレンジデータの位置合わせ方法及び装置、並びにこの方法の実行プログラムを記録した記録媒体
WO2021240934A1 (ja) 対象物の位置および姿勢の計測のためのマーカ、装置、システムおよび計測方法
JPS62102984A (ja) ロボットの手首部位置決め方法
JP2988383B2 (ja) 移動体の検出システム
JPH06221832A (ja) カメラの焦点距離較正方法及び装置
JPH0715647A (ja) 2次元撮像装置のレンズ歪曲収差補正方法

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080814

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees