TW201730702A - 用於組裝系統中物件之虛擬組裝的系統及方法 - Google Patents

用於組裝系統中物件之虛擬組裝的系統及方法 Download PDF

Info

Publication number
TW201730702A
TW201730702A TW106114395A TW106114395A TW201730702A TW 201730702 A TW201730702 A TW 201730702A TW 106114395 A TW106114395 A TW 106114395A TW 106114395 A TW106114395 A TW 106114395A TW 201730702 A TW201730702 A TW 201730702A
Authority
TW
Taiwan
Prior art keywords
workpiece
assembly
image
workpieces
images
Prior art date
Application number
TW106114395A
Other languages
English (en)
Inventor
格陸帕沙德 席發郎
衛拉德 費思特
Original Assignee
康耐視公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 康耐視公司 filed Critical 康耐視公司
Publication of TW201730702A publication Critical patent/TW201730702A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/4202—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine preparation of the programme medium using a drawing, a model
    • G05B19/4207—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine preparation of the programme medium using a drawing, a model in which a model is traced or scanned and corresponding data recorded
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31044—Assembly of modular products, variant configurability
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31066—Virtual assembly disassembly planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40499—Reinforcement learning algorithm
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45104—Lasrobot, welding robot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)

Abstract

本發明係提出一種系統及方法，用於將工件導引到最佳的位置以訓練一種組裝系統，其概括為免於CMM或類似的計量裝置之使用。該種系統及方法係將當工件在其個別站時之該等工件的影像特徵表示在一個共同座標系統中。此能力係允許使用者以一種“虛擬組裝”來使組裝該等工件的結果為視覺化而未實際將其組裝。虛擬組裝係協助導引在個別站中的工件之放置為期望的相對對準。該種系統及方法係說明性地使用來自於導引該等工件所使用之相機的影像而產生一個合成影像，其有助於使用者來視覺化該零件將在組裝後為如何顯現。使用者係可重新定位在其個別站中之工件的影像，直到該合成影像係具有一個期望的外觀。

Description

用於組裝系統中物件之虛擬組裝的系統及方法 【相關申請案】
本申請案係主張在西元2015年3月3日所提出之其標題為“用於透過物件的虛擬組裝來訓練組裝系統的視覺系統(VISION SYSTEM FOR TRAINING AN ASSEMBLY SYSTEM THROUGH VIRTUAL ASSEMBLY OF OBJECTS)”的美國臨時申請案序號第62/127,808號之裨益，其揭示內容係特意以參照方式而納入本文。
本發明係關於機器視覺系統，且尤指其用以導引在一個製造環境中的工件與其他物件之組裝的視覺系統。
在機器視覺系統(亦在本文稱為“視覺系統”)之中，一個或多個相機係使用以實行在一個成像的場景之內的一個物件或表面上的視覺系統處理。此等處理係可包括檢查、符號表示法之解碼、對準、以及種種其他的自動化任務。更特別而言，一個視覺系統係可用以檢查其通過一個成像的場景之一個平坦的工件。該場景係典型由一個或多個視覺系統相機所成像，該等相機係可包括內部或外部的視覺系統處理器，其操作關聯的視覺系統處理以產生結果。該等相機的一者或多者係校準以致能其來實行 視覺任務為有充分的準確度與可靠度。一個校準板係可運用以校準相機，且建立一個共同(總體)座標系統(亦稱為一種“運動座標系統”)，其中所有相機的像素位置係映射到在該座標系統中的關聯點，因而允許在任何相機中的一個成像特徵被定位在該座標空間內。該種校準係可使用已知的“手-眼(hand-eye)”校準技術來達成。
對於視覺系統之一個顯著應用係在物件(亦稱為“工件”)之組裝，藉由一個自動化組裝機構，其可包括：移動平台(運動台)，以準確支撐在一個組裝位置的一個工件；以及，一個操縱器(例如：實行“拾取及放置(pick-and-place)”操作之一個機械手或手臂、或另一個型式的運動裝置/運動台)，將另一個工件以一個“組裝運動”而移動到其被組裝到該工件之處的一個覆在上面的對準位置。
對於在組裝工件之一種視覺系統的一個特定應用係涉及將一個平面工件和另一個平面工件對準。舉例來說，一個電池係可在一個拾取及放置操作中為藉由操縱器所操縱到其位在運動台之一個手機上的一個鑿孔。
該種視覺系統係初始訓練，使得在系統的執行期操作期間，各個工件係和其他工件為正確對準。在訓練時間期間，該等工件係定位在其個別站，使得當組裝時，經組裝的工件係具有期望的相互定位關係。在訓練之後的執行期間，為了考量任何的放置或尺度變化，該等工件係重新定位在其個別站且組裝。當工件組裝處理開始時，該等零件係因而放置在如同其在訓練時所為的相同相互定位關係。
目前的訓練技術係涉及將該等工件放置在其個別的站、訓練 該系統、將其組裝且在諸如一個座標測量機器(CMM,coordinate measuring machine)之一個單獨的測量系統上來測量該組裝誤差。測量的誤差係(a)使用以導引該等工件之重新定位(分別藉由操縱器與運動台)且重新訓練該組裝系統，或(b)在一些組裝系統上，納入作為一個修正因數，其被應用在執行期間以藉由其個別的機構來修正該等工件的一者或二者之位置。關於藉由該等工件的重新定位之訓練的缺點係在於其為一個反覆且耗時的過程。使用者係必須重複該訓練步驟多次，直到所期望的組裝特性係達成。同理，關於將一個修正因數納入到操縱器及/或運動台之組裝運動的挑戰係在於並不具有CMM與組裝系統的座標框之間的建立關係。因此，修正因數之計算係亦為一個反覆且耗時的過程。
本發明係藉由提出一種用於將工件導引到最佳位置以訓練一個組裝系統之系統及方法而克服先前技藝的缺點，該組裝系統係概括為免於一種CMM或類似的計量裝置之使用。該種系統及方法係將當工件在其個別的站時之該等工件的影像特徵表示在一個共同座標系統中。此能力係允許使用者使組裝該等工件的結果為視覺化而未實際將其組裝。此舉係在本文被稱為“虛擬組裝”。該種系統及方法係運用虛擬組裝以有助於導引該等工件在其個別的站之放置，裨使當組裝時，經組裝工件係將具有期望的相對對準。在一個實施例中，該種系統及方法係使用其來自在導引該等工件所用之相機的影像(其可為由一個工件的複數個獲得影像所構成的拼接影像)而產生一個合成影像，其有助於使用者視覺化該零件將在組裝之後為如何顯現。使用者係可重新定位在其個別站中之工件的影像，直到該合成 影像係具有一個期望的外觀。在另一個實施例中，使用者係可找出在工件之影像上的特徵且將該特徵資訊表示在共同座標系統中。使用者係可將在跨於工件的特徵之間的關係相比於針對於一個正確組裝零件的設計關係且使用該結果以將該等工件導引到其最佳組裝的位置。在第三個實施例中，該等工件係使用在先前實施例所取得的特徵而自動重新定位到最佳位置。
舉例而言，影像特徵係可透過一個校準處理而從多個站被映射到一個共同座標系統。作為一個實例，在使用一個可重複的拾取及放置操縱器以組裝零件之系統上，一個校準目標係可藉由使用該操縱器來轉移該目標而成像在多個站。適當夾具係可運用以允許該目標***縱為如同一個工件。以此方式，該校準目標係接受如同一個工件的相同平移，且因此工件特徵的座標係如同該工件的彼等者而遵循在操縱期間之從拾取站到放置站的相同路徑。替代而言，映射參數係可藉由具體指定其而手動計算，基於組裝處理的知識。
有利的是，該種系統與方法係可為了訓練一種組裝系統而致能其來自任意數目個站的任意數目個工件之虛擬組裝，該種組裝系統係將此等工件組裝成為單一個組裝物件。
在一個說明性的實施例中，一種用於在一個組裝系統中的物件之虛擬組裝的系統及方法係提出，該組裝系統係具有容納一個第一工件的至少一個第一站，該組裝系統係以彼此對準的方式將一個第二工件組裝到該第一工件。一個或多個視覺系統相機與一個視覺系統處理器組件係配置以使該第一工件與該第二工件成像。該複數個相機係校準到一個共同座標系統。一個對準處理係在該共同座標系統中產生該第一工件與該第二工 件的影像與特徵之至少一者。一個操縱處理係包括視覺工具，其被配置以找出在該第一工件上之第一組的特徵與在該第二工件上之第二組的特徵，且自動將該第一組的特徵為相關於該第二組的特徵而對準。一個組裝誤差計算模組係計算一個組裝誤差，其為取決於在虛擬組裝過程期間而藉由該操縱處理之該第一工件與第二工件的操縱程度。說明性質而言，該第二工件係成像在遠離該第一站的一個第二站。
在實施例中，該等視覺系統相機係使至少一個第三工件成像。該對準處理係在該共同座標系統中產生該第三工件的影像與特徵之至少一者。該操縱處理係因此配置以允許該第三工件相關於該第一工件與該第二工件之至少一者的虛擬組裝，以便將該第三工件的影像與特徵之至少一者和該第一工件與該第二工件之至少一者的影像與特徵之至少一者對準。該組裝誤差計算模組係計算一個組裝誤差，其取決於該第三工件相關於該第一工件與該第二工件之至少一者的操縱程度。該第一工件係由該等視覺系統相機所成像在一個第一站，且該第二工件與該第三工件之各者係由該等視覺系統相機所成像在一個第二站。說明性質而言，至少一個第四工件係可由該等視覺系統相機所成像在一個第四站。以此方式，該種系統及方法係可用以訓練其組裝在任意數目個站的任意數目個工件之一種組裝系統。
在實施例中，使該第一工件成像之該等視覺系統相機的至少一者與使該第二工件成像之該等視覺系統相機的至少一者係依序映射(校準)到離散(個別/不同)的座標系統。因此，該第一工件與第二工件係基於該二個離散的座標系統而和介面所一起組裝。在實施例中，該等站之至少一者係 一個組裝平台，且該等站之至少另一者係一個拾取位置。說明性質而言，該組裝誤差係可界定在至少三個自由度。該介面係可具有一個顯示器與使用者介面，其用於該第一工件的一個影像與該第二工件的一個影像之手動對準。該第一工件與該第二工件之至少一者的影像係可為拼接的影像。該介面係可為一個整體操縱處理或處理器的部分者，該處理或處理器還包括視覺工具，其將第一組的特徵相關於第二組的特徵而自動對準。
說明性質而言，至少一個視覺系統相機係使該第一工件與該第二工件之至少一者成像。該(等)視覺系統相機係構成且配置以獲得影像，其被使用在該組裝系統之一個訓練及/或執行期操作。該(等)相機係不同於(免除)其使用在該對準處理之相機。該組裝平台係可界定一個運動台，且該組裝系統係可具有將該第二工件從該拾取站移動到該運動台之一個可重複的操縱器。亦為說明性質而言，該第一工件與該第二工件(及/或第三工件、第四工件、等等)之至少一者係界定由該等視覺系統相機所成像的一個平面表面。
100‧‧‧組裝系統
110‧‧‧運動台
112‧‧‧第一工件
114‧‧‧凹部
116、118‧‧‧內邊緣
120‧‧‧拾取及放置機構(操縱器)
122‧‧‧第二工件
126、128‧‧‧外邊緣
130‧‧‧相機
140‧‧‧視覺系統處理器
142‧‧‧視覺工具
144‧‧‧對準處理(器)
146‧‧‧校準處理(器)
148‧‧‧訓練處理(器)
150‧‧‧計算裝置
160‧‧‧運動控制器及/或控制處理器
162‧‧‧運動資訊
170‧‧‧運動控制器
172‧‧‧運動資訊
200‧‧‧配置
210‧‧‧運動台
212‧‧‧第一工件
220‧‧‧拾取及放置(操縱器)機構
222‧‧‧拾取站
224‧‧‧第二工件
225‧‧‧軌道
240、242、244‧‧‧相機
250‧‧‧箭頭
252‧‧‧箭頭
260‧‧‧視覺處理(器)
270‧‧‧台運動控制器
280‧‧‧操縱器運動控制器
350‧‧‧箭頭
410‧‧‧校準目標/板
600‧‧‧程序
610-670‧‧‧步驟
700‧‧‧程序
710-760‧‧‧步驟
800‧‧‧第一工件
810‧‧‧基準/特徵(十字形記號)
820‧‧‧方框(視野)
900‧‧‧第二工件
910‧‧‧基準/特徵(圓形)
920‧‧‧方框(視野)
1210、1220、1230、1240‧‧‧影像
1212、1222、1232、1242‧‧‧邊緣
1310、1320、1330、1340‧‧‧影像
1312、1322、1332、1342‧‧‧邊緣
1410、1420、1430、1440‧‧‧影像
1510、1520、1530、1540‧‧‧影像
1600‧‧‧程序
1610-1630‧‧‧步驟
1700‧‧‧程序
1710-1740‧‧‧步驟
本發明的以下說明係參考伴隨的圖式，其中：圖1係根據一個說明實施例之一種多相機視覺系統的示意圖，該多相機視覺系統係關於其連同一種工件組裝系統所使用之一個示範的運動台而配置，該工件組裝系統係包括一個視覺訓練處理(器)；圖2係一種二相機視覺系統的示意圖，該二相機視覺系統係關於一個示範的拾取及放置組裝配置所配置，其中一個工件係和另一個工件為對準，顯示該拾取及放置操縱器係位在拾取站以取出一個工件； 圖3係圖2之二相機視覺系統與示範的拾取及放置組裝配置的示意圖，顯示該拾取及放置操縱器係位在放置站以將該等工件組裝在一起而為相對的對準；圖4係圖2之二相機視覺系統與示範的拾取及放置組裝配置的示意圖，顯示一個校準板係位在拾取站相機的視野中以供其關於一個總體座標系統之校準；圖5係圖2之二相機視覺系統與示範的拾取及放置組裝配置的示意圖，顯示一個校準板係位在放置站相機的視野中以供其關於一個總體座標系統之校準；圖6係用於將組裝系統中的多個相機校準到一個共同座標系統之一種程序的流程圖；圖7係用於產生在各站的工件的拼接影像、且使用拼接影像來產生一個合成影像之一種程序的流程圖；圖8係示意圖，顯示一種四相機系統，其產生具有在第一站之第一工件上的四個示範十字形記號特徵(基準)之第一拼接影像；圖9係示意圖，顯示一種四相機系統，其產生具有在第二站之第二工件上的四個示範圓形特徵(基準)之第二拼接影像；圖10係示意圖，顯示具有圖8的第一拼接影像與圖9的第二拼接影像之一個合成影像，其中個別的基準係未對準；圖11係示意圖，顯示具有圖8的第一拼接影像與圖9的第二拼接影像之一個合成影像，其中個別的基準係對準；圖12係由使用者所檢視之一種圖形使用者介面(GUI)顯示器的示意 圖，其中一種多相機(例如：四相機)配置係使其放置在一個平台上的一個工件的邊緣成像；圖13係由使用者所檢視之一種圖形使用者介面(GUI)顯示器的示意圖，其中該多相機配置係使其放置在一個運動台上的一個工件的邊緣成像；圖14係由使用者所檢視之一種圖形使用者介面(GUI)顯示器的示意圖，其中多相機配置，該GUI係顯示其為在一個合成影像內的區域之四個影像，當該等工件係在其造成一種未對準組裝的位置；圖15係由使用者所檢視之一種圖形使用者介面(GUI)顯示器的示意圖，其中多相機配置，該GUI係顯示其為在一個合成影像內的區域之四個影像，當該等工件係在其造成一種對準組裝的位置；圖16係用於基於使用虛擬組裝之視覺工件對準來訓練一種組裝系統之一種程序的流程圖；且圖17係用於使用特徵關係之工件的虛擬組裝之一種程序的流程圖。
圖1係顯示一種組裝系統100，其運用一個運動台110以至少三個自由度(例如：XS、YS、與ΘZS)而可動式支撐一個第一工件112。工件112係沿著其至少一部分而概括為平面(即：平坦)且該平坦平面係位在沿著台110的z軸ZS之一個指定高度。該台係可被界定為一個“組裝站”，且為由複數個相機130所成像，各個相機130係使其為由第一工件112所佔有的整體面積的一部分之一個視野成像。該等相機130與其功能性係進而描述在下文。
在此配置100之中，一種拾取及放置機構或“操縱器”120 係將一個第二(平面)工件122選擇性接合及輸送在一個來源(未顯示在此實例中)與如所顯示在第一工件112的上面的一個位置之間。為了此配置之目的，“拾取位置”與“拾取站”係其中該第二工件122被成像(即：覆在第一工件的上面)在一個不同高度之位置，如在圖1所示。在進一步的實施例中(例如：如在圖2-5之下文所示)，拾取位置/站係位在一個遠端的來源，其中該操縱器(例如：一個可重複的拾取及放置機構)係從該來源而提取一個工件以供在該第一工件之上的組裝。在此實例中的組裝任務係涉及其具有外邊緣126、128的第二工件122之準確放置到其由在第一工件112的對應內邊緣116、118所界定的一個凹部114。操縱器120係沿著多個自由度(例如：沿著軸XM、YM、與ZM)而移動，且關於各個軸而旋轉(例如：關於軸ZM的ΘZM)。在此種配置100之中的相機130係各自使第二工件122的頂平面成像，第二工件122的頂平面係在不同於第一工件112的頂平面之高度。
該等相機130係各自運作連接到一個視覺系統處理器140，其可被整合為在相機外殼內的一個定製的視覺處理器電路，整體或部分而言，或可被提供在一種互連的遠端計算裝置150之內，計算裝置150係包括而不受限於一種PC、膝上型電腦、平板電腦、智慧型手機、等等。注意，在運用超過一個相機的組裝系統中，各個相機係適以將其獲得的影像或從該影像所取得的資訊傳送到一個中央處理器。該中央處理器係接著整合在組裝期間之來自種種相機的資訊。當一個遠端計算裝置被運用，該種計算裝置150係可包括一個顯示器與關聯的圖形使用者介面(GUI,graphical user interface)控制，諸如：鍵盤、滑鼠、及/或觸控螢幕。視覺處理器140係實行種種的視覺系統處理(或元件/模組)，其包括種種視覺工具142，諸如：邊緣 尋檢器、斑點分析器、搜尋工具、測徑工具、等等。說明性質而言，視覺處理器140係包括一個對準處理(器)，其係以在下文所進一步描述的方式而實施來自該二個工件的影像資料之對準。一個校準處理(器)146係有利於從該二個零件的影像所取得的影像特徵之映射到一個共同(或運動)座標系統，使用例如：一個校準板與手-眼校準程序，如在下文所進一步描述。說明性質而言，一個訓練處理(器)148係實施在本文所思及的種種的訓練程序以重新定位該等工件，以便相關於該第一工件而準確組裝該第二工件。注意，視覺處理器140係可建立為複數個互連的相機處理器(或其他裝置)、或在單一個相機組件(或遠端計算裝置)之中的一個中央處理器。
作為非限制性的實例而言，參考其在8/6/2015所提出申請之標題為“用於將導引組裝環境中的機器視覺座標空間連結在一起之系統及方法(SYSTEM AND METHOD FOR TYING TOGETHER MACHINE VISION COORDINATE SPACES IN A GUIDED ASSEMBLY ENVIRONMENT)”之共同讓渡的美國臨時申請案序號第62/201,723號。以參照方式所納入作為有用的背景資訊之此申請案係關於建立在遠端位置之間的一個共同座標系統。更特別而言，此件納入的申請案係對付其由該操縱器(與關聯的夾持器)來將一個校準目標轉移在拾取與放置位置之間所引起的問題，藉由提出一種用於校準之系統及方法，其使用一個執行期的工件上之特徵而將在校準時間期間之二個位置的座標空間連結在一起。此種系統及方法係提供至少三種不同的方案/技術：一者，其中相同特徵係可在二個位置成像及識別；一者，其中該執行期的工件之成像的特徵係在各個位置為不同(其中該工件的CAD或測量再現係可用)；以及，一者，其中含有一個運動台的第一位置係 已經使用手-眼校準而校準到該運動台，且第二位置係藉由將執行期的零件往復轉移在位置之間而手-眼校準到相同的運動台。說明性質而言，最前面的二種技術之品質係可改善，藉由執行其各自具有不同姿勢之多個執行期的工件、取得該等特徵且累積在各個位置之該等特徵；且，接著使用累積的特徵以連結該二個座標空間。更概括而言，該種系統及方法係獨立校準該二個位置且將用於該二個位置的座標空間連結在一起，藉由轉移該操縱器被構成及配置/適以在組裝期間所轉移的一個工件且使用該工件的特徵而非為使用一個校準板的特徵。
在該件納入的申請案之一個說明性的實施例中，一種用於將一個視覺系統校準在一個環境中之系統及方法係提出，其中在第一位置之第一工件係由一個操縱器所轉移到第二位置。一個操作係實行在第一工件上，此仰賴於將該第一位置與第二位置的座標空間連結在一起。至少一個視覺系統相機係配置以使當定位在第一位置的第一工件成像且使當定位在第二位置的第一工件成像。至少一個視覺系統相機係相關於第一位置而校準以得到其定義一個第一座標空間之第一校準資料，且至少一個視覺系統相機(可能為相同的相機)係相關於第二位置而校準以得到其定義一個第二座標空間之第二校準資料。至少該第一工件的特徵係由該第一工件的第一影像而識別在第一位置。基於在第一影像中的識別特徵，第一工件係相關於其相對於第一位置的第一座標空間而定位。該第一工件係以該操縱器所夾持且移動至少一次到在第二位置的一個預定操縱器位置，且該第一工件的第二影像係在該第二位置所獲得。基於在第二影像中的識別特徵，第一工件係相關於其相對於第二位置的第二座標空間而定位。該第一座標空間 與第二座標空間係因而連結在一起。說明性質而言，當在該第一影像中的識別特徵係相同於在第二影像中的識別特徵，該種系統及方法係包括：(a)相關於第一校準資料而映射在第一影像中的識別特徵的位置；(b)相關於第二校準資料而映射在第二影像中的識別特徵的位置；及(c)計算一個變換，其將在第二位置的映射特徵映射到在第一位置的映射特徵。替代而言，當在該第一影像中的一些識別特徵係不同於在第二影像中的識別特徵，該種系統及方法係包括：(a)相關於第一校準資料而映射在第一影像中的識別特徵的位置；(b)計算一個變換，其相對於第一工件的特徵位置之儲存規格；(c)相關於第二校準資料而映射在第二影像中的識別特徵的位置；(d)使用在步驟(b)所計算的變換以從當該工件被定位在第一位置時之在第一座標空間中的第二影像而得到識別特徵的位置；及(e)計算一個變換，其將在第二位置的映射特徵映射到在第一位置的對應變換特徵。該第一工件的規格係可基於第一工件的CAD模型或第一工件的一個測量模型(例如：CMM產生的測量)。說明性質而言，該種系統及方法係可包括：(a)以在第一位置或第二位置之一種運動提供裝置而將第一工件移動到複數個不同的姿勢；(b)識別在第一位置與第二位置的各者之各個姿勢的特徵；及(c)累積該識別的特徵資訊以加強準確度，其中，第一工件係相同的工件或是複數個離散的工件之一者。在種種實施例中，該種系統及方法係包括：在第一位置之從一個影像座標系統到一個校準座標系統的映射，且其中該種映射係單一性。在實施例中，第二位置係具有一個第二工件，第一工件係放置到該第二工件且和該第二工件為以期望的對準而接合，且/或該第二工件係可為一個零件、容器或架構以供該第一工件之進一步的處理。此外，在種種實施例中， 操作係可為相關於另一個物件的一個對準操作、在第一工件上的一個列印操作、以及在第一工件上的一個應用操作之至少一者，且該操作係可至少部分實行在遠離該第一位置與第二位置的一個位置。
運動台110係包括一個運動控制器及/或控制處理器160，其係傳遞有關於該視覺處理器的運動資訊。此係允許該台110的位置為由該視覺處理器所準確知道及/或追蹤。種種的編碼器與其他的感測裝置係可由該台110所使用以產生運動資訊。一個運動控制器170亦可被提供到操縱器120以將關聯於其的運動資訊172遞送到視覺處理器140。
如在下文所進而描述，虛擬組裝係允許使用者運用該等相機與因此提供的影像(透過視覺系統)以虛擬組裝該等工件。在該種虛擬組裝之過程中，使用者係運用其得到組裝誤差資訊之一個操縱處理(器)，該資訊係可稍後使用在一個操作中以考慮到實際組裝機構之移動，之後，其典型為實行一個(典型)可重複組的實際組裝步驟，其為由組裝誤差修正所修改。在說明性質的實施例中，運動台係運用以藉由應用適當調整而使其基於出自虛擬組裝的資料之組裝誤差為最小。替代而言，其他的運動裝置係可考慮到組裝誤差修正/調整。
儘管該組裝系統係典型配置為一種高度可重複的機構，明確思及的是，其中對於運動的變化可在執行期間所程式規劃或輸入(或在其他方面為不可重複)之一種組裝系統係可使用本文所顯示及描述的虛擬組裝與虛擬組裝程序而訓練。
還注意到的是，在本文的種種實施例所描繪之實際工件組裝配置係含有任意數目個相機(例如：一個或四個)，其使運動台的種種區域成 像。用於虛擬組裝中之在各站的相機的數目係在替代配置中為高度可變。同理，在整體系統內之站的數目係高度可變。在此實施例中，單一個站係以在不同高度的二個工件所成像。如在以下的圖2-4之實施例中所進一步描述，一個或多個相機係個別定位以使二個離散的工作站(即：一個拾取工作站與一個放置工作站)成像。此等相機的各者係校準到共同座標系統。
根據進一步的實施例，亦為明確思及的是，具有一個或多個關聯的相機之超過二個站係可被提供在整體虛擬組裝與虛擬組裝配置中。舉例來說，一個附加的拾取站或一個中間的組裝站係可被提供。經運用在虛擬組裝中的所有相機係可校準到一個共同座標系統(基於運動台或另一個座標系統所建立)且來自各個站的相機之影像係可為本文所述之虛擬組裝與虛擬組裝處理的部分者。
圖2係特別說明其可運用根據一個實施例的系統及方法之一個運動台210與拾取及放置(操縱器)機構220的一種替代配置200。拾取站222係包括一個第二工件224，第二工件224係由操縱器220所選擇性地拾起(箭頭250)且沿著一個軌道225而指引(箭頭252)到運動台210，其在此實施例中係界定一個放置站。一個第一工件212係適以在組裝期間來接納該第二工件224為在其間的適當對準，且如上文所概括描述。台210係沿著二個或多個自由度(例如：軸XS、YS、旋轉ΘZS)而移動，且位在沿著軸ZS的一個高度。操縱器220係沿著至少軸YM而移動，且沿著在軸ZM的一個拾取/放置方向。關於軸ZM的旋轉ΘZM亦為思及。藉由該台210與操縱器220的運動之組合係充分以在一個放置操作(箭頭350)(其為顯示在圖3)期間來將該第二工件224相關於第一工件212而對準。
在此配置200之中，至少一個相機240、242係分別使各個站(210、222)成像。相機240、242係互連到一個視覺處理(器)260，其為如所上所述而配置。一個或二個站係可包括附加的相機244(以虛線所顯示在台210)。視覺處理(器)260亦運作為互連到其以上述的方式而提供運動資訊之一個台運動控制器270與一個操縱器運動控制器280。
參考圖4與5，其顯示一種自動化技術以將來自該二個相機的特徵映射到一個共同座標系統。該種技術係分別涉及該拾取站相機242與放置站相機之校準、以及用於在複數個站的多個相機組件之校準的一種程序600。初始，程序600係實行(在步驟610)在台210之上的相機240、244(或在圖1的台110之上的相機130)之一種手-眼校準，使得所有相機係界定一個共同或運動座標系統。
注意，如在本文所使用，術語“所有(all)”相機係指其由在本文的虛擬組裝中的系統所使用的所有相機。明確思及的是，由該種視覺系統(或其他處理)所使用的一些相機係可從該任務所省略。主要思及的是，來自各個站的至少一個相機係校準到該共同座標系統且產生其使用在訓練過程中的影像。
作為在某些校準原則之概括瞭解的進一步背景，針對於一種剛體，諸如：一個校準目標或“板”，一個運動係可由一對姿勢來描述其特徵：緊接在一個運動之前的一個起始姿勢與緊接在一個運動之後的一個終止姿勢，在本文的一個“姿勢(pose)”係定義為一組數值以描述在任一個特定的時間瞬間且在一些基本座標系統中之一個物體的狀態，即：該物體的一個虛擬特徵描述。舉例來說，在二維中，一個剛體係可由三個數字來 描述特徵：於X的一個平移、於Y的一個平移、與一個旋轉R。就一個校準板的情況而言，當在該(等)相機與校準板之間有相對運動，一個姿勢係描述該校準板為如何呈現給該(等)相機。典型而言，在一種標準所謂的“手-眼校準(hand-eye calibration)”，一個校準板係以若干個不同的姿勢而呈現給該(等)相機，且各個相機係獲得在各個該種姿勢之校準板的一個影像。對於視覺系統的手-眼校準而言，校準板係典型為移動到複數個預定的姿勢，在其處，相機係獲得該板的個別影像。該種手-眼校準之目的係確定在“運動座標系統”之中的該(等)相機與校準板之剛體姿勢。該運動座標系統係可用種種方式來定義。在該等姿勢中的數字(其指明該校準板及/或相機所位在於空間之處)係應在一個適當的座標系統中來解讀。一旦單一個共同座標系統係選定，該等姿勢與運動係描述/解讀在該共同/總體的座標系統中。此選定的座標系統係通常稱為“運動座標系統”。典型而言，“運動(motion)”係由其可表現實際運動之一個實際裝置所提供，實際裝置係諸如一個機械手臂、或一個運動台，諸如：一個起重架。注意，該板係可相對於一個或多個靜止的相機而移動，或該(等)相機係可相對於一個靜止的板而移動。該種運動表現(rendering)裝置之控制器係運用數值(即：姿勢)以命令該等裝置表現任何期望的運動，且彼等值係在針對於該裝置的一個本體座標系統所解讀。注意，雖然任何的運動座標系統係可選定以提供相對於運動表現裝置與相機之一個共同的總體座標系統，選定該運動表現裝置的本體座標系統來作為整體的運動座標系統係通常為合意。
手-眼校準係因此將系統校準到單一個運動座標系統，藉由運動之顯現(移動該校準板或移動該等相機)、且獲得在該運動之前後的影像 以確定該運動在一個移動物件上的效應。
再次參考圖4-6，在程序600之中的下個步驟620係必須要該校準目標/板410之放置在諸站的一者，例如：拾取站222(或當由操縱器120所支承)，在該位置，相機242係獲得該目標410的一個或多個影像。此資訊係儲存在視覺處理(器)260(或140)。在步驟630，目標410係接著轉移到其他站(即：運動台210(或110))。在步驟640，目標410的一個或多個影像係接著由相機240、244(或130)在該台所獲得。在程序600的步驟650，所有相機240、242、244(或130)的像素位置係接著使用步驟640的影像而映射到校準目標座標，其基於在目標410之發現的邊緣。接著，在步驟660，校準板座標到運動台座標系統之映射係使用其在步驟640所獲得在該台之校準目標的影像而計算。在步驟670，在平台之該等相機的像素位置係映射到運動台210(或110)之座標系統。
要指明的是，610、660、與670係選用式。針對於本發明之目的，可停止在650，因為將已經得到能力以將來自在該組裝系統中的所有相機的像素映射到校準板座標系統。實行660與670的優點係在於其有助於產生一個合成影像，其X與Y軸係主要對準到該運動台的X與Y軸，藉由控制馬達而致能該合成影像之更容易的操縱。
已經將相機像素位置映射到一個共同座標系統，該視覺系統係可用此資訊而置於訓練模式中且使用以將工件的影像虛擬對準於彼此。
參考圖7，其顯示用於產生在各個站的工件之拼接與合成的影像之一種程序700。在步驟710，程序700係計算在其為以上確定的共同座標系統中之來自各個站的各個相機所成像的一個區域。在步驟720，一個 界定方框係計算，其含有所有該等區域。在步驟730，程序700係產生二個拼接影像，即：對於各個站的一者。說明性質而言，該等拼接影像的高度與寬度係各自相同，且可為使用者所界定。
如在本文所使用，術語“拼接(stitched)影像”或“拼接(stitching)”係關於一種處理，其將二個或多個來源影像結合成為一個合成的造成影像。該處理係當一個相機視野為太小而無法捕捉整個期望的場景且多個影像為所需要時而有用。對於熟習此技藝人士而言，具有可用的種種技術以產生拼接影像。該種視覺系統係可例如包括一種拼接工具，諸如：可由美國麻薩諸塞州(MA)內迪克(Natick)的Cognex股份有限公司所購得的Cognex影像拼接工具。此工具係操作在一種計算空間，其對於所有的來源影像且對於造成影像為共同。各個來源影像係含有一個獨特的校準變換以將其影像映射到此共同空間。概念上，該影像拼接工具係建立在共同空間中的結果，且所造成的拼接影像係含有一個變換以將該共同空間結果映射到該拼接影像。該等拼接影像係可形成一個“合成影像”的基礎，該合成影像係在本文定義為一個合成處理的結果，其中，來自不同影像的特徵係結合以產生單一個影像。該合成影像係作成可由該虛擬組裝系統的GUI所利用，使得一個使用者或自動化處理係可操縱工件以產生工件之一種虛擬組裝，其被使用以訓練該系統。
在圖8的實例中，含有四個基準/特徵(在此實例中為十字形記號810)之第一工件800係由四個示範的相機所成像在一個第一站中，該等相機係具有如虛線方框820所示的視野。注意，該四個相機之各者的視野820係具有在該拼接影像中的任意方位，因為未留意要實際將該等相機對準 到共同座標系統(X1,Y1)。同理，在圖9的實例中，含有四個基準/特徵(在此實例中為圓形910)之第二工件900係由四個示範的相機所成像在一個第二站中，該等相機係具有如虛線方框920所示的視野。注意，該四個相機之各者的視野920係同樣具有在該拼接影像中的任意方位，因為未留意要實際將該等相機對準到共同座標系統(X1,Y1)。
在程序700之中，在步驟740，一種變換係將該拼接影像的隅角映射到該界定方框的隅角。接著，在步驟750，針對於各個站，程序700係使用該變換而將來自各個相機的影像像素映射到對應拼接影像。接著，在步驟760，該程序係藉由例如平均該二個影像而將來自步驟750的拼接影像組成以產生所造成的合成影像。該合成影像係代表一種虛擬組裝且可被使用以推斷該組裝的品質。注意，此等步驟係接在校準(圖6)之後而用於產生拼接與合成影像之種種程序與技術的範例。此等程序係典型運用其將在一個影像中的特徵位置映射到一個共同座標系統之能力。
圖10係說明在一個合成影像中之於未對準方位的工件800與900的示範示意圖，該合成影像係藉由平均來自該二個站的拼接影像所產生。注意，個別的基準810與910係彼此為偏離中心。反之，當如圖11所示而對準，該合成影像係描繪已經對準的工件，其中，類似尺寸的拼接影像之基準係移動為彼此對準。
具有類似的描繪之一種圖形使用者介面(GUI)顯示器係顯示在圖12-15。在圖12之中，一種四相機配置係產生其放置在(例如)一個拾取平台上之第一工件的四個各別影像1210、1220、1230、與1240。注意，該工件的各別邊緣1212、1222、1232、與1242係在各個影像中為按不同比例， 歸因於相對於該平台與工件之各別相機的實際放置。圖13係由使用者所檢視的一種GUI顯示器，其中，該種四相機配置係產生其放置在(例如)一個運動台上之第二工件的四個各別影像1310、1320、1330、與1340。再者，各別邊緣1312、1322、1332、與1342係基於該等相機之定位而為按不同比例。
在圖14之中，一種GUI顯示器係顯示，其中，四個影像1410、1420、1430、與1440係當該等工件在其造成不當對準的組裝之位置時的一個合成影像內的區域。注意，在各個影像中的邊緣係偏斜。反之，在圖15之中，四個影像1510、1520、1530、與1540係當該等工件在其造成對準的組裝之位置時的一個合成影像內的區域。
注意，儘管所描繪的GUI係含有其對應於四個相機的四個影像，明確思及的是，相對於使該站/場景成像之既定數目個相機，較少個影像係可被顯示。舉例來說，當冗餘及/或受限制/無用的影像資訊被提供，某些影像係可省略。因此，在描繪的顯示器檢視窗格中之含有二個或三個影像的一個合成影像係可提供。主要思及的是，在各個工件上之充分特徵資訊係可呈現在該顯示器的合成影像中以致能一個使用者(或自動化處理)在虛擬組裝處理中來將彼等工件對準。
明確思及的是，種種技術係可使用以產生上述的拼接與合成影像。概括而言，該等技術係運用該能力以將來自各個影像的像素映射到一個共同座標系統。甚者，上述合成影像係平均該等拼接影像。該等合成影像係可由替代的表示所界定，且因此可使用其他技術來產生。針對於在各個站使用一個相機之組裝系統，拼接程序係可省略，且影像之合成係可由該處理所直接實行。顯然，該拼接程序係運用來自在一個站的多個相機 之影像以產生用於在該站的工件之單一個影像。在種種的實施例中，拼接與合成操作係可結合為單一個視覺任務。
概括而言，該種系統及方法係利用事實在於當該等工件為在其個別站，在該等工件上的特徵被表示在一個共同(總體或運動)座標系統。至少有三種技術，其中，反饋被提供以有助於在訓練期間將該等工件放置於期望的方位(例如：由x與y平移以及Θ旋轉所定義的“姿勢”)。此等者係如後：
1. 視覺對準
此技術係可使用於其具有在共同座標系統中的重疊視野之組裝系統(例如：圖1之配置100)。一個拼接影像係運用在該站的所有相機而產生在各個站。該拼接影像係可被產生，因為針對在任何既定相機中的任何像素，在該共同座標系統中的位置係已知。一旦該等拼接影像係產生，一個合成影像係藉由合成在該二站的拼接影像之處理(例如：藉由平均該等拼接影像)所產生。再者，此係可能，因為可能將在任何站的任何像素表示在一個共同座標系統中。此實際將該二個工件虛擬組裝，其有助於使用者容易視覺化一個經組裝的零件將看來像是何者。即，使用者係手動或使用圖形使用者介面(GUI)所提供的控制來平移及旋轉個別工件(例如：在運動台上的工件)之該二個影像的至少一者。此等者係可包括一個滑鼠、觸控螢幕、及/或資料輸入方框。使用者係繼續該平移/旋轉處理，直到該等工件係適當對準以代表在一個期望的組態與關聯外觀之一個組裝物件。含有二個工件之所造成的物件係因此“虛擬”組裝。在虛擬組裝期間，使用者係可變焦在合成影像上的一些顯著特徵且移動在該等站的運動台，直到期望的組裝 係達成。一旦此舉係作成，使用者係可訓練該組裝系統。參考圖16的程序1600，藉由使用者之視覺對準係總結為必須：藉由檢視所組裝的影像而估測該組裝的品質(步驟1610)；調整在一個或二個站中的工件之位置，直到一個合成影像係界定所期望的外觀(步驟1620)；及，運用該調整的合成影像之所期望的視覺外觀以訓練該工件組裝系統(步驟1630)。
2. 藉由計算在工件上的特徵關係之對準
此技術係可使用於其具有在共同座標系統中的重疊或非重疊視野之組裝系統。在此技術中，使用者係可運用視覺工具以找出在各個工件上的至少一個特徵，且計算其在該共同座標系統中之間的幾何關係。舉例來說，該(等)工件係可具有如上所述的基準，且基準尋檢者(finder)係可被運用以找出上述者之位置與方位。使用者係可接著重新定位該等工件的一者或多者，直到在虛擬組裝零件中的特徵之間的幾何關係為匹配在對於該組裝零件之設計文件中的關係。該移動係可藉由將該等工件以手動重新定位在該等拾取及放置位置的至少一者或藉由控制該等運動台而達成。在一個示範的實施例中，使用者係可找出在一個工件上的二點特徵以及在第二工件上的三點特徵。該種虛擬組裝系統係可設計以採取成對的特徵，一者在各個工件上，並測量在其間的距離且將一個反饋提供給使用者。使用者係可重新定位該等工件，直到在其間的距離係相同於針對於一個正確組裝零件者。
參考圖17的程序1700。在步驟1710，使用者係產生特徵尋檢者，其可找出在第一工件上的特徵且表示該使用者在共同座標系統所找到的位置。在步驟1720，使用者係產生特徵尋檢者，其可找出在第二工件 上的特徵且表示其在共同座標系統所找到的位置。使用者係藉由使用在視覺處理(器)與關聯的GUI之視覺工件來進行此舉。然後，在步驟1730，使用者係調整在一個或二個站中的工件之位置，直到在成組的特徵之間的關係為匹配所期望的設計關係。該等特徵尋檢者係可使用為設計以找出在該等影像(原始影像、拼接影像、或合成影像)之任一者上的特徵。更概括而言，使用者係訓練該組裝系統，如在步驟1740所示。
3. 自動化導引
替代或附加而言，自動化導引係可使用以將工件導引到期望的位置以供訓練。在上述實例中，使用者係可被要求以輸進其在組裝後之成對的點之間的期望距離。一旦使用者係輸進該等修正值，組裝系統係可藉由移動該運動機構(例如：操縱器運動台、等等)而移動該等零件，直到在虛擬組裝零件之期望的幾何關係被達成。此係可特別使用一個適當介面而完成，該介面係將誤差修正因數轉化為在該台之線性驅動馬達的一種登錄運動。舉例來說，就一種XXY台而言，X與Y輸入係沿著正交的軸而平移且一個差動的XY輸入係產生關於Z軸的旋轉(允許在三個自由度的運動)。一旦一個最終的組裝組態係由系統所確定，誤差修正值係可從該虛擬組裝系統而由該介面所直接傳送。
概括而言，使用上述的訓練技術之任一者係產生一個映射組的運動誤差修正值，其相關於用於運動台、操縱器、或二者之運動控制器而被儲存。此等值係使用以修改該運動，使得工件係由該種組裝系統之可重複的元件所適當對準。
在進一步的實施例中，明確思及的是，虛擬系統係可適以組 裝在任意數目個站的任意數目個工件。舉例來說，虛擬組裝系統係可連同其將示範工件WA、WB1、WB2、WC組裝成為單一個組裝物件之一種實際系統而使用，其中，WA係成像在站A，WB1與WB2係成像在站B且WC係成像在站C。使用者係可將所有工件虛擬組裝成為完整的組裝物件，且在各個組裝站/台的組裝誤差係計算以訓練該實際系統。
在進一步的實施例中，成群的視覺系統相機係可針對於虛擬組裝而建立，使得各個群組係包括來自各站的至少一個相機，且均為映射到共同座標系統。在初始分組之後，該等群組係可被分別校準，使得各個群組係將特徵映射到一個不同、離散的座標系統。來自此等群組的影像係接著使用以實行整個物件之虛擬組裝。甚者，使用於虛擬組裝之一組視覺系統相機係可能相同或可能非為相同於其使用以訓練及運作實際組裝系統的該組相機。
應為明顯的是，上述的系統及方法係允許使用者更容易考量在一個組裝系統中的運動誤差，在某種程式上來避免在其使用工件的實際移動之嘗試錯誤法。此系統及方法還避免使用其增加對於裝設與訓練過程的時間與成本之一種CMM或類似計量裝置。
前文係已經詳述本發明之說明性的實施例。種種修改與附加係可在沒有脫離本發明的精神與範疇之情況下而作成。上述的種種實施例之各者的特徵係可視情況而和其他所述實施例的特徵作結合，藉以提供在關聯的新的實施例中之多樣性的特徵組合。再者，儘管前文係描述本發明的裝置及方法之一些個別的實施例，已在本文所述者係僅為說明本發明的原理之應用。舉例來說，如本文所使用，術語“處理”及/或“處理器”係 應視為廣義包括種種的電子硬體及/或軟體為基礎的功能與構件(且可替代被稱為功能性的“模組”或“元件”)。甚者，經描繪的處理或處理器係可和其他的處理及/或處理器作結合或是被分割成為種種的子處理或處理器。該等子處理及/或子處理器係可根據本文的實施例而以種種方式結合。同理，明確思及的是，在本文的任何作用、處理、及/或處理器係可使用電子硬體、由程式指令之非暫時的電腦可讀媒體所組成的軟體、或硬體與軟體之組合而實施。此外，如本文所使用，諸如“垂直”、“水平”、“上”、“下”、“底”、“頂”、“側”、“前”、“後”、“左”、“右”、等等之種種方向或方位的術語係僅使用作為相對的慣例而非為相關於一個固定座標系統的絕對方位，諸如：重力的作用方向。是以，此說明係意指僅視為舉例，而非在其他方面來限制本發明的範疇。
100‧‧‧組裝系統
110‧‧‧運動台
112‧‧‧第一工件
114‧‧‧凹部
116、118‧‧‧內邊緣
120‧‧‧拾取及放置機構(操縱器)
122‧‧‧第二工件
126、128‧‧‧外邊緣
130‧‧‧相機
140‧‧‧視覺系統處理器
142‧‧‧視覺工具
144‧‧‧對準處理(器)
146‧‧‧校準處理(器)
148‧‧‧訓練處理(器)
150‧‧‧計算裝置
160‧‧‧運動控制器及/或控制處理器
162‧‧‧運動資訊
170‧‧‧運動控制器
172‧‧‧運動資訊

Claims (1)

  1. 一種用於在一個組裝系統中的一個物件之虛擬組裝的系統，該組裝系統係具有容納一個第一工件的至少一個第一站，該組裝系統係以彼此對準的方式將一個第二工件組裝到該第一工件，該種系統係包含：一個或多個視覺系統相機與一個視覺系統處理器組件，其被配置以使該第一工件與該第二工件成像，該複數個相機係校準到一個共同座標系統；一個對準模組，其在該共同座標系統中產生該第一工件與該第二工件的影像與特徵之至少一者；一個操縱模組，其具有視覺工具以找出在該第一工件上之一第一組的特徵與在該第二工件上之一第二組的特徵，自動將該第一組的特徵為相關於該第二組的特徵而對準，以便將該第一工件與該第二工件的影像與特徵之至少一者對準；及一個組裝誤差計算模組，其基於在該虛擬組裝過程期間而由該操縱模組之該第一工件與該第二工件的一操縱程度來計算一個組裝誤差。
TW106114395A 2015-03-03 2016-03-03 用於組裝系統中物件之虛擬組裝的系統及方法 TW201730702A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562127808P 2015-03-03 2015-03-03
US15/058,118 US10223589B2 (en) 2015-03-03 2016-03-01 Vision system for training an assembly system through virtual assembly of objects

Publications (1)

Publication Number Publication Date
TW201730702A true TW201730702A (zh) 2017-09-01

Family

ID=56738992

Family Applications (2)

Application Number Title Priority Date Filing Date
TW106114395A TW201730702A (zh) 2015-03-03 2016-03-03 用於組裝系統中物件之虛擬組裝的系統及方法
TW105106460A TWI594097B (zh) 2015-03-03 2016-03-03 用於組裝系統中物件之虛擬組裝的系統及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW105106460A TWI594097B (zh) 2015-03-03 2016-03-03 用於組裝系統中物件之虛擬組裝的系統及方法

Country Status (6)

Country Link
US (1) US10223589B2 (zh)
JP (2) JP2016166872A (zh)
KR (2) KR102062423B1 (zh)
CN (1) CN105938618B (zh)
DE (1) DE102016103799B4 (zh)
TW (2) TW201730702A (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105939472B (zh) * 2015-03-02 2022-07-15 维蒂克影像国际公司 具有视频叠加的激光投影***
US10290118B2 (en) 2015-08-06 2019-05-14 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
CN111094136B (zh) * 2017-09-20 2022-10-28 麦格纳国际公司 用于制造业用的适应性箱子拾取的***和方法
US11072074B2 (en) * 2017-12-13 2021-07-27 Cognex Corporation Calibration and operation of vision-based manipulation systems
CN108876838B (zh) * 2018-06-15 2022-05-06 重庆大学 微操作***的微操作空间的数字化方法及***
JP7360406B2 (ja) * 2018-06-26 2023-10-12 ファナック アメリカ コーポレイション ロボット型ピッキングシステムのための拡張現実可視化
US11442438B2 (en) * 2018-08-14 2022-09-13 The Boeing Company Automated supervision and inspection of assembly process
CN110027015A (zh) * 2019-03-31 2019-07-19 唐山百川智能机器股份有限公司 基于人工智能的动车杆件组装方法
CN112097673B (zh) * 2019-06-18 2022-11-15 上汽通用汽车有限公司 车身部件虚拟匹配方法和***
CN110653823A (zh) * 2019-10-12 2020-01-07 四川长虹电器股份有限公司 基于数据反演的手眼标定结果可视化方法
CN112798600A (zh) * 2019-11-14 2021-05-14 深圳百迈技术有限公司 检测方法及***
US20210233258A1 (en) * 2020-01-28 2021-07-29 Embodied Intelligence Inc. Identifying scene correspondences with neural networks
EP3901563B1 (de) * 2020-04-21 2022-12-14 Carl Zeiss Industrielle Messtechnik GmbH Verfahren und vorrichtung zur bestimmung einer messstrategie zur vermessung eines messobjekts und programm
CN114310869B (zh) * 2020-09-29 2023-04-25 上海科技大学 机器人手眼标定方法、***以及终端
EP4094897B1 (de) * 2021-05-26 2023-09-20 MVTec Software GmbH Hand-auge-kalibrierung von kamerageführten apparaturen
GB2619520A (en) * 2022-06-07 2023-12-13 Imperial College Innovations Ltd A method of determining an arrangement for objects
CN117066843B (zh) * 2023-10-08 2024-05-10 荣耀终端有限公司 产品组件的组装方法和设备

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0824235B2 (ja) 1987-04-15 1996-03-06 日立テクノエンジニアリング株式会社 実装機における電子部品の搭載位置決定方法
US4841460A (en) 1987-09-08 1989-06-20 Perceptron, Inc. Method and apparatus for calibrating a non-contact gauging sensor with respect to an external coordinate system
US4907169A (en) * 1987-09-30 1990-03-06 International Technical Associates Adaptive tracking vision and guidance system
JP3057524B2 (ja) 1991-07-30 2000-06-26 ソニー株式会社 実装位置決めシステム
JPH0699321A (ja) 1992-09-22 1994-04-12 Toshiba Corp 自動組み立て装置
US5706416A (en) 1995-11-13 1998-01-06 Massachusetts Institute Of Technology Method and apparatus for relating and combining multiple images of the same scene or object(s)
US5825483A (en) 1995-12-19 1998-10-20 Cognex Corporation Multiple field of view calibration plate having a reqular array of features for use in semiconductor manufacturing
US5748505A (en) 1996-02-06 1998-05-05 Perceptron, Inc. Method and apparatus for calibrating a noncontact gauging sensor with respect to an external coordinate system
WO1997041532A1 (en) 1996-04-29 1997-11-06 The Government Of The United States Of America, Represented By The Secretary, Department Of Health And Human Services Iterative image registration process using closest corresponding voxels
US6078700A (en) 1997-03-13 2000-06-20 Sarachik; Karen B. Method and apparatus for location and inspecting a two-dimensional image including co-linear features
US5974169A (en) 1997-03-20 1999-10-26 Cognex Corporation Machine vision methods for determining characteristics of an object using boundary points and bounding regions
JP3450704B2 (ja) * 1997-09-01 2003-09-29 キヤノン株式会社 位置姿勢検出装置及び情報処理方法
US6175652B1 (en) 1997-12-31 2001-01-16 Cognex Corporation Machine vision system for analyzing features based on multiple object images
US6516092B1 (en) 1998-05-29 2003-02-04 Cognex Corporation Robust sub-model shape-finder
JP3874949B2 (ja) 1998-11-30 2007-01-31 オプトレックス株式会社 液晶表示パネルの位置合わせ方法
JP2000265794A (ja) * 1999-03-15 2000-09-26 Ohbayashi Corp セグメント組立訓練装置
US6587601B1 (en) 1999-06-29 2003-07-01 Sarnoff Corporation Method and apparatus for performing geo-spatial registration using a Euclidean representation
US6323776B1 (en) 1999-12-21 2001-11-27 Snap-On Technologies, Inc. Method and apparatus of automatically identifying faults in a machine vision measuring system
US6517478B2 (en) 2000-03-30 2003-02-11 Cbyon, Inc. Apparatus and method for calibrating an endoscope
US6511418B2 (en) 2000-03-30 2003-01-28 The Board Of Trustees Of The Leland Stanford Junior University Apparatus and method for calibrating and endoscope
US6678058B2 (en) 2000-10-25 2004-01-13 Electro Scientific Industries, Inc. Integrated alignment and calibration of optical system
JP3842233B2 (ja) 2003-03-25 2006-11-08 ファナック株式会社 画像処理装置及びロボットシステム
EP1625488A2 (en) * 2003-05-20 2006-02-15 Lego A/S Method and system for manipulating a digital representation of a three-dimensional object
US7181111B2 (en) 2003-08-28 2007-02-20 Lucent Technologies Inc. Apparatus for splicing optical fibers
FI123306B (fi) 2004-01-30 2013-02-15 Wisematic Oy Robottityökalujärjestelmä, sekä sen ohjausmenetelmä, tietokoneohjelma ja ohjelmistotuote
US7324682B2 (en) * 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US7336814B2 (en) * 2004-07-14 2008-02-26 Braintech Canada, Inc. Method and apparatus for machine-vision
US7845560B2 (en) 2004-12-14 2010-12-07 Sky-Trax Incorporated Method and apparatus for determining position and rotational orientation of an object
US7583372B2 (en) 2005-06-01 2009-09-01 Hunter Engineering Company Machine vision vehicle wheel alignment image processing methods
JP2008014940A (ja) 2006-06-08 2008-01-24 Fast:Kk 平面状被撮像物のカメラ計測のためのカメラキャリブレーション方法、および応用計測装置
JP2008036918A (ja) 2006-08-04 2008-02-21 Hitachi Plant Technologies Ltd スクリーン印刷装置および画像認識位置合わせ方法
EP2153410B1 (en) 2007-05-29 2016-11-16 Cognex Technology and Investment Corporation 3d assembly verification from 2d images
WO2009025016A1 (ja) 2007-08-17 2009-02-26 Fujitsu Limited 部品実装装置及び方法
US8482732B2 (en) * 2007-10-01 2013-07-09 Maskless Lithography, Inc. Alignment system for various materials and material flows
WO2009047214A2 (en) 2007-10-09 2009-04-16 Oerlikon Assembly Equipment Ag, Steinhausen Method for picking up semiconductor chips from a wafer table and mounting the removed semiconductor chips on a substrate
CH698334B1 (de) 2007-10-09 2011-07-29 Esec Ag Verfahren für die Entnahme und Montage von auf einem Wafertisch bereitgestellten Halbleiterchips auf einem Substrat.
JP5332576B2 (ja) * 2008-12-11 2013-11-06 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP5481123B2 (ja) 2009-07-28 2014-04-23 新電元工業株式会社 部品の搭載装置、部品の搭載方法
US11699247B2 (en) * 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
US9393694B2 (en) 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
CN101922917B (zh) 2010-06-29 2012-06-20 华南理工大学 一种精密电子组装中基于视觉的微位移检测方法
EP2608938B1 (en) 2010-08-27 2014-07-02 ABB Research LTD Vision-guided alignment system and method
CN102540533B (zh) 2010-12-15 2015-04-08 华映视讯（吴江）有限公司 裸眼立体显示器的组装方法
CN102773524A (zh) 2012-08-01 2012-11-14 西北工业大学 一种基于机器视觉找正的制孔方法
US10664994B2 (en) * 2013-02-25 2020-05-26 Cognex Corporation System and method for calibration of machine vision cameras along at least three discrete planes
US10477154B2 (en) 2013-03-07 2019-11-12 Cognex Corporation System and method for aligning two work pieces with a vision system in the presence of occlusion
JP6362401B2 (ja) * 2014-05-02 2018-07-25 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
JP6462269B2 (ja) * 2014-08-18 2019-01-30 株式会社大貴 ***物処理材及びそれを用いた動物用トイレ

Also Published As

Publication number Publication date
JP2016166872A (ja) 2016-09-15
CN105938618B (zh) 2019-11-08
CN105938618A (zh) 2016-09-14
US20170024613A1 (en) 2017-01-26
KR20180107043A (ko) 2018-10-01
KR20160107128A (ko) 2016-09-13
DE102016103799A1 (de) 2016-09-08
DE102016103799B4 (de) 2020-09-03
KR102062423B1 (ko) 2020-01-03
US10223589B2 (en) 2019-03-05
JP6770605B2 (ja) 2020-10-14
JP2019169156A (ja) 2019-10-03
TW201638687A (zh) 2016-11-01
TWI594097B (zh) 2017-08-01

Similar Documents

Publication Publication Date Title
TWI594097B (zh) 用於組裝系統中物件之虛擬組裝的系統及方法
KR102661635B1 (ko) 가이드된 어셈블리 환경에서 머신비전 좌표공간과 함께 묶기 위한 시스템 및 방법
US11911914B2 (en) System and method for automatic hand-eye calibration of vision system for robot motion
US10664994B2 (en) System and method for calibration of machine vision cameras along at least three discrete planes
AU2013224660B2 (en) Automated frame of reference calibration for augmented reality
US6816755B2 (en) Method and apparatus for single camera 3D vision guided robotics
CN104735444A (zh) 根据直线特征执行视觉***平面手眼校准的***和方法
TW202102347A (zh) 視覺導引機器手臂校正方法