TWI776694B

TWI776694B - 自動化機械手臂系統與機械手臂與其電腦視覺之間的協調方法

Info

Publication number: TWI776694B
Application number: TW110136446A
Authority: TW
Inventors: 陳鴻欣; 余家潤; 黃啟銘; 張晉綸; 張耿寧
Original assignee: 台達電子工業股份有限公司
Priority date: 2021-09-30
Filing date: 2021-09-30
Publication date: 2022-09-01
Also published as: TW202315721A

Abstract

本發明提供一種自動化機械手臂系統與其機械手臂與電腦視覺之間的協調方法。分光鏡將可見光與測距光分離並分別導引至不同軸的影像擷取裝置與光學測距裝置。於校正模式下，基於機械手臂的多個校正姿態與對應的多個校正影像計算轉換關係。於工作模式下，基於所拍攝的工作影像及轉換關係決定機械空間座標來控制機械手臂移動。本發明可疊合拍攝光軸與機械手臂的法蘭軸，並提升機械手臂與電腦視覺之間的協調性。

Description

自動化機械手臂系統與機械手臂與其電腦視覺之間的協調方法

本發明係與機械手臂有關，特別是有關於自動化機械手臂系統與其機械手臂與電腦視覺之間的協調方法。

現有的機械手臂系統中，是使用相機來拍攝工作對象的影像，透過影像分析來決定工作對象的位置，並控制機械手臂移動至所決定的位置來對工作對象進行動作。

然而，現有的機械手臂系統缺點在於，若將機械手臂與相機採一上一下的同軸配置，則會嚴重縮減機械手臂的可加工範圍，並嚴重限制相機的體積上限。

若將機械手臂與相機採非同軸設置，則機械手臂的法蘭軸與相機的拍攝光軸之間存在偏置量。前述偏置量會導致以拍攝影像為基準的視覺空間與機械手臂的機械空間之間存在隨機誤差，而使得電腦視覺無法精準地控制機械手臂。

是以，現有機械手臂系統存在上述問題，而亟待更有效的方案被提出。

本發明之主要目的，係在於提供一種自動化機械手臂系統與其機械手臂與電腦視覺之間的協調方法，可使拍攝光軸與法蘭軸疊合，量測目標距離，並協調機械手臂與電腦視覺。

於一實施例中，一種機械手臂與電腦視覺之間的協調方法，包含：於一校正模式下，基於一光學測距裝置所量測的一目標距離控制一機械手臂於一影像擷取裝置的一有效拍攝範圍內移動為多個校正姿態，並透過該影像擷取裝置於該多個校正姿態分別拍攝多個校正影像，其中一分光鏡將可見光導引至設置於該機械手臂的一法蘭軸外的該影像擷取裝置，並將測距光導引至該光學測距裝置，該該光學測距裝置的測距軸平行或重疊該法蘭軸；基於該多個校正姿態與該多個校正影像計算該影像擷取裝置的視覺空間與該機械手臂的機械空間之間的一轉換關係；於一工作模式下，透過該影像擷取裝置拍攝一工作影像，並基於該工作影像及該轉換關係決定執行工作的一機械空間座標；及，控制該機械手臂移動至該機械空間座標。

於一實施例中，一種自動化機械手臂系統，包含一機械手臂、一影像擷取裝置、一光學測距裝置、一光路結構及控制裝置。該機械手臂用以於一立體空間中移動。該影像擷取裝置設置於該機械手臂的法蘭軸外，並用以拍攝影像。該光學測距裝置，設置於該機械手臂上，用以量測一目標距離，該光學測距裝置的測距軸平行或重疊該法蘭軸。該光路結構包含一分光鏡，該分光鏡用以將可見光導引至該影像擷取裝置並將測距光導引至該光學測距裝置。該控制裝置連接該機械手臂、該影像擷取裝置及該光學測距裝置，該控制裝置被設定為於一校正模式下，基於該目標距離控制該機械手臂於該影像擷取裝置的一有效拍攝距離內移動為多個校正姿態，並控制該影像擷取裝置於該多個校正姿態分別拍攝多個校正影像，基於該多個校正姿態與該多個校正影像計算該影像擷取裝置的視覺空間與該機械手臂的機械空間之間的一轉換關係。該控制裝置被設定為於一工作模式下，控制該影像擷取裝置拍攝一工作影像，基於該工作影像及該轉換關係決定執行工作的一機械空間座標，並控制該機械手臂移動至該機械空間座標。

本發明可疊合拍攝光軸與機械手臂的法蘭軸，並提升機械手臂與電腦視覺之間的協調性。

1:機械手臂系統

10:機械手臂

11:端效器

12:相機

13:目標

140:法蘭軸

141:拍攝光軸

15:目標影像

16:範圍

17:轉動後的範圍

18:軸心

2:自動化機械手臂系統

20:控制裝置

21:影像擷取裝置

210:感光元件

211:鏡頭

22:光學測距裝置

220:光發射器

221:光接收器

23:機械手臂

230-233:關節

24:光路結構

240:分光鏡

241:反射鏡

25:儲存裝置

250:電腦程式

251:有效拍攝距離

252:轉換關係

26:目標

30:控制電腦

31:機械手臂控制器

32:周邊裝置

40:拍攝控制模組

41:測距控制模組

42:手臂控制模組

43:校正控制模組

44:工作控制模組

45:轉換處理模組

46:影像分析模組

50:光源

51:目標

52:治具

53:法蘭軸

54:工作裝置

55:安裝基座

60:影像

600-601:位置

α 1:轉動角度

d1:偏置量

h1:目標距離

P1、P2:姿態

V1:變化量

S10-S16:協調步驟

S20-S25:校正步驟

S30-S33:工作步驟

圖1為本發明一實施例之自動化機械手臂系統的架構圖。

圖2為本發明一實施例之自動化機械手臂系統的部分架構圖。

圖3為本發明一實施例之控制裝置的架構圖。

圖4為本發明一實施例之協調方法的流程圖。

圖5為本發明一實施例之協調方法的部分流程圖。

圖6為本發明一實施例之協調方法的部分流程圖。

圖7為本發明一實施例的自動化機械手臂系統的設置示意圖。

圖8為本發明一實施例的校正模式的第一示意圖。

圖9為本發明一實施例的校正模式的第二示意圖。

圖10為圖8所拍攝的第一校正影像的示意圖。

圖11為圖9所拍攝的第二校正影像的示意圖。

圖12為現有的機械手臂系統的設置示意圖。

圖13為現有的機械手臂系統的視野範圍的示意圖。

茲就本發明之一較佳實施例，配合圖式，詳細說明如後。

請參閱圖12與圖13，圖12為現有的機械手臂系統的設置示意圖，圖13為現有的機械手臂系統的視野範圍的示意圖。

如圖12所示，機械手臂系統1的相機12與機械手臂10是採用不同軸配置。由於不同軸配置，相機12的拍攝光軸141與機械手臂10的法蘭軸140之間存在偏置量d1，上述偏置量d1會造成視覺空間與機械空間定位上的隨機誤差。

端效器11是直接設置於機械手臂10的末端。當機械手臂10移動端效器11(即改變姿態)時，掛載在機械手臂上的相機12的視野範圍也會隨之變動，而可以不同角度拍攝目標13。

如圖13所示，當機械手臂10以法蘭軸140作為軸心18進行角度α 1的旋轉運動時，由於端效器11並沒有水平方向的移動，實際上仍可以對目標13進行加工。

然而，轉動後的相機12的視野範圍會從範圍16變為轉動後的範圍17，而使得目標13的目標影像15脫離相機12的視野範圍，這會造成機械手臂系統1無法對目標13進行視覺空間定位。

為解決上述不同軸配置所造成的問題，本發明提出一種自動化機械手臂系統與其機械手臂與電腦視覺之間的協調方法，可透過新穎的光路結構 (特別是分光鏡)來讓拍攝光軸的入射端貼合至與法蘭軸藉以達成手眼同軸的效果。

並且，本發明由於可以實現手眼同軸，可以消除不同軸配置所產生的偏置量問題，而可避免目標物超出視野範圍。

並且，本發明由於採用不同軸配置，可大幅提升機械手臂的可加工範圍，並大幅提升相機的體積上限。

並且，本發明還可透過光學測距輔助視覺空間與機械間的定位校正，來提升機械手臂與電腦視覺的協調。

請參閱圖1，為本發明一實施例之自動化機械手臂系統的架構圖。本發明的自動化機械手臂系統2主要包含影像擷取裝置21、光學測距裝置22、機械手臂23、儲存裝置25及連接上述裝置的控制裝置20。

影像擷取裝置21，例如是RGB攝影機等彩色攝影機，用來對工作區域的目標進行拍攝，來獲得包含目標的彩色影像(如後述之校正影像與工作影像)。前述彩色影像主要是用來執行電腦視覺分析，並提供運算結果來作為機械手臂23的運動參考。

機械手臂23，用以於立體空間中移動所掛載裝置，來實現對不同位置執行量測(掛載光學測距裝置22)、拍攝(掛載影像擷取裝置21)、加工(掛載工作裝置54)等工作。

機械手臂23的末端設定有虛擬的法蘭軸(例如是機械手臂23的移動基準點)，其末端的空間位置可基於法蘭軸來計算確定。前述法蘭軸的計算為機械手臂23控制領域的現有技術，於此不再贅述。

於本發明中，影像擷取裝置21是設置於機械手臂23的法蘭軸外，藉以增加機械手臂23的可加工範圍(由法蘭軸的可移動範圍決定)，並提升影像擷取裝置21的可允許體積上限，即可以採用體積較大效能較強的攝影機，且配線限制較為寬鬆。

於一實施例中，當機械手臂23的末端掛載工作裝置54(如圖8與圖9所示)時，透過機械手臂23的運動，工作裝置54可對不同位置執行加工。透過搭載不同的工作裝置54，本發明可實現不同應用。

於一實施例中，工作裝置54可連接控制裝置20並受其控制來執行自動化動作。

舉例來說，當工作裝置54為夾取端效器、焊接加熱器、標記工具、研磨工具、組裝端效器、塗膠工具及/或鎖固工具時，前述自動化動作可為對應的夾取動作(例如是夾取或吸取電子元件)、焊接動作(例如是控制雷射焊頭加熱)、標記動作(例如是以烙印、噴塗等方式進行標記)、研磨動作(例如是執行切削、研磨等)、組裝動作(例如是依指定組裝方式將多個目標執行拼接、疊合等)、塗膠動作(例如是塗膠、點膠等)及/或鎖固動作(例如是鎖螺絲、螺母)。

光學測距裝置22，例如是紅外線測距儀，用以透過光學手段量測光學測距裝置22與目標之間的目標距離。

於一實施例中，前述量測是使目標位於虛擬的測距軸上，並透過三角定位法來獲得朝測距軸的平行方向進行量測。

於一實施例中，光學測距裝置22是設置於機械手臂23的末端(或接近末端)，而可以量測末端與目標之間的距離。

於一實施例中，光學測距裝置22的測距軸可平行或重疊機械手臂23的法蘭軸，藉以使所量測的目標距離是對應法蘭軸中機械手臂23末端與正下方的目標之間的深度值。

光路結構24，設置於機械手臂23的末端(或接近末端)來接收入射光(從目標發出或反射的光)，將入射光分為可見光與測距光，並分別導引至影像擷取裝置21與光學測距裝置22。

具體而言，光路結構24包含分光鏡240(如圖7-9，例如是光學稜鏡)，分光鏡240可將入射光分離為不同波長的光線(原理為不同波長的光線具有不同折射率)，例如是將入射光分為可見光與紅外線(測距光)。於分離後，前述可見光可透過可見光路導引(可設置反射鏡或透鏡或直接射入)至影像擷取裝置21的鏡頭211與感光元件210(如圖7)，前述測距光可透過測距光路導引(可設置反射鏡或透鏡或直接射入)至光學測距裝置22的光接收器221。藉此，光路結構24可以在入射端實現的法蘭軸、測距軸、拍攝光軸(例如是拍攝視野的中心點或其他基準點)的同軸配置，並允許影像擷取裝置21設置於法蘭軸(與測距光軸)外。

儲存裝置25，如磁碟硬碟、固態硬碟、ROM、RAM、EEPROM、快閃記憶體或多種儲存媒體的任意組合，用來儲存資料，例如儲存有效拍攝距離251與轉換關係252。

控制裝置20，用來控制自動化機械手臂系統2，例如控制校正模式與工作模式。

請參閱圖2，為本發明一實施例之自動化機械手臂系統的部分架構圖。於本實施例中，控制裝置20可包含控制電腦30與機械手臂控制器。

機械手臂控制器31，連接機械手臂23，用來基於所收到的手臂控制命令來控制機械手臂移動。

於一實施例中，機械手臂23包含用來提供多個自由度的多個關節230-233(如圖8至圖9)，各關節230-233由伺服馬達來控制旋轉角度，藉此，機械手臂23可於多個自由度中進行運動。

手臂控制命令可指示機械手臂23移動的目的地(機械空間座標)，機械手臂控制器31可將手臂控制命令轉換為對應的姿態座標(如各關節230-233的旋轉角度)，並控制各關節230-233轉動來擺出手臂控制命令所對應的姿態。

控制電腦30，例如為工業電腦或個人電腦，連接(例如是透過工業網路或其他區域網路)機械手臂控制器31、影像擷取裝置21、光學測距裝置22及儲存裝置25，並對這些裝置進行控制。舉例來說，控制電腦30可透過發出前述手臂控制命令至機械手臂控制器31來控制機械手臂23。

於一實施例中，控制電腦30還連接周邊裝置32，如通訊介面(用來連接網路)、人機介面(用來與用戶互動)、電源設備(用來提供電力)等。

請參閱圖7，為本發明一實施例的自動化機械手臂系統的設置示意圖。

如圖7所示，自動化機械手臂系統2包含安裝基座55。安裝基座55連接機械手臂23的末端，而可於一立體空間中被機械手臂23移動。

並且，影像擷取裝置21、光學測距裝置22及光路結構24都設置在安裝基座55。

於一實施例中，安裝基座55可設置有一或多個光源50(如環形光源)，光源50用來對工作區域(尤其是目標51及治具52)進行照明，使得影像擷取裝置21可以獲得亮度較佳的目標影像，而大幅降低環境亮度變化影響。

於一實施例中，光路結構24可包含分光鏡240與反射鏡241。反射鏡241用來反射分光鏡240所分離出的可見光至影像擷取裝置21的鏡頭211與感光元件210。透過分光鏡240與反射鏡241，影像擷取裝置21的拍攝光軸可貼合機械手臂23的法蘭軸53。並且，光學測距裝置22的測距光軸可平行或貼合法蘭軸53。

於一實施例中，分光鏡240可為長通分色鏡(longpass dichroic mirror)，並具有80%以上(例如97%)的可見光反射率與75%以上(例如92%)的紅外線穿透率，例如是允許波長在730nm以上(例如750nm)的光線穿透，並反射波長為300nm-730nm((例如450nm-490nm)的光線。

於一實施例中，光學測距裝置22包含光發射器220、光接收器221與連接上述裝置的測距控制器(圖未標示)。光發射器220與光接收器221的中點的垂直線即為測距光軸(圖7中，測距光軸與法蘭軸53貼合)。

光發射器220用以朝目標51發射測距光(測距紅外線)，測距光打在目標51後會反射至分光鏡240，並於穿透分光鏡240後到達光接收器221。測距控制器(如微控制器或SoC)被設定來基於測距光的發射-接收時間差、光傳播速度及光發射器220與光接收器221之間的距離執行三角定位來計算目標距離(即目標51的深度值)。

請參閱圖3，為本發明一實施例之控制裝置的架構圖。控制裝置20可包含模組40-46。模組40-46分別被設定來產生執行本發明之不同功能。

拍攝控制模組40，用來控制影像擷取裝置21，如控制拍攝動作、控制對焦動作、取得影像資料、執行所設定之影像處理等。

測距控制模組41，用來控制光學測距裝置22，如控制執行量測、取得量測資料(目標距離)、執行量測校正等。

手臂控制模組42，用以透過發出手臂控制命令至機械手臂控制器31來控制機械手臂23的姿態，並可取得機械手臂23的目前位置。

校正控制模組43，用以執行校正模式。

工作控制模組44，用以執行工作模式。

轉換處理模組45，用以計算視覺空間至機械空間的座標轉換與機械空間至視覺空間的座標轉換。

影像分析模組46，用以對目標影像執行影像分析與處理。

前述模組40-46是相互連接(可為電性連接與資訊連接)，並可為硬體模組(例如是電子電路模組、積體電路模組、SoC等等)、軟體模組(例如是韌體、作業系統或應用程式)或軟硬體模組混搭，不加以限定。

再者，當前述模組40-46為軟體模組(例如是韌體、作業系統或應用程式)時，儲存裝置25可包含非暫態電腦可讀取記錄媒體(圖未標示)，前述非暫態電腦可讀取記錄媒體儲存有電腦程式250，電腦程式250記錄有電腦可執行之程式碼，當控制裝置20執行前述程式碼後，可實做對應模組40-46之功能。

於一實施例中，前述模組40-46可設置在控制電腦30。舉例來說，儲存裝置25可包含控制電腦30的儲存器，前述儲存器儲存有電腦程式250，控制電腦30的處理器可以執行電腦程式250來實做對應模組40-46之功能。

請參閱圖4，為本發明一實施例之協調方法的流程圖。本實施例的機械手臂與電腦視覺之間的協調方法包含校正步驟S10-S12與工作模式S13-S16。

步驟S10：控制電腦30透過校正控制模組43進入校正模式以執行機械空間與視覺空間之間的協調與校正。

舉例來說，控制電腦30可於接受用戶的開始校正操作或收到校正命令時進入校正模式。

步驟S11：控制電腦30控制機械手臂23移動，並取得當前的目標距離，依據當前的目標距離判斷機械手臂23(的末端)是否進入影像擷取裝置21的有效拍攝範圍。

若進入有效拍攝範圍，則控制機械手臂23於有效拍攝範圍中依序擺出多個校正姿態，並於擺出各校正姿態時拍攝至少一校正影像，藉以獲得分別對應多個校正姿態的多個校正影像。

步驟S12：控制電腦30透過轉換處理模組45基於多個校正姿態與多個校正影像計算影像擷取裝置21的視覺空間與機械手臂23的機械空間之間的轉換關係。

於一實施例中，控制電腦30可於各校正影像中識別校正目標的視覺空間座標，計算校正目標於多個校正影像的多個視覺空間座標的變化，計算多個校正姿態所對應的多個機械空間座標的變化，並基於上述機械空間座標的變化及視覺空間座標的變化來計算視覺空間與機械空間之間的轉換關係。

於一實施例中，視覺空間

、機械空間

與轉換關係

之間的數學關係為：

於一實施例中，轉換關係

可透過以下方式計算獲得。

影像擷取裝置21多次拍攝校正目標的特徵f(例如是棋盤格)，來獲得多個不同校正姿態下影像擷取裝置21與特徵的關係式：

，同時獲得多個當下的校正姿態的表示式

(W為機械空間座標，如世界座標)，由於特徵物在機械空間座標下固定為

，彼此的關係式可以表示為

,i=1~N。

由於

,i=1~N皆為已知，可透過取得多筆資料來最佳化方程式，以得到誤差項最小之最佳解

，即校正資料越多，轉換關係

越精準。

步驟S13：控制電腦30透過工作控制模組44進入工作模式以執行工作。

舉例來說，控制電腦30可於接受用戶的開始工作操作或收到工作命令時進入工作模式。

步驟S14：控制電腦30控制機械手臂23移動，並取得當前的目標距離，依據當前的目標距離判斷機械手臂23(的末端)是否進入影像擷取裝置21的有效拍攝範圍。

若進入有效拍攝範圍，則控制電腦30控制影像擷取裝置21拍攝工作目標來獲得工作影像，透過影像分析模組46來執行工作相關影像分析處理，並於工作影像中決定要進行加工的位置(視覺空間座標)。接著，控制電腦30透過轉換處理模組45使用轉換關係來將視覺空間座標轉換為機械空間座標。並且，控制電腦30控制機械手臂23移動至機械空間座標。

步驟S14：控制電腦30控制機械手臂23移動至機械空間座標。

於一實施例中，控制電腦30可進一步控制工作裝置54控制機械手臂於機械空間座標執行自動化動作，例如夾取動作、焊接動作、標記動作、研磨動作、組裝動作、塗膠動作及/或鎖固動作。

本發明可對機械手臂與電腦視覺進行校正，而可以提升機器人的手眼協調。

請同時參閱圖4與圖5，圖5為本發明一實施例之協調方法的部分流程圖。相較於圖4的協調方法，本實施例的協調方法的步驟S11更包含步驟S20-S24。

步驟S20：控制電腦30取得影像擷取裝置21的有效拍攝距離(如圖1所示的有效拍攝距離251)，並基於有效拍攝距離設定有效拍攝範圍。

前述有效拍攝距離可例如為取得影像擷取裝置21的最大或最小對焦距離，並且有效拍攝範圍可例如為影像擷取裝置21的對焦範圍。

於一實施例中，若有效拍攝距離為50公分，則控制電腦30可將0-50公分設定為有效拍攝範圍，或將25-50公分設定為有效拍攝範圍，或將25-75公分設定為有效拍攝範圍，不加以限定。

再者，當影像擷取裝置21與拍攝目標是落入前述有效拍攝距離或有效拍攝範圍時，影像擷取裝置21可以正確地對拍攝目標進行聚焦，而可以拍攝到清晰的目標影像；當影像擷取裝置21與拍攝目標是不在有效拍攝範圍內時，影像擷取裝置21無法正確地聚焦，而會產生模糊的目標影像。

步驟S21：控制電腦30控制機械手臂23移動，持續量測目標距離，直到基於目標距離判斷進入有效拍攝範圍內。

步驟S22：控制電腦30持續量測當前的目標距離，並控制機械手臂23於有效拍攝範圍內移動並擺出不同的測焦姿態，並拍攝各測焦姿態的測焦影像。

於一實施例中，前述多個測焦姿態是於不同的目標距離所擺出，即控制電腦30是於有效拍攝範圍內不斷變換機械手臂23的高度(如從遠離目標到接近目標)，來獲得不同高度的測焦影像。

步驟S23：控制電腦30透過影像分析模組46對多個測焦影像與對應的多個目標距離執行對焦分析來決定基準姿態及基準距離。

於一實施例中，前述對焦分析包含於多個測焦影像中選擇一或多個準焦的測焦影像(即清晰影像)，並基於拍攝這些測焦影像的測焦姿態來決定基準姿態(如這些測焦姿態的中心或重心)，並基於拍攝這些測焦影像的目標距離來決定基準距離(如平均值)。

於一實施例中，前述對焦分析可藉由分析多個影像的邊緣特徵、梯度大小等，來決定最清晰的測焦影像，取得能取得最清晰的測焦影像的測焦姿態與目標距離，並作為基準姿態及基準距離。

步驟S24：控制電腦30基於基準姿態及基準距離控制機械手臂23移動為校正姿態，並於此校正姿態下拍攝對應的校正影像。

於一實施例中，各校正姿態的目標距離是等於或接近基準距離，並是基於基準姿態進行變化，例如在相同高度平面上旋轉或位移機械手臂23的末端。

步驟S25：控制電腦30透過校正控制模組43判斷是否預設的停止收集條件滿足，以判斷是否所收集的校正資料已足夠，例如滿足預設的筆數，如10筆、50筆或100筆等，不加以限定。

若停止收集條件滿足，則結束收集校正資料；否則，在次執行步驟S24，以獲得不同校正姿態下拍攝的校正影像。

藉此，本發明可連續地改變機械手臂的旋轉與位移來擺出不同的校正姿態，並拍攝各校正姿態的校正影像，直到收集到足夠的校正資料。

於一實施例中，於所收集的多個校正姿態中，至少兩個校正姿態所在平面是跟治具52平行。

於一實施例中，於所收集的多個校正姿態中，至少兩個校正姿態在不同的目標距離，即不同高度。

本發明由於拍攝光軸與法蘭軸貼合，所計算出來的轉換關係可以更為準確。

請同時參閱圖4與圖6，圖6為本發明一實施例之協調方法的部分流程圖。相較於圖4的協調方法，本實施例的協調方法的步驟S14更包含步驟S30-S33。

步驟S30：控制電腦30控制機械手臂23移動(如持續朝工作目標接近)，持續取得目標距離，並基於目標距離判斷機械手臂23是否進入有效拍攝範圍(如目標距離是否小於有效拍攝距離251)。

步驟S31：控制電腦30於機械手臂23(包含影像擷取裝置21)進入有效拍攝範圍後，對工作目標進行拍攝來獲得工作影像。

步驟S32：控制電腦30透過影像分析模組46對工作影像中執行影像分析。

於一實施例中，前述影像分析可包含於工作影像中識別工作目標，並基於工作目標在視覺空間的位置執行工作分析來決定需要執行工作的視覺空間座標。

於一實施例中，前述工作分析可以是瑕疵檢測處理(例如檢測元件瑕疵)、量測處理(例如量測元件面積或長度)、分類篩檢處理(例如對元件進行辨識與分類)與元件定位處理(例如決定元件的抓取點、組裝點、焊接點等)。

步驟S33：控制電腦30基於轉換關係252轉換執行工作的視覺空間座標為執行工作的機械空間座標。

於一實施例中，控制電腦30可進一步依據工作裝置54與法蘭軸的位置差，對機械空間座標進行補償，來獲得補償後的機械空間座標。並且，控制電腦30可基於補償後的機械空間座標產生手臂控制命令，並發送手臂控制命令至機械手臂控制器31來控制機械手臂將工作裝置54移動至執行工作的機械空間座標。

藉此，本發明可透過電腦視覺來自動執行加工作業。

請參閱圖8至圖11，圖8為本發明一實施例的校正模式的第一示意圖，圖9為本發明一實施例的校正模式的第二示意圖，圖10為圖8所拍攝的第一校正影像的示意圖，圖11為圖9所拍攝的第二校正影像的示意圖。

於本實施例中，光路結構僅包含分光鏡240，分光鏡240分離出的可見光是直接射入影像擷取裝置21，影像擷取裝置21的鏡頭朝向是與法蘭軸垂直。

此外，工作裝置54是設置於安裝基座55底部，且位於法蘭軸之外，藉以避免干擾入射光的射入。

再者，上述設置方式中，工作裝置54與法蘭軸的距離是固定的，這使得控制裝置20可以由法蘭軸快速且準確地計算工作裝置54目前的空間位置。

機械手臂23於末端移動至有效拍攝距離h1內後，可透過調整關節230-233來擺出如圖8所示的第一個校正姿態P1，並透過影像擷取裝置21來拍攝如圖10所示的第一張校正影像。

接著，機械手臂23可透過調整關節232、233來擺出如圖9所示的不同的第二個校正姿態P2，並透過影像擷取裝置21來拍攝如圖11所示的第二張校正影像。

如圖10所示，第一校正姿態P1下，第一張校正影像的目標60的特徵(於此為中心點)是位於視覺空間的位置600。

如圖111所示，於變換至第二校正姿態P2後，第二張校正影像的目標60的特徵移動至視覺空間的位置601。

接著，計算第一校正姿態P1與第二校正姿態P2之間的機械空間座標變化量，並計算位置600至位置601的視覺空間變化量V1，將兩組變化量進行關聯即可獲得視覺空間與機械空間之間的轉換關係，而完成校正。

以上所述僅為本發明之較佳具體實例，非因此即侷限本發明之申請專利範圍，故舉凡運用本發明內容所為之等效變化，均同理皆包含於本發明之範圍內，合予陳明。

S10-S16:協調步驟

Claims

一種機械手臂與電腦視覺之間的協調方法，包括：a)於一校正模式下，基於一光學測距裝置所量測的一目標距離控制一機械手臂於一影像擷取裝置的一有效拍攝範圍內移動為多個校正姿態，並透過該影像擷取裝置於該多個校正姿態分別拍攝多個校正影像，其中一分光鏡將可見光導引至設置於該機械手臂的一法蘭軸外的該影像擷取裝置，並將測距光導引至該光學測距裝置，該光學測距裝置的測距軸平行或重疊該法蘭軸；b)基於該多個校正姿態與該多個校正影像計算該影像擷取裝置的視覺空間與該機械手臂的機械空間之間的一轉換關係；c)於一工作模式下，透過該影像擷取裝置拍攝一工作影像，並基於該工作影像及該轉換關係決定執行工作的一機械空間座標；及d)控制該機械手臂移動至該機械空間座標。
如請求項1所述之機械手臂與電腦視覺之間的協調方法，其中該步驟a)包括：a1)取得該影像擷取裝置的一有效拍攝距離，並基於該有效拍攝距離設定該有效拍攝範圍；a2)控制該機械手臂於該有效拍攝範圍內分別為不同的該目標距離的多個測焦姿態，並於該多個測焦姿態分別拍攝多個測焦影像；及a3)對該多個測焦影像與對應的該多個目標距離執行一對焦分析來決定一基準姿態及一基準距離。
如請求項2所述之機械手臂與電腦視覺之間的協調方法，其中該對焦分析包括：e1)於該多個測焦影像中選擇至少一準焦的該測焦影像；及e2)基於拍攝到清晰的該測焦影像的該測焦姿態與該目標距離決定該基準姿態及該基準距離。
如請求項1所述之機械手臂與電腦視覺之間的協調方法，其中該步驟a)包括：a4)基於一基準姿態及一基準距離連續地控制該機械手臂移動為不同的該校正姿態，並分別拍攝多個該校正影像，直到一停止收集條件滿足。
如請求項1所述之機械手臂與電腦視覺之間的協調方法，其中該步驟b)包括：b1)於各該校正影像中識別一校正目標的一視覺空間座標；b2)計算該校正目標於該多個校正影像的該多個視覺空間座標的變化；b3)計算該多個機械空間座標的變化；及b4)基於該多個機械空間座標的變化及該多個視覺空間座標的變化計算視覺空間與機械空間之間的該轉換關係。
如請求項1所述之機械手臂與電腦視覺之間的協調方法，其中該步驟c)包括：c1)於該機械手臂進入該有效拍攝範圍時拍攝該工作影像；c2)於該工作影像中識別一工作目標，並基於該工作目標的位置執行一工作分析來決定執行工作的一視覺空間座標；及 c3)基於該轉換關係轉換執行工作的該視覺空間座標為執行工作的該機械空間座標。
如請求項6所述之機械手臂與電腦視覺之間的協調方法，其中該工作分析包括瑕疵檢測處理、量測處理、分類篩檢處理與元件定位處理的至少其中之一。
如請求項1所述之機械手臂與電腦視覺之間的協調方法，更包括：f)控制該機械手臂於該機械空間座標執行一自動化動作。
如請求項8所述之機械手臂與電腦視覺之間的協調方法，其中該自動化動作包括夾取動作、焊接動作、標記動作、研磨動作、組裝動作、塗膠動作與鎖固動作的至少其中之一。
如請求項1所述之機械手臂與電腦視覺之間的協調方法，其中該分光鏡具有80%以上的可見光反射率與75%以上的紅外線穿透率。
一種自動化機械手臂系統，包括：一機械手臂，用以於一立體空間中移動；一影像擷取裝置，設置於該機械手臂的法蘭軸外，並用以拍攝影像；一光學測距裝置，設置於該機械手臂上，用以量測一目標距離，該光學測距裝置的測距軸平行或重疊該法蘭軸；一光路結構，包括一分光鏡，該分光鏡用以將可見光導引至該影像擷取裝置並將測距光導引至該光學測距裝置；及一控制裝置，連接該機械手臂、該影像擷取裝置及該光學測距裝置；其中，該控制裝置被設定為於一校正模式下，基於該目標距離控制該機械手臂於該影像擷取裝置的一有效拍攝範圍內移動為多個校正姿態，並控制該影像擷取裝置於該多個校正姿態分別拍攝多個校正影像，基於該多個校正姿態與該多個校正影像計算該影像擷取裝置的視覺空間與該機械手臂的機械空間之間的一轉換關係；其中，該控制裝置被設定為於一工作模式下，控制該影像擷取裝置拍攝一工作影像，基於該工作影像及該轉換關係決定執行工作的一機械空間座標，並控制該機械手臂移動至該機械空間座標。
如請求項11所述之自動化機械手臂系統，其中該控制裝置包括：一機械手臂控制器，連接該機械手臂，用以基於所收到的一手臂控制命令來控制該機械手臂移動；及一控制電腦，連接該機械手臂控制器、該影像擷取裝置及該光學測距裝置，用以發出該手臂控制命令；其中，該控制電腦被設定來取得該影像擷取裝置的一有效拍攝距離，並基於該有效拍攝距離設定該有效拍攝範圍，控制該機械手臂於該有效拍攝範圍內分別為不同的該目標距離的多個測焦姿態，並於該多個測焦姿態分別拍攝多個測焦影像；其中，該控制電腦被設定來對該多個測焦影像與對應的該多個目標距離執行一對焦分析來決定一基準姿態及一基準距離；其中，該控制電腦被設定來基於該基準姿態及該基準距離連續地控制該機械手臂移動為不同的該校正姿態，並拍攝多個該校正影像，直到一停止收集條件滿足。
如請求項12所述之自動化機械手臂系統，其中該控制電腦被設定為於該多個測焦影像中選擇至少一準焦的該測焦影像，並基於拍攝到清晰的該測焦影像的該測焦姿態與該目標距離決定該基準姿態及該基準距離。
如請求項11所述之自動化機械手臂系統，更包括一安裝基座，用以設置該影像擷取裝置、該光學測距裝置及該光路結構；其中，該機械手臂的末端連接該安裝基座，並用以於該立體空間中移動該安裝基座；其中，該控制裝置被設定為於各該校正影像中識別一校正目標的一視覺空間座標，計算該校正目標於該多個校正影像的該多個視覺空間座標的變化，計算該多個機械空間座標的變化，並基於該多個機械空間座標的變化及該多個視覺空間座標的變化計算視覺空間與機械空間之間的該轉換關係。
如請求項11所述之自動化機械手臂系統，其中該機械手臂包括用以提供多個自由度的多個關節，該機械空間座標是基於該機械空間座標調整該多個關節的旋轉角度來控制該機械手臂於該多個自由度中進行運動；其中，該控制裝置被設定為當該機械手臂進入該有效拍攝範圍時拍攝該工作影像，於該工作影像中識別一工作目標，並基於該工作目標的位置執行一工作分析來決定執行工作的一視覺空間座標，並基於該轉換關係轉換執行工作的該視覺空間座標為執行工作的該機械空間座標；其中，該工作分析包括瑕疵檢測處理、量測處理、分類篩檢處理與元件定位處理的至少其中之一。
如請求項11所述之自動化機械手臂系統，更包括一工作裝置，連接該控制裝置；其中，該控制裝置被設定來於該機械手臂移動至該機械空間座標時，控制該工作裝置執行一自動化動作。
如請求項16所述之自動化機械手臂系統，其中該工作裝置包括夾取端效器、焊接加熱器、標記工具、研磨工具、組裝端效器、塗膠工具與鎖固工具的至少其中之一；其中，該自動化動作包括夾取動作、焊接動作、標記動作、研磨動作、組裝動作、塗膠動作與鎖固動作的至少其中之一。
如請求項11所述之自動化機械手臂系統，其中該影像擷取裝置包括彩色攝影機；其中，該光學測距裝置包括紅外線測距儀；其中，該分光鏡為長通分色鏡(longpass dichroic mirror)，並具有80%以上的可見光反射率與75%以上的紅外線穿透率。
如請求項11所述之自動化機械手臂系統，其中該光學測距裝置包括：一光發射器，用以朝一目標發射該測距光；一光接收器，用以接收反射的該測距光；及一測距控制器，連接該光發射器與該光接收器，被設定來基於該測距光的一發射-接收時間差、一光傳播速度及該光發射器與該光接收器之間的距離計算該目標距離。
如請求項11所述之自動化機械手臂系統，其中該光路結構更包括一反射鏡，該反射鏡用以反射該分光鏡所反射的可見光至該影像擷取裝置。