TWM565327U - Robot arm control device - Google Patents

Abstract

一種機械手臂控制裝置，用於控制機械手臂，其中機械手臂包含基座及工作頭。機械手臂控制裝置包含攝影機、影像處理器及控制器，其中影像處理器連接於攝影器及控制器。攝影機拍攝機械手臂的工作空間以產生第一影像及第二影像。影像處理器設定第一影像為背景影像，依據背景影像對第二影像執行影像處理流程以取得位於工作空間的障礙物的位置資訊。控制器依據障礙物的位置資訊、基座的位置資訊及工作頭的工作起點與工作終點，計算出預定移動路徑，且控制器更用於連接於機械手臂，以依據預定移動路徑控制工作頭移動。

Description

機械手臂控制裝置

本創作係關於一種控制裝置，特別關於一種機械手臂的控制裝置。

現今機械手臂仍然不斷地更新改進，但依然有些物流任務是自動化機器無法突破的，例如：跑車內部裝潢皮革之作業，需仰賴人工之處理，好比皮革厚度判別以及紋路編排需依靠人類經驗的累積來達成精緻化客製裝潢。如同上述所言，無法用標準機械流程取代的艱難任務，是需要作業人與自動化機器共同工作下運作完成，而這些項目大部分為客製化內容。

人機協同之概念，作業員與機械手臂一同工作情況下，為了顧慮到人員安全，會在機械手臂上加裝安全防護的控制機制，常見的有雷射測距儀感測器、加速規感測器、電流感測器等，能使機械手臂停止或減速運作。目前的人機協同安全的控制裝置大部分是使用接觸形式的感測器，也就是作業員已經撞擊到機台才會啟動安全機制，在此情況下人員已經受到傷害。或者作業員跨入安全保護區內時，將會觸碰到防護措施，啟動安全相關機制，但對於正在運作的機器而言，是並不完全影響其作業流程，然而卻因安全機制的啟動，機械手臂將減緩其作業速度，進而暫停運作或強制停止，反而影響物流工廠流程運作效率。

為了解決上述問題，本創作提供一種機械手臂控制裝置，將視覺技術應用在人員安全防護上，使機械手臂的運作在保護作業員安全的情況下，能達到最高效率。

本創作之一實施例所揭露之機械手臂控制裝置，用於控制機械手臂，其中機械手臂包含基座及工作頭。機械手臂控制裝置包含攝影機、影像處理器及控制器，其中影像處理器連接於攝影器及控制器。攝影機拍攝機械手臂的工作空間以產生第一影像及第二影像。影像處理器設定第一影像為背景影像，依據背景影像對第二影像執行影像處理流程以取得位於工作空間的障礙物的位置資訊。控制器依據障礙物的位置資訊、基座的位置資訊及工作頭的工作起點與工作終點，計算出預定移動路徑，且控制器更用於連接於機械手臂，以依據預定移動路徑控制工作頭移動。

本創作之一實施例所揭露之機械手臂控制裝置，其中控制器依據障礙物的位置資訊產生圓形範圍，圓形範圍圍繞障礙物且圓形範圍的圓周與障礙物之間的最小距離大於預設距離。

本創作之一實施例所揭露之機械手臂控制裝置，其中控制器取得工作頭的工作起點與圓形範圍的切線及工作頭的工作終點與圓形範圍的另一切線，取得二切線的交點，並依序連線工作起點、交點及工作終點以作為預定移動路徑，其中二切線位於圓形範圍及基座之間。

本創作之一實施例所揭露之機械手臂控制裝置，其中控制器依據預定移動路徑的坐標資訊執行逆運動學計算，以產生基座與工作頭之間的一連接臂的預定開闔角度，藉此控制工作頭移動。

本創作之一實施例所揭露之機械手臂控制裝置，其中控制器在判斷障礙物的位置資訊與工作頭的位置資訊之間的距離小於預設閾值時，控制工作頭使距離大於預設閾值。

本創作之一實施例所揭露之機械手臂控制裝置，其中控制器每間隔預設時間執行預定移動路徑的計算。

本創作之一實施例所揭露之機械手臂控制裝置，其中影像處理流程包含以背景影像對第二影像執行背景相減，再執行二值化處理、侵蝕處理及膨脹處理，以取得障礙物的輪廓，且依據輪廓產生位置資訊。

本創作之一實施例所揭露之機械手臂控制裝置，其中控制器包含主控制器及可編程邏輯控制器，彼此透過網際網路協定套組連接。主控制器計算出預定移動路徑以產生控制指令，可編程邏輯控制器用於依據控制指令控制工作頭移動。

本創作之一實施例所揭露之機械手臂控制裝置，更包含另一攝影機連接於影像處理器。所述另一攝影機拍攝工作空間以產生第三影像及第四影像，其中影像處理器依據第三影像及第四影像取得障礙物的另一位置資訊，且控制器依據另一位置資訊調整預定移動路徑。

本創作之一實施例所揭露之機械手臂控制裝置，其中攝影機屬於深度攝影機。

根據上述實施例之機械手臂控制裝置，透過接收影像來偵測作業員的位置，使機械手臂在允許安全範圍內，改變其原有路徑，藉由視覺判斷運算出新的最佳路徑規劃，同時機械手臂依然繼續進行相同的任務運作，達到確認作業員安全的情況下整體運作耗費最短時效。

以上關於本創作內容的說明及以下實施方式的說明係用以示範與解釋本創作的原理，並且提供本創作的專利申請範圍更進一步的解釋。

以下在實施方式中詳細敘述本創作之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本創作之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本創作相關之目的及優點。以下之實施例係進一步詳細說明本創作之觀點，但非以任何觀點限制本創作之範疇。

請參考圖1，圖1 係依據本創作一實施例所繪示的機械手臂控制裝置1的功能方塊圖。如圖1所示，機械手臂控制裝置1用於控制機械手臂2，其中機械手臂2包含基座21以及工作頭22例如為鑽頭、夾具等，本創作並不限制機械手臂2的種類及機構設計。機械手臂控制裝置1包含攝影機11、影像處理器12以及控制器13，其中影像處理器12有線或無線地連接於攝影機11及控制器13。

攝影機11例如為深度相機，拍攝機械手臂2的工作空間以產生第一影像及第二影像。詳細來說，機械手臂2的基座21設置於工作機台，工作空間包含工作機台及工作頭22的可移動範圍，攝影機11則設置於機械手臂2上方，以朝向工作空間俯拍。於一實施例中，攝影機11會持續對工作空間進行拍攝。

影像處理器12例如為中央處理器（Central processing unit，CPU）、微控制器（Microcontroller unit，MCU）、現場可程式化閘陣列（Field programmable gate array，FPGA）、特殊應用積體電路（Application specific integrated circuit，ASIC）或其他處理器。影像處理器12透過有線或無線的方式自攝影機11取得其所拍攝的影像。舉例來說，影像處理器12可以透過USB接頭與攝影機11連接。影像處理器12設定攝影機11所拍攝的第一影像為背景影像，再依據背景影像對攝影機11所拍攝的第二影像執行影像處理流程，以取得位於機械手臂2的工作空間中的障礙物的位置資訊，其中影像處理流程的詳細內容將於後描述。

控制器13自影像處理器12取得障礙物的位置資訊，依據此位置資訊、機械手臂2的基座21的位置資訊及工作頭22的工作起點與工作終點，計算出一條工作頭22的預定移動路徑。控制器13更用於連接於機械手臂2，以依據預定移動路徑控制工作頭22移動，其中詳細的控制方法將於後描述。

請參考圖2，圖2係依據本創作另一實施例所繪示的機械手臂控制裝置1’的功能方塊圖。如圖2所示，機械手臂控制裝置1’包含攝影機11、影像處理器12及控制器13，其中攝影機11及影像處理器12的種類及運作皆如前一實施例所述，於此不再贅述。

於一實施例中，控制器13可以包含主控制器131及可編程邏輯控制器（Programmable Logic Controller，PLC）132，其中主控制器131及可編程邏輯控制器132可以透過網際網路協定套組（TCP/IP）彼此連接。主控制器131例如為電腦內建的控制器，執行預定移動路徑的計算以產生控制指令，而可編程邏輯控制器132例如為機械手臂2原廠配置的控制器，自主控制器131接收控制指令以控制工作頭22移動。於另一實施例中，主控制器131及可編程邏輯控制器132整合為一主機，以執行預設移動路徑的規劃以及工作頭22的移動控制。

如圖2所示，機械手臂控制裝置1’除了攝影機11、影像處理器12及控制器13更可以包含顯示裝置14。顯示裝置14以有線或無線的方式連接於控制器13，並呈現主控制器131所產生的工作頭22的預定移動路徑。舉例來說，顯示裝置14可以係投影機，將工作頭22的預定移動路徑投射於工作機台上，以供工作人員參考。

此外，機械手臂控制裝置1’亦可包含另一台攝影機11b。類似於攝影機11，攝影機11b例如為深度相機，拍攝機械手臂2的工作空間以產生第三影像及第四影像。如前所述，影像處理器12依據攝影機11所拍攝的第一影像及第二影像取得位於工作空間中的障礙物的位置資訊，進一步地，影像處理器12可以同樣的方法依據攝影機11b所拍攝的第三影像及第四影像，取得障礙物的另一位置資訊，控制器13再依據此位置資訊調整工作頭22的預定移動路徑。於此實施例中，控制器13可以依據兩攝影機11及11b拍攝的影像所產生的障礙物的位置資訊以更精準地規劃預定移動路徑。

特別要說明的是，上述攝影機11產生的第一影像對應於攝影機11b產生的第三影像，且攝影機11的第二影像對應於攝影機11b的第四影像，第一與第三影像僅為區別性的命名，並非用於限制影像的產生順序，第二與第四影像同理。

接下來請一併參考圖1及3以說明影像處理流程的詳細步驟，其中圖3係依據本創作一實施例所繪示的機械手臂控制裝置1執行影像處理的流程圖。於步驟S1中，攝影機11拍攝機械手臂2的工作空間的影像。詳細來說，攝影機11會持續地以預設頻率執行影像拍攝。於步驟S2～S3中，影像處理器12自攝影機11擷取影像，並判斷此影像是否為第一次擷取的影像。於步驟S4中，當影像處理器12判斷擷取的影像為第一次擷取的影像時，便將擷取的影像（即前述的第一影像）設定為背景影像，作為後續影像處理的基準圖，並再次執行步驟S2以自攝影機11擷取另一影像。

於步驟S5中，當影像處理器12判斷擷取的影像非第一次擷取的影像時，便以背景影像對擷取的影像（即前述的第二影像）執行背景相減（Background Subtraction）。接著於步驟S6中對經背景相減的影像執行二值化處理（Thresholding），以產生二值影像（Morphological）。再來於步驟S7～S8中，對二值影像執行侵蝕處理（Eroding）及膨脹處理（Dilating）以完成影像處理流程。影像處理器12在對擷取的影像執行完影像處理流程後，會再次執行步驟S2以自攝影機11擷取另一影像。經影像處理流程的影像中包含多個點的坐標，透過辨識障礙物的輪廓，可以產生障礙物的位置資訊。也就是說，障礙物的位置資訊可以包含其輪廓上的多個坐標。

請再一併參考圖1及圖4A～4C以說明機械手臂2的工作頭22的預定移動路徑的規劃方式，其中圖4A～4C係依據本創作一實施例所繪示的機械手臂控制裝置1執行預設移動路線規劃的示意圖。

如圖4A所示，當工作空間中未存在障礙物時，控制器13設定工作頭22的預定移動路徑P0自其工作起點O1至工作終點O2為一直線。如圖4B所示，當障礙物3進入工作空間時，控制器13會依據障礙物3的位置資訊產生圓形範圍R1。詳細來說，圓形範圍R1圍繞著障礙物3且其圓周與障礙物3之間的最小距離大於預設距離，其中預設距離可以依據實際需求設計，本創作不予限制。控制器13取得工作頭22的工作起點O1與圓形範圍R1的切線及工作頭22的工作終點O2與圓形範圍R1的切線，取得二切線的交點N1，並依序連線工作起點O1、交點N1及工作終點O2以作為預定移動路徑P1，其中二切線位於圓形範圍R1及機械手臂2的基座21之間。也就是說，預定移動路徑P1位於圓形範圍R1及基座21之間。

進一步來說，控制器13每間隔一預設時間便會執行預定移動路徑的計算，其中預設時間可以依據實際需求設計，本創作不予限制。如圖4C所示，當障礙物3移動時，控制器13會據以產生新的圓形範圍R2，取得工作起點O1與圓形範圍R2的切線及工作終點O2與圓形範圍R2的切線之間的交點N2以產生預定移動路徑P2。原先沿著預定移動路徑P1移動至位置M1的工作頭22，便會依據新的預定移動路徑P2即時地沿著路徑P3移動至位置M2，再繼續沿著新的預定移動路徑P2移動。

於一實施例中，控制器13在判斷障礙物3的位置資訊與工作頭22的位置資訊之間的距離小於預設閾值時，會控制工作頭22使其與障礙物3之間的距離大於預設閾值，其中預設閾值可以依據實際需求設計，本創作不予限制。進一步來說，上述各實施例中所產生的預定移動路徑P0～P2具有多個坐標資訊，控制器13可以係依據這些坐標資訊執行逆運動學計算，以產生基座21與工作頭22之間的連接臂的預定開闔角度，藉此控制工作頭22移動。

根據上述實施例之機械手臂控制裝置，透過接收影像來偵測作業員的位置，使機械手臂在允許安全範圍內，改變其原有路徑，藉由視覺判斷運算出新的最佳路徑規劃，同時機械手臂依然繼續進行相同的任務運作，達到確認作業員安全的情況下整體運作耗費最短時效。

雖然本創作以前述之較佳實施例揭露如上，然其並非用以限定本創作，任何熟習相像技藝者，在不脫離本創作之精神和範圍內，當可作些許之更動與潤飾，因此本創作之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。

1、1’‧‧‧機械手臂控制裝置
11、11b‧‧‧攝影機
12‧‧‧影像處理器
13‧‧‧控制器
2‧‧‧機械手臂
21‧‧‧基座
22‧‧‧工作頭
131‧‧‧主控制器
132‧‧‧可編程邏輯控制器
14‧‧‧顯示裝置
S1～S8‧‧‧步驟
O1‧‧‧工作起點
O2‧‧‧工作終點
P0～P2‧‧‧預定移動路徑
P3‧‧‧路徑
N1、N2‧‧‧交點
R1、R2‧‧‧圓形範圍
M1、M2‧‧‧位置

圖1 係依據本創作一實施例所繪示的機械手臂控制裝置的功能方塊圖。 圖2係依據本創作另一實施例所繪示的機械手臂控制裝置的功能方塊圖。 圖3係依據本創作一實施例所繪示的機械手臂控制裝置執行影像處理的流程圖。 圖4A～4C係依據本創作一實施例所繪示的機械手臂控制裝置執行預設移動路線規劃的示意圖。

Claims (10)

1. 一種機械手臂控制裝置，用於控制一機械手臂，該機械手臂包含一基座及一工作頭，該機械手臂控制裝置包含：一攝影機，拍攝該機械手臂的一工作空間以產生一第一影像及一第二影像；一影像處理器，連接於該攝影機，設定該第一影像為一背景影像，依據該背景影像對該第二影像執行一影像處理流程以取得位於該工作空間的一障礙物的一位置資訊；以及一控制器，連接於該影像處理器，依據該障礙物的該位置資訊、該基座的一位置資訊及該工作頭的一工作起點與一工作終點，計算出一預定移動路徑，且該控制器更用於連接於該機械手臂，以依據該預定移動路徑控制該工作頭移動。
2. 如請求項1所述的機械手臂控制裝置，其中該控制器依據該障礙物的該位置資訊產生一圓形範圍，該圓形範圍圍繞該障礙物且該圓形範圍的一圓周與該障礙物之間的最小距離大於一預設距離。
3. 如請求項2所述的機械手臂控制裝置，其中該控制器取得該工作頭的該工作起點與該圓形範圍的一切線及該工作頭的該工作終點與該圓形範圍的另一切線，取得該二切線的一交點，並依序連線該工作起點、該交點及該工作終點以作為該預定移動路徑，其中該二切線位於該圓形範圍及該基座之間。
4. 如請求項1所述的機械手臂控制裝置，其中該控制器依據該預定移動路徑的坐標資訊執行逆運動學計算，以產生該基座與該工作頭之間的一連接臂的一預定開闔角度，藉此控制該工作頭移動。
5. 如請求項1所述的機械手臂控制裝置，其中該控制器在判斷該障礙物的該位置資訊與該工作頭的位置資訊之間的距離小於一預設閾值時，控制該工作頭使該距離大於該預設閾值。
6. 如請求項1所述的機械手臂控制裝置，其中該控制器每間隔一預設時間執行該預定移動路徑的計算。
7. 如請求項1所述的機械手臂控制裝置，其中該影像處理流程包含以該背景影像對該第二影像執行背景相減，再執行二值化處理、侵蝕處理及膨脹處理，以取得該障礙物的輪廓，且依據該輪廓產生該位置資訊。
8. 如請求項1所述的機械手臂控制裝置，其中該控制器包含：一主控制器，計算出該預定移動路徑以產生一控制指令；以及一可編程邏輯控制器，透過一網際網路協定套組連接於該主控制器，且用於依據該控制指令控制該工作頭。
9. 如請求項1所述的機械手臂控制裝置，更包含另一攝影機，連接於該影像處理器，拍攝該工作空間以產生一第三影像及一第四影像，其中該影像處理器依據該第三影像及該第四影像取得該障礙物的另一位置資訊，且該控制器依據該另一位置資訊調整該預定移動路徑。
10. 如請求項1所述的機械手臂控制裝置，其中該攝影機屬於一深度攝影機。