TWI799310B - 機器人及機器人手眼校正方法 - Google Patents

機器人及機器人手眼校正方法 Download PDF

Info

Publication number
TWI799310B
TWI799310B TW111124615A TW111124615A TWI799310B TW I799310 B TWI799310 B TW I799310B TW 111124615 A TW111124615 A TW 111124615A TW 111124615 A TW111124615 A TW 111124615A TW I799310 B TWI799310 B TW I799310B
Authority
TW
Taiwan
Prior art keywords
camera
image
target
robot
hand
Prior art date
Application number
TW111124615A
Other languages
English (en)
Other versions
TW202402492A (zh
Inventor
張禎元
李俊則
Original Assignee
國立清華大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立清華大學 filed Critical 國立清華大學
Priority to TW111124615A priority Critical patent/TWI799310B/zh
Priority to US18/048,862 priority patent/US20240001557A1/en
Application granted granted Critical
Publication of TWI799310B publication Critical patent/TWI799310B/zh
Publication of TW202402492A publication Critical patent/TW202402492A/zh

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1653Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39008Fixed camera detects reference pattern held by end effector
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39057Hand eye calibration, eye, camera on hand, end effector
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40264Human like, type robot arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Telephone Function (AREA)
  • Walking Sticks, Umbrellas, And Fans (AREA)

Abstract

一種機器人,適於與一目標物互動,且包含機械手臂、校正圖像、相機以及處理器。機械手臂對應於機械手臂座標。校正圖像設置於機械手臂上。相機對應於相機座標,相機用以拍攝目標物並產生影像畫面。處理器配置以移動機械手臂,使校正圖像朝目標物移動並進入影像畫面,且處理器記錄校正圖像朝目標物移動路徑的機械手臂座標資料以及相機座標資料,使用機械手臂座標資料以及相機座標資料執行手眼校正演算法,以取得經校正之相機座標與機械手臂座標間的對應關係。藉此提升手眼校正的即時性。

Description

機器人及機器人手眼校正方法
本揭示內容在於提供一種機器人及機器人手眼校正方法,尤其是一種具有相機的機器人及機器人手眼校正方法。
隨著工業技術的進展,機器人的應用不再只限於進行重複性的工作,還需因應工作的變化性而進行調整與校正,因此發展出與光學視覺系統整合的機械手臂。當機械手臂與光學視覺系統整合時,需要手眼校正的技術來計算出兩者之間的座標轉換關係,使機械手臂能準確到達光學視覺系統所感測到的位置。
在習知的手眼校正技術中,手眼校正的流程與機械手臂工作的流程是個別進行的。在工作開始前,藉由人工的方式,在工作區域中擺放校正板,並且使機械手臂移動多個姿態,搭配相機取像,並進行計算機械手臂座標與相機座標之間關連性的演算法,待校正完成後才開始工作。然而,當工作的變化性提高,機器人經常需要執行手眼校正,這種作法會使機器人頻繁停止作業,大幅度降低工作效能;另一方面,若是工作區域中沒有空間放置校正板或是環境較為髒污,也不適合利用放置校正板的方式進行手眼校正。此外,在習知的手眼校正技術中,機械手臂移動的多個姿態是經由人工試出,過程相當耗時。
隨著機器人技術之進步,機器人系統逐漸發展為多手臂的複雜系統,且為了增加相機可視範圍以應付擴增的機器人工作空間,相機不再是固定不動,相機與手臂之間的座標轉換關係更是經常需要進行校正。因此,如何縮短手眼校正所需的時間並提升手眼校正的即時性,是相關領域中所欲達成的目標。
本揭示內容提供一種機器人及機器人手眼校正方法,藉由將校正圖像設置於機械手臂上,且藉由處理器記錄校正圖像朝目標物移動路徑的機械手臂座標資料以及相機座標資料,並使用機械手臂座標資料以及相機座標資料執行手眼校正演算法,可縮短手眼校正所需的時間並提升手眼校正的即時性。
依據本揭示內容一實施方式提供一種機器人,適於與一目標物互動,且包含機械手臂、校正圖像、相機以及處理器。機械手臂對應於機械手臂座標。校正圖像設置於機械手臂上。相機對應於相機座標,相機用以拍攝目標物並產生影像畫面。處理器配置以移動機械手臂,使校正圖像朝目標物移動並進入影像畫面,且處理器記錄校正圖像朝目標物移動路徑的機械手臂座標資料以及相機座標資料,使用機械手臂座標資料以及相機座標資料執行手眼校正演算法,以取得經校正之相機座標與機械手臂座標間的對應關係。
依據前述實施方式的機器人,其中處理器更包含視覺伺服器,其中處理器配置以控制相機轉動,使相機環視目標物所在的工作區域,以使校正圖像及目標物進入影像畫面,視覺伺服器根據影像畫面,定位並記錄校正圖像在工作區域中的校正圖像角度以及目標物在工作區域中的目標物角度,處理器根據校正圖像角度,控制相機旋轉而看向校正圖像,並控制相機朝目標物角度旋轉,視覺伺服器控制機械手臂根據相機旋轉的方向移動,使校正圖像維持在影像畫面中。
依據前述實施方式的機器人,其中視覺伺服器配置以判斷目標物是否位於影像畫面的中心區域,若判斷目標物位於影像畫面的中心區域,則處理器控制機械手臂移動,使校正圖像朝目標物移動;若判斷目標物不位於影像畫面的中心區域,則視覺伺服器繼續控制機械手臂移動,使校正圖像維持在影像畫面中。
依據前述實施方式的機器人,其中處理器根據目標物的尺寸設定距離閾值,且處理器根據距離閾值判斷校正圖像是否靠近目標物,若判斷校正圖像靠近目標物,則使用機械手臂座標資料以及相機座標資料執行手眼校正演算法,以取得經校正之相機座標與機械手臂座標間的對應關係。
依據前述實施方式的機器人,其中機械手臂包含法蘭轉接環,校正圖像設置於法蘭轉接環的表面上。
依據前述實施方式的機器人,其中校正圖像包含四校正圖案,設置於法蘭轉接環的四個面,各校正圖案具有指向性。
依據本揭示內容一實施方式提供一種機器人手眼校正方法,包含機械手臂移動步驟、相機轉動步驟、資料記錄步驟以及手眼校正演算步驟。在機械手臂移動步驟中,移動機械手臂,使機械手臂上的校正圖像朝目標物移動,其中機械手臂對應於機械手臂座標。在相機轉動步驟中,轉動相機,使目標物進入相機的影像畫面,其中相機對應於相機座標。在資料記錄步驟中,處理器記錄校正圖像朝目標物移動路徑的機械手臂座標資料以及相機座標資料。在手眼校正演算步驟中,處理器使用機械手臂座標資料以及相機座標資料執行手眼校正演算法,以取得經校正之相機座標與機械手臂座標間的對應關係。
依據前述實施方式的機器人手眼校正方法,更包含定位步驟。在定位步驟中,相機環視目標物所在的工作區域,以使校正圖像及目標物進入影像畫面,根據影像畫面,定位並記錄校正圖像在工作區域中的校正圖像角度以及目標物在工作區域中的目標物角度。其中,在相機轉動步驟中,相機根據校正圖像角度旋轉,使校正圖像移動至影像畫面中之後,相機朝目標物角度旋轉,且機械手臂根據相機旋轉的方向移動,使校正圖像維持在影像畫面中。
依據前述實施方式的機器人手眼校正方法,更包含位置判斷步驟,處理器判斷目標物是否位於影像畫面的中心區域,若判斷目標物位於影像畫面的中心區域,則進行機械手臂移動步驟;若判斷目標物不位於影像畫面的中心區域,則繼續進行相機轉動步驟。
依據前述實施方式的機器人手眼校正方法,更包含距離判斷步驟,處理器判斷校正圖像是否靠近目標物,若校正圖像靠近目標物,則進行手眼校正演算步驟;若校正圖像不靠近目標物,則繼續資料記錄步驟。
依據前述實施方式的機器人手眼校正方法,其中機械手臂包含法蘭轉接環,校正圖像設置於法蘭轉接環的表面上。
請參照第1圖至第3圖。第1圖係繪示依照本揭示內容一實施例的機器人100的立體圖以及工作區域300及目標物200的示意圖。第2圖係繪示依照第1圖實施例的機器人100的系統方塊圖。第3圖係繪示依照第1圖實施例的機器人100的相機130的影像畫面P。由第1圖及第2圖可知,機器人100包含機械手臂110、校正圖像120、相機130以及處理器140。機器人100適於與工作區域300中的目標物200(在第1圖中為兩個目標物201、202)互動,例如機器人100可使用機械手臂110對目標物201或202進行夾取、加工、組裝等動作,但不以此為限。工作區域300例如可以是倉儲空間、產線作業站、工作桌等空間,但不以此為限。目標物201、202例如可以是倉儲物、工件、手工具等物品,但不以此為限。在第1圖中,以工作桌及其上方的空間示意為工作區域300,且以一個球狀物示意目標物201,以一個立方體示意目標物202,然在其他實施例中,目標物可以為一個或二個以上,且各目標物實際上可以是相同或不同的物品。第1圖中雖以目標物201、202放置於工作桌上為例,但在其他實施例中,目標物可以是懸空的,也可以處於非靜止狀態,例如相對於工作區域而上下左右移動。
在第1圖的實施例中,機械手臂110與相機130是設置於機器人100的身體支架150上,且機器人100包含兩個機械手臂110,使機器人100呈一人形機器人,但本揭示內容不限於此。機器人100的相機130用以拍攝目標物201、202並產生如第3圖所示的影像畫面P。在第3圖中,目標物201、202及校正圖像120同時位在相機130的拍攝範圍內,因此目標物201的影像201i、目標物202的影像202i及校正圖像120的影像120i同時位在影像畫面P中。但第3圖所示的影像畫面P僅只是相機130在一個時點所拍攝的畫面,在手眼校正過程中的各時點,相機130的拍攝範圍內可能只有目標物201、目標物202或校正圖像120中的其中一者或兩者,或者目標物201、目標物202及校正圖像120可能皆不在相機130的拍攝範圍內。處理器140電性連接機械手臂110及相機130,且配置以控制機械手臂110的運動。
在工作區域300中,機械手臂110及相機130各自對應於不同座標系。其中,機械手臂110對應於機械手臂座標{T},相機130對應於相機座標{C}。校正圖像120的設置是用以校正機械手臂座標{T}與相機座標{C}之間的轉換關係,使機械手臂110能夠據以移動而到達相機130所偵測到的目標物201或202的位置(即,目標物201或202在相機座標{C}中對應的座標),進而與目標物201或202互動。
在本實施例中,校正圖像120是設置於機械手臂110上。因此,在執行手眼校正時,處理器140控制機械手臂110朝目標物200移動,校正圖像120即相應地朝目標物200移動並進入影像畫面P。例如,當機械手臂110要抓取目標物201,則處理器140控制機械手臂110朝目標物201移動,校正圖像120即相應地朝目標物201移動並進入影像畫面P。處理器140記錄校正圖像120朝目標物201移動路徑的機械手臂座標資料以及相機座標資料,並使用機械手臂座標資料以及相機座標資料執行手眼校正演算法,以取得經校正之相機座標{C}與機械手臂座標{T}間的對應關係。藉由將校正圖像120設置於機械手臂110上,可節省機器人100為實現手眼校正而佔據的空間,並且不需額外進行放置及移除校正板的步驟,以實現隨時隨地皆可進行校正的功能,以提升手眼校正的即時性。校正圖像120朝目標物201的移動路徑能夠被機器人100自動生成,可節省人工調整手臂姿態以蒐集資料的時間。因此,藉由處理器140記錄校正圖像120朝目標物201移動路徑的機械手臂座標資料以及相機座標資料,並使用機械手臂座標資料以及相機座標資料執行手眼校正演算法,可以縮短機器人100進行手眼校正所需的時間。
詳細而言,處理器140還包含視覺伺服器142,且處理器140配置以控制相機130轉動。在執行手眼校正時,處理器140控制相機130轉動,使相機130環視目標物201、202所在的工作區域300,以使校正圖像120及目標物201、202輪流進入影像畫面(在相機130轉動過程中的一個時點例如是第3圖所示的影像畫面P),視覺伺服器142根據影像畫面,定位並記錄校正圖像120在工作區域300中的校正圖像角度以及目標物201、202在工作區域300中的目標物角度。校正圖像角度的定義方式例如是當相機130轉動至校正圖像120的影像120i位於影像畫面的中心區域A時,相機130相對於初始狀態所轉動的角度。中心區域A例如可定義為與影像畫面的中心點距離特定數目的畫素範圍內的區域。目標物角度的定義方式與校正圖像角度的定義方式類似。處理器140紀錄工作區域300中相關物體所在的角度後,處理器140根據校正圖像角度,控制相機130旋轉而看向校正圖像120,並控制相機130朝目標物角度旋轉,視覺伺服器142控制機械手臂110根據相機130旋轉的方向移動,使校正圖像120維持在影像畫面中。
舉例而言,當機械手臂110要抓取目標物201,處理器140先根據校正圖像角度,控制相機130旋轉而看向校正圖像120,並控制相機130朝目標物201的目標物角度旋轉,視覺伺服器142控制機械手臂110根據相機130旋轉的方向移動,使校正圖像120維持在影像畫面中。藉由相機130看向校正圖像120並且在機械手臂110朝目標物201移動的過程中,持續讓校正圖像120保持在相機130的拍攝範圍內,可以達到更精準的校正結果。在其他實施例中,相機可直接看向目標物而不須先看向校正圖案,並且讓視覺伺服器控制機械手臂使其進入影像畫面中,不以上述揭露內容為限。
無論是在工作流程開始之前的手眼校正,或是在後續的工作流程當中需要手眼校正(例如,當機械手臂110的互動對象要從一目標物201轉移至另一目標物202,或者當機器人100的各部件有位移而導致誤差時),不需要額外放置校正板,只要藉由視覺伺服器142自動生成一個機械手臂110及校正圖像120朝要互動的目標物201或202移動的路徑,以執行紀錄機械手臂座標資料以及相機座標資料並進行手眼校正演算法的流程即可。機器人100只需轉動相機130,並且移動機械手臂110,使校正圖像120及要進行互動的目標物200進入相機130的拍攝範圍,即可進行校正,而且校正完畢時機械手臂110已經位於要互動的目標物200附近,可以直接進行工作,而此過程是能夠完全被自動化的,並且可流暢地穿插在機器人100的工作流程中,不同於在習知技術中須額外由人工擺放校正板,可以節省手眼校正所需的時間。
在手眼校正的過程中,相機130本身的誤差、機械手臂110的絕對精度以及演算法的計算精度皆會影響相機座標{C}與機械手臂座標{T}之間轉換關係計算結果的精確度。由於一般的相機鏡頭具有畫面中心較準確而四周則會失真的特性,若欲達到更精確的校正結果,視覺伺服器142可配置以判斷要互動的目標物(例如目標物201)是否位於影像畫面的中心區域A,若判斷目標物201位於影像畫面的中心區域A,則處理器140控制機械手臂110移動,使校正圖像120朝目標物201移動,並記錄校正圖像120朝目標物201移動路徑的機械手臂座標資料及相機座標資料;若判斷目標物201不位於影像畫面的中心區域A,則視覺伺服器142繼續控制機械手臂110移動,使校正圖像120維持在影像畫面中。藉此,控制目標物201及校正圖像120位於相機130的拍攝範圍中心,除可消除相機130的鏡頭造成的誤差,亦可以降低機械手臂110的絕對精度對於校正結果產生的影響,因此可以達到較佳的手眼校正精確度。
此外,處理器140可根據要互動的目標物200的尺寸設定距離閾值,且處理器140根據距離閾值判斷校正圖像120是否靠近要互動的目標物200,若判斷校正圖像120靠近要互動的目標物200,則使用機械手臂座標資料以及相機座標資料執行手眼校正演算法,以取得經校正之相機座標{C}與機械手臂座標{T}間的對應關係。舉例而言,在校正圖像120朝目標物201移動的過程中,處理器140可根據相機130的影像畫面計算校正圖像120與目標物201之間的距離,並且判斷校正圖像120與目標物201之間的距離是否大於設定的距離閾值,若大於距離閾值則處理器140繼續控制校正圖像120朝目標物201移動;若小於或等於距離閾值,則使用機械手臂座標資料以及相機座標資料執行手眼校正演算法,以取得經校正之相機座標{C}與機械手臂座標{T}間的對應關係。由於手眼校正需在目標物200附近進行才能獲得較佳的精確度,而目標物200的尺寸越小,則機械手臂110需要越精確的校正。藉由處理器140根據目標物200的尺寸設定距離閾值,並根據距離閾值判斷校正圖像120是否靠近目標物200,可以依照所需的精確度控制校正的精確度,且藉由控制機械手臂110靠近目標物200,可降低機械手臂110的絕對誤差對手眼校正結果產生的影響,提高手眼校正的精確度。
本實施例使用的手眼校正演算法可例如為向量量化法(vector quantization approach)、雙四元數法(dualquaternions)、封閉解(closed form solution)、疊代法(iterative method)、疊代雙四元數法(iterative dual quaternion method)、粒子群最佳化(particle swarm optimization)、Levenberg–Marquardt演算法(Levenberg–Marquardt algorithm)、適應性網路模糊推論系統(adaptive artificial network based fuzzy interference system, ANFIS)、奇異值分解法(singular value decomposition)、四元數法(quaternions)等演算法,而上述方法亦可搭配使用。由於校正圖像120及目標物201、202的影像辨識,以及控制機械手臂110及相機130於移動過程中使校正圖像120保持在影像畫面中的動作,皆可利用視覺伺服技術中習知的方案來達成,而如何記錄校正圖像120朝目標物201移動路徑的機械手臂座標資料及相機座標資料,亦可使用習知技術方案,且非本揭示內容改良之重點,在此不再贅述。
請繼續參照第1圖。本揭示內容的機械手臂110可例如為五軸機械手臂、六軸機械手臂、七軸機械手臂等串聯式機械手臂,但不以此為限。在第1圖的實施例中,機械手臂110包含法蘭轉接環112、夾爪114、前擺臂116、上擺臂117、後擺臂118以及旋臂119。其中,法蘭轉接環112連接於夾爪114與前擺臂116之間,且校正圖像120設置於法蘭轉接環112的表面上。在本揭示內容未繪示的其他實施例中,法蘭轉接環亦可連接於前擺臂與上擺臂之間、上擺臂與後擺臂之間或後擺臂與旋臂之間,並且將校正圖像設置在法蘭轉接環上。或者,亦可不藉由法蘭轉接環,而直接透過例如印刷、黏貼等方式,將校正圖像設置於機械手臂上。由於機械手臂110的作動原理為習知且非本揭示內容改良之重點,因此不再贅述。
請參照第4圖。以下詳述本實施例的法蘭轉接環112及校正圖像120。第4圖係繪示依照第1圖實施例的法蘭轉接環112的立體圖。由第4圖可知,法蘭轉接環112概呈一六面體,其包含相對的兩個安裝面1122以及連接兩個安裝面1122的四個側面1124。兩個安裝面1122分別用以安裝夾爪114及前擺臂116。校正圖像120設置於四個側面1124上。在本實施例中,校正圖像120包含四個校正圖案,四個校正圖案分別設置於法蘭轉接環112的四個側面1124上。四個校正圖案包含校正圖案121、122以及位於法蘭轉接環112被遮蔽的兩個側面1124上而未繪示出的兩個校正圖案。其中,校正圖案121、122為具有指向性的二維圖樣,例如可選自AprilTag標籤二維圖樣,但不以此為限。雖本實施例中的法蘭轉接環112呈六面體形態,並具有四個設置校正圖像120的側面,但在本揭示內容未繪示的其他實施例中,法蘭轉接環可呈其他的形態,例如可具有三個側面、五個側面、六個側面等多個側面,亦可呈圓環形、不規則形等立體的多面體。藉由將法蘭轉接環112設置為立體的多面體結構,並且將校正圖案121、122設置於法蘭轉接環112上,使校正圖案121、122在機械手臂110移動的過程中不易被完全遮蔽,可提高手眼校正的成功率。
請參照第1圖至第3圖、第5圖及第6圖。第5圖係繪示依照本揭示內容一實施例的機器人手眼校正方法400的方塊流程圖,第6圖係繪示依照第5圖實施例的機器人手眼校正方法400的步驟流程圖。由第5圖及第6圖可知,機器人手眼校正方法400包含定位步驟401、相機轉動步驟402、位置判斷步驟403、機械手臂移動步驟404、資料記錄步驟405、距離判斷步驟406以及手眼校正演算步驟407。詳細而言,機器人手眼校正方法400的步驟包含步驟S01至步驟S11。
定位步驟401可包含步驟S01及步驟S02。在步驟S01中,相機130環視目標物201、202所在的工作區域300,以使校正圖像120及目標物201、202進入影像畫面。在步驟S02中,處理器140根據影像畫面,定位並記錄校正圖像120在工作區域300中的校正圖像角度以及目標物201、202在工作區域300中的目標物角度。
相機轉動步驟402可包含步驟S03、步驟S04及步驟S06。在步驟S04中,轉動相機130,使目標物200進入相機130的影像畫面,其中相機130對應於相機座標{C}。例如,要互動的對象為目標物201,則轉動相機130,使目標物201進入相機130的影像畫面。為達到更精準的手眼校正結果,在步驟S04之前,可執行步驟S03,控制相機130根據校正圖像角度旋轉,使校正圖像120移動至影像畫面中之後,再同時執行步驟S04及步驟S06,控制相機130朝目標物角度旋轉,且機械手臂根據相機130旋轉的方向移動,使校正圖像120維持在影像畫面中。如此,在轉動相機130使目標物201進入相機130的影像畫面的過程中,校正圖像120持續位於影像畫面中,可提高手眼校正的精度。
位置判斷步驟403包含步驟S05,其中處理器140判斷目標物201是否位於影像畫面的中心區域A,若判斷目標物201位於影像畫面的中心區域A,則進行機械手臂移動步驟404;若判斷目標物201不位於影像畫面的中心區域A,則繼續進行相機轉動步驟402的步驟S04及步驟S06。
機械手臂移動步驟404包含步驟S07,其中處理器140控制機械手臂110移動,使機械手臂110上的校正圖像120朝目標物201移動,其中機械手臂110對應於機械手臂座標{T}。
資料記錄步驟405包含步驟S09,其中處理器140記錄校正圖像120朝目標物201移動路徑的機械手臂座標資料以及相機座標資料。並請注意,於步驟S07中,亦隨時記錄移動中的機械手臂座標資料以及相機座標資料。
距離判斷步驟406包含步驟S08,其中處理器140判斷校正圖像120是否靠近目標物201,若校正圖像120靠近目標物201,則進行手眼校正演算步驟407;若校正圖像120不靠近目標物201,則繼續資料記錄步驟405。
手眼校正演算步驟407包含步驟S10,其中處理器140使用機械手臂座標資料以及相機座標資料執行手眼校正演算法,以取得經校正之相機座標{C}與機械手臂座標{T}間的對應關係。之後,即可進行步驟S11,使機械手臂110開始執行任務,如夾取、加工、組裝等。
在機器人手眼校正方法400中,藉由將校正圖像120設置於機械手臂110上,使校正圖像120隨著機械手臂110移動,在需要重新校正時,能夠即刻進行校正流程,實現隨時隨地皆可校正的功能。此外,藉由將校正圖像120設置於機械手臂110上,並且跟著相機130而移動,校正圖像120及目標物200在資料收集的過程中可保持位於影像畫面的中心區域A附近,使機械手臂110以及相機130的誤差皆能最小化,節省單獨校正手臂誤差以及單獨校正相機誤差的程序。再者,藉由視覺伺服器142的設置,使機器人100能夠自主產生校正路徑,收集多組資料以供手眼校正演算法計算。當完成手眼校正時,機械手臂110已位於目標物200旁邊,可以直接進行機械手臂110的後續任務作業,提升手眼校正的效率。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何熟習此技藝者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100:機器人
110:機械手臂
112:法蘭轉接環
1122:安裝面
1124:側面
114:夾爪
116:前擺臂
117:上擺臂
118:後擺臂
119:旋臂
120:校正圖像
120i,201i,202i:影像
121,122:校正圖案
130:相機
140:處理器
142:視覺伺服器
150:身體支架
200,201,202:目標物
300:工作區域
400:機器人手眼校正方法
401:定位步驟
402:相機轉動步驟
403:位置判斷步驟
404:機械手臂移動步驟
405:資料記錄步驟
406:距離判斷步驟
407:手眼校正演算步驟
A:中心區域
P:影像畫面
S01,S02,S03,S04,S05,S06,S07,S08,S09,S10,S11:步驟
{C}:相機座標
{T}:機械手臂座標
第1圖係繪示依照本揭示內容一實施例的機器人的立體圖以及工作區域及目標物的示意圖; 第2圖係繪示依照第1圖實施例的機器人的系統方塊圖; 第3圖係繪示依照第1圖實施例的機器人的相機的影像畫面; 第4圖係繪示依照第1圖實施例的法蘭轉接環的立體圖; 第5圖係繪示依照本揭示內容一實施例的機器人手眼校正方法的方塊流程圖;以及 第6圖係繪示依照第5圖實施例的機器人手眼校正方法的步驟流程圖。
100:機器人
110:機械手臂
112:法蘭轉接環
114:夾爪
116:前擺臂
117:上擺臂
118:後擺臂
119:旋臂
120:校正圖像
130:相機
150:身體支架
200,201,202:目標物
300:工作區域
{C}:相機座標
{T}:機械手臂座標

Claims (9)

  1. 一種機器人,適於與一目標物互動,且包含:一機械手臂,對應於一機械手臂座標;一校正圖像,設置於該機械手臂上;一相機,對應於一相機座標,該相機用以拍攝該目標物並產生一影像畫面;以及一處理器,配置以移動該機械手臂,使該校正圖像朝該目標物移動並進入該影像畫面,且該處理器記錄該校正圖像朝該目標物移動路徑的一機械手臂座標資料以及一相機座標資料,使用該機械手臂座標資料以及該相機座標資料執行一手眼校正演算法,以取得經校正之該相機座標與該機械手臂座標間的對應關係,該處理器更包含一視覺伺服器,其中該處理器配置以控制該相機轉動,使該相機環視該目標物所在的一工作區域,以使該校正圖像及該目標物進入該影像畫面,該視覺伺服器根據該影像畫面,定位並記錄該校正圖像在該工作區域中的一校正圖像角度以及該目標物在該工作區域中的一目標物角度,該處理器根據該校正圖像角度,控制該相機旋轉而看向該校正圖像,並控制該相機朝該目標物角度旋轉,該視覺伺服器控制該機械手臂根據該相機旋轉的方向移動,使該校正圖像維持在該影像畫面中。
  2. 如請求項1所述之機器人,其中該視覺伺服器配置以判斷該目標物是否位於該影像畫面的一中心區域, 若判斷該目標物位於該影像畫面的該中心區域,則該處理器控制該機械手臂移動,使該校正圖像朝該目標物移動;若判斷該目標物不位於該影像畫面的該中心區域,則該視覺伺服器繼續控制該機械手臂移動,使該校正圖像維持在該影像畫面中。
  3. 如請求項1所述之機器人,其中該處理器根據該目標物的尺寸設定一距離閾值,且該處理器根據該距離閾值判斷該校正圖像是否靠近該目標物,若判斷該校正圖像靠近該目標物,則使用該機械手臂座標資料以及該相機座標資料執行該手眼校正演算法,以取得經校正之該相機座標與該機械手臂座標間的對應關係。
  4. 如請求項1所述之機器人,其中該機械手臂包含一法蘭轉接環,該校正圖像設置於該法蘭轉接環的表面上。
  5. 如請求項4所述之機器人,其中該校正圖像包含四校正圖案,設置於該法蘭轉接環的四個面,各該校正圖案具有指向性。
  6. 一種機器人手眼校正方法,包含:一機械手臂移動步驟,移動一機械手臂,使該機械手臂上的一校正圖像朝一目標物移動,其中該機械手臂對應於 一機械手臂座標;一相機轉動步驟,轉動一相機,使該目標物進入該相機的一影像畫面,其中該相機對應於一相機座標;一資料記錄步驟,一處理器記錄該校正圖像朝該目標物移動路徑的一機械手臂座標資料以及一相機座標資料;一手眼校正演算步驟,該處理器使用該機械手臂座標資料以及該相機座標資料執行一手眼校正演算法,以取得經校正之該相機座標與該機械手臂座標間的對應關係;以及一距離判斷步驟,該處理器判斷該校正圖像是否靠近該目標物,若該校正圖像靠近該目標物,則進行該手眼校正演算步驟;若該校正圖像不靠近該目標物,則繼續該資料記錄步驟。
  7. 如請求項6所述之機器人手眼校正方法,更包含:一定位步驟,該相機環視該目標物所在的一工作區域,以使該校正圖像及該目標物進入該影像畫面,根據該影像畫面,定位並記錄該校正圖像在該工作區域中的一校正圖像角度以及該目標物在該工作區域中的一目標物角度;其中,在該相機轉動步驟中,該相機根據該校正圖像角度旋轉,使該校正圖像移動至該影像畫面中之後,該相機朝該目標物角度旋轉,且該機械手臂根據該相機旋轉的方向移動,使該校正圖像維持在該影像畫面中。
  8. 如請求項7所述之機器人手眼校正方法,更包含:一位置判斷步驟,該處理器判斷該目標物是否位於該影像畫面的一中心區域,若判斷該目標物位於該影像畫面的該中心區域,則進行該機械手臂移動步驟;若判斷該目標物不位於該影像畫面的該中心區域,則繼續進行該相機轉動步驟。
  9. 如請求項6所述之機器人手眼校正方法,其中該機械手臂包含一法蘭轉接環,該校正圖像設置於該法蘭轉接環的表面上。
TW111124615A 2022-06-30 2022-06-30 機器人及機器人手眼校正方法 TWI799310B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW111124615A TWI799310B (zh) 2022-06-30 2022-06-30 機器人及機器人手眼校正方法
US18/048,862 US20240001557A1 (en) 2022-06-30 2022-10-24 Robot and robot hand-eye calibrating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111124615A TWI799310B (zh) 2022-06-30 2022-06-30 機器人及機器人手眼校正方法

Publications (2)

Publication Number Publication Date
TWI799310B true TWI799310B (zh) 2023-04-11
TW202402492A TW202402492A (zh) 2024-01-16

Family

ID=86948716

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111124615A TWI799310B (zh) 2022-06-30 2022-06-30 機器人及機器人手眼校正方法

Country Status (2)

Country Link
US (1) US20240001557A1 (zh)
TW (1) TWI799310B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117901142B (zh) * 2024-03-15 2024-06-04 陇东学院 基于超声波机器人的特种加工方法及相关产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103209809A (zh) * 2010-05-14 2013-07-17 康耐视公司 用于机器视觉***和机器人之间的稳健校准的***和方法
CN104511900A (zh) * 2013-09-26 2015-04-15 佳能株式会社 机器人校准装置及校准方法、机器人装置及其控制方法
CN112975973A (zh) * 2021-03-02 2021-06-18 中山大学 一种应用于柔性机器人的混合标定方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103209809A (zh) * 2010-05-14 2013-07-17 康耐视公司 用于机器视觉***和机器人之间的稳健校准的***和方法
CN104511900A (zh) * 2013-09-26 2015-04-15 佳能株式会社 机器人校准装置及校准方法、机器人装置及其控制方法
CN112975973A (zh) * 2021-03-02 2021-06-18 中山大学 一种应用于柔性机器人的混合标定方法及装置

Also Published As

Publication number Publication date
TW202402492A (zh) 2024-01-16
US20240001557A1 (en) 2024-01-04

Similar Documents

Publication Publication Date Title
JP6966582B2 (ja) ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法
CN111331592B (zh) 机械手臂工具中心点校正装置及其方法以及机械手臂***
US11207781B2 (en) Method for industrial robot commissioning, industrial robot system and control system using the same
TWI650626B (zh) 基於三維影像之機械手臂加工方法及系統
US11254019B2 (en) Automatic calibration for a robot optical sensor
US9519736B2 (en) Data generation device for vision sensor and detection simulation system
CN109227532B (zh) 机器人的控制装置及其***、机器人及摄像机的校正方法
CN109591011B (zh) 复合材料三维结构件单边缝合激光视觉路径自动跟踪方法
CN111300481B (zh) 基于视觉及激光传感器的机器人抓取位姿纠正方法
JP6429473B2 (ja) ロボットシステム、ロボットシステムの校正方法、プログラム、およびコンピュータ読み取り可能な記録媒体
US8095237B2 (en) Method and apparatus for single image 3D vision guided robotics
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
CN111369625B (zh) 定位方法、装置和存储介质
JPH0435885A (ja) 視覚センサのキャリブレーション方法
CN112621743B (zh) 机器人及其相机固定于末端的手眼标定方法及存储介质
TWI799310B (zh) 機器人及機器人手眼校正方法
US20220395981A1 (en) System and method for improving accuracy of 3d eye-to-hand coordination of a robotic system
CN113500593A (zh) 一种抓取轴类工件指定部位进行上料的方法
CN116766194A (zh) 基于双目视觉的盘类工件定位与抓取***和方法
CN110533727B (zh) 一种基于单个工业相机的机器人自定位方法
CN116749233A (zh) 基于视觉伺服的机械臂抓取***及方法
TWI617405B (zh) Correction method for robot arm correction system
US20200376678A1 (en) Visual servo system
CN109664273A (zh) 一种工业机器人光标拖动示教方法及***
WO2024048491A1 (ja) ロボットシステム、および、ロボットシステムの制御方法