TW202333919A - 控制多個機器人以協同地拾取及放置物品 - Google Patents

控制多個機器人以協同地拾取及放置物品 Download PDF

Info

Publication number
TW202333919A
TW202333919A TW111141387A TW111141387A TW202333919A TW 202333919 A TW202333919 A TW 202333919A TW 111141387 A TW111141387 A TW 111141387A TW 111141387 A TW111141387 A TW 111141387A TW 202333919 A TW202333919 A TW 202333919A
Authority
TW
Taiwan
Prior art keywords
robotic arm
pick
robot
place
cooperatively
Prior art date
Application number
TW111141387A
Other languages
English (en)
Inventor
周文 孫
羅漢 庫爾卡尼
唐寧 塔爾伯特 莫里斯
哈利 哲 蘇
薩米爾 梅農
凱文 何塞 查韋斯
羅伯特 霍姆伯格
阿爾貝托 萊瓦 阿爾瓦約
托比 倫納德 貝克
Original Assignee
美商靈巧公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商靈巧公司 filed Critical 美商靈巧公司
Publication of TW202333919A publication Critical patent/TW202333919A/zh

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1682—Dual arm manipulator; Coordination of several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0084—Programme-controlled manipulators comprising a plurality of manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/082—Grasping-force detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085—Force or torque sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39109—Dual arm, multiarm manipulation, object handled in cooperation

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

本發明揭示一種用於控制多個機器人以協同地拾取及放置物件之機器人系統。在各種實施例中，該機器人系統包含：一第一機械臂，其具有一第一末端執行器；一第二機械臂，其具有一第二末端執行器；及一控制電腦，其經構形以使用該第一機械臂及該第二機械臂來拾取及放置複數個物件，包含藉由使用該第一機械臂及該第二機械臂協同地工作來拾取及放置該等物件之一或多者。

Description

控制多個機器人以協同地拾取及放置物品
本申請案係關於控制多個機器人以協同地拾取及放置物品。
已提供機器人以執行多種任務，諸如操縱物件。例如，具有一末端執行器之一機械臂可用於拾取及放置物品。此等機器人之商業應用之實例包含分類、套組、碼垛、卸垛、卡車或集裝箱子裝載及卸載等。
在一些上下文中，待處置之物件在大小、重量、封裝及其他屬性方面具有相當變化。通常，一機械臂經設計以處置一最大尺寸、重量等之物件。在一些上下文中，習知方法可需要能夠處置可需要處置之最大、最重及/或其他最困難物件之一機械臂。
本發明揭示一種用於協調及控制多個機器人之使用以協同地拾取及放置一封裝之系統。在各種實施例中，如本文所揭示之一系統可具有以下技術特徵之一或多者： ·系統偵測應協同地拾取之物件 ·整合電腦視覺系統，其用於識別障礙物且優先化自一堆疊拾取封裝以實現安全協同運動。 ·由多個機器人協調拾取一單一物件之計劃及執行。 ·允許機器人協同以一安全、控制方式提升及放置物件之控制架構。 ·機器人能夠在協同任務之外進行獨立行為。
在各種實施例中，多個機械臂用於協同地拾取及放置一單一封裝。在一些實施例中，一機器人分隔(或其他拾取/放置)系統偵測到應使用兩個或兩個以上機器人協同地拾取物件，例如歸因於物件之大小、重量、先前故障之拾取嘗試、視覺分類及/或物件與個別機器人抓持器之間的功能特性失配。
在各種實施例中，當兩個機器人停止獨立拾取時，系統決定如何最佳地拾取物件以確保抓取點在機器人可觸及之範圍內及物件之相對側上。機器人清除可阻擋機器人拾取所要封裝之任何周圍封裝。機器人獨立計劃路徑以到達物件之任一側上之拾取位置。一旦兩者均在適當位置，領導機器人即開始向後移動，且跟隨機器人維持其與領導機器人之相對位置/定向，同時亦使用力控制來維持與箱子之接觸，其允許機器人協同地提升及移動重型或超大物件。
在各種實施例中實施之額外技術包含(但不限於)以下之一或多者： ·觸覺操縱以增強物件之不可見部分：為確保多個機器人可在相同物件上找到一無碰撞拾取，有時機器人之一者必須在機器人不可見之物件側上拾取。在一些實施例中，來自抓持器之觸覺感知用於盲目地探索物件之背面以找至到一穩定及無碰撞之拾取位置。 ·推動以改良物件之可見性且改良抓取穩定性：有時並非所有物件之側均可見於機器人以實現協同拾取，機器人需要重新配置物件之位置/定向以揭示多個機器人之可拾取位置。此重新配置可透過使用一個機器人或多個機器人推動來完成以識別更穩定之抓取點。 ·多個機器人之間的碰撞避免：多個機器人運動應以一無碰撞方式以及其與其對應環境協調。
其他申請案之交叉參考 本申請案主張2021年11月1日申請之名稱為「CONTROLLING MULTIPLE ROBOTS TO COOPERATIVELY PICK AND PLACE ITEMS」之美國臨時專利申請案第63/274,465號之優先權，該案為了所有目的以引用的方式併入本文中。
本發明可以多種方式實施，包含作為一程序；一設備；一系統；一物質之組成；體現在一電腦可讀儲存媒體上之一電腦程式產品；及/或一處理器，諸如經構形以執行儲存在耦合至處理器之一記憶體上及/或由該記憶體提供之指令之一處理器。在本說明書中，此等實施方案或本發明可採取之任何其他形式可指稱技術。一般而言，在本發明之範疇內可更改所揭示之程序之步驟之順序。除非另有說明，否則描述為經構形以執行一任務之一組件(諸如一處理器或一記憶體)可實施為經臨時構形以在一給定時間內執行任務之一一般組件或經製造以執行任務之一特定組件。如本文所使用，術語「處理器」係指經構形以處理資料(諸如電腦程式指令)之一或多個裝置、電路及/或處理核心。
下文提供本發明之一或多個實施例之一詳細描述連同繪示本發明之原理之附圖。連同此等實施例一起描述本發明，但本發明不受限於任何實施例。本發明之範疇僅由申請專利範圍界定且本發明涵蓋多種替代方案、修改及等效物。在以下描述中闡述多種具體細節以提供對本發明之一徹底理解。此等細節係為了實例之目的而提供且可根據申請專利範圍實踐本發明而不需要一些或所有此等具體細節。為了清楚起見，尚未詳細描述在與本發明相關之技術領域中已知之技術材料使得未不必要地致使本發明不清楚。
圖1係繪示經構形以控制複數個機器人協同執行一任務的一機器人系統之一實施例之一方塊圖。在圖中所展示之實例中，系統及環境100包含配備一吸入型末端執行器104之一第一機械臂102及配備一吸入型末端執行器108之一第二機械臂106。在圖中所展示之狀態中，機械臂102及機械臂106經定位以相對於一大箱子110協同執行一拾取及放置任務。一控制電腦112經構形以與工作空間中之機械臂102、機械臂106及一或多個攝影機或其他感測器114之一或多者無線通信。自攝影機114接收之影像資料(例如)可由控制電腦112使用以產生工作空間之一三維視圖且在適當時將命令及資訊發送至機械臂102及機械臂106以促進協同拾取及放置任務。
圖2A至圖2C繪示在如本文所揭示之一機器人系統之一實施例中執行之一協同拾取及放置任務之一實例。在圖中所展示實例中，在圖2A中，具有吸入型末端執行器204之機械臂202及具有吸入型末端執行器208之機械臂206經定位以開始協同執行相對於大箱子210之一拾取及放置任務，類似於圖1中所展示之開始狀態。在各種實施例中，如本文所揭示，在一協同拾取及放置中，機械臂202可為「領導者」且機械臂206可為「跟隨者」。可藉由任何適合方法選擇「領導者」，諸如藉由將「領導者」角色指派至起始協同任務之機器人、藉由將角色隨機指派至參與機器人之一或另一者、藉由一「選舉」或其他選擇方法。
為起始操作，在各種實施例中，作為「領導者」，機械臂202將其末端執行器204移動至圖中所展示位置且接著(例如)藉由將末端執行器204移動至與箱子210之側接觸或幾乎接觸之一位置中且施加吸力來抓取箱子210。可將一信號發送至另一機器人(及/或控制另一機器人之一程序)以指示領導者已完成其抓取。跟隨者(例如本實例中之機械臂206)接著將(例如)在與領導者(即，機械臂202)已抓取箱子之側相對之一側抓取箱子210。跟隨者將基於領導者之末端執行器204之位置及定向及箱子210之相關尺寸記錄一變換。例如，視覺系統及/或其他感測器可用於量測尺寸，或辨識箱子210 (例如具體而言及/或按類型)且使用物品及/或類型資訊來判定尺寸(例如，藉由查找)。
如圖2B中所展示，一旦兩個機器人(202、206)已抓取箱子210。領導者(在此實例中，機械臂202)獨立於跟隨者機械臂206計算且沿由機械臂202 (及/或與之相關聯之一控制程序)判定之一軌跡移動箱子。在各種實施例中，跟隨者機器人(在此實例中，機械臂206)接收(例如週期性地、連續地等)領導者機械臂202之末端執行器204之位置及定向資訊。跟隨者機械臂206 (及/或與其相關聯之一控制程序)使用領導者機器人(202、204)之位置及定向資訊及先前判定及記錄之變換來計算跟隨者之末端執行器208之一新目標位置及定向且視需要計算且將扭矩施加於包括機械臂206之馬達以最小化跟隨者之末端執行器208之當前位置及定向與(最近更新)目標之間的誤差(差異)。
一旦物件(箱子210)已放置於目的地位置中，如(例如)圖2C中所展示，領導者機器人(機械臂202)釋放其抓取且告知跟隨者拾取及放置任務已完成。作為回應，跟隨者(機械臂206)釋放其抓取且兩個機器人(202、206)自由執行其他工作，諸如(返回)獨立地拾取及放置較小/較輕物件及/或協同執行另一較大或較重物件之一下一拾取及放置任務。
圖3係繪示一機器人控制系統之一實施例之一方塊圖。在各種實施例中，圖3之機器人控制系統302包含或包含於圖1之控制電腦112中。在各種實施例中，包括圖3之機器人控制系統302之一或多個模組或子系統可跨多個計算節點分佈，諸如包括圖1之控制電腦112、機械臂102及/或機械臂106之電腦及/或處理器。
在圖中所展示之實例中，機器人控制系統302包含一階層式計劃器、調度器及/或包括經構形以促進由兩個或兩個以上機器人協同執行任務之一機器人協同促進模組304 (如本文所揭示)及機器人特定控制器306及308之控制模組。例如，機器人1控制器306可與圖1之機械臂102及/或圖2A至圖2C之機械臂202相關聯，而機器人2控制器308可與圖2之機械臂106及/或圖2A至圖2C之機械臂206相關聯。
在各種實施例中，分別與機器人1控制器306及機器人2控制器308相關聯之各自機器人可獨立操作(例如)以拾取及放置機器人能夠單獨處置之物件。在各種實施例中，使用兩個或兩個以上機器人之協同任務可藉由機器人1控制器306與機器人2控制器308之間發送之通信之一或多者來起始及/或執行；(一方面)機器人協同促進模組304與(另一方面)各自機器人1控制器306及機器人2控制器308之間的雙邊通信；及/或所有三個(或三個以上)實體之間的通信。
在圖中所展示之實例中，機器人控制系統302進一步包含一電腦視覺子系統310，經構形以自一或多個3D攝影機及/或其他感測器(諸如圖1之攝影機114)接收影像及深度資料，且使用所接收之資料產生及/或更新工作空間之一三維視圖。電腦視覺子系統310之輸出可提供至機器人協同促進模組304、機器人1控制器306及機器人2控制器308之一或多者以使其等能夠起始及協同執行一任務以拾取及放置一物品。例如，影像資料可用於判定箱子或其他物件對於一單一機器人太大及/或太重而無法拾取及放置。工作空間及其內之物件之三維視圖亦可用於(例如)判定各機器人之各自抓取策略及/或位置、判定將各機器人之末端執行器移動至其對應拾取位置之無碰撞軌跡且判定透過其將物件協同移動至其待放置之目的地位置之一無碰撞軌跡。
圖4係繪示經構形以控制複數個機器人協同執行一任務的一機器人系統之一實施例之一狀態圖。在各種實施例中，圖4之狀態圖400可由經構形以使用兩個或兩個以上機器人協同執行一操作之一機器人來實施及/或相對於該機器人實施。在一些實施例中，圖4之狀態圖400可由圖1之控制電腦112及/或圖3之機器人協同促進模組304、機器人1控制器306及機器人2控制器308之一或多者實施。
在圖中所展示實例中，在狀態402中，一機器人獨立工作以執行任務。例如，機器人可獨立拾取及放置物品(諸如)以在一套組操作中填充一箱子或其他容器、在一分類操作中將物品放置於一傳送帶或其他運輸工具上，在一托板上堆疊物品等。在接收需要幫助以執行一任務之一指示(404)之後(諸如已感知且需要拾取及放置之一物品太大而無法抓取且與一個機器人一起移動之一指示)，機器人及/或控制器即轉變至其中起始協同執行任務之一狀態406。例如，可將一通信發送至另一機器人(例如自圖3之機器人1控制器306至機器人2控制器308)或發送至一更高層級之計劃器/調度器(例如圖3之機器協同促進模組304)，或更高層級計劃器/調度器可認識到協同執行任務之需要且可起始至狀態406之轉變。
在圖中所展示實例中，機器人及/或控制器可經由一「取消幫助」轉變408轉變回狀態402中之獨立工作。例如，機器人/控制器及/或一更高層級之計劃器/調度器可判定任務已由一或多個其他機器人執行及/或指派至一或多個其他機器人。
在一些實施例中，在「啟動協同」狀態406中，起始協同執行任務之機器人/控制器與一助手機器人直接或間接通信，例如藉由請求幫助。可指派另一機器人來幫助及/或可同意幫助。機器人可被指派及/或同意在一未來時間或在一未來條件(諸如完成助手機器人已開始之一任務及/或具有更高優先權之一任務)發生之後即幫助。例如，自大型或重型物件周圍清除其他物件以促進協同任務之一任務可具有一更高優先權且可因此首先完成。一旦助手機器人準備好執行協同任務，助手機器人即直接或間接地(例如經由一更高層級之計劃器/調度器，諸如圖3之機器人協同促進模組304)告知任務起始者助手機器人已準備號以提示至「開始協同」狀態412之一轉變410。助手可經由圖中所展示之實例中之「給予幫助」轉變414直接自狀態402中之獨立工作轉變至「開始協同」狀態412。
一旦所有參與機器人在「開始協同」狀態412準備好，即判定一「領導者」(若需要)且領導者轉變(416)至「做領導者」狀態418而跟隨者轉變(420)至「做跟隨者」狀態422。如在圖2A至圖2C中所繪示之實例中，在「做領導者」狀態418及「做跟隨者」狀態422中，領導者及(若干)跟隨者如本文所揭示般協同以協同執行任務(諸如)以拾取及放置一大型或重型物件。一旦任務已完成，領導者及(若干)跟隨者即轉變(424、426)回「獨立工作」狀態402且恢復獨立工作。
圖5A係繪示在如本文所揭示之一機器人系統之一實施例中作為一「領導者」機器人協同執行一任務的一程序之一實施例之一流程圖。在各種實施例中，圖5A之程序500可由與作為「領導者」參與由兩個或兩個億是機器人協同執行一任務之一機器人相關聯之一機器人控制器實施，如本文所揭示。
在圖中所展示實例中，在502處，接收以「領導者」之角色開始一協同任務(使用一或多個其他機器人)之一指示。例如，可接收協同執行一拾取及放置任務之一指示。在504處，領導者判定抓取物件之一位置且計劃一軌跡以將其末端執行器安全地移動至抓取物件之位置中且在506處，領導者沿該軌跡將其末端執行器移動至該抓取位置。在508處，領導者判定(獨立於任何其他機器人)將物件移動至一相關聯之目的地之一軌跡。例如，機器人之一模型及其運動學及影像及/或關於工作空間之其他資訊(例如構形資料、CAD檔案等)、物件之一或多個屬性(例如尺寸、剛度等)及影像/感測器資料可用於計劃軌跡。在510處，自(若干)「跟隨者」機器人接收機器人實施程序500以將協同(若干)跟隨者機器人準備開始任務之協同執行之一指示。作為回應，在512處，「領導者」機器人將其末端執行器(及領導者及跟隨者之關節抓取中之物件)沿領導者判定之軌跡移動至目的地。在514處，在將物件放置於目的地之後，領導者機器人即釋放其抓取且告知(若干)跟隨機器人任務已完成。在各種實施例中，領導者接著恢復獨立操作。
圖5B係繪示在如本文所揭示之一機器人系統之一實施例中作為一「跟隨者」機器人協同執行一任務的一程序之一實施例之一流程圖。在各種實施例中，圖5B之程序520可由與作為「跟隨者」參與由兩個或兩個以上機器人協同執行一任務之一機器人相關聯之一機器人控制器實施，如本文所揭示。
在圖中所展示實例中，在522處，接收開始與處於「跟隨者」角色之一或多個其他機器人協同執行一任務之一指示，如本文所揭示。在524處，跟隨者判定一抓取點-例如，與「領導者」已指示其將抓取物件之側相對之一側上之抓取點-且計劃一軌跡以移動至適當位置以在該點抓取物件。在526處，跟隨者將其末端執行器移動至經判定之抓取位置且(例如)回應於接收領導者已完成其抓取之一指示而抓取物件。在528處，接收領導者之末端執行器位置及定向資訊，且跟隨者使用此資訊連同關於物件之資訊(例如使領導者之末端執行器與跟隨者之末端執行器分離之維度中之物件之大小)且計算一變換。在各種實施例中，變換包括一矩陣或可應用於領導者之末端執行器(通常以領導者之參考框架表達)之其他數學構造以為跟隨者之末端執行器提供當末端執行器及夾持於其等之間的物件透過工作空間移動至物件待放置之目的地時將維持跟隨者之末端執行器相對於領導者之末端執行器之相對位置及定向之一對應位置及定向。在530處，跟隨者機器人告知領導者跟隨者「準備好」(例如跟隨者已抓取物件，計算變換，且準備好維持其末端執行器相對於(例如相反)領導者之末端執行器之位置。
在532處，當領導者機器人開始沿由領導者獨立判定之軌跡移動時，跟隨者使用其計算之變換且當領導者之末端執行器透過工作空間移動時連續接收其位置及定向資訊。例如，對於領導者之末端執行器之所接收之位置及/或定向之至少一子集中之各者，跟隨者計算其自身之末端執行器之一新目標位置及/或定向且將如判定為最小化其末端執行器之當前位置及/或定向與當前目標之間的誤差(例如差異)所需之扭矩施加於其馬達。
在534處，跟隨者接收(例如自領導者)協同任務「完成」之一指示，跟隨者回應於該指示釋放其抓取且程序520結束。
在各種實施例中，本文所揭示之技術用於協同地執行拾取及放置任務(例如)連同分隔/分類、套組、碼垛或卸垛及/或卡車或其他集裝箱子裝載或卸載。
圖6A係繪示經構形以使用兩個或兩個以上機器人協同地拾取及放置一物件之一機器人系統之一實施例之一圖式。在圖中所展示之實例中，系統及環境600A繪示本文在一分隔/分類操作之上下文中所揭示之技術之使用。具有變化大小、形狀及其他屬性之物品經由一入口運輸裝置602到達，諸如一重力進給斜槽或斜坡及/或一入口輸送帶或類似結構。在圖中所展示實例中，圖2A至圖2C之機器人202、206以一獨立操作模式用於自入口運輸裝置602拾取物品且將物品單獨放置於一輸送機604上。來自攝影機606之影像資料可用於產生工作空間之一三維視圖以使機器人202、206能夠識別及優先化目標物件、調配一計畫及策略來抓取一物件且拾取及放置該物件。
在各種實施例中，在圖6A中所展示之操作模式中，機器人202、206獨立但以一協同方式操作。例如，機器人202、206可交替地自入口運輸裝置602拾取及放置於輸送機604上。當一者(例如202)自入口運輸裝置602拾取時，另一者放置於輸送機604上，且反之亦然。
圖6B係繪示經構形以使用兩個或兩個以上機器人協同地拾取及放置一物件之一機器人系統之一實施例之一圖式。在圖6B中所展示之實例及狀態中，機器人202、206用於協同地拾取及放置已到達入口運輸裝置602之拾取區域之一大箱子。來自攝影機606之影像資料可用於偵測大箱子及/或判定(例如藉由查找)其重量及/或指示需要使用兩個機器人202、206以協同地拾取及放置箱子之其他屬性。
在各種實施例中，機器人202、206如本文所揭示般協同以拾取及放置大箱子。例如，機器人202可作為「領導者」機器人操作以實施圖5A之程序500，而機器人206充當「跟隨者」機器人以實施圖5B之程序520，且反之亦然。
一旦完成將圖6B中所展示之大箱子放置於輸送機604上，機器人202、206可恢復獨立操作，如上文所描述。
圖7係繪示使用兩個或兩個以上機器人協同地拾取及放置物件之一程序之一實施例之一流程圖。在各種實施例中，圖7之程序700可由一或多個電腦(諸如圖1之控制電腦112)及/或由包括如本文所揭示之一機器人系統之一或多個其他電腦及/或處理器實施。在圖中所展示之實例中，在702處，判定需要使用兩個或兩個以上個機器人來協同地執行一拾取及放置任務。例如，一電腦(諸如圖1之控制電腦112)及/或與個別機器人及/或一階層式控制器之一更高層級控制器相關聯之控制器或其他控制模組可作出判定。在704處，指派兩個或兩個以上機器人(例如由其等自身、由一協調器等)協同地執行任務且對於各者判定(或試圖判定)一對應拾取位置(在物件上)及部位(例如對於末端執行器及/或機械臂)。若在706處判定一足夠清晰之視野不可用於使得能夠針對機器人之一或多者判定一拾取位置，則在708處，一或多個機器人可用於將其他物件移開以提供一更清晰之視野。若可看見拾取位置(706)或一旦物件已移動(708)以提供一清晰視野，則在710處，作出所有參與機器人是否均具有各移動至其對應拾取位置而不碰撞之一清晰路徑或軌跡之一判定。若任何機器人不具有一清晰路徑(712)，則在714處，一或多個機器人用於在必要時移動物件以提供一清晰路徑。例如，目標物件可自一堆雜亂物品推出或拉出。或，鄰近於目標物件或在一末端執行器與其拾取位置之間的路徑中之物件可由需要清除其到達其拾取位置之路徑之機器人或由另一機器人移開。
在一些情況中，一機器人可不能夠清楚地看見其拾取位置。在一些實施例中，此一機器人可使用力感測器或其他觸覺回饋來感覺其進入位置中之途徑以抓取物件。
一旦每個參與機器人具有通向其拾取位置(712、714)之一清晰路徑，機器人即協同地執行拾取及放置任務，如本文所揭示。例如，一個機器人可作為「領導者」操作以實施圖5A之程序500，而另一機器人充當「跟隨者」以實施圖5B之程序520。
在各種實施例中，本文所揭示之技術可用於使用兩個或兩個以上機器人協同地拾取及放置一物件，諸如對於一單一機器人而言太重、鬆軟、笨重等之一物件。
儘管已為了清楚理解之目的而詳細描述前述實施例，但本發明不受限於所提供之細節。存在實施本發明之諸多替代方式。所揭示之實施例係繪示性而非限制性。
100:系統及環境 102:第一機械臂 104:吸入型末端執行器 106:第二機械臂 108:吸入型末端執行器 110:大箱子 112:控制電腦 114:感測器 202:機械臂 204:吸入型末端執行器 206:機械臂 208:吸入型末端執行器 210:大箱子 302:機器人控制系統 304:機器人協同促進模組 306:機器人特定控制器/機器人1控制器 308:機器人特定控制器/機器人2控制器 310:電腦視覺子系統 400:狀態圖 402:狀態 404:接收需要幫助以執行一任務之一指示 406:狀態 408:「取消幫助」轉變 410:轉變 412:「給予幫助」轉變 414:「開始協同」狀態 416:轉變 418:「做領導者」狀態 420:轉變 422:做跟隨者 424:轉變 426:轉變 500:程序 502:接收以「領導者」之角色開始一協同任務(使用一或多個其他機器人)之一指示 504:判定抓取物件之一位置且計劃一軌跡以將其末端執行器安全地移動至抓取物件之位置中 506:沿該軌跡將其末端執行器移動至該抓取位置 508:判定(獨立於任何其他機器人)將物件移動至一相關聯之目的地之一軌跡 510:自(若干)「跟隨者」機器人接收機器人實施程序500以將協同(若干)跟隨者機器人準備開始任務之協同執行之一指示 512:將其末端執行器(及(若干)領導者及跟隨者之關節抓取中之物件)沿領導者判定之軌跡移動至目之地 514:在將物件放置於目的地之後，領導者機器人即釋放其抓取且告知(若干)跟隨機器人任務已完成 520:程序 522:接收開始與處於「跟隨者」角色之一或多個其他機器人協同執行一任務之一指示 524:判定一抓取點-例如，與「領導者」已指示其將抓取物件之側相對之一側上之抓取點-且計劃一軌跡以移動至適當位置以在該點抓取物件 526:將其末端執行器移動至經判定之抓取位置且(例如)回應於接收領導者已完成其抓取之一指示而抓取物件 528:接收領導者之末端執行器位置及定向資訊，且跟隨者使用此資訊連同關於物件之資訊(例如使領導者之末端執行器與跟隨者之末端執行器分離之維度中之物件之大小)且計算一變換 530:告知領導者跟隨者「準備好」(例如跟隨者已抓取物件，計算變換，且準備好維持其末端執行器相對於(例如相反)領導者之末端執行器之位置 532:當領導者機器人開始沿由領導者獨立判定之軌跡移動時，跟隨者使用其計算之變換且當領導者之末端執行器透過工作空間移動時連續接收其位置及定向資訊 534:接收(例如自領導者)協同任務「完成」之一指示 600A:系統及環境 602:入口運輸裝置 604:輸送機 606:攝影機 700:程序 702:判定需要使用兩個或兩個以上個機器人來協同地執行一拾取及放置任務 704:指派兩個或兩個以上機器人(例如由其等自身、由一協調器等)協同地執行任務且對於各者判定(或試圖判定)一對應拾取位置(在物件上)及部位(例如對於末端執行器及/或機械臂) 706:判定一足夠清晰之視野不可用於使得能夠針對機器人之一或多者判定一拾取位置 708:一或多個機器人可用於將其他物件移開以提供一更清晰之視野 710:作出所有參與機器人是否均具有各移動至其對應拾取位置而不碰撞之一清晰路徑或軌跡之一判定 712:任何機器人不具有一清晰路徑 714:一或多個機器人用於在必要時移動物件以提供一清晰路徑
以下詳細描述及附圖中揭示本發明之各種實施例。
圖1係繪示經構形以控制複數個機器人協同執行一任務的一機器人系統之一實施例之一方塊圖。
圖2A至圖2C繪示在如本文所揭示之一機器人系統之一實施例中執行之一協同拾取及放置任務之一實例。
圖3係繪示一機器人控制系統之一實施例之一方塊圖。
圖4係繪示經構形以控制複數個機器人協同執行一任務的一機器人系統之一實施例之一狀態圖。
圖5A係繪示在如本文所揭示之一機器人系統之一實施例中作為一「領導者」機器人協同執行一任務的一程序之一實施例之一流程圖。
圖5B係繪示在如本文所揭示之一機器人系統之一實施例中作為一「跟隨者」機器人協同執行一任務的一程序之一實施例之一流程圖。
圖6A係繪示經構形以使用兩個或兩個以上機器人協同地拾取及放置一物件之一機器人系統之一實施例之一圖式。
圖6B係繪示經構形以使用兩個或兩個以上機器人協同地拾取及放置一物件之一機器人系統之一實施例之一圖式。
圖7係繪示使用兩個或兩個以上機器人協同地拾取及放置物件之一程序之一實施例之一流程圖。
100:系統及環境
102:第一機械臂
104:吸入型末端執行器
106:第二機械臂
108:吸入型末端執行器
110:大箱子
112:控制電腦
114:感測器

Claims (20)

  1. 一種機器人系統，其包括： 一第一機械臂，其具有一第一末端執行器； 一第二機械臂，其具有一第二末端執行器；及 一控制電腦，其經構形以使用該第一機械臂及該第二機械臂來拾取及放置複數個物件，包含藉由使用該第一機械臂及該第二機械臂協同地工作來拾取及放置該等物件之一或多者。
  2. 如請求項1之系統，其進一步包括經定位以產生與該第一機械臂及該第二機械臂位於其中之一工作空間相關聯之影像資料之一攝影機。
  3. 如請求項2之系統，其中該控制電腦經構形以使用該影像資料來判定使用該第一機械臂及該第二機械臂協同地工作以拾取及放置一給定物件。
  4. 如請求項3之系統，其中該判定係至少部分地基於使用該影像資料直接或間接判定之該物件之一屬性。
  5. 如請求項1之系統，其中該控制電腦包含分佈於兩個或兩個以上節點處之兩個或兩個以上處理器。
  6. 如請求項1之系統，其中該控制電腦實施一階層式計劃器，其包含用於該第一機械臂及該第二機械臂之各者之一個別機器人控制器及經構形以協調該第一機械臂與該第二機械臂協同之操作以協同地拾取及放置該等物件之該一或多者之一更高層級控制器。
  7. 如請求項1之系統，其中為執行一給定任務以協同地拾取及放置一給定物品，該第一機械臂以一領導者模式操作且該第二機械臂以一跟隨者模式操作。
  8. 如請求項7之系統，其中該第一機械臂經構形以當處於該領導者模式中時，獨立地計劃一軌跡以移動待協同地拾取及放置之一給定物件、抓取該給定物件且沿該計劃軌跡移動該給定物件。
  9. 如請求項8之系統，其中該第二機械臂經構形以當處於該跟隨者器模式中時，抓取該給定物件、至少部分地基於該第一末端執行器之一位置及定向計算一變換，且告知該第一機械臂該第二機械臂準備好移動該給定物件。
  10. 如請求項1之系統，其中該第一機械臂及該第二機械臂經構形以在不協同地工作以拾取及放置該等物件之該一或多者時獨立地拾取及放置物件。
  11. 如請求項1之系統，其中該控制電腦經構形以至少部分地基於需要一給定物件之一較少障礙視野相對於該給定物件協同地執行一拾取及放置任務之一判定而將該複數個物件之一或多者從自一攝影機或其他感測器至該給定物件之一視線移開。
  12. 如請求項1之系統，其中該控制電腦經構形以使用該第一機械臂及該第二機械臂之一或兩者來將一給定物件拉入或推入一攝影機或其他感測器之一視野以促進使用該第一機械臂及第二機械臂協同地拾取及放置該給定物件之一任務。
  13. 如請求項1之系統，其中該控制電腦經構形以使用該第一機械臂及該第二機械臂之一或兩者將該複數個物件之一或多者移開以使該第一機械臂及該第二機械臂之一或兩者能夠用於抓取一給定物件。
  14. 如請求項1之系統，其中該控制電腦經構形以當不使用該第一機械臂及該第二機械臂協同地工作以拾取及放置一給定物件時，使用該第一機械臂及該第二機械臂交替拾取及放置包含於該複數個物件中之物件。
  15. 如請求項1之系統，其中該控制電腦經構形以使用力感測器或其他觸覺回饋來使用該第一機械臂或該第二機械臂以藉由感覺抓取在該控制電腦不可見之一位置處之一物件。
  16. 如請求項1之系統，其中該控制電腦經構形以確保該第一機械臂及該第二機械臂在執行拾取及放置任務時不彼此碰撞或與該工作空間中之障礙物碰撞。
  17. 一種方法，其包括： 使用一第一機械臂及一第二機械臂來拾取及放置複數個物件，包含藉由使用該第一機械臂及該第二機械臂協同地工作以拾取及放置該等物件之一或多者。
  18. 如請求項17之方法，其進一步包括使用來自一攝影機之影像資料來判定使用該第一機械臂及該第二機械臂協同地工作以拾取及放置一給定物件。
  19. 如請求項17之方法，其中使用該第一機械臂及該第二機械臂協同地工作以拾取及放置一給定物件包含在一領導者模式中使用該第一機械臂且在一跟隨者模式中使用該第二機械臂。
  20. 一種體現在一非暫時性電腦可讀媒體中且包括用於以下之電腦指令之電腦程式產品： 使用一第一機械臂及一第二機械臂來拾取及放置複數個物件，包含藉由使用該第一機械臂及該第二機械臂協同地工作以拾取及放置該等物件之一或多者。
TW111141387A 2021-11-01 2022-10-31 控制多個機器人以協同地拾取及放置物品 TW202333919A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163274465P 2021-11-01 2021-11-01
US63/274,465 2021-11-01

Publications (1)

Publication Number Publication Date
TW202333919A true TW202333919A (zh) 2023-09-01

Family

ID=86158638

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111141387A TW202333919A (zh) 2021-11-01 2022-10-31 控制多個機器人以協同地拾取及放置物品

Country Status (3)

Country Link
US (1) US20230158676A1 (zh)
TW (1) TW202333919A (zh)
WO (1) WO2023076726A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3139255C (en) 2016-12-09 2023-07-25 Thomas Wagner Systems and methods for processing objects provided in vehicles
WO2023059485A1 (en) 2021-10-06 2023-04-13 Berkshire Grey Operating Company, Inc. Dynamic processing of objects provided in elevated vehicles with evacuation systems and methods for receiving objects

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8082064B2 (en) * 2007-08-24 2011-12-20 Elite Engineering Corporation Robotic arm and control system
GB201303255D0 (en) * 2013-02-25 2013-04-10 Univ Bristol Collaborating robots
US11426864B2 (en) * 2018-12-03 2022-08-30 Kindred Systems Inc. Robot manipulator system and methods for providing supplemental securement of objects
US11117267B2 (en) * 2019-08-16 2021-09-14 Google Llc Robotic apparatus for operating on fixed frames

Also Published As

Publication number Publication date
US20230158676A1 (en) 2023-05-25
WO2023076726A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
JP7301147B2 (ja) 未知の物体の自律的ピックアンドプレース
CN111730603B (zh) 机器人***的控制装置以及控制方法
DE102019130048B4 (de) Ein Robotersystem mit Srückverlustverwaltungsmechanismus
TW202333919A (zh) 控制多個機器人以協同地拾取及放置物品
EP3169489B1 (en) Real-time determination of object metrics for trajectory planning
US11772269B2 (en) Robotic system to control multiple robots to perform a task cooperatively
KR20210149091A (ko) 상자들을 팔레타이징하기 위한 로봇 및 방법
US11701777B2 (en) Adaptive grasp planning for bin picking
US20230150137A1 (en) Controlling multiple robots to cooperatively unload a truck or other container
EP4013573A1 (en) Optimization of motion paths of a robot using vision data
CN117460601A (zh) 集成移动机械手机器人的动态质量估计方法
CN108698225B (zh) 机器人码放货物的方法及机器人
TWI794989B (zh) 基於速度控制的機器人系統、控制一機器人系統之方法、及體現於一非暫時性電腦可讀媒體之電腦程式產品
CN115485216A (zh) 机器人多表面夹持器组件及其操作方法
CN109641706B (zh) 拣货方法、***及其应用的获持与放置***、机器人
WO2023193773A1 (en) Robotic systems with object handling mechanism and associated systems and methods
TW202332554A (zh) 多模式機器人末端執行器
US20240149462A1 (en) Variable payload robot
US20230271797A1 (en) Robotic system to control ingress to a robotic loader
JP7264387B2 (ja) 開閉式物体用のロボットグリッパアセンブリ及び物体をピッキングするための方法
WO2023142724A1 (zh) 机械臂、机械臂的控制方法、装置、机器人及存储介质
Sintov et al. A computational algorithm for dynamic regrasping using non-dexterous robotic end-effectors
CN114683299A (zh) 机器人工具及其操作方法