TWI780887B

TWI780887B - 機器人系統以及拾取方法

Info

Publication number: TWI780887B
Application number: TW110132375A
Authority: TW
Inventors: 井尻善久
Original assignee: 日商歐姆龍股份有限公司
Priority date: 2020-09-09
Filing date: 2021-09-01
Publication date: 2022-10-11
Also published as: JP2022045771A; WO2022054506A1; TW202210252A

Abstract

本發明的機器人系統包括：機器人機構，包括握持工件的握持部；檢測部，檢測握持部對工件的握持狀態；辨識部，基於檢測部的檢測結果，辨識握持部所握持的工件的個數；以及控制部，在使機器人機構進行自載置有多個工件的箱中握持工件的動作後，在由辨識部辨識出的工件的個數與所預先指定的指定數量不同的情況下，對機器人機構的運行進行控制，使得所握持的工件的數量成為指定數量。

Description

機器人系統以及拾取方法

本揭示是有關於一種機器人系統以及拾取方法。

於專利文獻1~專利文獻3中，揭示了一種基於散裝的工件的攝影圖像來辨識能夠拾取的工件並拾取工件的技術。

[現有技術文獻] [專利文獻]

專利文獻1：日本專利第5767464號公報

專利文獻2：日本專利特開2017-42859號公報

專利文獻3：日本專利第5196156號公報

然而，於所述現有技術中，特別是在如螺釘等般小的工件、金屬的工件、有光澤的工件的情況下，難以利用圖像感測器或深度感測器可靠地檢測工件的位置及姿勢，結果，難以可靠地進行一個工件的拾取。另外，由於未能推定與周邊的干擾物的間隙、或未能計算握持可能性，亦會導致拾取失敗。進而，由於拾取一個工件大多會導致其周圍的工件的配置發生變化，因此在每次拾取動作之前亦需要用於檢測工件的位置及姿勢的時間。

本揭示是鑒於上述方面而完成者，其目的在於提供一種即便並非每次事先檢測工件的位置及姿勢，亦能夠以高準確度拾取工件的機器人系統以及拾取方法。

揭示的第一態樣是一種機器人系統，包括：機器人機構，包括握持工件的握持部；檢測部，檢測所述握持部對所述工件的握持狀態；辨識部，基於所述檢測部的檢測結果，辨識所述握持部所握持的工件的個數；以及控制部，在使所述機器人機構進行自載置有多個所述工件的載置場所中握持所述工件的動作後，在由所述辨識部辨識出的所述工件的個數與所預先指定的指定數量不同的情況下，對所述機器人機構的運行進行控制，使得所握持的所述工件的數量成為所述指定數量。

於所述第一態樣中，可設為所述指定數量為1。

於所述第一態樣中，可構成為，所述握持部包括：多個手指；以及驅動部，在利用所述多個手指握持所述工件的狀態下，對至少一個手指進行驅動以使所述至少一個手指的位置發生變化。

於所述第一態樣中，可構成為，所述檢測部是設置於至少一個所述手指的握持面且檢測與所述工件接觸的所述握持面的壓力分佈的壓力分佈感測器，所述辨識部基於由所述壓力分佈感測器檢測出的壓力分佈，辨識所述工件的個數。

於所述第一態樣中，可構成為，所述壓力分佈感測器設置於多個所述手指內至少兩個手指各自的握持面。

於所述第一態樣中，可構成為，所述辨識部包括學習完成模型，所述學習完成模型將所述壓力分佈作為輸入，將由所述握持部握持的所述工件的個數作為輸出而進行了學習。

於所述第一態樣中，可構成為，所述學習完成模型包括神經網路(neural network)。

於所述第一態樣中，可構成為，所述檢測部是拍攝由多個所述手指握持所述工件的狀態的攝影部，所述辨識部基於由所述攝影部拍攝的攝影圖像，辨識所述工件的個數。

於所述第一態樣中，可構成為，所述控制部使所述攝影部及所述握持部中的至少一者移動，以便在能夠拍攝由多個所述手指握持的所述工件的位置進行拍攝。

於所述第一態樣中，可構成為，所述檢測部是力覺感測器，在由所述多個手指握持所述工件的狀態下，所述力覺感測器檢測施加在所述多個手指的力，所述辨識部基於所握持的所述工件的總重量，辨識所述工件的個數，所述所握持的所述工件的總重量是作為由所述力覺感測器檢測出的力中鉛垂方向分量的基於握持的增加量而算出。

於所述第一態樣中，可構成為，所述辨識部基於所述工件的總重量以及所述工件的每一個的重量，辨識所述工件的個數。

於所述第一態樣中，可構成為，在由所述辨識部辨識出的所述工件的數量與所述指定數量不同的情況下，所述控制部以自所述載置場所中重新握持所述工件的方式對所述機器人機構的運行進行控制。

於所述第一態樣中，可構成為，在由所述辨識部辨識出的所述工件的數量少於所述指定數量的情況下，所述控制部以自所述載置場所中重新握持所述工件的方式對所述機器人機構的運行進行控制。

於所述第一態樣中，可構成為，在由所述辨識部辨識出的所述工件的數量多於所述指定數量的情況下，所述控制部以對由所述握持部握持的所述工件的至少一部分施加外力而使所述工件落下的方式對所述機器人機構進行控制。

揭示的第二態樣是一種拾取方法，其檢測用於握持工件的握持部對所述工件的握持狀態，基於所述握持狀態的檢測結果辨識所述握持部所握持的工件的數量，在使包括所述握持部的機器人機構進行自載置有多個所述工件的載置場所中握持所述工件的動作後，在辨識出的所述工件的數量與所預先指定的指定數量不同的情況下，對所述機器人機構的運行進行控制，使得所握持的所述工件的數量成為所述指定數量。

根據本揭示，即便並非每次事先檢測工件的位置及姿勢，亦能夠以高準確度拾取工件。

10:機器人系統

20:機器人機構

22-1、22-2:驅動部

24-1、24-2:壓力分佈感測器

30:控制裝置

30A:CPU

30B:ROM

30C:RAM

30D:儲存器

30E:輸入部

30E1:鍵盤

30E2:滑鼠

30F:監視器

30G:光碟驅動裝置

30H:通訊介面

30I:匯流排

32:辨識部

34:控制部

40:攝影部

50:箱

AR:機器人臂

F1、F2:手指

H:機器人手

S100、S102、S104、S106、S108、S110、S112:步驟

W:工件

圖1是機器人系統的結構圖。

圖2是控制裝置的功能框圖。

圖3是表示控制裝置的硬體結構的框圖。

圖4是表示拾取處理的流程的流程圖。

以下，參照圖式對本揭示的實施方式的一例進行說明。再者，對各圖式中相同或等價的構成元件及部分賦予相同的參照符號。另外，圖式的尺寸比率有時為了方便說明而誇張，有時與實際的比率不同。

圖1是本實施方式的機器人系統10的結構圖。如圖1所示，機器人系統10包括機器人機構20、控制裝置30、及攝影部40。在本實施方式中，機器人系統10作為拾取工件W的拾取裝置發揮功能。

機器人機構20包括：機器人臂AR，是作為進行拾取動作時的運行控制的對象的機構部分；以及機器人手H，安裝於機器人臂AR的頂端。機器人手H自作為載置有多個工件W的載置場所的一例的箱50握持工件W。機器人臂AR是握持部的一例。再者，於本實施方式中，作為一例，對工件W為螺釘等可由機器人手H握持多個工件W的程度的比較小的零件的情況進行說明，但工件W並不限於此。

機器人手H包括多個手指，於本實施方式中作為一例而包括兩個手指F1、F2，但手指的數量並不限定於兩個。另外，於本實施方式中，手指F1、手指F2作為一例而由板狀的構件構成，但手指F1、手指F2的形狀不限於此。

另外，機器人手H包括：驅動部22-1，在由手指F1、手指F2握持工件W的狀態下，進行驅動以使手指F1的位置發生變化；以及驅動部22-2，在由手指F1、手指F2握持工件W的狀態下，進行驅動以使手指F2的位置發生變化。再者，於本實施方式中，對在手指F1、手指F2兩者設置有驅動部的情況進行說明，但亦可構成為在手指F1、手指F2的任一者設置有驅動部。

另外，在手指F1的握持面設置有壓力分佈感測器24-1，所述壓力分佈感測器24-1檢測與工件W接觸的握持面的壓力分佈。同樣地，在手指F2的握持面設置有壓力分佈感測器24-2，所述壓力分佈感測器24-2檢測與工件W接觸的握持面的壓力分佈。此處，壓力分佈感測器24-1、壓力分佈感測器24-2是檢測手指F1、手指F2對工件W的握持狀態的檢測部的一例。

再者，於本實施方式中，對在手指F1、手指F2兩者各自的握持面設置有壓力分佈感測器的情況進行了說明，但亦可構成為在手指F1、手指F2的任一手指的握持面設置有壓力分佈感測器。

作為一例，機器人機構20可使用自由度為6的垂直多關節機器人、水平多關節機器人等，但機器人的自由度及種類不限於該些。

控制裝置30控制機器人機構20。如圖2所示，控制裝置30在功能上包括辨識部32及控制部34。

辨識部32基於壓力分佈感測器24-1、壓力分佈感測器24-2的檢測結果、即壓力分佈，辨識手指F1、手指F2所握持的工件W的個數。於本實施方式中，作為一例，辨識部32使用將由壓力分佈感測器24-1、壓力分佈感測器24-2檢測出的壓力分佈各者作為輸入、將工件W的數量作為輸出而進行了學習的學習完成模型，例如使用了神經網路的學習完成模型，辨識由手指F1、手指F2握持的工件W的個數。

控制部34在使機器人機構20進行自箱50中握持工件W的動作後，在由辨識部32辨識出的工件的個數與所預先指定的指定數量不同的情況下，對機器人機構20的運行進行控制，以使所握持的工件W的數量成為指定數量。再者，於本實施方式中，對指定數量為1的情況進行說明。即，在由辨識部32辨識出的工件的個數為多個的情況下，對機器人機構20的運行進行控制以使工件W落下，直至由辨識部32辨識出的工件的個數成為一個為止。

具體而言，控制部34例如為了使由手指F1、手指F2握持工件W的握持狀態變化，對驅動部22-1、驅動部22-2的至少一者進行控制，以使手指F1、手指F2的至少一者移動。即，挪動手指F1、手指F2中的至少一者，以使手指F1、手指F2的相對位置變化。藉此，由手指F1、手指F2握持的工件W的握持狀態發生變化，從而可使工件W落下。

攝影部40設置於能夠自箱50的上方拍攝箱50內的工件W的位置，並將根據控制裝置30的指示拍攝箱50內的工件W而得的攝影圖像輸出至控制裝置30。

接下來是表示控制裝置30的硬體結構的框圖。

如圖3所示，控制裝置30具有中央處理單元(Central Processing Unit，CPU)30A、唯讀記憶體(Read Only Memory，ROM)30B、隨機存取記憶體(Random Access Memory，RAM)30C、儲存器(storage)30D、輸入部30E、監視器(monitor)30F、光碟驅動裝置30G及通訊介面30H。各結構經由匯流排30I而相互可通訊地連接。

於本實施方式中，在儲存器30D中保存有拾取程式。CPU 30A為中央運算處理單元，且執行各種程式或控制各結構。即，CPU 30A自儲存器30D中讀出程式，並將RAM 30C作為作業區域執行程式。CPU 30A依照儲存器30D中所記錄的程式，進行所述各結構的控制及各種運算處理。

ROM 30B保存各種程式及各種資料。RAM 30C作為作業區域而暫時儲存程式或資料。儲存器30D包括硬碟驅動器(Hard Disk Drive，HDD)或者固態驅動器(Solid State Drive，SSD)，且保存包括操作系統(operating system)在內的各種程式及各種資料。

輸入部30E包括鍵盤30E1及滑鼠30E2等指向器件(pointing device)，且用於進行各種輸入。監視器30F例如為液晶顯示器，且顯示工件W的握持狀態等各種資訊。監視器30F亦可採用觸控面板(touch panel)方式而亦作為輸入部30E發揮功能。光碟驅動裝置30G讀入各種記錄媒體(唯讀光碟(Compact Disk Read Only Memory，CD-ROM)或藍光光碟等)中所儲存的資料、對記錄媒體進行資料的寫入等。

通訊介面30H是用於與其他設備進行通訊的介面，例如可使用乙太網路(Ethernet)(註冊商標)、光纖分佈式資料介面(Fiber Distributed Data Interface，FDDI)或無線保真(Wireless Fidelity，Wi-Fi)(註冊商標)等標準。

圖2所示的控制裝置30的各功能結構是藉由以下來達成：CPU 30A讀出儲存器30D中所儲存的拾取程式，在RAM 30C中展開並予以執行。

接下來，對機器人系統10的作用進行說明。

圖4是表示利用機器人系統10進行的拾取處理的流程的流程圖。當用戶操作輸入部30E來指示執行拾取處理時，CPU 30A自儲存器30D中讀出拾取程式，在RAM 30C中展開並予以執行，藉此執行拾取處理。

在步驟S100中，CPU 30A作為控制部34而對機器人機構20進行控制，以由機器人手H握持箱50內的工件W。具體而言，例如指示攝影部40進行拍攝，從而獲取對箱50內的工件W進行拍攝而得的攝影圖像，並藉由對所獲取的攝影圖像進行圖像分析來確定工件W存在的場所。此時，不需要確定應握持的工件 W的位置及姿勢，僅確定工件W存在的場所即可。然後，對機器人臂AR進行控制，以使機器人手H移動至工件W所存在的場所，然後，對驅動部22-1、驅動部22-2進行控制，以便由手指F1、手指F2握持工件W。或者，亦可設為：在不利用攝影部40進行拍攝的情況下，在箱50內的任一位置進行將手指F1、手指F2閉合的動作，作為其結果，以某種概率握持工件W。特別是在箱50內殘存有多個工件W的情況下，即便不事先確定工件W所存在的場所，亦能夠以高概率握持工件W。

在步驟S102中，CPU 30A作為辨識部32而自壓力分佈感測器24-1、壓力分佈感測器24-2分別獲取手指F1、手指F2的握持面的壓力分佈。而且，根據所獲取的手指F1、手指F2的握持面的壓力分佈來辨識由手指F1、手指F2握持的工件W的個數。

在步驟S104中，CPU 30A作為控制部34而判定在步驟S102中辨識出的工件W的個數是否為0。而且，在辨識出的工件W的個數不為0的情況下，即，在握持有至少一個以上的工件W的情況下，轉移至步驟S106。另一方面，在辨識出的工件的個數為0的情況下，返回步驟S100重新握持工件W。

在步驟S106中，CPU 30A作為控制部34而判定在步驟S102中辨識出的工件W的個數是否為指定數量，即辨識出的工件W的個數是否為一個。而且，在辨識出的工件W的個數為1的情況下，轉移至步驟S108。另一方面，在辨識出的工件W的個數不為1的情況下，即為多個的情況下，轉移至步驟S110。

在步驟S108中，CPU 30A作為控制部34而對機器人機構20進行控制，以將由機器人手H握持的工件W移動並載置於規定的場所。

在步驟S110中，CPU 30A作為控制部34而對驅動部22-1、驅動部22-2中的至少一者進行控制，以挪動手指F1、手指F2中的至少一者。例如，可預先決定要挪動的手指、方向及移動量，亦可基於步驟S102中所獲取的手指F1、手指F2的握持面的壓力分佈來決定要挪動的手指、方向及移動量。藉此，由手指F1、手指F2握持的工件W的握持狀態發生變化，工件W容易落下。

在步驟S112中，CPU 30A作為控制部34而判定是否已拾取箱50內的所有工件W。即，判定箱50內是否為空。具體而言，例如對由攝影部40拍攝的攝影圖像進行圖像分析，判定在箱50內是否殘留有工件W。而且，在箱50內未殘留工件W的情況下，結束本常式(routine)。另一方面，在箱50內殘留有工件W的情況下，返回步驟S100並重覆進行與上述相同的處理，直至拾取所有工件W。

如此，於本實施方式中，並非在事先檢測出應握持的工件W的位置及姿勢之後握持工件W，而是首先握持工件W，然後進行挪動手指F1、手指F2中的至少一者直至所握持的工件W的個數成為指定數量的運行。藉此，即便並非每次事先檢測工件W的位置及姿勢，亦能夠以高準確度拾取工件W。

(變形例1)

接下來，對本實施方式的變形例1進行說明。

在辨識所握持的工件W的數量的情況下，例如，亦可基於手指F1、手指F2各自的握持面上的工件W的接觸面積來辨識所握持的工件W的個數。例如，基於由壓力分佈感測器24-1、壓力分佈感測器24-2檢測出的各個壓力分佈，分別算出手指F1、手指F2各自的握持面上的工件W的接觸面積。而且，例如亦可使用表示各接觸面積與所握持的工件的個數之間的對應關係的列表資料或數式等，來辨識所握持的工件W的個數。例如，在工件W為球體的情況下，因由一個工件W按壓具有彈性的握持面而形成的接觸面積相對較穩定，因此能夠以上述方式辨識工件W的個數。

(變形例2)

接下來，對本實施方式的變形例2進行說明。

在辨識所握持的工件W的數量的情況下，例如，亦可設為利用作為檢測部的一例的攝影部40拍攝由手指F1、手指F2握持工件W的狀態，並基於由攝影部40拍攝的攝影圖像來辨識所握持的工件W的個數。該情況下，控制部34可移動機器人手H，以使其於能夠由攝影部40拍攝由手指F1、手指F2握持的工件W的位置、即工件W不會被手指F1、手指F2遮擋的位置被拍攝。另外，亦可構成為更包括攝影部40的移動機構，以使攝影部40移動至機器人手H的位置。另外，亦可使機器人手H及攝影部40兩者移動。

(變形例3)

接下來，對本實施方式的變形例3進行說明。

在辨識所握持的工件W的數量的情況下，例如亦可構成為包括作為檢測部的一例的六軸力覺感測器，該六軸力覺感測器檢測由手指F1、手指F2握持工件W的狀態下施加在手指F1、手指F2的力，使得辨識部32基於由力覺感測器檢測出的力的鉛垂方向分量在握持後相對於握持前所增加的量即工件W的總重量來辨識工件W的個數。該情況下，例如基於工件W的總重量以及工件W的每一個的重量來辨識工件W的個數。即，亦可藉由自力覺感測器所檢測出的力算出的工件W的總重量除以工件W的每一個的重量來算出工件W的個數。

(變形例4)

接下來，對本實施方式的變形例4進行說明。

控制部34亦可在由辨識部32辨識出的工件W的數量與指定數量不同的情況下，例如在少於指定數量的情況下，對機器人機構20的運行進行控制，以自箱50中重新握持工件W。即，亦可對機器人機構20進行控制，以藉由在箱50上進行使手指F1、手指F2打開的動作而使暫時握持的工件W返回箱50上，然後再次握持箱50內的工件W。

(變形例5)

接下來，對本實施方式的變形例5進行說明。

控制部34亦可在由辨識部32辨識出的工件W的數量多於指定數量的情況下，對機器人機構20進行控制，以對由手指 F1、手指F2握持的工件的至少一部分施加外力而使所述工件落下。例如，亦可對機器人機構20進行控制，以使工件W碰撞棒狀的固定的夾具，從而使工件W落下。另外，例如亦可構成為進而設置有藉由棒狀構件對工件W施加外力的外力機構，使得藉由對該外力機構進行控制以使棒狀部件與工件W碰撞而使工件W落下。

再者，於本實施方式中，亦可為CPU以外的各種處理器執行CPU讀入軟體(程式)而執行的拾取處理。作為該情況下的處理器，可例示：現場可程式閘陣列(Field-Programmable Gate Array，FPGA)等於製造後能夠變更電路結構的可程式邏輯器件(Programmable Logic Device，PLD)、及特殊應用積體電路(Application Specific Integrated Circuit，ASIC)等為了執行特定處理而具有專門設計的電路結構的處理器即專用電氣電路等。另外，可由所述各種處理器中的一個來執行拾取處理，亦可由同種或不同種的兩個以上處理器的組合(例如多個FPGA、及CPU與FPGA的組合等)來執行拾取處理。另外，所述各種處理器的硬體結構更具體而言是將半導體元件等電路元件組合而成的電氣電路。

另外，於所述各實施方式中，對拾取程式預先儲存(安裝)於儲存器30D或ROM 30B的態樣進行了說明，但不限定於此。程式亦能夠以記錄於CD-ROM、唯讀數位光碟(Digital Versatile Disk Read Only Memory，DVD-ROM)、及通用串列匯流排 (Universal Serial Bus，USB)記憶體等記錄媒體的形態提供。另外，程式亦可設為經由網路自外部裝置下載的形態。

再者，將日本專利申請案第2020-151538號的揭示的所有內容藉由參照併入至本說明書中。另外，本說明書中所記載的所有文獻、專利申請案及技術規格是與具體且分別記載藉由參照將各文獻、專利申請案及技術規格併入的情形相同程度地，藉由參照而併入至本說明書中。