TWI807990B - 機器人示教系統 - Google Patents

Abstract

本發明提供機器人示教系統，其使用由攝像機拍攝到的圖像，來生成能合適地在焊接位置進行焊接的作業程式。機器人示教系統（200）包含：拍攝部（211），其拍攝包含焊接對象和設置在產業用機器人的標誌的圖像；攝像機坐標系設定部（212），其基於圖像中所含的標誌來設定攝像機坐標系；動作路徑設定部（213），其在攝像機坐標系中，基於圖像中所含的焊接對象的焊接位置來設定產業用機器人的動作路徑；和程式生成部（214），其基於設置在產業用機器人的標誌的設置位置，來將由動作路徑設定部（213）設定的產業用機器人的動作路徑從攝像機坐標系變換成機器人控制裝置（2）中設定的機器人坐標系，並生成用於使產業用機器人動作的作業程式。

Description

機器人示教系統

本發明涉及機器人示教系統。

近年來，在產業界，大量機器人普及。該機器人例如用在電子部件以及機械部件的組裝、焊接以及運送等中，謀求工廠的生產線的效率化以及自動化。這樣的機器人需要作成用於進行所期望的動作的程式，並將其作為所謂示教數據預先存儲。操作者使用示教器，與機器人控制裝置協作來操作實際的機器人，由此記錄其動作，從而生成該示教數據。

為了讓操作者使用示教器實際使機器人動作的同時作成示教數據，對操作者的技能的依賴度大，有時需要長時間。特別在記錄機器人的精密的動作時，必須依賴詳細理解機器人的動作且慣於操作示教器的熟練者。

並且，為了減輕對操作者的負擔，公開了使用AR設備以及標誌來認識機器人的位置的機器人系統（例如專利文獻1）。

在專利文獻1公開的機器人系統中，構成為使用多個基準用標誌和機器人坐標系確定用標誌，來認識相對於該多個基準用標誌的設定在機器人坐標系確定用標誌上的坐標系的位置、朝向，由此，能用AR設備認識機器人的位置或朝向。

現有技術文獻 專利文獻 專利文獻1：JP2021-62463號公報

但在專利文獻1公開的機器人系統中，必須設定多個基準用標誌和機器人坐標系確定用標誌，此外，在機器人示教系統中，有必須掌握機器人以及焊接部位的位置並考慮合適的機器人動作來合適地生成作業程式這樣的課題。

為此，本發明的目的在於，提供使用由攝像機拍攝到的圖像來作成能合適地在焊接位置焊接的作業程式的機器人示教系統。

本發明的一方式所涉及的機器人示教系統具備：拍攝部，其拍攝包含焊接對象和設置在產業用機器人的標誌的圖像；攝像機坐標系設定部，其基於圖像中所含的標誌來設定攝像機坐標系；動作路徑設定部，其在攝像機坐標系中，基於圖像中所含的焊接對象的焊接位置來設定產業用機器人的動作路徑；和程式生成部，其基於設置在產業用機器人的標誌的設置位置，來將由動作路徑設定部設定的產業用機器人的動作路徑從攝像機坐標系變換成在機器人控制裝置中設定的機器人坐標系，並生成用於使產業用機器人動作的作業程式。

根據該方式，拍攝部拍攝包含焊接對象和設置在產業用機器人的標誌的圖像，攝像機坐標系設定部基於圖像中所含的標誌來設定攝像機坐標系。並且，程式生成部基於設置在產業用機器人的標誌的設置位置，來將攝像機坐標系中設定的產業用機器人的動作路徑變換成在機器人控制裝置中設定的機器人坐標系，並生成用於使產業用機器人動作的作業程式。由此，能生成能合適地在焊接位置進行焊接的作業程式。此外，由於能同時拍攝焊接對象和標誌，因此，能進行從攝像機坐標系向機器人坐標系的變換的校準，並同時進行焊接對象的焊接位置的檢測。進而，由於標誌設定在產業用機器人，因此即使是不能在焊接對象的近旁設置標誌的狀況，也能基於設定在產業用機器人的標誌，來合適地檢測焊接對象的焊接位置。

在上述方式中，也可以是，標誌設置在產業用機器人當中的與安裝於機械手的前端的末端執行器同樣地進行動作的前端部。

根據該方式，標誌由於設置在產業用機器人當中的與安裝於機械手的前端的末端執行器同樣地進行動作的前端部，因此，若使機械手動作，拍攝部就能在標誌接近焊接對象的焊接位置的狀態下拍攝圖像。由此，標誌與焊接位置的相對位置變近，該相對位置越近，越難以產生誤差。

在上述方式中，也可以是，動作路徑設定部通過對圖像進行影像處理來檢測焊接位置候選，基於從該焊接位置候選提取的焊接位置來設定產業用機器人的動作路徑。

根據該方式，通過對圖像進行影像處理來檢測焊接位置候選，來從該焊接位置候選提取焊接位置。由此，動作路徑設定部能基於更合適地提取的焊接位置來設定產業用機器人的動作路徑。

在上述方式中，也可以是，動作路徑設定部對焊接位置進一步基於所設定的焊接的順序來設定產業用機器人的動作路徑。

根據該方式，動作路徑設定部由於對焊接位置基於進一步設定的焊接的順序來設定產業用機器人的動作路徑，因此，能還考慮所設定的焊接的順序，來更合適地設定產業用機器人的動作路徑。

在上述方式中，也可以是，動作路徑設定部對應於焊接位置與焊炬的距離來選擇焊接的需要與否，及/或設定焊接的順序，來設定產業用機器人的動作路徑。

根據該方式，動作路徑設定部由於對應於焊接位置與焊炬的距離來合適地設定焊接的需要與否及/或焊接的順序，因此，能更合適地設定產業用機器人的動作路徑。

在上述方式中，也可以是，焊接的順序從特定方向其依次進行選擇。

根據該方式，關於焊接的順序，作為特定方向，在圖像中所含的焊接位置中，從圖像的上、下、左或右起依次進行設定，或者相對於重力方向在從下向上的方向上依次進行設定。由此，能對應於工件的組裝來減輕焊接時的工件的熱應變等所引起的對接的誤差等，此外，能減輕焊道的垂滴等。

發明的效果 根據本發明，能提供使用由攝像機拍攝到的圖像來生成能合適地在焊接位置進行焊接的作業程式的機器人示教系統。

以下參考附圖來具體說明本發明的實施方式。另外，以下說明的實施方式只是舉出用於實施本發明的具體的一例，並不限定地解釋本發明。此外，為了使說明的理解容易，在各附圖中對相同構成要素盡可能標註相同附圖標記，有時重複的說明。

＜一實施方式＞

[焊接機器人系統的基本結構]

圖1是例示包含本發明的一實施方式所涉及的機器人示教系統的焊接機器人系統100的結構的圖。如圖1所示那樣，焊接機器人系統100例如具備拍攝終端1、機器人控制裝置2和機械手3。拍攝終端1和機器人控制裝置2例如經由網路N連接，機器人控制裝置2和機械手3例如經由通信線纜C連接。網路N可以是有線（包括通信線纜），也可以是無線。另外，可以在焊接機器人系統100中包含示教器。示教器是作業者對機械手3的動作進行示教的操作裝置。

機械手3是按照在機器人控制裝置2中設定的施工條件來進行電弧焊接的焊接機器人（產業用機器人）。機械手3例如具有：設置在固定於工廠的地面等的底座構件上的多關節臂31；和與多關節臂31的前端連結的焊炬32（末端執行器）。

機器人控制裝置2是控制機械手3的動作的控制元件，例如包含控制部21、存儲部22、通信部23以及焊接電源部24。

控制部21例如通過存處理器執行儲於存儲部22的作業程式，來控制機械手3以及焊接電源部24。

通信部23控制與經由網路N連接的拍攝終端1的通信，控制與經由通信線纜C連接的機械手3的通信。

焊接電源部24例如為了使焊絲的前端與工件之間產生電弧，按照預先確定的焊接的施工條件來將焊接電流以及焊接電壓等供給到機械手3。在焊接的施工條件中例如包含焊接條件、焊接開始位置、焊接結束位置、電弧放電的時間、焊接距離、焊炬的姿態以及焊炬的移動速度等數據項目。焊接電源部24可以與機器人控制裝置2分體地具備。

拍攝終端1例如是數位攝像機，可以是帶數位攝像機的可挪動型終端。可挪動型終端例如包含平板終端、智慧手機、便攜資訊終端（PDA）、筆記本PC（個人電腦）等能攜帶移動的終端。拍攝終端1例如包含控制部11、拍攝部12、通信部13、顯示部14。

控制部11通過處理器執行存放於記憶體的給定的程式，來控制拍攝終端1的各部。

拍攝部12例如包含鏡頭以及攝像元件（圖像傳感器），將在鏡頭受光的被攝體的光變換成電信號（數位圖像數據）。

通信部13控制與經由網路N連接的機器人控制裝置2的通信。

顯示部14例如是具有觸控面板的顯示器，顯示由拍攝部12得到的被攝體的影像，並且接受作業者的操作指示等輸入。顯示部14例如可以設為具有觸控面板的顯示器裝置，與拍攝終端1分體地具備。

[機器人示教系統的結構]

圖2是例示本發明的一實施方式所涉及的機器人示教系統200的功能結構的圖。如圖2所示那樣，機器人示教系統200作為功能結構例如具有拍攝部211、攝像機坐標系設定部212、動作路徑設定部213和程式生成部214。這些功能當中，拍攝部211是拍攝終端1所具有的功能。另一方面，攝像機坐標系設定部212、動作路徑設定部213以及程式生成部214可以是由拍攝終端1以及機器人控制裝置2的任一者具備全部，也可以在拍攝終端1以及機器人控制裝置2中分散具備各功能。此外，也可以是，拍攝終端1以及機器人控制裝置2以外的其他裝置具備上述功能的一部分或全部。

拍攝部211與拍攝終端1的拍攝部12相同。本實施方式所涉及的拍攝部211拍攝包含工件和設置在機械手3的標誌的圖像。例如，拍攝部211拍攝同時包含工件和設定在安裝於機械手3的前端的焊炬32的標誌的圖像。此外，該圖像的拍攝時的與機器人控制裝置2所控制的機械手3的位置姿態相關的資訊與該圖像建立關聯地存儲，用在後述的攝像機坐標系與機器人坐標系的校準中。

攝像機坐標系設定部212基於由拍攝部211拍攝到的圖像中所含的標誌來設定攝像機坐標系。例如，攝像機坐標系設定部212在由拍攝部211拍攝到的圖像中，以標誌的位置為原點，來設定由在該原點相互正交的X軸、Y軸以及Z軸構成的三維的正交坐標系，作為攝像機坐標系。

動作路徑設定部213在由攝像機坐標系設定部212設定的攝像機坐標系中，基於由拍攝部211拍攝到的圖像中所含的工件的焊接位置來設定機械手3的動作路徑。例如，動作路徑設定部213在由拍攝部211拍攝到的圖像中，用戶手動選擇機械手3（焊炬32）的動作路徑，或算出該焊接位置與焊炬32的距離來自動設定機械手3（焊炬32）的動作路徑，以使得安裝於機械手3的前端的焊炬32沿著工件的焊接位置來動作。另外，焊接位置也可以是通過對由拍攝部211拍攝到的圖像進行影像處理來檢測焊接位置候選，由用戶從該焊接位置候選選擇來提取。此外，焊接位置並不限定於用戶通過從焊接位置候選選擇來提取，例如也可以是按照預先設定的條件從焊接位置候選自動提取。

程式生成部214基於設置在機械手3的標誌的設置位置，來將由動作路徑設定部213設定的機械手3的動作路徑從攝像機坐標系變換成機器人控制裝置2中設定的機器人坐標系，並生成使機械手3動作的作業程式。

具體來說，如上述那樣，動作路徑設定部213基於由拍攝部211拍攝到的圖像，來在由攝像機坐標系設定部212設定的攝像機坐標系中設定機械手3的動作路徑。另一方面，機器人控制裝置2掌握設置在機械手3的標誌的設置位置，保持基於該標誌的設置位置的機器人坐標系。程式生成部214基於標誌的設置位置，來將攝像機坐標系中的機械手3的動作路徑變換成機器人坐標系，設定機械手3實際進行動作的路徑，生成作業程式，以使得合適地在焊接位置進行焊接。

在此說明從攝像機坐標系向機器人坐標系的變換。程式生成部214取得與基於由拍攝部211拍攝到的圖像的機械手3的位置姿態相關的資訊，更具體地，至少取得與基於標誌而設定的攝像機坐標系中的焊炬32的位置姿態相關的資訊。另一方面，程式生成部214取得該圖像的拍攝時的與機器人控制裝置2所控制的機械手3的位置姿態相關的資訊。所謂與機器人控制裝置2所控制的機械手3的位置姿態相關的資訊，是與機器人控制裝置2所控制的機械手3的各軸的角度相關的資訊等，能從該資訊掌握機械手3的位置姿態（機器人坐標系）。然後，能基於與基於由拍攝部211拍攝到的圖像中所含的標誌而設定的攝像機坐標系中的焊炬32的位置姿態相關的資訊（攝像機坐標系）、和該圖像的拍攝時的與機器人控制裝置2所控制的機械手3的位置姿態相關的資訊（機器人坐標系），來從攝像機坐標系向機器人坐標系進行變換。

即，進行用於使以由拍攝部211拍攝到的圖像中所含的標誌為基準（原點）的攝像機坐標系、和以該圖像的拍攝時的機器人控制裝置2所控制的各軸的角度為基準的機器人坐標系一致的校準。另外，拍攝終端1和機器人控制裝置2由於如上述那樣以網路N連接，因此，在拍攝終端1所進行的圖像的拍攝時，存儲與機器人控制裝置2所控制的機械手3的各軸的角度相關的資訊等即可。

程式生成部214如上述那樣，使用與由拍攝部211拍攝到的圖像中所含的機械手3的位置姿態相關的資訊（攝像機坐標系）、和與該圖像的拍攝時的由機器人控制裝置2掌握的機械手3的位置姿態相關的資訊（機器人坐標系），來將攝像機坐標系中的機械手3的動作路徑變換成機器人坐標系，設定機械手3實際進行動作的路徑即可。

如此地，在機器人示教系統200中，使用由拍攝部211拍攝到的包含工件和標誌的圖像，來生成使得機械手3合適地在焊接位置進行焊接的作業程式。然後，將該作業程式存儲在機器人控制裝置2中的存儲部，該機器人控制裝置2基於作業程式來控制機械手3的動作，由此，作為焊接機器人系統，能在工件的焊接位置合適地進行焊接。

[機器人示教系統的各處理中的具體的情形]

接下來，詳細說明使用拍攝終端1來拍攝圖像、生成能合適地在焊接位置進行焊接的作業程式為止的具體的情形。

圖3是表示作為焊接對象的工件W以及設置標誌M的焊接機器人系統的情形的圖。如圖3所示那樣，工件W是由成為底板的一片工件Wa和成為側板的二片工件Wb、Wc構成的構造物，標誌M設置在安裝於機械手3的前端的焊炬32（末端執行器）。

在此，機器人控制裝置2在預先設定的機器人坐標系中控制使具有多關節臂31以及焊炬32的機械手3動作的位置以及方向等。標誌M成為該機器人坐標系與後述的攝像機坐標系的校準的基準，機器人控制裝置2需要正確掌握設定該標誌M的位置。標誌M優選正確地設置在機器人控制裝置2所掌握的預先決定的位置。

圖4是表示使標誌M靠近工件W的情形的圖。如圖4所示那樣，例如，通過使機械手3動作，來使設置在焊炬32的標誌M靠近工件W。若是標誌M和工件W靠近的狀態，就易於由拍攝部211拍攝同時包含標誌M和工件W的圖像，此外，通過標誌M與工件W的距離（相對位置）變小，能使測定誤差帶來的影響減輕。

圖5是表示拍攝包含工件W和標誌M的圖像的圖。如圖5所示那樣，由拍攝部211拍攝同時包含工件W和標誌M的圖像。例如，拍攝部211合適地拍攝工件W當中的成為焊接位置的候選的部位以及標誌M，以使得由拍攝部211拍攝到的圖像不會產生工件W當中的成為焊接位置的候選的部位和標誌M的一部分發生缺失、變形、與周邊設備等干涉、模糊等。

換言之，對於標誌M來說，在機械手3的焊炬32設定得難以偏離、變形或破損，並且需要使機械手3動作來使設置於焊炬32的標誌M靠近工件W，以使得能合適地同時拍攝工件W當中的成為焊接位置的候選的部位以及標誌M。

另外，在此，標誌M設置在焊炬32，但並不限定於此，若通過使機械手3動作，從而能與工件W當中的成為焊接位置的候選的部位同時合適地拍攝，則例如也可以設置在焊炬32的近旁、焊接機器人（機械手3）的其他位置。在此，標誌M在與安裝於機械手3的前端的焊炬32（末端執行器）同樣地動作的前端部進行安裝。

例如，標誌M可以設定在末端執行器（焊炬32），也可以設定在用於將末端執行器安裝於機械手3的托架，還可以設定在機械手3的6軸驅動部分。

如此地，通過將標誌M設定在與安裝於機械手3的前端的焊炬32（末端執行器）同樣地動作的前端部，能讓該標誌M與焊炬32（例如TCP：Tool Center Position，工具中心位置）的位置關係沒有變化地被維持。由此，在為了對焊接位置合適地進行焊接而設定焊接機器人的動作路徑時，能容易地確定TCP，能減輕運算量。假設若標誌M與TCP的位置關係對應於機械手3的位置姿態而變化，則在確定TCP時，必須考慮該機械手3的位置姿態，存在運算量增加的可能性。

圖6是表示基於所拍攝到的圖像中所含的標誌M來設定攝像機坐標系的情形的圖。如圖6所示那樣，從由拍攝部211拍攝到的圖像檢測標誌M，將標誌M的位置設為原點O，設定由在該原點O相互正交的X軸、Y軸以及Z軸構成的三維的正交坐標系，作為攝像機坐標系。

在此，標誌M只要是能使拍攝部211認識到正放置於空間內的識別符即可。作為標誌，例如優選使用AR（Augmented Reality，增強現實）標誌。通過使用AR標誌，在認識到放置於空間內的AR標誌時，能簡易地實現使以該AR標誌為原點的攝像機坐標系與實際的影像重合顯示。

進而，如圖6所示那樣，提取工件W的焊接線L1、L2以及L3。具體地，工件W是由成為底板的一片工件Wa和成為側板的二片工件Wb、Wc構成的構造物，作為焊接對象而顯示，分別提取工件Wa、Wb以及Wc的交線L1、L2以及L3，作為焊接線。

作為提取焊接線L1、L2以及L3的方法，例如可以將由拍攝部211拍攝到的圖像顯示在平板終端等顯示畫面（例如拍攝終端1的顯示部14），通過用戶進行選擇來提取。具體地，可以通過在顯示於顯示畫面的圖像中，用戶用手指進行描摹，來提取焊接線L1、L2以及L3。

在此，在將標誌設置在實際的焊接位置的情況下，可以在該標誌中包含例如焊炬32的前端相對於焊接位置的姿態、焊接速度、焊接順序以及詳細的目標位置等資訊。具體地，若在標誌中包含焊炬32的前端相對於焊接位置以45度進行接觸的指示資訊，就還能基於該標誌來設定機械手3的姿態。此外，在有多個焊接位置（焊接線）的情況下，若在各標誌中包含焊接順序，就還能設定機械手3的動作路徑。

此外，也可以使用3D攝像機來自動提取焊接線L1、L2以及L3。具體地，例如使用LiDAR（Light Detection and Ranging，光探測和測距）傳感器等距離測量傳感器來取得與由拍攝部211拍攝到的圖像的工件W對應的點群數據。然後，可以基於描畫在該攝像機坐標系的點群數據來認識工件W的形狀，提取認識為直線的部分，作為焊接線。

另外，作為提取焊接線L1、L2以及L3的方法，並不限定於這些，只要能從由拍攝部211拍攝到的圖像合適地提取焊接線L1、L2以及L3，則例如也可以通過使用其他影像處理等來提取焊接線L1、L2以及L3。

圖7是表示在攝像機坐標系中基於圖像中所含的工件W的焊接位置來設定焊接機器人的動作路徑的情形的圖。如圖7所示那樣，設定機械手3的動作路徑，以使得依次焊接焊接線L1、L2以及L3。

機械手3的動作路徑例如可以通過用戶在平板終端等的顯示畫面上選擇焊接線L1、L2以及L3來設定。用戶可以對焊接線L1、L2以及L3設定進行焊接的順序，或用手指描摹焊接的方向，或設定焊接的速度。

此外，機械手3的動作路徑，例如，可以對應於焊接線L1、L2以及L3與焊炬32的距離來設定。具體地，可以設定成從與焊炬32的距離近的焊接線起開始焊接，也可以設定焊接機器人的動作路徑，以使得在對焊接線L1、L2以及L3全部進行焊接的情況下，焊炬32的移動距離變短。

另外，作為設定用於焊接焊接線L1、L2以及L3的機械手3的動作路徑的方法，並不限定於這些，只要能合適地焊接焊接線L1、L2以及L3，則例如也可以使用AI等來設定機械手3的動作路徑。

具體地，作為機械手3的動作路徑，可以設定成在成從圖像中所含的焊接位置中，從該圖像的上、下、左或右起依次選擇來進行焊接。例如，指定與是將工件左右相連、還是上下重疊等的組裝相應的方向。由此，能減輕焊接時的工件的熱應變等所引起的對接的誤差等。

此外，作為機械手3的動作路徑，可以設定成在圖像中所含的焊接位置中，在相對於重力方向從下向上的方向上依次選擇來進行焊接。例如，在使用拍攝終端1中所含的陀螺儀傳感器資訊、或機器人控制裝置2中所含的機械手3的設置資訊定義了重力方向的基礎上，在從下向上的方向上依次選擇焊接線。由此，能減輕焊接時的工件的熱應變等的影響以及焊道的垂滴等。

如此地，在由拍攝部211拍攝到的圖像中設定攝像機坐標系，在該攝像機坐標系中設定機械手3的動作路徑。

然後，程式生成部214將攝像機坐標系中設定的機械手3的動作路徑基於設置在機械手3的標誌M的設置位置來變換成機器人坐標系，並生成用於在該機器人坐標系中使機械手3動作的作業程式。即，程式生成部214進行用於使攝像機坐標系和機器人坐標系一致的校準，並基於將攝像機坐標系中設定的機械手3的動作路徑變換成機器人坐標系而得到的動作路徑來生成作業程式。在該校準中，如上述那樣，使用與由拍攝部211拍攝到的圖像中所含的機械手3的位置姿態相關的資訊（攝像機坐標系）、和與該圖像的拍攝時的由機器人控制裝置2掌握的機械手3的位置姿態相關的資訊（機器人坐標系）。

[機器人示教方法]

接下來，具體詳細地說明機器人示教系統200使用由攝像機拍攝到的圖像來生成能合適地在焊接位置進行焊接的作業程式的機器人示教方法。

圖8是表示本發明的一實施方式所涉及的機器人示教系統200所執行的機器人示教方法M100的處理的流程的流程圖。如圖8所示那樣，機器人示教方法M100包含步驟S101～S104，各步驟由機器人示教系統200中所含的處理器執行。

在步驟S101，機器人示教系統200拍攝包含焊接對象和設置在焊接機器人的標誌的圖像。作為具體例，機器人示教系統200中的拍攝部211拍攝同時包含成為焊接對象的工件W和設置在安裝於機械手3的前端的焊炬32的標誌M的圖像。此外，該拍攝時的與機器人控制裝置2所控制的機械手3的各軸的角度相關的資訊等，被與該拍攝到的圖像關聯地存儲。

在步驟S102，機器人示教系統200基於步驟S101中拍攝到的圖像中所含的標誌來設定攝像機坐標系。作為具體例，機器人示教系統200中的攝像機坐標系設定部212將圖像中所含的標誌M的位置作為原點O，來設定由在該原點O相互正交的X軸、Y軸以及Z軸構成的三維的正交坐標系，作為攝像機坐標系。

在步驟S103，機器人示教系統200在步驟S102中設定的攝像機坐標系中，基於圖像中所含的焊接對象的焊接位置來設定焊接機器人的動作路徑。作為具體例，機器人示教系統200中的動作路徑設定部213在攝像機坐標系中，設定機械手3的動作路徑，以使得安裝於機械手3的前端的焊炬32沿著工件的焊接位置動作。

在步驟S104，機器人示教系統200基於設置在焊接機器人的標誌的設置位置，來將步驟S103中設定的焊接機器人的動作路徑從攝像機坐標系變換成機器人控制裝置2中設定的機器人坐標系，並生成用於使焊接機器人動作的作業程式。作為具體例，在步驟S103，動作路徑設定部213設定攝像機坐標系中的機械手3的動作路徑。機器人控制裝置2為了以設置在機械手3的標誌M的設置位置為基準來保持機器人坐標系，程式生成部214將攝像機坐標系中的機械手3的動作路徑變換成機器人坐標系，設定機械手3實際進行動作的路徑，生成作業程式，以使得合適地在焊接位置進行焊接。

如以上那樣，根據本發明的一實施方式所涉及的機器人示教系統200以及機器人示教方法M100，拍攝部211拍攝包含成為焊接對象的工件W和設置在機械手3的標誌M的圖像，攝像機坐標系設定部212基於圖像中所含的標誌M來設定攝像機坐標系。然後，程式生成部214基於設置在機械手3的標誌M的設置位置來將攝像機坐標系中設定的機械手3的動作路徑變換成機器人控制裝置2中設定的機器人坐標系，並生成用於使機械手3動作的作業程式。由此，能生成能合適地在焊接位置進行焊接的作業程式。

其結果，即使不實施依賴使機械手3精密地動作的同時生成作業程式這樣的操作者的技能的機器人示教方法，也能通過使用由攝像機拍攝到的圖像來減輕對操作者的技能的依賴，能效率良好地生成作業程式。

另外，在本實施方式中，標誌M在機械手3的焊炬32設定一個，但並不限定於此，例如也可以設定多個。

例如，在要由拍攝部211拍攝成包含工件W和標誌M的情況下，考慮根據拍攝終端1、工件W以及標誌M的位置關係的不同，由於或者工件W、標誌M的一部分未被拍攝到、或者成為陰影、或者拍攝角度不合適的影響，有時無法合適地拍攝同時包含標誌M和工件W的圖像。在該情況下，若在機械手3的焊炬32設定了標誌M，且在相反（背）側也設定了標誌M，則通過拍攝部211拍攝圖像，以使得包含工件W和該二個標誌M當中一個標誌M即可。即，能對應於拍攝終端1、工件W以及多個標誌M的位置關係，同時清楚地拍攝工件W和多個標誌M的任一者。

另外，多個標誌M並不限定於二個，例如也可以設定三個或四個以上的標誌M，以使得包圍焊炬32的周圍，也可以在焊炬32當中的上下方向設定多個。

如此地，通過設置多個標誌M，來由拍攝部211清楚地拍攝標誌M，由此精度提升，進而緩和了姿態所引起的限制。

此外，也可以由拍攝部211拍攝多個圖像。例如，在工件W當中的焊接位置遍及大範圍的情況下，在使標誌M接近後，多次分割地拍攝包含該標誌M和工件W當中的焊接位置的一部分的圖像。然後，通過將多次分割拍攝到的圖像基於各個圖像中所含的標誌M進行重合，即使是焊接位置遍及大範圍的情況，也能適用。

進而，例如也可以從不同的角度多次拍攝同時包含工件W當中的焊接位置和標誌M的圖像。並且，若通過將多次拍攝到的圖像基於各個圖像中所含的標誌M進行重合，來將攝像機坐標系中的焊接位置平均化，就能減輕各拍攝誤差以及測定誤差，提升位置精度。

另外，在本實施方式中，示出了使用LiDAR傳感器等距離測量傳感器來從圖像提取焊接線L1、L2以及L3的示例，但也可以利用從該LiDAR傳感器取得的點群數據，來掌握周邊環境等。例如，若掌握了工件W的形狀、載置台以及其他障礙物等，就能避免與它們的干涉，並設定機械手3的動作路徑。

以上說明的實施方式用於使本發明的理解容易，並不限定地解釋本發明。實施方式所具備的各要素和其配置、材料、條件、形狀以及尺寸等並不限定於例示，能適宜變更。此外，能將不同的實施方式中示出的結構彼此部分地置換或組合。

1:拍攝終端 2:機器人控制裝置 3:機械手 11:控制部 12:拍攝部 13:通信部 14:顯示部 21:控制部 22:存儲部 23:通信部 24:焊接電源部 31:多關節臂 32:焊炬 100:焊接機器人系統 200:機器人示教系統 211:拍攝部 212:攝像機坐標系設定部 213:動作路徑設定部 214:程式生成部 C:通信線纜 M:標誌 N:網路 O:原點 W,Wa,Wb,Wc:工件 L1,L2,L3:焊接線 M100:機器人示教方法 S101～S104:機器人示教方法M100的各步驟

圖1是例示包含本發明的一實施方式所涉及的機器人示教系統的焊接機器人系統100的結構的圖。 圖2是例示本發明的一實施方式所涉及的機器人示教系統200的功能結構的圖。 圖3是表示作為焊接對象的工件W以及設置標誌M的焊接機器人系統的情形的圖。 圖4是表示使標誌M靠近工件W的情形的圖。 圖5是表示拍攝成包含工件W和標誌M的圖像的圖。 圖6是表示基於所拍攝到的圖像中所含的標誌M來設定攝像機坐標系的情形的圖。 圖7是表示在攝像機坐標系中基於圖像中所含的工件W的焊接位置來設定焊接機器人的動作路徑的情形的圖。 圖8是表示本發明的一實施方式所涉及的機器人示教系統200所執行的機器人示教方法M100的處理的流程的流程圖。

200:機器人示教系統 211:拍攝部 212:攝像機坐標系設定部 213:動作路徑設定部 214:程式生成部

Claims (6)

1. 一種機器人示教系統，其特徵在於，具備： 拍攝部，其拍攝包含焊接對象和設置在產業用機器人的標誌的圖像； 攝像機坐標系設定部，其基於所述圖像中所含的標誌來設定攝像機坐標系； 動作路徑設定部，其在所述攝像機坐標系中，基於所述圖像中所含的焊接對象的焊接位置來設定所述產業用機器人的動作路徑；和 程式生成部，其基於設置在所述產業用機器人的標誌的設置位置來將由所述動作路徑設定部設定的所述產業用機器人的動作路徑從所述攝像機坐標系變換成在機器人控制裝置中設定的機器人坐標系，並生成用於使所述產業用機器人動作的作業程式。
2. 如請求項1所述的機器人示教系統，其中： 所述標誌設置在所述產業用機器人當中的與安裝於機械手的前端的末端執行器同樣進行動作的前端部。
3. 如請求項1或2所述的機器人示教系統，其中： 所述動作路徑設定部通過對所述圖像進行影像處理來檢測焊接位置候選，基於從該焊接位置候選提取出的焊接位置來設定所述產業用機器人的動作路徑。
4. 如請求項3所述的機器人示教系統，其中： 所述動作路徑設定部對所述焊接位置進一步基於所設定的焊接的順序，來設定所述產業用機器人的動作路徑。
5. 如請求項4所述的機器人示教系統，其中： 所述動作路徑設定部對應於所述焊接位置與焊炬的距離來選擇焊接的需要與否，及/或設定焊接的順序，來設定所述產業用機器人的動作路徑。
6. 如請求項5所述的機器人示教系統，其中： 所述焊接的順序從特定方向起依次進行選擇。