TWI822314B - 焊接線檢測系統 - Google Patents

Abstract

本發明提供焊接線檢測系統，能提高使焊接機器人示教動作的作業效率，使焊接品質提升。具備：拍攝部（211），其拍攝焊接對象的圖像；坐標系設定部（212），其設定以所拍攝的圖像中所含的標誌為基準的用戶坐標系；點群數據描畫部（213），其基於圖像檢測標誌的特定位置，將該檢測到的特定位置設定在由測定到焊接對象為止的距離的距離測量傳感器取得的點群數據上，將被賦予以該設定的特定位置為原點的用戶坐標系的坐標的點群數據描畫到用戶坐標系；和焊接線檢測部（214），其基於描畫在用戶坐標系的點群數據來檢測焊接對象的焊接線。

Description

焊接線檢測系統

本發明涉及焊接線檢測系統。

在下述專利文獻1中，公開了使焊接機器人對動作進行示教的動作示教系統。在該動作示教系統中，在進行動作示教時，將位於機械手的手指尖部的焊炬交換成拍攝部。並且，基於根據該拍攝部的拍攝圖像生成的焊接部位的位置資訊、和拍攝該拍攝圖像時的機械手的位置以及姿態資訊，來生成該焊接部位的焊接所需的機械手的位置以及姿態的軌跡，通過將各焊接部位中的軌跡合成，來生成示教數據。

現有技術文獻 專利文獻 專利文獻1：JP特開2019-150930號公報

然而，在專利文獻1的動作示教系統中，在進行動作示教前，進行將表示在動作示教時設為生成軌跡的對象的焊接部位的線（焊接線）畫到焊接對象物的作業。並且，該作業通過作業者用筆將焊接線畫到焊接對象物上來進行。因此，不僅作業花費工夫，有時通過筆描繪的線也會殘留於焊接對象物的表面。

為此，本發明目的在於，能提高對焊接機器人示教動作的作業效率、能使焊接品質提升的焊接線檢測系統。

本發明的一方式所涉及的焊接線檢測系統具備：拍攝終端，其拍攝焊接對象的圖像；坐標系設定部，其設定以所拍攝的圖像中所含的標誌為基準的用戶坐標系；點群數據描畫部，其基於圖像檢測標誌的特定位置，將該檢測到的特定位置設定在由測定到焊接對象為止的距離的距離測量傳感器取得的點群數據上，將被賦予以該設定的特定位置為原點的用戶坐標系的坐標的點群數據描畫到用戶坐標系；和焊接線檢測部，其基於描畫在用戶坐標系的點群數據來檢測焊接對象的焊接線。

根據該方式，能基於拍攝焊接對象以及標誌而得到的圖像檢測標誌的特定位置，將該檢測到的標誌的特定位置設定在點群數據上，將賦予了以該設定的標誌的特定位置為原點的用戶坐標系的坐標的點群數據描畫到圖像上，基於該點群數據來檢測焊接對象的焊接線。因此，即使作業者不將焊接線畫到焊接對象，也能認識焊接對象的焊接線。

在上述方式中，也可以是，焊接線檢測部基於點群數據來認識與焊接對象對應的多個面，將該多個面中所含的兩個面的交線檢測為焊接線。

根據該方式，能將由描畫在用戶坐標系的點群數據表徵的面當中的兩個面的交線檢測為焊接線，能使焊接線的檢測精度提升。

在上述方式中，也可以是，焊接線檢測部將兩個面的交線的至少一部分檢測為焊接線。

根據該方式，能將兩個面的交線的至少一部分檢測為焊接線，能沒有遺漏地檢測焊接線的候選。

在上述方式中，也可以是，還具備：程式作成部，其基於由焊接線檢測部檢測到的焊接線來作成用於進行焊接的作業程式。

根據該方式，由於能作成對檢測到的焊接線進行焊接的作業程式，因此，在進行焊接時，能沿著以該作業程式指定的焊接線效率良好地進行焊接。

在上述方式中，也可以是，標誌是AR標誌。

根據該方式，在認識AR標誌時，能使將以該AR標誌的位置為原點的用戶坐標系重合在實際的影像進行顯示的程式啟動。

在上述方式中，也可以是，拍攝終端具備：拍攝圖像的圖像傳感器；和距離測量傳感器。

根據該方式，能使圖像傳感器與距離測量傳感器的位置關係固定，可以將在各傳感器取得數據的定時對準。

在上述方式中，也可以是，拍攝終端還具備：顯示部，其顯示圖像；和控制部，其控制使顯示部顯示的內容，控制部使由焊接線檢測部檢測到的焊接線與圖像重合來顯示於顯示部。

根據該方式，操作拍攝終端的作業者能一邊看著拍攝終端的顯示部一邊容易地判斷是否有未檢測的焊接線。

發明的效果 根據本發明，能提供能提高對焊接機器人示教動作的作業效率、且能使焊接品質提升的焊接線檢測系統。

參考附圖來說明本發明的適合的實施方式。另外，在各圖中，標註相同的附圖標記的要素具有相同或同樣的結構。此外，由於附圖是示意性的，因此各構成要素的尺寸、比率與實際有差異。

圖1是例示包含實施方式所涉及的焊接線檢測系統的焊接機器人系統的結構的圖。焊接機器人系統100例如具備拍攝終端1、機器人控制裝置2和機械手3。拍攝終端1和機器人控制裝置2經由例如網路N連接，機器人控制裝置2和機械手3經由例如通信線纜C連接。網路N可以是有線（包含通信線纜），也可以是無線。另外，在焊接機器人系統100中可以包含示教器。示教器是作業者對機械手3的動作進行示教的操作裝置。

機械手3是按照機器人控制裝置2中設定的施工條件來進行電弧焊接的焊接機器人。機械手3例如具有：設置在固定於工廠的地面等的底座構件上的多關節臂31；和與多關節臂31的前端連結的焊炬32。

機器人控制裝置2是控制機械手3的動作的控制元件，例如包含控制部21、存儲部22、通信部23以及焊接電源部24。

控制部21例如通過處理器執行存儲於存儲部22的作業程式，來控制機械手3以及焊接電源部24。

通信部23控制與經由網路N連接的拍攝終端1的通信，或控制與經由通信線纜C連接的機械手3的通信。

焊接電源部24例如為了使焊絲的前端與工件之間電弧產生，按照預先確定的焊接的施工條件將焊接電流以及焊接電壓等供給到機械手3。焊接的施工條件例如包含焊接條件、焊接開始位置、焊接結束位置、電弧放電的時間、焊接距離、焊炬的姿態以及焊炬的移動速度等數據項目。焊接電源部24可以與機器人控制裝置2分開具備。

拍攝終端1例如是數位攝像機，但也可以是帶數位攝像機的可移動型終端。可移動型終端例如包含平板終端、智慧手機、便攜資訊終端（PDA）、筆記本PC（個人電腦）等能攜帶移動的終端。拍攝終端1例如包含控制部11、拍攝部12、通信部13、顯示部14。

控制部11通過處理器執行存放於記憶體的給定的程式，來控制拍攝終端1的各部。

拍攝部12例如包含鏡頭以及攝像元件（圖像傳感器），將在鏡頭接受到的被攝體的光變換成電信號（數位圖像數據）。

通信部13控制與經由網路N連接的機器人控制裝置2的通信。

顯示部14例如是具有觸控面板的顯示器，顯示拍攝部12得到的被攝體的影像，並且接受作業者的操作指示等的輸入。顯示部14，例如，可以作為具有觸控面板的顯示器裝置，與拍攝終端1分開具備。

圖2是例示本發明所涉及的焊接線檢測系統的功能結構的圖。焊接線檢測系統作為功能結構例如具有拍攝部211、坐標系設定部212、點群數據描畫部213、焊接線檢測部214和程式作成部215。這些功能當中的拍攝部211是拍攝終端1所具有的功能。另一方面，坐標系設定部212、點群數據描畫部213、焊接線檢測部214以及程式作成部215，可以是由拍攝終端1以及機器人控制裝置2的任一方全部具備，也可以是在拍攝終端1以及機器人控制裝置2中分散具備各功能。此外，拍攝終端1以及機器人控制裝置2以外的其他裝置可以具備上述功能的一部分或全部。

拍攝部211與上述拍攝終端1的拍攝部12相同。本實施方式所涉及的拍攝部211例如以由成為電弧焊接的對象的多片鐵板構件（工件）構成的構造物為焊接對象來進行拍攝。在圖3示出焊接對象的一例。在該圖中，由成為底板的一片工件Wa、成為側板的二片工件Wb、Wc和成為背板的一片工件Wd構成的構造物作為焊接對象而顯示。在由該構造物形成的空間內放置後述的標誌M。

圖2所示的坐標系設定部212設定以拍攝部211的影像中所含的標誌的位置為原點的用戶坐標系。在圖4示出以標誌的位置為原點的用戶坐標系的一例。在該圖中，將標誌M的位置設為原點O，將基於在該原點O相互正交的X軸、Y軸以及Z軸的三維的正交坐標系作為用戶坐標系來顯示。

另外，用戶坐標系的原點只要能以標誌（例如標誌的角、標誌的中心等）為基準來設定即可。不是以拍攝終端1為基準設定用戶坐標系的原點，而是以標誌為基準設定用戶坐標系的原點，出於以下的理由。拍攝終端1由於在拍攝時由作業者攜帶而移動，因此難以在機器人坐標系上確定拍攝終端1的位置。與此相對，由於標誌是固定配置的，因此在機器人坐標系上確定標誌的位置比較容易。因此，若以標誌為基準設定用戶坐標系，則與以拍攝終端1為基準設定用戶坐標系相比，能容易地校準用戶坐標系與機器人坐標系的位置關係。

在此，標誌M只要是能使拍攝部211認識到被放置於空間內這一情況的識別符即可。作為標誌，例如優選使用AR（Augmented Reality，擴增實境）標誌。通過使用AR標誌，在認識到被放置於空間內的AR標誌時，能簡易地實現使以該AR標誌為原點的用戶坐標系與實際的影像重合來顯示。

以標誌為基準的用戶坐標系，能通過使攝像機坐標系的原點（例如鏡頭的中心）移動到後述的標誌的特定位置來設定。這樣的用戶坐標系例如能運用設定AR標誌的坐標系的公知的技術來設定。

圖2所示的點群數據描畫部213取得與焊接對象對應的坐標數據（點群數據），將該取得的坐標數據描畫到用戶坐標系。

具體進行說明。點群數據描畫部213基於由拍攝部211拍攝的圖像來檢測標誌的特定位置（例如標誌的角、標誌的中心），將該檢測到的標誌的特定位置設定在由後述的距離測量傳感器取得的點群數據上，將被賦予以該設定的標誌的特定位置為原點的用戶坐標系的坐標的點群數據，描畫到用戶坐標系。設定在點群數據上的標誌的特定位置例如可以通過數據解析自動地認識點群數據上的標誌的特定位置，也可以由作業者對點群數據上的標誌的特定位置進行指示等來指定。

與焊接對象對應的坐標數據例如能由距離測量傳感器取得。距離測量傳感器只要是能測定到焊接對象的距離的傳感器即可。作為距離測量傳感器，例如能使用LiDAR（Light Detection and Ranging，鐳射探測測距）傳感器、毫米波傳感器、超聲波傳感器等。此外，也可以基於從不同的多個位置拍攝焊接對象而得到的多個圖像進行估算，來取得與焊接對象對應的坐標數據。在該情況下，能使用基於公知的立體法的三維測量手法。

在此，可以將距離測量傳感器包含在拍攝終端1中。由此，能使圖像傳感器與距離測量傳感器的位置關係固定，能將在各傳感器取得數據的定時對準。因此，能使將上述的標誌的特定位置設定在點群數據上的處理效率提升。此外，通過在拍攝終端1中具備圖像傳感器和距離測量傳感器，由於操作拍攝終端1的作業者能自由移動到能同時拍攝焊接對象的焊接線和標誌的任意的位置來進行拍攝，因此能提高作業效率。

進而，也可以將一併具有拍攝來取得圖像的傳感器的功能和測量來取得距離的傳感器的功能的傳感器包含在拍攝終端1中。由此，由於能從相同位置且在相同定時取得包含焊接對象的圖像和到焊接對象的距離，因此能進一步提高將上述的標誌的特定位置設定在點群數據上的處理效率。

參考圖5以及圖6來說明將與焊接對象對應的坐標數據作為點群數據描畫到用戶坐標系的概念。

圖5是表示焊接對象的一例的圖。在該圖中例示由放置於作業工作台T上的工件We、和放置成處於與工件We大致垂直關係的工件Wf構成的焊接對象。在焊接對象的旁邊放置標誌M。

圖6是表示描畫到用戶坐標系的點群數據的一例的圖。在該圖中，將與圖5的工件We以及工件Wf分別對應的坐標數據Wec、Wfc、和與圖5的作業工作台T對應的坐標數據Tc作為點群數據描畫到用戶坐標系。

圖2所示的焊接線檢測部214基於描畫在用戶坐標系的點群數據來檢測焊接對象的焊接線。具體地，焊接線檢測部214基於點群數據來認識與焊接對象對應的多個平面，將這些多個平面中所含的兩個平面的交線檢測為焊接線。在兩個平面的組合存在多個的情況下，按各個組合的每一者來檢測焊接線。例如，在圖6中，認識由與工件We對應的坐標數據Wec示出的平面、和由與工件Wf對應的坐標數據Wfc示出的平面，將這兩個平面的交線檢測為焊接線。由此，如圖5所示那樣，檢測焊接線L作為工件Wf與工件We的交線，與實際的影像重合進行顯示。另外，優選在檢測焊接線時，優選將兩個平面的交線的端到端檢測為焊接線。能在任意的條件下設定檢測焊接線時的端點。

在此，作為焊接線進行檢測的並不限定於兩個平面的交線。例如，可將兩個面的交線檢測為焊接線。

此外，在作為焊接線進行檢測時，也可以將以下（1）、（2）的一方或兩方加進檢測焊接線時的條件。

（1）在檢測到的焊接線不足特定的長度的情況下，不採用該焊接線（無視該焊接線）。

（2）將位於檢測到的焊接線的兩端的給定長度部分從該焊接線除外（無視該焊接線的一部分）。

圖2所示的程式作成部215，基於由焊接線檢測部214檢測到的焊接線來作成用於進行電弧焊接的作業程式。程式作成部215使作成的作業程式存儲到機器人控制裝置2的存儲部22。由此，在機械手3進行電弧焊接時，機器人控制裝置2的控制部21能將作業程式讀入，遵循以該作業程式指定的焊接步驟來控制機械手3，以使得沿著以該作業程式指定的焊接線進行焊接。

在此，程式作成部215在作成作業程式時，例如，優選進行使以機械手3的位置為基準設定的機器人坐標系和用戶坐標系一致的校準、或在用戶坐標系上指定機械手3的位置資訊等來將用戶坐標系上的位置和機器人坐標系上的位置建立對應。

參考圖7，來說明程式作成部215作成作業程式時的動作的一例。

最初，程式作成部215基於由焊接線檢測部214檢測到的焊接線來確定用戶坐標系上的焊接線（步驟S101）。

接著，程式作成部215對上述步驟S101中確定的焊接線設定焊炬的前進角、焊炬的後退角以及焊炬的目標角等焊炬的姿態（步驟S102）。

接著，程式作成部215決定包含用戶坐標系上的機械手3的各部的姿態的軌跡（步驟S103）。

接著，程式作成部215將上述步驟S103中決定的用戶坐標系上的軌跡變換成機器人坐標系上的軌跡，並作成作業程式（步驟S104）。然後結束本動作。

在此，上述動作的各步驟在拍攝終端1以及機器人控制裝置2的哪一者中執行都可以，也可以在拍攝終端1執行各步驟的一部分，在機器人控制裝置2執行剩餘一部分。

如前述那樣，根據實施方式所涉及的焊接線檢測系統，能基於拍攝焊接對象以及放置於由該焊接對象形成的空間內的標誌而得到的圖像，來設定以標誌的特定位置為原點的用戶坐標系，在該用戶坐標系中描畫與焊接對象對應的點群數據，基於該點群數據來檢測焊接對象的焊接線。因此，即使作業者不將焊接線畫到焊接對象，也能認識焊接對象的焊接線。

為此，根據實施方式所涉及的焊接線檢測系統，能提高對機械手3示教動作的作業效率，能使焊接品質提升。

此外，由於通過將前述的實施方式所涉及的拍攝終端1作為能攜帶移動的終端，作業者能從任意的部位拍攝焊接對象，因此能檢測位於作業者所期望的位置的焊接線。在拍攝終端1的位置被固定的情況下，不能檢測位於不能從該固定的位置拍攝的部位、範圍的焊接線，但在焊接作業中，還包含鑽到焊接對象的下方進行那樣的作業。因此，通過使用能攜帶移動的拍攝終端1，例如作業者能移動到能拍攝位於焊接對象的下方的焊接線的位置來拍攝焊接對象，由此能檢測作為位於固定的位置的拍攝終端1不能檢測的焊接線。

[變形例]

另外，本發明並不限定於前述的實施方式，能在不脫離本發明的要旨的範圍內以其他種種形實施。為此，上述實施方式在所有點上都是單純的例示，並不限定地進行解釋。

例如，前述的實施方式所涉及的焊接線檢測部214檢測焊接對象的焊接線，但也可以檢測焊接線的候選。在該情況下，優選還具備：焊接線選擇部，其讓作業者從檢測到的焊接線的候選中選擇實際進行焊接的焊接線。除此以外，優選程式作成部215基於由焊接線選擇部選擇的焊接線來作成用於進行電弧焊接的作業程式。

此外，也可以是，前述的實施方式所涉及的拍攝終端1的控制部11使由焊接線檢測部214檢測到的焊接線與由拍攝部12拍攝的圖像重合地顯示於顯示部14。由此，操作拍攝終端1的作業者能一邊看著拍攝終端1的顯示部14一邊容易地判斷是否有未檢測的焊接線。換言之，能將用於判斷是否重新進行拍攝終端1的拍攝的有效的資訊提供給作業者。

1:拍攝終端 2:機器人控制裝置 3:機械手 11:控制部 12:拍攝部 13:通信部 14:顯示部 21:控制部 22:存儲部 23:通信部 24:焊接電源部 31:多關節臂 32:焊炬 100:焊接機器人系統 211:拍攝部 212:坐標系設定部 213:點群數據描畫部 214:焊接線檢測部 215:程式作成部 C:通信線纜 M:標誌 N:網路 O:原點

圖1是例示包含實施方式所涉及的焊接線檢測系統的焊接機器人系統的結構的圖。 圖2是例示焊接線檢測系統的功能結構的圖。 圖3是表示焊接對象的一例的圖。 圖4是表示以標誌的位置為原點的用戶坐標系的一例的圖。 圖5是表示焊接對象的一例的圖。 圖6是表示在用戶坐標系中描畫的點群數據的一例的圖。 圖7是用於說明在焊接線檢測系統中作成作業程式時的動作的一例的流程。

211:拍攝部

212:坐標系設定部

213:點群數據描畫部

214:焊接線檢測部

215:程式作成部

Claims (5)

1. 一種焊接線檢測系統，其特徵在於，具備：拍攝終端，其拍攝焊接對象的圖像；坐標系設定部，其設定以所拍攝的所述圖像中所含的標誌為基準的用戶坐標系；點群數據描畫部，其基於所述圖像檢測所述標誌的特定位置，將該檢測到的所述特定位置設定在由測定到所述焊接對象為止的距離的距離測量傳感器取得的點群數據上，將被賦予以該設定的所述特定位置為原點的所述用戶坐標系的坐標的所述點群數據描畫到所述用戶坐標系；焊接線檢測部，其基於描畫在所述用戶坐標系的所述點群數據來檢測所述焊接對象的焊接線；所述標誌是AR標誌；所述拍攝終端具備：拍攝所述圖像的圖像傳感器；和所述距離測量傳感器。
2. 如請求項1所述的焊接線檢測系統，其中：所述焊接線檢測部基於所述點群數據來認識與所述焊接對象對應的多個面，將該多個面中所含的兩個面的交線檢測為所述焊接線。
3. 如請求項2所述的焊接線檢測系統，其中：所述焊接線檢測部將所述兩個面的交線的至少一部分檢測為所述焊接線。
4. 如請求項1或2所述的焊接線檢測系統，其中所述焊接線檢測系統還具備： 程式作成部，其基於由所述焊接線檢測部檢測到的所述焊接線來作成用於進行焊接的作業程式。
5. 如請求項1所述的焊接線檢測系統，其中所述拍攝終端還具備：顯示部，其顯示所述圖像；和控制部，其控制使所述顯示部顯示的內容；所述控制部使由所述焊接線檢測部檢測到的所述焊接線與所述圖像重合來顯示於所述顯示部。