KR20230065881A

KR20230065881A - 로봇 교시 시스템

Info

Publication number: KR20230065881A
Application number: KR1020220107505A
Authority: KR
Inventors: 마코토 이케구치
Original assignee: 가부시키가이샤 다이헨
Priority date: 2021-11-05
Filing date: 2022-08-26
Publication date: 2023-05-12
Also published as: JP7190552B1; JP2023069253A; EP4177015B1; EP4177015A1; US20230147777A1; TWI807990B; TW202319194A; CN116079750A

Abstract

카메라로 촬영한 화상을 이용하여, 적절하게 용접 위치에 용접 가능한 작업 프로그램을 생성하는 로봇 교시 시스템을 제공하는 것이다. 로봇 교시 시스템(200)은, 용접 대상과 산업용 로봇에 설치된 마커를 포함하는 화상을 촬영하는 촬영부(211)와, 화상에 포함되는 마커에 기초하여 카메라 좌표계를 설정하는 카메라 좌표계 설정부(212)와, 카메라 좌표계에 있어서, 화상에 포함되는 용접 대상의 용접 위치에 기초하여 산업용 로봇의 동작 경로를 설정하는 동작 경로 설정부(213)와, 산업용 로봇에 설치된 마커의 설치 위치에 기초하여, 동작 경로 설정부(213)에 의하여 설정된 산업용 로봇의 동작 경로를, 카메라 좌표계로부터 로봇 제어 장치(2)에 설정되어 있는 로봇 좌표계로 변환하면서, 산업용 로봇을 동작시키기 위한 작업 프로그램을 생성하는 프로그램 생성부(214)를 구비한다.

Description

로봇 교시 시스템 {ROBOT TEACHING SYSTEM}

본 발명은, 로봇 교시 시스템에 관한 것이다.

최근, 산업계에 있어서, 많은 로봇이 보급되고 있다. 해당 로봇은, 예를 들면, 전자 부품 및 기계 부품의 조립, 용접 및 반송 등에 이용되며, 공장의 생산 라인의 효율화 및 자동화가 도모되고 있다. 이러한 로봇은, 원하는 동작을 시키기 위한 프로그램을 작성하여, 소위 교시 데이터로서 미리 기억시켜 둘 필요가 있다. 해당 교시 데이터는, 조작자가 티칭 팬던트를 이용하여, 로봇 제어 장치와 연계하여, 실제의 로봇을 조작함으로써, 그 동작을 기록시켜 생성된다.

조작자가 티칭 팬던트를 이용하여 실제로 로봇을 동작시키면서 교시 데이터를 작성하기에는, 조작자의 스킬에 대한 의존도가 크며, 장시간을 필요로 하는 경우가 있다. 특히, 로봇의 정밀한 동작을 기록할 때에는, 로봇의 동작을 상세하게 이해하고 티칭 팬던트의 조작에도 익숙해져 있는 숙련자에 의존해야 한다.

그리고, 조작자에 대한 부담을 경감하기 위하여, AR 디바이스 및 마커를 이용하여 로봇의 위치를 인식하는 로봇 시스템이 개시되어 있다(예를 들면, 특허 문헌 1).

특허 문헌 1에 개시되어 있는 로봇 시스템에서는, 복수의 기준용 마커와 로봇 좌표계 특정용 마커를 이용하여, 해당 복수의 기준용 마커에 대한 로봇 좌표계 특정용 마커 상에 설정된 좌표계의 위치 또는 방향을 인식하도록 구성되며, 이에 의하여, 로봇의 위치 또는 방향을 AR 디바이스로 인식할 수 있도록 하고 있다.

특허 문헌 1: 일본 특허 공개 공보 제2021-062463호

그러나, 특허 문헌 1에 개시되어 있는 로봇 시스템에서는, 복수의 기준용 마커와 로봇 좌표계 특정용 마커를 설정해야 되며, 또한, 로봇 교시 시스템에 있어서는, 로봇 및 용접 개소의 위치를 파악하면서 적절한 로봇 동작을 고려하여, 적절하게 작업 프로그램을 생성해야 한다고 하는 과제가 있다.

이에, 본 발명은, 카메라로 촬영한 화상을 이용하여, 적절하게 용접 위치에 용접 가능한 작업 프로그램을 생성하는 로봇 교시 시스템을 제공하는 것을 목적으로 한다.

본 발명의 일 태양에 따른 로봇 교시 시스템은, 용접 대상과 산업용 로봇에 설치된 마커를 포함하는 화상을 촬영하는 촬영부와, 화상에 포함되는 마커에 기초하여 카메라 좌표계를 설정하는 카메라 좌표계 설정부와, 카메라 좌표계에 있어서, 화상에 포함되는 용접 대상의 용접 위치에 기초하여 산업용 로봇의 동작 경로를 설정하는 동작 경로 설정부와, 산업용 로봇에 설치된 마커의 설치 위치에 기초하여, 동작 경로 설정부에 의하여 설정된 산업용 로봇의 동작 경로를, 카메라 좌표계로부터 로봇 제어 장치에 설정되어 있는 로봇 좌표계로 변환하면서, 산업용 로봇을 동작시키기 위한 작업 프로그램을 생성하는 프로그램 생성부를 구비한다.

이 태양에 의하면, 촬영부는, 용접 대상과 산업용 로봇에 설치된 마커를 포함하는 화상을 촬영하고, 카메라 좌표계 설정부는, 화상에 포함되는 마커에 기초하여 카메라 좌표계를 설정한다. 그리고, 프로그램 생성부는, 산업용 로봇에 설치된 마커의 설치 위치에 기초하여, 카메라 좌표계에서 설정된 산업용 로봇의 동작 경로를, 로봇 제어 장치에 설정되어 있는 로봇 좌표계로 변환하면서, 산업용 로봇을 동작시키기 위한 작업 프로그램을 생성한다. 이에 의하여, 적절하게 용접 위치에 용접 가능한 작업 프로그램을 생성할 수 있다. 또한, 용접 대상과 마커를 동시에 촬영하므로, 카메라 좌표계로부터 로봇 좌표계로 변환하는 칼리브레이션을 행하면서, 용접 대상의 용접 위치의 검출을 동시에 할 수 있다. 또한, 산업용 로봇에 마커가 설정되어 있으므로, 용접 대상의 근방에 마커를 설치할 수 없는 상황이어도, 산업용 로봇에 설정된 마커에 기초하여, 용접 대상의 용접 위치를 적절하게 검출할 수 있다.

상기 태양에 있어서, 마커는, 산업용 로봇 중, 매니퓰레이터의 선단에 장착되는 엔드 이펙터와 마찬가지로 동작하는 선단부에 설치되어도 된다.

이 태양에 의하면, 마커는, 산업용 로봇 중, 매니퓰레이터의 선단에 장착되는 엔드 이펙터와 마찬가지로 동작하는 선단부에 설치되므로, 매니퓰레이터를 동작시키면, 촬영부는, 마커가 용접 대상의 용접 위치에 근접한 상태에서 화상을 촬영할 수 있다. 이에 의하여, 마커와 용접 위치와의 상대 위치가 근접하게 되어, 해당 상대 위치가 가까우면 가까울수록 오차가 생기기 어려워진다.

상기 태양에 있어서, 동작 경로 설정부는, 화상을 화상 처리함으로써 용접 위치 후보가 검출되고, 해당 용접 위치 후보로부터 추출된 용접 위치에 기초하여 산업용 로봇의 동작 경로를 설정해도 된다.

이 태양에 의하면, 화상을 화상 처리함으로써 용접 위치 후보가 검출되고, 해당 용접 위치 후보로부터 용접 위치가 추출된다. 이에 의하여, 동작 경로 설정부는, 보다 적절하게 추출된 용접 위치에 기초하여 산업용 로봇의 동작 경로를 설정할 수 있다.

상기 태양에 있어서, 동작 경로 설정부는, 용접 위치에 대하여, 더 설정되는 용접 순서에 기초하여 산업용 로봇의 동작 경로를 설정해도 된다.

이 태양에 의하면, 동작 경로 설정부는, 용접 위치에 대하여, 더 설정되는 용접 순서에 기초하여 산업용 로봇의 동작 경로를 설정하므로, 설정되는 용접 순서도 고려하여, 보다 적절하게 산업용 로봇의 동작 경로를 설정할 수 있다.

상기 태양에 있어서, 동작 경로 설정부는, 용접 위치와 용접 토치와의 거리에 따라, 용접의 요부를 선택하고, 및/또는 용접 순서를 설정하여 산업용 로봇의 동작 경로를 설정해도 된다.

이 태양에 의하면, 동작 경로 설정부는, 용접 위치와 용접 토치와의 거리에 따라, 적절하게, 용접의 요부 및/또는 용접 순서를 설정하므로, 보다 적절하게, 산업용 로봇의 동작 경로를 설정할 수 있다.

상기 태양에 있어서, 용접 순서는, 특정 방향으로부터 순서대로 선택해도 된다.

이 태양에 의하면, 용접 순서는, 특정 방향으로서, 화상에 포함되는 용접 위치 중, 화상의 상, 하, 좌 또는 우로부터 순서대로 설정되거나, 중력 방향에 대하여 아래에서 위로 향하는 방향으로 순서대로 설정된다. 이에 의하여, 워크의 조립에 따라 용접 시의 워크의 열 변형 등에 의한 대조의 오차 등을 경감하고, 또한, 비드의 늘어짐 등을 경감할 수 있다.

본 발명에 의하면, 카메라로 촬영한 화상을 이용하여, 적절하게 용접 위치에 용접 가능한 작업 프로그램을 생성하는 로봇 교시 시스템을 제공할 수 있다.

도 1은, 본 발명의 일 실시 형태에 따른 로봇 교시 시스템을 포함하는 용접 로봇 시스템(100)의 구성을 예시하는 도면이다.
도 2는, 본 발명의 일 실시 형태에 따른 로봇 교시 시스템(200)의 기능적인 구성을 예시하는 도면이다.
도 3은, 용접 대상인 워크(W), 및 마커(M)가 설치되어 있는 용접 로봇 시스템의 모습을 도시하는 도면이다.
도 4는, 마커(M)를 워크(W)에 접근시키는 모습을 도시하는 도면이다.
도 5는, 워크(W)와 마커(M)가 포함되도록 촬영된 화상을 도시하는 도면이다.
도 6은, 촬영된 화상에 포함되는 마커(M)에 기초하여 카메라 좌표계가 설정되는 모습을 도시하는 도면이다.
도 7은, 카메라 좌표계에 있어서, 화상에 포함되는 워크(W)의 용접 위치에 기초하여 용접 로봇의 동작 경로가 설정되는 모습을 도시하는 도면이다.
도 8은, 본 발명의 일 실시 형태에 따른 로봇 교시 시스템(200)이 실행하는 로봇 교시 방법(M100)의 처리의 흐름을 도시하는 플로우차트이다.

이하, 본 발명의 실시 형태에 대하여, 도면을 참조하면서 구체적으로 설명한다. 또한, 이하에서 설명하는 실시 형태는, 어디까지나 본 발명을 실시하기 위한 구체적인 일예를 드는 것이며, 본 발명을 한정적으로 해석시키는 것은 아니다. 또한, 설명의 이해를 용이하게 하기 위하여, 각 도면에서 동일한 구성 요소에 대해서는 가능한 한 동일한 부호를 붙이고, 중복된 설명은 생략하는 경우가 있다.

<일 실시 형태>

[용접 로봇 시스템의 기본 구성]

도 1은, 본 발명의 일 실시 형태에 따른 로봇 교시 시스템을 포함하는 용접 로봇 시스템(100)의 구성을 예시하는 도면이다. 도 1에 도시한 바와 같이, 용접 로봇 시스템(100)은, 예를 들면, 촬영 단말(1)과, 로봇 제어 장치(2)와, 매니퓰레이터(3)를 구비한다. 촬영 단말(1)과 로봇 제어 장치(2)는, 예를 들면, 네트워크(N)를 통하여 접속되고, 로봇 제어 장치(2)와 매니퓰레이터(3)는, 예를 들면, 통신 케이블(C)을 통하여 접속된다. 네트워크(N)는, 유선(통신 케이블을 포함)이어도 되고 무선이어도 된다. 또한, 용접 로봇 시스템(100)에, 티칭 팬던트를 포함해도 된다. 티칭 팬던트는, 작업자가 매니퓰레이터(3)의 동작을 교시하는 조작 장치이다.

매니퓰레이터(3)는, 로봇 제어 장치(2)에서 설정되는 시공 조건에 따라 아크 용접을 행하는 용접 로봇(산업용 로봇)이다. 매니퓰레이터(3)는, 예를 들면, 공장의 마루면 등에 고정되는 베이스 부재 상에 설치되는 다관절 암(31)과, 다관절 암(31)의 선단에 연결되는 용접 토치(32)(엔드 이펙터)를 가진다.

로봇 제어 장치(2)는, 매니퓰레이터(3)의 동작을 제어하는 제어 유닛이며, 예를 들면, 제어부(21), 기억부(22), 통신부(23) 및 용접 전원부(24)를 포함한다.

제어부(21)는, 예를 들면, 기억부(22)에 기억되어 있는 작업 프로그램을 프로세서가 실행함으로써, 매니퓰레이터(3) 및 용접 전원부(24)를 제어한다.

통신부(23)는, 네트워크(N)를 통하여 접속되는 촬영 단말(1)과의 통신을 제어하는 것, 또는 통신 케이블(C)을 통하여 접속되는 매니퓰레이터(3)와의 통신을 제어한다.

용접 전원부(24)는, 예를 들면, 용접 와이어의 선단과 워크와의 사이에 아크를 발생시키기 위하여, 미리 정해진 용접의 시공 조건에 따라, 용접 전류 및 용접 전압 등을 매니퓰레이터(3)로 공급한다. 용접의 시공 조건에는, 예를 들면, 용접 조건, 용접 개시 위치, 용접 종료 위치, 아크 방전의 시간, 용접 거리, 용접 토치의 자세 및 용접 토치의 이동 속도 등의 데이터 항목이 포함된다. 용접 전원부(24)는, 로봇 제어 장치(2)와, 별개로 구비하는 것으로 해도 된다.

촬영 단말(1)은, 예를 들면, 디지털 카메라이지만, 디지털 카메라가 부착된 가반형(可搬型) 단말이어도 된다. 가반형 단말에는, 예를 들면, 태블릿 단말, 스마트폰, 휴대 정보 단말(PDA), 노트 PC(퍼스널 컴퓨터) 등의 운반 가능한 단말이 포함된다. 촬영 단말(1)은, 예를 들면, 제어부(11), 촬영부(12), 통신부(13), 표시부(14)를 포함한다.

제어부(11)는, 메모리에 저장된 소정의 프로그램을 프로세서가 실행함으로써, 촬영 단말(1)의 각 부를 제어한다.

촬영부(12)는, 예를 들면, 렌즈 및 촬상 소자(이미지 센서)를 포함하여, 렌즈로 수광한 피사체의 빛을 전기 신호(디지털 화상 데이터)로 변환한다.

통신부(13)는, 네트워크(N)를 통하여 접속되는 로봇 제어 장치(2)와의 통신을 제어한다.

표시부(14)는, 예를 들면, 터치 패널을 가지는 디스플레이이며, 촬영부(12)에 의한 피사체의 영상을 표시함과 동시에, 작업자에 의한 조작 지시 등의 입력을 접수한다. 표시부(14)는, 예를 들면, 터치 패널을 가지는 디스플레이 장치로서, 촬영 단말(1)과는 별개로 구비하는 것으로 해도 된다.

[로봇 교시 시스템의 구성]

도 2는, 본 발명의 일 실시 형태에 따른 로봇 교시 시스템(200)의 기능적인 구성을 예시하는 도면이다. 도 2에 도시한 바와 같이, 로봇 교시 시스템(200)은, 기능적인 구성으로서, 예를 들면, 촬영부(211)와, 카메라 좌표계 설정부(212)와, 동작 경로 설정부(213)와, 프로그램 생성부(214)를 가진다. 이들 기능 중, 촬영부(211)는, 촬영 단말(1)이 가지는 기능이다. 한편, 카메라 좌표계 설정부(212), 동작 경로 설정부(213) 및 프로그램 생성부(214)는, 촬영 단말(1) 및 로봇 제어 장치(2) 중 어느 하나가 전부를 구비해도 되고, 촬영 단말(1) 및 로봇 제어 장치(2)에 각 기능을 분산하여 구비해도 된다. 또한, 촬영 단말(1) 및 로봇 제어 장치(2) 이외의 다른 장치가, 상기 기능의 일부 또는 전부를 구비해도 된다.

촬영부(211)는, 촬영 단말(1)의 촬영부(12)와 동일하다. 본 실시 형태에 따른 촬영부(211)는, 워크와 매니퓰레이터(3)에 설치된 마커를 포함하는 화상을 촬영한다. 예를 들면, 촬영부(211)는, 워크와 매니퓰레이터(3)의 선단에 장착되는 용접 토치(32)에 설정된 마커가 동시에 포함되는 화상을 촬영한다. 또한, 해당 화상의 촬영 시에 있어서의, 로봇 제어 장치(2)가 제어하는 매니퓰레이터(3)의 위치 자세에 관한 정보는, 해당 화상과 관련되어 기억되고, 후술하는 카메라 좌표계와 로봇 좌표계와의 칼리브레이션에 이용된다.

카메라 좌표계 설정부(212)는, 촬영부(211)에 의하여 촬영된 화상에 포함되는 마커에 기초하여 카메라 좌표계를 설정한다. 예를 들면, 카메라 좌표계 설정부(212)는, 촬영부(211)에 의하여 촬영된 화상에 있어서, 마커의 위치를 원점으로 하여, 해당 원점에서 서로 직교하는 X 축, Y 축 및 Z 축에 의한 3 차원의 직교 좌표계를 카메라 좌표계로서 설정한다.

동작 경로 설정부(213)는, 카메라 좌표계 설정부(212)에 의하여 설정된 카메라 좌표계에 있어서, 촬영부(211)에 의하여 촬영된 화상에 포함되는 워크의 용접 위치에 기초하여 매니퓰레이터(3)의 동작 경로를 설정한다. 예를 들면, 동작 경로 설정부(213)는, 촬영부(211)에 의하여 촬영된 화상에 있어서, 매니퓰레이터(3)의 선단에 장착된 용접 토치(32)가 워크의 용접 위치를 따라 동작하도록, 매니퓰레이터(3)(용접 토치(32))의 동작 경로를 유저가 수동으로 선택하거나, 해당 용접 위치와 용접 토치(32)와의 거리를 산출하여 자동적으로 설정한다. 또한, 용접 위치는, 촬영부(211)에 의하여 촬영된 화상을 화상 처리함으로써 용접 위치 후보를 검출하고, 해당 용접 위치 후보로부터 유저가 선택함으로써 추출되도록 해도 된다. 또한, 용접 위치는, 용접 위치 후보로부터 유저가 선택함으로써 추출되는 것으로 한정되는 것은 아니며, 예를 들면, 미리 설정된 조건에 따라, 용접 위치 후보로부터 자동적으로 추출되도록 해도 상관없다.

프로그램 생성부(214)는, 매니퓰레이터(3)에 설치된 마커의 설치 위치에 기초하여, 동작 경로 설정부(213)에 의하여 설정된 매니퓰레이터(3)의 동작 경로를, 카메라 좌표계로부터 로봇 제어 장치(2)에 설정되어 있는 로봇 좌표계로 변환하면서, 매니퓰레이터(3)를 동작시키기 위한 작업 프로그램을 생성한다.

구체적으로는, 상술한 바와 같이, 동작 경로 설정부(213)는, 촬영부(211)에 의하여 촬영된 화상에 기초하여, 카메라 좌표계 설정부(212)에 의하여 설정된 카메라 좌표계에 있어서, 매니퓰레이터(3)의 동작 경로를 설정하고 있다. 한편, 로봇 제어 장치(2)는, 매니퓰레이터(3)에 설치된 마커의 설치 위치를 파악하고 있고, 해당 마커의 설치 위치에 기초하는 로봇 좌표계를 보지하고 있다. 프로그램 생성부(214)는, 마커의 설치 위치에 기초하여, 카메라 좌표계에 있어서의 매니퓰레이터(3)의 동작 경로를 로봇 좌표계로 변환하고, 매니퓰레이터(3)가 실제로 동작하는 경로를 설정하여, 적절하게 용접 위치에 용접하도록 작업 프로그램을 생성한다.

여기서, 카메라 좌표계로부터 로봇 좌표계로의 변환에 대하여 설명한다. 프로그램 생성부(214)는, 촬영부(211)에 의하여 촬영된 화상에 기초하는 매니퓰레이터(3)의 위치 자세에 관한 정보를 취득하고, 보다 구체적으로는, 적어도 마커에 기초하여 설정된 카메라 좌표계에 있어서의 용접 토치(32)의 위치 자세에 관한 정보를 취득한다. 한편, 프로그램 생성부(214)는, 해당 화상의 촬영 시에 있어서의, 로봇 제어 장치(2)가 제어하는 매니퓰레이터(3)의 위치 자세에 관한 정보를 취득한다. 로봇 제어 장치(2)가 제어하는 매니퓰레이터(3)의 위치 자세에 관한 정보는, 로봇 제어 장치(2)가 제어하는 매니퓰레이터(3)의 각 축의 각도에 관한 정보 등이며, 해당 정보로부터 매니퓰레이터(3)의 위치 자세를 파악할 수 있다(로봇 좌표계). 그리고, 촬영부(211)에 의하여 촬영된 화상에 포함되는 마커에 기초하여 설정된 카메라 좌표계에 있어서의 용접 토치(32)의 위치 자세에 관한 정보(카메라 좌표계)와, 해당 화상의 촬영 시에 있어서의, 로봇 제어 장치(2)가 제어하는 매니퓰레이터(3)의 위치 자세에 관한 정보(로봇 좌표계)에 기초하여, 카메라 좌표계로부터 로봇 좌표계로 변환할 수 있다.

즉, 촬영부(211)에 의하여 촬영된 화상에 포함되는 마커를 기준(원점)으로 하는 카메라 좌표계와, 해당 화상의 촬영 시에 있어서의 로봇 제어 장치(2)가 제어하는 각 축의 각도를 기준으로 하는 로봇 좌표계를 일치시키기 위한 칼리브레이션을 행하고 있다. 또한, 촬영 단말(1)과 로봇 제어 장치(2)는, 상술한 바와 같이, 네트워크(N)로 접속되어 있으므로, 촬영 단말(1)에 의한 화상의 촬영 시에, 로봇 제어 장치(2)가 제어하는 매니퓰레이터(3)의 각 축의 각도에 관한 정보 등을 기억해 두면 된다.

프로그램 생성부(214)는, 상술한 바와 같이, 촬영부(211)에 의하여 촬영된 화상에 포함되는 매니퓰레이터(3)의 위치 자세에 관한 정보(카메라 좌표계)와, 해당 화상의 촬영 시에 있어서의 로봇 제어 장치(2)에 의하여 파악되어 있는 매니퓰레이터(3)의 위치 자세에 관한 정보(로봇 좌표계)를 이용하여, 카메라 좌표계에 있어서의 매니퓰레이터(3)의 동작 경로를 로봇 좌표계로 변환하고, 매니퓰레이터(3)가 실제로 동작하는 경로를 설정하면 된다.

이와 같이, 로봇 교시 시스템(200)에서는, 촬영부(211)에서 촬영한 워크와 마커를 포함하는 화상을 이용하여, 매니퓰레이터(3)가 적절하게 용접 위치에 용접하는 작업 프로그램을 생성하고 있다. 그리고, 해당 작업 프로그램은, 로봇 제어 장치(2)에 있어서의 기억부에 기억되고, 해당 로봇 제어 장치(2)는, 작업 프로그램에 기초하여 매니퓰레이터(3)의 동작을 제어하고, 이에 의하여, 용접 로봇 시스템으로서, 워크의 용접 위치에 적절하게 용접할 수 있다.

[로봇 교시 시스템의 각 처리에 있어서의 구체적인 모습]

이어서, 촬영 단말(1)을 이용하여 화상을 촬영하고, 적절하게 용접 위치에 용접 가능한 작업 프로그램을 생성할 때까지의 구체적인 모습에 대하여, 자세히 설명한다.

도 3은, 용접 대상인 워크(W), 및 마커(M)가 설치되어 있는 용접 로봇 시스템의 모습을 도시하는 도면이다. 도 3에 도시한 바와 같이, 워크(W)는, 저판이 되는 1 매의 워크(Wa)와, 측판이 되는 2 매의 워크(Wb, Wc)로 구성되는 구조물이며, 마커(M)는, 매니퓰레이터(3)의 선단에 장착되는 용접 토치(32)(엔드 이펙터)에 설치되어 있다.

여기서, 로봇 제어 장치(2)는, 미리 설정된 로봇 좌표계에 있어서, 다관절 암(31) 및 용접 토치(32)를 가지는 매니퓰레이터(3)를 동작시키는 위치 및 방향 등을 제어한다. 마커(M)는, 해당 로봇 좌표계와 후술하는 카메라 좌표계와의 칼리브레이션의 기준이 되는 것이며, 로봇 제어 장치(2)는, 해당 마커(M)가 설정되어 있는 위치를 정확하게 파악해 둘 필요가 있다. 마커(M)는, 로봇 제어 장치(2)가 파악하는 미리 결정된 위치에 정확하게 설치되어 있는 것이 바람직하다.

도 4는, 마커(M)를 워크(W)에 접근시키는 모습을 도시하는 도면이다. 도 4에 도시한 바와 같이, 예를 들면, 매니퓰레이터(3)를 동작시킴으로써, 용접 토치(32)에 설치되어 있는 마커(M)를 워크(W)에 접근시키고 있다. 마커(M)와 워크(W)가 접근된 상태라면, 촬영부(211)에 의하여 마커(M)와 워크(W)가 동시에 포함되는 화상을 촬영하기 쉬우며, 또한, 마커(M)와 워크(W)와의 거리(상대 위치)가 작아짐으로써, 측정 오차에 의한 영향을 경감시킬 수 있다.

도 5는, 워크(W)와 마커(M)가 포함되도록 촬영된 화상을 도시하는 도면이다. 도 5에 도시한 바와 같이, 촬영부(211)에 의하여 워크(W)와 마커(M)가 동시에 포함되는 화상이 촬영되어 있다. 예를 들면, 촬영부(211)에 의하여 촬영되는 화상은, 워크(W) 중 용접 위치의 후보가 되는 개소 또는 마커(M)의 일부의 누락, 왜곡, 주변 기기 등과의 간섭, 희미해짐 등이 발생하지 않도록, 촬영부(211)는, 워크(W) 중 용접 위치의 후보가 되는 개소, 및 마커(M)를 적절하게 촬영하고 있다.

환언하면, 마커(M)는, 매니퓰레이터(3)의 용접 토치(32)에, 이탈, 왜곡, 또는 파손이 어렵도록 설정하고, 워크(W) 중 용접 위치의 후보가 되는 개소, 및 마커(M)가 적절하게 동시에 촬영 가능하도록, 매니퓰레이터(3)를 동작시켜 용접 토치(32)에 설치되어 있는 마커(M)를 워크(W)에 접근시킬 필요가 있다.

또한, 여기에서는, 마커(M)는, 용접 토치(32)에 설치하고 있으나, 이에 한정되는 것은 아니며, 매니퓰레이터(3)를 동작시킴으로써, 워크(W) 중 용접 위치의 후보가 되는 개소와 동시에 적절하게 촬영된다면, 예를 들면, 용접 토치(32)의 근방 또는 용접 로봇(매니퓰레이터(3))의 그 밖의 위치에 설치되어도 상관없다. 여기서, 마커(M)는, 매니퓰레이터(3)의 선단에 장착되는 용접 토치(32)(엔드 이펙터)와 마찬가지로 동작하는 선단부에 장착된다.

예를 들면, 마커(M)는, 엔드 이펙터(용접 토치(32))에 설정되어도 되고, 엔드 이펙터를 매니퓰레이터(3)에 장착하기 위한 브라켓에 설정되어도 되며, 매니퓰레이터(3)의 6 축 구동 부분에 설정되어도 된다.

이와 같이, 마커(M)는, 매니퓰레이터(3)의 선단에 장착되는 용접 토치(32)(엔드 이펙터)와 마찬가지로 동작하는 선단부에 설정됨으로써, 해당 마커(M)와 용접 토치(32)(예를 들면, TCP：Tool　Center　Position)와의 위치 관계가 변화되지 않고 유지된다. 이에 의하여, 용접 위치에 대하여 적절하게 용접하기 위해, 용접 로봇의 동작 경로를 설정할 때에, TCP를 용이하게 특정할 수 있어, 연산량을 경감할 수 있다. 만일, 마커(M)와 TCP와의 위치 관계가, 매니퓰레이터(3)의 위치 자세에 따라 변화되어 버리면, TCP를 특정할 때에, 해당 매니퓰레이터(3)의 위치 자세를 고려해야 되며, 연산량이 증가될 가능성이 있다.

도 6은, 촬영된 화상에 포함되는 마커(M)에 기초하여 카메라 좌표계가 설정되는 모습을 도시하는 도면이다. 도 6에 도시한 바와 같이, 촬영부(211)에 의하여 촬영된 화상으로부터 마커(M)가 검출되고, 마커(M)의 위치를 원점(O)으로 하고, 그 원점(O)에서 서로 직교하는 X 축, Y 축 및 Z 축에 의한 3 차원의 직교 좌표계가, 카메라 좌표계로서 설정되어 있다.

여기서, 마커(M)는, 공간 내에 놓여있는 것을 촬영부(211)에 인식시킬 수 있는 식별자이면 된다. 마커로서, 예를 들면, AR(Augmented　Reality) 마커를 이용하는 것이 바람직하다. AR 마커를 이용함으로써, 공간 내에 놓인 AR 마커를 인식한 때에, 그 AR 마커를 원점으로 하는 카메라 좌표계를, 실제의 영상에 중합시켜 표시시키는 것이 간이하게 실현 가능해진다.

또한, 도 6에 도시한 바와 같이, 워크(W)의 용접선(L1, L2 및 L3)이 추출되어 있다. 구체적으로는, 워크(W)는, 저판이 되는 1 매의 워크(Wa)와, 측판이 되는 2 매의 워크(Wb, Wc)로 구성되는 구조물로서, 용접 대상으로서 표시되어 있고, 각각 워크(Wa, Wb 및 Wc)의 교선(L1, L2 및 L3)이 용접선으로서 추출되어 있다.

용접선(L1, L2 및 L3)을 추출하는 방법으로서는, 예를 들면, 촬영부(211)에 의하여 촬영된 화상을, 태블릿 단말 등의 표시 화면(예를 들면, 촬영 단말(1)의 표시부(14))에 표시하고, 유저가 선택함으로써 추출해도 된다. 구체적으로는, 표시 화면에 표시된 화상에 있어서, 유저가 손가락으로 따라 그림으로써, 용접선(L1, L2 및 L3)을 추출해도 된다.

여기서, 실제의 용접 위치에 마커를 설치하는 경우, 해당 마커에, 예를 들면, 용접 토치(32)의 선단이 용접 위치에 대한 자세, 용접 속도, 용접 순서, 및 상세한 목적 위치 등의 정보를 포함시켜도 상관없다. 구체적으로는, 마커에, 용접 토치(32)의 선단이 용접 위치에 대하여 45 도로 접촉하는 지시 정보가 포함되어 있으면, 해당 마커에 기초하여 매니퓰레이터(3)의 자세를 설정하는 것도 가능해진다. 또한, 복수의 용접 위치(용접선)가 있는 경우, 각 마커에 용접 순서가 포함되어 있으면, 매니퓰레이터(3)의 동작 경로를 설정하는 것도 가능해진다.

또한, 3D 카메라를 이용하여, 용접선(L1, L2 및 L3)을 자동적으로 추출해도 된다. 구체적으로는, 예를 들면, LiDAR(Light　Detection　and　Ranging) 센서 등의 거리 계측 센서를 이용하여, 촬영부(211)에 의하여 촬영된 화상의 워크(W)에 대응하는 점군 데이터를 취득한다. 그리고, 해당 카메라 좌표계에 묘화된 점군 데이터에 기초하여, 워크(W)의 형상을 인식하고, 직선으로서 인식한 부분을 용접선으로서 추출해도 된다.

또한, 용접선(L1, L2 및 L3)을 추출하는 방법으로서는, 이것들로 한정되는 것은 아니며, 촬영부(211)에 의하여 촬영된 화상으로부터, 적절하게 용접선(L1, L2 및 L3)을 추출할 수 있다면, 예를 들면, 그 밖의 화상 처리 등을 이용함으로써 용접선(L1, L2 및 L3)을 추출해도 상관없다.

도 7은, 카메라 좌표계에 있어서, 화상에 포함되는 워크(W)의 용접 위치에 기초하여 용접 로봇의 동작 경로가 설정되는 모습을 도시하는 도면이다. 도 7에 도시한 바와 같이, 용접선(L1, L2 및 L3)이 순서대로 용접되도록, 매니퓰레이터(3)의 동작 경로가 설정된다.

매니퓰레이터(3)의 동작 경로는, 예를 들면, 태블릿 단말 등의 표시 화면 상에 있어서, 용접선(L1, L2 및 L3)을 유저가 선택함으로써 설정해도 된다. 유저는, 용접선(L1, L2 및 L3)에 대하여, 용접하는 순서를 설정하거나, 용접의 방향을 손가락으로 따라 그리거나, 용접의 속도를 설정해도 된다.

또한, 매니퓰레이터(3)의 동작 경로는, 예를 들면, 용접선(L1, L2 및 L3)과 용접 토치(32)와의 거리에 따라 설정해도 된다. 구체적으로는, 용접 토치(32)와의 거리가 가까운 용접선으로부터 용접을 개시하도록 설정하거나, 용접선(L1, L2 및 L3) 모두를 용접하는 경우에 있어서, 용접 토치(32)의 이동거리가 짧아지도록, 용접 로봇의 동작 경로를 설정해도 된다.

또한, 용접선(L1, L2 및 L3)을 용접하기 위한 매니퓰레이터(3)의 동작 경로를 설정하는 방법으로서는, 이것들로 한정되는 것은 아니며, 적절하게 용접선(L1, L2 및 L3)을 용접할 수 있다면, 예를 들면, AI 등을 이용하여, 매니퓰레이터(3)의 동작 경로를 설정해도 상관없다.

구체적으로는, 매니퓰레이터(3)의 동작 경로로서, 화상에 포함되는 용접 위치 중, 해당 화상의 상, 하, 좌 또는 우로부터 순서대로 선택하여 용접하도록 설정되어도 상관없다. 예를 들면, 워크를 좌우로 연결하고 있는지, 상하로 중첩하고 있는지 등의 조립에 따른 방향을 지정한다. 이에 의하여, 용접 시의 워크의 열 변형 등에 의한 대조의 오차 등을 경감할 수 있다.

또한, 매니퓰레이터(3)의 동작 경로로서, 화상에 포함되는 용접 위치 중, 중력 방향에 대하여 아래에서 위로 향하는 방향으로 순서대로 선택하여 용접하도록 설정되어도 상관없다. 예를 들면, 촬영 단말(1)에 포함되는 자이로 센서 정보, 또는 로봇 제어 장치(2)에 포함되는 매니퓰레이터(3)의 설치 정보를 이용하여, 중력 방향을 정의한 후, 용접선을 아래에서 위로 향하는 방향으로 순서대로 선택하도록 한다. 이에 의하여, 용접 시의 워크의 열 변형 등의 영향 및 비드의 늘어짐 등을 경감할 수 있다.

이와 같이, 촬영부(211)에 의하여 촬영된 화상에 카메라 좌표계를 설정하고, 해당 카메라 좌표계에 있어서, 매니퓰레이터(3)의 동작 경로를 설정하고 있다.

그리고, 프로그램 생성부(214)는, 카메라 좌표계에서 설정된 매니퓰레이터(3)의 동작 경로를, 매니퓰레이터(3)에 설치된 마커(M)의 설치 위치에 기초하여, 로봇 좌표계로 변환하면서, 해당 로봇 좌표계에 있어서 매니퓰레이터(3)를 동작시키기 위한 작업 프로그램을 생성한다. 즉, 프로그램 생성부(214)는, 카메라 좌표계와 로봇 좌표계를 일치시키기 위한 칼리브레이션을 행하면서, 카메라 좌표계에 설정된 매니퓰레이터(3)의 동작 경로를 로봇 좌표계로 변환한 동작 경로에 기초하여 작업 프로그램을 생성하고 있다. 해당 칼리브레이션에 있어서, 상술한 바와 같이, 촬영부(211)에 의하여 촬영된 화상에 포함되는 매니퓰레이터(3)의 위치 자세에 관한 정보(카메라 좌표계)와, 해당 화상의 촬영 시에 있어서의 로봇 제어 장치(2)에 의하여 파악되어 있는 매니퓰레이터(3)의 위치 자세에 관한 정보(로봇 좌표계)가 이용된다.

[로봇 교시 방법]

이어서, 로봇 교시 시스템(200)이 카메라로 촬영한 화상을 이용하여, 적절하게 용접 위치에 용접 가능한 작업 프로그램을 생성하는 로봇 교시 방법에 대하여, 구체적으로 자세히 설명한다.

도 8은, 본 발명의 일 실시 형태에 따른 로봇 교시 시스템(200)이 실행하는 로봇 교시 방법(M100)의 처리의 흐름을 도시하는 플로우차트이다. 도 8에 도시한 바와 같이, 로봇 교시 방법(M100)은, 단계 S101~S104를 포함하고, 각 단계는, 로봇 교시 시스템(200)에 포함되는 프로세서에 의하여 실행된다.

단계 S101에서는, 로봇 교시 시스템(200)은, 용접 대상과 용접 로봇에 설치된 마커를 포함하는 화상을 촬영한다. 구체예로서는, 로봇 교시 시스템(200)에 있어서의 촬영부(211)는, 용접 대상이 되는 워크(W)와 매니퓰레이터(3)의 선단에 장착되는 용접 토치(32)에 설치되어 있는 마커(M) 또는 동시에 포함되는 화상을 촬영한다. 또한, 해당 촬영 시에 있어서의, 로봇 제어 장치(2)가 제어하는 매니퓰레이터(3)의 각 축의 각도에 관한 정보 등은, 해당 촬영된 화상과 관련하여 기억된다.

단계 S102에서는, 로봇 교시 시스템(200)은, 단계 S101에서 촬영된 화상에 포함되는 마커에 기초하여 카메라 좌표계를 설정한다. 구체예로서는, 로봇 교시 시스템(200)에 있어서의 카메라 좌표계 설정부(212)는, 화상에 포함되는 마커(M)의 위치를 원점(O)으로 하고, 해당 원점(O)에서 서로 직교하는 X 축, Y 축 및 Z 축에 의한 3 차원의 직교 좌표계를 카메라 좌표계로서 설정한다.

단계 S103에서는, 로봇 교시 시스템(200)은, 단계 S102에서 설정된 카메라 좌표계에 있어서, 화상에 포함되는 용접 대상의 용접 위치에 기초하여 용접 로봇의 동작 경로를 설정한다. 구체예로서는, 로봇 교시 시스템(200)에 있어서의 동작 경로 설정부(213)는, 카메라 좌표계에 있어서, 매니퓰레이터(3)의 선단에 장착된 용접 토치(32)가 워크의 용접 위치를 따라 동작하도록, 매니퓰레이터(3)의 동작 경로를 설정한다.

단계 S104에서는, 로봇 교시 시스템(200)은, 용접 로봇에게 설치된 마커의 설치 위치에 기초하여, 단계 S103에서 설정된 용접 로봇의 동작 경로를, 카메라 좌표계로부터 로봇 제어 장치(2)에 설정되어 있는 로봇 좌표계로 변환하면서, 용접 로봇을 동작시키기 위한 작업 프로그램을 생성한다. 구체예로서는, 단계 S103에서 동작 경로 설정부(213)는, 카메라 좌표계에 있어서의 매니퓰레이터(3)의 동작 경로를 설정하고 있다. 로봇 제어 장치(2)는, 매니퓰레이터(3)에 설치된 마커(M)의 설치 위치를 기준으로 하여 로봇 좌표계를 보지하고 있으므로, 프로그램 생성부(214)는, 카메라 좌표계에 있어서의 매니퓰레이터(3)의 동작 경로를 로봇 좌표계로 변환하고, 매니퓰레이터(3)가 실제로 동작하는 경로를 설정하고, 적절하게 용접 위치에 용접하도록 작업 프로그램을 생성한다.

이상과 같이, 본 발명의 일 실시 형태에 따른 로봇 교시 시스템(200) 및 로봇 교시 방법(M100)에 의하면, 촬영부(211)는, 용접 대상이 되는 워크(W)와 매니퓰레이터(3)에 설치된 마커(M)를 포함하는 화상을 촬영하고, 카메라 좌표계 설정부(212)는, 화상에 포함되는 마커(M)에 기초하여 카메라 좌표계를 설정한다. 그리고, 프로그램 생성부(214)는, 매니퓰레이터(3)에 설치된 마커(M)의 설치 위치에 기초하여, 카메라 좌표계에서 설정된 매니퓰레이터(3)의 동작 경로를, 로봇 제어 장치(2)에 설정되어 있는 로봇 좌표계로 변환하면서, 매니퓰레이터(3)를 동작시키기 위한 작업 프로그램을 생성한다. 이에 의하여, 적절하게 용접 위치에 용접 가능한 작업 프로그램을 생성할 수 있다.

그 결과, 매니퓰레이터(3)를 정밀하게 동작시키면서 작업 프로그램을 생성한다고 하는 조작자의 스킬에 의존한 로봇 교시 방법을 실시하지 않아도, 카메라로 촬영한 화상을 이용함으로써, 조작자의 스킬에 대한 의존을 경감하고, 효율적으로 작업 프로그램을 생성할 수 있다.

또한, 본 실시 형태에서는, 마커(M)는, 매니퓰레이터(3)의 용접 토치(32)에 1 개 설정하고 있었으나, 이에 한정되는 것은 아니며, 예를 들면, 복수 개 설정해도 상관없다.

예를 들면, 촬영부(211)에 의하여 워크(W)와 마커(M)가 포함되도록 촬영하려고 한 경우, 촬영 단말(1), 워크(W) 및 마커(M)의 위치 관계에 따라서는, 워크(W) 또는 마커(M)의 일부가 촬영되지 않거나, 그림자가 되거나, 촬영 각도가 적절하지 않거나 하는 영향으로, 마커(M)와 워크(W)가 동시에 포함되는 화상을 적절하게 촬영할 수 없는 경우가 생각된다. 이 경우, 매니퓰레이터(3)의 용접 토치(32)에 설정한 마커(M)와, 반대(안쪽)측에도 마커(M)를 설정하면, 촬영부(211)에 의하여, 워크(W)와, 해당 2 개의 마커(M) 중 1 개의 마커(M)가 포함되도록 화상을 촬영하면 된다. 즉, 촬영 단말(1), 워크(W) 및 복수의 마커(M)의 위치 관계에 따라, 워크(W)와, 복수의 마커(M) 중 어느 하나를 동시에 선명하게 촬영할 수 있다.

또한, 복수의 마커(M)는, 2 개로 한정되는 것은 아니며, 예를 들면, 용접 토치(32)의 주위를 둘러싸도록 3 개 또는 4 개 이상의 마커(M)를 설정해도 상관없고, 용접 토치(32) 중, 상하 방향으로 복수 설정해도 상관없다.

이와 같이, 마커(M)를 복수 설치함으로써, 촬영부(211)에 의하여 선명하게 마커(M)가 촬영됨으로써 정밀도가 향상되고, 또한, 자세에 의한 제한이 완화된다.

또한, 촬영부(211)에 의하여 복수의 화상을 촬영해도 상관없다. 예를 들면, 워크(W) 중 용접 위치가 광범위하게 미치는 경우에는, 마커(M)를 근접시킨 후, 해당 마커(M)와 워크(W) 중 용접 위치의 일부가 동시에 포함되는 화상을, 복수 회로 분할하여 촬영한다. 그리고, 복수 회로 분할하여 촬영한 화상을, 각각의 화상에 포함되는 마커(M)에 기초하여, 중합시킴으로써, 용접 위치가 광범위하게 미치는 경우에도 적용할 수 있다.

또한, 워크(W) 중의 용접 위치와 마커(M)가 동시에 포함되는 화상을, 예를 들면, 상이한 각도로부터 복수 회 촬영해도 상관없다. 그리고, 복수 회 촬영한 화상을, 각각의 화상에 포함되는 마커(M)에 기초하여 중함시킴으로써, 카메라 좌표계에 있어서의 용접 위치를 평균화하면, 각 촬영 오차 및 측정 오차를 경감하여, 위치 정밀도를 향상시킬 수 있다.

또한, 본 실시 형태에서는, LiDAR 센서 등의 거리 계측 센서를 이용하여, 화상으로부터 용접선(L1, L2 및 L3)을 추출하는 예를 나타냈으나, 해당 LiDAR 센서로부터 취득되는 점군 데이터를 이용하여, 주변 환경 등을 파악해도 상관없다. 예를 들면, 워크(W)의 형상, 재치대 및 그 밖의 장해물 등을 파악하면, 이들과의 간섭을 회피하면서, 매니퓰레이터(3)의 동작 경로를 설정하는 것이 가능해진다.

이상, 설명한 실시 형태는, 본 발명의 이해를 용이하게 하기 위한 것이며, 본 발명을 한정하여 해석하기 위한 것은 아니다. 실시 형태가 구비하는 각 요소 및 그 배치, 재료, 조건, 형상 및 사이즈 등은, 예시한 것으로 한정되는 것은 아니며, 적절하게 변경할 수 있다. 또한, 상이한 실시 형태로 나타낸 구성끼리를 부분적으로 치환 또는 조합하는 것이 가능하다.

1 : 촬영 단말
2 : 로봇 제어 장치
3 : 매니퓰레이터
11 : 제어부
12 : 촬영부
13 : 통신부
14 : 표시부
21 : 제어부
22 : 기억부
23 : 통신부
24 : 용접 전원부
31 : 다관절 암
32 : 용접 토치
100 : 용접 로봇 시스템
200 : 로봇 교시 시스템
211 : 촬영부
212 : 카메라 좌표계 설정부
213 : 동작 경로 설정부
214 : 프로그램 생성부
C : 통신 케이블
M : 마커
N : 네트워크
W, Wa, Wb, Wc : 워크
L1, L2, L3 : 용접선
M100 : 로봇 교시 방법
S101~S104 : 로봇 교시 방법(M100)의 각 단계

Claims

용접 대상과 산업용 로봇에 설치된 마커를 포함하는 화상을 촬영하는 촬영부와,
상기 화상에 포함되는 마커에 기초하여 카메라 좌표계를 설정하는 카메라 좌표계 설정부와,
상기 카메라 좌표계에 있어서, 상기 화상에 포함되는 용접 대상의 용접 위치에 기초하여 상기 산업용 로봇의 동작 경로를 설정하는 동작 경로 설정부와,
상기 산업용 로봇에 설치된 마커의 설치 위치에 기초하여, 상기 동작 경로 설정부에 의하여 설정된 상기 산업용 로봇의 동작 경로를, 상기 카메라 좌표계로부터 로봇 제어 장치에 설정되어 있는 로봇 좌표계로 변환하면서, 상기 산업용 로봇을 동작시키기 위한 작업 프로그램을 생성하는 프로그램 생성부
를 구비하는, 로봇 교시 시스템.
제1항에 있어서,
상기 마커는, 상기 산업용 로봇 중, 매니퓰레이터의 선단에 장착되는 엔드 이펙터와 마찬가지로 동작하는 선단부에 설치되는, 로봇 교시 시스템.
제1항 또는 제2항에 있어서,
상기 동작 경로 설정부는, 상기 화상을 화상 처리함으로써 용접 위치 후보가 검출되고, 해당 용접 위치 후보로부터 추출된 용접 위치에 기초하여 상기 산업용 로봇의 동작 경로를 설정하는, 로봇 교시 시스템.
제3항에 있어서,
상기 동작 경로 설정부는, 상기 용접 위치에 대하여, 더 설정되는 용접 순서에 기초하여 상기 산업용 로봇의 동작 경로를 설정하는, 로봇 교시 시스템.
제4항에 있어서,
상기 동작 경로 설정부는, 상기 용접 위치와 용접 토치와의 거리에 따라, 용접의 요부를 선택하고, 및/또는 용접 순서를 설정하여 상기 산업용 로봇의 동작 경로를 설정하는, 로봇 교시 시스템.
제5항에 있어서,
상기 용접 순서는, 특정 방향으로부터 순서대로 선택하는, 로봇 교시 시스템.