KR20100084663A

KR20100084663A - 동작 교시시스템 및 동작 교시방법

Info

Publication number: KR20100084663A
Application number: KR1020107010947A
Authority: KR
Inventors: 후미노리 사이토
Original assignee: 도요타 지도샤（주）
Priority date: 2008-03-10
Filing date: 2009-02-03
Publication date: 2010-07-27
Also published as: CN101970184A; EP2263837A1; US20110010009A1; CN101970184B; WO2009113339A1; KR101193125B1; EP2263837B1; JP2009214212A; EP2263837A4; US8355816B2; JP4835616B2

Abstract

본 발명은 오퍼레이터에 의한 직감적이고 간단한 입력조작에 의해, 형상 및 3차원 위치가 미지인 워크의 파지동작을 로봇에게 교시 가능하게 하는 것이다.
(a) 작업공간의 촬영화상을 표시장치에 표시시키고, (b) 핸드에 파지시키는 워크 중의 파지 부위를 포함하는 인식영역을, 표시장치에 표시된 워크의 상 위에서 2차원적으로 지정하는 조작을 접수한다. (c) 파지 부위에 적용시키는 기본 형상 모델을 복수의 기본 형상 모델 중에서 지정하는 조작을 접속하고, (d) 지정된 기본 형상 모델을, 인식영영에 상당하는 공간의 3차원 위치 데이터에 피팅시킴으로써, 기본 형상 모델의 형상, 위치 및 자세를 지정하는 파라미터군을 결정한다. (e) 각 기본 형상 모델에 대하여 핸드가 적용 가능한 파지 패턴이 기술된 데이터베이스를 검색하여, 워크의 파지에 적용 가능한 파지패턴을 선택한다.

Description

동작 교시시스템 및 동작 교시방법{OPERATION TEACHING SYSTEM AND OPERATION TEACHINE METHOD}

본 발명은, 워크의 파지를 행하는 로봇에 대한 동작 교시를 행하기 위한 동작 교시시스템 및 동작 교시방법에 관한 것이다.

로봇에게 워크의 형상 모델을 미리 부여하여 두고, 작업공간 중에 존재하는 워크를 자율적으로 인식시켜, 워크 파지를 로봇에게 자동적으로 실행시키기 위한 방법이 연구개발되어 있다(예를 들면 특허문헌 4를 참조). 그러나, 이와 같은 모델 베이스의 방법은, 워크 종별이 한정된 작업공간에서는 실현 가능하나, 예를 들면 일상 생활환경과 같은 조건이 복잡한 실제 환경에 적용하는 것은, 실질적으로 곤란하다.

한편, 오퍼레이터가 로봇에게 대하여 동작을 교시하는 기술이 알려져 있다(예를 들면, 특허문헌 1∼3을 참조). 특허문헌 1∼3은, 오퍼레이터가 그래픽 표시기능을 가지는 동작 교시장치를 사용하여 로봇에게 동작교시를 행하는 기술을 개시하고 있다.

특허문헌 1에 개시된 발명은, 본원의 발명자에 의해 이루어진 것이다. 당해 발명은, 2차원 디스플레이를 가지는 동작 교시장치를 사용하여, 로봇의 3차원 공간에서의 동작을 교시하는 동작 교시장치에 관한 것이다. 당해 동작 교시장치는, 형상 및 작업공간 내에서의 3차원 위치가 미지인 워크의 파지를 로봇에게 행하게 할 때에 적용 가능한 것이다. 당해 동작 교시장치를 사용한 로봇에 대한 교시는 이하와 같이 하여 행하여진다.

먼저, 워크를 포함하는 로봇의 작업공간이 촬영된 촬영화상을 2차원 디스플레이에 표시한다. 오퍼레이터는, 촬영화상이 표시된 2차원 디스플레이를 보면서, 마우스나 터치패널 등의 입력장치에 의해, CAD(Computer Aided Design)에서 사용되는 파라메트릭 모델링 방법 등을 구사하여, 디스플레이의 표시면 상에 기하요소를 작도한다. 구체적으로는, 워크의 형상을 모델화하기 위하여, 오퍼레이터는, 모델의 위치, 자세 및 형상 파라미터를 워크의 상과 합치하도록 화면 상에서 조정하고, 워크의 모델의 중심위치의 좌표계를 기준으로 하여, 워크를 파지하기 쉽도록 필요에 따라 병진 및 회전을 가한 좌표계를 설정한다. 이와 같이 하여 설정된 좌표계에, 로봇 아암 선단에 설치된 워크 파지용 엔드이펙터의 좌표계(이하, 툴 좌표계라 부른다)를 적합시킴으로써, 로봇에게 워크의 파지를 행하게 하는 것이 가능해진다. 또한, 오퍼레이터에 의해 묘획된 점이나 기하요소의 3차원 위치는, 레이저 레인지 파인더, 스테레오 카메라 등의 거리 계측장치에 의해 계측된다.

특허문헌 2는, 로봇 아암 선단에 설치된 엔드이펙터 형상의 형상 모델을 기억하는 기억장치와, 엔드이펙터 형상을 표시하는 디스플레이를 구비하는 동작 교시장치를 개시하고 있다. 당해 동작 교시장치는, (1) 엔드이펙터 형상이 표시된 디스플레이 화면 상에서, 오퍼레이터에 의한 엔드이펙터 상의 점의 지정을 접수하고, (2) 지정된 점의 3차원 위치를 계산하고, (3) 오퍼레이터에 의한, 지정된 점을 중심으로 하는 자세변경의 입력을 접수하고, (4) 지정된 점의 3차원 위치, 및 접수한 자세변경을 기초로, 엔드이펙터의 자세를 조절한다. 즉, 특허문헌 2의 동작 교시장치는, 위치 및 형상이 이미 알고 있는 엔드이펙터의 자세변경을 오퍼레이터가 입력하는 작업을, 그래픽 표시에 의해 지원하는 것이다. 그러나, 특허문헌 2의 동작 교시장치는, 형상 및 3차원 위치가 미지인 워크의 조작을 로봇에게 교시하는 것은 아니다.

특허문헌 3은, 그래픽 디스플레이를 사용하여, 형상 및 3차원 위치가 이미 알고 있는 워크의 작업점을 로봇에게 교시하기 위한 동작 교시장치를 개시하고 있다. 예를 들면 차의 바디를 워크로 하는 경우, 당해 동작 교시장치는, 바디 상의 용접 작업점의 교시를 위해 사용된다. 특허문헌 3의 동작 교시장치는, 그래픽 디스플레이 외에, 기억장치를 가진다. 기억장치에는, 다면체 근사된 워크의 형상 데이터가, 로봇과 워크의 공통 좌표계인 월드 좌표계에 의거하여 저장된다. 당해 동작 교시장치는, 기억장치에 엑세스하여, 그래픽 디스플레이에 워크 형상을 2차원 표시하고, 표시 화면 상에서 워크의 작업면 및 작업점의 오퍼레이터에 의한 지정을 접수한다. 그리고, 당해 동작 교시장치는, 그래픽 디스플레이에, 로봇 자세를 겹쳐서 표시하고, 오퍼레이터에 의한 로봇 자세의 수정을 접수한 후, 로봇 자세를 확정하여, 확정된 자세를 로봇 좌표계로 변환하여 로봇에게 교시한다.

[특허문헌 1]

일본국 특개2003-256025호 공보

[특허문헌 2]

일본국 특개2005-111618호 공보

[특허문헌 3]

일본국 특개평1-283603호 공보

[특허문헌 4]

일본국 특개2004-333422호 공보

상기한 바와 같이, 형상 및 3차원 위치가 미지인 워크에 대한 조작을 로봇에게 교시하기 위한 특허문헌 1에 개시된 동작 교시장치에서는, 오퍼레이터가 2차원 디스플레이를 보면서 CAD에서 사용되는 3차원적인 작도작업을 행함으로써, 로봇에 대한 교시가 행하여진다. 그러나, CAD에서 사용되는 3차원적인 작도작업을 행하기 위해서는 오퍼레이터의 숙련이 필요하여, CAD에 의한 작도기술을 가지고 있지 않은 일반 이용자에게 있어서 용이하다고는 하기 어렵다.

본 발명은, 상기한 식견에 의거하여 이루어진 것으로, 오퍼레이터에 의한 직감적이고 간단한 입력조작에 의해, 형상 및 3차원 위치가 미지인 워크의 파지동작을 로봇에게 교시하는 것이 가능한 동작 교시시스템 및 동작 교시방법의 제공을 목적으로 한다.

본 발명의 제 1 형태는, 워크를 파지하기 위한 핸드를 포함하는 로봇 아암을 가지는 로봇에게 대하여 파지동작을 교시하기 위한 동작 교시시스템이다. 당해 동작 교시시스템은, 촬상장치와, 대상물까지의 거리를 계측하는 거리 계측장치와, 표시장치와, 오퍼레이터에 의한 입력조작을 접수하는 입력장치와, 복수의 기본 형상 모델의 각각에 대하여 상기 핸드가 적용 가능한 적어도 하나의 파지 패턴이 기술된 데이터베이스를 구비한다. 또한, 당해 동작 교시시스템은, 촬영화상 표시수단, 인식영역 지정수단, 기본 형상 모델 지정수단, 피팅수단, 및 파지 패턴 선택수단을 구비한다.

상기 촬영화상 표시수단은, 상기 촬상장치에 의해 취득된 상기 워크를 포함하는 작업공간의 촬영화상을 상기 표시장치에 표시시킨다.

상기 인식영역 지정수단은, 상기 핸드에 파지시키는 상기 워크 중의 부위를 지정하기 위한 조작을, 상기 표시장치에 표시된 상기 워크의 상 위에서 상기 부위를 포함하는 인식영역을 상기 입력장치를 사용하여 2차원적으로 지정하는 조작으로서 접수한다.

상기 기본 형상 모델 지정수단은, 상기 부위에 적용시키는 기본 형상 모델을 상기 복수의 기본 형상 모델 중에서 지정하는 조작을, 상기 입력장치를 거쳐 접수한다.

상기 피팅수단은, 상기 오퍼레이터에 의해 지정된 기본 형상 모델을, 상기 거리 계측장치를 사용하여 취득된 상기 인식영역에 상당하는 공간의 3차원 위치 데이터에 피팅시킨다.

상기 파지 패턴 선택수단은, 상기 오퍼레이터에 의해 지정된 기본 형상 모델및 상기 피팅수단에 의한 피팅 결과에 의거하여 상기 데이터베이스를 검색함으로써, 상기 워크의 파지에 적용 가능한 적어도 하나의 파지 패턴을 선택한다.

또, 본 발명의 제 2 형태는, 워크를 파지하기 위한 핸드를 포함하는 로봇 아암을 가지는 로봇에게 대하여 파지동작을 교시하기 위한 동작 교시방법으로, 이하의 단계 (a)∼(e)를 포함한다.

상기 워크를 포함하는 작업공간의 촬영화상을 표시장치에 표시시키는 단계(a),

상기 핸드에 파지시키는 상기 워크 중의 부위를 지정하기 위한 조작을, 상기표시장치에 표시된 상기 워크의 상 위에서 상기 부위를 포함하는 인식영역을 2차원적으로 지정하는 조작으로서 접수하는 단계(b),

상기 부위에 적용시키는 기본 형상 모델을 복수의 기본 형상 모델 중에서 지정하는 조작을 접수하는 단계(c),

상기 단계(c)에서 지정된 기본 형상 모델을, 거리 계측장치를 사용하여 취득된 상기 인식영역에 상당하는 공간의 3차원 위치 데이터에 피팅시키는 단계(d), 및

상기 복수의 기본 형상 모델의 각각에 대하여 상기 핸드가 적용 가능한 적어도 하나의 파지 패턴이 기술된 데이터베이스를, 상기 단계(c)에서 지정된 기본 형상 모델 및 상기 단계(d)에서의 피팅 결과에 의거하여 검색함으로써, 상기 워크의 파지에 적용 가능한 적어도 하나의 파지 패턴을 선택하는 단계(e).

상기한 본 발명의 제 1 및 제 2 형태에 의하면, 오퍼레이터는, 표시장치 상에 표시된 촬영화상에서 인식영역을 2차원적으로 지정하는 조작과, 인식영역에 적용시키고 싶은 기본 형상 모델을 선택하는 조작에 의하여, 직감적으로 워크의 파지부위를 특정할 수 있다. 또, 본 발명의 제 1 및 제 2 형태는, 기본 형상 모델과 이것에 적용 가능한 파지 패턴을 관련지은 데이터베이스를 사용하기 때문에, 적절한 파지 패턴의 후보를 오퍼레이터에게 제시할 수 있다. 이 때문에, 오퍼레이터는, 로봇 핸드 전체의 위치 및 자세 및 로봇 핸드가 가지는 손가락의 배치 등을 차례대로 지정하지 않고, 파지방법을 로봇에게 교시할 수 있다.

또한, 상기한 본 발명의 제 1 형태에 관한 동작 교시시스템은, 파지 패턴 표시수단 및 파지 패턴 결정수단을 더 구비하여도 된다. 상기 파지 패턴 표시수단은, 상기 파지 패턴 선택수단에 의해 선택된 상기 적어도 하나의 파지 패턴을 상기표시장치에 표시시킨다. 또, 상기 파지 패턴 결정수단은, 상기 파지 패턴 표시수단에 의해 생성되는 표시내용에 의거하여 상기 로봇에게 행하게 하는 최종 파지 패턴 을 선택하기 위한 상기 오퍼레이터에 의한 조작을 접수함과 동시에, 상기 최종 파지 패턴에 남겨진 자유도를 조절하는 상기 오퍼레이터의 조작을 접수한다.

아울러, 상기 파지 패턴 표시수단은, 상기 적어도 하나의 파지 패턴을 나타내는 상기 핸드의 모델 화상을 상기 촬영화상에 겹쳐서 표시하여도 된다. 또, 상기 파지 패턴 결정수단은, 상기 오퍼레이터에 의한 상기 자유도의 조절조작을, 상기 표시장치의 표시화면 내에서의 상기 모델 화상의 데이터 조작에 의해 접수하고, 상기 드래그 조작 후의 상기 모델 화상의 상기 표시화면 내에서의 위치 및 자세에 의거하여 상기 자유도의 조정값을 결정하여도 된다. 이와 같은 구성에 의하여 오퍼레이터는, 간단한 드래그 조작에 의해 적절한 파지 패턴을 결정하여, 로봇에게 교시할 수 있다.

또, 상기한 본 발명의 제 1 형태에서, 상기 파지 패턴 선택수단은, 상기 거리 계측장치를 사용하여 취득된 상기 인식영역 주변의 3차원 위치 데이터를 사용하여, 상기 적어도 하나의 파지 패턴에 의한 상기 로봇 아암의 궤도와 상기 워크 주위의 장해물과의 간섭을 판정하고, 당해 판정 결과에 의거하여 파지 패턴의 좁힘(narrow down)을 행하여도 된다. 이에 의하여, 워크 주위의 장해물과의 간섭을 회피한 더욱 적절한 파지방법을 얻을 수 있다.

본 발명에 의하여 오퍼레이터에 의한 직감적이고 간단한 입력조작에 의해, 형상 및 3차원 위치가 미지인 워크의 파지동작을 로봇에게 교시하는 것이 가능한 동작 교시시스템 및 동작 교시방법을 제공할 수 있다.

도 1은 본 발명의 실시형태 1에 관한 동작 교시시스템을 나타내는 블럭도,
도 2는 본 발명의 실시형태 1에 관한 동작 교시시스템에 의한 동작 교시순서를 나타내는 플로우차트,
도 3(a)는 표시장치에 표시되는 워크를 포함하는 촬영화상의 일례를 나타내는 도,
도 3(b)∼(d)는 표시화면 상에서의 인식영역의 지정의 예를 나타내는 도,
도 4는 기본 형상 모델을 선택하기 위한 아이콘 리스트의 예를 나타내는 도,
도 5는 인식영역에 관한 3차원 위치 데이터의 취득을 설명하기 위한 개념도,
도 6은 3차원 위치 데이터에 대한 기본 형상 모델의 피팅을 설명하기 위한 개념도,
도 7은 기본 형상 모델의 일례인 원통 모델 및 그 형상 파라미터를 나타내는 도,
도 8은 본 발명의 실시형태 1에 관한 동작 교시시스템이 가지는 데이터베이스의 구성예를 나타내는 도,
도 9는 본 발명의 실시형태 1에 관한 동작 교시시스템이 가지는 데이터베이스의 구성예를 나타내는 도,
도 10A는 워크를 포함하는 촬영화상에 기본 형상 모델 및 파지 패턴을 겹쳐서 표시한 표시장치의 화면예를 나타내는 도,
도 10B는 워크를 포함하는 촬영화상에 기본 형상 모델 및 파지 패턴을 겹쳐서 표시한 표시장치의 화면예를 나타내는 도,
도 11A는 파지 패턴의 자유도를 조절하기 위한 표시장치의 화면예를 나타내는 도,
도 11B는 파지 패턴의 자유도를 조절하기 위한 표시장치의 화면예를 나타내는 도,
도 11C는 파지 패턴의 자유도를 조절하기 위한 표시장치의 화면예를 나타내는 도면이다.

이하에서는, 본 발명을 적용한 구체적인 실시형태에 대하여, 도면을 참조하면서 상세하게 설명한다. 각 도면에서, 동일요소에는 동일한 부호가 부착되어 있고, 설명의 명확화를 위해, 필요에 따라 중복설명은 생략된다.

실시형태 1.

도 1은, 본 실시형태에 관한 동작 교시시스템의 전체 구성을 나타내는 블럭도이다. 본 실시형태의 동작 교시시스템은, 워크(90)의 파지동작을 실행하는 로봇(1) 및 로봇(1)에 대하여 파지동작의 교시를 행하기 위한 교시 단말(2)을 포함한다. 이하, 로봇(1) 및 교시 단말(2)의 구성에 대하여 설명한다.

도 1에 나타내는 로봇(1)은, 관절로 서로 접속된 복수의 링크에 의해 구성된 다관절의 로봇 아암(10)을 가진다. 로봇 아암(10)의 선단부분에는, 워크(90)를 파지하기 위한 핸드(11)가 설치되어 있다.

촬상장치(12)는, 로봇(1) 및 워크(90)가 놓여진 작업공간을 촬영하여 촬영화상을 취득한다. 또한, 뒤에서 설명하는 바와 같이, 촬상장치(12)에 의해 취득된 촬영화상은, 교시 단말(2)의 표시화면에 출력되어, 오퍼레이터에게 제시된다. 이 때문에, 예를 들면, 촬상장치(12)는, 가시광영역에 감도를 가지는 CCD(Charge Coupled Device) 이미지 센서 또는 CM0S(Complementary Metal 0xide Semiconductor) 이미지 센서 등의 촬상 소자를 구비한 카메라로 하면 된다.

거리 계측장치(13)는, 작업공간 중의 대상물까지의 거리를 계측한다. 거리 계측장치(13)의 계측 원리는 특별히 한정되는 것은 아니고, 공지한 여러가지 기술을 적용 가능하다. 예를 들면, 거리 계측장치(13)로서, 레이저 레인지 파인더, 광투영 스테레오 거리 계측장치, 또는 스테레오 카메라 등을 사용하면 된다. 또한, 거리 계측장치(13)가 스테레오 카메라인 경우와 같이, 거리 계측장치(13)에 의한 촬상이 가능한 경우는, 촬상장치(12) 및 거리 계측장치(13)는, 겸용의 1대의 장치로서 구성하여도 된다.

통신부(14)는, 촬상장치(12)에 의해 취득된 촬영화상, 그 밖의 동작 교시에 관한 정보를 교시 단말(2)측의 통신부(20)와의 사이에서 전송한다. 통신부(14)의 통신방식에는, 공지의 무선 통신방식 또는 유선 통신방식을 적용하면 된다. 또, 통신부(14)와 통신부(20)의 사이는, 직접적으로 접속되어 있을 필요는 없고, LAN(Local Area Network), 인터넷, 휴대전화 통신망 등을 거쳐 접속되어도 된다.

데이터베이스(15)는, 복수의 기본 형상 모델과 복수의 파지 패턴을 관련지어 기록한 데이터베이스이다. 여기서, 파지 패턴이란, 핸드(11)가 가지는 손가락의 위치 및 자세를 포함하는 동작 패턴을 기술한 데이터이다. 또, 기본 형상 모델이란, 예를 들면, 원주, 사각기둥, 원통 등의 3차원 기하 요소의 모델이다. 뒤에서 설명하는 바와 같이, 기본 형상 모델은, 워크(90)의 파지 부위의 형상 후보로서, 교시 단말(2)을 사용하는 오퍼레이터에게 제시된다. 예를 들면, 어느 하나의 기본 형상 모델을 지정하여 데이터베이스(15)를 검색함으로써, 이것에 적용 가능한 적어도 하나의 파지 패턴을 알 수 있다. 반대로, 어느 하나의 파지 패턴을 지정하여 데이터베이스(15)를 검색함으로써, 당해 파지 패턴을 적용 가능한 적어도 하나의 기본 형상 모델을 알 수 있다. 데이터베이스(15)의 데이터 구성예, 동작 패턴 및 기본 형상 모델의 구체예에 대해서는 뒤에서 설명한다.

제어부(16)는, 로봇 아암(10) 및 핸드(11)의 동작제어 외에, 교시 단말(2)과 협조하여 로봇(1)에 대한 파지동작의 교시에 관한 제어, 데이터 처리를 실행한다. 구체적으로는, 제어부(16)는, 촬상장치(12)의 촬영제어, 거리 계측장치(13)의 계측제어, 통신부(14)를 사용한 데이터 송수신, 데이터베이스(15)에 대한 엑세스, 거리 계측장치(13)에 의해 계측된 3차원의 점군 데이터와 기본 형상 모델과의 피팅 처리 등을 실행한다.

제어부(16)는, 1 또는 복수의 CPU(Central Processing Unit), CPU에서 실행되는 제어 프로그램, 연산 데이터 등의 일시 기억영역으로서 사용되는 RAM(Random Access Memory), 제어 프로그램 및 제어 데이터 등을 기억하는 EEPROM(Electrically Erasable and Programmable Read Only Memory) 등의 불휘발성메모리 등을 사용하여 구성하면 된다. 제어 프로그램은, 복수의 프로그램 모듈의 집합으로도 되는 것은 물론이다.

또한, 뒤에서 설명하는 교시 단말(2)을 사용한 로봇(1)에 대한 동작교시에서는, 복수의 좌표계, 구체적으로는, 촬상장치(12)의 촬영공간에 관한 카메라 좌표계, 촬상장치(12)에 의한 촬영화상의 화상 좌표계, 거리 계측장치(13)의 계측공간에 관한 계측 공간 좌표계, 핸드(11)에 설정되는 툴 좌표계, 및 작업공간에 고정된 월드 좌표계의 상대관계를 이미 알고 있을 필요가 있다. 이들 좌표계 사이의 상대관계를 확정하기 위해서는, 미리 캘리브레이션을 행하여 두면 된다.

다음에, 도 1에 나타낸 교시 단말(2)의 각 구성요소에 대하여 설명한다. 통신부(20)는, 이미 기술한 바와 같이, 로봇(1)측의 통신부(14)와의 사이에서 데이터전송을 행한다.

표시장치(21)는, 그래픽 표시 가능한 디바이스이고, 뒤에서 설명하는 제어부(23)에 의한 제어 하에서, 촬상장치(12)에 의한 촬영화상의 표시, 기본 형상 모델의 표시, 파지 패턴을 나타내는 핸드 모델의 표시 등을 행한다. 표시장치(21)에는, 예를 들면, LCD(Liquid Crystal Display) 또는 CRT(Cathode Ray Tube) 디스플레이 등을 사용하면 된다.

입력장치(22)는, 오퍼레이터에 의한 교시 단말(2)에 대한 조작입력을 접수하는 디바이스이다. 입력장치(22)는, 오퍼레이터의 손 및 발 등의 신체의 일부에 대한 조작 또는 오퍼레이터의 음성 등에 따라, 표시장치(21)의 화면 상에서의 입력 위치나 좌표를 지정하는 것이 가능한 포인팅 디바이스로 하면 된다. 구체적으로는, 입력장치(22)에는, 마우스, 터치패널, 음성입력 디바이스, 레이저 포인터 등을 사용하면 된다.

제어부(23)는, 로봇(1)측의 제어부(16)와 협조하여 로봇(1)에 대한 파지동작의 교시에 관한 제어, 데이터 처리를 실행한다. 구체적으로는, 제어부(23)는, 표시장치(21)의 표시제어, 입력장치(22)의 조작내용의 취득 및 해석, 통신부(20)를 사용한 데이터 송수신 등을 실행한다. 제어부(23)도 또, 제어부(16)와 마찬가지로, 1 또는 복수의 CPU(Central Processing Unit), CPU에서 실행되는 제어 프로그램, RAM, 불휘발성 메모리 등을 사용하여 구성하면 된다.

또한, 교시 단말(2)은, 상기한 각 구성요소에 동작 전력을 공급하는 배러리를 탑재하여, 오퍼레이터가 용이하게 휴대 가능한 일체형의 소형 단말로서 구성하면 된다. 그러나, 교시 단말(2)의 형태는, 이와 같은 일체형의 것에 한정되지 않는다. 예를 들면, 교시 단말(2)은, 각각이 독립된 디바이스인 통신단말, LCD, 마우스 및 PC(Personal Computer) 등을 사용하여 구성하여도 된다.

계속해서, 이하에서는, 본 실시형태의 동작 교시시스템에 의한 로봇(1)에 대한 파지동작의 교시순서에 대하여 상세하게 설명한다. 도 2는, 본 실시형태의 동작 교시시스템에 의한 동작 교시순서를 나타내는 플로우차트이다. 도 2에서는, 단계 S101∼S105가 로봇(1)측에서 행하여지는 처리를 나타내고, 단계 S201∼S206가 교시 단말(2)측에서 행하여지는 처리를 나타내고 있다.

단계 S101에서는, 로봇(1)이, 촬상장치(12)를 사용하여 워크(90)를 포함하는 작업공간의 촬영화상을 취득한다. 취득된 촬영화상은, 교시 단말(2)에 전송된다. 또한, 촬영화상을 취득할 때의 촬상장치(12)의 위치 및 자세 및 화각(畵角) 등을 교시 단말(2)로부터 원격 조작 가능하게 하여도 된다. 워크(90)를 포함하는 작업공간의 적절한 촬영화상을 얻는 수 있어, 적절한 파지 패턴을 로봇(1)에게 교시하는 것이 용이해진다.

단계 S201에서는, 교시 단말(2)이, 표시장치(21)에 단계 S101에서 취득된 촬영화상을 표시한다. 도 3(a)는, 워크(90)의 상(30)이 포함된 촬영화상의 표시화면예이다. 또한, 이하에서는, 워크(90)가 도 3(a)에 나타내는 바와 같은 손잡이가 있는 컵인 경우를 예로 들어 설명한다.

단계 S202에서는, 교시 단말(2)이, 표시장치(21)에 표시된 촬영화상 내에서「인식영역」이라 해야 할 범위의 지정을, 오퍼레이터로부터 입력장치(22)를 거쳐 접수한다. 여기서, 「인식영역」이란, 핸드(11)에 파지시키는 워크(90) 중의 부위를 지정하기 위하여 오퍼레이터가 촬영화상 내에 설정하는 영역이다. 인식영역은, 뒤에서 설명하는 단계 S102에서, 거리 계측장치(13)에 의한 인식, 즉 거리 계측의 대상영역으로서 사용된다.

표시화면 상에서 지정된 인식영역을 포함하는 표시장치(21)의 표시 화면예를 도 3(b)∼(d)에 나타낸다. 도 3(b)에 표시된 인식영역(31)은, 컵의 동체부분을 지정하고 있다. 도 3(c)에 표시된 인식영역(32)은, 컵 개구의 가장자리부분을 지정하고 있다. 도 3(d)에 표시된 인식영역(33)은, 손잡이 부분을 지정하고 있다.

또한, 오퍼레이터에 의한 직감적인 조작을 가능하게 하기 위하여, 교시 단말(2)은, 표시장치(21)에 표시된 촬영화상에 겹쳐서 표시된 포인터의 조작에 의하여, 오퍼레이터에 의한 인식영역의 지정을 접수하면 된다. 예를 들면, 도 3(b)에 나타낸 인식영역(31)의 지정을 접수하기 위해서는, 인식영역(31)의 바깥 둘레를 나타내는 폐곡선을 포인터로 묘획하는 조작을 접수하면 된다. 이와 같은 조작은, 예를 들면, 입력장치(22)가 터치 패널인 경우, 아주 직감적인 조작이 된다. 즉, 터치 패널을 표시장치(21)의 표시화면의 바로 위에 배치해 둠으로써, 오퍼레이터는, 표시된 워크상(30)의 위를 손가락 또는 터치펜 등으로 직접적으로 접촉하여 인식영역을 묘획할 수 있다.

단계 S203에서는, 교시 단말(2)이, 인식영역에 적용시켜야 할 기본 형상 모델의 지정을 입력장치(22)를 거쳐 접수한다. 즉, 오퍼레이터는, 스스로가 지정한 인식영역이 어떠한 3차원 기하 형상을 가지는 지를 입력장치(22)를 사용하여 지정한다. 교시 단말(2)은, 유저에게 기본 형상 모델의 선택을 재촉하기 위하여, 예를 들면 도 4에 나타내는 바와 같은 아이콘 리스트(40)를 표시장치(21)에 출력하면 된다. 도 4에 나타내는 아이콘(41∼44)은, 각각 기본 형상 모델의 일례를 나타내고 있다. 아이콘(41)은 사각기둥 모델, 아이콘(42)은 평판 모델, 아이콘(43)은 원주 모델, 아이콘(44)은 원추대 모델이다. 각각의 기본 형상 모델은, 형 및 크기를 규정하기 위한 형상 파라미터, 위치 및 자세를 규정하기 위한 배치 파라미터를 가진다. 또한, 기본 형상 모델의 종류는, 도 4에 나타낸 것에 한정되지 않는 것은 물론이며, 초2차 타원체(super ellipsoid), L자 형상 각기둥, C자 형상 원주 등의 여러가지 형상을, 워크(90)의 종류 등에 따라 준비하여 두면 된다.

단계 S102에서는, 로봇(1)이, 오퍼레이터에 의해 지정된 인식영역을 나타내는 데이터를 교시 단말(2)로부터 수신한다. 그리고, 로봇(1)은, 거리 계측장치(13)를 사용하여, 인식영역에 대응하는 작업공간의 3차원 위치를 나타내는 점군 데이터(이하, 3차원 위치 데이터라 부른다)를 취득한다. 도 5는, 도 3(b)의 인식영역(31)에 대응하는 작업공간의 3차원 위치 데이터(50)의 취득을 나타내는 개념도이다. 단계 S102에서 얻어지는 3차원 위치 데이터는, 워크(90)를 포함하는 작업공간의 로봇(1)에서 본 안 길이를 나타낸다.

또한, 로봇(1)은, 거리 계측장치(13)의 위치 및 자세를 제어함으로써, 복수의 시점에서부터 거리계측을 행하여도 된다. 복수의 시점에서부터의 계측에 의해얻은 3차원 위치 데이터를 병합함으로써, 워크(90)의 안 길이를 나타내는 많은 점군을 얻을 수 있다. 예를 들면, 인식영역의 중심점에 대응하는 작업공간 중의 3차원 위치를 원점으로 하는 극좌표를 설정하여, 수평방향 및 상하방향의 2개의 편각방향으로 거리 계측장치(13)의 시점을 이동시키면 된다. 시점의 변경에 의해, 오퍼레이터에 의해 설정된 인식영역 밖의 3차원 위치 데이터도 취득되나, 거리 계측장치(13)의 초기위치에서의 시점과 인식영역의 에지를 연결하는 뿔 형상의 공간 내의 3차원 위치 데이터만을 남기고, 이것 이외의 데이터를 삭제하면 된다.

단계 103에서는, 로봇(1)이, 오퍼레이터에 의해 지정된 기본 형상 모델을 나타내는 데이터를 교시 단말(2)로부터 수신한다. 그리고, 로봇(1)은, 오퍼레이터에 의해 지정된 기본 형상 모델을 단계 S102에서 얻은 3차원 위치 데이터에 피칭한다. 더욱 구체적으로 설명하면, 로봇(1)은, 계측에 의해 얻어진 인식영역 내의 3차원 위치 데이터에 가장 잘 합치하도록, 지정된 기본 형상 모델의 형상 파라미터 및 배치 파라미터를 피팅하면 된다. 여기서의 피팅 처리에는, 3차원 화상처리 분야에서의 공지의 기술을 사용하면 된다. 도 6은, 워크(90)의 상(30)에 기본 형상 모델(구체적으로는 원주 모델)(60)을 겹쳐서 표시한 것으로, 유저가 원주 모델을 선택한 경우의 피팅 결과를 나타내고 있다.

단계 S104에서는, 로봇(1)이, 피팅에 의해 형상 파라미터가 결정된 기본 형상 모델에 적용하는 것이 가능한 파지 패턴을, 데이터베이스(15)를 참조하여 선택한다. 여기서, 기본 형상 모델의 형상 파라미터, 파지 패턴, 및 데이터베이스(15)의 데이터구조의 각 구체예를 설명한다.

도 7은, 기본 형상 모델의 하나인 원통 모델(70)을 나타내고 있다. 원통 모델(70)의 형상 파라미터는, 직경(D), 원통의 길이(L), 및 벽의 두께(T) 3가지이다. 또한, 상기한 원주 모델(60)은, 원통 모델(70)의 서브 세트이다. 구체적으로는, 원주 모델은, 원통 모델에서 벽의 두께(T)가 미정의, 또는 T = D/2인 경우에 대응한다.

도 8 및 9는, 데이터베이스(15)의 데이터구조의 구체예이며, 원통 모델(70)에 적용 가능한 파지 패턴에 관한 데이터 내용을 나타내고 있다. 핸드(11)의 종류가 다르면, 실행 가능한 파지 패턴이 다르고, 동일한 기본 형상 모델에 적용 가능한 파지 패턴도 다르다. 데이터베이스(15)는, 각 파지 패턴이 각 기본 형상 모델의 어떠한 형상 파라미터 범위에서 적용 가능한지를 나타내는 정보를, 핸드(11)의 종류에 대응시켜 기록하여 두면 된다.

도 8 및 도 9의 예에서는, 핸드(11)의 핸드타입이 「평면 3관절 2손가락 핸드」이고, 기본 형상 모델이 원통 모델일 때에 적용 가능한 파지 패턴으로서, 4개의 파지 패턴이 적용조건과 함께 기록되어 있다. 구체적으로는, 4개의 파지 패턴 은, 「파지 패턴 A : 측면을 끼워서 파지」,「파지 패턴 B : 끝면을 끼워서 파지」,「파지 패턴 C : 쥐어서 파지」,및 「파지 패턴 D : 가장자리면은 끼워서 파지」이다. 이들 각각의 파지 패턴의 적용조건은, 도 8에 나타낸 원통 모델(70)의 형상 파라미터(D, L 및 T)에 의해 기술되어 있다.

또한, 참고를 위해, 도 8 및 9에서는, 원통 모델(70)과 핸드(11)에 대응하는 핸드 모델(83)에 의하여, 파지 패턴(A∼D)을 나타내는 사시도를 나타내고 있다. 또, 파지 패턴(A∼D)을 나타내는 도면에서의 양방향 화살표는, 각 파지 패턴의 조정 가능한 남겨진 자유도를 나타내고 있다. 예를 들면, 「파지 패턴 C : 쥐어서 파지」의 경우, 원통 모델(70)의 중심축 주위의 회전 자유도(RF)와, 중심축에 따른 병진 자유도(TF)의 2개의 자유도가 조정 가능하다. 본 실시형태에서는, 파지 패턴 에 남겨진 이들 자유도는, 뒤에서 설명하는 단계 S206에서, 오퍼레이터에 의해 최종 결정된다.

도 2로 되돌아가 설명을 계속한다. 단계 S204에서는, 교시 단말(2)이, 피팅결과를 나타내는 기본 형상 모델(60)과, 단계 S104에서 선택된 파지 패턴을 나타내는 핸드 모델(83)을, 워크(90)의 상(30)을 포함하는 촬영화상에 겹쳐서 표시한다. 이와 같이 겹쳐서 표시를 행함으로써, 워크(90)와 기본 형상 모델 및 파지 패턴과의 적합 정도를 오퍼레이터가 용이하게 파악할 수 있다.

도 10A 및 도 10B는, 단계 S204에서의 표시장치(21)의 표시 화면예를 나타내고 있다. 도 10A는, 상기한 「파지 패턴 C : 쥐어서 파지」의 표시예이다. 또, 도 10B는, 상기한 「파지 패턴 A : 측면은 끼워서 파지」의 표시예이다. 도 10A 및 도 10B와 같이 복수의 파지 패턴 후보가 존재하는 경우에는, 표시장치(21)는, 이들 복수의 후보를 모두 표시하여도 되고, 오퍼레이터의 조작에 따라 하나의 후보씩 변환하여 표시하여도 된다.

단계 S205에서는, 교시 단말(2)이, 오퍼레이터에 의한 파지 패턴의 최종적인 결정을 접수한다. 여기서, 결정되는 파지 패턴을 최종 파지 패턴이라 부르기로 한다.

단계 S206에서는, 교시 단말(2)이, 최종 파지 패턴에 남겨진 자유도의 조정을 오퍼레이터에게 재촉한다. 교시 단말(2)은, 표시장치(21)의 화면 상에 포인터를 표시하여, 오퍼레이터에 의한 포인터 조작을 접수하면 된다. 오퍼레이터는, 포인터를 조작하여 자유도의 조절을 행한다. 더욱 구체적으로는, 교시 단말(2)은, 화면 표시된 핸드 모델(83)에 대한 드래그 조작을 접수하면 된다. 그리고, 교시 단말(2)은, 드래그 조작 후의 핸드 모델(83)과 기본 형상 모델(60) 또는 워크상(30)과의 상대위치 및 상대 자세에 따라, 최종 파지 패턴에 남겨진 자유도의 조정값을 결정하면 된다. 이에 따라, 오퍼레이터는, 간단한 드래그 조작에 의해서 적절한 파지 패턴을 결정할 수 있다

도 11A∼도 11C는, 단계 S206에서의 오퍼레이터에 의한 자유도 조정의 구체예를 나타내는 도면이다. 도 11A는, 표시화면 상에서의 포인터(84)의 이동을 나타내고 있다. 도 11B는, 핸드 모델(83)의 드래그에 의한 포인터(84)의 표시변화를 나타내고 있다. 또, 도 11C는, 드래그 조작에 의해 병진 자유도(TF)의 조정이 이루어진 상태를 나타내고 있다.

제일 마지막으로, 도 2의 단계 S105에서는, 로봇(1)이, 최종 결정된 파지 패턴에 의거하여, 워크(90)의 파지동작을 실행한다.

상기한 발명의 실시형태 1에 관한 동작 교시시스템은, 이하에 설명하는 바와 같은 효과를 가진다. 즉, 본 실시형태의 동작 교시시스템에 의하여, 오퍼레이터는, 촬상장치(12)에 의한 촬영화상이 표시된 표시화면 상에 인식영역을 묘획하고, 이것에 적용시키는 기본 형상 모델을 선택하는 조작에 의하여, 워크(90)의 파지 부위의 형상을 특정하여, 파지방법을 결정할 수 있다. 즉, 오퍼레이터는, CAD에서 사용되는 파라메트릭 모델링 방법과 같은 숙련을 요하는 상세한 입력작업을 행하지 않고, 간단하고 또한 직감적인 조작에 의해 워크(90)의 파지동작을 교시할 수 있다.

또, 본 실시형태의 동작 교시시스템은, 기본 형상 모델과 파지 패턴을 관련지어 미리 데이터베이스(15)에 기록하여 둠으로써, 적절한 파지 패턴의 후보를 오퍼레이터에게 제시하는 것이 용이해진다. 즉, 오퍼레이터는, 핸드(11)의 위치 및 자세, 각 손가락의 배치 등을 상세하게 차례대로 지정할 필요가 없다.

또, 본 실시형태의 동작 교시시스템은, 로봇(1)에게 파지시키고 싶은 부위를 오퍼레이터가 지정하고, 그 부위만을 기본 형상 모델을 적용하여 모델화한다. 이 때문에, 대상물의 모델화가 용이하고, 복잡한 인식기술이 없어도 다양한 파지작업을 실현할 수 있다.

또, 일반적으로 모델 베이스의 파지계획을 실행하기 위해서는, 워크(90)의 종류에 따라 상세한 모델을 사용할 필요가 있다. 그러나, 본 실시형태의 동작 교시시스템은, 한정된 수의 기본 형상 모델과 파지 패턴의 조합에 의하여 파지계획을 행하기 때문에, 데이터량이 적어도 된다.

또, 교시 단말(2)에 대하여 오퍼레이터가 해야 할 조작은 한정되어 있기 때문에, 표시장치(21) 및 입력장치(22)는, 복잡한 인터페이스를 필요로 하지 않는다. 즉, 교시 단말(2)은, 소형의 표시화면에서의 조작에 적합하다. 이 때문에, 교시 단말(2)로서 소형의 포터블 단말, 예를 들면 스마트폰, 통신기능을 가지는 소형 게임기 등을 사용하는 것도 용이해진다.

또한, 로봇(1)은, 피팅(도 2의 단계 S104)의 결과에 의거하여 선택된 파지 패턴을 실행할 때의 로봇 아암(10)의 궤도와 워크(90) 주위의 장해물과의 간섭(장해물과의 충돌)을 판정하여도 된다. 이 판정은, 거리 계측장치(13)에 의해 취득된 인식영역 주변의 3차원 위치 데이터와 로봇 아암(10)의 궤도의 계산결과와의 비교에 의해 행하면 된다. 또한, 장해물과의 간섭의 판정결과에 의거하여, 파지 패턴 의 좁힘을 행하여도 된다. 구체적으로는, 장해물과의 간섭의 가능성이 있는 파지 패턴을 특정하고, 이것을 오퍼레이터에게 제시하기 위하여 교시 단말(2)에 송신하는 파지 패턴의 후보로부터 제외하면 된다. 또, 장해물과의 간섭의 가능성이 있는 것을 오퍼레이터에게 통지하기 위하여, 간섭의 판정결과를 교시 단말(2)에 송신하여도 된다.

그 밖의 실시형태.

발명의 실시형태 1에서는, 도 2에 나타낸 바와 같이, 피팅에 의한 파지 패턴 의 선택 후에, 선택된 파지 패턴을 오퍼레이터에게 제시하여, 오퍼레이터가 최종 파지 패턴의 결정과, 최종 파지 패턴의 자유도 조정을 행하는 것으로서 설명하였다. 이와 같은 순서는, 로봇(1)의 동작을 최적의 파지동작에 근접시키기 위하여 유효하다. 그러나, 도 2의 단계 S204∼S206를 행하지 않고, 선택한 파지 패턴의 하나에 따라 로봇(1)에게 자율적으로 파지동작을 실행시켜도 된다.

또, 발명의 실시형태 1에서의 로봇(1)과 교시 단말(2)과의 기능 분담은 일례이다. 예를 들면, 기본 형상 모델과 3차원 위치 데이터와의 피팅은, 교시 단말(2)측에서 실행되어도 된다. 또, 예를 들면, 데이터베이스(15)는, 교시 단말(2)측에 설치하여도 된다. 또, 로봇(1) 및 교시 단말(2)에 더하여 제 3 장치가 존재하여도 된다. 예를 들면, 촬상장치(12) 및 거리 계측장치(13)는, 로봇 아암(10) 및 핸드(11)를 구비한 로봇 본체에 직접 탑재할 필요는 없고, 로봇 본체와 별도의 독립된 장치로서 작업공간에 배치되어도 된다.

또한, 본 발명은 상기한 실시형태에만 한정되는 것은 아니고, 이미 설명한 본 발명의 요지를 일탈하지 않는 범위에서 여러가지 변경이 가능한 것은 물론이다.

본 발명은, 워크의 파지를 행하는 로봇에 대한 동작 교시를 행하기 위한 동작 교시시스템 및 동작 교시방법에 이용할 수 있다.

1 : 로봇 10 : 로봇 아암
11 : 핸드 12 : 촬상장치
13 : 거리 계측장치 14 : 통신부
15 : 데이터베이스 2 : 교시단말
20 : 통신부 21 : 표시장치
22 : 입력장치 23 : 제어부
30 : 워크상 31∼33 : 인식영역
40 : 아이콘 리스트 41∼44 : 아이콘
50 : 3차원 위치 데이터 90 : 워크
60 : 기본 형상 모델(원주 모델) 70 : 원통 모델
83 : 핸드 모델 84 : 포인터
RF : 회전 자유도 TF : 병진 자유도

Claims

워크를 파지하기 위한 핸드를 포함하는 로봇 아암을 가지는 로봇에게 대하여 파지동작을 교시하기 위한 동작 교시시스템에 있어서,
촬상장치와,
대상물까지의 거리를 계측하는 거리 계측장치와,
표시장치와,
오퍼레이터에 의한 입력조작을 접수하는 입력장치와,
복수의 기본 형상 모델의 각각에 대하여 상기 핸드가 적용 가능한 적어도 하나의 파지 패턴이 기술된 데이터베이스와,
상기 촬상장치에 의해 취득된 상기 워크를 포함하는 작업공간의 촬영화상을 상기 표시장치에 표시시키는 촬영화상 표시수단과,
상기 핸드에 파지시키는 상기 워크 중의 부위를 지정하기 위한 조작을, 상기표시장치에 표시된 상기 워크의 상 위에서 상기 부위를 포함하는 인식영역을 상기입력장치를 사용하여 2차원적으로 지정하는 조작으로서 접수하는 인식영역 지정수단과,
상기 부위에 적용시키는 기본 형상 모델을 상기 복수의 기본 형상 모델 중에서 지정하는 조작을, 상기 입력장치를 거쳐 접수하는 기본 형상 모델 지정수단과,
상기 오퍼레이터에 의해 지정된 기본 형상 모델을, 상기 거리 계측장치를 사용하여 취득된 상기 인식영역에 상당하는 공간의 3차원 위치 데이터에 피팅시키는 피팅수단과,
상기 오퍼레이터에 의해 지정된 기본 형상 모델 및 상기 피팅수단에 의한 피팅 결과에 의거하여 상기 데이터베이스를 검색함으로써, 상기 워크의 파지에 적용가능한 적어도 하나의 파지 패턴을 선택하는 파지 패턴 선택수단을 구비하는 것을 특징으로 하는 동작 교시시스템.
제 1항에 있어서,
상기 파지 패턴 선택수단에 의해 선택된 상기 적어도 하나의 파지 패턴을 상기 표시장치에 표시시키는 파지 패턴 표시수단과,
상기 파지 패턴 표시수단에 의해 생성되는 표시내용에 의거하여 상기 로봇에게 행하게 하는 최종 파지 패턴을 선택하기 위한 상기 오퍼레이터에 의한 조작을 접수함과 동시에, 상기 최종 파지 패턴에 남겨진 자유도를 조절하는 상기 오퍼레이터의 조작을 접수하는 파지 패턴 결정수단을 더 구비하는 것을 특징으로 하는 동작 교시시스템.
제 2항에 있어서,
상기 파지 패턴 표시수단은, 상기 적어도 하나의 파지 패턴을 나타내는 상기 핸드의 모델 화상을 상기 촬영화상에 겹쳐서 표시하고,
상기 파지 패턴 결정수단은, 상기 오퍼레이터에 의한 상기 자유도의 조절 조작을, 상기 표시장치의 표시화면 내에서의 상기 모델 화상의 드래그 조작에 의해 접수하고, 상기 드래그 조작 후의 상기 모델 화상의 상기 표시화면 내에서의 위치 및 자세에 의거하여 상기 자유도의 조정값을 결정하는 것을 특징으로 하는 동작 교시시스템.
제 1항 내지 제 3항 중 어느 한 항에 있어서,
상기 파지 패턴 선택수단은,
상기 거리 계측장치를 사용하여 취득된 상기 인식영역 주변의 3차원 위치 데이터를 사용하여, 상기 적어도 하나의 파지 패턴에 의한 상기 로봇 아암의 궤도와 상기 워크 주위의 장해물과의 간섭을 추가로 판정하고, 당해 판정 결과에 의거하여 파지 패턴의 좁힘을 행하는 것을 특징으로 하는 동작 교시시스템.
워크를 파지하기 위한 핸드를 포함하는 로봇 아암을 가지는 로봇에게 대하여 파지동작을 교시하기 위한 동작 교시방법에 있어서,
상기 워크를 포함하는 작업공간의 촬영화상을 표시장치에 표시시키는 단계(a)와,
상기 핸드에 파지시키는 상기 워크 중의 부위를 지정하기 위한 조작을, 상기 표시장치에 표시된 상기 워크의 상 위에서 상기 부위를 포함하는 인식영역을 2차원적으로 지정하는 조작으로서 접수하는 단계(b)와,
상기 부위에 적용시키는 기본 형상 모델을 복수의 기본 형상 모델 중에서 지정하는 조작을 접수하는 단계(c)와,
상기 단계(c)에서 지정된 기본 형상 모델을, 거리 계측장치를 사용하여 취득된 상기 인식영역에 상당하는 공간의 3차원 위치 데이터에 피팅시키는 단계(d)와,
상기 복수의 기본 형상 모델의 각각에 대하여 상기 핸드가 적용 가능한 적어도 하나의 파지 패턴이 기술된 데이터베이스를, 상기 단계(c)에서 지정된 기본 형상 모델 및 상기 단계(d)에서의 피팅 결과에 의거하여 검색함으로써, 상기 워크의 파지에 적용 가능한 적어도 하나의 파지 패턴을 선택하는 단계(e)를 구비하는 것을 특징으로 하는 동작 교시방법.
제 5항에 있어서,
상기 단계(e)에서 선택된 상기 적어도 하나의 파지 패턴을 상기 표시장치에 표시시키는 단계(f)와,
상기 단계(f)에서 생성되는 표시내용에 의거하여 상기 로봇에게 행하게 하는 최종 파지 패턴을 선택하기 위한 상기 오퍼레이터에 의한 조작을 접수하는 단계(g)와,
상기 최종 파지 패턴에 남겨진 자유도를 조절하는 상기 오퍼레이터의 조작을 접수하는 단계(h)를 더 구비하는 것을 특징으로 하는 동작 교시방법.
제 6항에 있어서,
상기 단계(f)에서는, 상기 적어도 하나의 파지 패턴을 나타내는 상기 핸드의 모델 화상을 상기 촬영화상에 겹쳐서 표시하고,
상기 단계(h)에서는, 상기 오퍼레이터에 의한 상기 자유도의 조절 조작을, 상기 표시장치의 표시화면 내에서의 상기 모델 화상의 드래그 조작에 의해 접수하고, 상기 드래그 조작 후의 상기 모델 화상의 상기 표시화면 내에서의 위치 및 자세에 의거하여 상기 자유도의 조정값을 결정하는 것을 특징으로 하는 동작 교시방법.
제 5항 내지 제 7항 중 어느 한 항에 있어서,
상기 단계(e)에서는, 상기 거리 계측장치를 사용하여 취득된 상기 인식영역 주변의 3차원 위치 데이터를 사용하여, 상기 적어도 하나의 파지 패턴에 의한 상기 로봇 아암의 궤도와 상기 워크 주위의 장해물과의 간섭을 추가로 판정하고, 당해 판정결과에 의거하여 파지 패턴의 좁힘을 행하는 것을 특징으로 하는 동작 교시방법.