KR20190044496A

KR20190044496A - 자동화 장치

Info

Publication number: KR20190044496A
Application number: KR1020180117412A
Authority: KR
Inventors: 야스후미 요시우라; 히로시 안노
Original assignee: 가부시키가이샤 야스카와덴키
Priority date: 2017-10-20
Filing date: 2018-10-02
Publication date: 2019-04-30
Also published as: US20190118383A1; JP2019076972A; JP6579498B2; US10974393B2; KR102226986B1

Abstract

기구에 대한 보정 작업 등을 불필요하게 한다. 작업 가능 공간 범위 내에 설정된 자체 기계좌표계 XYZ의 임의의 위치에 존재하는 워크(W)에 대하여 소정 작업이 가능한 작업 기구(2)와, 자체 기계좌표계 XYZ에 존재하는 워크(W)를 검지하는 카메라(3)와, 카메라(3)가 촬상한 화상 정보에 근거하여, 자체 기계좌표계 XYZ 내에 있어서 워크(W)의 현재 위치 정보를 검출 가능한 위치 검출부(41)와, 자체 기계좌표계 XYZ 내에서 이동하는 동일한 워크(W)에 대하여 위치 검출부(41)가 상이한 검출 타이밍에서 검출한 복수의 현재 위치 정보에 근거하여 작업 기구(2)의 작업 위치를 지령하는 작업 제어부(42)를 갖는다.

Description

자동화 장치{AUTOMATIC APPARATUS}

개시된 실시형태는 자동화 장치에 관한 것이다.

특허문헌 1에는, 컨베이어에 의해 운반되는 물체에 대하여 로봇이 작업을 실행하는 로봇 시스템에 있어서, 컨베이어 상에서의 물체의 위치를 정의하기 위한 좌표계로서, 로봇의 베이스 좌표계에 대하여 소정의 관계를 갖는 컨베이어 좌표계를 설정하는 방법이 개시되어 있다.

일본 특허 공개 제 2017-47511 호 공보

그렇지만, 상기 종래 기술과 같이 본래 개별적으로 설정되어 있는 로봇의 좌표계와 다른 기계좌표계 사이의 좌표간 보정에는 숙련된 기술이나 높은 전문 지식, 또한 특수한 지그나 다수의 작업 공정이 필요하며 매우 번잡하게 되어 있었다.

본 발명은 이와 같은 문제점을 감안하여 이루어진 것이며, 기구에 대한 보정 작업 등이 불필요한 자동화 장치를 제공하는 것을 목적으로 한다.

상기 과제를 해결하기 위해, 본 발명의 하나의 관점에 의하면, 작업 가능한 공간 범위 내에 설정된 자체 기계좌표계(Machine Coordinate System)의 임의의 위치에 존재하는 워크에 대하여 소정 작업이 가능한 기구와, 상기 자체 기계좌표계에 존재하는 상기 워크를 검지하는 센서와, 상기 센서의 검지 정보에 근거하여, 상기 자체 기계좌표계 내에 있어서의 상기 워크의 현재 위치 정보를 검출 가능한 위치 검출부와, 상기 자체 기계좌표계 내에서 이동하는 동일 워크에 대하여 상기 위치 검출부가 상이한 검출 타이밍에서 검출한 복수의 현재 위치 정보에 근거하여 상기 기구의 작업 위치를 지령하는 작업 제어부를 포함하는 자동화 장치가 적용된다.

본 발명에 의하면, 기구에 대한 보정 작업 등이 불필요해진다.

도 1은 실시형태의 자동화 장치의 개략적인 시스템 블록 구성의 일예를 도시하는 도면이다.
도 2는 컨트롤러가 구비하는 위치 제어부 및 작업 제어부의 소프트웨어 블록도의 일예를 나타내는 도면이다.
도 3은 카메라가 촬상한 화상 정보의 일예를 도시하는 도면이다.
도 4는 워크의 직선 등속도 이동의 동작 규칙을 도시하는 도면이다.
도 5는 이동처 산출부가 산출하는 워크의 이동처 위치와 도달 타이밍을 도시하는 도면이다.
도 6은 현재 위치 정보의 검출에 실패한 경우의 대처 수법을 설명하는 도면이다.
도 7은 워크의 반송 방향이 카메라 좌표계에 경사져 있는 경우의 화상 정보의 일예를 도시하는 도면이다.
도 8은 외관 형상과 동작 규칙이 각각 상이한 복수의 워크를 촬상한 경우의 화상 정보의 일예를 도시하는 도면이다.
도 9는 현재 위치 정보를 그대로 작업 위치 지령으로서 출력하는 경우의 작업 기구의 동작의 일예를 도시하는 도면이다.
도 10은 센서 위치 검출부가 실장하는 뉴럴 네트워크 모델 개략도의 일예를 도시하는 도면이다.
도 11은 카메라의 다양한 설치 위치와 설치 자세의 예를 도시하는 도면이다.
도 12는 자체 기계좌표계에 있어서의 워크의 현재 위치 정보를 출력 가능한 뉴럴 네트워크 모델 개략도의 일예를 도시하는 도면이다.

이하, 실시의 형태에 대해 도면을 참조하면서 설명한다.

<자동화 장치의 개략 구성>

도 1은 본 실시형태의 자동화 장치의 개략적인 시스템 블록 구성의 일예를 도시하고 있다. 본 실시형태의 예로 도시하는 자동화 장치는, 벨트 컨베이어로 반송 이동되는 복수의 워크에 대하여, 각각의 상면에 개별적으로 스탬프로 날인하는 시스템이다. 도 1에 있어서 자동화 장치(1)는 작업 기구(2)와, 카메라(3)와, 컨트롤러(4)를 갖고 있다.

작업 기구(2)는, 도시하는 본 실시형태의 예에서는, 3개의 수직 회전축과 1개의 수직 승강축을 구비한 매니퓰레이터 아암(manipulator arm)(스칼라 기구, 수평 다축형 기구)이다. 그 아암 선단부에는, 워크(W)의 표면에 제조년월일 등의 소정의 인자(印字) 내용을 날인 가능한 스탬프로 구성된 엔드 이펙터(21)가 장착되어 있다. 도시하는 예에서는, 워크(W)는 그 축 방향을 연직 방향을 향해서 탑재한 원통 형상의 캔이며, 엔드 이펙터(21)의 스탬프는 상기 워크(W)의 원형 상부평면보다 외경이 조금 작은 원형상의 스탬프이다.

상기 작업 기구(2)에 실행시키는 작업은, 상기 워크(W)의 원형 상부평면의 표면에 대략 동축적인 배치로 스탬프(21)를 날인시키는 것이다. 이 때문에, 작업 기구(2)가 실행하는 작업 내용으로서는, 작업 대상인 워크(W)의 원형 상부평면의 중심 위치를 작업 위치로 하고, 그 작업 위치에 대하여 원형의 스탬프(21)의 중심 위치(아암 선단부의 기준 위치)를 수평 방향으로 맞추도록 아암을 이동시킨 후, 스탬프(21)를 강하시켜서 날인하는 작업을 실행한다. 이 작업은, 상기 작업 기구(2)의 기계적 구조에 의해 규정되는 작업 가능 공간 범위(특별히 도시하지 않음) 내에서 실행되는 것이며, 그 제어는, 작업 가능 공간 범위 내에서 상기 작업 기구(2)의 기계적 배치를 기준으로 설정된 3축 직교 좌표의 기계좌표계 XYZ(이하에서 「자체 기계좌표계 XYZ」라 함) 상에 있어서의 좌표 위치의 연산 처리에 근거하여 실행된다.

또한, 본 실시형태의 예에서는, 상기 작업 기구(2)의 기대(22)에 캐스터(23)가 마련되어 있으며, 작업 기구(2) 전체가 예를 들면 사용자의 수작업 등에 의해 임의의 위치로 이동 가능한 구성으로 되어 있다. 또한, 워크(W)를 반송 이동시키는 벨트 컨베이어(5)에 대해서는, 상기 작업 기구(2)와는 별체로 구성되며, 미리 작업 현장의 마루면에 고정적으로 설치(반송 가능한 구성으로 고정 설치한 것이어도 좋음)된 것이며, 그 벨트의 반송 방향, 반송 속도, 반송 높이도 포함한 기계적, 제어적인 사양에 대해서는 미지(未知)의 것으로 한다.

카메라(3)는, 이 예에서는 광학적으로 2차원 픽셀 열의 화상 정보(검지 정보)를 촬상 가능한 센서이다. 이 카메라(3)는, 상기 작업 기구(2)의 작업 가능 공간 범위를 상방으로부터 연직 방향으로 내려다보는 위치와 자세로 작업 기구(2)에 고정되어 있으며, 그 작업 가능 공간 범위의 전체 또는 적어도 일부를 촬상 가능하게 되어 있다.

컨트롤러(4)는, 상기 카메라(3)에서 촬상한 화상 정보에 근거하여, 작업 기구(2)의 작업에 관한 각종 처리를 실행하고 작업 기구(2)에 구동 전력을 공급한다. 이 컨트롤러(4)는 위치 검출부(41)와, 작업 제어부(42)와, 모션 제어부(43)와, 서보 앰프(44)를 갖고 있다.

위치 검출부(41)는, 본 실시형태의 예에서는, 상기 카메라(3)에서 촬상한 화상 정보를 화상 인식하는 것에 의해, 그 시점에서 상기 작업 기구(2)의 작업 가능 공간 범위 내에 존재하는 워크(W)의 현재 위치 정보를 검출한다. 본 실시형태의 예에서, 이 워크(W)의 현재 위치 정보는, 상기 워크(W)에 대하여 작업 기구(2)가 목적으로 하고 있는 작업(이 예의 날인 작업)을 실행할 수 있는 작업 기준점의 위치(즉 상기 작업 위치가 될 수 있는 위치)로 설정되어 있다. 즉, 본 실시형태의 예에서는, 원통형상의 워크(W)에 있어서 그 원형 상부평면의 표면 중심점의 위치가 상기 워크(W)의 현재 위치 정보로서 검출된다. 그리고 상기 위치 검출부(41)는, 이 현재 위치 정보를 자체 기계좌표계 XYZ 상의 좌표 위치(상기 XYZ 좌표계의 각 축 상의 수치 정보)로서 출력한다.

또한, 워크(W)의 현재 위치 정보의 설정은, 작업 기구(2)가 실행하는 작업 내용에 의해 변경될 수 있는 것이며, 예를 들면 파지 작업을 실행하는 경우에는 상기 워크(W)의 중심 위치 등이 적절하게 되고, 또한 예를 들면 분무 도장 작업을 실행하는 경우에는 상기 워크(W)의 도장 개소 표면으로부터 소정 거리 이격된 위치가 적절하게 된다(특별히 도시하지 않음). 이 때문에, 작업 기구(2)의 작업 내용에 따라서는, 워크(W)의 현재 위치 정보는 실제 물리적 세계에 있어서의 상기 워크(W)의 표면 또는 점적 공간 내에 한정되지 않으며, 상기 워크(W)의 점적 공간의 외부로 설정되어도 좋다. 또는, 워크(W)의 표면 또는 점적 공간 내에 그 존재 기준이 되는 현재 위치 정보를 설정하고, 그에 대하여 소정의 위치 관계에 있는 작업 기준점을 별도 설정하여도 좋다.

또한, 상기 위치 검출부(41)는, 화상 정보 내에 복수의 워크(W)가 촬상되어 있는 경우에는, 각각의 워크(W)의 현재 위치 정보를 개별적으로 검출한다. 또한, 이 위치 검출부(41)에 있어서의 내부 처리 구성에 대해서는, 후의 도 2에서 상술한다.

작업 제어부(42)는, 상기 위치 검출부(41)에서 검출된 워크(W)의 현재 위치 정보에 근거하여, 상기 작업 기구(2)의 엔드 이펙터(21)(스탬프)를 이동시키고 작업을 실행시키는 위치(작업 위치)로서의 작업 위치 지령을 출력한다. 이 작업 위치 지령도 또한, 자체 기계좌표계 XYZ 상의 좌표 위치(상기 XYZ 좌표계의 각 축 상의 수치 정보)로서 출력된다. 또한, 이 작업 제어부(42)에 있어서의 내부 처리 구성에 대해서도, 후의 도 2에서 상술한다.

모션 제어부(43)는, 상기 작업 제어부(42)로부터 입력된 작업 위치 지령에 근거하여, 작업 기구(2)의 엔드 이펙터(21)를 상기 작업 위치 지령의 위치로 이동시키기 위해서 필요한 작업 기구(2)의 각 구동축 모터(도시 생략)의 목표 회전 각도 등을 연산하여, 대응하는 모터 위치 지령을 출력한다. 이와 같은 목표 회전 각도의 연산은 공지의 소위 역 키네마틱(Kinematic) 연산의 수법에 의해 실행하면 좋으며, 여기에서는 그 상세한 설명을 생략한다.

서보 앰프(44)는, 상기 모션 제어부(43)로부터 입력된 모터 위치 지령에 근거하여, 작업 기구(2)의 각 구동축 모터(도시 생략)를 구동 제어하는 구동 전력의 급전 제어를 실행한다.

또한, 상기 컨트롤러(4)는, 그 전체가 작업 기구(2)의 기대(22) 내부에 수납되어 일체로 이동 가능하게 하여도 좋고, 전체 또는 일부가 작업 기구(2)의 하우징 외부에 마련되며 가요성 케이블 등을 거쳐서 정보 송수신이 가능하게 접속되어도 좋다.

<본 실시형태의 특징>

현재 이용되고 있는 일반적인 자동화 장치는, 미리 기구의 기계적 배치를 기준으로 설정된 자체 기계좌표계 XYZ 상의 임의의 좌표 위치까지 소정 작업을 실행하는 엔드 이펙터를 이동시키도록(또한 임의의 자세 방향으로 향하게 함) 수치 제어된다.

그러나, 공장 등의 실제 작업 현장에서는, 작업 기구(2)(와 그 엔드 이펙터(21))에 작업시키는 대상의 워크(W)가, 본 실시형태의 예와 같이 작업 기구(2)와 별체로 구성된 벨트 컨베이어(5) 상에서 반송 이동되는 등과 같이, 상기 자체 기계좌표계 XYZ와는 관계없이 설정된 다른 기계의 기계좌표계(이하에서 「다른 기계좌표계」라 함; 특별히 도시하지 않음) 상에서의 소정의 동작 규칙(모션)으로 이동하는 경우가 많이 있다.

이 때문에, 작업 기구(2)를 작업 현장에 설치할 때에는, 워크(W)의 이동 기준이 되는 다른 기계좌표계와 상기 작업 기구(2)의 자체 기계좌표계 XYZ 사이의 배치 오차를 기계적 또는 좌표 연산적으로 보정(교정)할 필요가 있으며, 또한 작업 기구(2)에 대하여 상기 소정 동작 규칙에 근거하는 워크(W)의 이동에 대응한 목표 위치 지정 작업이 필요했다. 그렇지만, 이와 같은 좌표간 보정이나 목표 위치 지정 작업에는 숙련된 기술이나 높은 전문 지식, 또한 특수한 지그나 다수의 작업 공정이 필요하며 매우 번잡하게 되어 있었다. 또한 한편, 최근에는 본 실시형태의 예의 작업 기구(2)와 같이 그 자체가 이동 가능하게 구성되며, 다양한 작업 현장으로의 설치와 철거를 높은 빈도로 반복하는 이용 방법이 제안되어 있으며, 어떠한 작업 현장에서도 용이하게 작업을 개시할 수 있는 범용성, 적응성이 요망되고 있었다.

이에 반하여 본 실시형태에서는, 작업 가능 공간 범위 내에 설정된 자체 기계좌표계 XYZ의 임의의 위치에 존재하는 워크(W)에 대하여 소정 작업이 가능한 작업 기구(2)와, 자체 기계좌표계 XYZ에 존재하는 워크(W)를 광학적으로 검지하는 카메라(3)와, 카메라(3)의 검지 정보(화상 정보)에 근거하여, 그 시점의 자체 기계좌표계 XYZ 내에 있어서 워크(W)의 현재 위치 정보를 검출 가능한 위치 검출부(41)와, 자체 기계좌표계 XYZ 내에서 이동하는 동일한 워크(W)에 대하여 위치 검출부(41)가 상이한 검출 타이밍에서 검출한 복수의 현재 위치 정보에 근거하여 작업 기구(2)의 작업 위치를 지령하는 작업 제어부(42)를 갖고 있다.

이에 의해, 작업 제어부(42)는, 위치 검출부(41)가 검출한 복수의 현재 위치 정보에 근거하여 자체 기계좌표계 XYZ에서 워크(W)의 이동 동작에 대응한 작업 기구(2)의 작업 위치를 지령할 수 있으며, 상기 작업 기구(2)의 엔드 이펙터(21) 등에 그 작업 위치에서 워크(W)를 포착시킬 수 있다. 이것은, 워크(W)의 이동에 관하여 그 소정 동작 규칙을 자동적으로 인식하기만 할 뿐이며, 외부의 다른 기계좌표계와의 사이의 배치 오차를 고려할 필요가 없다. 이 때문에, 작업 기구(2)에 대한 소정 동작 규칙에 대응한 상기 목표 위치 지정 작업이나 좌표간 보정의 작업이 불필요하여, 워크(W)가 이동하는 작업 환경으로의 작업 기구(2)의 적응성을 향상시킬 수 있다. 이상의 기능을 실현하기 위해서 필요한 수법에 대하여, 이하에 순차 설명한다.

<위치 검출부와 작업 제어부의 상세 구성>

도 2는 상기 컨트롤러(4)가 구비하는 위치 제어부 및 작업 제어부(42)의 소프트웨어 블록의 일예를 나타내고 있다. 이 도 2에 있어서, 위치 검출부(41)는 센서 위치 검출부(411)와, 좌표 변환부(412)를 구비하고 있다.

상기 카메라(3)는 작업 기구(2)의 본체와는 별체로 구성된 광학 센서이며, 촬상하는 화상 정보(이 예의 워크를 포함하는 대상 환경의 2차원 화상)는 상기 카메라(3)에 독자적으로 설정된 카메라 좌표계 XcYc(센서 좌표계) 상의 2차원 픽셀 열 데이터로서 취득된다.

그래서, 센서 위치 검출부(411)는, 카메라(3)가 촬상한 화상 정보에 근거하여, 그 화상 정보 내에 촬상되어 있는 워크(W)의 현재 위치 정보를 상기 카메라(3)에 개별적으로 설정된 카메라 좌표계 XcYc에 있어서의 위치 정보로서 검출한다. 이 센서 위치 검출부(411)의 내부 처리에 대해서는, 공지의 화상 인식 알고리즘을 적용하면 좋고, 여기에서는 그 상세한 설명을 생략한다. (그 중에서 심층 학습에 의한 기계 학습 프로세스로 학습한 뉴럴 네트워크를 적용하는 경우의 구체적인 예에 대해서는 후에 상술한다).

그리고, 좌표 변환부(412)는, 상기 센서 위치 검출부(411)가 검출한 카메라 좌표계 XcYc에 있어서의 워크(W)의 현재 위치 정보를, 카메라(3)의 위치와 자세에 근거하여 자체 기계좌표계 XYZ에 있어서의 현재 위치 정보로 변환하고 출력한다. 또한, 본 실시형태의 예에서는, 자체 기계좌표계 XYZ에서의 카메라(3)의 설치 위치(Cp(Xp, Yp, Zp): 도 1 참조)와, 그 촬상 방향을 포함하는 설치 자세(Dc: 도 1 참조)는 이미 알고있는 값으로 고정되어 있다. 이에 의해, 상기 좌표 변환부(412)에서의 처리 내용은, 공지의 선형 촬상의 수법에 따라서 카메라 좌표계 XcYc로부터 자체 기계좌표계 XYZ로의 좌표 변환을 실행하면 좋고, 여기에서는 그 상세한 설명을 생략한다.

그리고, 본 실시형태에서는, 상기 카메라(3)가 소정의 시간 간격으로 주기적으로 화상 정보를 촬상하고, 상기 위치 검출부(41)는 그 촬상 주기에 대응한 상이한 검출 타이밍에서, 이동하는 동일한 워크(W)에 대한 복수의 현재 위치 정보를 시계열적으로 검출한다.

또한, 도 2에 있어서, 작업 제어부(42)는 벡터 산출부(421)와, 이동처 산출부(422)를 구비하고 있다.

벡터 산출부(421)는, 상기 위치 검출부(41)가 검출한 복수의 현재 위치 정보에 근거하여, 자체 기계좌표계 XYZ 내에서 이동하는 상기 워크(W)의 단위 시간 당의 이동 속도 벡터를 산출한다. 이 이동 속도 벡터는 워크(W)의 이동 방향도 포함하는 정보이며, 자체 기계좌표계 XYZ 상의 수치 정보로서 출력된다.

그리고, 이동처 산출부(422)는, 동일의 워크(W)에 대응하여 검출된 복수의 현재 위치 정보 중 어느 하나를 기점으로 하여, 산출된 이동 속도 벡터에 근거하여 상기 워크(W)의 이동처 위치를 산출한다. 이 이동처 위치는, 즉 장래적으로 상기 워크(W)가 통과하는 이동 경로 상의 1점의 위치이며, 이동처 산출부(422)는 상기 워크(W)가 상기 이동처 위치에 도달하는 도달 타이밍도 함께 산출한다.

그리고, 작업 제어부(42)는, 자체 기계좌표계 XYZ에서의 상기 이동처 위치를 작업 위치 지령으로서 출력하는 한편, 특별히 도시하지 않은 별도의 제어 경로를 거쳐서 작업 기구(2)의 엔드 이펙터(21)의 작업을 상기 도달 타이밍에서 개시시킨다. 본 실시형태의 예에 있어서는, 엔드 이펙터(21)의 작업이, 즉 스탬프를 강하시켜 날인하는 작업이기 때문에, 상기 도달 타이밍을 엔드 이펙터(21)의 작업 개시 타이밍으로 하여 스칼라 기구의 승강축에 대하여 강하 동작 지령을 출력하게 된다.

<작업 제어 내용의 구체예>

여기서, 도 3 내지 도 7을 참조하면서, 작업 제어부(42)에 있어서의 작업 제어 내용을 구체적으로 설명한다. 또한, 이하의 도 3 내지 도 6에서는, 설명을 간략화하는 편의상, 자체 기계좌표계 XYZ의 X축 방향과 카메라 좌표계 XcYc의 Xc축 방향과 벨트 컨베이어(5)의 반송 방향이 모두 일치하면서, 벨트 컨베이어(5)를 바로 위로부터 내려다보는 위치, 자세로 카메라(3)가 고정되어 있는 것으로 하고, 또한 벨트 컨베이어(5)의 반송면(벨트 상면)의 마루면으로부터의 높이 치수(자체 기계좌표계 XYZ에 있어서의 반송면의 높이 위치, 반송면과 카메라 위치 사이의 이격 거리)를 이미 알고있는 것을 전제로 하여 설명한다. 이에 의해, 자체 기계좌표계 XYZ에 있어서 워크(W)의 이동에 관하여는, X축 상의 좌표값으로 일원화하여 단순하게 취급할 수 있다. 또한, 화상 정보의 도시에서는, 필요에 따라서 현재 시각에 촬상된 화상(현재 화상)과 함께, 과거에 촬상된 화상(과거 화상)이나 장래적으로 촬상되는 화상(장래 화상)도 중복하여 표시하는 것으로 한다.

도 3은 카메라(3)가 촬상한 화상 정보의 일예를 도시되어 있다. 이 도시하는 예에 있어서, 벨트 컨베이어(5)는 워크(W)를 왼쪽으로부터 오른쪽을 향하는 방향(카메라 좌표계 XcYc의 Xc축 정방향)으로 직선적으로 등속도로 반송하고, 카메라(3)는 그 이동하는 동일한 워크(W)를 소정 주기로 촬상한다. 이 때문에, 최초의 화상 정보 중에서는 좌단에 위치하고 있는 워크(W)(도면 중의 실선으로 나타내는 현재 화상)가, 그 후에 순차 촬상되는 화상 정보 중에서는 우방향으로 등간격인 배치로 촬상된다(도면 중의 파선으로 나타내는 장래 화상).

이러한 워크(W)의 직선 등속도 이동의 동작 규칙(모션)은 도 4와 같이 도시할 수 있다. 이 도 4에 있어서, 최초(T0)에 가장 좌단의 Pos0의 위치(도면 중의 점선으로 나타내는 과거 화상)에서 촬상된 워크(W)는, 그 후 카메라(3)의 촬상 시간 간격(ΔT)의 경과후(T1)에 Pos1의 위치(도면 중의 실선으로 나타내는 현재 화상)에서 촬상되고, 그 후에 순차 Pos2, ···, PosN의 위치(도면 중의 파선으로 나타내는 장래 화상)에서 촬상된다(T2, ···, TN). 상기 센서 위치 검출부(411)에서는, 촬상된 각 화상 정보 각각에 있어서 워크(W)의 외관을 화상 인식하고, 카메라 좌표계 XcYc 내에 있어서의 그들의 현재 위치 정보(이 예의 워크(W)의 중심 위치)를 검출한다. 그리고, 상기 좌표 변환부(412)가 카메라 좌표계 XcYc의 각 현재 위치 정보를 자체 기계좌표계 XYZ의 각 현재 위치 정보로 변환한다.

작업 제어부(42)의 벡터 산출부(421)는, 2번째의 화상 정보로부터 Pos1의 현재 위치 정보가 검출된 시점(T1)(현재 시각)에서, 직전(T0)의 Pos0의 현재 위치 정보와의 차분으로부터 이동 속도 벡터(V)를 산출한다. 이 예에서는 자체 기계좌표계 XYZ에서의 Pos1의 X축 좌표 위치로부터 Pos0의 X축 좌표 위치를 뺀 위치 편차 벡터가 이동 속도 벡터(V)가 된다. 이 이동 속도 벡터(V)는, 카메라(3)의 촬상 시간 간격(ΔT)(센서의 검지 주기)을 단위 시간으로 한 상기 워크(W)의 이동 속도와 이동 방향을 나타내고 있다. 또한, 이 이동 속도 벡터(V)는, 2번째 이후의 현재 위치 정보가 검출되었을 때에 산출할 수 있으며, 최신 현재 위치 정보로부터 그 직전의 현재 위치 정보를 뺀 위치 편차 벡터로부터 구할 수 있다.

또한, 이동 속도 벡터(V)의 단위 시간에 대해서는, 상술한 카메라 촬상 시간 간격(ΔT)으로 한정되지 않으며, 그보다 일반적으로 시간 간격이 짧은 작업 제어부(42)의 제어 사이클(작업 제어부의 제어 주기)(Δt)을 이동 속도 벡터(V')의 단위 시간으로 하여도 좋다. 이 경우에는, 상기 위치 편차 벡터를 단위 시간비(ΔT/Δt)로 나누는 것에 의해 산출할 수 있다.

그리고, 상기 이동처 산출부(422)는, 도 5에 도시하는 바와 같이, 현재 시각(T1)으로부터 카메라 촬상 시간 간격(ΔT)이 경과한 시점(T2)을 도달 타이밍으로 하고, 현재 시각의 Pos1의 현재 위치 정보에 상기 이동 속도 벡터(V)를 가산한 Pos2의 위치에 워크(W)가 도달하는 것을 예측하여, 대응하는 작업 위치 지령을 출력한다. 또한, 그 시점(현재 시각(T1))에 있어서의 작업 기구(2)의 엔드 이펙터(21)의 위치와 그 이동 가능 속도를 고려하여, 상기 도달 타이밍(T2)까지 상기의 Pos2의 위치에 엔드 이펙터(21)를 이동시킬 수 없다고 판단한 경우에는, 그 이후에 타이밍을 맞출 수 있다고 판단할 수 있는 PosN의 위치와 그 도달 타이밍(TN)에 대응하는 작업 위치 지령을 출력한다. 이 경우에는, 시간 간격이 짧은 작업 제어부(42)의 제어 사이클(Δt)을 단위 시간으로 한 이동 속도 벡터(V')를 이용하여 작업 위치 지령을 출력하는 것에 의해, 제어 정밀도가 향상하는 동시에 작업 개시까지의 시간을 단축화할 수 있다.

또한, 도 6에 도시하는 바와 같이, 워크(W)의 상방에 작업 기구(2)의 아암이 중복되는 것에 의해 카메라(3)가 워크(W)를 촬상하지 못하여, 그 시점의 워크(W)의 현재 위치 정보의 검출에 실패하는 경우가 있다. 이 경우에는, 그 이전에 동일한 워크(W)에 대하여 검출에 성공한 다른 복수의 현재 위치 정보와, 그들에 근거하여 이동 속도 벡터(V)를 이용하여 이동처 위치와 그 도달 타이밍을 산출하면 좋다. 예를 들면, 도 6 중에서의 현재 시각(T2)의 Pos2의 위치에서 워크(W)(도면 중의 일점쇄선으로 나타내는 현재 소실 화상)를 촬상할 수 없었던 경우에서도, 그 이전의 Pos0과 Pos1의 사이의 위치 편차 벡터로부터 구한 이동 속도 벡터(V)를 이용하여, 현재 위치 정보를 검출할 수 있었던 바로옆의 Pos1을 기점으로 하여 이동처 위치와 도달 타이밍을 산출할 수 있다. 구체적으로는, Pos1의 위치에 이동 속도 벡터(V)를 예를 들면 2회 가산한 위치를 이동처 위치로 하고, 현재 시각(T2)으로부터 단위 시간(카메라 촬상 시간 간격(ΔT))만큼 경과한 시점(T3)을 도달 타이밍으로 하면 좋다. 또한, 상기의 원인으로 워크(W)의 현재 위치 정보의 검출에 실패한 것 자체는, 자체 기계좌표계 XYZ에 있어서의 작업 기구(2)의 아암의 위치와 그때까지 예측된 워크(W)의 위치 사이의 배치 관계로부터 용이하게 인지할 수 있다. 그러나, 그 이외의 외적인 요인(예를 들면 순간적으로 카메라(3)의 촬상 방향이 차단되는 등)에 의한 경우에서도, 상기의 대처 수법으로 워크(W)의 이동처 위치와 도달 타이밍을 산출할 수 있다.

이상에 설명한 작업 제어 내용은, 자체 기계좌표계 XYZ의 X축 방향과 카메라 좌표계 XcYc의 Xc축 방향과 벨트 컨베이어(5)의 반송 방향이 모두 일치하고 있는 것을 전제로 하고 있었다. 그렇지만, 실제 작업 현장(특히 본 실시형태의 예와 같이 작업 기구(2) 자체가 이동 가능한 구성인 경우)에서는, 예를 들면 도 7의 화상 정보예로 도시하는 바와 같이, 벨트 컨베이어(5)의 반송 방향이 자체 기계좌표계 XYZ 및 카메라 좌표계 XcYc에 대하여 경사져 있는 경우가 많다(도 7에 도시하는 예에서는 자체 기계좌표계 XYZ와 카메라 좌표계 XcYc의 X, Y 각 축 방향이 일치). 그러나, 이 경우에서도, 이동 속도 벡터(V)를 X축 방향과 Y축 방향의 각 성분(Vx, Vy)으로 함께 산출하는 것에 의해, 상기와 동일한 수법에 의해 워크(W)의 이동처 위치와 도달 타이밍을 산출하여, 대응하는 작업 위치 지령을 출력할 수 있다.

또한, 자체 기계좌표계 XYZ와 카메라 좌표계 XcYc의 사이가 경사지는 배치 관계인 경우라도(특별히 도시하지 않음), 자체 기계좌표계 XYZ 내에 있어서 카메라(3)의 설치 위치(Cp(Xp, Yp, Zp): 도 1 참조)와, 그 촬상 방향을 포함하는 설치 자세(Dc: 도 1 참조)를 이미 알고있으면, 좌표 변환부(412)가 그 설치 위치(Cp)와 설치 자세(Dc)를 반영하여 좌표 변환을 실행함으로써, 자체 기계좌표계 XYZ에 있어서 워크(W)의 현재 위치 정보를 검출할 수 있다. 또한, 카메라(3)의 설치 위치(Cp)와 설치 자세(Dc)가 가동인 구성이어도, 인코더나 리니어 스케일 등의 센서에 의해 자체 기계좌표계 XYZ에 있어서의 카메라(3)의 설치 위치(Cp)와 설치 자세(Dc)를 검출할 수 있으면, 마찬가지로 그들을 반영한 좌표 변환이 가능하다(특별히 도시하지 않음).

또한, 벨트 컨베이어(5)의 반송면(벨트 상면)의 마루면으로부터의 높이 치수(자체 기계좌표계 XYZ에 있어서의 반송면의 높이 위치, 반송면과 카메라 위치 사이의 이격 거리)가 미지인 경우에 대해서는, 예를 들면 카메라(3)에 별도 마련한 레이저 스캐너(특별히 도시하지 않음) 등에서 반송면과 카메라 위치 사이의 이격 거리를 검출하고, 그것에 근거하여 좌표 변환부(412)에서 자체 기계좌표계 XYZ에 있어서 워크(W)의 높이 위치(Z축 방향 좌표 위치)도 포함한 현재 위치 정보를 검출하면 좋다.

또한, 화상 정보 내에 복수의 워크(W)가 촬상되어 있는 경우에는, 위치 검출부(41)가 각 워크(W)를 개별적으로 식별하여 각각의 현재 위치 정보를 검출하고, 작업 제어부(42)가 각 워크(W)의 각각 대하여 순서대로 작업 위치 지령을 출력하면 좋다(특별히 도시하지 않음).

<본 실시형태에 의한 효과>

이상 설명한 바와 같이, 본 실시형태의 자동화 장치(1)는, 카메라(3)가 촬상한 화상 정보에 근거하여, 그 시점의 자체 기계좌표계 XYZ 내에 있어서 워크(W)의 현재 위치 정보를 검출 가능한 위치 검출부(41)와, 자체 기계좌표계 XYZ 내에서 이동하는 동일한 워크(W)에 대하여 위치 검출부(41)가 상이한 검출 타이밍에서 검출한 복수의 현재 위치 정보에 근거하여 작업 기구(2)의 작업 위치 지령을 출력하는 작업 제어부(42)를 갖고 있다.

이에 의해, 작업 제어부(42)는, 위치 검출부(41)가 검출한 복수의 현재 위치 정보에 근거하여 자체 기계좌표계 XYZ에 있어서 워크(W)의 이동 동작에 대응한 작업 기구(2)의 작업 위치를 지령할 수 있어서, 상기 작업 기구(2)의 엔드 이펙터(21)(스탬프) 등에 그 작업 위치에서 워크(W)를 포착시킬 수 있다. 이것은, 워크(W)의 이동에 관하여 그 동작 규칙을 자동적으로 인식하기만 할 뿐이며, 외부의 다른 기계좌표계(예를 들면 벨트 컨베이어(5)에서 설정된 기계좌표계)와의 사이의 배치 오차를 고려할 필요가 없다. 이 때문에, 작업 기구(2)에 대한 워크(W)의 동작 규칙에 대응한 목표 위치 지정 작업이나 좌표간 보정의 작업이 불필요하며, 워크(W)가 이동하는 작업 환경으로의 적응성을 향상시킬 수 있다.

또한, 본 실시형태에서는 워크(W)의 개체마다 그 동작 규칙(모션: 이동 방향, 이동 속도, 이동 타이밍)을 인식할 수 있기 때문에, 예를 들면 도 8에 도시하는 바와 같이, 개별적으로 상이한 동작 규칙으로 작업 기구(2)의 작업 가능 공간 범위를 통과하는 복수의 워크(W)에 대해서도, 작업 기구(2)가 각각의 워크(W)를 포착할 수 있다. 또한, 도시하는 바와 같이, 각각 외관 형상이 상이한 복수의 워크(W)에 대해서도, 미리 위치 검출부(41)에 각 워크(W)의 외관 형상을 등록(학습)해 두는 것에 의해, 상기 위치 검출부(41)가 각 워크(W)를 개별적으로 화상 인식하여 그들 현재 위치 정보를 검출시킬 수 있다.

또한, 본 실시형태에서는 특히, 작업 제어부(42)는, 위치 검출부(41)가 동일한 워크(W)에 대하여 상이한 검출 타이밍에서 검출한 복수의 현재 위치 정보에 근거하여 자체 기계좌표계 XYZ 내에 있어서 이동하는 상기 워크(W)의 단위 시간 당의 이동 속도 벡터(V)를 산출하는 벡터 산출부(421)와, 어느 하나의 현재 위치 정보를 기점으로 하여 이동 속도 벡터(V)에 근거하여 상기 워크(W)의 이동처 위치를 산출하는 이동처 산출부(422)를 갖고 있으며, 산출한 이동처 위치를 작업 기구(2)의 작업 위치로서 지령한다. 이에 의해, 그 시점의 이동 속도 벡터(V)에 근거하여 워크(W)가 장래적으로 이동하는 경로 상의 이동처 위치를 예측할 수 있어서, 그 이동처 위치에 작업 기구(2)의 엔드 이펙터(21) 등을 이동시켜 워크(W)를 포착시킬 수 있다.

또한, 본 실시형태에서는 특히, 이동처 산출부(422)는 워크(W)의 이동처 위치로의 도달 타이밍도 산출하고, 작업 제어부(42)는 도달 타이밍을 작업 기구(2)(엔드 이펙터(21))의 작업 개시 타이밍으로서 지령한다. 이에 의해, 이동하는 워크(W)에 대한 엔드 이펙터(21) 등에서의 인쇄 처리, 파지 동작, 또는 가공 처리 등과 같은 순간적인 동기 작업도 정확한 타이밍에서 실행할 수 있다.

또한, 본 실시형태에서는 특히, 이동처 산출부(422)는, 위치 검출부(41)가 워크(W)의 현재 위치 정보의 검출에 실패한 경우라도, 검출에 성공한 다른 현재 위치 정보를 기점으로 하여 이동처 위치를 예측한다. 이에 의해, 예를 들면 워크(W)에 작업 기구(2)의 일부가 중첩되는 등에 의해 카메라(3)가 일시적으로 워크(W)를 잃은 경우라도, 다른 현재 위치 정보로 보완하여 이동처 위치를 예측할 수 있다.

또한, 본 실시형태에서는 특히, 벡터 산출부(421)는 카메라(3)의 카메라 촬상 시간 간격(ΔT)을 단위 시간으로서 이동 속도 벡터(V)를 산출한다. 이에 의해, 워크(W)의 현재 위치 정보의 검출 주기로 이동처 위치나 도달 타이밍을 산출할 수 있어서, 엔드 이펙터(21) 등에서의 워크(W)의 포착도 동일한 타이밍에서 카메라(3)의 촬상에 의해 확인할 수 있다.

또한, 본 실시형태에서는 특히, 벡터 산출부(421)는 작업 제어부(42)의 제어 주기를 단위 시간으로서 산출하여도 좋다. 이 경우에는, 카메라(3)의 카메라 촬상 시간 간격(ΔT)보다 비교적 짧은 제어 주기로 이동 속도 벡터(V)를 산출할 수 있어서, 높은 분해 정밀도로 이동처 위치(예를 들면 상기 도 5 중의 t5, t6, t7 등의 시점의 위치)나 도달 타이밍을 산출할 수 있다.

또한, 본 실시형태에서는 특히, 센서로서, 워크(W)를 포함하는 대상 환경의 2차원 화상을 광학적으로 촬상하는 카메라(3)를 갖고 있다. 이에 의해, 2차원 화상에 근거하는 화상 인식으로 현재 위치 정보의 검출이 가능해진다.

또한, 카메라(3)에 대해서는, 저왜곡의 광각 렌즈를 구비한 고해상도 카메라를 이용함으로써, 보다 넓은 시야각으로 비교적 먼 곳에 위치하는 워크(W)에서도 그 존재와 현재 위치 정보를 신속히 검출할 수 있기 때문에 매우 바람직하다.

또한, 본 실시형태에서는 특히, 위치 검출부(41)는, 2차원 화상에 근거하는 화상 인식에 의해 자체 기계좌표계 XYZ에 있어서 워크(W)의 현재 위치 정보를 검출한다. 이에 의해, 다양한 외관(형상, 색, 모양)의 워크(W)에도 유연하게 대응하여 그 위치나 자세를 검지할 수 있다.

또한, 본 실시형태에서는 특히, 카메라(3)는, 자체 기계좌표계 XYZ에 있어서의 설치 위치(Cp)와 설치 자세(Dc)를 이미 알고있으며(이미 알고있으면 가동식이어도 가능), 위치 검출부(41)는, 카메라(3)가 촬상한 화상 정보에 근거하여 카메라(3)에 개별적으로 설정된 카메라 좌표계 XYZ에 있어서의 현재 위치 정보를 검출하는 센서 위치 검출부(411)와, 카메라 좌표계 XcYc에 있어서 현재 위치 정보를, 카메라(3)의 설치 위치(Cp)와 설치 자세(Dc)에 근거하여 자체 기계좌표계 XYZ에 있어서 현재 위치 정보로 변환하는 좌표 변환부(412)를 갖고 있다. 이에 의해, 카메라(3)의 카메라 좌표계 XcYc로부터 자체 기계좌표계 XYZ로의 좌표 변환 처리도 자동적으로 실행하여, 카메라(3)의 화상 정보로부터 작업 기구(2)의 작업 제어에 이용 가능한 워크(W)의 현재 위치 정보를 용이하게 검출할 수 있다.

또한, 본 실시형태에서는 특히, 작업 기구(2)는, 그 전체가 이동 가능하게 구성되며, 자체 기계좌표계 XYZ는 작업 기구(2)의 기계적 배치를 기준으로 설정되어 있다. 이에 의해, 다양한 작업 현장으로의 작업 기구(2)의 임의인 설치와 철거를 간이하게 실행할 수 있어서, 이와 같은 범용성이 높은 작업 기구(2)의 이용 형태에 대하여 본 실시형태의 작업 기구 제어의 적용이 특히 매우 바람직하다.

<변형예>

또한, 이상 설명한 실시형태는, 그 취지 및 기술적 사상을 일탈하지 않는 범위 내에서 여러 가지의 변형이 가능하다.

<변형예 1: 현재 위치 정보를 그대로 작업 위치로 하여 추종 제어하는 경우>

상기 실시형태에서는, 동일한 워크(W)에 대하여 시계열적으로 얻어진 복수의 현재 위치 정보로부터 상기 워크(W)의 동작 규칙에 상당하는 이동 속도 벡터(V)를 구하고, 그에 근거하여 예측되는 상기 워크(W)의 장래적인 이동처 위치와 도달 타이밍을 작업 기구(2)의 작업 위치 지령으로서 출력하고 있었지만, 이에 한정되지 않는다. 예를 들면, 작업 제어부(42)는, 위치 검출부(41)가 검출한 현재 위치 정보를 그대로 작업 기구(2)의 작업 위치로서 순차 지령하여도 좋다. 이 경우에서도, 도 9에 도시하는 바와 같이, 작업 기구(2)는 동일한 워크(W)에 대하여 순차 검출된 현재 위치 정보를 그대로 추종하도록 엔드 이펙터(21) 등을 이동시킬 수 있으며, 그 결과 작업 기구(2)의 엔드 이펙터(21)에 워크(W)를 포착시킬 수 있다.

<변형예 2: 시간 변화하는 이동 속도나 이동 방향에도 대응하는 경우>

상기 실시형태에서는, 벨트 컨베이어(5)에서의 반송에 의해 워크(W)가 직선 등속도의 동작 규칙으로 이동하는 경우로의 적용예를 설명했지만, 이 이외도 워크(W)의 동작 규칙이 시간 변화하는 경우에도 적용할 수 있다. 이 경우에는, 시계열적으로 연속하는 2개 이상의 이동 속도 벡터(V)를 산출하고, 그들 사이의 시간 변화율을 추정하여 장래적으로 나타내는 이동 속도 벡터(V)를 산출하고, 그에 근거한 이동처 위치(이동 궤적)와 도달 타이밍을 산출하면 된다. 구체적으로는, 벡터 산출부(421)가 이동 속도 벡터(V)의 시간 변화율도 산출하고, 이동처 산출부(422)가 그때까지 검출된 어느 하나의 현재 위치 정보를 기점으로 하여 이동 속도 벡터(V)와 시간 변화율에 근거하여 이동처 위치와 도달 타이밍을 산출하면 된다. 이에 의해, 예를 들면 자유 낙하나 원주 궤도 등과 같은 이동 속도나 이동 방향이 시간 변화하는 워크 이동의 동작 규칙도 자동적으로 인식할 수 있어서, 그에 대응한 작업 기구(2)의 포착 제어가 가능하게 된다(특별히 도시하지 않음).

<변형예 3: 센서로서 거리 측정 센서를 갖는 경우>

상기 실시형태에서는, 워크(W)의 존재 자체를 검지하기 위한 센서로서 2차원 화상을 촬상하는 카메라(3)를 구비하고 있었지만, 이에 한정되지 않는다. 이 이외에도, 특별히 도시하지 않지만, 검지 정보로서 상기 워크(W)를 포함하는 대상 환경의 외주 표면에서의 계측점과의 이격 거리를 계측하는 레이저 스캐너나 초음파 센서 등의 거리 측정 센서를 센서로서 구비하여도 좋다. 이 경우, 레이저 스캐너 또는 초음파 센서가 작업 기구(2)의 작업 가능 공간 범위 내(자체 기계좌표계 XYZ)를 주사하여 다수의 계측점과의 이격 거리를 계측하고, 그들 이격 거리 데이터의 집합으로부터 특정의 형상의 워크(W)의 현재 위치 정보를 검출한다. 이에 의해, 카메라(3)보다 간이한 구성으로, 또한 비교적 어두운 주위 환경에서도 워크(W)의 현재 위치 정보의 검출이 가능해진다. 또한, 상술한 바와 같이 카메라(3)와 병용하여, 자체 기계좌표계 XYZ에서의 상기 카메라(3)와 워크(W) 사이의 상대적인 배치 관계의 검출에 이용하여도 좋다.

<변형예 4: 위치 검출을 심층 학습으로 실행하는 경우>

상기 실시형태에서의 센서 위치 검출부(411)의 화상 인식 처리를, 심층 학습에 의한 기계 학습 프로세스로 학습한 뉴럴 네트워크(W)로 실장하는 경우의 구체적인 일예를 이하에 설명한다. 도 10은 센서 위치 검출부(411)가 실장하는 뉴럴 네트워크 모델 개략도의 일예를 도시하고 있다.

도 10에 도시하는 센서 위치 검출부(411)의 모델 개략도에서는, 카메라(3)로부터 입력된 2차원 픽셀 열 데이터인 화상 정보에 대하여, 미리 학습한 특정 워크(W)의 외관 형상을 인식하고, 또한 카메라 좌표계 XcYc(화상 정보의 좌표계)에서 미리 학습한 상기 워크(W)의 작업 기준점이 되는 현재 위치 정보를 출력하도록 설계, 조정되어 있다. 그 출력되는 현재 위치 정보는, 기계 학습 프로세스(심층 학습)에서의 학습 내용에 근거하는 것이며, 상기 화상 정보 내에 포함되어 있는 워크(W)의 외관(형상, 자세)에 대응하여 적절히 작업(상기 실시형태의 예의 스탬프 날인)을 수행할 수 있다고 추정한 작업 위치이다. 즉, 이 센서 위치 검출부(411)의 뉴럴 네트워크는 화상 정보에 포함되는 워크(W)의 외관 형상 패턴과 현재 위치 정보(작업 가능 위치)의 상관을 나타내는 특징량을 학습하고 있다.

이상의 기본 사양의 뉴럴 네트워크에서는, 예를 들면 입력층의 바로옆을 소위 콘볼루션층(convolutional layer)과 통합계층(pooling layer)의 조합인 콘볼루션 뉴럴 네트워크(특별히 도시하지 않음)로 구성함으로써 유연한 패턴의 인식이 가능해진다. 또한 예를 들면, 출력층의 바로옆을 최적값 연산에 적절한 전체 결합층(특별히 도시하지 않음)으로 구성하는 것도 매우 바람직하다.

이 뉴럴 네트 학습 수법으로서는, 소위 지도 학습과 강화 학습 어느 것에 의해서도 실행하는 것이 가능하다. 예를 들면 지도 학습을 실행하는 경우에는, 워크(W)를 카메라 좌표계 XcYc 중의 이미 알고있는 위치에 배치한 화상 정보(실제 촬상 화상이어도 좋고 컴퓨터 상의 시뮬레이션 화상이어도 좋음)를 입력 데이터로 하고, 그 이미 알고있는 워크 위치를 출력 데이터로 한 조합의 교사 데이터를 이용하면 좋다. 이와 같은 교사 데이터를 다수 이용하여, 각 뉴럴 네트워크의 입력층과 출력층의 사이의 관계성이 성립하도록 각 노드끼리를 연결하는 각 에지의 중량 계수를 조정하는 소위 백프로퍼게이션 처리(오차역 전반 처리)에 의해 학습을 실행한다. 또한, 이와 같은 백프로퍼게이션 이외에도, 소위 적층 오토 인코더, 드롭 아웃, 노이즈 부가, 및 스파스 정규화 등의 공지의 다양한 학습 수법을 병용하여 처리 정밀도를 향상시켜도 좋다.

또한, 강화 학습을 실행하는 경우에는, 랜덤인 위치에 배치된 워크(W)에 대하여 작업 기구(2)에 랜덤인 작업 위치에서 작업을 시켰을 때의 오차량(평가값)을 검출하여, 그 오차량이 적어지도록(장래적으로 평가값에 근거하는 보수를 최대로 얻을 수 있도록) 뉴럴 네트워크의 백프로퍼게이션 처리를 실행한다. 작업 위치의 랜덤성을 순차 조정하면서 이와 같은 학습 작업을 반복하는 것에 의해, 센서 위치 검출부(411)의 뉴럴 네트워크는 워크(W)의 패턴 인식과 그에 관한 적절한 작업 위치, 즉 현재 위치 정보를 출력하기 위한 특징량을 학습할 수 있다. 이와 같은 강화 학습은, 소위 공지의 Q학습 알고리즘을 이용하면 좋으며, 여기에서는 그 상세한 설명을 생략한다.

또한, 센서 위치 검출부(411)의 처리 알고리즘은, 도시한 뉴럴 네트워크를 이용한 심층 학습(딥러닝)에 의한 것 이외에도, 예를 들면 서포트 벡터 머신이나 베이지안 네트워크 등을 이용한 다른 처리 알고리즘(특별히 도시하지 않음)을 적용하여도 좋다.

또한, 이상의 센서 위치 검출부(411)의 학습은, 도 11에 도시하는 바와 같이, 워크(W)에 대하여 상방으로부터 내려다보는 설치 위치(Cp1(Xp1, Yp1, Zp1))와 설치 자세(Dc1)의 카메라(3)에서 촬상한 화상 정보에 한정되지 않으며, 워크(W)에 대하여 경사진 설치 위치(Cp2(Xp2, Yp2, Zp2))와 설치 자세(Dc2)의 카메라(3)에서 촬상한 화상 정보도 함께 학습하여도 좋다. 이에 의해, 임의의 설치 위치(Cp)와 설치 자세(Dc)에 있는 카메라(3)에서 촬상한 화상 정보에서도 양호한 정밀도로 워크(W)의 현재 위치 정보를 출력할 수 있다. 이 경우에도, 카메라(3)의 설치 위치(Cp)와 설치 자세(Dc)를 이미 알고있으면, 좌표 변환부(412)에서 자체 기계좌표계 XYZ에 있어서 현재 위치 정보를 출력할 수 있다.

또한, 도 12에 도시하는 바와 같이, 화상 정보와 함께 카메라(3)의 설치 위치(Cp)와 설치 자세(Dc)를 함께 카메라 위치 자세 정보를 입력함으로써, 자체 기계좌표계 XYZ에 있어서 워크(W)의 현재 위치 정보를 직접 출력할 수 있도록 센서 위치 검출부(411)의 뉴럴 네트워크(도면 중에는 간략하게 기재)를 설계, 조정하여도 좋다. 이 경우에는, 위치 검출부(41)에서의 좌표 변환부(412)를 생략할 수 있다.

상기 실시형태의 자동화 장치(1)는, 이상과 같이 센서 위치 검출부(411)에 대하여, 사전에 작업 대상인 워크(W)의 외관 형상과 그 기준점 위치(현재 위치 정보, 작업 위치)를 미리 학습(등록)시키는 것만으로도, 다른 반송 기계 등의 다른 기계좌표계에 대한 배치 관계를 고려하지 않고도 이동하는 워크(W)의 포착이 가능해진다.

이상 설명한 바와 같이, 본 변형예의 자동화 장치(1)는, 카메라(3)는, 자체 기계좌표계 XYZ에서의 설치 위치(Cp)와 설치 자세(Dc)를 이미 알고있으며, 위치 검출부(41)는, 카메라(3)의 설치 위치(Cp)와 설치 자세(Dc)를 반영한 기계 학습 프로세스(예를 들면 심층 학습)에서의 학습 내용에 근거하여 화상 인식한다. 이에 의해, 복잡하고 인위적인 알고리즘 설계에 따르지 않고, 학습 데이터(훈련 데이터)나 시뮬레이션 등에서의 학습에 의해, 자체 기계좌표계 XYZ에서의 카메라(3)의 설치 위치(Cp)와 설치 자세(Dc)를 반영한 워크(W)의 외관 인식과 현재 위치 정보를 높은 정밀도로 검출 가능해진다. 또한, 특히 심층 학습 등에서의 화상 인식에서는, 카메라 좌표계 XYZ로부터의 좌표 변환 처리를 거치는 일이 없이, 2차원 화상으로부터 직접적으로 자체 기계좌표계 XYZ에 있어서 워크(W)의 3차원 좌표 위치로서 현재 위치 정보를 검출할 수 있다.

<변형예 5: 그 이외>

상기 실시형태 및 각 변형예에서는, 작업 기구(2)로서 스칼라 기구를 적용하고 있지만, 이에 한정되지 않는다. 그 밖에도, 특별히 도시하지 않는 수직 다축 기구나 직교 좌표 기구, 평행 링크 기구를 적용하여도 좋다.

또한, 이상의 설명에서, 「수직」, 「평행」, 「평면」 등의 기재가 있는 경우에는, 상기 기재는 엄밀한 의미는 아니다. 즉, 그들 「수직」, 「평행」, 「평면」은 설계상, 제조상의 공차, 오차가 허용되며, 「실질적으로 수직」, 「실질적으로 평행」, 「실질적으로 평면」이라는 의미이다.

또한, 이상의 설명에서, 외관상의 치수나 크기, 형상, 위치 등이 「동일」, 「같다」, 「동등하다」, 「상이하다」 등의 기재가 있는 경우는, 상기 기재는 엄밀한 의미는 아니다. 즉, 그들 「동일」, 「동등하다」, 「상이하다」는 설계상, 제조상의 공차, 오차가 허용되며, 「실질적으로 동일」, 「실질적으로 같음」, 「실질적으로 동등함」, 「실질적으로 상이함」이라는 의미이다.

또한, 이상 이미 설명한 이외에도, 상기 실시형태나 각 변형예에 의한 수법을 적절히 조합하여 이용하여도 좋다. 그 이외, 일일이 예시는 하지 않지만, 상기 실시형태나 각 변형예는, 그 취지를 일탈하지 않는 범위 내에서, 여러 가지 변경이 가해져 실시되는 것이다.

1: 자동화 장치 2: 작업 기구
3: 카메라(센서) 4: 컨트롤러
5: 벨트 컨베이어 21: 엔드 이펙터 또는 스탬프
41: 위치 검출부 42: 작업 제어부
43: 모션 제어부 44: 서보 앰프
411: 센서 위치 검출부 412: 좌표 변환부
421: 벡터 산출부 422: 이동처 산출부
V, V': 이동 속도 벡터 W: 워크

Claims

자동화 장치에 있어서,
작업 가능한 공간 범위 내에 설정된 자체 기계좌표계의 임의의 위치에 존재하는 워크에 대하여 소정 작업이 가능한 기구와,
상기 자체 기계좌표계에 존재하는 상기 워크를 검지하는 센서와,
상기 센서의 검지 정보에 근거하여, 상기 자체 기계좌표계 내에 있어서 상기 워크의 현재 위치 정보를 검출 가능한 위치 검출부와,
상기 자체 기계좌표계 내에서 이동하는 동일 워크에 대하여 상기 위치 검출부가 상이한 검출 타이밍에서 검출한 복수의 현재 위치 정보에 근거하여 상기 기구의 작업 위치를 지령하는 작업 제어부를 포함하는 것을 특징으로 하는
자동화 장치.
제 1 항에 있어서,
상기 작업 제어부는, 상기 위치 검출부가 검출한 상기 현재 위치 정보를 상기 기구의 작업 위치로 하여 순차 지령하는 것을 특징으로 하는
자동화 장치.
제 1 항에 있어서,
상기 작업 제어부는,
상기 위치 검출부가 동일 워크에 대하여 상이한 검출 타이밍에서 검출한 복수의 현재 위치 정보에 근거하여 상기 자체 기계좌표계 내에서 이동하는 상기 워크의 단위 시간 당의 이동 속도 벡터를 산출하는 벡터 산출부와,
어느 하나의 상기 현재 위치 정보를 기점으로 하여 상기 이동 속도 벡터에 근거하여 상기 워크의 이동처 위치를 산출하는 이동처 산출부를 구비하고,
상기 이동처 위치를 상기 기구의 작업 위치로서 지령하는 것을 특징으로 하는
자동화 장치.
제 3 항에 있어서,
상기 이동처 산출부는 상기 워크의 상기 이동처 위치로의 도달 타이밍을 또한 산출하고,
상기 작업 제어부는 상기 도달 타이밍을 상기 기구의 작업 개시 타이밍으로서 지령하는 것을 특징으로 하는
자동화 장치.
제 4 항에 있어서,
상기 벡터 산출부는 상기 이동 속도 벡터의 시간 변화율을 또한 산출하고,
상기 이동처 산출부는, 어느 하나의 상기 현재 위치 정보를 기점으로 하여 상기 이동 속도 벡터와 상기 시간 변화율에 근거하여 상기 이동처 위치와 상기 워크의 상기 이동처 위치로의 도달 타이밍을 산출하는 것을 특징으로 하는
자동화 장치.
제 3 항에 있어서,
상기 이동처 산출부는, 상기 위치 검출부가 상기 워크의 현재 위치 정보의 검출에 실패한 경우라도, 검출에 성공한 다른 현재 위치 정보를 기점으로 하여 상기 이동처 위치를 예측하는 것을 특징으로 하는
자동화 장치.
제 3 항에 있어서,
상기 벡터 산출부는 상기 센서의 검지 주기를 상기 단위 시간으로서 산출하는 것을 특징으로 하는
자동화 장치.
제 3 항에 있어서,
상기 벡터 산출부는 상기 작업 제어부의 제어 주기를 상기 단위 시간으로서 산출하는 것을 특징으로 하는
자동화 장치.
제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 센서는, 상기 검지 정보로서 상기 워크를 포함하는 대상 환경의 2차원 화상을 광학적으로 촬상하는 카메라를 갖는 것을 특징으로 하는
자동화 장치.
제 9 항에 있어서,
상기 카메라는 저왜곡의 광각 렌즈를 구비한 고해상도 카메라인 것을 특징으로 하는
자동화 장치.
제 9 항에 있어서,
상기 위치 검출부는, 상기 2차원 화상에 근거하는 화상 인식에 의해 상기 자체 기계좌표계에 있어서의 상기 현재 위치 정보를 검출하는 것을 특징으로 하는
자동화 장치.
제 11 항에 있어서,
상기 카메라는 상기 자체 기계좌표계에 있어서의 위치와 자세를 이미 알고있으며,
상기 위치 검출부는, 상기 카메라의 위치와 자세를 반영한 기계 학습 프로세스에서의 학습 내용에 근거하여 화상 인식하는 것을 특징으로 하는
자동화 장치.
제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 센서는, 상기 검지 정보로서 상기 워크를 포함하는 대상 환경의 외주 표면에 있어서의 계측점과의 이격 거리를 계측하는 거리 측정 센서를 갖는 것을 특징으로 하는
자동화 장치.
제 9 항에 있어서,
상기 센서는 상기 자체 기계좌표계에 있어서의 위치와 자세를 이미 알고있으며,
상기 위치 검출부는,
상기 센서의 검지 정보에 근거하여 상기 센서에 개별적으로 설정된 센서 좌표계에 있어서의 현재 위치 정보를 검출하는 센서 위치 검출부와,
상기 센서 좌표계에 있어서의 상기 현재 위치 정보를, 상기 센서의 위치와 자세에 근거하여 상기 자체 기계좌표계에 있어서의 현재 위치 정보로 변환하는 좌표 변환부를 갖고 있는 것을 특징으로 하는
자동화 장치.
제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 기구는, 그 전체가 이동 가능하게 구성되며,
상기 자체 기계좌표계는, 상기 기구의 기계적 배치를 기준으로 설정되어 있는 것을 특징으로 하는
자동화 장치.