KR102518766B1 - 데이터 생성 장치, 데이터 생성 방법, 데이터 생성 프로그램 및 원격 조작 시스템 - Google Patents

Abstract

데이터 생성 장치는, 표시기에 표시되는 화상의 생성에 사용되는 적어도 일부의 데이터를 생성하는 데이터 생성 장치로서, 표시기에는, 실제 작업 공간을 모델화한 작업 공간 모델이 동영상으로서 표시되고, 작업 공간 모델은, 실제 로봇을 모델화한 로봇 모델과, 실제 로봇의 주변에 있는 실제 주변물을 모델화한 주변물 모델을 포함하고, 로봇 모델은, 조작기에 대한 조작자의 조작에 따라 동작하도록 작성되고, 데이터 생성 장치는, 주변물의 상태를 나타내는 상태 정보를 취득하는 상태 정보 취득부와, 상태 정보에 기초하여, 현재점보다 소정 시간만큼 후의 주변물의 상태를 예측하는 한편, 예측한 결과를, 표시기에 표시되는 주변물 모델을 작성하는데 사용되는 주변물 모델 데이터로 생성하는 예측부를 구비한다.

Description

데이터 생성 장치, 데이터 생성 방법, 데이터 생성 프로그램 및 원격 조작 시스템

본 발명은, 조작자가 네트워크를 통해 원격지의 로봇을 원격 조작하는 시스템에서 데이터 생성 장치, 데이터 생성 방법, 데이터 생성 프로그램 및 원격 조작 시스템에 관한 것이다.

종래에, 조작자가 네트워크를 통해 원격지의 로봇을 원격 조작하는 시스템이 알려져 있다. 이러한 시스템에서는, 조작자가 조작하는 조작 장치와 로봇 사이에서 통신 지연이 발생할 우려가 있다. 예를 들어, 특허문헌 1에는, 슬레이브 장치와 마스터 장치 사이의 통신 지연을 파악할 수 있는 원격 조작 시스템이 개시되어 있다.

특허문헌 1에 개시된 원격 조작 시스템에서는, 마스터 장치와 슬레이브 장치를 구비하고 있다. 슬레이브 장치는, 마스터 장치로부터 보내진 조작자의 조작에 대응하는 조작 정보에 따라 동작하는 슬레이브 로봇을 구비한다. 슬레이브 로봇은, 자신의 작업 환경을 촬상하는 촬상 장치를 구비하고 있고, 슬레이브 장치는, 작업 환경을 순차적으로 촬영하고, 촬영한 실제 화상을 마스터 장치로 송신한다. 마스터 장치는, 슬레이브 로봇에 보내진 조작 정보에 기초하여 동작 시뮬레이션을 수행하는 시뮬레이터를 구비하고 있고, 슬레이브 장치로부터 보내진 실제 화상과 동작 시뮬레이션을 통해 얻어진 시뮬레이션 화상을 합성함으로써 표시 화상을 생성한다. 표시 화상에서 실제 화상과 시뮬레이션 화상의 합성의 비율은, 마스터 장치와 슬레이브 장치 사이의 통신 지연에 따라 변하고 있다. 구체적으로는, 통신 지연이 큰 경우는, 시뮬레이션 화상의 비율을 크게 하여 표시 화상이 생성된다. 실제 화상이, 슬레이브 로봇의 상태와 함께 작업 환경의 배경 등에 대해서도 비춰넣는 화상인 반면, 시뮬레이션 화상은, 슬레이브 로봇의 상황만을 표시하는 화상이다. 따라서, 조작자가, 표시 화상에서 예를 들어 작업 환경의 배경이 짙게 비춰지는지 등으로부터 통신 지연이 어느 정도 발생하였는가를 용이하게 파악하는 것을 가능하게 하고 있다.

일본 공개특허 특개2015-47666호 공보

그러나, 특허문헌 1의 시스템에서는, 조작자는, 실제 화상과 시뮬레이션 화상의 합성 비율로부터 통신 지연의 정도를 판단할 필요가 있고, 또한 통신 지연이 크다고 판단한 경우에는, 마스터 장치에 주어지는 조작량을 줄이는 등의 대응을 적절히 할 필요가 있다. 따라서, 상술한 시스템에서는, 조작자는, 로봇의 조작 이외에 통신 지연에 따른 상황 판단을 수행할 필요가 있어서, 조작자가 로봇의 작업에 집중할 수 없는 우려가 있다.

따라서, 본 발명은, 조작자가 조작하는 조작 단말과 로봇 사이의 통신 지연이 조작자의 조작에 주는 영향을 억제할 수 있는 데이터 생성 장치, 데이터 생성 방법, 데이터 생성 프로그램 및 원격 조작 시스템을 제공하는 것을 목적으로 한다.

상기의 과제를 해결하기 위하여, 본 발명의 일 측면에 따른 데이터 생성 장치는, 조작자의 조작을 접수하는 조작기 및 상기 조작자가 눈으로 확인 가능한 표시기를 구비하는 조작 단말과, 실제 작업 공간 내에 설치되고, 상기 조작 단말과 데이터 통신 가능한 네트워크를 통해 접속된 실제 로봇을 구비하는 원격 조작 시스템에서, 상기 표시기에 표시되는 화상의 생성에 사용되는 적어도 일부의 데이터를 생성하는 데이터 생성 장치로서, 상기 표시기에는, 상기 실제 작업 공간을 모델화한 작업 공간 모델이 동영상(time-varying image)으로서 표시되고, 상기 작업 공간 모델은, 상기 실제 로봇을 모델화한 로봇 모델과, 상기 실제 로봇의 주변에 있는 실제 주변물을 모델화한 주변물 모델을 포함하고, 상기 로봇 모델은, 상기 조작기에 대한 상기 조작자의 조작에 따라 동작하도록 작성되고, 상기 데이터 생성 장치는, 상기 실제 주변물의 상태를 나타내는 상태 정보를 취득하는 상태 정보 취득부와, 상기 상태 정보에 기초하여, 현재점보다 소정 시간만큼 후의 상기 실제 주변물의 상태를 예측하는 한편, 예측한 결과를, 상기 표시기에 표시되는 상기 주변물 모델을 작성하는데 사용되는 주변물 모델 데이터로 생성하는 예측부를 구비한다.

조작 단말과 실제 로봇 사이에 통신 지연이 있는 경우, 조작자가 조작기를 조작하고 그 조작에 대응하는 동작을 실제 로봇이 수행할 때까지 사이의 타이밍에 의해, 동시각에서 로봇 모델의 동작과 실제 로봇의 동작 사이에 어긋남이 발생할 수 있다. 상기 구성에 따르면, 예측부에 의해, 현시점보다 소정 시간만큼 후의 실제 주변물의 상태가 예측되고, 그 예측 결과가 표시기에 표시되는 주변물 모델을 작성하는데 사용되는 주변물 모델 데이터로 생성된다. 따라서, 주변물 모델의 상태와 실제 주변물의 상태 사이에도, 로봇 모델과 실제 로봇 사이와 동일한 시간 어긋남을 생기게 할 수 있다. 이에 따라서, 로봇 모델과 주변물 모델의 시간축을 일치시킬 수 있기 때문에, 통신 지연이 조작자의 조작에 주는 영향을 억제할 수 있다.

상기 실제 주변물은, 상기 실제 로봇의 작업 대상인 워크(work), 상기 워크를 반송하는 반송 장치 및 상기 실제 로봇을 이동시키는 이동 장치 중 적어도 하나를 포함하여도 좋다.

상기 상태 정보는, 상기 작업 공간에 설치된 촬상 장치가 상기 실제 주변물을 촬상함으로써 생성되는 촬상 정보를 포함하여도 좋다.

상기 상태 정보는, 상기 실제 주변물로서의 주변 기기에 설정된 설정 정보를 포함하여도 좋다.

상기 데이터 생성 장치는, 소정의 시점에서 상기 표시기에 표시된 상기 작업 공간 모델의 상황과, 상기 소정의 시점보다 상기 소정 시간만큼 후의 상기 실제 작업 공간의 상황 사이의 어긋남의 정도를 검지하는 어긋남 검지부를 더 구비하여도 좋다. 예를 들어, 어긋남 검지부에 의해 검지되는 어긋남이 소정의 값보다 큰 경우에, 실제 로봇의 작업을 정지시키거나, 또는 표시기에 표시되는 모델을 보정하는 등의 대응이 가능하게 된다.

상기 데이터 생성 장치는, 상기 어긋남 검지부에 의해 검지된 어긋남이 미리 설정된 범위를 초과하는 경우, 상기 어긋남이 해소되도록 상기 작업 공간 모델을 보정하는 모델 보정부를 더 구비하여도 좋다.

상기 조작 단말은, 상기 조작기로서의 컨트롤러를 포함하는 게임 장치라도 좋다.

상기 조작 단말은, 개인 정보 단말(PDA(Personal Data Assistant)), 스마트 폰, 퍼스널 컴퓨터, 태블릿 및 로봇 전용 원격 조작기 중 적어도 하나라도 좋다.

또한, 본 발명의 일 측면에 따른 데이터 생성 방법은, 조작자의 조작을 접수하는 조작기 및 상기 조작자가 눈으로 확인 가능한 표시기를 구비하는 조작 단말과, 실제 작업 공간 내에 설치되고, 상기 조작 단말과 데이터 통신 가능한 네트워크를 통해 접속된 실제 로봇을 구비하는 원격 조작 시스템에서, 상기 표시기에 표시되는 화상의 생성에 사용되는 적어도 일부의 데이터를 생성하는 데이터 생성 방법으로서, 상기 표시기에는, 상기 실제 작업 공간을 모델화한 작업 공간 모델이 동영상으로서 표시되고, 상기 작업 공간 모델은, 상기 실제 로봇을 모델화한 로봇 모델과, 상기 실제 로봇의 주변에 있는 실제 주변물을 모델화한 주변물 모델을 포함하고, 상기 로봇 모델은, 상기 조작기에 대한 상기 조작자의 조작에 따라 동작하도록 작성되고, 상기 데이터 생성 방법은, 상기 실제 주변물의 상태를 나타내는 상태 정보를 취득하는 상태 정보 취득 스텝과, 상기 상태 정보에 기초하여, 현재점보다 소정 시간만큼 후의 상기 실제 주변물의 상태를 예측하는 한편, 예측한 결과를, 상기 표시기에 표시되는 상기 주변물 모델을 작성하는데 사용되는 주변물 모델 데이터로 생성하는 예측 스텝을 포함한다.

또한, 본 발명의 일 측면에 따른 데이터 생성 프로그램은, 조작자의 조작을 접수하는 조작기 및 상기 조작자가 눈으로 확인 가능한 표시기를 구비하는 조작 단말과, 실제 작업 공간 내에 설치되고, 상기 조작 단말과 데이터 통신 가능한 네트워크를 통해 접속된 실제 로봇을 구비하는 원격 조작 시스템에서, 컴퓨터로 실행시킴으로써, 상기 표시기에 표시되는 화상의 생성에 사용되는 적어도 일부의 데이터를 생성하는 데이터 생성 프로그램으로서, 상기 표시기에는, 상기 실제 작업 공간을 모델화한 작업 공간 모델이 동영상으로서 표시되고, 상기 작업 공간 모델은, 상기 실제 로봇을 모델화한 로봇 모델과, 상기 실제 로봇의 주변에 있는 실제 주변물을 모델화한 주변물 모델을 포함하고, 상기 로봇 모델은, 상기 조작기에 대한 상기 조작자의 조작에 따라 동작하도록 작성되고, 상기 데이터 생성 프로그램은, 상기 실제 주변물의 상태를 나타내는 상태 정보를 취득하는 상태 정보 취득 스텝과, 상기 상태 정보에 기초하여, 현재점보다 소정 시간만큼 후의 상기 실제 주변물의 상태를 예측하는 한편, 예측한 결과를, 상기 표시기에 표시되는 상기 주변물 모델을 작성하는데 사용되는 주변물 모델 데이터로 생성하는 예측 스텝을, 상기 컴퓨터로 실행시킨다.

여기서, 상기 데이터 생성 프로그램은 기억 장치에 기억된다. 상기 기억 장치는, 컴퓨터에 내장 또는 외장되는 읽기 쓰기 가능한 읽기 가능한 장치이고, 예를 들어, 하드 디스크, 플래시 메모리, 광디스크 등을 이용할 수 있다. 상기 기억 장치에 기억된 프로그램은, 상기 기억 장치가 직접 접속되는 컴퓨터에서 실행되어도 좋고, 상기 기억 장치와 네트워크(예를 들어, 인터넷)를 통해 접속된 컴퓨터에서 다운로드되어 실행되어도 좋다.

또한, 본 발명의 일 측면에 따른 원격 조작 시스템은, 조작자의 조작을 접수하는 조작기 및 상기 조작자가 눈으로 확인 가능한 표시기를 구비하는 조작 단말과, 실제 작업 공간 내에 설치되고, 상기 조작 단말과 데이터 통신 가능한 네트워크를 통해 접속된 실제 로봇을 구비하는 원격 조작 시스템으로서, 상기 표시기에는, 상기 실제 작업 공간을 모델화한 작업 공간 모델이 동영상으로서 표시되고, 상기 작업 공간 모델은, 상기 실제 로봇을 모델화한 로봇 모델과, 상기 실제 로봇의 주변에 있는 실제 주변물을 모델화한 주변물 모델을 포함하고, 상기 로봇 모델은, 상기 조작기에 대한 상기 조작자의 조작에 따라 동작하도록 작성되고, 상기 원격 조작 시스템은, 상기 실제 주변물의 상태를 나타내는 상태 정보를 취득하는 상태 정보 취득부와, 상기 상태 정보에 기초하여, 현재점보다 소정 시간만큼 후의 상기 실제 주변물의 상태를 예측하는 한편, 예측한 결과를, 상기 표시기에 표시되는 상기 주변물 모델을 작성하는데 사용되는 주변물 모델 데이터로 생성하는 예측부를 구비하는 데이터 생성 장치를 구비한다.

본 발명에 따르면, 조작자가 조작하는 조작 단말과 로봇 사이의 통신 지연이 조작자의 조작에 주는 영향을 억제할 수 있다.

[도 1] 본 발명의 일 실시예에 따른 원격 조작 시스템의 전체 구성을 도시하는 블록도이다.
[도 2] 도 1의 게임 장치, 중계 장치 및 중계 장치의 하드웨어 구성의 일례를 도시하는 블록도이다.
[도 3] 도 1의 로봇 시스템의 일례를 모식적으로 도시하는 도면이다.
[도 4] 도 1의 게임 장치의 제어부의 기능적 구성을 도시하는 블록도이다.
[도 5] 도 1의 중계 장치의 제어부의 기능적 구성을 도시하는 블록도이다.
[도 6] 게임 장치 및 중계 장치의 각각에서 로봇의 작업 개시 전의 처리 플로우를 도시하는 도면이다.
[도 7] 게임 장치 및 중계 장치의 각각에서 로봇 작업 개시 후 처리 플로우를 도시하는 도면이다.
[도 8] 게임 장치 및 중계 장치의 각각에서 시간의 경과에 따라 실행되는 처리의 일례를 설명하기 위한 도면이다.

이하에서, 본 발명의 실시예에 대하여 도면을 참조하면서 설명한다.

(시스템의 개요)

먼저 본 실시예에 따른 원격 조작 시스템(1)의 개요를 도 1을 참조하여 설명한다. 도 1은 원격 조작 시스템(1)의 전체 구성을 도시하는 블록도이다. 본 실시예의 원격 조작 시스템(1)은, 공지의 각종 게임 장치(2)(조작 단말)와, 조작자가 있는 장소와 다른 원격지의 작업 현장(작업 공간. 이하, 「실제 작업 공간」이라고도 한다.)에 설치된 로봇(51)을 통신 네트워크(4)를 통해 접속한다. 그리고, 조작자에 게임 장치(2)를 이용하여 로봇(51)을 원격 조작시켜서, 당해 로봇(51)에 소정의 작업을 수행시킨다.

원격 조작 시스템(1)은, 복수의 게임 장치(2)와, 1 개의 중개 장치(6)와, 복수의 로봇 시스템(5)을 포함하고, 이들은 예를 들어 인터넷 등의 통신 네트워크(4)를 통해 서로 통신 가능하게 되어 있다. 게임 장치(2)는, 예를 들어 조작자의 자택 등 놓인 거치형의 게임 장치 또는 조작자가 휴대하는 휴대형 게임 장치이다.

로봇 시스템(5)은, 조작자에 원격 조작시키는 대상인 로봇(51)과, 로봇(51)의 주변에 설치된 1 이상의 주변 기기(52)와, 중계 장치(53)를 포함한다. 로봇(51), 주변 기기(52) 및 중계 장치(53)는 모두 게임 장치(2)를 조작하는 조작자가 있는 장소로부터 떨어진 원격지의 작업 현장에 설치되어 있다. 작업 현장에는, 1 이상의 로봇 시스템(5)이 존재한다.

여기서, 원격 조작 시스템(1)이 구비하는 복수의 로봇 시스템(5)의 일부 또는 전부는 서로 동일한 현장에 설치되어 있어도 좋고 다른 작업 현장에 설치되어 있어도 좋다. 또한, 동일한 작업 현장에 설치된 복수의 로봇 시스템(5)이, 서로 공유하는 주변 기기(52)를 구비하고 있어도 좋다. 여기서, 복수의 로봇 시스템(5)은, 서로 종류가 같거나 다른 복수의 주변 기기(52)를 포함할 수 있지만, 도 1에서는, 도시의 단순화를 위해, 주변 기기를 나타내는 블록을 하나의 로봇 시스템(5)에 대해서는 1 개만 도시한다.

중계 장치(53)는, 당해 중계 장치(53)를 포함하는 동일한 로봇 시스템(5)의 로봇(51) 및 주변 기기(52)의 각각에 통신 가능하게 접속되어 있다. 중계 장치(53)는, 통신 네트워크(4)를 통해서, 게임 장치(2) 또는 중개 장치(6)로부터 보내지는 정보를 로봇(51) 또는 주변 기기(52)에 보내거나, 로봇(51) 또는 주변 기기(52)의 정보를 게임 장치(2) 또는 중개 장치(6)에 보내거나 한다.

중개 장치(6)는, 하나의 조작자(하나의 게임 장치(2))에 대해 하나의 로봇 시스템(5)을 할당한다. 더 자세하게는, 조작자는, 게임 장치(2)로부터 중개 장치(6)를 액세스하여 미리 유저(user) 등록을 수행하고, 유저 등록을 통해 조작자에는 유저 ID가 부여되어 있다. 조작자는 게임 장치(2)에서 자신의 유저 ID를 입력하여 중개 장치(6)에 대해 조작 요구를 보내면, 조작 요구를 수신한 중개 장치(6)는, 게임 장치(2)를 어나 하나의 로봇 시스템(5)에 대응시키는 동시에, 게임 장치(2)와 대응시켜진 로봇 시스템(5)의 중계 장치(53)를, 통신 네트워크(4)를 통해 서로 통신 접속시킨다.

예를 들어 중개 장치(6)는, 게임 장치(2)로부터 조작 요구를 접수하면, 작업 내용 등을 나타내는 작업 리스트 정보를 당해 게임 장치(2)에 보낸다. 조작 요구에는, 조작자가 입력한 희망 조건 정보가 포함된다. 희망 조건 정보는, 로봇의 종류, 로봇의 작업 내용, 대상 워크, 작업량, 작업 시간의 일부 또는 전부가 포함된다. 중개 장치(6)는, 조작 요구를 수신하면, 그 조작 요구에 포함된 희망 조건 정보에 기초하여, 조작자가 희망하는 조건에 맞는 것을 필터링하고, 게임 장치(2)에 필터링된 작업 리스트를 보낸다. 조작자는 게임 장치(2)의 표시 장치(25)에 표시되는 작업 리스트 중에서, 희망하는 것을 1 개 지정하면, 게임 장치(2)로부터 중개 장치(6)에, 조작자의 지정에 대응하는 지정 정보가 보내진다. 중개 장치(6)는, 그 게임 장치(2)를, 지정 정보에 대응하는 로봇 시스템(5)의 중계 장치(53)에 접속한다.

이와 같이, 원격 조작 시스템(1)에서는, 조작자가 게임 장치(2)를 이용하여 물리적으로 멀리 떨어진 다양한 작업 현장의 로봇(51)을 원격 조작할 수 있게 되어 있다. 예를 들어, 원격 조작 시스템(1)에 의해, 조작자는 자택에 있으면서, 지구 반대편의 작업 현장에 있는 로봇(51)을 조작하는 것이 가능하다. 서로 접속된 게임 장치(2)와 로봇 시스템(5)(더 자세하게는 로봇(51)) 사이에는, 게임 장치(2) 및 로봇 시스템(5)의 각각의 통신 환경이나 게임 장치(2) 및 로봇 시스템(5)의 서로의 물리적 거리 등에 기인한 통신 지연이 발생할 수 있다. 본 실시예에 따르면, 후술하는 바와 같이, 서로 접속된 게임 장치(2)와 로봇(51)과의 사이에서 생기는 통신 지연이, 조작자의 조작에 주는 영향을 억제하는 원격 조작 시스템(1)을 실현하고 있다.

(하드웨어 구성)

도 2는 게임 장치(2), 중계 장치(53) 및 중개 장치(6)의 하드웨어 구성의 일례를 도시한다. 여기서, 도 2에서는, 복수의 게임 장치(2) 중의 하나의 게임 장치(2)만 도시하고, 복수의 로봇 시스템(5) 중 하나의 로봇 시스템(5)만 도시한다. 게임 장치(2)는, 게임 장치 본체(2a)와, 그에 접속되는 디스플레이 장치(25)(표시기), 스피커(27), 컨트롤러(28)(조작기)를 구비한다.

도 2에 도시된 바와 같이, 게임 장치 본체(2a)는, 버스(20) 상에 제어부(21), 통신부(22), 및 하드 디스크나 메모리 카드 등의 기억부(23)를 구비한다. 제어부(21)는, 컨트롤러(28)의 조작에 기초하여, 통신 네트워크(4)를 통해 로봇(51)에 보내지는 조작 정보를 생성한다. 여기서, 로봇(51)은, 이러한 조작 정보에 기초하여 동작한다. 또한, 제어부(21)는, 컨트롤러(28)의 조작에 기초하여, 표시 장치(25)에 표시되는 화상을 생성한다. 이와 같은 제어부(21)는, CPU(210), ROM(플래시 메모리)(211), RAM(212), 화상 프로세서(213), 음성 프로세서(214) 및 조작부(215)를 구비하고 있다.

CPU(210)는, 게임 장치(2)의 각 부의 동작을 제어한다. ROM(211)에는, 게임 장치(2)의 기본 프로그램 등이 기억되어 있다. 기억부(23)에는, 원격 조작에 의해 로봇(51)을 동작시키기 위한 원격 제어 프로그램이나, 각종 게임을 실행하기 위한 게임 프로그램 등이 기억되어 있다. RAM(212)에는, CPU(210)가 게임 프로그램을 실행할 때에 사용되는 워크 에어리어가 설정된다. 여기서, 본 실시예에서는, 기억부(23)에서 상기 원격 조작 프로그램의 기억은 필수이지만, 상기 게임 프로그램의 기억은 필수가 아니다. 여기서, 이하의 설명에서는, 각종 프로그램이나 데이터가 기억된 제어부(21)의 ROM(211)이나 RAM(212) 및 기억부(23) 등을 총칭하여, 게임 장치(2)의 기억 장치라고 부르기로 한다.

화상 프로세서(213)는, 게임 화면을 생성 가능한 GPU(Graphics Processing Unit)를 구비한다. 화상 프로세서(213)에는, 비디오 RAM(VRAM)(24)가 접속된다. 이러한 VRAM(24)에는 표시 장치(25)가 접속되어 있다.

음성 프로세서(214)는, 게임 사운드를 생성하는 DSP(Digital Signal Processor)를 구비한다. 음성 프로세서(214)는, 생성한 게임 음성을 D/A 컨버터를 포함하는 앰프(26)에 송신한다. 앰프(26)는, 이러한 음성 신호를 증폭하여 스피커(27)에 송신한다.

조작부(215)에는, 컨트롤러(28)가 무선 또는 유선으로 통신 접속되어 있다. 컨트롤러(28)는, 십자 버튼, 푸시 스위치, 조이스틱, 마우스, 키보드 및 터치 패널 등을 포함한다. 또한, 조작부(215)는, 유저에 의한 컨트롤러(28)를 통한 조작 신호를 검출하고, 그 조작 신호를 CPU(210)에 송신한다.

통신부(22)는, 통신 네트워크(4)를 통해 중개 장치(6) 및 중계 장치(53)와 통신하는 통신 기기이다.

중개 장치(6)는, 제어부(61), 통신부(62) 및 기억부(63)를 구비하고 있다. 제어부(61)는, 예를 들어 프로세서와 메모리를 구비하는 연산기로 구성된다. 이러한 연산기는, 구체적으로는, 예를 들어 마이크로 컨트롤러, MPU, FPGA(Field Programmable Gate Array), PLC(Programmable Logic Controller), 컴퓨터, 퍼스널 컴퓨터 등으로 구성된다. 제어부(61)는, 집중 제어를 수행하는 단독의 연산기로 구성되어도 좋고, 분산 제어를 수행하는 복수의 연산기로 구성되어도 좋다. 통신부(62)는, 통신 네트워크(4)를 통해 게임 장치(2) 및 중계 장치(53)와 통신하는 통신 기기이다. 기억부(63)는, 읽고 쓰기가 가능한 읽기 가능한 기억 장치이고, 예를 들어, 하드 디스크, 플래시 메모리, 광디스크 등이다. 제어부(61)는 중개 장치(6)의 각 부의 동작을 제어한다. 제어부(61)의 메모리나 기억부(63)에는, 게임 장치(2)를 로봇 시스템(5)에 대응시키는 프로그램 등의 중개 장치(6)의 동작을 제어하는 각종 프로그램이나 데이터가 기억되어 있다.

중계 장치(53)는, 제어부(55), 통신부(56) 및 기억부(57)를 구비하고 있다. 제어부(55)는, 예를 들어 프로세서와 메모리를 구비하는 연산기로 구성된다. 이러한 연산기는, 구체적으로는, 예를 들어 마이크로 컨트롤러, MPU, FPGA(Field Programmable Gate Array), PLC(Programmable Logic Controller), 컴퓨터, 퍼스널 컴퓨터 등으로 구성된다. 제어부(55)는, 집중 제어를 수행하는 단독의 연산기로 구성되어도 좋고, 분산 제어를 수행하는 복수의 연산기로 구성되어도 좋다. 통신부(56)는, 통신 네트워크(4)를 통해 게임 장치(2), 중개 장치(6), 로봇(51), 및 주변 기기(52)와 통신하는 통신 기기이다. 기억부(57)는, 읽고 쓰기가 가능한 읽기 가능한 기억 장치이고, 예를 들어, 하드 디스크, 플래시 메모리, 광디스크 등이다. 제어부(55)는, 중계 장치(53)의 동작을 제어한다. 제어부(55)의 메모리나 기억부(57)에는, 중계 장치(53)의 동작을 제어하는 각종 프로그램이나 데이터가 기억되어 있다.

도 3에, 로봇 시스템(5)의 일례를 모식적으로 도시한다. 이러한 로봇 시스템(5)에서는, 컨베이어(52a)에서 반송되는 워크(W)를 피킹하는 작업을 로봇(51)이 수행한다. 도 3에 도시된 로봇 시스템(5)에서, 로봇(51)은 산업용 로봇이다. 로봇(51)은, 조작자에 원격 조작시키는 대상인 로봇 본체(51a)와, 로봇 본체(51a)의 동작을 제어하는 로봇 컨트롤러(51b)를 포함한다. 도 3에 도시된 로봇 본체(51a)는, 선단부에 툴이 장착된 수직 다관절형의 로봇 암이고, 본 예에서는, 툴로서, 수직 다관절형의 로봇 암의 선단부에는, 워크(W)를 파지 가능한 파지 핸드가 장착되어 있다. 로봇 컨트롤러(51b)는, 프로세서를 구비하고 있고, 저장된 프로그램이나 외부로부터 입력되는 각종 신호의 해독연산 처리 등을 프로세서에서 실행하여, 로봇 본체(51a)의 동작 제어, 각종 출력 포트로부터의 신호 출력 등을 담당한다. 또한, 도 3의 로봇 시스템(5)은, 주변 기기(52)로서, 작업 대상인 워크를 반송하는 컨베이어(52a), 로봇(51)의 작업 상황을 촬상하는 1 이상의(본 예에서는 2 개의) 촬상 장치(52b), 및 워크(W)의 위치를 검지하는 센서(52c) 등을 구비한다.

여기서, 도 3에 도시된 로봇 시스템(5)의 구성은 일례이며, 로봇(51)이나 주변 기기(52)의 종류 등은, 로봇(51)의 작업 내용에 따라 구성되어 있다. 예를 들어, 로봇(51)의 작업은, 피킹 작업 외에도, 예를 들어 도장 작업이나 도시락 담기 작업, 용접 작업 등이라도 좋다. 또한, 로봇(51)은 수직 다관절형 로봇이 아니어도 좋고, 예를 들어 수평 다관절형 로봇, 패러럴(parallel) 링크형 로봇, 극좌표 로봇, 원통 좌표형 로봇, 직각 좌표형 로봇 등의 산업용 로봇이라도 좋다. 또한, 작업 대상인 워크(W)를 반송하는 주변 기기(52)로서의 반송 장치는, 컨베이어 이외의 반송 장치라도 좋다. 주변 기기(52)는, 로봇 본체(51a)를 이동시키는 이동 장치를 포함하여도 좋다. 주변 기기(52)로서의 1 이상의 센서는, 워크(W)의 위치를 검지하는 센서 대신에 또는 더하여, 로봇(51)의 위치나 자세를 검지하는 센서 등이라도 좋다. 주변 기기(52)로서의 1 이상의 센서에는, 검사 대상물의 위치, 방향 또는 방향을 검지하는 센서를 포함한다. 또한, 로봇 시스템(5)은, 주변 기기(52)로서 복수의 촬상 장치(52b)를 구비하여도 좋다. 도 3에 도시된 바와 같이, 촬상 장치(52b)는, 로봇 본체(51a)에 장착되어 있어도 좋고, 작업 공간에서 고정된 위치에 설치되어 있어도 좋다.

(기능적 구성)

도 4는 게임 장치(2)의 제어부(21)의 기능적 구성을 도시하는 블록도이다. 게임 장치(2)의 제어부(21)는, 기능적인 구성으로서, 통신 제어부(31), 조작 측 시간 관리부(32), 상태 정보 취득부(33), 시뮬레이트부(예측부)(34) 화상 표시부(35) 통신 지연 계측부(36), 어긋남 검지부(37), 모델 보정부(38)를 구비하고 있다. 이러한 기능부는, 게임 장치(2)의 기억 장치에 기억된 소정의 프로그램과의 협동에 의해 기능적으로 실현된다. 여기서, 게임 장치(2)의 기억 장치에 기억된 소정의 프로그램에는, 본 발명의 「데이터 생성 프로그램」이 포함된다.

통신 제어부(31)는, 통신부(22)를 제어하여, 중개 장치(6)에 상술한 조작 요구나 지정 정보를 보내거나, 중개 장치(6)로부터 리스트 정보를 수신하거나 한다. 또한, 통신 제어부(31)는, 통신부(22)를 제어하여, 중개 장치(6)가 게임 장치(2)와 대응시킨 로봇 시스템(5)과 통신 접속하기 위한 정보를 중개 장치(6)로부터 수신한다. 또한, 통신 제어부(31)는, 통신부(22)를 제어하여, 조작자가 컨트롤러(28)를 조작함으로써 생성된 조작 정보를, 대응하는 로봇 시스템(5)의 중계 장치(53)에 보낸다.

조작 측 시간 관리부(32)는, 컨트롤러(28)에 대해 조작자가 조작하면, 그 조작에 기초하여 로봇(51)이 동작할 때까지의 시간이 일정하게 유지되도록, 게임 장치(2) 측의 시간을 관리한다.

상태 정보 취득부(33) 및 시뮬레이트부(34)는, 표시 장치(25)에 표시되는 화상의 생성에 사용되는 적어도 일부 데이터를 생성한다. 구체적으로는, 표시 장치(25)에는, 로봇(이하, 「실제 로봇」)(51)이 실제로 존재하는 작업 공간(이하, 「실제 작업 공간」)을 모델화한 작업 공간 모델이 동영상으로 표시된다. 작업 공간 모델은, 가상의 작업 공간에 배치된 로봇 모델 및 주변물 모델을 포함한다. 로봇 모델은, 실제 로봇(51)을 모델화한 것이다. 주변물 모델은, 실제 로봇(51)의 주변에 있는 소정의 주변물(이하, 「실제 주변물」)을 모델화한 것이다. 실제 주변물에는, 로봇(51)의 주변에 위치하는 주변 기기(52) 및 워크(W)가 포함되고, 주변물 모델에는, 이들에 대응하는 주변 기기 모델 및 워크 모델이 포함된다. 표시 장치(25)에 표시되는 화상의 생성에는, 로봇 모델 데이터나 주변물 모델 데이터가 이용된다.

로봇 모델 데이터에는, 실제 로봇(51)의 정적 정보가 포함된다. 로봇 모델의 정적 정보에는, 예를 들어, 실제 로봇(51)의 구조를 나타내는 구조 정보(로봇 본체(51a)의 관절 수나 링크 길이, 툴의 구조 등)나 작업 개시 전의 위치 및/또는 자세를 나타내는 정보(예를 들어 로봇 본체(51a)가 구비하는 서보 모터의 회전 각도 정보) 등이 포함된다. 또한, 로봇 모델 데이터에는, 로봇 모델의 동적 정보, 즉 컨트롤러(28)에 대한 조작자의 조작 정보(커맨드)가 포함된다. 이러한 조작 정보는, 로봇 모델을 동작시키기 위해 사용되는 것과 동시에, 통신 네트워크(4)를 통해 게임 장치(2)로부터 실제 로봇(51)에 보내지는, 실제 로봇(51)의 동작에도 사용된다. 즉, 조작자가 표시 장치(25)의 표시 화면을 보면서 컨트롤러(28)를 조작하여, 표시 화면 상의 로봇 모델을 동작시키면, 작업 현장의 실제 로봇(51)도 동일하게 동작한다. 다만, 후술하는 바와 같이, 로봇 모델의 동작에 일정 시간 지연되어 실제 로봇(51)은 동작한다.

주변물 모델 데이터에는, 실제 주변물의 정적 정보가 포함된다. 실제 주변물의 정적 정보에는, 주변 기기(52)의 구조 정보, 주변 기기(52)의 작업 개시 전의 위치 및/또는 자세를 도시하는 정보, 실제 로봇(51)의 작업 대상인 워크(W)의 형상 데이터나 구조 정보, 워크(W)의 작업 개시 전의 위치 및/또는 자세를 나타내는 정보가 포함된다. 또한, 주변물 모델 데이터에는, 실제 주변물의 소정 시간 앞서의 위치나 자세를 예측하는 정보가 포함된다. 이러한 예측을 상태 정보 취득부(33) 및 시뮬레이트부(34)가 수행한다. 본 실시예에서는, 상태 정보 취득부(33) 및 시뮬레이트부(34)를 구비하는 게임 장치(2)가, 본 발명의 「데이터 생성 장치」에 대응한다.

구체적으로는, 상태 정보 취득부(33)가 실제 로봇(51)의 주위의 주변 기기(52)나 워크(W) 등의 실제 주변물의 상태를 나타내는 상태 정보를 취득한다. 그리고, 시뮬레이트부(34)는, 상태 정보에 기초하여, 시간 경과에 따른 실제 주변물의 위치나 자세의 변화를 시뮬레이트한다. 예를 들어 상태 정보 취득부(33)가, 어느 시점에서 주변 기기(52)로서의 반송 장치(본 예에서는 컨베이어(51a))에 설정된 반송 속도를 나타내는 정보와 당해 반송 장치에 반송되는 워크(W)의 위치를 나타내는 정보를 상태 정보로서 취득한 경우, 시뮬레이트부(34)는, 그 반송 속도 정보 및 워크 위치 정보로부터, 일정 시간 앞서의 워크(W)의 위치나 자세를 용이하게 산출 가능하다. 이와 같이 시뮬레이트부(34)는, 시뮬레이션에 의해 현재보다 소정 시간만큼 후의 실제 주변물의 상태를 예측한다. 그리고, 시뮬레이트부(34)는, 예측된 결과를 주변물 모델의 적성에 사용되는 주변물 모델 데이터로 생성한다.

화상 표시부(35)는, 로봇 모델 데이터 및 주변물 모델 데이터에 기초하여 작성되는 작업 공간 모델을, 표시 장치(25)에 표시한다. 예를 들어, 화상 표시부(35)는, 로봇 모델 데이터 및 주변물 모델 데이터에 기초하여 작성된 로봇 모델 및 주변물 모델이 배치되는 가상의 작업 공간에, 가상의 카메라를 배치한다. 이러한 가상의 카메라에 의해 촬상된 화상을, 표시 장치(25)에 표시한다. 가상 카메라의 위치, 방향, 줌 등은, 미리 정해져 있어도 좋고, 예를 들어 컨트롤러(28)에 대한 조작자의 조작에 따라 변경 가능하여도 좋다. 가상 작업 공간에서 가상 카메라의 위치나 방향이, 실제 작업 공간에서 촬상 장치(52b)의 위치나 방향과 각각 대응하여도 좋다.

통신 지연 계측부(36), 어긋남 검지부(37) 및 모델 보정부(38)에 대해서, 자세한 내용은 후술한다.

도 5는 중계 장치(53)의 제어부(55)의 기능적 구성을 도시하는 블록도이다. 중계 장치(53)의 제어부(55)는, 기능적 구성으로서, 통신 제어부(71) 로봇 측 시간 관리부(72)을 구비하고 있다. 이러한 기능부는, 중계 장치(53)의 제어부(55) 및/또는 기억부(57)에 기억된 소정의 프로그램과의 협동에 의해 기능적으로 실현된다.

통신 제어부(71)는, 통신부(56)를 제어하여, 게임 장치(2)로부터, 조작자가 컨트롤러(28)를 조작함으로써 생성된 조작 정보를 수신한다.

로봇 측 시간 관리부(72)는, 컨트롤러(28)에 대해 조작자가 조작하면, 조작에 기초하여 로봇(51)이 동작할 때까지의 시간이 일정하게 유지되도록, 로봇 시스템(5) 측의 시간을 관리한다.

(처리 플로우)

다음으로, 게임 장치(2) 및 중계 장치(53)의 각각에서 실행 처리에 대하여, 도 6 - 8을 참조하여 설명한다.

도 6은 게임 장치(2) 및 중계 장치(53)의 각각에서 로봇(51)의 작업 개시 전의 처리 플로우를 도시하는 도면이다. 작업 개시 전에서, 작업 공간 모델에서 로봇 모델, 주변 기기 모델 및 워크 모델은, 실제 로봇(51), 주변 기기(52) 및 워크(W)와 각각 서로 동일한 상태가 되도록 작성한다.

구체적으로는, 중개 장치(6)에 의해 게임 장치(2)와 중계 장치(53)가 접속되면, 먼저 중계 장치(53)의 통신 제어부(71)는, 작업 시작 전의 작업 공간 모델을 작성하기 위한 정보를 게임 장치(2)에 송신한다(스텝(S201)). 작업 개시 전의 작업 공간 모델을 작성하기 위한 정보에는, 실제 로봇(51)의 주변에 있는 실제 주변물의 상태를 나타내는 상태 정보가 포함된다.

본 실시예에서는, 상태 정보에는, 실제 작업 공간에 설치된 촬상 장치(52b)가 주변 기기(52) 및 워크(W)를 촬상함으로써 생성된 촬상 정보가 포함된다. 또한, 상태 정보에는, 주변 기기(52)로서의 센서의 검지 정보가 포함된다. 센서의 검지 정보에는, 예를 들어 워크(W)가 작업 공간의 소정의 위치에 있는지 여부를 나타내는 정보나, 워크(W)의 위치 또는 자세를 나타내는 정보 등이 포함된다. 또한, 상태 정보에는, 주변 기기(52)에 설정된 설정 정보가 포함된다. 설정 정보에는, 예를 들어 로봇 시스템(5)이 주변 기기(52)로서 반송 장치를 포함하는 경우, 반송 장치에 대해 설정된 반송 속도 및 반송 간격이 포함되어도 좋다. 반송 간격은, 반송되는 워크(W) 사이의 거리라도 좋고, 어느 워크(W)가 로봇(51)의 앞의 소정의 위치에 반송된 시점부터, 그 다음의 워크(W)가 소정의 위치에 반송되기까지의 시간 간격 등이라도 좋다.

또한, 스텝(S201)에서 중계 장치(53)로부터 게임 장치(2)에 보내진 상태 정보에는, 실제 로봇(51)의 상태를 나타내는 정보도 포함된다. 실제 로봇(51)의 상태를 나타내는 정보에는, 예를 들어 로봇 컨트롤러(51b)가 기억하고 있는 실제 로봇(51)의 자세 정보나 위치 정보가 포함되어도 좋다. 또한, 실제 로봇(51)의 상태를 나타내는 정보에는, 주변 기기(52)인 촬상 장치(52b)에 의해 얻어지는 촬상 정보나 센서(52c)의 검지 정보가 포함되어도 좋다.

게임 장치(2) 측에서는, 상태 정보 취득부(33)는, 중계 장치(53)로부터 수신한 상태 정보를 취득한다(스텝(S101)). 그리고, 시뮬레이트부(34)는, 상태 정보 취득부(33)에 의해 취득한 상태 정보에 기초하여, 작업 개시 전의 실제 작업 공간과 동일한 상태의 작업 공간 모델을 생성한다(스텝(S102)). 상태 정보에는, 예를 들어, 워크(W)의 형상 데이터나 구조 정보, 워크(W)의 위치나 방향, 주변 기기(52)의 위치 정보나 구조 정보, 설정 정보 등이 포함되어 있다.

구체적으로는, 시뮬레이트부(34)는, 작업 개시 전의 실제 로봇(51)의 위치 정보(실제 작업 공간에 대해 설정된 좌표계에서의 위치 좌표) 및 자세 정보(로봇 본체(51a)가 구비하는 서보 모터의 회전 각도 정보 등)에 기초하여, 로봇 모델의 상태(위치나 자세 등)가 실제 로봇(51)과 동일한 상태가 되도록, 로봇 모델을 작성한다. 또한, 시뮬레이트부(34)는, 작업 개시 전의 실제 주변물의 상태 정보를 기초로, 주변물 모델이 실제 주변물과 동일한 상태가 되도록 주변물 모델을 작성한다.

화상 표시부(35)는, 스텝(S102)에서 작성한 작업 공간 모델의 화상을 생성하여, 표시 장치(25)에 표시한다(스텝(S103)). 이와 같이, 작업 개시의 준비가 이루어진다.

도 7은 게임 장치(2) 및 중계 장치(53)의 각각에서 로봇(51)의 작업 개시 후의 처리 프로우이다. 또한, 도 8은 게임 장치(2) 및 중계 장치(53)의 각각에서 시간의 경과에 따라 실행되는 처리의 일례를 설명하기 위한 도면이다.

스텝(S103) 후, 게임 장치(2)의 제어부(21)는, 작업 개시를 지시하는 조작이 이루어졌는지 여부를 판정한다(스텝(S105)). 작업 개시 지시가 없는 경우(스텝(S105): No), 작업 개시 지시가 있을 때까지 대기하는 상태가 된다. 조작자에 의해 컨트롤러(28)에 대해 작업 개시를 지시하는 조작이 이루어지면(스텝(S105): Yes), 통신 제어부(31)는, 중계 장치(53)에 작업 개시 지시를 송신한다(스텝(S106)). 또한, 조작 측 시간 관리부(32), 작업 개시 지시의 송신 시각을, 조작 측 기준 시각(t1)으로서 게임 장치(2)의 기억 장치(RAM(212) 또는 기억부(23) 등)에 기억한다(스텝(S107), 도 8 참조) .

로봇 시스템(5) 측에서는, 중계 장치(53)의 통신 제어부(71)가 작업 개시 지시를 수신하면(스텝(S202)), 통신 제어부(71)는, 작업 개시 지시의 수신 시각으로부터 소정 시간(Δt)만큼 대기한 후의 시각을 작업 개시 시각으로 하고, 로봇(51) 및 주변 기기(52)에 작업 개시 지시를 보낸다(스텝(S203)). 또한 로봇 측 시간 관리부(72)는, 작업 개시 지시의 수신 시각으로부터 소정 시간(Δt)만큼 후의 시각을, 로봇 측 기준 시각(t2)으로서 기억한다(스텝(S204), 도 8 참조).

그리하여, 이후에 설명하는 바와 같이, 표시 장치(25)에 표시되는 작업 공간 모델에서는, 조작 측 기준 시각(t1)으로부터 로봇 모델의 작업이 개시되고, 한편, 실제 작업 공간에서는, 로봇 측 기준 시각(t2)으로부터 실제 로봇 작업이 개시된다. 다시 말해서, 실제 작업 공간은, 작업 공간 모델보다 기준 시각의 차이(t2 - t1)만큼 지연되어 작업이 진행된다. 예를 들어 게임 장치(2)로부터 로봇 시스템(5)에 보내지는 작업 개시 지시에는, 주변 기기(52)를 정지 상태로부터 가동 상태로 이행하는 명령이 포함되어도 좋다. 예를 들어 작업 공간 모델의 워크 모델은, 반송 장치 모델에 의해 조작 측 기준 시각(t1)으로부터 반송되기 시작하고, 실제 작업 공간의 실제 워크(W)는, 반송 장치에 의해 로봇 측 기준 시각(t2)으로부터 반송되기 시작하여도 좋다.

게임 장치(2)에서는, 스텝(S107)에서 기준 시각(t1)을 설정한 후, 로봇(51)의 원격 조작이 가능해진다. 즉, 컨트롤러(28)에 대해 로봇(51)을 조작하기 위한 조작이 수행된 경우(스텝(S108): Yes), 조작 정보가 생성된다. 시뮬레이트부(34)는, 조작 정보에 기초하여, 로봇 모델의 동작을 시뮬레이트한다(스텝(S109)). 또한, 통신 제어부(31)는, 조작 정보와 함께, 그 조작 정보에 대응하는 조작을 수행할 때까지 경과한 시간을 나타내는 기준 시각(t1)으로부터의 경과 시간(T)을 중계 장치(53)에 송신한다(스텝(S110)).

로봇 시스템(5) 측에서는, 중계 장치(53)의 통신 제어부(71)가, 게임 장치(2)로부터 조작 정보와 시간 정보를 세트로 수신하면, 기준 시각(t2)으로부터의 경과 시간(T) 후에, 수신된 조작 정보를 기초로 조작을 실행하도록, 로봇(51)에 동작 지령을 보낸다(스텝(S205)). 여기서, 스텝(S110)에서는, 경과 시간(T) 대신에, 조작한 시각을 나타내는 시각 정보 등, 조작 정보에 대응하여 조작이 이루어진 시간을 나타내는 시간 정보가 보내져도 좋다.

또한, 스텝(S108)에서 조작이 있었다고 판정되었는지 여부에 관계없이, 시뮬레이트부(34)는, 실제 주변물의 상태를 시뮬레이트한다(스텝(S111)). 구체적으로, 시뮬레이트부(34)는, 상태 정보에 기초하여, 현재점보다 소정 시간만큼 후의 실제 주변물의 상태를 예측하고, 예측된 결과를 주변물 모델을 작성하는데 사용되는 주변물 모델 데이터로 생성한다. 여기서, 상태 정보는, 상태 정보 취득부(33)가 작업 개시 전에 스텝(S101)에서 취득한 것이 아니어도 좋고, 작업 개시 후에 취득한 정보라도 좋다. 즉, 로봇 시스템(5)으로부터 게임 장치(2)에 최신의 정보가, 순차적으로 보내져도 좋고, 상태 정보 취득부(33)는, 최신의 정보를 순차적으로 취득하여도 좋다. 시뮬레이트부(34)는, 최신의 정보를 기초로 실제 주변물의 상태를 예측하여도 좋다.

화상 표시부(35)는, 스텝(S109 및 S111)에서의 시뮬레이션 결과를 기초하여 생성된 데이터를 기초로, 작업 공간 모델을 나타내는 화상을 표시 장치(25)에 표시한다(스텝(S112)). 화상 표시부(35)는, 실제 작업 공간의 상황에 대해 로봇 측 기준 시각(t2)과 조작 측 기준 시각(t1)의 차이(t2 - t1)만큼 앞선 상황의 작업 공간 모델을 표시한다. 다시 말해서, 도 8에 도시된 바와 같이, 표시 장치(25)에 표시되는 작업 공간 모델에 대해서, 실제 작업 공간은, 로봇 측 기준 시각(t2)과 조작 측 기준 시각(t1)의 차이(t2 - t1)만큼 지연되어 작업이 진행된다.

컨트롤러(28)에 대해 작업 종료를 위한 조작이 수행할 때까지, 또는 일정한 작업이 완료될 때까지는(스텝(S113): No), 스텝(S108 ~ S112)이 반복된다.

상기 스텝(S203)에서는, 로봇 측 시간 관리부(72)는, 작업 개시 지시의 수신 시각을 로봇 측 기준 시각(t2)으로 하지 않고, 작업 개시 지시의 수신 시각으로부터 소정 시간(Δt)만큼 대기한 후의 시각을 로봇 측 기준 시각(t2)으로 설정하고 있다. 이와 같이, 작업 측 기준 시각(t1)과 로봇 측 기준 시각(t2) 사이에 일정한 간격을 설정하는 것으로, 게임 장치(2)와 로봇 시스템(5)의 통신 지연(도 8의 Δd1, Δd2 참조)의 변동을 흡수하고 있다.

여기서, 대기 시간(Δt)은, 게임 장치(2)와 로봇 시스템(5)(상세하게는 중계 장치(53)) 사이의 실제의 통신 지연에 기초하여 성정되어도 좋다. 통신 지연 계측부(36)는, 게임 장치(2)와 그에 대응시킨 로봇 시스템(5)(더 자세하게는 중계 장치(53)) 사이의 통신 지연을 계측한다. 통신 지연의 계측은 주지의 방법으로 실시된다. 로봇 측 시간 관리부(72)는, 스텝(S105)의 전에 통신 지연 계측부(36)에 의해 계측된 통신 지연의 변동 정도에 따라서, 대기 시간(Δt)의 길이, 다시 말해서 로봇 측 기준 시각(t2)과 조작 측 기준 시각(t1)의 차이(t2 - t1)가 설정되어도 좋다.

또한, 본 실시예에서는, 스텝(S108 ~ S112)을 반복할 때에, 정기적으로, 작업 공간 모델을 보정한다. 어긋남 검지부(37)는, 소정의 시점에서 표시 장치(25)에 표시된 작업 공간 모델의 상황과, 소정의 시점보다 소정 시간만큼 후의 실제 작업 공간의 상황 사이의 어긋남의 정도를 검지한다. 더 자세하게는, 어긋남 검지부(37)는, 소정의 시점의 작업 공간 모델의 상황과, 당해 소정의 시점보다, 로봇 측 기준 시각(t2)과 조작 측 기준 시각(t1)의 차이(t2 - t1)만큼 후의 실제 작업 공간의 상황과의 사이의 어긋남의 정도를 검지한다.

예를 들어 어긋남 검지부(37)는, 어느 시각(ta)의 실제 작업 공간의 상태를 나타내는 상태 정보와, 당해 시각(Ta)보다 전에 취득한 상태 정보에 기초하여 시뮬레이트부(34)에 의해 예측된 당해 시각(Ta)의 작업 공간 모델의 상태를 비교하여 어긋남의 정도를 검지하여도 좋다. 어긋남 검지부(37)가 비교하는 실제 작업 공간의 상태를 나타내는 상태 정보에는, 시뮬레이트부(34)가 실제 주변물의 상태를 예측하기 위해 사용하는 상태 정보가 포함되어도 좋다. 어긋남 검지부(37)는, 예를 들어 시각(Ta)의 실제 작업 공간의 촬상 정보를 로봇 시스템(5)으로부터 수신하고, 그 촬상 정보로부터 실제 주변물(주변 기기(52)나 워크(W))의 위치나 자세를 화상 인식으로 판단하여도 좋다. 어긋남 검지부(37)는, 시각(Ta)의 촬상 정보로부터 판단한 실제 주변물의 위치나 자세와, 시각(ta)의 실제 작업 공간에 대응하는 시각(즉, 시각(ta - (t2 - t1)))의 작업 공간 모델에서 주변물 모델의 위치나 자세를 비교한다. 즉, 어긋남 검지부(37)는, 시각(Ta)의 촬상 정보로부터 판단한 실제 주변물의 상태(주변기기(52)나 워크(W)의 위치나 자세 등)와, 시각(Ta)보다 시간(t2 - t1)만큼 전의 주변물 모델의 상태를 비교한다.

그리고, 모델 보정부(38)는, 어긋남 검지부(37)에 의해 검지된 어긋남이 미리 설정된 범위를 초과하는 경우에, 어긋남이 해소되도록 작업 공간 모델을 보정한다. 예를 들어, 모델 보정부(38)는, 시뮬레이트부(34)에 사용되는 상태 정보를, 어긋남 검지부(37)에 의해 검지된 어긋남만큼 조정하여도 좋다. 또는, 모델 보정부(38)는, 시뮬레이트부(34)에 의해 생성된 주변물 모델 데이터를, 어긋남 검지부(37)에 의해 검지된 어긋남만큼 조정하여도 좋다. 여기서, 모델 보정부(38)가 작업 공간 모델의 보정을 수행한 후에, 시뮬레이트부(34)가 실제 주변물질의 상태를 시뮬레이트할 경우, 작업 공간 모델의 보정을 가미하여, 실제 주변물의 상태를 시뮬레이트한다.

이상에서 설명한 바와 같이, 본 실시예의 데이터 생성 장치로서의 게임 장치(2) 및 원격 조작 시스템(1)에 의하면, 시뮬레이트부(34)에 의해, 현재점보다 소정 시간만큼 후의 실제 주변물의 상태가 예측되고, 그 예측 결과가, 표시 장치(25)에 표시되는 주변물 모델을 작성하는데 사용되는 주변물 모델 데이터로서 생성된다. 따라서, 주변물 모델의 상태와 실제 주변물의 상태 사이에도, 로봇 모델과 실제 로봇 사이와 동일한 시간 어긋남을 만들 수 있다. 이에 따라서, 로봇 모델과 주변물 모델의 시간축을 일치시킬 수 있기 때문에, 통신 지연이 조작자의 조작에 주는 영향을 억제할 수 있다.

또한, 본 실시예에서는 어긋남 검지부(37)가 소정의 시점에서 표시 장치(25)에 표시된 작업 공간 모델의 상황과, 소정의 시점보다 소정 시간만큼 후의 실제 작업 공간의 상황 사이의 어긋남의 정도를 검지하고, 모델 보정부(38)가, 어긋남 검지부(37)에 의해 검지된 어긋남이 미리 설정된 범위를 초과하는 경우에, 어긋남이 해소되도록 작업 공간 모델을 보정한다. 따라서, 표시 장치(25)에 표시되는 작업 공간 모델의 상황과 실제 작업 공간의 상황 사이의 어긋남을 억제할 수 있다.

(기타 실시예)

본 발명은 상술한 실시예에 한정되는 것이 아니고, 본 발명의 요지를 벗어나지 않는 범위에서 다양한 변형이 가능하다.

예를 들어, 상기 실시예에서는, 조작 단말로서 게임 장치(2)가 예시되었지만, 본 발명의 조작 단말은 게임 장치(2)가 아니어도 좋다. 조작 단말은, 조작자의 조작을 접수하는 조작기 및 조작자가 육안으로 확인 가능한 표시 장치를 구비하는 것이라면 좋다. 예를 들어 게임 장치(2)는, 공지의 각종 게임 장치 외에, 예를 들어 개인 정보 단말(PDA(Personal Data Assistant)), 스마트 폰, 퍼스널 컴퓨터, 태블릿 및 로봇 전용 원격 조작기 중 하나라도 좋다.

또한, 예를 들어, 중개 장치(6) 또는 다른 서버 장치의 제어부가, 소정의 프로그램을 실행함으로써, 상태 정보 취득부 및 예측부로서 기능하여도 좋다. 즉, 본 발명의 「데이터 생성 장치」는, 조작자가 조작하는 조작 단말이 아니어도 좋고, 조작 단말과 통신하는 장치라도 좋다. 예를 들어, 본 발명의 데이터 생성 장치는, 로봇 컨트롤러(51b), 중계 장치(53), 중개 장치(6) 또는 중개 장치(6)와는 다른 서버 장치라도 좋다. 본 발명의 데이터 생성 장치는, 통신 지연 계측부(36), 어긋남 검지부(37) 및 모델 보정부(38)의 일부 또는 전부를 구비하지 않아도 좋다.

또한, 본 발명의 「데이터 생성 프로그램」은, 조작 단말로서의 게임 장치(2)의 기억 장치 대신에 또는 더하여, 로봇 컨트롤러(51b), 중계 장치(53), 중개 장치(6) 및 중개 장치(6)와는 다른 서버 장치 중 적어도 하나가 구비한 기억 장치에 기억되어 있어도 좋다. 또한, 본 발명의 「데이터 생성 프로그램」은, 로봇 컨트롤러(51b), 중계 장치(53), 중개 장치(6) 및 중개 장치(6)와는 다른 서버 장치 중 적어도 하나가 각각 내장하는 컴퓨터에 실행됨으로써, 당해 컴퓨터에 상태 정보 취득부 및 예측부로서 기능을 시키는 것이라면 좋다. 도 6 및 도 7에 따라 설명한 게임 장치(2) 및 중계 장치(53)의 처리 플로우도, 본 발명을 제한하는 것은 아니다.

또한, 원격 조작 시스템(1)는, 게임 장치(2)를 하나만 구비하여도 좋다. 또한, 원격 조작 시스템(1)은, 로봇 시스템(5)을 하나만 구비하여도 좋다. 또한, 원격 조작 시스템(1)은 중개 장치(6)를 구비하지 않아도 좋다. 또한, 로봇 시스템(5)에서 중계 장치(53)와 로봇 컨트롤러(51b)는 일체적으로 구성되어 있어도 좋다. 즉, 로봇 시스템(5)은, 중계 장치(53)와 로봇 컨트롤러(51b)의 각각의 기능을 겸한 1 대의 제어 장치를 구비하여도 좋다.

또한, 본 발명에서 실제 로봇은, 산업용 로봇이 아니어도 좋고, 조작 단말의 조작자의 조작에 따라 동작하는 로봇이라면 좋다. 예를 들어, 본 발명의 실제 로봇은, 간호, 의료, 운반, 청소, 요리 등의 서비스를 제공하는 서비스용 로봇이라도 좋다. 또한, 본 발명의 실제 로봇은 휴머노이드라도 좋다. 실제 로봇은, 조작자에 의한 조작기의 조작에 의해 생성된 조작 정보에 기초하여 동작하지만, 실제 로봇은, 당해 조작 정보뿐만 아니라 미리 설정된 태스크 프로그램에 기초하여 동작하여도 좋다.

상기 실시예에서는, 데이터 생성 프로그램은, 실제 주변물의 상태를 나타내는 상태 정보를 취득하는 상태 정보 취득 스텝과, 상기 상태 정보에 기초하여, 현재점보다 후의 상기 실제 주변물의 상태를 예측하는 동시에, 예측 결과를, 상기 표시기에 표시되는 상기 주변물 모델을 작성하는데 사용되는 주변물 모델 데이터로 생성하는 예측 스텝을, 조작 단말로서의 게임 장치(2)의 제어기(21)에 실행시키는 것이지만, 본 발명의 데이터 생성 프로그램은, 상술한 상태 정보 취득 스텝 및 예측 스텝을, 다른 컴퓨터에 실행시켜도 좋다. 예를 들어, 본 발명의 데이터 생성 프로그램은, 상술 한 상태 정보 취득 스텝 및 예측 스텝을, 로봇 컨트롤러(51b), 중계 장치(53), 중개 장치(6) 및 중개 장치(6)와는 다른 서버 장치 중 적어도 하나가 구비한 제어기(컴퓨터)에 실행시켜도 좋다. 데이터 생성 프로그램은 복수의 기억 장치에 분산되어 기억되어 있어도 좋다. 예를 들어 데이터 생성 프로그램의 일부가 조작 단말의 기억 장치에 기억되고, 그 외가 다른 기억 장치(예를 들어 중계 장치(53))에 기억되어 있어도 좋다. 또한, 본 발명의 데이터 생성 프로그램은, 소정의 시점에서 상기 표시기에 표시된 상기 작업 공간 모델의 상황과, 상기 소정의 시점보다 상기 소정 시간만큼 후의 상기 실제 작업 공간의 상황 사이의 어긋남의 정도를 검지하는 어긋남 검지 스텝을, 컴퓨터에 실행시켜도 좋다. 또한, 본 발명의 데이터 생성 프로그램은, 상기 어긋남 검지 스텝에 의해 검지된 어긋남이 미리 설정된 범위를 초과하는 경우에, 상기 어긋남이 해소되도록 상기 작업 공간 모델을 보정하는 모델 보정 스텝을 컴퓨터에 실행시켜도 좋다.

1: 원격 조작 시스템
2: 게임 장치(조작 단말)
4: 통신 네트워크
5: 로봇 시스템
6: 중개 장치
25: 표시 장치(표시기)
28: 컨트롤러(조작기)
33: 상태 정보 취득부
34: 시뮬레이트부(예측부)
35: 화상 표시부
36: 통신 지연 계측부
37: 어긋남 검지부
38: 모델 보정부
51: 로봇
51a: 로봇 본체
51b: 로봇 컨트롤러
52: 주변 기기
52a: 컨베이어
52b: 촬상 장치
52c: 센서
53: 중계 장치
55: 제어부

Claims (11)

1. 조작자의 조작을 접수하는 조작기 및 상기 조작자가 눈으로 확인 가능한 표시기를 구비하는 조작 단말과, 실제 작업 공간 내에 설치된 중계 장치 및 상기 중계 장치와 통신 가능하게 접속된 실제 로봇을 구비하고, 상기 중계 장치가, 상기 조작 단말과 데이터 통신 가능한 네트워크를 통해 접속되어 있는 원격 조작 시스템으로서,
   상기 표시기에는, 상기 실제 작업 공간을 모델화한 작업 공간 모델이 동영상으로서 표시되고,
   상기 작업 공간 모델은, 상기 실제 로봇을 모델화한 로봇 모델과, 상기 실제 로봇의 주변에 있는 실제 주변물을 모델화한 주변물 모델을 포함하고,
   상기 로봇 모델은, 상기 조작기에 대한 상기 조작자의 조작에 따라 동작하도록 작성되고,
   상기 원격 조작 시스템은, 상기 실제 주변물의 상태를 나타내는 상태 정보를 취득하는 상태 정보 취득부와, 상기 상태 정보에 기초하여, 현재점보다 소정 시간만큼 후의 상기 실제 주변물의 상태를 예측하는 한편, 예측한 결과를, 상기 표시기에 표시되는 상기 주변물 모델을 작성하는데 사용되는 주변물 모델 데이터로 생성하는 예측부를 구비하는 데이터 생성 장치를 구비하고,
   상기 조작 단말은, 상기 조작기에 대해 상기 조작자가 조작하고 나서, 상기 조작에 기초하여 상기 실제 로봇이 동작할 때까지의 시간이 일정하게 유지되도록, 상기 조작 단말 측의 시간을 관리하는 조작 측 시간 관리부를 구비하고,
   상기 중계 장치는 상기 조작기에 대해 상기 조작자가 조작하고 나서, 상기 조작에 기초하여 상기 실제 로봇이 동작할 때까지의 시간이 일정하게 유지되도록, 상기 실제 로봇 측의 시간을 관리하는 로봇 측 시간 관리부를 구비하고,
   상기 조작자에 의해 상기 조작기에 대해 작업 개시를 지시하는 조작이 이루어지면, 상기 조작 단말로부터 상기 중계 장치에 작업 개시 지시가 송신되고,
   상기 조작 측 시간 관리부는, 작업 개시 지시의 송신 시각을, 조작 측 기준 시각으로서 기억하고,
   상기 중계 장치가 상기 작업 개시 지시를 수신하면, 상기 중계 장치는 상기 실제 로봇에 작업 개시 지시를 보내고,
   상기 로봇 측 시간 관리부는, 상기 작업 개시 지시의 수신 시각으로부터 소정의 대기 시간만큼 후의 시각을, 로봇 측 기준 시각으로서 기억하고,
   상기 표시기에 표시되는 상기 작업 공간 모델에서는 상기 조작 측 기준 시각으로부터 상기 로봇 모델의 작업이 개시되고, 상기 실제 작업 공간에서는 상기 로봇 측 기준 시각으로부터 상기 실제 로봇 작업이 개시되는 것을 특징으로 하는 원격 조작 시스템.
2. 제1항에 있어서,
   상기 원격 조작 시스템은, 상기 조작 단말과 상기 중계 장치 사이의 통신 지연을 계측하는 통신 지연 계측부를 구비하고,
   상기 로봇 측 시간 관리부는, 상기 통신 지연 계측부에 의해 계측된 통신 지연의 변동 정도에 따라서, 상기 대기 시간의 길이를 설정하는 것을 특징으로 하는 원격 조작 시스템,
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제

Images