KR101915780B1

KR101915780B1 - 로봇을 이용하여 사용자에게 피드백을 제공하는 vr-로봇 연동 시스템 및 방법

Info

Publication number: KR101915780B1
Application number: KR1020160182887A
Authority: KR
Inventors: 송준봉; 배재혁
Original assignee: 유한책임회사 매드제너레이터
Priority date: 2016-12-29
Filing date: 2016-12-29
Publication date: 2018-11-06
Also published as: KR20180077974A

Abstract

본 발명의 일 실시예에 따르면 VR(virtual reality) 시스템으로부터 VR 컨텐츠의 좌표계인 제1 좌표계에서의 제1 오브젝트 데이터 및 제2 오브젝트 데이터를 획득하는 VR 데이터 획득부; 제1 오브젝트와 제2 오브젝트 간의 인터렉션(interaction) 데이터를 생성하는 인터렉션 데이터 생성부; 트랙킹 센서로부터 현실 좌표계인 제2 좌표계에서의 사용자의 신체 데이터를 획득하는 사용자 움직임 획득부; 상기 신체 데이터와 상기 제1 오브젝트 데이터의 매칭에 기초하여, 상기 인터렉션 데이터를 사용하여 상기 제2 오브젝트 데이터에 매칭되는 로봇 데이터를 생성하는 로봇 데이터 생성부; 상기 로봇 데이터에 기초하여, 로봇 시스템을 제어하는 로봇 제어 신호를 생성하는 제어 신호 생성부; 를 포함하는 VR-로봇 연동 시스템이 제공된다.

Description

로봇을 이용하여 사용자에게 피드백을 제공하는 VR-로봇 연동 시스템 및 방법{VR-ROBOT SYNCHRONIZE SYSTEM AND METHOD FOR PROVIDING FEEDBACK USING ROBOT}

본 발명은 로봇을 이용하여 사용자에게 피드백을 제공하는 VR-로봇 연동 시스템 및 방법에 관한 것이다.

가상 현실(Virtual Reality, 이하 VR) 산업은 세계적으로 차세대 미래 먹거리로 인식되고 있다. VR 산업은 세계적인 글로벌 회사들에 의해 추진되고 있으며, 국내 시장만 하더라도 2020년경 5조 수준의 시장이 예측되고 있다. 그러나, 아직은 VR 산업이 대중화되기 위해 VR 디바이스 및 VR 컨텐츠의 개발이 더 필요한 단계이다.

관련하여, 최근 들어 VR 컨텐츠 개발이 활발히 이루어지고 있으나, 대부분은 시각적 VR 컨텐츠에 관한 개발이 주를 이루고 있다. 더불어, 사용자와의 인터렉션을 제공하거나 사용자게에 피드백을 주어 실감나는 컨텐츠 이용이 가능하도록 하는 방안이 모색되고 있으나, 가상 공간에서의 시각적 VR 컨텐츠 만으로는 사용자에게 풍부한 경험을 제공하지 못하는 한계가 있었다. 이를 보완하기 위해 착용형 장갑이나 기타 장치를 이용하여 사용자가 VR 컨텐츠를 체감할 수 있도록 하는 장치가 고안되어 있으나, 이러한 착용형 장치는 현실성이 감소되고 피로도가 증가하는 문제점이 있었다.

본 발명은 VR 시스템과 로봇 시스템을 융합하여 사용자의 물리적인 상호작용을 극대화 할 수 있는 VR-로봇 연동 시스템을 제공하는 것을 일 목적으로 한다.

본 발명은 VR 컨텐츠 사용자의 체감 반응을 증대시키는 것을 다른 목적으로 한다.

본 발명은 VR 컨텐츠 제작자가 로봇을 용이하게 활용하도록 하는 것을 다른 목적으로 한다.

본 발명에 있어서, 상기 인터렉션 데이터 생성부는, 상기 제1 오브젝트 데이터 및 상기 제2 오브젝트 데이터로부터 상기 제1 좌표계에서의 상기 제1 오브젝트 및 상기 제2 오브젝트의 포지션을 획득하고, 획득된 포지션으로부터 상기 인터렉션 데이터를 생성할 수 있다.

본 발명에 있어서, 상기 인터렉션 데이터는, 상기 VR 컨텐츠 상에서 상기 제1 오브젝트 및 상기 제2 오브젝트의 접촉에 대한 포스(force) 및 촉각 정보를 포함할 수 있다.

본 발명에 있어서, 상기 로봇 데이터는, 상기 사용자의 신체 데이터에 대응하는 신체 일부분이, 상기 로봇 시스템으로부터 포스 피드백 혹은 촉각 피드백을 얻도록 상기 로봇 데이터를 생성할 수 있다.

본 발명에 있어서, 상기 로봇 시스템은 복수개의 인터렉션 장치를 포함할 수 있으며, 로봇 제어 데이터는 상기 복수개의 인터렉션 장치 중 사용자와 인터렉션할 인터렉션 장치를 선택하는 신호를 포함할 수 있다.

본 발명에 있어서, 상기 사용자의 신체 데이터는 상기 제2 좌표계에서의 사용자의 신체 일부분의 포지션을 포함할 수 있다.

본 발명에 있어서, 상기 트랙킹 센서는 상기 사용자의 신체 일부분을 촬영하여 상기 신체 일부분에 대한 포지션 데이터를 생성할 수 있는 카메라일 수 있다.

본 발명에 있어서, 상기 제1 오브젝트는 상기 사용자의 신체 일부분에 매칭될 수 있도록 상기 VR 시스템에 의해 상기 VR 컨텐츠 상에서 구현된 오브젝트일 수 있다.

본 발명의 다른 일 실시예에 따르면, VR(virtual reality) 시스템으로부터 VR 컨텐츠의 좌표계인 제1 좌표계에서의 제1 오브젝트 데이터 및 제2 오브젝트 데이터를 획득하는 VR 데이터 획득 단계; 제1 오브젝트와 제2 오브젝트 간의 인터렉션(interaction) 데이터를 생성하는 인터렉션 데이터 생성 단계; 트랙킹 센서로부터 현실 좌표계인 제2 좌표계에서의 사용자의 신체 데이터를 획득하는 사용자 움직임 획득 단계; 상기 신체 데이터와 상기 제1 오브젝트 데이터의 매칭에 기초하여, 상기 인터렉션 데이터를 사용하여 상기 제2 오브젝트 데이터에 매칭되는 로봇 데이터를 생성하는 로봇 데이터 생성 단계; 상기 로봇 데이터에 기초하여, 로봇 시스템을 제어하는 로봇 제어 신호를 생성하는 제어 신호 생성 단계; 를 포함하는 VR-로봇 연동 방법이 제공된다.

본 발명에 의하면, VR 컨텐츠에 대한 피드백을 사용자에게 제공함으로써 VR 컨텐츠의 활용성을 증대시킬 수 있다.

도 1 은 본 발명의 일 실시에에 따른 VR-로봇 연동 시스템을 나타낸 도면이다.
도 2 는 본 발명의 일 실시예에 따른 연동 서버(100)의 내부 구성을 나타낸 도면이다.
도 3 은 본 발명의 일 실시예에 따른 VR 컨텐츠를 예시한 도면이다.
도 4 는 본 발명의 일 실시예에 따른 사용자와 로봇 시스템(300)의 인터렉션을 예시한 도면이다.
도 5 는 본 발명의 일 실시예에 따르면 VR-로봇 연동 방법을 시계열적으로 나타낸 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1 은 본 발명의 일 실시에에 따른 VR-로봇 연동 시스템을 나타낸 도면이다.

도 1 을 참조하면, 본 발명의 일 실시예에 따르면 VR-로봇 연동 시스템은 연동 서버(100), VR 시스템(200), 로봇 시스템(300) 및 센서(400)를 포함한다.

먼저, VR 시스템(200)은 사용자에게 VR 컨텐츠를 제공하는 시스템이다. VR 시스템(200)은 특수한 안경과 장갑을 사용하여 인간의 시각, 청각 등 감각을 통하여 컴퓨터의 소프트웨어 프로그램 내부에서 가능한 것을 현실인 것처럼 유사 체험하게 할 수 있다. 특히, VR 시스템(200)은 사용자에게 시각적인 VR 컨텐츠를 제공하기 위한 VR 디바이스를 포함할 수 있다. 이때, VR 시스템(200)에 의해 만들어진 VR 컨텐츠가 제공하는 가상의 환경이나 상황 등은 사용자의 시각을 자극하여 실제와 유사한 공간적, 시간적 체험을 하게 할 수 있다. 이를 위해, VR 시스템(200)이 제공하는 VR 컨텐츠 내에는 사용자의 손과 같은 신체 일부분이 오브젝트로서 표시될 수 있으며, 사용자는 신체를 움직이면서 마치 실제 환경처럼 대응되는 신체 오브젝트를 제어할 수도 있다. 본 발명의 일 실시예에 따르면, VR 시스템(200)이 제공하는 VR 컨텐츠에 대응되는 물리적 피드백이 사용자에게 제공됨으로써, 사용자가 VR 컨텐츠와 상호작용하도록 할 수 있다.

연동 서버(100)는, VR 시스템(200)으로부터 제1 오브젝트 데이터 및 제2 오브젝트 데이터를 획득하고, 제1 오브젝트와 제2 오브젝트 간의 인터렉션(interaction) 데이터를 생성하며, 트랙킹 센서(400)로부터 현실 좌표계인 제2 좌표계에서의 사용자의 신체 데이터를 획득하고, 인터렉션 데이터를 사용하여 제2 오브젝트 데이터에 매칭되는 로봇 데이터를 생성하여 로봇 시스템(300)을 제어한다. 연동 서버(100)는 VR 컨텐츠에 따른 물리적 피드백을 제공할 수 있도록 연동 환경을 제공함으로써, VR 컨텐츠에 대한 사용자 반응성을 향상시킬 수 있다. 연동 서버(100)의 구체적인 구성에 대해서는 후술하기로 한다.

로봇 시스템(300)은 로봇 암 및 인터렉션 장비를 구비하는 로봇을 포함할 수 있다. 로봇 시스템(300)은 연동 서버(100)로부터의 로봇 제어 신호를 수신하여 로봇 암 및 인터렉션 장비를 움직여 사용자에게 물리적 피드백을 직접 제공할 수 있다. 후술하는 바와 같은 물리적 피드백을 제공하는 로봇을 포함할 수 있는 로봇이라면 본 발명의 로봇 시스템(300)이 될 수 잇다.

센서(400)는 사용자의 신체 일부분의 포지션 및 움직임을 센싱할 수 있다. 본 발명의 일 실시예에 따르면, 센서(400)는 사용자의 신체 일부분을 촬영하여 신체 일부분에 대한 포지션 데이터를 생성할 수 있는 카메라일 수 있다. 트랙킹 센서(400)는 연동 서버(100)가 신체 데이터를 생성할 수 있도록 센싱한 사용자의 신체 일부분에 대한 정보를 연동 서버(100)에 제공할 수 있다.

도 2 는 본 발명의 일 실시예에 따른 연동 서버(100)의 내부 구성을 나타낸 도면이다.

도 2 를 참조하면, 본 발명의 연동 서버(100)는 연동부(110), VR 인터페이스(120) 및 로봇 인터페이스(130)를 포함하며, 연동부(110)는 VR 데이터 획득부(111), 인터렉션 데이터 생성부(112), 사용자 움직임 획득부(113), 로봇 데이터 생성부(114) 및 로봇 제어신호 생성부(115)를 포함한다.

먼저, VR 인터페이스(120)는 VR 시스템(200)과 연동 서버(100) 간의 인터페이스를 제공하며, 로봇 인터페이스(130)는 로봇 시스템(300)과 연동 서버(100) 간의 인터페이스를 제공한다. VR 인터페이스(120) 혹은 로봇 인터페이스(130)는 각각 VR 시스템(200) 혹은 로봇 시스템(300) 내의 프로세서와 통신할 수 있다.

다음으로, VR 데이터 획득부(111)는 VR 시스템(200)으로부터 가상 현실 컨텐츠의 좌표계인 제1 좌표계와, 가상 현실 컨텐츠 내의 제1 오브젝트 및 제2 오브젝트를 획득한다. 상술한 바와 같이, VR 시스템(200)은 사용자에게 VR 컨텐츠를 제공할 수 있는 시스템이다.

이때, 제1 좌표계는 VR 컨텐츠 상의 좌표계를 말한다. VR 시스템(200)은 VR 컨텐츠의 자체적인 좌표계를 보유하고 있을 수 있다. 따라서, VR 데이터 획득부(111)는 VR 컨텐츠의 제1 좌표계를 수신할 수 있으며, VR 컨텐츠의 오브젝트들의 포지션은 제1 좌표계를 기준으로 산출될 수 있다.

또한, VR 데이터 획득부(111)는 VR 시스템(200)으로부터 제1 좌표계에서의 제1 오브젝트 및 제2 오브젝트의 데이터를 획득한다. 이때, 본 발명의 일 실시예에 따르면 제1 오브젝트는 사용자의 신체 일부분을 나타내는 오브젝트일 수 있다. VR 시스템(200)에 따르면, 사용자는 VR 디바이스(예를 들어, 웨어러블 기기 등)를 이용하여 사용자에게 VR 컨텐츠를 디스플레이할 수 있다. 이때, 디스플레이되는 VR 컨텐츠는 사용자의 신체 일부분의 움직임이 재현되는 오브젝트를 표시할 수 있다. VR 시스템(200)은 사용자의 신체 일부분의 움직임을 재현하기 위해 카메라 등의 영상 장치를 이용하거나, 혹은 사용자의 신체에 부착되는 웨어러블 기기를 이용할 수 있다. VR 시스템(200)이 사용자의 신체 일부분을 VR 컨텐츠의 오브젝트로 구현하는 기술은 기존의 알려진 VR 기술을 그대로 차용하기로 한다.

계속하여, 본 발명의 일 실시예에 따르면 제2 오브젝트는 VR 컨텐츠 상의 특정 오브젝트일 수 있다. 본 발명의 일 실시예에 따르면, 제2 오브젝트느 VR 컨텐츠 상에서 제1 오브젝트와 인터렉션(interaction)하는 오브젝트일 수 있다. 예를 들어, 본 발명의 VR 시스템(200)이 제공하는 VR 컨텐츠가 손으로 공을 치는 게임 컨텐츠인 경우, 제1 오브젝트는 사용자의 손이 VR 컨텐츠 상에서 구현된 오브젝트이고, 제2 오브젝트는 공이 될 수 있다. 본 발명에서 설명한 예시 외에도, 제2 오브젝트는 VR 컨텐츠 상에서 사용자와 인터렉션하는 모든 오브젝트일 수 있다. 본 발명의 다른 실시예에서, 제2 오브젝트는 제1 오브젝트와 간접적으로 인터렉션하는 컨텐츠일 수 있다. 예를 들어, 본 발명의 VR 시스템(200)이 제공하는 VR 컨텐츠가 손에 쥔 라켓으로 공을 치는 게임 컨텐츠인 경우, 제1 오브젝트는 사용자의 손이 VR 컨텐츠 상에서 구현된 오브젝트이고, 제2 오브젝트는 제1 오브젝트가 쥔 라켓과 인터렉션하는 공이 될 수 있다.

도 3 은 본 발명의 일 실시예에 따른 VR 컨텐츠를 예시한 도면이다.

도 3 의 위의 그림은, 사용자에게 디스플레이될 수 있는 VR 컨텐츠(30)의 화면을 예시한 것이다. 도 3 을 참조하면, 본 발명의 일 실시예에 따른 VR 컨텐츠(30)는 VR 디바이스를 이요하여 입체 3D 영상을 디스플레이할 수 있으며, VR 컨텐츠에는 손 오브젝트(31) 및 공 오브젝트(32)가 포함될 수 잇다. 도 3 의 실시예에서, 손 오브젝트(31)는 본 발명의 제1 오브젝트에 해당하고, 공 오브젝트(32)는 본 발명의 제2 오브젝트에 해당할 수 있다.

또한, 손 오브젝트(31)는 현재 VR 컨텐츠를 이용하고 있는 사용자의 손이 VR 컨텐츠 상에서 손 오브젝트(31)로 구현된 것일 수 있다. 예를 들어, 사용자가 손을 왼쪽으로 움직이면, VR 컨텐츠 상의 손 오브젝트(31) 역시 왼쪽으로 이동할 수 있다.

이때, VR 데이터 획득부(111)는 도 3 의 손 오브젝트(31) 및 공 오브젝트(32)와 관련한 데이터를 획득할 수 있다. 손 오브젝트(31)와 관련한 데이터는 제1 오브젝트 데이터로이고, 공 오브젝트(32)와 관련한 데이터는 제2 오브젝트 데이터이다.

본 발명의 일 실시예에 따르면, 제1 오브젝트 데이터는 제1 오브젝트의 포지션을 포함할 수 있으며, 포지션은 제1 좌표계의 좌표 값일 수 있다. 제1 오브젝트 데이터는 제1 오브젝트의 포지션 외에도 제1 오브젝트의 다른 속성, 예를 들어 크기, 질감, 사용자의 어떤 신체부위인지, 다른 오브젝트와의 인터렉션 여부 등 제1 오브젝트를 나타낼 수 있는 다른 속성들에 대한 값을 포함할 수 있다.

마찬가지로, 제2 오브젝트 데이터는 제2 오브젝트의 포지션을 포함할 수 있으며, 포지션은 제1 좌표계의 좌표 값일 수 있다. 제2 오브젝트 데이터는 제2 오브젝트의 포지션 외에도 제2 오브젝트의 다른 속성, 예를 들어 제2 오브젝트의 크기, 질감, 어떤 종류를 형상화한 오브젝트인지, 다른 오브젝트와의 인터렉션 여부 등 제2 오브젝트를 나타낼 수 있는 다른 속성들에 대한 값을 포함할 수 있다.

다음으로, 인터렉션 데이터 생성부(112)는 제1 오브젝트와 제2 오브젝트 간의 인터렉션 데이터를 생성한다. 이때, 인터렉션 데이터 생성부(112)는 상술한 제1 오브젝트 데이터 및 제2 오브젝트 데이터에 기초하여 인터렉션 데이터를 생성할 수 있으며, 제1 오브젝트의 포지션 및 제2 오브젝트의 포지션으로부터 인터렉션 데이터를 생성할 수 있다.

본 발명의 일 실시예에 따르면, 인터렉션 데이터는 제1 오브젝트와 제2 오브젝트가 접촉 또는 충돌하는 동안의 제1 오브젝트와 제2 오브젝트의 포지션, 서로 간에 미치는 포스(force), 접촉 지점, 시간 등의 데이터를 포함할 수 있다. 본 명세서에서 예시한 예 외에도, 제1 오브젝트와 제2 오브젝트가 인터렉션하는 것을 나타내는 모든 데이터가 인터렉션 데이터가 될 수 있다. 즉, 인터렉션 데이터 생성부(112)는 VR 컨텐츠에서의 제1 오브젝트와 제2 오브젝트 사이의 인터렉션을 해석하여, 현실 세계에서 그 인터렉션을 재현할 수 있도록 인터렉션 데이터를 생성한다.

예를 들어, 도 3 의 실시예에 따른 VR 컨텐츠(30)에서, 인터렉션 데이터 생성부(112)는 손 오브젝트(31)와 공 오브젝트(32)가 접촉하는 동안의 포지션, 손 오브젝트(31)와 공 오브젝트(32) 사이의 포스, 접촉 시간 등의 인터렉션 데이터를 생성할 수 있다. 즉, 도 3의 VR 컨텐츠(30)가 사용자가 손으로 공을 치는 게임 컨텐츠인 경우, 사용자가 공을 치거나, 벽에 튕겨진 공을 다시 사용자가 칠 때, 이와 같은 손 오브젝트(31)와 공 오브젝트(32)간의 인터렉션을 나타낼 수 있는 인터렉션 데이터가 생성된다.

다음으로, 사용자 움직임 획득부(113)는 트랙킹 센서(400)로부터 현실 좌표계인 제2 좌표게에서의 사용자의 신체 데이터를 획득한다. 보다 상세히, 사용자의 신체 데이터는 트랙킹 센서(400)가 사용자의 신체 일부분을 트랙킹한 데이터일 수 있다. 특히, 시용자의 신체 데이터는 VR 컨텐츠에 포함된 제1 오브젝트에 대응되는 사용자의 신체 일부분을 트랙킹한 데이터일 수 있다. 상술한 바와 같이, VR 컨텐츠의 제1 오브젝트는 VR 디바이스가 촬영 혹은 획득한 데이터로부터 생성된 것이다. 예를 들어, VR 디바이스는 장착된 카메라를 사용하거나, 사용자의 신체 일부분에 장착된 센서(400)(예를 들어, 장갑 형태의 웨어러블 디바이스)를 이용하여 사용자의 신체 일부분에 대한 제1 오브젝트를 생성할 수 있다. 이와 별도로, 본 발명의 VR-로봇 연동 시스템은 트랙킹 센서(400)를 구비할 수 있으며, 트랙킹 센서(400)로부터 제2 좌표계에서의 사용자의 신체 데이터를 획득할 수 있다. 이는, VR 시스템(200)이 제공하는 VR 컨텐츠 상에서의 사용자의 신체 움직임에 대한 정보(제1 오브젝트 데이터에 기초함) 외에도, 실제 현실 좌표게에서의 사용자의 신체 움직임에 대한 정보(신체 데이터에 기초함)을 획득하기 위해서이다. 이때, 본 발명의 일 실시예에 따르면 트랙킹 센서(400)는 카메라일 수 있으며, 사용자 움직임 획득부(113)는 카메라가 촬영한 영상으로부터 사용자의 신체 데이터를 획득할 수 잇다.

예를 들어, 도 3 과 같이 VR 컨텐츠(30)의 제1 오브젝트가 사용자의 손 오브젝트(31)라면, 사용자 움직임 획득부(113)는 트랙킹 센서(400)인 카메라로부터 사용자의 손을 트랙킹한 데이터를 획득할 수 있다. 즉, 사용자 움직임 획득부(113)는 현실 세계의 좌표에 기초한 사용자의 손의 움직임을 획득할 수 있으며, 이는 VR 컨텐츠의 제1 오브젝트의 움직임에 대응될 수 있다.

다음으로, 로봇 데이터 생성부(114)는 신체 데이터와 제1 오브젝트 데이터의 매칭에 기초하여, 인터렉션 데이터를 사용하여 제2 오브젝트 데이터에 매칭되는 로봇 데이터를 생성한다. 보다 상세히, 제1 오브젝트 데이터는 사용자의 신체 일부분에 대응하는 VR 컨텐츠 상의 오브젝트에 대한 데이터이므로, 실제 사용자의 신체 일부분에 대한 신체 데이터에 매칭될 수 있다. 예를 들어, VR 컨텐츠 상의 제1 오브젝트의 포지션과, 현실 세계의 신체 일부분의 포지션이 서로 매칭될 수 있다. 이와 같은 매칭 정보에 기초하여, VR 컨텐츠 상에서 제1 오브젝트와 제2 오브젝트가 인터렉션하는 경우, 현실 세계에서도 신체 일부분과 로봇이 인터렉션할 수 있도록 로봇 데이터가 생성될 수 있다.

즉, 본 발명에 따르면 로봇 데이터 생성부(114)가 제2 오브젝트 데이터에 매칭되는 로봇 데이터를 생성함으로써, VR 컨텐츠 상의 제2 오브젝트의 움직임에 대응하도록 로봇이 움직이게 할 수 있다. 본 발명의 일 실시예에 따르면 VR 컨텐츠 상에서 제1 오브젝트와 인터렉션하는 제2 오브젝트가, 현실 세계에서의 사용자의 신체와 인터렉션하도록 현실 세계의 로봇으로 구현될 수 있다. 이때, 로봇은 VR 컨텐츠 상의 제1 오브젝트와 제2 오브젝트의 인터렉션을, 현실 세계에서 사용자의 입장에서 그대로 재현할 수 있도록 움직일 수 있다. 즉, 사용자는 VR 컨텐츠 상에서의 다른 오브젝트와의 인터렉션을 현실 세계에서도 물리적으로 느낄 수 있다. 이때, 물리적인 감각을 VR 컨텐츠와 동일하게 할 수 있도록, 로봇 데이터는 제2 오브젝트 데이터에 매칭되는 포지션, 속도, 포스 등에 대한 정보를 포함할 수 있다. 또한, 본 발명의 일 실시예에 따르면 사용자에게 로봇을 이용하여 물리적 피드백으로서 포스(force) 피드백 및 촉각 피드백을 제공하기 위한 로봇 데이터가 생성될 수 있다.

예를 들어, 계속하여 도 3을 참조하면, 화살표 밑의 그림은 현실 세계에서의 사용자의 신체 일부분과 로봇의 인터렉션을 나타내고 있다. 보다 상세히, 사용자의 손(35)과, 로봇 암(34)에 장착된 인터렉션 장치로서 로봇 공(33)의 인터렉션을 나타내고 있다. 즉, 화살표 위의 그림에서 손 오브젝트(31)가 공 오브젝트(32)에 접촉하면, 사용자의 손(35)과 로봇 공(33)이 접촉하도록 로봇 암(34)이 제어되어 로봇 공(33)이 사용자의 손(35)에 포스 피드백 및 촉각 피드백을 제공할 수 있. 예를 들어, 도 3 의 VR 컨텐츠에서 공 오브젝트(32)가 손 오브젝트(31) 쪽으로 접근하여 손 오브젝트(31)에 접촉하면, 로봇 공(33)은 동일한 타이밍에 사용자의 손(35)으로 접근하여 사용자의 손(35)과 접촉할 수 있다. 이로써, 사용자는 VR 컨텐츠 상에서 이루어지는 공 오브젝트(32)와의 인터렉션을 현실 세계에서 물리적으로 느낄 수 있다.

도 3 의 아래 실시예에서는 로봇 암(34)의 말단에 로봇 공(33)이 장착된 경우를 예시하고 있지만, 이는 VR 컨텐츠가 도 3의 입체 컨텐츠(30)이며 사용자가 손으로 공을 치는 컨텐츠인 경우의 예시일 뿐, 로봇 암(34)에 장착된 로봇 공(33)은 R 컨텐츠에 따라 달라질 수 있음은 물론이다.

도 4 는 본 발명의 일 실시예에 따른 사용자와 로봇 시스템(300)의 인터렉션을 예시한 도면이다.

도 4 는 도 3 의 실시예의 연장선 상에서, 사용자(41)가 VR 디바이스(42)를 착용하여 손(43)으로 로봇 시스템(44)과 인터렉션하는 것을 예시한 도면이다. 도 4 를 참조하면, 사용자(41)가 착용한 VR 디바이스(42)에는 도 3 의 VR 컨텐츠 화면(30)이 표시될 수 있다. VR 컨텐츠 화면(32)에는, VR 디바이스(42)가 획득한 사용자의 손(43)의 움직임에 따라 손 오브젝트(31)가 생성될 수 있다. 이때, 사용자는 VR 컨텐츠 화면(30)을 보면서 공 오브젝트(32)를 손 오브젝트(32)가 칠 수 있도록 자신의 손(43)을 움직일 수 있다. VR 컨텐츠 상에서 손 오브젝트(31)가 움직이면서, 공 오브젝트(32)를 칠 수 있으며, 이때 VR 컨텐츠 상에서 손 오브젝트(31)와 공 오브젝트(32)는 서로 접촉하게 된다. 이 경우, 로봇 시스템(44)은 VR-로봇 연동 시스템이 생성한 로봇 제어 신호에 따라, 로봇 암(46)을 움직여 로봇 공(45)이 사용자의 손(43)과 접촉하도록 제어한다. 이로써, 사용자는 손(43)에 접촉하는 로봇 공(45)을 감지함으로써, 로봇 시스템(44)으로부터 VR 컨텐츠와 연동되는 포스 피드백 혹은 촉각 피드백으로 얻을 수 있으며, 이로써 VR 컨텐츠를 보다 실감나게 즐길 수 있다.

혹은, 본 발명의 다른시예에 따른 로봇 시스템(300)은 복수개의 로봇 암 및 각각의 로봇 암에 장착된 인터렉션 장치를 포함하여, 사용자의 신체와 인터렉션하는 인터렉션 장치를 VR 컨텐츠의 촉각 정보에 따라 선택적으로 적용하여 사용자에게 각기 다른 촉각 피드백을 제공할 수 있다. 예를 들어, 도 3 에서는 로봇 공(33)이 사용자의 손(35)과 인터렉션하는 인터렉션 장치이지만, 로봇 시스템(300)은 로봇 공(33) 이외에도 다른 질감의 인터렉션 장치를 포함할 수 있으며, VR 컨텐츠의 내용에 따라 인터렉션 장치는 선택적으로 사용자의 신체와 접촉할 수 있다.

다음으로, 로봇 제어신호 생성부(115)는 로봇 데이터에 기초하여 로봇 제어 신호를 생성한다. 상술한 바와 같이, 본 발명의 일 실시예에 따르면 제2 오브젝트 데이터에 대응되는 로봇 데이터가 생성될 수 있다. 로봇 제어신호 생성부(115)는, 로봇 데이터에 기초하여 로봇 시스템(300)이 인터렉션 장치를 사용자의 신체에 접촉시킬 수 있도록, 로봇 시스템(300)의 제어 신호를 생성한다.

도 5 는 본 발명의 일 실시예에 따르면 VR-로봇 연동 방법을 시계열적으로 나타낸 도면이다.

도 5 를 참조하면, 먼저 VR 데이터 획득부(111)는 VR 시스템(200)으로부터 VR 컨텐츠의 좌표계인 제1 좌표계에서의 제1 오브젝트 데이터 및 제2 오브젝트 데이터를 획득한다(S1).

다음으로, 인터렉션 데이터 생성부(112)는 제1 오브젝트와 제2 오브젝트 간의 인터렉션(interaction) 데이터를 생성한다(S2).

다음으로, 사용자 움직임 획득부(113)는 트랙킹 센서(400)로부터 현실 좌표계인 제2 좌표계에서의 사용자의 신체 데이터를 획득한다(S3).

다음으로, 로봇 데이터 생성부(114)는 신체 데이터와 제1 오브젝트 데이터의 매칭에 기초하여, 인터렉션 데이터를 사용하여 제2 오브젝트 데이터에 매칭되는 로봇 데이터를 생성한다(S4).

마지막으로, 제어 신호 생성부는 로봇 데이터에 기초하여, 로봇 시스템(300)을 제어하는 로봇 제어 신호를 생성한다(S5).

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims

VR(virtual reality) 시스템으로부터 VR 컨텐츠의 좌표계인 제1 좌표계에서의 제1 오브젝트 데이터 및 제2 오브젝트 데이터를 획득하는 VR 데이터 획득부;
제1 오브젝트와 제2 오브젝트 간의 인터렉션(interaction) 데이터를 생성하는 인터렉션 데이터 생성부;
트랙킹 센서로부터 현실 좌표계인 제2 좌표계에서의 사용자의 신체 데이터를 획득하는 사용자 움직임 획득부;
상기 신체 데이터와 상기 제1 오브젝트 데이터의 매칭에 기초하여, 상기 인터렉션 데이터를 사용하여 상기 제2 오브젝트 데이터에 매칭되는 로봇 데이터를 생성하는 로봇 데이터 생성부;
상기 로봇 데이터에 기초하여, 로봇 시스템을 제어하는 로봇 제어 신호를 생성하는 제어 신호 생성부;
를 포함하고,
상기 로봇 데이터는, 상기 VR 컨텐츠 상의 제2 오브젝트의 움직임에 대응하여 상기 로봇이 움직이도록 하는 로봇 제어 신호를 생성할 수 있는 데이터로서,
상기 로봇 데이터에 기초한 상기 로봇의 움직임에 의해, 상기 사용자의 신체 데이터에 대응하는 신체 일부분이, 상기 로봇 시스템으로부터 포스 피드백 혹은 촉각 피드백을 얻을 수 있는 VR-로봇 연동 시스템.
제 1 항에 있어서,
상기 인터렉션 데이터 생성부는,
상기 제1 오브젝트 데이터 및 상기 제2 오브젝트 데이터로부터 상기 제1 좌표계에서의 상기 제1 오브젝트 및 상기 제2 오브젝트의 포지션을 획득하고, 획득된 포지션으로부터 상기 인터렉션 데이터를 생성하는, VR-로봇 연동 시스템.
제 1 항에 있어서,
상기 인터렉션 데이터는,
상기 VR 컨텐츠 상에서 상기 제1 오브젝트 및 상기 제2 오브젝트의 접촉에 대한 포스(force) 및 촉각 정보를 포함하는, VR-로봇 연동 시스템.
삭제
제 1 항에 있어서,
상기 로봇 시스템은 복수개의 인터렉션 장치를 포함할 수 있으며, 로봇 제어 데이터는 상기 복수개의 인터렉션 장치 중 사용자와 인터렉션할 인터렉션 장치를 선택하는 신호를 포함하는, VR-로봇 연동 시스템.
제 1 항에 있어서,
상기 사용자의 신체 데이터는,
상기 제2 좌표계에서의 사용자의 신체 일부분의 포지션을 포함하는, VR-로봇 연동 시스템.
제 1 항에 있어서,
상기 트랙킹 센서는,
상기 사용자의 신체 일부분을 촬영하여 상기 신체 일부분에 대한 포지션 데이터를 생성할 수 있는 카메라인, VR-로봇 연동 시스템.
제 1 항에 있어서,
상기 제1 오브젝트는,
상기 사용자의 신체 일부분에 매칭될 수 있도록 상기 VR 시스템에 의해 상기 VR 컨텐츠 상에서 구현된 오브젝트인, VR-로봇 연동 시스템.
VR(virtual reality) 시스템으로부터 VR 컨텐츠의 좌표계인 제1 좌표계에서의 제1 오브젝트 데이터 및 제2 오브젝트 데이터를 획득하는 VR 데이터 획득 단계;
제1 오브젝트와 제2 오브젝트 간의 인터렉션(interaction) 데이터를 생성하는 인터렉션 데이터 생성 단계;
트랙킹 센서로부터 현실 좌표계인 제2 좌표계에서의 사용자의 신체 데이터를 획득하는 사용자 움직임 획득 단계;
상기 신체 데이터와 상기 제1 오브젝트 데이터의 매칭에 기초하여, 상기 인터렉션 데이터를 사용하여 상기 제2 오브젝트 데이터에 매칭되는 로봇 데이터를 생성하는 로봇 데이터 생성 단계;
상기 로봇 데이터에 기초하여, 로봇 시스템을 제어하는 로봇 제어 신호를 생성하는 제어 신호 생성 단계;
를 포함하고,
상기 로봇 데이터는, 상기 VR 컨텐츠 상의 제2 오브젝트의 움직임에 대응하여 상기 로봇이 움직이도록 하는 로봇 제어 신호를 생성할 수 있는 데이터로서,
상기 로봇 데이터에 기초한 상기 로봇의 움직임에 의해, 상기 사용자의 신체 데이터에 대응하는 신체 일부분이, 상기 로봇 시스템으로부터 포스 피드백 혹은 촉각 피드백을 얻을 수 있는 VR-로봇 연동 방법.
제 9 항에 있어서,
상기 인터렉션 데이터 생성 단계는,
상기 제1 오브젝트 데이터 및 상기 제2 오브젝트 데이터로부터 상기 제1 좌표계에서의 상기 제1 오브젝트 및 상기 제2 오브젝트의 포지션을 획득하고, 획득된 포지션으로부터 상기 인터렉션 데이터를 생성하는, VR-로봇 연동 방법.
제 9 항에 있어서,
상기 인터렉션 데이터는,
상기 VR 컨텐츠 상에서 상기 제1 오브젝트 및 상기 제2 오브젝트의 접촉에 대한 포스(force) 및 촉각 정보를 포함하는, VR-로봇 연동 방법.
삭제
제 9 항에 있어서,
상기 로봇 시스템은 복수개의 인터렉션 장치를 포함할 수 있으며, 로봇 제어 데이터는 상기 복수개의 인터렉션 장치 중 사용자와 인터렉션할 인터렉션 장치를 선택하는 신호를 포함하는, VR-로봇 연동 방법.
제 9 항에 있어서,
상기 사용자의 신체 데이터는 상기 제2 좌표계에서의 사용자의 신체 일부분의 포지션을 포함하는, VR-로봇 연동 방법.
제 9 항에 있어서,
상기 트랙킹 센서는 상기 사용자의 신체 일부분을 촬영하여 상기 신체 일부분에 대한 포지션 데이터를 생성할 수 있는 카메라인, VR-로봇 연동 방법.
제 9 항에 있어서,
상기 제1 오브젝트는 상기 사용자의 신체 일부분에 매칭될 수 있도록 상기 VR 시스템에 의해 상기 VR 컨텐츠 상에서 구현된 오브젝트인, VR-로봇 연동 방법.