KR101618004B1 - 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치 및 그 방법 - Google Patents

가상 현실 기반의 인터랙티브 컨텐츠 제공 장치 및 그 방법 Download PDF

Info

Publication number
KR101618004B1
KR101618004B1 KR1020150051739A KR20150051739A KR101618004B1 KR 101618004 B1 KR101618004 B1 KR 101618004B1 KR 1020150051739 A KR1020150051739 A KR 1020150051739A KR 20150051739 A KR20150051739 A KR 20150051739A KR 101618004 B1 KR101618004 B1 KR 101618004B1
Authority
KR
South Korea
Prior art keywords
character
user
virtual reality
interactive content
motion
Prior art date
Application number
KR1020150051739A
Other languages
English (en)
Inventor
최병관
Original Assignee
가톨릭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Application granted granted Critical
Publication of KR101618004B1 publication Critical patent/KR101618004B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치 및 그 방법에 관한 것이다. 본 발명에 따른 인터랙티브 컨텐츠 제공 장치에 따르면, 헤드 마운트 형태의 가상 현실 기기를 착용한 사용자에게 컨텐츠를 제공하기 위한 인터랙티브 컨텐츠 제공 장치에 있어서, 인터랙티브 컨텐츠 제공 장치는 상기 가상 현실 기기 및 상기 사용자의 모션을 감지하는 모션 인식 장치와 데이터를 송수신하는 통신부, 상기 인터랙티브 컨텐츠에 표시되는 하나 이상의 캐릭터를 저장하는 저장부, 상기 사용자로부터 기 저장된 캐릭터 중에서 하나를 선택받고, 상기 사용자의 모션에 대응하여 상기 선택된 캐릭터의 동작을 제어하는 제어부, 그리고 상기 인터랙티브 컨텐츠의 3차원 입체 영상을 생성하여 상기 가상 현실 기기로 출력하는 출력부를 포함한다.
이와 같이 본 발명에 따르면, 사용자는 단지 일방적인 가상 현실 서비스의 제공받는 것이 아니라, 모션인식을 통한 피드백 시스템에 의하여 마치 실제 동물을 만지듯 가상의 공간에서 동물 캐릭터와의 상호 교감이 가능하여, 이를 통해 심리적인 치료 효과도 얻을 수 있다. 또한, 가상 현실 기기의 사실감 넘치는 영상은 교육적인 메시지 전달이나 자연 학습 측면에서 사용자의 흥미를 유발하여 학습효과를 극대화 할 수 있다.

Description

가상 현실 기반의 인터랙티브 컨텐츠 제공 장치 및 그 방법{INTERACTIVE CONTENT PROVIDING APPARATUS BASED ON THE VIRTUAL REALITY AND METHOD THEREOF}
본 발명은 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 가상 현실 기기와 모션 인식 장치를 이용한 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치 및 그 방법에 관한 것이다.
가상현실은 컴퓨터 등을 사용한 인공적인 기술로 만들어낸 실제와 유사하지만 실제가 아닌 어떤 특정한 환경이나 상황 혹은 그 기술 자체를 의미하며 이러한 가상의 환경이나 상황 등은 사용자의 오감을 자극하며 실제와 유사한 공간적, 시간적 체험을 하게함으로써 현실과 상상의 경계를 자유롭게 드나들게 한다.
최근 국내외 유수의 기업들이 가상 현실 기기를 제작 및 가상 현실을 기반으로 한 컨텐츠 개발에 막대한 투자를 하고 있고, 이러한 상황에 비추어 볼 때 머지않은 미래에는 가상 현실이 영상 산업의 주류가 될 것이라는 것을 알 수 있다.
다만 최근 가상 현실 기반의 컨텐츠 개발 산업은 대부분이 게임 엔터테인먼트와 같은 흥미 위주의 가상 현실 컨텐츠 개발에 초점이 맞추어져 있으며, 자연 학습과 같은 교육용 컨텐츠의 개발은 미비한 실정이다.
또한 기존의 가상 현실 기반의 컨텐츠는 보여주기 형식의 수동적인 컨텐츠가 주류를 이루고 있으며, 사용자와 피드백을 통한 가상 체험 컨텐츠는 극히 제한적이다.
본 발명의 배경이 되는 기술은 등록특허 제10-0812624호(2008.03.05등록)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 가상 현실 기기와 모션 인식 장치를 이용한 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치 및 그 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면, 헤드 마운트 형태의 가상 현실 기기를 착용한 사용자에게 컨텐츠를 제공하기 위한 인터랙티브 컨텐츠 제공 장치에 있어서, 인터랙티브 컨텐츠 제공 장치는 상기 가상 현실 기기 및 상기 사용자의 모션을 감지하는 모션 인식 장치와 데이터를 송수신하는 통신부, 상기 인터랙티브 컨텐츠에 표시되는 하나 이상의 캐릭터를 저장하는 저장부, 상기 사용자로부터 기 저장된 캐릭터 중에서 하나를 선택받고, 상기 사용자의 모션에 대응하여 상기 선택된 캐릭터의 동작을 제어하는 제어부, 그리고 상기 인터랙티브 컨텐츠의 3차원 입체 영상을 생성하여 상기 가상 현실 기기로 출력하는 출력부를 포함한다.
상기 제어부는, 상기 사용자의 눈과 2차원 평면 영상 사이의 거리 및 상기 가상 현실 기기에 표시되는 2차원 평면 영상을 이용하여 상기 3차원 입체 영상에 표시되는 포인트의 3차원 좌표를 생성하고, 상기 포인트를 이용하여 상기 선택된 캐릭터의 동작을 제어할 수 있다.
상기 제어부는, 상기 포인트가 일정 시간동안 상기 캐릭터의 신체의 일부에 위치하면, 해당되는 상기 캐릭터의 신체의 일부가 활성화될 수 있다.
상기 제어부는, 상기 캐릭터의 팔이 활성화된 상태에서, 상기 사용자가 모션 인식 장치에 설치된 임의의 버튼을 누른 상태에서 모션 인식 장치를 아래로 내리면, 상기 캐릭터가 앉는 동작을 취하도록 제어하고, 상기 버튼을 누른 상태에서 모션 인식 장치를 위로 올리면, 상기 캐릭터가 손을 올리도록 제어할 수 있다.
상기 제어부는, 상기 캐릭터의 팔이 활성화된 상태에서, 상기 사용자가 일정 시간 이상 상기 모션 인식 장치에 설치된 임의의 버튼을 누르면, 상기 캐릭터가 손을 내밀어 악수를 청하도록 제어할 수 있다.
상기 제어부는, 상기 캐릭터의 머리가 활성화된 상태에서, 상기 사용자가 일정 시간 이상 상기 모션 인식 장치에 설치된 임의의 버튼을 누르면, 상기 캐릭터가 머리를 숙여 인사하도록 제어할 수 있다.
상기 출력부는, 상기 캐릭터가 생성하는 소리를 상기 가상 현실 기기로 출력하며, 상기 캐릭터의 동작에 대응하여 진동 발생 신호를 상기 모션 인식 장치로 전달할 수 있다.
본 발명의 다른 실시예에 따른 헤드 마운트 형태의 가상 현실 기기를 착용한 사용자에게 컨텐츠를 제공하기 위한 인터랙티브 컨텐츠 제공 장치의 인터랙티브 컨텐츠 제공 방법에 있어서, 인터랙티브 컨텐츠 제공 방법은 상기 사용자로부터 기 저장된 캐릭터 중에서 하나를 선택받고, 선택된 캐릭터를 상기 인터랙티브 컨텐츠에 표시하는 단계, 모션 인식 장치에 의해 감지된 상기 사용자의 모션에 대응하여 상기 선택된 캐릭터의 동작을 제어하는 단계, 그리고 상기 인터랙티브 컨텐츠의 3차원 입체 영상을 생성하여 상기 가상 현실 기기로 출력하는 단계를 포함한다.
이와 같이 본 발명에 따르면, 사용자는 단지 일방적인 가상 현실 서비스의 제공받는 것이 아니라, 모션인식을 통한 피드백 시스템에 의하여 마치 실제 동물을 만지듯 가상의 공간에서 동물 캐릭터와의 상호 교감이 가능하여, 이를 통해 심리적인 치료 효과도 얻을 수 있다.
또한, 가상 현실 기기의 사실감 넘치는 영상은 교육적인 메시지 전달이나 자연 학습 측면에서 사용자의 흥미를 유발하여 학습효과를 극대화 할 수 있다.
도 1은 본 발명의 실시예에 따른 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치의 동작을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치의 구성을 나타낸 구성도이다.
도 3은 본 발명의 실시예에 따른 가상 현실 기반의 인터랙티브 컨텐츠 제공 방법을 나타낸 순서도이다.
도 4a는 본 발명의 일 실시예로 원숭이가 악수를 하도록 제어한 경우 출력 결과를 나타낸 예시도이다.
도 4b는 본 발명의 일 실시예로 원숭이가 팔을 올리도록 제어한 경우 출력 결과를 나타낸 예시도이다.
도 4c는 본 발명의 일 실시예로 원숭이가 앉도록 제어한 경우 출력 결과를 나타낸 예시도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
이하에서는 도 1을 통해 본 발명의 실시예에 따른 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치(200)의 동작에 대하여 살펴본다. 도 1은 본 발명의 실시예에 따른 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치의 동작을 설명하기 위한 도면이다.
도 1에서 보는 바와 같이, 본 발명의 실시예에 따른 인터랙티브 컨텐츠 제공 장치(200)는 가상 현실 기기(100) 및 모션 인식 장치(300)와 상호 통신 연결된다.
먼저, 가상 현실 기기(100)는 헤드 마운트(Head Mounted) 형태로 구현되어 3차원 입체 영상을 출력한다. 눈이 2개인 동물은 좌우 눈 중 하나를 감고 정면을 바라볼 때 각 눈의 위치 차이로 인해서 서로 다른 장면이 보이게 되는데, 가상 현실 기기는 이 원리를 응용하여 좌우 눈이 바라보는 가상 현실 기기의 액정에 서로 다른 각도의 장면을 출력시켜서 사람이 실제 세상을 바라보는 것과 같은 입체감을 형성한다.
본 발명의 실시예에 따른 인터랙티브 컨텐츠 제공 장치(200)는 가상 현실 기기(100)의 좌우 액정에 각기 다른 각도에서 바라보는 화면을 전송하고, 가상 현실 기기(100)는 좌우 액정에 각기 다른 각도에서 바라보는 화면을 표시함으로써, 사용자가 인터랙티브 컨텐츠의 캐릭터를 입체감 있게 볼 수 있도록 한다.
또한, 가상 현실 기기(100)는 평형측정계, 자기센서, 자이로센서, 가속도센서 등을 포함하며, 이와 같은 센서를 통해 사용자의 머리 움직임을 실시간으로 파악(헤드 트래킹, Head Tracking)하여 사용자의 시각과 가상 현실의 시각을 동기화시킴으로써, 가상 현실 기기(100)를 착용한 사용자에게 전 방향에 대한 입체적인 영상을 제공한다.
본 발명의 실시예에서 가상 현실 기기(100)는 자이로센서 등을 통해 사용자의 머리 움직임을 실시간으로 파악하여 사용자가 바라보는 방향에 대한 정보를 획득하고, 획득한 정보에 따른 3차원 입체 영상을 출력한다.
다음으로, 모션 인식 장치(300)는 사용자의 모션을 감지하여 인터랙티브 컨텐츠 제공 장치(200)에 전송한다.
먼저, 모션 인식 장치(300)는 모션 캡쳐 리모콘의 형태로 구현될 수 있으며, 이때 모션 인식 장치(300)는 자이로 센서 등을 포함하거나 적외선 발광기 및 적외선 센서를 포함할 수 있다. 또한 모션 인식 장치(300)는 모션 캡쳐 카메라 또는 데이터글러브(DataGlove)의 형태로 구현되거나 휴먼 인터페이스 장치(HID, Human Interface Device)를 이용하여 구현될 수 있다.
본 발명의 실시예에서는 모션 캡쳐 리모콘 형태로 구현된 모션 인식 장치(300)를 이용하는 경우를 예시로 하여 설명한다. 모션 캡쳐 리모콘은 사용자가 모션 캡쳐 리모콘의 버튼을 클릭하거나 모션 캡쳐 리모콘을 움직임으로써 사용자의 모션 정보를 획득할 수 있다.
또한, 모션 인식 장치(300)는 인터랙티브 컨텐츠 제공 장치(200)로부터 모션에 대한 반응 신호를 수신하여 수신 신호에 따라 진동될 수 있으며, 수신 신호에 따라 모션 인식 장치(300)의 진동 강도 조절도 가능하다.
다음으로, 인터랙티브 컨텐츠 제공 장치(200)는 인터랙티브 컨텐츠의 캐릭터를 저장하며, 사용자가 선택한 캐릭터를 가상 현실 기기(100)로 전송한다. 또한, 인터랙티브 컨텐츠 제공 장치(200)는 모션 인식 장치(300)로부터 사용자의 모션 정보를 전송받고, 전송받은 모션 정보에 따라 사용자가 선택한 캐릭터를 제어한다. 그리고, 인터랙티브 컨텐츠 제공 장치(200)는 음성이나 진동 신호를 발생시켜 스피커 또는 진동기를 통해 출력할 수 있다.
이하에서는 도 2를 통해 본 발명의 실시예에 따른 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치(200)에 대하여 살펴본다. 도 2는 본 발명의 실시예에 따른 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치의 구성을 나타낸 구성도이다.
인터랙티브 컨텐츠 제공 장치(200)는 통신부(210), 저장부(220), 제어부(230) 및 출력부(240)를 포함한다.
먼저, 통신부(210)는 가상 현실 기기(100) 및 모션 인식 장치(300)와 근거리 통신을 통하여 정보를 송수신한다. 통신부(210)는 가상 현실 기기(100)로부터 가상 현실 기기(100)와 인터랙티브 컨텐츠 제공 장치(200)의 거리 및 헤드 트레킹(Head Tracking) 정보를 전송 받으며, 가상 현실 기기(100)로 사용자에 의해 선택된 인터랙티브 컨텐츠의 캐릭터를 전송한다.
그리고 통신부(210)는 모션 인식 장치(300)로부터 사용자의 모션 정보를 전송받아 제어부(230)에 전달하며, 생성된 진동 신호 또는 음성 신호를 가상 현실 기기(100)나 모션 인식 장치(300)에 전송한다.
다음으로, 저장부(220)는 인터랙티브 컨텐츠의 캐릭터를 저장한다. 이때, 인터랙티브 컨텐츠의 캐릭터는 원숭이나 사자와 같은 동물일 수 있으며 사람이나 만화 주인공일 수도 있다. 또한 저장부(220)는 사용자의 모션 정보에 따른 캐릭터의 동작 정보를 저장한다.
다음으로, 제어부(230)는 모션 인식 장치(300)로부터 전달받은 모션 정보를 해석하여 인터랙티브 컨텐츠의 캐릭터를 제어한다. 예를 들어 제어부(230)는 사용자로부터 캐릭터에 악수를 청하는 모션 정보를 전송 받은 경우 저장부(220)에 기 저장된 정보를 이용하여 캐릭터가 사용자와 악수를 하는 입체 영상이 구현되도록 제어한다. 이때, 제어부(230)는 가상 현실 기기(100)의 좌안측 화면과 우안측 화면에 표시되는 캐릭터의 동작을 사용자의 모션 정보에 따라 각기 제어한다.
또한, 제어부(230)는 캐릭터의 동작을 제어할 수 있는 포인트의 3차원 좌표를 생성하며, 포인트는 3차원 좌표에 따라 3차원 입체 영상에 표시된다.
다음으로, 출력부(240)는 사용자의 모션 정보에 따라 동작이 제어된 캐릭터를 가상 현실 기기(100)로 전송한다. 또한 출력부(240)는 제어된 캐릭터의 동작에 대응하는 반응 신호를 스피커나 모션 인식 장치(300)에 포함된 진동 장치 등에 전송한다. 이때 반응 신호는 진동 신호 및 음성 신호를 포함한다.
이하에서는 도 3을 통해 본 발명의 실시예에 따른 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치(200)를 이용한 인터랙티브 컨텐츠 제공 방법에 대하여 살펴본다. 도 3은 본 발명의 실시예에 따른 가상 현실 기반의 인터랙티브 컨텐츠 제공 방법을 나타낸 순서도이다.
먼저, 헤드 마운트 형태의 가상 현실 기기(100)를 착용한 사용자가 인터랙티브 컨텐츠의 캐릭터를 선택하면, 선택된 캐릭터는 가상 현실 기기(100)를 통해 표시된다(S310).
인터랙티브 컨텐츠는 하나 이상의 캐릭터를 포함하며, 사용자는 인터랙티브 컨텐츠의 캐릭터를 선택하기 위하여 키보드나 마우스와 같은 입력 기기를 이용할 수 있다. 또한 사용자는 가상 현실 기기(100)에 포함된 자이로 센서나 가속도 센서 등을 이용하거나 모션 인식 장치(300)를 이용하여 캐릭터를 선택할 수 있다.
하나의 실시예로, 가상 현실 기기(100)에 포함된 자이로 센서를 이용하여 캐릭터를 선택하고자 하는 경우, 사용자는 선택하고자 하는 캐릭터가 정면 또는 화면의 정중앙 또는 특별하게 표시되는 시점 표시부를 향하도록 고개를 돌려 일정 시간동안 선택하고자 하는 캐릭터를 응시함으로써 캐릭터를 선택할 수 있다.
사용자에 의해 선택된 인터랙티브 컨텐츠의 캐릭터는 가상 현실 기기(100)를 통해 3차원 입체 영상으로 표시된다.
다음으로, 모션 인식 장치(300)는 사용자의 모션을 감지하고, 감지된 모션 정보를 통신부(210)로 전송한다(S320). 이하에서는 사용자의 모션을 감지하는 과정에 대해 구체적으로 살펴본다.
먼저, 인터랙티브 컨텐츠 제공 장치(200)는 가상 현실 기기(100)를 통해 3차원 입체 영상에 포인트를 표시한다. 제어부(230)는 3차원 입체 영상에 표시되는 포인트의 3차원 좌표(x, y, z)를 생성하며, 포인트의 3차원 좌표(x, y, z) 중 좌표(x,y)는 2차원 평면 영상 내에서 결정되고, 좌표(z)는 사용자의 눈과 2차원 평면 영상 사이의 거리를 통하여 결정된다. 이때, 좌표(z)는 가상 현실 기기(100)에 포함된 깊이 센서를 이용하여 측정할 수 있다. 포인트는 생성된 3차원 좌표에 따라 3차원 입체 영상에 표시된다.
다음으로, 제어부(230)는 출력된 포인트가 캐릭터의 신체 일부에 위치하면 해당 캐릭터의 신체 일부를 활성화시킨다. 구체적으로, 사용자는 모션 인식 장치(300)를 이용하여 포인트를 캐릭터의 신체 일부로 이동시킬 수 있으며, 캐릭터의 신체 일부는 사용자가 캐릭터의 신체 일부에 일정 시간 이상 포인트를 위치시킴으로써 활성화될 수 있다.
이때, 활성화란 캐릭터에 대해 사용자의 모션을 입력할 수 있는 상태를 의미하며, 포인트는 캐릭터의 활성화된 신체 일부에 원형 형태로 표시될 수 있다. 또한, 제어부(230)는 가상 현실 기기(100)와 인터랙티브 컨텐츠 제공 장치(200) 사이의 거리, 그리고 사용자가 파지하고 있는 모션 인식 장치(300)의 위치를 이용하여 포인트의 3차원 이동좌표를 생성한다. 구체적으로 포인트의 이동에 따른 3차원 좌표는 생성된 포인트를 기준점(0,0,0)으로 하고, 가상 현실 기기(100)와 인터랙티브 컨텐츠 제공 장치(200) 사이의 거리를 좌표(z)로, 모션 인식 장치(300)의 위치를 좌표(x,y)로 하여 생성될 수 있다.
다음으로, 사용자는 캐릭터의 신체 일부가 활성화된 상태에서 모션을 취하고, 모션 감지 장치(300)는 사용자의 모션 정보를 획득하여 통신부(210)로 전달한다. 이때, 모션은 사용자가 인터랙티브 컨텐츠의 캐릭터를 제어하기 위한 움직임을 의미한다. 예를 들어 사용자가 에어 마우스 형태의 모션 감지 장치를 이용하는 경우, 사용자의 모션 유형은 캐릭터의 신체 일부가 활성화된 상태에서, 버튼을 클릭한 상태로 사용자의 팔이 상측 또는 하측으로 이동한다거나, 버튼을 클릭한 상태로 팔의 움직임이 없이 일정 시간 지속하는 동작 등이 있다.
통신부(210)가 모션 감지 장치(300)로부터 사용자의 모션 정보를 전송받은 다음, 제어부(230)는 통신부(210)로부터 전달받은 사용자의 모션 정보에 따라 인터랙티브 컨텐츠의 캐릭터를 제어한다(S330).
사용자의 모션에 대응하는 캐릭터의 반응 동작은 저장부(220)에 기 저장되어 있으며, 제어부(230)는 사용자의 모션 정보와 저장부(220)에 기 저장된 캐릭터의 동작 정보를 이용하여 캐릭터의 동작을 제어한다.
이하에서는 본 발명의 일 실시예로서, 인터랙티브 컨텐츠의 캐릭터가 원숭이라고 가정한 경우에 있어 사용자의 모션 정보에 따른 캐릭터의 동작 제어 방법에 대해 살펴본다.
예를 들어, 사용자가 원숭이의 팔이 활성화된 상태에서 모션 인식 장치(300)에 설치된 버튼을 클릭한 상태로 팔의 움직임이 없이 일정 시간 이상 지속하는 경우, 제어부(230)는 원숭이 캐릭터가 손을 내밀어 악수를 청하도록 설정할 수 있다.
또한, 사용자가 원숭이의 머리가 활성화된 상태에서 버튼을 클릭한 상태로 일정 시간 이상 지속하는 경우, 제어부(230)는 원숭이 캐릭터가 머리를 숙여 인사하도록 설정할 수 있다.
또한, 사용자가 원숭이의 팔이 활성화된 상태에서 모션 인식 장치(300)에 설치된 임의의 버튼을 클릭한 상태로 모션 인식 장치(300)를 아래로 내리거나 위로 올리는 경우, 제어부(230)는 원숭이 캐릭터가 앉거나 손을 올리는 동작을 하도록 설정할 수 있다.
다음으로, 출력부(240)는 제어된 캐릭터를 가상 현실 기기(100)로 전달하고, 가상 현실 기기(100)는 사용자의 모션에 따라 제어된 캐릭터의 3차원 입체 영상을 표시한다.
구체적으로, 출력부(240)는 사용자의 모션에 대응하는 동작에 따라 제어된 캐릭터를 제어부(230)로부터 전달받아 가상 현실 기기(100)로 출력하며, 가상 현실 기기(100)는 사용자의 모션에 따라 제어된 캐릭터의 3차원 입체 영상을 표시한다. 이때, 출력부(240)는 제어부(230)에 의해 제어된 캐릭터의 3차원 입체 영상뿐 만 아니라, 제어된 캐릭터의 반응에 대한 음성이나 진동 신호를 가상 현실 기기(100)나 스피커 등으로 출력할 수 있다.
이하에서는 도 4a 내지 도 4c를 통해 본 발명의 실시예에 따른 제어된 캐릭터의 출력 결과를 살펴본다. 도 4a는 본 발명의 일 실시예로 원숭이가 악수를 하도록 제어한 경우 출력 결과를 나타낸 예시도이고, 도 4b는 본 발명의 일 실시예로 원숭이가 팔을 올리도록 제어한 경우 출력 결과를 나타낸 예시도이고, 도 4c는 본 발명의 일 실시예로 원숭이가 앉도록 제어한 경우 출력 결과를 나타낸 예시도이다.
도 4a 내지 도 4c는 가상 현실 기기(100)의 좌안측과 우안측의 액정에 표시되는 화면을 각각 보여준다. 각 출력 결과를 살펴보면, 좌측과 우측의 화면은 서로 다르게 표시되는 것을 알 수 있는데, 이는 앞서 설명한 것처럼 가상 현실 기기(100)의 3차원 입체 영상의 원리에 기초한 것으로서, 사용자가 가상 현실 기기(100)를 착용하고서 볼 경우 3차원 입체 영상을 볼 수 있다.
이와 같이 본 발명의 실시예에 따르면, 사용자는 단지 일방적인 가상 현실 서비스의 제공받는 것이 아니라, 모션인식을 통한 피드백 시스템에 의하여 마치 실제 동물을 만지듯 가상의 공간에서 동물 캐릭터와의 상호 교감이 가능하여, 이를 통해 심리적인 치료 효과도 얻을 수 있다.
또한, 가상 현실 기기(100)의 사실감 넘치는 영상은 교육적인 메시지 전달이나 자연 학습 측면에서 사용자의 흥미를 유발하여 학습효과를 극대화 할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : 가상 현실 기기 200 : 인터랙티브 컨텐츠 제공 장치
210 : 통신부 220 : 저장부
230 : 제어부 240 : 출력부
300 : 모션 인식 장치

Claims (10)

  1. 헤드 마운트 형태의 가상 현실 기기를 착용한 사용자에게 컨텐츠를 제공하기 위한 인터랙티브 컨텐츠 제공 장치에 있어서,
    상기 가상 현실 기기 및 상기 사용자의 모션을 감지하는 모션 인식 장치와 데이터를 송수신하는 통신부,
    상기 인터랙티브 컨텐츠에 표시되는 하나 이상의 캐릭터를 저장하는 저장부,
    상기 사용자로부터 기 저장된 캐릭터 중에서 하나를 선택받고, 상기 사용자의 모션에 대응하여 상기 선택된 캐릭터의 동작을 제어하는 제어부, 그리고
    상기 인터랙티브 컨텐츠의 3차원 입체 영상을 생성하여 상기 가상 현실 기기로 출력하는 출력부를 포함하며,
    상기 제어부는,
    상기 사용자의 눈과 2차원 평면 영상 사이의 거리 및 상기 가상 현실 기기에 표시되는 2차원 평면 영상을 이용하여 상기 3차원 입체 영상에 표시되는 포인트의 3차원 좌표를 생성하고, 상기 포인트가 일정 시간동안 상기 캐릭터의 신체의 일부에 위치하면 해당되는 상기 캐릭터의 신체의 일부가 활성화되며, 상기 포인트를 이용하여 상기 선택된 캐릭터의 동작을 제어하는 인터랙티브 컨텐츠 제공 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 제어부는,
    상기 캐릭터의 팔이 활성화된 상태에서, 상기 사용자가 모션 인식 장치에 설치된 임의의 버튼을 누른 상태에서 모션 인식 장치를 아래로 내리면, 상기 캐릭터가 앉는 동작을 취하도록 제어하고, 상기 버튼을 누른 상태에서 모션 인식 장치를 위로 올리면, 상기 캐릭터가 손을 올리도록 제어하는 인터랙티브 컨텐츠 제공 장치.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 캐릭터의 팔이 활성화된 상태에서, 상기 사용자가 일정 시간 이상 상기 모션 인식 장치에 설치된 임의의 버튼을 누르면, 상기 캐릭터가 손을 내밀어 악수를 청하도록 제어하는 인터랙티브 컨텐츠 제공 장치.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 캐릭터의 머리가 활성화된 상태에서, 상기 사용자가 일정 시간 이상 상기 모션 인식 장치에 설치된 임의의 버튼을 누르면, 상기 캐릭터가 머리를 숙여 인사하도록 제어하는 인터랙티브 컨텐츠 제공 장치.
  7. 제1항에 있어서,
    상기 출력부는,
    상기 캐릭터가 생성하는 소리를 상기 가상 현실 기기로 출력하며,
    상기 캐릭터의 동작에 대응하여 진동 발생 신호를 상기 모션 인식 장치로 전달하는 인터랙티브 컨텐츠 제공 장치.
  8. 헤드 마운트 형태의 가상 현실 기기를 착용한 사용자에게 컨텐츠를 제공하기 위한 인터랙티브 컨텐츠 제공 장치의 인터랙티브 컨텐츠 제공 방법에 있어서,
    상기 사용자로부터 기 저장된 캐릭터 중에서 하나를 선택받고, 선택된 캐릭터를 상기 인터랙티브 컨텐츠에 표시하는 단계,
    모션 인식 장치에 의해 감지된 상기 사용자의 모션에 대응하여 상기 선택된 캐릭터의 동작을 제어하는 단계, 그리고
    상기 인터랙티브 컨텐츠의 3차원 입체 영상을 생성하여 상기 가상 현실 기기로 출력하는 단계를 포함하며,
    상기 선택된 캐릭터의 동작을 제어하는 단계는,
    상기 사용자의 눈과 2차원 평면 영상 사이의 거리 및 상기 가상 현실 기기에 표시되는 2차원 평면 영상을 이용하여 상기 3차원 입체 영상에 표시되는 포인트의 3차원 좌표를 생성하고, 상기 포인트가 일정 시간동안 상기 캐릭터의 신체의 일부에 위치하면 해당되는 상기 캐릭터의 신체의 일부가 활성화되며, 상기 포인트를 이용하여 상기 선택된 캐릭터의 동작을 제어하는 인터랙티브 컨텐츠 제공 방법.
  9. 삭제
  10. 삭제
KR1020150051739A 2015-01-27 2015-04-13 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치 및 그 방법 KR101618004B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150012692 2015-01-27
KR20150012692 2015-01-27

Publications (1)

Publication Number Publication Date
KR101618004B1 true KR101618004B1 (ko) 2016-05-09

Family

ID=56020492

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150051739A KR101618004B1 (ko) 2015-01-27 2015-04-13 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101618004B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101839726B1 (ko) * 2017-04-28 2018-04-27 황철하 양방향 커뮤니케이션이 가능한 가상현실 시스템
KR101916146B1 (ko) * 2017-07-19 2019-01-30 제이에스씨(주) Ar과 vr을 기반으로 하는 독서 체험 서비스 제공 방법 및 시스템
KR102104202B1 (ko) 2019-03-13 2020-05-29 영산대학교산학협력단 가상 현실을 사용한 인지행동치료 장치
KR102203234B1 (ko) * 2019-07-26 2021-01-14 (주)디얼뷰 Mr기반의 도시철도 기관사 운전연습시스템 및 그 시스템의 구동방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014010664A (ja) * 2012-06-29 2014-01-20 Sony Computer Entertainment Inc 映像処理装置、映像処理方法、および映像処理システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014010664A (ja) * 2012-06-29 2014-01-20 Sony Computer Entertainment Inc 映像処理装置、映像処理方法、および映像処理システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101839726B1 (ko) * 2017-04-28 2018-04-27 황철하 양방향 커뮤니케이션이 가능한 가상현실 시스템
WO2018199724A1 (ko) * 2017-04-28 2018-11-01 황철하 양방향 커뮤니케이션이 가능한 가상현실 시스템
KR101916146B1 (ko) * 2017-07-19 2019-01-30 제이에스씨(주) Ar과 vr을 기반으로 하는 독서 체험 서비스 제공 방법 및 시스템
KR102104202B1 (ko) 2019-03-13 2020-05-29 영산대학교산학협력단 가상 현실을 사용한 인지행동치료 장치
KR102203234B1 (ko) * 2019-07-26 2021-01-14 (주)디얼뷰 Mr기반의 도시철도 기관사 운전연습시스템 및 그 시스템의 구동방법

Similar Documents

Publication Publication Date Title
JP6276882B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6316387B2 (ja) 広範囲同時遠隔ディジタル提示世界
JP6244593B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6263252B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2022549853A (ja) 共有空間内の個々の視認
JP6342038B1 (ja) 仮想空間を提供するためのプログラム、当該プログラムを実行するための情報処理装置、および仮想空間を提供するための方法
JP6290467B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
US10223064B2 (en) Method for providing virtual space, program and apparatus therefor
CN108292040A (zh) 优化头戴式显示器屏幕上的内容定位的方法
JP6392911B2 (ja) 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム
CN106233227A (zh) 具有体积感测的游戏装置
CN107533230A (zh) 头戴式显示器用追踪***
EP3364272A1 (en) Automatic localized haptics generation system
JP6321263B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
KR101618004B1 (ko) 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치 및 그 방법
JP2018089228A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018125003A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP6368404B1 (ja) 情報処理方法、プログラム及びコンピュータ
JP2019032844A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6820299B2 (ja) プログラム、情報処理装置、および方法
JP6554139B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018192238A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018067297A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018092635A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018092592A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190327

Year of fee payment: 4