KR101748401B1 - 가상현실 어트랙션 제어 방법 및 시스템 - Google Patents

가상현실 어트랙션 제어 방법 및 시스템 Download PDF

Info

Publication number
KR101748401B1
KR101748401B1 KR1020160105991A KR20160105991A KR101748401B1 KR 101748401 B1 KR101748401 B1 KR 101748401B1 KR 1020160105991 A KR1020160105991 A KR 1020160105991A KR 20160105991 A KR20160105991 A KR 20160105991A KR 101748401 B1 KR101748401 B1 KR 101748401B1
Authority
KR
South Korea
Prior art keywords
virtual reality
image
attraction
content
real
Prior art date
Application number
KR1020160105991A
Other languages
English (en)
Inventor
강두환
남상두
Original Assignee
강두환
남상두
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강두환, 남상두 filed Critical 강두환
Priority to KR1020160105991A priority Critical patent/KR101748401B1/ko
Application granted granted Critical
Publication of KR101748401B1 publication Critical patent/KR101748401B1/ko
Priority to CN201780051508.6A priority patent/CN109690448A/zh
Priority to US16/327,785 priority patent/US10617963B2/en
Priority to PCT/KR2017/009093 priority patent/WO2018038485A1/ko
Priority to JP2019532905A priority patent/JP2019535090A/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63GMERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
    • A63G31/00Amusement arrangements
    • A63G31/02Amusement arrangements with moving substructures
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63GMERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
    • A63G31/00Amusement arrangements
    • A63G31/16Amusement arrangements creating illusions of travel
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F17/3002
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7475Constructional details of television projection apparatus
    • H04N5/7491Constructional details of television projection apparatus of head mounted projectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0255Targeted advertisements based on user history
    • G06Q30/0256User search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/561Adding application-functional data or data for application control, e.g. adding metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Databases & Information Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 가상현실 어트랙션 제어 방법 및 시스템에 관한 것이다. 이는 이용자가 탑승하는 기계 컴포넌트의 움직임과 상기 이용자에게 영상 컴포넌트을 통해 표시되는 영상 데이터에 기초하여 상기 이용자에게 가상현실을 체험할 수 있도록 하는 가상현실 어트랙션(vertual reality attraction)의 제어 방법으로서, 사용자의 이동 단말기에서 촬영된 실사 영상데이터와, 적어도 상기 이동 단말기가 상기 실사 영상데이터를 촬영한 시점의 시간 데이터, 상기 이동 단말기의 위치 데이터를 포함하는 메타데이터를 포함하는 실사 영상 컨텐츠를 생성하는 실사 영상 컨텐츠 제작 단계; 상기 실사 영상 컨텐츠가 상기 제어 컨텐츠로서 상기 가상현실 어트랙션에서 수신되는 제어 컨텐츠 입력 단계; 및 상기 가상현실 어트랙션은, 상기 입력된 실사 영상 컨텐츠의 메타 데이터에 기초하여 상기 기계 컴포넌트의 움직임을 구동하고, 상기 입력된 실사 영상 컨텐츠의 실사 영상 데이터를 상기 메타 데이터 내에 포함된 시간 데이터에 기초하여 동기화시켜 상기 영상 컴포넌트에 표시하도록 제어하는 어트랙션 구동 단계를 포함한다. 이와 같은 본 발명에 따르면, 누구나 운동, 여행, 이동 중 현실에서 실사 영상을 촬영하는 방식으로 쉽게 가상현실 어트랙션을 통해 가상현실을 체험할 수 있도록 하는 제어 컨텐츠를 제작할 수 있게 한다.

Description

가상현실 어트랙션 제어 방법 및 시스템 {METHOD FOR CONTROLLING VIRTUAL REALITY ATTRACTION AND SYSTEM THEREOF}
본 발명은 가상현실 어트랙션 제어 기술에 관한 것으로서, 더 상세하게는 일반 사용자가 제작한 실사 영상데이터를 가상현실을 체험하도록 구성된 가상현실 어트랙션의 제어 컨텐츠로서 제공함으로써, 현실에서 촬영된 실사 영상에 기초한 가상현실 어트랙션의 제어 컨텐츠가 쉽게 제작될 수 있도록 한 새로운 가상현실 어트랙션 제어 방법 및 시스템에 관한 것이다.
일반적으로 어트랙션(attraction)은 유원지 등에 설치된 놀이기구로서 사용자가 탑승한 상태로 회전운동, 기울기운동, 등속운동, 가속이동, 수평이동, 상하이동 등을 다양하게 조합한 움직임을 제공함으로써 사용자에게 즐거움을 제공하는 기구를 지칭한다. 근래에는 사용자가 탑승한 기구를 기계적인 방식으로 구동하는 것과 동시에 소정 시나리오에 따른 영상을 사용자에게 제공함으로써, 몰입감 있는 가상현실(VR, virtual reality)을 체험할 수 있게 하는 어트랙션(이하, '가상현실 어트랙션'이라 칭한다)이 발전하고 있다. 나아가 이러한 가상현실 어트랙션 관련 기술은 근래에 헤드 마운트 디스플레이(HMD, head mount display), 3차원 영상 기술, 360도 VR 영상 등의 발전에 따라, 놀이기구뿐만 아니라 시뮬레이터, 운동기구, 게임기구 등의 다양한 분야로 확대되고 있기도 하다.
도 1에는 통상적인 가상현실 어트랙션(100)의 구성이 개략적으로 도시된다. 도시된 바와 같이, 가상현실 어트랙션(100)은 이용자가 탑승하는 기계 컴포넌트(130)와 이용자에게 영상이 표시되는 영상 컴포넌트(150)를 포함하며, 이들을 제어하기 위한 어트랙션 제어부(110)를 포함한다. 제어부(110)는 제어 컨텐츠(control contents)를 입력받거나 스토리지로부터 읽어들이고, 이 제어 컨텐츠에 기초하여 기계 컴포넌트(130)와 영상 컴포넌트(150)를 제어할 수 있다.
이 예에서, 제어부(110)는 제어 컨텐츠에 포함되어 있는 기계 구동 데이터에 기초하여 예컨대 하나 이상의 모터를 구동함으로써 사용자가 탑승하고 있는 기계 컴포넌트(130)의 움직임을 제어할 수 있다. 기계 구동 데이터는 예컨대 기계 컴포넌트(130)를 3차원 상에서 소정 방향으로 병진 이동시키거나 소정 방향으로 회전시키거나 소정 자세를 유지하거나 자세를 변화시키는 등의 움직임을 위해 필요한 데이터를 포함한다. 이러한 기계 구동 데이터에 기초하여 제어됨으로써, 기계 컴포넌트(130)는 소정 자세를 유지 또는 변경하거나, 상하(Z축)로 움직이거나, 좌우(Y축)로 움직이거나, 전후(X축)로 움직이거나, 롤링(X축을 중심으로 회전)하거나, 피칭(Y축을 중심으로 회전)하거나, 요잉(Z축을 중심으로 회전)하는 등의 움직임 또는 이들의 조합으로 제어될 수 있다.
한편 제어부(110)는 제어 컨텐츠에 포함되어 있는 영상 데이터에 기초하여 예컨대 이용자 전방의 스크린 또는 이용자가 머리에 착용한 HMD와 같은 영상 컴포넌트(150)로 소정의 영상이 표시되도록 할 수 있다.
나아가, 제어부(110)는 기계 컴포넌트(130)에 탑승한 이용자가 예컨대 기계 컴포넌트(130) 내에 설치된 운전대를 움직이거나 페달을 밟는 등의 작용을 함에 따라 입력되는 피드백 데이터를 입력받고, 이러한 이용자 피드백에 응답하여 기계 컴포넌트(130)의 움직임과 영상 컴포넌트(150)에 표시되는 영상을 조절함으로써, 사용자와 상호작용하는 가상현실 어트랙션를 구성할 수 있다.
그런데 종래의 가상현실 어트랙션에 있어서, 제어 컨텐츠는 기계를 동작시키기 위한 기계 구동 데이터와 영상 표시를 위한 영상 데이터가 별개로 프로그램되는 것이 일반적이었다. 그리고 가상현실을 제공하기 위한 영상 데이터는, 부분적으로 실사 영상을 포함한다고는 하더라도, 일반적으로 컴퓨터 그래픽(CG)에 기초하여 생성되었다. 그러므로 종래 가상현실 어트랙션의 제어 컨텐츠는, 소정 가상현실 시나리오의 기획을 필요로 할 뿐만 아니라 CG 제작을 위한 전문적인 인력이 필요하기 때문에, 시간과 비용이 많이 소요되는 과정에 의해 제공된다는 한계가 있었다. 이에 따라, 종래 가상현실 어트랙션은 이용자에게 다양한 가상현실에 대한 경험을 위한 컨텐츠가 많지도 않고, 나아가 이러한 컨텐츠가 쉽게 제공될 수 없고, 더 나아가 컨텐츠가 다양한 방식으로 공유될 수도 없다는 면에서 한계가 있었다.
한국 등록특허 10-1305853호 (2013년09월06일 공고) 한국 등록특허 10-1214767호 (2012년12월14일 공고)
본 발명은 상술한 종래의 가상현실 어트랙션의 제어 컨텐츠 제공 기술의 문제점을 해소하려는 것으로, 더 상세하게는 일반 사용자가 이동 단말기를 이용하여 생성한 실사 영상데이터를 가상현실 어트랙션의 제어 컨텐츠(즉, 기계 컴포넌트를 제어하기 위한 데이터와 영상 컴포넌트를 위한 영상 데이터를 포함하고 있는 컨텐츠)로 제공함으로써, 일반 사용자에 의해 현실에서 촬영된 실사 영상에 기초하여 가상현실 어트랙션의 제어 컨텐츠가 쉽게 제작되고 다양한 방식으로 공유될 수 있도록 한 새로운 가상현실 어트랙션의 제어 방법 및 시스템을 목적으로 한다.
본 명세서에서 사용하는 '가상현실 어트랙션'이라는 용어는, 이용자가 가상현실을 체험할 수 있도록 하는 기계적 컴포넌트 및 영상 표시를 위한 영상 컨포넌트를 포함하는 장치를 의미하며, 특별히 제한되지 않고 기술적으로 가능한 넓은 범위의 장치를 의미한다. 예를 들어, 그 기계적 컴포넌트에는 놀이기구뿐만 아니라, 시뮬레이터, 운동기구, 또는 게임기구 등의 다양한 분야의 기기를 포함한다. 한편 그 영상 표시용 컨포넌트에는 스크린, 모니터, 헤드 마운트 디스플레이, 스마트 글라스, 별도의 디스플레이 장치(예컨대, 스마트폰)를 장착하여 이용하는 헤드 기어 등의 다양한 기기를 포함한다.
구체적으로 본 발명은 일반 사용자가 예컨대 스마트폰에 "가상현실 어트랙션의 제어 컨텐츠"로서 실사 영상 컨텐츠를 생성할 수 있도록 하는 앱을 설치함으로써, 스마트폰에 내장된 카메라 또는 외부 카메라를 이용하여 촬영된 실사 영상 데이터에 스마트폰에 내장/외장된 센서(예컨대, GPS 센서, 근접센서, 모션센서, 기압센서, 지자기 센서 등)들로부터 얻을 수 있는 시간, 위치, 각도, 기울기, 자세, 가속도, 속도, 위도, 방위를 나타내는 값 중 적어도 일부 값을 포함하는 메타데이터를 결합한 실사 영상 컨텐츠를 생성할 수 있도록 하고, 이렇게 생성된 실사 영상 컨텐츠를 가상현실 어트랙션의 제어 컨텐츠로 제공함으로써, 일반 사용자가 가상현실 어트랙션의 제어 컨텐츠를 쉽게 제작하여 제공할 수 있도록 하는 새로운 가상현실 어트랙션의 제어 방법 및 시스템을 목적으로 한다.
나아가 본 발명은 일반 사용자가 영상 표시를 위한 실사 영상데이터와 기계 구동을 위한 메타 데이터를 포함하는 실사 영상 컨텐츠를 예컨대 인터넷과 같은 네트워크상에 운영되는 웹서버의 형태인 컨텐츠 서버로 업로드하거나 이 컨텐츠 서버로부터 다운로드하도록 제공함으로써, 가상현실 어트랙션을 위한 다양한 제어 컨텐츠가 쉽게 공유되고 나아가 다양한 방식(예컨대 일대일, 일대다, 다대일)으로 공유될 수 있도록 하는 새로운 가상현실 어트랙션 제어 방법 및 시스템을 목적으로 한다.
상기 목적은 본 발명에 따라 제공되는 가상현실 어트랙션 제어 방법 및 시스템에 의하여 달성된다.
본 발명의 일 양상에 따라 제공되는 가상현실 어트랙션 제어 방법은, 이용자가 탑승하는 기계 컴포넌트의 움직임과 상기 이용자에게 영상 컴포넌트을 통해 표시되는 영상 데이터에 기초하여 상기 이용자에게 가상현실을 체험할 수 있도록 하는 가상현실 어트랙션(vertual reality attraction)의 제어 방법으로서, 사용자의 이동 단말기에서 촬영된 실사 영상데이터와, 적어도 상기 이동 단말기가 상기 실사 영상데이터를 촬영한 시점의 시간 데이터, 상기 이동 단말기의 위치 데이터를 포함하는 메타데이터를 포함하는 실사 영상 컨텐츠를 생성하는 실사 영상 컨텐츠 제작 단계; 상기 실사 영상 컨텐츠가 상기 제어 컨텐츠로서 상기 가상현실 어트랙션에서 수신되는 제어 컨텐츠 입력 단계; 및 상기 가상현실 어트랙션은, 상기 입력된 실사 영상 컨텐츠의 메타 데이터에 기초하여 상기 기계 컴포넌트의 움직임을 구동하고, 상기 입력된 실사 영상 컨텐츠의 실사 영상 데이터를 상기 메타 데이터 내에 포함된 시간 데이터에 기초하여 동기화시켜 상기 영상 컴포넌트에 표시하도록 제어하는 어트랙션 구동 단계를 포함한다.
상기 이동단말기는 프로세서, 메모리, 카메라, 시간 감지 센서 및 위치 감지 센서를 포함할 수 있다. 상기 이동단말기에는, 상기 카메라에 의해 촬영된 실사 영상 데이터, 및 적어도 상기 시간 감지 센서 및 위치 감지 센서로부터 상기 실사 영상 데이터가 촬영된 시점의 시간 및 위치 데이터를 포함하여 생성된 메타 데이터를 결합하여 상기 실사 영상 컨텐츠를 생성하는 동작이 상기 프로세서에 의해 수행되도록 코딩된 가상현실 어트랙션 제어용 실사 영상 컨텐츠 생성용 컴퓨터-실행가능 애플리케이션이 설치될 수 있다. 또한 상기 이동단말기는, 상기 애플리케이션이 상기 프로세서에 의해 수행될 때 생성된 상기 실사 영상 컨텐츠를 저장하는 스토리지, 또는 상기 실사 영상 컨텐츠를 외부 장치로 전송하는 송신 모듈을 포함할 수 있다.
상기 메타데이터는, 상기 시간 데이터 및 위치 데이터 이외에, 상기 이동단말기의 자세를 나타내는 자세 데이터, 및 상기 이동단말기의 움직임을 나타내는 가속도 또는 속도 중 적어도 하나를 더 포함할 수 있다.
상기 제어 컨텐츠 입력 단계는, 이동식 메모리 매체를 이용하여 수행될 수 있다.
상기 제어 컨텐츠 입력 단계는, 상기 이동단말기와 상기 가상현실 어트랙션 둘 모두 통신망을 통해 접속하면 상기 실사 영상 컨텐츠를 상기 통신망을 통해 업로드하거나 다운로드할 수 있는 서비스를 제공하는 컨텐츠 서버를 경유하여 수행될 수 있다.
상기 이동단말기에서 수행되는 상기 실사 영상 컨텐츠 제작 단계와, 제작된 실사 영상 컨텐츠가 상기 컨텐츠 서버로 업로드되는 단계와, 업로드된 실사 영상 컨텐츠가 상기 컨텐츠 서버로부터 상기 가상현실 어트랙션으로 다운로드되는 단계; 및 다운로드된 실사 영상 컨텐츠에 기초하여 상기 가상현실 어트랙션이 구동되는 단계가 동시에 이루어질 수 있다.
상기 컨텐츠 서버는 상기 실사 영상 컨텐츠에 부가 컨텐츠를 포함시켜 다운로드되도록 제공하고, 상기 가상현실 어트랙션은 상기 부가 컨텐츠가 상기 영상 컴포넌트을 통해 이용자에게 표시되도록 처리할 수 있다.
상기 어트랙션 구동 단계는, 상기 기계 컴포넌트을 통해 상기 이용자가 입력한 피드백 데이터에 기초하여, 상기 가상현실 어트랙션이 상기 메타 데이터에 기초한 상기 기계 컴포넌트의 움직임을 조절하고, 조절된 기계 컴포넌트의 움직임에 기초하여 상기 영상 컴포넌트에 표시되는 상기 영상 데이터를 조절하는 가상현실 조절 단계를 더 포함할 수 있다.
상기 어트랙션 구동 단계는, 상기 기계 컴포넌트을 통해 상기 이용자가 입력한 피드백 데이터와, 상기 가상현실 어트랙션이 상기 메타 데이터에 기초하여 구동될 상기 기계 컴포넌트의 움직임 데이터를 비교하고, 상기 비교에 기초하여 상기 이용자를 평가하고 그 평가결과를 상기 이용자에게 표시하는 평가 단계를 더 포함할 수 있다.
또한 본 발명의 다른 양상에 따라 제공되는 가상현실 어트랙션 제어 시스템은, 위에 기재된 가상현실 어트랙션 제어 방법들 중 어느 하나가 수행되도록 구성된 가상현실 어트랙션 시스템에 관한 것이다.
본 발명에 따르면, 가상현실 어트랙션의 기계적 구동 및 영상 표시를 위한 제어 컨텐츠를 누구나 쉽게 제작할 수 있게 하며, 또한 다양한 방식으로 공유할 수 있도록 한다는 독특한 효과가 제공된다.
더 상세하게는 본 발명에 따르면 일반 사용자가 이동 단말기를 이용하여 생성한 실사 영상데이터를 가상현실 체험용 어트랙션 장치의 제어 컨텐츠로 제공함으로써, 현실에서 촬영된 실사 영상에 기초한 제어 컨텐츠가 쉽게 제작되고 다양한 방식으로 공유될 수 있도록 한다.
구체적으로 본 발명에 따르면, 일반 사용자가 예컨대 스마트폰에 어트랙션 제어 컨텐츠로서 영상 컨텐츠를 생성할 수 있도록 하는 앱을 설치함으로써, 스마트폰에 내장된 카메라 또는 외부 카메라를 이용하여 촬영된 실사 영상 데이터에 스마트폰에 내장/외장된 센서(예컨대, GPS 센서, 근접센서, 모션센서, 기압센서, 지자기 센서 등)들로부터 얻을 수 있는 시간, 위치, 각도, 기울기, 자세, 가속도, 속도, 위도, 방위를 나타내는 값 중 적어도 일부 값을 포함하는 메타데이터를 결합한 실사 영상 컨텐츠를 생성할 수 있고, 이렇게 생성된 실사 영상 컨텐츠를 가상현실 어트랙션의 제어 컨텐츠로 제공할 수 있다. 이와 같이 본 발명은 전문가가 아닌 일반적인 사용자라 하더라도 쉽게 가상현실 어트랙션의 제어 컨텐츠를 제작할 수 있게 한다.
나아가 본 발명에 따르면, 일반 사용자가 제작한 실사 영상 컨텐츠를 예컨대 인터넷과 같은 네트워크상에 운영되는 웹서버의 형태인 컨텐츠 서버로 업로드하거나 이 컨텐츠 서버로부터 다운로드하도록 제공한다. 이와 같이 본 발명은 가상현실 어트랙션을 위한 다양한 제어 컨텐츠가 쉽게 제작될 뿐만 아니라, 쉽게 공유되고 나아가 다양한 방식으로 공유될 수 있도록 한다.
도 1은 통상적인 가상현실 어트랙션의 구성이 도시된 개략도.
도 2는 본 발명의 실시예에 따른 가상현실 어트랙션 시스템의 전체적인 구성이 예시된 개략도.
도 3은 본 발명의 실시예에 따른 가상현실 어트랙션 시스템에서, 제어 컨텐츠를 제작하기 위한 이동단말기의 구성을 예시하는 개략도.
도 4는 본 발명의 실시예에 따라 이동단말기측에서 제어 컨텐츠로서 실사 영상 컨텐츠가 제작되는 과정을 설명하기 위한 개략도.
도 5는 본 발명의 실시예에 따라 제작된 실사 영상 컨텐츠가 영상 데이터와 메타 데이터를 포함하는 구성을 예시하는 개략도.
도 6은 본 발명의 실시예에 따른 가상현실 어트랙션 제어 시스템에서, 가상현실 어트랙션 장치의 구성을 예시하는 개략도.
도 7은 본 발명의 실시예에 따른 가상현실 어트랙션 제어 방법의 흐름이 예시된 흐름도.
도 8은 본 발명의 실시예에 따라 제공되는 실사 영상 컨텐츠를 공유하는 예로서, 특히 하나의 가상현실 어트랙션에서 컨텐츠 서버로부터 다수의 실사 영상 컨텐츠들 중 원하는 컨텐츠를 선택하여 공유하는 예를 보여주는 개략도.
도 9는 본 발명의 실시예에 따라 제공되는 영상 컨텐츠를 공유하는 예로서, 특히 다수의 가상현실 어트랙션에서 컨텐츠 서버를 통해 하나의 영상 컨텐츠를 동시에 공유하는 예를 보여주는 개략도.
이하, 첨부된 도면을 참조하여 본 발명을 구체적인 예를 들어 설명하면 다음과 같다.
도 2는 본 발명의 실시예에 따른 가상현실 어트랙션 시스템의 전체적인 구성이 예시된 개략도이다.
도 2를 참조하면, 가상현실 어트랙션 시스템(200)은 이동단말기(210), 가상현실 어트랙션(230), 및 컨텐츠 서버(250)를 포함한다. 본 발명에 따라 가상현실 어트랙션 시스템(200)은, 일반 사용자가 이동단말기(210)를 이용하여 실사 촬영한 영상 컨텐츠를 이용하여 가상현실 어트랙션(230)를 제어하는 시스템이다.
이동단말기(210)는, 예컨대 사용자가 소지하거나 착용하는 스마트폰, 스마트 와치, 스마트 글라스 등의 단말기와 같이, 프로세서, 메모리, 컴퓨팅 소프트웨어, 통신모듈, 외장 메모리 연결 포트 등을 구비한 휴대용 컴퓨팅 장치일 수 있다. 특히 이 경우, 이동단말기(210)는 그 프로세서에 의해 실행되면, 실사 영상 컨텐츠를 생성하는 동작이 수행되도록 코딩된 가상현실 어트랙션 제어용 실사 영상 컨텐츠 생성용 컴퓨터-실행가능 애플리케이션(이하, 단순하게 '컨텐츠생성 앱'이라 지칭한다)이 설치될 수 있다.
이 예에서, 컨텐츠생성 앱은 이동단말기(210)의 촬영부(216)에 의해 촬영된 실사 영상 데이터에 메타 데이터를 결합함으로써, 가상현실 어트랙션 제어용 실사 영상 컨텐츠를 생성한다. 여기서 메타 데이터는, 시간 센서(212) 및 위치 센서(214)로부터 촬영부(216)에 의해 실사 영상 데이터가 촬영된 시점의 시간과 및 이동단말기의 위치를 나타내는 데이터에 기초하여 생성된 데이터일 수 있다. 이러한 메타 데이터는 시간 값, 예컨대 3차원 좌표(위도, 경도 및 고도) 내의 위치 값, 기울기나 경사도와 같은 이동단말기의 자세를 나타내는 값, 이동 단말기의 이동 속도를 나타내는 값, 이동 단말기의 가속도를 나타내는 값 등을 더 포함할 수 있다.
도시된 예에서, 이동단말기(210)는 예컨대 스마트폰에 내장된 카메라 또는 케이블이나 블루투스와 같은 근거리 무선 통신망으로 연결된 외장 카메라와 같은 촬영부(216)와, 카메라에 의해 영상이 촬영된 때의 시간과 이동단말기의 위치를 감지하는 센서 시간 센서 및 위치 센서(212, 214)를 포함한다. 위치 센서(214)는 예컨대 글로벌 포지셔닝 시스템(GPS) 위성으로부터 위치 정보를 수신하여 현재 이동단말기의 위치를 계산하는 GPS모듈을 포함할 수 있다.
가상현실 어트랙션(230)은, 이용자가 탑승하는 기계 컴포넌트(234)과 이용자에게 영상 데이터를 제공하기 위한 영상 컴포넌트(236), 및 이들을 제어하는 제어부(232)를 포함한다. 제어부(232)는 기계 컴포넌트(234)의 움직임을 제어하고 영상 컴포넌트(236)을 통해 영상을 디스플레이하도록 제어함으로써 기계 컴포넌트(234)에 탑승하고 영상 컴포넌트(236)을 통해 영상을 시청하는 이용자에게 가상현실을 체험할 수 있도록 한다.
특히 본 발명에 따라, 가상현실 어트랙션(230)의 제어부(232)는, 이동 단말기(210)에 의해 제작된 실사 영상 컨텐츠를 입력받고, 이를 기초로 제어 동작을 수행할 수 있다. 다시 말해서, 제어부(232)는 한편으로 실사 영상 컨텐츠 중에 포함되어 있는 메타 데이터에 기초하여 기계 컴포넌트(234)의 움직임을 구동하고, 다른 한편으로 실사 영상 컨텐츠 중에 포함되어 있는 실사 영상 데이터를 영상 컴포넌트(236)을 통해 디스플레이되도록 제어한다. 기계 컴포넌트(234)의 움직임과 영상 컴포넌트(236)을 통해 디스플레이되는 실사 영상 데이터는, 메타 데이터 내에 포함된 시간 데이터에 기초하여 동기화될 수 있다.
도면에서 이동단말기(210)로부터 가상현실 어트랙션(230)으로 직접 향하는 화살표는, 이동단말기(210)에서 제작된 실사 영상 컨텐츠가 가상현실 어트랙션(230)으로 직접 입력되는 것을 나타낸다. 예컨대, 사용자는 자신의 이동단말기(210)를 이용하여 촬영하여 제작한 실사 영상 컨텐츠를 이동단말기(210) 내의 스토리지에 저장하고 있다가, 예컨대 유선 케이블로 연결한 상태로, 또는 범용직렬버스(USB) 메모리 카드를 이용하여, 또는 블루투스와 같은 근거리 무선 통신을 이용하여, 가상현실 어트랙션(230)으로 전송할 수 있다.
이러한 시스템에 따르면, 특별한 지식이나 경험이 없는 일반 사람들 누구나 쉽게 가상현실 어트랙션(230)의 제어 컨텐츠를 제공할 수 있다는 장점이 제공된다. 예를 들어, 사용자는 360도 영상 촬영이 가능한 카메라를 스마트폰에 연결한 상태로 머리에 쓰거나 자전거에 부착한 상태에서, 자전거를 타고 이동하면서 자전거 전방에서 시시각각 변화하는 풍경을 소정 시간동안 연속 촬영함으로써 실사 영상 컨텐츠를 제작할 수 있고, 이렇게 제작한 실사 영상 컨텐츠를 가상현실 어트랙션(230)의 제어를 위한 제어 컨텐츠로서 제공할 수 있다.
또한 본 발명의 실시예에 따라, 사용자가 이동단말기(210)를 이용하여 제작한 실사 영상 컨텐츠는, 예컨대 인터넷의 웹 환경에서 동작하는 웹서버 형태의 컨텐츠 서버(250)를 경유하여 가상현실 어트랙션(230)으로 제공될 수 있다. 이 경우 컨텐츠 서버(250)는 다수의 이동단말기(210)와 다수의 가상현실 어트랙션(230)에 의해 접속되고 가상현실 어트랙션(230)의 제어를 위해 사용될 수 있는 제어 컨텐츠를 업로드하고 다운로드할 수 있도록 제공할 수 있다.
이를 위해, 예컨대 컨텐츠 서버(250)는 컨텐츠 수신부(252)를 통해 업로드된 실사 영상 컨텐츠를 가상현실 어트랙션의 제어 컨텐츠로서 스토리지(256)에 저장할 수 있다. 이 경우, 컨텐츠 수신부(252)는 업로드된 실사 영상 컨텐츠를 소정의 태그 정보와 함께 저장함으로써, 검색이 용이하도록 할 수 있다. 태그 정보로는 예컨대 자전거, 스키, 익스트림 스포츠, 자동차 경주... 등등과 같이 어트랙션 장치의 종류에 따라 적절한 컨텐츠가 선택될 수 있도록 돕는 단어이거나, 제작자의 식별정보 등이 포함될 수 있다.
또한 컨텐츠 서버(250)는 컨텐츠 제공부(254)를 통해 스토리지(256)에 저장되어 있는 실사 영상 컨텐츠를 가상현실 어트랙션(230)의 제어 컨텐츠로서 가상현실 어트랙션(230)으로 다운로드되도록 제공할 수 있다. 여기서, 컨텐츠 제공부(256)는 다운로드될 실사 영상 컨텐츠에 소정의 부가 컨텐츠(예컨대, 광고용 컨텐츠)를 추가할 수 있다.
비록 도면에서는, 가상현실 어트랙션(230)이 직접 컨텐츠 서버(250)로부터 실사 영상 컨텐츠를 다운로드받는 것으로 표현되어 있으나, 이것은 설명을 단순하게 하기 위한 것에 불과하며, 본 발명이 이러한 형태의 다운로드만으로 제한되는 것은 아니다. 예컨대, 실사 영상 컨텐츠는 컨텐츠 서버(256)로부터 가상현실 어트랙션(230)을 이용하고자 하는 이용자의 이동단말기(210)로 다운로드된 후, 그 이동단말기(210)로부터 가상현실 어트랙션(230)으로 전송될 수도 있다.
이러한 시스템에 따르면, 특별한 지식이나 경험이 없는 일반 사람들 누구나 쉽게 가상현실 어트랙션(230)의 제어 컨텐츠를 제작할 수 있을 뿐만 아니라, 이를 누구나 접근가능한 컨텐츠 서버(250)를 통해 다양한 방식으로 공유할 수 있다는 장점이 제공된다. 예를 들어, 사용자는 자동차 경주에 참여한 선수로서 차량에 이동단말기의 카메라를 부착한 상태에서, 특정 자동차 경주 동안에 자동자 전방에서 시시각각 변화하는 풍경을 소정 시간동안 연속 촬영함으로써 실사 영상 컨텐츠를 제작할 수 있다. 그런 다음 사용자는 이렇게 제작한 실사 영상 컨텐츠를 컨텐츠 서버(250)에 '자동차 경주'라는 태그 정보와 함께 업로드할 수 있다. 그런 다음, 자동차 경주와 관련된 가상현실을 체험할 수 있도록 구성된 가상현실 어트랙션(230)의 이용자들이 컨텐츠 서버(250)에 접속한 다음 '자동자 경주'라는 태그 정보를 이용하여 원하는 실사 영상 컨텐츠를 검색하여 다운로드받아, 제어 컨텐츠로서 이용할 수 있다.
나아가 이러한 시스템에 따르면, 가상현실 라이브 방송도 가능하다. 예컨대, 자동자 경주에 참가하고 있는 사용자가 실시간으로 촬영 중인 실사 영상 컨텐츠를 컨텐츠 서버(250)로 스트리밍 방식으로 업로드하면서 가상현실 체험용 방송을 할 수 있다. 이와 동시에 이 가상현실 체험용 방송을 수신하는 다수의 자동차 경주 체험용 가상현실 어트랙션(230)의 이용자들이 스트리밍 방식으로 해당 실사 영상 컨텐츠를 컨텐츠 서버(250)로부터 다운로드 받아 제어 컨텐츠로 이용함으로써, 다수의 이용자들이 한 사람의 자동차 선수의 자동차 경주를 실시간으로 체험할 수 있다.
이와 같이 본 발명에 따르면, 누구나 현실에서 촬영된 실사 영상에 기초하여 가상현실 어트랙션의 제어 컨텐츠를 쉽게 제작할 수 있고, 또한 다양한 방식으로 공유될 수 있도록 한다는 장점이 제공된다.
도 3은 본 발명의 실시예에 따른 가상현실 어트랙션 시스템에서, 제어 컨텐츠를 제작하기 위한 이동단말기의 구성을 예시하는 개략도이다.
도 3을 참조하면, 이동단말기(310)는 스마트폰(312), 케이블로 외장 연결된 360도 영상 촬영용 카메라(314), 및 애플리케이션 제공 서버에서 다운로드하여 설치한 컨텐츠생성 용 앱을 포함한다. 근래의 스마트폰(312)은 프로세서, 대용량 메모리 카드, 터치 스크린, 고성능 카메라, 시간 및 위치 센서, 자이로 센서, GPS 모듈, 블루투스 송수신 모듈, 무선 인터넷 통신 모듈 등의 다양한 기능을 구현하고 있는 고성능의 이동형 컴퓨팅 장치이다. 이러한 스마트폰(312)은 SD 메모리 카드나 USB 메모리 장치와 같은 이동형 메모리 장치를 연결할 수 있고, 케이블에 의해 다른 컴퓨팅 장치와 연결되면 데이터를 주고받을 수도 있다.
본 발명에 따르면, 사용자는 카메라에 의해 촬영된 영상 데이터뿐만 아니라, 영상데이터와 연관된 시간, 위치, 속도, 가속도, 자세 등의 메타 데이터를 포함하는 실사 영상 컨텐츠를 생성하도록 구성된 컨텐츠생성 앱을 스마트폰에 설치하는 것만으로도, 별도의 고가의 특별한 장비없이, 쉽게 가상현실 어트랙션을 제어할 수 있는 제어 컨텐츠를 제작할 수 있게 된다. 이 경우, 컨텐츠생성 앱은 예컨대 도 2에 예시된 컨텐츠 서버에서 제공할 수도 있으며, 예컨대 구글 플레이와 같은 기존의 스마트폰 전용 앱 다운로드 서버에서 제공할 수도 있다.
도 4는 본 발명의 실시예에 따라 이동단말기측에서 제어 컨텐츠로서 실사 영상 컨텐츠가 제작되는 과정을 설명하기 위한 개략도이다.
도 4를 참조하면, 도시된 예에서, 이동 단말기(410)는 시간 센서(412), 위치 센서(414), 촬영부(416), 컨텐츠생성 앱(411), 통신 모듈(415), 스토리지(413)를 포함한다. 이러한 구성은 도 3을 참조하여 설명한 바와 같이, 기존의 스마트폰을 이용하여 쉽게 구현될 수 있다.
컨텐츠생성 앱(411)은 이동단말기(410)의 프로세서에 의해 실행되면, 촬영부(416)에 의해 생성된 영상데이터에 메타데이터를 결합하여 실사 영상 컨텐츠를 생성한다. 메타데이터는 시간센서(412)와 위치센서(414)에 의해 감지된 시간, 좌표, 자세와 관련된 데이터를 포함하거나, 이들을 이용하여 계산한 속도, 가속도 등의 추가 데이터를 포함할 수 있다. 생성된 실사 영상 컨텐츠는, 생성과 동시에, 통신 모듈(415)을 통해 컨텐츠 서버로 전송될 수 있다. 다른 방식으로 실사 영상 컨텐츠는 일단 스토리지(413)에 저장된 후, 나중에 컨텐츠 서버로 업로드될 수 있다.
도시된 예에서, 비록 센서로서 시간 및 위치를 감지하는 센서들만이 도시되었으나, 이는 단지 예시에 불과하며, 다양한 센서들이 이용될 수 있음은 자명하다. 또한 센서들이 촬영부(416)와 별개로 도시되어 있으나, 이는 단지 개념적인 구별을 위한 것에 불과하며, 물리적으로는 카메라 장치 내에 센서가 내장된 경우도 있을 수 있다.
도 5는 본 발명의 실시예에 따라 제작된 실사 영상 컨텐츠가 영상 데이터와 메타 데이터를 포함하는 구성을 예시하는 개략도이다.
도 5를 참조하면, 본 발명에 따른 실사 영상 컨텐츠(500)의 구성요소인 영상 데이터(510)와 메타데이터(530)를 보여준다. 도시된 예에서 메타데이터(530)는 시간값(532), 속도값(534), 자세값(536)을 포함하는 것으로 도시되어 있으나, 이는 단지 예시적인 것에 불과하며, 메타데이터로서 기계적인 구동에 사용될 수 있는 다른 값들도 포함될 수 있음은 자명하다.
여기서, 영상 데이터(510)는 예컨대 실사 동영상 데이터로서 예컨대 1초에 24개의 정지 화상 프레임 또는 30개의 정지 화상 프레임으로 구성되는 동영상일 수 있다. 본 발명에 따라, 실제로 촬영한 영상인 조건을 충족한다면, 영상 데이터(510)는 특별히 제한되지 않으며, 예컨대 아날로그 영상 및 디지털 영상을 모두 포함할 수 있고, 정지영상, 동영상, 2차원 영상, 3차원 영상, 360도 영상도 가능하다.
한편, 본 발명의 실시예에 따라, 메타데이터(530)에 포함되는 값들은, 대응하는 영상 데이터(510)가 촬영된 시점의 시간값, 영상 데이터가 촬영된 시점의 이동단말기의 위치, 순간 속도, 순간 가속도, 순간 자세를 나타내는 값들이 포함될 수 있다. 이와 같이 메타데이터(530)는 영상 데이터(510)가 촬영된 시점에 센서에 의해 감지되거나, 이들 감지된 값들에 의해 계산된 값을 포함하는 조건을 충족한다면, 특별히 제한되지 않는다. 다시 말해서, 메타데이터(530)는 시간 값에 의해 영상 데이터(510)와 동기화된 이동단말기의 좌표(또는 위치) 관련 데이터라고도 할 수 있다.
도 6은 본 발명의 실시예에 따른 가상현실 어트랙션 시스템에서, 가상현실 어트랙션의 구성을 예시하는 개략도이다.
도 6을 참조하면, 도 2에서 간략하게 도시된 가상현실 어트랙션(230)을 더 상세하게 보여주기 위해, 가상현실 어트랙션(600)의 상세한 구성이 예시된다. 도시된 예에서, 가상현실 어트랙션(600)은 어트랙션 제어부(610), 기계 컴포넌트(620), 영상 컴포넌트(630), 제어 컨텐츠 수신부(640), 레벨 설정부(650), 평가부(660), 로컬 스토리지(670), 리무버블 스토리지(680), 피드백 라인(690)을 포함한다.
어트랙션 제어부(610)는 본 발명에 따라 도 5에서 설명한 바와 같은 실사 영상 컨텐츠를 제어 컨텐츠로서 이용하여 기계 컴포넌트(620)의 움직임을 제어하고, 이러한 움직임과 동기화된 영상 데이터를 영상 컴포넌트(630)를 통해 디스플레이되도록 제어한다.
제어 컨텐츠 수신부(640)는 예컨대 도 2에 도시된 컨텐츠 서버로부터 실사 영상 컨텐츠를 제어 컨텐츠로서 수신하는 통신 모듈일 수 있다. 한편, 제어 컨텐츠는 로컬 스토리지(670)에 저장되어 있다가 어트랙션 제어부(610)에 의해 읽어들여질 수 있다. 예컨대, 어트랙션 제어부(610)는 제어 컨텐츠 수신부(640)를 통해 수신되거나 또는 예컨대 USB 메모리 카드와 같은 리무버블 스토리지(680)를 통해 입력된 실사 영상 컨텐츠를 로컬 스토리지(670)에 저장할 수 있다. 로컬 스토리지(670)에 저장된 실사 영상 컨텐츠는, 예컨대 가상현실 어트랙션(600)의 이용자가 입력하는 명령에 따라, 컨텐츠 서버로 업로드될 수도 있고, 리무버블 스토리지(680)로 복사될 수도 있으며, 또는 기계 컴포넌트(620)와 영상 컴포넌트(630)의 제어를 위해 이용될 수도 있다.
도시된 예에서 가상현실 어트랙션(600)은 기계 컴포넌트(620)로부터 이용자의 피드백 명령을 입력받을 수 있는 피드백 라인(690)을 포함한다. 예컨대, 가상현실 어트랙션(600)이 자전거 관련 가상현실을 체험하는 장치인 경우, 기계 컴포넌트(620)는 이용자가 탑승한 상태로 방향을 조작할 수 있는 조향장치 즉, 핸들과 속도를 조작할 수 있는 페달을 포함할 수 있다. 이 경우, 사용자가 핸들과 페달을 조작함에 따라 생성되는 소정의 피드백 신호는, 피드백 라인(690)을 통해 기계 컴포넌트(620)로부터 어트랙션 제어부(610)로 전달될 수 있다. 이 피드백 신호는 어트랙션 제어부(610)에서 기계 컴포넌트(620)의 움직임과 영상 컴포넌트(630)에서 디스플레이되는 영상을 제어할 수 있게 함으로써, 이용자와 상호작용이 가능한 가상현실 체험을 제공할 수 있게 한다. 다시 말해서, 이용자의 피드백 신호에 따라 어트랙션 제어부(610)가 순간 순간 가상현실을 이용자의 수준에 맞추어 조절할 수 있다.
레벨 설정부(650)는 이용자가 체험하는 가상현실의 수준을 미리 적절한 수준으로 제한할 수 있게 한다. 예컨대, 스키 관련 가상현실의 경우, 제어 컨텐츠로서 중급 수준의 사용자가 제작한 실사 영상 컨텐츠를 선택한다고 하더라도, 실제로 가상현실 어트랙션(600)의 이용자는, 가상현실의 체험 수준을, 레벨 설정부(650)에서, 초급레벨 또는 고급레벨로 설정하는 것이 가능하다. 이렇게 레벨이 설정되면, 어트랙션 제어부(610)는 선택한 중급 정도의 실사 영상 컨텐츠 중의 데이터 중 예컨대 속도를 전체적으로 느리게 또는 더 빠르게 전체적으로 조절함으로써, 기계 컴포넌트(620)의 움직임을 초급 레벨로 또는 고급 레벨로 제어하고, 동시에 영상 컴포넌트(630)에서 디스플레이되는 영상의 속도도 마찬가지로 초급 또는 고급 레벨로 조절할 수 있다.
또한 도시된 예에서, 가상현실 어트랙션(600)은 평가부(660)를 더 포함한다. 평가부(660)는 사용자의 피드백 신호에 따라 기계 컴포넌트(620)의 움직임이 조절되는 상태와 조절되기 전에 기계 컴포넌트(620)의 움직임을 비교함으로써, 이용자의 움직임을 평가하여 점수를 매길 수 있게 한다.
도 7은 본 발명의 실시예에 따른 가상현실 어트랙션 제어 방법의 흐름이 예시된 흐름도이다.
도 7을 참조하면, 본 발명의 일 예에 따라, 가상현실 어트랙션 제어 방법(700)은 먼저 사용자 이동 단말기에서 실사 영상 컨텐츠가 생성된다(701). 생성되는 실사 영상 컨텐츠는 실사 영상 데이터 뿐만 아니라 메타 데이터를 포함한다.
이러한 실시 영상 컨텐츠의 생성 또는 제작은, 예컨대 사용자가 자신의 스마트폰에 본 발명에 따라 메타데이터와 영상데이터를 결합시킬 수 있는 컨텐츠생성 앱을 설치하고 실행시킨 상태에서, 예컨대 스마트폰에 내장된 카메라를 이용하여 예컨대 스키를 타는 동안에 전방의 변화하는 풍광을 촬영함으로써 쉽게 이루어질 수 있다.
사용자는 예컨대 무선 인터넷을 통해 컨텐츠 서버에 접속하여 자신이 제작한 실사 영상 컨텐츠를 특정 카테고리의 가상현실을 체험할 수 있는 가상현실 어트랙션을 제어하는 제어 컨텐츠로서 업로드하여 저장할 수 있다(703). 이러한 컨텐츠 서버는 예컨대 유튜브(www.youtube.com)와 같이 사용자 제작형 컨텐츠(UCC, User-Created Contents)를 공유하는 사이트일 수 있다.
그러면, 컨텐츠 서버는 업로드되고 저장되어 있는 실사 영상 컨텐츠를 검색에 제공할 수 있다(705). 이때, 컨텐츠 서버는 사용자가 업로드된 각각의 실사 영상 컨텐츠에 부가 컨텐츠(예컨대, 광고 컨텐츠)를 포함시킬 수 있다. 이러한 광고 컨텐츠는 검색시에만 표시될 수도 있고, 실사 영상 컨텐츠와 함께 제어 컨텐츠의 일부로서 다운로드되도록 할 수도 있다.
컨텐츠 서버에서 원하는 실사 영상 컨텐츠를 검색한 이용자는, 제어 컨텐츠로 이용하기 위해 가상현실 어트랙션으로 실사 영상 컨텐츠를 다운로드할 수 있다(707).
그러면, 가상현실 어트랙션은 다운로드된 실사 영상 컨텐츠로부터 영상 데이터와 메타데이터를 추출하고(709), 추출된 메타데이터에 기초하여 기계 컴포넌트의 움직임을 제어하고, 추출된 영상 데이터를 영상 컴포넌트를 통해 디스플레이할 수 있다(711). 이 경우, 광고 컨텐츠는 영상 데이터의 일부로서 포함될 수 있으며, 이에 따라 영상 컴포넌트를 통해 영상 데이터와 함께 디스플레이될 수 있다.
도 8은 본 발명의 실시예에 따라 제공되는 실사 영상 컨텐츠를 공유하는 예를 도시한다.
도 8을 참조하면, 도시된 예(800)에서, 특히 하나의 가상현실 어트랙션(830)의 제어부(832)는 컨텐츠 서버(850)에 저장되어 있는 다수의 실사 영상 컨텐츠(UCC1, UCC2, UCC3, ...)로부터 원하는 컨텐츠 하나를 선택하여 다운로드하고, 기계 컴포넌트(834)를 제어하고, 이용자가 착용한 HMD(836)에 영상을 디스플레이한다. 이 예는 특히, 이용자가 운동을 위해 자전거를 타는 가상현실을 체험하게 하는 예이다. 도시된 예에 따라, 이용자는 시골길, 도시, 바닷가 등의 다양한 풍광 중 하나를 선택하여 가상현실로서 즐기면서 운동을 할 수 있다는 장점이 제공된다.
한편 도 9는 본 발명의 실시예에 따라 제공되는 영상 컨텐츠를 공유하는 예(900)를 도시한다.
도 9를 참조하면, 특히 다수의 가상현실 어트랙션(ATR01~ATR04,...)(930)에서 컨텐츠 서버(950)를 통해 하나의 실사 영상 컨텐츠(UCC0)를 동시에 공유하는 예를 보여준다. 이 경우, 실사 영상 컨텐츠(UCC0)가 컨텐츠 서버(950)에 스트리밍 방식으로 제작과 동시에 업로드될 수 있으며, 업로드와 동시에 스트리밍 방식으로 컨텐츠 서버(950)로부터 다수의 가상현실 어트랙션(ATR01~ATR04,...)(930)로 다운로드될 수 있다. 이러한 공유는 일종의 가상현실 라이브 방송의 형태를 보여준다.
이상에서는 본 발명을 구체적인 실시예들을 통하여 설명하였으나, 당업자라면 본 명세서에서 설명된 여러 가지 특징을 참조하고 조합하여 다양하고 변형된 시공법이 가능하다. 따라서 본 발명의 범위가 설명된 실시예에만 국한되는 것이 아니라, 첨부된 청구범위에 의하여 해석되어야 함을 지적해둔다.

Claims (10)

  1. 이용자가 탑승하는 기계 컴포넌트의 움직임과 상기 이용자에게 영상 컴포넌트을 통해 표시되는 영상 데이터에 기초하여 상기 이용자에게 가상현실을 체험할 수 있도록 하는 가상현실 어트랙션(vertual reality attraction)의 제어 방법으로서,
    사용자의 이동 단말기에서 촬영된 실사 영상데이터와, 적어도 상기 이동 단말기가 상기 실사 영상데이터를 촬영한 시점의 시간 데이터, 상기 이동 단말기의 위치 데이터를 포함하는 메타데이터를 포함하는 실사 영상 컨텐츠를 생성하는 실사 영상 컨텐츠 제작 단계;
    생성된 실사 영상 컨텐츠가 상기 이동 단말기로부터, 상기 이동단말기와 상기 가상현실 어트랙션 둘 모두 통신망을 통해 접속하면 상기 실사 영상 컨텐츠를 상기 통신망을 통해 업로드하거나 다운로드할 수 있는 서비스를 제공하는 컨텐츠 서버를 경유하여, 제어 컨텐츠로서 상기 가상현실 어트랙션에서 수신되는 제어 컨텐츠 입력 단계; 및
    상기 가상현실 어트랙션은, 상기 입력된 실사 영상 컨텐츠의 메타 데이터에 기초하여 상기 기계 컴포넌트의 움직임을 구동하고, 상기 입력된 실사 영상 컨텐츠의 실사 영상 데이터를 상기 메타 데이터 내에 포함된 시간 데이터에 기초하여 동기화시켜 상기 영상 컴포넌트에 표시하도록 제어하는 어트랙션 구동 단계를
    포함하는 것을 특징으로 하는 가상현실 어트랙션 제어 방법.
  2. 제 1 항에 있어서,
    상기 이동단말기는 프로세서, 메모리, 카메라, 시간 감지 센서 및 위치 감지 센서를 포함하고;
    상기 이동단말기에는, 상기 카메라에 의해 촬영된 실사 영상 데이터, 및 적어도 상기 시간 감지 센서 및 위치 감지 센서로부터 상기 실사 영상 데이터가 촬영된 시점의 시간 및 위치 데이터를 포함하여 생성된 메타 데이터를 결합하여 상기 실사 영상 컨텐츠를 생성하는 동작이 상기 프로세서에 의해 수행되도록 코딩된 가상현실 어트랙션 제어용 실사 영상 컨텐츠 생성용 컴퓨터-실행가능 애플리케이션이 설치되고; 또한
    상기 이동단말기는, 상기 애플리케이션이 상기 프로세서에 의해 수행될 때 생성된 상기 실사 영상 컨텐츠를 저장하는 스토리지, 또는 상기 실사 영상 컨텐츠를 외부 장치로 전송하는 송신 모듈을 포함하는
    포함하는 것을 특징으로 하는 가상현실 어트랙션 제어 방법.
  3. 제 1 항에 있어서,
    상기 메타데이터는, 상기 시간 데이터 및 위치 데이터 이외에, 상기 이동단말기의 자세를 나타내는 자세 데이터, 및 상기 이동단말기의 움직임을 나타내는 가속도 또는 속도 중 적어도 하나를 더 포함한 것을 특징으로 하는 가상현실 어트랙션의 제어 방법.
  4. 삭제
  5. 삭제
  6. 제 1 항에 있어서,
    상기 이동단말기에서 수행되는 상기 실사 영상 컨텐츠 제작 단계와, 제작된 실사 영상 컨텐츠가 상기 컨텐츠 서버로 업로드되는 단계와, 업로드된 실사 영상 컨텐츠가 상기 컨텐츠 서버로부터 상기 가상현실 어트랙션으로 다운로드되는 단계; 및 다운로드된 실사 영상 컨텐츠에 기초하여 상기 가상현실 어트랙션이 구동되는 단계가 실시간으로 이루어지는 것을 특징으로 하는 가상현실 어트랙션 제어 방법.
  7. 제 1 항에 있어서,
    상기 컨텐츠 서버는 상기 실사 영상 컨텐츠에 부가 컨텐츠를 포함시켜 다운로드되도록 제공하고, 상기 가상현실 어트랙션은 상기 부가 컨텐츠가 상기 영상 컴포넌트을 통해 이용자에게 표시되도록 처리하는 것을 특징으로 하는 가상현실 어트랙션 제어 방법.
  8. 제 1 항에 있어서,
    상기 어트랙션 구동 단계는, 상기 기계 컴포넌트을 통해 상기 이용자가 입력한 피드백 데이터에 기초하여, 상기 가상현실 어트랙션이 상기 메타 데이터에 기초한 상기 기계 컴포넌트의 움직임을 조절하고, 조절된 기계 컴포넌트의 움직임에 기초하여 상기 영상 컴포넌트에 표시되는 상기 영상 데이터를 조절하는 가상현실 조절 단계를 더 포함하는 것을 특징으로 하는 가상현실 어트랙션 제어 방법.
  9. 제 1 항에 있어서,
    상기 어트랙션 구동 단계는, 상기 기계 컴포넌트을 통해 상기 이용자가 입력한 피드백 데이터와, 상기 가상현실 어트랙션이 상기 메타 데이터에 기초하여 구동될 상기 기계 컴포넌트의 움직임 데이터를 비교하고, 상기 비교에 기초하여 상기 이용자를 평가하고 그 평가결과를 상기 이용자에게 표시하는 평가 단계를 더 포함하는 것을 특징으로 하는 가상현실 어트랙션 제어 방법.
  10. 제 1 항 내지 제 3 항 및 제 6 항 내지 제 9 항 중 어느 한 항에 기재된 가상현실 어트랙션 제어 방법이 수행되는 것을 특징으로 하는 가상현실 어트랙션 시스템.
KR1020160105991A 2016-08-22 2016-08-22 가상현실 어트랙션 제어 방법 및 시스템 KR101748401B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020160105991A KR101748401B1 (ko) 2016-08-22 2016-08-22 가상현실 어트랙션 제어 방법 및 시스템
CN201780051508.6A CN109690448A (zh) 2016-08-22 2017-08-21 虚拟现实娱乐设备控制方法以及***
US16/327,785 US10617963B2 (en) 2016-08-22 2017-08-21 Method and system for controlling virtual reality attraction
PCT/KR2017/009093 WO2018038485A1 (ko) 2016-08-22 2017-08-21 가상현실 어트랙션 제어 방법 및 시스템
JP2019532905A JP2019535090A (ja) 2016-08-22 2017-08-21 仮想現実アトラクション制御方法及びシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160105991A KR101748401B1 (ko) 2016-08-22 2016-08-22 가상현실 어트랙션 제어 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101748401B1 true KR101748401B1 (ko) 2017-06-16

Family

ID=59278561

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160105991A KR101748401B1 (ko) 2016-08-22 2016-08-22 가상현실 어트랙션 제어 방법 및 시스템

Country Status (5)

Country Link
US (1) US10617963B2 (ko)
JP (1) JP2019535090A (ko)
KR (1) KR101748401B1 (ko)
CN (1) CN109690448A (ko)
WO (1) WO2018038485A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019098450A1 (ko) * 2017-11-15 2019-05-23 한국과학기술원 이동형 디바이스를 이용한 사용자 시선 유도 시스템 및 그 방법
KR101968043B1 (ko) 2018-05-02 2019-08-28 브이알카버 주식회사 다중체험이 가능한 가상현실 인터랙션 모듈시스템
WO2020027531A1 (ko) * 2018-07-31 2020-02-06 브이알카버 주식회사 실사 컨텐츠에 기초한 어트랙션 레이싱 가상체험 방법 및 시스템
KR20200070548A (ko) 2018-12-10 2020-06-18 강두환 다중체험이 가능한 가상현실 인터랙션 모듈시스템
JP2020144332A (ja) * 2019-03-08 2020-09-10 トヨタ自動車株式会社 仮想現実システムおよび仮想現実方法
KR102165026B1 (ko) * 2019-04-11 2020-10-13 주식회사 인솔엠앤티 360도 ar 입체영상 체험 시스템
KR20200119931A (ko) 2019-04-01 2020-10-21 현대자동차주식회사 차량을 이용한 4차원 효과 제공 장치 및 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10554883B2 (en) * 2018-03-30 2020-02-04 Ricoh Company, Ltd. VR system, communication method, and non-transitory computer-readable medium
US11318607B2 (en) * 2019-01-04 2022-05-03 Universal City Studios Llc Extended reality ride test assembly for amusement park system
WO2020163835A1 (en) * 2019-02-08 2020-08-13 Apple Inc. Method, user equipment and computer-readable medium for provisioning live media production service in 5g
US10828576B1 (en) * 2019-07-29 2020-11-10 Universal City Studios Llc Motion exaggerating virtual reality ride systems and methods
JP7380177B2 (ja) * 2019-12-19 2023-11-15 株式会社Jvcケンウッド バーチャル・リアリティ画像表示システム及びバーチャル・リアリティ画像表示システムの制御方法
CN111462338B (zh) * 2020-03-27 2024-03-22 咪咕视讯科技有限公司 一种图像处理方法、电子设备及计算机可读储介质
JP7210791B1 (ja) 2022-03-18 2023-01-23 株式会社WisH Lab 運動支援システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101131097B1 (ko) * 2011-09-21 2012-04-02 주식회사 미래엔에스 지리정보를 이용한 4d 기반의 체험형 패러글라이딩 시뮬레이션 게임 시스템 및 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1410858A (zh) * 2001-09-26 2003-04-16 黄宁海 可用于虚拟旅游的***和方法
TWI302667B (ko) * 2002-05-08 2008-11-01 Via Tech Inc
KR20080106676A (ko) * 2007-06-04 2008-12-09 주식회사 케이티 Vr 노래방 서비스 시스템 및 방법
US20090075741A1 (en) * 2007-09-19 2009-03-19 Morgan Gabriel Milligan Extreme sports vehicle stimulator trainer (E.S.V.S.T.)
US7837567B2 (en) * 2007-12-05 2010-11-23 Disney Enterprises, Inc. Method and system for customizing a theme park experience
KR101001617B1 (ko) 2007-12-17 2010-12-17 한국전자통신연구원 가상 모바일 정보기기의 사용성 평가 시스템 및 그 방법
CN101539804A (zh) * 2009-03-11 2009-09-23 上海大学 基于增强虚拟现实与异型屏的实时人机互动方法及***
CN102289470A (zh) * 2011-07-27 2011-12-21 苏州巴米特信息科技有限公司 一种网络旅游的方法
KR101280170B1 (ko) 2011-08-01 2013-06-28 김현아 이동 단말에서의 증강현실 기반 정보 처리 방법
TWM452792U (zh) * 2012-12-24 2013-05-11 Univ Southern Taiwan Sci & Tec 具實境模擬功能之登山踏步機
US9126121B1 (en) * 2014-02-28 2015-09-08 M. Harris Milam Three-axis ride controlled by smart-tablet app
KR20160025731A (ko) 2014-08-28 2016-03-09 임성진 실감 체험형 4d 라이더 장치 및 방법
CN204864722U (zh) * 2015-08-06 2015-12-16 深圳市晶源动力电子科技有限公司 虚拟实景跑步机
CN205123915U (zh) * 2015-11-11 2016-03-30 经鹏 一种虚拟旅行应用***
CN105429989A (zh) * 2015-12-01 2016-03-23 上海斐讯数据通信技术有限公司 虚拟现实设备的模拟旅游方法及***
CN105704501B (zh) * 2016-02-06 2020-04-21 普宙飞行器科技(深圳)有限公司 一种基于无人机全景视频的虚拟现实直播***
CN105807931B (zh) * 2016-03-16 2019-09-17 成都电锯互动科技有限公司 一种虚拟现实的实现方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101131097B1 (ko) * 2011-09-21 2012-04-02 주식회사 미래엔에스 지리정보를 이용한 4d 기반의 체험형 패러글라이딩 시뮬레이션 게임 시스템 및 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019098450A1 (ko) * 2017-11-15 2019-05-23 한국과학기술원 이동형 디바이스를 이용한 사용자 시선 유도 시스템 및 그 방법
KR101968043B1 (ko) 2018-05-02 2019-08-28 브이알카버 주식회사 다중체험이 가능한 가상현실 인터랙션 모듈시스템
WO2020027531A1 (ko) * 2018-07-31 2020-02-06 브이알카버 주식회사 실사 컨텐츠에 기초한 어트랙션 레이싱 가상체험 방법 및 시스템
KR20200070548A (ko) 2018-12-10 2020-06-18 강두환 다중체험이 가능한 가상현실 인터랙션 모듈시스템
JP2020144332A (ja) * 2019-03-08 2020-09-10 トヨタ自動車株式会社 仮想現実システムおよび仮想現実方法
KR20200119931A (ko) 2019-04-01 2020-10-21 현대자동차주식회사 차량을 이용한 4차원 효과 제공 장치 및 방법
KR102165026B1 (ko) * 2019-04-11 2020-10-13 주식회사 인솔엠앤티 360도 ar 입체영상 체험 시스템

Also Published As

Publication number Publication date
WO2018038485A1 (ko) 2018-03-01
CN109690448A (zh) 2019-04-26
US20190217210A1 (en) 2019-07-18
US10617963B2 (en) 2020-04-14
JP2019535090A (ja) 2019-12-05

Similar Documents

Publication Publication Date Title
KR101748401B1 (ko) 가상현실 어트랙션 제어 방법 및 시스템
US10810798B2 (en) Systems and methods for generating 360 degree mixed reality environments
US20200254353A1 (en) Synchronized motion simulation for virtual reality
US9324298B2 (en) Image processing system, image processing apparatus, storage medium having stored therein image processing program, and image processing method
RU2719237C1 (ru) Системы и способы управления транспортными средствами для катания в ходе игрового процесса
CN107003512B (zh) 用于虚拟现实的头戴式显示器中的扫描显示***
KR102077108B1 (ko) 콘텐츠 체험 서비스 제공 장치 및 그 방법
US10277813B1 (en) Remote immersive user experience from panoramic video
CN103096986B (zh) 移动装置上的补充视频内容
CN104781873B (zh) 图像显示装置、图像显示方法、移动装置、图像显示***
TWI441670B (zh) 摩天輪
CN106133629A (zh) 信息处理装置、信息处理方法、程序和成像***
JP2010509665A (ja) ビデオゲームシステムの用のゲームゾーンの規定方法
JP2010509946A (ja) ビデオゲームシステムのための表示の調整方法
JP2010508930A (ja) ビデオゲームシステム用の共通基準系規定方法
US20220351472A1 (en) Remote camera augmented reality system
JP2018533317A (ja) 仮想現実映像伝送方法、再生方法、及びこれらを用いたプログラム
JP2022097830A (ja) 表示システム及びサーバ
US20160179206A1 (en) Wearable interactive display system
WO2017145552A1 (ja) プログラム及びアイウエア
WO2015033446A1 (ja) ランニング支援システムおよびこれに用いるヘッドマウントディスプレイ装置
KR101857104B1 (ko) 놀이공간 영상 컨텐츠 서비스 시스템
CN111045209A (zh) 使用无人机的旅游***与方法
GB2518602A (en) Systems and methods for virtual participation in a real, live event
JP7306162B2 (ja) サーバ、再生デバイス、コンテンツ再生システム、コンテンツ再生方法、及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant