KR102349716B1 - 영상 공유 방법 및 이를 수행하는 전자 장치 - Google Patents

영상 공유 방법 및 이를 수행하는 전자 장치 Download PDF

Info

Publication number
KR102349716B1
KR102349716B1 KR1020150082414A KR20150082414A KR102349716B1 KR 102349716 B1 KR102349716 B1 KR 102349716B1 KR 1020150082414 A KR1020150082414 A KR 1020150082414A KR 20150082414 A KR20150082414 A KR 20150082414A KR 102349716 B1 KR102349716 B1 KR 102349716B1
Authority
KR
South Korea
Prior art keywords
external device
image data
user
data
virtual reality
Prior art date
Application number
KR1020150082414A
Other languages
English (en)
Other versions
KR20160145976A (ko
Inventor
송우택
이태경
손동일
조치현
최종철
허창룡
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150082414A priority Critical patent/KR102349716B1/ko
Priority to US15/179,487 priority patent/US10168981B2/en
Publication of KR20160145976A publication Critical patent/KR20160145976A/ko
Application granted granted Critical
Publication of KR102349716B1 publication Critical patent/KR102349716B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)

Abstract

본 발명의 일 실시예에 따른 머리 장착형 장치(HMD; Head-Mounted Device)에 연결될 수 있는 전자 장치는, 디스플레이, 가상현실 콘텐츠를 저장하는 메모리, 상기 디스플레이에 상기 가상현실 콘텐츠에 기반한 양안용 영상 데이터를 재생하는 프로세서, 및 외부 장치와 통신하는 통신 모듈을 포함할 수 있다. 이때 프로세서는 상기 외부 장치에 상기 가상현실 콘텐츠가 저장되어 있는지 여부를 판단하고, 상기 판단 결과에 기초하여 상기 외부 장치로 전송할 데이터를 결정하도록 설정될 수 있다.

Description

영상 공유 방법 및 이를 수행하는 전자 장치{METHOD FOR SHARING IMAGES AND ELECTRONIC DEVICE PERFORMING THEREOF}
본 발명은 머리 장착형 장치(HMD; Head-Mounted Device)에 연결될 수 있는 전자 장치, 및 상기 전자 장치가 수행할 수 있는 영상 공유 방법에 관한 것이다.
최근, 신체에 직접 착용될 수 있는 형태의 다양한 전자 장치들이 개발되고 있다. 이러한 장치들은 일반적으로 웨어러블(Wearable) 전자 장치로 불릴 수 있다. 웨어러블 전자 장치는, 예를 들어, 머리 장착형 디스플레이(HMD; Head-Mounted Display), 스마트 안경 (smart glass), 스마트 시계 또는 밴드(smart watch, wristband), 콘텍트렌즈형 장치, 반지형 장치, 신발형 장치, 의복형 장치, 장갑형 장치 등을 포함할 수 있다. 이러한 웨어러블 전자 장치는 신체 또는 의복에 직접 착용되므로 이동성(portability) 및 사용자의 접근성(accessibility)을 비약적으로 향상시킬 수 있다.
상기 웨어러블 전자 장치의 다양한 예시 가운데 사용자의 두부(頭部)에 장착될 수 있는 머리 장착형 디스플레이는, 사용자의 양안과 근접한 위치에 소정의 영상을 제공함으로써, 사용자에게 실감나는 영상을 제공할 수 있다.
일반적인 TV나 디스플레이 장치는 사용자와 일정 거리 이격된 상태에서 영상을 제공하므로, 복수의 사용자는 당해 TV나 디스플레이 장치를 통해 동일한 영상을 동시에 감상할 수 있다. 그러나 머리 장착형 디스플레이는 사용자의 두부에 장착되어, 영상 콘텐츠를 당해 사용자에게만 제공할 수 있으므로, 2인 이상의 사용자는 동일한 영상 콘텐츠를 공유할 수 없었다.
본 발명의 다양한 실시예는, 공유받는 외부 장치가 공유하려는 가상현실 콘텐츠를 구비하는지 여부, 및/또는 상기 외부 장치의 유형에 기초하여, 전송될 데이터를 결정할 수 있는 영상 공유 방법 및 이를 수행하는 전자 장치를 제공할 수 있다.
본 발명의 일 실시예에 따른 머리 장착형 장치(HMD; Head-Mounted Device)에 연결될 수 있는 전자 장치는, 디스플레이, 가상현실 콘텐츠를 저장하는 메모리, 상기 디스플레이에 상기 가상현실 콘텐츠에 기반한 양안용 영상 데이터를 재생하는 프로세서, 및 외부 장치와 통신하는 통신 모듈을 포함할 수 있다. 이때 프로세서는 상기 외부 장치에 상기 가상현실 콘텐츠가 저장되어 있는지 여부를 판단하고, 상기 판단 결과에 기초하여 상기 외부 장치로 전송할 데이터를 결정하도록 설정될 수 있다.
본 발명의 다양한 영상 공유 방법 및 이를 수행하는 전자 장치에 의하면, 상기 전자 장치는 외부 장치가 동일한 가상현실 콘텐츠를 저장하고 있는지, 및/또는 외부 장치가 머리 장착형 디스플레이에 해당하는지에 따라서, 공유할 영상과 관련된 데이터를 결정할 수 있다.
도 1a 내지 도 1d는 본 발명의 다양한 실시예에 따른 영상 공유 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 머리 장착형 디스플레이를 나타낸다.
도 3은 본 발명의 일 실시예에 따른 머리 장착형 장치의 메인 프레임의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 전자 장치의 블록도이다.
도 5는 본 발명의 일 실시예에 따른 영상 공유 방법을 나타낸 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 사용자 센싱 데이터를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 스테레오스코픽 영상이 제공되는 예를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 공유 방법에 의해 외부 장치에서 출력되는 영상을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 영상 공유 방법에 의해 외부 장치에서 출력되는 모노 영상을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 전자 장치의 영상 제공 방법을 나타낸 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 전자 장치에서 재생 관련 데이터에 사용자 센싱 데이터가 반영되는 것을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 전자 장치에 있어서, 사용자 센싱 데이터가 반영된 영상을 재생하는 것을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 전자 장치에 있어서, 특정 시점(view point)에서 영상을 재생하는 것을 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시예에 따른 전자 장치가 복수의 전자 장치 와 영상 공유 방법을 수행하는 것을 설명하기 위한 도면이다.
이하, 본 발명의 다양한 실시예가 첨부된 도면과 연관되어 기재된다. 본 발명의 다양한 실시예는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명의 다양한 실시예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 다양한 실시예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 발명의 다양한 실시예에서 사용될 수 있는 "포함한다" 또는 "포함할 수 있다" 등의 표현은 개시(disclosure)된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 발명의 다양한 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 다양한 실시예에서 "또는", 또는 "A 또는/및 B 중 적어도 하나" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, "A 또는 B" 또는 "A 또는/및 B 중 적어도 하나" 각각은, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
본 발명의 다양한 실시예에서 사용된 "제 1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 실시예들의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제 2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 발명의 다양한 실시예의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 발명의 다양한 실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 다양한 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 다양한 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 다양한 실시예에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명의 다양한 실시예에 따른 전자 장치는, 통신 기능이 포함된 장치일 수 있다. 예를 들면, 전자 장치는 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smart watch))중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 통신 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSync™, 애플TV™, 또는 구글 TV™), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 발명의 다양한 실시예에 따른 전자 장치는 플렉서블 장치일 수 있다. 또한, 본 발명의 다양한 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
이하, 첨부된 도면을 참조하여 다양한 실시예에 따른 전자 장치에 대해서 살펴본다. 다양한 실시예에서 이용되는 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
한편, 본 명세서에 있어서, "머리 장착형 디스플레이"라 함은 2D 콘텐츠 또는 가상현실 콘텐츠에 기반한 영상 데이터를 재생할 수 있는 전자 장치(예: 스마트폰)와, 사용자의 두부에 장착되어 상기 사용자의 양안 주변부에 접촉할 수 있는 구조물(이하, 머리 장착형 장치)이 결합된 것을 의미할 수 있다. 어떤 실시예에 따르면 상기 머리 장착형 디스플레이는 상기 전자 장치와 상기 머리 장착형 장치가 일체로 결합된 것일 수도 있다. 다만, 본 명세서에 있어서 머리 장착형 디스플레이는, 각각 별도로 구현된 전자 장치와 머리 장착형 장치가 결합된 것으로 설명하기로 한다.
또한, 본 명세서에 있어서, "가상현실 콘텐츠(Virtual Reality content)"는 가상공간에서 일어나는 다양한 사상(事象; event)들을 사용자에게 실감나게 제공할 수 있는 콘텐츠에 해당할 수 있다. 일 실시예에 따른 가상현실 콘텐츠에 의하면, 사용자는 3D 가상공간에서 복수의 시점(view point) 중 어느 한 시점을 선택할 수 있고, 상기 선택한 시점에 따른 영상(예: 스테레오스코픽 영상 데이터)을 제공받을 수 있다. 이때 사용자에게 제공될 수 있는 영상은 동일한 가상공간에 있고, 동일한 재생시점에 있다고 하더라도 각 시점에 따라 서로 상이할 수 있다.
또한, 본 명세서에 있어서, "양안용 영상 데이터"는 상기 가상현실 콘텐츠에 따른 스테레오스코픽 영상을 사용자에게 입체감 있게 제공할 수 있는 데이터를 나타낼 수 있다. 일 실시예에 따른 양안용 영상 데이터는, 양안 시차를 가진 한 쌍의 2D 영상 데이터에 해당할 수 있다(도 7의 좌안 영상 화면 701L 및 우안 영상 화면 701R 참조). 사용자는 양안의 시각 차이에 기초하여, 상기 한 쌍의 2D 영상 데이터를 통해 3차원적인 입체감(깊이감)을 가진 스테레오스코픽 영상을 제공받을 수 있다.
또한, 본 명세서에 있어서, "모노 영상 데이터"는 일반적인 디스플레이 장치에서 출력될 수 있는 모노 영상에 관한 데이터(도 9의 모노 영상 화면 901 참조)에 해당할 수 있다. 상기 모노 영상 데이터는 상기 가상현실 콘텐츠에 기반하여 생성될 수 있다.
도 1a 내지 도 1d는 본 발명의 다양한 실시예에 따른 영상 공유 방법을 설명하기 위한 도면이다.
본 발명의 다양한 실시예에 따른 영상 공유 방법은, 영상을 공유받는 장치에 영상을 공유하는 장치에 저장된 것과 대응하는(예: 동일한) 가상현실 콘텐츠가 포함되어 있는지, 및/또는 상기 영상을 공유받는 장치가 머리 장착형 디스플레이인지(즉, 상기 영상을 공유받는 장치가 머리 장착형 장치에 연결되어 있는지)에 따라 상이할 수 있다.
도 1a를 참조하면, 본 발명의 일 실시예에 따른 영상 공유 방법은 머리 장착형 디스플레이 1000 및 머리 장착형 디스플레이 2000a 사이에서 수행될 수 있다. 머리 장착형 디스플레이 1000 및 머리 장착형 디스플레이 2000a는 각각 동일한 가상현실 콘텐츠를 저장할 수 있고, 각 장치에 대응되는 사용자에게 가상현실 콘텐츠에 기반한 스테레오스코픽 영상을 제공할 수 있다.
일 실시예에 따르면, 머리 장착형 디스플레이 1000은 상기 가상현실 콘텐츠에 기반한 영상 데이터의 재생과 관련된 데이터를 전송할 수 있다. 상기 재생과 관련된 데이터(이하, 재생 관련 데이터라고도 함)는 상기 가상현실 콘텐츠에 기반한 영상 데이터의 재생 시간(재생 타이밍), 상기 재생 시간에 따른 가상공간에서의 위치 데이터, 사용자의 움직임에 기초한 사용자 센싱 데이터(예: 헤드 트래킹 데이터) 등을 포함할 수 있다. 머리 장착형 디스플레이 2000a에는 머리 장착형 디스플레이 1000에 저장된 가상현실 콘텐츠와 동일한 가상현실 콘텐츠가 저장되어 있으므로, 머리 장착형 디스플레이 2000a는 머리 장착형 디스플레이 1000으로부터 수신한 재생 관련 데이터만으로도 머리 장착형 디스플레이 1000에서 재생되고 있는 영상에 대응하는(예: 동일한) 영상을 해당 사용자에게 제공할 수 있다.
도 1b를 참조하면, 본 발명의 일 실시예에 따른 영상 공유 방법은 머리 장착형 디스플레이 1000 및 전자 장치(예: 스마트폰) 2000b 사이에서 수행될 수 있다. 머리 장착형 디스플레이 1000 및 전자 장치 2000b는 각각 동일한 가상현실 콘텐츠를 저장할 수 있다. 전자 장치 2000b는 머리 장착형 장치와 연결되어 있지 않으므로, 대응되는 사용자에게 가상현실 콘텐츠에 기반한 모노(mono) 영상을 제공할 수 있다.
일 실시예에 따르면, 머리 장착형 디스플레이 1000은 상기 가상현실 콘텐츠에 기반한 영상 데이터의 재생 관련 데이터를 전송할 수 있다. 전자 장치 2000b에는 머리 장착형 디스플레이 1000에 저장된 가상현실 콘텐츠와 동일한 가상현실 콘텐츠가 저장되어 있으므로, 전자 장치 2000b는 머리 장착형 디스플레이 1000으로부터 수신한 재생 관련 데이터만으로 머리 장착형 디스플레이 1000에서 재생되고 있는 영상에 대응하는 모노 영상을 해당 사용자에게 제공할 수 있다.
도 1c를 참조하면, 본 발명의 일 실시예에 따른 영상 공유 방법은 머리 장착형 디스플레이 1000 및 머리 장착형 디스플레이 2000a 사이에서 수행될 수 있다. 도 1c에서는 도 1a와는 다르게, 머리 장착형 디스플레이 2000a에는 머리 장착형 디스플레이 1000과 동일한 가상현실 콘텐츠가 저장되어 있지 않을 수 있다.
일 실시예에 따르면, 머리 장착형 디스플레이 1000은 상기 가상현실 콘텐츠에 기반한 양안용 영상 데이터를 생성하여 전송할 수 있다. 상기 양안용 영상 데이터는 머리 장착형 디스플레이 1000에서 출력되고 있는 양안용 영상 데이터에 대응(혹은 동일)할 수 있다. 머리 장착형 디스플레이 2000a에는 머리 장착형 디스플레이 1000에 저장된 가상현실 콘텐츠가 저장되어 있지 않으므로, 머리 장착형 디스플레이 2000a는 머리 장착형 디스플레이 1000으로부터 수신한 양안용 영상 데이터에 따른 영상을 대응하는 사용자에게 제공할 수 있다.
도 1d를 참조하면, 본 발명의 일 실시예에 따른 영상 공유 방법은 머리 장착형 디스플레이 1000 및 전자 장치 2000b 사이에서 수행될 수 있다. 도 1d에서는 도 1b와는 다르게, 전자 장치 2000b에는 머리 장착형 디스플레이 1000과 동일한 가상현실 콘텐츠가 저장되어 있지 않을 수 있다.
일 실시예에 따르면, 머리 장착형 디스플레이 1000은 상기 가상현실 콘텐츠에 기반한 모노 영상 데이터를 생성하여 전송할 수 있다. 상기 모노 영상 데이터는 머리 장착형 디스플레이 1000에서 출력되고 있는 양안용 영상 데이터에 대응한 영상 데이터일 수 있다. 전자 장치 2000b에는 머리 장착형 디스플레이 1000에 저장된 가상현실 콘텐츠와 동일한 콘텐츠가 저장되어 있지 않으므로, 전자 장치 2000b는 머리 장착형 디스플레이 1000으로부터 수신한 모노 영상 데이터에 따른 영상을 대응하는 사용자에게 제공할 수 있다.
이하에서는, 본 발명의 일 실시예에 따른 머리 장착형 디스플레이, 머리 장착형 장치, 및 전자 장치의 구성에 대하여 설명하고, 이어서 본 발명의 다양한 실시예에 따른 영상 공유 방법에 대해 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 머리 장착형 디스플레이를 나타낸다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 머리 장착형 디스플레이 1000는, 전자 장치(예: 스마트폰) 100 및 머리 장착형 장치 200을 포함할 수 있다. 전자 장치 100의 설명은 도 4를 참조하여 후술된다. 머리 장착형 장치 200은, 외형적으로 메인 프레임 201, 커버 202, 및 장착 부재 203을 포함할 수 있다.
상기 메인 프레임 201에는 전자 장치 100을 수납할 수 있는 공간이 형성되어 있을 수 있다. 상기 메인 프레임 201은 외형적으로 연결부(connector) 204, 디스플레이 위치 조정부 205, 입력부 206을 포함할 수 있다. 어떤 실시예에 따르면 메인 프레임 201에는 도시하지 않은 구성(예: 렌즈 조정부)이 추가로 포함될 수 있다.
연결부 204는 전자 장치 100의 연결부(예: USB 인터페이스)와 결합할 수 있다. 상기 결합에 의하여 머리 장착형 장치 200과 전자 장치 100은 서로 상호 작용할 수 있다.
디스플레이 위치 조정부 205는 전자 장치 100의 디스플레이를 사용자가 시청하기에 적합한 위치로 이동시키기 위한 구성일 수 있다. 상기 디스플레이 위치 조정부 205는 하드웨어적으로 또는 소프트웨어적으로 구현될 수 있으며, 메인 프레임 201의 외부 표면에 복수 구비될 수도 있다.
입력부 206은 사용자 인터페이스로서, 사용자는 상기 입력부 206을 통해 전자 장치 100의 그래픽 사용자 인터페이스(GUI: Graphical User Interface)를 제어할 수 있다. 입력부 206은 메인 프레임 201의 측면에 마련될 수 있으며, 상기 입력부 206은 터치 입력(직접 터치하는 입력 또는 호버링(hovering) 입력)을 수신할 수 있는 터치 패드에 해당할 수 있다.
상기 입력부 206을 통한 입력은 전자 장치 100에 전송될 수 있고, 상기 전자 장치 100은 상기 입력에 응답하여 대응하는 기능을 제공할 수 있다. 예를 들어, 사용자는 터치 패드에 터치 입력을 수행함으로써 콘텐츠의 음향을 조절하거나 영상 재생을 제어할 수 있다. 상기와 같은 입력 모듈 206은 복수 마련될 수 있으며, 상기 터치 패드 이외에 물리적 버튼, 터치 키, 조이스틱, 휠(wheel) 키가 포함될 수도 있다.
커버 202는 메인 프레임 201에 고정됨으로써, 전자 장치 100이 수납된 공간을 덮을 수 있다.
장착 부재 203은 메인 프레임 201에 연결되어 머리 장착형 장치 200을 사람의 신체 일부분(예: 머리)에 고정시킬 수 있다. 예를 들면, 장착 부재 203은 탄성 소재로 형성된 밴드, 벨크로 테이프 등을 포함할 수 있다. 상기 장착 부재 203에 의해 메인 프레임 201은 사용자의 얼굴의 눈 주위에 밀착될 수 있다. 다른 실시예에 따르면 장착 부재 203은 안경 다리(eyeglass temples), 헬멧(helmet) 또는 스트랩(straps) 등으로 구현될 수도 있다.
도 3은 본 발명의 일 실시예에 따른 머리 장착형 장치의 메인 프레임의 블록도를 나타낸다.
도 3을 참조하면, 머리 장착형 장치 200의 메인 프레임 300(예: 도 2의 메인 프레임 201)은 제어 모듈 310, 통신 모듈 320, 센서 모듈 330, 입력 장치 340, 배터리 350, 전력 관리 모듈 360, 시선 추적기(eye tracker) 370, 진동기(vibrator) 380, 및 초점 조절 모듈(adjustable optics)(또는 렌즈 조립체)를 포함할 수 있다. 어떤 실시예에 따르면, 도 3에 도시된 상기 메인 프레임 201의 구성요소 등 중 일부는 전자 장치 100 내에 포함될 수 있다.
제어 모듈 310은, 예를 들어, 프로세서, 또는 MCU(Micro Controller Unit)를 포함할 수 있다. 제어 모듈 310은 운영체제(OS) 또는 임베디드 S/W 프로그램을 구동함으로써 상기 제어 모듈 310에 연결된 복수의 구성요소들의 기능을 제어할 수 있다.
통신 모듈 320은 메인 프레임 201과 전자 장치 100을 유선 및/또는 무선 통신 네트워크로 연결하여 데이터 송수신을 수행할 수 있다. 일 실시예에 따르면, 통신 모듈 320은 USB 모듈 321(예: 도 2의 연결부 204), Wi-Fi 모듈 322, Bluetooth 모듈 323, NFC 모듈 324, GPS 모듈 325를 포함할 수 있다. 어떤 실시예에 따르면, Wi-Fi 모듈 322, Bluetooth 모듈 323, NFC 모듈 324, 및 GPS 모듈 325중 적어도 하나(예: 두 개 이상)는 하나의 IC(integrated chip) 또는 IC 패키지 내에 포함될 수 있다.
센서 모듈 330은 물리량을 계측하거나 머리 장착형 장치 200의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 예를 들면, 센서 모듈 330은 가속도 센서 331, 자이로 센서 332, 지자계 센서 333, 마그네틱 센서 334, 근접 센서 335, 제스처 센서 336, 그립 센서 337, 또는 생체 센서 338 중 적어도 하나를 포함할 수 있다.
예를 들어, 가속도 센서 331, 자이로 센서 332, 지자계 센서 333은 머리 장착형 장치 200을 착용한 사용자의 머리 움직임을 감지할 수 있다(이른바, 헤드 트래킹). 또한, 근접 센서 335 또는 그립 센서 337은 머리 장착형 장치 200의 착용 여부를 감지할 수 있다. 사용자의 착용 여부는 적외선 인식, 가압 인식, 캐패시턴스(혹은 유전율)의 변화 인식을 통해 감지될 수도 있다. 제스처 센서 336는 사용자의 손 또는 손가락의 움직임을 감지하여 사용자 입력 신호로 변환할 수 있다. 생체 센서 338은 예를 들어 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), 또는 홍채 센서 등을 포함할 수 있다.
한편, 일 실시예에 따르면, 센서 모듈 330은 다양한 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있으며, 상기 센서 모듈 330의 적어도 일부의 센서는 머리 장착형 장치 200에 탑재된 전자 장치 100에 포함될 수 있다.
입력 장치 340(예: 도 2의 입력부 260)은 터치 패드, 물리적 버튼 등을 포함할 수 있다. 터치 패드는, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 상기 터치 패드는 제어 회로를 더 포함할 수도 있다. 정전식의 경우, 물리적 접촉 또는 근접 인식이 가능하다. 상기 터치 패드는 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 상기 터치 패드는 사용자에게 촉각 반응을 제공할 수 있다. 상기 버튼은, 예를 들면, 물리적인 버튼, 광학식 키 또는 키패드를 포함할 수 있다.
배터리 350은 머리 장착형 장치 200의 각 구성에 전력을 공급할 수 있다, 배터리 350은 전력 관리 모듈 360을 통해 머리 장착형 장치 200의 각 구성에 대한 전력 수급을 제어할 수 있다. 상기 배터리 350은 전자 장치 100에 내장된 배터리에 포함될 수 있고, 머리 장착형 장치 200에 독자적으로 포함될 수도 있다.
시선 추적기 370은, 예를 들면, EOG 센서(Electircal oculography) 방식, Coil systems 방식, Dual purkinje systems 방식, Bright pupil systems 방식, Dark pupil systems 방식 중 적어도 하나의 방식을 이용하여, 사용자의 시선을 추적할 수 있다. 또한, 시선 추적기는 사용자의 시선을 추적하기 위한 마이크로 카메라를 더 포함할 수도 있다.
초점 조절기 380은 사용자로 하여금 자신의 신체 조건에 적합한 영상을 감상할 수 있도록, 사용자의 양안 사이 거리(IPD: Inter-Pupil Distance)를 측정하여 렌즈의 거리 및 스마트폰의 디스플레이 위치를 조정할 수 있다.
도 4는 본 발명의 일 실시예에 따른 전자 장치의 블록도를 나타낸다.
도 4를 참조하면, 전자 장치 100은 버스 110, 프로세서 120, 메모리 130, 입출력 인터페이스 140, 디스플레이 150, 통신 모듈 160 및 센서 모듈 170을 포함할 수 있다. 예를 들어, 전자 장치 100은 도 1에 도시한 머리 장착형 디스플레이 1000 또는 도 2의 머리 장착형 장치 200에 미리 형성된 공간에 탑재되어 상기 머리 장착형 장치 200와 전기적으로 연결될 수 있다. 특정 실시예에 따르면, 상기 전자 장치 100은 도 1에 도시한 머리 장착형 디스플레이 1000의 일부 구성으로 포함될 수도 있다.
버스 110은 전자 장치 100에 포함된 구성요소들(예: 메모리 130, 입출력 인터페이스 140, 디스플레이 150, 통신 모듈 160, 또는 센서 모듈 170 등)을 서로 연결하고, 각 구성요소들 간의 통신(예: 제어 메시지)을 전달하는 회로에 해당할 수 있다.
프로세서 120은, 예를 들면, 상기 버스 110를 통해 전술한 다른 구성요소들(예: 메모리 130, 입출력 인터페이스 140, 디스플레이 150, 통신 모듈 160, 또는 센서 모듈 170 등)로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
일 실시예에 따르면, 프로세서 120은 메모리 130에 저장된 가상현실 콘텐츠를 기초로 양안용 영상 데이터를 생성할 수 있다. 상기 양안용 영상 데이터가 디스플레이 150에 출력 및 재생됨으로써, 사용자는 스테레오스코픽 영상을 제공받을 수 있다. 상기 전자 장치 100이 포함된 머리 장착형 디스플레이 1000은 사용자의 두부에 장착되고, 상기 전자 장치 100의 디스플레이 150은 사용자 양안으로부터 상당히 근접한 거리 이내에 위치하게 된다. 따라서, 상기 프로세서 120은 사용자의 좌안 및 우안 각각에 대한 좌안 영상 데이터 및 우안 영상 데이터를 생성한 후 렌즈 왜곡을 보상하기 위한 역왜곡 처리를 수행함으로써 상기 양안용 영상 데이터를 생성할 수 있다.
또한, 상기 프로세서 120은, 외부 장치 2000(예: 머리 장착형 디스플레이 2000a, 또는 전자 장치 2000b)와 영상을 공유하기 위해, 상기 가상현실 콘텐츠와 관련된 데이터를 통신 모듈 160을 통해 상기 외부 장치 2000으로 전송할 수 있다.
일 실시예에 따르면, 프로세서 120은 외부 장치 2000과 영상을 공유하기 위하여, 상기 외부 장치에 전자 장치 100에 저장된 것과 동일한 가상현실 콘텐츠가 저장되어 있는지 여부를 판단할 수 있다. 프로세서 120은 상기 판단 결과에 기초하여 상기 외부 장치 2000로 전송할 (혹은 공유할) 데이터를 결정하도록 설정될 수 있다.
예를 들어, 프로세서 120은 상기 외부 장치 2000에 상기 가상현실 콘텐츠가 저장되어 있다고 판단하면, 양안용 영상 데이터의 재생 관련 데이터를 상기 외부 장치 2000로 전송될 데이터로 결정하도록 설정될 수 있다. 상기 재생 관련 데이터는 상기 양안용 영상 데이터의 재생시간에 따른 가상공간 내에서의 위치 데이터, 상기 가상공간 내에서 사용자가 바라보는 영상의 FoV(Field of View) 데이터, 음향 데이터, 화면 밝기 데이터 등을 포함할 수 있다. FoV는 시야(視野), 시계(視界), 또는 화각(畵角) 등으로 참조될 수 있으며, 사용자가 시청하는 화면의 방향이 고려된 것일 수 있다.
상기 외부 장치 2000에는 전자 장치 100의 메모리 130에 저장된 가상현실 콘텐츠와 동일한 콘텐츠가 저장되어 있으므로, 외부 장치 2000로 전송되는 재생 관련 데이터에는 상기 양안용 영상 데이터가 포함되지 않을 수 있다. 즉, 외부 장치 2000은 내부에 미리 저장되어 있던 가상현실 콘텐츠와 전자 장치 100으로부터 수신한 재생 관련 데이터를 이용하여, 전자 장치 100에서 출력되고 있는 양안용 영상 데이터에 대응되는 영상 데이터를 생성 및 출력할 수 있다.
예컨대, 외부 장치 2000이 머리 장착형 디스플레이에 해당하는 경우(도 1a의 2000a) 외부 장치 2000의 사용자는 전자 장치 100의 사용자가 제공받고 있는 스테레오스코픽 영상에 대응하는 스테레오스코픽 영상을 제공받을 수 있다. 반면, 외부 장치 2000이 일반적인 전자 장치에 해당하는 경우(도 1b의 2000b) 외부 장치 2000의 사용자는 전자 장치 100의 사용자가 제공받고 있는 스테레오스코픽 영상에 대응하는 모노 영상을 제공받을 수 있다.
다양한 실시예에 따르면, 프로세서 120은 전자 장치 100 또는 머리 장착형 장치 200에서 획득한 사용자 센싱 데이터를 상기 재생 관련 데이터에 반영하도록 설정될 수도 있다. 예를 들어, 재생 관련 데이터에 있어서, 특정 재생 시간에 따른 가상공간 내 위치에서 전자 장치 100의 사용자가 바라보고 있는 시야(FoV)는, 사용자의 머리 움직임 센싱 정보(혹은 헤드 트래킹 데이터)에 기초하여 결정될 수 있다.
상기 사용자 센싱 데이터는 상기 재생 관련 데이터에 반영되어 전자 장치 100의 영상 재생에 이용되고, 상기 재생 관련 데이터는 외부 장치 2000로 전송될 수 있다. 따라서, 전자 장치 100 및 외부 장치 2000에서 재생되는 영상은, 전자 장치 100의 사용자로부터 얻어진 사용자 센싱 데이터가 반영된 영상에 해당할 수 있다.
또한, 다양한 실시예에 따르면, 상기 재생 관련 데이터는 외부 장치 2000으로 실시간 스트리밍(streaming)으로 전송될 수 있고, 컴퓨터로 판독 가능한 기록 매체, 예컨대 외장 메모리에 저장됨으로써 외부 장치 2000에 제공될 수도 있다. 외부 장치 2000은 실시간 스트리밍으로 상기 재생 관련 데이터를 수신하는 경우, 전자 장치 100의 사용자와 동기화된 타이밍으로 영상을 재생(또는 공유)할 수 있다.
한편, 프로세서 120은 상기 외부 장치 2000에 상기 가상현실 콘텐츠가 저장되어 있지 않다고 판단하면, 상기 가상현실 콘텐츠에 기반한 영상 데이터(예: 양안용 영상 데이터 또는 모노 영상 데이터)를 상기 외부 장치 2000로 전송될 데이터로 결정하도록 설정될 수 있다. 외부 장치 2000에 상기 가상현실 콘텐츠가 저장되어 있지 않았다면, 재생 관련 데이터의 수신만으로 디스플레이에 출력할 영상을 생성할 수 없기 때문이다. 상기 영상 데이터
일 실시예에 따르면, 프로세서 120은, 상기 외부 장치 2000에 상기 가상현실 콘텐츠가 저장되어 있지 않다고 판단한 경우 상기 외부 장치 2000이 머리 장착형 장치에 연결되었는지 더 판단할 수 있다. 즉, 프로세서 120은 상기 외부 장치 2000이 머리 장착형 디스플레이에 해당하는지 또는 일반적인 전자 장치(예: 스마트폰)에 해당하는지 추가로 판단할 수 있다. 프로세서 120은, 외부 장치 2000이 머리 장착형 장치와 연결되어 있는지 여부에 따라서, 상기 외부 장치 2000로 전송할 영상 데이터의 유형을 상이하게 결정할 수 있다.
예를 들어, 외부 장치 2000이 머리 장착형 장치에 연결된 것으로 판단되면(도 1c의 2000a), 프로세서 120은 전자 장치 100에서 출력되고 있는 양안용 영상 데이터를 상기 외부 장치 2000로 전송될 영상 데이터로 결정하도록 설정될 수 있다. 상기 외부 장치 2000은 전자 장치 100으로부터 수신한 양안용 영상 데이터를 내장한 디스플레이를 통해 출력함으로써 외부 장치 2000의 사용자에게 전자 장치 100과 동일한 영상을 제공할 수 있다. 일 실시예에 따라서, 전자 장치 100으로부터 수신되는 양안용 영상에 사용자 센싱 데이터가 반영되어 있었다면, 외부 장치 2000의 사용자는 전자 장치 100의 사용자 센싱 데이터가 반영된 영상을 제공받을 수 있다.
반면, 외부 장치 2000이 머리 장착형 장치에 연결되지 않은 것으로 판단되면(도 1d의 2000b), 프로세서 120은 전자 장치 100에서 재생되고 있는 양안용 영상 데이터에 대응되는 모노 영상 데이터를 생성하고, 상기 모노 영상 데이터를 상기 외부 장치 2000로 전송될 영상 데이터로 결정하도록 설정될 수 있다. 상기 외부 장치 2000은 전자 장치 100으로부터 수신한 모노 영상 데이터를 자체에 구비된 디스플레이를 통해 출력함으로써 외부 장치 2000의 사용자에게 전자 장치 100에 대응하는 모노 영상을 제공할 수 있다. 마찬가지로, 일 실시예에 따라, 전자 장치 100으로부터 수신되는 모노 영상에 사용자 센싱 데이터가 반영되어 있었다면, 외부 장치 2000의 사용자는 전자 장치 100의 사용자 센싱 데이터가 반영된 영상을 제공받을 수 있다.
또한, 다양한 실시예에 따르면, 외부 장치 2000으로 전송되는 영상 데이터(예: 양안용 영상 데이터, 모노 영상 데이터)는 실시간 스트리밍으로 전송될 수 있고, 컴퓨터로 판독 가능한 기록 매체에 저장됨으로써 외부 장치 2000에 제공될 수도 있다. 외부 장치 2000은 실시간 스트리밍으로 상기 영상 데이터를 수신하는 경우, 전자 장치 100의 사용자와 동기화된 타이밍으로 영상을 재생(또는 공유)할 수 있다.
일부 실시예에 따르면, 프로세서 120은 외부 장치 2000으로 영상 데이터를 각 프레임 별로 판단하여 이전 프레임의 영상에서 미리 설정된 값 이상의 변화가 있을 때만 영상 데이터를 전송하도록 설정될 수 있다. 이를 통해 네트워크 162의 품질이 열악하여, 과도한 버퍼링 또는 낮은 데이터 쓰루풋(data throughput)이 발생하는 경우 적합하게 대응할 수 있다.
메모리 130은, 상기 프로세서 120 또는 다른 구성요소들(예: 상기 입출력 인터페이스 140, 상기 디스플레이 150, 상기 통신 인터페이스 160, 또는 상기 센서 모듈 170 등으로부터 수신되거나 상기 프로세서 120 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 상기 메모리 130는, 예를 들면, 전술한 가상현실 콘텐츠를 저장할 수 있다. 특정 실시예에 따르면, 상기 메모리 130은 외장 메모리를 포함할 수 있고, 상기 외장 메모리에는 전술한 재생 관련 데이터가 저장될 수 있다.
입출력 인터페이스 140은 머리 장착형 장치 200과 연결되어 다양한 명령 또는 데이터를 송수신할 수 있다. 예를 들어, 상기 입출력 인터페이스 140은 도 2의 연결부 204 및/또는 도 3의 USB 모듈 321을 포함할 수 있다. 상기 입출력 인터페이스 140을 통하여 송수신되는 다양한 명령 또는 데이터는, 예를 들면 버스 110를 통해 프로세서 120, 메모리 130 등으로 전달될 수 있다.
예를 들면, 머리 장착형 장치 200의 입력부 206(또는 입력 장치 340)에서 수신된 사용자 입력은, 상기 입출력 인터페이스 140을 통해 프로세서 120으로 제공될 수 있다. 또한, 예를 들어, 상기 프로세서 120에 의해 처리된 오디오 데이터는 상기 입출력 인터페이스 140을 통해 머리 장착형 장치 200의 오디오 모듈(미도시)로 제공될 수 있다.
디스플레이 150은 프로세서 120의 제어 하에 사용자에게 각종 정보(예: 멀티미디어 데이터 또는 텍스트 데이터 등)을 표시할 수 있다. 예를 들어, 전자 장치 100이 머리 장착형 장치 200과 연결되어 구동하는 경우, 상기 디스플레이 150에는 양안용 영상 데이터가 출력될 수 있다. 일 실시예에 따르면, 전자 장치 100은 머리 장착형 장치 200과 분리되어 독자적으로 구동될 수 있다(이른바, stand-alone). 이 경우 상기 디스플레이 150에는 모노 영상 데이터가 출력될 수 있다.
통신 모듈 160은 상기 전자 장치 100과 외부 장치 2000 간의 통신 연결을 수립할 수 있다. 예를 들면, 상기 통신 모듈 160은 무선 통신 또는 유선 통신을 통해서 네트워크 162에 연결되어 상기 외부 장치와 통신할 수 있다. 상기 통신 모듈 160을 통하여 전자 장치 100은 재생 관련 데이터 또는 영상 데이터(예: 양안용 영상 데이터, 모노 영상 데이터)를 상기 외부 장치로 전송할 수 있다.
상기 무선 통신은, 예를 들어, Wi-Fi(wireless fidelity), BT(Bluetooth), NFC(near field communication), GPS(global positioning system) 또는 cellular 통신(예: LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등) 중 적어도 하나를 포함할 수 있다. 상기 유선 통신은, 예를 들어, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 상기 네트워크 162는 통신 네트워크(telecommunications network)일 수 있다. 상기 통신 네트워크 는 컴퓨터 네트워크(computer network), 인터넷(internet), 사물 인터넷(internet of things) 또는 전화망(telephone network) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 부가적으로 또는 대체적으로, 전자 장치 100은 입출력 인터페이스 140을 통해 머리 장착형 장치 200의 통신 모듈 320을 활용할 수도 있다. 또한, 다른 실시예에 따르면, 상기 통신 모듈 160은 머리 장착형 장치 200의 통신 모듈 320과 통신할 수도 있다.
센서 모듈 170은 물리량을 계측하여 계측된 정보를 전기 신호로 변환할 수 있다. 예를 들면, 센서 모듈 170은 사용자의 움직임을 검출하여 사용자 센싱 데이터를 생성할 수 있다. 상기 사용자 센싱 데이터는 사용자의 헤드 트래킹 데이터, 가상현실 콘텐츠의 가상공간 내 객체의 이동 데이터, 사용자의 모션 데이터, 및 사용자의 시선 추적 데이터 중 적어도 하나를 포함할 수 있다.
상기 센서 모듈 170은 도 3에 도시된 머리 장착형 장치 200의 센서 모듈 330과 동일 또는 유사한 구성을 포함할 수 있다. 예를 들어, 센서 모듈 170은 가속도 센서, 자이로 센서, 지자계 센서, 마그네틱 센서, 근접 센서, 제스처 센서, 그립 센서, 또는 생체 센서 중 적어도 하나를 포함할 수 있다.
예를 들어, 센서 모듈 170에 포함된 가속도 센서, 자이로 센서, 및/또는 지자계 센서는 사용자의 움직임을 감지하여 헤드 트래킹 데이터 및/또는 가상공간 내 객체(예: 가상공간 내의 사용자)의 이동 데이터를 생성할 수 있다. 또한, 센서 모듈 170에 포함된 제스처 센서는 사용자의 신체의 일부(예: 손, 손가락)의 움직임을 감지하여 사용자의 모션 데이터를 생성할 수 있다.
일 실시예에 따르면, 부가적으로 또는 대체적으로, 상기 사용자 센싱 데이터는 전자 장치 100에 내장된 센서 모듈 170뿐만 아니라, 입출력 인터페이스 140을 통해 머리 장착형 장치 200의 센서 모듈 330으로부터 획득될 수도 있다.
한편, 본 발명의 일 실시예에 따른 전자 장치 100은 외부 장치 2000에 포함될 수도 있다. 예컨대, 도 1의 외부 장치 2000a는 전자 장치 100의 각 구성과 대응하는(예: 동일한) 구성을 일부로서 포함할 수 있다.
전자 장치 100이 외부 장치 2000에 포함된 경우, 프로세서 120은 통신 모듈 160을 통해 재생 관련 데이터(예: 가상현실 콘텐츠에 기반한 영상 데이터의 재생과 관련된 데이터) 또는 영상 데이터를 수신할 수 있다.
상기 프로세서 120은 상기 재생 관련 데이터를 수신한 경우, 메모리 130에 저장된 가상현실 콘텐츠 및 상기 수신한 재생 관련 데이터에 기초하여 영상 데이터(예: 양안용 영상 데이터, 또는 모노 영상 데이터)를 생성하여 디스플레이 150에 출력할 수 있다. 일 실시예에 따르면, 프로세서 120은 센서 모듈 170으로부터 획득한 사용자 센싱 데이터를, 외부로부터 수신한 재생 관련 데이터에 반영할 수도 있다.
반면, 프로세서 120은 영상 데이터를 수신한 경우 상기 영상 데이터를 디스플레이 150에 출력하여 재생할 수 있다. 예를 들어, 상기 프로세서 120은 양안용 영상 데이터를 수신한 경우, 상기 수신한 양안용 영상 데이터를 디스플레이 150에 출력하여 재생할 수 있다. 또한, 상기 프로세서 120은 모노 영상 데이터를 수신한 경우에는, 상기 수신한 모노 영상 데이터를 디스플레이 150에 출력하여 재생할 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상 공유 방법을 나타낸 흐름도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 영상 공유 방법은, 동작 501 내지 동작 517을 포함할 수 있다. 본 발명의 일 실시예에 따른 영상 공유 방법은 도 1a 내지 도 1d의 머리 장착형 디스플레이 1000(에 포함된 전자 장치 100)에 의해 수행될 수 있다. 또한, 본 발명의 일 실시예에 따른 영상 공유 방법은 머리 장착형 디스플레이 1000에서의 양안용 영상 데이터의 출력과 병행하여 이루어질 수도 있다.
동작 501에서 머리 장착형 디스플레이 1000(의 전자 장치 100)은 외부 장치 2000과 통신 연결을 수립할 수 있다. 일 실시예에 따르면 상기 통신 연결은 유선 및 무선 통신을 이용한 연결에 해당할 수 있다. 예를 들어, 근거리 무선 통신을 이용하는 경우 머리 장착형 디스플레이 1000은 인근에 있는 외부 장치 2000을 탐색할 수 있다. 머리 장착형 디스플레이 1000은 탐색된 외부 장치 2000과 Bluetooth, Wi-Fi, ZIGBEE, Z-WAVE 등의 무선 프로토콜을 이용하여 연결을 수립할 수 있다.
예를 들어, 머리 장착형 디스플레이 1000은 외부 장치 2000과 Bluetooth 모듈을 이용하여 페어링(pairing)을 수행할 수 있다. 상기 페어링은, 외부 장치 2000이 페어링 요청 메시지를 머리 장착형 디스플레이 1000으로 전송하고, 상기 머리 장착형 디스플레이 1000이 외부 장치 2000으로 페어링 승인 응답 메시지를 전송함으로써 이루어질 수 있다.
일 실시예에 따르면, 머리 장착형 디스플레이 1000은, 상기 탐색된 외부 장치 2000과 영상 공유 방법을 수행한 이력이 있는지, 또는 상기 탐색된 외부 장치 2000이 머리 장착형 디스플레이 1000의 장치 리스트에 등록된 장치인지를 고려하여 연결을 수립할 수도 있다.
동작 503에서 머리 장착형 디스플레이 1000은, 본 발명의 다양한 실시예에 따른 영상 공유 방법의 수행 여부에 관한 입력을 사용자로부터 수신할 수 있다. 특정 실시예에 따르면, 상기 영상 공유 방법의 수행 여부에 관한 입력은, NFC 태그를 이용한 태깅(tagging)을 통하여 수신될 수도 있다.
동작 505에서 머리 장착형 디스플레이 1000은, 자신의 장치에 저장된 가상현실 콘텐츠와 동일한 가상현실 콘텐츠가 외부 장치 2000에 저장되어 있는지 판단할 수 있다. 예를 들어, 가상현실 콘텐츠가 외부 장치 2000에 저장되어 있는지의 판단은, 머리 장착형 디스플레이 1000가 콘텐츠 확인 요청 메시지를 외부 장치 2000으로 전송하고, 이에 응답하여 상기 머리 장착형 디스플레이 1000이 콘텐츠 확인 응답 메시지를 상기 외부 장치 2000으로부터 수신함으로써 이루어질 수 있다. 머리 장착형 디스플레이 1000은 상기 콘텐츠 확인 응답 메시지를 기초로 가상현실 콘텐츠가 외부 장치 2000에 저장되어 있다고 판단하면 동작 507을 수행할 수 있고, 그러하지 않다고 판단하면 동작 513을 수행할 수 있다.
동작 507에서 머리 장착형 디스플레이 1000은, 외부 장치 2000이 머리 장착형 디스플레이인지 (혹은, 외부 장치 2000이 머리 장착형 장치에 연결되어 있는지) 판단할 수 있다. 동작 507의 판단은 장치 확인 요청 메시지와 이에 대한 응답 메시지가 송수신됨으로써 수행될 수 있다. 외부 장치 2000이 머리 장착형 디스플레이 (혹은, 외부 장치 2000이 머리 장착형 장치에 연결된 것)이면 동작 509로 진행할 수 있고, 그러하지 않은 경우 동작 511로 진행할 수 있다.
일 실시예에 따르면, 상기 동작 507에 따른 판단은 동작 501에서 외부 장치와 연결을 수립할 때 미리 판단될 수도 있다. 예를 들어, 머리 장착형 디스플레이 1000이 Bluetooth를 통해 외부 장치 2000과 연결되는 경우, 동작 501의 상기 페어링 요청 메시지에는 장치 식별 정보가 포함되어 전달될 수 있다. 예컨대, 장치 식별 정보는 상기 페어링 요청 메시지의 128 Byte의 UUID(Universally Unique Identifier) 중 1bit에 할당될 수 있다. 상기 1 bit가 '1'이면 외부 장치 2000이 머리 장착형 디스플레이(혹은, 외부 장치 2000이 머리 장착형 장치에 연결된 것)에 해당하는 것을 나타내고, 상기 1 bit가 '0'이면 외부 장치 2000이 머리 장착형 디스플레이에 해당하지 않은 것을 나타낼 수 있다.
동작 509에서, 머리 장착형 디스플레이 1000은, 외부 장치 2000에 동일한 가상현실 콘텐츠가 저장되어 있고, 상기 외부 장치 2000이 머리 장착형 디스플레이(혹은, 외부 장치 2000이 머리 장착형 장치에 연결된 것)에 해당한다고 판단하였으므로, 양안용 영상 데이터의 재생 관련 데이터를, 외부 장치 2000으로 전송하도록 결정할 수 있다(도 1a의 경우).
일 실시예에 따르면, 상기 재생 관련 데이터는 재생시간(재생 타이밍), 재생시간에 따른 가상공간 내에서의 위치 데이터, 및 상기 가상공간 내에서 사용자가 바라보는 시야(FoV) 데이터를 포함할 수 있다. 외부 장치 2000은 상기 재생 관련 데이터와 미리 저장하고 있던 가상현실 콘텐츠를 이용하여 스테레오스코픽 영상을 해당 사용자에게 제공할 수 있다.
일례에 따르면, 상기 재생 관련 데이터에는 머리 장착형 디스플레이 1000의 사용자의 사용자 센싱 데이터가 동기화되어 반영될 수 있으므로, 외부 장치 2000은 머리 장착형 디스플레이 1000의 사용자의 사용자 센싱 데이터가 반영된 스테레오스코픽 영상을 제공할 수 있다. 다시 말해, 외부 장치 2000은 머리 장착형 디스플레이 1000와 동일한 영상을 해당 사용자에게 제공할 수 있다.
또한, 다른 예에 따르면, 외부 장치 2000은 머리 장착형 디스플레이 1000으로부터 수신한 재생 관련 데이터에 외부 장치 2000의 사용자 센싱 데이터를 반영할 수 있다. 이로써 외부 장치 2000은 머리 장착형 디스플레이 1000의 사용자와 상이한 영상을 제공할 수 있다. 다시 말해, 외부 장치 2000은 머리 장착형 디스플레이 1000와 동일한 가상공간 내에서, 동일한 타이밍으로 머리 장착형 디스플레이 1000와 상이한 스테레오스코픽 영상을 제공할 수 있다.
동작 511에서 머리 장착형 디스플레이 1000은, 외부 장치 2000에 동일한 가상현실 콘텐츠가 저장되어 있고, 상기 외부 장치 2000이 머리 장착형 디스플레이(혹은, 외부 장치 2000이 머리 장착형 장치에 연결된 것)에 해당하지 않는다고 판단하였으므로, 모노 영상 데이터의 재생 관련 데이터를 외부 장치 2000으로 전송하도록 결정할 수 있다. 외부 장치 2000은, 머리 장착형 디스플레이 1000으로부터 수신한 재생 관련 데이터와, 내부에 저장된 가상현실 콘텐츠를 이용하여 모노 영상 데이터를 생성할 수 있다(도 1b의 경우).
일례에 따르면, 상기 재생 관련 데이터에는 머리 장착형 디스플레이 1000의 사용자의 사용자 센싱 데이터가 동기화되어 반영될 수 있으므로, 외부 장치 2000은 머리 장착형 디스플레이 1000의 사용자의 사용자 센싱 데이터가 반영된 모노 영상을 제공할 수 있다. 다시 말해, 외부 장치 2000은 머리 장착형 디스플레이 1000에서 출력되고 있는 스테레오스코픽 영상에 대응하는 모노 영상을 해당 사용자에게 제공할 수 있다.
또한, 다른 예에 따르면, 외부 장치 2000은 머리 장착형 디스플레이 1000으로부터 수신한 재생 관련 데이터에 외부 장치 2000의 사용자 센싱 데이터를 반영할 수 있다. 이로써 외부 장치 2000은 머리 장착형 디스플레이 1000의 사용자와 상이한 영상을 제공할 수 있다. 다시 말해, 외부 장치 2000은 머리 장착형 디스플레이 1000와 동일한 가상공간 내에서 동일한 타이밍으로 머리 장착형 디스플레이 1000와 상이한 모노 영상을 제공할 수 있다.
동작 513에서 머리 장착형 디스플레이 1000은, 외부 장치 2000이 머리 장착형 디스플레이인지 (혹은, 외부 장치 2000이 머리 장착형 장치에 연결되어 있는지) 판단할 수 있다. 동작 513의 판단은 동작 507의 판단에 대응할 수 있다. 외부 장치 2000이 머리 장착형 디스플레이 (혹은, 외부 장치 2000이 머리 장착형 장치에 연결된 것)이면 동작 515로 진행할 수 있고, 그러하지 않은 경우 동작 517로 진행할 수 있다.
동작 515에서 머리 장착형 디스플레이 1000은, 외부 장치 2000에 동일한 가상현실 콘텐츠가 저장되어 있지 않고, 상기 외부 장치 2000이 머리 장착형 디스플레이(혹은, 외부 장치 2000이 머리 장착형 장치에 연결된 것)에 해당한다고 판단하였으므로, 양안용 영상 데이터를 외부 장치 2000으로 전송하도록 결정할 수 있다(도 1c의 경우). 외부 장치 2000은 머리 장착형 디스플레이 1000의 사용자 센싱 데이터가 반영된 양안용 영상 데이터를 출력할 수 있다. 즉, 외부 장치 2000의 사용자는 머리 장착형 디스플레이 1000의 사용자와 동일한 스테레오스코픽 영상을 제공받을 수 있다. 한편, 일례에 따르면, 상기 양안용 영상 데이터는 스트리밍 방식으로 외부 장치 2000으로 전송될 수 있다.
동작 517에서 머리 장착형 디스플레이 1000은, 외부 장치 2000에 동일한 가상현실 콘텐츠가 저장되어 있지 않고, 상기 외부 장치 2000이 머리 장착형 디스플레이(혹은, 외부 장치 2000이 머리 장착형 장치에 연결된 것)에 해당하지 않는다고 판단하였으므로, 머리 장착형 디스플레이 1000에서 출력되고 있는 양안용 영상 데이터에 대응되는 모노 영상 데이터를 생성하고, 상기 모노 영상 데이터를 외부 장치 2000으로 전송하도록 결정할 수 있다(도 1d의 경우). 외부 장치 2000은 머리 장착형 디스플레이 1000의 사용자 센싱 데이터가 반영된 모노 영상 데이터를 출력할 수 있다. 즉, 외부 장치 2000의 사용자는 머리 장착형 디스플레이 1000의 사용자가 제공받고 있는 스테레오스코픽 영상에 대응하는 모노 영상을 제공받을 수 있다.
본 발명의 다양한 영상 공유 방법에 따르면, 머리 장착형 디스플레이 1000은 외부 장치 2000가 동일한 가상현실 콘텐츠를 저장하고 있는지, 및/또는 상기 외부 장치 2000의 유형에 따라서, 공유할 영상과 관련된 데이터를 결정할 수 있다.
예를 들어, 외부 장치 2000가 머리 장착형 디스플레이 1000에 저장된 가상현실 콘텐츠와 동일한 콘텐츠를 저장하고 있으면, 영상 데이터가 아닌 재생과 관련된 데이터를 전송하므로, 양 장치간의 데이터 트래픽을 최소한으로 억제할 수 있다.
또한, 외부 장치 2000가 상기 가상현실 콘텐츠를 저장하지 않더라도, 상기 외부 장치 2000의 유형에 따라 가장 적합한 영상 데이터를 전송할 수 있는 이점이 있다. 아울러, 상기 전송되는 영상 데이터는 스트리밍 방식으로 전송될 수 있으므로, 콘텐츠의 불법 복제를 미연에 방지할 수도 있다.
도 6은 본 발명의 일 실시예에 따른 사용자 센싱 데이터를 설명하기 위한 도면이다.
도 6의 좌측에 도시한 바와 같이, 사용자 10은 머리 장착형 디스플레이 1000(전자 장치 100 및 머리 장착형 장치 200을 포함함)을 장착하고 가상현실 콘텐츠에 기반한 스테레오스코픽 영상을 시청할 수 있다. 한편, 머리 장착형 디스플레이 1000에 내장된 전자 장치 100의 디스플레이 150에서는 양안용 영상 데이터가 출력될 수 있다. 머리 장착형 장치 200의 센서 모듈 330은 상기 머리의 움직임을 검출하여 헤드 트래킹 데이터(사용자 센싱 데이터)를 생성할 수 있다. 예를 들어, 헤드 트래킹 데이터는 사용자의 머리의 가속도 정보를 포함할 수 있다.
도 6의 우측 하단 그래프를 참조하면, 상기 센서 모듈 170 및/또는 330은 사용자 10의 머리의 x축, y축, 및 z축 방향의 가속도를 검출할 수 있다. 상기 검출된 가속도 정보(즉, 헤드 트래킹 데이터)는 가상현실 콘텐츠에 따른 영상의 재생시간, 및 상기 재생시간에 따른 가상공간에서의 위치 데이터와 동기할 수 있다(도 6의 우측 상단 그래프 참조). 즉, 사용자 센싱 데이터는 재생 관련 정보에 반영됨으로써 가상현실 콘텐츠에 기반한 영상의 제공에 영향을 미칠 수 있다.
예를 들어, 도 6의 우측 상단 그래프와 같이, t1 시점에서 사용자 10은 가상공간의 A 위치에 존재할 수 있다. 사용자 10이 t1 ~ t2 동안 머리를 움직이면, 사용자 10은 상기 가상공간 내 A 위치에서, 상기 머리의 움직임에 따라 변화되는 영상(스테레오스코픽 영상)을 시청할 수 있다. 즉, 사용자 10의 머리의 움직임에 따른 가속도 변화는 가상공간 내에서 사용자의 시야(FoV)에 영향을 주고, 상기 시야의 변화에 수반하여 사용자에게 제공되는 영상이 변화할 수 있다.
한편, 재생시간이 t2에 이르면 사용자에게 다른 장면(scene)이 제공될 수 있다. 예를 들어 가상공간 내 A 위치는 B 위치로 전환될 수 있다. 이어서, 사용자 10는 B 위치의 가상공간에서 자신의 머리의 움직임에 따라 변화되는 영상을 제공받을 수 있다.
상기 헤드 트래킹 데이터는 사용자 센싱 데이터의 일례로서, 사용자 센싱 데이터는, 가상공간 내 객체(예: 가상공간 내에서의 사용자 10)의 이동 데이터, 및 사용자 10의 모션 데이터, 사용자 10의 시선 추적 데이터 등을 포함할 수 있다.
예를 들어, 상기 가상공간 내 객체의 이동 데이터는 사용자의 보행에 의한 이동, 또는 입력장치의 조작(예: 도 2의 머리 장착형 장치 200의 입력부 206에 대한 사용자 입력, 외부 콘솔을 이용한 사용자 입력) 등에 의해 획득될 수 있다. 또한, 상기 사용자 10의 모션 데이터는 카메라, 또는 제스처 센서에 의하여 획득될 수 있으며, 상기 시선 추적 데이터는 시선 추적기에 의해 획득될 수 있다.
또한, 상기 헤드 트래킹 데이터는 가속도 센서뿐만 아니라 자이로 센서, 지자계 센서 등으로부터 얻어지는 데이터를 기초로 더욱 정밀하게 얻어질 수도 있다. 이와 같은 다양한 사용자 센싱 데이터는 재생 관련 데이터에 반영되어 사용자에게 제공되는 스테레오스코픽 영상에 영향을 미칠 수 있다.
도 7은 본 발명의 일 실시예에 따른 스테레오스코픽 영상이 제공되는 예를 나타낸다.
도 7을 참조하면, 머리 장착형 디스플레이 1000(전자 장치 100 및 머리 장착형 장치 200을 포함함)을 장착한 사용자 10은 가상공간 702 내에서 소정의 시야(FoV)에 따른 스테레오스코픽 영상 701을 시청할 수 있다. 스테레오스코픽 영상 701에는 한 산악인이 산을 오르는 뒷모습이 포함되어 있다. 이때, 머리 장착형 디스플레이 1000에 포함된 전자 장치 100의 디스플레이 150에는 양안용 영상 데이터에 기초한 좌안 영상 화면 701L 및 우안 영상 화면 701R이 표시될 수 있다.
일 실시예에 따르면, 도 6에서 설명한 바와 같이, 사용자 10 신체의 움직임(예: 머리의 회전, 보행에 따른 이동)에 따라서, 상기 가상 공간 701에서의 시야(FoV) 또는 가상공간 701에서의 위치가 변경될 수 있다. 사용자 10는 상기 시야 및 위치의 변경에 수반하여 변화한 스테레오스코픽 영상을 제공받을 수 있다.
요컨대, 사용자 10이 제공받는 영상은 재생시간에 따라 변화할 수 있는 가상공간 내에서의 영상에 해당할 수 있으며, 상기 사용자 10의 사용자 센싱 정보는 상기 가상공간 내에서의 시야 또는 위치에 반영되므로, 상기 사용자 10은 상기 가상공간 내에서 자신의 움직임에 따라 변화하는 영상을 제공받을 수 있다. 이로써 사용자는 자신의 움직임에 따른 스테레오스코픽 영상을 실감나게 제공받을 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 공유 방법에 의해 외부 장치에서 출력되는 영상을 설명하기 위한 도면이다.
도 8을 참조하면, 머리 장착형 디스플레이 2000a(외부 장치)에 내장된 전자 장치가 도시되어있다. 상기 머리 장착형 디스플레이 2000a에 내장된 전자 장치는 양안용 영상 데이터를 디스플레이에 표시함으로써 사용자에게 스테레오스코픽 영상을 제공할 수 있다. 상기 양안용 영상 데이터에 의해, 머리 장착형 디스플레이 2000a에 내장된 전자 장치의 디스플레이에는 좌안 영상 화면 801L 및 우안 영상 화면 801R이 표시될 수 있다.
예를 들어, 상기 양안용 영상 데이터는 도 5의 동작 509 또는 동작 515에서의 외부 장치에서 출력될 수 있다. 이 경우, 영상을 공유하는 측인 머리 장착형 디스플레이 1000에서도, 도 8의 좌안 영상 화면 801L 및 우안 영상 화면 801R과 동일한 화면이 표시될 수 있다(예: 도 7 참조).
도 9는 본 발명의 일 실시예에 따른 영상 공유 방법에 의해 외부 장치에서 출력되는 모노 영상을 설명하기 위한 도면이다.
도 9를 참조하면, 머리 장착형 장치(예: 도 2의 머리 장착형 장치 200)에 탑재되지 않고, stand-alone 상태로 동작하는 전자 장치 2000b(외부 장치)가 도시되어있다. 상기 전자 장치 2000b는 모노 영상 데이터를 디스플레이에 표시함으로써 사용자에게 모노 영상 901을 제공할 수 있다.
예를 들어, 상기 모노 영상 901은 도 5의 동작 511 또는 동작 517에서의 외부 장치에서 출력될 수 있다. 이 경우, 영상을 공유하는 측인 머리 장착형 디스플레이 1000에서는, 예컨대 도 7의 좌안 영상 화면 701L 및 우안 영상 화면 701R에 의한 스테레오스코픽 영상 701이 제공될 수 있다. 즉, 외부 장치인 전자 장치 2000b에는 상기 스테레오스코픽 영상 701에 대응되는 모노 영상 901이 출력될 수 있다.
도 10은 본 발명의 일 실시예에 따른 전자 장치의 영상 제공 방법을 나타낸다.
도 10을 참조하면, 본 발명의 일 실시예에 따른 전자 장치의 영상 제공 방법은 동작 1001 내지 동작 1007을 포함할 수 있다.
예를 들어, 도 10에 도시된 영상 제공 방법을 수행하는 전자 장치는, 도 1a의 머리 장착형 디스플레이 2000a(에 포함된 전자 장치) 또는 도 1b의 전자 장치 2000b에 해당할 수 있다. 한편, 도 10에서의 외부 장치는 도 1a또는 도 1b의 머리 장착형 디스플레이 1000에 해당할 수 있다.
유사하게, 도 10의 전자 장치는 도 5의 동작 509 또는 동작 511에서의 외부 장치 2000에 해당할 수 있고, 도 10에서의 외부 장치는 도 5의 각 동작을 수행하는 머리 장착형 디스플레이 1000에 해당할 수 있다.
도 10에 있어서, 참조번호는 도 5와 동일하게 부여하기로 한다. 아울러, 도 10의 전자 장치는 도 5의 동작 509 또는 동작 511에서의 외부 장치에 대응하는바(즉, 동작 505에서 'Yes'), 도 10의 전자 장치 2000과 외부 장치 1000에는 공히 동일한 가상현실 콘텐츠가 저장되어 있을 수 있다.
동작 1001에서 전자 장치 2000은 스테레오스코픽 영상의 재생과 관련된 데이터를 외부 장치 1000로부터 수신할 수 있다. 전술한 바와 같이, 재생 관련 데이터는 재생시간에 따른 가상공간 내에서의 위치 데이터, 상기 가상공간 내에서 사용자가 바라보는 시야(FoV) 데이터, 음향 데이터, 화면 밝기 데이터 등을 포함할 수 있다.
동작 1003에서 전자 장치 2000은, 사용자의 움직임을 검출하여 사용자 센싱 데이터 생성할 수 있다. 전술한 바와 같이, 사용자 센싱 데이터는, 사용자의 헤드 트래킹 데이터, 가상현실 콘텐츠의 가상공간 내 객체의 이동 데이터, 사용자의 모션 데이터, 및 사용자의 시선 추적 데이터 중 적어도 하나를 포함할 수 있다.
동작 1005에서 전자 장치 2000은 외부 장치 1000으로부터 수신한 재생과 관련된 데이터에 전자 장치 2000의 사용자 센싱 데이터를 반영할 수 있다. 즉, 전자 장치 2000은 가상현실 콘텐츠에 기반한 영상을 생성함에 있어서, 전자 장치 2000 자신의 사용자 센싱 데이터를 반영할 수 있다. 예를 들어, 헤드 트래킹 데이터는 가상공간 내에서 사용자의 시야(FoV)에 영향을 줄 수 있다.
동작 1007에서 전자 장치 2000은 영상 데이터를 상기 재생 관련 데이터에 따라서 생성하여 출력(혹은 재생)할 수 있다. 예를 들어, 전자 장치 2000이 머리 장착형 디스플레이 2000a에 해당하는 경우, 상기 생성되는 영상 데이터는 양안용 영상 데이터에 해당할 수 있다(도 1a 및 도 5의 동작 509의 경우). 한편, 전자 장치 2000이 stand-alone 상태의 전자 장치 2000b에 해당하는 경우, 상기 생성되는 영상 데이터는 모노 영상 데이터에 해당할 수 있다(도 1b 및 도 5의 동작 511의 경우)
도 11은 본 발명의 일 실시예에 따른 전자 장치에서 재생 관련 데이터에 사용자 센싱 데이터가 반영되는 것을 설명하기 위한 도면이다.
도 11의 좌측을 참조하면, 머리 장착형 디스플레이 2000a를 장착한 사용자 20이 도시되어 있다. 상기 머리 장착형 디스플레이 2000a는 외부 장치 1000과 동일한 가상현실 콘텐츠를 저장할 수 있으며, 상기 외부 장치 1000으로부터 재생 관련 데이터를 수신할 수 있다. 즉, 상기 머리 장착형 디스플레이 2000a는 도 10의 영상 제공 방법을 수행할 수 있다.
예컨대, 머리 장착형 장치 2000a는 사용자 20의 머리의 움직임을 검출하여 헤드 트래킹 데이터(사용자 센싱 데이터)를 생성할 수 있다. 예를 들어, 헤드 트래킹 데이터는 사용자 20의 머리의 가속도 정보를 포함할 수 있다.
도 11의 우측 하단 그래프를 참조하면, 머리 장착형 장치 2000a는 사용자 20의 머리의 x축, y축, 및 z축 방향의 가속도를 검출할 수 있다. 상기 검출된 가속도 정보(즉, 헤드 트래킹 데이터)는, 외부 장치 1000으로부터 수신한 재생 관련 데이터, 즉, 상기 재생시간에 따른 가상공간에서의 위치 데이터와 동기할 수 있다(도 11의 우측 상단 그래프 참조). 즉, 사용자 20의 사용자 센싱 데이터는 외부 장치 1000으로부터 수신된 재생 관련 정보에 반영됨으로써 가상현실 콘텐츠에 기반한 영상의 제공에 영향을 미칠 수 있다.
예를 들어, 도 11의 우측 상단 그래프와 같이, t1 시점에서 사용자 20은 가상공간의 A 위치에 존재할 수 있다. 사용자 20이 t1 ~ t2 동안 머리를 돌리면, 사용자 10은 상기 가상공간 내 A 위치에서, 상기 머리의 움직임에 따라 변화되는 영상(스테레오스코픽 영상)을 시청할 수 있다. 즉, 사용자 10의 머리의 움직임에 따른 가속도 변화는 가상공간 내에서 사용자의 시야(FoV)에 영향을 주고, 상기 시야의 변화에 수반하여 사용자에게 제공되는 영상이 변화할 수 있다.
도 12는 본 발명의 일 실시예에 따른 전자 장치에 있어서, 사용자 센싱 데이터가 반영된 영상을 재생하는 것을 설명하기 위한 도면이다.
도 12를 참조하면, 머리 장착형 디스플레이 2000a를 장착한 사용자 20은 가상공간 1202 내에서 소정의 시야(FoV)에 따른 스테레오스코픽 영상 1201을 시청할 수 있다. 스테레오스코픽 영상 1201에는 한 산악인이 산을 오르는 앞모습이 포함되어 있다. 이때, 머리 장착형 디스플레이 2000a에 포함된 전자 장치의 디스플레이에는 양안용 영상 데이터에 기초한 좌안 영상 1201L 및 우안 영상 1201R이 표시될 수 있다.
일 실시예에 따르면, 도 11에서 설명한 바와 같이, 사용자 20의 머리의 회전에 따라서, 상기 가상 공간 701에서의 시야(FoV)가 변경될 수 있다. 예를 들어, 사용자 20은 머리를 특정 시점(예: t1)에 180도 돌린 경우, 산을 오르는 산악인의 뒷모습이 포함된 스테레오스코픽 영상이 재생되고 있는 외부 장치 1000에서와는 달리(도 7 참조), 가상공간의 A 위치에서 다른 시야에 의한 스테레오스코픽 영상, 즉 산을 오르는 다른 산악인의 앞모습을 포함한 영상이 재생될 수 있다.
요컨대, 사용자 20이 제공받는 영상은 외부 장치 1000으로부터 수신한 재생 관련 데이터에 사용자 20의 사용자 센싱 정보가 반영된 영상에 해당할 수 있다. 상기 사용자 20은 상기 가상공간 내에서 자기자신의 움직임에 따라 변화하는 영상을 외부 장치 1000와 동일한 타이밍으로 제공받을 수 있다. 이로써 사용자는 외부 장치 1000의 사용자와 동 시점에, 가상현실 콘텐츠의 스테레오스코픽 영상을 자신의 움직임에 기초하여 실감나게 제공받을 수 있다. 이를 통해 사용자 20은, 외부 장치의 사용자의 움직임이 반영된 가상현실 데이터를 감상할 경우(예: 도 8의 경우)에 발생할 수 있는 멀미 현상을 회피할 수 있다.
도 13은 본 발명의 일 실시예에 따른 전자 장치에 있어서, 특정 시점(view point)에서 영상을 재생하는 것을 설명하기 위한 도면이다.
도 13을 참조하면, 머리 장착형 디스플레이 2000a를 장착한 사용자 20은 가상공간 1302 밖에서 특정 시점(혹은 시야(FoV))에 따른 스테레오스코픽 영상 1301을 시청할 수 있다. 스테레오스코픽 영상 1301에는 복수의 산악인들이 산을 오르는 모습이 제3의 시점에서 조망되고 있다. 이때, 머리 장착형 디스플레이 2000a에 포함된 전자 장치의 디스플레이에는 양안용 영상 데이터에 기초한 좌안 영상 1301L 및 우안 영상 1301R이 표시될 수 있다.
일 실시예에 따르면, 사용자 20가 가상공간을 조망하는 일 시점은 특정 객체(예: 스테레오스코픽 영상 1301 내의 어느 한 산악인)가 아닌 제3의 시점일 수 있다. 상기 제3의 시점은 가상공간의 외부에서 바라본 시점(이른바, 전지적 작가 시점)에 해당할 수 있다.
상기 제3의 시점에 따른 스테레오스코픽 영상 1301은 사용자의 보행에 의해 검출되는 이동 데이터(사용자 센싱 정보)에 기초하여 설정될 수 있다. 즉, 사용자 20이 특정 시점에 미리 설정된 방향(예: 사용자 20의 배면 방향)으로 보행한 경우, 산을 오르는 한 산악인의 뒷모습이 포함된 스테레오스코픽 영상이 재생되고 있는 외부 장치 1000에서와는 달리(도 7 참조), 머리 장착형 디스플레이 2000a에서는, 가상공간 1302를 상기 제3의 시점에서 바라본 스테레오스코픽 영상, 즉 복수의 산악인들이 산을 오르는 모습을 포함한 영상이 제공될 수 있다.
요컨대, 사용자 20이 제공받는 영상은 외부 장치 1000으로부터 수신한 재생 관련 데이터에 사용자 20의 사용자 센싱 정보가 반영된 영상에 해당할 수 있다. 상기 사용자 20은, 자기자신의 움직임에 따라서 제3의 시점에 따른 영상을 외부 장치 1000와 동일한 타이밍으로 제공받을 수 있다. 이로써, 사용자 20은, 외부 장치 1000의 사용자의 움직임이 그대로 반영된 스테레오스코픽 영상을 감상할 경우에 발생할 수 있는 멀미 현상을 회피할 수 있다.
한편, 다양한 실시예에 따르면, 상기 제3의 시점은 전지적 작가 시점에 제한되지 않는다. 예를 들어, 가상공간 1302에 새로운 객체를 생성하고, 상기 객체로부터 가상공간을 바라보는 시점을 설정할 수도 있다. 이를 통해, 머리 장착형 디스플레이 2000a의 사용자 20은 가상현실 콘텐츠에 기반하여 매우 다양한 사용자 경험을 제공받을 수 있다.
도 14는 본 발명의 일 실시예에 따른 전자 장치가 복수의 전자 장치와 영상 공유 방법을 수행하는 것을 설명하기 위한 도면이다.
도 14를 참조하면, 본 발명의 다양한 실시예에 따른 전자 장치는 TV 박스 1401(예를 들면, 삼성 HomeSync™ 등)로 구현될 수 있다. 상기 TV 박스 1401은 예를 들어, 도 2의 프로세서 120, 메모리 130, 입출력 인터페이스 140, 통신 모듈 160 등을 구비하고, 본 발명의 다양한 실시예에 따른 영상 공유 방법을 수행할 수 있다. 일 실시예에 따르면, 상기 TV 박스 1401은, 외부 장치로부터 도 2의 센서 모듈 120, 디스플레이 150에 대응하는 기능을 지원받을 수도 있다. 통상적으로 일반 가정의 댁내에 구비될 수 있는 상기 TV 박스 1401은 홈 허브(Home Hub), 스마트 홈 서버(Smart Home Server) 등으로 다양하게 참조될 수 있다.
TV 박스 1401은, 대형 디스플레이 패널을 구비한 스마트 TV 1403, 머리 장착형 장치에 탑재된 스마트폰 1405, 또는 독자적으로 구동하는 (즉, stand-alone으로 구동하는) 스마트폰 1407과 지정된 프로토콜을 이용하여 유선 또는 무선으로 통신할 수 있다. 상기 스마트 TV 1403, 스마트폰 1405, 또는 스마트폰 1407(이하, 스마트 TV 1403 등)은 상기 TV 박스 1401과 상호작용함으로써, 본 발명의 다양한 실시예에 따른 영상 공유 방법을 위한 다양한 UI(User Interface) 화면을 사용자에게 제공할 수 있다.
일 실시예에 따르면, 스마트 TV 1403 등은, 상기 다양한 UI 화면을 통해, 가상현실 콘텐츠를 저장한 TV 박스 1401에 대해 상기 가상현실 콘텐츠의 공유를 요청할 수 있다. TV 박스 1401은 상기 요청에 응답하여, 스마트 TV 1403 등이 동일한 가상현실 콘텐츠를 각각 저장하고 있는지, 및/또는 머리 장착형 장치에 연결되어 있는지 판단할 수 있다. TV 박스 1401은 상기 판단 결과에 기초하여, 스마트 TV 1403 등으로 가상현실 콘텐츠에 기반한 영상 데이터 혹은 재생 관련 데이터를 전송할 수 있다.
예를 들어, 스마트 TV 1403은 TV 박스 1401에 저장된 가상현실 콘텐츠를 저장하고 있지 않고, 스마트폰 1405 및 1407은 상기 가상현실 콘텐츠를 저장하고 있다고 가정할 수 있다.
이 경우, TV 박스 1401은, 스마트 TV 1403이 동일한 가상현실 콘텐츠를 저장하고 있지 않고, 머리 장착형 장치에 연결되어 있지 않으므로, 상기 가상현실 콘텐츠에 기반한 모노 영상 데이터를 스마트 TV 1403으로 전송할 수 있다. 또한, TV 박스 1401은, 스마트폰 1405가 동일한 가상현실 콘텐츠를 저장하고 있고, 머리 장착형 장치에 연결되어 있으므로, 상기 가상현실 콘텐츠에 기반한 양안용 영상 데이터의 재생 관련 데이터를 스마트 TV 1403으로 전송할 수 있다. 또한, TV 박스 1401은, 스마트폰 1407이 동일한 가상현실 콘텐츠를 저장하고 있고, 머리 장착형 장치에 연결되어 있지 않으므로, 상기 가상현실 콘텐츠에 기반한 모노 영상 데이터의 재생 관련 데이터를 스마트폰 1407로 전송할 수 있다.
본 발명의 일 실시예에 따른 TV 박스에 의하면, 다양한 전자 장치(예: 스마트 TV, 머리 장착형 디스플레이, 스마트폰 등)를 이용하고 있는 사용자들은, 각 전자 장치에 가장 적합한 형태로 가상현실 콘텐츠를 공유받을 수 있다.
본 발명의 다양한 실시예에 사용된 용어 "모듈"은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 발명의 다양한 실시예에 따른 "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 본 발명의 다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 하나 이상의 프로세서 (예: 도 4의 프로세서 120)에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 도 4의 메모리 130가 될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는, 예를 들면, 상기 프로세서 120에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령(예: 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
본 발명의 다양한 실시예에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 발명의 다양한 실시예에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
다양한 실시예에 따르면, 명령들을 저장하고 있는 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 전자 장치와 연결된 외부 장치에 동일한 가상현실 콘텐츠가 저장되어 있는지 여부를 판단하는 동작; 및 상기 판단 결과에 기초하여 외부 장치와 공유할 데이터를 결정하는 동작을 포함할 수 있다.
그리고 본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 실시예에 따른 의 기술 내용을 쉽게 설명하고 본 발명의 실시예의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 실시예의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 다양한 실시예의 범위는 여기에 개시된 실시예들 이외에도 본 발명의 다양한 실시예의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 다양한 실시예의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 머리 장착형 장치(HMD; Head-Mounted Device)에 연결될 수 있는 전자 장치에 있어서,
    디스플레이;
    가상현실 콘텐츠를 저장하는 메모리;
    센서;
    프로세서; 및
    외부 장치와 통신하는 통신 회로를 포함하고,
    상기 프로세서는:
    상기 디스플레이에 상기 가상현실 콘텐츠에 기반한 양안용 영상 데이터를 재생하고,
    상기 센서를 이용하여, 사용자의 움직임을 검출하여 사용자 센싱 데이터를 생성하고,
    상기 사용자 센싱 데이터를 상기 양안용 영상 데이터의 재생과 관련된 데이터에 반영하고,
    상기 외부 장치에 상기 가상현실 콘텐츠가 저장되어 있는지 여부를 판단하고,
    상기 외부 장치에 상기 가상현실 콘텐츠가 저장되어 있는 경우, 상기 외부 장치로 상기 양안용 영상 데이터의 재생과 관련된 데이터를 전송하고 상기 가상현실 콘텐츠에 기반한 영상 데이터를 전송하지 않도록 상기 통신 회로를 제어하고,
    상기 외부 장치에 상기 가상현실 콘텐츠가 저장되어 있지 않는 경우, 상기 외부 장치로 상기 양안용 영상 데이터에 대응되고 상기 가상현실 콘텐츠에 기반한 상기 영상 데이터를 전송하도록 상기 통신 회로를 제어하도록 구성되고,
    상기 재생과 관련된 데이터는 상기 양안용 영상 데이터의 재생 시간에 따른 가상공간 내에서의 위치 데이터 및 상기 가상공간 내에서 상기 사용자가 바라보는 FoV(Field of View) 데이터를 포함하고,
    상기 재생과 관련된 데이터는 상기 외부 장치에 저장된 상기 가상현실 콘텐츠에 상기 사용자가 바라보는 영상의 방향 및 화각을 적용하기 위하여 이용되는, 전자 장치.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 사용자 센싱 데이터는, 상기 사용자의 헤드 트래킹 데이터, 상기 가상현실 콘텐츠의 가상공간 내 객체의 이동 데이터, 및 상기 사용자의 모션 데이터 중 적어도 하나를 포함하는, 전자 장치.1
  5. 삭제
  6. 삭제
  7. 청구항 1에 있어서,
    상기 프로세서는, 상기 통신 회로로 하여금 상기 가상현실 콘텐츠에 기반한 영상 데이터를 상기 외부 장치로 스트리밍(streaming) 하도록 구성되는, 전자 장치.
  8. 청구항 1에 있어서,
    상기 프로세서는, 상기 외부 장치가 머리 장착형 장치에 연결되었는지 더 판단하고, 상기 머리 장착형 장치와의 연결 여부에 따라서 상기 외부 장치로 전송될 영상 데이터를 상이하게 결정하도록 구성되는, 전자 장치.
  9. 청구항 8에 있어서,
    상기 외부 장치가 상기 머리 장착형 장치에 연결된 것으로 판단되면, 상기 프로세서는 상기 재생되는 양안용 영상 데이터를 상기 외부 장치로 전송될 영상 데이터로 결정하도록 구성되는, 전자 장치.
  10. 청구항 8에 있어서,
    상기 외부 장치가 상기 머리 장착형 장치에 연결되지 않은 것으로 판단되면, 상기 프로세서는 상기 재생되는 양안용 영상 데이터에 대응되는 모노 영상 데이터를 생성하고, 상기 모노 영상 데이터를 상기 외부 장치로 전송될 영상 데이터로 결정하도록 설정되는, 전자 장치.
  11. 삭제
  12. 삭제
  13. 가상현실 콘텐츠에 기반한 양안용 영상 데이터를 재생할 수 있는 전자 장치의 영상 공유 방법에 있어서,
    디스플레이에 상기 가상현실 콘텐츠에 기반한 양안용 영상 데이터를 재생하는 동작;
    외부 장치와 연결을 수립하는 동작;
    사용자의 움직임을 검출하여 사용자 센싱 데이터를 생성하는 동작;
    상기 사용자 센싱 데이터를 상기 양안용 영상 데이터의 재생과 관련된 데이터에 반영하는 동작;
    상기 가상현실 콘텐츠가 상기 외부 장치에 저장되어 있는지 여부를 판단하는 동작;
    상기 외부 장치에 상기 가상현실 콘텐츠가 저장되어 있는 경우, 상기 외부 장치로 상기 양안용 영상 데이터의 재생과 관련된 데이터를 전송하고 상기 가상현실 콘텐츠에 기반한 영상 데이터를 전송하지 않는 동작; 및
    상기 외부 장치에 상기 가상현실 콘텐츠가 저장되어 있지 않는 경우, 상기 외부 장치로 상기 양안용 영상 데이터에 대응되고 상기 가상현실 콘텐츠에 기반한 상기 영상 데이터를 전송하는 동작; 을 포함하고,
    상기 재생과 관련된 데이터는 상기 양안용 영상 데이터의 재생 시간에 따른 가상공간 내에서의 위치 데이터 및 상기 가상공간 내에서 상기 사용자가 바라보는 FoV(Field of View) 데이터를 포함하고,
    상기 재생과 관련된 데이터는 상기 외부 장치에 저장된 상기 가상현실 콘텐츠에 상기 사용자가 바라보는 영상의 방향 및 화각을 적용하기 위하여 이용되는, 영상 공유 방법.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 청구항 13에 있어서,
    상기 가상현실 콘텐츠에 기반한 영상 데이터는 스트리밍되어 공유되는, 영상 공유 방법.
  18. 청구항 13에 있어서,
    상기 판단하는 동작은, 상기 외부 장치가 머리 장착형 장치에 연결되어 있는지 판단하는 동작; 및
    상기 외부 장치가 머리 장착형 장치에 연결되어 있는지 여부에 따라서 상기 외부 장치와 공유될 영상 데이터를 상이하게 결정하는 동작; 을 포함하는, 영상 공유 방법.
  19. 청구항 18에 있어서,
    상기 외부 장치가 상기 머리 장착형 장치에 연결되어 있다고 판단되면, 상기 결정하는 동작은 상기 양안용 영상 데이터를 상기 외부 장치와 공유될 영상 데이터로 결정하는 동작을 포함하는, 영상 공유 방법.
  20. 청구항 18에 있어서,
    상기 외부 장치가 상기 머리 장착형 장치에 연결되어 있지 않다고 판단되면, 상기 결정하는 동작은,
    상기 양안용 영상 데이터에 대응되는 모노 영상 데이터를 생성하는 동작, 및
    상기 모노 영상 데이터를, 상기 외부 장치와 공유될 영상 데이터로 결정하는 동작을 포함하는 영상 공유 방법.
KR1020150082414A 2015-06-11 2015-06-11 영상 공유 방법 및 이를 수행하는 전자 장치 KR102349716B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150082414A KR102349716B1 (ko) 2015-06-11 2015-06-11 영상 공유 방법 및 이를 수행하는 전자 장치
US15/179,487 US10168981B2 (en) 2015-06-11 2016-06-10 Method for sharing images and electronic device performing thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150082414A KR102349716B1 (ko) 2015-06-11 2015-06-11 영상 공유 방법 및 이를 수행하는 전자 장치

Publications (2)

Publication Number Publication Date
KR20160145976A KR20160145976A (ko) 2016-12-21
KR102349716B1 true KR102349716B1 (ko) 2022-01-11

Family

ID=57516112

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150082414A KR102349716B1 (ko) 2015-06-11 2015-06-11 영상 공유 방법 및 이를 수행하는 전자 장치

Country Status (2)

Country Link
US (1) US10168981B2 (ko)
KR (1) KR102349716B1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10412438B2 (en) * 2016-03-14 2019-09-10 The Directv Group, Inc. Method and system for viewing sports content within a virtual reality environment
KR20180066327A (ko) * 2016-12-07 2018-06-19 삼성디스플레이 주식회사 표시장치 및 그의 구동방법
KR20180082692A (ko) 2017-01-10 2018-07-19 삼성디스플레이 주식회사 표시 장치 및 그의 구동 방법
US10796642B2 (en) 2017-01-11 2020-10-06 Samsung Display Co., Ltd. Display device
KR102635437B1 (ko) * 2017-02-28 2024-02-13 삼성전자주식회사 콘텐츠 공유 방법 및 이를 지원하는 전자 장치
US10405374B2 (en) * 2017-03-17 2019-09-03 Google Llc Antenna system for head mounted display device
KR102404734B1 (ko) * 2017-03-24 2022-06-07 삼성전자주식회사 컨텐트를 재생하는 전자 장치 및 컴퓨터 판독 가능한 기록 매체
US11494986B2 (en) * 2017-04-20 2022-11-08 Samsung Electronics Co., Ltd. System and method for two dimensional application usage in three dimensional virtual reality environment
KR102374404B1 (ko) * 2017-07-25 2022-03-15 삼성전자주식회사 콘텐트를 제공하기 위한 디바이스 및 방법
KR102374408B1 (ko) * 2017-09-08 2022-03-15 삼성전자주식회사 가상 현실에서의 포인터 제어 방법 및 전자 장치
US11043158B2 (en) * 2018-01-05 2021-06-22 Intel Corporation Video bandwidth optimization for multi-monitor systems
US10976982B2 (en) 2018-02-02 2021-04-13 Samsung Electronics Co., Ltd. Guided view mode for virtual reality
JP7057197B2 (ja) * 2018-04-12 2022-04-19 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
KR102543228B1 (ko) 2018-10-18 2023-06-13 삼성전자주식회사 포터블 장치 및 그 제어방법
CN111372112B (zh) 2018-12-26 2022-06-07 华为技术有限公司 一种视频同步显示的方法、装置及***
KR102174795B1 (ko) 2019-01-31 2020-11-05 주식회사 알파서클 가상현실을 표현하는 분할영상 사이의 전환시점을 제어하여 프레임 동기화를 구현하는 가상현실 영상전환방법 및 가상현실 영상재생장치
KR102174794B1 (ko) * 2019-01-31 2020-11-05 주식회사 알파서클 복수의 분할영상 중 재생되는 영상의 전환시점을 제어하는 가상현실 분할영상 전환방법 및 가상현실 영상재생장치
JP2022025464A (ja) * 2020-07-29 2022-02-10 株式会社AniCast RM アニメーション制作システム
CN113873313B (zh) * 2021-09-22 2024-03-29 乐相科技有限公司 一种虚拟现实画面分享方法及装置
WO2024048952A1 (ko) * 2022-08-30 2024-03-07 삼성전자주식회사 외부 전자 장치의 동작을 제어하는 전자 장치 및 그의 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090189890A1 (en) * 2008-01-27 2009-07-30 Tim Corbett Methods and systems for improving resource utilization by delaying rendering of three dimensional graphics
KR101373611B1 (ko) * 2012-12-28 2014-03-12 전자부품연구원 안경형 촬영／디스플레이 장치들을 이용한 3ｄ 영상 공유 시스템 및 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1739642B1 (en) 2004-03-26 2017-05-24 Atsushi Takahashi 3d entity digital magnifying glass system having 3d visual instruction function
US20080252637A1 (en) 2007-04-14 2008-10-16 Philipp Christian Berndt Virtual reality-based teleconferencing
KR20110038425A (ko) * 2009-10-08 2011-04-14 삼성에스디에스 주식회사 증강현실 환경에서 위치를 기반으로 한 컨텐츠 공유 시스템 및 방법
KR101376066B1 (ko) * 2010-02-18 2014-03-21 삼성전자주식회사 영상 표시 시스템 및 그 표시 방법
US9066200B1 (en) 2012-05-10 2015-06-23 Longsand Limited User-generated content in a virtual reality environment
US8834303B2 (en) 2012-10-06 2014-09-16 James Edward Jennings Arena baseball game system
KR20150044488A (ko) * 2013-10-16 2015-04-27 한국과학기술연구원 비디오 씨쓰루 헤드 마운티드 디스플레이 영상 컨텐츠 운용 방법 및 시스템
US9818225B2 (en) * 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090189890A1 (en) * 2008-01-27 2009-07-30 Tim Corbett Methods and systems for improving resource utilization by delaying rendering of three dimensional graphics
KR101373611B1 (ko) * 2012-12-28 2014-03-12 전자부품연구원 안경형 촬영／디스플레이 장치들을 이용한 3ｄ 영상 공유 시스템 및 방법

Also Published As

Publication number Publication date
US20160364198A1 (en) 2016-12-15
KR20160145976A (ko) 2016-12-21
US10168981B2 (en) 2019-01-01

Similar Documents

Publication Publication Date Title
KR102349716B1 (ko) 영상 공유 방법 및 이를 수행하는 전자 장치
KR102234928B1 (ko) 가상 현실 경험 공유
US20160063767A1 (en) Method for providing visual reality service and apparatus for the same
KR20180074369A (ko) 3차원 컨텐츠의 썸네일 관리 방법 및 그 장치
KR20170060485A (ko) 표시 모드에 따른 콘텐트를 표시하기 위한 전자 장치 및 방법
KR20160128119A (ko) 이동 단말기 및 이의 제어방법
US10643579B2 (en) HMD device and method for controlling same
KR20160024168A (ko) 전자 장치의 디스플레이 제어 방법 및 전자 장치
CN106067833B (zh) 移动终端及其控制方法
KR20150146295A (ko) 헤드 마운티드 디스플레이 및 그것의 제어방법
US10521013B2 (en) High-speed staggered binocular eye tracking systems
US20200286276A1 (en) Electronic device and method for displaying and generating panoramic image
KR102632270B1 (ko) 전자 장치 및 파노라마 영상 표시와 생성 방법
KR102400383B1 (ko) 전자 장치의 센서 데이터 획득 방법 및 이를 사용하는 전자 장치
US11126342B2 (en) Electronic device for controlling image display based on scroll input and method thereof
US10681340B2 (en) Electronic device and method for displaying image
KR20170073273A (ko) 헤드 마운트 디스플레이 장치
KR20170055296A (ko) Hmd 및 그 hmd의 제어 방법
US20230217007A1 (en) Hyper-connected and synchronized ar glasses
US20200396438A1 (en) Information processing device, information processing method, and computer program
US20210349310A1 (en) Highly interactive display environment for gaming
US11983306B2 (en) Peripheral tracking system and method
WO2023112838A1 (ja) 情報処理装置
WO2023145265A1 (ja) メッセージ送信装置及びメッセージ受信装置
WO2023015085A2 (en) Motion blur compensation through eye tracking

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant