KR102543228B1 - 포터블 장치 및 그 제어방법 - Google Patents

포터블 장치 및 그 제어방법 Download PDF

Info

Publication number
KR102543228B1
KR102543228B1 KR1020180124125A KR20180124125A KR102543228B1 KR 102543228 B1 KR102543228 B1 KR 102543228B1 KR 1020180124125 A KR1020180124125 A KR 1020180124125A KR 20180124125 A KR20180124125 A KR 20180124125A KR 102543228 B1 KR102543228 B1 KR 102543228B1
Authority
KR
South Korea
Prior art keywords
image
user
portable device
degree
information
Prior art date
Application number
KR1020180124125A
Other languages
English (en)
Other versions
KR20200043601A (ko
Inventor
김기보
김세준
황태돈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180124125A priority Critical patent/KR102543228B1/ko
Priority to PCT/KR2019/005888 priority patent/WO2020080632A1/ko
Priority to US17/276,595 priority patent/US11457195B2/en
Publication of KR20200043601A publication Critical patent/KR20200043601A/ko
Application granted granted Critical
Publication of KR102543228B1 publication Critical patent/KR102543228B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 사용자 시점의 변화에 따라 서버로부터 수신한 360도 영상의 일 영역을 이동하면서 표시하고, 디스플레이장치가 동기화된 영상을 표시하도록 하는 포터블 장치에 관한 것이다. 이에 의하면, 포터블 장치의 자원 및 전력에 대한 효율성 및 동기화의 정밀성이 향상된 미러링 기능을 구현할 수 있다.

Description

포터블 장치 및 그 제어방법{PORTABLE APPARATUS AND CONTROL METHOD THEREOF}
본 발명은 사용자 시점(View Point)의 변화에 따라 영역을 이동하면서 360도 영상을 표시하고, 디스플레이장치가 360도 영상의 영역과 동기화된 영상을 표시하도록 하는 포터블 장치 및 그 제어방법에 관한 발명이다.
최근 소형화된 포터블 장치를 활용한 가상 공간 체험이 유행하고 있다. 가상 현실(Virtual Reality) 체험이라고도 불리는 가상 공간 체험은 사용자의 움직임에 따라 포터블 장치에 표시되는 영상이 변하도록 하여, 사용자에게 마치 가상 공간에 있는 듯한 생동감과 현장감을 느끼도록 한다.
일 예로, 헤드 마운티드 디스플레이(Head Mounted Display: HMD)는 사용자의 머리에 착용되는 웨어러블 장치(Wearable Device)로서, 서버로부터 스트리밍(Streaming) 수신되는 360도 영상을 사용자 시점의 변화에 따라 사용자의 눈 앞에 표시함으로써, 사용자가 가상 공간에 있는 듯한 느낌을 가질 수 있도록 한다.
뿐만 아니라, 사용자 시점의 변화에 따라 HMD에 표시되는 영상을 디스플레이장치에 동기화시켜 표시하는 미러링(mirroring) 기능을 사용하면, 주위 사람들도 디스플레이장치를 통해 HMD 사용자 시점의 변화에 따라 360도 영상을 시청하게 되므로, HMD의 사용자와 함께 가상 공간 체험을 할 수 있다.
이러한 미러링 기능은, 시점 변화에 따라 HMD에 표시되는 영상을 HMD에서 디스플레이장치로 무선 전송하는 방법으로 구현될 수 있다. 그러나, HMD에 표시되는 영상은 UHD(Ultra High Definition)와 같은 고해상도 영상이므로, HMD는 고해상도 영상을 표시하기 위해 자원 및 전력을 소모하는 동시에 디스플레이장치로 고해상도 영상 신호를 전송하기 위해 자원 및 전력을 소모하는 부담을 갖게 된다. 대안으로서, HMD가 고해상도 영상 신호를 서버로 전송하고, 서버가 디스플레이장치에 고해상도 영상 신호를 전송하도록 하더라도, 서버가 다수의 HMD로부터 전송되는 고해상도 영상 신호를 처리해야 하는 점에서 막대한 자원의 소모 부담을 갖게 된다.
따라서, HMD가 자원 및 전력을 효율적으로 사용하면서 디스플레이장치를 통해 360도 영상에 대한 미러링 기능을 구현할 수 있는 방안이 요청되고 있다.
또한, HMD가 자원 및 전력을 효율적으로 사용하더라도, 디스플레이장치를 통해 미러링 기능을 구현하는 과정에서 발생하는 시간지연으로 인해 동기화의 정밀성이 저하될 수 있다.
따라서, HMD가 자원 및 전력을 효율적으로 사용하면서, 디스플레이장치가 정밀하게 동기화를 수행할 수 있도록 하는 방안도 함께 요청되고 있다.
본 발명의 목적은, 자원 및 전력에 대한 효율성과, 동기화의 정밀성이 향상된 미러링 기능을 구현할 수 있는 포터블 장치 및 그 제어방법을 제공하는 것이다.
상기한 본 발명의 목적은, 디스플레이; 서버 및 디스플레이장치와 무선통신을 수행하는 무선통신부; 사용자 시점의 변화에 따라 상기 서버로부터 수신한 360도 영상의 일 영역을 이동하면서 상기 디스플레이에 표시하고, 상기 사용자 시점 및 상기 영역에 표시되는 영상의 타이밍에 관한 정보를 상기 디스플레이장치로 송신하여, 상기 디스플레이장치가 상기 영역의 영상과 동기화시켜 영상을 표시하도록 하는 프로세서를 포함하는 포터블 장치에 의해 달성될 수 있다.
여기서, 상기 프로세서는, 상기 360도 영상의 수신에 필요한 정보를 상기 디스플레이장치에 송신하여, 상기 디스플레이장치가 상기 송신된 정보에 기초하여 상기 서버로부터 상기 360도 영상을 수신하도록 할 수 있다.
여기서, 상기 프로세서는, 상기 포터블 장치의 전원 온 또는 상기 360도 영상의 컨텐츠 혹은 어플리케이션의 실행 중 적어도 하나에 대응하여 상기 360도 영상의 수신에 필요한 정보를 상기 디스플레이장치에 송신할 수 있다.
여기서, 사용자입력을 수신하는 사용자입력부를 더 포함하고, 상기 프로세서는, 상기 수신되는 사용자입력에 대응하여 상기 360도 영상의 수신에 필요한 정보를 상기 디스플레이장치에 송신할 수 있다.
여기서, 상기 프로세서는, 상기 360도 영상을 표시하기 위하여 제1 어플리케이션을 실행하고, 상기 제1 어플리케이션에 대응하는 상기 디스플레이장치의 제2 어플리케이션을 실행하도록 하는 신호를 상기 디스플레이장치로 송신할 수 있다.
상기 본 발명의 목적은, 디스플레이; 서버 및 포터블 장치와 무선통신을 수행하는 무선통신부; 360도 영상의 일 영역에 대한 사용자 시점 및 상기 영역에 표시되는 영상의 타이밍에 관한 정보를 상기 포터블 장치로부터 수신하고, 상기 사용자 시점 및 상기 영상의 타이밍에 기초하여 상기 포터블 장치가 표시하는 영상과 동기화시켜, 상기 영역을 이동하면서 상기 디스플레이에 영상을 표시하는 프로세서를 포함하는 디스플레이장치에 의해서도 달성될 수 있다.
여기서, 상기 프로세서는, 상기 360도 영상의 수신에 필요한 정보를 상기 포터블 장치로부터 수신하고, 상기 수신된 정보에 기초하여 상기 서버로부터 상기 360도 영상을 수신할 수 있다.
여기서, 상기 프로세서는, 상기 포터블 장치의 전원 온 또는 상기 360도 영상의 컨텐츠 혹은 어플리케이션의 실행 중 적어도 하나에 대응하여 상기 360도 영상의 수신에 필요한 정보를 상기 포터블 장치로부터 수신할 수 있다.
여기서, 사용자입력을 수신하는 사용자입력부를 더 포함하고, 상기 프로세서는, 상기 수신되는 사용자입력에 대응하여 상기 360도 영상의 수신에 필요한 정보를 요청하는 신호를 상기 포터블 장치로 송신할 수 있다.
여기서, 상기 프로세서는, 상기 360도 영상을 표시하기 위하여 제1 어플리케이션을 실행하고, 상기 제1 어플리케이션에 대응하는 상기 포터블 장치의 제2 어플리케이션을 실행하도록 하는 신호를 상기 포터블 장치로 송신할 수 있다.
상기한 본 발명의 목적은, 사용자 시점의 변화에 따라 서버로부터 수신한 360도 영상의 일 영역을 이동하면서 표시하는 단계; 및 디스플레이장치가 상기 영역의 영상과 동기화시켜 영상을 표시하도록, 상기 사용자 시점 및 상기 영역에 표시되는 영상의 타이밍에 관한 정보를 상기 디스플레이장치로 송신하는 단계를 포함하는 포터블 장치의 제어방법에 의해서도 달성될 수 있다.
여기서, 상기 송신하는 단계는, 상기 디스플레이장치가 상기 송신된 정보에 기초하여 상기 서버로부터 상기 360도 영상을 수신하도록 하는 단계를 포함할 수 있다.
여기서, 상기 360도 영상을 수신하도록 하는 단계는, 상기 포터블 장치의 전원 온 또는 상기 360도 영상의 컨텐츠 혹은 어플리케이션의 실행 중 적어도 하나에 대응하여 상기 360도 영상의 수신에 필요한 정보를 상기 디스플레이장치에 송신하는 단계를 포함할 수 있다.
여기서, 상기 360도 영상을 수신하도록 하는 단계는, 사용자입력에 대응하여 상기 360도 영상의 수신에 필요한 정보를 상기 디스플레이장치에 송신하는 단계를 포함할 수 있다.
여기서, 상기 360도 영상을 수신하도록 하는 단계는, 상기 360도 영상을 표시하기 위하여 제1 어플리케이션을 실행하고, 상기 제1 어플리케이션에 대응하는 상기 디스플레이장치의 제2 어플리케이션을 실행하도록 하는 신호를 상기 디스플레이장치로 송신하는 단계를 포함할 수 있다.
상기 본 발명의 목적은, 360도 영상의 일 영역에 대한 사용자 시점 및 상기 영역에 표시되는 영상의 타이밍에 관한 정보를 포터블 장치로부터 수신하는 단계; 및 상기 사용자 시점 및 상기 영상의 타이밍에 기초하여 상기 포터블 장치가 표시하는 영상과 동기화시켜, 상기 영역을 이동하면서 영상을 표시하는 단계를 포함하는 디스플레이장치의 제어방법에 의해서도 달성될 수 있다.
여기서, 상기 수신하는 단계는, 상기 360도 영상의 수신에 필요한 정보를 상기 포터블 장치로부터 수신하고, 상기 수신된 정보에 기초하여 상기 서버로부터 상기 360도 영상을 수신하는 단계를 포함할 수 있다.
여기서, 상기 360도 영상을 수신하는 단계는, 상기 포터블 장치의 전원 온 또는 상기 360도 영상의 컨텐츠 혹은 어플리케이션의 실행 중 적어도 하나에 대응하여 상기 360도 영상의 수신에 필요한 정보를 상기 포터블 장치로부터 수신하는 단계를 포함할 수 있다.
여기서, 상기 360도 영상을 수신하는 단계는, 상기 360도 영상을 표시하기 위하여 상기 포터블 장치의 제1 어플리케이션의 실행에 대응하여, 상기 영상을 표시하기 위한 제2 어플리케이션을 실행하도록 하는 신호를 수신하는 단계를 포함할 수 있다.
상기한 본 발명의 목적은, 사용자 시점의 변화에 따라 상기 서버로부터 수신한 360도 영상의 일 영역을 이동하면서 표시하는 단계; 및 디스플레이장치가 상기 영역의 영상과 동기화시켜 영상을 표시하도록, 상기 사용자 시점 및 상기 영역에 표시되는 영상의 타이밍에 관한 정보를 상기 디스플레이장치로 송신하는 단계를 포함하는 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록매체에 의해서도 달성될 수 있다.
본 발명에 의하면, 자원 및 전력에 대한 효율성과, 동기화의 정밀성이 향상된 미러링 기능을 구현할 수 있는 포터블 장치 및 그 제어방법을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 포터블 장치가 디스플레이장치를 통해 미러링 기능을 수행하는 일 예를 도시한다.
도 2는 도 1의 포터블 장치의 구성을 도시한다.
도 3은 도 1의 포터블 장치의 제어방법을 도시한다.
도 4는 도 3의 S303 및 S304와 관련하여, 사용자 시점을 동기화하는 일 예를 도시한다.
도 5는 도 3의 S303 및 S304와 관련하여, 사용자 시점에 대응하는 영상이 표시되는 타이밍을 동기화하는 일 예를 도시한다.
도 6은 도 3의 S301과 관련하여, 도 1의 포터블 장치가 디스플레이장치로 하여금 서버로부터 360도 영상을 수신하도록 하는 일 예를 도시한다.
도 7은 도 6의 S602와 관련하여, 도 1의 포터블 장치가 소정 이벤트에 대응하여 영상 신호의 수신에 필요한 정보를 송신하는 일 예를 도시한다.
도 8은 도 7의 S701과 관련하여, 도 1의 포터블 장치의 제1 어플리케이션의 실행에 대응하여 영상 신호의 수신에 필요한 정보를 송신하는 일 예를 도시한다.
도 9는 도 1의 디스플레이장치의 구성을 도시한다.
도 10은 도 9의 디스플레이장치의 제어방법을 도시한다.
이하에서는 첨부도면을 참조하여 본 발명에 따른 실시예들에 관해 상세히 설명한다. 이하 실시예들의 설명에서는 첨부된 도면들에 기재된 사항들을 참조하는 바, 각 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 나타낸다. 본 명세서에서의 복수의 구성 중 적어도 하나(at least one)는, 복수의 구성 전부뿐만 아니라, 복수의 구성 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭한다.
도 1은 본 발명의 일 실시예에 따른 포터블 장치(10)가 디스플레이장치(20)를 통해 미러링 기능을 수행하는 일 예를 도시한다. 도 1에 도시된 바와 같이, 본 실시예에 따른 포터블 장치(10)는 움직임(13)에 따라 영상을 표시할 수 있다. 여기서, 움직임(13)은 포터블 장치(10)의 전후/좌우/상하 이동 또는 좌우/상하 회전 중 적어도 하나 일 수 있다. 일 예로, 포터블 장치(10)는 사용자의 머리에 착용 가능한 HMD로 구현될 수 있으며, 사용자가 머리에 착용한 상태로 머리를 시계 방향으로 소정 각도 회전하면, HMD는 동일한 방향의 각도로 회전한 움직임(13)을 영상에 반영하여 표시할 수 있다. 이하에서는 설명의 편의를 위해 포터블 장치(10)가 HMD로 구현되는 경우를 가정하여 미러링 기능을 수행하는 일 예를 설명한다. 다만, HDM로 구현되는 경우에 한정되는 것은 아니므로, 포터블 장치(10)는 움직임(13)을 반영한 영상을 표시할 수 있는 스마트 워치와 같은 웨어러블 디바이스, 스마트폰, 태블릿, 멀티미디어 재생기, 전자액자 등으로 구현될 수 있다.
포터블 장치(10)는 서버(30)로부터 360도 영상을 스트리밍 수신할 수 있다. 서버(30)는 컨텐츠 제공 서버가 될 수 있으며, 제공되는 컨텐츠는 360도 영상에 의한 게임, 네비게이션 등이 될 수 있으나, 이에 한정되는 것은 아니다.
포터블 장치(10)는 수신된 영상 신호에 기초하여 360도 영상의 일 영역에 대한 영상을 표시할 수 있다. 포터블 장치(10)는 움직임(13)에 따라 사용자 시점이 변화되면, 360도 영상의 영역 중 사용자 시점에 대응하는 영역(41)에 표시되는 영상(11)을 표시할 수 있다.
본 실시예에 따른 포터블 장치(10)는 표시되는 영상(11)에 동기화된 영상(21)을 디스플레이장치(20)가 표시하도록 하는 미러링 기능을 수행할 수 있다. 구체적으로, 포터블 장치(10)는 움직임(13)에 따라 변화되는 사용자 시점 및 시점에 대응하는 영역(41)의 영상(11)이 표시되는 타이밍에 관한 정보를 디스플레이장치(20)로 송신할 수 있다.
디스플레이장치(20)는 서버(30)로부터 수신한 영상 신호에 기초하여 360도 영상의 영역 중 포터블 장치(10)로부터의 사용자 시점에 대응하는 영역(41)의 영상(21)을 포터블 장치(10)에서 영상(11)이 표시되는 타이밍에 따라 표시함으로써, 포터블 장치(10)의 영상(11)과 동기화된 영상(21)을 표시할 수 있다.
이와 같이, 포터블 장치(10)는 영상(11)을 표시하면서, 사용자 시점 및 영상(11)이 표시되는 타이밍에 관한 정보를 디스플레이장치(20)로 송신함으로써 미러링 기능을 수행할 수 있으므로, 미러링 기능을 위한 정보의 송신에 자원 및 전력을 과도하게 소모하지 않는다. 따라서, 포터블 장치(10)는 미러링 기능의 수행을 위해 자원 및 전력에 대한 효율성을 향상시킬 수 있다.
도 2는 도 1의 포터블 장치(10)의 구성을 도시한다. 도 2에 도시된 바와 같이, 도 1의 포터블 장치(10)는 디스플레이(16), 무선통신부(17), 및 프로세서(18)를 포함할 수 있다.
디스플레이(16)는 영상 신호에 기초하여 360도 영상을 사용자 시점의 변화에 따라 표시할 수 있다. 디스플레이(16)의 구현 예는 한정되지 않으며, 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등으로 구현될 수 있다.
무선통신부(17)는 서버(30) 및 디스플레이장치(20)와 무선통신을 수행할 수 있다. 무선통신부(17)는 서버(30)로부터 360도 영상과 같은 고해상도 영상 신호를 스트리밍으로 수신하기 위해 서버(30)와 고속 무선통신을 할 수 있다. 일 예로, 무선통신부(17)는 종래 4G (4th-Generation) 통신 대비 높은 데이터 전송률을 제공하는 5G (5th-Generation) 통신으로 서버(30)와 무선통신을 수행할 수 있다. 다만, 이에 한정되는 것은 아니므로, WiHD(Wireless HD), WiGig(Wireless Gigabit Alliance) 등을 통해 서버(30)와 고속 무선통신을 할 수 있다.
또한, 무선통신부(17)는 360도 영상의 일 영역(41)의 영상(11)에 대한 사용자 시점 및 영역(41)의 영상(11)을 표시하는 타이밍에 관한 정보를 디스플레이장치(20)로 송신하기 위하여 디스플레이장치(20)와 무선통신을 수행할 수 있다. 일 예로, 무선통신부(17)는 블루투스, BLE(Bluetooth Low Energy), 적외선 통신(IrDA, infrared Data Association), 와이파이(Wi-Fi), 지그비, WFD((Wi-Fi Direct), UWB(Ultra-Wideband), NFC(Near Field Communication) 등 중 하나로 디스플레이장치(20)와 무선통신을 수행할 수 있다.
무선통신부(17)는 서버(30) 및 디스플레이장치(20)와 무선통신을 수행하기 위한 2이상의 무선통신 모듈 또는 하나의 통합 모듈로 구현될 수 있다.
프로세서(18)은 포터블 장치(10)의 구성 전반의 동작을 제어할 수 있다. 프로세서(18)는 서버(30)로부터 수신한 영상 신호에 기초하여, 사용자 시점의 변화에 따라 360도 영상의 일 영역(41)의 영상(11)을 표시하도록 디스플레이(16)를 제어할 수 있다.
또한, 프로세서(18)는 영상(11)을 표시하면서, 영역(41)에 대한 사용자의 시점 및 영역(41)의 영상(11)이 표시되는 타이밍에 관한 정보를 디스플레이장치(20)에 송신하도록 무선통신부(17)를 제어할 수 있다.
프로세서(18)는 구성 전반에 대한 제어를 수행할 수 있도록 하는 제어프로그램(혹은 인스트럭션)과, 제어프로그램이 설치되는 비휘발성의 메모리, 설치된 제어프로그램의 적어도 일부가 로드되는 휘발성의 메모리 및 로드된 제어프로그램을 실행하는 적어도 하나의 프로세서 혹은 CPU(Central Processing Unit)를 포함할 수 있다. 또한, 이와 같은 제어프로그램은, 포터블 장치(10) 이외의 다른 포터블 장치에도 저장될 수 있다.
제어프로그램은 BIOS, 디바이스 드라이버, 운영체계, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 일 실시예로서, 응용프로그램은, 포터블 장치(10)의 제조 시에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 설치될 수 있다. 응용프로그램의 데이터는, 예컨대, 어플리케이션 마켓과 같은 서버로부터 다운로드될 수도 있다. 이와 같은 서버는, 컴퓨터프로그램제품의 일 예이나, 이에 한정되는 것은 아니다.
또한, 프로세서(18)는 서버(30)로부터 수신한 영상 신호에 기초하여, 사용자 시점의 변화에 따라 360도 영상의 일 영역(41)의 영상(11)을 표시하거나, 영역(41)에 대한 사용자의 시점 및 영역(41)의 영상(11)이 표시되는 타이밍에 관한 정보를 디스플레이장치(20)에 송신하기 위한 데이터 분석, 처리, 및 결과 정보 생성 중 적어도 일부를 규칙 기반 또는 인공지능 알고리즘으로서 기계학습, 신경망, 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여 수행할 수 있다.
다만, 도 2가 포터블 장치(10)의 구성을 한정하는 것은 아니므로, 포터블 장치(10)는 도 2에 도시된 구성 중 일부 구성을 배제하거나 도 2에 도시되지 않는 구성을 포함할 수 있다. 일 예로, 포터블 장치(10)는 사용자입력부, 배터리부, 또는 저장부 중 적어도 하나를 더 포함할 수 있다. 사용자입력부는 사용자입력을 수신하여 프로세서(18)로 전달할 수 있다. 사용자입력부는 사용자입력의 방식에 따라서 다양한 형태로 구현될 수 있는 바, 일 예로, 포터블 장치(10)의 외측에 마련되는 메뉴버튼, 디스플레이(16)에 마련되어 사용자의 터치입력을 수신하는 터치스크린, 또는 사용자에 의한 움직임(13)을 감지하는 센서 등으로 구현될 수 있다. 센서로 구현되는 경우, 센서는 3축 또는 6축 센서, 가속도 센서, 중력 센서 중 적어도 하나를 포함할 수 있다.
배터리부는 프로세서(18)의 제어에 따라 외부로부터의 전원을 저장하거나, 포터블 장치(10)의 각 구성들에 필요한 전원을 공급할 수 있으며, 저장부는 포터블 장치(10)를 제어하기 위한 명령어, 프로그램, 어플리케이션 등을 저장할 수 있다. 일 예로, 저장부는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
도 3은 도 1의 포터블 장치(10)의 제어방법을 도시한다. 본 실시예에 의한 제어방법은 포터블 장치(10)의 프로세서(18)가 앞서 설명한 제어프로그램을 실행함으로써 수행될 수 있다. 이하, 설명의 편의상, 프로세서(18)가 제어프로그램을 실행하여 수행하는 동작을, 간략하게, 프로세서(18)의 동작인 것으로 설명할 수 있다.
도 3을 참조하면, 프로세서(18)는 서버(30)로부터 360도 영상을 수신할 수 있다(S301). 프로세서(18)는 서버(30)로부터 360도 영상을 실시간으로 스트리밍 수신할 수 있으며, 이를 위해 서버(30)와 5G와 같은 고속 무선통신을 수행할 수 있다. 마찬가지로, 디스플레이장치(20)는 서버(30)로부터 360도 영상을 수신할 수 있다.
포터블 장치(10)는 사용자 시점의 변화에 따라 서버(30)로부터 수신한 360도 영상의 일 영역(41)을 이동하면서 영상(11)을 표시할 수 있다(S302).
포터블 장치(10)는 사용자 시점 및 영역(41)에 표시되는 영상(11)의 타이밍에 관한 정보를 디스플레이장치(20)로 송신하고(S303), 디스플레이장치(20)는 수신한 정보에 기초하여 영역(41)의 영상(11)과 동기화시킨 영상(21)을 표시할 수 있다(S304).
이와 같이, 포터블 장치(10)는 사용자 시점 및 영상(11)이 표시되는 타이밍에 관한 정보를 디스플레이장치(20)로 송신하여 미러링 기능을 수행할 수 있으므로, 미러링 기능의 수행을 위한 자원 및 전력에 대한 효율성을 향상시킬 수 있다.
도 4는 도 3의 S303 및 S304와 관련하여, 사용자 시점을 동기화하는 일 예를 도시한다. 도 4에 도시된 바와 같이, 포터블 장치(10)는 서버(30)로부터 스트리밍 수신한 영상 신호에 기초하여 360도 영상의 영역 중 제1 사용자 시점(51)에 대응하는 제1 영역(41)의 영상(11)을 표시하는 것으로 가정한다.
포터블 장치(10)는 디스플레이장치(20)를 통한 미러링 기능을 위해 제1 사용자 시점(51)에 관한 정보를 디스플레이장치(20)로 송신할 수 있다. 디스플레이장치(20)는 서버(30)로부터 수신한 영상 신호에 기초하여 360도 영상의 영역 중 포터블 장치(10)로부터의 제1 사용자 시점(51)에 대응하는 영역(41)의 영상(21)을 표시할 수 있다.
만일, 포터블 장치(10)가 영상(11)을 표시하는 중 시계 방향으로 소정 각도 회전하여, 제1 사용자 시점(51)에서 제2 사용자 시점(52)으로 이동되면, 포터블 장치(10)는 제2 사용자 시점(52)에 대응하는 제2 영역(42)의 영상(12)을 표시하고, 제2 사용자 시점(52)에 관한 정보를 디스플레이장치(20)로 송신하여, 디스플레이장치(20)가 제2 사용자 시점(52)에 따라 포터블 장치(10)에 표시되는 영상(12)에 동기화되는 영상(22)를 표시하도록 한다.
이와 같이, 포터블 장치(10)는 사용자 시점에 대응하는 영상을 표시하고, 사용자 시점에 관한 정보를 디스플레이장치(20)로 송신할 수 있으며, 디스플레이장치(20)는 포터블 장치(10)로부터의 사용자 시점에 동기화되는 사용자 시점에 기초하여, 포터블 장치(10)에 표시되는 영상(12)에 동기화되는 영상(22)을 표시함으로써, 동기화의 정밀성을 향상시킬 수 있다.
도 5는 도 3의 S303 및 S304와 관련하여, 사용자 시점에 대응하는 영상이 표시되는 타이밍을 동기화하는 일 예를 도시한다. 도 5에 도시된 바와 같이, 포터블 장치(10) 및 디스플레이장치(20) 각각은 서버(30)로부터 스트리밍 수신한 영상 신호에 기초하여 스트리밍 영상을 표시할 수 있다.
포터블 장치(10)는 영상이 표시되기 시작하는 타이밍에 관한 시작 정보를 디스플레이장치(20)에 송신하여, 디스플레이장치(20)가 시작 정보에 기초하여 포터블 장치(10)에 표시되는 영상과 시작 타이밍을 동기화하여 영상을 표시할 수 있도록 한다.
포터블 장치(10)는 제1 사용자 시점(51)에 대응하는 영역(41)의 영상(11)을 표시하고, 제1 사용자 시점(51)에 따른 영상(11)이 표시되는 타이밍에 관한 제1 타이밍 정보를 디스플레이장치(20)로 송신할 수 있다. 일 예로, 제1 타이밍 정보는 포터블 장치(10)에 스트리밍 영상이 표시되기 시작한 시간을 기준으로, 영상(11)에 대응하는 프레임이 표시되는 시간에 관한 정보일 수 있다. 디스플레이장치(20)는 제1 타이밍 정보에 기초하여 디스플레이장치(20)에서 스트리밍 영상을 표시하기 시작한 시간을 기준으로, 영상(11)에 대응하는 프레임이 표시되는 시간에 대응하는 시점에 제1 사용자 시점(51)의 영상(21)을 표시함으로써, 포터블 장치(10)에 표시되는 영상(11)에 동기화되는 영상(21)을 표시할 수 있다.
마찬가지로, 포터블 장치(10)는 제2 사용자 시점(52)에 대응하는 영역(42)의 영상(12)을 표시하고, 제2 사용자 시점(52)에 따른 영상(12)이 표시되는 타이밍에 관한 제2 타이밍 정보를 디스플레이장치(20)로 송신할 수 있다. 디스플레이장치(20)는 제2 타이밍 정보에 기초하여 영상(12)이 표시되는 시점에 제2 사용자 시점(52)에 대응하는 영상(22)을 표시함으로써, 포터블 장치(10)에 표시되는 영상(12)에 동기화되는 영상(22)을 표시할 수 있다.
이와 같이, 포터블 장치(10)는 사용자 시점에 대응하는 영상이 표시되는 타이밍에 관한 정보를 디스플레이장치(20)로 송신하여, 디스플레이장치(20)에 영상(21, 22)이 표시되는 타이밍이 포터블 장치(10)에 영상(11, 12)가 표시되는 타이밍에 각각 동기화되도록 함으로써, 동기화의 정밀성을 더욱 향상시킬 수 있다.
도 6은 도 3의 S301과 관련하여, 도 1의 포터블 장치(10)가 디스플레이장치(20)로 하여금 서버(30)로부터 360도 영상을 수신하도록 하는 일 예를 도시한다. 도 6에 도시된 바와 같이, 포터블 장치(10)는 서버(30)로부터 360도 영상을 수신할 수 있다(S601). 일 예로, 360도 영상은 스트리밍으로 수신될 수 있다.
포터블 장치(10)는 디스플레이장치(20)로 360도 영상 수신에 필요한 정보를 송신할 수 있다(S602). 일 예로, 360도 영상 수신에 필요한 정보는 서버(30)로부터 360도 영상을 수신하기 위한 스트리밍 주소가 될 수 있다.
디스플레이장치(20)는 포터블 장치(10)로부터 수신한 정보에 기초하여 서버(30)로 360도 영상의 송신을 요청할 수 있으며(S603), 서버(30)는 360도 영상의 요청에 대응하여 360도 영상을 디스플레이장치(20)로 송신할 수 있다(S604).
이에 의하면, 디스플레이장치(20)에서 별도의 조작 없이도 포터블 장치(10)에 의해 360도 영상을 서버(30)로부터 수신할 수 있으므로, 디스플레이장치(20)를 통한 미러링 기능의 사용 편의성이 향상될 수 있다.
도 7은 도 6의 S602와 관련하여, 도 1의 포터블 장치(10)가 소정 이벤트에 대응하여 360도 영상 수신에 필요한 정보를 송신하는 일 예를 도시한다. 먼저, 도 7에 도시된 바와 같이, 포터블 장치(10)는 전원 온에 대응하여(S701), 디스플레이장치(20)로 360도 영상 수신에 필요한 정보를 송신할 수 있다(S702). 다만, 이에 한정되는 것은 아니므로, 포터블 장치(10)에서 360도 영상의 컨텐츠를 실행하거나, 360도 영상의 어플리케이션을 실행하는 것에 대응하여, 디스플레이장치(20)로 360도 영상 수신에 필요한 정보를 송신할 수 있다. 일 예로, 360도 영상을 이용하는 게임이 실행되거나, 게임의 실행 중 미러링 기능이 사용자에 의해 선택되어 미러링 어플리케이션이 실행되는 경우, 포터블 장치(10)는 디스플레이장치(20)로 360도 영상 수신에 필요한 정보를 송신할 수 있다.
디스플레이장치(20)는 포터블 장치(10)로부터 수신한 정보에 기초하여 서버(30)로 360도 영상의 송신을 요청할 수 있으며(S703), 서버(30)는 요청에 대응하여 360도 영상을 디스플레이장치(20)로 송신할 수 있다(S704).
이에 의하면, 디스플레이장치(20)에서 별도의 조작 없이도 서버(30)로부터 360도 영상을 수신할 수 있는 점에서, 미러링 기능의 사용 편의성이 향상될 수 있다.
도 8은 도 7의 S701과 관련하여, 도 1의 포터블 장치(10)의 제1 어플리케이션의 실행에 대응하여 360도 영상 수신에 필요한 정보를 송신하는 일 예를 도시한다. 도 8을 참조하면, 포터블 장치(10)는 360도 영상을 표시하기 위한 제1 어플리케이션을 실행할 수 있으며(S801), 실행 신호를 디스플레이장치(20)로 송신할 수 있다(S802). 일 예로, 제1 어플리케이션은 360도 영상으로 진행되는 게임 어플리케이션이 될 수 있다.
디스플레이장치(20)는 실행 신호에 기초하여 360도 영상을 표시하기 위한 제2 어플리케이션을 실행할 수 있으며(S803), 제2 어플리케이션의 실행에 대응하여 서버(30)로 360도 영상을 요청할 수 있다. 일 예로, 제2 어플리케이션은 미러링을 위한 어플리케이션일 수 있다.
이에 의하면, 디스플레이장치(20)에서 별도의 조작 없이도 포터블 장치(10)의 제1 어플리케이션을 실행에 의해 360도 영상을 서버(30)로부터 수신할 수 있으므로, 미러링 기능의 사용 편의성이 향상될 수 있다.
도 9는 도 1의 디스플레이장치(20)의 구성을 도시한다. 다만, 이하에서는 설명의 편의를 위해 도 1의 포터블 장치(10)를 포터블 장치(10)로 지칭하고, 본 실시예에 따른 디스플레이장치(20)를 디스플레이장치(20)로 지칭하여 설명한다. 도 9를 참조하면, 본 실시예에 따른 디스플레이장치(20)는 디스플레이(26), 유무선통신부(27), 및 프로세서(28)를 포함할 수 있다.
디스플레이(26)는 영상 신호에 기초하여 360도 영상을 사용자 시점의 변화에 따라 표시할 수 있다. 디스플레이(26)의 구현 예는 한정되지 않으며, 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등으로 구현될 수 있다.
유무선통신부(27)는 서버(30) 및 포터블 장치(10)와 유선통신 또는 무선통신을 수행할 수 있다. 유무선통신부(27)는 서버(30) 및 포터블 장치(10)와 유무선통신을 수행하기 위한 2이상의 유무선통신 모듈 또는 하나의 통합 모듈로 구현될 수 있다.
유무선통신부(27)는 서버(30)로부터 360도 영상과 같은 고해상도 영상 신호를 스트리밍으로 수신할 수 있다. 일 예로, 이더넷, 유무선랜 등을 통하여 서버(30)로부터 스트리밍 수신을 할 수 있다. 또한, 유무선통신부(27)는 포터블 장치(10)로부터 360도 영상의 일 영역(41)의 영상(11)에 대한 사용자 시점 및 영역(41)의 영상(11)을 표시하는 타이밍에 관한 정보를 수신하기 위하여 무선통신을 수행할 수 있다. 일 예로, 유무선통신부(27)는 블루투스, BLE, 적외선 통신, 와이파이, 지그비, WFD, UWB, NFC 등 중 하나로 포터블 장치(10)와 무선통신을 수행할 수 있다.
프로세서(28)은 디스플레이장치(20)의 구성 전반의 동작을 제어할 수 있다. 프로세서(28)는 서버(30)로부터 수신한 360도 영상의 일 영역의 영상을 표시할 수 있다. 또한, 프로세서(28)는 360도 영상의 일 영역에 대한 사용자 시점 및 영역에 표시되는 영상의 타이밍에 관한 정보를 포터블 장치(10)로부터 수신하고, 사용자 시점의 변화에 따라 360도 영상의 일 영역의 영상을 이동하면서 표시하도록 디스플레이(26)를 제어할 수 있다.
프로세서(28)는 구성 전반에 대한 제어를 수행할 수 있도록 하는 제어프로그램(혹은 인스트럭션)과, 제어프로그램이 설치되는 비휘발성의 메모리, 설치된 제어프로그램의 적어도 일부가 로드되는 휘발성의 메모리 및 로드된 제어프로그램을 실행하는 적어도 하나의 프로세서 혹은 CPU(Central Processing Unit)를 포함할 수 있다. 또한, 이와 같은 제어프로그램은, 디스플레이장치(20) 이외의 다른 디스플레이장치에도 저장될 수 있다.
제어프로그램은 BIOS, 디바이스 드라이버, 운영체계, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 일 실시예로서, 응용프로그램은, 디스플레이장치(20)의 제조 시에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 설치될 수 있다. 응용프로그램의 데이터는, 예컨대, 어플리케이션 마켓과 같은 서버로부터 다운로드될 수도 있다. 이와 같은 서버는, 컴퓨터프로그램제품의 일 예이나, 이에 한정되는 것은 아니다.
다만, 도 9가 디스플레이장치(20)의 구성을 한정하는 것은 아니므로, 디스플레이장치(20)는 도 9에 도시된 구성 중 일부 구성을 배제하거나 도 9에 도시되지 않는 구성을 포함할 수 있다. 일 예로, 디스플레이장치(20)는 사용자입력부, 영상신호수신부, 영상신호처리부, 전원부, 또는 저장부 중 적어도 하나를 더 포함할 수 있다. 사용자입력부는 사용자입력을 수신하여 프로세서(28)로 전달할 수 있다. 영상신호수신부는 외부로부터 영상 신호를 수신하고, 영상신호처리부는 수신된 영상 신호를 표시 가능하도록 처리할 수 있다. 전원부는 프로세서(28)의 제어에 따라 디스플레이장치(20)의 각 구성들에 필요한 전원을 공급할 수 있으며, 저장부는 디스플레이장치(20)를 제어하기 위한 명령어, 프로그램, 어플리케이션 등을 저장할 수 있다. 일 예로, 저장부는 포터블 장치(10)로부터 수신되는 사용자 시점 및 시점에 대응하는 영역에 영상이 표시되는 타이밍에 관한 정보를 저장할 수 있다.
저장부는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
도 10은 도 9의 디스플레이장치(20)의 제어방법을 도시한다. 도 9를 참조하여 설명한 바와 같이, 이하에서는 설명의 편의를 위해 도 1의 포터블 장치(10)를 포터블 장치(10)로 지칭하고, 본 실시예에 따른 디스플레이장치(20)를 디스플레이장치(20)로 지칭하여 설명한다. 도 10을 참조하면, 디스플레이장치(20)는 360도 영상의 일 영역에 대한 사용자 시점 및 영역에 표시되는 영상의 타이밍에 관한 정보를 포터블 장치(10)로부터 수신할 수 있다(S1001).
그리고, 디스플레이장치(20)는 사용자 시점 및 상기 영상의 타이밍에 기초하여 포터블 장치(10)가 표시하는 영상과 동기화시켜, 영역을 이동하면서 영상을 표시할 수 있다(S1002).
이에 의하면, 디스플레이장치(20)가 포터블 장치(10)에 표시되는 영상에 대한 동기화를 수행함에 있어서, 동기화의 정밀성을 향상될 수 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.
10: 포터블 장치
16: 디스플레이
17: 무선통신부
18: 프로세서
19: 사용자입력부
20: 디스플레이장치
30: 서버

Claims (20)

  1. 포터블 장치에 있어서,
    디스플레이;
    서버 및 디스플레이장치와 무선통신을 수행하는 무선통신부;
    상기 서버로부터 제1 360도 영상을 수신하고,
    사용자 시점의 변화에 따라 상기 제1 360도 영상의 일 영역의 영상을 상기 디스플레이에 표시하고,
    상기 제1 360도 영상의 스트리밍 주소에 관한 정보, 상기 사용자 시점에 관한 정보, 및 상기 제1 360도 영상이 표시되기 시작한 시간에 대한 상기 사용자 시점에 따른 영역의 영상에 대응하는 프레임이 표시되는 시간을 나타내는 타이밍에 관한 정보를 상기 디스플레이장치로 송신하여, 상기 디스플레이장치가 상기 스트리밍 주소에 기초하여 상기 제1 360도 영상에 대응하는 제2 360도 영상을 상기 서버로부터 수신하고, 상기 사용자 시점에 관한 정보 및 상기 타이밍에 관한 정보에 기초하여 상기 사용자 시점에 따른 영역의 영상에 동기화된 상기 제2 360도 영상의 영역의 영상을 표시하도록 하는 프로세서를 포함하는 포터블 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 프로세서는, 상기 포터블 장치의 전원 온 또는 상기 제1 360도 영상의 컨텐츠 혹은 어플리케이션의 실행 중 적어도 하나에 대응하여 상기 제2 360도 영상의 수신에 필요한 정보를 상기 디스플레이장치에 송신하는 포터블 장치.
  4. 제1항에 있어서,
    사용자입력을 수신하는 사용자입력부를 더 포함하고,
    상기 프로세서는, 상기 수신되는 사용자입력에 대응하여 상기 제2 360도 영상의 수신에 필요한 정보를 상기 디스플레이장치에 송신하는 포터블 장치.
  5. 제1항에 있어서,
    상기 프로세서는, 상기 사용자 시점에 따른 영역의 영상을 표시하기 위하여 제1 어플리케이션을 실행하고, 상기 제1 어플리케이션에 대응하는 상기 디스플레이장치의 제2 어플리케이션을 실행하도록 하는 신호를 상기 디스플레이장치로 송신하는 포터블 장치.
  6. 디스플레이장치에 있어서,
    디스플레이;
    서버 및 포터블 장치와 무선통신을 수행하는 무선통신부;
    사용자 시점의 변화에 따라 제1 360도 영상의 일 영역의 영상을 표시하는 포터블 장치로부터, 상기 제1 360도 영상의 스트리밍 주소에 관한 정보, 상기 사용자 시점에 관한 정보, 및 상기 제1 360도 영상이 표시되기 시작한 시간에 대한 상기 사용자 시점에 따른 영역의 영상에 대응하는 프레임이 표시되는 시간을 나타내는 타이밍에 관한 정보를 수신하고,
    상기 스트리밍 주소에 기초하여 상기 제1 360도 영상에 대응하는 제2 360도 영상을 상기 서버로부터 수신하고,
    상기 사용자 시점에 관한 정보 및 상기 타이밍에 관한 정보에 기초하여 상기 사용자 시점에 따른 영역의 영상에 동기화된 상기 제2 360도 영상의 영역의 영상 상기 디스플레이에 표시하는
    프로세서를 포함하는 디스플레이장치.
  7. 삭제
  8. 제6항에 있어서,
    상기 프로세서는, 상기 포터블 장치의 전원 온 또는 상기 제1 360도 영상의 컨텐츠 혹은 어플리케이션의 실행 중 적어도 하나에 대응하여 상기 제2 360도 영상의 수신에 필요한 정보를 상기 포터블 장치로부터 수신하는 디스플레이장치.
  9. 제6항에 있어서,
    사용자입력을 수신하는 사용자입력부를 더 포함하고,
    상기 프로세서는, 상기 수신되는 사용자입력에 대응하여 상기 제2 360도 영상의 수신에 필요한 정보를 요청하는 신호를 상기 포터블 장치로 송신하는 디스플레이장치
  10. 제6항에 있어서,
    상기 프로세서는, 상기 사용자 시점에 따른 영역의 영상을 표시하기 위하여 상기 포터블 장치에서 실행되는 제1 어플리케이션에 대응하는 제2 어플리케이션을 실행하도록 하는 신호를 상기 포터블 장치로부터 수신하는 디스플레이장치.
  11. 포터블 장치의 제어방법에 있어서,
    서버로부터 제1 360도 영상을 수신하는 단계;
    사용자 시점의 변화에 따라 상기 제1 360도 영상의 일 영역의 영상을 표시하는 단계; 및
    상기 제1 360도 영상의 스트리밍 주소에 관한 정보, 상기 사용자 시점에 관한 정보, 및 상기 제1 360도 영상이 표시되기 시작한 시간에 대한 상기 사용자 시점에 따른 영역의 영상에 대응하는 프레임이 표시되는 시간을 나타내는 타이밍에 관한 정보를 디스플레이장치로 송신하는 단계를 포함하며,
    상기 디스플레이장치는 상기 스트리밍 주소에 기초하여 상기 제1 360도 영상에 대응하는 제2 360도 영상을 상기 서버로부터 수신하고, 상기 사용자 시점에 관한 정보 및 상기 타이밍에 관한 정보에 기초하여 상기 사용자 시점에 따른 영역의 영상에 동기화된 상기 제2 360도 영상의 영역의 영상을 표시하는 포터블 장치의 제어방법.
  12. 삭제
  13. 제11항에 있어서,
    상기 송신하는 단계는, 상기 포터블 장치의 전원 온 또는 상기 제1 360도 영상의 컨텐츠 혹은 어플리케이션의 실행 중 적어도 하나에 대응하여 상기 제2 360도 영상의 수신에 필요한 정보를 상기 디스플레이장치에 송신하는 단계를 포함하는 포터블 장치의 제어방법.
  14. 제11항에 있어서,
    상기 송신하는 단계는, 사용자입력에 대응하여 상기 제2 360도 영상의 수신에 필요한 정보를 상기 디스플레이장치에 송신하는 단계를 포함하는 포터블 장치의 제어방법.
  15. 제11항에 있어서,
    상기 송신하는 단계는, 상기 사용자 시점에 따른 영역의 영상을 표시하기 위하여 제1 어플리케이션을 실행하고, 상기 제1 어플리케이션에 대응하는 상기 디스플레이장치의 제2 어플리케이션을 실행하도록 하는 신호를 상기 디스플레이장치로 송신하는 단계를 포함하는 포터블 장치의 제어방법.
  16. 디스플레이장치의 제어방법에 있어서,
    사용자 시점의 변화에 따라 제1 360도 영상의 일 영역의 영상을 표시하는 포터블 장치로부터, 상기 제1 360도 영상의 스트리밍 주소에 관한 정보, 상기 사용자 시점에 관한 정보, 및 상기 제1 360도 영상이 표시되기 시작한 시간에 대한 상기 사용자 시점에 따른 영역의 영상에 대응하는 프레임이 표시되는 시간을 나타내는 타이밍에 관한 정보를 포터블 장치로부터 수신하는 단계;
    상기 스트리밍 주소에 기초하여 상기 제1 360도 영상에 대응하는 제2 360도 영상을 서버로부터 수신하는 단계; 및
    상기 사용자 시점에 관한 정보 및 상기 타이밍에 관한 정보에 기초하여 상기 사용자 시점에 따른 영역의 영상에 동기화된 상기 제2 360도 영상의 영역의 영상을 표시하는 단계
    를 포함하는 디스플레이장치의 제어방법.
  17. 삭제
  18. 제16항에 있어서,
    상기 포터블 장치로부터 수신하는 단계는, 상기 포터블 장치의 전원 온 또는 상기 제1 360도 영상의 컨텐츠 혹은 어플리케이션의 실행 중 적어도 하나에 대응하여 상기 제2 360도 영상의 수신에 필요한 정보를 상기 포터블 장치로부터 수신하는 단계를 포함하는 디스플레이장치의 제어방법.
  19. 제16항에 있어서,
    상기 포터블 장치로부터 수신하는 단계는, 상기 사용자 시점에 따른 영역의 영상을 표시하기 위하여 상기 포터블 장치에서 실행되는 제1 어플리케이션에 대응하는 제2 어플리케이션을 실행하도록 하는 신호를 상기 포터블 장치로부터 수신하는 단계를 포함하는 디스플레이장치의 제어방법.
  20. 컴퓨터가 읽을 수 있는 코드로서 포터블 장치의 제어방법을 수행하는 코드를 포함하는 컴퓨터 프로그램이 저장된 기록매체에 있어서, 상기 포터블 장치의 제어방법은,
    서버로부터 제1 360도 영상을 수신하는 단계;
    사용자 시점의 변화에 따라 상기 제1 360도 영상의 일 영역의 영상을 표시하는 단계; 및
    상기 제1 360도 영상의 스트리밍 주소에 관한 정보, 상기 사용자 시점에 관한 정보, 및 상기 제1 360도 영상이 표시되기 시작한 시간에 대한 상기 사용자 시점에 따른 영역의 영상에 대응하는 프레임이 표시되는 시간을 나타내는 타이밍에 관한 정보를 디스플레이장치로 송신하는 단계를 포함하며,
    상기 디스플레이장치는 상기 스트리밍 주소에 기초하여 상기 제1 360도 영상에 대응하는 제2 360도 영상을 상기 서버로부터 수신하고, 상기 사용자 시점에 관한 정보 및 상기 타이밍에 관한 정보에 기초하여 상기 사용자 시점에 따른 영역의 영상에 동기화된 상기 제2 360도 영상의 영역의 영상을 표시하는
    컴퓨터가 읽을 수 있는 프로그램이 기록된 기록매체.
KR1020180124125A 2018-10-18 2018-10-18 포터블 장치 및 그 제어방법 KR102543228B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180124125A KR102543228B1 (ko) 2018-10-18 2018-10-18 포터블 장치 및 그 제어방법
PCT/KR2019/005888 WO2020080632A1 (ko) 2018-10-18 2019-05-17 포터블 장치 및 그 제어방법
US17/276,595 US11457195B2 (en) 2018-10-18 2019-05-17 Portable device and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180124125A KR102543228B1 (ko) 2018-10-18 2018-10-18 포터블 장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20200043601A KR20200043601A (ko) 2020-04-28
KR102543228B1 true KR102543228B1 (ko) 2023-06-13

Family

ID=70283964

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180124125A KR102543228B1 (ko) 2018-10-18 2018-10-18 포터블 장치 및 그 제어방법

Country Status (3)

Country Link
US (1) US11457195B2 (ko)
KR (1) KR102543228B1 (ko)
WO (1) WO2020080632A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150243078A1 (en) * 2014-02-24 2015-08-27 Sony Computer Entertainment Inc. Methods and Systems for Social Sharing Head Mounted Display (HMD) Content With a Second Screen

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5141672B2 (ja) * 2009-11-30 2013-02-13 ブラザー工業株式会社 ヘッドマウントディスプレイ装置、及びヘッドマウントディスプレイ装置を用いた画像共有システム
US8503984B2 (en) 2009-12-23 2013-08-06 Amos Winbush, III Mobile communication device user content synchronization with central web-based records and information sharing system
US20120087571A1 (en) * 2010-10-08 2012-04-12 Electronics And Telecommunications Research Institute Method and apparatus for synchronizing 3-dimensional image
US8836771B2 (en) * 2011-04-26 2014-09-16 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
US9525998B2 (en) 2012-01-06 2016-12-20 Qualcomm Incorporated Wireless display with multiscreen service
KR101918040B1 (ko) 2012-02-20 2019-01-29 삼성전자주식회사 스크린 미러링 방법 및 그 장치
US10600235B2 (en) * 2012-02-23 2020-03-24 Charles D. Huston System and method for capturing and sharing a location based experience
US9462301B2 (en) * 2013-03-15 2016-10-04 Google Inc. Generating videos with multiple viewpoints
JP2014215828A (ja) * 2013-04-25 2014-11-17 シャープ株式会社 画像データ再生装置、および視点情報生成装置
JP2015012561A (ja) * 2013-07-02 2015-01-19 ソニー株式会社 表示装置、情報取得方法及び情報提供方法
KR102349716B1 (ko) * 2015-06-11 2022-01-11 삼성전자주식회사 영상 공유 방법 및 이를 수행하는 전자 장치
EP3316589B1 (en) * 2015-06-25 2024-02-28 Panasonic Intellectual Property Management Co., Ltd. Video synchronization device and video synchronization method
KR20170106862A (ko) * 2016-03-14 2017-09-22 삼성전자주식회사 데이터 동기화 방법 및 이를 구현하는 전자 장치 및 시스템
US11163358B2 (en) * 2016-03-17 2021-11-02 Sony Interactive Entertainment Inc. Spectating virtual (VR) environments associated with VR user interactivity
US11181990B2 (en) * 2016-03-18 2021-11-23 Sony Interactive Entertainment Inc. Spectator view tracking of virtual reality (VR) user in VR environments
US10112111B2 (en) * 2016-03-18 2018-10-30 Sony Interactive Entertainment Inc. Spectator view perspectives in VR environments
KR102570379B1 (ko) 2016-04-22 2023-08-25 엘지전자 주식회사 스크린 미러링 기능을 제공하는 디스플레이 장치 및 그의 동작 방법
KR101835974B1 (ko) * 2016-05-24 2018-03-08 인하공업전문대학산학협력단 가상현실환경에서 사용자 단말들의 시점 동기화 장치 및 방법
JP6833348B2 (ja) * 2016-05-25 2021-02-24 キヤノン株式会社 情報処理装置、画像処理システム、情報処理装置の制御方法、仮想視点画像の生成方法、及び、プログラム
CN108616731B (zh) * 2016-12-30 2020-11-17 艾迪普科技股份有限公司 一种360度vr全景图形图像及视频实时生成方法
US10769797B2 (en) * 2017-01-05 2020-09-08 Samsung Electronics Co., Ltd. Virtual reality experience sharing
US10403327B2 (en) * 2017-02-27 2019-09-03 Google Llc Content identification and playback
KR102628139B1 (ko) * 2017-03-07 2024-01-22 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 멀티-디바이스 프리젠테이션을 위한 맞춤형 비디오 스트리밍
US10650541B2 (en) * 2017-05-10 2020-05-12 Microsoft Technology Licensing, Llc Presenting applications within virtual environments
JP6924079B2 (ja) * 2017-06-12 2021-08-25 キヤノン株式会社 情報処理装置及び方法及びプログラム
US11122258B2 (en) * 2017-06-30 2021-09-14 Pcms Holdings, Inc. Method and apparatus for generating and displaying 360-degree video based on eye tracking and physiological measurements
US10685456B2 (en) * 2017-10-12 2020-06-16 Microsoft Technology Licensing, Llc Peer to peer remote localization for devices
WO2019120575A1 (en) * 2017-12-22 2019-06-27 Huawei Technologies Co., Ltd. Vr 360 video for remote end users
WO2019209588A1 (en) * 2018-04-27 2019-10-31 Pcms Holdings, Inc. 360 degree multi-viewport system
US10757389B2 (en) * 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
US11025880B2 (en) * 2018-11-05 2021-06-01 Korea Electronics Technology Institute ROI-based VR content streaming server and method
US11153492B2 (en) * 2019-04-16 2021-10-19 At&T Intellectual Property I, L.P. Selecting spectator viewpoints in volumetric video presentations of live events
US11956295B2 (en) * 2019-09-27 2024-04-09 Apple Inc. Client-end enhanced view prediction for multi-view video streaming exploiting pre-fetched data and side information
US11252398B2 (en) * 2020-01-16 2022-02-15 Fyusion, Inc. Creating cinematic video from multi-view capture data
US11869135B2 (en) * 2020-01-16 2024-01-09 Fyusion, Inc. Creating action shot video from multi-view capture data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150243078A1 (en) * 2014-02-24 2015-08-27 Sony Computer Entertainment Inc. Methods and Systems for Social Sharing Head Mounted Display (HMD) Content With a Second Screen

Also Published As

Publication number Publication date
US20220046216A1 (en) 2022-02-10
KR20200043601A (ko) 2020-04-28
WO2020080632A1 (ko) 2020-04-23
US11457195B2 (en) 2022-09-27

Similar Documents

Publication Publication Date Title
US11151773B2 (en) Method and apparatus for adjusting viewing angle in virtual environment, and readable storage medium
KR102234928B1 (ko) 가상 현실 경험 공유
KR102381433B1 (ko) 화각 가상 현실 스트리밍을 위한 세션 제어 지원을 위한 방법 및 장치
US11703945B2 (en) Augmented reality information prompting system, display control method, equipment and medium
US11256319B2 (en) Hierarchical power management in artificial reality systems
KR20210053990A (ko) 가상 세계에서의 가상 차량 드리프팅 방법 및 디바이스, 및 저장 매체
JP2023507085A (ja) ヘッドマウントディスプレイとホストコンピュータとの間の分割レンダリング
US20170007926A1 (en) System, program, and method for operating screen by linking display and plurality of controllers connected via network
CN111408136A (zh) 一种游戏交互控制方法、装置及存储介质
KR20210113333A (ko) 다수의 가상 캐릭터를 제어하는 방법, 기기, 장치 및 저장 매체
CN110851095B (zh) 虚拟和增强现实中的多屏幕交互
CN111527523A (zh) 用于共享虚拟现实环境的装置和方法
EP2695039A2 (en) Keyboard avatar for heads up display (hud)
CN110297917B (zh) 直播方法、装置、电子设备及存储介质
WO2019128251A1 (zh) 蓝牙模块的重命名方法及电子设备
US11733956B2 (en) Display device sharing and interactivity
JP7503122B2 (ja) 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
CN111367488B (zh) 语音设备及语音设备的交互方法、设备、存储介质
KR102290746B1 (ko) 무인 비행 장치를 제어하는 전자 장치, 그에 의해 제어되는 무인 비행 장치 및 시스템
WO2021147465A1 (zh) 一种图像渲染方法、电子设备及***
US20160295078A1 (en) Synchronizing wireless sensor data and video
KR102543228B1 (ko) 포터블 장치 및 그 제어방법
US11328456B2 (en) Method and device for presenting synthesized reality companion content
KR20200056893A (ko) Hmd를 무선으로 제어하는 미디어 서버 및 이를 이용한 hmd 제어 방법
US11386604B2 (en) Moving an avatar based on real-world data

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right