KR20170095030A - 통신 시스템에서 vr 컨텐트 디스플레이를 지원하는 기법 - Google Patents

통신 시스템에서 vr 컨텐트 디스플레이를 지원하는 기법 Download PDF

Info

Publication number
KR20170095030A
KR20170095030A KR1020160016508A KR20160016508A KR20170095030A KR 20170095030 A KR20170095030 A KR 20170095030A KR 1020160016508 A KR1020160016508 A KR 1020160016508A KR 20160016508 A KR20160016508 A KR 20160016508A KR 20170095030 A KR20170095030 A KR 20170095030A
Authority
KR
South Korea
Prior art keywords
tile
image
view area
point
interest
Prior art date
Application number
KR1020160016508A
Other languages
English (en)
Inventor
에릭 입
최병두
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160016508A priority Critical patent/KR20170095030A/ko
Priority to PCT/KR2017/001494 priority patent/WO2017138776A1/ko
Priority to CN201780009797.3A priority patent/CN108605090A/zh
Priority to US16/076,490 priority patent/US10609412B2/en
Publication of KR20170095030A publication Critical patent/KR20170095030A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)

Abstract

본 개시는 360도 이미지 내에서 차지하는 위치에 따라서 정의되는 타일(tile)의 단위로 인코딩되고 전송되는, 상기 360도 이미지를 디스플레이하는 방법에 있어서, 사용자의 시점(viewpoint)에 상응하도록 디스플레이될 뷰 영역에 해당하는 적어도 하나의 타일을 요청하는 동작; 상기 뷰 영역에 해당하는 적어도 하나의 타일을 수신하고, 상기 수신된 적어도 하나의 타일을 디코딩하는 동작; 및 상기 디코딩된 타일을 렌더링하는 동작을 포함하는 방법을 제공한다.

Description

통신 시스템에서 VR 컨텐트 디스플레이를 지원하는 기법{SCHEME FOR SUPPORTING VIRTUAL REALITY CONTENT DISPLAY IN COMMUNICATION SYSTEM}
본 개시는 VR(virtual reality; 가상 현실) 컨텐트의 디스플레이에 관한 것으로써, 헤드 마운트 디스플레이(head mount display; HMD), 모바일 VR, TV VR, 360도(360 degree) 이미지, 시점(viewpoint) 및 관심 지점(point of interest)에 관한 것이다.
소비자 미디어 컨텐트(consumer media content)는 흑백 컨텐트에서 컬러 컨텐트, 고선명(high definition; HD) 컨텐트, 초고선명(ultra high definition; UHD) 컨텐트 등으로 계속적으로 진화하고 있다. 최근에는 HDR(high dynamic range) 컨텐트에 대한 표준화가 진행되어 HDR 컨텐트에 관한 표준이 배포되었다. 한편, VR 컨텐트는 VR 디바이스들이 배포되기까지는 인큐베이션(incubation) 단계에 있었다.
도 1은 VR 미디어 컨텐트의 제공을 위한 처리 플로우를 예시한다.
VR 미디어 컨텐트를 위한 처리 플로우는 도 1에서와 같은 절차를 따를 수 있다.
예를 들어, 비디오 카메라에 의해 캡쳐된(100) 영상은, 마스터링 장비에 의해 마스터링되며(102), 인코딩/다중화(Mux; multiplexing) 장비에 의해 인코딩/다중화 되며(104), 다양한 미디어 형식에 의해서 VR 컨텐트로써 배포될 수 있다(106).
상기 배포된 VR 컨텐트는 수신단에서 디코딩/역다중화(Demux; demultiplexing)되고(108), 디스플레이 디바이스에 전송되어(110), VR 디스플레이될 수 있다(112).
VR 컨텐트는 기존의 2D (2-dimension) 또는 3D (3-dimension) 컨텐트와 성격이 많이 다르다. VR 컨텐트는 사용자가 360도 전체로 보는 것을 가능하게 하여, 상기 사용자에게 에워싸는 듯한(immersive) 경험을 제공한다. 그러나, 사용자가 360도로 자유롭게 볼 수 있다는 것은, 컨텐트 제공자가 상기 사용자에게 예술적 묘사 측면에서 일부 손실을 끼칠 수 있다는 것을 의미한다.
VR 컨텐트 및 디바이스의 확산이 지연되고 있는 주요 이유 중 하나는 VR 컨텐트의 디스플레이 품질이 비-인터랙티브(non-interactive) 디스플레이의 고정 뷰(fixed view)의 컨텐트에 비해 좋지 못하다는 것이다. 즉, 소비자가 경험하는 현재 VR 기술의 스크린 컨텐트 품질은 고정 뷰 방식의 컨텐트에 비해 열악하다.
고정 뷰 방식의 컨텐트에 관해서는 차세대 컨텐트를 위한 산업 제안(industry recommendation)들(예를 들어, UHD 해상도, HDR 등)이 정의된 데 반하여, VR 컨텐트는 픽쳐 해상도(picture resolution), 불충분한 프레임 레이트(frame rate) 및 플리커링(flickering)과 같은 기본적인 이슈들에 의해 제약받고 있다.
현재 VR 컨텐트의 품질은 해상도에 의한 제약을 받고 있다. 사용자들은 적어도 2K의 HD 해상도에 익숙해져 있다고 간주된다. 따라서, 사용자들은 VR 컨텐트에서도 보다 나은 품질(immersed quality)의 해상도를 기대한다.
그러나, 현재의 VR 시스템은 단지 4K(: 4K UHD 즉, 2160p의 해상도)까지의 디코딩을 지원할 수 있는 디코더에 의해 제한되고 있다.
본 개시는 보다 높은 해상도의 향상된 품질을 갖는 스티칭된 360도 이미지를 이용하여 사용자에게 고 품질의 디스플레이를 제공하는 기법을 제공한다.
본 개시는 사용자 시점의 변화에 따른 피드백 입력으로 인한 뷰 영역 디스플레이 지연을 해소하는 기법을 제공한다.
본 개시는 360도 이미지 내에서 차지하는 위치에 따라서 정의되는 타일(tile)의 단위로 인코딩되고 전송되는, 상기 360도 이미지를 디스플레이하는 방법에 있어서, 사용자의 시점(viewpoint)에 상응하도록 디스플레이될 뷰 영역에 해당하는 적어도 하나의 타일을 요청하는 동작; 상기 뷰 영역에 해당하는 적어도 하나의 타일을 수신하고, 상기 수신된 적어도 하나의 타일을 디코딩하는 동작; 및 상기 디코딩된 타일을 렌더링하는 동작을 포함하는 방법을 제안한다.
본 개시는 360도 이미지 내에서 차지하는 위치에 따라서 정의되는 타일(tile)의 단위로 인코딩되고 전송되는, 상기 360도 이미지를 디스플레이하는 장치에 있어서, 사용자의 시점에 상응하도록 디스플레이될 뷰 영역에 해당하는 적어도 하나의 타일을 요청하고, 상기 뷰 영역에 해당하는 적어도 하나의 타일을 수신하는 제어기; 상기 수신된 적어도 하나의 타일을 디코딩하는 디코더; 및 상기 디코딩된 타일을 렌더링하는 디스플레이부을 포함하는 장치를 제안한다.
본 개시는 360도 이미지를 전송하는 방법에 있어서, 360도 이미지 내에서 차지하는 위치에 따라서 정의되는 타일(tile)의 단위로 상기 360도 이미지를 인코딩하는 동작; 적어도 하나의 타일을 지시하는 인덱스를 포함하는 요청을 수신하는 동작; 및 상기 요청에 포함된 인덱스에 해당하는 타일의 인코딩 이미지를 전송하는 동작을 포함하되, 상기 요청에 포함된 인덱스는 사용자의 시점에 상응하도록 디스플레이될 뷰 영역에 해당하는 타일을 지시함을 특징으로 하는 방법을 제안한다.
본 개시는 360도 이미지를 전송하는 장치에 있어서, 360도 이미지 내에서 차지하는 위치에 따라서 정의되는 타일(tile)의 단위로 상기 360도 이미지를 인코딩하는 인코더; 및 적어도 하나의 타일을 지시하는 인덱스를 포함하는 요청을 수신하고, 상기 요청에 포함된 인덱스에 해당하는 타일의 인코딩 이미지를 전송하는 제어기를 포함하되, 상기 요청에 포함된 인덱스는 사용자의 시점에 상응하도록 디스플레이될 뷰 영역에 해당하는 타일을 지시함을 특징으로 하는 장치를 제안한다.
본 개시에 따른 디스플레이 디바이스는 고정 뷰 방식의 컨텐트와 동일한 복잡도의(4K에 해당하는) 디코딩을 수행하더라도, 실제로 사용자에게 렌더링(render)되는 이미지는 현저히 높은 해상도와 품질을 갖는다.
도 1은 VR 미디어 컨텐트의 제공을 위한 처리 플로우를 예시하는 도면;
도 2는 4K 해상도의 스티칭된 360도 이미지 내에서 1K 해상도를 갖는 VR 뷰 영역을 예시하는 도면;
도 3은 8K 해상도의 스티칭된 360도 이미지 내에서 4K 해상도를 갖는 VR 뷰 영역을 예시하는 도면;
도 4는 360도 이미지 내에서 위치 기반으로 프래그먼트된 타일들을 예시하는 도면;
도 5는 360도 이미지를 구성하는 전체 타일과 디바이스에 의해 페칭된 타일들(서브-이미지)을 사용자 시점에 근거하여 설명하는 도면;
도 6은 사용자 시점의 변화 후의 뷰 영역이 페칭된 서브 이미지의 밖에 위치하는 경우의 예시도;
도 7은 획일적 세이프가드와 시점 이동 정보를 이용하여 결정되는 세이프가드를 예시하는 도면;
도 8은 본 개시에 따른 디스플레이 장치가 VR 컨텐트를 디스플레이 하는 방법의 예시도;
도 9는 본 개시에 따른 디스플레이 장치의 구성을 예시하는 도면;
도 10은 본 개시에 따른 컨텐트 서버가 VR 컨텐트를 제공하는 방법의 예시도;
도 11은 본 개시에 따른 컨텐스 서버의 장치 구성을 예시하는 도면이다.
이하, 첨부된 도면들을 참조하여 본 개시의 실시예를 상세하게 설명한다. 하기에서 본 개시를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로써 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 2는 4K 해상도의 스티칭된 360도 이미지 내에서 1K 해상도를 갖는 VR 뷰 영역을 예시한다.
최대 4K 해상도는 하나의 스티칭된(stitched) 360도 이미지(200)에 사용된다. 여기서, 스티칭된 360도 이미지란 스티칭(접합)에 의해 제공되는 360도 이미지를 의미한다. VR 시스템은 VR 컨텐트를 재생할 때, 사용자가 주시하고 있는 이미지의 부분(또는 뷰(view) 영역)(202)에 관계 없이 전체 360도 비디오 이미지(200)에 대해 4K의 해상도로써 디코딩한다. 이때, 디스플레이 디바이스(210)에서 실제로 디스플레이되는 VR 컨텐트는 4K 해상도의 360도 이미지(200)의 일부분(202)에 해당한다. 따라서, VR 시스템에서 사용자에게 렌더링되는(rendered) 실제 뷰 영역(202)은 대략 1K 정도의 낮은 해상도를 갖게 된다.
따라서, 본 개시에 따른 기법은 360도 이미지를 4K의 해상도로 제한하는 대신에, 보다 높은 해상도(예를 들어, 8K, 10K, 16K 또는 그 밖의 해상도)의 스티칭된 360도 이미지를 이용할 수 있다. 또한 본 개시의 디코더에서는 사용자의 시점(viewpoint)에 따라 상응하는 영역(360도 이미지 중 사용자에게 디스플레이되는 이미지의 영역, 이하 '뷰 영역'이라 함)만이 디코딩되고 상기 사용자에게 보여질 수 있다. 이렇게 함으로써, 상기 상응하는 영역은 상기 디스플레이 디바이스의 디코딩 능력 최대치에 해당하는 해상도를 가질 수 있고, VR 컨텐트를 소비하는 사용자는 보다 높은 품질의 VR 컨텐트를 경험할 수 있게 된다.
시점 종속적인(viewpoint dependent) 비디오 인코딩 및 렌더링(rendering)을 가능하게 하기 위해, VR 경험(experience)과 관련된 과제들이 존재할 수 있다. 첫째로, VR 컨텐트를 소비하는 종단 디바이스가 시점에 상응하는 뷰 영역만을 수신, 디코딩, 및 렌더링할 수 있도록 하기 위해, 비디오는 스티칭된 이미지 내의 위치에 기반하여 프래그먼트된 타일(fragmented tile) 단위로 인코딩되고 상기 종단 디바이스에게 전송(delivery)되어야 한다. 둘째로, 사용자의 시점은 상기 사용자의 의지에 따라서 끊임없이 변화(예를 들어, 회전)할 수 있으므로, 뷰 영역의 위치 기반 전달은 피드백 루프 응답(feedback loop response)으로 인한 지연을 초래할 수 있고 상기 지연을 완화할 수 있어야 한다.
동작에 대한 설명에 앞서, 본 명세서에서 사용되는 몇 가지 용어들에 대해 해석 가능한 의미의 예를 제시한다. 하지만, 아래 제시하는 해석 예로 한정되는 것은 아님을 주의하여야 한다.
디스플레이 디바이스는 본 개시에서 설명되는 VR 컨텐트를 출력하는 장치로써, 디스플레이 하드웨어, 처리 유닛, UE, 이동국(Mobile Station; MS), 이동장비(Mobile Equipment; ME), 디바이스(device), 터미널(terminal) 등으로 지칭될 수도 있다.
VR 컨텐트는 비디오와 같은 동영상 이미지일 수도 있고, 사진과 같은 스틸 이미지(still image)일 수도 있다. VR 컨텐트의 일 예로써, 본 개시에서는 360도 이미지가 설명된다. 360도 이미지란 스티칭 카메라 등에 의해 촬영되고 스티칭되는 이미지로써, 사용자가 위치 또는 오리엔테이션을 변경하는 경우에 360도 전체에 대한 뷰를 제공할 수 있는 이미지이다.
VR 시스템은 디스플레이 디바이스의 VR 컨텐트 소비를 지원하기 위한 제반 환경을 의미하며, VR 에코시스템(ecosystem)으로 호칭될 수도 있다. VR의 기본(fundamental)은 상기 사용자를 모니터할 수 있는 시스템이다. 상기 시스템은 상기 사용자가 컨텐트 디스플레이 디바이스(display device) 또는 처리 유닛(processing unit)에게 피드백 입력을 제공하도록 하는 일종의 제어기(controller)를 사용할 수 있게 한다. 상기 시스템은 피드백 입력에 상응하게 상기 컨텐트를 조절할 수 있게 하며, 사용자와의 인터랙션을 가능하게 한다.
상기 시스템은 예를 들어 다음 표와 같은 대략적 구성(또는 기능)들 중 적어도 하나를 포함할 수 있다.
구성(또는 기능) 설명
디스플레이 하드웨어 디스플레이 디바이스 또는 처리 유닛. 예를 들어, HMD, 무선 VR, 모바일 VR, TVs, CAVEs(cave automatic virtual environments)
사용자 제어기 VR 시스템(디스플레이 하드웨어)에 피드백 입력을 제공하는 구성. 예를 들어, 주변장치(peripherals) 및 햅틱장치(haptics)
컨텐트 캡쳐 예를 들어, 카메라, 비디오 스티칭(video stitching; 여러 비디오의 연결) 장치
컨텐트 스튜디오 예를 들어, 게임, 라이브, 시네마, 뉴스 & 다큐멘터리 등
산업 애플리케이션 예를 들어, 교육, 헬스 케어, 부동산, 건축, 여행 등
프로덕션 툴 & 서비스 예를 들어, 3D 엔진, 전력 프로세싱
앱 스토어(app stores) VR 미디어 컨텐트를 위한 앱 제공
제어기를 통한 사용자의 피드백 입력은, 1) 오리엔테이션 트래킹(orientation tracking) 및 2) 위치 트래킹(position tracking)으로 나뉠 수 있다. 상기 오리엔테이션 트래킹은 제어기가 회전(rotation)(즉, 사용자 시점의 방향)을 트래킹하는 것으로써, 3의 자유도(degree of freedom; DOF)를 갖는다. 상기 위치 트래킹은 제어기가 이동(translation)(즉, 사용자의 이동)을 트래킹하는 것으로써 3의 자유도를 갖는다. 따라서, 사용자가 VR 컨텐트를 경험할 때 가능한 최대 자유도는 6이다.
먼저, 360도 이미지의 타일 단위 인코딩 및 전송에 대해 설명된다.
도 3은 8K 해상도의 스티칭된 360도 이미지 내에서 4K 해상도를 갖는 VR 뷰 영역을 예시한다.
도 3을 참조하면, 스티칭된 360도 이미지(300)는 8K(; 8K Full UHD 즉, 4320p의 해상도)의 해상도를 가질 수 있다. 상기 360도 이미지는 타일(예를 들어, 302, 304) 단위로 인코딩되고 전달될 수 있다. 이때, 디스플레이 디바이스(310)에 의해 렌더링 되는 영역(즉, 뷰 영역)(312)은 사용자의 시점에 상응하는 영역이다. 상기 디스플레이 디바이스는 상기 뷰 영역(312)만을 디코딩 및 렌더링할 수 있고, 이때, 상기 뷰 영역은 4K의 해상도를 가질 수 있다. 따라서, 상기 디스플레이 디바이스는 최대 디코딩 능력치를 뷰 영역의 렌더링에 이용하게 되고, 사용자는 높은 품질의 VR 컨텐트를 경험할 수 있게 된다.
도 4는 360도 이미지 내에서 위치 기반으로 프래그먼트된 타일들을 예시한다.
본 개시에서 타일(tile)은 하나의 360도 이미지(400)를 인코딩하고 전송하기 위해 나뉘어진 단위 영역이다. 상기 360도 이미지는 하나 이상의 타일(예를 들어, 402, 404)을 포함할 수 있으며, 적어도 하나의 타일 단위로써 인코딩 및 전송될 수 있다. 타일(402, 404)은 360도 이미지(400) 내에서 차지하는 위치에 따라서 정의될 수 있다.
하나의 타일은 상기 360도 이미지 내에서 다른 타일과 오버랩(overlap) 되거나 오버랩되지 않을 수 있다. 또한, 각 타일은 독립적인 서브-비디오(sub-video) 또는 서브-이미지(sub-image)이다. 예측(prediction)을 위해 하나의 타일이 과거의(in the past) 다른 타일을 참조할 수 있게 하면(즉, 하나의 타일이 종속적인 서브-이미지이면), 디코더에 수신되지 않은 I 프레임(I frame; intra-frame: 렌더링에 필요한 정보를 모두 내부에 포함하는 프레임)이 필요한 경우에 문제를 발생시킬 수 있기 때문이다.
디코더가 이용할 수 있는 타일 관련 메타데이터는 예를 들어 다음과 같은 정보를 포함할 수 있다.
타일 메타데이터 360도 이미지 내의 타일의 개수
타일 위치 (예를 들어, 상단 좌측 코너, 하단 우측 코너)
클라이언트로부터 서버로의 요청을 인덱싱하는 타일 인덱스 (사용자의 시점 변화에 대한 새로운 업데이트 시마다, 힌트 트랙 내에서 전송될 수 있음)
낮은 해상도와 높은 해상도 이미지 사이를 구분하기 위한 정보
이어서, 뷰 영역 위치 기반 전달에 따른 지연을 완화하기 위한 기법이 설명된다.
본 개시는 디코더가 타일을 페칭을 함에 있어서 세이프가드(safeguard)를 이용하는 방안을 제안한다.
사용자의 시점이 정적(static)이라면, 뷰 영역의 위치도 변경되지 않으므로 지연의 문제가 발생하지 않을 것이고 타일 페칭을 위한 안전 영역(safety zone)도 필요하지 않을 것이다. 그러나, 사용자의 시점은 위치(position) 및 오리엔테이션(orientation)의 모든 측면에서 예측불가(unpredictable)하게 변화할 수 있다. 따라서, 상기 시점의 급격한 변화를 대비하기 위한 안전 영역(즉, 세이프가드(safeguard))으로써 상기 사용자의 현재 시점을 둘러싸는 타일들도 디스플레이 디바이스에 의해 페치(fetch)될 수 있다.
도 5는 360도 이미지를 구성하는 전체 타일과 디바이스에 의해 페칭된 타일들(서브-이미지)을 사용자 시점에 근거하여 설명하는 도면이다.
도 5를 참고하면, 임의의 시간에 사용자의 시점(502)에 상응하는 뷰 영역(500)을 위해 페치된 서브-이미지(510)가 예시된다.
사용자는 VR 디스플레이 디바이스에서 뷰 영역(500)에 해당하는 부분만을 볼 수 있다. 그러나, 상기 VR 디스플레이 디바이스는 서브-이미지(510) 내의 모든 타일들을 세이프가드로써 요청하고, 전달받고 디코딩할 수 있다(즉, 상기 서브-이미지(510)에 해당하는 영역이 세이프가드로써 페치될 수 있음). 이때, 상기 VR 디스플레이 디바이스에 의해 디코딩되는(즉, 페칭되는) 타일들의 총 개수는 상기 디코더에 의해 지원되는 최대 해상도에 상응하는 개수보다 작거나 같을 것이다. 상기 수신되는 타일들이 상기 360도 이미지 내에서 반드시 인접하는 타일들일 필요는 없다.
도 5에서, 세이프가드는 뷰 영역(500) 밖이고 페칭 서브이미지 영역(410) 내의 영역으로 결정된다. 세이프가드의 영역을 결정하는 가장 기본적 알고리즘은 상기 뷰 영역(500)을 둘러싸는 획일적(uniform) 세이프가드 영역을 정의하는 것이다. 그러나, 획일적 세이프가드 영역은 사용자가 머리를 빠르게 움직이는 경우(즉, 갑작스런 시점의 변화)에 대해 효과적으로 대응하지 못할 수 있다.
도 6은 사용자 시점의 변화 후의 뷰 영역이 페칭된 서브 이미지의 밖에 위치하는 경우의 예를 도시한다.
도 6을 참고하면, 사용자의 시점(602)이 급격히 변화하여 뷰 영역(600)이 페치되는 서브-이미지(610)의 영역 밖에 위치함을 알 수 있다.
시점의 변화 속도(사용자의 의지에 따른 시점 변화의 속도)가 타일 리프레쉬 속도(즉, 디바이스가 사용자 피드백 입력에 따라서 변경된 시점에 상응하는 뷰 영역의 타일들을 요청하고, 수신하고, 디코딩하고, 렌더링하는 절차의 속도)보다 빠르기 때문에, 디스플레이 디바이스는 상기 뷰 영역(600) 중 상기 페칭된 서브-이미지(610) 밖의 이미지 영역은 디스플레이 할 수 없다.
이러한 문제를 해결하기 위해 본 개시는 낮은 해상도의 백업 백그라운드 이미지를 이용하는 방안과 예측 기반의 시점 이동을 이용하는 방안을 제안한다. 상기 백업 백그라운드 이미지는 360도 이미지의 전체 또는 일부분에 대한 이미지 일 수 있다. 상기 백업 백그라운드 이미지 전송에 소요되는 비트레이트를 낮추기 위해서, 상기 백업 백그라운드 이미지는 상기 뷰 영역의 타일에 해당하는 이미지보다 낮은 공간 해상도(spatial resolution) 또는 프레임레이트(frame rate)를 갖는 이미지 일 수 있다. 선택적으로, 상기 백업 백그라운드 이미지는 상기 상기 뷰 영역의 타일에 해당하는 이미지보다 높은 양자화 계수(quantization parameter) 를 이용하여 압축된 이미지일 수도 있다.
디스플레이 디바이스가 낮은 해상도의 백업용 백그라운드 이미지를 이용하는 경우, 스티칭된 전체 이미지에 대한 낮은 해상도의 백업 이미지가 전체 재생 절차 동안 수신되고 생성(render)될 수 있다. 급격한 시점 이동에 대응하여 상기 디스플레이 디바이스는 상기 생성된 낮은 해상도의 백업 이미지를 출력함으로써, 디스플레이 불능을 예방할 수 있다. 단지, 상기 이동된 시점에 해당하는 부분에 대해서는 높은 해상도의 타일이 페치되거나 생성될 수 없을 뿐이다.
예측 기반 시점 이동을 이용하는 경우, 디스플레이 디바이스는 시점을 둘러싼 획일적 세이프가드 영역을 이용하는 대신에, 최근의 시점 이동 정보를(또는 상기 정보의 함수를) 이용하여 세이프가드 영역을 결정할 수 있다. 이 경우, "페치될(to be fetched)" 서브-이미지는 최근 시점 이동 정보 및 현재 시점의 직접적(direct) 함수로 결정될 수 있다. 사용자의 일반적 패닝(panning; 시점의 수평 회전)은 랜덤하게 다수 방향으로 이동할 정도로 불규칙하지는 않기 때문에(그리고, 사용자의 목 회전 속도에 제한될 수 밖에 없으므로), 시점의 이동 정보를 이용하는 것은 현재 사용자 뷰 영역에서 미리 페칭되지 않는 영역이 보여질 확률(즉, 뷰 영역 내에 이미지를 출력하지 못할 확률)을 줄일 수 있다.
도 7은 획일적 세이프가드와 시점 이동 정보를 이용하여 결정되는 세이프가드를 예시하는 도면이다.
도 7(a)는 시점에 기반하여 결정되는 획일적 세이프가드를 예시한다. 이 경우, 뷰 영역(700)을 둘러싸는 하나의 세이프가드(710) 영역이 디스플레이 디바이스에 의해 페치될 수 있다.
도 7(b)는 시점의 이동 정보에 기반하여 결정되는 유연한 세이프가드를 예시한다. 이 경우, 사용자의 시점 변화로 인해 뷰 영역이 720, 722, 724 순서로 변경하는 경우, 디스플레이 디바이스는 상기 시점 변화를 지시하는 시점 이동 벡터(726)를 이용하여 상기 시점 변화를 반영한 영역(730)를 세이프가드로써 결정할 수 있다. 상기 시점 이동 벡터는 상기 디스플레이 디바이스 내부에 구비되는 제어기와 같은 장치에 의해 획득될 수 있다.
선택적으로, 상기 디스플레이 디바이스는 사용자의 관심 지점 메타데이터에 근거하여 사전적 타일 페칭을 더 수행할 수도 있다.
컨텐트 내의 각 프레임 및 풍경(scene)은 스티칭된 이미지 내의 다른 영역에 비해 높은 관심도의 영역을 가질 수 있다. 상기 높은 관심도의 영역을 빠르게 렌더링(render)할 수 있도록 하기 위해, 상기 관심도의 영역은, 메타 데이터를 통해서, 디스플레이 디바이스에 의해 식별될 수 있고 '사전 페칭(prefetch)'될 수 있다. 또한, 사용자 시점에 상응하는 뷰 영역에서 '누락되는 타일(missing tile)'을 방지하기 위한 일 방안으로써, 관심있는 영역을 커버하는 타일들이 사전 페칭될 수 있을 뿐만 아니라, 관심 영역들 사이를 연결하는 경로 상의 타일 또는 현재 시점과 관심 영역을 잇는 경로 상의 타일들도 사전 페칭(prefetch)될 수 있다.
이 밖에도 뷰 영역에서 누락되는 타일을 방지하기 위해 상술한 방안들의 다양한 조합들도 적용될 수 있을 것이다.
도 8은 본 개시에 따른 디스플레이 장치가 VR 컨텐트를 디스플레이 하는 방법의 예시도이다.
디스플레이 장치는 사용자의 시점에 상응하는 뷰 영역의 타일의 전송을 요청할 수 있다(800). 상기 요청은 예를 들어 VR 컨텐트 제공자 또는 서버에게 전송될 수 있다. 상기 VR 컨텐트는 일 예로써 360도 이미지일 수 있으며, 상기 360도 이미지는 타일 단위로 인코딩 되고 전송(delivery)될 수 있다. 선택적으로, 상기 360도 이미지는 8K 이상의 해상도로 인코딩될 수 있으며, 상기 뷰 영역에 해당하는 타일들은 디코더의 최대 능력에 해당하는 해상도(예로써 4K)로 디코딩될 수 있다. 이렇게 함으로써, 사용자는 VR 컨텐트에서도 고 품질의 이미지를 경험할 수 있다.
상기 디스플레이 장치는 상기 뷰 영역에 해당하는 적어도 하나의 타일을 수신하고, 상기 수신된 타일을 디코딩할 수 있다(805).
상기 디스플레이 장치는 상기 디코딩된 타일을 디스플레이부에서 렌더링함으로써 디스플레이할 수 있다(810). 선택적으로, 상기 디스플레이 장치가 요청하는 타일은 상기 뷰 영역에 해당하는 타일 뿐만 아니라, 세이프가드에 해당하는 서브 이미지 영역 내의 타일을 더 포함할 수 있다. 이때, 상기 디스플레이 장치는 상기 뷰 영역에 해당하는 타일만을 렌더링하고, 상기 세이프가드에 해당하는 타일들은 시점의 변화로 인한 뷰 영역 변경시에 렌더링할 타일로써 이용할 수 있다. 선택적으로, 상기 서브 이미지 영역은 상기 시점의 이동을 나타내는 벡터의 함수로써 결정될 수 있다. 선택적으로, 상기 디스플레이 장치는 상기 시점이 변경되었음을 입력받는 동작과, 상기 변경된 시점에 상응하는 뷰 영역 내의 타일을 렌더링하는 동작을 더 수행할 수 있다. 선택적으로, 상기 디스플레이 장치는 상기 360도 이미지 전체에 대한 백업 이미지를 수신하고 디코딩하는 동작을 더 수행할 수 있으며, 상기 디코딩된 적어도 하나의 타일 중에 상기 변경된 시점에 상응하는 뷰 영역 내의 타일이 존재하지 않는 경우에는, 상기 백업 이미지를 이용하여 상기 변경된 시점에 상응하는 뷰 영역 내의 타일을 렌더링할 수도 있다. 선택적으로, 상기 디스플레이 장치는 관심 지점(point of interest)에 해당하는 타일, 상기 관심 지점과 타 관심 지점을 연결하는 경로 상의 타일, 및 상기 관심 지점과 상기 시점을 연결하는 경로 상의 타일 중 적어도 하나를 요청하고, 수신하며, 디코딩하는 동작을 더 수행할 수도 있다.
도 9는 본 개시에 따른 디스플레이 장치의 구성을 예시하는 도면이다.
디스플레이 장치(900)는 제어기(902), 디스플레이부(906), 및 디코더(904) 중 적어도 하나를 포함할 수 있다. 상기 디스플레이 장치(900)는 타일(tile)의 단위로 인코딩되고 전송되는 360도 이미지를 디스플레이 할 수 있다.
상기 제어기(902)는 사용자의 시점에 상응하도록 디스플레이될 뷰 영역에 해당하는 적어도 하나의 타일을 컨텐트 서버에 요청하고, 상기 뷰 영역에 해당하는 적어도 하나의 타일을 수신할 수 있다.
상기 디코더(904)는 상기 수신된 적어도 하나의 타일을 디코딩할 수 있다. 선택적으로, 상기 360도 이미지는 8K 이상의 해상도로 인코딩된 이미지이고, 상기 뷰 영역에 해당하는 타일은 상기 디코더가 지원하는 최대 해상도를 갖도록 디코딩될 수 있다. 예를 들어, 상기 뷰 영역에 포함되는 타일은 상기 디코더가 지원하는 최대 해상도에 상응하는 개수를 가질 수 있다. 상기 제어기(902)와 상기 디코더(904)는 반드시 별도의 장치로 구현되어야 하는 것은 아니고, 단일 칩과 같은 하나의 모듈로 구현될 수 있음은 물론이다.
상기 디스플레이부(906)는 상기 디코딩된 적어도 하나의 타일을 렌더링하여 출력할 수 있다.
도 10은 본 개시에 따른 컨텐트 서버가 VR 컨텐트를 제공하는 방법의 예시도이다.
컨텐트 서버는 타일 단위로써 360도 이미지를 인코딩할 수 있다(1000).
상기 컨텐트 서버는 디스플레이 디바이스로부터 적어도 하나의 타일을 지시하는 인덱스를 포함하는 요청을 수신할 수 있다(1005).
상기 컨텐트 서버는 상기 요청에 포함된 인덱스에 해당하는 타일의 인코딩 이미지를 상기 디스플레이 디바이스에게 전송할 수 있다(1010). 이때, 상기 요청에 포함된 인덱스는 상기 디스플레이 디바이스의 사용자 시점에 상응하도록 디스플레이되는 뷰 영역 내의 타일을 지시할 수 있다.
도 11은 본 개시에 따른 컨텐스 서버의 장치 구성을 예시하는 도면이다.
컨텐트 서버(1100)는 제어기(1102) 및 인코더(1104) 중 적어도 하나를 포함할 수 있다. 상기 컨텐트 서버(1100)는 VR 컨텐트의 일 예로써 360도 이미지를 제공할 수 있다.
상기 인코더(1104)는 타일(tile)의 단위로 상기 360도 이미지를 인코딩할 수 있다. 상기 타일은 상기 360도 이미지 내에서 차지하는 위치에 따라서 정의될 수 있다.
상기 제어기(1102)는 적어도 하나의 타일을 지시하는 인덱스를 포함하는 요청을 수신하고, 상기 요청에 포함된 인덱스에 해당하는 타일의 인코딩 이미지를 디스플레이 디바이스에게 전송할 수 있다. 이때, 상기 요청에 포함된 인덱스는 상기 디스플레이 디바이스의 사용자의 시점에 상응하도록 디스플레이될 뷰 영역에 해당하는 타일을 지시할 수 있다. 상기 제어기(1102)와 상기 디코더(1104)는 반드시 별도의 장치로 구현되어야 하는 것은 아니고, 단일 칩과 같은 하나의 모듈로 구현될 수 있음은 물론이다.
상기 도 2 내지 도 11이 예시하는 이미지내 뷰 영역의 예시도, 방법 및 장치 구성 예시도는 본 개시의 권리범위를 한정하기 위한 의도가 없음을 유의하여야 한다. 즉, 상기 도 2 내지 도 11에 기재된 모든 구성부, 또는 동작의 단계가 본 개시의 실시를 위한 필수구성요소인 것으로 해석되어서는 안되며, 일부 구성요소 만을 포함하여도 본 개시의 본질을 해치지 않는 범위 내에서 구현될 수 있다.
앞서 설명한 동작들은 해당 프로그램 코드를 저장한 메모리 장치를 통신 시스템의 서버 또는 단말 장치 내의 임의의 구성부에 구비함으로써 실현될 수 있다. 즉, 서버 또는 단말 장치의 제어부는 메모리 장치 내에 저장된 프로그램 코드를 프로세서 혹은 CPU(Central Processing Unit)에 의해 읽어내어 실행함으로써 앞서 설명한 동작들을 실행할 수 있다.
본 명세서에서 설명되는 서버 또는 단말 장치의 다양한 구성부들과, 모듈(module)등은 하드웨어(hardware) 회로, 일 예로 상보성 금속 산화막 반도체(complementary metal oxide semiconductor) 기반 논리 회로와, 펌웨어(firmware)와, 소프트웨어(software) 및/혹은 하드웨어와 펌웨어 및/혹은 머신 판독 가능 매체에 삽입된 소프트웨어의 조합과 같은 하드웨어 회로를 사용하여 동작될 수도 있다. 일 예로, 다양한 전기 구조 및 방법들은 트랜지스터(transistor)들과, 논리 게이트(logic gate)들과, 주문형 반도체와 같은 전기 회로들을 사용하여 실시될 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 360도 이미지 내에서 차지하는 위치에 따라서 정의되는 타일(tile)의 단위로 인코딩되고 전송되는, 상기 360도 이미지를 디스플레이하는 방법에 있어서,
    사용자의 시점(viewpoint)에 상응하도록 디스플레이될 뷰 영역에 해당하는 적어도 하나의 타일을 요청하는 동작;
    상기 뷰 영역에 해당하는 적어도 하나의 타일을 수신하고, 상기 수신된 적어도 하나의 타일을 디코딩하는 동작; 및
    상기 디코딩된 타일을 렌더링하는 동작을 포함하는 방법.
  2. 제1항에 있어서,
    상기 뷰 영역에 해당하는 적어도 하나의 타일은, 상기 뷰 영역을 포함하며 일정 크기를 갖는 서브 이미지 내의 타일들을 더 포함하되,
    상기 렌더링되는 타일은 상기 뷰 영역 내에만 있는 타일임을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 시점이 변경되었음을 입력받는 동작; 및
    상기 변경된 시점에 상응하는 뷰 영역 내의 타일을 렌더링하는 동작을 더 포함하는 방법.
  4. 제3항에 있어서,
    상기 360도 이미지의 전체 또는 일부에 대한 백업 이미지를 수신하고 디코딩하는 동작을 더 포함하되,
    상기 디코딩된 적어도 하나의 타일 중에 상기 변경된 시점에 상응하는 뷰 영역 내의 타일이 존재하지 않는 경우, 상기 백업 이미지를 이용하여 상기 변경된 시점에 상응하는 뷰 영역 내의 타일이 렌더링됨을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 백업 이미지는, 상기 디코딩된 타일보다 공간 해상도(spatial resolution) 혹은 프레임레이트(frame rate)가 낮은 이미지 및 상기 디코딩된 타일보다 높은 양자화 계수(quantization parameter)를 이용하여 압축되는 이미지 중 하나임을 특징으로 하는 방법.
  6. 제2항에 있어서,
    상기 서브 이미지 영역은 상기 시점의 이동을 나타내는 벡터의 함수로써 결정되는 영역임을 특징으로 하는 방법.
  7. 제1항에 있어서,
    관심 지점(point of interest)에 해당하는 타일, 상기 관심 지점과 타 관심 지점을 연결하는 경로 상의 타일, 및 상기 관심 지점과 상기 시점을 연결하는 경로 상의 타일 중 적어도 하나를 요청하고, 수신하며, 디코딩하는 동작을 더 포함하는 방법.
  8. 360도 이미지 내에서 차지하는 위치에 따라서 정의되는 타일(tile)의 단위로 인코딩되고 전송되는, 상기 360도 이미지를 디스플레이하는 장치에 있어서,
    사용자의 시점(viewpoint)에 상응하도록 디스플레이될 뷰 영역에 해당하는 적어도 하나의 타일을 요청하고, 상기 뷰 영역에 해당하는 적어도 하나의 타일을 수신하는 제어기;
    상기 수신된 적어도 하나의 타일을 디코딩하는 디코더; 및
    상기 디코딩된 타일을 렌더링하는 디스플레이부을 포함하는 장치.
  9. 제8항에 있어서,
    상기 뷰 영역에 해당하는 적어도 하나의 타일은, 상기 뷰 영역을 포함하며 일정 크기를 갖는 서브 이미지 내의 타일들을 더 포함하되,
    상기 디스플레이부는 상기 뷰 영역 내에만 있는 타일을 렌더링함을 특징으로 하는 장치.
  10. 제8항에 있어서,
    상기 제어기는 상기 시점이 변경되었음을 입력받도록 구성되며,
    상기 디스플레이부는 상기 변경된 시점에 상응하는 뷰 영역 내의 타일을 렌더링하도록 구성됨을 특징으로 하는 장치.
  11. 제10항에 있어서,
    상기 제어기는 상기 360도 이미지의 전체 또는 일부에 대한 백업 이미지를 수신하고 디코딩하는 동작을 더 수행하며,
    상기 디코딩된 적어도 하나의 타일 중에 상기 변경된 시점에 상응하는 뷰 영역 내의 타일이 존재하지 않는 경우, 상기 디스플레이부는 상기 백업 이미지를 이용하여 상기 변경된 시점에 상응하는 뷰 영역 내의 타일을 렌더링함을 특징으로 하는 장치.
  12. 제11항에 있어서,
    상기 백업 이미지는, 상기 디코딩된 타일보다 공간 해상도(spatial resolution) 혹은 프레임레이트(frame rate)가 낮은 이미지 및 상기 디코딩된 타일보다 높은 양자화 계수(quantization parameter)를 이용하여 압축되는 이미지 중 하나임을 특징으로 하는 장치.
  13. 제9항에 있어서,
    상기 제어기는 상기 시점의 이동을 나타내는 벡터의 함수로써 상기 서브 이미지 영역을 결정함을 특징으로 하는 장치.
  14. 제8항에 있어서,
    상기 제어기는, 관심 지점(point of interest)에 해당하는 타일, 상기 관심 지점과 타 관심 지점을 연결하는 경로 상의 타일, 및 상기 관심 지점과 상기 시점을 연결하는 경로 상의 타일 중 적어도 하나를 요청하고, 수신하며, 디코딩함을 특징으로 하는 장치.
  15. 360도 이미지를 전송하는 방법에 있어서,
    360도 이미지 내에서 차지하는 위치에 따라서 정의되는 타일(tile)의 단위로 상기 360도 이미지를 인코딩하는 동작;
    적어도 하나의 타일을 지시하는 인덱스를 포함하는 요청을 수신하는 동작; 및
    상기 요청에 포함된 인덱스에 해당하는 타일의 인코딩 이미지를 전송하는 동작을 포함하되,
    상기 요청에 포함된 인덱스는 사용자의 시점(viewpoint)에 상응하도록 디스플레이될 뷰 영역에 해당하는 타일을 지시함을 특징으로 하는 방법.
  16. 제15항에 있어서,
    상기 뷰 영역에 해당하는 타일은, 상기 뷰 영역을 포함하며 일정 크기를 갖는 서브 이미지 내의 타일들을 더 포함함을 특징으로 하는 방법.
  17. 제15항에 있어서,
    상기 360도 이미지의 전체 또는 일부에 대한 백업 이미지를 전송하는 동작을 더 포함함을 특징으로 하는 방법.
  18. 제17항에 있어서,
    상기 백업 이미지는, 상기 타일의 인코딩 이미지보다 공간 해상도(spatial resolution) 혹은 프레임레이트(frame rate)가 낮은 이미지 및 상기 타일의 인코딩 이미지보다 높은 양자화 계수(quantization parameter)를 이용하여 압축되는 이미지 중 하나임을 특징으로 하는 방법.
  19. 제15항에 있어서,
    관심 지점(point of interest)에 해당하는 타일, 상기 관심 지점과 타 관심 지점을 연결하는 경로 상의 타일, 및 상기 관심 지점과 상기 시점을 연결하는 경로 상의 타일 중 적어도 하나를 인코딩하고 전송하는 동작을 더 포함하는 방법.
  20. 360도 이미지를 전송하는 장치에 있어서,
    360도 이미지 내에서 차지하는 위치에 따라서 정의되는 타일(tile)의 단위로 상기 360도 이미지를 인코딩하는 인코더; 및
    적어도 하나의 타일을 지시하는 인덱스를 포함하는 요청을 수신하고, 상기 요청에 포함된 인덱스에 해당하는 타일의 인코딩 이미지를 전송하는 제어기를 포함하되,
    상기 요청에 포함된 인덱스는 사용자의 시점(viewpoint)에 상응하도록 디스플레이될 뷰 영역에 해당하는 타일을 지시함을 특징으로 하는 장치.
KR1020160016508A 2016-02-12 2016-02-12 통신 시스템에서 vr 컨텐트 디스플레이를 지원하는 기법 KR20170095030A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160016508A KR20170095030A (ko) 2016-02-12 2016-02-12 통신 시스템에서 vr 컨텐트 디스플레이를 지원하는 기법
PCT/KR2017/001494 WO2017138776A1 (ko) 2016-02-12 2017-02-10 통신 시스템에서 vr 컨텐트 디스플레이를 지원하는 기법
CN201780009797.3A CN108605090A (zh) 2016-02-12 2017-02-10 用于支持通信***中的vr内容显示的方法
US16/076,490 US10609412B2 (en) 2016-02-12 2017-02-10 Method for supporting VR content display in communication system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160016508A KR20170095030A (ko) 2016-02-12 2016-02-12 통신 시스템에서 vr 컨텐트 디스플레이를 지원하는 기법

Publications (1)

Publication Number Publication Date
KR20170095030A true KR20170095030A (ko) 2017-08-22

Family

ID=59563176

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160016508A KR20170095030A (ko) 2016-02-12 2016-02-12 통신 시스템에서 vr 컨텐트 디스플레이를 지원하는 기법

Country Status (4)

Country Link
US (1) US10609412B2 (ko)
KR (1) KR20170095030A (ko)
CN (1) CN108605090A (ko)
WO (1) WO2017138776A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190068148A (ko) * 2017-12-08 2019-06-18 주식회사 이누씨 Vr 영상 스트리밍 방법 및 장치
WO2019190203A1 (ko) * 2018-03-27 2019-10-03 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10827160B2 (en) 2016-12-16 2020-11-03 Samsung Electronics Co., Ltd Method for transmitting data relating to three-dimensional image
KR20220067771A (ko) * 2020-11-18 2022-05-25 주식회사 엘지유플러스 고해상도 영상의 스트리밍을 위한 영상 전송 장치와 영상 재생 장치 및 그 동작 방법
WO2023075012A1 (ko) * 2021-10-27 2023-05-04 한국전자기술연구원 사용자의 관심영역 추정이 가능한 저지연 360 vr 스트리밍 시스템 및 방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
JP7159057B2 (ja) * 2017-02-10 2022-10-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
US10574995B2 (en) * 2017-04-10 2020-02-25 Intel Corporation Technology to accelerate scene change detection and achieve adaptive content display
WO2019123547A1 (ja) * 2017-12-19 2019-06-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、基準画像データ生成装置、画像生成方法、および基準画像データ生成方法
WO2019245302A1 (en) * 2018-06-22 2019-12-26 Lg Electronics Inc. Method for transmitting 360-degree video, method for providing a user interface for 360-degree video, apparatus for transmitting 360-degree video, and apparatus for providing a user interface for 360-degree video
US11037271B2 (en) * 2018-08-07 2021-06-15 Qualcomm Incorporated Dynamic rendering for foveated rendering
US10565689B1 (en) 2018-08-07 2020-02-18 Qualcomm Incorporated Dynamic rendering for foveated rendering
GB2580667A (en) * 2019-01-22 2020-07-29 Sony Corp A method, device and computer program
WO2020185813A1 (en) * 2019-03-11 2020-09-17 Tencent America LLC Tile and sub-picture partitioning
US10972789B2 (en) 2019-06-03 2021-04-06 At&T Intellectual Property I, L.P. Methods, systems, and devices for providing service differentiation for different types of frames for video content
US11481026B2 (en) * 2019-08-22 2022-10-25 Samsung Electronics Co., Ltd. Immersive device and method for streaming of immersive media
CN114422813A (zh) * 2021-12-30 2022-04-29 中国电信股份有限公司 一种vr直播视频拼接及展示方法、装置、设备及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4725595B2 (ja) * 2008-04-24 2011-07-13 ソニー株式会社 映像処理装置、映像処理方法、プログラム及び記録媒体
JP4854819B2 (ja) 2009-05-18 2012-01-18 小平アソシエイツ株式会社 画像情報出力方法
US9007432B2 (en) 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
KR20120133006A (ko) 2011-05-30 2012-12-10 (주)포스트미디어 Ｉｐｔｖ 파노라마 영상의 스트리밍 서비스 제공 방법 및 그 서비스 제공 시스템
BR112014000368A2 (pt) 2011-08-25 2017-02-14 Panasonic Corp métodos e aparelhos para codificação, extração e de-codificação de vídeo com o uso de esquemas de codificação de recorte
JP5792607B2 (ja) * 2011-12-09 2015-10-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
US8767040B2 (en) * 2012-01-11 2014-07-01 Google Inc. Method and system for displaying panoramic imagery
US9846960B2 (en) * 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US20150012399A1 (en) * 2013-03-14 2015-01-08 Bill.Com, Inc. System and Method for Enhanced Access and Control for Modification of Auto-Learned Conflict Resolution and Related Rule and Value Replacements
KR101340598B1 (ko) * 2013-06-03 2013-12-11 송헌주 3차원 평면 타일배열 텍스처 매핑을 이용한 동영상기반 다시점 및 파노라마 가상현실 뷰어 제작 방법
US20150346812A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content
CN104168315B (zh) * 2014-08-08 2018-07-06 三星电子（中国）研发中心 一种全视角平滑的沉浸式显示方法和***
FR3028767B1 (fr) * 2014-11-26 2017-02-10 Parrot Systeme video pour le pilotage d'un drone en mode immersif
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
CN104935829A (zh) * 2015-06-02 2015-09-23 无锡天脉聚源传媒科技有限公司 一种图像处理方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10827160B2 (en) 2016-12-16 2020-11-03 Samsung Electronics Co., Ltd Method for transmitting data relating to three-dimensional image
KR20190068148A (ko) * 2017-12-08 2019-06-18 주식회사 이누씨 Vr 영상 스트리밍 방법 및 장치
WO2019190203A1 (ko) * 2018-03-27 2019-10-03 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR20220067771A (ko) * 2020-11-18 2022-05-25 주식회사 엘지유플러스 고해상도 영상의 스트리밍을 위한 영상 전송 장치와 영상 재생 장치 및 그 동작 방법
WO2023075012A1 (ko) * 2021-10-27 2023-05-04 한국전자기술연구원 사용자의 관심영역 추정이 가능한 저지연 360 vr 스트리밍 시스템 및 방법
KR20230060568A (ko) * 2021-10-27 2023-05-08 한국전자기술연구원 사용자의 관심영역 추정이 가능한 저지연 360 vr 스트리밍 시스템 및 방법

Also Published As

Publication number Publication date
US10609412B2 (en) 2020-03-31
WO2017138776A1 (ko) 2017-08-17
CN108605090A (zh) 2018-09-28
US20190045222A1 (en) 2019-02-07

Similar Documents

Publication Publication Date Title
KR20170095030A (ko) 통신 시스템에서 vr 컨텐트 디스플레이를 지원하는 기법
KR102545195B1 (ko) 가상 현실 시스템에서 컨텐트 전송 및 재생 방법 및 장치
CN111355954B (zh) 为视频播放器装置处理视频数据
US11303881B2 (en) Method and client for playing back panoramic video
CN104010225B (zh) 显示全景视频的方法和***
CA2974104C (en) Video transmission based on independently encoded background updates
US20170347084A1 (en) Virtual reality panoramic video system using scalable video coding layers
KR20210000761A (ko) 콘텐츠를 제공 및 디스플레이하기 위한 장치 및 방법
JP2017528947A (ja) パノラマ映像コンテンツの再生に使用するシステム及び方法
KR20190121867A (ko) 가상 현실 미디어 컨텐츠의 패키징 및 스트리밍을 위한 방법 및 장치
EP3434021B1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
CN109587478B (zh) 一种媒体信息的处理方法及装置
WO2016199607A1 (ja) 情報処理装置および情報処理方法
EP3235237A1 (en) Video transmission based on independently encoded background updates
US20220172440A1 (en) Extended field of view generation for split-rendering for virtual reality streaming
CN202818497U (zh) 基于高清数字摄像头监控的电子ptz装置
CN112771878A (zh) 处理媒体数据的方法、客户端和服务器
KR20220045038A (ko) 코드 스트림의 처리 방법, 장치, 제1 단말, 제2 단말 및 저장 매체
EP3497940B1 (en) Method and apparatus for transmitting and reproducing content in virtual reality system
EP4013059A1 (en) Changing video tracks in immersive videos
CN117440175A (zh) 用于视频传输的方法、装置、***、设备和介质
CN117440176A (zh) 用于视频传输的方法、装置、设备和介质
TW201822536A (zh) 透過機上盒播放環景影像之視角控制系統及方法