KR20200000815A - 송신장치, 송신방법, 수신장치, 수신방법, 및, 비일시적인 컴퓨터 판독가능한 기억매체 - Google Patents

송신장치, 송신방법, 수신장치, 수신방법, 및, 비일시적인 컴퓨터 판독가능한 기억매체 Download PDF

Info

Publication number
KR20200000815A
KR20200000815A KR1020190073803A KR20190073803A KR20200000815A KR 20200000815 A KR20200000815 A KR 20200000815A KR 1020190073803 A KR1020190073803 A KR 1020190073803A KR 20190073803 A KR20190073803 A KR 20190073803A KR 20200000815 A KR20200000815 A KR 20200000815A
Authority
KR
South Korea
Prior art keywords
video segment
video
segment
data
viewpoint
Prior art date
Application number
KR1020190073803A
Other languages
English (en)
Inventor
슌 스기모토
? 스기모토
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20200000815A publication Critical patent/KR20200000815A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

송신장치(101)는, 수신장치(102)로부터 비디오 세그먼트의 요구를 수신한다고(S609), 비디오 데이터에 근거한 제1비디오 세그먼트와 제2비디오 세그먼트 중 어느것을 송신할 것인지 결정하고, 결정된 비디오 세그먼트를 송신한다(S610). 상기 제2비디오 세그먼트는, 상기 제1비디오 세그먼트보다도 짧은 기간과, 상기 제1비디오 세그먼트보다 넓은 공간 면적 중에서 어느 한쪽 또는 양쪽에 대응하는 비디오 세그먼트이다.

Description

송신장치, 송신방법, 수신장치, 수신방법, 및, 비일시적인 컴퓨터 판독가능한 기억매체{TRANSMITTING APPARATUS, TRANSMITTING METHOD, RECEIVING APPARATUS, RECEIVING METHOD, AND NON-TRANSITORY COMPUTER READABLE STORAGE MEDIA}
본 발명은, 가상 시점 영상에 관련되는 데이터의 통신방법에 관한 것이다.
비디오와 음성 등의 미디어 콘텐츠를 스트리밍 분배하기 위한 통신 프로토콜로서 MPEG-DASH나 HTTP Live Streaming(HLS)이 알려져 있다. 이들 통신 프로토콜에서는, 서버(송신장치)가 미디어 세그먼트와 기술 데이터를 준비한다. 미디어 세그먼트는, 예를 들면, 비디오 데이터가 일정한 시간 단위로 분할된 비디오 세그먼트와, 오디오 데이터가 거의 마찬가지로 분할된 오디오 세그먼트다. 기술 데이터는, 각 미디어 세그먼트에 대해, 이 미디어 세그먼트를 요구하기 위한 Uniform Resource Locator(URL)를 포함하는 데이터다. 수신장치(클라이언트)는 송신장치로부터 기술 데이터를 취득하고, 기술 데이터에 기술되어 있는 URL에 근거하여 미디어 세그먼트를 선택적으로 취득한다. 또한, 일본국 특개 2015-187797호 공보에 개시된 것과 같이, 유저에 의한 가상 시점에 대해 행해진 조작을 반영시킨 영상(이하, 가상 시점 영상이라고 부른다)이 알려져 있다.
서버가 클라이언트에 대하여 가상공간 전체의 데이터를 제공하는 경우, 클라이언트는 자유롭게 가상 시점을 조작할 수 있지만, 이 경우에는 송신 데이터량이 증대한다. 한편, 서버가 클라이언트에 의해 지정된 가상 시점에 대응하는 데이터 만을 제공할 경우, 송신 데이터량은 삭감할 수 있지만, 통신의 인터랙티브성이 떨어진다. 즉, 클라이언트측의 가상 시점에 대해 행해진 조작에 따라 표시 영상을 시기적절하게 전환을 행하는 것이 곤란하게 될 수 있다.
본 발명은, 상기 과제를 감안하여 이루어진 것으로서, 송신 데이터량의 증대를 억제하고, 가상 시점에 대해 행해진 조작에 대한 추종성을 향상시킬 수 있다.
본 발명의 제1 면에 따르면,
비디오 데이터에 근거한 비디오 세그먼트를 송신하는 송신장치로서,
수신장치로부터 비디오 세그먼트의 요구를 수신하도록 구성된 수신부와,
상기 비디오 데이터에 근거한 제1비디오 세그먼트와 제2비디오 세그먼트 중 어느것을 상기 수신장치에 송신할 것인지 결정하도록 구성된 결정부와,
상기 결정부에 의해 결정된 비디오 세그먼트를 상기 수신장치에 송신하도록 구성된 송신부를 구비한다. 상기 제2비디오 세그먼트는, 상기 제1비디오 세그먼트보다도 짧은 기간과, 상기 제1비디오 세그먼트보다 넓은 공간 면적 중에서 어느 한쪽 또는 양쪽에 대응하는 비디오 세그먼트이다.
본 발명의 또 다른 특징은 첨부도면을 참조하여 주어지는 이하의 실시형태의 상세한 설명으로부터 명백해질 것이다.
도 1은 시스템 구성의 일례를 나타낸 것이다.
도 2는 송신장치의 하드웨어 구성 예를 나타낸 블록도이다.
도 3은 송신장치의 기능 구성 예를 나타낸 블록도이다.
도 4는 수신장치의 하드웨어 구성 예를 나타낸 블록도이다.
도 5는 수신장치의 기능 구성 예를 나타낸 블록도이다.
도 6은 실시형태 1에 따른 송신장치의 동작을 설명하기 위한 흐름도이다.
도7은 통상시 세그먼트와 시점 변경시 세그먼트의 차이를 설명하기 위한 도면이다.
도 8은 실시형태 1에 따른 수신장치의 동작을 설명하기 위한 흐름도이다.
도 9는 도 8에 있어서의 S900을 상세하게 설명하기 위한 흐름도이다.
도 10a 및 도 10b는 3차원 공간에 있어서의 시점정보의 표현방법의 예이다.
도 11은 시점정보의 취득을 위한 절차를 설명하기 위한 도면이다.
도 12는 실시형태 2에 따른 송신장치의 동작을 설명하기 위한 흐름도이다.
도 13은 실시형태 2에 따른 수신장치의 동작을 설명하기 위한 흐름도이다.
이하, 첨부의 도면을 참조하여, 본 발명을 그 바람직한 실시형태에 근거하여 상세하게 설명한다. 이때, 이하의 실시형태에 있어서 나타내는 구성은 일례에 지나지 않고, 본 발명은 도시된 구성에 한정되는 것은 아니다. 특히, 필요한 경우 또는 한 개의 실시형태에서의 개별적인 실시형태들로부터의 구성요소들 또는 특징들의 조합이 유리한 경우 다른 실시예들로부터의 특징이 조합될 수 있다.
실시형태1
도 1은, 본 실시형태에 따른 통신시스템의 일례를 도시한 도면이다. 송신장치(101)는, 비디오 데이터에 근거하는 비디오 세그먼트를 제공하는 서버 장치로서 기능한다. 송신장치(101)는, 디지털 카메라, 디지털 비디오카메라, 네트워크 카메라, 프로젝터, 스마트 폰, 및, 퍼스널컴퓨터(PC) 등에 의해 실현가능하다. 이때, 본실시형태에서는, 송신장치(101)가 비디오 세그먼트를 송신하는 예를 중심으로 설명하지만, 송신장치(101)는, 예를 들어, 오디오 세그먼트를 포함하는 각종 미디어 세그먼트, 및 이니셜리제이션 세그먼트 등을 수신장치(102)에 송신할 수 있다.
수신장치(102)는, 비디오 세그먼트를 수신해서 비디오를 재생하는 클라이언트 장치로서 기능한다. 수신장치(102)는, 예를 들어, 표시 기능 및 통신기능을 구비하는 디지털 텔레비전, 태블릿, 스마트 폰, PC, 및, 헤드마운트 디스플레이(HMD)에 의해 실현가능하다.
네트워크(103)는, 송신장치(101)와 수신장치(102)를 접속하기 위한 통신로다. 네트워크(103)는, 예를 들어, 로컬 에어리어 네트워크(LAN), 와이드 에어리어 네트워크(WAN) 또는, 공중이동통신인 Long Term Evolution(LTE)에 근거한 네트워크이어도 되고, 이들 네트워크의 조합이어도 된다.
도 2는, 송신장치(101)의 하드웨어 구성의 일례를 도시한 도면이다. 시스템 버스(200)는, 중앙처리장치(CPU)(201), 판독전용 메모리(ROM)(202), 랜덤 액세스 메모리(RAM)(203), 통신 인터페이스(204) 등을 접속하고, 각종 데이터의 전송 경로가 된다.
CPU(201)은, 각 하드웨어 구성부를 총괄적으로 제어하고, 송신장치(101) 전체를 제어한다. 송신장치(101)는, CPU(201)을 복수 갖고 있어도 된다. ROM(202)은, CPU(201)에 의해 실행되는 제어프로그램 등을 격납한다. RAM(203)은, CPU(201)의 주메모리 또는 워크 에어리어 등으로서 기능하고, 프로그램, 데이터 및 수신한 패킷 데이터 등을 일시기억한다. 통신 인터페이스(204)는, 네트워크(103)를 거쳐 통신 패킷의 송수신을 행하는 인터페이스이고, 예를 들면, 무선LAN 인터페이스, 유선LAN 인터페이스, 또는, 공중이동통신 인터페이스이다.
기억장치(205)는, 예를 들면, 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등이다. 본실시형태에서는, 기억장치(205)가 송신장치(101)의 외부에 위치하는 예를 설명하지만, 기억장치(205)가 송신장치(101)에 내장되어도 된다. 본 실시형태에 있어서, 기억장치(205)는, 가상 시점 영상의 생성을 위해 사용되는 소재 데이터를 기억한다. 소재 데이터는, 예를 들면, 다시점 영상 데이터다. 다시점 영상 데이터는, 촬영 대상(예를 들면, 축구장)을 다른 복수의 방향에서 동시에 촬영해서 얻어지는 영상 데이터다. 이때, 소재 데이터는 다시점 영상 데이터에 한정되지 않고, 예를 들면, 오브젝트(예를 들어, 촬영 대상이 축구인 경우에 선수 및 볼)의 3차원 형상 데이터와 텍스처 데이터의 조합이어도 된다. 3차원 형상 데이터와 텍스처 데이터는 다시점 영상 데이터로부터 기존의 방법(예를 들면, Visual Hull)에 의해 생성가능하다. 이렇게, 기억장치(205)에 기억되는 소재 데이터가 가상 시점 영상의 생성을 위해 사용될 수 있는 한, 이 소재 데이터의 형식은 특별히 한정되지 않는다. 또한, 기억장치(205)에 기억되는 소재 데이터는, 촬상장치로부터 실시간으로 취득되거나, 미리 생성된 데이터이어도 된다. 이하에서는, 소재 데이터가 다시점 영상 데이터인 경우의 예를 중심으로 설명한다.
도 3은, 송신장치(101)의 기능 구성 예를 도시한 도면이다. 이때, 본 실시형태에서는, 이하에 나타내는 다양한 기능 블록의 기능은, CPU(201)이 ROM(202) 및 RAM(203)에 격납되어 있는 소프트웨어 프로그램을 실행함으로써 실시되는 것으로 한다. 이때, 이들 기능 블록의 일부 또는 전부가 하드웨어를 통해 구현되어도 된다.
통신부(301)는, 통신 인터페이스(204)를 거쳐 송수신하는 통신 패킷에 대해 프로토콜 처리를 행한다. 통신부(301)는, 수신장치(102)로부터 수신한 각종 요구 패킷을 요구 처리부(302)에 전송하는 동시에, 기술 데이터 생성부(303)에 의해 생성된 기술 데이터, 및, 세그먼트 결정부(308)에 의해 결정된 비디오 세그먼트를 수신장치(102)에 송신한다. 본실시형태에서는, Transmission Control Protocol(TCP)/Internet Protocol(IP) 및 Hypertext Transfer Protocol(HTTP)을 사용하는 예를 설명한다. 그렇지만, 이들 통신 프로토콜과는 다른 통신 프로토콜을 사용해도 된다.
요구 처리부(302)는, 수신장치(102)로부터 수신한 요구 패킷을 처리한다. 본 실시형태의 요구 패킷에는, 기술 데이터를 요구하기 위한 기술 데이터 요구 패킷과, 비디오 세그먼트를 요구하기 위한 세그먼트 요구 패킷의 2종류가 있다. 기술 데이터는, 비디오 세그먼트의 요구처인 로케이션에 관한 정보(예를 들면, URL 또는 URI)를 기술한다. URI는, Uniform Resource Identifier의 약자이다. 비디오 세그먼트는, 비디오 데이터를 시간적 및 공간적으로 분할하여 얻어진 데이터다. 즉, 본 실시형태에 따른 송신장치(101)는, 3차원 공간에 대응하는 비디오 데이터 중, 가상 시점(가상 카메라)의 위치 및 방향에 대응하는 공간의 일정 기간의의 비디오 데이터를 비디오 세그먼트로서 제공한다.
요구 처리부(302)는, 기술 데이터 요구 패킷을 수신하면, 기술 데이터 생성부(303)에게 기술 데이터의 생성을 지시한다. 기술 데이터 요구 패킷에 시점정보가 포함되어 있는 경우에는, 요구 처리부(302)는, 시점정보 해석부(304)에게 시점정보의 해석을 지시한다. 한편, 요구 처리부(302)는, 세그먼트 요구 패킷을 수신하면, 송신해야 할 비디오 세그먼트의 결정을 세그먼트 결정부(308)에게 지시한다. 세그먼트 요구 패킷에 시점정보가 포함되어 있는 경우에는, 요구 처리부(302)는, 시점정보 해석부(304)에게 시점정보의 해석을 지시한다. 이때, 본실시형태에서는, 시점정보가 기술 데이터 요구 패킷에 포함되는 예를 중심으로 설명하지만, 시점정보와 기술 데이터 요구는 복수의 패킷에 분리되거나, 시점정보가 세그먼트 요구 패킷에 포함되어 있어도 된다.
기술 데이터 생성부(303)는, 기술 데이터 요구 패킷의 수신에 따라 기술 데이터를 생성한다. 이때, 기술 데이터가 생성되는 타이밍은 이 타이밍에 한정되지 않는다. 일정 시간 간격마다 기술 데이터가 생성되거나, 신규의 비디오 세그먼트가 생성된 타이밍에서 새로운 기술 데이터가 생성되어도 된다. 기술 데이터에는, 예를 들어, 비디오나 오디오의 특징에 관한 정보(예를 들면, 코덱 정보, 화상 사이즈 및 비트 레이트), 비디오 세그먼트에 관한 정보(예를 들면, 비디오 세그먼트의 기간), 및, 비디오 세그먼트를 요구하기 위한 URL이 기술된다. 본 실시형태의 기술 데이터는, MPEG-DASH Media Presentation Description(MPD) 및 HLS Playlists에 대응한다. 본실시형태에서는, MPEG-DASH에 근거하는 예를 중심으로 설명하지만, 그 이외의 통신 프로토콜이 사용되어도 된다.
시점정보 해석부(304)는, 기술 데이터 요구 패킷에 포함되는 시점정보(가상 카메라에 관한 파라미터 정보)를 해석한다. 시점정보는, 예를 들면, 3차원 공간에 있어서의 시점 위치, 시선 방향, 초점거리 및 화각을 표현하는 정보다. 이때, 상기한 모든 정보가 시점정보에 포함되어 있을 필요는 없다. 시점정보 해석부(304)는 시점정보의 해석 결과를 부호화부(305)에 입력한다.
부호화부(305)는, 시점정보의 해석 결과에 근거하여, 다시점 영상 기억부(306)로부터 취득한 다시점 영상 데이터(소재 데이터)를 부호화한다. 다시점 영상 데이터의 부호화 방식은, 예를 들면, H.264-Multiview Video Coding(MVC)이나, 3D Extensions of High Efficiency Video Coding(3D-HEVC)이어도 된다. 또한, 국제표준화되지 않고 있는 독자방식의 부호화 방식을 채용해도 된다. 이때, 소재 데이터의 예는 다시점 영상 데이터에 한정되지 않는다. 소재 데이터의 다른 예로서, 오브젝트(촬영 대상이 축구이면 선수 및 볼 등)의 3차원 형상 데이터와 텍스처 데이터, 및, 배경영역의 3차원 형상 데이터와 텍스처 데이터이어도 된다. 또한, 소재 데이터의 또 다른 예로서, 오브젝트의 3차원 형상의 각 구성요소에 텍스처를 부가하여 얻어지는 데이터인 칼라 3차원 데이터이어도 된다. 수신장치(102)는, 송신장치(101)로부터의 소재 데이터를 사용함으로써, 가상 시점 영상을 생성할 수 있다.
이때, 송신장치(101)는, 소재 데이터를 사용해서 가상 시점 영상을 생성하고, 그 가상 시점 영상을 수신장치(102)에 제공하는 것도 가능하다. 송신장치(101)가 가상 시점 영상을 생성하면, 통신의 인터랙티브성이 떨어지지만, 수신장치(102)의 계산 리소스가 낮을 경우에도, 가상 시점 영상을 표시시킬 수 있다.
부호화부(305)는, 비디오나 오디오의 특징에 관한 정보(예를 들면, 코덱 정보, 화상 사이즈, 비트 레이트 등)를 기술 데이터 생성부(303)에 입력한다. 다시점 영상 기억부(306)는, 기억장치(205)에, 소재 데이터(다시점 영상 데이터)를 기억시킨다. 기억장치(205)에 기억되는 다시점 영상 데이터는, 어떤 형식이라도 된다. 예를 들면, 복수의 촬상장치의 촬영 화상이 압축되지 않고 기억되어도 된다.
세그먼트 생성부(307)는, 부호화부(305)에서 부호화된 다시점 영상 데이터(소재 데이터)를 비디오 세그먼트를 생성한다. 예를 들면, 부호화된 다시점 영상 데이터로부터 Fragmented MP4 또는 TS포맷의 컨테이너 파일을 생성해도 된다. 세그먼트 결정부(308)는, 수신장치(102)로부터 수신한 세그먼트 요구에 따라 수신장치(102)에 송신할 비디오 세그먼트를 결정한다.
도 4는, 수신장치(102)의 하드웨어 구성의 일례를 도시한 도면이다. 시스템 버스(400), CPU(4010, ROM(402), RAM(403), 통신 인터페이스(404)는, 도 2와 거의 같게 기능하기 때문에 설명은 생략한다. 입력장치(405)는, 유저로부터의 입력을 접수하는 장치이다. 입력장치(405)는, 예를 들면, 터치패널, 키보드, 마우스, 버튼이다. 예를 들어, 입력장치(405)의 조작에 의해, 가상 시점의 위치 및 방향을 변경하는 것이 가능하다.
출력장치(406)는, 가상 시점 영상을 포함하는 각종 정보를 출력하는 장치로, 디스플레이, 디지털 텔레비전, 및, 프로젝터 등의 표시 기능을 갖춘 장치다. 기억장치(407)은, 송신장치(101)로부터 수신한 소재 데이터(다시점 영상 데이터)와 가상 시점 영상 등을 기억하기 위한 장치이다. 기억장치(407)의 예로는, HDD와 SSD 등의 스토리지 장치를 들 수 있다.
본 실시형태에서는, 수신장치(102)가 입력장치(405), 출력장치(406), 및, 기억장치(407)를 포함되는 예를 설명하지만, 입력장치(405), 출력장치(406), 및, 기억장치(407)가 수신장치(102)의 외부에 설치되어도 된다.
도 5는, 수신장치(102)의 기능 구성 예를 도시한 도면이다. 이때, 본 실시형태에서는, 이하의 각 기능 블록의 기능은, CPU(401)가 ROM(402) 및 RAM(403)에 격납되어 있는 소프트웨어 프로그램을 실행함으로써 실시되는 것으로 한다. 이때, 기능 블록의 일부 또는 전부가 하드웨어로 구현되어도 된다.
통신부(501)는, 통신 인터페이스(404)를 통해 송수신되는 통신 패킷에 대해 프로토콜 처리를 행한다. 통신부(501)는, 송신장치(101)로부터 수신한 기술 데이터를 기술 데이터 해석부(502)에 전송하는 동시에, 소재 데이터(다시점 영상 데이터)가 격납된 비디오 세그먼트를 가상 시점 영상 기억부(504)에게 기억시킨다. 또한, 통신부(501)는, 요구 생성부(503)로부터 받은 각종 요구 패킷을 네트워크(103) 경유로 송신장치(101)에 송신한다. 본실시형태에서는, 수신장치(102)가, 송신장치(101)와 마찬가지로, TCP/IP 및 HTTP을 사용하는 예를 설명하지만, 수신장치(102)가 다른 프로토콜을 이용해도 된다.
기술 데이터 해석부(502)는, 송신장치(101)로부터 수신한 기술 데이터의 해석 처리를 행한다. 기술 데이터에는 비디오 세그먼트를 요구하기 위한 URL 및 세그먼트 정보 등이 기술되어 있고, 기술 데이터 해석부(502)는, 이들 기술 데이터의 내용을 요구 생성부(503)에 입력한다. 이때, 기술 데이터의 내용은 유저가 확인할 수 있게 출력부(506)에서 출력되도록 해도 된다.
요구 생성부(503)는, 송신장치(101)에 송신할 각종 요구 패킷의 생성을 행한다. 요구 패킷에는, 기술 데이터를 요구하기 위한 기술 데이터 요구 패킷과, 다시점 영상 데이터(소재 데이터)가 격납된 비디오 세그먼트를 요구하기 위한 세그먼트 요구 패킷이 포함된다. 또한, 요구 생성부(503)는, 입력부(507)로부터 입력되는 시점정보를 기술 데이터 요구 패킷에 격납한다. 시점정보는, 기술 데이터 요구 패킷에 격납될 필요는 없고, 세그먼트 요구 패킷에 격납되거나, 기술 데이터 요구 패킷과 세그먼트 요구 패킷과는 다른 독립된 패킷에 격납되어도 된다.
가상 시점 영상 기억부(504)는, 통신부(501)로부터 받은 비디오 세그먼트를 기억장치(407)에 기억시킨다. 이때, 비디오 세그먼트에 포함되는 소재 데이터(다시점 영상 데이터)가 부호화되어 있을 경우, 비디오 세그먼트는 복호화부(505)에 의해 먼저 복호된 후 기억장치(407)에 기억되어도 된다. 또한, 소재 데이터(다시점 영상 데이터)로부터 복호화부(505)에 의해 생성된 가상 시점 영상이 기억장치(407)에 기억되도록 해도 된다. 또한, 송신장치(101)로부터 가상 시점 영상 그 자체를 수신한 경우에는, 그 가상 시점 영상이 기억장치(407)에 기억되어도 된다.
복호화부(505)는, 송신장치(101)로부터 수신한 소재 데이터(또는 가상 시점 영상)를 복호화한다. 출력부(506)는, 복호화부(505)에서 취득한 복호화된 데이터를 출력장치(406)에 출력한다. 입력부(507)는, 입력장치(405)를 거쳐 유저에 의해 입력되는 시점정보(가상 카메라의 파라미터)를 요구 생성부(503)에 출력한다. 또한, 입력된 정보는 출력부(506)를 거쳐 출력장치(406)에 출력되어도 된다.
도6은, 송신장치(101)에 의해 행해지는 처리의 절차를 나타내는 흐름도다. 해당 흐름도는, 송신장치(101)에서, ROM(202)에 기억된 프로그램을 CPU(201)이 판독하고 그것을 실행함으로써 실현된다.
S601에 있어서, 요구 처리부(302)는, 기술 데이터 요구 패킷을 수신하였는지 아닌지를 판정한다. 기술 데이터 요구 패킷이 수신된 경우에는, S602로 처리를 진행한다. 기술 데이터 요구 패킷을 수신하지 않고 있으면, S609로 처리를 진행한다.
S602에 있어서, 시점정보 해석부(304)는, 시점정보(가상 카메라의 파라미터)에 변경이 있는지 판별한다. 판별 방법의 일례로서, 소정 기간에 가상 시점의 이동 거리와 임계값을 비교하는 방법이 있다. 예를 들면, 2초마다 가상 시점의 이동 거리의 합계값을 구하고, 해당 이동 거리 합계값이 임계값 이상이면, 시점정보에 변경이 있다고 판별할 수 있다. 판별 방법의 다른 예로서, 제1시간에 있어서의 가상 시점의 위치와 제2시간에 있어서의 가상 시점의 위치의 차이와, 임계값를 비교하는 방법이 적용가능하다. 즉, 송신장치(101)는, 제1시간과 제2시간의 가상 시점의 위치의 차이가 임계값 이상이면, 시점정보에 변경이 있다고 판정한다. 이 차이가 임계값 미만이면, 송신장치(101)는, 시점정보에 변경이 없다고 판정할 수 있다.
또한, 판별 방법의 다른 예로서, 제1시간에 있어서의 가상 시점의 방향과 제2시간에 있어서의 가상 시점의 방향의 차이와 임계값를 비교하는 방법이 적용가능하다. 즉, 송신장치(101)는, 제1시간과 제2시간의 가상 시점의 방향의 차이가 임계값 이상이면, 시점정보에 변경이 있다고 판정한다. 해당 차이가 임계값 미만이면, 송신장치(101)는, 시점정보에 변경이 없다고 판정할 수 있다.
또한, 판별 방법의 다른 예로서, 수신장치(102)가 판별을 행하는 방법이 있다. 즉, 시점에 변화가 존재하는 경우만 수신장치(102)가 시점정보를 송신하는 케이스에 있어서는, 송신장치(101)가 시점정보를 받았을 경우에는 송신장치(10)가 항상 시점정보의 변경이 발생했다고 판정할 수 있다. 시점정보에 변경이 있는 경우에는 S603으로 처리를 진행한다. 시점정보에 변경이 없는 경우에는, S604로 처리를 진행한다.
S603에 있어서, 시점정보 해석부(304)는 시점정보에 대해 해석 처리를 행한다. S604에 있어서, 부호화부(305)는 통상의 다시점 영상 데이터의 부호화를 행하고, 세그먼트 생성부(307)는 비디오 세그먼트(통상시 비디오 세그먼트)의 생성을 행한다. S605에 있어서, 부호화부(305)는 시점 변경시의 다시점 영상 데이터의 부호화를 행하고, 세그먼트 생성부(307)는 비디오 세그먼트(시점 변경시 비디오 세그먼트)의 생성을 행한다. 즉, 시점정보 해석부(304)는, 수신장치(102)에 대하여, 통상시 세그먼트와 시점 변경시 세그먼트의 어느 것을 제공할 것인지를 결정한다. 통상시 세그먼트와 시점 변경시 세그먼트의 차이에 대해서는 후술한다.
S606에 있어서, 기술 데이터 생성부(303)는, S604 또는 S605에 있어서 생성된 비디오 세그먼트를 요구하기 위한 정보(URI 또는 URL)를 기술한 기술 데이터를 생성한다. 즉, 기술 데이터 생성부(303)는, 통상시 세그먼트와 시점 변경시 세그먼트 중 어느 한쪽의 로케이션에 관한 정보가 기술된 기술 데이터를 생성한다. S607에 있어서, 통신부(301)는 S606에 있어서 생성된 기술 데이터를 수신장치(102)에 송신한다. S608에 있어서, 영상 데이터의 송신 서비스를 종료할 것인지 판정한다. 서비스를 계속하는 경우에는, S601로 처리를 진행한다.
S609에 있어서, 요구 처리부(302)는, 수신장치(102)로부터 세그먼트 요구 패킷(비디오 세그먼트의 요구)을 수신하였는지 아닌지를 판정한다. 세그먼트 요구 패킷이 수신된 경우에는, S610으로 처리를 진행한다. 세그먼트 요구 패킷이 수신되지 않은 경우에는, S601로 처리를 진행한다. S610에 있어서, 통신부(301)는, 세그먼트 요구 패킷의 송신원인 수신장치(102)에, 세그먼트 요구 패킷에 대응하는 비디오 세그먼트(통상시 세그먼트 또는 시점 변경시 세그먼트)를 수신장치(102)에 송신한다.
도7은, 통상시 세그먼트와 시점 변경시 세그먼트의 관계를 나타낸 도면이다. 본 실시형태에 있어서, 시점 변경시 세그먼트(제2비디오 세그먼트)는, 통상시 세그먼트(제1비디오 세그먼트)보다도 짧은 시간과, 통상시 세그먼트(제1비디오 세그먼트)보다도 넓은 공간 면적 중 한쪽 또는 양쪽에 대응한다. 이때, 시점축은 반드시 단일 파라미터에 근거한 1차원일 필요는 없으며, 복수의 파라미터에 근거한 다차원 영역의 치수로서 파악할 수도 있다.
도 7에서, 참조번호 701 내지 707이 가리키는 사각형은 각각 비디오 세그먼트이다. 횡으로 긴 비디오 세그먼트는 더 긴 기간에 대응하고 있다. 또한, 종으로 긴 비디오 세그먼트는 더 넓은 공간 면적에 대응하고 있다. 참조번호 708은 유저의 시점 위치를 나타낸다. 시간축 상에 있어서 각 비디오 세그먼트의 가장자리에 도달하기 전에 수신장치(102)은 기술 데이터 요구 패킷을 송신장치(101)에 송신한다.
세그먼트 701과 707은 통상시 세그먼트이며, 시점 영역의 폭은 좁고, 또한, 기간이 더 길다. 즉, 가상 시점이 이동하고 있지 않는 기간에 송신되는 비디오 세그먼트는, 좁은 공간 면적과 긴 기간 중 한쪽 또는 양쪽에 대응한다. 일반적으로, 좁은 공간 면적에 대응하는 비디오 세그먼트는 넓은 공간 면적에 대응하는 비디오 세그먼트보다도 데이터량이 적으므로, 비디오 세그먼트의 단위시간당의 송신 데이터량을 저감할 수 있다.
한편, 세그먼트 702 내지 706은 시점 변경시 세그먼트이며, 각각의 시점 영역의 폭은 넓고, 또한, 기간은 더 짧다. 즉, 가상 시점이 이동하고 있는 기간에 송신되는 비디오 세그먼트는, 넓은 공간 면적과 짧은 기간 중 한쪽 또는 양쪽에 대응한다. 이에 따라, 가상 시점의 변화를 면밀하게 추종할 수 있다. 또한, 가상 시점이 이동하고 있는 동안 송신되는 비디오 세그먼트의 기간을 짧게 함으로써, 가상 시점의 이동에 따라 송신 대상 영역을 인터랙티브하게 변경할 수 있으므로, 송신 데이터량의 증대를 방지할 수 있다고 하는 효과가 있다. 또한, 가상 시점의 이동이 정지했을 때에는, 신속하게 통상시 세그먼트로 전환할 수 있으므로, 송신 데이터량을 삭감할 수 있다고 하는 이점을 제공한다.
세그먼트 결정부(308)는, 시점정보의 변경의 유무를 판별하고, 그 결과에 근거하여 통상시 세그먼트와 시점 변경시 세그먼트 사이의 전환을 행한다. 이때, 본 실시형태에서는, 통상시 세그먼트와 시점 변경시 세그먼트의 2개의 패턴을 가질 경우의 예를 설명하지만, 가상 시점의 이동 거리와 가상 시점의 이동 속도 등에 따라 3개 이상의 패턴으로 비디오 세그먼트를 분류해도 된다. 또한, 시점 영역의 폭은, 예를 들면, 후술하는 시점정보에 포함되는 다양한 파라미터가 취할 수 있는 범위에서 제어하거나, 특정한 파라미터의 복수의 고정값의 조합으로서 제어해도 된다. 또한, 통상시 세그먼트는 기간이 짧은 시점 변경시 세그먼트를 복수 연결함으로써 생성해도 된다. 바꿔 말하면, 통상시 세그먼트에 대응하는 기간에, 시점 변경시 세그먼트에 대응하는 기간이 존재해도 된다.
도8은, 수신장치(102)의 동작을 설명하기 위한 흐름도다. 해당 흐름도는, 수신장치(102)의 CPU(401)이, ROM(402)에 기억된 프로그램을 판독하고, 그것을 실행함으로써 실현된다.
S801에 있어서, 요구 생성부(503)는, 현재의 시점정보를 생성한다. 시점정보의 표현 방법의 일례에 대해서는 도 10a 및 도 10b를 사용해서 후술한다. S802에 있어서, 요구 생성부(503)는, 기술 데이터 요구 패킷을 생성한다. 본 실시형태에 있어서, 기술 데이터 요구 패킷에는, S801에 있어서 생성된 시점정보가 포함된다.
S803에 있어서, 통신부(501)는, 기술 데이터 요구 패킷을 송신장치(101)에 대하여 송신한다. S804에 있어서, 통신부(501)는, 기술 데이터를 수신하였는지 아닌지를 판정한다. 기술 데이터를 수신하면 S805로 처리를 진행한다.
S805에 있어서, 기술 데이터 해석부(502)는, 기술 데이터의 해석을 행한다. S900에 있어서, 기술 데이터 해석부(502)는, S805에 있어서 해석한 기술 데이터에 근거하여 세그먼트 처리를 행한다. 세그먼트 처리의 상세한 것은 도 9를 사용해서 후술한다. S806에 있어서, 서비스를 종료할지 판정한다. 서비스를 계속하는 경우에는 S801로 처리를 진행한다.
도 9는, S900에서 행해지는 세그먼트 처리의 절차를 나타내는 흐름도다.
S901에 있어서, 요구 생성부(503)는, 세그먼트 요구 패킷을 생성한다. S902에 있어서, 통신부(501)는, 세그먼트 요구 패킷을 송신장치(101)에 송신한다. S903에 있어서, 통신부(501)는, 송신장치(101)로부터 비디오 세그먼트를 수신하였는지 아닌지를 판정한다. 비디오 세그먼트를 수신하면 S904로 처리를 진행한다. S904에 있어서, 가상 시점 영상 기억부(504)는, 비디오 세그먼트를 기억장치(407)에 기억시킨다.
S905에 있어서, 복호화부(505)는, 비디오 세그먼트의 재생이 필요한지 여부를 판정한다. 예를 들면, 비디오 세그먼트의 데이터가 모두 기억되고, 시간적으로 이전의 비디오 세그먼트의 재생이 완료했을 경우에, 비디오 세그먼트가 재생될 필요가 있다고 판정하거나, 다른 판정 방법을 사용해도 된다. 비디오 세그먼트가 재생될 필요가 있다고 판정되면 S906으로 처리를 진행한다. S906에 있어서, 복호화부(505)는 비디오 세그먼트에 대해 복호화처리를 행한다. S906을 S904 이전에 행함으로써 비디오 세그먼트를 미리 복호화하고, 복호화된 비디오 세그먼트를 기억장치(407)에 기억하고 있어도 된다. S907에 있어서, 출력부(506)는 출력장치(406)에 대하여 비디오 세그먼트를 출력한다. 이에 따라, 가상 시점 영상이 표시된다.
도10a 및 도 10b는, 시점정보의 표현 방법의 일례를 도시한 도면이다. 도 10a는, 3차원 공간에 있어서의 시점의 위치를 나타낸다. 참조번호 1001은 시점 위치를 나타낸다. 참조번호 1002, 1003 및 1004는 각각 3차원 공간에 있어서의 x좌표축, y좌표축 및 z좌표축을 나타낸다. 좌표축에 있어서의 시점 위치의 표현방법의 예로서, 좌표축마다 이동가능한 범위를 미리 정의해 두고, 0으로부터 해당 범위까지의 수치를 이용하여 시점 위치를 표현하는 방법을 들 수 있다. 본 실시형태에서는, 절대 좌표로서 시점 위치를 표현하는 예를 나타내지만, 시점 위치는 상대 좌표, 예를 들면, 최대 이동 가능범위를 1로 설정했을 경우의 비율이거나, 현재 시점 위치부터의 이동 거리이어도 된다.
도 10b는, 시점 위치로부터의 시선 방향을 나타낸다. 참조번호 1005, 1006 및 1007은 시선 방향을 나타내는 요(yaw)축, 시선 방향의 경사를 나타내는 피치(pitch)축, 시선 방향의 회전을 나타내는 룰(roll)축을 각각 나타낸다. 이들 3축의 파라미터를 변경함으로써 방향을 자유롭게 변경할 수 있다. 시선 방향의 표현방법의 예로서, 축마다 이동가능한 범위를 미리 정의해 두고, 예를 들면, 0으로부터 360 또는 -180으로부터 180과 같이 시선 방향을 표현하는 방법을 들 수 있다. 본 실시형태에서는, 시선 방향을 절대값으로서 표현하는 예를 나타내지만, 시선 방형을 상대값, 즉, 예를 들어, 현재의 시선 방향으로부터 차분값으로 표현해도 된다. 또한, 참조번호 1008은 초점위치까지의 거리를 나타내는 depth다. depth의 단위도 절대값 또는 상대값이어도 된다. 이들 시점 위치, 시선 방향, 및, 초점위치 등의 파라미터는 반드시 포함될 필요는 없고, 1개 이상의 파라미터들의 조합을 사용해도 된다.
도11은, HTTP 확장 헤더를 이용해서 시점정보를 취득할 경우의 예를 나타낸 도면이다. 우선, 수신장치(102)로부터 송신장치(101)에 대하여 기술 데이터 요구(1101)를 송신한다. 기술 데이터 요구(1101)에는, 기술 데이터를 요구하기 위한 액세스 URL(1102)과 시점정보(1103)가 포함된다. 도 11의 시점정보(1103)는, 유저(수신장치(102))의 현재의 시점 위치, 시선 방향 및 초점위치를 포함하고 있다. 확장 헤더 필드로서, 시점 위치를 X-SightLocation, 시선 방향을 X-SightDirection, 초점위치를 X-SightDepth로서 정의하고 있다.
송신장치(101)는, 수신장치(102)로부터 기술 데이터 요구(1101)를 수신하면, 기술 데이터(1104)를 수신장치(102)에 송신한다. 참조번호 1104는, 기술 데이터의 예이며, MPEG-DASH에 따라 스트리밍을 행하는 것을 상정한 예지만, 그 이외의 방식을 사용해도 된다. MPEG-DASH에 대해서는 MPD로 불리는 xml 형식의 기술 데이터를 사용한다. 기술 데이터에서는, 각종 데이터가 그 구분에 따라 네스팅(nesting) 방식으로 기술된다. 동화상 세그먼트 정보와 음성의 세그먼트 정보는 Segment 태그 내에 기술된다. 참조번호 1105는, Segment 태그 내에 기술되는 세그먼트를 요구하기 위한 액세스 URL을 나타낸다. 수신장치(102)는, 기술 데이터(1104)를 수신하면, 원하는 비디오 세그먼트를 선택하고, 해당 비디오 세그먼트에 대한 액세스 URL(1105)을 사용해서 세그먼트 요구 패킷을 생성한다. MPEG-DASH 및 HAS 등의 HTTP 베이스의 스트리밍 방식에서는, 비디오 세그먼트의 요구는 HTTP의 GET 리퀘스트 메시지에 의해 실현된다.
본 실시형태에 따른 송신장치(101)는, 수신장치(102)로부터 기술 데이터 요구 패킷과 함께 시점정보를 받고, 그 시점정보로부터 시점 변경의 유무를 판별하고, 시점 변경이 존재하면, 통상시보다도 더 넓은 시점 영역과 더 짧은 기간 중에서 어느 한쪽 또는 양쪽을 갖는 비디오 세그먼트를 제공한다. 이에 따라, 송신 데이터량의 증대를 억제하고 유저에 의해 행해진 시점의 변경이 면밀하게 추종되는 비디오 송신이 가능해 진다.
이때, 시점정보는 세그먼트 요구 패킷에 포함되어 있어도 된다. 또한, 상기한 실시형태에 있어서, 송신장치(101)는, 수신장치(102)로부터 받은 시점정보로부터, 시점정보의 변경이 있다고 판별했을 때에, 기술 데이터의 내용을 시점 변경시 세그먼트의 정보로 바꾸어쓴다. 그렇지만, 이것에 한정되지 않고, 기술 데이터의 내용을 변경하지 않고, 비디오 세그먼트의 내용을 변경해도 된다.
실시형태2
실시형태 1에서는, 송신장치(101)가 수신장치(102)로부터 시점정보를 받고, 시점 변경의 유무를 판별하여, 수신장치(102)에 제공할 비디오 세그먼트를 변경하는 예를 설명했다. 실시형태 2에서는, 송신장치(101)가 통상시 세그먼트를 취득하기 위한 정보와 시점 변경시 세그먼트를 취득하기 위한 정보를 양쪽 모두 기술 데이터에 기술하고, 수신장치(102)가 시점 변경의 유무를 판별하여, 취득할 비디오 세그먼트의 전환을 행하는 예를 설명한다. 실시형태 2의 하드웨어 구성과 기능 구성은 실시형태 1과 거의 같기 때문에 설명은 생략한다.
도 12는, 실시형태 2에 있어서의 송신장치(101)의 동작을 설명하기 위한 흐름도다. S1201, S1205, S1206, S1207 및 S1208에서 행해지는 처리는 도 6의 S601, S607, S608, S609 및 S610에서 행해지는 것과 거의 같기 때문에, 설명은 생략한다.
S1202에 있어서, 각 시점에 대해, 부호화부(305)는 다시점 영상 데이터(소재 데이터)를 부호화하고, 세그먼트 생성부(307)는, 시점에 변경이 없을 때의 통상시용의 세그먼트를 생성한다. S1203에 있어서, 각 시점에 대해, 부호화부(305)는 다시점 영상 데이터(소재 데이터)를 부호화하고, 세그먼트 생성부(307)는, 시점에 변경이 있을 때의 비디오 세그먼트를 생성한다. S1204에 있어서, 기술 데이터 생성부(303)는, S1202 및 S1203에 있어서 생성된 비디오 세그먼트를 요구하기 위한 정보가 기술된 기술 데이터를 생성한다. 즉, 기술 데이터 생성부(303)는, S1204에 있어서, 제1 및 제2비디오 세그먼트(통상시의 다시점 영상과 시점 변경시의 다시점 영상)의 로케이션에 관한 정보가 기술된 기술 데이터를 생성한다.
도13은, 실시형태 2에 있어서의 수신장치(102)의 동작을 설명하기 위한 흐름도다. S1301, S1302, S1303 및 S1308에서 행해지는 처리는 도 8의 S802, S803, S804 및 S806에서 행해지는 것과 거의 같기 때문에 설명은 생략한다. 또한, 세그먼트 처리 S900은 도 9와 거의 같기 때문에 설명은 생략한다.
S1304에 있어서, 기술 데이터 해석부(502)는, 기술 데이터의 해석을 행한다. 기술 데이터에는, 통상시 세그먼트의 액세스 URL과 시점 변경시 세그먼트의 액세스 URL이 포함된다.
S1305에 있어서, 기술 데이터 해석부(502)는, 시점정보의 변경 유무를 판별한다. 판별 방법은 실시형태 1에 있어서 설명한 것과 같다. 이때, 수신장치(102)는, 유저에 의해 행해진 마우스 조작이나 태블릿 조작에 근거하여 시점정보를 취득하거나, 예를 들어, HMD로부터 취득한 센서 정보 등으로부터 시점정보를 취득해도 된다. 시점정보에 변경이 있다고 판별된 경우에는 S1306으로 처리를 진행한다. 시점정보에 변경이 없다고 판별된 경우에는 S1307로 처리를 진행한다.
S1306에 있어서, 요구 생성부(503)는, 시점 변경시 세그먼트를 취득해야 할 비디오 세그먼트로서 설정한다. S1307에 있어서, 요구 생성부(503)는, 통상시 세그먼트를 취득해야 할 비디오 세그먼트로서 설정한다. 즉, 요구 생성부(503)는, S1306과 S1307에 있어서, 통상시 세그먼트와 시점 변경시 세그먼트 중, 어느 비디오 세그먼트를 취득할 것인지를, 시점정보에 근거하여 결정한다. S900에 있어서, 수신장치(102)는, S1306 또는 S1307에 있어서의 설정에 따라, 비디오 세그먼트의 취득 및 재생을 행한다.
본 실시형태에서, 수신장치(102)는, 시점정보의 변경 유무를 판별한다. 시점정보에 변경이 있다고 판별되었을 경우에는, 수신장치(102)는 시점 변경시 세그먼트를 취득하고, 시점정보에 변경이 없다고 판별되었을 경우에는, 수신장치(102)는 통상시 세그먼트를 취득한다. 이에 따라, 송신장치(101)측에 대해 처리부하를 억제할 수 있으며, 실시형태 1과 유사한 이점을 얻을 수 있다.
상기한 실시형태 1 및 2에서는, PEG-DASH를 기초로 한 예를 중심으로 설명했지만, 이것에 한정되지 않는다. 예를 들면, 기술 데이터를 제공하지 않는 시스템에 있어서도, 본 발명은 적용가능하다. 이 경우, 송신장치(101)는, 수신장치(102)로부터의 시점정보에 근거하여, 통상시 세그먼트를 제공할 것인지 또는 시점 변경시 세그먼트를 제공할 것인지를 결정할 수 있다.
기타 실시형태
본 발명의 실시형태는, 본 발명의 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체('비일시적인 컴퓨터 판독가능한 기억매체'로서 더 상세히 언급해도 된다)에 기록된 컴퓨터 실행가능한 명령(예를 들어, 1개 이상의 프로그램)을 판독하여 실행하거나 및/또는 전술한 실시예(들)의 1개 이상의 기능을 수행하는 1개 이상의 회로(예를 들어, 주문형 반도체 회로(ASIC)를 포함하는 시스템 또는 장치의 컴퓨터나, 예를 들면, 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체로부터 컴퓨터 실행가능한 명령을 판독하여 실행함으로써, 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해 구현될 수도 있다. 컴퓨터는, 1개 이상의 중앙처리장치(CPU), 마이크로 처리장치(MPU) 또는 기타 회로를 구비하고, 별개의 컴퓨터들의 네트워크 또는 별개의 컴퓨터 프로세서들을 구비해도 된다. 컴퓨터 실행가능한 명령은, 예를 들어, 기억매체의 네트워크로부터 컴퓨터로 주어져도 된다. 기록매체는, 예를 들면, 1개 이상의 하드디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산 컴퓨팅 시스템의 스토리지, 광 디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD), 또는 블루레이 디스크(BD)TM 등), 플래시 메모리소자, 메모리 카드 등을 구비해도 된다.
본 발명은, 상기한 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실행가능하다. 또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.
예시적인 실시형태들을 참조하여 본 발명을 설명하였지만, 본 발명이 이러한 실시형태에 한정되지 않는다는 것은 자명하다. 이하의 청구범위의 보호범위는 가장 넓게 해석되어 모든 변형, 동등물 구조 및 기능을 포괄하여야 한다.

Claims (17)

  1. 비디오 데이터에 근거한 비디오 세그먼트를 송신하는 송신장치로서,
    수신장치로부터 비디오 세그먼트의 요구를 수신하도록 구성된 수신부와,
    상기 비디오 데이터에 근거한 제1비디오 세그먼트와 제2비디오 세그먼트 중 어느것을 상기 수신장치에 송신할 것인지 결정하도록 구성된 결정부와,
    상기 결정부에 의해 결정된 비디오 세그먼트를 상기 수신장치에 송신하도록 구성된 송신부를 구비하고,
    상기 제2비디오 세그먼트는, 상기 제1비디오 세그먼트보다도 짧은 기간과, 상기 제1비디오 세그먼트보다 넓은 공간 면적 중에서 어느 한쪽 또는 양쪽에 대응하는 비디오 세그먼트인 송신장치.
  2. 제 1항에 있어서,
    상기 제1비디오 세그먼트에 대응하는 기간 내에 상기 제2비디오 세그먼트에 대응하는 기간이 포함되는 송신장치.
  3. 제 1항에 있어서,
    상기 수신장치로부터의 기술 데이터의 요구에 따라, 비디오 세그먼트의 요구처인 로케이션에 관한 정보가 기술된 상기 기술 데이터를 제공하도록 구성된 제공부를 더 구비한 송신장치.
  4. 제 3항에 있어서,
    상기 기술 데이터에는 상기 제1 및 제2비디오 세그먼트의 로케이션에 관한 정보가 기술된 송신장치.
  5. 제 3항에 있어서,
    상기 기술 데이터에는 상기 1 및 제2비디오 세그먼트 중 어느 한쪽의 로케이션에 관한 정보가 기술된 송신장치.
  6. 제 3항에 있어서,
    상기 로케이션에 관한 정보는, uniform resource identifier(URI) 또는 uniform resource locator(URL)인 송신장치.
  7. 제 5항에 있어서,
    상기 수신부는, 상기 수신장치로부터 가상 시점에 관한 시점정보를 수신하도록 구성되고,
    상기 결정부는, 수신된 상기 시점정보에 근거하여, 상기 제1 및 제2비디오 세그먼트의 로케이션들 중에서 어느 로케이션에 관한 정보를 상기 기술 데이터에 기술할 것인지 결정하도록 구성된 송신장치.
  8. 제 1항에 있어서,
    상기 수신부는, 상기 수신장치로부터 가상 시점에 관한 시점정보를 수신하도록 구성되고,
    상기 결정부는, 수신된 상기 시점정보에 근거하여, 상기 수신장치에 대하여, 상기 제1 및 제2비디오 세그먼트 중 어느 것을 송신할 것인지 결정하도록 구성된 송신장치.
  9. 제 8항에 있어서,
    상기 결정부는,
    소정 기간에 있어서의 상기 가상 시점의 이동 거리가 임계값 미만인 경우에는 상기 제1비디오 세그먼트를 제공해야 할 비디오 세그먼트로서 결정하고,
    상기 소정 기간에 있어서의 상기 가상 시점의 이동 거리가 상기 임계값 이상인 경우에는 상기 제2비디오 세그먼트를 제공해야 할 비디오 세그먼트로서 결정하도록 구성된 송신장치.
  10. 제 8항에 있어서,
    상기 결정부는,
    제1시간에 있어서의 상기 가상 시점의 위치와 제2시간에 있어서의 상기 가상 시점의 위치의 차이가 임계값 미만인 경우에는 상기 제1비디오 세그먼트를 제공해야 할 비디오 세그먼트로서 결정하고,
    상기 제1시간에 있어서의 상기 가상 시점의 위치와 상기 제2시간에 있어서의 상기 가상 시점의 위치의 차이가 상기 임계값 이상인 경우에는 상기 제2비디오 세그먼트를 제공해야 할 비디오 세그먼트로서 결정하도록 구성된 송신장치.
  11. 제 8항에 있어서,
    상기 결정부는,
    제1시간에 있어서의 상기 가상 시점의 방향과 제2시간에 있어서의 상기 가상 시점의 방향의 차이가 임계값 미만인 경우에는 상기 제1비디오 세그먼트를 제공해야 할 비디오 세그먼트로서 결정하고,
    상기 제1시간에 있어서의 상기 가상 시점의 방향과 상기 제2시간에 있어서의 상기 가상 시점의 방향의 차이가 상기 임계값 이상인 경우에는 상기 제2비디오 세그먼트를 제공해야 할 비디오 세그먼트로서 결정하도록 구성된 송신장치.
  12. 비디오 데이터에 근거한 비디오 세그먼트를 수신하는 수신장치로서,
    가상 시점의 위치 및 방향에 관한 시점정보의 변경 유무를 판정하도록 구성된 판정부와,
    상기 비디오 데이터에 근거한 제1비디오 세그먼트와 제2비디오 세그먼트 중 어느것을 취득할 것인지를 취득된 시점정보에 근거하여 결정하도록 구성된 결정부와,
    결정된 비디오 세그먼트를 송신장치로부터 요구하도록 구성된 요구부를 구비하고,
    상기 제2비디오 세그먼트는, 상기 제1비디오 세그먼트보다도 짧은 기간과, 상기 제1비디오 세그먼트보다 넓은 공간 면적 중에서 어느 한쪽 또는 양쪽에 대응하는 비디오 세그먼트인 수신장치.
  13. 제 12항에 있어서,
    상기 제1 및 제2비디오 세그먼트의 각각의 로케이션에 관한 정보가 기술된 기술 데이터를 상기 송신장치로부터 취득하도록 구성된 취득부를 더 구비하고,
    상기 요구부는, 상기 제1 및 제2비디오 세그먼트 중에서 상기 결정부에 의해 결정된 비디오 세그먼트의 로케이션에 대하여 요구를 송신하도록 구성된 수신장치.
  14. 비디오 데이터에 근거한 비디오 세그먼트를 송신하는 송신방법으로서,
    수신장치로부터 비디오 세그먼트의 요구를 수신하는 단계와,
    상기 비디오 데이터에 근거한 제1비디오 세그먼트와 제2비디오 세그먼트 중 어느것을 상기 수신장치에 송신할 것인지 결정하는 단계와,
    결정된 비디오 세그먼트를 상기 수신장치에 송신하는 단계를 포함하고,
    상기 제2비디오 세그먼트는, 상기 제1비디오 세그먼트보다도 짧은 기간과, 상기 제1비디오 세그먼트보다 넓은 공간 면적 중에서 어느 한쪽 또는 양쪽에 대응하는 비디오 세그먼트인 송신방법.
  15. 비디오 데이터에 근거한 비디오 세그먼트를 수신하는 수신방법으로서,
    가상 시점의 위치 및 방향에 관한 시점정보의 변경 유무를 판정하는 단계와,
    상기 비디오 데이터에 근거한 제1비디오 세그먼트와 제2비디오 세그먼트 중 어느것을 취득할 것인지를 취득된 시점정보에 근거하여 결정하는 단계와,
    결정된 비디오 세그먼트를 송신장치로부터 요구하는 단계를 포함하고,
    상기 제2비디오 세그먼트는, 상기 제1비디오 세그먼트보다도 짧은 기간과, 상기 제1비디오 세그먼트보다 넓은 공간 면적 중에서 어느 한쪽 또는 양쪽에 대응하는 비디오 세그먼트인 수신방법.
  16. 컴퓨터를 청구항 1에 기재된 송신장치의 각 부로서 동작시키기 위한 프로그램을 격납한 비일시적인 컴퓨터 판독가능한 기억매체.
  17. 컴퓨터를 청구항 12에 기재된 수신장치의 각 부로서 동작시키기 위한 프로그램을 격납한 비일시적인 컴퓨터 판독가능한 기억매체.
KR1020190073803A 2018-06-25 2019-06-21 송신장치, 송신방법, 수신장치, 수신방법, 및, 비일시적인 컴퓨터 판독가능한 기억매체 KR20200000815A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018120188A JP2020005038A (ja) 2018-06-25 2018-06-25 送信装置、送信方法、受信装置、受信方法、及び、プログラム
JPJP-P-2018-120188 2018-06-25

Publications (1)

Publication Number Publication Date
KR20200000815A true KR20200000815A (ko) 2020-01-03

Family

ID=66999706

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190073803A KR20200000815A (ko) 2018-06-25 2019-06-21 송신장치, 송신방법, 수신장치, 수신방법, 및, 비일시적인 컴퓨터 판독가능한 기억매체

Country Status (5)

Country Link
US (1) US20190394500A1 (ko)
EP (1) EP3588963A1 (ko)
JP (1) JP2020005038A (ko)
KR (1) KR20200000815A (ko)
CN (1) CN110636336A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3345184A1 (en) * 2015-09-02 2018-07-11 THOMSON Licensing Method, apparatus and system for facilitating navigation in an extended scene

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040261127A1 (en) * 1991-11-25 2004-12-23 Actv, Inc. Digital interactive system for providing full interactivity with programming events
JP3145059B2 (ja) * 1997-06-13 2001-03-12 株式会社ナムコ 情報記憶媒体及び画像生成装置
US8290351B2 (en) * 2001-04-03 2012-10-16 Prime Research Alliance E., Inc. Alternative advertising in prerecorded media
US20020120931A1 (en) * 2001-02-20 2002-08-29 Thomas Huber Content based video selection
US7327383B2 (en) * 2003-11-04 2008-02-05 Eastman Kodak Company Correlating captured images and timed 3D event data
US20070154169A1 (en) * 2005-12-29 2007-07-05 United Video Properties, Inc. Systems and methods for accessing media program options based on program segment interest
EP2214550A1 (en) * 2007-10-31 2010-08-11 Emsense Corporation Systems and methods providing distributed collection and centralized processing of physiological responses from viewers
US8769589B2 (en) * 2009-03-31 2014-07-01 At&T Intellectual Property I, L.P. System and method to create a media content summary based on viewer annotations
US9129644B2 (en) * 2009-06-23 2015-09-08 Disney Enterprises, Inc. System and method for rendering in accordance with location of virtual objects in real-time
GB201105502D0 (en) * 2010-04-01 2011-05-18 Apple Inc Real time or near real time streaming
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
JP2012248070A (ja) * 2011-05-30 2012-12-13 Sony Corp 情報処理装置、メタデータ設定方法、及びプログラム
WO2013018267A1 (ja) * 2011-07-29 2013-02-07 パナソニック株式会社 提示制御装置、及び提示制御方法
US20130205314A1 (en) * 2012-02-07 2013-08-08 Arun Ramaswamy Methods and apparatus to select media based on engagement levels
JP6028351B2 (ja) * 2012-03-16 2016-11-16 ソニー株式会社 制御装置、電子機器、制御方法、及びプログラム
EP2869579B1 (en) * 2012-07-02 2017-04-26 Sony Corporation Transmission apparatus, transmission method, and network apparatus for multi-view video streaming using a meta file including cache priority or expiry time information of said video streams
JP6267961B2 (ja) * 2012-08-10 2018-01-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 映像提供方法および送信装置
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US20140195918A1 (en) * 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
US20140204206A1 (en) * 2013-01-21 2014-07-24 Chronotrack Systems Corp. Line scan imaging from a raw video source
CN105009601A (zh) * 2013-02-27 2015-10-28 索尼公司 信息处理装置和方法、程序和内容供应***
FR3004054A1 (fr) * 2013-03-26 2014-10-03 France Telecom Generation et restitution d'un flux representatif d'un contenu audiovisuel
US9271048B2 (en) * 2013-12-13 2016-02-23 The Directv Group, Inc. Systems and methods for immersive viewing experience
WO2015197815A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream
US9930405B2 (en) * 2014-09-30 2018-03-27 Rovi Guides, Inc. Systems and methods for presenting user selected scenes
US9509742B2 (en) * 2014-10-29 2016-11-29 DLVR, Inc. Configuring manifest files referencing infrastructure service providers for adaptive streaming video
JP6624068B2 (ja) * 2014-11-28 2019-12-25 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US9288545B2 (en) * 2014-12-13 2016-03-15 Fox Sports Productions, Inc. Systems and methods for tracking and tagging objects within a broadcast
US20170366867A1 (en) * 2014-12-13 2017-12-21 Fox Sports Productions, Inc. Systems and methods for displaying thermographic characteristics within a broadcast
WO2017044795A1 (en) * 2015-09-10 2017-03-16 Google Inc. Playing spherical video on a limited bandwidth connection
US11012719B2 (en) * 2016-03-08 2021-05-18 DISH Technologies L.L.C. Apparatus, systems and methods for control of sporting event presentation based on viewer engagement
CN107171820B (zh) * 2016-03-08 2019-12-31 北京京东尚科信息技术有限公司 信息传输、发送、获取方法和装置
US20170289596A1 (en) * 2016-03-31 2017-10-05 Microsoft Technology Licensing, Llc Networked public multi-screen content delivery
JP6741784B2 (ja) * 2016-04-08 2020-08-19 ヴィズビット インコーポレイテッド ビューを意識した３６０度ビデオストリーミング
US11284124B2 (en) * 2016-05-25 2022-03-22 Koninklijke Kpn N.V. Spatially tiled omnidirectional video streaming
US10607398B2 (en) * 2016-07-04 2020-03-31 Colopl, Inc. Display control method and system for executing the display control method
WO2018035133A1 (en) * 2016-08-17 2018-02-22 Vid Scale, Inc. Secondary content insertion in 360-degree video
US20180077345A1 (en) * 2016-09-12 2018-03-15 Canon Kabushiki Kaisha Predictive camera control system and method
JP6996514B2 (ja) * 2016-10-26 2022-01-17 ソニーグループ株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
US10416757B2 (en) * 2016-12-08 2019-09-17 Raymond Maurice Smit Telepresence system
US11290699B2 (en) * 2016-12-19 2022-03-29 Dolby Laboratories Licensing Corporation View direction based multilevel low bandwidth techniques to support individual user experiences of omnidirectional video
US10225603B2 (en) * 2017-03-13 2019-03-05 Wipro Limited Methods and systems for rendering multimedia content on a user device
EP3605531A4 (en) * 2017-03-28 2020-04-15 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
US20190069006A1 (en) * 2017-08-29 2019-02-28 Western Digital Technologies, Inc. Seeking in live-transcoded videos
US10904615B2 (en) * 2017-09-07 2021-01-26 International Business Machines Corporation Accessing and analyzing data to select an optimal line-of-sight and determine how media content is distributed and displayed
US11025998B2 (en) * 2017-11-27 2021-06-01 Rovi Guides, Inc. Systems and methods for dynamically extending or shortening segments in a playlist
JP7073128B2 (ja) * 2018-02-08 2022-05-23 キヤノン株式会社 通信装置、通信方法、及びプログラム
US10791376B2 (en) * 2018-07-09 2020-09-29 Spotify Ab Media program having selectable content depth

Also Published As

Publication number Publication date
CN110636336A (zh) 2019-12-31
JP2020005038A (ja) 2020-01-09
EP3588963A1 (en) 2020-01-01
US20190394500A1 (en) 2019-12-26

Similar Documents

Publication Publication Date Title
KR102384489B1 (ko) 정보 처리 장치, 정보 제공 장치, 제어 방법, 및 컴퓨터 판독가능 저장 매체
US10681342B2 (en) Behavioral directional encoding of three-dimensional video
US11025959B2 (en) Probabilistic model to compress images for three-dimensional video
US11683540B2 (en) Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
US11523144B2 (en) Communication apparatus, communication method, and computer-readable storage medium
KR102133207B1 (ko) 통신장치, 통신 제어방법 및 통신 시스템
JP6541309B2 (ja) 送信装置、送信方法、及びプログラム
US20220053222A1 (en) Apparatus and method for generating an image data stream
KR20090037270A (ko) 3차원 영상 시청시 발생하는 피로도 감소 방법 및 장치,그리고 저피로도 3차원 영상 데이터 스트림 생성 방법 및장치
KR20200000815A (ko) 송신장치, 송신방법, 수신장치, 수신방법, 및, 비일시적인 컴퓨터 판독가능한 기억매체
US10636115B2 (en) Information processing apparatus, method for controlling the same, and storage medium
KR20200061592A (ko) 시선 기반의 360도 영상 스트리밍
JP2021033354A (ja) 通信装置およびその制御方法
WO2018178510A2 (en) Video streaming
JP2015220504A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application