KR20160034282A - 정보 처리 장치 및 방법 - Google Patents

정보 처리 장치 및 방법 Download PDF

Info

Publication number
KR20160034282A
KR20160034282A KR1020167000345A KR20167000345A KR20160034282A KR 20160034282 A KR20160034282 A KR 20160034282A KR 1020167000345 A KR1020167000345 A KR 1020167000345A KR 20167000345 A KR20167000345 A KR 20167000345A KR 20160034282 A KR20160034282 A KR 20160034282A
Authority
KR
South Korea
Prior art keywords
image
tile
information
partial image
data
Prior art date
Application number
KR1020167000345A
Other languages
English (en)
Other versions
KR102224332B1 (ko
Inventor
시노부 핫토리
미츠히로 히라바야시
다츠야 이가라시
미키타 야스다
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20160034282A publication Critical patent/KR20160034282A/ko
Application granted granted Critical
Publication of KR102224332B1 publication Critical patent/KR102224332B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385—Channel allocation; Bandwidth allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Medicines That Contain Protein Lipid Enzymes And Other Medicines (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 개시는, 부분 화상의 데이터를 적응적으로 제공할 수 있도록 하는 정보 처리 장치 및 방법에 관한 것이다. 전체 화상의 일부인 부분 화상에 관한 정보인 부분 화상 정보를 생성하는 부분 화상 정보 생성부와, 상기 부분 화상 정보 생성부에 의해 생성된 상기 부분 화상 정보를 사용하여, 상기 전체 화상의 비트 스트림의 제공 및 상기 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터를 생성하는 메타데이터 생성부를 구비한다. 본 개시는, 예를 들어 화상 데이터의 적응적인 제공에 관한 처리를 행하는 정보 처리 장치에 적용할 수 있다.

Description

정보 처리 장치 및 방법{INFORMATION PROCESSING DEVICE AND METHOD}
본 개시는 정보 처리 장치 및 방법에 관한 것으로, 특히, 부분 화상의 데이터를 적응적으로 제공할 수 있도록 한 정보 처리 장치 및 방법에 관한 것이다.
최근, HTTP(HyperText Transfer Protocol)를 이용한 콘텐츠 배신 기술로서 MPEG-DASH(Moving Picture Experts Group-Dynamic Adaptive Streaming over HTTP)가 표준화되었다(예를 들어, 비특허문헌 1 참조). MPEG-DASH에서는, 동일 콘텐츠가 상이한 비트 레이트로 표현된 복수의 부호화 데이터를 콘텐츠 서버에 저장하고, 클라이언트가, 네트워크 대역에 따라서 복수의 부호화 데이터 중 어느 하나의 부호화 데이터를 선택하면서 재생하는 ABS(Adaptive Bitrate Streaming) 기술이 채용되고 있다.
그런데, 전체 화상 대신에 그 일부인 부분 화상을 적응적으로 선택하여 배신하는 것을 고려할 수 있다. 예를 들어, 전체 화상 중, 화상 데이터를 수취하는 단말기측에 의해 선택된 부분의 부분 화상을 배신하거나, 단말기의 성능(예를 들어 CPU 등의 처리 능력이나 디스플레이의 크기 등)이나 전송 경로나 서버의 부하 상황 등에 따라, 배신하는 부분 화상의 크기를 제어하거나 하는 것을 고려할 수 있다.
MPEG-DASH(Dynamic Adaptive Streaming over HTTP)(URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1)
그러나, 종래의 MPEG-DASH 규격에서는, 비트 레이트(Bitrate)를 전환한다는 개념밖에 없고, 상술한 바와 같은 타일 구조를 이용하여, 임의의 부분 화상을 선택하여 그 데이터를 제공하는, 적응적인 부분 화상의 데이터의 제공을 행할 수가 없었다.
본 개시는, 이러한 상황을 감안하여 이루어진 것이며, 부분 화상의 데이터를 적응적으로 제공할 수 있도록 하는 것이다.
본 기술의 일 측면은, 전체 화상의 일부인 부분 화상에 관한 정보인 부분 화상 정보를 생성하는 부분 화상 정보 생성부와, 상기 부분 화상 정보 생성부에 의해 생성된 상기 부분 화상 정보를 사용하여, 상기 전체 화상의 비트 스트림의 제공 및 상기 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터를 생성하는 메타데이터 생성부를 구비하는 정보 처리 장치이다.
상기 부분 화상 정보는, 상기 부분 화상의 상기 전체 화상 내의 위치를 나타내는 위치 정보를 포함하도록 할 수 있다.
상기 위치 정보는, 상기 부분 화상의 좌측 상부의 위치를 나타내도록 할 수 있다.
상기 메타데이터 생성부는, 복수의 부분 화상의 각각의 부분 화상 정보를, 상기 메타데이터의 서로 상이한 어댑테이션 세트(AdaptationSet)에 저장하고, 상기 복수의 부분 화상의 각각의 비트 스트림을, 서로 상이한 어댑테이션 세트에 할당할 수 있다.
상기 메타데이터 생성부는, 복수의 부분 화상의 각각의 부분 화상 정보를, 상기 메타데이터의 서로 상이한 어댑테이션 세트(AdaptationSet)에 저장하고, 상기 복수의 부분 화상을 포함하는 하나의 비트 스트림이 부분 화상별로 분할된 복수의 파일의 각각을, 서로 상이한 어댑테이션 세트에 할당할 수 있다.
상기 메타데이터 생성부는, 복수의 부분 화상의 각각의 부분 화상 정보를, 상기 메타데이터의 하나의 어댑테이션 세트(AdaptationSet)에 속하는 하나의 리프리젠테이션(Representation)에 속하는 서로 상이한 서브 리프리젠테이션(Sub-Representation)에 저장하고, 상기 복수의 부분 화상의 각각의 비트 스트림을, 서로 상이한 서브 리프리젠테이션에 할당할 수 있다.
상기 부분 화상 정보 생성부는, 서브 리프리젠테이션(Sub-Representation)의 아래에 비트 스트림의 정보가 존재하는 것을 나타내는 정보를 더 생성할 수 있다.
상기 복수의 부분 화상의 각각의 비트 스트림은, 하나의 MP4 파일의 각각의 TRACK에 저장되도록 할 수 있다.
상기 메타데이터 생성부는, 상기 하나의 MP4 파일의 데이터의 장소를 나타내는 정보를 더 생성할 수 있다.
상기 부분 화상 정보는, 상기 전체 화상의 사이즈에 관한 정보를 더 포함하도록 할 수 있다.
상기 부분 화상 정보는, 상기 부분 화상이 속하는, 1 화상으로서 표시 가능한 부분 화상의 그룹을 식별하는 그룹 식별 정보를 더 포함하도록 할 수 있다.
상기 전체 화상 및 상기 부분 화상의 화상 데이터를 부호화하고, 비트 스트림을 생성하는 부호화부를 더 구비할 수 있다.
상기 전체 화상의 화상 데이터로부터 각 부분 화상의 화상 데이터를 생성하는 화면 분할 처리부를 더 구비할 수 있다.
상기 부분 화상 정보는, 상기 전체 화상을 구성하는 상기 부분 화상의 수를 나타내는 정보와, 상기 부분 화상의 크기가 균등한지를 나타내는 식별 정보와, 상기 부분 화상의 크기가 균등하지 않을 경우, 각 부분 화상의 위치 및 크기를 나타내는 정보를 포함하도록 할 수 있다.
본 기술의 일 측면은, 또한, 전체 화상의 일부인 부분 화상에 관한 정보인 부분 화상 정보를 생성하고, 생성된 상기 부분 화상 정보를 사용하여, 상기 전체 화상의 비트 스트림의 제공 및 상기 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터를 생성하는 정보 처리 방법이다.
본 기술의 다른 측면은, 전체 화상의 일부인 부분 화상에 관한 정보인 부분 화상 정보를 포함하고, 상기 전체 화상의 비트 스트림의 제공 및 상기 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터를 해석하여, 상기 부분 화상 정보를 얻는 해석부와, 상기 해석부에 의해 얻어진 상기 부분 화상 정보를 사용하여, 원하는 부분 화상의 비트 스트림을 선택하는 선택부와, 상기 선택부에 의해 선택된 비트 스트림을 취득하는 비트 스트림 취득부를 구비하는 정보 처리 장치이다.
상기 부분 화상 정보는, 상기 부분 화상의 상기 전체 화상 내의 위치를 나타내는 위치 정보를 포함하도록 할 수 있다.
상기 위치 정보는, 상기 부분 화상의 좌측 상부의 위치를 나타내도록 할 수 있다.
상기 해석부는, 복수의 부분 화상의 각각의 부분 화상 정보가, 서로 상이한 어댑테이션 세트(AdaptationSet)에 저장되고, 상기 복수의 부분 화상의 각각의 비트 스트림이, 서로 상이한 어댑테이션 세트에 할당된 상기 메타데이터를 해석할 수 있다.
상기 해석부는, 복수의 부분 화상의 각각의 부분 화상 정보가, 서로 상이한 어댑테이션 세트(AdaptationSet)에 저장되고, 상기 복수의 부분 화상을 포함하는 하나의 비트 스트림이 부분 화상별로 분할된 복수의 파일의 각각이, 서로 상이한 어댑테이션 세트에 할당된 상기 메타데이터를 해석할 수 있다.
상기 해석부는, 복수의 부분 화상의 각각의 부분 화상 정보가, 하나의 어댑테이션 세트(AdaptationSet)에 속하는 하나의 리프리젠테이션(Representation)에 속하는 서로 상이한 서브 리프리젠테이션(Sub-Representation)에 저장되고, 상기 복수의 부분 화상의 각각의 비트 스트림이, 서로 상이한 서브 리프리젠테이션에 할당된 상기 메타데이터를 해석할 수 있다.
상기 부분 화상 정보는, 서브 리프리젠테이션(Sub-Representation)의 아래에 비트 스트림의 정보가 존재하는 것을 나타내는 정보를 포함하도록 할 수 있다.
상기 복수의 부분 화상의 각각의 비트 스트림은, 하나의 MP4 파일의 각각의 TRACK에 저장되도록 할 수 있다.
상기 메타데이터는, 상기 하나의 MP4 파일의 데이터의 장소를 나타내는 정보를 포함하도록 할 수 있다.
상기 부분 화상 정보는, 상기 전체 화상의 사이즈에 관한 정보를 더 포함하도록 할 수 있다.
상기 부분 화상 정보는, 상기 부분 화상이 속하는, 1 화상으로서 표시 가능한 부분 화상의 그룹을 식별하는 그룹 식별 정보를 더 포함하도록 할 수 있다.
상기 비트 스트림 취득부에 의해 취득된 상기 비트 스트림을 복호하는 복호부를 더 구비할 수 있다.
상기 복호부에 의해 상기 비트 스트림이 복호되어 얻어진 상기 부분 화상의 화상 데이터로부터 전체 화상의 화상 데이터를 생성하는 화면 합성 처리부를 더 구비할 수 있다.
상기 부분 화상 정보는, 상기 전체 화상을 구성하는 상기 부분 화상의 수를 나타내는 정보와, 상기 부분 화상의 크기가 균등한지를 나타내는 식별 정보와, 상기 부분 화상의 크기가 균등하지 않을 경우, 각 부분 화상의 위치 및 크기를 나타내는 정보를 포함하도록 할 수 있다.
본 기술의 다른 측면은, 또한, 전체 화상의 일부인 부분 화상에 관한 정보인 부분 화상 정보를 포함하고, 상기 전체 화상의 비트 스트림의 제공 및 상기 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터를 해석하고, 상기 부분 화상 정보를 얻고, 얻어진 상기 부분 화상 정보를 사용하여, 원하는 부분 화상의 비트 스트림을 선택하고, 선택된 비트 스트림을 취득하는 정보 처리 방법이다.
본 기술의 일 측면에 있어서는, 전체 화상의 일부인 부분 화상에 관한 정보인 부분 화상 정보가 생성되고, 생성된 부분 화상 정보를 사용하여, 전체 화상의 비트 스트림의 제공 및 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터가 생성된다.
본 기술의 다른 측면에 있어서는, 전체 화상의 일부인 부분 화상에 관한 정보인 부분 화상 정보를 포함하고, 전체 화상의 비트 스트림의 제공 및 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터가 해석되어, 부분 화상 정보가 얻어지고, 얻어진 부분 화상 정보를 사용하여, 원하는 부분 화상의 비트 스트림이 선택되고, 선택된 비트 스트림이 취득된다.
본 개시에 의하면, 정보를 처리할 수 있다. 특히, 부분 화상의 데이터를 적응적으로 제공할 수 있다.
도 1은 MPEG-DASH의 개요를 설명하는 도면이다.
도 2는 MPD의 구성예를 도시하는 도면이다.
도 3은 콘텐츠의 시간적 구획을 설명하는 도면이다.
도 4는 MPD에 있어서의 Period 이하의 계층 구조의 예를 도시하는 도면이다.
도 5는 MPD 파일의 구성예를 시간축 상에서 설명하는 도면이다.
도 6은 타일 화상의 비트 스트림의 예를 도시하는 도면이다.
도 7은 타일 화상의 MP4 파일의 예를 설명하는 도면이다.
도 8은 타일 화상의 MP4 파일의 다른 예를 설명하는 도면이다.
도 9는 분할 사이즈의 예를 설명하는 도면이다.
도 10은 확장 데이터의 예를 설명하는 도면이다.
도 11은 배신 시스템의 주요 구성예를 도시하는 블록도이다.
도 12는 배신 데이터 생성 장치의 주요 구성예를 도시하는 블록도이다.
도 13은 단말 장치의 주요 구성예를 도시하는 블록도이다.
도 14는 배신 데이터 생성 처리의 흐름의 예를 설명하는 흐름도이다.
도 15는 타일형 MPD 파일 생성 처리의 흐름의 예를 설명하는 흐름도이다.
도 16은 배신 데이터 재생 처리의 흐름의 예를 설명하는 흐름도이다.
도 17은 MPD의 확장 방법의 예를 도시하는 도면이다.
도 18은 확장된 MPD의 예를 도시하는 도면이다.
도 19는 MPD의 확장 방법의 예를 도시하는 도면이다.
도 20은 MPD의 확장 방법의 예를 도시하는 도면이다.
도 21은 확장된 MPD의 예를 도시하는 도면이다.
도 22는 MPD의 확장 방법의 예를 도시하는 도면이다.
도 23은 MPD의 확장 방법의 예를 도시하는 도면이다.
도 24는 확장된 MPD의 예를 도시하는 도면이다.
도 25는 MPD의 확장 방법의 예를 도시하는 도면이다.
도 26은 확장된 MPD의 예를 도시하는 도면이다.
도 27은 MPD의 확장 방법의 예를 도시하는 도면이다.
도 28은 확장된 MPD의 예를 도시하는 도면이다.
도 29는 MPD의 확장 방법의 예를 도시하는 도면이다.
도 30은 확장된 MPD의 예를 도시하는 도면이다.
도 31은 MPD의 확장 방법의 예를 도시하는 도면이다.
도 32는 MPD의 확장 방법의 예를 도시하는 도면이다.
도 33은 확장된 MPD의 예를 도시하는 도면이다.
도 34는 MPD의 확장 방법의 예를 도시하는 도면이다.
도 35는 타일 화상 배신을 이용하는 어플리케이션의 예를 도시하는 도면이다.
도 36은 타일 화상 배신을 이용하는 어플리케이션의 다른 예를 도시하는 도면이다.
도 37은 타일 화상 배신을 이용하는 어플리케이션의, 또 다른 예를 도시하는 도면이다.
도 38은 MPD의 확장 방법의 예를 도시하는 도면이다.
도 39는 타일 화상의 MP4 파일의 구성예를 설명하는 도면이다.
도 40은 MPD의 구성예를 도시하는 도면이다.
도 41은 타일 화상의 MP4 파일의 구성예를 설명하는 도면이다.
도 42는 MPD의 구성예를 도시하는 도면이다.
도 43은 타일 화상의 MP4 파일의 구성예를 설명하는 도면이다.
도 44는 MPD의 구성예를 도시하는 도면이다.
도 45는 타일 화상의 MP4 파일의 구성예를 설명하는 도면이다.
도 46은 MPD의 구성예를 도시하는 도면이다.
도 47은 타일 화상의 MP4 파일의 구성예를 설명하는 도면이다.
도 48은 MPD의 구성예를 도시하는 도면이다.
도 49는 타일 화상의 MP4 파일의 구성예를 설명하는 도면이다.
도 50은 MPD의 구성예를 도시하는 도면이다.
도 51은 타일 화상의 MP4 파일의 구성예를 설명하는 도면이다.
도 52는 MPD의 구성예를 도시하는 도면이다.
도 53은 타일 화상의 MP4 파일의 구성예를 설명하는 도면이다.
도 54는 MPD의 구성예를 도시하는 도면이다.
도 55는 타일 화상의 MP4 파일의 구성예를 설명하는 도면이다.
도 56은 MPD의 구성예를 도시하는 도면이다.
도 57은 컴퓨터의 주요 구성예를 도시하는 블록도이다.
도 58은 다시점 화상 부호화 방식의 예를 도시하는 도면이다.
도 59는 다시점 화상 부호화 장치의 구성예를 도시하는 도면이다.
도 60은 다시점 화상 복호 장치의 구성예를 도시하는 도면이다.
도 61은 계층 화상 부호화 방식의 예를 도시하는 도면이다.
도 62는 스페이셜한 스케일러블 부호화의 예를 설명하는 도면이다.
도 63은 템포럴한 스케일러블 부호화의 예를 설명하는 도면이다.
도 64는 신호 잡음비의 스케일러블 부호화의 예를 설명하는 도면이다.
도 65는 계층 화상 부호화 장치의 구성예를 도시하는 도면이다.
도 66은 계층 화상 복호 장치의 구성예를 도시하는 도면이다.
도 67은 텔레비전 장치의 개략적인 구성의 일례를 도시하는 블록도이다.
도 68은 휴대 전화기의 개략적인 구성의 일례를 도시하는 블록도이다.
도 69는 비디오 세트의 개략적인 구성의 일례를 도시하는 블록도이다.
도 70은 비디오 프로세서의 개략적인 구성의 일례를 도시하는 블록도이다.
도 71은 비디오 프로세서의 개략적인 구성의 다른 예를 도시하는 블록도이다.
이하, 본 개시를 실시하기 위한 구체적인 내용(이하, 실시 형태라고 함)에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 제1 실시 형태(MPD의 확장)
2. 제2 실시 형태(배신 시스템)
3. 제3 실시 형태(MPD 확장의 구체예)
4. 제4 실시 형태(MPD 확장의 다른 예)
5. 제5 실시 형태(MP4 파일과 MPD 확장의 다른 예)
6. 제6 실시 형태(컴퓨터)
7. 제7 실시 형태(다시점 화상 부호화 장치, 다시점 화상 복호 장치)
8. 제8 실시 형태(계층 화상 부호화 장치, 계층 화상 복호 장치)
9. 제9 실시 형태(응용예)
10. 제10 실시 형태(세트·유닛·모듈·프로세서)
<1. 제1 실시 형태>
<DASH>
종래, HTTP(HyperText Transfer Protocol)를 이용한 콘텐츠 배신 기술로서, 예를 들어 비특허문헌 1에 기재된 바와 같이, MPEG-DASH(Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP)가 있다. MPEG-DASH에서는, 동일 콘텐츠가 상이한 비트 레이트로 표현된 복수의 부호화 데이터를 콘텐츠 서버에 저장하고, 클라이언트가, 네트워크 대역에 따라서 복수의 부호화 데이터 중 어느 하나의 부호화 데이터를 선택하면서 재생하는 ABS(Adaptive Bitrate Streaming) 기술이 채용되어 있다.
DASH에 의한 콘텐츠의 전송 수순을, 도 1을 참조하여 설명한다. 먼저, 콘텐츠를 취득하는 측의 동화상 재생 단말기에 있어서, 스트리밍·데이터의 제어용 소프트웨어가, 원하는 콘텐츠의 MPD(Media Presentation Description) 파일을 선택하고, Web 서버로부터 취득한다. MPD는, 배신하는 동화상이나 음성 등의 콘텐츠를 관리하는 메타데이터이다.
MPD를 취득하면, 동화상 재생 단말기의 스트리밍·데이터의 제어용 소프트웨어는, 그 MPD를 해석하고, 원하는 콘텐츠의, 통신 회선의 품질이나 동화상 재생 단말기의 성능 등에 맞는 데이터(DASH 세그먼트)를 Web 서버로부터 취득하도록 제어한다. HTTP 액세스용 클라이언트·소프트웨어는, 그 제어에 따라, 그 DASH 세그먼트를, HTTP를 사용하여 Web 서버로부터 취득한다. 이렇게 취득된 콘텐츠를, 동화상 재생 소프트웨어가 재생한다.
MPD는, 예를 들어 도 2에 도시되는 바와 같은 구성을 갖는다. MPD의 해석(파스)에 있어서는, 클라이언트는, MPD(도 2의 Media Presentation)의 피리어드(Period)에 포함되는 리프리젠테이션(Representation)의 속성으로부터 최적인 것을 선택한다.
클라이언트는, 선택한 리프리젠테이션(Representation)의 선두의 세그먼트(Segment)를 읽어서 이니셜라이즈 세그먼트(Initialization Segment)를 취득하고, 처리한다. 계속해서, 클라이언트는, 후속의 세그먼트(Segment)를 취득하고, 재생한다.
또한, MPD에 있어서의, 피리어드(Period), 리프리젠테이션(Representation) 및 세그먼트(Segment)의 관계는, 도 3과 같아진다. 즉, 하나의 미디어 콘텐츠는, 시간 방향의 데이터 단위인 피리어드(Period)마다 관리할 수 있고, 각 피리어드(Period)는, 시간 방향의 데이터 단위인 세그먼트(Segment)마다 관리할 수 있다. 또한, 각 피리어드(Period)에 대해서, 비트 레이트 등의 속성이 상이한 복수의 리프리젠테이션(Representation)을 구성할 수 있다.
따라서, 이 MPD의 파일(MPD 파일이라고도 칭함)은, 피리어드(Period) 이하에 있어서, 도 4에 도시되는 바와 같은 계층 구조를 갖는다. 또한, 이 MPD의 구조를 시간축 상에 배열하면 도 5의 예와 같이 된다. 도 5의 예로부터 명백한 바와 같이, 동일한 세그먼트(Segment)에 대하여 복수의 리프리젠테이션(Representation)이 존재하고 있다. 클라이언트는, 이들 중 어느 하나를 적응적으로 선택함으로써, 통신 환경이나 자기의 디코드 능력 등에 따라서 적절한 스트림 데이터를 취득하여, 재생할 수 있다.
<타일 구조>
이러한 종래의 DASH에서는, 전체 화상의 데이터 배신이 적응적으로 제어되었었지만, 전체 화상 대신에 그 일부인 부분 화상을 적응적으로 선택하여 배신하는 것을 고려할 수 있다. 예를 들어, 전체 화상 중, 화상 데이터를 수취하는 단말기측에 의해 선택된 부분의 부분 화상을 배신하거나, 단말기의 성능(예를 들어 CPU 등의 처리 능력이나 디스플레이의 크기 등)이나 전송 경로나 서버의 부하 상황 등에 따라, 배신하는 부분 화상의 크기를 제어하거나 하는 것을 고려할 수 있다.
이러한 부분 화상의 적응적인 배신을 행하기 위해서, 타일(Tile)이라는 개념이 사용되었다. 타일(Tile)은, 미리 정해진 레이아웃(크기, 형상, 수 등)으로 전체 화상을 분할한 부분 영역이다. 이하에 있어서, 1 타일의 화상을 타일 화상이라고 칭한다. 이렇게 전체 화상을 미리 타일화해 둠으로써, 배신할 타일 화상을 선택하기만 하면, 용이하게 부분 화상의 적응적인 배신이 가능하게 된다. 이 경우, 부분 화상은, 단수 또는 복수의 타일 화상에 의해 구성된다.
DASH와 같이 HTTP를 사용하여 배신할 경우, 화상 데이터는 부호화되고, 그 비트 스트림이 파일화되어 배신된다(파일로서 공개된다). 상술한 바와 같은 타일 구조를 갖는 전체 화상의 경우, 화상 데이터는, 타일 화상별로 독립적으로 부호화된다. 그 때, 도 6의 A에 도시되는 예와 같이, 각 타일의 부호화 데이터를 각각 하나의 비트 스트림으로 해도 된다.
도 6의 A의 예에서는, 640×480사이즈의 전체 화상, 1980×1080사이즈의 전체 화상, 그 전체 화상이 세로 방향 및 가로 방향의 각각으로 2분할된 960×540사이즈의 타일 화상(4장의 부분 화상)의 각각이, 배신용 화상으로서 준비되어 있다. 640×480사이즈의 전체 화상의 데이터는, 부호화되어 하나의 비트 스트림(bitstream1)으로 되고, 1980×1080사이즈의 전체 화상의 데이터도, 부호화되어 하나의 비트 스트림(bitstream2)으로 되어 있다. 그리고, 그것들과는 별도로, 960×540사이즈의 각 타일 화상의 데이터는, 서로 독립적으로 부호화되어, 각각 하나의 비트 스트림(bitstream3 내지 bitstream6)으로 되어 있다.
각 비트 스트림에 있어서는, 비디오 파라미터 세트(VPS(Video Parameter Set)), 시퀀스 파라미터 세트(SPS(Sequence Parameter Set)), SEI(Supplemental Enhancement Information), 픽처 파라미터 세트(PPS(Picture Parameter Set)) 등의 헤더 정보가 부가되고, 화상 데이터의 비트 스트림이 슬라이스(Slice)마다 배열되어 있다.
이러한 구조로 함으로써, 배신할 비트 스트림을, bitstream3 내지 bitstream6 중에서 선택함으로써, 배신할 타일 화상을 선택할 수 있다. 또한, 도 6의 A의 예의 경우, 각 타일 화상을, 전체 화상과 마찬가지로 배신할 수 있다.
그런데, 예를 들어 HEVC(High Efficiency Video Coding) 등의 부호화 방식에서는, 전체 화상을 분할하는 타일(Tile)이라고 칭해지는 구조를 서포트하고 있고, 그 타일별로 독립적으로 부호화를 행할 수 있다. 예를 들어, 그 일부의 타일 화상만을 얻도록 복호할 수 있다. 즉, 전체 화상의 일부인 부분 화상만을 얻도록 복호할 수 있다.
이러한 부호화 방식의 기능을 이용하여, 도 6의 B에 도시되는 예와 같이, 복수의 타일 화상의 부호화 데이터를, 하나의 비트 스트림(bitstream7)으로 할 수도 있다. 즉, 이 경우, 상술한 배신을 위한 타일(Tile)을 부호화 방식이 서포트하는 타일(Tile)로서 취급하여 부호화하도록 하고 있다. 이 경우, 비트 스트림에 있어서, 각 타일의 데이터는 슬라이스(Slice)로서 배열되어 있다.
<MP4 파일>
상술한 바와 같이, 배신용 비트 스트림은, 예를 들어 MP4 파일 포맷 등에 의해 파일화된다. 그 경우, 도 7에 도시되는 예와 같이, 각 타일의 비트 스트림을 별도 파일로 할 수 있다. 각 타일의 비트 스트림은 트랙(Track)이라는 단위로 관리된다. 또한, 각 타일의 헤더(Header) 정보와, 각 트랙에 대한 참조가 기술된 베이스 트랙(Base Track)이 설치되고, 각 타일의 비트 스트림과는 다른 파일로서 파일화된다. 모든 타일을 복호하는 경우에는, 베이스 트랙을 재생하고, 각 타일을 복호하는 경우, 헤더 정보는 베이스 트랙이 참조된다.
또한, 도 8에 도시되는 예와 같이, 각 타일의 비트 스트림을 통합해서 하나의 파일로 할 수도 있다. 그 때, 도 8의 A와 같이, 각 타일의 데이터를 통합해서 하나의 트랙으로 관리할 수도 있고, 도 8의 B와 같이, 각 타일을 서로 상이한 트랙으로서 관리할 수도 있다. 그 경우, 도 7의 경우와 마찬가지로, 각 타일의 헤더(Header) 정보와, 각 트랙에 대한 참조가 기술된 베이스 트랙(Base Track)이 설치된다.
<분할 방법>
타일(Tile)은, 도 9의 A의 예와 같이 전체 화상을 균등하게 분할하는 것이어도 되고, 도 9의 B의 예와 같이 전체 화상을 불균등하게 분할하는 것이어도 된다. 즉, 전체 화상을 구성하는 각 타일 화상의 화상 사이즈는 서로 동일해도 되고, 상이해도 된다.
<어플리케이션>
이러한 타일(Tile) 구조를 이용하는 어플리케이션으로서, 예를 들어 표시시키는 부분 화상의 사이즈를 제어하는 어플리케이션이 고려될 수 있다.
도 9의 A에 도시되는 전체 화상(10)은 타일화되어, 서로 동일한 크기의 복수의 타일 화상(11)으로 분할할 수 있다고 하자. 예를 들어, 이 화상을 디스플레이의 사이즈가 작은 모바일 디바이스(21)에 표시시킬 경우, 어플리케이션은, 2×2의 4장의 타일 화상으로 이루어지는 부분 화상(12)을 표시시킨다. 또한, 예를 들어 이 화상을 디스플레이의 사이즈가 큰 텔레비전 신호 수상기(TV)(22)에 표시시킬 경우, 어플리케이션은, 6×5의 30장의 타일 화상으로 이루어지는 부분 화상(13)을 표시시킨다. 이와 같이, 화상을 표시하는 단말기의 성능 등에 따라서 표시시키는 부분 화상의 화상 사이즈를 제어하는 어플리케이션이 고려될 수 있다.
또한, 도 9의 B의 예의 경우, 각 타일 화상의 화상 사이즈는 불균등하다. 어플리케이션은, 타일 3(Tile3)의 화상을 표시시킴으로써, HD 해상도의 화상을 표시시킬 수 있고, 타일 2(Tile2) 내지 타일 4(Tile4)의 화상을 표시시킴으로써, 시네마(Cinema) 해상도의 화상을 표시시킬 수 있고, 타일 1(Tile1) 내지 타일 5(Tile5)의 화상을 표시시킴으로써, 더 큰 확장 사이즈(EXT)의 화상을 표시시킬 수 있다. 이와 같이, 표시시키는 부분 화상의 화상 사이즈를 제어함으로써, 표시 화상의 해상도나 애스펙트비를 제어하는 어플리케이션이 고려될 수 있다.
이들과 같은 어플리케이션에 대하여, 표시시키는 부분 화상의 화상 사이즈에 따라, 상술한 바와 같이 배신하는 부분 화상의 사이즈를 적응적으로 제어함(배신하는 타일 화상의 수를 제어함)으로써, 표시되지 않는 불필요한 부분의 화상을 배신할 필요가 없으므로, 서버, 단말기, 전송로 등의 부하를 적응적으로 제어할 수 있고, 불필요한 부하의 증대를 억제할 수 있다.
<타일 화상의 적응적인 제공>
그러나, 종래의 MPEG-DASH 규격에서는, 비트 레이트(Bitrate)를 전환한다는 개념밖에 없고, 상술한 바와 같은 타일 구조를 이용하여, 임의의 부분 화상을 선택해서 그 데이터를 제공하는 등의, 적응적인 부분 화상의 데이터의 제공을 행할 수 없었다.
따라서, 전체 화상의 일부인 부분 화상에 관한 정보인 부분 화상 정보를 MPD의 확장 데이터로서 생성하고, 생성된 그 부분 화상 정보를 사용해서, 전체 화상의 비트 스트림의 제공 및 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터, 즉, 부분 화상 정보를 포함할 수 있도록 확장된 확장 MPD를 생성하도록 한다.
또한, 제공의 대상이 되는 부분 화상은, 전체 화상의 일부분이라면 어떤 것이어도 되고, 그 형상이나 크기 등은 임의이다. 예를 들어, 부분 화상은, 다른 부분과 독립적으로 부호화할 수 있는 부분이면 된다. 그러나, 이하에 있어서는, 설명의 편의상, 부분 화상은, 상술한 타일 단위의 화상인 것으로 한다. 즉, 부분 화상은, 하나 또는 복수의 타일 화상에 의해 구성되는 것으로 한다.
MPD는, 계층 구조를 갖고, 어댑테이션 세트(AdaptationSet), 리프리젠테이션(Representation), 서브 리프리젠테이션(Sub-Representation), 서브 세그먼트(Sub-Segment) 등의 계층을 가질 수 있다. 이러한 계층 중 어느 것을 확장하도록 해도 된다.
예를 들어, MPD의 디스크립터 타입 엘리먼트(DescriptorType element)를 활용하여, 타일(Tile)용 디스크립션(description)을 정의한다. 예를 들어, 뷰포인트(Viewpoint)라는 타일용 디스크립션을, 도 10의 A와 같이 정의한다.
뷰포인트는, 어댑테이션 세트(AdaptationSet)에 존재하는 엘리먼트이다. 뷰포인트는, 당해 뷰가 무엇인지를 정의하는 디스크립션이다. 예를 들어, 스테레오 화상의 우측(R) 화상인지, 좌측(L) 화상인지 등을 정의한다.
즉, 어댑테이션 세트를 확장할 경우, 기존의 엘리먼트를 이용(확장)하게 된다. 기존의 엘리먼트를 이용함으로써, 종래의 MPD와의 친화성의 저감을 억제할 수 있다(종래의 디코더를 해석할 수 없는 디스크립션의 증대를 억제할 수 있음). 이에 반해, 리프리젠테이션(Representation)이나 서브 리프리젠테이션(Sub-Representation)을 확장할 경우, 새롭게 엘리먼트를 정의하게 된다.
또한, 상술한 뷰포인트의 엘리먼트에 있어서, 부분 화상 정보를 저장하기 위한 스키마(schemeIdUri)가 정의된다. 도 10의 A의 예의 경우, 타일용 스키마로서 (urn:mpeg:DASH:tile:2013)이 정의되어 있다. 이러한 스키마의 확장은, 어댑테이션 세트, 리프리젠테이션, 서브 리프리젠테이션 중 어느 것을 확장할 경우에도 행해진다.
또한, 이 새로운 타일용 스키마 (urn:mpeg:DASH:tile:2013)의 밸류(value)가 정의된다. 이 밸류에는, 상술한 부분 화상 정보가 정의된다. 예를 들어, 이 엘리먼트가 나타내는 화상이 어떤 화상인지를 나타내는 뷰 타입((1)viewtype)과, 전체 화상의 사이즈에 관한 정보((2) 전체 화상의 width와 height)와, 전체 화상에 있어서의 부분 화상의 위치를 나타내는 정보((3)엘리먼트가 나타내는 화상의 x좌표와 y좌표)와, 부분 화상이 속하는, 1 화상으로서 표시 가능한 부분 화상의 그룹을 식별하는 그룹 식별 정보((4)TilegroupID)가 밸류로서 정의된다.
뷰 타입(viewtype)은, 도 10의 B에 도시되는 바와 같이, 당해 화상이 타일 화상인지 여부 등을 나타내는 정보이다. 예를 들어, 당해 화상이 전체 화상인 경우 값을 「0」이라고 하고, 당해 화상이 타일 화상이며, 또한, 도 6의 A의 예와 같이, 비트 스트림이 타일별로 나누어져 있는 경우의 값을 「1」이라고 하고, 당해 화상이 타일 화상이며, 또한, 도 6의 B의 예와 같이, 모든 타일의 데이터가 하나의 비트 스트림에 통합되어 있는 경우의 값을 「2」라고 한다. 이들 값이나 그 값이 나타내는 상태(값의 정의)는, 미리 정해져 있다. 물론, 이 값의 정의의 방법은 임의이고, 이 예 이외여도 된다. 이 값을 참조함으로써, 다른 엘리먼트를 참조할 필요가 있는지 여부(즉, 다른 타일이 존재하는지 여부)를 용이하게 파악할 수 있다. 특히, 당해 화상이 전체 화상인 경우, 이 값을 참조하기만 하면, 다른 엘리먼트를 참조할 필요가 없음을 용이하게 파악할 수 있다.
전체 화상의 사이즈에 관한 정보(전체 화상의 width와 height)는, 도 10의 B에 도시되는 바와 같이, 당해 화상(타일 화상)과 같은 그룹에 속하는 타일 화상이 모두 통합된 화상의 사이즈(가로 폭(width)과 높이(height))를 나타내는 정보이다. 종래의 MPD의 경우, 각 비트 스트림의 화상 사이즈가 표시 화상의 사이즈와 같은 것이 전제로 되어 있다. 상술한 바와 같이 부분 화상의 제공을 행하는 경우, 비트 스트림의 화상의 사이즈가 표시 화상의 사이즈와 상이한 경우가 있다. 예를 들어, 서로 상이한 비트 스트림의 복수의 타일 화상이 통합되어 표시될 경우, 표시 화상의 사이즈가 비트 스트림의 화상 사이즈보다 커질 수 있다. 그러한 케이스에 대응할 수 있도록, 당해 화상(타일 화상)과 같은 그룹에 속하는 타일 화상이 모두 통합된 화상의 사이즈가 나타난다. 즉, 이 값을 참조함으로써, 당해 화상(타일 화상)과 같은 그룹에 속하는 타일 화상을 모두 복호하는 경우의 최대 처리 부하를 용이하게 파악할 수 있다. 도 10의 B의 예의 경우, 전체 화상의 사이즈에 관한 정보로서, 960×540 사이즈의 타일 화상이 4장(2×2) 통합된 화상의 사이즈(1920×1080)가 나타난다.
전체 화상에 있어서의 부분 화상의 위치를 나타내는 정보(엘리먼트가 나타내는 화상의 x좌표와 y좌표)는, 도 10의 B에 도시되는 바와 같이, 당해 화상이, 당해 화상(타일 화상)과 같은 그룹에 속하는 타일 화상이 모두 통합된 화상의 어디에 위치할지를 나타내는 정보이다. 위치를 어떻게 나타낼지(어떤 값으로 나타낼지)는 임의이다. 예를 들어, 당해 화상의 좌측 상부의 좌표로 나타내도록 해도 된다. 예를 들어 타일의 식별 정보나 좌측 상부 이외의 장소의 좌표 등, 기타 정보로 나타내도록 해도 된다. 이 값을 참조함으로써, 당해 화상(타일 화상)을 통합(합성)할 때의, 당해 화상의 위치를 용이하게 파악할 수 있다. 즉, 통합(합성)할 각 타일 화상의, 이 값을 참조함으로써, 각 타일 화상을 어떻게 배열하여 통합할(합성할)지를 용이하게 파악할 수 있다.
그룹 식별 정보(TilegroupID)는, 도 10의 B에 도시되는 바와 같이, 당해 화상이 속하는 타일 화상의 그룹을 나타내는 식별 정보이다. 동일한 그룹의 타일 화상에는, 동일한 값이 할당된다. 반대로, 그룹마다 상이한 값이 할당된다. 도 10의 B의 예의 경우, 타일 1(Tile1) 내지 타일 4(Tile4)의 각 타일 화상은 통합할 수 있으므로, 그것들에는, 그룹 식별 정보로서 서로 동일값이 할당된다. 이 값을 참조함으로써, 어느 타일 화상끼리가 통합 가능(합성 가능)한지를 용이하게 파악할 수 있다. 다시 말해, 표시 시에 당해 화상과 통합(합성)해야 할 다른 타일 화상을 용이하게 식별할 수 있다.
또한, 그룹 식별 정보(TilegroupID)는, 뷰포인트의 밸류로서가 아니라, 예를 들어 이하와 같이, 다른 엘리먼트의 에트리뷰트(attribute)로서 정의하도록 해도 된다.
<AdaptationSet mimeType="video/mp4" group = "1">
어댑테이션 세트에는, 그룹(group)이라는 에트리뷰트가 이미 존재한다. 상기의 예에서는, 이 그룹에, 타일(Tile)의 집합(Tilegroup)으로서의 의미가 할당되어 있다.
<Representation mimeType="video/mp4" group = "1">
이에 반해, 리프리젠테이션이나 서브 리프리젠테이션에는, 그룹(group)이라는 에트리뷰트는 존재하지 않는다. 즉, 리프리젠테이션이나 서브 리프리젠테이션을 확장할 경우, (group)이라는 새로운 에트리뷰트가 설정되게 된다.
또한, 이상과 같은 확장 방법은, 도 7이나 도 8의 예와 같이, 비트 스트림을 파일화(특히 MP4 파일화)하는 경우에도 적용할 수 있다. 그 경우, 베이스 트랙(Base Track)에는, 기타 트랙에 할당된 비트 스트림의 헤더 정보 등이 할당되므로 당해 세그먼트의 위치 정보는 불필요하다. 그로 인해, 베이스 트랙에 대응하는 디스크립션(뷰포인트)에서는, 당해 화상의 위치에 관한 정보로서 실제의 좌표가 아닌 값을 정의하도록 해도 된다. 예를 들어, NULL, 공란, 스페이스(space) 등을 설정하도록 해도 된다. 또한, 예를 들어 좌표로서는 너무 큰 값이나 마이너스 값 등을 설정하도록 해도 된다. 또한, 베이스 트랙임을 나타내는 식별 정보(플래그 등)를 별도 설치해도 물론 된다.
또한, 종래의 MPD의 경우, 리프리젠테이션(Representation)의 아래에 반드시 세그먼트(Segment)가 존재해야만 했다. 즉, MP4 파일의 URL은, 리프리젠테이션 바로 아래의 세그먼트에 기술된다. 서브 리프리젠테이션(Sub-Representation)은, 예를 들어 트릭 플레이나 음악만의 재생 등에 이용되는 정보이며, 리프리젠테이션 바로 아래의 세그먼트의 MP4 파일 중 일부의 데이터를 지정한다.
이러한 MPD를, 부분 화상 정보를 포함할 수 있도록 확장할 때, 서브 리프리젠테이션(Sub-Representation)의 아래에 세그먼트가 존재하도록 확장하도록 해도 된다. 즉, 서브 리프리젠테이션에 타일 화상을 할당하고, MP4 파일의 URL을 참조할 수 있도록 해도 된다.
보다 구체적으로는, 서브 리프리젠테이션에, 베이스 URL(<BaseURL>), 세그먼트 베이스(<SegmentBase>), 세그먼트 리스트(<SegmentList>) 및 세그먼트 템플릿(<SegmentTemplate>) 등의 태그를 추가 정의한다.
단, 그 경우, 서브 리프리젠테이션(Sub-Representation)의 아래에 비트 스트림의 정보가 존재하는 것을 나타내는 세그먼트 정보를, 부분 화상 정보로서 생성하고, 그 세그먼트 정보를 MPD에 저장할 필요가 있다. 예를 들어, 이 세그먼트 정보로서, 서브 리프리젠테이션 아래에 비트 스트림의 정보가 존재하는지 여부를 나타내는 플래그(＠SegmentInSubRepresentation: true or false)가 정의된다.
이와 같이 함으로써, 리프리젠테이션이 복수의 타일 화상의 서브 리프리젠테이션에 의해 구성되도록 할 수 있다. 이러한 구조로 함으로써, 종래의 리프리젠테이션과의 구분이 가능해진다.
또한, 종래의 MPD의 경우, 세그먼트(Segment)는 시간을 나타내는 개념으로 되어 있고, 동시각의 세그먼트가 하나의 리프리젠테이션(Representation)에 존재하는 것이 허용되지 않았다.
이러한 MPD를, 부분 화상 정보를 포함할 수 있도록 확장할 때, 세그먼트에 타일 화상을 할당하도록 하고, 하나의 리프리젠테이션에 복수의 동시각의 세그먼트가 존재할 수 있도록 확장하도록 해도 된다.
단, 그 경우, 리프리젠테이션 아래에, 동시각의 타일 화상이 할당된 복수의 세그먼트가 존재하는 것을 나타내는 멀티세그먼트 정보를, 부분 화상 정보로서 생성하고, 그 멀티세그먼트 정보를 MPD에 저장할 필요가 있다. 예를 들어, 이 멀티세그먼트 정보로서, 리프리젠테이션 아래에 동시각의 비트 스트림 정보가 복수 존재하는지 여부를 나타내는 플래그(＠multiSegmentInRepresentation: true or false)가 정의된다.
이와 같이 함으로써, 종래의 세그먼트와의 분리가 가능해진다.
또한, 종래 액세스 유닛(AU) 단위로밖에 지정할 수 없었던 것을, 타일 단위의 데이터를 지정할 수 있도록 확장된 ssix 박스를 할당하는 서브 세그먼트(Sub-Segment)를, 단수 또는 복수의 타일 화상의 비트 스트림을 저장하는 MP4 파일이 할당되는 세그먼트 아래에 정의하도록 해도 된다. 즉, MP4 파일이 할당되는 세그먼트 아래에, 그 MP4 파일로부터 자신에 대응하는 타일을 지정하는 ssix를 포함하는 서브 세그먼트가 하나 또는 복수 존재하도록 해도 된다.
이와 같이 함으로써, 서브 세그먼트에 있어서 샘플(Sample)보다도 작은 단위를 나타낼 수 있다.
또한, 그러기 위해서는, 그것을 암시시키기 위해서, 세그먼트 정보를 거짓(＠SegmentInSubRepresentation = false)이라고 하고, 또한, 뷰포인트(Viewpoint)를 세그먼트로 정의할 필요가 있다. 즉, 이들 2개의 정보로부터, 서브 세그먼트에 따라서 타일 화상을 나타내고 있음(MP4 파일이 확장되어 있음)을 파악할 수 있다.
또한, 전용 플래그 정보를 별도로 정의하여, 서브 세그먼트에 따라서 타일 화상을 나타내고 있음(MP4 파일이 확장되어 있음)을 명시하도록 해도 된다.
부분 화상 정보는, 상술한 예에 한정되지 않고, 임의이다. 예를 들어, 밸류에, 상술한 예에 나타나는 정보(뷰 타입((1)viewtype), 전체 화상의 사이즈에 관한 정보((2) 전체 화상의 width와 height), 전체 화상에 있어서의 부분 화상의 위치를 나타내는 정보((3)엘리먼트가 나타내는 화상의 x좌표와 y좌표), 부분 화상이 속하는, 1 화상으로서 표시 가능한 부분 화상의 그룹을 식별하는 그룹 식별 정보((4)TilegroupID)) 이외의 정보를 정의하도록 해도 된다. 또한, 상술한 것 이외의 플래그 정보를 부분 정보로서 정의하도록 해도 된다.
이상과 같이 부분 화상 정보를 생성하고, 그 부분 화상 정보를 사용하여 MPD(메타데이터)를 확장함으로써, 그 메타데이터를 사용하여, 부분 화상의 데이터의 적응적인 제공을 실현할 수 있다.
<2. 제2 실시 형태>
<배신 시스템>
이어서, 이상과 같은 본 기술을 실현하는 장치와 그 방법에 대하여 설명한다. 도 11은, 본 기술을 적용한 시스템의 일 형태인, 배신 시스템을 도시하는 도면이다. 도 11에 도시되는 배신 시스템(100)은, 전체 화상의 일부인 부분 화상의 데이터를 적응적으로 배신할 수 있는 시스템이다.
도 11에 도시되는 바와 같이 배신 시스템(100)은, 배신 데이터 생성 장치(101), 배신 서버(102) 및 단말 장치(103)를 갖는다.
배신 데이터 생성 장치(101)는, 배신 서버(102)가 배신하는, 예를 들어 화상이나 음성 등의 콘텐츠의 파일(콘텐츠 파일)과 그 MPD 파일을 생성하고, 그것을 배신 서버(102)에 공급한다. 배신 서버(102)는, 배신 데이터 생성 장치(101)로부터 공급된 콘텐츠 파일과 그 MPD 파일을, 네트워크(104)를 향하여 공개하고, 부분 화상의 적응적인 배신을 행한다.
단말 장치(103)는, 네트워크(104)를 통하여 배신 서버(102)에 액세스하고, 배신 서버(102)가 공개하는 원하는 콘텐츠의 MPD 파일을 취득한다.
단말 장치(103)는, 그 MPD 파일에 따라, 네트워크(104)를 통하여 배신 서버(102)에 액세스하고, MPD 파일에 대응하는 적절한 콘텐츠 파일을 적응적으로 선택하고, 그것을 HTTP 프로토콜에 의해 취득한다. 단말 장치(103)는, 취득한 콘텐츠 파일을 재생한다.
<배신 데이터 생성 장치>
도 12는, 배신 데이터 생성 장치(101)의 주요 구성예를 도시하는 블록도이다. 도 12에 도시되는 바와 같이, 배신 데이터 생성 장치(101)는, 화면 분할 처리부(121), 화상 부호화부(122), 파일 생성부(123), 타일형 화상 정보 생성부(124), MPD 생성부(125) 및 서버 업로드 처리부(126)를 갖는다.
화면 분할 처리부(121)는, 외부로부터 공급된 화상 데이터의 전체 화상을 타일별로 분할하도록 화상 데이터를 편집(가공)하여, 타일 화상의 화상 데이터를 생성한다. 화면 분할 처리부(121)는, 이렇게 생성한 각 타일의 화상 데이터를 화상 부호화부(122)에 공급한다. 또한, 화면 분할 처리부(121)는, 예를 들어 각 타일의 크기나 위치 등의 타일 구조에 관한 정보를 타일형 화상 정보 생성부(124)에 공급한다.
화상 부호화부(122)는, 화면 분할 처리부(121)로부터 공급되는 타일별 화상 데이터를 부호화하여, 비트 스트림을 생성한다. 도 12에 도시되는 바와 같이, 화상 부호화부(122)는, 부호화 처리부(131), 부호화 처리부(132), 부호화 처리부(133), …와 같이, 복수의 부호화 처리부를 갖고 있으며, 공급되는 각 타일의 화상 데이터를 병행해 부호화할 수 있다. 도 6 등을 참조하여 설명한 바와 같이 화상 부호화부(122)는, 하나의 화상 데이터로부터 임의의 수의 비트 스트림을 생성할 수 있다. 또한, 화상 부호화부(122)는, 복수의 화상 데이터를 하나의 비트 스트림에 통합할 수도 있다. 예를 들어, 화상 부호화부(122)는, 타일 화상별로 비트 스트림을 생성할 수도 있고, 복수의 타일 화상을 하나의 비트 스트림에 통합할 수도 있다. 화상 부호화부(122)는, 생성한 비트 스트림을 파일 생성부(123)에 공급한다.
또한, 화상 부호화부(122)의 부호화 방법은 임의이다. 각 부호화 처리부가 동일한 방법으로 부호화되도록 해도 되고, 서로 상이한 방법으로 부호화되도록 해도 된다.
파일 생성부(123)는, 공급된 비트 스트림을, 예를 들어 MP4 파일 포맷 등의 소정의 포맷으로 파일화하여, 콘텐츠 파일을 생성한다. 도 7이나 도 8 등을 참조하여 설명한 바와 같이, 파일 생성부(123)는, 하나의 비트 스트림을 임의의 수의 파일로 파일화할 수 있다. 또한, 파일 생성부(123)는, 복수의 비트 스트림을 하나의 파일에 통합할 수도 있다. 파일 생성부(123)는, 생성한 콘텐츠 파일을 MPD 생성부(125)에 공급한다. 또한, 파일 생성부(123)는, 각 비트 스트림을 어떻게 파일화했는지 등의, 파일화에 관한 정보를 타일형 화상 정보 생성부(124)에 공급한다.
또한, 파일 생성부(123)는, 임의의 포맷으로 파일화를 행할 수 있다.
타일형 화상 정보 생성부(124)는, 화면 분할 처리부(121)로부터 공급되는 타일 구조에 관한 정보나, 파일 생성부(123)로부터 공급되는 파일화에 관한 정보 등에 기초하여, MPD를 타일 구조에 대응시키기 위한 타일형 화상 정보(즉 부분 화상 정보)를 생성한다. 타일형 화상 정보(부분 화상 정보)는, 제1 실시 형태에 있어서 설명한 내용을 포함하는 정보이며, 예를 들어 뷰포인트의 밸류나, 플래그 정보 등으로서 생성된다. 타일형 화상 정보 생성부(124)는, 생성한 타일형 화상 정보를 MPD 생성부(125)에 공급한다.
MPD 생성부(125)는, 파일 생성부(123)로부터 공급되는 콘텐츠 파일에 관한 MPD를 생성하고, 그 MPD를, 타일형 화상 정보 생성부(124)로부터 공급되는 타일형 화상 정보(부분 화상 정보)를 사용하여 확장하고, 타일 구조에 대응한 타일형 MPD를 생성한다. MPD 생성부(125)는, 생성한 타일형 MPD의 파일(MPD 파일)과 콘텐츠 파일을 서버 업로드 처리부(126)에 공급한다.
서버 업로드 처리부(126)는, 공급된 MPD 파일이나 콘텐츠 파일을 배신 서버(102)(도 11)에 업로드하고, 공개시킨다.
배신 데이터 생성 장치(101)가 이상과 같이 타일 구조에 대응한 타일형 MPD를 생성함으로써, 배신 서버(102)는 부분 화상의 데이터를, DASH 규격에 준거하여 적응적으로 배신(제공)할 수 있다. 즉, 배신 시스템(100)은, 부분 화상의 데이터의 적응적인 제공을 실현할 수 있다.
이상으로 설명한 각 처리부는, 독립된 장치로서 구성하도록 해도 된다. 특히, 타일형 화상 정보 생성부(124)나 MPD 생성부(125)는, 각각 독립된 장치로서 구성하도록 해도 된다. 즉, 콘텐츠 파일의 생성에 관한 구성은 필수가 아니고, 타일형 화상 정보(부분 화상 정보)의 생성만을 행하도록 해도 된다. 예를 들어, 다른 장치로부터 공급되는 정보에 기초하여 타일형 화상 정보(부분 화상 정보)를 생성하도록 해도 된다. 또한, 예를 들어 생성한 타일형 화상 정보(부분 화상 정보)를 다른 장치에 공급하도록 해도 된다.
또한, 타일형 MPD의 생성만을 행하도록 해도 된다. 예를 들어, 다른 장치로부터 공급되는 타일형 화상 정보(부분 화상 정보)를 사용하여, 다른 장치에 있어서 생성되는 콘텐츠 파일에 대응하는 타일형 MPD를 생성하도록 해도 된다. 또한, 생성한 MPD 파일을 다른 장치에 공급하도록 해도 된다.
또한, 타일형 MPD 생성부(141)와 같이, 타일형 화상 정보 생성부(124) 및 MPD 생성부(125)를 일체화하도록 해도 된다. 예를 들어, 그 타일형 MPD 생성부(141)를 하나의 독립된 장치로서 구성하도록 해도 된다.
<단말 장치>
도 13은, 단말 장치(103)의 주요 구성예를 도시하는 블록도이다. 도 13에 도시되는 바와 같이, 단말 장치(103)는, MPD 취득부(151), 파스 처리부(152), 타일 화상 선택부(153), 파일 취득부(154), 화상 복호부(155), 타일 화상 합성부(156) 및 표시부(157)를 갖는다.
MPD 취득부(151)는, 예를 들어 단말 장치(103)의 유저나 제어 프로그램의 지시 등에 기초하여, 원하는 콘텐츠의 MPD 파일을, 네트워크(104)를 통하여 배신 서버(102)로부터 취득한다. MPD 취득부(151)는, 취득한 MPD 파일을 파스 처리부(152)에 공급한다.
파스 처리부(152)는, 공급된 MPD 파일을 해석(파스)한다. 또한, 파스 처리부(152)는, MPD 파일에 포함되는 타일형 화상 정보(부분 화상 정보)도 해석(파스)한다. 파스 처리부(152)는, 그 해석 결과를 타일 화상 선택부(153)에 공급한다.
타일 화상 선택부(153)는, 외부로부터 공급되는, 재생하는 부분 화상(단수 또는 복수의 타일 화상을 포함하는 화상)을 지정하는 타일 화상 지정 정보를 취득하면, 파스 처리부(152)에 있어서의 MPD 파일(타일형 화상 정보)의 해석 결과에 기초하여, 타일형 화상 정보에 포함되는 타일 화상 중에서, 타일 화상 지정 정보에 의해 지정되는 타일 화상을 선택한다. 타일 화상 선택부(153)는, 선택한 타일 화상의 파일의 URL(배신 어드레스)을 파일 취득부(154)에 공급한다.
파일 취득부(154)는, 네트워크(104)를 통하여 배신 서버(102)의, 타일 화상 선택부(153)로부터 공급된 배신 어드레스에 액세스하고, 원하는 콘텐츠 파일을 취득한다. 파일 취득부(154)는, 취득한 콘텐츠 파일로부터 비트 스트림을 취득하고, 그 비트 스트림을 화상 복호부(155)에 공급한다.
화상 복호부(155)는, 파일 취득부(154)로부터 공급되는 비트 스트림을 복호하고, 타일 화상의 화상 데이터를 얻는다. 도 13에 도시되는 바와 같이, 화상 복호부(155)는, 복호 처리부(161), 복호 처리부(162), 복호 처리부(163), …와 같이, 복수의 복호 처리부를 갖고 있으며, 공급되는 복수의 비트 스트림을 병행하여 복호할 수 있다. 화상 복호부(155)는, 비트 스트림을 복호하여 얻어진 타일 화상의 화상 데이터를 타일 화상 합성부(156)에 공급한다.
또한, 화상 복호부(155)는, 화상 부호화부(122)의 부호화 방법에 대응하는 방법이라면, 임의의 복호 방법으로 복호를 행할 수 있다. 따라서, 각 복호 처리부가 동일한 방법으로 복호를 행하도록 해도 되고, 서로 상이한 방법으로 복호를 행하도록 해도 된다.
타일 화상 합성부(156)는, 화상 복호부(155)로부터, 서로 동일한 그룹에 속하는 복수의 타일 화상의 화상 데이터가 공급된 경우, 그 타일 화상을 합성(통합)하여, 1매의 화상으로 하도록, 각 화상 데이터를 합성한다. 즉, 타일 화상 합성부(156)는, 표시용 화상의 화상 데이터를 생성한다. 화상을 합성하지 않을 경우(예를 들어 단수의 타일 화상을 표시시키는 경우나, 배신 시에 이미 복수의 타일 화상이 하나의 비트 스트림으로 되어 있는 경우 등)에는, 공급된 화상이 표시용 화상으로 되게 된다. 타일 화상 합성부(156)는, 그 표시용 화상 데이터를 표시부(157)에 공급한다.
표시부(157)는, 공급된 표시용 화상 데이터를 재생하고, 그 표시용 화상을 디스플레이에 표시한다.
이상과 같이, 단말 장치(103)는, 타일 구조에 대응한 타일형 MPD를 정확하게 해석할 수 있고, 배신 서버(102)에 의한 부분 화상의 데이터의 DASH 규격에 준거한 적응적인 배신(제공)을 받을 수 있다. 즉, 배신 서버(102)로부터 정확하게 부분 화상의 데이터를 취득하여 재생할 수 있다. 즉, 배신 시스템(100)은, 부분 화상의 데이터의 적응적인 제공을 실현할 수 있다.
또한, 상술한 바와 같이, 단말 장치(103)는, 배신 시와 상이한 화상 사이즈로 화상을 표시할 수 있다. 즉, 단말 장치(103)는, 배신 서버(102)나 네트워크(104)의 부하 상황 등에 따라, 보다 적응적으로 데이터 배신을 제어할 수 있다. 예를 들어, 전체 화상을 취득할지 타일 화상을 취득할지를 제어할 수 있기 때문에, 표시 화상의 사이즈는 바꾸지 않고, 취득하는 콘텐츠 파일의 수를 적절히 증감시킬 수 있다. 그로 인해, 배신원이나 경로를 분산시키거나 집중시키거나 하는 등의 제어를 적절히 행할 수 있다.
이상에 설명한 각 처리부는, 독립된 장치로서 구성하도록 해도 된다. 특히, 파스 처리부(152)나 타일 화상 선택부(153)는, 각각 독립된 장치로서 구성하도록 해도 된다. 즉, 콘텐츠 파일의 취득이나 재생(복호)에 관한 구성은 필수가 아니며, 타일형 MPD나 타일형 화상 정보(부분 화상 정보)의 해석만을 행하도록 해도 된다. 예를 들어, 다른 장치에 의해 배신 서버(102)로부터 취득된 MPD 파일을 해석하도록 해도 된다. 또한, 예를 들어 그 해석 결과를 다른 장치에 공급하도록 해도 된다.
또한, 타일형 화상 정보 처리부(171)와 같이, 파스 처리부(152) 및 타일 화상 선택부(153)를 일체화하도록 해도 된다. 예를 들어, 그 타일형 화상 정보 처리부(171)를 하나의 독립된 장치로서 구성하도록 해도 된다.
또한, 타일 화상 합성부(156)로부터 출력되는 표시용 화상 데이터는, 다른 장치에 공급되거나, 기록 매체에 기록되거나 하도록 해도 된다. 또한, 그 때, 화상 데이터가 부호화되도록 해도 된다.
<배신 데이터 생성 처리의 흐름>
이어서, 이상과 같은 배신 시스템(100)의 각 장치에 의해 실행되는 각 처리의 흐름에 대하여 설명한다. 가장 먼저, 도 14의 흐름도를 참조하여, 배신 데이터 생성 장치(101)에 의한 배신 데이터 생성 처리의 흐름의 예를 설명한다.
배신 데이터 생성 처리가 개시되면, 배신 데이터 생성 장치(101)의 화면 분할 처리부(121)는, 스텝 S101에 있어서, 화면(즉 전체 화상)을 타일로 분할하도록 화상 데이터를 편집(가공)한다.
스텝 S102에 있어서, 화상 부호화부(122)는, 스텝 S101에 있어서 생성된 각 타일 화상의 화상 데이터를 부호화한다.
스텝 S103에 있어서, 파일 생성부(123)는, 스텝 S102에 있어서 생성된 부호화 데이터(비트 스트림)를 파일화한다(즉, 콘텐츠 파일을 생성함).
스텝 S104에 있어서, 타일형 MPD 생성부(141)는, 스텝 S101의 분할이나 스텝 S103의 파일화 등의 처리 결과에 따라, 타일형 MPD의 파일을 생성한다.
스텝 S105에 있어서, 서버 업로드 처리부(126)는, 이상과 같이 생성된 MPD 파일 및 콘텐츠 파일을 배신 서버(102)에 업로드한다.
스텝 S105의 처리가 종료되면, 배신 데이터 생성 처리가 종료된다.
<타일형 MPD 파일 생성 처리의 흐름>
이어서, 도 15의 흐름도를 참조하여, 도 14의 스텝 S104에 있어서 실행되는 타일형 MPD 파일 생성 처리의 흐름의 예를 설명한다.
타일형 MPD 파일 생성 처리가 개시되면, 타일형 화상 정보 생성부(124)는, 스텝 S121에 있어서, 예를 들어 뷰포인트의 엘리먼트에 있어서, 타일형 화상 정보의 스키마(예를 들어, urn:mpeg:DASH:tile:2013)를 설정한다.
스텝 S122에 있어서, 타일형 화상 정보 생성부(124)는, 타일형 화상 정보로서, 그 스키마의 밸류에 뷰 타입(viewtype)을 설정한다.
스텝 S123에 있어서, 타일형 화상 정보 생성부(124)는, 타일형 화상 정보로서, 그 스키마의 밸류에 전체 화상의 사이즈(width, height)를 설정한다.
스텝 S124에 있어서, 타일형 화상 정보 생성부(124)는, 타일형 화상 정보로서, 그 스키마의 밸류에 타일 화상의 위치(x, y)를 설정한다.
스텝 S125에 있어서, 타일형 화상 정보 생성부(124)는, 타일형 화상 정보로서, 그 스키마의 밸류에 그룹 식별 정보(TilegroupID)를 설정한다.
스텝 S126에 있어서, 타일형 화상 정보 생성부(124)는, 타일형 화상 정보로서, 필요에 따라, 세그먼트 정보(＠SegmentInSubRepresentation)를 설정한다. 예를 들어, 서브 리프리젠테이션(Sub-Representation)의 아래에 세그먼트가 존재하도록 MPD가 확장될 경우, 타일형 화상 정보 생성부(124)는, 이 서브 리프리젠테이션(Sub-Representation)의 아래에 비트 스트림의 정보가 존재하는 것을 나타내는 세그먼트 정보를 생성한다.
스텝 S127에 있어서, 타일형 화상 정보 생성부(124)는, 타일형 화상 정보로서, 필요에 따라, 멀티세그먼트 정보(＠multiSegmentInRepresentation)를 설정한다. 예를 들어, 세그먼트에 타일 화상을 할당하도록 하고, 하나의 리프리젠테이션에 복수의 동시각의 세그먼트가 존재할 수 있도록 MPD가 확장될 경우, 타일형 화상 정보 생성부(124)는, 이 리프리젠테이션 아래에, 동시각의 타일 화상이 할당된 복수의 세그먼트가 존재하는 것을 나타내는 멀티세그먼트 정보를 생성한다.
스텝 S127의 처리가 종료되면 타일형 MPD 파일 생성 처리가 종료되고, 처리는 도 14로 복귀된다.
이상과 같이 각 처리를 실행함으로써, 배신 데이터 생성 장치(101)는, 배신 서버(102)에, 부분 화상의 데이터를, DASH 규격에 준거하여 적응적으로 배신(제공)시킬 수 있다. 즉, 부분 화상의 데이터의 적응적인 제공을 실현할 수 있다.
<배신 데이터 재생 처리의 흐름>
이어서, 도 16의 흐름도를 참조하여, 단말 장치(103)에 의해 실행되는 배신 데이터 재생 처리의 흐름의 예를 설명한다.
배신 데이터 재생 처리가 개시되면, MPD 취득부(151)는, 스텝 S141에 있어서, 배신 서버(102)로부터 원하는 콘텐츠에 대응하는 MPD 파일을 취득한다.
스텝 S142에 있어서, 파스 처리부(152)는, 스텝 S141에 있어서 취득된 MPD 파일을 해석(파스)한다.
스텝 S143에 있어서, 파스 처리부(152)는, 또한, 그 MPD 파일에 포함되는 타일형 화상 정보(부분 화상 정보)를 해석(파스)한다.
스텝 S144에 있어서, 타일 화상 선택부(153)는, 타일형 화상 정보에 나타나는 타일 화상 중에서, 외부로부터 공급되는 타일 화상 지정 정보에 의해 지정되는 타일 화상을 선택한다.
스텝 S145에 있어서, 파일 취득부(154)는, 스텝 S144에 있어서 선택된 타일 화상의 파일을 취득한다.
스텝 S146에 있어서, 화상 복호부(155)는, 스텝 S145에 있어서 취득된 파일에 포함되는 타일 화상의 비트 스트림을 복호한다.
스텝 S147에 있어서, 타일 화상 합성부(156)는, 필요에 따라, 스텝 S146에 있어서 비트 스트림이 복호되어 얻어진 타일 화상의 화상 데이터를, 타일 화상을 합성하도록 편집(가공)한다.
스텝 S148에 있어서, 표시부(157)는, 스텝 S147에 있어서 얻어진 타일 화상의 합성 화상 등의 표시용 화상을 디스플레이에 표시한다.
스텝 S148의 처리가 종료되면, 배신 데이터 재생 처리가 종료된다.
이상과 같이 배신 데이터 재생 처리를 실행함으로써, 단말 장치(103)는, 타일 구조에 대응한 타일형 MPD를 정확하게 해석할 수 있고, 배신 서버(102)에 의한 부분 화상의 데이터의 DASH 규격에 준거한 적응적인 배신(제공)을 받을 수 있다. 즉, 배신 서버(102)로부터 정확하게 부분 화상의 데이터를 취득하여, 재생할 수 있다. 즉, 부분 화상 데이터의 적응적인 제공을 실현할 수 있다.
또한, 상술한 부분 화상의 적응적인 배신(제공)은, 전체 화상의 배신(제공)과 병용할 수 있다. 즉, 예를 들어 서버가, 단말기로부터의 요구 등에 따라서 적응적으로, 전체 화상을 배신하거나, 임의의 부분 화상을 배신하거나 할 수 있도록 해도 된다.
<3. 제3 실시 형태>
<MPD 확장의 구체예>
이어서, MPD의 확장 방법의 구체예에 대하여 설명한다.
<예 1>
확장된 MPD의 주요 구성예를 도 17에 도시한다. 도 17의 예의 경우, 배신되는 화상 데이터의 각 타일의 부호화 데이터가 각각 하나의 비트 스트림(MP4 파일)으로 되어 있다(bitstream3.mp4 내지 bitstream6.mp4). 그리고, MPD는, 어댑테이션 세트(AdaptationSet)가 확장되고, 각 타일 화상의 비트 스트림(MP4 파일)이 서로 상이한 어댑테이션 세트에 있어서 정의되어 있다. 타일용 디스크립션인 뷰포인트(Viewpoint)는, 어댑테이션 세트에 정의되고, 그 뷰포인트에 대응하는 타일의 비트 스트림(MP4 파일)의 URL이, 그 어댑테이션 세트 아래의 리프리젠테이션(Representation) 아래의 세그먼트(Segment)에 설정된다.
즉, 서로 동일한 그룹에 속하는 복수의 부분 화상의 각각의 부분 화상 정보가 서로 상이한 어댑테이션 세트에 저장되고, 복수의 부분 화상의 각각의 비트 스트림이, 서로 상이한 어댑테이션 세트에 할당된다.
도 17에 도시되는 바와 같이, 이 예의 경우, 전체 화상(bitstream1.mp4, bitstream2.mp4)의 어댑테이션 세트와 나란히 타일 화상의 어댑테이션 세트를 설치할 수 있고, 전체 화상의 배신과 부분 화상의 적응적인 배신을 일원적으로 관리할 수 있다.
종래의 DASH에서는, 예를 들어 스테레오 화상의 R 화상과 L 화상과 같이, 표시하고 있는 내용이 상이한 화상은, 서로 상이한 어댑테이션 세트로 정의되는 경우가 많다. 본 예에서는, 그러한 수법을 모방하여 각 타일 화상을 서로 상이한 어댑테이션 세트로 정의하고 있다. 그로 인해, 부분 화상의 배신 제어에 있어서도, 종래에 보다 가까운 자연스러운 수법을 실현할 수 있다. 그 때문에 개발을 용이하게 할 수 있다.
또한, 도 17의 예에 있어서는, 해상도가 상이한 전체 화상이, 동일한 어댑테이션 세트에 정의되어 있지만, 이들 전체 화상을 서로 상이한 어댑테이션 세트에 정의하도록 해도 된다.
또한, 본 예의 MPD의 구체적인 기술예를 도 18에 도시한다.
<예 2>
확장된 MPD의 다른 구성예를 도 19에 도시한다. 도 19의 예의 경우, 배신되는 화상 데이터의 각 타일의 부호화 데이터가 각각 하나의 비트 스트림(MP4 파일)으로 되어 있다(bitstream3.mp4 내지 bitstream6.mp4). 그리고, MPD는, 어댑테이션 세트(AdaptationSet)가 확장되고, 각 타일 화상의 비트 스트림(MP4 파일)이, 전체 화상이 정의되는 어댑테이션 세트와는 상이한 어댑테이션 세트에 있어서 정의되어 있다. 단, <예 1>의 경우와 상이하게, 각 타일 화상의 비트 스트림(MP4 파일)은 동일한 어댑테이션 세트에 있어서 정의되어 있다.
타일용 디스크립션인 뷰포인트(Viewpoint)는, 그 어댑테이션 세트 아래의 리프리젠테이션(Representation)에 정의되고, 그 뷰포인트에 대응하는 타일의 비트 스트림(MP4 파일)의 URL이, 그 리프리젠테이션 아래의 세그먼트(Segment)에 설정되어 있다.
즉, 서로 동일한 그룹에 속하는 복수의 부분 화상의 각각의 부분 화상 정보가, 메타데이터의 하나의 어댑테이션 세트에 속하는 서로 상이한 리프리젠테이션에 저장되고, 복수의 부분 화상의 각각의 비트 스트림이, 서로 상이한 리프리젠테이션에 할당된다.
도 19에 도시되는 바와 같이, 이 예의 경우, 전체 화상의 어댑테이션 세트와 나란히 타일 화상의 어댑테이션 세트를 설치할 수 있고, 전체 화상의 배신과 부분 화상의 적응적인 배신을 일원적으로 관리할 수 있다.
또한, 도 19의 예에 있어서는, 해상도가 상이한 전체 화상(bitstream1.mp4, bitstream2.mp4)이, 동일한 어댑테이션 세트에 정의되어 있지만, 이들 전체 화상을 서로 상이한 어댑테이션 세트에 정의하도록 해도 된다.
<예 3>
확장된 MPD의 또 다른 구성예를 도 20에 도시한다. 도 20의 예의 경우, 배신되는 화상 데이터의 각 타일의 부호화 데이터가 하나의 비트 스트림에 통합되어 있다. 그리고, 그 비트 스트림은, 타일별로 MP4 파일화되어 있다(bitstream7_Tile1.mp4 내지 bitstream7_Tile4.mp4). 또한, 도 7을 참조하여 설명한 바와 같이, 각 타일의 헤더 정보 등을 모은 베이스 트랙이 각 타일의 비트 스트림과는 별도로 파일화되어 있다(bitstream7_base.mp4).
그리고, MPD는, 어댑테이션 세트(AdaptationSet)가 확장되고, 각 타일 화상의 비트 스트림(MP4 파일)(bitstream7_Tile1.mp4 내지 bitstream7_Tile4.mp4)이 서로 상이한 어댑테이션 세트에 있어서 정의되어 있다.
타일용 디스크립션인 뷰포인트(Viewpoint)는, 어댑테이션 세트에 정의되고, 그 뷰포인트에 대응하는 타일의 비트 스트림(MP4 파일)의 URL이, 그 어댑테이션 세트 아래의 리프리젠테이션(Representation)의 아래의 세그먼트(Segment)에 설정된다.
또한, 베이스 트랙의 비트 스트림(MP4 파일)(bitstream7_base.mp4)의 뷰포인트의 밸류에 정의되는 x좌표 및 y좌표에는, 제1 실시 형태에 있어서 설명한 바와 같이, 예를 들어 NULL 등의, 통상의 좌표와는 명백하게 상이한 값이 설정된다. 또한, 각 뷰포인트의 밸류에 정의되는 뷰 타입의 값에는, HEVC 등의 부호화 방식이 서포트하는 타일(Tile)임을 나타내는 값(도 20의 예의 경우 「2」)이 설정된다.
즉, 서로 동일한 그룹에 속하는 복수의 부분 화상의 각각의 부분 화상 정보가, 메타데이터의 서로 상이한 어댑테이션 세트에 저장되고, 복수의 부분 화상을 포함하는 하나의 비트 스트림이 부분 화상별로 분할된 복수의 파일의 각각이, 서로 상이한 어댑테이션 세트에 할당된다.
또한, 본 예의 MPD의 구체적인 기술예를 도 21에 도시한다.
<예 4>
확장된 MPD의 또 다른 구성예를 도 22에 도시한다. 도 22의 예의 경우, 확장 방법은 <예 3>과 마찬가지이다. 각 타일이 도 22에 도시되는 바와 같이 불균등한 크기로 설정되어 있다(도 9의 B에 대응하고 있음). 이 경우, 사각으로 나타내지는 바와 같이, 타일을 추가함으로써, 원하는 화상 사이즈의 화상이 얻어진다.
또한, 본 예의 경우, 배신되는 화상 데이터의 각 타일의 부호화 데이터가 각각 하나의 비트 스트림(MP4 파일)으로 되어 있다(tile1.mp4 내지 tile5.mp4). 그로 인해, <예 3>과 같이 베이스 트랙은 존재하지 않는다.
즉, 비트 스트림에 포함되는 제어 정보에 관한 부분 화상 정보가 더 생성되고, 제어 정보의 부분 화상 정보가, 각 부분 화상의 부분 화상 정보와는 상이한 어댑테이션 세트에 저장되고, 제어 정보의 파일이, 어댑테이션 세트에 할당된다.
<예 5>
확장된 MPD의 또 다른 구성예를 도 23에 도시한다. 도 23의 예의 경우, 배신되는 화상 데이터의 각 타일의 부호화 데이터가 각각 하나의 비트 스트림(MP4 파일)으로 되어 있다(bitstream3.mp4 내지 bitstream6.mp4). 그리고, MPD는, 리프리젠테이션(Representation)이 확장되어, 각 타일 화상의 비트 스트림(MP4 파일)이, 전체 화상의 비트 스트림(MP4 파일)(bitstream1.mp4, bitstream2.mp4)과 동일한 어댑테이션 세트 아래의, 서로 상이한 리프리젠테이션에 있어서 정의되어 있다.
타일용 디스크립션인 뷰포인트(Viewpoint)는, 리프리젠테이션에 정의되고, 그 뷰포인트에 대응하는 타일의 비트 스트림(MP4 파일)의 URL이, 그 리프리젠테이션 아래의 세그먼트(Segment)에 설정된다.
즉, 서로 동일한 그룹에 속하는 복수의 부분 화상의 각각의 부분 화상 정보가, 메타데이터의 전체 화상과 동일한 어댑테이션 세트에 속하는 서로 상이한 리프리젠테이션에 저장되고, 복수의 부분 화상의 각각의 비트 스트림이, 서로 상이한 리프리젠테이션에 할당된다.
즉, 도 23에 도시되는 바와 같이, 이 예의 경우, 전체 화상(bitstream1.mp4, bitstream2.mp4)의 리프리젠테이션과 나란히 타일 화상의 리프리젠테이션을 설치할 수 있어, 전체 화상의 배신과 부분 화상의 적응적인 배신을 일원적으로 관리할 수 있다.
또한, 본 예의 MPD의 구체적인 기술예를 도 24에 도시한다.
<예 6>
확장된 MPD의 또 다른 구성예를 도 25에 도시한다. 도 25의 예의 경우, 배신되는 화상 데이터의 각 타일의 부호화 데이터가 하나의 비트 스트림에 통합되어 있다. 그리고, 그 비트 스트림은, 타일별로 MP4 파일화되어 있다(bitstream7_Tile1.mp4 내지 bitstream7_Tile4.mp4). 또한, 도 7을 참조하여 설명한 바와 같이, 각 타일의 헤더 정보 등을 모은 베이스 트랙이 각 타일의 비트 스트림과는 별도로 파일화되어 있다(bitstream7_base.mp4).
그리고, MPD는, 리프리젠테이션(Representation)이 확장되어, 각 타일 화상의 비트 스트림(MP4 파일)(bitstream7_Tile1.mp4 내지 bitstream7_Tile4.mp4)이, 동일한 어댑테이션 세트 아래의 서로 상이한 리프리젠테이션에 있어서 정의되어 있다.
타일용 디스크립션인 뷰포인트(Viewpoint)는, 리프리젠테이션에 정의되고, 그 뷰포인트에 대응하는 타일의 비트 스트림(MP4 파일)의 URL이, 그 리프리젠테이션 아래의 세그먼트(Segment)에 설정된다.
또한, 베이스 트랙의 비트 스트림(MP4 파일)(bitstream7_base.mp4)의 뷰포인트의 밸류에 정의되는 x좌표 및 y좌표에는, 제1 실시 형태에 있어서 설명한 바와 같이, 예를 들어 NULL 등의, 통상의 좌표와는 명백하게 상이한 값이 설정된다. 또한, 각 뷰포인트의 밸류에 정의되는 뷰 타입의 값에는, HEVC 등의 부호화 방식이 서포트하는 타일(Tile)임을 나타내는 값(도 25의 예의 경우 「2」)이 설정된다.
즉, 서로 동일한 그룹에 속하는 복수의 부분 화상을 포함하는 하나의 비트 스트림에 포함되는 제어 정보에 관한 부분 화상 정보가 더 생성되고, 복수의 부분 화상의 각각의 부분 화상 정보가, 메타데이터의 하나의 어댑테이션 세트에 속하는 서로 상이한 리프리젠테이션에 저장되고, 비트 스트림이 부분 화상별로 분할된 복수의 파일의 각각이, 서로 상이한 리프리젠테이션에 할당되고, 제어 정보의 부분 화상 정보가, 각 부분 화상의 부분 화상 정보와는 상이한 리프리젠테이션에 저장되고, 제어 정보의 파일이, 리프리젠테이션에 할당된다.
또한, 본 예의 MPD의 구체적인 기술예를 도 26에 도시한다.
<예 7>
확장된 MPD의 또 다른 구성예를 도 27에 도시한다. 도 27의 예의 경우, 배신되는 화상 데이터의 각 타일의 부호화 데이터가 각각 하나의 비트 스트림(MP4 파일)으로 되어 있다(bitstream3.mp4 내지 bitstream6.mp4). 그리고, MPD는, 서브 리프리젠테이션(Sub-Representation)이 확장되어, 각 타일 화상의 비트 스트림(MP4 파일)이, 전체 화상의 비트 스트림(MP4 파일)(bitstream1.mp4, bitstream2.mp4)과 동일한 어댑테이션 세트 아래의, 전체 화상의 비트 스트림(MP4 파일)과 상이한 리프리젠테이션 아래의, 서로 상이한 서브 리프리젠테이션에 있어서 정의되어 있다.
타일용 디스크립션인 뷰포인트(Viewpoint)는, 서브 리프리젠테이션에 정의되고, 그 뷰포인트에 대응하는 타일의 비트 스트림(MP4 파일)의 URL이, 그 서브 리프리젠테이션 아래의 세그먼트(Segment)에 설정된다.
또한, 각 타일 화상의 비트 스트림(MP4 파일)이 정의되는 리프리젠테이션에는, 서브 리프리젠테이션 아래에 비트 스트림의 정보가 존재하는 것을 나타내는 세그먼트 정보(＠SegmentInSubRepresentation = true)가 정의된다.
즉, 서로 동일한 그룹에 속하는 복수의 부분 화상의 각각의 부분 화상 정보가, 메타데이터의 하나의 어댑테이션 세트에 속하는 하나의 리프리젠테이션에 속하는 서로 상이한 서브 리프리젠테이션에 저장되고, 복수의 부분 화상의 각각의 비트 스트림이, 서로 상이한 서브 리프리젠테이션에 할당된다.
즉, 도 27에 도시되는 바와 같이, 이 예의 경우, 전체 화상(bitstream1.mp4, bitstream2.mp4)의 리프리젠테이션과 나란히 타일 화상의 리프리젠테이션을 설치할 수 있고, 전체 화상의 배신과 부분 화상의 적응적인 배신을 일원적으로 관리할 수 있다.
또한, 본 예의 MPD의 구체적인 기술예를 도 28에 도시한다.
<예 8>
확장된 MPD의 또 다른 구성예를 도 29에 도시한다. 도 29의 예의 경우, 배신되는 화상 데이터의 각 타일의 부호화 데이터가 하나의 비트 스트림에 통합되어 있다. 그리고, 그 비트 스트림은, 타일별로 MP4 파일화되어 있다(bitstream7_Tile1.mp4 내지 bitstream7_Tile4.mp4). 또한, 도 7을 참조하여 설명한 바와 같이, 각 타일의 헤더 정보 등을 모은 베이스 트랙이 각 타일의 비트 스트림과는 별도로 파일화되어 있다(bitstream7_base.mp4).
그리고, MPD는, 서브 리프리젠테이션(Sub-Representation)이 확장되어, 각 타일 화상의 비트 스트림(MP4 파일)(bitstream7_Tile1.mp4 내지 bitstream7_Tile4.mp4)이 동일한 어댑테이션 세트(AdaptationSet) 아래의 동일한 리프리젠테이션(Representation) 아래의 서로 상이한 서브 리프리젠테이션에 있어서 정의되어 있다.
타일용 디스크립션인 뷰포인트(Viewpoint)는, 서브 리프리젠테이션에 정의되고, 그 뷰포인트에 대응하는 타일의 비트 스트림(MP4 파일)의 URL이, 그 서브 리프리젠테이션 아래의 세그먼트(Segment)에 설정된다.
또한, 베이스 트랙의 뷰포인트는, 그들 서브 리프리젠테이션 위의 리프리젠테이션에 정의되고, 그 베이스 트랙의 비트 스트림(MP4 파일)(bitstream7_base.mp4)의 URL이, 그 리프리젠테이션 아래의 세그먼트에 설정된다. 또한, 각 타일 화상의 비트 스트림(MP4 파일)이 정의되는 리프리젠테이션에는, 서브 리프리젠테이션 아래에 비트 스트림의 정보가 존재하는 것을 나타내는 세그먼트 정보(＠SegmentInSubRepresentation = true)가 정의된다. 또한, 도 4에서 도시되는 MPD의 다른 구성 요소(예를 들어, AdaptationSet)에서, 서브 리프리젠테이션 아래에 비트 스트림의 정보가 존재하는 것을 나타내는 세그먼트 정보(＠SegmentInSubRepresentation = true)가 정의되어도 된다.
또한, 베이스 트랙의 비트 스트림(MP4 파일)(bitstream7_base.mp4)의 뷰포인트의 밸류에 정의되는 x좌표 및 y좌표에는, 제1 실시 형태에 있어서 설명한 바와 같이, 예를 들어 NULL 등의, 통상의 좌표와는 명백하게 상이한 값이 설정된다. 또한, 각 뷰포인트의 밸류에 정의되는 뷰 타입의 값에는, HEVC 등의 부호화 방식이 서포트하는 타일(Tile)임을 나타내는 값(도 29의 예의 경우 「2」)이 설정된다.
즉, 서브 리프리젠테이션(Sub-Representation)의 아래에 비트 스트림의 정보가 존재하는 것을 나타내는 세그먼트 정보와, 서로 동일한 그룹에 속하는 복수의 부분 화상을 포함하는 하나의 비트 스트림에 포함되는 제어 정보에 관한 부분 화상 정보가 더 생성되고, 제어 정보의 부분 화상 정보 및 세그먼트 정보가, 메타데이터의 하나의 어댑테이션 세트에 속하는 하나의 리프리젠테이션에 저장되고, 제어 정보의 파일이, 리프리젠테이션에 할당되고, 복수의 부분 화상의 각각의 부분 화상 정보가, 리프리젠테이션에 속하는 서로 상이한 서브 리프리젠테이션에 저장되고, 비트 스트림이 부분 화상별로 분할된 복수의 파일의 각각이, 서로 상이한 서브 리프리젠테이션에 할당된다.
또한, 본 예의 MPD의 구체적인 기술예를 도 30에 도시한다.
<예 9>
확장된 MPD의 또 다른 구성예를 도 31에 도시한다. 도 31의 예의 경우, 배신되는 화상 데이터의 각 타일의 부호화 데이터가 하나의 비트 스트림에 통합되어 있다. 그리고, 그 비트 스트림은, 도 8의 예와 같이 하나의 파일이 되도록 MP4 파일화되어 있다(bitstream7.mp4).
그리고, MPD는, 서브 리프리젠테이션(Sub-Representation)이 확장되어, 타일 화상의 비트 스트림(MP4 파일)(bitstream7.mp4)이 어댑테이션 세트(AdaptationSet) 아래의 리프리젠테이션(Representation)의 아래에 있어서 정의되어 있다. 그 위의 리프리젠테이션에 있어서는, 타일 화상의 비트 스트림(MP4 파일)(bitstream7.mp4)에 대응하는 뷰포인트(Viewpoint)가 정의되고, 또한, 서브 리프리젠테이션 아래에 비트 스트림의 정보가 존재하는 것을 나타내는 세그먼트 정보(＠SegmentInSubRepresentation = true)가 정의된다.
그 리프리젠테이션 아래의 서브 리프리젠테이션에는, 각 타일의 뷰포인트가 설정되고, 그 아래의 세그먼트에 있어서는, (bitstream7.mp4)에 있어서의 각 타일의 데이터의 장소가 바이트로 지정된다.
즉, 서브 리프리젠테이션 아래에 비트 스트림의 정보가 존재하는 것을 나타내는 세그먼트 정보와, 서로 동일한 그룹에 속하는 복수의 부분 화상을 포함하는 하나의 비트 스트림에 포함되는 제어 정보에 관한 부분 화상 정보가 더 생성되고, 제어 정보의 부분 화상 정보 및 세그먼트 정보가 메타데이터의 하나의 어댑테이션 세트에 속하는 하나의 리프리젠테이션에 저장되고, 비트 스트림이 리프리젠테이션에 할당되고, 복수의 부분 화상의 각각의 부분 화상 정보가, 리프리젠테이션에 속하는 서로 상이한 서브 리프리젠테이션에 저장되고, 비트 스트림에 있어서의 각 부분 화상의 데이터의 장소를 나타내는 정보가, 서로 상이한 서브 리프리젠테이션에 할당된다.
<예 10>
확장된 MPD의 또 다른 구성예를 도 32에 도시한다. 도 32의 예의 경우, 배신되는 화상 데이터의 각 타일의 부호화 데이터가 각각 하나의 비트 스트림(MP4 파일)으로 되어 있다(bitstream3.mp4 내지 bitstream6.mp4). 그리고, MPD는, 세그먼트(Segment)가 확장되고, 어댑테이션 세트 아래의 리프리젠테이션 아래에 복수의 세그먼트(Segment)가 정의되어 있다.
리프리젠테이션에는, 전체 타일 화상의 합성 화상의 뷰포인트가 정의되고, 리프리젠테이션 아래에, 동시각의 타일 화상이 할당된 복수의 세그먼트가 존재하는 것을 나타내는 멀티세그먼트 정보(＠multiSegmentInRepresentation = true)가 정의된다. 또한, 도 4에서 도시되는 MPD의 다른 구성 요소(예를 들어, AdaptationSet)에서, 서브 리프리젠테이션 아래에 비트 스트림의 정보가 존재하는 것을 나타내는 세그먼트 정보(＠SegmentInSubRepresentation = true)가 정의되어도 된다.
각 타일 화상의 비트 스트림(MP4 파일)이, 전체 화상의 비트 스트림(MP4 파일)(bitstream1.mp4, bitstream2.mp4)과 동일한 어댑테이션 세트 아래의, 전체 화상의 비트 스트림(MP4 파일)과 상이한 리프리젠테이션 아래의, 서로 상이한 세그먼트에 있어서 정의되어 있다.
타일용 디스크립션인 뷰포인트(Viewpoint)는, 그 세그먼트에 정의되고, 그 뷰포인트에 대응하는 타일의 비트 스트림(MP4 파일)의 URL이, 각 세그먼트(Segment)에 설정된다.
즉, 리프리젠테이션 아래에 동시각의 비트 스트림 정보가 복수 존재하는 것을 나타내는 멀티세그먼트 정보가 더 생성되고, 멀티세그먼트 정보가 메타데이터의 하나의 어댑테이션 세트에 속하는 하나의 리프리젠테이션에 저장되고, 서로 동일한 그룹에 속하는 복수의 부분 화상의 각각의 부분 화상 정보가, 리프리젠테이션에 속하는 서로 상이한 세그먼트에 저장되고, 복수의 부분 화상의 각각의 비트 스트림이, 서로 상이한 세그먼트에 할당된다.
즉, 도 32에 도시되는 바와 같이, 이 예의 경우, 전체 화상(bitstream1.mp4, bitstream2.mp4)의 리프리젠테이션과 나란히 타일 화상의 리프리젠테이션을 설치할 수 있고, 전체 화상의 배신과 부분 화상의 적응적인 배신을 일원적으로 관리할 수 있다.
또한, 본 예의 MPD의 구체적인 기술예를 도 33에 도시한다.
<예 11>
확장된 MPD의 또 다른 구성예를 도 34에 도시한다. 도 34의 예의 경우, 배신되는 화상 데이터의 각 타일의 부호화 데이터가 통합해서 하나의 비트 스트림(MP4 파일)으로 되어 있다(bitstream7.mp4). 그리고, MPD는, 서브 세그먼트(Sub-Segment)가 확장되어, 어댑테이션 세트 아래의 리프리젠테이션 아래의 세그먼트의 아래에 복수의 서브 세그먼트(Sub-Segment)가 정의되어 있다.
리프리젠테이션에는, 서브 리프리젠테이션 아래에 비트 스트림의 정보가 존재하지 않음을 나타내는 세그먼트 정보(＠SegmentInSubRepresentation = false)가 정의된다.
세그먼트에는, 전체 타일 화상의 합성 화상의 뷰포인트가 정의되고, 그 아래의 서브 세그먼트에 있어서, ssix에 따라서 각 타일 화상의 데이터가 나타난다.
즉, 서브 리프리젠테이션 아래에 비트 스트림의 정보가 존재하지 않음을 나타내는 세그먼트 정보와, 서로 동일한 그룹에 속하는 복수의 부분 화상을 포함하는 하나의 비트 스트림에 관한 부분 화상 정보가 더 생성되고, 세그먼트 정보가 메타데이터의 하나의 어댑테이션 세트에 속하는 하나의 리프리젠테이션에 저장되고, 부분 화상 정보가 리프리젠테이션에 속하는 하나의 세그먼트에 저장되고, 비트 스트림이 세그먼트에 할당되고, 비트 스트림에 있어서의 각 부분 화상의 데이터의 장소를 나타내는 정보가, 세그먼트에 속하는, 서로 상이한 서브 세그먼트에 할당된다.
물론, MPD의 확장 방법은 임의이고, 상술한 예 이외의 것이어도 된다.
<타일 화상 배신을 이용하는 어플리케이션의 다른 예>
이어서, 이상에 설명한 타일 화상의 적응적인 배신(제공)을 이용하는 어플리케이션의 다른 예에 대하여 설명한다.
예를 들어, 도 35의 좌측에 도시하는 바와 같은 시스템에 있어서, 모바일 디바이스(221)가 서버(220)로부터, 전체 화상(210)의 4장의 타일 화상(211)으로 이루어지는 1920×1080사이즈의 부분 화상(212)을 3G 회선으로 취득하고, 재생중이기로 한다.
텔레비전 신호 수상기(TV)(222)에 표시를 전환하기 위해서, 전환처의 TV(222)의 재생 환경(네트워크 대역)이나 재생 능력(해상도·디코더 능력) 등의 정보를 TV(222)로부터 취득한다. 이 정보의 취득 방법은 임의이고, 예를 들어 모바일 디바이스(221)가 직접 TV(222)와 통신함으로써 취득하도록 해도 되고, 모바일 디바이스(221)가 서버(220)를 통하여 취득하도록 해도 된다.
모바일 디바이스(221)는, MPD의 정보로부터, 전환처의 TV(222)에 최적인 타일 화상을 선택한다. 도 35의 예의 경우, 5×5의 타일 화상(211)으로 이루어지는 부분 화상(213)이 선택된다.
이상과 같이 선택된 타일 화상의 비트 스트림을, 전환처의 TV(222)가 취득하여, 재생한다.
또한, 이상과 같은 최적인 스트림의 선택이나 취득을 모바일 디바이스(221)가 행하고, 전환처의 TV(222)에 푸시(Push)하도록 해도 되고, TV(222)가 그러한 선택이나 취득을 행하도록 해도 된다.
<타일 화상 배신을 이용하는 어플리케이션의 또 다른 예>
또한, 예를 들어 도 36의 좌측에 도시되는 바와 같은 시스템에 있어서, 모바일 디바이스(221)가, 전체 화상의 일부를 재생하고 있다고 하자(모바일 디바이스(221A)의 상태).
재생 중인 영역을 어긋나게 하여 다른 영역을 재생하기 위해, 모바일 디바이스(221)의 유저가, 터치 패널 상에서 손가락을, 재생하고 싶은 방향이 화면 상에 표시되도록, 화상을 움직이게 하여(화살표 233과 같이), 어긋나게 한다. 예를 들어, 화살표 234와 같이 현재 표시되어 있는 영역(부분 화상(231))보다도 우측 상부의 영역(부분 화상(232))을 표시하고 싶을 경우, 유저는, 손가락을 화면의 우측 상부으로부터 좌측 하부 방향으로 옮긴다.
이러한 유저 입력이 행해지면, 모바일 디바이스(221)가 입력된 손가락의 움직임 등에 기초하여, 화상의 이동처를 산출하고, MPD 정보로부터, 표시해야 할 타일 화상의 스트림을 선택한다.
그리고, 모바일 디바이스(221)는, 선택된 비트 스트림을 서버(220)로부터 취득하고, 재생·표시한다(모바일 디바이스(221B)의 상태).
또한, 타일 화상의 선택은, 모바일 디바이스(221)에 있어서 실행되는 어플리케이션에서 행해도 되고, 손가락의 움직임으로부터 취득한 화상의 이동처의 방향을 서버(220)에 보내, 서버(220)가 화상의 선택을 하도록 해도 된다.
화상을 실제로 이동시킬 때에는, 갑자기 표시 영역이 전환되도록 행해도 되고, 원활한 전환을 행하기 위해서, 표시 영역을 조금씩 어긋나게 하면서 전환해도 된다.
<4. 제4 실시 형태>
<MPD 확장의 다른 예>
도 37은, 타일 화상 배신을 이용하는 어플리케이션의, 또 다른 예를 도시하는 도면이다.
방송 등, 복수의 채널의 프로그램 중에서 유저에게, 좋아하는 프로그램을 선택하게 하기 위해서, 복수의 채널의 화상을 1매의 화상(HD)으로서 부호화함으로써, 메뉴와 같은 것을 제작한다. 이러한 상이한 화상을 배열하여 합성한 합성 화상을 모자이크 비디오라고 정의한다.
예를 들어, 텔레비전 신호 수상기와 같이 큰 디스플레이를 갖는 디바이스라면, 유저는, 용이하게, 전체 채널의 프로그램이 합성된 모자이크 비디오로부터 각 프로그램의 내용을 파악하고, 원하는 프로그램을 선택하여 표시시킬 수 있다.
그러나, 모바일 디바이스의 경우, 그 디스플레이는 작고, 예를 들어 HD 화상 이하와 같은, 화상 사이즈가 작은(저해상도의) 화상밖에 표시할 수 없다. 즉, 이러한 모바일 디바이스에 대해서는, 1920×1080의 화상밖에 배신할 수 없다.
그러나, 그러한 작은 화상 사이즈에서는, 모자이크 비디오의 각 채널의 프로그램이 표시되는 영역이 너무 작아, 유저가 그러한 모자이크 비디오로부터 각 프로그램의 내용을 파악하고, 원하는 프로그램을 선택하는 것은 곤란하였다.
그래서, 상술한 바와 같은, 부분 화상의 데이터를 적응적으로 제공하는 기술을 적용하여, 유저가 모자이크 비디오 중에서 관심이 있는 프로그램이 비치고 있는 장소를 선택하여 줌하면, 보다 소수의 프로그램의 화상이 표시되는 별도의 HD 화상으로 전환되도록 한다. 이러한 줌(화상의 전환)을 반복함으로써, 유저가 용이하게 원하는 프로그램만을 표시시킬 수 있도록 한다.
도 37의 예의 경우, 타원으로 표시되는 범위 내의 타일을 모바일 디바이스가 취득하여, 표시할 수 있다고 하자. 가장 좌측의 모자이크 비디오에 있어서는, 모자이크 비디오 전체를 표시시킬 수 있다. 이때 16 채널분의 프로그램의 화상이 표시된다. 이 상태에서는, 각 프로그램의 표시 영역(A 내지 P)이 너무 작아서, 유저가 원하는 프로그램을 선택하는 것은 곤란하였다. 따라서, 유저가 좌측 상부의 부분을 탭하는 등 하여 선택하면, 배신되는 파일(비트 스트림)이 전환되고, 도 37의 중앙에 도시된 바와 같은, 화상 사이즈가 1920×1080인, 모자이크 비디오의 좌측 상부의 타일 화상이 표시된다. 이 타일 화상에 있어서는, 4 프로그램이 표시된다(A, B, E, F). 즉, 표시되는 프로그램 수가 저감되어, 1 프로그램당 표시 영역이 확장되었다.
또한, 유저가 그 모자이크 비디오의 좌측 상부 부분을 탭하는 등 하여 선택하면, 배신되는 파일(비트 스트림)이 전환되고, 도 37의 우측에 도시되는 바와 같은, 화상 사이즈가 1920×1080인, 모자이크 비디오의 좌측 상부의 타일 화상이 표시된다. 이 타일 화상에 있어서는, 1 프로그램이 표시된다(A). 즉, 표시되는 프로그램 수가 더 저감되어, 1 프로그램당 표시 영역이 확장되었다.
이상과 같은 배신 데이터의 전환을, 상술한 바와 같이 DASH 규격을 확장함으로써 실현시킨다. 즉, 예를 들어 1 화면을 구성하는 모자이크 비디오의 구조를 MPD로 정의하고, 모자이크 비디오를 유저 인터페이스 등(UI/UX)으로서 이용할 수 있도록 한다.
예를 들어, 화면 구성과, 유저가 선택한 위치 정보의 관계를 구하고, 다음으로 전환해야 할 스트림을 선택한다. 화면 상에서 유저가 만진 좌표와, 모자이크 비디오 상의 좌표를 구하고, 그 좌표 위치가 포함되는, 다음 Layer(확대)의 모자이크 비디오를 구하여, 전환한다.
뷰포인트의 엘리먼트(Viewpoint element)를 이용하여, 새로운 schemeIdUri(urn:mpeg:DASH:mosaic:2013)를 정의한다. 그것에 대한 밸류(value)의 내용(부분 화상 정보)에는, 예를 들어 이하의 정보를 정의한다.
·1 화면을 구성하는 모자이크 화상의 수
·모자이크 화상의 크기가 균등한지를 나타내는 플래그
·균등하지 않을 경우에, 각 모자이크 화상의 좌측 상부의 원점 좌표와, 가로 폭(Width), 높이(Height)의 정보
보다 구체적으로는, 이하와 같은 뷰포인트가 정의된다. 그리고, 이러한 부분 화상 정보를 사용하여 MPD를 확장한다.
<Viewpoint schemeIdUri="urn:mpeg:DASH:mosaic:2013" value="모자이크 화상의 수, 균등 화상 플래그, 모자이크 화상의 위치 정보">
또한, 이 뷰포인트의 엘리먼트는, 모자이크 비디오에 대한 것이다(urn:mpeg:DASH:mosaic:2013). 상술한 바와 같이 부분 화상의 데이터를 적응적으로 제공하기 위해서는, 또한, 도 10의 A에 도시되는 바와 같은 타일용 뷰포인트의 엘리먼트를 정의할 필요가 있다. 즉, 상술한 모자이크 비디오용 뷰포인트의 엘리먼트는, 타일용 뷰포인트의 엘리먼트의 확장 엘리먼트라는 위치 부여가 된다.
예를 들어, 도 38의 상측에 도시되는 바와 같은 복수 프로그램이 표시되는 상태인 경우, 타일용 뷰포인트의 엘리먼트와, 모자이크 비디오용 뷰포인트의 엘리먼트와의 양쪽을, 어댑테이션 세트에 있어서 정의할 필요가 있다.
이에 비해, 유저가 프로그램을 좁혀 간 결과, 도 38의 하측에 도시되는 바와 같은, 1 프로그램만이 표시되는 상태로 되었을 경우, 모자이크 비디오로 되어 있지 않으므로, 모자이크 비디오용 뷰포인트의 엘리먼트 정의는 불필요하다. 단, 타일용 뷰포인트의 엘리먼트는, 전체 화상(Full video)임을 나타내기 때문에, 정의할 필요가 있다.
또한, 상술한 모자이크 비디오용 뷰포인트의 엘리먼트 밸류에 있어서, 만약 각 타일 화상의 사이즈가 균등할 경우, 화상의 위치 정보는 옵션으로 취급된다. 써도 되고 쓰지 않아도 된다. 쓴다면 전체 화상을 쓸 필요가 있다. 또한, 상술한 예 이외의 정보를, 밸류로서 정의하도록 해도 된다.
<5. 제5 실시 형태>
<MP4 파일의 구성예와 그것에 대응하는 MPD의 확장예>
MP4 파일의 구성예에 대해서는, 제1 실시 형태에 있어서, 도 7이나 도 8을 참조하여 설명하였다. 그러나, MP4 파일의 구성예는, 이것에 한정되지 않는다. 이하에 있어서, MP4 파일의 구성예와 그것에 대응하는 MPD의 구성예(확장예)에 대하여 설명한다.
<1 트랙의 경우: MP4 파일>
도 39는, 예를 들어 도 6의 B와 같은 타일(Tile) 구조를 갖는 비트 스트림(bitstream7)을 파일화한 MP4 파일의 구성예를 도시하는 도면이다. 도 39의 예의 경우, 도 8의 A의 예와 마찬가지로, 각 타일의 비트 스트림이 통합되어 하나의 파일로 되고, 또한 각 타일의 데이터가 하나의 트랙으로서 관리되고 있다.
비디오 파라미터 세트(VPS(Video Parameter Set)), 시퀀스 파라미터 세트(SPS(Sequence Parameter Set)), 픽처 파라미터 세트(PPS(Picture Parameter Set)) 등의 파라미터 세트는, 샘플 엔트리(Sample Entry)에 의해 샘플마다 관리된다. 또한, 각 타일에 대해서는, 샘플 그룹 디스크립션(Sample Group Description)에 있어서 타일 리전 그룹 엔트리(TileRegionGroupEntry)에 의해 정의된다. 도 39에 도시되는 바와 같이, 타일 리전 그룹 엔트리(TileRegionGroupEntry)로서, 당해 타일을 식별하는 식별 정보인 GroupID, 당해 타일의 수평 방향의 위치(오프셋)를 나타내는 H_offset, 당해 타일의 수직 방향의 위치(오프셋)를 나타내는 V_offset, 당해 타일의 수평 방향의 크기(폭)를 나타내는 H_width, 당해 타일의 수직 방향의 크기(높이)를 나타내는 V_height의 5개의 파라미터의 값이 정의된다.
예를 들어, 타일 1(Tile1)의 타일 리전 그룹 엔트리(TileRegionGroupEntry)에서는, GroupID = 1, H_offset = 0, V_offset = 0, H_width = 960, V_height = 540이 정의되어 있다. 또한, 예를 들어 타일 2(Tile2)의 타일 리전 그룹 엔트리(TileRegionGroupEntry)에서는, GroupID = 2, H_offset = 960, V_offset = 0, H_width = 960, V_height = 540이 정의되어 있다. 또한, 예를 들어 타일 3(Tile3)의 타일 리전 그룹 엔트리(TileRegionGroupEntry)에서는, GroupID = 3, H_offset = 0, V_offset = 540, H_width = 960, V_height = 540이 정의되어 있다. 또한, 예를 들어 타일 4(Tile4)의 타일 리전 그룹 엔트리(TileRegionGroupEntry)에서는, GroupID = 4, H_offset = 960, V_offset = 540, H_width = 960, V_height = 540이 정의되어 있다. 이 경우, 전체 화상(1920×1080)은 세로 2장×가로 2장의 4장의 타일(960×540)로 이루어진다.
또한, 이 MP4 파일의 파일명을 bitstream.mp4라고 한다.
<1 트랙의 경우: MPD>
도 39의 예와 같은 타일 구조를 갖는 비트 스트림의 MP4 파일을 관리하기 위해서, 종래의 MPEG-DASH 규격의 MPD를, 예를 들어 도 40과 같이 확장한다.
도 40의 예의 경우, 전체 화상 및 각 타일에 대해서, 각각, 서로 상이한 어댑테이션 세트(AdaptationSet)에 있어서 정의되어 있다. 그리고, 도 40에 도시되는 바와 같이, 전체 화상에 대하여 정의하는 도면 중 가장 위의 어댑테이션 세트에 있어서는, 타일용 디스크립션으로서, 제1 실시 형태에 있어서 설명한 뷰포인트(Viewpoint) 대신에, 서플리멘털 프로퍼티(SupplementalProperty)가 정의되도록 한다.
서플리멘털 프로퍼티(SupplementalProperty)는 기존의 엘리먼트이다. 기존의 엘리먼트를 이용함으로써, 종래의 MPD와의 친화성의 저감을 억제할 수 있다(종래의 디코더를 해석할 수 없는 디스크립션의 증대를 억제할 수 있음). 또한, 이 서플리멘털 프로퍼티는, 종래의 디코더에 있어서도 디코드 가능한 비트 스트림을 정의하는 어댑테이션 세트에 있어서 정의된다. 예를 들어, 도 40의 경우, 종래의 디코더에서도 디코드 가능한 전체 화상에 대하여 정의하는 어댑테이션 세트에 있어서 정의되어 있다.
이 서플리멘털 프로퍼티는, 예를 들어 이하와 같이 확장되어 정의된다.
<SupplementalProperty schemeIdUri=""
value="source id, x, y, width, height, width_all, height_all, stream type">
즉, 서플리멘털 프로퍼티의 엘리먼트에 있어서, 화상 정보를 저장하기 위한 스키마(schemeIdUri)가 정의된다. 도 40의 예의 경우, 이 스키마로서, 「urn:mpeg:dash:srd:2013」이 정의되어 있다.
또한, 이 스키마의 밸류(value)가 정의된다. 「source id」는, 당해 어댑테이션 세트의 콘텐츠 소스가 다른 어댑테이션 세트의 콘텐츠 소스와 동일한지 여부를 나타내는 식별 정보이다. 도 40의 경우, 각 어댑테이션 세트의 콘텐츠 소스는 공통(bitstream.mp4)이므로, 이 「source id」로서 「1」이 정의되어 있다.
「x, y」는, 당해 어댑테이션 세트가 정의하는 타일의 위치(좌측 상부의 x좌표와 y좌표)를 나타내는 정보이다. 도 40의 경우, 당해 어댑테이션 세트는 전체 화상을 정의하므로, 이 「x, y」로서 「0, 0」이 정의되어 있다.
「width, height」는, 당해 어댑테이션 세트가 정의하는 타일의 크기(폭과 높이)를 나타내는 정보이다. 도 40의 경우, 당해 어댑테이션 세트는 전체 화상을 정의하므로, 이 「width, height」로서 「1920, 1080」이 정의되어 있다.
「width_all, height_all」은, 전체 화상의 크기(폭과 높이)를 나타내는 정보이다. 도 40의 경우, 이 「width_all, height_all」로서 「1920, 1080」이 정의되어 있다.
「stream type」은, 당해 어댑테이션 세트가 비트 스트림 전체를 정의하는 것인지, 비트 스트림의 일부를 정의하는 것인지를 나타내는 식별 정보이다. 도 40의 경우, 이 「stream type」으로서, 비트 스트림 전체를 정의하는 것을 나타내는 「0」이 정의되어 있다.
즉, 도 40의 예의 도면 중 가장 위의 어댑테이션 세트의 경우, 서플리멘털 프로퍼티는, 예를 들어 이하와 같이 정의된다.
<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1, 0, 0, 1920, 1080, 1920, 1080, 0">
또한, 도 40에 도시되는 바와 같이, 타일 1(Tile1)에 대하여 정의하는 도면 중 위에서 2번째의 어댑테이션 세트에 있어서는, 타일용 디스크립션으로서, 제1 실시 형태에 있어서 설명한 뷰포인트(Viewpoint) 대신에 에센셜 프로퍼티(EssentialProperty)가 정의되도록 한다.
에센셜 프로퍼티(EssentialProperty)는 기존의 엘리먼트이다. 기존의 엘리먼트를 이용함으로써, 종래의 MPD와의 친화성의 저감을 억제할 수 있다(종래의 디코더가 해석할 수 없는 디스크립션의 증대를 억제할 수 있음). 또한, 이 에센셜 프로퍼티는, 종래의 디코더로는 디코드 불가능한 비트 스트림을 정의하는 어댑테이션 세트에 있어서 정의된다. 예를 들어, 도 40의 경우, 종래의 디코더로는 디코드 불가능한 각 타일의 화상에 대하여 정의하는 어댑테이션 세트에 있어서 정의되어 있다.
즉, 이 에센셜 프로퍼티를 해석할 수 있는 디코더만, 당해 어댑테이션 세트에 의해 관리되는 비트 스트림을 복호하고, 이 에센셜 프로퍼티를 해석할 수 없는 디코더는, 당해 어댑테이션 세트의 읽기를 건너띈다.
이 에센셜 프로퍼티는, 예를 들어 이하와 같이 확장되어 정의된다. 즉, 에센셜 프로퍼티는, 서플리멘털 프로퍼티와 마찬가지로 정의된다.
<EssentialProperty schemeIdUri=""
value="source id, x, y, width, height, width_all, height_all, stream type">
도 40의 예의 도면 중 위에서 2번째의 어댑테이션 세트의 경우, 이 스키마로서, 「urn:mpeg:dash:srd:2013」이 정의되어 있다. 또한, 이 스키마의 밸류(value)의 「source id」로서 「1」이 정의되고, 「x, y」로서 「0, 0」이 정의되고, 「width, height」로서 「960, 540」이 정의되고, 「width_all, height_all」로서 「1920, 1080」이 정의되고, 「stream type」으로서, 비트 스트림의 일부를 정의하는 것을 나타내는 「1」이 정의되어 있다.
이 「stream type」의 값이 「1」인 경우, 즉, 당해 어댑테이션 세트에 있어서, 비트 스트림의 일부가 정의될 경우, 그 비트 스트림의 일부를 지시하는 정보로서 에센셜 프로퍼티가 더 확장된다. 예를 들어, 당해 어댑테이션 세트에서 관리되는 MP4 파일에 HEVC의 타일(Tile)이 포함되어 있는 경우, 그 타일에 대응하는 어댑테이션 세트는, 비트 스트림의 일부에 대응하게 된다. 이러한 경우, 그 비트 스트림의 일부에 관한 에센셜 프로퍼티가, 또한, 예를 들어 이하와 같이 확장되어 정의된다.
<EssentialProperty schemeIdUri=""
value="Sub-Sample-Type, Sub-Sample-is-extracted, ID">
이 경우, 에센셜 프로퍼티의 엘리먼트에 있어서, 파일의 일부를 지시하는 정보를 저장하기 위한 스키마(schemeIdUri)가 정의된다. 도 40의 예의 도면 중 위에서 2번째의 어댑테이션 세트의 경우, 이 스키마로서, 「urn:mpeg:dash:hevc:2013」이 정의되어 있다.
또한, 이 스키마의 밸류(value)가 정의된다. 「Sub-Sample-Type」은, 당해 어댑테이션 세트가 대응하는 비트 스트림의 일부가 어떤 정보로 구성되어 있는지를 나타내는 정보이다. 예를 들어, 이 값이 「0」인 경우, 그 비트 스트림의 일부가 널 베이스드(Nal based)에 의해 구성되어 있음을 나타낸다. 또한, 예를 들어 이 값이 「1」인 경우, 그 비트 스트림의 일부가 디코딩 유닛 베이스드(Decoding-unit-based)에 의해 구성되어 있음을 나타낸다. 또한, 예를 들어 이 값이 「2」인 경우, 그 비트 스트림의 일부가 타일 베이스드(Tile-based)에 의해 구성되어 있음을 나타낸다. 또한, 예를 들어 이 값이 「3」인 경우, 그 비트 스트림의 일부가 CTU 로우 베이스드(CTU-row-based)에 의해 구성되어 있음을 나타낸다. 또한, 예를 들어 이 값이 「4」인 경우, 그 비트 스트림의 일부가 슬라이스 베이스드(slice-based)에 의해 구성되어 있음을 나타낸다. 도 40의 예의 도면 중 위에서 2번째의 어댑테이션 세트의 경우, 이 「Sub-Sample-Type」으로서, 「2」가 정의되어 있다.
「Sub-Sample-is-extracted」는, 당해 어댑테이션 세트가 대응하는 비트 스트림의 일부가 트랙(track)으로 분할(extract)되어 있는지 여부를 나타내는 정보이다. 예를 들어, 이 값이 「0」인 경우, 그 비트 스트림의 일부가 분할되어 있지 않음(false)을 나타내고, 이 값이 「1」인 경우, 그 비트 스트림의 일부가 트랙으로 분할되어 있음(true)을 나타낸다. 도 40의 예의 도면 중 위에서 2번째의 어댑테이션 세트의 경우, 도 39를 참조하여 설명한 바와 같이 트랙은 하나이므로(분할되어 있지 않으므로), 이 「Sub-Sample-is-extracted」로서, 「0」이 정의되어 있다.
「ID」는, 식별 정보이며, 「Sub-Sample-Type」으로서, 「2」가 정의되어 있는 경우, 즉, 타일의 경우, MP4 파일의 타일 리전 그룹 엔트리(TileRegionGroupEntry)의 GroupID가 정의된다. 도 40의 예의 도면 중 위에서 2번째의 어댑테이션 세트의 경우, 당해 비트 스트림의 일부는 타일 1(Tile1)의 데이터이므로, 이 「ID」로서, 「1」이 정의되어 있다.
즉, 도 40의 예의 도면 중 위에서 2번째의 어댑테이션 세트의 경우, 에센셜 프로퍼티는, 예를 들어 이하와 같이 정의된다.
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1, 0, 0, 960, 540, 1920, 1080, 1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2, 0, 1">
마찬가지로 하여, 도 40의 예의 도면 중 위에서 3번째의 어댑테이션 세트의 경우, 에센셜 프로퍼티는, 예를 들어 이하와 같이 정의된다.
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1, 960, 0, 960, 540, 1920, 1080, 1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2, 0, 2">
마찬가지로 하여, 도 40의 예의 도면 중 위에서 4번째의 어댑테이션 세트의 경우, 에센셜 프로퍼티는, 예를 들어 이하와 같이 정의된다.
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1, 0, 540, 960, 540, 1920, 1080, 1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2, 0, 3">
마찬가지로 하여, 도 40의 예의 도면 중 가장 아래의 어댑테이션 세트의 경우, 에센셜 프로퍼티는, 예를 들어 이하와 같이 정의된다.
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1, 960, 540, 960, 540, 1920, 1080, 1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2, 0, 4">
<1 트랙의 경우: MPD의 이용>
또한, 이러한 확장된 MPD의 생성은, 제1 실시 형태의 경우와 마찬가지로 행할 수 있다. 예를 들어, 배신 데이터 생성 장치(101)(도 12)가, 배신 데이터 생성 처리(도 14)를 실행하고, 그 타일형 MPD 생성부(141)(타일형 화상 정보 생성부(124))(도 12)가 타일형 MPD 파일 생성 처리(도 15)를 실행함으로써, 이러한 확장된 MPD를 생성할(MPD를 확장할) 수 있다. 따라서, 이 경우에도, 배신 데이터 생성 장치(101)는, 배신 서버(102)에, 부분 화상의 데이터를, DASH 규격에 준거하여 적응적으로 배신(제공)시킬 수 있다. 즉, 부분 화상 데이터의 적응적인 제공을 실현할 수 있다.
또한, 이러한 확장된 MPD를 이용한 배신 데이터의 재생도, 제1 실시 형태의 경우와 마찬가지로 행할 수 있다. 예를 들어, 단말 장치(103)(도 13)가 배신 데이터 재생 처리(도 16)를 실행함으로써, 이러한 확장된 MPD를 정확하게 해석하고, 배신 서버(102)에 의한 부분 화상 데이터의 DASH 규격에 준거한 적응적인 배신(제공)을 받을 수 있다. 즉, 배신 서버(102)로부터 정확하게 부분 화상의 데이터를 취득하여, 재생할 수 있다. 즉, 부분 화상의 데이터의 적응적인 제공을 실현할 수 있다.
<1 파일 복수 트랙(엑스트랙터에 의한 참조)의 경우: MP4 파일>
도 41은, 예를 들어 도 6의 B와 같은 타일(Tile) 구조를 갖는 비트 스트림(bitstream7)을 파일화한 MP4 파일의 구성예를 도시하는 도면이다. 도 41의 예의 경우, 도 8의 B의 예와 마찬가지로, 각 타일의 비트 스트림이 통합되어 하나의 파일로 되고, 또한 각 타일의 데이터가 서로 상이한 트랙으로서 관리되고 있다.
도 41의 예의 경우, 트랙 1(Track1)은, 전체 화상(1920×1080)의 데이터를 관리하고 있고, 이 트랙 1(Track1)을 재생함으로써, 그 전체 화상을 재생할 수 있다. 또한, 트랙 2(Track2)는, 타일 1(Tile1)의 데이터를 관리하고 있고, 이 트랙 2(Track2)를 재생함으로써, 타일 1(Tile1)의 화상을 재생할 수 있다. 마찬가지로, 트랙 3(Track3)은, 타일 2(Tile2)의 데이터를 관리하고 있고, 이 트랙 3(Track3)을 재생함으로써, 타일 2(Tile2)의 화상을 재생할 수 있다. 마찬가지로, 트랙 4(Track4)는, 타일 3(Tile3)의 데이터를 관리하고 있고, 이 트랙 4(Track4)를 재생함으로써, 타일 3(Tile3)의 화상을 재생할 수 있다. 마찬가지로, 트랙 5(Track5)는, 타일 4(Tile4)의 데이터를 관리하고 있고, 이 트랙 5(Track5)를 재생함으로써, 타일 4(Tile4)의 화상을 재생할 수 있다.
도 41에 도시되는 바와 같이, 트랙 1(Track1)에는, 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS) 등의 파라미터 세트나, SEI(Supplemental Enhancement Information) 등의 실체(실 데이터라고도 칭함)나, 각 타일의 비트 스트림 참조 정보(엑스트랙터(extractor)라고도 칭함) 등이 저장된다.
엑스트랙터(Track2)는, 트랙 2(Track2)에 저장되는 타일 1(Tile1)의 실 데이터(Slice1)를 참조하는 데 이용되는 정보(레퍼런스 정보)이다. 예를 들어, 그 실 데이터(Slice1)의 저장 장소를 나타낸다. 마찬가지로, 엑스트랙터(Track3)는, 트랙 3(Track3)에 저장되는 타일 2(Tile2)의 실 데이터(Slice2)의 레퍼런스 정보이고, 엑스트랙터(Track4)는, 트랙 4(Track4)에 저장되는 타일 3(Tile3)의 실 데이터(Slice3)의 레퍼런스 정보이며, 엑스트랙터(Track5)는 트랙 5(Track5)에 저장되는 타일 4(Tile4)의 실 데이터(Slice4)의 레퍼런스 정보이다.
각 파라미터 세트나 엑스트랙터 등은, 샘플 엔트리(Sample Entry)에 의해 샘플마다 관리된다.
또한, 트랙 2(Track2)에는, 파라미터 세트 등의 엑스트랙터(Track1)나, 타일 1(Tile1)의 실 데이터(Slice1) 등이 저장된다. 파라미터 세트의 엑스트랙터(Track1)는, 트랙 1(Track1)에 저장되는 파라미터 세트 등의 실 데이터(VPS, SPS, SEI, PPS 등)의 레퍼런스 정보이다. 예를 들어, 그 실 데이터의 저장 장소를 나타낸다.
또한, 트랙 3(Track3)에는, 파라미터 세트 등의 엑스트랙터(Track1)나, 타일 2(Tile2)의 실 데이터(Slice2) 등이 저장된다. 트랙 4(Track4)에는, 파라미터 세트 등의 엑스트랙터(Track1)나, 타일 3(Tile3)의 실 데이터(Slice3) 등이 저장된다. 트랙 5(Track5)에는, 파라미터 세트 등의 엑스트랙터(Track1)나, 타일 4(Tile4)의 실 데이터(Slice4) 등이 저장된다.
도 39의 경우와 마찬가지로, 트랙 2(Track2) 내지 트랙 5(Track5)의 각각에 있어서, 타일 리전 그룹 엔트리(TileRegionGroupEntry)가 정의된다. 즉, 각 트랙에 있어서 하나씩 타일의 정의가 행해지고 있다.
참조 관계를 나타내는 엑스트랙터는, 샘플마다 정의된다. 즉, 샘플마다 참조 관계를 설정할 수 있다. 따라서, 이 엑스트랙터를 사용함으로써, 예를 들어 비트 스트림 중에 있어서 참조 관계를 변경하는 등, 보다 자유로운 참조 관계를 구축할 수 있다. 보다 구체적으로는, 예를 들어 비트 스트림 중에 있어서, 타일의 크기나 형상을 변경하는 것 등을 용이하게 실현할 수 있다.
또한, 이 MP4 파일의 파일명을 bitstream.mp4라고 한다.
<1 파일 복수 트랙(엑스트랙터에 의한 참조)의 경우: MPD>
이 경우의 MPD도, 상술한 1 트랙의 경우와 마찬가지로, 어댑테이션 세트(AdaptationSet)의 서플리멘털 프로퍼티(SupplementalProperty)나 에센셜 프로퍼티(EssentialProperty)가 확장된다. 도 42에 그 예를 도시한다.
즉, 도 42의 예의 경우에도, 전체 화상 및 각 타일에 대해서, 각각, 서로 상이한 어댑테이션 세트(AdaptationSet)에 있어서 정의되어 있고, 전체 화상에 대하여 정의하는 도면 중 가장 위의 어댑테이션 세트에 있어서는, 타일용 디스크립션으로서, 제1 실시 형태에 있어서 설명한 뷰포인트(Viewpoint) 대신에, 서플리멘털 프로퍼티(SupplementalProperty)가 정의된다.
도 42에 도시되는 바와 같이, 이 경우에도, 도면 중 가장 위의 어댑테이션 세트의 서플리멘털 프로퍼티는, 예를 들어 이하와 같이 정의된다.
<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1, 0, 0, 1920, 1080, 1920, 1080, 0">
또한, 도 42의 예의 경우에도, 타일 1(Tile1)에 대하여 정의하는 도면 중 위에서 2번째의 어댑테이션 세트에 있어서는, 타일용 디스크립션으로서, 제1 실시 형태에 있어서 설명한 뷰포인트(Viewpoint) 대신에 에센셜 프로퍼티(EssentialProperty)가 정의된다. 그리고, 그 비트 스트림의 일부에 관한 에센셜 프로퍼티가, 더욱 확장되어 정의된다.
즉, 도 42에 도시되는 바와 같이, 도면 중 위에서 2번째의 어댑테이션 세트의 에센셜 프로퍼티는, 예를 들어 이하와 같이 정의된다.
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1, 0, 0, 960, 540, 1920, 1080, 1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2, 1, 1">
이 경우, 당해 어댑테이션 세트가 대응하는 비트 스트림의 일부가 트랙(track)으로 분할(extract)되어 있으므로(즉, 복수의 트랙이 형성되어 있으므로), 「Sub-Sample-is-extracted」로서, 「1(true)」이 정의되어 있다.
마찬가지로 하여, 도 42의 예의 도면 중 위에서 3번째의 어댑테이션 세트의에센셜 프로퍼티는, 예를 들어 이하와 같이 정의된다.
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1, 960, 0, 960, 540, 1920, 1080, 1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2, 1, 2">
마찬가지로 하여, 도 42의 예의 도면 중 위에서 4번째의 어댑테이션 세트의에센셜 프로퍼티는, 예를 들어 이하와 같이 정의된다.
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1, 0, 540, 960, 540, 1920, 1080, 1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2, 1, 3">
마찬가지로 하여, 도 42의 예의 도면 중 가장 아래의 어댑테이션 세트의 에센셜 프로퍼티는, 예를 들어 이하와 같이 정의된다.
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1, 960, 540, 960, 540, 1920, 1080, 1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2, 1, 4">
<1 파일 복수 트랙(엑스트랙터에 의한 참조)의 경우: MPD의 이용>
또한, 이러한 확장된 MPD의 생성은, 제1 실시 형태의 경우와 마찬가지로 행할 수 있다. 예를 들어, 배신 데이터 생성 장치(101)(도 12)가, 배신 데이터 생성 처리(도 14)를 실행하고, 그 타일형 MPD 생성부(141)(타일형 화상 정보 생성부(124))(도 12)가, 타일형 MPD 파일 생성 처리(도 15)를 실행함으로써, 이러한 확장된 MPD를 생성할(MPD를 확장할) 수 있다. 따라서, 이 경우에도, 배신 데이터 생성 장치(101)는, 배신 서버(102)에, 부분 화상의 데이터를, DASH 규격에 준거하여 적응적으로 배신(제공)시킬 수 있다. 즉, 부분 화상 데이터의 적응적인 제공을 실현할 수 있다.
또한, 이러한 확장된 MPD를 이용한 배신 데이터의 재생도, 제1 실시 형태의 경우와 마찬가지로 행할 수 있다. 예를 들어, 단말 장치(103)(도 13)가 배신 데이터 재생 처리(도 16)를 실행함으로써, 이러한 확장된 MPD를 정확하게 해석하고, 배신 서버(102)에 의한 부분 화상 데이터의 DASH 규격에 준거한 적응적인 배신(제공)을 받을 수 있다. 즉, 배신 서버(102)로부터 정확하게 부분 화상의 데이터를 취득하여, 재생할 수 있다. 즉, 부분 화상의 데이터의 적응적인 제공을 실현할 수 있다.
<복수 파일 복수 트랙(엑스트랙터에 의한 참조)의 경우: MP4 파일>
도 43은, 예를 들어 도 6의 B와 같은 타일(Tile) 구조를 갖는 비트 스트림(bitstream7)을 파일화한 MP4 파일의 구성예를 도시하는 도면이다. 도 43의 예의 경우, 도 7의 예와 마찬가지로, 각 타일의 비트 스트림이 서로 상이한 파일로서 관리되고 있다. 각 파일의 트랙은 서로 상이하므로, 각 타일의 비트 스트림은, 서로 상이한 트랙으로서 관리되고 있다고도 할 수 있다.
도 43의 가장 위의 MP4 파일(MP4File)(즉, 트랙 1(Track1))은, 전체 화상(1920×1080)의 데이터를 저장(관리)하고 있다. 이 MP4 파일(즉, 트랙 1)을 재생함으로써, 그 전체 화상을 재생할 수 있다.
또한, 도 43의 위에서 2번째의 MP4 파일(MP4File)(즉, 트랙 2(Track2))은, 타일 1(Tile1)의 데이터를 저장(관리)하고 있다. 이 MP4 파일(즉, 트랙 2)을 재생함으로써, 타일 1(Tile1)의 화상을 재생할 수 있다. 마찬가지로, 도 43의 위에서 3번째의 MP4 파일(MP4File)(즉, 트랙 3(Track3))은, 타일 2(Tile2)의 데이터를 저장(관리)하고 있다. 이 MP4 파일(즉, 트랙 3)을 재생함으로써, 타일 2(Tile2)의 화상을 재생할 수 있다. 마찬가지로, 도 43의 위에서 4번째의 MP4 파일(MP4File)(즉, 트랙 4(Track4))은, 타일 3(Tile3)의 데이터를 저장(관리)하고 있다. 이 MP4 파일(즉, 트랙 4)을 재생함으로써, 타일 3(Tile3)의 화상을 재생할 수 있다. 마찬가지로, 도 43의 가장 아래의 MP4 파일(MP4File)(즉, 트랙 5(Track5))은, 타일 4(Tile4)의 데이터를 저장(관리)하고 있다. 이 MP4 파일(즉, 트랙 5)을 재생함으로써, 타일 4(Tile4)의 화상을 재생할 수 있다.
도 43에 도시되는 바와 같이, 도 43의 가장 위의 MP4 파일(트랙 1)에는, 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS) 등의 파라미터 세트나 SEI 등의 실 데이터나, 각 타일의 비트 스트림 엑스트랙터(Track2, Track3, Track4, Track5) 등이 저장된다. 이들 각 파라미터 세트나 엑스트랙터 등은, 샘플 엔트리(Sample Entry)에 의해 샘플마다 관리된다.
또한, 도 43의 위에서 2번째의 MP4 파일(트랙 2)에는, 파라미터 세트 등의 엑스트랙터(Track1)나, 타일 1(Tile1)의 실 데이터(Slice1) 등이 저장된다. 또한, 도 43의 위에서 3번째의 MP4 파일(트랙 3)에는, 파라미터 세트 등의 엑스트랙터(Track1)나, 타일 2(Tile2)의 실 데이터(Slice2) 등이 저장된다. 또한, 도 43의 위에서 4번째의 MP4 파일(트랙 4)에는, 파라미터 세트 등의 엑스트랙터(Track1)나, 타일 3(Tile3)의 실 데이터(Slice3) 등이 저장된다. 또한, 도 43의 가장 아래의 MP4 파일(트랙 5)에는, 파라미터 세트 등의 엑스트랙터(Track1)나, 타일 4(Tile4)의 실 데이터(Slice4) 등이 저장된다.
도 39의 경우와 마찬가지로, 이들 MP4 파일(트랙 2 내지 트랙 5)의 각각에 있어서, 타일 리전 그룹 엔트리(TileRegionGroupEntry)가 정의된다. 즉, 각 트랙에 있어서 하나씩 타일의 정의가 행해지고 있다.
이상과 같이, 이 예의 경우에도, 참조 관계를 나타내는 정보로서 엑스트랙터가 사용되고 있다. 따라서, 예를 들어 비트 스트림 중에 있어서 참조 관계를 변경하는 등, 보다 자유로운 참조 관계를 구축할 수 있다.
또한, 도 43의 가장 위의 MP4 파일의 파일명을 bitstream_base.mp4라고 하고, 도 43의 위에서 2번째의 MP4 파일의 파일명을 bitstream_tile1.mp4라고 하고, 도 43의 위에서 3번째의 MP4 파일의 파일명을 bitstream_tile2.mp4라고 하고, 도 43의 위에서 4번째의 MP4 파일의 파일명을 bitstream_tile3.mp4라고 하고, 도 43의 가장 아래의 MP4 파일의 파일명을 bitstream_tile4.mp4라고 한다.
<복수 파일 복수 트랙(엑스트랙터에 의한 참조)의 경우: MPD>
이 경우의 MPD도, 상술한 1 트랙의 경우와 마찬가지로, 어댑테이션 세트(AdaptationSet)의 서플리멘털 프로퍼티(SupplementalProperty)나 에센셜 프로퍼티(EssentialProperty)가 확장된다. 도 44에 그 예를 도시한다.
즉, 도 44의 예의 경우에도, 전체 화상 및 각 타일에 대해서, 각각, 서로 상이한 어댑테이션 세트(AdaptationSet)에 있어서 정의되어 있고, 전체 화상에 대하여 정의하는 도면 중 가장 위의 어댑테이션 세트에 있어서는, 타일용 디스크립션으로서, 제1 실시 형태에 있어서 설명한 뷰포인트(Viewpoint) 대신에, 서플리멘털 프로퍼티(SupplementalProperty)가 정의된다.
도 44에 도시되는 바와 같이, 이 경우에도, 도면 중 가장 위의 어댑테이션 세트의 서플리멘털 프로퍼티는, 예를 들어 이하와 같이 정의된다.
<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1, 0, 0, 1920, 1080, 1920, 1080, 0">
또한, 이 경우, 어댑테이션 세트에 속하는 리프리젠테이션(Representation)도 확장되어, 파일(타일) 사이의 의존 관계를 나타내는 정보가 추가 정의된다.
도 44에 도시되는 바와 같이, 도면 중 가장 위의 어댑테이션 세트에 속하는 리프리젠테이션에는, 예를 들어 이하와 같은 정보가 정의된다.
<id="bs" dependencyId="tl1.tl2.tl3.tl4">
또한, 그 리프리젠테이션에 속하는 세그먼트(Segment)에는, bitstream_base.mp4가 정의된다.
또한, 도 44의 예의 경우에도, 타일 1(Tile1)에 대하여 정의하는 도면 중 위에서 2번째의 어댑테이션 세트에 있어서는, 타일용 디스크립션으로서, 제1 실시 형태에 있어서 설명한 뷰포인트(Viewpoint) 대신에, 에센셜 프로퍼티(EssentialProperty)가 정의된다. 그리고, 그 비트 스트림의 일부에 관한 에센셜 프로퍼티가, 더욱 확장되어 정의된다.
즉, 도 44에 도시되는 바와 같이, 도면 중 위에서 2번째의 어댑테이션 세트의 에센셜 프로퍼티는, 예를 들어 이하와 같이 정의된다.
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1, 0, 0, 960, 540, 1920, 1080, 1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2, 1">
이 경우, 당해 어댑테이션 세트가 대응하는 비트 스트림이 트랙(track)으로 분할(extract)된 HEVC Tile이므로(즉, 복수의 트랙(복수의 파일)이 형성되어 있으므로), 「Sub-Sample-is-extracted」로서, 「1(true)」이 정의되어 있다.
또한, 이 경우, 파일 분할되어 있고, 1 파일에는 1트랙밖에 포함되지 않으므로, 「ID」는 생략된다. 따라서, 그만큼, 정보량의 증대가 억제된다.
그리고, 도 44에 도시되는 바와 같이, 이 어댑테이션 세트에 속하는 리프리젠테이션에는, 예를 들어 이하와 같은 정보가 정의된다.
<id="tl1" dependencyId="be">
또한, 그 리프리젠테이션에 속하는 세그먼트(Segment)에는, bitstream_tile1.mp4가 정의된다.
마찬가지로 하여, 도 44의 예의 도면 중 위에서 3번째의 어댑테이션 세트의에센셜 프로퍼티는, 예를 들어 이하와 같이 정의된다.
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1, 960, 0, 960, 540, 1920, 1080, 1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2, 1">
그리고, 이 어댑테이션 세트에 속하는 리프리젠테이션에는, 예를 들어 이하와 같은 정보가 정의된다.
<id="tl2" dependencyId="be">
또한, 그 리프리젠테이션에 속하는 세그먼트(Segment)에는, bitstream_tile2.mp4가 정의된다.
마찬가지로 하여, 도 44의 예의 도면 중 위에서 4번째의 어댑테이션 세트의에센셜 프로퍼티는, 예를 들어 이하와 같이 정의된다.
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1, 0, 540, 960, 540, 1920, 1080, 1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2, 1">
그리고, 이 어댑테이션 세트에 속하는 리프리젠테이션에는, 예를 들어 이하와 같은 정보가 정의된다.
<id="tl3" dependencyId="be">
또한, 그 리프리젠테이션에 속하는 세그먼트(Segment)에는, bitstream_tile3.mp4가 정의된다.
마찬가지로 하여, 도 44의 예의 도면 중 가장 아래의 어댑테이션 세트의 에센셜 프로퍼티는, 예를 들어 이하와 같이 정의된다.
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1, 960, 540, 960, 540, 1920, 1080, 1">
<EssentialProperty schemeIdUri="urn:mpeg:dash:hevc:2013" value="2, 1">
그리고, 이 어댑테이션 세트에 속하는 리프리젠테이션에는, 예를 들어 이하와 같은 정보가 정의된다.
<id="tl4" dependencyId="be">
또한, 그 리프리젠테이션에 속하는 세그먼트(Segment)에는, bitstream_tile4.mp4가 정의된다.
<복수 파일 복수 트랙(엑스트랙터에 의한 참조)의 경우: MPD의 이용>
또한, 이러한 확장된 MPD의 생성은, 제1 실시 형태의 경우와 마찬가지로 행할 수 있다. 예를 들어, 배신 데이터 생성 장치(101)(도 12)가, 배신 데이터 생성 처리(도 14)를 실행하고, 그 타일형 MPD 생성부(141)(타일형 화상 정보 생성부(124))(도 12)가, 타일형 MPD 파일 생성 처리(도 15)를 실행함으로써, 이러한 확장된 MPD를 생성할(MPD를 확장할) 수 있다. 따라서, 이 경우에도, 배신 데이터 생성 장치(101)는, 배신 서버(102)에, 부분 화상의 데이터를, DASH 규격에 준거하여 적응적으로 배신(제공)시킬 수 있다. 즉, 부분 화상의 데이터의 적응적인 제공을 실현할 수 있다.
또한, 이러한 확장된 MPD를 이용한 배신 데이터의 재생도, 제1 실시 형태의 경우와 마찬가지로 행할 수 있다. 예를 들어, 단말 장치(103)(도 13)가 배신 데이터 재생 처리(도 16)를 실행함으로써, 이러한 확장된 MPD를 정확하게 해석하고, 배신 서버(102)에 의한 부분 화상 데이터의 DASH 규격에 준거한 적응적인 배신(제공)을 받을 수 있다. 즉, 배신 서버(102)로부터 정확하게 부분 화상의 데이터를 취득하여, 재생할 수 있다. 즉, 부분 화상 데이터의 적응적인 제공을 실현할 수 있다.
<1 파일 복수 트랙(트랙 레퍼런스에 의한 참조)의 경우: MP4 파일>
도 45는, 예를 들어 도 6의 B와 같은 타일(Tile) 구조를 갖는 비트 스트림(bitstream7)을 파일화한 MP4 파일의 구성예를 도시하는 도면이다. 도 45의 예의 경우, 도 41의 예와 마찬가지로, 각 타일의 비트 스트림이 통합되어 하나의 파일로 되고, 또한 각 타일의 데이터가 서로 상이한 트랙으로서 관리되고 있다.
단, 도 41의 예의 경우, 트랙 사이에 있어서의 데이터의 참조 관계는, 엑스트랙터를 사용하여 정의되어 있지만, 도 45의 예의 경우, 트랙 레퍼런스(Track Reference)를 사용하여 행한다.
트랙 레퍼런스(Track Reference)는, 트랙끼리의 참조 관계(어느 트랙이 어느 트랙을 참조하는지(또는 어느 트랙으로부터 참조되는지))를 나타내는 정보이다. 즉, 트랙 레퍼런스는, 트랙 단위의 정보이고, 1 트랙에 대하여 1회 정의된다. 「dpnd」는, 당해 트랙을 참조하는 트랙(즉 참조원)을 정의하는 정보이고, 「prnt」는, 당해 트랙이 참조하는 트랙(즉 참조처)을 정의하는 정보이다.
예를 들어, 도 45의 예의 경우, 트랙 1(Track1)에 있어서는, 트랙 레퍼런스(Track Reference)로서, 「dpnd=2, 3, 4, 5」가 정의되어 있다. 이것은, 트랙 1이 트랙 2 내지 트랙 5에 의해 참조되는 것을 나타낸다. 마찬가지로, 트랙 2(Track2) 내지 트랙 5(Track5)의 각각에 있어서는, 트랙 레퍼런스(Track Reference)로서, 「prnt=1」이 정의되어 있다. 이것은, 이들 트랙이, 트랙 1을 참조하는 것을 나타낸다. 즉, 이들 트랙 레퍼런스에 따라서, 트랙 2 내지 트랙 5 중 어느 하나(어느 하나의 타일)를 재생할 때, 트랙 1의 정보(파라미터 세트 등)가 참조되는 것이 나타나 있다.
상술한 바와 같이, 엑스트랙터(extractor)는, 샘플마다 정의되기 때문에, 참조 관계 설정의 자유도가 향상되지만, 참조 관계가 고정인 경우, 그 엑스트랙터의 용장성이 증대되어, 정보량이 불필요하게 증대될 가능성이 있었다. 예를 들어, 비트 스트림 중에 있어서, 각 타일의 사이즈나 형상이 일정한 경우, 참조 관계는 한번 나타나면 충분하다.
이에 비해, 트랙 레퍼런스(Track Reference)는, 상술한 바와 같이, 1 트랙에 대하여 1회만 정의된다. 따라서, 이러한 트랙 레퍼런스를 사용함으로써, 참조 관계의 정의의 용장성을 저감시켜, 불필요한 정보량의 증대를 억제할 수 있다.
또한, 이 예의 경우, 트랙 1(Track1)은, 파라미터 세트 등을 저장하기 위해서만 존재하고, 이 트랙 1의 재생(전체 화상(1920×1080)의 재생)을 행할 수는 없다. 단, 트랙 레퍼런스의 순서에 따라, 트랙 2로부터 트랙 5의 실 데이터를 재생함으로써, 전체 화상을 재생할 수 있다.
또한, 도 39의 경우와 마찬가지로, 트랙 2(Track2) 내지 트랙 5(Track5)의 각각에 있어서, 타일 리전 그룹 엔트리(TileRegionGroupEntry)가 정의된다. 즉, 각 트랙에 있어서 하나씩 타일의 정의가 행해지고 있다.
또한, 이 MP4 파일의 파일명을 bitstream.mp4라고 한다.
<1 파일 복수 트랙(트랙 레퍼런스에 의한 참조)의 경우: MPD>
이 경우의 MPD도, 상술한 엑스트랙터에 의한 참조의 경우와 마찬가지로, 어댑테이션 세트(AdaptationSet)의 서플리멘털 프로퍼티(SupplementalProperty)나 에센셜 프로퍼티(EssentialProperty)가 확장된다. 도 46에 그 예를 도시한다.
즉, 도 46에 도시되는 바와 같이, 이 경우, 도 42의 예와 마찬가지의 MPD에 의해 MP4 파일을 관리할 수 있다.
<1 파일 복수 트랙(트랙 레퍼런스에 의한 참조)의 경우: MPD의 이용>
또한, 이러한 확장된 MPD의 생성은, 제1 실시 형태의 경우와 마찬가지로 행할 수 있다. 예를 들어, 배신 데이터 생성 장치(101)(도 12)가, 배신 데이터 생성 처리(도 14)를 실행하고, 그 타일형 MPD 생성부(141)(타일형 화상 정보 생성부(124))(도 12)가, 타일형 MPD 파일 생성 처리(도 15)를 실행함으로써, 이러한 확장된 MPD를 생성할(MPD를 확장할) 수 있다. 따라서, 이 경우에도, 배신 데이터 생성 장치(101)는, 배신 서버(102)에, 부분 화상의 데이터를, DASH 규격에 준거하여 적응적으로 배신(제공)시킬 수 있다. 즉, 부분 화상 데이터의 적응적인 제공을 실현할 수 있다.
또한, 이러한 확장된 MPD를 이용한 배신 데이터의 재생도, 제1 실시 형태의 경우와 마찬가지로 행할 수 있다. 예를 들어, 단말 장치(103)(도 13)가 배신 데이터 재생 처리(도 16)를 실행함으로써, 이러한 확장된 MPD를 정확하게 해석하고, 배신 서버(102)에 의한 부분 화상 데이터의 DASH 규격에 준거한 적응적인 배신(제공)을 받을 수 있다. 즉, 배신 서버(102)로부터 정확하게 부분 화상의 데이터를 취득하여, 재생할 수 있다. 즉, 부분 화상 데이터의 적응적인 제공을 실현할 수 있다.
<복수 파일 복수 트랙(트랙 레퍼런스에 의한 참조)의 경우: MP4 파일>
도 47은, 예를 들어 도 6의 B와 같은 타일(Tile) 구조를 갖는 비트 스트림(bitstream7)을 파일화한 MP4 파일의 구성예를 도시하는 도면이다. 도 47의 예의 경우, 도 43의 예와 마찬가지로, 각 타일의 비트 스트림이 서로 상이한 파일로서 관리되고 있다. 각 파일의 트랙은 서로 상이하므로, 각 타일의 비트 스트림은, 서로 상이한 트랙으로서 관리되고 있다고도 할 수 있다.
도 47의 가장 위의 MP4 파일(MP4File)(즉, 트랙 1(Track1))은, 파라미터 세트 등(VPS, SPS, PPS, SEI 등)을 저장(관리)하고 있다.
또한, 도 47 위에서 2번째 내지 5번째의 MP4 파일(MP4File)(즉, 트랙 2(Track2) 내지 트랙 5(Track))은, 타일 1(Tile1) 내지 타일 4(Tile4)의 데이터를 저장(관리)하고 있다. 이들 중 어느 하나의 MP4 파일(즉, 어느 하나의 트랙)을 재생함으로써, 어느 하나의 타일의 화상을 재생할 수 있다.
단, 도 43의 예의 경우, 트랙 사이에 있어서의 데이터의 참조 관계는, 엑스트랙터를 사용하여 정의되어 있지만, 도 47의 예의 경우, 도 45의 경우와 마찬가지로 트랙 레퍼런스(Track Reference)를 사용하여 행한다.
예를 들어, 도 47의 예의 경우, 트랙 1(Track1)에 있어서는, 트랙 레퍼런스(Track Reference)로서, 「dpnd=2, 3, 4, 5」가 정의되어 있다. 이것은, 트랙 1이, 트랙 2 내지 트랙 5에 의해 참조되는 것을 나타낸다. 마찬가지로, 트랙 2(Track2) 내지 트랙 5(Track5)의 각각에 있어서는, 트랙 레퍼런스(Track Reference)로서, 「prnt=1」이 정의되어 있다. 이것은, 이들 트랙이, 트랙 1을 참조하는 것을 나타낸다. 즉, 이들 트랙 레퍼런스에 따라서, 트랙 2 내지 트랙 5 중 어느 하나(어느 하나의 타일)를 재생할 때, 트랙 1의 정보(파라미터 세트 등)가 참조되는 것이 나타나 있다.
또한, 도 39의 경우와 마찬가지로, 트랙 2(Track2) 내지 트랙 5(Track5)의 각각에 있어서, 타일 리전 그룹 엔트리(TileRegionGroupEntry)가 정의된다. 즉, 각 트랙에 있어서 하나씩 타일의 정의가 행해지고 있다.
이상과 같이, 이 예의 경우에도, 참조 관계를 나타내는 정보로서 트랙 레퍼런스가 사용되고 있다. 따라서, 참조 관계의 정의의 용장성을 저감시켜, 불필요한 정보량의 증대를 억제할 수 있다.
또한, 도 47의 각 MP4 파일의 파일명을 위에서부터 순차적으로, bitstream_base.mp4, bitstream_tile1.mp4, bitstream_tile2.mp4, bitstream_tile3.mp4, bitstream_tile4.mp4로 한다.
<복수 파일 복수 트랙(트랙 레퍼런스에 의한 참조)의 경우: MPD>
이 경우의 MPD도, 상술한 엑스트랙터에 의한 참조의 경우와 마찬가지로, 어댑테이션 세트(AdaptationSet)의 서플리멘털 프로퍼티(SupplementalProperty)나 에센셜 프로퍼티(EssentialProperty)가 확장된다. 도 48에 그 예를 도시한다.
즉, 도 48에 도시되는 바와 같이, 이 경우, 도 44의 예와 마찬가지의 MPD에 의해 MP4 파일을 관리할 수 있다.
<복수 파일 복수 트랙(트랙 레퍼런스에 의한 참조)의 경우: MPD의 이용>
또한, 이러한 확장된 MPD의 생성은, 제1 실시 형태의 경우와 마찬가지로 행할 수 있다. 예를 들어, 배신 데이터 생성 장치(101)(도 12)가, 배신 데이터 생성 처리(도 14)를 실행하고, 그 타일형 MPD 생성부(141)(타일형 화상 정보 생성부(124))(도 12)가, 타일형 MPD 파일 생성 처리(도 15)를 실행함으로써, 이러한 확장된 MPD를 생성할(MPD를 확장할) 수 있다. 따라서, 이 경우에도, 배신 데이터 생성 장치(101)는, 배신 서버(102)에, 부분 화상의 데이터를, DASH 규격에 준거하여 적응적으로 배신(제공)시킬 수 있다. 즉, 부분 화상 데이터의 적응적인 제공을 실현할 수 있다.
또한, 이러한 확장된 MPD를 이용한 배신 데이터의 재생도, 제1 실시 형태의 경우와 마찬가지로 행할 수 있다. 예를 들어, 단말 장치(103)(도 13)가 배신 데이터 재생 처리(도 16)를 실행함으로써, 이러한 확장된 MPD를 정확하게 해석하고, 배신 서버(102)에 의한 부분 화상의 데이터의 DASH 규격에 준거한 적응적인 배신(제공)을 받을 수 있다. 즉, 배신 서버(102)로부터 정확하게 부분 화상의 데이터를 취득하여, 재생할 수 있다. 즉, 부분 화상 데이터의 적응적인 제공을 실현할 수 있다.
<1 파일 복수 트랙(트랙 레퍼런스와 엑스트랙터에 의한 참조)의 경우: MP4 파일>
도 49는, 예를 들어 도 6의 B와 같은 타일(Tile) 구조를 갖는 비트 스트림(bitstream7)을 파일화한 MP4 파일의 구성예를 도시하는 도면이다. 도 49의 예의 경우, 도 41이나 도 45의 예와 마찬가지로, 각 타일의 비트 스트림이 통합되어 하나의 파일로 되고, 또한 각 타일의 데이터가 서로 상이한 트랙으로서 관리되고 있다.
단, 도 41의 예의 경우, 트랙 사이에 있어서의 데이터의 참조 관계는, 엑스트랙터를 사용하여 정의되고, 도 45의 예의 경우, 트랙 사이에 있어서의 데이터의 참조 관계는, 트랙 레퍼런스를 사용하여 정의되어 있지만, 도 49의 예의 경우, 엑스트랙터와 트랙 레퍼런스의 양쪽을 사용하여 행한다.
보다 구체적으로는, 트랙 1(Track1)은, 도 41의 경우와 마찬가지로 엑스트랙터를 사용하여 트랙 2(Track2) 내지 트랙 5(Track5)의 정보를 참조하고, 트랙 2(Track2) 내지 트랙 5(Track5)는, 도 45의 경우와 마찬가지로 트랙 레퍼런스를 사용하여 트랙 1(Track1)의 정보를 참조하도록 되어 있다.
즉, 도 49에 도시되는 바와 같이, 트랙 1(Track1)에는, 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS) 등의 파라미터 세트나 SEI 등의 실 데이터나, 트랙 2 내지 트랙 5의 타일의 데이터를 참조하기 위한 엑스트랙터 등이 저장된다.
또한, 도 49에 도시되는 바와 같이, 트랙 2(Track2) 내지 트랙 5(Track5)의 각각에 있어서는, 트랙 레퍼런스(Track Reference)로서, 「prnt=1」이 정의되어 있다. 이것은, 이들 트랙이, 트랙 1을 참조하는 것을 나타낸다. 즉, 이들 트랙 레퍼런스에 따라서, 트랙 2 내지 트랙 5 중 어느 하나(어느 하나의 타일)를 재생할 때, 트랙 1의 정보(파라미터 세트 등)가 참조되는 것이 나타나 있다.
이와 같이 함으로써, 도 45의 경우와 같이 용장성을 저감하면서, 도 41의 경우와 같이, 이 트랙 1의 재생(전체 화상(1920×1080)의 재생)을 행할 수 있도록 할 수 있다.
또한, 도 39의 경우와 마찬가지로, 트랙 2(Track2) 내지 트랙 5(Track5)의 각각에 있어서, 타일 리전 그룹 엔트리(TileRegionGroupEntry)가 정의된다. 즉, 각 트랙에 있어서 하나씩 타일의 정의가 행해지고 있다.
또한, 이 MP4 파일의 파일명을 bitstream.mp4라고 한다.
<1 파일 복수 트랙(트랙 레퍼런스와 엑스트랙터에 의한 참조)의 경우: MPD>
이 경우의 MPD도, 상술한 엑스트랙터에 의한 참조의 경우(도 42)나 트랙 레퍼런스에 의한 참조의 경우(도 46)와 마찬가지로, 어댑테이션 세트(AdaptationSet)의 서플리멘털 프로퍼티(SupplementalProperty)나 에센셜 프로퍼티(EssentialProperty)가 확장된다. 도 50에 그 예를 도시한다.
즉, 도 50에 도시되는 바와 같이, 이 경우, 도 42나 도 46의 예와 마찬가지의 MPD에 의해 MP4 파일을 관리할 수 있다.
<1 파일 복수 트랙(트랙 레퍼런스와 엑스트랙터에 의한 참조)의 경우: MPD의 이용>
또한, 이러한 확장된 MPD의 생성은, 제1 실시 형태의 경우와 마찬가지로 행할 수 있다. 예를 들어, 배신 데이터 생성 장치(101)(도 12)가, 배신 데이터 생성 처리(도 14)를 실행하고, 그 타일형 MPD 생성부(141)(타일형 화상 정보 생성부(124))(도 12)가, 타일형 MPD 파일 생성 처리(도 15)를 실행함으로써, 이러한 확장된 MPD를 생성할(MPD를 확장할) 수 있다. 따라서, 이 경우에도, 배신 데이터 생성 장치(101)는, 배신 서버(102)에, 부분 화상의 데이터를, DASH 규격에 준거하여 적응적으로 배신(제공)시킬 수 있다. 즉, 부분 화상의 데이터의 적응적인 제공을 실현할 수 있다.
또한, 이러한 확장된 MPD를 이용한 배신 데이터의 재생도, 제1 실시 형태의 경우와 마찬가지로 행할 수 있다. 예를 들어, 단말 장치(103)(도 13)가 배신 데이터 재생 처리(도 16)를 실행함으로써, 이러한 확장된 MPD를 정확하게 해석하고, 배신 서버(102)에 의한 부분 화상의 데이터의 DASH 규격에 준거한 적응적인 배신(제공)을 받을 수 있다. 즉, 배신 서버(102)로부터 정확하게 부분 화상의 데이터를 취득하여, 재생할 수 있다. 즉, 부분 화상의 데이터의 적응적인 제공을 실현할 수 있다.
<복수 파일 복수 트랙(트랙 레퍼런스와 엑스트랙터에 의한 참조)의 경우: MP4 파일>
도 51은, 예를 들어 도 6의 B와 같은 타일(Tile) 구조를 갖는 비트 스트림(bitstream7)을 파일화한 MP4 파일의 구성예를 도시하는 도면이다. 도 51의 예의 경우, 도 43이나 도 47의 예와 마찬가지로, 각 타일의 비트 스트림이 서로 상이한 파일로서 관리되고 있다. 각 파일의 트랙은 서로 상이하므로, 각 타일의 비트 스트림은, 서로 상이한 트랙으로서 관리되고 있다고도 할 수 있다.
단, 도 43의 예의 경우, 트랙 사이에 있어서의 데이터의 참조 관계는, 엑스트랙터를 사용하여 정의되고, 도 47의 예의 경우, 트랙 사이에 있어서의 데이터의 참조 관계는, 트랙 레퍼런스를 사용하여 정의되어 있지만, 도 51의 예의 경우, 엑스트랙터와 트랙 레퍼런스의 양쪽을 사용하여 행한다.
보다 구체적으로는, 도 51의 가장 위의 MP4 파일(트랙 1(Track1))은, 도 43의 경우와 마찬가지로 엑스트랙터를 사용하여 도 51의 위에서 2번째 내지 5번째의 MP4 파일(트랙 2(Track2) 내지 트랙 5(Track5))의 정보를 참조하고, 도 51의 위에서 2번째 내지 5번째의 MP4 파일(트랙 2(Track2) 내지 트랙 5(Track5))은, 도 47의 경우와 마찬가지로 트랙 레퍼런스를 사용하여, 도 51의 가장 위의 MP4 파일(트랙 1(Track1))의 정보를 참조하도록 되어 있다.
즉, 도 51에 도시되는 바와 같이, 가장 위의 MP4 파일(트랙 1)에는, 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS) 등의 파라미터 세트나 SEI 등의 실 데이터나, 각 타일의 비트 스트림의 엑스트랙터(Track2, Track3, Track4, Track5) 등이 저장된다. 이들 각 파라미터 세트나 엑스트랙터 등은, 샘플 엔트리(Sample Entry)에 의해 샘플마다 관리된다.
또한, 도 51에 도시되는 바와 같이, 위에서 2번째 내지 5번째의 MP4 파일(트랙 2(Track2) 내지 트랙 5(Track5))의 각각에 있어서는, 트랙 레퍼런스(Track Reference)로서, 「prnt=1」이 정의되어 있다. 이것은, 이들 트랙이, 트랙 1을 참조하는 것을 나타낸다. 즉, 이들 트랙 레퍼런스에 따라서, 트랙 2 내지 트랙 5 중 어느 하나(어느 하나의 타일)를 재생할 때, 트랙 1의 정보(파라미터 세트 등)가 참조되는 것이 나타나 있다.
이와 같이 함으로써, 도 47의 경우와 같이 용장성을 저감하면서, 도 43의 경우와 같이, 도 51의 가장 위의 MP4 파일(트랙 1)의 재생(전체 화상(1920×1080)의 재생)을 행할 수 있도록 할 수 있다.
또한, 도 39의 경우와 마찬가지로, 위에서 2번째 내지 5번째의 MP4 파일(트랙 2(Track2) 내지 트랙 5(Track5))의 각각에 있어서, 타일 리전 그룹 엔트리(TileRegionGroupEntry)가 정의된다. 즉, 각 트랙에 있어서 하나씩 타일의 정의가 행해지고 있다.
또한, 도 51의 각 MP4 파일의 파일명을 위에서부터 순차적으로, bitstream_base.mp4, bitstream_tile1.mp4, bitstream_tile2.mp4, bitstream_tile3.mp4, bitstream_tile4.mp4라고 한다.
<복수 파일 복수 트랙(트랙 레퍼런스와 엑스트랙터에 의한 참조)의 경우: MPD>
이 경우의 MPD도, 상술한 엑스트랙터에 의한 참조의 경우와 마찬가지로, 어댑테이션 세트(AdaptationSet)의 서플리멘털 프로퍼티(SupplementalProperty)나 에센셜 프로퍼티(EssentialProperty)가 확장된다. 도 52에 그 예를 도시한다.
즉, 도 52에 도시되는 바와 같이, 이 경우, 도 44나 도 48의 예와 마찬가지의 MPD에 의해 MP4 파일을 관리할 수 있다.
<복수 파일 복수 트랙(트랙 레퍼런스와 엑스트랙터에 의한 참조)의 경우: MPD의 이용>
또한, 이러한 확장된 MPD의 생성은, 제1 실시 형태의 경우와 마찬가지로 행할 수 있다. 예를 들어, 배신 데이터 생성 장치(101)(도 12)가, 배신 데이터 생성 처리(도 14)를 실행하고, 그 타일형 MPD 생성부(141)(타일형 화상 정보 생성부(124))(도 12)가, 타일형 MPD 파일 생성 처리(도 15)를 실행함으로써, 이러한 확장된 MPD를 생성할(MPD를 확장할) 수 있다. 따라서, 이 경우에도, 배신 데이터 생성 장치(101)는, 배신 서버(102)에, 부분 화상의 데이터를, DASH 규격에 준거하여 적응적으로 배신(제공)시킬 수 있다. 즉, 부분 화상의 데이터의 적응적인 제공을 실현할 수 있다.
또한, 이러한 확장된 MPD를 이용한 배신 데이터의 재생도, 제1 실시 형태의 경우와 마찬가지로 행할 수 있다. 예를 들어, 단말 장치(103)(도 13)가 배신 데이터 재생 처리(도 16)를 실행함으로써, 이러한 확장된 MPD를 정확하게 해석하고, 배신 서버(102)에 의한 부분 화상의 데이터의 DASH 규격에 준거한 적응적인 배신(제공)을 받을 수 있다. 즉, 배신 서버(102)로부터 정확하게 부분 화상의 데이터를 취득하여, 재생할 수 있다. 즉, 부분 화상 데이터의 적응적인 제공을 실현할 수 있다.
<1 파일 복수 트랙(트랙 레퍼런스와 엑스트랙터에 의한 참조)의 경우: MP4 파일>
이상의 도 41, 도 45 및 도 49에 도시한, 하나의 MP4 파일이 복수 트랙을 갖는 예에 있어서는, 실 데이터인 슬라이스 slice를, 타일별로 상이한 트랙에 저장하고 있다. 그러나, 하나의 MP4 파일이 복수 트랙을 갖는 경우에 있어서, 각 타일의 slice를 하나의 트랙에 통합하여 배치할 수도 있다. 이 경우의 예를 도 53을 참조하여 이하에 설명한다.
도 53은, 예를 들어 도 6의 B와 같은 타일(Tile) 구조를 갖는 비트 스트림(bitstream7)을 파일화한 MP4 파일의 구성예를 도시하는 도면이다. 도 53의 예의 경우, 도 41, 도 45 및 도 49의 예와 마찬가지로, 각 타일의 비트 스트림이 통합되어 하나의 MP4 파일로 되고, 또한 각 타일은 서로 상이한 트랙으로 관리되고 있다. 단, 도 53의 MP4 파일에 있어서는, 각 타일의 실 데이터인 각 slice가 하나의 트랙에 통합하여 저장되어 있다.
도 41의 예의 경우, 트랙 사이에 있어서의 데이터의 참조 관계는, 엑스트랙터를 사용하여 정의되고, 도 45의 예의 경우, 트랙 사이에 있어서의 데이터의 참조 관계는, 트랙 레퍼런스를 사용하여 정의되어 있다. 이에 비해 도 53의 예의 경우, 도 49의 예와 마찬가지로, 엑스트랙터와 트랙 레퍼런스의 양쪽이 사용된다. 단, 엑스트랙터와 트랙 레퍼런스를 사용하는 방법이, 도 49의 경우와 상이하다.
보다 구체적으로는, 도 53에 도시되는 바와 같이, 베이스 트랙인 트랙 1(Track1)에는, 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS) 등의 파라미터 세트나 SEI 등의 실 데이터가 저장되어 있다. 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS) 등의 파라미터 세트는, 샘플 엔트리(Sample Entry)에 의해 샘플마다 관리된다. 또한 트랙 1(Track1)에는, HEVC의 타일의 실 데이터인 슬라이스 slice1 내지 slice4 등이 저장되어 있다.
트랙 2(Track2) 내지 트랙 5(Track5)는, 트랙 1(Track1)의 정보를 참조하기 위해서, 엑스트랙터와 트랙 레퍼런스의 양쪽을 갖고 있다.
즉, 도 53에 도시되는 바와 같이, 트랙 2(Track2) 내지 트랙 5(Track5)의 각각에 있어서는, 트랙 레퍼런스(Track Reference)로서, 「prnt=1」이 정의되어 있다. 이것은, 이들 트랙이, 트랙 1을 참조하는 것을 나타낸다. 즉, 이들 트랙 레퍼런스에 의해, 트랙 2 내지 트랙 5 중 어느 하나(어느 하나의 타일)를 재생할 때, 트랙 1의 정보(파라미터 세트 등)가 참조되게 된다.
또한, 트랙 2(Track2) 내지 트랙 5(Track5)의 각각에는, 엑스트랙터로서, 「ext1」이 정의되어 있다. 즉, 이들 엑스트랙터에 의해, 예를 들어 트랙 2의 타일을 재생하는 경우, 트랙 1의 슬라이스 slice1이 참조된다. 마찬가지로, 트랙 3의 타일을 재생하는 경우, 트랙 1의 슬라이스 slice2가 참조된다. 또한, 트랙 4의 타일을 재생하는 경우, 트랙 1의 슬라이스 slice3이 참조되고, 트랙 5의 타일을 재생하는 경우, 트랙 1의 슬라이스 slice4가 참조된다.
이와 같이 함으로써, 전체 화상(1920×1080)의 재생을 행하는 경우, 트랙 1만을 재생하면 되고, 전체 화상을 재생하는 경우의 부하를 경감할 수 있다.
또한, 도 39, 도 41, 도 43, 도 45, 도 47, 도 49 및 도 51의 경우와 마찬가지로, 트랙 2(Track2) 내지 트랙 5(Track5)의 각각에 있어서, 타일 리전 그룹 엔트리(TileRegionGroupEntry)가 정의된다. 즉, 각 트랙에 있어서 하나씩 타일의 정의가 행해지고 있다. 그 정의는, 도 41, 도 43, 도 45, 도 47, 도 49 및 도 51의 각 트랙의 경우(도 39의 각 타일의 경우)와 마찬가지이다.
또한, 이 MP4 파일의 파일명을 bitstream.mp4라고 한다.
<1 파일 복수 트랙(트랙 레퍼런스와 엑스트랙터에 의한 참조)의 경우: MPD>
도 53의 MP4 파일의 MPD가 도 54에 도시된다. 이 MPD에 있어서도, 도 41, 도 45 및 도 49의 MP4 파일에 각각 대응하는 도 42, 도 46 및 도 50의 MPD와 마찬가지의 확장이 행해진다. 즉, 어댑테이션 세트(AdaptationSet)의 서플리멘털 프로퍼티(SupplementalProperty)나 에센셜 프로퍼티(EssentialProperty)가 확장된다.
도 54의 MPD는, 기본적으로 도 42, 도 46 및 도 50의 MPD와 마찬가지로 구성되고 있지만, 도 54의 MPD에 있어서는, 각 Representation에 ID가 저장되어 있는 점이, 그들 MPD와 상이하다. 도 54에 있어서 가장 상측에 위치하는 Representation에는, 베이스 트랙인 것을 의미하는 ID(bs)가 저장되어 있고, 위에서 2번째의 Representation에는, 타일 1의 ID를 의미하는 ID(tl1)가 저장되어 있다. 이하 마찬가지로, 3번째 내지 5번째의 Representation에는, 각각 타일 2 내지 타일 4의 ID를 의미하는 ID(tl2 내지 tl4)가 저장되어 있다.
또한 위에서 2번째의 Representation에는, 베이스 트랙에 의존하는 트랙임을 의미하는 ID(dependencyId=bs)가 저장되어 있다. 마찬가지로, 3번째 내지 5번째의 Representation에도, 각각 베이스 트랙에 의존하는 트랙임을 의미하는 ID(dependencyId=bs)가 저장되어 있다.
도 54의 MPD에 의해 도 53의 MP4 파일을 관리할 수 있다.
<복수 파일 복수 트랙(트랙 레퍼런스와 엑스트랙터에 의한 참조)의 경우: MPD의 이용>
또한, 이러한 확장된 MPD의 생성은, 제1 실시 형태의 경우와 마찬가지로 행할 수 있다. 예를 들어, 배신 데이터 생성 장치(101)(도 12)가, 배신 데이터 생성 처리(도 14)를 실행하고, 그 타일형 MPD 생성부(141)(타일형 화상 정보 생성부(124))(도 12)가, 타일형 MPD 파일 생성 처리(도 15)를 실행함으로써, 이러한 확장된 MPD를 생성할(MPD를 확장할) 수 있다. 따라서, 이 경우에도, 배신 데이터 생성 장치(101)는, 배신 서버(102)에, 부분 화상의 데이터를, DASH 규격에 준거하여 적응적으로 배신(제공)시킬 수 있다. 즉, 부분 화상 데이터의 적응적인 제공을 실현할 수 있다.
또한, 이러한 확장된 MPD를 이용한 배신 데이터의 재생도, 제1 실시 형태의 경우와 마찬가지로 행할 수 있다. 예를 들어, 단말 장치(103)(도 13)가 배신 데이터 재생 처리(도 16)를 실행함으로써, 이러한 확장된 MPD를 정확하게 해석하고, 배신 서버(102)에 의한 부분 화상 데이터의 DASH 규격에 준거한 적응적인 배신(제공)을 받을 수 있다. 즉, 배신 서버(102)로부터 정확하게 부분 화상의 데이터를 취득하여, 재생할 수 있다. 즉, 부분 화상 데이터의 적응적인 제공을 실현할 수 있다.
<복수 파일 복수 트랙(트랙 레퍼런스와 엑스트랙터에 의한 참조)의 경우: MP4 파일>
도 55는, 예를 들어 도 6의 B와 같은 타일(Tile) 구조를 갖는 비트 스트림(bitstream7)을 파일화한 MP4 파일의 구성예를 도시하는 도면이다. 도 55의 예의 경우, 도 43, 도 47 및 도 51의 예와 마찬가지로, 각 타일의 트랙이 각각 상이한 MP4 파일로 되고, 또한 각 타일의 실 데이터인 각 slice가 베이스 트랙인 트랙 1(Track1)에 통합되어 저장되어 있다.
도 41의 예의 경우, 트랙 사이에 있어서의 데이터의 참조 관계는, 엑스트랙터를 사용하여 정의되고, 도 45의 예의 경우, 트랙 사이에 있어서의 데이터의 참조 관계는, 트랙 레퍼런스를 사용하여 정의되어 있다. 이에 비해 도 55의 예의 경우, 도 49의 예와 마찬가지로, 엑스트랙터와 트랙 레퍼런스의 양쪽이 사용된다. 단, 엑스트랙터와 트랙 레퍼런스를 사용하는 방법이, 도 53의 경우와 마찬가지로, 도 49의 경우와 상이하다.
구체적으로는, 도 55에 도시되는 바와 같이, 트랙 1(Track1)에는, 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS) 등의 파라미터 세트나 SEI 등의 실 데이터가 저장되어 있다. 또한 트랙 1(Track1)에는, HEVC의 타일의 실 데이터인 슬라이스 slice1 내지 slice4 등이 저장되어 있다. 트랙 2(Track2) 내지 트랙 5(Track5)는, 트랙 1(Track1)의 정보를 참조하기 위해, 엑스트랙터와 트랙 레퍼런스의 양쪽을 갖고 있다.
즉, 도 55에 도시되는 바와 같이, 트랙 2(Track2) 내지 트랙 5(Track5)의 각각에 있어서는, 트랙 레퍼런스(Track Reference)로서, 「prnt=1」이 정의되어 있다. 이것은, 이들 트랙이, 트랙 1을 참조하는 것을 나타낸다. 즉, 이들 트랙 레퍼런스에 의해, 트랙 2 내지 트랙 5 중 어느 하나(어느 하나의 타일)를 재생할 때, 트랙 1의 정보(파라미터 세트 등)가 참조되게 된다.
또한, 트랙 2(Track2) 내지 트랙 5(Track5)의 각각에는, 엑스트랙터로서, 「ext1」이 정의되어 있다. 즉, 이들 엑스트랙터에 의해, 예를 들어 트랙 2의 타일을 재생하는 경우, 트랙 1의 슬라이스 slice1이 참조된다. 마찬가지로, 트랙 3의 타일을 재생하는 경우, 트랙 1의 슬라이스 slice2가 참조된다. 또한, 트랙 4의 타일을 재생하는 경우, 트랙 1의 슬라이스 slice3이 참조되고, 트랙 5의 타일을 재생하는 경우, 트랙 1의 슬라이스 slice4가 참조된다.
이와 같이 함으로써, 전체 화상(1920×1080)의 재생을 행하는 경우, 트랙 1만을 재생하면 되어, 전체 화상을 재생하는 경우의 부하를 경감할 수 있다.
또한, 도 55에 있어서도, 도 39, 도 41, 도 43, 도 45, 도 47, 도 49, 도 51 및 도 53의 경우와 마찬가지로, 트랙 2(Track2) 내지 트랙 5(Track5)의 각각에 있어서, 타일 리전 그룹 엔트리(TileRegionGroupEntry)가 정의된다. 즉, 각 트랙에 있어서 하나씩 타일의 정의가 행해지고 있다. 그 내용은, 도 39 등과 마찬가지이다.
이와 같이, 도 55의 MP4 파일은, 도 53의 예에서는 개별로 되어 있었던 MP4 파일을 하나의 MP4 파일로서 통합한 점을 제외하고, 그 기본적 구성이 도 53의 MP4 파일과 마찬가지이다.
또한, 도 55의 각 MP4 파일의 파일명을 위에서부터 순차적으로, bitstream_base.mp4, bitstream_tile1.mp4, bitstream_tile2.mp4, bitstream_tile3.mp4, bitstream_tile4.mp4라고 한다.
<복수 파일 복수 트랙(트랙 레퍼런스와 엑스트랙터에 의한 참조)의 경우: MPD>
도 55의 MP4 파일의 MPD도, 상술한 엑스트랙터에 의한 참조의 경우와 마찬가지로, 어댑테이션 세트(AdaptationSet)의 서플리멘털 프로퍼티(SupplementalProperty)나 에센셜 프로퍼티(EssentialProperty)가 확장된다. 도 56에 그 예를 도시한다. 도 56의 MPD는, 도 54의 MPD와 마찬가지로 구성되어 있다.
도 56의 MPD에 의해 도 55의 MP4 파일을 관리할 수 있다.
<복수 파일 복수 트랙(트랙 레퍼런스와 엑스트랙터에 의한 참조)의 경우: MPD의 이용>
또한, 이러한 확장된 MPD의 생성은, 제1 실시 형태의 경우와 마찬가지로 행할 수 있다. 예를 들어, 배신 데이터 생성 장치(101)(도 12)가, 배신 데이터 생성 처리(도 14)를 실행하고, 그 타일형 MPD 생성부(141)(타일형 화상 정보 생성부(124))(도 12)가, 타일형 MPD 파일 생성 처리(도 15)를 실행함으로써, 이러한 확장된 MPD를 생성할(MPD를 확장할) 수 있다. 따라서, 이 경우에도, 배신 데이터 생성 장치(101)는, 배신 서버(102)에, 부분 화상의 데이터를, DASH 규격에 준거하여 적응적으로 배신(제공)시킬 수 있다. 즉, 부분 화상 데이터의 적응적인 제공을 실현할 수 있다.
또한, 이러한 확장된 MPD를 이용한 배신 데이터의 재생도, 제1 실시 형태의 경우와 마찬가지로 행할 수 있다. 예를 들어, 단말 장치(103)(도 13)가 배신 데이터 재생 처리(도 16)를 실행함으로써, 이러한 확장된 MPD를 정확하게 해석하고, 배신 서버(102)에 의한 부분 화상 데이터의 DASH 규격에 준거한 적응적인 배신(제공)을 받을 수 있다. 즉, 배신 서버(102)로부터 정확하게 부분 화상의 데이터를 취득하여, 재생할 수 있다. 즉, 부분 화상의 데이터의 적응적인 제공을 실현할 수 있다.
이와 같이, 도 53 내지 도 56의 예에 있어서는, 부분 화상 정보가 트랙 레퍼런스와 엑스트랙터를 포함하고, 트랙 레퍼런스와 엑스트랙터는, 복수의 부분 화상의 각각에 대응하는 각 트랙에 저장되고, 부분 화상의 슬라이스를 저장하는 트랙을 참조한다.
본 기술의 적용 범위는, 부분 화상을 제공하거나, 또는 수취하거나 할 수 있는 모든 정보 처리 장치에 적용할 수 있다.
<6. 제6 실시 형태>
<컴퓨터>
상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서 컴퓨터에는, 전용 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용 파스널 컴퓨터 등이 포함된다.
도 57은, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
도 57에 도시되는 컴퓨터(500)에 있어서, CPU(Central Processing Unit)(501), ROM(Read Only Memory)(502), RAM(Random Access Memory)(503)은, 버스(504)를 통하여 서로 접속되어 있다.
버스(504)에는 또한, 입출력 인터페이스(510)도 접속되어 있다. 입출력 인터페이스(510)에는, 입력부(511), 출력부(512), 기억부(513), 통신부(514) 및 드라이브(515)가 접속되어 있다.
입력부(511)는, 예를 들어 키보드, 마우스, 마이크로폰, 터치 패널, 입력 단자 등을 포함한다. 출력부(512)는, 예를 들어 디스플레이, 스피커, 출력 단자 등을 포함한다. 기억부(513)는, 예를 들어 하드 디스크, RAM 디스크, 불휘발성 메모리 등을 포함한다. 통신부(514)는, 예를 들어 네트워크 인터페이스를 포함한다. 드라이브(515)는 자기 디스크, 광 디스크, 광자기 디스크 또는 반도체 메모리 등의 리무버블 미디어(521)를 구동한다.
이상과 같이 구성되는 컴퓨터에서는, CPU(501)가, 예를 들어 기억부(513)에 기억되어 있는 프로그램을, 입출력 인터페이스(510) 및 버스(504)를 통해서, RAM(503)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다. RAM(503)에는 또한, CPU(501)가 각종 처리를 실행하는 데 있어서 필요한 데이터 등도 적절히 기억된다.
컴퓨터(CPU(501))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(521)에 기록하여 적용할 수 있다. 그 경우, 프로그램은, 리무버블 미디어(521)를 드라이브(515)에 장착함으로써, 입출력 인터페이스(510)를 통하여, 기억부(513)에 인스톨할 수 있다.
또한, 이 프로그램은, 로컬에리어 네트워크, 인터넷, 디지털 위성 방송 등의, 유선 또는 무선의 전송 매체를 통하여 제공할 수도 있다. 그 경우, 프로그램은, 통신부(514)에서 수신하고, 기억부(513)에 인스톨할 수 있다.
기타, 이 프로그램은, ROM(502)이나 기억부(513)에, 미리 인스톨해 둘 수도 있다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라서 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 또는 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
또한, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은, 기재된 순서에 따라서 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬적 또는 개별로 실행되는 처리도 포함하는 것이다.
<7. 제7 실시 형태>
<다시점 화상 부호화·다시점 화상 복호의 적용>
상술한 일련의 처리에 관계되는 화상 부호화·화상 복호의 방식으로서, 다시점 화상 부호화·다시점 화상 복호를 적용할 수 있다. 도 58은, 다시점 화상 부호화 방식의 일례를 도시한다.
도 58에 도시되는 바와 같이, 다시점 화상은, 복수의 시점(뷰(view))의 화상을 포함한다. 이 다시점 화상의 복수의 뷰는, 다른 뷰의 화상을 이용하지 않고 자신의 뷰의 화상만을 사용하여 부호화·복호를 행하는 베이스 뷰와, 다른 뷰의 화상을 이용하여 부호화·복호를 행하는 논베이스 뷰를 포함한다. 논베이스 뷰는, 베이스 뷰의 화상을 이용하도록 해도 되고, 다른 논베이스 뷰의 화상을 이용하도록 해도 된다.
도 58과 같은 다시점 화상의 배신에 있어서, 상술한 각 실시 형태의 방법을 적용하도록 해도 된다. 이와 같이 함으로써, 다시점 화상에 대해서도, 부분 화상 데이터의 적응적인 제공을 실현할 수 있다.
또한, 상술한 각 실시 형태의 방법에서 사용되는 플래그나 파라미터(예를 들어, 부호화 정보로서의 VPS, SPS 등) 등의 부호화·복호에 필요한 정보를, 각 뷰의 부호화·복호에 있어서 공유하도록 해도 된다. 이와 같이 함으로써, 용장성이 있는 정보의 전송을 억제하여, 부호화 효율의 저감을 억제할 수 있다.
<다시점 화상 부호화 장치>
도 59는, 상술한 다시점 화상 부호화를 행하는 다시점 화상 부호화 장치를 도시하는 도면이다. 도 59에 도시되는 바와 같이, 다시점 화상 부호화 장치(600)는, 부호화부(601), 부호화부(602) 및 다중화부(603)을 갖는다.
부호화부(601)는, 베이스 뷰 화상을 부호화하여, 베이스 뷰 화상 부호화 스트림을 생성한다. 부호화부(602)는, 논베이스 뷰 화상을 부호화하여, 논베이스 뷰 화상 부호화 스트림을 생성한다. 다중화부(603)는, 부호화부(601)에 있어서 생성된 베이스 뷰 화상 부호화 스트림과, 부호화부(602)에 있어서 생성된 논베이스 뷰 화상 부호화 스트림을 다중화하여, 다시점 화상 부호화 스트림을 생성한다.
이러한 다시점 화상 부호화 장치(600)를, 예를 들어 배신 데이터 생성 장치(101)(도 11)의 화상 부호화부(122)(의 부호화 처리부의 하나)(도 12)로서 적용하도록 해도 된다. 이와 같이 함으로써, 다시점 화상의 배신에 있어서도, 상술한 각 실시 형태의 방법을 적용할 수 있고, 부분 화상 데이터의 적응적인 제공을 실현할 수 있다.
<다시점 화상 복호 장치>
도 60은, 상술한 다시점 화상 복호를 행하는 다시점 화상 복호 장치를 도시하는 도면이다. 도 60에 도시되는 바와 같이, 다시점 화상 복호 장치(610)는, 역다중화부(611), 복호부(612) 및 복호부(613)를 갖는다.
역다중화부(611)는, 베이스 뷰 화상 부호화 스트림과 논베이스 뷰 화상 부호화 스트림이 다중화된 다시점 화상 부호화 스트림을 역다중화하고, 베이스 뷰 화상 부호화 스트림과, 논베이스 뷰 화상 부호화 스트림을 추출한다. 복호부(612)는, 역다중화부(611)에 의해 추출된 베이스 뷰 화상 부호화 스트림을 복호하여, 베이스 뷰 화상을 얻는다. 복호부(613)는, 역다중화부(611)에 의해 추출된 논베이스 뷰 화상 부호화 스트림을 복호하여, 논베이스 뷰 화상을 얻는다.
이러한 다시점 화상 복호 장치(610)를, 예를 들어 단말 장치(103)(도 11)의 화상 복호부(155)(의 복호 처리부 중 하나)로서 적용하도록 해도 된다. 이와 같이 함으로써, 다시점 화상의 배신에 있어서도, 상술한 각 실시 형태의 방법을 적용할 수 있고, 부분 화상의 데이터의 적응적인 제공을 실현할 수 있다.
<8. 제8 실시 형태>
<계층 화상 부호화·계층 화상 복호의 적용>
상술한 일련의 처리에 관계되는 화상 부호화·화상 복호의 방식으로서, 계층 화상 부호화·계층 화상 복호(스케일러블 부호화·스케일러블 복호)를 적용할 수 있다. 도 61은, 계층 화상 부호화 방식의 일례를 도시한다.
계층 화상 부호화(스케일러블 부호화)는, 화상 데이터를, 소정의 파라미터에 대하여 스케일러블(scalable) 기능을 갖도록, 화상을 복수 레이어화(계층화)하고, 레이어마다 부호화하는 것이다. 계층 화상 복호(스케일러블 복호)는, 그 계층 화상 부호화에 대응하는 복호이다.
화상의 계층화는, 화상에 관한 파라미터이며, 스케일러블 기능을 갖는 소정의 파라미터를 변화시킴으로써 행해진다. 즉, 도 61에 도시되는 바와 같이, 계층화된 화상(계층 화상)은, 스케일러블 기능을 갖는 소정의 파라미터의 값이 서로 상이한 복수의 화상에 의해 구성된다. 그들 복수의 화상의 각 화상이 각각 계층(레이어)으로 된다.
계층 화상의 복수의 레이어는, 부호화·복호 시에 다른 레이어의 정보를 이용하지 않고 자신의 레이어 정보만을 사용하는 베이스 레이어와, 부호화·복호 시에 다른 레이어의 정보를 이용할 수 있는 논베이스 레이어(인핸스먼트 레이어라고도 칭함)를 포함한다. 논베이스 레이어는, 베이스 레이어의 정보를 이용할 수도 있고, 다른 논베이스 레이어의 정보를 이용할 수도 있다.
계층 화상 부호화는, 이러한 계층 화상을 부호화하는 처리이다. 예를 들어, 베이스 레이어의 화상이 베이스 레이어의 정보만을 사용하여 부호화되고, 베이스 레이어의 부호화 데이터가 생성된다. 또한, 예를 들어 논베이스 레이어의 화상이 베이스 레이어의 정보와 논베이스 레이어의 정보를 사용하여 부호화되고, 논베이스 레이어의 부호화 데이터가 생성된다.
계층 화상 복호는, 계층 화상 부호화된 부호화 데이터를 복호하고, 임의의 레이어의 복호 화상을 생성하는 처리이다. 예를 들어, 베이스 레이어의 부호화 데이터가 복호되고, 베이스 레이어의 복호 화상이 생성된다. 또한, 예를 들어 베이스 레이어의 부호화 데이터가 복호되고, 그 베이스 레이어의 정보를 사용하여 논베이스 레이어의 부호화 데이터가 복호되고, 논베이스 레이어의 복호 화상이 생성된다.
이와 같이, 계층 부호화에 의해 부호화 데이터가 레이어별로 나누어 생성되므로, 복호 시에는, 반드시 모든 레이어의 부호화 데이터가 필요하지는 않고, 원하는 복호 화상을 얻기 위하여 필요한 레이어의 부호화 데이터만이 얻어지면 된다. 따라서, 부호화측으로부터 복호측으로의 데이터 전송량의 증대를 억제할 수 있다.
또한, 이러한 부호화·복호에 사용되는 다른 레이어의 정보는 임의이지만, 예를 들어 화상(예를 들어 복호 화상)이어도 된다. 예를 들어, 다른 레이어의 화상을 사용하여 레이어 사이에서의 예측을 행하도록 해도 된다. 이와 같이 함으로써, 레이어 사이의 용장성을 저감시킬 수 있다. 특히 논베이스 레이어의 부호량의 증대를 억제할 수 있다. 또한, 이러한 레이어 사이의 정보의 이용(예를 들어, 레이어간 예측 등)은, 동화상의 모든 픽처에 있어서 행해지도록 해도 되고, 도 61에 도시되는 바와 같이, 일부 픽처에 있어서 행해지도록 해도 된다.
상술한 바와 같이, 계층 화상의 각 레이어의 화상은, 스케일러블 기능을 갖는 소정의 파라미터에 대하여 품질이 서로 상이하다. 즉, 계층 화상을 계층 화상 부호화·계층 화상 복호함으로써, 상황에 따라서 다양한 품질의 화상을 용이하게 얻을 수 있다. 각 레이어의 품질의 설정은 임의이지만, 일반적으로는, 베이스 레이어의 화상 쪽이, 그 베이스 레이어의 정보를 이용하는 인핸스먼트 레이어의 화상보다도 저품질로 설정된다.
예를 들어 휴대 전화와 같은, 처리 능력이 낮은 단말기에 대해서는, 베이스 레이어(base layer)만의 화상 압축 정보(부호화 데이터)를 전송하도록 하고, 텔레비전이나 파스널 컴퓨터와 같은, 처리 능력이 높은 단말기에 대해서는, 베이스 레이어(base layer) 외에, 인핸스먼트 레이어(enhancement layer)의 화상 압축 정보(부호화 데이터)를 전송하도록 해도 된다.
일반적으로, 저품질의 화상을 재생하는 처리 쪽이, 고품질의 화상을 재생하는 처리보다도 부하가 작다. 따라서, 이와 같이 전송함으로써, 예를 들어 처리 능력이 낮은 단말기에 저품질의 동화상을 재생시키고, 처리 능력이 높은 단말기에 고품질의 동화상을 재생시키는 등, 각 단말기에 대하여, 그 능력에 따른 재생 처리를 실행시킬 수 있다. 즉, 보다 다양한 처리 능력의 단말기에 대하여, 동화상의 재생을 정상적으로(실패하지 않고) 실행시킬 수 있다. 또한, 상술한 바와 같이, 각 단말기에 대하여 필요한 레이어의 부호화 데이터만을 전송하면 되므로, 전송하는 부호화 데이터의 데이터양(전송량)의 증대를 억제할 수 있다. 또한, 상술한 바와 같이, 다른 레이어의 정보를 이용함으로써, 부호량의 증대를 억제할 수 있다. 그리고, 계층 부호화·계층 복호의 경우, 이러한 단말기에 따른 데이터 배신을, 트랜스 코드 처리를 필요로 하지 않고 실현할 수 있다.
도 61과 같은 계층 화상의 배신에 있어서, 상술한 각 실시 형태의 방법을 적용하도록 해도 된다. 이와 같이 함으로써, 계층 화상에 대해서도, 부분 화상의 데이터의 적응적인 제공을 실현할 수 있다.
또한, 상술한 각 실시 형태의 방법에서 사용되는 플래그나 파라미터(예를 들어, 부호화 정보로서의 VPS, SPS 등) 등의 부호화·복호에 필요한 정보를, 각 레이어의 부호화·복호에 있어서 공유하도록 해도 된다. 이와 같이 함으로써, 용장성이 있는 정보의 전송을 억제하여, 부호화 효율의 저감을 억제할 수 있다.
<스케일러블한 파라미터>
이러한 계층 화상 부호화·계층 화상 복호(스케일러블 부호화·스케일러블 복호)에 있어서, 스케일러블(scalable) 기능을 갖는 파라미터는, 임의이다. 예를 들어, 도 62에 도시되는 바와 같은 공간 해상도를 그 파라미터로 해도 된다(spatial scalability). 이 스페이셜 스케일러빌리티(spatial scalability)의 경우, 레이어마다의 공간적인 해상도(즉 픽처의 화소수)가 상이하다. 도 62의 예에서는, 각 픽처가, 저해상도의 베이스 레이어와, 고해상도의 인핸스먼트 레이어의 2계층으로 계층화되어 있다. 물론, 이 계층수는 일례이며, 임의의 계층수로 계층화할 수 있다.
또한, 이러한 스케일러블성을 갖게 하는 파라미터로서, 예를 들어 도 63에 도시되는 바와 같은, 시간 해상도를 적용해도 된다(temporal scalability). 이 템포럴 스케일러빌리티(temporal scalability)의 경우, 레이어마다 시간적인 해상도(즉 프레임 레이트)가 상이하다. 도 63의 예의 경우, 저 프레임 레이트(7.5fps)의 레이어, 중 프레임 레이트(15fps)의 레이어, 고 프레임 레이트의 레이어(30fps)의 3계층으로 계층화되어 있다. 물론, 이 계층수는 일례이며, 임의의 계층수로 계층화할 수 있다.
또한, 이러한 스케일러블성을 갖게 하는 파라미터로서, 예를 들어 도 64에 도시되는 바와 같은, 신호 잡음비(SNR(Signal to Noise ratio))를 적용해도 된다(SNR scalability). 이 SNR 스케일러빌리티(SNR scalability)의 경우, 레이어마다 SN비가 상이하다. 도 64의 예의 경우, 각 픽처가, SNR이 낮은 베이스 레이어와, SNR이 높은 인핸스먼트 레이어의 2계층으로 계층화되어 있다. 물론, 이 계층수는 일례이며, 임의의 계층수로 계층화할 수 있다.
스케일러블성을 갖게 하는 파라미터는, 상술한 예 이외여도, 물론 된다. 예를 들어, 스케일러블성을 갖게 하는 파라미터로서, 비트 심도를 사용할 수도 있다(bit-depth scalability). 이 비트 심도 스케일러빌리티(bit-depth scalability)의 경우, 레이어마다 비트 심도가 상이하다. 예를 들어, 베이스 레이어(base layer)가 8비트(bit) 화상을 포함하고, 인핸스먼트 레이어(enhancement layer)가 10비트(bit) 화상을 포함하도록 해도 된다. 물론, 이 계층수는 일례이며, 임의의 계층수로 계층화할 수 있다. 또한, 각 계층의 비트 심도도 임의이며, 상술한 예에 한정되지 않는다.
예를 들어, 베이스 레이어를 표준적인 다이내믹 레인지를 갖는 SDR(Standard Dynamic Range) 화상으로 하고, 인핸스먼트 레이어를 보다 폭 넓은 다이내믹 레인지를 갖는 HDR(High Dynamic Range) 화상으로 해도 된다. 이 SDR 화상을, 예를 들어 8비트나 16비트의 정수 정밀도의 화상 데이터로 하고, HDR 화상을, 예를 들어 32비트의 부동 소수점 정밀도의 화상 데이터로 해도 된다.
또한, 스케일러블성을 갖게 하는 파라미터로서, 예를 들어 크로마 포맷을 사용할 수도 있다(chroma scalability). 이 크로마 스케일러빌리티(chroma scalability)의 경우, 레이어마다 크로마 포맷이 상이하다. 예를 들어, 베이스 레이어(base layer)가 4:2:0 포맷의 컴포넌트 화상을 포함하고, 인핸스먼트 레이어(enhancement layer)가 4:2:2 포맷의 컴포넌트 화상을 포함하도록 해도 된다. 물론, 이 계층수는 일례이며, 임의의 계층수로 계층화할 수 있다. 또한, 각 계층의 크로마 포맷도 임의이며, 상술한 예에 한정되지 않는다.
또한, 스케일러블성을 갖게 하는 파라미터로서, 예를 들어 색 영역을 사용하도록 해도 된다. 예를 들어, 인핸스먼트 레이어의 색 영역이, 베이스 레이어의 색 영역을 포함하도록(즉, 베이스 레이어의 색 영역보다도 넓도록) 해도 된다.
<계층 화상 부호화 장치>
도 65는, 상술한 계층 화상 부호화를 행하는 계층 화상 부호화 장치를 도시하는 도면이다. 도 65에 도시되는 바와 같이, 계층 화상 부호화 장치(620)는, 부호화부(621), 부호화부(622) 및 다중화부(623)를 갖는다.
부호화부(621)는, 베이스 레이어 화상을 부호화하고, 베이스 레이어 화상 부호화 스트림을 생성한다. 부호화부(622)는, 논베이스 레이어 화상을 부호화하고, 논베이스 레이어 화상 부호화 스트림을 생성한다. 다중화부(623)는, 부호화부(621)에 있어서 생성된 베이스 레이어 화상 부호화 스트림과, 부호화부(622)에 있어서 생성된 논베이스 레이어 화상 부호화 스트림을 다중화하고, 계층 화상 부호화 스트림을 생성한다.
이러한 계층 화상 부호화 장치(620)를, 예를 들어 배신 데이터 생성 장치(101)(도 11)의 화상 부호화부(122)(의 부호화 처리부 중 하나)(도 12)로서 적용하도록 해도 된다. 이와 같이 함으로써, 계층 화상의 배신에 있어서도, 상술한 각 실시 형태의 방법을 적용할 수 있고, 부분 화상 데이터의 적응적인 제공을 실현할 수 있다.
<계층 화상 복호 장치>
도 66은, 상술한 계층 화상 복호를 행하는 계층 화상 복호 장치를 도시하는 도면이다. 도 66에 도시되는 바와 같이, 계층 화상 복호 장치(630)는, 역다중화부(631), 복호부(632) 및 복호부(633)를 갖는다.
역다중화부(631)는, 베이스 레이어 화상 부호화 스트림과 논베이스 레이어 화상 부호화 스트림이 다중화된 계층 화상 부호화 스트림을 역다중화하고, 베이스 레이어 화상 부호화 스트림과, 논베이스 레이어 화상 부호화 스트림을 추출한다. 복호부(632)는, 역다중화부(631)에 의해 추출된 베이스 레이어 화상 부호화 스트림을 복호하여, 베이스 레이어 화상을 얻는다. 복호부(633)는, 역다중화부(631)에 의해 추출된 논베이스 레이어 화상 부호화 스트림을 복호하여, 논베이스 레이어 화상을 얻는다.
이러한 계층 화상 복호 장치(630)를, 예를 들어 단말 장치(103)(도 11)의 화상 복호부(155)(의 복호 처리부 중 하나)로서 적용하도록 해도 된다. 이와 같이 함으로써, 계층 화상의 배신에 있어서도, 상술한 각 실시 형태의 방법을 적용할 수 있고, 부분 화상의 데이터의 적응적인 제공을 실현할 수 있다.
상술한 실시 형태에 따른 화상 부호화 장치 및 화상 복호 장치는, 위성 방송, 케이블 TV 등의 유선 방송, 인터넷 상에서의 배신 및, 셀룰러 통신에 의한 단말기로의 배신 등에 있어서의 송신기 또는 수신기, 광 디스크, 자기 디스크 및 플래시 메모리 등의 매체에 화상을 기록하는 기록 장치, 또는, 이들 기억 매체로부터 화상을 재생하는 재생 장치 등의 다양한 전자 기기에 응용될 수 있다. 이하, 2개의 응용예에 대하여 설명한다.
<9. 응용예>
<제1 응용예: 텔레비전 수상기>
도 67은, 상술한 실시 형태를 적용한 텔레비전 장치의 개략적인 구성의 일례를 도시하고 있다. 텔레비전 장치(900)는, 안테나(901), 튜너(902), 디멀티플렉서(903), 디코더(904), 영상 신호 처리부(905), 표시부(906), 음성 신호 처리부(907) 및 스피커(908)를 갖는다. 또한, 텔레비전 장치(900)는, 외부 인터페이스(I/F)부(909), 제어부(910), 유저 인터페이스(I/F)부(911) 및 버스(912)를 갖는다. 또한, 텔레비전 장치(900)는, MP4 처리부(914) 및 MPEG-DASH 처리부(915)를 갖는다.
튜너(902)는, 안테나(901)를 통하여 수신되는 방송파 신호로부터 원하는 채널(선국한 채널)의 신호를 추출하고, 추출한 신호를 복조한다. 튜너(902)는 복조하여 얻어진 부호화 비트 스트림을 디멀티플렉서(903)로 출력한다.
디멀티플렉서(903)는, 부호화 비트 스트림으로부터 시청 대상 프로그램의 영상 스트림 및 음성 스트림을 분리하고, 분리한 각 스트림을 디코더(904)로 출력한다. 또한, 디멀티플렉서(903)는, 부호화 비트 스트림으로부터 EPG(Electronic Program Guide) 등의 보조적인 데이터를 추출하고, 추출한 데이터를 제어부(910)에 공급한다. 또한, 부호화 비트 스트림에 스크램블이 실시되어 있을 경우, 디멀티플렉서(903)가, 그 부호화 비트 스트림에 대하여 디스크램블을 행하도록 해도 된다.
디코더(904)는, 디멀티플렉서(903)로부터 입력되는 영상 스트림 및 음성 스트림을 복호한다. 디코더(904)는, 필요에 따라, MP4 처리부(914)나 MPEG-DASH 처리부(915)를 이용하여 복호를 행한다. 그리고, 디코더(904)는, 복호 처리에 의해 생성되는 영상 데이터를 영상 신호 처리부(905)로 출력한다. 또한, 디코더(904)는, 복호 처리에 의해 생성되는 음성 데이터를 음성 신호 처리부(907)로 출력한다.
영상 신호 처리부(905)는, 디코더(904)로부터 입력되는 영상 데이터를 재생하고, 표시부(906)에 화상을 표시시킨다. 또한, 영상 신호 처리부(905)는, 예를 들어 수신부(913)를 통하여 외부로부터 공급된 영상 데이터를 재생하고, 그 화상을 표시부(906)에 표시시킬 수도 있다. 또한, 영상 신호 처리부(905)는, 예를 들어 수신부(913)를 통하여 외부로부터 공급된 어플리케이션을 실행해 화상을 생성하고, 그 화상을 표시부(906)에 표시시킬 수도 있다.
이들과 같은 영상 데이터의 재생이나 화상의 생성에 있어서, 영상 신호 처리부(905)는, 표시부(906)에 표시시키는 화상에 대하여, 예를 들어 노이즈 제거 등의 추가적인 처리를 행할 수도 있다. 또한, 영상 신호 처리부(905)는, 예를 들어 메뉴, 버튼 또는 커서 등의 GUI(Graphical User Interface)의 화상을 생성하고, 그 화상을 표시부(906)에 표시시키는 화상에 중첩할 수도 있다.
음성 신호 처리부(907)는, 디코더(904)로부터 입력되는 음성 데이터에 대하여 D/A 변환 및 증폭 등의 재생 처리를 행하고, 스피커(908)로부터 음성을 출력시킨다. 또한, 음성 신호 처리부(907)는, 예를 들어 수신부(913)를 통하여 외부로부터 공급된 음성 데이터를 재생하고, 그 음성을 스피커(908)로부터 출력시킬 수도 있다. 또한, 음성 신호 처리부(907)는, 예를 들어 수신부(913)를 통하여 외부로부터 공급된 어플리케이션을 실행해 음성을 생성하고, 그 음성을 스피커(908)로부터 출력시킬 수도 있다.
이들과 같은 음성 데이터의 재생이나 음성의 생성에 있어서, 음성 신호 처리부(907)는, 스피커(908)로부터 출력시키는 음성에 대하여 예를 들어 노이즈 제거 등의 추가적인 처리를 행할 수도 있다.
외부 인터페이스부(909)는, 텔레비전 장치(900)와 외부 기기 또는 네트워크를 접속하기 위한 인터페이스이다. 외부 기기는, 예를 들어 컴퓨터, USB(Universal Serial Bus)나 IEEE1394 등의 소정 규격의 통신 케이블을 통하여 접속되는 외장형 HDD(Hard Disk Drive)나 외장형 광디스크 드라이브, 또는 NAS(Network Attached Storage) 등, 텔레비전 장치(900)와 정보를 수수할 수 있는 것이라면 어떤 전자 기기여도 된다.
또한, 네트워크는, 통신 매체가 되는 통신망이다. 이 네트워크는, 어떤 통신망이어도 되고, 유선 통신망이어도 되며, 무선 통신망이어도 되고, 그들 양쪽이어도 된다. 예를 들어, 유선 LAN(Local Area Network), 무선 LAN, 공중 전화 회선망, 소위 3G 회선이나 4G 회선 등의 무선 이동체용 광역 통신망, 또는 인터넷 등이어도 되고, 그들의 조합이어도 된다. 또한, 이 네트워크는, 단수의 통신망이어도 되고, 복수의 통신망이어도 된다. 예를 들어, 이 네트워크가, 서버나 중계 장치 등을 통하여 서로 접속되는 복수의 통신망에 의해 구성되도록 해도 된다. 또한, 예를 들어 이 네트워크는, 그 일부 또는 전부가, 예를 들어 USB(Universal Serial Bus) 케이블이나 HDMI(등록 상표)(High-Definition Multimedia Interface) 케이블 등과 같은, 소정 규격의 통신 케이블에 의해 구성되도록 해도 된다. 또한, 예를 들어 이 네트워크는, 그 일부 또는 전부가, IEEE(Institute of Electrical and Electronic Engineers) 802.11 무선 LAN의 애드혹 모드, IrDA(InfraRed Data Association)와 같은 적외선 등의 광통신, 또는 Bluetooth(등록 상표) 등의 소정의 규격에 준거하는 방법이어도 되고, 독자적인 통신 방식인 무선 통신에 의해 구성되도록 해도 된다.
이 네트워크에는, 텔레비전 장치(900) 외에, 다른 장치(외부 기기) 등이 접속되고, 텔레비전 장치(900)는, 이 네트워크를 통하여 그 외부 기기와 통신을 행할(정보를 수수할) 수 있다.
외부 인터페이스부(909)는, 외부 기기로부터 통신 케이블이나 네트워크를 통하여 공급되는 부호화 비트 스트림을 수신할 수 있다. 외부 인터페이스부(909)는, 부호화 비트 스트림을 수신하면, 그 부호화 비트 스트림을, 버스(912)를 통하여 디멀티플렉서(903)에 공급한다.
디멀티플렉서(903)는, 그 부호화 비트 스트림을, 튜너(902)로부터 공급되는 부호화 비트 스트림과 마찬가지로 처리하고, 영상 스트림과 음성 스트림을 분리하거나, EPG 등의 보조적인 데이터를 추출하거나, 디스크램블을 행하거나 한다. 이와 같이, 텔레비전 장치(900)는, 부호화 비트 스트림을 포함하는 방송파 신호를 수신할 뿐만 아니라, 네트워크를 통하여 전송되는 부호화 비트 스트림을 수신하고, 그 부호화 비트 스트림을 복호하여, 그 영상이나 음성을 출력할 수 있다.
즉, 안테나(901)나 외부 인터페이스부(909)는, 텔레비전 장치(900)에 있어서의 수신부로서 기능한다.
또한, 텔레비전 장치(900)는, 외부 인터페이스부(909)를 통하여 외부 기기에 정보를 송신할 수도 있다. 이 정보는 임의이다. 예를 들어, 영상이나 음성 등의 콘텐츠의 요구여도 되고, 통신을 확립하기 위하여 필요한 텔레비전 장치(900)의 통신 기능에 관한 정보여도 되며, 텔레비전 장치(900)가 갖는 복호 기능이나 화상 표시 기능이나 음성 출력 기능 등에 관한 정보여도 된다. 또한, 텔레비전 장치(900)가, 안테나(901)를 통하여 수신된 부호화 비트 스트림을, 이 외부 인터페이스부(909)를 통하여 외부 기기에 송신할 수 있도록 해도 된다. 즉, 외부 인터페이스부(909)가, 텔레비전 장치(900)에 있어서의 송신부로서 기능하도록 해도 된다.
제어부(910)에는 유저 인터페이스부(911)가 접속되어 있다. 유저 인터페이스부(911)는, 조작 스위치나 리모트 컨트롤 신호 수신부 등으로 구성되어 있고, 유저 조작에 따른 조작 신호를 제어부(910)에 공급한다.
제어부(910)는, CPU나 메모리 등을 사용하여 구성되어 있다. 메모리는, CPU에 의해 실행되는 프로그램이나 CPU가 처리를 행하는 데 있어서 필요한 각종 데이터, EPG 데이터, 외부 인터페이스부(909)를 통하여 취득된 데이터 등을 기억한다. 메모리에 기억되어 있는 프로그램은, 텔레비전 장치(900)의 기동 시 등의 소정 타이밍에 CPU에 의해 판독되어 실행된다. CPU는, 프로그램을 실행함으로써, 텔레비전 장치(900)가 유저 조작에 따른 동작이 되도록 각 부를 제어한다.
또한, 텔레비전 장치(900)에서는, 튜너(902), 디멀티플렉서(903), 영상 신호 처리부(905), 음성 신호 처리부(907), 외부 인터페이스부(909) 등과 제어부(910)를 접속하기 위하여 버스(912)가 설치되어 있다.
안테나(901) 또는 외부 인터페이스부(909)를 통하여 수신된 영상 스트림이 MP4 파일인 경우, 디코더(904)는, 그 MP4 파일을 MP4 처리부(914)에 공급한다. MP4 처리부(914)는, 공급된 MP4 파일을 해석하고, MP4 파일에 포함되는 부호화 데이터를 복호한다. MP4 처리부(914)는, 복호하여 얻어진 화상 데이터를 디코더(904)에 공급한다. 디코더(904)는 그 화상 데이터를 영상 신호 처리부(905)에 공급한다.
이러한 MP4 처리부(914)의 처리로서, 상술한 각 실시 형태의 방법을 적용하도록 해도 된다. 즉, MP4 처리부(914)가, 단말 장치(103)(도 11)의 파일 취득부(154), 화상 복호부(155) 및 타일 화상 합성부(156)(도 13)를 갖도록 해도 된다. 이 경우, MP4 처리부(914)는, 원하는 범위에 포함되는 타일의 데이터를 포함하는 MP4 파일을 디코더(904) 등을 통하여 취득하고, 그 타일의 부호화 데이터를 추출하여 복호하고, 얻어진 타일의 화상 데이터(타일 화상)를 적절히 합성하여 원하는 범위의 화상 데이터를 생성하고, 그 화상 데이터를 디코더(904)에 공급한다. 이와 같이 함으로써, MP4 처리부(914)가, 각 실시 형태에 있어서 상술한 각종 MP4 파일을 처리하여, 원하는 화상 데이터를 얻을 수 있다. 즉, 텔레비전 장치(900)는, 부분 화상의 데이터의 적응적인 제공을 실현할 수 있다.
또한, 안테나(901) 또는 외부 인터페이스부(909)를 통하여 수신된 영상 스트림이 MPD 파일인 경우, 디코더(904)는 그 MPD 파일을 MPEG-DASH 처리부(915)에 공급한다. MPEG-DASH 처리부(915)는, 공급된 MPD를 해석하고, 그 MPD에 기초하여, 원하는 화상 데이터를 취득한다. 예를 들어, 화상 데이터가 부호화된 부호화 데이터를 포함하는 MP4 파일이 MPD에 의해 관리되고 있는 경우, MPEG-DASH 처리부(915)는, 그 MPD에 기초하여 원하는 화상에 대응하는 MP4 파일을 취득하고, 그 MP4 파일에 포함되는 부호화 데이터를 복호하고, 복호하여 얻어진 화상 데이터를 디코더(904)에 공급한다. 디코더(904)는, 그 화상 데이터를 영상 신호 처리부(905)에 공급한다.
이러한 MPEG-DASH 처리부(915)의 처리로서, 상술한 각 실시 형태의 방법을 적용하도록 해도 된다. 즉, MPEG-DASH 처리부(915)가, 단말 장치(103)(도 11)의 MPD 취득부(151) 내지 타일 화상 합성부(156)(도 13의 표시부(157) 이외의 각 처리부)를 갖도록 해도 된다. MPEG-DASH 처리부(915)는, MPD를 해석하고, 원하는 범위에 포함되는 타일의 데이터를 포함하는 MP4 파일을 디코더(904) 등을 통하여 취득하고, 그 타일의 부호화 데이터를 추출하여 복호하고, 얻어진 타일의 화상 데이터(타일 화상)를 적절히 합성하여 원하는 범위의 화상 데이터를 생성하고, 그 화상 데이터를 디코더(904)에 공급한다. 이와 같이 함으로써, MPEG-DASH 처리부(915)가, 각 실시 형태에 있어서 상술한 각종 MPD를 처리하고, 원하는 화상 데이터를 얻을 수 있다. 즉, 텔레비전 장치(900)는, 부분 화상 데이터의 적응적인 제공을 실현할 수 있다.
<제2 응용예: 휴대 전화기>
도 68은, 본 개시를 적용한 휴대 전화기의 개략 구성을 예시하고 있다. 휴대 전화기(920)는, 통신부(922), 음성 코덱(923), 카메라부(926), 화상 처리부(927), 다중 분리부(928), 기록 재생부(929), 표시부(930), 제어부(931)를 갖고 있다. 이들은, 버스(933)를 통하여 서로 접속되어 있다.
또한, 통신부(922)에는 안테나(921)가 접속되어 있고, 음성 코덱(923)에는, 스피커(924)와 마이크로폰(925)이 접속되어 있다. 또한 제어부(931)에는, 조작부(932)가 접속되어 있다.
또한, 휴대 전화기(920)는, MP4 처리부(934) 및 MPEG-DASH 처리부(935)를 갖는다. MP4 처리부(934) 및 MPEG-DASH 처리부(935)는, 버스(933)에 접속되어 있다.
통신부(922)는, 안테나(921)를 통한 무선 신호의 송수신에 관한 처리를 행한다. 음성 코덱(923)은, 음성 데이터의 부호화나, 음성 데이터가 부호화된 음성 부호화 데이터의 복호 등에 관한 처리를 행한다. 카메라부(926)는, 피사체를 촬상하고, 화상 데이터를 생성하는 등의, 촬상에 관한 처리를 행한다.
화상 처리부(927)는, 화상 데이터에 대한 처리를 행한다. 예를 들어, 화상 처리부(927)는, 화상 데이터에 대하여 임의의 화상 처리를 행할 수 있다. 또한 화상 처리부(927)는, 화상 데이터를 부호화하거나, 화상 데이터가 부호화된 부호화 데이터를 복호하거나 할 수도 있다.
다중 분리부(928)는, 예를 들어 화상 데이터와 음성 데이터 등, 복수 데이터의 다중화나, 다중화된 데이터의 분리 등에 관한 처리를 행한다.
기록 재생부(929)는, 판독 기입 가능한 임의의 기억 매체를 갖고, 그 기억 매체로의 데이터의 기입(기록)이나, 그 기억 매체에 기억되어 있는 데이터의 판독(재생) 등에 관한 처리를 행한다. 이 기억 매체는, 예를 들어 RAM이나 플래시 메모리 등의 내장형 기억 매체여도 되고, 하드 디스크, 자기 디스크, 광자기 디스크, 광 디스크, USB 메모리, 또는 메모리 카드 등의 외부 장착형 기억 매체여도 된다.
표시부(930)는, 표시 디바이스(예를 들어, 액정 디스플레이, 플라즈마 디스플레이 또는 OELD(Organic ElectroLuminescence Display)(유기 EL 디스플레이) 등)를 갖고, 화상 표시에 관한 처리를 행한다.
제어부(931)는, CPU 등의 프로세서, 및 RAM 및 ROM 등의 메모리를 갖는다. 메모리는, CPU에 의해 실행되는 프로그램, 프로그램 데이터, EPG 데이터, 및 네트워크를 통하여 취득되는 데이터 등을 기억한다. 메모리에 의해 기억되는 프로그램은, 예를 들어 휴대 전화기(920)의 기동 시에 CPU에 의해 읽어들여져, 실행된다. CPU는, 프로그램을 실행함으로써, 예를 들어 조작부(932)로부터 입력되는 조작 신호에 따라, 휴대 전화기(920)의 각 처리부의 동작을 제어한다.
MP4 처리부(934)는, MP4 파일에 관한 처리를 행한다. MPEG-DASH 처리부(935)는, MPD나 MP4 파일의 생성 등, MPEG-DASH의 규격에 준거한 방법으로 배신되는 배신 데이터나 그 제어 정보의 생성에 관한 처리를 행한다. 또한, MPEG-DASH 처리부(935)는, MPD의 해석이나 MP4 파일의 처리 등, MPEG-DASH의 규격에 준거한 방법으로 배신되는 배신 데이터의 재생에 관한 처리도 행한다.
휴대 전화기(920)는, 음성 통화 모드, 데이터 통신 모드, 촬영 모드, 텔레비전 전화 모드 등, 여러 가지 동작 모드로, 음성 신호의 송수신, 전자 메일이나 화상 데이터의 송수신, 화상의 촬상, 데이터의 기록 등의 각종 동작을 행한다.
예를 들어, 음성 통화 모드의 경우, 마이크로폰(925)에 의해 생성되는 아날로그 음성 신호는, 음성 코덱(923)에 공급된다. 음성 코덱(923)은, 아날로그 음성 신호를 디지털의 음성 데이터로 A/D 변환하고, 부호화(압축)한다. 그리고, 음성 코덱(923)은, 압축 후의 음성 데이터(음성 부호화 데이터)를 통신부(922)로 출력한다. 통신부(922)는, 그 음성 부호화 데이터를 다시 부호화하거나 변조하거나 하여 송신 신호를 생성한다. 그리고, 통신부(922)는, 생성한 송신 신호를, 안테나(921)를 통하여 기지국(도시하지 않음)에 송신한다.
또한, 통신부(922)는, 안테나(921)를 통하여 수신되는 무선 신호를 증폭하거나 주파수 변환하거나 하여 수신 신호를 취득하고, 그 수신 신호를 복조하거나 복호하거나 하여 음성 부호화 데이터를 생성하고, 그것을 음성 코덱(923)으로 출력한다. 음성 코덱(923)은, 공급된 음성 부호화 데이터를 복호(신장)하거나, D/A 변환하거나 하여 아날로그 음성 신호를 생성한다. 그리고, 음성 코덱(923)은, 그 아날로그 음성 신호를 스피커(924)에 공급하여 그 음성을 출력시킨다.
또한, 예를 들어 데이터 통신 모드에서 메일 송신을 행하는 경우, 제어부(931)는, 유저에 의한 조작부(932)를 통한 문자 입력을 접수하고, 그 입력된 문자를 표시부(930)에 표시시킨다. 또한, 제어부(931)는, 조작부(932)를 통하여 유저로부터의 메일 송신 지시를 접수하고, 그 지시에 따라서 전자 메일 데이터를 생성하여, 그것을 통신부(922)에 공급한다. 통신부(922)는, 공급된 전자 메일 데이터를 부호화하거나 변조하거나 하여 송신 신호를 생성하고, 그것을 주파수 변환하거나 증폭하거나 해서, 안테나(921)를 통하여 기지국(도시하지 않음)에 송신한다.
또한, 예를 들어 데이터 통신 모드에서 메일 수신을 행하는 경우, 통신부(922)는, 안테나(921)를 통하여 수신되는 무선 신호를 증폭하거나 주파수 변환하거나 하여 수신 신호를 취득하고, 그 수신 신호를 복조하거나 복호하거나 하여 전자 메일 데이터를 복원하고, 복원한 전자 메일 데이터를 제어부(931)에 공급한다. 제어부(931)는, 표시부(930)에 전자 메일의 내용을 표시시킴과 함께, 전자 메일 데이터를 기록 재생부(929)의 기억 매체에 기억시킨다.
또한, 예를 들어 촬영 모드의 경우, 카메라부(926)는, 피사체를 촬상하여 화상 데이터를 생성한다. 카메라부(926)는, 생성한 화상 데이터를, 버스(933)를 통하여 화상 처리부(927)에 공급한다. 화상 처리부(927)는, 그 화상 데이터에 대하여 화상 처리를 행한다. 카메라부(926)는, 화상 처리한 화상 데이터를, 버스(933)를 통하여 표시부(930)에 공급하고, 그 화상을 표시시킨다. 또한, 화상 처리부(927)는, 제어부(931)의 제어(조작부(932)를 통하여 입력된 유저 지시 등)에 기초하여, 화상 처리한 화상 데이터를 부호화하여 부호화 데이터를 생성하고, 그 부호화 데이터(화상 부호화 데이터)를, 버스(933)를 통하여 기록 재생부(929)에 공급하고, 그 기억 매체에 기억시킨다.
또한, 촬영 모드에서 촬영과 함께 집음도 행하는 경우, 카메라부(926)가 피사체를 촬상하여 화상 데이터를 생성함과 함께, 마이크로폰(925)이 집음하여 아날로그 음성 신호를 생성한다. 화상 처리부(927)는, 카메라부(926)가 생성한 화상 데이터에 대하여 화상 처리를 행하고, 그 화상 처리한 화상 데이터의 화상을 표시부(930)에 표시시킨다. 음성 코덱(923)은, 마이크로폰(925)이 생성한 아날로그 음성 신호의 음성을 스피커(924)로부터 출력시킨다.
그리고, 화상 처리부(927)는, 제어부(931)의 제어(조작부(932)를 통하여 입력된 유저 지시 등)에 기초하여, 화상 데이터를 부호화하여 화상 부호화 데이터를 생성하고, 그 화상 부호화 데이터를, 버스(933)를 통하여 다중 분리부(928)에 공급한다. 음성 코덱(923)은, 제어부(931)의 제어(조작부(932)를 통하여 입력된 유저 지시 등)에 기초하여, 아날로그 음성 신호를 A/D 변환하여 음성 데이터를 생성하고, 또한 그것을 부호화하여 음성 부호화 데이터를 생성하고, 그 음성 부호화 데이터를, 버스(933)를 통하여 다중 분리부(928)에 공급한다. 다중 분리부(928)는, 공급된 화상 부호화 데이터와 음성 부호화 데이터를 다중화하여 다중화 데이터를 생성한다. 다중 분리부(928)는, 그 다중화 데이터를, 버스(933)를 통하여 기록 재생부(929)에 공급하고, 그 기억 매체에 기억시킨다.
또한, 예를 들어 데이터 통신 모드에서 화상 데이터를 송신하는 경우, 제어부(931)의 제어(조작부(932)를 통하여 입력된 유저 지시 등)에 기초하여, 통신부(922)는, 버스(933)를 통하여 화상 처리부(927)나 기록 재생부(929) 등으로부터 화상 부호화 데이터를 취득하고, 그것을 부호화하거나 변조하거나 하여 그 송신 신호를 생성하고, 그것을 주파수 변환하거나 증폭하거나 해서, 안테나(921)를 통하여 기지국(도시하지 않음)에 송신한다.
예를 들어, 텔레비전 전화와 같이, 화상과 음성을 송신하는 경우, 제어부(931)의 제어(조작부(932)를 통하여 입력된 유저 지시 등)에 기초하여, 통신부(922)는, 버스(933)를 통하여 다중 분리부(928)로부터 화상과 음성의 데이터(예를 들어 화상 부호화 데이터와 음성 부호화 데이터)가 다중화된 다중화 데이터를 취득하고, 그것을 부호화하거나 변조하거나 하여 그 송신 신호를 생성하고, 그것을 주파수 변환하거나 증폭하거나 해서, 안테나(921)를 통하여 기지국(도시하지 않음)에 송신한다.
또한, 예를 들어 화상 데이터를 부호화하여 MP4 파일을 생성하고, 그 MP4 파일을 송신하는 경우, 제어부(931)의 제어(조작부(932)를 통하여 입력된 유저 지시 등)에 기초하여, MP4 처리부(934)는, 버스(933)를 통하여 카메라부(926), 화상 처리부(927), 또는 기록 재생부(929) 등으로부터 화상 데이터를 취득하고(다중 분리부(928)로부터 다중화 데이터를 취득해도 됨), 그것을 부호화하여 부호화 데이터를 생성하고, 또한 그 부호화 데이터를 저장하는 MP4 파일을 생성하고, 그 MP4 파일을, 버스(933)를 통하여 통신부(922)에 공급한다. 통신부(922)는, 제어부(931)의 제어에 기초하여, 공급된 MP4 파일을 부호화하거나 변조하거나 하여 그 송신 신호를 생성하고, 그것을 주파수 변환하거나 증폭하거나 해서, 안테나(921)를 통하여 기지국(도시하지 않음)에 송신한다.
이러한 MP4 처리부(934)의 처리로서, 상술한 각 실시 형태의 방법을 적용하도록 해도 된다. 즉, MP4 처리부(934)가, 배신 데이터 생성 장치(101)(도 11)의 화면 분할 처리부(121), 화상 부호화부(122), 파일 생성부(123) 및 서버 업로드 처리부(126)(도 12)를 갖도록 해도 된다. 이 경우, MP4 처리부(934)는, 화상을 타일별로 분할하여 부호화하고, 타일별 데이터를 저장하는 MP4 파일을 생성하고, 그것을 배신 서버(102)에 업로드한다. 이와 같이 함으로써, MP4 처리부(934)가, 각 실시 형태에 있어서 상술한 각종 MP4 파일을 생성할 수 있다. 즉, 휴대 전화기(920)는, 부분 화상 데이터의 적응적인 제공을 실현할 수 있다.
또한, 예를 들어 화상 데이터의 정보를 관리하는 MPD를 생성하고, 그 MPD를 송신하는 경우, 제어부(931)의 제어(조작부(932)를 통하여 입력된 유저 지시 등)에 기초하여, MPEG-DASH 처리부(935)는, 버스(933)를 통하여 카메라부(926), 화상 처리부(927), 또는 기록 재생부(929) 등으로부터 화상 데이터를 취득하고(다중 분리부(928)로부터 다중화 데이터를 취득해도 됨), 그 화상 데이터를 관리하는 MPD를 생성하고, 그 MPD 파일을, 버스(933)를 통하여 통신부(922)에 공급한다. 통신부(922)는, 제어부(931)의 제어에 기초하여, 공급된 MPD 파일을 부호화하거나 변조하거나 하여 그 송신 신호를 생성하고, 그것을 주파수 변환하거나 증폭하거나 해서, 안테나(921)를 통하여 기지국(도시하지 않음)에 송신한다. 그 때, MPEG-DASH 처리부(935)는, 그 화상 데이터를, MPD 파일과 함께 통신부(922)를 통하여 송신하도록 해도 된다.
또한, MPEG-DASH 처리부(935)는, 화상 데이터를 부호화하고, 그 부호화 데이터를 관리하는 MPD를 생성하고, 그 MPD 파일을, 통신부(922)를 통하여 송신하도록 해도 된다. 또한, MPEG-DASH 처리부(935)는, 그 부호화 데이터를, MPD 파일과 함께 통신부(922)를 통하여 송신하도록 해도 된다.
또한, MPEG-DASH 처리부(935)는, 화상 데이터를 부호화하고, 그 부호화 데이터를 저장하는 MP4 파일을 생성하고, 그 MP4 파일을 관리하는 MPD를 생성하고, 그 MPD 파일을, 통신부(922)를 통하여 송신하도록 해도 된다. 또한, MPEG-DASH 처리부(935)는, 그 MP4 파일을, MPD 파일과 함께 통신부(922)를 통하여 송신하도록 해도 된다.
이러한 MPEG-DASH 처리부(935)의 처리로서, 상술한 각 실시 형태의 방법을 적용하도록 해도 된다. 즉, MPEG-DASH 처리부(935)가, 배신 데이터 생성 장치(101)(도 11)의 화면 분할 처리부(121) 내지 서버 업로드 처리부(126)(도 12의 타일형 MPD 생성부(141)를 포함)를 갖도록 해도 된다. 이 경우, MPEG-DASH 처리부(935)는, 화상을 타일별로 분할하여 부호화하고, 타일별 데이터를 저장하는 MP4 파일을 생성하고, 그 MP4 파일을 관리하는 MPD를 생성하고, 그것들을 배신 서버(102)에 업로드한다. 이와 같이 함으로써, MPEG-DASH 처리부(935)가, 각 실시 형태에 있어서 상술한 각종 MPD(또는 MP4 파일)를 생성할 수 있다. 즉, 휴대 전화기(920)는, 부분 화상의 데이터의 적응적인 제공을 실현할 수 있다.
또한, 예를 들어 데이터 통신 모드에서 화상 데이터를 수신할 경우, 제어부(931)의 제어(조작부(932)를 통하여 입력된 유저 지시 등)에 기초하여, 통신부(922)는, 안테나(921)를 통하여 무선 신호를 수신하고, 그것을 증폭하거나 주파수 변환하거나 하여 수신 신호를 생성하고, 그것을 복조하거나 복호하거나 하여 화상 부호화 데이터를 생성하고, 그것을, 버스(933)를 통하여 화상 처리부(927)나 기록 재생부(929) 등에 공급한다. 예를 들어, 화상 처리부(927)는, 공급된 화상 부호화 데이터를 복호하고, 얻어진 화상 데이터를 표시부(930)에 공급하여 그 화상을 표시시킨다. 또한, 예를 들어 기록 재생부(929)는, 공급된 화상 부호화 데이터를 기억 매체에 기억한다.
예를 들어, 텔레비전 전화와 같이, 화상과 음성을 수신할 경우, 제어부(931)의 제어(조작부(932)를 통하여 입력된 유저 지시 등)에 기초하여, 통신부(922)는, 안테나(921)를 통하여 무선 신호를 수신하고, 그것을 증폭하거나 주파수 변환하거나 하여 수신 신호를 생성하고, 그것을 복조하거나 복호하거나 하여, 화상과 음성의 데이터(예를 들어 화상 부호화 데이터와 음성 부호화 데이터)가 다중화된 다중화 데이터를 생성한다. 통신부(922)는, 그것을, 버스(933)를 통하여 다중 분리부(928)에 공급한다. 예를 들어, 다중 분리부(928)는, 공급된 다중 데이터에 포함되는 화상 부호화 데이터와 음성 부호화 데이터를 분리하고, 화상 부호화 데이터를, 버스(933)를 통하여 화상 처리부(927)나 기록 재생부(929) 등에 공급하고, 음성 부호화 데이터를, 버스(933)를 통하여 음성 코덱(923)에 공급한다. 예를 들어, 화상 처리부(927)는, 공급된 화상 부호화 데이터를 복호하고, 얻어진 화상 데이터를 표시부(930)에 공급하여 그 화상을 표시시킨다. 또한, 예를 들어 기록 재생부(929)는, 공급된 화상 부호화 데이터를 기억 매체에 기억한다. 또한, 예를 들어 음성 코덱(923)은, 공급된 음성 부호화 데이터를 복호하고, 얻어진 음성 데이터를 D/A 변환하여 아날로그 음성 신호를 생성하여, 그 아날로그 음성 신호의 음성을 스피커(924)로부터 출력시킨다.
또한, 예를 들어 통신부(922)가 화상 데이터의 부호화 데이터를 저장하는 MP4 파일을 수신할 경우, 제어부(931)의 제어(조작부(932)를 통하여 입력된 유저 지시 등)에 기초하여, MP4 처리부(934)는, 통신부(922)로부터 버스(933)를 통하여 그 MP4 파일을 취득하고, 그것을 해석하여 부호화 데이터를 추출하고, 또한 그 부호화 데이터를 복호하고, 얻어진 화상 데이터를, 버스(933)를 통하여 화상 처리부(927), 기록 재생부(929), 표시부(930) 등에 공급한다. 또한, MP4 파일로부터 다중화 데이터가 추출될 경우, 또는 부호화 데이터를 복호하여 다중화 데이터가 얻어질 경우, MP4 처리부(934)는, 얻어진 다중화 데이터를 다중 분리부(928)에 공급한다.
이러한 MP4 처리부(934)의 처리로서, 상술한 각 실시 형태의 방법을 적용하도록 해도 된다. 즉, MP4 처리부(934)가, 단말 장치(103)(도 11)의 파일 취득부(154), 화상 복호부(155) 및 타일 화상 합성부(156)(도 13)를 갖도록 해도 된다. 이 경우, MP4 처리부(934)는, 원하는 범위에 포함되는 타일의 데이터를 포함하는 MP4 파일을, 통신부(922) 등을 통하여 취득하고, 그 타일의 부호화 데이터를 추출하여 복호하고, 얻어진 타일의 화상 데이터(타일 화상)를 적절히 합성하여 원하는 범위의 화상 데이터를 생성하고, 그 화상 데이터를, 버스(933)를 통하여 화상 처리부(927), 기록 재생부(929), 표시부(930) 등에 공급한다. 이와 같이 함으로써, MP4 처리부(934)가, 각 실시 형태에 있어서 상술한 각종 MP4 파일을 처리하여, 원하는 화상 데이터를 얻을 수 있다. 즉, 휴대 전화기(920)는, 부분 화상 데이터의 적응적인 제공을 실현할 수 있다.
또한, 예를 들어 통신부(922)가 화상 데이터의 정보를 관리하는 MPD 파일을 수신할 경우, 제어부(931)의 제어(조작부(932)를 통하여 입력된 유저 지시 등)에 기초하여, MPEG-DASH 처리부(935)는, 통신부(922)로부터 버스(933)를 통하여 그 MPD 파일을 취득하여, 그것을 해석하고, 그 MPD에 기초하여, 원하는 화상 데이터를 취득한다. 예를 들어, 화상 데이터가 부호화된 부호화 데이터를 포함하는 MP4 파일이 MPD에 의해 관리되고 있는 경우, MPEG-DASH 처리부(935)는, 통신부(922)를 통하여, 그 MPD에 기초하여 원하는 화상에 대응하는 MP4 파일을 취득하고, 그 MP4 파일에 포함되는 부호화 데이터를 복호하고, 복호하여 얻어진 화상 데이터를 버스(933)를 통하여 화상 처리부(927), 기록 재생부(929), 표시부(930) 등에 공급한다. 또한, MP4 파일로부터 다중화 데이터가 추출될 경우, 또는 부호화 데이터를 복호하여 다중화 데이터가 얻어질 경우, MPEG-DASH 처리부(935)는, 얻어진 다중화 데이터를 다중 분리부(928)에 공급한다.
이러한 MPEG-DASH 처리부(935)의 처리로서, 상술한 각 실시 형태의 방법을 적용하도록 해도 된다. 즉, MPEG-DASH 처리부(935)가, 단말 장치(103)(도 11)의 MPD 취득부(151) 내지 타일 화상 합성부(156)(도 13의 표시부(157) 이외의 각 처리부)를 갖도록 해도 된다. MPEG-DASH 처리부(935)는, MPD를 해석하여, 원하는 범위에 포함되는 타일의 데이터를 포함하는 MP4 파일을, 통신부(922) 등을 통하여 취득하고, 그 타일의 부호화 데이터를 추출하여 복호하고, 얻어진 타일의 화상 데이터(타일 화상)를 적절히 합성하여 원하는 범위의 화상 데이터를 생성하고, 그 화상 데이터를 화상 처리부(927), 기록 재생부(929), 표시부(930) 등에 공급한다. 이와 같이 함으로써, MPEG-DASH 처리부(935)가, 각 실시 형태에 있어서 상술한 각종 MPD를 처리하여, 원하는 화상 데이터를 얻을 수 있다. 즉, 휴대 전화기(920)는, 부분 화상의 데이터의 적응적인 제공을 실현할 수 있다.
<10. 제10 실시 형태>
<실시의 기타 예>
이상에 있어서 본 기술을 적용하는 장치나 시스템 등의 예를 설명했지만, 본 기술은 이에 한정되지 않고, 이러한 장치 또는 시스템을 구성하는 장치에 탑재하는 모든 구성, 예를 들어 시스템 LSI(Large Scale Integration) 등으로서의 프로세서, 복수의 프로세서 등을 사용하는 모듈, 복수의 모듈 등을 사용하는 유닛, 유닛에 기타의 기능을 더 부가한 세트 등(즉, 장치의 일부의 구성)으로서 실시할 수도 있다.
<비디오 세트>
본 기술을 세트로 하여 실시할 경우의 예에 대해서, 도 69를 참조하여 설명한다. 도 69는, 본 기술을 적용한 비디오 세트의 개략적인 구성의 일례를 도시하고 있다.
최근, 전자 기기의 다기능화가 진행되고 있고, 그 개발이나 제조에 있어서, 그 일부의 구성을 판매나 제공 등으로서 실시할 경우, 한 기능을 갖는 구성으로서 실시를 행하는 경우뿐만 아니라, 관련되는 기능을 갖는 복수의 구성을 조합하여, 복수의 기능을 갖는 1세트로서 실시를 행하는 경우도 많이 보이게 되었다.
도 69에 도시되는 비디오 세트(1300)는, 이러한 다기능화된 구성이고, 화상의 부호화나 복호(어느 한쪽이어도 되고, 양쪽이어도 됨)에 관한 기능을 갖는 디바이스에, 그 기능에 관련되는 기타 기능을 갖는 디바이스를 조합한 것이다.
도 69에 도시되는 바와 같이, 비디오 세트(1300)는, 비디오 모듈(1311), 외부 메모리(1312), 파워 메니지먼트 모듈(1313) 및 프론트엔드 모듈(1314) 등의 모듈 군과, 커넥티비티(1321), 카메라(1322) 및 센서(1323) 등의 관련되는 기능을 갖는 디바이스를 갖는다.
모듈은, 서로 관련되는 몇 가지 부품적 기능을 통합하여, 결합된 기능을 가진 부품으로 한 것이다. 구체적인 물리적 구성은 임의이지만, 예를 들어 각각 기능을 갖는 복수의 프로세서, 저항이나 콘덴서 등의 전자 회로 소자, 기타 디바이스 등을 배선 기판 등에 배치하여 일체화된 것을 생각할 수 있다. 또한, 모듈에 다른 모듈이나 프로세서 등을 조합하여 새로운 모듈로 하는 것도 생각할 수 있다.
도 69의 예의 경우, 비디오 모듈(1311)은, 화상 처리에 관한 기능을 갖는 구성을 조합한 것이며, 어플리케이션 프로세서, 비디오 프로세서, 브로드밴드 모뎀(1333) 및 RF 모듈(1334)을 갖는다.
프로세서는, 소정의 기능을 갖는 구성을 SoC(System On a Chip)에 의해 반도체 칩에 집적한 것이며, 예를 들어 시스템 LSI(Large Scale Integration) 등이라 칭해지는 것도 있다. 이 소정의 기능을 갖는 구성은, 논리 회로(하드웨어 구성)여도 되고, CPU, ROM, RAM 등과, 그것들을 사용하여 실행되는 프로그램(소프트웨어 구성)이어도 되고, 그 양쪽을 조합한 것이어도 된다. 예를 들어, 프로세서가, 논리 회로와 CPU, ROM, RAM 등을 갖고, 기능의 일부를 논리 회로(하드웨어 구성)에 의해 실현하고, 기타 기능을 CPU에 있어서 실행되는 프로그램(소프트웨어 구성)에 의해 실현하도록 해도 된다.
도 69의 어플리케이션 프로세서(1331)는, 화상 처리에 관한 어플리케이션을 실행하는 프로세서이다. 이 어플리케이션 프로세서(1331)에 있어서 실행되는 어플리케이션은, 소정의 기능을 실현하기 위해서, 연산 처리를 행할 뿐만 아니라, 예를 들어 비디오 프로세서(1332) 등, 비디오 모듈(1311) 내외의 구성을 필요에 따라서 제어할 수도 있다.
비디오 프로세서(1332)는, 화상의 부호화·복호(그 한쪽 또는 양쪽)에 관한 기능을 갖는 프로세서이다.
브로드밴드 모뎀(1333)은, 인터넷이나 공중 전화 회선망 등의 광대역의 회선을 통하여 행해지는 유선 또는 무선(또는 그 양쪽)의 광대역 통신에 관한 처리를 행하는 프로세서(또는 모듈)이다. 예를 들어, 브로드밴드 모뎀(1333)은, 송신하는 데이터(디지털 신호)를 디지털 변조하는 등 하여 아날로그 신호로 변환하거나, 수신한 아날로그 신호를 복조하여 데이터(디지털 신호)로 변환하거나 한다. 예를 들어, 브로드밴드 모뎀(1333)은, 비디오 프로세서(1332)가 처리하는 화상 데이터나 화상 데이터가 부호화된 스트림, 어플리케이션 프로그램, 설정 데이터 등, 임의의 정보를 디지털 변조·복조할 수 있다.
RF 모듈(1334)은, 안테나를 통하여 송수신되는 RF(Radio Frequency) 신호에 대하여, 주파수 변환, 변복조, 증폭, 필터 처리 등을 행하는 모듈이다. 예를 들어, RF 모듈(1334)은, 브로드밴드 모뎀(1333)에 의해 생성된 기저 대역 신호에 대하여 주파수 변환 등을 행하여 RF 신호를 생성한다. 또한, 예를 들어 RF 모듈(1334)은, 프론트엔드 모듈(1314)을 통하여 수신된 RF 신호에 대하여 주파수 변환 등을 행하여 기저 대역 신호를 생성한다.
또한, 도 69에 있어서 점선 1341로 표시되는 바와 같이, 어플리케이션 프로세서(1331)와 비디오 프로세서(1332)를 일체화하여, 하나의 프로세서로서 구성되도록 해도 된다.
외부 메모리(1312)는, 비디오 모듈(1311)의 외부에 설치된, 비디오 모듈(1311)에 의해 이용되는 기억 디바이스를 갖는 모듈이다. 이 외부 메모리(1312)의 기억 디바이스는, 어떤 물리 구성에 의해 실현하도록 해도 되지만, 일반적으로 프레임 단위의 화상 데이터와 같은 대용량 데이터의 저장에 이용되는 일이 많으므로, 예를 들어 DRAM(Dynamic Random Access Memory)과 같은 비교적 저렴하고 대용량의 반도체 메모리에 의해 실현하는 것이 바람직하다.
파워 메니지먼트 모듈(1313)은, 비디오 모듈(1311)(비디오 모듈(1311) 내의 각 구성)로의 전력 공급을 관리하고, 제어한다.
프론트엔드 모듈(1314)은, RF 모듈(1334)에 대하여 프론트엔드 기능(안테나측의 송수신 단부의 회로)을 제공하는 모듈이다. 도 38에 도시되는 바와 같이, 프론트엔드 모듈(1314)은, 예를 들어 안테나부(1351), 필터(1352) 및 증폭부(1353)를 갖는다.
안테나부(1351)는, 무선 신호를 송수신하는 안테나 및 그 주변의 구성을 갖는다. 안테나부(1351)는, 증폭부(1353)로부터 공급되는 신호를 무선 신호로서 송신하고, 수신한 무선 신호를 전기 신호(RF 신호)로서 필터(1352)에 공급한다. 필터(1352)는, 안테나부(1351)를 통하여 수신된 RF 신호에 대하여 필터 처리 등을 행하고, 처리 후의 RF 신호를 RF 모듈(1334)에 공급한다. 증폭부(1353)는, RF 모듈(1334)로부터 공급되는 RF 신호를 증폭하여, 안테나부(1351)에 공급한다.
커넥티비티(1321)는 외부와의 접속에 관한 기능을 갖는 모듈이다. 커넥티비티(1321)의 물리 구성은 임의이다. 예를 들어, 커넥티비티(1321)는, 브로드밴드 모뎀(1333)이 대응하는 통신 규격 이외의 통신 기능을 갖는 구성이나, 외부 입출력 단자 등을 갖는다.
예를 들어, 커넥티비티(1321)가, Bluetooth(등록 상표), IEEE 802.11(예를 들어 Wi-Fi(Wireless Fidelity, 등록 상표)), NFC(Near Field Communication), IrDA(InfraRed Data Association) 등의 무선 통신 규격에 준거하는 통신 기능을 갖는 모듈이나, 그 규격에 준거한 신호를 송수신하는 안테나 등을 갖도록 해도 된다. 또한, 예를 들어 커넥티비티(1321)가, USB(Universal Serial Bus), HDMI(등록 상표)(High-Definition Multimedia Interface) 등의 유선 통신 규격에 준거하는 통신 기능을 갖는 모듈이나, 그 규격에 준거한 단자를 갖도록 해도 된다. 또한, 예를 들어 커넥티비티(1321)가, 아날로그 입출력 단자 등의 기타 데이터(신호) 전송 기능 등을 갖도록 해도 된다.
또한, 커넥티비티(1321)가, 데이터(신호)의 전송처의 디바이스를 포함하도록 해도 된다. 예를 들어, 커넥티비티(1321)가, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 기록 매체에 대하여 데이터의 판독이나 기입을 행하는 드라이브(리무버블 미디어의 드라이브뿐만 아니라, 하드 디스크, SSD(Solid State Drive), NAS(Network Attached Storage) 등도 포함)를 갖도록 해도 된다. 또한, 커넥티비티(1321)가, 화상이나 음성의 출력 디바이스(모니터나 스피커 등)를 갖도록 해도 된다.
카메라(1322)는, 피사체를 촬상하고, 피사체의 화상 데이터를 얻는 기능을 갖는 모듈이다. 카메라(1322)의 촬상에 의해 얻어진 화상 데이터는, 예를 들어 비디오 프로세서(1332)에 공급되어 부호화된다.
센서(1323)는, 예를 들어 음성 센서, 초음파 센서, 광 센서, 조도 센서, 적외선 센서, 이미지 센서, 회전 센서, 각도 센서, 각속도 센서, 속도 센서, 가속도 센서, 경사 센서, 자기 식별 센서, 충격 센서, 온도 센서 등, 임의의 센서 기능을 갖는 모듈이다. 센서(1323)에 의해 검출된 데이터는, 예를 들어 어플리케이션 프로세서(1331)에 공급되어 어플리케이션 등에 의해 이용된다.
이상에 있어서 모듈로서 설명한 구성을 프로세서로서 실현하도록 해도 되고, 반대로 프로세서로서 설명한 구성을 모듈로서 실현하도록 해도 된다.
이상과 같은 구성의 비디오 세트(1300)에 있어서, 후술하는 바와 같이 비디오 프로세서(1332)에 본 기술을 적용할 수 있다. 따라서, 비디오 세트(1300)는, 본 기술을 적용한 세트로서 실시할 수 있다.
예를 들어, 비디오 프로세서(1332)가, MP4 파일에 관한 처리나, MPEG-DASH의 규격에 준거한 방법으로 배신되는 배신 데이터나 그 제어 정보의 생성이나 재생에 관한 처리를 행하도록 해도 된다. 비디오 프로세서(1332)의 상세에 대해서는 후술한다.
또한, 어플리케이션 프로세서(1331)가 어플리케이션을 실행함으로써, MP4 파일에 관한 처리나, MPEG-DASH의 규격에 준거한 방법으로 배신되는 배신 데이터나 그 제어 정보의 생성이나 재생에 관한 처리를 행하도록 해도 된다. 그리고, 이러한 어플리케이션 프로세서(1331)의 처리로서, 상술한 각 실시 형태의 방법을 적용하도록 해도 된다.
즉, 예를 들어 어플리케이션 프로세서(1331)가, 어플리케이션을 실행함으로써, 배신 데이터 생성 장치(101)(도 11)의 화면 분할 처리부(121) 내지 서버 업로드 처리부(126)(도 12의 타일형 MPD 생성부(141)를 포함)의 기능을 갖도록 해도 된다. 이 경우, 어플리케이션 프로세서(1331)는, 화상을 타일별로 분할하여 부호화하고, 타일별 데이터를 저장하는 MP4 파일을 생성하고, 그것을 배신 서버(102)에 업로드할 수 있다. 또한, 어플리케이션 프로세서(1331)는, 생성한 MP4 파일을 관리하는 MPD를 생성하고, 그것들을 배신 서버(102)에 업로드할 수도 있다. 이와 같이 함으로써, 어플리케이션 프로세서(1331)는, 각 실시 형태에 있어서 상술한 각종 MPD나 MP4 파일을 생성할 수 있다. 즉, 비디오 세트(1300)는, 부분 화상의 데이터의 적응적인 제공을 실현할 수 있다.
또한, 예를 들어 어플리케이션 프로세서(1331)가, 어플리케이션을 실행함으로써, 단말 장치(103)(도 11)의 MPD 취득부(151) 내지 타일 화상 합성부(156)(도 13의 표시부(157) 이외의 각 처리부)의 기능을 갖도록 해도 된다. 이 경우, 어플리케이션 프로세서(1331)는, 유저 지시 등에 기초하여, 원하는 범위에 포함되는 타일의 데이터를 포함하는 MP4 파일을 취득하고, 그 타일의 부호화 데이터를 추출하여 복호하고, 얻어진 타일의 화상 데이터(타일 화상)를 적절히 합성하여 원하는 범위의 화상 데이터를 생성할 수 있다. 또한, 어플리케이션 프로세서(1331)는, MPD를 취득하여, 취득한 MPD를 해석하고, 그 해석 결과에 기초하여, 원하는 범위에 포함되는 타일의 데이터를 포함하는 MP4 파일을 취득하고, 그 타일의 부호화 데이터를 추출하여 복호하고, 얻어진 타일의 화상 데이터(타일 화상)를 적절히 합성하여 원하는 범위의 화상 데이터를 생성할 수도 있다. 이와 같이 함으로써, 어플리케이션 프로세서(1331)는, 각 실시 형태에 있어서 상술한 각종 MPD나 MP4 파일을 처리하여, 원하는 화상 데이터를 얻을 수 있다. 즉, 비디오 세트(1300)는 부분 화상의 데이터의 적응적인 제공을 실현할 수 있다.
<비디오 프로세서의 구성예>
도 70은, 본 개시를 적용한 비디오 프로세서(1332)(도 69)의 개략적인 구성의 일례를 도시히고 있다.
도 70에 도시되는 바와 같이, 비디오 프로세서(1332)는, 비디오 입력 처리부(1401), 제1 화상 확대 축소부(1402), 제2 화상 확대 축소부(1403), 비디오 출력 처리부(1404), 프레임 메모리(1405) 및 메모리 제어부(1406)를 갖는다. 또한, 비디오 프로세서(1332)는, 인코드·디코드 엔진(1407), 비디오 ES(Elementary Stream) 버퍼(1408A 및 1408B), 및 오디오 ES 버퍼(1409A 및 1409B)를 갖는다. 또한, 비디오 프로세서(1332)는, 오디오 인코더(1410), 오디오 디코더(1411), 다중화부(MUX(Multiplexer))(1412), 역다중화부(DMUX(Demultiplexer))(1413) 및 스트림 버퍼(1414)를 갖는다. 또한, 비디오 프로세서(1332)는, MP4 처리부(1415) 및 MPEG-DASH 처리부(1416)를 갖는다.
비디오 입력 처리부(1401)는, 예를 들어 커넥티비티(1321) 등으로부터 입력된 비디오 신호를 취득하여, 디지털 화상 데이터로 변환한다. 제1 화상 확대 축소부(1402)는, 화상 데이터에 대하여 포맷 변환이나 화상의 확대 축소 처리 등을 행한다. 제2 화상 확대 축소부(1403)는, 화상 데이터에 대하여, 비디오 출력 처리부(1404)를 통하여 출력되는 곳에서의 포맷에 따라서 화상의 확대 축소 처리를 행하거나, 제1 화상 확대 축소부(1402)와 마찬가지의 포맷 변환이나 화상의 확대 축소 처리 등을 행하거나 한다. 비디오 출력 처리부(1404)는, 화상 데이터에 대하여 포맷 변환이나 아날로그 신호로의 변환 등을 행하고, 재생된 비디오 신호로서 예를 들어 커넥티비티(1321) 등으로 출력한다.
프레임 메모리(1405)는, 비디오 입력 처리부(1401), 제1 화상 확대 축소부(1402), 제2 화상 확대 축소부(1403), 비디오 출력 처리부(1404) 및 인코드·디코드 엔진(1407)에 의해 공용되는 화상 데이터용 메모리이다. 프레임 메모리(1405)는, 예를 들어 DRAM 등의 반도체 메모리로서 실현된다.
메모리 제어부(1406)는, 인코드·디코드 엔진(1407)으로부터의 동기 신호를 받고, 액세스 관리 테이블(1406A)에 기입된 프레임 메모리(1405)로의 액세스 스케줄에 따라서 프레임 메모리(1405)에 대한 기입·판독의 액세스를 제어한다. 액세스 관리 테이블(1406A)은, 인코드·디코드 엔진(1407), 제1 화상 확대 축소부(1402), 제2 화상 확대 축소부(1403) 등에서 실행되는 처리에 따라, 메모리 제어부(1406)에 의해 갱신된다.
인코드·디코드 엔진(1407)은, 화상 데이터의 인코드 처리 및, 화상 데이터가 부호화된 데이터인 비디오 스트림의 디코드 처리를 행한다. 예를 들어, 인코드·디코드 엔진(1407)은, 프레임 메모리(1405)로부터 판독한 화상 데이터를 부호화하고, 비디오 스트림으로서 비디오 ES 버퍼(1408A)에 순차 기입한다. 또한, 예를 들어 비디오 ES 버퍼(1408B)부터 비디오 스트림을 순차 판독하여 복호하고, 화상 데이터로서 프레임 메모리(1405)에 순차 기입한다. 인코드·디코드 엔진(1407)은, 이들 부호화나 복호에 있어서, 프레임 메모리(1405)를 작업 영역으로서 사용한다. 또한, 인코드·디코드 엔진(1407)은, 예를 들어 매크로 블록마다의 처리를 개시하는 타이밍에, 메모리 제어부(1406)에 대하여 동기 신호를 출력한다. 또한, 인코드·디코드 엔진(1407)은, 필요에 따라, MP4 처리부(1415)나 MPEG-DASH 처리부(1416)를 이용하여 화상 데이터의 부호화나, 화상 데이터가 부호화된 부호화 데이터의 복호를 행한다.
비디오 ES 버퍼(1408A)는, 인코드·디코드 엔진(1407)에 의해 생성된 비디오 스트림을 버퍼링하여, 다중화부(MUX)(1412)에 공급한다. 비디오 ES 버퍼(1408B)는, 역다중화부(DMUX)(1413)로부터 공급된 비디오 스트림을 버퍼링하여, 인코드·디코드 엔진(1407)에 공급한다.
오디오 ES 버퍼(1409A)는, 오디오 인코더(1410)에 의해 생성된 오디오 스트림을 버퍼링하여, 다중화부(MUX)(1412)에 공급한다. 오디오 ES 버퍼(1409B)는, 역다중화부(DMUX)(1413)로부터 공급된 오디오 스트림을 버퍼링하여, 오디오 디코더(1411)에 공급한다.
오디오 인코더(1410)는, 예를 들어 커넥티비티(1321) 등으로부터 입력된 오디오 신호를 예를 들어 디지털 변환하고, 예를 들어 MPEG 오디오 방식이나 AC3(AudioCode number 3) 방식 등의 소정의 방식으로 부호화한다. 오디오 인코더(1410)는, 오디오 신호가 부호화된 데이터인 오디오 스트림을 오디오 ES 버퍼(1409A)에 순차 기입한다. 오디오 디코더(1411)는, 오디오 ES 버퍼(1409B)로부터 공급된 오디오 스트림을 복호하고, 예를 들어 아날로그 신호로의 변환 등을 행하여, 재생된 오디오 신호로서 예를 들어 커넥티비티(1321) 등에 공급한다.
다중화부(MUX)(1412)는, 비디오 스트림과 오디오 스트림을 다중화한다. 이 다중화의 방법(즉, 다중화에 의해 생성되는 비트 스트림의 포맷)은 임의이다. 또한, 이 다중화 시에, 다중화부(MUX)(1412)는, 소정의 헤더 정보 등을 비트 스트림에 부가할 수도 있다. 즉, 다중화부(MUX)(1412)는, 다중화에 의해 스트림의 포맷을 변환할 수 있다. 예를 들어, 다중화부(MUX)(1412)는, 비디오 스트림과 오디오 스트림을 다중화함으로써, 전송용 포맷의 비트 스트림인 트랜스포트 스트림으로 변환한다. 또한, 예를 들어 다중화부(MUX)(1412)는, 비디오 스트림과 오디오 스트림을 다중화함으로써, 기록용 파일 포맷의 데이터(파일 데이터)로 변환한다.
역다중화부(DMUX)(1413)는, 다중화부(MUX)(1412)에 의한 다중화에 대응하는 방법으로, 비디오 스트림과 오디오 스트림이 다중화된 비트 스트림을 역다중화한다. 즉, 역다중화부(DMUX)(1413)는, 스트림 버퍼(1414)로부터 판독된 비트 스트림으로부터 비디오 스트림과 오디오 스트림을 추출한다(비디오 스트림과 오디오 스트림을 분리함). 즉, 역다중화부(DMUX)(1413)는, 역다중화에 의해 스트림의 포맷을 변환(다중화부(MUX)(1412)에 의한 변환의 역변환)할 수 있다. 예를 들어, 역다중화부(DMUX)(1413)는, 예를 들어 커넥티비티(1321)나 브로드밴드 모뎀(1333) 등으로부터 공급된 트랜스포트 스트림을, 스트림 버퍼(1414)를 통하여 취득하고, 역다중화함으로써, 비디오 스트림과 오디오 스트림으로 변환할 수 있다. 또한, 예를 들어 역다중화부(DMUX)(1413)는, 예를 들어 커넥티비티(1321)에 의해 각종 기록 매체로부터 판독된 파일 데이터를, 스트림 버퍼(1414)를 통하여 취득하고, 역다중화함으로써, 비디오 스트림과 오디오 스트림으로 변환할 수 있다.
스트림 버퍼(1414)는, 비트 스트림을 버퍼링한다. 예를 들어, 스트림 버퍼(1414)는, 다중화부(MUX)(1412)로부터 공급된 트랜스포트 스트림을 버퍼링하고, 소정의 타이밍에 있어서, 또는 외부로부터의 요구 등에 기초하여, 예를 들어 커넥티비티(1321)나 브로드밴드 모뎀(1333) 등에 공급한다.
또한, 예를 들어 스트림 버퍼(1414)는, 다중화부(MUX)(1412)로부터 공급된 파일 데이터를 버퍼링하고, 소정의 타이밍에 있어서, 또는 외부로부터의 요구 등에 기초하여, 예를 들어 커넥티비티(1321) 등에 공급하고, 각종 기록 매체에 기록시킨다.
또한, 스트림 버퍼(1414)는, 예를 들어 커넥티비티(1321)나 브로드밴드 모뎀(1333) 등을 통하여 취득한 트랜스포트 스트림을 버퍼링하고, 소정의 타이밍에 있어서, 또는 외부로부터의 요구 등에 기초하여, 역다중화부(DMUX)(1413)에 공급한다.
또한, 스트림 버퍼(1414)는, 예를 들어 커넥티비티(1321) 등에 있어서 각종 기록 매체로부터 판독된 파일 데이터를 버퍼링하고, 소정의 타이밍에 있어서, 또는 외부로부터의 요구 등에 기초하여, 역다중화부(DMUX)(1413)에 공급한다.
MP4 처리부(1415)는, MP4 파일의 생성이나 재생 등, MP4 파일에 관한 처리를 행한다. MPEG-DASH 처리부(1416)는, MPD나 MP4 파일의 생성이나 재생 등, MPEG-DASH의 규격에 준거한 방법으로 배신되는 배신 데이터나 그 제어 정보의 생성이나 재생에 관한 처리를 행한다.
이어서, 이와 같은 구성의 비디오 프로세서(1332)의 동작 예에 대하여 설명한다. 예를 들어, 커넥티비티(1321) 등으로부터 비디오 프로세서(1332)에 입력된 비디오 신호는, 비디오 입력 처리부(1401)에 있어서 4:2:2Y/Cb/Cr 방식 등의 소정의 방식의 디지털 화상 데이터로 변환되어, 프레임 메모리(1405)에 순차 기입된다. 이 디지털 화상 데이터는, 제1 화상 확대 축소부(1402) 또는 제2 화상 확대 축소부(1403)에 판독되어, 4:2:0Y/Cb/Cr 방식 등의 소정의 방식으로의 포맷 변환 및 확대 축소 처리가 행해지고, 다시 프레임 메모리(1405)에 기입된다. 이 화상 데이터는, 인코드·디코드 엔진(1407)에 의해 부호화되고, 비디오 스트림으로서 비디오 ES 버퍼(1408A)에 기입된다.
또한, 커넥티비티(1321) 등으로부터 비디오 프로세서(1332)에 입력된 오디오 신호는, 오디오 인코더(1410)에 의해 부호화되고, 오디오 스트림으로서, 오디오 ES 버퍼(1409A)에 기입된다.
비디오 ES 버퍼(1408A)의 비디오 스트림과, 오디오 ES 버퍼(1409A)의 오디오 스트림은, 다중화부(MUX)(1412)에 판독되어 다중화되고, 트랜스포트 스트림 또는 파일 데이터 등으로 변환된다. 다중화부(MUX)(1412)에 의해 생성된 트랜스포트 스트림은, 스트림 버퍼(1414)에 버퍼된 후, 예를 들어 커넥티비티(1321)나 브로드밴드 모뎀(1333) 등을 통하여 외부 네트워크로 출력된다. 또한, 다중화부(MUX)(1412)에 의해 생성된 파일 데이터는, 스트림 버퍼(1414)에 버퍼된 후, 예를 들어 커넥티비티(1321) 등으로 출력되고, 각종 기록 매체에 기록된다.
또한, 예를 들어 커넥티비티(1321)나 브로드밴드 모뎀(1333) 등을 통하여 외부 네트워크로부터 비디오 프로세서(1332)에 입력된 트랜스포트 스트림은, 스트림 버퍼(1414)에 버퍼된 후, 역다중화부(DMUX)(1413)에 의해 역다중화된다. 또한, 예를 들어 커넥티비티(1321) 등에 있어서 각종 기록 매체로부터 판독되어, 비디오 프로세서(1332)에 입력된 파일 데이터는, 스트림 버퍼(1414)에 버퍼된 후, 역다중화부(DMUX)(1413)에 의해 역다중화된다. 즉, 비디오 프로세서(1332)에 입력된 트랜스포트 스트림 또는 파일 데이터는, 역다중화부(DMUX)(1413)에 의해 비디오 스트림과 오디오 스트림으로 분리된다.
오디오 스트림은, 오디오 ES 버퍼(1409B)를 통하여 오디오 디코더(1411)에 공급되고, 복호되어 오디오 신호가 재생된다. 또한, 비디오 스트림은, 비디오 ES 버퍼(1408B)에 기입된 후, 인코드·디코드 엔진(1407)에 의해 순차 판독되고 복호되어 프레임 메모리(1405)에 기입된다. 복호된 화상 데이터는, 제2 화상 확대 축소부(1403)에 의해 확대 축소 처리되어, 프레임 메모리(1405)에 기입된다. 그리고, 복호된 화상 데이터는, 비디오 출력 처리부(1404)에 판독되어, 4:2:2Y/Cb/Cr 방식 등의 소정의 방식으로 포맷 변환되고, 또한 아날로그 신호로 변환되어, 비디오 신호가 재생 출력된다.
MP4 처리부(1415)는, 예를 들어 프레임 메모리(1405)에 기억되어 있는 화상 데이터를, 인코드·디코드 엔진(1407)을 통하여 취득하고, 그것을 부호화하여 부호화 데이터를 생성하고, 또한 그 부호화 데이터를 저장하는 MP4 파일을 생성한다. MP4 처리부(1415)는, 생성한 MP4 파일을 인코드·디코드 엔진(1407)에 공급한다. 인코드·디코드 엔진(1407)은, 공급된 MP4 파일을, 예를 들어 비디오 ES 버퍼(1408A), 다중화부(MUX)(1412), 스트림 버퍼(1414) 등을 통하여, 비디오 프로세서(1332)의 외부로 출력하고, 커넥티비티(1321)나 브로드밴드 모뎀(1333) 등을 통하여 외부 네트워크로 출력시킨다.
또한, MP4 처리부(1415)는, 예를 들어 커넥티비티(1321)나 브로드밴드 모뎀(1333) 등을 통하여 외부 네트워크로부터 취득되고, 비디오 ES 버퍼(1408B)에 기억되어 있는 MP4 파일을, 인코드·디코드 엔진(1407)을 통하여 취득하고, 그것을 해석하여 부호화 데이터를 추출하고, 또한 그 부호화 데이터를 복호한다. MP4 처리부(1415)는, 얻어진 화상 데이터를 인코드·디코드 엔진(1407)에 공급한다. 인코드·디코드 엔진(1407)은, 공급된 화상 데이터를, 프레임 메모리(1405)를 통하여 비디오 출력 처리부(1404)에 공급하고, 비디오 신호로서 비디오 프로세서(1332)의 외부로 출력시킨다.
이러한 MP4 처리부(1415)의 처리로서, 상술한 각 실시 형태의 방법을 적용하도록 해도 된다. 즉, MP4 처리부(1415)가, 배신 데이터 생성 장치(101)(도 11)의 화면 분할 처리부(121), 화상 부호화부(122), 파일 생성부(123) 및 서버 업로드 처리부(126)(도 12)를 갖도록 해도 된다. 이 경우, MP4 처리부(1415)는, 화상을 타일별로 분할하여 부호화하고, 타일별 데이터를 저장하는 MP4 파일을 생성하고, 그것을, 커넥티비티(1321) 등을 통하여 배신 서버(102)에 업로드한다. 이와 같이 함으로써, MP4 처리부(1415)가, 각 실시 형태에 있어서 상술한 각종 MP4 파일을 생성할 수 있다.
또한, MP4 처리부(1415)가, 단말 장치(103)(도 11)의 파일 취득부(154), 화상 복호부(155) 및 타일 화상 합성부(156)(도 13)를 갖도록 해도 된다. 이 경우, MP4 처리부(1415)는, 원하는 범위에 포함되는 타일의 데이터를 포함하는 MP4 파일을, 커넥티비티(1321) 등을 통하여 배신 서버(102)로부터 다운로드하고, 그 MP4 파일로부터 그 타일의 부호화 데이터를 추출하여 복호하고, 얻어진 타일의 화상 데이터(타일 화상)를 적절히 합성하여 원하는 범위의 화상 데이터를 생성하고, 그 화상 데이터를 비디오 신호로서 비디오 프로세서(1332)의 외부로 출력시킨다. 이와 같이 함으로써, MP4 처리부(1415)가, 각 실시 형태에 있어서 상술한 각종 MP4 파일을 처리하여, 원하는 화상 데이터를 얻을 수 있다.
즉, 비디오 프로세서(1332)(즉, 비디오 세트(1300))는, 부분 화상의 데이터의 적응적인 제공을 실현할 수 있다.
MPEG-DASH 처리부(1416)는, 예를 들어 프레임 메모리(1405)에 기억되어 있는 화상 데이터를, 인코드·디코드 엔진(1407)을 통하여 취득하고, 그 화상 데이터를 관리하는 MPD를 생성하고, 그 MPD 파일을, 인코드·디코드 엔진(1407)에 공급한다. 인코드·디코드 엔진(1407)은, 공급된 MPD 파일을, 예를 들어 비디오 ES 버퍼(1408A), 다중화부(MUX)(1412), 스트림 버퍼(1414) 등을 통하여, 비디오 프로세서(1332)의 외부로 출력하고, 커넥티비티(1321)나 브로드밴드 모뎀(1333) 등을 통하여 외부 네트워크로 출력시킨다.
또한, MPEG-DASH 처리부(1416)는, 화상 데이터를 부호화하고, 그 부호화 데이터를 저장하는 MP4 파일을 생성하고, 그 MP4 파일을 관리하는 MPD를 생성하고, 그 MPD 파일을, 외부 네트워크로 출력시키도록 해도 된다. 또한, MPEG-DASH 처리부(1416)는, 그 MP4 파일을, MPD 파일과 함께 외부 네트워크로 출력시키도록 해도 된다.
또한, MPEG-DASH 처리부(1416)는, 예를 들어 커넥티비티(1321)나 브로드밴드 모뎀(1333) 등을 통하여 외부 네트워크로부터 취득되고, 비디오 ES 버퍼(1408B)에 기억되어 있는 MPD 파일을, 인코드·디코드 엔진(1407)을 통하여 취득하여, 그것을 해석하고, 그 MPD에 기초하여, 원하는 화상 데이터를 취득한다. 예를 들어, 화상 데이터가 부호화된 부호화 데이터를 포함하는 MP4 파일이 MPD에 의해 관리되고 있는 경우, MPEG-DASH 처리부(1416)는, 그 MPD에 기초하여 원하는 화상에 대응하는 MP4 파일을 외부 네트워크로부터 취득하고, 그 MP4 파일에 포함되는 부호화 데이터를 복호하고, 복호하여 얻어진 화상 데이터를 인코드·디코드 엔진(1407)에 공급한다. 인코드·디코드 엔진(1407)은, 공급된 화상 데이터를, 프레임 메모리(1405)를 통하여 비디오 출력 처리부(1404)에 공급하고, 비디오 신호로서 비디오 프로세서(1332)의 외부로 출력시킨다.
이러한 MPEG-DASH 처리부(1416)의 처리로서, 상술한 각 실시 형태의 방법을 적용하도록 해도 된다. 즉, MPEG-DASH 처리부(1416)가, 배신 데이터 생성 장치(101)(도 11)의 화면 분할 처리부(121) 내지 서버 업로드 처리부(126)(도 12의 타일형 MPD 생성부(141)를 포함)를 갖도록 해도 된다. 이 경우, MPEG-DASH 처리부(1416)는, 화상을 타일별로 분할하여 부호화하고, 타일별 데이터를 저장하는 MP4 파일을 생성하고, 그 MP4 파일을 관리하는 MPD를 생성하고, 그것들을, 커넥티비티(1321) 등을 통하여 배신 서버(102)에 업로드한다. 이와 같이 함으로써, MPEG-DASH 처리부(1416)가, 각 실시 형태에 있어서 상술한 각종 MPD를 생성할 수 있다.
또한, MPEG-DASH 처리부(1416)가, 단말 장치(103)(도 11)의 MPD 취득부(151) 내지 타일 화상 합성부(156)(도 13의 표시부(157) 이외의 각 처리부)를 갖도록 해도 된다. 이 경우, MPEG-DASH 처리부(1416)는, MPD를 해석하여, 원하는 범위에 포함되는 타일의 데이터를 포함하는 MP4 파일을, 커넥티비티(1321) 등을 통하여 배신 서버(102)로부터 다운로드하고, 그 MP4 파일로부터 그 타일의 부호화 데이터를 추출하여 복호하고, 얻어진 타일의 화상 데이터(타일 화상)를 적절히 합성하여 원하는 범위의 화상 데이터를 생성하고, 그 화상 데이터를 비디오 신호로서 비디오 프로세서(1332)의 외부로 출력시킨다. 이와 같이 함으로써, MPEG-DASH 처리부(1416)가, 각 실시 형태에 있어서 상술한 각종 MPD를 처리하여, 원하는 화상 데이터를 얻을 수 있다.
즉, 비디오 프로세서(1332)(즉, 비디오 세트(1300))는, 부분 화상의 데이터의 적응적인 제공을 실현할 수 있다.
또한, MP4 처리부(1415)나 MPEG-DASH 처리부(1416)에 있어서, 본 기술(즉, 상술한 배신 데이터 생성 장치(101)나 단말 장치(103)의 기능)은, 논리 회로 등의 하드웨어에 의해 실현하도록 해도 되고, 내장 프로그램 등의 소프트웨어에 의해 실현하도록 해도 되며, 그들 양쪽에 의해 실현하도록 해도 된다.
<비디오 프로세서의 다른 구성예>
도 71은, 본 개시를 적용한 비디오 프로세서(1332)의 개략적인 구성의 다른 예를 도시하고 있다. 도 71의 예의 경우, 비디오 프로세서(1332)는 비디오 데이터를 소정의 방식으로 부호화·복호하는 기능을 갖는다.
보다 구체적으로는, 도 71에 도시되는 바와 같이, 비디오 프로세서(1332)는, 제어부(1511), 디스플레이 인터페이스(1512), 디스플레이 엔진(1513), 화상 처리 엔진(1514) 및 내부 메모리(1515)를 갖는다. 또한, 비디오 프로세서(1332)는, 코덱 엔진(1516), 메모리 인터페이스(1517), 다중화·역다중화부(MUX DMUX)(1518), 네트워크 인터페이스(1519) 및 비디오 인터페이스(1520)를 갖는다.
제어부(1511)는, 디스플레이 인터페이스(1512), 디스플레이 엔진(1513), 화상 처리 엔진(1514) 및 코덱 엔진(1516) 등, 비디오 프로세서(1332) 내의 각 처리부의 동작을 제어한다.
도 71에 도시되는 바와 같이, 제어부(1511)는, 예를 들어 메인 CPU(1531), 서브 CPU(1532) 및 시스템 컨트롤러(1533)를 갖는다. 메인 CPU(1531)는, 비디오 프로세서(1332) 내의 각 처리부의 동작을 제어하기 위한 프로그램 등을 실행한다. 메인 CPU(1531)는, 그 프로그램 등에 따라서 제어 신호를 생성하고, 각 처리부에 공급한다(즉, 각 처리부의 동작을 제어한다). 서브 CPU(1532)는, 메인 CPU(1531)의 보조적인 역할을 한다. 예를 들어, 서브 CPU(1532)는, 메인 CPU(1531)가 실행하는 프로그램 등의 자(子) 프로세스나 서브루틴 등을 실행한다. 시스템 컨트롤러(1533)는, 메인 CPU(1531) 및 서브 CPU(1532)가 실행하는 프로그램을 지정하는 등, 메인 CPU(1531) 및 서브 CPU(1532)의 동작을 제어한다.
디스플레이 인터페이스(1512)는, 제어부(1511)의 제어 하, 화상 데이터를 예를 들어 커넥티비티(1321) 등으로 출력한다. 예를 들어, 디스플레이 인터페이스(1512)는, 디지털 데이터의 화상 데이터를 아날로그 신호로 변환하고, 재생된 비디오 신호로서, 또는 디지털 데이터의 화상 데이터인 채로, 커넥티비티(1321)의 모니터 장치 등으로 출력한다.
디스플레이 엔진(1513)은, 제어부(1511)의 제어 하, 화상 데이터에 대하여, 그 화상을 표시시키는 모니터 장치 등의 하드웨어 스펙에 맞도록, 포맷 변환, 사이즈 변환, 색 영역 변환 등의 각종 변환 처리를 행한다.
화상 처리 엔진(1514)은, 제어부(1511)의 제어 하, 화상 데이터에 대하여, 예를 들어 화질 개선을 위한 필터 처리 등, 소정의 화상 처리를 실시한다.
내부 메모리(1515)는, 디스플레이 엔진(1513), 화상 처리 엔진(1514) 및 코덱 엔진(1516)에 의해 공용되는, 비디오 프로세서(1332)의 내부에 설치된 메모리이다. 내부 메모리(1515)는, 예를 들어 디스플레이 엔진(1513), 화상 처리 엔진(1514) 및 코덱 엔진(1516)의 사이에서 행해지는 데이터의 수수에 이용된다. 예를 들어, 내부 메모리(1515)는, 디스플레이 엔진(1513), 화상 처리 엔진(1514) 또는 코덱 엔진(1516)으로부터 공급되는 데이터를 저장하고, 필요에 따라서(예를 들어, 요구에 따라), 그 데이터를, 디스플레이 엔진(1513), 화상 처리 엔진(1514) 또는 코덱 엔진(1516)에 공급한다. 이 내부 메모리(1515)는, 어떤 기억 디바이스에 의해 실현되도록 해도 되지만, 일반적으로 블록 단위의 화상 데이터나 파라미터 등의 소용량 데이터의 저장에 이용하는 일이 많으므로, 예를 들어 SRAM(Static Random Access Memory)과 같은 비교적(예를 들어 외부 메모리(1312)와 비교하여) 소용량이지만 응답 속도가 고속인 반도체 메모리에 의해 실현하는 것이 바람직하다.
코덱 엔진(1516)은, 화상 데이터의 부호화나 복호에 관한 처리를 행한다. 이 코덱 엔진(1516)이 대응하는 부호화·복호의 방식은 임의이며, 그 수는 하나여도 되고, 복수여도 된다. 예를 들어, 코덱 엔진(1516)은, 복수의 부호화·복호 방식의 코덱 기능을 구비하고, 그 중에서 선택된 것으로 화상 데이터의 부호화 또는 부호화 데이터의 복호를 행하도록 해도 된다.
도 71에 도시되는 예에 있어서, 코덱 엔진(1516)은, 코덱에 관한 처리의 기능 블록으로서, 예를 들어 MPEG-2 Video(1541), AVC/H.264(1542), HEVC/H.265(1543), HEVC/H.265(Scalable)(1544) 및 HEVC/H.265(Multi-view)(1545) 및, MPEG-DASH(1551) 및 MP4 처리부(1552)를 갖는다.
MPEG-2 Video(1541)는, 화상 데이터를 MPEG-2 방식으로 부호화하거나 복호하거나 하는 기능 블록이다. AVC/H.264(1542)는, 화상 데이터를 AVC 방식으로 부호화하거나 복호하거나 하는 기능 블록이다. HEVC/H.265(1543)는, 화상 데이터를 HEVC 방식으로 부호화하거나 복호하거나 하는 기능 블록이다. HEVC/H.265(Scalable)(1544)는, 화상 데이터를 HEVC 방식으로 스케일러블 부호화하거나 스케일러블 복호하거나 하는 기능 블록이다. HEVC/H.265(Multi-view)(1545)는, 화상 데이터를 HEVC 방식으로 다시점 부호화하거나 다시점 복호하거나 하는 기능 블록이다.
MPEG-DASH(1551)는, MPD나 MP4 파일의 생성이나 재생 등, MPEG-DASH의 규격에 준거한 방법으로 배신되는 배신 데이터나 그 제어 정보의 생성이나 재생에 관한 처리를 행한다. MP4 처리부(1552)는, MP4 파일의 생성이나 재생 등, MP4 파일에 관한 처리를 행한다. 또한, MPEG-DASH(1551) 및 MP4 처리부(1552)는, 화상 데이터의 부호화·복호를 행하는 경우, 상술한 MPEG-2 Video(1541) 내지 HEVC/H.265(Multi-view)(1545)를 이용한다.
메모리 인터페이스(1517)는, 외부 메모리(1312)용 인터페이스이다. 화상 처리 엔진(1514)이나 코덱 엔진(1516)으로부터 공급되는 데이터는, 메모리 인터페이스(1517)를 통하여 외부 메모리(1312)에 공급된다. 또한, 외부 메모리(1312)로부터 판독된 데이터는, 메모리 인터페이스(1517)를 통하여 비디오 프로세서(1332)(화상 처리 엔진(1514) 또는 코덱 엔진(1516))에 공급된다.
다중화·역다중화부(MUX DMUX)(1518)는, 부호화 데이터의 비트 스트림, 화상 데이터, 비디오 신호 등, 화상에 관한 각종 데이터의 다중화나 역다중화를 행한다. 이 다중화·역다중화의 방법은 임의이다. 예를 들어, 다중화 시에, 다중화·역다중화부(MUX DMUX)(1518)는, 복수의 데이터를 하나로 통합할 뿐만 아니라, 소정의 헤더 정보 등을 그 데이터에 부가할 수도 있다. 또한, 역다중화 시에, 다중화·역다중화부(MUX DMUX)(1518)는, 하나의 데이터를 복수로 분할할 뿐만 아니라, 분할한 각 데이터에 소정의 헤더 정보 등을 부가할 수도 있다. 즉, 다중화·역다중화부(MUX DMUX)(1518)는, 다중화·역다중화에 의해 데이터의 포맷을 변환할 수 있다. 예를 들어, 다중화·역다중화부(MUX DMUX)(1518)는, 비트 스트림을 다중화함으로써, 전송용 포맷의 비트 스트림인 트랜스포트 스트림이나, 기록용 파일 포맷의 데이터(파일 데이터)로 변환할 수 있다. 물론, 역다중화에 의해 그 역변환도 가능하다.
네트워크 인터페이스(1519)는, 예를 들어 브로드밴드 모뎀(1333)이나 커넥티비티(1321) 등에 적합한 인터페이스이다. 비디오 인터페이스(1520)는, 예를 들어 커넥티비티(1321)나 카메라(1322) 등에 적합한 인터페이스이다.
이어서, 이러한 비디오 프로세서(1332)의 동작 예에 대하여 설명한다. 예를 들어, 커넥티비티(1321)나 브로드밴드 모뎀(1333) 등을 통하여 외부 네트워크로부터 트랜스포트 스트림을 수신하면, 그 트랜스포트 스트림은, 네트워크 인터페이스(1519)를 통하여 다중화·역다중화부(MUX DMUX)(1518)에 공급되어 역다중화되고, 코덱 엔진(1516)에 의해 복호된다. 코덱 엔진(1516)의 복호에 의해 얻어진 화상 데이터는, 예를 들어 화상 처리 엔진(1514)에 의해 소정의 화상 처리가 실시되고, 디스플레이 엔진(1513)에 의해 소정의 변환이 행해져, 디스플레이 인터페이스(1512)를 통하여 예를 들어 커넥티비티(1321) 등에 공급되어, 그 화상이 모니터에 표시된다. 또한, 예를 들어 코덱 엔진(1516)의 복호에 의해 얻어진 화상 데이터는, 코덱 엔진(1516)에 의해 재부호화되고, 다중화·역다중화부(MUX DMUX)(1518)에 의해 다중화되어 파일 데이터로 변환되고, 비디오 인터페이스(1520)를 통하여 예를 들어 커넥티비티(1321) 등으로 출력되어, 각종 기록 매체에 기록된다.
또한, 예를 들어 커넥티비티(1321) 등에 의해 도시하지 않은 기록 매체로부터 판독된, 화상 데이터가 부호화된 부호화 데이터의 파일 데이터는, 비디오 인터페이스(1520)를 통하여 다중화·역다중화부(MUX DMUX)(1518)에 공급되어 역다중화되고, 코덱 엔진(1516)에 의해 복호된다. 코덱 엔진(1516)의 복호에 의해 얻어진 화상 데이터는, 화상 처리 엔진(1514)에 의해 소정의 화상 처리가 실시되고, 디스플레이 엔진(1513)에 의해 소정의 변환이 행해지고, 디스플레이 인터페이스(1512)를 통하여 예를 들어 커넥티비티(1321) 등에 공급되어, 그 화상이 모니터에 표시된다. 또한, 예를 들어 코덱 엔진(1516)의 복호에 의해 얻어진 화상 데이터는, 코덱 엔진(1516)에 의해 재부호화되고, 다중화·역다중화부(MUX DMUX)(1518)에 의해 다중화되어 트랜스포트 스트림으로 변환되고, 네트워크 인터페이스(1519)를 통하여 예를 들어 커넥티비티(1321)나 브로드밴드 모뎀(1333) 등에 공급되어 도시하지 않은 다른 장치에 전송된다.
또한, 비디오 프로세서(1332) 내의 각 처리부의 사이에서의 화상 데이터나 기타 데이터의 수수는, 예를 들어 내부 메모리(1515)나 외부 메모리(1312)를 이용하여 행해진다. 또한, 파워 메니지먼트 모듈(1313)은, 예를 들어 제어부(1511)로의 전력 공급을 제어한다.
코덱 엔진(1516)의 MP4 처리부(1552)는, 예를 들어 외부 메모리(1312)로부터 판독된 화상 데이터를 취득하고, 그것을 MPEG-2 Video(1541) 내지 HEVC/H.265(Multi-view)(1545) 중 어느 하나를 사용하여 부호화하여 부호화 데이터를 생성하고, 또한 그 부호화 데이터를 저장하는 MP4 파일을 생성한다. MP4 처리부(1552)는, 생성한 MP4 파일을, 예를 들어 메모리 인터페이스(1517)를 통하여 외부 메모리(1312)에 공급하고, 기억시킨다. 이 MP4 파일은, 예를 들어 메모리 인터페이스(1517)에 의해 판독되고, 다중화·역다중화부(MUX DMUX)(1518)나 네트워크 인터페이스(1519)를 통하여, 비디오 프로세서(1332)의 외부로 출력하고, 커넥티비티(1321)나 브로드밴드 모뎀(1333) 등을 통하여 외부 네트워크로 출력시킨다.
또한, MP4 처리부(1552)는, 예를 들어 커넥티비티(1321)나 브로드밴드 모뎀(1333) 등을 통하여 외부 네트워크로부터 취득되어, 네트워크 인터페이스(1519), 다중화·역다중화부(MUX DMUX)(1518), 메모리 인터페이스(1517) 등을 통하여 외부 메모리(1312)에 공급되고, 기억되어 있는 MP4 파일을, 메모리 인터페이스(1517)를 통하여 취득한다. MP4 처리부(1552)는, 취득한 MP4 파일을 해석하여 부호화 데이터를 추출하고, 또한 그 부호화 데이터를, MPEG-2 Video(1541) 내지 HEVC/H.265(Multi-view)(1545) 중 어느 하나를 사용하여 복호한다. MP4 처리부(1552)는, 얻어진 화상 데이터를, 예를 들어 메모리 인터페이스(1517)를 통하여 외부 메모리(1312)에 공급하고, 기억시킨다. 이 화상 데이터는, 예를 들어 메모리 인터페이스(1517)에 의해 판독되고, 화상 처리 엔진(1514), 디스플레이 엔진(1513) 및 디스플레이 인터페이스(1512) 등을 통하여, 예를 들어 커넥티비티(1321) 등에 공급되고, 그 화상이 모니터에 표시된다.
이러한 MP4 처리부(1552)의 처리로서, 상술한 각 실시 형태의 방법을 적용하도록 해도 된다. 즉, MP4 처리부(1552)가, 배신 데이터 생성 장치(101)(도 11)의 화면 분할 처리부(121), 화상 부호화부(122), 파일 생성부(123) 및 서버 업로드 처리부(126)(도 12)를 갖도록 해도 된다. 이 경우, MP4 처리부(1552)는, 화상을 타일별로 분할하여 부호화하고, 타일별 데이터를 저장하는 MP4 파일을 생성하고, 그것을, 커넥티비티(1321) 등을 통하여 배신 서버(102)에 업로드한다. 이와 같이 함으로써, MP4 처리부(1552)가, 각 실시 형태에 있어서 상술한 각종 MP4 파일을 생성할 수 있다.
또한, MP4 처리부(1552)가, 단말 장치(103)(도 11)의 파일 취득부(154), 화상 복호부(155) 및 타일 화상 합성부(156)(도 13)를 갖도록 해도 된다. 이 경우, MP4 처리부(1552)는, 원하는 범위에 포함되는 타일의 데이터를 포함하는 MP4 파일을, 커넥티비티(1321) 등을 통하여 배신 서버(102)로부터 다운로드하고, 그 MP4 파일로부터 그 타일의 부호화 데이터를 추출하여 복호하고, 얻어진 타일의 화상 데이터(타일 화상)를 적절히 합성하여 원하는 범위의 화상 데이터를 생성하고, 그 화상 데이터를 비디오 신호로서 비디오 프로세서(1332)의 외부로 출력시킨다. 이와 같이 함으로써, MP4 처리부(1552)가, 각 실시 형태에 있어서 상술한 각종 MP4 파일을 처리하여, 원하는 화상 데이터를 얻을 수 있다.
즉, 비디오 프로세서(1332)(즉, 비디오 세트(1300))는, 부분 화상 데이터의 적응적인 제공을 실현할 수 있다.
MPEG-DASH(1551)는, 예를 들어 외부 메모리(1312)로부터 판독된 화상 데이터를 취득하고, 그 화상 데이터를 관리하는 MPD를 생성한다. MPEG-DASH(1551)는, 생성된 MPD 파일을, 예를 들어 메모리 인터페이스(1517)를 통하여 외부 메모리(1312)에 공급하여, 기억시킨다. 이 MP4 파일은, 예를 들어 메모리 인터페이스(1517)에 의해 판독되어, 다중화·역다중화부(MUX DMUX)(1518)나 네트워크 인터페이스(1519)를 통하여, 비디오 프로세서(1332)의 외부로 출력하고, 커넥티비티(1321)나 브로드밴드 모뎀(1333) 등을 통하여 외부 네트워크로 출력시킨다.
또한, MPEG-DASH(1551)는, 화상 데이터를 부호화하고, 그 부호화 데이터를 저장하는 MP4 파일을 생성하고, 그 MP4 파일을 관리하는 MPD를 생성하고, 그 MPD 파일을, 외부 네트워크로 출력시키도록 해도 된다. 또한, MPEG-DASH(1551)는, 그 MP4 파일을, MPD 파일과 함께 외부 네트워크로 출력시키도록 해도 된다.
또한, MPEG-DASH(1551)는, 예를 들어 커넥티비티(1321)나 브로드밴드 모뎀(1333) 등을 통하여 외부 네트워크로부터 취득되고, 네트워크 인터페이스(1519), 다중화·역다중화부(MUX DMUX)(1518), 메모리 인터페이스(1517) 등을 통하여 외부 메모리(1312)에 공급되고, 기억되어 있는 MPD 파일을, 메모리 인터페이스(1517)를 통하여 취득한다. MPEG-DASH(1551)는, 취득한 MPD를 해석하고, 그 MPD에 기초하여, 원하는 화상 데이터를 취득한다. 예를 들어, 화상 데이터가 부호화된 부호화 데이터를 포함하는 MP4 파일이 MPD에 의해 관리되고 있는 경우, MPEG-DASH(1551)는, 그 MPD에 기초하여 원하는 화상에 대응하는 MP4 파일을 외부 네트워크로부터 취득하고, 그 MP4 파일에 포함되는 부호화 데이터를 추출하고, 또한 그 부호화 데이터를, MPEG-2 Video(1541) 내지 HEVC/H.265(Multi-view)(1545) 중 어느 하나를 사용하여 복호한다. MPEG-DASH(1551)는, 얻어진 화상 데이터를, 예를 들어 메모리 인터페이스(1517)를 통하여 외부 메모리(1312)에 공급하고, 기억시킨다. 이 화상 데이터는, 예를 들어 메모리 인터페이스(1517)에 의해 판독되고, 화상 처리 엔진(1514), 디스플레이 엔진(1513) 및 디스플레이 인터페이스(1512) 등을 통하여, 예를 들어 커넥티비티(1321) 등에 공급되어, 그 화상이 모니터에 표시된다.
이러한 MPEG-DASH(1551)의 처리로서, 상술한 각 실시 형태의 방법을 적용하도록 해도 된다. 즉, MPEG-DASH(1551)가, 배신 데이터 생성 장치(101)(도 11)의 화면 분할 처리부(121) 내지 서버 업로드 처리부(126)(도 12의 타일형 MPD 생성부(141)을 포함)를 갖도록 해도 된다. 이 경우, MPEG-DASH(1551)는, 화상을 타일별로 분할하여 부호화하고, 타일별 데이터를 저장하는 MP4 파일을 생성하고, 그 MP4 파일을 관리하는 MPD를 생성하여, 그것들을, 커넥티비티(1321) 등을 통해서 배신 서버(102)에 업로드한다. 이와 같이 함으로써, MPEG-DASH(1551)가, 각 실시 형태에 있어서 상술한 각종 MPD를 생성할 수 있다.
또한, MPEG-DASH(1551)가, 단말 장치(103)(도 11)의 MPD 취득부(151) 내지 타일 화상 합성부(156)(도 13의 표시부(157) 이외의 각 처리부)를 갖도록 해도 된다. 이 경우, MPEG-DASH(1551)는, MPD를 해석하고, 원하는 범위에 포함되는 타일의 데이터를 포함하는 MP4 파일을, 커넥티비티(1321) 등을 통하여 배신 서버(102)로부터 다운로드하고, 그 MP4 파일로부터 그 타일의 부호화 데이터를 추출하여 복호하고, 얻어진 타일의 화상 데이터(타일 화상)를 적절히 합성하여 원하는 범위의 화상 데이터를 생성하고, 그 화상 데이터를 비디오 신호로서 비디오 프로세서(1332)의 외부로 출력시킨다. 이와 같이 함으로써, MPEG-DASH(1551)가, 각 실시 형태에 있어서 상술한 각종 MPD를 처리하고, 원하는 화상 데이터를 얻을 수 있다.
즉, 비디오 프로세서(1332)(즉, 비디오 세트(1300))는, 부분 화상의 데이터의 적응적인 제공을 실현할 수 있다.
또한, MPEG-DASH(1551)나 MP4 처리부(1552)에 있어서, 본 기술(즉, 상술한 배신 데이터 생성 장치(101)나 단말 장치(103)의 기능)은, 논리 회로 등의 하드웨어에 의해 실현하도록 해도 되고, 내장 프로그램 등의 소프트웨어에 의해 실현하도록 해도 되며, 그들 양쪽에 의해 실현하도록 해도 된다.
이상으로 비디오 프로세서(1332)의 구성을 2가지 예시했지만, 비디오 프로세서(1332)의 구성은 임의이며, 상술한 2가지 예 이외의 것이어도 된다. 또한, 이 비디오 프로세서(1332)는, 하나의 반도체 칩으로서 구성되도록 해도 되지만, 복수의 반도체 칩으로서 구성되도록 해도 된다. 예를 들어, 복수의 반도체를 적층하는3차원 적층 LSI로 해도 된다. 또한, 복수의 LSI에 의해 실현되도록 해도 된다.
<장치에 대한 적용예>
비디오 세트(1300)는, 화상 데이터를 처리하는 각종 장치에 내장할 수 있다. 예를 들어, 비디오 세트(1300)는, 텔레비전 장치(900)(도 67)나 휴대 전화기(920)(도 68) 등에 내장할 수 있다. 비디오 세트(1300)를 내장함으로써, 그 장치는, 도 1 내지 도 66을 참조하여 상술한 효과와 마찬가지의 효과를 얻을 수 있다.
또한, 상술한 비디오 세트(1300)의 각 구성의 일부여도, 비디오 프로세서(1332)를 포함하는 것이라면, 본 기술을 적용한 구성으로서 실시할 수 있다. 예를 들어, 비디오 프로세서(1332)만을 본 기술을 적용한 비디오 프로세서로 하여 실시할 수 있다. 또한, 예를 들어 상술한 바와 같이 점선 1341에 의해 표시되는 프로세서나 비디오 모듈(1311) 등을 본 기술을 적용한 프로세서나 모듈 등으로 하여 실시할 수 있다. 또한, 예를 들어 비디오 모듈(1311), 외부 메모리(1312), 파워 메니지먼트 모듈(1313) 및 프론트엔드 모듈(1314)을 조합하여, 본 기술을 적용한 비디오 유닛(1361)으로 하여 실시할 수도 있다. 어느 구성의 경우에도, 도 1 내지 도 66을 참조하여 상술한 효과와 마찬가지의 효과를 얻을 수 있다.
즉, 비디오 프로세서(1332)를 포함하는 것이라면 어떤 구성이어도, 비디오 세트(1300)의 경우와 마찬가지로, 화상 데이터를 처리하는 각종 장치에 내장할 수 있다. 예를 들어, 비디오 프로세서(1332), 점선 1341에 의해 표시되는 프로세서, 비디오 모듈(1311) 또는, 비디오 유닛(1361)을 텔레비전 장치(900)(도 67)나 휴대 전화기(920)(도 68) 등에 내장할 수 있다. 그리고, 본 기술을 적용한 어느 하나의 구성을 내장함으로써, 그 장치는, 비디오 세트(1300)의 경우와 마찬가지로, 도 1 내지 도 66을 참조하여 상술한 효과와 마찬가지의 효과를 얻을 수 있다.
본 명세서에 기재된 효과는 어디까지나 예시이지 한정되는 것은 아니며, 다른 효과가 있어도 된다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 불문한다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통하여 접속되어 있는 복수의 장치 및, 하나의 하우징 내에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두, 시스템이다.
또한, 이상에 있어서, 하나의 장치(또는 처리부)로서 설명한 구성을 분할하여, 복수의 장치(또는 처리부)로서 구성하도록 해도 된다. 반대로, 이상에 있어서 복수의 장치(또는 처리부)로서 설명한 구성을 통합해서 하나의 장치(또는 처리부)로서 구성되도록 해도 된다. 또한, 각 장치(또는 각 처리부)의 구성에 상술한 것 이외의 구성을 부가하도록 해도 물론 된다. 또한, 시스템 전체적인 구성이나 동작이 실질적으로 동일하면, 어떤 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함하도록 해도 된다.
이상, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세하게 설명했지만, 본 개시의 기술적 범위는 이러한 예에 한정되지 않는다. 본 개시의 기술 분야에 있어서의 통상의 지식을 갖는 사람이라면, 청구 범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있음은 명확하고, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것이라고 이해할 것이다.
예를 들어, 본 기술은, 하나의 기능을, 네트워크를 통하여 복수의 장치로 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치로 실행하는 것 외에, 복수의 장치로 분담하여 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치로 실행하는 것 외에, 복수의 장치로 분담하여 실행할 수 있다.
상술한 실시 형태에 따른 정보 처리 장치는, 예를 들어 위성 방송, 케이블 TV 등의 유선 방송, 인터넷 상에서의 배신 및, 셀룰러 통신에 의한 단말기로의 배신 등에 있어서의 송신기 또는 수신기, 광 디스크, 자기 디스크 및 플래시 메모리 등의 매체에 화상을 기록하는 기록 장치, 또는, 이들 기억 매체로부터 화상을 재생하는 재생 장치 등의 다양한 전자 기기에 응용될 수 있다.
또한, 본 명세서에서는, 각종 메타데이터가, 비트 스트림에 다중화되어, 부호화측으로부터 복호측으로 전송되는 예에 대하여 설명하였다. 그러나, 이들 정보를 전송하는 수법은 이러한 예에 한정되지 않는다. 예를 들어, 이들 정보는, 비트 스트림에 다중화되는 일 없이, 비트 스트림과 관련지어진 별개의 데이터로서 전송되거나 또는 기록되어도 된다. 여기서, 「관련짓다」라는 용어는, 비트 스트림에 포함되는 화상(슬라이스 또는 블록 등, 화상의 일부여도 됨)과 당해 화상에 대응하는 정보를 복호 시에 링크시킬 수 있도록 하는 것을 의미한다. 즉, 정보는, 화상의 비트 스트림과는 다른 전송로 상에서 전송되어도 된다. 또한, 정보는, 화상의 비트 스트림과는 다른 기록 매체(또는 동일한 기록 매체의 다른 기록 에리어)에 기록되어도 된다. 또한, 정보와 화상의 비트 스트림은, 예를 들어 복수 프레임, 1 프레임, 또는 프레임 내의 일부분 등의 임의의 단위로 서로 관련지어져도 된다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1) 전체 화상의 일부인 부분 화상에 관한 정보인 부분 화상 정보를 생성하는 부분 화상 정보 생성부와,
상기 부분 화상 정보 생성부에 의해 생성된 상기 부분 화상 정보를 사용하여, 상기 전체 화상의 비트 스트림의 제공 및 상기 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터를 생성하는 메타데이터 생성부를 구비하는 정보 처리 장치.
(2) 상기 부분 화상 정보는,
상기 부분 화상 정보에 대응하는 화상이 부분 화상인지를 나타내는 뷰 타입과,
상기 전체 화상의 사이즈에 관한 정보와,
상기 전체 화상에 있어서의 상기 부분 화상의 위치를 나타내는 정보와,
상기 부분 화상이 속하는, 1 화상으로서 표시 가능한 부분 화상의 그룹을 식별하는 그룹 식별 정보를 포함하는, (1)에 기재된 정보 처리 장치.
(3) 상기 메타데이터 생성부는, 서로 동일한 상기 그룹에 속하는 복수의 부분 화상의 각각의 부분 화상 정보를, 상기 메타데이터의 서로 상이한 어댑테이션 세트(AdaptationSet)에 저장하고, 상기 복수의 부분 화상의 각각의 비트 스트림을, 서로 상이한 어댑테이션 세트에 할당하는
(1) 또는 (2)에 기재된 정보 처리 장치.
(4) 상기 메타데이터 생성부는, 서로 동일한 상기 그룹에 속하는 복수의 부분 화상의 각각의 부분 화상 정보를, 상기 메타데이터의 하나의 어댑테이션 세트(AdaptationSet)에 속하는 서로 상이한 리프리젠테이션(Representation)에 저장하고, 상기 복수의 부분 화상의 각각의 비트 스트림을, 서로 상이한 리프리젠테이션에 할당하는
(1) 내지 (3) 중 어느 하나에 기재된 정보 처리 장치.
(5) 상기 메타데이터 생성부는, 서로 동일한 상기 그룹에 속하는 복수의 부분 화상의 각각의 부분 화상 정보를, 상기 메타데이터의 서로 상이한 어댑테이션 세트(AdaptationSet)에 저장하고, 상기 복수의 부분 화상을 포함하는 하나의 비트 스트림이 부분 화상별로 분할된 복수의 파일의 각각을, 서로 상이한 어댑테이션 세트에 할당하는
(1) 내지 (4) 중 어느 하나에 기재된 정보 처리 장치.
(6) 상기 부분 화상 정보 생성부는, 상기 비트 스트림에 포함되는 제어 정보에 관한 상기 부분 화상 정보를 더 생성하고,
상기 메타데이터 생성부는, 상기 제어 정보의 부분 화상 정보를, 각 부분 화상의 부분 화상 정보와는 상이한 어댑테이션 세트에 저장하고, 상기 제어 정보의 파일을, 상기 어댑테이션 세트에 할당하는
(1) 내지 (5) 중 어느 하나에 기재된 정보 처리 장치.
(7) 상기 메타데이터 생성부는, 서로 동일한 상기 그룹에 속하는 복수의 부분 화상의 각각의 부분 화상 정보를, 상기 메타데이터의 전체 화상과 동일한 어댑테이션 세트(AdaptationSet)에 속하는 서로 상이한 리프리젠테이션(Representation)에 저장하고, 상기 복수의 부분 화상의 각각의 비트 스트림을, 서로 상이한 리프리젠테이션에 할당하는
(1) 내지 (6) 중 어느 하나에 기재된 정보 처리 장치.
(8) 상기 부분 화상 정보 생성부는, 서로 동일한 상기 그룹에 속하는 복수의 부분 화상을 포함하는 하나의 비트 스트림에 포함되는 제어 정보에 관한 상기 부분 화상 정보를 더 생성하고,
상기 메타데이터 생성부는,
상기 복수의 부분 화상의 각각의 부분 화상 정보를, 상기 메타데이터의 하나의 어댑테이션 세트(AdaptationSet)에 속하는 서로 상이한 리프리젠테이션(Representation)에 저장하고, 상기 비트 스트림이 부분 화상별로 분할된 복수의 파일의 각각을, 서로 상이한 리프리젠테이션에 할당하고,
상기 제어 정보의 부분 화상 정보를, 각 부분 화상의 부분 화상 정보와는 상이한 리프리젠테이션에 저장하고, 상기 제어 정보의 파일을, 상기 리프리젠테이션에 할당하는
(1) 내지 (7) 중 어느 하나에 기재된 정보 처리 장치.
(9) 상기 메타데이터 생성부는, 서로 동일한 상기 그룹에 속하는 복수의 부분 화상의 각각의 부분 화상 정보를, 상기 메타데이터의 하나의 어댑테이션 세트(AdaptationSet)에 속하는 하나의 리프리젠테이션(Representation)에 속하는 서로 상이한 서브 리프리젠테이션(Sub-Representation)에 저장하고, 상기 복수의 부분 화상의 각각의 비트 스트림을, 서로 상이한 서브 리프리젠테이션에 할당하는
(1) 내지 (8) 중 어느 하나에 기재된 정보 처리 장치.
(10) 상기 부분 화상 정보 생성부는, 서브 리프리젠테이션(Sub-Representation)의 아래에 비트 스트림의 정보가 존재하는 것을 나타내는 세그먼트 정보와, 서로 동일한 상기 그룹에 속하는 복수의 부분 화상을 포함하는 하나의 비트 스트림에 포함되는 제어 정보에 관한 상기 부분 화상 정보를 더 생성하고,
상기 메타데이터 생성부는,
상기 제어 정보의 부분 화상 정보 및 상기 세그먼트 정보를, 상기 메타데이터의 하나의 어댑테이션 세트(AdaptationSet)에 속하는 하나의 리프리젠테이션(Representation)에 저장하고, 상기 제어 정보의 파일을, 상기 리프리젠테이션에 할당하고,
상기 복수의 부분 화상의 각각의 부분 화상 정보를, 상기 리프리젠테이션에 속하는 서로 상이한 서브 리프리젠테이션에 저장하고, 상기 비트 스트림이 부분 화상별로 분할된 복수의 파일의 각각을, 서로 상이한 서브 리프리젠테이션에 할당하는
(1) 내지 (9) 중 어느 하나에 기재된 정보 처리 장치.
(11) 상기 부분 화상 정보 생성부는, 서브 리프리젠테이션(Sub-Representation)의 아래에 비트 스트림의 정보가 존재하는 것을 나타내는 세그먼트 정보와, 서로 동일한 상기 그룹에 속하는 복수의 부분 화상을 포함하는 하나의 비트 스트림에 포함되는 제어 정보에 관한 상기 부분 화상 정보를 더 생성하고,
상기 메타데이터 생성부는,
상기 제어 정보의 부분 화상 정보 및 상기 세그먼트 정보를 상기 메타데이터의 하나의 어댑테이션 세트(AdaptationSet)에 속하는 하나의 리프리젠테이션(Representation)에 저장하고, 상기 비트 스트림을 상기 리프리젠테이션에 할당하고,
상기 복수의 부분 화상의 각각의 부분 화상 정보를, 상기 리프리젠테이션에 속하는 서로 상이한 서브 리프리젠테이션에 저장하고, 상기 비트 스트림에 있어서의 각 부분 화상의 데이터의 장소를 나타내는 정보를, 서로 상이한 서브 리프리젠테이션에 할당하는
(1) 내지 (10) 중 어느 하나에 기재된 정보 처리 장치.
(12) 상기 부분 화상 정보 생성부는, 리프리젠테이션(Representation)의 아래에 동시각의 비트 스트림의 정보가 복수 존재하는 것을 나타내는 멀티세그먼트 정보를 더 생성하고,
상기 메타데이터 생성부는,
상기 멀티세그먼트 정보를 상기 메타데이터의 하나의 어댑테이션 세트(AdaptationSet)에 속하는 하나의 리프리젠테이션(Representation)에 저장하고,
서로 동일한 상기 그룹에 속하는 복수의 부분 화상의 각각의 부분 화상 정보를, 상기 리프리젠테이션에 속하는 서로 상이한 세그먼트(Segment)에 저장하고, 상기 복수의 부분 화상의 각각의 비트 스트림을, 서로 상이한 세그먼트에 할당하는
(1) 내지 (11) 중 어느 하나에 기재된 정보 처리 장치.
(13) 상기 부분 화상 정보 생성부는, 서브 리프리젠테이션(Sub-Representation)의 아래에 비트 스트림의 정보가 존재하지 않음을 나타내는 세그먼트 정보와, 서로 동일한 상기 그룹에 속하는 복수의 부분 화상을 포함하는 하나의 비트 스트림에 관한 상기 부분 화상 정보를 더 생성하고,
상기 메타데이터 생성부는,
상기 세그먼트 정보를 상기 메타데이터의 하나의 어댑테이션 세트(AdaptationSet)에 속하는 하나의 리프리젠테이션(Representation)에 저장하고,
상기 부분 화상 정보를 상기 리프리젠테이션에 속하는 하나의 세그먼트(Segment)에 저장하고, 상기 비트 스트림을 상기 세그먼트에 할당하고,
상기 비트 스트림에 있어서의 각 부분 화상의 데이터의 장소를 나타내는 정보를, 상기 세그먼트에 속하는, 서로 상이한 서브 세그먼트(Sub-Segment)에 할당하는
(1) 내지 (12) 중 어느 하나에 기재된 정보 처리 장치.
(14) 상기 전체 화상 및 상기 부분 화상의 화상 데이터를 부호화하고, 비트 스트림을 생성하는 부호화부를 더 구비하는
(1) 내지 (13) 중 어느 하나에 기재된 정보 처리 장치.
(15) 상기 전체 화상의 화상 데이터로부터 각 부분 화상의 화상 데이터를 생성하는 화면 분할 처리부를 더 구비하는
(1) 내지 (14) 중 어느 하나에 기재된 정보 처리 장치.
(16) 전체 화상의 일부인 부분 화상에 관한 정보인 부분 화상 정보를 생성하고,
생성된 상기 부분 화상 정보를 사용하여, 상기 전체 화상의 비트 스트림의 제공 및 상기 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터를 생성하는
정보 처리 방법.
(17) 전체 화상의 일부인 부분 화상에 관한 정보인 부분 화상 정보를 포함하고, 상기 전체 화상의 비트 스트림의 제공 및 상기 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터를 해석하여, 상기 부분 화상 정보를 얻는 해석부와,
상기 해석부에 의해 얻어진 상기 부분 화상 정보를 사용하여, 원하는 부분 화상의 비트 스트림을 선택하는 선택부와,
상기 선택부에 의해 선택된 비트 스트림을 취득하는 비트 스트림 취득부를 구비하는 정보 처리 장치.
(18) 상기 메타데이터를 취득하는 메타데이터 취득부를 더 구비하는
(17)에 기재된 정보 처리 장치.
(19) 상기 비트 스트림 취득부에 의해 취득된 상기 비트 스트림을 복호하는 복호부를 더 구비하는
(17) 또는 (18)에 기재된 정보 처리 장치.
(20) 전체 화상의 일부인 부분 화상에 관한 정보인 부분 화상 정보를 포함하고, 상기 전체 화상의 비트 스트림의 제공 및 상기 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터를 해석하고, 상기 부분 화상 정보를 얻고,
얻어진 상기 부분 화상 정보를 사용하여, 원하는 부분 화상의 비트 스트림을 선택하고,
선택된 비트 스트림을 취득하는
정보 처리 방법.
(21) 전체 화상의 일부인 부분 화상에 관한 정보인 부분 화상 정보를 생성하는 부분 화상 정보 생성부와,
상기 부분 화상 정보 생성부에 의해 생성된 상기 부분 화상 정보를 사용하여, 상기 전체 화상의 비트 스트림의 제공 및 상기 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터를 생성하는 메타데이터 생성부를 구비하고,
상기 부분 화상 정보는, 상기 부분 화상 정보가 저장되는 어댑테이션 세트(AdaptationSet)의 콘텐츠 소스가 다른 어댑테이션 세트의 콘텐츠 소스와 동일한지 여부를 나타내는 식별 정보를 포함하는
정보 처리 장치.
(22) 상기 부분 화상 정보는,
상기 전체 화상에 있어서의 상기 부분 화상의 위치를 나타내는 정보와,
상기 부분 화상의 사이즈에 관한 정보와,
상기 전체 화상의 사이즈에 관한 정보를 더 포함하는
(21)에 기재된 정보 처리 장치.
(23) 상기 부분 화상 정보는, 상기 부분 화상 정보가 저장되는 어댑테이션 세트가 비트 스트림 전체를 정의하는 것인지, 비트 스트림의 일부를 정의하는 것인지를 나타내는 식별 정보를 더 포함하는
(21) 또는 (22)에 기재된 정보 처리 장치.
(24) 상기 부분 화상 정보는, 상기 부분 화상 정보가 저장되는 어댑테이션 세트가 대응하는 비트 스트림의 일부가 어떤 정보로 구성되어 있는지를 나타내는 정보를 더 포함하는
(21) 내지 (23) 중 어느 하나에 기재된 정보 처리 장치.
(25) 상기 부분 화상 정보는, 상기 부분 화상 정보가 저장되는 어댑테이션 세트가 대응하는 비트 스트림의 일부가 트랙으로 분할되어 있는지를 나타내는 정보를 더 포함하는
(21) 내지 (24) 중 어느 하나에 기재된 정보 처리 장치.
(26) 상기 부분 화상 정보는, 상기 부분 화상 정보가 저장되는 어댑테이션 세트가 대응하는 상기 부분 화상의 식별 정보를 더 포함하는
(21) 내지 (25) 중 어느 하나에 기재된 정보 처리 장치.
(27) 상기 부분 화상 정보는, 트랙 레퍼런스와 엑스트랙터를 포함하고,
상기 트랙 레퍼런스와 엑스트랙터는, 복수의 상기 부분 화상의 각각에 대응하는 각 트랙에 저장되고, 상기 부분 화상의 슬라이스를 저장하는 베이스 트랙을 참조하는
(21) 내지 (26) 중 어느 하나에 기재된 정보 처리 장치.
(28) 전체 화상의 일부인 부분 화상에 관한 정보이며, 상기 부분 화상 정보가 저장되는 어댑테이션 세트(AdaptationSet)의 콘텐츠 소스가 다른 어댑테이션 세트의 콘텐츠 소스와 동일한지 여부를 나타내는 식별 정보를 포함하는 부분 화상 정보를 생성하고,
생성된 상기 부분 화상 정보를 사용하여, 상기 전체 화상의 비트 스트림의 제공 및 상기 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터를 생성하는
정보 처리 방법.
(29) 전체 화상의 일부인 부분 화상에 관한 정보인 부분 화상 정보를 포함하고, 상기 전체 화상의 비트 스트림의 제공 및 상기 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터를 해석하여, 상기 부분 화상 정보를 얻는 해석부와,
상기 해석부에 의해 얻어진 상기 부분 화상 정보를 사용하여, 원하는 부분 화상의 비트 스트림을 선택하는 선택부와,
상기 선택부에 의해 선택된 비트 스트림을 취득하는 비트 스트림 취득부를 구비하고,
상기 부분 화상 정보는, 상기 부분 화상 정보가 저장되는 어댑테이션 세트(AdaptationSet)의 콘텐츠 소스가 다른 어댑테이션 세트의 콘텐츠 소스와 동일한지 여부를 나타내는 식별 정보를 포함하는
정보 처리 장치.
(30) 전체 화상의 일부인 부분 화상에 관한 정보이고, 상기 부분 화상 정보가 저장되는 어댑테이션 세트(AdaptationSet)의 콘텐츠 소스가 다른 어댑테이션 세트의 콘텐츠 소스와 동일한지 여부를 나타내는 식별 정보를 포함하는 부분 화상 정보를 포함하고, 상기 전체 화상의 비트 스트림의 제공 및 상기 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터를 해석하여, 상기 부분 화상 정보를 얻고,
얻어진 상기 부분 화상 정보를 사용하여, 원하는 부분 화상의 비트 스트림을 선택하고,
선택된 비트 스트림을 취득하는
정보 처리 방법.
(41) 전체 화상의 일부인 부분 화상에 관한 정보인 부분 화상 정보를 생성하는 부분 화상 정보 생성부와,
상기 부분 화상 정보 생성부에 의해 생성된 상기 부분 화상 정보를 사용하여, 상기 전체 화상의 비트 스트림의 제공 및 상기 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터를 생성하는 메타데이터 생성부를 구비하는 정보 처리 장치.
(42) 상기 부분 화상 정보는, 상기 부분 화상의 상기 전체 화상 내의 위치를 나타내는 위치 정보를 포함하는
(41)에 기재된 정보 처리 장치.
(43) 상기 위치 정보는, 상기 부분 화상의 좌측 상부의 위치를 나타내는
(42)에 기재된 정보 처리 장치.
(44) 상기 메타데이터 생성부는, 복수의 부분 화상의 각각의 부분 화상 정보를, 상기 메타데이터의 서로 상이한 어댑테이션 세트(AdaptationSet)에 저장하고, 상기 복수의 부분 화상의 각각의 비트 스트림을, 서로 상이한 어댑테이션 세트에 할당하는
(41) 내지 (43) 중 어느 하나에 기재된 정보 처리 장치.
(45) 상기 메타데이터 생성부는, 복수의 부분 화상의 각각의 부분 화상 정보를, 상기 메타데이터의 서로 상이한 어댑테이션 세트(AdaptationSet)에 저장하고, 상기 복수의 부분 화상을 포함하는 하나의 비트 스트림이 부분 화상별로 분할된 복수의 파일의 각각을, 서로 상이한 어댑테이션 세트에 할당하는
(41) 내지 (44) 중 어느 하나에 기재된 정보 처리 장치.
(46) 상기 메타데이터 생성부는, 복수의 부분 화상의 각각의 부분 화상 정보를, 상기 메타데이터의 하나의 어댑테이션 세트(AdaptationSet)에 속하는 하나의 리프리젠테이션(Representation)에 속하는 서로 상이한 서브 리프리젠테이션(Sub-Representation)에 저장하고, 상기 복수의 부분 화상의 각각의 비트 스트림을, 서로 상이한 서브 리프리젠테이션에 할당하는
(41) 내지 (45) 중 어느 하나에 기재된 정보 처리 장치.
(47) 상기 부분 화상 정보 생성부는, 서브 리프리젠테이션(Sub-Representation)의 아래에 비트 스트림의 정보가 존재하는 것을 나타내는 정보를 더 생성하는
(46)에 기재된 정보 처리 장치.
(48) 상기 복수의 부분 화상의 각각의 비트 스트림은, 하나의 MP4 파일의 각각의 TRACK에 저장되는
(46) 또는 (47)에 기재된 정보 처리 장치.
(49) 상기 메타데이터 생성부는, 상기 하나의 MP4 파일의 데이터의 장소를 나타내는 정보를 더 생성하는
(48)에 기재된 정보 처리 장치.
(50) 상기 부분 화상 정보는, 상기 전체 화상의 사이즈에 관한 정보를 더 포함하는
(41) 내지 (49) 중 어느 하나에 기재된 정보 처리 장치.
(51) 상기 부분 화상 정보는, 상기 부분 화상이 속하는, 1 화상으로서 표시 가능한 부분 화상의 그룹을 식별하는 그룹 식별 정보를 더 포함하는
(41) 내지 (50) 중 어느 하나에 기재된 정보 처리 장치.
(52) 상기 전체 화상 및 상기 부분 화상의 화상 데이터를 부호화하고, 비트 스트림을 생성하는 부호화부를 더 구비하는
(41) 내지 (51) 중 어느 하나에 기재된 정보 처리 장치.
(53) 상기 전체 화상의 화상 데이터로부터 각 부분 화상의 화상 데이터를 생성하는 화면 분할 처리부를 더 구비하는
(41) 내지 (52) 중 어느 하나에 기재된 정보 처리 장치.
(54) 상기 부분 화상 정보는,
상기 전체 화상을 구성하는 상기 부분 화상의 수를 나타내는 정보와,
상기 부분 화상의 크기가 균등한지를 나타내는 식별 정보와,
상기 부분 화상의 크기가 균등하지 않을 경우, 각 부분 화상의 위치 및 크기를 나타내는 정보를 포함하는
(41) 내지 (53) 중 어느 하나에 기재된 정보 처리 장치.
(55) 전체 화상의 일부인 부분 화상에 관한 정보인 부분 화상 정보를 생성하고,
생성된 상기 부분 화상 정보를 사용하여, 상기 전체 화상의 비트 스트림의 제공 및 상기 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터를 생성하는
정보 처리 방법.
(56) 전체 화상의 일부인 부분 화상에 관한 정보인 부분 화상 정보를 포함하고, 상기 전체 화상의 비트 스트림의 제공 및 상기 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터를 해석하여, 상기 부분 화상 정보를 얻는 해석부와,
상기 해석부에 의해 얻어진 상기 부분 화상 정보를 사용하여, 원하는 부분 화상의 비트 스트림을 선택하는 선택부와,
상기 선택부에 의해 선택된 비트 스트림을 취득하는 비트 스트림 취득부를 구비하는 정보 처리 장치.
(57) 상기 부분 화상 정보는, 상기 부분 화상의 상기 전체 화상 내의 위치를 나타내는 위치 정보를 포함하는
(56)에 기재된 정보 처리 장치.
(58) 상기 위치 정보는, 상기 부분 화상의 좌측 상부의 위치를 나타내는
(57)에 기재된 정보 처리 장치.
(59) 상기 해석부는, 복수의 부분 화상의 각각의 부분 화상 정보가, 서로 상이한 어댑테이션 세트(AdaptationSet)에 저장되고, 상기 복수의 부분 화상의 각각의 비트 스트림이, 서로 상이한 어댑테이션 세트에 할당된 상기 메타데이터를 해석하는
(56) 내지 (58) 중 어느 하나에 기재된 정보 처리 장치.
(60) 상기 해석부는, 복수의 부분 화상의 각각의 부분 화상 정보가, 서로 상이한 어댑테이션 세트(AdaptationSet)에 저장되고, 상기 복수의 부분 화상을 포함하는 하나의 비트 스트림이 부분 화상별로 분할된 복수의 파일의 각각이, 서로 상이한 어댑테이션 세트에 할당된 상기 메타데이터를 해석하는
(56) 내지 (59) 중 어느 하나에 기재된 정보 처리 장치.
(61) 상기 해석부는, 복수의 부분 화상의 각각의 부분 화상 정보가, 하나의 어댑테이션 세트(AdaptationSet)에 속하는 하나의 리프리젠테이션(Representation)에 속하는 서로 상이한 서브 리프리젠테이션(Sub-Representation)에 저장되고, 상기 복수의 부분 화상의 각각의 비트 스트림이, 서로 상이한 서브 리프리젠테이션에 할당된 상기 메타데이터를 해석하는
(56) 내지 (60) 중 어느 하나에 기재된 정보 처리 장치.
(62) 상기 부분 화상 정보는, 서브 리프리젠테이션(Sub-Representation)의 아래에 비트 스트림의 정보가 존재하는 것을 나타내는 정보를 포함하는
(61)에 기재된 정보 처리 장치.
(63) 상기 복수의 부분 화상의 각각의 비트 스트림은, 하나의 MP4 파일의 각각의 TRACK에 저장되는
(61) 또는 (62)에 기재된 정보 처리 장치.
(64) 상기 메타데이터는, 상기 하나의 MP4 파일의 데이터의 장소를 나타내는 정보를 포함하는
(63)에 기재된 정보 처리 장치.
(65) 상기 부분 화상 정보는, 상기 전체 화상의 사이즈에 관한 정보를 더 포함하는
(56) 내지 (64) 중 어느 하나에 기재된 정보 처리 장치.
(66) 상기 부분 화상 정보는, 상기 부분 화상이 속하는, 1 화상으로서 표시 가능한 부분 화상의 그룹을 식별하는 그룹 식별 정보를 더 포함하는
(56) 내지 (65) 중 어느 하나에 기재된 정보 처리 장치.
(67) 상기 비트 스트림 취득부에 의해 취득된 상기 비트 스트림을 복호하는 복호부를 더 구비하는
(56) 내지 (66) 중 어느 하나에 기재된 정보 처리 장치.
(68) 상기 복호부에 의해 상기 비트 스트림이 복호되어 얻어진 상기 부분 화상의 화상 데이터로부터 전체 화상의 화상 데이터를 생성하는 화면 합성 처리부를 더 구비하는
(67)에 기재된 정보 처리 장치.
(69) 상기 부분 화상 정보는,
상기 전체 화상을 구성하는 상기 부분 화상의 수를 나타내는 정보와,
상기 부분 화상의 크기가 균등한지를 나타내는 식별 정보와,
상기 부분 화상의 크기가 균등하지 않을 경우, 각 부분 화상의 위치 및 크기를 나타내는 정보를 포함하는
(56) 내지 (68) 중 어느 하나에 기재된 정보 처리 장치.
(70) 전체 화상의 일부인 부분 화상에 관한 정보인 부분 화상 정보를 포함하고, 상기 전체 화상의 비트 스트림의 제공 및 상기 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터를 해석하여, 상기 부분 화상 정보를 얻고,
얻어진 상기 부분 화상 정보를 사용하여, 원하는 부분 화상의 비트 스트림을 선택하고,
선택된 비트 스트림을 취득하는
정보 처리 방법.
100: 배신 시스템
101: 배신 데이터 생성 장치
102: 배신 서버
103: 단말 장치
104: 네트워크
121: 화면 분할 처리부
122: 화상 부호화부
123: 파일 생성부
124: 타일형 화상 정보 생성부
125: MPD 생성부
126: 서버 업로드 처리부
131 내지 133: 부호화 처리부
141: 타일형 MPD 생성부
151: MPD 취득부
152: 파스 처리부
153: 타일 화상 선택부
154: 파일 취득부
155: 화상 복호부
156: 타일 화상 합성부
157: 표시부
161 내지 163: 복호 처리부
171: 타일형 화상 정보 처리부

Claims (32)

  1. 전체 화상의 일부인 부분 화상에 관한 정보이며, 상기 부분 화상이 속하는, 1 화상으로서 표시 가능한 부분 화상의 그룹을 식별하는 그룹 식별 정보를 포함하는 부분 화상 정보를 생성하는 부분 화상 정보 생성부와,
    상기 부분 화상 정보 생성부에 의해 생성된 상기 부분 화상 정보를 사용하여, 상기 전체 화상의 비트 스트림의 제공 및 상기 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터를 생성하는 메타데이터 생성부를 구비하는 정보 처리 장치.
  2. 제1항에 있어서,
    상기 부분 화상 정보는, 상기 부분 화상의 상기 전체 화상 내의 위치를 나타내는 위치 정보를 포함하는 정보 처리 장치.
  3. 제2항에 있어서,
    상기 위치 정보는, 상기 부분 화상의 좌측 상부의 위치를 나타내는 정보 처리 장치.
  4. 제1항에 있어서,
    상기 메타데이터 생성부는, 복수의 부분 화상의 각각의 부분 화상 정보를, 상기 메타데이터의 서로 상이한 어댑테이션 세트(AdaptationSet)에 저장하고, 상기 복수의 부분 화상의 각각의 비트 스트림을, 서로 상이한 어댑테이션 세트에 할당하는 정보 처리 장치.
  5. 제1항에 있어서,
    상기 메타데이터 생성부는, 복수의 부분 화상의 각각의 부분 화상 정보를, 상기 메타데이터의 서로 상이한 어댑테이션 세트(AdaptationSet)에 저장하고, 상기 복수의 부분 화상을 포함하는 하나의 비트 스트림이 부분 화상별로 분할된 복수의 파일의 각각을, 서로 상이한 어댑테이션 세트에 할당하는 정보 처리 장치.
  6. 제1항에 있어서,
    상기 메타데이터 생성부는, 복수의 부분 화상의 각각의 부분 화상 정보를, 상기 메타데이터의 하나의 어댑테이션 세트(AdaptationSet)에 속하는 하나의 리프리젠테이션(Representation)에 속하는 서로 상이한 서브 리프리젠테이션(Sub-Representation)에 저장하고, 상기 복수의 부분 화상의 각각의 비트 스트림을, 서로 상이한 서브 리프리젠테이션에 할당하는 정보 처리 장치.
  7. 제6항에 있어서,
    상기 부분 화상 정보 생성부는, 서브 리프리젠테이션(Sub-Representation)의 아래에 비트 스트림의 정보가 존재하는 것을 나타내는 정보를 더 생성하는 정보 처리 장치.
  8. 제6항에 있어서,
    상기 복수의 부분 화상의 각각의 비트 스트림은, 하나의 MP4 파일의 각각의 TRACK에 저장되는 정보 처리 장치.
  9. 제8항에 있어서,
    상기 메타데이터 생성부는, 상기 하나의 MP4 파일의 데이터의 장소를 나타내는 정보를 더 생성하는 정보 처리 장치.
  10. 제1항에 있어서,
    상기 부분 화상 정보는, 상기 전체 화상의 사이즈에 관한 정보를 포함하는 정보 처리 장치.
  11. 제1항에 있어서,
    상기 부분 화상은, HEVC(High Efficiency Video Coding)에 있어서의 타일(Tile)인 정보 처리 장치.
  12. 제1항에 있어서,
    상기 부분 화상 정보는, 부분 화상인지 여부를 나타내는 뷰 타입(viewtype)을 포함하는 정보 처리 장치.
  13. 제1항에 있어서,
    상기 전체 화상 및 상기 부분 화상의 화상 데이터를 부호화하고, 비트 스트림을 생성하는 부호화부를 더 구비하는 정보 처리 장치.
  14. 제1항에 있어서,
    상기 전체 화상의 화상 데이터로부터 각 부분 화상의 화상 데이터를 생성하는 화면 분할 처리부를 더 구비하는 정보 처리 장치.
  15. 제1항에 있어서,
    상기 부분 화상 정보는,
    상기 전체 화상을 구성하는 상기 부분 화상의 수를 나타내는 정보와,
    상기 부분 화상의 크기가 균등한지를 나타내는 식별 정보와,
    상기 부분 화상의 크기가 균등하지 않을 경우, 각 부분 화상의 위치 및 크기를 나타내는 정보를 포함하는 정보 처리 장치.
  16. 전체 화상의 일부인 부분 화상에 관한 정보이며, 상기 부분 화상이 속하는, 1 화상으로서 표시 가능한 부분 화상의 그룹을 식별하는 그룹 식별 정보를 포함하는 부분 화상 정보를 생성하고,
    생성된 상기 부분 화상 정보를 사용하여, 상기 전체 화상의 비트 스트림의 제공 및 상기 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터를 생성하는 정보 처리 방법.
  17. 전체 화상의 일부인 부분 화상에 관한 정보이며, 상기 부분 화상이 속하는, 1 화상으로서 표시 가능한 부분 화상의 그룹을 식별하는 그룹 식별 정보를 포함하는 부분 화상 정보를 포함하고, 상기 전체 화상의 비트 스트림의 제공 및 상기 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터를 해석하여, 상기 부분 화상 정보를 얻는 해석부와,
    상기 해석부에 의해 얻어진 상기 부분 화상 정보를 사용하여, 원하는 부분 화상의 비트 스트림을 선택하는 선택부와,
    상기 선택부에 의해 선택된 비트 스트림을 취득하는 비트 스트림 취득부를 구비하는 정보 처리 장치.
  18. 제17항에 있어서,
    상기 부분 화상 정보는, 상기 부분 화상의 상기 전체 화상 내의 위치를 나타내는 위치 정보를 포함하는 정보 처리 장치.
  19. 제18항에 있어서,
    상기 위치 정보는, 상기 부분 화상의 좌측 상부 위치를 나타내는 정보 처리 장치.
  20. 제17항에 있어서,
    상기 해석부는, 복수의 부분 화상의 각각의 부분 화상 정보가, 서로 상이한 어댑테이션 세트(AdaptationSet)에 저장되고, 상기 복수의 부분 화상의 각각의 비트 스트림이, 서로 상이한 어댑테이션 세트에 할당된 상기 메타데이터를 해석하는 정보 처리 장치.
  21. 제17항에 있어서,
    상기 해석부는, 복수의 부분 화상의 각각의 부분 화상 정보가, 서로 상이한 어댑테이션 세트(AdaptationSet)에 저장되고, 상기 복수의 부분 화상을 포함하는 하나의 비트 스트림이 부분 화상별로 분할된 복수의 파일의 각각이, 서로 상이한 어댑테이션 세트에 할당된 상기 메타데이터를 해석하는 정보 처리 장치.
  22. 제17항에 있어서,
    상기 해석부는, 복수의 부분 화상의 각각의 부분 화상 정보가, 하나의 어댑테이션 세트(AdaptationSet)에 속하는 하나의 리프리젠테이션(Representation)에 속하는 서로 상이한 서브 리프리젠테이션(Sub-Representation)에 저장되고, 상기 복수의 부분 화상의 각각의 비트 스트림이, 서로 상이한 서브 리프리젠테이션에 할당된 상기 메타데이터를 해석하는 정보 처리 장치.
  23. 제22항에 있어서,
    상기 부분 화상 정보는, 서브 리프리젠테이션(Sub-Representation)의 아래에 비트 스트림의 정보가 존재하는 것을 나타내는 정보를 포함하는 정보 처리 장치.
  24. 제22항에 있어서,
    상기 복수의 부분 화상의 각각의 비트 스트림은, 하나의 MP4 파일의 각각의 TRACK에 저장되는 정보 처리 장치.
  25. 제24항에 있어서,
    상기 메타데이터는, 상기 하나의 MP4 파일의 데이터의 장소를 나타내는 정보를 포함하는 정보 처리 장치.
  26. 제17항에 있어서,
    상기 부분 화상 정보는, 상기 전체 화상의 사이즈에 관한 정보를 포함하는 정보 처리 장치.
  27. 제17항에 있어서,
    상기 부분 화상은, HEVC(High Efficiency Video Coding)에 있어서의 타일(Tile)인 정보 처리 장치.
  28. 제17항에 있어서,
    상기 부분 화상 정보는, 부분 화상인지 여부를 나타내는 뷰 타입(viewtype)을 포함하는 정보 처리 장치.
  29. 제17항에 있어서,
    상기 비트 스트림 취득부에 의해 취득된 상기 비트 스트림을 복호하는 복호부를 더 구비하는 정보 처리 장치.
  30. 제29항에 있어서,
    상기 복호부에 의해 상기 비트 스트림이 복호되어 얻어진 상기 부분 화상의 화상 데이터로부터 전체 화상의 화상 데이터를 생성하는 화면 합성 처리부를 더 구비하는 정보 처리 장치.
  31. 제17항에 있어서,
    상기 부분 화상 정보는,
    상기 전체 화상을 구성하는 상기 부분 화상의 수를 나타내는 정보와,
    상기 부분 화상의 크기가 균등한지를 나타내는 식별 정보와,
    상기 부분 화상의 크기가 균등하지 않을 경우, 각 부분 화상의 위치 및 크기를 나타내는 정보를 포함하는 정보 처리 장치.
  32. 전체 화상의 일부인 부분 화상에 관한 정보이며, 상기 부분 화상이 속하는, 1 화상으로서 표시 가능한 부분 화상의 그룹을 식별하는 그룹 식별 정보를 포함하는 부분 화상 정보를 포함하고, 상기 전체 화상의 비트 스트림의 제공 및 상기 부분 화상의 비트 스트림의 제공에 이용되는 메타데이터를 해석하여, 상기 부분 화상 정보를 얻고,
    얻어진 상기 부분 화상 정보를 사용하여, 원하는 부분 화상의 비트 스트림을 선택하고,
    선택된 비트 스트림을 취득하는 정보 처리 방법.
KR1020167000345A 2013-07-19 2014-07-16 정보 처리 장치 및 방법 KR102224332B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JPJP-P-2013-150977 2013-07-19
JP2013150977 2013-07-19
JPJP-P-2014-002046 2014-01-08
JP2014002046 2014-01-08
JP2014058762 2014-03-20
JPJP-P-2014-058762 2014-03-20
PCT/JP2014/068860 WO2015008774A1 (ja) 2013-07-19 2014-07-16 情報処理装置および方法

Publications (2)

Publication Number Publication Date
KR20160034282A true KR20160034282A (ko) 2016-03-29
KR102224332B1 KR102224332B1 (ko) 2021-03-08

Family

ID=52346223

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167000345A KR102224332B1 (ko) 2013-07-19 2014-07-16 정보 처리 장치 및 방법

Country Status (12)

Country Link
US (3) US10306273B2 (ko)
EP (3) EP3013065B1 (ko)
JP (3) JP6493765B2 (ko)
KR (1) KR102224332B1 (ko)
CN (3) CN105519130B (ko)
AU (2) AU2014291253B2 (ko)
CA (1) CA2916878A1 (ko)
MX (2) MX364810B (ko)
MY (1) MY182338A (ko)
RU (2) RU2018135725A (ko)
SG (1) SG11201600223UA (ko)
WO (2) WO2015008775A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018169139A1 (ko) * 2017-03-17 2018-09-20 엘지전자 주식회사 360도 비디오의 영역 정보 전달 방법 및 장치
WO2019199024A1 (ko) * 2018-04-10 2019-10-17 엘지전자 주식회사 360 영상 데이터의 서브픽처 기반 처리 방법 및 그 장치

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102084104B1 (ko) 2013-07-25 2020-03-03 콘비다 와이어리스, 엘엘씨 종단간 m2m 서비스 계층 세션
WO2015014773A1 (en) 2013-07-29 2015-02-05 Koninklijke Kpn N.V. Providing tile video streams to a client
JPWO2015060165A1 (ja) * 2013-10-22 2017-03-09 シャープ株式会社 表示処理装置、配信装置、および、メタデータ
EP3713234A1 (en) * 2014-01-07 2020-09-23 Canon Kabushiki Kaisha Method, device, and computer program for encoding inter-layer dependencies in encapsulating multi-layer partitioned timed media data
WO2015197815A1 (en) 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream
WO2015197818A1 (en) 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Hevc-tiled video streaming
KR102597985B1 (ko) * 2014-08-07 2023-11-06 디빅스, 엘엘씨 독립적으로 인코딩된 타일을 포함한 기본 비트스트림을 보호하는 시스템 및 방법
WO2016092759A1 (ja) 2014-12-09 2016-06-16 パナソニックＩｐマネジメント株式会社 送信方法、受信方法、送信装置および受信装置
JP6741975B2 (ja) * 2014-12-09 2020-08-19 パナソニックＩｐマネジメント株式会社 送信方法および送信装置
EP3035326B1 (en) * 2014-12-19 2019-07-17 Alcatel Lucent Encoding, transmission , decoding and displaying of oriented images
WO2016127374A1 (zh) 2015-02-12 2016-08-18 华为技术有限公司 多媒体流业务呈现方法和相关装置及相关***
KR101919726B1 (ko) * 2015-02-15 2018-11-16 후아웨이 테크놀러지 컴퍼니 리미티드 하이퍼텍스트 전송 프로토콜 미디어 스트림에 기초한 미디어 프레젠테이션 가이드 방법 및 관련 장치
KR102423610B1 (ko) * 2015-02-27 2022-07-22 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
EP3288272A4 (en) * 2015-04-23 2018-09-12 LG Electronics Inc. Apparatus for transmitting broadcasting signal, apparatus for receiving broadcasting signal, method for transmitting broadcasting signal, and method for receiving broadcasting signal
WO2016204712A1 (en) * 2015-06-16 2016-12-22 Intel IP Corporation Adaptive video content for cellular communication
US10715843B2 (en) 2015-08-20 2020-07-14 Koninklijke Kpn N.V. Forming one or more tile streams on the basis of one or more video streams
CN108476327B (zh) * 2015-08-20 2021-03-19 皇家Kpn公司 基于媒体流来形成拼块化视频
EP3360330B1 (en) 2015-10-08 2021-03-24 Koninklijke KPN N.V. Enhancing a region of interest in video frames of a video stream
CN108476346B (zh) * 2016-01-13 2021-03-12 索尼公司 信息处理装置和信息处理方法
US10884723B2 (en) * 2016-01-21 2021-01-05 Facebook, Inc. Modification of software behavior in run time
US10904515B2 (en) 2016-02-22 2021-01-26 Sony Corporation File generation apparatus and file generation method as well as reproduction apparatus and reproduction method
CN108702534B (zh) * 2016-02-22 2021-09-14 索尼公司 文件生成装置、文件生成方法以及再现装置和再现方法
US9992517B2 (en) * 2016-02-23 2018-06-05 Comcast Cable Communications, Llc Providing enhanced content based on user interactions
US10390071B2 (en) * 2016-04-16 2019-08-20 Ittiam Systems (P) Ltd. Content delivery edge storage optimized media delivery to adaptive bitrate (ABR) streaming clients
JP2017199994A (ja) * 2016-04-26 2017-11-02 日本放送協会 映像配信装置及び映像配信方法
US10956766B2 (en) 2016-05-13 2021-03-23 Vid Scale, Inc. Bit depth remapping based on viewing parameters
WO2017195881A1 (ja) * 2016-05-13 2017-11-16 ソニー株式会社 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
US11284124B2 (en) 2016-05-25 2022-03-22 Koninklijke Kpn N.V. Spatially tiled omnidirectional video streaming
EP3466076A1 (en) * 2016-05-26 2019-04-10 VID SCALE, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery
US10491963B1 (en) * 2016-06-28 2019-11-26 Amazon Technologies, Inc. Use video codecs to deliver images
EP4336850A3 (en) 2016-07-08 2024-04-17 InterDigital Madison Patent Holdings, SAS Systems and methods for region-of-interest tone remapping
US10805614B2 (en) 2016-10-12 2020-10-13 Koninklijke Kpn N.V. Processing spherical video data on the basis of a region of interest
WO2018097947A2 (en) 2016-11-03 2018-05-31 Convida Wireless, Llc Reference signals and control channels in nr
KR102130429B1 (ko) * 2016-11-07 2020-07-07 한화테크윈 주식회사 멀티미디어 수신 장치에서 디코딩을 수행하는 방법 및 멀티미디어 장치
US11336909B2 (en) * 2016-12-27 2022-05-17 Sony Corporation Image processing apparatus and method
US11765406B2 (en) 2017-02-17 2023-09-19 Interdigital Madison Patent Holdings, Sas Systems and methods for selective object-of-interest zooming in streaming video
US11139000B2 (en) * 2017-03-07 2021-10-05 Mediatek Inc. Method and apparatus for signaling spatial region information
KR102628139B1 (ko) 2017-03-07 2024-01-22 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 멀티-디바이스 프리젠테이션을 위한 맞춤형 비디오 스트리밍
WO2018180511A1 (ja) * 2017-03-27 2018-10-04 ソニー株式会社 画像生成装置および画像生成方法、並びに画像再生装置および画像再生方法
GB2560921B (en) * 2017-03-27 2020-04-08 Canon Kk Method and apparatus for encoding media data comprising generated content
EP3633628B1 (en) * 2017-05-30 2021-04-07 Sony Corporation Image processing device and method, file generation device and method, and program
WO2019002662A1 (en) 2017-06-26 2019-01-03 Nokia Technologies Oy APPARATUS, METHOD AND COMPUTER PROGRAM FOR OMNIDIRECTIONAL VIDEO
US10587883B2 (en) * 2017-07-14 2020-03-10 Qualcomm Incorporated Region-wise packing, content coverage, and signaling frame packing for media content
JP7035401B2 (ja) * 2017-09-15 2022-03-15 ソニーグループ株式会社 画像処理装置およびファイル生成装置
EP3734982A4 (en) * 2018-01-12 2020-11-25 Sony Corporation INFORMATION PROCESSING DEVICE AND METHOD
JP7246855B2 (ja) 2018-02-16 2023-03-28 キヤノン株式会社 撮像装置、記録装置及び表示制御装置
JP7396267B2 (ja) * 2018-03-29 2023-12-12 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
GB2575074B (en) * 2018-06-27 2022-09-28 Canon Kk Encapsulating video content with an indication of whether a group of tracks collectively represents a full frame or a part of a frame
US11871451B2 (en) 2018-09-27 2024-01-09 Interdigital Patent Holdings, Inc. Sub-band operations in unlicensed spectrums of new radio
US20200296316A1 (en) 2019-03-11 2020-09-17 Quibi Holdings, LLC Media content presentation
US20200296462A1 (en) 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area
WO2020261690A1 (ja) * 2019-06-28 2020-12-30 ソニー株式会社 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
JPWO2021002338A1 (ko) * 2019-07-03 2021-01-07
CN110381331A (zh) * 2019-07-23 2019-10-25 深圳市道通智能航空技术有限公司 一种图像处理方法、装置、航拍设备及存储介质
CN112215744A (zh) * 2020-02-08 2021-01-12 朱明华 基于云平台的图像数据处理方法、装置及***
CN113824958A (zh) * 2020-06-18 2021-12-21 中兴通讯股份有限公司 视频分块方法、传输方法、服务器、适配器和存储介质
US11276206B2 (en) 2020-06-25 2022-03-15 Facebook Technologies, Llc Augmented reality effect resource sharing
US11888913B2 (en) 2021-04-28 2024-01-30 Lemon Inc. External stream representation properties
CN114998112B (zh) * 2022-04-22 2024-06-28 广州市天誉创高电子科技有限公司 基于自适应频域滤波的图像去噪方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012168365A1 (en) * 2011-06-08 2012-12-13 Koninklijke Kpn N.V. Spatially-segmented content delivery
WO2013063094A1 (en) * 2011-10-24 2013-05-02 Qualcomm Incorporated Grouping of tiles for video coding

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3532332B2 (ja) * 1995-11-10 2004-05-31 パイオニア株式会社 画像情報再生装置
EP1202577B1 (fr) * 2000-10-10 2006-05-17 Koninklijke Philips Electronics N.V. Procédé de traîtement de données vidéo
JP4099973B2 (ja) * 2001-10-30 2008-06-11 松下電器産業株式会社 映像データ送信方法及び映像データ受信方法、並びに映像監視システム
US7613727B2 (en) * 2002-02-25 2009-11-03 Sont Corporation Method and apparatus for supporting advanced coding formats in media files
JP4443181B2 (ja) * 2003-10-15 2010-03-31 株式会社日立製作所 コミュニケーションシステム及び方法
CN101389021B (zh) * 2007-09-14 2010-12-22 华为技术有限公司 视频编解码方法及装置
JP5239423B2 (ja) * 2008-03-17 2013-07-17 株式会社リコー 情報処理装置，情報処理方法，プログラム，および記録媒体
JP4539754B2 (ja) * 2008-04-11 2010-09-08 ソニー株式会社 情報処理装置及び情報処理方法
CA2767794A1 (en) * 2008-10-07 2010-04-15 Telefonaktiebolaget Lm Ericsson (Publ) Multi-view media data
JP5222227B2 (ja) * 2009-05-22 2013-06-26 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
JP5037574B2 (ja) * 2009-07-28 2012-09-26 株式会社ソニー・コンピュータエンタテインメント 画像ファイル生成装置、画像処理装置、画像ファイル生成方法、および画像処理方法
WO2011087449A1 (en) * 2010-01-18 2011-07-21 Telefonaktiebolaget L M Ericsson (Publ) Methods and arrangements for http media stream distribution
US9185439B2 (en) * 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
CN102130936B (zh) * 2010-08-17 2013-10-09 华为技术有限公司 一种在动态http流传输方案中支持时移回看的方法和装置
KR101206698B1 (ko) 2010-10-06 2012-11-30 한국항공대학교산학협력단 스트리밍 콘텐츠 제공 장치 및 방법
CN102136948B (zh) * 2011-03-15 2014-04-02 华为技术有限公司 用于统计用户体验的方法、终端设备和***
EP2924989A1 (en) * 2011-03-16 2015-09-30 Electronics and Telecommunications Research Institute Apparatus and method for providing streaming content using representations
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US9712874B2 (en) 2011-12-12 2017-07-18 Lg Electronics Inc. Device and method for receiving media content
JP6214235B2 (ja) * 2012-07-02 2017-10-18 キヤノン株式会社 ファイル生成方法、ファイル生成装置、及びプログラム
CN104904225B (zh) * 2012-10-12 2019-05-07 佳能株式会社 用于对视频数据进行流传输的方法和相应装置
CN105027567A (zh) * 2013-01-07 2015-11-04 诺基亚技术有限公司 用于视频编码和解码的方法和装置
BR112015017192B1 (pt) * 2013-01-18 2023-11-07 Canon Kabushiki Kaisha Método e dispositivo para encapsular dados de mídia programada particionados, meio de armazenamento e meio de gravação
GB2513140B (en) 2013-04-16 2016-05-04 Canon Kk Methods, devices, and computer programs for streaming partitioned timed media data
JP2014230055A (ja) 2013-05-22 2014-12-08 ソニー株式会社 コンテンツ供給装置、コンテンツ供給方法、プログラム、およびコンテンツ供給システム
WO2015004276A2 (en) 2013-07-12 2015-01-15 Canon Kabushiki Kaisha Adaptive data streaming method with push messages control
EP4020983A1 (en) * 2014-12-31 2022-06-29 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012168365A1 (en) * 2011-06-08 2012-12-13 Koninklijke Kpn N.V. Spatially-segmented content delivery
WO2013063094A1 (en) * 2011-10-24 2013-05-02 Qualcomm Incorporated Grouping of tiles for video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MPEG-DASH(Dynamic Adaptive Streaming over HTTP)(URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018169139A1 (ko) * 2017-03-17 2018-09-20 엘지전자 주식회사 360도 비디오의 영역 정보 전달 방법 및 장치
US11363248B2 (en) 2017-03-17 2022-06-14 Lg Electronics Inc. Method and device for transmitting region information of 360-degree video
WO2019199024A1 (ko) * 2018-04-10 2019-10-17 엘지전자 주식회사 360 영상 데이터의 서브픽처 기반 처리 방법 및 그 장치

Also Published As

Publication number Publication date
AU2018241185A1 (en) 2018-11-01
RU2016100862A (ru) 2017-07-17
CN105519131A (zh) 2016-04-20
US20190191194A1 (en) 2019-06-20
WO2015008775A1 (ja) 2015-01-22
SG11201600223UA (en) 2016-02-26
EP3013065A1 (en) 2016-04-27
EP3461142A1 (en) 2019-03-27
RU2671946C2 (ru) 2018-11-08
AU2014291253B2 (en) 2018-07-05
US10306273B2 (en) 2019-05-28
CN105519130B (zh) 2019-03-08
JP2019088023A (ja) 2019-06-06
AU2018241185B2 (en) 2019-08-08
EP3013064A4 (en) 2016-11-16
CA2916878A1 (en) 2015-01-22
EP3013065A4 (en) 2016-11-16
MY182338A (en) 2021-01-20
JP6493765B2 (ja) 2019-04-03
EP3461142B1 (en) 2020-12-30
US20160156943A1 (en) 2016-06-02
AU2014291253A1 (en) 2016-02-11
EP3013064B1 (en) 2019-03-13
RU2018135725A (ru) 2018-11-21
US10038922B2 (en) 2018-07-31
MX2019004446A (es) 2019-07-15
CN105519130A (zh) 2016-04-20
JPWO2015008774A1 (ja) 2017-03-02
EP3013065B1 (en) 2019-10-16
MX364810B (es) 2019-05-07
WO2015008774A1 (ja) 2015-01-22
CN110035300A (zh) 2019-07-19
MX2016000335A (es) 2016-05-05
EP3013064A1 (en) 2016-04-27
JPWO2015008775A1 (ja) 2017-03-02
KR102224332B1 (ko) 2021-03-08
JP6658931B2 (ja) 2020-03-04
US20160156949A1 (en) 2016-06-02
CN105519131B (zh) 2019-05-03

Similar Documents

Publication Publication Date Title
JP6658931B2 (ja) 情報処理装置および方法
US11259018B2 (en) Encoding apparatus and encoding method as well as decoding apparatus and decoding method
JP6481206B2 (ja) 情報処理装置、コンテンツ要求方法およびコンピュータプログラム
JP2019110542A (ja) サーバ装置、クライアント装置、コンテンツ配信方法およびコンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant