CN105409235A - 文件生成装置和方法以及内容重放装置和方法 - Google Patents

文件生成装置和方法以及内容重放装置和方法 Download PDF

Info

Publication number
CN105409235A
CN105409235A CN201480039728.3A CN201480039728A CN105409235A CN 105409235 A CN105409235 A CN 105409235A CN 201480039728 A CN201480039728 A CN 201480039728A CN 105409235 A CN105409235 A CN 105409235A
Authority
CN
China
Prior art keywords
file
subsample
information
access information
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480039728.3A
Other languages
English (en)
Other versions
CN105409235B (zh
Inventor
平林光浩
服部忍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105409235A publication Critical patent/CN105409235A/zh
Application granted granted Critical
Publication of CN105409235B publication Critical patent/CN105409235B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B2020/10916—Seeking data on the record carrier for preparing an access to a specific address

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开涉及能够实现高效地存取样本内的任意子样本的一种文件生成装置和方法，以及一种内容重放装置。用于获取任意子样本(图块)的信息不是通过扩展sidx和ssix布置的，而是通过在区段文件的开始处的sidx和ssix之后限定单独的框即通用子区段索引框(gsix)布置的。本公开可应用于内容重放***，所述内容重放***配备有例如内容服务器和内容重放装置。

Description

文件生成装置和方法以及内容重放装置和方法
技术领域
本公开涉及一种文件生成装置和方法，以及内容重放装置和方法，更具体地，涉及能够根据区段内的数据类型来实现高效地存取的一种文件生成装置和方法，以及一种内容重放装置和方法。
背景技术
下一代视频传送技术即使用HTTP的MPEG动态自适应流媒体传输(MPEG-DASH)的国际标准在2011年12月获得批准。MPEG-DASH是一种自适应流媒体传输技术，所述自适应流媒体传输技术将与网站相同的超文本传送协议(HTTP)用于视频传送的通信协议。
在MPEG-DASH中，MPD中陈述了用于获取任意时间区段的信息。为了获取区段文件内的任意时间的数据，在区段文件的开始处的sidx中陈述了所述区段内的子区段的存取信息。此外，为了以随时点播(trickplay)等为目的而仅获取任意I/P图片，在区段文件的开始处的sidx之后的ssix中陈述了关于IPB图片的依赖水平的信息以及它们的大小信息。
sidx和ssix是不需要解释MP4(moof)结构的通用存取信息，并且可还被用作用于流-例如MPEG-2TS的存取信息(见非专利文献1)。
引文列表
非专利文献
非专利文献1：MPEG-DASH(使用HTTP的动态自适应流媒体传输)(URL：http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1)。
发明内容
技术问题
然而，在HEVC中，使用了图块结构，所述图块结构允许应用程序仅对需要解码的区域进行解码。然而，如果使MPEG-DASH支持图块结构，那么认为图块是子样本，并且在上述ssix中，仅可以陈述图片的单元中的I/B/P存取信息。
因而，存取图片内的任意图块需要分析moof等中的子样本信息，这增加了获取实际数据之前的处理量，并且数据获取效率不高。
根据这种情况设想出本公开，并且本公开能够高效地存取样本内的任意子样本。
解决问题的方案
一种根据本公开的第一方面的文件生成装置包括：文件生成单元，所述文件生成单元配置成，在包括通过将其中图像被划分成多个子样本的内容编码生成的位流的文件的开始处，布置用于从多个子样本中获取任意子样本的子样本存取信息，并且从而生成文件。
子样本存取信息可以布置在文件开始处的区段索引框和子区段索引框之后。
子样本存取信息可以是用于所有子样本的索引信息和大小信息。
子样本存取信息可以布置在通用子区段索引框中。
子样本存取信息可以是存储关于moof中的子样本的信息的框的偏置信息，和框的大小信息。
子样本存取信息可以布置在子样本框位置框中。
子样本可以是图块。
可以进一步包括编码单元，所述编码单元将其中图像被划分成多个子样本的内容编码，并且从而生成位流。
一种根据本公开的第一方面的文件生成方法包括：通过文件生成装置，在包括由将通过将图像划分成多个子样本来获得的内容编码生成的位流的文件的开始处布置用于从多个子样本中获取任意子样本的子样本存取信息，并且从而生成文件。
一种根据本公开的第二方面的内容重放装置，包括：存取信息获取单元，所述存取信息获取单元配置成从通过将子样本存取信息布置在包括位流的文件的开始处来生成的文件获取子样本存取信息，通过将其中图像被划分成多个子样本的内容解码来生成所述位流，所述子样本存取信息是用于从多个子样本中获取任意子样本的信息；样本获取单元，所述样本获取单元配置成使用子样本存取信息来获取任意子样本，所述子样本存取信息是通过存取信息获取单元获取的；以及重放单元，所述重放单元配置成重放通过样本获取单元获取的任意子样本。
子样本存取信息可以布置在文件开始处的区段索引框和子区段索引框之后。
子样本存取信息可以是用于所有子样本的索引信息和大小信息。
子样本存取信息可以布置在通用子区段索引框中。
子样本存取信息可以是存储关于moof中的子样本的信息的框的偏置信息，和框的大小信息。
子样本存取信息可以布置在子样本框位置框中。
子样本可以是图块。
内容可以存储在通过网络连接的服务器上。
一种根据本公开的第二方面的内容重放方法，包括：通过内容重放装置，从文件获取子样本存取信息，所述文件是通过在包括通过将其中图像划分成多个子样本的内容解码来生成的位流的文件的开始处布置子样本存取信息而生成的，子样本存取信息是用于从多个子样本中获取任意子样本的信息；使用获取的子样本存取信息来获取任意子样本；以及重放任意的获取子样本。
在本公开的第一方面中，在包括通过将其中图像被划分成多个子样本的内容编码来生成的位流的文件的开始处，布置用于从多个子样本中获取任意子样本的子样本存取信息，并且从而生成文件。
在本公开的第二方面中，子样本存取信息是从文件获取的，所述文件是通过将子样本存取信息布置在包括通过将其中图像划分成多个子样本的内容解码生成的位流的文件的开始处来生成的，所述子样本存取信息是用于从多个子样本中获取任意子样本的信息。使用获取的子样本存取信息，重放任意的获取子样本。
应当指出的是，上述的文件生成装置和内容重放装置每个都可以是独立装置，或者是构成单个装置的一部分的内部块。
本发明的有益效果
根据本公开的第一方面，可以生成文件。具体地，可以高效地实施根据区段内的数据类型的存取。
根据本公开的第二方面，可以重放内容。具体地，可以高效地实施根据区段内的数据类型的存取。
应当指出的是，在本说明书中描述的有益效果仅是为了示例起见而给出的。本技术的有益效果不限于在本说明书中描述的有益效果，并且可以具有额外的有益效果。
附图说明
图1是示出了符合MPEG-DASH的MP4文件的示例性配置的示意图。
图2是解释水平指定的机制的示意图。
图3是示出了符合MPEG-DASH的MP4文件的另一个示例性配置的示意图。
图4是示出了通用子区段索引框(gsix)语法的示例的示意图。
图5是解释样本群组条目映射的示意图。
图6是示出了样本群组条目语法的示例的示意图。
图7是示出了类型指定框语法的示例的示意图。
图8是示出了子样本框位置框语法的示例的示意图。
图9是示出了内容重放***的示例性配置的方框图。
图10是示出了文件生成装置的示例性配置的方框图。
图11是解释文件生成进程的流程图。
图12是解释图块(A)重放进程的示例的流程图。
图13是解释图块(A)随时点播重放进程的示例的流程图。
图14是示出了符合MPEG-DASH的MP4文件的示例性逻辑配置的示意图。
图15是示出了图14中的MP4文件的示例性配置的示意图。
图16是示出了图14中的MP4文件的另一个示例性配置的示意图。
图17是解释文件生成进程的流程图。
图18是解释图块轨迹重放进程的示例的流程图。
图19是符合MPEG-DASH的MP4文件的逻辑配置的另一个示例的示意图。
图20是示出了图19中的MP4文件的示例性配置的示意图。
图21是示出了图19中的MP4文件的另一个示例性配置的示意图。
图22是解释文件生成进程的流程图。
图23是解释图块轨迹重放进程的示例的流程图。
图24是示出了计算机的示例性配置的方框图。
具体实施方式
此后，将描述用于执行本公开的实施方式(下文中称为实施方式)。下文中，将以下述次序进行描述。
0.概述
1.第一实施方式(内容重放***)
2.第二实施方式(计算机)
<0.概述>
[概述]
在MPEG-DASH中，媒体呈现描述(MPD)中陈述了用于获取任意时间的区段的信息。此外，为了获取区段文件内任意时间的数据，在区段文件的开始处的区段索引框(sidx)中陈述了区段内的子区段的存取信息。此外，为了以随时点播等为目的而仅获取任意I/P图片，在区段文件的开始处的sidx之后的子区段索引框(ssix)中陈述了关于IPB图片的依赖水平(levels)的信息以及它们的大小信息。
sidx和ssix是不需要解释MP4(moof)结构的通用存取信息，并且可还被用作用于流-例如MPEG-2TS的存取信息。
[符合MPEG-DASH的MP4文件的示例性配置]
图1是示出了包括sidx和ssix的符合MPEG-DASH的MP4文件的示例性配置的示意图。
在图1的示例中，符合MPEG-DASH的MP4文件由其中存储译码初始化信息的初始区段文件和其中存储样本的多个媒体区段文件组成。
初始区段文件由ftyp和moov组成，所述moov包括样本表格框(stbl)和mvex。
媒体区段(下文中也简称为区段)文件包括在其中存储图片的多个moof和mdat。在moof的开始之前，或者换句话说，在区段文件的开始处，布置了styp、sidx和ssix。本文中，包含在区段文件中的多个moof和mdat将被称为子区段。
在sidx和ssix中，存储了从MPD信息(时间，URL)获取的存取信息，所述存取信息用于存取构成区段文件的子区段。
在sidx中，如在附图的左下部示出的，存储了子区段(moof+mdat)的大小(参考_大小)的表格。从而，通过sidx信息，能够仅获取任意时间的子区段，或者换句话说，能够实现任意存取。
此外，如在附图的右下部示出的，在ssix中，存储了构成子区段的视频(图片)的水平(译码水平)和大小(范围大小)的表格。应当指出的是，moof包含在开始处的IDR的大小中。此外，共同管理连续B图片的大小。应当指出的是，水平指示依赖水平。
因此，通过ssix信息，能够仅获取视频的任意时间或任意水平的子区段的数据。
水平指定机构
接下来，将参照图2描述确定水平的机构(它是存储在ssix中的一条信息)。
如附图的左侧示出的，在初始区段文件中的stbl的样本群组描述框(sgpd)中，通过限定‘tele’样本群组来限定水平的含义。tele(它是sgpd中的分组_类型)指示时间水平样本分组，并且表示时间水平样本分组机制的使用。
在tele中，条目_总数＝3指示陈述了3条条目，并且通过仅使用水平_独立_可解码旗标来将图片限定为是或者不是I图片。例如，从顶部按次序开始，索引1输入为水平_独立_可解码＝1(没有译码依赖)和预留＝0。索引2输入为水平_独立_可解码＝0(译码依赖)和预留＝0。索引3输入为水平_独立_可解码＝0(译码依赖)和预留＝0。
此外，如在附图的右侧示出的，在初始区段文件中mvex的水平指定框(leva)中，具有3个水平_总数，其中每个都指示指定了哪个水平。从顶部按次序开始，水平_总数是水平1到水平3，其中每个都限定轨迹_id＝1、定位_旗标＝0、指定_类型＝0并且分组_类型＝‘tele’。
另外，sgpd和leva中的相应条目以索引次序彼此关联。换句话说，从顶部按次序开始，水平1与sgpd的索引1关联。因此，水平1没有译码依赖，并且AVC视频的IDR和非IDR图片解释为处于水平1。
此外，水平2与sgpd的索引2关联。因此，水平2没有信息，并且P图片在译码标准的依赖等级中解释为处于水平2。
水平3与sgpd的索引3关联。因此，水平3没有信息，并且B图片在译码标准的等级依赖中体现为处于水平3。
[对于HEVC图块结构的支持]
此时，在根据HEVC标准的译码中，图块结构可被用于允许应用程序仅解码需要解码的区域。
另一方面，在MP4中，为每个编解码器决定子样本的定义。例如，当在HEVC中一个图片由多个图块组成时，图块作为构成MP4文件中的样本的子样本来管理。
另外，为了从MP4文件仅获取构成样本的任意子样本(图块)，需要一种进程，该进程首先获取moof、获取moof内的子样本信息框并且随后获取子样本。换句话说，在获取实际数据之前要进行大量处理，例如必须深入分析moof，并且数据获取效率不高。
与此同时，在符合MPEG-DASH的MP4文件中，如前面论述的，sidx和ssix是不需要解释MP4(moof)结构的通用存取信息，并且还可用作用于流-例如MPEG-2TS的存取信息。
然而，因为在ssix中仅可陈述图片的单元中的I/B/P存取信息，最终，需要解释MP4(moof)结构，并且因此为获取实际数据而进行的处理的量很大。
此外，当区段由多个moof/mdat组成时，因为子样本信息框存储在每个moof中，为了获取实际数据而进行处理的量甚至变得更大。
相应地，本技术提供了通用子区段索引框(gsix)的扩展定义，其中用于获取任意子样本(图块)的信息可以共同存储在区段文件的开始处。例如，gsix存储用于存取任意子样本和获取任意子样本的子样本存取信息。
应当指出的是，虽然下面描述了其中子样本是图块的示例，但是本技术不限于子样本和图块，并且提供通用机制的扩展定义，所述通用机制允许陈述构成样本的某个要素。
[符合MPEG-DASH的MP4文件的示例性配置]
图3是示出了包括sidx、ssix和gsix的符合MPEG-DASH的MP4文件的示例性配置的示意图。
图3的示例示出了一种示例，在该示例中包含在mdat中的每个图片都由4个图块构成。此外，图3的示例与图1的示例不同之处仅在于，gsix另外布置在媒体区段(下文中还仅称为区段)文件的开始处的styp、sidx和ssix之后。
换句话说，类似于图1的示例，在ssix中，从文件的开始，moof和IDR陈述为水平＝1并且范围_大小＝a1。Bpic陈述为水平＝3并且范围_大小＝a2。Ppic陈述为水平＝2并且范围_大小＝a3。Bpic陈述为水平＝3并且范围_大小＝a4。Ppic陈述为水平＝2并且范围_大小＝a5。
另一方面，与图1的示例不同的是，gsix陈述用于moof和所有图块的所有索引信息和大小信息(存取信息)。在gsix中，从文件的开始，moof陈述为索引＝1并且大小＝a1-1。图块1陈述为索引＝2并且大小＝a1-2。虽然在附图的图示中省略了，但是此后进行了类似陈述。
通过使用如上述的sidx、ssix和gsix，可以快速并且高效地实施获取任意图块-例如仅获取图块1或仅获取I图片的图块1的进程。
[gsix语法的示例]
图4是示出了通用子区段索引框(gsix)语法的示例的示意图。应当指出的是，gsix存储在每个区段文件中的sidx/ssix之后。存在多个分组和类型的gsix。gsix的范围指向用于一个或多个样本的信息或者用于一个或多个子样本的信息。
在图4的示例中，从顶部开始第二排的分组_类型int(32)限定由gsix管理的样本群组条目的类型。
在从顶部开始的第八排，条目_索引是对类型指定框的索引(图5)，所述类型指定框用于与图块位置信息关联。索引＝0指示moof数据。应当指出，虽然随后参照图5详细论述，但是还能够直接从gsix指向对视觉样本群组条目的索引，而无需使用类型指定框。
在从顶部开始的第九排，范围_大小指示样本群组条目信息的字节范围(大小信息)。通过参考范围_大小，能够存取任意图块(子样本)。
[样本群组条目映射]
接下来，将参照图5来描述样本群组条目映射。
如附图的左侧示出的，在初始区段文件中stbl的样本群组描述框(sgpd)中，通过限定‘图块’样本群组限定了图块。
在‘图块’中，条目_总数＝n指示陈述了n个条目。在图5的示例中，4个视觉样本群组条目的条目相应地陈述了4个图块的位置信息。
此外，如附图的右侧示出的，在初始区段文件中mvex的类型指定框(typa)中，条目_总数＝n指示陈述了n个条目。在图5的示例中，陈述了限定分组_类型＝“图块”的4个条目。
另外，sgpd和typa中的相应条目以索引次序彼此关联。因此，例如，图4的gsix中的条目_索引指向typa的索引，并且另外指向对应于该索引的sgpd的视觉样本群组条目，并且因此可以获取图块的位置信息。
应当指出，如之前论述的，当图4中gsix的条目_索引配置成直接指向sgpd的索引时，typa框变得不必要。
另外，如由虚线指示的，sgpd可还配置成不存储在stbl中而是存储在mvex中。stbl是配置成用于每个轨迹的框。与此相反，一个mvex配置成用于moov，并且所述mvex是宣称使用分段结构的框。换句话说，当由多个轨迹构成时，sgpd可还被存储在mvex中，从而允许sgpd被多个文件共同使用。
[样本群组条目语法的示例]
图6是一个示意图，该示意图示出了陈述图块位置信息的样本群组条目的语法示例以及限定采样群组‘图块’的样本群组描述框的示例。应当指出的是，图5中的样本群组描述框是使用视觉样本群组条目进行的概括。在实际实施中，视觉样本群组条目类似于图6中示出的图块样本群组条目那样扩展。
如由图6中的语法示出的，图块样本群组条目(它是视觉样本群组条目的扩展)将图块的水平(H)偏置、图块的竖直(V)偏置、图块的宽度和图块的高度存储为图块位置信息。
例如，当图片具有如附图的右侧示出的图块结构(图块视频)时，由样本群组描述框限定的‘图块’群组条目配置成包括4个条目-从索引1到4。
换句话说，在‘图块’群组条目中，图块位置信息“0,0,960,640”输入为索引1的图块样本群组条目(“图块”)。此外，图块位置信息“960,0,960,640”输入为索引2的图块样本群组条目(“图块”)。此外，图块位置信息“0,640,960,640”输入为索引3的图块样本群组条目(“图块”)。另外，图块位置信息“960,640,960,640”输入为索引4的图块样本群组条目(“图块”)。
因此，可以通过指示图块的索引号来获取图块位置信息。
[类型指定框语法的示例]
图7是示出了图5中类型指定框语法的语法示例的示意图。在图7中示出的类型指定框中，限定了图5中示出的分组_类型＝“图块”。
应当指出的是，上面描述了其中HEVC图块由单个轨迹组成的情形的示例。与此相反，在其中HEVC图块由多个轨迹(类似于下面)组成的情形中，子样本可以共同存储在邻近区域中。
例如，
Moof-图块1(I)/图块1(B)/图块1(B)/图块1(P)/图块1(B)/图块1(B)/图块1(P)
Moof-图块2(I)/图块2(B)/图块2(B)/图块2(P)/图块2(B)/图块2(B)/图块2(P)
即使当以此方式配置时，通过布置gsix，也可以相对于从普通样本获取图块(图块1/2…)的情形进一步改进传输效率。
应当指出的是，虽然前面描述了将gsix布置在区段文件的开始处sidx和ssix之后的示例，但是用于存取任意子样本和获取任意子样本的子样本存取信息的示例不限于存储在gsix中的信息。作为用于存取任意子样本和获取任意子样本的子样本存取信息的另一个示例，例如仅框的存取信息可以布置在区段文件的开始处sidx和ssix之后，所述框存储一种用于存取moof内的任意子样本的方法。
[子样本存取信息的其他示例]
图8是示出了子样本框位置框语法的示例的示意图。
由图8的示例示出的子样本框位置框是如上面论述的布置在区段文件的开始处sidx和ssix之后的框，并且是存储一个存储用于存取任意子样本的方法的moof内的框的存取信息的框。
在从顶部开始第五排的框_类型中，存储用于存取任意子样本的方法的框的类型陈述为4字母代码(4CC)。这种框的示例包括子样本信息框(‘subs’)、子样本提示信息框(‘sshi’)等。
子样本信息框是存储信息-例如关于构成样本的子样本的信息的框。子样本提示信息框是存储如下信息的框：例如将多个子样本分组在一起的信息以及解码分组的子样本群组所需要的信息。这两个框都布置在moof内。
另外，从顶部开始的第七排和第八排分别陈述了从子样本框位置框到以第五排的框_类型陈述的框的开始位置的偏置以及所述框的大小信息。
以此方式，存储用于存取moof内的任意子样本的方法的框的存取信息布置在区段文件的开始处，并且因此可以省略解释moof内的信息的进程。因此，可以高效地存取样本内的任意子样本。
如上面所述的，在本技术中，用于获取任意子样本(图块)的信息布置在区段文件的开始处，从而允许高效地存取样本内的任意子样本。因此，可以实现使用HTTP的高效数据获取。
此外，用于获取任意子样本(图块)的信息不是通过扩展sidx和ssix来布置的，而是通过限定在区段文件的开始处sidx和ssix之后的单独的框布置的。因此，可以执行不影响现有设备的扩展。
此外，甚至对于图块之外的信息，也可以实现根据区段内的数据类型的存取。
接下来，下文中将描述采用上面技术的内容重放***的示例。
<1.第一实施方式>
[信息处理***]
图9是示出了采用本技术的内容重放***的示例的示意图。
在图9的示例中，内容重放***包括文件生成装置101、内容服务器102、内容重放装置103和网络104。
文件生成装置101、内容服务器102和内容重放装置103通过网络104连接。网络104可以是无线传输路径或者有线传输路径。
例如，网络104可包括公共网络，例如因特网、电话网络或者卫星通信网络，和各种局域网(LAN)或包括以太网(Ethernet)(注册商标)的广域网(WAN)。另外，网络104可还包括专用网络例如互联网协议虚拟专用网(IP-VPN)。
应当指出的是，文件生成装置101和内容服务器102可还通过与网络104分开的网络-例如专用线路网络来连接。
根据例如高效视频译码(HEVC)的方案，文件生成装置101将内容数据-例如视频内容编码。随后，文件生成装置101生成编码数据(位流)的数据文件和包括关于编码数据的元数据的数据文件(随后讨论的MPD文件)。例如，文件生成装置101生成符合MPEG-DASH的MP4文件，所述MP4文件由具有不同译码速率的区段群组组成。换句话说，在MP4文件中，多比特率的内容被划分成一些文件，所述文件持续几秒到大致十几秒。
另外，编码数据是在通过将图片划分成多个图块(图块-划分结构)获得的结构中编码的。随后，在包括编码数据的MP4文件中，用于获取任意子样本(图块)的子样本存取信息(也就是说，gsix信息)布置在区段文件的开始处。
应当指出的是，内容数据可以是音频数据(例如音乐、演讲和广播节目)、视频数据(例如电视节目、视频节目、照片、文件、图纸和图表)或者诸如游戏和软件的数据。
文件生成装置101将生成的MP4文件传输到内容服务器102，以便存储在内容服务器102的存储单元111中。另外，文件生成装置101还将生成的MPD文件传输到内容服务器102，以便存储在内容服务器102的存储单元111中。
内容服务器102包括存储单元111和通信单元112。内容服务器102将MP4文件存储在存储单元111中，所述MP4文件通过由文件生成装置101生成的具有不同译码速率的区段群组组成。
在图9的示例中，存储单元111存储由具有3Mbps译码速率的区段群组组成的MP4文件以及由具有1Mpbs译码速率的区段群组组成的MP4文件等组成。
存储单元111可以是存储媒体-例如非易失性存储器、磁盘、光盘或磁光(MO)盘。非易失性存储器可以是例如电可擦除可编程只读存储器(EEPROM)或可擦除可编程只读存储器(EPROM)。此外，磁盘可以是硬盘或盘状磁性材料盘。此外，光盘可以是压缩光盘(CD)、数字多功能刻录光盘(DVD-R)、蓝光光盘(BD)(注册商标)等。
另外，内容服务器102还存储播放列表文件(下文中称为媒体呈现描述(MPD)文件)，所述播放列表文件包括存储在存储单元111中的每个MP4文件的属性(比特率信息)和URL(存取信息)。MPD文件可由文件生成装置101生成，或由内容服务器102生成。
通信单元112用作与文件生成装置101的接口，并且通过网络104与文件生成装置101通信。
另外，通信单元112还用作与内容重放装置103的接口，并且通过网络104与内容重放装置103通信。在这种情形中，更具体地，通信单元112包括根据HTTP与内容重放装置103通信的HTTP服务器的功能。例如，通信单元112将MPD文件传输到内容重放装置103，根据HTTP从存储单元111提取MP4文件(所述MP4文件是依照MPD文件从内容重放装置103请求的)，并且将MP4文件作为HTTP响应传输到内容重放装置103。
内容重放装置103分析从内容服务器102获取的MPD文件，并且依照分析的MPD文件在考虑屏幕大小和传输路径的状态的情况下选定最佳图像大小、细分屏幕的至少一个图块和译码速率。例如，在重放的初始阶段，请求传送具有1Mbps译码速率的区段，并且如果通信状态量好，那么传送切换到具有3Mbps译码速率的区段。作为另一个示例，如果屏幕大小很小的话，那么请求传送(仅)对应于屏幕大小的任意图块的区段。以此方式接收的区段解码、一起结合成内容并且在屏幕上显示。
应当指出的是，随后具体地描述重放图块的情形。内容重放装置103包括流控制单元121、HTTP存取单元122和内容重放单元123。
流控制单元121从内容服务器102获取MPD文件，并且分析获取的MPD文件。流控制单元121根据分析的MPD文件在考虑屏幕大小和传输路径的状态的情形下选定最佳图像大小、图块和译码速率，并且获取想要获取的区段文件的URL(存取)信息。
流控制单元121从HTTP存取单元122获取的sidx/gsix中分析区段文件内的图块(A)的索引号的范围。应当指出的是，在随时点播的情形中，流控制单元121从HTTP存取单元122获取的sidx/gsix中分析区段文件内的I/P图块(A)的索引号的范围。流控制单元121根据分析的信息控制HTTP存取单元122。
HTTP存取单元122使用来自流控制单元121的存取信息获取初始区段。HTTP存取单元122通过初始区段中的信息来分析重放需要的信息。例如，通过图块样本群组条目来分析待重放的图块(A)的图块号(索引)。此外，HTTP存取单元122从区段文件的开始处获取sidx/ssix/gsix。此外，根据由流控制单元121分析的区段文件内图块(A)的索引号的范围，HTTP存取单元122使用HTTP从内容服务器102仅获取图块(A)。
应当指出的是，在随时点播的情形中，根据由流控制单元121分析的区段文件内的I/P图块(A)的索引号的范围，HTTP存取单元122使用HTTP从内容服务器102仅获取I/P图块(A)。
内容重放单元123，在流控制单元121的控制下，重放来自HTTP存取单元122的图块(内容)。换句话说，内容重放单元123将来自HTTP存取单元122的图块(内容)一起解码和结合成单条内容，并且在显示单元(未示出)上显示该内容。
应当指出的是，在图9的示例中，文件生成装置101、内容服务器102和内容重放装置103中的每个都仅示出了一个装置，但是所述配置不限于每个仅有一个装置，而是还可以配置成具有多个装置。
此外，虽然图9的示例示出了其中文件生成装置101和内容服务器102分别配置的示例，但是文件生成装置101也可以构建到内容服务器102中。
[文件生成装置的示例性配置]
图10是示出了文件生成装置101的示例性配置的方框图。
在图10的示例中，文件生成装置101将内容数据编码，并且生成具有不同比特率的相同内容的多个MP4文件以及前面论述的MPD文件。文件生成装置101包括编码单元151、子样本信息生成单元152、MP4文件多路器153和文件传输单元154。
编码单元151通过例如HEVC等将内容数据编码以便生成位流，并且将生成的位流供应到MP4文件多路器153。应当指出的是，在编码期间，编码单元151通过将图片划分成多个图块来编码，并且将关于图块的信息-例如图块位置信息(图块信息)作为子样本信息供应到子样本信息生成单元152。
根据来自编码单元151的图块信息，子样本信息生成单元152生成子样本信息和gsix信息(图4)，所述子样本信息将被包含在符合MPEG-DASH的MP4文件的moof中，gsix信息是用于获取任意子样本(图块)的子样本存取信息。子样本信息生成单元152供应生成的子样本信息和gsix信息到MP4文件多路器153。
MP4文件多路器153通过来自编码单元151的位流来生成符合MPEG-DASH的MP4文件，并且将来自子样本信息生成单元152的子样本信息和gsix信息多路复用。换句话说，生成了其中将子样本信息和gsix信息多路复用的MP4文件。应当指出的是，具体地，子样本信息存储在moof内的子样本信息框中。gsix信息存储在区段文件的开始处sidx和ssix之后的gsix中。
通过MP4文件多路器153多路复用和生成的MP4文件供应到文件传输单元154。文件传输单元154将MP4文件传输到内容服务器102以便存储在存储单元111中。
应当指出的是，虽然未在图10的示例中示出，在实际实施中，文件生成装置101还由MPD文件生成单元组成，MPD文件通过所述MPD文件生成单元生成。随后，生成的MPD文件通过文件传输单元154存储在内容服务器102的存储单元111中。
[文件生成进程]
接下来，将参照图11的流程图来描述文件生成装置101的文件生成进程。
在步骤S101中，编码单元151例如通过HEVC等将内容数据编码，并且生成位流。编码单元151供应生成的位流到MP4文件多路器153。
此外，在编码期间，编码单元151通过将图片划分成多个图块来编码，并且将关于图块的信息作为子样本信息供应到子样本信息生成单元152。
相应地，在步骤S102中，子样本信息生成单元152获取图块信息作为子样本信息。
在步骤S103中，根据图块信息，子样本信息生成单元152生成子样本信息和gsix信息(图4)，所述子样本信息将被包含在符合MPEG-DASH的MP4文件的moof中，所述gsix信息存储用于获取任意子样本(图块)的信息。
在步骤S104中，MP4文件多路器153通过来自编码单元151的HEVC位流来生成符合MPEG-DASH的MP4文件，并且将来自子样本信息生成单元152的子样本信息和gsix信息进行多路复用。换句话说，生成了其中将子样本信息和gsix信息多路复用的MP4文件。应当指出的是，具体地，子样本信息存储在moof中的子样本信息框中。gsix信息存储在区段文件的开始处的sidx和ssix之后的gsix中。
由MP4文件多路器153多路复用和生成的MP4文件供应到文件传输单元154。在步骤S105中，文件传输单元154将MP4文件传输到内容服务器102以便存储在存储单元111中。
[图块重放进程的示例]
接下来，将参照图12中的流程图来描述内容重放装置103的图块(A)重放进程。
在步骤S121中，流控制单元121分析内容服务器102的存储单元111中的MPD文件，并且获取想要获取的区段文件的URL(存取)信息。换句话说，流控制单元121根据分析的MPD文件在考虑屏幕大小和传输路径的状态的情况下选定最佳图像大小、图块和译码速率，并且从而获取想要获取的区段文件的URL(存取)信息。存取信息供应到HTTP存取单元122。
在步骤S122中，HTTP存取单元122使用来自流控制单元121的存取信息，以便获取期望的译码速率的MP4文件的初始区段。
在步骤S123中，HTTP存取单元122通过初始区段的图块样本群组条目来分析期望重放的图块(A)的图块号(索引)。在步骤S124，HTTP存取单元122从区段文件的开始处获取sidx/ssix/gsix。
在步骤S125中，流控制单元121从HTTP存取单元122获取的sidx/gsix中分析区段文件内的图块(A)的索引号的范围。
在步骤S126中，HTTP存取单元122从内容服务器102仅获取图块(A)。换句话说，根据由流控制单元121分析的区段文件内的图块(A)的索引号的范围，HTTP存取单元122使用HTTP从内容服务器102仅获取图块(A)。
在步骤S127中，内容重放单元123，在流控制单元121的控制下，重放来自HTTP存取单元122的图块(A)(内容)。换句话说，内容重放单元123将来自HTTP存取单元122的图块(A)(内容)解码和一起结合成单条内容，并且在显示单元(未示出)上显示该内容。
如上面描述的，用于获取任意子样本(图块)的信息布置(在gsix中)在区段文件的开始处，并且因此可以实现使用HTTP的高效数据获取。
[图块随时点播进程的示例]
接下来，将参照图13中的流程图来描述内容重放装置103的图块(A)随时点播重放进程。
在步骤S141中，流控制单元121分析内容服务器102的存储单元111中的MPD文件，并且获取想要获取的区段文件的URL(存取)信息。存取信息供应到HTTP存取单元122。
在步骤S142中，HTTP存取单元122使用来自流控制单元121的存取信息，以便获取期望的译码速率的MP4文件的初始区段。
在步骤S143中，HTTP存取单元122通过初始区段的图块样本群组条目来分析期望重放的图块(A)的图块号(索引)。在步骤S144中，HTTP存取单元122从区段文件的开始处获取sidx/ssix/gsix。
在步骤S145中，流控制单元121从HTTP存取单元122获取的sidx/gsix中分析区段文件内的I/P图块(A)的索引号的范围。
在步骤S146中，HTTP存取单元122从内容服务器102仅获取I/P图块(A)。换句话说，根据通过流控制单元121分析的区段文件内的I/P图块(A)的索引号的范围，HTTP存取单元122使用HTTP从内容服务器102仅获取I/P图块(A)。
在步骤S147中，内容重放单元123，在流控制单元121的控制下，重放来自HTTP存取单元122的I/P图块(A)(内容)。因此，内容重放单元123将来自HTTP存取单元122的图块(A)(内容)解码和一起结合成单条内容，并且在显示单元(未示出)上显示该内容。
如上面描述的，用于获取任意子样本(图块)的信息布置(在gsix中)在区段文件的开始处，并且因此可以实现用于随时点播重放的使用HTTP的高效数据获取。
现在将详细描述其中HEVC图块由多个轨迹组成的情形(所述情形作为图7的描述中的备选情形而提出)。举例而言，将描述一种示例，在该示例中，在符合MPEG-DASH的MP4文件中，具有图块信息的多个轨迹与子区段关联配置。具体地，将描述一种示例，在该示例中，当在符合MPEG-DASH的MP4文件中HEVC图块由多个轨迹组成时，使用轨迹参考和轨迹提取符。
[符合MPEG-DASH的MP4文件的示例性配置]
图14示出了符合MPEG-DASH的MP4文件的示例性逻辑配置。在图14的示例中，MP4文件由5个轨迹组成。
轨迹1包括等于轨迹号的提取符。提取符是用于参考每个轨迹中的图块的参考信息。轨迹2到轨迹5每个都包括由片组成的图块和称为轨迹参考的参考。在此，轨迹参考prnt＝1指示，作为轨迹参考，1是其中存储着参数的轨迹的编号。
图15示出了在图14的情形中的符合MPEG-DASH的MP4区段文件结构。应当指出的是，在图15的示例中，对于与图1的示例中相同的部分的描述将会被减少或省略。
在图15的示例中的媒体区段文件中，每个轨迹都布置在sidx和ssix之后，其中每个轨迹都由moof和mdat组成。换句话说，图15的示例是其中根据每一轨迹来管理划分成轨迹的数据的示例。
轨迹以对于每个轨迹的任意时间长度的moof/mdat单元的交错格式来存储。同一时刻的所有轨迹的moof/mdat都被处理为子区段。此外，sidx指向子区段，而ssix指向每个轨迹的moof/mdat。换句话说，sidx可被用于指向从轨迹1到5的一丛子区段，而ssix可被用于指向每个图块的片段。
另外，在图15的示例中，在轨迹1中，提取符(它是用于参考每个轨迹中的图块的参考信息)存储在mdat中。在轨迹2到轨迹5中，仅存储HEVC图块的子样本。
图16示出了图14的情形中的符合MPEG-DASH的MP4区段文件结构的另一个示例。
在图16的示例中的媒体区段文件中，所有轨迹都由单个moof/mdat组成。换句话说，图16的示例是其中划分成轨迹的数据作为一个数据来管理的示例。
任意时间的一个mdat内，仅对于每个轨迹连续存储数据。任意时间长度的每个轨迹存储在独立moof/mdat单元中。包括同一时刻的所有轨迹的moof/mdat都处理为子区段。此外，sidx指向子区段，而ssix指向每个轨迹的moof/mdat。换句话说，sidx可被用于指向一个包含图块1到5的moof，而ssix可被用于指示moof和每个轨迹的图块的提取符，并且可以指向仅从轨迹2到5的图块。
另外，在图16的示例中，轨迹1存储每个轨迹的图块的参考提取符。轨迹2到4仅存储HEVC图块的子区段。
[文件生成进程]
接下来，将参考图17中的流程图来描述图15或图16的示例中的文件生成进程。应当指出的是，该进程是通过之前论述的图10的文件生成装置101来实施的。
在步骤S161中，编码单元151通过例如HEVC等来将内容数据编码，并且生成位流。编码单元151将生成的位流供应到MP4文件多路器153。
此外，在编码期间，编码单元151通过将图片划分成多个图块来编码，并且供应关于图块的信息作为子样本信息到子样本信息生成单元152。
对应地，在步骤S162中，子样本信息生成单元152获取图块信息作为子样本信息。
在步骤S163中，子样本信息生成单元152生成提取符以便分隔每个图块的片。
在步骤S164中，MP4文件多路器153生成MP4文件，将流(其中片已经通过提取符替换并且对于每个图块划分片)划分成相应的轨迹，将片分隔，并且将结果多路复用。此时，多路复用的方法可以如图15中的文件结构或者图16中的文件结构所示。
通过MP4文件多路器153多路复用和生成的MP4文件供应到文件传输单元154。在步骤S105中，文件传输单元154将MP4文件传输到内容服务器102以便存储在存储单元111中。
[图块轨迹重放进程的示例]
接下来，将参考图18中的流程图来描述在图15或图16的示例中的图块轨迹重放进程。应当指出的是，该进程是通过图9的内容重放装置103执行的。
在步骤S181中，流控制单元121分析内容服务器102的存储单元111中的MPD文件，并且获取想要获取的区段文件的URL(存取)信息。存取信息供应到HTTP存取单元122。
在步骤S182中，HTTP存取单元122使用来自流控制单元121的存取信息，以便获取期望的译码速率的MP4文件的初始区段。
在步骤S183中，HTTP存取单元122从初始区段的图块样本群组条目中分析期望重放的图块(a)的图块号(索引)以及存储参数集(PS)的编号(索引)。在步骤S184中，HTTP存取单元122从区段文件的开始处获取sidx/ssix。
在步骤S185中，流控制单元121从HTTP存取单元122获取的sidx/gsix中分析存储着PS的索引号以及区段文件内的图块(a)的索引号的范围。
在步骤S186中，HTTP存取单元122从内容服务器102仅获取PS和图块(a)。换句话说，根据通过流控制单元121分析的区段文件内的图块(a)的索引号的范围，HTTP存取单元122使用HTTP从内容服务器102仅获取图块(a)。
在步骤S187中，内容重放单元123，在流控制单元121控制下，重放来自HTTP存取单元122的图块(a)(内容)。因此，内容重放单元123将来自HTTP存取单元122的图块(a)(内容)解码和一起结合成单条内容，并且在显示单元(未示出)上显示该内容。
如上面描述的，在图15和图16中的文件结构的情形中，符合MPEG-DASH的MP4区段文件同样可以用良好的存取情况来重放。
[符合MPEG-DASH的MP4文件的示例性配置]
图19示出了符合MPEG-DASH的MP4文件的示例性逻辑配置。在图19的示例中，在图14的情形中已布置在其他轨迹中的文件(片)的内容布置在轨迹1中，而在图14的情形中已布置在轨迹1中的轨迹的提取符作为图块布置在轨迹2到轨迹5中。
换句话说，轨迹1存储普通HEVC片。与此相反，轨迹2到轨迹4包括通过轨迹参考来进行的参考以及通过提取符进行的片的参考。换句话说，轨迹2到4形成用于从轨迹1来获取任意图块的存取表。
图20示出了在图19的情形中符合MPEG-DASH的MP4区段文件结构。应当指出的是，在图20的示例中，对于与图15的示例中相同的部分的描述将会被减少或省略。
也就是说，图20的文件结构与图15的文件结构的不同在于，HEVC流存储在轨迹1中，并且仅HEVC图块的提取符存储在轨迹2到轨迹5中。
图21示出了在图19的情形中符合MPEG-DASH的MP4区段文件结构的另一个示例。应当指出的是，在图21的示例中，对于与图16的示例中相同的部分的描述将会被减少或省略。
也就是说，图21的文件结构与图15的文件结构的不同在于，HEVC流存储在轨迹1中，并且仅HEVC图块的提取符存储在轨迹2到轨迹5中。
[文件生成进程]
接下来，将参考图22中的流程图来描述图20或图21的示例中的文件生成进程。应当指出的是，该进程是通过之前论述的图10的文件生成装置101来实施的。
在步骤S201中，编码单元151例如通过HEVC等来将内容数据编码，并且生成位流。编码单元151将生成的位流供应到MP4文件多路器153。
此外，在编码期间，编码单元151通过将图片划分成多个图块来编码，并且将关于图块的信息作为子样本信息来供应到子样本信息生成单元152。
相应地，在步骤S202中，子样本信息生成单元152获取图块信息作为子样本信息。
在步骤S203中，子样本信息生成单元152生成提取符以便参考每个图块的片。
在步骤S204中，MP4文件多路器153生成MP4文件，将普通流和参考每个图块的片的提取符存储在相应的轨迹中，并且将结果多路复用。此时，多路复用的方法可以如图20中的文件结构或者图21中的文件结构所示。
通过MP4文件多路器153多路复用和生成的MP4文件供应到文件传输单元154。在步骤S205中，文件传输单元154将MP4文件传输到内容服务器102以便存储在存储单元111中。
[图块轨迹重放进程的示例]
接下来，将参考图23中的流程图来描述在图20或图21的示例中的图块轨迹重放进程。应当指出的是，该进程是通过图9的内容重放装置103执行的。
在步骤S211中，流控制单元121分析内容服务器102的存储单元111中的MPD文件，并且获取想要获取的区段文件的URL(存取)信息。存取信息供应到HTTP存取单元122。
在步骤S222中，HTTP存取单元122使用来自流控制单元121的存取信息以便获取期望的译码速率的MP4文件的初始区段。
在步骤S223中，HTTP存取单元122从初始区段的图块样本群组条目中分析期望重放的图块(A)的图块号(索引)以及存储着整个流的编号(索引)。在步骤S224中，HTTP存取单元122从区段文件的开始处获取sidx/ssix。
在步骤S225中，流控制单元121从HTTP存取单元122获取的sidx/ssix中分析区段文件内的图块(A)的索引号的范围。
在步骤S226中，HTTP存取单元122从内容服务器102仅获取图块(a)的提取符。
在步骤S227中，流控制单元121从sidx/ssix中分析区段文件内的整个流的索引号的范围，并且另外分析获取的图块(a)提取符以便分析图块(a)的仅实际数据的范围。
在步骤S228中，HTTP存取单元122从内容服务器102仅获取图块(a)的实际数据。
在步骤S229中，内容重放单元123，在流控制单元121的控制下，重放来自HTTP存取单元122的图块(a)(内容)。因此，内容重放单元123将来自HTTP存取单元122的图块(a)(内容)解码和一起结合为单条内容，并且在显示单元(未示出)上显示该内容。
如上面描述的，在图20和图21的文件结构的情形中，符合MPEG-DASH的MP4区段文件同样可以用良好的存取情况来重放。
应当指出的是，在图14的示例中重放所有内容的情形中，所有轨迹1到5都必须重放，但是在图19的示例中重放所有内容的情形中，轨迹1本身就足够了，而不需要轨迹2到5。此外，在部分重放的情形中，仅引入需要的轨迹就足够了。
此外，在实施部分重放的情形中，图15中的每个轨迹文件结构比图16中的MP4文件结构的效率更高。类似地，在实施部分重放的情形中，图20中的每个轨迹文件结构比图21的MP4文件结构的效率更高。
应当指出的是，图15和图20中的每个轨迹的片段(moof+mdat)的存储次序可以不同于示出的示例中的次序。此外，图16和图21中的片段(moof+mdat)的mdat内的轨迹的存储次序可以不同于示出的示例中的次序。
另外，如果提取符轨迹2到5存储在轨迹1的前面，那么关于图20中的每个轨迹的片段(moof+mdat)的存储次序以及图21中的片段(moof+mdat)的mdat内的轨迹的存储次序，能够使用HTTP与sidx/ssix一起获取邻近区域，并且传输效率可以进一步提升。
应当指出的是，虽然上面描述了将通过HEVC编码的位流转化成文件的示例，但是，只要译码方法具有细分屏幕的图块结构，译码方法就不限于HEVC。
另外，虽然上面的描述对MP4文件格式的示例进行了描述，但是文件格式并不限于MP4文件格式或AVC文件格式。只要根据本技术的问题和有益效果相同，那么本技术就可还类似地应用于不同的文件格式、传输期间使用的流以及在存储文件时使用的流。
上面描述的系列进程可以通过硬件实施，也可以通过软件来实施。当所述系列进程通过软件实施的时候，构成这种软件的程序安装到计算机中。在此，“计算机”这种表达包括其中包含有专用硬件的计算机以及在安装了各种程序时能够执行各种功能的通用个人计算机等。
图24是示出了根据程序执行之前描述的系列进程的计算机的硬件的示例配置的功能框图。
在计算机800中，中央处理单元(CPU)801、只读存储器(ROM)802和随机存取存储器(RAM)803通过总线804彼此连接。
输入/输出接口805也连接到总线804。输入单元806、输出单元807、存储单元808、通信单元809和驱动器810连接到输入/输出接口805。
输入单元806由键盘、鼠标、麦克风等配置成。输出单元807由显示器、扬声器等配置成。存储单元808由硬盘、非易失性存储器等配置成。通信单元809由网络接口等配置成。驱动器810驱动可移除记录媒体811，例如磁盘、光盘、磁光盘、半导体存储器等。
在如上面描述的那样配置的计算机中，CPU801将存储在例如存储单元808中的程序通过输入/输出接口805和总线804加载到RAM803上，并且执行该程序。因此，执行上述系列的处理。
作为一个示例，可以通过作为封装媒体等记录在可移除记录媒体811上来提供由计算机800(CPU801)执行的程序。还可通过有线或无线传送媒体-例如局域网、因特网或数字卫星广播来提供程序。
在计算机中，通过将可移除记录媒体811加载到驱动器810中，可以通过条目/输出接口805将程序安装到存储单元808中。还能够使用通信单元809从有线或无线传送媒体来接收程序，并且将程序安装到存储单元416中。作为另一个备选方案，程序可以提前安装在ROM802或存储单元808中。
应当指出的是，由计算机执行的程序可以是根据在本说明书中描述的顺序以时间序列处理的程序或者并行或在必要时间-例如调用时处理的程序。
还应当指出的是，在本说明书中，描述存储在记录媒体中的程序的步骤不仅包括根据其中示出的顺序以时间序列执行的进程，而且还包括并行或单独执行的进程-而不必以时间序列执行。
进一步，在本说明书中，“***”意指由多个装置组成的整体装置。
进一步，上面描述为单个装置(或处理单元)的元件可以配置成多个装置(或处理单元)。与此相反，上面描述为多个装置(或处理单元)的元件可以共同配置成单个装置(或处理单元)。进一步，上面描述的那些之外的元件可以添加到每个装置(或处理单元)。此外，只要***的配置或操作(作为整体)大体上相同，那么给定装置(或处理单元)的元件的一部分可包含在另一个装置(或另一个处理单元)的元件中。换句话说，本公开的实施方式不限于上述实施方式，并且在不偏离本公开的范围的情况下，可以做出各种改变和改型。
本公开的实施方式不限于上述实施方式，并且在不偏离本公开的范围的情况下可以做出各种改变和改型。
例如，本公开可以采用云计算的配置，所述云计算通过由多个设备用网络分配和连接一个功能来进行处理。
进一步，由上述流程图描述的每个步骤可以通过一个设备或者通过分配多个设备来执行。
另外，在其中多个进程包含在一个步骤的情形中，包含在该一个步骤中的多个进程可以通过一个设备或者通过分配多个设备来执行。
在本说明书中，已经描述了其中多条信息在译码流中多路复用并且从编码侧传输到解码侧的示例。然而，传输信息的方法不限于所述示例。例如，所述信息可以作为与译码位流相关联的不同条数据传输或记录，而不在译码位流中多路复用。在此，术语“关联”意指包含在位流中的图像(它可以是图像的一部分，例如片或块)以及对应于图像的信息可以在解码的时候链接在一起。也就是说，信息可以沿着不同传输路径从图像(或者位流)传输。信息可以记录在与图像(或者位流)不同的记录媒体(或者，相同记录媒体的不同记录区域)中。进一步，信息和图像(或者位流)可以相互关联，例如在任何单元-例如多个帧、单个帧或者帧的一部分中。
上面已经参考附图描述了本公开的优选实施方式，然而本公开并不限于上面的示例。所属领域技术人员可以发现在所附权利要求的范围内的各种改变和改型，并且应当理解的是它们将自然地落入本公开的技术范围内。
另外，本技术可还如下面这样配置。
(1)
一种文件生成装置，包括：
文件生成单元，所述文件生成单元配置成，在包括通过将其中图像被划分成多个子样本的内容编码生成的位流的文件的开始处，布置用于从多个子样本中获取任意子样本的子样本存取信息，并且从而生成文件。
(2)
根据(1)的文件生成装置，其中
子样本存取信息布置在文件开始处的区段索引框和子区段索引框之后。
(3)
根据(1)或(2)的文件生成装置，其中
子样本存取信息是用于所有子样本的索引信息和大小信息。
(4)
根据(1)到(3)中任一项的文件生成装置，其中
子样本存取信息布置在通用子区段索引框中。
(5)
根据(1)或(2)的文件生成装置，其中
子样本存取信息是存储关于moof中的子样本的信息的框的偏置信息，和框的大小信息。
(6)
根据(1)、(2)或(5)的文件生成装置，其中
子样本存取信息布置在子样本框位置框中。
(7)
根据(1)到(6)中任一项的文件生成装置，其中
子样本是图块。
(8)
根据(1)到(7)中任一项的文件生成装置，进一步包括：
编码单元，所述编码单元将其中图像被划分成多个子样本的内容编码，并且从而生成位流。
(9)
一种文件生成方法，包括：
通过文件生成装置，在包括通过将借由将图像划分成多个子样本来获得的内容编码而生成的位流的文件的开始处，布置用于从多个子样本中获取任意子样本的子样本存取信息，并且从而生成文件。
(10)
一种内容重放装置，包括：
存取信息获取单元，所述存取信息获取单元配置成从通过将子样本存取信息布置在包括位流的文件的开始处来生成的文件获取子样本存取信息，通过将其中图像被划分成多个子样本的内容解码来生成所述位流，所述子样本存取信息是用于从多个子样本中获取任意子样本的信息；
样本获取单元，所述样本获取单元配置成使用子样本存取信息来获取任意子样本，所述子样本存取信息是通过存取信息获取单元获取的；以及
重放单元，所述重放单元配置成重放通过样本获取单元获取的任意子样本。
(11)
根据(10)的内容重放装置，其中
子样本存取信息布置在文件开始处的区段索引框和子样区段索引框之后。
(12)
根据(10)或(11)的内容重放装置，其中
子样本存取信息是用于所有子样本的索引信息和大小信息。
(13)
根据(10)到(12)中任一项的内容重放装置，其中
子样本存取信息布置在通用子区段索引框中。
(14)
根据(10)或(11)的内容重放装置，其中
子样本存取信息是存储关于moof中的子样本的信息的框的偏置信息，和框的大小信息。
(15)
根据(10)、(11)或(14)的内容重放装置，其中
子样本存取信息布置在子样本框位置框中。
(16)
根据(10)到(15)中任一项的内容重放装置，其中
子样本是图块。
(17)
根据(10)到(16)中任一项的内容重放装置，其中
内容存储在通过网络连接的服务器上。
(18)
一种内容重放方法，包括：
通过内容重放装置，
从文件获取子样本存取信息，所述文件是通过在包括位流的文件的开始处布置子样本存取信息而生成的，通过将其中图像被划分成多个子样本的内容解码来生成所述位流，子样本存取信息是用于从多个子样本中获取任意子样本的信息；
使用获取的子样本存取信息来获取任意子样本；以及
重放任意的获取子样本。
(19)
一种文件生成装置，包括：
文件生成单元，所述文件生成单元配置成生成由轨迹组成的文件，所述轨迹包括图块信息并且与子区段关联。
(20)
根据(19)的文件生成装置，其中
轨迹包括图块样本。
(21)
根据(19)的文件生成装置，其中
轨迹包括用于参考图块样本的参考信息。
(22)
一种文件生成方法，包括：
通过文件生成装置，
生成由轨迹组成的文件，所述轨迹包括图块信息并且与子区段关联。
(23)
一种内容重放装置，包括：
存取信息获取单元，所述存取信息获取单元配置成从由轨迹组成的文件获取图块的存取信息，所述轨迹包括图块信息并且与子区段关联；
样本获取单元，所述样本获取单元配置成使用获取的图块存取信息来获取图块子样本；以及
重放单元，所述重放单元配置成重放任意的获取子样本。
(24)
根据(23)的内容重放装置，其中
轨迹包括图块样本。
(25)
根据(23)的内容重放装置，其中
轨迹包括用于参考图块样本的参考信息。
(26)
一种内容重放方法，包括：
通过内容重放装置，
从由轨迹组成的文件获取图块存取信息，所述轨迹包括图块信息并且与子区段关联；
使用获取的图块存取信息来获取图块子样本；以及重放任意的获取子样本。
附图标记列表
101文件生成装置
102内容服务器
103内容重放装置
104网络
111存储单元
112通信单元
121流控制单元
122HTTP存取单元
123内容重放单元
151编码单元
152子样本信息生成单元
153MP4文件多路器
154文件传输单元

Claims (18)

1.一种文件生成装置，包括：
文件生成单元，所述文件生成单元配置成，在包括通过将其中图像被划分成多个子样本的内容编码来生成的位流的文件的开始处，布置用于从所述多个子样本中获取任意子样本的子样本存取信息，并且从而生成所述文件。
2.根据权利要求1所述的文件生成装置，其中
所述子样本存取信息布置在所述文件开始处的区段索引框和子区段索引框之后。
3.根据权利要求2所述的文件生成装置，其中
所述子样本存取信息是用于所有子样本的索引信息和大小信息。
4.根据权利要求3所述的文件生成装置，其中
所述子样本存取信息布置在通用子区段索引框中。
5.根据权利要求2所述的文件生成装置，其中
所述子样本存取信息是存储关于moof中的子样本的信息的框的偏置信息，和所述框的大小信息。
6.根据权利要求5所述的文件生成装置，其中
所述子样本存取信息布置在子样本框位置框中。
7.根据权利要求1所述的文件生成装置，其中
所述子样本是图块。
8.根据权利要求1所述的文件生成装置，进一步包括：
编码单元，所述编码单元将其中图像被划分成多个子样本的内容编码，并且从而生成所述位流。
9.一种文件生成方法，包括：
通过文件生成装置，在包括通过将内容编码生成的位流的文件的开始处，布置用于从所述多个子样本中获取任意子样本的子样本存取信息，所述内容是通过将图像划分成多个子样本来获得的，并且从而生成所述文件。
10.一种内容重放装置，包括：
存取信息获取单元，所述存取信息获取单元配置成从通过将子样本存取信息布置在包括位流的文件的开始处来生成的文件获取子样本存取信息，所述位流是通过将其中图像被划分成多个子样本的内容解码来生成的，所述子样本存取信息是用于从所述多个子样本中获取任意子样本的信息；
样本获取单元，所述样本获取单元配置成使用子样本存取信息来获取所述任意子样本，所述子样本存取信息是通过存取信息获取单元获取的；以及
重放单元，所述重放单元配置成重放通过所述样本获取单元获取的任意子样本。
11.根据权利要求10所述的内容重放装置，其中
所述子样本存取信息布置在所述文件开始处的区段索引框和子区段索引框之后。
12.根据权利要求11所述的内容重放装置，其中
所述子样本存取信息是用于所有子样本的索引信息和大小信息。
13.根据权利要求12所述的内容重放装置，其中
所述子样本存取信息布置在通用子区段索引框中。
14.根据权利要求11所述的内容重放装置，其中
所述子样本存取信息是存储关于moof中的子样本的信息的框的偏置信息，和所述框的大小信息。
15.根据权利要求14所述的内容重放装置，其中
所述子样本存取信息布置在子样本框位置框中。
16.根据权利要求10所述的内容重放装置，其中
所述子样本是图块。
17.根据权利要求10所述的内容重放装置，其中
所述内容存储在通过网络连接的服务器上。
18.一种内容重放方法，包括：
通过内容重放装置，
从文件获取子样本存取信息，所述文件是通过在包括位流的文件的开始处布置所述子样本存取信息而生成的，所述位流是通过将其中图像被划分成多个子样本的内容解码来生成的，所述子样本存取信息是用于从所述多个子样本中获取任意子样本的信息；
使用获取的子样本存取信息来获取所述任意子样本；以及
重放任意的获取子样本。
CN201480039728.3A 2013-07-19 2014-07-10 文件生成装置和方法以及内容重放装置和方法 Expired - Fee Related CN105409235B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013-151019 2013-07-19
JP2013151019 2013-07-19
JP2014-058950 2014-03-20
JP2014058950 2014-03-20
PCT/JP2014/068381 WO2015008686A1 (ja) 2013-07-19 2014-07-10 ファイル生成装置および方法、並びにコンテンツ再生装置および方法

Publications (2)

Publication Number Publication Date
CN105409235A true CN105409235A (zh) 2016-03-16
CN105409235B CN105409235B (zh) 2019-07-09

Family

ID=52346149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480039728.3A Expired - Fee Related CN105409235B (zh) 2013-07-19 2014-07-10 文件生成装置和方法以及内容重放装置和方法

Country Status (4)

Country Link
US (1) US9865304B2 (zh)
JP (1) JP6439691B2 (zh)
CN (1) CN105409235B (zh)
WO (1) WO2015008686A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109936715A (zh) * 2017-12-19 2019-06-25 华为技术有限公司 一种mp4文件的处理方法及其相关设备
CN113545095A (zh) * 2019-03-08 2021-10-22 佳能株式会社 优化封装后的媒体内容的一部分的传输的方法、装置和计算机程序

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016072858A (ja) * 2014-09-30 2016-05-09 エヌ・ティ・ティ・コミュニケーションズ株式会社 メディアデータ生成方法、メディアデータ再生方法、メディアデータ生成装置、メディアデータ再生装置、コンピュータ読み取り可能な記録媒体、及びプログラム
GB2539461B (en) * 2015-06-16 2020-01-08 Canon Kk Image data encapsulation
JP6446347B2 (ja) * 2015-09-14 2018-12-26 エヌ・ティ・ティ・コミュニケーションズ株式会社 サムネイル提供装置、表示装置、サムネイル映像表示システム、サムネイル映像表示方法、及びプログラム
GB2563865A (en) * 2017-06-27 2019-01-02 Canon Kk Method, device, and computer program for transmitting media content
US11323764B2 (en) * 2019-09-20 2022-05-03 Comcast Cable Communications, Llc Caching recorded content segments on playback
GB2590435B (en) * 2019-12-17 2023-12-20 Canon Kk Method, device, and computer program for improving encapsulation of media content
GB2599170B (en) * 2020-09-29 2024-05-29 Canon Kk Method, device, and computer program for optimizing indexing of portions of encapsulated media content data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1666195A (zh) * 2002-04-29 2005-09-07 索尼电子有限公司 支持媒体文件中的高级编码格式
CN101622846A (zh) * 2007-03-01 2010-01-06 艾利森电话股份有限公司 下载的多媒体文件的比特流组合
US20120023254A1 (en) * 2010-07-20 2012-01-26 University-Industry Cooperation Group Of Kyung Hee University Method and apparatus for providing multimedia streaming service

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6214235B2 (ja) * 2012-07-02 2017-10-18 キヤノン株式会社 ファイル生成方法、ファイル生成装置、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1666195A (zh) * 2002-04-29 2005-09-07 索尼电子有限公司 支持媒体文件中的高级编码格式
CN101622846A (zh) * 2007-03-01 2010-01-06 艾利森电话股份有限公司 下载的多媒体文件的比特流组合
US20120023254A1 (en) * 2010-07-20 2012-01-26 University-Industry Cooperation Group Of Kyung Hee University Method and apparatus for providing multimedia streaming service

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109936715A (zh) * 2017-12-19 2019-06-25 华为技术有限公司 一种mp4文件的处理方法及其相关设备
US11100956B2 (en) 2017-12-19 2021-08-24 Huawei Technologies Co., Ltd. MP4 file processing method and related device
CN109936715B (zh) * 2017-12-19 2021-09-03 华为技术有限公司 一种mp4文件的处理方法及其相关设备
CN113545095A (zh) * 2019-03-08 2021-10-22 佳能株式会社 优化封装后的媒体内容的一部分的传输的方法、装置和计算机程序

Also Published As

Publication number Publication date
US20160163355A1 (en) 2016-06-09
JP6439691B2 (ja) 2018-12-19
WO2015008686A1 (ja) 2015-01-22
JPWO2015008686A1 (ja) 2017-03-02
CN105409235B (zh) 2019-07-09
US9865304B2 (en) 2018-01-09

Similar Documents

Publication Publication Date Title
CN105409235A (zh) 文件生成装置和方法以及内容重放装置和方法
KR102125484B1 (ko) 전송을 위해 코딩된 차세대 오디오 데이터의 선택
KR101927016B1 (ko) 멀티미디어 파일 라이브 방송 방법, 시스템 및 서버
CN106471574B (zh) 信息处理装置和信息处理方法
KR102120525B1 (ko) 통신 장치, 통신 데이터 생성 방법, 및 통신 데이터 처리 방법
CN103141069A (zh) 用于经译码视频数据的网络串流传输的媒体表示群组
CN110351594A (zh) 用于在自适应流播环境中管理相邻频道的***和方法
CN106464941B (zh) 信息处理装置和方法
CN106489270B (zh) 信息处理装置和方法
KR102085192B1 (ko) 렌더링 시간 제어
MX2015004794A (es) Fragmentacion de audio de multiples pistas para transmision continua de tasa de bits adaptable.
CN104410901A (zh) 一种m3u8格式直播流的播放方法及播放装置
CN105659623A (zh) 发送装置、发送方法、接收装置以及接收方法
CN107566851A (zh) 一种应用于媒体数据访问的视频切片存储方法和***
EP3742747B1 (en) Information processing apparatus and information processing method
WO2015107784A1 (ja) 通信装置、通信データ生成方法、および通信データ処理方法
KR102137858B1 (ko) 송신 장치, 송신 방법, 수신 장치, 수신 방법 및 프로그램
CN110214448A (zh) 信息处理装置和方法
CN104919809A (zh) 内容服务器和内容分配法
KR20140041256A (ko) Ｈｔｔｐ에 기초한 동적 적응적 스트리밍 시스템
JP2015136058A (ja) 通信装置、通信データ生成方法、および通信データ処理方法
CN105122821A (zh) 服务器装置、内容提供方法以及计算机程序
EP3051830B1 (en) Content supply device, content supply method, program, receiving device, and content supply system
KR102391755B1 (ko) 정보 처리 장치 및 정보 처리 방법
CN107426630B (zh) 一种高码文件媒体数据访问方法和***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190709

Termination date: 20200710

CF01 Termination of patent right due to non-payment of annual fee