CN110214448A

CN110214448A - 信息处理装置和方法

Info

Publication number: CN110214448A
Application number: CN201880008298.7A
Authority: CN
Inventors: 浜田俊也; 平林光浩
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2017-01-31
Filing date: 2018-01-18
Publication date: 2019-09-06
Also published as: EP3579564A4; JPWO2018142946A1; EP3579564A1; US20190373213A1; WO2018142946A1

Abstract

本发明涉及使得可以无缝地播放不同帧率的流的信息处理装置和方法。帧率降低处理单元根据输入图像生成具有不同的低帧率的图像。单帧率转换单元将帧率降低处理单元所生成的具有不同的低帧率的图像转换成单帧率的图像。压缩编码单元对单帧率转换单元所转换的具有单帧率的图像进行编码。本发明可以应用于例如包括文件生成装置、分发服务器和回放终端的分发***。

Description

信息处理装置和方法

技术领域

本公开涉及信息处理装置和方法，并且特别地涉及使得能够实现不同帧率的流的无缝再现的信息处理装置和方法。

背景技术

到目前为止，为了通过经由因特网的流传输分发视频或音乐数据，已经开发了MPEG-DASH(运动图像专家组-基于HTTP的相位动态自适应流传输)(例如，参见NPL(非专利文献)1)。

在MPEG-DASH的分发中，客户端取决于传输频带的变化而选择并获取不同比特率的内容以继续再现。

引用列表

非专利文献

[NPL 1]MPEG-DASH(基于HTTP的动态自适应流传输)(URL：http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1)

发明内容

技术问题

在MPEG-DASH中的切换中，假设在仅在比特率方面彼此不同的视频之间进行切换，并且没有提供用于无缝地切换不同帧率的流的方法例如作为标准。

播放器可以通过其自身的功能来切换具有不同参数的视频流。然而，在这样的情况下，必须针对编码进行特别考虑；否则，通常在流切换时发生解码的不连续性，导致无缝再现的困难。

鉴于这样的情况做出了本公开，并且本公开能够实现不同帧率的流的无缝再现。

问题的解决方案

根据本技术的第一方面，提供了一种信息处理装置，其包括：低帧率生成单元，其被配置成根据输入图像生成多个不同的低帧率的图像；单帧率转换单元，其被配置成将由低帧率生成单元生成的多个不同的低帧率的图像转换成单帧率的图像；以及编码单元，其被配置成对通过由单帧率转换单元的转换而获得的单帧率的图像进行编码。

信息处理装置还可以包括布置单元，该布置单元被配置成将与帧率相关联的信息布置为针对经编码的图像的元数据。

元数据可以包括表示由低帧率生成单元生成的多个不同的低帧率的净帧率。

元数据可以包括由低帧率生成单元生成低帧率的方法。

元数据可以包括在由低帧率生成单元生成低帧率的图像之前的原始帧率。

元数据可以包括表示是否可从通过由单帧率转换单元的转换而获得的单帧率的图像中提取可用于缩略图的静止图像的信息。

布置单元可以将元数据布置到MPD文件中。

布置单元可以将元数据布置到MP4文件中。

信息处理装置还可以包括发送单元，该发送单元被配置成发送包括由布置单元布置的元数据和经编码的图像的内容。

根据本技术的第一方面，提供了一种信息处理方法，其包括：通过信息处理装置，根据输入图像生成多个不同的低帧率的图像；将生成的多个不同的低帧率的图像转换成单帧率的图像；以及对通过转换获得的单帧率的图像进行编码。

根据本技术的第二方面，提供了一种信息处理装置，其包括：获取单元，其被配置成获取作为针对发送的内容的、与帧率相关联的信息的元数据，该内容是通过根据输入图像生成多个不同的低帧率的图像并且将生成的多个不同的低帧率的图像转换成单帧率的图像而获得的；以及内容选择单元，其被配置成取决于当前传输带宽，基于由获取单元获取的元数据来选择包括通过转换最佳低帧率图像而获得的单帧率的图像的内容。

元数据可以包括表示多个不同的低帧率的净帧率。

元数据可以包括用于生成低帧率的方法。

元数据可以包括在生成多个不同的低帧率的图像之前的原始帧率。

元数据可以包括表示是否可从通过转换获得的单帧率的图像中提取可用于缩略图的静止图像的信息。

元数据可以被布置到要发送的MPD文件。

元数据可以被布置到要发送的MP4文件。

信息处理装置还可以包括接收单元，该接收单元被配置成接收由内容选择单元选择的内容。

根据本技术的第二方面，提供了一种信息处理方法，其包括：通过信息处理装置，获取作为针对发送的内容的、与帧率相关联的信息的元数据，该内容是通过根据输入图像生成多个不同的低帧率的图像并且将生成的多个不同的低帧率的图像转换成单帧率的图像而获得的；以及取决于当前传输带宽，基于所获取的元数据来选择包括通过转换最佳低帧率图像而获得的单帧率的图像的内容。

在本技术的第一方面中，根据输入图像来生成多个不同的低帧率的图像，并且所生成的多个不同的低帧率的图像被转换成单帧率的图像。然后，对通过转换获得的单帧率的图像进行编码。

在本技术的第二方面中，获取作为针对发送的内容的、与帧率相关联的信息的元数据，该内容是通过根据输入图像生成多个不同的低帧率的图像并且将所生成的多个不同的低帧率的图像转换成单帧率来获得的。然后，取决于当前传输带宽，基于所获取的元数据选择包括通过转换最佳低帧率图像而获得的单帧率的图像的内容。

本发明的有益效果

根据本公开，可以对信息进行处理。具体地，可以无缝地再现不同帧率的流。

附图说明

[图1]图1是示出使用MPEG-DASH的数据传输的示例的图。

[图2]图2是示出MPD的配置示例的图。

[图3]图3是示出基于时间的内容的划分的图。

[图4]图4是示出MPD中包括时段(Period)及以下的分层结构的示例的图。

[图5]图5是示出时间轴上的MPD文件的配置示例的图。

[图6]图6是示出流切换的图。

[图7]图7是示出从一个流切换到所生成的不同帧率的流的图。

[图8]图8是示出对于不同帧率的流的编码的图。

[图9]图9是示出根据本技术的帧率转换的图。

[图10]图10是示出根据本技术的帧率转换的过程的图。

[图11]图11是示出包括相邻帧合成的帧率转换方法的图。

[图12]图12是示出未执行单帧率转换的示例的图。

[图13]图13是示出实质(净)帧率的必要性的图。

[图14]图14是示出应用本技术的分发***的配置示例的框图。

[图15]图15是示出文件生成装置的主要配置的示例的框图。

[图16]图16是示出视频流生成单元的配置示例的框图。

[图17]图17是示出元数据的示例的图。

[图18]图18是示出由文件生成装置进行的分发数据生成处理的流程图。

[图19]图19是示出视频流生成处理的流程图。

[图20]图20是示出帧率降低处理的流程图。

[图21]图21是示出单帧转换处理的流程图。

[图22]图22是示出MPD文件生成处理的流程图。

[图23]图23是示出再现终端的操作的图。

[图24]图24是示出再现终端的主要配置的示例的框图。

[图25]图25是示出通过再现终端进行的内容获取处理的流程图。

[图26]图26是示出通过再现终端进行的缩略图图像生成处理的流程图。

[图27]图27是示出元数据被存储在MPD中的情况的示例的图。

[图28]图28是示出将元数据应用于表示(Representation)的情况的示例的图。

[图29]图29是示出将元数据应用于自适应集(AdaptationSet)的情况的示例的图。

[图30]图30是示出将元数据应用于时段(Period)的情况的示例的图。

[图31]图31是示出在MP4的***层(moov)中描述元数据的情况的示例的图。

[图32]图32是示出在MP4的视频轨道(video track)中描述元数据的情况的示例的图。

[图33]图33是示出计算机硬件的配置示例的框图。

具体实施方式

现在，描述用于执行本公开的模式(在下文中称为“实施例”)。注意，按顺序描述以下项。

1.比特率切换

2.第一实施例(分发***)

3.第二实施例(计算机)

<1.比特率切换>

<视频或声音的分发>

近年来，作为向用户递送视频和音乐的手段，期望通过经由因特网的流传输进行的分发。然而，作为传输手段的因特网在传输方面与广播和光盘相比更不稳定。首先，传输频带的最高速率取决于用户环境而大大改变。另外，甚至对于同一用户，传输频带也不固定并且随时间改变。此外，传输频带改变的事实意味着对来自客户端的请求的响应时间不是恒定的。

作为经由因特网进行这样的传输的标准，已经开发了MPEG-DASH(运动图像专家组-基于HTTP的动态自适应流传输)。MPEG-DASH是拉模型(pull model)，其中，具有不同数据大小的多个文件被放置在服务器上，并且客户端参考MPD(媒体呈现描述)以选择最佳文件。可以通过使用不是特殊协议的http来使用通用HTTP(超文本传输协议)服务器。作为文件格式，不仅使用MPEG-TS(运动图像专家组-传送流)，而且使用ISOBMFF(国际标准化组织基媒体文件格式)。

<MPEG-DASH>

图1示出了使用MPEG-DASH的数据传输的示例。在图1的信息处理***1中，文件生成装置2生成视频数据或音频数据作为运动图像内容，并且对数据进行编码以将数据转换成用于传输的文件格式的文件。例如，文件生成装置2每10秒左右将这些数据转换成文件(分段)。文件生成装置2将所生成的分段文件上传至Web服务器3。此外，文件生成装置2生成用于管理运动图像内容的MPD文件(管理文件)，并且将MPD文件上传至Web服务器3。

用作DASH服务器的Web服务器3通过基于MPEG-DASH的方法经由因特网4将由文件生成装置2生成的运动图像内容文件实时分发到再现终端5。例如，Web服务器3存储从文件生成装置2上传的分段文件或MPD文件。此外，Web服务器3响应于来自再现终端5的请求将存储的分段文件或MPD文件发送至再现终端5。

再现终端5(再现装置)执行用于流传输数据控制的软件(在下文中也称为“控制软件”)6、运动图像再现软件7、用于HTTP访问的客户端软件(在下文中称为“访问软件”)8、以及其他软件。

控制软件6是用于控制通过流传输从Web服务器3递送的数据的软件。例如，控制软件6从Web服务器3获取MPD文件。此外，例如，控制软件6基于因特网4的网络带宽以及由MPD文件或运动图像再现软件7指定的表示例如再现时间点的再现时间点信息，命令访问软件8发送针对作为再现目标的分段文件的发送请求。

运动图像再现软件7是用于再现经由因特网4从Web服务器3获取的编码流的软件。例如，运动图像再现软件7向控制软件6指定再现时间点信息。此外，当从访问软件8获取指示接收开始的通知时，运动图像再现软件7对从访问软件8提供的编码流进行解码。运动图像再现软件7输出作为解码结果而获得的视频数据或音频数据。

访问软件8是用于控制使用HTTP与Web服务器3进行的通信的软件。例如，访问软件8将指示接收开始的通知提供给运动图像再现软件7。此外，访问软件8响应于来自控制软件6的命令向Web服务器3发送针对作为再现目标的分段文件的编码流的发送请求。另外，访问软件8接收取决于通信环境或其他因素的比特率的分段文件，该分段文件是响应于发送请求而从Web服务器3发送的。然后，访问软件8从所接收到的文件中提取编码流，并且将该编码流提供给运动图像再现软件7。

<MPD>

接下来，描述MPD。例如，MPD具有如图2中所示的配置。在MPD解析中，客户端(图1的示例中的再现终端5)从MPD(图2的媒体呈现)的时段(Period)中包括的表示(Representation)的属性中选择最佳属性。

客户端读取所选择的表示(Representation)的第一分段(Segment)，以获取并处理初始化分段(Initialization Segment)。随后，客户端获取接下来的分段(Segment)以用于再现。

注意，MPD中的时段(Period)、表示(Representation)和分段(Segment)具有如图3中的关系。也就是说，可以针对作为时间方向上的数据单元的每个时段(Period)管理一个媒体内容，并且可以针对作为时间方向上的数据单元的每个分段(Segment)管理每个时段(Period)。此外，对于每个时段(Period)，可以配置具有不同的属性(诸如比特率)的多个表示(Representation)。

也就是说，MPD的文件(也称为“MPD文件”)具有如图4所示的包括时段(Period)及以下的分层结构。此外，图5是该MPD结构放置在时间轴上的示例。根据图5的示例明显的是，多个表示(Representation)存在于同一分段(Segment)中。客户端自适应地选择这些表示(Representation)中的一个，从而能够取决于通信环境、其自身的解码能力或其他因素来获取和再现适当的流数据。

<用于继续再现的方法>

在MPEG-DASH分发中，在一些情况下，有必要向服务器准备低比特率的文件，使得甚至在传输带宽减小的情况下也可以继续再现。作为用于在尽可能地降低图像质量的劣化的同时实现低比特率的方法，下述方法是有效的：该方法包括降低图像分辨率以及然后执行压缩编码。同时，还可以想到下述方法：该方法包括降低视频的帧率以减小编码之前的数据大小并因此降低压缩比，从而维持图像质量。输入至编码器的数据的速率与帧率成比例，因此为了减小压缩之前的图像的信息量，降低帧率是非常有效的。

用于降低视频帧率的最简单的方法是以规则间隔丢弃帧。每隔一帧丢弃帧实现了帧率的1/2，并且每三帧丢弃帧实现了帧率的2/3。

如图6的A所示，在流切换时，当不同的流A至C中的一个被切换到另一流时，可能由于显示相位的不匹配而出现显示间隙。注意，在图6的示例中，矩形表示视频帧。在下面所参考的附图中也是如此。

如图6的B所示，另一方面，在根据特定输入视频(60p)生成多个低帧率(30p、20p和15p)的视频的情况下，每帧的显示相位被维持，并且因此在流切换时不发生由于显示相位的差异而引起的间隙。因此，可以无缝地切换流。

在图7的示例中，示出了根据图6的B中的60p的视频而生成的30p的视频和20p的视频。在30p的视频和20p的视频中，如图7的A所示，具有彼此匹配的显示开始时间点的帧周期性地到达，并且可以仅在这些帧处切换流。然而，在30p的视频和20p的视频中，如图7的B所示，帧再现时间彼此不同，并且因此难以在任意帧处无缝地切换流。

此外，当在不受特殊限制的情况下对不同帧率的流进行压缩编码时，如图8的A所示，可以开始解码的图片(IDR图片和I图片)的周期彼此不相匹配。因此，紧接在I图片之前将流切换到另一帧率的流导致不连续解码，这是因为切换到的流不是从I图片开始的。注意，在图8的示例中，实心黑色矩形表示可以开始解码的图片(帧)。在下面所参考的附图中也是如此。

在MPEG-DASH中，假设在相同帧率的表示(Representation)之间进行切换，并且添加了使得能够在分段的边界处实现流切换的规则(自适应集(AdaptionSet)中的表示切换(Representation switching))。该规则是例如下述限制：分段(Segment)的开始是可以开始解码的图片，例如图8的B中所示的I图片或IDR图片。在切换不同帧率的流的情况下，还有必要设计下述配置：在该配置中，将帧的显示时间点彼此匹配的位置设置为分段的边界。

然而，完全没有在将不同帧率的流(表示(Representation))的无缝切换纳入考虑的情况下开发当前的MPEG-DASH。

已经开发了诸如广播接收器的相关技术的再现设备来显示固定帧率的视频。并未在将播出节目或再现内容时帧率改变纳入考虑的情况下进行再现设备的开发，并且因此当不同帧率的视频被输入到再现设备时，通常视频可能会破坏为黑色图像或模糊图像。

如上所述，通常，显示装置不容易无缝地切换不同帧率的流。

<帧率再现和单帧率转换>

鉴于这种情况，例如，在MPEG-DASH内容创建中的具有比特率变化的流的创建中，通过以下过程创建不同帧率的流。

(1)根据特定输入视频，生成多个帧率的视频，其中每个帧率是降低的帧率。

(2)视频被转换成单帧率的视频。

(3)执行压缩编码。

注意，关于(1)，例如通过下述方法来降低帧率：该方法包括以规则间隔丢弃帧(简单的丢帧)。关于(2)，执行转换以增加帧率。根据特定规则重复帧以增加帧率，从而将流转换成单帧率的流。在(3)的压缩编码中，解码开始点彼此匹配。例如，在H.264/AVC或H.265/HEVC的情况下，IDR图片的位置(解码开始时间点和显示开始时间点)彼此相匹配以用于编码。

同时，作为(1)的帧率降低方法的推导形式，可以想到以下方法。具体地，通过从高帧率视频丢弃帧而获得的低帧率图像的斩波比以低帧率拍摄的视频的斩波更强。这是由于相对于一帧的增加的再现时间而言太短的快门速度(曝光时间)而发生的现象。

鉴于这种情况，存在下述方法：该方法包括合成相邻帧而不是执行简单的丢帧，从而在防止信息缺失的同时转换帧率。

如图9的上部所示，例如，当原始流处于1/60秒的快门速度和60Hz的帧率(1/60秒的帧显示时间)时，如图9的中间部分所示，从60p简单地丢弃帧以生成30p，并且重复帧以实现60p。通过该转换，如图9的下部所示，转换后的流显示1/60秒的快门速度的帧达1/30秒(显示时间是初始流的显示时间的两倍)。

这种情况下的创建流程如图10中所示如下。如箭头P1所示，4K/60p的流经受帧率降低，使得生成多个低帧率的流。此后，如箭头P2所示，作为单帧率转换，在所生成的多个低帧率的流中重复先前帧，使得所有流都被转换成60p的帧率的流。注意，在图10的示例中，阴影矩形表示作为先前帧的复制(重复)的帧。在下面所参考的附图中也是如此。

<与帧率转换相关的元数据>

对于上述的简单的丢帧，所丢弃的帧的显示时间中的视频信息丢失，这取决于视频的内容而导致延迟的视频或看起来不自然的视频。

鉴于这种情况，还可以想到下述技术：该技术通过合成相邻帧而不是丢弃帧来创建新的帧序列。利用这种技术，可以实现降低的帧率的、更少延迟且平滑的运动图像。同时，当通过合成多个帧而生成的帧不被视为运动图像、并且从帧中提取的单帧被视为静止图像时，在某些情况下该静止图像被视为非常模糊的图像。这是因为这样的帧实际上对应于下述视频：该视频接近于以低快门速度(长曝光时间)拍摄的静止图像。难以使用相当模糊的图像作为表示运动图像的缩略图。

再现终端不容易掌握在发送侧如何降低帧率。鉴于这种情况，当在发送侧降低帧率时，将表示帧率降低方法的信息应用于(施加于)内容，使得再现终端可以获取该信息。再现终端可以通过获得该信息而选择更好的缩略图创建方法。

例如，在再现终端具有从运动图像中提取帧以生成表示整个内容或某个场景的静止图像缩略图图像的功能的情况下，再现终端可以从服务器获取作为元数据的帧率降低方法，并进行接下来的确定。也就是说，当通过提供更不模糊的图像的方法来降低流的帧率时，再现终端生成缩略图，并且当通过提供更模糊的图像的方法来降低流的帧率时，再现终端采用另一方法(例如，通过文本表示缩略图图像或通过计算机图形生成缩略图图像)，而不通过包括从运动图像中提取帧的方法来创建缩略图图像。

图11是示出包括相邻帧合成的帧率转换方法的图。

如图11的上部所示，例如，当原始流处于1/60秒的快门速度和60Hz的帧率(1/60秒的帧显示时间)时，如图11的中间部分所示，将相邻帧彼此合成，以使得生成30p，同时降低斩波。利用此方式，这些帧实现了与以1/30秒的快门速度和30p拍摄的视频接近的外观。

然后，重复所生成的帧以实现60p。通过该转换，如图11的下部所示，转换后的流显示1/30秒的快门速度的帧达1/30秒(显示时间是原始流的显示时间的两倍)。

注意，可以不执行图10的右部所示的单帧率转换，并且可以对各种帧率的内容进行编码以进行发送。在这样的情况下，作为编码中的编码规则，不管帧率如何，使帧网格(frame grid)彼此相匹配并且使同步样本(syncsample)的显示时间点彼此相匹配。用于帧率降低的帧网格规则的示例可以包括执行原始帧率×(1/正偶数)或原始帧率×(正偶数/正奇数)。

利用该方法，当切换流时，再现终端更可能无缝地连接至所切换到的流。

根据以上所述，在本技术中，发送侧根据特定输入视频生成多个低帧率的视频，并且将这些视频转换成单帧率的视频，从而执行压缩编码。

注意，上述单帧率不必与输入图像的帧率相同。单帧率可以高于输入视频的帧率，以与其他内容的帧率相匹配。此外，在压缩编码中，例如，有必要设计下述配置：在该配置中，解码开始点彼此相匹配并且分段边界彼此相匹配。

此外，在本技术中，发送侧将与帧率降低方法和帧率相关联的信息作为元数据应用于内容。具体地，元数据被设置在MPD或MP4的层中。注意，稍后将参照图27和随后的附图来描述其细节。

元数据是关于原始帧率、实质(净)帧率和帧率转换方法(例如，规则复制、规则丢帧或合成)并且表示视频是否可以被提取为(可用于缩略图的)静止图像的信息。

另外，在本技术中，再现终端取决于传输路径的带宽而选择低帧率流。此外，通过参考再现终端从服务器获取的元数据，再现终端因此确定显示帧率和缩略图生成方法。

根据以上所述，当切换不同帧率的流时，流很容易被切换，这是因为这些流显然处于单个固定帧率。

帧率在单帧率转换时增加，但是由于设计的编码(省略了切片数据)防止了比特率的增加，这是因为重复了相同的帧。

可以切换静止图像和运动图像。静止图像通常通过与运动图像的编码方法不同的编码方法来创建。以没有时间轴概念的图像格式创建静止图像，因此播放器不容易无缝地切换静止图像和运动图像。然而，对于“其中重复静止图像的运动图像”，可以执行这样的切换作为运动图像之间的切换。

所创建的内容处于单帧率，并且因此元数据对区分所创建的内容与其他内容而言是必需的，但是包括净帧率的元数据作为在切换中选择最佳流的参数是有用的。

例如，甚至当内容处于60p的固定帧率并且显示环境仅支持30p的帧率时，当净帧率为30p时也可以显示该内容。

与实现不同帧率的流之间的切换的情况相比，可以更自由地布置可以开始解码的帧和分段边界。

利用元数据，可以向用户呈现实际帧率。

注意，在更一般的方面考虑，在未来的视频显示中，假设取决于环境，内容的实际帧率和显示帧率彼此不匹配。此外，作为用于处理这种差异的措施，可以需要以下元数据。

在图13的示例中，按照从上面起的顺序，示出了下述各项：4k/60p和30Mbps的流，其是最高图像质量的流；4k/60p和15Mbps的流，其是降低的比特率的流；4k/60p和15Mbps的流(30p的实质帧率)，其是帧率通过丢帧被转换成30p的实质帧率并且然后被转换成60p的流；以及4k/60p和15Mbps的流(20p的实质帧率)，其是帧率通过丢帧被转换成20p的实质帧率并且然后被转换成60p的流。注意，关于图13的帧，类似于到目前为止所参照的图，矩形表示帧，实心黑色矩形表示可以开始解码的图片(帧)，并且阴影矩形表示作为先前帧的副本(重复)的帧。术语“实质”表示净，并且实质帧率也称为“净帧率”。

具体地，如图13所示，甚至当根据4k/60p生成30p的低速率帧和20p的低速率帧时，流也全部经受压缩编码最终为4k/60p，并且因此没有明显地彼此区分。因此，有必要添加关于实质(净)帧率(在该示例中为30p和20p)的信息作为元数据。

<2.第一实施例(分发***)>

<分发***>

接下来，描述应用了上述本技术的***。图14是示出作为应用本技术的信息处理***的方面的分发***的配置示例的框图。图14中示出的分发***100是被配置成分发诸如图像或声音的数据(内容)的***。在分发***100中，文件生成装置101、分发服务器102和再现终端103经由网络104可通信地彼此连接。

文件生成装置101是应用本技术的信息处理装置的方面，并且是下述装置：该装置被配置成执行与用于存储图像数据和声音数据的MP4文件以及MPD的文件(也被称为“MPD文件”)的生成有关的处理。例如，文件生成装置101生成图像数据和声音数据，并且生成用于存储所生成的图像数据和所生成的声音数据的MP4文件、以及用于管理MP4文件的MPD文件。然后，文件生成装置101将所生成的文件提供给分发服务器102。

分发服务器102是应用本技术的信息处理装置的方面，并且是下述服务器：该服务器被配置成执行与使用MPEG-DASH的内容数据分发服务(具体地，使用MPD文件的MP4文件分发服务)有关的处理。例如，分发服务器102获取并管理从文件生成装置101提供的MPD文件和MP4文件，从而提供使用MPEG-DASH的分发服务。例如，分发服务器102响应于来自再现终端103的请求而向再现终端103提供MPD文件。此外，分发服务器102响应于来自再现终端103的基于该MPD文件的请求而向再现终端103提供所请求的MP4文件。

再现终端103是应用本技术的信息处理装置的方面，并且是下述装置：该装置被配置成执行与图像数据和声音数据的再现有关的处理。例如，再现终端103根据MPEG-DASH请求分发服务器102分发MP4文件，并且获取响应于该请求而提供的MP4文件。更具体地，再现终端103从分发服务器102获取MPD文件，并且基于MPD文件中的信息从分发服务器102获取用于存储期望内容数据的MP4文件。再现终端103对所获取的MP4文件进行解码以再现图像数据和声音数据。

网络104是任意通信网络，并且可以是采用有线通信的通信网络、采用无线通信的通信网络或其组合。此外，网络104可以包括一个通信网络或多个通信网络。网络104可以包括符合任意通信标准的通信网络或信道。网络104例如可以包括：无线通信网络，其执行符合因特网、公共交换电话网络、诸如所谓的3G网络或4G网络的用于无线移动体的广域通信网络、WAN(广域网)、LAN(局域网)、或蓝牙(注册商标)的标准的通信；或有线通信网络，其符合诸如NFC(近场通信)的短距离无线通信的信道、红外通信信道、HDMI(注册商标)(高清晰度多媒体接口)、或USB(通用串行总线)的标准。

文件生成装置101、分发服务器102和再现终端103各自可通信地连接至网络104，并且可以经由网络104彼此发送/接收信息。文件生成装置101、分发服务器102和再现终端103可以通过有线通信、无线通信或其组合连接至网络104。

注意，在图14中，作为分发***100的配置，示出了一个文件生成装置101、一个分发服务器102和一个再现终端103，但是这些部件的数目没有特别限制并且可以彼此不同。在分发***100中，例如可以提供一个或多个文件生成装置101、一个或多个分发服务器102、以及一个或多个再现终端103。

<文件生成装置>

图15是示出文件生成装置101的主要配置的示例的框图。如图15所示，文件生成装置101包括视频流生成单元110、音频流生成单元111、内容文件生成单元112、MPD生成单元113和通信单元114。

视频流生成单元110和音频流生成单元111执行与内容数据流的生成有关的处理。此外，视频流生成单元110生成与视频有关的视频元数据，并且音频流生成单元111生成与音频有关的音频元数据。

例如，视频流生成单元110对输入视频模拟信号(也称为“图像信号”)执行A/D(数字/模拟)转换或帧率转换，或者对视频模拟信号进行编码以生成作为视频数字数据(也称为“图像数据”)的流的视频流，并且将视频流提供给内容文件生成单元112。注意，视频流生成单元110在帧率转换中应用上述的本技术，从而执行帧率降低处理和单帧率转换处理。

例如，音频流生成单元111对输入音频模拟信号(也称为“声音信号”)进行调制或编码，或者对音频模拟信号执行A/D转换以生成作为音频数字数据(也称为“声音数据”)的流的音频流，并且将音频流提供给内容文件生成单元112。

注意，视频流生成单元110对视频模拟信号进行的该信号处理的内容不受特别限制。音频流生成单元111对音频模拟信号进行的该信号处理的内容不受特别限制。在采用调制或编码的情况下，例如，调制方法或编码方法不受特别限制。视频流生成单元110可以根据视频模拟信号例如生成MPEG2流、AVC流或HEVC流。音频流生成单元111可以根据音频模拟信号例如生成DSD无损流、AAC流或LPCM流。

内容文件生成单元112执行与用于存储从视频流生成单元110和音频流生成单元111提供的内容数据的文件(内容文件)的生成有关的处理。内容文件生成单元112例如生成MP4文件，该MP4文件是用于存储作为内容数据的从视频流生成单元110提供的视频流以及作为内容数据的从音频流生成单元111提供的音频流的内容文件。然后，内容文件生成单元112将MP4文件提供给MPD生成单元113和通信单元114。

注意，内容文件生成单元112生成的内容文件的规范不受特别限制。内容文件生成单元112可以生成用于存储例如MPEG2流、AVC流、HEVC流、DSD无损流、AAC流或LPCM流的MP4文件。当然，内容文件生成单元112可以生成除了MP4文件之外的内容文件。此处，DSD代表直接比特流数字(Direct Stream Digital)，并且是高质量音频编码方法之一。

MPD生成单元113执行与用于由内容文件生成单元112生成的内容文件的管理信息的生成有关的处理。例如，MPD生成单元113将由视频流生成单元110生成的视频元数据和由音频流生成单元111生成的音频元数据布置到预定位置，从而生成用于从内容文件生成单元112提供的MP4文件的MPD文件。然后，MPD生成单元113将MPD文件提供给通信单元114。

通信单元114执行与经由网络104与另一装置进行通信有关的处理。例如，通信单元114将所提供的MPD文件或MP4文件提供给分发服务器102。

如图15所示，MPD生成单元113包括视频元数据获取单元121、音频元数据获取单元122和文件生成单元123。

视频元数据获取单元121获取由视频流生成单元110生成的视频元数据。音频元数据获取单元122获取由音频流生成单元111生成的音频元数据。文件生成单元123利用由视频元数据获取单元121和音频元数据获取单元122获取的元数据执行与MPD文件生成有关的处理。

图16是示出视频流生成单元110的配置示例的框图。

在图16的示例中，视频流生成单元110包括A/D转换单元131、帧率降低处理单元132、单帧率转换处理单元133、压缩编码单元134和视频元数据生成单元135。

A/D转换单元131对视频模拟信号执行A/D转换以生成视频流。所生成的视频流被提供给帧率降低处理单元132。

帧率降低处理单元132执行帧率降低以根据高帧率流(例如，4K/60p的流)生成多个低帧率的流。

单帧率转换处理单元133执行单帧率转换处理。具体地，单帧率转换处理单元133在由帧率降低处理单元132生成的多个低帧率的流中重复先前帧，从而将所有低帧率流转换成例如60p的单帧率的流。

压缩编码单元134对经受单帧率转换的流执行编码处理(编码)，其中，例如在H.264/AVC或H.265/HEVC的情况下，IDR图片的位置(解码开始时间点和显示开始时间点)彼此相匹配。

在帧率降低处理和单帧率转换处理中，视频元数据生成单元135分别执行帧率降低处理和单帧率转换处理，具体地，生成与帧率(转换)有关的元数据。如上所述，元数据表示例如原始帧率(fps)值、帧率转换方法(规则复制、规则丢帧、关键帧检测自适应丢帧、或快门速度转换帧合成)，以及帧是否可被提取为静止图像(帧对应于更不模糊且可用于缩略图的图像)。

图17是示出作为元数据的结构的字段的语法和语义的示例的图。注意，这是作为视频元数据的一个元数据的帧率转换元数据，并且因此在下文中称为“视频元数据”或“帧率转换元数据”。

作为元数据的语法，根据上面描述以下内容。

frame_rate_conversion_parameters：与帧率转换相关的参数

orignal_fps_numerator：表示转换前帧率orignal_fps的分子

orignal_fps_denominator：表示转换前帧率orignal_fps的分母

net_fps_numerator：表示转换后净帧率net_fps的分子

net_fps_denominator：表示转换后净帧率net_fps的分母

conversion_type：用于降低帧率的转换方法

thumbnail_available：指示数据是否可用于静止图像缩略图的标志

reserved：保留区域

作为该字段的语义，描述以下内容。

·转换前帧率(Pre-conversion frame rate)

original_fps＝original_fps_numerator/original_fps_denominator

*单帧率转换之后的帧率并不总是与该转换前帧率相同，并且因此从该字段中掌握了转换前帧率。可以从ISOBMFF(ISO/IEC 14496-12)的***层中的sample_duration或MPD的@frameRate中掌握明显的帧率。

·净帧率(net frame rate)

net_fps＝net_fps_numerator/net_fps_denominator

·转换类型(conversion_type)

0：没有信息，未知

1：以规则间隔进行的简单的丢帧

2：相邻帧合成

3：帧重复

4-255：保留的(用户定义的转换)

作为用户定义的转换，描述例如交替执行2帧丢弃和3帧丢弃的丢帧方法。

·缩略图可用(thumbnail_available)

该值是下述标志：该标志表示从该内容中提取的帧是可显示为静止图像缩略图还是不能用于缩略图的非常模糊的图像。该值表示发送侧的意图。

0：没有信息，未知

1：可用于缩略图

2：不适合于缩略图

注意，稍后参照图27至图32描述元数据的存储位置。然而，例如，在元数据被存储在MPD文件的预定位置的情况下，MPD生成单元113将元数据布置到该预定位置。同时，例如，在元数据被存储在MP4文件的预定位置的情况下，内容文件生成单元112将元数据布置到该预定位置。

<分发数据生成处理的流程>

接下来，参照图18的流程图描述由分发***100的文件生成装置101执行的分发数据生成处理的流程的示例。文件生成装置101在生成内容数据的MP4文件或MPD文件时执行该分发数据生成处理。

当分发数据生成处理开始时，在步骤S101中，文件生成装置101的视频流生成单元110根据视频模拟信号生成视频流。此外，此时，视频流生成单元110还生成与视频有关的视频元数据。稍后参照图19描述该视频流生成处理的细节。

在步骤S102中，音频流生成单元111根据音频模拟信号生成多种音频流。此外，此时，音频流生成单元111还生成与音频有关的音频元数据。

在步骤S103中，内容文件生成单元112生成用于存储在步骤S101中生成的视频流和在步骤S102中生成的音频流的内容文件(例如，MP4文件)。

在步骤S104中，MPD生成单元113执行MPD文件生成处理，以生成用于管理在步骤S103中生成的内容文件(MP4文件)的MPD文件。稍后参照图22描述该MPD文件生成处理的细节。

在步骤S105中，通信单元114将在步骤S103中生成的内容文件和在步骤S104中生成的MPD文件提供(上传)到分发服务器102。

随着步骤S105中的处理的结束，分发数据生成处理结束。

<视频流生成处理的流程>

接下来，参照图19的流程图，描述在图18的步骤S101中执行的视频流生成处理的流程的示例。

在步骤S121中，A/D转换单元131对视频模拟信号执行A/D转换，以生成视频流(也称为“视频信号”)。所生成的视频流被提供给帧率降低处理单元132。

在步骤S122中，帧率降低处理单元132对通过步骤S121中的A/D转换而获得的视频流执行帧率降低处理。稍后参照图20描述该帧率降低处理的细节。在步骤S122中，执行帧率降低，以使得根据高帧率流(例如，4K/60p的流)生成多个低帧率的流。

在步骤S123中，单帧率转换处理单元133对通过步骤S122中的帧率降低而获得的流执行单帧率转换处理。稍后参照图21描述该单帧率转换处理的细节。在步骤S123中，在多个低帧率的流中重复先前帧，使得所有低帧率流都被转换成60p的帧率的流。

在步骤S124中，压缩编码单元134对经受单帧率转换的流执行编码处理，其中，例如在H.264/AVC或H.265/HEVC的情况下，IDR图片的位置(解码开始时间点和显示开始时间点)彼此相匹配。

<帧率降低处理的流程>

接下来，参照图20的流程图，描述在图19的步骤S122中执行的帧率降低处理的流程的示例。

在步骤S141中，帧率降低处理单元132设置转换目标帧率值。此时，视频元数据生成单元135将转换目标帧率值设置到元数据net_fps。

在步骤S142中，帧率降低处理单元132输入来自A/D转换单元131的视频信号。

在步骤S143中，帧率降低处理单元132获取输入视频信号的帧率值。此时，视频元数据生成单元135将所获取的值(帧率值)设置到元数据original_fps。

在步骤S144中，帧率降低处理单元132确定帧率转换方法是否是简单的丢帧。在步骤S144中确定帧率转换方法是简单的丢帧的情况下，处理进行到步骤S145。在步骤S145中，帧率降低处理单元132根据输入视频的帧率值和转换目标帧率值制定帧丢弃规则，并根据该规则丢弃帧。此后，处理进行到步骤S149。

在步骤S144中确定帧率转换方法不是简单的丢帧的情况下，处理进行到步骤S146。在步骤S146中，帧率降低处理单元132确定帧率转换方法是否是相邻帧合成。在步骤S146中确定帧率转换方法不是相邻帧合成的情况下，处理进行到步骤S147。在步骤S147中，帧率降低处理单元132根据输入视频的帧率值和转换目标帧率值制定帧合成规则，并且合成相邻帧以生成新帧。此后，处理进行到步骤S149。

在步骤S146中确定帧率转换方法不是相邻帧合成的情况下，处理进行到步骤S148。在步骤S148中，帧率降低处理单元132通过另一方法降低帧率。此后，处理进行到步骤S149。

在步骤S149中，视频元数据生成单元135将帧率转换方法存储到元数据conversion_type，并且根据帧率转换方法确定元数据thumbnail_available的值，从而设置视频元数据。此后，帧率降低处理结束，并且处理返回到图19的视频流生成处理。

<单帧率转换处理的流程>

接下来，参照图21的流程图，描述在图19的步骤S123中执行的单帧率转换处理的流程的示例。

在步骤S161中，单帧率转换处理单元133设置转换目标帧率值。

在步骤S162中，单帧率转换处理单元133输入其帧率由帧率降低处理单元132降低的视频信号。在步骤S163中，单帧率转换处理单元133获取输入视频信号的帧率值。在步骤S164中，单帧率转换处理单元133根据输入视频的帧率值和转换目标帧率值制定帧率转换规则，并且转换帧序列。

在步骤S165中，视频元数据生成单元135将元数据frame_rate_conversion_parameters存储在给定位置。此后，单帧率转换处理结束，并且处理返回到图19的视频流生成处理。

<MPD文件生成处理的流程>

接下来，参照图22的流程图，描述在图18的步骤S104中执行的MPD文件生成处理。

在步骤S181中，视频元数据获取单元121从视频流生成单元110获取在步骤S101中的视频流生成中生成的视频元数据(特别地，本技术的元数据在下文中也称为“帧率转换元数据”)。

在步骤S182中，音频元数据获取单元122从音频流生成单元111获取在步骤S102中的音频流生成中生成的音频元数据。

在步骤S183中，文件生成单元123生成包括在步骤S181中获取的视频元数据和在步骤S182中获取的音频元数据的MPD文件。

此后，MPD文件生成处理结束，并且处理返回到图18的分发数据生成处理。

接下来，参照图23，描述作为客户端的再现终端103的操作。

在图23的示例中，在分发服务器102上，准备了4K/60p的多个流。4K/60p的多个流是四种流，包括：4K/60p和30Mbps的、id＝1的流；4K/60p和15Mbps的、id＝2的流；4K/60p和15Mbps(简单的丢帧，净30p)的、id＝3的流；以及4K/60p和15Mbps(简单的丢帧，净20p)的、id＝4的流。

假设当传输频带足够宽时，再现终端103获取4K/60p和30Mbps的、id＝1的流，但是由于其显示性能，仅可以显示4K高达30p。此处，针对显示，丢弃id＝1的流。

此处，假设传输带宽变窄并且仅可以传输15Mbps或更低的流。再现终端103参考与从分发服务器102获取的帧率转换有关的元数据，并且从可显示的流中选择最高图像质量的流。如果获取了无法以60p显示的、id＝2的流，则有必要丢弃帧以在客户端侧实现30p。这意味着信息被舍弃，没有使用。同时，id＝3的流具有30p的净fps，并且因此甚至当在解码之后将流转换为30p时，基本上也没有信息被舍弃。当id＝2的流和id＝3的流相互比较时，id＝3的流的净帧数是id＝2的流的净帧数的一半。因此，可以想到，甚至在15Mbps的相同速度下，在id＝3的流中，压缩率也较低，并且每帧的图像质量因此高于id＝2的流的每帧的图像质量。因此，发现在再现终端103中最佳地选择id＝3的流。

<再现终端>

图24是示出再现终端103的主要配置的示例的框图。如图24所示，再现终端103包括MPD获取单元151、解析单元152、内容文件获取单元153、流提取单元154、视频解码单元155、视频输出单元156、音频解码单元157、音频输出单元158、控制单元159和操作单元160。

MPD获取单元151执行与MPD文件获取有关的处理。例如，MPD获取单元151从分发服务器102请求MPD文件，并且获取从分发服务器102提供的MPD文件。MPD获取单元151将所获取的MPD文件提供给解析单元152。

解析单元152执行与MPD文件解析有关的处理。例如，解析单元152解析从MPD获取单元151提供的MPD文件以基于MPD文件的描述生成控制信息，并且将该控制信息提供给内容文件获取单元153。

内容文件获取单元153执行与内容文件获取有关的处理。例如，内容文件获取单元153基于从解析单元152提供的控制信息从分发服务器102获取作为内容文件的MP4文件，并且将所获取的MP4文件提供给流提取单元154。

流提取单元154执行与流提取有关的处理。例如，流提取单元154从由内容文件获取单元153提供的MP4文件中提取视频流或音频流。在视频流被解码以进行输出的情况下，例如，流提取单元154将所提取的视频流提供给视频解码单元155。在按原样输出视频流的情况下，流提取单元154将所提取的视频流提供给视频输出单元156。在音频流被解码以进行输出的情况下，例如，流提取单元154将所提取的音频流提供给音频解码单元157。在按原样输出音频流的情况下，流提取单元154将所提取的音频流提供给音频输出单元158。

视频解码单元155执行与作为编码内容数据的编码数据的解码有关的处理。例如，视频解码单元155对例如从流提取单元154提供的视频流进行解码，从而恢复视频模拟信号。视频解码单元155将所恢复的视频模拟信号提供给视频输出单元156。注意，视频解码单元155对视频流执行任意处理，只要该处理是针对每个流的适当方法即可。除了解码之外，例如，还可以执行解调或D/A转换。此外，视频解码单元155取决于由切换控制单元181进行的控制而生成表示来自流的内容的或者文本或CG(计算机图形)的缩略图图像，并且根据需要例如将缩略图图像叠加在流上，从而将结果输出至视频输出单元156。

音频解码单元157执行与作为编码内容数据的编码数据的解码有关的处理。例如，音频解码单元157对例如从流提取单元154提供的音频流进行解码，从而恢复音频模拟信号。音频解码单元157将所恢复的音频模拟信号提供给音频输出单元158。注意，音频解码单元157对音频流执行任意处理，只要该处理是针对每个流的适当方法即可。除了解码之外，例如，还可以执行解调或D/A转换。

例如，音频流是DSD无损流，并且音频解码单元157对DSD无损流进行解码以恢复DSD数据，并且对结果进行解调以恢复音频模拟信号。此外，例如，音频流可以是LPCM流或AAC流。音频解码单元157执行取决于这些数据的处理，从而恢复音频模拟信号。

视频输出单元156执行与内容数据的输出有关的处理。例如，视频输出单元156包括显示器，并且从显示器输出从视频解码单元155提供的视频模拟信号。此外，例如，视频输出单元156包括视频信号输出端子，并且通过该输出端子将从视频解码单元155提供的视频模拟信号提供给另一装置。另外，例如，视频输出单元156包括数字信号输出端子，并且通过该输出端子将从流提取单元154提供的视频流提供给另一装置，例如外部视频解码器161。也就是说，视频流也可以由在再现终端103外部设置的外部视频解码器161进行解码。

音频输出单元158执行与内容数据的输出有关的处理。例如，音频输出单元158包括扬声器，并且从扬声器输出从音频解码单元157提供的音频模拟信号。此外，例如，音频输出单元158包括模拟信号输出端子，并且通过该输出端子将从音频解码单元157提供的音频模拟信号提供给另一装置。另外，例如，音频输出单元158包括数字信号输出端子，并且通过该输出端子将从流提取单元154提供的音频流提供给另一装置，例如外部音频解码器162。也就是说，音频流也可以由在再现终端103外部设置的外部音频解码器162进行解码。

此外，如图24所示，内容文件获取单元153包括切换控制单元181。切换控制单元181执行与要再现的内容数据的切换的控制有关的处理。例如，切换控制单元181基于来自解析单元152的控制信息(帧转换元数据)和传输带宽来控制切换。

控制单元159包括内置的存储器159A，存储器159A被配置成存储再现终端103操作所需的信息。控制单元159将用户使用操作单元160进行的设置保存在存储器159A中。控制单元159响应于切换控制单元181而提供在存储器159A中保存的设置信息。

操作单元160包括例如鼠标、键盘或触摸板。操作单元160输入由用户输入的参数的设置。

<内容获取处理的流程>

接下来，参照图25的流程图描述由再现终端103执行的内容获取处理的流程的示例。

再现终端103的MPD获取单元151例如从分发服务器102获取例如由用户指定的MPD文件。解析单元152执行解析处理以解析所获取的MPD文件，从而生成反映解析结果的控制信息。控制信息包括帧率转换元数据。

在步骤S201中，切换控制单元181获取帧率转换元数据。在步骤S202中，切换控制单元181基于帧率转换元数据的描述，确定是否存在可利用当前传输带宽传输的流(表示(Representation))。在步骤S202中确定不存在可利用当前传输带宽传输的流的情况下，处理进行到步骤S203。

在步骤S203中，由于没有流可以作为切换目的地，所以切换控制单元181执行依赖于再现终端103(播放器)的实现方式的处理。此后，处理进入到步骤S207。

在步骤S202中确定存在可利用当前传输带宽传输的流的情况下，跳过步骤S203，并且处理进入到步骤S204。

在步骤S204中，切换控制单元181确定最高比特率的表示(Representation)的数目是否为1。在步骤S204中确定最高比特率的表示(Representation)的数目不是1的情况下，处理进行到步骤S205。在步骤S205中，切换控制单元181从净帧率等于或低于作为客户端的再现终端103的显示帧率的流中，选择最高净帧率的流。响应于此，内容文件获取单元153获取由切换控制单元181选择的流的MP4文件，并且此后，处理进入到步骤S207。

在步骤S204中确定最高比特率的表示(Representation)的数目是1的情况下，处理进行到步骤S206。在步骤S206中，切换控制单元181选择最高比特率的流。响应于此，内容文件获取单元153获取由切换控制单元181选择的流的MP4文件，并且此后，处理进行到步骤S207。

在步骤S207中，内容文件获取单元153确定是否结束内容文件获取处理。在步骤S207中确定不结束内容文件获取处理的情况下，处理返回到步骤S202，并且重复步骤S202和后续处理。在用户操作操作单元160以停止内容文件获取的情况下，例如，通过控制单元159输入该信号，结果是在步骤S207中确定结束内容文件获取处理，并且内容获取处理结束。

注意，上述内容文件获取处理是示例，而不受特别限制。具体地，可以采用任意算法，只要该算法实现利用从分发服务器102获取的帧率转换元数据来选择最佳流的处理即可。

<缩略图图像生成处理的流程>

接下来，参照图26的流程图描述由再现终端103执行的缩略图图像生成处理的流程的示例。

在步骤S221中，切换控制单元181还确定帧率转换元数据的thumbnail_available的值是否为1。在步骤S221中确定帧率转换元数据的thumbnail_available的值为1的情况下，处理进行到步骤S222。在步骤S222中，视频解码单元155响应于来自切换控制单元181的命令而从流中提取一帧，以将帧设置为表示内容的缩略图图像，并且结束缩略图图像生成处理。

在步骤S221中确定帧率转换元数据的thumbnail_available的值不是1的情况下，处理进行到步骤S223。在步骤S223中，视频解码单元155响应于来自切换控制单元181的命令生成以文本(字符)或CG(计算机图形)表示内容的缩略图图像，而不从流中提取帧，并且结束缩略图图像生成处理。

<元数据存储位置>

接下来，描述作为应用本技术的元数据的上述帧率转换元数据(frame_rate_conversion_parameters)的存储位置。

作为帧率转换元数据(frame_rate_conversion_parameters)的存储位置，给出了用于在MPD文件中存储帧率转换元数据的方法以及用于在MP4文件中存储帧率转换元数据的方法。

首先，描述元数据被存储在MPD文件中的情况。在元数据被存储在MPD文件中的情况下，最简单且易于理解的方法是将元数据定义为关键性质(EssentialPropterty)或辅助性质(SupplementalProperty)，并且将一个性质(Property)应用于表示(Representation)。注意，本技术不限于上述方法，并且可以在各个表示(Representation)中描述性质(Property)，或者在自适应集(AdaptationSet)或时段(Period)中将性质(Property)放在一起。

图27是示出元数据被存储在MPD中的情况的示例的图。

<元数据被存储在MPD中的情况的示例>

首先，元数据被定义为扩展的性质(EssentialPropterty/SupplementalProperty)。schemeIdUri被给予表示frame_rate_conversion_parameters()的名称，并且在value(值)中列举字段，如图27所示。

schemeIdUri＝“urn:mpeg:dash:frame_rate_conversion_parameters:2016”

value＝“(AdaptationSet_id)，(Representation_id)，original_fps，net_fps，conversion_type，thumbnail_available”

请注意，schemeIdUri中的字符串是一个示例并且没有特别的含义。

该字段的语义与frame_rate_conversion_parameters()的语义相同。现在，描述该字段的语义。

(AdaptationSet_id)：当在时段(Period)中一起列举扩展的性质(Property)的情况下使用该值，并且该值指定自适应集(AdaptationSet)。当在自适应集(AdaptationSet)或表示(Representation)中描述扩展的性质(Property)的情况下，省略该值。

(Representation_id)：当在时段(Period)或自适应集(AdaptationSet)中一起列举扩展的性质(Property)的情况下使用该值，并且该值指定表示(Representation)。当在表示(Representation)中描述扩展的性质(Property)的情况下，省略该值。

original_fps：转换前的帧率(小数点可以在MPD中使用，并且因此直接描述值而不转换为分数)

net_fps：转换后的净帧率(小数点可以在MPD中使用，并且因此直接描述值而不转换为分数)

conversion_type：用于降低帧率的转换方法

thumbnail_available：该值是下述标志：该标志表示从该内容中提取的帧是可显示为静止图像缩略图还是不能用于缩略图的非常模糊的图像。

<将元数据应用于表示(Representation)的示例>

图28示出了在将元数据应用于表示(Representation)的情况下的MPD的描述示例。在元数据应用于表示(Representation)的情况下，在被<Representation>和</Representation>夹在中间的空间中描述元数据。注意，在图28的示例中，省略了与本技术无关的元素和属性。图28是包括4K/60p和60p、30p和15p的净帧率的三种表示(Representation)的自适应集(AdaptationSet)的描述示例。

注意，在图28中，同样在使用SupplementalProperty的情况下，类似的描述也是可能的，其中，只是利用SupplementalProperty替换EssensialPperty。

<将元数据应用于自适应集(AdaptationSet)的情况的示例>

图29是在将元数据应用于自适应集(AdaptationSet)的情况下的MPD的描述示例。在将元数据应用于自适应集(AdaptationSet)的情况下，属于自适应集(AdaptationSet)的表示(Representation)由Representation_id指定，并且列举与这些表示(Representation)相同数目的值。注意，同样在图29的示例中，省略了与本技术无关的元素和属性。图29是包括4K/60p和60p、30p和15p的净帧率的三种表示(Representation)的自适应集(AdaptationSet)的描述示例。

注意，在图29中，同样在使用SupplementalProperty的情况下，类似的描述是可能的，其中只是由SupplementalProperty替换EssensialProperty。

<将元数据应用于时段(Period)的情况的示例>

图30是在将元数据应用于时段(Period)的情况下的MPD的描述示例。在将元数据应用于时段(Period)的情况下，表示(Representation)由AdaptationSet_id和Representation_id指定，并且列举与这些表示(Representation)相同数目的值。注意，同样在图30的示例中，省略了与本技术无关的元素和属性。图30是包括4K/60p和60p、30p和15p的净帧率的三种表示(Representation)的自适应集(AdaptationSet)的描述示例。

注意，在图30中，同样在使用SupplementalProperty的情况下，类似的描述是可能的，其中只是由SupplementalProperty替换EssensialProperty。

接下来，描述元数据被存储在MP4文件中的情况。作为在元数据被存储在MP4文件中的情况下使用的方法，给出了包括在MP4的***层(moov)中描述元数据的方法、以及包括将元数据描述为用于视频轨道的定时元数据(元数据轨道(metadatatrack))的方法。

<在MP4的***层(moov)中描述元数据的情况的示例>

图31是在MP4的***层(moov)中描述元数据的情况的示例。在视频轨道框('trak')下的用户数据框('udta')下定义新的框(Box)，并且在其中存储frame_rate_conversion_parameters()。元数据用作用于视频轨道的静态元数据。

Box Type(框类型):‘frcp’

Container(容器):User data box(用户数据框)(‘udta’)

Mandatory(强制):No(否)

Quantity(量):Zero or more(零或更多)

aligned(8)class FrameRateConversionParametersBox extends FullBox

(‘frcp’,version＝0,0){

int16 original_fps_numerator

int16 original_fps_denominator

int16 net_fps_numerator

int16 net_fps_denominator

int8 conversion_type

int8 thumbnail_available

int reserved

}

注意，每个字段的语义与frame_rate_conversion_parameters()的语义相同。

<在MP4的视频轨道中描述元数据的情况的示例>

图32是元数据被描述为用于视频轨道的定时元数据轨道(元数据轨道)的情况的示例。

在取决于视频的再现时间点改变frame_rate_conversion_parameters()的情况下，难以在moov的框中描述元数据。鉴于这种情况，使用具有带有时间轴的结构的轨道来限定表示frame_rate_conversion_parameters()的新的元数据轨道。下面描述用于在ISO/IEC 14496-12(ISOBMFF)中限定元数据轨道的方法，并且可以根据以下内容限定元数据轨道。

ISO/IEC 14496-12定时元数据轨道'meta'，C.11关于使用样本组、定时元数据轨道和样本辅助信息的指南。

元数据不发生改变的时间范围被定义为对应于一个frame_rate_conversion_parameters()的一个样本。如图32所示，一个frame_rate_conversion_parameters()有效的时间段可以由sample_duration表示。

如上所述，在本技术中，生成多个不同帧率的流，并且然后不同帧率的流进行单帧率转换。

利用此方式，在流切换(切换)中，流显然处于单个固定帧率，这有利于流切换。这意味着可以无缝地再现不同帧率的流。

此外，根据本技术，在流切换(切换)中，可以执行静止图像与运动图像之间的切换。此外，由于设计的编码(省略切片了数据)，可以降低比特率的增加。

根据本技术，在流切换中，可以通过参考元数据来选择最佳流。此外，利用元数据，关于特定比特率，仅降低比特率的情况、降低分辨率的情况、以及降低fps以降低比特率的情况可以彼此区分。元数据可以用于UI(用户界面)显示。可以向用户呈现实际的fps。

<3.第二实施例(计算机)>

<计算机>

上述一系列处理过程可以由硬件或软件执行。在通过软件执行一系列处理过程的情况下，软件的程序被安装在计算机上。此处，计算机的示例例如包括结合在专用硬件中的计算机以及能够使用其上安装的各种程序执行各种功能的通用个人计算机。

图33是示出被配置成利用程序执行上述一系列处理过程的计算机硬件的配置示例的框图。

在图33中示出的计算机1000中，CPU(中央处理单元)1001、ROM(只读存储器)1002和RAM(随机存取存储器)1003通过总线1004彼此连接。

总线1004还与输入输出接口1010连接。输入单元1011、输出单元1012、存储单元1013、通信单元1014和驱动器1015连接至输入输出接口1010。

输入单元1011包括例如键盘、鼠标、麦克风、触摸板或输入终端。输出单元1012包括例如显示器、扬声器或输出端子。存储单元1013包括例如硬盘、RAM盘或非易失性存储器。通信单元1014包括例如网络接口。驱动器1015驱动可移除介质1021，例如磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机中，例如，上述一系列处理过程由CPU 1001通过输入输出接口1010和总线1004将存储在存储单元1013中的程序加载到RAM 1003上以执行该程序。在RAM 1003中，例如，还适当地存储CPU 1001执行各种处理过程所需的数据。

计算机(CPU 1001)执行的程序可以记录在可移除介质1021上，例如要应用的封装介质。在这种情况下，程序可以通过输入输出接口1010安装在存储单元1013上，其中可移除介质1021被安装在驱动器1015上。

此外，该程序可以通过诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供。在这样的情况下，程序可以由通信单元1014接收以安装在存储单元1013上。

此外，该程序可以预先安装在ROM 1002或存储单元1013上。

<其他>

注意，与编码数据(比特流)相关联的各种信息可以被多路复用在编码数据上以进行传输或记录。替选地，上述信息可以作为与编码数据相关联的单独数据进行传输或记录，而没有被多路复用在编码数据上。此处，术语“关联”例如意味着在处理一个数据时，可以使用(可以链接)另一数据。也就是说，彼此相关联的数据可以被视为一个数据或多个单独数据。例如，可以在与编码数据(图像)的传输路径不同的传输路径上传输与编码数据(图像)相关联的信息。此外，例如，与编码数据(图像)相关联的信息可以记录在与编码数据(图像)的记录介质不同的记录介质上(或者记录在同一记录介质中的不同记录区域上)。注意，可以不是所有数据“关联”而是一部分数据“关联”。例如，图像与对应于图像的信息可以在诸如多个帧、一个帧或帧的一部分的任意单元中彼此相关联。

此外，如上所述，本文使用的术语例如“合成”、“多路复用”、“添加”、“集成”、“包括”、“存储”、“放入”、“伸入”和“***”表示将多个对象放入在一个对象中，例如将编码数据和元数据放入一个数据中，并且表示上述术语“关联”的一种形式。

此外，本技术的实施例不限于上述实施例，并且可以在本技术的主旨的范围内进行各种修改。

例如，本文使用的***意味着多个元件(例如，装置或模块(部件))的集合，并且所有元件不必包括在一个壳体中。这意味着容置在不同壳体中并经由网络彼此连接的多个装置、以及包括容置在一个壳体中的多个模块的一个装置各自为***。

此外，例如，被描述为一个装置(或处理单元)的配置可以被划分为多个装置(或处理单元)。相反，上面被描述为多个装置(或处理单元)的配置可以被放入一个装置(或处理单元)中。此外，当然，可以将除了上述配置之外的配置添加到每个装置(或每个处理单元)的配置。另外，只要整个***的配置和操作基本相同，则某个装置(或处理单元)的配置可以部分地被包括在另一装置(或另一处理单元)的配置中。

此外，例如，本技术可以采用云计算的配置，其中，多个装置经由网络以共享和协作的方式处理一个功能。

此外，例如，上述程序可以由任意装置执行。在这种情况下，装置具有必要的功能(例如，功能块)并且因此可以获取必要的信息就足够了。

此外，例如，参照上述流程图描述的每个步骤可以由一个装置执行或者由多个装置以共享方式执行。另外，在一个步骤中包括多个处理过程的情况下，该步骤中包括的多个处理过程可以由一个装置执行或者由多个装置以共享方式执行。

注意，关于计算机执行的程序，描述程序的步骤的处理过程可以按照本文描述的顺序按时间顺序执行，或者并行执行。替选地，处理过程可以在适当的定时处例如当发出调用时单独执行。另外，描述程序的步骤中的处理可以与另一程序的处理并行执行，或者可以与要执行的另一程序的处理组合。

注意，本文描述的多个本技术可以彼此独立地实现，只要不发生矛盾即可。当然，可以以任意组合实现多个本技术。例如，在任一实施例中描述的本技术可以与另一实施例中描述的本技术组合实现。此外，上述本技术中的任意一项可以与上面未描述的另一技术组合实现。

注意，本技术还可以采用以下配置。

(1)一种信息处理装置，包括：

低帧率生成单元，其被配置成根据输入图像生成多个不同的低帧率的图像；

单帧率转换单元，其被配置成将由所述低帧率生成单元生成的多个不同的低帧率的图像转换成单帧率的图像；以及

编码单元，其被配置成对通过由所述单帧率转换单元进行的转换而获得的单帧率的图像进行编码。

(2)根据项(1)所述的信息处理装置，还包括：

布置单元，其被配置成将与帧率相关联的信息布置为针对经编码的图像的元数据。

(3)根据项(2)所述的信息处理装置，其中，所述元数据包括表示由所述低帧率生成单元生成的多个不同的低帧率的净帧率。

(4)根据项(2)或(3)所述的信息处理装置，其中，所述元数据包括由所述低帧率生成单元生成低帧率的方法。

(5)根据项(2)至(4)中任一项所述的信息处理装置，其中，所述元数据包括在由所述低帧率生成单元生成低帧率的图像之前的原始帧率。

(6)根据项(2)至(5)中任一项所述的信息处理装置，其中，所述元数据包括表示是否能够从通过由所述单帧率转换单元进行的转换而获得的单帧率的图像中提取能够用于缩略图的静止图像的信息。

(7)根据项(2)至(6)中任一项所述的信息处理装置，其中，所述布置单元将所述元数据布置到媒体呈现描述文件。

(8)根据项(2)至(6)中任一项所述的信息处理装置，其中，所述布置单元将所述元数据布置到MP4文件。

(9)根据项(2)所述的信息处理装置，还包括：

发送单元，其被配置成发送包括由所述布置单元布置的元数据和经编码的图像的内容。

(10)一种信息处理方法，包括：

通过信息处理装置

根据输入图像生成多个不同的低帧率的图像；

将生成的多个不同的低帧率的图像转换成单帧率的图像；以及

对通过转换获得的单帧率的图像进行编码。

(11)一种信息处理装置，包括：

预测模式确定单元，其被配置成：在对多个图片的图像数据进行编码时，在作为垂直方向或水平方向的帧内分配方向上分配用于执行帧内预测的帧内区域；以及将下述预测模式确定为所述帧内区域的边界部分的帧内预测模式，在所述预测模式中，基于通过下述方式获得的所述帧内区域的坐标信息，不使用与所述帧内区域相邻的像素：在垂直于所述帧内分配方向的方向上移动所述帧内区域，使得所述图片中的所有编码单元对应于所述帧内区域。

(12)根据项(11)所述的信息处理装置，其中，所述元数据包括表示所述多个不同的低帧率的净帧率。

(13)根据项(11)或(12)所述的信息处理装置，其中，所述元数据包括生成所述低帧率的方法。

(14)根据项(11)至(13)中任一项所述的信息处理装置，其中，所述元数据包括在生成所述低帧率的图像之前的原始帧率。

(15)根据项(11)至(14)中任一项所述的信息处理装置，其中，所述元数据包括表示是否能够从通过转换获得的单帧率的图像中提取能够用于缩略图的静止图像的信息。

(16)根据项(11)至(15)中任一项所述的信息处理装置，其中，所述元数据被布置到要发送的媒体呈现描述文件。

(17)根据项(11)至(15)中任一项所述的信息处理装置，其中，所述元数据被布置到要发送的MP4文件。

(18)根据项(11)至(17)中任一项所述的信息处理装置，还包括：

接收单元，其被配置成接收由所述内容选择单元选择的内容。

(19)一种信息处理方法，包括：

通过信息处理装置

获取作为针对发送的内容的、与帧率相关联的信息的元数据，所述内容是通过根据输入图像生成多个不同的低帧率的图像并且将生成的多个不同的低帧率的图像转换成单帧率的图像来获得的；以及

取决于当前传输带宽，基于获取的元数据来选择包括通过转换最佳低帧率图像而获得的单帧率的图像的内容。

附图标记列表

100分发***、101文件生成装置、102分发服务器、103再现终端、104网络、110视频流生成单元、111音频流生成单元、112内容文件生成单元、113 MPD生成单元、114通信单元、121视频元数据获取单元、122音频元数据获取单元、123文件生成单元、131 A/D转换单元、132帧率降低处理单元、133单帧率转换处理单元、134压缩编码单元、135视频元数据生成单元、151 MPD获取单元、152解析单元、153内容文件获取单元、154流提取单元、155视频解码单元、156视频输出单元、157音频解码单元、158音频输出单元、159控制单元、160操作单元、181切换控制单元。

Claims

1.一种信息处理装置，包括：

2.根据权利要求1所述的信息处理装置，还包括：

3.根据权利要求2所述的信息处理装置，其中，所述元数据包括表示由所述低帧率生成单元生成的多个不同的低帧率的净帧率。

4.根据权利要求3所述的信息处理装置，其中，所述元数据包括由所述低帧率生成单元生成低帧率的方法。

5.根据权利要求3所述的信息处理装置，其中，所述元数据包括在由所述低帧率生成单元生成低帧率的图像之前的原始帧率。

6.根据权利要求3所述的信息处理装置，其中，所述元数据包括表示是否能够从通过由所述单帧率转换单元进行的转换而获得的单帧率的图像中提取能够用于缩略图的静止图像的信息。

7.根据权利要求3所述的信息处理装置，其中，所述布置单元将所述元数据布置到媒体呈现描述文件。

8.根据权利要求3所述的信息处理装置，其中，所述布置单元将所述元数据布置到MP4文件。

9.根据权利要求3所述的信息处理装置，还包括：

10.一种信息处理方法，包括：

通过信息处理装置

根据输入图像生成多个不同的低帧率的图像；

对通过转换获得的单帧率的图像进行编码。

11.一种信息处理装置，包括：

获取单元，其被配置成获取作为针对发送的内容的、与帧率相关联的信息的元数据，所述内容是通过根据输入图像生成多个不同的低帧率的图像并且将生成的多个不同的低帧率的图像转换成单帧率的图像而获得的；以及

内容选择单元，其被配置成：取决于当前传输带宽，基于由所述获取单元获取的元数据来选择包括通过转换最佳低帧率图像而获得的单帧率的图像的内容。

12.根据权利要求11所述的信息处理装置，其中，所述元数据包括表示所述多个不同的低帧率的净帧率。

13.根据权利要求12所述的信息处理装置，其中，所述元数据包括生成所述低帧率的方法。

14.根据权利要求12所述的信息处理装置，其中，所述元数据包括在生成所述低帧率的图像之前的原始帧率。

15.根据权利要求12所述的信息处理装置，其中，所述元数据包括表示是否能够从通过转换获得的单帧率的图像中提取能够用于缩略图的静止图像的信息。

16.根据权利要求12所述的信息处理装置，其中，所述元数据被布置到要发送的媒体呈现描述文件。

17.根据权利要求12所述的信息处理装置，其中，所述元数据被布置到要发送的MP4文件。

18.根据权利要求12所述的信息处理装置，还包括：

19.一种信息处理方法，包括：

通过信息处理装置