CN103765871A - 元数据辅助特技模式干预方法和*** - Google Patents

Abstract

描述了一种方法和设备，包括接受元数据，识别用于观看的多媒体内容的片段，存储识别的多媒体内容的片段，检测特技模式回放初始化，确定特技模式回放的开始点是否先于下一识别片段，如果第一确定为肯定的则确定元数据的播出时间，确定对应时间以开始元数据的播出，如果第一确定为否定则立即开始回放元数据或在确定的对应时间回放元数据，显示具有询问的对话框，响应于询问接受来自用户的输入，响应于所接受的输入以正常模式速度回放所存储的多媒体内容的识别片段之一，并且一旦完成回放所存储的多媒体内容的识别片段之一就回复到特技模式回放。

Description

元数据辅助特技模式干预方法和***

技术领域

本发明涉及一种用于具有元数据指示的特技模式干预的媒体***。在特技模式操作期间内将显示附加内容以强调来自例如媒体创建者的角度或前听众的片段推荐。

背景技术

多媒体播放在任何多媒体使能的装置上都是非常流行的服务。诸如DVD播放器、MP4播放器之类的硬件播放器或诸如Microsoft的Windows媒体播放器和Apple的QuickTime播放器之类的软件播放器对终端用户提供回放控制。典型的操作包括“打开”、“播放”、“暂停”、“停止”、“快进”、“后退”等，其中“快进”和“后退”为终端用户使能速度控制选项，以快速寻找他们想要回放的位置。在这些动作期间的内容回放通常称为“特技模式”回放。内容包括但不限于音频、视频、多媒体、文本和数据。术语内容以及这些内容形式的任一种（例如，视频）的使用是可交换的并且不表达或暗示限制。在传统内容播放器的实现中，当终端用户选择了“快进”或“后退”时，以比正常回放速度更快的速度（例如，2倍、4倍、8倍）播放视频序列。因此，一些帧将被跳过并且移动以及视频的场景将对于观众（用户）显得是快速动作改变。从人类视角看，尽管对于使用特技模式的一些场景改变仍然在某种程度上是可理解的，但是视频帧的显示不是内容可知的。一些关键帧或子片段将被无意识地跳过，例如具有360度视野的动作电影中的***场景在正常回放速度可能仅持续10秒。在“快进”模式中，它将仅作为一帧来显示，并且因此，无法反映其实际效果。在另一示例中，导演可能***关键角色的童年回忆的短片段。该短片段可能给予观众对于角色和故事的珍贵的见解。然而，在特技模式中可能不显示该短片段或仅作为一或两帧来显示，而此内容对于整个电影（视频）的体验是非常重要的。

名为“System and Method for Smart Trick Mode Display”的美国专利申请序列号2010/0077435提出了一种取决于终端用户的兴趣、喜好或厌恶在特技模式期间选择要播放的帧的方法。在该申请中，主要考虑是强调所选择的感兴趣的相关关键帧或自动跳过用户可能不愿意看的一些子片段。然而，用户的兴趣本质是非常概括的，例如，体育、爱情故事、历史、知名建筑等。即使对于类似的场景，画面和叙事的构成也可以根据不同电影导演和电影类型而可能不同，并且其对于电影的整体影响将极大的不同。因而，在本发明中，考虑对给定内容可以证实更有价值并更具体的诸如电影导演、视频创建者或TV导演之类的源所有人的推荐。在本发明中，还考虑背景介绍和想法说明，而这也可以帮助终端用户识别要观看的关键帧和重要的子片段。本发明的另一优势是引入附加媒体回放以在主显示装置或第二辅助显示装置上强调跳过帧或子片段的重要性。上述标识的专利申请和本发明的方法之间的另一差异在于在本发明的方法中没有要求用户行为监控。

发明内容

本发明解决了当播放多媒体内容时在特技模式操作（诸如“快进”和“后退”）下无意识地跳过或错过关键帧和子片段。将来自多媒体内容的导演或创建者的推荐***伴随着该多媒体内容的元数据信息。在特技模式操作期间，将显示附加的对话框，其目的在于强调潜在跳过或错过的内容的部分的重要性并且建议终端用户以另一方式（正常回放）观看它。因而，在特技模式操作之下可以保留多媒体内容的关键帧或子片段以用于传送并且被终端用户查阅。如果终端用户选择了保留关键片段则这将发生。在此情况下，特技模式操作对于关键片段期间将回复到正常回放操作，并且在以正常速度播放关键片段完成之后随后回到特技模式操作。

本发明提供一种用于在被***到多媒体内容的元数据中提供导演或创建者确定的推荐信息的方法。在给定多媒体回放的特技模式“快进”或“后退”操作期间，如果将跳过如内容所有人确定的并在元数据中指示的对应推荐（关键）片段，则将显示对话框以建议（提醒）终端用户以正常回放速度（操作）观看推荐的（关键）片段。附加的对话框中断仅在特技模式操作期间发生并且对正常回放速度或操作没有影响。不要求用户输入或行为来激活此功能。

描述方法和设备，包括接收元数据、识别推荐用于观看的多媒体内容的片段、存储多媒体内容的识别片段、检测特技模式回放初始化、确定特技模式回放的起始点是否在下一识别片段之前、如果第一确定为肯定的则确定元数据的播出时间、确定对应时间以开始播出元数据、如果第一确定为否定则立即开始回放元数据或在确定的对应时间回放元数据、显示具有询问的对话框、接受来自用户的响应于询问的输入、响应于所接受的输入以正常模式速度回放所存储的多媒体内容的识别片段的一个并且一旦完成回放所存储的多媒体内容的识别片段的一个就回复到特技模式回放。

附图说明

当结合附图阅读时，根据以下详细描述最佳地理解本发明。附图包括以下简单描述的以下附图：

图1是本发明的特技模式干预***的示例性实施例的框图。

图2是依据本发明原理的在“快进”特技模式操作期间内媒体内容和附加内容（元数据）的示例性多媒体回放序列。

图3A和3B共同是本发明的特技模式干预***的实施例的操作的流程图。

具体实施方式

图1是本发明的特技模式干预***的示例性实施例的框图。图1描绘的特技模式干预***的示例性实施例包括三个主要组件-媒体内容、媒体播放器部分以及装置显示部分。媒体内容包括主内容（例如，电影、视频等）、具有关于关键（重要）场景、片段、帧或子片段的内容所有人或内容创建者的推荐的附加内容（元数据）以及推荐特定场景（帧、片段、子片段）为关键或重要的元数据的索引。元内容和元数据格式取决于特定实现（诸如，MPEG2/MPEG4/MOV/RM的视频格式或多元媒体格式Flash/SWF等）而不同。在一个实施例中，如果根据诸如MP4文件格式（ISO/IEC14496）之类的允许元数据***的标准来提供媒体内容，则结合根据该标准的媒体内容来提供推荐元数据。例如，‘元框’（meta box）是用于格式通用元数据的共用基础结构。‘元框’包含描述性或注解性元数据。‘元’框被要求包含指示‘元’框内容的结构或格式的‘hdlr’框。该元数据位于该框内的一个框或位于由主项框识别的条目边上。推荐的元数据条目的一个示例在以下在表1中示出。

表1

字段可以如下说明：

●时间间隔：导演或源创建者确定的内容的推荐（建议）片段（场景、帧、子片段、分段）的起始点R1s和终止点R1e。已经被内容所有人或内容创建者确定为关键或重要的媒体内容的此部分整体上对于媒体呈现是重要的。

●序列号：内容的推荐片段（场景、帧、子片段、分段）的顺序。

●推荐节目ID：推荐节目ID向终端用户给出片段（分段、场景、子片段、（多个）帧）之所以重要的原因的指示以及推荐片段的价值。附加媒体可以是导演的采访、来自听众的评论、主要内容形成的纪录片等。

●类型：附加媒体的媒体类型，例如，音频、视频、数据等

●持续时间：附加媒体条目的持续时间。持续时间是以正常操作（速度）回放该媒体内容所需的回放时间。

媒体播放器可以以软件、硬件或以上的任意组合实现。例如，媒体播放器可以是用于播放数字电视内容的机顶盒（STB）、用于播放之前记录的视频内容的数字录像机（DVR）。其他类型的媒体播放器可以包括数字多功能盘（DVD）播放器、便携式MP4播放器、在个人计算机或包括但不限于笔记本、个人数字助理（PDA）、移动电话、双模智能机和iPad型装置的移动装置上安装的Microsoft的Windows媒体播放器以及Apple的QuickTime播放器。通常，将媒体播放器功能划分为诸如“播放”“停止”“暂停”之类的正常回放操作以及诸如“快进”或“后退”之类的特技模式回放操作。终端用户可以在任何时间以及在媒体内容回放的任何点在这两种操作模式之间切换，以本发明的方法利用附加的内容描述（元数据）来中断特技模式操作（特技模式干预）以提示终端用户选择该终端用户是否想要在特技模式中继续并且无意识地错过媒体内容的重要（关键）片段。媒体播放器的正常回放模式部分接受（接收、取回、读取）多媒体（主要）媒体内容。媒体播放器的特技模式回放部分接受（接收、读取）附加内容（元数据）。附加内容（元数据）用虚线箭头指示，因为如果媒体播放器未处于特技播放模式的操作中则此附加内容（元数据）将不被转发或接受。这将是不必要并且多余的。媒体播放器的播放控制部分接受（接收、读取）指示推荐元数据的索引的数据。媒体播放器的播放器控制部分控制了媒体播放器的特技模式回放部分和正常模式回放部分两者，依据图3所示以及图2的示例性时间线所示的方法使得媒体播放器进入以及退出特技模式和正常模式的操作。特技模式回放组件将推荐元数据显示在媒体播放器的辅助显示装置上。特技模式回放组件将多媒体内容以特技模式回放速度显示在媒体播放器的主显示装置上。

图2是依据本发明原理的在“快进”特技模式操作期间内媒体内容和附加内容（元数据）的示例性多媒体回放序列。回放时间线上的星形图标示出了特技模式的开始点。在左边开始，第一特技模式干预出现在推荐（主）媒体内容的开始位置（R1s）之外（之前、先于）。因而，在时间R1s-D1，将显示附加内容（元数据）以提供来自内容导演或内容源创建者的更多信息。D1是第一附加内容（元数据）的持续时间。附加内容（元数据）的一个示例可以是导演的描述以放置***的360度视野以突出动作效果或突出***的特殊效果。附加内容的另一示例可以是来自之前听众的此部分内容的美丽场景和背景音乐非常感人的评论。在回放附加内容之后，如果终端用户接受观看被建议为关键（重要）的主媒体内容的推荐部分，则回放将回复到正常回放模式以实现在如图2所示的时间线中从R1s到R1e的回放。沿着时间线移动到右边，第二特技模式干预发生在推荐片段内部（在要观看整个推荐片段必须已经开始推荐片段之后）。在此情况下，将不会留下等待时间，将立即播放附加内容（元数据），并且如果终端用户接受建议以正常回放速度观看媒体（主）内容，则媒体内容回放将回复到正常回放模式以实现在时间线中从R2s到R2e的播放。在两个示例中，在以正常回放速度播放推荐片段之后，回放模式将再次回复到特技模式。

参考回图1，装置显示部分是在其上显示媒体内容的显示器。主显示装置在正常回放模式期间显示主媒体内容。辅助显示装置从媒体播放器的特技模式回放部分接受（接收、读取）附加内容（元数据），以便确定终端用户是否想要以正常回放模式观看推荐片段。主显示装置还从媒体播放器的特技模式回放部分接受（接收、读取）附加内容（元数据），以便确定终端用户是否想要以正常回放模式观看推荐片段。即，主显示装置或辅助显示装置之一均可以显示附加内容（元数据）。

本发明的特技播放模式干预方法可以划分为以下列出的5个主要步骤。假定媒体播放器以正常回放模式开始。

●步骤1：在正常速度的媒体播放期间，取回推荐元数据（与推荐观看的主媒体内容片段关联的元数据），其可能是诸如表1之类的表格形式或任何其他合适的格式或与恰当内容标准兼容的任何格式。解析对应的时间和附加内容（元数据）信息，例如，表1所示的条目（字段中的数据）。此步骤中的关键功能是识别应被强调（关键或重要的）推荐片段（场景、分段、帧、子片段）。这样的信息可以存储在分配给媒体播放器的缓冲器中。

●步骤2：检测终端用户是否已经初始化特技模式回放操作。对于软件实现的媒体播放器，“快进”或“后退”或预定义的键盘快捷键的鼠标点击可以被认为是特技模式操作初始化的触发。对于硬件实现的媒体播放器，可以将特技模式的检测定义为用户在遥控器或选项板上按下恰当的按键或按下媒体播放器本身的按钮。

●步骤3：在特技模式操作检测之后，特技模式操作的开始点将被记录并且与下一推荐主媒体内容比较。如果下一推荐主媒体内容片段在推荐主媒体内容片段之外（先于、之前），则将计算附加内容的播出时间并且在对应的开始时间播放该附加内容（元数据）。播出时间是播出内容单元的持续时间。如果特技模式回放的开始点位于最新推荐主媒体内容片段内部，则将立即播放附加内容以强调如果继续特技模式回放则将错过一些关键帧或片段。

●在播放附加内容（元数据）之后，将显示通知窗口（对话框）以请求关于是否以正常回放模式（以正常回放速度）观看推荐主媒体内容片段的来自终端用户的输入。在一个实施例中，对话框是消息框，包括与“你想要以正常回放速度观看推荐片段？”类似的消息，具有“是”和“否”的“单选按钮”以及“下次使用同一选择？”的勾选框。在一个实施例中，如果终端用户选择“是”并勾选了框，则下次，将立即播放推荐主媒体内容。如果终端用户选择“否”并勾选了框，则将不播放推荐主媒体内容并没有进一步干预地操作特技模式。在替代实施例中，如果终端用户选择“是”并勾选了框，则下次，将不进一步显示下一推荐主媒体内容的元数据（附加内容）地立即播放推荐主媒体内容。在另一情形下，如果终端用户选择“是”并未勾选框，则下次，将播放附加内容（元数据）并将再次显示消息（对话）框。假定以正常回放速度而非特技模式速度与附加内容（元数据）一起显示对话框。

●步骤5：在以正常速度播放推荐主媒体内容之后，媒体播放器将回复到特技模式回放操作直到终端用户终止此功能或在特技模式操作期间出现另一推荐主媒体内容片段。

图3A和3B一起是本发明的特技模式干预***的实施例的操作的流程图。首先参考图3A，假定一旦上电，媒体播放器就以正常模式速度开始播放所选媒体内容（可以是例如紧致盘（CD）或数字视频盘（DVD））。在305，媒体播放器进行测试以确定（以任何速度的）媒体内容回放是否完成。如果媒体内容回放完成，则方法（处理）对此媒体内容结束。如果媒体内容回放未完成，则在310媒体播放器接受（接收、取回）推荐元数据（与推荐观看的主媒体内容片段关联的元数据），其可能是诸如表1之类的表格形式或任何其他合适的格式或与恰当内容标准兼容的任何格式。媒体播放器解析对应的时间和附加内容（元数据）信息，例如，表1所示的条目（字段中的数据）。此步骤中的关键功能是识别应当被强调（关键或重要的）推荐片段（场景、分段、帧、子片段）。这样的信息可以存储在分配给媒体播放器的缓冲器中。在315，进行测试以确定是否已经检测到特技模式操作初始化。如果尚未检测到特技模式操作，则处理前进到305。如果已经检测到特技模式操作，则在320，将记录主媒体内容中特技模式操作的开始点。在325，进行测试以确定下一推荐主媒体内容片段是否在推荐主媒体内容片段之外（先于、之前）。如果下一推荐主媒体内容是推荐主媒体内容片段之外（先于、之前），则在330，将计算附加内容的播出时间以及开始该附加内容（元数据）的播出的对应开始时间。播出时间是播出内容单元的持续时间。附加内容（元数据）将在对应开始时间播出（回放）。如果特技模式回放的开始点位于最新推荐主媒体内容片段内部，则在335，将立即播放附加媒体内容（元数据）以强调如果继续特技模式回放则将错过一些关键帧或片段。

现在参考图3B，在340，将显示通知窗口（对话框）以请求关于是否以正常回放模式（正常回放速度）看（观看、播放、聆听）推荐主媒体内容片段的来自终端用户的输入。在一个实施例中，对话框是消息框，包括与“你想要以正常回放速度观看推荐片段？”类似的消息，具有“是”和“否”的“单选按钮”以及“下次使用同一选择？”的勾选框。图3B未示出第二问题的测试和逻辑。在345进行测试，以评估终端用户的输入。在350，如果终端用户选择“是”并勾选了框，则下次，将立即播放推荐主媒体内容。如果终端用户选择“否”并勾选了框，则将不播放推荐主媒体内容并没有进一步干预地操作特技模式。在替代实施例中，如果终端用户选择“是”并勾选了框，则下次，将不进一步显示下一推荐主媒体内容的元数据（附加内容）地立即播放推荐主媒体内容。在另一情形下，如果终端用户选择“是”并未勾选框，则下次，将播放附加内容（元数据）并将再次显示消息（对话）框。假定以正常回放速度而非特技模式速度与附加内容（元数据）一起显示对话框。

本发明在具有3个主要组件（正常模式回放组件、特技模式回放组件和播放器控制组件）的媒体播放器（图1所示）中实践。特技模式回放组件接受元数据并在媒体播放器的辅助装置上显示该元数据（与推荐观看的主媒体内容片段关联的元数据）。特技模式回放组件还以特技模式回放速度在媒体播放器的主显示器上显示多媒体内容。正常模式回放组件包括用于接受多媒体内容的部件和用于以对应于所接受输入的正常模式速度回放所存储的多媒体内容的识别片段之一的部件。用于接受的部件和用于回放的部件优选地是由执行在存储器中存储的关联指令的处理器执行的。用于接受的部件和用于回放的部件可以由单一处理器执行或由两个或多个处理器执行。在替代实施例中，用于接受的部件和用于回放的部件可以以硬件或固件实现，例如包括使用专用集成计算机（ASIC）和/或现场可编程门阵列（FPGA）或专用处理器或以上的任意组合的实施方式。播放器控制组件***体播放器的正常模式回放组件和特技模式回放组件。播放器控制组件还接受元数据的索引。播放器控制组件还包括用于识别推荐观看的多媒体内容的片段的组件、用于存储识别的多媒体内容片段的部件、用于检测特技模式回放初始化的部件、用于确定特技模式回放的开始点是否先于下一识别的片段的部件、用于如果第一确定为肯定的则确定元数据的播出时间的部件、用于确定对应时间以开始播出元数据的部件、用于如果第一确定为否定则立即开始回放元数据或在确定的对应时间回放元数据（这通过基于确定在与媒体播放器关联的主显示装置上的显示而初始化正常模式回放而完成）的部件、显示具有询问的对话框（这通过控制具有在与媒体播放器关联的主显示装置上的显示的正常模式回放组件来以正常模式速度而完成）的部件、用于响应于询问接受来自用户的输入的部件、用于一旦完成回放所存储的多媒体内容的识别片段之一就回复到特技模式回放（这通过由播放器控制组件在特技模式回放组件中初始化特技模式回放而完成）的部件。用于播放器控制组件的每个部件均优选地是由执行在存储器中存储的关联指令的处理器进行的。各种部件可以由单一处理器执行或由多个处理器执行。在替代实施例中，用于接受的部件和用于回放的部件可以以硬件或固件实现，例如包括使用专用集成计算机（ASIC）和/或现场可编程门阵列（FPGA）或专用处理器或以上的任意组合的实施方式。

要理解，本发明可以以硬件、软件、固件、专用处理器或以上组合的各种形式实现。优选地，本发明实现为硬件和软件的组合。此外，软件优选地实现为有形地具体化在程序存储装置上的应用程序。该应用程序可以上传到包括任何合适架构的机器并由包括任何合适架构的机器执行。优选地，机器实现在具有诸如一个或多个中央处理器（CPU）、随机访问存储器（RAM）以及（多个）输入/输出（I/O）接口之类的硬件的计算机平台。该计算机平台还包括操作***和微指令代码。这里描述的各种处理和功能可以是经由操作***执行的微指令代码的部分或应用程序的部分（或其组合）。另外，诸如附加的数据存储装置和打印装置的各种其他***装置可以连接到该计算机平台。

要进一步理解，因为附图中描绘的一些构成***组件和方法步骤优选以软件实现，所以***组件（或处理步骤）之间的实际连接可能取决于编程本发明的方式而不同。给出这里的教导，本领域普通技术人员将能够构思本发明的这些以及类似的实现或配置。

Claims (14)

1.一种方法，所述方法包括：

接受元数据；

识别推荐观看的多媒体内容的片段；

存储所述识别的多媒体内容的片段；

检测特技模式回放初始化；

确定所述特技模式回放的开始点是否先于下一识别片段；

如果所述第一确定为肯定的则确定所述元数据的播出时间；

确定对应时间以开始所述元数据的播出；

如果所述第一确定为否定则立即开始回放所述元数据或在所述确定的对应时间回放元数据；

显示具有询问的对话框；

响应于所述询问接受来自用户的输入；

响应于所述所接受的输入以正常模式速度回放所述所存储的多媒体内容的识别片段之一；以及

一旦完成回放所述所存储的多媒体内容的识别片段之一就回复到特技模式回放。

2.根据权利要求1所述的方法，其中所述识别步骤进一步包括解析所述元数据。

3.根据权利要求1所述的方法进一步包括确定是否已经完成所述多媒体内容的全部片段的播放。

4.一种设备，包括：

用于接受元数据的部件；

用于识别推荐观看的多媒体内容的片段的部件；

用于存储所述识别的多媒体内容的片段的部件；

用于检测特技模式回放初始化的部件；

用于确定所述特技模式回放的开始点是否先于下一识别片段的部件；

用于如果所述第一确定为肯定的则确定所述元数据的播出时间的部件；

用于确定对应时间以开始所述元数据的播出的部件；

用于如果所述第一确定为否定则立即开始回放所述元数据或在所述确定的对应时间回放元数据的部件；

用于显示具有询问的对话框的部件；

用于响应于所述询问接受来自用户的输入的部件；

用于响应于所述所接受的输入以正常模式速度回放所述所存储的多媒体内容的识别片段之一的部件；以及

用于一旦完成回放所述所存储的多媒体内容的识别片段之一就回复到特技模式回放的部件。

5.根据权利要求4所述的设备，其中所述识别部件进一步包括用于解析所述元数据的部件。

6.根据权利要求4所述的设备进一步包括用于确定是否已经完成所述多媒体内容的全部片段的播放的部件。

7.根据权利要求4所述的设备，其中所述设备是媒体播放器。

8.根据权利要求4所述的设备，其中所述设备包括正常模式回放组件、特技模式回放组件以及播放器控制组件。

9.根据权利要求8所述的设备，其中所述正常模式回放组件接受所述多媒体内容。

10.根据权利要求8所述的设备，其中所述特技模式回放组件接受所述元数据。

11.根据权利要求8所述的设备，其中所述播放器控制组件接受所述元数据的索引。

12.根据权利要求8所述的设备，其中所述播放器控制组件控制所述正常模式回放组件和所述特技模式回放组件。

13.根据权利要求8所述的设备，其中所述特技模式回放组件在所述媒体播放器的辅助显示装置上显示所述元数据。

14.根据权利要求8所述的设备，其中所述特技模式回放组件以特技模式回放速度在所述媒体播放器的主显示装置上显示所述多媒体内容。

Images