CN1305620A - 自视频产生动画的方法 - Google Patents

自视频产生动画的方法 Download PDF

Info

Publication number
CN1305620A
CN1305620A CN99807212A CN99807212A CN1305620A CN 1305620 A CN1305620 A CN 1305620A CN 99807212 A CN99807212 A CN 99807212A CN 99807212 A CN99807212 A CN 99807212A CN 1305620 A CN1305620 A CN 1305620A
Authority
CN
China
Prior art keywords
image
video
animation
frame
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN99807212A
Other languages
English (en)
Inventor
胜昌·埃里克·陈
伟楚·海伦·谭
乔纳森·勃兰特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PREZONT COM
Original Assignee
PREZONT COM
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/096,487 external-priority patent/US6268864B1/en
Priority claimed from US09/096,720 external-priority patent/US6278466B1/en
Priority claimed from US09/096,726 external-priority patent/US6081278A/en
Application filed by PREZONT COM filed Critical PREZONT COM
Publication of CN1305620A publication Critical patent/CN1305620A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/02—Non-photorealistic rendering
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种用于产生和存储一动画并将该动画与一视频链接的设备和方法。检查一序列视频图象(10)以识别在该序列视频图象中描绘的一场景的第一变换;从该序列视频图象获得第一图象和第二图象,该第一图象代表该第一变换之前的该场景而该第二图象代表在该第一变换后的该场景。有关一动画(12)的存储,自一视频产生的一组关键帧被存储在一动画目标(30)中。在该动画目标(30)中存储指示来自该组关键帧的第一序列选择的关键帧的一或多个值(33,35)和用于内插在该第一序列的关键帧之间的信息。在该动画目标中还存储指示来自该组关键帧的第二序列选择的关键帧的一或多个值和用于内插在该第二序列的关键帧之间的信息,第二序列中的关键帧的数量小于第一序列中的关键帧的数量。有关一视频和一动画的链接,生成包含有对应于第一视频的各自帧的若干元素的一数据结构。指示被从第二视频产生的一动画的信息被存储在该数据结构的这些元素的一或多个中。

Description

自视频产生动画的方法
发明领域
本发明涉及图象动画领域，且更具体地涉及自视频自动产生一动画。
发明背景
互联网已变成日益流行的传送全运动视频给终端用户的媒介。然而，由于带宽的限制，大多数用户不能根据需要下载和观看高质量的视频。例如，为了以每秒三十帧地传送一压缩后的640×480象素分辨率的视频，必须以约8Mbs(每秒兆位)的速率发送图象数据，对带宽的要求约略比现今大多数互联网用户可用的28.8Kbs(每秒千位)调制解调器速度大三百倍。即使使用工业标准压缩技术(例如MPEG-运动图象专家组)，相比于电视显示，现今互联网上的视频效果经常更象低质量的幻灯片显示。
使用关键帧和内插来产生视频效果的动画可能要求比视频更小的发送带宽。随着个人计算机的性能的改善，可从使用低带宽调制解调器接收的相对少的关键帧实时地合成电视质量的视频效果。可传送要求每几秒发送一关键帧的一动画序列，相对于视频节省很多的带宽并还提供了优越的图象质量。
除了要求小的带宽外，在播放图象质量和帧速两方面，相比于视频，动画还可进行更多的缩放。因为对在播放时间期间播放中(on thefly)的视频效果进行合成，可根据多个因素，例如播放处理器速度、网络带宽和用户偏爱，动态地调整帧速和图象质量。
动画与视频相比，附加用于用户交互作用的特征和其他类型的编辑也容易地多。例如，调整一照相机摄全景路径或目标运动速度可仅要求改变与该动画中的几个关键帧相关的运动参数。编辑一视频剪辑以取得相同的效果可能需要修改数百个帧。类似地，相比于视频，在动画中可容易得多地实现附连一在时间上地跟踪一运动目标的热点。
动画有其缺陷。因为传统地要求熟练的动画绘制者绘制高质量的动画，动画制做过程经常是成本高昂且费用昂贵。而且，由于动画绘制者经常用手草绘关键帧，动画倾向于呈现草图化且经常缺乏展示真实世界景象所需的逼真的成象。在某些情况下，使用基本的两维和三维目标作为积木制做动画。这种动画也倾向于具有一合成品的效果而无自然的外观且经常被限制来表示图形信息。
发明概述
公开了一种用于产生动画的方法和设备。对一序列视频图象进行检查以标识在该序列视频图象中描述的一场景的第一变换。从该序列视频图象获得一第一图象和一第二图象。该第一图象代表第一变换前的该场景而第二图象代表第一变换后的该场景。生成指示第一变换并可用于内插在该第一图象和第二图象之间以产生近似该序列视频图象的显示的一视频效果的信息。
还公开了一种用于存储一动画的方法和设备。从一视频产生的一组关键帧被存储在一动画目标中。指示从该组关键帧中选出的第一序列关键帧的一或多个值连同用于内插在该第一序列中的这些关键帧之间的信息一起被存储在该动画目标中。指示从该组关键帧中选出的第二序列关键帧的一或多个值连同用于内插在该第一序列中的这些关键帧之间的信息一起被存储在该动画目标中。在一动画目标中存储自一视频产生的一组关键帧。第二序列中的关键帧的数目小于第一序列中的关键帧的数目。
还公开了一种用于链接一视频和一动画的方法和设备。生成包含对应于第一视频的对应帧的元素的一数据结构并在该数据结构的这些元素的一或多个中存储指示已从一第二视频产生的一动画中的一图象的信息。
从附图及以下给出的详细描述中，本发明的其他特征和优点将是显见的。附图中：
图1示出了一动画的产生和传送；
图2是根据一实施例的一动画创作***的方框图；
图3是根据一实施例的一背景轨迹发生器的方框图；
图4A示出了已由一背景轨迹发生器内的一场景变化估计器识别的一视频段；
图4B是描述在图3中示出的背景运动估计器、背景帧构造器和背景混合估计器的工作的流程图；
图5示出了由图3中所示的背景帧构造器生成的一背景图象组；
图6是根据一实施例的一目标轨迹发生器的方框图；
图7A示出了由图3所示的场景变化估计器识别的一视频段；
图7B是根据一实施例的一目标轨迹发生器的工作的流程图100；
图8是根据一实施例的一动画目标的示意图；
图9A示出了可被用于执行背景混合的背景帧混合数据结构的示例性实施例；
图9B示出了一断续混合功能；
图10示出了在动画播出期间使用一背景轨迹和一示例性动画目标的目标轨迹来合成一内插的帧的方式；
图11示出了用于提供动画关键帧的多时间分辨率的技术；
图12示出了用于提供动画关键帧的多空间分辨率的技术；
图13示出了使用一服务器***控制被传送给播放***的动画数据流的内容；
图14A示出了使用一交联发生器建立一视频源和自该视频源产生的一动画之间的交联；
图14B示出了使用一交联发生器建立一第一视频和自第二视频产生的一动画之间的交联；
图15示出了根据一实施例的一交联数据结构；
图16是一视频源中的一序列视频帧与来自一动画的背景图象之间的交联关系的视图；
图17示出了由一播放***生成的一显示；
图18示出了由一播放***中的一动画的播放所生成的一替代性显示。
详细描述
根据在此所述的实施例，一视频被解析以自动地产生一包括若干关键帧和用于在这些关键帧之间进行内插的信息的动画。这些关键帧和内插信息可被使用以在动画播放期间合成图象。在被显示时，这些合成的图象产生近似于原始视频的视频效果。因为相比于视频，在动画中可用明显较少的信息来表示例如图象运动和色彩变化的视频效果，当经过通信网络例如互联网被发送时，动画倾向于消耗少得多的带宽。例如，使用在此描述的方法和设备，可使用包含数百图象帧的一视频来产生仅包含几个关键帧和用于在这些关键帧之间进行内插的信息的一动画。当在一播放***，例如带有动画播放能力的台式计算机中接收到该动画时，该播放***可使用该动画中提供的这些关键帧和内插信息来当该动画正被接收时合成及显示图象。这样，在此公开的实施例的一优点在于根据一视频自动地产生一动画，该动画相比于视频更加紧凑以使不具有同时接收和显示该视频的带宽的一播放***可同时接收并显示该动画。在此公开的实施例的另一优点在于将一动画和一视频交联以允许用户在播放期间可在观看动画和观看视频之间进行切换。在此公开的实施例的另一优点在于提供具有可选择的时间和空间分辨率的动画并提供一服务器***以选择具有适合于播放***的特性的时间和空间分辨率的一动画并传送给该播放***。
以下将描述这些及其他优点。术语
在此，术语“视频”是指由一照相机以预定速率捕获的或由一图象发生器生成的用于以预定速率播放的一序列图象。该视频中的一帧内包括该序列图象中的各个图象且该图象代表的真实世界对象被称之为一场景。视频数据经常被存储以使对于各帧有一代表该帧中的该图象的数据。该数据可以是一被压缩的形式或可以是一未被压缩的位图。理论上可使用任何捕获速率，但该速率经常快到足以捕获一场景中的人可觉察的运动(例如，每秒10帧或更多)。
可从任何包括但不限于胶片、NTSC视频(国家电视标准码)或任何其他现存或记录的视频格式的来源提供一视频。可在多种不同的显示器(包括但不限于阴极射线管显示器CRT、液晶显示器、等离子体显示器等)上显示一视频。
术语“动画”是指包括若干关键帧和用于在这些关键帧之间内插的信息的一数据构造。关键帧是刻划或可被用于刻划一场景内的增量变换的图象。在一实施例中，一新的关键帧被提供用于该场景中的各增量变换且可根据***需要及用户偏好调整用于确定什么构成一增量变换的标准。该标准越敏感(即场景变换越小)，该动画中就存在越多的关键帧。
根据一实施例，一动画中可有两种关键帧：背景帧和目标帧。背景帧是由背景运动或色彩变化导致的关键帧。背景运动常由用于记录该场景的照相机的配置的改变所引起。照相机配置的通常的改变包括但不限于照相机的平移、旋转、倾斜或变焦。色彩变化经常由场景照明的变化导致(其也可由例如光圈改变的照相机的配置改变导致)，但也可由该场景内的大区域的颜色变化引起。
目标帧是由一场景内的目标的运动或色彩变化但非用于记录该场景的照相机的配置的改变所导致的关键帧。一场景中的与照相机运动无关的运动或改变色彩的目标在此被称为动态目标。将可理解一给定的目标是一动态目标还是一场景的背景的部分将取决于该目标所在部分大相比于该场景的其余部分有多大。当一目标变得足够大时(例如由于它实际上或光学上接近该照相机)，该动态目标实际上变成该场景的背景。
根据公开的实施例，在称为一背景轨迹的数据结构中存储一序列背景帧和用于在这些背景帧之间内插的信息。类似地，在称为目标轨迹的数据结构中存储一序列目标帧和用于在这些目标帧之间内插的信息。使用在此公开的方法和设备所产生的一动画包括至少一背景轨迹和零或更多个目标轨迹。这些背景轨迹和目标轨迹被存储在称为一动画目标的数据结构中。可用或者存储在一存储器中的一动画目标或者用在通信网络中点到点地或在一装置中的子***之间传输的动画数据流表现一动画。
动画的产生和传送
图1示出了一动画14的产生和该动画14到一播放***18的传送。一动画创作***使用一视频源10产生该动画。或者在产生后或在产生期间，该动画14被转换成一动画数据流15并经一通信网络20被传送给一播放***18。替代地，该动画14可在可分布存储介质21上被传送给播放***18，该可分布存储介质21可由播放***18中的一子***读取以显示该动画。可分布存储介质的例子包括但不限于磁带、磁盘、紧致盘、只读存储器(CD ROM)、数字视盘(DVD)等。该播放***可以是被特别设计用于动画播放(例如一DVD或盒式磁带播放机)或一已被编程来获得动画14(例如通过通信网络或可分布介质)并执行动画播放软件以显示该动画14的通用计算机***。例如可在任何数量的不同类型的计算机上执行一web浏览应用程序以实现一动画播放***(例如苹果Macintosh计算机、IBM兼容个人计算机、工作站等)。用于播放动画14的程序码可被包括在该web浏览应用程序自身中或被包括在当该web浏览应用程序确定接收到一动画数据流15时被下载进计算机的工作存储器的该web浏览应用程序的一增设部分中。
如由虚线箭头19和虚线的传输路径17所示，可使用一服务器***16以控制动画传送给网络20上的播放***。例如，服务器***16可被使用以给予来自属于某类用户的播放***的动画下载请求以优先权，或根据一服务配置或其他标准限制对可用动画的存取。作为一更具体的例子，假定有一万维网站点(即服务器计算机)，其被使用以提供用于家庭装修方面的教学动画(例如铺砖、装门、安装吊扇等)。该站点提供商可能希望使至少一动画被免费地使用以允许有兴趣的访问者得知该业务的有用性。其他的动画可被使得可用以在付费观看的基础上下载。该站点提供商可能还将销售对该站点的预订以使周期付费的用户被给予所有动画的全下载访问。该服务器***16可被使用分辨来自这些不同类别的请求人的下载请求并相应地作出响应。
服务器***16的另一种用途是将动画14以多种不同动画格式之一提供给播放***18。可根据传输网络带宽和播放***能力来确定使用的具体格式。例如，一给定的播放***18可要求用其可理解的一具体格式或语言(例如Java、动态超文本标示语言D-HTML、虚拟现实标记语言VRML、宏媒介快闪格式一Macromedia Flash format等)来描述该动画14。而且，可能以具体的空间和时间分辨率来发送动画14中的背景和目标帧以避免超过传输网络的带宽，该传输网络的带宽通常受到播放***18的下载速率(例如调制解调器速度)的限制。在一实施例中，为适应动画语言和网络带宽的许多可能的置换，动画14被以与语言和带宽无关的格式存储。服务器***16然后可被使用以根据播放***18的格式和带宽要求动态地产生一动画数据流。在后将对该服务器***的工作进行更加详细地描述。
还参见图1，该播放***18可或者从通信网络20或者通过读取在一本地可存取存储介质(例如DVD、CD ROM、盒式磁带等)中存储的一动画目标来获得一动画数据流。在一实施例中，该播放***18是一基于时间的控制器，包括播放、暂停、向前快进、向后快进和停止功能。在另一实施例中，该播放***18可在动画和视频播放模式之间被转换以在显示器上呈现或者动画或者视频。该播放***18还可包括一交互式、非基于时间的播放模式以使用户可在一动画内的热点上敲击、在动画帧内进行摄全景和变焦或下载动画静止帧。以下将描述该播放***的其他实施例。
动画创作***
图2是根据一实施例的一动画创作***12的方框图。该动画创作***12包括一背景轨迹发生器25、一目标轨迹发生器27和一动画目标发生器29。在背景轨迹发生器25中初始地接收视频源10，解析该视频源10中的该序列帧以生成一背景轨迹33。该背景轨迹33包括一序列背景帧和可被用于内插在这些背景帧之间的信息。在一实施例中，在该背景轨迹被完成后，该背景轨迹发生器25将该背景轨迹33输出给目标轨迹发生器27及动画目标发生器29。在一替代性实施例中，当该背景轨迹33内的各新的背景帧被完成后，背景轨迹发生器25将该背景轨迹33输出给目标轨迹发生器27和动画目标发生器29。
如图2所示，目标轨迹发生器27接收来自背景轨迹发生器25的背景轨迹33和视频源10。目标轨迹发生器27根据该背景轨迹33和该视频源10生成零或更多个目标轨迹35并将这些目标轨迹35传送给动画目标发生器29。各目标轨迹35包括一序列目标帧和可被使用在这些目标帧之间内插的变换信息。
该动画目标发生器29接收来自背景轨迹发生器25的背景轨迹33和来自目标轨迹发生器27的零或更多个目标轨迹35，并将这些轨迹写给一动画目标30。如以下所讨论的，该动画目标30可被格式化以包括多时间和空间分辨率的该背景轨迹和这些目标轨迹。
图3是根据一实施例的背景轨迹发生器25的方框图。该背景轨迹发生器25包括一场景变化估计器41、一背景帧构造器43、一背景运动估计器45和一背景混合估计器47。
该场景变化估计器41将该视频源10的连续帧进行相互比较以确定何时这些视频帧中的一场景的变换超过一阈值。当被提供给一整个视频源10时，场景变化估计器41的作用是将该视频源10中的该序列帧分段成一或多个子序列的视频帧(即视频段)，各视频段呈现小于一预定阈值的一场景变换。各视频段可由背景运动估计器45、背景帧构造器43、背景混合估计器47处理，处理由场景变化估计器41标识的各视频段以生成用于该视频段的一背景帧和内插信息。这样，由该场景变化估计器41提供的该预定阈值定义了导致一新的背景帧的构成的一场景的增量变换。在一实施例中，背景帧近似对应于各视频段的开始和结束且对应于一视频段的结束的背景帧对应于下一视频段的开始。因此，各视频段由背景帧刻划，且除了第一视频段(对于该第一视频段，一开始和结束背景帧被构造)外，一背景帧被构造用于该视频源10中的各视频段。
图4A示出了已由图3的场景变化估计器41标识的一视频段54。根据一实施例，该场景变化估计器41确定用于该视频段54内的各对相邻视频帧的一变换矢量。这里，如果在一时间序列的帧中第一帧紧在一第二帧之前或之后，该第一帧被认为是相邻该第二帧。
在图4A中，用于各对相邻视频帧的该变换矢量由一对应的增量(即△符号)表示。根据一实施例，该变换矢量包括多个标量分量，各标量分量指示自视频段54中一视频帧到下一视频帧的场景变化的量度。例如，一变换矢量的这些标量分量可包括场景中的以下变化的量度：平移、缩放、旋转、摄全景、倾斜、歪斜、色彩变化及过去的时间。
根据一实施例，该场景变化估计器41对该视频段54应用一空间低通滤波以在计算相邻帧之间的变换增量之前增加视频段54中的这些图象的块迹。在被低通滤波后，该视频段54中的这些单独的图象包含比滤波之前少的信息以使需要较少的计算来确定这些变换增量。在一实现方案中，被计算用于视频段54中的各对相邻帧的变换增量被加给被计算用于先前对的相邻帧的变换增量以累计变换增量的一总和。实际上，该变换增量的总和代表视频段54中的第一视频帧54A和视频段54中最近所比较的视频帧之间的变换。在一实施例中，该变换增量的总和被与一预定变换阈值相比较以确定该最近所比较的视频帧是否已使得超过该变换阈值。将可理解该变换阈值可以是包括多个标量阈值的一矢量，这些标量阈值包括用于该场景的色彩变化、平移、缩放、旋转、摄全景、倾斜、歪斜和过去的时间的阈值。在一替代性实施例中，该变换阈值被动态地调整以实现视频段对视频源10中的帧的一期望的比例。在另一替代性实施例中，该变换阈值被动态地调整以实现一期望的平均视频段尺寸(即每视频段的一期望数量的视频帧)。在再另一替代性实施例中，一变换阈值被动态地调整以实现每视频段的一期望的平均的过去的时间。通常，在不超出本发明的精神和范围的前提下，任何用于动态地调整该变换阈值的技术可被使用。
在一实施例中，如果该最近所比较的视频帧54C已使得超过该变换阈值时，该场景被视为已发生改变且在该最近所比较的视频帧54C之前的视频帧54B被指示是该视频段54的结束帧。因此，如果使用一预定的变换阈值，该视频源10的各视频段被保证具有小于该变换阈值的一整体变换。如果使用一可变的变换阈值，可导致各自视频段的整体变换增量中的很大的变化且需要反复地应用该场景变化估计器以减少这些变换增量中的变化。
根据图3中的该实施例，当各新的视频段被定义时(即当各新的场景变化被检测到时)，该背景轨迹发生器25调用背景运动估计器45、背景帧构造器43和背景混合估计器47。在一替代性实施例中，该场景变化估计器41被使用以在任何子序列被背景帧构造器43、背景运动估计器45或背景混合估计器47处理之前，完整地将该视频分解成子序列。
如图4A所示及如上所述，一给定的视频段中的视频帧继续被选择并比较直至累计的变换增量超出一变换阈值。在一实施例中，当到达一视频的最后帧时，该最后帧被自动地认为结束了一视频段。而且，在背景帧构造器43处理各新的视频段后，该变换增量的总和被清除。在任何视频段被处理之前场景变化估计器41解析整个视频的一实施例中，与各视频段相关联的这些变换增量被记录以在后面由该背景运动估计器45和该背景帧构造器43使用。
图4B是描述图3中所示的背景运动估计器45、背景帧构造器43和背景混合估计器47的工作的方框图57。在方框59开始，背景运动估计器检查由场景变化估计器指示的视频段54(即图4A中由BFi和BFi+1定界的子序列的视频帧54)以识别这些帧中的描绘的该场景的主要运动。该主要运动被认为是一背景运动。
有多种技术可被用来识别一视频段中的背景运动。一种称为特征跟踪的技术包括识别这些视频帧中的特征(例如使用边缘检测技术)并从一视频帧到下一视频帧地跟踪这些特征的运动。相对于其他特征在统计上呈现异常运动的特征被认为是动态目标且在时间上被忽略不计。由大数量的特征(或大特征)共用的运动通常由被使用记录该视频的照相机的配置的变化引起且被认为是背景运动。
另一种用于识别一视频段中的背景运动的技术是根据公用共区域将该视频段的这些帧相互关联且然后确定这些区域的帧到帧偏移。该帧到帧偏移然后可被使用以确定用于该视频段的一背景运动。
另一被打算使用的用于识别一视频段中的背景运动的技术包括但不限于若干粗至细检索方法：使用该视频段中的帧的空间上的层次分解；在时间上(over time)视频帧直方图特性的变化的量度以识别场景变化；进行滤波以强调该视频段中可被使用用于运动识别的特征；光学流测量和解析；象素格式转换以替代色彩表示(包括灰度)以实现更大的处理速度，更高的可靠性或两者；和对不符合一估计的主要运动的这些视频帧的元素进行估计的加强的估计技术，例如M-估计。
还参见图4B的流程图57，在方框61，该背景帧构造器从该背景运动估计器接收背景运动信息并使用该背景运动信息以相互相对地登记该视频段的这些帧。登记是指以计及由背景运动引起的变化的方式相关视频帧。通过根据背景运动信息登记这些视频帧，仅在少数的被登记的视频帧中的固定位置中将出现呈现不同于背景运动的运动的这些帧的区域(即动态目标)。也就是说，这些区域相对于一静态的背景自帧到帧地运动。这些区域是动态目标。在方框63中，该背景帧构造器从该视频段中去除动态目标以产生被处理的一序列视频帧。在方框65，该背景帧构造器根据该被处理的序列视频帧和该背景运动信息生成一背景帧。根据该变换的特性，该背景帧的构造可包括将两或更多的处理的视频帧组合成一单个的背景图象或选择这些被处理的视频帧之一为该背景帧。在一实施例中，该组合的背景帧可以是一全景图象或一高分辨率静止图象。通过将两或更多的处理的视频帧缝合在一起产生一全景图象且可使用该全景图象来表示通过对照相机摄全景、倾斜或平移而已被捕获的一背景场景。当被处理的一序列视频帧的对象是一相对静态的背景场景(即被使用来记录该视频源的照相机的配置未被明显改变)时，一高分辨率的静止图象是适合的。一种用于产生高分辨率图象的技术是解析该被处理的序列的视频帧以识别这些帧之间的子象素运动。子象素运动是由照相机的轻微运动引起的且可被使用来产生具有比任何由照相机捕获的单独帧高的分辨率的一组合图象。如下所述，因为高分辨率静止图象可被显示以提供视频源10不能呈现的细节，高分辨率静止图象是特别有用的。而且，当同一对象的多个高分辨率静止图象被构造时，这些高分辨率静止图象可被组合以形成具有若干变化分辨率的区域的一静止图象。这样一图象在此被称为多分辨率静止图象。如下所述，用户可暂停动画播放以在这样一静止图象的不同区域上进行变焦放大和变焦缩小。类似地，用户可暂停动画播放以相对于一全景图象摄全景。摄全景和变焦的组合也是可能的。而且，一动画可与其的视频源交联以使在该视频源的播放期间，用户可被提醒暂停视频播放来观看一高分辨率静止图象、一可变全景或一可变焦的静止图象。在下面将详细描述交联。
图5示出了由图3中所示的背景帧构造器43生成的一背景图象组70。背景帧BFi是指为一被处理的视频帧而非一组合图象的一背景图象71。该种背景图象通常由连续视频帧之间的缩放(即变焦放大或变焦缩小)或突变的删减导致。背景帧BFi+i是指自实际上相同的场景的多个处理的视频帧组合成的一高分辨率静止图象73。如上所述，该种图象对于提供该视频源中非可察觉的细节是特别有用的。背景帧BFi+2、BFi+3和BFi+4各是指一全景背景图象75的一不同区域。如图所示，该全景图象帧75通过将一或多个处理的视频帧的一部分76缝合到另一处理的视频帧上而被生成。在该例中，照相机已被向下及向左平移，或向右摄全景及向下倾斜以增量地捕获该场景的更多方面。其他形状的组合背景图象可由不同类型的照相机运动所导致。
返回到图4B中的流程图57的最后方框，背景混合估计器(例如图3中的元件47)根据该背景运动信息和在方框67新构成的背景帧，生成背景混合信息。在下面对该混合估计器的工作进行详细描述。
图6是根据一实施例的目标轨迹发生器27的方框图。目标轨迹发生器27接收由背景轨迹发生器(例如图2中的元件25)生成的一背景轨迹33和作为输入的视频源10。该目标轨迹发生器27根据背景轨迹33和视频源10之间的差异识别动态目标，并在一目标轨迹35中记录包含该动态目标还有目标运动(OM)和目标混合(OB)信息的目标帧(OF)。
在一实施例中，该目标轨迹发生器27包括一目标帧构造器81、一目标运动估计器83和一目标混合估计器85。该目标帧构造器81将视频源10中的视频帧与背景轨迹33中的背景帧相比较以构造目标帧(OF)。如下所述，由目标帧构造器81构成的各目标帧包含一动态目标。在一实施例中，对于在一给定的视频段中检测的每个动态目标(即在由图3的场景变化估计器41识别的一序列视频帧中检测的每个动态目标)，至少生成一个目标帧。目标运动估计器83跟踪一视频段内的动态目标的运动以生成目标运动信息(OM)，且目标混合估计器85根据分别由目标帧构造器81和目标运动估计器83生成的目标帧和目标运动信息生成目标混合信息(OB)。
图7A和7B详细示出了图6的目标轨迹发生器27的工作。图7A示出了由图3中的场景变化估计器41识别的一视频段54。该视频段54由背景帧BFi和BFi+1定界并包含一动态目标56。图7B是目标轨迹发生器27的工作的流程图100。
在流程图100的方框101开始，目标帧构造器(例如图6中的元件81)比较背景帧BFi和视频段54的视频帧VFj以生成一差别帧91。如图7A所示，BFi和VFj之间的小差别在该差别帧91中多少产生一些随机差别(噪声)。然而，BFi和VFj之间的一相对集中的差别区92出现在由背景帧构造器(例如图3中的元件)从背景帧BFi中去除一动态目标的地方。在流程图100的方框103，一空间低通滤波被应用于该差别帧91以产生一被滤波的差别帧93。在该被滤波的差别帧93中，这些随机差别(即高频分量)已消失且该集中的差别区92呈现增多的块迹。结果，该集中的差别区92的轮廓可被更加容易地辨别出。因此，在流程图100的方框105，该目标帧构造器执行一特征检索(例如，使用边缘检测技术)以识别该被滤波的差别帧93中的该集中的差别区92。在方框107，该目标帧构造器在视频帧VFj中选择对应于该被滤波的差别帧93中的该集中的差别区92的一区域为一目标帧56。在一实施例中，该目标帧构造器选择该目标帧56是一对应于该被滤波的差别帧93中的包含该集中的差别区92的一矩形区域的矩形区域(例如具有类似的x,y偏移)。可使用其他替代性的目标帧形状。可以理解如果在被滤波的差别帧93中没有集中的差别区92，目标帧构造器将不选择目标帧。因此，如果在被滤波的差别帧93中有多个集中的差别区92，将可选择多个目标帧。被滤波的差别帧93中的各集中的差别区92被认为是对应于该序列视频帧54中的动态目标。
在通过该目标帧构造器已识别一目标帧56中的一动态目标并成帧(framed)后，通过视频段54中的帧进展(frame progression)跟踪目标帧56中的位置变化来确定该动态目标的运动。这样，在流程图100的方框109，目标运动估计器(例如图6中的元件83)从视频段54中的一视频帧到下一视频帧地跟踪由该目标帧构造器识别且成帧的动态目标的运动。根据一实施例，通过在该视频段54的各连续的视频帧内进行特征检索以确定感兴趣的动态目标的新位置来执行该目标运动跟踪。使用动态目标的帧到帧运动，该运动估计器生成可被使用内插在连续目标帧之间以近似该动态目标的运动的的运动信息。在流程图100的方框111，目标混合估计器(例如图6中的元件85)根据该目标运动信息和这些目标帧生成目标混合信息。在一实施例中，该目标混合估计器的工作与该背景混合估计器的工作相同。然而，只要不超出本发明的精神和范围，可使用其他的替代性的生成用于混合连续的目标帧的信息的技术。
如上所述，在图3中的目标轨迹发生器27的一实施例中，至少生成一目标帧用于由目标帧构造器81识别的一视频段中的各动态目标。如果目标运动估计器83确定一视频段中的一动态目标的运动太复杂而不能通过在定界该视频段目标帧之间内插来足够地表示，该目标运动估计器83可指示需要构造一或多个附加的用于该视频段的目标帧。使用上述技术，该目标帧构造器然后将在由该目标运动估计器指示的该视频段内的交界处生成这些附加的目标帧。如上参照背景帧构造所述，目标帧可包括自一组合图象的一区域抽出的图象数据。如果一或多个附加的目标帧被构造以代表进行一复杂运动的动态目标时，可在该动画目标中组织这些附加帧以使该动态目标在动画播放期间重叠一场景中的其他特征。
在一场景中，动态目标偶尔会相互掩蔽。根据目标轨迹发生器27的一实施例，当由分开的目标轨迹表示的动态目标相互掩蔽时，用于被掩蔽的动态目标的该目标轨迹被结束且如果被掩蔽的目标重显露，生成一新的目标轨迹。因此，如果动态目标重复地相互掩蔽，可生成大量的离散目标轨迹。在目标轨迹发生器的一替代性实施例中，信息可与目标轨迹相关联以指示两动态目标中的哪个将被显示在另一个的顶上，如果它们的屏幕位置相会聚。
当带有背景图象时，动态目标的图象(即目标图象)可自多个视频帧被组合。组合目标图象包括但不限于全景目标图象、高分辨率静止目标图象、和多分辨率静止目标图象。总之，任何可被用于生成一组合背景图象的图象的组合也可被用于生成一组合目标图象。
图8是根据一实施例的动画目标30的示意图。该动画目标30包括一背景轨迹33和多个目标轨迹35A、35B、35C。如上所述，目标轨迹的数目取决于视频源中描绘的场景中的识别的动态目标的数目，如果没有动态目标被识别，动画目标30中可以没有目标轨迹。
在一实施例中，动画目标30通过一背景轨迹和若干目标轨迹的一链接的表121实现。该背景轨迹自身是通过一背景轨迹元素BT和一序列背景帧BF1-BFN的一链接表实现的。各目标轨迹类似地通过一目标轨迹元素OT1、OT2、OTR和对应的一序列目标帧(OF11-OF1M、OF21-OF2K、OFR1-OFRJ)的一链接表实现。在一实施例中，该背景轨迹元素BT和这些目标轨迹元素OT1、OT2、OTR还包括实现该动画目标链接表121的指针(pointer)。也就是说，背景轨迹元素BI包括一到第一目标轨迹元素OT1的指针，第一目标轨迹元素OT1包括到下一目标轨迹元素OT2的指针、依此类推直至到达目标轨迹OTR。在一实施例中，动画目标链接表121和单独的背景及目标轨迹链接表的结束处由它们最后元素中对应的空指针指示。可替代性的实施例中可使用其他的用于指示这些链接表的结束处的技术。例如，动画目标30可包括一数据结构，该数据结构包括一指向背景轨迹33的头部指针和一指向动画目标链接表121中的最后目标轨迹35C的一尾部指针。类似地，该背景轨迹元素BT和各目标轨迹元素OT1、OT2、OTR可包括指示它们各自的链接表的结束处的尾部指针。在另一实施例中，一链接表的元素中的标志可被使用来指示该表的结束处。
再参见图8，根据一实施例，数据结构123被使用实现一背景帧。该背景帧数据结构123的组成项包括一指向背景轨迹33中的下一背景帧的下一指针(NEXT PTR)、指向背景轨迹33中的先前背景帧的在前指针(PREV PTR)、指向用于该背景帧的图象数据的位置的一图象指针(IMAGE PTR)、指向一内插数据结构的一内插指针(INTER PTR)和指示用于该背景帧的一相对播放时间的一时间戳(TIMESTAMP)，如下所述，该背景帧数据结构123还可包括一或多个用于交联视频源的帧的组成项(member)。
由于待被显示用于一给定的背景帧的图象可从或者一非组合背景图象或者一组合背景图象获得，背景帧数据结构123中的该图象指针自身可以是一指示该背景图象在一存储器中的位置、在背景图象中的偏移(例如行和列)的数据结构以自其获得用于背景帧的图象数据和一对被用于生成该背景帧的视频段的指针。如下所述，该对视频段的指针被用于链接一动画和一视频源。在一实现方案中，该对视频段的指针是一对该视频段中的至少第一视频帧的指针。在不超出本发明的精神和范围的前提下，可使用其他将背景帧链接到该视频段的技术。
在一实施例中，该背景内插数据结构125包括用于在一给定背景帧和其相邻背景帧之间内插的数据。该用于在一给定背景帧和其相邻后继背景帧(即下一背景帧)之间内插的信息包括前向背景运动信息(BM FORWARD)和前向背景混合信息(BB FORWARD)。类似地，该用于在一给定背景帧和其相邻先前背景帧之间内插的信息包括后向背景运动信息(BM REVERSE)和后向背景混合信息(BB REVERSE)。在一给定方向上(即前向或后向)的该背景运动信息自身可以是一包含多个组成项的数据结构。在图8所示的示例性实施例中，该前向背景运动信息(BM FORWARD)包括指示该背景场景在X和Y方向上(即在图象平面中的水平和垂直地)到达下一背景帧的平移、在X和Y方向上的缩放因子(即用于指示照相机的变焦放大和变焦缩小和纵横比)、一旋转因子、一摄全景因子、一倾斜因子和一歪斜因子的组成项。可以理解在替代性实施例中可使用更多或更少的运动参数。后向背景运动信息(BM REVERSE)可由一组类似的运动参数指示。
在一实施例中，各单独的目标帧通过一类似于上述背景帧数据结构123的一目标帧数据结构127被实现。例如，目标帧数据结构127包括对目标轨迹中的下一目标帧的一指针(NEXT PTR)、对目标轨迹中的先前目标帧的指针(PREV PTR)、一图象指针(IMAGE PTR)、一内插指针(INTERP PTR)和一时间戳(TIMESTAMP)，它们中的各个执行类似于背景轨迹数据结构123中的相同的组成项的功能的功能。自然，目标帧数据结构127中的图象指针指示替代背景图象数据的目标图象数据且内插指针指示替代背景内插数据的目标内插数据。如图8所示，一示例性目标内插数据结构包括指示前向和后向目标运动信息两者(分别为OM FORWARD和OM REVERSE)和前向及后向混合信息两者(分别为OB FORWARD和OB REVERSE)的组成项。
图9A示出了可被用于执行背景混合的背景帧混合数据结构135A、137A的示例性实施例。可以理解目标混合数据可被类似地组织。在一实施例中，各混合数据结构135A、137A包括一多项式的系数形式的混合算子(A、B、C、D)、指示将应用该混合算子的两连续背景帧之间的一间隔的部分的一间隔片断(INTV)和对下一混合数据结构的指针以允许两连续背景帧之间的一间隔由多个混合算子表示。
在图9A中，用于背景帧BFi的前向背景混合数据135A和用于背景帧BFi+1的后向背景混合数据137A与一图形139一道被描绘，该图形139示出了应用混合数据以混合背景帧BFI和BFi+1的方式。在该图形中被描绘的混合运算被称之为交叉分解运算，因为在该混合间隔期间(即这两背景帧之间的时间)背景帧BFi被有效地分解成背景帧BFi+1。为在时间tINT生成一内插的帧，根据用于帧BFi的前向背景运动信息，沿向前方向变换背景帧BFi并根据用于帧BFi+1的后向背景运动信息，沿向后方向变换背景帧BFi+1。使用用于帧BFI和BFi+1的混合信息计算用于这两帧的各自的权重(即乘子)。用于帧BFi的权重是基于用于帧BFi的前向混合信息而用于背景帧BFi+1的权重是基于用于背景帧BFi+1的后向混合信息。然后用于帧BFI和BFi+1的权重被分别应用于变换后的版本的背景帧BFi和BFi+1且得到的被变换的、加权的图象被组合(例如使用逐象素的加法)以生成该内插的帧。
如上所述，在一实施例中，该混合算子是通过存储一多项式的系数和将被应用该多项式的混合间隔的部分而被实现的。例如，用于帧BFi的前向混合数据135A包括指示由混合数据135A的系数A、B、C、D指示的混合算子将被应用于整个混合间隔上(在此情况下是t BFi和t BFi+1之间的间隔)的，一的一间隔片断(INTV=1)。总之，当整体混合函数包括不能被一有限级的多项式充分表示的不连续性时，小于一的间隔片断被使用。然而，在图形139中描述的混合运算中，一连续的、第一级混合运算被指示，这样，将在混合数据结构135A中被规定的系数A、B、C和D应用于多项式权重(T)=AT3+BT2+CT+D，实现权重t BFi(T)=1-T。根据一实施例，T的值被归一化到在所述的混合间隔的该片断上的0至1的范围以使混合算子A=0,B=0,C=-1,D=1实现了在整个混合间隔上随时间线性降低的一乘子。用于BFi的乘子开始于1并在该混合间隔的结束处线性减小至0。参见用于帧BFi+1的混合算子，应用在混合数据结构137A中规定的系数A=0,B=0,C=1,D=0实现了得到的权重t BFi(T)=T。这样，用于帧BFi+1的乘子开始于0并在该混合间隔期间线性地增大。
图9B示出了一不连续的混合函数141。在此情况下，背景帧BFi和BFi+1之间的混合间隔被划分成三个间隔片断146、147和148。在该混合间隔的第一片断146期间，应用于背景帧BFi的权重被稳定地保持在一且应用于背景帧BFi+1的权重被稳定地保持在零。在该混合间隔的第一二片断147期间，发生线***叉分解且在该混合间隔的第三片断148期间，背景帧BFi和BFi+1的乘子再被稳定地保持，但在与该混合间隔的第一片断146的乘子相反的值。在一实施例中，该不连续的混合片断141由混合数据结构135B、135C、135D的一链接表指示，该表中各混合数据结构指示将其上应用对应的INTV参数的混合间隔的片断。这样，用于背景帧BFi的第一前向混合数据结构135B包含间隔片断INTV=0.25，且一指示一单一乘子的混合算子权重t BFi(T)=1将被应用于在混合间隔的首先25％(即间隔146)上的变换的版本的帧BFi。用于背景帧BFi的第二前向混合数据结构135C包含间隔片断INTV=0.5，且一混合算子权重t BFi(T)=1-T指示在混合间隔的中间50％(即间隔147)期间，被应用于帧BFi的权重将线性地从1降至0。注意，为易于说明，Y的值被假定为在各间隔片断期间被归一化到0至1的范围。其他的表示方法自然也是可能的并被认为在本发明的范围内。用于背景帧BFi的第三前向混合数据结构135D包含间隔片断INTV=0.25，和一由权重t BFi(T)=0给出的一混合算子，指示对于该混合间隔的最后25％(即间隔148)，帧BFi对内插的背景帧没有贡献。
还参见图9B，用于背景帧BFi+1的混合数据结构137B、137C、137D的链接表指示被指示用于背景帧BFi的混合函数的一反混合函数。也就是说，在混合间隔的首先25％期间，一权重0被应用于帧BFi+1的变换版本(指示在该时间期间帧BFi对内插的背景帧没有贡献)，在混合间隔的中间50％，应用于帧BFi+1的变换版本的权重从0线性地增大至1，且在该混合间隔的最后25％期间，一单一乘子(即权重=1)将被应用于帧BFi+1的变换版本以产生内插的背景帧。
应用图9B中所示的类型的一不连续的混合函数的原因在于减少与混合的连续关键帧相关联的失真。通过将一给定的关键帧的影响稳定地保持用于一混合间隔的一片断，由帧BFi和BFi+1的前向和后向变换之间的差异所导致的失真可被减少。在一实施例中，在动画创作***(例如图1中的元件12)接收操作员输入以选择一混合间隔的一片断，在该片断上一给定的关键帧的影响被保持稳定。在一替代性实施例中，图象锐度(例如图象梯度)的一量度可被确定用于混合的和未混合的图象两者以自动地确定其上对一或另一图象的影响应被保持稳定的间隔片断。而且，尽管在上描述了线***叉分解，可由不同的多项式确定其他类型的交叉分解。而且，替代使用多项式系数来指示混合运算的类型，也可使用其他的指示符。例如，指示是否应用一线性、二次、超越、对数或其他混合运算的一值可被存储在该混合数据结构中。尽管借助于交叉分解运算主要描述了背景混合，其他的混合效果也可被用于从一背景帧到另一背景帧的转变，包括但不限于衰减和多个屏幕划变。
图10示出了一示例性动画目标30的背景轨迹33和目标轨迹35A、35B可被使用以在动画播放期间合成一内插的帧IFt的方式。
在一给定时间t，根据背景轨迹33和目标轨迹35A、35B中各对相邻帧生成内插帧IFt。使用与该对相邻的背景帧BFi和BFi+1相关联的背景运动和背景混合信息对该对背景帧进行各自的变换和加权。根据与帧BFi相关联的前向背景运动信息(BM)将该背景帧BFi进行变换且然后根据与帧BFi相关联的前向背景混合信息(BB)将该背景帧BFi进行加权。该效果是根据前向运动信息(例如平移、旋转、缩放、摄全景、倾斜或歪斜)将背景帧BFi中的象素变换到对应的位置且然后通过根据混合算子加权这些象素值来降低各象素值的密度水平。同样通过用于帧BFi+1的后向运动和混合信息对背景帧BFi+1中的象素进行变换和加权。然后将得到的变换后的图象相组合以产生代表在时间t的背景场景的一内插的背景帧151A。同样地分别使用前向和后向目标运动信息(OM)对目标帧OF1i和OF1i+1进行变换，分别使用前向和后向目标混合信息(OB)对目标帧OF1i和OF1i+1进行加权，且然后进行组合。然后将得到的内插的目标帧重叠在内插的背景帧151A上以生成一内插的帧151B，该内插的帧151B包括一内插的背景和一内插的动态目标。使用与目标帧OF2i和OF2i+1进相关联的目标运动和混合信息(0M,OB)对这两目标帧进行变换、加权和组合，且然后重叠在该被内插的背景上。得到的是一完成的内插的帧151C。同样使用时间变量混合算子和根据运动信息的背景及目标帧的渐进变换的不同值，产生后续的内插的帧。动画播放的净效在于产生近似于被用来产生该动画目标30的原始视频的视频效果。从该原始视频获得的一声迹也可与该动画一起播放。
图11和图12示出了用于提供一动画目标中的动画的多分辨率的技术。图11示出了用于提供动画关键帧的多时间分辨率的技术而图12示出了用于提供动画关键帧的多空间分辨率的技术。在一实施例中，一动画目标被构筑以提供两种类型的多播放分辨率，空间的和时间的。这提供给播放***用户以在或者空间或者时间域或者两者中提高或降低动画序列的分辨率选择。如果该播放***具有足够的下载带宽和处理能力，则可选择最大时间和空间分辨率以呈现最高分辨率的动画播放。如果该播放***不具有处理最大空间和时间分辨率的足够的下载带宽或处理能力，则该播放***可自动地根据用户选择的标准来降低正被播放的动画的空间或时间分辨率。例如，如果用户已指示观看最大空间分辨率图象(即较大的分辨率更高的图象)的期望，即使它意指较少关键帧和更多内插帧，则一最大或接近最大空间分辨率关键帧可被选择用于显示同时具有每单位时间较少关键帧的一关键帧轨迹(即一背景轨迹或目标轨迹)被选择。因此，如果一用户期望更大的时间分辨率(即每单位时间更多的关键帧)，即使空间分辨率必须被降低，则一最大或接近最大时间分辨率关键帧轨迹可被选择，但各关键帧被以降低的空间分辨率显示。
另一被打算的降低动画的时间分辨率的使用是在动画内向前及向后快速扫描。在动画播放期间，用户可在一请求中发出一时间乘子(例如2X、5X、10X等)的信号以较快速率观看该动画。在一实施例中，通过使用该时间乘子连同播放***的带宽能力一起以选择该动画的一适当的时间分辨率来满足对快速扫描的请求。在非常快的播放速率下，该动画的空间分辨率也可被降低。一时间乘子可类似地被使用以减缓动画播放到低于自然速率以实现一低速运动效果。
图11示出了一多时间级背景轨迹161。一目标轨迹可被类似地配置。在一第一级的背景轨迹35A中，提供了一最大数量的背景帧(各标号为“BF”)还有用于内插在各连续对的背景帧之间的背景运动和混合信息。每单位时间的背景帧的数量可从一视频帧速率(在该情况下该运动和混合信息将指示没有信息一仅切换到下一帧)到该视频帧速率的一小部分(small fraction)。第二级背景轨迹35B具有比第一级背景轨迹35A少的背景帧，一第三级背景轨迹35C具有比第二级背景轨迹35B少的背景帧且以此类推到第N级的背景轨迹35D。尽管在图11中示出了第二级背景轨迹35B中的背景帧的数量为第一级背景轨迹35A中的背景帧的一半，也可使用其他的比例。用于在第二级背景轨迹35B中的各连续对的背景帧之间内插的混合和运动信息(BM2,BB2)与用于第一级背景轨迹35A的混合和运动信息(BM1,BB1)不同，因为在不同级轨迹的从背景帧到背景帧的变换是不同的。同样第三级背景轨迹35C具有比第二级背景轨迹35B少的背景帧且因此不同的从帧到帧的运动和混合信息(BM3,BB3)。后继级的背景轨迹的时间分辨率增量地降低直至到达在级N的最小分辨率的背景轨迹。
在一实施例中，在第一级35A之上的背景轨迹级实际上不包含一分开序列的背景帧。替代地，提供对第一级背景轨迹35A中的背景帧的指针。例如，第二级背景轨迹35B中的第一背景帧62B通过一对第一级背景轨迹35A中的第一背景帧62A的一指针被指示，第二级背景轨迹35B中的第二背景帧63B通过一对第一级背景轨迹35A中的第三背景帧63A的一指针被指示并以此类推。这些各自的对第一级背景轨迹35A中的背景帧的指针可被组合在一数据结构中，该数据结构带有指示变换到下一背景帧的运动和混合信息及指示变换到先前背景帧的运动和混合信息。而且，这些数据结构的一链接表可被使用以指示该序列背景帧。只要不超出本发明的精神和范围，也可使用其他的用于指示该序列背景帧的数据结构和技术。
在一替代性实施例中，各背景轨迹级35A、35B、35C、35D通过从一组(或池)背景帧选择背景帧的多个基准值而被形成。在该实施例中，被用于形成一给定级的一背景轨迹的这些基准值有效地定义了具有一时间分辨率的一序列关键帧，该时间分辨率是通过基准值的数量确定的。用于选择一背景帧的一基准值可以是一对该背景帧的指针，指示该背景帧在一表中的位置的一索引或任何其他可被用来识别一背景帧的值。
在一实施例中，可通过组合来自一较低级的背景轨迹的多组运动和混合信息来获得用于该多级背景轨迹161中的较高级背景轨迹的混合和运动信息。例如，可通过将用于背景帧62A和64之间的转变的背景运动和混合信息与用于背景帧64和63A之间的转变的背景运动和混合信息相组合，来产生被用于在背景级二中的背景帧62B之间转变的背景运动和混合信息(BM2,BB2)。在一替代性实施例中，用于较高级背景轨迹的背景运动和混合信息可根据该轨迹中的这些背景帧而被生成，不使用来自一较低级的背景轨迹的混合和运动信息。
图12示出了一多空间分辨率背景帧。多空间分辨率背景轨迹的一背景轨迹中的各背景帧可包括不同的分辨率背景帧BF1、BF2至BFN。背景帧BF1是一最大空间分辨率背景帧且在一实施例中，包括与一原始视频帧相同数量的象素。背景帧BF2具有低于BF1的空间分辨率，意指BF2或者具有比BF1少的象素(即是一较小的图象)或者具有一较大的块尺寸。块尺寸是指用于描绘一图象的视觉信息的元素单位的，通常指象素的大小。一较小块尺寸实现一更大的空间分辨率图象，因为更精细的元素单位被用于描绘该图象的特征。一较大的块尺寸实现了较小的空间分辨率，但要求较少的整体信息，因为一单个象素值被应用于一象素块中的一象素群。
图13示出了使用一服务器***来控制被传输给播放***18A、18B、18C的动画数据的内容。根据一实施例，该服务器***16接收请求以下载一计算机可读取存储装置170中存储的不同的动画目标14A、14B、14C。在下载一动画目标之前，该服务器***16首先询问播放***18A、18B、18C以确定这些***的能力。例如响应于来自播放***18A的下载一动画目标30C的一请求，服务器***16可请求播放***18A提供一组播放***特性，该组特性可由该服务器***16使用以生成一适当的动画数据流。如图13所示，与播放***18A、18B、18C相关联的该组播放***特性可包括但不限于该播放***或其网络存取介质的下载带宽、该播放***的处理能力(例如处理器的数量、处理器的速度等)、该播放***的图形能力、该播放***使用的软件应用程序(例如web浏览器的类型)、执行该软件应用程序的操作***和一组用户偏好。用户偏好可包括牺牲时间分辨率来支持空间分辨率及反之亦然的一偏好。而且，用户偏好可在动画下载和显示期间由播放***的用户动态地调节。
在一实施例中，动画目标14A、14B、14C被以多时间分辨率和多空间分辨率格式存储且服务器***16从具有最适合于由播放***提供的特性的时间和空间分辨率的一动画目标(例如动画目标30C)选择背景和目标轨迹。这样，如图形172所示，服务器***16可选择同一动画目标30C的不同时间/空间分辨率版本174A、174B、174C以根据播放***18A、18B、18C它们各自的特性下载给它们。而且，该服务器***可根据播放***18A、18B、18C的特性，动态地调节提供给一给定的播放***18A、18B、18C的动画的时间/空间分辨率。
尽管图13示出了使用一服务器***来控制经一通信网络的一动画数据流的内容。类似的技术可在一播放***中被采用以在多时间和空间分辨率动画轨迹之间进行动态地选择。例如一播放***内的选择逻辑可提供一动画数据流给该播放***中的具有适合于该播放***的特性的一时间/空间分辨率的显示逻辑。例如，一DVD播放机可被设计以根据是否正在显示一或多个其他的视频或动画(例如在一显示的另一区域中)来降低一动画播放的时间或空间分辨率。
如上所述，本发明的实施例的一优点在于将一动画的关键帧与一视频源的视频帧相关联以使用户可在播放期间在观看动画和观看视频源之间进行切换。该在关键帧和视频帧之间的关联被称为“交联”且在一表示，动画或视频，具有超越于另一的优点时是特别有用的。例如，在下述的一动画播放***的一实施例中，在视频播放期间。该用户被通知何时一序列视频帧被链接至形成该动画的部分的一静止图象。如下所述，该静止图象可具有一更高或更多可变的分辨率，一更宽的视场(例如一全景图象)、一更高的动态范围、或一与视频帧不同的纵横比。而且，该静止图象可包含立体时差信息或其他深度信息以允许立体三维(3D)显示。当得知一静止图象可用时，用户可提供输入以在播放中将视频显示切换至动画显示以实现动画的附带优点(例如更高分辨率图象)。可替代地，用户可暂停视频显示以在动画的一全景图象内导航或在该动画的一静止图象上变焦放大或变焦缩小。在另一实施例中，用户可以画中画模式播放一动画和一视频或从一动画显示切换至一交联的视频。
在一实施例中，交联包含从一视频生成静止图象且然后在这些静止图象和该视频的这些帧之间产生交叉链路。在一替代性实施例中，可使用一视频生成这些静止图象而非使用与这些静止图象交联的视频。在下描述从一视频产生静止图象的技术。可以理解只要不超出本发明的精神和范围，可使用其他类似的技术来产生静止图象。
通过随着时间的过去集成多个视频帧，可取得具有比视频源的帧要高的空间分辨率的一静止图象。在时间上紧靠在一起的视频帧中的图象经常呈现作为照相机摄全景、变焦或其他运动的结果的小的位移(例如子象素运动)。该位移允许多个视频帧被在空间上被登记以产生一更高分辨率图象。然后可通过在这些空间登记的视频帧中的相邻象素之间进行内插而产生高分辨率静止图象。
替代地，可从一第二视频源抽取静止图象，该第二视频源呈现比与这些静止图象相链接的视频要高的分辨率。运动图象，例如，通常被记录在胶片上，胶片具有比通常用于录像带的NTSC视频格式高许多倍的分辨率。
一静止图象也可具有比与其交联的一视频帧宽的动态范围。动态范围是指一图象中的一象素的各色彩分量的可辨别的强度级的范围。因为照相机的曝光设定可从帧到帧地被改变以适应变化的照明条件(例如自动光圈)。一序列视频帧可呈现颜色的微妙变化，其可被集合成具有相对于单独的视频帧提高的动态范围的一静止图象。而且，可从具有宽动态范围的一视频源(例如胶片)产生一静止图象且然后与具有窄动态范围的一视频交联。
一静止图象可还具有与其交联至的一视频帧不同的纵横比。纵横比是指一图象的宽度和高度之比。例如，可从具有相对宽的纵横比的一视频源，例如胶片产生一静止图象，且然后与具有较窄的纵横比的一不同视频源，例如NTSC视频交联。用于胶片的通常的纵横比是2.2×1。对比起来，NTSC视频具有4×3的纵横比。
由照相机摄全景所导致的视频帧可被记录并组合以产生全景。由照相机变焦所导致的视频帧可被记录并组合以产生一在不同区域具有不同的分辨率的大的静止图象(即一多分辨率图象)。发生照相机变焦的一多分辨率图象的区域将包含比该多分辨率图象的其他区域高的分辨率。全景和多分辨率静止图象是一类在此称为可导航的图象(navigable image)。总之，可导航图象是可被摄全景或变焦以提供不同的显示或包含可被使用的三维图象的任何图象。尽管全景和多分辨率静止图象可由组合图象表示，一全景图象或多分辨率静止图象也可由被空间登记的离散的静止图象表示。
可从呈现水平照相机跟踪运动的一序列视频帧获得立体的图象对。可从该视频序列选择自分开的视点(例如分开了瞳孔间距离的视点)记录的两视频帧作为一立体图象对。可使用多个不同的立体观看装置，例如立体3D显示器、立体眼镜等呈现立体图象。
另外，可使用例如图象相关或特征匹配技术对这些立体图象进行解析以识别一给定立体图象对中的对应的象素或图象特征。这些对应的象素或图象特征然后可被使用以建立这些象素的深度且因此产生一3D范围图象。可在包括构筑3D模型和自图象和在图象间进行内插产生新的视图或场景的多种应用中使用范围图象以产生新的视图。
图14A示出了使用交联发生器203以建立一视频源10和一通过一动画创作***12自该视频源10产生的一动画14之间的交联。该视频源可在被交联发生器203接收之前通过一视频编码器201(例如一矢量量化器)被压缩。根据一实施例，该交联发生器203生成一交联数据结构，该数据结构包括各自对该动画中的与该视频源中的帧相对应的关键帧的指针。
图14B示出了使用交联发生器203以建立一视频源10和自一分开的视频源204产生的一动画205之间的交联。该分开的视频源204可已被使用来生成该视频源10，或两视频源10、204可以未被相关。如果两视频源10、204未被相关，可要求操作者帮助以识别动画205中的哪些图象将被与视频源10的帧交联。如果两视频源10、204被相关(例如一个是胶片，另一个是NTSC格式化的视频)，则可通过该交联发生器使用时间相关或场景相关以自动地交联该动画205中的图象和视频源10中的帧。
图15示出了根据一实施例的一交联数据结构212。交联数据结构212中的数据元素被称之为一视频帧元素(VFE)并对应于一视频源的一对应的帧。这样，元素VFE1、VFE2、VFE3、VFEi和VFEi+1对应于一视频源的帧VF1、VF2、VF3、VFi和VFi+1(未示出)。如图所示，该交联数据结构212被实现作为一链接表，其中各视频帧元素包括对下一视频帧元素的一指针和对一动画中的一背景帧215、216的一指针。在一替代性实施例中，该交联数据结构212被实现作为一视频帧元素的阵列而非一链接表。在另一替代性实施例中，该交联数据结构212被实现作为树数据结构而非一链接表。树数据结构对于在非相邻视频段之间建立联系及对于检索以寻找具体的视频帧是有用的。总之，该交联数据结构212可由任何类型的数据构造表示，只要不超出本发明的精神和范围。
在一实施例中，一动画中的背景帧由背景帧数据结构215,215表示，各背景帧数据结构215、216包括一对下一背景帧数据结构的指针(NEXT PTR)、一对先前背景帧数据结构的指针(PREV PTR)、一图象指针(IMAGE PTR)、一对内插信息的指针(INTERP PTR)、一时间戳和一对交联数据结构212中的一或多个元素的指针(VF PIR)。这些NEXT PTR、PREV PTR、IMAGE PTR和INTERP PTR在上参照图8进行了描述。
一具体背景帧数据结构215、216中的VF PTR和对该交联数据结构212的一对应元素中的背景帧数据结构的指针形成一交联217。也就是说，该背景帧数据结构和该视频帧元素包括各自的相互参考。该参考可以是一致资源定位子、一存储器地址、一阵列索引或任何其他的用于相关一背景帧数据结构和一视频帧元素的值。
参见背景帧数据结构215，尽管VF PTR在图15中被示为仅指交联数据结构212中的一视频帧元素(VFE1)，该VF PTR可包括分开的对指回到它们的各视频帧元素的指针。例如，该VF PTR可以是一包括分开的对各视频帧元素VFE1、VFE2、VFE3的指针的数据结构。替代地，该VF PTR可以是包括对一视频帧元素(例如VFE1)的指针和指示该背景帧数据结构215被链接至的视频帧元素的总数的一值的一数据结构。可在替代性的实施例中使用其他的用于交联一背景帧数据结构和一序列视频帧元素的数据构造。
在一实施例中，各背景帧数据结构215、216中的图象指针(IMAGEPTR)包括一图象类型成员项，指示自其获得用于背景帧的图象数据的背景图象例如是一非组合静止图象(即自其已去除动态目标，如果有的话，的一视频帧)、一高分辨率静止图象、一全景还是其他组合图象。该图象指针还包括指示该背景图象在存储器中的位置和用于该背景帧的图象数据所位于的该背景图象内的偏移的成员项。
一文本描述符(TEXT DESCR)也可被包括作为背景帧数据结构215、216中的一部分。在一实施例中，该文本描述符是一对描述由该背景帧所跨越的该动画的部分的一文本描述(例如一字符串)的指针。该文本描述可被显示作为在该动画上或者显示上的其他地方的一重叠(例如一控制条)。在交联期间，根据被识别的运动的类型，适当的缺省值可被指定给对应的文本描述。参见图16，例如，用于各三个描绘的动画段221、223、225的缺省文本描述可以分别是“照相机静止”、“照相机摄全景”、“照相机变焦”。这些缺省值可以在交联期间或在后在视频或动画播放期间由用户进行编辑。在一替代性实施例中，背景帧数据结构215、216中的文本描述符(TEXT DESCR)不是一指针而是一可被用于从一文本描述表中选择一文本描述的索引。
使用上述交联配置，当一视频帧正被显示时，交联数据结构212的一对应的视频帧元素可被参考以识别该动画中的一交联的背景帧数据结构215、216。该背景帧数据结构215、216中的图象指针然后可被参考以确定该背景帧是从一组合图象还是从一非组合图象中拉出。在一组合图象的情况下，用户可被通知(例如通过视觉或音频提醒)在该视频播放期间可用一组合图象。该用户然后可选择播放该动画或在这些背景图象内观看和导航。例如，在一全景的情况下，用户可使用全景观看工具(即可在通用计算机上执行已将一组合图象的用户选择部分提出到一显示上)观看该全景。类似地，在一高分辨率静止图象的情况下，用户可能希望将该图象作为一静止帧来观看以辨认出在视频源中不能得到或难以辨别的细节。在可变焦静止图象的情况下，用户可在该静止帧上进行变焦放大或变焦缩小。其他的动画实现的作用也可被执行，例如在该动画中选择指定的热点、隔离该动画中的一动态目标、引导目标或背景运动等。
图16是一视频源中的一序列视频帧230和来自使用上述动画创作技术已被产生的动画的背景图象231之间的一交联关系的示意图。如图所示，该序列视频帧包括四个视频段222、224、226、228，各视频段经交联217被与一对应的背景图象221、223、225、227相关联。视频段222描绘了一固定物场景(即一些运动阈值内的固定物)且被交联至一对应的静止背景图象221。视频段224描绘了由照相机摄全景所导致的一场景且被交联至通过处理和缝合来自视频段224的两或更多的帧所产生的一对应的全景223。视频段226描述了由照相机变焦所导致的一场景且被交联至一高分辨率、可变焦的静止图象225。视频段228描述了由绕一或更多3D目标运动所导致的一场景且被交联至一3D目标图象。如上所述，通过处理和组合来自一视频段(例如视频段222、224、226、228)的帧，产生高分辨率静止图象和3D目标图象。
图17描绘了由一播放***生成的一显示241。根据一实施例，该播放***可将一视频或一动画提出到该显示241上。如图17所示，该播放***正在该显示241上提出一视频。在显示241的底部，呈现一控制条，包括有倒放、播放、暂停和停止按钮。根据一实施例，当各视频被提出时，对应的视频帧元素和一动画中的一背景帧之间的交叉链路被跟随以确定该背景帧是从一高分辨率静止图象、全景图象还是可变焦图象中拉出的。如果例如该背景帧是从一全景图象中拉出的，图17中被用PAN(摄全景)指示的一图符被显示、高光照亮或被指示是活性的。也可生成一音调以指示一全景图象可用。响应于一全景图象是可用的指示，用户可敲击或者选择该PAN图符(例如使用一光标控制装置例如一鼠标或其他手持的控制装置)以使该视频的显示被暂停并使该全景图象被显示。当该全景图象被显示时，用于在该全景图象中导航的程序码可被自动地装进该播放***的工作存储器，如果还没有驻留，并被执行以允许用户摄全景、倾斜和变焦该动画的透视图。由于带有PAN图符，当静止或变焦图符STILL(静止)、ZOOM(变焦)变成活性时，该用户可敲击适当的STILL或ZOOM图符以观看高分辨率静止图象或一可变焦图象。
该视频还可被链接到一或多个三维目标或与该视频相关的场景。当在该视频的播放期间，到一三维目标的链路以与上述类似的方式被引用时，显示该三维目标的一具体的视图。程序码被执行以允许用户改变一三维坐标系中一虚拟照相机的定向和位置以生成该目标的不同透视图。
在一实施例中，该控制条还包括一图符ANIM/VIDEO(动画/视频)，其可被使用以在一视频的显示和一被交联至该视频的动画的显示之间触发。当用户敲击该ANIM/VIDEO按钮时，对应于当前显示的视频帧的视频帧元素被检查以识别该动画中的一交联的帧。该动画中的该交联的帧的时间戳被使用以确定该背景内的一相对开始时间和该动画的目标轨迹且该播放***开始提出该动画。如果在该动画的播放期间，用户再敲击该图符ANIM/VIDEO，当前背景轨迹数据结构被检查以识别该视频中的一交联的帧。然后在该交联的帧处重新开始视频播放。
图18示出了由一播放***中的一动画的播放所生成的一替代性显示261。在一实施例中，该显示261中的一控制条262包括用于倒放、播放、暂停和停止动画播放的图符(即图符REWIND、PLAY、PAUSE、STOP)。该控制条还包括一滑动条形式的一分辨率选择符以允许该播放***用户指示对于该动画播放中的时间和空间分辨率的相对偏爱。通过用一光标控制装置选择该滑动条264内的滑座265并向左或向右移动该滑座265，用户能够调整对空间和时间分辨率的偏好。例如，当滑座265到达滑动条264内的最左位置时，对于最大空间分辨率的偏好被指示，而当滑座265被移动到滑动条264内的最右位置时，对于最大时间分辨率的偏好被指示。
一图符ANIM/VIDEO被呈现在控制条262中以允许用户在一视频显示和一已被交联的动画显示之间触发。根据图18所示的实施例，当已选择一动画用于显示时，根据一画中画格式，在一子窗口268中同时显示该交联的视频。当用户敲击该图符ANIM/VIDEO时，在显示261的主要观看区域中呈现该视频而该动画被呈现在该子窗口268中。该画中画功能可自显示261上呈现的一菜单(未示出)被启动或被禁止。
一动画和一视频之间的交联可被使用以提供多种有用的效果。例如，通过将一商店的向导图与包括一商店沿街正面的一视频的帧交联，观看该视频的用户可被提醒切换至该动画图象以对该商店中描绘的货物及服务进行选购。对货品和服务的交易可经一通信网络被电子地实现。当该向导图是该视频的一场景内的一位置的一全景或其他组合图象时，交联该向导图和一视频是特别有效的。例如，如果一视频包括一可导航环境(例如飞机、航天飞机、潜艇、远洋轮船、建筑等)。想象，例如，一视频场景，其中有关一远洋轮船的字符走过一纪念品商店。观看者可以自然且直觉的方式停止该视频并浏览该纪念品商店。
交联的另一有用的应用是允许用户构形一视频。用户可将动画序列链接至该视频以使当到达该视频的一交联的帧时，该动画序列被自动地引用。当到达该动画序列的结束处时，可在另一交联的视频帧处重新开始视频的显示。用户可选择地将废片(out-take)加至一视频中的某些场景或用动画序列替换该视频的某些部分。
在上述说明书中，参照一些特定的示例性实施例对本发明进行了描述。然而，显然在不超出由后附权利要求书定义的本发明的精神和范围的前提下，可对这些特定的示例性实施例作出各种改型和变化。因此，该说明书和附图被认为是说明性的而没有限制性的意义。

Claims (84)

1、一种计算机实现的产生动画的方法，该方法包括有步骤：
检查一序列视频图象以识别在该序列视频图象中描绘的一场景的第一变换；
从该序列视频图象获得第一图象和第二图象，该第一图象代表该第一变换之前的该场景而该第二图象代表在该第一变换后的该场景；及
生成信息，该信息指示该第一变换且可被使用在该第一图象和该第二图象之间内插以产生近似该序列视频图象的显示的视频效果。
2、根据权利要求1的方法，其中检查一序列视频图象以识别一场景的第一变换的步骤包括确定何时这些视频图象中被选择的一个与这些视频图象中的后继的一个之间的差超过一阈值，这些视频图象中被选择的一个与这些视频图象中的后继的一个分别指示这些视频图象的一段的开始图象和结束图象。
3、根据权利要求2的方法，其中这些视频图象的该段的开始图象指示这些视频图象的一先前段的一结束图象。
4、根据权利要求2的方法，其中确定何时这些视频图象中被选择的一个与这些视频图象中的后继的一个之间的差超过一阈值的步骤包括：
从该序列的视频图象中选择接续该开始图象的一视频图象；
将接续该开始图象的该视频图象与来自该序列视频图象的一相邻的先前视频图象相比较以生成一增量差值；
将该增量差值加至增量差值的一总和；及
重复选择、比较和相加的动作直至该增量差值的总和超过该阈值。
5、根据权利要求4的方法，其中这些视频图象中的该后继的一个是被使用生成一增量差值，当该增量差值被加至该增量差值的总和时使得该增量差值的总和超过该阈值的视频图象。
6、根据权利要求5的方法，其中该组视频图象的该结束图象相邻于这些视频图象中的该后继的一个。
7、根据权利要求2的方法，其中这些视频图象中被选择的一个与这些视频图象中的后继的一个之间的差包括由被用于记录该序列视频图象的一照相机的配置的变化所引起的一差。
8、根据权利要求2的方法，其中这些视频图象中被选择的一个与这些视频图象中的后继的一个之间的差包括色差。
9、根据权利要求2的方法，其中这些视频图象中被选择的一个与这些视频图象中的后继的一个之间的差包括在该选择的视频图象和这些视频图象中的该后继的一个之间的过去的时间差。
10、根据权利要求2的方法，其中从该序列视频图象获得第一图象和第二图象的步骤包括选择该组视频图象的开始图象和结束图象分别为该第一图象和第二图象。
11、根据权利要求2的方法，其中从该序列视频图象获得第二图象的步骤包括识别该结束图象中的一或多个动态目标；并去除该一或多个动态目标以产生该第二图象。
12、根据权利要求11的方法，其中识别该结束图象中的一或多个动态目标的步骤包括识别经受未由第一变换指示的该组视频图象中的一第二变换的该组视频图象中的一或多个特征。
13、根据权利要求12的方法，其中该第二变换包括未由用于记录该序列视频图象的一照相机的配置的变化所引起该一或多个动态目标的配置的变化。
14、根据权利要求1的方法，其中生成指示该第一变换且可被使用在该第一图象和该第二图象之间内插的信息的步骤包括：
生成指示该第一图象和该第二图象之间的变化的一量度的一值；
生成指示在该第一图象的显示和该第二图象的显示之间过去的时间的一值。
15、根据权利要求14的方法，其中生成指示变化的一量度的一值的步骤包括生成指示由用于记录该序列视频图象的一照相机的配置的变化所引起的变化的一量度的一值。
16、根据权利要求14的方法，其中生成指示变化的一量度的一值的步骤包括生成指示色彩变化的一量度的一值。
17、一种计算机实现的产生动画的方法，该方法包括有步骤：
识别一序列视频图象中描绘的一场景的第一变换，该第一变换指示用于记录该序列视频图象的一照相机的配置的变化；
识别该序列视频图象中描绘的一场景的第二变换，该第二变换指示该场景中的一目标的配置的变化；
从该序列视频图象的第一和第二图象去除包括该目标的各自区域以生成第一和第二背景图象；及
生成背景信息，该背景信息指示该第一变换且可被使用在该第一背景图象和该第二背景图象之间内插以产生内插的背景图象，该内插的背景图象是可显示以近似该场景的第一变换。
18、根据权利要求17的方法，还包括有步骤：
生成包含从该序列视频图象的第一和第二图象中去除的各自区域的第一和第二目标图象，该第一目标图象代表第二变换之前的该动态目标而该第二目标图象代表第二变换之后的该动态目标；及
生成目标信息，该目标信息指示该第二变换且可被使用在该第一目标图象和该第二目标图象之间内插以产生内插的目标图象，该内插的目标图象是可显示以近似该场景中的该目标的配置的变化。
19、根据权利要求18的方法，还包括有步骤：
在一动画目标中的一背景轨迹内存储第一和第二背景图象及背景信息；及
在一动画目标中的一目标轨迹内存储第一和第二目标图象及目标信息。
20、根据权利要求19的方法，还包括有步骤：响应于来自一动画播放装置的请求，经过一计算机网络发送该动画目标。
21、一种动画创作***，包括：
一背景轨迹发生器，用于检查一序列视频图象并自其生成一背景轨迹，该背景轨迹包括一序列背景帧和可被用于内插在这些背景帧之间以合成附加的图象的变换信息；
一目标轨迹发生器，用于检查一序列视频图象并自其生成一目标轨迹，该目标轨迹包括一序列目标帧和可被用于内插在这些目标帧之间以合成附加的目标图象的变换信息。
22、根据权利要求21的动画创作***，还包括一动画目标发生器，用于在一动画目标中存储该背景轨迹和该目标轨迹用于在后再调用。
23、一种动画传输***，包括权利要求22的动画创作***且还包括一通信装置，用于接收来自一或多个客户装置的下载该动画目标的请求并响应地将该动画目标发送给该一或多个客户装置。
24、根据权利要求22的动画创作***，其中播放定时信息被存储在该动画目标中以指示对该目标轨迹和该背景轨迹的相对的播放时间。
25、根据权利要求21的动画创作***，其中该背景轨迹发生器和该目标轨迹发生器中的至少一个通过一编程的处理器实现。
26、根据权利要求21的动画创作***，其中该背景轨迹发生器包括：
一场景变化估计器，用于将该序列视频图象分解成一或多个视频段；
一背景运动估计器，用于根据该一或多个视频段中的对应的变换，生成该变换信息；及
一背景帧构造器，用于根据该一或多个视频段中的对应的变换，生成该序列背景帧。
27、根据权利要求26的动画创作***，其中该背景轨迹发生器还包括：一混合估计器，生成混合信息用于组合该序列背景帧中的背景帧。
28、根据权利要求27的动画创作***，其中该混合信息指示一交叉分解操作。
29、根据权利要求26的动画创作***，其中该背景轨迹构造器通过组合来自该一或多个视频段的一或多个图象，生成该序列背景帧的至少一背景帧。
30、根据权利要求29的动画创作***，其中该背景轨迹构造器通过将该一或多个图象缝合成一全景图象来组合该一或多个图象。
31、根据权利要求29的动画创作***，其中该背景轨迹构造器将该一或多个图象组合成一高分辨率图象。
32、一计算机可读取介质，其上存储有当由一处理器执行时，使得该处理器执行以下操作的指令：
检查一序列视频图象以识别在该序列视频图象中描绘的一场景的第一变换；
从该序列视频图象获得第一图象和第二图象，该第一图象代表该第一变换之前的该场景而该第二图象代表在该第一变换后的该场景；及
生成信息，该信息指示该第一变换且可被使用在该第一图象和该第二图象之间内插以产生近似该序列视频图象的显示的视频效果。
33、根据权利要求32的计算机可读取介质，其中该计算机可读取介质包括一或多个海量存储磁盘。
34、根据权利要求33的计算机可读取介质，其中该计算机可读取介质是在一载波中的编码的计算机数据信号。
35、根据权利要求33的计算机可读取介质，其中这些使得该处理器检查一序列视频图象以识别一场景的第一变换的指令包括当被执行时使得该处理器确定何时这些视频图象中被选择的一个与这些视频图象中的后继的一个之间的差超过一阈值的指令，这些视频图象中被选择的一个与这些视频图象中的后继的一个分别指示一组视频图象的开始图象和结束图象。
36、根据权利要求35的计算机可读取介质，其中这些使得该处理器确定何时这些视频图象中被选择的一个与这些视频图象中的后继的一个之间的差超过一阈值的指令，包括当被执行时使得该处理器执行以下操作的指令：
从该序列的视频图象中选择接续该开始图象的一视频图象；
将接续该开始图象的该视频图象与来自该序列视频图象的一相邻的先前视频图象相比较以生成一增量差值；
将该增量差值加至增量差值的一总和；及
重复选择、比较和相加的动作直至该增量差值的总和超过该阈值。
37、一种计算机可读取介质，其上存储有用于显示来自一动画的一序列图象的数据，其中该动画通过以下步骤被产生：
检查一序列视频图象以识别在该序列视频图象中描绘的一场景的第一变换；
从该序列视频图象获得第一图象和第二图象，该第一图象代表该第一变换之前的该场景而该第二图象代表在该第一变换后的该场景；及
生成信息，该信息指示该第一变换且可被使用在该第一图象和该第二图象之间内插以产生近似该序列视频图象的显示的视频效果。
38、一种链接一视频和一动画的方法，包括：
生成一数据结构，该数据结构包含对应于第一视频的各自帧的元素；及
将指示已从第二视频产生的一动画中的一图象的信息存储在该数据结构信息的这些元素的一或多个元素中。
39、根据权利要求38的方法，其中生成一数据结构的步骤包括生成包含用于该第一视频的各帧的一对应象素的一数据结构。
40、根据权利要求38的方法，其中存储指示一动画中的一图象的信息的步骤包括存储指示该动画的一关键帧的一基准值。
41、根据权利要求40的方法，其中存储对于该动画的一关键帧的一基准的步骤包括存储指示一动画目标中的一背景帧的一基准值。
42、根据权利要求41的方法，其中存储指示一背景帧的一基准值的步骤包括存储一背景帧数据结构的一地址，该背景帧数据结构包括指示一背景图象的信息和指示该背景图象是否是一组合图象的信息。
43、根据权利要求42的方法，其中指示该背景图象是否是一组合图象的信息包括指示该背景图象是否是一全景图象的信息。
44、根据权利要求38的方法，其中该数据结构是这些元素的一阵列。
45、根据权利要求38的方法，其中该数据结构是这些元素的一链接表。
46、根据权利要求38的方法，其中该第一视频和第二视频是同一视频。
47、根据权利要求38的方法，其中已使用该第二视频生成该第一视频。
48、根据权利要求38的方法，其中该动画包括一高分辨率静止图象。
49、根据权利要求38的方法，其中该动画包括具有第一和第二区域的一多分辨率静止图象，该第一区域具有比第二区域高的象素分辨率。
50、根据权利要求38的方法，其中该动画包括具有比该第一视频的一帧宽的视场的一静止图象。
51、根据权利要求38的方法，其中该动画包括具有比该第一视频的一帧宽的动态范围的一静止图象。
52、根据权利要求38的方法，其中该动画包括具有与该第一视频的一帧的纵横比不同的一纵横比的一静止图象。
53、根据权利要求38的方法，其中该动画包括具有形成一立体图象对的一对静止图象。
54、根据权利要求38的方法，其中该动画包括一图象，该图象包括一深度信息。
55、根据权利要求38的方法，其中该动画包括一具有三维几何特性的目标。
56、根据权利要求38的方法，其中一文本描述被与该动画中的至少一图象相关联。
57、根据权利要求38的方法，其中该动画包括一动画目标，该动画目标具有对应于该动画中的若干图象的多个元素，且其中该方法还包括有步骤：将指示该第一视频中的一或多个帧的信息存储在该动画目标中的该多个元素的一或多个中。
58、根据权利要求38的方法，其中该动画包括一动画目标，该动画目标具有对应于该动画中的若干图象的多个元素，且其中该方法还包括有步骤：将指示一序列帧的信息存储在该动画目标中的该多个元素的一或多个中。
59、一种在一播放***上显示视频的方法，该方法包括有步骤：
在该播放***的一显示器上显示该视频的一帧；
检查与该视频的该帧相关联的一数据元素以识别对应于该视频的该帧的一动画关键帧，该动画关键帧已使用该动画的该帧被自动地生成；及
提醒该播放***的用户开始与该动画关键帧相关联的一图象的显示。
60、权利要求59的方法，还包括有步骤：
确定与该动画关键帧相关联的该图象是否是一组合图象；及
如果与该动画关键帧相关联的该图象是一组合图象，发出信号通知用户一组合图象可用于观看。
61、根据权利要求60的方法，其中确定与该动画关键帧相关联的该图象是否是一组合图象的步骤包括确定与该动画关键帧相关联的该图象是否是一全景图象。
62、根据权利要求61的方法，还包括有步骤：
接收该用户的观看该全景图象的一请求；及
响应于来自该用户的该请求，执行程序码以响应于来自该用户的导航输入，提出该全景图象的视图。
63、根据权利要求62的方法，其中来自该用户的该导航输入包括沿一水平方向对该全景图象中描绘的一场景的一透视图摄全景的一命令。
64、根据权利要求62的方法，其中来自该用户的该导航输入包括倾斜该全景图象中描绘的一场景的一透视图的一命令。
65、根据权利要求59的方法，其中确定与该动画关键帧相关联的该图象是否是一组合图象的步骤包括确定与该动画关键帧相关联的该图象是否是一高分辨率静止图象。
66、根据权利要求65的方法，还包括有步骤：
接收该用户的观看该高分辨率静止图象的一请求；及
响应于来自该用户的该请求，执行程序码以响应于来自该用户的变焦输入，缩放该高分辨率静止图象的视图。
67、根据权利要求59的方法，其中提醒该播放***的用户开始与该动画关键帧相关联的一图象的显示的步骤包括在该播放***的一显示器上显示一指示符以发出信号通知该用户与该动画关键帧相关联的该图象可用于观看。
68、根据权利要求59的方法，其中提醒该播放***的用户开始与该动画关键帧相关联的一图象的显示的步骤包括致动该播放***上的一指示器以发出信号通知该用户与该动画关键帧相关联的该图象可用于观看。
69、根据权利要求68的方法，其中致动该播放***上的一指示器的步骤包括致动该播放***的一手持控制器上的一指示器。
70、一种在一播放***上显示视频的方法，该方法包括有步骤：
在该播放***的一显示器上显示该视频的一帧；
检查与该视频的该帧相关联的一数据元素以识别对应于该视频的该帧的一动画关键帧，该动画关键帧已使用该视频的该帧被自动地生成；及
与该视频的该帧的显示同时地在该显示器上的一窗口内显示与该动画关键帧相关联的一图象。
71、一种播放***，包括有：
一处理器
连接至该处理器的一显示器；
连接至该处理器的一介质读取器；及
连接至该处理器的一存储器，该存储器包括有当被执行时使得该处理器执行以下操作的程序码：
发出信号通知该介质读取器提供来自一机器可读取介质的视频数据，该视频数据包括一序列视频帧和具有与这些视频帧相关联的元素的一数据结构；
在该显示器上显示该序列视频帧；
检查与这些视频帧相关联的这些数据结构元素以识别对应于这些视频帧的一或多个的一动画关键帧，该动画关键帧已使用这些视频帧的该一或多个被自动地生成；及
提醒该播放***的一用户开始与该动画关键帧相关联的一图象的显示。
72、一种方法，包括有步骤：
在一播放***的一显示器上显示一视频的一帧；
接收来自一用户的请求从显示该视频切换至显示与该视频的该帧相关联的一3D目标可导航图象的一图象的输入；及
显示该可导航图象。
73、根据权利要求72的方法，还包括有步骤：响应于来自该用户的输入，对该可导航图象的一透视图摄全景。
74、根据权利要求72的方法，还包括有步骤：响应于来自该用户的输入，处理该可导航图象中所描绘的一货品的销售。
75、根据权利要求72的方法，还包括有步骤：响应于来自该用户的输入，处理一协议以执行由该可导航图象中的一或多个特征指示的一服务。
76、根据权利要求72的方法，还包括有步骤：响应于来自该用户的输入，变焦该可导航图象的一透视图。
77、根据权利要求72的方法，其中该可导航图象是一包括有在一电子交易中可被购买的若干货品的一市场的全景图象。
78、根据权利要求72的方法，其中该可导航图象包括一或多个三维目标。
79、一种方法，包括有步骤：
在一播放***的一显示器上显示一视频的一帧；
接收来自一用户的请求从显示该视频切换至显示与该视频的该帧相关联的一三维目标的输入。
80、根据权利要求79的方法，还包括有步骤：响应于用户的输入，改变显示该三维目标的视点。
81、一种计算机可读取介质，其上存储有用于显示来自一动画的一序列图象的数据，其中该动画通过以下步骤已被链接至一视频：
生成一数据结构，该数据结构包含有对应于第一视频的各自帧的若干元素；及
将指示从第二视频产生的一动画中的一图象的信息存储在该数据结构的这些元素的一或多个中。
82、一种存储一动画的方法，包括有步骤：
在一动画目标中存储自一视频产生的一组关键帧；
在该动画目标中存储指示来自该组关键帧的第一序列选择的关键帧的一或多个值和用于内插在该第一序列的这些关键帧之间的信息；及
在该动画目标中存储指示来自该组关键帧的第二序列选择的关键帧的一或多个值和用于内插在该第二序列的这些关键帧之间的信息，第二序列中的关键帧的数量小于第一序列中的关键帧的数量。
83、根据权利要求82的方法，其中存储该组关键帧的步骤包括有步骤：在该动画目标中存储第一和第二子组关键帧，该第二子组关键帧包括该第一子组关键帧中包括的图象的分辨率降低的版本。
84、根据权利要求82的方法，其中指示该第一序列的选择的关键帧的一或多个值中的各个值是识别该组关键帧中的一对应关键帧的一基准值。
CN99807212A 1998-06-11 1999-06-09 自视频产生动画的方法 Pending CN1305620A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US09/096,487 US6268864B1 (en) 1998-06-11 1998-06-11 Linking a video and an animation
US09/096,720 US6278466B1 (en) 1998-06-11 1998-06-11 Creating animation from a video
US09/096,726 1998-06-11
US09/096,487 1998-06-11
US09/096,726 US6081278A (en) 1998-06-11 1998-06-11 Animation object having multiple resolution format
US09/096,720 1998-06-11

Publications (1)

Publication Number Publication Date
CN1305620A true CN1305620A (zh) 2001-07-25

Family

ID=27378194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN99807212A Pending CN1305620A (zh) 1998-06-11 1999-06-09 自视频产生动画的方法

Country Status (6)

Country Link
EP (1) EP1097568A2 (zh)
JP (1) JP2002518723A (zh)
CN (1) CN1305620A (zh)
AU (1) AU4558899A (zh)
HK (1) HK1038625A1 (zh)
WO (1) WO1999065224A2 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063923A (zh) * 2009-11-18 2011-05-18 新奥特（北京）视频技术有限公司 一种动画自适应播放的方法和装置
CN103202030A (zh) * 2010-12-16 2013-07-10 株式会社巨晶片 图像处理***、图像处理***的工作方法、主机装置、程序、以及程序的制作方法
CN105681738A (zh) * 2014-12-04 2016-06-15 安讯士有限公司 用于在视频流中***图形覆盖的方法和设备
CN106600665A (zh) * 2016-12-01 2017-04-26 北京像素软件科技股份有限公司 一种相机动画路径生成方法和装置
CN109101895A (zh) * 2018-07-19 2018-12-28 张小勇 一种数据处理方法和服务器
CN111147955A (zh) * 2019-12-31 2020-05-12 咪咕视讯科技有限公司 视频播放方法、服务器和计算机可读存储介质
CN111429341A (zh) * 2020-03-27 2020-07-17 咪咕文化科技有限公司 一种视频处理方法、设备及计算机可读存储介质
CN111640173A (zh) * 2020-05-09 2020-09-08 杭州群核信息技术有限公司 一种基于特定路径的家装漫游动画的云端渲染方法及***

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4050472B2 (ja) 2001-02-06 2008-02-20 株式会社モノリス 画像生成方法、装置およびシステム
US7039643B2 (en) * 2001-04-10 2006-05-02 Adobe Systems Incorporated System, method and apparatus for converting and integrating media files
US7593015B2 (en) * 2003-11-14 2009-09-22 Kyocera Wireless Corp. System and method for sequencing media objects
US8862987B2 (en) * 2009-03-31 2014-10-14 Intel Corporation Capture and display of digital images based on related metadata
WO2013113985A1 (en) * 2012-01-31 2013-08-08 Nokia Corporation Method, apparatus and computer program product for generation of motion images
US10474921B2 (en) * 2013-06-14 2019-11-12 Qualcomm Incorporated Tracker assisted image capture
GB2566930B (en) * 2017-09-06 2021-05-19 Fovo Tech Limited A method for preserving perceptual constancy of objects in images
CN113496537B (zh) * 2021-07-07 2023-06-30 网易（杭州）网络有限公司 动画播放方法、装置及服务器

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0766446B2 (ja) * 1985-11-27 1995-07-19 株式会社日立製作所 移動物体像を抽出する方法
US4698682A (en) * 1986-03-05 1987-10-06 Rca Corporation Video apparatus and method for producing the illusion of motion from a sequence of still images
US5261041A (en) * 1990-12-28 1993-11-09 Apple Computer, Inc. Computer controlled animation system based on definitional animated objects and methods of manipulating same
JP2677312B2 (ja) * 1991-03-11 1997-11-17 工業技術院長 カメラワーク検出方法
GB2255466B (en) * 1991-04-30 1995-01-25 Sony Broadcast & Communication Digital video effects system for producing moving effects
US5592228A (en) * 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
GB2277847B (en) * 1993-05-03 1997-08-20 Grass Valley Group Method of creating video effects by use of keyframes
US5751281A (en) * 1995-12-11 1998-05-12 Apple Computer, Inc. Apparatus and method for storing a movie within a movie

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063923B (zh) * 2009-11-18 2015-05-27 新奥特（北京）视频技术有限公司 一种动画自适应播放的方法和装置
CN102063923A (zh) * 2009-11-18 2011-05-18 新奥特（北京）视频技术有限公司 一种动画自适应播放的方法和装置
CN103202030B (zh) * 2010-12-16 2017-02-22 株式会社巨晶片 图像处理***、图像处理***的工作方法、主机装置
CN103202030A (zh) * 2010-12-16 2013-07-10 株式会社巨晶片 图像处理***、图像处理***的工作方法、主机装置、程序、以及程序的制作方法
CN105681738B (zh) * 2014-12-04 2018-05-29 安讯士有限公司 用于在视频流中***图形覆盖的方法和设备
CN105681738A (zh) * 2014-12-04 2016-06-15 安讯士有限公司 用于在视频流中***图形覆盖的方法和设备
CN106600665A (zh) * 2016-12-01 2017-04-26 北京像素软件科技股份有限公司 一种相机动画路径生成方法和装置
CN106600665B (zh) * 2016-12-01 2019-11-22 北京像素软件科技股份有限公司 一种相机动画路径生成方法和装置
CN109101895A (zh) * 2018-07-19 2018-12-28 张小勇 一种数据处理方法和服务器
CN111147955A (zh) * 2019-12-31 2020-05-12 咪咕视讯科技有限公司 视频播放方法、服务器和计算机可读存储介质
CN111147955B (zh) * 2019-12-31 2022-10-18 咪咕视讯科技有限公司 视频播放方法、服务器和计算机可读存储介质
CN111429341A (zh) * 2020-03-27 2020-07-17 咪咕文化科技有限公司 一种视频处理方法、设备及计算机可读存储介质
CN111429341B (zh) * 2020-03-27 2023-08-18 咪咕文化科技有限公司 一种视频处理方法、设备及计算机可读存储介质
CN111640173A (zh) * 2020-05-09 2020-09-08 杭州群核信息技术有限公司 一种基于特定路径的家装漫游动画的云端渲染方法及***
CN111640173B (zh) * 2020-05-09 2023-04-21 杭州群核信息技术有限公司 一种基于特定路径的家装漫游动画的云端渲染方法及***

Also Published As

Publication number Publication date
WO1999065224A2 (en) 1999-12-16
EP1097568A2 (en) 2001-05-09
WO1999065224A3 (en) 2000-04-27
HK1038625A1 (zh) 2002-03-22
AU4558899A (en) 1999-12-30
JP2002518723A (ja) 2002-06-25

Similar Documents

Publication Publication Date Title
US6268864B1 (en) Linking a video and an animation
US6278466B1 (en) Creating animation from a video
US6081278A (en) Animation object having multiple resolution format
CN1305620A (zh) 自视频产生动画的方法
US7444015B2 (en) Interactive images
Uyttendaele et al. Image-based interactive exploration of real-world environments
US9443555B2 (en) Multi-stage production pipeline system
US8854457B2 (en) Systems and methods for the autonomous production of videos from multi-sensored data
US6968973B2 (en) System and process for viewing and navigating through an interactive video tour
US20110229054A1 (en) Processing of images to represent a transition in viewpoint
US20020181741A1 (en) Spatiotemporal locator processing method and apparatus
US9756277B2 (en) System for filming a video movie
CN103096008A (zh) 视频帧处理方法，视频流播放方法及视频帧记录装置
CN1391676A (zh) 视频流中运动对象的标记
CN101611629A (zh) 图像处理设备、运动图像再现设备及其处理方法和程序
WO2005084005A1 (en) Method of visualizing a large still picture on a small-size display.
WO2021252697A1 (en) Producing and adapting video images for presentation on displays with different aspect ratios
US20030090487A1 (en) System and method for providing a virtual tour
US11887274B2 (en) Method for interpolating pixel data from image data having depth information
CN114339073B (zh) 视频生成方法和视频生成装置
JP4934066B2 (ja) 情報生成装置、情報生成方法及び情報生成プログラム
Megino et al. Virtual camera tools for an image2video application
WO2023046520A1 (en) Presentation of multi-view video data
Yang et al. Generation of animated panorama from single video sequence
CN117409108A (zh) 图像处理方法、装置、电子设备、介质及程序产品

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1038625

Country of ref document: HK