CN1297552A - 代表可视动画数据基于内容索引和检索的移动对象轨迹的***和方法 - Google Patents

代表可视动画数据基于内容索引和检索的移动对象轨迹的***和方法 Download PDF

Info

Publication number
CN1297552A
CN1297552A CN00800429A CN00800429A CN1297552A CN 1297552 A CN1297552 A CN 1297552A CN 00800429 A CN00800429 A CN 00800429A CN 00800429 A CN00800429 A CN 00800429A CN 1297552 A CN1297552 A CN 1297552A
Authority
CN
China
Prior art keywords
selected object
data
track
visual animated
coordinate space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN00800429A
Other languages
English (en)
Inventor
S·简宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1297552A publication Critical patent/CN1297552A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S345/00—Computer graphics processing and selective visual display systems
    • Y10S345/949—Animation processing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

公开了用于能够探测被选对象在可视动画数据帧序列中的运动的***,视频处理装置能够产生代表被选对象运动的描述符数据结构。视频处理装置包括一个在可视动画数据帧中识别被选对象的图象处理器并确定被选对象在二维(2D)或三维(3D)坐标空间内的轨迹。图象处理器产生含有坐标空间内对象位置(通常是开始位置)的描述符数据结构;坐标空间内对象的速度;和坐标空间内对象的加速度。

Description

代表可视动画数据基于内容 索引和检索的移动对象轨迹的***和方法。
发明的技术领域
本发明一般涉及图象检索***和，更确切涉及代表动画视觉数据中移动对象或部位的轨迹的***用于连续的基于内容索引，检索，编辑，分析和增强形象化。
发明背景
数字电视(DTV)的出现，因特网的日益普及，和民用多媒体电器的使用，如密致盘(CD)和数字视频盘(DVD)，给消费者带来了极大的多媒体信息。随着录象和动画图象内容应用和使用它们的产品进入市场，查寻，索引和识别大量多媒体数据变得更加复杂和重要了。
术语“可视动画数据”，其中公开内容中指通常的录象，还有合成的2D或3D世界(如VRML)，或录象和图象的结合(如MPEG-4)。不同的标准用来寻找和索引可视动画数据的内容，如图象片段。为搜索可视动画数据帧开发出来的图象处理***，用来检测、识别和标记一个形状或颜色特别的对象，或检测帧中的文本，如副标题，广告文本，或背景图象文本，如一个路牌或“HOTEL”标志。
然而，多媒体基于内容的索引和检索***很少考虑到可视动画数据帧内的对象轨迹。很多已开发的***只是用于静止图象检索。有些***后来被延伸到动画数据通过先把它们总结为连续镜头，然后用主帧代表每个镜头，然后在主帧上应用静止图象使用的技巧。有些***中，考虑了一个镜头中的照相机的运动，但还没有考虑对象轨迹。
VideoQ，由哥伦比亚大学ADVENT Project of the Image andAdvanced TV Lab研制的，是一个处理对象运动的多媒体基于内容索引和检索的***。VideoQ允许查寻基于对象的运动痕迹。对象的运动痕迹由这个对象的重心(质心)轨迹向量有序序列在序列中的每个时间瞬时描述。
在不同的处理可视动画数据应用程序的任务中，其它表示是用来处理视频帧中的运动的。在编码标准如MPEG-1,MPEG-2,MPEG-4,H.261和H.263中，运动表示为每个图象之间和象素块的“运动”对应的2维向量的字段。运动向量在任何图象块上的任何时间瞬时都能被跳过。但是，这个块在那个时间瞬时会被认为是不动的。因为象素块通常只有尺寸8×8到16×16，这个表示导致彼此类似的邻近段和/或连续图象的大量向量。
还有，尽管这一信息在以上标准中叫做“运动”，它并不是设计来符合动画可视物质中真正的“运动”。相反，这个信息是用来发现周围图象的类似点从而减少当前图象的编码消耗。因此，这种运动向量并不适用于多媒体数据索引和检索。
目前正在研制中的是一个新的MPEG标准，MPEG-7，旨在建立一套标准的“描述性部件”来描述多媒体数据的不同方面，包括对象的运动。这些描述性部件，叫做描述符(Descriptor)和描述方案(Description Scheme)，直接描述可视动画数据的内容，如一个图象片段，从而提供了一个快速而有效的从录象文件夹和动画图象文件夹中搜寻的方法。除了这些描述符(D)和描述方案(DS)，MPEG-7还会标准化一种语言来表示描述(DDL)。描述被编码成能够有效的传递和储存。然而，MPEG-7标准远未完成而且有些目标可能永远也不会实现。谁也不能保证能恰当的说明对象的轨迹。
因此对于在一系列可视动画数据帧中描述的对象轨迹需要改进的***和方法。尤其是，需要对于能够确定可视动画数据帧中对象轨迹并代表描述符或描述方案中的能在基于内容索引和检索的***中使用的被查到的对象轨迹的***。
发明概述
要解决上述已有技术的缺陷，本发明的主要目的就是提供一个灵活的和类属的更容易查寻和索引对象轨迹的说明。这个公开既没有针对描述的编码也没有针对描述定义语言(DDL)中它的表述。所述的描述性数据结构，在使用MPEG-7术语时，既可被认为是一个合成的描述符或一个简单的初级描述方案。
本发明并不局限于一个或多个特别的应用程序的需要或任何特别的数据源格式。本发明把描述符同人类的感觉标准和那个数据所描述的实际语义内容连接起来。人类在较高的阶段获取运动。据此，本发明通过在场景中对象于某一点上的轨迹代表它的对象轨迹使用一个高级描述，如它的重心(即质心)。为了进一步描述一个场景的运动，基于对象的描述可用一个照相机(或观察点)的运动描述来补充。如果有的话，微小的细节可用一个对象变形的描述来补充而被加上去。
在本发明的一个有利的实施方案中，提供了在可视动画数据帧序列中检测被选对象运动的***，和一个能产生代表被选对象轨迹的描述符数据结构的视频处理设备。这个视频处理设备由一个能在第一个可视动画数据帧和至少第二个可视动画数据帧中识别被选对象并由此确定被选对象在一个有至少第一维和第二维的坐标空间中的轨迹的图象处理器。图象处理器从轨迹中生成描述符数据结构，通过产生至少其中两个：a)代表坐标空间内对象位置的第一数据轨迹；b)第二数据轨迹，由此确定在坐标空间内对象的速度；c)第三数据轨迹，由此确定坐标空间内对象的加速度。
因此本发明使用可以理解的通用的，类属的方法来代表对象的轨迹。那么，用户可在可视动画数据帧序列(如录象带)中查寻一个对象，只要给出一个示范序列或有特定的速度，加速度，或在帧中的位置，或者以上的组合。视频处理器然后可以为录象带中每个对象快速的查寻轨迹描述符表以便寻找与用户指定的查寻标准一致的对象。
在本发明的一个实施方案中，坐标空间由第一维，与第一维垂直的第二维，和与第一第二维垂直的第三维组成。因此本发明可以用来创造和查寻对象在二维中移动的描述符表，如正在移动的汽车经过监视照相机的录象带中的描述符表。因此本发明可以用来创造和查寻对象在三维中移动的描述符表，如在VRML环境中对象的描述符表。
在本发明的另一个实施方案中，第二轨迹数据包括一个表示对象速度的速率值。在本发明的又一实施方案中，第二轨迹数据包括一个表示第一可视动画数据帧中对象的位置的起始位置，和一个表示至少在第二可视动画数据帧中对象的位置的结束位置，和一个用于在第一可视动画数据帧和至少是第二可视动画数据帧之间的消逝的时间值，其中对象的速度由起始时间，结束时间，和消逝的时间值确定。那么，本发明就能计算出对象的速度并直接把速度值存到描述符表上。另外，本发明还可以把对象的起始位置存入一个帧而把结束位置存入另一个帧，还有帧之间消逝的时间而间接地储存速度，从而在需要时计算出速度。
然而在本发明的另一个实施方案中，从第二轨迹数据中确定的速度是一个与可视动画数据帧的边界有关的绝对速度。在本发明进一步的实施方案中，从第二轨迹数据中确定的速度是一个与可视动画数据帧的背景场景有关的相对速度。这使本发明能考虑到，如果有的话，记录动画的可视数据帧顺序的照相机或其它应用的观察点(如3D游戏中游戏杆的模拟)的运动。对象的轨迹也可由在帧边界(如一个固定的照相机)之内的速度或与相对于背景对象(如照相机与对象同时运动)的速度来代表。
在本发明更进一步的实施方案中，视频处理装置通过将描述符数据结构与可视动画数据帧序列零星起来而修改可视动画数据帧序列。那么，视频处理装置为视频数据文件或其他可视动画数据文件中的一个或多个对象产生轨迹描述符表并把轨迹描述符表同录象文件联系起来，如通过把它连接到文件或合并到文件里，等等。使用的连接可以包括用来连接描述到对象的语义引用，用来连接描述到区域的特定引用，或用来连接描述到文件中临时位置的临时引用。这使后面的查寻更容易了，因为描述符文件是这个文件的一部分并且在查寻的时候不用被生成。
代表在可视动画数据帧序列中对象轨迹的轨迹描述符表可被实施于依据本发明的一个可被视频处理装置产生并查寻的新的信号中。新信号包括1)一个组成描述被选对象的可视动画数据帧序列的可视动画数据信号；2)一个代表被选对象轨迹的对象轨迹描述符信号，对象轨迹描述符信号包括专用在有至少第一和第二维的坐标空间内被选对象的轨迹描述符数据结构，其中描述符数据结构包括以下两个：a)代表坐标空间内对象位置的第一轨迹数据；b)第二轨迹数据，由此确定在坐标空间内对象的速度；3)第三轨迹数据，由此确定在坐标空间内对象的加速度。
新的对象轨迹描述符信号可被嵌入形成可视动画数据信号的可视动画数据帧序列，并与此序列传送。或者，新的对象轨迹描述符信号可与可视动画数据帧序列分立，并单独传送或存储。
在依据本发明的一个信号的实施方案中，坐标的空间包括第一维，与第一维垂直的第二维，和与第一维和第二维垂直的第三维。
在依据本发明的一个信号的实施方案中，第二轨迹数据包括一个表示被选对象速度的速率值。
在依据本发明的另一个信号实施方案中，第二轨迹数据包括表示第一可视动画数据帧中被选对象位置的起始位置，和指示第二可视动画数据帧中被选对象位置的结束位置，和指示第一可视动画数据帧和至少是第二可视动画数据帧之间消逝的时间值，其中对象的速度由起始时间、结束时间和消逝的时间值确定。
在依据本发明的另一个信号的实施方案中，从第二轨迹数据中确定的速度是一个与可视动画数据帧的边界有关的绝对速度。
在本发明的进一步的实施方案中，从第二轨迹数据中确定的速度是一个与可视动画数据帧的背景场景有关的相对速度。
以上只是大概的讲述了本发明的性能和优点以便使本领域的技术人员更好的理解下文中本发明的详细描述。本发明其他的性能和优点将在发明的权利要求主题中讲述。本领域的技术人员应该理解本发明的构想和特定实施方案而对它们进行修改。他们还应该认识到那些同等的结构并没有脱离本发明最广泛形式的精神和范围。
在进行详细描述之前，把此专利文件中要用到的个别单词和词组的定义先列出来：术语“包括”和“组成”，还有其他衍生词，表示无限制的包括；术语“或者”是包括的，表示和/或；词组“与…相关”和“与此相关”，还有其他衍生，可以表示成包括，包括在，与…互相连接，包含，包含于，连到或相连，接到或相接，与…联系，与…配合，***，把…并列，靠近，限制或限制与，有，有…的性能，或类似的；术语“处理器”或“控制器”表示任何装置，***或其中部件控制至少一个操作，如一个可在硬件，固件或软件，或至少两种的组合中执行的装置。“对象”，其中表示任何从一个序列中选出的语义实体或象素组。注意与任何特别控制器有关的功能可以被局部的或远程的集中或分散。对于某些单词和句子的定义在整个专利文件中都有提供，即使是技术不熟悉的人也能读懂大多数情况，那些定义对被定义的词和句子此前或此后的使用都适用。
附图简述
为了更充分的理解本发明，和其中的优点，以下描述和附图可一起来参照，其中类似数字代表类似对象，并且，其中：
图1示出依据本发明的实施方案的示范的对象轨迹分析***。
图2示出包括一系列图象帧示范的可视动画数据片段(clip)。
图3示出代表对象在可视动画数据片段中轨迹描述符示范的模板实施方案。
图4示出图1中依据本发明的实施方案的视频处理装置中示范描述符的产生的流程图。
详细描述
图1到图4，用来描述此专利文件中本发明不同实施方案的原理只是用来说明的方式并且在任何时候都不应该局限在本发明的范围之内。熟悉此技术的人都明白本发明的原理可以在任何适当安排的视频处理***中执行。
图1示出依据本发明的实施方案的示范的对象轨迹分析***100。示范的对象轨迹分析***100包括视频处理装置110，可视动画数据源180，显示器185，和用户装置190。视频处理装置110分析收到的可视动画数据图象并依据本发明的原理来基于移动对象重心(或质心)确定图象(各帧)之间对象轨迹。视频处理装置110然后产生代表每个对象轨迹的高级描述符并把描述符合并到原始的可视动画数据信号中并从此产生一个全新的信号。新的信号可通过把描述符中存储的轨迹信息与视频处理***本身或用户选择的轨迹标准相匹配的视频处理***来查寻。
可视动画数据源180提供视频处理装置110内的视频图象传送。可视动画数据源180可以是电缆，VTR，天线，网络档案(包括因特网)，CD播放器/记录器，DVD播放器/记录器，或者类似的能提供和存储数字化动画视频图象的装置(有或没有音频)中的一个或多个。可视动画数据源180有提供几个很短的录象片段或多个片段的能力，包括长的数字化的动画视频图象。可视动画数据源180也可在任何已知格式中提供动画视频数据，如D-1格式。
显示器185展示动画视频图象，如果需要的话也可装音频。用户装置190包括一个或多个由对象轨迹分析***100的用户操纵的***设备来提供***的用户输入。典型的辅助用户输入设备包括计算机鼠标，键盘，光笔，游戏杆，感触板和有关的指示笔，和/或其它任何能选择性的用来进入，选择，或处理包括全部或部分被展示的视频图象的数据的装置。用户装置190可以来选择要求的动画可视序列，对象，和/或用来输入到视频处理装置110的轨迹识别属性。用户装置190还可包括输出装置，如用来打印个别图象复制件的彩色打印机。
视频处理装置110包括图象处理器120，RAM130，硬盘存储器140，用户I/O卡150，图象卡160，I/O缓冲器170，和处理器总线175。处理器总线175在视频处理装置110的不同部件之间传送数据。RAM130还包括轨迹工作空间132和对象轨迹控制器134。图象处理器120提供视频处理装置110的全部控制并实现对象轨迹分析***100必需的图象处理，还包括实现对用户/***选择属性的可视动画数据帧中轨迹的分析。这包括编辑处理的实现，存储于磁盘存储器140或传送到显示器185的数字化可视动画数据帧的处理，对象轨迹分析***100的不同部件之间的数据传送的控制。在本发明中如不需要不会对图象处理器120的要求和功能做详细解释。
RAM130为视频处理装置110产生的数据提供临时储存的随机存取存储器，这就不需要***中的其它部件来提供了。RAM130包括轨迹工作空间132和对象轨迹控制器134的存储器，还有其它图象处理器120及其相关装置所需的其它存储器。轨迹工作空间132代表RAM130与特别录象片段有关的视频图象和描述符在轨迹分析处理中被临时存储的部分。轨迹工作空间132允许一个片段内的帧无须影响原始数据就能被分析和修改，这样，在需要时，原始数据才能被复原。
对象轨迹控制器134代表RAM130中专用于由图象处理器120执行的应用程序的存储部分来实现在***/用户定义属性基础之上的视频图象的对象轨迹分析。对象轨迹控制器134可作为装在CD-ROM，计算机磁盘，或其它能装进磁盘存储器140的可移动磁盘端口或如视频片段源180的其它地方的存储媒介上的一个程序。
磁盘存储器140包括一个或多个磁盘***，还包括可移动磁盘，永久性存储程序和其它数据，包括所需的动画视频和音频数据。根据***需要，磁盘存储器140是配置成成与一个或多个双向总线连接的来传送录象(和音频)数据到可视动画数据源180或从可视动画数据源180传送至其余的***。磁盘存储器140在需要时能用视频速度传送数据。作为最小的，磁盘存储器140除了给程序及其相关数据的必要空间，还提供用于对象轨迹分析用途的几分钟录象的足够的存储空间。根据特定的应用程序和图象处理器120的功能，磁盘存储器140可能配置成能提供大数量录象片段和与它们相关的对象轨迹信息的存储。
用户I/O卡150可用来连接用户装置190到对象轨迹分析***100的其它部分上。用户I/O卡150把从用户装置190收到的数据转换成连接总线175的格式从而传送到图象处理器120或RAM130并以由图象处理器120以后进行访问。用户I/O卡150还传送数据到用户输出装置如打印机上。显卡160在数据总线175中提供显示器185和其它的视频处理装置110的连接。
I/O缓冲器170在总线175中提供可视动画数据源180和其它的对象轨迹分析***100之间的连接。如前所述，可视动画数据源180有至少一个双向总线来连接I/O缓冲器170。I/O缓冲器170能传送数据，包括含有依据本发明原理的轨迹描述符的新信号，以最低的要求把视频图象传送速度从或向可视动画数据源180传送。
I/O缓冲器170按要求把从可视动画数据源180收到的数据传到磁盘存储器140，图象处理器120，和RAM130上，提供对象轨迹的分析，编辑，和监视显示的临时存储效果。视频数据到图象处理器120和显卡160的同步传送使得***能够消逝收到的视频图象。
图2示出包括一系列图象帧201-204的示范可视动画数据片段200。可视动画数据片段200可以是，例如，一个“真实世界”场景的标准录象片段或计算机产生的动画帧。图象帧201-204展示了两个对象的运动，任意标号为01和02，从图象帧201的起始位置到图象帧204的结束位置。图象帧201在时间t=t0出现，图象帧204在时间t=t1出现。图象帧201到图象帧204的时间流逝是(t1-t0)。
图2示出示范描述符220和230，任意的标号为D1和D2。描述符D1代表对象01的轨迹描述符D2代表对象02的轨迹。描述符D1和D2基于从帧201-204的质心的运动分别为对象01和02提供轨迹信息。每个对象的质心在每个用来分析对象运动的帧里提供一个单一的参照点。对象质心的轨迹是描述从帧201到204的对象轨迹或运动的基础。
在本发明的一个实施方案中，特定对象的轨迹描述符可以包括这个对象的开始和结束位置。图象处理器120依据第一帧与第二帧之间对象位置的改变和第一帧与第二帧之间时间段的流逝计算对象的速度。在本发明的另一个实施方案中，描述符可以直接包括对象的速度，而不是通过位置改变和时间的流逝来计算它。
视频处理装置110通过使用力学的基本物理法则来代表一个对象的轨迹从而产生对象轨迹的类属描述符。在(x,y)坐标系中对象的二维(2D)轨迹的示范描述符包含对象的位置，x-维中的速度和加速度及对象的位置，y-维中的速度和加速度。在(x,y,z)坐标系中对象3D轨迹的示范描述符还会包含对象的位置，z-维中的速度和加速度。
在本发明的一个实施方案中，下面的二级近似法是用来表示移动着的对象的最后的x-坐标：
t∈[t0,t1]x(t-t0)=x0+νx(t-t0)+1/2αx(t-t0)2
其中t∈[t0,t1] 表示这个等式适用于t0和t1之间的所有时间。t0是第一个帧的时间。x0是对象在t0的x-位置。vx是x-维中对象的速率，假设t0和t1之间是常量。ax是x-维中对象的加速度，假设t0和t1之间是常量。
同样，对象的y-维轨迹和z-维轨迹是：
t∈[t0,t1]y(t-t0)=y0+νy(t-t0)+1/2αy(t-t0)2z(t-t0)=z0 +νx(t-t0)+1/2αx(t-t0)2
三维图象中z-坐标是必要的，如建筑和动画计算机游戏的计算机辅助的设计***。这种三维轨迹表达因为它与人眼的感觉视点相似而尤其有吸引力。
在本发明的一个实施方案中，示范描述符可作为定义对象轨迹的对象编码而产生。示范对象编码的实施方案可表现为：
Object-Trajectory:
      (Number_of_time_instants
      Spatial_reference
      Camera_followed)
      For each time_instant:
          Time_start,Time_end
          Starting_Positions(x,y,z)/Confidence
          Speeds(x,y,z)/Confidence
          Accelerations(x,y,z)/Confidence。
“Object_Trajectory”代表特定对象在移动着的图象如录象片段中移动时的轨迹描述符。“Number_of_time_instants”代表在描述对象的轨迹中使用的时间段的个数或帧组。“Spatial_reference”明确数据是由图象参照(选定的录象片段)确定的还是由整体运动信息(即背景运动)确定的。“For each time_instant”代表在识别一个选定视频图象的特定时间间区(time_instant)中对象轨迹所必须的信息。“Time_start”和“Time_end”代表选定的time_instant的第一(开始)和最后(结束)帧。
“Starting_Positions(x,y,z)/置信”在考虑了位置置信度的情况下代表在选定的time_instant的Time_start处对象重心的开始坐标x-,y-,z-。“Speeds(x,y,z)/置信”在考虑了速率置信度的情况下代表质心的速率。“Accelerations(x,y,z)/置信”在考虑了加速度置信度的情况下代表质心的加速度。最后，“Camera_followed”表明照相机的角度是固定的还是跟随对象的。
如果照相机是不动的，关于对象速率和加速度的信息在没有对照相机有更多要求的情况下可以由对象在录象片段或帧组中的移动来描述。如果照相机是移动的，对象的速率和加速度将受照相机或背景的速率和加速度影响。
轨迹是在两个描述移动的对象是否由照相机跟踪的基本分类的基础上分析的。当对象由照相机跟踪时，它会在帧中展示极少的运动而对象的轨迹也只能由照相机的起伏移动产生。在这种情形中，用由用户指定查寻标准来比较不连贯的轨迹是毫无意义的。因此，识别一个对象是否由照相机跟踪是很有帮助的。
由照相机跟踪的对象可被进一步被靠近图象中心位置的静止对象或有不规则的小的位移(即运动)的在靠近图象中心位置周围移动的对象来识别。当照相机的运动为已知时，照相机运动可被进一步的用来确定是否被跟踪对象要用于轨迹匹配。当从用户-提供或***-提供的数据中不能知道照相机的运动时，照相机的轨迹速度/加速度可以由背景和/或已知对象轨迹的运动来确定。除了考虑照相机和背景运动的轨迹，移动对象的位置、速度和加速度可与图象比例无关地标准化。
而且，如果应用程序不要求这种信息，所有参照的轨迹数据不需要在轨迹描述符中表现出来。例如，一个轨迹描述符在需要时可以定义为被确定的对象位置的速率和加速度。反之，描述符部件(如一个2维图象中的z-坐标)不一定与此特定的应用程序相关。贯穿时间间区的置信度是选择性的定义并与每个部件相关。比如，置信度可以把预期的数据准确性表示为数据是怎样被选出的一个函数。
其中前和此后的描述中，示范描述符定义一个对象或区域的质心的轨迹。然而，这不是必要的。在本发明的另一个实施方案中，示范描述符可以参照对象的其它一些点来定义对象的轨迹，如右上沿边角点，前边缘最前点等等。
图3示出描述对象01和02在如图2所示的录象片段200的帧中运动的轨迹描述符D1和D2(220和230)的示范样板实施方案。描述符220和230的域里包括轨迹部件。多个描述符表，在相关的录象片段的每个被选对象中都有一个，当它们穿过片段时是必须的，以描述所有被选对象的轨迹。
每一个描述符220和230都包括含有与描述符有关的识别对象01或02的标记的对象标识(ID)域301。时间瞬时个数(N)域302，和空间基准域304。每个描述符220和230更进一步包括“N”数据块。每个N数据块相应于在时间瞬时个数域302中指定的时间片刻“N”中的一个。
对象ID域301包括在识别如起始位置，颜色，大小，形状等特征的基础上描述的对象信息。有些实施方案中，对象ID域301可以是另一个描述符位置的连接或是定义对象的描述方案。时间瞬时个数(N)域302是被用户或***作为给被分析的录象片段的时间分界选定的区间数量。例如，包含100个帧的录象片段200可以被分成为每20个帧一组的子组。在这种情况下，时间瞬时个数(N)域302等于5并且描述符中的5个数据单元中的每一个都从属于这5个子组中的一个。数值N可以是用户或***定义的。
Spatial Reference域304提供应该指示，说明目标的运动是否是基于指定图象帧参照的对象的位置或是相对于更全局或外部的参照。照相机跟随域305提供照相机是否与对象一起移动的指示。
在示范的实施方案中，每个N数据单元包括代表对象在被参照的时间瞬间内的运动的5个数据域。例如，第一个时间瞬间由以下数据域代表：开始时间1/结束时间1域311，开始位置1(x,y,z)/置信域312，速度1(x,y,z)/置信域313，和加速度1(x,y,z)/置信域314。
如前所述，数据单元的每个域或域的一部分没有必要为了一个支持特定应用程序所需要的描述符表的功能而出现。比如，如果对象只在两个平面(x和y)中代表，在轨迹分析中要忽略z-平面。还有，依据应用程序，描述符表可能只有对象标识，加速度，和速率分量就足够了。图象处理器120也可以在它们需要实现一个特别的任务时计算“失踪的”标识。例如，一个特别对象的结束位置坐标可以只在需要对象最终位置时才被确定。另外，Speed域可以通过一个End Position值被放在描述符220和230中。对象的速度然后可以用开始时间，结束时间，开始位置和结束位置算出来。
被描述对象轨迹描述符表的特征在分析录象段中移动对象的轨迹时有很多益处。轨迹描述符基于视频图象内容，接近物理“真实”场景，并如人类感觉一样来代表它的运动。而且，它是一个不依赖于任何特别的应用程序或数据格式的类属形式。再有，代表性的描述符模板包含轨迹的不同感觉方面，(即位置，速度和加速度)。这为在不同的立体平面中完全而准确的描述对象的轨迹提供了可能，还允许了特别运动部件的隔离从而能检验出特别特征的影响。因为这三个基本数据部件在表示中是分别访问的。例如，在恒速的情况下，为了检测对象的运动，可以忽略对象的加速度。
使用前面等式的计数法，两个轨迹描述D和D’之间距离的普通表示可被简单的表示为位置，速度和加速度的欧几里德距离的加权和，如下：d(D,D′)=∑iα((xi-xi′)2+(yi-yi′)2+(zi-zi′)2)/(Δti)+β((νxi-νxi′)2 +(νyi-νyi′)2+(νzi-νzi′)2)/(Δti)+X((αxi-αxi′)2+(αyi-αyi′)2+(αzi-αzi′)2)/(Δti)
，其中i代表两个描述符中描述的所有的连续时间瞬间。基本项属于D’。项Δti是第i次时间瞬间的长度。项α，β和χ依赖于选定的匹配要求(如果有)和置信度。
图4示出依据本发明的一个实施方案的视频处理装置110中使用对象轨迹控制器134的示范描述符的产生的流程图400。可视动画数据片段从可视动画数据源180中恢复并储存到磁盘存储器140和轨迹工作空间132(处理步骤405)。用户-定义或***-定义的标准从用户I/O卡150中收到并被存入轨迹工作空间132。这些标准用来识别对象和用于轨迹分析的质心的确定(处理步骤410)。如果需要，分段程序(如颜色/形状识别)可用来分段或隔离用于轨迹分析程序的对象。要求的对象识别信息存在示范数据域301中。
下一步，图象处理器120确定空间基准，由用户选定或***指定，指示轨迹数据是否要考虑全面运动信息(处理步骤415)。空间基准存储在示范的数据域304中。
时间瞬时个数(N)从与可视数据、用户选定数据或***设定值数据一起收到的时间数据参照的恢复取得。在本发明的一个实施方案中，图象处理器120可以计算N并把录象片段分段成基于用户/***定义的特征的时间瞬间，如对象的方向或速度的改变。对这个示例，假设一个***缺省设定为N来代表录象片段分为每个子组中有同样数量的录象帧的N个子组(即每个时间瞬时将会有一个流逝的时间等于可视动画数据片段200的全部时间的1/N)。时间瞬时个数N储存在数据域302中(处理步骤420)。另外，时间瞬时个数N可以由图象处理器120根据对象的轨迹适当的确定。
接着，图象处理器120确定在每个帧中被选对象的重心位置并计算每个N时间瞬间：开始时间，结束时间，开始位置(x,y,z)和置信，速度(x,y,z)和置信，加速度(x,y,z)和置信(处理步骤425)。照相机跟随变量可通过假设根据空间基准对象相对于图象或一个稳定的背景而言对象是不动的来确定。另外，如果对象相对照相机只移动一点点而背景移动很大，可以假设照相机是同对象一起移动的。
还有，当一个时间瞬间有大量帧出现时，时间瞬间可以再分而且每个再分部分的重心速度能被计算出来。贯穿时间瞬间的加速度的平均值也能计算。如上所述，依据初始数据的性质，数据样本的数量等可给每个轨迹分配置信度。
每个时间瞬间的对象速度或速率可被计算为重心位置的局部一次导数，并由图象大小来标准化。换句话说，速度可以由开始和结束位置及流逝的时间量的差异确定。(如果需要，z信息可以从连续帧之间的大小变化推断出来，考虑到在图象和/或它的形状变化中对象的完全存在。)同样，加速度可以作为重心位置的局部二阶导数计算，由图象大小标准化。
最后，图象处理器120把在处理步骤425确定的数据存入与被选对象相关的描述符中并把新的描述符同可视动画数据片段200联系起来(处理步骤425)。描述符可以通过把它同可视动画数据片段200结合或将它与可视动画数据片段200分开存储并与可视动画数据片段200连接而与可视动画数据片段200相关。
被选对象产生的轨迹描述符表按要求存入轨迹工作空间132，磁盘储存140，和外部可视动画数据源180中。还有，作为结果的轨迹描述符表可放入一个新的信号格式来传送与动画可视数据片段相关的其它数据，用于其它来源的恢复和使用。
尽管本发明已经详细的描述了，本领域的技术人员可以理解在没有偏离本发明主要结构的精神和范围上做出不同的改变，替换和修改。

Claims (17)

1．在可视动画帧序列中能够检测被选对象运动的***(100)，一种视频处理装置(110)能够产生代表被选对象运动的描述符数据结构(220,230)，所述视频处理装置(110)包括：
能够在第一可视动画数据帧(201)和至少第二可视动画数据帧(202)中识别被选对象并且由此确定被选对象在至少有第一维和第二维的坐标空间内的轨迹的图象处理器(120)，其中图象处理器(120)从所述轨迹中产生描述符数据结构(220,230)，通过以下至少两个实现：
第一轨迹数据(312)代表所述坐标空间内所述被选对象的位置；
第二轨迹数据(313)，由此确定坐标空间内的被选对象的速度；
第三轨迹数据(314)，由此确定坐标空间内的被选对象的加速度。
2．权利要求1中的视频处理装置(110)，其中坐标空间包括第一维，与第一维垂直的第二维，和与所述第一和所述第二维垂直的第三维。
3．权利要求1中的视频处理装置(110)，其中所述第二轨迹数据(313)包括指示被选对象的速度的一个速率值。
4．权利要求1中的视频处理装置(110)，其中所述第二轨迹数据(313)包括表示在第一可视动画数据帧中被选对象位置的开始位置，表示在至少一个第二可视动画数据帧中被选对象的位置的结束位置，和一个用于在第一可视动画数据帧和至少第二可视动画数据帧之间的消逝的时间值，其中对象的速度由起始时间，结束时间，和消逝的时间值确定。
5．权利要求1中的视频处理装置(110)，其中由第二轨迹数据(313)确定的速度是与所述可视动画数据帧的边界有关的绝对速度。
6．权利要求1中的视频处理装置(110)，其中由第二轨迹数据确定的速度是与可视动画数据帧的背景场景有关的相对速度。
7．权利要求1中的视频处理装置(110)，其中视频处理装置(110)通过联系描述符数据结构(220,230)和可视动画数据帧序列来修改可视动画数据帧序列。
8．一种信号包括：
一个包含描述被选对象可视动画数据帧序列的可视动画数据信号；
一个代表被选对象运动的对象运动描述符信号，所述对象运动描述符信号包括指示在有至少第一或第二维的坐标空间内被选对象的轨迹的描述符数据结构(220,230)，其中描述符数据结构(220,230)包括至少以下两个：
第一轨迹数据(312)，代表坐标空间内被选对象位置；
第二轨迹数据(313)，由此确定所述坐标空间内被选对象的速度；
第三轨迹数据(314)，由此确定所述坐标空间内被选对象的加速度。
9．权利要求8中的信号，其中所述坐标空间包括第一维，与所述第一维垂直的第二维，和与所述第一维和所述第二维垂直的第三维。
10．权利要求8中的信号，其中第二轨迹数据(313)包括指示被选对象速度的速率值。
11．权利要求8中的信号，其中所述第二轨迹数据(313)包括指示在第一可视动画数据帧中被选对象位置的开始位置，指示在至少一个第二可视动画数据帧中被选对象位置的结束位置，和用于第一可视动画数据帧和至少是第二可视动画数据帧之间的消逝的时间值，其中对象的速度由起始时间，结束时间，和消耗时间值确定。
12．权利要求8中的信号，其中由第二轨迹数据(313)确定的速度是一个与可视动画数据帧的边界有关的绝对速度。
13．权利要求8中的信号，其中由第二轨迹数据确定的速度是一个与可视动画数据帧的背景场景有关的相对速度。
14．一种储存在计算机可读存储媒介(140)的计算机可处理的可视动画数据文件，包括：
描述被选对象的可视动画数据帧序列；和指示被选对象在有至少第一和第二维的坐标空间内的轨迹的描述符数据结构(220,230)，其中描述符数据结构(220,230)包括至少以下两个：
第一轨迹数据(312)，代表坐标空间内被选对象位置的；
第二轨迹数据(313)，由此确定在所述坐标空间内被选对象的速度；
第三轨迹数据(314)，由此确定在所述坐标空间内被选对象的加速度。
15．如权利要求14的储存在计算机可读存储媒介(140)中的计算机可处理的可视动画数据文件，其中由第二轨迹数据确定的速度是一个与可视动画数据帧的背景场景有关的相对速度。
16．在一个能够检测被选对象在可视动画数据帧序列中的运动的***中，一种产生代表被选对象运动的描述符数据结构(220,230)的方法，包括步骤：
在第一可视动画数据帧和至少第二可视动画数据帧中识别被选对象；
确定被选对象在有至少第一维和第二维的坐标空间内的轨迹；
从轨迹中产生描述符数据结构(220,230)，通过以下至少两个：
第一轨迹数据(312)，代表坐标空间内被选对象位置；
第二轨迹数据(313)，由此确定在所述坐标空间内被选对象的速度；
第三数据(314)，由此确定在所述坐标空间内被选对象的加速度。
17．权利要求16中的方法，其中从第二轨迹数据(313)中确定的速度是一个与可视动画数据帧的背景场景有关的相对速度。
CN00800429A 1999-01-28 2000-01-10 代表可视动画数据基于内容索引和检索的移动对象轨迹的***和方法 Pending CN1297552A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US11765699P 1999-01-28 1999-01-28
US60/117,656 1999-08-17
US09/375,949 1999-08-17
US09/375,949 US6587574B1 (en) 1999-01-28 1999-08-17 System and method for representing trajectories of moving objects for content-based indexing and retrieval of visual animated data

Publications (1)

Publication Number Publication Date
CN1297552A true CN1297552A (zh) 2001-05-30

Family

ID=26815496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN00800429A Pending CN1297552A (zh) 1999-01-28 2000-01-10 代表可视动画数据基于内容索引和检索的移动对象轨迹的***和方法

Country Status (5)

Country Link
US (1) US6587574B1 (zh)
EP (1) EP1066593A1 (zh)
JP (1) JP2002536729A (zh)
CN (1) CN1297552A (zh)
WO (1) WO2000045338A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100379267C (zh) * 2003-12-15 2008-04-02 财团法人资讯工业策进会 物体移动轨迹产生***及方法
CN100444202C (zh) * 2007-01-24 2008-12-17 杭州电子科技大学 基于混沌理论的动画对象运动轨迹控制方法
CN102541084A (zh) * 2010-12-21 2012-07-04 新奥特（北京）视频技术有限公司 一种自动绘制目标点轨迹的方法
CN102708215A (zh) * 2007-12-18 2012-10-03 孟智平 一种处理视频的方法及其***
TWI570666B (zh) * 2013-11-15 2017-02-11 財團法人資訊工業策進會 電子裝置及其影片物體追蹤方法
CN110588643A (zh) * 2018-06-13 2019-12-20 本田技研工业株式会社 识别处理装置、车辆控制装置、识别控制方法及存储介质
WO2021099917A1 (en) * 2019-11-20 2021-05-27 International Business Machines Corporation Method of searching images using rotational gesture input

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000222584A (ja) * 1999-01-29 2000-08-11 Toshiba Corp 映像情報記述方法、映像検索方法及び映像検索装置
US6593936B1 (en) 1999-02-01 2003-07-15 At&T Corp. Synthetic audiovisual description scheme, method and system for MPEG-7
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US7095401B2 (en) * 2000-11-02 2006-08-22 Siemens Corporate Research, Inc. System and method for gesture interface
US20020126877A1 (en) * 2001-03-08 2002-09-12 Yukihiro Sugiyama Light transmission type image recognition device and image recognition sensor
AT414056B (de) * 2001-03-13 2006-08-15 Siemens Ag Oesterreich Verfahren zur überwachung einer lifttrasse und ihrer umgebung
US20060184553A1 (en) * 2005-02-15 2006-08-17 Matsushita Electric Industrial Co., Ltd. Distributed MPEG-7 based surveillance servers for digital surveillance applications
CN101421727A (zh) * 2005-09-30 2009-04-29 罗伯特·博世有限公司 用于搜索图像信息的方法和软件程序
US7675520B2 (en) * 2005-12-09 2010-03-09 Digital Steamworks, Llc System, method and computer program for creating two dimensional (2D) or three dimensional (3D) computer animation from video
EP1991933A1 (en) 2006-02-27 2008-11-19 Robert Bosch GmbH Trajectory retrieval system, method and software for trajectory data retrieval
EP1991935A1 (en) * 2006-02-27 2008-11-19 Robert Bosch GmbH Video retrieval system, method and computer program for surveillance of moving objects
WO2007096003A1 (en) * 2006-02-27 2007-08-30 Robert Bosch Gmbh Trajectory-based video retrieval system, method and computer program
US7667596B2 (en) * 2007-02-16 2010-02-23 Panasonic Corporation Method and system for scoring surveillance system footage
US8077930B2 (en) * 2007-04-13 2011-12-13 Atg Advanced Swiss Technology Group Ag Method for recognizing content in an image sequence
US8154552B2 (en) * 2007-05-04 2012-04-10 Autodesk, Inc. Looping motion space registration for real-time character animation
US8730246B2 (en) * 2007-05-04 2014-05-20 Autodesk, Inc. Real-time goal space steering for data-driven character animation
TW200910147A (en) * 2007-08-24 2009-03-01 Univ Nat Chiao Tung Control apparatus and method
US10026210B2 (en) 2008-01-10 2018-07-17 Autodesk, Inc. Behavioral motion space blending for goal-oriented character animation
US8350860B2 (en) 2008-05-28 2013-01-08 Autodesk, Inc. Real-time goal-directed performed motion alignment for computer animated characters
US8373706B2 (en) * 2008-05-28 2013-02-12 Autodesk, Inc. Real-time goal-directed performed motion alignment for computer animated characters
US8363057B2 (en) * 2008-05-28 2013-01-29 Autodesk, Inc. Real-time goal-directed performed motion alignment for computer animated characters
US20090315897A1 (en) * 2008-06-24 2009-12-24 Microsoft Corporation Animation platform
US20090315896A1 (en) * 2008-06-24 2009-12-24 Microsoft Corporation Animation platform
KR101588666B1 (ko) * 2008-12-08 2016-01-27 삼성전자주식회사 디스플레이 장치 및 그의 표시방법
US8024069B2 (en) * 2009-01-28 2011-09-20 Ge Intelligent Platforms, Inc. System and method for path planning
US8553778B2 (en) 2009-03-19 2013-10-08 International Business Machines Corporation Coding scheme for identifying spatial locations of events within video image data
US8537219B2 (en) * 2009-03-19 2013-09-17 International Business Machines Corporation Identifying spatial locations of events within video image data
RU2505859C2 (ru) * 2009-06-26 2014-01-27 Интел Корпорейшн Технологии для детектирования видеокопии
US20110012903A1 (en) * 2009-07-16 2011-01-20 Michael Girard System and method for real-time character animation
US8977109B2 (en) * 2009-12-16 2015-03-10 Thomson Licensing Human interaction trajectory-based system
US8472669B2 (en) * 2010-03-10 2013-06-25 Texas Instruments Incorporated Object localization using tracked object trajectories
US8212821B1 (en) * 2011-10-14 2012-07-03 Google Inc. Decomposing animations into primitives for browser-dependent rendering
SE537206C2 (sv) * 2012-04-11 2015-03-03 Vidispine Ab Metod och system för sökningar i digitalt innehåll
US9213781B1 (en) 2012-09-19 2015-12-15 Placemeter LLC System and method for processing image data
US8803913B1 (en) * 2013-09-09 2014-08-12 Brian Scott Edmonston Speed measurement method and apparatus
US10432896B2 (en) 2014-05-30 2019-10-01 Placemeter Inc. System and method for activity monitoring using video data
US10043078B2 (en) 2015-04-21 2018-08-07 Placemeter LLC Virtual turnstile system and method
WO2016171878A1 (en) * 2015-04-21 2016-10-27 Placemeter, Inc. Virtual turnstile counter system and method
US11334751B2 (en) 2015-04-21 2022-05-17 Placemeter Inc. Systems and methods for processing video data for activity monitoring
US10997428B2 (en) 2015-06-01 2021-05-04 Placemeter Inc. Automated detection of building entrances
GB2545900B (en) * 2015-12-21 2020-08-12 Canon Kk Method, device, and computer program for re-identification of objects in images obtained from a plurality of cameras
US11270121B2 (en) 2019-08-20 2022-03-08 Microsoft Technology Licensing, Llc Semi supervised animated character recognition in video
US11366989B2 (en) 2019-08-20 2022-06-21 Microsoft Technology Licensing, Llc Negative sampling algorithm for enhanced image classification
CN110645917B (zh) * 2019-09-24 2021-03-09 东南大学 基于阵列式相机的高空间分辨率三维数字图像测量方法
CN111298433B (zh) * 2020-02-10 2022-07-29 腾讯科技（深圳）有限公司 一种动画视频处理方法、装置、电子设备及存储介质
US11450107B1 (en) * 2021-03-10 2022-09-20 Microsoft Technology Licensing, Llc Dynamic detection and recognition of media subjects

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5261041A (en) * 1990-12-28 1993-11-09 Apple Computer, Inc. Computer controlled animation system based on definitional animated objects and methods of manipulating same
US5594856A (en) * 1994-08-25 1997-01-14 Girard; Michael Computer user interface for step-driven character animation
US6088042A (en) * 1997-03-31 2000-07-11 Katrix, Inc. Interactive motion data animation system

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100379267C (zh) * 2003-12-15 2008-04-02 财团法人资讯工业策进会 物体移动轨迹产生***及方法
CN100444202C (zh) * 2007-01-24 2008-12-17 杭州电子科技大学 基于混沌理论的动画对象运动轨迹控制方法
CN102708215A (zh) * 2007-12-18 2012-10-03 孟智平 一种处理视频的方法及其***
CN102708215B (zh) * 2007-12-18 2015-01-07 孟智平 一种处理视频的方法及其***
CN102541084A (zh) * 2010-12-21 2012-07-04 新奥特（北京）视频技术有限公司 一种自动绘制目标点轨迹的方法
CN102541084B (zh) * 2010-12-21 2016-08-17 新奥特（北京）视频技术有限公司 一种自动绘制目标点轨迹的方法
TWI570666B (zh) * 2013-11-15 2017-02-11 財團法人資訊工業策進會 電子裝置及其影片物體追蹤方法
CN110588643A (zh) * 2018-06-13 2019-12-20 本田技研工业株式会社 识别处理装置、车辆控制装置、识别控制方法及存储介质
WO2021099917A1 (en) * 2019-11-20 2021-05-27 International Business Machines Corporation Method of searching images using rotational gesture input
GB2605534A (en) * 2019-11-20 2022-10-05 Ibm Method of searching images using rotational gesture input

Also Published As

Publication number Publication date
US6587574B1 (en) 2003-07-01
WO2000045338A1 (en) 2000-08-03
JP2002536729A (ja) 2002-10-29
EP1066593A1 (en) 2001-01-10

Similar Documents

Publication Publication Date Title
CN1297552A (zh) 代表可视动画数据基于内容索引和检索的移动对象轨迹的***和方法
Aigrain et al. Content-based representation and retrieval of visual media: A state-of-the-art review
Vijayakumar et al. A study on video data mining
Zhang et al. Motion-state-adaptive video summarization via spatiotemporal analysis
Wang et al. Visualizing video sounds with sound word animation to enrich user experience
CN1293782A (zh) 视频序列描述符和使用该描述符的影像检索***
Voulodimos et al. Physics-based keyframe selection for human motion summarization
Chen et al. Semantic models for multimedia database searching and browsing
CN114299321A (zh) 视频分类方法、装置、设备及可读存储介质
Abdi et al. In-vehicle augmented reality system to provide driving safety information
Fan et al. Robust spatiotemporal matching of electronic slides to presentation videos
Yoshitaka et al. Violone: Video retrieval by motion example
Stefanidis et al. 3D technologies and applications in sign language
Wang et al. Taxonomy of directing semantics for film shot classification
Jeannin et al. Motion descriptors for content-based video representation
EP3096243A1 (en) Methods, systems and apparatus for automatic video query expansion
Adly et al. Issues and challenges for content-based video search engines a survey
Abdulmunem et al. Semantic based video retrieval system: survey
Ferreira et al. Towards key-frame extraction methods for 3D video: a review
Lei et al. Recent advances in multi-modal 3D scene understanding: A comprehensive survey and evaluation
Cheng et al. Latent semantic learning with time-series cross correlation analysis for video scene detection and classification
Le et al. Subtrajectory-based video indexing and retrieval
Zhang et al. Surveillance video key frame extraction based on center offset
Sun et al. Eventfulness for interactive video alignment
Monteiro et al. SwarMotion: A 3D point cloud video recording tool for classification purposes

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication