CN101212648B - 用于同步内容的数据流与元数据的方法和设备 - Google Patents

Abstract

在本发明中，提出通过使用内容数据流的特征向量来将内容数据流与元数据同步的设备。该设备将内容数据与元数据同步，且包括：存储设备，具有包括在其中记录的内容数据的特征向量的元数据；计算组件，根据内容数据计算特征向量；搜索组件，基于所计算的特征向量，从所述存储设备搜索对应的元数据；以及再现组件，与内容数据同步地再现所搜索出的元数据。

Description

用于同步内容的数据流与元数据的方法和设备

技术领域

本发明涉及通过使用正被再现的多媒体内容数据的特征向量来标识多媒体内容的数据流的时间位置。

背景技术

宽带的流行已经导致分发诸如视频图像的多媒体内容的服务的快速增长。但是，几乎没有给视觉和听觉障碍的人使用的带有字幕或音频描述的内容。因为这个原因，为了改善易用性，很希望为视觉和听觉障碍的人提供字幕或音频描述，作为在因特网上分发的视频图像内容的元数据。目前，在很多情况下，内容提供者没有配备用于字幕或音频描述的元数据，因此对建立允许诸如自愿者的第三方组织提供元数据的基础设施的需要快速增加。

然而，目前的内容播放器不包括解译由第三方组织提供的元数据的结构。另外，由于使用各种类型的内容播放器，因此假设所有的内容播放器都需要相当量的时间来完成对于由第三方组织提供的元数据的支持。通常，由于通过使用包括内容的开始点作为原点的时戳来使元数据与内容同步，因此需要获得内容播放器的回放位置。然而，并不是各种类型的内容播放器的所有的回放位置都可以获得。由于这个原因，通过尝试由外部应用解译元数据来再现与内容同步的元数据并不能充分地解决问题。

日本专利申请特开No.2005-339038公开了基于媒体的特征向量来确定提供特定服务的时刻的装置。在此，预先登记某一特征向量和适合度(提供具体服务的适合度)，然后从正被再现的媒体的特征向量中获得适合度。当适合度大于阈值时，提供服务；换句话说，确定将要***广告等的时刻。于是，在日本专利申请特开No.2005-339038中公开的技术是要确定是否适合提供服务，而不是要指定媒体的时戳。

发明内容

提供用于通过使用正被再现的多媒体内容数据的特征向量来指定多媒体内容的数据流的时间位置的方法和数据。

为了解决上述问题，在本发明中，提出一种通过使用内容数据流的特征向量来将内容数据流与元数据同步的设备。该设备将内容数据与元数据同步，且包括：存储设备，具有包括在其中记录的内容数据的特征向量的元数据；计算组件，根据内容数据来计算特征向量；搜索组件，基于所计算的特征向量，从存储设备中搜索对应的元数据；以及再现组件，与内容数据同步地再现所搜索出的元数据。

根据本发明的设备，可以提供元数据，并在不处理内容数据的情况下使得内容数据流与元数据同步。

虽然到目前为止已经作为方法而描述了本发明的概要，但是可以领会作为设备、程序或程序产品的本发明。例如，程序产品包括具有在其上存储的前述程序的记录介质，或转移该程序的介质。

应该注意，本发明的概要未列出本发明所需的所有特征，而这些构成元素的其他组合或子组合可能成为本发明。

附图说明

为了更完整地理解本发明及其优点，现在参考结合附图的如下描述。

图1是本发明的高级的***100的概要图，该***通过使用正被再现的多媒体内容数据的特征向量来指定多媒体内容数据流的时间位置。

图2是概念地示出通过使用正被再现的多媒体内容数据的特征向量来指定多媒体内容数据流的时间位置的***的功能块的示意图200。

图3示出根据本发明的处理流程300的示例，该处理通过使用正被再现的多媒体内容数据的特征向量来指定内容数据流的时间位置。

图4例示了处理流程400，其中，特征向量从原始内容数据创建，并被设置为元数据。

图5例示了处理在内容中重复地出现彼此相似的场景的情况的方法。

图6例示了处理在使用宽带网络的流广播中商业消息(CM)根据用户偏好而不同的情况的方法。

图7示出了对于有视觉和听觉障碍的人的多媒体浏览器应用了本发明的示例。

图8是示出根据本发明的实施例的、优选用于实现客户端110、元数据服务器140和内容数据服务器150的信息处理设备的硬件配置的示例的图。

具体实施方式

图1是本发明的高级的***100的概要图，该***通过使用正被再现的多媒体内容数据的特征向量来指定多媒体内容数据流的时间位置。客户端110经由网络101下载元数据和内容数据，并再现该数据。元服务器140向客户端110提供元数据。内容服务器160向客户端110提供多媒体内容数据。应该注意，元服务器140和内容服务器160的功能可存在于同一服务器上。

图2是概念地示出通过使用正被再现的多媒体内容数据的特征向量来指定多媒体内容数据流的时间位置的***的功能块的示意图200。客户端从元服务器240下载元数据到元数据DB(存储设备)221。另外，客户端从内容服务器260下载内容数据到内容数据DB(存储设备)225。在此，内容数据225包括音频流228和视频流229，并由内容播放器223来再现。

元数据同步***210包括特征提取器213。特征提取器213根据音频流228和视频流229的任一或全部来计算特征向量。从元数据DB 211中，元数据搜索组件215搜索具有与所计算的特征向量相对应的特征向量的元数据。当作为搜索结果而在元数据DB中发现了对应的特征向量时，元数据再现组件217再现与该特征向量有关的元数据。在此，由于元数据通常包括字幕和音频描述，所以元数据再现组件217包括字幕再现组件219和音频描述再现组件221。所再现的字幕或音频描述与内容数据流一起被分别输出到扬声器226和显示设备227。应该注意，考虑到搜索时间等，元数据同步***210优选地通过预先将数据读入缓冲存储器来处理数据。

在此，一次性下载了全部元数据和全部内容数据。然而，可以在像数据流一样一点一点被下载时彼此同步元数据和内容数据。

此外，在本发明的情况下，元数据包括如下数据：时戳；要被提供为元数据的信息(字幕数据、音频描述数据等)；用作特征向量的指针的特征向量数据；以及特征向量的类型(指定特征向量的计算方法的信息)。如下是元数据的示例。

<metadata type＝″audio-description″>

  <time>00:12:23.30</time>

  <description>Hiroshi comes joyfully walking down the street

along the  river</description>

  <featuretype＝″sound-feature″>

    <data type＝″base64″>MDEyMzQ1Njc40TAxMjMONTY30Dk＝</data>

  </feature>

</metadata>

用<data type＝”base 64，，>和</data>包围的字符串是用作特征向量的指针的数据。该字符串是通过用根据定项规则(constant rule)的字符串替换根据内容计算的特征向量而获得的数据。

在此，引用使用自动唇读(speechreading)***的音频描述的数据作为示例。然而，也可以使用字幕数据未向用户提供字幕。

顺带提及，作为多媒体内容的数据流的特征向量，可想到音频数据的特征向量和视频数据的特征向量。作为音频数据的特征向量，可以使用梅尔(mel)频率倒谱系数(MFCC)，或被用于标准自动语音识别设备的线性预测编码(LPC)梅尔倒谱，或简单的对数功率谱(log power spectrum)等。例如，在MFCC的推导处理中，首先，从输入的音频中提取25ms时间长度(通常称为帧)的音频信号，然后对信号进行频率分析。接着，通过具有遵循梅尔刻度(scale)的中心频率的24声道带通滤波器(BPF)来进行分析。然后，使得到的BPF组的输出经过离散余弦变换以获得MFCC。在此，梅尔刻度是基于人对高和低音频频率的音高感知的间隔刻度，其值实质上对应于频率的对数值。通过帧计算的MFCC是具有12个分量的向量(12维向量)。以下是视频图像的特征向量的一些示例：指示目标的面积或周长的形状特征；像素音调(pixel tone)特征的时间变化；以及在屏幕上每个点的速度向量图像(光流)。

图3示出根据本发明的处理流程300的示例，该处理通过使用正被再现的多媒体内容数据的特征向量来指定内容数据流的时间位置。处理在步骤301开始。在步骤303，下载内容数据和元数据。在步骤305，获得内容数据。在此，当适合时，可以从内容数据获得部分数据，或可以获得与正被再现的信息流有关的数据。在步骤307，根据内容数据计算特征向量。

在步骤309中，通过使用在步骤307中计算的特征向量来搜索元数据。在元数据的搜索中，可以使用在步骤307中获得的特征向量和在元数据中的特征向量之间的欧几里得距离、或基于概率模型建立的似然比。在步骤311中，作为步骤309中的搜索的结果，确定是否检测到对应的元数据。在步骤311中，在确定不能检测到对应的元数据(否)的情况下，处理返回步骤305，在此重新获得内容数据，以重复元数据的搜索。另一方面，在确定在步骤311中检测到元数据(是)的情况下，处理前进到步骤313。在步骤313中，将内容数据和元数据彼此同步以再现。在预先读取内容数据的这种情况下，在同步已经读取的内容数据时将要进行调整。

在步骤317中，确定是否已读取了全部内容数据。在步骤317中，在确定还没有读取全部内容数据(否)的情况下，处理返回步骤305，在此重新获得内容数据，以重复元数据的搜索。另一方面，在步骤317中确定已读取了所有内容数据(是)的情况下，处理前进到步骤319，处理结束。应该注意，除了在确定已读取所有内容数据的情况下以外，也可以在步骤317中已经检测到所有元数据的情况下，将处理配置为前进到步骤319并结束处理。

图4例示了处理流程400，其中特征向量根据原始内容数据而创建，并被设置为元数据。当在内容中的多个位置处找到作为指针(搜索检索关键字)的特征向量时，特征向量不再用作关于元数据的指针。因此，特征向量的计算和设置变得很重要。

处理流程开始于步骤401。在步骤403中，部分读取内容数据。在步骤405中，计算特征向量。在步骤405中，在多个特征向量计算方法之间，预先选择多个特征向量计算方法中的一个或一些。在步骤407中，将在步骤405中计算的多个特征向量彼此进行比较。

在步骤409中，确定是否存在相似的特征向量，该确定基于步骤407中的比较结果。在步骤409中确定存在相似的特征向量(是)的情况下，处理前进到步骤413。在步骤413中，使用替代计算方法，其中处理返回到步骤403以重复特征向量的计算。替代计算方法可包括使用不同的计算公式，或在用于计算特征向量的内容数据的获取时间的替代。另一方面，在确定不存在相似的特征向量(否)的情况下，处理前进到步骤411，在此将特征向量登记为指针(搜索关键字)。然后，处理前进到步骤415，结束处理。

应该注意，通过计算与整个视频图像的匹配，可以检查所计算的特征向量是否是可用来唯一指定视频图像中的某一场景的那个特征向量。因此，本领域技术人员容易理解，特征向量的唯一性的检查不限于处理流程400。

图5例示了处理在内容中重复地出现彼此相似的场景的情况的方法。当偶然创建具有相似背景音乐的场景的元数据时，对于包括具有贯穿内容的相似的背景音乐的场景的内容，在应用元数据时可能出现匹配失误。例如，可能在内容中重复使用相同的声效或相同的场景，如在每次新闻广播的开始使用相同的背景音乐的情况。为支持这样的内容，通过从以指定场景为中心的50秒音频信号中按比例提取100帧的特征向量、然后组合这些特征向量而获得的数据被添加到元数据，作为用于指定场景的信息。从而，减少在应用元数据时的匹配错误。另外，加宽帧的间隔导致在元数据大小的减少。应该根据节目(场景)适当地选择用于计算作为元数据的特征向量的间隔、组合多少帧等等。

图6例示了处理在使用宽带网络的流广播中商业消息(CM)根据用户偏好而不同的情况的方法。当包括CM部分的音频的特征向量被添加到元数据时，在某些情况下，当用户应用该元数据时，特征向量不匹配所记录的视频内容。为了避免这种情况，通过使用CM检测技术、或通过在创建特征向量的阶段期间在视频图像中在CM部分上手动添加标记，来选择除了CM部分以外的特征向量。例如，当目标场景是CM之前或之后时，不从以目标场景作为中心的50秒信号中提取特征向量，而是从紧接在CM之前或之后开始的50秒音频信号中提取特征向量。通过同时计算提取元数据的位置和目标场景相对于时间的位置关系、然后保留它们作为元数据，来解决CM部分带来的问题。对于紧接在开始之后的部分和节目结束之前的部分，使用相同的处理。在这些情况下，优选将关于计算间隔的关系的信息一起保留作为元数据。

另外，当以比在通常自动语音识别***中使用的时间间隔更宽的间隔来提取所使用的特征向量时，不能从特征向量恢复原始数据。因此，减少了关于版权的问题。具体地，通过使用所谓的梅尔对数谱近似(MLSA)，可以根据音频(MFCC的时序数据)的特征向量、以人至少可以理解(尽管信号多少有点恶化)说了什么的质量来恢复原始音频信号。当根据连续帧计算要作为元数据添加的音频的特征向量时，可能产生问题，即，由于可以恢复音频信号而产生的从版权角度来看的未授权复制的问题。然而，通过使用如示例所示的、用恒定间隔提取的特征向量，不能恢复音频信号。因此，可以减少关于版权的问题。

图7示出了对于有视觉和听觉障碍的人的多媒体浏览器应用了本发明的示例。内容分发源730创建诸如节目等的内容数据，并向用户720和第三方组织710传送数据。第三方组织710从内容分发源获得许可，或在合法的可容许范围内创建节目的元数据，然后将数据分发给用户。第三方组织710从内容数据选择场景，提取特征向量，并将量添加到元数据。用户720从内容分发源730下载内容数据，并从第三方下载对应于内容数据的元数据。然后，用户计算用于搜索元数据的、内容数据的特征向量。随后，用户检测与内容数据的特征向量相对应的部分元数据。因此，将元数据应用于检测到的部分，以与内容数据一起再现。

图8是示出根据本发明的实施例的优选地用于实现客户端110、元数据服务器140和内容数据服务器150的信息处理设备的硬件配置的示例的图。

信息处理设备包括连接到总线802的CPU(中央处理单元)801和主存储器804。诸如硬盘驱动器813和830、CD-ROM驱动器826和829、软盘驱动器820、MO驱动器828和DVD驱动器831的可拆卸存储设备(媒体可交换外部存储***)经由软(R)盘控制器819、IDE控制器825、SCSI控制器827等等而连接到总线802。

在可拆卸存储设备中***诸如软盘、MO盘、CD-ROM盘和DVD-ROM盘的记录介质。可以在这些记录介质或硬盘驱动器813或830或ROM 814中存储用于通过向与操作***协作的CPU等提供指令来实现本发明的计算机程序代码。计算机程序通过被装载到主存储器804上而执行。可以压缩计算机程序，或将其划分为多个块然后存储在多个介质中。

信息处理设备经由键盘/鼠标控制器805，从诸如键盘806或鼠标的输入设备接收输入。经由DAC/LCDC 810将信息处理设备连接到用于向用户显示视觉数据的显示设备811。

信息处理设备能够通过经由网络适配器818(以太网(R)卡、或令牌环卡)等连接到网络，而与另一计算机等通信。信息处理设备还能够分别经由并口816或串口815而连接到打印机或调制解调器。

通过到此所提供的描述，容易理解，由诸如个人计算机、工作站或主机、或它们组合之类的通用信息处理设备来实现优选地用于实现根据本发明实施例的***的信息处理设备。然而，这些设备的构成元件仅仅是示例，不是所有的构成元件都是本发明的所必需的构成元件。

自然，本领域技术人员可以容易地构想包括组合用于本发明的实施例中的信息处理设备的每个硬件构成元件或多个机器的各种修改和其功能的分配。不用说，这种修改是在本发明的精神包括的概念内的。

根据本发明的实施例的***使用支持图形用户界面(GUI)多窗口环境的操作***，诸如由微软公司提供的Windows(R)操作***、由苹果计算机公司提供的MacOS(R)和包括X Window***(例如，由国际商业机器公司提供的AIX(R))的Unix(R)***。

根据到此提供的描述，可以理解，用于本发明的实施例的***不局限于具体操作***环境。具体地，可以使用任何操作***，只要该操作***能够提供资源管理功能，允许应用软件程序等利用数据处理***的资源。应该注意，资源管理功能可能包括硬件资源管理功能、文件处理功能、假脱机(spool)功能、工作管理功能、存储包括功能、虚拟存储管理能够等等。然而，由于它们为本领域技术人员所公知，因此在此省略这些功能的描述。

此外，可以通过硬件组件或软件组件的组合或硬件和软件组件的组合来实现本发明。作为通过硬件和软件组合的实现示例，可以引证由包括预定程序的数据处理***的实现。在这种情况下，程序控制并使得数据处理***执行根据本发明的处理。该程序由可以用任意语言、代码或描述来描述的命令集组成。这种命令集允许***直接执行具体功能，或进行1.转换成另一语言、代码或描述和2.复制到另一介质中的任一个或全部。

自然，本发明不仅包括这种程序本身，还包括具有在本发明范围内的在其上记录的程序的介质。可以在任意计算机可读记录介质，诸如软盘、MO盘、CD-ROM盘、DVD盘、硬盘驱动器、ROM、MRAM或RAM中存储使得***执行本发明的功能的程序。可以从被连接于通信线路的另一数据处理***下载这种程序，或可以从用于在记录介质中存储程序的另一记录介质复制这种程序。另外，可以压缩这种程序，或将其划分为多个块，然后存储在单个介质或多个记录介质中。另外，应该注意，自然，还可以提供以实现本发明的各种形式的计算机程序。

从所提供的描述来看，根据本发明的实施例，理解，可以容易地建立在客户端上备份网页服务器的资源数据并在损害了网页服务器的资源数据的情况下从备份在客户端中的资源数据中恢复数据的***、

如上，已经通过使用实施例描述了本发明。然而，本发明的技术范围不限于上述实施例。对本领域技术人员来说明显的是，可以对实施例进行各种修改和改进。另外，从本发明的范围来看明显的是，在本发明的技术范围内包括如此修改和改进的实施例。

Claims (14)

1.一种同步内容数据和元数据的设备，包括：

存储设备，具有包括在其中记录的内容数据的特征向量的元数据；

计算组件，其根据内容数据来计算特征向量；

搜索组件，其基于所计算的特征向量，从所述存储设备搜索对应的元数据；以及

再现组件，其与内容数据同步地再现所搜索出的元数据。

2.根据权利要求1所述的设备，其中所述元数据包括时戳。

3.根据权利要求1所述的设备，其中所述元数据至少包括以下中的任一个：字幕数据和音频描述数据。

4.根据权利要求1所述的设备，其中计算特征向量的所述计算组件通过在再现内容数据之前读取内容数据来计算特征向量。

5.根据权利要求1所述的设备，其中，避开内容数据的商业消息部分来计算被包括在元数据中的所述特征向量。

6.根据权利要求1所述的设备，其中被包括在元数据的所述特征向量是以恒定的时间间隔从内容数据中提取的特征向量。

7.一种用于同步元数据与内容数据的方法，包括步骤：

在存储设备中存储包括内容数据的特征向量的元数据；

根据内容数据来计算特征向量；

基于所计算的特征向量，从所述存储设备中搜索对应的元数据；以及

与内容数据同步地再现所搜索出的元数据。

8.根据权利要求7所述的方法，其中所述元数据包括时戳。

9.根据权利要求7所述的方法，其中所述元数据至少包括以下中的任一个：字幕数据和音频描述数据。

10.根据权利要求7所述的方法，其中在计算特征向量的步骤中，通过在再现内容数据之前读取内容数据来计算特征向量。

11.根据权利要求7所述的方法，其中避开内容数据的商业消息部分来计算被包括在元数据中的所述特征向量。

12.根据权利要求7所述的方法，其中被包括在元数据的所述特征向量是以恒定的时间间隔从内容数据中提取的特征向量。

13.根据权利要求7所述的方法，其中，通过以下步骤来创建元数据：

通过使用预定的特征向量计算方法，根据内容数据来计算特征向量；

检测内容数据是否包括与所计算的特征向量相似的特征向量；以及

响应于指示在检测步骤中没有检测到与所计算的特征向量相似的特征向量的检测结果，登记所计算的特征向量，作为元数据的搜索关键字。

14.根据权利要求13所述的方法，所述创建元数据的步骤进一步包括步骤：响应指示在检测步骤中检测到与所计算的特征向量相似的特征向量的检测结果，将在计算特征向量的步骤中使用的特征向量计算方法改变为另一特征向量计算方法。

Images