CN1326158A - 适用于多媒体内容的数据库构造方法 - Google Patents

Abstract

提供了一种适用于多媒体内容的数据库构造方法。该方法包括步骤:(a)经由电信网络存取提供多媒体内容的一任意站点;(b)通过结网该站点调用多媒体内容;以及(c)根据存储的地址分类该多媒体内容并将其存储到一预先确定的数据库中。本方法使用关于相应的站点的类别信息,按语义分类多媒体内容并将它们存储在相应的数据库中。在本方法构造的数据库中,很好地收集了分散在WWW上的多媒体内容并且按语义分类了该多媒体内容,因此可以使用各种检索方法来快速有效地检索所要的多媒体内容。

Description

适用于多媒体内容的数据库构造方法

本发明涉及多媒体数据分类，具体地说，涉及适用于多媒体数据(以下称为多媒体内容)的数据库构造方法，在该方法中，多媒体内容按语义分类和存储在一预先确定的数据库中。

在万维网(World Wide Web，WWW)上，通常要使用大量多媒体内容。但检索方法主要用来检索文本数据，还没有引入用来检索图像、音频数据和具有声音的动态影象数据的快速而有效的方法。

随着近来多媒体数据量的增加，需要适用于多媒体内容的数据库构造方法以及使用已经建立的数据库向用户提供检索服务的方法。

为了解决以上问题，本发明的一个目的是提供一种适用于多媒体内容的数据库构造方法，在该方法中，将分散在万维网或其它电信网络上的多媒体内容有效地收集和存储在一个数据库中，以便能够快速地检索多媒体内容。

本发明的另一目的是提供适一种用于多媒体内容的数据库构造设备，它使用适用于多媒体内容的该数据库构造方法。

本发明的另一目的是提供一种在由适用于多媒体内容的数据库构造方法构造的该数据库中，快速检索多媒体内容的多媒体内容检索方法。

本发明的另一目的是提供一种使用适用于多媒体内容的检索方法的多媒体内容检索设备。

为了实现本发明的以上目的，这里提供一种适用于多媒体内容的数据库构造方法，该方法包括步骤：(a)经由电信网络存取提供多媒体内容的一任意站点；(b)通过结网(spidering)该站点调用多媒体内容；以及(c)根据存储的地址分类该多媒体内容并将其存储到一预先确定的数据库中。

此外，该多媒体内容可以为图像数据。

该地址最好为统一资源定位符(URL)。

该任意站点最好在一检索站点或一入口站点之间选择。

该步骤(b)最好还包括子步骤：(b-1)输入搜索字；(b-2)相应于与在具有输入的搜索字的检索结果的超文本标示语言(HTML)的网页数据中对应于多个子类对应的多个文本的多媒体内容的文件名的多个文本进行分析；以及(b-3)将具有相应于分析过的文本的地址的多媒体数据调用。

该方法最好在步骤(b-3)之前还包括：(p-b-3-1)当相应于该子类的文本在载入的HTML网页数据中分析时，访问相应的子类。

在步骤(b-2)中，最好将代表这些文本的特征的关键词与相应于该子类的文本和相应于该多媒体内容的文件名的文本一起在载入的HTML网页数据中进行分析。

该方法最好在步骤(b-3)之后还包括：(b-4)滤出所调用的图像中的噪声图像。

步骤(b-4)最好包括子步骤：(b-4-1)确定一调用图像的像素数是否等于或大于一预先确定的阈值；以及(b-4-2)当一调用图像的像素数等于或大于该预先确定的阈值时，索引相应的图像。

该阈值最好是128。

步骤(c)最好还包括子步骤：(c-1)降低该调用图像的分辨率；以及(c-2)根据该分类结构，将分辨率降低了的该图像存储在一预先确定的数据库中。

作为替换，在步骤(c)中最好使用该URL信息将存储该调用多媒体内容数据的网页的URL存储在一预先确定的数据库中。

作为替换，在步骤(c)中，最好将至少一个URL信息或关键词信息与关于各自图像上的信息一起存储在各自预先确定的数据库中，以便关键词能够链接到单个的图像。

为了实现本发明的另一目的，这里还提供适用于多媒体内容的一数据库构造方法，该方法包括步骤：(a)使用具有分类的结构的数据库存取提供多媒体内容的一任意站点；(b)通过结网该站点调用多媒体内容；以及(c)使用该分类的结构，将调用的多媒体内容数据存储到一预先确定的数据库中。

为了实现本发明的另一目的，这里还提供适用于多媒体内容的一数据库构造设备，该设备包括：网站访问器(web visitor)，用于存取提供多媒体内容的一任意站点，并且通过结网该站点调用多媒体内容；以及数据库，使用该站点的数据库的分类结构和存储调用的多媒体内容数据的地址，分类和存储调用的多媒体内容数据。

为了实现本发明的另一目的，这里还提供一种适用于多媒体内容的一检索方法，该方法包括步骤：(a)接收来自用户的、相应于将要搜索的查询图像的关键词；以及(b)在存储相应于单个的图像以及多个图像的一预先确定的数据库中检索相应于关键词的图像。

为了实现本发明的另一目的，这里还提供适用于多媒体内容的一检索设备，具有存储多个图像以及相应于单个图像的关键词的数据库；和检索单元，用于接收来自用户的、相应于查询图像的关键词；以及在该数据库中检索相应于该关键词的多媒体内容数据。

通过以下参考附图详细描述其优选实施例，将会更容易地理解本发明以上目的和优越性，其中：

图1是展示根据本发明的一实施例的、适用于多媒体内容的数据库构造设备的结构的框图。

图2是展示使用在图1的设备中的、根据本发明的一实施例的、适用于多媒体内容的数据库构造方法的主要步骤的流程图。

图3是展示使用在图1的设备中的、根据本发明的另一实施例的、适用于多媒体内容的数据库构造方法的主要步骤的流程图。

图4是展示根据本发明的一实施例的多媒体内容检索设备的结构的框图。以及

图5展示使用在图4的多媒体内容检索设备中的、根据本发明的一实施例的多媒体内容的检索方法的主要步骤的流程图。

以下参考附图详细描述本发明的实施例。本发明不局限于下列实施例，在本发明的精神和范围之内可能有多种变形。根据本发明的实施例是为了更完整地向本领域的普通技术人员解释本发明而提供的。

根据本发明，按语义分类多媒体内容以便有效地实施该检索或浏览。例如相应于“F-16战斗机”的多媒体内容可以分类到被称为“海湾战争”的分类中。对于这一点，用到了在检索站点中分类结构的优点。例如，诸如Yahoo^TM这样的检索站点具有分类的结构。例如如果点击了按“电影”分类的文本，则提供在以诸如“色情”、“动作”或“人文逸事”分类的文本格式中与电影有关的更详细的站点的收集的信息。此外，提供与各种电影相关的详细站点的地址。很好地实现这样的检索站点和入口站点语义分类。因此，本发明在制作适用于多媒体内容的数据库时，使用这样的检索站点和入口站点分类结构。

图1是展示根据本发明的一实施例的、适用于多媒体内容的数据库构造设备的框图。图2是展示使用在图1的设备中的、根据本发明的一实施例的、适用于多媒体内容的数据库构造方法的主要步骤的流程图。下列解释会经常参考图2。

对本实施例，取图像作为该多媒体内容的一实例。参考图1，根据本发明的实施例的、适用于多媒体内容的数据库构造设备10连接到万维网(WWW)12，它具有一网站访问器100、分析器102、过滤单元104、分辨率降低单元106、图像数据库1008、类别数据库110、关键词数据库112、统一资源定位符(URL)数据库114以及控制单元120。

现在解释该适用于多媒体内容的数据库构造设备的运行。首先，在步骤202中用户选择和访问一任意的检索站点，并且在步骤204中在该正在访问的主页，即将要构造的数据库的对象上点击用户感兴趣领域所对应的类别的文本。检索站点的内容分类具有一分类结构。在步骤206中，响应该用户点击，网站访问器100从该文本中装载一映射的超文本标记语言网页数据。接下来在步骤208中，分析器102分析相应于子类的文本，或者在本实施例中是相应于图像文件名的文本，例如带扩展名“.JPG”、“.GIF”或“.BMF”文本的多媒体内容。接下来在步骤210中确定分析过的文本是否包括在一子类中。当确定了分析过的文本包括在一子类中时，在步骤212中访问该子类并执行步骤206。同时，当分析相应于在装载的HTML网页数据中的图像的文件名的文本时，在步骤214中调用具有相应于分析过的文本的文件名的图像。在这样处理之后，网站访问器100分级访问该检索站点的网页并调用图像。这样的操作自动执行并且可以使用被称为网页机器人(web robot)的装置实现这种操作。即可以说该网页机器人站点通过结网所选择的URL和它的下级URL与所选择的URL关联。

此外，在步骤206中，分析器102最好分析展示该文本以及相应于图像的文件名的文本的特征的关键词。由于关键词一般是名词，所以可以使用已知的方法提取它们。

同时，在调用的图像中用来美化网站的图形等被看成噪声并且在索引时剔除。因此，过滤该调用的图像然后索引。在本实施例中，在步骤216中，过滤单元104确定一所调用的图像的像素数是否等于或大于128。当所调用的图像的像素数小于128时，在步骤218中将所调用的图像确定成一微缩图(thumb nail)，然后将所调用的图像过滤出并且不索引。当所调用的图像的像素数等于或大于128时，在步骤220中将所调用的图像确定成非微缩图并且该分辨率降低单元降低该图像的分辨率。

在步骤222中，将降低了分辨率的图像存储在图像数据库108中，并且将关于存储在图像数据库108中的图像的识别信息以及所访问的网页数据的类别信息都存储在类别数据库110中。

作为替换，未降低其分辨率的原始数据可以存储在该数据库中，而不用将所调用的图像存储到该数据库中，可以存储具有该图像的网页的URL，以使得可以链接相应的站点。此外，为了能够让关键词链接到各自图像，可以将相应于各自图像的关键词与存储在图像数据库中的各个图像上的信息一起存储到关键词数据库112中。

在步骤224中，控制单元120确定所索引的图像的数量是否等于或大于1,000。当所索引的图像的数量小于1,000时，输出一“低”电平控制信号，而当所索引的图像的数量等于或大于1,000时，输出一“高”电平控制信号。响应该输出一“高”电平控制信号，分析器102执行步骤208，而响应该“低”电平控制信号，完成分析。即当所索引的图像的数量等于或大于1,000时，完成对一站点的访问。

在根据本发明的实施例的、适用于多媒体内容的数据库构造方法中，使用相应的站点的类别信息，将位于分层地被访问的类别中的多媒体内容，例如降低了图像分辨率的微缩图，或者原始图，按语义分类和存储在相应的数据库中。

此外，在根据本发明的实施例的、适用于多媒体内容的数据库构造方法中，使用URL，并且考虑WWW上的站点的目录结构。例如，诸如Google^TM或Altavista^TM这样的检索站点提供基于URL而不是类别信息的检索。例如，当输入一搜索词“英式足球”时，提供与“英式足球”相关的站点地址作为搜索结果。即使当使用这些检索站点时，也提供与相应的搜索词按语义紧密相关的站点。

在根据本发明的另一实施例的、适用于多媒体内容的数据库构造方法中，能够进行这些检索站点的语义搜索的结构，被用于构造适用于多媒体内容的数据库。图3是展示使用在图1的设备中的、根据本发明的另一实施例的、适用于多媒体内容的数据库构造方法的主要步骤的流程图。参考图3，在根据本发明的另一实施例的、适用于多媒体内容的数据库构造方法中，首先在步骤302中，网站访问器100在选择该站点之后访问一任意检索站点。接下来，在步骤304中用户输入相应于要被构造的数据库的领域的搜索词。该搜索词相应于要包括在该数据库中的多媒体内容的识别符。接下来，在步骤306中网站访问器100接收相关于该输入搜索词的站点的地址，例如，具有URL信息的HTML网页数据。

接下来，在步骤308中，分析器102分析接收到的HTML网页数据中的站点的地址。在步骤310中，该网站访问器100分层地访问相应于分析过的地址的站点。然后在步骤312中该网站访问器100从正在访问的检索站点中装载根HTML网页数据。在步骤314中，分析器102分析被装载的HTML网页数据中的多媒体内容，在本实施例中例如为相应于图像文件名的文本，诸如带扩展名“.JPG”、“.GIF”或“.BMF”的文本。作为替换，可以使用用于HTML语言中的ALT标记符。由于这些图像的名称或ALT标记符由网站作者手工输入，所以图像的特征，一般来说，多媒体内容的特征相对好表达。

在步骤314中，分析器102页最好也分析代表所分析的文本的特征的关键词。因为关键词一般为名词，所以可能一已知的方法提取它们。

接下来，在步骤316中，网站访问器100调用相应于所分析的文本的图像数据。同时，将在所调用的图像数据中用于美化网站的图形看成噪声，并且必须在索引时剔除。因此，过滤单元104过滤所调用的图像，以滤出噪声图像。在本实施例中，在步骤318中，过滤单元104确定所调用的图像的像素数量是否等于或大于128。当所调用的图像的像素数量小于128时，在步骤320中将所调用的图像确定成一微缩图，然后将所调用的图像过滤出以便在索引时剔除它。当该所调用的图像的像素数等于或大于128时，在步骤322中分辨率降低单元106确定所调用的图像为非微缩图而是一图像，并且降低该图像的分辨率。在步骤324中，将降低了分辨率的图像存储在图像数据库108中，并且将存储在图像数据库108中的各自图像的信息以及所访问的网页数据的URL信息都存储在URL数据库中。

作为替换，未降低其分辨率的原始数据可以存储在该图像数据库108中，并且通过在该数据库中存储存储了该图像的网页的URL，而不是存储所调用的图像，可以链接相应的站点。最好将相应于各自图像的关键词与存储在图像数据库108中的各自图像上的信息一起存储到关键词数据库112中。

在步骤326中，控制单元120确定所索引的图像的数量是否等于或大于一预先确定的数。当所索引的图像的数量小于1,000时，网站访问器100根据步骤310从正在访问的检索站点装载根HTML网页数据。当所索引的图像的数量等于或大于1,000时，完成对一站点的访问。

同时，为了有效地检索图像，可以提取纹理特征和/或颜色以存储在各自的特征数据库(未在图中显示)中。这些特征可以由具有比例和方向系数的Gabor滤波器提取。例如当由具有3种比例系数和4种方向系数的一组Gabor滤波器构成的滤波器计算输入的图像的一特征向量，并且如果平均的一个分布用于该特征向量的分量时，该特征向量可以表达成下列等式1：

                 f_texture＝[t₁，t₂，t₂，…t₂₄，]……(1)使用该特征向量索引图像。在该特征数据库中，存储该特征向量和相应于该特征向量的图像信息。

类似地，可以提取颜色特征以存储在各自特征数据库中。可以从在CIELUV颜色空间中计算出来的颜色分布图表中提取展示颜色图元(primitive)的特征向量。例如，如果3维颜色空间的每一维都按四级进行量化，则可以将其表达成如下列等式2的64维颜色特征向量：

                 f_color＝[c₁，c₂，c₂，…c₆₄，]……(2)在该特征数据库中存储该特征向量和相应于该特征向量的图像信息。

在根据本发明的另一实施例的、适用于多媒体内容的数据库构造方法中，图像分辨率降低了的微缩图或原始图像都在使用相应的站点的URL信息按语义分类之后，存储在相应的数据库中，其中微缩图和原始图像都是从所访问的类别中调用的。存储调用图像的纹理和/或颜色特征到各自的特征数据库中。

在根据本发明的、适用于多媒体的数据库构造方法中，按语义分类和索引WWW上的多媒体内容。这样的适用于多媒体内容的数据库构造方法可以用于诸如电视新闻广播这样的多媒体内容，或者用于使用在线多媒体表达的商品清单。

虽然在以上实施例中示范了构造一个图像数据库，但本发明可以用于诸如声音片断以及具有声音的电影剪辑这样的各种多媒体内容。即本发明不局限于上述实施例，并且本发明的范围由附随的权利要求书确定。

在由根据上述描述的本发明的、适用于多媒体内容的数据库构造方法构造的数据库中，使用类别信息或URL信息很好地收集了分散在WWW上的多媒体内容，并且按语义很好地分类了该多媒体内容。因此，可以使用适用于多媒体的各种检索方法来有效地检索所要的多媒体内容。特别是，当(使用)根据本发明的、用于检索多媒体内容的方法时，可以有效地检索类似于多媒体数据中的查询数据的数据。

图4是展示根据本发明的一实施例的多媒体内容检索设备的结构的框图。参考图4，根据本发明的一实施例的多媒体内容检索设备经由WWW42连接到服务器44，以提供图像检索服务，该服务器经由因特网提供一种服务。

该多媒体内容检索设备具有一关键词检索单元402、一显示图像选择单元404、一图像显示单元406、一图像检索单元408、一用户接口410以及一用来与WWW42通信的网络服务器412。

服务器44具有由参考图2和3所解释的、适用于多媒体内容的数据库构造方法构造的一些数据库，即一图像数据库440、一类别数据库442、一URL数据库444以及一关键词数据库446。此外，服务器44还有一用于与WWW通信的网络服务器448。

图5展示使用在图4的多媒体内容检索设备中的、根据本发明的一实施例的多媒体内容的检索方法的主要步骤的流程图。图5时常被参考。在本实施例中，图像取成多媒体内容的一实例，并假设数据库使用根据参考图2解释过的本发明的实施例的、适用于多媒体内容的数据库构造方法构造。

参考图5，首先，在步骤502中接收相应于由一用户所要求的一查询图像的、来自用户的关键词。当用户要求检索带有查询图像、有一定形状的“鞋”时，用户在一计算机中运行存储了用于执行根据本发明所述多媒体内容检索方法的程序码的记录介质，并向位于显示在用户监视器上的运行屏幕上的一检索关键词空间输入关键词“鞋”。

接下来，关键词检索单元402经由网络服务器412，在服务器44的关键词数据库446中检索与所输入的关键词的相同词。当检索该相同的词时，从图像数据库440中调入链接到所检索的词的图像。通过这些处理后，在步骤504中，检索相应于所输入的关键词的图像。

同时，由于在数据库中存在很多图像，并且通过仅使用一个关键词在庞大的数据库中获得的所检索的图像可能包括实际上与所要的图像不相似的那些图像，所以仅使用一个关键词几乎不可能通过用一次检索检索到所要的图像。因此，用户最好用裸眼在所按所的图像中核对某些图像，并选择类似的图像来将所选择的图像反馈给图像检索单元408，以便再次执行检索。

对于这一点，在步骤504种，显示图像选择单元404从所检索的图像中间选择预先确定的数量的图像，并且在步骤506中，图像显示单元406为用户显示预先确定数量的所选择的图像。

接下来，用户通过用裸眼观察所显示的图像，选择一个或多个与用户要寻找的图像相似的图像，并且将那些图像确定为查询图像和提供关于它们的信息。在本实施例中，响应用户的输入，用户接口410选择多个鞋形图像并提供选择信息。通过这样的处理后，在步骤508中，图像检索单元408从该用户处接收关于候选的查询图像的信息，其中的图像是判决为视觉上相似于所要的图像的图像。

接下来，在步骤510中，图像检索单元408在该图像数据库中，检索在被确定为视觉上相似于该查询图像的候选的查询图像中至少在颜色特征、纹理特征和形状中的一特征相似的图像。

为了确定是否有两个图像，即该查询图像和所检索的图像真正相似，可以通过计算两个图像的特征向量的差异来获得相似性。在本实施例中，假设图像的特征向量存储在一特征数据库(未在图中显示)中。当k为纹理向量的长度时，两个图像I和j的纹理特征之间的差异可以由以下等式3获得： $d_{\mathrm{texture}}(i,j)=\underset{k=1}{\overset{24}{\mathrm{\Σ}}}|t_k^{\left(i\right)}-t_k^{\left(j\right)}|......\left(3\right)$ 此外，当k为颜色向量的长度时，两个图像I和j的颜色特征之间的差异可以通过计算两个特征向量的欧氏(Euclidean)距离，使用下列等式4获得： $d_{\mathrm{color}}(i,j)={\left(\underset{k=1}{\overset{64}{\mathrm{\Σ}}}{(c_k^{\left(i\right)}-c_k^{\left(j\right)})}^2\right)}^{1/2}......\left(4\right)$ 确定与已给的查询图像的特征向量相比具有最小差异的特征向量的图像为所检索的图像。

当要检索的图像是一原始图像时，所检索的图像按原样提供给用户。当要检索的图像是微缩图时，所检索的图像的URL，即相应于该微缩图的原始图像的URL将在具有相应于该URL的站点经由因特网连接上之后，被用于调用该原始图像，然后给用户提供该原始图像。这时，可以将该URL信息与微缩图一其存储在图像数据库422中。

在基于内容检索时，用户选择有关的查询图像的一个集合R。依据在颜色空间中收集这样的图像集合的紧密程度确定颜色和纹理特征的相对加权值。即当|R|为该查询收集的图像数量时，该加权值通过下列等式5和6获得： ${\stackrel{-}{d}}_{\mathrm{texture}}=\frac{1}{\left|R\right|}\underset{i,j\∈R}{\mathrm{\Σ}}{d}_{\mathrm{texture}}(i,j)......\left(5\right)$ ${\stackrel{-}{d}}_{\mathrm{color}=\frac{1}{\left|R\right|}\underset{i,j\∈R}{\mathrm{\Σ}}{d}_{\mathrm{color}}(i,j).....\left(6\right)}$ 接下来，当ε为用来防止任何一个特征极其显著的预先确定的小值时，该加权值可以经由下列等式7和8来获得： $W_{\mathrm{texture}}=\frac{1}{{\stackrel{-}{d}}_{\mathrm{texture}}+\mathrm{\ϵ}}......\left(7\right)$ $W_{\mathrm{color}}=\frac{1}{{\stackrel{-}{d}}_{\mathrm{color}}+\mathrm{\ϵ}}......\left(8\right)$

当N是一预先确定的正数时，可以通过计算下列等式9获得N的最近的近邻：

           d(·，·)＝w_textured_texture(·，·)＋w_colord_color(·，·)……(9)

一般来说，查询由纹理特征向量和颜色特征向量的单一对指定。因此，在本实施例中，当选择多个查询图像时，使用该特征向量和颜色特征向量的平均。即通过下列等式10和11获得该值： ${\stackrel{-}{f}}_{\mathrm{texture}}=\frac{1}{\left|R_q\right|}\underset{i\∈R}{\mathrm{\Σ}}{f}_{\mathrm{texture}}^{\left(i\right)}......\left(10\right)$ ${\stackrel{-}{f}}_{\mathrm{color}}=\frac{1}{\left|R_q\right|}\underset{i\∈R}{\mathrm{\Σ}}{f}_{\mathrm{color}}^{\left(i\right)}......\left(11\right)$ 基于内容的检索可以推广如下。在使用特征向量f_texture和f_color的一单一查询图像中，首先，当i为1，…，N/2和i≤j时，假设下列条件12和13满足： $d_{\mathrm{texture}}(f_{\mathrm{texture}},s_{\mathrm{texture}}^{\left(i\right)})\≤d_{\mathrm{texture}}(f_{\mathrm{texture}},s_{\mathrm{texture}}^{\left(j\right)})......\left(12\right)$

                (Here，x∈S_texture) $d_{\mathrm{texture}}(f_{\mathrm{texture}},s_{\mathrm{texture}}^{(N/2)})\≤d_{\mathrm{texture}}(f_{\mathrm{texture}},x_{\mathrm{texture}}^{\left(j\right)})......\left(13\right)$ 然后可使用下列等式14：

                S_texture＝{S⁽ⁱ⁾}……(14)第二，当i为1，…，N/2和i≤j时，假设下列条件15和16满足： $d_{\mathrm{color}}(f_{\mathrm{color}},s_{\mathrm{color}}^{\left(i\right)})\≤d_{\mathrm{color}}(f_{\mathrm{color}},s_{\mathrm{color}}^{\left(j\right)})......\left(15\right)$

                (Here，x∈S_color) $d_{\mathrm{color}}(f_{\mathrm{color}},s_{\mathrm{color}}^{(N/2)})\≤d_{\mathrm{color}},(f_{\mathrm{color}},x_{\mathrm{color}}^{\left(j\right)})......\left(16\right)$ 然后可使用下列等式17： $s_{\mathrm{color}}=\left\{s^{\left(i\right)}\right\}......\left(17\right)$

此外，在具有f_texture和f_color的多个查询图像中，当i为1，…，N/2和i≤j时，假设下列条件18和19满足： $d(({\stackrel{-}{f}}_{\mathrm{texture}},{\stackrel{-}{f}}_{\mathrm{color}}),(s_{\mathrm{texture}}^{\left(i\right)},s_{\mathrm{color}}^{\left(i\right)}))\≤d(({\stackrel{-}{f}}_{\mathrm{texture}},{\stackrel{-}{f}}_{\mathrm{color}}),(s_{\mathrm{texture}}^{\left(j\right)},s_{\mathrm{color}}^{\left(j\right)}))......\left(18\right)$

                      (Here，x∈S_texture) $d(({\stackrel{-}{f}}_{\mathrm{texture}},{\stackrel{-}{f}}_{\mathrm{color}}),({\stackrel{-\left(N\right)}{s}}_{\mathrm{texture}},{\stackrel{-\left(N\right)}{s}}_{\mathrm{color}}))\≤d(({\stackrel{-}{f}}_{\mathrm{texture}},{\stackrel{-}{f}}_{\mathrm{color}}),(x_{\mathrm{texture}},x_{\mathrm{color}}))......\left(19\right)$ 然后可使用下列等式20：

                      S＝{S⁽ⁱ⁾}………(20)

接下来，显示图像选择单元404再从所检索的、至少颜色特征、纹理特征和形状之一相似的图像中间选择预先确定的数量的图像，并且在步骤512中，图像显示单元406为用户显示预先确定数量的所选择的图像。这里，检索范围最好限制在该查询图像的类别和邻近类别之内。

当该数据库根据适用于多媒体内容的、根据参考图4解释的本发明的第二实施例的数据库构造方法构造时，检索范围最好限制在该查询图像URL和邻近URL之内。检索的目标图像可以是原始图像也可以是通过降低该原始图像的分辨率获得的微缩图。当该检索目标图像是原始图像时，可以更精确地实现检索，但检索时间会依据数据量和***性能延长。当该检索目标图像是微缩图时，精确度降低但检索时间缩短。因此，可以根据目的适当地管理数据库。

响应用户的输入，当用户通过用裸眼观察所显示的图像时，用户接口410选择一个或多个被确定为与用户所要的图像相似的图像，并且提供被确定为视觉上相似于该查询图像的图像的信息。通过这样的处理后，图像检索单元408再次从该用户处接收被确定为视觉上相似于该查询图像的图像的信息。再次接收到的图像看成候选查询图像。接下来，图像检索单元408再次在该图像数据库422中检索那些图像，其中至少那些图像的颜色特征、纹理特征和形状之一视觉上相似于该查询图像。即在步骤514中，确定是否检索到所要的图像，当未检索到所要的图像时，重复执行步骤508至512。这里，检索范围最好限制在该查询图像的类别和邻近类别之内。

该多媒体内容检索方法能够在收集存储多媒体内容的数据库中快速检索所要的图像。

该适用于多媒体内容的数据库构造方法和检索方法可以写成运行于个人计算机或服务器类计算机的程序。构成该程序的程序代码和代码段可以由该领域的计算机程序员轻而易举地写出。该程序可以存储在计算机可读记录介质中。该记录介质包括磁记录介质、光记录介质和无线电波介质。

如上所述，根据本发明的、适用于多媒体内容的数据库构造方法，使用相应的站点的类别信息，按语义分类多媒体内容，并将它们存储在相应的数据库中。在由根据本发明的、适用于多媒体内容的数据库构造方法构造的数据库中，很好地收集了分散在WWW上的多媒体内容，并且使用类别信息或URL信息按语义很好地分类该多媒体内容。因此，可以使用用来检索多媒体内容的各种方法，使得快速有效地检索所要的多媒体内容。

Claims (53)

1.一种适用于多媒体内容的数据库构造方法，该方法包括步骤：

(a)经由电信网络存取提供多媒体内容的一任意站点；

(b)通过结网该站点调用多媒体内容；以及

(c)根据存储的地址分类该多媒体内容并将其存储到一预先确定的数据库中。

2.如权利要求1的数据库构造方法，其中该多媒体内容为图像数据。

3.如权利要求1的数据库构造方法，其中该地址为统一资源定位符。

4.如权利要求1的数据库构造方法，其中该任意站点在一检索站点或一入口站点之间选择。

5.如权利要求4的数据库构造方法，其中该步骤(b)还包括子步骤：

(b-1)输入搜索字；

(b-2)在具有关于输入的搜索字的检索结果的超文本标示语言的网页数据中，与对应于多个子类的多个文本的多媒体内容的文件名对应的多个文本进行分析；以及

(b-3)将具有相应于分析过的文本的地址的多媒体数据调用。

6.如权利要求5的数据库构造方法，在步骤(b-3)之前还包括：

(p-b-3-1)当相应于该子类的文本在载入的HTML网页数据中分析时，访问相应的类别。

7.如权利要求5的数据库构造方法，其中在步骤(b-2)中，将代表这些文本的特征的关键词与相应于该子类的文本和相应于在该多媒体内容的文件名的文本一起载入的HTML网页数据中进行分析。

8.如权利要求5的数据库构造方法，其中该多媒体内容为图像数据。

9.如权利要求8的数据库构造方法，在步骤(b-3)之后还包括：

(b-4)滤出所调用的图像中的噪声图像。

10.如权利要求9的数据库构造方法，其中步骤(b-4)还包括子步骤：

(b-4-1)确定一调用图像的像素数是否等于或大于一预先确定的阈值；以及

(b-4-2)当一调用图像的像素数等于或大于该预先确定的阈值时，索引相应的图像。

11.如权利要求10的数据库构造方法，其中该阈值是128。

12.如权利要求4的数据库构造方法，其中步骤(c)还包括子步骤：

(c-1)降低该调用图像的分辨率；以及

(c-2)根据该分类结构，将分辨率降低了的该图像存储在一预先确定的数据库中。

13.如权利要求3的数据库构造方法，其中在步骤(c)中使用该URL信息将存储该调用多媒体内容数据的网页的URL存储在一预先确定的数据库中。

14.如权利要求7的数据库构造方法，其中在步骤(c)中，将至少一个URL信息或关键词信息与关于各自图像上的信息一起存储在各自的预先确定的数据库中，以使得关键词能够链接到单个的图像。

15.一种适用于多媒体内容的数据库构造方法，该方法包括步骤：

(a)使用具有分类的结构的数据库存取提供多媒体内容的一任意站点；

(b)通过结网该站点调用多媒体内容；以及

(c)使用该分类的结构，将该调用的多媒体内容数据存储到一预先确定的数据库中。

16.如权利要求15的数据库构造方法，其中该多媒体内容为图像数据。

17.如权利要求15的数据库构造方法，其中该步骤(b)还包括子步骤：

(b-1)从正在访问的站点中装载根HTML网页数据；

(b-2)分析相应于一子类别或相应于被装入的网页数据中的多媒体内容的文件名的多个文本；以及

(b-3)调用相应于分析过的文本的地址的多媒体内容数据。

18.如权利要求17的数据库构造方法，在步骤(b-3)之前还包括：

(p-b-3-1)当相应于该子类的文本在载入的HTML网页数据中分析时，访问相应的子类。

19.如权利要求17的数据库构造方法，其中在步骤(b-2)中，将代表这些文本的特征的关键词与相应于该子类的文本或相应于该多媒体内容的文件名的文本一起进行分析。

20.如权利要求15的数据库构造方法，其中该多媒体内容为图像数据。

21.如权利要求20的数据库构造方法，在步骤(b-3)之后还包括：

(b-4)滤出所调用的图像中的噪声图像。

22.如权利要求21的数据库构造方法，其中步骤(b-4)还包括子步骤：

(b-4-1)确定所调用图像的像素数是否等于或大于一预先确定的阈值；以及

(b-4-2)当所调用图像的像素数等于或大于该预先确定的阈值时，索引相应的图像。

23.如权利要求22的数据库构造方法，其中该阈值是128。

24.如权利要求15的数据库构造方法，其中步骤(c)还包括子步骤：

(c-1)降低所调用的图像的分辨率；以及

(c-2)使用所分类的结构，将分辨率降低了的该图像存储在一预先确定的数据库中。

25.如权利要求15的数据库构造方法，其中在步骤(c)中使用所分类的结构，将存储所调用的多媒体内容的网页的URL存储在一预先确定的数据库中。

26.如权利要求15的数据库构造方法，其中在步骤(c)中，将至少一个URL信息或关键词信息与关于单个图像上的信息一起存储在各自的、预先确定的数据库中。

27.一种适用于多媒体内容的数据库构造设备，该设备包括：

网站访问器，用于存取提供多媒体内容的一任意站点，并且通过结网该站点调用多媒体内容；以及

数据库，用于使用存储调用的多媒体内容数据的站点或地址的数据库的该分类的结构，来分类和存储该调用的多媒体内容数据。

28.如权利要求27的数据库构造设备，其中该网站访问器选择和访问一任意站点；从正在访问的检索站点中装载根HTML网页数据；在被装入的网页数据中分析了相应于该子类别的文本之后，访问相应的子类别；以及分层地***在该HTML网页数据上并且具有相应于已分析的文本的地址的其它网页或站点。

29.如权利要求27的数据库构造设备，其中该多媒体内容为图像数据。

30.如权利要求27的数据库构造设备，还包括：

过滤单元，用来滤出所调用的图像中的噪声图像。

31.如权利要求30的数据库构造设备，其中该过滤单元基于图像的像素数滤出噪声图像。

32.如权利要求31的数据库构造设备，其中该过滤单元确定所调用的图像的像素数是否等于或大于一预先确定的阈值；以及当所调用的图像的像素数小于该预先确定的阈值时，滤出相应的图像。

33.如权利要求29的数据库构造设备，其中该分析器分析代表这些文本的特征的关键词以及该多媒体内容的文件名。

34.如权利要求27的数据库构造设备，还包括：

分辨率降低单元，用于降低图像的分辨率。

35.如权利要求27的数据库构造设备，还包括：

控制单元，用来输出控制信号，其中确定所索引的多媒体内容的数量是否等于或大于一预先确定的数量，并当所索引的多媒体内容的数量等于或大于该预先确定的数量时，该控制信号具有第一预先确定的逻辑电平，而当所索引的多媒体内容的数量小于该预先确定的数量时，该控制信号具有第二预先确定的逻辑电平。

36.如权利要求35的数据库构造设备，其中响应具有第一预先确定的逻辑电平的控制信号，该分析器完成分析，而响应具有第二预先确定的逻辑电平的控制信号，该分析器分析相应于链接在该HTML网页数据中的其它网页或站点的地址的文本。

37.如权利要求27的数据库构造设备，其中该数据库包括至少下列数据库之一：

第一数据库，用来存储类别信息；

第二数据库，用来存储URL信息；

第三数据库，用来存储关键词列表；以及

第四数据库，用来存储由存储在该第一数据库、第二数据库和第三数据库中的信息所索引的多媒体内容。

38.如权利要求37的数据库构造设备，其中第四数据库使用存储在第一数据库、第二数据库和第三数据库中的信息，存储关于存储所索引的多媒体内容的URL的信息。

39.如权利要求37的数据库构造设备，其中存储在第四数据库中的多媒体内容是通过降低原始图像的分辨率所产生的微缩图。

40.一种适用于多媒体内容的检索方法，该方法包括步骤：

(a)接收来自用户的、相应于所要搜索的查询图像的关键词；以及

(b)在存储相应于单个图像以及多个图像的关键词的一预先确定的数据

库中检索相应于关键词的图像。

41.如权利要求40的检索方法，其中该多媒体内容是图像，并且还包括步骤：

(c-1)将所检索的图像中的多个图像显示给用户；

(c-2)从用户处接收关于被确定为视觉上相似于该查询图像的图像的信息；以及

(c-3)在数据库中的、被确定为视觉上相似于该查询图像的图像中，检索至少颜色特征、纹理特征和形状之一相似的图像。

42.如权利要求41的检索方法，其中该多个图像是通过降低原始图像的分辨率所获得的微缩图。

43.如权利要求40的检索方法，其中预先确定数据库按类别存储该多个图像，并且步骤(b)还包括子步骤：

(b-1)检索代表该查询图像的类别；以及

(b-2)在所检索的类别的图像中的、被确定为视觉上相似于该查询图像的图像中间，检索至少颜色特征、纹理特征和形状之一相似的图像。

44.如权利要求40的检索方法，其中步骤(b)还包括子步骤：

(b-1)在整个关键词数据库中检索与所输入的关键词相同的词；以及

(b-2)当检索到与所输入的关键词相同的词时，通过从该图像数据库中调用链接到所检索的词的图像，来检索相应于所输入的关键词的图像。

45.如权利要求44的检索方法，其中步骤(b)的子步骤(b-2)之后还包括子步骤：

(b-3)在所检索的图像中选择预先确定数量的图像之后，将预先确定数量的所选择的图像显示给用户；

(b-4)从用户处接收关于被确定为视觉上相似于所要的图像的查询图像的信息；以及

(c-5)在该图像数据库的、确定为视觉上相似于该查询图像的图像中间，检索至少颜色特征、纹理特征和形状之一相似的图像。

46.如权利要求40的检索方法，其中检索范围限制在该查询图像的类别和邻近类别之内。

47.如权利要求40的检索方法，其中检索范围限制在该查询图像的URL和邻近的URL之内。

48.一种适用于多媒体内容的检索设备，包括：

数据库，用来存储多个图像以及相应于各个图像的关键词；和

检索单元，用于接收来自用户的、相应于查询图像的关键词，并在该数据库中检索相应于该关键词的多媒体内容数据。

49.如权利要求48的检索设备，其中该检索单元包括：

关键词检索单元，用来在整个数据库中检索与所输入的关键词相同的词，并且通过在检索到与输入的关键词相同的词后，调用链接到所检索的词的多媒体内容，来检索相应于所输入的关键词的多媒体内容。

50.如权利要求48的检索设备，其中该多媒体内容是图像，并且该检索单元还包括：

图像检索单元，用来从该用户处接收关于被确定为真正地相似于所要图像的该查询图像的信息，并且在该图像数据库中被确定为真正地相似于该查询图像的图像中间，检索至少颜色特征、纹理特征和形状之一相似的图像。

51.如权利要求48的检索设备，其中该多媒体内容是图像，并且该检索单元还包括：

用户接口，用来响应用户的输入，选择多个用户所要的图像，并提供选择信息；

显示图像选择单元，用来在所选择的图像中间选择预先确定的数量的图像；以及

图像显示单元，用来为用户显示预先确定数量的所选择的图像。

52.如权利要求48的检索设备，其中的数据库包括至少下列之一：

图像数据库，用来存储单个图像；以及

关键词数据库，用来存储相应于单个图像的关键词以及关于存储在该图像数据库中的单个图像的信息。

53.如权利要求48的检索设备，其中的数据库包括至少下列之一：

图像数据库，用来存储单个图像；以及

类别数据库，用来存储正在访问的网页的数据的类别信息以及关于存储在该图像数据库中的单个图像的信息。

Images