CN101263496A - 利用符号表示空间访问数据的方法和装置 - Google Patents

利用符号表示空间访问数据的方法和装置 Download PDF

Info

Publication number
CN101263496A
CN101263496A CNA2006800339300A CN200680033930A CN101263496A CN 101263496 A CN101263496 A CN 101263496A CN A2006800339300 A CNA2006800339300 A CN A2006800339300A CN 200680033930 A CN200680033930 A CN 200680033930A CN 101263496 A CN101263496 A CN 101263496A
Authority
CN
China
Prior art keywords
symbol
data item
data
image
described method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800339300A
Other languages
English (en)
Inventor
斯塔夫罗斯·帕斯卡勒基斯
罗伯特·J·奥卡拉汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Mitsubishi Electric Information Technology Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN101263496A publication Critical patent/CN101263496A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7335—Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/743—Browsing; Visualisation therefor a collection of video files or sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种利用符号的n维阵列浏览数据项的方法，其中，n大于或等于1，每一个符号都对应于至少一个数据项，所述方法使用可移动通过所述n维阵列并且能够在包含不存在符号的位置的所述阵列中选择多个点的选择装置，所述方法包括以下步骤：根据所述选择装置的位置选择至少一个符号和对应数据项。

Description

利用符号表示空间访问数据的方法和装置
技术领域
本发明涉及浏览和访问非常大量的诸如图像和视频剪辑的数据的方法和装置。
背景技术
为了浏览一组诸如图像或视频的数据，可以采用的最简单方案是一次向用户示出一个或更多个条目，并且允许用户利用一些定向控制来移动至下一个或前一个条目，直到识别出这些条目或感兴趣的条目为止。然而，这种简单的线性导航方案在诸如先进数字摄像机或智能数字视频录像和编辑***的现代数字成像和视频设备的环境下日益变得不够灵活。
在2002年10月3日公开的由惠普公司的Gargi提出的专利申请US2002/0140746 A1，“Image Browsing using Cursor Positioning”中，提出了一种用于浏览图像的方法。根据该发明，向用户呈现可用图像的子集，作为图像栈。图像栈是一系列部分重叠图像。通过使光标或指针悬停在图像栈上，单个栈图像变得活动或完全可视，例如，通过“凸起”在所述栈上方或通过显示在显示器的不同区域中。然后，可以选择活动栈图像以在显示器的不同区域中“持久”观看(即，与指针的光标的位置无关)。如果用户没有在栈中识别出感兴趣的图像，则该用户可以移至下一个栈或前一个栈。因而，该发明着重依靠栈中图像部分重叠，以增加可以在任意一次放置在显示单元上的图像的数量。重叠的程度为必须使得该发明的用户仍然可以访问该栈的全部内容，随后通过使光标或指针悬停在可能感兴趣的图像上方从而进一步仅对这些图像进行检查。这些要求对图像重叠的程度有很大限制。例如，假设显示单元可以正常显示三个相同大小的完整图像。那么，将各图像的40％“隐藏”在前一图像下方以形成图像栈会使显示单元的容量增加两个图像，使其容量增至总计五个图像。因而，对于可以容纳1000个图像的数字摄像机来说，用户可能需要访问多达200个单独栈以识别一个图像。增加重叠的量会使图像栈的数量减少，但这样的话用户将不能在单个视图中估计(assess)各栈的内容，而必须使光标悬停在大多数(如果不是全部的话)栈图像上。而且，根据US 2002/0140746A1，用户可以针对所有图像人工地创建并维护一个目录树，并随后针对该目录树的特定部分浏览图像栈。然而，这只是减轻了栈仅扩散(proliferation)到至多一个点的问题。例如，根据先前示例，100个图像的目录将导致20个图像栈，这对于有效浏览来说仍然太多。更详细的目录树将进一步减轻该问题，但这将导致多个其它问题。首先，有效显示并导航实际图像数据的问题将被有效显示并导航目录树本身的问题代替。另外，人工创建并维护这种目录树对于用户来说较麻烦。而且，几乎可以肯定的是，用户将反复地拍摄新图像、删除旧图像并确定现有目录树不足以表示图像数据，在这种情况下，他们将必须人工重新创建它。而且，事实上，当可以按多种方式组织图像数据并且类别之间的边界通常不清晰时，为了创建详尽的目录树，用户需要将图像数据分成不同的子目录和类别。因而，该发明改进了简单线性导航方案，但仅仅进行了有限改进。
在2003年5月8日公开的由惠普公司的Stavely和Battles提出的专利申请US 2003/0086012 A1，“Image Browsing User Interface Apparatusand Method”中，提出了用于浏览图像的另一方法。根据该发明，将多个图像组织成单个图像和多组图像，其中，一组图像可以包含一个视频的所有帧或在单个连拍(burst)中拍摄(capture)的所有图像，或者可以是用户定义的。每一组图像都用可以自动或人工确定的优选图像来表示。单个图像和优选图像形成主图像集。出于浏览的目的，显示单元可以在网格中显示一组缩略图，例如，在3×3网格中显示9个缩略图。沿固定方向的一条线(例如，缩略图的中间水平线)显示主图像，并且用户可以利用水平方向控制按钮从一个主图像移至下一个或前一个。如果当前主图像是一组中的优选图像而不是单个图像，则存在“浮”在其上和其下的缩略图，并且用户可以利用垂直方向控制按钮移动通过该组中的图像。在另选实施方式中，用户使用垂直方向控制按钮以简单地“移入移出”组，并且使用水平方向控制按钮移动通过一组中的图像。因此，该方法也是对简单线性导航方案的有限改进。为了识别感兴趣的数据，用户可能必须移动通过整个主图像列表并且可能移动通过一个或更多个图像组的部分。应注意到，虽然创建图像组可以提高导航的效率，但在导航期间节省的时间将花费在对用户定义的组的人工创建和维护上，这是在数据随时间而发生改变时需要不断重复进行的麻烦处理。而且，如前所述，当实际上对数据的分离不可行或者不希望对数据进行分离时，对图像分组可能在特定环境下有用但需要用户对数据执行严格的分离。
在2002年6月20日公开的由伊斯曼柯达公司(EASTMAN KODAKCOMPANY)的Rosenzweig和Prabhu提出的专利申请US 2002/0075322A1，“Timeline-B ased Graphical User Interface for Efficient Image DatabaseBrowsing and Retrieval”中，提出了用于浏览图像的另一方法。该浏览方法可以分级为至少三个等级。顶级包括根据图像的拍摄时间(例如，根据拍摄年份)创建的图像组，并且那些组按1维时间线组织。每一个组都由图标表示，图标的大小与该组中的图像数量成比例。这些组中的选定组允许用户移至第二级并且观看在另一1维时间线(例如，根据拍摄的月份)上将选定组分成子组。这些子组也由其大小与该子组中的图像数量成比例的图标表示。在第二级处还可以使用其它分组准则，如拍摄的位置、基于由机载GPS或人工输入而创建的元数据、图片中感兴趣的人、再次基于自动或人工创建的元数据等，以创建其它1维排序的显示隐喻(display metaphor)。接着，选择子组中的一个可以导致将其组成图像按网格形式显示为缩略图，或者根据某一准则显示次子组的第三显示隐喻，第三显示隐喻仍可以具有在其下方的另一显示隐喻等。而且，用户可以在任何点决定停止横移该层级(hierarchy)并且在屏幕上简单显示给定组或子组的所有图像。因而，该发明允许用户以“拍摄的日期/时间”准则开始每次利用单个准则来导航一组图像，其中该组图像使用根据多个准则对该组进行的层级分解。虽然改进了简单线性导航处理，但该方法存在一些缺点。事实上，当图像数据可以按多种方式组织并且类别之间的边界通常“模糊”时，为了实现层级分解，图像必须被分成不同类别。例如，根据拍摄时间的分类(即，针对06:00-12:00的图像一类、针对12:00-18:00的图像一类等)高度人工化，并且导致在中午附近的单一时段中拍摄的图像被分成两种不同类别。类似的是，根据图像描绘的人进行分类(即，针对人1一类、针对人2一类等)没有考虑在该图像中有多少人、背景等。另一方面，如果层级包含过少类别，则不会对简单线性导航方案提供任何显著改进。
由闪点技术公司(FlashPoint Technology Inc.)的Anderson在2003年3月25日提出的专利US 6538698B1，“Method and System for SortingImages in an Image Capture Unit to Ease Browsing Access”中，提出了用于浏览图像的另一方法。该方法也基于对图像的分组来扩展简单线性导航方案的。更具体地说，该发明依靠根据自动或人工创建的元数据(如拍摄时间、图像中拍摄的场合等)而分组的可用图像数据。接着，按顺序向用户呈现图像，并且用户可以从一个图像导航至下一个或前一个图像，或者从一组跳跃至下一组或前一组。如较早所述，伴随这种方法的一个问题在于，当实际上对数据的分离不可行或者不希望对数据进行分离时，对图像分组可能在特定环境下有用但需要用户对数据执行严格的分离。另外，即使已经成功地将图像分组，为了识别感兴趣的数据，用户也必须线性地移动通过整个组列表，并且可能移动通过一个或更多个图像组的部分。
发明内容
本发明致力于解决如上所述的现有技术中的问题。
在所附权利要求中阐述了本发明的多个方面。
本发明的一实施方式包括：给定一组数据(如图像或视频)，利用符号表示数据或多组数据；在符号表示空间中排列所述符号并且向用户显示所述符号表示空间；允许用户将指针或光标移至所述符号表示空间的任何部分；当接收到用户输入时或自动地，标记基于所述光标在所述符号表示空间中的位置而认为相关的那些符号；以及当接收到用户输入时或自动地，优选地连同符号表示空间一起，显示与高亮符号对应的数据。
本发明的实施方式的优点包括：允许用户观看数据的全局表示、按非线性方式访问特定数据、定位并观看感兴趣的数据而不会忽略全局表示空间，以及容易地获知数据之间的相互关系和所述全局表示，以随着他们变得更加熟悉本方法和装置而进一步提高他们浏览的容易性和速度。当***的显示单元的能力不足以显示所有可用数据时，本发明特别有用，以使用户能够快速地识别并观看特别感兴趣的数据。
附图说明
下面，将参照附图对本发明的实施方式进行说明，其中：
图1示出了第一符号表示空间；
图2示出了第二符号表示空间；
图3示出了第三符号表示空间；
图4示出了浏览装置；
图5-7例示了利用图4的装置和图1的表示空间的浏览方法；
图8例示了利用另选显示格式的浏览方法；
图9例示了利用另一另选显示格式的浏览方法；
图10例示了利用又一另选显示格式的浏览方法；
图11例示了显示与不同符号类型对应的图像的浏览方法；
图12例示了图1的符号表示空间的变型；
图13-15例示了利用图4的装置和图2的表示空间的浏览方法；
图16例示了利用另选显示格式的浏览方法；
图17-21例示了利用图4的装置和图3的表示空间的浏览方法。
具体实施方式
在本发明的一个实施方式中，要浏览的数据集包括可视数据，如图像或视频段。例如，本发明可以在数字图像和/或视频摄像机内部实现，以允许有效地浏览用户拍摄并存储在该摄像机的存储器中的图像和/或视频。作为另一示例，本发明可以在诸如数字视频录像机的智能数字视频编辑装置内部实现，以允许有效地浏览许多视频或单一视频的不同段。然而，应注意到，这些示例都仅是出于例示目的，而非对本发明的范围的任何形式的限制。
出于例示的目的，该说明将集中于对可视数据的表示和浏览。然而，本领域技术人员将理解，本发明可用于浏览其它类型的数据，如音频数据或视听数据，或混合数据类型。
利用符号来表示数据项。对符号可能是什么没有限制。例如，在本发明的一个实施方式中，符号是任何颜色的单个像素。在本发明的另一实施方式中，符号是任何颜色的一组像素并且可以是任何形式。在本发明的又一实施方式中，符号是一组像素，优选地是以紧凑形式，其颜色表示它代表的图像或视频数据项的主色。在视频数据项的情况下，主色可以与单个帧(例如第一帧或关键帧)或多个帧有关，或者可以是整个视频中的主色。在本发明的又一实施方式中，符号是它表示的图像或视频数据项的二次采样或缩略图形式。在视频数据项的情况下，缩略图可以对应于视频的单个帧(例如，第一帧或关键帧)，或者可以是多个帧的嵌入，或者可以是其本身权利内的视频项。在本发明的又一实施方式中，符号是所期望语义含义的图标或图形。
类似的是，符号还可以被用于表示全部组的数据项。
在利用符号表示包括多个数据项的数据集时，本发明的不同实施方式可以使用单个或多个符号类型。
符号的主要目的是允许向本发明的用户有效地呈现数据集。因而，符号实际上不会替换它们表示的数据，而是与数据(例如，元数据)共存。在本发明的一优选实施方式中，人工地和/或自动地选择和/或调节符号的类型(例如，图形化图标或主色像素组)和符号类型的特定体现(例如，大或小)，以便于向用户有效地呈现数据集。
向用户呈现数据集是经由符号表示空间来实现的。符号表示空间是对表示数据项的符号的n维空间排列，其中n≥1。
在本发明的一个实施方式中，符号表示空间中的数据符号的排列部分地或完全地取决于数据项之间的相互关系，例如，每一个数据项与至少一个其它数据项之间的相似性。
图1示出了完全取决于数据项之间的相互关系的2维符号表示空间10。在该例示中，使用了两个符号类型，即，小圆形20和小方形30。在本发明的一个实施方式中，可以如下创建这种符号表示空间。
首先，通过适当的自动算法分析数据项，以提取每一个目标的数字描述。例如，对于图像和视频，可以通过分析图片的颜色、纹理或其它可视特征获得这些描述。接着，可以基于该数字描述导出符号表示。例如，可以将描述的值用作表示空间中的坐标。如果表示的维数小于描述的维数，则可以应用诸如主成分分析(PCA)的数学方法将该维数减小至期望程度。
作为在表示空间中直接嵌入每一项的数字描述的另选方案，可以进一步处理该描述，以提取最显著的相互关系。在一个过程中，计算表示多对数据项之间的比较结果的数值。例如，在数字描述捕获(capture)可视特征的情况下，每一个数值将表示两个图像的可视相似性。这种相似性可以通过最适于数据项的描述或类型的方法来计算。
对于一组数据项，接着，可以将这些比较结果排列成方形矩阵，该方形矩阵对与多项之间的相互关系有关的所有信息进行编码。可以将多种数学方法用于分析这种矩阵，以生成每一项在适当的符号空间中的坐标。所得到的符号空间捕获条目的视图，即，在某种意义上，对于相似性数据是最优的。这种算法的示例包括多维标度(MDS)、自组织图(SOM)以及拉普拉斯特征映射(Laplacian Eigenmap)。
可以对该过程进行扩展，从而允许向该集合增加条目，或对表示进行有效计算。
上述方法的示例在标题为“Mutual-Rank Similarity Space forNavigating in Image Databases”，代理卷号J47859EP的未决申请中进行了说明，通过引用将其内容合并于此。
应注意到，因为在该实施方式中数据符号的排列仅取决于它们的下层数据项之间的相互关系，所以符号在该空间中的绝对位置并不重要，而重要的是它们彼此的相对位置。这就是图1的符号表示空间为什么没有坐标轴的原因。
在本发明的另一实施方式中，数据符号在符号表示空间中的排列部分地或完全地取决于特定元数据的值或与每一个数据项有关的信息，例如，平均亮度级(intensity level)或拍摄时间。
图2示出了2维符号表示空间40，其完全取决于特定元数据的值或与每一个数据项有关的信息。在该例示中，使用了三个符号类型，即，表示图像数据的图形图标70、表示视频数据的图形图标80、以及用于图像或视频数据的微型缩略图90。存在x(水平)轴50和y(垂直)轴60可以映射到的大量元数据。这些元数据包括但不限于图像或视频的拍摄时间、视频段在更大视频内(例如，特定场景在电影内)的时间位置、图像或视频色调的平均或主亮度(dominant intensity)、视频的时间活动性等。除了这种标量元数据(scalar metadata)类型以外，还可以将非标量元数据(non-scalar metadata)映射到标量并随后映射到坐标轴。例如，根据诸如生日、婚礼、假日等的场合分类的图像数据可以内部地映射到值为1、2、3等的标量“场合”上，随后将其映射到坐标轴上。尽管这种分类本身没有形成用于浏览***的理想基础，但存在可能有用的情况。对于数据项的元数据创建机制没有限制。例如，这种元数据可以在创建数据项时自动创建(例如，拍摄时间)，或者在稍后的点自动创建(例如，颜色描述符)，或者由用户人工地输入(例如，场合的描述)。
在本发明的又一实施方式中，数据符号在符号表示空间中的排列部分地或完全地取决于***的用户和/或设计者的约束、规则以及引导，以便实现期望的可视排列。
图3示出了2维符号表示空间100，其旨在实现符号的特定可视排列和分隔。在该例示中，使用了单一符号类型，即，用于数据项的图标110。根据这种排列，通常存在与符号的绝对和相对位置相联系的语义意义，但不是必须如此。
在本发明的另选实施方式中，数据符号在符号表示空间中的排列可以部分地或完全地取决于多个准则，所述多个准则包括但不限于数据相互关系和/或元数据值和/或特定用户/设计者的规则、约束以及引导。
图4示出了根据本发明一实施方式的浏览装置，该浏览装置包括：显示器120、控制器130、处理器(未示出)以及存储数据项的存储部(未示出)。符号表示空间及其构成数据项显示在2维显示器120上。在本发明的一个实施方式中，经由控制器130控制指针或光标。控制器130包括：导航按钮140、…、210和选择按钮220、…、240，并对指针或光标250进行控制。在本发明的不同的实施方式中，控制器120可以包括不同数量的导航按钮和选择按钮。在本发明的其它实施方式中，控制器130可以由对指针进行控制的其它装置(如鼠标器、笔装置、跟踪球等)来替换。在本发明的其它实施方式中，控制器130或其等同物不对指针或光标进行控制，而是允许用户从一个显示项(例如，数据符号或数据项)移至另一显示项。
图5到8例示了根据本发明进行浏览的第一实施例。更具体地说，图5示出了如何可以在显示器120上向用户呈现图1的符号表示空间10。通过对光标进行控制，用户可以导航至符号表示空间的不同部分。如图6所示，当光标保持静止达特定时间量(其可以由用户控制)时，例如通过改变相对于光标最近的数据符号260的颜色而使该数据符号260变成高亮。可选的是，例如，还可以通过围绕相对于光标最近的数据符号来绘制矩形而使该数据符号格外高亮。变成高亮的数据符号的总数量可以由用户控制。在本发明的另一实施方式中，作为使光标保持静止达特定时间量的替代或除了使光标保持静止达特定时间量以外，可以通过使用控制器的适当选择按钮来使数据符号高亮。在任一情况下，用户都可以观看高亮符号对应(例如，作为图像或视频缩略图)的数据项。这可以通过在数据符号变成高亮之后使光标保持静止达另一特定时间量和/或通过使用控制器的适当选择按钮来实现。在本发明的一个实施方式中，数据项可以替代符号表示空间。在本发明的一优选实施方式中，结合符号表示空间向用户示出数据项。图7示出了这种情况的一个实施例，其中，在显示器的未被符号表示空间占据的区域中显示了数据项的大缩略图270。另选的是，数据项可以与符号表示空间显示区域重叠。图8中示出了另一实施例，其中，减小了符号表示空间显示区域，以允许向用户显示更大和/或更多数据项。可以按任何方式对数据项排序。例如，可以首先显示其符号相对于光标最近的数据项，接着根据其符号相对于首先显示的数据项的符号有多近来显示其它数据项。可选的是，例如可以通过围绕每一个数据符号及其对应数据项绘制区别性颜色的矩形而将数据符号链接至数据项。在任一情况下，用户都可以继续导航符号表示空间，以使新的数据符号变成高亮，并且显示新的数据项以代替前一数据项，等等。在任何点处，用户都可以通过使用适当的选择按钮将光标的焦点从符号表示空间改变至数据项。随后，用户将能够从当前显示的数据项中选择数据项，以便全屏观看它们，将它们传送至外部存储器装置等。随后，将光标的焦点改变回至符号表示空间将允许用户继续导航所述空间并且观看其它数据项。
如图9所示，在本发明的一实施方式中，如果高亮符号280对应于数据项的大小和/或数量使其不能在单个屏幕上对其进行显示的数据项，则可以首先显示它们的子集，且用户随后可以请求显示另一子集，等等。这例如由用户将光标的焦点改变至数据项并随后选择特殊导航图标290和300中的一个来实现。
在本发明的一实施方式中，还可以允许用户对符号表示空间执行诸如放大/缩小以及平移的简单操作。图10中例示了这种情况，其中，已经执行了放大操作，并且特殊导航图标310、320、330以及340允许用户平移。
如前上述，符号可以用于表示多组数据项和单独数据项。尽管组符号可以如同数据符号一样具有任何类型，但在本发明的一优选实施方式中，用于组的符号是以与数据项符号明显不同的方式。图1中例示了这种情况，其中，符号30被用于表示一组数据项，并且不同于被用于表示单独数据项的符号。在图11中，靠近光标的高亮数据符号350包括组符号。在这种情况下，可以向用户示出该组的一个或更多个数据项，或该组的一些或全部数据项的拼接。在该例示中，连同与其它高亮符号对应的数据项的缩略图一起在数据显示区域360中向用户示出拼接(顶端的图片)。
另外，在本发明的一实施方式中，用户能够将组符号扩展到其构成数据项的符号和/或子组的符号中。在本发明的一个实施方式中，这种扩展发生在当前符号表示空间中，如图12所示，其中，10个符号370已经替换了组符号。在本发明的另一实施方式中，这种扩展发生在组的替换了旧符号表示空间的新符号表示空间中。该新符号表示空间可以与包含组符号的符号表示空间是或不是同一类型，或者可以使用或不使用与包含组符号的符号表示空间相同的排列准则。
图13到16例示了根据本发明进行浏览的第二实施例。更具体地说，图13示出了如何可以在显示器120上向用户呈现图2的符号表示空间40。通过对光标进行控制，用户可以导航至符号表示空间的不同部分。如图14所示，并且与前述实施例类似，当光标保持静止达特定的用户可调节的时间量时和/或通过使用控制器的适当选择按钮，数据符号380变成高亮。在该例示中，相对于光标最近的符号连同位于其上方的两个符号和位于其下方的两个符号是高亮的。然而，变成高亮的数据符号的总数量和它们的位置可以是用户控制的。在任一情况下，用户可以通过在数据符号变成高亮之后使光标保持静止达另一特定时间量和/或通过使用控制器的适当选择按钮来观看高亮符号对应的数据项。在本发明的一个实施方式中，数据项可以替换符号表示空间，但在本发明的一优选实施方式中，结合符号表示空间向用户示出数据项。在图15中示出了这种情况的一个实施例，其中，数据项的大缩略图390显示在显示器的未被符号表示空间占据的区域中。另选的是，数据项可以与符号表示空间显示区域重叠。在图16中示出了另一实施例，其中，减小了符号表示空间显示区域，以允许向用户显示更大和/或更多数据项。数据项可以按任何预定的和用户可调节的方式排序。可选的是，例如，可以通过围绕每一个数据符号及其对应数据项绘制区别性颜色的矩形而将数据符号链接至数据项。在任一情况下，用户都可以继续导航符号表示空间，从而使新数据符号变成高亮并且显示新数据项以替代前一数据项，等等。在任一点，用户可以通过使用适当的选择按钮将光标的焦点从符号表示空间改变至数据项。随后，用户将能够从当前显示的数据项中选择数据项，以全屏观看它们，将它们传送至外部存储装置等。随后，将光标的焦点改变回至符号表示空间将允许用户继续导航所述空间并且观看其它数据项。
根据图9到12对先前浏览实施例讨论的各种扩展和修改此处同样适用。
图17到21例示了根据本发明进行浏览的第三实施例。更具体地说，图17示出了如何在显示器120上向用户呈现图3的符号表示空间100。
对于(但不限于)视频(例如电影)的内容的浏览，该符号表示空间特别有用。符号表示空间中的每一个符号都表示层级的某个等级的视频段。借助于图18进行了最佳例示，图18示出了对符号进行定位的语义意义。结合图18观看图17，区域1内的符号对应于正在浏览的整个视频。区域2A到2H内的符号对应于视频的不同段，其中区域2A内的符号对应于从视频的开始处直到一点的段，2B内的符号对应于从2A的符号表示的段的结束处直到另一点的段，等等。随后，区域3A到3H中的每一个都包含分别与由区域2A到2H中的每一个中的符号表示的段的多个段对应的四个符号。例如，在区域3A中，左上符号对应于由2A中的符号表示的段的第一段。接着，右上符号是第二段，左下符号是第三段而右下符号是第四段。在区域3B与2B、3C与2C等之间有类似关系。接着，区域4A到4H中的每一个都包含分别与由区域3A到3H中的每一个中的四个符号表示的段的多个段对应的16个符号。例如，在区域4A中，顶行中的四个符号对应于由区域3A中的左上符号表示的段的多个段。类似的是，4A的第二行中的符号对应于3A的右上符号，4A的第三行中的符号对应于3A的左下符号，而4A的第四行中的符号对应于3A的右下符号。在区域4B与3B、4C与3C等之间有类似关系。视频分段机制位于本发明范围之外，但仅出于例示的目的，可以包括自动视频分段方法，该自动视频分段方法将视频分成结构部分(镜头)，并随后例如基于可视相似性提示和/或视频时间线将这些镜头分组成场景的层级。另选的是，视频分段机制可以仅依赖于视频时间线。
通过对光标进行控制，用户可以导航至符号表示空间的不同部分。如图19所示，当光标保持静止达特定时间量(其可以是用户控制的)时，例如围绕每一个数据符号绘制矩形，使光标所在区域的数据符号400变成高亮。可选的是，例如通过绘制特定颜色的矩形，使相对于光标最近的数据符号可以格外高亮。可选的是，还可以使属于相关区域的数据符号410高亮。变成高亮的数据符号的总数量可以由用户控制。在本发明的另一实施方式中，作为使光标保持静止达特定时间量的替代或除了使光标保持静止达特定时间量以外，可以通过使用控制器的适当选择按钮来使数据符号高亮。在任一情况下，用户都可以观看高亮符号对应(例如，作为图像或视频缩略图)的数据项。这可以通过在数据符号变成高亮之后使光标保持静止达另一特定时间量和/或通过使用控制器的适当选择按钮来实现。在本发明的一个实施方式中，数据项可以替代符号表示空间。在本发明的一优选实施方式中，结合符号表示空间向用户示出数据项。图20示出了这种情况的一个实施例，其中，数据项的大缩略图420显示在显示器的未被符号表示空间占据的区域中。另选的是，数据项可以与符号表示空间显示区域重叠。图21示出了另一实施例，其中，减小了符号表示空间显示区域，以允许向用户显示更大和/或更多数据项。可以按任何预定的和用户可调节的方式对数据项进行排序。可选的是，例如可以通过围绕每一个数据符号及其对应数据项绘制区别性颜色的矩形将数据符号链接至数据项。在任一情况下，用户都可以继续导航符号表示空间，从而使新的数据符号变成高亮，并且显示新的数据项以代替前一数据项，等等。在任何点处，用户都可以通过使用适当的选择按钮将光标的焦点从符号表示空间改变至数据项。随后，用户将能够从当前显示的数据项中选择数据项，以全屏观看它们，启动视频回放等。随后，将光标的焦点改变回至符号表示空间将允许用户继续导航所述空间并且观看其它数据项。
对先前浏览实施例讨论的各种扩展和修改此处同样适用。
在本发明的一优选实施方式中，符号表示空间将不是静态的，而是变化的，以便适应新数据。类似的是，用于表示数据的符号可以随时间或根据符号表示空间的当前视图而改变。例如，当观看整个的非常密集的符号表示空间时可以使用诸如点的不太详细的符号，而当放大以观看全部符号表示空间的较小部分时可以使用诸如主色块的更详细的符号。
在本发明的一实施方式中，不需要将用户限制在用于浏览的单个符号表示空间。例如，用户可以浏览如图17到21中所示视频的内容，以选择数据项，并随后切换至用于浏览的相互相似性符号表示空间，如图5到8所示，以便寻找视觉上相似的视频段。
在先前实施例中，因为显示器120通常是2维的，所以出于例示的目的并且为方便起见，考虑了2维符号表示空间。应注意到，符号表示空间的维数和显示器的维数是分开的。符号表示空间是表示数据项的符号的n维空间排列，其中，n≥1。因而，在本发明的一实施方式中，符号表示空间是显示在2维显示器上的1维符号排列。在另一实施例中，为了在2维显示器上进行显示，符号表示空间是投影在2维平面上的3维符号排列。在又一实施方式中，在2维显示器上向用户呈现作为一组2维平面或片段(slice)的3维符号表示空间。在又一实施方式中，按如下方式在2维显示器上向用户呈现3维符号表示空间：将显示器的第一维映射至空间的第一维，将显示器的第二维映射至空间的第二维，以及通过符号的在空间中变化的属性(例如，更大或更亮符号相对于用户“更近”而更小或更暗符号相对于用户“更远”)来表示符号表示空间的第三维。显而易见的是，还可以结合其它可视平台使用本发明，如立体3D显示器或空间3D可视化装置。
在本说明书中，术语“图像”被用于描述包括诸如滤波、改变分辨率、升采样、降采样的处理之后的图像单元，但该术语也适用于其它类似术语，如帧、场、图片，或图像、帧的子单元或区域等。术语像素和块或像素组在适当的情况下可以互换地使用。在本说明书中，除了根据上下文显而易见的情况以外，术语图像还表示整个图像或图像的一个区域。类似的是，图像的一个区域可以表示整个图像。图像包括帧或场，并且涉及静止图像或诸如电影或视频的图像序列中的或相关图像组中的图像。
图像可以是灰度级图像或彩色图像，或另一类型的多谱图像(例如，IR、UV或其它电磁图像)，或声像等。
术语“选择装置”例如可以表示由用户控制的用于进行选择的装置，如包括导航和选择按钮的控制器，和/或控制器在显示器上的表示，如指针或光标。
本发明优选地通过处理以电子形式表示的数据项并且通过使用适当的装置对电信号进行处理来实现。本发明例如可以实现在具有适当修改的软件和/或硬件的计算机***中。例如，本发明可以利用具有控制或处理装置(例如处理器或控制设备)、数据存储装置(包括诸如存储器、磁存储部、CD、DVD等的图像存储装置)、数据输出装置(例如显示器或监视器或打印机)、数据输入装置(例如键盘)以及图像输入装置(例如扫描仪)、或这种部件连同附加部件的任何组合的计算机或类似装置来实现。本发明的多个方面可以按软件和/或硬件形式来提供，或者可以设置在专用装置或专用模块中，如芯片。根据本发明实施方式的装置中的***的部件可以从其它部件(例如，通过网络)远程提供。

Claims (38)

1、一种利用符号的n维阵列浏览数据项的方法，其中，n大于或等于1，每一个符号都对应于至少一个数据项，所述方法使用可移动通过所述n维阵列并且能够在包含不存在符号的位置的所述阵列中选择多个点的选择装置，所述方法包括以下步骤：根据所述选择装置的位置选择至少一个符号和对应数据项。
2、根据权利要求1所述的方法，其中，根据所述选择装置的所述位置选择至少两个符号和对应数据项。
3、一种利用符号的n维阵列浏览数据项的方法，其中，n大于或等于1，每一个符号都对应于至少一个数据项，所述方法使用可移动通过所述n维阵列的选择装置，所述方法包括以下步骤：根据所述选择装置的位置选择至少两个符号和对应数据项。
4、根据任一前述权利要求所述的方法，其中，所述符号的n维阵列是非线性的。
5、一种利用符号的n维阵列浏览数据项的方法，其中，n大于或等于1，每一个符号都对应于至少一个数据项，所述方法使用可移动通过所述n维阵列的选择装置，其中，所述符号的n维阵列是非线性的，所述方法包括以下步骤：根据所述选择装置的位置选择至少一个符号和对应数据项。
6、根据任一前述权利要求所述的方法，其中，基于预定准则选择一个或更多个符号和对应数据项，所述预定准则例如是所述符号相对于所述选择装置的所述位置的接近度。
7、根据任一前述权利要求所述的方法，所述方法还包括以下步骤：显示所述选择的数据项。
8、根据权利要求7所述的方法，其中，按预定顺序显示多个数据项，所述预定顺序例如基于各符号相对于所述选择装置的所述位置的接近度。
9、一种利用n维阵列中的多个符号表示多个数据项的方法，其中，n大于或等于1，每一个符号都对应于至少一个数据项，其中，所述符号在所述阵列中的排列是非线性的。
10、一种利用n维阵列中的多个符号表示多个数据项的方法，其中，n大于或等于1，每一个符号都对应于至少一个数据项，其中，所述符号在所述阵列中的排列取决于各自数据项的至少一个特征。
11、根据权利要求1到9中的任一项所述的方法，其中，所述符号在所述阵列中的排列取决于各自数据项的至少一个特征。
12、根据权利要求10或权利要求11所述的方法，其中，所述符号在所述阵列中的位置取决于各自数据项的所述至少一个特征。
13、根据权利要求11或12所述的方法，其中，所述阵列中的符号之间的相互关系取决于所述对应数据项的所述至少一个特征的对应关系。
14、根据权利要求11到13中的任一项所述的方法，其中，符号在所述阵列中的位置的相似性表示所述对应数据项的所述对应的至少一个特征的相似性。
15、根据权利要求11到14中的任一项所述的方法，其中，所述数据项的特征是诸如数据拍摄的时间或地点、场合等的元数据。
16、根据权利要求11到15中的任一项所述的方法，其中，所述数据项的特征是所述数据项固有的。
17、根据权利要求16所述的方法，其中，所述固有数据基于例如颜色、亮度、纹理、目标信息等。
18、根据权利要求16或权利要求17所述的方法，其中，所述固有数据基于例如绝对值、平均值、主值等。
19、根据权利要求11到18中的任一项所述的方法，其中，所述数据项的特征基于诸如用户定义准则或设计者定义准则的预定准则。
20、根据权利要求11到19中的任一项所述的方法，其中，所述符号的排列基于至少一个特征的数字描述。
21、根据任一前述权利要求所述的方法，其中，所述符号包括一个或更多个图标、单个像素、一组像素、数据项的诸如二次采样形式或缩略图形式的修改形式。
22、根据任一前述权利要求所述的方法，其中，符号的特征表示所述对应数据项的特征。
23、根据权利要求22所述的方法，其中，符号的颜色反映了对应的可视数据项的颜色。
24、根据任一前述权利要求所述的方法，其中，所述阵列包括多个不同符号。
25、根据权利要求24所述的方法，其中，不同符号对应于不同类型的数据项。
26、根据任一前述权利要求所述的方法，其中，数据项包括一个或更多个音频数据和诸如图像或视频的可视数据。
27、根据任一前述权利要求所述的方法，其中，一起显示符号和数据项。
28、根据权利要求27所述的方法，其中，在显示器的不同区域中显示符号和数据项。
29、根据权利要求27所述的方法，其中，在显示器的公共区域中显示符号和数据项。
30、根据权利要求29所述的方法，其中，符号和数据项混合或重叠。
31、根据权利要求27所述的方法，其中，由所述符号和所述数据项占据的区域的相对大小是可调节的。
32、根据权利要求27或权利要求31所述的方法，其中，由所述符号占据的区域的大小小于由所述数据项占据的区域的大小。
33、根据任一前述权利要求所述的方法，其中，例如通过为各自数据项和符号加上同一颜色的边缘而将数据项与各自符号可视地关联。
34、根据任一前述权利要求所述的方法，其中，至少一个符号对应于多个数据项。
35、一种控制装置，该控制装置被编程为执行根据任一前述权利要求所述的方法。
36、一种装置，该装置适于执行根据权利要求1到34中的任一项所述的方法。
37、一种装置，该装置包括：处理器、显示装置、选择装置以及存储有数据项的存储装置，其中所述处理器被设置成执行根据权利要求1到34中的任一项所述的方法。
38、一种用于执行根据前述权利要求1到34中的任一项所述方法的计算机程序，或一种存储有这种计算机程序的计算机可读存储介质。
CNA2006800339300A 2005-08-15 2006-08-14 利用符号表示空间访问数据的方法和装置 Pending CN101263496A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP05255033A EP1755051A1 (en) 2005-08-15 2005-08-15 Method and apparatus for accessing data using a symbolic representation space
EP05255033.2 2005-08-15

Publications (1)

Publication Number Publication Date
CN101263496A true CN101263496A (zh) 2008-09-10

Family

ID=35510288

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800339300A Pending CN101263496A (zh) 2005-08-15 2006-08-14 利用符号表示空间访问数据的方法和装置

Country Status (5)

Country Link
US (1) US20090049083A1 (zh)
EP (1) EP1755051A1 (zh)
JP (1) JP2009505261A (zh)
CN (1) CN101263496A (zh)
WO (1) WO2007020420A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101406289B1 (ko) 2007-03-08 2014-06-12 삼성전자주식회사 스크롤 기반 아이템 제공 장치 및 방법
US7895533B2 (en) 2007-03-13 2011-02-22 Apple Inc. Interactive image thumbnails
US20100058173A1 (en) * 2008-08-28 2010-03-04 Kabushiki Kaisha Toshiba Display processing apparatus, display processing method, and computer program product
US20100241955A1 (en) * 2009-03-23 2010-09-23 Microsoft Corporation Organization and manipulation of content items on a touch-sensitive display
JP2010250842A (ja) * 2010-06-02 2010-11-04 Toshiba Corp 表示処理装置、表示処理方法、およびプログラム
JP2013534333A (ja) * 2010-07-21 2013-09-02 スペクトラルマインド ゲーエムベーハー メディアアイテムを編成して視覚化する方法およびシステム
US20140101608A1 (en) * 2012-10-05 2014-04-10 Google Inc. User Interfaces for Head-Mountable Devices
KR101520812B1 (ko) * 2014-01-23 2015-05-15 삼성전자주식회사 스크롤 기반 아이템 제공 장치 및 방법
JP6689226B2 (ja) * 2017-03-15 2020-04-28 富士フイルム株式会社 特徴印象軸決定システム，特徴印象軸決定方法およびそのプログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5708767A (en) * 1995-02-03 1998-01-13 The Trustees Of Princeton University Method and apparatus for video browsing based on content and structure
US5870559A (en) * 1996-10-15 1999-02-09 Mercury Interactive Software system and associated methods for facilitating the analysis and management of web sites
US6121969A (en) * 1997-07-29 2000-09-19 The Regents Of The University Of California Visual navigation in perceptual databases
US6211876B1 (en) * 1998-06-22 2001-04-03 Mitsubishi Electric Research Laboratories, Inc. Method and system for displaying icons representing information items stored in a database
US6538698B1 (en) 1998-08-28 2003-03-25 Flashpoint Technology, Inc. Method and system for sorting images in an image capture unit to ease browsing access
US6160553A (en) * 1998-09-14 2000-12-12 Microsoft Corporation Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects and in which object occlusion is avoided
US6574632B2 (en) * 1998-11-18 2003-06-03 Harris Corporation Multiple engine information retrieval and visualization system
US7278115B1 (en) * 1999-06-18 2007-10-02 Microsoft Corporation Methods, apparatus and data structures for providing a user interface to objects, the user interface exploiting spatial memory and visually indicating at least one object parameter
EP1442395A2 (en) * 1999-11-15 2004-08-04 Mohammed S. Anwar Programs and method for the display, analysis and manipulation of multi-dimensional data
JP4431918B2 (ja) * 2000-05-01 2010-03-17 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
US6545660B1 (en) * 2000-08-29 2003-04-08 Mitsubishi Electric Research Laboratory, Inc. Multi-user interactive picture presentation system and method
US6950989B2 (en) 2000-12-20 2005-09-27 Eastman Kodak Company Timeline-based graphical user interface for efficient image database browsing and retrieval
US6948124B2 (en) * 2000-12-20 2005-09-20 Eastman Kodak Company Graphical user interface utilizing three-dimensional scatter plots for visual navigation of pictures in a picture database
US6915489B2 (en) 2001-03-28 2005-07-05 Hewlett-Packard Development Company, L.P. Image browsing using cursor positioning
US6996782B2 (en) * 2001-05-23 2006-02-07 Eastman Kodak Company Using digital objects organized according to a histogram timeline
US6886138B2 (en) * 2001-07-05 2005-04-26 International Business Machines Corporation Directing users′ attention to specific icons being approached by an on-screen pointer on user interactive display interfaces
US7425963B2 (en) * 2001-07-16 2008-09-16 Hewlett-Packard Development Company, L.P. Hierarchical image feature-based visualization
US6943842B2 (en) 2001-11-02 2005-09-13 Hewlett-Packard Development Company, L.P. Image browsing user interface apparatus and method
US7038680B2 (en) * 2002-01-09 2006-05-02 Xerox Corporation System for graphical display and interactive exploratory analysis of data and data relationships
US6968511B1 (en) * 2002-03-07 2005-11-22 Microsoft Corporation Graphical user interface, data structure and associated method for cluster-based document management
GB2393271A (en) * 2002-09-19 2004-03-24 Sony Uk Ltd Information storage and retrieval
US7296230B2 (en) * 2002-11-29 2007-11-13 Nippon Telegraph And Telephone Corporation Linked contents browsing support device, linked contents continuous browsing support device, and method and program therefor, and recording medium therewith
US7117453B2 (en) * 2003-01-21 2006-10-03 Microsoft Corporation Media frame object visualization system
JP2004258838A (ja) * 2003-02-25 2004-09-16 Nippon Telegr & Teleph Corp <Ntt> 情報検索方法、情報検索装置、プログラムおよび記録媒体
US20050166156A1 (en) * 2004-01-23 2005-07-28 Microsoft Corporation System and method for automatically grouping items
US7437005B2 (en) * 2004-02-17 2008-10-14 Microsoft Corporation Rapid visual sorting of digital files and data
US20050278088A1 (en) * 2004-05-29 2005-12-15 Craig Thorner Method and apparatus for collision avoidance and enhanced visibility in vehicles

Also Published As

Publication number Publication date
US20090049083A1 (en) 2009-02-19
JP2009505261A (ja) 2009-02-05
EP1755051A1 (en) 2007-02-21
WO2007020420A1 (en) 2007-02-22
WO2007020420A8 (en) 2008-02-21

Similar Documents

Publication Publication Date Title
CN101263496A (zh) 利用符号表示空间访问数据的方法和装置
US8250490B2 (en) Display image control apparatus
Boreczky et al. An interactive comic book presentation for exploring video
Girgensohn et al. A semi-automatic approach to home video editing
US6968511B1 (en) Graphical user interface, data structure and associated method for cluster-based document management
US7725837B2 (en) Digital image browser
JP5009371B2 (ja) 映像データ編集のためのインターフェースシステム
US20040125124A1 (en) Techniques for constructing and browsing a hierarchical video structure
US8261191B2 (en) Multi-point representation
US20140149936A1 (en) System and method for providing a tapestry interface with location services
US9672591B2 (en) Collage display of image projects
JP4902499B2 (ja) 画像表示装置、画像表示方法、および画像表示システム
US20070185876A1 (en) Data handling system
US20140149932A1 (en) System and method for providing a tapestry presentation
US20080155459A1 (en) Associating keywords to media
AU2007345938A1 (en) Method and system for video indexing and video synopsis
US20140204123A1 (en) Relational Display of Images
US20120290925A1 (en) Incremental Graphic Object Layout Editing
US20140149427A1 (en) System and method for tapestry interface scoring
US20140149885A1 (en) System and method for providing a tapestry interface with interactive commenting
EP1721265A1 (en) Data handling system
JP2003303333A (ja) 画像表示制御装置
Van Der Corput et al. ICLIC: Interactive categorization of large image collections
US20140149860A1 (en) System and method for presenting a tapestry interface
JP2007058686A (ja) 電子機器、コンピュータプログラム、検索画面生成方法。

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080910