CN101523346A - 图像布局约束生成 - Google Patents

Abstract

在一种用于生成维度上易处理的图像布局约束集的方法(400)中，应用选择的约束以限制高维度解空间的维度(410)。通过随机选择，识别高维度解空间中的一个或多个无约束维度，所述无约束维度当被约束时将把高维度解空间进一步限制为维度上易处理的解空间(420)。维度上易处理的解空间的易处理与计算机资源的能力相关联(430)。

Description

图像布局约束生成

技术领域

本技术涉及图像分析和显示。更具体地，本技术的实施例涉及图像布局约束(layout constraint)生成。

背景技术

当前，存在众多用于生成比如幻灯片放映(slide show)之类的图像呈现的***。这种***一般分成两大种类。第一种类可以被描述为完全或基本自动型。第二种类最好可以被描述为人工密集型(manuallyintnsive)。

在自动型种类中，可用的***一般获取图像集合作为输入并且呈现幻灯片放映(或某种其他图像显示)作为输出。一些自动***试图以某种方式分析大量的试验性图像布局并设法选择这些试验性布局中的“最佳”布局作为最优的图像显示呈现在观看区域中。然而，许多这种自动解决方案无需多个图像的布局而是简单地每次呈现单个图像。这种自动生成的幻灯片放映一般是很基础的且重复的，仅偶尔添加一些很基础的图像操纵，比如平移(panning)或放大缩小或移动图像。除了生成幻灯片放映的决定之外，通常不要求(或往往不允许)真正的用户输入。来自这种自动***的输出一般是可预测的且程式化的，如此，最后所得到的呈现风格可能在观众仅观看数次幻灯片放映之后(有时在仅观看单次幻灯片放映中的几个幻灯片之后)就使观众觉得无聊、重复和乏味。另外，虽然如此，变化往往倾向于使注意力从图像内容转移开，而不是对其进行补充或强调。

在人工密集型种类中，用户从对图像呈现没有控制(或几乎没有控制)变成对图像呈现的每个方面几乎具有100％的控制。例如，在这种人工密集型***中，用户一般将需要对呈现的每个图像布局的以下所有或几乎所有方面进行控制：图像选择、图像定位(x-定位、y-定位和z排序(ordering))、图像移动、图像呈现次序、图像缩放、图像比例伸缩(scale)、图像平移(pan)、呈现速度以及其他这种细节。一般不存在由用来生成幻灯片放映的计算机***或程序提供的自动化或智能辅助。这意味着对于使用这种***而言通常存在很陡的学习曲线。因此，初学者用户一般将只生成很基础的、往往重复的幻灯片放映。为了生成更高级的幻灯片放映，用户必须花费相当大量的时间进行训练、实践或者这两者，而且用户的能力对呈现输出而言甚至更是决定性的。也就是说，用户在使用图像呈现***或程序方面的技能确定了幻灯片放映或其他图像呈现输出的质量。因此，在人工密集型***中，常见的是熟练的用户要花数小时(或更长时间)来从一组图像或视频剪辑中创建幻灯片放映或其他呈现。

随着使用数字照相机和功能强大的观看设备(比如个人计算机、媒体中心和数字投影仪)的迅速增加，对以引人注目的方式显示图像内容的需要变得日益普遍。然而，如所述的，用于生成比如幻灯片放映的图像呈现的当前***在被自动化时一般产生乏味的结果，不然就要求用户方面的相当大的精力和时间。

附图说明

被并入本说明书且作为其一部分的附图图解说明了本发明的实施例，并且连同详细描述一起用来解释以下讨论的原理：

图1是依照本发明的实施例使用的示例性计算机***的图示。

图2是根据本发明的一个实施例的用于生成图像呈现的示例性***的框图。

图3是根据本发明的一个实施例的示例性布局约束生成器(generator)的框图。

图4是根据本发明的一个实施例的用于生成维度上易处理的图像布局约束集的示例性方法的流程图。

图5是根据本发明的一个实施例的示例性用户风格输入控制面板的表示。

图6示出了在其上可实践本发明的实施例的示例性图像。

图7是根据本发明的一个实施例的用于生成图像布局约束的示例性方法的流程图。

除非明确指出，本描述中所涉及的附图不应当被理解为是按比例绘制的。

具体实施方式

现在详细参照本发明的实施例，其示例被示于附图中。虽然本发明是结合各个实施例描述的，但是要理解它们不打算把本发明限制为这些实施例。相反，所介绍的技术旨在覆盖可包含于如所附权利要求书限定的各个实施例的精神和范围之内的可选方案、修改和等价物。而且，在以下详细描述中，阐述了众多具体细节以便提供对本发明的彻底理解。然而，可在没有这些具体细节的情况下实践本发明。在其他情况下，没有详细描述众所周知的方法、过程、部件和电路以便不会不必要地使本发明的各个方面不清楚。

除非另外明确指出，如从以下讨论中显而易见的，要明白在整个本详细描述中，利用比如“应用”、“识别”、“基于”、“生成”、“利用”、“采用”、“确定”、“提供”等术语的讨论涉及计算机***(比如图1的计算机100)或者类似电子计算设备的动作和过程。该计算机***或类似电子计算设备操纵计算机***寄存器和存储器内的表示为物理(电子)量的数据并将其转换为计算机***存储器或寄存器或者其他信息存储、发送或显示设备内的类似表示为物理量的其他数据。本发明还很适合于使用其他计算机***，比如光学、虚拟和机械计算机。另外，应当理解在本发明的实施例中，能够人工执行一个或多个步骤。

示例性计算机***环境

现在参照图1，本发明的部分由计算机可读且计算机可执行的指令组成，所述指令例如驻留在计算机***的计算机可用介质中。也就是说，图1图解说明了能够用来实施本发明的实施例(其在下文进行讨论)的一种类型的计算机的一个示例。图1图解说明了依照本发明的实施例使用的示例性计算机***100。要明白，图1的***100仅仅是示例性的并且本发明能够在很多不同的计算机***上或在其内操作，这些计算机***包括通用连网计算机***、嵌入式计算机***、路由器、交换机、服务器设备、客户端设备、各种中间设备/节点、独立计算机***、多媒体设备、图像显示设备、数字照相机、手持式电子设备等等。如图1所示，图1的计算机***100很适于具有***计算机可读介质102，比如耦合到其上的软盘、紧凑盘(compact disc)、数字多功能盘等。

图1的***100包括传送信息的地址/数据总线104以及耦合到总线104的用于处理信息和指令的处理器106A。如图1所描绘的，***100还很适合于多处理器环境，在该多处理器环境中存在多个处理器106A、106B和106C。相反地，***100还很适合于具有单个处理器，比如处理器106A。处理器106A、106B和106C可为各种类型微处理器中的任何一种。***100还包括数据存储部件(feature)，比如计算机可用的易失性存储器108，例如随机存取存储器(RAM)，其耦合到总线104用于存储用于处理器106A、106B和106C的信息和指令。***100还包括计算机可用的非易失性存储器110，例如只读存储器(ROM)，其耦合到总线104用于存储用于处理器106A、106B和106C的静态信息和指令。***100中还存在数据存储单元112(例如，磁盘或光盘及盘驱动器)，其耦合到总线104用于存储信息和指令。***100还包括任选的字母数字输入设备114，该输入设备包括字母数字键和功能键并且耦合到总线104用于向处理器106A或者处理器106A、106B和106C传送信息和命令选择。***100还包括任选的光标控制设备116，其耦合到总线104用于向处理器106A或者处理器106A、106B和106C传送用户输入信息和命令选择。本实施例的***100还包括任选的显示设备118，其耦合到总线104用于显示信息。

仍参照图1，任选的显示设备118可为液晶设备、阴极射线管、等离子体显示设备或者其他适合于创建用户可辨认的图形图像和字母数字字符的显示设备。任选的光标控制设备116允许计算机用户动态地用信号通知(signal)可视符号(光标)在显示设备118的显示屏上的移动。光标控制设备116的许多实施方式在本领域中是已知的，包括跟踪球、鼠标、触控板、操纵杆或字母数字输入设备114上的能够用信号通知给定方向的移动或位移方式的特殊键。可选地，要明白，光标能够经由来自字母数字输入设备114的输入利用特殊键和键序列命令来指引和/或激活。***100还很适合于接收输入(比如字母数字输入)和/或让鼠标由其他手段(比如语音命令)来指引。另外，在一些实施例中，字母数字输入114被配置成用于输入非字母的语言字符，比如日本汉字(Kanji)字符。***100还包括用于耦合***100和外部实体的I/O设备120。例如，在一个实施例中，I/O设备120是用于实现***100和外部网络(比如但不限于互联网)之间的有线或无线通信的调制解调器。

仍参照图1，描绘了***100的各种其他部件。具体而言，当存在操作***112、应用程序124、模块126和数据128时，它们被示为一般驻留在计算机可用的易失性存储器18(例如随机存取存储器(RAM))和数据存储单元112中的一个或某种组合内。在一个实施例中，本发明例如被存储为RAM 108内的存储位置和/或数据存储单元112内的存储区域中的应用程序124或模块126。

用于图像布局约束生成的本技术的概述

用于图像布局约束生成的本技术提供了用于生成图像布局约束以应用于图像、图像组、视频剪辑或者图像及视频的组合的图像数据的方法和***，所述图像、图像组、视频剪辑或者图像及视频的组合被布置为呈现在比如幻灯片放映的显示中。这是有用的，因为用于这种呈现的图像布局的无约束解集在许多情况下可能几乎是无穷的。通过选择性地和/或随机地增加约束，本发明的实施例与无约束解集相比缩减了用于计算布局和评估布局所需的计算资源和时间。

例如，如将变得显而易见的，本发明的一个实施例提供了用于基于对图像内容的分析而自动选择某些约束的装置。这种“智能”的约束选择用于通过识别图像中的重要特征因此它们不会变模糊或被最小化而相反在可能的时候被加强来增强图像的呈现。同样，本发明的实施例还允许用户提供一些图像分析输入，这些输入用来生成约束。在一个实施例中，简单的用户输入还用来管理约束的生成，所述约束塑造该呈现的风格外观。另外，在一个实施例中，图像布局的一个或多个随机要素(element)被约束。其中，这种随机约束能够用来把解集缩减到对于计算设备或程序易处理的大小，所述计算设备或程序将生成试验性(trial)布局或评估试验性布局。此外，这种随机约束还有助于确保用本发明的方法和***生成的呈现无论是在单个呈现内还是在多个呈现之间都不会是陈旧的、重复的。

在一个实施例中，然后使这些布局约束可用，以从图像数据中生成若干试验性布局。在这种实施例中，然后可以分析该试验性布局以输出最优布局或布局集从而把图像、若干图像、视频或者其某种组合视觉地呈现在例如幻灯片放映式的呈现中。因而，本技术提供了允许创建自动或半自动图像呈现的方法和***，所述图像呈现由图像布局组成，所述图像布局一般加强正显示的内容并且本质上不会重复或乏味。此外，本技术允许用户借助于简单的控制装置输入到图像布局的约束生成中，这些简单的控制装置易于操作并且就用户而言不要求培训、实践或特定技能。

讨论概述

图2示出了示例性***200的部件的框图，该***能够用来生成优化的图像呈现。作为示例而非限制，在一个实施例中***200用来根据图像、图像组、视频或者其某种组合的图像数据生成优化的幻灯片放映式呈现。***200被图解说明且提供示出示例性布局约束生成器220的一个使用的框架。以下讨论将始于简单描述***200的结构和总体操作。讨论将接着描述布局约束生成器220的结构。然后讨论将转向描述在用于生成维度上易处理的图像布局约束集的示例性方法中使用的布局约束生成器220的部件。然后讨论继续描述在用于生成图像布局约束的示例性方法中使用的布局约束生成器220的部件。虽然线条图与本文所示的示例结合使用，但是应当明白这些线条图(例如，图6所示的图像)表示本文所描述的技术打算在其上操作或与其结合操作的示例性数字图像和/或照片。

用于生成优化的图像呈现的示例性***

关于该结构，***200由图像分析器205、布局优化器210、试验性布局生成器215和布局约束生成器220组成。如图2所示，图像分析器205和试验性布局生成器215两者都接收图像数据(比如图像的数字表示)作为输入。

图像分析器205接收图像数据作为输入并且利用本领域已知的多种图像分析技术中的一种或多种来执行图像数据的分析以在图像内定位对象和/或识别显著区域和特征。作为示例，在一个实施例中，图像分析器205分析每个图像或视频帧图像的图像数据的内容以在该图像内定位较显著和不大显著的区域或对象。在一个这种实施例中，图像分析器205以所分析的图像的显著性图(saliency map)的形式输出图像分析数据。

用于辨认对象并确定图像的显著(或感兴趣)部分的技术是已知的并且在诸如以下作品中进行了描述：1998年11月的IEEE Transactionson Pattern Analysis and Machine Intelligence上的Laurent Itti、Christof Koch和Ernst Niebur的“A Model of Saliency-Based VisualAttention for Rapid Scene Analysis”；和3001年7月13日的SecondInternational Workshop on Statistical and Computational Theoriesof Vision-modeling，Learning，Computing，and Sampling上的PaulViola和Michael Jones的“Robust Real-Time Object Detection”。

显著性图一般提供特定图像的显著区域的对应映射。一般地图像区域(其可能小至图像的像素)的显著性在显著性图/数据中具有对应的分数。例如，图像的显著性图可由相关图像的灰度图组成。在这种显著性图中，显著性值可在例如从0到255的尺度上进行分配，其中最高显著性由白色像素表示且值为255，而最低显著性由黑色像素表示且值为0。因而，在这种方式下，图像分析器205标记显著特征，比如对象、面部以及好像是图像的感兴趣区域的那些部位。显著性图和其他图像分析数据从图像分析器205输出并且耦合到布局优化器210和布局约束生成器220作为输入。

布局约束生成器220用来生成布局约束，这些布局约束用来确定图像的布局。布局约束生成器220生成可应用于图像或多个图像的布局的约束，所述布局打算为固定的(stationary)(例如，一个图像或共享观看区域的多个图像的单一投影或打印的显示)。布局约束生成器220还生成可应用于图像、多个图像、视频或其组合的图像布局的约束，所述图像布局打算用于时变显示(例如，幻灯片放映式呈现，其循环经过各种布局且其中特定布局中的图像或多个图像可在呈现观看区域内移动或者在呈现观看区域上平移)。布局约束包括对图像大小、x-y位置、z排序、移动、移动速度、缩放、平移、图像颜色、显示速度、淡入、淡出、旋转、图像间的重叠、被标记用于突出显示的图像区域、图像剪裁、呈现主题等等的约束。

如将进一步描述的，在各个实施例中，布局约束生成器220基于自动图像分析、用户输入、默认设置和随机选择来生成约束。布局约束生成器220经由耦合到试验性布局生成器215的输出227输出生成的布局约束集，所述布局约束定义维度上缩减的解集。这些约束限制能够从来自图像、图像组、视频或其组合的图像数据中生成的布局数量及类型的解空间。为了简化本发明的描述，特别是简化布局约束生成器220的操作，接下来的示例和描述将针对布局约束生成器220与一个图像或图像组的使用。

试验性布局生成器215接收生成的布局约束以及图像数据作为输入，所述布局约束定义维度上缩减的解集。试验性布局生成器215采用经由耦合(coupling)227接收的布局约束来从同样作为输入接收的图像数据中生成图像的一个或多个试验性布局。对布局进行约束减少了能够布置任何图像组的自由度，并且因而通过减小要求试验性布局生成器生成的可能试验性布局的排列(permutation)数量，缩减了解集。这还缩减了生成试验性布局所需的时间量，因而加快了呈现的创建。试验性布局生成器215把生成的试验性布局输出给布局优化器210。

布局优化器210接收图像分析数据和试验性布局作为输入。布局优化器210采用图像分析数据来给特定图像组的每个接收的图像布局打分并且然后选择得到最好分数的最优布局。为了执行这种打分和选择，布局优化器210使用各种布局优化技术中的一种或多种。例如，在一个实施例中布局优化器210计算在布局中图像的任何遮蔽、剪裁或以其他方式不可见的区域的成本。在其他实施例中，布局优化器210还为最大化该显示的试验性布局选择图像的较显著部分，同时最小化图像的不大显著部分的显示。然后从一组试验性布局中把被认为最优的布局例如输出到显示器或者作为比如幻灯片放映式呈现之类的呈现的一部分。

示例性布局约束生成器

图3是根据本发明的一个实施例的示例性布局约束生成器220的框图。布局约束生成器220由图像分析约束选择器321、风格约束选择器323和随机约束器325组成。如图3所示，图像分析约束选择器321、风格约束选择器323和随机约束器325都彼此耦合并耦合到公共输出227。该耦合允许按照需要在布局约束生成器220的单元之间交换信息。这种耦合还允许布局约束生成器220输出布局约束以供例如***200(图2)的其他单元(比如试验性布局生成器215)使用，所述布局约束定义了维度上缩减的布局解集。

在一个实施例中，图像分析约束选择器321被配置成基于对一个或多个图像或其对应的图像分析数据的分析来生成一个或多个布局约束。例如，在一个实施例中，该分析是自动的并且通过检查和解释作为输入提供的图像分析数据来执行。这种分析包括例如：自动确定图像的较显著和不大显著部分，自动定位图像中的面部，自动确定图像中的主线，自动确定图像亮度，自动确定图像中的颜色变化，以及自动确定图像的分辨率。

这种自动分析允许图像分析约束选择器321生成图像分析约束，所述图像分析约束例如管理应当显示每个图像的哪些部分(比如通过缩放、平移、剪裁，或当被另一图像部分重叠时的可见性)。这种约束还管理基于例如图像的显著区域的分辨率是否要允许缩放或比例缩放以及缩放或比例缩放多少。在可能的时候，这些约束还指定在显示中应当剪裁、覆盖或以其他方式最小化图像的哪些部分。图像分析约束选择器321还基于例如图像的主线(如果存在的话)生成对图像移动和图像平移的约束。因而，在一个实施例中，例如，如果检测到主线，则图像分析约束选择器321生成允许图像平移或移动的约束；同样如果没有检测到主线，则生成不允许平移或移动的约束。在这种实施例中，图像分析约束选择器321被配置为基于图像的自动图像内容分析的图像分析约束，所述图像分析约束缩减了要不然会在缺少这种约束时产生并评估的次最优和不希望的试验性图像布局。基于图像内容分析的这些约束还促进了试验性布局的生成，所述试验性布局加强了通过图像分析所检测的图像的希望特性(比如显著区域)并且类似地最小化了不希望的特性(比如图像中显著性低的区域)。

在一个实施例中，图像分析约束选择器321通过用户图像分析输入来补充自动分析。在这种实施例中，图像分析约束选择器321被配置成全部或部分基于图像的用户图像内容分析或图像的图像分析数据来生成一个或多个图像分析布局约束。例如，在一个实施例中，允许用户对下列项进行简单选择：图像的哪些部分应当被给予高优先级进行显示和/或图像的哪些部分应当被给予低优先级进行显示。在一个实施例中，用户还标记或确认具有高显著性的面部和其他对象的位置。同样，在一些实施例中用户标记或确认所分析的一个或多个图像的剪裁选择和主线方向。图像分析约束选择器321使用这些及其他类似用户输入连同自动输入一起作为生成约束的基础，例如以执行对图像的特定剪裁、显示图像的特定部分、不显示图像的特定部分，允许对图像的特定部分进行缩放，允许特定图像的平移或移动等等。

在一个实施例中，风格约束选择器323被配置成基于图像或多个图像的所选择的呈现风格(比如时变幻灯片放映式呈现风格)来生成一个或多个布局约束。这种风格约束可根据自动选择的或用户定义的默认设置来生成或者是基于简单的用户输入，该用户输入控制风格约束的自动生成，所述风格约束塑造用于显示一个或多个图像的呈现风格。这种风格布局约束例如是根据包括下列项的呈现风格的自动和/或用户选择的输入以及其他风格呈现的风格输入来生成的：图像呈现速度(运动速率、平移速率、显示图像的时间量、布局间的变化突然性，等等)；每个布局的图像数量(例如，一个图像，一个以上图像，可变数量的图像，等等)；图像主题(例如，呈现的颜色饱和度和/或谐调性，等等)。

在一个实施例中，随机约束器325被配置成用于随机地生成维度解空间(dimensional solution space)的零个或多个布局约束，该维度解空间与图像或多个图像的呈现(比如时变幻灯片放映式呈现)相关联。在一个实施例中，随机约束器325生成的这种随机约束足以把解空间的维数限制为易处理的水平，该易处理的水平对于特定计算资源(比如图像呈现软件)或负责处理根据图像布局约束生成的布局或呈现的特定处理器或计算资源而言是计算上最优可行的。在一个实施例中，生成随机约束以仅对解空间的否则无约束的维度进行约束。因而，随机约束器325分析来自图像分析约束选择器321和风格约束选择器323的布局约束、解空间的剩余的无约束维度以及计算资源的能力。

在一个实施例中，基于该分析，随机约束器325可确定解空间还不是易处理的。作为响应，随机约束器325然后随机地约束解集的足够维度以使得该集解集进入(bring into)对计算资源而言最优易处理的范围。在一个实施例中，对于特定图像或图像组的布局而言，随机约束器325通过生成布局约束来实现此，所述布局约束对先前还未受图像分析约束或风格约束所约束的维度加以约束。这可以包括生成刚好足以使得解集易处理的布局约束或者多于足以使得解集易处理的布局约束。

类似地，在一个实施例中，基于这一分析，随机约束器325可确定因为足够的约束或过约束解空间对于计算资源而言已经易处理。作为响应，随机约束器325然后要么不随机地生成布局约束要么随机地生成一个或多个附加布局约束。通过随机地生成附加布局约束，随机约束器325或者加快试验性布局生成过程和呈现生成过程，或者提供根据这些约束生成的最后得到的试验性布局的变化，或者这两者。

同样，在一个实施例中，基于这一分析，随机约束器325可确定因为约束不足解空间对于计算资源而言不易处理。作为响应，随机约束器325然后要么不随机地生成布局约束，要么生成比使得解集达到对计算资源而言的最优易处理所需的更少的约束。通过偶然地(例如随机地)不生成约束或生成比最优所要求的更少的约束，随机约束器325产生计算资源可能略微过载的情形。计算资源将不能执行解空间的穷举性搜索，因此在某个点上将不得不提供“目前所能达到的最佳”型解。这就迫使计算资源在其允许的时间内竭尽全力。在这种情况下，随机约束器325通过在诸如试验性布局生成和呈现最优化的过程期间留下额外的无约束维度起作用，增加最后得到的布局的变化。

在一个实施例中，随机约束器325还把由图像分析约束选择器321和风格约束选择器323所选择的约束连同由随机约束器325生成的任何随机约束一起合并。所合并的约束然后耦合到输出227作为一组约束集，其定义了图像布局的维度上缩减的解集。在其他实施例中，合并功能性还可以位于布局约束生成器220或其他元件或布局约束生成器220中。

示例性操作方法

通过描述示例性实施例，以下讨论详细阐述本发明的操作。参照图4和7，流程图400和700每个都图解说明了由本发明的各个实施例所使用的示例性步骤。流程图400和700包括在各个实施例中由处理器在计算机可读且计算机可执行指令的控制下执行的过程。计算机可读且计算机可执行指令例如驻留在***计算机可读介质102中或者驻留在数据存储部件中，所述数据存储部件比如图1的计算机可用的易失性存储器108、计算机可用的非易失性存储器110和/或数据存储单元112。该计算机可读且计算机可执行指令用来控制例如图1的处理器106A和/或处理器106A、106B和106C或者与其结合操作。虽然在流程图400和700中公开了具体步骤，但是这些步骤是示例性的。也就是说，这些实施例很适合于执行各种其他步骤或流程图400和700中所述的步骤的变型。要明白，流程图400和700中的步骤可以与所给出的不同的次序来执行，并且不是流程图400和700中的所有步骤都要被执行。

生成维度上易处理的布局约束集

图4是根据本发明的一个实施例的用于生成维度上易处理的图像布局约束集的方法的流程图400。

在流程图400的410，在一个实施例中，应用所选择的约束以限制高维度解空间的维度。所选择的限制是通过图像分析约束选择器321或通过风格约束选择器323应用的，并且可以是图像分析约束或风格约束。类似地，在一个实施例中，多个这种图像分析约束、风格约束或其组合被应用以限制高维度解空间的多个维度。

风格约束选择器323选择并应用风格约束，所述风格约束基于预定风格默认、基于用户定义的风格输入或基于其组合。图5(下面讨论)图解说明了一组简化的风格输入控制的一个实施例，用户采用这组输入控制来生成到风格约束选择器323的用户风格输入，或者其可以包括风格约束选择器323的默认设置。

图像分析约束选择器321选择并应用图像分析约束，所述图像分析约束基于对图像或图像组的图像内容的自动分析(其采用图像分析数据)、基于对图像或图像组的图像内容的用户分析或基于其组合。图6(下面讨论)显示了自动和用户提供的图像分析输入的一些示例。

在流程图400的420，在一个实施例中，通过随机选择来识别高维度解空间的一个或多个无约束维度。当被约束时，这些随机选择的约束把高维度解空间进一步限制到维度上易处理的解空间，其中该维度上易处理的解空间的易处理与计算机资源的能力相关联。因而在一个实施例中，随机约束器325接收并分析由图像分析约束选择器321和/或风格约束选择器323应用的任何约束或多个约束。图像分析约束选择器325确定对于特定的图像或图像组还存在图像布局的多少维度自由度(dimensional degrees of freedom)。图像分析约束选择器325还确定(例如，经由默认设置或轮询请求)诸如处理器或图像分析程序的特定计算资源能够对多少无约束的维度自由度进行有效求解。

在一个实施例中，随机约束器325然后随机地选择并约束足够的无约束维度以把无约束维度(自由度)缩减到对计算资源而言易处理的水平。因而，例如，对于嵌入式设备，维度自由度可被缩减到一个或两个维度；或者对于高功率个人计算机，维度自由度可被缩减到四个或五个维度。例如，考虑其中随机约束器325确定对于特定图像组的布局还存在十个无约束维度的实施例。在这个示例中，随机约束器325还确定当存在五个或更少无约束自由维度时，比如试验性布局生成器215中的处理器的计算资源最优能够生成这组图像的布局。作为响应，随机约束器325将随机地选择并应用来自剩余的十个无约束维度的足够约束以使无约束布局维度的数量为五个或更少。因此，在这种情况下，随机约束器325可通过选择并应用布局约束来随机地生成对剩余的无约束维度的五个约束。在另一这种情况下，随机约束器325相反可以随机地约束剩余的十个无约束维度中的五个以上维度，以加快试验性布局生成和最优化的过程，或者对最终呈现增加变化，或者这两者。

在另一实施例中，随机约束器325随机地决定生成比获得对特定计算资源而言最优易处理的解空间所需的约束更少的约束。例如，考虑如下实施例：其中随机约束器325确定还存在十个无约束维度并且当存在五个或更少无约束维度时计算资源最优地操作。作为响应，随机约束器325随机地约束四个或更少的无约束维度使得解空间仍然在该计算资源的最优易处理之外。因此，在一个这样的情况下，随机约束器325可以生成零布局约束以约束无约束维度。而在另一这样的情况下，随机约束器325可生成布局约束以约束两个、三个或四个维度。

在流程图400的430，在一个实施例中，提供图像布局约束集以用于生成试验性图像布局，其中该布局约束集定义了维度上易处理的解空间。在一个实施例中，随机约束器325累积由图像分析约束选择器321和风格约束选择器323所生成的应用的布局约束。在把任何随机应用的约束添加到其他累积的约束之后，随机约束器325把所有这些布局约束作为定义了对特定计算资源而言维度上易处理的解空间的布局约束集在输出227上输出。在另一实施例中，替代(或除了)输出整个布局约束集，随机约束器325以如下方式输出从该约束集中导出的布局约束的排列：每个排列能够用来生成落入该维度上易处理的解空间的试验性布局。

图5是根据本发明的一个实施例的示例性用户风格输入控制面板500的表示。控制面板500由下列项组成：速度控制510和伴随的速度选择器511；每布局图像控制520和伴随的每布局图像选择器521；主题1控制530和伴随的主题1选择器531；以及主题2控制540和伴随的主题2选择器541。每个控制(510、520、530和540)被示出配置为滑动控制，其中通过把相关选择器(511、521、531和541)定位到其滑板上的适当位置来选择输入。在一个实施例中，控制500被配置为显示设备(比如显示设备118(图1))上的可选择区域并且经由光标控制(比如计算机***100的光标控制116(都见图1))的使用来操纵。要明白，包括旋转控制、可选择框、下拉菜单等等的其他控制装置容易替换图5所示的那些控制，并且因此落入本发明的范围。还要明白，风格输入控制面板500中所示的这些控制仅仅是示例性的，并且类似的控制面板的其他实施例配备有不同的或附加的用户可选择输入。

速度控制510为用户输入控制图像或图像组的呈现速度的各个要素(element)提供了简化装置。例如，用户通过沿速度控制510的长度定位滑块511以提供对应于慢512、中513、或快514的输入来选择速度输入。经由来自控制510的输入选择，风格约束选择器323选择并应用一个或多个速度约束以限制高维度解集的维度。例如，(如所示的)慢512、中513、或快514的输入选择被用来选择和应用各种速度相关的约束。作为示例而非限制，在一个实施例中，快514的选择对应于每图像布局五秒显示时间的约束、一秒淡入的约束、一秒淡出的约束以及在适当的时候快缩放速率的约束和快平移速率的约束。

每布局图像控制520为用户输入控制放置在为呈现生成的每个试验性布局中的图像数量提供了简化装置。例如，用户通过沿每布局图像控制520的长度定位滑块521以提供对应于每布局一个图像522、每布局一个以上图像523或每布局可变数量图像524的输入来选择“每布局图像”输入。经由来自控制520的输入选择，风格约束选择器323通过约束将在每个试验性布局中使用的图像数量来选择并应用约束以限制高维度解集的维度。例如，在一种情况下，“一个”522的输入选择将导致使得所生成的布局具有单个图像的约束。同样，在一种情况下，“一个以上”523的输入将导致使得生成在每个布局中具有一个以上图像的布局的约束。类似地，在一种情况下，(所示的)“可变”524的输入将导致使得生成在每个布局中具有一个或一个以上图像的布局的约束。要明白，在其他实施例中，可为用户提供每布局附加的和/或不同的图像选择。

主题1控制530为用户输入控制图像或图像组的呈现主题的各个要素提供了简化装置。例如，用户通过沿主题1控制530的长度定位滑块531以提供对应于一致(harmony)532或不一致533的输入来选择主题1输入。经由来自控制530的输入选择，风格约束选择器323选择并应用一个或多个主题约束以限制高维度解集的维度。例如，(如所示的)一致532的输入选择被用来选择并应用这样的主题约束，所述主题约束将平移限制到具有主线的图像，并且进一步将平移约束到与所平移的图像的主线平行(一致)的方向。类似地，不一致533的输入将平移限制到具有主线的图像，并且进一步将平移约束到与所平移的图像的主线垂直(对立)的方向。

主题2控制540为用户输入控制图像或图像组的呈现主题的各个要素提供了第二简化装置。例如，用户通过沿主题2控制540的长度定位滑块541以提供对应于浅色542、混合色543或深色544的输入来选择主题2输入。经由来自控制540的输入选择，风格约束选择器323选择并应用一个或多个主题约束以限制高维度解集的维度。作为示例而非限制，(如所示的)深色544的输入选择被用来选择并应用把具有相似颜色或互补颜色的图像分组成含有多个图像的布局或分组成一系列布局的主题约束。同样，深色544的选择应用阻止或减少没有鲜明颜色的图像的显示的主题约束。类似地，在适当的情况下，深色544的选择还应用在布局内促进缩放到颜色鲜明的图像部分或从其缩放以及在所述颜色鲜明的图像部分上平移的主题约束。

在一个实施例中，控制510、520、530和540(以及可能使用的其他控制)配备有用于呈现风格的自动或用户定义的默认风格约束设置，所述设置由风格约束选择器323用作输入以便在不存在用户改变默认设置的情况下选择并应用约束。例如，在一个实施例中默认呈现风格由默认设置为中513的速度控制510、默认设置为“一个”522的每布局图像控制520、默认设置为一致532的主题1控制以及具有默认设置为混合色543的主题2控制组成。

图6示出了在其上可实践本发明的实施例的示例性图像610和620。

参照图像610，飞机611表示图像分析约束选择器321经由作为输入接收的图像分析数据而自动识别的显著对象(感兴趣对象)。同样，区域615是具有很少显著性或没有显著性的图像610的自动识别的区域。在一个实施例中，响应于这种对象和区域的自动识别，图像分析约束选择器321选择并应用一个或多个图像分析约束。作为示例，在一个实施例中，图像分析约束选择器321选择并应用使得对象611被显示在含有图像610的任何布局中的约束。同样，在一个实施例中，图像分析约束选择器321选择并应用使得区域615在含有图像610的任何布局中被剪裁、重叠、最小化或不显示的约束。

在图6中，线条613表示与飞机611的长度对应的图像610的主线的方向。在一个实施例中，已经经由输入到图像分析约束选择器321的用户图像分析输入识别了主线613。响应于主线613的用户识别(或一些其他用户输入)，图像分析约束选择器321选择并应用一个或多个图像分析约束。作为示例而非限制，在一个实施例中，图像分析约束选择器321选择并应用允许图像610在平行于主线613的方向上一致平移的约束以及允许图像610在垂直于主线613的方向上不一致平移的约束。

参照图像620，人622表示图像分析约束选择器321经由作为输入接收的图像分析数据而自动识别的显著对象(感兴趣对象)。同样，区域626是具有很少显著性或没有显著性的图像620的自动识别的区域。在一个实施例中，响应于对象和区域的自动识别，图像分析约束选择器321选择并应用一个或多个图像分析约束。作为示例，在一个实施例中，图像分析约束选择器321选择并应用使得对象622被显示在含有图像620的任何布局中的约束。同样，在一个实施例中，图像分析约束选择器321选择并应用使得区域626在含有图像620的任何布局中被剪裁、重叠、最小化或不显示的约束。

虚线圆圈624表示在图像620中识别的具有很高显著性的区域(面部)。在一个实施例中，已经由图像分析约束选择器321根据作为输入接收的图像分析数据自动识别了区域624。此外，在一个这种实施例中，用户图像分析输入已被图像分析约束选择器321接收以确认将区域624正确识别为具有很高显著性的区域。响应于区域624或者其他具有很高显著性的类似区域的识别，图像分析约束选择器321选择并应用一个或多个图像分析约束。作为示例而非限制，在一个实施例中，图像分析约束选择器321选择并应用允许缩放到图像620的区域624以及从该区域缩放和/或允许放大该区域的约束。

生成图像布局约束

图7是根据本发明的一个实施例的用于生成图像布局约束的方法的流程图700。

在流程图700的705，在一个实施例中，利用所选择的布局约束来把布局维度集缩小到有限的布局维度集。在一个这种实施例中，所利用的约束是为缩小先前的无约束的布局维度集而由图像分析约束选择器321或风格约束选择器323选择并应用的布局约束。

例如，在一种情况下，这包含利用自动选择的布局约束来缩小布局维度集。在一个实施例中，自动选择的布局约束由图像分析约束选择器321选择并应用，并且基于图像内容的自动分析、图像内容的用户分析或其组合。图6的描述详细说明了图像分析约束选择器如何基于用户输入和自动图像分析输入来选择并应用图像分析布局约束的示例。

在另一情况下，这包含利用基于风格输入的所选择的布局约束来缩小布局维度集以创建有限的布局维度集。所述风格输入基于用户风格输入、默认风格输入设置或其组合。在一个这种实施例中，风格约束选择器323被用来选择并应用基于风格输入的所利用的约束。图5的描述详细说明了默认风格输入设置和用户选择的风格输入两者如何被风格约束选择器323用来选择并应用风格布局约束的示例。

要明白，在利用一个以上选择的约束来把布局维度集缩小到有限的布局维度集的实施例中，所选择的约束是由图像分析约束选择器321、风格约束选择器323或这两者选择并应用的。

在流程图700的715，在一个实施例中，利用至少一个随机布局约束来把有限的布局维度集缩小到缩减的布局维度集。与有限的布局维度集相比，缩减的布局维度集对于图像布局具有更多的约束和更少的维度自由度。随机约束器325随机地选择并应用所利用的约束。在一个实施例中，随机约束器325分析有限的布局维度集，其包含在应用由图像分析约束选择器321、风格约束选择器323或两者选择并应用的约束之后剩余的无约束维度。通过该分析，随机约束器325确定有限的布局维度集中的哪些维度仍然是无约束的。随机约束器325对有限的布局维度集中的一个或多个无约束的维度随机地选择并应用一个或多个约束(如先前所述)。在一个实施例中，随机约束器325还对已约束的维度随机地选择并应用进一步的约束。

在一个实施例中，应用随机约束的目的是要把有限的布局维度集缩减到缩减集。在一个这种实施例中，随机约束器325通过对无约束维度应用足够的(或多于足够的)随机约束以把有限的布局维度集缩减到与计算资源(比如试验性布局生成器或布局优化器中的处理器或成像程序)相关联的易处理维度来实现这个过程。因而，例如，如果有限的布局维度集具有十个维度自由度而缩减的布局维度集需要有五个或更少自由度以便易处理，则随机约束器325随机地选择并应用布局约束以对无约束自由度中的至少五个进行约束。

在另一实施例中，如果有限的布局维度集已是易处理的解集，则随机约束器325仍对有限的布局维度集中的约束的或无约束维度随机地选择并应用一个或多个约束。这就给缩减的布局维度集引入了随机性，使得从缩减的布局维度集中生成的最后得到的试验性图像布局和呈现对用户而言不会显得乏味和高度重复。

随机约束器325随机地应用比使解集进入对计算资源而言最优易处理的范围内所需的约束数量更少的约束。考虑先前的示例，其中仍然存在十个维度自由度并且用五个或更少自由度就会获得最优易处理。在这个实施例中，随机约束器325将随机地选择并应用四个或更少的约束。因而，与对计算资源最优易处理的相比，更大数量的无约束维度将留在解集中。通过偶然地创建会迫使计算资源提供“目前能够达到的最佳”型解的维度集，这给缩减的布局维度集引入了随机性。

在流程图700的725，在一个实施例中，采用缩减的布局维度集来为时变的图像显示指定图像布局约束集。在一个实施例中，随机约束器325合并来自已被用来限制和缩减布局维度集的约束的布局约束集。随机约束器325把该合并的约束集和缩减的布局维度集的剩余的无约束维度进行组合以为图像或图像组的时变显示(比如幻灯片放映式呈现)指定图像布局约束集。

在另一实施例中，随机约束器325根据指定的布局约束集进一步确定多个约束排列。每个约束排列在例如被试验性布局生成器应用于图像组时导致独特的图像布局。现在参照图6的图像610和620，这种排列的一个示例可规定只显示图像620的布局。接着这个示例，该排列还可进一步要求：以去除区域626的方式剪裁图像620；所剪裁的图像被静止显示在观看区域的中央长达特定的时间量，直到接着显示新的布局；以及非常显著的区域624以缓慢的缩放速率被放大同时显示所剪裁的图像。

在流程图700的735，在一个实施例中，提供图像布局约束集用于为时变的图像显示生成试验性布局集。在一个这种实施例中，随机约束器325把所选择的图像布局约束集(先前结合方框725描述的)作为输出提供到输出线227上。输出线227耦合到试验性布局生成器215(图2)或一些类似元件上，用于生成一个或多个试验性布局以供评估或者用于图像或图像组的时变显示，比如幻灯片放映式呈现。

虽然以结构特征和/或方法动作特有的语言描述了本发明的主题，但是要理解所附权利要求书中定义的主题不必限于上面描述的具体特征或动作。相反，上面描述的具体特征或动作是作为实施权利要求的示例形式公开的。

Claims (11)

1.一种用于生成维度上易处理的图像布局约束集的方法(400)，所述方法包含：

应用选择的约束以限制高维度解空间的维度(410)；和

通过随机选择来识别所述高维度解空间中的一个或多个无约束维度，所述无约束维度当被约束时将把所述高维度解空间进一步限制为维度上易处理的解空间，其中所述维度上易处理的解空间的易处理与计算资源的能力相关联(420)。

2.如权利要求1所述的方法(400)，进一步包含：

提供图像布局约束集以用于生成试验性图像布局，其中所述布局约束集定义所述维度上易处理的解空间(430)。

3.如权利要求1所述的方法，其中所述应用选择的约束以限制高维度解空间的维度(410)包含：

使所述选择的约束基于用户定义的风格输入。

4.如权利要求1所述的方法(400)，其中所述应用选择的约束以限制高维度解空间的维度(410)包含：

使所述选择的约束基于图像内容的自动分析。

5.如权利要求1所述的方法(400)，其中所述应用选择的约束以限制高维度解空间的维度(410)包含：

使所述选择的约束基于预定默认值。

6.一种用于为时变的图像显示生成布局约束的***(220)，所述***包含：

图像分析约束选择器(321)，其被配置为基于对所述图像的分析来生成布局约束；

风格约束选择器(323)，其被配置为基于所述时变的图像显示的所选择的呈现风格来生成布局约束；和

随机约束器(325)，其被配置为随机地生成与所述时变的图像显示相关联的维度解空间的布局约束。

7.如权利要求6所述的***(220)，进一步包含：

到布局生成器(215)的耦合(227)，所述耦合被配置成为所述布局生成器提供所述生成的布局约束以用于生成所述图像的多个试验性布局。

8.如权利要求6所述的***(220)，其中所述图像分析约束选择器(321)被配置为生成布局约束，该布局约束缩减次最优的试验性图像布局并且基于对所述图像的自动图像内容分析。

9.如权利要求6所述的***(220)，其中所述图像分析约束选择器(321)被配置为基于所述图像的用户图像内容分析来生成布局约束。

10.如权利要求6所述的***(220)，其中所述呈现风格从由下列项组成的组中选择：

用户可选择的图像呈现速度，默认呈现风格，和用户可选择的图像主题。

11.如权利要求6所述的***(220)，其中所述随机约束器(325)被配置成随机地生成足够的所述随机布局约束以把所述维度解空间缩减到与计算资源相关联的易处理维数。

Images