CN102473288A - 分布式图像重定向 - Google Patents

Abstract

一种用于在***中重定向图像的方法，该***包括通过通信网络连接到至少一个接收机的发射机，该方法包括：由发射机计算（35）图像的显著图；通过通信网络从发射机向至少一个接收机发送（37）图像和显著图；由至少一个接收机基于所发送的显著图来重定向所发送的图像。

Description

分布式图像重定向

技术领域

本发明涉及图像重定向领域。

背景技术

显示技术领域的最新发展已经见证了显示尺寸方面的极大多样性，并且相同的内容需要为不同的设备以不同的尺寸和长宽比来显示。通常，为旧的4:3比例的CRT电视录制的视频现在显示在16:9的宽屏电视上。

因此，需要能够使图像适应不同于其原本用于的显示器的算法。

基本的图像尺寸修改技术是线性缩放或裁剪。然而，由于细节丢失、各向异性挤压或拉伸、裁剪窗口之外的区域的压缩（suppression）等原因，这些技术导致图像质量下降。

因此，需要考虑到图像内容的图像有效自适应。这样的智能自适应在本领域已知为“图像重定向”或（如果把视频考虑进来）“视频重定向”。

关于“智能地”修改图像，很多方法使用了为每个像素定义了信息值的显著图。

例如，文献EP 1968008公开了一种用于已知为“接缝雕刻”的内容感知图像重定向方法。根据能量函数，往往是亮度梯度函数，来生成来自源图像的显著图（也称为能量图像）。从能量图像中，根据最小化函数确定一个或多个接缝，以使每个接缝具有最小的能量。通过压缩（suppress）或复制接缝将每个接缝应用到源图像以获得目标图像，该目标图像保留了内容但具有不同的长宽比。

这个技术通过在3D视频时空立方体中定义2D接缝表面扩展到视频重定向。就该文献而言，该表面与每个帧的交叉定义了接缝。流形（manifold）接缝表面允许接缝随时间自适应地变化，维持时间相干性。

无论使用了哪个重定向方法，显著图的计算是计算机密集的操作。通过这些内容感知重定向方法获得的更好质量的重新缩放创建了对于更好的处理功耗使用的需求。

发明内容

将会有利的是实现一种方法和设备，其降低计算成本同时维持通过内容感知重新缩放方法而获得的高质量。

为了更好地解决这些关注中的一个或多个，根据本发明的第一方面，一种用于在包括通过通信网络连接到至少一个接收机的发射机的***中重定向图像的方法包括：

- 由发射机计算图像显著图；

- 通过通信网络从发射机向至少一个接收机发送图像和显著图；

- 由至少一个接收机基于所发送的显著图来重定向所发送的图像。

通过在发射机层计算显著图，此计算机密集的操作可以在许多接收机之间共有。此外，无论最终的长宽比是什么，唯一的显著图都是可用的。因此，每个接收机的长宽比无需相同。

该方法还具有将计算传输到通常为高端专业装备的发射机上的优点。相对应，接收机通常为诸如移动电话或电视机之类的通用公共装备，其制造成本必须保持为尽可能的低。

还可以事先计算好显著图，并且将显著图存储在发射机中直到请求发送为止，以消除计算所需的时间。

在特定的实施例中，显著图包括分别用于水平和垂直缩放的两个一维显著曲线。

这个显著图变换显著地减少了通过通信网络发送的数据量。

根据本发明的第二方面，一种用于重定向图像的***，包括：

- 发射机，包括：

   - 显著图计算器，用于计算图像的显著图；以及

   - 网络接口，用于将图像和显著图发送到通信网络上；

- 接收机，包括：

   - 接收器，连接到通信网络以用于接收所发送的图像和所发送的显著图；

   - 图像修改器，用于基于所发送的显著图重定向所发送的图像。

根据本发明的第三方面，一种在用于重定向图像的***中的发射机包括：

- 显著图计算器，用于计算图像的显著图；以及

- 网络接口，用于将图像和显著图发送到通信网络上。

根据本发明的第四方面一种在用于重定向图像的***中的接收机包括：

- 接收器，连接到通信网络以用于接收所发送的图像和所发送的显著图；

- 图像修改器，用于基于所发送的显著图重定向所发送的图像。

取决于图像的类型，特定的实施例可以优选为更易于适应或给出更好的结果。然而，可以视情况或依照要求对这些特定的实施例的各方面进行组合或修改。

附图说明

根据下文中描述的实施例，本发明的这些和其他方面是显而易见的，并且参考这些实施例来阐明本发明的这些和其他方面，其中：

图1是根据本发明实施例的***的示意图；

图2是根据本发明的第一实施例的重定向方法的流程图；

图3是根据本发明的第二实施例的重定向方法的流程图；

图4示出三个不同的局部放大曲线；

图5示出划分为8个垂直部分和4个水平部分的图像；

图6示出了非线性位置变换曲线的使用；

图7示出通过图6的非线性位置变换曲线获得的经缩放的图像；

图8-11示出通过使用根据本发明实施例的方法获得的不同放大曲线；

图12是示出根据本发明的用于修正长宽比的第二实施例的第一变体的流程图；

图13是示出根据本发明的用于修正长宽比的第二实施例的第二变体的流程图；

图14是示出图13的变体的另一流程图。

具体实施方式

参考图1，诸如因特网之类的通信网络1连接发射机3和至少一个接收机5。

发射机3包括网络接口7，其将发射机3连接到通信网络1，并向接收机5发送数据。

发射机3还包括计算器9和存储区11以及用诸如MPEG-2、MPEG-4或其他格式之类的压缩格式来传送视频的多个输入源13。解码器15根据所接收的视频原始图像数据IMD-1生成将由计算器9使用的画面流，其中每帧一个画面。

接收机5包括接收器 17，其可以是类似于发射机3的网路接口7的网络接口。接收器17将接收机5连接到通信网络1来接收由发射机3发送的数据。

接收机5还包括图像修改器19，以将接收的图像尺寸修改到适合于显示器21的新长宽比。

图2以流程图的形式示出发射机3和至少一个接收机5之间的关系，其中，栏中的每个矩形指代在相应设备中执行的步骤。

在步骤31处，发射机3通过其输入源13之一接收视频流。在步骤33处，视频流被解码成发送到计算器9的原始图像流。

在步骤35处，计算器9通过使用某个能量函数计算图像的显著图。例如，计算器可以使用根据EP 1968008计算的显著图。

在步骤37处，将每个图像及其显著图发送到接收机5。为了优化发送的吞吐率，图像及其显著图可以使用公知的算法来进行压缩。例如，为了避免压缩步骤，所发送的图像可以是通过输入源13接收的压缩图像。因此，解码的图像仅用于计算显著图。

在步骤39处，接收机5接收图像及其显著图，并且如有必要就对它们进行解压缩。在步骤41处，图像修改器19通过使用所发送的显著图将图像重定向到期望的长宽比。由图像修改器使用的重定向方法被选择为与显著图兼容。例如，如果根据EP 1968008计算显著图，则重定向方法会是接缝雕刻方法。

随后，在步骤43处，将重定向的图像显示在显示器21上。

在图3的变体中，在步骤51处，在步骤35处计算的显著图在发送前被变换成分别用于水平和垂直缩放的两个一维（1D）曲线。这个变换显著减少了在步骤53处要发送的信息量。

在步骤55处，接收图像和两个一维显著曲线，并且随后在步骤57处，一维显著曲线由接收机使用来计算缩放曲线，以便在步骤59处，将缩放曲线应用到所接收的图像以用于对其进行重定向。

图4示出三条示例性缩放曲线，并且更具体地，示出描述局部放大的放大曲线。这些曲线是：一条具有恒定放大倍数的线性缩放曲线、一条具有负倍数的线性缩放曲线，以及所谓的“浴缸”曲线。浴缸曲线的形状使得在图像的中心处使用统一缩放，而放大率向图像的边缘增加。图像中心处的统一缩放意指图像中心处的对象保持没有失真。通常放大率在0.5和2.0之间。

图5、6和7示出通过使用非线性缩放曲线并且更具体地使用位置变换（或映射）曲线的非线性图像缩放。位置变换曲线是放大曲线的积分的结果。图5示出图像61，其被划分成等宽的8个垂直部分和等宽的4个水平部分。还示出了从图像的一角到对角的线63。

为了得出如图7所示的非线性缩放图像67，使用了如图6所示的非线性位置变换曲线65。图6清楚地示出是放大曲线的积分的结果的图像缩放曲线，即位置变换曲线。在水平/垂直位置上对水平/垂直放大曲线进行积分以结果导致水平/垂直位置变换曲线。在图中，还可以看出，接近图像的边缘，垂直部分变得更窄，而靠近中心，水平部分保持不变。通过使用这种曲线，假设图像最重要的信息位于图像的中心附近。在图7中，由于在水平方向非线性缩放的原因，具有斜度的直线63显示为曲线69。

然而，需要注意的是，最相关的信息并非总是位于图像的中心附近。为此，可以有利地使用不同的缩放曲线。

为了确定要使用的缩放曲线，在一个方向（水平或垂直）累积关于局部显著性，即每个像素的显著性的信息，这将在稍后进行更详细的阐述。累积的局部显著性用于计算不同缩放曲线的成本。在这个示例中，定义了初始的水平和/或垂直缩放曲线集，其包括标准曲线，即“浴缸曲线”，而且还包括在标准曲线无用的情况下可能适用的一些曲线。这主要在最重要的一个或多个对象处于屏幕的侧面板（side panel）附近时发生。存储的初始缩放曲线的数目至少为2，但是小于图像中像素的数量。在大多数应用中，使用3-10个初始缩放曲线就足够了。

给定当前图像的显著特征或局部显著性，可以计算这些初始曲线的每一个的“成本”。缩放曲线的成本取决于图像中诸如面部、移动对象等重要对象的位置，使得局部缩放因子尤其在这些重要的对象位置处越不同于统一缩放（缩放因子1），成本越增加。换言之，处于缩放因子不同于1的位置的大量显著特征导致高成本值。对于成本值的计算，可以忽略处于缩放因子为1的位置的显著特征。

要在实际图像重新缩放中使用的缩放曲线，即位置变换曲线，被计算为各单独曲线的加权平均，其中权重与前面提到的成本逆相关。这意味着随着预定义的缩放曲线的成本增加，权重减小。所有的备选曲线（水平和垂直缩放曲线两者）各自造成期望的长宽比变化。在权重之和等于1的情况下，结果获得的曲线也将导致期望的长宽比变化。如果输入视频序列具有很好的时间稳定性（没有场景变化），权重将只是逐渐地变化，这导致输出的重定向视频也是在时间上稳定的。在输入视频的低时间稳定性（场景变化）的情况下，输出可以对经更新的成本立即作出反应而没有余留来自先前场景的影响。因此，提出的重新缩放方法所非常令人欣赏的时间稳定性没有阻止快速适应新的镜头。此外，通过或多或少大胆地选择初始曲线（即，不同于标准曲线的曲线），可以确保长宽比校正的伪影是适度的。

表1-4示出用于计算要在图像缩放中使用的校正放大曲线的具体示例。在这些表中，每一栏表示图像中特定的水平位置。为简单起见，在这些示例中的预定义缩放曲线仅使用两个不同的放大率值，即值1和2。更广泛地，这些放大率值也称为局部放大率值或局部缩放曲线。因此，可以将预定义缩放曲线视为包括若干被认为是粘合在一起的局部缩放曲线。在每个示例中，预定义缩放曲线集包括三个缩放曲线。表中示出的质量指数与成本值逆相关，其中如以上解释的那样，通过将图像中的局部显著性考虑在内来为预定义集中的每条曲线计算成本值。对于最终的缩放曲线，可以通过使用以下公式为每个位置Y计算在一个方向上，即水平或垂直方向上结果获得的放大率：

。

对于表1、2、3和4所结果获得的最终放大曲线分别在图8、9、10和11中示出。在这些图中示出的曲线展现在放大率方面的突变，并且为此，为了避免不可接受的失真，必须例如通过过滤平滑曲线或从平滑曲线开始来使这些曲线平滑。

为了将显著图变换成两个一维的显著曲线，在图12的步骤71处，在诸如垂直方向之类的第一方向上累积局部显著性，即每个像素的显著性，以便获得在二维显著图的第二方向（在此示例中为水平方向）上的一维投影。投影到一个方向也涵盖了投影发生在比单个像素线宽的列（或行）上的情形。换言之，投影投射接收的图像中的各单独像素的局部显著性，或者投射与累积方向正交的一组像素上的局部显著性的组合。局部显著性的组合可以例如允许使用中位数或加权平均。

在步骤73处，获得初始曲线集。在步骤75处，通过将图像中的局部显著性考虑在内为如以上解释的不同初始曲线计算成本。在步骤77处，基于所计算的成本来计算新的缩放曲线。最后，在步骤79处，通过应用新的缩放曲线在第二方向（在此示例中为水平方向）重新缩放图像。现在，图像已准备好显示给用户。第二方向基本上与第一方向正交。请注意，在以上示例中，只是在一个方向应用缩放，但是同样可以在水平方向和垂直方向两者上应用缩放。

在此变体的另一实施例中，如图13，在步骤71处，获得第二方向上的一维投影。在这个投影中，峰值指示了显著特征的位置。接下来，在步骤81处，反转所创建的投影以获得局部放大因子分布图。进行该反转是由于对于显著特征而言，期望的是放大率因子接近1（即没有附加的放大率）。在步骤83处，还有利地使局部放大率分布图平滑。随后，在步骤85-89处，将局部放大率分布图用作缩放曲线以用于重定向图像。图14示出该方法的示例。

可以在发射机层计算局部放大率分布图，因为其独立于最终的长宽比。在这样的情况下，局部放大率分布图具有与一维显著曲线相同的作用。因此，在此文档中，术语“发送的显著图”需理解为包括将显著性信息传递到接收机的所有数据，而不与要应用到图像的最终长宽比无关。

可以通过计算机程序产品实现本方法，当该计算机程序产品被加载并运行在图像尺寸修改设备的计算机装置上时，它能够实现如以上描述的方法步骤中的任一个。计算机程序可以存储或分布在与其他硬件一起或作为硬件一部分提供的合适介质上，而且可以以其他形式分布，例如经由因特网或其他有线或无线电信***。

可以部署集成电路来执行根据公开的实施例的方法步骤中的任一个。

虽然在附图和前述的描述中已经详细地图解和描述了本发明，但是这样的图解和描述将被认为是说明性的或示例性的而非限制性的；本发明不局限于所公开的实施例。

例如，接收机5例如可以是电视机的一部分，或者集成在通过HDMI接口连接到电视机的机顶盒中。但是接收机还可以是能够接收和显示视频流的移动终端的一部分。

本领域技术人员在实践所要求保护的发明时，根据对附图、公开和所附权利要求的研究能够理解并实现所公开的实施例的其他变体。在权利要求中，词语“包括”不排除其它单元，而且不定冠词“一”或者“一个”不排除多个。

Claims (6)

1.一种用于在***中重定向图像的方法，所述***包括通过通信网络连接到至少一个接收机的发射机，所述方法包括：

- 由所述发射机计算（35）所述图像的显著图；

- 通过所述通信网络从所述发射机向所述至少一个接收机发送（37）所述图像和所述显著图；

- 由所述至少一个接收机基于所述发送的显著图来重定向（41）所发送的图像。

2.根据权利要求1所述的方法，其中所述显著图包括分别用于水平和垂直缩放的两个一维显著曲线。

3.根据权利要求1或2所述的方法，其中所述***包括多个接收机。

4.一种用于重定向图像的***，包括：

- 发射机（3），包括：

    - 显著图计算器（9），用于计算所述图像的显著图；以及

    - 网络接口（7），用于将所述图像和所述显著图发送到通信网络上；

- 接收机（5），包括：

    - 接收器（17），连接到所述通信网络以用于接收所发送的图像和所发送的显著图；

    - 图像修改器（19），用于基于所发送的显著图重定向所发送的图像。

5.一种在用于重定向图像的***中的发射机（3），包括：

- 显著图计算器（9），用于计算所述图像的显著图；以及

- 网络接口（7），用于将所述图像和所述显著图发送到通信网络上。

6.一种在用于重定向图像的***中的接收机（5），包括：

- 接收器（17），连接到所述通信网络以用于接收所发送的图像和所发送的显著图；

- 图像修改器（19），用于基于所发送的显著图重定向所发送的图像。

Images