CN102129349A - 以视觉转移机制为指导的图像自适应显示方法 - Google Patents

Abstract

本发明公开了一种以视觉转移机制为指导的图像自适应显示方法，包括以下步骤：(1)视觉注意模型的构建，得到最终的显著图，(2)在显著图基础上，根据竞争机制依次找到显著图中最大显著值点，(3)通过目标显著屏幕的尺寸与注意焦点的转移顺序以及他们之间的距离来确定最终的显示策略。本发明的以视觉转移机制为指导，并且在确定显示策略后，通过显著图能量的累积大小进行进一步调整的图像自适应显示方法，为以往的仅仅根据能量的累积大小来进行剪切和线裁剪的自适应方法提供一个重要参考，使得在进行自适应的过程中能够充分满足用户对图像内容的理解，并且针对一幅有多个显著区域的图像能够达到更小的内容损失和更好的用户浏览体验。

Description

以视觉转移机制为指导的图像自适应显示方法

技术领域

本发明涉及一种以视觉转移机制为指导的图像自适应显示方法，属于图像、多媒体信号处理技术领域。

背景技术

随着互联网技术的快速发展，图像等多媒体资源呈现出***式的增长趋势。特别是电信网，广播电视网和互联网三网融合的必然趋势，更加推动了信息服务的多样化发展和多媒体数据的急剧膨胀。目前，由于移动电话、掌上电脑及智能手机等移动设备的多样性，使得图像等多媒体内容在这些移动设备上的使用越来越广泛。然而，对于图像信息的发布者来说，一幅图像的发布形式只是针对某一类显示设备终端的，因此，这也对相应的图像自适应转换显示技术提出了新的挑战，即：寻找一种针对不同低分辨率显示终端上对图像的自适应显示技术，以提供最好的浏览体验。

近年来，图像的自适应显示技术已经成为多媒体信息分析与处理领域的研究热点，已经提出了许多基于图像内容的自适应显示技术。基于内容的自适应显示技术的主要思想是考虑图像的重要视觉内容，也就是基于人的视觉上最感兴趣的区域进行自适应处理，在保护重要区域完整的同时，使重要区域的失真降低到最小。最典型的两类自适应方法包括：基于内容的图像剪切(cropping)和线裁剪(Seam carving)。基于内容的图像剪切方法中，重要内容主要是通过应用注意模型得到的显著图进行重要区域的估计，在显著图的基础上，使要求显示窗口大小内的能量达到最大。在显示窗口调整的过程中以累积能量达到最大来确定显示的内容；基于内容的线裁剪自适应方法，其基本思想是：通过从输入图像水平或垂直方向上反复的移除能量最小的，也就是重要性最小的线，来降低图像的高度或宽度，直到达到要求的显示图像尺寸为止。基于内容的剪切方法是依据视觉显著性能量的累积量大小来调整要显示的内容，然而这种方法对于一幅图像有多个分散的重要区域，则可能造成重要区域的丢失，如图5b中，雏鸟被剪切掉，从而重新显示后的图像丢失了一部分重要内容。线裁剪方法对于当要求移除的线过多时，容易造成重要区域的失真或者原有图像中重要区域之间的相对距离发生重大变化，如图5c中，母鸟和树枝失真变形且母鸟和雏鸟之间的距离与原始图像相比出现严重的错误。因此，以上两种方法针对一幅具有多个显著区域的图像的自适应，都存在着一定的缺陷，这也影响了观赏者对图像内容的理解。

发明内容

针对当前图像的自适应显示方法存在的问题，为了在图像自适应过程中更好地满足用户浏览体验以及对图像的理解，本发明提供一种以视觉转移机制为指导的图像自适应显示方法。

本发明的以视觉转移机制为指导的图像自适应显示方法，首先构建结合局部和全局显著性的视觉注意模型来有效提取图像的显著区域，然后根据竞争机制逐个找到显著图中的注意焦点，最后以注意焦点转移顺序为指导，根据目标显著屏幕的尺寸和视觉转移顺序决定自适应显示，具体包括以下步骤：

(1)视觉注意模型的构建：首先基于图像的低级特征分别计算图像中每个像素点的局部对照和全局对照显著性，得到局部显著图和全局显著图；然后将局部显著图和全局显著图进行有效地组合；最后将结合的结果作为每个像素点全局显著性的权值，对全局显著性进行加权，得到最终的显著图；

(2)确定显著图中注意焦点的位置：在显著图的基础上，通过竞争机制依次找到显著图中注意区域的位置，即注意焦点；

(3)自适应显示：根据目标显示屏幕的尺寸大小、视觉转移顺序以及注意焦点之间的距离，确定最终显示策略。

在步骤(1)中，本发明并不是直接将局部和全局显著性线性结合，而是将全局对照显著性作为主要显著区域检测部分，将局部和全局显著性结合的结果作为全局显著性的加权系数，对全局显著性进行调谐加权得到最终的显著图。通过此构建方法使得该视觉注意模型提取出的显著区域完整准确并且不同显著区域的显著性不同，显著性的大小能够反映出视觉的转移特性。

所述步骤(2)中，本发明只考虑前三个注意焦点。在显著图的基础上，首先根据竞争机制找到显著图中显著值最大的点作为第一注意焦点；然后根据注意焦点的转移和返回抑制原则，依次找到其他两个注意焦点；

在步骤(2)中，注意焦点是指视觉显著度最强的点，是图像对应区域中首先被关注的地方。注意焦点的选择和转移决定了视觉感兴趣区的位置及其重要程度；

步骤(3)中显示策略的步骤为：

①首先确定目标显示屏幕的长和宽，再分别计算第一注意焦点和第二注意焦点之间的距离、第二注意焦点与第三注意焦点间的距离以及第一注意焦点与第三注意焦点间的距离；

②如果显示屏幕对角线的长度大于三个注意焦点中每两个焦点之间距离的最大值，且同时满足目标显示屏幕尺寸相对小的一边的长度大于注意焦点间距离最大的两个焦点到另一个注意焦点所在水平线的投影距离的最大值，则优先考虑由视觉转移机制引起的第一二三注意焦点所在区域的显示，并且以此为基础，再通过显著图能量的累积大小进行调整；否则，如果满足显示屏幕对角线的长度大于第一注意焦点与第二注意焦点之间的距离，则应确保由视觉转移机制引起的第一和第二注意焦点所在区域的显示，并且在此基础上，通过显著图能量的累积大小调整显示窗口；否则，只要求在第一注意焦点所在区域的基础上通过显著图的能量累计进行切割。

本发明的以视觉转移机制为指导，并且在确定显示策略后，通过显著图能量的累积大小进行进一步调整的图像自适应显示方法，为以往的仅仅根据能量的累积大小来进行剪切和线裁剪的自适应方法提供一个重要参考，使得在进行自适应的过程中能够充分满足用户对图像内容的理解，并且针对一幅有多个显著区域的图像能够达到更小的内容损失和更好的用户浏览体验。

附图说明

图1为本发明方法的基本实现框图。

图2为自适应显示的具体步骤框图。

图3为本发明根据视觉注意模型得到的显著图、显著图的三维表示图以及根据经典Itti模型得到的注意焦点转移图。

图4为本发明针对不同目标显示尺寸，在有无视觉转移机制为指导的基础上进行自适应显示的结果图对比。

图5为本发明得到的自适应显示结果与基于内容的剪切和传统的线裁剪方法的对比结果图。

具体实施方式

本发明首先通过融合局部和全局对照显著性的视觉注意模型来有效提取图像的显著区域；然后根据竞争机制确定注意焦点的位置；最后根据目标显示屏幕的尺寸与注意焦点的转移顺序以及他们之间的距离来确定最终的显示策略。在确定显示策略后，通过显著图能量的累积大小进行进一步调整，使得图像的重要区域，也就是观赏者关注的区域的视觉效果失真降到最低，同时充分满足用户对图像内容理解的过程，更好地满足用户的浏览体验。

图1给出了本发明方法的基本实现框图，按照图1所示流程，本发明的方法包括如下具体步骤：

1.视觉注意模型的构建

本发明中视觉注意模型的构建方法主要分为两个部分：局部显著性计算和全局显著性计算。

局部对照采用多尺度、变窗口的低级特征局部对照方法。其具体实现步骤为：

①首先采用滑动的变窗口来计算每一像素点的亮度、纹理和颜色的局部对照值，在计算每一位置像素的对照值时，该位置与窗口的中心像素相对应，计算该点与周围窗口大小的区域的对照，所得的值作为该位置点的局部对照值；分别对亮度、纹理、颜色特征，采用基于韦伯-费克纳(Weber-Fechner)法则的亮度局部对照计算、基于灰度方差的纹理局部对照图计算和基于视觉感知的HSI颜色空间的局部对照图计算。然后，为了更准确的体现每个点的局部对照，将每个像素点在不同尺度窗口内的局部对照值进行融合作为该点的最终对照值；

②为了加强局部对照显著性，本发明采用多尺度方法计算局部显著性。将输入图像用高斯金字塔进行多级滤波，下采样得到原始图像在6个不同尺度上的图像，尺度1是输入图像；随着采样级别的增加，图像的分辨率逐渐降低；在每一级尺度上，分别按照步骤①中算法计算亮度、纹理和颜色特征的局部对照图；对应每一特征分别得到6幅不同尺度下的三种特征的局部对照图，共得到18幅局部对照图；然后采取迭代内插求和算法，即：从分辨率最低的尺度开始逐级向上内插、求和；最终在分辨率最高尺度，即原始图像尺度上得到特征图；

③对由步骤②中得到的亮度、纹理和颜色特征图，通过归一化得到最终提取的局部显著目标。

全局显著性计算采用基于颜色特征的全局对照得到，将颜色特征的差异作为衡量两个像素间特征的差异；在全局显著性计算中，采用图像块的方式，在CIE L^*a^*b颜色空间中，计算当前像素块与周围其他所有像素块的欧氏距离的和作为该像素块中心像素点的全局对照值，从而确定全局对照显著目标；

最后以全局对照显著性为主，将局部对照显著性和全局对照显著性进行有效结合作为全局对照显著性的调谐权重，得到最终的显著图S；该显著图不但准确完整的呈现了显著区域，而且不同的显著区域显著性不同，如图3b和3c。实验证明该视觉注意模型提取出的显著区域的显著性大小能够反映出视觉转移顺序如图3d。

2.显著图中注意焦点的确定

在显著图S的基础上，根据公式(1)计算显著图中显著值最大的点作为下一个转移的注意焦点。式中S^k(x，y)表示当前的显著图，(px^k+1，py^k+1)表示下一个注意焦点的位置。本发明中，认为两次视觉转移则能够达到对一幅图像的理解，因此，式(1)中选择k＝{0，1，2}，k＝0时，(px¹，py¹)表示第一个注意焦点，依次类推，根据式(1)可以计算出前三个注意焦点。

$({\mathrm{px}}^{k+1},{\mathrm{py}}^{k+1})=\underset{x,y}{\arg \max }\left(S^k(x,y)\right)---\left(1\right)$

在注意焦点的转移计算中，根据返回抑制的特点，已经被选择过的显著区域会受到抑制。如公式(2)所示，在进行第k次注意焦点转移时，将当前显著图S中属于第(k-1)次显著区域SR内的像素值(x，y)均设为“0”：

S⁰(x，y)＝1

3.自适应显示方案

图2给出了自适应显示的具体步骤。在步骤2的基础上，分别计算第一注意焦点和第二注意焦点之间的距离、第二注意焦点与第三注意焦点间的距离以及第一注意焦点与第三注意焦点间的距离，分别记为：D₁₂，D₂₃和D₁₃；根据目标显示屏幕的长，宽分别为：L，W，计算对角线的距离为：

如果显示屏幕对角线的长度大于三个注意焦点中每两个焦点之间距离的最大值，且同时满足目标显示屏幕尺寸相对小的一边的长度大于注意焦点间距离最大的两个焦点到另一个注意焦点所在水平线的投影距离的最大值，即满足式(3)，(式(3)中P(d_kl)，P(d_nl)分别表示注意焦点间距离最大的两个焦点到另一个注意焦点所在水平线的投影距离)则优先考虑由视觉转移机制引起的第一、二、三注意焦点所在区域的显示，并且以此为基础，通过显著图能量的累积大小进行调整；否则，如果不满足式(3)，但满足式(4)，则应确保由视觉转移机制引起的第一和第二注意焦点所在区域的显示，并且在此基础上，通过显著图能量的累积大小调整显示窗口；否则，只要求在第一注意焦点所在区域的基础上通过显著图的能量累计进行切割。

MIN(L，M)＞MAX(P(d_kl)，P(d_nl))

$\sqrt{L^2+M^2}>D_{12}---\left(4\right)$

图4给出了本发明针对不同目标显示尺寸在有无视觉转移机制为指导的基础上进行自适应显示的结果对比。实验中分别选择三个不同目标显示屏幕尺寸对应显示策略中三种不同情况下的显示。图4a为原始图像，其中箭头方向表示转移顺序，数字“1”和“2”表示转移次数，星号表示注意焦点。图4b，图4c和图4d分别为三个不同目标显示屏幕尺寸下，在无视觉转移机制的指导下，直接在显著图基础上根据能量累积最大化的剪切后的显示结果；相对应地，图4e，图4f和图4g分别为在有视觉转移机制的指导下，以视觉转移机制为指导，确定显示策略，并且通过显著图能量的累积大小进行进一步调整后的显示结果。由显示结果可以看出，如果目标显示屏幕尺寸小，且只能显示第一个注意焦点的情况下，则有无视觉转移机制为指导的结果相同，但随着目标显示尺寸的变大，可以凸显出本发明的以视觉转移机制为指导的图像自适应显示方法的优越性。

图5给出了本发明得到的自适应显示结果与基于内容的剪切和传统的线切割方法的对比结果。图5a为原始高清图片，图5b为传统的在显著图基础上根据能量累计最大化的剪切后的显示，图5c为传统的线裁剪方法得到的显示结果。由图5b可见，对于一幅有不止一个，且相对比较分散的重要区域，传统的根据能量累计最大化的剪切可能会造成重要区域的残缺，因而会影响人们对图像的理解。而图5c中，当要求移除的线过多时，容易造成重要区域的失真，如：母鸟身体和树枝变形，或者原有图像中重要区域之间的相对距离发生重大变化，如：母鸟与雏鸟之间距离变小。因此同样影响视觉效果。图5d为本发明的以视觉转移机制为指导的图像自适应显示方法的结果图。由结果可以看出，本发明的结果能够更好的满足人们的视觉效果，证明了本发明在自适应显示方法中具有指导性作用。

Claims (4)

1.一种以视觉转移机制为指导的图像自适应显示方法，其特征在于，首先构建结合局部和全局显著性的视觉注意模型来有效提取图像的显著区域，然后根据竞争机制逐个找到显著图中的注意焦点，最后以注意焦点转移顺序为指导，根据目标显著屏幕的尺寸和视觉转移顺序决定自适应显示，具体包括以下步骤：

(1)视觉注意模型的构建：首先基于图像的低级特征分别计算图像中每个像素点的局部对照和全局对照显著性，得到局部显著图和全局显著图；然后将局部显著图和全局显著图进行有效地组合；最后将结合的结果作为每个像素点全局显著性的权值，对全局显著性进行加权，得到最终的显著图；

(2)确定显著图中注意焦点的位置：在显著图的基础上，通过竞争机制依次找到显著图中注意区域的位置，即注意焦点；

(3)自适应显示：根据目标显示屏幕的尺寸大小、视觉转移顺序以及注意焦点之间的距离，确定最终显示策略。

2.根据权利要求1所述的以视觉转移机制为指导的图像自适应显示方法，其特征在于，所述步骤(1)是将全局对照显著性作为主要显著区域检测部分，将局部和全局显著性结合的结果作为全局显著性的加权系数，对全局显著性进行调谐加权得到最终的显著图。

3.根据权利要求1所述的以视觉转移机制为指导的图像自适应显示方法，其特征在于，所述步骤(2)中只考虑前三个注意焦点，在显著图的基础上，首先根据竞争机制找到显著图中显著值最大的点作为第一注意焦点；然后根据注意焦点的转移和返回抑制原则，依次找到其他两个注意焦点。

4.根据权利要求1所述的以视觉转移机制为指导的图像自适应显示方法，其特征在于，所述步骤(3)中显示策略的步骤为：

①首先确定目标显示屏幕的长和宽，再分别计算第一注意焦点和第二注意焦点之间的距离、第二注意焦点与第三注意焦点间的距离以及第一注意焦点与第三注意焦点间的距离；

②如果显示屏幕对角线的长度大于三个注意焦点中每两个焦点之间距离的最大值，且同时满足目标显示屏幕尺寸相对小的一边的长度大于注意焦点间距离最大的两个焦点到另一个注意焦点所在水平线的投影距离的最大值，则优先考虑由视觉转移机制引起的第一二三注意焦点所在区域的显示，并且以此为基础，再通过显著图能量的累积大小进行调整；否则，如果满足显示屏幕对角线的长度大于第一注意焦点与第二注意焦点之间的距离，则应确保由视觉转移机制引起的第一和第二注意焦点所在区域的显示，并且在此基础上，通过显著图能量的累积大小调整显示窗口；否则，只要求在第一注意焦点所在区域的基础上通过显著图的能量累计进行切割。

Images