CN104835114A - 一种图像自适应显示方法 - Google Patents

Abstract

本发明涉及一种基于图像内容感知的结合细缝剪裁和均匀缩放的图像自适应方法。首先采用一种融合局部和全局显著性的显著图代替传统细缝裁剪中的梯度图，防止要剪裁的细缝穿过能量较低的感兴趣区域(ROI)而造成重要物体的几何形状失真。然后它结合了细缝剪裁方法和均匀缩放方法，将原图和自适应后图像的区别降到最低。具体做法是在进行细缝剪裁方法的同时，采用一种质量评价方法计算生成的临时图和原图的距离，即实时监测重要信息的变形，当变形超过设定指标时，终止细缝剪裁方法，切换为均匀缩放方法。相比传统的细缝剪裁，均匀缩放，和其他自适应方法，此方法不仅有效保护了图像的重要区域不变形，还对非重要区域进行压缩保证了全局信息。

Description

一种图像自适应显示方法

技术领域

本发明涉及一种针对不同尺寸显示终端上的图像自适应显示方法，属于图像、多媒体信号处理技术领域。

背景技术

随着移动设备的普及,适用于不同网络的终端设备不断换代更新,电视、笔记本电脑、PDA、手机等,不同类型、不同尺寸显示终端的存在成为客观事实。为了保证持不同设备的用户都能够舒适地观看同样的图像内容,要求图像内容能自适应于不同网络状况、不同尺寸、不同比例的用户终端,这就要求图像具有自适应技术。当我们将一幅尺寸大的高清图片传输到屏幕尺寸小且分辨率低的显示终端上进行显示时，可能会出现图像变形失真、或画面中的一些关键细节区域丢失等问题，从而影响了观众欣赏质量。为了使不同设备的用户都能舒适地观看内容保存完好没有失真的图像，这就需要一个精准的图像自适应***，使图像能够自适应的显示于不同尺寸的终端设备，使观众有最好的观看体验。

近几年，已经有越来越多的研究者开始关注图像自适应显示这个问题。传统的图像自适应方法包括均匀缩放(scaling)技术和简单裁切(cropping)技术。均匀缩放就是对原始图像进行均匀下采样或者插值得到目标尺寸的图像，而当我们改变图像的宽高比来均匀缩放时，往往导致图像重要区域内容的拉伸失真变形，而且屏幕尺寸越小，分辨率越低，产生的失真越明显，这样造成严重的观赏质量下降。简单裁切技术是通过手动裁掉图像的边缘内容得到显示图像最突出部分的目标图像，而这种方法对不同的显示尺寸会减掉一些重要信息区域，从而造成一些图像的关键细节的丢失，使重要区域显示不完整，图片内容残缺。

图像自适应显示的关键问题是如何获取图像的重要内容，以及使其重要内容或关注对象区域能够很好的在不同尺寸、不同分辨率的屏幕上显示出来。常用的一种方法是：通过细缝裁剪的方法处理图像中不引人注意的像素内容来改变图像的尺寸，最大限度的保护重要区域不发生形变，同时尽可能的保留原始图像的全局信息，但如何对细缝裁剪的视觉影响进行评价是一大难点。

发明内容

本发明针对高分辨率图像在小尺寸或低分辨率显示器进行显示时存在的变形失真及关键细节的丢失等问题，提供一种能够自适应的调整图像尺寸、保证图像重要区域信息完整显示以及图像失真最小的针对不同尺寸显示终端的图像自适应显示方法。本发明采用一种质量评价标准监控重要信息的变形程度，通过设定一定的阈值在细缝剪裁和均匀缩放处理之间进行平衡，阻止图像重要物体边缘失真。本发明结合了融合局部和全局显著性的显著图，采用了稠密SIFT流矢量场质量评价标准和设定的阈值使自适应方法由细缝裁剪及时转换成均匀缩放，保证图像重要区域不出现传统细缝裁剪容易出现的重要区域的边缘失真。实验结果表明此方法自适应后的图像能够在满足显示尺寸的同时，保证图像重要区域信息完整显示，图像的变形失真降到最低。

本发明技术方案如下：

一种图像自适应显示方法，该方法基于图像内容感知，结合细缝裁剪和均匀缩放，具体步骤是：

(1)建立视觉关注模型：分别计算图像中每个像素点的局部对照显著性和全局对照显著性，得到局部显著图和全局显著图；将局部显著图和全局显著图进行加权组合，得到最终的显著图；

(2)细缝的初始化：用步骤(1)中得到的显著图作为能量图计算能量代价图，根据能量代价图选出可以去除的细缝，并按照能量代价低到能量代价高的顺序为图像中这些可以去除的细缝进行排序；

(3)细缝裁剪及图像裁剪变形的衡量：按照步骤(2)中的排序进行细缝裁剪，并同时利用SIFT流计算原始图像和裁剪过程中生成的临时图像之间的距离；

(4)剪裁终止：当原始图像和剪裁过程中生成的临时图像之间的距离超过阈值θ，即变形超过设定指标时，终止细缝裁剪；若剪裁后的图像未达到目标尺寸，则采用均匀缩放方法得到目标尺寸的图像。

特别地，步骤(1)的具体实现步骤为：

a.采用滑动的变窗口来计算每一像素点的亮度、纹理和颜色的局部对照值：将输入图像用高斯金字塔进行多级滤波，计算亮度、纹理和颜色特征的局部对照图，采取迭代内插求和算法，得到原始图像尺度上的特征图，对得到的亮度、纹理和颜色特征图归一化并结合得到每个像素点的局部对照显著性；

b.采用基于颜色特征的全局对照计算图像中每个像素点的全局对照显著性：将颜色特征的差异作为两个像素间特征的差异，把图像从RGB空间转换到CIEL*a*b颜色空间中，采用图像块的方式，计算当前像素块与周围其他所有像素块之间的欧氏距离的和并将其作为该像素块中心像素点的全局对照值；

c.将全局对照显著性作为主要显著区域检测依据，将局部对照显著图和全局对照显著图进行加权组合，得到最终的显著图。

特别地，步骤(2)的具体实现步骤为：

a.根据步骤(1)计算得到的显著图计算能量最小代价图；

b.根据能量最小代价图找能量最小代价缝；

c.从显著图和原始RGB图中删除能量最小代价缝，剩下的像素点向右上方依次顺延形成连续的图；

d.对步骤c形成的显著图重复执行步骤a至c，得到一个记录了能量代价从高到低的需要移除的细缝的位置矩阵。

特别地，步骤(3)的具体实现步骤为：

a.定义两图像之间的距离方程：得到两幅图之间的稠密SIFT流矢量场，计算两幅图匹配的所有SIFT点距离的平均值作为图像之间的距离方程，用来评价目标图片和原始图片之间重要信息的变形量；

b.利用步骤(2)中可以裁剪的细缝排序对图像尺寸进行逐次调整，每次移除10条细缝，并且在每次得到的临时图像上计算它与原始图像的距离。

本发明通过构建一种基于局部和全局对照显著性的视觉注意模型来有效地提取图像的显著区域(即图像关注区域)，该注意模型既考虑了全局对照又结合了局部对照显著性，因此提取的显著区域准确完整；在该模型提取的显著图基础上对图像进行细缝裁剪，并通过设定的阈值限制能剪裁的细缝的条数，在细缝裁剪让图像中产生几何形变失真之前转换为均匀缩放。本发明方法得到的自适应后的图像既能图像重要关注区域信息完整又能使图像失真降到最小。本发明的自适应方法为三网融合中多媒体业务的服务质量的提升提供了重要的技术参考价值。

附图说明

图1是本发明的原理框架图；

图2是本发明中视觉注意模型的构建流程图；

图3是确定阈值θ实验图示例；

图4是本发明方法与其他自适应方法得到的实验图的比较。

具体实施方式

本发明采用了MSRAdatabase和RetargetMe两个图片库，首先将多幅图用本方法进行自适应操作确定最佳阈值θ；然后将本发明生成的自适应后的图像和图片库中其他自适应方法(包括直接剪切(cropping)、传统细缝剪切(seamcarving)、均匀缩放(scaling)、非均匀映射(WARP)等)得到的目标图像进行比较。

图1给出了本发明方法的框架图，按所示流程，包括如下具体步骤：

(1)视觉注意模型的构建。

图2给出了该步骤视觉注意模型构建的流程图。如图2所示，本发明中视觉注意模型的构建方法主要分为两个部分：局部显著性计算和全局显著性计算。

a.局部显著性计算采用多尺度、变窗口的低级特征的局部对照方法。其具体算法如下：

首先，采用滑动的变窗口来计算每一像素点的亮度、纹理和颜色特征的局部对照值；在计算每一位置像素的对照值时，该位置与窗口的中心像素相对应，计算该点与周围窗口大小的区域的对照，所得的值作为该位置点的局部对照值；

对亮度、纹理、颜色分别计算，得到三幅局部对照图。

基于韦伯-费克纳(Weber-Fechner)法则的亮度局部对照图计算公式如下:

$I_{\mathrm{CM}}(x,y)=\mathrm{clg}\frac{I_j^{\max }}{I_j^{\mathrm{avg}}}=\mathrm{clg}\frac{\max \{I_1,I_2,...I_n,...,I_{N^{\′}}\}}{\frac{1}{N^{\′}}\underset{n=1}{\overset{N^{\′}}{\mathrm{\Σ}}}{I}_n}$

其中，I_CM(x,y)为像素点(x,y)处的亮度对照值，c为常数，和分别是第j个窗口内的亮度最大值和平均值，N′＝(2k′+1)×(2k′+1)k′∈{1,2,3}表示3个不同尺度的变窗口内的像素个数。

基于灰度方差的纹理局部对照图的计算公式如下：

$T_{\mathrm{CM}}(x,y)={\left[\frac{1}{N^{\′}-1}\underset{n=1}{\overset{N^{\′}}{\mathrm{\Σ}}}{(I_n-\frac{1}{N^{\′}}\underset{n=1}{\overset{N^{\′}}{\mathrm{\Σ}}}{I}_n)}^2\right]}^{\frac{1}{2}}$

将RGB图像转换到基于视觉感知的HSI颜色空间进行局部对照计算，方法如下：首先对两个在HSI颜色空间的彩色值Y₁＝(H₁,S₁,I₁)^T和Y₂＝(H₂,S₂,I₂)^T，定义彩色差为：

${\mathrm{\Δ}}_{\mathrm{HSI}}(Y_1,Y_2)=\sqrt{{\left({\mathrm{\Δ}}_I\right)}^2+{\left({\mathrm{\Δ}}_C\right)}^2}$

其中Δ_I＝|I₁-I₂|， ${\mathrm{\Δ}}_C=\sqrt{S_1^2+S_2^2-2S_1{S}_2\cos \mathrm{\θ}},\mathrm{\θ}=\left\{\begin{array}{cc}|H_1-H_2|;& \mathrm{if}|H_1-H_2|\≤\mathrm{\π}\\ 2\mathrm{\π}-|H_1-H_2|;& \mathrm{if}|H_1-H_2|>\mathrm{\π}\end{array}\right.$

因此，颜色局部对照计算如下式：

$C_{\mathrm{CM}}(x,y)=\frac{1}{N^{\′}-1}\left[\underset{n=1}{\overset{N^{\′}-1}{\mathrm{\Σ}}}{\mathrm{\Δ}}_{\mathrm{HSI}}(Y(x,y),Y_n)\right]$

为了更准确的体现每个点的局部对照，将每个像素点在3个不同尺度窗口内的局部对照值相加作为该点的最终对照值，每个像素点的最终局部对照值通过下式计算得到：

C_Map(x,y)＝Σ_N′CM(x,y)

其中C_Map＝{I′_CM,T′_CM,C′_CM}表示最终的亮度、纹理和颜色特征局部对照图，CM＝{I_CM,T_CM,C_CM}表示单一窗口内的局部对照图，N′＝(2k′+1)×(2k′+1)k′∈{1,2,3}表示变尺度滑动窗口的大小。

然后，为了加强局部对照显著性，本发明采用多尺度方法计算局部显著性，将输入图像用高斯金字塔进行多级滤波，下采样得到原始图像在6个不同尺度上的图像，其中第一尺度对应输入图像。随着采样级别的增加，图像的分辨率逐渐降低。在每一级尺度上，分别按照计算亮度、纹理和颜色特征的局部对照图。对应每一特征分别得到6幅不同尺度下的三种特征的局部对照图。共得到18幅局部对照图。然后采取一种迭代内插求和算法，即：从分辨率最低的尺度开始逐级向上内插、求和。最终在分辨率最高尺度，即原始图像尺度上得到3幅分别对应亮度、纹理和颜色的特征图。

最后，由于3幅特征图是由不同算法得到，所得结果的范围不同，采用最大值归一化算子N(x)将3幅特征图进行归一化到同一范围，然后合并得到最后的局部显著图S_Local，方法如下：

$S\_\mathrm{Local}=\sqrt{{\left(N\left(I_{\mathrm{FM}}^{\′}\right)\right)}^2+{\left(N\left(T_{\mathrm{FM}}^{\′}\right)\right)}^2+{\left(N\left(C_{\mathrm{FM}}^{\′}\right)\right)}^2}$

b.全局显著性计算采用基于颜色特征的全局对照得到，将颜色特征的差异作为衡量两个像素间特征的差异。在全局显著性计算中，采用图像块的方式，在CIE L*a*b颜色空间中，计算当前像素块与周围其他所有像素块的欧氏距离的和作为该像素块中心像素点的全局对照值。全局对照显著图S_Global由下式得到：

S_Global(k)＝Σ_jdis(p_k,p_j)

其中dis(p_k,p_j)表示两像素块在CIE L*a*b颜色空间中的欧式距离。k为当前计算的像素，S_Global(k)越大，表示该像素点全局显著性越大。

c.在得到局部和全局显著图后，将局部对照显著图S_Local和全局对照显著图S_Global进行结合得到的结果ω作为全局显著模型S_Global的权值，得到最终的显著图S。其中ω₁和ω₂分别为S_Local和S_Global结合的权系数，且满足Σ_iω_i＝1。

ω＝ω₁N(S_Local)+ω₂N(S_Global)

S＝ω*S_Global

(2)细缝的初始化：用步骤(1)中得到的显著图作为能量图，计算出图像中可以去除的细缝，即图像不重要的信息。

a.由步骤(1)计算的显著图来算能量最小代价图M：对于显著图中的任意一个像素点(i,j),它在能量最小代价图中的(i,j)位置的值是此位置显著图的显著值和它上一排的相邻三个像素点的显著图值中最小一个的加和，即：M(i,j)＝S(i,j)+min(S(i-1,j-1),S(i-1,j),S(i-1,j+1))。对于能量最小代价图的第一排的代价值是直接设定为显著图的值。裁剪垂直细缝和裁剪水平细缝需要分开计算他们的能量图，对于上面介绍的裁剪垂直细缝的能量图的方法，只需将输入图片的显著图进行转置后应用同样的方法就可以得到水平剪裁的能量图。

b.图像的能量代价图得到以后就开始找最优缝：先找到图像最后一排的能量代价值最小的像素点(i,j),保存此像素点的位置，然后再往前一排找相邻三个像素点中最小能量代价值的点，即min(M(i-1,j-1),M(i-1,j),M(i-1,j+1))，保存此点位置。重复此过程直到第一排，并将找到的这条垂直缝的所有像素点的位置保存到一个细缝剪裁的位置向量中。

c.最优缝找到以后，组成这条最优缝的路径就被从显著图和原始RGB图中删除，剩下的像素点会朝右或者朝上移动形成连续的图以便接下来的继续寻找最优缝。

d.回到步骤a,重复以上步骤，就可以得到一个记录了能量代价从低到高的需要移除的细缝的位置矩阵。

(3)细缝剪裁及图像剪裁变形的衡量。

a.计算两幅图的稠密SIFT流矢量场。利用SIFT特征计算两幅图间的矢量场Q(p)＝[u(p),v(p)]，u(p)和v(p)分别为p点矢量场的水平分量和垂直分量。计算稠密SIFT流场Q的方法如下：

$\begin{array}{c}O\left(Q\right)=\underset{p}{\mathrm{\Σ}}{\left|\right|S_i\left(p\right)-S_j(p+Q)\left|\right|}_1+\frac{1}{{\mathrm{\σ}}^2}\underset{p}{\mathrm{\Σ}}(u^2\left(p\right)+v^2\left(p\right))+\\ \underset{(p,q)\∈\mathrm{\ϵ}}{\mathrm{\Σ}}\min \left(\mathrm{\α}\right|u\left(p\right)-u\left(q\right)|,d)+\min \left(\mathrm{\α}\right|v\left(p\right)-v\left(q\right)|,d)\end{array}$

上式计算优化目标函数O(Q)最小时的Q。其中，S_i和S_j为图像I_i和I_j的SIFT特征，σ为约束因子，d是平滑系数。q在p的4领域像素集ε，u(q)和v(q)分别为q点矢量场的水平分量和垂直分量。上式中的第一项度量I_i和I_j两幅图SIFT特征的相似度，第二项对SIFT矢量场进行约束，最后项优先匹配运动连续的周围临近像素以达到平滑流畅的目的。上式就是求解O(Q)极小时的流场Q。由稠密SIFT流矢量场Q，我们定义两图像之间的距离方程如下：

$\mathrm{imgDist}=\frac{\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{(u{\left(p\right)}^2+v{\left(p\right)}^2)}^{1/2}}{N_{\mathrm{SIFT}}}$

其中，N为原图像素点总数，N_SIFT为匹配出来的SIFT点的个数。我们用此方程来评价目标图片和原始图片之间重要信息的变形量，imgDist的值越大，则两图距离越远，目标图像较原图变形越严重；imgDist的值越小，则两图距离越近，目标图像较原图变形越少。

b.利用步骤(2)中可以裁剪的细缝排序对图像尺寸进行逐次调整，每次移除10条细缝，并且在每次得到的临时图像上计算它与原始图像的距离。

(4)剪裁终止。

a.比较并判断第i步计算的图像距离是否超过阈值θ，若未超过阈值，则继续比较第(i+1)步计算出的图像距离是否超过阈值θ；否则转到步骤b；

b.停止细缝裁剪中图像距离与阈值θ的比较，并继续使用均匀缩放算法将第(i-1)步的临时图像直接缩放到最终尺寸。

我们选取图片库MSRAdatabase中20幅图片进行了尺寸变换操作和统计分析，观察在不同阈值下本方法自适应后图像的主要信息保存情况，确定最好的阈值，使生成的图像既能突出重要部分，又减少物体的几何失真。图3是挑选的体现阈值选取过程的图片，其中a列为原始图像，b列、c列、d列、e列分别是θ取值为25、30、35、40所生成的自适应以后的图片。我们知道θ越大，剪裁的细缝越多，前景的物体就越突出，这可以从图片狗、花、热气球看出来；但是随着θ的增大，细缝剪裁增加，重要物体就会出现轮廓的几何失真，这可以从图片辣椒看出来。通过大量实验并且综合考虑自适应后的图片既突出重要物体，又减少重要物体的轮廓失真，我们选择设定阈值θ为35。

我们还选取图片库RetargetMe中各种自适应方法生成的图片，和本发明提出的方法得到的自适应后的图片进行比较，评价标准就是用SIFT流定义的图像距离方程。图4是从众多实验中挑选的一些较好的实验图，其中a列为原始图像，b列为经过直接剪切(cropping)生成的图像，c列为经过细缝剪裁(seam carving)生成的图像，d列为均匀缩放(scaling)生成的图像，e列为非均匀映射(WARP)生成的图像，f列为本发明自适应后生成的图像。从这几幅图中我们可以看出直接剪切方法丢失了图像许多重要信息，细缝剪裁会造成图像轮廓变形，均匀缩放会使图像中重要物体产生形变，非均匀映射使图像非重要区域和重要区域都产生一定的变形，而我们的方法很好的突出了重要区域压缩了非重要区域且变形较少。以稠密SIFT流矢量场得到的矢量流计算两幅图像之间的距离，距离公式如下：

$\mathrm{imgDist}=\frac{\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{(u{\left(p\right)}^2+v{\left(p\right)}^2)}^{1/2}}{N_{\mathrm{SIFT}}}$

其中u(p)和v(p)分别为q点矢量场的水平分量和垂直分量，N为原图像素点总数，N_SIFT为匹配出来的SIFT点的个数。此距离公式就作为自适应方法好坏的评价标准，算出来的距离越小，则自适应后图像较原图的重要信息形变较小，即自适应方法更优；反之亦然。由表1给出的表格表示从RetargetMe中已做实验的图片中随机选取了7幅图片和几种自适应方法生成的图片在SIFT流定义的质量评价标准下的自适应质量，标为黑体的评价结果就是本发明方法在其他自适应方法比较下获得了自适应质量最高的结果，其他本方法得到的自适应图片虽然没有获得最高的评价质量，得到的质量评价结果也是较好的。

	直接剪切	细缝裁剪	非均匀映射	本发明
					船	119.9538	118.9071	118.9071	104.6988
集市	148.8196	131.8392	128.7678	125.2993
					运河房子	106.6217	132.3944	132.7691	130.5573
甲板	137.8378	153.2638	148.0140	136.1202
					猫	80.5048	98.9550	92.1723	81.3691
家人	80.1433	85.8651	87.3965	80.0126
					鱼	90.6655	144.9651	139.9793	124.6329

表1

Claims (4)

1.一种图像自适应显示方法，该方法基于图像内容感知，结合细缝裁剪和均匀缩放，具体步骤是：

(1)建立视觉关注模型：分别计算图像中每个像素点的局部对照显著性和全局对照显著性，得到局部显著图和全局显著图；将局部显著图和全局显著图进行加权组合，得到最终的显著图；

(2)细缝的初始化：用步骤(1)中得到的显著图作为能量图计算能量代价图，根据能量代价图选出可以去除的细缝，并按照能量代价低到能量代价高的顺序为图像中这些可以去除的细缝进行排序；

(3)细缝裁剪及图像裁剪变形的衡量：按照步骤(2)中的排序进行细缝裁剪，并同时利用SIFT流计算原始图像和裁剪过程中生成的临时图像之间的距离；

(4)剪裁终止：当原始图像和剪裁过程中生成的临时图像之间的距离超过阈值θ，即变形超过设定指标时，终止细缝裁剪；若剪裁后的图像未达到目标尺寸，则采用均匀缩放方法得到目标尺寸的图像。

2.根据权利要求1所述的图像自适应显示方法，其特征在于：步骤(1)的具体实现步骤为：

a.采用滑动的变窗口来计算每一像素点的亮度、纹理和颜色的局部对照值：将输入图像用高斯金字塔进行多级滤波，计算亮度、纹理和颜色特征的局部对照图，采取迭代内插求和算法，得到原始图像尺度上的特征图，对得到的亮度、纹理和颜色特征图归一化并结合得到每个像素点的局部对照显著性；

b.采用基于颜色特征的全局对照计算图像中每个像素点的全局对照显著性：将颜色特征的差异作为两个像素间特征的差异，把图像从RGB空间转换到CIEL*a*b颜色空间中，采用图像块的方式，计算当前像素块与周围其他所有像素块之间的欧氏距离的和并将其作为该像素块中心像素点的全局对照值；

c.将全局对照显著性作为主要显著区域检测依据，将局部对照显著图和全局对照显著图进行加权组合，得到最终的显著图。

3.根据权利要求1所述的图像自适应显示方法，其特征在于：步骤(2)的具体实现步骤为：

a.根据步骤(1)计算得到的显著图计算能量最小代价图；

b.根据能量最小代价图找能量最小代价缝；

c.从显著图和原始RGB图中删除能量最小代价缝，剩下的像素点向右上方依次顺延形成连续的图；

d.对步骤c形成的显著图重复执行步骤a至c，得到一个记录了能量代价从高到低的需要移除的细缝的位置矩阵。

4.根据权利要求1所述的图像自适应显示方法，其特征在于：步骤(3)的具体实现步骤为：

a.定义两图像之间的距离方程：得到两幅图之间的稠密SIFT流矢量场，计算两幅图匹配的所有SIFT点距离的平均值作为图像之间的距离方程，用来评价目标图片和原始图片之间重要信息的变形量；

b.利用步骤(2)中可以裁剪的细缝排序对图像尺寸进行逐次调整，每次移除10条细缝，并且在每次得到的临时图像上计算它与原始图像的距离。