CN112184558B - 一种基于显著性检测的rgb-d图像非规则缩放方法 - Google Patents

Abstract

本发明公开了一种基于显著性检测的RGB‑D图像非规则缩放方法，包括：使用显著性方法生成显著性图；加权融合显著性图、待缩放图像、深度图像的梯度图生成用于接缝裁剪的重要度图；使用Seam‑Carving算法将待缩放图像缩放成图像；以图像中心为原点建立直角坐标系水平方向为x轴，垂直方向为y轴，构建椭圆标准方程；将图像按照一、二、三、四象限分成4份；依次完成第二，三，四象限的缩放。本发明引入了深度图像信息，取得了更好的图像缩放效果，既保证了图像显著兴趣与内容又保留了背景信息的重要内容，完成图像的非规则形状缩放，在图像的非规则缩放上取得可观的效果，可以进行任意椭圆形状的非规则缩放，缩放效果更加真实美观，具备一定的理论和应用价值。

Description

一种基于显著性检测的RGB-D图像非规则缩放方法

技术领域

本发明属于图像处理的技术领域，尤其涉及一种基于显著性检测的RGB-D图像非规则缩放方法。

背景技术

传统的图像缩放技术，例如最近邻域插值，双线性插值，和双三次插值方法，对图像的等比缩放可以很好的完成图像的放大和缩小，但是在改变图像长宽比时会出现显著性目标的挤压或拉伸，尤其是图像的重要信息会产生失真畸变，严重影响了视觉效果。与其相应的裁剪方法，直接截取图像中最感兴趣的区域，解决了图像失真的问题，但是不可避免的会遗漏背景信息，导致图像整体内容缺失。这种传统图像缩放技术存在缺陷的根本原因在于，在处理图像缩放的过程中仅仅考虑了图像缩放后的输出大小，只满足了几何限制，在图像内容信息上没有做太多思考，机械地按照目标尺寸进行图像缩放，因此出现显著性目标失真，背景内容缺失是必然的。

为了解决传统图像缩放方法的不足，在2007年Avidan和Shamir提出了基于内容感知的图像缩放方法(Seam-Cavring算法)，该方法使用梯度图作为图像的能量图，以此来对图像做重要度区分，能量高的区域被认定为重要区域，能量低的区域被认定为背景区域。其中心思想是在能量图中动态规划出具有最小能量的8连通接缝，通过增加或移除该接缝完成图像缩放，从而使重要度高的区域会保持原有特征，重要度低的区域吸收缩放过程中的扭曲和形变。与传统图像缩放技术相比，Seam-Cavring算法感知了图像内容的重要度，即使图像缩放的纵横比不一致时也可以维持图像重要内容不会失真，并且可以连续快速地完成不同尺寸的图像缩放。但是对于一些背景复杂的图像，Seam-Cavring会造成图像背景的畸形，还会丢失背景信息等问题，具有一定的局限性。因此图像缩放主要攻克难题为在保证图像重要内容不失真的情况下，保留完整的背景内容，使缩放后的图像不会畸变。

随着社会的发展，人们对于图像的要求不仅仅满足于图像的矩形形状，在特定情况下用户更希望能得到非矩形形状的图像来表达出一种创意。Shaoyu Qi等人从图像的内容和图像形状的角度出发，提出了CASAIR(Content and Shape-Aware ImageRetargeting)算法，该算法可以将图像重定向成非矩形形状。受到Seam-Cavring算法的启发，CASAIR算法采用基于接缝段雕刻的思想，从图像中连续删除能量值低的接缝段以同时实现内容感知识别和图像形状的改变两个目标。由于图像边界要求是非矩形的，因此要从图像的每一行(或每一列)中删除的像素数不再恒定，而是取决于目标形状，这自然导致了CASAIR算法在执行过程中删除的是接缝段而不是一条接缝，其中的接缝段是可以在图像的任何两行(或列)中开始和结束的接缝，若干个这样的接缝组成上述的接缝段。CASAIR算法已在实际中得到应用，使用此方法开发了智能相机投影仪***。与Seam-Cavring算法相比，CASAIR算法能够在保持图像内容的基础上完成图像的非规则缩放，但是其问题在于CASAIR算法对缩放图像的大小都有严格的限定，能够完成的非规则缩放形状尺寸固定，缺少灵活性，而且在去除接缝段的过程中，很容易把重要内容去除，例如，低能量的接缝段中可能包含能量值较高的像素点，类似的接缝段的移除会就会导致图像的内容缺失。

Seam Carving是一种基于内容感知的图像缩放算法，通过移除或者***累计能量最小的接缝的方式来实现图像缩放。其思想就是每次在垂直或水平方向上动态规划出一条能量最小的像素线，称为接缝，通过删除该接缝实现图像缩小，反之***该接缝实现图像放大。以传统的图像缩放技术相比，具有在一定的缩放范围内对于长宽比缩放比例不一致的图像也能较好的维持图像重要内容基本不变的特点。该方案具有如下缺点：

1.面对一些背景复杂的图像，会造成图像背景的畸形，还会丢失背景内容等问题。

2.Seam-Cavring算法去除的是整条从低端到顶端或从图像最左到最右的接缝，不管图像的纵横比如何变化，最终得到的图像仍然是矩形，因此仅仅使用Seam-Cavring算法无法完成非规则形状缩放。

3.能量图的处理过程单一且简单，没有对图像中的显著性对象做一个很好的保护。

另外，CASAIR(Content and Shape-Aware Image Retargeting)是一种对内容和形状感知的非规则图像缩放方法，该方法基于Seam-Cavring算法的思想，提出了接缝段概念，连续删除低成本的接缝段以同时实现内容和形状缩放两个目标。其中接缝段的选择是由结合了来自图像内容和目标形状的特征确定的。为了完整的表述接缝段的类型，引入了bhv-凸形状的概念，并且展示了bhv-凸形状(bhv stands for boundary，horizontal andvertical)，只有满足条件的定情况下，才能对接缝段进行移除，CASAIR算法才可以将图像重新定位到目标形状。该方案具有如下缺点：

1.CASAIR算法对缩放图像形状大小有严格的限定，能够完成的非规则缩放形状尺寸固定，缺少灵活性。

2.除接缝段的过程中，很容易把重要内容去除，例如低能量的接缝段中可能包含能量值较高的像素点。

3.没有对图像中的显著性对象区域做一个很好的保护，在非规则缩放中容易因接缝段去除造成显著性目标区域发生形变。

发明内容

基于以上现有技术的不足，本发明所解决的技术问题在于提供一种基于显著性检测的RGB-D图像非规则缩放方法，解决Seam Carving算法中出现的图像背景的畸形，背景内容丢失的问题，以及解决CASAIR算法对非规则形状尺寸固定和可能会去除高能量像素的问题。

为了解决上述技术问题，本发明提供一种基于显著性检测的RGB-D图像非规则缩放方法，包括以下步骤：

步骤1：使用显著性方法生成显著性图I_sal；

步骤2：加权融合显著性图I_sal、待缩放图像I_in、深度图像I_d的梯度图生成用于接缝裁剪的重要度图；

步骤3：使用Seam-Carving算法将待缩放图像I_in缩放成图像I_ab；

步骤4：以图像I_ab中心为原点建立直角坐标系水平方向为x轴，垂直方向为y轴，构建椭圆标准方程；

步骤5：将图像I_ab按照一、二、三、四象限分成4份；

步骤6：依次完成第二，三，四象限的缩放。

可选的，在步骤4中，构建椭圆标准方程如下：

其中，a为椭圆长半轴，b为短半轴。

可选的，在步骤6中，将椭圆分成若干个小的矩形，每一个矩形称为一个元，每一个元都是组成椭圆的一部分，将第一象限的原图像截取出与元相对应的部分，对元执行Seam-Carving算法，进行内容感知操作，找到的接缝的个数为m，如下公式：

其中a，b分别为用户输入的长半轴和短半轴，x为椭圆在象限中的横坐标；

以步长为Δx得到下一个元，在从下一个元中得到接缝，元的接缝集合为{s_i}，一条裁剪线s包含的所有像素点为：

将所有的元进行拼接，得到第一象限的非规则形状缩放。

由上，本发明的基于显著性检测的RGB-D图像非规则缩放方法具有如下有益效果：

本发明引入了深度图像信息，取得了更好的图像缩放效果，既保证了图像显著兴趣与内容又保留了背景信息的重要内容；本发明完成了图像的非规则形状缩放，在图像的非规则缩放上取得了很可观的效果，可以进行任意椭圆形状的非规则缩放，缩放效果更加真实美观，具备一定的理论和应用价值。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下结合优选实施例，并配合附图，详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍。

图1为本发明的基于显著性检测的RGB-D图像非规则缩放方法的流程图。

具体实施方式

下面结合附图详细说明本发明的具体实施方式，其作为本说明书的一部分，通过实施例来说明本发明的原理，本发明的其他方面、特征及其优点通过该详细说明将会变得一目了然。

本发明的基于显著性检测的RGB-D图像非规则缩放方法首先应用显著性检测算法，检测出图像的显著性目标区域，为后续的图像缩放的显著性区域保护做基础，其次求出RGB图像和深度图像的梯度图，可以将图像重定向为非矩形形状。

如果给定深度图像I_d，则梯度能量函数定义为公式(1)：

与传统可见RGB图像相比，深度图像具有较好的边缘信息，易于将图像的前景与背景区分。但是因为其具有良好的边缘信息，考虑深度图像中的深度值对于视角十分敏感，即深度值要么在边缘区域变化强烈，要么在背景区域保持不变，传统基于梯度特征的提取算法所提的特征值也会在图像的边缘区域变化强烈，因此可以将深度图像I_d的梯度图作为图像I的梯度图的辅助。为了降低特征融合的复杂度，采用将RGB图像，深度图像的梯度图，显著性图I_sal以串联的方式进行融合，融合的重要度图的能量函数定义为公式(2)：

E(I)＝αe(I)+βI_sal+(1-α-β)e(I_d) (2)

式中α，β为图像的权重参数，取值范围为[0，1]，并且满足α+β≤1。

在本发明中，需要用户任意输入椭圆长半轴a，短半轴b，本发明将根据用户输入的任意椭圆形形状进行非规则形状缩放。根据椭圆的性质在输入的RGB图像中建立坐标系并构建椭圆标准方程，如公式(3)：

在坐标系中找出椭圆面积在第一象限部分积分公式如(4)：

从椭圆的面积公式中得到启发：我们可以使用“微元法”，将椭圆分成若干个小的矩形，每一个矩形称为一个“元”，每一个元都是组成椭圆的一部分，我们可以将第一象限的原图像截取出与“元”相对应的部分，对“元”执行Seam-Carving算法，进行内容感知操作，由此，需要找到的接缝的个数为m，如公式(5)：

其中a，b分别为用户输入的长半轴和短半轴。x为椭圆在象限中的横坐标。

以步长为Δx得到下一个元，在从下一个元中得到接缝，“元”的接缝集合为{s_i}，一条裁剪线s包含的所有像素点为公式(6)：

最后，将所有的“元”进行拼接，就可以得到第一象限的非规则形状缩放，以此类推，将其他三个象限的图像区域重复上述操作，最终完成椭圆形状的非规则缩放。

本发明的基于显著性检测的RGB-D图像非规则缩放方法主要流程如下：

本发明的基于显著性检测的RGB-D图像非规则缩放方法解决Seam Carving算法中出现的图像背景的畸形，背景内容丢失等问题，灵活的使用Seam Carving算法，解决其不能进行非规则缩放的问题。解决现有算法不能对显著性目标做保护的问题。解决CASAIR算法对非规则形状尺寸固定和可能会去除高能量像素的问题。

上所述是本发明的优选实施方式而已，当然不能以此来限定本发明之权利范围，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变动，这些改进和变动也视为本发明的保护范围。

Claims (2)

1.一种基于显著性检测的RGB-D图像非规则缩放方法，其特征在于，包括以下步骤：

步骤1：使用显著性方法生成显著性图I_sal；

步骤2：加权融合显著性图I_sal、待缩放图像I_in、深度图像I_d的梯度图生成用于接缝裁剪的重要度图；

步骤3：使用Seam-Carving算法将待缩放图像I_in缩放成图像I_ab；

步骤4：以图像I_ab中心为原点建立直角坐标系水平方向为x轴，垂直方向为y轴，构建椭圆标准方程；

步骤5：将图像I_ab按照一、二、三、四象限分成4份；

步骤6：依次完成第二，三，四象限的缩放；

在步骤6中，将椭圆分成若干个小的矩形，每一个矩形称为一个元，每一个元都是组成椭圆的一部分，将第一象限的原图像截取出与元相对应的部分，对元执行Seam-Carving算法，进行内容感知操作，找到的接缝的个数为m，如下公式：

其中a，b分别为用户输入的长半轴和短半轴，x为椭圆在象限中的横坐标；

以步长为Δx得到下一个元，在从下一个元中得到接缝，元的接缝集合为{s_i}，一条裁剪线s包含的所有像素点为：

将所有的元进行拼接，得到第一象限的非规则形状缩放。

2.如权利要求1所述的基于显著性检测的RGB-D图像非规则缩放方法，其特征在于，在步骤4中，构建椭圆标准方程如下：

其中，a为椭圆长半轴，b为短半轴。