CN109118546A - 一种基于单帧图像的景深等级估计方法 - Google Patents

Abstract

本发明公开了一种基于单帧图像的景深等级估计方法，按照以下步骤进行：步骤1：根据暗通道理论计算图像的暗通道图像；步骤2：根据暗通道先验理论计算图像的空气透射率灰度图；步骤3：统计步骤2中得到的空气透射率图，得到灰度直方图；步骤4：对灰度直方图进行阈值分析，挑选合适的阈值；步骤5:将阈值作用于透射率图像，得到分割后的景深图像。本发明是一种简单易操作的白天场景的景深估计方法，无需依赖复杂的样本和像素分类器，是一个端到端的图像处理算法。在取得良好估计效果的同时，能够大大降低计算量，适合运行于嵌入式平台、无人机等应用场景。基于暗通道的相关理论，推导出简便、容易实现的图像景深等级估计方法。

Description

一种基于单帧图像的景深等级估计方法

技术领域

本发明涉及计算机视觉和图像处理领域，特别是涉及一种基于单帧图像的景深等级估计方法。

背景技术

景深是相机拍摄的图像所具有的一个重要特征,在图像处理与视频分析中有着重要意义。在野外的视频监控中，图像中悬殊的距离差距会对烟雾检测和其他视频分析任务带来巨大的挑战。远距离的目标识别需要更加灵敏的阈值来保证识别率，而近距离的目标识别则需要更宽泛的阈值来降低误报率。适当的景深等级估计就能够为后续的识别与检测提供重要的先验知识。在森林防火等应用领域，深度估计对算法表现有重要影响。如果不同景深的算法参数一样，势必会造成两个情况：靠近视野的树木晃动容易触发误检因为像素面积大，而远处的烟雾因为占用图像的像素小而容易漏报。

在现实生活中，即使是晴天白云，空气中也是存在着一些颗粒，因此人们在观察景物的时候，能够有深度的概念。对于风景图像，由暗通道先验的理论，计算得到图像中空气透射率的估计值。进而将空气透射率近似为深度信息进行直方图分析。通过多阈值分割算法对深度值进行分割，最后得到的图像可用于森林烟火检测等方向。最后的实验结果表明，基于暗通道先验的单幅风景图像深度等级估计能取得良好的效果。

本发明中的景深等级估计方法主要运用于白天场景。景深估计与一般的景深估计不同，不需要特别精确的景深图像。同时也为了降低一些噪声干扰，借助于空气透射率得到大概的深度等级估计。通过单张图像得到精确的景深估计毫无疑问是非常困难的。本方法中首先计算图像的暗通道图像，其次根据大气光和图像形成模型计算空气透射率，最后对空气透射率进行阈值分割，得到分级的深度估计。在视频分析中，大概的景深等级估计就能够为后续的识别与检测提供重要的先验知识。分析算法可以将分析点放在需要的深度等级区域。

暗通道先验理论是一个统计理论，本方法基于暗通道理论进行深度估计简便易操作，同时拥有足够的鲁棒性，对于户外监控图像，都能很好地区分天空和其余部分，同时对非天空区域能够进行一定的景深等级划分。

发明内容

为了解决上述存在的问题，本发明提供一种基于单帧图像的景深等级估计方法，是一种简单易操作的白天场景的景深估计方法，无需依赖复杂的样本和像素分类器，是一个端到端的图像处理算法。在取得良好估计效果的同时，能够大大降低计算量，适合运行于嵌入式平台、无人机等应用场景。基于暗通道的相关理论，推导出简便、容易实现的图像景深等级估计方法，为达此目的，本发明提供一种基于单帧图像的景深等级估计方法，具体步骤如下，

步骤1：根据暗通道理论计算图像的暗通道图像；

步骤2：根据暗通道先验理论计算图像的空气透射率灰度图；

步骤3：统计步骤2中得到的空气透射率图，得到灰度直方图；

步骤4：对灰度直方图进行阈值分析，挑选合适的阈值；

步骤5:将阈值作用于透射率图像，得到分割后的景深图像。

本发明的进一步改进，步骤1计算图像的暗通道图像中暗通道指RGB颜色通道中最低值所在的通道，对于任意图像J，暗通道定义如下：

J^dark(x)＝min(min(J^c(y)))_{c∈{r，g，b}，y∈Ω(x})

其中Jc指的是图像J中的颜色通道，c表示RGB三个颜色通道中的某一个，Ω(x)为像素x的邻域，为了降低计算量，计算暗通道都是在一个窗口进行，也就是以某个像素为中心的邻域内。

本发明的进一步改进，步骤2计算图像的空气透射率图像，由暗通道先验理论可知，正常图像中的暗通道J^dark(x)是一个很小的值，一般是趋向0的，除非有比较厚的雾遮盖，但是对一般的风景图像，空气中多少会存在一些颗粒，这就使得人在看风景的时候有景深的概念；

由暗通道先验理论和成像原理，推导得到空气透射率图像的公式如下：

其中，为透射率的预估值，I(y)是实际采集到的图像，即带有大气中颗粒的原始图像，A_c是当前图像的大气光，这里表示三个通道的值，在Ω(x)这个邻域窗口内执行计算。

本发明的进一步改进，步骤4对灰度直方图进行阈值分析，挑选合适的阈值，本步骤的主要目的是对图像的深度信息进行等级划分，因为图像所包含的情况多种多样，得到的空气透射率直方图需要进行等级划分，以获取一定的对于噪声的鲁棒性；

对于一张灰度图像，假设需要计算n-1个阈值t₁,t₂,...,t_n-1.那么灰度等级可以被划分为n个集合:

G₀＝{0，1，2，...，t₁},G₁＝{t₁+1，t₁+2，...，t₂},…,G_n-1＝{t_n-1+1，t_n-1+2，...，L-1}，定义灰度图的平均值为μ_T,定义图像中n类分割区域的平均值分别为μ₀,μ₁,…,μ_n-1,并且所对应的概率为F₀,F₂,...,F_n-1.在本步骤中图像分割的目的是使得类间方差最大，或者是使得类内方差最小：

这里指的是类间方差，t是需要求取的最优分割阈值。

本发明一种基于单帧图像的景深等级估计方法，与现有的技术相比，本发明具有以下优点：

(1)部分基于单帧图像的景深估计方法为了确定图像中像素点与真实场景中某点的三维几何位置的对应关系，必须建立相机的成像模型，这些都需要借助于相机标定数据。相机标定是非常关键的一环，其标定结果的精度会直接影响景深算法的估计结果的准确性，同时相机标定这个流程也加大了算法的复杂性。

为了解决上述问题，本方法采用端到端的算法流程，无需任何相机标定数据和其他辅助数据，直接基于单帧图像进行预测估计，算法流程简单、容易操作。

(2)基于分类器的方法通常是针对图像设计像素分类器，它可以从单个图像联合预测语义类和深度标签。该类方法的主要缺点是无法处理低分辨率图像，硬件方面的要求非常高，并且对于具有高方差的语义类或者深度标签，无法做到精确可靠地定位对象。

为了解决上述问题，省去了分类器的训练，直接对透射率图像进行直方图分析，以最大类间方差的原则去挑选最优分类阈值，同样可以得到稳定可靠的分割效果。不借助于模型和样本，减少了算法对于高质量样本的依赖。这些特性使得算法可以方便地运行于嵌入式平台。

(3)部分基于图像的景深估计方法无法基于单帧图像进行估计。一些景深估计方法的源图像来自多个摄像机的图像或是视频中的多个帧，或是针对两者的组合之间的相互关系的学习，也有联合估计视差和运动的深度学习方法。

从对于特定场合无法使得摄像机进行移动。本方法能够针对固定相机，仅依靠一帧图像，借助暗通道先验理论和大气光的计算，得到稳定可靠的景深估计。

附图说明

图1是本发明方法的流程图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明提供一种基于单帧图像的景深等级估计方法，是一种简单易操作的白天场景的景深估计方法，无需依赖复杂的样本和像素分类器，是一个端到端的图像处理算法。在取得良好估计效果的同时，能够大大降低计算量，适合运行于嵌入式平台、无人机等应用场景。基于暗通道的相关理论，推导出简便、容易实现的图像景深等级估计方法。

本发明的基于单帧图像的最远可视点检测方法如图1所示，按照以下步骤进行：

步骤1：计算图像的暗通道图像。暗通道指RGB颜色通道中最低值所在的通道。对于任意图像J，暗通道定义如下：

J^dark(x)＝min(min(J^c(y)))_{c∈{r，g，b}，y∈Ω(x)}

其中J^c指的是图像J中的颜色通道，c表示RGB三个颜色通道中的某一个，Ω(x)为像素x的邻域，为了降低计算量，我们计算暗通道都是在一个窗口进行，也就是以某个像素为中心的邻域内。实际计算时，可以采用15×15的邻域窗口进行计算。

步骤2：计算图像的空气透射率图像。由暗通道先验理论可知，正常图像中的暗通道J^dark(x)是一个很小的值，一般是趋向0的，除非有比较厚的雾遮盖。但是对一般的风景图像，空气中多少会存在一些颗粒，这就使得人在看风景的时候有景深的概念。本方法也是主要利用了这一点进行计算和估计的。

由暗通道先验理论和成像原理，我们可以推导得到空气透射率图像的公式如下：

其中，为透射率的预估值，I(y)是我们实际采集到的图像，也就是我们认为带有大气中颗粒的原始图像，A_c是当前图像的大气光，这里表示三个通道的值。同样，这里我们在Ω(x)这个邻域窗口内执行计算。

一般计算当前图像的大气光A_c时，我们挑选暗通道中最亮的0.1％像素，找到对应的原图，对这些像素值算术平均，即可得到一个稳定可靠的大气光值。

步骤3:统计步骤2中得到的空气透射率图，得到灰度直方图。

步骤4:对灰度直方图进行阈值分析，挑选合适的阈值。本步骤的主要目的是对图像的深度信息进行等级划分。因为图像所包含的情况多种多样，我们得到的空气透射率直方图需要进行等级划分，以获取一定的对于噪声的鲁棒性。

对于一张灰度图像，假设需要计算n-1个阈值t₁,t₂,...,t_n-1.那么灰度等级可以被划分为n个集合:

G₀＝{0，1，2，...，t₁},G₁＝{t₁+1，t₁+2，...，t₂},…,G_n-1＝{t_n-1+1，t_n-1+2，...，L-1}.我们定义灰度图的平均值为μ_T,定义图像中n类分割区域的平均值分别为μ₀,μ₁,…,μ_n-1,并且他们所对应的概率为F₀,F₂,...,F_n-1.在本步骤中图像分割的目的是使得类间方差最大，或者是使得类内方差最小：

这里指的是类间方差，t是我们需要求取的最优分割阈值。在本步骤我们采用遍历的方法，获得最优的分割阈值。

步骤5:将阈值作用于透射率图像，得到分割后的景深图像。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (4)

1.一种基于单帧图像的景深等级估计方法，具体步骤如下，其特征在于：

步骤1：根据暗通道理论计算图像的暗通道图像；

步骤2：根据暗通道先验理论计算图像的空气透射率灰度图；

步骤3：统计步骤2中得到的空气透射率图，得到灰度直方图；

步骤4：对灰度直方图进行阈值分析，挑选合适的阈值；

步骤5:将阈值作用于透射率图像，得到分割后的景深图像。

2.根据权利要求1所述的一种基于单帧图像的景深等级估计方法，其特征在于：步骤1计算图像的暗通道图像中暗通道指RGB颜色通道中最低值所在的通道，对于任意图像J，暗通道定义如下：

J^dark(x)＝min(min(J^c(y)))_{ce{r，g，b}，y∈Ω(x)}

其中J^c指的是图像J中的颜色通道，c表示RGB三个颜色通道中的某一个，Ω(x)为像素x的邻域，为了降低计算量，计算暗通道都是在一个窗口进行，也就是以某个像素为中心的邻域内。

3.根据权利要求1所述的一种基于单帧图像的景深等级估计方法，其特征在于：步骤2计算图像的空气透射率图像，由暗通道先验理论可知，正常图像中的暗通道J^dark(x)是一个很小的值，一般是趋向0的，除非有比较厚的雾遮盖，但是对一般的风景图像，空气中多少会存在一些颗粒，这就使得人在看风景的时候有景深的概念；

由暗通道先验理论和成像原理，推导得到空气透射率图像的公式如下：

其中，为透射率的预估值，I(y)是实际采集到的图像，即带有大气中颗粒的原始图像，A_c是当前图像的大气光，这里表示三个通道的值，在Ω(x)这个邻域窗口内执行计算。

4.根据权利要求1所述的一种基于单帧图像的景深等级估计方法，其特征在于：步骤4对灰度直方图进行阈值分析，挑选合适的阈值，本步骤的主要目的是对图像的深度信息进行等级划分，因为图像所包含的情况多种多样，得到的空气透射率直方图需要进行等级划分，以获取一定的对于噪声的鲁棒性；

对于一张灰度图像，假设需要计算n-1个阈值t₁,t₂,...,t_n-1.那么灰度等级可以被划分为n个集合:

G₀＝{0，1，2，...，t₁},G₁＝{t₁+1，t₁+2，...，t₂},…,G_n-1＝{t_n-1+1，t_n-1+2，...，L-1}，定义灰度图的平均值为μ_T,定义图像中n类分割区域的平均值分别为μ₀,μ₁,…,μ_n-1,并且所对应的概率为F₀,F₂,...,F_n-1.在本步骤中图像分割的目的是使得类间方差最大，或者是使得类内方差最小：

这里指的是类间方差，t是需要求取的最优分割阈值。