CN104463853A - 一种基于图像分割的阴影检测与去除算法 - Google Patents

Abstract

本发明公开了一种基于图像分割的阴影检测与去除算法，其涉及图像处理技术领域，主要解决如何判断一个区域是否为阴影或是一条边缘是否为阴影以及相应阴影的如何去除的问题。首先利用纹理和亮度特征，结合局部信息和全局信息估计每个像素点是阴影边缘的概率；使用分水岭算法利用轮廓信息 分割图像；利用基于边缘的区域融合算法将图像中阴影区域和非阴影区域分割开来，同时分别把阴影区域和非阴影区域分割成若干个子区域；然后分别训练一个分类器SVM，对阴影进行识别；随后使用图割算法求解检测阴影的能量方程，得到最终的阴影检测结果；最后根据阴影检测的结果，使用抠图算法计算阴影标签，利用标签点亮阴影区域，恢复阴影区域的光照。

Description

一种基于图像分割的阴影检测与去除算法

技术领域

本发明具体涉及一种基于图像分割的阴影检测与去除算法，用于图像阴影检测和半影区域去除，属于图像处理技术领域。

背景技术

阴影检测一直是图像处理领域的研究热点之一。由于阴影的存在会增加物体识别、视频分割等算法的难度，将阴影检测出来并将其去除可显著提高图像处理领域许多算法的性能。

很多阴影检测的方法是基于光照模型，或者颜色模型提出的。如在颜色空间HSI下的阴影检测方法，该方法利用HSI空间中H和I的比值来检测阴影。但该方法更适合航拍图或者阴影比较明显的图像，针对复杂场景下的阴影检测效果则差强人意。但是，由于不能很好地判断一个像素点属于阴影还是属于颜色比较暗的非阴影，自动检测阴影的方法仍然是阴影检测的一大挑战。

迄今为止，图像处理领域已经存在大量的阴影检测算法。根据检测手段的不同，可将现有的阴影检测算法分为基于边缘的阴影检测和基于学习的阴影检测。

基于边缘的阴影检测算法首先需要场景彩色图和光照不变的灰度图，灰度图由校准的摄像机获得，通过比较灰度图的边缘和原图像的边缘来检测阴影(G.D.Finlayson,2006)。该方法对高质量图像有着极佳的处理效果，而对普通图像效果一般。基于学习的阴影检测算法则考虑到阴影边缘的复杂性，转而从经验的角度将数据驱动的方法引入到阴影检测，如基于光照强度、梯度等信息利用条件随机场(Conditional random field,CRF)，判断一个区域是否为阴影；或是利用CRF来判断一条边缘是否为阴影。虽然这种利用条件随机场CRF的方法可以在一定条件下很好地检测阴影，但它训练过程冗长，并对训练集的依赖度较高。时至今日，在光照、物体反射率和阴影几何形状等因素的影响下，阴影检测仍然是一个非常具有挑战性的问题。

发明内容

针对上述现有技术，本发明的目的在于如何提供一种基于图像分割的阴影 检测与去除算法，其可以有效地分割阴影和非阴影区域，还可以更好地检测和去除场景中的自阴影和投射阴影。

为了解决上述技术问题，本发明采用如下技术方案：

一种基于图像分割的阴影检测与去除算法，其特征在于，包括如下步骤：

S100：利用纹理和亮度特征，结合局部信息和全局信息估计每个像素点是阴影边缘的概率；

S200：使用分水岭算法利用轮廓信息gPb分割图像； 

S300：利用基于边缘的区域融合算法将图像中阴影区域和非阴影区域分割开来，同时分别把阴影区域和非阴影区域分割成若干个子区域；然后，利用单个区域信息和匹配区域的信息，分别训练一个分类器SVM，对阴影进行识别；随后使用图割算法求解检测阴影的能量方程，得到最终的阴影检测结果。

S400，根据阴影检测的结果，使用抠图算法计算阴影标签，利用得到的标签点亮阴影区域，恢复阴影区域的光照，使其与周围非阴影的区域光照相同。

所述步骤S100主要以下几步组成：

S101：通过计算方向梯度信息G(x,y,θ)构建阴影边缘检测器Pb，阴影边缘检测器分别计算亮度和纹理基元两个通道的梯度信息G(x,y,θ)，阴影边缘检测器的构建方法是在图像中一点(x,y)为中心，以r为半径画一圆，该圆被方向为θ的直径分割为两个半圆；

S102：通过计算这两个半圆的柱状图之间的χ²距离得到方向梯度G：

${\mathrm{\χ}}^2(g,h)=\frac{1}{2}\underset{i}{\mathrm{\Σ}}\frac{{(g\left(i\right)-h\left(i\right))}^2}{g\left(i\right)+h\left(i\right)}---\left(1\right)$

其中，g和h代表两个半圆，i代表图像值域上的值；

S103：将计算得到的检测器Pb结合起来，得到不同尺度、不同通道组合起来的局部信息(local cues)mPb：

$\mathrm{mPb}(x,\mathrm{y\θ})=\underset{s}{\mathrm{\Σ}}\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_{i,s}{G}_{i,\mathrm{\σ}(i,s)}(x,y,\mathrm{\θ})---\left(2\right)$

其中，s代表圆的半径，i代表特征通道(亮度、纹理基元)；G_i,σ(i,s)(x,y,θ)比较了以(x,y)为中心、σ(i,s)为半径大小、θ为半径方向的两个半圆之间的差异；α_i,s则是各个梯度信息所代表的权重；

在每个点上，选取梯度信息G的最大值作为该点的mPb值，该值表示最终的局部信息：

$\mathrm{mPb}(x,y,\mathrm{\θ})=\underset{\mathrm{\θ}}{\max }\left\{\mathrm{mPb}(x,y,\mathrm{\θ})\right\}---\left(3\right)$

步骤S104：以mPb构建一个稀疏矩阵，通过计算该矩阵的特征值和特征向量，得到所需的全局信息；稀疏矩阵是在一个半径r＝5像素的区域内，将每个像素链接起来：

$W_{\mathrm{ij}}=\exp (-\underset{p\∈\stackrel{\‾}{\mathrm{ij}}}{\max }\frac{\left\{\mathrm{mPb}\left(p\right)\right\}}{\mathrm{\ρ}})---\left(4\right)$

其中，代表的是i和j之间的联系，ρ＝0.1，接着定义D_ii＝∑_jW_ij,通过

(D-W)v＝λDv      (5)

计算得到特征向量{v₀,v₁,…,v_n}，和特征值0＝λ₀≤λ₁≤…≤λ_n。

步骤S105：将步骤S104中的每一个特征向量看做一副图像，通过计算不同方向下的高斯滤波，得到方向信息然后，将不同特征向量下的方向信息线性叠加起来得到全局信息sPb：

$\mathrm{sPb}(x,y,\mathrm{\θ})=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\frac{1}{\sqrt{{\mathrm{\λ}}_k}}\·{\▿}_{\mathrm{\θ}}{v}_k(x,y)---\left(6\right)$

步骤S106：将局部信息mPb和全局信息sPb有机地结合起来分析图像轮廓信息gPb：

$\mathrm{gPb}(x,y,\mathrm{\θ})=\underset{s}{\mathrm{\Σ}}\underset{i}{\mathrm{\Σ}}\{{\mathrm{\β}}_{i,s}{G}_{i,\mathrm{\σ}}(x,y,\mathrm{\θ})+\mathrm{\γ}\·\mathrm{sPb}(x,y,\mathrm{\θ})\}---\left(7\right)$

其中，β_i,s和γ分别表示mPb和sPb的系数。

所述步骤S200主要以下几步组成：

步骤S201：估计出图像中任意一点(x,y)在方向θ上是轮廓的概率，求出该点轮廓检测的最大值：

$E(x,y)=\underset{\mathrm{\θ}}{\max }E(x,y,\mathrm{\θ})---\left(8\right)$

步骤S202：利用数学形态学，以区域中E(x,y)的最小值为“集水盆地”计算每个区域，每个“集水盆地”对应一个区域，记为P₀；两个集水盆地交汇处是“分水岭”，记为K₀；

步骤S203：分水岭算法会产生过度分割问题，即将本不应该是边的地方标记为分水岭，利用区域合并算法解决过度分割问题；

所述区域合并算法如下：定义一个无向图G＝(P₀,K₀,W(K₀),E(P₀))，其中W(K₀)表示每条分水岭的权值，由分水岭上点的总能量除以分水岭上点的个数而得，E(P₀)表示每个集水盆地的能量值，每个盆地的初始能量均为零，W(K₀)描述了相邻两个区域之间的相异性；将分水岭按照其权值，由小到大存入队列。

区域合并算法包括以下步骤为：

一、找到权重最小的边C^*＝argminW(C)

假定R₁和R₂由边C^*分割，且R＝R₁∪R₂，如果min{E(R₁),E(R₂)}≠0，判断是否合并，合并条件为：则W(K₀)≤τ·min{E(R₁),E(R₂)}  (9) 

或min{E(R₁),E(R₂)}＝0      (10)，

其中τ为一个常数；

二、若合并，则更新E(R)、P₀和K₀，E(R)、P₀和K₀的更新方法是：

E(R)＝max{E(R₁),E(R₂),W(C^*)}    (11) 

P₀←P₀\{R₁,R₂}∪R      (12) 

K₀←K₀\{C^*}            (13) 

更地一步地，通过调整τ调整合并条件，进面控制最终区域的大小，τ越大最终合并的区域面积越大。

所述步骤S300中通过解下述能量方程得到最终的阴影检测结果，能量方程是由图割算法解得：

$\begin{array}{c}\hat{y}=\arg \underset{y}{\min }\underset{k}{\mathrm{\Σ}}{\cos t}_k^{\mathrm{unary}}\left(y_k\right)\\ +{\mathrm{\α}}_2\underset{\{i,j\}\∈E_{\mathrm{same}}}{\mathrm{\Σ}}{c}_{\mathrm{ij}}^{\mathrm{same}}1(y_i\≠y_j)\end{array}---\left(15\right)$

同时，

$\begin{array}{c}{\cos t}_k^{\mathrm{unary}}\left(y_k\right)=-c_k^{\mathrm{shadow}}{y}_k\\ -{\mathrm{\α}}_1\underset{\{i=k,j\}\∈E_{\mathrm{diff}}}{\mathrm{\Σ}}{c}_{\mathrm{ij}}^{\mathrm{diff}}{y}_k\\ +{\mathrm{\α}}_1\underset{\{i,j=k\}\∈E_{\mathrm{diff}}}{\mathrm{\Σ}}{c}_{\mathrm{ij}}^{\mathrm{diff}}{y}_k\end{array}---\left(16\right)$

其中，表示区域匹配分类器对于两区域光照相同的估计，表示区域匹配分类器对于两区域光照不同的估计，是单区域分类器对单区域区域是否为阴影的估计，{i,j}∈E_same表示相同光照的两个区域，{i,j}∈E_diff表示不同光照的两个区域；y＝{-1,1}ⁿ，当为1时表示该区域是阴影区域。

对所述步骤S400更进一步地描述为：使用抠图算法计算阴影标签，该算法认为一个图像I_i可由前景F_i和背景B_i混合而成，其公式如下：

I_i＝k_iF_i+(1-k_i)B_i            (18) 

＝k_i(L_dR_i+L_eR_i)+(1-k_i)L_eR_i    (19)

其中，L_d是直射光、L_e是环境光、k_i是阴影标签、R_i是点i的反射系数。 

将前景标记为非阴影，背景标记为阴影，通过计算下述能量方程的最小值得到k_i的大小，k_i表示点i的标签，由(20)得到，k是k_i组成的向量，得到k就得到了k_i。

$E\left(k\right)=k^T\mathrm{Lk}+\mathrm{\λ}{(k-\hat{k})}^{T}D(k-\hat{k})---\left(20\right)$

k^T是k的转置，k是k_i组成的向量，λ是一个很大的数值，具体由实践而定。 是由步骤S300的能量方程得到的标签y_k组成的向量，里每个元素的值就是公式里得到的y_k，这里每一个元素值不是0就是1。请注意：该公式就是为了计算k，计算得到的k是一个向量，向量里的每个元素表示每个像素的标签；但是每个元素的值的取值范围变为[0、1]，也就是说一部分像素的标签由1或0变为了一个0到1区间范围的值；标签仍为0或1的就表示阴影区域和非阴影区域，标签值在0和1之间的表示半影区域。

其中，L是抠图的拉普拉斯矩阵，D(i,i)是一个对角阵，D(i,i)＝1表示像素i是阴影区域的边缘，D(i,i)＝0则表示其它所有点；

利用得到的标签点亮阴影区域，恢复阴影区域的光照：

根据阴影模型，如果一个像素被点亮，则

$\begin{array}{cc}{I}_i^{\mathrm{shadow}-\mathrm{free}}=(L_d+L_e)R_i& \left(21\right)\\ =(k_i\·L_d+L_e)R_i\frac{(L_d+L_e)}{(k_i\·L_d+L_e)}& \left(22\right)\\ =\frac{r+1}{k_{i}r+1}{I}_i& \left(23\right)\end{array}$

其中，r＝L_d/L_e是直射光L_d和环境光L_e的比值，I_i表示像素i原本的值，所以，计算得到r就可将阴影去除；

已知

I_i＝(k_i·L_d+L_e)R_i      (24) 

I_j＝(k_j·L_d+L_e)R_j    (25) 

如果两个像素点的反射系数相同，即R_i＝R_j，则

$r=\frac{I_j-I_i}{k_j{I}_i-k_i{I}_j}$

公式(24)和(25)的目的是计算r，计算该值的思想就是，找到材质相同(即反射系数相同，R_i＝R_j)、光照不同同(L_d和L_e一样，但阴影标签k不同)的两个点i,j，利用两者之间的数学关系就可以得到r。I_j就表示这样一个点j的 像素值。

与现有技术相比，本发明具有以下有益效果：

一、利用相同的阴影特征将分割图像和检测阴影有机地结合起来，很好地分割了图像中的阴影和非阴影区域，使图像分割更加准确，阴影区域检测更准确、效果更好；

二、较完整地检测到了阴影的轮廓，本发明提供的检测算法对复杂背景的抗干扰能力较好，去除的图像不仅在阴影区域内部保存了较好的纹理特征，而且在阴影边缘处较为光滑，表明本文算法在半影区域很好地实现了光照过渡效果。

三、根据轮廓信息，提出了一种区域合并的算法，并且可以通过控制区域合并的参数，方便地控制合并区域的大小，这些优点共同提升了阴影去除的效果。

附图说明

图1为本发明的算法流程图；

(a)为原图像；(b)为分割后的图像；(c)为单区域识别器检测的阴影和非阴影区域，白色表示阴影区域；(d)为匹配区域识别器检测的阴影和非阴影区域；(e)为经过抠图算法计算得到的阴影标签k_i的灰度图；(f)为阴影去除后的图像。

图2为区域合并算法流程图；

图3为区域匹配图，图中红线表示相同光照的匹配区域，蓝线表示不同光照的匹配区域。

具体实施方式

下面将结合附图及具体实施方式对本发明作进一步的描述。

本发明根据阴影的特征，融合阴影边缘检测和阴影区域检测，分割阴影和非阴影区域。算法分为两个步骤：阴影边缘检测和阴影分割。

实施例阴影边缘检测

首先，通过计算方向梯度信息G(x,y,θ)构建阴影边缘检测器Pb。构建的方法是在图像中一点(x,y)为中心，以r为半径画一圆，该圆被方向为θ的直径分割为两个半圆。最后通过计算这两个半圆的柱状图之间的χ²距离得到方向梯度G：

${\mathrm{\χ}}^2(g,h)=\frac{1}{2}\underset{i}{\mathrm{\Σ}}\frac{{(g\left(i\right)-h\left(i\right))}^2}{g\left(i\right)+h\left(i\right)}---\left(1\right)$

其中，g和h代表两个半圆，i代表图像值域上的值。

检测器分别计算亮度和纹理基元两个通道的梯度信息G(x,y,θ)。纹理基元的计算方式是选择16个方向的奇偶高斯滤波器进行滤波，经过k平均算法聚类的纹理基元分为32组。

其次，将计算得到的检测器Pb结合起来，得到不同尺度、不同通道组合起来的局部信息(local cues)mPb：

$\mathrm{mPb}(x,y,\mathrm{\θ})=\underset{s}{\mathrm{\Σ}}\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_{i,s}{G}_{i,\mathrm{\σ}(i,s)}(x,y,\mathrm{\θ})---\left(2\right)$

其中，s代表圆的半径，i代表特征通道(亮度，纹理基元)；G_i,σ(i,s)(x,y,θ)比较了以(x,y)为中心、σ(i,s)为半径大小、θ为半径方向的两个半圆之间的差异，α_i,s则是各个梯度信息所代表的权重。

在每个点上，选取梯度信息G的最大值作为该点的mPb值，该值表示的最终的局部信息：

$\mathrm{mPb}(x,y,\mathrm{\θ})=\underset{\mathrm{\θ}}{\max }\left\{\mathrm{mPb}(x,y,\mathrm{\θ})\right\}---\left(3\right)$

接着，为了更好地提取轮廓信息，使用标准归一化图割的方法获取全局信息(global cues)。以mPb构建一个稀疏矩阵，通过计算该矩阵的特征值和特征向量，得到所需的全局信息。稀疏矩阵是在一个半径r＝5像素的区域内，将每个像素链接起来：

$W_{\mathrm{ij}}=\exp (-\underset{p\∈\stackrel{\‾}{\mathrm{ij}}}{\max }\frac{\left\{\mathrm{mPb}\left(p\right)\right\}}{\mathrm{\ρ}})---\left(4\right)$

其中，代表的是i和j之间的联系，ρ＝0.1，接着定义D_ii＝∑_jW_ij,通过

(D-W)v＝λDv      (5)

计算得到特征向量{v₀,v₁,…,v_n}，和特征值0＝λ₀≤λ₁≤…≤λ_n。

虽然归一化图割不能很好地分割图像，但却可以很好地反映图像的轮廓。所以，将每一个特征向量看做一副图像，通过计算不同方向下的高斯滤波，得到方向信息然后，将不同特征向量下的方向信息线性叠加起来：

$\mathrm{sPb}(x,y,\mathrm{\θ})=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\frac{1}{\sqrt{{\mathrm{\λ}}_k}}\·{\▿}_{\mathrm{\θ}}{v}_k(x,y)---\left(6\right)$

mPb和sPb分别代表了不同的边缘信息。mPb涵盖了所有边缘的信息，是局部信息；而sPb则表示了最为突出的边的信息，是全局信息。正因为此，将两者有机地结合起来可以有效地分析图像轮廓信息，本发明将其定义为gPb：

$\mathrm{gPb}(x,y,\mathrm{\θ})=\underset{s}{\mathrm{\Σ}}\underset{i}{\mathrm{\Σ}}\{{\mathrm{\β}}_{i,s}{G}_{i,\mathrm{\σ}}(x,y,\mathrm{\θ})+\mathrm{\γ}\·\mathrm{sPb}(x,y,\mathrm{\θ})\}---\left(7\right)$

式中，β_i,s和γ分别表示mPb和sPb的系数。

实施例图像分割

gPb能够有效的表示轮廓，但是这些轮廓也不是完全封闭的，因此不能用作分割图像。为了更好地分割图像，本文使用分水岭算法利用轮廓信息gPb来进行区域分割。

为了更好的描述分水岭算法，首先考虑任意一个轮廓检测器E(x,y,θ)。这个检测器可以估计出图像中任意一点(x,y)在方向θ上是轮廓的概率，并且这个值越大，表示该点是轮廓的概率越高。对于每个点求轮廓检测的最大值：

$E(x,y)=\underset{\mathrm{\θ}}{\max }E(x,y,\mathrm{\θ})---\left(8\right)$

接着，利用数学形态学，以区域中E(x,y)的最小值为“集水盆地”计算每个区域。每个“集水盆地”对应一个区域，记为P₀；两个集水盆地交汇处是“分水岭”，记为K₀。然而，分水岭算法会产生过度分割问题，将本不应该是边的地方标记为分水岭。为了解决这一问题，利用一种新的区域合并算法。该算法的前提是：分水岭算法一定会产生过分问题，即初始的每个集水盆地都需要合并。

区域合并算法描述如下：定义一个无向图G＝(P₀,K₀,W(K₀),E(P₀))，其中W(K₀)表示每条分水岭的权值，由分水岭上点的总能量处以分水岭上点的个数而得；E(P₀)表示每个集水盆地的能量值，每个盆地的初始能量均为零。同时需要注意的是在图中，每条都恰好分割两个区域，W(K₀)描述了相邻两个区域之间的相异性。将分水岭按照其权值，由小到大存入队列，算法的流程图如图2所示。

假定R₁和R₂由边C^*分割，且R＝R₁∪R₂。合并的条件是：如果min{E(R₁),E(R₂)}≠0，则

W(K₀)≤τ·min{E(R₁),E(R₂)}      (9) 

或min{E(R₁),E(R₂)}＝0      (10) 

其中，τ表示一个常数。通过调整τ就可以调整合并条件，从而控制最终区域的大小，τ越大最终合并的区域面积越大。

E(R)、P₀和K₀的更新方法是：

E(R)＝max{E(R₁),E(R₂),W(C^*)}    (11) 

P₀←P₀\{R₁,R₂}∪R      (12) 

K₀←K₀\{C^*}            (13) 

实施例阴影检测

单区域识别：训练一个SVM分类器来判断单个区域是阴影的概率；训练集已手工标记出了阴影部分，分类器利用阴影的亮度和纹理基元来进行分类，输出为表示区域为阴影的概率。

匹配区域识别：检测一个区域是否为阴影区域，应该与其纹理相似的区域进行比较。如果和的亮度相似，则二者处于同一光照强度下；如果和的亮度相异，则认定亮度较暗的区域为阴影。

本发明利用分类器训练四个特征来判断阴影区域：

①亮度和纹理基元的χ²距离；

②平均RGB比

当对比的匹配区域是相同材质时，非阴影区域的三通道值更高。计算公式如下：

${\mathrm{\ρ}}_R=\frac{R_{\mathrm{avg}1}}{R_{\mathrm{avg}2}}{\mathrm{\ρ}}_G=\frac{G_{\mathrm{avg}1}}{G_{\mathrm{avg}2}}{\mathrm{\ρ}}_B=\frac{B_{\mathrm{avg}1}}{B_{\mathrm{avg}2}}---\left(14\right)$

其中，R_avg1表示第一个区域R通道的平均值。

③色彩对齐度 

相同材质的阴影/非阴影对在RGB空间上的色彩保持对齐。该参数通过计算ρ_R/ρ_G和ρ_G/ρ_B得到。

④区域归一化距离

由于匹配区域的材质是否相同不一定和是否相邻有关，所以本将该参数也列为训练特征之一。该值是由匹配区域之间的欧式距离计算而得的。

构建如下能量方程，使用图割算法得到最终的阴影检测结果：

$\hat{y}=\arg \underset{y}{\min }\underset{k}{\mathrm{\Σ}}{\cos t}_k^{\mathrm{unary}}\left(y_k\right)+{\mathrm{\α}}_2\underset{\{i,j\}\∈E_{\mathrm{same}}}{\mathrm{\Σ}}{c}_{\mathrm{ij}}^{\mathrm{same}}1(y_i\≠y_j)---\left(15\right)$

同时，

$\begin{array}{c}{\cos t}_k^{\mathrm{unary}}\left(y_k\right)=-c_k^{\mathrm{shadow}}{y}_k\\ -{\mathrm{\α}}_1\underset{\{i=k,j\}\∈E_{\mathrm{diff}}}{\mathrm{\Σ}}{c}_{\mathrm{ij}}^{\mathrm{diff}}{y}_k\\ +{\mathrm{\α}}_1\underset{\{i,j=k\}\∈E_{\mathrm{diff}}}{\mathrm{\Σ}}{c}_{\mathrm{ij}}^{\mathrm{diff}}{y}_k\end{array}---\left(16\right)$

其中，表示区域匹配分类器对于两区域光照相同的估计，表示区域匹配分类器对于两区域光照不同的估计，是单区域分类器对单区域区域是否为阴影的估计；{i,j}∈E_same表示相同光照的两个区域，{i,j}∈E_di ^f表示不同光照的两个区域；y＝{-1,1}ⁿ，当为1时表示该区域是阴影区域。

实施例阴影去除

为有效地进行阴影移除，必须建立一个适当的阴影模型。阴影模型的光照由直射光和环境光共同决定：

I_i＝(k_i·L_d+L_e)R_i      (17) 

对于像素i，k_i表示阴影标签。当k_i＝0时，表示该像素点在阴影区域内；当k_i＝1时，表示该像素点在非阴影区域内；当0<k_i<1，表示该像素处在半影区域内。

尽管阴影检测已经为每个像素赋予了一个标签(0或1)，然而实际场景中阴影边缘是由非阴影到阴影逐步过渡的。为了更好地对阴影边缘进行去除，本文使用抠图算法计算半影区域：

I_i＝k_iF_i+(1-k_i)B_i        (18) 

＝k_i(L_dR_i+L_eR_i)+(1-k_i)L_eR_i    (19)

将前景标记为非阴影，背景标记为阴影。通过计算下述能量方程的最小值得到k_i的大小：

$E\left(k\right)=k^T\mathrm{Lk}+\mathrm{\&lambda;}{(k-\hat{k})}^{T}D(k-\hat{k})---\left(20\right)$

其中，L是抠图的拉普拉斯矩阵，D(i,i)是一个对角阵。实验中，D(i,i)＝1表示像素i是阴影区域的边缘，D(i,i)＝0则表示其它所有点。

根据阴影模型，如果一个像素被点亮，则

$\begin{array}{cc}{I}_i^{\mathrm{shadow}-\mathrm{free}}=(L_d+L_e)R_i& \left(21\right)\\ =(k_i\&CenterDot;L_d+L_e)R_i\frac{(L_d+L_e)}{(k_i\&CenterDot;L_d+L_e)}& \left(22\right)\\ =\frac{r+1}{k_{i}r+1}{I}_i& \left(23\right)\end{array}$

其中，r＝L_d/L_e是直射光L_d和环境光L_e的比值，I_i表示像素i原本的值。所以，计算得到r就可以将阴影去除。

已知

I_i＝(k_i·L_d+L_e)R_i      (24) 

I_j＝(k_j·L_d+L_e)R_j      (25) 

如果两个像素点的反射系数相同，即R_i＝R_j，则

$r=\frac{I_j-I_i}{k_j{I}_i-k_i{I}_j}$

在相邻的阴影和非阴影区域两边选取最相近的像素点，然后根据式(24)计算得到r值。

以上内容仅为结合具体方案对本发明进行的一些详细说明，不能认定发明的具体实施只限于这些说明。对本发明所属技术领域的普通技术人员来说，在不脱离本发明的构思前提下，还可以做出简单的推演及替换，都应当视为在本发明的保护范围内。

Claims (7)

1.一种基于图像分割的阴影检测与去除算法，其特征在于，包括如下步骤：

S100：利用纹理和亮度特征，结合局部信息和全局信息估计每个像素点是阴影边缘的概率；

S200：使用分水岭算法利用轮廓信息gPb分割图像；

S300：利用基于边缘的区域融合算法将图像中阴影区域和非阴影区域分割开来，同时分别把阴影区域和非阴影区域分割成若干个子区域；然后，利用单个区域信息和匹配区域的信息，分别训练一个分类器SVM，对阴影进行识别；随后使用图割算法求解检测阴影的能量方程，得到最终的阴影检测结果。

S400：根据阴影检测的结果，使用抠图算法计算阴影标签，利用得到的标签点亮阴影区域，恢复阴影区域的光照，使其与周围非阴影的区域光照相同。

2.根据权利要求1所述的基于图像分割的阴影检测与去除算法，其特征在于，所述步骤S100主要以下几步组成：

S101：通过计算方向梯度信息G(x，y，θ)构建阴影边缘检测器Pb，阴影边缘检测器分别计算亮度和纹理基元两个通道的梯度信息G(x，y，θ)，阴影边缘检测器的构建方法是在图像中一点(x，y)为中心，以r为半径画一圆，该圆被方向为θ的直径分割为两个半圆；

S102：通过计算这两个半圆的柱状图之间的χ²距离得到方向梯度G：

其中，g和h代表两个半圆，i代表图像值域上的值；

S103：将计算得到的检测器Pb结合起来，得到不同尺度、不同通道组合起来的局部信息(local cues)mPb：

其中，s代表圆的半径，i代表特征通道(亮度、纹理基元)；G_{i，σ(i，s)}(x，y，θ)比较 了以(x，y)为中心、σ(i，s)为半径大小、θ为半径方向的两个半圆之间的差异；α_i，s则是各个梯度信息所代表的权重；

在每个点上，选取梯度信息G的最大值作为该点的mPb值，该值表示最终的局部信息：

mPb(x，y，θ)＝max_θ{mPb(x，y，θ)}   (3)；

步骤S104：以mPb构建一个稀疏矩阵，通过计算该矩阵的特征值和特征向量，得到所需的全局信息；稀疏矩阵是在一个半径r＝5像素的区域内，将每个像素链接起来：

其中，代表的是i和j之间的联系，ρ＝0.1，接着定义D_ii＝∑_jW_ij，通过

(D-W)v＝λDv   (5)

计算得到特征向量{v₀，v₁，…，v_n}，和特征值0＝λ₀≤λ₁≤…≤λ_n；

步骤S105：将步骤S104中的每一个特征向量看做一副图像，通过计算不同方向下的高斯滤波，得到方向信息然后，将不同特征向量下的方向信息线性叠加起来得到全局信息sPb：

步骤S106：将局部信息mPb和全局信息sPb有机地结合起来分析图像轮廓信息gPb：

其中，β_i，s和γ分别表示mPb和sPb的系数。

3.根据权利要求1所述的基于图像分割的阴影检测与去除算法，其特征在 于，所述步骤S200主要以下几步组成：

步骤S201：估计出图像中任意一点(x，y)在方向θ上是轮廓的概率，求出该点轮廓检测的最大值：

步骤S202：利用数学形态学，以区域中E(x，y)的最小值为“集水盆地”计算每个区域，每个“集水盆地”对应一个区域，记为P₀；两个集水盆地交汇处是“分水岭”，记为K₀；

步骤S203：分水岭算法会产生过度分割问题，即将本不应该是边的地方标记为分水岭，利用区域合并算法解决过度分割问题；

所述区域合并算法如下：定义一个无向图G＝(P₀，K₀，W(K₀)，E(P₀))，其中W(K₀)表示每条分水岭的权值，由分水岭上点的总能量除以分水岭上点的个数而得，E(P₀)表示每个集水盆地的能量值，每个盆地的初始能量均为零，W(K₀)描述了相邻两个区域之间的相异性；将分水岭按照其权值，由小到大存入队列。

4.根据权利要求3所述的基于图像分割的阴影检测与去除算法，其特征在于，区域合并算法包括以下步骤为：

一、找到权重最小的边C^*＝argminW(C)

假定R₁和R₂由边C^*分割，且R＝R₁∪R₂，如果min{E(R₁)，E(R₂)}≠0，判断是否合并，合并条件为：则W(K₀)≤τ·min{E(R₁)，E(R₂)}   (9) 

或min{E(R₁)，E(R₂)}＝0   (10)，

其中τ为一个常数；

二、若合并，则更新E(R)、P₀和K₀，E(R)、P₀和K₀的更新方法是：

E(R)＝max{E(R₁)，E(R₂)，W(C^*)}   (11) 

P₀←P₀\{R₁，R₂}∪R   (12)

K₀←K₀\{C^*}   (13)。

5.根据权利要求1所述的基于图像分割的阴影检测与去除算法，其特征在于，所述步骤S300中通过解下述能量方程得到最终的阴影检测结果，能量方程是由图割算法解得：

同时，

其中，表示区域匹配分类器对于两区域光照相同的估计，表示区域匹配分类器对于两区域光照不同的估计，是单区域分类器对单区域区域是否为阴影的估计，{i，j}∈E_same表示相同光照的两个区域，{i，j}∈E_diff表示不同光照的两个区域；y＝{-1，1}ⁿ，当为1时表示该区域是阴影区域。

6.根据权利要求1所述的基于图像分割的阴影检测与去除算法，其特征在于，在所述步骤S400中使用抠图算法计算阴影标签，该算法认为一个图像I_i可由前景F_i和背景B_i混合而成，其公式如下：

I_i＝k_iF_i+(1-k_i)B_i   (18)

＝k_i(L_dR_i+L_eR_i)+(1-k_i)L_eR_i   (19)

其中，L_d是直射光、L_e是环境光、k_i是阴影标签、R_i是点i的反射系数。

将前景标记为非阴影，背景标记为阴影，通过计算下述能量方程的最小值得到k_i的大小，k_i表示点i的标签，由(20)得到，k是k_i组成的向量，得到k就 得到了k_i。

k^T是k的转置，k是k_i组成的向量，λ是一个很大的数值，具体由实践而定。 是由步骤S300的能量方程得到的标签y_k组成的向量，里每个元素的值就是公式里得到的y_k，这里每一个元素值不是0就是1。请注意：该公式就是为了计算k，计算得到的k是一个向量，向量里的每个元素表示每个像素的标签；但是每个元素的值的取值范围变为[0、1]，也就是说一部分像素的标签由1或0变为了一个0到1区间范围的值；标签仍为0或1的就表示阴影区域和非阴影区域，标签值在0和1之间的表示半影区域；L是抠图的拉普拉斯矩阵，D(i，i)是一个对角阵，D(i，i)＝1表示像素i是阴影区域的边缘，D(i，i)＝0则表示其它所有点。

7.根据权利要求6所述的基于图像分割的阴影检测与去除算法，其特征在于，利用得到的标签点亮阴影区域，恢复阴影区域的光照：

根据阴影模型，如果一个像素被点亮，则

其中，r＝L_d/L_e是直射光L_d和环境光L_e的比值，I_i表示像素i原本的值，所以，计算得到r就可将阴影去除；

已知

I_i＝(k_i·L_d+L_e)R_i   (24)

I_j＝(k_j·L_d+L_e)R_j   (25)

如果两个像素点的反射系数相同，即R_i＝R_j，则