CN104200470B - 一种蓝屏抠图方法 - Google Patents

Abstract

本发明公开了一种蓝屏抠图方法，先将视频传递到GPU中，通过在GPU中对视频帧进行蓝屏抠图处理，这样提高了抠图的速率。具体的讲，先对视频帧提取背景色，根据背景色，利用色差抠图技术对蓝屏图像进行不透明度处理，再经过二值化处理后得到初始不透明度图像，然后利用彩色图像的梯度信息和改进的联合双边滤波器对初始不透明度进行优化得到最终不透明度图像，最后对最终不透明度图像进行背景色溢出去除后回传到CPU客户端，通过显示设备显示。这样在整个处理过程中大大减少了人工交互和参数的调整。

Description

一种蓝屏抠图方法

技术领域

本发明属于视觉特效领域，更为具体地讲，涉及一种蓝屏抠图方法。

背景技术

抠图是指从图像或视频序列中精确地提取出前景对象的一种技术。抠图技术作为视觉特效领域的一种关键技术，被广泛地应用于图像编辑和电影制作等领域。但由于抠图问题的欠约束性，求解该问题时需要增加额外的约束条件，因此在影视制作中，通常采用蓝屏或者绿屏作为拍摄背景，以此来降低该问题的求解难度，这种将蓝屏或者绿屏作为背景的抠图技术通常叫做蓝屏抠图技术。

蓝屏抠图发展到今天已经产生了许多不同的技术。常见的蓝屏抠图技术主要有：亮度抠图(Luma Keying)、差异抠图(Difference Keying)、色度抠图(Chroma Keying)、色差抠图(Color Difference Keying)、3D抠图(3D Keying)。

亮度抠图技术利用图像的亮度信息来求解不透明度。对于给定的RGB三通道彩色图像，先将其转换到HLS颜色空间，然后取亮度通道L进行二值化操作，得到的结果即为前景的不透明度。简单的硬阈值操作通常会造成边缘和半透明信息的严重丢失，因此，在实际应用中通常采取软阈值操作，即定义一个渐变的范围，使得不透明度从0到1平缓变化。由于该技术在抠图过程中只考虑了图像的亮度信息，而没有考虑图像的颜色信息，因此，对于大多数图像，该方法效果不够理想。

差异抠图技术利用前景图像与背景图像的差异求解不透明度。差异抠图技术对背景没有严格的限制，不仅适用于单色背景，对于背景颜色复杂的情况同样适用。然而，由于差异抠图技术需要背景图像已知，因此其使用范围受到了一定的限制。

色度抠图技术利用图像的颜色信息求解不透明度。对于给定的RGB三通道彩色图像，首先将其转换到HLS空间，然后对H通道进行阈值分割求取不透明度。在实际应用中，受光照等环境因素的影响，背景颜色会出现一定的波动，因此需要设置一个软阈值。然而，H通道虽然能较好地区分颜色信息，但是对 于压缩的视频帧，H通道常常出现块状效应(blocky)。为了提高抠图精度，通常将色度(H)、亮度(L)、饱和度(S)三个通道结合起来。与单一通道的抠图技术相比，联合H、L、S三通道的抠图技术要更准确，不足之处是需要调节的参数较多，人工交互比较大。

色差抠图技术利用R、G、B三通道的颜色差异来求解不透明度。以蓝屏视频为例，对于输入视频帧I，其不透明度表示为α＝I_B-MAX(I_R,I_G)。色差抠图技术比较简单，速度较快且不需要进行阈值判断，然而，效果不够理想。

3D抠图技术是指在三维颜色空间(RGB、HLS等)，根据像素的空间距离求解不透明度。由于背景的颜色变化范围较小，因此可以在三维空间中定义一个3D形状将前景和背景区分开来。该3D形状可以是球体，立方体，椭球体等。以简单的球体为例，为了获得渐变的不透明度，需要定义一大一小两个球体，小球体里面的像素为背景，大球体以外的像素为前景，介于两者之间的像素属于过度区域，不透明度在0到1之间变化。3D抠图技术虽然能取得较好的效果，但是速度和人工交互仍然有待进一步提高。

从以上分析可以看出，现有的蓝屏抠图技术在抠图速度，抠图质量和人工交互上不能同时取得理想的效果，因此，对蓝屏抠图技术进行深入研究是很有必要的。

发明内容

本发明的目的在于克服现有技术的不足，提供一种蓝屏抠图方法，通过在GPU中对视频帧进行蓝屏抠图处理，具有抠图速度快，抠图效果好，且不需要调整太多的参数和人工交互等优点。

为实现上述发明目的，本发明一种蓝屏抠图方法，其特征在于，包括以下步骤：

(1)、传递视频到GPU

对GPU进行初始化；在CPU端通过视频输入、输出接口向GPU端申请纹理内存、常量内存和全局内存；

CPU端申请内存成功后，再次通过视频输入、输出接口将视频帧传递到纹理内存，将视频的参数向量传递到常量内存，同时将选取的一幅背景合成图像传递到全局内存；

(2)、GPU的并行计算线程块对视频进行处理

从纹理内存中读取视频帧，从常量内存中读取视频的参数向量到GPU的并行计算线程块，在GPU的并行计算线程块中分别对所有视频帧进行处理；

(2.1)、提取背景色

将视频的第一帧图像作为蓝屏图像，再读取视频的参数向量得到蓝屏图像的结构信息；

将视频的第一帧图像从RGB颜色空间转换到转换到HLS颜色空间，对HLS颜色空间中H通道的图像颜色进行颜色直方图统计，将颜色直方图中出现频率最大的颜色作为背景色；

(2.2)、获取蓝屏图像的初始不透明度

参照步骤(2.1)得到的背景色，利用色差抠图技术对蓝屏图像的每个像素点进行不透明度处理，即通过公式α′_i＝I_ikey-MAX(I_i,I'_i)，得到α′_i，其中，i＝1,2,…,n，n表示蓝屏图像中像素点的个数，I_ikey表示像素点在BRG空间内与背景色相同的通道颜色值，I_i，I'_i分别表示像素点在BRG空间内另外两个通道颜色值，所有的α′_i组成一幅Trimap图，再对Trimap图中的每个像素点进行二值化处理，得到每个点的初始不透明度α_i，所有的α_i组成一幅初始不透明度图像；

(2.3)、利用蓝屏图像的梯度信息对初始不透明度图像进行边缘补充

在RGB空间的蓝屏图像的梯度信息为：

$F_{\mathrm{\θ}}(x,y)={\left\{\frac{1}{2}\right[(g_{\mathrm{xx}}+g_{\mathrm{yy}})+(g_{\mathrm{xx}}-g_{\mathrm{yy}})\cos 2\mathrm{\θ}+2g_{\mathrm{xy}}\sin 2\mathrm{\θ}\left]\right\}}^{1/2}---\left(a\right)$

${\mathrm{\θ}}_{\mathrm{xy}}=\frac{1}{2}\arctan \left[\frac{2g_{\mathrm{xy}}}{(g_{\mathrm{xx}}-g_{\mathrm{yy}})}\right]---\left(b\right)$

其中，F_θ(x,y)表示蓝屏图像的不透明度，θ_xy表示蓝屏图像在坐标(x,y)处最大变化率的方向，g_xx、g_yy和g_xy的计算公式如下：

$g_{\mathrm{xx}}={\left|\frac{\∂R}{\∂x}\right|}^2+{\left|\frac{\∂G}{\∂x}\right|}^2+{\left|\frac{\∂B}{\∂x}\right|}^2$

$g_{\mathrm{yy}}={\left|\frac{\∂R}{\∂y}\right|}^2+{\left|\frac{\∂G}{\∂y}\right|}^2+{\left|\frac{\∂B}{\∂y}\right|}^2---\left(c\right)$

$g_{\mathrm{xy}}=\frac{\∂R}{\∂x}\frac{\∂R}{\∂y}+\frac{\∂G}{\∂x}\frac{\∂G}{\∂y}+\frac{\∂B}{\∂x}\frac{\∂B}{\∂y}$

根据公式(b)得到F_θ(x,y)两个相隔90°的角度值，即公式(b)与两个正交方向的每个像素点相关，则对于每个像素点，取F_θ(x,y)两个正交方向的角度值，将两个角度值的最大值记为F_i；

比较每个像素点的F_i值与α_i值，取两者之间的最大值作为每个像素点边缘补充后的不透明度，即α_inew＝MAX(α_i,F_i)，所有的α_inew组成一幅边缘补充后的不透明度图像；

(2.4)、利用改进的联合双边滤波器对边缘补充后的不透明度图像进行滤波优化

将边缘补充后的不透明度图像作为噪声图像，再将蓝屏图像的结构信息传递到噪声图像中，通过改进的联合双边滤波器进行滤波处理；

${\mathrm{\α}}_{\mathrm{jb}}\left(p\right)=\frac{\underset{q\∈\mathrm{\Ω}\left(p\right)}{\mathrm{\Σ}}f(p-q)\·g(I\left(p\right)-I\left(q\right))\·\mathrm{\α}\left(q\right)}{\underset{q\∈\mathrm{\Ω}\left(p\right)}{\mathrm{\Σ}}f(p-q)\·g(I\left(p\right)-I\left(q\right))}---\left(d\right)$

其中，函数x＝p-q表示两个像素点的坐标差，指数中的表示范数，可以进行多维计算，σ_s表示高斯核宽度参数；p表示一个像素点，Ω(p)表示以p为中心的邻域窗口，q表示Ω(p)中的像素点，函数t表示颜色差，t＝I(p)-I(q)表示两个像素点在R、G、B通道的颜色差，I(p)表示输入的RGB蓝屏图像中像素点p的颜色值，α(q)表示q像素点的边缘补充后的不透明度，α_jb(p)表示p像素点在进行滤波之后的不透明度，通过对每个像素点进行滤波优化，得到最终的不透明度图像；

(2.5)、去除背景色溢出及图像合成

将最终的不透明度图像与蓝屏图像进行与操作，得到前景图像F，然后从GPU的全局内存中读取背景合成图像，再与前景图像通过合成方程C＝αF+(1-α)B合成，得到初始合成图像C，其中F代表前景图像，B代表背景合成图像，α代表最终的不透明度图像；

将初始合成图像C中的每个像素点在H通道的颜色值与背景色的颜色值进行比较，如果它们的差异值小于1，即需要抑制背景色溢出，则通过式(e)来降低像素点的饱和度，

f(h_pixel)＝A×sin(2π×(h_key+(0.25-h_pixel)))-(A-1.5) (e)

其中，f(h_pixel)为饱和度的降低程度，h_key表示图像中背景色的颜色值，h_pixel表示像素点的颜色值，A为常数；

如果像素点H通道的颜色值与背景色的颜色值的差异大于或等于1，则像素点的饱和度保持不变；

通过对初始合成图像C中每一个像素点进行处理，得到最终合成图像，再将最终合成图像回传到CPU中缓存；

当第一帧图像处理完成后，按照步骤(2.1)～(2.5)处理继续处理第二帧图像，直到所有的视频帧图像处理完成后，通过视频输入、输出接口将合成的图像利用显示设备显示；

(3)、内存释放

当图像显示结束后释放CPU和GPU上分配的内存空间。

本发明的发明目的是这样实现的：

本发明一种蓝屏抠图方法，先将视频传递到GPU中，通过在GPU中对视频帧进行蓝屏抠图处理，这样提高了抠图的速率。具体的讲，先对视频帧提取背景色，根据背景色，利用色差抠图技术对蓝屏图像进行不透明度处理，再经过二值化处理后得到初始不透明度图像，然后利用彩色图像的梯度信息和改进的联合双边滤波器对初始不透明度进行优化得到最终不透明度图像，最后对最终不透明度图像进行背景色溢出去除后回传到CPU客户端，通过显示设备显示。这样在整个处理过程中大大减少了人工交互和参数的调整。

同时，本发明蓝屏抠图方法还具有以下有益效果：

(1)、本发明中所有的蓝屏抠图处理均放置GPU中处理，这样使整个蓝屏抠图流程的速度加快；

(2)、本发明中的所有参数基本为固定值，不需要人为调节，这样减少了人工交互，是一种全自动的蓝屏视频抠图方法；

(3)、本发明利用了彩色图像的梯度信息和改进的联合双边滤波器对初始不透明度进行优化，这样使抠图效果更好，还适用于半透明物体或细小毛发均等要求较高的场合；

(4)、传统的联合双边滤波器是将无噪声的flash图像的结构信息准确地传 递到带噪声的no-flash图像中，实现了no-flash图像的高效去噪；受此启发本发明是将存在锯齿效应的不透明度图像作为噪声图像，通过联合双边滤波将输入的蓝屏图像结构信息传递给不透明度图像，这样克服了传统的联合双边滤波器仅处理两幅三通道的彩色图像的局限，变成处理一幅三通道的彩色图像和一幅灰度图像，从而达到优化不透明度图像的目的。

附图说明

图1是本发明蓝屏抠图方法的流程图；

图2是视频帧在H通道的颜色直方图；

图3是获取蓝屏图像的初始不透明度；

图4是初始不透明度图像进行边缘补充前、后对比图；

图5是边缘补充后的不透明度图像进行滤波优化前、后对比图；

图6是去除背景色溢出后的合成图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明蓝屏抠图方法的流程图。

在本实施例中，以OpenCV作为视频的输入、输出接口，如图1所示，本发明一种蓝屏抠图方法，包括以下步骤：

S1、传递视频到GPU

对GPU进行初始化；CPU端通过OpenCV向GPU端申请纹理内存、常量内存和全局内存；

CPU端申请内存成功后，再次通过OpenCV将视频帧传递到纹理内存，将视频的参数向量传递到常量内存，同时将选取的一幅背景合成图像传递到全局内存，其中，参数向量包括包括视频的分辨率，帧数，帧率等；

S2、GPU的并行计算线程块对视频进行处理

从纹理内存中读取视频帧，从常量内存中读取视频的参数向量到GPU的并行计算线程块，在GPU的并行计算线程块中分别对所有视频帧进行处理；

S2.1、提取背景色

将视频的第一帧图像作为蓝屏图像，再读取视频的参数向量得到蓝屏图像的结构信息，其结构信息包括蓝屏图像长度、宽度以及像素点的个数；将视频的第一帧图像从RGB颜色空间转换到转换到HLS颜色空间，对HLS颜色空间中H通道的图像颜色进行颜色直方图统计，将颜色直方图中出现频率最大的颜色作为背景色；本实施例中，背景色的选取一般为蓝、红、绿三种颜色，如图2所示，颜色直方图中出现频率最大的颜色为蓝色，即将蓝色作为背景色；

S2.2、获取蓝屏图像的初始不透明度

本实施例中，如图3所示，参照步骤S2.1得到的背景色蓝色，利用色差抠图技术对图3(a)蓝屏图像的每个像素点进行不透明度处理，即通过公式可表示为α′_i＝I_iB-MAX(I_iR,I_iG)，得到α′_i，其中，i＝1,2,…,n，n表示蓝屏图像中像素点的个数，I_iB、I_iR、I_iG分别表示像素点在B、R、G通道对应的颜色值，所有的α′_i组成一幅Trimap图，如图3(b)所示，再对Trimap图中的每个像素点进行二值化处理，得到每个像素点的初始不透明度α_i，所有的α_i组成一幅初始不透明度图像，如图3(c)所示；

本实施例中，在进行二值化处理时，将阈值M设置为0.5，当像素点的不透明度大于或等于阀值0.5时，将不透明度值设为0，即为背景，当像素点的不透明度小于0.5，将不透明度值设为1，即前景；

S2.3、利用蓝屏图像的梯度信息对初始不透明度图像进行边缘补充

本实施例中，如图3(c)所示，蓝屏图像的二值化处理导致了边缘细节的严重丢失，为了恢复蓝屏图像的边缘信息，需要对初始不透明度进行边缘修复，因此，引入了蓝屏图像的梯度信息对初始不透明度图像进行边缘补充；

设任意RGB空间的蓝屏图像的梯度信息为：

$F_{\mathrm{\θ}}(x,y)={\left\{\frac{1}{2}\right[(g_{\mathrm{xx}}+g_{\mathrm{yy}})+(g_{\mathrm{xx}}-g_{\mathrm{yy}})\cos 2\mathrm{\θ}+2g_{\mathrm{xy}}\sin 2\mathrm{\θ}\left]\right\}}^{1/2}---\left(a\right)$

${\mathrm{\θ}}_{\mathrm{xy}}=\frac{1}{2}\arctan \left[\frac{2g_{\mathrm{xy}}}{(g_{\mathrm{xx}}-g_{\mathrm{yy}})}\right]---\left(b\right)$

其中，F_θ(x,y)表示蓝屏图像的不透明度，θ_xy表示蓝屏图像在坐标(x,y)处最大变化率的方向，g_xx、g_yy和g_xy的计算公式如下：

$g_{\mathrm{xx}}={\left|\frac{\∂R}{\∂x}\right|}^2+{\left|\frac{\∂G}{\∂x}\right|}^2+{\left|\frac{\∂B}{\∂x}\right|}^2$

$g_{\mathrm{yy}}={\left|\frac{\∂R}{\∂y}\right|}^2+{\left|\frac{\∂G}{\∂y}\right|}^2+{\left|\frac{\∂B}{\∂y}\right|}^2---\left(c\right)$

$g_{\mathrm{xy}}=\frac{\∂R}{\∂x}\frac{\∂R}{\∂y}+\frac{\∂G}{\∂x}\frac{\∂G}{\∂y}+\frac{\∂B}{\∂x}\frac{\∂B}{\∂y}$

根据公式(a)可知：F_θ(x,y)＝F_θ+π(x,y)，所以F仅需在半开区间[0,π)上计算θ的值，此外，由于tan(α)＝tan(α±π)，所以如果θ₀是公式(b)的一个解，那么θ₀±π/2也会是该方程的一个解。根据公式(b)得到F_θ(x,y)两个相隔90°的角度值，即公式(b)与两个正交方向的每个像素点相关，这就意味着，在这两个正交方向中，其中之一方向的F值最大，而另一个方向的F值最小，则对于每个像素点，取F_θ(x,y)两个正交方向的角度值，将两个角度值的最大值记为F_i；

比较每个像素点的F_i值与α_i值，取两者之间的最大值作为每个像素点边缘补充后的不透明度，即α_inew＝MAX(α_i,F_i)，所有的α_inew组成一幅边缘补充后的不透明度图像；

本实施例中，图4(a)是输入的蓝屏图像，图4(b)是蓝屏图像经过色差抠图和二值化处理后的初始不透明度图像，图4(c)是经过边缘补充后的不透明度图像，从图中可以看出，经过边缘补充后，不透明度的边缘更加平滑，细节信息更丰富；

S2.4、利用改进的联合双边滤波器对边缘补充后的不透明度图像进行滤波优化

本实施例中，如图4(c)所示，边缘补充使得初始不透明度图像的边缘信息得到了恢复，但由于二值化处理造成的锯齿现象并没有得到消除，因此我们又对边缘补充后的不透明度图像进行滤波优化；

将图5(b)边缘补充后的不透明度图像作为噪声图像，再将图5(a)蓝屏图像的结构信息传递到噪声图像中，通过改进的联合双边滤波器进行滤波处理；

${\mathrm{\α}}_{\mathrm{jb}}\left(p\right)=\frac{\underset{q\∈\mathrm{\Ω}\left(p\right)}{\mathrm{\Σ}}f(p-q)\·g(I\left(p\right)-I\left(q\right))\·\mathrm{\α}\left(q\right)}{\underset{q\∈\mathrm{\Ω}\left(p\right)}{\mathrm{\Σ}}f(p-q)\·g(I\left(p\right)-I\left(q\right))}---\left(d\right)$

其中，函数x＝p-q表示两个像素点的坐标差，指数中的表示范数，可以进行多维计算，σ_s表示高斯核宽度参数；p表示一个像素点，Ω(p)表示以p为中心的邻域窗口，q表示Ω(p)中的像素点，函数t表示颜色差，t＝I(p)-I(q)表示两个像素点在R、G、B通道的颜色差，α(q)表示q像素点的边缘补充后的不透明度，α_jb(p)表示p像素点在进行滤波之后的不透明度，通过对每个像素点进行滤波优化，得到最终的不透明度图像，如图5(c)所示，从图中可以看出，经过改进的联合双边滤波器滤波之后，不仅将蓝屏图像的结构信息传递到了噪声图像中，而且进行了保边平滑，使二值化处理过程中形成的边缘锯齿消除了；

S2.5、去除背景色溢出及图像合成

将最终的不透明度图像与蓝屏图像进行与操作，得到前景图像F，然后从GPU的全局内存中读取背景合成图像，再与前景图像通过合成方程C＝αF+(1-α)B合成，得到初始合成图像C，其中F代表前景图像，B代表背景合成图像，α代表最终的不透明度图像；本实施例中，初始合成图像如图6所示；

将初始合成图像中的每个像素点在H通道的颜色值与背景色的颜色值进行比较，如果它们的差异值小于1，即需要抑制抑制背景色的溢出，则通过式(e)来降低像素点的饱和度，

f(h_pixel)＝A×sin(2π×(h_key+(0.25-h_pixel)))-(A-1.5) (e)

其中，f(h_pixel)为饱和度的降低程度，h_key表示背景色的颜色值，h_pixel表示像素点的颜色值，A为常数；在本实施例中，A的取值为3，当f(h_pixel)＜0时，取f(h_pixel)＝0，当f(h_pixel)＞1时，取f(h_pixel)＝1；

如果像素点H通道的颜色值与背景色的颜色值的差异大于或等于1，则像素点的饱和度保持不变；

通过对初始合成图像C中每一个像素点进行处理，得到最终合成图像，如图6所示，再将最终合成图像回传到CPU中缓存；

当第一帧图像处理完成后，按照步骤S2.1～S2.5处理继续处理第二帧图像，直到所有的视频帧图像处理完成后，通过视频输入、输出接口将合成的图像利用显示设备显示；

S3、内存释放

当视频显示结束后释放CPU和GPU上分配的内存空间。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种蓝屏抠图方法，其特征在于，包括以下步骤：

(1)、传递视频到GPU

对GPU进行初始化；在CPU端通过视频输入、输出接口向GPU端申请纹理内存、常量内存和全局内存；

CPU端申请内存成功后，再次通过视频输入、输出接口将视频帧传递到纹理内存，将视频的参数向量传递到常量内存，同时将选取的一幅背景合成图像传递到全局内存；

(2)、GPU的并行计算线程块对视频进行处理

从纹理内存中读取视频帧，从常量内存中读取视频的参数向量到GPU的并行计算线程块，在GPU的并行计算线程块中分别对所有视频帧进行处理；

(2.1)、提取背景色

将视频的第一帧图像作为蓝屏图像，再读取视频的参数向量得到蓝屏图像的结构信息；

将视频的第一帧图像从RGB颜色空间转换到转换到HLS颜色空间，对HLS颜色空间中H通道的图像颜色进行颜色直方图统计，将颜色直方图中出现频率最大的颜色作为背景色；

(2.2)、获取蓝屏图像的初始不透明度

参照步骤(2.1)得到的背景色，利用色差抠图技术对蓝屏图像的每个像素点进行不透明度处理，即通过公式α′_i＝I_ikey-MAX(I_i,I'_i)，得到α_i'，其中，i＝1,2,…,n，n表示蓝屏图像中像素点的个数，I_ikey表示像素点在BRG空间内与背景色相同的通道颜色值，I_i，I'_i分别表示像素点在BRG空间内另外两个通道颜色值，所有的α′_i组成一幅Trimap图，再对Trimap图中的每个像素点进行二值化处理，得到每个点的初始不透明度α_i，所有的α_i组成一幅初始不透明度图像；

(2.3)、利用蓝屏图像的梯度信息对初始不透明度图像进行边缘补充

在RGB空间的蓝屏图像的梯度信息为：

$F_{\mathrm{\θ}}(x,y)={\{\frac{1}{2}\[(g_{xx}+g_{yy})+(g_{xx}-g_{yy})cos2{\mathrm{\θ}}_{xy}+2g_{xy}sin2{\mathrm{\θ}}_{xy}\]\}}^{1/2}---\left(a\right)$

${\mathrm{\θ}}_{xy}=\frac{1}{2}arctan\[\frac{2g_{xy}}{(g_{xx}-g_{yy})}\]---\left(b\right)$

其中，F_θ(x,y)表示蓝屏图像的不透明度，θ_xy表示蓝屏图像在坐标(x,y)处最大变化率的方向，g_xx、g_yy和g_xy的计算公式如下：

$\begin{array}{c}{g}_{xx}=|\frac{\∂R}{\∂x}{|}^2+|\frac{\∂G}{\∂x}{|}^2+|\frac{\∂B}{\∂x}{|}^2\\ g_{yy}=|\frac{\∂R}{\∂y}{|}^2+|\frac{\∂G}{\∂y}{|}^2+|\frac{\∂B}{\∂y}{|}^2\\ g_{xy}=\frac{\∂R}{\∂x}\frac{\∂R}{\∂y}+\frac{\∂G}{\∂x}\frac{\∂G}{\∂y}+\frac{\∂B}{\∂x}\frac{\∂B}{\∂y}\end{array}---\left(c\right)$

根据公式(b)得到F_θ(x,y)两个相隔90°的角度值，即公式(b)与两个正交方向的每个像素点相关，则对于每个像素点，取F_θ(x,y)两个正交方向的角度值，将两个角度值的最大值记为F_i；

比较每个像素点的F_i值与α_i值，取两者之间的最大值作为每个像素点边缘补充后的不透明度，即α_inew＝MAX(α_i,F_i)，所有的α_inew组成一幅边缘补充后的不透明度图像；

(2.4)、利用改进的联合双边滤波器对边缘补充后的不透明度图像进行滤波优化

将边缘补充后的不透明度图像作为噪声图像，再将蓝屏图像的结构信息传递到噪声图像中，通过改进的联合双边滤波器进行滤波处理；

${\mathrm{\α}}_{jb}\left(p\right)=\frac{\underset{q\∈\mathrm{\Ω}\left(p\right)}{\mathrm{\Σ}}f(p-q)\·g\left(I\right(p)-I(q\left)\right)\·\mathrm{\α}\left(q\right)}{\underset{q\∈\mathrm{\Ω}\left(p\right)}{\mathrm{\Σ}}f(p-q)\·g\left(I\right(p)-I(q\left)\right)}---\left(d\right)$

其中，函数x＝p-q表示两个像素点的坐标差，指数中的表示范数，σ_S表示高斯核宽度参数；p表示一个像素点，Ω(p)表示以p为中心的邻域窗口，q表示Ω(p)中的像素点，函数t表示颜色差，t＝I(p)-I(q)表示两个像素点在R、G、B通道的颜色差，I(p)表示输入的RGB蓝屏图像中像素点p的颜色值，α(q)表示q像素点的边缘补充后的不透明度，α_jb(p)表示p像素点在进行滤波之后的不透明度，通过对每个像素点进行滤波优化，得到最终的不透明度图像；

(2.5)、去除背景色溢出及图像合成

将最终的不透明度图像与蓝屏图像进行与操作，得到前景图像F，然后从GPU的全局内存中读取背景合成图像，再与前景图像通过合成方程

C＝αF+(1-α)B合成，得到初始合成图像C，其中F代表前景图像，B代表背景合成图像，α代表最终的不透明度图像；

将初始合成图像C中的每个像素点在H通道的颜色值与背景色的颜色值进行比较，如果它们的差异值小于1，即需要抑制背景色溢出，则通过式(e)来降低像素点的饱和度，

f(h_pixel)＝A×sin(2π×(h_key+(0.25-h_pixel)))-(A-1.5) (e)

其中，f(h_pixel)为饱和度的降低程度，h_key表示图像中背景色的颜色值，h_pixel表示像素点的颜色值，A为常数；

如果像素点H通道的颜色值与背景色的颜色值的差异大于或等于1，则像素点的饱和度保持不变；

通过对初始合成图像C中每一个像素点进行处理，得到最终合成图像，再将最终合成图像回传到CPU中缓存；

当第一帧图像处理完成后，按照步骤(2.1)～(2.5)处理继续处理第二帧图像，直到所有的视频帧图像处理完成后，通过视频输入、输出接口将合成的图像利用显示设备显示；

(3)、内存释放

当图像显示结束后释放CPU和GPU上分配的内存空间。

2.根据权利要求1所述的蓝屏抠图方法，其特征在于，所述的蓝屏图像结构信息包括：图像长度、宽度以及像素点的个数。

3.根据权利要求1所述的蓝屏抠图方法，其特征在于，所述的二值化处理为：设阈值M，当像素点的不透明度大于或等于阈值M时，将不透明度值设为0，即为背景，当像素点的不透明度小于阈值M时，将不透明度值设为1，即前景。