CN104954715A - 基于gpu加速的异形屏幕多投影拼接融合视频播放的方法 - Google Patents

Abstract

本发明公开了一种基于GPU加速的异形屏幕多投影拼接融合视频播放的方法，包括步骤(1)：设置至少两个投影仪，根据投影仪的个数生成控制网格，在异形屏幕上调整控制网格；步骤(2)：读取视频文件；步骤(3)：读取视频文件的一帧图像为源图像；调整控制网格对源图像进行几何校正，得到目标图像，并求取源图像与目标图像中像素点的映射矩阵；步骤(4)：读取视频文件下一帧图像；步骤(5)：生成中间图像；步骤(6)：用GPU加速对中间图像进行亮度处理和图像拼接融合；步骤(7)：获得拼接融合后图像对应的目标图像；步骤(8)：在异形屏幕上投影拼接融合后图像对应的目标图像；步骤(9)：重复步骤(4)～步骤(8)，直到视频播放完成。

Description

基于GPU加速的异形屏幕多投影拼接融合视频播放的方法

技术领域

本发明属于投影控制领域，尤其涉及一种基于GPU加速的异形屏幕多投影拼接融合视频播放的方法。

背景技术

大型异形屏幕投影能够增强用户的沉浸感，带来更好的体验，在虚拟现实、教育、娱乐、仿真训练等领域应用广泛。在实际应用中有各种各样的投影屏幕，即使对于一个特定的应用场景，其各项参数如投影仪的位置、屏幕形状也会随着时间的推移发生变化，所以希望投影***要易于搭建和维护，而实际中的操作往往比较复杂。

在用多个投影仪进行拼接时，使用硬边拼接，即让两个投影仪的画面简单的靠在一起，存在的问题为：通常会有明显的分割线；使用重叠时，如果不对图像的亮度加以处理，重叠区域的亮度会较高，影响视觉效果，所以要使用亮度融合。

对于视频播放，基于投影屏幕的形状，需要对要投影视频中的每一帧进行校正后再投出，由于图像处理比较费时，很多应用是将视频在线下预处理后再播放，如果场景转换则需要重新对视频进行预处理，这样转换场景后就需要等待一段比较长的时间才能观看，而且每个场景都要保存相应的一个视频文件。

发明内容

为了解决现有技术的缺点，本发明提供一种基于GPU加速的异形屏幕多投影拼接融合视频播放的方法，该方法实现了多投影仪在异形屏幕上投影拼接，在投影仪和屏幕位置不变的情况下，实时对视频进行校正播放，省去对视频进行预处理的工序。

为实现上述目的，本发明采用以下技术方案：

一种基于GPU加速的异形屏幕多投影拼接融合视频播放的方法，包括：

步骤(1)：设置至少两个投影仪，根据投影仪的个数生成控制网格，在异形屏幕上调整控制网格，每一组控制网格对应一个投影仪；

步骤(2)：读取视频文件，获取视频文件属性；读取视频文件的一帧图像作为源图像；调整控制网格对源图像进行几何校正，得到的校正后图像作为目标图像，并求取源图像与目标图像中像素点的映射矩阵；

步骤(3)：读取视频文件的下一帧图像；根据相邻投影仪的重叠区域所占整个投影仪帧缓冲区域大小的比例，生成一幅中间图像；

步骤(4)：采用GPU加速的方法对中间图像进行亮度处理和图像拼接融合；根据源图像与目标图像中像素点的映射矩阵和GPU加速的方法对拼接融合后的图像进行几何校正，获得拼接融合后图像对应的目标图像；

步骤(5)：在异形屏幕上投影拼接融合后图像对应的目标图像；

步骤(6)：重复步骤(3)～步骤(5)，直到视频播放完成。

所述步骤(1)中的调整控制网格的具体过程为：

将生成控制网格全屏显示在异形屏幕上，然后对控制网格进行增加或减少一组控制网格、增减网格线的条数或移动控制点操作，使得投影在屏幕上的控制网格不变形，且不同投影仪的网格线对齐。

所述步骤(1)中的视频文件属性，包括：视频帧率、每一帧的大小和视频总时长。

所述步骤(2)中求取源图像与目标图像中像素点的映射矩阵的具体过程为：

步骤(2.1)：定义源图像与目标图像的映射矩阵为二维矩阵M_x和M_y，二维矩阵M_x和M_y均与目标图像的大小相同；

步骤(2.2)：源图像中的任一像素点(i,j)，通过调整控制网格的方法获取目标图像对应像素(i',j')，并在M_x中保存i'，在M_y中保存j'；其中，i和j表示整数变量。

所述步骤(3)中生成中间图像的具体过程为：

假设有N个投影仪，校正后相邻两个投影仪的重叠区域为单个投影区域的那么首先将源图像在水平方向等分为N(m-1)+1份，每一份的宽度为d，将它们编号为0,1,...,N(m-1)；生成一幅高与源图像相同且宽为d×m×N的中间图像，将中间图像等分为m×N份；

将源图像中编号为k(m-1)，k(m-1)+1，…(k+1)(m-1)的区域叠加到中间图像中编号为km，km+1，…(k+1)m-1的区域，每个重叠区域分别由两个投影仪投出；其中，N表示大于等于2的整数；m表示大于等于2的整数；d表示常数；k表示从0到N的任一整数。

所述步骤(4)中对拼接融合后的图像进行几何校正的具体过程，包括：

步骤(4.1)：确定图像重叠区域的渐变因子；

步骤(4.2)：采用GPU加速的方法获取图像重叠区域的每个像素，将获取图像重叠区域的每个像素的RGB值都乘上其各自对应的渐变因子后，得到新的值替换原来的像素值。

所述步骤(4.1)中，若图像重叠区域的亮度不变，则不存在重叠区域，渐变因子为1；否则，存在重叠区域，图像重叠区域的渐变因子包括右图像重叠区域渐变因子和左图像重叠区域渐变因子。

所述右图像重叠区域渐变因子的表达式为：

$f\left(x\right)=\left\{\begin{array}{c}\mathrm{\&omega;}{\left(2x\right)}^{\mathrm{\&upsi;}},0<x<0.5\\ 1-(1-\mathrm{\&omega;}){(2-2x)}^{\mathrm{\&upsi;}+2},0.5\&le;x\&le;1\end{array}\right.$

所述左图像重叠区域渐变因子的表达式为：

$f\left(x\right)=\left\{\begin{array}{c}1-(1-\mathrm{\&omega;}){\left(2x\right)}^{\mathrm{\&upsi;}+2},0<x<0.5\\ \mathrm{\&omega;}{(2-2x)}^{\mathrm{\&upsi;}},0.5\&le;x\&le;1\end{array}\right.$

其中，ω＝0.7,υ＝2.5，x表示左图像或右图像中当前列在重叠区域列号与单个重叠区域的总列数之比。

所述步骤(4.2)中GPU加速的方法的具体过程为：

在GPU核函数中，首先获取线程号，计算出该线程所对应的像素点(i,j)以及像素点(i,j)所对应的渐变因子，将像素点(i,j)所对应的渐变因子与像素点(i,j)的RGB值相乘，作为像素点(i,j)最终的像素值。

所述步骤(1)和步骤(5)中的异形屏幕包括弧形屏幕、环形屏幕和球形屏幕。

本发明的有益效果为：

(1)本发明在异型屏幕多个投影仪进行拼接时，采用GPU加速的方法对中间图像进行亮度处理和图像拼接融合，降低了两个图像之间的分割线，而且对两个重叠图像进行亮度融合，增强了视觉效果；

(2)本发明采用拼接融合和调整控制网格的方法改善了视频播放对图像校正的效率以及场景转换的特殊需求，实现在异形屏幕上的视频实时校正播放；

(3)本发明的该方法成本低，操作简单，易于搭建和维护。

附图说明

图1(a)是原始控制网格对应控制点示意图；

图1(b)是调整后的控制对应控制点示意图；

图2(a)是原始控制网格对应像素点示意图；

图2(b)是调整后的控制对应像素点示意图；

图3是控制网格调整流程图；

图4(a)是原始控制网格图像；

图4(b)是调整后的控制网格图像；

图5(a)是未校正的图像；

图5(b)是投影拼接校正结果；

图6是视频播放流程图。

具体实施方式

下面结合附图与实施例对本发明做进一步说明：

本程序以Windows 7中的Visual Studio 2010为开发平台，其具体实施方式如下：

本发明通过显卡或分线器将多台投影仪连接到同一台计算机上，将投影仪随意摆放，但是要使得相邻投影仪的投影区域有一定的重叠，将多个显示器设置为扩展模式，设置好投影仪的投影区域。

本发明的基于GPU加速的异形屏幕多投影拼接融合视频播放的方法，通过手动调整控制网格，快速完成多投影仪拼接校正，通过使用GPU加速实现视频实时处理播放的***。

本发明的***包括：

投影仪(2个及以上)：投影图像；

弧形幕布：显示投影仪所投图像；

异型屏幕投影拼接***：生成控制网格，接收人工调整，对图像进行处理并显示，实时处理播放视频。

本发明中的图像拼接为手动拼接，其原理是：

通过投影仪把控制网格投影到屏幕上，网格线的交点称为控制点，对控制点进行调整，在屏幕上确定一个理想的目标投影区域，对图像进行校正使其填充在这个区域中，也就达到了我们想要的效果。有几个投影仪就有几组控制网格，一组控制网格只能由一个投影仪投出，各组控制网格之间相互独立。在屏幕上，相邻投影仪重叠区域对应的网格线、控制点要对齐。

首先手动调整控制点，使网格投影图像在屏幕上达到理想的视觉效果，各个小网格的大小和分布均匀，重叠区域的网格线和控制点对齐，可以将调整好的控制网格保存起来。只要将一幅图像进行与控制网格同样的变形通过同一位置的同一投影仪投出，便可以得到未变形的投影图像。

以下是进行图像校正的过程：

对于某个投影仪对应的源图像区域I_s，假设其对应的控制网格有u行v列，我们把校正后的图像称为目标图像，生成一幅大小与网格图像相同的全黑图像作为目标图像，这个投影仪对应目标图像的区域为I_d，将源图像区域I_s均匀划分为(u-1)行，(v-1)列，图像中的角点按照行列顺序与控制点是一一对应的，这样就得到了这些角点在目标图像中的位置，即得到了源图像与目标图像中一部分点的对应关系。这些点处的像素可以很容易地找到原始像素，而对于其他的像素点要通过插值计算出对应的原始像素：

假设I_s上有原始的控制网格C₀，I_d上有调整后的控制网格C₁：

对于I_d中的每一个像素P₁(x₁,y₁)，根据C₁，判断其是否位于控制网格内部，如果在外部则此像素置为黑色。如果在网格内部，则找到这个像素是在由哪四个控制点A₁,B₁,C₁,D₁构成的四边形内，据此可以找到C₀中对应的四个点A,B,C,D，如图1(a)和图1(b)所示。

进一步地，找到所在的三角形，为了求得P₁的颜色值，需要找到源图像I_s中的对应点P。如图2(a)和图2(b)所示，控制点A,B,C,D及A₁,B₁,C₁,D₁的坐标都可以得到，所以根据狄洛尼三角插值：

$\frac{S_{\mathrm{\&Delta;}ABP}}{S_{\mathrm{\&Delta;}ABC}}=\frac{S_{{\mathrm{\&Delta;A}}_1{B}_1{P}_1}}{S_{{\mathrm{\&Delta;A}}_1{B}_1{C}_1}},\frac{S_{\mathrm{\&Delta;}BCP}}{S_{\mathrm{\&Delta;}ABC}}=\frac{S_{{\mathrm{\&Delta;B}}_1{C}_1{P}_1}}{S_{{\mathrm{\&Delta;A}}_1{B}_1{C}_1}},\frac{S_{\mathrm{\&Delta;}CAP}}{S_{\mathrm{\&Delta;}ABC}}=\frac{S_{{\mathrm{\&Delta;C}}_1{A}_1{P}_1}}{S_{{\mathrm{\&Delta;A}}_1{B}_1{C}_1}},$

用三个顶点的坐标表示三角形的面积，例如：

可以解得：

$\begin{array}{c}x=\frac{(S_{{\mathrm{\&Delta;B}}_1{C}_1{P}_1}k+x_b{y}_c-y_b{x}_c)(x_a-x_b)-(S_{{\mathrm{\&Delta;A}}_1{B}_1{P}_1}k+x_a{y}_a-y_a{x}_b)(x_b-x_c)}{S_{\mathrm{\&Delta;}ABC}},\\ y=\frac{(S_{{\mathrm{\&Delta;B}}_1{C}_1{P}_1}k+x_b{y}_c-y_b{x}_c)(y_a-y_b)-(S_{{\mathrm{\&Delta;A}}_1{B}_1{P}_1}k+x_a{y}_a-y_a{x}_b)(y_c-y_b)}{S_{\mathrm{\&Delta;}ABC}},\end{array}$

其中 $k=\frac{S_{\mathrm{\&Delta;}ABC}}{S_{{\mathrm{\&Delta;A}}_1{B}_1{C}_1}}.$

由此计算出P点的近似坐标，根据图像的属性，相邻像素点的颜色值有极大可能性是相同的，用此近似坐标作为P的坐标。然后将点(x,y)的像素值赋给P₁，这样就完成了目标图像的生成。

图3是控制网格调整流程图。以下对图中各个步骤作详细说明：

步骤1：生成新的控制网格或加载之前保存的控制网格；

步骤2：将控制网格全屏显示；

步骤3：调整控制网格。包括增加或减少一组控制网格，增减网格线的条数，移动控制点，恢复到初始状态等；图4(a)为原始控制网格，图4(b)为调整后的控制网格；

步骤4：保存控制网格。

如图6所示，一种基于GPU加速的异形屏幕多投影拼接融合视频播放的方法，包括：

步骤(1)：设置至少两个投影仪，根据投影仪的个数生成控制网格，在异形屏幕上调整控制网格，每一组控制网格对应一个投影仪；

步骤(2)：读取视频文件，获取视频文件属性；读取视频文件的一帧图像作为源图像；调整控制网格对源图像进行几何校正，得到的校正后图像作为目标图像，并求取源图像与目标图像中像素点的映射矩阵；

步骤(3)：读取视频文件的下一帧图像；根据相邻投影仪的重叠区域所占整个投影仪帧缓冲区域大小的比例，生成一幅中间图像；

步骤(4)：采用GPU加速的方法对中间图像进行亮度处理和图像拼接融合；根据源图像与目标图像中像素点的映射矩阵和GPU加速的方法对拼接融合后的图像进行几何校正，获得拼接融合后图像对应的目标图像；

步骤(5)：在异形屏幕上投影拼接融合后图像对应的目标图像；

步骤(6)：重复步骤(3)～步骤(5)，直到视频播放完成。

步骤(1)中的调整控制网格的具体过程为：

将生成控制网格全屏显示在异形屏幕上，然后对控制网格进行增加或减少一组控制网格、增减网格线的条数或移动控制点操作，使得投影在屏幕上的控制网格不变形，且不同投影仪的网格线对齐。

步骤(1)中的视频文件属性，包括：视频帧率、每一帧的大小和视频总时长。

步骤(2)中求取源图像与目标图像中像素点的映射矩阵的具体过程为：

步骤(2.1)：定义源图像与目标图像的映射矩阵为二维矩阵M_x和M_y，二维矩阵M_x和M_y均与目标图像的大小相同；

步骤(2.2)：源图像中的任一像素点(i,j)，通过调整控制网格的方法获取目标图像对应像素(i',j')，并在M_x中保存i'，在M_y中保存j'；其中，i和j表示整数变量。

步骤(3)中生成中间图像的具体过程为：

假设有N个投影仪，校正后相邻两个投影仪的重叠区域为单个投影区域的那么首先将源图像在水平方向等分为N(m-1)+1份，每一份的宽度为d，将它们编号为0,1,...,N(m-1)；生成一幅高与源图像相同且宽为d×m×N的中间图像，将中间图像等分为m×N份；

将源图像中编号为k(m-1)，k(m-1)+1，…(k+1)(m-1)的区域叠加到中间图像中编号为km，km+1，…(k+1)m-1的区域，每个重叠区域分别由两个投影仪投出；其中，N表示大于等于2的整数；m表示大于等于2的整数；d表示常数；k表示从0到N的任一整数。

步骤(4)中对拼接融合后的图像进行几何校正的具体过程，包括：

步骤(4.1)：确定图像重叠区域的渐变因子；

步骤(4.2)：采用GPU加速的方法获取图像重叠区域的每个像素，将获取图像重叠区域的每个像素的RGB值都乘上其各自对应的渐变因子后，得到新的值替换原来的像素值。

步骤(4.1)中，若图像重叠区域的亮度不变，则不存在重叠区域，渐变因子为1；否则，存在重叠区域，图像重叠区域的渐变因子包括右图像重叠区域渐变因子和左图像重叠区域渐变因子。

右图像重叠区域渐变因子的表达式为：

$f\left(x\right)=\left\{\begin{array}{c}\mathrm{\&omega;}{\left(2x\right)}^{\mathrm{\&upsi;}},0<x<0.5\\ 1-(1-\mathrm{\&omega;}){(2-2x)}^{\mathrm{\&upsi;}+2},0.5\&le;x\&le;1\end{array}\right.$

左图像重叠区域渐变因子的表达式为：

$f\left(x\right)=\left\{\begin{array}{c}1-(1-\mathrm{\&omega;}){\left(2x\right)}^{\mathrm{\&upsi;}+2},0<x<0.5\\ \mathrm{\&omega;}{(2-2x)}^{\mathrm{\&upsi;}},0.5\&le;x\&le;1\end{array}\right.$

其中，ω＝0.7,υ＝2.5，x表示左图像或右图像中当前列在重叠区域列号与单个重叠区域的总列数之比。

步骤(4.2)中GPU加速的方法的具体过程为：

在GPU核函数中，首先获取线程号，计算出该线程所对应的像素点(i,j)以及像素点(i,j)所对应的渐变因子，将像素点(i,j)所对应的渐变因子与像素点(i,j)的RGB值相乘，作为像素点(i,j)最终的像素值。

步骤(1)和步骤(5)中的异形屏幕包括弧形屏幕、环形屏幕和球形屏幕。

本发明的基于GPU加速的异形屏幕多投影拼接融合视频播放的方法的展示结果，如图5(b)所示，通过与校正前的图像图5(a)，可看出：校正前的图像重叠区域亮度较大，校正后的图像重叠区域的亮度与其他区域一致；校正前的图像两个投影仪所投的图像没有对齐，图像有几何形变，校正后的图像左右图像的纹理实现了对齐，在视觉上没有几何形变。

步骤(5)的具体实施方式为：将Mat类型的目标图像转换为CImage类型的目标图像以便在对话框中显示，在转换的时候用memcpy函数快速完成，然后使用MFC的draw函数显示出来。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于GPU加速的异形屏幕多投影拼接融合视频播放的方法，其特征在于，包括：

步骤(1)：设置至少两个投影仪，根据投影仪的个数生成控制网格，在异形屏幕上调整控制网格，每一组控制网格对应一个投影仪；

步骤(2)：读取视频文件，获取视频文件属性；读取视频文件的一帧图像作为源图像；调整控制网格对源图像进行几何校正，得到的校正后图像作为目标图像，并求取源图像与目标图像中像素点的映射矩阵；

步骤(3)：读取视频文件的下一帧图像；根据相邻投影仪的重叠区域所占整个投影仪帧缓冲区域大小的比例，生成一幅中间图像；

步骤(4)：采用GPU加速的方法对中间图像进行亮度处理和图像拼接融合；根据源图像与目标图像中像素点的映射矩阵和GPU加速的方法对拼接融合后的图像进行几何校正，获得拼接融合后图像对应的目标图像；

步骤(5)：在异形屏幕上投影拼接融合后图像对应的目标图像；

步骤(6)：重复步骤(3)～步骤(5)，直到视频播放完成。

2.如权利要求1所述的一种基于GPU加速的异形屏幕多投影拼接融合视频播放的方法，其特征在于，所述步骤(1)中的调整控制网格的具体过程为：

将生成控制网格全屏显示在异形屏幕上，然后对控制网格进行增加或减少一组控制网格、增减网格线的条数或移动控制点操作，使得投影在屏幕上的控制网格不变形，且不同投影仪的网格线对齐。

3.如权利要求1所述的一种基于GPU加速的异形屏幕多投影拼接融合视频播放的方法，其特征在于，所述步骤(1)中的视频文件属性，包括：视频帧率、每一帧的大小和视频总时长。

4.如权利要求1所述的一种基于GPU加速的异形屏幕多投影拼接融合视频播放的方法，其特征在于，所述步骤(2)中求取源图像与目标图像中像素点的映射矩阵的具体过程为：

步骤(2.1)：定义源图像与目标图像的映射矩阵为二维矩阵M_x和M_y，二维矩阵M_x和M_y均与目标图像的大小相同；

步骤(2.2)：源图像中的任一像素点(i,j)，通过调整控制网格的方法获取目标图像对应像素(i',j')，并在M_x中保存i'，在M_y中保存j'；其中，i和j表示整数变量。

5.如权利要求1所述的一种基于GPU加速的异形屏幕多投影拼接融合视频播放的方法，其特征在于，所述步骤(3)中生成中间图像的具体过程为：

假设有N个投影仪，校正后相邻两个投影仪的重叠区域为单个投影区域的那么首先将源图像在水平方向等分为N(m-1)+1份，每一份的宽度为d，将它们编号为0,1,...,N(m-1)；生成一幅高与源图像相同且宽为d×m×N的中间图像，将中间图像等分为m×N份；

将源图像中编号为k(m-1)，k(m-1)+1，…(k+1)(m-1)的区域叠加到中间图像中编号为km，km+1，…(k+1)m-1的区域，每个重叠区域分别由两个投影仪投出；其中，N表示大于等于2的整数；m表示大于等于2的整数；d表示常数；k表示从0到N的任一整数。

6.如权利要求1所述的一种基于GPU加速的异形屏幕多投影拼接融合视频播放的方法，其特征在于，所述步骤(4)中对拼接融合后的图像进行几何校正的具体过程，包括：

步骤(4.1)：确定图像重叠区域的渐变因子；

步骤(4.2)：采用GPU加速的方法获取图像重叠区域的每个像素，将获取图像重叠区域的每个像素的RGB值都乘上其各自对应的渐变因子后，得到新的值替换原来的像素值。

7.如权利要求6所述的一种基于GPU加速的异形屏幕多投影拼接融合视频播放的方法，其特征在于，所述步骤(4.1)中，若图像重叠区域的亮度不变，则不存在重叠区域，渐变因子为1；否则，存在重叠区域，图像重叠区域的渐变因子包括右图像重叠区域渐变因子和左图像重叠区域渐变因子。

8.如权利要求7所述的一种基于GPU加速的异形屏幕多投影拼接融合视频播放的方法，其特征在于，所述右图像重叠区域渐变因子的表达式为：

$f\left(x\right)=\left\{\begin{array}{c}\mathrm{\&omega;}{\left(2x\right)}^{\mathrm{\&upsi;}},0<x<0.5\\ 1-(1-\mathrm{\&omega;}){(2-2x)}^{\mathrm{\&upsi;}+2},0.5\&le;x\&le;1\end{array}\right.$

所述左图像重叠区域渐变因子的表达式为：

$f\left(x\right)=\left\{\begin{array}{c}1-(1-\mathrm{\&omega;}){\left(2x\right)}^{\mathrm{\&upsi;}+2},0<x<0.5\\ \mathrm{\&omega;}{(2-2x)}^{\mathrm{\&upsi;}},0.5\&le;x\&le;1\end{array}\right.$

其中，ω＝0.7,υ＝2.5，x表示左图像或右图像中当前列在重叠区域列号与单个重叠区域的总列数之比。

9.如权利要求6所述的一种基于GPU加速的异形屏幕多投影拼接融合视频播放的方法，其特征在于，所述步骤(4.2)中GPU加速方法的具体过程为：

在GPU核函数中，首先获取线程号，计算出该线程所对应的像素点(i,j)以及像素点(i,j)所对应的渐变因子，将像素点(i,j)所对应的渐变因子与像素点(i,j)的RGB值相乘，作为像素点(i,j)最终的像素值。

10.如权利要求1所述的一种基于GPU加速的异形屏幕多投影拼接融合视频播放的方法，其特征在于，所述步骤(1)和步骤(5)中的异形屏幕包括弧形屏幕、环形屏幕和球形屏幕。