CN104966318A - 具有图像叠加和图像特效功能的增强现实方法 - Google Patents

Abstract

本发明提出一种具有图像叠加和图像特效功能的增强现实方法，包括：对模板图像进行实时的三维跟踪，以得到摄像机位姿；根据摄像机位姿将模板图像投影到屏幕上，以得到其在屏幕上的模板图像投影区域，其中，模板图像投影区域为待叠加图像翻转后的目标位置；根据待叠加图像的原始位置和翻转后的目标位置，得到待叠加图像到屏幕上的模板图像投影区域的翻转矩阵；根据翻转矩阵对待叠加图像进行翻转；将翻转后的待叠加图像叠加到模板图像上；对屏幕图像实施选定的特效变换；将预定三维虚拟模型叠加到模板图像上，以实现对模板图像的增强现实。本发明的方法扩展了增强现实的范围，提高了增强现实的效果，且该方法灵活性高，应用性强。

Description

具有图像叠加和图像特效功能的增强现实方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种具有图像叠加和图像特效功能的增强现实方法。

背景技术

传统的增强现实应用中，对模板图像进行增强现实的方式主要是在二维模板图像上叠加一个或多个三维虚拟物体，一些增强现实应用中会在模板图像识别成功后显示一些文字，音视频信息对识别出的场景进行介绍。

图像叠加是图像处理领域的一个研究方向。其基本的工作原理是将两幅图像中的每一个像素点按照透明度叠加，即对于两幅图像中的每一个像素点，假设像素点颜色为i₁，i₂。都定义了两幅图像中该像素点的透明度α和β。一般满足条件α+β＝1。对于最终叠加图像的相应像素点，颜色值记为i，存在叠加规则：

i＝i₁×α+i₂×β   (1)

根据公式(1)，可以计算出叠加后的图像的像素值。根据透明度α和β的取值规则不同，可以得到不同的透明度叠加规则。目前一种常用的图像叠加规则是基于前景和背景叠加的透明度规则。这种图像叠加的规则如下：

对于两幅图像A，B，图像A中有一部分是有用的前景部分，剩余部分是不需要的背景部分。将A中的前景部分完全叠加到B图像上，而将A中的背景部分完全删除。最后的叠加图像中。前景部分完全使用A的像素值，背景部分完全使用B的像素值。最终效果是在B图像上覆盖了一部分A的图像。这种叠加方式也可以理解为之前叠加规则的一种特例，即对于最终图像的前景部分，使用透明度α＝1，β＝0。背景部分使用透明度α＝0，β＝1。根据这种透明度对两幅图像进行叠加。

图像特效是图像处理领域的一个研究方向，可以实现很多特别的图像效果。图像特效的基本原理如下：

假设现在有原图像M和特效图像M′，在两个图像的像素之间建立函数关系f，存在

M′(i,j)＝f(M)   (2)

其中M′(i,j)表示特效图像M′中第i列，第j行上像素的颜色值。通过公式(2)，可以从原图像中求解出特效变换后图像的每一个像素值，从而得到特效图像。不同的图像特效存在不同的变换函数，将对应的变换函数应用到公式(2)中，即可得到不同的图像特效。凸透镜变换、凹透镜变换、缩放径向模糊变换和旋转径向模糊变换是常见的四种图像特效变换。这四种变换的共同点是变换过程中要在图像上设置一个变换中点，设为C。

(1)凸透镜变换

凸透镜变换的基本原理是，对于图像上某个点D，从C点向D点引出射线，在射线上C点和D点之间找一个点D_new，用D_new的颜色值作为D点的颜色值。假设C点到D点长度为L，则C点到D_new点长度为其中R是一个指定的参数，用来控制形变的程度。所以对于变换后的图像上一点D，它的颜色值为：

$\mathrm{dst}(x,y)=\mathrm{src}(x_c+\frac{(x-x_c)\×L}{R},y_c+\frac{(y-y_c)\×L}{R})---\left(3\right)$

其中 $L=\sqrt{{(x-x_c)}^2+{(y-y_c)}^2}$

式中(x，y)分别为变换后图像的D点的坐标值，(x_c，y_c)分别为变换中心C点的坐标值，dst(x,y)为变换后图像的(x,y)点处的颜色值，src(x,y)为变换前图像的(x,y)点处的颜色值。

(2)凹透镜变换

凹透镜变换的基本原理是，对于图像上某个点D，从C点向D点引出射线，在射线上C点和D点的延长线上找一个点D_new，用D_new的颜色值作为D点的颜色值。假设C点到D点长度为L，则C点到D_new点长度为其中R是一个指定的参数，用来控制形变的程度。

所以对于变换后的图像上一点D，它的颜色值为：

$\mathrm{dst}(x,y)=\mathrm{src}(x_c+\frac{(x-x_c)\×R}{\sqrt{L}},y_c+\frac{(y-y_c)\×R}{\sqrt{L}})---\left(4\right)$

其中 $L=\sqrt{{(x-x_c)}^2+{(y-y_c)}^2}$

式中(x，y)分别为变换后图像的D点的坐标值，(x_c，y_c)分别为变换中心C点的坐标值，dst(x,y)为变换后图像的(x,y)点处的颜色值，src(x,y)为变换前图像的(x,y)点处的颜色值。

(3)缩放径向模糊变换

缩放径向模糊的基本原理是：对于图像上某个点D，从C点向D点引出射线，在射线上D点附近选取若干个点，用这若干个点的颜色平均值作为D点的颜色值。缩放径向模糊变换的示意图如图1所示。

(4)旋转径向模糊变换

缩放径向模糊的基本原理是：对于图像上某个点D，以C点为圆心，以D点为半径作圆，在圆周上D点附近选取若干个点，用这若干个点的颜色平均值作为D点的颜色值。旋转径向模糊变换的示意图如图2所示。

然而，目前还没有将图像叠加和图像特效方面的技术应用到增强现实中。因此，对如何使用图像叠加和图像特效对模板图像进行增强，得到更好的增强现实视觉效果进行研究和实现是值得研究的方向。

发明内容

本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。

为此，本发明的目的在于提出一种具有图像叠加和图像特效功能的增强现实方法，该方法扩展了增强现实的范围，提高了增强现实的效果，且该方法灵活性高，适应性强。

为了实现上述目的，本发明的实施例提出了一种具有图像叠加和图像特效功能的增强现实方法，包括以下步骤：S1：利用摄像机对模板图像进行实时的三维跟踪，以根据跟踪结果得到摄像机位姿；S2：根据所述摄像机位姿将所述模板图像投影到屏幕上，以得到所述模板图像在所述屏幕上的模板图像投影区域，其中，所述模板图像投影区域为待叠加图像翻转后的目标位置；S3：根据所述待叠加图像的原始位置和翻转后的目标位置，得到所述待叠加图像到所述屏幕上的模板图像投影区域的翻转矩阵；S4：根据所述翻转矩阵对所述待叠加图像进行翻转；S5：将翻转后的所述待叠加图像叠加到所述模板图像上；S6：对当前屏幕图像实施选定的特效变换；S7：将预定三维虚拟模型叠加到所述模板图像上，以实现对所述模板图像的增强现实。

根据本发明实施例的具有图像叠加和图像特效功能的增强现实方法，将图像叠加技术引入到增强现实中，在三维跟踪过程中不断定位模板图像在屏幕上的位置，并将待叠加图像翻转到与屏幕上的模板图像重合的位置上进行基于前景和背景的图像叠加；将图像特效技术引入到增强现实中，在当前屏幕图像上选定一个点作为变换原点，对屏幕图像实施选定的特效变换。另外，该方法也加入了传统的基于三维模型的增强现实，并且基于图像的叠加、图像特效和基于三维模型的投影可以自由组合。因此，本发明的方法将具有图像叠加和图像特效功能的增强现实和基于三维模型的增强现实融合到一起，扩展了增强现实的范围，提升了增强现实的效果，丰富了增强现实的手段，在虚实融合、虚拟现实、增强现实等方面有很重要的应用，具有灵活性高、应用性强的优点。

另外，根据本发明上述实施例的具有图像叠加和图像特效功能的增强现实方法，还可以具有如下附加的技术特征：

在一些示例中，所述步骤S1进一步包括：对所述模板图像进行实时的三维跟踪，并在跟踪过程中提取当前屏幕图像上的特征点，并与所述模板图像上的特征点进行特征匹配并消除误匹配，并求解所述当前屏幕图像和模板图像之间的单应性矩阵及当前屏幕图像帧的摄像机位姿。

在一些示例中，所述步骤S2进一步包括：所述模板图像投影区域为平面四边形，记录所述模板图像投影区域的四个顶点与所述模板图像的四个顶点的对应关系，其中，所述模板图像投影区域的四个顶点通过如下公式计算：

$\left[\begin{array}{c}{{\mathrm{wu}}^{\′}}_i\\ {{\mathrm{wv}}^{\′}}_i\\ w\end{array}\right]=H\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right],$

其中，(u_i，v_i)(i＝1,2,3,4)是所述模板图像的顶点坐标，(u′_i，v′_i)(i＝1,2,3,4)是所述模板图像投影区域对应的顶点坐标，H为所述当前屏幕图像和模板图像之间的单应性矩阵；将所述模板图像的顶点坐标(u_i，v_i)(i＝1,2,3,4)代入上述公式，得到所述模板图像投影区域的四个顶点(u′_i，v′_i)(i＝1,2,3,4)，根据得到的所述模板图像投影区域的四个顶点(u′_i，v′_i)(i＝1,2,3,4)得到屏幕上的所述模板图像投影区域。

在一些示例中，所述步骤S3进一步包括：以所述待叠加图像的左上角为原点，像素为单位长度，得到所述待叠加图像的四个顶点的坐标值，并将所述待叠加图像的四个顶点的坐标值作为所述待叠加图像的原始位置；将所述模板图像投影区域的四个顶点的坐标值作为所述待叠加图像翻转后的目标位置。

在一些示例中，根据透视变换原理计算所述待叠加图像到所述屏幕上的模板图像投影区域的翻转矩阵，具体包括：假设翻转前所述待叠加图像上面有一个点，其坐标值为(x_i,y_i)，翻转后的坐标值为(x′_i,y′_i)，则这两个点满足如下公式：

$\left[\begin{array}{c}{{\mathrm{tx}}^{\′}}_i\\ {{\mathrm{ty}}^{\′}}_i\\ t\end{array}\right]=M_{\mathrm{sd}}\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right],$

其中，M_sd是一个3×3的矩阵，也即翻转矩阵。

在一些示例中，所述步骤S4进一步包括：计算所述翻转矩阵M_sd的逆矩阵，记为M；翻转后的待叠加图像上的每一点的像素值表示为：

$\mathrm{dst}(x,y)=\mathrm{src}(\frac{M_{11}x+M_{12}y+M_{13}}{M_{31}x+M_{32}y+M_{33}},\frac{M_{21}x+M_{22}y+M_{23}}{M_{32}x+M_{32}y+M_{33}}),$

其中，dst(x,y)表示翻转后待叠加图像在(x,y)点处的颜色值，src(x,y)表示翻转前待叠加图像在(x,y)点处的颜色值，M_ij表示矩阵M第i列，第j行的元素。

在一些示例中，所述步骤S5进一步包括：基于前景和背景叠加的透明度规则将所述待叠加图像的前景部分叠加到当前屏幕图像上，具体包括：对翻转后的待叠加图像的每一个像素值进行判断；如果翻转后的待叠加图像的某个像素的颜色为背景色，则这个像素点背景部分不作处理，保留屏幕图像原始像素值；如果这个像素点的颜色不是背景色，则将当前屏幕图像上这个像素点的颜色替换为翻转后的待叠加图像在这个像素点上的颜色，具体的计算公式如下：

i＝i₁×α+i₂×β其中

其中i、i₁、i₂分别是叠加后的像素颜色值、待叠加图像的像素颜色值和当前屏幕图像的像素颜色值。

在一些示例中，所述步骤S6进一步包括：在当前屏幕图像上选定一个点作为变换原点，对屏幕图像实施选定的特效变换。

在一些示例中，所述步骤S7进一步包括：获得所述摄像机位姿后，将世界坐标系中的观察摄像机的位姿设置为获取到的摄像机位姿；根据摄像机参数设置渲染坐标系中的相应参数；将所述预定三维虚拟模型放置到所述世界坐标系中相应的位置，使用渲染技术在屏幕上绘制所述预定三维虚拟模型，以实现对所述模板图像的增强现实。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是现有的缩放径向模糊变换的原理示意图；

图2是现有的旋转径向模糊变换的原理示意图；

图3是根据本发明一个实施例的具有图像叠加和图像特效功能的增强现实方法的流程图；

图4是根据本发明一个具体实施例的具有图像叠加和图像特效功能的增强现实方法对应的实验结果示意图；

图5是根据本发明另一个实施例的具有图像叠加和图像特效功能的增强现实方法对应的实验结果示意图；以及

图6是根据本发明另一个实施例的具有图像叠加和图像特效功能的增强现实方法对应的实验结果示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

以下结合附图描述根据本发明实施例的具有图像叠加和图像特效功能的增强现实方法。

图3是根据本发明一个实施例的具有图像叠加和图像特效功能的增强现实方法的流程图。如图3所示，该方法包括以下步骤：

步骤S101，利用摄像机对模板图像进行实时的三维跟踪，以根据跟踪结果得到摄像机位姿。在发明的一个实施例中，该步骤进一步包括：对模板图像进行实时的三维跟踪，并在跟踪过程中提取当前屏幕图像上的特征点，并与模板图像上的特征点进行特征匹配并消除误匹配，并求解当前屏幕图像和模板图像之间的单应性矩阵及当前屏幕图像帧的摄像机位姿。

步骤S102，根据摄像机位姿将模板图像投影到屏幕上，以得到模板图像在屏幕上的模板图像投影区域，其中，模板图像投影区域为待叠加图像翻转后的目标位置。具体地说，在本发明的一个实施例中，模板图像投影区域的形状为一个平面四边形，也就是待叠加图像将要翻转到的目标位置。同时，记录模板图像投影区域(平面四边形)的四个顶点与模板图像的四个顶点的对应关系，其中，模板图像投影区域的四个顶点例如通过如下公式计算：

$\left[\begin{array}{c}{{\mathrm{wu}}^{\′}}_i\\ {{\mathrm{wv}}^{\′}}_i\\ w\end{array}\right]=H\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right],$

其中，(u_i，v_i)(i＝1,2,3,4)是模板图像的顶点坐标，(u′_i，v′_i)(i＝1,2,3,4)是模板图像投影区域对应的顶点坐标，H为步骤S102的三维跟踪过程中得到的当前屏幕图像和模板图像之间的单应性矩阵。进一步地，将模板图像的顶点坐标(u_i，v_i)(i＝1,2,3,4)代入上述公式，即可得到模板图像投影区域的四个顶点(u′_i，v′_i)(i＝1,2,3,4)，根据得到的模板图像投影区域的四个顶点(u′_i，v′_i)(i＝1,2,3,4)即可得到屏幕上的模板图像投影区域。

步骤S103，根据待叠加图像的原始位置和翻转后的目标位置，得到待叠加图像到屏幕上的模板图像投影区域的翻转矩阵。

在本发明的一个实施例中，在该步骤中，首先以待叠加图像的左上角为原点，像素为单位长度，得到待叠加图像的四个顶点的坐标值，并将待叠加图像的四个顶点的坐标值作为待叠加图像的原始位置。同时，将步骤S102中得到的模板图像投影区域(平面四边形)的四个顶点的坐标值作为待叠加图像翻转后的目标位置，并确认好这两组顶点之间的对应关系。也即，已知待叠加图像的原始位置和翻转后的目标位置，在一些示例中，例如根据透视变换原理计算待叠加图像到屏幕上的模板图像投影区域的翻转矩阵，具体包括：

假设翻转前待叠加图像上面有一个点，其坐标值为(x_i,y_i)，翻转后的坐标值为(x′_i,y′_i)，则这两个点满足如下公式：

$\left[\begin{array}{c}{{\mathrm{tx}}^{\′}}_i\\ {{\mathrm{ty}}^{\′}}_i\\ t\end{array}\right]=M_{\mathrm{sd}}\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right],$

其中，M_sd是一个3×3的矩阵，也即翻转矩阵。在具体示例中，为了求解矩阵M_sd，需要四个翻转前后的图像对应点，然后将四个对应点的坐标加入公式上述公式中，即可算出翻转矩阵M_sd。

步骤S104，根据翻转矩阵对待叠加图像进行翻转。具体地说，即根据步骤S103中得到的透视变换翻转矩阵将待叠加图像翻转到屏幕相应区域内，并且与屏幕上的模板图像投影区域重合。更为具体地，图像翻转的计算过程如下：

对于翻转后待叠加图像中的每个点，需要求出这个点在翻转前待叠加图像中的坐标值，因此首先计算出翻转矩阵M_sd的逆矩阵，记为M，则翻转后的待叠加图像上的每一点的像素值表示为：

$\mathrm{dst}(x,y)=\mathrm{src}(\frac{M_{11}x+M_{12}y+M_{13}}{M_{31}x+M_{32}y+M_{33}},\frac{M_{21}x+M_{22}y+M_{23}}{M_{32}x+M_{32}y+M_{33}}),$

其中，dst(x,y)表示翻转后待叠加图像在(x,y)点处的颜色值，src(x,y)表示翻转前待叠加图像在(x,y)点处的颜色值，M_ij表示矩阵M第i列，第j行的元素。

步骤S105，将翻转后的待叠加图像叠加到模板图像上。也即将翻转后的待叠加图像与屏幕上的模板图像重合。在本发明的一个实施例中，例如采用基于前景和背景叠加的透明度规则将翻转后待叠加图像的前景部分叠加到当前屏幕图像上，具体包括：对翻转后的待叠加图像的每一个像素值进行判断，如果翻转后的待叠加图像的某个像素的颜色为背景色，则这个像素点背景部分不作处理，保留当前屏幕图像原始像素值；如果这个像素点的颜色不是背景色，则将当前屏幕图像上这个像素点的颜色替换为翻转后待叠加图像在这个像素点上的颜色，具体的计算公式如下：

i＝i₁×α+i₂×β其中

其中i、i₁、i₂分别是叠加后的像素颜色值、待叠加图像的像素颜色值和当前屏幕图像的像素颜色值。

步骤S106，以当前屏幕图像的中心为变换原点，对当前屏幕图像实施选定的特效变换。目前实现了的特效变换有凸透镜变换，凹透镜变换，缩放径向模糊和旋转径向模糊四种特效变换算法。

步骤S107，将预定三维虚拟模型叠加到模板图像上，以实现对模板图像的增强现实。具体地说，在获得摄像机位姿后，将世界坐标系中的观察摄像机的位姿设置为获取到的摄像机位姿，并根据摄像机参数设置OpenGL ES坐标系中的相应参数，最后将预定三维虚拟模型(根据实际需求选取)放置到世界坐标系中相应的位置，使用OpenGL ES技术在屏幕上绘制该预定三维虚拟模型，以实现对模板图像的增强现实。作为具体的实施例，以下结合附图4-6对本发明上述实施例的具有图像叠加和图像特效功能的增强现实方法进行进一步描述。

实施例1

本实施例中选取一幅图像对本发明实施例的方法进行验证，相应的实验效果如图4所示。其中，使用一幅海滩场景图作为原始模板图像，例如图4(a)所示。使用一个小女孩的图像作为待叠加图像，例如图4(c)所示。并预先将待叠加图像的背景部分去掉，仅保留前景部分，例如图4(d)所示。同时使用了一艘快艇的三维虚拟模型作为待叠加的虚拟模型，例如图4(b)所示。图4(e)是将待叠加图像叠加到模板图像上的效果示意图，图4(f)是同时将待叠加图像和三维虚拟模型叠加到模板图像上的效果示意图。

实施例2

本实施例中分别使用鲜花模板图像和湖水模板图像对本发明实施例的方法进行验证，相应的实验效果如图5所示。其中，图5(a)和图5(b)是实验中用到的两幅模板图像，其中图5(a)是一片鲜花的场景图，也即鲜花模板图像，图5(b)是一片湖水的场景图，也即湖水模板场景图。图5(c)是将小女孩叠加到鲜花模板图像中得到的效果示意图。图5(d)是将快艇模型叠加到湖水模板图像中得到的效果示意图。

实施例3

本实施例中使用鲜花模板图像对本发明实施例的方法进行验证，相应的实验效果如图6所示。其中，图6(a)是一片鲜花的场景图，也即鲜花模板图像，图6(b)是对模板图像进行凸透镜变换的效果图，图6(c)是对模板图像进行凹透镜变换的效果图，图6(d)是对模板图像进行缩放径向模糊变换的效果图，图6(e)是对模板图像进行旋转径向模糊变换的效果图。

通过上述的实施例，证明本发明实施例的方法可以对模板图像进行图像叠加、图像特效和三维模型的增强现实，并可自由选择增强方式，也即丰富和扩展了增强现实的表现形式。传统的图像叠加只能对一幅图像做静态叠加，与之相比，本发明的方法可以使用三维跟踪技术不断对图像进行追踪，并在追踪过程中动态地对图像进行叠加，取得了动态的图像叠加效果。也即是说，该方法可以自由选择想要的增强方式，也可以多种增强方式混合使用，也可以后续加入其他的增强方式，实现更丰富的增强效果，因此灵活性很好。另外，通过选取合适的图片和模型，可以生成有真实意义的应用，因此，该方法的应用性强。

综上，根据本发明实施例的具有图像叠加和图像特效功能的增强现实方法，将图像叠加技术引入到增强现实中，在三维跟踪过程中不断定位模板图像在屏幕上的位置，并将待叠加图像翻转到与屏幕上的模板图像重合的位置上进行基于前景和背景的图像叠加；将图像特效技术引入到增强现实中，在当前屏幕图像上选定一个点作为变换原点，对屏幕图像实施选定的特效变换。另外，该方法也加入了传统的基于三维模型的增强现实，并且基于图像的叠加和基于三维模型的投影可以自由组合。因此，本发明的方法将具有图像叠加功能和图像特效的增强现实和基于三维模型的增强现实融合到一起，扩展了增强现实的范围，提升了增强现实的效果，丰富了增强现实的手段，在虚实融合、虚拟现实、增强现实等方面有很重要的应用，具有灵活性高、应用性强的优点。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种具有图像叠加和图像特效功能的增强现实方法，其特征在于，包括以下步骤：

S1：利用摄像机对模板图像进行实时的三维跟踪，以根据跟踪结果得到摄像机位姿；

S2：根据所述摄像机位姿将所述模板图像投影到屏幕上，以得到所述模板图像在所述屏幕上的模板图像投影区域，其中，所述模板图像投影区域为待叠加图像翻转后的目标位置；

S3：根据所述待叠加图像的原始位置和翻转后的目标位置，得到所述待叠加图像到所述屏幕上的模板图像投影区域的翻转矩阵；

S4：根据所述翻转矩阵对所述待叠加图像进行翻转；

S5：将翻转后的所述待叠加图像叠加到所述模板图像上；

S6：对当前屏幕图像实施选定的特效变换；

S7：将预定三维虚拟模型叠加到所述模板图像上，以实现对所述模板图像的增强现实。

2.根据权利要求1所述的具有图像叠加和图像特效功能的增强现实方法，其特征在于，所述步骤S1进一步包括：

对所述模板图像进行实时的三维跟踪，并在跟踪过程中提取当前屏幕图像上的特征点，并与所述模板图像上的特征点进行特征匹配并消除误匹配，并求解所述当前屏幕图像和模板图像之间的单应性矩阵及当前屏幕图像帧的摄像机位姿。

3.根据权利要求2所述的具有图像叠加和图像特效功能的增强现实方法，其特征在于，其中，所述步骤S2进一步包括：

所述模板图像投影区域为平面四边形，记录所述模板图像投影区域的四个顶点与所述模板图像的四个顶点的对应关系，其中，所述模板图像投影区域的四个顶点通过如下公式计算：

$\left[\begin{array}{c}{{\mathrm{wu}}^{\′}}_i\\ {{\mathrm{wv}}^{\′}}_i\\ w\end{array}\right]=H\begin{array}{}\end{array}\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right],$

其中，(u_i，v_i)(i＝1,2,3,4)是所述模板图像的顶点坐标，(u′_i，v′_i)(i＝1,2,3,4)是所述模板图像投影区域对应的顶点坐标，H为所述当前屏幕图像和模板图像之间的单应性矩阵；

将所述模板图像的顶点坐标(u_i，v_i)(i＝1,2,3,4)代入上述公式，得到所述模板图像投影区域的四个顶点(u′_i，v′_i)(i＝1,2,3,4)，根据得到的所述模板图像投影区域的四个顶点(u′_i，v′_i)(i＝1,2,3,4)得到屏幕上的所述模板图像投影区域。

4.根据权利要求3所述的具有图像叠加和图像特效功能的增强现实方法，其特征在于，所述步骤S3进一步包括：

以所述待叠加图像的左上角为原点，像素为单位长度，得到所述待叠加图像的四个顶点的坐标值，并将所述待叠加图像的四个顶点的坐标值作为所述待叠加图像的原始位置；

将所述模板图像投影区域的四个顶点的坐标值作为所述待叠加图像翻转后的目标位置。

5.根据权利要求4所述的具有图像叠加和图像特效功能的增强现实方法，其特征在于，根据透视变换原理计算所述待叠加图像到所述屏幕上的模板图像投影区域的翻转矩阵，具体包括：

假设翻转前所述待叠加图像上面有一个点，其坐标值为(x_i,y_i)，翻转后的坐标值为(x′_i,y′_i)，则这两个点满足如下公式：

$\left[\begin{array}{c}{{\mathrm{tx}}^{\′}}_i\\ {{\mathrm{ty}}^{\′}}_i\\ t\end{array}\right]=M_{\mathrm{sd}}\left[\begin{array}{c}{x}_i\\ y_j\\ 1\end{array}\right],$

其中，M_sd是一个3×3的矩阵，也即翻转矩阵。

6.根据权利要求5中所述的具有图像叠加和图像特效功能的增强现实方法，其特征在于，所述步骤S4进一步包括：

计算所述翻转矩阵M_sd的逆矩阵，记为M；

翻转后的待叠加图像上的每一点的像素值表示为：

$\mathrm{dst}(x,y)=\mathrm{src}(\frac{M_{11}x+M_{12}y+M_{13}}{M_{31}x+M_{32}y+M_{33}},\frac{M_{21}x+M_{22}y+M_{23}}{M_{31}x+M_{32}y+M_{33}}),$

其中，dst(x,y)表示翻转后待叠加图像在(x,y)点处的颜色值，src(x,y)表示翻转前待叠加图像在(x,y)点处的颜色值，M_ij表示矩阵M第i列，第j行的元素。

7.根据权利要求1所述的具有图像叠加和图像特效功能的增强现实方法，其特征在于，所述步骤S5进一步包括：

基于前景和背景叠加的透明度规则将所述待叠加图像的前景部分叠加到当前屏幕图像上，具体包括：

对翻转后的待叠加图像的每一个像素值进行判断；

如果翻转后的待叠加图像的某个像素的颜色为背景色，则这个像素点背景部分不作处理，保留屏幕图像原始像素值；

如果这个像素点的颜色不是背景色，则将当前屏幕图像上这个像素点的颜色替换为翻转后的待叠加图像在这个像素点上的颜色，具体的计算公式如下：

i＝i₁×α+i₂×β其中

其中i、i₁、i₂分别是叠加后的像素颜色值、待叠加图像的像素颜色值和当前屏幕图像的像素颜色值。

8.根据权利要求7所述的具有图像叠加和图像特效功能的增强现实方法，其特征在于，所述步骤S6进一步包括：

在当前屏幕上选定变换原点，对当前屏幕图像实施选定的特效变换。

9.根据权利要求7所述的具有图像叠加和图像特效功能的增强现实方法，其特征在于，所述步骤S7进一步包括：

获得所述摄像机位姿后，将世界坐标系中的观察摄像机的位姿设置为获取到的摄像机位姿；

根据摄像机参数设置渲染坐标系中的相应参数；

将所述预定三维虚拟模型放置到所述世界坐标系中相应的位置，使用渲染技术在屏幕上绘制所述预定三维虚拟模型，以实现对所述模板图像的增强现实。