CN101021952A - 一种实现三维视频特效的方法及装置 - Google Patents

Abstract

本发明公开了一种实现三维视频特效的方法及装置，用以解决现有技术无法通过将视频数据和三维图形相融合来实现三维视频特效的问题。本发明方法包括：将视频图像转换成纹理，将该纹理映射到预先设定的三维图形上，实现三维视频特效。本发明还公开了一种实现三维视频特效的装置。本发明用于实现三维视频特效，解决了现有技术无法通过将视频数据和三维图形相融合来实现三维视频特效的问题，使得生成的三维视频特效的效果更佳，使用户体验更加丰富的三维视频特效，同时还可以提高***的运行效率。

Description

一种实现三维视频特效的方法及装置

技术领域

本发明涉及视频特效技术领域，尤其涉及一种实现三维视频特效的方法及装置。

背景技术

现有的基于个人电脑摄像头的视频特效技术中，要么直接在图像空间上完成视频特效，要么利用视频图像数据中获得的运动信息来驱动虚拟的三维模型，但是这两种视频特效技术都有将视频图像数据和三维图形融合起来。

目前结合视频的特效一般都是在二维图像平面上来实现，通过对视频中的人脸进行定位和跟踪，直接在二维图像空间上完成特效，这些特效实质是通过二维图像的滤波实现的，如马赛克、人脸模糊、人脸替换等特效，这种视频特效中，各种视频背景图案的变换实质是二维图像的重叠。

目前三维特效的产品还较少，现有基于三维卡通模型的动画特效，可以根据视频中人脸的器官变化来做出相同的表情，这种特效实现了三维动画，但并没有将实际采集的视频数据引入三维图形的处理框架中，没有充分利用目前显卡强大的三维显示功能，没有将视频数据的处理和现有的三维图形处理器结合起来，因而无法利用强大的图形处理器来做出丰富多彩的特效。

另外，现有的视频特效处理都是在中央处理器(CPU)中完成的，因此，中央处理器的负荷较大，导致***的运行效率较底。

综上，现有技术无法通过将视频数据和三维图形相融合来实现三维视频特效。

发明内容

本发明提供一种实现三维视频特效的方法及装置，用以解决现有技术无法通过将视频数据和三维图形相融合来实现三维视频特效的问题。

本发明方法包括：

将视频图像转换成纹理，将该纹理映射到预先设定的三维图形上，实现三维视频特效。

所述将视频图像转换成纹理的步骤包括：

调整视频图像中的每帧图像的长和宽，再将所述调整后的每帧图像转换成纹理。

所述调整后的每帧图像的长和宽为2的若干次幂。

所述将该纹理映射到预先设定的三维图形上的步骤包括：

建立所述纹理的每个点坐标和预先设定的三维图形的每个点坐标的映射关系，根据该映射关系，将所述纹理的每个像素点的颜色映射到所述三维图形上。

本发明装置包括：

三维视频特效单元，用于将视频图像转换成纹理，将该纹理映射到预先设定的三维图形上，实现三维视频特效。

所述三维视频特效单元包括：

纹理生成单元，用于将视频图像转换成纹理；

纹理映射单元，用于将所述纹理映射到预先设定的三维图形上，实现三维视频特效。

所述纹理生成单元包括：

图像调整单元，用于调整视频图像中的每帧图像的长和宽；

图像转换单元，用于将所述调整后的每帧图像转换成纹理。

所述调整后的每帧图像的长和宽为2的若干次幂。

所述纹理映射单元包括：

映射关系单元，用于建立所述纹理的每个点坐标和预先设定的三维图形的每个点坐标的映射关系；

实现单元，用于根据所述映射关系，将所述纹理的每个像素点的颜色映射到所述三维图形上。

本发明通过将视频图像转换成纹理，将该纹理映射到预先设定的三维图形上，实现三维视频特效的技术方案，解决了现有技术无法通过将视频数据和三维图形相融合来实现三维视频特效的问题，使得生成的三维视频特效的效果更佳，使用户体验更加丰富的三维视频特效，另外由于将视频图像转换成纹理后，对纹理的处理操作可以由显卡完成，因此降低了CPU的负荷，提高了***的运行效率。

附图说明

图1为本发明方法的流程示意图；

图2为本发明方法实施例的流程示意图；

图3为本发明方法实施例中的三维视频特效的效果示意图；

图4为本发明方法实施例中的三维视频特效的效果示意图；

图5为本发明方法实施例中的三维视频特效的效果示意图；

图6为本发明装置实施例的流程示意图。

具体实施方式

本发明的核心思想为：本发明将视频作为纹理引入到开发式的图形库(OpenGL，Open Graphics Library)三维平台，即将视频图像转换成纹理，将该纹理映射到预先设定的三维图形上，实现三维视频特效，通过将视频数据和三维图形相融合来实现三维视频特效，极大的丰富目前的视频特效，生成的三维视频特效的效果更佳，使用户体验更加丰富的三维视频特效，同时还可以提高***的运行效率。

参见图1，本发明方法包括步骤：

S101、将视频图像转换成纹理；

较佳地，调整视频图像中的每帧图像的长和宽，再将所述调整后的每帧图像转换成纹理；

较佳地，所述调整后的每帧图像的长和宽为2的若干次幂；

S102、将该纹理映射到预先设定的三维图形上，实现三维视频特效；

较佳地，建立所述纹理的每个点坐标和预先设定的三维图形的每个点坐标的映射关系，根据该映射关系，将所述纹理的每个像素点的颜色映射到所述三维图形上。

本发明方法实施例中，公开了一种将USB视频数据和OpenGL三维绘制平台结合起来的三维视频特效方法，利用DirectShow从摄像头接口中获得视频数据，然后利用OpenGL的纹理映射功能来显示视频数据，并结合视频数据来加入一些三维特效；

OpenGL是以GL三维图形库为基础制定的一个通用共享的开放式三维图形标准，以OpenGL为基础的产品包括动画制作软件Soft Image和3D StudioMAX、仿真软件Open Inventor、VR软件World Tool Kit、CAM软件ProEngineer、GIS以及ARC/INFO等等，几乎所有的显卡制造商都会在其显卡中支持OpenGL技术，因此，OpenGL在图形处理领域有着广泛的应用；

纹理映射技术是三维图形技术中一个基本的技术，目的是让三维物体的外观无限接近真实物体，为了达到这个目的，在纹理映射技术中需要采集三维物体的外观信息，其方法是直接用相机拍摄物体，得到包含真实物体外观的图像信息，这些图像在三维图形处理技术中就被称为纹理(Texture)；

在支持OpenGL技术的显卡中，纹理数据都是被加载到显存中，并且OpenGL提供了丰富的纹理处理函数，可以快速地对纹理进行操作，不但可以实时的观察视频，还可以基于纹理来设置三维特效，因此，可以极大地丰富现有的视频特效；

参见图2，本发明方法实施例包括步骤：

S201、从视频数据中获得每一帧图像；

利用DirectShow从摄像头USB接口中获得视频数据的每一帧图像；

S202、将连续的每帧图像调整为大小为2的若干次幂的视频图像，并将该图像转换成纹理；

将视频图像转换为纹理，可以充分利用三维图像***提供的纹理处理函数，快速地对纹理进行一些预处理，现有技术中，对图像的处理都是在CPU中完成的，而本发明将图像转换为纹理后，许多图像操作都可以转移到显卡中来完成，从而可以减少CPU的负荷，提高***的运行效率；

来自个人电脑摄像头的视频数据经过处理可以分解为若干帧图像，每一帧图像被顺序导入显存中设定好的纹理缓冲区域，如果该纹理区域被映射到三维空间某个平面上，就能够在该平面上达到视频显示的效果；

在进行纹理映射之前，需要先初始化OpenGL绘制环境，OpenGL的绘制环境初始化一般包括步骤：

自定义绘制的像素格式，并根据当前的显示设备来选择与设定的像素格式最接近的格式；

设定选择好的像素格式；

创建一个新的OpenGL绘制环境并将该绘制环境设置为当前的绘制环境；

设置裁减区域和投影方式；

除了上述标准的OpenGL初始化步骤，为了将视频数据引入显存，在初始化时，***还需要创建一个纹理的索引，用来管理显存中的纹理缓冲区域，并开辟一块内存缓冲区，例如开辟一个存放无符号字符型的缓冲区域来存放不断更新的视频图像数据；

处理纹理图像时，大小为2的幂次的图像的操作最方便，很多三维处理***甚至只能处理大小为2的幂次的纹理，因此，本发明将视频中的每一帧图像大小转换为2的幂次大小，在保持原始图像长宽比例不变的情况下，最直接的方法是根据实际图像的大小来生成一幅最小的但能包含原始图像的图像，同时长和宽为2的幂的图像，比如当输入的视频图像中每帧图像的大小为320*240时，可以生成一幅大小为512*512(512＝2⁹)的图像，然后将320*240的图像填入512*512图像的中央；

S203、建立所述纹理的每个点坐标和预先设定的三维图形的每个点坐标的映射关系；

S204、根据该映射关系，将所述纹理的每个像素点的颜色映射到所述三维图形上；

纹理实际上就是图像，纹理映射是图形学中的一个基本技术，其目的是将图像贴到物体表面，为了让映射后的纹理看起来和真实的视频一样，本发明实施例将纹理映射到一个法线向量和Z轴平行的平面上，纹理映射的本质是图像的重采样，即建立空间三维点和图像平面像素点之间的映射关系，然后将图像中像素点的颜色赋给空间点，因此纹理映射的关键是建立映射关系，借助于OpenGL，可以很容易地实现纹理映射，只要为空间点设置对应的纹理坐标即可，由于OpenGL提供了丰富的纹理处理函数，并且这些函数都是固化在硬件当中，因此在生成特效时，利用纹理映射来缩放和对图像进行滤波等处理都能够达到很好的运行效率，而在现有的图像特效中，对图像进行图像的缩放和滤波等处理都需要自己来编写函数，并占用CPU的运行时间；

在OpenGL的三维环境下，视频数据被转换为一个纹理，就可以在此基础上加入丰富的三维特效，本实施例实现了一个简单的三维特效，生成了一个随机运动的三维圆球，并将视频数据映射到圆球上，其中，视频数据作为纹理被导入显存之后，在OpenGL的支持下，可以被随意的映射到三维物体上，产生许多现有特效技术很难实现的效果，同时由于视频数据是实时更新的，因此映射后纹理也会不断发生变化，从而将视频和三维技术很好地融合在一起；

S205、输出三维视频特效图像；

如图3、图4和图5所示，为本实施例实现的三维视频特效的效果示意图，通过本实施例提供的方法生成了一个随机运动的三维圆球，该三维圆球的纹理坐标是自动生成的，将纹理映射到这个圆球上，就得到了一个显示视频的圆球。

采用本发明方法实现的装置可以应用普通的USB摄像头，利用DirectShow提供的函数从摄像头中实时地提取出每一帧图像数据，由于OpenGL中默认支持的纹理大小为2的幂次大小，而USB摄像头提供的分辨率一般为320*240或800*640(宽*高)等，所以需要将USB输入的图像大小转换为2的幂次大小(如256，512，1024...)，本实施例利用了OpenGL三维图形开发工具，OpenGL具有稳定性、可靠性、可扩展性等特点；

本发明在微软基于面向对象设计的软件开发框架(MFC，MicrosoftFoundation Class Library)平台下对OpenGL进行初始化，并专门开辟了一个纹理空间来存放视频数据；

为了在该框架下使用OpenGL，首先需要初始化OpenGL的使用环境，为了能够在三维环境下使用视频数据，我们要将视频数据转换为纹理数据，纹理数据必须存放在显卡的显存中，因此，本发明将视频图像分解为连续的每一帧的图像，在***中，本发明在内存中设置一个数据缓冲区来加载图像帧，然后利用OpenGL提供的函数glTexSubImage2D将该缓冲区中的视频图像数据导入显卡中的设置的显存缓冲区，这样就能够将图像数据转换为纹理数据，每从USB摄像头中读取一帧图像数据，就进行一次纹理的更新，***将纹理映射到三维图形上，在***中，在OpenGL中用平面上的四个点定义一个平面，然后通过设置纹理坐标实现将纹理映射到这个平面上。不断的更新纹理就能够连续的显示图像，达到视频的效果，这样就能够得到平面的视频效果；

参见图6，本发明装置实施例包括：三维视频特效单元61；

所述三维视频特效单元61包括：纹理生成单元611和纹理映射单元612；

所述纹理生成单元611包括：图像调整单元6111和图像转换单元6112；

所述纹理映射单元612包括：映射关系单元6121和实现单元6122；

所述三维视频特效单元61，用于将视频图像转换成纹理，将该纹理映射到预先设定的三维图形上，实现三维视频特效；

所述的三维图形为随机运动的三维圆球；

所述纹理生成单元611，用于将视频图像转换成纹理；

所述图像调整单元6111，用于将视频图像中的每帧图像调整为大小为2的若干次幂的视频图像；

所述图像转换单元6112，用于将所述图像调整单元6111调整后的每帧图像转换成纹理；

所述纹理映射单元612，用于将所述纹理映射到预先设定的三维图形上，实现三维视频特效；

所述映射关系单元6121，用于建立所述纹理的每个点坐标和预先设定的三维图形的每个点坐标的映射关系；

所述实现单元6122，用于根据所述映射关系，将所述纹理的每个像素点的颜色映射到所述三维图形上。

综上，本发明通过将视频图像转换成纹理，将该纹理映射到预先设定的三维图形上，实现三维视频特效的技术方案，解决了现有技术无法通过将视频数据和三维图形相融合来实现三维视频特效的问题，使得生成的三维视频特效的效果更佳，使用户体验更加丰富的三维视频特效，同时还可以提高***的运行效率。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1、一种实现三维视频特效的方法，其特征在于，该方法包括以下步骤：

将视频图像转换成纹理，将该纹理映射到预先设定的三维图形上，实现三维视频特效。

2、如权利要求1所述的方法，其特征在于，所述将视频图像转换成纹理的步骤包括：

调整视频图像中的每帧图像的长和宽，再将所述调整后的每帧图像转换成纹理。

3、如权利要求2所述的方法，其特征在于，所述调整后的每帧图像的长和宽为2的若干次幂。

4、如权利要求1所述的方法，其特征在于，所述将该纹理映射到预先设定的三维图形上的步骤包括：

建立所述纹理的每个点坐标和预先设定的三维图形的每个点坐标的映射关系，根据该映射关系，将所述纹理的每个像素点的颜色映射到所述三维图形上。

5、一种实现三维视频特效的装置，其特征在于，该装置包括：

三维视频特效单元，用于将视频图像转换成纹理，将该纹理映射到预先设定的三维图形上，实现三维视频特效。

6、如权利要求5所述的装置，其特征在于，所述三维视频特效单元包括：

纹理生成单元，用于将视频图像转换成纹理；

纹理映射单元，用于将所述纹理映射到预先设定的三维图形上，实现三维视频特效。

7、如权利要求6所述的装置，其特征在于，所述纹理生成单元包括：

图像调整单元，用于调整视频图像中的每帧图像的长和宽；

图像转换单元，用于将所述调整后的每帧图像转换成纹理。

8、如权利要求7所述的装置，其特征在于，所述调整后的每帧图像的长和宽为2的若干次幂。

9、如权利要求6所述的装置，其特征在于，所述纹理映射单元包括：

映射关系单元，用于建立所述纹理的每个点坐标和预先设定的三维图形的每个点坐标的映射关系；

实现单元，用于根据所述映射关系，将所述纹理的每个像素点的颜色映射到所述三维图形上。

Images