CN113138820A - 一种视频数据处理方法、装置、计算设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种视频数据处理方法，适于在计算设备中执行，方法包括：接收窗口预览指令，并获取待预览窗口的标识信息；根据标识信息，获取待预览窗口的显示数据，并将显示数据绘制到纹理显存单元；将纹理显存单元中的数据显示到预览窗口中。本发明一并公开了相应的装置、计算设备及可读存储介质。

Description

一种视频数据处理方法、装置、计算设备及可读存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种视频数据处理方法、装置、计算设备及可读存储介质。

背景技术

Linux***中的窗口管理多采用Kwin实现，KWin是X Window***中的一个窗口管理器，构成KDE Software Compilation的一部分，在KDE Software Compilation 4中，KWin加入了组合模式和OpenGL的支持。而为了实现特定窗口的小窗预览，当前在Linux***中都是采用Kwin窗口管理器所提供的的截图工具，根据窗口的窗口ID，在绘制一帧结束时，读取显存中帧缓存中的数据，并拷贝到CPU内存中，然后保存到文件中，通过预览窗口同步读取所保存的文件中的数据并显示实现特定窗口的预览。但是对于类似视频播放等实时更新显示内容的窗口，使用文件共享的方式，频繁的读写共享文件的方式无疑会增加CPU的负担。

发明内容

为此，本发明提供了一种视频数据处理方法、装置、计算设备及可读存储介质，以力图解决或者至少缓解上面存在的问题。

根据本发明的一个方面，提供一种视频数据处理方法，适于在计算设备中执行，方法包括：接收窗口预览指令，并获取待预览窗口的标识信息；根据标识信息，获取待预览窗口的显示数据，并将显示数据绘制到纹理显存单元；将纹理显存单元中的数据显示到预览窗口中。

可选的，在根据本发明的视频数据处理方法中，窗口预览指令为鼠标在任务栏图标上方的悬停操作，相应的图标对应的窗口为待预览窗口。

可选的，在根据本发明的视频数据处理方法中，标识信息包括窗口ID，根据标识信息，获取待预览窗口的显示数据，并将显示数据绘制到纹理显存单元包括：在窗口管理器在根据当前显示屏的窗口叠加顺序绘制显示画面过程中，获取对应待预览窗口ID的窗口显示数据；将窗口显示数据绘制到纹理显存单元中。

可选的，在根据本发明的视频数据处理方法中，将窗口显示数据绘制到纹理显存单元中包括：创建一个帧缓存对象；创建一个纹理对象，并附加到帧缓存对象；将帧缓存对象与当前帧缓冲区绑定；读取当前帧缓冲区中的显示数据，并绘制到纹理对象中；解除帧缓存对象与当前帧缓冲区的绑定。

可选的，在根据本发明的视频数据处理方法中，将纹理显存单元中的数据显示到预览窗口中包括：绘制预定大小的矩形窗口；将纹理显存单元中的数据显示到矩形窗口中。

可选的，在根据本发明的视频数据处理方法中，待预览窗口为视频播放窗口，预览窗口通过OpenGL完成渲染。

可选的，在根据本发明的视频数据处理方法中，计算设备安装有Linux***。

根据本发明的又一个方面，提供一种视频数据处理装置，适于驻留在计算设备中，包括：窗口获取单元，适于接收窗口预览指令，并获取待预览窗口的标识信息；显示数据绘制单元，适于根据标识信息，获取待预览窗口的显示数据，并将显示数据绘制到纹理显存单元；显示数据预览单元，适于将纹理显存单元中的数据显示到预览窗口中。

可选的，在根据本发明的视频数据处理装置中，窗口预览指令为鼠标在任务栏图标上方的悬停操作，相应的图标对应的窗口为待预览窗口。

根据本发明的又一个方面，提供一种计算设备，包括：至少一个处理器；以及存储器，存储有程序指令，其中，程序指令被配置为适于由至少一个处理器执行，程序指令包括用于执行如上的任一项视频数据处理方法的指令。

根据本发明的又一方面，提供一种存储有程序指令的可读存储介质，当程序指令被计算设备读取并执行时，使得计算设备执行如上的任一项视频数据处理方法。

根据本发明的视频数据处理方法，通过在显存中开辟一个用于存储待预览窗口显示数据的纹理缓冲区，将待预览窗口的显示数据绘制到纹理缓冲区，并在预览窗口显示，实现窗口预览，该过程完全在GPU内存中完成，避免了文件共享中截图生成时的读写开销，而且在预览窗口显示时，也避免了GPU到CPU之间的数据传输，从而实现了待显示窗口显示内容的实时处理，保持与待预览窗口显示数据的同步。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一个实施例的计算设备100的框图；

图2示出了根据本发明一个实施例的视频数据处理方法200的流程图；

图3示出了根据本发明一个实施例的绘制纹理图像的过程300的流程图；

图4示出了根据本发明一个实施例的视频数据处理装置400的框图。

图5示出了根据本发明一个实施例的预览窗口显示效果图；

图6示出了根据本发明一个实施例的待预览窗口数据获取的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的计算设备100的示意图。需要说明的是，图1所示的计算设备100仅为一个示例，在实践中，用于实施本发明的数据处理方法的计算设备可以是任意型号的设备，其硬件配置情况可以与图1所示的计算设备100相同，也可以与图1所示的计算设备100不同。实践中用于实施本发明的视频数据处理方法的计算设备可以对图1所示的计算设备100的硬件组件进行增加或删减，本发明对计算设备的具体硬件配置情况不做限制。

如图1所示，在基本的配置102中，计算设备100典型地包括***存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和***存储器106之间的通信。

取决于期望的配置，处理器104可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。

取决于期望的配置，***存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。计算设备中的物理内存通常指的是易失性存储器RAM，磁盘中的数据需要加载至物理内存中才能够被处理器104读取。***存储器106可以包括操作***120、一个或者多个应用122以及程序数据124。在一些实施方式中，应用122可以布置为在操作***上由一个或多个处理器104利用程序数据124执行指令。操作***120例如可以是Linux、Unix、UOS等，其包括用于处理基本***服务以及执行依赖于硬件的任务的程序指令。应用122包括用于实现各种用户期望的功能的程序指令，应用122例如可以是浏览器、即时通讯软件、软件开发工具(例如集成开发环境IDE、编译器等)等，但不限于此。当应用122被安装到计算设备100中时，可以向操作***120添加驱动模块。

在计算设备100启动运行时，处理器104会从存储器106中读取操作***120的程序指令并执行。应用122运行在操作***120之上，利用操作***120以及底层硬件提供的接口来实现各种用户期望的功能。当用户启动应用122时，应用122会加载至存储器106中，处理器104从存储器106中读取并执行应用122的程序指令。

计算设备100还包括储存设备132，储存设备132包括可移除储存器136和不可移除储存器138，可移除储存器136和不可移除储存器138均与储存接口总线134连接。

计算设备100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

在根据本发明的计算设备100中，应用122包括用于执行本发明的视频数据处理方法200的指令，该指令可以指示处理器104执行本发明的视频数据处理方法200。

图2示出了根据本发明一个实施例的视频数据处理方法200的示意图。适于在计算设备(如图1所示的计算设备)中执行，所述计算设备安装有Linux***，在桌面窗口显示时通过OpenGL实现。如图2所示，方法200始于步骤S210，接收窗口预览指令，并获取待预览窗口。桌面任务栏中会显示有所有当前桌面打开窗口的图标，窗口预览指令可以是鼠标在任务栏图标上方的悬停操作，也可以是右键菜单中选择预览等指令，本发明对此不做限制，鼠标所在处理的图标对应的窗口即为待预览窗口。根据窗口预览指令获取窗口的标识信息，即获取用户要预览的窗口，本实施例中，获取待预览窗口的窗口ID，用以后续数据处理。

随后进入步骤S220，将待预览窗口的显示数据绘制到纹理显存单元。根据本发明的一个实施例，窗口管理器通过Kwin实现，Kwin在管理桌面上的窗口时，通过合成器根据现实窗口的叠加顺序处理各个窗口的显示界面，当处理的窗口ID与用户待预览窗口的窗口ID一致时，将该窗口的数据绘制到纹理显存单元中。绑定纹理显存单元到当前帧缓存中，以便该窗口的实时绘制信息保存到纹理显存单元中。

根据本发明的一个实施例，当前桌面打开A、B、C、D四个窗口，用户将鼠标悬停于任务栏中C窗口的图标上方，则C窗口的显示数据将被绘制到纹理显存单元中。

随后进入步骤S230，绘制预定大小的矩形窗口。根据本发明的一个实施例，预览矩形窗口可以根据当前显示屏的大小进行绘制，例如，绘制当前显示屏1/20大小的矩形框，该预览矩形框可以绘制在任务栏图标附近区域。

随后进入步骤S240，将绘制到纹理显存单元中的显示数据贴到步骤S230绘制的矩形框中。以上述实施例为例，当前桌面打开A、B、C、D四个窗口，用户将鼠标悬停于任务栏中C窗口的图标上方，则在任务栏C窗口图标附近绘制一个矩形窗口，将C窗口的内容同步显示到该矩形窗口，当C窗口为视频播放窗口时，预览矩形框中将同步显示C窗口播放的视频内容。

图5示出了根据本发明一个实施例的预览窗口显示效果图。

图3示出了根据本发明一个实施例的绘制纹理图像的过程300的流程图。在OpenGL的渲染管线中，当纹理对象的图像数据关联到帧缓存时，OpenGL执行渲染到纹理操作。如图3所示，该过程始于步骤S310，创建帧缓冲对象(Frame BufferObject，FBO)。

随后根据步骤S320创建纹理对象，即创建分配纹理显存单元，为纹理图像数据开辟一个内存空间。

随后进入步骤S330，将纹理对象附加到帧缓冲对象。帧缓存对象本身并不包含任何图像存储区，而是通过附加点指向实际的缓冲对象，本步骤中将帧缓存对象指向纹理对象(即纹理显存单元)。

随后在步骤S340中，将帧缓存对象绑定到目标对象，即绑定到当前帧缓冲区，以完成待处理窗口数据的读取操作。

随后在步骤S350中，将待预览窗口的数据绘制成纹理图像存储到纹理对象中(即纹理显存单元)。

随后在步骤S360中，解除帧缓存对象与当前帧缓冲区的绑定。

其中，绘制纹理图像的示例代码如下：

glUseProgram(program0)；

glGenFramebuffers(1,&fbo)；

glBindFramebuffer(GL_FRAMEBUFFER,fbo)；

glGenTextures(1,&texture)；

glActiveTexture(GL_TEXTURE0)；

glBindTexture(GL_TEXTURE_2D,texture)；

glFramebufferTexture2D(GL_FRAMEBUFFER,GL_COLOR_ATTACHMENT0,GL_TEXTURE_2D,texture,0)；

glDrawArrays()；

glBindFramebuffer(GL_FRAMEBUFFER,0)；

glUseProgram(program1)；

glUniform1i(glGetUniformLocation(program1,texture),0)；

glBindTexture(GL_TEXTURE_2D,texture)；

glDrawArrays()；

图4示出了根据本发明一个实施例的视频数据处理装置400的示意图，适于驻留在如图1所示的计算设备中。如图4所示，视频数据处理装置400包括窗口获取单元410、显示数据绘制单元420、显示数据预览单元430。

窗口获取单元410，适于根据用户的窗口预览指令，获取待预览窗口的标识信息，例如窗口ID等可以标识窗口信息的数据。

显示数据绘制单元420，适于根据窗口ID将对应窗口的显示数据绘制到纹理显存单元。根据本发明的一个实施例，Linux***中通过Kwin实现窗口管理，其中的合成器模块处理桌面上各个显示窗口数据的合成显示，在处理到待预览窗口数据时，绑定指定的显存纹理单元到帧缓存，将待预览窗口的显示数据实时绘制保存到纹理显存单元中。

具体包括：创建帧缓存对象，创建纹理对象，将纹理对象附加到帧缓存对象，并绑定帧缓存对象到当前帧缓冲区，将帧缓冲区中的待预览窗口数据绘制到纹理对象中，最后解除帧缓存对象与当前帧缓冲区的绑定。

预览窗口显示单元430，适于在被选定的预览窗口的图标附近绘制一个预定大小的矩形(例如，当前显示屏窗口的1/20)，并将绘制到纹理显存单元中的纹理图片贴到矩形窗口，以实现窗口预览。

图6示出了根据本发明一个实施例的待预览窗口数据获取的示意图。其中，Kwin合成器对屏幕上窗口的合成是根据所有窗口的叠加顺利绘制的过程，当收到用户的预览指定窗口(例如图6中的窗口2)的指令时，激活Kwin合成器，在绘制到待预览窗口时创建一个FBO帧缓存，并绑定一块显存纹理单元用于存储纹理，当合成过程快结束时，将窗口2的数据绘制到纹理单元中，最后把该纹理单元激活使用，贴到显存几何对象中，即实现了指定窗口的预览。

根据本发明的视频数据处理方法，通过在显存中开辟一个用于存储待预览窗口显示数据的纹理缓冲区，将待预览窗口的显示数据绘制到纹理缓冲区，并在预览窗口显示，实现窗口预览，该过程完全在GPU内存中完成，避免了文件共享中截图生成时的读写开销，而且在预览窗口显示时，也避免了GPU到CPU之间的数据传输，从而实现了待显示窗口显示内容的实时处理，保持与待预览窗口显示数据的同步。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的视频数据处理方法。

以示例而非限制的方式，可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。

在此处所提供的说明书中，算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与本发明的示例一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机***的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种视频数据处理方法，适于在计算设备中执行，方法包括：

接收窗口预览指令，并获取待预览窗口的标识信息；

根据所述标识信息，获取所述待预览窗口的显示数据，并将所述显示数据绘制到纹理显存单元；

将所述纹理显存单元中的数据显示到预览窗口中。

2.如权利要求1所述的方法，其中，所述窗口预览指令为鼠标在任务栏图标上方的悬停操作，相应的图标对应的窗口为所述待预览窗口。

3.如权利要求1或2所述的方法，其中，所述标识信息包括窗口ID，所述根据所述标识信息，获取所述待预览窗口的显示数据，并将所述显示数据绘制到纹理显存单元包括：

在窗口管理器在根据当前显示屏的窗口叠加顺序绘制显示画面过程中，获取对应所述待预览窗口ID的窗口显示数据；

将所述窗口显示数据绘制到所述纹理显存单元中。

4.如权利要求3所述的方法，其中，所述将所述窗口显示数据绘制到所述纹理显存单元中包括：

创建一个帧缓存对象；

创建一个纹理对象，并附加到所述帧缓存对象；

将所述帧缓存对象与当前帧缓冲区绑定；

读取当前帧缓冲区中的显示数据，并绘制到所述纹理对象中；

解除帧缓存对象与当前帧缓冲区的绑定。

5.如权利要求1-4中任意一项所述的方法，其中，所述将所述纹理显存单元中的数据显示到预览窗口中包括：

绘制预定大小的矩形窗口；

将所述纹理显存单元中的数据显示到所述矩形窗口中。

6.如权利要求1-5中任意一项所述的方法，其中，所述待预览窗口为视频播放窗口，所述预览窗口通过OpenGL完成渲染。

7.如权利要求1-6中任意一项所述的方法，其中，所述计算设备安装有Linux***。

8.一种视频数据处理装置，适于驻留在计算设备中，包括：

窗口获取单元，适于接收窗口预览指令，并获取待预览窗口的标识信息；

显示数据绘制单元，适于根据所述标识信息，获取所述待预览窗口的显示数据，并将所述显示数据绘制到纹理显存单元；

显示数据预览单元，适于将所述纹理显存单元中的数据显示到预览窗口中。

9.一种计算设备，包括：

至少一个处理器；以及

存储器，存储有程序指令，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如权利要求1-7中任一项所述方法的指令。

10.一种存储有程序指令的可读存储介质，当所述程序指令被计算设备读取并执行时，使得所述移动终端执行如权利要求1-7中任一项所述方法。

Images