CN105828104A - 一种视频数据处理方法和装置 - Google Patents

Abstract

本公开提供了一种视频数据处理方法与装置，所述方法包括：预先建立空间轴，所述空间轴用于为视频数据配置空间特征；获取所述视频数据中的各视频数据帧；将各视频数据帧与所述空间轴进行绑定，确定空间视频数据帧；采用空间视频数据帧生成直播视频数据流。本公开提出的方法，生成了具有空间特性的视频数据，便于用户调节视频数据。

Description

一种视频数据处理方法和装置

技术领域

本公开涉及视频数据处理技术领域，特别是涉及一种视频数据处理方法和装置。

背景技术

在移动终端播放的视频数据，无论是点播视频数据，还是直播视频数据，都是二维视频；视频数据是基于时间轴进行播放，每个时间点对应一个视频画面。用户观看在观看视频时，无法通过缩放操作，调节观看视频包含对象的距离，清楚观看所述对象；即对视频中某一对象进行缩放时，整个视频画面在二维平面上均被等比例缩放。

发明内容

本公开实施例提供一种视频数据处理方法与装置，用以解决现有技术中用户通过对二维视频进行调节，无法清楚看到视频画面包含的任意对象的缺陷；实现用户可对视频数据进行任意操作，以清楚观看视频画面包含的任意对象。

为了解决上述问题，本公开公开了一种视频数据处理方法，具体步骤包括：预先建立空间轴，所述空间轴用于为视频数据配置空间特征；获取所述视频数据中的各视频数据帧；将各视频数据帧与所述空间轴进行绑定，确定空间视频数据帧；采用空间视频数据帧生成直播视频数据流。

本公开还公开一种视频处理装置，具体包括：

空间轴建立模块，用于预先建立空间轴，所述空间轴用于为视频数据配置空间特征；

数据帧获取模块，用于获取所述视频数据中的各视频数据帧；

绑定处理模块，用于将各视频数据帧与所述空间轴进行绑定，确定空间视频数据帧；

数据流生成模块，用于采用空间视频数据帧生成直播视频数据流。

与现有技术相比，本公开实施例包括以下优点：

本公开实施例提供的视频数据处理方法和装置，通过预先建立空间轴，再将获取的视频数据帧与空间轴进行绑定，生成空间视频数据帧，然后采用空间视频数据帧生成直播视频数据流；所述的直播视频数据流是带有空间特性的直播视频数据流，使得用户可以对播放的视频数据画面进行操作，调节视频播放画面，以清楚观看视频数据画面中包含的任意对象，提高了用户观看视频的效果。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本公开的一种视频数据处理方法实施例的步骤流程图；

图2是本公开的一种视频数据处理方法实施例的步骤流程图；

图3是本公开的一种视频数据处理装置实施例的结构框图；

图4是本公开的一种视频数据处理装置实施例的结构框图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

本公开实施例的核心构思之一在于，通过预先建立空间轴，生成具有空间特性的直播视频数据，使得用户可以对移动终端播放的视频数据进行缩放等操作，调节视频数据播放画面，以清楚的观看视频数据播放画面包含的任意对象。

参照图1，示出了本公开的一种视频数据处理方法实施例的步骤流程图，具体可以包括如下步骤：

步骤S101、预先建立空间轴，所述空间轴用于为视频数据配置空间特征。

在视频数据直播之前，预先为视频数据建立一个空间轴，建立空间轴的目的是为视频数据配置空间特性。空间特性，即是在原有的平面二维图像基础上，增加一个垂直于二维平面的空间，使得二维图像具有空间立体感，空间轴是垂直于二维平面的，空间轴建立后，是一个立体的模型，例如，以二维平面两个维度和垂直于二维平面的维度为半径的部分球体。

步骤S102、获取所述视频数据中的各视频数据帧。

视频数据由视频数据帧组成，可以在视频数据直播端获取视频数据，进而确定所述的视频数据对应的所有的视频数据帧，再获取各视频数据帧对应的相关信息。

步骤S103、将各视频数据帧与所述空间轴进行绑定，确定空间视频数据帧。

根据获取的视频数据帧的相关信息，确定视频数据帧与预先建立的空间轴的映射关系，依据映射关系，将各视频数据帧中包含所有的对象一一映射至空间轴上，并将各视频数据帧和所述空间轴进行绑定，确定具有空间特征的视频数据帧，此时视频数据帧具有三个维度，例如，现有视频数据帧只有长和宽的二维视频，空间视频数据帧不仅具有长和宽，还有深度，即垂直于长和宽平面的空间轴。

步骤S104、采用空间视频数据帧生成直播视频数据流。

将各视频数据帧生成对应的空间视频数据帧后，即可对应的生成空间视频数据流，形成直播视频数据流。生成的直播视频数据流具有空间特性，用户可以对所述直播视频数据流进行操作，对视频数据中的各细节进行查看。例如，对视频数据中某个对象进行放大查看细节时，如同走近该对象来观察一样。

本公开实施例，通过预先建立空间轴，再将获取的视频数据帧与空间轴进行绑定，生成空间视频数据帧，然后采用空间视频数据帧生成直播视频数据流；所述的直播视频数据流是带有空间特性的直播视频数据流，使得用户可以对播放的视频数据画面进行操作，调节视频播放画面，以清楚观看视频数据画面中包含的任意对象，提高了用户观看视频的效果。

参照图2，示出了本公开的一种视频数据处理方法实施例的步骤流程图，具体可以包括如下步骤：

步骤S201、预先建立空间轴，所述空间轴用于为视频数据配置空间特征。

在视频数据直播之前，预先为视频数据建立一个空间轴，建立空间轴的目的是为视频数据配置空间特性。空间特性，即是在原有的平面二维图像基础上，增加一个垂直于二维平面的空间，使得二维图像具有空间立体感，空间轴是垂直于二维平面的，空间轴建立后，是一个立体的模型，例如，以二维平面两个维度和垂直于二维平面的维度为半径的四分之一的球体。

例如，二维平面的长和宽分别为x正半轴正半和y正半轴，建立一个垂直与xy平面的的z轴，空间轴可以是以x轴为直径、y正半轴和z轴正半轴为半径的球体，用户观看的视角范围是球体x轴的180°范围内，y正半轴90°范围内，观看的深度即为z轴的长度，视角内的物体都是立体的。

步骤S202、获取所述视频数据中的各视频数据帧。

视频数据由视频数据帧组成，可以在视频数据直播端获取视频数据，进而确定所述的视频数据对应的所有的视频数据帧，再获取各视频数据帧对应的相关信息。

步骤S203、对各视频数据帧进行分析，确定所述视频数据帧的纹理信息。

可以对获取的各视频数据帧和对应的相关信息进行分析，确定各视频数据帧的图像纹理信息。其中，纹理是一种重要的视觉线索，在图像中普遍存在，图像纹理信息包括组成纹理的色调基元和色调基元间的相互关系，例如纹理ID(Identity)。所述纹理信息是实现视频数据帧与空间轴绑定的关键。

步骤S204、依据所述纹理信息将所述视频数据与所述空间轴进行绑定，确定空间视频数据帧。

依据所述纹理信息，确定所述纹理信息与所述视频数据的映射关系，将所述纹理信息与空间轴进行对应，再将所述纹理信息与所述视频数据进行绑定，进而使得各视频数据帧与空间轴绑定，确定空间视频数据帧，其中，所述的空间视频数据帧具有空间特征。

步骤S205、采用空间视频数据帧生成直播视频数据流。

将各视频数据帧生成对应的空间视频数据帧后，将各视频数据帧按照顺序进行组合，生成对应的空间视频数据流，形成直播视频数据流。服务器将生成的视频数据流发送至用户客户端，以使用户通过用户客户端进行直播视频数据的播放。

步骤S206、依据调整指令确定调整信息，依据所述调整信息对所述直播视频数据流进行调整。

用户在用户客户端观看直播视频数据流时，可以对所述直播视频数据流的任意播放画面进行操作，根据用户的调整指令确定对应的调整信息，然后依据所述的调整信息对直播视频数据流进行相应的调整，以满足用户的需求。例如，在直播过程中用户执行放大操作，如用户在移动设备上两个手指在某个位置上由闭合慢慢分开，该操作对应的调整信息为放大调整信息；因此，需要对所述位置的对象进行放大调整。

步骤S2061、将所述调整指令转换为与所述空间轴对应的调整信息。

调整指令除了对视频平面两个轴上的空间视频数据进行调整外，还对在空间轴上对视频数据进行调整，因此，需要将所述的调整指令转换至与空间轴对应的调整信息。例如，可以通过视点变换计算视点矩阵，再根据视点矩阵，将调整质量转换至与空间轴对应的调整信息，其中，视点变换是指，将物体在世界坐标系中的坐标，转换至视点坐标系的过程；视点矩阵包括当前变换矩阵、投影矩阵、朝向矩阵和最终变换矩阵。首先获取视频数据帧的当前变换矩阵，再依据陀螺仪、触摸屏的运动方向信息和陀螺仪的旋转信息计算出朝向矩阵；依据调整指令来计算投影矩阵，最终得到最终变换矩阵，从而确定所述调整指令与空间轴的调整信息。

步骤S2062、根据所述调整信息对所述直播视频数据流的空间视频数据帧进行调整，生成调整的直播视频数据。

确定在空间轴上的调整信息后，对所述视频数据流的空间数据帧进行调整，依据用户的调整指令，生成对应调整的直播视频数据。

公开本公开通过预先为视频数据建立空间轴，使得现有的二维视频数据具有空间特性，用户可以通过调节视频数据查看视频数据中的细节，使得用户有一种场景纵深的体验，在观看每个视频数据画面时，能体验到VR(虚拟现实)全景的效果。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开实施例并不受所描述的动作顺序的限制，因为依据本公开实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本公开实施例所必须的。

参照图3，示出了本公开一种视频数据处理装置实施例的结构框图，具体可以包括如下模块：空间轴建立模块301，数据帧获取模块302，绑定处理模块303，以及数据流生成模块304，其中：

所述空间轴建立模块301，用于预先建立空间轴，所述空间轴用于为视频数据配置空间特征。

所述数据帧获取模块302，用于获取所述视频数据中的各视频数据帧。

所述绑定处理模块303，用于将各视频数据帧与所述空间轴进行绑定，确定空间视频数据帧。

所述数据流生成模块304，用于采用空间视频数据帧生成直播视频数据流。

在视频数据直播之前，所述空间轴建立模块301，用于预先为视频数据建立一个空间轴，建立空间轴的目的是为视频数据配置空间特性。空间特性，即是在原有的平面二维图像基础上，增加一个垂直于二维平面的空间，使得二维图像具有空间立体感。由于视频数据由视频数据帧组成，因此，所述数据帧获取模块302，用于可以在视频数据直播端获取视频数据，进而确定所述的视频数据对应的所有的视频数据帧，再获取各视频数据帧对应的相关信息。所述绑定处理模块303，用于根据获取的视频数据帧的相关信息，确定视频数据帧与预先建立的空间轴的映射关系，依据映射关系，将各视频数据帧中包含所有的对象一一映射至空间轴上，并将各视频数据帧和所述空间轴进行绑定，确定具有空间特征的视频数据帧。将各视频数据帧生成对应的空间视频数据帧后，所述数据流生成模块304，即可对应的生成空间视频数据流，形成直播视频数据流。生成的直播视频数据流具有空间特性，用户可以对所述直播视频数据流进行操作，对视频数据中的各细节进行查看。例如，对视频数据中某个对象进行放大查看细节时，如同走近该对象来观察一样。

参照图4，示出了本公开一种视频数据处理装置实施例的结构框图。

本公开实施例中，所述绑定处理模块403包括视频数据帧分析子模块4031和空间视频数据帧确定子模块4032，其中：

所述数据帧分析子模块4031，用于对各视频数据帧进行分析，确定所述视频数据帧的纹理信息。可以对获取的各视频数据帧和对应的相关信息进行分析，确定各视频数据帧的图像纹理信息。其中，纹理是一种重要的视觉线索，在图像中普遍存在，图像纹理信息包括组成纹理的色调基元和色调基元间的相互关系，例如纹理ID(Identity)。所述纹理信息是实现视频数据帧与空间轴绑定的关键。

所述数据帧确定子模块4032，用于依据所述纹理信息将所述视频数据与所述空间轴进行绑定，确定空间视频数据帧。依据所述纹理信息，确定所述纹理信息与所述视频数据的映射关系，将所述纹理信息与空间轴进行对应，再将所述纹理信息与所述视频数据进行绑定，进而使得各视频数据帧与空间轴绑定，确定空间视频数据帧，其中，所述的空间视频数据帧具有空间特征。

本公开实施例中，所述装置还包括调整模块405，用于依据调整指令确定调整信息，依据所述调整信息对所述直播视频数据流进行调整。用户在用户客户端观看直播视频数据流时，可以对所述直播视频数据流的任意播放画面进行操作，根据用户的调整指令确定对应的调整信息，然后依据所述的调整信息对直播视频数据流进行相应的调整，以满足用户的需求。例如，在直播过程中用户执行放大操作，如用户在移动设备上两个手指在某个位置上由闭合慢慢分开，该操作对应的调整信息为放大调整信息；因此，需要对所述位置的对象进行放大调整。

本公开实施例中，所述调整模块405，包括：信息转换子模块4051和数据生成子模块4052，其中：

所述信息转换子模块4051，用于将所述调整指令转换为与所述空间轴对应的调整信息。调整指令除了对视频平面两个轴上的空间视频数据进行调整外，还对在空间轴上对视频数据进行调整，因此，需要将所述的调整指令转换至与空间轴对应的调整信息。例如，可以计算视点矩阵，再根据视点矩阵，将调整质量转换至与空间轴对应的调整信息。其中，视点变换是指，将物体在世界坐标系中的坐标，转换至视点坐标系的过程；视点矩阵包括当前变换矩阵、投影矩阵、朝向矩阵和最终变换矩阵。首先获取视频数据帧的当前变换矩阵，再依据陀螺仪、触摸屏的运动方向信息和陀螺仪的旋转信息计算出朝向矩阵；依据调整指令来计算投影矩阵，最终得到最终变换矩阵，从而确定所述调整指令与空间轴的调整信息。

所述数据生成子模块4052，用于根据所述调整信息对所述直播视频数据流的空间视频数据帧进行调整，生成调整的直播视频数据。确定在空间轴上的调整信息后，对所述视频数据流的空间数据帧进行调整，依据用户的调整指令，生成对应调整的直播视频数据。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本公开实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本公开实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开实施例是参照根据本公开实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本公开实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本公开所提供的一种视频数据处理方法和一种视频数据处理装置，进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域的一般技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。

Claims (8)

1.一种视频数据处理方法，其中，包括：

预先建立空间轴，所述空间轴用于为视频数据配置空间特征；

获取所述视频数据中的各视频数据帧；

将各视频数据帧与所述空间轴进行绑定，确定空间视频数据帧；

采用空间视频数据帧生成直播视频数据流。

2.根据权利要求1所述方法，其中，将各视频数据帧与所述空间轴进行绑定，确定空间视频数据帧，包括：

对各视频数据帧进行分析，确定所述视频数据帧的纹理信息；

依据所述纹理信息将所述视频数据与所述空间轴进行绑定，确定空间视频数据帧。

3.根据权利要求1所述方法，其中，还包括：

依据调整指令确定调整信息，依据所述调整信息对所述直播视频数据流进行调整。

4.根据权利要求3所述方法，其中，依据调整指令确定调整信息，依据所述调整信息对所述直播视频数据流进行调整，包括：

将所述调整指令转换为与所述空间轴对应的调整信息；

根据所述调整信息对所述直播视频数据流的空间视频数据帧进行调整，生成调整的直播视频数据。

5.一种视频数据处理装置，其中，包括：

空间轴建立模块，用于预先建立空间轴，所述空间轴用于为视频数据配置空间特征；

数据帧获取模块，用于获取所述视频数据中的各视频数据帧；

绑定处理模块，用于将各视频数据帧与所述空间轴进行绑定，确定空间视频数据帧；

数据流生成模块，用于采用空间视频数据帧生成直播视频数据流。

6.根据权利要求5所述装置，其中，所述绑定处理模块包括：

数据帧分析子模块，用于对各视频数据帧进行分析，确定所述视频数据帧的纹理信息；

数据帧确定子模块，用于依据所述纹理信息将所述视频数据与所述空间轴进行绑定，确定空间视频数据帧。

7.根据权利要求5所述装置，其中，还包括：

调整模块，用于依据调整指令确定调整信息，依据所述调整信息对所述直播视频数据流进行调整。

8.根据权利要求7所述装置，其中，所述调整模块包括：

信息转换子模块，用于将所述调整指令转换为与所述空间轴对应的调整信息；

数据生成子模块，用于根据所述调整信息对所述直播视频数据流的空间视频数据帧进行调整，生成调整的直播视频数据。