CN105404649A - 一种数据处理方法及装置 - Google Patents

Abstract

本发明是关于一种数据处理方法及装置，其中，方法包括：获取视频数据；对视频数据进行解封装操作，得到多媒体文件碎片和多媒体文件的碎片总数信息；控制多个音视频处理装置将多媒体文件的碎片总数信息转发至任务管理装置，以控制任务管理装置根据碎片总数信息生成碎片位图；将多媒体文件碎片分发至多个音视频处理装置进行处理；控制任务管理装置接收处理后的多媒体文件碎片，利用碎片位图记录各个多媒体文件碎片的处理状态；根据处理状态，确定是否对处理后的多媒体文件碎片进行封装操作。通过该技术方案，保证了处理后的视频数据的完整性，大大减少了处理所需的时间，同时降低了***的处理压力，减少了***崩溃的可能性。

Description

一种数据处理方法及装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法及装置。

背景技术

随着网络和文化事业的发展，音视频资源极大丰富，对音视频文件的处理的需要也快速增长。

音视频文件处理的大致流程如下：首先将需处理的音视频文件解封装成为视频帧序列和音频帧序列；然后将视频帧序列和音频帧序列分别解码为RAW格式和PCM格式数据；对RAW格式和PCM格式数据进行处理；再将RAW格式和PCM格式的数据编码为所需格式的音频帧序列和视频帧序列；最后将音频帧序列和视频帧序列封装成需要的文件格式。

以上处理是通过计算机或计算机构成的数据处理装置来完成的，现有的这些计算机或数据处理装置是依靠本机的软硬件资源来实现对文件的处理。音视频文件处理的计算量庞大，对处理装置的运算能力和存储资源消耗很大，而且随着高清音视频文件的日益增多和处理需求的不断增大，依靠单机进行音视频文件处理的瓶颈问题日益突出，单机处理速度慢且容易发生***崩溃。即使用户使用配置很高的计算机也难以保证处理的速度和稳定程度，尤其无法满足大批量和时间要求很高的处理任务。

鉴于现有技术中存在的以上问题，提供了一种分布式处理***，使用多台计算机或处理装置来实现并行处理，并通过本发明的数据处理方法为分布式处理***中的各个装置进行任务管理，从而大大减少了处理所需的时间，同时降低了***的处理压力，减少了***崩溃的可能性。

发明内容

本发明实施例提供一种数据处理方法及装置，包括如下技术方案：

根据本发明实施例的第一方面，提供一种数据处理方法，用于分布式处理***，所述***包括多个音视频处理装置和任务管理装置，所述方法包括：

获取视频数据；

对所述视频数据进行解封装操作，以得到所述视频数据对应的多媒体文件碎片和所述多媒体文件的碎片总数信息；

控制所述多个音视频处理装置将所述多媒体文件的碎片总数信息转发至所述任务管理装置，以控制所述任务管理装置根据所述碎片总数信息创建所述多媒体文件对应的任务，并根据所述碎片总数信息生成碎片位图，其中，所述碎片位图中的位数与碎片总数一致，所述碎片位图中的每位对应一个碎片；

将所述多媒体文件碎片分发至多个音视频处理装置进行处理，并控制每个音视频处理装置在处理完成对应的多媒体文件碎片后发送至所述任务管理装置；

控制所述任务管理装置接收处理后的多媒体文件碎片，并利用所述碎片位图记录各个多媒体文件碎片的处理状态；

根据所述碎片位图中多媒体文件碎片的处理状态，确定是否对处理后的多媒体文件碎片进行封装操作，以得到处理后的视频数据。

在一个实施例中，所述多媒体文件碎片的名称中包括多媒体文件名称、碎片名称和/或多媒体文件类型。

在一个实施例中，所述碎片位图中的每位包括第一状态和第二状态，所述第一状态用于表示已接收到所述位对应的处理后的多媒体碎片，所述第二状态用于表示未接收到所述位对应的处理后的多媒体碎片。

在一个实施例中，根据所述碎片位图中多媒体文件碎片的处理状态，确定是否对处理后的多媒体文件碎片进行封装操作，包括：

当所述碎片位图中的所有位均处于第一状态时，确定对处理后的多媒体文件碎片进行封装操作。

在一个实施例中，根据所述碎片位图中多媒体文件碎片的处理状态，确定是否对处理后的多媒体文件碎片进行封装操作，包括：

判断所述任务管理装置当前是否处于空闲状态；

在所述任务管理装置当前处于空闲状态时，在所述碎片位图中处于第一状态的位数超过预设位数时，确定对处理后的多媒体文件碎片进行封装操作。

根据本发明实施例的第二方面，提供一种数据处理装置，用于分布式处理***，所述***包括多个音视频处理装置和任务管理装置，其特征在于，所述装置包括：

获取模块，用于获取视频数据；

解封装模块，用于对所述视频数据进行解封装操作，以得到所述视频数据对应的多媒体文件碎片和所述多媒体文件的碎片总数信息；

控制模块，用于控制所述多个音视频处理装置将所述多媒体文件的碎片总数信息转发至所述任务管理装置，以控制所述任务管理装置根据所述碎片总数信息创建所述多媒体文件对应的任务，并根据所述碎片总数信息生成碎片位图，其中，所述碎片位图中的位数与碎片总数一致，所述碎片位图中的每位对应一个碎片；

分发模块，用于将所述多媒体文件碎片分发至多个音视频处理装置进行处理，并控制每个音视频处理装置在处理完成对应的多媒体文件碎片后发送至所述任务管理装置；

记录模块，用于控制所述任务管理装置接收处理后的多媒体文件碎片，并利用所述碎片位图记录各个多媒体文件碎片的处理状态；

确定模块，用于根据所述碎片位图中多媒体文件碎片的处理状态，确定是否对处理后的多媒体文件碎片进行封装操作，以得到处理后的视频数据。

在一个实施例中，所述多媒体文件碎片的名称中包括多媒体文件名称、碎片名称和/或多媒体文件类型。

在一个实施例中，所述碎片位图中的每位包括第一状态和第二状态，所述第一状态用于表示已接收到所述位对应的处理后的多媒体碎片，所述第二状态用于表示未接收到所述位对应的处理后的多媒体碎片。

在一个实施例中，所述确定模块用于：

当所述碎片位图中的所有位均处于第一状态时，确定对处理后的多媒体文件碎片进行封装操作。

在一个实施例中，所述确定模块包括：

判断子模块，用于判断所述任务管理装置当前是否处于空闲状态；

确定子模块，用于在所述任务管理装置当前处于空闲状态时，在所述碎片位图中处于第一状态的位数超过预设位数时，确定对处理后的多媒体文件碎片进行封装操作。

本发明的实施例提供的技术方案可以包括以下有益效果：

上述技术方案，使用多个音视频处理装置来对视频文件进行并行处理，并通过碎片位图记录处理后的各个多媒体文件碎片的处理状态，从而大大减少了处理所需的时间，同时降低了***的处理压力，减少了***崩溃的可能性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的数据处理方法的流程图。

图2是根据一示例性实施例示出的一种数据处理方法中步骤S106的流程图。

图3是根据一示例性实施例示出的另一种数据处理方法中步骤S106的流程图。

图4是根据一示例性实施例示出的数据处理装置的框图。

图5是根据一示例性实施例示出的数据处理装置中确定模块的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

本发明实施例提供了一种数据处理方法，如图1所示，该方法包括步骤S101-S102：

在步骤S101中，获取视频数据；

在步骤S102中，对视频数据进行解封装操作，以得到视频数据对应的多媒体文件碎片和多媒体文件的碎片总数信息；

在步骤S103中，控制多个音视频处理装置将多媒体文件的碎片总数信息转发至任务管理装置，以控制任务管理装置根据碎片总数信息创建多媒体文件对应的任务，并根据碎片总数信息生成碎片位图，其中，碎片位图中的位数与碎片总数一致，碎片位图中的每位对应一个碎片；

在步骤S104中，将多媒体文件碎片分发至多个音视频处理装置进行处理，并控制每个音视频处理装置在处理完成对应的多媒体文件碎片后发送至任务管理装置；

在步骤S105中，控制任务管理装置接收处理后的多媒体文件碎片，并利用碎片位图记录各个多媒体文件碎片的处理状态；

在步骤S106中，根据碎片位图中多媒体文件碎片的处理状态，确定是否对处理后的多媒体文件碎片进行封装操作，以得到处理后的视频数据。

在该实施例中，使用多个音视频处理装置来对视频文件进行并行处理，并通过碎片位图记录处理后的各个多媒体文件碎片的处理状态，根据碎片位图中多媒体文件碎片的处理状态确定是否进行封装操作，得到处理后的视频数据，从而保证了处理后的视频数据的完整性，大大减少了处理所需的时间，同时降低了***的处理压力，减少了***崩溃的可能性。

在一个实施例中，多媒体文件碎片的名称中包括多媒体文件名称、碎片名称和/或多媒体文件类型。其中，多媒体文件包括视频文件和音频文件。则多媒体文件碎片名称可以表示为AT-XX-XXX.goa或者VT-XX-XXX.gov，其中，AT表示音频，VT表示视频，XX表示文件名称，XXX表示碎片名称。多媒体文件碎片总数信息则可以表示为AT-XX.total文件和VT-XX.total文件。

在一个实施例中，碎片位图中的每位包括第一状态和第二状态，第一状态用于表示已接收到位对应的处理后的多媒体碎片，第二状态用于表示未接收到位对应的处理后的多媒体碎片。

在该实施例中，可以在碎片位图中，以不同的数值来标识多媒体碎片的接收状态，如在未接收到碎片位图中该位对应的处理后的多媒体碎片时，该位以0表示，在接收到碎片位图中该位对应的处理后的多媒体碎片时，该位以1表示。下面以一个具体实施例，详细说明本发明的技术方案。

本发明中，因为音视频处理装置不处理多媒体文件碎片总数信息，收到后会立刻发送给任务管理装置。所以，任务管理装置会先收到多媒体文件碎片总数信息，并根据文件名称创建任务，等待音视频处理装置发送的处理后的多媒体文件碎片，即A-XX-XXX.goa文件和V-XX-XXX.gop文件。任务管理装置根据媒体文件碎片总数信息中的碎片总数生成位图，位图中的位数与碎片总数一致，每位的初始值为0。每收到一个A-XX-XXX.goa或V-XX-XXX.gop文件，将位图中的相应位置修改为1。

如图2所示，在一个实施例中，上述步骤S106包括步骤S201：

在步骤S201中，当碎片位图中的所有位均处于第一状态时，确定对处理后的多媒体文件碎片进行封装操作。

在上述实施例中，当位图的所有位均为1时，即表示接收完整。接收完整后，即音频和视频均接收完整，则开始进行封装。封装时，按序读取各碎片的数据，进行封装。

其中，可以在碎片接收完整时进行封装，当然，也可以边接收边进行封装。

如图3所示，在一个实施例中，上述步骤S106还可以包括步骤S301-S302：

在步骤S301中，判断任务管理装置当前是否处于空闲状态；

在步骤S302中，在任务管理装置当前处于空闲状态时，在碎片位图中处于第一状态的位数超过预设位数时，确定对处理后的多媒体文件碎片进行封装操作。

在该实施例中，如果任务管理装处于空闲状态，即使某个文件的碎片没有全到到来，但是碎片位图中处于第一状态的位数超过预设位数，比如收到一半或大半的碎片时，也可以开始进行封装。这样，既保证了处理速度，又不会过多占用任务管理装置的资源。

当然，还可以在任务管理装置上开多线程，一个线程处理一个任务，也就是一个文件。哪个文件的碎片到来，就继续处理哪个任务。在磁盘IO的限制下，线程数量有上限，如上限为5。

下述为本发明装置实施例，可以用于执行本发明方法实施例。

图4是根据一示例性实施例示出的一种数据处理装置的框图，如图4所示，该数据处理装置包括：

获取模块41，用于获取视频数据；

解封装模块42，用于对所述视频数据进行解封装操作，以得到所述视频数据对应的多媒体文件碎片和所述多媒体文件的碎片总数信息；

控制模块43，用于控制所述多个音视频处理装置将所述多媒体文件的碎片总数信息转发至所述任务管理装置，以控制所述任务管理装置根据所述碎片总数信息创建所述多媒体文件对应的任务，并根据所述碎片总数信息生成碎片位图，其中，所述碎片位图中的位数与碎片总数一致，所述碎片位图中的每位对应一个碎片；

分发模块44，用于将所述多媒体文件碎片分发至多个音视频处理装置进行处理，并控制每个音视频处理装置在处理完成对应的多媒体文件碎片后发送至所述任务管理装置；

记录模块45，用于控制所述任务管理装置接收处理后的多媒体文件碎片，并利用所述碎片位图记录各个多媒体文件碎片的处理状态；

确定模块46，用于根据所述碎片位图中多媒体文件碎片的处理状态，确定是否对处理后的多媒体文件碎片进行封装操作，以得到处理后的视频数据。

在一个实施例中，所述多媒体文件碎片的名称中包括多媒体文件名称、碎片名称和/或多媒体文件类型。

在一个实施例中，所述碎片位图中的每位包括第一状态和第二状态，所述第一状态用于表示已接收到所述位对应的处理后的多媒体碎片，所述第二状态用于表示未接收到所述位对应的处理后的多媒体碎片。

在一个实施例中，所述确定模块用于：

当所述碎片位图中的所有位均处于第一状态时，确定对处理后的多媒体文件碎片进行封装操作。

如图5所示，在一个实施例中，所述确定模块46包括：

判断子模块51，用于判断所述任务管理装置当前是否处于空闲状态；

确定子模块52，用于在所述任务管理装置当前处于空闲状态时，在所述碎片位图中处于第一状态的位数超过预设位数时，确定对处理后的多媒体文件碎片进行封装操作。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种数据处理方法，用于分布式处理***，所述***包括多个音视频处理装置和任务管理装置，其特征在于，所述方法包括：

获取视频数据；

对所述视频数据进行解封装操作，以得到所述视频数据对应的多媒体文件碎片和所述多媒体文件的碎片总数信息；

控制所述多个音视频处理装置将所述多媒体文件的碎片总数信息转发至所述任务管理装置，以控制所述任务管理装置根据所述碎片总数信息创建所述多媒体文件对应的任务，并根据所述碎片总数信息生成碎片位图，其中，所述碎片位图中的位数与碎片总数一致，所述碎片位图中的每位对应一个碎片；

将所述多媒体文件碎片分发至多个音视频处理装置进行处理，并控制每个音视频处理装置在处理完成对应的多媒体文件碎片后发送至所述任务管理装置；

控制所述任务管理装置接收处理后的多媒体文件碎片，并利用所述碎片位图记录各个多媒体文件碎片的处理状态；

根据所述碎片位图中多媒体文件碎片的处理状态，确定是否对处理后的多媒体文件碎片进行封装操作，以得到处理后的视频数据。

2.根据权利要求1所述的方法，其特征在于，所述多媒体文件碎片的名称中包括多媒体文件名称、碎片名称和/或多媒体文件类型。

3.根据权利要求1所述的方法，其特征在于，所述碎片位图中的每位包括第一状态和第二状态，所述第一状态用于表示已接收到所述位对应的处理后的多媒体碎片，所述第二状态用于表示未接收到所述位对应的处理后的多媒体碎片。

4.根据权利要求3所述的方法，其特征在于，根据所述碎片位图中多媒体文件碎片的处理状态，确定是否对处理后的多媒体文件碎片进行封装操作，包括：

当所述碎片位图中的所有位均处于第一状态时，确定对处理后的多媒体文件碎片进行封装操作。

5.根据权利要求3所述的方法，其特征在于，根据所述碎片位图中多媒体文件碎片的处理状态，确定是否对处理后的多媒体文件碎片进行封装操作，包括：

判断所述任务管理装置当前是否处于空闲状态；

在所述任务管理装置当前处于空闲状态时，在所述碎片位图中处于第一状态的位数超过预设位数时，确定对处理后的多媒体文件碎片进行封装操作。

6.一种数据处理装置，用于分布式处理***，所述***包括多个音视频处理装置和任务管理装置，其特征在于，所述装置包括：

获取模块，用于获取视频数据；

解封装模块，用于对所述视频数据进行解封装操作，以得到所述视频数据对应的多媒体文件碎片和所述多媒体文件的碎片总数信息；

控制模块，用于控制所述多个音视频处理装置将所述多媒体文件的碎片总数信息转发至所述任务管理装置，以控制所述任务管理装置根据所述碎片总数信息创建所述多媒体文件对应的任务，并根据所述碎片总数信息生成碎片位图，其中，所述碎片位图中的位数与碎片总数一致，所述碎片位图中的每位对应一个碎片；

分发模块，用于将所述多媒体文件碎片分发至多个音视频处理装置进行处理，并控制每个音视频处理装置在处理完成对应的多媒体文件碎片后发送至所述任务管理装置；

记录模块，用于控制所述任务管理装置接收处理后的多媒体文件碎片，并利用所述碎片位图记录各个多媒体文件碎片的处理状态；

确定模块，用于根据所述碎片位图中多媒体文件碎片的处理状态，确定是否对处理后的多媒体文件碎片进行封装操作，以得到处理后的视频数据。

7.根据权利要求6所述的装置，其特征在于，所述多媒体文件碎片的名称中包括多媒体文件名称、碎片名称和/或多媒体文件类型。

8.根据权利要求6所述的装置，其特征在于，所述碎片位图中的每位包括第一状态和第二状态，所述第一状态用于表示已接收到所述位对应的处理后的多媒体碎片，所述第二状态用于表示未接收到所述位对应的处理后的多媒体碎片。

9.根据权利要求8所述的装置，其特征在于，所述确定模块用于：

当所述碎片位图中的所有位均处于第一状态时，确定对处理后的多媒体文件碎片进行封装操作。

10.根据权利要求8所述的装置，其特征在于，所述确定模块包括：

判断子模块，用于判断所述任务管理装置当前是否处于空闲状态；

确定子模块，用于在所述任务管理装置当前处于空闲状态时，在所述碎片位图中处于第一状态的位数超过预设位数时，确定对处理后的多媒体文件碎片进行封装操作。