CN105338374A - 一种数据处理方法及装置 - Google Patents
一种数据处理方法及装置 Download PDFInfo
- Publication number
- CN105338374A CN105338374A CN201510719619.2A CN201510719619A CN105338374A CN 105338374 A CN105338374 A CN 105338374A CN 201510719619 A CN201510719619 A CN 201510719619A CN 105338374 A CN105338374 A CN 105338374A
- Authority
- CN
- China
- Prior art keywords
- multimedia file
- fragment
- processing unit
- video processing
- audio frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 239000012634 fragment Substances 0.000 claims abstract description 190
- 238000000034 method Methods 0.000 claims abstract description 112
- 238000013467 fragmentation Methods 0.000 claims description 61
- 238000006062 fragmentation reaction Methods 0.000 claims description 61
- 238000004148 unit process Methods 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 238000005538 encapsulation Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明是关于一种数据处理方法及装置,其中,方法包括:接收多个音视频处理装置发送的视频数据的多媒体文件的碎片总数信息和处理后的多媒体文件碎片;确定在当前已接收时长大于预设接收时长时,是否存在未接收到的目标多媒体文件碎片;在存在时,向调度装置发送超时请求;根据超时请求和已记录的音视频处理装置和任务、多媒体文件碎片之间的对应关系,确定对应的目标音视频处理装置;获取目标视频处理装置的当前工作状态,确定是否将目标多媒体文件碎片发送至其他音视频处理装置。通过该技术方案,在音视频处理装置出现异常时,可以及时发现,并及时将其处理的多媒体碎片文件转交其他音视频处理装置进行处理,从而保证处理速度。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据处理方法及装置。
背景技术
随着网络和文化事业的发展,音视频资源极大丰富,对音视频文件的处理的需要也快速增长。
音视频文件处理的大致流程如下:首先将需处理的音视频文件解封装成为视频帧序列和音频帧序列;然后将视频帧序列和音频帧序列分别解码为RAW格式和PCM格式数据;对RAW格式和PCM格式数据进行处理;再将RAW格式和PCM格式的数据编码为所需格式的音频帧序列和视频帧序列;最后将音频帧序列和视频帧序列封装成需要的文件格式。
以上处理是通过计算机或计算机构成的数据处理装置来完成的,现有的这些计算机或数据处理装置是依靠本机的软硬件资源来实现对文件的处理。音视频文件处理的计算量庞大,对处理装置的运算能力和存储资源消耗很大,而且随着高清音视频文件的日益增多和处理需求的不断增大,依靠单机进行音视频文件处理的瓶颈问题日益突出,单机处理速度慢且容易发生***崩溃。即使用户使用配置很高的计算机也难以保证处理的速度和稳定程度,尤其无法满足大批量和时间要求很高的处理任务。
鉴于现有技术中存在的以上问题,提供了一种分布式处理***,使用多台计算机或处理装置来实现并行处理,并通过本发明的数据处理方法为分布式处理***中的各个装置进行任务管理,从而大大减少了处理所需的时间,同时降低了***的处理压力,减少了***崩溃的可能性。
发明内容
本发明实施例提供一种数据处理方法及装置,包括如下技术方案:
根据本发明实施例的第一方面,提供一种数据处理方法,用于分布式处理***,所述分布式处理***包括多个音视频处理装置,所述方法包括:
接收所述多个音视频处理装置发送的视频数据的多媒体文件的碎片总数信息和处理后的多媒体文件碎片;
根据所述碎片总数信息和已接收到的处理后的多媒体文件碎片确定在当前已接收时长大于预设接收时长时,是否存在未接收到的目标多媒体文件碎片;
在确定存在所述目标多媒体文件碎片时,向所述调度装置发送超时请求,所述超时请求包括所述目标多媒体文件碎片的身份标识,以及所述目标多媒体文件所属任务的身份标识;
控制所述调度装置根据所述超时请求和已记录的音视频处理装置和任务、多媒体文件碎片之间的对应关系,确定所述目标多媒体文件碎片对应的目标音视频处理装置;
获取所述目标视频处理装置的当前工作状态,根据所述当前工作状态确定是否将所述目标多媒体文件碎片发送至所述多个音视频处理装置中的其他音视频处理装置。
在一个实施例中,所述根据所述当前工作状态确定是否将所述目标多媒体文件碎片发送至所述多个音视频处理装置中的其他音视频处理装置,包括:
判断所述当前工作状态是否正常;
在判断所述当前工作状态正常时,忽略所述超时请求,等待所述目标音视频处理装置处理所述目标多媒体文件碎片;
在判断所述当前工作状态不正常时,将所述目标多媒体文件碎片发送至所述多个音视频处理装置中的其他音视频处理装置进行处理。
在一个实施例中,所述***还包括解封装装置,在接收所述多个音视频处理装置发送的多媒体文件的碎片总数信息和处理后的多媒体文件碎片之前,所述方法还包括:
控制所述调度装置获取所述视频数据;
控制所述解封装装置对所述视频数据进行解封装操作,以得到所述视频数据对应的所述多媒体文件碎片和所述多媒体文件的碎片总数信息;
控制所述调度模块将所述多媒体文件碎片分发至多个音视频处理装置进行处理。
在一个实施例中,所述根据所述碎片总数信息和已接收到的处理后的多媒体文件碎片确定在当前已接收时长大于预设接收时长时,是否存在未接收到的目标多媒体文件碎片,包括:
根据所述碎片总数信息创建所述多媒体文件对应的任务,并根据所述碎片总数信息生成碎片位图,利用所述碎片位图记录所述多媒体文件碎片的接收状态,其中,所述碎片位图中的位数与碎片总数一致,所述碎片位图中的每位对应一个碎片,所述碎片位图中的每位包括第一状态和第二状态,所述第一状态用于表示已接收到所述位对应的处理后的多媒体文件碎片,所述第二状态用于表示未接收到所述位对应的处理后的多媒体文件碎片;
判断所述碎片位图中,是否存在处于第二状态的时长大于所述预设接收时长的目标位;
在判断所述碎片位图中存在所述目标位时,确定所述目标位对应的多媒体文件碎片为所述目标多媒体文件碎片。
在一个实施例中,所述方法还包括:
当接收到所述视频数据对应的所有处理后的多媒体文件碎片后,确定对所述所有处理后的多媒体文件碎片进行封装操作,以得到处理后的视频数据。
根据本发明实施例的第二方面,提供一种数据处理装置,用于分布式处理***,所述分布式处理***包括多个音视频处理装置,所述装置包括:
接收模块,用于接收所述多个音视频处理装置发送的视频数据的多媒体文件的碎片总数信息和处理后的多媒体文件碎片;
第一确定模块,用于根据所述碎片总数信息和已接收到的处理后的多媒体文件碎片确定在当前已接收时长大于预设接收时长时,是否存在未接收到的目标多媒体文件碎片;
发送模块,用于在确定存在所述目标多媒体文件碎片时,向所述调度装置发送超时请求,所述超时请求包括所述目标多媒体文件碎片的身份标识,以及所述目标多媒体文件所属任务的身份标识;
第二确定模块,用于控制所述调度装置根据所述超时请求和已记录的音视频处理装置和任务、多媒体文件碎片之间的对应关系,确定所述目标多媒体文件碎片对应的目标音视频处理装置;
第三确定模块,用于获取所述目标视频处理装置的当前工作状态,根据所述当前工作状态确定是否将所述目标多媒体文件碎片发送至所述多个音视频处理装置中的其他音视频处理装置。
在一个实施例中,所述第三确定模块包括:
判断子模块,用于判断所述当前工作状态是否正常;
忽略子模块,用于在判断所述当前工作状态正常时,忽略所述超时请求,等待所述目标音视频处理装置处理所述目标多媒体文件碎片;
发送子模块,用于在判断所述当前工作状态不正常时,将所述目标多媒体文件碎片发送至所述多个音视频处理装置中的其他音视频处理装置进行处理。
在一个实施例中,所述***还包括解封装装置,所述装置还包括:
获取模块,用于在接收所述多个音视频处理装置发送的多媒体文件的碎片总数信息和处理后的多媒体文件碎片之前,控制所述调度装置获取所述视频数据;
解封装模块,用于控制所述解封装装置对所述视频数据进行解封装操作,以得到所述视频数据对应的所述多媒体文件碎片和所述多媒体文件的碎片总数信息;
分发模块,用于控制所述调度模块将所述多媒体文件碎片分发至多个音视频处理装置进行处理。
在一个实施例中,所述第一确定模块包括:
记录子模块,用于根据所述碎片总数信息创建所述多媒体文件对应的任务,并根据所述碎片总数信息生成碎片位图,利用所述碎片位图记录所述多媒体文件碎片的接收状态,其中,所述碎片位图中的位数与碎片总数一致,所述碎片位图中的每位对应一个碎片,所述碎片位图中的每位包括第一状态和第二状态,所述第一状态用于表示已接收到所述位对应的处理后的多媒体文件碎片,所述第二状态用于表示未接收到所述位对应的处理后的多媒体文件碎片;
判断子模块,用于判断所述碎片位图中,是否存在处于第二状态的时长大于所述预设接收时长的目标位;
确定子模块,用于在判断所述碎片位图中存在所述目标位时,确定所述目标位对应的多媒体文件碎片为所述目标多媒体文件碎片。
在一个实施例中,所述装置还包括:
封装模块,用于当接收到所述视频数据对应的所有处理后的多媒体文件碎片后,确定对所述所有处理后的多媒体文件碎片进行封装操作,以得到处理后的视频数据。
本发明的实施例提供的技术方案可以包括以下有益效果:
上述技术方案,在接收多个音视频处理装置发送的处理后的多媒体文件碎片时,如果超过预设接收时长时,仍存在未接收到的目标多媒体文件碎片,则确定目标多媒体文件碎片所对应的目标音视频处理装置,进而获取目标音视频处理装置的工作状态,根据其工作状态确定其是否发生异常,从而确定是否将目标多媒体文件碎片发送至其他音视频处理装置进行处理,这样,在音视频处理装置出现异常时,可以及时发现,并及时将其处理的多媒体碎片文件转交其他音视频处理装置进行处理,从而保证处理速度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的数据处理方法的流程图。
图2是根据一示例性实施例示出的数据处理方法中步骤S105的流程图。
图3是根据一示例性实施例示出的另一种数据处理方法的流程图。
图4是根据一示例性实施例示出的数据处理方法中步骤S102的流程图。
图5是根据一示例性实施例示出的再一种数据处理方法的流程图。
图6是根据一示例性实施例示出的数据处理装置的框图。
图7是根据一示例性实施例示出的数据处理中第三确定模块的框图。
图8是根据一示例性实施例示出的另一种数据处理装置的框图。
图9是根据一示例性实施例示出的数据处理中第一确定模块的框图。
图10根据一示例性实施例示出的再一种数据处理装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
本发明实施例提供了一种数据处理方法,如图1所示,该方法包括步骤S101-S105:
在步骤S101中,接收多个音视频处理装置发送的视频数据的多媒体文件的碎片总数信息和处理后的多媒体文件碎片;
在步骤S102中,根据碎片总数信息和已接收到的处理后的多媒体文件碎片确定在当前已接收时长大于预设接收时长时,是否存在未接收到的目标多媒体文件碎片;
在步骤S103中,在确定存在目标多媒体文件碎片时,向调度装置发送超时请求,超时请求包括目标多媒体文件碎片的身份标识,以及目标多媒体文件所属任务的身份标识;
在步骤S104中,控制调度装置根据超时请求和已记录的音视频处理装置和任务、多媒体文件碎片之间的对应关系,确定目标多媒体文件碎片对应的目标音视频处理装置;
在步骤S105中,获取目标视频处理装置的当前工作状态,根据当前工作状态确定是否将目标多媒体文件碎片发送至多个音视频处理装置中的其他音视频处理装置。
在该实施例中,在接收多个音视频处理装置发送的处理后的多媒体文件碎片时,如果超过预设接收时长时,仍存在未接收到的目标多媒体文件碎片,则确定目标多媒体文件碎片所对应的目标音视频处理装置,进而获取目标音视频处理装置的工作状态,根据其工作状态确定其是否发生异常,从而确定是否将目标多媒体文件碎片发送至其他音视频处理装置进行处理,这样,在音视频处理装置出现异常时,可以及时发现,并及时将其处理的多媒体碎片文件转交其他音视频处理装置进行处理,从而保证处理速度。
如图2所示,在一个实施例中,上述步骤S105包括步骤S201-S203:
在步骤S201中,判断当前工作状态是否正常;
在步骤S202中,在判断当前工作状态正常时,忽略超时请求,等待目标音视频处理装置处理目标多媒体文件碎片;
在步骤S203中,在判断当前工作状态不正常时,将目标多媒体文件碎片发送至多个音视频处理装置中的其他音视频处理装置进行处理。
在该实施例中,在预设接收时长内未接收到目标多媒体文件碎片时,判断其对应的目标音视频处理装置的当前工作状态是否正常,如果其当前工作状态正常,则可以忽略超时请求,等待该目标音视频处理装置处理完毕,如果其当前工作状态不正常,比如,检测到目标音视频处理装置断电等,则将该目标多媒体文件碎片发送至其他音视频处理装置,从而保证目标多媒体文件碎片可以及时被处理,保证分布式处理***的处理速度。
如图3所示,在一个实施例中,分布式处理***还包括解封装装置,则在接收多个音视频处理装置发送的多媒体文件的碎片总数信息和处理后的多媒体文件碎片之前,方法还包括步骤S301-S303:
在步骤S301中,控制调度装置获取视频数据;
在步骤S302中,控制解封装装置对视频数据进行解封装操作,以得到视频数据对应的多媒体文件碎片和多媒体文件的碎片总数信息;
在步骤S303中,控制调度模块将多媒体文件碎片分发至多个音视频处理装置进行处理。
在该实施例中,使用多个音视频处理装置来对视频文件进行并行处理,大大减少了处理所需的时间,同时降低了***的处理压力,减少了***崩溃的可能性。
如图4所示,在一个实施例中,上述步骤S102包括步骤S401-S403:
在步骤S401中,根据碎片总数信息创建多媒体文件对应的任务,并根据碎片总数信息生成碎片位图,利用碎片位图记录多媒体文件碎片的接收状态,其中,碎片位图中的位数与碎片总数一致,碎片位图中的每位对应一个碎片,碎片位图中的每位包括第一状态和第二状态,第一状态用于表示已接收到位对应的处理后的多媒体文件碎片,第二状态用于表示未接收到位对应的处理后的多媒体文件碎片;
在步骤S402中,判断碎片位图中,是否存在处于第二状态的时长大于预设接收时长的目标位;
在步骤S403中,在判断碎片位图中存在目标位时,确定目标位对应的多媒体文件碎片为目标多媒体文件碎片。
在该实施例中,可以通过碎片位图记录处理后的各个多媒体文件碎片的处理状态,在碎片位图中,以不同的数值来标识多媒体碎片的接收状态,如在未接收到碎片位图中该位对应的处理后的多媒体碎片时,该位以0表示,在接收到碎片位图中该位对应的处理后的多媒体碎片时,该位以1表示。在某位处于0的时长大于预设接收时长时,则说明该位对应的目标多媒体文件碎片处理超时,可以发送超时请求。这样,以碎片位图记录多媒体碎片的接收状态,清楚明了,便于查看。
如图5所示,在一个实施例中,方法还包括步骤S501:
在步骤S501中,当接收到视频数据对应的所有处理后的多媒体文件碎片后,确定对所有处理后的多媒体文件碎片进行封装操作,以得到处理后的视频数据。
在该实施例中,当接收到所有处理后的多媒体碎片后,即当位图的所有位均为1时,即表示接收完整。接收完整后,即音频和视频均接收完整,则开始进行封装。封装时,按序读取各碎片的数据,进行封装。
下述为本发明装置实施例,可以用于执行本发明方法实施例。
图6是根据一示例性实施例示出的一种数据处理装置的框图,如图6所示,该数据处理装置包括:
接收模块61,用于接收所述多个音视频处理装置发送的视频数据的多媒体文件的碎片总数信息和处理后的多媒体文件碎片;
第一确定模块62,用于根据所述碎片总数信息和已接收到的处理后的多媒体文件碎片确定在当前已接收时长大于预设接收时长时,是否存在未接收到的目标多媒体文件碎片;
发送模块63,用于在确定存在所述目标多媒体文件碎片时,向所述调度装置发送超时请求,所述超时请求包括所述目标多媒体文件碎片的身份标识,以及所述目标多媒体文件所属任务的身份标识;
第二确定模块64,用于控制所述调度装置根据所述超时请求和已记录的音视频处理装置和任务、多媒体文件碎片之间的对应关系,确定所述目标多媒体文件碎片对应的目标音视频处理装置;
第三确定模块65,用于获取所述目标视频处理装置的当前工作状态,根据所述当前工作状态确定是否将所述目标多媒体文件碎片发送至所述多个音视频处理装置中的其他音视频处理装置。
如图7所示,在一个实施例中,所述第三确定模块65包括:
判断子模块71,用于判断所述当前工作状态是否正常;
忽略子模块72,用于在判断所述当前工作状态正常时,忽略所述超时请求,等待所述目标音视频处理装置处理所述目标多媒体文件碎片;
发送子模块73,用于在判断所述当前工作状态不正常时,将所述目标多媒体文件碎片发送至所述多个音视频处理装置中的其他音视频处理装置进行处理。
如图8所示,在一个实施例中,所述***还包括解封装装置,所述装置还包括:
获取模块81,用于在接收所述多个音视频处理装置发送的多媒体文件的碎片总数信息和处理后的多媒体文件碎片之前,控制所述调度装置获取所述视频数据;
解封装模块82,用于控制所述解封装装置对所述视频数据进行解封装操作,以得到所述视频数据对应的所述多媒体文件碎片和所述多媒体文件的碎片总数信息;
分发模块83,用于控制所述调度模块将所述多媒体文件碎片分发至多个音视频处理装置进行处理。
如图9所示,在一个实施例中,所述第一确定模块62包括:
记录子模块91,用于根据所述碎片总数信息创建所述多媒体文件对应的任务,并根据所述碎片总数信息生成碎片位图,利用所述碎片位图记录所述多媒体文件碎片的接收状态,其中,所述碎片位图中的位数与碎片总数一致,所述碎片位图中的每位对应一个碎片,所述碎片位图中的每位包括第一状态和第二状态,所述第一状态用于表示已接收到所述位对应的处理后的多媒体文件碎片,所述第二状态用于表示未接收到所述位对应的处理后的多媒体文件碎片;
判断子模块92,用于判断所述碎片位图中,是否存在处于第二状态的时长大于所述预设接收时长的目标位;
确定子模块93,用于在判断所述碎片位图中存在所述目标位时,确定所述目标位对应的多媒体文件碎片为所述目标多媒体文件碎片。
如图10所示,在一个实施例中,所述装置还包括:
封装模块101,用于当接收到所述视频数据对应的所有处理后的多媒体文件碎片后,确定对所述所有处理后的多媒体文件碎片进行封装操作,以得到处理后的视频数据。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种数据处理方法,用于分布式处理***,所述分布式处理***包括多个音视频处理装置,其特征在于,所述方法包括:
接收所述多个音视频处理装置发送的视频数据的多媒体文件的碎片总数信息和处理后的多媒体文件碎片;
根据所述碎片总数信息和已接收到的处理后的多媒体文件碎片确定在当前已接收时长大于预设接收时长时,是否存在未接收到的目标多媒体文件碎片;
在确定存在所述目标多媒体文件碎片时,向所述调度装置发送超时请求,所述超时请求包括所述目标多媒体文件碎片的身份标识,以及所述目标多媒体文件所属任务的身份标识;
控制所述调度装置根据所述超时请求和已记录的音视频处理装置和任务、多媒体文件碎片之间的对应关系,确定所述目标多媒体文件碎片对应的目标音视频处理装置;
获取所述目标视频处理装置的当前工作状态,根据所述当前工作状态确定是否将所述目标多媒体文件碎片发送至所述多个音视频处理装置中的其他音视频处理装置。
2.根据权利要求1所述的方法,其特征在于,所述根据所述当前工作状态确定是否将所述目标多媒体文件碎片发送至所述多个音视频处理装置中的其他音视频处理装置,包括:
判断所述当前工作状态是否正常;
在判断所述当前工作状态正常时,忽略所述超时请求,等待所述目标音视频处理装置处理所述目标多媒体文件碎片;
在判断所述当前工作状态不正常时,将所述目标多媒体文件碎片发送至所述多个音视频处理装置中的其他音视频处理装置进行处理。
3.根据权利要求1所述的方法,其特征在于,所述***还包括解封装装置,在接收所述多个音视频处理装置发送的多媒体文件的碎片总数信息和处理后的多媒体文件碎片之前,所述方法还包括:
控制所述调度装置获取所述视频数据;
控制所述解封装装置对所述视频数据进行解封装操作,以得到所述视频数据对应的所述多媒体文件碎片和所述多媒体文件的碎片总数信息;
控制所述调度模块将所述多媒体文件碎片分发至多个音视频处理装置进行处理。
4.根据权利要求1所述的方法,其特征在于,所述根据所述碎片总数信息和已接收到的处理后的多媒体文件碎片确定在当前已接收时长大于预设接收时长时,是否存在未接收到的目标多媒体文件碎片,包括:
根据所述碎片总数信息创建所述多媒体文件对应的任务,并根据所述碎片总数信息生成碎片位图,利用所述碎片位图记录所述多媒体文件碎片的接收状态,其中,所述碎片位图中的位数与碎片总数一致,所述碎片位图中的每位对应一个碎片,所述碎片位图中的每位包括第一状态和第二状态,所述第一状态用于表示已接收到所述位对应的处理后的多媒体文件碎片,所述第二状态用于表示未接收到所述位对应的处理后的多媒体文件碎片;
判断所述碎片位图中,是否存在处于第二状态的时长大于所述预设接收时长的目标位;
在判断所述碎片位图中存在所述目标位时,确定所述目标位对应的多媒体文件碎片为所述目标多媒体文件碎片。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当接收到所述视频数据对应的所有处理后的多媒体文件碎片后,确定对所述所有处理后的多媒体文件碎片进行封装操作,以得到处理后的视频数据。
6.一种数据处理装置,用于分布式处理***,所述分布式处理***包括多个音视频处理装置,其特征在于,所述装置包括:
接收模块,用于接收所述多个音视频处理装置发送的视频数据的多媒体文件的碎片总数信息和处理后的多媒体文件碎片;
第一确定模块,用于根据所述碎片总数信息和已接收到的处理后的多媒体文件碎片确定在当前已接收时长大于预设接收时长时,是否存在未接收到的目标多媒体文件碎片;
发送模块,用于在确定存在所述目标多媒体文件碎片时,向所述调度装置发送超时请求,所述超时请求包括所述目标多媒体文件碎片的身份标识,以及所述目标多媒体文件所属任务的身份标识;
第二确定模块,用于控制所述调度装置根据所述超时请求和已记录的音视频处理装置和任务、多媒体文件碎片之间的对应关系,确定所述目标多媒体文件碎片对应的目标音视频处理装置;
第三确定模块,用于获取所述目标视频处理装置的当前工作状态,根据所述当前工作状态确定是否将所述目标多媒体文件碎片发送至所述多个音视频处理装置中的其他音视频处理装置。
7.根据权利要求6所述的装置,其特征在于,所述第三确定模块包括:
判断子模块,用于判断所述当前工作状态是否正常;
忽略子模块,用于在判断所述当前工作状态正常时,忽略所述超时请求,等待所述目标音视频处理装置处理所述目标多媒体文件碎片;
发送子模块,用于在判断所述当前工作状态不正常时,将所述目标多媒体文件碎片发送至所述多个音视频处理装置中的其他音视频处理装置进行处理。
8.根据权利要求6所述的装置,其特征在于,所述***还包括解封装装置,所述装置还包括:
获取模块,用于在接收所述多个音视频处理装置发送的多媒体文件的碎片总数信息和处理后的多媒体文件碎片之前,控制所述调度装置获取所述视频数据;
解封装模块,用于控制所述解封装装置对所述视频数据进行解封装操作,以得到所述视频数据对应的所述多媒体文件碎片和所述多媒体文件的碎片总数信息;
分发模块,用于控制所述调度模块将所述多媒体文件碎片分发至多个音视频处理装置进行处理。
9.根据权利要求6所述的装置,其特征在于,所述第一确定模块包括:
记录子模块,用于根据所述碎片总数信息创建所述多媒体文件对应的任务,并根据所述碎片总数信息生成碎片位图,利用所述碎片位图记录所述多媒体文件碎片的接收状态,其中,所述碎片位图中的位数与碎片总数一致,所述碎片位图中的每位对应一个碎片,所述碎片位图中的每位包括第一状态和第二状态,所述第一状态用于表示已接收到所述位对应的处理后的多媒体文件碎片,所述第二状态用于表示未接收到所述位对应的处理后的多媒体文件碎片;
判断子模块,用于判断所述碎片位图中,是否存在处于第二状态的时长大于所述预设接收时长的目标位;
确定子模块,用于在判断所述碎片位图中存在所述目标位时,确定所述目标位对应的多媒体文件碎片为所述目标多媒体文件碎片。
10.根据权利要求6所述的装置,其特征在于,所述装置还包括:
封装模块,用于当接收到所述视频数据对应的所有处理后的多媒体文件碎片后,确定对所述所有处理后的多媒体文件碎片进行封装操作,以得到处理后的视频数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510719619.2A CN105338374A (zh) | 2015-10-29 | 2015-10-29 | 一种数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510719619.2A CN105338374A (zh) | 2015-10-29 | 2015-10-29 | 一种数据处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105338374A true CN105338374A (zh) | 2016-02-17 |
Family
ID=55288601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510719619.2A Pending CN105338374A (zh) | 2015-10-29 | 2015-10-29 | 一种数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105338374A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101917386A (zh) * | 2009-11-17 | 2010-12-15 | 新奥特(北京)视频技术有限公司 | 一种集群式多媒体转码***及其任务处理方法 |
CN102123279A (zh) * | 2010-12-28 | 2011-07-13 | 乐视网信息技术(北京)股份有限公司 | 一种分布式实时转码方法与*** |
US8346882B2 (en) * | 2003-06-04 | 2013-01-01 | Sony Computer Entertainment Inc. | Method for structuring a self-organized content distribution overlay network for a peer-to-peer network |
CN103838878A (zh) * | 2014-03-27 | 2014-06-04 | 无锡天脉聚源传媒科技有限公司 | 一种分布式音视频处理***及处理方法 |
-
2015
- 2015-10-29 CN CN201510719619.2A patent/CN105338374A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8346882B2 (en) * | 2003-06-04 | 2013-01-01 | Sony Computer Entertainment Inc. | Method for structuring a self-organized content distribution overlay network for a peer-to-peer network |
CN101917386A (zh) * | 2009-11-17 | 2010-12-15 | 新奥特(北京)视频技术有限公司 | 一种集群式多媒体转码***及其任务处理方法 |
CN102123279A (zh) * | 2010-12-28 | 2011-07-13 | 乐视网信息技术(北京)股份有限公司 | 一种分布式实时转码方法与*** |
CN103838878A (zh) * | 2014-03-27 | 2014-06-04 | 无锡天脉聚源传媒科技有限公司 | 一种分布式音视频处理***及处理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102413150B (zh) | 服务器、虚拟桌面控制方法以及虚拟桌面控制*** | |
CN108989885B (zh) | 视频文件转码***、分割方法、转码方法及装置 | |
CN103473142B (zh) | 一种云计算操作***下的虚拟机迁移方法及装置 | |
KR101941336B1 (ko) | 분산형 시스템용 파일 처리 방법 및 장치 | |
CN104703022A (zh) | 用于屏幕共享的装置和方法 | |
US11201836B2 (en) | Method and device for managing stateful application on server | |
CN107122252B (zh) | 一种***间交互方法和装置 | |
CN110602122A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN108064086B (zh) | 一种带宽分配方法、装置、计算机设备及存储介质 | |
JP5802215B2 (ja) | 複数の粒度を持つストリームを処理するためのプログラム、コンピュータシステムおよび方法 | |
EP3896964A1 (en) | Data processing method, apparatus and device, and storage medium | |
CN101668018A (zh) | 一种网络传输的方法及*** | |
CN113381889B (zh) | 一种网络切片的确定方法、装置、电子设备及存储介质 | |
EP3198870A1 (en) | Processing parameters for operations on blocks while decoding images | |
US20180227347A1 (en) | Virtualizing audio and video devices using synchronous a/v streaming | |
US20090190607A1 (en) | Method and apparatus for transmitting data and method and apparatus for performing data task | |
CN113791735A (zh) | 视频数据存储方法、装置、计算机设备及存储介质 | |
US11528516B2 (en) | Distributed transcoding method and distributed transcoding system | |
WO2012009150A2 (en) | Direct memory access engine physical memory descriptors for multi-media demultiplexing operations | |
CN105354058A (zh) | 一种文件更新方法及装置 | |
CN105338374A (zh) | 一种数据处理方法及装置 | |
CN105812327A (zh) | 复合型高性能多用通讯方法及*** | |
CN105302645B (zh) | 一种任务分发方法及装置 | |
CN105354080B (zh) | 一种任务处理方法及装置 | |
CN101272211A (zh) | 业务交叉软件测试方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160217 |