CN104469396A - 一种分布式转码***和方法 - Google Patents

一种分布式转码***和方法 Download PDF

Info

Publication number
CN104469396A
CN104469396A CN201410812488.8A CN201410812488A CN104469396A CN 104469396 A CN104469396 A CN 104469396A CN 201410812488 A CN201410812488 A CN 201410812488A CN 104469396 A CN104469396 A CN 104469396A
Authority
CN
China
Prior art keywords
burst
transcoding
file
merging
distributed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410812488.8A
Other languages
English (en)
Other versions
CN104469396B (zh
Inventor
李永葆
褚震宇
王彦彬
杜伟
韩利明
张二丽
郭志芳
胡海琴
王兵
何焱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING ZHONGKE DAYANG INFORMATION TECHNOLOGY Co Ltd
Original Assignee
BEIJING ZHONGKE DAYANG INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING ZHONGKE DAYANG INFORMATION TECHNOLOGY Co Ltd filed Critical BEIJING ZHONGKE DAYANG INFORMATION TECHNOLOGY Co Ltd
Priority to CN201410812488.8A priority Critical patent/CN104469396B/zh
Publication of CN104469396A publication Critical patent/CN104469396A/zh
Application granted granted Critical
Publication of CN104469396B publication Critical patent/CN104469396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23113—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving housekeeping operations for stored content, e.g. prioritizing content for deletion because of storage space restrictions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种分布式转码***和方法，包括：获取源文件并判断文件类型的预处理单元，预处理单元与计算分片的大小和入出点的分片计算单元连接，分片计算单元与多个分片转码单元连接，多个分片转码单元与多个合并单元连接，多个合并单元与目标存储装置连接。本发明以视频文件分片的方式，通过任务碎片化充分利用CPU和GPU计算资源，将传统单服务器资源的利用扩展到更多的资源，达到快速高效的转码任务执行的目的。本发明对FSC DTC和ITC DTC两种文件类型的转码区别对待，对FSC DTC文件类型利用其文件的特点，实现秒级的快速合并，对ITC DTC文件类型则采用边转码边合并的方式，提高了合并速度，节约了存储带宽。

Description

一种分布式转码***和方法
技术领域
本发明涉及一种分布式转码***和方法，是一种计算机数据计算和处理技术，是一种数字视频处理的***和方法。
背景技术
在视音频处理领域，特别是在电视台、网络电视台、网络公司、IPTV、互联网电视、OTT、手机电视等领域存在大量的视音频文件格式转码需求。迫切需要一套高效快速的视音频文件转码方法，通过充分利用计算资源来换取高速的转码速度。传统的视音频转码存在转码效率不高，无法充分利用计算资源的问题；或者存在支持的视音频格式不全面，或者在合并处理时效率不高的问题，成为数字视频信息处理的瓶颈。
发明内容
为了克服现有技术的问题，本发明提出了一种分布式转码***和方法。所述的***和方法采用分布式转码技术，并且采用了中间格式和快速合并技术，进行多线程分布转码处理，大大提高了转码效率。
本发明的目的是这样实现的：一种分布式转码***，包括：从源存储装置中获取源文件并判断文件类型的预处理单元，所述的预处理单元与计算分片的大小和入出点的分片计算单元连接，所述的分片计算单元与多个分片转码单元连接，所述的多个分片转码单元与多个合并单元连接，所述的多个合并单元与存储目标文件的目标存储装置连接。
进一步的，所述的分片转码单元和合并单元之间设有缓存装置。
一种使用上述***的分布式转码方法，所述的方法包括如下步骤：
转码预处理的步骤：用于对源文件的合法性进行判断，并确定转码方式；
分片计算的步骤：用于决定拆分规则，并进行分片的大小和入出点计算；
拆分的步骤：用于根据确定的拆分规则和计算出的分片的大小和入出点对源文件进行拆分；
分片转码的步骤：用于完成对各个分片的转码工作；
分片的解析与合并的步骤：用于 对转码后的分段文件进行合并。
进一步的，所述的“转码预处理的步骤”的转码方式为：“基于文件***的分布式转码方式”或“及时合并分布式转码方式”中的一种。
进一步的，所述的“分片计算的步骤”中所述的拆分规则为：依据计算资源动态拆分或依据时长拆分方式中的一种。
进一步的，所述的“分片转码的步骤”中，以“基于文件***的分布式转码方式”进行转码的，每个分片编码为LeadFS文件***的分片文件格式。
进一步的，所述的“分片转码的步骤”中，以“及时合并分布式转码方式”进行转码的，每个分片编码为自定义的分片文件格式。
进一步的，所述的“分片的解析与合并的步骤”包括如下子步骤：
文件解析的子步骤：对分片进行解析，确定分片文件格式，如果是LeadFS文件***的分片文件格式，则进入“基于文件***的分布式合并方式的子步骤”，如果是自定义的分片文件格式，则进入“及时合并分布式合并方式的子步骤”；
基于文件***的分布式合并方式的子步骤：用于修改LeadFS文件***中的文件索引信息，将分片合并为目标文件；
及时合并分布式合并方式的子步骤：用于对分片解析和合并，包括如下分步骤：
根据输入的分片组数，逐个读取分片；
解析读取的分片中的帧信息和帧数据；
将帧信息和帧数据放入缓存中；
从缓存中取出帧数据和帧信息，将分片合并为目标文件。
进一步的，所述的“基于文件***的分布式合并方式的子步骤”中解析和合并分为两个线程进行，在解析同时将已经获取的分片帧信息和帧数据同时进行目标文件合并。
本发明产生的有益效果是：本发明将视频文件分片的方式，将CPU和GPU计算资源通过任务碎片化手段充分利用起来，将传统单服务器资源的利用扩展到更多的资源，达到快速高效的转码任务执行的目的。本发明对FSC DTC和ITC DTC两种文件类型的转码区别对待，对FSC DTC文件类型利用其文件本身的***特点，可以实现秒级的快速合并，对ITC DTC文件类型则采用边转码边合并的方式，大大的提高了合并速度，节约了存储带宽。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1是本发明的实施例一所述***的原理示意图；
图2是本发明的实施例二所述***的原理示意图；
图3是本发明的实施例三所述方法的步骤流程示意图；
图4是本发明的实施例九所述方法的流程图。
具体实施方式
实施例一：
本实施例是一种分布式转码***，如图1所示。本实施例包括：从源存储装置中获取源文件并判断文件类型的预处理单元，所述的预处理单元与计算分片的大小和入出点的分片计算单元连接，所述的分片计算单元与多个分片转码单元连接，所述的多个分片转码单元与多个合并单元连接，所述的多个合并单元与存储目标文件的目标存储装置连接。
本实施例所述***中包含预处理单元、分片计算单元、分片转码单元、合并单元等组成。本实施例所述***可以用灵活的方式实现，即可实现为包含计算节点集群和盘阵的一套设备，也可以将各个软件单元部署到云计算平台中实现云转码。如果所述***是带有服务器和盘阵的设备，可以部署在电视台、网络电视台、网络公司、IPTV、互联网电视、OTT、手机电视等用户机房环境中。如果是云转码，则通过私有云或者公有云方式提供服务。本实施例所述***具备很大的伸缩性，分片转码计算节点可以从几个节点到几百个不等。
源存储装置是存储各种视频文件的盘阵数据库，或是服务器的硬盘，也可以是云存储。
目标存储装置是各种存储设备和云存储。物理上可以是与源存储装置在一起，或者单独的存储设备。
预处理单元的功能是对源文件的合法性进行判断，并决定采用哪种转码方式。采用哪种方式可以由上层指定，也可以通过依据源文件的文件***类型自动判断，如果源文件是LeadFS文件***则采用基于LeadFS文件***的快速分布式转码（File System Combination Distributed Transcode:FSC DTC）方式，如果不是则用基于通用文件***的分布式转码（In Time Combination Distributed Transcode:ITC DTC）方式。
分片计算单元的功能是决定拆分规则，并进行分片的大小和入出点计算。拆分规则有两种方式：依据计算资源动态拆分和依据时长拆分方式。本实施例的基本思路是将源文件拆分为多个片段（本实施例中将片段称为“分片”），利用多个线程同时进行转码，以充分利用计算资源并提高转码的效率。
依据计算资源动态拆分是将可用的计算资源数量做为拆分参考依据，这种方式可以保证分段数量可以和计算资源匹配，同时为了保证并行度，拆片数量可以是计算资源（空闲线程）的倍数。
根据固定分片时长确定分布式拆分数目是根据片段时长来作为拆分参考依据，用总时长除以片段时长就可以得到拆分数量。
拆分时如果出现剩余帧数，还需要做对齐处理。考虑到转码的实际效率和效果，片段时长不能过小也不能过长。过小则调度效率下降，过长则达不到足够的并行度。
如果依据计算资源拆分，拆分分段数量一般为计算资源数量的倍数，这样可以实现分片转码和合并的充分并行，也就是说当第一批分片转码完成后，合并工作已经开始进行；与此同时，第二批的分片转码也可以同步进行。
如果计算节点数量很多的情况下，则分段可以不依据计算资源数量，否则会导致分片数量过多，导致调度效率下降。这种情况下直接使用定长分片就可以实现较好的总体效率。
分片转码单元的功能是完成对各个分片的转码工作。分片的转码使用多进程完成，可以调度不同的计算资源节点同时进行，达到最大的处理吞吐量。首先调用解码器按照入出点的位置对源片段文件解码，然后调用编码器编码为目标格式的片段文件，具体分片转码有两种不同的方式，一种是“基于文件***的分布式转码（FSC DTC）方式”，另一种是“及时合并分布式转码（ITC DTC）方式”。在不同方式下转码处理有所不同：
在基于文件***的分布式转码（FSC DTC）方式下，每个分片会编码为LeadFS文件***的片段格式，这些片段在合并前是无法进行正常使用或者播放的。这种方法依赖LeadFS的文件***。
在及时合并分布式转码（ITC DTC）方式下，每个分片要形成片段文件。片段文件采用自定义的文件格式，以便后续步骤的合并单元能够检测片段文件是否已完成所需的打包处理，如果完成即可以开始读取片段文件并写入到目标文件进行合并操作。这种方法的效果是通过将分片划分细化，让分片划分数量大于转码服务器的数量，利用服务器集群的机器能够在部分分片完成的情况就可以开始合并工作，将分片转码分片合并实现并行，降低转码总体的时间开销。这种方法对文件***无限制，并可以实现分片转码和合并同步。
合并单元的功能是负责对转码后的分片进行合并。为了目标文件完整可用，分片转码完毕后，就需要对分片进行解析并完成最终的合并工作。合并模块解析分片文件类型，对于不同的分片类型合并的处理方式不同。
在基于文件***的分布式转码（FSC DTC）方式下，分片的解析与合并由LeadFS文件***自身的快速聚合功能完成。可以实现非常快速的合并（1-2秒），而且不占用额外的存储空间。LeadFS文件***自身的快速聚合功能是直接修改LeadFS文件***中的文件索引信息，并没有实际的数据拷贝过程，所以可以达到极高的效率。
在及时合并分布式转码（ITC DTC）方式下，当开始生成转码后的分片文件时，合并单元开始运行，可在片段文件生成的同时执行合并操作。合并单元会根据输入的分片数组，逐个读取片段文件。
为了提高并行性，合并单元分为两个独立线程：片段文件解析线程和目标文件生成线程。
片段文件解析线程主要负责对所有片段文件进行解析，并将解析的帧信息（经过序列化）和帧数据存入缓存。目标文件生成线程则负责不断的从缓存中取出帧信息和帧数据，然后推送出去生成目标文件。
实施例二：
本实施例是实施例一的改进，是实施例一关于分片转码单元和合并单元的细化。本实施例所述的分片转码单元和合并单元之间设有缓存装置，如图2所示。
分布式转码合并时的片段文件缓存处理。FSC DTC对于分片后的文件，直接使用文件***的合并，所以不存在需要缓存的问题；而ITC DTC则需要先将分布式的片段缓存，然后进行合并。缓存可以使用如下几种方式：
使用性能比较高的盘阵作为缓存存储，这种存储可以提供很高的I/O性能，可以满足多个片段文件同时读写的带宽需求。
使用计算节点本地的存储，可以采用SSD/SAS/SATA硬盘，分片转码时，可以将每个分片存储到计算节点本地存储。这种方式可以将读写带宽分散到整个计算网络中，并且还对存储没有特别要求。
实施例三：
本实施例是一种使用上述***的分布式转码方法，如图3所示。
本实施例所述的方法的具体步骤如下：
转码预处理的步骤：用于对源文件的合法性进行判断，并确定转码方式。本步骤主要对源文件进行判断，其文件是否为现有的转码器所支持的。本是实施例所使用的***中可以设置转码大部分流行的编码，但总有一些小众编码方式被忽略，因此，还需要对源文件进行合法性判断。 在合法性判断之后，将源文件分为两种类型FSC DTC类型和ITC DTC类型，以便后续步骤进行分别处理。
分片计算的步骤：用于决定拆分规则，并进行分片的大小和入出点计算。根据源文件输入的主要参数来决定分片个数、各分片的信息等。决策依据的主要参数包括：计算节点数量，文件时长，默认分片时长等。
拆分规则是：依据计算资源动态确定拆分数目或根据时长确定分布式转码拆分数目。这两种规则解决的都是依据资源与任务之间的分配优化问题。
拆分的步骤：用于根据确定的拆分规则和计算出的分片的大小和入出点对源文件进行拆分。拆分的过程也是一个并行的过程，可以在边拆分，边形成分片文件。本步骤通过在分片中加入独特的分片文件格式，使分片文件可以实现各种视音频格式的分布式转码，并且可以支持各种文件***的，保证了分布式方法的可用性。自定义格式与普通格式相比在结构上便于边写边读，可提高片段文件在生成时即时合并的效率。采用特定的片段文件格式在合并阶段自动检测所需片段文件是否已完成，在完成后就开始读取片段文件并写入到目标文件。通过将片段划分进一步细化，利用集群中的计算资源尽快完成整个源前一部分的打包，在进行后一部分打包时就可以开始合并已完成的片段文件。
这样可将分布式转码时间和文件合并时间适当并行，降低最后合并的时间开销。这个方式的优点是对目标文件格式和文件***无限制。
分片转码的步骤：用于完成对各个分片的转码工作。源文件经拆分后，形成多个分片，即开始各个分片在多个转码单元中同时进行转码，以此提高转码的效率。
分片的解析与合并的步骤：用于 对转码后的分片文件进行合并。分片文件转码后即可开始合并。合并可在转码后文件生成的同时执行合并操作。合并单元会根据输入的分片的文件名数组，逐个读取分片文件。
解析和合并可以在两个独立线程同时进行：分片文件解析线程和目标文件生成线程。
分片文件解析线程主要负责对所有分片文件进行解析，并将解析的帧信息（经过序列化）和帧数据不断的存入固定帧数的缓存中。解析的过程是，先判断该分片文件是否存在，是否有数据，是否生成结束？如果不满足条件，则继续等待，直到可以正常读取数据，或者一直无法等到而认为锁死退出。
目标文件生成线程则负责不断的从缓存中取出帧信息和帧数据，然后推送出去生成目标文件。
实施例四：
本实施例是实施例三的改进，是实施例三关于“转码预处理的步骤”的细化。本实施例所述的“转码预处理的步骤”的转码方式为：“基于文件***的分布式转码方式”或“及时合并分布式转码方式”中的一种。
本实施例所述方法可以用两种分布式转码得以实现。一种是基于LeadFS文件***的快速分布式转码方法（FSC DTC），一种是基于通用文件***的分布式转码方法（ITC DTC）。
基于文件***的实现方法（FSC DTC）：
FSC DTC是将源文件根据片段分片决策拆分为多个片段，（每个片段无法独立解码播放），在所有片段生成后使用LeadFS文件***提供的合并函数将这些片段文件在文件***层直接合并为目标文件。文件合并可以瞬时完成（1-2秒），而且不占用额外的存储空间。该方法是基于LeadFS文件***的快速聚合功能，能从根本上解决分布式转码在合并阶段的性能瓶颈。但这种方式必须使用特定的文件***，而且只支持AVI和MXF两种文件格式的分布式转码。
及时合并分布式转码（ITC DTC）：
ITC DTC是一种边转码边合并的分布式转码方式。采用自定义的片段文件格式，能够自动检测片段文件是否已完成所需的打包处理，如果完成即可以开始读取片段文件并写入到目标文件进行合并操作。这种方法的理想效果是通过将片段划分细化，让片段划分数量大于转码服务器的数量，利用服务器阵列的机器尽快完成前一部分片段的转码，在进行后一部分片段转码时就可以开始合并已完成的片段文件。这样可将片段转码片段合并实现并行，降低转码总体的时间开销。
这种方法对目标文件格式和文件***无限制，并可以实现片段转码和合并同步。
实施例五：
本实施例是实施例四的改进，是实施例四关于“分片计算的步骤”的细化。本实施例所述的“分片计算的步骤”中所述的拆分规则为：依据计算资源动态拆分或依据时长拆分方式中的一种。
无论是FSC还是ITC，分片任务的拆分规则是类似的。有两种方式：
依据计算资源动态确定拆分数目：将可用的计算资源数量做为拆分参考依据，这种方式可以保证分段数量可以和计算资源匹配，同时为了保证并行度，拆片数量可以是计算资源的倍数。
根据时长确定分布式转码拆分数目：根据分片时长来作为拆分参考依据，用总时长除以分片时长就可以得到拆分数量。按照分片数量适中的原则，分片时长一般设置为1-2分钟。
当分片信息不能整除的问题，底层处理方法：根据上层建议时长，底层对建议帧数进行GOP对齐，继而判断是否可以等分，如果可以等分则直接划分分片，如不能等分，需要判断整除剩余帧数，如剩余帧数大于建议帧数的一半，则将剩余帧数作为最后一个分片，否则将剩余帧数均匀叠加到前面的各个分片中，从而避免最后一个分片划分不均匀的问题。
考虑到转码的实际效率和效果，分片时长不能过小也不能过长。过小则调度效率下降，过长则达不到足够的并行度。
实施例六：
本实施例是实施例五的改进，是实施例五关于“分片转码的步骤”的细化。本实施例所述的“分片转码的步骤”中，以“基于文件***的分布式转码方式”进行转码的，每个分片编码为LeadFS文件***的分片文件格式。
LeadFS文件***是一种可以是文件快速聚合的文件***，具体细节见《一种共享文件***多文件快速聚合和读取的方法》（中国专利申请，申请日：2014年10月3日，申请号2014106000039），为文件快速合并接口，可以支持分段的文件在不做数据的拷贝的情况下做快速合并。快速合并是通过直接修改文件***中文件数据块的元数据信息来完成的。
实施例七：
本实施例是实施例五的改进，是实施例五关于“分片转码的步骤”的细化。本实施例所述的“分片转码的步骤”中，以“及时合并分布式转码方式”进行转码的，每个分片编码为自定义的分片文件格式。
自定义格式与普通格式相比在结构上便于边写边读，可提高片段文件在生成时即时合并的效率。采用特定的片段文件格式在合并阶段自动检测所需片段文件是否已完成，在完成后就开始读取片段文件并写入到目标文件。通过将片段划分进一步细化，利用集群中的计算资源尽快完成整个源前一部分的打包，在进行后一部分打包时就可以开始合并已完成的片段文件。
这样可将分布式转码时间和文件合并时间适当并行，降低最后合并的时间开销。这个方式的优点是对目标文件格式和文件***无限制。
实施例八：
本实施例是实施例六、七的改进，是实施例六、七关于“分片的解析与合并的步骤”的细化。本实施例所述的“分片的解析与合并的步骤”包括如下子步骤：
文件解析的子步骤：对分片进行解析，确定分片文件格式，如果是LeadFS文件***的分片文件格式，则进入“基于文件***的分布式合并方式的子步骤”，如果是自定义的分片文件格式，则进入“及时合并分布式合并方式的子步骤”。
基于文件***的分布式合并方式的子步骤：用于修改LeadFS文件***中的文件索引信息，将分片合并为目标文件。
及时合并分布式合并方式的子步骤：用于对分片解析和合并，包括如下分步骤：
根据输入的分片组数，逐个读取分片。
解析读取的分片中的帧信息和帧数据。
将帧信息和帧数据放入缓存中。
从缓存中取出帧数据和帧信息，将分片合并为目标文件。
片段文件解析主要负责对所有片段文件进行解析，并将解析的帧信息（经过序列化）和帧数据不断的存入固定帧数的缓存中。解析的过程是，先判断该片段是否存在，是否有数据，是否生成结束？如果不满足条件，则继续等待，直到可以正常读取数据，或者一直无法等到而认为锁死退出。
目标文件生成则负责不断的从缓存中取出帧信息和帧数据，然后推送出去生成目标文件。
可以将解析和合并分为两个线程，对获取的分片的帧信息和帧数据随时进行目标文件合并。
实施例九：
本实施例是实施例八的改进，是实施例八中关于“基于文件***的分布式合并方式的子步骤”的细化。本实施例所述的“基于文件***的分布式合并方式的子步骤”中解析和合并分为两个线程进行，在解析同时将已经获取的分片帧信息和帧数据同时进行目标文件合并，如图4所示。
图4是解析和合并的处理流程的示意图，线程A表示片段文件解析线程，线程B表示目标文件生成线程，这样构建成异步读写缓存，提高合并效率。
最后应说明的是，以上仅用以说明本发明的技术方案而非限制，尽管参照较佳布置方案对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案（比如***的连接方式、各个连接关系、步骤的先后顺序等）进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (9)

1.一种分布式转码***，其特征在于，包括：从源存储装置中获取源文件并判断文件类型的预处理单元，所述的预处理单元与计算分片的大小和入出点的分片计算单元连接，所述的分片计算单元与多个分片转码单元连接，所述的多个分片转码单元与多个合并单元连接，所述的多个合并单元与存储目标文件的目标存储装置连接。
2.根据权利要求1所述的***，其特征在于，所述的分片转码单元和合并单元之间设有缓存装置。
3.一种使用权利要求2所述***的分布式转码方法，其特征在于，所述的方法包括如下步骤：
转码预处理的步骤：用于对源文件的合法性进行判断，并确定转码方式；
分片计算的步骤：用于决定拆分规则，并进行分片的大小和入出点计算；
拆分的步骤：用于根据确定的拆分规则和计算出的分片的大小和入出点对源文件进行拆分；
分片转码的步骤：用于完成对各个分片的转码工作；
分片的解析与合并的步骤：用于    对转码后的分段文件进行合并。
4.根据权利要求3所述的方法，其特征在于，所述的“转码预处理的步骤”的转码方式为：“基于文件***的分布式转码方式”或“及时合并分布式转码方式”中的一种。
5.根据权利要求4所述的方法，其特征在于，所述的“分片计算的步骤”中所述的拆分规则为：依据计算资源动态拆分或依据时长拆分方式中的一种。
6.根据权利要求5所述的方法，其特征在于，所述的“分片转码的步骤”中，以“基于文件***的分布式转码方式”进行转码的，每个分片编码为LeadFS文件***的分片文件格式。
7.根据权利要求5所述的方法，其特征在于，所述的“分片转码的步骤”中，以“及时合并分布式转码方式”进行转码的，每个分片编码为自定义的分片文件格式。
8.根据权利要求6或7所述的方法，其特征在于，所述的“分片的解析与合并的步骤”包括如下子步骤：
文件解析的子步骤：对分片进行解析，确定分片文件格式，如果是LeadFS文件***的分片文件格式，则进入“基于文件***的分布式合并方式的子步骤”，如果是自定义的分片文件格式，则进入“及时合并分布式合并方式的子步骤”；
基于文件***的分布式合并方式的子步骤：用于修改LeadFS文件***中的文件索引信息，将分片合并为目标文件；
及时合并分布式合并方式的子步骤：用于对分片解析和合并，包括如下分步骤：
根据输入的分片组数，逐个读取分片；
解析读取的分片中的帧信息和帧数据；
将帧信息和帧数据放入缓存中；
从缓存中取出帧数据和帧信息，将分片合并为目标文件。
9.根据权利要求8所述的方法，其特征在于，所述的“基于文件***的分布式合并方式的子步骤”中解析和合并分为两个线程进行，在解析同时将已经获取的分片帧信息和帧数据同时进行目标文件合并。
CN201410812488.8A 2014-12-24 2014-12-24 一种分布式转码***和方法 Active CN104469396B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410812488.8A CN104469396B (zh) 2014-12-24 2014-12-24 一种分布式转码***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410812488.8A CN104469396B (zh) 2014-12-24 2014-12-24 一种分布式转码***和方法

Publications (2)

Publication Number Publication Date
CN104469396A true CN104469396A (zh) 2015-03-25
CN104469396B CN104469396B (zh) 2018-01-05

Family

ID=52914658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410812488.8A Active CN104469396B (zh) 2014-12-24 2014-12-24 一种分布式转码***和方法

Country Status (1)

Country Link
CN (1) CN104469396B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105338371A (zh) * 2015-10-29 2016-02-17 南京秦杜明视信息技术有限公司 一种多媒体转码调度方法和装置
CN106791932A (zh) * 2017-01-06 2017-05-31 广州亦云信息技术股份有限公司 分布式转码***、方法及其装置
CN108268432A (zh) * 2017-12-14 2018-07-10 中央电视台 一种节目工程文件的转换方法及装置
CN110740345A (zh) * 2019-09-20 2020-01-31 北京旷视科技有限公司 离线视频文件倍速分析方法和装置
CN110856018A (zh) * 2019-11-14 2020-02-28 武汉珞佳伟业科技有限公司 一种基于云计算的监控***中的快速转码方法及***
CN110996172A (zh) * 2019-12-17 2020-04-10 杭州当虹科技股份有限公司 一种快速合成4k mxf文件的方法
CN111163335A (zh) * 2019-12-31 2020-05-15 深圳市瑞讯云技术有限公司 一种分布式服务器的视频处理方法及装置
CN111432243A (zh) * 2020-04-01 2020-07-17 山东汇贸电子口岸有限公司 视频转码方法及装置
CN111752946A (zh) * 2020-06-22 2020-10-09 上海众言网络科技有限公司 一种基于分片方式对调研数据进行预处理的方法及装置
CN111767260A (zh) * 2020-06-15 2020-10-13 中国建设银行股份有限公司 数据同步的方法和***
CN113852840A (zh) * 2021-09-18 2021-12-28 北京百度网讯科技有限公司 视频渲染方法、装置、电子设备以及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945278A (zh) * 2010-09-15 2011-01-12 中国科学院深圳先进技术研究院 视频自适应转码方法和***
CN102055965A (zh) * 2009-10-28 2011-05-11 腾讯科技（深圳）有限公司 媒体文件转码***及转码方法
CN102123279A (zh) * 2010-12-28 2011-07-13 乐视网信息技术（北京）股份有限公司 一种分布式实时转码方法与***
CN102780918A (zh) * 2012-08-15 2012-11-14 华数传媒网络有限公司 一种视频分布式转换编码格式方法
CN103297807A (zh) * 2013-06-21 2013-09-11 哈尔滨工业大学深圳研究生院 一种基于hadoop平台的提高视频转码效率的方法
US20130279602A1 (en) * 2012-04-24 2013-10-24 Vixs Systems, Inc. Configurable transcoder and methods for use therewith
CN103838779A (zh) * 2012-11-27 2014-06-04 深圳市腾讯计算机***有限公司 复用空闲计算资源的云转码方法及***、分布式文件装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055965A (zh) * 2009-10-28 2011-05-11 腾讯科技（深圳）有限公司 媒体文件转码***及转码方法
CN101945278A (zh) * 2010-09-15 2011-01-12 中国科学院深圳先进技术研究院 视频自适应转码方法和***
CN102123279A (zh) * 2010-12-28 2011-07-13 乐视网信息技术（北京）股份有限公司 一种分布式实时转码方法与***
US20130279602A1 (en) * 2012-04-24 2013-10-24 Vixs Systems, Inc. Configurable transcoder and methods for use therewith
CN102780918A (zh) * 2012-08-15 2012-11-14 华数传媒网络有限公司 一种视频分布式转换编码格式方法
CN103838779A (zh) * 2012-11-27 2014-06-04 深圳市腾讯计算机***有限公司 复用空闲计算资源的云转码方法及***、分布式文件装置
CN103297807A (zh) * 2013-06-21 2013-09-11 哈尔滨工业大学深圳研究生院 一种基于hadoop平台的提高视频转码效率的方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105338371A (zh) * 2015-10-29 2016-02-17 南京秦杜明视信息技术有限公司 一种多媒体转码调度方法和装置
CN105338371B (zh) * 2015-10-29 2019-05-17 四川奇迹云科技有限公司 一种多媒体转码调度方法和装置
CN106791932A (zh) * 2017-01-06 2017-05-31 广州亦云信息技术股份有限公司 分布式转码***、方法及其装置
CN106791932B (zh) * 2017-01-06 2019-08-30 广州亦云信息技术股份有限公司 分布式转码***、方法及其装置
CN108268432A (zh) * 2017-12-14 2018-07-10 中央电视台 一种节目工程文件的转换方法及装置
CN110740345A (zh) * 2019-09-20 2020-01-31 北京旷视科技有限公司 离线视频文件倍速分析方法和装置
CN110856018A (zh) * 2019-11-14 2020-02-28 武汉珞佳伟业科技有限公司 一种基于云计算的监控***中的快速转码方法及***
CN110996172A (zh) * 2019-12-17 2020-04-10 杭州当虹科技股份有限公司 一种快速合成4k mxf文件的方法
CN111163335A (zh) * 2019-12-31 2020-05-15 深圳市瑞讯云技术有限公司 一种分布式服务器的视频处理方法及装置
CN111163335B (zh) * 2019-12-31 2022-04-01 深圳市瑞讯云技术有限公司 一种分布式服务器的视频处理方法及装置
CN111432243A (zh) * 2020-04-01 2020-07-17 山东汇贸电子口岸有限公司 视频转码方法及装置
CN111767260A (zh) * 2020-06-15 2020-10-13 中国建设银行股份有限公司 数据同步的方法和***
CN111752946A (zh) * 2020-06-22 2020-10-09 上海众言网络科技有限公司 一种基于分片方式对调研数据进行预处理的方法及装置
CN111752946B (zh) * 2020-06-22 2021-04-30 上海众言网络科技有限公司 一种基于分片方式对调研数据进行预处理的方法及装置
CN113852840A (zh) * 2021-09-18 2021-12-28 北京百度网讯科技有限公司 视频渲染方法、装置、电子设备以及存储介质
CN113852840B (zh) * 2021-09-18 2023-08-22 北京百度网讯科技有限公司 视频渲染方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
CN104469396B (zh) 2018-01-05

Similar Documents

Publication Publication Date Title
CN104469396A (zh) 一种分布式转码***和方法
CN105451031B (zh) 一种视频转码方法和***
US9560393B2 (en) Media processing node
CN105828105A (zh) 一种基于分布式环境的视频转码***及视频转码方法
CN109213593B (zh) 用于全景视频转码的资源分配方法、装置和设备
EP3244621B1 (en) Video encoding method, system and server
CN102123279B (zh) 一种分布式实时转码方法与***
CN103838779A (zh) 复用空闲计算资源的云转码方法及***、分布式文件装置
CN103279521A (zh) 一种基于Hadoop的视频大数据分布式解码方法
CN110945871B (zh) 针对屏幕数据的有效帧内编码
CN103297807A (zh) 一种基于hadoop平台的提高视频转码效率的方法
CN103974081A (zh) 一种基于多核处理器Tilera的HEVC编码方法
CN103188521A (zh) 转码分配方法及装置，转码方法及设备
CN103440290A (zh) 大数据加载***和方法
CN106339475A (zh) 一种海量数据的分布式存储***
CN105187845A (zh) 视频数据解码装置及解码方法
CN110874271A (zh) 一种海量建筑图斑特征快速计算方法及***
CN102857533B (zh) 一种基于云计算的远程交互式***
US11765039B2 (en) System and method for optimizing deployment of a processing function in a media production workflow
US11250001B2 (en) Accurate partition sizing for memory efficient reduction operations
JP7026227B2 (ja) 分散トランスコード方法および分散トランスコードシステム
CN102857535B (zh) 一种计算机处理单元、计算机网关、交互式***
WO2018192184A1 (zh) 双***内存共享方法及装置
CN114238213A (zh) 多线程文件解析方法及装置
CN110213583B (zh) 视频编码方法、***、装置及计算机程序介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant