CN106789326B - 一种基于mPaaS的媒体转码弹性伸缩服务方法 - Google Patents

一种基于mPaaS的媒体转码弹性伸缩服务方法 Download PDF

Info

Publication number
CN106789326B
CN106789326B CN201710018895.5A CN201710018895A CN106789326B CN 106789326 B CN106789326 B CN 106789326B CN 201710018895 A CN201710018895 A CN 201710018895A CN 106789326 B CN106789326 B CN 106789326B
Authority
CN
China
Prior art keywords
transcoding
file
mpc
cluster
transcoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710018895.5A
Other languages
English (en)
Other versions
CN106789326A (zh
Inventor
蔡国炎
袁克东
钱永江
朱少龙
窦云奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Radio and Television Group of Zhejiang
Original Assignee
Radio and Television Group of Zhejiang
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Radio and Television Group of Zhejiang filed Critical Radio and Television Group of Zhejiang
Priority to CN201710018895.5A priority Critical patent/CN106789326B/zh
Publication of CN106789326A publication Critical patent/CN106789326A/zh
Application granted granted Critical
Publication of CN106789326B publication Critical patent/CN106789326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • H04L67/108—Resource delivery mechanisms characterised by resources being split in blocks or fragments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种基于mPaaS的媒体转码弹性伸缩服务方法，属于多媒体技术领域。该方法具体步骤如下：S1：媒体调度中心MPC实时监听云计算平台的工作目录中是否有用户上传的待转码文件；S2：监听到文件后，MPC将文件分片，并根据预定的弹性伸缩规则，实现转码服务器数量的动态调节；S3：转码集群从MPC下载分配给它的文件分片，并按照用户需求完成转码后将该文件分片上传到合成工作站；合成工作站将各转码集群上传的转码后文件分片合并成目标文件，并提交到发布站点，供用户下载、播放。本发明适配云支撑体系，够根据任务量和当前转码服务能力调配资源进行自动的扩展和回缩，实现转码能力的动态调整。

Description

一种基于mPaaS的媒体转码弹性伸缩服务方法
技术领域
本发明属于多媒体技术领域，具体涉及一种基于mPaaS的媒体转码弹性伸缩服务方法。
背景技术
目前开源PaaS(Platform-as-a-Service)平台不能支持电视台、报业等媒体用户的业务又需要经常使用的服务(如转码、渲染、技审等媒体服务)，需要由媒体服务开发商以IaaS层基础架构服务(VPC)和通用服务(实例)为基础，自定义构造媒体服务池，并以用户自定义接口规范(API)、URL、APP、媒体桌面等方式对外交付如转码、渲染、技审等媒体服务或工具。而mPaaS(媒体平台即服务)正式针对目前PaaS平台不能支持的服务而开发的。
媒体转码(ApsaraVideo for Media Transcoding)，是为多媒体数据提供的转码计算服务。它以经济、弹性和高可扩展的音、视频转换方法，将多媒体数据转码成适合在PC、TV以及移动终端上播放的格式。目前传统转码***都是单***存在，每一套***单独占用一套硬件资源，使得硬件资源难以共享，资源利用率，且需要单独建立一套容灾***。传统架构不能很好支持***无缝扩容的需求，难以应对突发性信息增长需求，新***在刚投入使用时，由于使用人数较少，需要处理的信息量不大，但随着全面投入使用，需要处理的信息量呈现几何性增长，采用传统架构就会造成左右为难，如果硬件资源配置不足就可造成***宕机，如果要预备充足的硬件资源，又会造成平时的资源费。在实际媒体转码业务中，亟需一套能够根据用户的业务需求和策略，经济地自动调整弹性计算资源的mPaaS管理服务。
发明内容
本发明的目的在于解决现有技术中存在的问题，并提供一种基于mPaaS的媒体转码弹性伸缩服务方法，使mPaaS管理服务能够根据用户的业务需求和策略自动调整弹性计算资源。
本发明采用的具体技术方案如下：
基于mPaaS的媒体转码弹性伸缩服务方法，包含以下步骤：
S1：媒体调度中心MPC实时监听云计算平台的工作目录(对象存储或者是媒体存储的素材库)中是否有用户上传的待转码文件，当监听到待转码文件时执行S2；
S2：MPC将文件分片，计算任务处理时间并进行任务排序后将任务分配给转码集群；当任务总时长未超过预设阈值时，则直接把切片文件分配给转码集群；当任务总时长超过指定阈值时，触发预定弹性伸缩规则并由MPC调度中心调用云管理平台北向接口，进行转码服务器的创建，转码服务器创建后在MPC调度中心注册，加入到转码集群；
S3：转码集群从MPC下载分配给它的文件分片，并按照用户需求完成转码后将该文件分片上传到合成工作站；合成工作站将各转码集群上传的转码后文件分片合并成目标文件，并提交到发布站点，供用户下载、播放。
作为优选，首先需要在云管理平台配置各厂商的mPass服务信息并进行服务注册。
作为优选，用户在上传待转码文件的同时，指定转码后的目标编码、封装形式、码率及幅面信息。
作为优选，当MPC计算得到的当前任务总时长低于预设阈值的持续时间达到一定时间后，由MPC调度服务注销无任务的转码服务器，调用云管理平台的北向接口，对注销的转码服务器进行销毁。
作为优选，云计算平台中预设有转码集群模板，MPC需要进行转码服务器的创建时，读取转码集群模板配置文件后生成转码服务器。
本发明相对于现有技术而言，其有益效果主要表现在以下三个方面：
1.转码软件体系应适配云支撑体系，能够根据任务量和当前转码服务能力调配资源进行自动的扩展和回缩，实现转码能力的动态调整；
2.提供(包括但不限于)：h.263、h.264编码，flv、mp4、3gp、TS等封装，自定义多种码率和幅面的格式转换，满足各运营平台多屏终端对视音频格式的需求；
3.支持分布式转码功能，利用转码服务器集群，实现处理效率的提升；
4.媒体转码服务基于云计算服务构建，改变了以往进行转码时需要购买、搭建、管理转码软硬件的高昂投入以及配置优化、转码参数适配等复杂性问题；同时，借助云计算服务的弹性伸缩特性，可以按需提供转码能力，从而最大限度的满足业务转码需求、避免资源浪费。
附图说明
图1为于mPaaS提供媒体转码弹性伸缩架构图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。
如图1所示，一种基于mPaaS提供媒体转码弹性伸缩服务的***架构示意图，其主体是部署于云计算平台上的一台MPC服务器及由MPC负责控制和调度的若干台转码集群(转码工作站)。转码集群用于执行用户指定的转码服务。一台MPC服务器控制一个或多个转码集群单元，转码单元数和转码时间有一个线性反比关系，故借助ESS(弹性扩展服务)监控当前转码单元的服务能力。通常来说，初始的转码集群保有一个最低数量(如1台)，由MPC根据PaaS层的媒体业务数据量来判断当前的服务的负载是否需要调整，并相应的增加或缩减转码集群数量。平台通过SLB网络负载均衡服务接收并处理外部的访问请求，并根据预定的策略和转发规则分发给当前的转码集群。用户端的个人工作站或者PC将素材上载至云计算平台的相应工作目录后，由媒体调度中心(MPC)负责监听。合成服务器的作用是对不同转码集群的文件分片重新按照规则进行合成，然后将合成后的文件转移至OSS对象存储中，由WebService负责对外发布。
首先需要在云管理平台配置各厂商的mPass服务信息并进行服务注册。同时设定一个工作目录(对象存储或者是媒体存储的素材库)，供用户通过Web Server或者其他专有上传工具提交待转码的文件。同时，还需要预设若干转码集群的创建模板和伸缩规则。模板中包含转码集群的配置信息，当MPC需要创建新的转码集群时，可基于该模板进行创建。伸缩规则(包括弹性扩展和弹性收缩)中预先指定一个判断任务总时长阈值，用于判断是否需要增加或销毁转码集群，以及增加或销毁的数量。
基于mPaaS提供媒体转码弹性伸缩服务方法步骤具体如下：
S1：媒体调度中心MPC实时监听云计算平台的工作目录中是否有用户上传的待转码文件，当监听到待转码文件时开始执行S2。另外，用户在上传待转码文件的同时，可自定义指定转码后的目标编码、封装形式、码率及幅面信息。而平台中可预置多种常用的转码模板，以支持常见移动设备和应用场景，根据用户的指定进行套用。当然也可以根据用户上传的内容，直接分析并推荐的常用的或最佳的预制模板；也可以供用户创建自定义模板并存储于该用户的注册账户中。
S2：MPC将待转码文件分片，计算完成该转码任务所需要的处理时间。若有多个文件转码任务时，需要对其进行任务排序。当任务总时长未超过预设阈值时，则直接把切片文件分配给当前的转码集群。当任务总时长超过指定阈值时，当前的转码集群数量不足以满足任务需要，因此触发弹性扩展规则并由MPC调度中心调用云管理平台北向接口，基于预置的转码集群模板中的配置信息，创建预定数量的转码服务器，转码服务器创建后在MPC调度中心注册并关联到SLB中，加入到转码集群。MPC再将待转码的切片文件分配给扩展后的转码集群。
S3：转码集群被分配到待转码任务后，从MPC下载分配给它的文件分片，并按照用户指定的转码要求或基于转码模板完成转码，然后将该文件分片上传到合成工作站。合成工作站将各转码集群上传的转码后文件分片，根据其顺序合并成目标文件，然后存储于OSS对象存储的素材库中。Web Service发布***将该目标文件在相应的页面进行发布，供用户下载并在移动端播放。
另外，为了减少转码集群的闲置，当MPC扩展了转码集群数量后，还需要不断计算当前任务总时长，若发现其低于预设阈值的持续时间达到一定值(可以预设)后，由MPC调度服务注销无任务的转码服务器，并调用云管理平台的北向接口，对注销的转码服务器进行销毁，将其移除SLB实例中不再参与后续的转码任务。由此，实现了弹性收缩，保证资源不会被浪费。
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (1)

1.一种基于mPaaS的媒体转码弹性伸缩服务方法，其特征在于包含以下步骤：
S1：媒体调度中心MPC实时监听云计算平台的工作目录中是否有用户上传的待转码文件，当监听到待转码文件时执行S2；
S2： MPC将文件分片，计算任务处理时间并进行任务排序后将任务分配给转码集群；当任务总时长未超过预设阈值时，则直接把切片文件分配给转码集群；当任务总时长超过指定阈值时，触发预定弹性伸缩规则并由MPC调用云管理平台北向接口，进行转码服务器的创建，转码服务器创建后在MPC注册，加入到转码集群；
S3：转码集群从MPC下载分配给它的文件分片，并按照用户需求完成转码后将该文件分片上传到合成工作站；合成工作站将各转码集群上传的转码后文件分片合并成目标文件，并提交到发布站点，供用户下载、播放；
S1中首先需要在云管理平台配置各厂商的mPass服务信息并进行服务注册；
用户在上传待转码文件的同时，指定转码后的目标编码、封装形式、码率及幅面信息；
当MPC计算得到的当前任务总时长低于预设阈值的持续时间达到一定时间后，由MPC调度服务注销无任务的转码服务器，调用云管理平台的北向接口，对注销的转码服务器进行销毁；
云计算平台中预设有转码集群模板，MPC需要进行转码服务器的创建时，读取转码集群模板配置信息后生成转码服务器。
CN201710018895.5A 2017-01-11 2017-01-11 一种基于mPaaS的媒体转码弹性伸缩服务方法 Active CN106789326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710018895.5A CN106789326B (zh) 2017-01-11 2017-01-11 一种基于mPaaS的媒体转码弹性伸缩服务方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710018895.5A CN106789326B (zh) 2017-01-11 2017-01-11 一种基于mPaaS的媒体转码弹性伸缩服务方法

Publications (2)

Publication Number Publication Date
CN106789326A CN106789326A (zh) 2017-05-31
CN106789326B true CN106789326B (zh) 2020-03-24

Family

ID=58947418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710018895.5A Active CN106789326B (zh) 2017-01-11 2017-01-11 一种基于mPaaS的媒体转码弹性伸缩服务方法

Country Status (1)

Country Link
CN (1) CN106789326B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111506390B (zh) * 2020-03-31 2024-01-19 新浪技术（中国）有限公司 一种基于容器化部署的视频转码调度方法及***
CN112214701A (zh) * 2020-10-14 2021-01-12 青岛海尔科技有限公司 页面的展示方法及***、存储介质、电子装置
CN115145707A (zh) * 2022-07-14 2022-10-04 中国电子技术标准化研究院 一种高性能及负载均衡的文档格式转换方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102802053A (zh) * 2012-07-23 2012-11-28 深圳市融创天下科技股份有限公司 一种音视频文件转码集群调度方法及装置
CN103200204A (zh) * 2012-01-04 2013-07-10 中兴通讯股份有限公司 基于云存储的分布式转码***及其方法
CN104202305A (zh) * 2014-08-13 2014-12-10 腾讯科技（深圳）有限公司 一种转码处理方法、装置及服务器
CN104243537A (zh) * 2013-06-24 2014-12-24 ***股份有限公司 一种云计算环境下的自动伸缩方法和***
CN104539978A (zh) * 2014-12-19 2015-04-22 南京工业大学 一种云环境下的视频转码***方法
CN106303581A (zh) * 2016-08-25 2017-01-04 乐视控股（北京）有限公司 一种视频文件下载处理方法、装置和服务器

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002274B (zh) * 2011-09-16 2016-05-18 腾讯科技（深圳）有限公司 一种基于离线下载的移动多媒体实时转码播放***及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103200204A (zh) * 2012-01-04 2013-07-10 中兴通讯股份有限公司 基于云存储的分布式转码***及其方法
CN102802053A (zh) * 2012-07-23 2012-11-28 深圳市融创天下科技股份有限公司 一种音视频文件转码集群调度方法及装置
CN104243537A (zh) * 2013-06-24 2014-12-24 ***股份有限公司 一种云计算环境下的自动伸缩方法和***
CN104202305A (zh) * 2014-08-13 2014-12-10 腾讯科技（深圳）有限公司 一种转码处理方法、装置及服务器
CN104539978A (zh) * 2014-12-19 2015-04-22 南京工业大学 一种云环境下的视频转码***方法
CN106303581A (zh) * 2016-08-25 2017-01-04 乐视控股（北京）有限公司 一种视频文件下载处理方法、装置和服务器

Also Published As

Publication number Publication date
CN106789326A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106789326B (zh) 一种基于mPaaS的媒体转码弹性伸缩服务方法
US10412464B2 (en) Adaptive multicast delivery of media streams
US10631024B2 (en) Intelligent video streaming system
US10728304B2 (en) Redundancy control in streaming content packager pools
JP4331203B2 (ja) ピアツーピアネットワークのためのコンテンツ分散型オーバーレイネットワーク
CN106303674B (zh) 数据传输方法、装置和智能电视***
US20110191439A1 (en) Media content ingestion
CN103200350B (zh) 一种非线性云编辑方法
US10904642B2 (en) Methods and apparatus for updating media presentation data
CN111294647B (zh) 一种视频处理方法、装置及设备、存储介质
CN102123303A (zh) 一种音视频文件播放方法、***及传输控制装置
WO2017107911A1 (zh) 一种视频云平台播放视频的方法及装置
CN104902017B (zh) 一种支持QoS的多屏同步显示的远程互动方法
JP2009147902A (ja) ユーザ端末にマルチメディアコンテンツとコーデックを提供する適応的マルチメディアシステムおよびその方法
CN104253814A (zh) 一种流媒体处理方法、服务器及浏览器
CN113282377B (zh) 无服务器架构下的代码加载方法、设备、***及存储介质
CN103731448A (zh) 一种压缩图片的方法和***
CN104768063A (zh) 一种视频编码方法及装置
CN112839238A (zh) 投屏播放方法、装置和存储介质
CN111790159B (zh) 数据处理的方法、装置、设备及计算机可读存储介质
CN102752666B (zh) 一种ics流媒体平台***
CN104737550A (zh) 多媒体重定向方法、服务器和客户端
WO2021036784A1 (zh) 一种媒体数据处理方法、装置、媒体服务器及计算机可读存储介质
CN102572530A (zh) 流媒体业务频道调整方法及***
CN114666215B (zh) 一种应用跨集群弹性伸缩的方法、***、介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant