CN104378665A - 一种基于数字电视的分布式转码***及方法 - Google Patents

一种基于数字电视的分布式转码***及方法 Download PDF

Info

Publication number
CN104378665A
CN104378665A CN201410683153.0A CN201410683153A CN104378665A CN 104378665 A CN104378665 A CN 104378665A CN 201410683153 A CN201410683153 A CN 201410683153A CN 104378665 A CN104378665 A CN 104378665A
Authority
CN
China
Prior art keywords
transcoding
content
server
section
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410683153.0A
Other languages
English (en)
Other versions
CN104378665B (zh
Inventor
曹利齐
和山
陈俊
陈鹍
杨鑫宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TIANWEI VEDIO COMMUNICATION CO Ltd SHENZHEN CITY
Shenzhen Topway Video Communication Co Ltd
Original Assignee
TIANWEI VEDIO COMMUNICATION CO Ltd SHENZHEN CITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TIANWEI VEDIO COMMUNICATION CO Ltd SHENZHEN CITY filed Critical TIANWEI VEDIO COMMUNICATION CO Ltd SHENZHEN CITY
Priority to CN201410683153.0A priority Critical patent/CN104378665B/zh
Publication of CN104378665A publication Critical patent/CN104378665A/zh
Application granted granted Critical
Publication of CN104378665B publication Critical patent/CN104378665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于数字电视的分布式转码***及方法，该***包括：内容源存储服务器，用于以切片的方式存储媒资内容的源内容文件；转码调度服务器，用于配置源内容文件所存储的切片大小及切片数量，并发布调度任务至转码服务器集群使源内容文件的切片读入转码服务器集群；控制转码后的切片重组以组成媒资内容的完整文件，并将其写入内容集成存储服务器中；转码服务器集群包括一到多个转码节点，一到多个转码节点用于依据调度任务对切片进行转码；内容集成存储服务器，用于存储媒资内容的完整文件。本发明的有益效果在于，VOD***的空闲资源得到了有效利用，设备闲置率大大下降，提高了转码效率，也节约了***建设成本。

Description

一种基于数字电视的分布式转码***及方法
技术领域
本发明涉及数字电视领域，尤其涉及一种基于数字电视的分布式转码***及方法。
背景技术
目前，由于业务需要，有线交互数字电视***将建设内容聚合平台。采用PB(Petabyte)级的云存储，聚合了海量的互联网视频和个人视频，为实现多来源的视频在有线交互数字电视网络的存播，需要对海量内容进行转码处理，现存的转码服务器计算资源捉襟见肘，而单纯地扩容将极大得增加成本，而根据电视用户收视习惯，有部分时间***网络中存在大量的后台闲置资源没有得到有效利用。原有的转码技术已经无法满足需求，同时大量闲置的计算资源也为本方案中新技术提供条件。
现有转码技术
参见图1，图1为现有技术的有线交互数字电视的转码***，传统转码技术是一种流程式的方式，采用专用的转码服务器，集群方式部署，将转码作为内容集成流程的一步，无需定制化的调度方法。当内容完成编辑审核等步骤存入内容源服务器后，转码服务器随之进行读入转码并将转码后的内容存入内容集成服务器，最后由内容管理***调度发布到CDN(即内容分发网络)中存储。
现有网络中资源使用情况统计
参见图2，图2为VOD***每天的用户会话数曲线图，横坐标表示一天中的时间，纵坐标表示某一时刻的同时在线点播的用户会话数，通过简单的数据分析可知，一天的某一个时段用户会话数远远低于巅峰值的会话，当用户点播数处于低处这段时间里，设备CPU，IO资源占用率都较低，推流设备，用户会话管理设备等一系列后台设备将总体处于闲置状态。这就为本方案提供了必要条件。
传统转码技术在面对目前海量的聚合视频的现状时，将有以下问题：
1)由于转码任务繁多，需要大量的转码服务器参与转码工作，现有的服务器集群无法满足需求，单纯扩容会大幅增加了***建设预算。
2)调度方法固定死板，无法适应流量时时变化的网络环境。
3)海量的视频的存储消耗大量的存储资源，使用传统的存储服务器增加了预算，无法适应需求。
4)根据电视用户收视习惯，有部分时间***网络中存在大量的后台闲置资源没有得到有效利用。而这部分资源可以有效利用来转码。
发明内容
本发明要解决的技术问题在于，针对上述现有技术中服务器集群无法满足需求，调度方法无法适应流量时时变化的网络环境，存储服务器增加了预算，大量的后台闲置资源没有得到有效利用的问题，提供一种基于数字电视的分布式转码***及方法。
本发明解决其技术问题所采用的技术方案是：构造一种基于数字电视的分布式转码***，其特征在于，包括内容源存储服务器、内容集成存储服务器、通过云存储服务器部署的转码服务器集群以及转码调度服务器；其中，
所述内容源存储服务器，用于以切片的方式存储媒资内容的源内容文件；
所述转码调度服务器，用于配置所述源内容文件所存储的切片大小及切片数量，并发布调度任务至所述转码服务器集群使所述源内容文件的切片读入所述转码服务器集群；控制转码后的切片重组以组成媒资内容的完整文件，并将其写入所述内容集成存储服务器中；
所述转码服务器集群包括一至多个转码节点，所述一至多个转码节点用于依据所述调度任务对所述切片进行转码；
所述内容集成存储服务器，用于存储所述媒资内容的完整文件。
在本发明所述的分布式转码***中，所述分布式转码***还包括内容分发存储服务器以及内容管理***；其中，
所述内容分发存储服务器，用于将所述媒资内容的完整文件发布至内容分发网络；
所述内容管理***，用于管控所述媒资内容的源内容文件的元数据，获取所述源内容文件的切片并遍历所述一至多个转码节点，提取所述一至多个转码节点中的任一个空闲节点，从而分派任务至所述转码调度服务器。
在本发明所述的分布式转码***中，所述转码调度服务器包括调度节点以及切片与重组组件；其中，
所述调度节点，用于依据所分派的任务将所获取的切片分配至所提取的空闲节点，所述空闲节点将所述切片进行转码；将所述媒资内容的完整文件写入所述内容集成存储服务器中；
所述切片与重组组件，用于对所述源内容文件进行切片以及对转码后的切片重组为媒资内容的完整文件。
在本发明所述的分布式转码***中，所述切片与重组组件包括切片子组件、重组子组件以及云存储切片调度服务器；其中，
所述切片子组件，用于对所述媒资内容的源内容文件进行切割为切片，并将所切割的切片返回至所述云存储切片调度服务器；
所述重组子组件，用于对转码后的切片重组为媒资内容的完整文件，并将所述完整文件返回至所述云存储切片调度服务器；
所述云存储切片调度服务器，用于将所返回的切片以及完整文件发送至所述调度节点。
在本发明所述的分布式转码***中，所述转码调度服务器还包括优先级计算模块；
所述优先级计算模块，用于依据所述媒资内容的源内容文件的元数据获取所述媒资内容的n个参数：x1，x2，...xn；分别对所述n个参数设置对应的n个权值：w1，w2，...wn；并分别对所述n个参数设置对应的n个离散函数：f1(x1)，f2(x2)，...fn(xn)；设置个人上传标志xp，个人上传权值y；设置转码优先级P：
P = Σ 1 n w n f n ( x n ) Σ 1 n w n + x p y .
在本发明所述的分布式转码***中，所述n个参数至少包括用户点击量、推荐度、视频最大点播量、分辨率以及码率。
在本发明所述的分布式转码***中，所述内容管理***还用于依据所述转码优先级P设置转码队列，根据所述转码队列分派所述任务。
在本发明所述的分布式转码***中，所述内容管理***还用于建立一资源列表，所述资源列表用于记录所述转码服务器集群中一至多个转码节点的资源信息和调度阈值；还用于依据所述资源列表提取所述空闲节点。
在本发明所述的分布式转码***中，所述转码调度服务器还包括资源信息上报模块；
所述资源信息上报模块，用于按照预设的时间间隔获取所述转码服务器集群中一至多个转码节点的资源使用情况。
另一方面，提供一种基于数字电视的分布式转码方法，包括：
以切片的方式存储媒资内容的源内容文件，配置所述源内容文件所存储的切片大小及切片数量；
发布调度任务；
读入所述源内容文件的切片；
依据所述调度任务对所述切片进行转码；
控制转码后的切片重组以组成媒资内容的完整文件；
写入并存储所述媒资内容的完整文件。
上述公开的一种基于数字电视的分布式转码***及方法具有以下有益效果：集群软转码能力增强，满足了聚合平台海量视频的转码需求，使转码不会成为内容分发的瓶颈，无需转码硬件的参与，在一定程度上节省了空间和资源，节省了成本。VOD***的空闲资源得到了有效利用，设备闲置率大大下降。本架构的横向可扩展性非常高，需要扩容时，基本不用提高单台设备硬件配置，任何网络中的设备随时可以参与作业。分布式转码单台设备转码切片小，调度灵活，单点故障基本不会影响整体性能。容错性非常高。摆脱了以往的流式内容处理，内容处理方式更加灵活多变，增强了整个VOD***的处理效率。
附图说明
图1为现有技术的数字电视转码***的结构示意图；
图2为数字电视用户会话量的坐标图；
图3为本发明提供的服务器部署的示意图；
图4为本发明一实施例提供的一种基于数字电视的分布式转码***的结构示意图；
图5为本发明另一实施例提供的一种基于数字电视的分布式转码***的结构示意图；
图6为本发明提供的所述转码调度服务器的结构框图；
图7为本发明实施例提供的一种基于数字电视的分布式转码方法的流程图；
图8为本发明提供的分派转码任务的流程图；
图9为本发明提供的转码节点调度的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供一种基于数字电视的分布式转码***及方法，其目的在于，将把网络中随时间变化的剩余计算资源有效利用起来，***部署如图3，图3为本发明提供的服务器部署的示意图，图中参与转码的设备都属于现有的有线电视VOD***，其中分发缓存设备为CDN(内容分发网络)的缓存，VSS(VideoStream Server)为视频推流服务器，ISS(Intemet Stream Server)为基于IP的视频推流服务器，MAP为统一会话管理服务器，USM为统一资源管理服务器。以及其他可配置的网络设备，这些设备通过网络联合起来，加上原来就负责存储和转码的云存储服务器，由互为主备的转码调度节点统一管控，形成本发明的***部署。
参见图4，图4为本发明一实施例提供的一种基于数字电视的分布式转码***100的结构示意图，该分布式转码***100包括内容源存储服务器1、内容集成存储服务器4、通过云存储服务器部署的转码服务器集群3以及转码调度服务器2；其中，
所述内容源存储服务器1，用于以切片的方式存储媒资内容的源内容文件；内容源存储服务器1由云存储虚拟化所得空间，存储没经转码的源内容文件，以切片的方式存储，切片工作将由云存储服务器完成，切片大小和切片数量由转码调度节点配置。
所述转码调度服务器2，用于配置所述源内容文件所存储的切片大小及切片数量，并发布调度任务至所述转码服务器集群3使所述源内容文件的切片读入所述转码服务器集群3；控制转码后的切片重组以组成媒资内容的完整文件，并将其写入所述内容集成存储服务器4中；参见图3，网络中将有两台服务器互为主备部署转码调度软件(即转码调度服务器2)，充当调度的角色。功能主要有：
a)维护调度资源池，可人工对可供调度的资源配置进行干预；
b)维护调度***配置表，可人工对转码调度服务器2的参数配置进行干预；
c)当前网络环境中转码资源不足时，转码任务进行排队，需维护转码队列。
d)转码优先级生成，设置，管理。
e)文件切片，重组的管控。
f)上报策略管理，上报信息收集。
所述转码服务器集群3包括一至多个转码节点，所述一至多个转码节点用于依据所述调度任务对所述切片进行转码；一至多个转码节点(即图1中的转码节点1、转码节点2、转码节点3……)为网络中部署了转码软件的服务器，按本专利提出的规则，由转码调度节点分派任务从内容源存储中读入切片进行转码。并将转码后的切片写入内容集成存储中。
所述内容集成存储服务器4，用于存储所述媒资内容的完整文件。内容集成存储服务器4由云存储虚拟化所得空间，在没有进入VOD分发***之前，内容将集成在内容集成存储中，等待上架发布，此时的媒资内容需要合并成完整的文件，合并工作由云存储服务器完成。
参见图5，图5为本发明另一实施例提供的一种基于数字电视的分布式转码***的结构示意图，该实施例不同于上一实施例之处在于，所述分布式转码***还包括内容分发存储服务器5以及内容管理***6；其中，
所述内容分发存储服务器5，用于将所述媒资内容的完整文件发布至内容分发网络；内容分发存储服务器5由云存储虚拟化所得空间，内容最终按照NGOD规范中的A3接口被注入到内容分发存储，属于VOD***中的CDN子***。
所述内容管理***6，用于管控所述媒资内容的源内容文件的元数据，获取所述源内容文件的切片并遍历所述一至多个转码节点，提取所述一至多个转码节点中的任一个空闲节点，从而分派任务至所述转码调度服务器2。内容管理***6：是现有VOD***中的模块，负责管控内容的元数据，调度内容的存储，审核，转码，发布等功能。所述内容管理***6还用于建立一资源列表，所述资源列表用于记录所述转码服务器集群3中一至多个转码节点的资源信息和调度阈值；还用于依据所述资源列表提取所述空闲节点。
内容管理***6(CMS)下发的每个转码任务至转码调度服务器2，转码调度服务器2通过云存储切片调度引擎(即云存储切片调度服务器223)，调用切片组件对任务进行分割，然后发送到每台转码节点服务器上进行转码，转码完成后，转码节点会把转码结果向上提交到转码调度服务器2，调度服务器再调用重组组件对各个小的任务进行重新组装，最后得到一个完整的节目。
总之，图5中，媒资内容存储401至内容源存储服务器1中，内容源存储服务器1中的媒资内容切片读入402至各个转码节点，转码调度服务器2控制403内容源存储服务器1进行切片写入以及转码后的欠片重组，转码节点重组后写入404至内容集成存储服务器4，此外，转码调度服务器2调度405转码服务器集群3中的空闲转码节点进行转码，其调度任务通过内容管理***6下达406，内容管理***6还管控407媒资内容的存储，完整文件最终从内容集成存储服务器4注入408至内容分发存储服务器5中。
对应的，图3中其他可配置服务器与云存储服务器(即云存储1-n)之间存在转码切片读写的关系，云存储与内容分发网络(即分发缓存、VSS、ISS、MAP、USM)之间也存在转码切片读写，其他可配置服务器、云存储服务器以及内容分发网络分别对转码调度服务器2(包括主、备两台)进行资源管控，转码调度服务器2响应该资源管控分别分发调度任务。
综上所述，转码调度节点需配置数据如下
1、切片文件头标识
媒资切片文件包含标识文件头，用于标识切片，数据格式为：
参数名 描述
FileID 切片的完整文件ID
SplitNumber 文件切片数量
Offset 当前切片的偏移位置
SerialNumber 当前切片的序列号
IsIncomplete 是否小于***最小切片大小
IsIncomplete参数根据内容管理***6配置中的MinFileSize计算而得。在分布式转码中，文件大小如果小于极限值的情况下进行切片会增加不必要的读写操作，而流程也将过于繁琐，反而降低了效率，将不宜进行分布式转码。这种切片在两种情况下会涉及到：1，文件大小小于设定值MinFileSize；2，文件切片的最后一片。
2、转码资源池
调度节点21维护资源池MemberGroup{}，它记录每一个网络资源上报的资源信息和调度阈值，主要的配置参数如下：
理论上每个节点都拥有自己的阈值和忙闲设置，但实际上各服务器一般情况差异不大，可以采取统一设置。如果关注某些节点，也可单独进行设置。
3、***配置表
该表名为SystemConfig，主要配置参数如下：
参数名 类型 描述
SplitNumber Unsigned 可配置的切片数量
MinFileSize Unsigned 文件切片的最小大小，以MB为单位
BusyTime Datetime 资源都被占用时的单次等待时间
MaxAttempts Unsigned 资源都被占用时最大等待次数
ReportTime Datetime 设备上报信息周期
PriorityTable{} Object 优先级计算依据表
4、转码队列
转码队列TranscodingQueue{}：由于转码工作存在时间差异，当网络中计算资源不足的情况下，将由调度节点21维护内容源存储中的转码队列，主要参数如下：
参数名 类型 描述
TaskID String 任务ID
FileID String 文件ID
SplitNumber Unsigned 文件切片数量
SourceFilePath{} String 各个切片的存储路径
TargetFilePath String 切片完成后的文件存储路径
Priority Unsigned 任务优先级
SourceFormat String 视频内容编码格式
TransCodingFormat String 视频内容转码格式
转码优先级可以由人工配置，或采用默认，将由优先级计算模块自动赋值。
参见图6，图6为本发明提供的所述转码调度服务器2的结构框图，所述转码调度服务器2包括调度节点21以及切片与重组组件22；其中，
所述调度节点21，用于依据所分派的任务将所获取的切片分配至所提取的空闲节点，所述空闲节点将所述切片进行转码；将所述媒资内容的完整文件写入所述内容集成存储服务器4中；
所述切片与重组组件22，用于对所述源内容文件进行切片以及对转码后的切片重组为媒资内容的完整文件。所述切片与重组组件22包括切片子组件221、重组子组件222以及云存储切片调度服务器223；
所述切片子组件221，用于对所述媒资内容的源内容文件进行切割为切片，并将所切割的切片返回至所述云存储切片调度服务器223；
所述重组子组件222，用于对转码后的切片重组为媒资内容的完整文件，并将所述完整文件返回至所述云存储切片调度服务器223；
所述云存储切片调度服务器223，用于将所返回的切片以及完整文件发送至所述调度节点21。
在图6中，各结构之间按以下顺序执行工作：
601、转码调度服务器2(也成转码调度节点，其对外提供的服务接口)接受CMS(主要为CMS前端***，简称“前端***”)发布的转码任务。
602、根据SystemConfig配置表中的SplitNumber、MinFileSize参数生成切片任务，发送到切片调度引擎(即云存储切片调度服务器223)。
603、切片调度引擎将切片任务下达到云存储某个子节点(即转码节点)去执行。
604、子节点调用切片组件对文件进行一个虚拟切割(不会产生文件分片)，并且把切割的结果返回给切片调度引擎。
605、切片调度引擎将切片的结果返回给转码调度节点，后者对结果进行分析，记录，若认可切片结果，将确认消息发送到切片调度引擎。
606、由切片子组件221将文件切割产生实际分片。
607、由转码调度节点调度进行分布式转码(转码完成的子文件分片会存储到指定的云存储目录中)。
608、转码调度节点实时将转码进度反馈给前端***。
609、转码任务完成之后，转码调度节点生成重组任务下达到切片调度引擎。
610、切片调度引擎将合并的子任务下发到某个云存储子节点。
611、子节点调用重组组件，合并任务完成，将完成的结果信息返回给切片调度引擎(合并完成的结果文件会存储到指定的云存储目录中，并且会将之前的文件碎片全部清除)。
612、切片调度引擎将合并的任务状态返回给转码调度节点。
613、转码调度节点将转码的情况最终状态上报到前端***。
所述转码调度服务器2还包括优先级计算模块；所述优先级计算模块，用于依据所述媒资内容的源内容文件的元数据获取所述媒资内容的n个参数：x1，x2，...xn，；分别对所述n个参数设置对应的n个权值：w1，w2，...wn；并分别对所述n个参数设置对应的n个离散函数：f1(x1)，f2(x2)，...fn(xn)；设置个人上传标志xp，个人上传权值y；设置转码优先级P：
P = Σ 1 n w n f n ( x n ) Σ 1 n w n + x p y .
所述n个参数至少包括用户点击量、推荐度、视频最大点播量、分辨率以及码率。此外，所述内容管理***6还用于依据所述转码优先级P设置转码队列，根据所述转码队列分派所述任务。
例如：转码优先级设定依赖于内容源的元数据信息，这里涉及到的用户点播量，关联视频热度，分辨率，码率等，优先级可按下述条件设置。
1、管理员设定值优先；
2、当前源视频网络点播量或推荐度越高，优先级将越高。这是从网络直接获取的元数据信息；
3、当前源视频存在相关视频，如电视剧等，且相关视频在VSS中的点播量越高，优先级越高；
4、当前源视频的分辨率和码率越高，优先级越高；
5、对于个人上传的视频，优先级将设置为高于所有网络视频；
设用户点击量x1，推荐度x2，相关视频最大点播量x3，分辨率x4，码率x5，个人上传标志xp{取值0，1}，优先级P可简单地由公式表达为：
P = Σ 1 n w n f n ( x n ) Σ 1 n w n + x p y
fn(xn)为一个离散函数，由一张可配置的表来求函数值，如：在点播量的函数中，设点击量常数C，有以下计算表：
上述表中的权值P和C和公式中的y值都为常量，可由管理员按需进行设置。由于每种参数数值区别较大，这里需要针对每种参数进行分别设置，一共有n个离散函数
此外，所述转码调度服务器2还包括资源信息上报模块；所述资源信息上报模块，用于按照预设的时间间隔获取所述转码服务器集群3中一至多个转码节点的资源使用情况。即调度节点21通过周期性接收各转码节点的资源信息，维护资源配置表MemberGroup{}。策略为：
1、调度节点21提供设备注册接口，他的URL将在每台需要连接的转码节点中本地配置，首次通信将通过接口完成资源注册过程，注册完成相应的转码节点被录入MemberGroup{}中。转码节点需区别出云存储节点和非云存储节点。
2、调度节点21提供设备删除接口，通过转码设备发送申请信息或调度节点21主动发送退出通知，调度节点21将该节点信息移除，上报机制终止。该设备不再是转码节点
2、调度节点21必须对相应转码节点的各阈值和空闲时间进行设置。若没有人为进行设置，那么将采用***默认值。
3、由调度节点21下发给转码节点配置参数，如ReportTime。
4、在正常情况下：转码节点根据SystemConfig中的ReportTime进行统计自身资源使用情况并心跳上报。
5、非云转码节点，在IdleTime_Start～IdleTime_End以外的时间将不参与转码任务，也不进行资源上报，转码程序将被挂起，由调度节点21下发唤醒信息和休止信息进行唤醒和休止。
6、转码调度节点管理各转码节点的上下线状态，设备主动通信或到空闲时间开始上线，在周期上报超时或转码任务下发后规定时间内未反馈，***将判定转码节点离线，而不再进行调度，直到设备再次发送连接消息为止。
参见图7，图7为本发明实施例提供的一种基于数字电视的分布式转码方法的流程图，该分布式转码方法包括以下步骤：
S1、以切片的方式存储媒资内容的源内容文件，配置所述源内容文件所存储的切片大小及切片数量；
S2、发布调度任务；
S3、读入所述源内容文件的切片；
S4、依据所述调度任务对所述切片进行转码；
S5、控制转码后的切片重组以组成媒资内容的完整文件；
S6、写入并存储所述媒资内容的完整文件。
其中，步骤S2中的发布调度任务分配策略参见图8，图8为本发明提供的分派转码任务的流程图，该流程如下：
1、在没有任何任务的情况下，调度节点21处于等待状态。
2、当转码队列中有新的任务下达时，调度节点21从中取出优先级最高的任务进行调度。
3、调度节点21从任务中获得文件切片。若切片已经都经过了处理，那么就可以清除队列中现在已完成的任务，去提取下一个任务；若有剩余切片，则取出下一个切片。
4、在获取到切片后，调度节点21去资源池中获得转码节点，当所有节点都被遍历且当前没有节点满足条件的时候，调度节点21会等待一个时间BusyTime再去遍历，该参数在配置表中可以进行配置。若依然没有空闲节点，则再等待一个BusyTime。如此反复，反复MaxAttempts此以后，这里选择放弃策略。直接进行等待状态开始下一个任务，原因是在这段等待时间内可能有优先级更高的任务到来。原有没有完成的任务可以在队列中继续排队，直到再次被选中。
5、在上一步骤中任意环节中，取到的转码节点，首先判断其是否为云存储节点，若为云节点直接判断其CPU和RAM资源是否满足空闲需求，若满足，将转码任务分派给该节点。由于云节点没有其他业务需求，可以全力投入转码工作，故无需时间分配。判断条件为
CPULoad＜CPULoadThresholdValue＾RAMUsed＜RAMUsedThresholdValue
6、若该节点非云存储云节点，那么它有可能为缓存分发、VSS、ISS、MAP、USM或其他业务设备，在用户点播数量比较高的时段，是无法参与到转码任务中的，故需判断目前时间是否在空闲时间范围。该时间范围为配置文件中的IdleTime_Start～IdleTime_End。
图7所示的步骤S3-S6的具体过程参见图9，图9为本发明提供的转码节点调度的流程图，分派转码任务后，转码节点得到任务配置信息和切片信息，获得SourceFilePath和TargetFilePath参数，便可以与云存储直接交互读写，进行输入输出，参见图9中的步骤S1-S4。但是主要有三种情况的区别
1、转码成功后，转码节点向调度节点21发出正确返回，告知转码成功，再将转码成功后的文件写入内容集成存储。而调度节点21需要对任务中转码成功后的文件切片进行标识，若任务如果因为资源不足的原因被中断，那么下次再启动任务时需知道哪些切片是已经完成的。参见图9中的步骤S5-S9。
2、若转码因为某些原因没有成功，则转码节点发送错误返回，调度节点21将本次调度作废，而切片也将回到队列中被重新调度。参见图9中的步骤S10-S12。
3、若转码服务被中断，或网络中断，那么转码调度节点在一段时间仍无法收到反馈时，认为某节点离线，这时调度节点21重新调度该切片，并将该无法反馈的节点设备设置为离线。参见图9中的步骤S13-S16。
通过本发明所提供的，可根据有线电视VOD***的用户点播规律有效利用推流相关设备空闲计算资源进行转码的策略。同时，通过技术方案中的架构和资源管控策略提出的高开放性，高可扩展的有线电视VOD***架构。此外，还可通过技术方案中的调度策略进行转码任务切片，排队与分发到有线电视VOD***各节点的实现。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种基于数字电视的分布式转码***，其特征在于，包括内容源存储服务器、内容集成存储服务器、通过云存储服务器部署的转码服务器集群以及转码调度服务器；其中，
所述内容源存储服务器，用于以切片的方式存储媒资内容的源内容文件；
所述转码调度服务器，用于配置所述源内容文件所存储的切片大小及切片数量，并发布调度任务至所述转码服务器集群使所述源内容文件的切片读入所述转码服务器集群；控制转码后的切片重组以组成媒资内容的完整文件，并将其写入所述内容集成存储服务器中；
所述转码服务器集群包括一到多个转码节点，所述一到多个转码节点用于依据所述调度任务对所述切片进行转码；
所述内容集成存储服务器，用于存储所述媒资内容的完整文件。
2.根据权利要求1所述的分布式转码***，其特征在于，所述分布式转码***还包括内容分发存储服务器以及内容管理***；其中，
所述内容分发存储服务器，用于将所述媒资内容的完整文件发布至内容分发网络；
所述内容管理***，用于管控所述媒资内容的源内容文件的元数据，获取所述源内容文件的切片并遍历所述一到多个转码节点，提取所述一到多个转码节点中的任一个空闲节点，从而分派任务至所述转码调度服务器。
3.根据权利要求2所述的分布式转码***，其特征在于，所述转码调度服务器包括调度节点以及切片与重组组件；其中，
所述调度节点，用于依据所分派的任务将所获取的切片分配至所提取的空闲节点，所述空闲节点将所述切片进行转码；将所述媒资内容的完整文件写入所述内容集成存储服务器中；
所述切片与重组组件，用于对所述源内容文件进行切片以及对转码后的切片重组为媒资内容的完整文件。
4.根据权利要求3所述的分布式转码***，其特征在于，所述切片与重组组件包括切片子组件、重组子组件以及云存储切片调度服务器；其中，
所述切片子组件，用于对所述媒资内容的源内容文件进行切割为切片，并将所切割的切片返回至所述云存储切片调度服务器；
所述重组子组件，用于对转码后的切片重组为媒资内容的完整文件，并将所述完整文件返回至所述云存储切片调度服务器；
所述云存储切片调度服务器，用于将所返回的切片以及完整文件发送至所述调度节点。
5.根据权利要求3所述的分布式转码***，其特征在于，所述转码调度服务器还包括优先级计算模块；
所述优先级计算模块，用于依据所述媒资内容的源内容文件的元数据获取所述媒资内容的n个参数：x1，x2，...xn；分别对所述n个参数设置对应的n个权值：w1，w2，...wn；并分别对所述n个参数设置对应的n个离散函数：f1(x1)，f2(x2)，...fn(xn)；设置个人上传标志xp，个人上传权值y；设置转码优先级P：
P = Σ 1 n w n f n ( x n ) Σ 1 n w n + x p y .
6.根据权利要求5所述的分布式转码***，其特征在于，所述n个参数至少包括用户点击量、推荐度、视频最大点播量、分辨率以及码率。
7.根据权利要求6所述的分布式转码***，其特征在于，所述内容管理***还用于依据所述转码优先级P设置转码队列，根据所述转码队列分派所述任务。
8.根据权利要求3所述的分布式转码***，其特征在于，所述内容管理***还用于建立一资源列表，所述资源列表用于记录所述转码服务器集群中一至多个转码节点的资源信息和调度阈值；还用于依据所述资源列表提取所述空闲节点。
9.根据权利要求3所述的分布式转码***，其特征在于，所述转码调度服务器还包括资源信息上报模块；
所述资源信息上报模块，用于按照预设的时间间隔获取所述转码服务器集群中一至多个转码节点的资源使用情况。
10.一种基于数字电视的分布式转码方法，其特征在于，包括：
以切片的方式存储媒资内容的源内容文件，配置所述源内容文件所存储的切片大小及切片数量；
发布调度任务；
读入所述源内容文件的切片；
依据所述调度任务对所述切片进行转码；
控制转码后的切片重组以组成媒资内容的完整文件；
写入并存储所述媒资内容的完整文件。
CN201410683153.0A 2014-11-24 2014-11-24 一种基于数字电视的分布式转码***及方法 Active CN104378665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410683153.0A CN104378665B (zh) 2014-11-24 2014-11-24 一种基于数字电视的分布式转码***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410683153.0A CN104378665B (zh) 2014-11-24 2014-11-24 一种基于数字电视的分布式转码***及方法

Publications (2)

Publication Number Publication Date
CN104378665A true CN104378665A (zh) 2015-02-25
CN104378665B CN104378665B (zh) 2018-02-27

Family

ID=52557268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410683153.0A Active CN104378665B (zh) 2014-11-24 2014-11-24 一种基于数字电视的分布式转码***及方法

Country Status (1)

Country Link
CN (1) CN104378665B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104837029A (zh) * 2015-05-08 2015-08-12 厦门大学 一种高清视频点播***的资源硬盘的存储和访问方法
CN105354254A (zh) * 2015-10-21 2016-02-24 杭州施强网络科技有限公司 一种利用节点服务器进行文档文件格式转换的方法
CN105610823A (zh) * 2015-12-28 2016-05-25 武汉鸿瑞达信息技术有限公司 一种基于任务向量的流媒体处理方法及其处理***架构
CN105763886A (zh) * 2016-03-01 2016-07-13 深圳市茁壮网络股份有限公司 一种分布式转码方法和装置
CN106686406A (zh) * 2015-11-05 2017-05-17 中国电信股份有限公司 用于实现视频实时转码预处理的方法和装置
CN106791932A (zh) * 2017-01-06 2017-05-31 广州亦云信息技术股份有限公司 分布式转码***、方法及其装置
CN106791928A (zh) * 2016-12-29 2017-05-31 上海幻电信息科技有限公司 一种自适应的高性能视频转码***和方法
CN106878735A (zh) * 2017-01-18 2017-06-20 环球智达科技（北京）有限公司 一种视频压缩编码的屏幕保护***
CN107071449A (zh) * 2017-05-18 2017-08-18 北京数码视讯科技股份有限公司 一种转码***和方法
CN107147921A (zh) * 2017-05-23 2017-09-08 北京网梯科技发展有限公司 基于切片与智能cdn调度的视频播放加速方法和设备
CN107231565A (zh) * 2017-07-25 2017-10-03 网宿科技股份有限公司 一种直播任务管理调度方法及其***
CN107295425A (zh) * 2017-06-12 2017-10-24 北京达沃时代科技股份有限公司 一种快速拼接转码分片文件的方法
CN107302570A (zh) * 2017-06-09 2017-10-27 东华大学 一种基于优先队列和Canvas技术的设备监控云组件设计方法
CN107743246A (zh) * 2017-01-24 2018-02-27 贵州白山云科技有限公司 任务处理方法、***及数据处理***
CN108255871A (zh) * 2016-12-29 2018-07-06 华为技术有限公司 一种数据查询方法及数据查询节点
WO2018137611A1 (zh) * 2017-01-24 2018-08-02 贵州白山云科技有限公司 任务处理方法、节点、介质、设备及内容分发网络
CN109413443A (zh) * 2017-08-16 2019-03-01 ***通信有限公司研究院 一种时移功能的实现方法及装置
CN110769278A (zh) * 2019-10-29 2020-02-07 鹏城实验室 一种分布式视频转码方法及***
CN110996172A (zh) * 2019-12-17 2020-04-10 杭州当虹科技股份有限公司 一种快速合成4k mxf文件的方法
CN111163335A (zh) * 2019-12-31 2020-05-15 深圳市瑞讯云技术有限公司 一种分布式服务器的视频处理方法及装置
CN112035405A (zh) * 2020-08-29 2020-12-04 平安科技（深圳）有限公司 一种文档转码方法、装置、调度服务器和存储介质
CN113965775A (zh) * 2021-10-22 2022-01-21 武汉博晟安全技术股份有限公司 基于切片和智能cdn加速的多媒体视频安全播放方法
CN114501067A (zh) * 2022-01-10 2022-05-13 成都易达数安科技有限公司 一种多gpu并发的媒资转码任务自动调度方法
CN114745601A (zh) * 2022-04-01 2022-07-12 暨南大学 一种分布式音视频转码***及其方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101184209A (zh) * 2007-12-12 2008-05-21 中山大学 一种数字家庭中vod客户端代理缓存服务器
CN101459848A (zh) * 2008-12-26 2009-06-17 西安交通大学 一种分布式多格式数字视频转码结构设计方法
US7650331B1 (en) * 2004-06-18 2010-01-19 Google Inc. System and method for efficient large-scale data processing
CN102859961A (zh) * 2009-12-22 2013-01-02 Gvbb控股股份有限公司 具有自适应的文件处理的分布式视频转码***
CN103297485A (zh) * 2012-03-05 2013-09-11 日电（中国）有限公司 分布式缓存自动管理***和分布式缓存自动管理方法
CN103838779A (zh) * 2012-11-27 2014-06-04 深圳市腾讯计算机***有限公司 复用空闲计算资源的云转码方法及***、分布式文件装置
CN104158909A (zh) * 2014-08-29 2014-11-19 北京阅联信息技术有限公司 一种分布式媒体处理方法及其***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7650331B1 (en) * 2004-06-18 2010-01-19 Google Inc. System and method for efficient large-scale data processing
CN101184209A (zh) * 2007-12-12 2008-05-21 中山大学 一种数字家庭中vod客户端代理缓存服务器
CN101459848A (zh) * 2008-12-26 2009-06-17 西安交通大学 一种分布式多格式数字视频转码结构设计方法
CN102859961A (zh) * 2009-12-22 2013-01-02 Gvbb控股股份有限公司 具有自适应的文件处理的分布式视频转码***
CN103297485A (zh) * 2012-03-05 2013-09-11 日电（中国）有限公司 分布式缓存自动管理***和分布式缓存自动管理方法
CN103838779A (zh) * 2012-11-27 2014-06-04 深圳市腾讯计算机***有限公司 复用空闲计算资源的云转码方法及***、分布式文件装置
CN104158909A (zh) * 2014-08-29 2014-11-19 北京阅联信息技术有限公司 一种分布式媒体处理方法及其***

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104837029B (zh) * 2015-05-08 2018-07-03 厦门大学 一种高清视频点播***的资源硬盘的存储和访问方法
CN104837029A (zh) * 2015-05-08 2015-08-12 厦门大学 一种高清视频点播***的资源硬盘的存储和访问方法
CN105354254A (zh) * 2015-10-21 2016-02-24 杭州施强网络科技有限公司 一种利用节点服务器进行文档文件格式转换的方法
CN106686406A (zh) * 2015-11-05 2017-05-17 中国电信股份有限公司 用于实现视频实时转码预处理的方法和装置
CN106686406B (zh) * 2015-11-05 2019-05-17 中国电信股份有限公司 用于实现视频实时转码预处理的方法和装置
CN105610823A (zh) * 2015-12-28 2016-05-25 武汉鸿瑞达信息技术有限公司 一种基于任务向量的流媒体处理方法及其处理***架构
CN105610823B (zh) * 2015-12-28 2018-09-11 武汉鸿瑞达信息技术有限公司 一种基于任务向量的流媒体处理方法及其处理***架构
CN105763886A (zh) * 2016-03-01 2016-07-13 深圳市茁壮网络股份有限公司 一种分布式转码方法和装置
CN108255871B (zh) * 2016-12-29 2022-01-28 华为技术有限公司 一种数据查询方法及数据查询节点
CN106791928A (zh) * 2016-12-29 2017-05-31 上海幻电信息科技有限公司 一种自适应的高性能视频转码***和方法
CN108255871A (zh) * 2016-12-29 2018-07-06 华为技术有限公司 一种数据查询方法及数据查询节点
CN106791932A (zh) * 2017-01-06 2017-05-31 广州亦云信息技术股份有限公司 分布式转码***、方法及其装置
CN106791932B (zh) * 2017-01-06 2019-08-30 广州亦云信息技术股份有限公司 分布式转码***、方法及其装置
CN106878735A (zh) * 2017-01-18 2017-06-20 环球智达科技（北京）有限公司 一种视频压缩编码的屏幕保护***
CN107743246A (zh) * 2017-01-24 2018-02-27 贵州白山云科技有限公司 任务处理方法、***及数据处理***
WO2018137611A1 (zh) * 2017-01-24 2018-08-02 贵州白山云科技有限公司 任务处理方法、节点、介质、设备及内容分发网络
CN107071449A (zh) * 2017-05-18 2017-08-18 北京数码视讯科技股份有限公司 一种转码***和方法
CN107147921A (zh) * 2017-05-23 2017-09-08 北京网梯科技发展有限公司 基于切片与智能cdn调度的视频播放加速方法和设备
CN107302570A (zh) * 2017-06-09 2017-10-27 东华大学 一种基于优先队列和Canvas技术的设备监控云组件设计方法
CN107302570B (zh) * 2017-06-09 2020-05-26 东华大学 一种基于优先队列和Canvas技术的设备监控云组件设计方法
CN107295425A (zh) * 2017-06-12 2017-10-24 北京达沃时代科技股份有限公司 一种快速拼接转码分片文件的方法
CN107295425B (zh) * 2017-06-12 2020-02-21 北京达沃时代科技股份有限公司 一种快速拼接转码分片文件的方法
CN107231565A (zh) * 2017-07-25 2017-10-03 网宿科技股份有限公司 一种直播任务管理调度方法及其***
CN109413443A (zh) * 2017-08-16 2019-03-01 ***通信有限公司研究院 一种时移功能的实现方法及装置
CN109413443B (zh) * 2017-08-16 2021-03-16 ***通信有限公司研究院 一种时移功能的实现方法及装置
CN110769278A (zh) * 2019-10-29 2020-02-07 鹏城实验室 一种分布式视频转码方法及***
CN110769278B (zh) * 2019-10-29 2022-02-08 鹏城实验室 一种分布式视频转码方法及***
CN110996172A (zh) * 2019-12-17 2020-04-10 杭州当虹科技股份有限公司 一种快速合成4k mxf文件的方法
CN111163335A (zh) * 2019-12-31 2020-05-15 深圳市瑞讯云技术有限公司 一种分布式服务器的视频处理方法及装置
CN111163335B (zh) * 2019-12-31 2022-04-01 深圳市瑞讯云技术有限公司 一种分布式服务器的视频处理方法及装置
CN112035405A (zh) * 2020-08-29 2020-12-04 平安科技（深圳）有限公司 一种文档转码方法、装置、调度服务器和存储介质
WO2021151294A1 (zh) * 2020-08-29 2021-08-05 平安科技（深圳）有限公司 一种文档转码方法、装置、调度服务器和存储介质
CN112035405B (zh) * 2020-08-29 2023-10-13 平安科技（深圳）有限公司 一种文档转码方法、装置、调度服务器和存储介质
CN113965775A (zh) * 2021-10-22 2022-01-21 武汉博晟安全技术股份有限公司 基于切片和智能cdn加速的多媒体视频安全播放方法
CN114501067A (zh) * 2022-01-10 2022-05-13 成都易达数安科技有限公司 一种多gpu并发的媒资转码任务自动调度方法
CN114745601A (zh) * 2022-04-01 2022-07-12 暨南大学 一种分布式音视频转码***及其方法
CN114745601B (zh) * 2022-04-01 2024-04-19 暨南大学 一种分布式音视频转码***及其方法

Also Published As

Publication number Publication date
CN104378665B (zh) 2018-02-27

Similar Documents

Publication Publication Date Title
CN104378665A (zh) 一种基于数字电视的分布式转码***及方法
CN109788315A (zh) 视频转码方法、装置及***
WO2018130162A1 (zh) 一种管控云计算终端和云服务器运作的方法和装置
US9807457B1 (en) Predictive content placement on a managed services system
CN109451072A (zh) 一种基于Kafka的消息缓存***和方法
CN108600300B (zh) 日志数据处理方法及装置
CN107465708A (zh) 一种cdn带宽调度***及方法
CN103164283A (zh) 一种虚拟桌面***中虚拟化资源动态调度管理方法及***
CN102882829A (zh) 一种转码方法及***
CN103838779A (zh) 复用空闲计算资源的云转码方法及***、分布式文件装置
CN102150150A (zh) 用于跨数据中心的资源定位和迁移的技术
CN104735095A (zh) 一种云计算平台作业调度方法及装置
CN107483981B (zh) 直播资源计算监测分配方法、存储介质、电子设备及***
US20110078116A1 (en) Method for controlling the distribution of data blocks and apparatus for the same
WO2020119060A1 (zh) 容器资源调度方法和***、服务器及计算机可读存储介质
CN106961616B (zh) 一种多cdn辅助的多层云的直播分发***
CN102340689A (zh) 电视台生产***中业务子***的配置装置及方法
CN101127883A (zh) 网络电视***及用于该***的录播内容调度方法
CN104394366A (zh) 分布式视频流媒体转码访问控制的方法和***
Zabrovskiy et al. FSpot: Fast and Efficient Video Encoding Workloads Over Amazon Spot Instances.
CN111417001B (zh) 视频传输方法、装置、服务器及存储介质
CN117827441A (zh) 一种云边端协同的算力资源智能监控调度方法及***
CN116402318B (zh) 面向配电网的多级算力资源分配方法、装置及网络架构
CN115589489B (zh) 视频转码方法、装置、设备、存储介质及视频点播***
CN112752111A (zh) 直播流处理方法及装置、计算机可读存储介质、电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant