CN111669629A - 视频cdn节点即时扩容方法、调度器及cnd存储*** - Google Patents

视频cdn节点即时扩容方法、调度器及cnd存储*** Download PDF

Info

Publication number
CN111669629A
CN111669629A CN202010424901.9A CN202010424901A CN111669629A CN 111669629 A CN111669629 A CN 111669629A CN 202010424901 A CN202010424901 A CN 202010424901A CN 111669629 A CN111669629 A CN 111669629A
Authority
CN
China
Prior art keywords
node
file
machines
machine
time interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010424901.9A
Other languages
English (en)
Inventor
曾迅迅
盛骥斌
刘维
赵云鹏
邵灿
陈龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan MgtvCom Interactive Entertainment Media Co Ltd
Original Assignee
Hunan MgtvCom Interactive Entertainment Media Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan MgtvCom Interactive Entertainment Media Co Ltd filed Critical Hunan MgtvCom Interactive Entertainment Media Co Ltd
Priority to CN202010424901.9A priority Critical patent/CN111669629A/zh
Publication of CN111669629A publication Critical patent/CN111669629A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26241—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the time of distribution, e.g. the best time of the day for inserting an advertisement or airing a children program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种视频CDN节点即时扩容方法、调度器及CND存储***，将所有节点机划分为多组，该多组节点机用于存储多个时间区间内分发的文件；根据用户请求文件的关键信息，从对应组节点机中选取存放有所述关键信息的文件的节点机提供服务；所述所有节点机包括已有节点机和新增节点机。本发明在节点扩容时，无需迁移视频，新增节点机即时可用，节点服务器和请求视频URL上都带上时间属性，可以使得在扩容时不需要迁移，从而也节约了由于扩容迁移所需的时间，极大地减少了运维成本和总体资源成本，提高了扩容效率。

Description

视频CDN节点即时扩容方法、调度器及CND存储***
技术领域
本发明涉及CDN资源存储技术领域，特别是一种视频CDN节点即时扩容方法、调度器及CND存储***。
背景技术
主流视频CDN节点采用哈希算法定位文件，包括文件分发和文件调度。
1. 文件分发
文件上线供用户访问前，会通过网络协议（HTTP、P2P等）将文件分发至各机房，分发程序会以视频的特征值（文件的MD5值）为关键字通过哈希算法选择一台节点机存放文件。
2.文件调度
用户打开网页播放视频，首先会请求文件调度服务，调度服务以视频的特征值（文件的MD5值）为关键字通过哈希算法选择一台节点机为用户提供服务。
由于分发和调度算法、特征值、散列集合一致，所以可正确寻址（分发和调度选择同一节点机）。
当节点机磁盘空间满时，无法分发新文件，需扩容添加新的节点机。由于哈希散列集合发生了变化，调度哈希算法的结果和文件实际存储的位置不一致。这就需要迁移文件，待调度哈希算法的结果和文件存储的位置一致后再提供服务，运维成本和总体资源成本高。
发明内容
本发明所要解决的技术问题是，针对现有技术不足，提供一种视频CDN节点即时扩容方法、调度器及CND存储***，在节点扩容时，无需迁移视频，即时可用。
为解决上述技术问题，本发明所采用的技术方案是：一种视频CDN节点即时扩容方法，该方法包括：将所有节点机划分为多组，该多组节点机用于存储多个时间区间内分发的文件；根据用户请求文件的关键信息（例如，URL中包含的时间元信息），从对应组节点机中选取存放有所述关键信息的文件的节点机提供服务；所述所有节点机包括已有节点机和新增节点机。
本发明中，所述新增节点机与所述已有节点机分别用于存储不同时间区间内分发的文件，即新增节点机与已有节点机分设于不同的组内，保证扩容的有效性。
对于某一个文件，以该文件的分发时间为时间点，确定该文件对应的时间区间，并在该时间区间内选择一台节点机存储该文件，该文件分发过程简单易行，为本发明的扩容方案提供了实现基础。
所述用户请求文件的关键信息包括视频的特征值和分发时间点，例如，在节点服务器和请求视频URL上都带上时间属性，可以使得在扩容时不需要迁移（现有技术均须迁移），从而也节约了由于扩容迁移所需的时间。
具体地，本发明根据所述用户请求文件选择节点机的具体过程包括：根据所述用户请求文件的关键信息，确定该用户请求文件对应的时间区间，在该时间区间内选择存放有所述关键信息的文件的节点机提供服务。
相应地，本发明还提供了一种调度器，其包括：
分发程序，用于以开始分发时间为时间点，确定待分发文件对应的时间区间，并在该时间区间内选择该时间区间对应的节点机组内的一台节点机存储该待分发文件；
调度程序，用于根据用户请求文件的关键信息，确定该用户请求文件对应的时间区间，在该时间区间内选择存放有所述关键信息的文件的节点机提供服务。
本发明还提供了一种采用上述调度器的CDN***，其包括节点机房；该节点机房内包括多组节点机，该多组节点机用于存储多个时间区间内分发的文件；多组节点机包括已有节点机组和新增节点机组。
与现有技术相比，本发明所具有的有益效果为：本发明在节点扩容时，无需迁移视频，新增节点机即时可用，节点服务器和请求视频URL上都带上时间属性，可以使得在扩容时不需要迁移，从而也节约了由于扩容迁移所需的时间，极大地减少了运维成本和总体资源成本，提高了扩容效率。
具体实施方式
本发明将CDN节点抽象为机房-时间桶-节点机的三级结构。时间桶为一个时间区间，桶内的节点机只会存储该时间区间内分发的文件。例如：某机房有5个机器（编号1、2、3、4、5），需要扩容2台（编号6、7）。当前时间是 20181225，扩容时间点选在20190101，则桶划分为{ "-20190101":[1,2,3,4,5],"20190101-":[6,7]}。
在文件分发过程中，分发程序会以开始分发时间为时间点，确定该文件应该分发到哪个时间桶，然后在时间桶内通过哈希算法选择一台节点机存放文件。本发明的文件需包含时间信息，如/c2/2018/01/31_0/00013D94AAE045C3766D8077619D5764_v02_1_1_1510.mp4，该文件的时间戳是20180131，则会分发到"-20190101"桶内，会在[1,2,3,4,5]通过Hash算法选择机器存放。
在文件调度过程中，用户请求文件会带上视频的特征值、分发时间点等关键信息，和分发过程类似，调度程序会确定该文件应该分发到哪个时间桶，然后在时间桶内通过哈希算法选择所在的节点机服务用户。
本实施例主要流程步骤如下：
如某机房已有5台节点机，分别编号1、2、3、4、5，需新增2台节点机，编号为6、7，运维人员希望在新增节点机将在 2018-08-23 00:00:00 时生效。（当前时间在2018-08-23 00:00:00之前）
1，配置节点时间桶， 节点机1、2、3、4、5从机房上架一直在提供服务，由于磁盘满将在2018-08-23 00:00:00停止分发新文件，其后的文件会分发到节点机6、7。该机房时间桶配置可记录为{"-20180823":"1,2,3,4,5","+20180823":"6,7"}，该配置即时生效；
2，当请求URL 为http://disp.com/2017/08/22/BDA16493E8021B7E61B91EA2E6AB664D.mp4调度器确定该文件在2018-08-22发布，在2018-08-23 00:00:00之前，所以在节点机1、2、3、4、5选在节点；
3，当请求URL为http://disp.com/2018/08/24/BDA16493E8021B7E61B91EA2E6AB664D.mp4调度器确定该文件在2018-08-24发布，在2018-08-23 00:00:00之后，所以在节点机6、7选在节点。
对应的，本发明还提供了调度器结构的实施例，该调度器包括分发程序和调度程序。分发程序用于以开始分发时间为时间点，确定待分发文件对应的时间区间，并在该时间区间内选择该时间区间对应的节点机组内的一台节点机存储该待分发文件；调度程序用于根据用户请求文件的关键信息，确定该用户请求文件对应的时间区间，在该时间区间内选择存放有所述关键信息的文件的节点机提供服务。
在调度器的基础上，本发明还提供了CDN***的实施例，包括节点机房，该节点机房与调度器通信；该节点机房内包括多组节点机，该多组节点机用于存储多个时间区间内分发的文件；多组节点机包括已有节点机组和新增节点机组。
可见，在节点服务器和请求视频URL上都带上时间属性，可以使得在扩容时不需要迁移（现有技术均须迁移），从而也节约了由于扩容迁移所需的时间。

Claims (8)

1.一种视频CDN节点即时扩容方法，其特征在于，该方法包括：将所有节点机划分为多组，该多组节点机用于存储多个时间区间内分发的文件；根据用户请求文件的关键信息，从对应组节点机中选取存放有所述关键信息的文件的节点机提供服务；所述所有节点机包括已有节点机和新增节点机。
2.根据权利要求1所述的视频CDN节点即时扩容方法，其特征在于，所述新增节点机与所述已有节点机分别用于存储不同时间区间内分发的文件。
3.根据权利要求1所述的视频CDN节点即时扩容方法，其特征在于，对于某一个文件，以该文件的分发时间为时间点，确定该文件对应的时间区间，并在该时间区间内选择一台节点机存储该文件。
4.根据权利要求1所述的视频CDN节点即时扩容方法，其特征在于，所述用户请求文件的关键信息包括视频的特征值和分发时间点。
5.根据权利要求1所述的视频CDN节点即时扩容方法，其特征在于，根据所述用户请求文件选择节点机的具体过程包括：根据所述用户请求文件的关键信息，确定该用户请求文件对应的时间区间，在该时间区间内选择存放有所述关键信息的文件的节点机提供服务。
6.一种调度器，其特征在于，包括：
分发程序，用于以开始分发时间为时间点，确定待分发文件对应的时间区间，并在该时间区间内选择该时间区间对应的节点机组内的一台节点机存储该待分发文件；
调度程序，用于根据用户请求文件的关键信息，确定该用户请求文件对应的时间区间，在该时间区间内选择存放有所述关键信息的文件的节点机提供服务。
7.一种采用权利要求6所述调度器的CDN存储***，其特征在于，包括节点机房；该节点机房内包括多组节点机，该多组节点机用于存储多个时间区间内分发的文件。
8.根据权利要求7所述的CDN存储***，其特征在于，所述多组节点机包括已有节点机组和新增节点机组。
CN202010424901.9A 2020-05-19 2020-05-19 视频cdn节点即时扩容方法、调度器及cnd存储*** Pending CN111669629A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010424901.9A CN111669629A (zh) 2020-05-19 2020-05-19 视频cdn节点即时扩容方法、调度器及cnd存储***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010424901.9A CN111669629A (zh) 2020-05-19 2020-05-19 视频cdn节点即时扩容方法、调度器及cnd存储***

Publications (1)

Publication Number Publication Date
CN111669629A true CN111669629A (zh) 2020-09-15

Family

ID=72383923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010424901.9A Pending CN111669629A (zh) 2020-05-19 2020-05-19 视频cdn节点即时扩容方法、调度器及cnd存储***

Country Status (1)

Country Link
CN (1) CN111669629A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113596119A (zh) * 2021-07-16 2021-11-02 中移（杭州）信息技术有限公司 边缘能力分发方法、***、设备及计算机可读存储介质
CN115174696A (zh) * 2022-09-08 2022-10-11 北京达佳互联信息技术有限公司 节点调度方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140344413A1 (en) * 2012-12-13 2014-11-20 Level 3 Communications, Llc Collector mechanisms in a content delivery network
CN104469392A (zh) * 2014-12-19 2015-03-25 北京奇艺世纪科技有限公司 一种视频文件存储方法及装置
CN104580393A (zh) * 2014-12-18 2015-04-29 北京蓝汛通信技术有限责任公司 用于服务器集群***的扩容方法、装置及服务器集群***
CN108540546A (zh) * 2018-03-28 2018-09-14 深圳市网心科技有限公司 网络节点入网控制方法、电子设备、网络***和存储介质
CN109005056A (zh) * 2018-07-16 2018-12-14 网宿科技股份有限公司 基于cdn应用的存储容量评估方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140344413A1 (en) * 2012-12-13 2014-11-20 Level 3 Communications, Llc Collector mechanisms in a content delivery network
CN104580393A (zh) * 2014-12-18 2015-04-29 北京蓝汛通信技术有限责任公司 用于服务器集群***的扩容方法、装置及服务器集群***
CN104469392A (zh) * 2014-12-19 2015-03-25 北京奇艺世纪科技有限公司 一种视频文件存储方法及装置
CN108540546A (zh) * 2018-03-28 2018-09-14 深圳市网心科技有限公司 网络节点入网控制方法、电子设备、网络***和存储介质
CN109005056A (zh) * 2018-07-16 2018-12-14 网宿科技股份有限公司 基于cdn应用的存储容量评估方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113596119A (zh) * 2021-07-16 2021-11-02 中移（杭州）信息技术有限公司 边缘能力分发方法、***、设备及计算机可读存储介质
CN115174696A (zh) * 2022-09-08 2022-10-11 北京达佳互联信息技术有限公司 节点调度方法、装置、电子设备及存储介质
CN115174696B (zh) * 2022-09-08 2023-01-20 北京达佳互联信息技术有限公司 节点调度方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN102591970B (zh) 一种分布式键-值查询方法和查询引擎***
CN108287660A (zh) 数据存储方法和设备
CN104050250A (zh) 一种分布式键-值查询方法和查询引擎***
CN101799797B (zh) 分布式存储***中用户磁盘配额的动态分配方法
EP3039844B1 (en) System and method for supporting partition level journaling for synchronizing data in a distributed data grid
CN103095806B (zh) 一种面向大电网的实时数据库***的负载均衡管理***
BR112014000597B1 (pt) Método e sistema para download de arquivo multimídia
CN104050249A (zh) 分布式查询引擎***和方法及元数据服务器
CN109756573B (zh) 一种基于区块链的文件***
CN111782134B (zh) 数据处理方法、装置、***和计算机可读存储介质
CN109218100A (zh) 分布式对象存储集群及其请求响应方法、***和存储介质
CN102483768A (zh) 基于策略的储存结构分布
US20130031221A1 (en) Distributed data storage system and method
CN103186554A (zh) 分布式数据镜像方法及存储数据节点
CN104967873A (zh) 流媒体直播调度方法、***和调度服务器
CN103167026A (zh) 一种云存储环境数据处理方法、***及设备
CN104469392A (zh) 一种视频文件存储方法及装置
CN111669629A (zh) 视频cdn节点即时扩容方法、调度器及cnd存储***
CN105701099A (zh) 用于在分布式环境中执行任务的方法、装置及***
CN102982182A (zh) 一种数据存储规划方法及装置
CN112947860A (zh) 一种分布式数据副本的分级存储与调度方法
CN109871365A (zh) 一种分布式文件***
CN107181773A (zh) 分布式存储***的数据存储及数据管理方法、设备
KR20130038517A (ko) 분산된 컨테이너들을 사용하여 데이터를 관리하는 시스템 및 방법
CN116541553A (zh) 一种视频调度方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200915