CN102143237A - 一种基于网格的互联网内容分发方法和*** - Google Patents

一种基于网格的互联网内容分发方法和*** Download PDF

Info

Publication number
CN102143237A
CN102143237A CN201110117860XA CN201110117860A CN102143237A CN 102143237 A CN102143237 A CN 102143237A CN 201110117860X A CN201110117860X A CN 201110117860XA CN 201110117860 A CN201110117860 A CN 201110117860A CN 102143237 A CN102143237 A CN 102143237A
Authority
CN
China
Prior art keywords
content
resource
service node
user
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201110117860XA
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201110117860XA priority Critical patent/CN102143237A/zh
Publication of CN102143237A publication Critical patent/CN102143237A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

本方法公开了一种基于网格的互联网内容分发方法和***，该发明方法提供一种对内容资源可进行均衡的、切片处理的方法。***会按照预先设置的规则，将一个完整的内容资源进行切片处理后，生成多个大小相同或不同的小资源文件，随后***会将多个小资源文件智能的分发至网络的各个服务节点中。明显地减少了各个服务节点中内容资源的冗余问题，有效地利用了各个服务节点的***空间，而且还提高了用户访问互联网内容的命中率，实现用户对网站的就近访问及网络流量的智能分流，大大提高了网络的响应速度。

Description

一种基于网格的互联网内容分发方法和***
技术领域
本发明属于互联网技术领域，尤其涉及一种基于网格的互联网内容分发方法和***。
背景技术
CDN的全称是Content Delivery Network，即内容分发网络。其目的是通过在现有的Internet中增加一层新的网络架构，将网站的内容发布到最接近用户的网络“边缘”，使用户可以就近取得所需的内容。
该网络会将内容提供商原服务器中的资源内容存储到分布于各地的CDN缓存服务节点中，通过网络的全局负载均衡器将用户的请求自动地指向健康可用、并且距离用户最近的服务节点上，以提高用户访问的响应速度和服务的可用性，改善Internet上的内容传输服务质量和用户体验。
但是，CDN目前还存在着一些不足，为了让用户能够更快地获得所需内容，***会将用户访问的资源作为一个完整的文件存储在CDN的各个服务节点中。由于每个节点的容量有限，而可供用户访问的资源量会随着业务的推广不断增大，从而会导致服务节点容量不足的现象发生，造成各个节点中所存储的内容资源过度冗余，造成无谓的空间浪费。
同时，在用户与指定服务节点进行资源共享、资源下载的过程中，如果该服务节点由于自身***或者外在的因素导致***下线，会将用户即将下载完成的资源变成无效资源，用户只能选择等待与***重新分配的服务节点建立连接，重新进行资源的下载，这些问题都将对用户体验的降低产生很大的影响。
发明内容
有鉴于此，本发明提供一种基于网格的互联网内容分发方法和***。
在保证***具备良好的响应能力的基础上，优化了***在网络资源传输过程中的异常处理机制。同时提供了一种对内容资源进行切片分发和存储的实现方法，明显节省了各个服务节点中的***空间容量、降低了节点之间的内容分发带宽，最大化的避免了资源冗余的现象发生。
该方法和***由管理服务器，资源调度服务器，以及部署在网络中的多个服务节点组成，其中管理服务器、资源调度服务器、各个服务节点可由一或多台服务器组成。
管理服务器负责存储由内容提供商提供的数据内容以及对数据进行定期的同步和更新。***会根据预先设置的规则，对管理服务器中所存储的资源，如体积较大的视频文件、音频文件做统一的文件切片处理，并通过网络实时地传送至资源调度服务器，由资源调度服务器统一地负责对内容资源进行各个服务节点的下发。
资源调度服务器负责CDN的流量负载均衡、内容资源的分发和调度等任务处理。资源调度服务器实时接收管理服务器下发的内容资源，根据对网络中各个服务节点的带宽状况、传输能力，将多个资源文件片段循环地下发至各个服务节点，并自动地生成资源目录。***可实时地将用户请求指向到健康可用并且距离用户最近的服务节点上，进而提高CDN的服务质量，实现分布式的服务及业务负载的地域均衡，提高用户访问互联网内容的命中率。
各个服务节点负责接收和存储资源调度服务器下发的内容资源，通过资源调度服务器的指派，各个服务节点与指定用户建立连接，进行内容资源的下发处理。
该发明提供一种对内容资源可进行均衡的、切片处理的方法。***会按照预先设置的规则，将一个完整的内容资源进行切片处理后，生成多个大小相同或不同的小资源文件，随后***会将多个小资源文件智能的分发至网络的各个服务节点中。
其中，各个服务节点中的小资源文件在其它的某个节点中都会存在着相同的备份，而***会自动地记录各个小资源文件所存储的服务节点位置，以及该资源文件所属内容的相关信息。
对于每一个完整的内容资源，如果将网络中各个服务节点上所存储的小资源文件进行组合，可能存在该内容N份的叠加。目的是为了保证指定服务节点在与用户进行内容传输的过程中发生异常时，导致该节点不能继续为用户提供服务，***会重新分配指定的备份节点进行内容资源的续传工作，用于保证内容资源在网络传输过程中的完整性、连贯性。
***通过监听用户获取指定内容的请求，会智能的组合、检索出该内容所对应的各个小资源文件所在的服务节点位置。再根据请求用户的所在位置，选择距离用户最近或带宽连接最为通畅的多个服务节点对用户请求的内容进行多节点的、并行地下发处理。
该方法不仅明显地减少了各个服务节点中内容资源的冗余问题，有效地利用了各个服务节点的***空间，而且还提高了用户访问互联网内容的命中率，实现用户对网站的就近访问及网络流量的智能分流，大大提高了网络的响应速度。
在处理最终用户对内容的访问方面，***采用多链路、并行式的内容传输方式，扩展了下行传输带宽，使用户能以最快的速度、从最接近用户的地方获得所需的信息。
传统的CDN网络呈树状或星状结构，当网络中任何一个服务节点发生故障时，都有可能导致整个网络停止工作，造成服务节点之间的相互干扰、相互影响。而该方法很好的解决了这个问题，网络中的各个服务节点呈网状结构部署，同时***还保证了各个服务节点中的内容资源在其它的服务节点中都存有相同的备份。各个服务节点之间相对独立，对于其中一个服务节点发生故障时，***会智能的将用户请求导向其它服务良好的节点，有效的平衡了网络中各个节点所提供的服务质量保证。
此外，在内容传输的过程中，由于网络的原因或者***自身的原因，导致其中一个服务节点在内容传输的过程中发生传输停滞、中断等异常现象时，***会自动的从资源列表中检索出存储于其它服务节点中内容相同的小资源文件，继续完成内容的传输工作。不需要用户再重头开始下载指定的内容，实现了更加强大的断点续传功能，为用户提供更加完善、更加人性化的服务。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分。
图1是本发明中内容分发流程图。
具体实施方式
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例
如图1所示，包括以下步骤：
管理服务器负责存储由内容提供商提供的数据内容以及对数据进行定期的同步。对于管理服务器中所存储的内容，可以根据***预置的规则对内容进行切片处理的操作。其中，规则包括：预置内容的时间单位、预置内容的容量等规则。
***如果没有设置规则，则不会对管理服务器中所存储的内容进行任何切片的处理。
***可根据预置内容的时间单位，对所存储的内容进行统一地切片处理。如一部完整的、视频内容的播放时间为40分钟，***设置每间隔10分钟对内容进行一次切片处理。
对内容的切片操作完成后，该内容被切片处理成4个相独立的小资源文件，管理服务器再将多个小文件通过网络传输至资源调度服务器。
资源调度服务器也可称为该分发网络的全局负载均衡DNS，负责实时接收管理服务器下发的内容资源，并且智能的将多个小资源文件、循环的下发至部署在网络的各个服务节点中，保证各个节点中的小资源文件在其它服务节点中都会存在相同的备份。
下发处理完成后，资源调度服务器会自动地生成资源目录，其中包括存储在各个服务节点中的内容名称、内容唯一标识、资源序号、服务节点URL、更新时间等相关信息。
当用户访问已经加入CDN服务的网站时，域名解析请求将最终交给资源调度服务器进行处理。资源调度服务器通过一组预先定义好的策略，将请求透明地转发至距离用户最近的服务节点，该服务节点会像网站的原始服务器一样，响应用户的请求。
当用户发起获取指定内容资源的请求时，资源调度服务器监听到该请求，并对用户请求的内容进行解析。***通过将用户要获取的内容与资源目录中的内容进行匹配，检索出该内容被切片处理后，生成的多个小资源文件所存储的服务节点地址。***会根据当前请求用户所在的位置，筛选出距离用户最近或带宽连接最为通畅的多个服务节点，分配多个服务节点与用户建立连接，进行多节点、并行式的内容下发处理。
此外，***还负责在内容传输的过程中，对各个服务节点的状态进行实时地监听、跟踪。如果某个节点在内容传输的过程中发生异常，***会重新从资源目录中检索，与该服务节点的下载资源相同的备份节点，并指派备份节点与用户建立连接，完成内容的下载流程。
本发明对本领域的技术人员显而易见的是，在不偏离本发明的精神和原则范围内，本发明还可以做各种修改和变更，本发明覆盖在所附权利要求范围内的本发明的所有修改和变更。

Claims (7)

1.一种基于网格的互联网内容分发方法和***，其特征在于，包括：
管理服务器：负责存储由内容提供商提供的数据内容以及对数据进行定期的同步和更新；***会根据预先设置的规则，对管理服务器中所存储的资源做统一的文件切片处理；
资源调度服务器：负责CDN的流量负载均衡、内容资源的分发和调度等任务处理；
各个服务节点：负责接收和存储资源调度服务器下发的内容资源，通过资源调度服务器的指派，各个服务节点与指定用户建立连接，进行内容资源的下发处理。
2.根据权利要求1所述的方法，其特征在于，所述管理服务器会按照预先设置的规则，将一个完整的内容资源进行切片处理后，生成多个大小相同或不同的小资源文件，并通过网络实时地传送至资源调度服务器，由资源调度服务器统一地负责对内容资源进行各个服务节点的下发。
3.根据权利要求2所述的方法，其特征在于，所述资源调度服务器实时接收管理服务器下发的内容资源，根据对网络中各个服务节点的带宽状况、传输能力，将多个资源文件片段循环地下发至各个服务节点，并自动地生成资源目录。
4.根据权利要求3所述的方法，其特征在于，所述资源调度服务器根据请求用户的所在位置，选择距离用户最近或带宽连接最为通畅的多个服务节点对用户请求的内容进行多节点的、并行地下发处理。
5.根据权利要求3所述的方法，其特征在于，所述各个服务节点中的小资源文件在其它的某个节点中都会存在着相同的备份。
6.根据权利要求3所述的方法，其特征在于，所述各个服务节点负责接收和存储资源调度服务器下发的内容资源，通过资源调度服务器的指派，各个服务节点与指定用户建立连接，进行内容资源的下发处理。
7.根据权利要求4所述的方法，其特征在于，在内容传输的过程中，由于网络的原因或者***自身的原因，导致其中一个服务节点在内容传输的过程中发生传输停滞、中断等异常现象时，***会自动的从资源列表中检索出存储于其它服务节点中内容相同的小资源文件，继续完成内容的传输工作。
CN201110117860XA 2011-05-09 2011-05-09 一种基于网格的互联网内容分发方法和*** Pending CN102143237A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110117860XA CN102143237A (zh) 2011-05-09 2011-05-09 一种基于网格的互联网内容分发方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110117860XA CN102143237A (zh) 2011-05-09 2011-05-09 一种基于网格的互联网内容分发方法和***

Publications (1)

Publication Number Publication Date
CN102143237A true CN102143237A (zh) 2011-08-03

Family

ID=44410451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110117860XA Pending CN102143237A (zh) 2011-05-09 2011-05-09 一种基于网格的互联网内容分发方法和***

Country Status (1)

Country Link
CN (1) CN102143237A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547478A (zh) * 2012-02-20 2012-07-04 北京蓝汛通信技术有限责任公司 基于cdn的流媒体触发式切片点播***和方法
CN103716251A (zh) * 2014-01-14 2014-04-09 三星电子（中国）研发中心 用于内容分发网络的负载均衡方法及设备
CN103763389A (zh) * 2014-01-28 2014-04-30 从兴技术有限公司 一种自动部署方法、部署服务模块及部署应用模块
CN104093159A (zh) * 2014-07-09 2014-10-08 电子科技大学 一种分布式缓存的动态部署方法
CN104284202A (zh) * 2014-10-14 2015-01-14 无锡云捷科技有限公司 一种采用优化式结构的cdn透明传输方法
CN104660700A (zh) * 2015-03-03 2015-05-27 网宿科技股份有限公司 一种内容分发网络的方法和***
CN104735550A (zh) * 2013-12-19 2015-06-24 北京四达时代软件技术股份有限公司 一种vcdn***的性能管理方法及装置
CN104811743A (zh) * 2015-05-06 2015-07-29 成都麦子信息技术有限公司 一种在线教育平台的使用方法
CN105516305A (zh) * 2015-12-07 2016-04-20 国云科技股份有限公司 一种基于二进制方式跨域高效上传文件的方法
CN107105037A (zh) * 2017-04-25 2017-08-29 上海幻电信息科技有限公司 一种基于文件校验的分布式视频cdn资源管理***及方法
CN107613030A (zh) * 2017-11-06 2018-01-19 网宿科技股份有限公司 一种处理业务请求的方法和***
CN108494838A (zh) * 2018-03-12 2018-09-04 百途新媒体技术（北京）有限公司 一种基于iptv高负载、自动匹配的媒资对接***
CN108804664A (zh) * 2018-06-08 2018-11-13 北京搜狗科技发展有限公司 一种问题分发方法及相关装置
CN109005430A (zh) * 2018-09-17 2018-12-14 深圳市网心科技有限公司 一种音/视频内容的点播方法、***、装置及存储介质
CN109376134A (zh) * 2018-09-29 2019-02-22 深圳市网心科技有限公司 一种文件分布式部署方法、装置、***及存储介质
WO2019061657A1 (zh) * 2017-09-30 2019-04-04 平安科技（深圳）有限公司 数据服务方法及***
CN109788317A (zh) * 2017-11-14 2019-05-21 移动商务股份有限公司 串流影音管理***及其串流影音管理的方法
CN110083485A (zh) * 2019-03-15 2019-08-02 咪咕文化科技有限公司 分流方法、数据服务***及其前端、存储介质
CN110401731A (zh) * 2019-07-25 2019-11-01 北京百度网讯科技有限公司 用于分配内容分发节点的方法和装置
CN112235335A (zh) * 2020-03-04 2021-01-15 上海曼恒数字技术股份有限公司 一种内容传输方法及***
CN112272196A (zh) * 2020-03-09 2021-01-26 上海曼恒数字技术股份有限公司 一种***去服务器方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030873A (zh) * 2007-02-15 2007-09-05 深圳市迅雷网络技术有限公司 一种下载数据的方法及***
CN101064729A (zh) * 2006-04-27 2007-10-31 中国电信股份有限公司 通过cdn网络实现ftp下载服务的***和方法
CN101552799A (zh) * 2008-04-04 2009-10-07 华为技术有限公司 媒体节点容错方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101064729A (zh) * 2006-04-27 2007-10-31 中国电信股份有限公司 通过cdn网络实现ftp下载服务的***和方法
CN101030873A (zh) * 2007-02-15 2007-09-05 深圳市迅雷网络技术有限公司 一种下载数据的方法及***
CN101552799A (zh) * 2008-04-04 2009-10-07 华为技术有限公司 媒体节点容错方法和装置

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547478B (zh) * 2012-02-20 2015-03-11 北京蓝汛通信技术有限责任公司 基于cdn的流媒体触发式切片点播***和方法
CN102547478A (zh) * 2012-02-20 2012-07-04 北京蓝汛通信技术有限责任公司 基于cdn的流媒体触发式切片点播***和方法
CN104735550B (zh) * 2013-12-19 2019-02-22 北京四达时代软件技术股份有限公司 一种vcdn***的性能管理方法及装置
CN104735550A (zh) * 2013-12-19 2015-06-24 北京四达时代软件技术股份有限公司 一种vcdn***的性能管理方法及装置
CN103716251A (zh) * 2014-01-14 2014-04-09 三星电子（中国）研发中心 用于内容分发网络的负载均衡方法及设备
CN103763389A (zh) * 2014-01-28 2014-04-30 从兴技术有限公司 一种自动部署方法、部署服务模块及部署应用模块
CN104093159B (zh) * 2014-07-09 2017-06-06 电子科技大学 一种分布式缓存的动态部署方法
CN104093159A (zh) * 2014-07-09 2014-10-08 电子科技大学 一种分布式缓存的动态部署方法
CN104284202B (zh) * 2014-10-14 2017-12-01 无锡云捷科技有限公司 一种采用优化式结构的cdn透明传输方法
CN104284202A (zh) * 2014-10-14 2015-01-14 无锡云捷科技有限公司 一种采用优化式结构的cdn透明传输方法
CN104660700B (zh) * 2015-03-03 2019-02-19 网宿科技股份有限公司 一种内容分发网络的方法和***
CN104660700A (zh) * 2015-03-03 2015-05-27 网宿科技股份有限公司 一种内容分发网络的方法和***
CN104811743A (zh) * 2015-05-06 2015-07-29 成都麦子信息技术有限公司 一种在线教育平台的使用方法
CN105516305A (zh) * 2015-12-07 2016-04-20 国云科技股份有限公司 一种基于二进制方式跨域高效上传文件的方法
CN107105037A (zh) * 2017-04-25 2017-08-29 上海幻电信息科技有限公司 一种基于文件校验的分布式视频cdn资源管理***及方法
WO2019061657A1 (zh) * 2017-09-30 2019-04-04 平安科技（深圳）有限公司 数据服务方法及***
CN107613030A (zh) * 2017-11-06 2018-01-19 网宿科技股份有限公司 一种处理业务请求的方法和***
CN109788317A (zh) * 2017-11-14 2019-05-21 移动商务股份有限公司 串流影音管理***及其串流影音管理的方法
CN108494838A (zh) * 2018-03-12 2018-09-04 百途新媒体技术（北京）有限公司 一种基于iptv高负载、自动匹配的媒资对接***
CN108804664A (zh) * 2018-06-08 2018-11-13 北京搜狗科技发展有限公司 一种问题分发方法及相关装置
CN109005430A (zh) * 2018-09-17 2018-12-14 深圳市网心科技有限公司 一种音/视频内容的点播方法、***、装置及存储介质
CN109005430B (zh) * 2018-09-17 2021-05-18 深圳市网心科技有限公司 一种音/视频内容的点播方法、***、装置及存储介质
CN109376134A (zh) * 2018-09-29 2019-02-22 深圳市网心科技有限公司 一种文件分布式部署方法、装置、***及存储介质
CN109376134B (zh) * 2018-09-29 2022-04-01 深圳市网心科技有限公司 一种文件分布式部署方法、装置、***及存储介质
CN110083485A (zh) * 2019-03-15 2019-08-02 咪咕文化科技有限公司 分流方法、数据服务***及其前端、存储介质
CN110083485B (zh) * 2019-03-15 2021-08-06 咪咕文化科技有限公司 分流方法、数据服务***及其前端、存储介质
CN110401731A (zh) * 2019-07-25 2019-11-01 北京百度网讯科技有限公司 用于分配内容分发节点的方法和装置
CN110401731B (zh) * 2019-07-25 2024-05-07 北京百度网讯科技有限公司 用于分配内容分发节点的方法和装置
CN112235335A (zh) * 2020-03-04 2021-01-15 上海曼恒数字技术股份有限公司 一种内容传输方法及***
CN112272196A (zh) * 2020-03-09 2021-01-26 上海曼恒数字技术股份有限公司 一种***去服务器方法及***

Similar Documents

Publication Publication Date Title
CN102143237A (zh) 一种基于网格的互联网内容分发方法和***
US10491523B2 (en) Load distribution in data networks
CN105393220B (zh) 用于在集群***中部署点状虚拟服务器的***和方法
US8819080B2 (en) System and method for collection, retrieval, and distribution of data
JP5143957B2 (ja) トポロジを意識したキャッシュ協働
US8271677B2 (en) Origin request with peer fulfillment
CN103581245A (zh) 一种内容分发网络内容分发的方法及***
CN103825975B (zh) Cdn节点分配服务器及***
CN102868935A (zh) 在内容分发网络中响应多源的调度方法
CN101262488B (zh) 一种内容分发网络***及方法
WO2014082538A1 (zh) 一种业务调度方法与装置及融合设备
CN101540775A (zh) 内容分发方法、装置与内容分发网络***
CN103338252A (zh) 一种分布式数据库并发存储虚拟请求机制
CN107888666A (zh) 一种跨地域数据存储***以及数据同步方法和装置
CN101425969A (zh) 调度方法、调度装置和调度***
KR20100060304A (ko) 네트워크 구조를 고려한 분산형 컨텐트 전달 시스템 및 그 방법
WO2021120633A1 (zh) 一种负载均衡方法及相关设备
CN106254561A (zh) 一种网络资源文件的实时离线下载方法及***
CN102420863A (zh) 一种快速分发文件***和方法及装置
CN102780710A (zh) 基于内容分发网络的节点调度方法
Kothari et al. Dqs-cloud: A data quality-aware autonomic cloud for sensor services
CN101262489B (zh) 一种内容分发网络***及方法
CN110990448A (zh) 一种支持容错的分布式查询方法及装置
CN104602035A (zh) 流媒体点播方法和流媒体点播***
WO2017215415A1 (zh) 一种资源控制方法、装置和iptv服务器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110803