CN106209662B - 一种网络实时互动***中高并发动态速率数据传输的方法 - Google Patents

一种网络实时互动***中高并发动态速率数据传输的方法 Download PDF

Info

Publication number
CN106209662B
CN106209662B CN201610443924.8A CN201610443924A CN106209662B CN 106209662 B CN106209662 B CN 106209662B CN 201610443924 A CN201610443924 A CN 201610443924A CN 106209662 B CN106209662 B CN 106209662B
Authority
CN
China
Prior art keywords
data
server
page
transmission
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610443924.8A
Other languages
English (en)
Other versions
CN106209662A (zh
Inventor
李群巍
胡开荆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Wanpeng Digital Intelligence Technology Co ltd
Original Assignee
Zhejiang Wanpeng Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Wanpeng Education Technology Co Ltd filed Critical Zhejiang Wanpeng Education Technology Co Ltd
Priority to CN201610443924.8A priority Critical patent/CN106209662B/zh
Publication of CN106209662A publication Critical patent/CN106209662A/zh
Application granted granted Critical
Publication of CN106209662B publication Critical patent/CN106209662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/22—Traffic shaping
    • H04L47/225—Determination of shaping rate, e.g. using a moving window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2425—Traffic characterised by specific attributes, e.g. priority or QoS for supporting services specification, e.g. SLA

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络实时互动***中高并发动态速率数据传输的方法。本发明首先根据数据拆分策略对文档进行拆分，从而形成文档、页、基本包、数据包的传输层次结构。其次在文档上传时以客户端PPT文档公共页和第1页为先。最后服务器端在收到给客户端的数据请求后，根据规则统计服务器文档需要传输的用户数。本发明实现在高并发、带宽限定以及不稳定的情况下，动态调速、最大化使用网络带宽的传输方法。

Description

一种网络实时互动***中高并发动态速率数据传输的方法
技术领域
本发明属于计算机分布式数据传输领域，涉及一种网络实时互动***中高并发动态速率数据传输的方法，实现在高并发、带宽限定以及不稳定的情况下，动态调速、最大化使用网络带宽的传输方法。
背景技术
在大型在线互动平台(如分布式视频会议***)中，在既定较为稳定的和波动不稳定的网络带宽条件下，均能高效率稳定支持万人级别的客户端与服务器之间的数据通信，是个难点，也是一个瓶颈问题，同时也是区别在线互动平台之间质量优劣的一个重要指标。
对于实时互动***中高并发数据传输，常规的做法是通过分布式负载均衡来解决，这样做虽然可以通过由多台服务器来分担万人级用户的数据请求和传输通信压力，在一定程度上解决问题。但也明显存在缺陷，对于同一台服务器上的数据通信，还是存在通信峰值和带宽瓶颈问题。比如每台服务器分担1000个客户端(用户)，每个客户端可能同时在请求几兆的数据，如果不进行控制就会导致网络拥堵，用户体验无法得到保障。
发明内容
本发明主要目的是针对现在常规的做法仅从负载均衡来解决的不足，提供一种网络实时互动***中高并发动态速率数据传输的方法。一种动态调速、最大化使用网络带宽的传输方法，支持高并发数据的稳定可靠传输。
本发明解决其技术问题所采用的技术方案包括如下步骤：
第一部分：数据分包策略
本发明数据拆分策略如下：文档先根据页面进行拆分，是采取分页传输而不是整个文档一起传输；每页根据64K字节作为一个单位拆分成基本包；基本包又以1K字节为单位拆分成数据包。从而形成文档、页、基本包、数据包的传输层次结构。
文档等之类数据，一般都比较大，可以到几十兆甚至几百兆。互联网上传输数据，一般都采取分包传输的策略，不会全部打包在一起一次性传过去，这样容易造成网络拥堵。
第二部分：文档上传
步骤(1)基于用户体验的考虑，用户希望尽快看到文档数据的第一页。因此客户端PPT文档公共页和第1页的数据传输，采用600Kbps(根据实验测定)的传输速度根据前面的拆包规则上传数据
步骤(2)非PPT公共页和非第1页，采用200Kbps的传输速度根据前面的拆包规则上传数据
步骤(3)服务器部分将收到的数据根据前面的拆包规则组包成完整的数据后，记录文档、页、基本包、数据包之间的逻辑关系，并在服务器内存中仍旧以数据包、基本包、页、文档层次关系保存，以便其他客户端随时来请求，避免了重新组包，有请求可以直接转发，从而提高传输效率。
第三部分：文档下载
服务器端在收到给客户端的数据请求后，以100Kbps的速率为基准，通过调整单次发包个数来实现100Kbps至600Kbps的速率调整；单个用户支持100Kbps、200Kbps、300Kbps、400Kbps、500Kbps、600Kbps这几个速率。服务器理论可用带宽Kbps，我们一般固定为100*1024Kbps。
服务器文档需要传输的用户数的统计按照如下规则：
步骤(1)每隔1秒统计音视频已占用带宽Kbps情况
步骤(2)每隔1秒重新统计当前服务器上有文档背景数据包在发送的用户数，和20秒之内曾经发过数据包的用户数，并将两个用户数叠加；
步骤(3)新统计人数规则
新统计人数>＝上1秒统计人数，采用新统计人数，实现快速降速
新统计人数<上1秒统计人数，传输人数＝新统计人数*0.2+上1秒统计人数*0.8，确保提速平稳过渡；
步骤(4)计算服务器给客户端单次发包个数
服务器给客户端单次发包个数＝(服务器理论可用带宽Kbps–音视频已占用带宽Kbps)/(100Kbps*服务器上文档传输用户数)。
步骤(5)确定服务器给客户端的传输速率
服务器给客户端单次发包个数最小等于1，100Kbps传输速率
服务器给客户端单次发包个数最大等于6，600Kbps传输速率
服务器给客户端单次发包个数每1秒调整一次，以支持瞬间用户数上升问题(如瞬间断网，所有用户重新登录的情况)。
本发明有益效果如下：
本发明解决了现在常规的做法仅从负载均衡来解决的不足，提供一种动态调速、最大化使用网络带宽的传输方法，支持高并发数据的稳定可靠传输。
具体实施方式
下面集合实施例对本发明做进一步说明。
如下以大型在线互动平台中的文档数据传输为例说明，本发明方法的具体步骤包括：
第一部分：数据分包策略
本发明数据拆分策略如下：文档先根据页面进行拆分，是采取分页传输而不是整个文档一起传输；每页根据64K字节作为一个单位拆分成基本包；基本包又以1K字节为单位拆分成数据包。从而形成文档、页、基本包、数据包的传输层次结构。
文档等之类数据，一般都比较大，可以到几十兆甚至几百兆。互联网上传输数据，一般都采取分包传输的策略，不会全部打包在一起一次性传过去，这样容易造成网络拥堵。
第二部分：文档上传
步骤(1)基于用户体验的考虑，用户希望尽快看到文档数据的第一页。因此客户端PPT文档公共页和第1页的数据传输，采用600Kbps(根据实验测定)的传输速度根据前面的拆包规则上传数据
步骤(2)非PPT公共页和非第1页，采用200Kbps的传输速度根据前面的拆包规则上传数据
步骤(3)服务器部分将收到的数据根据前面的拆包规则组包成完整的数据后，记录文档、页、基本包、数据包之间的逻辑关系，并在服务器内存中仍旧以数据包、基本包、页、文档层次关系保存，以便其他客户端随时来请求，避免了重新组包，有请求可以直接转发，从而提高传输效率。
第三部分：文档下载
服务器端在收到给客户端的数据请求后，以100Kbps的速率为基准，通过调整单次发包个数来实现100Kbps至600Kbps的速率调整；单个用户支持100Kbps、200Kbps、300Kbps、400Kbps、500Kbps、600Kbps这几个速率。服务器理论可用带宽Kbps，我们一般固定为100*1024Kbps。
服务器文档需要传输的用户数的统计按照如下规则：
步骤(1)每隔1秒统计音视频已占用带宽Kbps情况
步骤(2)每隔1秒重新统计当前服务器上有文档背景数据包在发送的用户数，和20秒之内曾经发过数据包的用户数，并将两个用户数叠加；
步骤(3)新统计人数规则
新统计人数>＝上1秒统计人数，采用新统计人数，实现快速降速
新统计人数<上1秒统计人数，传输人数＝新统计人数*0.2+上1秒统计人数*0.8，确保提速平稳过渡；
步骤(4)计算服务器给客户端单次发包个数
服务器给客户端单次发包个数＝(服务器理论可用带宽Kbps–音视频已占用带宽Kbps)/(100Kbps*服务器上文档传输用户数)。
步骤(5)确定服务器给客户端的传输速率
服务器给客户端单次发包个数最小等于1，100Kbps传输速率
服务器给客户端单次发包个数最大等于6，600Kbps传输速率
服务器给客户端单次发包个数每1秒调整一次，以支持瞬间用户数上升问题(如瞬间断网，所有用户重新登录的情况)。
实施例：
以一个总带宽为500Mbps的***为例，当***当前用户数为1000，且正在播放一个流量为400Kbps的视频时，视频所占用的总流量为400Kbps*1000＝400000Kbps，假如当时统计得到的文档传输用户数是300，而记录的上一秒的文档传输用户数是250，则根据300来计算单次发包数，即(500000Kbps-400000Kbps)/(100Kbps*300)＝3.333…，即每次发送3个数据包，再过一秒后，若统计得到的文档传输用户数变为10，则传输人数变为300*0.8+10*0.2＝242，单次发包数为(500000Kbps-400000Kbps)/(100Kbps*242)＝4.132…，即每次发送4个数据包。

Claims (1)

1.一种网络实时互动***中高并发动态速率数据传输的方法，其特征在于包括如下部分：
第一部分：数据分包策略
数据分包策略如下：文档先根据页面进行拆分，是采取分页传输而不是整个文档一起传输；每页根据64K字节作为一个单位拆分成基本包；基本包又以1K字节为单位拆分成数据包；从而形成文档、页、基本包、数据包的传输层次结构；
第二部分：文档上传
首先，基于用户体验的考虑，用户希望尽快看到文档数据的第一页；因此客户端PPT文档公共页和第1页的数据传输，采用最快传输速度根据前面的拆包规则上传数据，最快传输速度为600Kbps；
其次，非PPT公共页和非第1页，采用200Kbps的传输速度根据前面的拆包规则上传数据；
然后，服务器部分将收到的数据根据前面的拆包规则组包成完整的数据后，记录文档、页、基本包、数据包之间的逻辑关系，并在服务器内存中仍旧以数据包、基本包、页、文档层次关系保存，以便其他客户端随时来请求，避免了重新组包，有请求可以直接转发，从而提高传输效率；
第三部分：文档下载
服务器端在收到来自客户端的数据请求后，以100Kbps的速率为基准，通过调整单次发包个数来实现100Kbps至600Kbps的速率调整；单个用户支持100Kbps、200Kbps、300Kbps、400Kbps、500Kbps、600Kbps这几个速率；服务器理论可用带宽Kbps，固定为100*1024Kbps；
服务器文档需要传输的用户数的统计按照如下规则：
步骤(1)每隔1秒统计音视频已占用带宽Kbps情况
步骤(2)每隔1秒重新统计当前服务器上有文档背景数据包在发送的用户数，和20秒之内曾经发过数据包的用户数，并将两个用户数叠加，作为新统计人数；
步骤(3)新统计人数规则
新统计人数>＝上1秒统计人数，采用新统计人数，实现快速降速；
新统计人数<上1秒统计人数，传输人数＝新统计人数*0.2+上1秒统计人数*0.8，确保提速平稳过渡；
步骤(4)计算服务器给客户端单次发包个数
服务器给客户端单次发包个数＝(服务器理论可用带宽Kbps–音视频已占用带宽Kbps)/(100Kbps*服务器上文档传输用户数)；
步骤(5)确定服务器给客户端的传输速率
服务器给客户端单次发包个数最小等于1，100Kbps传输速率；
服务器给客户端单次发包个数最大等于6，600Kbps传输速率；
服务器给客户端单次发包个数每1秒调整一次，以支持瞬间用户数上升问题。
CN201610443924.8A 2016-06-17 2016-06-17 一种网络实时互动***中高并发动态速率数据传输的方法 Active CN106209662B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610443924.8A CN106209662B (zh) 2016-06-17 2016-06-17 一种网络实时互动***中高并发动态速率数据传输的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610443924.8A CN106209662B (zh) 2016-06-17 2016-06-17 一种网络实时互动***中高并发动态速率数据传输的方法

Publications (2)

Publication Number Publication Date
CN106209662A CN106209662A (zh) 2016-12-07
CN106209662B true CN106209662B (zh) 2019-04-23

Family

ID=57461319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610443924.8A Active CN106209662B (zh) 2016-06-17 2016-06-17 一种网络实时互动***中高并发动态速率数据传输的方法

Country Status (1)

Country Link
CN (1) CN106209662B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101188473A (zh) * 2007-12-20 2008-05-28 上海交通大学 无线自组织网络中的传输层发送速率自适应调整方法
CN103368923A (zh) * 2012-04-09 2013-10-23 中兴通讯股份有限公司 消息传输处理方法及装置
CN104156421A (zh) * 2014-08-06 2014-11-19 百度在线网络技术（北京）有限公司 页面的展现方法、装置及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104754003B (zh) * 2013-12-30 2019-01-08 腾讯科技（深圳）有限公司 传输数据的方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101188473A (zh) * 2007-12-20 2008-05-28 上海交通大学 无线自组织网络中的传输层发送速率自适应调整方法
CN103368923A (zh) * 2012-04-09 2013-10-23 中兴通讯股份有限公司 消息传输处理方法及装置
CN104156421A (zh) * 2014-08-06 2014-11-19 百度在线网络技术（北京）有限公司 页面的展现方法、装置及***

Also Published As

Publication number Publication date
CN106209662A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
Bhat et al. Not so QUIC: A performance study of DASH over QUIC
CN104394486B (zh) 一种基于云桌面的视频流处理方法及装置
US9462032B2 (en) Streaming media content
US10003830B1 (en) Controller to manage streaming video of playback devices
US10200432B2 (en) HTTP streaming client adaptation algorithm based on proportional-integral control
US11665218B2 (en) Fast encoding of live streaming media content
CN103069492B (zh) 使用用于多媒体流传输文件的存储文件格式的存储方法和客户端装置
US10039126B2 (en) Scheduling method, apparatus, and system
US20140095593A1 (en) Method and apparatus for transmitting data file to client
CN106658051B (zh) 一种缓冲播放流媒体的控制方法及***
CN102333089A (zh) 基于超文本传输协议流化的多码率媒体流自适应控制方法
TWI524756B (zh) 儲存影音資料的方法與裝置
WO2015120766A1 (zh) 一种视频优化***及方法
CN105392023A (zh) 一种网络抖动环境下的视频直播方法及装置
Karamshuk et al. ISP-friendly peer-assisted on-demand streaming of long duration content in BBC iPlayer
KR101795537B1 (ko) 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템 및 그 방법
Liu et al. Design and implementation of performance testing utility for RTSP streaming media server
CN114501052A (zh) 直播数据处理方法、云平台、计算机设备和存储介质
US9986010B2 (en) System and method for controlling video and/or audio streams in a web browser
CN106209662B (zh) 一种网络实时互动***中高并发动态速率数据传输的方法
CN102821316A (zh) 一种基于对等计算核心算法改进的视频点播传输方法
Liu et al. QoE-aware traffic shaping for HTTP adaptive streaming
KR101140636B1 (ko) 데이터 세그먼트 정보를 이용한 컨텐츠 전송시스템 및 방법, 그 프록시서버
CN103139188A (zh) 流媒体传输方法与***
CN108449374B (zh) Web3D虚拟场景对等传输数据调度方法及平台

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 310051 12 / F, building 8, No. 19, Jugong Road, Xixing street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: ZHEJIANG WANPENG EDUCATION SCIENCE AND TECHNOLOGY STOCK Co.,Ltd.

Address before: Electronic Commerce Building No. 118 Xihu District West Road, Hangzhou City, Zhejiang Province, 310013 room 1406

Patentee before: ZHEJIANG WANPENG EDUCATION SCIENCE AND TECHNOLOGY STOCK Co.,Ltd.

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 12 / F, building 8, No. 19, Jugong Road, Xixing street, Binjiang District, Hangzhou City, Zhejiang Province, 310051

Patentee after: Zhejiang Wanpeng Digital Intelligence Technology Co.,Ltd.

Address before: 12 / F, building 8, No. 19, Jugong Road, Xixing street, Binjiang District, Hangzhou City, Zhejiang Province, 310051

Patentee before: ZHEJIANG WANPENG EDUCATION SCIENCE AND TECHNOLOGY STOCK CO.,LTD.