CN103260050B - 基于Google App Engine云平台的视频点播*** - Google Patents

Abstract

一种基于Google？App？Engine云平台的视频点播***，属于一种互联网应用。本发明的目的在于设计并实现了一套高性能的满足大规模用户实时视频点播需求的分布式***级方案。通过在Google？App？Engine云平台上设计视频点播***，用户面对的不是一个单纯的视频网站，而是一个有分布式服务器集群组成的视频数据传输网络，海量的视频按照点播流行度和相似程度等策略存储在不同性能的分布式服务器节点上，在保证有多份数据冗余的情况下进行视频内容的分发，并且能够根据用户实时请求点播的数量来动态配置视频服务的节点，以满足互联网用户动态变化的视频点播需求，可以提高视频点播的质量，从而增强用户体验。

Description

基于Google App Engine云平台的视频点播***

技术领域

本发明技术属于一种互联网应用。

背景技术

近年来，多媒体技术和网络技术的飞速发展，互联网应用的种类和数量不断地增长，视频点播也已经成为像电子邮件、即时通讯、社交网络等主流的互联网应用之一。但是，伴随着互联网用户的激增，在我国已经有超过4亿人成为视频网站的用户。人们对网络视频需求的日益增大，视频的更新速度不断加快，对于巨量的节目视频数据，其存储、传输、大量并发性访问等问题都对网络视频点播的软件和硬件提出了新的挑战，并且整个视频点播***的扩展复杂，维护成本较高，因而需要新的技术来解决这些问题。

“云计算”是一种新的互联网计算模型，它将计算任务分布在大量计算机构成的资源池上，使用户能够按需获取计算力，存储空间和信息服务。而GoogleAppEngine云平台是应用最广泛的云平台之一，将面向大规模用户的视频点播***部署到GoogleAppEngine云平台上，可以充分利用其超大规模的分布式数据存储、实时的调度与计算功能、较高的横向可扩展能力，为视频点播***提供一个新的解决方案。

以下是对本说明书中部分术语的加注：

GoogleAppEngine（是一种可以在Google的基础架构上运行的网络应用程序。GoogleAppEngine应用程序易于构建和维护，并可根据访问量和数据存储需要的增长轻松扩展。使用GoogleAppEngine，只需上传应用程序，便可为用户提供服务。）

web容器（是一种服务程序，在服务器一个端口就有一个提供相应服务的程序，而这个程序就是处理从客户端发出的请求，如JAVA中的Tomcat容器。相当于中间件，有了web容器，只要按照它的规范写出功能逻辑（比如servlet，asp），而网络连接管理、会话管理等功能都由容器实现，简化开发。）

节点服务器（是针对服务器集群来说的，主要应用在WEB、FTP、VPN等服务上，节点服务器并不是单指某一种服务器，是由多个节点和管理单元构成的整体装置。）

Jetty（是一个开源的servlet容器，为基于Java的web内容，是使用Java语言编写的，它的API以一组JAR包的形式发布。）

Red5（提供基于Flash的流媒体服务的一款基于Java的开源流媒体服务器。是由Java语言编写，使用RTMP作为流媒体传输协议。）

流媒体服务器（StreamingMediaServer简写MS，主要功能是以流式协议（RTP/RTSP、MMS、RTMP等）将视频文件传输到客户端，供用户在线观看；也可从视频采集、压缩软件接收实时视频流，再以流式协议直播给客户端。）

上述术语本身已属于本领域已有技术知识，因此相关内容未尽详细介绍的皆不应该认定为公开不充分。

发明内容

本发明的目的在于设计并实现了一套高性能的满足大规模用户实时视频点播需求的分布式***级方案。通过在GoogleAppEngine云平台上设计视频点播***，用户面对的不是一个单纯的视频网站，而是一个有分布式服务器集群组成的视频数据传输网络，海量的视频按照点播流行度和相似程度等策略存储在不同性能的分布式服务器节点上，在保证有多份数据冗余的情况下进行视频内容的分发，并且能够根据用户实时请求点播的数量来动态配置视频服务的节点，以满足互联网用户动态变化的视频点播需求，可以提高视频点播的质量，从而增强用户体验。

本发明设计并实现了一套基于GoogleAppEngine云平台的分布式视频点播***方案，本发明技术方案表征为：

整个***包括云计算分布式基础平台（1）、视频分发服务模块（2）和视频点播应用软件模块（3）三个功能部分，其中：

所述云计算分布式基础平台（1）包含了GoogleAppEngine云平台（11）和视频点播流媒体服务器集群（12）。所述GoogleAppEngine云平台（11）又包含AppEngineWeb容器（111）和由服务器节点（112）组成的服务器集群。AppEngineWeb容器是高效的JavaServlet容器Jetty，可以运行网站、Web服务等。由服务器节点（112）组成的服务器集群通过GoogleAppEngine实现的分布式通信组成了一个可以横向扩展的Web容器（此处的横向扩展Web容器为现有***实现的技术。就是将每个计算机上的Web容器通过协议连通起来），每个节点中都运行着一个视频点播***Web副本，面向用户密集的请求，由GoogleAppEngine将用户负载均匀分配到各个服务器节点（112）上去。所述视频点播流媒体服务器集群（12）是由若干的流媒体服务器（121）组成，流媒体服务器为Windows服务器，其上面运行Red5流媒体服务器软件，处理相应用户由网站前端***，即AppEngine的JettyWeb容器中的网站***返回的点播请求，定位到相应视频文件，将视频通过RTMP协议将视频流媒体传输给用户客户端，从而完成视频点播应用服务。

所述视频分发服务模块（2）包含流媒体视频分布式存储策略处理模块（21）、用户点播负载均衡处理模块（22）两个组成部分。

所述流媒体视频分布式存储策略处理模块（21）又包括流媒体视频文件存储处理和视频相关信息存储处理两个方面。对流媒体视频文件存储策略为：将较为新的视频存放到较高I/O吞吐的计算服务器节点上，通过在线的用户点播记录分析，统计出每个视频的流行度和相似视频，做到流行度高且相似的一类视频制作索引和高速缓存后放到同一块高速的设备磁盘上，自动地将流行度较低的视频移动到低速的设备磁盘上。对视频相关信息存储策略为：将视频相关信息中的标题、简介、点播次数、注册用户验证、点播计费等这类I/O交互频繁的信息采用分布式的数据库服务器节点存储；将网站前台的JSP页面解析、CSS（级联样式表）、JavaScript脚本这类要求实时响应的信息采用独立的应用服务器节点存储。

所述用户点播负载均衡处理模块（22）用于处理来自GoogleAppEngine发来的用户视频点播请求，将用户定位到最优的流媒体服务器，并由该流媒体服务器进行视频点播响应。具体实现方式为：将流媒体服务器的运行综合负荷状态（CPU、内存、I/O、网络等）在流媒体服务器（121）的内存中动态维护一个以流媒体服务器（121）IP和综合负载状态组成的哈希表，当用户通过验证之后，通过哈希表将用户点播视频的请求定位到负载相对较小的流媒体服务器。

所述视频点播应用软件模块（3）包括前台视频点播***（31）和后台视频管理***（32），这两个***都采用Web的形式进行呈现，需要部署在GoogleAppEngine的Jetty容器中，然后在GoogleAppEngine的服务器节点（112）上都上传一份副本。所述前台视频点播***（31）是用户访问的所有模块，它包含视频搜索模块、视频分类模块、视频最新模块、视频最热模块、视频高分模块、视频节目浏览模块等，所述视频节目浏览模块下级又包括视频推荐排序模块、视频评论模块、视频打分分享模块、视频点播模块等。后台视频管理***（32）是管理人员进行***配置、统计的***，它包含视频分类管理模块、视频信息管理模块、用户评论管理模块、视频文件上传模块、***信息设置模块等。

本发明实现了一套基于GoogleAppEngine云平台高扩展的分布式视频点播方案，并且针对互联网海量用户密集的在线视频点播请求，给出了视频分布式存储策略和用户点播负载均衡方法，可以动态地分析、调度视频资源的分配，并实时地将用户的请求大致均匀的分配到流媒体视频点播服务器集群中，进而达到提高点播质量的目的。

创新点及有益效果：

（1）设计了完整的高扩展性的视频点播方案及***，并实现了视频点播，用户交互，视频推荐，视频管理等功能。

（2）提出了海量的视频按照点播热度和相似程度相结合的策略，将视频存储在不同性能的分布式服务器节点上，可以相对减少硬件设备的投入，提高视频点播的服务质量。

（3）提出了一个用户重定向的负载均衡方法，能够克服了传统视频服务在用户数量动态变化时无法充分利用带宽和资源或者用户请求数据量大导致网络拥塞的问题，提升视频点播的流畅度，从而提高用户的体验。

附图说明

图1为基于云计算的分布式视频点播***架构。

图2为流媒体视频文件存储策略流程图。

图3为视频点播***实体关系图。

图4为点播***功能与权限示意图。

具体实施方式

以下结合附图对本发明技术方案作进一步介绍。

基于GoogleAppEngine云平台的视频点播***实现步骤如下：***总体架构分为云计算分布式基础平台（1）、视频分发服务模块（2）和视频点播应用软件模块（3）三个部分，***架构如图1所示。

一、云计算分布式基础平台

所述云计算分布式基础平台（1）包含了GoogleAppEngine云平台（11）和视频点播流媒体服务器集群（12），Web容器是高效的JavaServlet容器Jetty，可以运行网站、Web服务等。所述GoogleAppEngine云平台（11）又包括AppEngineWeb容器（111）和若干服务器节点（112），所述若干服务器节点（112）通过AppEngine实现的分布式通信组成了一个容量可以横向扩展的Web容器，每个节点中都运行着一个视频点播***Web副本，面向用户密集的请求，由AppEngine将用户负载均匀分配到各个节点上去。所述视频点播流媒体服务器集群（12）是由若干的Windows服务器组成，其上面运行Red5流媒体服务器软件，处理相应用户由网站前端***，即AppEngine的JettyWeb容器中的网站***返回的点播请求，定位到相应视频文件，将视频通过RTMP协议将视频流媒体传输给用户客户端，从而完成视频点播应用服务。

二、视频分发服务

视频分发服务包含流媒体视频分布式存储策略、用户点播负载均衡方法两个组成部分。

1），流媒体视频文件的存储策略：分为流媒体视频文件存储策略和视频相关信息存储策略。

流媒体视频文件存储策略：根据在线点播分析，统计出每个视频的流行度，在流行度大于某一个阈值视频集合中计算相似的视频，将此集合再做细分，把相似的一类视频，即用户会经常同时访问的一类视频，制作索引和高速缓存，放到同一块高速的设备磁盘上，同时将其他非热门的视频移动到低速的设备上，存储策略流程如图2所示。流行度和视频相似度的具体计算公式如下：

视频的流行度计算公式：

其中Popularity计算的是视频i的流行度，Pi、Vi、Li、Si分别表示第i个视频的平均评分，观看次数，喜欢次数，分享次数。

视频的相似度计算公式：

其中Similarity计算的是视频i和视频j的相似度，G是调节因子（根据实验数据进行调节），Pi，Pj分别为视频i，j的平均评分，R表示同时给视频i和视频j评分的用户数目。

视频相关信息的存储策略：在视频存入数据库之前对将视频相关信息（标题、简介）进行离线处理并存储，在线过程中点播次数、注册用户验证、点播计费等I/O交互频繁，采用分布式的数据存储。网站前台的页面解析、级联样式表、脚本要求实时响应，按照功能划分存放到独立的web服务器中。

2），用户点播负载均衡方法：定义流媒体服务器负载哈希表BalancerHashTable为<IP,StateLevel>，并将其动态地在内存中维护，其中IP为流媒体服务器对应的内网IP地址，StateLevel为CPU，内存，I/O，网络带宽的加权值，可以将StateLevel定义为若干离散的状态：空闲，基本空闲，较轻负荷，较重负荷，满负荷，无响应，等级依次增大，当用户请求时，遍历该哈希表中的IP，找到等级最低的节点作为重定向的流媒体服务器为用户提供视频服务。

三、视频点播应用软件模块

如图1所示，所述视频点播应用软件模块（3）包括前台视频点播***（31）和后台视频管理***（32）。所述前台视频点播***（31）是用户访问的所有模块，它包含视频搜索模块、视频分类模块、视频最新模块、视频最热模块、视频高分模块、视频节目浏览模块等，所述视频节目浏览模块下级又包括视频推荐排序模块、视频评论模块、视频打分分享模块、视频点播模块等；

后台视频管理***（32）是管理人员进行***配置、统计的***，它包含视频分类管理模块、视频信息管理模块、用户评论管理模块、视频文件上传模块、***信息设置模块等。

上述视频点播应用软件模块（3）包含视频服务、组织关系和功能与权限三大功能。

1、视频服务：要与用户直接的、实时的交互，包括节目的选择，节目的搜索，节目的推荐，播放过程的开始，终止、全屏，切换不同的节目，处理用户评分和留言等交互性操作。

2、组织关系：通过实体映射实现，一个实体具有一个或多个属性，其属性可以引用另一个实体，可以实现一对多，多对多的关系。本发明视频点播***，定义了五个实体类，分别为类别实体类，视频实体类，评论实体类，用户实体类，***实体类，其实体关系图如图3所示。

3、功能与权限：包含普通用户和***管理员两种用户权限，分别为这两种用户提供不同服务。对于普通用户：浏览视频节目，点播视频，搜索视频，推荐视频，分享视频等；对于***管理人员：管理包含视频分类，管理视频信息，管理用户评论等，如图4所示。

Claims (1)

1.一种基于GoogleAppEngine云平台的视频点播***，其特征在于，整个***包括云计算分布式基础平台(1)、视频分发服务模块(2)和视频点播应用软件模块(3)三个功能部分，其中：

所述云计算分布式基础平台(1)包含了GoogleAppEngine云平台(11)和视频点播流媒体服务器集群(12)；

所述GoogleAppEngine云平台(11)又包含AppEngineWeb容器(111)和由服务器节点(112)组成的服务器集群；由服务器节点(112)组成的服务器集群通过GoogleAppEngine实现的分布式通信组成了一个可以横向扩展的Web容器，每个节点中都运行着一个视频点播***Web副本，面向用户密集的请求，由GoogleAppEngine将用户负载均匀分配到各个服务器节点(112)上去；

所述视频点播流媒体服务器集群(12)是由若干的流媒体服务器(121)组成，流媒体服务器为Windows服务器，其上面运行Red5流媒体服务器软件，处理相应用户由网站前端***，即AppEngine的JettyWeb容器中的网站***返回的点播请求，定位到相应视频文件，将视频通过RTMP协议将视频流媒体传输给用户客户端，从而完成视频点播应用服务；

所述视频分发服务模块(2)包含流媒体视频分布式存储策略处理模块(21)、用户点播负载均衡处理模块(22)两个组成部分；

所述流媒体视频分布式存储策略处理模块(21)又包括流媒体视频文件存储处理和视频相关信息存储处理两个方面；

对流媒体视频文件存储策略为：将较为新的视频存放到较高I/O吞吐的计算服务器节点上，通过在线的用户点播记录分析，统计出每个视频的流行度和相似视频，做到流行度高且相似的一类视频制作索引和高速缓存后放到同一块高速的设备磁盘上，自动地将流行度较低的视频移动到低速的设备磁盘上；

对视频相关信息存储策略为：将视频相关信息中的标题、简介、点播次数、注册用户验证、点播计费这类I/O交互频繁的信息采用分布式的数据库服务器节点存储；将网站前台的JSP页面解析、CSS(级联样式表)、JavaScript脚本这类要求实时响应的信息采用独立的应用服务器节点存储；

所述用户点播负载均衡处理模块(22)用于处理来自GoogleAppEngine发来的用户视频点播请求，将用户定位到最优的流媒体服务器，并由该流媒体服务器进行视频点播响应，具体实现方式为：将流媒体服务器的运行综合负荷状态在流媒体服务器(121)的内存中动态维护一个以流媒体服务器(121)IP和综合负载状态组成的哈希表，当用户通过验证之后，通过哈希表将用户点播视频的请求定位到负载相对较小的流媒体服务器；

所述视频点播应用软件模块(3)包括前台视频点播***(31)和后台视频管理***(32)，这两个***都采用Web的形式进行呈现，需要部署在GoogleAppEngine的Jetty容器中，然后在GoogleAppEngine的服务器节点(112)上都上传一份副本；

所述前台视频点播***(31)是用户访问的所有模块，它包含视频搜索模块、视频分类模块、视频最新模块、视频最热模块、视频高分模块、视频节目浏览模块，所述视频节目浏览模块下级又包括视频推荐排序模块、视频评论模块、视频打分分享模块、视频点播模块；

后台视频管理***(32)是管理人员进行***配置、统计的***，它包含视频分类管理模块、视频信息管理模块、用户评论管理模块、视频文件上传模块、***信息设置模块。