CN106777142A

CN106777142A - 基于移动互联网海量数据的服务层***及其方法

Info

Publication number: CN106777142A
Application number: CN201611177947.5A
Authority: CN
Inventors: 严雄伟; 龚德光
Original assignee: HONGXU INFORMATION TECHNOLOGY Co Ltd WUHAN
Current assignee: HONGXU INFORMATION TECHNOLOGY Co Ltd WUHAN
Priority date: 2016-12-19
Filing date: 2016-12-19
Publication date: 2017-05-31

Abstract

本发明公开了一种基于移动互联网海量数据的服务层***及其方法，属于大数据领域。本***包括依次连接的ETL（100）、数据中心（200）、服务层平台（300）和业务***（400）；所述的数据中心（200）是海量数据存储与处理的核心部件，包括数据存储中心（210）和数据计算中心（220）；所述的服务层平台（300）是数据中心（200）对外提供服务的窗口，包括底层数据访问服务模块（310）、业务接口模块（320）和控制模块（330）；本方法是：①业务***注册；②业务***查询。本发明能够对所有移动互联网的海量数据进行统一查询接口，为各应用***统一查询服务提供技术支持。

Description

基于移动互联网海量数据的服务层***及其方法

技术领域

本发明属于大数据领域，尤其涉及一种基于移动互联网海量数据的服务层***及其方法。

背景技术

近年来，随着移动互联网上网速度的不断提升和资费价格的不断下降，移动互联网数据成***性的生长，如何存储这些数据，如何在这些数据中快速提取到用户所需要的信息已成为一个热门课题。移动互联网拥有的数据源丰富多样，包括各种手机客户端产生的业务数据、网页、音频数据、视频文件和图片等结构化和非结构化的一些数据。针对不同种类数据的存储也出现了各类SQL以及NoSQL数据库。

在互联网行业，业务营销人员如果需要在海量数据中要查找到有用的信息，需要奔走于各个业务部门，查询各套***，大大影响了工作效率。

发明内容

本发明的目的在于克服现有技术中存在的缺点和不足，提供一种基于移动互联网海量数据的服务层***及其方法，实现以下功能：①统一各种异构数据库（SQL/NoSQL）的访问方式；②数据表的自定义（用户自定义表视图）。

实现本发明目的的技术方案是：

一、基于移动互联网海量数据的服务***（简称***）

本***包括依次连接的ETL、数据中心、服务层平台和业务***。

二、基于移动互联网海量数据的服务方法（简称方法）

本方法包括下列步骤：

①业务***注册

业务***访问服务层平台300，需要先在服务层平台300中注册，生成***的唯一号。

②业务***查询。

本发明具有下列优点和积极效果：

①提供了通用的服务层访问平台，按照标准的http post和get方法调用接口方法，提供标准的json格式数据返回；

②处理速度快，且具有容错性；

③通过整合Hadoop分布式文件***、Solr全文检索***、ibatis等数据库接口和服务层平台融合等技术，为其它大数据技术之间的模块化整合以及统一操作接口提供了参考。

总之，本发明能够对所有移动互联网的海量数据进行统一查询接口，为各应用***统一查询服务提供技术支持。

附图说明

图1是本***的结构方框图；

图2是数据中心的结构方框图；

图3是服务中心的结构方框图；

图4是***注册流程图；

图5是***查询请求流程图。

其中：

100—ETL；

200—数据中心，

210—数据存储中心，

201—Linux（本地文件***），202—HBase（海量数据库），

203—Solr（全文数据库）， 204—MySQL（业务数据库），

205—Hadoop；

220—数据计算中心，

211—SQL（查询模块），212—Hive（统计分析模块），

213—Mahout（数据挖掘模块），214—Spark（数据处理模块）；

300—服务层平台，

310—底层数据访问服务模块，

320—业务接口模块，

321—通用业务接口，322—原始业务接口，323—基础业务接口；

330—控制模块，

331—日志，332—授权；

400—业务***，

410—第1业务***,

420—第2业务***，……

4N0—第N业务***，其中N≤100。

英译汉

1、Storm：是一个免费开源、分布式、高容错的实时计算***。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求；

2、Kafka：是一种高吞吐量的分布式发布订阅消息***；

3、HDFS：Hadoop的分布式文件***；

4、Flume：是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的***，Flume支持在日志***中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

5、Linux：一种操作***；

6、Hadoop：一种能够对大量数据进行分布式处理的软件框架；

7、MySQL：MySQL是一个关系型数据库管理***；

8、HBase：一种分布式的，面向列的Hadoop数据库；

9、Solr：一种基于Lucene的搜索服务器；

10、Hive：是基于Hadoop的一种数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行；

11、Spark：一种快速的大数据分布式处理引擎；

12、Mahout： ASF旗下的一种开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序；

13、Zookeeper：是一种分布式的，开放源码的分布式应用程序协调服务，它是一个为分布式应用提供一致***的软件。

具体实施方式

以下结合附图和实施例详细说明：

一、***

1、总体

如图1，本***包括依次连接的ETL100、数据中心200、服务层平台300和业务***400。

2、功能部件

1）ETL100

ETL100是指各类移动互联网数据源提取和清洗后转换技术的总称。

2）数据中心200

如图2，数据中心200是海量数据存储与处理的核心部件，包括数据存储中心210和数据计算中心220；

数据存储中心210包括Linux-211、HBase-212、Solr-213、MySQL-214和Hadoop-215；

数据计算中心220包括SQL-221、Hive-222、Mahout-223和Spark-224。

3）服务层平台300

服务层平台300是数据中心200对外提供服务的窗口，包括底层数据访问服务模块310、业务接口模块320和控制模块330；

底层数据访问服务模块310根据数据中心200通用API获取各类数据；

业务接口模块320包括通用业务接口321、原始业务接口322和基础业务接口323；通用业务接口321和原始业务接口322分别与基础业务接口323交互。

提供原始业务接口322、基础业务接口323以及通用业务接口321供上层应用***400调用访问。

控制模块330用于接入控制，只有经过授权332的业务***才能提供访问接口的服务，并对操作的动作记录日志331；否则不能提供服务。

4）业务***400

如图1，业务***400包括第1业务***410、第2业务***420、……第N业务***4N0，N是自然数，N≤100。

2、工作机理

本***接收到移动互联网的原始数据文件之后，ETL100按照指定的标准对数据进行提取、清洗、存入到数据中心200中；数据中心200提供各种数据算法模型和数据挖掘模型，对数据进行深度挖掘以及统计分析；服务层平台300为上层业务***400提供基础服务，上层应用***400按需通过HTTP GET/POST调用服务层平台300的通用业务接口321、原始业务接口322、基础业务接口323获取数据中心200各类数据。

二、方法

*步骤①：业务***注册

如图4，业务***注册流程如下：

A、接收业务***注册请求-10；

B、判断业务***传入的应用名是否存在-11，是则请求失败-13后

跳转到步骤D，否则进入步骤C；

C、分配***唯一号给业务***-12

D、结束-14。

*步骤②：业务***查询

如图5，业务***查询的工作流程如下：

a、收到业务***请求-20；

b、判断业务***是否注册-21，是则进入步骤c，否则即请求失败-29后跳转到步骤j；

c、判断业务***参数是否合法-22，是则进入步骤d，否则即请求失败-29后后跳转到步骤j；

d、判断AppKey、会话、方法版本号和请求方式是否合法-23，是则进入步骤e，否则即请求失败-29后跳转到步骤j；

e、判断业务参数校验流程是否合法-24，是则进入步骤f，否则即请求失败-29后跳转到步骤j；

f、判断校验业务是否受限访问、会话是否超过频次、上传文件大小是否超过限制-25，是则进入步骤g，否则即请求失败-29后跳转到步骤j；

g、请求业务层接口-26；

h、请求DAO层接口-27；

i、请求成功-28；

j、结束-30。

Claims

1.一种基于移动互联网海量数据的服务层***，其特征在于：

包括依次连接的ETL（100）、数据中心（200）、服务层平台（300）和业务***（400）；

所述的ETL（100）是指各类移动互联网数据源提取和清洗后转换技术的总称；

所述的数据中心（200）是海量数据存储与处理的核心部件，包括数据存储中心（210）和数据计算中心（220）；

数据存储中心（210）包括Linux（211）、HBase（212）、Solr（213）、MySQL（214）和Hadoop（215）；

数据计算中心（220）包括SQL（221）、Hive（222）、Mahout（223）和Spark（224）；

所述的服务层平台（300）是数据中心（200）对外提供服务的窗口，包括底层数据访问服务模块（310）、业务接口模块（320）和控制模块（330）；

底层数据访问服务模块（310）根据数据中心（200）通用API获取各类数据；

业务接口模块（320）包括通用业务接口（321）、原始业务接口（322）和基础业务接口（323）；通用业务接口（321）和原始业务接口（322）分别与基础业务接口（323）交互；

提供原始业务接口（322）、基础业务接口（323）以及通用业务接口（321）供上层应用***（400）调用访问；

控制模块（330）用于接入控制，只有经过授权（332）的业务***才能提供访问接口的服务，并对操作的动作记录日志（331）；否则不能提供服务；

所述的业务***（400）包括第1业务***（410）、第2业务***（420）、……第N业务***（4N0），N是自然数，N≤100。

2.基于权利要求1所述***的服务方法，其特征在于包括下列步骤：

①业务***注册

业务***访问服务层平台（300），需要先在服务层平台（300）中注册，生成***的唯一号；

②业务***查询；

所述的业务***注册的流程如下：

A、接收业务***注册请求（10）；

B、判断业务***传入的应用名是否存在（11），是则请求失败（13）后

跳转到步骤D，否则进入步骤C；

C、分配***唯一号给业务***（12）；

D、结束（14）；

所述业务***查询的工作流程如下：

a、收到业务***请求（20）；

b、判断业务***是否注册（21），是则进入步骤c，否则即请求失败（29）后跳转到步骤j；

c、判断业务***参数是否合法（22），是则进入步骤d，否则即请求失败（29）后跳转到步骤j；

d、判断AppKey、会话、方法版本号和请求方式是否合法（23），是则进入步骤e，否则即请求失败（29）后跳转到步骤J；

e、判断业务参数校验流程是否合法（24），是则进入步骤f，否则即请求失败（29）后跳转到步骤j；

f、判断校验业务是否受限访问、会话是否超过频次、上传文件大小是否超过限制（25），是则进入步骤g，否则即请求失败（29）后跳转到步骤j；

g、请求业务层接口（26）；

h、请求DAO层接口（27）；

i、请求成功（28）；

j、结束（30）。