CN113592680A - 基于区域级教育大数据的服务平台 - Google Patents

Abstract

本发明提供了一种基于区域级教育大数据的服务平台，所述服务平台包括：业务集成服务单元，用于提供统一用户管理与认证；数据归集服务单元，用于提供教育信息标准与规范；数据融通服务单元，用于进行数据中心建设，利用基础信息的标准化建设为横向业务部门及下属单位提供业务运维支持；数据开放服务单元，用于为教育信息化标准运维建立通道和窗口，主要分为媒介开放平台和接口管理中心；数据加工服务单元，用于根据数据中心的建设需求，提供统一的数据采集、转换、加载、处理以及统一调度、管控的功能；数据应用服务单元，用于为不同角色提供相应的数据价值的展示和分析。本发明顺应了教育改革预期，加快了教育现代化。

Description

基于区域级教育大数据的服务平台

技术领域

本发明涉及大数据服务技术，尤其涉及一种基于区域级教育大数据的服务平台。

背景技术

目前，随着教育领域的不断持续发展，教育管理机构、学校及培训机构等之间的管理相当分散，教育信息散乱而缺乏统一长远的规划及管理，无法为决策层提供详实而全面的数据，教育策略的不能精准而深入地满足各方需求。为全面实施国家大数据战略和创新驱动发展战略，贯彻***的教育信息化精神，结合当前的教育信息化现状如各类数据分散不统一且无标准的现实情况，为促进移动互联网+背景下教育管理及教与学的深刻变革，来服务智慧教育长远发展和公众需求，实现推进优质教育资源的广泛共享，提升教育公平的水准，促进区域教育从经验管理模式走向大数据精准治理模式。遗憾的是，目前仍无相关技术可供参考。

发明内容

本发明提供一种基于区域级教育大数据的服务平台，以至少解决现有技术中存在的以上技术问题。

本发明一方面提供一种基于区域级教育大数据的服务平台，包括：

业务集成服务单元，用于提供统一用户管理与认证，至少提供统一的用户身份管理、权限配置管理、资源配置管理、身份同步服务的功能，并进行基础信息的统一管理与服务，其中，所述基础包括以下信息的至少之一：用户信息、权限信息、配置信息、认证信息、授权信息；

数据归集服务单元，用于提供教育信息标准与规范；所述教育信息标准包含数据标准，所述教育信息规范包括技术规范和管理规范；所述技术规范对教育信息化建设提出统一的信息标准要求，能够实现教育信息化资源整合及业务集成；所述数据标准遵照区域相关数据标准；所述技术规范遵循国家、设定区域级相关技术规范和标准，以制定并形成认证、公共软件、数据共享与交换的技术规范；

数据融通服务单元，用于进行数据中心建设，利用基础信息的标准化建设为横向业务部门及下属单位提供业务运维支持，为设定区域内的下属区域提供数据标准化；并通过数据中心基础支撑的构建，为智慧城市、不见面办事提供数据支撑服务；

数据开放服务单元，用于为教育信息化标准运维建立通道和窗口，主要分为媒介开放平台和接口管理中心；所述接口管理中心用于提供平台中任意接口注册、接口审核、中介代理、接口发布、接口调用日志、接口版本更新、失效接口虚化的服务，为第三方应用提供接口中心的透明安全调用，为内部应用提供接口隐藏，以提供数据订阅接口、应用业务接口、应用服务接口的安全、高效管理和服务；

数据加工服务单元，用于根据数据中心的建设需求，提供统一的数据采集、转换、加载、处理以及统一调度、管控的功能；包括存储层、汇总层、应用层，其中，存储层：为明细数据层，是数据计算核心层数据模型之一，用于存放由清洗、转换后的数据或者接口处接收到的数据，为汇总数据层和应用层提供数据基础；汇总层：为轻度汇总数据层，也是数据计算核心层数据模型之一，用于对主题内的数据进行轻量汇总，为应用层提供足够灵活、方便的基础数据，并保证从应用层获取数据的性能满足相应需求；应用层：位于汇总数据层之上，按照应用需求进行数据聚合，生成相关应用层所需的数据；对各种应用进行整合；

数据应用服务单元，用于为不同角色下的数据价值进行展示和分析，利用数据中心的建模标准，为不同维度下的业务数据进行实时汇聚、评估、展示和预警，并形成可视化报告数据；为各角色岗位的人员提供有效决策分析依据。

可选地，所述服务平台还包括：

教育数据中台，用于为设定区域的教育大数据平台的各类应用服务提供数据驱动和数据赋能支持，至少提供以下服务的至少之一：数据标准、数据汇聚、数据转换、数据治理、数据共享、数据服务；

教育业务中台，用于提供面向教育监管者、教育用户、生态供应商、生态管理者的基础服务和基础应用；保障生态有效协同运作，为用户提供各种场景适配的应用和解决方案，保障面向客户的应用推介、售卖、计费、售后的闭环处理；

能力中台，用于汇聚、调取支撑各类应用、业务的公共要素或环节，包括语音能力、短信能力、计算能力、存储能力，通过内部能力封装、外部能力引入，提供标准化、可复用、可扩展、可授权的服务；

基础服务单元，用于提供业务应用融合支撑开展和***运维保障的能力；集成有各个应用所必要的通用组件，包括统一用户、统一认证、统一融合、统一监控、安全服务。

可选地，所述教育业务中台包括：

数据汇聚/开发/治理中心，用于展开对数据对接、数据归集、数据加工、质量管理、数据模型的具体化工作，重新对数据进行规划利用和规范管理；把教育相关数据从教育体系内外归集到原始库数据库中，保障不干扰数据源业务***的正常运转，并依据标准进行数据清洗治理，按标准有序地沉淀在基础库或主题库中，确保基础数据一数一源，并使得业务主题数据能保障质量为数据服务奠定基础；基于基础库和主题库，面向后续使用的业务场景对数据进行针对性的数据开发形成共享库；

数据共享和服务管控中心，用于基于数据使用的标准和规范，构建教育生态数据开放能力中心；实现API接口运维平台，为第三方应用提供接口中心的透明安全调用，实现内部应用程序提供的接口隐藏，实现数据订阅接口、应用业务接口、应用服务接口的不同接口的安全、高效管理和服务提供；为第三方应用的获取数据服务实现规范化管理，为现有业务***接入或后续数据应用开发搭建基础；

数据探索与智能监测中心，用于构建数据智能能力，实现数据可视化分析引擎架构，在数据资产沉淀的基础上，为数据分析人员提供稳定的跨主题数据资源。

可选地，所述服务平台还包括：

数据采集单元，用于采集各级教育业务***、省部垂直***、省市大数据仓、互联网、物联网、第三方教育应用的数据，并进行汇聚；支持数据库方式的数据批量采集、通过API接口的数据采集和多种文件类型的数据采集，对各来源的异构数据进行跨域汇聚；对所有数据采集任务提供统一的调度机制与监控机制，在任务异常时提示告警信息。

可选地，所述数据归集服务单元，还用于将所述采集单元采集到的数据按分层存储于数据库中，所述数据库至少包括组织机构基础信息数据库、学生基础信息数据库、教职工基础信息数据库、主题数据库、共享数据库；其中，

学生基础信息数据库包括设定区域内各级各类学校学生的基本信息、学籍信息、结业信息；

教职工基础信息数据库包括设定区域内各级各类学校教职工的基本信息、资质信息、任职信息、异动信息。

组织机构基础信息数据库包括设定区域内各级各类学校和下属主管机构的基本信息、经费信息、教学信息、资产信息；

所述主题数据库根据数据主题分析应用需求，从所采集的基础数据、应用数据中抽取和重组而生成主题数据，所述主题数据包括学生发展主题、校园安全主题、教育资源主题的至少之一；

所述共享数据库在所述主题数据库的基础上，结合设定的分析应用需要，改进数据的抽取及整合方式，形成针对设定应用服务的数据集市,以更好地提供多样的信息分析应用功能。

本发明通过对设定区域如市、县、省等行政区划内的教育数据及多种文件类型数据的批量采集，将采集到的各来源的异构数据进行跨域汇聚，并对数据进行分层存储，这样，通过建设功能完善、开放灵活的教育大数据汇聚与分析平台，推动教育管理和学习方式变革，加快实现教育现代化。

附图说明

图1示出了本发明实施例的基于区域级教育大数据的服务平台的组成结构示意图；

图2示出了本发明实施例的基于教育信息的大数据处理平台的结构示意图；

图3示出了本发明实施例的教育中台的结构示意图。

具体实施方式

为使本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明实施例的基于区域级教育大数据的服务平台的组成结构示意图，如图1所示，本发明实施例的基于区域级教育大数据的服务平台包括：

业务集成服务单元10，用于提供统一用户管理与认证，至少提供统一的用户身份管理、权限配置管理、资源配置管理、身份同步服务的功能，并进行基础信息的统一管理与服务，其中，所述基础包括以下信息的至少之一：用户信息、权限信息、配置信息、认证信息、授权信息；

数据归集服务单元11，用于提供教育信息标准与规范；所述教育信息标准包含数据标准，所述教育信息规范包括技术规范和管理规范；所述技术规范对教育信息化建设提出统一的信息标准要求，能够实现教育信息化资源整合及业务集成；所述数据标准遵照区域相关数据标准；所述技术规范遵循国家、设定区域级相关技术规范和标准，以制定并形成认证、公共软件、数据共享与交换的技术规范；

数据融通服务单元12，用于进行数据中心建设，利用基础信息的标准化建设为横向业务部门及下属单位提供业务运维支持，为设定区域内的下属区域提供数据标准化；并通过数据中心基础支撑的构建，为智慧城市、不见面办事提供数据支撑服务；

数据开放服务单元13，用于为教育信息化标准运维建立通道和窗口，主要分为媒介开放平台和接口管理中心；所述接口管理中心用于提供平台中任意接口注册、接口审核、中介代理、接口发布、接口调用日志、接口版本更新、失效接口虚化的服务，为第三方应用提供接口中心的透明安全调用，为内部应用提供接口隐藏，以提供数据订阅接口、应用业务接口、应用服务接口的安全、高效管理和服务；

数据加工服务单元14，用于根据数据中心的建设需求，提供统一的数据采集、转换、加载、处理以及统一调度、管控的功能；包括存储层、汇总层、应用层，其中，存储层：为明细数据层，是数据计算核心层数据模型之一，用于存放由清洗、转换后的数据或者接口处接收到的数据，为汇总数据层和应用层提供数据基础；汇总层：为轻度汇总数据层，也是数据计算核心层数据模型之一，用于对主题内的数据进行轻量汇总，为应用层提供足够灵活、方便的基础数据，并保证从应用层获取数据的性能满足相应需求；应用层：位于汇总数据层之上，按照应用需求进行数据聚合，生成相关应用层所需的数据；对各种应用进行整合；

数据应用服务单元15，用于为不同角色下的数据价值进行展示和分析，利用数据中心的建模标准，为不同维度下的业务数据进行实时汇聚、评估、展示和预警，并形成可视化报告数据；为各角色岗位的人员提供有效决策分析依据。

至少通过API接口对设定区域内的教育数据及多种文件类型数据的批量采集，将采集到的各来源的异构数据进行跨域汇聚；对数据采集行为进行统一调度与监控，在数据采集任务异常时进行告警。

本发明实施例中，提供各种应用接口采集教育相关的数据。并对数据采集过程进行调度及监控，以在数据采集任务异常时进行告警。本发明实施例中，所采集的教育数据包含以下至少之一：视频、图片、文字的数据。

至少按操作数据层、明细数据层、服务数据层、数据应用层的分层方式将所采集到的数据进行存储。

本发明实施例中，操作数据层存储的数据包括不经过任何加工的数据，为冗余数据，只能新增数据且不能修改，并为每条数据增加时间版本来区分相同的数据；明细数据层的结构和粒度与操作数据层保持一致，对操作数据层层数据进行编码转化，并去除其中的空值、脏数据、超过极限范围的数据，不进行横向整合；服务数据层以明细数据层为基础，进行汇总聚集，至少聚集到以用户当日、设备当日、商家当日、商品当日的粒度，并以某一维度为线索，组成跨主题的宽表，所述宽表中至少包括用户当日下单数、支付数、退款数、展示项点击数的多列表；面向实际的数据需求，以服务数据层或明细数据层的数据为基础，组成统计报表，以供应用***查询调用。

所述将所采集到的数据按分层存储于数据库中，所述数据库至少包括组织机构基础信息数据库、学生基础信息数据库、教职工基础信息数据库、主题数据库、共享数据库；其中，

学生基础信息数据库包括设定区域内各级各类学校学生的基本信息、学籍信息、结业信息；

教职工基础信息数据库包括设定区域内各级各类学校教职工的基本信息、资质信息、任职信息、异动信息。

组织机构基础信息数据库包括设定区域内各级各类学校和下属主管机构的基本信息、经费信息、教学信息、资产信息；

所述主题数据库根据数据主题分析应用需求，从所采集的基础数据、应用数据中抽取和重组而生成主题数据，所述主题数据包括学生发展主题、校园安全主题、教育资源主题的至少之一；

所述共享数据库在所述主题数据库的基础上，结合设定的分析应用需要，改进数据的抽取及整合方式，形成针对设定应用服务的数据集市,以更好地提供多样的信息分析应用功能。

对所采集的数据进行标准制定，基于所制定的标准对采集到的数据进行清洗，基于清洗后的数据进行设定方式的治理，而实现数据服务开放共享互融互通、数据决策支持。

本发明实施例中，基于所制定的标准对采集到的数据进行清洗，包括：对按层存储的数据进行过滤，至少包括过滤不完整数据、错误数据和重复数据；其中，不完整数据包括信息缺失的数据，包括供应商的名称、分公司的名称、客户区域信息缺失的数据，以及业务***中主表与明细表不能匹配的数据；过滤不完整数据来，按缺失内容分别写入不同Excel文件，并提交给相应的用户，并在接收到用户发送的完整数据后，再以分层方式进行存储；错误数据包括业务***不健全、在接收未进行判断直接存储的数据，包括数值数据为全角数字字符、字符串数据包含回车符、日期格式不正确、日期越界的数据；对错误数据进行修正，对修正正确的数据进行分层存储；重复数据是维表中包含有重复字段的数据，通过将重复数据记录的所有字段导出并返回相应用户，接收到用户的整理确认后再进行分层存储；对不完整数据、错误数据和重复数据进行反复持续进行清洗，对于是否过滤、是否修正由用户确认，并将确认后的数据进行存储，对于过滤掉的数据，写入Excel文件或将过滤数据写入数据表。

响应于数据查询及数据统计请求，基于查询及统计关键词，对清洗后的数据进行数据查询及调用，对查询及统计结果中的数据进行智能分析，进行关联数据合并及汇总，将汇总结果作为响应结果进行输出或发送，以作为基于设定区域教育信息化大数据的管理辅助数据。

本发明实施例中，可以建立统一用户管理与认证平台，提供统一的用户身份管理、权限配置管理、资源配置管理、身份同步服务等功能，实现应用支撑平台及各应用***基础信息的统一管理与服务，不仅支持关系型数据库的各种查询服务，还支持目录数据库包括Ldap、Windows域目录。

本发明实施例中，作为一种示例，数据规范可以根据《教育管理信息教育管理基础代码》和省、市等相关数据标准，进行数据格式的处理。其技术规范遵循国家、省、市级相关技术规范和标准，制定并形成认证、公共软件、数据共享与交换等技术规范，并根据实际需要进行扩展。

本发明实施例中，通过教育相关数据中心的建设，利用基础数据的标准化建设为横向业务部门及下属学校做业务运维支持，保证相应区域的人与组织的标准化管理；将通过数据中心基础支撑的构建，为智慧城市、不见面办事等利民工程做教育口的数据支撑服务。本发明实施例通过数据中心的建设，同时打造与资源公共服务体系的互融互通；利用资源平台的运维提供业务行为数据，通过行为数据从空间、资源、固资、教师、学生、家长、成绩、网络、监控等多维度数据比对分析，为区局、主管部门、学校、用户提供直观的可视化业务分析模型，构建决策预警与依据。本发明实施例的开放平台是为教育信息化标准运维建立通道和窗口，主要分为媒介开放平台和接口管理中心。其中，应用开发者通过平台注册为开发者并创建和开发应用。如果应用满足可用性、性能、安全性、隐私保护、合规性的审核标准和合理的运维标准，平台管理方通过相应的审核机制允许使用接口及发布和推广。而接口管理中心主要对平台中任意接口(含第三方)注册、接口审核、中介代理、接口发布、接口调用日志、接口版本更新、失效接口虚化等相关工作，满足第三方应用程序通过接口中心的透明安全调用，实现内部应用程序提供的接口隐藏，从而实现数据订阅接口、应用业务接口、应用服务接口等不同接口的安全、高效管理和服务提供。

本发明实施例根据数据中心的建设需求，平台实现统一的数据采集、转换、加载、处理以及统一调度、管控等功能。

其中，存储层：即明细数据层，是数据计算核心层数据模型之一，用于存放由清洗、转换层来的数据或者接口层直接来的数据，其设计目标是为后续的汇总数据层和信息子层提供数据基础。

汇总层：即轻度汇总数据层，也是数据计算核心层数据模型之一，该层实现对主题内的数据做轻量汇总。设计目标是为应用层提供足够灵活、方便的基础数据，并保证从该层获取数据是性能最优。

应用层：在汇总数据层之上，数据按照应用需求做数据聚合，生成相关应用所需数据的数据层。应用数据层是面向应用的，但是也不是每个应用都在应用数据层对应一个表，对应用要在数据应用层中进行整合。

本发明实施例的数据门户将作为不同角色下数据价值的展示和分析，利用数据中心的建模标准，我们将实时的汇聚、评估、展示和预警等不同维度利用业务数据形成可视化报告数据；为各角色岗位的人员提供有效决策分析依据。

具体地，本次项目各项功能模块之间实现弱耦合，能够独立运行，任一模块的升级调整、关机重启，不影响其它功能模块的继续运行。我们采用的模式为：区域教育大数据中枢支撑局/校应用的模式。区教育局确保运维标准、用户体系、数据标准、组织结构、认证体系，供应区/学校以应用满足业务需求，通过数据融通和数据服务赋能提效应用。图2示出了本发明实施例的基于教育信息的大数据处理平台的结构示意图，如图2所示，本发明实施例的基于教育信息的大数据处理平台包括包含基础服务、教育数据中台、教育业务中台、能力中台和场景应用服务层。其中，

教育数据中台：体现教育数据中心服务能力的核心，为区域大数据平台的各类应用服务提供数据驱动和数据赋能支持，包括数据标准、数据汇聚、数据转换、数据治理、数据共享、数据服务等。

教育业务中台：提供面向教育监管者(教育局)、教育用户、生态供应商、生态管理者(省/市电信)的基础服务和基础应用。保障生态有效协同运作，保障能快速的提供给用户各种场景适配的应用和解决方案，保障面向客户的应用推介、售卖、计费、售后等能闭环高效处理。

能力中台：汇聚、调取集团原子能力和DICT专业能力，供应给DICT自有教育应用、生态合作伙伴和客户，提升其研发交付能力。本期实现供自有教育应用调用，后续可进一步考虑实现能力的按服务售卖。

基础服务：实现提供业务应用融合支撑开展和***运维保障等能力。集成了各个应用***所必要的通用组件，包括统一用户、统一认证、统一融合、统一监控、安全服务等。

场景应用服务层：面向教育局和学校，提供包括教育管理、教育教育、教育评价、生活服务、精准治理类应用，主体有机调控生态厂家供应。

本发明实施例的业务平台包括开放性、灵活性与扩展性等关键性指标，其中开放性采用类似与微信(钉钉)开放平台的方式由第三方入驻、接口申请、数据交换进行无缝整合。灵活性与扩展性主要基于微服务模式进行模块拆分，保障后续***扩展；***提供表单、流程、表结构开放、自定义报表等满足教育局未来的变化。

图3示出了本发明实施例的教育中台的结构示意图，如图3所示，本发明实施例的教育数据中台为区域教育大数据平台的核心，通过数据标准制定、数据汇聚、数据转换、数据治理、数据共享、数据服务等，实现区域数据互融互通打破数据孤岛，实现为教育应用提供数据赋能，助力教育局通过大数据分析进行教育决策、资源调配、业务监测和精准评价等，实现区域教育管理走向大数据精准治理模式。其中，

数据汇聚/开发/治理中心：展开对数据对接、数据归集、数据加工、质量管理、数据模型等一系列的具体化工作，重新对数据规划利用和规范管理，是将无序的数据进行资产化的核心。一是实现把教育相关数据从教育体系内外归集到原始库数据库中，保障不干扰数据源业务***的正常运转，二是实现数据依据标准进行清洗治理，按标准有序的沉淀在基础库或主题库中，确保基础数据一数一源，并使得业务主题数据能保障质量为数据服务奠定基础；三是基于基础库和主题库，面向后续使用的业务场景对数据进行针对性的数据开发形成共享库，以提升数据共享的效率。

数据共享和服务管控中心：基于数据使用(自行或生态调用)的标准和规范，构建教育生态数据开放能力中心。一是实现API接口运维平台，满足第三方应用程序通过接口中心的透明安全调用，实现内部应用程序提供的接口隐藏，从而实现数据订阅接口、应用业务接口、应用服务接口等不同接口的安全、高效管理和服务提供；二是实现应用服务中心，主要为第三方应用的获取数据服务实现规范化管理，为现有业务***接入或后续数据应用开发搭建基础。

数据探索与智能监测中心：构建数据智能能力，实现数据可视化分析引擎架构在数据资产沉淀的基础之上，为数据分析人员提供稳定、高质量的跨主题数据资源。可视化分析平台持续集成最新实用分析工具，实现拖拽式快速构建复杂模型，直观地对数据进行分析和感知。

基于数据共享和服务管控，可自行或生态合作创建丰富的数据应用，助力教育体系精准管理、精准教学，如教育综合智能监测驾驶舱、教学质量评价、教育预警综合服务应用等等。本项目建设教育智能监测的部分标准化提供(教育基础数据分析监测、教育资源数据分析监测、学业学情数据分析监测、教育网络分析监测、信息化设备分析监测、固定资产监测分析)。

数据汇聚与数据开发中心具体包括以下处理功能：

1)数据采集

数据采集***是专为实现将各级教育业务***、省部垂直***、省市大数据仓、互联网、物联网、第三方教育应用等方面的数据汇聚而设计的方案。

数据采集***不仅支持数据库方式进行批量采集，也支持对通过api接口进行数据采集和多种文件类型(excel,txt,csv,xml)的数据采集，最终实现各个来源的异构数据跨域汇聚。同时***对所有采集任务提供统一的调度机制与监控机制，在任务异常时能够及时告警，为整个采集过程提供了可靠、可观、可控等操作保障，最终实现各个来源的异构数据跨域汇聚。

数据入仓及数据融合：数据融合阶段，同时支持与存放DW的数据库***相同或不同的数据源的接入，同时考虑数据库、API接口与不同文件类型数据源(EXCEL、TXT、CSV、XML)的数据的抽取，对不一致数据进行转换统一，将业务***数据按照数据仓库粒度进行聚合，并根据不同的业务规则、数据指标进行计算并存储在数据仓库中，以便分析使用。

2)数据清洗：数据清洗(data cleaning/data scrubbing)是在数据仓库/数据库中过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整数据、错误数据和重复数据三大类。其中，不完整数据：其特征是是一些应该有的信息缺失，如供应商的名称，分公司的名称，客户的区域信息缺失、业务***中主表与明细表不能匹配等。需要将这一类数据过滤出来，按缺失的内容分别写入不同Excel文件向客户提交，要求在规定的时间内补全。补全后才写入数据仓库。错误数据：产生原因是业务***不够健全，在接收输入后没有进行判断直接写入后台数据库造成的，比如数值数据输成全角数字字符、字符串数据后面有一个回车、日期格式不正确、日期越界等。这一类数据也要分类，对于类似于全角字符、数据前后有不面见字符的问题只能写SQL的方式找出来，然后要求客户在业务***修正之后抽取；日期格式不正确的或者是日期越界的这一类错误会导致ETL运行失败，这一类错误需要去业务***数据库用SQL的方式挑出来，交给业务主管部门要求限期修正，修正之后再抽取。重复数据：特别是维表中比较常见，将重复数据的记录所有字段导出来，让客户确认并整理。

数据清洗是一个反复的过程，不可能在几天内完成，只有不断的发现问题，解决问题。对于是否过滤、是否修正一般要求客户确认；对于过滤掉的数据，写入Excel文件或者将过滤数据写入数据表，在ETL开发的初期可以每天向业务单位发送过滤数据的邮件，促使他们尽快的修正错误，同时也可以作为将来验证数据的依据。数据清洗需要注意的是不要将有用的数据过滤掉了，对于每个过滤规则认真进行验证，并要用户确认才行。

3)数据转换：数据转换的任务主要是进行不一致的数据转换、数据粒度的转换和一些商务规则的计算。具体包括：

不一致数据转换：这个过程是一个整合的过程，将不同业务***的相同类型的数据统一，比如同一个供应商在结算***的编码是XX0001，而在CRM中编码是YY0001，这样在抽取过来之后统一转换成一个编码。

数据粒度的转换：业务***一般存储非常明细的数据，而数据仓库中的数据是用来分析的，不需要非常明细的数据，一般情况下，会将业务***数据按照数据仓库粒度进行聚合。

商务规则的计算：不同的企业有不同的业务规则，不同的数据指标，这些指标有的时候不是简单的加加减减就能完成，这个时候需要在ETL中将这些数据指标计算好了之后存储在数据仓库中，供分析使用。

4)数据管理包括：

元数据管理：元数据提供文件、数据库多种对象类型元数据、作业类元数据采集及管理功能，如表、视图、存储过程、触发器、DATAX作业、KETTLE作业等。并支持过程类元数据的关系自动采集、关系管理功能，为数据的溯源、影响提供基本的数据支持。

数据集管理:数据集可基于不同的原始数据来源，如数据库、XML文件等；并且可以基于对原始数据的处理生成，比如在SQL中进行关联、过滤、计算，使用存储过程等等。甚至可以通过自定义数据集，由开发者自行处理任意需求的数据来源格式和预计算要求。

根据数据集所存储的位置和使用的范围可将数据集分为公有和私有类型。用户可在资源中心下直接建立的公有数据集，或在报表设计器中新建数据集时选择保存为公有。公有数据集可以同时被多个报表引用，当公有数据集发生变化时，重新修改引用该数据集制作的报表，报表设计界面会提示数据集更新，用户可根据自己需要选择是否更新为最新公有数据集。用户可在报表设计器中新建数据集时选择私有数据集，并且私有数据集仅可被当前报表引用。对于公有数据集，用户如果具有数据资源修改权限可以在报表设计器中进行修改，修改后可同步至资源中心的数据集；没有数据资源新建、修改权限的用户，只可在报表设计器中修改和新建私有数据集，私有数据集的结果仅更新至当前报表。

5)运维监控:运维监控平台是一个集成化、可扩展、可自定义的监控***，能够通过一系列的配置来监控服务器的运行状况，脚本作业的执行情况，并能够在达到预警阀值后，通过邮短信等方式通知相关人员经行维护；运维监控主要包括：告警策略，服务器监控，数据库监控，***管理，日志管理等。采集任务做到完全可视化配置；job维护可视化运维平台。其中，服务器监控：对服务器进行监控，显示未启动、正常、预警、异常的服务器。数据监控：包括呈现横向单位共享的所需求的共享库，以及数据仓内的各类基础库，主题库，标准库等。作业监控：作业监控界面中，呈现不同作业运行情况，***分别用图、表的方式呈现作业名、节点、目标节点、状态、开始时间、结束时间、运行时长、新增、更新、删除等信息。

本发明实施例中，还包括数据体系与数据治理中心，其中，原始库将从各省教育业务数据源和体系外教育相关数据(房产、民政、卫计等)采集到的数据经过数据清洗、转换、加载，最终汇集到该基础数据库中。对各个省教育业务数据进行采集、汇聚、整合、增加数据标识、非结构转化为结构数据等，不做深度清洗加工——数据汇聚接入。主要是为了弥补业务***和数据仓之间的数据同步差距，保证数据仓与其他数据库之间数据实时同步和一致性。基础数据库的标准制定涉及：组织机构基础信息、学生基础信息、教职工基础信息等。基础数据库中的数据按照类型可以分为组织机构基础信息数据库、教职工基础信息数据库、学生基础信息数据库等。这些数据在元数据库的支撑下被分层分类的、有序的、成体系的组织在一起。学生基础信息数据库包括全市各级各类学校学生(含外籍学生)，主要信息包括：基本信息、学籍信息、结业信息等，不同教育阶段内容依据管理特点有所侧重。教职工基础信息数据库包括全市各级各类学校教职工(含外籍教师)，主要信息包括：基本信息、资质信息、任职信息、异动信息等，不同教育阶段内容依据管理特点有所侧重。组织机构基础信息数据库包括全区域各级各类学校和下属主管机构，主要信息包括：基本信息、经费信息、教学信息、资产信息等，不同教育阶段内容依据管理特点有所侧重。主题库是根据主题分析应用需求,从基础数据、应用数据中抽取和重组而成,提供满足应用服务需要的包含多层次信息的专项数据。如学生发展主题、校园安全主题、教育资源主题等等。共享库在主题数据库基础上可以结合具体分析应用需要再改进数据的抽取和整合形成针对特定应用服务的数据集市,以更好的提供多种多样的信息分析应用功能。原则上对数据进行共享开放，都基于该类库进行。

本发明实施例中，数据标准是省教育数据内外部使用和交换的一致性和准确性规范性约束，其建设主要包含以下两个方面：基础类数据标准：包括数据维度标准、主数据标准、逻辑数据模型标准、物理数据模型标准、元数据标准，脚本标准。基础类数据是省教育的“黄金数据”，其具备业务共享和高价值两个属性。标准化之前可能存在于省教育不同的业务***中，它们可能分散、种类繁多，数据质量比较差，而标准化就是数据一致性、完整性、相关性和精确性化的过程，也是提升数据质量的过程，其要经历对省教育的业务数据采集、分析、萃取，审核、归集最终形成基础类标准。指标数据标准：分为基础指标标准和计算指标(又称组合指标)标准。基础指标一般不含维度信息，且具有特定业务含义，计算指标通常由两个以上基础指标计算得出。本次建设主要通过统一定义和管理，构建命名规范、口径一致和算法统一等手段来实现。

元数据管理：元数据是为了描述业务数据的而定义的数据，对元数据的管理包含了元数据分类，数据关系分析。元数据分类包括：技术元数据：描述数据***中技术领域相关概念、关系和规则的数据。包括数据平台内对象和数据结构的定义、源数据到目标数据的映射、数据转换的描述，存储位置、数据模型、数据库表、字段长度、字段类型、ETL脚本、SQL脚本、接口程序、数据关系进行标准化。业务元数据：描述数据***中业务领域相关概念、关系和规则的数据。包括业务术语、信息分类、指标、统计口径等。管理元数据：描述数据***中管理领域相关概念、关系和规则的数据。主要包括人员角色、岗位职责、管理流程，管理部门、管理责任人、权限等数据。

数据关系分析包含：血缘分析和数据地图。血缘分析，实现数据级别和字段级别的两种分析。数据级别，本次建设主要是针对关系型数据库，依据表之间的血缘关系，实现表之间的依赖链和表的重要程度。字段级别的血缘关系，即关系数据库表字段与表字段之间的逻辑关系，体现字段如何产生、修改字段的影响范围等。数据地图，对整个元数据进行统一查询、管理的地图，汇聚所有数据信息，通过元数据信息收集来源、元数据储存，数据血缘探查、数据权限申请授权等手段，帮助省教育完成数据信息的收集和查询，解决“有哪些元数据可用”、“到哪里可以找到元数据”。数据质量管理：以数据标准为数据检核依据，以元数据为数据检核对象，通过向导化、可视化等简易操作手段，将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合，形成完整的数据质量管理闭环。质量管理包含质量报告，生成过程为数据质量规划设计，数据质量校验规则定制，数据质量问题管理，数据质量报告生成。数据质量规划设计主要从数据的完整性、规范性、一致性、重复性、准确性、唯一性、时效性入手，制定出一整套的可自定义的配置校验规则和度量规则，统一由任务调度***自动生成规范的数据质量报告。质量管理包含了质量巡检，制定巡检业务逻辑，定时定量对所需监测的数据进行有效核查，通过检查数据质量、数据是否一致、数据变更方式等监测内容。质量管理也包含了质量监控，配置核查的频率、范围、时间，***功能自动调用，并触发“监测器”的规则，从而实行检测、监控，产生监控信息的汇总。异常数据采用报告或邮件或短信第一时间通知监管人员。

数据资产梳理是数据安全治理的基础，通过对数据资产的梳理，可以确定敏感性数据在***内部的分布、确定敏感数据是被何人如何被访问的。

数据安全分类，是按照一定的原则和方法对数据进行归类，建立起一定的分类体系，以便更好地管理和使用数据的过程，数据分级按照一定的分级原则和涉密程度的高低对分类后的数据进行定级，从而使数据的能够安全合规的进行使用。

数据脱敏，定义敏感数据，对敏感数据进行脱敏处理。对数据库存储的敏感数据进行加密,无论是外部攻击导致的“拖库”,还是内部高权限账户的越权访问,都无法对没有权限的加密数据进行破解和提取,从而保障敏感数据的访问安全。同时保障在不影响开发测试使用数据的情况下,实现数据的安全。使用可逆脱敏算法和实时连接数据库的动态脱敏技术,可以保障数据分析场景下对分析结果的还原,并根据访问生产数据的数据应用人员身份返回脱敏后的数据,从而保障数据应用场景下的数据安全。

数据访问视力与权限，基于数据的分类分级制定数据访问控制策略，形成敏感分级数据与用户角色的访问控制矩阵，为数据的安全合规使用提供支撑，其包含了统一认证，租户隔离，角色授权。提供数据库运维管理，通过流程化的数据库运维管理机制,实现对数据库运维操作的事前审批、事中控制、事后审计、定期报表等功能,将审批、控制和追责有效结合,保障数据运维场景下的敏感数据安全。

日志审计，对***访问数据库的行为日志进行实时、动态监控,一旦发现漏洞攻击、SQL注入等风险行为,可及时进行拦截,确保***访问敏感数据的安全。

部署数据安全防控***，主要包含安全扫描服务，渗透测试服务，安全加固，遵循国家等级保护要求，协助进行定级、差距评估、整改方案设计、安全加固、整理测评资料和协助通过测评。

数据资产管理，有以下部分组成：数据资产规划，即数据架构规划，从省厅教育业务、业务流程数据研究入手，明确各个业务的数据资产管理组织架构，明确当前业务资产的主要负责人，理清现有的业务数据，理清跨域专业数据，理清数据的来龙去脉，并对数据进行顶层架构分类，构建数据标准体系的规范，制定数据标准管理办法、实施流程要求，绘制数据资产地图。通过数据资产规划，可以让省教育数据管理和使用者，清楚的知道省教育都有哪些数据，这些数据存在什么地方，数据被谁管理，如何获取等等。数据资产应用，其包含数据模型设计，数据指标设计，数据流程设计等等应用，为数据资产管理提供管理工具，其功能包含数据资产进行操作，如数据设计生成、数据映射、数据变更查询、数据映射查询、数据维护、数据版本查询、数据校验和标准导出等等。数据资产共享，数据共享管理指数据的所有者通过数据的建模分析挖掘，把隐藏在海量数据中的符合共享开放层级的信息作为应用商品，以合规安全的形式完成共享交换或开放发布，使得数据具有流通属性，能方便提供数据消费者使用。其包含了数据开放平台，数据搜索，数据标签，BI可视化分析报表等具体实现。数据资产统计，统计是对数据资产价值的度量，可以从数据资产成本和数据资产应用价值两方面来开展。数据资产成本一般包括采集获取和存储的费用和运维费用。数据应用价值主要考虑数据资产的分类、使用频次、使用对象、使用效果和共享流通等因素。体现数据资产的总体价值，数据的应用场景，在不同应用场景下的数据集成度水平。数据资产运维，其包含数据任务调度，数据运行监控，告警管理，作为整套资产管理的监控底层支撑，保障体系正常运行。

本发明实施例的教育数据开放能力中心包括：数据中心提供统一的、面向应用的、主题式的数据服务，将数据资产管理平台、数据分析挖掘平台的数据处理和分析结果以数据服务形式对外提供，同时生成以业务为导向的服务资源目录，让前台应用更清晰的使用数据中台里的各类数据，实现以数据驱动业务。API接口运维平台：接口中心主要对平台中任意接口(含第三方)注册、接口审核、中介代理、接口发布、接口调用日志、接口版本更新、失效接口虚化等相关工作，满足第三方应用程序通过接口中心的透明安全调用，实现内部应用程序提供的接口隐藏，从而实现数据订阅接口、应用业务接口、应用服务接口等不同接口的安全、高效管理和服务提供。接口申请：基础支撑平台或任何第三方应用产生的接口，都需要进行相应的接口注册、申请，包括实际的接口地址、接口说明、传递参数、版本、用途等信息。接口审核：提交上来的接口进行相应的审核，检测是否有安全隐患等，通过后进行接口归类，并通过接口代理服务器，生成虚拟接口地址以及嵌入接口调用日志，然后进行合法登记。接口发布：合法登记过的接口进行对外信息发布，发布后任何第三方或互联网上能访问的用户都可以看到该接口的调用说明、调用产生的结果等信息，便于第三方开发者使用。接口管理：主要针对接口调用后的生命周期进行管理，包括调用频次、调用稳定性、调用效率、调用日志、哪些应用调用等进行全方位管理。同时对不稳定、没人用等相应接口进行提醒后或下线管理。

本发明实施例的安全体系除了能够安全保障除了token和应用IP白名单以外，增加还须提供API数据加密、数字签名、网关数据监控、授权有效期可配置及配置热加载等功能，提供更加稳定的保障。后台管理中可对应用申请的token的有效时间支持配置，范围可以最小单位为1小时，默认有效时间可以由管理员设置。接口流控分为(每天调用次数限制)和(每分钟调用次数限制)流控，为了更好分摊接口压力，网关支持开发者每个接口进行流控，避免出现接口高峰期压力过大，造成***服务崩溃的情况。热点数据存放入缓存中，在配置中心中已经进行描述。API网关接口要支持非人工、自动的横向快速扩容。

本发明实施例能够提供以下数据服务：

可视化分析引擎：可视化分析平台架构在数据资产管理平台之上，为数据分析人员提供稳定、高质量的跨主题数据资源。可视化分析平台持续集成最新实用分析工具，实现拖拽式快速构建复杂模型，直观地对数据进行分析和感知。支持以模块化、自助方式对数据进行选取，自动抽取、清洗数据，根据需求选择、生成相应的可视化图形。可自行将基础数据、业务数据、临时上传数据通过可视化数据建模或SQL数据建模的方式，进行数据分析和数据挖掘，生成数据图表(饼图、柱状图、雷达图、散点图、地图等)和表格，建立数据分析图表库。数据图表和表格将随着数据的更新而自动更新。用户可自行组建数据分析图表或数据表格，通过可视化拖拽的方式，实现数据分析报告的生成，并支持分享给指定角色进行查看。数据分析报告支持报告格式的自定义排版，并支持文本、图表、表格、动态数据等格式。除了针对业务展示优化过的常规图表外，还能够绘制包括海量数据的热力分布、地域区块、3D地图、实现地理数据的多层叠加。此外还有拓扑关系、树图等异形图表供自由搭配。能够接入平台的分析型数据库和关系型数据库，支持本地CSV上传、在线API接入及动态请求。满足各类大数据实时计算、监控的需求，充分发挥大数据计算的能力。本发明实施例还能提供多种业务模块级别而非图表组件的工具，所见即所得的配置方式，无需编程能力，只需要通过拖拽，即可创造出专业的可视化应用。后续可更进一步的，建设数据分析挖掘平台，支持自然语言处理、机器学***台、智能标签+动态知识图谱等多个易用的数据挖掘工具集。

本发明实施例的教育智能监测中心为教育综合决策服务中心，是依托教育数据中台数据融通能力建设面向教育行业主管部门的大数据专题应用，是将大数据能力直接进行工具化形成的应用***。主要包括：数据统计类应用，如教育大数据统计服务、教学数据统计报表***、区域/校园管理数据统计报表***等；数据分析类应用，如教育大数据业务分析服务、学情分析***、区域/校园教育管理分析大屏***等。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (5)

1.一种基于区域级教育大数据的服务平台，其特征在于，所述平台包括：

业务集成服务单元，用于提供统一用户管理与认证，至少提供统一的用户身份管理、权限配置管理、资源配置管理、身份同步服务的功能，并进行基础信息的统一管理与服务，其中，所述基础包括以下信息的至少之一：用户信息、权限信息、配置信息、认证信息、授权信息；

数据归集服务单元，用于提供教育信息标准与规范；所述教育信息标准包含数据标准，所述教育信息规范包括技术规范和管理规范；所述技术规范对教育信息化建设提出统一的信息标准要求，能够实现教育信息化资源整合及业务集成；所述数据标准遵照区域相关数据标准；所述技术规范遵循国家、设定区域级相关技术规范和标准，以制定并形成认证、公共软件、数据共享与交换的技术规范；

数据融通服务单元，用于进行数据中心建设，利用基础信息的标准化建设为横向业务部门及下属单位提供业务运维支持，为设定区域内的下属区域提供数据标准化；并通过数据中心基础支撑的构建，为智慧城市、不见面办事提供数据支撑服务；

数据开放服务单元，用于为教育信息化标准运维建立通道和窗口，主要分为媒介开放平台和接口管理中心；所述接口管理中心用于提供平台中任意接口注册、接口审核、中介代理、接口发布、接口调用日志、接口版本更新、失效接口虚化的服务，为第三方应用提供接口中心的透明安全调用，为内部应用提供接口隐藏，以提供数据订阅接口、应用业务接口、应用服务接口的安全、高效管理和服务；

数据加工服务单元，用于根据数据中心的建设需求，提供统一的数据采集、转换、加载、处理以及统一调度、管控的功能；包括存储层、汇总层、应用层，其中，存储层：为明细数据层，是数据计算核心层数据模型之一，用于存放由清洗、转换后的数据或者接口处接收到的数据，为汇总数据层和应用层提供数据基础；汇总层：为轻度汇总数据层，也是数据计算核心层数据模型之一，用于对主题内的数据进行轻量汇总，为应用层提供足够灵活、方便的基础数据，并保证从应用层获取数据的性能满足相应需求；应用层：位于汇总数据层之上，按照应用需求进行数据聚合，生成相关应用层所需的数据；对各种应用进行整合；

数据应用服务单元，用于为不同角色下的数据价值进行展示和分析，利用数据中心的建模标准，为不同维度下的业务数据进行实时汇聚、评估、展示和预警，并形成可视化报告数据；为各角色岗位的人员提供有效决策分析依据。

2.根据权利要求1所述的平台，其特征在于，所述服务平台还包括：

教育数据中台，用于为设定区域的教育大数据平台的各类应用服务提供数据驱动和数据赋能支持，至少提供以下服务的至少之一：数据标准、数据汇聚、数据转换、数据治理、数据共享、数据服务；

教育业务中台，用于提供面向教育监管者、教育用户、生态供应商、生态管理者的基础服务和基础应用；保障生态有效协同运作，为用户提供各种场景适配的应用和解决方案，保障面向客户的应用推介、售卖、计费、售后的闭环处理；

能力中台，用于汇聚、调取支撑各类应用、业务的公共要素或环节，包括语音能力、短信能力、计算能力、存储能力，通过内部能力封装、外部能力引入，提供标准化、可复用、可扩展、可授权的服务；

基础服务单元，用于提供业务应用融合支撑开展和***运维保障的能力；集成有各个应用所必要的通用组件，包括统一用户、统一认证、统一融合、统一监控、安全服务。

3.根据权利要求2所述的平台，其特征在于，所述教育业务中台包括：

数据汇聚/开发/治理中心，用于展开对数据对接、数据归集、数据加工、质量管理、数据模型的具体化工作，重新对数据进行规划利用和规范管理；把教育相关数据从教育体系内外归集到原始库数据库中，保障不干扰数据源业务***的正常运转，并依据标准进行数据清洗治理，按标准有序地沉淀在基础库或主题库中，确保基础数据一数一源，并使得业务主题数据能保障质量为数据服务奠定基础；基于基础库和主题库，面向后续使用的业务场景对数据进行针对性的数据开发形成共享库；

数据共享和服务管控中心，用于基于数据使用的标准和规范，构建教育生态数据开放能力中心；实现API接口运维平台，为第三方应用提供接口中心的透明安全调用，实现内部应用程序提供的接口隐藏，实现数据订阅接口、应用业务接口、应用服务接口的不同接口的安全、高效管理和服务提供；为第三方应用的获取数据服务实现规范化管理，为现有业务***接入或后续数据应用开发搭建基础；

数据探索与智能监测中心，用于构建数据智能能力，实现数据可视化分析引擎架构，在数据资产沉淀的基础上，为数据分析人员提供稳定的跨主题数据资源。

4.根据权利要求1所述的平台，其特征在于，所述服务平台还包括：

数据采集单元，用于采集各级教育业务***、省部垂直***、省市大数据仓、互联网、物联网、第三方教育应用的数据，并进行汇聚；支持数据库方式的数据批量采集、通过API接口的数据采集和多种文件类型的数据采集，对各来源的异构数据进行跨域汇聚；对所有数据采集任务提供统一的调度机制与监控机制，在任务异常时提示告警信息。

5.根据权利要求4所述的平台，其特征在于，所述数据归集服务单元，还用于将所述采集单元采集到的数据按分层存储于数据库中，所述数据库至少包括组织机构基础信息数据库、学生基础信息数据库、教职工基础信息数据库、主题数据库、共享数据库；其中，

学生基础信息数据库包括设定区域内各级各类学校学生的基本信息、学籍信息、结业信息；

教职工基础信息数据库包括设定区域内各级各类学校教职工的基本信息、资质信息、任职信息、异动信息。

组织机构基础信息数据库包括设定区域内各级各类学校和下属主管机构的基本信息、经费信息、教学信息、资产信息；

所述主题数据库根据数据主题分析应用需求，从所采集的基础数据、应用数据中抽取和重组而生成主题数据，所述主题数据包括学生发展主题、校园安全主题、教育资源主题的至少之一；

所述共享数据库在所述主题数据库的基础上，结合设定的分析应用需要，改进数据的抽取及整合方式，形成针对设定应用服务的数据集市,以更好地提供多样的信息分析应用功能。

Images