CN105515963A - 数据网关装置和大数据*** - Google Patents

Abstract

本发明公开了数据网关装置和大数据***。其中，数据网关装置包括：用户管理模块，其用于管理用户信息；服务管理模块，其用于管理向用户开放的数据服务的信息；规则管理模块，其用于针对不同用户和不同的数据服务设置不同合规检查规则；取数管理模块，其用于接收用户发出的服务的取数请求，向数据中心发出相应的取数请求，并接受数据中心返回的源数据；以及数据脱敏处理模块，其用于根据规则管理模块设置的规则，对数据中心返回的源数据进行合规检查，从而生成服务数据，所述服务数据为满足合规检查的数据，其中所述取数管理模块还用于将数据脱敏处理模块生成的服务数据提供给用户。

Description

数据网关装置和大数据***

技术领域

本发明属于数据处理技术领域，具体涉及一种数据网关(Gateway)装置和一种包括该数据网关装置的大数据***，其可保障大数据的安全运营。

背景技术

在大数据时代，盘活数据资产、开放共享数据已成为大势所趋。开放数据服务、实现大数据的运营和变现是当前大数据发展的热点问题。然而，在大数据的运营或者变现过程中，如何保证数据的合规性、避免敏感信息的泄漏、对交易数据进行计量或者计费以及对数据进行审计等成为了当前亟需解决的问题。

发明内容

本发明的目的是提供一种数据网关装置和一种包括该数据网关装置的大数据***，其可以解决现有技术中存在的上述至少一个问题。

为实现本发明的目的，根据本发明的一方面，提供了一种数据网关装置，其包括：

用户管理模块，其用于管理用户信息；

服务管理模块，其用于管理向用户开放的数据服务的信息；

规则管理模块，其用于针对不同用户和不同的数据服务设置不同合规检查规则；

取数管理模块，其用于接收用户发出的服务的取数请求，向数据中心发出相应的取数请求，并接受数据中心返回的源数据；以及

数据脱敏处理模块，其用于根据规则管理模块设置的规则，对数据中心返回的源数据进行合规检查，从而生成服务数据，所述服务数据为满足合规检查的数据，其中

所述取数管理模块还用于将数据脱敏处理模块生成的服务数据提供给用户。

可选地，所述规则管理模块还可以用于针对不同用户和不同的数据服务设置不同的数据过滤脱敏规则，并且所述数据脱敏处理模块可以用于对数据中心返回的源数据进行过滤脱敏，然后再对过滤脱敏的数据进行合规检查。

可选地，所述取数模块还可以用于对输出的服务数据进行计量和计费。

可选地，所述规则管理模块还可以用于设置用户的服务数据的输出行数，当满足合规检查的数据的总行数大于所述设置的服务数据的输出行数时，所述数据脱敏处理模块还可以用于根据所述规则管理模块设置的服务数据的输出行数，对满足合规检查的数据，从首行开始，顺序截取一定行数的数据，来生成所述服务数据，其中所述行数＝服务数据的输出行数。

可选地，所述取数管理模块还可以用于针对用户的取数请求生成取数任务，并提供取数任务的查看功能。

可选地，所述用户管理模块还可以用于对不同类型的用户的权限进行配置，所述权限包括功能菜单访问权限。

所述合规检查规则可以包括：数据字典匹配、数值范围检查和字段长度检查。

所述数据过滤脱敏规则可以包括：服务输出字段筛选、字段的条件过滤和字段内容处理。

可选地，所述数据网关装置还可以包括存储单元，其用于缓存数据中心返回的源数据和数据脱敏处理模块生成的服务数据，其中所述取数管理模块配置为：首先判断所述存储单元中是否存在客户所请求的数据，如果所请求的数据已缓存在存储单元中，则将缓存在存储单元中的所请求的数据作为服务数据提供给客户，否则向数据中心发出相应的取数请求。

可选地，所述数据网关装置还可以包括安全审计模块，其用于记录操作日志和取数日志，并将操作日志和取数日志存档。

可选地，所述数据网关装置还可以包括工单管理模块，其用于处理***工单任务，所述工单任务包括工单创建和工单查看。

可选地，所述数据网关装置还可以包括***管理模块，其用于配置***的基础数据，所述基础数据包括数据周期和定时器，所述数据周期为数据中心返回的源数据和所述数据脱敏处理模块生成的服务数据在数据网关装置中的缓存周期。

根据本发明的另一方面，还提供了一种客户端可访问的大数据***，其包括数据中心和数据网关装置，所述数据网关装置通过接口与所述数据中心连接，其中所述数据网关装置为上述任意一种数据网关装置，并且所述数据网关装置配置为能够通过接口与客户端连接。

所述数据网关装置与所述数据中心可以通过数据服务信息同步更新接口、取数申请接口、服务数据生成通知接口和服务数据同步接口来实现数据连接，其中，

通过所述服务信息同步更新接口，所述数据网关装置的服务管理模块中的数据服务的信息与所述数据中心开放的数据服务保持一致；

通过所述取数申请接口，所述数据网关装置的取数管理模块向所述数据中心发出服务的取数请求，并且，当所述服务为实时服务时，所述数据中心通过所述取数申请接口向所述数据网关装置的取数管理模块返回源数据，当所述服务为周期服务且所述服务的帐期为历史帐期时，所述数据中心通过所述取数申请接口向所述数据网关装置的取数管理模块返回所请求源数据的存储信息，当所述服务为周期服务且所述服务的帐期为未来帐期时，所述数据中心通过所述取数申请接口向所述网关装置的取数管理模块返回帐期未到消息；

通过所述服务数据生成通知接口，所述数据中心通知所述数据网关装置的取数管理模块所请求源数据准备就绪并返回所请求源数据的存储信息；以及

通过所述服务数据同步接口，所述数据网关装置的取数管理模块根据所请求源数据的存储信息获取数据。所述数据服务信息同步更新接口、取数申请接口、服务数据生成通知接口可以通过WebService接口实现；所述服务数据同步接口可以通过FTP接口实现。

数据网关装置还配置为可以通过取数申请接口和服务数据推送接口来与客户端数据连接，其中，

通过取数申请接口，数据网关装置的取数管理模块接受客户端发出的服务的取数请求，并且数据网关装置的取数管理模块向用户提供所请求的服务数据；

通过服务数据推送接口，数据网关装置的取数管理模块将所请求的服务数据推送到指定位置。

所述取数申请接口可以通过WebService接口实现；所述服务数据推送接口可以通过FTP接口实现。

本发明提供的数据网关装置和大数据***中，针对不同用户和不同的数据类型，利用不同的合规检查规则对数据中心提供的源数据进行审核，保证了提供给用户的服务数据的规范性；对于定义的数据中的敏感信息，根据设置的规则进行过滤脱敏，保障交易输出的数据(即，服务数据)中无敏感内容；对于合规的脱敏后的输出数据，按照不同用户、交易输出的数据量大小和数据价值属性进行计量和计费；此外，数据输出或者交易过程中，对数据输出对象(即，交易用户)、输出数据的时间以及输出数据的格式等进行永久性存档，以便于未来的运营合规性审计。

附图说明

图1为本发明一个实施例提供的数据网关装置的示意图；

图2为本发明另一个实施例提供的数据网关装置的示意图；

图3为本发明实施例提供的数据网关装置的工作流程图；以及

图4为本发明实施例提供的大数据***的示意图。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。

本发明一个实施例提供了一种用于保障大数据安全运营的数据网关装置。如图1所示，该数据网关装置可以包括用户管理模块、服务管理模块、规则管理模块、取数管理模块和数据脱敏处理模块。用户管理模块用于管理用户信息。服务管理模块用于管理向用户开放的数据服务的信息；规则管理模块用于针对不同用户和不同的数据服务设置不同合规检查规则；取数管理模块用于接收用户发出的服务的取数请求，向数据中心发出相应的取数请求，并接受数据中心返回的源数据；数据脱敏处理模块用于根据规则管理模块设置的规则，对数据中心返回的源数据进行合规检查，从而生成服务数据，所述服务数据为满足合规检查的数据；其中，所述取数管理模块还用于将数据脱敏处理模块生成的服务数据提供给用户。

根据本发明的其他实施例，本发明提供的用于保障大数据安全运营的数据网关装置还可以包括安全审计模块、规则管理模块、工单管理模块和/或***管理模块。例如，图2示出了本发明另一个实施例提供的数据网关装置的示意图。

以下，将参照图1和图2对数据网关装置的各功能模块进行详细说明。

用户管理模块

用户管理模块用于管理用户信息，并可以对不同类型的用户的功能菜单访问权限进行配置，从而可支持多种类型的用户管理，实现多租户管理。

用户可包括数据用户和机构用户。数据用户是数据服务的需求用户或第三方***/应用，并且每个数据用户必须关联一个机构，数据用户可以申请获取数据服务，并获得合规的服务数据。机构用户作为数据用户的责任人，企业或组织机构的责任人，一个机构下只有一个机构用户，但可以拥有多个数据用户。可以理解，机构用户和数据用户均可以自行申请，通过对机构用户和数据用户的申请及修改进行审核，可以更好地追踪和记录服务数据的流向。

用户还可以包括后台业务管理人员，例如，可以包括数据安全管理员和审核人员。数据安全管理员配置数据过滤、脱敏及合规检查规则。审核人员审核用户的注册/修改/注销、分配用户的密级、数据服务查看权限、取数权限、取数优先级权限以及审核数据过滤、脱敏及合规检查规则等。

用户还可以包括后台***管理人员用户，例如，可以包括：运维人员和***管理员。运维人员运营和维护***。***管理员具有***的全部权限。可以理解，***管理人员可以新建审核人员、数据安全管理员和运维人员。

用户管理模块还可以针对不同类型的用户，如数据用户、机构用户、数据安全管理员、审核人员、运维人员和***管理员，配置用户的功能菜单访问权限。一般而言，不同的用户具有不同级别的功能菜单访问权限。

服务管理模块

服务管理模块用于管理向用户开放的数据服务的信息，例如，创建新的数据服务、修改和删除已开放的数据服务等管理操作。数据管理模块中的数据服务信息与数据运营者向用户开放的数据服务保持一致。

数据服务信息可包括：服务基本信息，其可以包括服务编码、服务名称、服务类型(实时服务或周期服务)、服务周期(年、季、月、周或日；对于周期服务)、周期数据就绪日期(对于周期服务)、服务输出集编码、服务输出集名称等；服务输出字段信息，其包括服务输出集编码、字段编码、字段名称、字段数据类型、字段描述等；以及服务计费信息，例如，每单元字段或每行的价格等。

取数管理模块

取数管理模块用于接收用户的取数请求，向数据中心发出相应的取数请求，并接受数据中心返回的源数据。本发明中，数据中心返回的源数据包括：针对实时服务，数据中心返回的源数据，以及针对周期服务，取数管理模块根据数据中心返回的源数据的存储信息获取的源数据。在数据脱敏处理模块(后述)对数据中心返回的源数据进行处理，产生服务数据(即，合规的数据)之后，取数管理模块将服务数据提供给用户。

取数管理模块还可以用于针对用户的取数请求生成取数任务。取数任务的创建方式有四种，一是针对实时服务，由用户手工发起实时取数任务；二是针对周期服务，由用户首次手工发起取数任务；三是针对周期服务，在用户首次手工发起取数任务之后，由取数管理模块周期性自动生成取数任务；四是数据安全管理员修改合规检查规则并立即生效后重新生成取数任务。

取数管理模块还可以提供服务取数任务的查看功能。服务取数任务可以采取列表方式显示。

服务取数任务列表所含的信息可以包括：数据用户名称、服务编码、服务名称、服务类型、服务周期、任务账期、数据就绪状态、任务状态、任务开始时间、任务结束时间。

其中，服务类型包括周期或实时。

任务账期只有在服务类型为周期的情况下，该字段才有值，如果任务是通过手工发起的实时取数任务，则该字段显示实时。根据账期类型，显示格式可以为：年-yyyy、月-yyyymm、季度-yyyy*Q、周-yyyy**、日-yyyy***。

任务状态可以包括有效和失效。任务创建后，任务状态默认为有效，在数据安全管理员修改规则(包括数据过滤脱敏规则和合规检查规则)并选择立即生效后，将终止当前所有相关的未完成的取数任务，重新创建取数任务，执行新的安全规则，已终止的取数任务的任务状态被设置为失效。

数据就绪状态的值可以为准备取数、开始取数、取数完成、脱敏中、合规检查中、数据就绪、非法服务终止、服务已送达或服务送达失败、重试中，各项的说明如下：

服务任务列表还可以支持查询功能，例如根据数据用户名称、服务编码、服务名称、开始时间、结束时间进行的查询。

服务取数任务列表还可以针对管理人员提供检查结果查看、服务源数据和服务数据的抽样等功能操作。

检查结果查看提供本次取数任务的服务源数据的数据脱敏及检查结果，包括本次取数任务的数据用户登录名、数据用户姓名、所属机构用户登录名、所属机构用户姓名、服务编码、服务名称、服务类型、服务周期、任务帐期、任务开始时间、服务源数据是否合规、合规检查总行数、数据脱敏/合规检查规则。如果服务源数据检查结果为不合规，则将以列表方式显示所有被检查出来的不合规数据，列表展示信息包括：不合规数据行的序号、在服务源数据中的行号，不合规数据所在行的所有数据，以红色字体标注不合规数据，以鼠标触发方式弹出该数据应当遵从的合规检查规则，并提供合规检查结果的导出功能，支持以txt、excel文件格式导出。

服务源数据和服务数据的抽样，支持连续指定行数据内容的抽样(指定从XXX行至XXX行)，连续行数最大数为100，结束行号必须小于等于源数据/服务数据的总行数。

如需要对用户获取的服务数据进行统计，取数管理模块还可以对输出至该用户的服务数据进行计量和计费。对于输出的服务数据，按照不同的用户，根据数据量大小和数据价值属性进行计量和计费。在服务取数任务列表展示信息增加服务数据量和收费金额。例如，可以按照以下公式来计算数据量和该数据服务的收费金额：

数据量＝字段数×行数；

数据服务收费金额＝每单元字段/行的定价×数据量×用户定级标准系数。

这里，可以在用户管理模块中预先确定用户的用户定级标准系数。

一般而言，数据用户只能查看已授权的数据服务的信息，并提出取数请求。

可以理解，数据网关装置还可以包括存储单元，其用于缓存数据中心返回的源数据和数据脱敏处理模块生成的服务数据。此时，取数管理模块配置为首先确认存储单元中是否存在客户所请求的数据，如果所请求的数据已缓存在存储单元中，则将缓存在存储单元中的所请求的数据作为服务数据提供给用户，否则向数据中心发出相应的取数请求。

需要说明的是，存储单元可以作为独立的单元存在，也可以作为取数管理模块的一部分，本发明对此不进行限定，只要数据中心返回的源数据或取数管理模块获取的源数据可以被数据脱敏模块读取，并且数据脱敏模块生成的服务数据可以被取数管理模块读取即可。

规则管理模块

规则管理模块用于对各机构用户和/或数据用户的权限进行独立配置，针对不同的用户和不同的数据服务生成不同的查看权限、取数申请授权、取数优先级权限、数据过滤脱敏规则和合规检查规则，从而可实现不同数据用户间的资源隔离。通过规则管理模块，可以提供安全规则统一管理功能，可以理解，任何规则配置只能由数据安全管理员操作。数据服务的查看权限，指机构用户和/或数据用户能否在数据服务列表中看到该服务及其详细信息。不同的用户所看到的服务列表可以各不相同。

数据服务的取数申请授权，指数据用户能否获取该服务的数据。数据用户可以在取数管理模块针对有查看权限的服务，提交取数申请，经过审核、配置取数申请授权后，能通过取数管理模块发起取数请求。

数据服务的取数优先级权限，指多个数据用户同时发起取数请求时，取数管理模块创建取数任务的排序优先级规则。

由于不同机构用户或数据用户的密级要求一般不同，因此，为了尽量避免多个数据用户通过共享获取的服务数据并进行重组而获得敏感信息，优选地，针对不同用户和不同数据服务，制定不同的数据过滤脱敏规则和合规检查规则。数据过滤脱敏规则和合规检查规则可以随机设置或预先设置，只要能尽量使得属于同一个机构用户下的数据用户很难通过获取的服务数据恢复出敏感信息即可。

合规检查规则可以包括：数据字典匹配、数值范围检查和字段长度检查。合规检查规则可以通过excel文件格式导入。

过滤脱敏规则可以包括：服务输出字段筛选、字段的条件过滤和字段内容处理。字段的条件过滤可以包括：根据字段的字典进行过滤，以及针对数值类型的字段，根据数值比较表达式进行过滤。字段内容处理可以包括：对特殊字符进行替换的处理，以及对连续位数进行截取替换的处理。以下，将对这些过滤脱敏规则进行详细说明。

(1)服务输出字段筛选

服务输出字段筛选即为数据表的列过滤。例如，某服务的源数据中包括9个输出字段，字段名称分别为省份、用户编码、姓名、出生日期、身份证号、手机号、套餐类型、机型、月均话费。根据《电信和互联网用户个人信息保护规定》，不允许输出用户姓名、出生日期、身份证件号码、住址、电话号码、账号和密码等字段。因此，针对数据用户的该服务请求，规则管理模块设置字段筛选规则，使得该服务只输出省份、用户编码、套餐类型、机型和月均话费5个字段，则服务源数据中的姓名、出生日期、身份证号和手机号这4个字段都将被过滤掉。

(2)字段的条件过滤

字段的条件过滤即为数据表的行过滤。如上所述，字段的条件过滤又可分为两种过滤。

第一种是根据字段的字典进行的过滤。例如，上例服务中的输出字段“省份”对应的省份字典包括“北京”、“河北”、“天津”、“河南”、“山东”5个取值，规则管理模块可以针对数据用户设置该服务的输出字段“省份”的取值过滤条件为只包括“北京”，则对于该数据用户，服务源数据中的省份字段取值为“河北”、“天津”、“河南”、“山东”的数据行都被过滤掉。

第二种是针对数值类型的字段，根据数值比较表达式进行的过滤。例如，上例服务中的输出字段“月均话费”的数据类型是double，规则管理模块针对数据用户设置该服务的输出字段“月均话费”的取值过滤条件为：字段取值范围在50～100之间，则服务源数据中的月均话费字段的取值小于50或者大于100的数据行都被过滤掉。

(3)字段内容处理

如上所示，字段内容处理包括两种处理。

第一种是对特殊字符进行替换的处理。例如，上例服务中，规则管理模块针对数据用户设置对该服务的输出字段“用户编码”进行特殊字符替换，将特殊字符(123)替换处理成***，则服务源数据中的字段“用户编码”中的“123”都将被替换为“***”。比如，服务源数据中的“用户编码”为“1235678”，经过替换处理后显示为“***5678”。

第二种是对连续位数的字符进行截取替换的处理。截取替换包括：将前端N位字符替换成指定字符，将中间连续N位字符替换成指定字符，或将后端从第几位开始的字符替换成指定字符。

当要求将“用户编码”中的前4位换成6666时，如果服务源数据中的“用户编码”为“1235678”，则经过替换处理后显示为：6666678；

当要求将“用户编码”中的第2至5位换成6666时，如果服务源数据中的“用户编码”为“1235678”，则经过替换处理后显示为：1666678；

当要求将“用户编码”中从第4位之后的字符换成6666时，如果服务源数据中的“用户编码”为“1235678”，则经过替换处理后显示为：1236666。

需要说明的是，规则管理模块中必须设置数据的合规检查规则，从而确保提供给用户的服务数据的合规性。在数据中心已经配置有过滤脱敏功能的情况下，数据网关装置无需配置数据的过滤脱敏规则。

数据脱敏模块

数据脱敏处理模块用于根据规则管理模块的配置，对数据中心返回的源数据进行过滤脱敏处理，并对过滤脱敏后的数据进行合规检查，如果该数据合规，则该合规的数据作为服务数据通过取数管理模块提供给用户，否则，停止输出该数据。

如果规则管理模块还针对不同的用户和不同的数据服务设置服务数据的输出行数的情况下，当满足合规检查的数据的总行数大于所述设置的服务数据的输出行数时，数据脱敏处理模块将根据规则管理模块设置的用户的服务数据的输出行数，对满足合规检查的数据，从首行开始顺序截取一定行数的数据，生成所述服务数据，其中行数＝服务数据的输出行数。

可以理解，在规则管理模块无需配置数据过滤脱敏规则的情情况下(即，数据中心已经配置有过滤脱敏功能的情况下)，脱敏脱敏模块直接对数据中心返回的源数据或取数申请接口获取的源数据进行合规检查。

安全审计模块

安全审计模块用于记录操作日志、取数日志，并将操作日志、取数日志进行存档。

操作日志是指装置运行中所有用户的操作信息，包括：操作用户账号、***作用户账号、操作类型、操作功能、操作内容(如：查询自己待办任务列表，数据量：25条)、操作时间等。

取数日志是指装置运行中所有用户的服务数据的获取操作信息，包括：获取数据的时间、数据量、服务基本信息、服务输出字段信息(即，服务数据的字段信息)、执行的服务数据脱敏/合规检查规则等。服务数据的获取操作包括两种情况，一是管理人员主动下载或抽样下载服务源数据和服务数据，二是数据网关装置将服务数据成功返回给数据用户。

安全审计模块能周期性地对操作日志、取数日志进行审计，并支持针对机构用户或数据用户获取的服务数据的字段级审计，从而可以更准确地追踪敏感字段的数据流向，使得大数据运营更好地满足运营合规性审计。

工单管理模块

工单管理模块用于处理数据网关装置的工单任务，工单任务包括工单创建和工单查看。对于需要审批流转的任务，数据网关装置可以自动创建工单。针对不同业务，在业务流转节点设置工单任务触发条件。***管理人员可以配置处理各工单任务的用户类型，当工单任务被触发时，自动生成待办工单给该类用户。例如，对于新用户注册业务，可将注册信息的提交设置为触发条件，并将处理该新用户注册工单的用户类型设置为审核人员。用户在提交注册信息后将触发新用户注册工单，并自动生成一个待办工单给在岗的审核人员处理。

此外，可以通过工单管理模块查看工单，管理人员可以查看待办/已办/撤回的工单。

待办工单的查看向处理用户提供工单查询以及处理功能。用户可以根据待办类型、待办标题、待办内容进行模糊查询。***将根据待办生成时间进行降序排序展示，用户直接点击处理进入相应的工单处理页面。工单处理后，会自动流转到已办工单。

已办工单的查看将会展示已处理工单历史处理信息，包括：上一步工单处理人、处理时间、处理意见、处理时间等信息。

撤回工单的查看将会展示已撤回工单的详细信息，包括工单撤回原因。通过工单管理模块，数据网关***能够实现对各类用户的用户信息和权限的审核流程的运转。

***管理模块

***管理模块用于配置***的基础数据，该基础数据可以包括数据周期和定时器。

数据周期为服务源数据和服务数据在数据网关装置中的缓存周期，该数据周期可以预先设置或由运维人员指定或修改。

数据的缓存周期的类型可以是年、季、月、周或日，周期单位为天，即在该周期后对该数据进行清理。

***管理模块每天扫描检查数据是否过期，针对过期的数据，生成过期数据清理待办工单，通知运维人员，经运维人员审批通过后自动执行过期数据的清理。

定时器可以包括：周期服务的任务自动创建监控定时器、服务源数据扫描时间间隔、数据脱敏/规范性检查时间间隔、FTP推送失败后重新推送的时间间隔、FTP推送重发失败次数等。

图3为本发明实施例提供的用于保障大数据安全运营的数据网关装置的工作流程图。如图3所示，该工作流程具体包括以下步骤。

步骤1：用户通过数据网关装置的用户管理模块进行用户注册。

步骤2：数据网关装置的服务管理模块从数据中心同步各种数据服务的信息。

步骤3：数据网关装置的规则管理模块对用户进行数据服务查询权限的授权。

步骤4：用户通过网关装置的取数管理模块提交服务的取数申请。

步骤5：数据网关装置的规则管理模块对用户进行数据服务取数权限的配置。

规则管理模块可以针对用户进行服务的取数申请授权、服务数据取数的优先级授权、服务的数据过滤脱敏规则、服务数据的合规检查规则和服务数据的输出行数等。同一服务面向不同用户独立配置其数据过滤脱敏规则、合规检查规则、服务数据的输出行数。

步骤6：数据网关装置的取数管理向数据中心提交用户授权服务的取数申请。

步骤7：数据中心生成服务源数据。特别地，如果用户提交的是实时服务取数申请，则数据中心生成实时服务源数据。如果用户提交的是周期服务的取数申请，则数据中心将根据周期服务的生成周期，生成周期服务源数据。

步骤8：数据中心将服务源数据(实时服务源数据或者周期服务源数据存储信息)返回给数据网关装置。

步骤9：数据网关装置的数据脱敏处理模块根据规则管理模块中设置的针对该用户的数据过滤脱敏规则，对服务源数据进行数据过滤脱敏。具体的数据过滤脱敏可参照前述，此处不再赘述。

步骤10：数据网关装置的数据脱敏处理模块根据规则管理模块中针对该用户设置的合规检查规则，对经过数据过滤脱敏后的服务源数据进行数据合规检查，如果存在不合规数据，则中断本次服务数据取数流程。

如前所述，合规检查可以包括数据字典匹配、数值范围检查和字段长度检查。

步骤11：数据网关装置的数据脱敏处理模块根据规则管理模块中针对该用户设置的服务数据的输出行数，对满足数据合规检查规则的、过滤脱敏后的服务源数据，从首行开始，顺序截取规定行数的数据，生成服务数据。

步骤12：数据网关装置的取数管理模块将服务数据返回给用户，并进行计量、计费。

需要说明的是，实时服务的服务数据可以通过WebService接口返回给用户。周期服务的服务数据可以采用数据文件方式通过FTP接口推送到用户的FTP服务器。

步骤13：数据网关装置的安全审计模块定期对操作日志、取数日志进行审计。

根据本发明的另一方面，还提供了一种客户端可访问的大数据通信***，如图4所示，其包括数据中心和数据网关装置，该数据网关装置通过接口与数据中心数据连接，并且该数据网关装置配置为可通过接口与客户端数据通信。客户端(代表数据服务需求者)发出的数据服务请求通过数据网关装置发送至数据中心，数据中心返回的服务源数据通过数据网关装置进行过敏脱敏处理和合规性检查，然后将脱敏后的满足合规性检查的服务数据提供给客户端，防止了关键和敏感数据的泄漏，满足了合规性。此外，本发明提供的数据网关装置还可以对发送给客户端的服务数据进行计量或者计费，并对这些服务数据进行审计。该数据网关装置为上述的数据网关装置，因此，不再对其进行赘述。

根据大数据***中的数据的流向，运营商的数据中心构成数据内网区，本发明提供的数据网关装置构成审核区，其可保障数据服务开放运营的安全性，请求数据服务的客户端构成外网合作区，客户端可发出各种数据服务请求，如图4所示。

数据网关装置(审核区)与数据中心(数据内网区)之间可以通过接口进行连接。在一个示例中，数据网关装置与数据中心通过数据服务信息同步更新接口、取数申请接口、服务数据生成通知接口和服务数据同步接口来实现数据连接。

数据服务信息同步更新接口可以通过WebService接口来实现。当数据中心开放的数据服务信息发生变化(例如，新建数据服务或修改数据服务)时，数据中心通过WebService接口主动将数据服务信息推送给数据网关装置。通过该数据服务信息同步更新接口，数据网关装置的服务管理模块中的信息与所述数据中心开放的数据服务保持一致

取数申请接口也可以通过WebService接口实现方式。在收到来自客户端的服务数据提取申请后，数据网关装置检查本地服务缓存表是否存在所请求的数据，如果不存在则向数据中心发起该服务的数据提取请求。如果该服务的服务类型是实时服务，则数据中心实时生成源数据返回给数据网关装置；如果该服务的服务类型是周期服务，且所请求的服务账期是历史账期，则数据中心将该服务源数据的存储信息(包括例如文件服务器的FTP地址、访问端口、登录用户名、密码、源数据文件存储路径、源数据文件名等)返回给数据网关装置；如果该服务的服务类型是周期服务，且所请求的服务账期是未来账期，则数据中心将返回一个账期未到的消息给数据网关装置，在满足账期条件并且源数据生成后再通过服务数据生成通知接口通知数据网关装置。

服务数据生成通知接口也可以通过WebService接口实现。如前述，当数据网关装置向数据中心发起某个周期服务的取数申请后，由于所请求的服务账期是未来账期，数据中心在满足账期条件并且源数据生成后再通过该接口通知数据网关装置数据就绪，并将该服务源数据的存储信息(包括例如文件服务器的FTP地址、访问端口、登录用户名、密码、源数据文件存储路径、源数据文件名)提供给数据网关装置。

服务数据同步接口可以通过FTP接口来实现，数据网关装置根据服务源数据的存储信息，通过FTP方式获取服务源数据。

数据网关装置(审核区)与客户端(外网合作区)可以通过接口连接。在一个示例中，数据网关装置与客户端通过取数申请接口和服务数据推送接口来实现数据连接。

取数申请接口可以通过WebService接口来实现。客户端通过WebService接口向数据网关装置提交服务数据提取申请。如果该服务的服务类型是实时服务，则数据网关装置在对源数据进行脱敏处理、合规检查等审核处理后，将服务数据返回给客户端。

服务数据推送接口可以通过FTP接口来实现。在数据网关装置对周期服务的源数据进行脱敏处理和合规性检查等审核处理后，通过服务数据推送接口将服务数据采用数据文件方式推送到数据服务需求者指定的FTP。数据服务需求者可以在注册时指定FTP，即，指定用于接收服务数据的推送FTP连接相关信息，其可以包括：FTP地址、访问端口、登录用户名、密码、文件存储路径等。

可以理解，虽然上述以WebService接口和FTP接口为例对本发明进行了说明，但本发明并不限于此，任何可以实现实时数据交换和周期数据读写的接口都可以用于本发明。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (13)

1.一种数据网关装置，包括：

用户管理模块，其用于管理用户信息；

服务管理模块，其用于管理向用户开放的数据服务的信息；

规则管理模块，其用于针对不同用户和不同的数据服务设置不同合规检查规则；

取数管理模块，其用于接收用户发出的服务的取数请求，向数据中心发出相应的取数请求，并接受数据中心返回的源数据；以及

数据脱敏处理模块，其用于根据规则管理模块设置的规则，对数据中心返回的源数据进行合规检查，从而生成服务数据，所述服务数据为满足合规检查的数据，其中

所述取数管理模块还用于将数据脱敏处理模块生成的服务数据提供给用户。

2.根据权利要求1所述的数据网关装置，所述规则管理模块还用于针对不同用户和不同的数据服务设置不同的数据过滤脱敏规则，并且所述数据脱敏处理模块用于对数据中心返回的源数据进行过滤脱敏，然后再对过滤脱敏的数据进行合规检查。

3.根据权利要求1所述的数据网关装置，其中，所述取数模块还用于对输出的服务数据进行计量和计费。

4.根据权利要求3所述的数据网关装置，其中，所述规则管理模块还用于设置用户的服务数据的输出行数，当满足合规检查的数据的总行数大于所述设置的服务数据的输出行数时，所述数据脱敏处理模块还用于根据所述规则管理模块设置的服务数据的输出行数，对满足合规检查的数据，从首行开始，顺序截取一定行数的数据，来生成所述服务数据，其中所述行数＝服务数据的输出行数。

5.根据权利要求1所述的数据网关装置，其中，所述合规检查规则包括：数据字典匹配、数值范围检查和字段长度检查。

6.根据权利要求1所述的数据网关装置，其中，所述过滤脱敏规则包括：服务输出字段筛选、字段的条件过滤和字段内容处理。

7.根据权利要求1-6中任一项所述的数据网关装置，还包括：

存储单元，其用于缓存数据中心返回的源数据和数据脱敏处理模块生成的服务数据，其中所述取数管理模块配置为：首先判断所述存储单元中是否存在客户所请求的数据，如果所请求的数据已缓存在存储单元中，则将缓存在存储单元中的所请求的数据作为服务数据提供给客户，否则向数据中心发出相应的取数请求。

8.根据权利要求1-6中任一项所述的数据网关装置，还包括：

安全审计模块，其用于记录操作日志和取数日志，并将操作日志和取数日志存档。

9.根据权利要求1-6中任一项所述的数据网关装置，还包括：

***管理模块，其用于配置***的基础数据，所述基础数据包括数据周期和定时器，所述数据周期为数据中心返回的源数据和所述数据脱敏处理模块生成的服务数据在数据网关装置中的缓存周期。

10.一种客户端可访问的大数据***，其包括数据中心和数据网关装置，所述数据网关装置通过接口与所述数据中心连接，其中所述数据网关装置为根据权利要求1-8中任一项所述的数据网关装置，并且所述数据网关装置配置为能够通过接口与客户端连接。

11.根据权利要求10所述的大数据***，其中，所述数据网关装置与所述数据中心通过数据服务信息同步更新接口、取数申请接口、服务数据生成通知接口和服务数据同步接口来实现数据连接，其中，

通过所述服务信息同步更新接口，所述数据网关装置的服务管理模块中的数据服务的信息与所述数据中心开放的数据服务保持一致；

通过所述取数申请接口，所述数据网关装置的取数管理模块向所述数据中心发出服务的取数请求，并且，当所述服务为实时服务时，所述数据中心通过所述取数申请接口向所述数据网关装置的取数管理模块返回源数据，当所述服务为周期服务且所述服务的帐期为历史帐期时，所述数据中心通过所述取数申请接口向所述数据网关装置的取数管理模块返回所请求源数据的存储信息，当所述服务为周期服务且所述服务的帐期为未来帐期时，所述数据中心通过所述取数申请接口向所述网关装置的取数管理模块返回帐期未到消息；

通过所述服务数据生成通知接口，所述数据中心通知所述数据网关装置的取数管理模块所请求源数据准备就绪并返回所请求源数据的存储信息；以及

通过所述服务数据同步接口，所述数据网关装置的取数管理模块根据所请求源数据的存储信息获取源数据。

12.根据权利要求10或11所述的大数据***，其中，数据网关装置还配置为通过取数申请接口和服务数据推送接口来与客户端数据连接，其中，

通过取数申请接口，数据网关装置的取数管理模块接受客户端发出的服务的取数请求，并且数据网关装置的取数管理模块向用户提供所请求的服务数据；

通过服务数据推送接口，数据网关装置的取数管理模块将所请求的服务数据推送到指定位置。

13.根据权利要求12所述的大数据***，其中，所述数据服务信息同步更新接口、取数申请接口、服务数据生成通知接口通过WebService接口实现，所述服务数据同步接口通过FTP接口实现；所述取数申请接口通过WebService接口实现，所述服务数据推送接口通过FTP接口实现。