CN112364189A - 一种依托es服务的电子证照应用方法 - Google Patents

Abstract

本发明提供一种依托ES服务的电子证照应用方法，属于检索和查询技术领域，本发明基于电子证照相关的国家标准规范，从电子证照实际应用出发，分析电子证照的数据特点、业务场景，依据各个部分电子证照数据后续应用特点，对电子证照数据字段进行拆分，扁平化设计存储于ES中的数据结构，实现电子证照在ES中的存储，基于ES在大数据量下快速查询的特点，实现电子证照的快速查询和实时统计。

Description

一种依托ES服务的电子证照应用方法

技术领域

本发明涉及检索和查询技术，尤其涉及一种依托ES服务的电子证照应用方法。

背景技术

《GB/T 36901-2018电子证照总体技术架构》等6项电子证照国家标准的发布，定义了电子证照的含义、电子证照***建设的基本架构，以及电子信息项的数据格式标准，为电子证照库的建设提供了指导与参考。

此外，《C 0126-2018国家政务服务平台数据交换与共享接口标准》等国家政务服务平台接入规范，为电子证照跨层级数据交换提供了标准依据，为跨部门、跨区域的电子证照的数据共享应用提供了标准支撑，加速了证照类政务信息资源的整合共享。

电子证照标准规范的建立与完善，加速了电子证照库的数据的汇聚，电子证照库的数据量持续增长，同时用户的查询需求增多，这对电子证照库的数据存储能力，和对外提供检索服务的能力，提出了更高的要求。

传统的单库单表的模式或分库分表存储电子证照，在电子证照大量汇聚时，都存在一定问题。单库单表的模式下，当数据量达到一定阈值时，数据能力会逐步下降；其次，当单条记录，数据较大时，相同的存储空间仅能存储相对较少的行，会导致额外的I/O开销，降低数据存储性能；分库分表的模式下，可以解决上述的单表压力，但是对于汇聚数据各个维度的统计的方面，存在需要遍历所有涉及的分表，统计难度、统计性能和实时性存在瓶颈的问题，不利于超大数据量下的业务应用。

综上所述，单库单表的存储模型和分库分表的模型，存在着统计性能和实时性的问题，随着数据量增大，这种性能问题越发明显。

发明内容

为了解决以上技术问题，本发明提供了一种依托ES服务的电子证照应用方法，结合电子证照相关国家标准规范的要求，以及对电子证照数据特点、应用场景的分析，建立了电子证照基于ES的存储模型，为电子证照的实时检索、多维度统计提供了支持。

本发明基于对电子证照数据特点及应用场景的分析，基于业务对电子证照数据进行扁平化结构化设计，包含电子证照各个统计维度的信息，从而大数据量下通过不同条件对电子证照的快速查询和实时统计。

本发明的技术方案是：

一种依托ES服务的电子证照应用方法，

分为如下步骤：

1)结合标准规范和实际业务需求，分析电子证照数据特点，确定es中的电子证照的索引结构；

2)基于确定的存储索引，设计数据录入es的模型；

3)基于es中已有的证照数据，结合各个维度的统计和快速查询的条件，对证照数据进行相应的查询和统计操作。

进一步的，

将es中电子证照的存储索引结构划分为基础信息、业务信息、文件信息三个部分：

1)基础信息为object结构，包含标准《GB36903》中所有的元数据信息、证照的定义机构代码和证照颁发部门所属的区划代码；

2)业务信息选择nested(数组)结构，nested包含一个以上的object结构数据，对应着每个业务信息中不同的业务子项；

3)文件信息为object结构，包含证照文件在文件存储***中的id和文件类型。

索引设计说明：

1)降低每条记录在物理存储大小，es索引中所有非时间字段均采用keyword；

2)es索引中所有时间字段均采用long时间戳；

3)es索引中每条记录的doc_id都与证照标识一一对应，保证证照在es中存储的唯一性；

4)利用es的别名机制，设计es模板，采用统一别名，对录入es的数据，按时间进行划分，实现分索引存储数据和es索引的统一管理；

5)每个索引设计1个主分片，1个副本分片；

6)为保证es增、删、改、查请求的可读性和复杂性，所有的es请求均采用restApi来实现。

基础信息结构说明：

1)对于关联查询的支持差，索引的设计应该包含证照的检索字段(如：证照标识、证照类型代码、证照办法部门、持有者姓名等)和证照的统计字段(如：所属区划代码、定义机构代码、证照状态等)；

2)所有电子证照的基础信息都出自标准《GB36903》，将其封装进索引结构，保证了es中数据的标准性并提供查询和统计所需的关键信息；

3)增加证照定义机构代码和颁发部门所属区划。

业务信息结构说明：

1)对于不同类型的电子证照，其业务信息中包含的业务子项是不同的，但这些子项据有统一的属性：中文名、英文名、取值、类型；将通用属性封装为一个object，对应不同的业务子项，再将不同的object存储在nested中，可以实现对不同种类电子证照不同业务信息的统一封装，完成数据在es中的结构化存储；

2)对于存储的扩展信息，根据具体业务进行相应的聚合查询，满足基于特定电子证照的特定业务信息的查询和统计需求。

文件信息结构说明：

1)对于证照文件，采用base64的形式进行存储于单独的文件***中；

2)es索引通过封装文件存储***中的id和文件类型，来关联电子证照实体文件。

采用多索引和别名

对es的索引建立模板，套用模板的索引规则为统一前缀+*，在每个录入数据的请求中，请求的索引名由模板中规定的前缀和当前请求yyyy-MM格式的时间戳组成，实现按照时间对es中的数据进行自动分索引存储，分散数据分布，减少查询和统计压力；

对模板采用统一的别名，在查询和统计请求中，索引名统一使用es模板中的别名，可以实现对es中多索引的数据进行统一查询和统计。

数据录入和事务控制

首先通过电子证照***，将电子证照数据进行基本封装；

在电子证照***完成对应的业务逻辑后，将业务对象转换为与es索引结构相对应的json串，统一将结构数据封装为json后，通过restApi请求es，实现数据录入es；

证照数据录入es在业务逻辑的最后一步完成；

在es录入失败后抛出异常，以保证es在和关系型数据库的增删改逻辑组合时，关系型数据库和es中数据的一致性。

建立es统计模型

1)使用副本进行查询

使用索引中的副本进行查询和统计；

2)使用别名进行全索引查询

基于es模板中所规定的别名，通过restApi对各个分索引进行统一查询和统计；

3)聚合条件统一封装

对于聚合条件进行整合，统一将其封装在一个静态的json文件中，通过不同的key加以区分；***在启动后，将这个json读入静态区，在进行复杂的聚合查询时，根据对应的key取出聚合条件，通过restApi请求es，获取统计数据；

4)对es响应处理

统一将所有响应转换为json格式

对于查询业务，要求返回所有的证照数据，通过其doc_id(证照标识)进行post请求科实现精确查询；

对于返回的基本信息，直接采用返回信息中的基本信息；

对于业务信息，通过遍历json数组，将其重新封装为key-value(英文名-取值)的json；

对于文件信息，通过返回的文件id，请求文件***，获取base64，再封装为一个新的json。最后，将三部分json再进行统一封装，供业务***使用；

对于统计业务，不需要返回具体证照数据，将size设为0，进行_search的post或get请求即可，再根据具体的聚合条件，取出对应分组中的doc_count，进行简单统计计算，将结果封装为json，供业务***使用。

本发明的有益效果是

1、支持对电子证照的大量汇聚。

采用分索引结构设计，支持大量证照数据的汇聚。

2、支持对电子证照的快速查询和统计。

将电子证照在es中结构化存储，利用不同条件的聚合查询，可快速得到全数据量下，各个维度的统计结果，相比于传统的分表设计，避免了复杂的分表设计和轮询所有分表的查询方法，在拓展性和性能上得到了明显的提升。利用普通的_search请求，能实现在大量数据中快速查找到目标数据需求，相比于单表查询，性能有明显的提升；相比于分表查询，避免了复杂查询算法的设计，支持全量数据下所有字段的查询。

3、提供了一种电子证照在es中的存储模式。

通过本发明中的索引结构，能够实现电子证照在es中结构化存储，同时对于每个字段的类型，都采用了各个***通用的方式(字符串为keyword，时间为long时间戳)，使得本发明可以应用于对于证照数据有快速查询、统计依赖的***中。

附图说明

图1是证照索引结构示意；

图2是数据录入es流程示意；

图3是利用静态json简化聚合查询条件编写示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

通过本发明，可建立一种基于依托于ES服务的符合国家标准规范的电子证照应用模型，用于电子证照的汇聚与共享。模型中，基于电子证照个数据项的业务特点，对es索引进行结构化设计(基础信息、业务信息、文件信息)，分析每部分结构化数据的汇聚和共享场景，进一步对每个部分的数据进行了字段的细化，使电子证照能够在es中结构化存储，利用es服务本身的特点，提高了检索效率，实现个证照在各个维度下的统计和检索。通过本发明，可实现电子证照在不同业务场景下的快速检索和统计，支撑电子证照应用。

本发明基于电子证照相关的国家标准规范，从电子证照实际应用出发，分析电子证照的数据特点、业务场景，依据各个部分电子证照数据后续应用特点，对电子证照数据字段进行拆分，扁平化设计存储于ES中的数据结构，实现电子证照在ES中的存储，基于ES在大数据量下快速查询的特点，实现电子证照的快速查询和实时统计。

本发明建立的过程分为三步：一，结合国家标准规范和实际业务需求，分析电子证照数据特点，确定es中的电子证照的索引结构；二，基于确定的存储索引，设计数据录入es的模型；三，基于es中已有的证照数据，结合各个维度的统计和快速查询的条件，对证照数据进行相应的查询和统计操作。

1、es中的电子证照存储结构设计

根据电子证照国家标准的定义，每一个电子证照都有其证照标识，可以通过此标识唯一确定一个电子证照；证照的结构化数据分为基本信息、业务信息和文件信息：

1)对于基础信息，是不同类型电子证照共有的属性，据有相同的数据特点和检索需求。

2)对于业务信息，是由不同的业务子项所组成的，每个子项具有通用的属性(中文名、英文名、取值、类型)，不同类型的电子证照包含不同的业务信息。

3)对于文件信息，电子证照文件为OFD标准文件。

在本模型中，将es中电子证照的存储索引结构划分为基础信息、业务信息、文件信息三个部分：

1)基础信息为object结构，包含国家标准《GB36903》中所有的元数据信息、证照的定义机构代码和证照颁发部门所属的区划代码

2)业务信息选择nested(数组)结构，nested包含多个object结构数据，对应着每个业务信息中不同的业务子项

3)文件信息为object结构，包含证照文件在文件存储***中的id和文件类型。

索引设计说明：

1)为了保证对es中数据查询、统计的准确性，降低每条记录在物理存储大小，es索引中所有非时间字段均采用keyword

2)为了保证es中数据在不同***中的通用性，方便数据时间数据在不同***之间的转换应用，同时避免时区转换引起的查询和统计错误，es索引中所有时间字段均采用long时间戳

3)es索引中每条记录的doc_id都与证照标识一一对应，保证证照在es中存储的唯一性，避免重复增删改操作导致一个证照在es可能存储多条记录，导致数据错误

4)利用es的别名机制，设计es模板，采用统一别名，对录入es的数据，按时间进行划分，实现分索引存储数据和es索引的统一管理

5)每个索引设计1个主分片，1个副本分片

6)为保证es增、删、改、查请求的可读性和复杂性，所有的es请求均采用restApi来实现。

基础信息结构说明：

1)es不同于关系型数据库，对于关联查询的支持差，索引的设计应该扁平化，保证能够覆盖所有需要的字段；

2)所有电子证照的基础信息都出自国家标准《GB36903》，将其封装进索引结构，保证了es中数据的标准性并提供查询和统计所需的关键信息

3)增加证照定义机构代码和颁发部门所属区划，满足了一些业务按照区划或者部委进行统计的需求

业务信息结构说明：

1)对于不同类型的电子证照，其业务信息中包含的业务子项是不同的，但这些子项据有统一的属性：中文名、英文名、取值、类型。将通用属性封装为一个object，对应不同的业务子项，再将不同的object存储在nested中，可以实现对不同种类电子证照不同业务信息的统一封装，完成数据在es中的结构化存储

2)对于存储的扩展信息，可以根据具体业务进行相应的聚合查询，满足基于特定电子证照的特定业务信息的查询和统计需求

文件信息结构说明：

1)对于证照文件，由于其占用存储较大，一般采用base64的形式进行存储于单独的文件***中

2)es索引通过封装文件存储***中的id和文件类型，来关联电子证照实体文件

2、建立证照数据录入es模型

1)采用多索引和别名

电子证照的数据总量非常大，单索引存储文档数量存在上限，不适合于这种数据量的存储。

对es的索引建立模板，套用模板的索引规则为统一前缀+*(如license_*)，在每个录入数据的请求中，请求的索引名由模板中规定的前缀和当前请求yyyy-MM(具体时间戳可根据实际需求改变)格式的时间戳组成(如license_2020-07)，实现按照时间对es中的数据进行自动分索引存储，分散数据分布，减少查询和统计压力。

对模板采用统一的别名，在查询和统计请求中，索引名统一使用es模板中的别名，可以实现对es中多索引的数据进行统一查询和统计。

2)数据录入和事务控制

首先通过电子证照***，将电子证照数据进行基本封装(可为自定义的业务对象、json、map等结构化格式)

在电子证照***完成对应的业务逻辑后，将业务对象转换为与es索引结构相对应的json串，统一将结构数据封装为json后，通过restApi请求es，实现数据录入es。

由于es不支持事务，为了保证数据的一致性，证照数据录入es应在业务逻辑的最后一步完成。

在es录入失败后抛出异常，以保证es在和关系型数据库的增删改逻辑组合时，关系型数据库和es中数据的一致性。

3、建立es统计模型

1)使用副本进行查询

使用索引中的副本进行查询和统计，实现es中数据的读写分离，降低es查询压力，提高写入、查询和统计速率

2)使用别名进行全索引查询

基于es模板中所规定的别名，可以通过restApi对各个分索引进行统一查询和统计，解决了传统分表统计和查询需要轮询所有表的问题

3)聚合条件统一封装

对于一些复杂的聚合条件，调用es自带的javaApi和自己组装json条件都存在着逻辑复杂，可读性低，维护困难的问题，对于需求多样、频繁更改的统计来说应用难度大。

本模型中，对于复杂、繁琐的聚合条件进行了整合，统一将其封装在一个静态的json文件中，通过不同的key加以区分。***在启动后，将这个json读入静态区，在进行复杂的聚合查询时，根据对应的key取出聚合条件，通过restApi请求es，获取统计数据。(如对某个证照进行按区划统计，其聚合条件主要为按照索引中的区划代码进行terms聚合，先将其aggs条件准备好写入静态json中，在对应的聚合查询逻辑中只需通过静态json直接取出组装即可，避免了繁琐条件的准备)。

4)对es响应处理

统一将所有响应转换为json格式

对于查询业务，要求返回所有的证照数据，通过其doc_id(证照标识)进行post请求科实现精确查询。对于返回的基本信息，可直接采用返回信息中的基本信息；对于业务信息，通过遍历json数组，将其重新封装为key-value(英文名-取值)的json；对于文件信息，可以通过返回的文件id，请求文件***，获取base64，再封装为一个新的json。最后，将三部分json再进行统一封装，供业务***使用。

对于统计业务，不需要返回具体证照数据，将size设为0，进行_search的post请求即可，再根据具体的聚合条件，取出对应分组中的doc_count，进行简单统计计算，将结果封装为json，供业务***使用。

本发明在大量数据下的索引划分策略，解决了与传统关系型数据库结合使用时，es没有事务性而导致数据不一致的问题。将聚合条件写入静态的json中，在查询时直接从静态区中取出，避免了复杂的聚合条件编写和维护。

以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种依托ES服务的电子证照应用方法，其特征在于，

分为如下步骤：

1)结合标准规范和实际业务需求，分析电子证照数据特点，确定es中的电子证照的索引结构；

2)基于确定的存储索引，设计数据录入es的模型；

3)基于es中已有的证照数据，结合各个维度的统计和快速查询的条件，对证照数据进行相应的查询和统计操作。

2.根据权利要求1所述的方法，其特征在于，

将es中电子证照的存储索引结构划分为基础信息、业务信息、文件信息三个部分：

1)基础信息为object结构，包含标准《GB36903》中所有的元数据信息、证照的定义机构代码和证照颁发部门所属的区划代码；

2)业务信息选择nested(数组)结构，nested包含一个以上的object结构数据，对应着每个业务信息中不同的业务子项；

3)文件信息为object结构，包含证照文件在文件存储***中的id和文件类型。

3.根据权利要求1所述的方法，其特征在于，

索引设计说明：

1)降低每条记录在物理存储大小，es索引中所有非时间字段均采用keyword；

2)es索引中所有时间字段均采用long时间戳；

3)es索引中每条记录的doc_id都与证照标识一一对应，保证证照在es中存储的唯一性；

4)利用es的别名机制，设计es模板，采用统一别名，对录入es的数据，按时间进行划分，实现分索引存储数据和es索引的统一管理；

5)每个索引设计1个主分片，1个副本分片；

6)为保证es增、删、改、查请求的可读性和复杂性，所有的es请求均采用restApi来实现。

4.根据权利要求2所述的方法，其特征在于，

基础信息结构说明：

1)对于关联查询的支持差，索引的设计应该包含证照的检索字段和证照的统计字段；

2)所有电子证照的基础信息都出自标准《GB36903》，将其封装进索引结构，保证了es中数据的标准性并提供查询和统计所需的关键信息；

3)增加证照定义机构代码和颁发部门所属区划。

5.根据权利要求2所述的方法，其特征在于，

业务信息结构说明：

1)对于不同类型的电子证照，其业务信息中包含的业务子项是不同的，但这些子项据有统一的属性：中文名、英文名、取值、类型；将通用属性封装为一个object，对应不同的业务子项，再将不同的object存储在nested中，可以实现对不同种类电子证照不同业务信息的统一封装，完成数据在es中的结构化存储；

2)对于存储的扩展信息，根据具体业务进行相应的聚合查询，满足基于特定电子证照的特定业务信息的查询和统计需求。

6.根据权利要求2所述的方法，其特征在于，

文件信息结构说明：

1)对于证照文件，采用base64的形式进行存储于单独的文件***中；

2)es索引通过封装文件存储***中的id和文件类型，来关联电子证照实体文件。

7.根据权利要求1所述的方法，其特征在于，

采用多索引和别名

对es的索引建立模板，套用模板的索引规则为统一前缀+*，在每个录入数据的请求中，请求的索引名由模板中规定的前缀和当前请求yyyy-MM格式的时间戳组成，实现按照时间对es中的数据进行自动分索引存储，分散数据分布，减少查询和统计压力；

对模板采用统一的别名，在查询和统计请求中，索引名统一使用es模板中的别名，可以实现对es中多索引的数据进行统一查询和统计。

8.根据权利要求7所述的方法，其特征在于，

数据录入和事务控制

首先通过电子证照***，将电子证照数据进行基本封装；

在电子证照***完成对应的业务逻辑后，将业务对象转换为与es索引结构相对应的json串，统一将结构数据封装为json后，通过restApi请求es，实现数据录入es；

证照数据录入es在业务逻辑的最后一步完成；

在es录入失败后抛出异常，以保证es在和关系型数据库的增删改逻辑组合时，关系型数据库和es中数据的一致性。

9.根据权利要求1所述的方法，其特征在于，

建立es统计模型

1)使用副本进行查询

使用索引中的副本进行查询和统计；

2)使用别名进行全索引查询

基于es模板中所规定的别名，通过restApi对各个分索引进行统一查询和统计；

3)聚合条件统一封装

对于聚合条件进行整合，统一将其封装在一个静态的json文件中，通过不同的key加以区分；***在启动后，将这个json读入静态区，在进行复杂的聚合查询时，根据对应的key取出聚合条件，通过restApi请求es，获取统计数据；

4)对es响应处理

统一将所有响应转换为json格式

对于查询业务，要求返回所有的证照数据，通过其doc_id(证照标识)进行post请求科实现精确查询；

对于返回的基本信息，直接采用返回信息中的基本信息；

对于业务信息，通过遍历json数组，将其重新封装为key-value(英文名-取值)的json；

对于文件信息，通过返回的文件id，请求文件***，获取base64，再封装为一个新的json。最后，将三部分json再进行统一封装，供业务***使用；

对于统计业务，不需要返回具体证照数据，将size设为0，进行_search的post或get请求即可，再根据具体的聚合条件，取出对应分组中的doc_count，进行简单统计计算，将结果封装为json，供业务***使用。

Images