CN112765117A - 基于微服务架构的工业互联网标识解析*** - Google Patents

基于微服务架构的工业互联网标识解析*** Download PDF

Info

Publication number
CN112765117A
CN112765117A CN202110106183.5A CN202110106183A CN112765117A CN 112765117 A CN112765117 A CN 112765117A CN 202110106183 A CN202110106183 A CN 202110106183A CN 112765117 A CN112765117 A CN 112765117A
Authority
CN
China
Prior art keywords
service
micro
data
distributed
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110106183.5A
Other languages
English (en)
Other versions
CN112765117B (zh
Inventor
商雷博
张煜
段泽军
李茂�
王文超
黄勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Classification Society
Original Assignee
China Classification Society
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Classification Society filed Critical China Classification Society
Priority to CN202110106183.5A priority Critical patent/CN112765117B/zh
Priority claimed from CN202110106183.5A external-priority patent/CN112765117B/zh
Publication of CN112765117A publication Critical patent/CN112765117A/zh
Application granted granted Critical
Publication of CN112765117B publication Critical patent/CN112765117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471Distributed queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Computing Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开一种基于微服务架构的工业互联网标识解析***,包括:用户界面层,用于输入用户的微服务请求以及显示对应于所述微服务请求的服务结果;网关层,用于将所述微服务请求转发至后端微服务集群中的相应微服务,以及实现用户身份认证、服务限流和服务降级;服务层,包括所述后端微服务集群、分布式搜索引擎、分布式缓存服务组件、分布式消息服务组件和容器管理工具;存储层,包括关系型数据库和非关系型数据库。根据本发明,能够解决现有的工业互联网标识解析***的存储能力和检索能力差的问题。

Description

基于微服务架构的工业互联网标识解析***
技术领域
本发明属于工业互联网领域,更具体地,涉及一种基于微服务架构的工业互联网标识解析***。
背景技术
在现有工业互联网标识解析体系中,各级节点以关系型数据库进行标识及其属性的存储,同时对标识建立索引进行检索。随着标识工作的推广,行业二级节点及大型企业节点发码量已达到数亿到数十亿以上规模,且需按照发码类别、物品特征、应用位置等属性进行检索,现有架构的存储和检索能力已不能很好的满足需求。
发明内容
本发明的目的在于解决现有的工业互联网标识解析***的存储能力和检索能力差的问题。
为了实现上述目的,本发明提供一种基于微服务架构的工业互联网标识解析***,包括:
用户界面层,用于输入用户的微服务请求以及显示对应于所述微服务请求的服务结果;
网关层,用于将所述微服务请求转发至后端微服务集群中的相应微服务,以及实现用户身份认证、服务限流和服务降级;
服务层,包括所述后端微服务集群、分布式搜索引擎、分布式缓存服务组件、分布式消息服务组件和容器管理工具;
存储层,包括关系型数据库和非关系型数据库。
作为优选的是,所述微服务请求包括解析微服务请求、业务微服务请求、数据微服务请求、版本微服务请求、统计微服务请求、ETL微服务请求和API微服务请求。
作为优选的是,所述后端微服务集群基于Spring Cloud及其相关组件构建,所述后端微服务集群包括解析中心、业务中心和数据中心,所述解析中心包括接口服务和缓存管理微服务,所述业务中心包括企业管理微服务、规则微服务和标识微服务。
作为优选的是,所述分布式搜索引擎为基于Elasticsearch的分布式搜索引擎,用于存储所述解析中心根据预先设定的分词规则和解析模板对发码数据进行处理后得到数据。
作为优选的是,所述分布式缓存服务组件为基于Redis的分布式缓存服务组件,用于存储所述业务中心的规则微服务转发的企业预先设定的标识编码规则、所述业务中心的标识微服务设定的发码模板、解析热词和索引模板;
所述解析热词基于所述解析中心的缓存管理微服务通过实时记录解析日志并进行分析,结合历史数据实现实时刷新。
作为优选的是,所述分布式消息服务组件为基于Kafka的分布式消息服务组件,用于实现所述后端微服务集群、所述关系型数据库和所述非关系型数据库以及所述分布式搜索引擎之间的数据同步。
作为优选的是,所述容器管理工具为基于Kubernetes的容器管理工具。
作为优选的是,所述关系型数据库为MySQL数据库,用于存储***管理数据,所述***管理数据为企业注册和管理时产生的数据。
作为优选的是,所述非关系型数据库为MongoDB数据库,用于存储标识数据和标识属性数据。
作为优选的是,所述服务层还包括基于OSS的分布式文件***。
本发明的有益效果在于:
本发明的基于微服务架构的工业互联网标识解析***,以SpringCloud及其相关组件构建应用微服务集群,以关系型数据库存储节点管理数据,以MongoDB数据库存储标识及其属性数据,以Elasticsearch建立全文检索库,以Redis进行热点数据和模板的缓存,以Kafka实现微服务间和存储库及检索库间的数据同步,以Kubernetes进行容器管理,实现了在工业互联网标识解析体系的二级节点、大型集团企业节点等管理节点完整存储下级节点全部标识发码信息,并可按照类别、物品特征、应用位置等属性进行快速检索并有效控制成本的需求。
本发明的其它特征和优点将在随后具体实施方式部分予以详细说明。
附图说明
通过结合附图对本发明示例性实施方式进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显,其中,在本发明示例性实施方式中,相同的参考标号通常代表相同部件。
图1示出了根据本发明的实施例的基于微服务架构的工业互联网标识解析***的整体架构图;
图2示出了根据本发明的实施例的基于微服务架构的工业互联网标识解析***的详细架构图。
具体实施方式
下面将更详细地描述本发明的优选实施方式。虽然以下描述了本发明的优选实施方式,然而应该理解,可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本发明更加透彻和完整,并且能够将本发明的范围完整地传达给本领域的技术人员。
实施例:图1示出了根据本发明的实施例的基于微服务架构的工业互联网标识解析***的整体架构图。参照图1,本实施例的基于微服务架构的工业互联网标识解析***包括:
用户界面层,用于输入用户的微服务请求以及显示对应于所述微服务请求的服务结果;
网关层,用于将所述微服务请求转发至后端微服务集群中的相应微服务,以及实现用户身份认证、服务限流和服务降级;
服务层,包括所述后端微服务集群、分布式搜索引擎、分布式缓存服务组件、分布式消息服务组件和容器管理工具;
存储层,包括关系型数据库和非关系型数据库。
本实施例中,所述微服务请求包括解析微服务请求、业务微服务请求、数据微服务请求、版本微服务请求、统计微服务请求、ETL微服务请求和API微服务请求。
本实施例中,所述后端微服务集群基于Spring Cloud及其相关组件构建,所述后端微服务集群包括解析中心、业务中心和数据中心,所述解析中心包括接口服务和缓存管理微服务,所述业务中心包括企业管理微服务、规则微服务和标识微服务。
Spring Cloud是一个基于Spring Boot实现的云原生应用开发工具,它为基于JVM的云原生应用开发中涉及的配置管理、服务发现、熔断器、智能路由、微代理、控制总线、分布式会话和集群状态管理等操作提供了一种简单的开发方式。
本实施例中,所述分布式搜索引擎为基于Elasticsearch的分布式搜索引擎,用于存储所述解析中心根据预先设定的分词规则和解析模板对发码数据进行处理后得到数据。
Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。
本实施例中,所述分布式缓存服务组件为基于Redis的分布式缓存服务组件,用于存储所述业务中心的规则微服务转发的企业预先设定的标识编码规则、所述业务中心的标识微服务设定的发码模板、解析热词和索引模板;
所述解析热词基于所述解析中心的缓存管理微服务通过实时记录解析日志并进行分析,结合历史数据实现实时刷新。
Redis(Remote Dictionary Server),是一种开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。
本实施例中,所述分布式消息服务组件为基于Kafka的分布式消息服务组件,用于实现所述后端微服务集群、所述关系型数据库和所述非关系型数据库以及所述分布式搜索引擎之间的数据同步。
Kafka是一种高吞吐量的分布式发布订阅消息***,它可以处理消费者在网站中的所有动作流数据。
本实施例中,所述容器管理工具为基于Kubernetes的容器管理工具。
kubernetes,是一个开源的,用于管理云平台中多个主机上的容器化的应用。
本实施例中,所述关系型数据库为MySQL数据库,用于存储***管理数据,所述***管理数据为企业注册和管理时产生的数据。
本实施例中,所述非关系型数据库为MongoDB数据库,用于存储标识数据和标识属性数据。
MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。
本实施例中,所述服务层还包括基于OSS的分布式文件***。
本实施例的基于微服务架构的工业互联网标识解析***,以SpringCloud及其相关组件构建应用微服务集群,以关系型数据库存储节点管理数据,以MongoDB数据库存储标识及其属性数据,以Elasticsearch建立全文检索库,以Redis进行热点数据和模板的缓存,以Kafka实现微服务间和存储库及检索库间的数据同步,以Kubernetes进行容器管理,能够实现十亿级标识存储、每秒万次以上吞吐及毫秒级标识全属性解析。
图2示出了根据本发明的实施例的基于微服务架构的工业互联网标识解析***的详细架构图。以下参照图2对本实施例的基于微服务架构的工业互联网标识解析***进行更为详细的说明:
在企业注册和管理时,由业务中心的企业管理微服务进行处理,并将数据存储在关系型数据库中,具体的为MySQL集群。
在标识发码前,企业先设定标识编码的相应规则,由业务中心的规则微服务将其存储到Redis缓存中,供发码时快速调用。
在标识发码时,其标识数据和标识属性数据由业务中心的标识微服务进行处理,并将其存储在MongoDB集群中。特别的,如果设定了发码模板,则将该模板也存储在Redis缓存中。
在标识完成发码的同时,将相应发码数据推送至Kafka集群。由解析中心的接口服务轮询读取,通常为每500毫秒一次。解析中心在获取发码数据后,按预先设定的分词规则和解析模板进行处理,并存储在Elasticsearch集群中。
特别的,解析中心的缓存管理微服务实时记录解析日志并进行分析,结合历史数据实时刷新存储在Redis缓存中的解析热词。
在标识解析时,解析微服务首先在Redis缓存进行查询,如得出结果则返回;如无结果,则在Elasticsearch集群中进行查询。
在检索标识关系时,如检索一艘船舶的所有设备及设备的从属关系时,由Redis中读取特定索引模板,并根据索引在Elasticsearch集群中检索获取结果。
本实施例还对基于微服务架构的工业互联网标识解析***进行了仿真
测试环境:使用3台8核心16G内存X86架构的服务器,参考真实数据仿真建设存储十亿标识数据的测试环境。
并发数:10000用户。
检索效率:
1.按标识检索:平均3-5ms得到返回结果。
2.按任意属性检索:平均5-10ms得到返回结果。
3.按船舶检索全部设备及其从属关系:平均5-20ms得到返回结果。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。

Claims (10)

1.基于微服务架构的工业互联网标识解析***,其特征在于,包括:
用户界面层,用于输入用户的微服务请求以及显示对应于所述微服务请求的服务结果;
网关层,用于将所述微服务请求转发至后端微服务集群中的相应微服务,以及实现用户身份认证、服务限流和服务降级;
服务层,包括所述后端微服务集群、分布式搜索引擎、分布式缓存服务组件、分布式消息服务组件和容器管理工具;
存储层,包括关系型数据库和非关系型数据库。
2.根据权利要求1所述的工业互联网标识解析***,其特征在于,所述微服务请求包括解析微服务请求、业务微服务请求、数据微服务请求、版本微服务请求、统计微服务请求、ETL微服务请求和API微服务请求。
3.根据权利要求2所述的工业互联网标识解析***,其特征在于,所述后端微服务集群基于Spring Cloud及其相关组件构建,所述后端微服务集群包括解析中心、业务中心和数据中心,所述解析中心包括接口服务和缓存管理微服务,所述业务中心包括企业管理微服务、规则微服务和标识微服务。
4.根据权利要求3所述的工业互联网标识解析***,其特征在于,所述分布式搜索引擎为基于Elasticsearch的分布式搜索引擎,用于存储所述解析中心根据预先设定的分词规则和解析模板对发码数据进行处理后得到数据。
5.根据权利要求4所述的工业互联网标识解析***,其特征在于,所述分布式缓存服务组件为基于Redis的分布式缓存服务组件,用于存储所述业务中心的规则微服务转发的企业预先设定的标识编码规则、所述业务中心的标识微服务设定的发码模板、解析热词和索引模板;
所述解析热词基于所述解析中心的缓存管理微服务通过实时记录解析日志并进行分析,结合历史数据实现实时刷新。
6.根据权利要求5所述的工业互联网标识解析***,其特征在于,所述分布式消息服务组件为基于Kafka的分布式消息服务组件,用于实现所述后端微服务集群、所述关系型数据库和所述非关系型数据库以及所述分布式搜索引擎之间的数据同步。
7.根据权利要求6所述的工业互联网标识解析***,其特征在于,所述容器管理工具为基于Kubernetes的容器管理工具。
8.根据权利要求7所述的工业互联网标识解析***,其特征在于,所述关系型数据库为MySQL数据库,用于存储***管理数据,所述***管理数据为企业注册和管理时产生的数据。
9.根据权利要求8所述的工业互联网标识解析***,其特征在于,所述非关系型数据库为MongoDB数据库,用于存储标识数据和标识属性数据。
10.根据权利要求9所述的工业互联网标识解析***,其特征在于,所述服务层还包括基于OSS的分布式文件***。
CN202110106183.5A 2021-01-26 基于微服务架构的工业互联网标识解析*** Active CN112765117B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110106183.5A CN112765117B (zh) 2021-01-26 基于微服务架构的工业互联网标识解析***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110106183.5A CN112765117B (zh) 2021-01-26 基于微服务架构的工业互联网标识解析***

Publications (2)

Publication Number Publication Date
CN112765117A true CN112765117A (zh) 2021-05-07
CN112765117B CN112765117B (zh) 2024-07-26

Family

ID=

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657774A (zh) * 2021-08-19 2021-11-16 佛山技研智联科技有限公司 一种纺织印染的物联网云平台***
CN114500589A (zh) * 2021-12-22 2022-05-13 烟台东方瑞创达电子科技有限公司 工业互联网标识解析公共服务支撑平台
CN114866571A (zh) * 2022-05-31 2022-08-05 广东三维睿新科技有限公司 一种企业资源库***
CN114900448A (zh) * 2022-05-30 2022-08-12 上海亿通国际股份有限公司 一种微服务网关流量管理方法、装置和电子设备
CN115037904A (zh) * 2022-05-13 2022-09-09 广东润联信息技术有限公司 一种聚合云视频会议管理平台及会议接入方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110543296A (zh) * 2019-08-26 2019-12-06 成都市知用科技有限公司 一种智慧校园微服务平台架构体系
CN110609782A (zh) * 2019-09-19 2019-12-24 四川长虹电器股份有限公司 基于大数据的微服务优化***及方法
CN110648241A (zh) * 2019-08-14 2020-01-03 中国平安财产保险股份有限公司 一种基于微服务架构的理赔处理方法及装置
CN110708372A (zh) * 2019-09-29 2020-01-17 广州餐道信息科技有限公司 点餐软件统一对接***
CN110708322A (zh) * 2019-10-12 2020-01-17 北京工业大学 一种工业互联网标识解析***代理服务的实现方法
CN111045648A (zh) * 2019-12-11 2020-04-21 盈佳云创科技(深圳)有限公司 一种微服务开发工具
CN112087520A (zh) * 2020-09-14 2020-12-15 深圳市欣视景科技股份有限公司 数据处理方法、装置、设备及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648241A (zh) * 2019-08-14 2020-01-03 中国平安财产保险股份有限公司 一种基于微服务架构的理赔处理方法及装置
CN110543296A (zh) * 2019-08-26 2019-12-06 成都市知用科技有限公司 一种智慧校园微服务平台架构体系
CN110609782A (zh) * 2019-09-19 2019-12-24 四川长虹电器股份有限公司 基于大数据的微服务优化***及方法
CN110708372A (zh) * 2019-09-29 2020-01-17 广州餐道信息科技有限公司 点餐软件统一对接***
CN110708322A (zh) * 2019-10-12 2020-01-17 北京工业大学 一种工业互联网标识解析***代理服务的实现方法
CN111045648A (zh) * 2019-12-11 2020-04-21 盈佳云创科技(深圳)有限公司 一种微服务开发工具
CN112087520A (zh) * 2020-09-14 2020-12-15 深圳市欣视景科技股份有限公司 数据处理方法、装置、设备及计算机可读存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657774A (zh) * 2021-08-19 2021-11-16 佛山技研智联科技有限公司 一种纺织印染的物联网云平台***
CN114500589A (zh) * 2021-12-22 2022-05-13 烟台东方瑞创达电子科技有限公司 工业互联网标识解析公共服务支撑平台
CN115037904A (zh) * 2022-05-13 2022-09-09 广东润联信息技术有限公司 一种聚合云视频会议管理平台及会议接入方法
CN114900448A (zh) * 2022-05-30 2022-08-12 上海亿通国际股份有限公司 一种微服务网关流量管理方法、装置和电子设备
CN114866571A (zh) * 2022-05-31 2022-08-05 广东三维睿新科技有限公司 一种企业资源库***

Similar Documents

Publication Publication Date Title
JP7130600B2 (ja) ファーストクラスデータベース要素としての半構造データの実装
US11755575B2 (en) Processing database queries using format conversion
US8495007B2 (en) Systems and methods for hierarchical aggregation of multi-dimensional data sources
CN103164507B (zh) 行与列数据库表在原生方向上的混合联接
Aboutorabiª et al. Performance evaluation of SQL and MongoDB databases for big e-commerce data
US9235622B2 (en) System and method for an efficient query sort of a data stream with duplicate key values
US8712972B2 (en) Query optimization with awareness of limited resource usage
CN102073640B (zh) Sql语句的检测方法、***及服务器
US7672928B2 (en) Query forced indexing
US9477772B2 (en) Storing and retrieving objects on a computer network in a distributed database
US8924373B2 (en) Query plans with parameter markers in place of object identifiers
US20110246480A1 (en) System and method for interacting with a plurality of data sources
CN108536705A (zh) 数据库***中对象的编码及运算方法与数据库服务器
CN111309760A (zh) 数据检索方法、***、设备及存储介质
CN101901242A (zh) 联合的配置数据管理
US10776353B2 (en) Application programming interface for database access
CN105164673A (zh) 跨数据库和文件***的查询一体化
US20140229429A1 (en) Database management delete efficiency
CN110334545B (zh) 一种基于sql的权限控制方法、装置和电子设备
Flores et al. Performance Evaluation of NoSQL and SQL Queries in Response Time for the E-government
CA2461871A1 (en) An efficient index structure to access hierarchical data in a relational database system
US10671625B2 (en) Processing a query primitive call on a value identifier set
US7925617B2 (en) Efficiency in processing queries directed to static data sets
CN115918110A (zh) 使用键值存储库的空间搜索
CN108804502A (zh) 大数据查询***、方法、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant