CN112433862A - 一种数据聚合实现***及设备 - Google Patents
一种数据聚合实现***及设备 Download PDFInfo
- Publication number
- CN112433862A CN112433862A CN202011270367.7A CN202011270367A CN112433862A CN 112433862 A CN112433862 A CN 112433862A CN 202011270367 A CN202011270367 A CN 202011270367A CN 112433862 A CN112433862 A CN 112433862A
- Authority
- CN
- China
- Prior art keywords
- data
- interface
- aggregator
- splicing
- send
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000002776 aggregation Effects 0.000 title claims abstract description 21
- 238000004220 aggregation Methods 0.000 title claims abstract description 21
- 230000004044 response Effects 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 abstract description 6
- 238000006243 chemical reaction Methods 0.000 abstract description 4
- 238000004806 packaging method and process Methods 0.000 abstract 1
- 238000011161 development Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 2
- 235000014510 cooky Nutrition 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/547—Remote procedure calls [RPC]; Web services
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种数据聚合实现***及设备，***包括数据聚合器，数据聚合器包括：接口请求工具，用于通过并行请求和/或串行请求向多个后端接口请求对应的多组所需数据；数据处理器，用于从接口请求工具接收多组所需数据并对其去除冗余字段且进行拼接，得到拼接数据；以及数据输出模块，用于将拼接数据及其对应的状态码以及每个后端接口的接口信息打包并以固定格式发送到前端并响应于接收到接口请求工具和/或数据处理器出现异常后发送的异常编码而将其发送到前端。本发明可以使前端开发人员根据不同终端的要求灵活地对多个后端接口进行数据转换和聚合，解决了后端需要根据前端需求进行接口适配的问题，实现了前端和后端业务数据的解耦。
Description
技术领域
本发明涉及软件开发技术领域，尤其涉及一种数据聚合实现***及设备。
背景技术
在前后端分离的时代，“一云多端”已成为发展趋势，前端不仅仅限于PC端页面，手机端，小程序端等终端也越来越重要。但是不同的终端对于数据和接口又分别有不同的要求：如移动端为了节省网络开销，加快页面加载速度，应该尽可能减少接口请求数量，剔除冗余字段；PC端浏览器的性能较好，页面最丰富，接口需要的字段通常比较多。而在后端微服务大行其道的今天，如果针对不同的终端进行接口适配，会造成后端业务和前端UI严重耦合，降低开发效率。
目前常用的一种方案是使用后端网关进行数据的转换和聚合，不需要在具体的业务接口中进行不同端的适配，这种方案一定程度上解决了上述问题，但是在后端开发过程中还是需要关注前端UI，并没有实现前端与后端完全解耦，降低了开发效率。
发明内容
有鉴于此，本发明的目的在于提出一种数据聚合实现***、存储介质及设备，用以解决现有技术中后端开发人员需要对后端接口进行多次适配的问题。
基于上述目的，本发明提供了一种数据聚合实现***，包括数据聚合器，数据聚合器包括：
接口请求工具，配置用于通过并行请求和/或串行请求向多个后端接口请求对应的多组所需数据；
数据处理器，配置用于从接口请求工具接收多组所需数据并对其去除冗余字段且进行拼接，得到拼接数据；以及
数据输出模块，配置用于将拼接数据及其对应的状态码以及每个后端接口的接口信息打包并以固定格式发送到前端，以及响应于接收到接口请求工具和/或数据处理器出现异常后发送的异常编码，而将其发送到前端。
在一些实施例中，并行请求配置用于相互独立的所需数据；串行请求配置用于相互依赖的所需数据。
在一些实施例中，数据聚合器还包括映射单元，映射单元配置用于存储所有的后端接口及其映射的输入字段，以及接受数据聚合器根据输入字段遍历所有的后端接口并找到多个后端接口。
在一些实施例中，***还包括进程管理器，进程管理器配置用于开启多个数据聚合器。
在一些实施例中，进程管理器还配置用于响应于数据聚合器的工作进程异常对其进行重启操作。
在一些实施例中，***还包括日志管理模块，日志管理模块配置用于记录数据聚合器和进程管理器的工作日志。
在一些实施例中，***还包括告警模块，告警模块配置用于根据日志管理模块报错的不同级别的日志发送其相应级别的告警信息。
在一些实施例中，告警模块还配置用于根据日志管理模块报错的不同类型的日志发送其相应类型的告警信息。
在一些实施例中，固定格式为JSON格式。
本发明的另一方面，还提供了一种计算机设备，包括如上述***中的任意***。
本发明至少具有以下有益技术效果：
本发明通过数据聚合器，可以使前端开发人员根据不同终端的数据要求灵活地对多个后端接口进行数据转换和聚合，解决了后端需要根据前端UI需求进行接口适配的问题，实现了前端UI和后端业务数据的完全解耦，极大地提高开发效率，提升了产品的迭代速度；且前端可以对后端接口请求进行优化和合并，提高请求效率，缩短请求时间，提升前端性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为根据本发明提供的数据聚合实现***的实施例的示意图；
图2为根据本发明提供的实现数据聚合实现***的计算机设备的一个实施例的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备固有的其他步骤或单元。
基于上述目的，本发明实施例的第一个方面，提出了一种数据聚合实现***的实施例。图1示出的是本发明提供的数据聚合实现***的实施例的示意图。如图1所示，本发明的数据聚合实现***包括数据聚合器20，数据聚合器20包括：接口请求工具201，配置用于通过并行请求和/或串行请求向多个后端接口10请求对应的多组所需数据；数据处理器202，配置用于从接口请求工具接收多组所需数据并对其去除冗余字段且进行拼接，得到拼接数据；以及数据输出模块203，配置用于将拼接数据及其对应的状态码以及每个后端接口10的接口信息打包并以JSON格式发送到前端，以及响应于接收到接口请求工具201和/或数据处理器202出现异常后发送的异常编码，而将其发送到前端30。
本发明实施例通过数据聚合器20，可以使前端开发人员根据不同终端的数据要求灵活地对多个后端接口10进行数据转换和聚合，解决了后端需要根据前端UI需求进行接口适配的问题，实现了前端UI和后端业务数据的完全解耦，极大地提高开发效率，提升了产品的迭代速度；且前端可以对后端接口10请求进行优化和合并，提高请求效率，缩短请求时间，提升前端性能。优选地，本实施例的数据聚合实现***采用Node.js实现，Node.js是一个基于Chrome V8引擎的JavaScript运行环境；其中，JavaScript是一种具有函数优先的轻量级、及时编译型的编程语言；Chrome V8是一种高性能的JavaScript解释器；使得数据聚合实现***具有单线程、异步输入输出、支持高并发的特点。
在一些实施例中，并行请求配置用于相互独立的所需数据；串行请求配置用于相互依赖的所需数据。本实施例中，接口请求工具201具体为API接口(应用程序接口)的请求工具。API接口请求工具可以使用数据请求模块(例如axios模块)请求后端的所需数据，通过相互独立的所需数据使用并行请求，且相互依赖的所需数据使用串行请求，可以提高请求效率，对前端请求参数针对不同的后端接口10进行整理，并转发cookie、token等header头信息，如果后端接口10出错，会进行重试操作；其中，cookie为一种储存在用户本地终端上的数据，和后端交互时会自动携带；token表示令牌，用于计算机***用户认证。
在一些实施例中，数据聚合器20还包括映射单元，映射单元配置用于存储所有的后端接口10及其映射的输入字段，以及接受数据聚合器20根据输入字段遍历所有的后端接口10并找到多个后端接口10。
在一些实施例中，***还包括进程管理器，进程管理器配置用于开启多个数据聚合器20。通过开启多个数据聚合器20实例，使用集群模式，通过负载均衡，使请求均衡的负载到每一个实例上，可以保证数据聚合器20的高并发和高可用，单实例出错或大量请求的情况下，保证数据聚合器20正常工作。通过对不同工作进程设置权重，实现集群模式下多进程的负载均衡，以提高***处理高并发能力。
在一些实施例中，进程管理器还配置用于响应于数据聚合器20的工作进程异常对其进行重启操作。通过此操作，可以对工作进程进行守护，保证其可用性。
在一些实施例中，***还包括日志管理模块，日志管理模块配置用于记录数据聚合器20和进程管理器的工作日志。日志管理模块可记录输入字段、请求的后端接口、所需数据、冗余字段以及拼接数据等，通过日志来查找数据的源头和处理过程，更容易找出错误。
在一些实施例中，***还包括告警模块，告警模块配置用于根据日志管理模块报错的不同级别的日志发送其相应级别的告警信息。本实施例中，告警信息可以发送到开发人员邮箱，提醒开发人员及时处理。
在一些实施例中，告警模块还配置用于根据日志管理模块报错的不同类型的日志发送其相应类型的告警信息。本实施例中，通过对数据聚合器的相关日志进行报错，可以方便数据溯源和错误处理；对进程管理器的相关日志进行报错后，记录错误日志，并立即发送告警信息的邮件。
在一些实施例中，固定格式为JSON格式。JSON(JavaScript Object Notation)是一种轻量级的数据交换格式，它基于ECMAScript(欧洲计算机协会制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据；易于人阅读和编写，也易于机器解析和生成。
本发明实施例的第二个方面，还提供了一种计算机设备，包括如上述***中的任意一实施例的***。
如图2所示，为根据本发明提供的实现数据聚合实现***的计算机设备的一个实施例的硬件结构示意图。以如图2所示的计算机设备为例，在该计算机设备中包括一个处理器301以及一个存储器302，并还可以包括：输入装置303和输出装置304。处理器301、存储器302、输入装置303和输出装置304可以通过总线或者其他方式连接，图2中以通过总线连接为例。输入装置303可接收输入的数字或字符信息，以及产生与数据聚合实现***的用户设置以及功能控制有关的键信号输入。输出装置304可包括显示屏等显示设备。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，以实现上述实施例的数据聚合实现***。
最后需要说明的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个***的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里功能的下列部件来实现或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。
Claims (10)
1.一种数据聚合实现***，其特征在于，包括数据聚合器，所述数据聚合器包括：
接口请求工具，配置用于通过并行请求和/或串行请求向多个后端接口请求对应的多组所需数据；
数据处理器，配置用于从接口请求工具接收所述多组所需数据并对其去除冗余字段且进行拼接，得到拼接数据；以及
数据输出模块，配置用于将所述拼接数据及其对应的状态码以及每个所述后端接口的接口信息打包并以固定格式发送到前端，以及响应于接收到所述接口请求工具和/或数据处理器出现异常后发送的异常编码，而将其发送到前端。
2.根据权利要求1所述的***，其特征在于，所述并行请求配置用于相互独立的所需数据；所述串行请求配置用于相互依赖的所需数据。
3.根据权利要求1所述的***，其特征在于，所述数据聚合器还包括映射单元，所述映射单元配置用于存储所有的后端接口及其映射的输入字段，以及接受所述数据聚合器根据输入字段遍历所有的后端接口并找到所述多个后端接口。
4.根据权利要求1所述的***，其特征在于，所述***还包括进程管理器，所述进程管理器配置用于开启多个所述数据聚合器。
5.根据权利要求4所述的***，其特征在于，所述进程管理器还配置用于响应于所述数据聚合器的工作进程异常对其进行重启操作。
6.根据权利要求4所述的***，其特征在于，所述***还包括日志管理模块，所述日志管理模块配置用于记录所述数据聚合器和所述进程管理器的工作日志。
7.根据权利要求6所述的***，其特征在于，所述***还包括告警模块，所述告警模块配置用于根据所述日志管理模块报错的不同级别的日志发送其相应级别的告警信息。
8.根据权利要求7所述的***，其特征在于，所述告警模块还配置用于根据所述日志管理模块报错的不同类型的日志发送其相应类型的告警信息。
9.根据权利要求1所述的***，其特征在于，所述固定格式为JSON格式。
10.一种计算机设备，包括如权利要求1-9任意一项所述的***。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011270367.7A CN112433862A (zh) | 2020-11-13 | 2020-11-13 | 一种数据聚合实现***及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011270367.7A CN112433862A (zh) | 2020-11-13 | 2020-11-13 | 一种数据聚合实现***及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112433862A true CN112433862A (zh) | 2021-03-02 |
Family
ID=74701276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011270367.7A Withdrawn CN112433862A (zh) | 2020-11-13 | 2020-11-13 | 一种数据聚合实现***及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112433862A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114338282A (zh) * | 2021-11-16 | 2022-04-12 | 飞诺门阵(北京)科技有限公司 | 安全网关及其数据处理方法 |
-
2020
- 2020-11-13 CN CN202011270367.7A patent/CN112433862A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114338282A (zh) * | 2021-11-16 | 2022-04-12 | 飞诺门阵(北京)科技有限公司 | 安全网关及其数据处理方法 |
| CN114338282B (zh) * | 2021-11-16 | 2024-01-26 | 飞诺门阵(北京)科技有限公司 | 安全网关及其数据处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11005969B2 (en) | Problem solving in a message queuing system in a computer network | |
| CN107729139B (zh) | 一种并发获取资源的方法和装置 | |
| EP3933591A1 (en) | Stream computing method and apparatus based on dag interaction | |
| EP3082295B1 (en) | Fault management apparatus, device and method for network function virtualization (nfv) | |
| CN111581948B (zh) | 文档解析方法、装置、设备及存储介质 | |
| US20080010497A1 (en) | Selecting a Logging Method via Metadata | |
| US9497095B2 (en) | Dynamic control over tracing of messages received by a message broker | |
| US9928125B1 (en) | Message queueing in middleware by a message broker | |
| US11593188B2 (en) | Method and apparatus for providing asynchronicity to microservice application programming interfaces | |
| KR102681251B1 (ko) | 입/출력 저장 명령의 처리 | |
| WO2024148833A1 (zh) | 一种容器多网卡网络配置方法、装置、设备及存储介质 | |
| US11449407B2 (en) | System and method for monitoring computing platform parameters and dynamically generating and deploying monitoring packages | |
| CN107977260B (zh) | 任务提交方法及装置 | |
| CN112433862A (zh) | 一种数据聚合实现***及设备 | |
| US11645109B2 (en) | Managing failures in edge computing environments | |
| US11210156B1 (en) | Intelligent distributed tracing | |
| CN118093219A (zh) | 一种消息处理方法、装置、设备及存储介质 | |
| CN109144676A (zh) | 一种应用程序的自启动检测方法、装置及服务器 | |
| US11372633B2 (en) | Method, device and terminal apparatus for code execution and computer readable storage medium | |
| CN110362294A (zh) | 开发任务执行方法、装置、电子设备及存储介质 | |
| CN111698109A (zh) | 监控日志的方法和装置 | |
| CN111813621A (zh) | 基于Flume数据中台的数据处理方法、装置、设备及介质 | |
| US10545802B2 (en) | Event loop optimization through event ordering | |
| CN116992065B (zh) | 一种图数据库数据导入方法、***、电子设备、介质 | |
| US12039378B2 (en) | In-band modification of event notification preferences for server events |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210302 |
|
| WW01 | Invention patent application withdrawn after publication |