CN110765194A - 前后台数据处理方法和*** - Google Patents

前后台数据处理方法和*** Download PDF

Info

Publication number
CN110765194A
CN110765194A CN201911008214.2A CN201911008214A CN110765194A CN 110765194 A CN110765194 A CN 110765194A CN 201911008214 A CN201911008214 A CN 201911008214A CN 110765194 A CN110765194 A CN 110765194A
Authority
CN
China
Prior art keywords
layer module
data
foreground
data processing
mycat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911008214.2A
Other languages
English (en)
Inventor
张向阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Binary Information Technology Co Ltd
Original Assignee
Beijing Binary Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Binary Information Technology Co Ltd filed Critical Beijing Binary Information Technology Co Ltd
Priority to CN201911008214.2A priority Critical patent/CN110765194A/zh
Publication of CN110765194A publication Critical patent/CN110765194A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种前后台数据处理方法及***，涉及数据处理***和方法技术领域。所述***包括如下步骤：对于前台数据和后台数据中的Mysql采用集群方式，使用MyCat作数据库中间件，实现读写分离以及数据分片；对于交易记录的存储，使用MyCat进行数据分片；使用Spring+Shiro的安全框架，实现产品的角色权限。所述方法具有简单、查询速度快等优点。

Description

前后台数据处理方法和***
技术领域
本发明涉及数据处理方法技术领域，尤其涉及一种前后台数据处理方法。
背景技术
采用前后台分离框架，前端使用Vue，后台业务处理使用Spring Boot+Mybatis，数据库使用Mysql，数据处理部分使用Kafka+Apache Storm，数据处理后写入Mysql。目前数据处理没有使用集群方式，数据的处理速度和效率受限于单点的性能；mysql没有使用集群方式，在数据量大(百万级别以上)，查询的速度比较慢；没有采用读写分离，当数据处理密集，数据库读写操作频繁，会导致查询缓慢；数据处理规则无法实现立即生效。
发明内容
本发明所要解决的技术问题是如何提供一种简单、查询速度快的前后台数据处理方法。
为解决上述技术问题，本发明所采取的技术方案是：一种前后台数据处理方法，其特征在于包括如下步骤：
对于前台数据和后台数据中的Mysql采用集群方式，使用MyCat作数据库中间件，实现读写分离以及数据分片；
对于交易记录的存储，使用MyCat进行数据分片；
使用Spring+Shiro的安全框架，实现产品的角色权限。
本发明还公开了一种前后台数据处理***，其特征在于包括：
公共组件模块、数据库访问层模块、服务层模块、接口层模块以及前端展示层模块；
公共组件模块通过直接引用；
数据库访问层模块直接引用；
接口层模块用于定义服务层模块与前端展示层模块之间的交互接口规则；
服务层模块与前端展示层模块之间的数据交互通过远程过程调用。
采用上述技术方案所产生的有益效果在于：1)B/S结构，简单、易用：只要通过浏览器或WAP浏览器或者其它的网络设备就能使用本流水云图***，设置简单，操作简单。2)功能强大、全面整合、快速实施：流水云图***可以通过分给不同人的不同的权限，可以清晰明了的看出当前级别的资金流水交易情况，在不同程度上防止了一些重要客户的流失，起到了防风险的预警功能，本***充分的考虑到其需求的可变性的因素，并对其现有的资源进行全面的整合，迭代式的开发及组件服务化架构保证了***的快速实施。3)经济、实用、高性价比：流水云图***针对各类资源综合管理，充分地考虑降低***对于硬件的要求，提供了较高的实效性和性能价格比。4)功能模块化体系结构、标准兼容性、易于扩展：***采用开放式体系结构，各模块之间采用服务组件接口进行通信，易于扩展，并对第三方开发提供接口。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明实施例中所述方法的主流程图；
图2是本发明实施例中所述***的原理框图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
如图1所示，本发明实施例公开了一种前后台数据处理方法，包括如下步骤：
对于前后台中Mysql采用集群方式，使用MyCat作数据库中间件，实现读写分离以及数据分片，提高数据查询速度。
对于交易记录的存储，使用MyCat进行数据分片，避免因巨量数据所带来查询缓慢的影响。
使用Spring+Shiro的安全框架，实现产品的角色权限，以达到访问控制的效果。目前产品查询时以参数形式进行查询，通过输入参数的不同，用户可以看到他无权看到的数据。使用Spring+Shiro框架，用户特定查询条件就通过Session传递，而非通过参数传递，这样就避免用户查询没有权限看到的数据。
具体的，如图2所示，本发明实施例公开了一种前后台数据处理***，包括：包含common，dao，service，facade，web模块，分别是公共组件，数据库访问层，服务层，接口层和前端展示层。common是通过直接引用依赖的，dao作为service的一个组件，直接引用，facade层是定义service和web模块之间的交互接口规则，service和web之间的数据交互式通过Alibaba Dubbo，即一种rpc(远程过程调用的方式)。
流水云图***扩展性：在流水云图开发的***平台中，每个功能模块，如交互视图、大屏视图、配置界面等功能模块，都是一个独立而且可分布式发布的组件，流水云图不仅支持内置组件，而且提供接口以便第三方进行二次开发，所有，流水云图具有非常好的灵活性和可扩展性，便于用户进行二次的开发和平滑的升级。
流水云图***稳定性：在流水云图中要处理海量的信息数据，***用户的每种操作都可能涉及到几种数据之间的关联处理，无形中给***造成了巨大的压力，影响到***的稳定性和反应能力。在本方案中，采用SOA架构体系，分布式部署，无论是***接口服务器、业务逻辑处理服务器还是数据库服务器，都可以方便地进行分布处理和负载均衡的处理，从而保证***的稳定。
流水云图分布式部署：流水云图***支持采用分布式部署，用户可以合理地将不同压力的组件模块部署到处理器处理能力不同的服务器上，就是说用户可以有选择地将业务逻辑比较复杂、影响***稳定的压力较大的业务模块部署到较好的服务器上，而业务逻辑相对简单、对***压力较小的业务模块部署在一般的服务器上，且各组件之间并不知道彼此的物理位置。
基于流水云图***用户的需求和目标定位的特点，开发***时贯彻以下几个原则：
先进性：采用目前最先进且成熟的计算机软硬件技术，研发出先进、开放的体系结构，使建立的***能够适应今后IT技术的发展变化。
可扩展性：***采用SOA架构体系，分布式部署，无论是在面对二次开发，还是新功能的扩展，都有强大的灵活性。
安全性：***建立统一的用户认证及权限的控制，并对关键数据进行加密，有效地保证***数据的安全。
兼容性：兼容几乎全部的浏览器，降低了***整体的成本和维护的成本。
开放性：通过使用公告的协议和标准(TCP/IP、HTTP、WAP Push、XML、EJB、JPA等)，使***具有良好的开放性。
实用性：***是按照用户的实际需求进行开发，保证***最大限度地满足实际工作要求。
易用性：***采用了简单、友好的页面设计，确保流水云图***具有不同的计算机应用水平得所有员工均能够对本***快速地掌握并进行方便的使用。
稳定性：***使用分布式部署，有效地平衡了各服务器的压力，可以保证***的稳定性。
可维护性：本***操作灵活方便，用户界面友好，管理方便，采用的技术是目前统用的SOA架构体系，可分布式部署，便于维护。
1)B/S结构，简单、易用：只要通过浏览器或WAP浏览器或者其它的网络设备就能使用本流水云图***，设置简单，操作简单。2)功能强大、全面整合、快速实施：流水云图***可以通过分给不同人的不同的权限，可以清晰明了的看出当前级别的资金流水交易情况，在不同程度上防止了一些重要客户的流失，起到了防风险的预警功能，本***充分的考虑到其需求的可变性的因素，并对其现有的资源进行全面的整合，迭代式的开发及组件服务化架构保证了***的快速实施。3)经济、实用、高性价比：流水云图***针对各类资源综合管理，充分地考虑降低***对于硬件的要求，提供了较高的实效性和性能价格比。4)功能模块化体系结构、标准兼容性、易于扩展：***采用开放式体系结构，各模块之间采用服务组件接口进行通信，易于扩展，并对第三方开发提供接口。

Claims (2)

1.一种前后台数据处理方法，其特征在于包括如下步骤：
对于前台数据和后台数据中的Mysql采用集群方式，使用MyCat作数据库中间件，实现读写分离以及数据分片；
对于交易记录的存储，使用MyCat进行数据分片；
使用Spring+Shiro的安全框架，实现产品的角色权限。
2.一种前后台数据处理***，其特征在于包括：
公共组件模块、数据库访问层模块、服务层模块、接口层模块以及前端展示层模块；
公共组件模块通过直接引用；
数据库访问层模块直接引用；
接口层模块用于定义服务层模块与前端展示层模块之间的交互接口规则；
服务层模块与前端展示层模块之间的数据交互通过远程过程调用。
CN201911008214.2A 2019-10-22 2019-10-22 前后台数据处理方法和*** Pending CN110765194A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911008214.2A CN110765194A (zh) 2019-10-22 2019-10-22 前后台数据处理方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911008214.2A CN110765194A (zh) 2019-10-22 2019-10-22 前后台数据处理方法和***

Publications (1)

Publication Number Publication Date
CN110765194A true CN110765194A (zh) 2020-02-07

Family

ID=69332996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911008214.2A Pending CN110765194A (zh) 2019-10-22 2019-10-22 前后台数据处理方法和***

Country Status (1)

Country Link
CN (1) CN110765194A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754751A (zh) * 2020-07-07 2020-10-09 江苏电子信息职业学院 一种用于应急物流的定位***
CN112966236A (zh) * 2021-03-03 2021-06-15 广东粤安科技股份有限公司 智慧消防管理***及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107295077A (zh) * 2017-06-16 2017-10-24 深圳易嘉恩科技有限公司 基于微服务架构的分布式云平台***
CN107707671A (zh) * 2017-10-30 2018-02-16 郑州云海信息技术有限公司 一种MyCat集群统一配置的方法
CN108306955A (zh) * 2018-01-24 2018-07-20 北京万得嘉瑞汽车技术有限公司 一种车载终端大规模互联集群方法
CN108596582A (zh) * 2018-04-17 2018-09-28 四川长虹电器股份有限公司 一种基于dubbo的聚合支付平台解决方案
CN110177017A (zh) * 2019-06-04 2019-08-27 沃德(天津)智能技术有限公司 一种减速机智能故障诊断***及其诊断方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107295077A (zh) * 2017-06-16 2017-10-24 深圳易嘉恩科技有限公司 基于微服务架构的分布式云平台***
CN107707671A (zh) * 2017-10-30 2018-02-16 郑州云海信息技术有限公司 一种MyCat集群统一配置的方法
CN108306955A (zh) * 2018-01-24 2018-07-20 北京万得嘉瑞汽车技术有限公司 一种车载终端大规模互联集群方法
CN108596582A (zh) * 2018-04-17 2018-09-28 四川长虹电器股份有限公司 一种基于dubbo的聚合支付平台解决方案
CN110177017A (zh) * 2019-06-04 2019-08-27 沃德(天津)智能技术有限公司 一种减速机智能故障诊断***及其诊断方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CRJ_9527: ""mycat+mysql集群:实现读写分离，分库分表"", 《CSDN博客》 *
KK_A108: ""使用mycat搭建mysql集群并实现分库分表，读写分离"", 《简书》 *
皮堡斯: ""1、Shiro 安全框架与Spring 整合详解 "", 《博客园》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754751A (zh) * 2020-07-07 2020-10-09 江苏电子信息职业学院 一种用于应急物流的定位***
CN112966236A (zh) * 2021-03-03 2021-06-15 广东粤安科技股份有限公司 智慧消防管理***及方法

Similar Documents

Publication Publication Date Title
US9037555B2 (en) Asynchronous collection and correlation of trace and communications event data
CN101331461B (zh) 虚拟数据中心联合体中的远程性能监视器
US10313441B2 (en) Data processing system with machine learning engine to provide enterprise monitoring functions
CN104320482A (zh) 一种银行柜员前端***
US20160300157A1 (en) LambdaLib: In-Memory View Management and Query Processing Library for Realizing Portable, Real-Time Big Data Applications
CN106951555A (zh) 基于结构化数据的SaaS模式内容管理***
DE102021122545A1 (de) Redundante flüssigkeitsverteilungseinheiten für rechenzentrum-racks
CN110765194A (zh) 前后台数据处理方法和***
CN103701783A (zh) 一种预处理单元、由其构成的数据处理***以及处理方法
CN101478445B (zh) 用于信息***监控的通用监控模型技术
CN110502583A (zh) 分布式数据同步方法、装置、设备及可读存储介质
WO2021244639A1 (zh) 利用机器学习模型进行线上预测的辅助实现方法及装置
CN111610979A (zh) 一种经过持久化和耦合度优化的api网关及其方法
CN111985906A (zh) 一种远程办公***、方法、装置及存储介质
DE112021005444T5 (de) Intelligente strom- und kühlmittelverteilereinheit für kühlsysteme in rechenzentren
CN108259569B (zh) 一种基于ipsan共享存储的无代理连续数据保护方法及***
CN109656781A (zh) 一种日志管理方法、***、介质和电子设备
CN111935663A (zh) 传感器数据流的处理方法、装置、介质及电子设备
CN104158833A (zh) 一种智能桌面***的构建方法
CN114285659A (zh) 一种反向代理方法、装置、设备及存储介质
CN110705712A (zh) 面向第三方社会服务的人工智能基础资源与技术开放平台
CN111708534A (zh) 一种支持语音识别及搜索和图像识别的***
CN108768742B (zh) 网络构建方法及装置、电子设备、存储介质
CN115811481A (zh) 一种交互服务测试方法、装置、计算机设备及存储介质
CN108062313A (zh) 用于留存用户分析的方法、电子设备和服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200207