CN114943454A - 一种基于矿业大数据的SaaS云数据服务平台 - Google Patents
一种基于矿业大数据的SaaS云数据服务平台 Download PDFInfo
- Publication number
- CN114943454A CN114943454A CN202210597348.8A CN202210597348A CN114943454A CN 114943454 A CN114943454 A CN 114943454A CN 202210597348 A CN202210597348 A CN 202210597348A CN 114943454 A CN114943454 A CN 114943454A
- Authority
- CN
- China
- Prior art keywords
- data
- mining
- service
- information
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005065 mining Methods 0.000 title claims abstract description 147
- 238000005516 engineering process Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000003860 storage Methods 0.000 claims abstract description 9
- 238000007418 data mining Methods 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 238000007726 management method Methods 0.000 claims description 66
- 238000000034 method Methods 0.000 claims description 17
- 230000010354 integration Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000012423 maintenance Methods 0.000 claims description 8
- 238000013461 design Methods 0.000 claims description 6
- 238000003032 molecular docking Methods 0.000 claims description 6
- 238000013475 authorization Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 229910052500 inorganic mineral Inorganic materials 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 239000011707 mineral Substances 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000011835 investigation Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 10
- 230000008901 benefit Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013523 data management Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Game Theory and Decision Science (AREA)
- Animal Husbandry (AREA)
- Operations Research (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Agronomy & Crop Science (AREA)
- Quality & Reliability (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于矿业大数据的SaaS云数据服务平台,涉及数据处理的技术领域,包括:大数据中心模块,用于获取终端设备采集到的矿业信息数据;数据处理分析模块,用于利用RPA技术对矿业信息数据进行处理,并将处理后的矿业信息数据发送给大数据中心模块,以使大数据中心模块对处理后的大数据矿业信息数据进行分布式存储;服务应用模块,用于对处理后的矿业信息数据进行容器资源初始化,得到初始化数据,并将初始化数据读入后台管理平台,以供后台管理平台读取和外界监督;后台业务引擎模块,用于利用BPM引擎和预设映射规则为各类业务提供支撑,解决了现有技术中矿业信息数据的关联性和时效性较差的技术问题。
Description
技术领域
本发明涉及数据处理的技术领域,尤其是涉及一种基于矿业大数据的SaaS云数据服务平台。
背景技术
矿业作业中需要大量不同专业、不同类型的数据来指导矿业工作,虽然目前主要采用人工手动拷贝等方式实现数据的部分共享,但由于缺乏统一的数据管理平台,各专业部门之间一直没有实现基于全球矿业信息数据的统一整合和管理,与矿业生产、矿业交易相关的图形数据、报表数据比较分散、独立,很难做到实时、全面、及时、准确、一致的获取矿业信息,在矿业项目信息集中维护和管理、数据动态一致性方面存在很大困难。由于矿业作业是一个实时动态变化的过程,伴随着矿业的开采、掘进工作时刻都在产生大量的综合自动化等数据,相关机构和企业人员没法及时地获取相关矿业信息的变化。
由于矿业是一个典型的多部门、多专业管理的行业,如何将原有分散、孤立的业务***和数据采集源建立统的管理平台是建立新型信息化矿业云服务平台需要首先解决的问题。现阶段矿业在这方面存在的主要问题有:①建设的各类业务管理监测综合自动化等***相互孤立存在,缺乏数据管理和集成共享的标准规范无法综合管理和应用;②各类监测***和业务***产生的数据,从数据本身来看是具有天然的地理空间参考和共同属性关联的但由于缺乏统筹规划和云服务平台支撑,数据仍是分散和弱关联方式存在,大大降低了数据本身的利用价值;③矿业各业务部门间的数据共享和交换多数仍是人工方式,时效性较低,而且准确性也受人为因素影响较大,是安全生产管理管理的薄弱环节。
针对上述问题,还未提出有效的解决方案。
发明内容
有鉴于此,本发明的目的在于提供一种基于矿业大数据的SaaS云数据服务平台,以缓解了现有技术中矿业信息数据的关联性和时效性较差的技术问题。
第一方面,本发明实施例提供了一种基于矿业大数据的SaaS云数据服务平台,包括:大数据中心模块,数据处理分析模块,服务应用模块和后台业务引擎模块,其中,所述大数据中心模块,用于获取终端设备采集到的矿业信息数据;所述数据处理分析模块,用于利用RPA技术对所述矿业信息数据进行处理,并将处理后的矿业信息数据发送给所述大数据中心模块,以使所述大数据中心模块对处理后的大数据矿业信息数据进行分布式存储;所述服务应用模块,用于对所述处理后的矿业信息数据进行容器资源初始化,得到初始化数据,并将所述初始化数据读入后台管理平台,以供所述后台管理平台读取和外界监督;所述后台业务引擎模块,用于利用BPM引擎和预设映射规则为各类业务提供支撑。
进一步地,所述矿业信息数据包括:行情数据、新闻资讯、战略政策、资源信息、项目信息、投资信息、交易信息、企业信息、科技信息、人才信息、矿业社交信息、资产评估数据、征信服务数据、数字资产托管数据、数据交易信息、投融资评估数据、金融产品设计与服务数据。
进一步地,所述数据处理分析模块利用RPA技术对所述矿业信息数据进行处理包括如下步骤:对所述矿业信息数据进行分类,得到分类数据,并对所述分类数据进行备份;对所述分类数据进行校正,并确定出校正后的分类数据对应的模板;将所述校正后的分类数据填写至对应的模板中。
进一步地,所述基于矿业大数据的SaaS云数据服务平台,还包括:安全保障服务模块,用于为所述基于矿业大数据的SaaS云数据服务平台提供安全保障服务;外部***对接模块,用于为所述基于矿业大数据的SaaS云数据服务平台和外部***提供对接服务。
进一步地,所述外部***包括:网络运维管理***、网络安全管理***、安全评估管理***和第三方服务商***。
进一步地,所述基于矿业大数据的SaaS云数据服务平台的应用架构包括:基础技术与支撑层,产品应用层和接入层,其中,所述基础技术与支撑层采用PostgreSQL数据库,为战略性矿产的地图服务和属性处理的业务接口,并为所述产品应用层提供各类模块的管理接口;所述产品应用层,用于为用户提供目标服务,其中,所述目标服务包括:在线客服、咨询服务、矿权信息管理服务和矿业信息管理;所述接入层,用于为所述用户提供基于矿业大数据的SaaS云数据服务平台的用户访问入口。
进一步地,所述基础技术与支撑层,还用于解耦合***业务。
进一步地,所述基于矿业大数据的SaaS云数据服务平台的应用架构还包括:Spring Security安全框架,其中,所述Spring Security安全框架,用于提供目标功能,其中,所述目标功能包括:认证、加密、授权、会话管理、Web集成和缓存。
进一步地,所述基于矿业大数据的SaaS云数据服务平台的数据架构采用数据分层模型,其中,平台级矿业信息数据采用共享数据库和共享数据表相结合的方式实现数据隔离,并利用矿业ID区分不同矿业项目类型。
进一步地,所述基于矿业大数据的SaaS云数据服务平台的技术架构包括:前端和后端,其中,所述前端,用于为提供可视化页面和用户交互功能;所述后端,用于利用SpringCloud框架提供微服务。
在本发明实施例中,提供了一种基于矿业大数据的SaaS云数据服务平台,该平台通过大数据中心模块获取终端设备采集到的矿业信息数据;所述数据处理分析模块用于利用RPA技术对所述矿业信息数据进行处理,并将处理后的矿业信息数据发送给所述大数据中心模块,以使所述大数据中心模块对处理后的大数据矿业信息数据进行分布式存储;所述服务应用模块,于对所述处理后的矿业信息数据进行容器资源初始化,得到初始化数据,并将所述初始化数据读入后台管理平台,以供所述后台管理平台读取和外界监督;所述后台业务引擎模块用于利用BPM引擎和预设映射规则为各类业务提供支撑,达到了对矿业信息数据进行整合和实时获取的目的,进而解决了现有技术中矿业信息数据的关联性和时效性较差的技术问题,从而实现了提高矿业信息数据的关联性和时效性的技术效果。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于矿业大数据的SaaS云数据服务平台的示意图;
图2为本发明实施例提供的另一种基于矿业大数据的SaaS云数据服务平台的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一:
根据本发明实施例,提供了一种基于矿业大数据的SaaS云数据服务平台的实施例,图1是根据本发明实施例的一种基于矿业大数据的SaaS云数据服务平台的示意图,如图1所示,该基于矿业大数据的SaaS云数据服务平台包括:大数据中心模块10,数据处理分析模块20,服务应用模块30和后台业务引擎模块40。
所述大数据中心模块10,用于获取终端设备采集到的矿业信息数据;
需要说明的是,上述矿业信息数据包括:行情数据、新闻资讯、战略政策、资源信息、项目信息、投资信息、交易信息、企业信息、科技信息、人才信息、矿业社交信息、资产评估数据、征信服务数据、数字资产托管数据、数据交易信息、投融资评估数据、金融产品设计与服务数据。
所述数据处理分析模块20,用于利用RPA技术对所述矿业信息数据进行处理,并将处理后的矿业信息数据发送给所述大数据中心模块,以使所述大数据中心模块对处理后的大数据矿业信息数据进行分布式存储;
在本发明实施例中,面向不同规模、行业、盈利状况的矿业公司、机构提供不同的业务流程模板,结合人工智能、RPA等技术降低矿业项目获取的操作复杂度,为其提供简单易用的数据信息平台。RPA是多种技术的组合应用。RPA其实是一类自动化技术的统称,通常包括键盘和鼠标的模拟操作技术、屏幕信息获取和定位的抓屏技术、流程控制处理的工作流引擎技术,以及自动化任务调动控制和管理技术等。
RPA技术的核心能力是模拟和替代人工劳动,RPA这种存活在计算机里的软件替代的是办公室里员工的部分脑力劳动,以及诸如敲击键盘、点击鼠标、切换页面等***操作动作。随着全社会进入信息化时代,几乎所有企业中的员工以及人们的日常生活都需要依赖计算机,一些大型企业更是同时拥有多套应用***,员工在工作中经常需要登录不同的***进行业务处理,而***处理过程中必然存在大量的数据录入、数据核对以及数据报告等工作,RPA通过模拟人工操作的方式很好地解决了这类问题。
RPA可无缝地实现跨***连接。员工通常在工作中需要使用多个业务***、桌面软件,以及不定时访问内外部网站来获取信息,RPA目前能够无缝地集成多种业务操作,变相起到了不同应用***之间集成的作用。而这样的集成方式并不需要修改后端程序的任何一行代码或数据库字段,也不需要打开后端程序的接口或服务,因为RPA只是在模拟人的行为,访问操作的是那些应用***的页面。这种集成方式也被称作“At-the-glassIntegration”,即“表层集成”。
由于RPA不需要工作人员了解复杂的后端程序逻辑、数据库结构、软件接口和服务调用方式,而是主要利用图形化可拖拽的工具进行编辑,采用脚本语言编写程序并且不需要编译和部署,甚至可以用录制的方式自动生成,才使技术人员更容易上手,甚至于一些业务人员在经过培训后也可以直接使用。
所述服务应用模块30,用于对所述处理后的矿业信息数据进行容器资源初始化,得到初始化数据,并将所述初始化数据读入后台管理平台,以供所述后台管理平台读取和外界监督;
所述后台业务引擎模块40,用于利用BPM引擎和预设映射规则为各类业务提供支撑。
在本发明实施例中,BPM引擎由流程引擎、规则引擎、消息引擎、分析引擎和报表引擎构成。后台业务引擎模块利用BPM引擎的智能矿业业务流程设计;以矿业数据管理流程为切入点,梳理各项业务,打通矿业流相关数据,利用BPM引擎将各个环节联系起来,实现端到端对接,打破部门之间的“数据孤岛”,同时,基于BPM的集成能力,进一步整合OA(办公自动化)、CRM(客户关系管理)以及ERP(企业资源管理)等***,有助于提高工作效率。
在本发明实施例中,提供了一种基于矿业大数据的SaaS云数据服务平台,该平台通过大数据中心模块获取终端设备采集到的矿业信息数据;所述数据处理分析模块用于利用RPA技术对所述矿业信息数据进行处理,并将处理后的矿业信息数据发送给所述大数据中心模块,以使所述大数据中心模块对处理后的大数据矿业信息数据进行分布式存储;所述服务应用模块,于对所述处理后的矿业信息数据进行容器资源初始化,得到初始化数据,并将所述初始化数据读入后台管理平台,以供所述后台管理平台读取和外界监督;所述后台业务引擎模块用于利用BPM引擎和预设映射规则为各类业务提供支撑,达到了对矿业信息数据进行整合和实时获取的目的,进而解决了现有技术中矿业信息数据的关联性和时效性较差的技术问题,从而实现了提高矿业信息数据的关联性和时效性的技术效果。
在本发明实施例中,数据处理分析模块利用RPA技术对所述矿业信息数据进行处理包括如下步骤:
对所述矿业信息数据进行分类,得到分类数据,并对所述分类数据进行备份;
对所述分类数据进行校正,并确定出校正后的分类数据对应的模板;
将所述校正后的分类数据填写至对应的模板中。
在本发明实施例中,数据处理分析模块在获取到矿业信息数据之后,矿业信息数据的内容进行整合分类,分类过程中需要根据数据的需要做成的报表矿业信息数据进行分类,如矿业项目、矿床类型、矿储量等内容进行分类。
然后,对经过分类的矿业信息数据进行矫正,检测完成之后,根据当前矿业信息数据的内容,准备好所需要的模板以及框架,然后通过数据智能填报功能将矿业信息数据填入到对应模板中,进行数据预处理筛选。
最后,对模板进行保存,保存过程中,会根据模板的大小以及文档的不同进行自定义的命名,命名的内容如,矿业发展信息表格、矿业生产信息表格等,最终数据保存模块将数据。检测完成之后,将数据传输给分类模块。在分类的过程中,会将分类好的数据,传输到备份模块中,由备份模块进行备份,备份完成之后传输到内部私有云中,由内部私有云进行统一的存储,防止后续文件丢失之后查找不到的情况,便于了后续对历史文件的查询以及观看。
在本发明实施例中,如图2所示,所述基于矿业大数据的SaaS云数据服务平台,还包括:
安全保障服务模块50,用于为所述基于矿业大数据的SaaS云数据服务平台提供安全保障服务;
外部***对接模块60,用于为所述基于矿业大数据的SaaS云数据服务平台和外部***提供对接服务。
需要说明的是,上述的外部***包括:网络运维管理***、网络安全管理***、安全评估管理***和第三方服务商***。
在本发明实施例中,基于矿业大数据的SaaS云数据服务平台能够对接网络运维管理***、网络安全管理***和安全评估管理***,实现平台平稳运行;同时,与第三方服务商***进行对接,达到享各方资源的目标。
在本发明实施例中,所述基于矿业大数据的SaaS云数据服务平台的应用架构包括:基础技术与支撑层,产品应用层和接入层。
所述基础技术与支撑层采用PostgreSQL数据库,为战略性矿产的地图服务和属性处理的业务接口,并为所述产品应用层提供各类模块的管理接口;
所述产品应用层,用于为用户提供目标服务,其中,所述目标服务包括:在线客服、咨询服务、矿权信息管理服务和矿业信息管理;
所述接入层,用于为所述用户提供基于矿业大数据的SaaS云数据服务平台的用户访问入口。
在本发明实施例中,基础技术与支撑层采用PostgreSQL数据库,为战略性矿产的地图服务和属性处理的业务接口,并为所述产品应用层提供各类模块的管理接口,以供***管理员对用户进行权限分配和对***日志进行回溯。
需要说明的是,上述的各类模块包括API管理模块、工作流相关模块、用户角色权限管理模块、集成身份认证模块、报表管理模块、事件订阅通知管理模块、数据分析服务模块以及***监测及日志管理模块。对外数据平台的数据实时上传更新,建立对外服务的工作日志,以供管理人员及时的查看;外部监督人员通过官网认证的渠道进入,对整个服务体系进行监督,并且可以根据外界的观察,让其提出建议,并对提出的建议进行汇总,汇总后产生工作日志,并对汇总的工作日志进行实时上传,上传至统一管理。
另外,还需要说明的是基础技术与支撑层还用于解耦合***业务,实现业务的模块化精细管理。
具体的,***功能的视角对平台的应用架构进行说明,共划分为基础技术与支撑层、应用层以及接入层。平台最底层为基础技术与支撑层,首先,考虑到性能、稳定性、安全性和对数据库集群的扩展能力等因素,平台选用PostgreSQL数据库,来保证***数据和业务数据的持久化;其次,所述基础技术与支撑层用于维持***业务核心功能的运作,为上面应用层提供各类模块的管理接口,包括API管理模块、工作流相关模块、用户角色权限管理模块、集成身份认证模块、报表管理模块、事件订阅通知管理模块、数据分析服务模块以及***监测及日志管理模块等;利用基础技术与支撑层提供的接口,***管理员可以对用户进行权限分配、对***日志进行回溯等;同时,基础技术与支撑层还可以解耦合***业务,实现业务的模块化精细管理,起到承上启下的作用。
在基础技术与支撑层之上为应用层,用于在线客服、咨询服务、以及矿权、矿业信息的业务管理。最上层为接入层,即用户访问平台的入口,包括三类用户:平台级用户、企业用户以及相关机构用户,所述接入层提供小程序端和Web端两种访问方式。
当用户成功登陆***后,应用层根据登录用户的角色为用户分配不同的配置页面和权限。
在本发明实施例中,所述基于矿业大数据的SaaS云数据服务平台的应用架构还包括:Spring Security安全框架。
所述Spring Security安全框架,用于提供目标功能,其中,所述目标功能包括:认证、加密、授权、会话管理、Web集成和缓存。
所述基于矿业大数据的SaaS云数据服务平台的数据架构采用数据分层模型,其中,平台级矿业信息数据采用共享数据库和共享数据表相结合的方式实现数据隔离,并利用矿业ID区分不同矿业项目类型。
所述基于矿业大数据的SaaS云数据服务平台的技术架构包括:前端和后端,其中,所述前端,用于为提供可视化页面和用户交互功能;所述后端,用于利用Spring Cloud框架提供微服务。
需要说明的是,基于矿业大数据的SaaS云数据服务平台的技术架构基于对象-关系型数据库PostgreSQL构建,通过构建统一标准、多种数据兼容、多维度的数据模型,支撑企业、各部门的多维度矿业业务的实现。
还需要说明的是,大数据服务体系的整体的技术架构采用Hadoop技术。Hadoop是Apache开源组织的一个分布式***基础架构,其中核心组件包括分布式文件***H D F S(HadoopDistributedFileSystem)和分布式计算MapReduce,两者缺一不可。Hadoop分布式文件***HDFS部署在通用、低成本的存储和服务器上,采用主从结构的硬件架构设计,主节点称为NameNode,工作节点由多个DataNode组成,它提供了一个高度容错性和高吞吐量的海量数据存储解决方案。HDFS颠覆了传统的存储架构,它在底层硬件设备中分布式的存储了多份数据块,通过MapReduce分布式算法进行数据访问和计算。HDFS具有以下特性:
1.扩展性强,可以根据业务需求进行***在线扩容:NameNode主节点负责存储数据块分配管理信息,DataNode工作节点存放数据块信息,因此只需要通过175加DataNode节点数即可完成***扩容需求,主节点自动将新增加的DataNode节点纳入。通过以上***工,HDFS可以实现实时在线动态扩容而无需人工。
2.高可靠性,数据自动检测和复制:HDFS文件系,在数据被写入时就复,在读写,发现校验有误立刻进行重新复,就这样***连续不断自动校验数据的一致性,数据,以保障***。
3.消除访问瓶颈,具有高吞吐量:用户访问***,由于HDFS将数据块分布式的存放在硬件设,因此HDFS会选择访问量最小、网络路由路径最。在访问大型文件时,***可以增加数据访,且数据块的每个复制拷贝都能提供给用户访,因此HDFS对于单数据块的访问性能将是传统存,通过分布式算法单个设备问吞吐。
为加强***安全管理,所述智能一体化服务平台的应用架构还引入SpringSecurity安全框架,以实现认证、加密、授权、会话管理、Web集成、缓存等功能。
进一步地,所述智能矿业一体化服务平台的技术架构划分为前端和后端,保证手机端、WEB端、API网关、业务后端在设计阶段的分离;平台的技术架构基于对象-关系型数据库PostgreSQL构建,通过构建统一标准、多种数据兼容、多维度、数据综合度强的数据模型,支撑矿权管理、矿业服务等多维度业务的实现。
所述技术构架划分为前端和后端,前端基于Vue框架完成可视化页面展示和交互,后端基于Spring Cloud框架提供微服务,实现一套微服务的解决方案。
本发明实施例提供的基于矿业大数据的SaaS云数据服务平台基于SaaS技术,针对矿业全产业链市场主体深度参与共商共建的开放式大数据平台,是可以实现各矿业市场主体信息资源有机整合和共享服务的综合性矿业应用服务平台,使得操作人员及时准确的控制和把握矿业市场和发展形势,提升数据效率和生产效率,为矿业安全管理提供强大、有效的技术支撑。
通过所述基于SaaS技术的基于矿业大数据的SaaS云数据服务平台向最终用户提供矿业信息一体化服务,从而降低企业的相关业务的运营成本,降低了企业信息化成本。
面向不同规模、行业、盈利状况的矿业公司、机构提供不同的业务流程模板,结合人工智能、RPA等技术降低矿业项目获取的操作复杂度,为其提供简单易用的数据信息平台。
基于矿业大数据的SaaS云数据服务平台能够消除公司内部的“数据孤岛”,使各部门实现真正地“协同”办公,所提供的端到端流程极大程度地降低了工作的冗余,有助于员工提高工作效率。同时对运维相关的业务进行整合,集中化管理入驻机构的运维,进一步降低服务对象的运维成本。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于矿业大数据的SaaS云数据服务平台,其特征在于,包括:大数据中心模块,数据处理分析模块,服务应用模块和后台业务引擎模块,其中,
所述大数据中心模块,用于获取终端设备采集到的矿业信息数据;
所述数据处理分析模块,用于利用RPA技术对所述矿业信息数据进行处理,并将处理后的矿业信息数据发送给所述大数据中心模块,以使所述大数据中心模块对处理后的大数据矿业信息数据进行分布式存储;
所述服务应用模块,用于对所述处理后的矿业信息数据进行容器资源初始化,得到初始化数据,并将所述初始化数据读入后台管理平台,以供所述后台管理平台读取和外界监督;
所述后台业务引擎模块,用于利用BPM引擎和预设映射规则为各类业务提供支撑。
2.根据权利要求1所述的平台,其特征在于,
所述矿业信息数据包括:行情数据、新闻资讯、战略政策、资源信息、项目信息、投资信息、交易信息、企业信息、科技信息、人才信息、矿业社交信息、资产评估数据、征信服务数据、数字资产托管数据、数据交易信息、投融资评估数据、金融产品设计与服务数据。
3.根据权利要求1所述的平台,其特征在于,所述数据处理分析模块利用RPA技术对所述矿业信息数据进行处理包括如下步骤:
对所述矿业信息数据进行分类,得到分类数据,并对所述分类数据进行备份;
对所述分类数据进行校正,并确定出校正后的分类数据对应的模板;
将所述校正后的分类数据填写至对应的模板中。
4.根据权利要求1所述的平台,其特征在于,所述基于矿业大数据的SaaS云数据服务平台,还包括:
安全保障服务模块,用于为所述基于矿业大数据的SaaS云数据服务平台提供安全保障服务;
外部***对接模块,用于为所述基于矿业大数据的SaaS云数据服务平台和外部***提供对接服务。
5.根据权利要求4所述的平台,其特征在于,
所述外部***包括:网络运维管理***、网络安全管理***、安全评估管理***和第三方服务商***。
6.根据权利要求1所述的平台,其特征在于,所述基于矿业大数据的SaaS云数据服务平台的应用架构包括:基础技术与支撑层,产品应用层和接入层,其中,
所述基础技术与支撑层采用PostgreSQL数据库,为战略性矿产的地图服务和属性处理的业务接口,并为所述产品应用层提供各类模块的管理接口;
所述产品应用层,用于为用户提供目标服务,其中,所述目标服务包括:在线客服、咨询服务、矿权信息管理服务和矿业信息管理;
所述接入层,用于为所述用户提供基于矿业大数据的SaaS云数据服务平台的用户访问入口。
7.根据权利要求6所述的平台,其特征在于,
所述基础技术与支撑层,还用于解耦合***业务。
8.根据权利要求6所述的平台,其特征在于,所述基于矿业大数据的SaaS云数据服务平台的应用架构还包括:Spring Security安全框架,其中,
所述Spring Security安全框架,用于提供目标功能,其中,所述目标功能包括:认证、加密、授权、会话管理、Web集成和缓存。
9.根据权利要求1所述的平台,其特征在于,所述基于矿业大数据的SaaS云数据服务平台的数据架构采用数据分层模型,其中,平台级矿业信息数据采用共享数据库和共享数据表相结合的方式实现数据隔离,并利用矿业ID区分不同矿业项目类型。
10.根据权利要求1所述的平台,其特征在于,所述基于矿业大数据的SaaS云数据服务平台的技术架构包括:前端和后端,其中,
所述前端,用于为提供可视化页面和用户交互功能;
所述后端,用于利用Spring Cloud框架提供微服务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210597348.8A CN114943454A (zh) | 2022-05-30 | 2022-05-30 | 一种基于矿业大数据的SaaS云数据服务平台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210597348.8A CN114943454A (zh) | 2022-05-30 | 2022-05-30 | 一种基于矿业大数据的SaaS云数据服务平台 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114943454A true CN114943454A (zh) | 2022-08-26 |
Family
ID=82908378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210597348.8A Pending CN114943454A (zh) | 2022-05-30 | 2022-05-30 | 一种基于矿业大数据的SaaS云数据服务平台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114943454A (zh) |
-
2022
- 2022-05-30 CN CN202210597348.8A patent/CN114943454A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112685385B (zh) | 一种用于智慧城市建设的大数据平台 | |
CN112396404A (zh) | 一种数据中台*** | |
Guster et al. | The application of business intelligence to higher education: Technical and managerial perspectives | |
CN105339941B (zh) | 针对etl映射设计使用投影器和选择器组件类型 | |
EP3051475A1 (en) | Data analysis system and method to enable integrated view of customer information | |
CN113722301A (zh) | 基于教育信息的大数据处理方法、装置及***、存储介质 | |
CN112801607A (zh) | 一种管理服务平台及构建方法 | |
US20130332861A1 (en) | Internet based platform for acquisition, management, integration, collaboration, and dissemination of information | |
CN111866121A (zh) | 一种大型起重机设备安全监控管理云平台 | |
CN111897866A (zh) | 一种遥感监测图斑对接***及其使用方法 | |
CN114218309A (zh) | 数据处理方法、***和计算机设备 | |
CN113535846B (zh) | 一种大数据平台及其构建方法 | |
Yang et al. | Design of enterprise management system based on edge computing architecture | |
KR20200060022A (ko) | 통합 경영시스템 | |
Kraan et al. | Analytics tools and infrastructure | |
CN116629802A (zh) | 一种用于铁路港口站的大数据平台*** | |
Li et al. | Optimal Design of an Information Management System for Government: A Bridge between Government and Citizens | |
CN114943454A (zh) | 一种基于矿业大数据的SaaS云数据服务平台 | |
CN115718776A (zh) | 一种大数据应用平台*** | |
Chen et al. | Research and Construction of University Data Governance Platform Based on Smart Campus Environment | |
KR100796905B1 (ko) | 데이터베이스 품질관리 시스템 | |
Tae et al. | A collaborative web application based on incident management framework for financial system | |
KR100792322B1 (ko) | 데이터베이스 품질관리 프레임워크 | |
CN113238736A (zh) | 一种生成集成平台的方法 | |
US20240152869A1 (en) | Software assessment tool for migrating computing applications using machine learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |