CN114860830A - 一种基于大数据技术建设运维数据中台的*** - Google Patents

一种基于大数据技术建设运维数据中台的*** Download PDF

Info

Publication number
CN114860830A
CN114860830A CN202210489194.0A CN202210489194A CN114860830A CN 114860830 A CN114860830 A CN 114860830A CN 202210489194 A CN202210489194 A CN 202210489194A CN 114860830 A CN114860830 A CN 114860830A
Authority
CN
China
Prior art keywords
data
module
log
maintenance
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210489194.0A
Other languages
English (en)
Inventor
林茂军
陆健华
陈棣
马永祥
黄洁敏
金杨
杨小云
崔立群
胡红青
钱苏尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank Of Shanghai Co ltd
Original Assignee
Bank Of Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank Of Shanghai Co ltd filed Critical Bank Of Shanghai Co ltd
Priority to CN202210489194.0A priority Critical patent/CN114860830A/zh
Publication of CN114860830A publication Critical patent/CN114860830A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及大数据技术领域，且公开了一种基于大数据技术建设运维数据中台的***，包括数据采集模块、数据接入模块、数据处理模块、数据存储分析模块及数据服务模块，数据采集模块、数据接入模块、数据处理模块、数据存储分析模块及数据服务模块依次相连接，本发明通过大数据平台完成流式数据处理，实时计算应用***交易量、技术成功率及交易处理时间，结合开源监控平台实现交易级监控，极大提高了故障发现及定位能力，保障应用***稳定高效运行，基于大数据平台中分布式消息***和日志检索引擎，基于大数据平台中分布式数据库，完成运维数据主题设计及数据仓库分层落地，灵活支撑各种运维运营场景数据需求。

Description

一种基于大数据技术建设运维数据中台的***
技术领域
本发明涉及大数据技术领域，具体为一种基于大数据技术建设运维数据中台的***。
背景技术
随着IT和业务的高度融合，信息和信息技术日益成为企业最为重要的资产之一，信息***运维管理已经成为产品价值链上的一个重要环节，提供服务的过程就是创造价值的过程，信息***对企业利润的贡献度已经到十分重要的成都，因此需要建设运维数据中台，运维数据中台旨在运维数据领域，利用智能运维平台，对全行各类运维数据进行规范化集中式的采集、加工、整合、存储，形成标准化运维数据资产，拟达到数据复用、降低成本、价值挖掘的目标，但是有现有的运维数据中台***运行不稳定、分析方式少，分析的程度低、适用性差等缺点。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于大数据技术建设运维数据中台的***。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：一种基于大数据技术建设运维数据中台的***，包括数据采集模块、数据接入模块、数据处理模块、数据存储分析模块及数据服务模块，所述数据采集模块、数据接入模块、数据处理模块、数据存储分析模块及数据服务模块依次相连接；
所述数据采集模块使用flume，实现运维日志、数据库数据和kafka数据的数据接入，运维日志包括有应用日志数据、交易日志数据、网络日志数据、***日志数据和网络抓包数据；
所述数据接入模块使用分布式发布订阅消息***kafka集群，实现各类运维数据缓存；
所述数据处理模模块连接实时计算集群，数据处理模模块使用的流处理引擎spark streaming，进行各类运维数据聚合计算；
数据存储分析模块主要由实时数据库集群druid和离线数据库集群kudu组成，实现数据仓库及多维数据分析功能；
数据服务模块提供本平台所有数据服务，实现运维数据价值输出。
优选的，所述数据采集模块还包括有标签模块，数据采集模块使用flume实时采集并传输至kafka，采集的过程中打上标签，如日志采集时间、日志所在目录、应用标识、IP和主机名，为后续分析处理提供数据支撑。
优选的，所述数据处理模块包括有查询模块、过滤模块、告警模块、统计模块和预聚合模块；
进行数据处理时，采用微批方式进行数据处理，处理频率最高可提至1秒，经过程序ETL后的数据会摄入到实时分析数据库druid，druid会对这些数据通过预聚合模块进行分钟颗粒度的预聚合，并通过统计模块对完成总交易量、成功交易量、交易处理时间统计；
告警模块将需要进行告警的数据会通过查询模块查询druid数据库送回kafka，接着通过一个spark streaming程序实时推送至开源监控平台zabbix，zabbix根据约定好的维度指标对全量推送的数据通过过滤模块进行过滤，设置相应阀值后可以实现应用、主机、交易类型等维度不同指标的告警；
kafka中的告警数据还会供数至AI告警平台，对非静态阀值指标实现智能告警。
优选的，所述数据存储分析模块还包括有明细数据库集群，kafka集群通过日志检索模块连接有日志检索集群solr，所述日志检索模块包括有组合查询模块和切分模块。
优选的，日志检索模块基于开源日志检索引擎solr，完成生产环境应用日志实时接入，并提供日志检索功能，根据应用***、IP、日志路径、时间、关键字维度通过组合查询模块进行组合查询；
数据采集模块使用flume实时采集源***应用日志并传输至kafka，在服务端再使用flume将日志数据摄入solr，在数据摄入时利用切分模块通过分词规则对日志内容进行切分设置索引，用户可以通过可视化页面对solr中的日志数据进行检索相应规则的日志。
优选的，运维数据中台将数据仓库分为五层：1、数据应用层/应用层；2、数据主题层/标签层；3、服务数据层/聚合层；4、明细数据层/模型层；5、原始数据层/贴源层。
优选的，所述贴源层根据需求不断接入应用交易、主机性能和运维流程的数据。
优选的，数据接入贴源层后，首先经过数据标准化，后经过维度建模进入模型层，在实际实现过程中，将运维类数据按照主题分类，划分为人员组织、IT资产、协议、性能容量、告警、作业、流程、操作、日志及知识十大主题；
维度建模则采用星座模型，将主题数据拆分整理成事实表和维度表两种，事实表可以通过唯一标识与维度表进行关联。
优选的，所述标签层对各个主题对象的当天行为进行统计，再进入DWT标签层统计其累计行为，包括当月交易量和当年变更数量；
标签层面向对象建模，在不同需求场景中抽象出应用、人员、部门、设备和机房的数据。
优选的，应用层按照消费及业务场景使用的需要，将各种已经加工好的数据以及一些面向业务的特定个性化指标加工后组织到一起，以灵活支撑最终业务应用的场景需求。
(三)有益效果
与现有技术相比，本发明提供了一种基于大数据技术建设运维数据中台的***，具备以下有益效果：
1、该基于大数据技术建设运维数据中台的***，本发明通过大数据平台完成流式数据处理，实时计算应用***交易量、技术成功率及交易处理时间，结合开源监控平台实现交易级监控，极大提高了故障发现及定位能力，赋能一线运维人员，保障应用***稳定高效运行。
2、该基于大数据技术建设运维数据中台的***，本发明基于大数据平台中分布式消息***和日志检索引擎，完成生产日志实时检索，实现办公环境故障定位及排查，推进运维人员从“机房运维”到“办公室运维”工作模式的转变，促进高效发展，基于大数据平台中分布式数据库，完成运维数据主题设计及数据仓库分层落地，灵活支撑各种运维运营场景数据需求。
3、该基于大数据技术建设运维数据中台的***，本发明基于大数据平台汇聚的海量运维数据，实现应用***的画像，全方位展现应用***运行情况。操作***层面，实时展示应用***CPU利用率、内存使用率、磁盘空间利用率等，交易层面，可从主机、渠道、交易类型等多维度进行分析，展示的指标包括交易量、技术成功率、业务承兑率、平均处理时间等。
4、该基于大数据技术建设运维数据中台的***，本发明基于大数据平台汇聚的海量运维数据，进一步挖掘数据价值，实现运营助手90余个指标实时展示，完成运维向运营的突破，进一步提升我行运营服务的管理能力。
5、该基于大数据技术建设运维数据中台的***，本发明基于自服务的方式提供运维数据挖掘及分析能力，实现运维数据价值。目前多维数据分析看板涵盖7个板块，分别为交易板块、主机性能板块、作业板块、告警板块、事件板块、变更板块及问题板块。通过不同板块的数据，可对业务***状况进行多角度、多维度的分析。
6、该基于大数据技术建设运维数据中台的***，本发明基于数据仓库五层架构体系，第一层为ODS层，存储原始数据；第二层为DWD层，主要对ODS层数据进行清洗、维度退化等；第三层为DWS层，以DWI)层为基础，按天进行轻度聚合，粒度是一行信息代表一天的行为；第四层为DWT层，以DWS为基础，按标签进行聚合，粒度是一行信息代表累计的行为；第五层为ADS层，为各种应用场景提供数据服务。
7、该基于大数据技术建设运维数据中台的***，本发明基于ansible自动化运维工具实现了节点代理管控***，开发一套可以在界面上进行软件agent安装、重启、配置文件管理及日志查看的节点代理管控***。
8、该基于大数据技术建设运维数据中台的***，AI监控本发明专利依托运维数据中台的海量数据支撑，实现应用***监控指标异常检测和异常定位能力的提升，实现故障即时预警，辅助运维定位故障。
附图说明
图1为本发明***流程示意图；
图2为本发明数据仓库结构示意图；
图3为本发明贴源层结构示意图；
图4为本发明模型层结构示意图；
图5为本发明标签层结构示意图；
图6为本发明应用层结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
请参阅图1-6，一种基于大数据技术建设运维数据中台的***，包括数据采集模块、数据接入模块、数据处理模块、数据存储分析模块及数据服务模块，数据采集模块、数据接入模块、数据处理模块、数据存储分析模块及数据服务模块依次相连接；通过采集源***规范化的JSON日志，数据采集模块使用flume，实现运维日志、数据库数据和kafka数据的数据接入，运维日志包括有应用日志数据、交易日志数据、网络日志数据、***日志数据和网络抓包数据；数据采集模块还包括有标签模块，数据采集模块使用flume实时采集并传输至kafka，采集的过程中打上标签，如日志采集时间、日志所在目录、应用标识、IP和主机名，为后续分析处理提供数据支撑，数据接入模块使用分布式发布订阅消息***kafka集群，实现各类运维数据缓存；数据处理模模块连接实时计算集群，数据处理模模块使用的流处理引擎sparkstreaming，进行各类运维数据聚合计算，数据处理模块包括有查询模块、过滤模块、告警模块、统计模块和预聚合模块。
进行数据处理时，采用微批方式进行数据处理，处理频率最高可提至1秒，经过程序ETL后的数据会摄入到实时分析数据库druid，druid会对这些数据通过预聚合模块进行分钟颗粒度的预聚合，并通过统计模块对完成总交易量、成功交易量、交易处理时间统计；告警模块将需要进行告警的数据会通过查询模块查询druid数据库送回kafka，接着通过一个spark streaming程序实时推送至开源监控平台zabbix，zabbix根据约定好的维度指标对全量推送的数据通过过滤模块进行过滤，设置相应阀值后可以实现应用、主机、交易类型等维度不同指标的告警；kafka中的告警数据还会供数至AI告警平台，对非静态阀值指标实现智能告警。数据存储分析模块主要由实时数据库集群druid和离线数据库集群kudu组成，数据存储分析模块还包括有明细数据库集群，实现数据仓库及多维数据分析功能；数据服务模块提供本平台所有数据服务，实现运维数据价值输出。
kafka集群通过日志检索模块连接有日志检索集群solr，日志检索模块包括有组合查询模块和切分模块，日志检索模块基于开源日志检索引擎solr，完成生产环境应用日志实时接入，并提供日志检索功能，根据应用***、IP、日志路径、时间、关键字维度通过组合查询模块进行组合查询；数据采集模块使用flume实时采集源***应用日志并传输至kafka，在服务端再使用flume将日志数据摄入solr，在数据摄入时利用切分模块通过分词规则对日志内容进行切分设置索引，用户可以通过可视化页面对solr中的日志数据进行检索相应规则的日志。
平台汇聚了海量运维数据，均存储在实时分析数据库druid中，可提供实时及历史数据查询。前端页面通过实时展现我行关键业务***交易、服务器、管理等多维度信息，帮助一线运维人员实时掌控应用运行情况。
通过在应用交易日志埋点业务数据，在进行数据清洗时生成相应的维度指标，如全行各层级业务处理情况、网点排队信息、网点自助机具运行状况等，涵盖全行业务情况，可获取全行各层级实时及历史交易情况，并实现网点客流预警，大幅提升全行各级管理层对业务运营服务情况的掌控能力。
多维数据分析方面，涵盖7大板块数据，交易板块可使用时间序列折线图、时间序列柱状图等图表展示业务交易量、平均处理时间、技术成功率三十天的变化趋势、同环比情况、TOP20情况等。主机性能板块又分为应用服务器、数据库服务器、中间件服务器三个部分，可分析服务器的性能数据变化趋势，如CPU利用率同比、内存利用率同比、IO速率同比，另外还可分析各类服务器的一些个性化指标，例如数据库服务器模块中的表空间使用率、磁盘空间使用率以及中间件服务器模块中的MQ平均队列深度等。作业板块可分析应用各个批量作业在某一时段内的成功次数、失败次数、平均执行时长、开始时间的波动情况等。告警板块展示当前告警数和每日告警数的变化趋势，还有一些分析图表，包括告警的指标对象分类、IP地址分类、告警统计明细等。事件板块包含总事件数，事件处理超时计数等指标展示，和事件类别及其处理平均耗时分类统计。变更板块包含月变更数和月按时完成率的指标展示和变更原因、变更类型、发起科室、变更按时成功率的分布情况及详情展示。问题板块包含全年问题解决耗时、全年问题总数的指标展示和全年问题优先级分类统计，以及具体的问题明细展示。
运维数据中台将数据仓库分为五层，依照以下规则：
①把复杂问题简单化：将复杂的任务分解成多层来完成，每一层只处理简单的任务，方便定位问题；
②减少重复开发：规范数据分层，通过中间层数据，能够减少重复计算，增加一次计算结果的复用性；
③隔离原始数据：考虑到数据异常及数据的敏感性，使真实数据与统计数据解耦开。
分成以下五层：
1、数据应用层/应用层，应用层按照消费及业务场景使用的需要，将各种已经加工好的数据以及一些面向业务的特定个性化指标加工后组织到一起，以灵活支撑最终业务应用的场景需求，以灵活支撑最终业务应用的场景需求。类似传统的数据集市，但比数据集市更轻量化、更灵活，用于解决特定的业务问题。目前已建设健康巡检集市、监管报送集市、电子月报集市、掌上行集市等，如图6所示。
2、数据主题层/标签层，标签层对各个主题对象的当天行为进行统计，再进入DWT标签层统计其累计行为，包括当月交易量和当年变更数量；标签层面向对象建模，在不同需求场景中抽象出应用、人员、部门、设备和机房的数据，数据在模型层经过维度退化后，同一对象的各种信息依然分散在不同的数据域并且有不同的粒度，比如应用数据，一个应用***交易量、技术成功率等交易信息在性能容量主题域，突发事件数量信息在流程主题域，批量耗时、告警次数等信息在作业主题域，这导致很难了解一个应用的全面信息。
而站在不同对象的角度去关联模型层事实表，通过SQL语句可得到一些带修饰词及计算方法的统计指标数据，比如变更事实表的度量值是变更ID、变更类型、完成情况等，从部门维度关联变更的事实表，可以得到各个部门的当月变更成功数量等，从人员维度去关联变更事实表则可以得到某个人的月完成变更数量指标，关联事件事实表得到某个人的月处理事件数量等指标。因此标签层最后达到了将某一对象跨业务板块、数据域的数据在同一粒度基础上组织起来打通归一的效果，可满足获取、分析某一对象的全面数据的需求，如图5所示。
3、服务数据层/聚合层。
4、明细数据层/模型层，数据接入贴源层后，首先经过数据标准化，后经过维度建模进入模型层，在实际实现过程中，将运维类数据按照主题分类，划分为人员组织、IT资产、协议、性能容量、告警、作业、流程、操作、日志及知识十大主题，维度建模则采用星座模型，将主题数据拆分整理成事实表和维度表两种，事实表可以通过唯一标识(如IP地址)与维度表进行关联，如图4所示。
5、原始数据层/贴源层，贴源层根据需求不断接入应用交易、主机性能和运维流程的数据，如图3所示。
节点代理管控***方面，实现***配置、配置管理、状态监控、版本库管理及版本下发控制功能。***配置模块，可完成服务器的分组管理，实现批量管理代理。配置管理模块，具备完善的服务历史版本管理策略，支持配置文件统一管理。状态监控模块，可对代理进行状态监控，及时反馈代理存活状态。版本库管理及版本下发控制，实现配置文件、脚本等文件一键下发。
AI监控方面，主要实现单KPI异常检测及机器指标异常定位。根据机器学习算法建立融合多种检测器特性的异常检测模型，对单监控指标曲线实现高精召率的异常检测，降低原有监控策略的漏报率和误报率，保障生产运行的稳定高效安全，同时减少不必要的人力消耗。对于给定的业务及业务所依赖的各集群、模块和服务器的监控数据汇总，通过对比监控数据在业务故障时间点前后和历史上同期时间点的表现，并对这些表现进行聚类和排序分析来集中呈现，在业务出现故障时从上述数据中自动快速进行异常定位。

Claims (8)

1.一种基于大数据技术建设运维数据中台的***，包括数据采集模块、数据接入模块、数据处理模块、数据存储分析模块及数据服务模块，其特征在于：所述数据采集模块、数据接入模块、数据处理模块、数据存储分析模块及数据服务模块依次相连接；
所述数据采集模块使用flume，实现运维日志、数据库数据和kafka数据的数据接入，运维日志包括有应用日志数据、交易日志数据、网络日志数据、***日志数据和网络抓包数据；
所述数据接入模块使用分布式发布订阅消息***kafka集群，实现各类运维数据缓存；
所述数据处理模模块连接实时计算集群，数据处理模模块使用的流处理引擎sparkstreaming，进行各类运维数据聚合计算；
数据存储分析模块主要由实时数据库集群druid和离线数据库集群kudu组成，实现数据仓库及多维数据分析功能；
数据服务模块提供本平台所有数据服务，实现运维数据价值输出；
所述数据采集模块还包括有标签模块，数据采集模块使用flume实时采集并传输至kafka，采集的过程中打上标签，如日志采集时间、日志所在目录、应用标识、IP和主机名，为后续分析处理提供数据支撑；
所述数据处理模块包括有查询模块、过滤模块、告警模块、统计模块和预聚合模块；
进行数据处理时，采用微批方式进行数据处理，处理频率最高可提至1秒，经过程序ETL后的数据会摄入到实时分析数据库druid，druid会对这些数据通过预聚合模块进行分钟颗粒度的预聚合，并通过统计模块对完成总交易量、成功交易量、交易处理时间统计；
告警模块将需要进行告警的数据会通过查询模块查询druid数据库送回kafka，接着通过一个spark streaming程序实时推送至开源监控平台zabbix，zabbix根据约定好的维度指标对全量推送的数据通过过滤模块进行过滤，设置相应阀值后可以实现应用、主机、交易类型等维度不同指标的告警；
kafka中的告警数据还会供数至AI告警平台，对非静态阀值指标实现智能告警。
2.根据权利要求1所述的一种基于大数据技术建设运维数据中台的***，其特征在于：所述数据存储分析模块还包括有明细数据库集群，kafka集群通过日志检索模块连接有日志检索集群solr，所述日志检索模块包括有组合查询模块和切分模块。
3.根据权利要求2所述的一种基于大数据技术建设运维数据中台的***，其特征在于：日志检索模块基于开源日志检索引擎solr,完成生产环境应用日志实时接入，并提供日志检索功能，根据应用***、IP、日志路径、时间、关键字维度通过组合查询模块进行组合查询；
数据采集模块使用flume实时采集源***应用日志并传输至kafka，在服务端再使用flume将日志数据摄入solr，在数据摄入时利用切分模块通过分词规则对日志内容进行切分设置索引，用户可以通过可视化页面对solr中的日志数据进行检索相应规则的日志。
4.根据权利要求1所述的一种基于大数据技术建设运维数据中台的***，其特征在于：运维数据中台将数据仓库分为五层：1、数据应用层/应用层；2、数据主题层/标签层；3、服务数据层/聚合层；4、明细数据层/模型层；5、原始数据层/贴源层。
5.根据权利要求4所述的一种基于大数据技术建设运维数据中台的***，其特征在于：所述贴源层根据需求不断接入应用交易、主机性能和运维流程的数据。
6.根据权利要求4所述的一种基于大数据技术建设运维数据中台的***，其特征在于：数据接入贴源层后，首先经过数据标准化，后经过维度建模进入模型层，在实际实现过程中，将运维类数据按照主题分类，划分为人员组织、IT资产、协议、性能容量、告警、作业、流程、操作、日志及知识十大主题；
维度建模则采用星座模型，将主题数据拆分整理成事实表和维度表两种，事实表可以通过唯一标识与维度表进行关联。
7.根据权利要求4所述的一种基于大数据技术建设运维数据中台的***，其特征在于：所述标签层对各个主题对象的当天行为进行统计，再进入DWT标签层统计其累计行为，包括当月交易量和当年变更数量；
标签层面向对象建模，在不同需求场景中抽象出应用、人员、部门、设备和机房的数据。
8.根据权利要求4所述的一种基于大数据技术建设运维数据中台的***，其特征在于：应用层按照消费及业务场景使用的需要，将各种已经加工好的数据以及一些面向业务的特定个性化指标加工后组织到一起，以灵活支撑最终业务应用的场景需求。
CN202210489194.0A 2022-04-26 2022-04-26 一种基于大数据技术建设运维数据中台的*** Pending CN114860830A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210489194.0A CN114860830A (zh) 2022-04-26 2022-04-26 一种基于大数据技术建设运维数据中台的***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210489194.0A CN114860830A (zh) 2022-04-26 2022-04-26 一种基于大数据技术建设运维数据中台的***

Publications (1)

Publication Number Publication Date
CN114860830A true CN114860830A (zh) 2022-08-05

Family

ID=82634538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210489194.0A Pending CN114860830A (zh) 2022-04-26 2022-04-26 一种基于大数据技术建设运维数据中台的***

Country Status (1)

Country Link
CN (1) CN114860830A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365355A (zh) * 2020-12-10 2021-02-12 深圳迅策科技有限公司 实时计算基金估值和风险指标的方法、装置及可读介质
CN116823464A (zh) * 2023-06-06 2023-09-29 海通期货股份有限公司 数据资产管理平台、电子设备及计算机可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365355A (zh) * 2020-12-10 2021-02-12 深圳迅策科技有限公司 实时计算基金估值和风险指标的方法、装置及可读介质
CN112365355B (zh) * 2020-12-10 2023-12-26 深圳迅策科技有限公司 实时计算基金估值和风险指标的方法、装置及可读介质
CN116823464A (zh) * 2023-06-06 2023-09-29 海通期货股份有限公司 数据资产管理平台、电子设备及计算机可读存储介质
CN116823464B (zh) * 2023-06-06 2024-03-26 海通期货股份有限公司 数据资产管理平台、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN104407964B (zh) 一种基于数据中心的集中监控***及方法
CN114860830A (zh) 一种基于大数据技术建设运维数据中台的***
CN111176879A (zh) 设备的故障修复方法及装置
CN106371986A (zh) 一种日志处理运维监控***
CN108197261A (zh) 一种智慧交通操作***
CN109034580B (zh) 一种基于大数据分析的信息***整体健康度评估方法
CN105071969A (zh) 基于jmx的定制化实时监控及自动化异常处理的***及方法
CN111259073A (zh) 基于日志、流量和业务访问的业务***运行状态智能研判***
CN112559376A (zh) 一种数据库故障的自动定位方法、装置及电子设备
CN111669295B (zh) 业务管理方法和装置
CN112527886A (zh) 一种基于城市大脑的数据仓库***
CN116132317B (zh) 工业互联网数据采集分析及可视化一体***及其部署方法
CN113179173A (zh) 一种用于高速公路***的运维监控***
CN112416902A (zh) 一种主机与数据库一键巡检方法
CN114648393A (zh) 一种应用于招投标的数据挖掘方法、***及设备
CN111935226B (zh) 支持工业数据实现流式计算方法及***
CN111125056A (zh) 一种信息***数据库自动化运维***及其运维方法
CN112559237A (zh) 运维***排障方法、装置、服务器和存储介质
CN112579703A (zh) 一种基于云计算用大数据综合运维平台处理***
CN112650889A (zh) 一种企业安全环保及安防监控数据的数仓建设方法和***
CN111125450A (zh) 一种多层拓扑网络资源对象的管理方法
CN109858807A (zh) 一种企业运营监控的方法及***
CN115840656A (zh) 一种基于故障自愈的应用程序自动化运维方法和***
CN101202676B (zh) 无线故障管理***装置
CN115423361A (zh) 风险视图的数据处理方法、装置、存储介质和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination