CN117540321A - 一种数据服务监测*** - Google Patents

一种数据服务监测*** Download PDF

Info

Publication number
CN117540321A
CN117540321A CN202311643233.9A CN202311643233A CN117540321A CN 117540321 A CN117540321 A CN 117540321A CN 202311643233 A CN202311643233 A CN 202311643233A CN 117540321 A CN117540321 A CN 117540321A
Authority
CN
China
Prior art keywords
data
real
time
algorithm
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311643233.9A
Other languages
English (en)
Inventor
卞琳
宋文婷
郭彦杰
高超
艾钰
崔胜利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Big Data Center Of State Grid Corp Of China
Original Assignee
Big Data Center Of State Grid Corp Of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Big Data Center Of State Grid Corp Of China filed Critical Big Data Center Of State Grid Corp Of China
Priority to CN202311643233.9A priority Critical patent/CN117540321A/zh
Publication of CN117540321A publication Critical patent/CN117540321A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2433Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3065Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • G06N3/0442Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种数据服务监测***包括指标建模模块、指标采集模块、数据转换模块、可视化展示模块和异常处理模块,该数据监测***采用机器学习和深度学习进行指标建模,结合边缘计算实时采集物联网设备数据,利用流式计算引擎进行实时计算和存储。增强现实技术实现监测数据的虚拟展示,自适应异常检测算法智能识别异常并实时触发运维操作。***在指标建模方面实现智能预测未来异常情况,指标采集方面确保实时性,数据转换方面提高***灵活性,可视化展示方面增强用户体验,异常处理方面提升***稳定性。这一综合方案直接影响数据服务的性能和稳定性,为企业数字化运营提供可靠支持。

Description

一种数据服务监测***
技术领域
本发明涉及数据中台数据服务监测技术,尤其涉及一种基于定制化数据服务的实时数据服务监测***。
背景技术
数据中台是随着企业数字化转型的推进而崛起的概念,它是指通过构建统一的数据基础设施,集成和管理企业内外部的数据资源,提供数据服务支持业务决策和创新。在这一框架下,数据服务监测成为关键环节,通过对数据中台中的各项指标进行监测,实现对数据质量、性能、可靠性等方面的全面把控。
数据服务监测的基本构成包括数据中台、监测技术和可视化运维工具。数据中台是整个体系的核心,它负责数据资源的集成、管理和服务;监测技术主要涵盖分布式***监测、实时监测、监测工具与标准、监测技术研究等方面;可视化运维工具则是将监测结果以直观的方式呈现,为管理人员提供科学的依据以及直观的管理手段。
随着企业数字化转型的推进,数据中台和数据服务的重要性日益凸显。许多企业开始建设自己的数据中台,并提供各种数据服务来支持业务应用。为了保障数据服务的稳定运行,监测和管理数据服务的工具也得到了广泛应用。
在国外,研究者们已经深入探讨了数据中台数据服务监测的各个方面。分布式***监测方面主要采用日志监测、指标监测和调用链监测等技术,以确保对***各组件的全方位监测。实时监测已成为趋势,利用实时日志监测、实时指标监测和实时调用链监测等手段,实现对数据服务的及时监控。监测工具与标准方面,国外互联网巨头已自主研发了一批功能强大的工具,如Zipkin、Jaeger、Grafana等,这些工具准确地监测和管理数据服务,并提供优质的监测服务和反馈机制。监测技术研究方面,利用机器学习和深度学习技术,建立模型和算法,预测和防范尚未出现的隐患,同时关注数据服务异构性和多样性对监测技术的影响。在应用场景方面,大型企业已将监测技术应用于业务场景,如Netflix的Suro监测***、Facebook的RocksDB监测、Uber的Jaeger监测***、Google的Stackdriver监测。
在国内,当前的数据中台数据服务监测主要集中在监测技术的研究、监测指标的选取、数据可视化、监测算法的研究和应用场景等方面。主流的监测技术包括日志监测、指标监测、调用链监测等,其中日志监测技术成本较低,易于应用;指标监测技术包括性能指标、可用性指标和基础设施指标等,适用于监测不同类型的数据服务;调用链监测技术对于复杂的分布式环境和微服务架构尤为重要。在监测指标的选取方面,国内研究者注重不同类型数据服务的监测指标的不同,并通过指标的分析挖掘数据服务中的问题。数据可视化方面,国内的监测可视化工具如cat-monitor、skywalking等,已经能够科学地展现数据监测结果,并提供简明易懂的可视化界面,方便相关人员快速发现监测异常,定位问题。监测算法方面,国内研究者主要采用统计分析和机器学习等算法进行数据服务监测,以提高运维效率和数据服务的质量。在应用场景方面,许多互联网公司和企业已将监测技术应用于实际业务中,如阿里巴巴的CAT监测***、美团的Jaeger监测***、京东的Skywalking监测***、大众点评的PinPoint监测***。
尽管在国内外已经有了丰富的数据中台数据服务监测技术和应用经验,但仍然存在一些技术问题和缺陷:
首先,由于数据中台的服务类型和数据特征各异,导致监测指标体系和监测技术手段需要根据具体情况进行定制。当前的研究及应用场景尚无法完全满足实际应用需求,存在一定的局限性。
其次,针对分布式***监测,尽管国内外研究者都采用了日志监测、指标监测和调用链监测等技术,但在大规模数据监测方面仍存在一些挑战。传统的统计分析算法虽然易于控制,但在大规模数据监测中表现不佳,无法应对海量数据的高效监测需求。
再者,在实时监测方面,国外已经将其纳入趋势,但国内仍需要加强实时监测的研究和应用。实时监测的技术问题主要集中在如何实现快速、精准的监测和及时的反馈上。
此外,监测工具与标准方面,国内在功能强大的监测工具上仍有一定差距。国外互联网巨头自主研发了一批先进工具,而国内的监测工具在一些功能上仍需要不断完善和创新。
发明内容
为了解决现有技术中的上述问题,本发明提出了一种基于定制化数据服务的实时数据服务监测***,所述数据服务监测***包括指标建模模块、指标采集模块、数据转换模块、可视化展示模块和异常处理模块;所述指标建模模块采用机器学习和深度学习技术进行指标建模,利用历史和实时数据实现自动建模和优化,并预测未来异常情况,动态调整监测指标以符合实际业务需求;所述指标采集模块采用边缘计算技术进行指标数据采集,通过物联网设备和传感器实时采集、推送至云端处理;所述数据转换模块引入流式计算引擎进行实时计算和转换,采用数据湖架构存储原始结构的数据,所述可视化展示模块结合增强现实技术实现监测数据的虚拟展示;所述异常处理模块采用自适应异常检测算法,智能识别异常并实时触发运维操作,使用自动化运维技术,迅速应对异常情况。
所述指标建模模块通过历史和实时数据获取各项指标和相关业务数据;数据清洗、归一化和标准化阶段包括处理缺失值、剔除无效数据,对数据进行归一化处理,将数据映射到统一尺度,采用标准化使数据分布符合标准正态分布。
所述指标建模模块通过领域知识和数据分析提取与异常情况相关的关键特征,使用统计学方法和信息熵选择最具代表性和区分性的特征,在降维、筛选或转换阶段,采用主成分分析方法进行特征降维,利用过滤、包装或嵌入式方法进行特征筛选,保留最具信息量的特征;模型选择方面,根据业务需求选择适用于异常情况预测的机器学习和深度学习模型;在模型训练中,通过历史数据划分训练集和验证集,使用反向传播算法更新模型参数,通过交叉验证调整超参数,以确保模型的准确性和对实际情况的良好拟合;异常情况预测与动态调整阶段,通过训练好的模型预测未来异常情况,设定预测阈值判断异常情况概率;在动态调整监测指标阶段,根据异常情况预测结果,动态调整监测指标权重或阈值,以适应实际业务环境的动态变化。
所述指标采集模块首先选择适用于业务场景的物联网设备和传感器,采用通信协议以保障数据传输的稳定性和安全性;在边缘设备上部署轻量级的数据处理单元,通过嵌入式***或边缘计算节点实现数据的快速初步处理,包括数据清洗、去噪和基本的特征提取;通过实施实时数据采集策略和采用轻量级通信协议,使设备以高频率采集数据,并通过快速可靠的方式传输至云端。
所述指标采集模块建立了数据流通道,采用发布-订阅模型确保实时数据源的高效连接;并选择合适的流处理引擎,配置分区策略和数据保留策略,通过流处理引擎提供的API实现数据流的实时汇聚和整合。
所述指标采集模块在云端搭建了高可用、可扩展的数据处理基础设施,包括云数据库、数据仓库,并选择适当的云服务提供商,设计了协同算法,确保边缘设备和云端之间的数据同步和处理协同工作,考虑数据分片、数据合并和冲突解决策略以保证数据的一致性,并制定了实时同步机制,确保云端能够及时接收和处理来自边缘设备的实时数据,使用消息队列或事件驱动的方式,以确保处理的实时性和顺序性。
所述协同算法进行数据分片,将数据分解成小块以提高传输和处理效率;边缘设备将数据分片发送到云端后,协同算法负责在云端进行数据合并,确保来自多个边缘设备的数据能够正确合并形成完整的数据集;在分布式***中,协同算法定义冲突解决策略,包括时间戳比较和版本控制,以处理多个设备同时修改数据的冲突情况,确保最终数据状态一致且可靠;所述协同算法建立实时同步机制,设计实时通信协议和数据缓冲区,确保边缘设备的数据能够及时传输到云端;所述协同算法采用消息队列或事件驱动的方式,确保***按照特定顺序处理接收到的数据,避免数据的丢失或混淆。
所述数据转换模块首先选择适合业务需求和***特点的引擎,充分利用所选流式计算引擎提供的API和功能,确保实时计算和转换的流程能够高效处理数据流,包括数据过滤、聚合、窗口操作。
所述实时计算和转换的实施步骤包括建立流式计算作业和定义计算逻辑,所述建立流式计算作业时,定义数据源、选择计算引擎的窗口大小和触发条件参数,所述窗口操作采用滑动窗口或会话窗口,并选择合适的窗口大小和滑动步长,以满足实时需求进行数据分割和处理。
所述数据转换模块在数据湖架构的构建方面,首先设计数据湖架构,包括选择存储***和构建数据湖的目录结构,在存储***配置方面,包括存储桶的配置、选择文件格式以及数据的分区和压缩方式,将原始结构的数据按照设计好的目录结构存储在数据湖中,保留数据的原始格式,并定义数据保留策略,以确保数据的完整性和长期存储的可行性。
所述可视化展示模块在监测数据虚拟呈现方面,首先建立监测数据到虚拟场景的映射关系,利用增强现实技术的图像识别和跟踪功能,将虚拟监测数据对象与实际场景中的物体进行匹配,并通过相应算法保持虚实融合的稳定性,以防止虚拟对象在实际场景中的抖动或不稳定表现。
所述映射关系进一步包括通过考虑监测数据的种类和属性,将不同类型的监测数据映射到虚拟场景中的相应元素;在虚拟场景中能够保持相应的空间关系,包括位置、方向、大小信息;颜色和形状的映射则用于根据监测数据的特性选择合适的视觉元素。
将虚拟监测数据对象与实际场景中的物体进行匹配进一步包括实景图像的实时分析,以确定虚拟对象的准确放置位置和方向,通过使用实时图像分析和匹配算法,保证虚拟对象与实际场景的融合稳定,防止虚拟对象在实际场景中出现抖动、漂移或不稳定的现象。
所述实时图像分析和匹配算法首要步骤是从实际场景的图像中提取关键特征点,所述特征点通过局部特征描述子进行描述,实时图像匹配利用最近邻算法将实际场景中的特征点与虚拟对象的特征点进行匹配,匹配的特征点进行几何校正,特征点的运动估计采用运动估计算法,并通过稳定性优化保持匹配关系的稳定性。
所述异常处理模块包括自适应异常检测算法、异常触发运维操作***设计和自动化运维技术整合,自适应异常检测算法通过智能识别异常情况实时触发运维操作,结合自动化运维技术,提高***稳定性,减少人工干预时间。
所述自适应异常检测算法通过数据采集和预处理,收集历史监测指标数据,进行噪声去除和缺失值处理,提取时间序列或频域分析,选择机器学习或统计分析模型并进行模型训练,通过实时监测和异常检测,使用滑动窗口技术确保算法对数据的动态变化能有效响应,采用自适应学习和在线学习机制,使算法能根据***运行状态的变化进行实时调整,提高算法的实时性和适应性。
所述异常触发运维操作***建立异常分类体系和运维响应机制,通过异常分类和级别划分,***能有针对性地进行运维操作响应,建立运维操作规则引擎,通过规则引擎技术实现对异常情况到运维操作的映射,确保***具有灵活性和可维护性;集成自动化运维脚本和工具,实现各类异常响应操作,包括自动故障排查、性能调优脚本、资源调配工具;通过异步任务队列,确保运维操作的异步执行,避免阻塞主***;实现状态监测和反馈机制,对运维操作执行状态进行监测,以确保操作的成功执行,并提供***整体健康状况的反馈。
所述自动化运维技术整合方案引入DevOps流程,应用配置管理工具实现***配置的自动化管理,确保环境的一致性和可重复性,建设自动化脚本库,包括故障排查和性能优化方面的脚本,提高自动化运维的效率和覆盖范围。
采用本申请的技术方案,能够在数据中台数据服务监测中取得一系列有益效果如下:
首先,在指标建模方面,引入机器学习和深度学习技术将使***能够更智能地建模和优化指标体系。通过对历史数据和实时数据的分析,***可以实现更准确的指标预测,提高对未来异常情况的敏感性。这将使监测指标更加贴近实际业务状况,有效减少误报和漏报,提升监测体系的准确性和实用性。
其次,在指标采集方面,采用边缘计算技术可以将指标数据实时推送至云端进行处理。通过物联网设备和传感器的实时数据采集,***能够减轻数据源***的压力,确保实时性能。结合数据流式处理技术,实现数据的实时汇聚和整合,进一步提高整个***的响应速度,确保数据的及时性。
在数据转换方面,引入流式计算引擎和数据湖架构将带来显著的益处。流式计算引擎如Apache Flink或Spark Streaming能够实现数据的实时计算和转换,提高***的灵活性,减少对中间数据库的依赖,应对数据的多样性和变化。采用数据湖架构存储原始结构的数据,有助于更好地管理和利用数据,降低数据处理的时延。
在可视化展示方面,结合增强现实技术将监测数据以虚拟的方式呈现在现实场景中。这不仅提升了数据可视化的沉浸感和交互性,使监测结果更直观,还通过自适应设计确保在不同终端和设备上都能良好展示监测结果,进一步增强用户体验。
最后,在异常处理方面,引入自适应异常检测算法和自动化运维技术将***的稳定性提升到一个新水平。***能够智能识别异常,并实时触发相应的运维操作。这有助于减少人工干预时间,降低异常情况对***运行的影响,保证数据服务的稳定性和性能。
综合而言,本申请的技术方案将使监测***更智能、灵活、实时,为企业数字化转型提供更为可靠的支持。这些效果直接影响数据服务的稳定性和性能,最终提高企业的数字化运营效率和用户体验。
附图说明
此处所说明的附图是用来提供对本发明的进一步理解,构成本申请的一部分,但并不构成对本发明的不当限定,在附图中:
图1是本发明的***结构图。
具体实施方式
下面将结合附图以及具体实施例来详细说明本发明,其中的示意性实施例以及说明仅用来解释本发明,但并不作为对本发明的限定。
本发明的一种基于定制化数据服务的实时数据服务监测***包括指标建模模块、指标采集模块、数据转换模块、可视化展示模块和异常处理模块。
指标建模模块首先着眼于数据的收集和准备。通过获取历史数据和实时数据,包括各项指标和相关业务数据,从数据库、日志文件、API接口等多源数据中汇聚信息,为后续建模和分析奠定基础。在数据清洗、归一化和标准化阶段,采取缺失值处理,剔除无效数据,对数据进行归一化,将数据映射到统一的尺度,避免模型受到特征值范围的影响,采用标准化等手段,确保数据分布符合标准正态分布,提高模型的稳定性,以此确保数据的质量和一致性,以提高后续模型的训练效果。
随后,特征工程成为关键步骤,通过基于领域知识和数据分析的手段,提取与异常情况相关的关键特征。统计学方法和信息熵等工具用于选择最具代表性和区分性的特征。在特征工程的降维、筛选或转换阶段,采用主成分分析(PCA)等方法进行特征降维,减少冗余信息,同时利用过滤、包装或嵌入式方法进行特征筛选,确保保留最具信息量的特征。对特征进行非线性转换,如多项式变换,有助于增强模型的表达能力,更好地适应复杂的业务场景。
进入模型选择和训练的阶段,首先在模型选择方面,根据业务需求选择了适用于异常情况预测的机器学习和深度学习模型,如决策树、随机森林、长短时记忆网络(LSTM)等。在模型训练中,将历史数据划分为训练集和验证集,通过反向传播算法更新模型参数,并通过交叉验证调整超参数,以达到最佳性能。这确保了模型的准确性和对实际情况的良好拟合。
最后,针对异常情况预测与动态调整,通过训练好的模型对未来出现的异常情况进行预测,设定合适的预测阈值来判断异常情况的发生概率。在动态调整监测指标阶段,根据异常情况预测结果,动态调整监测指标的权重或阈值,考虑业务场景的变化,使模型适应实际业务环境的动态变化。
本申请的指标建模模块实现指标建模的自动化和智能化,提高了指标预测的准确性和灵敏性,降低了误报和漏报的风险。其创新点在于引入机器学习和深度学习技术,突破了传统指标建模的局限性,通过数据学习实现对复杂关系和模式的挖掘,提高了建模精度。
本申请的指标采集模块采用边缘计算技术,边缘计算技术将数据处理的焦点从云端转移到边缘设备上,通过在物联网设备和传感器上实现实时数据采集和初步处理,降低了数据源***的负担,同时提高了整个***的实时性能。
指标采集模块首先选择适用于业务场景的物联网设备和传感器,以确保其能够提供高质量的实时数据。这涵盖了考虑通信协议,以保障数据传输的稳定性和安全性。随后,通过在边缘设备上部署轻量级的数据处理单元,采用嵌入式***或边缘计算节点,实现了数据的快速初步处理,包括数据清洗、去噪和基本的特征提取。最后,通过实施实时数据采集策略和采用轻量级通信协议,例如MQTT,确保设备能够以高频率采集数据,并通过快速可靠的方式传输至云端。
在实时数据流处理方面,首先建立了数据流通道,采用发布-订阅模型,确保实时数据源的高效连接。选择合适的流处理引擎,如Apache Kafka或AWS Kinesis,并进行配置,包括分区策略、数据保留策略等。通过利用流处理引擎提供的API,实现了数据流的实时汇聚和整合,同时考虑窗口操作,如滑动窗口或会话窗口,以适应不同的实时处理需求。
在边缘-云协同处理方面,首先在云端搭建了高可用、可扩展的数据处理基础设施,包括云数据库、数据仓库等,并选择了适当的云服务提供商,如AWS、Azure或阿里云。设计了协同算法,确保边缘设备和云端之间的数据同步和处理协同工作,考虑了数据分片、数据合并和冲突解决策略以保证数据的一致性。制定了实时同步机制,确保云端能够及时接收和处理来自边缘设备的实时数据,考虑了使用消息队列或事件驱动的方式,以确保处理的实时性和顺序性。
本申请的协同算法在边缘-云协同处理中具有关键作用,旨在确保边缘设备和云端之间实现高效的数据同步和处理协同。
在面对大规模数据的情况下,协同算法的首要任务是进行数据分片。这涉及将数据分解成小块,即数据分片,每个分片包含部分数据,以提高数据传输和处理的效率。一旦边缘设备将数据分片发送到云端,协同算法需要负责在云端进行数据合并。这确保了来自多个边缘设备的数据能够被正确合并,形成完整的数据集。在分布式***中,由于数据来自多个边缘设备,存在数据同时被多个设备修改的冲突情况。协同算法明确定义冲突解决策略,包括时间戳比较和版本控制,以确保最终的数据状态是一致且可靠的。为了保证数据的实时性和完整性,协同算法建立实时同步机制。这涉及实时通信协议和数据缓冲区的设计,以确保边缘设备的数据能够及时传输到云端。为实现处理的实时性和顺序性,协同算法采用消息队列或事件驱动的方式。***能够按照特定顺序处理接收到的数据,避免数据的丢失或混淆。
指标采集模块在实时性能提升方面具有显著优势。通过在边缘设备上进行初步处理,将实时数据快速推送至云端,降低了对云端资源的压力,提高了整个***的实时性能。在于边缘和云端的协同工作,使***更加灵活适应业务环境的变化,边缘设备的部署具有灵活调整的特点。
数据转换模块引入流式计算引擎(如Apache Flink或Spark Streaming)和数据湖架构,以解决数据转换过程中的技术问题。
引入流式计算引擎的实施方案首先着眼于合适的引擎选择,考虑业务需求和***特点,选择性能、容错性和与现有***集成能力强的流式计算引擎,如Apache Flink或Spark Streaming。进一步,在设计阶段充分利用所选流式计算引擎提供的API和功能,确保实时计算和转换的流程能够高效处理数据流,包括数据过滤、聚合、窗口操作等。
随后,实时计算和转换的实施步骤包括建立流式计算作业和定义计算逻辑。基于设计好的计算逻辑,建立流式计算作业,包括对数据源的定义、选择计算引擎的窗口大小和触发条件等参数的设置。在计算逻辑的定义方面,确保其能够即时处理流中的数据,考虑使用流处理引擎提供的函数,如map、filter、reduce等,以保证高效的实时计算和转换任务。
对于窗口操作的应用,采用滑动窗口或会话窗口,并选择合适的窗口大小和滑动步长,以满足实时需求进行数据分割和处理。
在数据湖架构的构建方面,首先设计数据湖架构,包括选择存储***(如AWS S3或Hadoop HDFS)和构建数据湖的目录结构。在存储***配置方面,进行详细的设置,包括存储桶的配置、选择文件格式以及数据的分区和压缩方式等,以优化存储***以适应大规模、高变化的数据。最后,将原始结构的数据按照设计好的目录结构存储在数据湖中,保留数据的原始格式,并定义数据保留策略,以确保数据的完整性和长期存储的可行性。
通过以上实施方案,***能够有效地引入流式计算引擎进行实时计算和转换,同时构建健壮的数据湖架构,以更好地适应实时数据处理和多样性数据存储的需求。
数据转换模块的技术优点体现在实时计算和转换方面,引入流式计算引擎能够大幅缩短数据处理的时间窗口,提高了数据处理的效率。同时,数据湖架构的创新在于更好地适应数据多样性和变化,提高了数据的可访问性和可用性。
可视化展示模块结合增强现实技术,将监测数据以虚拟的方式呈现在现实场景中,以提升数据可视化的沉浸感和交互性。通过自适应设计,确保在不同终端和设备上都能良好展示监测结果,进一步增强用户体验。
通过对增强现实技术的选择,本申请首先需深入评估应用场景和设备兼容性。对于不同领域,需确保所选技术在目标设备上具有充分的兼容性,包括ARKit、ARCore等技术的评估,考虑其成熟度、性能,以及虚拟对象与实际场景融合的效果。技术成熟度的调研包括技术的稳定性、可靠性,并对已有案例进行研究,以积累成功经验。
在监测数据虚拟呈现方面,本申请着重于建立映射关系,确保监测数据能够在现实场景中直观呈现。这需要深入设计监测数据到虚拟场景的映射关系,综合考虑数据类型和空间关系等因素。利用增强现实技术的图像识别和跟踪功能,将虚拟监测数据对象与实际场景中的物体进行匹配,并通过相应算法保持虚实融合的稳定性,以防止虚拟对象在实际场景中的抖动或不稳定表现。
在建立监测数据与虚拟场景之间的映射关系时,本申请需要考虑多个关键方面,以确保监测数据在现实场景中直观而准确地呈现。
首先,数据类型的映射是至关重要的。通过考虑监测数据的种类和属性,本申请能够将不同类型的监测数据映射到虚拟场景中的相应元素。例如,将温度数据映射为热力图或立体温度柱,将压力数据映射为虚拟物体的形变,从而直观展示监测信息。
其次,本申请需要关注空间关系的映射,确保在虚拟场景中能够保持相应的空间关系。这包括将监测数据的位置、方向、大小等信息映射到虚拟对象的位置、方向、大小,以保持一致性和准确性。
颜色和形状的映射是为了根据监测数据的特性选择合适的视觉元素,使虚拟监测对象在实际场景中更易于识别和理解。例如,通过采用暖色调表示高温区域,以及通过特定的形状表达异常状态,提高用户对监测数据的感知度。
在利用增强现实技术的图像识别和跟踪功能时,本申请致力于将虚拟监测数据对象与实际场景中的物体进行匹配。这涉及对实景图像进行实时分析,以确定虚拟对象的准确放置位置和方向。最后,通过使用实时图像分析和匹配算法,本申请保证虚拟对象与实际场景的融合稳定。这种稳定性的映射防止虚拟对象在实际场景中出现抖动、漂移或不稳定的现象,通过实时调整虚拟对象的位置和方向,以适应实际场景的变化,提供更加流畅和真实的用户体验。
所述实时图像分析和匹配算法从实际场景的图像中提取关键特征点是该算法的首要步骤。这些特征点通常包括图像中独特而稳定的位置,如角点或边缘。提取特征的目的是捕获场景中有意义的信息,为后续的匹配和定位提供依据。
提取的特征点需要进行描述,将其转换为可用于比较的数学形式。局部特征描述子,使用SIFT(尺度不变特征变换)或SURF(加速鲁棒特征),其对图像的缩放和旋转具有不变性,有助于提高匹配的准确性。
实时图像匹配是将实际场景中提取的特征与预先存储的虚拟对象的特征进行匹配。采用匹配算法,如最近邻算法,找到实际场景中特征点与虚拟对象特征点之间的对应关系,建立虚实融合的基础。匹配的特征点需要进行几何校正,以考虑不同视角、旋转和缩放等因素。这一步确保了虚拟对象与实际场景的相对位置关系的准确性,为后续的运动估计提供可靠的基础。在实时场景中追踪特征点的移动是为了估计虚拟对象相对于实际场景的运动。运动估计算法,如光流法或迭代最近点(ICP)算法,用于跟踪特征点的运动,并确定虚拟对象的位置和方向。为了确保虚拟对象与实际场景的匹配关系在时间上保持稳定,稳定性优化采用滤波器或平滑算法。这有助于减轻由于噪声或瞬时变化引起的抖动或不稳定性,提供更加真实、流畅的用户体验。
这些算法的协同工作保证了实际场景中的虚拟对象与现实场景的稳定匹配,为用户提供可靠的虚实融合体验,确保他们在使用增强现实技术时能够准确感知虚拟对象的存在和位置。
通过深入设计和实施这些映射关系,本申请实现了监测数据在增强现实环境中的直观呈现,使用户能够在实际场景中更自然地理解和分析监测数据。
在自适应设计和界面优化方面,本申请通过自适应算法确保监测数据在不同终端和设备上都能良好展示。这包括考虑屏幕大小、分辨率、设备性能等因素,通过算法调整虚拟监测数据的大小、密度等参数。同时,本申请进行用户界面的优化,设计友好的交互方式,如手势控制、语音识别等,通过算法实现交互方式的灵敏度调整,以提供用户轻松流畅的虚拟监测数据互动体验。
可视化展示模块的优点在于提升了沉浸感和交互性,用户可以在实际场景中直观地观察监测数据,从而增强了数据可视化的效果。实时虚实融合效果确保虚拟监测数据能够与实际场景实时融合,反映最新的监测结果。相较于传统可视化方法,这种增强现实技术更生动直观,提高了数据的可理解性和记忆性。
异常处理模块包括自适应异常检测算法的设计、异常触发运维操作***设计和自动化运维技术整合。异常处理模块引入自适应异常检测算法,通过智能识别异常情况并实时触发运维操作,结合自动化运维技术,以提高***的稳定性并减少人工干预时间。
自适应异常检测算法的设计关键在于确保算法能够智能地识别异常情况并实时适应***的运行状态。首先,通过数据采集和预处理,***需要收集历史监测指标数据,并对其进行预处理,包括噪声去除和缺失值处理,以确保数据的质量和可用性。随后,进行特征工程,从监测指标中提取关键特征,例如通过时间序列分析或频域分析。选择适当的机器学习或统计分析模型,如支持向量机(SVM)或神经网络,并进行模型训练,使其能够自动学习***正常运行状态的模式。在实际应用中,需要通过实时监测和异常检测,使用滑动窗口等技术确保算法对数据的动态变化能够做出有效的响应。为了进一步提高算法的实时性和适应性,引入自适应学习和在线学习机制,使算法能够根据***运行状态的变化进行实时调整。
异常触发运维操作***的设计建立清晰的异常分类体系和灵活的运维响应机制。首先,通过异常分类和级别划分,***能够对各类异常情况有针对性地进行运维操作响应。建立运维操作规则引擎,通过规则引擎技术实现对异常情况到运维操作的映射,确保***具有灵活性和可维护性。集成自动化运维脚本和工具,实现各类异常响应操作,涵盖自动故障排查、性能调优脚本、资源调配工具等。通过异步任务队列,确保运维操作的异步执行,避免阻塞主***。实现状态监测和反馈机制,对运维操作执行状态进行监测,以确保操作的成功执行,并提供***整体健康状况的反馈。
自动化运维技术整合方案包括引入DevOps流程、应用配置管理工具和建设自动化脚本库。首先,引入DevOps理念,将开发和运维过程紧密结合,实现持续集成和持续交付,以确保***能够快速响应和不断优化。应用配置管理工具,如Ansible和Puppet,实现***配置的自动化管理,确保环境的一致性和可重复性。建设自动化脚本库,包括故障排查和性能优化等方面的脚本,以提高自动化运维的效率和覆盖范围。这样的整合方案有助于***在异常情况下迅速采取相应措施,提高***的可用性和稳定性。
相较于传统的阈值报警方式,自适应异常检测算法能够智能地适应***的变化,提高了对复杂环境和未知异常的识别能力,从而减少误报率。异常触发的自动化运维操作***能够快速响应异常情况,减少了人工干预时间,提高了***的可用性和稳定性。结合自动化运维技术,不仅能够处理异常情况,还可以进行***性能的持续优化,确保***在长期运行中保持高效稳定的状态。
以上所述仅是本发明的较佳实施方式,故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰,均包括于本发明专利申请范围内。

Claims (18)

1.一种数据服务监测***,其特征在于:所述数据服务监测***包括指标建模模块、指标采集模块、数据转换模块、可视化展示模块和异常处理模块;所述指标建模模块采用机器学习和深度学习技术进行指标建模,利用历史和实时数据实现自动建模和优化,并预测未来异常情况,动态调整监测指标以符合实际业务需求;所述指标采集模块采用边缘计算技术进行指标数据采集,通过物联网设备和传感器实时采集、推送至云端处理;所述数据转换模块引入流式计算引擎进行实时计算和转换,采用数据湖架构存储原始结构的数据,所述可视化展示模块结合增强现实技术实现监测数据的虚拟展示;所述异常处理模块采用自适应异常检测算法,智能识别异常并实时触发运维操作,使用自动化运维技术,迅速应对异常情况。
2.如权利要求1所述的一种数据服务监测***,其特征在于:所述指标建模模块通过历史和实时数据获取各项指标和相关业务数据;数据清洗、归一化和标准化阶段包括处理缺失值、剔除无效数据,对数据进行归一化处理,将数据映射到统一尺度,采用标准化使数据分布符合标准正态分布。
3.如权利要求2所述的一种数据服务监测***,其特征在于:所述指标建模模块通过领域知识和数据分析提取与异常情况相关的关键特征,使用统计学方法和信息熵选择最具代表性和区分性的特征,在降维、筛选或转换阶段,采用主成分分析方法进行特征降维,利用过滤、包装或嵌入式方法进行特征筛选,保留最具信息量的特征;模型选择方面,根据业务需求选择适用于异常情况预测的机器学习和深度学习模型;在模型训练中,通过历史数据划分训练集和验证集,使用反向传播算法更新模型参数,通过交叉验证调整超参数,以确保模型的准确性和对实际情况的良好拟合;异常情况预测与动态调整阶段,通过训练好的模型预测未来异常情况,设定预测阈值判断异常情况概率;在动态调整监测指标阶段,根据异常情况预测结果,动态调整监测指标权重或阈值,以适应实际业务环境的动态变化。
4.如权利要求1所述的一种数据服务监测***,其特征在于:所述指标采集模块首先选择适用于业务场景的物联网设备和传感器,采用通信协议以保障数据传输的稳定性和安全性;在边缘设备上部署轻量级的数据处理单元,通过嵌入式***或边缘计算节点实现数据的快速初步处理,包括数据清洗、去噪和基本的特征提取;通过实施实时数据采集策略和采用轻量级通信协议,使设备以高频率采集数据,并通过快速可靠的方式传输至云端。
5.如权利要求4所述的一种数据服务监测***,其特征在于:所述指标采集模块建立了数据流通道,采用发布-订阅模型确保实时数据源的高效连接;并选择合适的流处理引擎,配置分区策略和数据保留策略,通过流处理引擎提供的API实现数据流的实时汇聚和整合。
6.如权利要求4所述的一种数据服务监测***,其特征在于:所述指标采集模块在云端搭建了高可用、可扩展的数据处理基础设施,包括云数据库、数据仓库,并选择适当的云服务提供商,设计了协同算法,确保边缘设备和云端之间的数据同步和处理协同工作,考虑数据分片、数据合并和冲突解决策略以保证数据的一致性,并制定了实时同步机制,确保云端能够及时接收和处理来自边缘设备的实时数据,使用消息队列或事件驱动的方式,以确保处理的实时性和顺序性。
7.如权利要求6所述的一种数据服务监测***,其特征在于:所述协同算法进行数据分片,将数据分解成小块以提高传输和处理效率;边缘设备将数据分片发送到云端后,协同算法负责在云端进行数据合并,确保来自多个边缘设备的数据能够正确合并形成完整的数据集;在分布式***中,协同算法定义冲突解决策略,包括时间戳比较和版本控制,以处理多个设备同时修改数据的冲突情况,确保最终数据状态一致且可靠;所述协同算法建立实时同步机制,设计实时通信协议和数据缓冲区,确保边缘设备的数据能够及时传输到云端;所述协同算法采用消息队列或事件驱动的方式,确保***按照特定顺序处理接收到的数据,避免数据的丢失或混淆。
8.如权利要求1所述的一种数据服务监测***,其特征在于:所述数据转换模块首先选择适合业务需求和***特点的引擎,充分利用所选流式计算引擎提供的API和功能,确保实时计算和转换的流程能够高效处理数据流,包括数据过滤、聚合、窗口操作。
9.如权利要求8所述的一种数据服务监测***,其特征在于:所述实时计算和转换的实施步骤包括建立流式计算作业和定义计算逻辑,所述建立流式计算作业时,定义数据源、选择计算引擎的窗口大小和触发条件参数,所述窗口操作采用滑动窗口或会话窗口,并选择合适的窗口大小和滑动步长,以满足实时需求进行数据分割和处理。
10.如权利要求1所述的一种数据服务监测***,其特征在于:所述数据转换模块在数据湖架构的构建方面,首先设计数据湖架构,包括选择存储***和构建数据湖的目录结构,在存储***配置方面,包括存储桶的配置、选择文件格式以及数据的分区和压缩方式,将原始结构的数据按照设计好的目录结构存储在数据湖中,保留数据的原始格式,并定义数据保留策略,以确保数据的完整性和长期存储的可行性。
11.如权利要求1所述的一种数据服务监测***,其特征在于:所述可视化展示模块在监测数据虚拟呈现方面,首先建立监测数据到虚拟场景的映射关系,利用增强现实技术的图像识别和跟踪功能,将虚拟监测数据对象与实际场景中的物体进行匹配,并通过相应算法保持虚实融合的稳定性,以防止虚拟对象在实际场景中的抖动或不稳定表现。
12.如权利要求11所述的一种数据服务监测***,其特征在于:所述映射关系进一步包括通过考虑监测数据的种类和属性,将不同类型的监测数据映射到虚拟场景中的相应元素;在虚拟场景中能够保持相应的空间关系,包括位置、方向、大小信息;颜色和形状的映射则用于根据监测数据的特性选择合适的视觉元素。
13.如权利要求11所述的一种数据服务监测***,其特征在于:将虚拟监测数据对象与实际场景中的物体进行匹配进一步包括实景图像的实时分析,以确定虚拟对象的准确放置位置和方向,通过使用实时图像分析和匹配算法,保证虚拟对象与实际场景的融合稳定,防止虚拟对象在实际场景中出现抖动、漂移或不稳定的现象。
14.如权利要求13所述的一种数据服务监测***,其特征在于:所述实时图像分析和匹配算法首要步骤是从实际场景的图像中提取关键特征点,所述特征点通过局部特征描述子进行描述,实时图像匹配利用最近邻算法将实际场景中的特征点与虚拟对象的特征点进行匹配,匹配的特征点进行几何校正,特征点的运动估计采用运动估计算法,并通过稳定性优化保持匹配关系的稳定性。
15.如权利要求1所述的一种数据服务监测***,其特征在于:所述异常处理模块包括自适应异常检测算法、异常触发运维操作***设计和自动化运维技术整合,自适应异常检测算法通过智能识别异常情况实时触发运维操作,结合自动化运维技术,提高***稳定性,减少人工干预时间。
16.如权利要求15所述的一种数据服务监测***,其特征在于:所述自适应异常检测算法通过数据采集和预处理,收集历史监测指标数据,进行噪声去除和缺失值处理,提取时间序列或频域分析,选择机器学习或统计分析模型并进行模型训练,通过实时监测和异常检测,使用滑动窗口技术确保算法对数据的动态变化能有效响应,采用自适应学习和在线学习机制,使算法能根据***运行状态的变化进行实时调整,提高算法的实时性和适应性。
17.如权利要求15所述的一种数据服务监测***,其特征在于:所述异常触发运维操作***建立异常分类体系和运维响应机制,通过异常分类和级别划分,***能有针对性地进行运维操作响应,建立运维操作规则引擎,通过规则引擎技术实现对异常情况到运维操作的映射,确保***具有灵活性和可维护性;集成自动化运维脚本和工具,实现各类异常响应操作,包括自动故障排查、性能调优脚本、资源调配工具;通过异步任务队列,确保运维操作的异步执行,避免阻塞主***;实现状态监测和反馈机制,对运维操作执行状态进行监测,以确保操作的成功执行,并提供***整体健康状况的反馈。
18.如权利要求15所述的一种数据服务监测***,其特征在于:所述自动化运维技术整合方案引入DevOps流程,应用配置管理工具实现***配置的自动化管理,确保环境的一致性和可重复性,建设自动化脚本库,包括故障排查和性能优化方面的脚本,提高自动化运维的效率和覆盖范围。
CN202311643233.9A 2023-12-04 2023-12-04 一种数据服务监测*** Pending CN117540321A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311643233.9A CN117540321A (zh) 2023-12-04 2023-12-04 一种数据服务监测***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311643233.9A CN117540321A (zh) 2023-12-04 2023-12-04 一种数据服务监测***

Publications (1)

Publication Number Publication Date
CN117540321A true CN117540321A (zh) 2024-02-09

Family

ID=89784104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311643233.9A Pending CN117540321A (zh) 2023-12-04 2023-12-04 一种数据服务监测***

Country Status (1)

Country Link
CN (1) CN117540321A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118051374A (zh) * 2024-04-11 2024-05-17 广东琴智科技研究院有限公司 一种智能化检查点恢复方法、云操作***以及计算平台
CN118172516A (zh) * 2024-05-13 2024-06-11 威海海洋职业学院 一种用于虚拟现实的图像数据处理方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118051374A (zh) * 2024-04-11 2024-05-17 广东琴智科技研究院有限公司 一种智能化检查点恢复方法、云操作***以及计算平台
CN118172516A (zh) * 2024-05-13 2024-06-11 威海海洋职业学院 一种用于虚拟现实的图像数据处理方法及***

Similar Documents

Publication Publication Date Title
US20210326128A1 (en) Edge Computing Platform
Khare et al. Big data in IoT
US10007513B2 (en) Edge intelligence platform, and internet of things sensor streams system
CN117540321A (zh) 一种数据服务监测***
EP2688296B1 (en) Video monitoring system and method
US20220060541A1 (en) Utlity network project modeling and management
Tsai et al. Distributed analytics in fog computing platforms using tensorflow and kubernetes
EP3321821B1 (en) Big data exchange method and device
Distefano et al. Device-centric sensing: an alternative to data-centric approaches
US11080159B2 (en) Monitor-mine-manage cycle
CN111614784B (zh) 用于工地的异构数据的边缘计算盒子
CN114169579B (zh) 核电工业互联网综合智能平台***
CN109510721A (zh) 一种基于Syslog的网络日志管理方法与***
CN110891052A (zh) 一种自然资源空间数据跨网查询***及方法
Dautov et al. Quantifying volume, velocity, and variety to support (Big) data-intensive application development
CN111935663B (zh) 传感器数据流的处理方法、装置、介质及电子设备
CN111259839A (zh) 目标对象行为监测方法、装置、设备、***及存储介质
CN116760884B (zh) 一种海洋大数据云服务***与应用方法
CN108228900B (zh) 基于分层结构的电力设备多光谱数据中心模型建立方法
US10693736B2 (en) Real time simulation monitoring
CN116580362B (zh) 输电运维跨***融合数据的采集方法及数字资产处理***
CN117194562A (zh) 数据同步方法和装置、电子设备和计算机可读介质
CN116594836A (zh) 一种基于云原生的多云异构资源统一监控方法及装置
CN112039936A (zh) 数据传输方法、第一数据处理设备及监控***
CN110263251A (zh) 一种基于上下文模型的运维知识推送方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination