CN112597205A - 一种基于流及消息调度的实时数据计算及存储方法 - Google Patents

一种基于流及消息调度的实时数据计算及存储方法 Download PDF

Info

Publication number
CN112597205A
CN112597205A CN202011608430.3A CN202011608430A CN112597205A CN 112597205 A CN112597205 A CN 112597205A CN 202011608430 A CN202011608430 A CN 202011608430A CN 112597205 A CN112597205 A CN 112597205A
Authority
CN
China
Prior art keywords
data
real
time
stream
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011608430.3A
Other languages
English (en)
Inventor
姜宇
周含笑
刘源
于雷
王兆祥
董丽娜
李墨野
王建勋
赵辉
邵文杰
马刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Space Star Data System Technology Co ltd
Original Assignee
Harbin Space Star Data System Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Space Star Data System Technology Co ltd filed Critical Harbin Space Star Data System Technology Co ltd
Priority to CN202011608430.3A priority Critical patent/CN112597205A/zh
Publication of CN112597205A publication Critical patent/CN112597205A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于流及消息调度的实时数据计算及存储方法，包括如下步骤：步骤一、数据流缓冲，建立大数据高并发场景下的数据缓冲通道，采用kafka***为数据消费者提供消峰后的稳定数据源；步骤二、实时数据分析，通过准实时流计算引擎，根据实际需求完成海量实时数据的在线运算分析；步骤三、实时数据存储，源数据根据时间点存入分布式时序数据库，实现大数据的实时性时序存储及历史数据检索。本发明提供的方法，可应用于海量数据的实时数据分析存储***中，提升其快速数据处理能力、实时运算响应速度、海量数据存储能力以及满足数据订阅需求。

Description

一种基于流及消息调度的实时数据计算及存储方法
技术领域
本发明涉及数据处理领域，具体涉及一种基于流+消息调度的实时数据计算及存储方法。
背景技术
在智慧城市建设领域，随着智能传感器终端、数据传输网罗、大数据及云计算技术的广泛应用和发展，使获取多源数据的方式变得越来越简便，在城市计算环境下，需要处理原来越多的城市规划、交通控制、环境保护、居民生活、社会运转以及公共事务等领域的实时数据流。在智慧城市的发展建设中，构建多样化城市服务需要利用海量多种类的数据，为服务社会提供坚实的数据基础，因此也给智慧城市的规划和建设带来了新的机遇和挑战。
通常，在智慧城市应用的基础便是大量传感器数据的采集、传输、存储、分析，当前这类数据处理模式面临着实时性及分析多样性的巨大挑战，而且当前的分析基本都是离线的计算作业，该计算量可能需要数分钟甚至数小时，无法满足实时性要求。
上述相关智慧城市领域数据采集在应用初期满足了基本的管理需求，然而随着智能化的不断深入，城市精细化，智能化管理需求越来越强烈，以往的方案已经无法满足应用需要：一是简单的数据存储比较单一，大量数据积压，丢包都是常见现象。二是传统的分析模式，时效性太低，智慧城市中问题发生需要很高的时效性，需要***及时分析响应。三传统数据分析需要投入大量人力进行实时动态的监控。
发明内容
本发明是要解决现有上述提出技术问题，进而提供了一一种基于流及消息调度的实时数据计算及存储方法。
本发明的一种基于流及消息调度的实时数据计算及存储方法，包括如下步骤：
步骤一、数据流缓冲，建立大数据高并发场景下的数据缓冲通道，采用kafka***为数据消费者提供消峰后的稳定数据源；
步骤二、实时数据分析，通过准实时流计算引擎，根据实际需求完成海量实时数据的在线运算分析；
步骤三、实时数据存储，源数据根据时间点存入分布式时序数据库，实现大数据的实时性时序存储及历史数据检索；
步骤四、分析结果存储，根据实际需求将分析结果存入相应的分布式数据库。
步骤二中，数据流缓冲时建立高吞吐，高可用的数据上报通道，同时通过扩展消息调度集群完成数据接收网关的横向扩展。
步骤二中，实时数据存储在以分布式技术为基础的时序数据库opentsdb内，opentsdb是建立在hbase基础上的时序数据库，提供http形式的api数据接口。
在线流式计算中，流计算引擎实时消费消息调度模块队列消息，根据关系型数据库mysql中存储的报警规则对比完成在线实时分析。
分析结果推送到数据流引擎kafka，完成消息订阅关系。
分析结果可按***实际要求推送到消息管道特定实时消费主题，订阅者可通过订阅该消费主题对分析的结果进行实时接收。
本发明的有益效果包括：
1、本发明提供的方法，基于流及消息调度的组合模式，为该领域提供了一种新的解决问题角度与思路参考。
2、本发明提供的方法，可应用于海量数据的实时数据分析存储***中，提升其快速数据处理能力、实时运算响应速度、海量数据存储能力以及满足数据订阅需求。
附图说明
图1为本发明的流程示意图；
图2为本发明中实施方式中的流计算分析示意图。
具体实施方式
以下具体说明本发明的实施方式，参阅图1至2。
图1为本发明的实时流计算存储的示意图。
在步骤S1中，数据队列缓冲数据，在该步骤中通过建立采集客户端与数据流引擎即消息调度模块之间的关联，完成数据流缓冲，为***提供基础终端数据。
在步骤S2中，实现了在线流式计算，流计算引擎实时消费消息调度模块队列消息，完成在线分析。通过实时数据与数据模型对比分析，计算获得分析结果，实时计算快速响应。
在步骤S3中，完成订阅数据推送，分析结果推送订阅者，实时推送，为城市化快速响应提供数据支持。
在步骤S4中，实现了源数据持久化，源数据存入源数据时序数据库，设计优化的开源分布式时序数据库能有效提升存储能力和快检索能力。
图2示出了步骤S1，S2的在线分析数据图
在步骤S2中，通过S1中消息队列缓冲的实时数据，通过在线流式计算，流计算引擎实时消费消息调度模块队列消息，按需求完成在线分析。
图2示出了步骤S1，S2的在线分析数据图
在步骤S2中，通过S1中消息队列缓冲的实时数据，通过在线流式计算，流计算引擎实时消费消息调度模块队列消息，按需求完成在线分析。
实施例1
以城市路灯感知终端数据采集及采集后的分析为例。
通过传感器上传路灯实时数据到消息调度模块后，通过消息队列缓存分流模块对海量感知终端数据实时上报后的数据进行缓存分流，形成实时数据源，通过流计算引擎实时分析模块，依据流计算引擎计算方式进行实时性计算，按照已有的路灯参数模型对实时数据进行预测，可输出包括功耗状态是否正常，线损指标，是否存在误开关，一段时间内连续开关多次，会被定义为***故障。通过时序数据存储及结果数据分布式存储的数据存储模块，对感知的原始路灯时序数据和分析数据进行适应性存储。
上述内容仅为本发明的较佳实施例，并非用于限制本发明的实施方案，本领域普通技术人员根据本发明的主要构思和精神，可以十分方便地进行相应的变通或修改，故本发明的保护范围应以权利要求书所要求的保护范围为准。

Claims (5)

1.一种基于流及消息调度的实时数据计算及存储方法，其特征在于，包括如下步骤：
步骤一、数据流缓冲，建立大数据高并发场景下的数据缓冲通道，采用kafka***为数据消费者提供消峰后的稳定数据源；
步骤二、实时数据分析，通过准实时流计算引擎，根据实际需求完成海量实时数据的在线运算分析；
步骤三、实时数据存储，源数据根据时间点存入分布式时序数据库，实现大数据的实时性时序存储及历史数据检索；
步骤四、分析结果存储，根据实际需求将分析结果存入相应的分布式数据库。
2.根据权利要求1所述的基于流及消息调度的实时数据计算及存储方法，其特征在于，步骤二中，数据流缓冲时建立高吞吐，高可用的数据上报通道，同时通过扩展消息调度集群完成数据接收网关的横向扩展。
3.根据权利要求1所述的基于流及消息调度的实时数据计算及存储方法，其特征在于，步骤二中，实时数据存储在以分布式技术为基础的时序数据库opentsdb内，opentsdb是建立在hbase基础上的时序数据库，提供http形式的api数据接口。
4.根据权利要求1所述的基于流及消息调度的实时数据计算及存储方法，其特征在于，在线流式计算中，流计算引擎实时消费消息调度模块队列消息，根据关系型数据库mysql中存储的报警规则对比完成在线实时分析。
5.根据权利要求1所述的基于流及消息调度的实时数据计算及存储方法，其特征在于，分析结果推送到数据流引擎kafka，完成消息订阅关系。
CN202011608430.3A 2020-12-30 2020-12-30 一种基于流及消息调度的实时数据计算及存储方法 Pending CN112597205A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011608430.3A CN112597205A (zh) 2020-12-30 2020-12-30 一种基于流及消息调度的实时数据计算及存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011608430.3A CN112597205A (zh) 2020-12-30 2020-12-30 一种基于流及消息调度的实时数据计算及存储方法

Publications (1)

Publication Number Publication Date
CN112597205A true CN112597205A (zh) 2021-04-02

Family

ID=75206422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011608430.3A Pending CN112597205A (zh) 2020-12-30 2020-12-30 一种基于流及消息调度的实时数据计算及存储方法

Country Status (1)

Country Link
CN (1) CN112597205A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113282611A (zh) * 2021-06-29 2021-08-20 深圳平安智汇企业信息管理有限公司 一种流数据同步的方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704545A (zh) * 2017-11-08 2018-02-16 华东交通大学 基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法
CN111077870A (zh) * 2020-01-06 2020-04-28 浙江中烟工业有限责任公司 一种基于流计算的opc数据实时采集监控智能***及方法
CN111177276A (zh) * 2020-01-06 2020-05-19 浙江中烟工业有限责任公司 一种基于Spark计算框架的动能数据处理***及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704545A (zh) * 2017-11-08 2018-02-16 华东交通大学 基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法
CN111077870A (zh) * 2020-01-06 2020-04-28 浙江中烟工业有限责任公司 一种基于流计算的opc数据实时采集监控智能***及方法
CN111177276A (zh) * 2020-01-06 2020-05-19 浙江中烟工业有限责任公司 一种基于Spark计算框架的动能数据处理***及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113282611A (zh) * 2021-06-29 2021-08-20 深圳平安智汇企业信息管理有限公司 一种流数据同步的方法、装置、计算机设备及存储介质
CN113282611B (zh) * 2021-06-29 2024-04-23 深圳平安智汇企业信息管理有限公司 一种流数据同步的方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN107729413B (zh) 基于大数据的区域交通智能管理***
CN108346010B (zh) 基于用户需求分析的共享汽车调度方法
CN111741073B (zh) 基于5g通信网络的电力数据传输***
CN109951463A (zh) 一种基于流计算和新型列式存储的物联网大数据分析方法
CN111564053B (zh) 车辆调度方法、装置、车辆调度设备和存储介质
CN113299059B (zh) 一种数据驱动的道路交通管控决策支持方法
CN105354247A (zh) 一种支持存算联动的地理视频数据组织管理方法
CN103701619A (zh) 基于cdn和数据中心动态选择的互联网内容分发方法
CN101938814B (zh) 移动终端寻呼方法和移动呼叫中心设备
CN110912200B (zh) 一种梯级水电站优化调度***、方法及安全电网***
CN105049298A (zh) 一种云资源监控方法和***
CN108737519A (zh) 一种工业用物联网云服务平台智能采集方法
CN112597205A (zh) 一种基于流及消息调度的实时数据计算及存储方法
CN108001282B (zh) 一种基于大数据实现电价动态调整的充电装置及方法
CN105303292A (zh) 配电数据存储方法和装置
Fan et al. The application of mobile edge computing in agricultural water monitoring system
CN103118102A (zh) 一种在云计算环境下空间数据访问规律的统计与控制***及方法
CN105682124B (zh) 一种基于虚拟网络的节能方法
CN116366692A (zh) 一种高性能智能边缘终端***
CN105205605B (zh) 一种城市智能门户终端与电力营销终端的交互服务***
CN109271395A (zh) 用于综合监控***的大规模实时数据更新发布***及方法
CN112181920A (zh) 一种车联网大数据高性能压缩存储方法及***
CN113254417A (zh) 一种基于大数据技术的气象网格数据服务方法及***
CN104468515B (zh) 一种基于信息中心网络的智能变电站通信方法及***
Ying et al. Study on vehicle navigation system with real-time traffic information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210402

RJ01 Rejection of invention patent application after publication