CN114238834A - 基于发布订阅式物联网大数据实时处理方法、装置及*** - Google Patents

基于发布订阅式物联网大数据实时处理方法、装置及*** Download PDF

Info

Publication number
CN114238834A
CN114238834A CN202111559901.0A CN202111559901A CN114238834A CN 114238834 A CN114238834 A CN 114238834A CN 202111559901 A CN202111559901 A CN 202111559901A CN 114238834 A CN114238834 A CN 114238834A
Authority
CN
China
Prior art keywords
data
information
publish
real
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111559901.0A
Other languages
English (en)
Inventor
王飞
胡旭辉
刘欣
涂心浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XCMG Hanyun Technologies Co Ltd
Original Assignee
XCMG Hanyun Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XCMG Hanyun Technologies Co Ltd filed Critical XCMG Hanyun Technologies Co Ltd
Priority to CN202111559901.0A priority Critical patent/CN114238834A/zh
Publication of CN114238834A publication Critical patent/CN114238834A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种基于发布订阅式物联网大数据实时处理方法、装置及***，所述方法包括启动独立线程从数据库信息中获取业务应用数据，并同步到缓存中，形成缓存业务信息；响应于业务应用***作的信号，获得变更信息，并基于发布订阅方式对所述缓存业务信息进行数据更新；对设备采集的数据进行预处理，获得结构化数据；对所述缓存业务信息和结构化数据进行数据关联，形成新的结构体；基于所述新的结构体，进行实时业务处理。本发明基于发布订阅的方式实现了数据库的更新与缓存信息的同步，既提高了流式计算与数据库数据交互的性能，又保证了数据准确性。

Description

基于发布订阅式物联网大数据实时处理方法、装置及***
技术领域
本发明属于大数据处理技术领域，具体涉及一种基于发布订阅式物联网大数据实时处理方法、装置及***。
背景技术
随着物联网、大数据时代的到来，各行业对数据的实时性要求越来越强烈，从设备物联、到设备上云，再到数据可视化，人们更加迫切的追求数据的实时性，以Storm、Spark、Flink为代表的大数据分布式流式计算组件应运而生，在面对海量数据处理时，为了提高数据传输、计算的实时性，往往通过参数调优、增加并行度、增加计算节点等方式提高实时性能。然而在实际应用中，在处理复杂业务逻辑时，往往需要设备实时数据和业务数据库中的数据频繁的进行数据交互，增加了大量的IO操作，使得这些流式计算组件“力不从心”，特别是在数据高并发的情况下，出现数据处理不及时，最终出现数据堵塞、延迟情况。
现有的处理方法是利用缓存技术，预先缓存数据库中的信息，如缓存到内存或者Redis中，并使用单独一个线程定时更新缓存内容，然后在流式计算时，从缓存中获取数据与实时数据相结合，这种方式虽然减少了IO操作的频次，在一定程度上提高了实时计算的处理性能。但是，这种方式在实际操作上面临着如下问题：(1)如果缓存线程定时时间过长，数据库中的信息更新不及时，实时计算用到的业务数据可能是老数据(最坏效果是设置的定时时间新的周期之前的数据)，造成后面步骤的数据处理失真；(2)如果定时过短，起不到减少IO操作的效果，影响实时计算的性能。为此，需要依靠经验并根据实际业务及并发的数据量来手动调节定时参数，该参数的调节需要大量的试错，很难达到比较满意的效果。
发明内容
针对上述问题，本发明提出一种基于发布订阅式物联网大数据实时处理方法、装置及***，基于发布订阅的方式实现了数据库的更新与缓存信息的同步，既提高了流式计算与数据库数据交互的性能，又保证了数据准确性。
为了实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：
第一方面，一种基于发布订阅式物联网大数据实时处理方法，包括：
启动独立线程从数据库信息中获取业务应用数据，并同步到缓存中，形成缓存业务信息；
响应于业务应用***作的信号，获得变更信息，并基于发布订阅方式对所述缓存业务信息进行数据更新；
对设备采集的数据进行预处理，获得结构化数据；
对所述缓存业务信息和结构化数据进行数据关联，形成新的结构体；
基于所述新的结构体，进行实时业务处理。
可选地，所述基于发布订阅式物联网大数据实时处理方法，还包括：
响应于业务应用***作的信号，对数据库信息进行业务应用数据更新；
启动独立线程，定时把数据库信息中的变更信息同步到缓存业务信息中，完成对所述缓存业务信息进行数据更新。
可选地，所述基于发布订阅方式对所述缓存业务信息进行数据更新，具体为：
使用Kafka消息组件将变更信息发布到Kafka broker中；
Kafka消息订阅模块立即从Kafka broker中订阅消息，获得变更信息，并对所述缓存业务信息进行数据更新。
可选地，所述预处理包括：
将设备采集的数据进行空值检查、缺失值填充、异常值检测操作，得到新数据；
对所述新数据进行数据结构化处理，获得结构化数据。
可选地，所述结构化数据与缓存业务信息均暂存在流失计算的管道中。
第二方面，本发明提供了一种基于发布订阅式物联网大数据实时处理装置，包括：
缓存业务信息形成模块，用于启动独立线程从数据库信息中获取业务应用数据，并同步到缓存中，形成缓存业务信息；
更新模块，用于响应于业务应用***作的信号，获得变更信息，并基于发布订阅方式对所述缓存业务信息进行数据更新；
预处理模块，用于对设备采集的数据进行预处理，获得结构化数据；
数据关联模块，用于对所述缓存业务信息和结构化数据进行数据关联，形成新的结构体；
实时业务处理模块，用于基于所述新的结构体，进行实时业务处理。
可选地，所述基于发布订阅式物联网大数据实时处理方法，还包括：
响应于业务应用***作的信号，对数据库信息进行业务应用数据更新；
启动独立线程，定时把数据库信息中的变更信息同步到缓存业务信息中，完成对所述缓存业务信息进行数据更新。
可选地，所述基于发布订阅方式对所述缓存业务信息进行数据更新，具体为：
使用Kafka消息组件将变更信息发布到Kafka broker中；
Kafka消息订阅模块立即从Kafka broker中订阅消息，获得变更信息，并对所述缓存业务信息进行数据更新。
可选地，所述预处理包括：
将设备采集的数据进行空值检查、缺失值填充、异常值检测操作，得到新数据；
对所述新数据进行数据结构化处理，获得结构化数据。
第三方面，本发明提供了一种基于发布订阅式物联网大数据实时处理***，包括：
处理器；
存储器，其上存储有可在所述处理器上运行的计算机程序；
其中，所述计算机程序被所述处理器执行时实现如第一方面中任一项所述的方法。
与现有技术相比，本发明的有益效果：
本发明采用发布订阅的方式对大数据流式计算里的缓存数据进行触发式更新，高并发情况下，既能满足业务应用的数据和实时消息流的数据实时交互，又不影响流式计算的性能。
本发明定时更新缓存加上触发式更新缓存，保证流式计算数据的准确性、实时性；
本发明采用发布订阅方式更新缓存，一定程度上减少对数据库的依赖，使得应用模块和数据库模块解耦，当业务应用模块和数据库出现短暂的网络异常情况下，也不影响大数据实时流中的业务计算。
本发明使用Kafka集群模式，保证***的可靠性。
本发明提高用户体验度，应用上对设备的操作会立即得到体现。
附图说明
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中：
图1为本发明一种实施例的基于发布订阅式物联网大数据实时处理方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明的保护范围。
下面结合附图对本发明的应用原理作详细的描述。
实施例1
本发明实施例中提供了一种基于发布订阅式物联网大数据实时处理方法，包括以下步骤：
步骤(1)启动独立线程从数据库信息中获取业务应用数据，并同步到缓存中，形成缓存业务信息；
步骤(2)响应于业务应用***作的信号，获得变更信息，并基于发布订阅方式对所述缓存业务信息进行数据更新；
步骤(3)对设备采集的数据进行预处理，获得结构化数据；
步骤(4)对所述缓存业务信息和结构化数据进行数据关联，形成新的结构体；在实施使用过程中，所述结构化数据与缓存业务信息均暂存在流失计算的管道中；
步骤(5)基于所述新的结构体，进行实时业务处理。
在本发明实施例的一种具体实施方式中，所述基于发布订阅式物联网大数据实时处理方法，还包括：
响应于业务应用***作的信号，对数据库信息进行业务应用数据更新；
启动独立线程，定时把数据库信息中的变更信息同步到缓存业务信息中，完成对所述缓存业务信息进行数据更新。
在本发明实施例的一种具体实施方式中，所述基于发布订阅方式对所述缓存业务信息进行数据更新，具体为：
使用Kafka消息组件将变更信息发布到Kafka broker中；
Kafka消息订阅模块立即从Kafka broker中订阅消息，获得变更信息，并对所述缓存业务信息进行数据更新。
在本发明实施例的一种具体实施方式中，所述预处理包括：
将设备采集的数据进行空值检查、缺失值填充、异常值检测操作，得到新数据；
对所述新数据进行数据结构化处理，获得结构化数据；本发明实施例中所述的数据结构化处理可以采用现有技术来实现。
下面结合图1以及一具体实现方式对本发明实施例中的方法进行详细说明。
步骤一，启动独立线程，从数据库信息中获取业务应用数据同步到缓存中，形成缓存业务信息；
步骤二，对设备采集的数据进行预处理，形成结构化数据，并将所述结构化数据暂存到流式计算的管道中；
步骤三，通过步骤一中的缓存业务信息和步骤二中的结构化数据通过数据关联，共同作为一个新的结构体，以进行下一步的实时业务处理；
步骤四，当操作业务应用时(在实际应用过程中，可以是页面按钮等实现形式)，触发信息更改，数据库信息同步变更，并利用独立线程定时把数据库信息中的变更信息同步到缓存业务信息中；
步骤五，当操作业务应用时，触发信息更改，同时使用Kafka消息组件发布一条变更信息到Kafka broker中，这时流式计算中的Kafka消息订阅模块(该模块实时监听Kafkabroker，一旦发生信息改变，则会收到变更信息)会立即订阅一条消息对缓存业务信息进行更新，采用发布订阅方式更新缓存，一定程度上减少对数据库的依赖，使得应用模块和数据库模块解耦，当业务应用模块和数据库出现短暂的网络异常情况下，也不影响大数据实时流中的业务计算。
实施例2
基于与实施例1相同的发明构思，本发明实施例中提供了一种基于发布订阅式物联网大数据实时处理装置，包括：
缓存业务信息形成模块，用于启动独立线程从数据库信息中获取业务应用数据，并同步到缓存中，形成缓存业务信息；
更新模块，用于响应于业务应用***作的信号，获得变更信息，并基于发布订阅方式对所述缓存业务信息进行数据更新；
预处理模块，用于对设备采集的数据进行预处理，获得结构化数据；
数据关联模块，用于对所述缓存业务信息和结构化数据进行数据关联，形成新的结构体；
实时业务处理模块，用于基于所述新的结构体，进行实时业务处理。
在本发明实施例的一种具体实施方式中，所述基于发布订阅式物联网大数据实时处理方法，还包括：
响应于业务应用***作的信号，对数据库信息进行业务应用数据更新；
启动独立线程，定时把数据库信息中的变更信息同步到缓存业务信息中，完成对所述缓存业务信息进行数据更新。
在本发明实施例的一种具体实施方式中，所述基于发布订阅方式对所述缓存业务信息进行数据更新，具体为：
使用Kafka消息组件将变更信息发布到Kafka broker中；
Kafka消息订阅模块立即从Kafka broker中订阅消息，获得变更信息，并对所述缓存业务信息进行数据更新。
在本发明实施例的一种具体实施方式中，所述预处理包括：
将设备采集的数据进行空值检查、缺失值填充、异常值检测操作，得到新数据；
对所述新数据进行数据结构化处理，获得结构化数据。
实施例3
基于与实施例1相同的发明构思，本发明实施例中提供了一种基于发布订阅式物联网大数据实时处理***，包括：
处理器；
存储器，其上存储有可在所述处理器上运行的计算机程序；
其中，所述计算机程序被所述处理器执行时实现如实施例1中任一项所述的方法。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种基于发布订阅式物联网大数据实时处理方法，其特征在于，包括：
启动独立线程从数据库信息中获取业务应用数据，并同步到缓存中，形成缓存业务信息；
响应于业务应用***作的信号，获得变更信息，并基于发布订阅方式对所述缓存业务信息进行数据更新；
对设备采集的数据进行预处理，获得结构化数据；
对所述缓存业务信息和结构化数据进行数据关联，形成新的结构体；
基于所述新的结构体，进行实时业务处理。
2.根据权利要求1所述的一种基于发布订阅式物联网大数据实时处理方法，其特征在于：所述基于发布订阅式物联网大数据实时处理方法，还包括：
响应于业务应用***作的信号，对数据库信息进行业务应用数据更新；
启动独立线程，定时把数据库信息中的变更信息同步到缓存业务信息中，完成对所述缓存业务信息进行数据更新。
3.根据权利要求1所述的一种基于发布订阅式物联网大数据实时处理方法，其特征在于：所述基于发布订阅方式对所述缓存业务信息进行数据更新，具体为：
使用Kafka消息组件将变更信息发布到Kafka broker中；
Kafka消息订阅模块立即从Kafka broker中订阅消息，获得变更信息，并对所述缓存业务信息进行数据更新。
4.根据权利要求1所述的一种基于发布订阅式物联网大数据实时处理方法，其特征在于：所述预处理包括：
将设备采集的数据进行空值检查、缺失值填充、异常值检测操作，得到新数据；
对所述新数据进行数据结构化处理，获得结构化数据。
5.根据权利要求1或4所述的一种基于发布订阅式物联网大数据实时处理方法，其特征在于：所述结构化数据与缓存业务信息均暂存在流失计算的管道中。
6.一种基于发布订阅式物联网大数据实时处理装置，其特征在于，包括：
缓存业务信息形成模块，用于启动独立线程从数据库信息中获取业务应用数据，并同步到缓存中，形成缓存业务信息；
更新模块，用于响应于业务应用***作的信号，获得变更信息，并基于发布订阅方式对所述缓存业务信息进行数据更新；
预处理模块，用于对设备采集的数据进行预处理，获得结构化数据；
数据关联模块，用于对所述缓存业务信息和结构化数据进行数据关联，形成新的结构体；
实时业务处理模块，用于基于所述新的结构体，进行实时业务处理。
7.根据权利要求6所述的一种基于发布订阅式物联网大数据实时处理装置，其特征在于，所述基于发布订阅式物联网大数据实时处理方法，还包括：
响应于业务应用***作的信号，对数据库信息进行业务应用数据更新；
启动独立线程，定时把数据库信息中的变更信息同步到缓存业务信息中，完成对所述缓存业务信息进行数据更新。
8.根据权利要求6所述的一种基于发布订阅式物联网大数据实时处理装置，其特征在于，所述基于发布订阅方式对所述缓存业务信息进行数据更新，具体为：
使用Kafka消息组件将变更信息发布到Kafka broker中；
Kafka消息订阅模块立即从Kafka broker中订阅消息，获得变更信息，并对所述缓存业务信息进行数据更新。
9.根据权利要求6所述的一种基于发布订阅式物联网大数据实时处理装置，其特征在于，所述预处理包括：
将设备采集的数据进行空值检查、缺失值填充、异常值检测操作，得到新数据；
对所述新数据进行数据结构化处理，获得结构化数据。
10.一种基于发布订阅式物联网大数据实时处理***，其特征在于，包括：
处理器；
存储器，其上存储有可在所述处理器上运行的计算机程序；
其中，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的方法。
CN202111559901.0A 2021-12-20 2021-12-20 基于发布订阅式物联网大数据实时处理方法、装置及*** Pending CN114238834A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111559901.0A CN114238834A (zh) 2021-12-20 2021-12-20 基于发布订阅式物联网大数据实时处理方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111559901.0A CN114238834A (zh) 2021-12-20 2021-12-20 基于发布订阅式物联网大数据实时处理方法、装置及***

Publications (1)

Publication Number Publication Date
CN114238834A true CN114238834A (zh) 2022-03-25

Family

ID=80758932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111559901.0A Pending CN114238834A (zh) 2021-12-20 2021-12-20 基于发布订阅式物联网大数据实时处理方法、装置及***

Country Status (1)

Country Link
CN (1) CN114238834A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115563144A (zh) * 2022-10-26 2023-01-03 山东浪潮新基建科技有限公司 一种物联网平台动态数据更新方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115563144A (zh) * 2022-10-26 2023-01-03 山东浪潮新基建科技有限公司 一种物联网平台动态数据更新方法及***
CN115563144B (zh) * 2022-10-26 2023-10-03 山东浪潮新基建科技有限公司 一种物联网平台动态数据更新方法及***

Similar Documents

Publication Publication Date Title
US8903782B2 (en) Application instance and query stores
US11310313B2 (en) Multi-threaded processing of search responses returned by search peers
US10506084B2 (en) Timestamp-based processing of messages using message queues
Akidau et al. Millwheel: Fault-tolerant stream processing at internet scale
CA2392300C (en) Continuous flow checkpointing data processing
US8725793B2 (en) Architectural pattern for persistent web application design
US7860900B2 (en) Consistently signaling state changes
CN110688382B (zh) 数据存储查询方法、装置、计算机设备及存储介质
CN110502583B (zh) 分布式数据同步方法、装置、设备及可读存储介质
CN114238415B (zh) 基于Flink的实时规则引擎控制方法、***及介质
CN110659304A (zh) 一种基于数据倾斜的多路数据流连接***
CN114238834A (zh) 基于发布订阅式物联网大数据实时处理方法、装置及***
US9020891B1 (en) Reduced locking in a distributed data store
US10324943B2 (en) Auto-monitoring and adjustment of dynamic data visualizations
CN108319604A (zh) 一种hive中大小表关联的优化方法
CN116383207A (zh) 一种数据标签管理方法、装置、电子设备和存储介质
Du et al. An overview of dynamic data mining
Sun et al. DSSP: stream split processing model for high correctness of out-of-order data processing
CN112445871A (zh) 一种基于数据模型的数据可视化方法及***
CN104616332A (zh) 一种快速显示方法
CN112084065B (zh) 一种基于EsgynDB数据库的滚动重启的方法
WO2023077451A1 (zh) 一种基于列存数据库的流式数据处理方法及***
CN114968936B (zh) 一种基于数据湖的时间线获取方法、装置、执行节点
CN115731635A (zh) 一种支持弹性伸缩的智能网联汽车大数据实时分析方法
Chen et al. A Fine-Grained Task Monitoring Mechanism in Spark Platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination