CN115563144B - 一种物联网平台动态数据更新方法及*** - Google Patents

一种物联网平台动态数据更新方法及*** Download PDF

Info

Publication number
CN115563144B
CN115563144B CN202211315122.0A CN202211315122A CN115563144B CN 115563144 B CN115563144 B CN 115563144B CN 202211315122 A CN202211315122 A CN 202211315122A CN 115563144 B CN115563144 B CN 115563144B
Authority
CN
China
Prior art keywords
data
updating
device shadow
event
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211315122.0A
Other languages
English (en)
Other versions
CN115563144A (zh
Inventor
杨小平
翟海涛
王强
余家富
刘伟
李佳琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Smart City Technology Co ltd
Original Assignee
Shandong Langchao New Infrastructure Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Langchao New Infrastructure Technology Co ltd filed Critical Shandong Langchao New Infrastructure Technology Co ltd
Priority to CN202211315122.0A priority Critical patent/CN115563144B/zh
Publication of CN115563144A publication Critical patent/CN115563144A/zh
Application granted granted Critical
Publication of CN115563144B publication Critical patent/CN115563144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及物联网应用领域，具体提供了一种物联网平台动态数据更新方法，具有如下步骤：S1、数据对比：在数据对比中分为设备影子数据初始化和事件数据监测与对比；S2、数据更新。与现有技术相比，本发明对物联网平台接入的物联设备所上报的数据，进行了有效的缓存及对比处理，可有效地减小服务器内存压力，降低对mysql数据库的操作次数，实现了设备数据的滞后更新、影子设备数据备份。

Description

一种物联网平台动态数据更新方法及***
技术领域
本发明涉及物联网应用领域，具体提供一种物联网平台动态数据更新方法及***。
背景技术
随着万物互联网时代的到来,物联网已经覆盖了世界的各个角落，各种物联设备已经不断的投入到实际的社会生活中，改变了几十亿网民的生活方式和工作方式。对于各种物联设备的实时数据监测和更新就显得尤为重要。目前物联网平台所采用的物联设备实时数据更新采用的方式是数据上报来之后，直接更新数据库，这种方式存在以下几方面的问题：
(1)物联设备的实时数据量很大，当大量数据上报上来时，直接去更新数据库，可能造成数据库的频繁访问以及数据库死锁等问题，同时数据量过大，可能造成服务器内存溢满问题。
(2)数据安全性问题：在数据监测的过程中，当出现操作人员误删数据的情况时，这时数据就存在不可恢复的风险。
发明内容
本发明是针对上述现有技术的不足，提供一种实用性强的物联网平台动态数据更新方法。
本发明进一步的技术任务是提供一种设计合理，安全适用的物联网平台动态数据更新***。
本发明解决其技术问题所采用的技术方案是：
一种物联网平台动态数据更新方法，具有如下步骤：
S1、数据对比：
在数据对比中分为设备影子数据初始化和事件数据监测与对比；
S2、数据更新。
进一步的，在设备影子数据初始化中，在程序启动过程中，首先会获取到当前数据库已有设备数据，进行数据缓存，将数据存储到redis或kafka等非关系型数据库或第三方消息队列，形成设别影子数据。
进一步的，redis非关系型数据库中，存储hash数据，设置key为SHADOW:MODEL:DID:TIME:，value为数据库数据。
进一步的，在数据监测与对比中，事件数据上报存储到redis或kafka，在redis非关系型数据库中，存储List数据，设置key为EVENT:MODEL:DID:LEVEL:，value为事件数据；
通过第三方工具特有的消息订阅和通知机制，每当监测到事件数据有变化时，会通知订阅方去进行数据对比。
进一步的，首先从缓存中拿到设备影子数据和事件数据，然后两种数据进行对比，一旦有变化，则更新设备影子数据；在初始化设备影子数据时，会生成更新次数标识，每次更新设备影子数据时，数据值会加一。
进一步的，在步骤S2中，当数据对比完之后，监测到设备影子数据更新，根据存储的更新次数去做判断，当更新次数达到预期值后，获取设备影子数据进行解析，然后更新到数据库中。
一种物联网平台动态数据更新***，首先进行数据的对比，在数据对比中包括进行影子数据初始化和事件数据监测与对比，然后进行数据更新更新到数据库中。
进一步的，在设备影子数据初始化中，首先会获取到当前数据库已有设备数据，进行数据缓存，将数据存储到redis或kafka等非关系型数据库或第三方消息队列，形成设别影子数据；
redis非关系型数据库中，存储hash数据，设置key为SHADOW:MODEL:DID:TIME:，value为数据库数据。
进一步的，事件数据上报存储到redis或kafka，redis非关系型数据库中，存储List数据，设置key为EVENT:MODEL:DID:LEVEL:，value为事件数据；
通过第三方工具特有的消息订阅和通知机制，每当监测到事件数据有变化时，会通知订阅方去进行数据对比；首先从缓存中拿到设备影子数据和事件数据，然后两种数据进行对比，一旦有变化，则更新设备影子数据；
在初始化设备影子数据时，会生成更新次数标识，每次更新设备影子数据时，该值会加一。
进一步的，当数据对比完之后，监测到设备影子数据更新，根据存储的更新次数去做判断，当更新次数达到预期值后，获取设备影子数据进行解析，然后更新到数据库中。
本发明的一种物联网平台动态数据更新方法及***和现有技术相比，具有以下突出的有益效果：
本发明对物联网平台接入的物联设备所上报的数据，进行了有效的缓存及对比处理，可有效地减小服务器内存压力，降低对mysql数据库的操作次数，实现了设备数据的滞后更新、影子设备数据备份。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图1是一种物联网平台动态数据更新方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好的理解本发明的方案，下面结合具体的实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
下面给出一个最佳实施例：
如图1所示，本实施例中的一种物联网平台动态数据更新方法，具有如下步骤：
S1、数据对比
数据对比主要有两个过程，分为设备影子数据初始化、事件数据监测与对比。
设备影子数据初始化中，首先会获取到当前数据库已有设备数据，进行数据缓存，将数据存储到redis或kafka等非关系型数据库或第三方消息队列，形成设别影子数据。以redis非关系型数据库为例，存储hash数据，设置key为SHADOW:MODEL:DID:TIME:，value为数据库数据。形成设备影子数据便于数据备份，一但数据库中的数据丢失，可从缓存中重新拿到设备数据，进行数据恢复。
在数据监测与对比中，事件数据上报也是存储到redis或kafka等，以redis非关系型数据库为例，存储List数据，设置key为EVENT:MODEL:DID:LEVEL:，value为事件数据。通过这种第三方工具特有的消息订阅和通知机制，每当监测到事件数据有变化时，会通知订阅方去进行数据对比。首先从缓存中拿到设备影子数据和事件数据，然后两种数据进行对比，一旦有变化，则更新设备影子数据。在初始化设备影子数据时，会生成更新次数标识，每次更新设备影子数据时，该值会加一。
S2、数据更新
当数据对比完之后，监测到设备影子数据更新，根据存储的更新次数去做判断，当更新次数达到预期值后，获取设备影子数据进行解析，然后更新到数据库中。这种方式避免了数据上报次数过于频繁时，不断的访问数据库，以及数据库死锁问题，同时做到了数据滞后更新。
基于上述方法，本实施例中的一种物联网平台动态数据更新***，首先进行数据的对比，在数据对比中包括进行影子数据初始化和事件数据监测与对比，然后进行数据更新更新到数据库中。
在设备影子数据初始化中，首先会获取到当前数据库已有设备数据，进行数据缓存，将数据存储到redis或kafka等非关系型数据库或第三方消息队列，形成设别影子数据；
redis非关系型数据库中，存储hash数据，设置key为SHADOW:MODEL:DID:TIME:，value为数据库数据。
事件数据上报存储到redis或kafka，redis非关系型数据库中，存储List数据，设置key为EVENT:MODEL:DID:LEVEL:，value为事件数据；
通过第三方工具特有的消息订阅和通知机制，每当监测到事件数据有变化时，会通知订阅方去进行数据对比；首先从缓存中拿到设备影子数据和事件数据，然后两种数据进行对比，一旦有变化，则更新设备影子数据；
在初始化设备影子数据时，会生成更新次数标识，每次更新设备影子数据时，该值会加一。
当数据对比完之后，监测到设备影子数据更新，根据存储的更新次数去做判断，当更新次数达到预期值后，获取设备影子数据进行解析，然后更新到数据库中。
上述具体的实施方式仅是本发明具体的个案，本发明的专利保护范围包括但不限于上述具体的实施方式，任何符合本发明的一种物联网平台动态数据更新方法及***权利要求书的且任何所述技术领域普通技术人员对其做出的适当变化或者替换，皆应落入本发明的专利保护范围。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种物联网平台动态数据更新方法，其特征在于， 具有如下步骤：
S1、数据对比：
在数据对比中分为设备影子数据初始化和事件数据监测与对比；
在设备影子数据初始化中，在程序启动过程中，首先会获取到当前数据库已有设备数据，进行数据缓存，将数据存储到redis或kafka非关系型数据库或第三方消息队列，形成设备影子数据；
redis非关系型数据库中，存储hash数据，设置key为SHADOW:MODEL:DID:TIME:，value为数据库数据；
在数据监测与对比中，事件数据上报存储到redis或kafka，在redis非关系型数据库中，存储List数据，设置key为EVENT:MODEL:DID:LEVEL:，value为事件数据；
通过第三方工具特有的消息订阅和通知机制，每当监测到事件数据有变化时，会通知订阅方去进行数据对比；
首先从缓存中拿到设备影子数据和事件数据，然后两种数据进行对比，一旦有变化，则更新设备影子数据；在初始化设备影子数据时，会生成更新次数标识，每次更新设备影子数据时，数据值会加一；
S2、数据更新。
2.根据权利要求1所述的一种物联网平台动态数据更新方法，其特征在于，在步骤S2中，当数据对比完之后，监测到设备影子数据更新，根据存储的更新次数去做判断，当更新次数达到预期值后，获取设备影子数据进行解析，然后更新到数据库中。
3.一种物联网平台动态数据更新***，其特征在于，首先进行数据的对比，在数据对比中包括进行影子数据初始化和事件数据监测与对比，然后进行数据更新更新到数据库中；
在设备影子数据初始化中，首先会获取到当前数据库已有设备数据，进行数据缓存，将数据存储到redis或kafka非关系型数据库或第三方消息队列，形成设备影子数据；
redis非关系型数据库中，存储hash数据，设置key为SHADOW:MODEL:DID:TIME:，value为数据库数据；
事件数据上报存储到redis或kafka， redis非关系型数据库中，存储List数据，设置key为EVENT:MODEL:DID:LEVEL:，value为事件数据；
通过第三方工具特有的消息订阅和通知机制，每当监测到事件数据有变化时，会通知订阅方去进行数据对比；首先从缓存中拿到设备影子数据和事件数据，然后两种数据进行对比，一旦有变化，则更新设备影子数据；
在初始化设备影子数据时，会生成更新次数标识，每次更新设备影子数据时，更新次数标识的值加一。
4.根据权利要求3所述的一种物联网平台动态数据更新***，其特征在于，当数据对比完之后，监测到设备影子数据更新，根据存储的更新次数去做判断，当更新次数达到预期值后，获取设备影子数据进行解析，然后更新到数据库中。
CN202211315122.0A 2022-10-26 2022-10-26 一种物联网平台动态数据更新方法及*** Active CN115563144B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211315122.0A CN115563144B (zh) 2022-10-26 2022-10-26 一种物联网平台动态数据更新方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211315122.0A CN115563144B (zh) 2022-10-26 2022-10-26 一种物联网平台动态数据更新方法及***

Publications (2)

Publication Number Publication Date
CN115563144A CN115563144A (zh) 2023-01-03
CN115563144B true CN115563144B (zh) 2023-10-03

Family

ID=84746065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211315122.0A Active CN115563144B (zh) 2022-10-26 2022-10-26 一种物联网平台动态数据更新方法及***

Country Status (1)

Country Link
CN (1) CN115563144B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061702A (zh) * 2019-12-06 2020-04-24 江苏海事职业技术学院 一种基于大数据的存储服务方法
US10942913B1 (en) * 2018-01-11 2021-03-09 AnyQpon Inc. Database system for triggering event notifications based on updates to database records in an electronic file
CN112532729A (zh) * 2020-11-30 2021-03-19 北京百度网讯科技有限公司 用于边缘设备和云端的数据同步方法和装置
CN113542390A (zh) * 2021-07-12 2021-10-22 山东大学 一种采用内存数据模型的物联网设备管理方法及***
CN113568743A (zh) * 2021-07-23 2021-10-29 腾讯科技（深圳）有限公司 物联网设备的管理方法、装置、介质及电子设备
CN113923142A (zh) * 2021-09-24 2022-01-11 浪潮金融信息技术有限公司 一种物联网设备状态监测的方法、***及介质
CN114238834A (zh) * 2021-12-20 2022-03-25 徐工汉云技术股份有限公司 基于发布订阅式物联网大数据实时处理方法、装置及***
WO2022166733A1 (zh) * 2021-02-05 2022-08-11 北京紫光展锐通信技术有限公司 物联网通信方法及装置、存储介质、终端、移动基站

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101925047B (zh) * 2009-06-11 2014-09-10 中兴通讯股份有限公司 用户数据融合网络***及订阅通知的实现方法
US9805050B2 (en) * 2013-06-21 2017-10-31 Box, Inc. Maintaining and updating file system shadows on a local device by a synchronization client of a cloud-based platform
US10650578B2 (en) * 2018-05-11 2020-05-12 Microsoft Technology Licensing, Llc Dynamic soft shadow
US11503027B2 (en) * 2018-11-21 2022-11-15 Hewlett Packard Enterprise Development Lp Validating configuration changes on a network device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10942913B1 (en) * 2018-01-11 2021-03-09 AnyQpon Inc. Database system for triggering event notifications based on updates to database records in an electronic file
CN111061702A (zh) * 2019-12-06 2020-04-24 江苏海事职业技术学院 一种基于大数据的存储服务方法
CN112532729A (zh) * 2020-11-30 2021-03-19 北京百度网讯科技有限公司 用于边缘设备和云端的数据同步方法和装置
WO2022166733A1 (zh) * 2021-02-05 2022-08-11 北京紫光展锐通信技术有限公司 物联网通信方法及装置、存储介质、终端、移动基站
CN113542390A (zh) * 2021-07-12 2021-10-22 山东大学 一种采用内存数据模型的物联网设备管理方法及***
CN113568743A (zh) * 2021-07-23 2021-10-29 腾讯科技（深圳）有限公司 物联网设备的管理方法、装置、介质及电子设备
CN113923142A (zh) * 2021-09-24 2022-01-11 浪潮金融信息技术有限公司 一种物联网设备状态监测的方法、***及介质
CN114238834A (zh) * 2021-12-20 2022-03-25 徐工汉云技术股份有限公司 基于发布订阅式物联网大数据实时处理方法、装置及***

Also Published As

Publication number Publication date
CN115563144A (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
CN103617131B (zh) 一种实现数据缓存的方法
CN106599199A (zh) 一种数据缓存与同步方法
CN111611137A (zh) 告警监控方法、装置、计算机设备及存储介质
CN104021195B (zh) 基于知识库的告警关联分析方法
CN113392126B (zh) 基于分布式数据库的执行计划缓存及读取方法
CN105117315B (zh) 基于cep的告警处理***及方法
US11036740B2 (en) Database management system query plan cache management
CN110489405A (zh) 数据处理的方法、装置和服务器
CN106528444A (zh) 内存缓存对象自动管理方法
CN115563144B (zh) 一种物联网平台动态数据更新方法及***
CN112948439A (zh) 一种实时处理gis数据查询请求方法、装置、介质及设备
KR102476620B1 (ko) 캐시 자동제어 시스템
CN117033424A (zh) 慢sql语句的查询优化方法、装置和计算机设备
CN115511186A (zh) 一种深度学习训练时长的预测管理方法、装置及设备
CN112685196B (zh) 适用于分布式技术的线程池管理方法、装置、设备及介质
CN115344610A (zh) 两级缓存数据获取方法及装置
CN111984662A (zh) 批量更新数据库的方法及装置
CN115455222A (zh) 图像检索方法、装置、计算机设备和计算机可读存储介质
CN109739516B (zh) 一种云缓存的运行方法及***
CN102981856B (zh) 基于网络的程序计算结果存储与检索方法及***
CN105930096B (zh) 一种基于PageRank的数据块预缓存方法
CN112131234A (zh) 一种优化数据缓存并发的方法、***、设备及介质
CN112632091A (zh) 基于大数据的指标流实时计算方法、装置、设备及介质
CN115356949B (zh) 一种数字孪生模型一致性保持***及方法
CN1992952A (zh) 网络管理***及其实现性能管理的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 250100 27F, building S02, Langchao Science Park, No. 1036, Langchao Road, high tech Zone, Jinan, Shandong Province

Patentee after: Inspur Smart City Technology Co.,Ltd.

Country or region after: China

Address before: 250100 27F, building S02, Langchao Science Park, No. 1036, Langchao Road, high tech Zone, Jinan, Shandong Province

Patentee before: Shandong Langchao new infrastructure Technology Co.,Ltd.

Country or region before: China