CN113947498A - 一种融合终端数据中心的数据存储与检索方法 - Google Patents

一种融合终端数据中心的数据存储与检索方法 Download PDF

Info

Publication number
CN113947498A
CN113947498A CN202111080328.5A CN202111080328A CN113947498A CN 113947498 A CN113947498 A CN 113947498A CN 202111080328 A CN202111080328 A CN 202111080328A CN 113947498 A CN113947498 A CN 113947498A
Authority
CN
China
Prior art keywords
data
app
storage
service
management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111080328.5A
Other languages
English (en)
Inventor
卢继哲
祝恩国
张海龙
侯帅
阿辽沙·叶
郑国权
任毅
常蕾
夏怡虹
成倩
张双沫
李然
翟梦迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electric Power Research Institute Co Ltd CEPRI
Original Assignee
China Electric Power Research Institute Co Ltd CEPRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electric Power Research Institute Co Ltd CEPRI filed Critical China Electric Power Research Institute Co Ltd CEPRI
Priority to CN202111080328.5A priority Critical patent/CN113947498A/zh
Publication of CN113947498A publication Critical patent/CN113947498A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/06—Addressing a physical block of locations, e.g. base addressing, module addressing, memory dedication
    • G06F12/0646—Configuration or reconfiguration

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Water Supply & Treatment (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种融合终端数据中心的数据存储与检索方法，包括如下步骤：融合终端软件整体框架的设计，并根据业务需求设计App架构；根据不同业务下数据的关联性，计算各数据的哈希值；根据哈希值的不同，采用分离存储的方式将数据存储在对应的地址块并打上时间戳；根据字段的关联特征计算哈希值，粗定位数据的存储地址块，然后利用时间戳在该地址块中缩小存储扇区范围，在目标扇区进行精确检索；数据中心App基于sqlite3进行封装存储接口，并形成存储服务及管理功能，对外通过消息提供服务，实现数据的统一管理和不同App之间数据共享。本发明使用容器化技术部署各App并建立数据分级保护机制，将不同业务数据分级分块存储与检索，提高了存储效率和检索速度。

Description

一种融合终端数据中心的数据存储与检索方法
技术领域
本发明涉及一种配电网自动化技术领域，特别涉及一种融合终端数据中心的数据存储与检索方法。
背景技术
随着电力行业以及智能电网技术的持续发展，电网行业中形成了大量的智能配用电数据，针对不同业务之间的电力信息数据并没有进行明显的划分，在数据管理的安全性、便捷性方面仍存在一定的弊端。基于传统数据中心的设计结构与管理方式，已经无法满足智能配用电网络下融合型终端***的要求，目前电力信息采集***中针对营销与配电业务的融合型终端设备的数据中心设计方案中，缺乏一种科学、合理、有效的设计方案。
当前智能终端的数据中心在存储与检索方面主要使用索引的方式，虽然一定程度上提高了检索速度，但在建立索引进行存储的过程会带来更多的时延，占用更多的存储空间，在检索过程偶尔出现App卡死的现象，数据特征的多样化导致很难找到一个是否建立索引的平衡点，传统方式的数据存储与检索已经不能满足融合型终端的数据服务需求，在大数据量的存储和检索方面仍缺乏一种高效、快速的存储与检索方案。
发明内容
为解决上述技术问题，本发明提供了一种融合终端数据中心的数据存储与检索方法，以达到提高存储效率和检索速度、保障数据安全的目的。
为达到上述目的，本发明的技术方案如下：
一种融合终端数据中心的数据存储与检索方法，包括如下步骤：
步骤1：融合终端软件整体框架的设计，并根据业务需求设计App架构，各App利用容器化技术部署，分别访问自身对应的硬件资源；
步骤2：根据不同业务下数据的关联性，利用具有唯一标识的关联字段通过基于数据关联性的哈希分桶算法计算各数据的哈希值；
步骤3：根据关联数据记录中哈希值的不同，采用分离存储的方式将数据存储在对应的地址块并打上时间戳；
步骤4：数据检索时，首先根据字段的关联特征计算哈希值，粗定位数据的存储地址块，然后利用时间戳在该存储地址块中缩小存储扇区范围，找到目标扇区，最后在目标扇区进行精确检索；
步骤5：数据中心App基于sqlite3进行封装存储接口，并形成存储服务及管理功能，对外通过消息提供服务，实现数据的统一管理和不同App之间数据共享。
上述方案中，所述步骤1中的App分为基础App和业务App两大类，所述基础App负责不同业务中共享数据的管理，业务App根据数据流的走向来划分不同业务，包括负责采集与监控终端下行设备数据的采集业务类App、负责对接上行主站业务的主站业务类App以及负责通过边缘计算分析采集数据的分析业务类App。
进一步的技术方案中，所述数据中心App属于基础App，所述基础App还包括本地通信管理App、无线拨号管理App、扩展模块管理App、串口管理App、蓝牙管理App、交采计量App、遥信脉冲采样App、安全代理App和安全管理App。
上述方案中，所述步骤2中的唯一标识的关联字段包括对象属性描述符、通信地址以及设备类别。
上述方案中，所述步骤3中哈希值的计算方式为：
HashValue＝f(key)
其中，f为哈希函数，它是一种映射关系，根据不同业务划分地址块并对应不同的哈希值，并将其映射到不同业务数据区和共享数据区，用来存储对应的数据。
上述方案中，所述步骤5中数据中心App的MsgServer模块负责接收其它App的消息请求，解析后生成任务下发给DataHandle模块处理，最终通过事件消息的形式发送给其它App，MsgServer模块在设计上支持UDP/TCP/IPC/MQTT通信服务，DataHandle模块负责根据任务调用API接口访问数据库，将请求结果回传给MsgServer模块。
通过上述技术方案，本发明提供的一种融合终端数据中心的数据存储与检索方法具有如下有益效果：
本发明通过设计融合终端App的软件架构，根据不同业务将App进行分类，并使用容器化技术部署，提高了App之间的独立性，保障数据安全；在数据存储与检索方面，建立数据分级保护机制，将不同业务数据分级存储，设计了基于关联字段的哈希分桶存储优化算法，通过业务分块及时间戳检索方式，提高了数据中心App的存储效率和检索速度，实现了各App之间从业务到数据的科学分类，保障了融合终端***的数据安全。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明的融合终端数据中心的数据存储与检索方法流程图。
图2为本发明的软件整体框架示意图。
图3为本发明App架构示意图。
图4为本发明中依据时间戳精确检索的流程图。
图5为本发明中数据中心App的MsgServer模块流程图。
图6为本发明中数据中心App的DataHandle模块流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本发明提供了一种融合终端数据中心的数据存储与检索方法，如图1所示，包括如下步骤：
步骤1：融合终端软件整体框架的设计，如图2所示，其中软件架构包括操作***和应用软件两层，操作***层包括内核、驱动、***组件等。应用软件包括基础App和业务App，***组件、基础App和业务App通过消息总线交互。
根据业务需求设计App架构，如图3所示，各App利用容器化技术部署，分别访问自身对应的硬件资源；基础App负责不同业务中共享数据的管理，基础App包括数据中心App、本地通信管理App、无线拨号管理App、扩展模块管理App、串口管理App、蓝牙管理App、交采计量App、遥信脉冲采样App、安全代理App和安全管理App。
业务App根据数据流的走向来划分不同业务，包括负责采集与监控终端下行设备数据的采集业务类App、负责对接上行主站业务的主站业务类App以及负责通过边缘计算分析采集数据的分析业务类App。
采集业务类App包括配电类业务App和营销类业务App，配电类业务App包括低压智能开关采集App、无功补偿装置采集App、配电站房环境采集App等；营销类业务App包括电表采集任务管理App、回路状态监测等App。
主站业务类App包括IEC104 App、IEC101 App、MQTT-IoT App、低压集抄App、车联网云通信App等。
分析业务类App包括电能质量分析App、线损精益分析App、拓扑识别App、负荷识别App、综合故障研判App、分布式能源管理App、电动汽车有序充电App、台区可开放容量预测App等。
步骤2：根据不同业务下数据的关联性，利用具有唯一标识的关联字段通过基于数据关联性的哈希分桶算法计算各数据的哈希值；其中唯一标识的关联字段可采用对象属性描述符、通信地址以及设备类别等。
哈希值的计算方式为：
HashValue＝f(key)
其中，f为哈希函数，它是一种映射关系，根据不同业务划分地址块并对应不同的哈希值，并将其映射到不同业务数据区和共享数据区，用来存储对应的数据。
步骤3：根据关联数据记录中哈希值的不同，采用分离存储的方式将数据存储在对应的地址块并打上时间戳；其中根据不同业务划分地址块并对应不同的哈希值，将其映射到不同业务数据区和共享数据区，用来存储对应的数据。
步骤4：数据检索时，首先根据字段的关联特征计算哈希值，粗定位数据的存储地址块，然后利用时间戳在该存储地址块中缩小存储扇区范围，找到目标扇区，最后在目标扇区进行精确检索；由于数据块中的存储时间戳并不一定按照严格的地址有序排列，但它们之间存在一定的关系，按照这种关系进行数据扇区的精确定位，根据图4所示，数据中心依次比较范围内相邻两个扇区首地址的数据时间戳，按照一定的规则实现扇区精确定位，具体方法如下：
首先读取Mid_Addr位置数据块时间戳TM，然后读取Sta_Addr位置数据块时间戳T0，比较TM和T0的大小。
如果T0≤TM，则继续比较Tr和T0的大小，如果Tr≤T0，则搜索地址块后半部分扇区Sear_fan(Mid_Addr)，如果Tr＞T0，则继续比较Tr和TM的大小，如果Tr≤TM，则搜索地址块前半部分扇区Sear_fan(Sta_Addr)，否则，搜索地址块后半部分扇区Sear_fan(Mid_Addr)。
如果T0＞TM，则继续比较Tr和T0的大小，如果Tr≥T0，则搜索地址块前半部分扇区Sear_fan(Sta_Addr)；如果Tr＜T0，则继续比较Tr和TM的大小，如果Tr≤TM，则搜索地址块前半部分扇区Sear_fan(Sta_Addr)，否则，搜索地址块后半部分扇区Sear_fan(Mid_Addr)。
其中，Mid_Addr是指某地址块中间位置扇区的地址，Sta_Addr是该地址块第一个扇区的地址，Tr指用户指定搜索的历史时间戳。
步骤5：数据中心App基于sqlite3进行封装存储接口，并形成存储服务及管理功能，对外通过消息提供服务，实现数据的统一管理和不同App之间数据共享。
数据中心App的MsgServer模块负责接收其它App的消息请求，解析后生成任务下发给DataHandle模块处理，如图5所示，MsgServer模块接收消息线程，并进行消息链接检查，检查正常后接收通信消息，然后进行消息解析，并进行消息格式检查，检查正常后，设置消息处理回调函数，最后将消息任务下发给DataHandle模块，最终将DataHandle模块处理结果通过事件消息的形式发送给其它App，MsgServer模块在设计上支持UDP/TCP/IPC/MQTT通信服务，目前使用的是MQTT。
如图6所示，DataHandle模块负责根据任务调用API接口访问数据库，将请求结果回传给MsgServer模块。首先，DataHandle模块进行初始化操作，然后接收到数据请求任务并为其分配线程，根据ID的合法性调用处理函数。最后根据响应是都回调复组建消息，完成数据请求任务。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种融合终端数据中心的数据存储与检索方法，其特征在于，包括如下步骤：
步骤1：融合终端软件整体框架的设计，并根据业务需求设计App架构，各App利用容器化技术部署，分别访问自身对应的硬件资源；
步骤2：根据不同业务下数据的关联性，利用具有唯一标识的关联字段通过基于数据关联性的哈希分桶算法计算各数据的哈希值；
步骤3：根据关联数据记录中哈希值的不同，采用分离存储的方式将数据存储在对应的地址块并打上时间戳；
步骤4：数据检索时，首先根据字段的关联特征计算哈希值，粗定位数据的存储地址块，然后利用时间戳在该存储地址块中缩小存储扇区范围，找到目标扇区，最后在目标扇区进行精确检索；
步骤5：数据中心App基于sqlite3进行封装存储接口，并形成存储服务及管理功能，对外通过消息提供服务，实现数据的统一管理和不同App之间数据共享。
2.根据权利要求1所述的一种融合终端数据中心的数据存储与检索方法，其特征在于，所述步骤1中的App分为基础App和业务App两大类，所述基础App负责不同业务中共享数据的管理，业务App根据数据流的走向来划分不同业务，包括负责采集与监控终端下行设备数据的采集业务类App、负责对接上行主站业务的主站业务类App以及负责通过边缘计算分析采集数据的分析业务类App。
3.根据权利要求2所述的一种融合终端数据中心的数据存储与检索方法，其特征在于，所述数据中心App属于基础App，所述基础App还包括本地通信管理App、无线拨号管理App、扩展模块管理App、串口管理App、蓝牙管理App、交采计量App、遥信脉冲采样App、安全代理App和安全管理App。
4.根据权利要求1所述的一种融合终端数据中心的数据存储与检索方法，其特征在于，所述步骤2中的唯一标识的关联字段包括对象属性描述符、通信地址以及设备类别。
5.根据权利要求1所述的一种融合终端数据中心的数据存储与检索方法，其特征在于，所述步骤3中哈希值的计算方式为：
HashValue＝f(key)
其中，f为哈希函数，它是一种映射关系，根据不同业务划分地址块并对应不同的哈希值，并将其映射到不同业务数据区和共享数据区，用来存储对应的数据。
6.根据权利要求1所述的一种融合终端数据中心的数据存储与检索方法，其特征在于，所述步骤5中数据中心App的MsgServer模块负责接收其它App的消息请求，解析后生成任务下发给DataHandle模块处理，最终通过事件消息的形式发送给其它App，MsgServer模块在设计上支持UDP/TCP/IPC/MQTT通信服务，DataHandle模块负责根据任务调用API接口访问数据库，将请求结果回传给MsgServer模块。
CN202111080328.5A 2021-09-15 2021-09-15 一种融合终端数据中心的数据存储与检索方法 Pending CN113947498A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111080328.5A CN113947498A (zh) 2021-09-15 2021-09-15 一种融合终端数据中心的数据存储与检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111080328.5A CN113947498A (zh) 2021-09-15 2021-09-15 一种融合终端数据中心的数据存储与检索方法

Publications (1)

Publication Number Publication Date
CN113947498A true CN113947498A (zh) 2022-01-18

Family

ID=79328566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111080328.5A Pending CN113947498A (zh) 2021-09-15 2021-09-15 一种融合终端数据中心的数据存储与检索方法

Country Status (1)

Country Link
CN (1) CN113947498A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114520754A (zh) * 2022-04-21 2022-05-20 石家庄科林电气股份有限公司 一种配电网边缘网关的软件架构方法及网关终端
CN117785073A (zh) * 2024-02-28 2024-03-29 深圳市智岩科技有限公司 物联网设备及其时序数据存取方法和相应的装置与介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114520754A (zh) * 2022-04-21 2022-05-20 石家庄科林电气股份有限公司 一种配电网边缘网关的软件架构方法及网关终端
CN114520754B (zh) * 2022-04-21 2022-07-19 石家庄科林电气股份有限公司 一种配电网边缘网关的软件架构方法及网关终端
CN117785073A (zh) * 2024-02-28 2024-03-29 深圳市智岩科技有限公司 物联网设备及其时序数据存取方法和相应的装置与介质

Similar Documents

Publication Publication Date Title
CN113947498A (zh) 一种融合终端数据中心的数据存储与检索方法
CN103325074B (zh) 电力***实时数据处理方法
CN112235250B (zh) 一种台区数据分钟级同频采集方法及***
TW201800967A (zh) 分布式流式資料處理的方法和裝置
CN102880854B (zh) 基于分布式和哈希映射的室外海量物体识别方法和***
CN104778188A (zh) 一种分布式设备日志采集方法
CN109739919A (zh) 一种用于电力***的前置机和采集***
CN112235142B (zh) 一种可实现关键业务容灾的用电信息采集***及其运行方法
CN114281790B (zh) 一种多类型负荷资源聚合商接入***及方法
CN103823807A (zh) 一种去除重复数据的方法、装置及***
CN109271113B (zh) 一种基于云存储的数据管理***及方法
CN114374701B (zh) 一种多级联动人工智能平台样本模型透明共享装置
CN116055448A (zh) 一种电力作业的标识数据管理平台
CN103530335A (zh) 电力计量采集***的入库操作方法及装置
CN111368166A (zh) 资源搜索方法、资源搜索装置和计算机可读存储介质
CN110377757A (zh) 一种实时知识图谱构建***
CN110636107A (zh) 一种基于5g通信下的电网数据交互***及其交互方法
Wu et al. Storage and retrieval of massive heterogeneous iot data based on hybrid storage
CN110708209B (zh) 虚拟机流量采集方法、装置、电子设备及存储介质
CN117194156A (zh) 一种多云平台的统一监控运维管理方法及***
CN115022402B (zh) 一种基于一栈式集成技术的agent采集方法及***
CN115658742A (zh) 一种现场级主动标识载体的标识解析方法及***
CN105677853A (zh) 一种基于大数据技术框架的数据存储方法及装置
CN115114316A (zh) 一种高并发数据的处理方法、装置、集群和存储介质
CN110515955A (zh) 数据的存储、查询方法、***、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination