CN114666406B - 一种基于物模型的电力物联网数据压缩方法及装置 - Google Patents

一种基于物模型的电力物联网数据压缩方法及装置 Download PDF

Info

Publication number
CN114666406B
CN114666406B CN202210172089.4A CN202210172089A CN114666406B CN 114666406 B CN114666406 B CN 114666406B CN 202210172089 A CN202210172089 A CN 202210172089A CN 114666406 B CN114666406 B CN 114666406B
Authority
CN
China
Prior art keywords
format
data message
compression
internet
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210172089.4A
Other languages
English (en)
Other versions
CN114666406A (zh
Inventor
侯继鑫
赵京虎
吴子栋
乔柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nari Technology Co Ltd
Original Assignee
Nari Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nari Technology Co Ltd filed Critical Nari Technology Co Ltd
Priority to CN202210172089.4A priority Critical patent/CN114666406B/zh
Publication of CN114666406A publication Critical patent/CN114666406A/zh
Application granted granted Critical
Publication of CN114666406B publication Critical patent/CN114666406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/35—Utilities, e.g. electricity, gas or water
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/75—Information technology; Communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种基于物模型的电力物联网数据压缩方法及装置。在物联管理平台和边缘代理之间增加压缩和解压缩模块，由物联管理平台根据物模型文件自动生成压缩字典文件并同步在边缘代理保存，在数据传输时根据压缩字典完成自动压缩和解压，该方法对基于智慧物联体系的业务***完全透明，既保障了***交互过程中采用JSON格式的简单、灵活性，又提升了数据传输效率。

Description

一种基于物模型的电力物联网数据压缩方法及装置
技术领域
本发明属于电力物联网领域，涉及一种基于物模型的电力物联网数据压缩方法及装置，尤指一种适用于海量、实时、高频短小数据报文的高效压缩。
背景技术
国网公司在2019年提出建设智慧物联体系，为发、输、配、变用各专业提供统一的物联管理服务，对下统筹各领域物联和感知需求，并基于物模型实现统一物联管理和终端标准化接入；对上为中台及业务***提供标准的数据服务，形成跨专业数据共享共用的生态。该体系已经在江苏、山东等实现了规模化接入，成为电力物联网数据采集的基础平台。
在智慧物联体系架构中，云边传输的报文具有长度小、传输频度高的特点，主要采用JSON格式组织数据，该方式简单、易用、自描述能力强，便于业务***间数据交互，但是存在数据传输效率低的问题，以配电领域交采应用为例，其数据有效率不足40％。在智慧物联体系规模化应用后，数据传输效率低造成带宽浪费，大幅增加了生产成本。
在传统电力规约中，通过点号映射减少描述信息传输，提升传输效率，但是点号配置和维护需要耗费大量人力且容易出错。
发明内容
本发明的目的在于提出一种基于物模型的电力物联网数据压缩方法及装置，以解决电力物联网规模化应用中采用JSON格式报文传输数据时，存在由于长度短、传输频度高的海量实时数据无法有效压缩导致云边信息传输效率低、带宽资源浪费严重等问题。
为解决上述问题，本发明采用如下技术方案：
一方面，一种基于物模型的电力物联网数据压缩方法，包括：
根据预先生成并保存在物联管理平台上的压缩字典文件，对物联管理平台向边缘代理发送的第一格式的数据报文进行压缩，生成第二格式的数据报文，将第二格式的数据报文传输至边缘代理；以及，
根据所述压缩字典文件，对物联管理平台接收的第二格式的数据报文进行解压缩，生成第一格式的数据报文；
其中，所述压缩字典文件是根据设备物模型文件自动生成的，每个物模型文件对应一个压缩字典文件。
进一步地，物联管理平台上生成的压缩字典文件同步保存在边缘代理上，所述基于物模型的电力物联网数据压缩方法，还包括：
根据同步保存在边缘代理上的压缩字典文件，对边缘代理向物联管理平台发送的第一格式的数据报文进行压缩，生成第二格式的数据报文，将第二格式的数据报文传输至物联管理平台；以及，
根据所述压缩字典文件，对边缘代理接收的第二格式的数据报文进行解压缩，生成第一格式的数据报文。
进一步地，所述压缩字典文件根据以下方法生成：
将物模型文件中的数据分为字符串类型、数字类型、枚举类型和复合类型；
字符串类型采用常量存储或者直接存储，常量存储方式为在字段名编码后直接存储字符串常量的ID，每个物模型文件对应一个字符串常量字典，所述字符串常量字典对每个常量进行编码；直接存储方式为首先存储字段名编码，然后存储字符串长度，最后存储字符串内容；
数字类型和枚举类型在压缩时在字段名编码后直接存储数值内容；
复合类型压缩时首先存储字段名编码，然后存储“子成员数量”，子成员对象随后按序排列，子成员之间用分隔符隔离。
进一步地，所述物联管理平台保存设备ID和字典文件的映射关系，当物联管理平台向边缘代理发送第一格式的数据报文时，对第一格式的数据报文进行拦截并从中解析出设备ID，根据设备ID查找对应的压缩字典文件，根据压缩字典文件对第一格式的数据报文进行压缩；当物联管理平台接收到第二格式的数据报文时，对接收到的第二格式的数据报文进行拦截并从中解析出设备ID，根据设备ID查找对应的压缩字典文件，根据压缩字典文件对第二格式的数据报文进行解压缩。
进一步地，所述边缘代理同步保存设备ID和字典文件的映射关系，当边缘代理向物联管理平台发送第一格式的数据报文时，对第一格式的数据报文进行拦截并从中解析出设备ID，根据设备ID查找对应的压缩字典文件，根据压缩字典文件对第一格式的数据报文进行压缩；当边缘代理接收第二格式的数据报文时，对接收到的第二格式的数据报文进行拦截并从中解析出设备ID，根据设备ID查找对应的压缩字典文件，根据压缩字典文件对第二格式的数据报文进行解压缩。
另一方面，一种基于物模型的电力物联网数据压缩装置，包括：部署在物联管理平台上的第一数据压缩模块和第一数据解压缩模块，
所述第一数据压缩模块，用于根据预先生成并保存在物联管理平台上的压缩字典文件，对物联管理平台向边缘代理发送的第一格式的数据报文进行压缩，生成第二格式的数据报文，将第二格式的数据报文传输至边缘代理；
所述第一数据解压缩模块，用于根据所述压缩字典文件，对物联管理平台接收的第二格式的数据报文进行解压缩，生成第一格式的数据报文；
其中，所述压缩字典文件是根据设备物模型文件自动生成的，每个物模型文件对应一个压缩字典文件。
进一步地，所述的一种基于物模型的电力物联网数据压缩装置，还包括：部署在边缘代理上的第二数据压缩模块和第二数据解压缩模块，
所述第二数据压缩模块，用于根据同步保存在边缘代理上的压缩字典文件，对边缘代理向物联管理平台发送的第一格式的数据报文进行压缩，生成第二格式的数据报文，将第二格式的数据报文传输至物联管理平台；
所述第二数据解压缩模块，用于根据所述压缩字典文件，对边缘代理接收的第二格式的数据报文进行解压缩，生成第一格式的数据报文。
进一步地，所述的一种基于物模型的电力物联网数据高效传输***，还包括：字典生成模块，所述字典生成模块部署在物联管理平台上，用于根据设备物模型文件生成压缩字典文件。
进一步地，所述的一种基于物模型的电力物联网数据高效传输***，还包括：部署在物联管理平台上的第一字典同步模块和部署在边缘代理上的第二字典同步模块，所述第一字典同步模块用于将字典生成模块生成的字典文件的描述信息发送至边缘代理，第二字典同步模块用于根据所述描述信息下载字典文件。
相比于现有技术，本发明的有益技术效果：本发明支持业务交互采用JSON格式，由物联管理平台根据物模型文件自动生成压缩字典并同步在边缘代理保存，在数据传输时根据压缩字典完成自动压缩和解压缩，在保障业务交互简单易用前提下有效提升了数据传输效率，降低了生产成本，为智慧物联体系在电力领域的规模化应用提供有力支撑。
附图说明
图1是本发明实施例的一种基于物模型的电力物联网数据压缩方法流程图；
图2是本发明另一实施例的一种基于物模型的电力物联网数据压缩方法流程图；
图3是字符串直接存储示意图；
图4是数字和枚举类型存储示意图；
图5是复合类型存储示意图；
图6是本发明实施例的一种基于物模型的电力物联网数据压缩装置结构图。
具体实施方式
下面结合具体实施例对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如前所述，电力物联网规模化应用中采用JSON格式报文传输数据时，存在由于长度短、传输频度高的海量实时数据无法有效压缩导致云边信息传输效率低、带宽资源浪费严重等问题。为此，本发明提出了一种基于物模型的报文数据压缩方法。
如图1所示，一种基于物模型的电力物联网数据压缩方法，包括：
根据预先生成并保存在物联管理平台上的压缩字典文件，对物联管理平台向边缘代理发送的第一格式的数据报文进行压缩，生成第二格式的数据报文，将第二格式的数据报文传输至边缘代理；
根据所述压缩字典文件，对物联管理平台接收的第二格式的数据报文进行解压缩，生成第一格式的数据报文。
其中，第一格式可以为JSON格式。
其中，压缩字典文件是根据设备物模型文件自动生成的，每个物模型文件对应一个压缩字典文件。
具体的，压缩字典文件根据CABM压缩法(Data compression algorithm based onobject model)生成，CABM压缩法具体包括：
1.数据类型编码
将电力物联网领域中常用的String、float、int、数组、结构体、枚举等数据类型分为四类，在压缩字典文件中用“VALUE_TYPE”表示，如表1所示。
表1数据类型编码
2.字符串类型编码
字符串类型存储时可采用常量存储或者直接存储，在字典文件中用"CODE_TYPE"表示字符串存储方式。
常量存储时，在key_id后直接存储字符串常量的ID，每个物模型对应一个字符串常量字典，该字典对每个常量进行编码，其格式定义为：
其中，"CONST_STR_LEN"表示存储常量编码所需的长度，单位为字节，"CONST_STR_CODE"中记录了每个常量及其对应的编码。
直接存储方式首先存储字段名编码，然后存储字符串长度，最后存储字符串内容，其形式如图3所示。
其中，字符串长度字段采用变长编码方式，最小为1字节，最大为4个字节，每个字节的最高bit位为1时表示下一个字节仍存储长度，编码范围如表2所示。
表2字符串长度范围
例如，某数据类型为STRING的数据项“devId”，采用直接存储方式，则该数据项在字典文件中的定义为：
3.数字类型和枚举类型编码
数字类型和枚举类型在压缩时直接存储数值内容，如4图所示。
在字典文件中，用"VALUE_LEN"表示存储数据项所需的字节数。例如，某数据项“temp”的数据类型为数字类型，它在字段在压缩字典文件中定义为：
4.复合类型编码
复合类型指报文由1个或多个子成员构成的组合结构体，每个子成员可以为字符串、数字、枚举等基础类型或者复合类型。
复合类型数据压缩时，首先存储字段名编码，然后存储“子成员数量”，子成员对象随后按序排列，子成员之间用分隔符隔离，如图5所示。
其中，子成员数量采用变长编码方式，最长为4个字节。例如，某数据项字段名为“devs”，数据类型为复合类型，则该数据项在压缩字典文件中定义为：
复合类型报文压缩算法如表3所示：
表3复合类型压缩算法
在具体实施方式中，物联管理平台在接收到一个新的物模型文件时，将按照上述方法自动生成压缩字典文件，自动压缩的文件内容为一个JSON格式对象，包含属性字段、常量字典等信息。
物联管理平台生成压缩字典文件后，将压缩字典文件的描述信息发送至边缘代理，边缘代理根据描述信息下载并保存压缩字典文件。
其中，压缩字典文件描述信息包括：字典文件名、对应的设备ID、物模型文件标识、字典文件大小、字典文件的MD5值、字典文件的下载URL。
物联管理平台和边缘代理还需要保存设备ID和字典文件的映射关系，以便后续压缩和解压时查询字典文件。
当物联管理平台向边缘代理发送第一格式的数据报文时，对第一格式的数据报文进行拦截并从中解析出设备ID，根据设备ID查找对应的压缩字典文件，根据压缩字典文件对第一格式的数据报文进行压缩。
当物联管理平台接收到第二格式的数据报文时，对接收到的第二格式的数据报文进行拦截并从中解析出设备ID，根据设备ID查找对应的压缩字典文件，根据压缩字典文件对第二格式的数据报文进行解压缩。
在另一实施例中，如图2所示，一种基于物模型的电力物联网数据压缩方法，还包括：
根据同步保存在边缘代理上的压缩字典文件，对边缘代理向物联管理平台发送的第一格式的数据报文进行压缩，生成第二格式的数据报文，将第二格式的数据报文传输至物联管理平台；
根据所述压缩字典文件，对边缘代理接收的第二格式的数据报文进行解压缩，生成第一格式的数据报文。
基于边缘代理同步保存的设备ID和字典文件的映射关系，当边缘代理向物联管理平台发送第一格式的数据报文时，对第一格式的数据报文进行拦截，从中解析出设备ID，根据设备ID查找对应的压缩字典文件，根据压缩字典文件对第一格式的数据报文进行压缩。
当边缘代理接收第二格式的数据报文时，对接收到的第二格式的数据报文进行拦截并从中解析出设备ID，根据设备ID查找对应的压缩字典文件，根据压缩字典文件对第二格式的数据报文进行解压缩。
在另一实施例，一种基于物模型的电力物联网数据压缩装置，如图6所示，包括：部署在物联管理平台上的第一数据压缩模块和第一数据解压缩模块。
第一数据压缩模块，用于根据预先生成并保存在物联管理平台上的压缩字典文件，对物联管理平台向边缘代理发送的第一格式的数据报文进行压缩，生成第二格式的数据报文，将第二格式的数据报文传输至边缘代理；
第一数据解压缩模块，用于根据所述压缩字典文件，对物联管理平台接收的第二格式的数据报文进行解压缩，生成第一格式的数据报文。
在具体实施方式中，第一数据压缩模块，在物联管理平台向边缘代理发送第一格式的数据报文之前，首先对该第一格式的数据报文进行拦截并从中解析出设备ID，然后根据设备ID查找对应的字典文件，如果内存中不存在该字典文件，则要进行加载；接着，根据该字典文件，完成数据自动压缩，并将压缩后的第二格式的数据传输到边缘代理。如果本地未保存对应的字典文件，则采用原始未压缩方式直接传输。
第一数据解压缩模块，在物联管理平台接收到第二格式的数据报文时，对该第二格式的数据报文进行拦截并从中解析出设备ID，根据设备ID查找对应的字典文件，如果内存中不存在该字典文件，则要进行加载；接着，根据该字典文件，完成数据的自动解压缩，并将解压缩后的第一格式的数据传输到业务***/业务中台。同样，如果本地未保存对应的字典文件，则采用原始未压缩方式直接传输。
在另一实施例中，如图6所示，一种基于物模型的电力物联网数据压缩装置，还包括：部署在边缘代理上的第二数据压缩模块和第二数据解压缩模块，
第二数据压缩模块，用于根据同步保存在边缘代理上的压缩字典文件，对边缘代理向物联管理平台发送的第一格式的数据报文进行压缩，生成第二格式的数据报文，将第二格式的数据报文传输至物联管理平台。
第二数据解压缩模块，用于根据所述压缩字典文件，对边缘代理接收的第二格式的数据报文进行解压缩，生成第一格式的数据报文。
在具体实施方式中，第二数据压缩模块，在边缘代理向物联管理平台发送第一格式的数据报文之前，首先对该第一格式的数据报文进行拦截并从中解析出设备ID，然后根据设备ID查找对应的字典文件，如果内存中不存在该字典文件，则要进行加载；接着，根据该字典文件，完成数据自动压缩，并将压缩后的第二格式的数据传输到物联管理平台。如果本地未保存该字典文件，则采用原始未压缩方式直接传输。
第二数据解压缩模块，在边缘代理接收到第二格式的数据报文时，对该第二格式的数据报文进行拦截并从中解析出设备ID，根据设备ID查找对应的字典文件，如果内存中不存在该字典文件，则要进行加载；接着，根据该字典文件，完成数据的自动解压缩，并将解压缩后的第一格式的数据传输到端设备。同样，如果本地未保存该字典文件，则采用原始未压缩方式直接传输。
在另一实施例中，如图6所示，一种基于物模型的电力物联网数据压缩装置，还包括：字典生成模块。
字典生成模块主要部署在物联管理平台上，用于根据设备物模型文件自动解析并生成压缩字典文件，物模型文件与字典文件一一对应。
在另一实施例中，如图6所示，一种基于物模型的电力物联网数据压缩装置，还包括：第一字典同步模块和第二字典同步模块。
其中，第一字典同步模块部署在物联管理平台上，第二字典同步模块部署在边缘代理上，第一字典同步模块和第二字典同步模块用于将物联管理平台上生成的压缩字典文件同步保存在边缘代理。
物联管理平台生成字典文件后，利用第一字典同步模块将字典文件的描述信息发送至边缘代理，边缘代理的第二字典同步模块根据描述信息下载字典文件，并将其保存在边缘代理上；同时，物联管理平台和边缘代理还需同步保存设备ID和字典文件的映射关系。
本发明整个工作流程如下：
1)字典文件生成
物联管理平台在接收到一个新的物模型文件时，将根据CABM压缩法自动生成一个压缩字典文件。
2)字典文件同步
物联管理平台生成字典文件后，将字典文件的描述信息发送至边缘代理，边缘代理根据描述信息下载字典文件；物联管理平台和边缘代理均保存设备ID和字典文件的映射关系。
3)数据压缩
对于物联管理平台，第一数据压缩模块首先拦截物联平台发送的数据并解析出设备ID，然后根据设备ID查找对应的字典文件；接着，该模块根据查找到的字典文件完成数据自动压缩，并将压缩后的数据传输至边缘代理。
对于边缘代理，第二数据压缩模块首先拦边缘代理发送的数据并解析出设备ID，然后根据设备ID查找对应的字典文件；接着，该模块根据查找到的字典文件完成数据自动压缩，并将压缩后的数据传输至物联管理平台。
4)数据解压缩
对于物联管理平台，第一数据解压缩模块首先拦截物联平台接收的压缩数据并解析出设备ID，然后根据设备ID查找对应的字典文件；接着，根据查找到的字典文件完成数据自动解压缩，并将解压缩后的数据传输至业务***/业务中台。
对于边缘代理，第二数据解压缩模块首先拦边缘代理接收的数据并解析出设备ID，然后根据设备ID查找对应的字典文件；接着，根据查找到的字典文件完成数据自动解压缩，并将解压缩后的数据传输至端设备。
本发明通过在物联管理平台和边缘代理之间增加压缩和解压缩模块，由物联管理平台根据物模型文件自动生成压缩字典并同步在边缘代理保存，在数据传输时根据压缩字典完成自动压缩和解压。该过程对基于智慧物联体系的业务***完全透明，既满足了业务交互对于简单易用的JSON数据格式要求，又提升了数据传输效率，解决了生产环境中传输效率低造成的流量费用增加的问题。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上已以较佳实施例公布了本发明，然其并非用以限制本发明，凡采取等同替换或等效变换的方案所获得的技术方案，均落在本发明的保护范围内。

Claims (5)

1.一种基于物模型的电力物联网数据压缩方法，其特征在于，包括：
根据预先生成并保存在物联管理平台上的压缩字典文件，对物联管理平台向边缘代理发送的第一格式的数据报文进行压缩，生成第二格式的数据报文，将第二格式的数据报文传输至边缘代理；以及，
根据所述压缩字典文件，对物联管理平台接收的第二格式的数据报文进行解压缩，生成第一格式的数据报文；
其中，所述压缩字典文件是根据设备物模型文件自动生成的，每个物模型文件对应一个压缩字典文件；
其中，第一格式为JSON格式；
所述压缩字典文件根据CABM压缩法生成，所述CABM压缩法包括：
将物模型文件中的数据分为字符串类型、数字类型、枚举类型和复合类型；所述数字类型包括Int、float和double，所述枚举类型包括Boolean和枚举，所述复合类型包括结构体和数据；
字符串类型采用常量存储或者直接存储，在字典文件中用"CODE_TYPE"表示字符串存储方式，常量存储方式为在字段名编码后直接存储字符串常量的ID，每个物模型文件对应一个字符串常量字典，所述字符串常量字典对每个常量进行编码；直接存储方式为首先存储字段名编码，然后存储字符串长度，最后存储字符串内容；其中，字符串长度字段采用变长编码方式，最小为1 字节，最大为4 个字节，每个字节的最高bit 位为1 时表示下一个字节仍存储长度；
数字类型和枚举类型在压缩时在字段名编码后直接存储数值内容；
复合类型指报文由 1 个或多个子成员构成的组合结构体，每个子成员可以为字符串、数字、枚举类型或者复合类型；压缩时首先存储字段名编码，然后存储“子成员数量”，子成员对象随后按序排列，子成员之间用分隔符隔离，其中，子成员数量采用变长编码方式，最长为 4 个字节；
所述物联管理平台和边缘代理同步保存设备ID和字典文件的映射关系；
当物联管理平台向边缘代理发送第一格式的数据报文时，对第一格式的数据报文进行拦截并从中解析出设备ID，根据设备ID查找对应的压缩字典文件，根据压缩字典文件对第一格式的数据报文进行压缩；当物联管理平台接收到第二格式的数据报文时，对接收到的第二格式的数据报文进行拦截并从中解析出设备ID，根据设备ID查找对应的压缩字典文件，根据压缩字典文件对第二格式的数据报文进行解压缩；
当边缘代理向物联管理平台发送第一格式的数据报文时，对第一格式的数据报文进行拦截并从中解析出设备ID，根据设备ID查找对应的压缩字典文件，根据压缩字典文件对第一格式的数据报文进行压缩；当边缘代理接收第二格式的数据报文时，对接收到的第二格式的数据报文进行拦截并从中解析出设备ID，根据设备ID查找对应的压缩字典文件，根据压缩字典文件对第二格式的数据报文进行解压缩。
2.根据权利要求1所述的一种基于物模型的电力物联网数据压缩方法，其特征在于，物联管理平台上生成的压缩字典文件同步保存在边缘代理上，所述方法还包括：
根据同步保存在边缘代理上的压缩字典文件，对边缘代理向物联管理平台发送的第一格式的数据报文进行压缩，生成第二格式的数据报文，将第二格式的数据报文传输至物联管理平台；以及，
根据所述压缩字典文件，对边缘代理接收的第二格式的数据报文进行解压缩，生成第一格式的数据报文。
3.一种基于物模型的电力物联网数据压缩装置，其特征在于，包括：部署在物联管理平台上的第一数据压缩模块、第一数据解压缩模块和字典生成模块，
所述第一数据压缩模块，用于根据预先生成并保存在物联管理平台上的压缩字典文件，对物联管理平台向边缘代理发送的第一格式的数据报文进行压缩，生成第二格式的数据报文，将第二格式的数据报文传输至边缘代理；
所述第一数据解压缩模块，用于根据所述压缩字典文件，对物联管理平台接收的第二格式的数据报文进行解压缩，生成第一格式的数据报文；
所述字典生成模块，用于根据设备物模型文件，采用CABM压缩法，生成压缩字典文件，每个物模型文件对应一个压缩字典文件；
其中，第一格式为JSON格式；
所述CABM压缩法包括：
将物模型文件中的数据分为字符串类型、数字类型、枚举类型和复合类型；所述数字类型包括Int、float和double，所述枚举类型包括Boolean和枚举，所述复合类型包括结构体和数据；
字符串类型采用常量存储或者直接存储，在字典文件中用"CODE_TYPE"表示字符串存储方式，常量存储方式为在字段名编码后直接存储字符串常量的ID，每个物模型文件对应一个字符串常量字典，所述字符串常量字典对每个常量进行编码；直接存储方式为首先存储字段名编码，然后存储字符串长度，最后存储字符串内容；其中，字符串长度字段采用变长编码方式，最小为1 字节，最大为4 个字节，每个字节的最高bit 位为1 时表示下一个字节仍存储长度；
数字类型和枚举类型在压缩时在字段名编码后直接存储数值内容；
复合类型指报文由 1 个或多个子成员构成的组合结构体，每个子成员可以为字符串、数字、枚举类型或者复合类型；压缩时首先存储字段名编码，然后存储“子成员数量”，子成员对象随后按序排列，子成员之间用分隔符隔离，其中，子成员数量采用变长编码方式，最长为 4 个字节；
所述物联管理平台和边缘代理同步保存设备ID和字典文件的映射关系；
当物联管理平台向边缘代理发送第一格式的数据报文时，对第一格式的数据报文进行拦截并从中解析出设备ID，根据设备ID查找对应的压缩字典文件，根据压缩字典文件对第一格式的数据报文进行压缩；当物联管理平台接收到第二格式的数据报文时，对接收到的第二格式的数据报文进行拦截并从中解析出设备ID，根据设备ID查找对应的压缩字典文件，根据压缩字典文件对第二格式的数据报文进行解压缩；
当边缘代理向物联管理平台发送第一格式的数据报文时，对第一格式的数据报文进行拦截并从中解析出设备ID，根据设备ID查找对应的压缩字典文件，根据压缩字典文件对第一格式的数据报文进行压缩；当边缘代理接收第二格式的数据报文时，对接收到的第二格式的数据报文进行拦截并从中解析出设备ID，根据设备ID查找对应的压缩字典文件，根据压缩字典文件对第二格式的数据报文进行解压缩。
4.根据权利要求3所述的一种基于物模型的电力物联网数据压缩装置，其特征在于，还包括：部署在边缘代理上的第二数据压缩模块和第二数据解压缩模块，
所述第二数据压缩模块，用于根据同步保存在边缘代理上的压缩字典文件，对边缘代理向物联管理平台发送的第一格式的数据报文进行压缩，生成第二格式的数据报文，将第二格式的数据报文传输至物联管理平台；
所述第二数据解压缩模块，用于根据所述压缩字典文件，对边缘代理接收的第二格式的数据报文进行解压缩，生成第一格式的数据报文。
5.根据权利要求3所述的一种基于物模型的电力物联网数据压缩装置，其特征在于，还包括：部署在物联管理平台上的第一字典同步模块和部署在边缘代理上的第二字典同步模块，所述第一字典同步模块用于将字典生成模块生成的字典文件的描述信息发送至边缘代理，第二字典同步模块用于根据所述描述信息下载字典文件。
CN202210172089.4A 2022-02-24 2022-02-24 一种基于物模型的电力物联网数据压缩方法及装置 Active CN114666406B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210172089.4A CN114666406B (zh) 2022-02-24 2022-02-24 一种基于物模型的电力物联网数据压缩方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210172089.4A CN114666406B (zh) 2022-02-24 2022-02-24 一种基于物模型的电力物联网数据压缩方法及装置

Publications (2)

Publication Number Publication Date
CN114666406A CN114666406A (zh) 2022-06-24
CN114666406B true CN114666406B (zh) 2023-11-21

Family

ID=82028206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210172089.4A Active CN114666406B (zh) 2022-02-24 2022-02-24 一种基于物模型的电力物联网数据压缩方法及装置

Country Status (1)

Country Link
CN (1) CN114666406B (zh)

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6247015B1 (en) * 1998-09-08 2001-06-12 International Business Machines Corporation Method and system for compressing files utilizing a dictionary array
CN1425986A (zh) * 2003-01-17 2003-06-25 清华大学 自动压缩/解压缩文件***及其压缩算法
CN101540613A (zh) * 2009-04-10 2009-09-23 深圳市新飞扬数码技术有限公司 一种数据压缩方法及其装置
CN101729075A (zh) * 2008-10-10 2010-06-09 英华达(上海)电子有限公司 一种数据压缩、解压缩的方法和装置
CN102546740A (zh) * 2011-06-24 2012-07-04 奇智软件（北京）有限公司 一种基于云压缩文件的压缩和解压缩方法、装置及***
CN103268299A (zh) * 2013-05-10 2013-08-28 哈尔滨工业大学 一种应用于PXI Express总线测试***的通用数据压缩IP核
CN103716056A (zh) * 2012-09-29 2014-04-09 华为技术有限公司 数据压缩方法、数据解压缩方法和设备
CN104216958A (zh) * 2014-08-20 2014-12-17 深圳市邦彦信息技术有限公司 基于结构化数据的传输方法及装置
CN104378234A (zh) * 2014-11-19 2015-02-25 北京数迅科技有限公司 跨数据中心的数据传输处理方法及***
CN104462524A (zh) * 2014-12-24 2015-03-25 福建江夏学院 一种物联网数据压缩存储方法
CN104572964A (zh) * 2014-12-30 2015-04-29 北京奇虎科技有限公司 一种压缩文件的解压方法和装置
CN104734722A (zh) * 2013-12-23 2015-06-24 深圳市国微电子有限公司 数据压缩方法及数据解压缩装置
CN107994907A (zh) * 2017-12-01 2018-05-04 北京奇艺世纪科技有限公司 一种生成压缩字典的方法及装置
CN108091338A (zh) * 2017-12-29 2018-05-29 江苏惠通集团有限责任公司 语音遥控***及其主机端的数据处理方法及装置
CN108092956A (zh) * 2017-12-01 2018-05-29 北京奇艺世纪科技有限公司 一种获取压缩字典的方法和装置
CN109450450A (zh) * 2018-10-17 2019-03-08 杭州费尔斯通科技有限公司 一种json数据实时无损压缩以及解压方法
CN109800182A (zh) * 2019-01-18 2019-05-24 深圳忆联信息***有限公司 一种降低写放大的数据存储处理方法及其***
CN110532235A (zh) * 2019-08-06 2019-12-03 苏州浪潮智能科技有限公司 一种文件压缩、解压缩方法及装置
CN110781155A (zh) * 2019-10-18 2020-02-11 赛尔网络有限公司 基于ipfs的数据存储读取方法、***、设备和介质
CN111949621A (zh) * 2020-07-22 2020-11-17 金钱猫科技股份有限公司 一种基于场景切换的文件压缩存储方法及终端
CN112187400A (zh) * 2019-07-03 2021-01-05 大唐移动通信设备有限公司 数据传输方法及装置
CN112332981A (zh) * 2020-11-17 2021-02-05 珠海大横琴科技发展有限公司 一种数据处理的方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9977801B2 (en) * 2013-11-21 2018-05-22 Sap Se Paged column dictionary
US11050436B2 (en) * 2019-06-21 2021-06-29 Sap Se Advanced database compression

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6247015B1 (en) * 1998-09-08 2001-06-12 International Business Machines Corporation Method and system for compressing files utilizing a dictionary array
CN1425986A (zh) * 2003-01-17 2003-06-25 清华大学 自动压缩/解压缩文件***及其压缩算法
CN101729075A (zh) * 2008-10-10 2010-06-09 英华达(上海)电子有限公司 一种数据压缩、解压缩的方法和装置
CN101540613A (zh) * 2009-04-10 2009-09-23 深圳市新飞扬数码技术有限公司 一种数据压缩方法及其装置
CN102546740A (zh) * 2011-06-24 2012-07-04 奇智软件（北京）有限公司 一种基于云压缩文件的压缩和解压缩方法、装置及***
CN103716056A (zh) * 2012-09-29 2014-04-09 华为技术有限公司 数据压缩方法、数据解压缩方法和设备
CN103268299A (zh) * 2013-05-10 2013-08-28 哈尔滨工业大学 一种应用于PXI Express总线测试***的通用数据压缩IP核
CN104734722A (zh) * 2013-12-23 2015-06-24 深圳市国微电子有限公司 数据压缩方法及数据解压缩装置
CN104216958A (zh) * 2014-08-20 2014-12-17 深圳市邦彦信息技术有限公司 基于结构化数据的传输方法及装置
CN104378234A (zh) * 2014-11-19 2015-02-25 北京数迅科技有限公司 跨数据中心的数据传输处理方法及***
CN104462524A (zh) * 2014-12-24 2015-03-25 福建江夏学院 一种物联网数据压缩存储方法
CN104572964A (zh) * 2014-12-30 2015-04-29 北京奇虎科技有限公司 一种压缩文件的解压方法和装置
CN107994907A (zh) * 2017-12-01 2018-05-04 北京奇艺世纪科技有限公司 一种生成压缩字典的方法及装置
CN108092956A (zh) * 2017-12-01 2018-05-29 北京奇艺世纪科技有限公司 一种获取压缩字典的方法和装置
CN108091338A (zh) * 2017-12-29 2018-05-29 江苏惠通集团有限责任公司 语音遥控***及其主机端的数据处理方法及装置
CN109450450A (zh) * 2018-10-17 2019-03-08 杭州费尔斯通科技有限公司 一种json数据实时无损压缩以及解压方法
CN109800182A (zh) * 2019-01-18 2019-05-24 深圳忆联信息***有限公司 一种降低写放大的数据存储处理方法及其***
CN112187400A (zh) * 2019-07-03 2021-01-05 大唐移动通信设备有限公司 数据传输方法及装置
CN110532235A (zh) * 2019-08-06 2019-12-03 苏州浪潮智能科技有限公司 一种文件压缩、解压缩方法及装置
CN110781155A (zh) * 2019-10-18 2020-02-11 赛尔网络有限公司 基于ipfs的数据存储读取方法、***、设备和介质
CN111949621A (zh) * 2020-07-22 2020-11-17 金钱猫科技股份有限公司 一种基于场景切换的文件压缩存储方法及终端
CN112332981A (zh) * 2020-11-17 2021-02-05 珠海大横琴科技发展有限公司 一种数据处理的方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HDVM:基于关系矩阵的关联数据压缩查询模型;符海东;顾进广;电子学报(第03期);全文 *
Ji Tu ; Meisong Zheng ; Zilong Wang ; Lijian Li ; Junye Wang.Clustered Multi-dictionary Code Compression for Embedded Systems.《2015 Data Compression Conference》.2015,全文. *
基于动态字典和差分编码的计量数据压缩研究;梁捷;蒋雯倩;李金瑾;;信息技术(第10期);全文 *
无损数据压缩与解压算法的介绍与实现;余兴阁;;信息与电脑(理论版)(01);全文 *

Also Published As

Publication number Publication date
CN114666406A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
RU2581551C2 (ru) Способ оптимизации хранения и передачи данных
CN100595596C (zh) 电网广域测量***(wams)中动态数据压缩存储方法
CN103379140B (zh) 一种日志处理规则同步方法及相关设备和***
CN102571966A (zh) 一种大型xml文件的网络传输方法
US20050027731A1 (en) Compression dictionaries
CN108833058B (zh) 一种广域测量***通信过程动态数据压缩、解压的方法
CN111464635B (zh) 一种字典索引传输方法及装置
CN110602178B (zh) 一种基于边缘压缩计算处理温度传感器数据的方法
CN104408100B (zh) 结构化网站日志的压缩方法
CN115864661B (zh) 一种电力设备运行数据远程监控方法
CN114666212B (zh) 配置数据下发方法
CN112817926B (zh) 文件处理方法及装置、存储介质及电子装置
CN113220651B (zh) 运行数据压缩方法、装置、终端设备以及存储介质
CN114666406B (zh) 一种基于物模型的电力物联网数据压缩方法及装置
CN115630614B (zh) 数据传输方法、装置、电子设备与介质
CN116980491A (zh) 基于频域变换的低压电网数据压缩传输方法及装置
CN115905168B (zh) 基于数据库的自适应压缩方法和装置、设备、存储介质
CN111259013A (zh) 一种存储数据的方法和装置
CN114024952B (zh) 一种基于dl/t 698.45-2007协议的文件压缩传输方法
CN108897497B (zh) 一种无中心的数据管理方法及装置
CN104021121A (zh) 一种文本数据压缩方法、装置及服务器
CN112417843B (zh) 一种IDcode标识解析***及其实现方法
CN106789232B (zh) 一种高效的信息流程化的处理控制***
CN114069847B (zh) 一种分布式光伏数据回填***及方法
Diao et al. Multi-heterogeneous Data Synchronization Method for New Generation Substation Monitoring System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant