CN117411947B - 基于云边协同的水务数据快速传输方法 - Google Patents
基于云边协同的水务数据快速传输方法 Download PDFInfo
- Publication number
- CN117411947B CN117411947B CN202311724653.XA CN202311724653A CN117411947B CN 117411947 B CN117411947 B CN 117411947B CN 202311724653 A CN202311724653 A CN 202311724653A CN 117411947 B CN117411947 B CN 117411947B
- Authority
- CN
- China
- Prior art keywords
- data
- segment
- water flow
- section
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 196
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000005540 biological transmission Effects 0.000 title claims abstract description 21
- 230000003044 adaptive effect Effects 0.000 claims abstract description 24
- 238000013144 data compression Methods 0.000 claims abstract description 16
- 238000003064 k means clustering Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 description 7
- 238000007906 compression Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 235000005607 chanvre indien Nutrition 0.000 description 3
- 244000261228 chanvre indien Species 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007907 direct compression Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明涉及数字信息传输技术领域,具体涉及一种基于云边协同的水务数据快速传输方法。该方法包括:获取水流量数据,确定水流量数据的整体波动程度;构建坐标系并确定水务坐标,基于水务坐标将水流量数据划分为至少两个时间段的段数据;确定每个时间段所有段数据的流量增长系数;确定每个时间段的段波动程度;结合段数据的均值、流量增长系数、段波动程度和整体波动程度,确定自适应编码参数;根据自适应编码参数分别对对应段数据进行哥伦布编码处理,得到编码数据;对编码数据进行数据压缩,得到压缩数据,基于云边数据管道传输压缩数据。综上,本发明能够有效减少水流量数据所占用的存储空间,提升传输水流量数据的效率。
Description
技术领域
本发明涉及数字信息传输技术领域,具体涉及一种基于云边协同的水务数据快速传输方法。
背景技术
水流量数据是一种对江河流量进行估计的水务数据信息,是水务规划、设备投资、资源调配等决策的重要参考依据,由于需统计的水流量数据持续时间长、数据量庞大,因此,水流量数据的传输面临着传输带宽受限、存储资源有限和传输延迟等问题。
相关技术中,使用哥伦布编码对水流量数据进行数据编码处理,以提升传输的稳定性,这种方式下,由于水流量数据整体波动较大,例如在不同时间段、不同河流的水流量数据变化较大,因此,哥伦布编码传输的方式会导致较小的数据和较大的数据利用同一编码参数进行压缩,较小的数据最终也编码为较长的编码,也即是说,在这种方式下,水流量数据所占用的存储空间较大,传输水流量数据的效率不足。
发明内容
为了解决相关技术中水流量数据所占用的存储空间较大,传输水流量数据的效率不足的技术问题,本发明提供一种基于云边协同的水务数据快速传输方法,所采用的技术方案具体如下:
本发明提出了一种基于云边协同的水务数据快速传输方法,方法包括:
获取时序上不同时间点的水流量数据,根据所有所述水流量数据的数值确定所述水流量数据的整体波动程度;
以时间点为横坐标、水流量数据的数值大小为纵坐标构建坐标系,不同时间点的水流量数据对应水务坐标,根据所有水务坐标对所有时间点的所述水流量数据进行聚类,将所有时间点的水流量数据划分为至少两个时间段的段数据;
对每个时间段所有段数据的水务坐标进行直线拟合,确定每个时间段所有段数据的流量增长系数;根据每个时间段所有段数据的数值确定每个时间段的段波动程度;根据每个时间段所有段数据的均值、所述流量增长系数、所述段波动程度和整体波动程度,确定每个时间段所有段数据的自适应编码参数;
根据自适应编码参数分别对对应段数据进行哥伦布编码处理,得到编码数据;对所述编码数据进行数据压缩,得到压缩数据,基于云边数据管道传输所述压缩数据。
进一步地,所述根据所有所述水流量数据的数值确定所述水流量数据的整体波动程度,包括:
计算所有所述水流量数据的数值的方差的归一化值作为所述水流量数据的整体波动程度。
进一步地,所述根据所有水务坐标对所有时间点的所述水流量数据进行聚类,将所有时间点的水流量数据划分为至少两个时间段的段数据,包括:
基于手肘法确定预设K值,基于K-Means聚类算法和预设K值,对所有所述水务坐标进行K-Means聚类处理,得到聚类簇;
根据聚类簇将所述水流量数据划分为至少两个时间段的段数据。
进一步地,所述根据聚类簇将所述水流量数据划分为至少两个时间段的段数据,包括:
确定每个聚类簇中所有水务坐标的横坐标值的端点值,根据所述端点值将所述水流量数据划分为至少两个时间段的段数据。
进一步地,所述对每个时间段所有段数据的水务坐标进行直线拟合,确定每个时间段所有段数据的流量增长系数,包括:
基于直线拟合算法对每个时间段所有段数据的水务坐标进行直线拟合,确定每个时间段所有段数据的拟合直线;
对所述拟合直线的斜率的绝对值进行归一化处理,作为对应时间段所有段数据的流量增长系数。
进一步地,所述根据每个时间段所有段数据的数值确定每个时间段的段波动程度,包括:
计算每个时间段所有段数据的数值的方差作为每个时间段的段波动程度。
进一步地,所述根据每个时间段所有段数据的均值、所述流量增长系数、所述段波动程度和整体波动程度,确定每个时间段所有段数据的自适应编码参数,包括:
计算所述每个时间段所有段数据的均值,并计算均值与预设调整系数的乘积作为段参数指标;
计算所述流量增长系数、所述段波动程度和整体波动程度的乘积的反比例归一化值作为参数调整指标;
根据所述段参数指标和所述参数调整指标,确定所述时间段内所有段数据的自适应编码参数。
进一步地,所述根据所述段参数指标和所述参数调整指标,确定所述时间段内所有段数据的自适应编码参数,包括:
计算所述段参数指标和所述参数调整指标的乘积作为对应段数据的自适应编码参数。
进一步地,所述根据自适应编码参数分别对对应段数据进行哥伦布编码处理,得到编码数据,包括:
基于哥伦布编码算法,将所述自适应编码参数作为哥伦布编码参数,对对应的段数据进行哥伦布编码处理,遍历所有段数据,并按照时序顺序重新组合得到编码数据。
进一步地,所述对所述编码数据进行数据压缩,得到压缩数据,包括:
基于LZ77算法对所述编码数据进行数据压缩,得到压缩数据。
本发明具有如下有益效果:
本发明应用于数字信息传输技术领域,通过获取时序上不同时间点的水流量数据,根据所有水流量数据的数值确定水流量数据的整体波动程度,整体波动程度表征水流量数据整体的波动情况,便于对水流量数据的整体变化进行分析;而后,由于现实中水流量数据整体变化往往较大,为了便于分析,对水流量数据进行分段,建立坐标系并确定水务坐标,聚类将水流量数据划分为段数据,能够在后续对每一段段数据分别进行数据编码,使得能够根据水流量数据的变化自适应编码,提升编码效果;本发明通过获取段数据的流量增长系数、段波动程度、段数据的均值以及整体波动程度,进行自适应编码参数的获取,其中,自适应编码参数为结合每一段数据的数值情况和流量增长系数、段波动程度以及整体波动程度等特征,进行分析而得到的编码参数,根据自适应编码参数对段数据进行哥伦布编码处理,得到编码数据;对编码数据进行数据压缩,得到压缩数据,基于云边数据管道传输压缩数据,通过自适应编码参数进行哥伦布编码,而后进行数据压缩,能够根据变化程度进行自适应的编码压缩,同时,有效缩短了整体的存储空间,综上,本发明能够有效减少水流量数据所占用的存储空间,提升传输水流量数据的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于云边协同的水务数据快速传输方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于云边协同的水务数据快速传输方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于云边协同的水务数据快速传输方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种基于云边协同的水务数据快速传输方法流程图,该方法包括:
S101:获取时序上不同时间点的水流量数据,根据所有水流量数据的数值确定水流量数据的整体波动程度。
本发明实施例的具体应用场景为,通过获取水流量数据,而后,对水流量数据进行数据编码和压缩,以便于提升水流量数据的传输效率,可以理解的是,在常规的水流量数据统计过程中,由于水流量较大,且对水流量的敏感度较低,因此,通常将水流量数据用正整数进行表示,且又由于水流量跟随天气、时间、人为因素等多方面影响,其数值较大,变化较大,因此,传统的哥伦布编码的方式压缩效果较差。
本发明实施例在水流量数据的获取过程中,可以使用流量计量设备采集水流量,并使用整数的形式表征对应的水流量,常见的流量计量设备包括涡街流量计、电磁流量计、瞬时流量计等。也即是说,本发明通过使用对应流量计周期性获取不同时间点的水流量数据,举例而言,每隔1小时获取一次水流量数据,对此不做限制。
本发明实施例中,可以结合所获取的所有水流量数据的数值,确定整体的波动程度,其中,整体波动程度,为水流量在对应时间段内的波动情况,也即水流量变化的快慢情况。
进一步地,在本发明的一些实施例中,根据所有水流量数据的数值确定水流量数据的整体波动程度,包括:计算所有水流量数据的数值的方差的归一化值作为水流量数据的整体波动程度。本发明实施例通过方差的形式确定水流量数据的整体波动程度,在方差值越大时,表示对应水流量变化越剧烈,也即整体波动程度越高,在方差值越小时,表示对应水流量变化越平缓,也即整体波动程度越低。
本发明在对水流量数据进行整体分析之后,可以根据水流量在不同阶段的变化情况分阶段进行局部分析,其局部分析的具体过程参见后续实施例。
S102:以时间点为横坐标、水流量数据的数值大小为纵坐标构建坐标系,不同时间点的水流量数据对应水务坐标,根据所有水务坐标对所有时间点的水流量数据进行聚类,将所有时间点的水流量数据划分为至少两个时间段的段数据。
在本发明实施例中,可以根据对应的水流量分布情况对不同时间点的水流量数据进行划分,得到多个时间段对应的段数据,在划分过程中,可以使用聚类的方式进行处理,本发明则以时间点为横坐标、水流量数据的数值大小为纵坐标构建坐标系,不同时间点的水流量数据对应水务坐标,也即是说,将水流量数据在坐标系中用水务坐标的形式进行表征,而后,根据坐标系中各水务坐标的分布对水流量数据进行划分。
进一步地,在本发明的一些实施例中,根据所有水务坐标对所有时间点的水流量数据进行聚类,将所有时间点的水流量数据划分为至少两个时间段的段数据,包括:基于手肘法确定预设K值,基于K-Means聚类算法和预设K值,对所有水务坐标进行K-Means聚类处理,得到聚类簇;根据聚类簇将水流量数据划分为至少两个时间段的段数据。
其中,手肘法,是一种确认聚类k值的现有方法,由于不同时间段内水流量的变化情况不同,也即在不同的水流量数据中,水流量的分段情况不同,无法简单使用固定的预设k值进行直接分析,因此,本发明实施例通过手肘法确定准确且更客观的预设k值,而后,基于预设k值进行聚类处理。
其中,K-Means聚类算法,为本领域技术人员所熟知的聚类算法,基于预设k值,可以使用K-Means聚类算法对所有水务坐标进行K-Means聚类处理,得到聚类簇,也即是说,将水务坐标距离相近的组合至一个聚类簇中,每个聚类簇所对应的水流量数据均可以表征在相邻时刻处于同一水流量阶段。
本发明实施例中,基于K-Means聚类算法对水务数据进行聚类处理,得到聚类簇,也即是说,对应的聚类簇能够将水流量数据进行数据划分。
进一步地,在本发明的一些实施例中,根据聚类簇将水流量数据划分为至少两个时间段的段数据,包括:确定每个聚类簇中所有水务坐标的横坐标值的端点值,根据端点值将水流量数据划分为至少两个时间段的段数据。
可以理解的是,由于水流量变化为线性的,也即是说,在正常水流量变化过程中,数据值发生突变的可能性较低,因此,本发明实施例所得到的每个聚类簇所对应所有水务坐标在时序上位应该为连续的,则本发明实施例将每个聚类簇中所有水务坐标的横坐标值的端点作为分段的端点,根据端点值将水流量数据划分为至少两个时间段的段数据。其中,由于横坐标为时间,也即段数据为一个连续时间段对应的水流量数据。该时间段为整体水流量时间段的一个子段。
举例而言,在水流量数据所对应时间点为1~10,聚类簇的端点值分别,3、7时,则可以将其划分为{1~3}、{4~7}、{8~10}三个时间段,每一时间段所对应的水流量数据作为同一时间点的段数据。
本发明实施例使用聚类的方式进行分段,从而能够有效根据水流量变化线性平缓的特点,对水流量数据进行有效分段,从而能够准确划分不同水流量时期,保证水流量数据分析能够根据水流量数据本身数据值的大小进行分类分析,避免直接根据固定的压缩方式。
S103:对每个时间段所有段数据的水务坐标进行直线拟合,确定每个时间段所有段数据的流量增长系数;根据每个时间段所有段数据的数值确定每个时间段的段波动程度;根据每个时间段所有段数据的均值、流量增长系数、段波动程度和整体波动程度,确定每个时间段所有段数据的自适应编码参数。
本发明实施例中,为了对段数据的分布特征进行分析,引用流量增长系数、段波动程度和段数据的均值等指标进行自适应编码的确定。
进一步地,在本发明的一些实施例中,对每个时间段所有段数据的水务坐标进行直线拟合,确定每个时间段所有段数据的流量增长系数,包括:基于直线拟合算法对每个时间段所有段数据的水务坐标进行直线拟合,确定每个时间段所有段数据的拟合直线;对拟合直线的斜率的绝对值进行归一化处理,作为对应时间段所有段数据的流量增长系数。
可以理解的是,每一时间段的段数据均可以表征水流量处于相似情况下的水流量数据,该情况可以具体例如为水流量增加、水流量减小、水流量维持不变等多种情况,因此,本发明对每个时间段的所有段数据的水务坐标进行直线拟合,并确定对应的拟合直线。而拟合直线的斜率,既可以表征对应的段数据的变化趋势。
本发明实施例中,在拟合直线的斜率的绝对值越大时,表示水流量数据变化越大,也即可以表示对应的水流量受到外力影响越大,此时,该段数据的变化程度越高,也即该段数据间的数据数值差异较大,因此,本发明实施例中基于拟合直线的斜率进行归一化作为流量增长系数。
进一步地,在本发明的一些实施例中,根据每个时间段所有段数据的数值确定每个时间段的段波动程度,包括:计算每个时间段所有段数据的数值的方差作为每个时间段的段波动程度。
其中,段波动程度,与整体波动程度的计算相类似,本发明同样以每个时间段所有段数据的数值方差作为每个时间段的段波动程度,可以理解的是,段波动程度表征了每个时间段段数据的波动程度,也即水流量在不同时间点的水流变化情况,本发明实施例中,段波动程度越大,表示对应时间段内水流量变化越不稳定,该情况极大概率为异常天气影响,或者异常人为因素,如暴雨天气、上游开闸等,为了便于对异常情况进行统计,因此,本发明的段波动程度越大,同样表征对应段数据的变化程度越高。
由此,在确定流量增长系数、段波动程度和整体波动程度之后,可以结合所得到的分析结果对每个时间段内段数据的编码情况进行调整。
进一步地,在本发明的一些实施例中,根据每个时间段所有段数据的均值、流量增长系数、段波动程度和整体波动程度,确定每个时间段所有段数据的自适应编码参数,包括:计算每个时间段所有段数据的均值,并计算均值与预设调整系数的乘积作为段参数指标;计算流量增长系数、段波动程度和整体波动程度的乘积的反比例归一化值作为参数调整指标;根据段参数指标和参数调整指标,确定时间段内所有段数据的自适应编码参数。
其中,预设调整系数,为进行哥伦布编码的编码参数的调整系数,可选地,预设调整系数可以具体例如为0.5,或者,也可以根据实际检测情况进行调整,对此不做限制。
本发明实施例中,计算每个时间段所有段数据的均值,该均值可以具体表征段数据的整体情况,计算均值与预设调整系数的乘积作为段参数指标,而后,可以对段参数指标进行调整。
其中,计算流量增长系数、段波动程度和整体波动程度的乘积的反比例归一化值作为参数调整指标,可以理解的是,流量增长系数、段波动程度的值越大,均可以表示对应时间段所有段数据的变化程度越高,而整体波动程度表整理对应水流量数据的变化程度,则所求的的参数调整指标越大,表示对应时间段内段数据的变化程度越低。
可以理解的是,在本发明实施例中,需要使用哥伦布编码算法进行数据编码,而水流数据通常为数值较大的数据,其数值通常在100~3000之间,引用具体数据进行说明,在水流量统计过程中,某一天的上午9时,赣江在赣州的水流量数据为1220立方米每秒,而赣江在高安的水流量数据为184立方米每秒,也即在使用哥伦布编码进行编码统计时,固定的编码参数会使得不同水流量程度的编码差距过大,其对应传输效率较差,因此,本发明实施例中通过进行分段,从而实现分段的分析,并基于变化程度对最终编码长度进行调整。
进一步地,在本发明的一些实施例中,根据段参数指标和参数调整指标,确定时间段内所有段数据的自适应编码参数,包括:计算段参数指标和参数调整指标的乘积作为对应段数据的自适应编码参数。
本发明实施例中,段参数指标和参数调整指标均与自适应编码参数呈正相关关系,也即是说,在时间段内所有段数据的变化程度越高时,对应的自适应编码参数可能越小,而在时间段内所有段数据的变化程度越低时,对应的自适应编码参数可能越大,由此,根据变化程度和段参数指标进行自适应编码参数的调整。
S104:根据自适应编码参数分别对对应段数据进行哥伦布编码处理,得到编码数据;对编码数据进行数据压缩,得到压缩数据,基于云边数据管道传输压缩数据。
本发明实施例中,使用哥伦布编码算法对数据进行编码处理,进一步地,在本发明的一些实施例中,根据自适应编码参数分别对对应段数据进行哥伦布编码处理,得到编码数据,包括:基于哥伦布编码算法,将自适应编码参数作为哥伦布编码参数,对对应的段数据进行哥伦布编码处理,遍历所有段数据,并按照时序顺序重新组合得到编码数据。
需要说明的是,哥伦布编码算法在编码参数的数值选取合适时,能够有效缩短最终编码长度,但面对数据较大的水流量参数,使用数值较小的编码参数进行编码,其最终的编码仍然较长,因此,本发明在面对变化程度较低的段数据时,表征对应数据变化较小,使用哥伦布编码算法对相差较小的数据进行编码时,其编码的相似性较高,而面对变化程度更大的水段数据,则可以设置相对更低的自适应编码参数,使得在使用更低的自适应编码参数进行哥伦布编码处理时,能够得到分布更为简单的编码,通过该种方式,虽然将重要程度更高的数据编码为字节数更长的编码数据,但是其编码变得更为简单,进而在后续进行二次压缩时,更简单的数据能够被编码的更短,更不易因数据传输损坏导致数据丢失。
进一步地,在本发明的一些实施例中,对编码数据进行数据压缩,得到压缩数据,包括:基于LZ77算法对编码数据进行数据压缩,得到压缩数据。
其中,LZ77算法,为一种无损的数据压缩算法,LZ77算法在面对重复的、规律性较大的数据时,其对应的压缩效果更优,因此,本发明实施例通过重要程度对数据进行分析,从而在使用LZ77算法进行数据压缩时,能够使重要性更大的水流量数据的复杂程度更低,更易被LZ77算法进行压缩,而重要性更小的水流量数据复杂程度更高,但是其字节数量在编码数据中即更少,使得传输过程中整体的传输效率能够得到提升。
在压缩得到压缩数据之后,本发明实施例使用云边数据管道传输压缩数据,其中,云边数据管道,为云边***中进行数据传输的管道,本发明实施例基于云边数据管道进行数据传输,能够根据云边协同的方式对压缩数据进行高效传输,大幅度提升压缩数据传输的便捷性,增强压缩数据传输距离,在传输距离内提升压缩数据传输的可靠性,增强压缩数据传输效果。
本发明应用于数字信息传输技术领域,通过获取时序上不同时间点的水流量数据,根据所有水流量数据的数值确定水流量数据的整体波动程度,整体波动程度表征水流量数据整体的波动情况,便于对水流量数据的整体变化进行分析;而后,由于现实中水流量数据整体变化往往较大,为了便于分析,对水流量数据进行分段,建立坐标系并确定水务坐标,聚类将水流量数据划分为段数据,能够在后续对每一段段数据分别进行数据编码,使得能够根据水流量数据的变化自适应编码,提升编码效果;本发明通过获取段数据的流量增长系数、段波动程度、段数据的均值以及整体波动程度,进行自适应编码参数的获取,其中,自适应编码参数为结合每一段数据的数值情况和流量增长系数、段波动程度以及整体波动程度等特征,进行分析而得到的编码参数,根据自适应编码参数对段数据进行哥伦布编码处理,得到编码数据;对编码数据进行数据压缩,得到压缩数据,基于云边数据管道传输压缩数据,通过自适应编码参数进行哥伦布编码,而后进行数据压缩,能够使得重要程度更高的数据被压缩后所占用存储空间更少,同时,有效缩短了整体的存储空间,综上,本发明能够有效减少水流量数据所占用的存储空间,提升传输水流量数据的效率。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
Claims (4)
1.一种基于云边协同的水务数据快速传输方法,其特征在于,所述方法包括:
获取时序上不同时间点的水流量数据,根据所有所述水流量数据的数值确定所述水流量数据的整体波动程度;
以时间点为横坐标、水流量数据的数值大小为纵坐标构建坐标系,不同时间点的水流量数据对应水务坐标,根据所有水务坐标对所有时间点的所述水流量数据进行聚类,将所有时间点的水流量数据划分为至少两个时间段的段数据;
对每个时间段所有段数据的水务坐标进行直线拟合,确定每个时间段所有段数据的流量增长系数;根据每个时间段所有段数据的数值确定每个时间段的段波动程度;根据每个时间段所有段数据的均值、所述流量增长系数、所述段波动程度和整体波动程度,确定每个时间段所有段数据的自适应编码参数;
根据自适应编码参数分别对对应段数据进行哥伦布编码处理,得到编码数据;对所述编码数据进行数据压缩,得到压缩数据,基于云边数据管道传输所述压缩数据;
所述根据所有所述水流量数据的数值确定所述水流量数据的整体波动程度,包括:
计算所有所述水流量数据的数值的方差的归一化值作为所述水流量数据的整体波动程度;
所述根据所有水务坐标对所有时间点的所述水流量数据进行聚类,将所有时间点的水流量数据划分为至少两个时间段的段数据,包括:
基于手肘法确定预设K值,基于K-Means聚类算法和预设K值,对所有所述水务坐标进行K-Means聚类处理,得到聚类簇;
根据聚类簇将所述水流量数据划分为至少两个时间段的段数据;
所述根据聚类簇将所述水流量数据划分为至少两个时间段的段数据,包括:
确定每个聚类簇中所有水务坐标的横坐标值的端点值,根据所述端点值将所述水流量数据划分为至少两个时间段的段数据;
所述对每个时间段所有段数据的水务坐标进行直线拟合,确定每个时间段所有段数据的流量增长系数,包括:
基于直线拟合算法对每个时间段所有段数据的水务坐标进行直线拟合,确定每个时间段所有段数据的拟合直线;
对所述拟合直线的斜率的绝对值进行归一化处理,作为对应时间段所有段数据的流量增长系数;
所述根据每个时间段所有段数据的数值确定每个时间段的段波动程度,包括:
计算每个时间段所有段数据的数值的方差作为每个时间段的段波动程度;
所述根据每个时间段所有段数据的均值、所述流量增长系数、所述段波动程度和整体波动程度,确定每个时间段所有段数据的自适应编码参数,包括:
计算所述每个时间段所有段数据的均值,并计算均值与预设调整系数的乘积作为段参数指标;
计算所述流量增长系数、所述段波动程度和整体波动程度的乘积的反比例归一化值作为参数调整指标;
根据所述段参数指标和所述参数调整指标,确定所述时间段内所有段数据的自适应编码参数。
2.如权利要求1所述的一种基于云边协同的水务数据快速传输方法,其特征在于,所述根据所述段参数指标和所述参数调整指标,确定所述时间段内所有段数据的自适应编码参数,包括:
计算所述段参数指标和所述参数调整指标的乘积作为对应段数据的自适应编码参数。
3.如权利要求1所述的一种基于云边协同的水务数据快速传输方法,其特征在于,所述根据自适应编码参数分别对对应段数据进行哥伦布编码处理,得到编码数据,包括:
基于哥伦布编码算法,将所述自适应编码参数作为哥伦布编码参数,对对应的段数据进行哥伦布编码处理,遍历所有段数据,并按照时序顺序重新组合得到编码数据。
4.如权利要求1所述的一种基于云边协同的水务数据快速传输方法,其特征在于,所述对所述编码数据进行数据压缩,得到压缩数据,包括:
基于LZ77算法对所述编码数据进行数据压缩,得到压缩数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311724653.XA CN117411947B (zh) | 2023-12-15 | 2023-12-15 | 基于云边协同的水务数据快速传输方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311724653.XA CN117411947B (zh) | 2023-12-15 | 2023-12-15 | 基于云边协同的水务数据快速传输方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117411947A CN117411947A (zh) | 2024-01-16 |
CN117411947B true CN117411947B (zh) | 2024-02-23 |
Family
ID=89496624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311724653.XA Active CN117411947B (zh) | 2023-12-15 | 2023-12-15 | 基于云边协同的水务数据快速传输方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117411947B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117975742B (zh) * | 2024-03-29 | 2024-06-18 | 大连禾圣科技有限公司 | 基于大数据的智慧城市交通管理***及方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2451604A1 (en) * | 2001-06-29 | 2003-01-09 | Qualcomm Incorporated | Dct compression using golomb-rice coding |
US6850649B1 (en) * | 1999-03-26 | 2005-02-01 | Microsoft Corporation | Image encoding using reordering and blocking of wavelet coefficients combined with adaptive encoding |
EP1653628A1 (en) * | 2004-10-29 | 2006-05-03 | Microsoft Corporation | Lossless adaptive golomb/rice encoding and decoding of integer data using backward-adaptive rules |
WO2009044346A1 (en) * | 2007-10-05 | 2009-04-09 | Nokia Corporation | System and method for combining adaptive golomb coding with fixed rate quantization |
GB201303660D0 (en) * | 2013-03-01 | 2013-04-17 | Gurulogic Microsystems Oy | Data encoder, data decoder and method |
CN112332853A (zh) * | 2020-11-02 | 2021-02-05 | 重庆邮电大学 | 一种基于电力***的时序数据压缩与恢复方法 |
DE102021110443A1 (de) * | 2020-07-31 | 2022-02-03 | Samsung Electronics Co., Ltd. | Framebufferkomprimierschaltung und bildverarbeitungsgerät |
CN114726926A (zh) * | 2022-03-30 | 2022-07-08 | 电子科技大学 | 一种用于拉普拉斯信源的自适应变长编码方法 |
CN115459782A (zh) * | 2022-08-29 | 2022-12-09 | 北京思维实创科技有限公司 | 基于时序分割和聚类的工业物联网高频数据压缩方法 |
CN116452686A (zh) * | 2023-03-03 | 2023-07-18 | 湖北工业大学 | 基于自适应聚类和线性规划最优化选点的点画生成方法 |
-
2023
- 2023-12-15 CN CN202311724653.XA patent/CN117411947B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6850649B1 (en) * | 1999-03-26 | 2005-02-01 | Microsoft Corporation | Image encoding using reordering and blocking of wavelet coefficients combined with adaptive encoding |
CA2451604A1 (en) * | 2001-06-29 | 2003-01-09 | Qualcomm Incorporated | Dct compression using golomb-rice coding |
EP1653628A1 (en) * | 2004-10-29 | 2006-05-03 | Microsoft Corporation | Lossless adaptive golomb/rice encoding and decoding of integer data using backward-adaptive rules |
WO2009044346A1 (en) * | 2007-10-05 | 2009-04-09 | Nokia Corporation | System and method for combining adaptive golomb coding with fixed rate quantization |
GB201303660D0 (en) * | 2013-03-01 | 2013-04-17 | Gurulogic Microsystems Oy | Data encoder, data decoder and method |
DE102021110443A1 (de) * | 2020-07-31 | 2022-02-03 | Samsung Electronics Co., Ltd. | Framebufferkomprimierschaltung und bildverarbeitungsgerät |
CN112332853A (zh) * | 2020-11-02 | 2021-02-05 | 重庆邮电大学 | 一种基于电力***的时序数据压缩与恢复方法 |
CN114726926A (zh) * | 2022-03-30 | 2022-07-08 | 电子科技大学 | 一种用于拉普拉斯信源的自适应变长编码方法 |
CN115459782A (zh) * | 2022-08-29 | 2022-12-09 | 北京思维实创科技有限公司 | 基于时序分割和聚类的工业物联网高频数据压缩方法 |
CN116452686A (zh) * | 2023-03-03 | 2023-07-18 | 湖北工业大学 | 基于自适应聚类和线性规划最优化选点的点画生成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117411947A (zh) | 2024-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117411947B (zh) | 基于云边协同的水务数据快速传输方法 | |
CN106649026B (zh) | 适用于运维自动化***的监测数据压缩方法 | |
CN115935296B (zh) | 一种电能数据计量方法及*** | |
CN115359807B (zh) | 一种用于城市噪声污染的噪声在线监测*** | |
CN115987294B (zh) | 一种物联网的多维数据处理方法 | |
CN116827350B (zh) | 基于云边协同的灵活用工平台智能监管方法及*** | |
CN116996673B (zh) | 基于通行出入管理及设备运行状态的智能云端管理*** | |
CN116582133B (zh) | 一种变压器生产过程数据智能管理*** | |
CN114461594A (zh) | 数据压缩方法、边缘设备及计算机存储介质 | |
US10211851B2 (en) | Method and system for compressing data from smart meter | |
CN111339155B (zh) | 一种关联分析*** | |
CN109286817B (zh) | 一种视频编码中dct系数的量化失真信息处理方法 | |
CN116567269A (zh) | 一种基于信噪分离的频谱监测数据压缩方法 | |
Nascimento et al. | Improved transient data compression algorithm based on wavelet spectral quantization models | |
CN115866251A (zh) | 基于语义分割的图像信息快速传输方法 | |
US20150078674A1 (en) | Component sorting based encoding for 3d mesh compression | |
CN115618229A (zh) | 一种基于大数据的线损分摊算法 | |
CN104320661A (zh) | 基于差分熵和结构相似性的图像编码质量预测方法 | |
CN117459187B (zh) | 基于光纤网络的高速数据传输方法 | |
Zhao et al. | A Content-based Classified Hierarchical Vector Quantization Algorithm for Volume Compression. | |
CN113542745A (zh) | 一种率失真编码优化方法 | |
CN111316326A (zh) | 图像编码方法、设备及计算机可读存储介质 | |
CN117354645B (zh) | 净水厂进出水质的在线巡检方法 | |
CN117767960B (zh) | 一种传感器数据优化采集存储方法 | |
CN102270210A (zh) | 一种基于异质性准则的mp3音频属性离散化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |