CN114187369A - 一种基于视频压缩技术的气象预报数据压缩方法 - Google Patents

一种基于视频压缩技术的气象预报数据压缩方法 Download PDF

Info

Publication number
CN114187369A
CN114187369A CN202111420160.8A CN202111420160A CN114187369A CN 114187369 A CN114187369 A CN 114187369A CN 202111420160 A CN202111420160 A CN 202111420160A CN 114187369 A CN114187369 A CN 114187369A
Authority
CN
China
Prior art keywords
data
meteorological
weather forecast
forecast data
weather
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111420160.8A
Other languages
English (en)
Inventor
于莉
常文帅
郑昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202111420160.8A priority Critical patent/CN114187369A/zh
Publication of CN114187369A publication Critical patent/CN114187369A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于视频压缩技术的气象预报数据压缩方法，属于数据压缩技术领域。步骤包括：S1、获取原始气象预报数据，提取出时间片及气象要素数据；S2、对气象预报数据进行预处理：将同一时间各个站点同一气象要素数据映射到区间[0～1023*n]，n为映射的通道数；S3、气象数据三维格点重构：将气象预报数据按三维格点数据进行存储，对应图片三个色彩通道数据格式形成气象数据图；S4、利用视频压缩工具对气象预报数据进行10bit位深、色度亮度比为4:4:4的无损压缩编码；S5、利用视频压缩工具对S4产生的编码文件进行气象数据解码，并进行气象预测数据逆变换。本发明减少了气象预报数据的存储空间，最终压缩比可达到10:1。

Description

一种基于视频压缩技术的气象预报数据压缩方法
技术领域
本发明属于数据压缩技术领域，尤其涉及一种基于视频压缩技术的气象预报数据压缩方法。
背景技术
气象预报数据具有数据量大，气象要素种类多，时效性高等特点。由于气象预报数据中大量的数据都是时空数据，记录了时间和空间范围内的各个物理量的观测量，这些海量的气象数据消耗着人们大量的存储资源和网络传输资源。因此，选择一种好的气象预报数据压缩算法，能够大大减少磁盘空间占用，同时网络的负载也会更小，提高用户体验满意度。气象预报数据包括6个气象要素：
存储通道 气象要素 单位
PRE 过去1小时总降水量 mm
TMP 2米温度 K
PRS 表面压力 Pa
RH 相对湿度 ％
U10 10metre U wind component m/s
V10 10metre v wind component m/s
视频压缩发展历史悠久，已形成一套非常成熟、高压缩率的算法。而气象数据的构成与视频数据类似，一般采用数值预报模型运算生成的气象数据一般都采用格点数据的组织方式，一个格点预报一个数值。因此气象数据中的每个格点数据对应于视频中的每个像素，将气象数据重构成三维格点数据对应视频序列中的一帧，即可使用视频压缩工具对气象预报数据进行压缩。
在[赵苏璇，罗坚，杨成荫.基于BP神经网络的气象格点数据无损压缩方法[J]地球科学进展，2008，23(2):637-642.]中将从压缩技术大致可分为无损、有损和近无损三种。无损压缩可保留数据中的全部信息，但是压缩比普遍不高，一般为2:1到5:1；对于大量的气象预报数据，压缩比足够大是必要的，但是数据丢失对于数据预测的准确和质量会有不可估量的影响。
发明内容
发明目的：针对以上问题，本发明提出一种基于视频压缩技术的气象预报数据压缩方法，将气象预报数据处理成视频格式的数据从而实现了气象预报数据的压缩，提高其压缩比。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于视频压缩技术的气象预报数据压缩方法，包括以下步骤：
S1、获取原始气象预报数据，提取出时间片及气象要素数据；
S2、对气象预报数据进行预处理：将同一时间各个站点同一气象要素数据映射到区间[0～1023*n]，n为映射的通道数；
S3、气象数据三维格点重构：将气象预报数据按三维格点数据进行存储，对应图片三个色彩通道数据格式形成气象数据图；
S4、利用视频压缩工具对气象预报数据进行10bit位深、色度亮度比为4:4:4的无损压缩编码；
S5、利用视频压缩工具对S4产生的编码文件进行气象数据解码，并进行气象预测数据逆变换。
优选的，所述S2中映射方式如下：
设某一气象要素数据映射前后数据值分别为x,y，该气象要素需要保留的精度为a，该气象要素最大值为max，最小值为min，则映射表达式为：
Figure BDA0003377047220000021
所有气象要素数据映射完成后得到气象预报数据帧序列。
优选的，所述S3将气象预报数据按三维格点数据进行存储，方法如下：
采用matlab工具的.mat文件，参照图片的三个色彩通道数据格式，将三种不同气象要素组成三维气象预报数据图像；
设气象数据1记为X1，气象数据2记为X2，气象数据3记为X3，则组成三维气象预报数据的matlab命令为：cat(3,X1,X2,X3)。
优选的，所述S4对气象预报数据图使用HEVC标准的HM工具进行10bit无损压缩编码；设置编码配置文件中的命令参数如下：
InputChromaFormat:444；
TransquantBypassEnable＝1；
CUTransquantBypassFlagForce＝1。
优选的，所述S5数据逆变换方法如下：
设某一气象要素解码逆变换后数据为k′，映射后的值为y，该气象要素最大值为max，a为该气象要素需要保留的精度，n为映射的通道数，允许的最大误差为error，则逆变换公式为：
Figure BDA0003377047220000022
sqrt(mse(y-k′))≤error
其中sqrt为求平方根函数，mse为均方误差函数。
有益效果：与现有技术相比，本发明的技术方案具有以下有益的技术效果：
本发明方法提出的基于视频压缩的气象预报数据压缩方法，将各个站点各个相同时间段的气象预报数据映射至10bit图像存储的范围，按时间维度将气象预报数据帧形成气象预报数据序列，然后利用视频压缩技术将气象预报数据帧序列进行编码压缩，减少了气象预报数据的存储空间，极大地方便了气象预报数据的传输，同时使气象预报数据信息尽可能地保留，压缩比可达到10:1。
附图说明
图1是本发明的气象预报数据压缩流程图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
如图1所示，本发明提出基于视频压缩的气象预报数据压缩方法，具体包括：
(1)读取原始气象预报数据。读取原始地面气象数据，提取出时间片及气象要素数据，将同一时间各个站点同一气象要素数据通过二维矩阵的形式进行保存，得到气象预报数据帧。
(2)气象预报数据帧预处理。将同一时间各个站点同一气象数据按公式(1)映射到区间[0～1023*n](10bit位深对应0～1023数据范围)，n是映射的通道数。为了减少数据映射带来的误差，数据范围过大时，可以分为n个通道。具体映射方式：
设某一气象要素数据k，该气象要素需要保留的精度为a(如保留精度为0.1，则将数值乘以10后取整，即a＝10)，该气象要素最大值为max(保留精度)，最小值为min(保留精度)，映射前后的数据值分别为x,y，则映射方式为：
Figure BDA0003377047220000031
所有气象要素数据映射完成后得到气象预报数据帧序列。
(3)气象数据三维格点重构：将气象预报数据按三维格点数据进行存储，对应图片的三个色彩通道数据格式形成气象数据图；即，将三种不同气象要素组成三维气象预报数据图像。具体地：
采用matlab工具的.mat文件，参照图片的三个色彩通道数据格式，将三种不同气象要素组成三维气象预报数据图像；
设气象数据1记为X1，气象数据2记为X2，气象数据3记为X3，例如：过去1小时总降水量记为X1，表面压力记为X2，相对湿度记为X3，则组成三维气象预报数据的matlab命令为：cat(3,X1,X2,X3)。
(4)对气象预报数据图使用HEVC(High Efficiency Video Coding)标准(一种新的视频压缩标准)的HM工具进行10bit位深、色度亮度比为4:4:4的无损压缩编码；在编码配置文件中开启Transform Quantizer Bypass(TQB)。设置编码配置文件中的命令参数：
–InputChromaFormat:444；
–TransquantBypassEnable＝1；
–CUTransquantBypassFlagForce＝1。
本实施例中编码过程实现命令如下：
TAppEncoder[--help][-c config.cfg][--parameter＝value]
其中TAppEncoder为编码器，help为帮助说明参数，-c config.cfg为指定编码配置文件，--parameter＝value为设置编码配置文件中的具体参数值，该过程会输出以bin为后缀的二进制流文件。
(5)利用视频压缩工具对步骤(4)产生的编码文件(压缩数据流(bin文件))进行解码，并进行数据逆变换。
本实施例中解码过程实现命令如下：
TAppDecoder-b str.bin-o dec.yuv
其中TAppDecoder为解码器，-b str.bin为步骤(4)的输出结果，-o dec.yuv为解码后的气象数据图。
设某一气象要素解码逆变换后数据为k′，映射后的值为y，该气象要素最大值为max，a为该气象要素需要保留的精度，n为映射的通道数，允许的最大误差为error，则逆变换公式为：
Figure BDA0003377047220000041
sqrt(mse(y-k′))≤error
其中sqrt为求平方根函数，mse为均方误差函数。
下表是本发明的气象预报数据压缩误差计算图。存储通道表示不同的气象要素对应在.mat二维矩阵存储文件中的变量名，气象要素表示具体的某种气象要素，误差表示本发明方法压缩后与未压缩数据的误差，平均压缩比为压缩后数据/原数据大小。
Figure BDA0003377047220000042
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (5)

1.一种基于视频压缩技术的气象预报数据压缩方法，其特征在于：该方法包括：
S1、获取原始气象预报数据，提取出时间片及气象要素数据；
S2、对气象预报数据进行预处理：将同一时间各个站点同一气象要素数据映射到区间[0～1023*n]，n为映射的通道数；
S3、气象数据三维格点重构：将气象预报数据按三维格点数据进行存储，对应图片三个色彩通道数据格式形成气象数据图；
S4、利用视频压缩工具对气象预报数据进行10bit位深、色度亮度比为4:4:4的无损压缩编码；
S5、利用视频压缩工具对S4产生的编码文件进行气象数据解码，并进行气象预测数据逆变换。
2.根据权利要求1所述的基于视频压缩技术的气象预报数据压缩方法，其特征在于：所述S2中映射方式如下：
设某一气象要素数据映射前后数据值分别为x,y，该气象要素需要保留的精度为a，该气象要素最大值为max，最小值为min，则映射表达式为：
Figure FDA0003377047210000011
所有气象要素数据映射完成后得到气象预报数据帧序列。
3.根据权利要求1或2所述的基于视频压缩技术的气象预报数据压缩方法，其特征在于：所述S3将气象预报数据按三维格点数据进行存储，方法如下：
采用matlab工具的.mat文件，参照图片的三个色彩通道数据格式，将三种不同气象要素组成三维气象预报数据图像；
设气象数据1记为X1，气象数据2记为X2，气象数据3记为X3，则组成三维气象预报数据的matlab命令为：cat(3,X1,X2,X3)。
4.根据权利要求1或2所述的基于视频压缩技术的气象预报数据压缩方法，其特征在于：所述S4对气象预报数据图使用HEVC标准的HM工具进行10bit无损压缩编码；设置编码配置文件中的命令参数如下：
InputChromaFormat:444；
TransquantBypassEnable＝1；
CUTransquantBypassFlagForce＝1。
5.根据权利要求1或2所述的基于视频压缩技术的气象预报数据压缩方法，其特征在于：所述S5数据逆变换方法如下：
设某一气象要素解码逆变换后数据为k′，映射后的值y，该气象要素最大值为max，a为该气象要素需要保留的精度，n为映射的通道数，允许的最大误差为error，则逆变换公式为：
Figure FDA0003377047210000021
sqrt(mse(y-k′))≤error
其中sqrt为求平方根函数，mse为均方误差函数。
CN202111420160.8A 2021-11-26 2021-11-26 一种基于视频压缩技术的气象预报数据压缩方法 Pending CN114187369A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111420160.8A CN114187369A (zh) 2021-11-26 2021-11-26 一种基于视频压缩技术的气象预报数据压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111420160.8A CN114187369A (zh) 2021-11-26 2021-11-26 一种基于视频压缩技术的气象预报数据压缩方法

Publications (1)

Publication Number Publication Date
CN114187369A true CN114187369A (zh) 2022-03-15

Family

ID=80602721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111420160.8A Pending CN114187369A (zh) 2021-11-26 2021-11-26 一种基于视频压缩技术的气象预报数据压缩方法

Country Status (1)

Country Link
CN (1) CN114187369A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116244265A (zh) * 2023-03-07 2023-06-09 国家海洋环境预报中心 一种海洋气象数值预报产品的处理方法、装置及电子设备
CN116683915A (zh) * 2023-06-14 2023-09-01 上海海洋中心气象台 气象数据压缩方法、***及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116244265A (zh) * 2023-03-07 2023-06-09 国家海洋环境预报中心 一种海洋气象数值预报产品的处理方法、装置及电子设备
CN116244265B (zh) * 2023-03-07 2023-08-18 国家海洋环境预报中心 一种海洋气象数值预报产品的处理方法、装置及电子设备
CN116683915A (zh) * 2023-06-14 2023-09-01 上海海洋中心气象台 气象数据压缩方法、***及介质
CN116683915B (zh) * 2023-06-14 2024-02-13 上海海洋中心气象台 气象数据压缩方法、***及介质

Similar Documents

Publication Publication Date Title
CN114187369A (zh) 一种基于视频压缩技术的气象预报数据压缩方法
CN101018336B (zh) 基于质量的图像压缩
CN109842803B (zh) 一种图像压缩的方法及装置
CN102523367A (zh) 基于多调色板的实时图像压缩和还原方法
JP2016226001A (ja) デコーダおよび復号方法
CN112995662B (zh) 一种点云的属性熵编码和熵解码的方法及设备
US20030103676A1 (en) Data compression method and recording medium with data compression program recorded therein
CN106658004B (zh) 一种基于图像平坦区域特征的压缩方法和装置
CN108028945A (zh) 通过使用单例系数更新执行变换的设备和方法
CN106303521A (zh) 一种基于感知敏感度的hevc率失真优化方法
CN103702133A (zh) 一种图像压缩展示方法及其装置
CN101860753B (zh) 一种基于分形的视频压缩与解压缩方法
CN116828210A (zh) 一种用于矿下视频采集智能传输方法及***
CN113051237A (zh) 时间序列遥感数据的压缩存储方法
CN114143557B (zh) 一种针对视频图像小波变换高频系数的低复杂度编码方法
CN103763558A (zh) 基于相似性的纹理图像压缩方法
US20060215917A1 (en) Decoding apparatus, dequantizing method, and program thereof
CN103957426A (zh) 一种rgb565真彩色图像有损压缩及解压方法
CN105120276A (zh) 自适应Motion JPEG编码方法和***
CN112468154A (zh) 一种适用于海洋气象可视化的数据压缩方法
CN104581158A (zh) 量化表、图像压缩处理方法、装置、终端及图像搜索***
CN106559668B (zh) 一种基于智能量化技术的低码率图像压缩方法
CN103002282B (zh) 一种颜色数目自适应决策方法和图像压缩方法
CN104869426A (zh) 在低压缩码率下降低图像方块效应的jpeg编码方法
CN101720043B (zh) 基于多模式预测的成像光谱图像压缩方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination