CN116108019B - 一种基于分布式技术的气象大数据共享服务*** - Google Patents

一种基于分布式技术的气象大数据共享服务*** Download PDF

Info

Publication number
CN116108019B
CN116108019B CN202310343824.8A CN202310343824A CN116108019B CN 116108019 B CN116108019 B CN 116108019B CN 202310343824 A CN202310343824 A CN 202310343824A CN 116108019 B CN116108019 B CN 116108019B
Authority
CN
China
Prior art keywords
data
level
user
information
less
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310343824.8A
Other languages
English (en)
Other versions
CN116108019A (zh
Inventor
张洪泰
白艳秋
郭培贤
张伟
朱辉
彭渊
侯锦凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aviation Meteorological Center Of Air Traffic Administration Of Civil Aviation Administration Of China
Taiji Computer Corp Ltd
Original Assignee
Aviation Meteorological Center Of Air Traffic Administration Of Civil Aviation Administration Of China
Taiji Computer Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aviation Meteorological Center Of Air Traffic Administration Of Civil Aviation Administration Of China, Taiji Computer Corp Ltd filed Critical Aviation Meteorological Center Of Air Traffic Administration Of Civil Aviation Administration Of China
Priority to CN202310343824.8A priority Critical patent/CN116108019B/zh
Publication of CN116108019A publication Critical patent/CN116108019A/zh
Application granted granted Critical
Publication of CN116108019B publication Critical patent/CN116108019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2113—Multi-level security, e.g. mandatory access control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Selective Calling Equipment (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种基于分布式技术的气象大数据共享服务***，该***包括：收集模块，用于收集传感器中获取的气象数据；处理模块，用于对收集的气象数据进行处理，获取高质量气象数据，高质量气象数据包括基础数据、重点数据和受限数据；管理模块，用于对气象数据进行入库以及确认用户后分发数据，在气象数据入库时将基础数据采用HBase分布式数据库和分块压缩技术进行存储，将重点数据和受限数据采用关系数据库进行存储；监控模块，用于对高质量气象数据进行记录与统计，并根据记录与统计结果生成预报信息。本发明能够提高数据存储和处理效率，增强了数据储存的安全性能，增强了数据共享和交换能力，提高了对气象数据的分析和应用能力。

Description

一种基于分布式技术的气象大数据共享服务***
技术领域
本发明涉及气象数据技术领域，具体而言，涉及一种基于分布式技术的气象大数据共享服务***。
背景技术
随着气象业务的不断拓展以及数据量的不断增加，且由于GPFS（General PagesFederation of Streets 城市气象数据分布式存储***）动态扩展能力较弱、Oracle RAC（Redundant Configuration of Carbon Substitute 实时应用集群）数据库节点较少、硬件设备陈旧等诸多原因，导致现有CIMISS（China Integrated MeteorologicalInformation Service System 全国综合气象信息共享平台）无法较好满足气象服务对数据的敏捷性要求，特别是在长序列历史资料的影响上面。因此，对气象业务，诸如天气过程回溯分析、气候预测等支撑能力不足，数据的响应速度和存储能力，已无法满足现有的数据服务要求。
因此，需要一种基于分布式技术的气象大数据共享服务***用以解决传统气象***中敏捷性低，无法快速响应以及无法有效对数据进行存储的问题。
发明内容
鉴于此，本发明提出了一种基于分布式技术的气象大数据共享服务***，旨在解决当前气象***中敏捷性低，无法快速响应以及无法有效对数据进行存储的问题。
本发明提出了一种基于分布式技术的气象大数据共享服务***，包括：
收集模块，用于收集传感器中获取的气象数据；
处理模块，用于对收集的气象数据进行处理，获取高质量气象数据，所述高质量气象数据包括基础数据、重点数据和受限数据；
管理模块，用于对所述高质量气象数据进行入库以及确认用户后分发数据，在气象数据入库时将所述基础数据采用HBase分布式数据库和分块压缩技术进行存储，将所述重点数据和受限数据采用关系数据库进行存储；
监控模块，用于对所述高质量气象数据进行记录与统计，并根据记录与统计结果生成预报信息。
进一步的，所述对收集的气象数据进行处理，获取高质量气象数据，包括：
所述处理模块还用于剔除所述气象数据中重复数据；
所述处理模块还用于将剔除重复数据后的数据与预先设定的第一规则进行对比；
若满足所述第一规则，则将数据划分为重点数据；
若不满足所述第一规则，则将数据与预先设定的第二规则进行对比；
若满足所述第二规则，则将数据划分为受限数据；
若不满足所述第二规则，则将数据划分为基础数据。
进一步的，对所述高质量气象数据进行入库以及确认用户后分发数据，包括：
预先设定第一数据库集群、第二数据库集群、第三数据库集群；
所述管理模块用于将所述基础数据存储在所述第一数据库集群，将所述重点数据存储在所述第二数据库集群，将受限数据存储在所述第三数据库集群；
所述管理模块还用于预先设定用户访问等级为第一等级、第二等级和第三等级，并且所述第一等级只能获取所述第一数据库集群中信息，所述第二等级只能获取所述第一数据库集群和第二数据库集群中的信息，所述第三等级能够获取第一数据库集群、第二数据库集群和第三数据库集群中信息。
进一步的，所述管理模块还用于气象数据分发时对用户进行验证，包括：
获取用户登录信息并与存留信息进行对比；
若一致，同意用户访问并验证所述用户访问等级；
若不一致，拒绝用户访问；
所述同意用户访问并验证所述用户访问等级包括：
所述第一等级、第二等级和第三等级分别对应权限密码，所述管理模块用于验证所述权限密码；
当首次验证权限密码通过时，允许用户以原用户访问等级访问对应数据库集群中100%的信息；
当首次验证权限密码不通过时，拒绝用户访问数据库中内容，临时降低用户访问等级并启动二次验证通道。
进一步的，当首次验证权限密码不通过时，拒绝用户访问数据库中内容，临时降低用户访问等级并启动二次验证通道，包括：
首次验证权限密码不通过时，若用户原用户访问等级为第二等级和第三等级，则将用户访问等级分别临时降低为第一等级和第二等级，且只能访问对应数据库集群中50%的信息，并开启二次验证通道；若用户原用户访问等级为第一等级，则临时限制只能访问对应数据库集群中50%的信息，并开启二次验证通道；
当二次验证通过，若用户原用户访问等级为第二等级和第三等级，允许用户以原用户访问等级访问对应数据库集群中50%的信息，并启动安全验证通道；若用户原用户访问等级为第一等级，则允许用户以原用户访问等级访问对应数据库集群中50%的信息，并启动安全验证通道；
当二次验证不通过，拒绝用户访问数据库中内容，并拒绝用户在第一预设时间内再次登录。
进一步的，当二次验证通过，若用户原用户访问等级为第二等级和第三等级，允许用户以原用户访问等级访问对应数据库集群中50%的信息，并启动安全验证通道；若用户原用户访问等级为第一等级，则允许用户以原用户访问等级访问对应数据库集群中50%的信息，并启动安全验证通道，包括：
当安全验证通过时，则允许用户以原用户访问等级访问对应数据库集群中100%的信息；
当验证不通过时，若用户原用户访问等级为第二等级和第三等级，允许用户以原用户访问等级访问对应数据库集群中20%的信息；若用户原用户访问等级为第一等级，允许用户以原用户访问等级访问对应数据库集群中20%的信息。
进一步的，对所述高质量气象数据进行记录与统计，并根据记录与统计结果生成预报信息，包括：
所述监控模块还用于预先设定第一预设阈值A1、第二预设阈值A2、第三预设阈值A3和第四预设阈值A4，且A1＜A2＜A3＜A4；
所述监控模块还用于将实时高质量气象数据△A与各预设阈值进行对比，根据对比结果生成警示信息；
当A1≤△A＜A2时，所述监控模块发出蓝色警示；
当A2≤△A＜A3时，所述监控模块发出橙色警示；
当A3≤△A＜A4时，所述监控模块发出黄色警示；
当A4≤△A时，所述监控模块发出红色警示。
进一步的，对所述高质量气象数据进行记录与统计，并根据记录与统计结果生成预报信息，还包括：
所述监控模块还用于统计同一地区过去第二预设时间内的气象数据A0，并预先设定第一预设调整系数B1、第二调整系数B2、第三调整系数B3和第四调整系数B4，且B1＜B2＜B3＜B4；所述监控模块还用于将同一地区过去第二预设时间内的气象数据A0与各预设阈值进行对比，根据对比结果选取调整系数对实时高质量气象数据△A进行调整生成第一预测信息；
当A1≤A0＜A2时，选取第一预设调整系数B1对A0进行调整，获取第一预测信息为△A×B1；
当A2≤A0＜A3时，选取第二预设调整系数B2对A0进行调整，获取第一预测信息为△A×B2；
当A3≤A0＜A4时，选取第三预设调整系数B3对A0进行调整，获取第一预测信息为△A×B3；
当A4≤A0时，选取第四预设调整系数B4对A0进行调整，获取第一预测信息为△A×B4。
进一步的，对所述高质量气象数据进行记录与统计，并根据记录与统计结果生成预报信息，还包括：
在选定第i调整系数Bi（i=1，2，3，4）对实时高质量气象数据△A进行调整，获取第一预测信息为△A×Bi后，所述监控模块还用于统计其余地区过去第三预设时间内的气象数据A5，并预先设定第一修正系数C1、第二修正系数C2、第三修正系数C3和第四修正系数C4，且C1＜C2＜C3＜C4，将其余地区过去第三预设时间内的气象数据A5与各预设阈值进行对比，根据对比结果选取修正系数对第一预测信息△A×Bi进行修正生成第二预测信息。
进一步的，所述将其余地区过去第三预设时间内的气象数据A5与各预设阈值进行对比，根据对比结果选取修正系数对第一预测信息△A×Bi进行修正生成第二预测信息，包括：
当A1≤A5＜A2时，选取第一预设修正系数C1对△A×Bi进行修正，获取第二预测信息为△A×Bi×C1；
当A2≤A0＜A3时，选取第二预设修正系数C2对△A×Bi进行修正，获取第二预测信息为△A×Bi×C2；
当A3≤A0＜A4时，选取第三预设修正系数C3对△A×Bi进行修正，获取第二预测信息为△A×Bi×C3；
当A4≤A0时，选取第四预设修正系数C4对△A×Bi进行修正，获取第二预测信息为△A×Bi×C4。
与现有技术相比，本发明的有益效果在于：
1.提高了数据存储和处理效率：通过将数据分散在多个服务器上进行存储，减少了数据存储的压力；通过对数据进行分布式处理，提高了数据处理的效率，能够快速地处理海量的气象数据。
2.提高了数据查询和计算效率：通过提供多种查询接口，可以方便地查询和计算多个节点上的气象数据；通过对多个节点上的气象数据进行分布式查询，可以提高对气象数据的计算效率，通过管理模块增强了数据安全性，避免了气象数据乱用的情况。
3.增强了数据共享和交换能力：通过提供多种共享服务接口，可以方便地实现对气象数据的共享和交换。
4.提高了对气象数据的分析和应用能力：通过对气象数据进行分布式处理，增强了对气象大数据的分析和应用能力。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例提供的基于分布式技术的气象大数据共享服务***的结构框图；
图2为本发明实施例提供的基于分布式技术的气象大数据共享服务***中监控模块运行流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整地传达给本领域的技术人员。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
参阅图1所示，本实施例提供了一种基于分布式技术的气象大数据共享服务***，包括：收集模块100、处理模块200、管理模块300和监控模块400。其中，收集模块100利用传感器获取气象数据；处理模块200对收集的气象数据进行处理，获得高质量气象数据，减少气象数据量，减轻存储压力，处理模块200还用于建立统一数据标准，便于数据筛选和统计，将高质量气象数据分为基础数据、重点数据和受限数据；管理模块300对经过处理后的高质量气象数据进行入库和数据分发，在数据分发时管理模块300还用于对用户进行确认，以充分保护数据安全，入库时将基础数据采用HBase分布式数据库和分块压缩技术进行存储，将重点数据和受限数据采用关系数据库进行存储；管理模块300对高质量气象数据进行记录并进行统计，根据记录与统计的结果生成预报信息，完成气象预测以及对***运行的实时监测。
具体而言，收集模块100用于收集来自各种传感器以及通过卫星、飞机、气球等遥感技术获取的数据，数据内容包括温度、湿度、风速、风向、雨量等数据。在数据进行存储前为减轻***存储压力，先对数据进行处理以减少数据冗余，处理后获得的气象数据较为精准且已完成数据划分。在数据进行存储时，针对不同数据采用不同的存储方式，基础数据由于其访问量较大且对***响应速度有较高要求，采用HBase分布式数据库和分块压缩技术进行存储，HBase分布式数据库是一种高性能、高可靠性的数据库，HBase分布式数据库拥有高带宽的数据存储能力，可以快速地存储大量的数据。HBase分布式数据库具有高效的数据压缩能力，可以有效地节省存储空间和时间。HBase分布式数据库具有高可用性，可以保证数据的安全和可靠。分块压缩技术是一种有效地存储大量基础数据的方法，它可以将一个分区中的所有数据按照大小划分为多个小块，可以大大减少***响应速度，提高数据存储和查询效率。针对重点数据和受限数据由于其访问量较小，且通常多个数据存在联系，因此采用关系数据库进行存储。这种存储方式使得数据可以在多个服务器上存储和访问，并且可以通过负载均衡技术来提高数据的可靠性和可用性。
可以理解的是，在数据存储时采用分布式技术避免了传统CIMISS方式中无法满足气象服务对数据敏捷性需求的情况，提高了数据存储和处理效率，并且分布式技术具有良好的扩展性且能够部署在廉价的机器上，实现了将整个***分布于不同网络节点的数据资源统合成为一个高度集约化的数据中心，极大便利业务应用***的使用，而无须关心数据存储在何处。
在本申请的一些实施例中，处理模块200对气象数据进行处理，获得高质量气象数据包括：处理模块200剔除气象数据中的重复数据，将剔除重复数据后的数据与预先设定的第一规则进行比对，若满足第一规格，将数据划分为重点数据，若不满足，将数据与第二规则进行比对，若满足则划分为受限数据，若仍不满足将数据划分为基础数据。以此完成数据划分，按数据重要程度进行逐步筛选。
具体而言，重点数据具有的特点可以包括敏感性、前瞻性；受限数据可具有全局性、范围广的特点，而基础数据可包括日常生活需要的温度、湿度、降雨量等基础数据。预先设定的第一规则、第二规则分别为符合重点数据、受限数据特点的最低限制。
可以理解的是，对气象数据按重要程度进行划分，可以帮助气象工作者更好地理解和使用气象数据，并为不同的任务提供不同级别的数据。气象工作者可以更好地了解哪些气象数据需要重点监测和分析，哪些数据可以适度减少或删除。提高气象信息的利用率和准确性。同时，等级划分也有助于气象数据的管理和维护。
在本申请的一些实施例中，对高质量气象数据进行入库以及确认用户后分发数据包括：管理模块300还用于预先设定第一数据库集群、第二数据库集群、第三数据库集群，其中第一数据库集群用于存储基础数据，第二数据库集群用于存储受限数据，第三数据库集群用于存储重点数据。管理模块300还用于预先设定用户访问等级，第一等级只能获取第一数据库集群中的信息，第二等级只能获取第一数据库集群和第二数据库集群中的信息，第三等级能够获取第一数据库集群、第二数据库集群和第三数据库集群中的信息。
具体而言，每一个数据库集群可包括多个存储服务器，且存储服务器可分布在各处。
可以理解的是，将数据进行等级划分并对访问用户进行等级划分提高了数据安全，防止了数据被滥用或泄露，提高了数据利用率，增强了数据访问能力，提高了***可扩展性，等级权限可以动态调整和扩展，以适应不断变化的需求。等级权限可以防止数据滥用，从而提高***的操作可靠性。
在本申请的一些实施例中，管理模块300还用于气象数据分发时对用户进行验证，包括：获取用户登录信息并与存留信息进行对比。若一致，同意用户访问并验证用户访问等级；若不一致，拒绝用户访问。其中，同意用户访问并验证用户访问等级包括：第一等级、第二等级和第三等级分别对应权限密码，管理模块300用于验证权限密码。当首次验证权限密码通过时，允许用户以原用户访问等级访问对应数据库集群中100%的信息；当首次验证权限密码不通过时，拒绝用户访问数据库中内容，临时降低用户访问等级并启动二次验证通道。
在本申请的一些实施例中，当首次验证权限密码不通过时，拒绝用户访问数据库中内容，临时降低用户访问等级并启动二次验证通道，包括：首次验证权限密码不通过时，若用户原用户访问等级为第二等级和第三等级，则将用户访问等级分别临时降低为第一等级和第二等级，且只能访问对应数据库集群中50%的信息，并开启二次验证通道；若用户原用户访问等级为第一等级，则临时限制只能访问对应数据库集群中50%的信息，并开启二次验证通道；当二次验证通过，若用户原用户访问等级为第二等级和第三等级，允许用户以原用户访问等级访问对应数据库集群中50%的信息，并启动安全验证通道；若用户原用户访问等级为第一等级，则允许用户以原用户访问等级访问对应数据库集群中50%的信息，并启动安全验证通道；当二次验证不通过，拒绝用户访问数据库中内容，并拒绝用户在第一预设时间内再次登录。
可以理解的是，当首次验证不通过时，用户可进行二次验证。如果二次验证通过，用户可进行访问，但由于存在不通过记录，因此用户访问等级会被临时下调，例如，原本为第二等级可以访问第一数据库集群和第二数据库集群中的全部信息，被临时下调后只能访问第一数据库集群中的50%信息。二次验证通过后会恢复其对数据库的访问能力但是会存在限制。如第二等级用户首次未通过，二次验证通过的用户可以访问第一数据库集群和第二数据库集群中50%的信息，同时会开启安全验证通道，用户可以再进行安全验证用于恢复被临时下调的访问权限。当二次验证仍不通过时，会拒绝用户在第一预设时间内再次进行登录操作。其中第一预设时间优选为24小时，其可根据实际应用进行调整。
在本申请的一些实施例中，当二次验证通过，若用户原用户访问等级为第二等级和第三等级，允许用户以原用户访问等级访问对应数据库集群中50%的信息，并启动安全验证通道；若用户原用户访问等级为第一等级，则允许用户以原用户访问等级访问对应数据库集群中50%的信息，并启动安全验证通道，包括：当安全验证通过时，则允许用户以原用户访问等级访问对应数据库集群中100%的信息；当验证不通过时，若用户原用户访问等级为第二等级和第三等级，允许用户以原用户访问等级访问对应数据库集群中20%的信息；若用户原用户访问等级为第一等级，允许用户以原用户访问等级访问对应数据库集群中20%的信息。
可以理解的是，用户在选择进行安全验证时，存在恢复权限和进一步下调权限的两种情况。例如，第二等级用户当二次验证通过但是安全验证未通过时，其只能访问第一数据库集群和第二数据库集群中20%的信息。如果通过安全验证则会全部恢复用户权限，上述的流程可通过设置一定时长进行数据保护，例如所有验证记录24小时内有效，每24小时***刷新，所有用户再次访问时均需要再次从首次验证开始。
可以理解的是，通过设置二次验证以及安全验证能够有效保护***内存储的气象数据，防止气象数据被滥用盗用，又有效保证了正常使用用户的访问权限。
在本申请的一些实施例中，参阅图2所示，监控模块400对高质量气象数据进行记录与统计，并根据记录与统计结果生成预报信息，包括：监控模块400还用于预先设定第一预设阈值A1、第二预设阈值A2、第三预设阈值A3和第四预设阈值A4，且A1＜A2＜A3＜A4；监控模块400还用于将实时高质量气象数据△A与各预设阈值进行对比，根据对比结果生成警示信息；当A1≤△A＜A2时，监控模块400发出蓝色警示；当A2≤△A＜A3时，监控模块400发出橙色警示；当A3≤△A＜A4时，监控模块400发出黄色警示；当A4≤△A时，监控模块400发出红色警示。
具体而言，以气象数据中降水量进行举例说明，预先设定第一预设阈值A1、第二预设阈值A2、第三预设阈值A3和第四预设阈值A4，且A1＜A2＜A3＜A4。其中预设阈值均为降水量阈值。监控模块400在获取M地区的实时降水量△A时，将△A与各预设的降水量阈值进行对比，根据对比关系发出实时警示。
在本申请的一些实施例中，对高质量气象数据进行记录与统计，并根据记录与统计结果生成预报信息，还包括：监控模块400还用于统计同一地区过去第二预设时间内的气象数据A0，并预先设定第一预设调整系数B1、第二调整系数B2、第三调整系数B3和第四调整系数B4，且B1＜B2＜B3＜B4；监控模块400还用于将同一地区过去第二预设时间内的气象数据A0与各预设阈值进行对比，根据对比结果选取调整系数对实时高质量气象数据△A进行调整生成第一预测信息；当A1≤A0＜A2时，选取第一预设调整系数B1对A0进行调整，获取第一预测信息为△A×B1；当A2≤A0＜A3时，选取第二预设调整系数B2对A0进行调整，获取第一预测信息为△A×B2；当A3≤A0＜A4时，选取第三预设调整系数B3对A0进行调整，获取第一预测信息为△A×B3；当A4≤A0时，选取第四预设调整系数B4对A0进行调整，获取第一预测信息为△A×B4。
具体而言，以预报降水量数据为例进行解释说明，监控模块400还用于统计M地区过去一段时间内的降水量A0，根据过去第二预设时间内降水量A0，利用线性回归模型生成调节系数Bi。其中第二预设时间可以为一个星期、一个月，其具体时间可根据需要进行调整。监控模块400根据过去一段时间内降水量A0与各预设阈值的关系选取调节系数对实时降水量△A进行调节，获得第一预测信息△A×Bi，用于预测未来M地区的降水量，用于实现气象预报功能。
在本申请的一些实施例中，在选定第i调整系数Bi（i=1，2，3，4）对实时高质量气象数据△A进行调整，获取第一预测信息为△A×Bi后，监控模块400还用于统计其余地区过去第三预设时间内的气象数据A5，并预先设定第一修正系数C1、第二修正系数C2、第三修正系数C3和第四修正系数C4，且C1＜C2＜C3＜C4，将其余地区过去第三预设时间内的气象数据A5与各预设阈值进行对比，根据对比结果选取修正系数对第一预测信息△A×Bi进行修正生成第二预测信息。
具体而言，当A1≤A5＜A2时，选取第一预设修正系数C1对△A×Bi进行修正，获取第二预测信息为△A×Bi×C1；当A2≤A0＜A3时，选取第二预设修正系数C2对△A×Bi进行修正，获取第二预测信息为△A×Bi×C2；当A3≤A0＜A4时，选取第三预设修正系数C3对△A×Bi进行修正，获取第二预测信息为△A×Bi×C3；当A4≤A0时，选取第四预设修正系数C4对△A×Bi进行修正，获取第二预测信息为△A×Bi×C4。
可以理解的是，监控模块400生成预报信息的流程为：
S401，将实时高质量气象数据△A与各预设阈值进行对比，根据对比结果生成警示信息；
S402，将同一地区过去第二预设时间内的气象数据A0与各预设阈值进行对比，根据对比结果选取调整系数对实时高质量气象数据△A进行调整生成第一预测信息；
S403，将其余地区过去第三预设时间内的气象数据A5与各预设阈值进行对比，根据对比结果选取修正系数对第一预测信息△A×Bi进行修正生成第二预测信息。
可以理解的是，在以降水量为举例说明中，监控模块400还用于获取除M地区外其余地区过去一段时间的降水量数据，采用线性回归模型生成修正系数Ci，对第一预测信息进行修正，获取第二预测信息△A×Bi×Ci。此时的预测信息不仅考虑M地区过去一段时间变化，还充分考虑其余地区降水量对M地区的影响，预测结果更为准确，能够有效减少预测误差。
上述实施例中通过设置收集模块100、处理模块200、管理模块300和监控模块400实现气象数据的收集处理与存储，有利于实现气象监测与预报功能。在管理气象数据时采用分布式数据库有效保证了气象数据的敏捷性与***可延展性，解决了传统气象***中存在的响应速度慢、存储能力低的问题，有利于提高数据处理效率，增强数据交换能力，有利于提升对气象数据的分析和应用能力，有利于提升气象数据的准确性和可靠性。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（***）和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框，以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (6)

1.一种基于分布式技术的气象大数据共享服务***，其特征在于，包括：
收集模块，用于收集传感器中获取的气象数据；
处理模块，用于对收集的气象数据进行处理，获取高质量气象数据，所述高质量气象数据包括基础数据、重点数据和受限数据；
管理模块，用于对所述高质量气象数据进行入库以及确认用户后分发数据，在气象数据入库时将所述基础数据采用HBase分布式数据库和分块压缩技术进行存储，将所述重点数据和受限数据采用关系数据库进行存储；
监控模块，用于对所述高质量气象数据进行记录与统计，并根据记录与统计结果生成预报信息；
所述高质量气象数据进行记录与统计，并根据记录与统计结果生成预报信息，包括：
所述监控模块还用于预先设定第一预设阈值A1、第二预设阈值A2、第三预设阈值A3和第四预设阈值A4，且A1＜A2＜A3＜A4；
所述监控模块还用于将实时高质量气象数据△A与各预设阈值进行对比，根据对比结果生成警示信息；
当A1≤△A＜A2时，所述监控模块发出蓝色警示；
当A2≤△A＜A3时，所述监控模块发出橙色警示；
当A3≤△A＜A4时，所述监控模块发出黄色警示；
当A4≤△A时，所述监控模块发出红色警示；
还包括：
所述监控模块还用于统计同一地区过去第二预设时间内的气象数据A0，并预先设定第一预设调整系数B1、第二调整系数B2、第三调整系数B3和第四调整系数B4，且B1＜B2＜B3＜B4；所述监控模块还用于将同一地区过去第二预设时间内的气象数据A0与各预设阈值进行对比，根据对比结果选取调整系数对实时高质量气象数据△A进行调整生成第一预测信息；
当A1≤A0＜A2时，选取第一预设调整系数B1对A0进行调整，获取第一预测信息为△A×B1；
当A2≤A0＜A3时，选取第二预设调整系数B2对A0进行调整，获取第一预测信息为△A×B2；
当A3≤A0＜A4时，选取第三预设调整系数B3对A0进行调整，获取第一预测信息为△A×B3；
当A4≤A0时，选取第四预设调整系数B4对A0进行调整，获取第一预测信息为△A×B4；
对所述高质量气象数据进行记录与统计，并根据记录与统计结果生成预报信息，还包括：
在选定第i调整系数Bi（i=1，2，3，4）对实时高质量气象数据△A进行调整，获取第一预测信息为△A×Bi后，所述监控模块还用于统计其余地区过去第三预设时间内的气象数据A5，并预先设定第一修正系数C1、第二修正系数C2、第三修正系数C3和第四修正系数C4，且C1＜C2＜C3＜C4，将其余地区过去第三预设时间内的气象数据A5与各预设阈值进行对比，根据对比结果选取修正系数对第一预测信息△A×Bi进行修正生成第二预测信息；
当A1≤A5＜A2时，选取第一预设修正系数C1对△A×Bi进行修正，获取第二预测信息为△A×Bi×C1；
当A2≤A0＜A3时，选取第二预设修正系数C2对△A×Bi进行修正，获取第二预测信息为△A×Bi×C2；
当A3≤A0＜A4时，选取第三预设修正系数C3对△A×Bi进行修正，获取第二预测信息为△A×Bi×C3；
当A4≤A0时，选取第四预设修正系数C4对△A×Bi进行修正，获取第二预测信息为△A×Bi×C4。
2.根据权利要求1所述的基于分布式技术的气象大数据共享服务***，其特征在于，所述对收集的气象数据进行处理，获取高质量气象数据，包括：
所述处理模块还用于剔除所述气象数据中重复数据；
所述处理模块还用于将剔除重复数据后的数据与预先设定的第一规则进行对比；
若满足所述第一规则，则将数据划分为重点数据；
若不满足所述第一规则，则将数据与预先设定的第二规则进行对比；
若满足所述第二规则，则将数据划分为受限数据；
若不满足所述第二规则，则将数据划分为基础数据。
3.根据权利要求2所述的基于分布式技术的气象大数据共享服务***，其特征在于，对所述高质量气象数据进行入库以及确认用户后分发数据，包括：
预先设定第一数据库集群、第二数据库集群、第三数据库集群；
所述管理模块用于将所述基础数据存储在所述第一数据库集群，将所述重点数据存储在所述第二数据库集群，将所述受限数据存储在所述第三数据库集群；
所述管理模块还用于预先设定用户访问等级为第一等级、第二等级和第三等级，并且所述第一等级只能获取所述第一数据库集群中信息，所述第二等级只能获取所述第一数据库集群和第二数据库集群中的信息，所述第三等级能够获取所述第一数据库集群、第二数据库集群和第三数据库集群中信息。
4.根据权利要求3所述的基于分布式技术的气象大数据共享服务***，其特征在于，所述管理模块还用于气象数据分发时对用户进行验证，包括：
获取用户登录信息并与存留信息进行对比；
若一致，同意用户访问并验证所述用户访问等级；
若不一致，拒绝用户访问；
所述同意用户访问并验证所述用户访问等级包括：
所述第一等级、第二等级和第三等级分别对应权限密码，所述管理模块用于验证所述权限密码；
当首次验证权限密码通过时，允许用户以原用户访问等级访问对应数据库集群中100%的信息；
当首次验证权限密码不通过时，拒绝用户访问数据库中内容，临时降低用户访问等级并启动二次验证通道。
5.根据权利要求4所述的基于分布式技术的气象大数据共享服务***，其特征在于，当首次验证权限密码不通过时，拒绝用户访问数据库中内容，临时降低用户访问等级并启动二次验证通道，包括：
首次验证权限密码不通过时，若用户原用户访问等级为第二等级和第三等级，则将用户访问等级分别临时降低为第一等级和第二等级，且只能访问对应数据库集群中50%的信息，并开启二次验证通道；若用户原用户访问等级为第一等级，则临时限制只能访问对应数据库集群中50%的信息，并开启二次验证通道；
当二次验证通过，若用户原用户访问等级为第二等级和第三等级，允许用户以原用户访问等级访问对应数据库集群中50%的信息，并启动安全验证通道；若用户原用户访问等级为第一等级，则允许用户以原用户访问等级访问对应数据库集群中50%的信息，并启动安全验证通道；
当二次验证不通过，拒绝用户访问数据库中内容，并拒绝用户在第一预设时间内再次登录。
6.根据权利要求5所述的基于分布式技术的气象大数据共享服务***，其特征在于，当二次验证通过，若用户原用户访问等级为第二等级和第三等级，允许用户以原用户访问等级访问对应数据库集群中50%的信息，并启动安全验证通道；若用户原用户访问等级为第一等级，则允许用户以原用户访问等级访问对应数据库集群中50%的信息，并启动安全验证通道，包括：
当安全验证通过时，则允许用户以原用户访问等级访问对应数据库集群中100%的信息；
当验证不通过时，若用户原用户访问等级为第二等级和第三等级，允许用户以原用户访问等级访问对应数据库集群中20%的信息；若用户原用户访问等级为第一等级，允许用户以原用户访问等级访问对应数据库集群中20%的信息。
CN202310343824.8A 2023-04-03 2023-04-03 一种基于分布式技术的气象大数据共享服务*** Active CN116108019B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310343824.8A CN116108019B (zh) 2023-04-03 2023-04-03 一种基于分布式技术的气象大数据共享服务***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310343824.8A CN116108019B (zh) 2023-04-03 2023-04-03 一种基于分布式技术的气象大数据共享服务***

Publications (2)

Publication Number Publication Date
CN116108019A CN116108019A (zh) 2023-05-12
CN116108019B true CN116108019B (zh) 2023-06-16

Family

ID=86265778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310343824.8A Active CN116108019B (zh) 2023-04-03 2023-04-03 一种基于分布式技术的气象大数据共享服务***

Country Status (1)

Country Link
CN (1) CN116108019B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679321A (zh) * 2012-09-26 2014-03-26 无锡南理工科技发展有限公司 大规模分布式气象信息感知平台的服务权限管理分***
CN108366109A (zh) * 2018-02-01 2018-08-03 王晓峰 一种气象数据数值预报云共享平台和数据共享方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2534403A (en) * 2015-01-22 2016-07-27 Fujitsu Ltd An agent-based demand prediction system for generating weather-dependent product demand predictions
CN109377438A (zh) * 2018-11-27 2019-02-22 武汉华信联创技术工程有限公司 一种灾害天气临近预警预报业务平台
CN112305641B (zh) * 2020-10-15 2023-01-20 广州翰南工程技术有限公司 一种高速公路交通安全气象物联网监测预警***
CN113313292A (zh) * 2021-05-07 2021-08-27 国网河南省电力公司电力科学研究院 一种电力气象信息平台

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679321A (zh) * 2012-09-26 2014-03-26 无锡南理工科技发展有限公司 大规模分布式气象信息感知平台的服务权限管理分***
CN108366109A (zh) * 2018-02-01 2018-08-03 王晓峰 一种气象数据数值预报云共享平台和数据共享方法

Also Published As

Publication number Publication date
CN116108019A (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN114065283B (zh) 一种轻量级可循环再生的区块链存储方法及装置
US7555482B2 (en) Automatic detection of abnormal data access activities
CN110943990B (zh) 一种基于大数据的通信安全管控用数据分析***
CN112182519A (zh) 一种计算机存储***安全访问方法及访问***
CN115080546B (zh) 一种基于大数据的企业数据诊断***
CN112711757A (zh) 一种基于大数据平台的数据安全集中管控方法及***
CN112291266A (zh) 一种数据处理的方法和装置
CN116108019B (zh) 一种基于分布式技术的气象大数据共享服务***
CN111325451A (zh) 智能楼宇多级调度方法、智能楼宇调度中心及***
CN115086028A (zh) 一种基于区块链的数据安全采集方法
CN117726435B (zh) 一种影像数据管理方法及***
CN111553694A (zh) 一种分布式储存区块链方法及***
CN117408395B (zh) 基于数字化供应链的风控平台运行稳定性优化方法及装置
CN116963274B (zh) 一种基于蓝牙aoa室内定位的方法及***
CN114697255B (zh) 一种企业网络传输数据风险预警***及方法
CN116361760B (zh) 一种基于生物探针技术的身份认证装置
CN117149915B (zh) 用于云端数据库迁移到开源数据库的方法
CN116663020B (zh) 一种数据存储环境安全性监测方法及***
CN115391838B (zh) 基于可信预言机的数据交互服务平台
CN118193503B (zh) 一种服务器中心数据的分级管理***
CN114139189B (zh) 一种基于互模拟等价的数据安全处理方法和装置
CN114553565B (zh) 一种基于请求频率的安全态势感知方法和***
CN118012945A (zh) 异构区块链数据协同接入和存储方法及***
CN114745191A (zh) 能源互联网终端的可信实时度量方法、装置、设备及介质
CN117724898A (zh) 基于云计算的容灾备份数据管理***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant