CN116953660B - 一种全高层大气风温密探测激光雷达云边协同方法 - Google Patents
一种全高层大气风温密探测激光雷达云边协同方法 Download PDFInfo
- Publication number
- CN116953660B CN116953660B CN202311201556.2A CN202311201556A CN116953660B CN 116953660 B CN116953660 B CN 116953660B CN 202311201556 A CN202311201556 A CN 202311201556A CN 116953660 B CN116953660 B CN 116953660B
- Authority
- CN
- China
- Prior art keywords
- data
- laser radar
- module
- edge
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 54
- 238000003860 storage Methods 0.000 claims abstract description 35
- 230000005540 biological transmission Effects 0.000 claims abstract description 30
- 230000003287 optical effect Effects 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000007726 management method Methods 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000013500 data storage Methods 0.000 claims description 17
- 238000012544 monitoring process Methods 0.000 claims description 17
- 230000003993 interaction Effects 0.000 claims description 15
- 230000002776 aggregation Effects 0.000 claims description 13
- 238000004220 aggregation Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 11
- 230000002452 interceptive effect Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000012423 maintenance Methods 0.000 claims description 8
- 238000007405 data analysis Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 238000013461 design Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 12
- 238000001914 filtration Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000011056 performance test Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013450 outlier detection Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/95—Lidar systems specially adapted for specific applications for meteorological use
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
一种全高层大气风温密探测激光雷达云边协同方法,所述全高层大气风温密探测激光雷达云边协同方法包括以下步骤:步骤一、在指定的探测区域内设置激光雷达,以及在对应的激光雷达的地面处设置有望远镜,该激光雷达由光学接收单元、存储单元、边缘计算模块和边缘网关组成;步骤二、先由望远镜采集探测区域的原始数据集和设备指令集,并发送至对应的光学接收单元,然后光学接收单元将原始数据集和设备指令集发送至边缘计算模块,激光雷达的边缘计算模块对接收的原始数据集和设备指令集进行预处理,得到预处理数据。本设计可以在本地进行实时数据分析和预处理,减少了数据传输的延迟和带宽需求,大幅提升设备管理效率与远程处理能力。
Description
技术领域
本发明涉及一种全高层大气探测技术的改进,属于大气探测领域,尤其涉及一种全高层大气风温密探测激光雷达云边协同方法。
背景技术
传统的激光雷达***主要集中在中低层大气探测领域,这些***通常具有较为简单的设备构成和操作流程,因此易于实现自动化控制,然而,当涉及到全高层大气风温密探测激光雷达时,情况变得更为复杂和挑战性十足,在硬件复杂性与管理难度方面,全高层激光雷达站点通常需要配置多种类型和数量众多的设备,包括但不限于各种传感器、控制单元和数据处理模块,每一种设备都有其独特的操作命令和维护要求,这大大增加了设备管理的复杂性和难度,在环境适应性与数据准确性方面,全高层激光雷达的运作受到多种环境因素(如温度、湿度、风速等)和不稳定天气条件(如雨、雪、雾等)的严重影响,这些因素可能导致数据采集的不稳定性和准确性下降,特别是在极端环境(如极寒地区)下,激光器有冻裂的风险,在数据处理与异构数据问题方面,由于需要接收、处理和发送大量异构数据,现有的数据处理机制往往难以满足高效和准确的需求。
申请号为CN202310871985.4,申请日为2023年7月17日的中国专利申请揭示了一种激光雷达的性能测试方法及***,所述方法包括:获取激光雷达待测试性能;设定期望最大测程、期望分辨率和期望测距精度;获取预测最大测程、预测分辨率和预测探测精度;设定激光雷达测试用例;部署第一测试实景;获取激光雷达测试结果,解决了激光雷达各项性能的测定缺乏预先的校验,进而使得性能测试存在不确定性的技术问题,实现了在进行各项性能的测定之前,激光雷达在预应用场景中进行的数据反演等,进一步优化设计、调整参数,选择适合的测试实景,从而实现测定预先模拟校验,降低性能测试中的不确定性,提测试的有效性和准确性,但是上述文件中并没有解决激光雷达处理复杂设备和数据时效率和准确度较低的问题。
公开该背景技术部分的信息仅仅旨在增加对本专利申请的总体背景的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
本发明的目的是克服现有技术中存在激光雷达处理复杂设备和数据时效率和准确度较低的问题,提供了激光雷达处理复杂设备和数据时效率和准确度较高的一种全高层大气风温密探测激光雷达云边协同方法。
为实现以上目的,本发明的技术解决方案是:一种全高层大气风温密探测激光雷达云边协同方法,所述全高层大气风温密探测激光雷达云边协同方法包括以下步骤:
步骤一、在指定的探测区域内设置激光雷达,该激光雷达由激光发射单元、光学接收单元、信号检测单元、存储单元、边缘计算模块和边缘网关组成;
步骤二、先由激光发射单元采集探测区域的原始数据集和设备指令集,并发送至对应的光学接收单元和信号检测单元,然后光学接收单元再将得到的原始数据集和设备指令集发送至边缘计算模块,激光雷达的边缘计算模块对接收的原始数据集和设备指令集进行预处理,得到预处理数据;
步骤三、边缘计算模块将预处理数据发送至存储单元,存储单元将预处理数据进行列式轻量化存储,得到轻量化数据并传输至边缘网关,然后边缘网关将轻量化数据传输到激光雷达云端总线;
步骤四、激光雷达云端总线对轻量化数据按照监控数据与交互数据进行分类处理,然后激光雷达云端总线将监控数据与交互数据发送到激光雷达对应的数据处理单元中,进行实时的数据处理。
所述步骤二中进行预处理包括:数据采集和传输、数据清洗和处理、数据格式转换、误差校正、指令解析和优化、数据聚合和汇总、数据存储和传输。
所述步骤三具体为:
首先将预处理后的原始数据集和设备指令集按照列式数据的方式进行分割;然后对每个列式数据进行独立的编码和压缩,将压缩后的列式数据组织成数据页,其他数据组织为元数据,再设计统一的存储格式,将数据页和元数据组织成一个整体文件,并进行优化,将经过优化的数据存储文件通过激光雷达边缘网关传输到激光雷达云端总线,最后激光雷达云端总线接收到数据存储文件后,将文件存储在分布式文件***中。
所述每个列式数据对应一个特定的数据类型,特定的数据类型包括海拔高度、风速与风向;
所述统一的存储格式包括数据页的划分、数据块的布局以及元数据的索引;
所述边缘网关负责将数据存储文件拆分为数据包,并使用安全的通信协议将数据传输到云端服务器。
所述步骤三中的数据传输具体为:激光雷达云端总线通过多种不同的传输协议,如串口、IP、UART等方式,进行串行的数据传输到网关中;通过接入单元将这些数据转换为统一的激光雷达数据传输协议,以实现各设备之间的有效通信。
所述步骤四中激光雷达云端总线对轻量化数据按照监控数据与交互数据进行分类处理具体为:
根据设备的属性、数据类型、数据需求以及安全和合规性进行分类。
所述监控数据主包括元数据、配置数据、状态数据与安全管理;
所述交互数据包括实时生成的数据、处理数据、用户交互数据。
所述全高层大气风温密探测激光雷达云边协同方法还包括:对激光雷达设备应用管理平台进行数据的动态处理。
所述数据的动态处理包括守卫模块、触发器模块、计算器模块、钩子模块与追踪器模块。
所述守卫模块实时监控各个激光雷达设备的运行状态,当守卫模块监控到设备的资源使用情况达到一定阈值时,触发器模块激活,然后,触发器模块会根据预设的策略,决定是否需要进行弹性伸缩,如果设备负载过高,可能会影响设备的正常运行和数据处理能力,此时,触发器模块会决定需要进行弹性伸缩,以保证设备的正常运行,反之,如果设备负载过低,说明设备的部分能力被闲置,此时,触发器模块会决定需要减少对应的云资源;
当触发器模块决定需要进行弹性伸缩,计算器模块会进行计算,确定需要增加或减少的资源数量,然后将计算结果传递给钩子模块,由钩子模块进行实际的资源调整;
追踪器模块追踪设备的运行状态和数据采集情况,记录设备的运行日志,以便于后期的设备维护和数据分析。
与现有技术相比,本发明的有益效果为:
1、本发明一种全高层大气风温密探测激光雷达云边协同方法中,构建含有自主控制与优化模块的智能化激光雷达设备,支持激光雷达设备间的自动协议转换,采用轻量级数据格式,传输激光雷达设备必要的数据,使得激光雷达处理复杂设备和数据时效率和准确度较高,可以在本地进行实时数据分析和预处理,减少了数据传输的延迟和带宽需求,大幅提升设备管理效率与远程处理能力,还可以实现设备全生命周期的智能化远程管理。因此,本设计处理效率高,减少了外部环境的影响。
2、本发明一种全高层大气风温密探测激光雷达云边协同方法中,将所有的激光雷达云端总线利用容器化服务,构建统一的激光雷达设备应用管理平台,利用容器化服务,构建统一的激光雷达设备平台,依托云原生技术,实现云边资源池的虚拟化和自动化,通过标准化的数据接口与容器化服务拆分,不同激光雷达设备应用可无缝迁移和组合部署于云边端。因此,本设计增强了平台的灵活性和效率,实现了资源的弹性伸缩。
3、本发明一种全高层大气风温密探测激光雷达云边协同方法中,利用云原生技术、云边调度策略等手段实现激光雷达从无感知到云边协同管理的转变,有效解决设备数据传输问题,大幅提高***效率、可靠性与可扩展性,具有重要的技术进步性和实用价值。因此,本设计优化了资源利用和运维效率,实用价值高。
附图说明
图1是本发明的数据存储示例图。
图2是本发明工作流程图。
图3是本发明的轻量化存储示意图。
图4是本发明的激光雷达云边协同触发器的流程图。
图5是本发明的激光雷达指标度量器的流程图。
图6是本发明的激光雷达设备应用管理平台进行数据的动态处理图。
具体实施方式
以下结合附图说明和具体实施方式对本发明作进一步详细的说明。
参见图1至图6,一种全高层大气风温密探测激光雷达云边协同方法,所述全高层大气风温密探测激光雷达云边协同方法包括以下步骤:
步骤一、在指定的探测区域内设置激光雷达,该激光雷达由激光发射单元、光学接收单元、信号检测单元、存储单元、边缘计算模块和边缘网关组成;
步骤二、先由激光发射单元采集探测区域的原始数据集和设备指令集,并发送至对应的光学接收单元和信号检测单元,然后光学接收单元再将得到的原始数据集和设备指令集发送至边缘计算模块,激光雷达的边缘计算模块对接收的原始数据集和设备指令集进行预处理,得到预处理数据;
步骤三、边缘计算模块将预处理数据发送至存储单元,存储单元将预处理数据进行列式轻量化存储,得到轻量化数据并传输至边缘网关,然后边缘网关将轻量化数据传输到激光雷达云端总线;
步骤四、激光雷达云端总线对轻量化数据按照监控数据与交互数据进行分类处理,然后激光雷达云端总线将监控数据与交互数据发送到激光雷达对应的数据处理单元中,进行实时的数据处理。
所述步骤二中进行预处理包括:数据采集和传输、数据清洗和处理、数据格式转换、误差校正、指令解析和优化、数据聚合和汇总、数据存储和传输。
所述步骤三具体为:
首先将预处理后的原始数据集和设备指令集按照列式数据的方式进行分割;然后对每个列式数据进行独立的编码和压缩,将压缩后的列式数据组织成数据页,其他数据组织为元数据,再设计统一的存储格式,将数据页和元数据组织成一个整体文件,并进行优化,将经过优化的数据存储文件通过激光雷达边缘网关传输到激光雷达云端总线,最后激光雷达云端总线接收到数据存储文件后,将文件存储在分布式文件***中。
所述每个列式数据对应一个特定的数据类型,特定的数据类型包括海拔高度、风速与风向;
所述统一的存储格式包括数据页的划分、数据块的布局以及元数据的索引;
所述边缘网关负责将数据存储文件拆分为数据包,并使用安全的通信协议将数据传输到云端服务器。
所述步骤三中的数据传输具体为:激光雷达云端总线通过多种不同的传输协议,如串口、IP、UART等方式,进行串行的数据传输到网关中;通过接入单元将这些数据转换为统一的激光雷达数据传输协议,以实现各设备之间的有效通信。
所述步骤四中激光雷达云端总线对轻量化数据按照监控数据与交互数据进行分类处理具体为:
根据设备的属性、数据类型、数据需求以及安全和合规性进行分类。
所述监控数据主包括元数据、配置数据、状态数据与安全管理;
所述交互数据包括实时生成的数据、处理数据、用户交互数据。
所述全高层大气风温密探测激光雷达云边协同方法还包括:对激光雷达设备应用管理平台进行数据的动态处理。
所述数据的动态处理包括守卫模块、触发器模块、计算器模块、钩子模块与追踪器模块。
所述守卫模块实时监控各个激光雷达设备的运行状态,当守卫模块监控到设备的资源使用情况达到一定阈值时,触发器模块激活,然后,触发器模块会根据预设的策略,决定是否需要进行弹性伸缩,如果设备负载过高,可能会影响设备的正常运行和数据处理能力,此时,触发器模块会决定需要进行弹性伸缩,以保证设备的正常运行,反之,如果设备负载过低,说明设备的部分能力被闲置,此时,触发器模块会决定需要减少对应的云资源;
当触发器模块决定需要进行弹性伸缩,计算器模块会进行计算,确定需要增加或减少的资源数量,然后将计算结果传递给钩子模块,由钩子模块进行实际的资源调整;
追踪器模块追踪设备的运行状态和数据采集情况,记录设备的运行日志,以便于后期的设备维护和数据分析。
本发明的原理说明如下:激光雷达接收并处理原始采集数据,生成包括数据指令数据、数据采集观测数据和处理算法等功能,以实现对全高层大气风温密度的准确探测;同时设立了设备管理模块,实现对激光雷达设备的实时监控,确保设备的正常运行和高效工作;此外,还包含独立的存储算法,用于存储激光雷达设备的元数据和设备绑定关系,有助于后续的设备管理和维护工作;利用云原生技术,实现了资源池的虚拟化和自动化调控,可以按需调度部署激光雷达设备应用,实现了灵活的弹性计算;同时,通过标准化的数据接口与容器化服务拆分,使得不同激光雷达设备应用可以无缝迁移和组合部署,实现了高可用和高扩展。
实施例1:
一种全高层大气风温密探测激光雷达云边协同方法,所述全高层大气风温密探测激光雷达云边协同方法包括以下步骤:
步骤一、在指定的探测区域内设置激光雷达,该激光雷达由激光发射单元、光学接收单元、信号检测单元、存储单元、边缘计算模块和边缘网关组成;
步骤二、先由激光发射单元采集探测区域的原始数据集和设备指令集,并发送至对应的光学接收单元和信号检测单元,然后光学接收单元再将得到的原始数据集和设备指令集发送至边缘计算模块,激光雷达的边缘计算模块对接收的原始数据集和设备指令集进行预处理,得到预处理数据;
步骤三、边缘计算模块将预处理数据发送至存储单元,存储单元将预处理数据进行列式轻量化存储,得到轻量化数据并传输至边缘网关,然后边缘网关将轻量化数据传输到激光雷达云端总线;
步骤四、激光雷达云端总线对轻量化数据按照监控数据与交互数据进行分类处理,然后激光雷达云端总线将监控数据与交互数据发送到激光雷达对应的数据处理单元中,进行实时的数据处理。
应用时:构建含有自主控制与优化模块的智能化激光雷达设备,基于多种先进光电技术和传感器,实现对气象环境数据的全面采集和智能化感知,并通过边缘计算模块本地预处理激光雷达采集的数据,实现自主可控激光雷达边缘网关,支持激光雷达网关接入设备之间自动协议转换,使异构设备可无缝连接,采用轻量级数据格式,传输激光雷达设备必要的数据,既降低网络占用,又保证边缘端的实时分析需求,同时与云存储技术结合,进行长周期的激光雷达数据存档与数据反演挖掘。
实施例2:
实施例2与实施例1基本相同,其不同之处在于:
一种全高层大气风温密探测激光雷达云边协同方法,所述步骤一中进行预处理包括:数据采集和传输、数据清洗和处理、数据格式转换、误差校正、指令解析和优化、数据聚合和汇总、数据存储和传输;数据采集和传输:首先激光雷达设备将在不同高度(海拔)处测量到的水平风速和风向数据以及相关的误差等信息收集并传输至边缘计算模块;数据清洗和处理:边缘计算模块会对传输过来的原始数据进行清洗和处理,去除无效或缺失的数据点,并对数据进行插值或平滑处理以填充缺失值,确保数据的完整性和准确性;数据格式转换:在预处理过程中,边缘计算模块可能会将数据格式进行转换,以适应后续分析和存储的需求,确保数据的一致性和可用性;误差校正:边缘计算模块会利用设备提供的误差信息,对测量数据进行校正,以提高数据的精度和可信度;指令解析和优化:设备指令集会被解析和优化,以确保激光雷达设备在数据采集过程中运行在最佳状态,同时遵循设定的测量参数和精度要求;数据聚合和汇总:边缘计算模块可能会将不同高度处的风速、风向和误差信息进行聚合和汇总,以生成全面的风温密度数据集;数据存储和传输:预处理后的数据将被存储在本地或云端数据库中,以备后续分析和应用,同时,可以将部分处理后的数据传输至云端进行长周期的存档和进一步反演分析。
实施例3:
实施例3与实施例1基本相同,其不同之处在于:
一种全高层大气风温密探测激光雷达云边协同方法,所述边缘计算模块将预处理数据发送至存储单元,存储单元将预处理数据进行列式轻量化存储,得到轻量化数据并传输至边缘网关,然后边缘网关将轻量化数据传输到激光雷达云端总线具体为:首先将预处理后的原始数据集和设备指令集按列式数据的方式进行分割,每个列式数据对应一个特定的数据类型,特定的数据类型包括海拔高度、风速与风向,这种列式分割方式有助于后续的压缩和存储;然后对每个列式数据进行独立的编码和压缩,将压缩后的列式数据组织成数据页,统一的存储格式包括数据页的划分、数据块的布局以及元数据的索引,以最大限度地减少存储空间和传输带宽,应用了高效的压缩算法,例如基于字典的压缩和位图编码,以及可选的有损压缩方法,如差值编码,其他数据组织为元数据,创建元数据以描述数据的结构和编码方式,使数据解析和读取更加高效,再设计统一的存储格式,将数据页和元数据组织成一个整体文件,并进行优化,将经过优化的数据存储文件通过激光雷达边缘网关传输到激光雷达云端总线,边缘网关负责将数据存储文件拆分为数据包,针对特定指标进行数据聚合,以减少数据点数量并提高数据处理效率,通过时间序列数据库提供的聚合函数,如平均值、最大值、最小值等,对于标签的特定值,可以进行分组聚合,以获得每个标签值的聚合结果;并使用安全的通信协议将数据传输到云端服务器,最后激光雷达云端总线接收到数据存储文件后,将文件存储在分布式文件***中,同时,根据元数据的索引,实现对数据的高效查询和分析,激光雷达包括激光发射单元、光学接收单元与信号检测单元。
所述步骤二中的数据传输具体为:激光雷达云端总线通过不同传输协议如串口、IP、UART等方式进行串行的数据传输到网关中,通过接入单元将这些数据转换为统一的激光雷达数据传输协议,以实现各设备之间的有效通信。
当激光雷达设备需要发送大量数据时,边缘网关可以先对数据进行聚合或过滤,然后再将处理后的数据发送到云端,这样不仅可以减少网络占用,还可以提高数据处理的效率,同时,边缘网关还可以根据设备的实际需求,自动调整其计算资源和网络配置,从而优化设备性能和数据处理效率,通过使用自主可控的激光雷达边缘网关,实现激光雷达设备的智能化管理和数据处理,从而大大提高***的效率、可靠性和可扩展性,在处理完毕后,边缘网关将数据转换为一个轻量级的数据格式,这样不仅可以减少网络占用,还可以保证边缘端的实时分析需求;
数据聚合具体为:在收集到激光雷达数据后,通过时间窗口聚合和采样聚合,将数据点进行整合,以减少数据量和优化数据处理效率;时间窗口聚合:设置预定义的时间窗口,将同一时间窗口内的数据进行平均或其他统计计算,以减少数据点数量;采样聚合:选择合适的时间间隔对数据进行采样,然后对采样数据进行聚合,以降低数据密度,减少传输;
数据过滤具体为:在处理激光雷达数据时,应用阈值过滤、异常值检测与过滤以及变化率过滤,以提高数据质量和传输效率;阈值过滤:基于设定的阈值,仅保留符合阈值条件的数据点,滤除不符合条件的数据;异常值检测与过滤:运用异常值检测算法,检测并过滤掉异常的数据点,确保传输的数据准确性;变化率过滤:针对具有周期性变化的数据,通过过滤变化率较小的数据点,保留关键变化数据。
实施例4:
实施例4与实施例1基本相同,其不同之处在于:
一种全高层大气风温密探测激光雷达云边协同方法,所述激光雷达云端总线对轻量化数据按照监控数据与交互数据进行分类处理具体为:
根据设备的属性、数据类型、数据需求以及安全和合规性进行分类;
设备属性: 如设备型号、位置、功耗等;
数据类型: 如实时数据、历史数据、元数据等;
数据需求: 如不同流程或设备可能需要不同类型的数据;
安全和合规性: 某些数据可能需要按照特定的安全或合规标准进行分类和处理。
监控数据包括:元数据、配置数据、状态数据与安全管理;
元数据: 描述设备的基本信息和配置,如设备ID、型号、位置等;
配置数据: 设备的配置信息,如网络设置、连接参数等;
状态数据: 设备的运行状态,如开机、关机、故障等;
安全管理: 设备的安全设置和权限管理;
交互数据包括实时生成的数据、处理数据、用户交互数据;
实时生成的数据: 设备实时采集和生成的数据,如激光雷达的采集数据;
处理数据: 与具体流程或应用相关的数据,如数据分析、报告生成等;
用户交互数据: 与用户交互相关的数据,如用户设置、操作日志等;
激光雷达的基本构架包括:一个包含所有内容的目录,在这个目录中存储多个LiDAR Data Files,每个文件包含数据的一个分区,在处理小规模数据集时,如果生成了过多的LiDAR Data Files,可能需要在写入之前对数据进行重新分区,但是,在处理大规模数据集,如激光雷达数据时,将数据划分为多个文件可以显著提,在处理激光雷达数据时,我们首先需要将激光雷达数据转换为适合存储在LiDAR Data Files中的格式,这通常涉及到将每个激光雷达点的属性(如指标点、坐标、强度等)作为一个行,并将所有这些行组织成一个大的数据表,然后,我们可以将这个数据表写入LiDAR Data Files,每个文件包含数据的一个分区,在写入数据时,我们可以利用LiDAR Data Files的列式存储和压缩特性,以及行组的概念,来优化数据的存储和查询性能,此外,LiDAR Data Files还提供了一些额外的优化,如运行长度编码(RLE)、字典编码和位包装、投影和谓词下推,以及常用Delta Lake的支持,也能将数据无缝对接Parquet文件中,这些都可以进一步提高处理激光雷达数据的性能。
实施例5:
实施例5与实施例1基本相同,其不同之处在于:
一种全高层大气风温密探测激光雷达云边协同方法,所述全高层大气风温密探测激光雷达云边协同方法还包括:采用容器化服务将所有的激光雷达的各个应用构建到统一的激光雷达应用管理平台上,对各个激光雷达的应用进行处理,对激光雷达设备应用管理平台增加弹性云架构,进行数据的动态处理;所述弹性云架构包括守卫模块、触发器模块、计算器模块、钩子模块与追踪器模块;所述守卫模块实时监控各个激光雷达设备的运行状态,当守卫模块监控到设备的资源使用情况达到一定阈值时,触发器模块激活,然后,触发器模块会根据预设的策略,决定是否需要进行弹性伸缩,如果设备负载过高,可能会影响设备的正常运行和数据处理能力,此时,触发器模块会决定需要进行弹性伸缩,以保证设备的正常运行,反之,如果设备负载过低,说明设备的部分能力被闲置,此时,触发器模块会决定需要减少对应的云资源;当触发器模块决定需要进行弹性伸缩,计算器模块会进行计算,确定需要增加或减少的资源数量,然后将计算结果传递给钩子模块,由钩子模块进行实际的资源调整;追踪器模块追踪设备的运行状态和数据采集情况,记录设备的运行日志,以便于后期的设备维护和数据分析,实现了激光雷达设备的云边弹性伸缩自动化管理,有效地解决了设备数量的动态变化和数据处理需求的波动性带来的挑战,不仅提高了资源利用率,降低了运维成本,而且为未来作为数据中心的业务迁移做准备;
实施例6:
实施例6与实施例1基本相同,其不同之处在于:
一种全高层大气风温密探测激光雷达云边协同方法,利用容器化服务,构建了一个统一的激光雷达设备应用管理平台LiDAR_Hub,平台能够自动识别和管理各种型号和配置的激光雷达设备,数据格式包含了设备的指标数据、设备的标签tags、时间序列值等设备信息,具体来说,设备的指标数据可以帮助了解设备的运行状况,例如设备的运行时间、设备的功耗等;设备的标签Tags可以帮助对设备进行分类和管理,例如设备的型号、设备的位置等;时间序列值则可以帮助了解设备的运行趋势,例如设备的功耗随时间的变化情况等,通过这些信息,更好地进行设备管理,大幅降低了开发和运维成本,在数据访问方面,LiDAR_Hub实现了边缘侧和云侧的应用都可以通过REST Service访问设备数据。对于采集上来的数据,设备驱动程序通过配置相应的目的地址,将数据推送到边缘侧应用、云侧应用、边缘侧数据库或MQTT broker中。边缘侧和云侧应用通过MQTT broker topic订阅设备数据;在设备管理方面,LiDAR_Hub首先实现了监控数据与交互数据的数据分离。监控数据数据,包括元数据、属性、配置、状态、生命周期等,这些数据通过特定的通道进行处理,由于这些数据相对稳定且变化较少,因此可以有效地进行管理。而交互数据数据,如设备实时生成的数据,可以直接发送到数据处理的应用中,以便进行实时的业务处理;设备的监控数据数据在发送到边缘设备之后,会被缓存在边缘数据库中。这些数据以设备ID和协议的形式指定设备驱动程序,然后基于设备驱动程序注册接口的返回值进行初始化;这一流程确保了设备数据的准确性和一致性;在设备数据的管理过程中,LiDAR_Hub实现了与设备驱动程序之间的通信,这种通信以标准化的形式进行,实现了设备驱动程序的开发,降低了适配难度;同时,LiDAR_Hub支持Restful API通信方式,使得数据的传输更加灵活和高效;在数据访问方面,LiDAR_Hub实现了边缘侧和云侧的应用都可以通过REST Service访问设备数据;对于采集上来的数据,设备驱动程序通过配置相应的目的地址,将数据推送到边缘侧应用、云侧应用、边缘侧数据库或MQTT Broker中;这一流程确保了数据的实时性和准确性。
以上所述仅为本发明的较佳实施方式,本发明的保护范围并不以上述实施方式为限,但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化,皆应纳入权利要求书中记载的保护范围内。
Claims (8)
1.一种全高层大气风温密探测激光雷达云边协同方法,其特征在于:所述全高层大气风温密探测激光雷达云边协同方法包括以下步骤:
步骤一、在指定的探测区域内设置激光雷达,该激光雷达由激光发射单元、光学接收单元、信号检测单元、存储单元、边缘计算模块和边缘网关组成;
步骤二、先由激光发射单元采集探测区域的原始数据集和设备指令集,并发送至对应的光学接收单元和信号检测单元,然后光学接收单元再将得到的原始数据集和设备指令集发送至边缘计算模块,激光雷达的边缘计算模块对接收的原始数据集和设备指令集进行预处理,得到预处理数据;
预处理包括:数据采集和传输、数据清洗和处理、数据格式转换、误差校正、指令解析和优化、数据聚合和汇总、数据存储和传输;
步骤三、边缘计算模块将预处理数据发送至存储单元,存储单元将预处理数据进行列式轻量化存储,得到轻量化数据并传输至边缘网关,然后边缘网关将轻量化数据传输到激光雷达云端总线;
首先将预处理后的原始数据集和设备指令集按照列式数据的方式进行分割;然后对每个列式数据进行独立的编码和压缩,将压缩后的列式数据组织成数据页,其他数据组织为元数据,再设计统一的存储格式,将数据页和元数据组织成一个整体文件,并进行优化,将经过优化的数据存储文件通过激光雷达边缘网关传输到激光雷达云端总线,最后激光雷达云端总线接收到数据存储文件后,将文件存储在分布式文件***中;
步骤四、激光雷达云端总线对轻量化数据按照监控数据与交互数据进行分类处理,然后激光雷达云端总线将监控数据与交互数据发送到激光雷达对应的数据处理单元中,进行实时的数据处理。
2.根据权利要求1所述的一种全高层大气风温密探测激光雷达云边协同方法,其特征在于:所述每个列式数据对应一个特定的数据类型,特定的数据类型包括海拔高度、风速与风向;
所述统一的存储格式包括数据页的划分、数据块的布局以及元数据的索引;
所述边缘网关负责将数据存储文件拆分为数据包,并使用安全的通信协议将数据传输到云端服务器。
3.根据权利要求2所述的一种全高层大气风温密探测激光雷达云边协同方法,其特征在于:所述步骤三中的数据传输具体为:激光雷达云端总线通过多种不同的传输协议,进行串行的数据传输到网关中;通过接入单元将这些数据转换为统一的激光雷达数据传输协议,以实现各设备之间的有效通信。
4.根据权利要求1所述的一种全高层大气风温密探测激光雷达云边协同方法,其特征在于:所述步骤四中激光雷达云端总线对轻量化数据按照监控数据与交互数据进行分类处理具体为:
根据设备的属性、数据类型、业务需求以及安全和合规性进行分类。
5.根据权利要求4所述的一种全高层大气风温密探测激光雷达云边协同方法,其特征在于:所述监控数据主包括元数据、配置数据、状态数据与安全管理;
所述交互数据包括实时生成的数据、业务处理数据、用户交互数据。
6.根据权利要求1所述的一种全高层大气风温密探测激光雷达云边协同方法,其特征在于:所述全高层大气风温密探测激光雷达云边协同方法还包括:对激光雷达设备应用管理平台进行数据的动态处理。
7.根据权利要求6所述的一种全高层大气风温密探测激光雷达云边协同方法,其特征在于:所述数据的动态处理包括守卫模块、触发器模块、计算器模块、钩子模块与追踪器模块。
8.根据权利要求7所述的一种全高层大气风温密探测激光雷达云边协同方法,其特征在于:所述守卫模块实时监控各个激光雷达设备的运行状态,当守卫模块监控到设备的资源使用情况达到一定阈值时,触发器模块激活,然后,触发器模块会根据预设的策略,决定是否需要进行弹性伸缩,如果设备负载过高,可能会影响设备的正常运行和数据处理能力,此时,触发器模块会决定需要进行弹性伸缩,以保证设备的正常运行,反之,如果设备负载过低,说明设备的部分能力被闲置,此时,触发器模块会决定需要减少对应的云资源;
当触发器模块决定需要进行弹性伸缩,计算器模块会进行计算,确定需要增加或减少的资源数量,然后将计算结果传递给钩子模块,由钩子模块进行实际的资源调整;
追踪器模块追踪设备的运行状态和数据采集情况,记录设备的运行日志,以便于后期的设备维护和数据分析。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311201556.2A CN116953660B (zh) | 2023-09-18 | 2023-09-18 | 一种全高层大气风温密探测激光雷达云边协同方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311201556.2A CN116953660B (zh) | 2023-09-18 | 2023-09-18 | 一种全高层大气风温密探测激光雷达云边协同方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116953660A CN116953660A (zh) | 2023-10-27 |
CN116953660B true CN116953660B (zh) | 2024-01-05 |
Family
ID=88460493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311201556.2A Active CN116953660B (zh) | 2023-09-18 | 2023-09-18 | 一种全高层大气风温密探测激光雷达云边协同方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116953660B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6566070B1 (ja) * | 2018-03-23 | 2019-08-28 | 日本電気株式会社 | フロー管理サーバ、フロー管理システム、フロー管理方法およびフロー管理プログラム |
CN110336703A (zh) * | 2019-07-12 | 2019-10-15 | 河海大学常州校区 | 基于边缘计算的工业大数据监测*** |
CN112600892A (zh) * | 2020-12-07 | 2021-04-02 | 北京邮电大学 | 面向物联网的区块链设备、***及工作方法 |
CN112711036A (zh) * | 2020-12-23 | 2021-04-27 | 北京应用气象研究所 | 一种多手段集成、多类型数据标定的移动气溶胶监测*** |
CN113252851A (zh) * | 2021-05-19 | 2021-08-13 | 安徽理工大学环境友好材料与职业健康研究院(芜湖) | 一种基于NB-IoT和边缘计算的大气污染监测*** |
CN114124909A (zh) * | 2021-09-14 | 2022-03-01 | 福州大学 | 基于激光雷达的点云实时采集压缩传输***及方法 |
CN114448755A (zh) * | 2022-03-03 | 2022-05-06 | 深圳供电局有限公司 | 数据传输方法、装置、计算机设备和计算机可读存储介质 |
WO2022095616A1 (zh) * | 2020-11-03 | 2022-05-12 | 国网智能科技股份有限公司 | 一种变电站在线智能巡视***及方法 |
CN115270604A (zh) * | 2022-07-01 | 2022-11-01 | 水利部南京水利水文自动化研究所 | 寒区闸坝工程安全预警方法及智能监控*** |
WO2022228049A1 (zh) * | 2021-04-27 | 2022-11-03 | 浙大城市学院 | 基于5g边缘计算和深度学习的航空发动机故障诊断方法 |
CN116247816A (zh) * | 2023-01-31 | 2023-06-09 | 中国南方电网有限责任公司 | 微电网自动控制***、方法、装置和计算机设备 |
CN116366692A (zh) * | 2023-03-28 | 2023-06-30 | 科技谷(厦门)信息技术有限公司 | 一种高性能智能边缘终端*** |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10866101B2 (en) * | 2017-06-13 | 2020-12-15 | Tusimple, Inc. | Sensor calibration and time system for ground truth static scene sparse flow generation |
US11017902B2 (en) * | 2019-10-25 | 2021-05-25 | Wise IOT Solutions | System and method for processing human related data including physiological signals to make context aware decisions with distributed machine learning at edge and cloud |
CN112926514A (zh) * | 2021-03-26 | 2021-06-08 | 哈尔滨工业大学(威海) | 一种多目标检测及跟踪方法、***、存储介质及应用 |
US20210319691A1 (en) * | 2021-06-25 | 2021-10-14 | Arvind Merwaday | Collaborative detection and avoidance of phantom traffic jams |
-
2023
- 2023-09-18 CN CN202311201556.2A patent/CN116953660B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6566070B1 (ja) * | 2018-03-23 | 2019-08-28 | 日本電気株式会社 | フロー管理サーバ、フロー管理システム、フロー管理方法およびフロー管理プログラム |
CN110336703A (zh) * | 2019-07-12 | 2019-10-15 | 河海大学常州校区 | 基于边缘计算的工业大数据监测*** |
WO2022095616A1 (zh) * | 2020-11-03 | 2022-05-12 | 国网智能科技股份有限公司 | 一种变电站在线智能巡视***及方法 |
CN112600892A (zh) * | 2020-12-07 | 2021-04-02 | 北京邮电大学 | 面向物联网的区块链设备、***及工作方法 |
CN112711036A (zh) * | 2020-12-23 | 2021-04-27 | 北京应用气象研究所 | 一种多手段集成、多类型数据标定的移动气溶胶监测*** |
WO2022228049A1 (zh) * | 2021-04-27 | 2022-11-03 | 浙大城市学院 | 基于5g边缘计算和深度学习的航空发动机故障诊断方法 |
CN113252851A (zh) * | 2021-05-19 | 2021-08-13 | 安徽理工大学环境友好材料与职业健康研究院(芜湖) | 一种基于NB-IoT和边缘计算的大气污染监测*** |
CN114124909A (zh) * | 2021-09-14 | 2022-03-01 | 福州大学 | 基于激光雷达的点云实时采集压缩传输***及方法 |
CN114448755A (zh) * | 2022-03-03 | 2022-05-06 | 深圳供电局有限公司 | 数据传输方法、装置、计算机设备和计算机可读存储介质 |
CN115270604A (zh) * | 2022-07-01 | 2022-11-01 | 水利部南京水利水文自动化研究所 | 寒区闸坝工程安全预警方法及智能监控*** |
CN116247816A (zh) * | 2023-01-31 | 2023-06-09 | 中国南方电网有限责任公司 | 微电网自动控制***、方法、装置和计算机设备 |
CN116366692A (zh) * | 2023-03-28 | 2023-06-30 | 科技谷(厦门)信息技术有限公司 | 一种高性能智能边缘终端*** |
Non-Patent Citations (2)
Title |
---|
"A Camera–Radar Fusion Method Based on Edge Computing";Yanjin Fu等;《020 IEEE International Conference on Edge Computing (EDGE)》;9-14 * |
"面向露天场景的矿用工业互联网边云协同架构";马文静等;《曲阜师范大学学报》;第48卷(第1期);75-82 * |
Also Published As
Publication number | Publication date |
---|---|
CN116953660A (zh) | 2023-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106603958A (zh) | 分布式存储的变电站巡检机器人远程集中监控***及方法 | |
CN202940848U (zh) | 基于云计算平台的桥梁群监测*** | |
CN105162414B (zh) | 一种基于时序数据库平台的光伏电站功率预测*** | |
CN105260426A (zh) | 基于大数据的飞机综合健康管理***和方法 | |
CN113176948A (zh) | 边缘网关、边缘计算***及其配置方法 | |
CN111091240A (zh) | 一种公共机构电力能效监测***及服务方法 | |
CN109491343A (zh) | 工业制造过程远程物联监控*** | |
CN114448094A (zh) | 一种基于台区智能业务终端边缘计算的数据共享*** | |
CN112216061A (zh) | 一种雨水情监测预警方法及*** | |
CN107885156A (zh) | 用于精益监测电站设备的智能前端多媒体信息采集*** | |
CN116953660B (zh) | 一种全高层大气风温密探测激光雷达云边协同方法 | |
CN112422663A (zh) | 工业物联网的数据集中***及数据汇聚、处理、存储方法 | |
CN108989456B (zh) | 一种基于大数据的网络实现方法 | |
CN111190790A (zh) | 一种基于峰值预测的云计算集群监控方法及*** | |
CN113485793B (zh) | 基于容器技术的多源异构数据接入通道在线弹性扩展方法 | |
CN203101932U (zh) | 变电设备状态接入控制器 | |
CN115460072A (zh) | 集日志收集、解析、存储与服务为一体的日志处理*** | |
CN113872814A (zh) | 内容分发网络的信息处理方法、装置和*** | |
CN106991129B (zh) | 基于soa构架电力调度***的实时数据库***及实现方法 | |
CN113055126A (zh) | 一种飞行数据译码方法、装置及终端设备 | |
CN111721355A (zh) | 铁路接触网监测数据采集*** | |
CN112233402A (zh) | 一种光伏发电在线监测***及监测方法 | |
CN110738586A (zh) | 一种基于cimiss和综合库数据的气象综合业务*** | |
CN216253268U (zh) | 一种工业应用数据采集5g无线网关装置 | |
CN110362279B (zh) | 基于机载高速总线的数据实时处理与存储*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |