CN113358581A - 一种无人机多光谱遥感数据采集和处理一体化***及方法 - Google Patents
一种无人机多光谱遥感数据采集和处理一体化***及方法 Download PDFInfo
- Publication number
- CN113358581A CN113358581A CN202110626134.4A CN202110626134A CN113358581A CN 113358581 A CN113358581 A CN 113358581A CN 202110626134 A CN202110626134 A CN 202110626134A CN 113358581 A CN113358581 A CN 113358581A
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- module
- image
- multispectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000005540 biological transmission Effects 0.000 claims abstract description 78
- 238000002310 reflectometry Methods 0.000 claims abstract description 64
- 230000003595 spectral effect Effects 0.000 claims abstract description 47
- 238000004364 calculation method Methods 0.000 claims abstract description 39
- 238000012937 correction Methods 0.000 claims abstract description 25
- 230000005855 radiation Effects 0.000 claims abstract description 23
- 238000004891 communication Methods 0.000 claims abstract description 20
- 230000006835 compression Effects 0.000 claims description 10
- 238000007906 compression Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 10
- 230000010354 integration Effects 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims 2
- 230000008569 process Effects 0.000 abstract description 22
- 230000006870 function Effects 0.000 abstract description 11
- 238000001514 detection method Methods 0.000 abstract description 6
- 238000001228 spectrum Methods 0.000 description 10
- 238000000701 chemical imaging Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000006855 networking Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种无人机多光谱遥感数据采集和处理一体化***及方法,包括:多光谱相机,与多光谱相机连接的具有开放图数传链路的无人机,以及分别与无人机连接的DLS和地面站APP;多光谱相机包括镜头模组,通过MIPI桥接模块与镜头模组连接的SOC处理器平台,分别与SOC处理器平台的输出端连接的串口通信模块、网络传输模块和存储介质。本申请通过优化多光谱相机硬件架构,在无人机航线任务中可实现光谱图像数据采集、存储、配准、辐射校正、反射率计算、植被指数计算和传输功能,避免了大量数据拷贝过程,减少了地面站APP端处理压力,大幅提高了光谱遥感效率,改善了用户操作体验,适用于无人机多光谱遥感和探测等多种应用场景。
Description
技术领域
本发明涉及多光谱成像技术领域,特别是涉及一种无人机多光谱遥感数据采集和处理一体化***及方法。
背景技术
无人机多光谱成像技术被广泛应用于农业、环境、地质、生态等行业领域的遥感应用中。近年来各类多光谱成像装置层出不穷,作为典型的无人机载多光谱数据采集装备,光谱通道数一般大于等于四个,它们多采用滤片分光结构形式,如窄带滤光片阵列型、马赛克滤光片型、滤光片轮型等,有效地优化了体积重量、降低了硬件成本、改善了作业体验。
目前,多光谱成像装置主要完成对图像传感器的驱动、采集功能,满足重叠率、定时触发拍照要求,在飞行航拍时获取地物影像,将原始影像按照带地理坐标标签的TIFF格式存储至相关存储介质中。待装置随无人机返回地面后,将数据拷贝至安装有遥感影像软件的电脑进行预处理和分析,其过程耗时长,时效性差,整体效率较低,使用者无法在无人机执行航线任务过程中查看多光谱影像。
此类多光谱成像装置作为单纯的数据采集设备,和无人机交互关联性弱,智能化程度低,无法突破“数据量大依赖拷贝、辐射校正繁琐”的无人机多光谱遥感的行业现状。
发明内容
有鉴于此,本发明的目的在于提供一种无人机多光谱遥感数据采集和处理一体化***及方法,将光谱遥感数据采集、辐射校正、指数计算等流程都嵌入在多光谱相机中,实现了多光谱采集、处理的一体化。其具体方案如下:
一种无人机多光谱遥感数据采集和处理一体化***,包括:多光谱相机,与所述多光谱相机连接的具有开放图数传链路的无人机,以及分别与所述无人机连接的DLS和地面站APP;所述多光谱相机包括镜头模组,通过MIPI桥接模块与所述镜头模组连接的SOC处理器平台,分别与所述SOC处理器平台的输出端连接的串口通信模块、网络传输模块和存储介质;其中,
所述镜头模组,用于接收地物反射光,获取多通道图像数据;
所述MIPI桥接模块,用于将不同的图像输出接口转换为MIPI-CSI接口;
所述SOC处理器平台,用于利用片上异构多核架构进行图像数据的采集、配准、辐射校正、反射率计算和植被指数计算;
所述DLS,用于接收环境光线测量光谱辐照度,并通过所述无人机的数传链路传输至所述SOC处理器平台,以进行环境光实时校正;
所述串口通信模块,用于传送所述地面站APP的配置指令,以切换所述镜头模组的工作模式和参数,还用于与所述DLS数据交互使用,以捕获图像加载POS位置姿态信息;
所述网络传输模块,用于通过UDP协议将压缩视频、反射率图像与POS位置姿态信息由所述无人机的图传链路发送至所述地面站APP;
所述存储介质,用于写入所有通道的图像数据;
所述地面站APP,用于控制所述无人机和所述多光谱相机运作,还用于进行多光谱指数视频显示切换、离线本地拼接、在线备份上云。
优选地,在本发明实施例提供的上述无人机多光谱遥感数据采集和处理一体化***中,所述镜头模组包括多光谱镜头模组、热红外镜头模组和RGB镜头模组;其中,
所述多光谱镜头模组包括低畸变光学镜头、内置特定波段窄带滤片和全色图像传感器;
所述热红外镜头模组包括低畸变光学镜头、内置特定波段窄带滤片和热红外图像传感器;
所述RGB镜头模组包括低畸变光学镜头、内置特定波段窄带滤片和和RGB图像传感器。
优选地,在本发明实施例提供的上述无人机多光谱遥感数据采集和处理一体化***中,所述MIPI桥接模块包括电源变换电路和桥接芯片;
所述SOC处理器平台,还用于识别所述镜头模组的ID编码,自动为所述MIPI桥接模块加载所述桥接芯片的相关固件,并使能所述MIPI桥接模块对应所述图像传感器的供电电源轨。
优选地,在本发明实施例提供的上述无人机多光谱遥感数据采集和处理一体化***中,所述SOC处理器平台包括:
GPU核,用于对图像数据进行实时配准,将各光谱通道图像空间配准到同一基准;
DSP核,用于将图像数据进行辐射校正,与预置在内存中的标准反射率比较后,将图像数据转换为光谱辐亮度,并进行反射率计算,将光谱辐亮度转换为地物反射率,以向下一级传输和片上植被指数计算;
ARM核,用于进行多光谱指数视频编码压缩、传输与存储;
M7核,用于进行外部触发、状态显示、IMU姿态解算。
优选地,在本发明实施例提供的上述无人机多光谱遥感数据采集和处理一体化***中,所述SOC处理器平台是通过从模式的帧同步信号实现多个图像通道的同步触发。
优选地,在本发明实施例提供的上述无人机多光谱遥感数据采集和处理一体化***中,所述网络传输模块包括网络传输视频模块和网络传输数据模块;其中,
所述网络传输视频模块,用于利用所述无人机的图传链路通过百兆网口以UDP协议传输经指数计算后得到的压缩视频;
所述网络传输数据模块,用于利用所述无人机的图传链路通过百兆网口以UDP协议传输多光谱反射率图像压缩数据和POS位置姿态信息。
优选地,在本发明实施例提供的上述无人机多光谱遥感数据采集和处理一体化***中,所述地面站APP,具体用于在无移动网络离线状态下,将POS位置姿态信息进行解算,将反射率图像进行本地拼接和指数计算,生成多种图层;在移动网络在线状态下,将缓存在本地的反射率图像和POS位置姿态信息上传至云端服务器进行数据备份。
本发明实施例还提供了一种本发明实施例提供的上述无人机多光谱遥感数据采集和处理一体化***的运作方法,包括:
镜头模组接收地物反射光,获取多通道图像数据;
MIPI桥接模块将不同的图像输出接口转换为MIPI-CSI接口;
SOC处理器平台利用片上异构多核架构进行图像数据的采集、配准、辐射校正、反射率计算和植被指数计算;
DLS接收环境光线测量光谱辐照度,并通过无人机的数传链路传输至所述SOC处理器平台,以进行环境光实时校正;
串口通信模块传送地面站APP的配置指令,以切换所述镜头模组的工作模式和参数,与所述DLS数据交互使用,以捕获图像加载POS位置姿态信息;
网络传输模块通过UDP协议将压缩视频、反射率图像与POS位置姿态信息由所述无人机的图传链路发送至所述地面站APP;
存储介质写入所有通道的图像数据;
地面站APP控制所述无人机和多光谱相机运作,进行多光谱指数视频显示切换、离线本地拼接、在线备份上云。
从上述技术方案可以看出,本发明所提供的一种无人机多光谱遥感数据采集和处理一体化***,包括:多光谱相机,与多光谱相机连接的具有开放图数传链路的无人机,以及分别与无人机连接的DLS和地面站APP;多光谱相机包括镜头模组,通过MIPI桥接模块与镜头模组连接的SOC处理器平台,分别与SOC处理器平台的输出端连接的串口通信模块、网络传输模块和存储介质;其中,镜头模组,用于接收地物反射光,获取多通道图像数据;MIPI桥接模块,用于将不同的图像输出接口转换为MIPI-CSI接口;SOC处理器平台,用于利用片上异构多核架构进行图像数据的采集、配准、辐射校正、反射率计算和植被指数计算;DLS,用于接收环境光线测量光谱辐照度,并通过无人机的数传链路传输至SOC处理器平台,以进行环境光实时校正;串口通信模块,用于传送地面站APP的配置指令,以切换镜头模组的工作模式和参数,还用于与DLS数据交互使用,以捕获图像加载POS位置姿态信息;网络传输模块,用于通过UDP协议将压缩视频、反射率图像与POS位置姿态信息由无人机的图传链路发送至地面站APP;存储介质,用于写入所有通道的图像数据;地面站APP,用于控制无人机和多光谱相机运作,还用于进行多光谱指数视频显示切换、离线本地拼接、在线备份上云。
本发明通过优化多光谱相机的硬件架构,利用异构多核的SOC处理器平台实现光谱数据采集、处理的一体化和在线化,这样在无人机航线任务中可实现光谱图像数据采集、存储、配准、辐射校正、反射率计算、植被指数计算和传输功能,避免了大量离线数据拷贝过程,减少了地面站APP端的处理压力,可实时查看过程影像,大幅提高了光谱遥感效率,改善了用户操作体验,适用于无人机多光谱遥感和探测等多种应用场景。此外,本发明还针对无人机多光谱遥感数据采集和处理一体化***提供了相应的运作方法,进一步使得上述***更具有实用性,该方法具有相应的优点。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的无人机多光谱遥感数据采集和处理一体化***的结构示意图;
图2为本发明实施例提供的多光谱相机对应的光谱透过率的示意图;
图3为本发明实施例提供的多光谱相机的结构功能示意图;
图4为本发明实施例提供的SOC处理器平台的结构功能示意图;
图5为本发明实施例提供的航线规划界面示意图;
图6为本发明实施例提供的航线任务界面示意图;
图7为本发明实施例提供的相机端、无人机、地面站和云端服务器之间的功能示意图;
图8为本发明实施例提供的无人机多光谱遥感数据采集和处理一体化***的运作方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供一种无人机多光谱遥感数据采集和处理一体化***,如图1所示,包括:多光谱相机1,与多光谱相机1连接的具有开放图数传链路的无人机2,以及分别与无人机2连接的DLS(Downwelling Light Sensor,下行光传感器)3和地面站APP 4;多光谱相机1包括镜头模组11,通过MIPI(Mobile Industry Processor Interface,移动产业处理器接口)桥接模块12与镜头模组11连接的SOC处理器平台13,分别与SOC处理器平台13的输出端连接的串口通信模块14、网络传输模块15和存储介质16;其中,
镜头模组11,用于接收地物反射光,获取多通道图像数据;具体地,镜头模组11的图像传感器接受各波段的光谱能量信息后可将其转换为数字DN值读出;
MIPI桥接模块12,用于将不同的图像输出接口转换为MIPI-CSI接口;具体地,MIPI桥接模块12的作用是为了灵活扩展更多分辨率规格的图像传感器,可将各类高速图像接口转换为标准2lane的MIPI-CSI接口,以满足SOC处理器平台的多路图像接入;
SOC处理器平台13,用于利用片上异构多核架构进行图像数据的采集、配准、辐射校正、反射率计算和植被指数计算;具体地,SOC处理器平台13是基于海思Hi3559AV100或Hi3559CV100系列的开发平台,还包括存储器、DC/DC电源、接口电路等,具备8×2lane的图像接入、ISP处理能力,支持最多8个通道的图像数据采集,片上异构多核架构可完成针对多光谱图像采集、预处理的特殊性实施多任务部署与调度,最大化利用硬件资源实现多光谱影像的处理,可实现原始图像备份存储、反射率压缩图像和指数视频实时回传;
DLS 3,包含光谱传感器,用于接收环境光线测量光谱辐照度,并通过无人机2的数传链路传输至SOC处理器平台13,以进行环境光实时校正;
串口通信模块14,用于传送地面站APP 4的配置指令,以切换镜头模组11的工作模式和参数,还用于与DLS 3数据交互使用,能够通过该端口共享无人机的坐标和姿态信息,以捕获图像加载POS位置姿态信息;
网络传输模块15,用于通过UDP协议将压缩视频、反射率图像与POS位置姿态信息由无人机的图传链路发送至地面站APP 4;
存储介质16,用于写入所有通道的图像数据;具体地,存储介质可以为高速U盘、SSD等,均可快速写入所有通道的图像数据;
地面站APP 4,用于控制无人机2和多光谱相机1运作,还用于进行多光谱指数视频显示切换、离线本地拼接、在线备份上云;具体地,地面站APP 4作为无人机和多光谱成像装置的控制终端,可将相机状态和输出视频实时显示,用于目视解译;同时本地具有快拼功能,可根据接收到的多光谱反射率数据、姿态信息等,完成拼接、指数计算和发布,并具备云端备份功能。
需要说明的是,多光谱相机1的核心功能具体包括:多通道图像同步采集和预处理、辅助传感器信息获取、图像压缩和视频压缩编码传输和存储等。无人机2具体指可开放图数传链路的无人机,如大疆的M200/M210系列、M300RTK等,具备PSDK、OSDK、MSDK等开放链路。
在本发明实施例提供的上述无人机多光谱遥感数据采集和处理一体化***中,通过优化多光谱相机的硬件架构,利用异构多核的SOC处理器平台实现光谱数据采集、处理的一体化和在线化,这样在无人机航线任务中可实现光谱图像数据采集、存储、配准、辐射校正、反射率计算、植被指数计算和传输功能,避免了大量离线数据拷贝过程,减少了地面站APP端的处理压力,可实时查看过程影像,大幅提高了光谱遥感效率,改善了用户操作体验,适用于无人机多光谱遥感和探测等多种应用场景。
进一步地,在具体实施时,在本发明实施例提供的上述无人机多光谱遥感数据采集和处理一体化***中,镜头模组11包括多光谱镜头模组、热红外镜头模组和RGB镜头模组;其中,如图1所示,多光谱镜头模组包括低畸变光学镜头、内置特定波段窄带滤片和全色图像传感器;热红外镜头模组包括低畸变光学镜头、内置特定波段窄带滤片和热红外图像传感器;RGB镜头模组包括低畸变光学镜头、内置特定波段窄带滤片和和RGB图像传感器。
需要说明的是,本发明除了接收多光谱图像数据,还能够同时接收处理热红外或RGB数据流,通过镜头模组的整体替换,支持更多光电参数指标。在本发明中,采用独立的镜头模组,可以保证更多的中心波长和光谱带宽选择,为后期指数反演提供更多可能性。图2示出了多光谱镜头模组对应的光谱透过率。利用MIPI桥接模块可同时满足不同规格的多个光谱通道、RGB通道或热红外通道,接入同一SOC处理器平台,相比现有多光谱相机阵列装置的功耗更低、体积更小,具备更强的灵活性和扩展性。
进一步地,在具体实施时,在本发明实施例提供的上述无人机多光谱遥感数据采集和处理一体化***中,MIPI桥接模块12包括电源变换电路和桥接芯片;SOC处理器平台13,还用于识别镜头模组11的ID编码,自动为MIPI桥接模块12加载桥接芯片的相关固件,并使能MIPI桥接模块12对应图像传感器的供电电源轨。
具体地,在***上电初始化时,通过识别镜头模组的ID,SOC处理器平台为MIPI桥接模块加载桥接芯片的相关固件,并使能匹配镜头模组图像传感器的电源轨;SOC处理器平台通过I2C总线配置镜头模组对应的图像传感器,图像传感器正常工作,图像数据经MIPI桥接模块后接入SOC处理器平台。
在本发明中,通过在不同类型的镜头模组上配置EEPROM存储相应的类型信息,处理器平台读取类型信息,一旦更换前端镜头模组,为了适配图像传感器的图像输出接口,处理器将会把出厂设置在存储器(eMMC)上的相应固件加载至MIPI桥接模块的FLASH上,并使能MIPI桥接模块对应图像传感器的供电电源轨LDO,以保证链路接口和功能的正常工作。
因此,本发明可实现公用一个SOC处理器平台,接入不同分辨率规格、不同图像接口的多通道窄带滤片镜头模组,而且可以搭配非制冷热红外、彩色图像传感器通道,更具灵活性,可满足不同地面分辨率甚至多源遥感数据融合的需求,体积紧凑,特别适合于无人机载应用。
如图3所示,主板上eMMC存储不同规格MIPI桥接固件,可通过识别前端镜头模组ID,自动给MIPI桥接芯片加载固件,可适配不同分辨率、不同输入接口速率的图像传感器,并支持混合传感器类型接入(如RGB CMOS图像传感器和非制冷热红外传感器)。SOC处理器平台13可通过从模式(Slave)的帧同步(Vsync)信号用于多个图像通道的同步触发。除此之外,桥接转换模块上包括图像传感器典型电源轨需求的LDO(如1.2V,1.5V,1.8V,2.5V等),同样通过SOC处理器端读取识别存入前端镜头模组EEPROM中对应的ID编号,使能对应的电源轨。镜头模组部分涵盖无人机多光谱遥感的主流需求,包括:400nm~1000nm的17种典型波段窄带滤片、5mm~12mm焦距的低畸变光学镜头;低分辨率(<2Mpx)的全色CMOS图像传感器、非制冷热红外传感器等类型,典型接口为并口(DVP)、HiSPI或MIPI接口;中分辨率(2Mpx~5Mpx)的全色CMOS图像传感器,典型接口为SubLVDS、MIPI接口;高分辨率(8Mpx~20Mpx)的RGB CMOS图像传感器和全色图像传感器,典型接口为SubLVDS、MIPI接口。处理器端可支持4×4lane、2×4lane+4×2lane、8×2lane等多种MIPI输入组合方式。
需要注意的是,本发明可基于共用一个后端处理平台,通过MIPI桥接模块将不同类型的图像传感器的图像输出接口转换为SOC处理器的MIPI接口。通过对前端镜头模组的不同组合搭配,既可以满足不同通道数(4~8通道)、不同分辨率、不同焦距的多光谱成像需求,还可以搭配RGB、热红外等不同类型的图像传感器以提供单架次多源图像数据获取的能力,因此具有较强的扩展性和灵活性。
进一步地,在具体实施时,在本发明实施例提供的上述无人机多光谱遥感数据采集和处理一体化***中,如图4所示,SOC处理器平台13可以包括:GPU核,用于对图像数据进行实时配准,将各光谱通道图像空间配准到同一基准;DSP核,用于将图像数据进行辐射校正,与预置在内存中的标准反射率比较后,将图像数据转换为光谱辐亮度,并进行反射率计算,将光谱辐亮度转换为地物反射率,以向下一级传输和片上植被指数计算;ARM核,用于进行多光谱指数视频编码压缩、传输与存储;M7核,用于进行外部触发、状态显示、IMU姿态解算。需要说明的是,SOC处理器平台13能够多核多任务部署实施,具体可以通过M7内核实现严格时间同步,姿态传感器解算;通过DSP核实现反射率在线反演,将接收到的各通道完整帧的原始DN值数据通过辐射校正,实现真实反射率处理;利用GPU实现配准计算,还可以通过NNIE引擎实现在线目标检测;利用集成的视频编码模块可压缩植被指数视频。
可以理解的是,基于SOC处理器平台,利用核间通讯,在各类型核心上充分部署,合理分配资源对图像进行处理。如图4所示,各个光谱通道图像从VI模块取出,转入GPU核,利用OpenCL技术基于多光谱成像装置获取的飞行高度、姿态等信息进行图像配准;配准后的图像转入DSP核进行辐射校正,与预置在内存中的标准反射率比较,进一步转为反射率图像数据,可用于向下一级传输和片上指数计算;多核ARM实现编码压缩、视频/数据传输、存储等功能;M7核实现外部触发、状态显示、IMU解算等对实时性要求较强的环节。
本发明通过对将原始DN值数据通过辐射校正、反射率计算后再进一步压缩,精度损失较小不影响后期反演,此外将原始DN值数据转换为指数视频后,数据量都会大幅降低,满足图数传链路下行带宽要求,可在地面站软件端实时显示和在线拼接。由于机上多光谱相机传输的图像已完成配准和辐射校正,对地面站端软件的处理压力也大幅减小,使用者能够获得更加流畅直观的交互过程。通过该方法可实现多光谱植被指数视频、RGB或热红外视频的实时推送、多光谱反射率压缩图像和POS位置姿态信息在线回传,可在有无移动网络的条件下使用,一旦联网后还可以将缓存在本地的图像数据上云备份或作更深层次的算法处理,可避免数据拷贝过程,提高了无人机多光谱遥感的作业效率。
在具体实施时,在本发明实施例提供的上述无人机多光谱遥感数据采集和处理一体化***中,网络传输模块15可以包括网络传输视频模块和网络传输数据模块;其中,网络传输视频模块,用于利用无人机的图传链路通过百兆网口以UDP协议传输经SOC处理器平台13指数计算后得到的压缩视频(即指数伪彩色、RGB等H.264压缩视频);网络传输数据模块,用于利用无人机的图传链路通过百兆网口以UDP协议传输经SOC处理器平台13处理后得到的多光谱反射率图像压缩数据和POS位置姿态信息。
具体地,地物反射光入射镜头模组,图像传感器接受各波段的光谱能量信息并转换为数字DN值读出;通过MIPI桥接模块将图像传感器的DN值数据,按照2lane MIPI-CSI发送至SOC处理器平台;SOC处理器实现ISP处理,完成各光谱通道图像的自动曝光;DLS接受环境光线测量光谱辐照度,通过无人机数传链路传输至SOC处理器平台;SOC处理器平台利用异构多核架构硬件资源,在片上实现实时配准,将各光谱通道图像空间配准到同一基准;实现辐射校正,将图像数字DN值转换为光谱辐亮度;实现反射率计算,将光谱辐亮度转换为地物反射率;实现环境光校正,将DLS检测的光谱辐照度变化引入计算。反射率图像进行指数计算后,进行H.264压缩编码,通过网络端口UDP协议以视频格式发送由无人机图传链路发送至地面站APP用于实时显示;反射率图像与姿态位置信息,进行JPEG格式压缩,通过网络端口UDP协议以数据格式发送由无人机图传链路发送至地面站APP;地面站APP可选择植被指数类型,在本地实现快拼和成果图输出,当连接移动网络时,可将反射率图像与姿态位置信息的数据备份上传至云端。这样通过在多光谱相机对反射率图像数据和POS位置姿态的压缩传输和扩展通道视频(如RGB、热红外)或指数视频压缩传输,可充分利用无人机图传链路带宽进行下行推送,减小了地面站APP端的处理压力,可直观查看过程影像,并能够更高效的实现更多类型的指数计算和相关影像的本地拼接、发布,保证了无人机多光谱遥感的在线化、实时性。
在具体实施时,在本发明实施例提供的上述无人机多光谱遥感数据采集和处理一体化***中,地面站APP 4,具体用于在无移动网络离线状态下,将POS位置姿态信息进行解算,将反射率图像进行本地拼接和指数计算,生成多种图层;在移动网络在线状态下,将缓存在本地的反射率图像和POS位置姿态信息上传至云端服务器进行数据备份。
图5示出了地面站APP显示的航线规划界面,其中01为飞机状态栏,02为航线编辑,03为离线地图,04为视频显示窗口(可展示指数视频、RGB视频或热红外视频),05为参数设置窗口。图6示出了地面站APP显示的航线任务界面,其中06为植被指数类型选择,07为快拼图层,08为相机状态栏。
在实际应用中,如图7所示,相机端可根据地面站软件指令配置,实现某选定的(如NDVI、GNDVI、NDRE等)植被指数视频输出;相机端若搭配RGB或热红外通道,可根据地面站软件指令配置,切换至相关的RGB或热红外视频输出;相机端可根据地面站软件指令配置,输出多光谱反射率图像压缩数据(如JPEG格式),并在Tag中添加POS位置姿态信息;相机端可根据地面站软件指令配置,输出多光谱通道的原始DN值图像数据(如TIFF格式)或其他扩展通道的数据(如RAW、JPEG格式);相机端可将原始数据存储在相机存储介质上。利用无人机图传,通过百兆网络接口,以UDP协议传输步骤101或步骤102产生的H.264格式压缩视频;利用无人机图传,通过百兆网络接口,以UDP协议传输步骤200产生的多光谱反射率图像压缩数据和POS位置姿态信息。地面站APP将步骤103推送的视频流在显示窗口直观显示;地面站APP可以在无移动网络离线状态下,将实时回传的POS位置姿态进行解算,将反射率图像进行本地拼接和指数计算,生成多种图层;地面站APP可以在移动网络在线状态下,将缓存在本地回传的反射率图像数据和POS位置姿态上传至云端服务器,用于数据备份和更复杂的扩展算法处理;地面站APP可以把原始数据可通过PC经网络端口拷贝至云端服务器。
本发明通过对数据格式的优化,满足图数传链路下行带宽要求,可在地面站软件端实时显示和在线拼接。通过该方法可实现多光谱植被指数视频、RGB或热红外视频的实时推送、多光谱反射率压缩图像和POS位置姿态在线回传,避免了大量数据拷贝过程,可在有无移动网络的条件下使用,一旦联网后还可以将缓存在本地的图像数据上云备份或作更深层次的算法处理,非常适用于对实时性要求高、不依赖网络条件的应用场景。
基于同一发明构思,本发明实施例还提供了一种无人机多光谱遥感数据采集和处理一体化***的运作方法,由于该方法解决问题的原理与前述一种无人机多光谱遥感数据采集和处理一体化***相似,因此该方法的实施可以参见无人机多光谱遥感数据采集和处理一体化***的实施,重复之处不再赘述。
在具体实施时,本发明实施例提供的无人机多光谱遥感数据采集和处理一体化***的运作方法,如图8所示,具体包括以下步骤:
S801、镜头模组接收地物反射光,获取多通道图像数据;
S802、MIPI桥接模块将不同的图像输出接口转换为MIPI-CSI接口;
S803、SOC处理器平台利用片上异构多核架构进行图像数据的采集、配准、辐射校正、反射率计算和植被指数计算;
S804、DLS接收环境光线测量光谱辐照度,并通过无人机的数传链路传输至SOC处理器平台,以进行环境光实时校正;
S805、串口通信模块传送地面站APP的配置指令,以切换镜头模组的工作模式和参数,与DLS数据交互使用,以捕获图像加载POS位置姿态信息;
S806、网络传输模块通过UDP协议将压缩视频、反射率图像与POS位置姿态信息由无人机的图传链路发送至地面站APP;
S807、存储介质写入所有通道的图像数据;
S808、地面站APP控制无人机和多光谱相机运作,进行多光谱指数视频显示切换、离线本地拼接、在线备份上云。
在本发明实施例提供的上述无人机多光谱遥感数据采集和处理一体化***的运作方法中,可以通过执行上述步骤,在无人机航线任务中实现光谱图像数据采集、存储、配准、辐射校正、反射率计算、植被指数计算和传输功能,避免了大量离线数据拷贝过程,减少了地面站APP端的处理压力,可实时查看过程影像,大幅提高了光谱遥感效率,改善了用户操作体验,适用于无人机多光谱遥感和探测等多种应用场景。需要说明的是,步骤S803至步骤S808不分先后顺序,在此不做限定。
在具体实施时,在本发明实施例提供的上述无人机多光谱遥感数据采集和处理一体化***的运作方法中,在执行步骤S801镜头模组接收地物反射光,获取多通道图像数据之前,还可以包括:SOC处理器平台识别镜头模组的ID编码,自动为MIPI桥接模块加载桥接芯片的相关固件,并使能MIPI桥接模块对应图像传感器的供电电源轨。
在具体实施时,在本发明实施例提供的上述无人机多光谱遥感数据采集和处理一体化***的运作方法中,步骤S808地面站APP进行离线本地拼接、在线备份上云,可以包括:地面站APP在无移动网络离线状态下,将POS位置姿态信息进行解算,将反射率图像进行本地拼接和指数计算,生成多种图层;在移动网络在线状态下,将缓存在本地的反射率图像和POS位置姿态信息上传至云端服务器进行数据备份。
关于上述各个步骤更加具体的工作过程可以参考前述实施例公开的相应内容,在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的方法而言,由于其与实施例公开的***相对应,所以描述的比较简单,相关之处参见***部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
综上,本发明实施例提供的一种无人机多光谱遥感数据采集和处理一体化***,包括:多光谱相机,与多光谱相机连接的具有开放图数传链路的无人机,以及分别与无人机连接的DLS和地面站APP;多光谱相机包括镜头模组,通过MIPI桥接模块与镜头模组连接的SOC处理器平台,分别与SOC处理器平台的输出端连接的串口通信模块、网络传输模块和存储介质;其中,镜头模组,用于接收地物反射光,获取多通道图像数据;MIPI桥接模块,用于将不同的图像输出接口转换为MIPI-CSI接口;SOC处理器平台,用于利用片上异构多核架构进行图像数据的采集、配准、辐射校正、反射率计算和植被指数计算;DLS,用于接收环境光线测量光谱辐照度,并通过无人机的数传链路传输至SOC处理器平台,以进行环境光实时校正;串口通信模块,用于传送地面站APP的配置指令,以切换镜头模组的工作模式和参数,还用于与DLS数据交互使用,以捕获图像加载POS位置姿态信息;网络传输模块,用于通过UDP协议将压缩视频、反射率图像与POS位置姿态信息由无人机的图传链路发送至地面站APP;存储介质,用于写入所有通道的图像数据;地面站APP,用于控制无人机和多光谱相机运作,还用于进行多光谱指数视频显示切换、离线本地拼接、在线备份上云。本发明通过优化多光谱相机的硬件架构,利用异构多核的SOC处理器平台实现光谱数据采集、处理的一体化和在线化,这样在无人机航线任务中可实现光谱图像数据采集、存储、配准、辐射校正、反射率计算、植被指数计算和传输功能,避免了大量离线数据拷贝过程,减少了地面站APP端的处理压力,可实时查看过程影像,大幅提高了光谱遥感效率,改善了用户操作体验,适用于无人机多光谱遥感和探测等多种应用场景。此外,本发明还针对无人机多光谱遥感数据采集和处理一体化***提供了相应的运作方法,进一步使得上述***更具有实用性,该方法具有相应的优点。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的无人机多光谱遥感数据采集和处理一体化***及方法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种无人机多光谱遥感数据采集和处理一体化***,其特征在于,包括:多光谱相机,与所述多光谱相机连接的具有开放图数传链路的无人机,以及分别与所述无人机连接的DLS和地面站APP;所述多光谱相机包括镜头模组,通过MIPI桥接模块与所述镜头模组连接的SOC处理器平台,分别与所述SOC处理器平台的输出端连接的串口通信模块、网络传输模块和存储介质;其中,
所述镜头模组,用于接收地物反射光,获取多通道图像数据;
所述MIPI桥接模块,用于将不同的图像输出接口转换为MIPI-CSI接口;
所述SOC处理器平台,用于利用片上异构多核架构进行图像数据的采集、配准、辐射校正、反射率计算和植被指数计算;
所述DLS,用于接收环境光线测量光谱辐照度,并通过所述无人机的数传链路传输至所述SOC处理器平台,以进行环境光实时校正;
所述串口通信模块,用于传送所述地面站APP的配置指令,以切换所述镜头模组的工作模式和参数,还用于与所述DLS数据交互使用,以捕获图像加载POS位置姿态信息;
所述网络传输模块,用于通过UDP协议将压缩视频、反射率图像与POS位置姿态信息由所述无人机的图传链路发送至所述地面站APP;
所述存储介质,用于写入所有通道的图像数据;
所述地面站APP,用于控制所述无人机和所述多光谱相机运作,还用于进行多光谱指数视频显示切换、离线本地拼接、在线备份上云。
2.根据权利要求1所述的无人机多光谱遥感数据采集和处理一体化***,其特征在于,所述镜头模组包括多光谱镜头模组、热红外镜头模组和RGB镜头模组;其中,
所述多光谱镜头模组包括低畸变光学镜头、内置特定波段窄带滤片和全色图像传感器;
所述热红外镜头模组包括低畸变光学镜头、内置特定波段窄带滤片和热红外图像传感器;
所述RGB镜头模组包括低畸变光学镜头、内置特定波段窄带滤片和和RGB图像传感器。
3.根据权利要求2所述的无人机多光谱遥感数据采集和处理一体化***,其特征在于,所述MIPI桥接模块包括电源变换电路和桥接芯片;
所述SOC处理器平台,还用于识别所述镜头模组的ID编码,自动为所述MIPI桥接模块加载所述桥接芯片的相关固件,并使能所述MIPI桥接模块对应所述图像传感器的供电电源轨。
4.根据权利要求3所述的无人机多光谱遥感数据采集和处理一体化***,其特征在于,所述SOC处理器平台包括:
GPU核,用于对图像数据进行实时配准,将各光谱通道图像空间配准到同一基准;
DSP核,用于将图像数据进行辐射校正,与预置在内存中的标准反射率比较后,将图像数据转换为光谱辐亮度,并进行反射率计算,将光谱辐亮度转换为地物反射率,以向下一级传输和片上植被指数计算;
ARM核,用于进行多光谱指数视频编码压缩、传输与存储;
M7核,用于进行外部触发、状态显示、IMU姿态解算。
5.根据权利要求4所述的无人机多光谱遥感数据采集和处理一体化***,其特征在于,所述SOC处理器平台是通过从模式的帧同步信号实现多个图像通道的同步触发。
6.根据权利要求5所述的无人机多光谱遥感数据采集和处理一体化***,其特征在于,所述网络传输模块包括网络传输视频模块和网络传输数据模块;其中,
所述网络传输视频模块,用于利用所述无人机的图传链路通过百兆网口以UDP协议传输经指数计算后得到的压缩视频;
所述网络传输数据模块,用于利用所述无人机的图传链路通过百兆网口以UDP协议传输多光谱反射率图像压缩数据和POS位置姿态信息。
7.根据权利要求6所述的无人机多光谱遥感数据采集和处理一体化***,其特征在于,所述地面站APP,具体用于在无移动网络离线状态下,将POS位置姿态信息进行解算,将反射率图像进行本地拼接和指数计算,生成多种图层;在移动网络在线状态下,将缓存在本地的反射率图像和POS位置姿态信息上传至云端服务器进行数据备份。
8.一种如权利要求1至7任一项所述无人机多光谱遥感数据采集和处理一体化***的运作方法,其特征在于,包括:
镜头模组接收地物反射光,获取多通道图像数据;
MIPI桥接模块将不同的图像输出接口转换为MIPI-CSI接口;
SOC处理器平台利用片上异构多核架构进行图像数据的采集、配准、辐射校正、反射率计算和植被指数计算;
DLS接收环境光线测量光谱辐照度,并通过无人机的数传链路传输至所述SOC处理器平台,以进行环境光实时校正;
串口通信模块传送地面站APP的配置指令,以切换所述镜头模组的工作模式和参数,与所述DLS数据交互使用,以捕获图像加载POS位置姿态信息;
网络传输模块通过UDP协议将压缩视频、反射率图像与POS位置姿态信息由所述无人机的图传链路发送至所述地面站APP;
存储介质写入所有通道的图像数据;
地面站APP控制所述无人机和多光谱相机运作,进行多光谱指数视频显示切换、离线本地拼接、在线备份上云。
9.根据权利要求8所述的无人机多光谱遥感数据采集和处理一体化***的运作方法,其特征在于,在所述镜头模组接收地物反射光,获取多通道图像数据之前,还包括:
所述SOC处理器平台识别所述镜头模组的ID编码,自动为所述MIPI桥接模块加载所述桥接芯片的相关固件,并使能所述MIPI桥接模块对应所述图像传感器的供电电源轨。
10.根据权利要求9所述的无人机多光谱遥感数据采集和处理一体化***的运作方法,其特征在于,所述地面站APP进行离线本地拼接、在线备份上云,包括:
所述地面站APP在无移动网络离线状态下,将POS位置姿态信息进行解算,将反射率图像进行本地拼接和指数计算,生成多种图层;在移动网络在线状态下,将缓存在本地的反射率图像和POS位置姿态信息上传至云端服务器进行数据备份。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110626134.4A CN113358581A (zh) | 2021-06-04 | 2021-06-04 | 一种无人机多光谱遥感数据采集和处理一体化***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110626134.4A CN113358581A (zh) | 2021-06-04 | 2021-06-04 | 一种无人机多光谱遥感数据采集和处理一体化***及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113358581A true CN113358581A (zh) | 2021-09-07 |
Family
ID=77532304
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110626134.4A Pending CN113358581A (zh) | 2021-06-04 | 2021-06-04 | 一种无人机多光谱遥感数据采集和处理一体化***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113358581A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114693756A (zh) * | 2022-06-01 | 2022-07-01 | 中国工程物理研究院流体物理研究所 | 一种适用于机载光谱成像***的实时图像处理装置及方法 |
CN117893391A (zh) * | 2024-03-14 | 2024-04-16 | 华中科技大学 | 面向小型无人机平台的多光谱图像智能处理***及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103217936A (zh) * | 2012-11-30 | 2013-07-24 | 环境保护部卫星环境应用中心 | 环保应急无人机集成*** |
US20170195641A1 (en) * | 2014-06-13 | 2017-07-06 | Beijing Research Center For Information Technology In Agriculture | Agricultural remote sensing system |
CN108429903A (zh) * | 2018-05-14 | 2018-08-21 | 安徽佳讯皖之翼科技有限公司 | 一种无人机飞行数据及图像传输*** |
CN110987183A (zh) * | 2019-12-27 | 2020-04-10 | 广州极飞科技有限公司 | 多光谱成像***及方法 |
CN111413279A (zh) * | 2020-03-31 | 2020-07-14 | 长光禹辰信息技术与装备(青岛)有限公司 | 多光谱探测的视频处理方法、装置及多光谱探测终端 |
CN111829957A (zh) * | 2020-07-07 | 2020-10-27 | 塔里木大学 | 基于无人机多光谱遥感反演冬小麦植株含水率***及方法 |
-
2021
- 2021-06-04 CN CN202110626134.4A patent/CN113358581A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103217936A (zh) * | 2012-11-30 | 2013-07-24 | 环境保护部卫星环境应用中心 | 环保应急无人机集成*** |
US20170195641A1 (en) * | 2014-06-13 | 2017-07-06 | Beijing Research Center For Information Technology In Agriculture | Agricultural remote sensing system |
CN108429903A (zh) * | 2018-05-14 | 2018-08-21 | 安徽佳讯皖之翼科技有限公司 | 一种无人机飞行数据及图像传输*** |
CN110987183A (zh) * | 2019-12-27 | 2020-04-10 | 广州极飞科技有限公司 | 多光谱成像***及方法 |
CN111413279A (zh) * | 2020-03-31 | 2020-07-14 | 长光禹辰信息技术与装备(青岛)有限公司 | 多光谱探测的视频处理方法、装置及多光谱探测终端 |
CN111829957A (zh) * | 2020-07-07 | 2020-10-27 | 塔里木大学 | 基于无人机多光谱遥感反演冬小麦植株含水率***及方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114693756A (zh) * | 2022-06-01 | 2022-07-01 | 中国工程物理研究院流体物理研究所 | 一种适用于机载光谱成像***的实时图像处理装置及方法 |
CN114693756B (zh) * | 2022-06-01 | 2022-08-23 | 中国工程物理研究院流体物理研究所 | 一种适用于机载光谱成像***的实时图像处理装置及方法 |
CN117893391A (zh) * | 2024-03-14 | 2024-04-16 | 华中科技大学 | 面向小型无人机平台的多光谱图像智能处理***及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN204795370U (zh) | 监测***及包含其的交通工具 | |
US10452951B2 (en) | Active visual attention models for computer vision tasks | |
US7149366B1 (en) | High-definition hyperspectral imaging system | |
CN113358581A (zh) | 一种无人机多光谱遥感数据采集和处理一体化***及方法 | |
CN106682592B (zh) | 一种基于神经网络方法的图像自动识别***及方法 | |
CN109443537B (zh) | 一种基于多次像面的光谱成像仪 | |
Leininger et al. | Autonomous real-time ground ubiquitous surveillance-imaging system (ARGUS-IS) | |
CN105338326B (zh) | 一种嵌入式高空间高光谱分辨率视频采集*** | |
CN111024231B (zh) | 一种新型自校正一体化无人机载高光谱遥感*** | |
Goldberg et al. | Stereo and IMU assisted visual odometry on an OMAP3530 for small robots | |
CN101839979A (zh) | 作物冠层植被指数测量方法及装置 | |
CN112672054B (zh) | 对焦方法、装置及电子设备 | |
CN110186566B (zh) | 基于光场相机多谱测温的二维真实温度场成像方法及*** | |
CN110869744A (zh) | 信息处理设备、信息处理方法、程序和信息处理*** | |
CN105865624A (zh) | 高光谱采集***的光谱提取方法及装置 | |
WO2022252201A1 (zh) | 一种无人机多光谱遥感数据采集和处理一体化***及方法 | |
CN113890977A (zh) | 机载视频处理装置及具有其的无人机 | |
CN103390272A (zh) | 实现多光谱伪彩色图像的配准融合方法 | |
Toet et al. | The TRICLOBS dynamic multi-band image data set for the development and evaluation of image fusion methods | |
CN112672021B (zh) | 语言识别方法、装置及电子设备 | |
CN114894177A (zh) | 同轴双视场星敏感器及其使用方法 | |
CN107219169A (zh) | 一种小型化凝视型机载光谱成像*** | |
CN114693756B (zh) | 一种适用于机载光谱成像***的实时图像处理装置及方法 | |
Jiang et al. | M2FNet: Multi-modal fusion network for object detection from visible and thermal infrared images | |
US20180330143A1 (en) | Digital imaging and analysis system for use in extreme weather conditions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210907 |
|
RJ01 | Rejection of invention patent application after publication |