CN117115498A - 用于识别气象图的方法和电子设备 - Google Patents

用于识别气象图的方法和电子设备 Download PDF

Info

Publication number
CN117115498A
CN117115498A CN202310247067.4A CN202310247067A CN117115498A CN 117115498 A CN117115498 A CN 117115498A CN 202310247067 A CN202310247067 A CN 202310247067A CN 117115498 A CN117115498 A CN 117115498A
Authority
CN
China
Prior art keywords
layer
image
weather
feature
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310247067.4A
Other languages
English (en)
Inventor
周佳
郑龙
周黎
李晶
何燕飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panzhihua Ecological Environment Information And Technology Assessment Service Center
Tsinghua Solution Information Technology Co ltd
Original Assignee
Panzhihua Ecological Environment Information And Technology Assessment Service Center
Tsinghua Solution Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panzhihua Ecological Environment Information And Technology Assessment Service Center, Tsinghua Solution Information Technology Co ltd filed Critical Panzhihua Ecological Environment Information And Technology Assessment Service Center
Priority to CN202310247067.4A priority Critical patent/CN117115498A/zh
Publication of CN117115498A publication Critical patent/CN117115498A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

用于识别气象图的方法和电子设备。该用于识别气象图的方法，包括：获取第一气象图；提取所述第一气象图的图像融合特征，以使已训练气象图识别模型根据所述图像融合特征对所述第一气象图进行预测识别，其中，所述图像融合特征由文本级特征和图像级特征拼接而成；输出所述第一气象图的气象类别。

Description

用于识别气象图的方法和电子设备
技术领域
本发明涉及气象图识别技术领域，尤其是涉及一种用于识别气象图的方法和电子设备。
背景技术
为了有效应对气象变化，提高灾害监测和预警能力，十分有必要对气象图进行识别。随着人工智能的发展，大量采用神经网络进行气象图识别分析的技术相继涌现，例如，现有技术采用opencv(跨平台计算机视觉和机器学***台)构建神经网络对气象图进行识别分类。
然而，tesseract OCR技术的文字识别率很低、且对中文识别支持不友好。tesseract OCR技术对于人为选取图片曲线角度轮廓、风向角度、气压大小和相似度等特征过于繁琐，且对于隐藏的特征无法准确挖掘；并且，针对相同的大小的输入层，前馈神经网络所需模型参数过多，导致最优参数难得到，即tesseract OCR本身模型存在缺点，且忽视了气象图局部相关性的特点。
因此，识别气象图快速输出高精度的气象类别是本发明要解决的问题。
发明内容
本发明的目的在于提供一种用于识别气象图的方法和电子设备，至少能够将输入的气象图进行识别，快速输出该气象图各区域(或指定区域)、各地理方位的高精度气象类别，对科学认识重污染形成机制，准确分析重污染期间污染物的空间分布和随时间变化的特征提供决策支撑。
根据本发明的一方面，至少一个实施例提供了一种用于识别气象图的方法，包括：获取第一气象图；提取所述第一气象图的图像融合特征，以使已训练气象图识别模型根据所述图像融合特征对所述第一气象图进行预测识别，其中，所述图像融合特征由文本级特征和图像级特征拼接而成；输出所述第一气象图的气象类别。
根据本发明的一方面，至少一个实施例还提供了一种用于训练气象图识别模型的方法，包括：获取气象图样本；如果所述气象图样本的数据均衡、且数据量大小满足要求，则提取所述气象图样本的训练融合特征，其中，所述训练融合特征由文本级特征和图像级特征拼接而成；基于所述训练融合特征对所述气象图识别模型进行训练，并通过categorical_crossentropy损失函数使得所述气象图识别模型趋于稳定。
根据本发明的另一方面，至少一个实施例还提供了一种电子设备，包括：处理器，适于实现各指令；以及存储器，适于存储多条指令，所述指令适于由处理器加载并执行：本发明上述用于识别气象图的方法、和/或用于训练气象图识别模型的方法。
根据本发明的另一方面，至少一个实施例还提供了一种用于识别气象图的***，包括：本发明上述电子设备。
根据本发明的另一方面，至少一个实施例还提供了一种计算机可读的非易失性存储介质，存储计算机程序指令，当所述计算机执行所述程序指令时，执行：本发明上述用于识别气象图的方法、和/或用于训练气象图识别模型的方法。
通过本发明上述实施例，以气象图为输入，提取该气象图的文本级特征和图像级特征，其中，采用EAST文本识别模型提取文本级特征(涉及文字和空间)，采用VGG16迁移学习模型提取图像级特征，进而对气象图进行预测分类。本发明集合了卷积神经网络对图像数据的一些优势(参数共享，局部连接，旋转不变性)，而非以单纯的曲线角度轮廓、风向角度、气压大小等固定指标角度来分析气象图。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的气象类别示意图；
图2是根据本发明实施例的应用环境示意图；
图3是根据本发明实施例的电子设备示意图；
图4是根据本发明实施例的用于训练气象图识别模型的方法流程图；
图5是根据本发明实施例的气象图识别模型示意图；
图6是根据本发明实施例的用于识别气象图的方法流程图；
图7是根据本发明实施例的所采集的气象图示意图；
图8是根据本发明实施例的EAST文本识别模型示意图；
图9是根据本发明实施例的VGG16迁移学习模型示意图；
图10是根据本发明实施例的气象图识别模型示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
气象图，也叫天气图，用于分析大气物理状况和特性图表的统称，根据不同要求和目的而有多种气象类别。一般而言，如图1所示，气象类别包括：东部高压、低压中心、低压倒槽、低压均压场、北部高压、西部高压、高压中心、高压均压场等八类，通过对重污染期间区域内的气象图类型进行回顾分析，可对污染物的扩散机制分析提供决策支撑，并对准确分析重污染预期间污染物的空间分布和随时间变化的特征提供决策支撑。
1、东部高压，处于闭合高压后部或副热带高压后部，地面吹偏南风，地面受高压后部偏南风控制，扩散条件一般；
2、低压中心，处于低压闭合等压线内部，气流上升，多阴雨天气，大气处于不稳定状态，易扩散；
3、低压倒槽，地面气象图等压线呈“A”字型的低压槽，槽线前部常吹偏南风，有上升运动，水汽丰沛可形成云和降水。槽线后部多吹偏北风，有下沉运动，天气常晴朗少云。气压场较弱，一般东部地区扩散条件较好，西部地区扩散条件较差；
4、低压均压场，处于明显的低压***的均压场中，大气稳定，不利于扩散；
5、北部高压，处于闭合高压底部区域，地面吹偏东风，扩散条件一般；
6、西部高压，处于大陆冷高压前部，地面吹北风，受冷空气影响,近地面转为偏北风控制,风力增强,湿度降低,大气扩散条件较好；
7、高压中心，处于高压脊线附近或副热带高压内部，天气多晴朗，风速较小，空气下沉，易形成逆温天气，不利于扩散；
8、高压均压场，一般地面处于较弱的天气***中，风速小于1m/s，大气稳定，不利于扩散；
目前，涌现大量采用神经网络对气象图进行识别分析的技术，例如，现有技术的气象图特征类型识别***包括：气象图上传模块、气象图识别模块、相似度匹配模块，用于对500hpa和surface_pres两种不同压力的气象图进行识别，其中，500hpa压力用于识别出气象图中的偏西气流、高空脊和副高天气，surface_pres压力用于识别出气象图中的高压、均压和台风天气。然而，这些现有技术气象图识别不仅占用大量计算资源，识别精度还较低，急需提供一种快速、高精度识别气象图的气象类别的方法。
在此基础上，本发明的至少一个实施例，提供了一种用于识别气象图的***，该***包括用于识别气象图的电子设备、和/或用于训练气象图识别模型的电子设备。该用于识别气象图的***可以包括如图2所示环境，该环境可以包括硬件环境和网络环境。上述硬件环境包括：用于识别气象图的电子设备、和/或用于训练气象图识别模型的电子设备，后续统称电子设备100；服务器200。该电子设备100可以通过相应的指令操作该服务器200，从而可以读取、改变、添加数据等。该电子设备100可以为一个或多个，也可以包括多个处理节点，该多个处理节点对外可以作为一个整体。
可选的，该电子设备100也可将获取到的第一气象图、和/或气象图样本发送至服务器200，以使服务器200执行本发明的用于识别气象图的方法、和/或用于训练气象图识别模型的方法。可选的，该电子设备100可以通过网络与服务器200连接。上述网络包括有线网络和无线网络。该无线网络包括但不限于：广域网、城域网、局域网或移动数据网络。典型地，该移动数据网络包括但不局限于：全球移动通信(GSM)网络、码分多址(CDMA)网络、宽带码分多址(WCDMA)网络、长期演进(LTE)通信网络、WIFI网络、ZigBee网络、基于蓝牙技术的网络等。不同类型的通信网络可能由不同的运营商运营。通信网络的类型不构成对本发明实施例的限制。
该电子设备100，如图3所示，包括：处理器301；以及存储器303，配置为存储计算机程序指令，计算机程序指令适于由处理器加载并执行本发明所研发的用于识别气象图的方法、和/或用于训练气象图识别模型的方法(后续将进行详细介绍)。可选的，本发明的至少一个实施例还提供了一种计算机可读的非易失性存储介质，存储计算机程序指令，当计算机执行程序指令时，执行本发明所研发的用于识别气象图的方法、和/或用于训练气象图识别模型的方法。
该处理器301可以为各种适用的处理器，例如实现为中央处理器、微处理器、嵌入处理器等形式，可以采用X86、ARM等架构。该存储器303可以为各种适用的存储装置，例如非易失性存储装置，包括但不限于磁存储装置、半导体存储装置、光存储装置等，并且可以布置为单个存储装置、存储装置阵列或分布式存储装置，本发明的实施例对这些不作限制。
本领域普通技术人员可以理解，上述电子设备100的结构仅为示意，其并不对设备的结构造成限定。例如，用于延时信号的设备还可包括比图3中所示更多或者更少的组件(如传输装置)。上述的传输装置用于经由一个网络接收或者发送数据。在一个实例中，传输装置为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
在上述运行环境下，本发明至少一个实施例提出了一种用于训练气象图识别模型的方法，该方法可以由处理器301加载并执行，经该方法形成的气象图识别模型至少能够快速、高精度的识别气象图的气象类别。如图4所示的用于训练气象图识别模型的方法的流程图，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，该方法可以包括如下步骤：
步骤S402，获取气象图样本；
步骤S404，如果气象图样本的数据均衡、且数据量大小满足要求，则提取气象图样本的训练融合特征，其中，训练融合特征由文本级特征和图像级特征拼接而成；
步骤S406，基于训练融合特征对气象图识别模型进行训练，并通过categorical_crossentropy损失函数使得气象图识别模型趋于稳定。
本训练方法旨在以气象图样本为输入，利用迁移学习和多模型特征融合思想搭建的网络模型，智能兼高效地判定出其气象图样本的气象类别，并立刻在页面显示各区域(或指定区域)的气象类别，并展示置信度，以此辅助监察人员，加快判断天气类别的速度。
在步骤S402中，获取气象图样本。可选的，本发明可以获取历史范围内的已经人工标注完成的气象图样本用于训练和预测，其中，人工标注气象图样本的气象类型后会将气象类型体现到文件名中，标注数据由同一批人一次性标注以做到统一化。
也就是说，本发明为保持气象图样本的数据一致性，利用GFS(全球预测***)数据通过ncl软件(气象和海洋绘图中常用的软件)自行绘制气象图样本，并将气象图样本由专业气象学经验的人员进行标注，存放到指定磁盘目录或ftp服务器中。上述存放到指定磁盘目录或ftp服务器中可以为：采集程序根据文件名识别气象类型，即可将采集到用于训练的气象图样本按照分类数据传输分发到不同的文件夹，上述数据传输过程可以是ftp、sftp、ssh等远程传输功能或硬件。
在步骤S404中，如果气象图样本的数据均衡、且数据量大小满足要求，则提取气象图样本的训练融合特征，其中，训练融合特征由文本级特征和图像级特征拼接而成。也就是说，本发明在对气象图样本进行融合特征提取之前，会对气象图样本进行数据清洗和标准化处理，后续主要利用数据清洗和标准化处理后的图片来提取训练融合特征。
鉴于气象场图片不同于其他物体分类，存在很多等压线，气象图中的地图边界等数据会对模型做成很大的影响，因此上述清洗可以为去除地图边界、图例、无效数字等干扰数据，在清洗时可借助PIL(Python Imaging Library，是Python平台一个功能非常强大而且简单易用的图像处理库)中的Image方法和putpiel方法读取气象图获取图片像素信息，去除地图边界、图例、无效数字、等干扰数据保存处理后的图片，帮助模型产生高质量输出。上述Image方法和putpiel方法本文将在后续阐述用于识别气象图的方法过程中详细阐述。
另外，从过往历史的气象图样本来看，各样本分布极不均衡，各个类别之间相差较大，如低压中心和高压均压场之间相差将60多倍，这种在小样本上的样本不均衡，会使得模型预测结果主要往大类别偏移，造成模型准确率不高，因此本发明的标准化处理可以为判断气象图样本的数据是否均衡、数据量大小是否满足要求。对于不均衡的气象图样本通过一系列随机变换来“扩充”它们，输出处理后的数据，例如，通过keras(是一个开源的Python深度学***移、缩放等方法对样本进行上采样，以使气象图样本的数据均衡并扩充数据集，这样后续训练模型将永远不会看到两次完全相同的图像，这有助于防止过拟合，并帮助训练模型更好的泛化。
因此，本发明在对气象图样本进行数据清洗和标准化处理之后，如果气象图样本的数据均衡、且数据量大小满足要求，则进而提取气象图样本的训练融合特征，其中，该训练融合特征由文本级特征feature2和图像级特征feature1拼接而成。例如，利用EAST文本识别模型提取气象图样本的文本级特征feature2；利用VGG16迁移学习模型提取气象图样本的图像级特征feature1；将文本级特征feature2与图像级特征feature1拼接合并后进行归一化处理，形成图像融合特征。
也就是说，本发明数据清洗和标准化处理后的气象图，利用开源算法EAST文本识别模型识别出气象图中的例如高压中心、低压中心、等压线的数值以及高压中心低压中心的位置等文字级特征，利用迁移学习调用VGG16迁移学习模型(其中，VGG16迁移学习模型全连接模块被去除)重新训练得到图像深层次的图像级特征，该迁移学习复用模型参数，不仅适当地提高训练效率，较少训练时间，而且还得到了高级的图像级特征。
本发明利用迁移学习调用VGG16迁移学习模型可使模型参数较少，模型可以直接在ImageNet数据集上进行训练，通过微调可以学习与我们这个数据集相关的特征，不用繁琐的构建复杂的前馈神经网络学习特征，就可较好的找到数据中的隐藏特征。需要说明的是，后续本发明的用于识别气象图的方法中，也可以复用EAST文本识别模型和VGG16迁移学习模型及其参数，并将在后续阐述用于识别气象图的方法过程中详细阐述本发明的EAST文本识别模型和VGG16迁移学习模型。
在步骤S406中，基于训练融合特征对气象图识别模型进行训练，并通过categorical_crossentropy损失函数使得气象图识别模型趋于稳定，其中训练结果存储于图像存储单元或存储器303中，该训练结果为预测的气象类别结果及其置信度。可选的，该气象图识别模型包括但不仅局限于输入层、第一全连接层、第一Dropout层、第二全连接层、第二Dropout层、输出层，对该气象图识别模型进行训练可以包括：训练融合特征依次经输入层、第一全连接层、第一Dropout层、第二全连接层、第二Dropout层，在输出层进行输出。例如，如图5所示，输入层如concat层，第一全连接层包括但不仅局限于1024个输出神经元(fc 1024)，第一Dropout层用于删掉一定比例如20％的输出神经元(Dropout 0.2)，第二全连接层包括但不仅局限于256个输出神经元(fc 256)，第二Dropout层用于删掉一定比例如20％的输出神经元(Dropout 0.2)，输出层包括但不仅局限于8个输出神经元(fc 8)。需要说明的是，上述输出神经元可根据实际需求灵活调整，例如，本文为识别8类气象类别因此将输出层的输出神经元数据设置为8，若要识别12类气象类别因此可将输出层的输出神经元数据设置为12。
也就是说，本发明将训练融合特征作为神经网络-气象图识别模型的输入，并经输入层、两个全连接层、两个Dropout层、Softmax层得到气象图的气象分类类别的概率分布。可选操作方法为：构建包括一个concat层(即输入层)、两个全连接层、两个dropout层和一个输出层的模型优化器为SGD(随机梯度下降算法)学习率为0.0001，损失函数为categorical_crossentropy神经网络训练模块。
通过本发明上述方式，即可训练出若干快速、高精度的气象图识别模型,该气象图识别模型采用EAST文本识别模型、VGG16迁移学习模型等组成一个多模型特征融合分类识别***。后续，本发明可以利用该已训练的气象图识别模型对任意气象图的气象类别(不局限于本文所列举的8类气象类别)进行识别分析，不仅能够快速输出气象图各区域(或指定区域)、各地理方位的高精度气象类别，还对科学认识重污染形成机制，准确分析重污染期间污染物的空间分布和随时间变化的特征提供决策支撑。
在上述运行环境下，本发明至少一个实施例提出了一种用于识别气象图的方法，该方法可以由处理器301加载并执行，该方法至少能够快速、高精度的识别气象图的气象类别。如图6所示的用于识别气象图的方法的流程图，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，该方法可以包括如下步骤：
步骤S602，获取第一气象图；
步骤S604，提取第一气象图的图像融合特征，以使已训练气象图识别模型根据图像融合特征对第一气象图进行预测识别，其中，图像融合特征由文本级特征和图像级特征拼接而成；
步骤S606，输出第一气象图的气象类别。
通过本发明上述实施例，以实时或非实时采集的气象图为输入，经已训练气象图识别模型输出该气象图的气象类别，模型简单、速度快、精度准确度高。
在步骤S602中，获取第一气象图。可选的，实时或非实时采集气象图；利用不同颜色去除气象图的干扰数据，形成第一气象图。上述采集气象图可以为：利用图像获取器件实时采集某省(或某区域)最新产生的气象图，气象图来源可以是从中央气象台、日本气象厅、韩国气象台等网站下载的海平面气压图，也可以利用GFS数据，通过ncl等软件自行绘制，如图7所示。上述利用不同颜色去除气象图的干扰数据可以为：利用去PIL(Python ImagingLibrary，Python平台一个功能非常强大而且简单易用的图像处理库)中的Image方法和putpiel方法去除干扰数据。
一般而言，气象图用不同颜色表示气压场、气压数据值、等压线、地图边界、图例、和/或无效数字，因此针对颜色不同利用PIL中的Image方法获取气象图颜色，并针对颜色不同设置阈值规则去除地图边界、图例、无效数字，方法如下：(1)使用Image的open方法读取原始的气象图素材；(2)获取气象图长和宽像素点个数并遍历所有长度i和宽度j的点的R、G、B值(取值范围为0-255)；(3)当每个点的R值处于G值正负10范围内，且G值处于B值正负10范围内且R值处于B值正10范围内时，利用Image中的putpixel将该点位赋值为白色(255,255,255)。
与此同时，对于噪点数据，利用Image方法和putpiel方法去噪方法如下：(1)将上述去除地图边界、图例、无效数字处理保存后的图片通过浮点算法Gray＝R*0.3+G*0.59+B*0.11方法将彩色图转换成灰度图；(2)将灰度图二值化，确定一个阈值115，大于阈值的像素表示为白色，小于阈值的像素表示为黑色，以此将图片的像素(灰度值)划分为两部分：0和1，例如0代表黑色，1代表白色；(3)利用孤立算法进行噪点去除，既对黑点周围的九宫格里的黑色点计数，如果黑色点少于两个则证明此点为孤立点，记录所有孤立点位置；(4)将得到的孤立点位置对上述处理后RGB图像利用Image中的putpixel将噪声点位赋值为白色(255,255,255)。由此可以去除气象图中的各种干扰数据。
在步骤S604中，提取第一气象图的图像融合特征，以使已训练气象图识别模型根据图像融合特征对第一气象图进行预测识别。上述提取第一气象图的图像融合特征可以包括：利用EAST文本识别模型提取第一气象图的文本级特征feature2；利用VGG16迁移学习模型提取第一气象图的图像级特征feature1；将文本级特征与图像级特征拼接合并后进行归一化处理，形成图像融合特征，即图像融合特征由文本级特征和图像级特征拼接而成，上述文本级特征包括用于表示文字和空间的第一特征、第二特征和第三特征。
本发明的EAST文本识别模型包括但不局限于特征提取层Feature extractorstem(PVANet)、特征融合层Feature-merging branch和输出层Output layer，利用EAST文本识别模型提取第一气象图的文本级特征可以包括：特征提取层通过通道数为64、128、256、384的4层卷积层输出第一层特征图f1、第二层特征图f2、第三层特征图f3、第四层特征图f4；特征融合层将f1上采样2倍与f2拼接形成第一层融合图h1，h1再上采样2倍与f3拼接形成第二层融合图h2，h2再上采样2倍与f4拼接形成第三层融合图h3，h3经卷积层形成第四层融合图h4，其中，h1、h2、h3、h4分别为第一气象图的1/4、1/8、1/16、1/32；输出层利用通道为1的1*1的卷积层输出第一特征，利用通道为5的1*1的卷积层输出第二特征，利用通道为8的1*1的卷积层输出第三特征，其中，第一特征代表每个像素点属于文本区域的概率，第二特征用来预测旋转矩形的文本特征，第三特征用来预测不规则四边形的文本。
如图8所示，第一气象图(如Immage)通过通道数为64、128、256、384的4层卷积层构成每层输出的特征图作为f1、f2、f3、f4。f1通过unpoll层上采样2倍与上层的f2拼接，然后经过一个1*1卷积层(特征降维)和一个3*3卷积层后，再通过unpoll层上采样2倍与f3拼接；然后再经过一个1*1卷积层(特征降维)和一个3*3卷积层后，再通过unpoll层上采样2倍与f4拼接，融合了四层特征图，各融合图大小分别为原图的1/4、1/8、1/16、1/32，具体公式为：
经特征融合层后的输出层有三部分：socre map、RBOX、QUAD。socre map，通过输出通道为1的1*1的卷积层，输出分数图，代表每个像素点属于文本区域的概率，即得到文本特征featureA；RBOX，由两个1*1卷积层产生5个通道，其中，4个通道分别表示从像素位置到矩形的顶部，右侧，底部，左侧边界的4个距离，1个通道表示边界框的旋转角度，这部分用来预测旋转矩形的文本特征featureB；QUAD，使用8个数字来表示从四边形的四个角顶点{pi|i∈{1,2,3,4}}到像素位置的坐标偏移。由于每个距离偏移包含两个数字(Δxi，Δyi)，因此输出包含8个通道，该部分可以预测不规则四边形的文本featureC。
也就是说，本发明利用EAST文本识别模型获取文本特征每个像素点属于文本区域的概率featureA、旋转矩形的文本特征featureB、不规则四边形的文本特征featureC，将该三个特征数据向量化后合并成文本空间特征feature2。由East文本识别模型结构可知，本发明EAST文本识别模型采用了FCN这样一种多尺度融合的方法来进行特征的抽取，用于后续的像素级的文本区域的预测；同时，文本识别模型能够对倾斜文本进行检测，由于考虑了方向信息，可以检测出各个方向的文本。本发明采用了FPN的思想来提取多尺度的融合特征，简单的说就是生成不同尺寸的图片，每张图片生成不同的特征，分别进行预测，最后统计所有尺寸的预测结果，可以使EAST文本检测器非常健壮，即使文本模糊、反射或部分遮挡，也能够定位文本。
本发明的VGG16迁移学***均池化层GlobalAveragePooling2D，输出图像级特征。
可选的，利用VGG16迁移学习模型提取第一气象图的图像级特征可以包括：第一气象图依次经第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块，生成图像级特征，其中，第一卷积模块包括但不局限于2层级联的64通道3*3卷积核，第二卷积模块包括但不局限于2层级联的128通道3*3卷积核，第三卷积模块包括但不局限于3层级联的256通道3*3卷积核，第四卷积模块包括但不局限于2层级联的512通道3*3卷积核，第五卷积模块包括但不局限于2层级联的512通道3*3卷积核。如图9所示：
例如，第一卷积模块包括两个卷积层，每个卷积层包含64个通道为3步长为1的3*3的卷积核，padding＝same填充，激活函数为ReLU，输出的尺寸大小为224*224*64；池化层为max pooling(最大化池化)，滤波器为2x2，步长为2，max pooling能够减小卷积层参数误差造成估计值均值的偏移，更多保留纹理信息；经第一卷积模块处理后图像尺寸减半，池化后的尺寸变为112*112*64。
例如，第二个卷积模块包括两个卷积层，每个卷积层包含128个通道为3步长为1的3*3的卷积核，padding＝same填充，激活函数为ReLU，输出的尺寸大小为112*112*128；池化层为max pooling(最大化池化)，滤波器为2*2，步长为2；经第二个卷积模块处理后图像尺寸减半，池化后的尺寸变为56*56*128。
例如，第三卷积模块包括三个卷积层，每个卷积层包含256个通道为3步长为1的3*3的卷积核，padding＝same填充，激活函数为ReLU，输出的尺寸大小为56*56*256；池化层为max pooling(最大化池化)，滤波器为2*2，步长为2；经第三个卷积模块处理后图像尺寸减半，池化后的尺寸变为28*28*256。
例如，第四卷积模块包括三个卷积层，每个卷积层包含512个通道为3步长为1的3*3的卷积核，padding＝same填充，激活函数为ReLU，输出的尺寸大小为28*28*512。池化层为max pooling(最大化池化)，滤波器为2*2，步长为2；经第四个卷积模块处理后图像尺寸减半，池化后的尺寸变为14*14*512。
例如，第五卷积模块包括三个卷积层，每个卷积层包含512个通道为3步长为1的3*3的卷积核，padding＝same填充，激活函数为ReLU，输出的尺寸大小为14*14*512；池化层为max pooling(最大化池化)，滤波器为2*2，步长为2；经第五个卷积模块处理后图像尺寸减半，池化后的尺寸变为7*7*512。
通过本发明上述方式，输入第一气象图，搭建去除全连接层的VGG16迁移学习模型并载入权重，在VGG16迁移学习模型的最后一层，添加GlobalAveragePooling2D输出图像级特征feature1。
本发明将文本级特征feature2与图像级特征feature1拼接合并后进行归一化处理，例如，利用concatenate方法将feature1和feature2合并后进行最大最小值归一化，形成图像融合特征，进而已训练气象图识别模型根据该图像融合特征对第一气象图进行预测识别。本发明用于训练气象图识别模型的方法中训练融合特征生成或训练方法，与此类似，相关内容可参照该部分内容，如图10所示。
在步骤S606中，输出第一气象图的气象类别，该气象类别包括东部高压、低压中心、低压倒槽、低压均压场、北部高压、西部高压、高压中心、和/或高压均压场。上述输出第一气象图的气象类别可以包括：显示气象图各区域(或指定区域)的气象类别及其置信度。
通过本发明上述方式，利用已训练的气象图识别模型对任意气象图的气象类别进行识别分析，不仅能够快速输出气象图各区域(或指定区域)、各地理方位的高精度气象类别，还对科学认识重污染形成机制，准确分析重污染期间污染物的空间分布和随时间变化的特征提供决策支撑。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.用于识别气象图的方法，其特征在于，包括：
获取第一气象图；
提取所述第一气象图的图像融合特征，以使已训练气象图识别模型根据所述图像融合特征对所述第一气象图进行预测识别，其中，所述图像融合特征由文本级特征和图像级特征拼接而成；
输出所述第一气象图的气象类别。
2.根据权利要求1所述的方法，其特征在于，获取第一气象图包括：
实时采集气象图，其中，所述气象图用不同颜色表示气压场、气压数据值、等压线、地图边界、图例、和/或无效数字；
利用所述不同颜色去除所述气象图的干扰数据，形成第一气象图，其中，所述干扰数据包括地图边界、图例、和/或无效数字。
3.根据权利要求1所述的方法，其特征在于，提取所述第一气象图的图像融合特征包括：
利用EAST文本识别模型提取所述第一气象图的文本级特征；
利用VGG16迁移学习模型提取所述第一气象图的图像级特征；
将所述文本级特征与图像级特征拼接合并后进行归一化处理，形成图像融合特征。
4.根据权利要求3所述的方法，所述EAST文本识别模型包括特征提取层、特征融合层和输出层，所述文本级特征包括第一特征、第二特征和第三特征，其特征在于，利用EAST文本识别模型提取所述第一气象图的文本级特征包括：
所述特征提取层通过通道数为64、128、256、384的4层卷积层输出第一层特征图f1、第二层特征图f2、第三层特征图f3、第四层特征图f4；
所述特征融合层将f1上采样2倍与f2拼接形成第一层融合图h1，h1再上采样2倍与f3拼接形成第二层融合图h2，h2再上采样2倍与f4拼接形成第三层融合图h3，h3经卷积层形成第四层融合图h4，其中，h1、h2、h3、h4分别为所述第一气象图的1/4、1/8、1/16、1/32；
所述输出层利用通道为1的1*1的卷积层输出第一特征，利用通道为5的1*1的卷积层输出第二特征，利用通道为8的1*1的卷积层输出第三特征，其中，所述第一特征代表每个像素点属于文本区域的概率，所述第二特征用来预测旋转矩形的文本特征，所述第三特征用来预测不规则四边形的文本。
5.根据权利要求3所述的方法，所述VGG16迁移学习模型包含第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块，其特征在于，利用VGG16迁移学习模型提取所述第一气象图的图像级特征包括：
第一气象图依次经第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块，生成图像级特征，其中，所述第一卷积模块包括2层级联的64通道3*3卷积核，所述第二卷积模块包括2层级联的128通道3*3卷积核，所述第三卷积模块包括3层级联的256通道3*3卷积核，所述第四卷积模块包括2层级联的512通道3*3卷积核，所述第五卷积模块包括2层级联的512通道3*3卷积核。
6.根据权利要求2所述的方法，所述气象类别包括东部高压、低压中心、低压倒槽、低压均压场、北部高压、西部高压、高压中心、和/或高压均压场，其特征在于，输出所述第一气象图的气象类别包括：
显示所述气象图各区域的气象类别及其置信度。
7.用于训练气象图识别模型的方法，其特征在于，包括：
获取气象图样本；
如果所述气象图样本的数据均衡、且数据量大小满足要求，则提取所述气象图样本的训练融合特征，其中，所述训练融合特征由文本级特征和图像级特征拼接而成；
基于所述训练融合特征对所述气象图识别模型进行训练，并通过categorical_crossentropy损失函数使得所述气象图识别模型趋于稳定。
8.根据权利要求7所述的方法，所述气象图识别模型包括输入层、第一全连接层、第一Dropout层、第二全连接层、第二Dropout层、输出层，其特征在于，基于所述训练融合特征对所述气象图识别模型进行训练包括：
所述训练融合特征依次经输入层、第一全连接层、第一Dropout层、第二全连接层、第二Dropout层，在所述输出层进行输出，其中，所述第一全连接层包括1024个输出神经元，所述第一Dropout层用于删掉20％的输出神经元，所述第二全连接层包括256个输出神经元，所述第二Dropout层用于删掉20％的输出神经元，所述输出层包括8个输出神经元。
9.根据权利要求7所述的方法，利用KerasImageDataGenerator对不均衡数据进行旋转、平移、缩放，以使所述气象图样本的数据均衡，其特征在于，在所述气象图样本的数据均衡、且数据量大小满足要求的情况下，提取所述气象图样本的训练融合特征包括：
利用EAST文本识别模型提取所述气象图样本的文本级特征；
利用VGG16迁移学习模型提取所述气象图样本的图像级特征；
将所述文本级特征与图像级特征拼接合并后进行归一化处理，形成图像融合特征。
10.一种电子设备，包括：
处理器，适于实现各指令；以及存储器，适于存储多条指令，所述指令适于由处理器加载并执行：如权利要求1-6任一所述的用于识别气象图的方法、和/或如权利要求7-9任一所述的用于训练气象图识别模型的方法。
CN202310247067.4A 2023-03-15 2023-03-15 用于识别气象图的方法和电子设备 Pending CN117115498A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310247067.4A CN117115498A (zh) 2023-03-15 2023-03-15 用于识别气象图的方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310247067.4A CN117115498A (zh) 2023-03-15 2023-03-15 用于识别气象图的方法和电子设备

Publications (1)

Publication Number Publication Date
CN117115498A true CN117115498A (zh) 2023-11-24

Family

ID=88804465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310247067.4A Pending CN117115498A (zh) 2023-03-15 2023-03-15 用于识别气象图的方法和电子设备

Country Status (1)

Country Link
CN (1) CN117115498A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688975A (zh) * 2024-02-02 2024-03-12 南京信息工程大学 一种基于演化规律挖掘的气象事件预测方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688975A (zh) * 2024-02-02 2024-03-12 南京信息工程大学 一种基于演化规律挖掘的气象事件预测方法及***
CN117688975B (zh) * 2024-02-02 2024-05-14 南京信息工程大学 一种基于演化规律挖掘的气象事件预测方法及***

Similar Documents

Publication Publication Date Title
CN111767801B (zh) 一种基于深度学习的遥感影像水域自动提取方法及***
CN110310259B (zh) 一种基于改进YOLOv3算法的木结瑕疵检测方法
CN109543754B (zh) 基于端对端深度学习的目标检测与语义分割的并行方法
CN111507271B (zh) 一种机载光电视频目标智能化检测与识别方法
US10346720B2 (en) Rotation variant object detection in Deep Learning
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN111368636B (zh) 目标分类方法、装置、计算机设备和存储介质
CN112464766A (zh) 一种农田地头自动识别方法及***
CN114022408A (zh) 基于多尺度卷积神经网络的遥感图像云检测方法
CN111626090A (zh) 一种基于深度帧差卷积神经网络的运动目标检测方法
CN111160389A (zh) 一种基于融合vgg的岩性识别方法
CN112950780A (zh) 一种基于遥感影像的网络地图智能生成方法及***
CN111814726B (zh) 一种探测机器人视觉目标检测方法
CN113139896A (zh) 基于超分辨重建的目标检测***及方法
CN112347805A (zh) 一种多目标二维码检测识别方法、***、装置及存储介质
CN117115498A (zh) 用于识别气象图的方法和电子设备
CN117011614A (zh) 基于深度学习的野山参艼芦体检测和品质等级分类方法及***
CN110688512A (zh) 基于ptgan区域差距与深度神经网络的行人图像搜索算法
CN114549970A (zh) 融合全局细粒度信息的夜间小目标果实检测方法及***
Khoshboresh-Masouleh et al. Robust building footprint extraction from big multi-sensor data using deep competition network
CN112418033A (zh) 基于mask rcnn神经网络的滑坡坡面分割识别方法
CN116543325A (zh) 基于无人机影像的农作物人工智能自动识别方法和***
CN115019044A (zh) 单株植物的分割方法、装置、终端设备和可读存储介质
CN114708591A (zh) 基于单字连接的文档图像中文字符检测方法
CN112036246B (zh) 遥感影像分类模型的构建方法，遥感影像分类方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination