CN112435447A - 一种基于深度学习的气象灾害预警方案生成方法 - Google Patents

一种基于深度学习的气象灾害预警方案生成方法 Download PDF

Info

Publication number
CN112435447A
CN112435447A CN202110108494.5A CN202110108494A CN112435447A CN 112435447 A CN112435447 A CN 112435447A CN 202110108494 A CN202110108494 A CN 202110108494A CN 112435447 A CN112435447 A CN 112435447A
Authority
CN
China
Prior art keywords
early warning
disaster early
meteorological disaster
warning scheme
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110108494.5A
Other languages
English (en)
Inventor
倪丽萍
陈星月
倪志伟
王琪
刘玉强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Manxing Data Technology Co ltd
Original Assignee
Nanjing Manxing Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Manxing Data Technology Co ltd filed Critical Nanjing Manxing Data Technology Co ltd
Priority to CN202110108494.5A priority Critical patent/CN112435447A/zh
Publication of CN112435447A publication Critical patent/CN112435447A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/10—Alarms for ensuring the safety of persons responsive to calamitous events, e.g. tornados or earthquakes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/186—Templates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Emergency Management (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Environmental & Geological Engineering (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于深度学习的气象灾害预警方案生成方法，其中，具体包括如下主要步骤：步骤1、获取气象灾害预警方案数据；步骤2、对气象灾害预警方案数据集进行预处理，构建带有命名实体识别标签的气象灾害预警方案样本数据集，本发明提出利用深度学习技术生成气象灾害预警方案，并抽取少量文本输入RoBERTa‑BiLSTM‑CRF模型中训练，直至收敛，再将剩余文本输入模型中进行气象灾害预警方案关键实体标记提取，并生成模板文本；步骤3、利用GPT‑2模型生成气象灾害预警方案，该模型可以生成大量气象灾害预警方案模板文本，使气象灾害预警方案数据库数据得以扩充，输出的预警方案准确性可得到有效提高。

Description

一种基于深度学习的气象灾害预警方案生成方法
技术领域
本发明属于人工智能中自然语言处理和气象信息服务领域，具体涉及一种基于深度学习的气象灾害预警方案生成方法。
背景技术
气象信息作为一种信息资源在社会经济的发展过程中显得尤为重要，同时，它也在关乎国计民生的农业、电力、水利、运输等行业起着至关重要的作用。近年来，受全球生态环境遭受重创的影响，我国各地面临着越来越频繁的气象灾害问题，如暴雨、冻雨、沙尘暴、冰雹等灾害性天气，不仅给人民生活带来了巨大的影响，严重者甚至威胁到了人民的生命安全，而且对于经济发展也有一定的影响作用。因此，如何充分利用已有的气象灾害应对方案辅助决策，有效预防及预警，最大程度消除气象灾害带来的影响成为一个亟待解决的问题。
目前，对于气象灾害预警方案的生成方式主要采用传统的文本信息过滤方法，构建气象灾害预警知识库，当气象灾害预警信息中出现知识库中已有的关键词时，预警信息会被自动拦截，转由人工审核，最终给出对应的气象灾害预警方案。这种方法虽然在一定程度上可以预防气象灾害，但是效率较低，往往需要浪费大量的人力，而且气象预警信息通常具有时效性，采用这种方法生成气象灾害预警方案有时会错过应对气象灾害的最佳时间，从而使得最终给出的预警方案丧失准确性。
近年来，随着深度学习技术的发展，通过深度学习模型自动地从文本中学习特征已成为一种趋势。借助深度学习的优势，预训练模型通过在大规模数据集上进行训练生成模型，减少了模型训练收敛时间。
因此能够利用预训练模型，根据气象灾害预警方案的特点，自动地生成相关预警方案，提高预警效率。
发明内容
本发明的目的在于提供一种基于深度学习的气象灾害预警方案生成方法，旨在通过深度学习技术，提高预警方案生成效率和准确率，根据预警方案信息提前决策，降低灾害损失。
为实现上述目的，本发明提供如下技术方案：一种基于深度学习的气象灾害预警方案生成方法，其中，具体包括如下步骤：
步骤1、获取气象灾害预警方案数据；
步骤2、对气象灾害预警方案数据集进行预处理，构建带有命名实体识别标签的气象灾害预警方案样本数据集；
步骤3、根据气象灾害预警方案数据集的标注结果，利用正则表达式将标签为BIO的标记提取出来，记为
Figure DEST_PATH_IMAGE002
，其中
Figure DEST_PATH_IMAGE004
为第
Figure DEST_PATH_IMAGE006
篇气象灾害预警方案中的第
Figure DEST_PATH_IMAGE008
种气象灾害预警方案实体；
步骤4、根据不同种类的实体标记，使用不同的实体类型标签对其进行替换，生成气象灾害预警方案模板文本；
步骤5、利用GPT-2模型，并根据每篇气象灾害预警方案的标题生成气象灾害预警方案。
优选的，所述步骤1具体包括如下步骤：
步骤1.1、根据中国天气网预警频道及国家突发事件预警信息发布网中气象信息，进行气象灾害预警方案爬取，且爬取的气象灾害预警方案集合记为
Figure DEST_PATH_IMAGE010
，其中，
Figure DEST_PATH_IMAGE012
是第
Figure 284573DEST_PATH_IMAGE006
篇气象灾害预警方案的标题，
Figure DEST_PATH_IMAGE014
是第
Figure 513298DEST_PATH_IMAGE006
篇气象灾害预警方案的内容。
优选的，所述步骤2具体包括如下步骤：
步骤2.1、对气象灾害预警方案数据集进行文本清洗，并人工对少量气象灾害预警方案进行BIO标注，生成小型气象灾害预警方案数据集，记为
Figure DEST_PATH_IMAGE016
，其中，
Figure DEST_PATH_IMAGE018
表示第
Figure 824193DEST_PATH_IMAGE006
篇预警方案，
Figure DEST_PATH_IMAGE020
，
Figure DEST_PATH_IMAGE022
表示小型气象灾害预警方案数据集样本的总条数；
步骤2.2、对所述数据集中所有气象灾害预警方案文本，进行根据预训练模型RoBERTa分词规则的预处理操作，得到相应气象灾害预警方案的分词集合，记为
Figure DEST_PATH_IMAGE024
，其中
Figure DEST_PATH_IMAGE026
表示第
Figure 360348DEST_PATH_IMAGE006
个标记，
Figure DEST_PATH_IMAGE028
，
Figure DEST_PATH_IMAGE030
表示所述气象灾害预警方案的标记总量；
步骤2.3、对预训练模型RoBERTa自带的字典中的每个词进行编号，作为相应词的索引位置key；
步骤2.4、利用各个词的索引位置key和所述分词集合
Figure 486305DEST_PATH_IMAGE024
进行索引处理，得到索引向量集合
Figure DEST_PATH_IMAGE032
，其中，
Figure DEST_PATH_IMAGE034
表示第
Figure 371084DEST_PATH_IMAGE006
个标记
Figure 106959DEST_PATH_IMAGE026
所对应的索引位置；
步骤2.5、将所述数据集中包含标记总数最多的气象灾害预警方案样本所对应的标记总数记为max，根据所述标记总数max将所述索引向量集合
Figure DEST_PATH_IMAGE036
用“0”补齐，使得补齐后的索引向量集合为
Figure DEST_PATH_IMAGE038
；
步骤2.6、利用预训练模型RoBERTa对所述补齐后的索引向量集合进行文本表征，得到的文本表征矩阵记为
Figure DEST_PATH_IMAGE040
，
Figure DEST_PATH_IMAGE042
，
Figure DEST_PATH_IMAGE044
，其中，
Figure 181225DEST_PATH_IMAGE022
为数据集的条数，
Figure DEST_PATH_IMAGE046
为文本表征的维度，
Figure DEST_PATH_IMAGE048
表示第
Figure 179267DEST_PATH_IMAGE006
个索引向量经过预训练模型RoBERTa后的文本表征矩阵；
步骤2.7、利用BiLSTM模型获取输入向量长距离的语义依赖，将通过BiLSTM模型提取到上下文语义的向量记为
Figure DEST_PATH_IMAGE050
，
Figure DEST_PATH_IMAGE052
为
Figure 844734DEST_PATH_IMAGE048
通过BiLSTM模型得到的向量；
步骤2.8、将
Figure DEST_PATH_IMAGE054
输入全连接层，得到每个标记所对应的标签，记为
Figure DEST_PATH_IMAGE056
，其中，
Figure DEST_PATH_IMAGE058
为标记
Figure 864643DEST_PATH_IMAGE026
所对应的标签；
步骤2.9、利用CRF模型克服标签偏差，将
Figure DEST_PATH_IMAGE060
输入CRF模型后得到调整后的标签，为，
Figure DEST_PATH_IMAGE062
，其中
Figure DEST_PATH_IMAGE064
为标记
Figure 506715DEST_PATH_IMAGE026
所对应调整后的标签。
步骤2.10、根据步骤2.6至2.9生成的RoBERTa-BiLSTM-CRF模型，对小型气象灾害预警方案数据集进行训练，直至模型收敛；
随后利用训练好的模型对气象灾害预警方案数据集进行标注，构建带有命名实体识别标签的气象灾害预警方案样本数据集。
优选的，所述步骤5具体包括如下步骤：
步骤5.1、 将每篇气象灾害预警方案的标题拼接到模板文本的开头，并生成补齐“0”后的索引向量集合，记为
Figure DEST_PATH_IMAGE066
，其中，
Figure DEST_PATH_IMAGE068
为第
Figure 577570DEST_PATH_IMAGE006
个标记
Figure 741835DEST_PATH_IMAGE026
所对应的索引位置；
步骤5.2、利用GPT-2模型对
Figure DEST_PATH_IMAGE070
进行训练，直至收敛；
步骤5.3、输入气象灾害信息标题，生成气象灾害预警方案，并根据文中的实体类型标签依据实际情况进行修正。
本发明的技术效果和优点，该基于深度学习的气象灾害预警方案生成方法：
1、提出利用深度学习技术生成气象灾害预警方案，将预警方案进行文本预处理后，抽取少量文本，输入RoBERTa-BiLSTM-CRF模型中训练，直至收敛，再将剩余文本输入模型中进行气象灾害预警方案关键实体标记，最后利用正则表达式生成模板。该模型可以生成大量气象灾害预警方案模板文本，使气象灾害预警方案数据库数据得以扩充，输出的数据准确性可得到有效提高；
2、在文本输出方面，本发明提出利用GPT模型，该语言模型具有强大的文本生成能力，能够有效提高文本上下文的连贯性和情感，提高预警方案准确度；
3、通过预警方案模板的生成，不仅有效提高了预警方案生成速率，而且能够不断扩充数据库，增加数据量，来提高方案准确率，同时能够根据给出的预警方案提前进行决策，将灾害造成损失降到最低。
附图说明
图1为本发明整体流程图。
具体实施方式
下面将结合本发明实施例中的附图1，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了如图1中所示的一种基于深度学习的气象灾害预警方案生成方法，其特征在于，具体包括如下步骤：
步骤1、获取气象灾害预警方案数据。
所述步骤1具体包括步骤1.1、根据中国天气网预警频道及国家突发事件预警信息发布网中气象信息，进行气象灾害预警方案爬取，且爬取的气象灾害预警方案集合记为
Figure 311357DEST_PATH_IMAGE010
，其中，
Figure 320901DEST_PATH_IMAGE012
是第
Figure 807115DEST_PATH_IMAGE006
篇气象灾害预警方案的标题，
Figure 611123DEST_PATH_IMAGE014
是第
Figure 199099DEST_PATH_IMAGE006
篇气象灾害预警方案的内容。
步骤2、对气象灾害预警方案数据集进行预处理，构建带有命名实体识别标签（BIO标签）的气象灾害预警方案样本数据集。
所述步骤2具体包括步骤2.1、对气象灾害预警方案数据集进行文本清洗，并人工对少量气象灾害预警方案进行BIO标注，生成小型气象灾害预警方案数据集，记为
Figure 12334DEST_PATH_IMAGE016
，其中，
Figure 979153DEST_PATH_IMAGE018
表示第
Figure 360587DEST_PATH_IMAGE006
篇预警方案，
Figure 45646DEST_PATH_IMAGE020
，
Figure 396993DEST_PATH_IMAGE022
表示小型气象灾害预警方案数据集样本的总条数。
步骤2.2、对所述数据集中所有气象灾害预警方案文本，根据预训练模型RoBERTa分词规则进行预处理操作，得到相应气象灾害预警方案的分词集合，记为
Figure 608532DEST_PATH_IMAGE024
，其中
Figure 19921DEST_PATH_IMAGE026
表示第
Figure 192277DEST_PATH_IMAGE006
个标记，
Figure 455637DEST_PATH_IMAGE028
，
Figure 662627DEST_PATH_IMAGE030
表示所述气象灾害预警方案的标记总量。
步骤2.3、对预训练模型RoBERTa自带的字典中的每个词进行编号，作为相应词的索引位置key。
步骤2.4、利用各个词的索引位置key和所述分词集合
Figure 510497DEST_PATH_IMAGE024
进行索引处理，得到索引向量集合
Figure 29203DEST_PATH_IMAGE032
，其中，
Figure 987932DEST_PATH_IMAGE034
表示第
Figure 393637DEST_PATH_IMAGE006
个标记
Figure 412408DEST_PATH_IMAGE026
所对应的索引位置。
步骤2.5、将所述数据集中包含标记总数最多的气象灾害预警方案样本所对应的标记总数记为max，根据所述标记总数max将所述索引向量集合
Figure 559356DEST_PATH_IMAGE036
用“0”补齐，使得补齐后的索引向量集合为
Figure 180830DEST_PATH_IMAGE038
。
步骤2.6、利用预训练模型RoBERTa对所述补齐后的索引向量集合进行文本表征，得到的文本表征矩阵记为
Figure 96834DEST_PATH_IMAGE040
，
Figure 755348DEST_PATH_IMAGE042
，
Figure 769352DEST_PATH_IMAGE044
，其中，
Figure 804305DEST_PATH_IMAGE022
为数据集的条数，
Figure 840394DEST_PATH_IMAGE046
为文本表征的维度，
Figure 60022DEST_PATH_IMAGE048
表示第
Figure 915983DEST_PATH_IMAGE006
个索引向量经过预训练模型RoBERTa后的文本表征矩阵。
所述步骤2.6具体包括步骤2.6.1、利用预训练模型RoBERTa输入层对补齐后的索引向量集合生成三个向量，分别是
Figure DEST_PATH_IMAGE072
、句间分割向量
Figure DEST_PATH_IMAGE074
、位置向量
Figure DEST_PATH_IMAGE076
，并利用式（1）获得输入向量：
Figure DEST_PATH_IMAGE078
式（1）。
步骤2.6.2、输入向量
Figure DEST_PATH_IMAGE080
，并通过预训练模型RoBERTa的一个自注意力头生成
Figure DEST_PATH_IMAGE082
三个向量，并利用式（2）获得不同位置的信息：
Figure DEST_PATH_IMAGE084
式（2）。
步骤2.6.3、通过预训练模型RoBERTa的多头自注意力层，并利用式（3）获取输入序列多个不同位置的信息：
Figure DEST_PATH_IMAGE086
式（3），式（3）中，
Figure DEST_PATH_IMAGE088
。
步骤2.6.4、预训练模型RoBERTa的多头自注意力层的输出利用式（4）进行映射：
Figure DEST_PATH_IMAGE090
，式（4）。
步骤2.6.5、重复12次步骤2.6.2-2.6.4，得到文本表征，记为
Figure DEST_PATH_IMAGE092
，
Figure DEST_PATH_IMAGE094
，
Figure 675997DEST_PATH_IMAGE044
，
Figure DEST_PATH_IMAGE096
为数据集的条数，
Figure 878178DEST_PATH_IMAGE046
为文本表征的维度，一般为768维，其中，
Figure 409653DEST_PATH_IMAGE048
表示第
Figure 752910DEST_PATH_IMAGE006
个索引向量经过预训练模型RoBERTa后的文本表征矩阵。
步骤2.7、利用BiLSTM模型获取输入向量长距离的语义依赖，利用式（5）预测时刻
Figure 519877DEST_PATH_IMAGE006
下的状态
Figure 264980DEST_PATH_IMAGE052
：
Figure DEST_PATH_IMAGE098
，式（5），并将通过BiLSTM模型提取到上下文语义的向量记为
Figure 311564DEST_PATH_IMAGE050
，其中，
Figure 142117DEST_PATH_IMAGE052
为
Figure 447196DEST_PATH_IMAGE048
通过BiLSTM模型得到的向量。
步骤2.8、将
Figure 46805DEST_PATH_IMAGE054
输入全连接层，得到每个标记所对应的标签，记为
Figure 920083DEST_PATH_IMAGE056
，其中，
Figure 346254DEST_PATH_IMAGE058
为标记
Figure 330390DEST_PATH_IMAGE026
所对应的标签；
步骤2.9、利用CRF模型克服标签偏差问题，将
Figure 784506DEST_PATH_IMAGE060
输入CRF模型后，利用式（6）计算输入序列各个标签的得分：
Figure DEST_PATH_IMAGE100
，式（6），其中，
Figure DEST_PATH_IMAGE102
是转移概率矩阵，
Figure DEST_PATH_IMAGE104
是标签
Figure 500789DEST_PATH_IMAGE006
到标签
Figure 305934DEST_PATH_IMAGE008
的转换分数。
并且在训练时，利用式（7）进行优化：
Figure DEST_PATH_IMAGE106
，式（7），得到调整后的标签，为，
Figure 687237DEST_PATH_IMAGE062
，其中
Figure 261437DEST_PATH_IMAGE064
为标记
Figure 578981DEST_PATH_IMAGE026
所对应调整后的标签。
步骤2.10、根据步骤2.6至2.9生成的RoBERTa-BiLSTM-CRF模型，对小型气象灾害预警方案数据集进行训练，直至模型收敛；
随后利用训练好的模型对气象灾害预警方案数据集进行标注，构建带有命名实体识别标签的气象灾害预警方案样本数据集。
步骤3、根据气象灾害预警方案数据集的标注结果，利用正则表达式将标签为BIO的标记提取出来，记为
Figure 605843DEST_PATH_IMAGE002
，其中
Figure 197361DEST_PATH_IMAGE004
为第
Figure 485123DEST_PATH_IMAGE006
篇气象灾害预警方案中的第
Figure 871105DEST_PATH_IMAGE008
种气象灾害预警方案实体。
步骤4、根据不同种类的实体标签，使用不同的实体类型标签对其进行替换，生成气象灾害预警方案模板文本。
步骤5、利用GPT-2模型较强的生成能力，并根据每篇气象灾害预警方案的标题生成气象灾害预警方案。
所述步骤5具体包括步骤5.1、将每篇气象灾害预警方案的标题（如某地区发布道路结冰黄色预警）拼接到模板文本的开头，并根据步骤2.4至2.5，生成补齐“0”后的索引向量集合，记为
Figure 385263DEST_PATH_IMAGE066
，其中，
Figure 390259DEST_PATH_IMAGE068
为第
Figure 407894DEST_PATH_IMAGE006
个标记
Figure 230356DEST_PATH_IMAGE026
所对应的索引位置。
步骤5.2、利用GPT-2模型较强的生成能力，对
Figure 356444DEST_PATH_IMAGE070
进行训练，直至收敛。
步骤5.3、输入气象灾害预警信息标题后，生成气象灾害预警方案，并根据文中的实体类型标签依据实际情况进行修正。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于深度学习的气象灾害预警方案生成方法，其特征在于，具体包括如下步骤：
步骤1、获取气象灾害预警方案数据；
步骤2、对气象灾害预警方案数据集进行预处理，构建带有命名实体识别标签的气象灾害预警方案样本数据集；
步骤3、根据气象灾害预警方案数据集的标注结果，利用正则表达式将标签为BIO的标记提取出来，记为
Figure 542477DEST_PATH_IMAGE001
，其中
Figure 33239DEST_PATH_IMAGE002
为第
Figure 666346DEST_PATH_IMAGE003
篇气象灾害预警方案中的第
Figure 376813DEST_PATH_IMAGE004
种气象灾害预警方案实体；
步骤4、根据不同种类的实体标记，使用不同的实体类型标签对其进行替换，生成气象灾害预警方案模板文本；
步骤5、利用GPT-2模型，并根据每篇气象灾害信息标题生成气象灾害预警方案。
2.根据权利要求1所述的一种基于深度学习的气象灾害预警方案生成方法，其特征在于，所述步骤1具体包括如下步骤：
步骤1.1、根据中国天气网预警频道及国家突发事件预警信息发布网中气象信息，进行气象灾害预警方案爬取，且爬取的气象灾害预警方案集合记为
Figure 183095DEST_PATH_IMAGE005
，其中，
Figure 29828DEST_PATH_IMAGE006
是第
Figure 99415DEST_PATH_IMAGE003
篇气象灾害预警方案的标题，
Figure 766020DEST_PATH_IMAGE007
是第
Figure 579255DEST_PATH_IMAGE003
篇气象灾害预警方案的内容。
3.根据权利要求1所述的一种基于深度学习的气象灾害预警方案生成方法，其特征在于，所述步骤2具体包括如下步骤：
步骤2.1、对气象灾害预警方案数据集进行文本清洗，并人工对少量气象灾害预警方案进行BIO标注，生成小型气象灾害预警方案数据集，记为
Figure 280495DEST_PATH_IMAGE008
，其中，
Figure 317721DEST_PATH_IMAGE009
表示第
Figure 235736DEST_PATH_IMAGE003
篇预警方案，
Figure 321504DEST_PATH_IMAGE010
，
Figure 142830DEST_PATH_IMAGE011
表示小型气象灾害预警方案数据集样本的总条数；
步骤2.2、对所述数据集中所有气象灾害预警方案文本，进行根据预训练模型RoBERTa分词规则的预处理操作，得到相应气象灾害预警方案的分词集合，记为
Figure 350957DEST_PATH_IMAGE012
，其中
Figure 257733DEST_PATH_IMAGE013
表示第
Figure 147192DEST_PATH_IMAGE003
个标记，
Figure 823024DEST_PATH_IMAGE014
，
Figure 202052DEST_PATH_IMAGE015
表示所述气象灾害预警方案的标记总量；
步骤2.3、对预训练模型RoBERTa自带的字典中的每个词进行编号，作为相应词的索引位置key；
步骤2.4、利用各个词的索引位置key和所述分词集合
Figure 330545DEST_PATH_IMAGE012
进行索引处理，得到索引向量集合
Figure 23695DEST_PATH_IMAGE016
，其中，
Figure 616350DEST_PATH_IMAGE017
表示第
Figure 608358DEST_PATH_IMAGE003
个标记
Figure 224147DEST_PATH_IMAGE013
所对应的索引位置；
步骤2.5、将所述数据集中包含标记总数最多的气象灾害预警方案样本所对应的标记总数记为max，根据所述标记总数max将所述索引向量集合
Figure 720988DEST_PATH_IMAGE018
用“0”补齐，使得补齐后的索引向量集合为
Figure 168149DEST_PATH_IMAGE019
；
步骤2.6、利用预训练模型RoBERTa对所述补齐后的索引向量集合进行文本表征，得到的文本表征矩阵记为
Figure 92243DEST_PATH_IMAGE020
，
Figure 929749DEST_PATH_IMAGE021
，
Figure 964701DEST_PATH_IMAGE022
，其中，
Figure 531949DEST_PATH_IMAGE011
为数据集的条数，
Figure 626944DEST_PATH_IMAGE023
为文本表征的维度，
Figure 951746DEST_PATH_IMAGE024
表示第
Figure 288924DEST_PATH_IMAGE003
个索引向量经过预训练模型RoBERTa后的文本表征矩阵；
步骤2.7、利用BiLSTM模型获取输入向量长距离的语义依赖，将通过BiLSTM模型提取到上下文语义的向量记为
Figure 710678DEST_PATH_IMAGE025
，
Figure 710995DEST_PATH_IMAGE026
为
Figure 788673DEST_PATH_IMAGE024
通过BiLSTM模型得到的向量；
步骤2.8、将
Figure 165427DEST_PATH_IMAGE027
输入全连接层，得到每个标记所对应的标签，记为
Figure 441688DEST_PATH_IMAGE028
，其中，
Figure 878485DEST_PATH_IMAGE029
为标记
Figure 177880DEST_PATH_IMAGE013
所对应的标签；
步骤2.9、利用CRF模型克服标签偏差，将
Figure 358325DEST_PATH_IMAGE030
输入CRF模型后得到调整后的标签，为，
Figure 489092DEST_PATH_IMAGE031
，其中
Figure 96791DEST_PATH_IMAGE032
为标记
Figure 382017DEST_PATH_IMAGE013
所对应调整后的标签；
步骤2.10、根据步骤2.6至2.9生成的RoBERTa-BiLSTM-CRF模型，对小型气象灾害预警方案数据集进行训练，直至模型收敛；随后利用训练好的模型对气象灾害预警方案数据集进行标注，构建带有命名实体识别标签的气象灾害预警方案样本数据集。
4.根据权利要求1所述的一种基于深度学习的气象灾害预警方案生成方法，其特征在于，所述步骤5具体包括如下步骤：
步骤5.1、将每篇气象灾害预警方案的标题拼接到模板文本的开头，并生成补齐“0”后的索引向量集合，记为
Figure 366153DEST_PATH_IMAGE033
，其中，
Figure 351427DEST_PATH_IMAGE034
为第
Figure 864448DEST_PATH_IMAGE003
个标记
Figure 404013DEST_PATH_IMAGE013
所对应的索引位置；
步骤5.2、利用GPT-2模型对
Figure 722999DEST_PATH_IMAGE035
进行训练，直至收敛；
步骤5.3、输入气象灾害信息标题，生成气象灾害预警方案，并根据文中的实体类型标签依据实际情况进行修正。
CN202110108494.5A 2021-01-27 2021-01-27 一种基于深度学习的气象灾害预警方案生成方法 Pending CN112435447A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110108494.5A CN112435447A (zh) 2021-01-27 2021-01-27 一种基于深度学习的气象灾害预警方案生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110108494.5A CN112435447A (zh) 2021-01-27 2021-01-27 一种基于深度学习的气象灾害预警方案生成方法

Publications (1)

Publication Number Publication Date
CN112435447A true CN112435447A (zh) 2021-03-02

Family

ID=74697322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110108494.5A Pending CN112435447A (zh) 2021-01-27 2021-01-27 一种基于深度学习的气象灾害预警方案生成方法

Country Status (1)

Country Link
CN (1) CN112435447A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254585A (zh) * 2021-05-31 2021-08-13 冠传网络科技(南京)有限公司 一种推文文本的优化生成方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100299133A1 (en) * 2009-05-19 2010-11-25 Tata Consultancy Services Limited System and method for rapid prototyping of existing speech recognition solutions in different languages
CN107622050A (zh) * 2017-09-14 2018-01-23 武汉烽火普天信息技术有限公司 基于Bi‑LSTM和CRF的文本序列标注***及方法
CN108197294A (zh) * 2018-01-22 2018-06-22 桂林电子科技大学 一种基于深度学习的文本自动生成方法
CN109948159A (zh) * 2019-03-15 2019-06-28 合肥讯飞数码科技有限公司 一种文本数据生成方法、装置、设备及可读存储介质
CN111259650A (zh) * 2020-01-20 2020-06-09 浙江工业大学 基于类标序列生成式对抗模型的文本自动生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100299133A1 (en) * 2009-05-19 2010-11-25 Tata Consultancy Services Limited System and method for rapid prototyping of existing speech recognition solutions in different languages
CN107622050A (zh) * 2017-09-14 2018-01-23 武汉烽火普天信息技术有限公司 基于Bi‑LSTM和CRF的文本序列标注***及方法
CN108197294A (zh) * 2018-01-22 2018-06-22 桂林电子科技大学 一种基于深度学习的文本自动生成方法
CN109948159A (zh) * 2019-03-15 2019-06-28 合肥讯飞数码科技有限公司 一种文本数据生成方法、装置、设备及可读存储介质
CN111259650A (zh) * 2020-01-20 2020-06-09 浙江工业大学 基于类标序列生成式对抗模型的文本自动生成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254585A (zh) * 2021-05-31 2021-08-13 冠传网络科技(南京)有限公司 一种推文文本的优化生成方法及电子设备

Similar Documents

Publication Publication Date Title
CN107220237A (zh) 一种基于卷积神经网络的企业实体关系抽取的方法
CN111931506B (zh) 一种基于图信息增强的实体关系抽取方法
CN109857990A (zh) 一种基于文档结构与深度学习的金融类公告信息抽取方法
CN110532554A (zh) 一种中文摘要生成方法、***及存储介质
CN108664474B (zh) 一种基于深度学习的简历解析方法
CN106294593A (zh) 结合从句级远程监督和半监督集成学习的关系抽取方法
CN109255027B (zh) 一种电商评论情感分析降噪的方法和装置
CN105844424A (zh) 基于网络评论的产品质量问题发现及风险评估方法
CN107885760A (zh) 一种基于多种语义的知识图谱表示学习方法
CN102662923A (zh) 一种基于机器学习的本体实例学习方法
CN113033183B (zh) 一种基于统计量与相似性的网络新词发现方法及***
CN110598219A (zh) 一种面向豆瓣网电影评论的情感分析方法
CN106257455A (zh) 一种基于依存关系模板抽取观点评价对象的Bootstrapping算法
CN114065738B (zh) 基于多任务学习的中文拼写纠错方法
CN109657039A (zh) 一种基于双层BiLSTM-CRF的工作履历信息抽取方法
CN103473217A (zh) 从文本中抽取关键词的方法和装置
CN116245107B (zh) 电力审计文本实体识别方法、装置、设备及存储介质
CN113051922A (zh) 一种基于深度学习的三元组抽取方法及***
CN108549635A (zh) 一种专利文献领域术语抽取方法
CN113468304A (zh) 一种基于知识图谱的船舶靠离泊知识问答查询***的构建方法
CN113869055A (zh) 基于深度学习的电网项目特征属性识别方法
CN112435447A (zh) 一种基于深度学习的气象灾害预警方案生成方法
CN117235211B (zh) 一种知识问答方法及***
CN117313849B (zh) 一种基于多源异构数据融合技术的能源行业知识图谱构建方法及装置
CN112036179B (zh) 基于文本分类与语义框架的电力预案信息抽取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210302