CN114637853A - 突发事件的分级方法及其模型训练方法、装置 - Google Patents
突发事件的分级方法及其模型训练方法、装置 Download PDFInfo
- Publication number
- CN114637853A CN114637853A CN202210531628.9A CN202210531628A CN114637853A CN 114637853 A CN114637853 A CN 114637853A CN 202210531628 A CN202210531628 A CN 202210531628A CN 114637853 A CN114637853 A CN 114637853A
- Authority
- CN
- China
- Prior art keywords
- data
- emergency
- model
- grading
- natural disaster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 238000012549 training Methods 0.000 title claims abstract description 88
- 239000013598 vector Substances 0.000 claims description 92
- 238000000605 extraction Methods 0.000 claims description 62
- 238000003062 neural network model Methods 0.000 claims description 53
- 230000004927 fusion Effects 0.000 claims description 52
- 230000008569 process Effects 0.000 claims description 27
- 238000013145 classification model Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 210000002569 neuron Anatomy 0.000 claims description 9
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 238000013075 data extraction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000003066 decision tree Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000006424 Flood reaction Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 206010037844 rash Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Tourism & Hospitality (AREA)
- Biomedical Technology (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Databases & Information Systems (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种突发事件的分级方法及其模型训练方法、装置,涉及数据分类技术领域,该模型在训练过程中通过提取文本数据中与自然灾害突发事件对应的数据特征,并将该数据特征进行向量化处理得到的特征融合向量用于模型的训练,提高了模型在对自然灾害突发事件进行分级的精度,有利于降低人工分级的成本。
Description
技术领域
本发明涉及数据分类技术领域,尤其是涉及一种突发事件的分级方法及其模型训练方法、装置。
背景技术
自然灾害是自然环境中对生命安全和财产构成危害的极端事件,自然灾害普遍具有突发性特点,对自然灾害为主的突发事件进行有效分级有利于提高突发事件的预警精度。由于自然灾害的种类繁多,相关突发事件文本较为复杂,分级难度较大。随着大数据时代的到来,突发事件的数据获取途径也在大幅增加,突发事件的数据量也随之增加,传统的人工分类方式已难以适应大数据量下的数据分类过程。
虽然现有技术中已存在利用神经网络模型对突发事件进行分级的手段,但还缺少用于自然灾害突发事件分级的相关模型;而且现有的神经网络模型在训练过程中缺少对自然灾害突发事件对应的数据特征进行考虑,导致这类模型在进行突发事件分级过程的精度较低。
发明内容
有鉴于此,本发明的目的在于提供一种突发事件的分级方法及其模型训练方法、装置,该模型在训练过程中通过提取文本数据中与自然灾害突发事件对应的数据特征,并将该数据特征进行向量化处理得到的特征融合向量用于模型的训练,提高了模型在对自然灾害突发事件进行分级的精度,有利于降低人工分级的成本。
第一方面,本发明实施例提供了一种用于突发事件分级的模型训练方法,该方法包括以下步骤:
获取包含描述突发事件的文本数据库,并从文本数据库中提取描述自然灾害突发事件的文本数据;
提取文本数据中与自然灾害突发事件对应的数据特征,并将数据特征进行向量化处理,得到自然灾害突发事件的特征融合向量;
将特征融合向量输入至预先构建的初始神经网络模型中进行特征提取训练,并实时获取特征融合向量的特征提取结果;
当特征提取结果满足预设阈值条件时,停止初始神经网络模型的特征提取训练,得到用于突发事件分级的模型。
在一些实施方式中,提取文本数据中与自然灾害突发事件对应的数据特征,包括:
利用预设的分类模型提取文本数据中与自然灾害突发事件对应的类别特征数据;其中,分类模型包括已完成训练的朴素贝叶斯、感知机、支持向量机、txtCNN上述一种或多种模型;
利用预设的实体识别模型提取文本数据中与自然灾害突发事件对应的灾害影响范围数据、灾害人员伤亡数据和经济损失数据;其中,实体识别模型包括已完成训练的HMM、CRF、BiLSTM、BERT上述一种模型或多种模型的组合;
将类别特征数据、灾害影响范围数据、灾害人员伤亡数据和经济损失数据确定为与自然灾害突发事件对应的数据特征。
在一些实施方式中,提取文本数据中与自然灾害突发事件对应的数据特征的过程之前,方法还包括:
对文本数据进行数据清洗处理。
在一些实施方式中,将数据特征进行向量化处理,得到自然灾害突发事件的特征融合向量包括:
利用one-hot编码方式分别对类别特征数据、灾害人员伤亡数据和经济损失数据进行向量化提取操作,分别得到类别特征数据对应的第一特征向量、灾害人员伤亡数据对应的第三特征向量和经济损失数据对应的第四特征向量;
利用预设的word2vec模型对灾害影响范围数据进行向量化提取操作,得到灾害影响范围数据对应的第二特征向量;
将第一特征向量、第二特征向量、第三特征向量和第四特征向量进行拼接处理,得到自然灾害突发事件的特征融合向量。
在一些实施方式中,初始神经网络模型的构建过程,包括:
获取初始神经网络模型的初始化参数;其中,初始化参数至少包括:输入层参数、输出层参数以及隐藏层参数;
根据初始化参数构建初始神经网络模型的输入层、隐藏层和输出层;
按照DNN、朴素贝叶斯、支持向量机、多层感知器、决策树、AdaBoost上述任一种模型的网络结构,构建输入层、隐藏层和输出层的神经元,得到初始神经网络模型。
在一些实施方式中,将特征融合向量输入至预先构建的初始神经网络模型中进行特征提取训练,并实时获取特征融合向量的特征提取结果的步骤,包括:
设定初始神经网络模型的训练参数;
将特征融合向量输入至初始神经网络模型中,并利用训练参数对初始神经网络模型进行训练;
将初始神经网络模型输出特征结果实时输入至softmax函数中进行计算,得到特征融合向量的特征提取结果。
在一些实施方式中,特征提取结果满足预设阈值条件,包括:
特征提取结果的准确度达到预设的准确度阈值;或者,特征提取结果的迭代次数达到预设的迭代数值。
第二方面,本发明实施例提供了一种突发事件的分级方法,该方法包括以下步骤:
获取待分级的文本数据;
将文本数据输入至预先完成训练的突发事件分级模型中,根据突发事件分级模型输出的特征提取结果确定文本数据中自然灾害突发事件的种类;其中,突发事件分级模型通过上述第一方面提到的用于突发事件分级的模型训练方法训练得到;
将自然灾害突发事件的种类与预设分级模板进行匹配,得到文本数据中自然灾害突发事件的分级结果。
第三方面,本发明实施例提供了一种用于突发事件分级的模型训练装置,该装置包括:
数据提取模块,用于获取包含描述突发事件的文本数据库,并从文本数据库中提取描述自然灾害突发事件的文本数据;
特征融合向量确定模块,用于提取文本数据中与自然灾害突发事件对应的数据特征,并将数据特征进行向量化处理,得到自然灾害突发事件的特征融合向量;
模型训练模块,用于将特征融合向量输入至预先构建的初始神经网络模型中进行特征提取训练,并实时获取特征融合向量的特征提取结果;
模型获取模块,用于当特征提取结果满足预设阈值条件时,停止初始神经网络模型的特征提取训练,得到用于突发事件分级的模型。
第四方面,本发明实施例提供了一种突发事件的分级装置,该装置包括:
待分级数据获取模块,用于获取待分类的文本数据;
数据分级执行模块,用于将文本数据输入至预先完成训练的突发事件分级模型中,根据突发事件分级模型输出的特征提取结果确定文本数据中自然灾害突发事件的种类;其中,突发事件分级模型通过上述第一方面提到的用于突发事件分级的模型训练方法训练得到;
分级结果确定模块,用于将自然灾害突发事件的种类与预设分级模板进行匹配,得到文本数据中自然灾害突发事件的分级结果。
本发明实施例带来了以下有益效果:本发明实施例提供了一种突发事件的分级方法及其模型训练方法、装置,在用于突发事件分级的模型训练过程中,首先获取包含描述突发事件的文本数据库,并从文本数据库中提取描述自然灾害突发事件的文本数据;再提取文本数据中与自然灾害突发事件对应的数据特征,并将数据特征进行向量化处理,得到自然灾害突发事件的特征融合向量;然后将特征融合向量输入至预先构建的初始神经网络模型中进行特征提取训练,并实时获取特征融合向量的特征提取结果;当特征提取结果满足预设阈值条件时,停止初始神经网络模型的特征提取训练,得到用于突发事件分级的模型。利用该模型进行突发事件的分级过程中,首先获取待分级的文本数据;然后将文本数据输入至预先完成训练的突发事件分级模型中,根据突发事件分级模型输出的特征提取结果确定文本数据中自然灾害突发事件的种类;最后将自然灾害突发事件的种类与预设分级模板进行匹配,得到文本数据中自然灾害突发事件的分级结果。该模型在训练过程中通过提取文本数据中与自然灾害突发事件对应的数据特征,并将该数据特征进行向量化处理得到的特征融合向量用于模型的训练,提高了模型在对自然灾害突发事件进行分级的精度,有利于降低人工分级的成本。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种用于突发事件分级的模型训练方法的流程图;
图2为本发明实施例提供的一种用于突发事件分级的模型训练方法中,提取文本数据中与自然灾害突发事件对应的数据特征的流程图;
图3为本发明实施例提供的一种用于突发事件分级的模型训练方法中,将数据特征进行向量化处理,得到自然灾害突发事件的特征融合向量的流程图;
图4为本发明实施例提供的一种用于突发事件分级的模型训练方法中,初始神经网络模型的构建过程的流程图;
图5为本发明实施例提供的一种用于突发事件分级的模型训练方法中,初始神经网络模型的结构示意图;
图6为本发明实施例提供的一种用于突发事件分级的模型训练方法中步骤S103的流程图;
图7为本发明实施例提供的一种突发事件的分级方法的流程图;
图8为本发明实施例提供的一种突发事件的分级方法中模型对于数据处理的流程图;
图9为本发明实施例提供的一种用于突发事件分级的模型训练装置的结构示意图;
图10为本发明实施例提供的一种突发事件的分级装置的结构示意图;
图11为本发明实施例提供的一种电子设备的结构示意图。
图标:
910-数据提取模块;920-特征融合向量确定模块;930-模型训练模块;940-模型获取模块;
1010-待分级数据获取模块;1020-数据分级执行模块;1030-分级结果确定模块;
101-处理器;102-存储器;103-总线;104-通信接口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
自然灾害是自然环境中对生命安全和财产构成危害的极端事件,自然灾害普遍具有突发性特点,对自然灾害为主的突发事件进行有效分级有利于提高突发事件的预警精度。由于自然灾害的种类繁多,相关突发事件文本较为复杂,分级难度较大。随着大数据时代的到来,突发事件的数据获取途径也在大幅增加,突发事件的数据量也随之增加,传统的人工分类方式已难以适应大数据量下的数据分类过程。
自然灾害是自然环境中对生命安全和财产构成危害的极端事件,以突发性灾害来说,主要包括地震、火山爆发、泥石流、海啸、台风、洪水等。突发性灾害作为一种典型的突发事件,其分类过程是根据事件的特征把各种突发事件划分为不同的类别。实际应用场景中,对事件的精准分类是应急管理工作的基础工作,只有首先确定该事件的类别,才能更快地找到处理问题的应对方案。
当前对于突发自然灾害事件的分类过程中还存在着领域间类别划分不统一、维度多样等问题。以教育领域为例,教育***自然灾害突发事件分类主要参照教育领域相关的自然灾害类突发事件的分类与定级指标体系,涉及教育***的自然灾害主要包括:洪涝灾害、气象灾害、地震灾害、地质灾害、海洋灾害、生物灾害和森林草原火灾等7类。自然灾害的种类繁多,类型划分的越详细,描述的精度就越高,但分类难度也随之增加。通过工作人员的主观经验对自然灾害数据进行类别划分,最终完成自然灾害数据的归类归档任务。
人工分类的方式存在诸多问题,例如:人工分类准确率不够高,且经验丰富的专家人员少且成本高;历史突发事件随时间积累增多,人工分类带来人力与时间成本的线性增加的难题;突发事件有可能归属时单个类别时无法更好地解释,存在多标签分类情况。随着大数据时代的到来,自然灾害数据的获取途径增加,获得的自然灾害数据量也随之增加,传统的人工分类方式已难以适应大数据量下的数据分类过程。
现有技术中已存在利用神经网络模型对突发事件进行分级的手段,在具体分类过程中,由于研究角度以及研究目的不同,在对突发事件的分类方式也不相同。在日常生活领域,通常利用事件属性进行分类,依据事件的定义提取事件的特征属性,并给每个特征属性赋予权重,利用特征属性对顶层事件类包含的事件进行分类;在工业生产领域,突发事件分类仍以定性分析为主,多数都是在经验的基础上进行归类与总结;在网络社交领域,利用DeepWalk方法将随机游走得到的节点序列当作句子,通过局部信息来学习节点的潜在表示,利用logistic回归算法进行事件多标签的分类;在交通运输领域,常使用HMAN-BiLSTMCRF的多任务联合学习模型,模型全连接层则根据输入的文本特征预测突发事件的事件类别;而在新闻媒体领域,利用词语间相互关系或词语与类别间相互关系,构建双输入组合深度学习分类模型,实现突发事件新闻识别与分类;在网络安全领域,利用突发事件的时间和主体划分法,主要参考时间、事件主体等维度划分不同的类别。上述突发事件的分类是基于某种研究或实践需求而提出的,均具有非常强的领域针对性。可见,现有技术中还缺少用于自然灾害突发事件分级的相关模型;而且现有的神经网络模型在训练过程中缺少对自然灾害突发事件对应的数据特征进行考虑,导致这类模型在进行突发事件分级过程的精度较低。
针对上述问题,本发明提出一种突发事件的分级方法及其模型训练方法、装置,该模型在训练过程中通过提取文本数据中与自然灾害突发事件对应的数据特征,并将该数据特征进行向量化处理得到的特征融合向量用于模型的训练,提高了模型在对自然灾害突发事件进行分级的精度,有利于降低人工分级的成本。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种用于突发事件分级的模型训练方法进行详细介绍,该方法的流程图如图1所示,包括以下步骤:
步骤S101,获取包含描述突发事件的文本数据库,并从文本数据库中提取描述自然灾害突发事件的文本数据。
文本数据库通过相关自然灾害突发事件的相关标准、自然灾害主题词表以及自然灾害类的新闻报道等历史数据来获得,实际获取过程中可能来源于纸质文档、照片等其它载体,通过扫描或拍照的方式获取其对应的文本数据,最终形成文本数据库。
从文本数据库中通过收集查找,得到描述自然灾害突发时间的文本数据,在一些实施方式中,得到文本数据之后,还可对文本数据进行数据清洗处理,进一步减少文本数据中的冗余数据。
步骤S102,提取文本数据中与自然灾害突发事件对应的数据特征,并将数据特征进行向量化处理,得到自然灾害突发事件的特征融合向量。
文本数据确定后,需要从自然灾害突发事件的受灾范围、受灾程度等维度提取特征,通过特征融合后包含事件种类、影响范围、人员伤亡数据、经济损失数量等信息维度。具体的,在一些实施方式中,提取文本数据中与自然灾害突发事件对应的数据特征,如图2所示,包括:
步骤S21,利用预设的分类模型提取文本数据中与自然灾害突发事件对应的类别特征数据;其中,分类模型包括已完成训练的朴素贝叶斯、感知机、支持向量机、txtCNN上述一种或多种模型。
步骤S22,利用预设的实体识别模型提取文本数据中与自然灾害突发事件对应的灾害影响范围数据、灾害人员伤亡数据和经济损失数据。
通过实体识别模型,使用正则表达式来提取文本数据中与自然灾害突发事件对应的灾害影响范围数据、灾害人员伤亡数据和经济损失数据。分别将灾害影响范围数据记为;灾害人员伤亡数据记为;经济损失数据记为。其中,实体识别模型包括已完成训练的HMM、CRF、BiLSTM、BERT上述一种模型或多种模型的组合,例如可使用BiLSTM+CRF、BERT+CRF等。
步骤S23,将类别特征数据、灾害影响范围数据、灾害人员伤亡数据和经济损失数据确定为与自然灾害突发事件对应的数据特征。
数据特征获取后对其进行向量化操作,形成教育***自然灾害突发事件分级标准的相关数据。在一些实施方式中,将数据特征进行向量化处理,得到自然灾害突发事件的特征融合向量,如图3所示,包括:
步骤S31,利用one-hot编码方式分别对类别特征数据、灾害人员伤亡数据和经济损失数据进行向量化提取操作,分别得到类别特征数据对应的第一特征向量、灾害人员伤亡数据对应的第三特征向量和经济损失数据对应的第四特征向量。
步骤S32,利用预设的word2vec模型对灾害影响范围数据进行向量化提取操作,得到灾害影响范围数据对应的第二特征向量。
步骤S33,将第一特征向量、第二特征向量、第三特征向量和第四特征向量进行拼接处理,得到自然灾害突发事件的特征融合向量。
第一特征向量、第二特征向量、第三特征向量、第四特征向量进行融合,得到特征融合向量。最后将将教育***自然灾害突发事件分级历史数据集转化为标准数据,为历史自然灾害突发事件数量,为每个事件具有的特征数量。
步骤S103,将特征融合向量输入至预先构建的初始神经网络模型中进行特征提取训练,并实时获取特征融合向量的特征提取结果。
在一些实施方式中,初始神经网络模型的构建过程,如图4所示,包括:
步骤S41,获取初始神经网络模型的初始化参数;其中,初始化参数至少包括:输入层参数、输出层参数以及隐藏层参数。
初始神经网络中至少包括输入层、输出层以及隐藏层,这些不同的层之间对应不同的参数,因此在初始神经网络模型的构建过程中需要对输入层、输出层以及隐藏层对应的参数进行确定,进而完成初始化操作。
步骤S42,根据初始化参数构建初始神经网络模型的输入层、隐藏层和输出层。
初始化参数确定后,根据初始化参数来构建初始神经网络模型。一般来说,隐藏层位于输入层和输出层之间,且隐藏层的数量并不限于1,因此根据初始化参数中各个神经元之间的连接关系来对初始神经网络模型进行构建,从而得到初始神经网络模型的网状结构。
步骤S43,按照DNN、朴素贝叶斯、支持向量机、多层感知器、决策树、AdaBoost上述任一种模型的网络结构,构建输入层、隐藏层和输出层的神经元,得到初始神经网络模型。
若初始神经网络模型按照DNN模型的方式进行构建,其结构图如图5所示。网络结构包含输入层、隐藏层、输出层等。输入层神经元的个数与事件特征维度相同,即m个神经元;隐藏层结构有2层,其神经元个数以及实际情况可以自定义设置;输出层的神经元个数与事件级别数量相同,如教育***对自然灾害突发事件级别划分为4个等级,分别对应特别重大、重大、较大、一般四个等级,故输出层的神经元个数可设置为4。
在利用上述模型进行训练的过程中,该步骤S103如图6所示,包括:
步骤S61,设定初始神经网络模型的训练参数。
训练参数中包括模型训练时的相关参数,例如迭代次数、损失函数的判断阈值、训练精度调节参数等各类参数。
步骤S62,将特征融合向量输入至初始神经网络模型中,并利用训练参数对初始神经网络模型进行训练。
训练参数确定后,将特征融合向量输入至该网络模型中进行训练,具体的说,将历史自然灾害突发事件事件n×m特征矩阵X作为DNN模型的输入,设定模型初始化参数以及模型训练迭代次数T,对模型进行训练。
步骤S63,将初始神经网络模型输出特征结果实时输入至softmax函数中进行计算,得到特征融合向量的特征提取结果。
初始神经网络模型输出特征结果通过softmax函数进行处理,得到特征融合向量的特征提取结果。该特征提取结果中可作为衡量初始神经网络模型性能的指标,通过将特征提取结果与实际结果进行对比,得到其准确度,并将该准确度作为阈值判定条件。
步骤S104,当特征提取结果满足预设阈值条件时,停止初始神经网络模型的特征提取训练,得到用于突发事件分级的模型。
在一些实施方式中,特征提取结果满足预设阈值条件的过程,可通过确定特征提取结果的准确度是否达到预设的准确度阈值来判断;或者,通过确定特征提取结果的迭代次数是否达到预设的迭代数值来判断。
实际场景中,当模型性能评估达到终止条件或迭代T次时,得到特征融合向量的特征提取结果;否则,持续训练模型,直到满足设定条件。
通过上述实施例提到的用于突发事件分级的模型训练方法可知,该模型在训练过程中通过提取文本数据中与自然灾害突发事件对应的数据特征,并将该数据特征进行向量化处理得到的特征融合向量用于模型的训练,提高了模型在对自然灾害突发事件进行分级的精度,有利于降低人工分级的成本。
本发明实施例还提供了一种突发事件的分级方法,如图7所示,该方法包括以下步骤:
步骤S701,获取待分级的文本数据。
步骤S702,将文本数据输入至预先完成训练的突发事件分级模型中,根据突发事件分级模型输出的特征提取结果确定文本数据中自然灾害突发事件的种类;
该突发事件分级模型通过上述实施例中提到的用于突发事件分级的模型训练方法训练得到。具体的,该模型使用one-hot编码方式将事件的类别特征数据、灾害人员伤亡数据、经济损失数据进行向量化,并将其对应的向量分别表示为第一特征向量、第三特征向量、第四特征向量。使用word2vec方法将灾害影响范围数据特征向量化表示成第二特征向量。第一特征向量、第二特征向量、第三特征向量、第四特征向量进行融合,得到特征融合向量。最后将待分级的自然灾害突发事件分级历史数据集转化为标准数据,为待分级的自然灾害突发事件数量,为每个事件具有的特征数量。
将待分级的教育***自然灾害突发事件分级标准数据输入到模型中,提取事件的深度特征,通过softmax函数进行处理,选取概率最大的对应类别作为该事件的分级预测结果,即待分级事件数据集中第个事件的类别预测最大概率为,则其对应的级别标签为预测结果如下所示:
步骤S703,将自然灾害突发事件的种类与预设分级模板进行匹配,得到文本数据中自然灾害突发事件的分级结果。
得到的自然灾害突发事件的种类与预设分级模板进行匹配,最终得到分级结果。自然灾害突发事件可以分为特别重大、重大、较大、一般等四个等级,教育***并使用不同的颜色表示自然灾害突发事件等级,四个等级的颜色依次为红色、橙色、黄色、蓝色。不同自然灾害突发事件等级划分的细则不同。
上述过程可详见图8所示,事件特征通过DNN网络后,经过softmax函数最终得到自然灾害突发事件的分级结果。
通过上述实施例提到的突发事件的分级方法可知,该方法能够根据自然灾害突发事件描述,从受灾范围和受灾程度两个维度提取事件特征,包含事件种类、影响范围、人员伤亡数据、经济损失数量等信息,通过将这些信息向量化作为DNN模型的输入,实现对自然灾害突发事件的分级预测,为自然灾害突发事件的定级提供技术支撑。该方法提高了对自然灾害突发事件定级效率,达到满足突发事件定级的及时性要求,也打破了传统依据专家主观经验对突发事件进行打分评价定级的模式,使自然灾害突发事件定级的过程更具有客观性;管理过程中可以通过事件随时间变化的数据,能够做到根据突发事件的样本扩充情况不断的调整分类级别,减轻管理人员的工作压力,实现突发事件级别动态调整。
本发明实施例所提供的突发事件分级模型,其实现原理及产生的技术效果和前述用于突发事件分级的模型训练方法训练得到的模型是相同的,为简要描述,实施例部分未提及之处,可参考前述方法实施例中相应内容。
对应于上述用于突发事件分级的模型训练方法的实施例,本发明实施例提供了一种用于突发事件分级的模型训练装置,如图9所示,该装置包括:
数据提取模块910,用于获取包含描述突发事件的文本数据库,并从文本数据库中提取描述自然灾害突发事件的文本数据;
特征融合向量确定模块920,用于提取文本数据中与自然灾害突发事件对应的数据特征,并将数据特征进行向量化处理,得到自然灾害突发事件的特征融合向量;
模型训练模块930,用于将特征融合向量输入至预先构建的初始神经网络模型中进行特征提取训练,并实时获取特征融合向量的特征提取结果;
模型获取模块940,用于当特征提取结果满足预设阈值条件时,停止初始神经网络模型的特征提取训练,得到用于突发事件分级的模型。
本发明实施例所提供的用于突发事件分级的模型训练装置,其实现原理及产生的技术效果和前述用于突发事件分级的模型训练方法的实施例相同,为简要描述,实施例部分未提及之处,可参考前述方法实施例中相应内容。
对应于上述突发事件的分级方法的实施例,本发明实施例提供了一种突发事件的分级装置,如图10所示,该装置包括:
待分级数据获取模块1010,用于获取待分类的文本数据;
数据分级执行模块1020,用于将文本数据输入至预先完成训练的突发事件分级模型中,根据突发事件分级模型输出的特征提取结果确定文本数据中自然灾害突发事件的种类;其中,突发事件分级模型通过上述实施例提到的用于突发事件分级的模型训练方法训练得到;
分级结果确定模块1030,用于将自然灾害突发事件的种类与预设分级模板进行匹配,得到文本数据中自然灾害突发事件的分级结果。
本发明实施例所提供的突发事件的分级装置,其实现原理及产生的技术效果和前述突发事件的分级方法的实施例相同,为简要描述,实施例部分未提及之处,可参考前述方法实施例中相应内容。
本实施例还提供一种电子设备,为该电子设备的结构示意图如图11所示,该设备包括处理器101和存储器102;其中,存储器102用于存储一条或多条计算机指令,一条或多条计算机指令被处理器执行,以实现上述用于突发事件分级的模型训练方法以及突发事件的分级方法的步骤。
图11所示的服务器还包括总线103和通信接口104,处理器101、通信接口104和存储器102通过总线103连接。
其中,存储器102可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。总线103可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图11中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
通信接口104用于通过网络接口与至少一个用户终端及其它网络单元连接,将封装好的IPv4报文或IPv4报文通过网络接口发送至用户终端。
处理器101可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DigitalSignal Processor,简称DSP)、专用集成电路(Application Specific IntegratedCircuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器102,处理器101读取存储器102中的信息,结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行前述实施例的方法的步骤。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、设备和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,设备或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以用软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种用于突发事件分级的模型训练方法,其特征在于,所述方法包括:
获取包含描述突发事件的文本数据库,并从所述文本数据库中提取描述自然灾害突发事件的文本数据;
提取所述文本数据中与所述自然灾害突发事件对应的数据特征,并将所述数据特征进行向量化处理,得到所述自然灾害突发事件的特征融合向量;
将所述特征融合向量输入至预先构建的初始神经网络模型中进行特征提取训练,并实时获取所述特征融合向量的特征提取结果;
当所述特征提取结果满足预设阈值条件时,停止所述初始神经网络模型的特征提取训练,得到用于突发事件分级的模型。
2.根据权利要求1所述的用于突发事件分级的模型训练方法,其特征在于,提取所述文本数据中与所述自然灾害突发事件对应的数据特征,包括:
利用预设的分类模型提取所述文本数据中与所述自然灾害突发事件对应的类别特征数据;其中,所述分类模型包括已完成训练的朴素贝叶斯、感知机、支持向量机、txtCNN上述一种或多种模型;
利用预设的实体识别模型提取所述文本数据中与所述自然灾害突发事件对应的灾害影响范围数据、灾害人员伤亡数据和经济损失数据;其中,所述实体识别模型包括已完成训练的HMM、CRF、BiLSTM、BERT上述一种模型或多种模型的组合;
将所述类别特征数据、所述灾害影响范围数据、所述灾害人员伤亡数据和所述经济损失数据确定为与所述自然灾害突发事件对应的数据特征。
3.根据权利要求2所述的用于突发事件分级的模型训练方法,其特征在于,提取所述文本数据中与所述自然灾害突发事件对应的数据特征的过程之前,所述方法还包括:
对所述文本数据进行数据清洗处理。
4.根据权利要求2所述的用于突发事件分级的模型训练方法,其特征在于,将所述数据特征进行向量化处理,得到所述自然灾害突发事件的特征融合向量包括:
利用one-hot编码方式分别对所述类别特征数据、所述灾害人员伤亡数据和所述经济损失数据进行向量化提取操作,分别得到所述类别特征数据对应的第一特征向量、所述灾害人员伤亡数据对应的第三特征向量和所述经济损失数据对应的第四特征向量;
利用预设的word2vec模型对所述灾害影响范围数据进行向量化提取操作,得到所述灾害影响范围数据对应的第二特征向量;
将所述第一特征向量、所述第二特征向量、所述第三特征向量和所述第四特征向量进行拼接处理,得到所述自然灾害突发事件的特征融合向量。
5.根据权利要求1所述的用于突发事件分级的模型训练方法,其特征在于,所述初始神经网络模型的构建过程,包括:
获取所述初始神经网络模型的初始化参数;其中,所述初始化参数至少包括:输入层参数、输出层参数以及隐藏层参数;
根据所述初始化参数构建所述初始神经网络模型的输入层、隐藏层和输出层;
按照DNN、朴素贝叶斯、支持向量机、多层感知器、决策树、AdaBoost上述任一种模型的网络结构,构建所述输入层、所述隐藏层和所述输出层的神经元,得到所述初始神经网络模型。
6.根据权利要求1所述的用于突发事件分级的模型训练方法,其特征在于,将所述特征融合向量输入至预先构建的初始神经网络模型中进行特征提取训练,并实时获取所述特征融合向量的特征提取结果的步骤,包括:
设定所述初始神经网络模型的训练参数;
将所述特征融合向量输入至所述初始神经网络模型中,并利用所述训练参数对所述初始神经网络模型进行训练;
将所述初始神经网络模型输出特征结果实时输入至softmax函数中进行计算,得到所述特征融合向量的特征提取结果。
7.根据权利要求1所述的用于突发事件分级的模型训练方法,其特征在于,所述特征提取结果满足预设阈值条件,包括:
所述特征提取结果的准确度达到预设的准确度阈值;或者,所述特征提取结果的迭代次数达到预设的迭代数值。
8.一种突发事件的分级方法,其特征在于,所述方法包括:
获取待分级的文本数据;
将所述文本数据输入至预先完成训练的突发事件分级模型中,根据所述突发事件分级模型输出的特征提取结果确定所述文本数据中自然灾害突发事件的种类;其中,所述突发事件分级模型通过权利要求1-7任一项所述的用于突发事件分级的模型训练方法训练得到;
将所述自然灾害突发事件的种类与预设分级模板进行匹配,得到所述文本数据中自然灾害突发事件的分级结果。
9.一种用于突发事件分级的模型训练装置,其特征在于,所述装置包括:
数据提取模块,用于获取包含描述突发事件的文本数据库,并从所述文本数据库中提取描述自然灾害突发事件的文本数据;
特征融合向量确定模块,用于提取所述文本数据中与所述自然灾害突发事件对应的数据特征,并将所述数据特征进行向量化处理,得到所述自然灾害突发事件的特征融合向量;
模型训练模块,用于将所述特征融合向量输入至预先构建的初始神经网络模型中进行特征提取训练,并实时获取所述特征融合向量的特征提取结果;
模型获取模块,用于当所述特征提取结果满足预设阈值条件时,停止所述初始神经网络模型的特征提取训练,得到用于突发事件分级的模型。
10.一种突发事件的分级装置,其特征在于,所述装置包括:
待分级数据获取模块,用于获取待分类的文本数据;
数据分级执行模块,用于将所述文本数据输入至预先完成训练的突发事件分级模型中,根据所述突发事件分级模型输出的特征提取结果确定所述文本数据中自然灾害突发事件的种类;其中,所述突发事件分级模型通过权利要求1-7任一项所述的用于突发事件分级的模型训练方法训练得到;
分级结果确定模块,用于将所述自然灾害突发事件的种类与预设分级模板进行匹配,得到所述文本数据中自然灾害突发事件的分级结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210531628.9A CN114637853A (zh) | 2022-05-17 | 2022-05-17 | 突发事件的分级方法及其模型训练方法、装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210531628.9A CN114637853A (zh) | 2022-05-17 | 2022-05-17 | 突发事件的分级方法及其模型训练方法、装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114637853A true CN114637853A (zh) | 2022-06-17 |
Family
ID=81953299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210531628.9A Pending CN114637853A (zh) | 2022-05-17 | 2022-05-17 | 突发事件的分级方法及其模型训练方法、装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114637853A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106021508A (zh) * | 2016-05-23 | 2016-10-12 | 武汉大学 | 基于社交媒体的突发事件应急信息挖掘方法 |
CN111783394A (zh) * | 2020-08-11 | 2020-10-16 | 深圳市北科瑞声科技股份有限公司 | 事件抽取模型的训练方法、事件抽取方法和***及设备 |
CN112001565A (zh) * | 2020-09-08 | 2020-11-27 | 清华大学合肥公共安全研究院 | 基于Softmax回归模型的地震灾害损失预测与评估的方法及*** |
CN112000792A (zh) * | 2020-08-26 | 2020-11-27 | 北京百度网讯科技有限公司 | 自然灾害事件的抽取方法、装置、设备以及存储介质 |
CN112989841A (zh) * | 2021-02-24 | 2021-06-18 | 中国搜索信息科技股份有限公司 | 一种用于突发事件新闻识别与分类的半监督学习方法 |
-
2022
- 2022-05-17 CN CN202210531628.9A patent/CN114637853A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106021508A (zh) * | 2016-05-23 | 2016-10-12 | 武汉大学 | 基于社交媒体的突发事件应急信息挖掘方法 |
CN111783394A (zh) * | 2020-08-11 | 2020-10-16 | 深圳市北科瑞声科技股份有限公司 | 事件抽取模型的训练方法、事件抽取方法和***及设备 |
CN112000792A (zh) * | 2020-08-26 | 2020-11-27 | 北京百度网讯科技有限公司 | 自然灾害事件的抽取方法、装置、设备以及存储介质 |
CN112001565A (zh) * | 2020-09-08 | 2020-11-27 | 清华大学合肥公共安全研究院 | 基于Softmax回归模型的地震灾害损失预测与评估的方法及*** |
CN112989841A (zh) * | 2021-02-24 | 2021-06-18 | 中国搜索信息科技股份有限公司 | 一种用于突发事件新闻识别与分类的半监督学习方法 |
Non-Patent Citations (1)
Title |
---|
张璐: "面向中文文本的事件提取方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113239186B (zh) | 一种基于多依存关系表示机制的图卷积网络关系抽取方法 | |
CN110458324B (zh) | 风险概率的计算方法、装置和计算机设备 | |
WO2019108603A1 (en) | Machine learning techniques for evaluating entities | |
CN110968699A (zh) | 一种基于事理推荐的逻辑图谱构建及预警方法和装置 | |
WO2021051518A1 (zh) | 基于神经网络模型的文本数据分类方法、装置及存储介质 | |
CN104820629A (zh) | 一种智能的舆情突发事件应急处理***及方法 | |
CN111008337B (zh) | 一种基于三元特征的深度注意力谣言鉴别方法及装置 | |
CN111738843B (zh) | 一种使用流水数据的量化风险评价***和方法 | |
CN108241867B (zh) | 一种分类方法及装置 | |
Belcastro et al. | Using social media for sub-event detection during disasters | |
CN113361258A (zh) | 基于图卷积网络和选择注意力的方面级情感分析方法及*** | |
CN113449204B (zh) | 基于局部聚合图注意力网络的社会事件分类方法、装置 | |
CN113032525A (zh) | 虚假新闻检测方法、装置、电子设备以及存储介质 | |
CN115795030A (zh) | 文本分类方法、装置、计算机设备和存储介质 | |
CN116842194A (zh) | 一种电力语义知识图谱***及方法 | |
CN112115277A (zh) | 一种基于知识图谱的集成电路产业链识别方法及*** | |
CN110910235A (zh) | 一种基于用户关系网络的贷中异常行为检测方法 | |
CN113239143B (zh) | 融合电网故障案例库的输变电设备故障处理方法及*** | |
CN111061876A (zh) | 事件舆情数据分析方法及装置 | |
Jimenez et al. | An empirical study on identifying sentences with salient factual statements | |
CN114638222B (zh) | 自然灾害数据的分类方法及其模型训练方法、装置 | |
CN117009518A (zh) | 融合基本属性和文本内容的相似事件判断方法及其应用 | |
CN117216617A (zh) | 文本分类模型训练方法、装置、计算机设备和存储介质 | |
CN112950350B (zh) | 一种基于机器学习的贷款产品推荐方法及*** | |
CN115936217A (zh) | 一种研判商机成熟度的方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220617 |