CN112287996B - 一种基于机器学习的重大事件关键因子挖掘方法 - Google Patents

Abstract

本发明公开了一种基于机器学习的重大事件关键因子挖掘方法，步骤如下：1）建立重大事件演化模型；2）对上述重大事件演化模型进行解析，建立基于事件要素的重大事件状态转移图；3）实现基于关联规则的关键因子提取，对重大事件后续的发展态势进行预测。本发明通过重大事件时空因果的演化模型以及重大事件可靠的机器识别，探索为相关机器学习建立高效且均衡的可识别特征。

Description

一种基于机器学习的重大事件关键因子挖掘方法

技术领域

本发明属于智慧城市建设技术领域，具体指代一种基于机器学习的重大事件关键因子挖掘方法。

背景技术

机器学习的本质就是智能化技术，其集感知、推理、学习和行动于一体，利用计算机视觉、语音识别、深度学习等方式，试图汲取丰富的信息，像人一样思考，做出决策。

1956年，几位顶尖的青年科学家发表了一份倡议书来探讨被他们称为“机器学习”的主题。“这项研究是基于在一个猜想上进行——那就是学习的每一方面，或智能的任何其他特征，在原则上可以被精确地描述，并且能够造出一部机器来对其进行模仿”，这被看做是机器学习的起点。此后，在长达十余年的时间里，机器学习被广泛应用于数学和自然语言领域，用来解决代数、几何和英语问题。此阶段的机器学习技术主要是解决特定的问题，问题对象相对简单，且彼此间没有关联性。1980年，卡内基梅隆大学设计了一套名为XCON的“专家***”，可以简单的理解为“知识库+推理机”的组合，XCON是一套具有完整专业知识和经验的计算机智能***。上世纪九十年代中期开始，随着神经网络技术取得突破和逐步发展，机器学习技术已被认为是现代文明与未来文明间的桥梁。

目前，严重限制人们使用机器学习技术的因素，是在很多领域中只是混乱使用机器学习概念，尤其是针对特定业务需求，没有认真思考机器学习在其中能够真正发挥作用的地方，无法通过机器学习找到业务场景中所蕴含的客观规律，从而挖掘潜在问题、提升预测能力，是目前机器学习应用普遍遇到的难题之一。

总体来看，人们对机器学习技术的应用，尤其在智慧城市建设领域，还存在凭空想象、不能按需运用，理论无法落地、场景无法构建等问题。这些问题的产生主要是没有深刻理解不同的机器学习技术的特点和能力，不掌握其对应于不同的智慧城市业务场景，从而在建设实践中往往因为混乱的运用，没有发挥机器学习的作用。

发明内容

针对于上述现有技术的不足，本发明的目的在于提供一种基于机器学习的重大事件关键因子挖掘方法，以解决现有技术中对重大事件业务模型构建不当造成的其与真实情况偏差较大；机器接收冗余信息过多、对知识库没有正确的建立和充分利用，造成建立重大事件转移图严重变形；机器学习算法选取单一，事件关键因子关联关系挖掘不充分，造成关联关系泛化或者无法建立的问题。

为达到上述目的，本发明采用的技术方案如下：

本发明的一种基于机器学习的重大事件关键因子挖掘方法，步骤如下：

1)建立重大事件演化模型；

2)对上述重大事件演化模型进行解析，建立基于事件要素的重大事件状态转移图；

3)实现基于关联规则的关键因子提取，对重大事件后续的发展态势进行预测。

进一步地，所述步骤1)具体为：所述重大事件演化模型包含时间维度及事件要素两个因子；所述时间维度为采集或预测到的及需要表达时间段，一个时间维度包含一个或多个时间因子；所述事件要素为被抽象提取的事件描述。

进一步地，所述时间维度分为采集或观察到的及需要表达的代表事件发生时到现在0到t的过去式时间维度、正在发生的t到t+Δ的发生式时间维度、以及未来将要发生的t+Δ到

的未来式时间维度。

进一步地，所述步骤1)中的重大事件演化模型的建立步骤如下：

11)建立重大事件信息库，对重大事件信息数据按照事件类别、事件等级进行分类分级；

12)将网上爬取或政务***中记录的历年重大事件信息录入重大事件信息库；若重大事件原始信息是结构化库表或接口数据，则直接提取结构化库表或接口数据中的字段名称作为事件要素的候选因子；若重大事件原始信息是非结构化文本数据，则采用与固定关键字的类比法将其结构化，结构化后的字段名称作为事件要素的候选因子；

13)时间因子检查和补录：若录入重大事件信息库的事件记录有时间戳，则认为是完整事件演变信息，不做其他操作；若录入重大事件信息库的事件记录全部或部分没有时间戳，则根据同类同级的其它事件信息里的时间戳进行补录；

14)按照事件本体、事件发生因子和事件环境三个维度，过滤描述事件信息的数据字段，确认事件要素；

15)建立重大事件演化模型库；事件要素和时间因子形成重大事件演化模型库的数据字段，将重大事件信息库中数据通过清洗、转换形成重大事件演化模型；

16)将现实世界的知识在机器中形成知识库，通过机器中的知识库，为重大事件演化模型提供能被识别的上下文环境；通过知识库的业务规则以屏蔽错误或者冗余信息。

进一步地，所述知识是以往重大事件发生、发展、结束全过程结束之后的事实、经验或教训经过归纳总结形成的；知识包括信息描述和业务规则两部分，信息描述是指对事实、经验或教训用数据字段的方式加以表达；业务规则是指对多个事实、经验或教训之间的关系进行分析、识别和推断的表达。

进一步地，所述步骤2)具体包括：

21)基于重大事件演化模型，利用知识库提供的业务规则，通过深度学习对事件要素P进行识别、研判和分析；构建基于process-CNN深度学习分类模型，学习样本数据中的事件要素P的深层次特征；基于伴随式研判自学习架构，形成训练-反馈-更新的重大事件模型以及提取其事件要素的循环迭代过程；

22)提取重大事件的事件要素后，通过人工智能深度学习方法，建立各事件要素P之间的关联关系；

23)提取各事件要素P以及各事件要素P之间的关联关系，完成三个时间序列0,t、t,t+Δ、t+Δ,

的重大事件演化过程状态图。

进一步地，所述伴随式研判自学习架构包括的学习模式如下：

211)被动统计学习(passive statistical learning)：用大量的数据样本模拟对事件要素P以及关联关系的提取；

212)主动学习(active learning)：在深度学习和挖掘的过程中，若所有事件要素P之间均有关联关系欠拟合时，则机器主动索要更多的样本数据用于自我学习；

213)感知因果学习(perceptual causality)：记录机器学习过程和推导的结果，在发现与实际不符时，通过调整因果模型，改进机器学习模式；

214)因果学习(causal learning)：通过不断的模拟训练，消除过拟合和欠拟合的情况，控制其它变量，从而得到关系明确的因果模型；

215)增强学习(reinforcement learning)：学习决策函数与价值函数，迭代优化上述步骤211)-214)的学习结果。

进一步地，所述步骤3)具体包括：

31)研究事件关联与演化分析，从历史的表象中发掘规律，将历史中的相似性和关联性固化成知识，形成关联规则库；

32)通过机器中的频繁模式挖掘，获得重大事件3个时间维度下重复的事件要素及其关系；

33)利用关联规则库、L1正则(又称为lasso回归，套索算法)或L2正则(又称为ridge回归，岭回归)或elastic net(弹性网络)算法进行一定的纠偏后，机器学习完成了对重大事件关键因子的挖掘。

本发明基于机器学习技术，对于具有海量数据的重大事件的研判和预测具有重大意义。在智慧城市建设实践中，在自然灾害等重大公共事件发生时，能有效避免人民群众生命财产的损失；针对事件的发生具有离散性的特点，通过挖掘事件、时间、空间、政体、气象等诱因对重大事件的影响，建立多要素预测模型，实现了对重大事件对事件是否发生、事件发生频次、事件发生总体态势的预测。

本发明的有益效果：

(1)通过重大事件时空因果的演化模型以及重大事件可靠的机器识别，探索为相关机器学习建立高效且均衡的可识别特征。

(2)深耕机器学习的分析技术，在事件要素研判与特征库动态更新、事件状态图演化、频繁项及频繁子序列识别等方面，为领域内应用提供强有力的技术支撑。

(3)提出了一种确实可行的通过机器学习挖掘重大事件关键因子的实施路径，有效解决了由于机器学习技术涉及范围广、掌握此技术门槛较高，容易在实际过程中被混乱使用的问题，有效降低了试错时间、财力和人力成本。

(4)随着中国社会的日益发展，重大事件造成的各种损失也呈指数级的上升，城市安全成了每个城市发展的红线和底线。通过对重大事件未来态势的预测，辅以必要的手段和措施，就可大大降低次生衍生事件发生概率，对社会健康发展、城市安全运行具有不可估量的积极作用。

附图说明

图1为本发明的重大事件演化模型机器识别示意图。

图2为本发明的重大事件演化概率图。

图3为本发明的重大事件状态转移图。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施案例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

本发明的一种基于机器学习的重大事件关键因子挖掘方法，步骤如下：

1)建立重大事件演化模型；

所述重大事件演化模型包含时间维度及事件要素两个因子；所述时间维度为采集或观察到及需要表达的时间段，一个时间维度包含一个或多个时间因子；所述事件要素为被抽象提取的事件描述。

所述时间维度可分为采集或观察到的及需要表达的代表事件发生时到现在0,t的过去式时间维度、正在发生的t,t+Δ的发生式时间维度、以及未来将要发生的t+Δ,

的未来式时间维度。

参照图1所示，重大事件演化模型的建立步骤如下：

11)建立重大事件信息库，对重大事件信息数据按照事件类别、事件等级进行分类分级；

12)将网上爬取或政务***中记录的历年重大事件信息录入重大事件信息库；若重大事件原始信息是结构化库表或接口数据，则直接提取结构化库表或接口数据中的字段名称作为事件要素的候选因子；若重大事件原始信息是非结构化文本数据，则采用与固定关键字的类比法将其结构化，结构化后的字段名称作为事件要素的候选因子；

13)时间因子检查和补录：若录入重大事件信息库的事件记录有时间戳，则认为是完整事件演变信息，不做其他操作；若录入重大事件信息库的事件记录全部或部分没有时间戳，则根据同类同级的其它事件信息里的时间戳进行补录；

14)按照事件本体、事件发生因子和事件环境三个维度，过滤描述事件信息的数据字段，确认事件要素；

15)建立重大事件演化模型库；事件要素和时间因子形成重大事件演化模型库的数据字段，将重大事件信息库中数据通过清洗、转换形成重大事件演化模型；

16)将现实世界的知识在机器中形成知识库，其中知识是以往重大事件发生、发展、结束全过程结束之后的事实、经验或教训经过归纳总结形成的。知识包括信息描述和业务规则两部分，信息描述是指对事实、经验或教训用数据字段的方式加以表达，业务规则是指对多个事实、经验或教训之间的关系进行分析、识别和推断的表达。通过机器中的知识库，为重大事件演化模型提供能被识别的上下文环境；针对干扰噪声(现实世界中的错误或者冗余信息)，通过知识库的业务规则以屏蔽错误或者冗余信息。

2)对上述重大事件演化模型进行解析，建立基于事件要素的重大事件状态转移图；如图3所示；

21)基于重大事件演化模型，利用知识库提供的业务规则，通过深度学习对事件要素P进行识别、研判和分析；构建基于process-CNN深度学习分类模型，学习样本数据中的事件要素P的深层次特征；基于伴随式研判自学习架构，形成训练-反馈-更新的重大事件模型以及提取其事件要素的循环迭代过程；

22)提取重大事件的事件要素后，通过伴随式研判自学习架构，建立各事件要素P之间的关联关系；

23)提取各事件要素P以及各事件要素P之间的关联关系，完成三个时间序列0,t、t,t+Δ、t+Δ,

的重大事件演化过程状态图。

所述伴随式研判自学习架构包括的学习模式如下：

211)被动统计学习(passive statistical learning)：用大量的数据样本模拟对事件要素P以及关联关系的提取；

212)主动学习(active learning)：在深度学习和挖掘的过程中，若所有事件要素P之间均有关联关系欠拟合时，则机器主动索要更多的样本数据用于自我学习；

213)感知因果学习(perceptual causality)：记录机器学习过程和推导的结果，在发现与实际不符时，通过调整因果模型，改进机器学习模式；

214)因果学习(causal learning)：通过不断的模拟训练，消除过拟合和欠拟合的情况，控制其它变量，从而得到关系明确的因果模型；

215)增强学习(reinforcement learning)：学习决策函数与价值函数，迭代优化上述步骤211)-214)的学习结果。

图2为重大事件演化概率图，用三角形的大致形态以及其变化描述和预测了重大事件在不同的时间维度的整体态势；

每个三角形代表了在机器概念中重大事件在不同时间段的基本形态，其中事件要素由小圆圈表达，如果两个事件要素间存在着关联关系，则会用直线连接。事件过去态势图由图2中左侧三角形表示，表示机器在0到t时间段之间对这个场景的理解的一个解译图，由在这个区域内的代表各事件要素P以及其之间的关联关系决定了该三角形的大体形状；事件当前态势图由中间三角形表示，描述事件演化模型被机器识别时到当前的事件t到t+Δ时间段之间的发展状态，由在这个区域内的事件要素P以及其之间的关联关系决定了其大体形状；事件预测图由右侧三角形表示，表示的是t+Δ到

时间段的解议图，由在这个区域内的事件要素P以及其之间的关联关系决定了三角形的大体形状。

3)研究事件关联与演化分析，通过机器的频繁模式挖掘，获得重大事件3个时间维度下重复的事件要素及其关系；通过这种方式从重大事件发生发展的历史中发掘规律，将历史中蕴含的此类事件的事件要素关联性固化成关键因子，逐渐形成关键因子库；

例如，p1->p2->p8->p4->p5在3种状态下都会发生，p3->p6在重大事件(t，t+Δ)、重大事件(t+Δ，

)状态下会发生，则均为重大事件的频繁项集和频繁子序列。利用关联规则库、L1正则(又称为lasso回归，套索算法)或L2正则(又称为ridge回归，岭回归)或elastic net(弹性网络)算法对过拟合进行纠偏后，也就是说原有的关键因子解空间是全部区域，但通过正则化添加了一些约束，使得解空间变小了，甚至在个别正则化方式下，解空间变得稀疏，使得关键因子的泛化性能大大提高，从而提高了其准确性。

L1正则公式如下，θ>0；

L2正则公式如下，θ>0；

弹性网络公式如下：θ>0，ρ在[0,1]之间；

4)反馈迭代关键因子，在事件结束之后，由事件事实的重大事件演化模型来验证和比对由关键因子预测的重大事件未来态势，标记有效和无效的关键因子，通过设置无效次数阈值，过滤屡次无效的关键因子，确保关键因子预测重大事件的有效性和准确性。

本发明方法对于具有海量数据的重大事件的研判和预测具有重大意义。在智慧城市建设实践中，在自然灾害等重大公共事件发生时，能有效避免人民群众生命财产的损失。针对事件的发生具有离散性的特点，通过挖掘事件、时间、空间、政体、气象等诱因对重大事件的影响，建立多要素预测模型，实现了对重大事件对事件是否发生、事件发生频次、事件发生总体态势的预测。

本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (3)

1.一种基于机器学习的重大事件关键因子挖掘方法，其特征在于，步骤如下：

1)建立重大事件演化模型；

2)对上述重大事件演化模型进行解析，建立基于事件要素的重大事件状态转移图；

3)实现基于关联规则的关键因子提取，对重大事件后续的发展态势进行预测；

所述步骤1)具体为：所述重大事件演化模型包含时间维度及事件要素两个因子；所述时间维度为采集或预测到的及需要表达的时间段，一个时间维度包含一个或多个时间因子；所述事件要素为被抽象提取的事件描述；

所述时间维度分为采集或观察到的及需要表达的代表事件发生时到现在0到t的过去式时间维度、正在发生的t到t+Δ的发生式时间维度、以及未来将要发生的t+Δ到t+l的未来式时间维度；

所述步骤1)中的重大事件演化模型的建立步骤如下：

11)建立重大事件信息库，对重大事件信息数据按照事件类别、事件等级进行分类分级；

12)将网上爬取或政务***中记录的历年重大事件信息录入重大事件信息库；若重大事件原始信息是结构化库表或接口数据，则直接提取结构化库表或接口数据中的字段名称作为事件要素的候选因子；若重大事件原始信息是非结构化文本数据，则采用与固定关键字的类比法将其结构化，结构化后的字段名称作为事件要素的候选因子；

13)时间因子检查和补录：若录入重大事件信息库的事件记录有时间戳，则认为是完整事件演变信息，不做其他操作；若录入重大事件信息库的事件记录全部或部分没有时间戳，则根据同类同级的其它事件信息里的时间戳进行补录；

14)按照事件本体、事件发生因子和事件环境三个维度，过滤描述事件信息的数据字段，确认事件要素；

15)建立重大事件演化模型库；事件要素和时间因子形成重大事件演化模型库的数据字段，将重大事件信息库中数据通过清洗、转换形成重大事件演化模型；

16)将现实世界的知识在机器中形成知识库，通过机器中的知识库，为重大事件演化模型提供能被识别的上下文环境；通过知识库的业务规则以屏蔽错误或者冗余信息；

所述步骤2)具体包括：

21)基于重大事件演化模型，利用知识库提供的业务规则，通过深度学习对事件要素P进行识别、研判和分析；构建基于process-CNN深度学习分类模型，学习样本数据中的事件要素P的深层次特征；基于伴随式研判自学习架构，形成训练-反馈-更新的重大事件模型以及提取其事件要素的循环迭代过程；

22)提取重大事件的事件要素后，通过人工智能深度学习方法，建立各事件要素P之间的关联关系；

23)提取各事件要素P以及各事件要素P之间的关联关系，完成三个时间序列0,t、t,t+Δ、t+Δ,T+l的重大事件演化过程状态图；

用三角形的大致形态以及其变化描述和预测重大事件在不同的时间维度的整体态势；

每个三角形代表在机器概念中重大事件在不同时间段的基本形态，其中事件要素由小圆圈表达，如果两个事件要素间存在着关联关系，则会用直线连接；事件过去态势图，表示机器在0到t时间段之间对这个场景的理解的一个解译图，由在这个区域内的代表各事件要素P以及其之间的关联关系决定了该三角形的大体形状；事件当前态势图，描述事件演化模型被机器识别时到当前的事件t到t+Δ时间段之间的发展状态，由在这个区域内的事件要素P以及其之间的关联关系决定了其大体形状；事件预测图，表示的是t+Δ到t+l时间段的解议图，由在这个区域内的事件要素P以及其之间的关联关系决定了三角形的大体形状。

2.根据权利要求1所述的基于机器学习的重大事件关键因子挖掘方法，其特征在于，所述伴随式研判自学习架构包括的学习模式如下：

211)被动统计学习：用大量的数据样本模拟对事件要素P以及关联关系的提取；

212)主动学习：在深度学习和挖掘的过程中，若所有事件要素P之间均有关联关系欠拟合时，则机器主动索要更多的样本数据用于自我学习；

213)感知因果学习：记录机器学习过程和推导的结果，在发现与实际不符时，通过调整因果模型，改进机器学习模式；

214)因果学习：通过不断的模拟训练，消除过拟合和欠拟合的情况，控制其它变量，从而得到关系明确的因果模型；

215)增强学习：学习决策函数与价值函数，迭代优化上述步骤211)-214)的学习结果。

3.根据权利要求1所述的基于机器学习的重大事件关键因子挖掘方法，其特征在于，所述步骤3)具体包括：

31)研究事件关联与演化分析，从历史的表象中发掘规律，将历史中的相似性和关联性固化成知识，形成关联规则库；

32)通过机器中的频繁模式挖掘，获得重大事件3个时间维度下重复的事件要素及其关系；

33)利用关联规则库、套索算法正则或岭回归正则或弹性网络算法进行一定的纠偏后，机器学习完成了对重大事件关键因子的挖掘。

Images