CN108268632A - 异常情报数据识别机器学习方法 - Google Patents

Abstract

本发明公开了异常情报数据识别机器学习方法，属于情报数据处理领域，主要解决现有异常情报数据识别在实际工程应用中需要人工大量反复调试，难以直接应用的问题。首先收集信源历史情报数据，并对异常数据人工分析研判，形成原始数据库。然后设定训练样本向量构成，特征提取生成异常情报数据识别训练数据集。再进一步拟合情报数据的概率分布，结合有标签数据集迭代生成最佳门限概率，生成异常情报数据识别模型。该***自动训练生成异常情报数据识别模型，完全避免了人工对模型参数的大量调试操作，具有模型生成速度快、实用效果好的优点。

Description

异常情报数据识别机器学习方法

技术领域

本发明隶属于情报数据处理领域，涉及异常情报数据判别式的机器学习生成，适用于情报预处理环节。

背景技术

异常情报数据是在情报预处理中偏离其他观测数据太远，以致可以认为是由不同机制产生的数据。异常情报数据的存在会使得情报数据的处理受到影响，降低情报的准确性、可靠性。由此，对异常情报数据的识别、检测是情报数据处理的前提。目前常用的异常情报数据识别方法主要有基于最小二乘估计、多项式滤波与平滑微分技术以及基于观测模型和状态模型的Kalman实时预报和控制技术等，这些技术方法是研究人员在不同假设下通过推导得到的，在实际应用中存在假设不合理、门限无法确定等问题，需要人工结合情报数据自身特点，利用实测数据对所采用的模型和相应的门限参数进行反复的修改和调试。在缺乏标准化自动化调试步骤和方法的情况下，异常情报数据识别模型调试将耗费人工大量时间和精力，并且调试后的最终识别效果也难以达到最优，因此现有异常情报数据识别方法尚难以解决实际工程中的异常情报数据识别问题，离实际需求还存在一定的差距。

发明内容

本发明的目的是提出异常情报数据识别机器学习方法，旨在解决现有异常情报数据识别方法在实际应用中，需要人工利用实测数据进行反复修改和调试的问题。

本发明所述的异常情报数据识别机器学习方法，具体包括以下技术措施：收集信源的历史情报数据，对信源的情报数据进行人工分析研判，对一条情报记录中确定为异常情报和确定为非异常情报的数据分别进行标记，存储相应的情报数据及人工分析研判结果，形成有标签数据库，剩余未进行标记的情报数据不做处理，形成异常情报数据识别训练原始数据库。设定情报数据训练样本向量构成，基于异常情报数据识别训练原始数据库和有标签数据库，通过特征提取，分别生成无标签数据集及有标签数据集，共同构成异常情报数据识别训练数据集。进一步通过数据可视化观察数据集的分布情况，忽略数据集的标签，选择相应的概率分布对整个异常情报数据识别训练数据集进行概率密度的拟合，使得数据集的每一维数据满足相应的概率分布，进一步得到所拟合的概率密度的参数，并通过数据可视化对数据的拟合情况进行验证。建立异常情报数据判别模型和目标优化函数，利用有标签数据集和所拟合的概率密度，计算有标签数据集中各样本在拟合概率密度中的概率，结合有标签数据集中样本是否异常标签，通过反复迭代使目标函数达到最优，学习生成模型参数，最终得到异常情报数据判别方法。

本发明提出的异常情报数据识别机器学习方法，可基于实测数据，自动训练生成判别方法，完全避免了人工对模型参数的大量调试操作，具有模型生成速度快、实用效果好等优点，所生成的异常情报数据判别方法无需调试可直接用于解决实际工程中的情报数据判别问题。

附图说明

图1是异常情报数据识别机器学习方法流程图；

图2是情报记录中异常情报数据和正常情报数据及训练样本向量构建示意图。

具体实施方式

本发明提出的异常情报数据识别机器学习方法技术方案包括以下步骤：

步骤1：收集信源的历史情报数据，形成异常情报数据识别训练原始数据库，简称为原始数据库；对正常或异常的情报数据进行人工分析标记，存储相应的情报数据及人工标记结果，形成有标签数据库；

步骤1.1：为保证生成的模型具有较强的泛化能力，在对历史情报数据进行收集时，为保证收集数据的多样性，应对不同外部环境及不同工作模式的典型情报数据进行全面收集；

步骤1.2：在形成有标签数据库时，由于难以获得所有情报数据的标签信息，只选取原始数据库中确定为正常情报或异常情报的数据进行标记，并把标记结果与相应情报数据共同存储。

步骤2：根据各情报数据的基本信息，设定情报数据训练样本向量构成，通过特征提取，基于异常情报数据识别训练原始数据库和有标签数据库分别生成无标签数据集D₁及有标签数据集D₂，共同构成异常情报数据识别训练数据集D；

步骤2.1：收集各情报数据的基本信息，情报数据的基本信息包括目标X方向位置x、X方向速度Y方向位置y、Y方向速度航向c变量，以及目标的国别属性d、敌我属性e，表示为

步骤2.2：以情报数据的基本信息为基础，根据情报数据与上一时刻同一对应目标情报数据的差异，构建训练样本向量x；训练样本向量构建方法为计算情报数据i与同一目标前一时刻情报数据差值，得到X方向位置差值Δx_i、X方向速度差值Y方向位置差值Δy_i、Y方向速度差值航向差值Δc_i、国别属性差值Δd_i、敌我属性差值Δe_i，构成情报数据i对应的训练样本向量对于离散属性，在与前一时刻相减时，规定属性相同相减为0，属性不同相减为1，进一步通过非线性函数或核函数得到高维或无限维特征向量；

步骤2.3：根据有标签数据库中情报数据的标签对所构建的训练样本向量进行标记，当该情报数据和前一情报数据均为正常情报数据时，则相减所得的训练样本向量标签记为正常，当其中至少一个情报数据为异常情报数据时，则该训练样本向量的标签记为异常；为保证训练样本的多样性，在前一情报数据为异常情报数据时，应进一步舍弃该异常情报数据与前一相近的正常情报数据相减构建新的训练样本向量，见图二向量x₅'和向量x₇'的构建；

步骤2.4：根据训练样本向量的构建方法，将原始数据库中的情报数据构建成训练样本向量，得到无标签数据集D₁；将有标签数据库中被标记的情报数据构建成训练样本向量，得到有标签数据集D₂，共同构成异常情报数据识别训练数据集D。

步骤3：对异常情报数据识别训练数据集D采用数据可视化，拟合异常情报数据识别训练数据集D的概率密度p_D，并完成对所拟合的概率密度的参数估计；

步骤3.1：通过数据可视化，针对训练样本中分布规律的特征，选择相应的概率分布模型对样本特征进行概率分布拟合，得到概率密度函数p_D，并通过数据可视化对数据的拟合情况进行验证；

当情报数据特征呈现单峰分布时，选择高斯分布，当呈现多峰分布时，选择混合高斯模型，属性特征呈现伯努利分布，其拟合分布选择0-1分布模型；

步骤3.2：基于无标签训练数据，采用相应的方法，对拟合的概率分布参数进行估计；

对于高斯分布，通过公式(1)和(2)得到所拟合高斯分布的均值μ＝(μ₁,μ₂,...,μ_n)和方差σ²＝(σ₁ ²,σ₂ ²,...,σ_n ²)

其中N表示总样本数量，n表示样本向量的维度；对混合高斯模型，通过K均值和EM算法进行参数估计；对离散分布，通过最大似然估计和贝叶斯估计进行参数估计。

步骤4：建立异常情报数据二元分类判别模型，同时建立模型参数优化目标函数，并进一步利用有标签数据集训练学习生成模型参数，得到最佳门限概率ε_best，生成异常情报数据判别方法；

步骤4.1：建立异常情报数据二元分类判别模型，其判别函数为：

若判别函数y(x⁽ⁱ⁾)等于1，则样本数据为异常数据；若等于0，则为正常数据；其中，为待判断数据样本x⁽ⁱ⁾在p_D中的概率，ε_best为最佳门限概率，为待学习的模型参数；1{A}为指示函数；

步骤4.2：进一步对判别模型中的参数最佳门限概率进行求解，建立目标函数F，

其中，

tp表示标签显示为异常数据且算法判断为异常数据的样本数量，fp表示标签显示为正常数据但算法误判为异常数据的样本数量，fn表示标签显示为异常数据但算法误判为正常数据的样本数量，其计算公式如下：

其中，prediction为算法判定结果，为训练数据集中每一数据样本x^(j)在p_D中的概率，为训练数据集中每一数据样本的标签，见公式(12)；

步骤4.3：利用有标签数据集D₂，训练学习生成模型参数，得到最佳门限概率ε_best；

步骤4.3.1：取目标函数F的初值为0，最佳目标函数F_best的初值为0，最佳门限概率ε_best的初值为min(p_D2)，取ε的迭代步长step＝(max(p_D2)-min(p_D2))/1000；

步骤4.3.2：判断与ε_best的大小，由公式(11)得到prediction值，根据公式(8)(9)(10)计算tp、fp、fn的值，由公式(6)和公式(7)计算prec和rec的值，最终由公式(5)得到目标函数F的值；

步骤4.3.3：判断F>F_best是否成立，成立则更新F_best＝F，ε_best＝ε，ε＝ε+step；

步骤4.3.4：重复步骤4.3.2和步骤4.3.3，直至ε迭代至max(p_D2)，得到最佳门限概率ε_best和最佳目标函数值F_best；

步骤4.4：最终，生成异常情报数据机器学习方法和异常情报数据的判别模型。

Claims (5)

1.异常情报数据识别机器学习方法，其特征在于，包括以下步骤：

步骤1：收集信源的历史情报数据，形成异常情报数据识别训练原始数据库，简称为原始数据库；对正常或异常的情报数据进行人工分析标记，存储相应的情报数据及人工标记结果，形成有标签数据库；

步骤2：根据各情报数据的基本信息，设定情报数据训练样本向量构成，通过特征提取，利用原始数据库生成无标签数据集D₁，利用有标签数据库生成有标签数据集D₂，共同构成异常情报数据识别训练数据集D；

步骤3：对异常情报数据识别训练数据集D采用数据可视化，拟合异常情报数据识别训练数据集D的概率密度p_D，并完成对所拟合的概率密度的参数估计；

步骤4：建立异常情报数据二元分类判别模型，同时建立模型参数优化目标函数，进一步利用有标签数据集训练学习生成模型参数，得到最佳门限概率ε_best，生成异常情报数据判别方法。

2.如权利要求1所述的异常情报数据识别机器学习方法，其特征在于，所述步骤1具体包括以下子步骤：

步骤1.1：为保证生成的模型具有较强的泛化能力，在对历史情报数据进行收集时，应保证收集数据的多样性，对不同外部环境及不同工作模式的典型情报数据进行全面收集；

步骤1.2：在形成有标签数据库时，由于难以获取所有情报数据的标签信息，只选取原始数据库中确定为正常情报或异常情报的数据进行标记，并把标记结果与相应情报数据共同存储。

3.如权利要求1所述的异常情报数据识别机器学习方法，其特征在于，所述步骤2具体包括以下子步骤：

步骤2.1：收集各情报数据基本信息，情报数据的基本信息包括目标X方向位置x、X方向速度Y方向位置y、Y方向速度航向c变量，以及目标的国别属性d、敌我属性e，表示为

步骤2.2：以情报数据的基本信息为基础，根据情报数据与上一时刻同一对应目标情报数据的差异，构建训练样本向量x；训练样本向量构建方法为计算情报数据i与同一目标前一时刻情报数据差值，得到X方向位置差值Δx_i、X方向速度差值Y方向位置差值Δy_i、Y方向速度差值航向差值Δc_i、国别属性差值Δd_i、敌我属性差值Δe_i，构成情报数据i对应的训练样本向量对于离散属性，在与前一时刻相减时，规定属性相同相减为0，属性不同相减为1，进一步通过非线性函数或核函数得到高维或无限维特征向量；

步骤2.3：根据有标签数据库中情报数据的标签对所构建的训练样本向量进行标记，当该情报数据和前一情报数据均为正常情报数据时，则相减所得的训练样本向量标签记为正常，当其中至少一个情报数据为异常情报数据时，则该训练样本向量的标签记为异常；为保证训练样本的多样性，在前一情报数据为异常情报数据时，应进一步舍弃该异常情报数据与前一相近的正常情报数据相减构建新的训练样本向量；

步骤2.4：根据训练样本向量的构建方法，将原始数据库中的情报数据构建成训练样本向量，得到无标签数据集D₁；将有标签数据库中被标记的情报数据构建成训练样本向量，得到有标签数据集D₂，共同构成异常情报数据识别训练数据集D。

4.如权利要求1所述的异常情报数据识别机器学习方法，其特征在于，所述步骤3具体包括以下子步骤：

步骤3.1通过数据可视化，针对训练样本中分布规律的特征，选择相应的概率分布模型对样本特征进行概率分布拟合，得到概率密度函数p_D，并通过数据可视化对数据的拟合情况进行验证；

当情报数据特征呈现单峰分布时，选择高斯分布，当呈现多峰分布时，选择混合高斯模型，属性特征呈现伯努利分布，其拟合分布选择0-1分布模型；

步骤3.2：基于无标签训练数据，采用相应的方法，对拟合的概率分布参数进行估计；

对于高斯分布，通过公式(1)和(2)得到所拟合高斯分布的均值μ＝(μ₁,μ₂,...,μ_n)和方差σ²＝(σ₁ ²,σ₂ ²,...,σ_n ²)

其中N表示总样本数量，n表示样本向量的维度；对混合高斯模型，通过K均值和EM算法进行参数估计；对离散分布，通过最大似然估计和贝叶斯估计进行参数估计。

5.如权利要求1所述的异常情报数据识别机器学习方法，其特征在于，所述步骤4具体包括以下子步骤：

步骤4.1：建立异常情报数据二元分类判别模型，其判别函数为：

若判别函数y(x⁽ⁱ⁾)等于1，则样本数据为异常数据；若等于0，则为正常数据；其中，为待判断数据样本x⁽ⁱ⁾在p_D中的概率，ε_best为最佳门限概率，为待学习的模型参数；1{A}为指示函数；

步骤4.2：进一步对判别模型中的参数最佳门限概率进行求解，建立目标函数F，

其中，

tp表示标签显示为异常数据且算法判断为异常数据的样本数量，fp表示标签显示为正常数据但算法误判为异常数据的样本数量，fn表示标签显示为异常数据但算法误判为正常数据的样本数量，其计算公式如下：

其中，prediction为算法判定结果，为训练数据集中每一数据样本x^(j)在p_D中的概率，为训练数据集中每一数据样本的标签，见公式(12)；

步骤4.3：利用有标签数据集D₂，训练学习生成模型参数，得到最佳门限概率ε_best；

步骤4.3.1：取目标函数F的初值为0，最佳目标函数F_best的初值为0，最佳门限概率ε_best的初值为min(p_D2)，取ε的迭代步长step＝(max(p_D2)-min(p_D2))/1000；

步骤4.3.2：判断与ε_best的大小，由公式(11)得到prediction值，根据公式(8)(9)(10)计算tp、fp、fn的值，由公式(6)和公式(7)计算prec和rec的值，最终由公式(5)得到目标函数F的值；

步骤4.3.3：判断F>F_best是否成立，成立则更新F_best＝F，ε_best＝ε，ε＝ε+step；

步骤4.3.4：重复步骤4.3.2和步骤4.3.3，直至ε迭代至max(p_D2)，得到最佳门限概率ε_best和最佳目标函数值F_best；

步骤4.4：最终，生成异常情报数据机器学习方法和异常情报数据的判别模型。