CN109284320A

CN109284320A - 大数据平台上的自动回归诊断方法

Info

Publication number: CN109284320A
Application number: CN201810933414.8A
Authority: CN
Inventors: 张毅骏; 张瑞瑞; 陈远猷; 张瀚潇
Original assignee: Shanghai Mingji Data Technology Co Ltd
Current assignee: Shanghai Para Software Co.,Ltd.
Priority date: 2018-08-15
Filing date: 2018-08-15
Publication date: 2019-01-29
Anticipated expiration: 2038-08-15
Also published as: CN109284320B

Abstract

本发明涉及一种大数据平台上的自动回归诊断方法，其特征在于，包括以下步骤：将数据源导入到大数据平台上；对导入大数据平台的数据进行放回样本的随机抽样；在各个节点上，分别利用核心算法对随机抽样得到的每份样本进行计算，得到每份样本所对应的回归模型；对得到的各回归模型进行交叉验证，计算得到最终的回归模型。采用本发明提供的方法后，回归建模能完全自动化进行，即回归诊断的工作由算法直接完成，无需投入大量的建模成本，提升回归建模与诊断的效率。

Description

大数据平台上的自动回归诊断方法

技术领域

本发明涉及一种对大数据平台上的线性回归模型进行自动模型诊断的方法。

背景技术

无论是在应用统计、数据分析，还是在现在比较热门的大数据分析等领域，线性回归模型由于其建模过程简单、解释方便，成为了最经典、最普遍和最常用的模型之一。然而，在进行线性回归建模时，人们难免需要对线性回归模型进行模型诊断。

所谓回归模型是指：利用历史数据中的自变量与对应的因变量，建立形如Y＝a(1)*X(1)+a(2)*X(2)+a(3)*X(3)+...+b的模型，其中，Y是因变量，各X(1)，X(2)，X(3)，...是自变量，不同的X代表不同的数据维度，并利用该模型在给定自变量的情况下，预测对应的因变量的值。这样的建模方法得到的数学模型称为回归模型。

在进行线性回归建模时，在回归模型中，构建最终模型需要经过一个所谓回归诊断的过程。在这个过程中，需要对模型、数据和记录进行方方面面的修正，从而使得最终的模型不但可靠而且具有较强的解释性。现有的线性回归模型诊断工作需要手动完成，专业的统计工程师与大量数据之间要进行交互，意味着大量的时间和较为专业的统计工程师的成本。

发明内容

本发明的目的是：在进行线性回归建模时，完全自动化地完成回归建模工作。

为了达到上述目的，本发明的技术方案是提供了一种大数据平台上的自动回归诊断方法，其特征在于，包括以下步骤：

步骤1、将数据源导入到大数据平台上，大数据平台中每台用于计算的服务器为一个节点；

步骤2、确定数据抽样个数和每份样本大小后，对导入大数据平台的数据进行放回样本的随机抽样；

步骤3、在各个节点上，分别利用核心算法对随机抽样得到的每份样本进行计算，得到每份样本所对应的回归模型；

步骤4、对步骤3得到的各回归模型进行交叉验证，计算得到最终的回归模型，其中，步骤3中所述的核心算法包括以下步骤：

步骤301、设定迭代停止条件；

步骤302、对当前样本的数据进行线性模型的拟合；

步骤303、计算步骤302得到的模型的指标，判断指标是否满足步骤301所设的迭代停止条件，若满足，则将模型作为当前样本对应的回归模型输出，若不满足，则进入步骤304；

步骤304、对每个自变量单独求取当前自变量对因变量对应的Box-Cox转换的转换系数，利用转换系数的均值，对因变量进行Box-Cox转换；

步骤305、计算方差膨胀系数，删除自变量中方差膨胀系数大于等于设定阈值的自变量；

步骤306、计算AIC指标的中位数，删除自变量中AIC指标大于AIC指标中位数的自变量；

步骤307、计算偏R平方，保留自变量中偏R平方小于等于A1且大于等于A2的自变量，A1、A2为预先设定的阈值；

步骤308、计算样本数据中所有数据的学生氏残差的B％分位数，B为预先设定的阈值，删除样本数据中学生氏残差大于所有数据的学生氏残差的B％分位数的数据；

步骤309、计算样本数据中所有数据的删后残差，并计算所有数据删后残差的B％分位数，删除删后残差大于所有数据删后残差的B％分位数的数据；

步骤310、计算样本数据中所有数据的杠杆值，并计算所有数据杠杆值的B％分位数，删除杠杆值大于所有数据杠杆值的B％分位数的数据；

步骤311、计算样本数据中各数据的库克距离，并计算所有数据的库克距离C％分位数，C为预先设定的阈值，且C＞B，删除库克距离大于所有数据的库克距离C％分位数的数据；

步骤312、对当前样本中剩余的数据进行线性模型的拟合，若遍历所有样本，则返回步骤4，若未遍历所有样本，则返回步骤3。

如权利要求1所述的一种大数据平台上的自动回归诊断方法，其特征在于，在所述步骤301中，所述迭代停止的条件包括模型的R平方和模型的均差误。

采用本发明提供的方法后，回归建模能完全自动化进行，即回归诊断的工作由算法直接完成，无需投入大量的建模成本，提升回归建模与诊断的效率。

附图说明

图1为本发明的总体流程图；

图2为本发明的核心算法流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

常用的回归模型的评价指标包括：

R平方：

通过回归方程得出的因变量有百分之多少可以被自变量所解释，是常用的判断模型的拟合程度的指标。R平方的取值范围为0到1之间。

判断标准：对于回归模型，R平方的值越大，模型的拟合程度越好。当R平方越接近1时，表示相关的方程式参考价值越高；相反，R平方越接近0时，表示参考价值越低。

校正R平方：

类似于R平方，只是在多元回归中，随着自变量个数的增加，R平方将不断增大，这种情况下忽略了自变量个数对模型的负面影响。校正R平方一定程度上克服了这种弊端，当往模型里添加无关自变量时，校正决定系数可能变小。校正R平方的取值范围为0到1之间。

判断标准：类似于R平方，校正R平方的值越大，模型的拟合程度越好。当校正R平方越接近1时，表示相关的方程式参考价值越高；相反，校正R平方越接近0时，表示参考价值越低。

均方误差：

该指标综合考虑模型的准确性和稳定性，避免模型的结果在两者中走极端，即特别准确但稳定性欠佳或者特别稳定但准确度不够。

判断标准：对于一个模型来说，均方误差越小，说明该模型得到的结果越可靠；如果均方误差过大，则可以作为一个充分的理由说明模型的结果缺乏可靠性。

残差平方：

利用数据的真实值与模型给出的估计值进行比较得到的差称为模型的残差，而所谓残差平方是将整个模型中所有的残差进行平方后求和，意在于度量模型的估计值与数据的真实值之间的差别。

判断标准：对于一个模型来说，残差平方越接近于0，则说明模型的估计值与数据的真实值之间的差别越小，从一个方面说明模型越准确；如果残差平方特别大，则说明模型的估计值与数据的真实值之间的差别较大，从一个方面说明模型不准确。

常用的回归诊断的指标包括：

复杂度系数：

该指标利用筛选自变量子集来控制有效控制参数数量，从而达到优化模型的目的。

判断标准：对于一个给定的模型，复杂度系数值越小模型的准确性越高。

AIC：

通过加入模型复杂度的惩罚项来避免过拟合问题。一般而言，当模型复杂度提高(k增大)时，似然函数L也会增大，从而使AIC变小，但是k过大时，似然函数增速减缓，导致AIC变大，模型过于复杂容易造成过拟合现象。AIC引入惩罚项，使模型参数尽可能少，有助于降低过拟合的可能性。

判断标准：对于一个给定的模型，模型的AIC越小，从一方面说明模型的过拟合可能性越小。模型的AIC特别大时，说明模型存在较为明显的过拟合情况。

BIC：

类似于AIC，只是BIC的惩罚项比AIC的大，当样本个数大于等于8时，BIC大于AIC，因此BIC适用于更简约的模型。

判断标准：类似于AIC，对于一个给定的模型，模型的BIC越小，从一方面说明模型的过拟合可能性越小。模型的BIC特别大时，说明模型存在较为明显的过拟合情况。

偏R平方：

在多元回归模型中，针对某一维度的自变量X(k)，计算在其他自变量都给定的情况下，自变量X(k)对因变量的R平方，该R称为自变量X(k)的偏决定系数，主要用于评判自变量X(k)在回归模型中对因变量解释的贡献度。

判断标准：当自变量X(k)的偏决定系数较大时，一般建议在模型中保留自变量X(k)。当自变量X(k)的偏决定系数较小时，有理由怀疑自变量X(k)不应当被纳入模型的变量集中。

方差膨胀系数：

在多元回归模型中，方差膨胀系数指标主要是用来衡量模型的多重共线性情况的。所谓回归模型的多重共线性强指的是，在回归模型中，自变量内部存在较为明显的回归关系，在建立回归模型时应当尽量避免这种情况的发生。

判断标准：当方差膨胀系数较小时，一般认为模型中几乎不存在多重共线性现象；相反，当方差膨胀系数较大时，有理由怀疑模型中存在较强的多重共线性现象。

学生氏残差：

在多元回归模型中，残差指的是数据的真实值与模型的估计值的差，而学生氏残差指的是标准化后的残差，这样的标准化的目的是减少残差的标准差，从而更客观的反应数据的真实值与模型的估计值的差别。

判断标准：当某条数据的学生氏残差较小时，有理由认为该条数据不属于自变量集合中的异常值；而当某条数据的学生氏残差较大时，有理由怀疑该条数据可能是自变量集合中的异常值，需要进行异常值处理。

删后残差：

对某一条数据而言，其删后残差是指保留该条数据后建立的回归模型的估计值与删除该条数据后见的回归模型的估计值的差别。某条数据的删后残差主要用于评价该条在整体数据中的偏离程度。

判断标准：当某条数据的删后残差较小时，有理由认为该条数据不属于自变量集合中的异常值；而当某条数据的删后氏残差较大时，有理由怀疑该条数据可能是自变量集合中的异常值，需要进行异常值处理。

杠杆值：

在多元回归模型中，某条数据的杠杆值指的是该条数据在估计矩阵中的对角线值，杠杆值衡量的是数据对自变量集合的偏离程度。

判断标准：当某条数据的杠杆指较小时，有理由认为该条数据不属于自变量集合中的异常值；而当某条数据的杠杆指较大时，有理由怀疑该条数据可能是自变量集合中的异常值，需要进行异常值处理。

库克距离：

判断标准：当某条数据的库克距离较小时，有理由认为该条数据不属于自变量集合中的异常值；而当某条数据的库克距离较大时，有理由怀疑该条数据可能是自变量集合中的异常值，需要进行异常值处理。

基于上述知识，如图1所示，本发明提供的一种大数据平台上的自动回归诊断方法，其特征在于，包括以下步骤：

步骤1、利用大数据工具将数据源导入到大数据平台上，大数据平台中每台用于计算的服务器为一个节点。大数据工具指的是在大数据平台上部署的用于数据存储，数据处理和数据分析的软件，这些软件的设计不但考虑到高维度高容量数据的特点，也考虑了大数据平台本身的特性。常见的大数据工具包括Spark、Impala、Hive和Data Lake等。

步骤2、确定数据抽样个数和每份样本大小后，对导入大数据平台的数据进行放回样本的随机抽样。在建立统计模型的时候，往往不使用全量的数据进行建模，而是使用全量数据中的部分数据进行建模，从全量数据中得到部分数据的过程称之为抽样。而为了使得到的模型更具一般性，在进行抽样时，也需要遵照某些科学方法，这样的抽样往往称作统计抽样。

步骤3、在各个节点上，分别利用核心算法对随机抽样得到的每份样本进行计算，得到每份样本所对应的回归模型。

步骤4、对步骤3得到的各回归模型进行交叉验证，计算得到最终的回归模型。交叉验证是指：在建立统计模型的过程中，往往要验证统计模型的准确性和稳定性。交叉验证方法是验证模型准确性和稳定性的一种广泛应用的方法，其主要思想是对全量数据进行有限次的统计抽样，再在每份样本上进行统计建模，比较各个模型的输出结果，从而找出最终的模型。

如图2所示，步骤3中所述的核心算法包括以下步骤：

步骤301、设定迭代停止条件，包括设置模型目标的R平方和模型目标的均差误。

步骤302、对当前样本的数据进行线性模型的拟合。

步骤303、计算步骤302得到的模型的指标，判断判断模型的R平方和模型的均差误是否是否满足步骤301所设的迭代停止条件，若满足，则将模型作为当前样本对应的回归模型输出，若不满足，则进入步骤304。

步骤304、对每个自变量单独求取当前自变量对因变量对应的Box-Cox转换的转换系数，利用转换系数的均值，对因变量进行Box-Cox转换。

步骤305、计算方差膨胀系数，删除自变量中方差膨胀系数大于等于10的自变量。

步骤306、计算AIC指标的中位数，删除自变量中AIC指标大于AIC指标中位数的自变量。

步骤307、计算偏R平方，保留自变量中偏R平方小于等于0.95且大于等于0.60的自变量。

步骤308、计算样本数据中所有数据的学生氏残差的75％分位数，B为预先设定的阈值，删除样本数据中学生氏残差大于所有数据的学生氏残差的75％分位数的数据。数据的分位数指的是将数据从小到大按顺序排列后的该位置的数值。比如，数据的90％分位数指的是数据从小到大按顺序排列后，最大的前10％的数据的数值。

步骤309、计算样本数据中所有数据的删后残差，并计算所有数据删后残差的75％分位数，删除删后残差大于所有数据删后残差的75％分位数的数据.

步骤310、计算样本数据中所有数据的杠杆值，并计算所有数据杠杆值的75％分位数，删除杠杆值大于所有数据杠杆值的75％分位数的数据。

步骤311、计算样本数据中各数据的库克距离，并计算所有数据的库克距离90％分位数，删除库克距离大于所有数据的库克距离90％分位数的数据。

Claims

1.一种大数据平台上的自动回归诊断方法，其特征在于，包括以下步骤：

步骤301、设定迭代停止条件；

步骤302、对当前样本的数据进行线性模型的拟合；

2.如权利要求1所述的一种大数据平台上的自动回归诊断方法，其特征在于，在所述步骤301中，所述迭代停止的条件包括模型的R平方和模型的均差误。