CN105005575A - 一种企业智能预测快速开发接口方法 - Google Patents

Abstract

本发明公开了一种企业智能预测快速开发接口方法。针对企业智能预测建模过程与智能预测应用的紧密结合影响了数据挖掘技术的广泛使用，需要一种体系架构可以实现服务提供者与服务消费者之间的松散耦合。本发明的方案为：首先由智能预测建模工具构建企业所需预测模型，之后将预测模型以XML文件接口发布，最后由第三方应用调用模型结果，实现企业级智能预测应用。本发明通过XML模型接口文件方式为第三方应用提供数据挖掘服务，从而大大降低数据挖掘的使用难度，以一种耦合度极低的方式实现数据挖掘与第三方软件有效集成。实现了服务消费者动态绑定不同的服务提供者，从而实现了在数据挖掘应用中数据挖掘服务的整合。

Description

一种企业智能预测快速开发接口方法

技术领域

本发明涉及企业级数据挖掘技术应用领域，具体涉及一种企业构建预测模型并快速调用模型接口的方法。

背景技术

随着电子商务的普及，各大商务网站已经大规模使用数据挖掘技术，并且迅速从中取得商业价值。比如，国内好多网上商城已经开始使用数据挖掘技术进行客户聚类或者商品关联推广。另外，搜索引擎企业使用数据挖掘技术的需求也非常迫切。从技术角度讲，他们需要使用数据挖掘算法发现Web页面之间的关联与结构关系，更好的进行网页推送；从商务角度讲，各大搜索引擎需要取得更多的广告收入，需要对点击流量数据进行分析，以实现最大的商业利润。

总的来说，企业中积累的数据规模越来越庞大。如何有效地利用历史数据，挖掘出价值的分析信息，从而帮助企业能够对未来变化作出及时正确的决策，最终在激烈的市场竞争中占据主动，已经成为当前企业越来越迫切想要解决的问题。跟国外相比，我国由于信息化程度不高，企业内部信息不完整，零售业、银行、保险、证券等对数据挖掘的应用并不太理想。但随着市场竞争的加剧，各行业对数据挖掘技术的意愿越来越显得强烈，可以预计，未来几年各行业的数据分析应用一定会从传统的统计分析发展到大规模数据挖掘应用。这种趋势不仅要求数据仓库建模和数据挖掘等技术应用做实质性推广，而且要求数据挖掘技术与基础技术相融合，结合企业已有的各种信息***进行专有数据挖掘。而中小企业欠缺自有的数据挖掘工具，面对不断增长的海量数据，中小企业当初的信息化建设设备已不能满足需要。如何在不增加太多建设成本的情况下，将自身的数据挖掘出优势，企业都在深入思考，在是否增加投入间犹豫徘徊。这些数据五花八门，凌乱且海量，这些都对数据挖掘软件的技术框架和应用模式提出了新的要求。

随着应用和技术的发展，企业中不同信息***之间的交互越来越频繁，***的架构必须能够适应企业未来进行数据集成和业务集成的要求。另外，数据挖掘建模过程与挖掘应用的紧密结合影响了数据挖掘应用和数据挖掘工具的广泛使用, 这也需要一种体系架构可以实现服务提供者与服务消费者之间的松散耦合。

发明内容

本发明提供了一种企业智能预测快速开发接口方法，是基于标准XML接口，第三方应用通过该接口模型文件，实现企业级数据挖掘应用的快速开发。

为实现上述目的，本发明的技术方案为：

一种企业智能预测快速开发接口方法，其特征在于包括如下步骤：

（1）创建企业智能预测方案：根据企业智能预测需求，在数据挖掘建模平台创建企业智能预测方案；

（2）加载建模样本数据 激活创建的预测方案，加载预处理好的建模样本数据；

（3）模型构建：在建模平台选择预测算法进行模型构建；

（4）模型发布：构建的模型以XML文件发布；

（5）模型调用：对发布的XML预测模型文件，可直接供第三方应用调用；

（6）模型优化与重构：当模型预测效果达不到预期精度时，重构模型并重新发布模型。

所述建模平台设置为一独立模块，包括方案管理、专家样本管理、模型训练、模型验证和模型发布的功能。

所述建模平台集成了常用的建模算法，包括朴素贝叶斯网络、贝叶斯信念网络、决策表、CART决策树、ID3决策树、C4.5决策树、BP神经网络、LM神经网络、RBF神经网络、FNN神经网络、ANFIS神经网络、WNN神经网络、线性回归、逐步回归、逻辑回归、保序回归、AdaBoostM1算法、KStar算法、SVM支持向量机和K-最近邻分类。

所述步骤（3）的详细过程为：将建模样本数据随机选取80%作为训练集，并从建模平台中选择一个或多个算法进行模型训练，训练完成后，用另20%样本用于模型检验。

所述步骤（4）的详细过程为：经检验合格的模型，通过选择“发布模型”生成XML模型文件。

所述步骤（5）中的模型调用支持包括VB、VC、PB、Dephi、C#、.NET和JAVA在内的开发环境。

所述步骤（6）的重构模型和重新发布模型，是指当模型预测效果达不到预期精度时，重新在建模平台中导入新的建模样本数据并重构模型，经验证合格后再重新发布模型，重新发布模型只需将新的模型文件替换原来的模型文件。

上述方法首先由智能预测建模工具构建企业所需预测模型，之后将预测模型以XML文件接口发布，最后由第三方应用调用模型结果，实现企业级智能预测应用。利用该方法提供的的二次开发接口，用户通过简单的配置，并补充必要的业务处理就可以快速定制出大型企业级智能预测分析应用。本发明具有以下优点：

（1）基于标准XML接口，一方面能够适应企业数据挖掘应用***的需求调整和应用提升，另一方面能符合未来技术发展的趋势，为第三方数据挖掘应用集成提供标准服务；

（2）通过模型接口方式为第三方应用提供数据挖掘服务，从而大大降低数据挖掘的使用难度，以一种耦合度极低的方式实现数据挖掘与第三方软件有效集成；实现了服务消费者动态绑定不同的服务提供者，从而实现了在数据挖掘应用中数据挖掘服务的整合；

（3）本发明适应范围广，可广泛运用在金融业，保险业，电信业，证券业，制造业，零售业，生物制药等各行业。

附图说明

图1是本发明所述的一种企业智能预测快速开发接口方法的总体流程。

图2 是本发明所述的一种企业智能预测快速开发接口方法的建模与接口调用关系。

图3 是本发明所述的一种企业智能预测快速开发接口方法的模型构建流程。

图4是防窃漏电评价指标体系。

具体实施方式

下面结合附图和BP神经网络算法对本发明的技术方案进行详细的说明。

如图1和图2所示，本发明所述的一种企业智能预测快速开发接口方法，包括如下步骤：首先在建模平台创建企业智能预测方案，然后将准备好的建模样本数据导入该方案，再在建模平台选择预测算法进行模型构建，构建的模型以XML文件发布，第三方应用通过该接口模型文件，实现企业级数据挖掘应用的快速开发。

建模平台设置为一独立模块，包括方案管理、专家样本管理、模型训练、模型验证和模型发布的功能。

建模平台集成了常用的建模算法，如朴素贝叶斯网络、贝叶斯信念网络、决策表、CART决策树、ID3决策树、C4.5决策树、BP神经网络、LM神经网络、RBF神经网络、FNN神经网络、ANFIS神经网络、WNN神经网络、线性回归、逐步回归、逻辑回归、保序回归、AdaBoostM1算法、KStar算法、SVM支持向量机和K-最近邻分类等。

具体步骤如下：

步骤1：创建企业智能预测方案：根据企业智能预测需求，在建模平台创建预测方案；

步骤2：加载建模样本数据：激活创建的预测方案，加载预处理好的建模样本数据；

步骤3：模型构建：从建模平台中选择BP神经网络算法（或其它算法）对选定的样本数据进行模型训练并评价模型效果。实际使用中，需要对已经训练好的网络进行测试，即用一组与训练样本不完全相同的测试样本数据输入到已经训练好的网络中，计算其得到的结果是否在规定的精度范围内，建模过程如图3所示。

为了介绍的方便，先定义下面向量和变量：

输入向量                                                ；

隐含层输入向量；

隐含层输出向量；

输出层输入向量；

输出层输出向量；

期望输出向量；

输入层与中间层的连接权值；

隐含层与输出层的连接权值；

隐含层各神经元的阈值；

输出层各神经元的阈值；

样本数据个数

激活函数。

所述的步骤3具体实现步骤如下：

S3.1网络初始化给、、和分别赋一个区间(-1,1)内的随机数，设定误差函数，给定计算精度值和最大学习次数；

S3.2随机选取第个输入样本及对应的期望输出；

S3.3计算隐含层各神经元的输入，然后用和激活函数计算隐含层各神经元的输出；

                                    

 

                                    

                                        

S3.4利用网络期望输出向量，网络的实际输出，计算误差函数对输出层的各神经元的偏导数，

                

S3.5利用隐含层到输出层的连接权值、输出层的和隐含层的输出计算误差函数对隐含层各神经元的偏导数；

                    

S3.6利用输出层各神经元的和隐含层各神经元的输出来修正连接权值和阈值，

                  

                    

式中，表示调整前，表示调整后，为学习率，在(0,1)之间取值；

S3.7使用隐含层各神经元的和输入层各神经元的输入修正连接权和阈值，

                                 

                                 

S3.8计算全局误差

 

S3.9判断网络误差是否满足要求 当或学习次数大于设定的最大次数，则结束算法。否则，随机选取下一个学习样本及对应的期望输出，返回到第3步，进入下一轮学习过程。

步骤4：模型发布：对于检验合格的模型，通过“发布模型”生成XML模型文件。XML模型文件示例如下：

<？ xml version="1.0" encoding="UTF-8"？>

<net>

<inNodePoint>5</inNodePoint>

<hiddenNodePoint>6</hiddenNodePoint>

<outNodePoint>1</outNodePoint>

<toHiddenFunc>purelin</toHiddenFunc>

<toOutFunc>tansig</toOutFunc>

<toHiddenWeight1>   -0.1270  -4.6935  -6.3104 -12.4372  -6.4823</toHiddenWeight1>

<toHiddenWeight2>   -1.5449  -3.8611  -5.6794  -9.4634  -4.8803</toHiddenWeight2>

<toHiddenWeight3>   -1.4783  -6.0146  -8.8709 -15.1786  -7.3042</toHiddenWeight3>

<toHiddenWeight4>    0.8520   9.6811  13.8141  26.6334  13.7302</toHiddenWeight4>

<toHiddenWeight5>    1.4993   9.3171  12.5671  22.9414  11.7810</toHiddenWeight5>

<toHiddenWeight6>    0.1773  -4.4971  -6.3788  -9.7846  -5.2757</toHiddenWeight6>

<toHiddenThreshold>   -0.5387

                        -0.8213

                        -2.5992

                         3.3246

                    3.1803

                        -1.5261</toHiddenThreshold>

<toOutWeight>25.3992  -1.7717  20.1824  18.4815  18.7763  -14.0123</toOutWeight>

<toOutThreshold>4.4975</toOutThreshold>

</net>

步骤5：模型调用：模型发布后，根据集成环境需要，可通过VB、VC、PB、Dephi、C#、.NET、JAVA等不同开发语言来调用。模型调用非常简单，以下为模型调用示例：

y=myFunction（String p,String modelTdm）

式中：

myFunction—调用接口函数名

p—模型输入

modelTdm—模型文件

y—模型预测输出

步骤6：模型优化与重构：模型发布后，当预测效果达不到预期精度时，可重新在建模平台中导入新的建模样本数据并重构模型，经验证合格后可重新发布模型，重新发布模型只需将新的模型文件替换原来的模型文件。

应用实验例

传统的防窃漏电方法主要通过定期巡检、定期校验电表、用户举报窃电等手段来发现窃电或计量装置故障。但这种方法对人的依赖性太强，抓窃查漏的目标不明确。目前很多供电局主要通过营销稽查人员、用电检查人员和计量工作人员利用计量异常报警功能和电能量数据查询功能开展用户用电情况的在线监控工作，通过采集电量异常、负荷异常、终端报警、主站报警、线损异常等信息，建立数据分析模型，来实时监测窃漏电情况和发现计量装置的故障。根据报警事件发生前后客户计量点有关的电流、电压、负荷数据情况等，构建基于指标加权的用电异常分析模型，实现检查客户是否存在窃电、违章用电及计量装置故障等。

以上防窃漏电的诊断方法，虽然能获得用电异常的某些信息，但由于终端误报或无用信息太多，无法达到真正快速精确定位窃漏电嫌疑用户和计量故障的目的，往往令稽查工作人员无所适从。而且在采用这种方法建模时，模型各输入指标权重的确定需要用专家的知识和经验，具有很大的主观性，存在明显的缺陷，所以实施效果往往不尽如人意。通过本专利提供的方法，能快速构建出评价模型，实现防窃漏电自动诊断。

下面介绍如何应用本发明专利提供的方法实现防窃漏电诊断建模和模型调用。

模型构建

step1：构建评价指标体系，防窃漏电评价指标主要包括电量类指标、负荷类指标、线损类指标和报警类指标等，评价指标体系具体见图4。

1）电量类指标，为日用电量移动平均后做差分，统计连续变化量。

2）负荷类指标，为实时负荷移动平值均方差的累计变化量。

3）报警类指标，与窃漏电相关的终端报警主要有电压缺相、电压断相和电流反极性等，这里主要判断这几类报警是否有发生。

4）线损类指标，这里的线损为日分线线损，其计算方法同电量类指标。用户窃漏电后最直接的体现是其所属线路线损增加。

5）特定类指标，为上一日计算的窃漏电嫌疑系数，通过该指标的累计，可增加窃漏电用户的嫌疑系数，因为用户窃漏电是一个连续的过程。

step2：构建专家样本库，进行模型构建，还需要准备专家样本数据，专家样本包括输入和输出两部分，输入数据可从计量***抽取得到，而输出数据则需要参考历史窃漏电用户案例由专业人员分析得到。

由于体现窃漏电行为的指标主要有电量异常、负荷异常、终端报警、主站报警、线损异常等方面，为了尽可能全面覆盖各种窃漏电方式，建模样本包含近5年来所有大用户窃漏电用户及随机选取8%的正常用户。

窃漏电用户的窃漏电开始时间和结束时间是表征其窃漏电的关键时间节点，在这些时间节点上，电量、负荷、报警、线损等指标也会有明显的特征变化，故样本数据抽取时要包含关键时间节点前后各30个工作日的数据。

结合评价指标体系，对抽取的样本数据进行预处理，构建专家样本库。

step3：模型训练及评价，在专家样本数据准备完成后，即可进行模型构建，即分析电力***积累下来的大量窃漏电历史数据，对各类用电异常的状况分类整理，并给出相应的判定结果，最后利用数据挖掘技术将这些数据中蕴藏着的许多潜在的重要因素、事实和关联等有价值的信息提炼出来，分析窃漏电事件同其它因素（如电量、线损等）的相关性，并进而构建智能诊断模型。

防窃漏电评价通常通过构建分类预测模型来实现，比较常用的分类预测模型有人工神经网络、决策树、逻辑回归等，本例采用建模平台提供的人工神经网络算法进行防窃漏电诊断模型的构建和评价。

step4：发布模型，对于检验合格的模型，通过建模平台的“发布模型”生成XML模型文件。

模型调用

防窃漏电诊断模块可对发布的XML模型文件进行解析，实现防窃漏电智能诊断。

对广东省某供电分局2000个计量点从2010-1-1到2012-12-31三年的历史数据通过该模型进行自动诊断，匹配率达到99.325%，漏报率不超过5%。

发布后模型，当预测效果达不到预期精度时，可重新在建模平台中导入新的建模样本数据并重构模型和重发布模型。

Claims (7)

1.一种企业智能预测快速开发接口方法，其特征在于包括如下步骤：

（1）创建企业智能预测方案：根据企业智能预测需求，在数据挖掘建模平台创建企业智能预测方案；

（2）加载建模样本数据 激活创建的预测方案，加载预处理好的建模样本数据；

（3）模型构建：在建模平台选择预测算法进行模型构建；

（4）模型发布：构建的模型以XML文件发布；

（5）模型调用：对发布的XML预测模型文件，可直接供第三方应用调用；

（6）模型优化与重构：当模型预测效果达不到预期精度时，重构模型并重新发布模型。

2.根据权利要求1所述的一种企业智能预测快速开发接口方法，其特征在于：

所述建模平台设置为一独立模块，包括方案管理、专家样本管理、模型训练、模型验证和模型发布的功能。

3.根据权利要求1所述的一种企业智能预测快速开发接口方法，其特征在于：

所述建模平台集成了常用的建模算法，包括朴素贝叶斯网络、贝叶斯信念网络、决策表、CART决策树、ID3决策树、C4.5决策树、BP神经网络、LM神经网络、RBF神经网络、FNN神经网络、ANFIS神经网络、WNN神经网络、线性回归、逐步回归、逻辑回归、保序回归、AdaBoostM1算法、KStar算法、SVM支持向量机和K-最近邻分类。

4.根据权利要求1所述的一种企业智能预测快速开发接口方法，其特征在于：

所述步骤（3）的详细过程为：将建模样本数据随机选取80%作为训练集，并从建模平台中选择一个或多个算法进行模型训练，训练完成后，用另20%样本用于模型检验。

5.根据权利要求1所述的一种企业智能预测快速开发接口方法，其特征在于：

所述步骤（4）的详细过程为：经检验合格的模型，通过选择“发布模型”生成XML模型文件。

6.根据权利要求1所述的一种企业智能预测快速开发接口方法，其特征在于：

所述步骤（5）中的模型调用支持包括VB、VC、PB、Dephi、C#、.NET和JAVA在内的开发环境。

7.根据权利要求1所述的一种企业智能预测快速开发接口方法，其特征在于：

所述步骤（6）的重构模型和重新发布模型，是指当模型预测效果达不到预期精度时，重新在建模平台中导入新的建模样本数据并重构模型，经验证合格后再重新发布模型，重新发布模型只需将新的模型文件替换原来的模型文件。