CN102147727B - 一种新增软件项目的软件工作量预测方法 - Google Patents

Abstract

本发明公开了一种新增软件项目的软件工作量预测方法，属于计算机软件开发技术领域。本方法首先对历史项目工作量进行离散化并将历史项目分成指定数目的项目类别。然后利用历史项目工作量属性数据计算每个项目属性在项目工作量类别上的条件概率、先验概率。之后建立贝叶斯分类模型预测新增项目的工作量类别。然后，将预测工作量类别后的新增项目加入到历史项目数据中，修复缺失数据，重新计算项目属性在项目工作量类别上的条件概率并重新计算项目工作量类别先验概率，如此反复迭代，直到所有的概率分布均收敛。最后，利用收敛后的后验概率分布预测出新增软件项目的工作量。与现有技术相比，本发明大大提高软件项目工作量预测模型的能力。

Description

一种新增软件项目的软件工作量预测方法

技术领域

本发明涉及一种应用于计算机软件工作量预测的方法，特别是在历史项目属性数据部分缺失情况下的软件工作量预测方法，属于计算机软件开发技术领域。

背景技术

软件成本估算是对软件项目成本属性的预测，由于软件开发成本中绝大部分是人力成本，软件成本估算通常指对工作量(人力成本)的估算。软件工作量估算对软件项目的重要性体现在：是分析软件项目可行性、制定软件项目预算、以及软件项目涉众进行协商的基础，是权衡软件开发策略重要依据，也是改进软件过程并提高生产率重要依据。软件工作量估算是软件开发中最常见的，也是不可避免的问题，如果没有得到恰当的处理，将直接导致软件项目预算超支而引起开发进度、质量和交付等方面的风险乃至软件项目失败。

不确定性是软件成本估算的一项本质属性，并且现有方法没有提供如何进行正确的估算，特别是不能正确地处理成本估算的不确定性。在软件项目早期，软件项目的成本与进度有着很高的不确定性，很多项目之所以失败就是因为忽视这些不确定性的存在。软件成本估算的不确定性通常引发或加重了一系列具体的问题，如：难以在项目早期进行估算、难以评估成本风险、估算结果难以被客户接受、估算模型应用范围狭窄等。

目前，在软件成本估算领域，越来越多的研究人员利用数据挖掘的方法通过在软件项目历史数据中找寻软件工作量属性和项目其它属性(例如软件规模、软件复杂度、应用领域、开发工具等)之间的关联模式而对软件项目工作量做出适当预测。当软件项目历史工作量数据被用于工作量估算，其背后基本的假设是软件工作量历史数据能够被用于建构软件工作量预测模型(统计学模型如线性回归模型，或者机器学习模型如神经网络模型)。然而，目前软件工程界面临的一个难题就是软件工作量历史数据中存在大量的缺失数据。而且，由于软件工作量历史数据集合较小，经典统计学常用的数据预处理方法——去除缺失数据的做法，往往会导致在预处理过后的数据集上建立的预测模型存在较大的偏差，进而影响预测模型的精度。由此，处理软件工作量数据缺失已成为软件工程领域一个比较活跃的研究方向。当前的软件工作量预测中存在着两种问题：缺失数据处理和预测模型构建。前者需要解决的问题是如何修复历史项目记录中缺失的属性数据而后者要解决的问题是如何根据项目历史数据构建合理的工作量预测模型。

发明内容

针对软件成本估算面临的历史数据的不完全性的困难，以及现有软件成本估算方法的不足，本发明提出一种基于数据挖掘的软件工作量缺失数据修复及工作量预测方法(MissingImputation Technique and Effort Prediction based on Data Mining，MITEP-DM)。它改变了以往将项目缺失数据处理和预测模型建立割裂的方式，而将修复缺失数据和预测项目工作量结合起来考虑。本发明的目的是在不完全历史项目数据条件下提高软件项目工作量预测精度。

本发明的技术方案为：

一种新增软件项目的软件工作量预测方法，其步骤为：

1)从软件项目数据库中提取若干历史软件项目，并将历史软件项目的工作量数据离散化为l个类别，并分别标注每个历史软件项目的工作量类别；

2)提取每一历史软件项目的项目属性数据，计算历史软件项目工作量类别的先验概率分布，以及每个项目属性在工作量类别上的条件概率分布，建立项目在工作量类别上的后验概率分布模型，即贝叶斯分类模型；

3)提取每一新增软件项目的项目属性数据；

4)利用所建的贝叶斯分类模型对每一新增软件项目

进行分类，得到

的工作量类别概率分布；

5)选取

的工作量类别为使

的在工作量类别上的后验概率产生最大值的类别c_t，t取值为1～l，l为自然数；

6)查找含有缺失数据的项目D_s，如果D_s在项目属性X_j上的属性值x_sj缺失，则选取其他项目中属性X_j上未出现缺失值的项目集合D_obs，j，利用D_obs，j中属性X_j上的当前值x_ij修复x_sj；

7)利用修复后的软件项目数据计算项目属性在工作量类别上的条件概率分布、工作量类别先验概率和软件项目在工作量类别上的后验概率分布；

8)重复步骤4)～7)，对软件项目的项目属性在工作量类别上的条件概率分布、工作量类别先验概率和软件项目在工作量类别上的后验概率分布先验概率分布、后验概率分布和工作量类别概率分布进行迭代计算，直到其软件项目的先验概率分布、后验概率分布和工作量类别概率分布收敛；

9)将收敛的工作量类别上的后验概率分布作为分类预测模型，对每一新增软件项目

进行分类，预测出新增软件项目的工作量。

进一步的，所述利用D_obs，j中的属性X_j上的当前值x_ij修复x_sj的方法为：首先根据D_obs，j中的属性X_j上的当前值x_ij计算一修复值然后利用

替换D_s项目中属性X_j上的当前值x_ij。

进一步的，利用公式

计算所述修复值

其中，P^(θ)(h_i＝c_t|D_i)为上一次迭代的工作量类别概率分布，h_i为第i个软件项目的工作量类别的变量，即h_i＝c_t；x_ij取值为0或1，用于表示第i个项目中第j个项目属性的属性值所属类别；θ为迭代次数、D_i为软件项目。

进一步的，采用公式迭代计算软件项目属性在工作量类别上的条件概率分布；其中，D_mis，j为在属性X_j上出现缺失值的项目集合，n为描述项目属性的变量个数。

进一步的，采用公式

迭代计算软件项目的先验概率分布；

其中，l为工作量类别个数，m为项目总数。

进一步的，采用公式

迭代计算软件项目在工作量类别上的后先验概率分布。

进一步的，每一软件项目的项目属性数据和工作量类别数据的数据存储格式为：项目ID、属性1：属性值、属性2：属性值、属性3：属性值、…、工作量类别。

进一步的，所述属性包括：软件规模、开发语言、开发平台、应用领域、需求文本长度。

本发明的方法是一种针对历史项目和新增软件项目使用贝叶斯分类和期望最大的有监督学习方法，它首先对历史项目工作量进行离散化处理并根据用户需求将历史项目分成指定数目的项目类别。然后，它利用贝叶斯后验概率计算每个项目属性在项目工作量类别上的条件概率并计算历史项目工作量类别的先验概率。之后，建立贝叶斯分类模型依据属性在工作量类别上的后验概率和项目工作量类别先验概率进行预测新增项目的工作量类别。然后，将预测工作量类别后的新增项目加入到历史项目数据中，同时引入依据项目类别缺失数据修复方法，将修复后缺失值和新增项目一起考虑到贝叶斯分类模型中，重新计算项目属性在项目工作量类别上的条件概率并重新计算项目工作量类别先验概率，如此反复迭代，直到满足项目分布期望最大化(Expectation Maximization)，也就是所有的概率分布均收敛。最后，利用收敛后的概率分布组合成贝叶斯分类模型，对新增项目实施最终分类。

根据发明目的，MITEP-DM的具体流程为：

(一)利用历史数据计算软件项目的属性和工作量类别概率分布，获取初始预测模型。

(1)对已有的m个历史软件项目D_i(1≤i≤m)抽取其n个项目属性X_j(1≤j≤n)，例如软件规模，开发语言，开发平台，应用领域等。并将每个历史项目的工作量数据离散化为设定的l个类别c_t(1≤t≤l)，即用变量h_i标注每一历史项目D_i的工作量类别h_i＝c_t(t＝1，..，l)。

(2)将项目属性中的连续属性值离散化，离散化的类别个数与项目工作量类别数量相同；亦即将每个属性值为连续值的属性值离散化为l个类别。

(3)对软件项目的所有离散属性添加虚拟变量x_ij，x_ij取值为0或1，用于表示第i个项目中第j个项目属性的属性值所属类别。

(4)计算每个项目属性X_j相对于工作量类别c_t的条件概率分布，即

其中若h_i≠c_t，则P(h_i＝c_t|D_i)＝0；若h_i＝c_t，则P(h_i＝c_t|D_i)＝1。

(5)计算项目工作量类别的先验概率分布，即 $P\left(c_t\right)=\frac{1+\underset{i=1}{\overset{m}{\mathrm{\Σ}}}P(h_i=c_t|D_i)}{l+m}.$

(6)在历史项目数据上建立软件工作量类别初始预测模型，即软件项目的工作量类别后验概率分布

(二)利用初始分类模型对新增项目进行分类，实施项目缺失数据修复，更新属性和工作量类别概率分布，得最终分类模型。

(1)利用初始分类模型对新增项目

进行分类，即根据

的属性值

获取其可能的在工作量类别上的后验概率分布

并选定

的类别为使产生最大值的类别c_t；

(2)对于一个含有缺失数据的项目D_s，假定其在属性X_j上的值x_sj缺失。那么，选取其他项目中所有在属性X_j上未出现缺失值的项目集合D_obs，j中的项目在属性X_j上的值x_ij来修复x_sj，即缺失s值x_sj被修复，

(3)利用修复的缺失值来重新计算项目属性X_j在工作量类别c_t上的后验概率分布。将(一)中的P(X_j|c_t)、P(c_t)和(二)(1)中第一次计算的项目类别概率P(c_t|D_i)分别视为初始值，即第0步的项目属性先验概率分布、工作量类别在软件项目集合上的先验概率分布和工作量类别相对于具体项目的条件概率分布值：P⁽⁰⁾(X_j|c_t)、P⁽⁰⁾(c_t)、P⁽⁰⁾(c_t|D_i)，通过迭代的方式更新项目属性相对于工作量类别的条件概率值P(X_j|c_t)，即项目属性相对于工作量类别的条件概率为

D_mis，j为在属性X_j上出现缺失值的项目集合；n为描述项目的属性个数；

项目工作量类别的先验概率为

相应地，软件项目在工作量类别上的后验概率分布利用项目属性相对于工作量类别的条件概率和工作量类别先验概率计算，亦即

l为工作量类别个数，m为项目(包括历史项目和新增项目)总个数。

(4)3)中的计算完成之后，重新转到1)，计算新增项目在各个工作量类别上的概率；继续转2)，修复历史项目和新增项目中的缺失值；然后到3)，更新各种概率分布；如此反复迭代，直到3)中的概率分布趋于收敛稳定。

(5)将收敛稳定的软件项目在工作量类别上的后验概率分布当作软件项目工作量分类模型，对新增的软件项目进行工作量预测，得到最终的结果。

本发明的优点和技术效果如下：

1、本发明将传统的缺失数据修复和工作量预测综合在一个模型之中，在预测的过程中修复缺失数据，同时修复后的缺失数据能够帮助进一步精炼工作量预测模型，提高软件项目工作量预测模型的能力。

2、本发明无需任何参数，工作量预测中涉及的一切计算过程均来自于项目真实数据，杜绝人为因素对预测模型的干扰。能够在用户输入历史项目数据和新增项目数据之后，进行自动化的计算，并得到最终结果，计算过程中间无需任何人为参与。

附图说明

图1本发明利用历史软件项目工作量数据和新增项目数据训练贝叶斯模型并预测新增软件项目工作量类别的流程图。

图2本发明修复软件项目缺失数据反复迭代调正项目属性数据概率分布的流程图。

图3本发明自动化工作量类别预测***流程图。

具体实施方式

下面将具体说明基于数据挖掘的软件工作量缺失数据修复和预测方法：

MITEP-DM方法提出一种在不完全软件工作量历史数据下的新增软件项目工作量预测方法，并给出了最终软件工作量预测的模型，即软件项目对于工作量类别的后验概率分布其中，P^(θ)(c_t)为历史数据中工作量类别的先验概率；P^(θ)(X_j|c_t)为软件项目属性相对于工作量类别的条件概率；x_ij为第i个项目在第j个属性X_j上的取值。具体的实施过程主要分为以下四个步骤：

(1)收集历史项目中的数据：

因为最终的目的是为了量化新增软件项目所需要的工作量，所以在进行软件工作量特征提取的时候，只选择与软件项目工作量相关联的工作量特征。最终选择的特征是代码长度，编程语言、编程环境、架构类型、应用领域、需求文本长度、开发团队综合能力作为软件项目的工作量特征。虽然其它的特征、如开发地区、数据库、目标市场等可能与软件项目工作量相关，但是相比于选定的特征，它们的重要程度居于其次。然后，从历史软件项目中收集实际发生的软件工作量。

(2)利用历史项目数据训练贝叶斯分类模型；

为了保证每个工作量特征在预测效果上的有效性，应将每个工作量特征值映射到一个相同的取值区间中，比如[0，10]，其中0表示“非常差/非常短/非常弱”，10表示“非常好/非常长/非常强”。

第一步要进行的是数据预处理。首先将历史工作量进行离散化处理，比如将历史数据集工作量数据按照其实际值的大小分为高中低三个等级。其次，将工作量特征中的代码长度和需求文本长度也进行类似的离散化处理，使其落到相应的等级中。最后对所有的离散属性添加虚拟变量使属性值保持布尔变量。

对于一个软件组织的已有的m个项目进行工作量特征提取，并生成工作量特征提取后的数据文件。数据文件作为输入数据应用于估算***，估算***的数据格式为：

项目ID1 属性1：属性值 属性2：属性值 属性3：属性值…工作量类别1

项目ID2 属性1：属性值 属性2：属性值 属性3：属性值…工作量类别2

…

项目IDm 属性1：属性值 属性2：属性值 属性3：属性值…工作量类别3

第二步进行的是计算每个属性在项目类别上的概率分布。其计算方法为首先统计每个工作量类别在项目中的出现次数并记录下这些具体的项目，然后统计单个属性其值在这些项目上为1的项目个数，后者除以前者即为属性的工作量类别分布概率。

第三步进行的是计算每个项目类别的先验概率分布。具体计算方法为各个工作量类别在所有项目上的出现次数除以所有的项目数量。

第四步进行的是建立初始工作量类别预测模型。具体计算项目工作量类别在项目上后验概率属性，将每个项目看作为独立的属性集合，工作量类别在项目上的后验概率等于项目中为1值属性在工作量类别上的概率乘积。以上在生成初始的预测模型中的所有过程均不考虑历史项目中存在的缺失数据和新增的历史项目数据。

(3)引入新增项目数据，进行缺失值修复及初始模型调整；

利用初始工作量类别预测模型为新增项目进行工作量类别预测。对历史和新增项目中的缺失数据进行修复，修复过程完成之后，一个缺失数据将被一个介于0-1之间数值替代。虽然所有的属性值均为布尔数值，但由于模型采用的是指数形式来计算分类模型，所以不影响模型的可计算性。利用修复后的数据调整预测模型中的各项概率分布，之后生成新的工作量类别预测模型，开始新一轮的新增项目预测和缺失数据修复。

(4)调整达到收敛，生成最终工作量类别预测模型。新增项目的工作量类别即为最终的工作量类别预测模型所给出的类别；通过对工作量的类别进行预测，即可对工作量所处的范围进行预测。划分的类别越多，工作量范围就精确。

综上，本发明所提出的软件项目工作量缺失数据修复方法和工作量预测模型是通过有效的利用软件项目的历史数据(包括属性数据和工作量类别数据)和新增项目的属性数据，最终修复项目中的缺失数据并对项目工作量类别作出最终预测。本发明提供的基于数据挖掘的软件工作量缺失数据修复方法和工作量预测方法可以全自动的完成预测的过程，并按照根据用户的需求在不同的数量级别上预测新增软件项目的类别。

以上对本发明所述的基于数据挖掘的工作量缺失数据修复和类别预测方法进行了详细的说明，但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说，在不背离本发明所述方法的精神和权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。

Claims (4)

1.一种新增软件项目的软件工作量预测方法，其步骤为：

1）从软件项目数据库中提取若干历史软件项目，并将历史软件项目的工作量数据离散化为l个类别，并分别标注每个历史软件项目的工作量类别；其中，l为自然数；

2）提取每一历史软件项目的项目属性数据，计算历史软件项目工作量类别的先验概率分布，以及每个项目属性在工作量类别上的条件概率分布，建立项目在工作量类别上的后验概率分布模型，即贝叶斯分类模型；

3）提取每一新增软件项目

的项目属性数据；

4）利用所建的贝叶斯分类模型对每一新增软件项目

进行分类，得到

的工作量类别概率分布；

5）选取

的工作量类别为使

的在工作量类别上的后验概率产生最大值的类别c_t，t取值为1～l；

6）查找含有缺失数据的项目D_s，如果D_s在项目属性X_j上的属性值x_sj缺失，则选取其他项目中属性X_j上未出现缺失值的项目集合D_obs,j，利用D_obs,j中属性X_j上的当前值x_ij修复x_sj；

7）利用修复后的软件项目数据计算项目属性在工作量类别上的条件概率分布、工作量类别先验概率和软件项目在工作量类别上的后验概率分布；

8）重复步骤4）～7），对项目属性在工作量类别上的条件概率分布、工作量类别先验概率和软件项目在工作量类别上的后验概率分布进行迭代计算，直到其收敛；

9）将收敛的工作量类别上的后验概率分布作为分类预测模型，对每一新增软件项目进行分类，预测出新增软件项目的工作量；

其中，利用D_obs,j中的属性X_j上的当前值x_ij修复x_sj的方法为：首先根据D_obs,j中的属性X_j上的当前值x_ij计算一修复值

然后利用

替换D_s项目中属性X_j上的当前值x_ij；利用公式

计算所述修复值

P^(θ)(h_i=c_t|D_i)为上一次迭代的工作量类别概率分布，h_i为第i个软件项目的工作量类别的变量，即h_i=c_t；x_ij取值为0或1，用于表示第i个项目中第j个项目属性的属性值所属类别；θ为迭代次数、D_i为软件项目。

2.如权利要求1所述的方法，其特征在于采用公式 $P^{(\mathrm{\θ}+1)}\left(X_j\right|c_t)=\frac{1+\underset{i=1}{\overset{\left|D_{\mathrm{obs},j}\right|}{\mathrm{\Σ}}}{x}_{\mathrm{ij}}{P}^{\left(\mathrm{\θ}\right)}(h_i=c_t|D_i)+\underset{s=1}{\overset{\left|D_{\mathrm{mis},j}\right|}{\mathrm{\Σ}}}\widetilde{x_{\mathrm{sj}}}{P}^{\left(\mathrm{\θ}\right)}(h_i=c_t|D_s)}{n-1+\underset{j=1}{\overset{n-1}{\mathrm{\Σ}}}\{\underset{i=1}{\overset{\left|D_{\mathrm{obs},j}\right|}{\mathrm{\Σ}}}{x}_{\mathrm{ij}}{P}^{\left(\mathrm{\θ}\right)}(h_i=c_t|D_i)+\underset{s=1}{\overset{\left|D_{\mathrm{mis},j}\right|}{\mathrm{\Σ}}}\widetilde{x_{\mathrm{sj}}}{P}^{\left(\mathrm{\θ}\right)}(h_i=c_t|D_s)\}}$ 迭代计算软件项目属性在工作量类别上的条件概率分布；其中，D_mis,j为在属性X_j上出现缺失值的项目集合，n为描述项目属性的变量个数。

3.如权利要求1所述的方法，其特征在于采用公式

迭代计算软件项目的先验概率分布；其中，m为项目总数。

4.如权利要求1所述的方法，其特征在于采用公式

迭代计算软件项目在工作量类别上的后先验概率分布，其中，n为描述项目属性的变量个数。

Images