CN112148595A - 一种去除重复变更的软件变更级缺陷预测方法 - Google Patents

Abstract

本发明提供一种去除重复变更的软件变更级缺陷预测方法，属于软件缺陷预测技术领域。所述方法包括：提取项目仓库中所有分支的变更数据；对提取到的变更数据进行标注，标注信息包括：缺陷变更和非缺陷变更；去除提取到的变更数据中的重复变更；计算去除重复变更后的变更数据的变更级软件缺陷预测特征；根据计算得到的变更级软件缺陷预测特征及标注信息，训练缺陷预测模型，以便训练好的缺陷预测模型判断待预测的变更数据是否是缺陷变更。采用本发明，能够提升软件变更级缺陷预测模型的预测性能。

Description

一种去除重复变更的软件变更级缺陷预测方法

技术领域

本发明涉及软件缺陷预测技术领域，特别涉及是指一种去除重复变更的软件变更级缺陷预测方法。

背景技术

近年来，得益于计算机技术的飞速发展，软件产业的规模也越来越大，同时也给软件的高质量开发带来巨大的挑战。软件缺陷已经成为影响软件质量的首要因素，软件缺陷预测是保证软件质量的重要活动，也是软件维护的重要手段。与传统的软件缺陷预测技术相比，变更级缺陷预测技术具有细粒度、即时性、易追溯等优势。可以满足现代软件生产高度行为交互、大规模跨地域协同开发方式的要求。

变更级缺陷预测技术是指预测开发者每次提交的代码变更是否存在缺陷的技术。具体体现在这种预测技术可以在开发者提交一次代码变更后即对变更代码进行缺陷分析，预测其存在缺陷的可能性。软件项目历史变更数据是变更级缺陷预测技术的数据源。然而由于软件版本控制***的分支特性，在软件项目仓库中会存在大量重复变更，重复变更指的是开发人员在某个分支上可以重新实现相似功能的变更。现有研究表明，重复变更会影响变更级缺陷预测特征的计算，导致软件缺陷预测模型性能下降。

发明内容

本发明实施例提供了去除重复变更的软件变更级缺陷预测方法，通过去除重复变更，能够提升软件变更级缺陷预测模型的预测性能。所述技术方案如下：

一方面，提供了一种去除重复变更的软件变更级缺陷预测方法，该方法应用于电子设备，该方法包括：

提取项目仓库中所有分支的变更数据；

对提取到的变更数据进行标注，标注信息包括：缺陷变更和非缺陷变更；

去除提取到的变更数据中的重复变更；

计算去除重复变更后的变更数据的变更级软件缺陷预测特征；

根据计算得到的变更级软件缺陷预测特征及标注信息，训练缺陷预测模型，以便训练好的缺陷预测模型判断待预测的变更数据是否是缺陷变更。

进一步地，所述提取项目仓库中所有分支的变更数据包括：

挖掘项目仓库，从中析取代码变更元信息，按照元信息中代码变更的时间顺序建立代码前后变更关系图，根据建立的代码前后变更关系图提取项目仓库中所有分支的变更数据。

进一步地，所述对提取到的变更数据进行标注包括：

扫描遍历所有存储在版本控制***中的变更数据，根据变更日志进行关键词分析，搜索到所有修复缺陷代码的变更；

利用版本控制***的diff命令识别所述修复缺陷代码的变更的代码行，去除噪音，识别到缺陷代码行；

利用版本控制***的annotate命令回溯代码变更提交历史，识别出引入所述缺陷代码行的变更，将该变更标注为缺陷变更，并将缺陷变更以外的其余变更标注为非缺陷变更。

进一步地，所述去除提取到的变更数据中的重复变更包括：

对提取到的变更数据进行遍历与比较，若两个变更满足以下3个条件：

条件1，两个变更在不同的分支上；

条件2，两个变更修改了相同的文件；

条件3，两个变更修改了相同的代码；

则判断所述两个变更为一对重复变更，去除其中变更时间较晚的变更。

进一步地，所述计算去除重复变更后的变更数据的变更级软件缺陷预测特征包括：

利用析取的代码变更元信息和对变更数据的标注信息，计算去除重复变更后的变更数据的变更级软件缺陷预测特征。

进一步地，所述变更级软件缺陷预测特征包括：变更增加的代码行数量、变更删除的代码行数量、变更前文件代码行数量、变更修改子***数量、变更修改代码目录数量、变更修改文件数量、变更在文件级别分散度、变更文件有关开发者数量、变更文件距上次变更平均时间间隔、变更文件相关修改过的数量、是否为修复型变更、开发者已提交变更数量、开发者近期提交变更数量和开发者在子***层面变更数量。

进一步地，所述根据计算得到的变更级软件缺陷预测特征及标注信息，训练缺陷预测模型包括：

将计算得到的变更级软件缺陷预测特征及标注信息输入到分类器中，对分类器进行训练，当分类器的损失函数最小时，将此时的分类器作为训练好的缺陷预测模型。

进一步地，所述训练好的缺陷预测模型判断待预测的变更数据是否是缺陷变更包括：

将待预测的变更数据的变更级软件缺陷预测特征输入到训练好的缺陷预测模型中，所述缺陷预测模型判断待预测的变更数据是否是缺陷变更。

一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述去除重复变更的软件变更级缺陷预测方法。

一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述去除重复变更的软件变更级缺陷预测方法。

本发明实施例提供的技术方案带来的有益效果至少包括：

本发明实施例中，提取项目仓库中所有分支的变更数据；对提取到的变更数据进行标注，标注信息包括：缺陷变更和非缺陷变更；去除提取到的变更数据中的重复变更；计算去除重复变更后的变更数据的变更级软件缺陷预测特征；根据计算得到的变更级软件缺陷预测特征及标注信息，训练缺陷预测模型，以便训练好的缺陷预测模型判断待预测的变更数据是否是缺陷变更。这样，通过去除重复变更，能够提升训练好的软件变更级缺陷预测模型的性能，有助于提升软件品质和软件质量，并维护软件安全

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的去除重复变更的软件变更级缺陷预测方法的流程示意图；

图2为本发明实施例提供的去除重复变更的软件变更级缺陷预测方法的工作原理示意图；

图3为本发明实施例提供的识别重复变更的工作流程示意图；

图4是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

为了更好地理解本实施例，首先对Git、项目仓库、Git工具之间的关系进行简要说明：

Git是一个版本控制***；

项目仓库存储在Git，可以把项目仓库称为Git存储库，项目仓库用于保存源代码和变更日志，也就是说，源代码和变更日志都存储在版本控制***中；

Git工具指的是Git的封装功能。

如图1和图2所示，本发明实施例提供了一种去除重复变更的软件变更级缺陷预测方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器，该方法包括：

S101，提取项目仓库中所有分支的变更数据；

S102，对提取到的变更数据进行标注，标注信息包括：缺陷变更和非缺陷变更；

S103，去除提取到的变更数据中的重复变更；

S104，计算去除重复变更后的变更数据的变更级软件缺陷预测特征；

S105，根据计算得到的变更级软件缺陷预测特征及标注信息，训练缺陷预测模型，以便训练好的缺陷预测模型判断待预测的变更数据是否是缺陷变更。

本发明实施例所述的去除重复变更的软件变更级缺陷预测方法，提取项目仓库中所有分支的变更数据；对提取到的变更数据进行标注，标注信息包括：缺陷变更和非缺陷变更；去除提取到的变更数据中的重复变更；计算去除重复变更后的变更数据的变更级软件缺陷预测特征；根据计算得到的变更级软件缺陷预测特征及标注信息，训练缺陷预测模型，以便训练好的缺陷预测模型判断待预测的变更数据是否是缺陷变更。这样，通过去除重复变更，能够提升训练好的软件变更级缺陷预测模型的性能，有助于提升软件品质和软件质量，并维护软件安全。

在前述去除重复变更的软件变更级缺陷预测方法的具体实施方式中，进一步地，所述提取项目仓库中所有分支的变更数据包括：

挖掘项目仓库，从中析取代码变更元信息，按照元信息中代码变更的时间顺序建立代码前后变更关系图，根据建立的代码前后变更关系图提取项目仓库中所有分支的变更数据；其中，变更元信息包括：源代码和变更日志，代码变更时间存储在变更日志中。

本实施例中，遍历所有提取到的变更数据，可以利用基于重构感知的引入缺陷变更识别方法(Refactoring Aware SZZ algorithm，RA-SZZ)算法对提取到的变更数据进行标注，将变更数据标注为缺陷变更和非缺陷变更，具体包括：

扫描遍历所有存储在版本控制***中的变更数据，根据变更日志进行关键词分析，搜索到所有修复缺陷代码的变更；

利用版本控制***的diff(对比)命令识别所述修复缺陷代码的变更的代码行，去除噪音(比如忽略重构代码变更)，识别到缺陷代码行；

利用版本控制***的annotate(追溯)命令回溯代码变更提交历史，识别出引入所述缺陷代码行的变更，将该变更标注为缺陷变更，并将缺陷变更以外的其余变更标注为非缺陷变更。

本实施例中，采用RA-SZZ算法进行数据标注与采用传统的自动识别引入缺陷的代码变更方法(SZZ算法)进行数据标注相比，本实施例采用的RA-SZZ算法能够自动识别缺陷引入的变更并能够自动感知重构代码，去除重构代码带来的噪音。

本实施例中，重复变更是指开发人员在某个分支上可以重新实现相似功能的变更，去除重复变更首先需要识别出项目仓库中的重复变更。

在前述去除重复变更的软件变更级缺陷预测方法的具体实施方式中，进一步地，如图3所示，通过遍历版本控制***中的变更数据，去比较是否有与所遍历到的变更有相同变更内容的其他变更，在这里，可以利用版本控制***(GIT)提供的工具方法(git log、gitdiff)，去除提取到的变更数据中的重复变更包括：

对提取到的变更数据进行遍历与比较，若两个变更满足以下3个条件：

条件1，两个变更在不同的分支上；

本实施例中，所有的项目仓库都以master分支开始，代码前后变更关系表示的图可以表示为有向无环图。对于每个变更都是基于一个或几个先前(父)变更。在GIT中，每个变更都会有不同hashID(哈希码标识)。本实施例基于GIT工具通过运行“git log”(日志提取)命令来比较每个更改的hashID，对于两个有着彼此不同的祖先的变更，如果它们的内容相同，则它们一定在不同的分支上。

条件2，两个变更修改了相同的文件；

本实施例中，变更日志信息包含已修改文件的所有信息。本实施例基于GIT工具通过运行“git log”命令遍历每个变更的更改历史记录，获取到该变更所修改文件的名称和文件行的数目，对于来自不同分支的两个变更，如果它们修改了相同的更改文件和文件行数目，则认为它们将实现相似或相关的功能。

条件3，两个变更修改了相同的代码；

本实施例中，追溯每个变更的代码更改记录可以直观的看到此次变更的代码修改历史，本实施例基于GIT工具通过运行“git diff”(版本比对)命令来查看代码更改的位置，获取到相应的每次变更中一系列更改的代码行，计算出该变更修改代码的行数。对于来自不同分支的两个更改，如果它们修改了相同的代码行数，表明它们修改了相同的源代码。

则判断所述两个变更为一对重复变更，去除其中变更时间较晚的变更。

在前述去除重复变更的软件变更级缺陷预测方法的具体实施方式中，进一步地，所述计算去除重复变更后的变更数据的变更级软件缺陷预测特征包括：

利用析取的代码变更元信息和对变更数据的标注信息，计算去除重复变更后的变更数据的变更级软件缺陷预测特征。

本实施例中，计算得到的变更级软件缺陷预测特征有5个维度，具体包含14个特征，如表1所示：

表1变更级软件缺陷预测特征

在前述去除重复变更的软件变更级缺陷预测方法的具体实施方式中，进一步地，所述根据计算得到的变更级软件缺陷预测特征及标注信息，训练缺陷预测模型包括：

在训练阶段，将计算得到的变更级软件缺陷预测特征及标注信息输入到分类器中，对分类器进行训练，当分类器的损失函数最小时，将此时的分类器作为训练好的缺陷预测模型。

本实施例中，利用机器学习技术，可以使用逻辑回归分类器(LR)、随机森林分类器(RF)、朴素贝叶斯分类器(NB)中的任一种分类器作为缺陷预测模型的底层分类器，其中，各分类器的工作原理为：

随机森林包含多个决策树，每个决策树都是使用随机度量子集构建的。在决定样本的类别时，决策树可能会报告不同的结果。随机林聚合决策树的投票，以决定样本的最终类别；

逻辑回归是一种基于回归的技术，通常用于估计二元因变量(即错误地引入缺陷变更或在实施例中是非缺陷变更)与一个或多个自变量(即缺陷预测特征)之间的关系；

朴素贝叶斯是一种概率分类器，它基于贝叶斯定理，假设各个特征属性之间是相互独立的。

本实施例中，考虑到原始特征(即：计算得到的变更级软件缺陷预测特征)的倾斜性(倾斜性包括：数据分布不平衡、数据量纲不一致等)和相关性对缺陷预测模型性能的影响，可以先对原始特征进行预处理，包括利用对数转换标准化处理特征的倾斜性以及移除高度相关的指标，然后，将预处理完之后的特征输入到分类器中。

本实施例中，利用对数转换标准化处理特征的倾斜性具体包括：利用标准对数转换ln(x_i+1)对原始特征x₁,x₂,......x_i进行归一化处理。

本实施例中，移除高度相关的指标具体包括：先求得两两特征秩相关系数即等级相关分析后，再进行聚类分析得到数值，若该数值大于0.8，则两特征高度相关，移除其中一特征。

在前述去除重复变更的软件变更级缺陷预测方法的具体实施方式中，进一步地，所述训练好的缺陷预测模型判断待预测的变更数据是否是缺陷变更包括：

在预测阶段，将待预测的变更数据提交到项目仓库中，然后执行S101、S103、S104，得到待预测的变更数据的变更级软件缺陷预测特征，进而将待预测的变更数据的变更级软件缺陷预测特征输入到训练好的缺陷预测模型中，所述缺陷预测模型判断待预测的变更数据是否是缺陷变更。

为了验证本发明实施例提供的去除重复变更的软件变更级缺陷预测方法的优越性，本实施例提取了八个Apache开源项目历史变更数据，通过去除原始项目重复变更数据得到了不包含重复变更的项目数据集，分别使用原始项目数据集和去除重复变更的项目数据集构造缺陷预测模型，实验结果利用AUC(受试者工作特征曲线面积)、MCC(马修斯相关系数)、F1-measure(精确率和召回率的一种加权平均)三种性能评估指标比较了原始项目数据集和去除重复变更的项目数据集构造的缺陷预测模型性能，如表2所示，表2中Old表示使用原始数据集构造的缺陷预测模型，New表示使用去除重复变更的项目数据集构造的缺陷预测模型。表2中的实验结果显示去除重复变更可以显着改善变更级软件缺陷预测模型性能，提升模型性能范围为1％-125％。

表2缺陷预测模型性能

图4是本发明实施例提供的一种电子设备600的结构示意图，该电子设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)601和一个或一个以上的存储器602，其中，所述存储器602中存储有至少一条指令，所述至少一条指令由所述处理器601加载并执行以实现上述去除重复变更的软件变更级缺陷预测方法。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述去除重复变更的软件变更级缺陷预测方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种去除重复变更的软件变更级缺陷预测方法，其特征在于，包括：

提取项目仓库中所有分支的变更数据；

对提取到的变更数据进行标注，标注信息包括：缺陷变更和非缺陷变更；

去除提取到的变更数据中的重复变更；

计算去除重复变更后的变更数据的变更级软件缺陷预测特征；

根据计算得到的变更级软件缺陷预测特征及标注信息，训练缺陷预测模型，以便训练好的缺陷预测模型判断待预测的变更数据是否是缺陷变更。

2.根据权利要求1所述的去除重复变更的软件变更级缺陷预测方法，其特征在于，所述提取项目仓库中所有分支的变更数据包括：

挖掘项目仓库，从中析取代码变更元信息，按照元信息中代码变更的时间顺序建立代码前后变更关系图，根据建立的代码前后变更关系图提取项目仓库中所有分支的变更数据。

3.根据权利要求1所述的去除重复变更的软件变更级缺陷预测方法，其特征在于，所述对提取到的变更数据进行标注包括：

扫描遍历所有存储在版本控制***中的变更数据，根据变更日志进行关键词分析，搜索到所有修复缺陷代码的变更；

利用版本控制***的diff命令识别所述修复缺陷代码的变更的代码行，去除噪音，识别到缺陷代码行；

利用版本控制***的annotate命令回溯代码变更提交历史，识别出引入所述缺陷代码行的变更，将该变更标注为缺陷变更，并将缺陷变更以外的其余变更标注为非缺陷变更。

4.根据权利要求1所述的去除重复变更的软件变更级缺陷预测方法，其特征在于，所述去除提取到的变更数据中的重复变更包括：

对提取到的变更数据进行遍历与比较，若两个变更满足以下3个条件：

条件1，两个变更在不同的分支上；

条件2，两个变更修改了相同的文件；

条件3，两个变更修改了相同的代码；

则判断所述两个变更为一对重复变更，去除其中变更时间较晚的变更。

5.根据权利要求2所述的去除重复变更的软件变更级缺陷预测方法，其特征在于，所述计算去除重复变更后的变更数据的变更级软件缺陷预测特征包括：

利用析取的代码变更元信息和对变更数据的标注信息，计算去除重复变更后的变更数据的变更级软件缺陷预测特征。

6.根据权利要求1所述的去除重复变更的软件变更级缺陷预测方法，其特征在于，所述变更级软件缺陷预测特征包括：变更增加的代码行数量、变更删除的代码行数量、变更前文件代码行数量、变更修改子***数量、变更修改代码目录数量、变更修改文件数量、变更在文件级别分散度、变更文件有关开发者数量、变更文件距上次变更平均时间间隔、变更文件相关修改过的数量、是否为修复型变更、开发者已提交变更数量、开发者近期提交变更数量和开发者在子***层面变更数量。

7.根据权利要求1所述的去除重复变更的软件变更级缺陷预测方法，其特征在于，所述根据计算得到的变更级软件缺陷预测特征及标注信息，训练缺陷预测模型包括：

将计算得到的变更级软件缺陷预测特征及标注信息输入到分类器中，对分类器进行训练，当分类器的损失函数最小时，将此时的分类器作为训练好的缺陷预测模型。

8.根据权利要求1所述的去除重复变更的软件变更级缺陷预测方法，其特征在于，所述训练好的缺陷预测模型判断待预测的变更数据是否是缺陷变更包括：

将待预测的变更数据的变更级软件缺陷预测特征输入到训练好的缺陷预测模型中，所述缺陷预测模型判断待预测的变更数据是否是缺陷变更。

Images