CN104036105B - 确定涉及大数据分析的随机性应用的正确性的方法和*** - Google Patents

Abstract

本发明提供一种确定应用正确性的方法，包括：获取用于所述应用的数据集和参考运行结果；基于所述数据集在所述应用上的实际运行结果与所述参考运行结果的比较，确定所述应用的正确性。通过该方法，使得QA人员能够连接到标准任务工具库，从而采用数据驱动的测试方法作为对现有质量保证架构的补充。

Description

确定涉及大数据分析的随机性应用的正确性的方法和***

技术领域

本发明的实施方式一般地涉及质量保证领域，更具体地，涉及一种用于确定应用的正确性的方法和***。

背景技术

数据挖掘(Data Mining，DM)又称数据库中的知识发现(Knowledge Discovery inDatabase，KDD)，是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。

随着数据挖掘技术的不断发展，涉及大数据分析(Big Data Analytics)的各种应用不断浮出水面。大数据分析为数据挖掘技术提供了基于诸如分类/集群分析、流送数据挖掘和文本挖掘的能力，因此，如何为涉及大数据分析的各种应用提供质量保证成为推进数据挖掘技术的关键技术之一。

对于企业级产品/应用而言，可以通过功能测试和单元测试二者来确保产品/应用的质量。其一般方法是QA(品质保证)人员首先为待测试的功能或代码块设计(输入，输出)对，继而运行程序，并且最终验证实际输出和预期输出的一致性。然而，当应用涉及到与随机性有关的方法时，这一过程可能并不适合用于确定大数据分析中的一些复杂的应用的质量(正确性)确定。这是因为向算法馈送某些特定的输入时，并不存在确定的输出，相反，而是存在多个有可能但无法枚举的近似的输出。QA人员面临的问题可能包括：(1)如何生成大型的用于测试的数据；(2)如何定义/计算预期输出；以及(3)如何度量/定义成功。

发明内容

为了解决现有技术中存在的上述问题，本说明书提出如下方案。

根据本发明的一个方面，提出一种确定应用正确性的方法，包括：获取用于所述应用的数据集和参考运行结果；以及基于所述数据集在所述应用上的实际运行结果与所述参考运行结果的比较，确定所述应用的正确性。

在本发明的可选实现中，参考运行结果包括该数据集在与该应用针对相同问题的另一应用上的运行结果。

在本发明的可选实现中，该数据集包括真实数据集。

在本发明的可选实现中，该数据集和该参考运行结果从公共平台中获得。

在本发明的可选实现中，该应用包括与随机性有关的应用。

在本发明的可选实现中，该比较以图形化方式输出。

根据本发明的另一方面，提出一种确定应用正确性的装置，包括：获取装置，被配置为获取用于所述应用的数据集和参考运行结果；以及确定装置，被配置为基于所述数据集在所述应用上的实际运行结果与所述参考运行结果的比较，确定所述应用的正确性。

在本发明的可选实现中，该参考运行结果包括该数据集在与该应用针对相同问题的另一应用上的运行结果。

在本发明的可选实现中，该数据集包括真实数据集。

在本发明的可选实现中，该数据集和该参考运行结果从公共平台中获得。

在本发明的可选实现中，该应用包括与随机性有关的应用。

在本发明的可选实现中，该比较以图形化方式输出。

通过本发明的上述各种实现，可以对一些数据挖掘任务评估诸如分类准确性之类的模型性能。通过将应用的执行性能与在公开发布的可用数据集上的其它已证实现的执行性能之间的比较，可以保证应用的质量。

附图说明

通过参考附图阅读下文的详细描述，本发明实施方式的上述以及其他目的、特征和优点将变得明显。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中相同的参考标号表示相同或相似的元素。

图1示出了涉及随机性方法的应用的示例；

图2示出了根据本发明示例性实施方式的用于确定应用正确性的方法200的流程图；

图3示出了根据本发明示例性实施方式的基于标准任务池的、确定应用正确性的***的示意图300；

图4示出了了根据本发明示例性实施方式的用于确定应用正确性的装置图400。

图5示出了适于用来实现本发明实施方式的示例性计算***500的框图。

具体实施方式

下面将参考附图中示出的若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。

如前所述，大数据分析是将海量规模的数据转换成可操作的洞察(insight)的过程。这与传统的诸如OLAP之类的商业智能的不同之处在于：后者仅关注于自主sql和报告。然而，大数据分析主张与复杂数据挖掘方法一起的深度分析。这些方法的复杂度源自于许多源，在这些源中，随机性是非常特别的一个。涉及随机性的方法具有这样的属性：即使对于固定输入，它们的不同运行也可能给出不同的输出。为了确保与大数据分析有关的技术应用的正确性，非常重要的一个方面是确保该应用所涉及的随机性方法的正确性。

涉及随机性的方法(例如但不限于算法)大致可以包括如下几类：基于取样类的方法，例如MCMC(马可夫链蒙特卡罗)算法，以及LDA(Latent Dirichlet Allocation)算法；流化DM类的方法，例如滑动窗口算法；优化类的方法，例如EM算法和遗传算法；以及集成学习类的方法，例如随机森林算法和Bagging算法。

如前所述，由于这些方法的随机性，难以保证涉及到这些方法的应用的质量。在针对传统软件***的性能和特点来测试它们时，QA人员通常生成(输入，输出)形式的测试用例，其中，输出是给定输入的预期输出。如果实际输出等于预期输出，则宣称这些***通过一个测试用例。如果考虑涉及随机化的数据挖掘方法时，则往往出现如下问题：

首先，难以找到用于确定方法正确性的大型数据集。为了测试某一方法，需要生成/找到数据集。手动地生成大数据集是耗时的，并且有些手动生成的数据集太有规律性。真实的大数据集难以获得。

其次，有时难以定义期望的输出。以涉及随机森林算法的应用为例(下文详细描述)，其中随机森林算法的输出是大量(假定为100个)决策树。在一次运行中的这些树是不同的，并且由于随机性，一次运行也不同于另一次运行。因此QA人员不能***期望的输出。

第三，实际输出不可能与预期的期望输出相同。因此难以定义/度量测试的成功。以最大期望算法(Expection-Maximization algorithm，EM算法)为例，EM被用于在给定所观察的数据的情况下针对一些概率模型追寻最大似然性估计(maximum likelihoodestimation，MLE)。有可能受困于局部极值的是类登山算法(hillclimbing-likealgorithm)。换言之，存在不止一个的有效输出。因此即使在实际输出不等于预期输出时，QA人员也不能宣称方法在这一测试用例中失败。

实际上，在数据挖掘技术中存在大量涉及随机性的方法。例如K-Means和EM算法随机地选择初始的起始点，以便缓解局部极值的问题。遗传算法(Genetic algorithms)始于随机生成的个体种群，并且通过修改(重新组合或随机变异)当前一代的个体来生成下一代。在LDA的训练过程中，基于取样的方法一般在值根据某些分布而随机生成时使用。

以随机森林为例来说明这类应用，随机森林是包括多个决策树的集成模型。图1示出了涉及随机森林的应用示例。该随机森林方法(算法)开始之后，对于每棵要构造的树(步骤S102)，选择训练数据子集(即bootstrap取样，步骤S104)。在每个节点处停止条件满足时(步骤S106，是)计算预测的误差；而在停止条件不满足时(步骤S106，否)构建下一个分割(步骤S108)。具体而言，构造下一个分割的过程(步骤S108)可以包括诸如选择变量子集(即子空间取样)之类的步骤S1081－S1086之类的步骤。并使用这棵树来对剩余数据预测其类别，并评估其误差。

可以看出，随机森林方法在步骤S104(bootstrap取样)和步骤S1081(子空间取样)涉及到随机性：使用bootstrap取样从原始训练数据中生成不同的bootstrap取样，而子空间取样则通过从全部特征中使用随机的若干特征并完全地生长树而不进行剪枝来进行决策树的学习过程。由于上述随机性，随机森林在不同的运行中将会不同。如果QA人员用预定义的基准来衡量诸如随机森林算法之类的随机方法或涉及该方法的应用的正确性，则难以判断这一方法/应用的好坏。

现在参看图2，图2示出了根据本发明示例性实施方式的、用于确定应用正确性的方法200的流程图。方法200开始之后，首先进到步骤S202，获取用于待确定正确性的应用的数据集和参考运行结果。本领域技术人员应理解，这里的术语“数据集”可以是各种类型的数据集，优选地可以为来自于真实世界的真实数据集。这样的数据集可以通过各种渠道获得，例如通过在公共发布平台下载获得或者商业获得等，本发明在此方面不受限制。术语“参考运行结果”是指该数据集在与该应用针对相同问题的另一应用上的运行结果(也即另一应用以该数据集为输入所获得的输出)。优选的是，该“另一应用”是已证实正确性的应用，例如经典算法或应用实现。同样，这样的参考运行结果也可以通过各种渠道获得，例如但不限于通过在公共发布平台下载获得或者商业获得等。另外，需要注意的是，方法200中所涉及的应用优选地可以是与随机性有关的应用，例如与前述随机森林算法有关的应用、与EM或LDA有关的应用等。

接下来，方法200进到步骤S204，基于数据集在应用上的实际运行结果与参考运行结果的比较，确定所述应用的正确性。在实现中，比较的输出形式可以包括多种，例如概率图形模型或者中枢网络之类的模型形式，这些模型是对数据的总括。在这一情况下，可以较为直观地了解实际运行结果与参考运行结果之间的差异，从而作为例如用户(例如QA人员)判断应用正确性的影响因素。

至此，方法200结束。

需要注意的是，根据本发明的用于确定应用正确性的方法并非对应用的每个组成模块分别进行正确性确定，而是从数据挖掘任务的性能方面、通过数据驱动的方法来确定应用的正确性，从而保证应用的质量，就这点而言，根据本发明的用于确定应用正确性的方法是面向性能的。

图3示出了根据本发明示例性实施方式的基于标准任务池的、确定应用正确性的***的示意图300。如图3所示，***300包括基于云的执行平台301，标准任务池302以及评估器303。标准任务池302是包括数据集、问题和方法(例如但不限于各种算法)实现的库，用户可以从该池中挑选数据、问题和方法并下载到基于云的执行平台301。基于云的执行平台301包括待确定正确性的应用以及用于该应用的数据集。这些实现有可能是基于Greenplum数据库的Madlib算法，也有可能是基于Hadoop的Mahout算法。基于云的执行平台301在获取数据集之后，将数据集在涉及诸如RF、EM、LDA之类的待确定正确性的应用上执行，获得实际的执行结果。同时，还可以基于相同的问题和数据集从标准任务池302中选择一个或多个被证明过的数据挖掘实现作为标准实现，并继而将该实际的执行结果的执行的性能与标准的性能进行比较。比较结果(例如比较报告)可以由评估器以图形化(例如曲线、图形)比较的方式向用户(例如QA人员)输出，以作为他们判断应用正确性(也即，应用的质量)的因素之一。比较的结果有可能涉及准确性、精度、回调等之类的性能结果以供进一步的判断。可选地，***还可以包括一种判断用于基于该执行的性能与标准性能的比较来决定该执行的质量的判断模块。例如，如果所选择的实现的性能在一些预定标准之下非常好，则可以确定该应用很可能是正确的。

本领域技术人员应理解，执行平台301和标准任务池302可以取样一些现有的任务池或平台－例如Kaggle、Weka、RapidMiner、Alpine Miner以及UCI机器学习库等等－来构建。

接下来参照图4进一步描述根据本发明示例性实施方式的用于确定应用正确性的***图400。

如图所示，***400包括获取装置401和确定装置402。其中，获取装置401被配置为获取用于所述应用的数据集和参考运行结果；而确定装置402被配置为基于所述数据集在所述应用上的实际运行结果与所述参考运行结果的比较，确定所述应用的正确性。

在本发明的可选实施方式中，参考运行结果包括数据集在与该应用针对相同问题的另一应用上的运行结果。

在本发明的可选实施方式中，数据集可以包括真实数据集。

在本发明的可选实施方式中，数据集和所述参考运行结果从公共平台中获得。

在本发明的可选实施方式中，应用包括与随机性有关的应用。

下面参考图5，其示出了适于用来实践本发明实施方式的计算机***500的示意性框图。例如，图5所示的计算机***500可以用于实现如上文描述的用于确定应用正确性的***300和装置400的各个部件，也可以用于固化或实现如上文描述的用于确定应用正确性的方法200的各个步骤。

如图5所示，计算机***可以包括：CPU(中央处理单元)501、RAM(随机存取存储器)502、ROM(只读存储器)503、***总线504、硬盘控制器505、键盘控制器506、串行接口控制器507、并行接口控制器508、显示控制器509、硬盘510、键盘511、串行外部设备512、并行外部设备513和显示器514。在这些设备中，与***总线504耦合的有CPU 501、RAM 502、ROM 503、硬盘控制器505、键盘控制器506、串行控制器507、并行控制器508和显示控制器509。硬盘510与硬盘控制器505耦合，键盘511与键盘控制器506耦合，串行外部设备512与串行接口控制器507耦合，并行外部设备513与并行接口控制器508耦合，以及显示器514与显示控制器509耦合。应当理解，图5所述的结构框图仅仅为了示例的目的而示出的，而不是对本发明范围的限制。在某些情况下，可以根据具体情况而增加或者减少某些设备。

如上所述，***300可以实现为纯硬件，例如芯片、ASIC、SOC等。这些硬件可以集成在计算机***500中。此外，本发明的实施方式也可以通过计算机程序产品的形式实现。例如，参考图2描述的方法200可以通过计算机程序产品来实现。该计算机程序产品可以存储在例如图5所示的RAM 504、ROM 504、硬盘510和/或任何适当的存储介质中，或者通过网络从适当的位置下载到计算机***500上。计算机程序产品可以包括计算机代码部分，其包括可由适当的处理设备(例如，图5中示出的CPU 501)执行的程序指令。所述程序指令至少可以包括用于实现方法200的步骤的指令。

上文已经结合若干具体实施方式阐释了本发明的精神和原理。根据本发明的用于确定应用的正确性的方法、***和装置相对于现有技术具有诸多优点。例如，本发明通过构建基于云的执行环境来提出实现这一面向性能的方法。通过该方法，QA人员可以连接到标准任务工具(用于统计/分析算法和数据集的库)，从而提出一种数据驱动的确定应用的正确性的方法作为对现有质量保证架构的补充。另外，本发明节约了QA人员在现实世界中找到测试数据的大量工作。对于确定应用的正确性而言，使用真实的数据集是相当重要的，因为仅以此方式，可以以最接近于真实用户的行为的方式来执行该应用。另外，评估是面向性能的，这样可以直接比较真实用户所要求的度量。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行***，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

说明书中提及的通信网络可以包括各类网络，包括但不限于局域网(“LAN”)，广域网(“WAN”)，根据IP协议的网络(例如，因特网)以及端对端网络(例如，ad hoc对等网络)。

应当注意，尽管在上文详细描述中提及了设备的若干装置或子装置，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多装置的特征和功能可以在一个装置中具体化。反之，上文描述的一个装置的特征和功能可以进一步划分为由多个装置来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明，但是应该理解，本发明并不限于所公开的具体实施方式。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。所附权利要求的范围符合最宽泛的解释，从而包含所有这样的修改及等同结构和功能。

Claims (8)

1.一种确定涉及大数据分析的随机性应用的正确性的方法，包括：

获取用于所述应用的数据集和参考运行结果，所述应用涉及大数据分析的随机性应用；以及

确定所述应用的正确性，包括：

基于所述数据集在所述应用上的实际运行结果的执行性能与所述参考运行结果的执行性能的比较来确定比较结果，其中所述比较结果是从准确性、精度和回调中的任一项选择的；以及

基于所述比较结果确定所述应用的所述正确性；

其中，所述参考运行结果从包括数据集、问题和方法实现的库中获得，并且所述参考运行结果是指在正确性已被验证的另一应用上运行所述数据集的结果，所述另一应用与所述应用针对相同的问题。

2.根据权利要求1所述的方法，其中，所述数据集包括真实数据集。

3.根据权利要求1所述的方法，其中，所述数据集和所述参考运行结果从公共平台中获得。

4.根据权利要求1所述的方法，其中，所述比较结果以图形化方式输出。

5.一种确定涉及大数据分析的随机性应用的正确性的装置，包括：

获取装置，被配置为获取用于所述应用的数据集和参考运行结果，所述应用涉及大数据分析的随机性应用；以及

确定装置，被配置为确定所述应用的正确性，包括：

第一确定装置，被配置为基于所述数据集在所述应用上的实际运行结果的执行性能与所述参考运行结果的执行性能的比较来确定比较结果，其中所述比较结果是从准确性、精度和回调中的任一项选择的；以及

第一确定装置，被配置为基于所述比较结果确定所述应用的所述正确性；

其中，所述参考运行结果从包括数据集、问题和方法实现的库中获得，并且所述参考运行结果是指在正确性已被验证的另一应用上运行所述数据集的结果，所述另一应用与所述应用针对相同的问题。

6.根据权利要求5所述的装置，其中，所述数据集包括真实数据集。

7.根据权利要求5所述的装置，其中，所述数据集和所述参考运行结果从公共平台中获得。

8.根据权利要求5所述的装置，其中，所述比较结果以图形化方式输出。