CN102004982A - 使用变量计分的模型优化*** - Google Patents

Abstract

本发明涉及使用变量计分的模型优化***。具体地，公开了一种模型优化***，配置用于确定用于模型生成的变量的质量。数据存储，存储输入变量、该输入变量的质量度量以及该质量度量的权重。该质量度量描述输入变量的数据的充分性，并且该数据针对多个地区而提供。计分模块，基于输入变量以及经加权的质量度量来确定每个地区的得分。优化器，基于得分来确定是否要修改针对地区的至少一个输入变量，以及确定该地区的总得分是否可操作以使用经修改的输入变量来得以改善。

Description

使用变量计分的模型优化***

优先权

本专利申请要求2009年8月31日提交的名为“Data QualityScorecard”的美国临时申请序列号61/238,363的优先权，在此通过引用并入其全部内容。

技术领域

本发明涉及使用变量计分的模型优化***。

背景技术

建模常被用于预报或预测行为或结果。这些模型可以通过回归分析或者分析历史数据的其他方法来生成。例如，公司使用历史销售数据来生成预测销售在未来将如何受到影响的模型，并且这些公司可以相应地做出调整以改善销售或者控制产品库存。

存在多种传统技术用以评估这些模型的输出(例如，销售预测)的准确性。然而，一旦模型被确定为不准确的，如果用来生成模型的输入数据存在问题，则非常难以改进模型的准确性。不佳的模型性能可能是来自某些数据收集源的某些模型输入参数的不充分数据的结果，或者归因于不同的源在确定参数时执行的不一致计算。分析每个输入参数以标识哪些输入参数导致了模型预测的不准确可能将花费多个人工小时。此外，没有用于评估输入参数的质量以及用于估计不同数据质量方面对最终模型质量的影响的客观测量，这一事实可能使分析进一步复杂化。而且，公司收集历史数据和构建模型是高成本的。通常，最初并未分析收集的数据以确定该数据是否可以用于构建准确的模型。结果是，把时间和金钱浪费在构建不准确的模型上。

发明内容

按照一个实施方式，一种模型优化***，配置用于确定用于模型生成的变量的质量。数据存储，存储输入变量、该输入变量的质量度量以及该质量度量的权重。该质量度量描述输入变量的数据的充分性和质量，并且该数据针对多个地区而提供。计分模块，基于输入变量以及经加权的质量度量来确定每个地区的得分。优化器，基于得分来确定是否要修改针对地区的至少一个输入变量，以及确定该地区的总得分是否可操作以使用经修改的输入变量来得以改善。

按照另一实施方式，一种用于确定用于建模的数据质量的方法，包括：标识可操作以用于建模以便估计因变量的输入变量；确定描述输入变量的数据的充分性的质量度量，其中该数据针对多个地区而提供；对质量度量进行加权；以及由计算机***基于经加权的质量度量来确定每个地区的得分。该方法可以具体化在一个或多个计算机程序中，该计算机程序包括计算机可读指令，并且存储在非瞬态计算机可读介质上。一种计算机***，可以执行计算机可读指令以执行该方法。

附图说明

在下文描述中，将参考附图详细描述本发明的实施方式。

图1示出了按照一个实施方式的***；

图2示出了按照一个实施方式的说明性变量的示例；

图3示出了按照一个实施方式的得分的示例；

图4示出了按照一个实施方式的地区的总得分的示例；

图5示出了按照一个实施方式的用于确定得分的方法；

图6示出了按照一个实施方式的用于改善总得分的方法；以及

图7示出了按照一个实施方式的可用于方法和***的计算机***。

具体实施方式

出于简便和说明目的，实施方式的原理将主要通过参考其示例来描述。在下文描述中，记载了多个特定细节以提供对实施方式的透彻理解。然而，对于本领域普通技术人员而言易见的是，可以不限于这些特定细节来实践实施方式。在某些实例中，没有详细描述公知的方法和结构以避免不必要的混淆实施方式。

1.概述

按照一个实施方式，一种***，可操作以确定销售影响数据是否足以生成可以用来进行关于销售的准确预测的模型。该***还可操作以标识改善模型性能以进行准确预测所需要的销售影响数据的改变。模型可以包括时间序列计量经济学模型，其使用来自销售影响数据的参数作为输入，用以进行关于特定的参数或参数集合将如何影响销售的预测。使用这些预测，公司可以修改营销活动或者其他销售策略，以改善其产品的销售。该***可操作以量化模型的输入参数的质量，从而确定是否可以构建准确的模型或者是否可以改善已有模型。

销售影响数据被用作模型的输入并由***进行评估，其包括与销售有关或者可能影响产品销售的任何信息。产品可以是一个或多个货品或服务。销售影响数据的示例包括：关于所进行的实际销售的信息，关于促销的信息，广告和其他营销信息，宏观经济因素(诸如，关于经济衰退或通货膨胀的信息)，等等。

在此描述的实施方式包括一个或多个技术方面。例如，***生成显示，其通过得分来提供用于生成模型的数据的充分性的方便可视化。由此，实施方式可以降低为了执行确定数据和变量是否足以生成准确模型这一任务而需要的来自用户的精神和身体上的努力。另一技术方面是数据(诸如，质量度量)向得分的转换，其可以使用简单的计分标度，这允许用户快速标识用于模型构建的输入变量的可行性，以及用于输入变量的优化从而改善模型。

2.***

图1示出了按照一个实施方式的模型优化***100。***100包括计分模块110、仿真器120、模型构建器130、优化器140、用户接口150以及数据存储160。***100接收销售影响数据，包括输入变量101、变量关系数据102、质量度量103以及由***100用于评估变量和模型构建的其他数据。该数据以及由***100生成的数据和模型存储于数据存储160中，数据存储160可以包括数据库或其他类型的存储***。存储在数据存储160中并由***100使用的至少某些数据可以经由用户接口150来接收。

计分器110确定销售影响数据中包括的输入变量101的得分105。输入变量101是用来构建模型106的变量。模型106继而可以用来预测销售变量的值，其中销售变量可以是因变量，具有根据一个或多个输入变量计算的值。输入变量101以及用于评估输入变量的质量度量105的示例在图2和图3中示出，并将在下文详述。

输入变量101的得分105可以用来评估和优化输入变量101，以用于模型构建以及改善用于进行销售变量预测的模型(诸如，模型106)的准确性。得分105可以包括输入质量度量得分、源得分、类别得分以及总得分。计分模块110确定输入变量101的质量度量103的质量度量得分。这些得分被用来计算源得分，该源得分与提供销售影响数据和/或营销渠道的数据源有关。质量度量得分还被用来计算针对输入变量的不同类型的类别得分。根据计算出的得分来计算总得分。总得分可以是针对地理区域的总得分，并且指示适用于该地区的输入变量的质量。而且，可以使用加权来计算得分。变量关系数据102包括用于计分的权重、范围和标度。可以基于累积的专家知识来确定变量关系数据102，并且应用统计分布以确定用于计分的范围和标度。得分计算的示例关于图2-图4提供。

***100还包括仿真器120。仿真器120允许优化器140改变输入变量，并且仿真器120继而向计分器110发送经修订的输入变量以重新计算得分。例如，优化器140确定某个地区的总得分是否在预定阈值之下。优化器140可以确定某些输入变量不具有用于生成模型的充分质量。优化器140可以例如通过将输入变量的得分与阈值进行比较来标识不充分的变量。用户还可以通过用户接口150可视地查看得分，并且选择具有低得分的一个或多个输入变量以便替换。优化器140确定标识的输入变量是否可以修改。这可以包括确定是否存在针对不充分变量的任何其他数据源。此确定可以基于在数据存储160中搜索其他源，或者从用户处接收其他源可用的指示以及还接收这些源的数据。如果另一源可用，则来自新源的数据被用来确定不充分变量的质量度量得分，并且用来确定是否可以使用新数据来改善总得分。

标识具有低得分的“问题”变量，诸如对于百分比覆盖率质量度量具有1的输入变量。确定并执行用于获得具有较好质量的输入变量的方式。例如，优化器140可以通过由仿真器120执行的仿真来确定：已经发现具有较好百分比覆盖率得分的备选变量源。如果获得具有较好覆盖率的较好质量变量，则仿真器120和计分模块110确定变量的改变是否充分地改善了总得分。如果改变改善了总得分，则向模型构建器130发送输入变量，包括经修改的问题变量。

模型构建器130使用输入变量来构建模型106。模型构建器130可以构建可用于总得分在阈值之上的地区(这指示输入变量对于该地区模型构建而言是充分的)的模型。例如，给定输入变量的选定集合，使用统计回归(例如，线性回归)方法来确定模型系数。这些系数是将变量的数据(例如，营销渠道的成本数据)最佳映射为相应的历史表现数据的模型变量的系数。使用回归技术来估计模型变量的系数，以产生将给定输入数据的计算输出最佳拟合至其相应输出的多元函数(例如，曲线)。在某些实施方式中，回归技术针对模型的至少某些变量执行非线性回归，以便将与此类变量(例如，展示收益递减行为的市场变量)相关联的任何非线性行为纳入考虑。

确定变量与销售之间的关系以及确定构成模型的响应曲线在由Andris Umblijs等人于2006年7月7日提交的名为“ModelingMarketing Data”的共同未决美国专利申请序列号11/483,401中进一步描述，在此通过引用并入其全部内容。

图2示出了用于评估输入变量101的质量度量103的示例。该示例包括百分比覆盖率201和202、数据周期性203以及数据刷新频率204。说明210描述每个质量度量201-204。应当注意，可以使用其他质量度量。

示出了标度205。在此示例中，标度205为0-3。标度中的值0-3是质量度量得分，其可以由计分模块110根据针对质量度量的测量和范围来确定。针对每个得分确定范围。例如，对于百分比覆盖率201，范围0-20％映射为得分0；范围20-40％映射为得分1；范围40-75％映射为得分2；并且范围75-100％映射为得分3。计分模块110标识百分比覆盖率度量201的测量值，其可以由外部源提供并且存储在数据存储160中。例如，测量值为30％，其落入20-40％的范围内。由此，对于测量值30％来说，百分比覆盖率度量201的得分为1。在图2中针对每个质量度量201-204示出了得分的范围的示例。

此示例中的标度是简单标度0-3，因此易于用户快速标识输入变量被认为有多好或多不好。然而，可以使用更为复杂的标度。而且，可以通过对历史数据的专家分析来确定标度和范围。

图3示出了地区301的得分205的示例。在此示例中，地区301是巴西，并且地区301的总得分302是2.54。请注意，图3中示出的总得分302和其他得分使用了用于质量度量的相同标度，诸如0-3。

计分模块110根据类别得分、输入变量得分和质量度量得分以及输入变量的权重，来计算总得分302。输入变量在类别中示出。类别是因变量303、由客户端304控制的自变量以及不由客户端控制的外部自变量305。客户端可以是使用***100来评估输入变量和构建模型以估计销售或其他信息的公司或其他实体。

自变量304由客户端控制，并且可以包括针对诸如电视、有线电视、印刷品等不同营销渠道的营销变量。营销变量可以包括为每个营销渠道花费的数额、提利(uplift)等。外部自变量305在客户端的控制之外，并且可以包括国家零售销售、***数目、商店或零售商批发商店的数目，等等。因变量303是有待自变量来解释和/或预测的变量。这可以包括其值将使用模型来进行预测的变量。因变量的一个示例是购买量。其他示例可以是增量销售、利润、客户周期等。每个类别下可以存在多个变量。

计分模块110分别计算类别303-305的类别得分306-308。类别得分306-308分别使用类别权重309-311以及针对每个类别的源得分来计算。

针对每个类别示出了输入变量。例如，对于类别303，示出了销售输入变量312和销售1输入变量313。类别304具有涉及不同营销渠道的输入变量314，并且类别305具有输入变量315。对于每个类别中的每个输入变量，示出了输入变量权重316-318。针对每个类别的输入变量权重的和可以等于100。例如，销售输入变量312具有100％的权重，而销售1输入变量313具有0％的权重。在此描述的权重可以通过专家分析和数据分析来确定。销售1可以具有0％的权重，因为它的源被认为是不可靠的。还可以考虑其他因素。请注意，如果源是已知的，则可以示出源。例如，输入变量312和313分别具有由主要源和次要源提供的数据。输入变量314可以具有外部源(诸如，媒体代理)，或者可以由客户端提供。

根据质量度量得分和质量度量权重来计算输入变量得分。质量度量318针对每个输入变量而示出，并且可以包括百分比覆盖率、数据周期性以及数据刷新频率。还示出了质量度量得分，并且其可以基于相同的0-3标度。对于类别303示出了质量度量得分310。对于类别303还示出了质量度量权重320，但是未针对其他类别示出；然而，每个类别都可以使用质量度量权重(即使未示出)。

图3中示出以及上文描述的得分可以使用以下公式来计算。

公式1

其中n是类别的数目。

例如，总得分302是2.64＝(2.6*.45)+(2.44*.45)+(2.68*.1)。

公式2

其中x是该类别的输入变量的数目。

例如，因变量类别303的类别得分是2.60＝(2.60*1.00)+(2.20*0.0)。

公式3

其中y是质量度量的数目。

例如，因变量类别303的销售输入变量得分是2.60＝(3*.60)+(2*.30)+(2*.10)。

***100可以用来计算不同地区的总得分。图4示出了针对不同国家的总得分401。而且，示出了每个类别303-305的对应得分及其权重309-311。还示出了全球平均。查看这些结果的用户可以将墨西哥标识为具有最差输入变量，并且仿真器120和优化器140可以用来标识要修改的输入变量，以便改善墨西哥的总得分并为墨西哥构建质量更好的模型。

3.方法

图5示出了按照一个实施方式的用于确定得分的方法500。得分表示用来构建准确模型的输入变量的质量，其可以用来预测销售变量或者其他因变量的值。作为示例而非限制，方法500和下文描述的其他方法可以关于图1-图4中的一个或多个来描述。

在步骤501，标识构建用于估计销售变量的一个或多个模型所需要的输入变量，其可以是因变量。例如，图3示出了营销自变量，其可以具有在不同营销渠道上花费的数额、外部自变量以及因变量(例如，购买量)。可以使用这些变量中的一个或多个来估计销售变量。估计的变量可以包括因变量，诸如购买量。例如，给定每个营销渠道中的特定营销投资以及给定外部自变量的值，可以使用模型来估计购买量。利润和客户周期是可以针对选定的输入变量集合而估计的销售变量的其他示例。用户可以为模型选择要使用的变量。

在步骤502，确定输入变量的质量度量。质量度量描述输入变量的数据的充分性。可以提供不同地区的数据。质量度量的示例在图2中示出。例如，可以从输入变量的各种源提供数据。数据周期性的质量度量描述针对输入变量从源收集数据的频度。在一个示例中，假设：收集较频繁的数据被认为对于创建模型而言较为充分，并被给予较高的得分。

计分模块110可以基于计分标度以及在标度上为每个值指派的范围来为质量度量计分，从而确定质量度量。例如，***100使用得分0-3，并且为每个质量度量的特定范围指派每个得分。得分的示例在图3和图4中示出，并且映射至每个得分的范围的示例在图2中示出。

在步骤503，确定权重。权重包括用于每个质量度量的权重、用于每个输入变量的权重以及用于输入变量的每个类别的权重。权重还可以针对源的每个类型而确定，诸如图3中针对不同营销渠道而示出的。可以基于累积的专家知识和/或对历史数据的分析，来确定权重、计分***以及范围。

在步骤504，***100生成得分。基于销售影响数据、权重以及可以包括计分标度(例如，0-3)的计分***，针对每个输入变量、每个类别以及针对所有输入变量(也即，总得分)而生成得分。总得分可以逐个地区来提供，如图4中所示。

图6示出了按照一个实施方式的用于改善总得分的方法600。在步骤601，确定总得分是否在阈值之下。这可以是针对地区的总得分。如果总得分在阈值之下，则在步骤602，标识具有最低得分的一个或多个个体输入变量。阈值可由用户或另一实体来预先确定。例如，确定阈值2，并且认为在2之下的任何总得分对于模型构建而言是不充分的。

在步骤603，确定是否可以修改任何输入变量以潜在地改善总得分。这可以包括从具有较好质量度量的新源获得数据。其他源可能不可用，在这些情况下，针对地区的输入变量和总得分可能无法改善，如步骤604表示。如果可以修改至少一个输入变量以潜在地改善地区的总得分，则在步骤605修改变量，这可以包括获得提供较好质量度量的输入变量数据。在步骤606，对地区进行重新计分。这包括使用经修改的输入变量来计算该地区的新总得分。继而，可以重复方法600以确定新的总得分是否在阈值之上。对于总得分在阈值之上的所有地区，可以构建模型，并将其用于预报销售量或者其他因变量。

5.计算机可读介质

图7示出了可以与在此描述的实施方式结合使用的计算机***700。计算机***700表示包括可以在服务器或者其他计算机***中的部件的通用平台。计算机***700可以用作用于执行一个或多个在此描述的方法、功能和其他步骤的平台。这些步骤可以具体化为存储在一个或多个计算机可读介质上的软件(包括计算机可读指令)，其中计算机可读介质可以是非瞬态存储设备。此外，图1中所示的***100的部件可以是软件、硬件或者硬件和软件的结合。

计算机***700包括处理器702，其可以实现或者执行软件指令，软件指令执行某些或全部在此描述的方法、功能和其他步骤。来自处理器702的命令和数据通过通信总线704传送。计算机700还包括：主存储器707，诸如随机访问存储器(RAM)，用于处理器702的软件和数据可以在运行时期间驻留在此；以及次级数据存储708，其可以是非易失性的，并且存储软件和数据。存储器和数据存储是计算机可读介质的示例。

计算机***700可以包括一个或多个I/O设备710，诸如键盘、鼠标、显示器等。计算机***700可以包括用于连接至网络的网络接口712。对于本领域的技术人员易见的是，可以在计算机***700中添加或替换其他已知的电子部件。

在此描述的方法的一个或多个步骤和在此描述的其他步骤以及在此描述的***的一个或多个部件可以实现为计算机代码，其存储在诸如存储器和/或次级存储的计算机可读介质上，并且在计算机***上执行，例如由处理器、专用集成电路(ASIC)或者其他控制器来执行。代码可以作为包括源代码、目标代码、可执行代码或者其他格式的程序指令的软件程序而存在。计算机可读介质的示例包括传统的计算机***RAM(随机访问存储器)、ROM(只读存储器)、EPROM(可擦除可编程ROM)、EEPROM(电可擦除可编程ROM)、硬盘驱动以及闪存。

尽管已经参考示例描述了实施方式，但是本领域技术人员能够在不脱离要求保护的实施方式的范围的情况下，对所描述的实施方式进行各种修改。例如，作为示例，模型优化***100一般地关于优化营销模型来进行描述。***100可以用来为变量计分以及优化其他类型的模型，其可以用于预报天气、股市等。

Claims (20)

1.一种模型优化***，配置用于确定用于模型生成的变量的质量，所述***包括：

数据存储，存储输入变量、所述输入变量的质量度量以及所述质量度量的权重，其中所述质量度量描述所述输入变量的数据的充分性，并且所述数据针对多个地区而提供；

计分模块，基于所述输入变量以及经加权的质量度量，来确定每个地区的得分；以及

优化器，由计算机***执行，并且基于所述得分来确定是否要修改针对地区的至少一个输入变量，以及确定所述地区的总得分是否可操作以使用经修改的输入变量来得以改善。

2.如权利要求1所述的模型优化***，还包括：

模型构建器，使用所述输入变量来生成针对得分在阈值之上的每个地区的模型。

3.如权利要求1所述的模型优化***，其中所述计分模块基于针对所述质量度量的测量来确定每个质量度量的质量度量得分，其中所述每个地区的得分根据所述质量度量得分来计算。

4.如权利要求1所述的模型优化***，其中所述计分模块：通过确定所述输入变量的类别来确定所述每个地区的得分，其中每个类别与输入变量的类型相关联；确定每个类别的类别权重；以及基于所述类别权重来确定所述每个地区的得分。

5.如权利要求4所述的模型优化***，其中所述类别包括：由实体控制的自变量，所述实体的控制之外的自变量，以及依赖于另一类别的变量的因变量。

6.一种用于确定用于建模的数据的质量的方法，所述方法包括：

标识可操作以用于建模以便估计因变量的输入变量；

确定描述所述输入变量的数据的充分性的质量度量，其中所述数据针对多个地区而提供；

对所述质量度量进行加权；以及

由计算机***基于经加权的质量度量来确定每个地区的得分。

7.如权利要求6所述的方法，还包括：

对于每个输入变量，确定针对每个质量度量的测量；以及

基于所述测量来确定每个质量度量的质量度量得分，其中所述每个地区的得分根据所述质量度量得分来计算。

8.如权利要求7所述的方法，其中确定质量度量得分包括：

确定每个质量度量的值的标度；

将所述针对每个质量度量的测量与映射至所述标度内的值的值范围进行比较；以及

基于所述比较来确定每个质量度量的质量度量得分。

9.如权利要求6所述的方法，其中确定每个地区的得分包括：

确定所述输入变量的类别，其中每个类别与输入变量的类型相关联；

确定每个类别的类别权重；以及

基于所述类别权重来确定所述每个地区的得分。

10.如权利要求9所述的方法，其中所述类别包括：由实体控制的自变量，所述实体的控制之外的自变量，以及依赖于另一类别的变量的因变量。

11.如权利要求6所述的方法，其中确定每个地区的得分包括：

确定所述输入变量的所述数据的源；

确定每个类别的源权重；以及

基于所述源权重来确定所述每个地区的得分。

12.如权利要求6所述的方法，还包括：

从确定的得分中标识落在针对所述地区之一的阈值之下的得分；

基于所述质量度量从所述输入变量中标识可操作以被改进的输入变量；

修改标识的输入变量；

使用修改的输入变量对所述地区重新计分，以确定所述地区的新得分；以及

确定所述新得分是否落在所述阈值之下。

13.如权利要求6所述的方法，还包括：

使用所述输入变量来生成针对得分在阈值之上的每个地区的模型。

14.一种用于确定用于建模的数据的质量的设备，所述设备包括：

用于标识可操作以用于建模以便估计因变量的输入变量的装置；

用于确定描述所述输入变量的数据的充分性的质量度量的装置，其中所述数据针对多个地区而提供；

用于对所述质量度量进行加权的装置；以及

用于由计算机***基于经加权的质量度量来确定每个地区的得分的装置。

15.如权利要求14所述的设备，还包括：

用于对于每个输入变量确定针对每个质量度量的测量的装置；以及

用于基于所述测量来确定每个质量度量的质量度量得分的装置，其中所述每个地区的得分根据所述质量度量得分来计算。

16.如权利要求15所述的设备，其中用于确定质量度量得分的装置包括：

用于确定每个质量度量的值的标度的装置；

用于将所述针对每个质量度量的测量与映射至所述标度内的值的值范围进行比较的装置；以及

用于基于所述比较来确定每个质量度量的质量度量得分的装置。

17.如权利要求14所述的设备，其中用于确定每个地区的得分的装置包括：

用于确定所述输入变量的类别的装置，其中每个类别与输入变量的类型相关联；

用于确定每个类别的类别权重的装置；以及

用于基于所述类别权重来确定所述每个地区的得分的装置。

18.如权利要求17所述的设备，其中所述类别包括：由实体控制的自变量，所述实体的控制之外的自变量，以及依赖于另一类别的变量的因变量。

19.如权利要求14所述的设备，其中用于确定每个地区的得分的装置包括：

用于确定所述输入变量的所述数据的源的装置；

用于确定每个类别的源权重的装置；以及

用于基于所述源权重来确定所述每个地区的得分的装置。

20.如权利要求14所述的设备，还包括：

用于从确定的得分中标识落在针对所述地区之一的阈值之下的得分的装置；

用于基于所述质量度量从所述输入变量中标识可操作以有所改进的输入变量的装置；

用于修改标识的输入变量的装置；

用于使用修改的输入变量对所述地区重新计分以确定所述地区的新得分的装置；以及

用于确定所述新得分是否落在所述阈值之下的装置。

Images