CN112306836A - 采样对象确定方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

根据本公开的示例实施例，提供了一种采样对象确定方法、装置、电子设备和计算机可读存储介质，可以用于人工智能领域中。采样对象确定方法包括：通过应用的用户的总数目和采样比例，确定采样数目；按照所述应用的版本的从高到低的顺序确定至少一个版本，所述至少一个版本的用户的数目和大于等于所述采样数目；以及在所述至少一个版本的所述用户中，将所述采样数目的用户确定为采样对象。利用上述方法，可以容易地确定能够用于针对应用进行有代表性的性能评估的采样对象，使得能够通过针对应用对确定的采样对象进行性能评估来准确地反映应用的新发布版本带来的性能变化，不仅有助于应用发布者对应用进行升级和改进，也有助于提高应用的用户体验。

Description

采样对象确定方法、装置、电子设备和计算机可读存储介质

技术领域

本公开涉及移动通信技术，并且更具体地，涉及采样对象确定方法、装置、电子设备和计算机可读存储介质，可以应用于应用性能评估领域中。

背景技术

移动应用是移动通信技术领域中的重要组成部分。移动应用具有新版本发布频繁、多版本共存等特点。为了对移动应用、尤其是移动应用的最新版本进行新能评估，在每次针对移动应用发布新版本之后，需要对所发布的移动应用的“最新版本”进行数据分析，从而使得能够准确地评估“最新版本”整体的性能、体验等产品效果，这些产品效果例如可以包括移动应用启动成功率、移动应用启动速度、移动应用导致的白屏率以及移动应用的渲染成功率等。

然而，在移动通信技术领域中，在移动应用的新版本发布之后，不同操作***、不同机型的移动设备更新移动应用的先后顺序是不一样的。例如，安装安卓操作***的移动设备通常是高端机先更新，安装苹果移动设备操作***的移动设备则正好相反，通常是低端机先更新。由于高端机的性能会比低端机的性能更好，因此安装安卓操作***的移动设备的数据表现是先好后坏，安装苹果移动设备操作***的移动设备是先坏后好，这将会造成统计数据的较大波动，从而对针对移动应用的“最新版本”的整体效果评估的准确性带来了很大挑战。

发明内容

根据本公开的实施例，提供了一种采样对象确定方法、装置、电子设备和计算机可读存储介质。

在本公开的第一方面中，提供了一种采样对象确定方法，包括：通过应用的用户的总数目和采样比例，确定采样数目；按照应用的版本的从高到低的顺序确定至少一个版本，至少一个版本的用户的数目和大于等于采样数目；以及在至少一个版本的用户中，将采样数目的用户确定为采样对象。

在本公开的第二方面中，提供了一种采样对象确定装置，包括：采样数目确定模块，被配置为通过应用的用户的总数目和采样比例，确定采样数目；版本确定模块，被配置为按照应用的版本的从高到低的顺序确定至少一个版本，至少一个版本的用户的数目和大于等于采样数目；以及采样对象确定模块，被配置为在至少一个版本的用户中，将采样数目的用户确定为采样对象。

在本公开的第三方面中，提供了一种电子设备，包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够实现根据本公开的第一方面的方法。

在本公开的第四方面中，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机实现根据本公开的第一方面的方法。

利用根据本申请的技术，可以容易地确定能够用于针对应用进行有代表性的性能评估的采样对象，使得能够通过针对应用对确定的采样对象进行性能评估来准确地反映应用的新发布版本带来的性能变化，不仅有助于应用发布者对应用进行升级和改进，也有助于提高应用的用户体验。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

附图说明

通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中在本公开示例性实施例中，相同的参考标号通常代表相同部件。应当理解，附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示出了可以在其中实现本公开的某些实施例中的采样对象确定方法的应用评估环境100的示意性框图；

图2示出了根据本公开实施例的采样对象确定方法200的流程图；

图3示出了根据本公开实施例的新版本用户数目增加曲线300的示意性框图；

图4示出了根据本公开的实施例的采样对象确定装置400的示意性框图；

图5示出了根据本公开的实施例的应用评估效果曲线500的示意性框图；以及

图6示出了根据本公开实施例的电子设备600的示意性框图。

在各个附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

如以上在背景技术中所描述的，在每次针对移动应用发布新版本之后，需要对所发布的移动应用的“最新版本”进行数据分析，从而使得能够准确地评估“最新版本”整体的性能、体验等产品效果。在传统的移动应用数据评估中，主要采取两种方式。

在第一种方式中，将针对移动应用查看最新版本和历史版本混合后的总体效果。在这一方式中，通过日志生产埋点增加版本标识，利用日志采集器收集并上传数据至分布式存储装置，并且分析所有版本的用户群体的数据，将所有版本的数据混合起来进行数据分析作为效果评估数据。

当采取第一种方式时，存在新版本的业务表现不明显的缺点。这是因为最新版本和历史版本的数据被混合在一起，并且在新版本的发布初期，安装新版本的移动应用的移动设备或者使用新版本的用户的数据量占比较小，所以不容易发现新版本的发布所带来的业务指标的提升或下降表现。

在第二种方式中，将针对移动应用查看仅最新版本的整体效果。在这一方式中，同样通过日志生产埋点增加版本标识，利用日志采集器收集并上传数据至分布式存储装置，但从存储数据中仅获取最新版本的用户群体的数据进行分析，从而得到仅针对最新版本的评估数据。

当采取第二种方式时，数据的统计波动会较大，从而导致置信度低。如前所述，在移动应用的新版本发布之后，不同操作***、不同机型的移动设备更新移动应用的先后顺序是不一样的，因此版本发布的优先级、版本发布的速度以及用户数目增加的收敛率均不同，从而会导致统计数据的波动，严重影响对业务评估。例如，假设安装了某移动应用的安卓操作***和苹果移动设备操作***的数据量或者用户数量的比例为10:3。在实际操作中，由于安卓操作***和苹果移动设备操作***的升级先后顺序不一样，通常安卓操作***比苹果移动设备操作***用户数目增加的收敛更快，所以安装了该移动应用的安卓操作***和苹果移动设备操作***的数据量或者用户数量的比例实际上是不断增加来趋近10:3的。例如，比例可以是从100:3、80:3、20:1……10:1……最终到达10:3。但是，这个比例变化过程可能会持续到下个版本发布都不会真正到达10:3。此时，由于苹果移动设备操作***的占比太小，效果评估数据一直都是更多体现安装了安卓操作***的移动设备的表现。

为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个问题，本公开的实施例提出了一种采样对象确定方法，使用这种方法，可以通过收集从最新版本开始从新往旧若干版本的数据来针对移动应用进行效果评测，并且可以通过升级到最新版本的用户的数量首次达到缓慢增速的数值来确定活跃用户的比例，进而确定采样比例。因此，采取本申请中的采样对象确定方法，可以容易地确定能够用于针对应用进行有代表性的性能评估的采样对象，使得能够通过针对应用对确定的采样对象进行性能评估来准确地反映应用的新发布版本带来的性能变化，不仅有助于应用发布者对应用进行升级和改进，也有助于提高应用的用户体验。

图1示出了可以在其中实现本公开的某些实施例中的采样对象确定方法的应用评估环境100的示意性框图。根据本公开的实施例，应用评估环境100可以是云环境。如图1中所示，应用评估环境100包括计算设备110。应用评估环境100中，应用统计数据120作为计算设备110的输入被提供给计算设备110，采样对象130和性能评估140作为输出由计算设备110输出。应当理解，本申请的实施例并非仅适用于移动应用，而是也可以适用于安装在台式机上的固定应用。在本申请的实施例中所使用的术语“应用”既可以用于指代“移动应用”，也可以用于指代“固定应用”，这一术语选择仅为示例，而非用于对本申请的保护范围进行限制。

应当理解，应用评估环境100仅仅是示例性而不是限制性的，并且其是可扩展的，其中可以包括更多的计算设备110，并且可以向计算设备110提供更多应用统计数据120作为输入，计算设备110也可以输出更多的采样对象130和性能评估140作为输出，从而使得可以满足更多用户同时利用更多的计算设备110，甚至利用更多的应用统计数据120来针对更多的应用确定更多的采样对象130和性能评估140的需求。此外，计算设备110并不需要同时输出采样对象130和性能评估140作为输出，而是可以仅输出采样对象130和性能评估140中的一者作为输出。再者，计算设备110也可以并不实际输出采样对象130和性能评估140，而是仅通过计算获得采样对象130和性能评估140。

根据本公开的实施例，在应用评估环境100中，被提供给计算设备110的应用统计数据120例如可以包括应用的总用户数目、应用的各个版本的用户数目、应用的版本信息、安装在不同操作***上的应用的数据量的比例、安装新版本的用户的数量增加情况等。

根据本公开的实施例，当应用评估环境100中的计算设备110接收到应用统计数据120作为输入之后，计算设备110可以利用应用统计数据120来确定采样对象130和性能评估140作为输出。采样对象130包括应用的用户中的一部分用户，将针对这一部分用户对应用进行性能评估。性能评估140包括针对采样对象130对应用进行性能评估的性能评估结果。

在图1所示的应用评估环境100中，向计算设备110输入应用统计数据120以及从计算设备110输出采样对象130和性能评估140可以通过网络来进行。

图2示出了根据本公开的实施例的采样对象确定方法200的流程图。具体而言，方法200可以由图1中所示的应用评估环境100中的计算设备110来执行。应当理解的是，方法200还可以包括未示出的附加操作和/或可以省略所示出的操作，本公开的范围在此方面不受限制。

在框202，计算设备110通过应用的用户的总数目和采样比例，确定采样数目。根据本公开的实施例，采样比例可以表示要对应用的全部用户中的多少用户进行采样，将应用的用户的总数目乘以采样比例可以得到采样数目。

根据本公开的实施例，计算设备110通过应用的新版本发布后，新版本的用户的数目首次开始减缓增加速度时的数目和总数目，来确定采样比例。

图3示出了根据本公开实施例的新版本用户数目增加曲线300的示意性框图。用户数目增加曲线300包括部分曲线310，在部分曲线310中包括首次减缓增加速度点320。

部分曲线310表示当针对应用发布新版本后用户数目增加的情况。具体而言，部分曲线310的水平方向从左至右表示时间的增加，部分曲线310的竖直方向从下至上表示安装了新版本的用户的数目。部分曲线310可以分为三个部分，分别是斜率较小的左侧部分、斜率较大的中间部分以及斜率较小的右侧部分。当新版本发布后，安装新版本的用户的数目开始会缓慢增加，如部分曲线310的左侧部分所示。而后，从某个时间点开始，安装新版本的用户的数目会快速增加，如部分去向310的中间部分所示。再次，从另一时间点开始，安装新版本的用户的数目的增加速度将会降低，这一时间点在部分曲线310中被标记为首次减缓增加速度点320。

在首次减缓增加速度点320时安装了应用的新版本的用户可以被认为是活跃用户。根据本公开的实施例，可以将活跃用户的数目除以应用的用户的总数目来得到采样比例。对采用这一采样比例所获得的采样数目的用户进行性能评估能够较为准确地反映应用的新发布版本带来的性能变化。如果选择比这一采样比例更高的数值作为采样比例，则会出现传统技术中的第一种方式存在的问题，此时由于采样比例偏高，因此确定的采样对象会包含更多的老版本的数据，这些老版本的数据和最新版本的评估数据差异较大，从而不能很好的反映新版本带来的业务表现。如果选择比这一采样比例更低的数值作为采样比例，则会出现传统技术中的第二种方式存在的问题，因为新版本发布初期安卓操作***用户通常是高端机先更新，而苹果移动设备操作***的用户则正好相反是低端机先更新，因此取到的活跃用户群体很可能仅是升级后最新版本的用户群，因此可能会受机型分布不均匀的影响，从而导致评估数据不可信。

根据本公开的实施例，当采样比例为40％时，采用这一采样比例所获得的采样数目的用户进行性能评估能够最为准确地反映应用的新发布版本带来的性能变化。

在框204，计算设备110按照应用的版本的从高到低的顺序确定至少一个版本，从而使得该至少一个版本的用户的数目和大于等于在框202的步骤中所确定的采样数目。根据本公开的实施例，在应用的全部用户中，尽量针对较高版本的用户收集数据可以更为直观地反映应用的新发布版本带来的性能变化，因此可以按照应用的版本的从高到低的顺序来确定采样数目的用户。

根据本公开的实施例，如果当前最新版本的用户的数目已经大于等于在框202的步骤中所确定的采样数目，则只需要确定这一当前最新版本以及对应的用户以用于后续操作；如果当前最新版本的用户的数目小于在框202的步骤中所确定的采样数目，则继续统计当前次新版本的用户的数目，如果当前最新版本和次新版本的用户的数目和已经大于等于在框202的步骤中所确定的采样数目，则可以确定这两个版本以及对应的用户以用于后续操作；依次类推。

在框206，计算设备110在框204的步骤中所确定至少一个版本的用户中，将在框202的步骤中所确定的采样数目的用户确定为采样对象。

根据本公开的一个实施例，计算设备110可以在框204的步骤中所确定至少一个版本的用户中，随机地将在框202的步骤中所确定的采样数目的用户确定为采样对象。例如，计算设备110可以在框204的步骤中所确定至少一个版本的用户中，任意地选择在框202的步骤中所确定的采样数目的用户确定为采样对象。

根据本公开的又一实施例，计算设备110可以通过在框204的步骤中所确定至少一个版本的用户的数目和以及在框202的步骤中所确定的采样数目来确定采样系数，并且在框204的步骤中所确定至少一个版本的用户中，利用所确定的采样系数来选择在框202的步骤中所确定的采样数目的用户确定为采样对象。例如，计算设备110可以通过将在框202的步骤中所确定的采样数目除以在框204的步骤中所确定至少一个版本的用户的数目和来得到采样系数，这一采样系数为小于1的值。而后，计算设备可以利用得到的这一采样系数在框204的步骤中所确定至少一个版本的用户中进行采样，以得到在框202的步骤中所确定的采样数目的用户作为采样对象。

根据本公开的再一实施例，计算设备110可以在框204的步骤中所确定至少一个版本的用户中，按照版本的从高到低的顺序以及安装相应版本后时间从长到短的顺序，将版本最高并且安装相应版本时间最长的在框202的步骤中所确定的采样数目的用户确定为采样对象。例如，计算设备110可以将在框204的步骤中所确定至少一个版本的用户按照版本的从高到低的顺序以及安装相应版本后时间从长到短的顺序进行排序，并且序列中的前采样数目个用户确定为采样对象。

根据本公开的实施例，应用可以同时被安装在包括安卓操作***和苹果移动设备操作***在内的至少两种操作***中。在这种情况下，可以针对这些操作***中的每种操作***执行与框202、框204和框206对应的步骤，并将针对每种操作***所确定的采样对象的集合确定为针对安装应用的所有操作***的采样对象集合。由于对至少两种操作***进行了等比例采样，因此针对每种操作***所得到的采样对象的数目的比例与每种操作***的用户总数的比例相同，从而不会由于不同操作***的版本发布节奏不同而对评估结果产生不良影响。

通过执行与框202、框204和框206对应的步骤，可以准确地确定能够用于针对应用进行有代表性的性能评估的采样对象。

方法200还包括在图2中以虚线框的形式示出的可选框208。在可选框208，计算设备110针对在框206确定的采样对象，对应用进行性能评估。根据本公开的实施例，对应用进行性能评估可以包括针对应用启动成功率、应用启动速度、应用导致的白屏率以及应用的渲染成功率等进行性能评估。

以上参考图1至图3描述了可以在其中实现本公开的某些示例性实施例中的指令执行方法的指令执行***100以及根据本公开的实施例的用于采样对象确定方法200的相关内容。应当理解，上述描述是为了更好地展示本公开中所记载的内容，而不是以任何方式进行限制。

应当理解，本公开的上述各个附图中所采用的各种元件的数目和物理量的大小仅为举例，而并不是对本公开的保护范围的限制。上述数目和大小可以根据需要而被任意设置，而不会对本公开的实施方式的正常实施产生影响。

上文已经参见图1至图3描述了根据本公开的实施方式的采样对象确定方法的细节。在下文中，将参见图4描述采样对象确定装置中的各个模块。

图4是根据本公开实施例的采样对象确定装置400的示意性框图。如图4所示，采样对象确定装置400可以包括：采样数目确定模块410，被配置为通过应用的用户的总数目和采样比例，确定采样数目；版本确定模块420，被配置为按照所述应用的版本的从高到低的顺序确定至少一个版本，所述至少一个版本的用户的数目和大于等于所述采样数目；以及采样对象确定模块430，被配置为在所述至少一个版本的所述用户中，将所述采样数目的用户确定为采样对象。

在某些实施例中，其中所述采样数目确定模块410、所述版本确定模块420和所述采样对象确定模块430被配置为针对用于安装应用的至少两种操作***中的每种操作***执行对应的操作。

在某些实施例中，采样对象确定装置400还包括：采样比例确定模块(未示出)，被配置为通过所述应用的新版本发布后，所述新版本的用户的数目首次开始减缓增加速度时的数目和所述总数目，来确定所述采样比例。

在某些实施例中，其中所述采样比例为40％。

在某些实施例中，其中所述采样对象确定模块430包括：第一采样对象确定模块(未示出)，被配置为在所述至少一个版本的所述用户中，随机地将所述采样数目的用户确定为所述采样对象。

在某些实施例中，其中所述采样对象确定模块430包括：采样系数确定模块(未示出)，被配置为通过所述数目和与所述采样数目来确定采样系数；以及第二采样对象确定模块(未示出)，被配置为在所述至少一个版本的所述用户中，利用所述采样系数来将所述采样数目的用户确定为所述采样对象。

在某些实施例中，其中所述采样对象确定模块430包括：第三采样对象确定模块(未示出)，被配置为在所述至少一个版本的所述用户中，按照版本的从高到低的顺序以及安装相应版本后时间从长到短的顺序，将版本最高并且安装相应版本时间最长的所述采样数目的用户确定为所述采样对象。

在某些实施例中，其中所述至少两种操作***包括安卓操作***和苹果移动设备操作***。

在某些实施例中，采样对象确定装置400还包括：性能评估模块440，被配置为针对所述采样对象，对所述应用进行性能评估。性能评估模块440被配置为执行与采样对象确定方法200中的可选框208中的步骤对应的操作，因此在图4中被以虚线形式示出作为可选模块。

根据本公开的实施例，本公开还提供了一种电子设备和一种计算机可读存储介质。

图5示出了根据本公开的实施例的应用评估效果曲线500的示意性框图。应用评估效果曲线500包括第一曲线510、第二曲线520和第三曲线530。应用评估效果曲线500是以应用被安装在安卓操作***和苹果移动设备操作***这两种操作***为例进行说明。

第一曲线510是按照传统方案中的第一种方式对应用的最新版本和历史版本混合后的总体效果的评测曲线，尽管此时被采样的安卓操作***和苹果移动设备操作***的比例与安卓操作***和苹果移动设备操作***的总用户数目的比例相同，例如，10:3，可以看到第一曲线510过于平滑，因此难以显示最新版本的业务表现。

第二曲线520是按照传统方案中的第二种方式对应用的最新版本的评测曲线，由于机型分布不均匀的影响，此时被采样的安卓操作***和苹果移动设备操作***的比例与安卓操作***和苹果移动设备操作***的总用户数目的比例不同，被采样的安卓操作***的数目将会远大于被采样的苹果移动设备操作***的数目，例如，12:1，因此数据的波动很大，且几乎均反映的是安卓操作***的业务表现。

第三曲线530是根据本申请的采样对象确定方法对应用的最新版本的评测曲线，由于此时是对最新的一个或多个版本进行的采样，因此不仅此时被采样的安卓操作***和苹果移动设备操作***的比例与安卓操作***和苹果移动设备操作***的总用户数目的比例相同，例如，10:3，第三曲线530也能够准确的反映新版本发布所带来的业务表现影响，例如波动较小的阶梯式提高，此时评估数据具有很高的置信度。

通过以上参考图1至图5的描述，根据本公开的实施方式的技术方案相对于传统方案具有诸多优点。例如，利用上述技术方案，可以容易地确定能够用于针对应用进行有代表性的性能评估的采样对象，使得能够通过针对应用对确定的采样对象进行性能评估来准确地反映应用的新发布版本带来的性能变化，不仅有助于应用发布者对应用进行升级和改进，也有助于提高应用的用户体验。

图6示出了根据本公开实施例的电子设备600的示意性框图。例如，如图1所示的计算设备120和如图4所示的采样对象确定装置400可以由电子设备600来实施。电子设备600旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备600还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，该电子设备600包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备600内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备600，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图6中以一个处理器601为例。

存储器602即为本公开所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本公开所提供的采样对象确定方法。本公开的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本公开所提供的采样对象确定方法。

存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本公开实施例中的采样对象确定方法对应的程序指令/模块(例如，图4所示的采样数目确定模块410、版本确定模块420、采样对象确定模块430以及性能评估模块440)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的采样对象确定方法。

存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备600的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至电子设备600。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

电子设备600还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。

输入装置603可接收输入的数字或字符信息，以及产生与电子设备600的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本公开实施例的技术方案，通过收集从最新版本开始从新往旧若干版本的数据来进行应用效果评测，并且可以通过最新版升级用户数首次达到缓慢增速的数值来确定头部用户占比、进而确定采样比例。采取这一技术方案，能够在不受针对多个操作***发布新版本的时间窗口不一致和收敛速度的影响情况下，灵活地并且容易地发现新版本发布带来的影响。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (20)

1.一种采样对象确定方法，包括：

通过应用的用户的总数目和采样比例，确定采样数目；

按照所述应用的版本的从高到低的顺序确定至少一个版本，所述至少一个版本的用户的数目和大于等于所述采样数目；以及

在所述至少一个版本的所述用户中，将所述采样数目的用户确定为采样对象。

2.根据权利要求1所述的方法，其中确定采样数目的步骤，确定至少一个版本的步骤和将所述采样数目的用户确定为采样对象的步骤针对用于安装应用的至少两种操作***中的每种操作***而被执行。

3.根据权利要求1所述的方法，还包括：

通过所述应用的新版本发布后，所述新版本的用户的数目首次开始减缓增加速度时的数目和所述总数目，来确定所述采样比例。

4.根据权利要求1所述的方法，其中所述采样比例为40％。

5.根据权利要求1所述的方法，其中将所述采样数目的用户确定为采样对象包括：

在所述至少一个版本的所述用户中，随机地将所述采样数目的用户确定为所述采样对象。

6.根据权利要求1所述的方法，其中将所述采样数目的用户确定为采样对象包括：

通过所述数目和与所述采样数目来确定采样系数；以及

在所述至少一个版本的所述用户中，利用所述采样系数来将所述采样数目的用户确定为所述采样对象。

7.根据权利要求1所述的方法，其中将所述采样数目的用户确定为采样对象包括：

在所述至少一个版本的所述用户中，按照版本的从高到低的顺序以及安装相应版本后时间从长到短的顺序，将版本最高并且安装相应版本时间最长的所述采样数目的用户确定为所述采样对象。

8.根据权利要求2所述的方法，其中所述至少两种操作***包括安卓操作***和苹果移动设备操作***。

9.根据权利要求1所述的方法，还包括：

针对所述采样对象，对所述应用进行性能评估。

10.一种采样对象确定装置，包括：

采样数目确定模块，被配置为通过应用的用户的总数目和采样比例，确定采样数目；

版本确定模块，被配置为按照所述应用的版本的从高到低的顺序确定至少一个版本，所述至少一个版本的用户的数目和大于等于所述采样数目；以及

采样对象确定模块，被配置为在所述至少一个版本的所述用户中，将所述采样数目的用户确定为采样对象。

11.根据权利要求10所述的装置，其中所述采样数目确定模块、所述版本确定模块和所述采样对象确定模块被配置为针对用于安装应用的至少两种操作***中的每种操作***执行对应的操作。

12.根据权利要求10所述的装置，还包括：

采样比例确定模块，被配置为通过所述应用的新版本发布后，所述新版本的用户的数目首次开始减缓增加速度时的数目和所述总数目，来确定所述采样比例。

13.根据权利要求10所述的装置，其中所述采样比例为40％。

14.根据权利要求10所述的装置，其中所述采样对象确定模块包括：

第一采样对象确定模块，被配置为在所述至少一个版本的所述用户中，随机地将所述采样数目的用户确定为所述采样对象。

15.根据权利要求10所述的装置，其中所述采样对象确定模块包括：

采样系数确定模块，被配置为通过所述数目和与所述采样数目来确定采样系数；以及

第二采样对象确定模块，被配置为在所述至少一个版本的所述用户中，利用所述采样系数来将所述采样数目的用户确定为所述采样对象。

16.根据权利要求10所述的装置，其中所述采样对象确定模块包括：

第三采样对象确定模块，被配置为在所述至少一个版本的所述用户中，按照版本的从高到低的顺序以及安装相应版本后时间从长到短的顺序，将版本最高并且安装相应版本时间最长的所述采样数目的用户确定为所述采样对象。

17.根据权利要求11所述的装置，其中所述至少两种操作***包括安卓操作***和苹果移动设备操作***。

18.根据权利要求10所述的装置，还包括：

性能评估模块，被配置为针对所述采样对象，对所述应用进行性能评估。

19.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。

Images