CN113791961A - 基于微服务的数据采集方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及人工智能领域，公开了一种基于微服务的数据采集方法、装置、设备及存储介质，该方法包括：通过获取数据采集请求以及应用服务器的性能参数计算性能指标值并排序，生成第一序列；根据数据采集请求中的采集优先级对应用服务器进行排序，生成第二序列；根据第一序列和第二序列确定数据采集策略，根据各应用服务器对应的采集能力从数据采集策略中选取最优采集策略进行微服务的数据采集。本发明通过选取最优采集策略进行数据采集，提高了数据采集效率，节省了数据采集的时间成本。此外，本发明还涉及区块链领域，性能参数可存储于区块链中。

Description

基于微服务的数据采集方法、装置、设备及存储介质

技术领域

本发明涉及人工智能领域，尤其涉及一种基于微服务的数据采集方法、装置、设备及存储介质。

背景技术

随着当今信息化进程的推进，数据当仁不让地成为人们的焦点。海量的数据如何智能、高效、准确的进行采集，是如今很多企业面临的一个严峻的问题。随着企业不断发展壮大，涉及的业务范围也不断的深入，产生的数据量也会随之增加。

电子设备可以通过硬件和软件技术来采集各种数据，如环境参数值以及用户的操作行为数据等，并根据这些数据来执行一定的操作。然而现有的数据采集方式，电子设备进行数据采集的智能化程度较低，导致基于微服务的数据采集效率低。

发明内容

本发明的主要目的在于解决现有技术中基于微服务的数据采集效率低的技术问题。

本发明第一方面提供了一种基于微服务的数据采集方法，所述基于微服务的数据采集方法包括：接收数据采集请求，以及获取各应用服务器的性能参数，其中，所述数据采集请求携带有采集信息；根据各所述性能参数计算各所述应用服务器对应的性能指标值；将各所述应用服务器按照所述性能指标值进行排序，生成第一序列；提取所述采集信息中的采集优先级，将各所述应用服务器按照采集优先级进行排序，生成第二序列；根据所述第一序列和所述第二序列确定微服务的数据采集策略；将各所述应用服务器按照对应的采集能力进行优先级排序，得到采集能力序列；根据所述采集能力序列从所述数据采集策略中选取最优采集策略，并根据所述最优采集策略进行微服务的数据采集。

可选的，在本发明的第一方面的第一种实现方式中，所述根据各所述性能参数计算各所述应用服务器对应的性能指标值包括：提取各所述应用服务器的性能参数中的并发数和响应时间，根据所述并发数和所述响应时间计算各所述应用服务器的吞吐量；提取各所述应用服务器的性能参数中的CPU处理能力基准，根据所述CPU处理能力基准计算各所述应用服务器的CPU占有率；提取各所述应用服务器的性能参数中的磁盘旋转延迟时间和磁头寻道时间，并根据所述磁盘旋转延迟时间和所述磁头寻道时间计算各所述应用服务器的磁盘存储能力；将所述吞吐量、所述CPU占有率和所述磁盘存储能力作为各所述应用服务器对应的性能指标值。

可选的，在本发明的第一方面的第二种实现方式中，所述将各所述应用服务器按照所述性能指标值进行排序，生成第一序列包括：根据各性能指标预设的权重，对所述性能指标值进行加权运算，得到各所述应用服务器的指标权值；对各所述应用服务器按照所述指标权值进行排序，得到第一序列。

可选的，在本发明的第一方面的第三种实现方式中，所述根据所述第一序列和所述第二序列确定微服务的数据采集策略包括：提取所述采集信息中的应用服务器的选取数量；根据所述第一序列和所述第二序列对各所述应用服务器进行筛选，得到第一服务器集；对所述第一服务器集中各所述应用服务器按照所述选取数量进行随机组合，生成多种微服务的数据采集策略。

可选的，在本发明第一方面的第四种实现方式中，所述根据所述第一序列和所述第二序列对各所述应用服务器进行筛选，得到第一服务器集包括：基于预设的所述指标权值和所述采集优先级的权重，对所述第一序列和所述第二序列进行加权运算，得到计算结果；将各所述应用服务器按照所述计算结果进行排序，得到第三序列；根据所述第三序列对各所述应用服务器进行筛选，确定各所述应用服务器在所述第三序列中的序列位置，并从所述第三序列中选取位于前K个序列位置的所述应用服务器，生成第一服务器集，其中，K为正整数。

可选的，在本发明第一方面的第五种实现方式中，所述根据所述第一序列和所述第二序列对各所述应用服务器进行筛选，得到第一服务器集包括：确定各所述应用服务器在所述第一序列中的序列位置，并从第一序列中选取位于前M个序列位置的所述应用服务器，得到第二服务器集；确定各所述应用服务器在所述第二序列中的序列位置，从第二序列中选取位于前N个序列位置的所述应用服务器，得到第三服务器集；判断所述第二服务器集和所述第三服务器集中是否含有相同的应用服务器；若是，则提取对应的所述应用服务器，生成第一服务器集。

本发明第二方面提出一种基于微服务的数据采集装置，所述基于微服务的数据采集装置包括：接收模块，用于接收数据采集请求，以及获取各应用服务器的性能参数，其中，所述数据采集请求包括采集信息；计算模块，用于根据各所述性能参数计算各所述应用服务器对应的性能指标值；第一排序模块，用于将各所述应用服务器按照所述性能指标值进行排序，生成第一序列；提取模块，用于提取采集信息中的采集优先级，将各应用服务器按照采集优先级进行排序，生成第二序列；确定模块，用于根据所述第一序列和所述第二序列确定微服务的数据采集策略；第二排序模块，用于将各所述应用服务器按照对应的采集能力进行优先级排序，得到采集能力序列；选取模块，用于根据所述采集能力序列从所述数据采集策略中选取最优采集策略，并根据所述最优采集策略进行基于微服务的数据采集。

可选的，在本发明第二方面的第一种实现方式中，所述计算模块包括：吞吐量计算单元，用于提取各所述应用服务器的性能参数中的并发数和响应时间，根据所述并发数和所述响应时间计算各所述应用服务器的吞吐量；占有率计算单元，用于提取各所述应用服务器的性能参数中的CPU处理能力基准，根据所述CPU处理能力基准计算各所述应用服务器的CPU占有率；存储能力计算单元，用于提取各所述应用服务器的性能参数中的磁盘旋转延迟时间和磁头寻道时间，根据所述磁盘旋转延时时间和磁头寻道时间计算各所述应用服务器的磁盘存储能力；综合计算单元，用于将所述吞吐量、所述CPU占有率和所述磁盘存储能力作为各所述应用服务器对应的性能指标值。

可选的，在本发明第二方面的第二种实现方式中，所述第一排序模块包括：加权运算单元，用于根据各性能指标预设的权重，对所述性能指标值进行加权运算，得到各所述应用服务器的指标权值；第一排序单元，用于对各所述应用服务器按照所述指标权值进行排序，得到第一序列。

可选的，在本发明第二方面的第三种实现方式中，所述确定模块包括：提取单元，用于提取所述采集信息中的应用服务器的选取数量；筛选单元，用于根据所述第一序列和所述第二序列对各所述应用服务器进行筛选，得到第一服务器集；组合单元，用于对所述第一服务器集中各所述应用服务器按照所述选取数量进行随机组合，生成多种微服务的数据采集策略。

可选的，在本发明第二方面的第四种实现方式中，所述筛选单元具体用于：基于预设的所述指标权值和所述采集优先级的权重，对所述第一序列和所述第二序列进行加权运算，得到计算结果；将各所述应用服务器按照所述计算结果进行排序，得到第三序列；根据所述第三序列对各所述应用服务器进行筛选，确定各所述应用服务器在所述第三序列中的序列位置，并从所述第三序列中选取位于前K个序列位置的所述应用服务器，生成第一服务器集，其中，K为正整数。

可选的，在本发明第二方面的第五种实现方式中，所述筛选单元还具体用于：确定各所述应用服务器在所述第一序列中的序列位置，并从第一序列中选取位于前M个序列位置的所述应用服务器，得到第二服务器集；确定各所述应用服务器在所述第二序列中的序列位置，从第二序列中选取位于前N个序列位置的所述应用服务器，得到第三服务器集；判断所述第二服务器集和所述第三服务器集中是否含有相同的应用服务器；若所述第二服务器集和所述第三服务器集中含有相同的应用服务器，则提取对应的所述应用服务器，生成第一服务器集。

本发明第三方面提供了一种基于微服务的数据采集设备，所述基于微服务的数据采集设备包括：存储器和至少一个处理器，所述存储器中存储有计算机程序，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述计算机程序，以使得所述基于微服务的数据采集设备执行上述的基于微服务的数据采集方法的步骤。

本发明第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机执行上述的基于微服务的数据采集方法的步骤。

在本发明提供的技术方案中，通过接收数据采集请求，以及获取各应用服务器的性能参数；根据各性能参数计算各应用服务器对应的性能指标值；将各应用服务器按照性能指标值进行排序，生成第一序列；提取采集信息中的采集优先级，将各应用服务器按照采集优先级进行排序，生成第二序列；根据第一序列和第二序列确定微服务的数据采集策略；将各应用服务器按照对应的采集能力进行优先级排序，得到采集能力序列；根据采集能力序列从数据采集策略中选取最优采集策略，并根据最优采集策略进行基于微服务的数据采集。本发明通过各应用服务器的性能参数值和采集优先级确定数据采集策略，并根据各应用服务器的采集能力从中选取最优采集策略进行数据采集，提高了数据采集效率，节省了数据采集的时间成本。

附图说明

图1为本发明实施例中基于微服务的数据采集方法的第一个实施例示意图；

图2为本发明实施例中基于微服务的数据采集方法的第二个实施例示意图；

图3为本发明实施例中基于微服务的数据采集方法的第三个实施例示意图；

图4为本发明实施例中基于微服务的数据采集方法的第四个实施例示意图；

图5为本发明实施例中基于微服务的数据采集装置的一个实施例示意图；

图6为本发明实施例中基于微服务的数据采集装置的另一个实施例示意图；

图7为本发明实施例中基于微服务的数据采集设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种基于微服务的数据采集方法、装置、设备及存储介质，通过接收数据采集请求，以及获取各应用服务器的性能参数；根据各性能参数计算各应用服务器对应的性能指标值；将各应用服务器按照性能指标值进行排序，生成第一序列；提取采集信息中的采集优先级，将各应用服务器按照采集优先级进行排序，生成第二序列；根据第一序列和第二序列确定微服务的数据采集策略；将各应用服务器按照对应的采集能力进行优先级排序，得到采集能力序列；根据采集能力序列从数据采集策略中选取最优采集策略，并根据最优采集策略进行基于微服务的数据采集。本发明实施例通过各应用服务器的性能参数值和采集优先级确定数据采集策略，并根据各应用服务器的采集能力从中选取最优采集策略进行数据采集，提高了数据采集效率，节省了数据采集的时间成本。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体内容进行描述，请参阅图1，本发明实施例中基于微服务的数据采集方法的第一个实施例包括：

101，接收数据采集请求，以及获取各应用服务器的性能参数；

102，根据各性能参数计算各应用服务器对应的性能指标值；

服务器接收数据采集请求，以及获取可运行微服务的数据采集过程的各应用服务器的性能参数，其中，该数据采集请求携带有采集信息，根据各应用服务器的性能参数计算各应用服务器对应的性能指标值。

在本实施例中，服务器在微服务采集中心的采集程序中嵌入了一个心跳包，该心跳包的作用就是对各应用服务器的性能指标进行预演计算，其中，应用服务器的性能指标包括吞吐量(F)(固定时间内处理完成的事务个数)、CPU占用率(RCL)、磁盘存储能力(IOPS)、内核数量等，微服务采集中心负责微服务的数据采集；性能参数包括每秒查询率(QPS/TPS)、并发数、响应时间、CPU处理能力基准、磁盘旋转延迟时间、磁头寻道时间和采集能力。

另外，本发明实施例可以基于人工智能技术对数据采集请求和应用服务器的性能参数进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

103，将各应用服务器按照性能指标值进行排序，生成第一序列；

104，提取数据采集请求携带的采集信息中的采集优先级，将各应用服务器按照采集优先级进行排序，生成第二序列；

将各应用服务器按照各应用服务器对应的性能指标值的大小由大到小进行排序，得到第一序列。具体的，服务器每隔5分钟向微服务采集中心反馈各应用服务器计算出来的性能指标值，微服务采集中心会将接受到的每台应用服务器的性能参数计算性能指标值，根据性能指标值对各应用服务器进行比较排序，得到第一序列。

提取数据采集请求携带的采集信息中的采集优先级，该采集优先级为客户端在发送数据采集请求时，用户自定义的各应用服务器对应的业务表的采集优先级，将各应用服务器按照该采集优先级进行排序，得到第二序列。例如，各应用服务器的业务表之间存在优先级，prov_rcpt暂收表的优先级A1大于adv_prem预收表的优先级A2。

105，根据第一序列和第二序列确定微服务的数据采集策略；

根据第一序列和第二序列中各应用服务器的排序情况，对各应用服务器进行筛选和组合，形成微服务的数据采集策略。在本实施例中，将第一序列和第二序列的各应用服务器的排序情况进行匹配，从中选取既在第一序列排序靠前，又在第二序列中排序靠前的应用服务器，将选取的应用服务器进行任意组合，形成多种应用服务器组合方式，根据该应用服务器的组合方式生成数据采集策略。其中，一种应用服务器的组合方式为一种数据采集策略，本实施例中根据第一序列和第二序列选取的应用服务器的数量不做限定，可根据实际情况进行限定。

106，提取各应用服务器的性能参数中的采集能力，将各应用服务器按照对应的采集能力进行优先级排序，得到采集能力序列；

107，根据采集能力序列从数据采集策略中选取最优采集策略，并根据最优采集策略进行微服务的数据采集。

提取各应用服务器的性能参数中的采集能力，将各应用服务器按照对应的采集能力进行优先级排序，得到采集能力序列。根据采集能力序列从数据采集策略中选取最优采集策略。例如，根据采集能力序列，W1服务器采集能力最好，那么就挑选出包含W1服务器组合的数据采集策略(W1W2、W1W3、W1W4)，再从这些数据采集策略中选取包含采集能力第二优的服务器W2，这样的组合W1W2服务器就是最优的数据采集策略，根据该数据采集策略，将微服务的数据采集任务分发到对应与其数据采集策略匹配的应用服务器W1和W2，由应用服务器W1和W2触发数据采集指令，并执行微服务的数据采集工作。

在本发明实施例中，通过获取数据采集请求以及应用服务器的性能参数计算性能指标值并排序，生成第一序列；根据数据采集请求中的采集优先级对应用服务器进行排序，生成第二序列；根据第一序列和第二序列确定数据采集策略，根据各应用服务器对应的采集能力从数据采集策略中选取最优采集策略进行微服务的数据采集。本发明实施例通过选取最优采集策略进行数据采集，提高了数据采集效率，节省了数据采集的时间成本。

请参阅图2，本发明实施例中基于微服务的数据采集方法的第二个实施例包括：

201，接收数据采集请求，以及获取各应用服务器的性能参数；

202，提取各应用服务器的性能参数中的并发数和响应时间，根据并发数和响应时间计算各应用服务器的吞吐量；

服务器接收数据采集请求，以及获取可运行微服务的数据采集过程的各应用服务器的性能参数，其中，该数据采集请求携带有采集信息，根据各应用服务器的性能参数计算各应用服务器对应的性能指标值。

提取各应用服务器的性能参数中的并发数和响应时间，根据该并发数和响应时间计算对应的应用服务器的吞吐量。其中，吞吐量(F)涉及到的几个重要的参数：每秒查询率(QPS/TPS)、并发数、响应时间。

在本实施例中，吞吐量是指应用服务器在单位时间内处理请求的数量。对于无并发的应用应用服务器而言，吞吐量与响应时间成严格的反比关系，实际上此时吞吐量就是响应时间的倒数。前面已经说过，对于单用户的应用服务器，响应时间(或者应用服务器响应时间和应用延迟时间)可以很好地度量应用服务器的性能，但对于并发应用服务器，通常需要用吞吐量作为性能指标。对于一个多用户的应用服务器，如果只有一个用户使用时应用服务器的平均响应时间是t，当有n个用户使用时，每个用户看到的响应时间通常并不是n×t，而往往比n×t小很多(当然，在某些特殊情况下也可能比n×t大，甚至大很多)。这是因为处理每个请求需要用到很多资源，由于每个请求的处理过程中有许多不走难以并发执行，这导致在具体的一个时间点，所占资源往往并不多。也就是说在处理单个请求时，在每个时间点都可能有许多资源被闲置，当处理多个请求时，如果资源配置合理，每个用户看到的平均响应时间并不随用户数的增加而线性增加。实际上，不同应用服务器的平均响应时间随用户数增加而增长的速度也不大相同，这也是采用吞吐量来度量并发应用服务器的性能的主要原因。一般而言，吞吐量是一个比较通用的指标，两个具有不同用户数和用户使用模式的应用服务器，如果其最大吞吐量基本一致，则可以判断两个应用服务器的处理能力基本一致。其中，峰值吞吐量(MF)为每秒内处理数据量的最大值。

响应时间是指应用服务器对请求作出响应的时间。直观上看，这个指标与人对软件性能的主观感受是非常一致的，因为它完整地记录了整个应用服务器处理请求的时间。由于一个应用服务器通常会提供许多功能，而不同功能的处理逻辑也千差万别，因而不同功能的响应时间也不尽相同，甚至同一功能在不同输入数据的情况下响应时间也不相同。所以，在讨论一个应用服务器的响应时间时，人们通常是指该应用服务器所有功能的平均时间或者所有功能的最大响应时间。当然，往往也需要对每个或每组功能讨论其平均响应时间和最大响应时间。

并发用户数是指应用服务器可以同时承载的正常使用应用服务器功能的用户的数量。与吞吐量相比，并发用户数是一个更直观但也更笼统的性能指标。实际上，并发用户数是一个非常不准确的指标，因为用户不同的使用模式会导致不同用户在单位时间发出不同数量的请求。以网站应用服务器为例，假设用户只有注册后才能使用，但注册用户并不是每时每刻都在使用该网站，因此具体一个时刻只有部分注册用户同时在线，在线用户就在浏览网站时会花很多时间阅读网站上的信息，因而具体一个时刻只有部分在线用户同时向应用服务器发出请求。这样，对于网站应用服务器我们会有三个关于用户数的统计数字：注册用户数、在线用户数和同时发请求用户数。由于注册用户可能长时间不登陆网站，使用注册用户数作为性能指标会造成很大的误差。而在线用户数和同事发请求用户数都可以作为性能指标。相比而言，以在线用户作为性能指标更直观些，而以同时发请求用户数作为性能指标更准确些。

每秒查询率(QPS)是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准，在因特网上，作为域名应用服务器的机器的性能经常用每秒查询率来衡量。

在本实施例中，每秒查询率(QPS/TPS)为每秒中应用服务器接收的请求(R)与事务数量(N)的商；吞吐量为并发数与响应时间的商；其中，并发数(Concurrent)为应用服务器同时处理的请求(R)与事务数量(N)的商；响应时间(Times)取平均响应时间；当网络传输时间为N1+N2+N3+N4，应用服务器处理时间为A1+A3，数据库服务器处理时间为：A2，则响应时间T＝(N1+N2+N3+N4)/3+(A1+A3)/2+A2。

203，提取各应用服务器的性能参数中的CPU处理能力基准，根据CPU处理能力基准计算各应用服务器的CPU占有率；

提取各应用服务器的性能参数中的CPU处理能力基准，根据该CPU处理能力基准计算各应用服务器的CPU占有率(RCL)。在应用服务器启动前，使用中断测试CPU的处理能力基准(CPUPerformanceBase)；在应用服务器进入运行后，使用空闲任务执行与测试CPU处理能力基准完全相同的算法，得到RTCPUPerformance。周期地计算CPU占用率，并清除RTCPUPerformance的值，一般每秒钟计算一次：

RCL＝1-(RTCPUPerformance/CPUPerformanceBase)*100％。

204，提取各应用服务器的性能参数中的磁盘旋转延迟时间和磁头寻道时间，并根据磁盘旋转延迟时间和磁头寻道时间计算各应用服务器的磁盘存储能力；

提取各应用服务器的性能参数中的磁盘旋转延迟时间和磁头寻道时间，根据该磁盘旋转延迟时间和磁头寻道时间计算各应用服务器对应的磁盘存储能力(IOPS)。在本实施例中，磁盘存储能力IOPS＝1000ms/(磁盘旋转延迟时间(ms)+磁头寻道时间(ms))。

205，将吞吐量、CPU占有率和磁盘存储能力作为各应用服务器对应的性能指标值；

将各应用服务器对应的吞吐量、CPU占有率和磁盘存储能力作为各应用服务器对应的性能指标值。

206，根据各性能指标预设的权重，对性能指标值进行加权运算，得到各应用服务器的指标权值；

207，对各应用服务器按照指标权值进行排序，得到第一序列；

服务器根据应用服务器的各性能指标预设的权重，对性能指标值进行加权运算，即计算各性能指标值和与各性能指标对应的权重的乘积，从而得到对应的各应用服务器的指标权值。将各应用服务器按照对应的指标权值的大小由大到小的顺序进行排序，得到第一序列。

在本实施例中，应用服务器的各性能指标的权重根据预设的各性能指标的排序优先级进行设定，其中，各性能指标的排序优先级为：CPU占用率(RCL)>并发数(Concurrent)>峰值吞吐量(MF)>响应时间(Times)。另外，各性能指标对应的权重数值的设定在本实施例中不做限定。

208，提取数据采集请求携带的采集信息中的采集优先级，将各应用服务器按照采集优先级进行排序，生成第二序列；

提取数据采集请求携带的采集信息中的采集优先级，该采集优先级为客户端在发送数据采集请求时，用户自定义的各应用服务器对应的业务表的采集优先级，将各应用服务器按照该采集优先级进行排序，得到第二序列。例如，各应用服务器的业务表之间存在优先级，prov_rcpt暂收表的优先级A1大于adv_prem预收表的优先级A2。

209，提取数据采集请求携带的采集信息中的应用服务器的选取数量；

210，根据第一序列和第二序列对各应用服务器进行筛选，得到第一服务器集；

211，对第一服务器集中各应用服务器按照选取数量进行随机组合，生成多种微服务的数据采集策略；

服务器提取采集信息中规定在数据采集过程中选取的应用服务器的选取数量，并根据第一序列和第二序列中各应用服务器的排序情况对所有的应用服务器进行筛选，即根据第一序列和第二序列筛选出排序靠前的应用服务器，形成第一服务器集，在本实施例中，第一服务器集中应用服务器的数量不做限定，可根据实际需求进行限定，且第一服务器集中应用服务器的数量不大于应用服务器的总数。

对第一服务器集中各应用服务器按照选取数量进行随机组合，即通过排序组合公式来计算各应用服务器按照选取数量的可能组合方式，且一种组合方式为一种数据采集策略：C(n，m)＝P(n，m)/P(m，m)＝n！/m！(n-m)！，其中，n为第一服务器集中应用服务器的数量，m为应用服务器的选取数量，例如，第一服务器集中应用服务器的数量n为5，应用服务器的选取数量为2时，其组合方式为：C(5，2)＝5！/(2！*3！)＝5*4/(2*1)＝10，即共有10种组合方式，可生成10种数据采集策略。

212，提取各应用服务器的性能参数中的采集能力，将各应用服务器按照对应的采集能力进行优先级排序，得到采集能力序列；

213，根据采集能力序列从数据采集策略中选取最优采集策略，并根据最优采集策略进行微服务的数据采集。

在本发明实施例中，步骤212-213与上述的基于微服务的数据采集方法的第一个实施例中的步骤106-107一致，在此不做赘述。

在本发明实施例中，根据应用服务器的选取数量对经过筛选的各应用服务器进行随机组合，得到多种数据采集策略，从而可根据数据采集策略对微服务进行数据采集，提高了数据采集的效率，且生成的数据采集策略符合实际采集要求，避免造成资源浪费，节省了成本。

请参阅图3，本发明实施例中基于微服务的数据采集方法的第三个实施例包括：

301，接收数据采集请求，以及获取各应用服务器的性能参数；

302，根据各性能参数计算各应用服务器对应的性能指标值；

303，将各应用服务器按照性能指标值进行排序，生成第一序列；

304，提取采集信息中的采集优先级，将各应用服务器按照采集优先级进行排序，生成第二序列；

305，提取数据采集请求携带的采集信息中的应用服务器的选取数量；

306，基于预设的指标权值和采集优先级的权重，对第一序列和第二序列进行加权运算，得到计算结果；

307，将各应用服务器按照计算结果进行排序，得到第三序列；

服务器提取采集信息中规定在数据采集过程中选取的应用服务器的选取数量，并根据第一序列和第二序列中各应用服务器的排序情况对所有的应用服务器进行筛选，即根据第一序列和第二序列筛选出排序靠前的应用服务器，形成第一服务器集，在本实施例中，第一服务器集中应用服务器的数量不做限定，可根据实际需求进行限定，且第一服务器集中应用服务器的数量不大于应用服务器的总数。具体的，服务器根据所得到的指标权值和采集优先级的权重，对第一序列和第二序列进行加权运算，即对第二序列中各应用服务器按照对应的采集优先级的权重进行加权运算，得到采集优先级的权值，然后将各服务器对应的采集优先级的权值和指标权值进行算术相加运算，得到计算结果。将所有的应用服务器按照计算结果进行排序，即将各应用服务器按照对应的计算结果的大小由大到小的顺序进行排序，生成第三序列。

308，根据第三序列对应用服务器进行筛选，确定各应用服务器在第三序列中的序列位置，并从第三序列中选取位于前K个序列位置的应用服务器，生成第一服务器集；

根据第三序列对所有的应用服务器进行筛选，确定各应用服务器在第三序列中的序列位置，即查找各应用服务器在第三序列中对应的排序位置，从第三序列中选取位于前K个序列位置的应用服务器，即提取第三序列中排序在前K个的应用服务器，形成第一服务器集，其中，K为正整数。

309，对第一服务器集中各应用服务器按照选取数量进行随机组合，生成多种微服务的数据采集策略；

对第一服务器集中各应用服务器按照选取数量进行随机组合，即通过排序组合公式来计算各应用服务器按照选取数量的可能组合方式，且一种组合方式为一种数据采集策略：C(n，m)＝P(n，m)/P(m，m)＝n！/m！(n-m)！，其中，n为第一服务器集中应用服务器的数量，m为应用服务器的选取数量，例如，第一服务器集中应用服务器的数量n为5，应用服务器的选取数量为2时，其组合方式为：C(5，2)＝5！/(2！*3！)＝5*4/(2*1)＝10，即共有10种组合方式，可生成10种数据采集策略。

310，提取各应用服务器的性能参数中的采集能力，将各应用服务器按照对应的采集能力进行优先级排序，得到采集能力序列；

311，根据采集能力序列从数据采集策略中选取最优采集策略，并根据最优采集策略进行微服务的数据采集。

在本发明实施例中，步骤301-304、步骤310-311与上述的基于微服务的数据采集方法的第一个实施例中的步骤101-104、步骤106-107一致，在此不做赘述。

在本发明实施例中，对各应用服务器按照对应的指标权值和采集优先级的权重进行加权运算并筛选，得到第一服务器集，对第一服务器集进行随机组合得到多种数据采集策略；在生成数据采集策略之前对各应用服务器进行筛选，得到性能较强的应用服务器用于数据采集，从而提高了后续数据采集的效率。

请参阅图4，本发明实施例中基于微服务的数据采集方法的第四个实施例包括：

401，接收数据采集请求，以及获取各应用服务器的性能参数；

402，根据各性能参数计算各应用服务器对应的性能指标值；

403，将各应用服务器按照性能指标值进行排序，生成第一序列；

404，提取采集信息中的采集优先级，将各应用服务器按照采集优先级进行排序，生成第二序列；

405，提取数据采集请求携带的采集信息中的应用服务器的选取数量；

406，确定各应用服务器在第一序列中的序列位置，并从第一序列中选取位于前M个序列位置的应用服务器，得到第二服务器集；

确定各应用服务器在第一序列中的序列位置，即查找各应用服务器在第一序列中对应的排序位置，从第一序列中选取位于前M个序列位置的应用服务器，即提取第一序列中排序在前M个的应用服务器，形成第二服务器集，其中，M为正整数。

407，确定各应用服务器在第二序列中的序列位置，从第二序列中选取位于前N个序列位置的应用服务器，得到第三服务器集；

确定各应用服务器在第二序列中的序列位置，即查找各应用服务器在第二序列中对应的排序位置，从第二序列中选取位于前N个序列位置的应用服务器，即提取第二序列中排序在前N个的应用服务器，形成第三服务器集，其中，N为正整数。

408，判断第二服务器集和第三服务器集中是否含有相同的应用服务器；

409，若第二服务器集和第三服务器集中含有相同的应用服务器，则提取对应的应用服务器，生成第一服务器集；

判断第二服务器集和第三服务器集中是否包含有相同的应用服务器，即是否至少存在有一个应用服务器既归属于第二服务器集又归属于第三服务器，若第二服务集和第三服务器集中包含有相同的应用服务器，则提取该应用服务器，形成第一服务器集。

另外，若第二服务器集与第三服务器集中不含有相同的应用服务器，则将各应用服务器都独立形成第一服务器集，即一个服务器集对应一个应用服务器。

410，对第一服务器集中各应用服务器按照选取数量进行随机组合，生成多种微服务的数据采集策略；

411，提取各应用服务器的性能参数中的采集能力，将各应用服务器按照对应的采集能力进行优先级排序，得到采集能力序列；

412，根据采集能力序列从数据采集策略中选取最优采集策略，并根据最优采集策略进行微服务的数据采集。

在本发明实施例中，步骤401-405、步骤410-412与上述的基于微服务的数据采集方法的第一个实施例中的步骤301-305、步骤309-311一致，在此不做赘述。

在本发明实施例中，对各应用服务器按照性能指标值和采集优先级的排序，选取在两个序列中排序位置都靠前的应用服务器，即筛选出性能较强且采集优先级较高的应用服务器，得到第一服务器集，对第一服务器集进行随机组合得到多种数据采集策略；在生成数据采集策略之前对各应用服务器按照性能指标值和采集优先级的排序情况进行筛选，得到性能较强且采集优先级较高的应用服务器用于数据采集，从而提高了后续数据采集的效率。

上面对本发明实施例中的基于微服务的数据采集方法进行了描述，下面对本发明实施例中的基于微服务的数据采集装置进行描述，请参照图5，本发明实施例中的基于微服务的数据采集装置的一个实施例包括：

接收模块501，用于接收数据采集请求，以及获取各应用服务器的性能参数，其中，所述数据采集请求包括采集信息；

计算模块502，用于根据各所述性能参数计算各所述应用服务器对应的性能指标值；

第一排序模块503，用于将各所述应用服务器按照所述性能指标值进行排序，生成第一序列；

提取模块504，用于提取采集信息中的采集优先级，将各应用服务器按照采集优先级进行排序，生成第二序列；

确定模块505，用于根据所述第一序列和所述第二序列确定微服务的数据采集策略；

第二排序模块506，用于将各所述应用服务器按照对应的采集能力进行优先级排序，得到采集能力序列；

选取模块507，用于根据所述采集能力序列从所述数据采集策略中选取最优采集策略，并根据所述最优采集策略进行基于微服务的数据采集。

在本发明实施例中，通过基于微服务的数据采集装置获取数据采集请求以及应用服务器的性能参数计算性能指标值并排序，生成第一序列；根据数据采集请求中的采集优先级对应用服务器进行排序，生成第二序列；根据第一序列和第二序列确定数据采集策略，根据各应用服务器对应的采集能力从数据采集策略中选取最优采集策略进行微服务的数据采集。本发明实施例通过选取最优采集策略进行数据采集，提高了数据采集效率，节省了数据采集的时间成本。

请参阅图6，本发明实施例中的基于微服务的数据采集装置的另一个实施例包括：

接收模块501，用于接收数据采集请求，以及获取各应用服务器的性能参数，其中，所述数据采集请求包括采集信息；

计算模块502，用于根据各所述性能参数计算各所述应用服务器对应的性能指标值；

第一排序模块503，用于将各所述应用服务器按照所述性能指标值进行排序，生成第一序列；

提取模块504，用于提取采集信息中的采集优先级，将各应用服务器按照采集优先级进行排序，生成第二序列；

确定模块505，用于根据所述第一序列和所述第二序列确定微服务的数据采集策略；

第二排序模块506，用于将各所述应用服务器按照对应的采集能力进行优先级排序，得到采集能力序列；

选取模块507，用于根据所述采集能力序列从所述数据采集策略中选取最优采集策略，并根据所述最优采集策略进行基于微服务的数据采集。

其中，所述计算模块502包括：

吞吐量计算单元5021，用于提取各所述应用服务器的性能参数中的并发数和响应时间，根据所述并发数和所述响应时间计算各所述应用服务器的吞吐量；

占有率计算单元5022，用于提取各所述应用服务器的性能参数中的CPU处理能力基准，根据所述CPU处理能力基准计算各所述应用服务器的CPU占有率；

存储能力计算单元5023，用于提取各所述应用服务器的性能参数中的磁盘旋转延迟时间和磁头寻道时间，根据所述磁盘旋转延时时间和磁头寻道时间计算各所述应用服务器的磁盘存储能力；

综合计算单元5024，用于将所述吞吐量、所述CPU占有率和所述磁盘存储能力作为各所述应用服务器对应的性能指标值。

其中，所述第一排序模块503包括：

加权运算单元5031，用于根据各性能指标预设的权重，对所述性能指标值进行加权运算，得到各所述应用服务器的指标权值；

第一排序单元5032，用于对各所述应用服务器按照所述指标权值进行排序，得到第一序列。

其中，所述确定模块505包括：

提取单元5051，用于提取所述采集信息中的应用服务器的选取数量；

筛选单元5052，用于根据所述第一序列和所述第二序列对各所述应用服务器进行筛选，得到第一服务器集；

组合单元5053，用于对所述第一服务器集中各所述应用服务器按照所述选取数量进行随机组合，生成多种微服务的数据采集策略。

其中，所述筛选单元5052具体用于：

基于预设的所述指标权值和所述采集优先级的权重，对所述第一序列和所述第二序列进行加权运算，得到计算结果；

将各所述应用服务器按照所述计算结果进行排序，得到第三序列；

根据所述第三序列对各所述应用服务器进行筛选，确定各所述应用服务器在所述第三序列中的序列位置，并从所述第三序列中选取位于前K个序列位置的所述应用服务器，生成第一服务器集，其中，K为正整数。

其中，所述筛选单元5052还具体用于：

确定各所述应用服务器在所述第一序列中的序列位置，并从第一序列中选取位于前M个序列位置的所述应用服务器，得到第二服务器集；

确定各所述应用服务器在所述第二序列中的序列位置，从第二序列中选取位于前N个序列位置的所述应用服务器，得到第三服务器集；

判断所述第二服务器集和所述第三服务器集中是否含有相同的应用服务器；

若所述第二服务器集和所述第三服务器集中含有相同的应用服务器，则提取对应的所述应用服务器，生成第一服务器集。

在本发明实施例中，通过基于微服务的数据采集装置对各应用服务器按照性能指标值和采集优先级的排序，选取在两个序列中排序位置都靠前的应用服务器，即筛选出性能较强且采集优先级较高的应用服务器，得到第一服务器集，对第一服务器集进行随机组合得到多种数据采集策略；在生成数据采集策略之前对各应用服务器按照性能指标值和采集优先级的排序情况进行筛选，得到性能较强且采集优先级较高的应用服务器用于数据采集，从而提高了后续数据采集的效率。

请参阅图7，下面从硬件处理的角度对本发明实施例中的基于微服务的数据采集设备的一个实施例进行详细描述。

图7是本发明实施例提供的一种基于微服务的数据采集设备的结构示意图，该基于微服务的数据采集设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)710(例如，一个或一个以上处理器)和存储器720，一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对基于微服务的数据采集设备700中的一系列指令操作。更进一步地，处理器710可以设置为与存储介质730通信，在基于微服务的数据采集设备700上执行存储介质730中的一系列指令操作。

基于微服务的数据采集设备700还可以包括一个或一个以上电源740，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口760，和或或，一个或一个以上操作***731，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图7示出的基于微服务的数据采集设备结构并不构成对基于微服务的数据采集设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明所指服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于微服务的数据采集方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于微服务的数据采集方法，其特征在于，所述基于微服务的数据采集方法包括：

接收数据采集请求，以及获取各应用服务器的性能参数，其中，所述数据采集请求携带有采集信息；

根据各所述性能参数计算各所述应用服务器对应的性能指标值；

将各所述应用服务器按照所述性能指标值进行排序，生成第一序列；

提取所述采集信息中的采集优先级，将各所述应用服务器按照采集优先级进行排序，生成第二序列；

根据所述第一序列和所述第二序列确定微服务的数据采集策略；

将各所述应用服务器按照对应的采集能力进行优先级排序，得到采集能力序列；

根据所述采集能力序列从所述数据采集策略中选取最优采集策略，并根据所述最优采集策略进行微服务的数据采集。

2.根据权利要求1所述的基于微服务的数据采集方法，其特征在于，所述根据各所述性能参数计算各所述应用服务器对应的性能指标值包括：

提取各所述应用服务器的性能参数中的并发数和响应时间，根据所述并发数和所述响应时间计算各所述应用服务器的吞吐量；

提取各所述应用服务器的性能参数中的CPU处理能力基准，根据所述CPU处理能力基准计算各所述应用服务器的CPU占有率；

提取各所述应用服务器的性能参数中的磁盘旋转延迟时间和磁头寻道时间，并根据所述磁盘旋转延迟时间和所述磁头寻道时间计算各所述应用服务器的磁盘存储能力；

将所述吞吐量、所述CPU占有率和所述磁盘存储能力作为各所述应用服务器对应的性能指标值。

3.根据权利要求2所述的基于微服务的数据采集方法，其特征在于，所述将各所述应用服务器按照所述性能指标值进行排序，生成第一序列包括：

根据各性能指标预设的权重，对所述性能指标值进行加权运算，得到各所述应用服务器的指标权值；

对各所述应用服务器按照所述指标权值进行排序，得到第一序列。

4.根据权利要求1-3中任一项所述的基于微服务的数据采集方法，其特征在于，所述根据所述第一序列和所述第二序列确定微服务的数据采集策略包括：

提取所述采集信息中的应用服务器的选取数量；

根据所述第一序列和所述第二序列对各所述应用服务器进行筛选，得到第一服务器集；

对所述第一服务器集中各所述应用服务器按照所述选取数量进行随机组合，生成多种微服务的数据采集策略。

5.根据权利要求4所述的基于微服务的数据采集方法，其特征在于，所述根据所述第一序列和所述第二序列对各所述应用服务器进行筛选，得到第一服务器集包括：

基于预设的所述指标权值和所述采集优先级的权重，对所述第一序列和所述第二序列进行加权运算，得到计算结果；

将各所述应用服务器按照所述计算结果进行排序，得到第三序列；

根据所述第三序列对各所述应用服务器进行筛选，确定各所述应用服务器在所述第三序列中的序列位置，并从所述第三序列中选取位于前K个序列位置的所述应用服务器，生成第一服务器集，其中，K为正整数。

6.根据权利要求4所述的基于微服务的数据采集方法，其特征在于，所述根据所述第一序列和所述第二序列对各所述应用服务器进行筛选，得到第一服务器集包括：

确定各所述应用服务器在所述第一序列中的序列位置，并从第一序列中选取位于前M个序列位置的所述应用服务器，得到第二服务器集；

确定各所述应用服务器在所述第二序列中的序列位置，从第二序列中选取位于前N个序列位置的所述应用服务器，得到第三服务器集；

判断所述第二服务器集和所述第三服务器集中是否含有相同的应用服务器；

若是，则提取对应的所述应用服务器，生成第一服务器集。

7.一种基于微服务的数据采集装置，其特征在于，所述基于微服务的数据采集装置包括：

接收模块，用于接收数据采集请求，以及获取各应用服务器的性能参数，其中，所述数据采集请求包括采集信息；

计算模块，用于根据各所述性能参数计算各所述应用服务器对应的性能指标值；

第一排序模块，用于将各所述应用服务器按照所述性能指标值进行排序，生成第一序列；

提取模块，用于提取采集信息中的采集优先级，将各应用服务器按照采集优先级进行排序，生成第二序列；

确定模块，用于根据所述第一序列和所述第二序列确定微服务的数据采集策略；

第二排序模块，用于将各所述应用服务器按照对应的采集能力进行优先级排序，得到采集能力序列；

选取模块，用于根据所述采集能力序列从所述数据采集策略中选取最优采集策略，并根据所述最优采集策略进行基于微服务的数据采集。

8.根据权利要求7所述的基于微服务的数据采集装置，其特征在于，所述计算模块包括：

吞吐量计算单元，用于提取各所述应用服务器的性能参数中的并发数和响应时间，根据所述并发数和所述响应时间计算各所述应用服务器的吞吐量；

占有率计算单元，用于提取各所述应用服务器的性能参数中的CPU处理能力基准，根据所述CPU处理能力基准计算各所述应用服务器的CPU占有率；

存储能力计算单元，用于提取各所述应用服务器的性能参数中的磁盘旋转延迟时间和磁头寻道时间，根据所述磁盘旋转延时时间和磁头寻道时间计算各所述应用服务器的磁盘存储能力；

综合计算单元，用于将所述吞吐量、所述CPU占有率和所述磁盘存储能力作为各所述应用服务器对应的性能指标值。

9.一种基于微服务的数据采集设备，其特征在于，所述基于微服务的数据采集设备包括：

存储器和至少一个处理器，所述存储器中存储有计算机程序，所述存储器和所述至少一个处理器通过线路互连；

所述至少一个处理器调用所述存储器中的所述计算机程序，以使得所述基于微服务的数据采集设备执行如权利要求1-6中任一项所述的基于微服务的数据采集方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的基于微服务的数据采集方法的步骤。

Images