CN111885159B - 数据采集方法、装置、电子设备及存储介质 - Google Patents

数据采集方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111885159B
CN111885159B CN202010713727.XA CN202010713727A CN111885159B CN 111885159 B CN111885159 B CN 111885159B CN 202010713727 A CN202010713727 A CN 202010713727A CN 111885159 B CN111885159 B CN 111885159B
Authority
CN
China
Prior art keywords
ipmi
nodes
target
node
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010713727.XA
Other languages
English (en)
Other versions
CN111885159A (zh
Inventor
周军
苗海锋
张浩龙
王家尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Shuguang International Information Industry Co ltd
Dawning Information Industry Beijing Co Ltd
Original Assignee
Zhongke Shuguang International Information Industry Co ltd
Dawning Information Industry Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Shuguang International Information Industry Co ltd, Dawning Information Industry Beijing Co Ltd filed Critical Zhongke Shuguang International Information Industry Co ltd
Priority to CN202010713727.XA priority Critical patent/CN111885159B/zh
Publication of CN111885159A publication Critical patent/CN111885159A/zh
Application granted granted Critical
Publication of CN111885159B publication Critical patent/CN111885159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供了一种数据采集方法、装置、电子设备及存储介质。其中，该数据采集方法，用于电子设备中，以对多个从设备的IPMI节点进行硬件信息采集，所述方法包括：获取节点列表，所述节点列表包括待检测的多个IPMI节点的节点标识，每一所述IPMI节点对应一所述从设备；根据所述多个IPMI节点的节点标识发送查询指令至每一IPMI节点以判断每一IPMI节点的可用性，从而筛选出的多个可用的目标IPMI节点；启动多个线程以并行方式采集多个目标IPMI节点中的目标数据，每一线程用于对一个目标IPMI节点进行数据采集。本申请可以提高目标数据的采集效率。

Description

数据采集方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机网络技术领域，具体而言，涉及一种数据采集方法、装置、电子设备及存储介质。
背景技术
采用ipmitool工具来采集电子设备中的IPMI节点的目标数据，需要自己实现多线程大并发采集IPMI节点的目标数据。ipmitool采集IPMI节点的目标数据的效率比较低，对采集IPMI信息没有进行很好的优化，在大规模集群的情况下，如果用ipmitool采集IPMI信息，就会发现一次采集所有节点的IPMI信息花费时间很长，效率较低。
针对上述问题，目前尚未有有效的技术解决方案。
发明内容
本申请实施例的目的在于提供一种数据采集方法、装置、电子设备及存储介质，可以提高目标数据的采集效率。
第一方面，本申请实施例提供了一种数据采集方法，用于电子设备中，以对多个从设备的IPMI节点进行目标数据采集，所述方法包括：
获取节点列表，所述节点列表包括待检测的多个IPMI节点的节点标识，每一所述IPMI节点对应一所述从设备；
根据所述多个IPMI节点的节点标识发送查询指令至每一IPMI节点以判断每一IPMI节点的可用性，从而筛选出的多个可用的目标IPMI节点；
建立多个线程，并以并行方式运行所述多个线程，以采集所述多个目标IPMI节点的目标数据，每一线程用于对至少一个目标IPMI节点进行数据采集。
本申请实施例采用先将不可用的IPMI节点剔除，然后采用并行方式对多个可用的目标IPMI节点进行目标数据的采集，可以提高效率。
可选地，在本申请实施例所述的数据采集方法中，所述建立多个线程，并以并行方式运行所述多个线程，以采集所述多个目标IPMI节点的目标数据，包括：
将所述多个目标IPMI节点分为多个第一集合，每一所述第一集合包括多个目标IPMI节点；
针对每一所述第一集合，建立多个线程，并以并行方式运行所述多个线程，以采集每一所述第一集合内的多个目标IPMI节点，每一线程用于对一个目标IPMI节点进行数据采集。
本申请实施例通过将多个目标IPMI节点分组，并针对每一分组建立多个并行的线程，从而实现目标数据的快速采集，避免由于线程数量过多影响电子设备的性能，导致采集速度过慢，可以提高效率。
可选地，在本申请实施例所述的数据采集方法中，所述将所述多个目标IPMI节点分为多个第一集合，包括：
获取每一所述从设备的类型信息，并根据所述类型信息获取每一所述目标IPMI节点的目标数据的格式信息；
根据每一所述目标数据的格式信息将所述多个目标IPMI节点分为多个第一集合。
本申请实施例通过从设备的类型信息来进行分组，便于用于采集对应IPMI节点的目标数据的基本参数配置，针对一个第一集合只需要配置一次，进而可以提高效率。
可选地，在本申请实施例所述的数据采集方法中，所述将所述多个目标IPMI节点分为多个第一集合，包括：
获取每一所述目标IPMI节点的目标数据的数据量信息；
根据所述数据量信息将所述多个目标IPMI节点分为多个第一集合，在同一所述第一集合内，任意两个目标IPMI节点的目标数据的数据量的差值小于第一预设阈值。
本申请实施例基于数据量信息进行第一集合的划分，避免同一集合内的目标IPMI节点对应的目标数据的数据量差距过大，使得所需时间趋于均匀，从而可以提高该多个线程的利用率，可以提高效率。
可选地，在本申请实施例所述的数据采集方法中，所述建立多个线程，并以并行方式运行所述多个线程，以采集所述多个目标IPMI节点的目标数据，包括：
将所述多个目标IPMI节点分为多个第二集合，每一所述第二集合包括多个目标IPMI节点；
建立多个线程，所述多个线程与所述多个第二集合一一对应；
采用并行方式运行所述多个线程，使得每一所述线程以串行地方式对对应第二集合内的多个目标IPMI节点进行目标数据采集。
本申请实施例通过针对同一第二集合建立一个线程，从而减少了所需线程的总数量，可以节约时间，从而大大提高效率。
可选地，在本申请实施例所述的数据采集方法中，每一所述第二集合内的目标IPMI节点的目标数据具有相同的数据类型，任意两个第二集合内的对应的目标数据的总数据量的差值小于第二预设阈值。
可选地，在本申请实施例所述的数据采集方法中，所述根据所述多个IPMI节点的节点标识发送查询指令至每一IPMI节点以判断每一IPMI节点的可用性，从而筛选出的多个可用的目标IPMI节点，包括：
根据第一预设策略将所述多个IPMI节点分成多个分组，每一所述分组包括多个IPMI节点，同一所述分组内的IPMI节点的目标数据的格式相同；
根据每一所述分组的多个IPMI节点的节点标识发送查询指令至对应IPMI节点以判断每一IPMI节点的可用性，并将可用的IPMI节点设置为目标IPMI节点。
第二方面，本申请实施例还提供了一种数据采集装置，用于电子设备中，以对多个从设备的IPMI节点进行硬件信息采集，所述装置包括：
获取模块，用于获取节点列表，所述节点列表包括待检测的多个IPMI节点的节点标识，每一所述IPMI节点对应一所述从设备；
筛选模块，用于根据所述多个IPMI节点的节点标识发送查询指令至每一IPMI节点以判断每一IPMI节点的可用性，从而筛选出的多个可用的目标IPMI节点；
采集模块，用于建立多个线程，并以并行方式运行所述多个线程，以采集所述多个目标IPMI节点的目标数据，每一线程用于对至少一个目标IPMI节点进行数据采集。
第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
由上可知，本申请实施例提供的数据采集方法及装置通过获取节点列表，所述节点列表包括待检测的多个IPMI节点的节点标识，每一所述IPMI节点对应一所述从设备；根据所述多个IPMI节点的节点标识发送查询指令至每一IPMI节点以判断每一IPMI节点的可用性，从而筛选出的多个可用的目标IPMI节点；建立多个线程，并以并行方式运行所述多个线程，以采集所述多个目标IPMI节点的目标数据，每一线程用于对至少一个目标IPMI节点进行数据采集从而实现对多个从设备的目标数据的快速采集，可以提高效率。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的数据采集方法的一种流程图。
图2为本申请实施例提供的数据采集装置的一种结构示意图。
图3为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的一种数据采集方法的流程图。该方法用于电子设备中，以对多个从设备的IPMI节点进行硬件信息采集，其中，该电子设备可以为服务器或者终端设备。
其中，该数据采集方法包括以下步骤：
S101、获取节点列表，所述节点列表包括待检测的多个IPMI节点的节点标识，每一所述IPMI节点对应一所述从设备。
S102、根据多个IPMI节点的节点标识发送查询指令至每一IPMI节点以判断每一IPMI节点的可用性，从而筛选出的多个可用的目标IPMI节点；
S103、建立多个线程，并以并行方式运行所述多个线程，以采集所述多个目标IPMI节点的目标数据，每一线程用于对至少一个目标IPMI节点进行数据采集。
其中，在该步骤S101中，IPMI是指(Intelligent PlatformManagementInterface，简称IPMI)智能平台管理接口。该多个从设备与该电子设备处于同一个预先建立的群组内。每一从设备上均设置有对应的IPMI节点，以便于该电子设备通过该IPMI节点来采集对应从设备的硬件信息，也即是目标数据。其中，该目标数据可以包括硬件的基本配置信息，还可以包括硬件运行参数信息，例如某一从设备为路由器，对应的，该目标数据可以包括该路由器的上行及下行流量信息、与通过该路由器进行上网的终端个数、每一终端的标识信息、该路由器的一些基本配置参数等。当然，其并不限于此。
其中，在该步骤S102中，通过对每一从设备对应的IPMI节点发送查询指令，以判断每一IPMI节点的可用性，也即判断每一IPMI节点是否可以正常信息采集。可以理解地，在进行查询时，首先，该电子设备向每一IPMI节点发送查询指令，然后等待接收每一IPMI节点的反馈信息。若预设时间内未收到某一IPMI节点的反馈信息，则判断该IPMI节点为不可用。对于在预设时间内返回了反馈信息的IPMI节点，还需要对反馈信息进行查询及分析，以判断对应的IPMI节点当前是否可用状态，也即是当前是否处于可以采集目标数据的状态。
在一些实施例中，该步骤S102可以包括以下子步骤：S1021、将所述多个IPMI节点分成多个分组；S1022、根据每一所述分组的多个IPMI节点的节点标识发送查询指令至对应IPMI节点以判断每一IPMI节点的可用性，并将可用的IPMI节点设置为目标IPMI节点。其中，在该步骤S1021中，可以依据IPMI节点对应的从设备的类型来进行分组，同一类型的从设备的IPMI节点分在同一组。当然，也可以进行平均分组，每一组具有相同数量的IPMI节点。其中，在该步骤S1022中，可以建立多个线程，从而并行查询每一IPMI节点的可用性。检查完毕后，生成一个可用节点列表以及一个不可用节点列表，将所有不可用的IMPI节点的节点标识放入不可用节点列表中，将所有可用的IMPI节点的节点标识放入可用节点列表中。
可以理解地，在查询时，可以设置一个检查窗口，将每分组内的IPMI节点的节点标识放入其中，检查窗口的大小分为1024、2048、4096等。当节点列表内的IPMI节点的数量小于或等于1024时，设置检查窗口大小为1024，也即是该节点列表的内的IPMI节点可以一起放入该检查窗口进行检测。当节点列表上的IPMI节点的数量大于1024且小于4096时，设置窗口大小为2048。可以采用两次来对该多个IPMI节点进行检测。当节点列表上的IPMI节点的数量大于或等于4096时，设置窗口的大小为4096。检查窗口大小不再无限增大主要是考虑窗口增大后查询IPMI节点可用性的效率会变低。检查窗口的输入信息是节点列表中的节点，输出信息是可用的IPMI节点列表和不可用的IPMI节点列表两个列表。
其中，在该步骤S103中，可以采用多种方式来实现对该多个目标IPMI节点的目标数据进行采集。尽量对目标IPMI节点以并行方式进行数据采集，以提高效率。当然，由于电子设备本身的性能限制，一次可以同时运行的线程数量不可能无限大，线程数量超过一定数量后会使得整体的运行效率急速下降，从而影响目标数据的采集，还会影响该电子设备的其他工作。
在一些实施例中，该步骤S103可以包括以下子步骤：S1031、将所述多个目标IPMI节点分为多个第一集合，每一所述第一集合包括多个目标IPMI节点；S1032、针对每一所述第一集合，建立多个线程，并以并行方式运行所述多个线程，以采集每一所述第一集合内的多个目标IPMI节点的目标数据，每一所述线程用于对一个目标IPMI节点进行数据采集。
其中，在该步骤S1031中，每一第一集合内的目标IPMI节点的数量要小于该电子设备可同时运行的线程的数量。可以基于每一目标IPMI节点对应的从设备的类型来进行划分，具体可以根据每一从设备的目标数据的格式信息进行划分，或者也可以根据目标数据的数据量进行划分，从而提高数据采集的效率。
具体地，在一些实施例中，该步骤S1031可以包括：S10311、获取每一所述从设备的类型信息，并根据所述类型信息获取每一所述目标IPMI节点的目标数据的格式信息；S10312、根据每一所述目标数据的格式信息将所述多个目标IPMI节点分为多个第一集合，每一所述第一集合包括多个目标IPMI节点。由于不同类型的从设备具有不同格式的目标数据，因此，为了保证同一批并行执行的线程可以更高效地完成对同一第一集合内的各个目标IPMI节点的数据采集，将具有相同格式的目标数据的目标IPMI节点放在同一批并行执行的线程中，在建立线程时，可以采用具有相同类型的配置参数的线程来对同一第一集合中的目标IPMI节点进行数据采集，从而可以提高效率。
在另一些实施例中，该步骤S1031可以包括：S10313获取每一所述目标IPMI节点的目标数据的数据量信息；S10314根据数据量信息将多个目标IPMI节点分为多个第一集合，在同一所述第一集合内，任意两个目标IPMI节点的目标数据的数据量的差值小于第一预设阈值。其中，该第一预设阈值可以设置为某一固定值，例如x1KB。第一预设阈值也可以设置动态值，该第一预设阈值的大小与每一从设备的通信速度相关，以保证采集各个第一集合内的IPMI节点的目标数据所用的时间差不多。也即是同一第一集合内的任意两个目标IPMI节点的目标数据的采集工作耗时的差值小于5秒。其中，在该步骤S10313中，可以根据历史记录中的每一目标IPMI节点的目标数据的采集记录，得出每一目标IPMI节点的目标数据的大致数据量。当然，也可以通过其他常见方式来估算每一目标IPMI节点的目标数据的大致数据量。其中，在该步骤S10314中，较佳的方案是将具有相同数据量的目标IPMI节点划分到同一组，但是考虑到不可能完全相同，因此，可以设定一个第一预设阈值，保证在同一所述第一集合内，任意两个目标IPMI节点的目标数据量小于该第一预设阈值，从而使得同一批线程在执行时，可以以差不多的时间完成，然后可以更快地进入下一批线程的建立，从而完成对下一批的目标IPMI节点的目标数据的采集，从而可以提高效率。
其中，在该步骤S1032中，例如，该第一集合内具有50个目标IPMI节点，则同时启动50个线程进行并行运行，从而实现对该50个目标IPMI节点的目标数据的快速采集。
可以理解地，在另一些实施例中，该步骤S103包括以下步骤：S1033、将所述多个目标IPMI节点分为多个第二集合，每一所述第二集合包括多个目标IPMI节点；S1034、建立多个线程，所述多个线程与所述多个第二集合一一对应；S1035、并行运行所述多个线程，以使得每一所述线程以串行地方式对对应第二集合内的多个目标IPMI节点进行目标数据采集。其中，每一所述第二集合内的目标IPMI节点的目标数据具有相同的数据类型，所述任意两个第二集合内的对应的目标数据的总数据量的差值小于第二预设阈值。其中，该第二预设阈值可以是一个固定量，例如设定为x2KB，也可以是根据各个从设备的传输速率设置的动态阈值，以保证各个第二集合中的目标数据的采集操作的总耗时差距较小。当然，采用这种方式进行划分时，尽量保证各个第二集合内的目标数据的总数据量大致相同，从而保证多个线程可以尽可能长时间的并行运行。另外，还需要保证同一第二集合内的目标数据的格式信息相同，当然，由于数量不可能完全均衡，对于某些第二集合，可以对几个具有不同类型的目标数据的目标IPMI节点进行数据采集。
可以理解地，在一些实施例中，如果目标IPMI节点的数量较大，例如目标IPMI节点的数量为1000个，该电子设备每次只能同时运行100个线程，因此，可以先建立100个线程来执行对100个目标IPMI节点的目标数据的采集，执行完毕后，再建立另外100个线程来执行对其他100个目标IPMI节点的目标数据的采集，直至将该1000个目标IPMI节点的目标数据采集完毕。
由上可知，本申请实施例提供的数据采集方法通过获取节点列表，所述节点列表包括待检测的多个IPMI节点的节点标识，每一所述IPMI节点对应一所述从设备；根据所述多个IPMI节点的节点标识发送查询指令至每一IPMI节点以判断每一IPMI节点的可用性，从而筛选出的多个可用的目标IPMI节点；建立多个线程，并以并行方式运行所述多个线程，以采集所述多个目标IPMI节点的目标数据，每一线程用于对至少一个目标IPMI节点进行数据采集从而实现对多个从设备的目标数据的快速采集，可以提高效率。
请参照图2，图2是本申请一些实施例中的一种数据采集装置的结构示意图，数据采集装置用于电子设备中，以对多个从设备的IPMI节点进行硬件信息采集，该装置包括：获取模块201、筛选模块202以及采集模块203。
其中，该获取模块201用于获取节点列表，所述节点列表包括待检测的多个IPMI节点的节点标识，每一所述IPMI节点对应一所述从设备。该多个从设备与该电子设备处于同一个预先建立的群组内。每一个从设备上均设置有对应的IPMI节点，从而以便于使得该电子设备通过该IPMI节点来采集对应从设备的硬件信息，也即是目标数据。其中，该目标数据可以包括硬件的基本配置信息，还可以包括硬件运行参数信息，例如某一从设备为路由器，对应的，该目标数据可以包括该路由器的上行及下行流量信息、与通过该路由器进行上网的终端个数、每一终端的标识信息、该路由器的一些基本配置参数等。当然，其并不限于此。
其中，该筛选模块202用于根据所述多个IPMI节点的节点标识发送查询指令至每一IPMI节点以判断每一IPMI节点的可用性，从而筛选出的多个可用的目标IPMI节点。该筛选模块202通过对每一从设备对应的IPMI节点发送查询指令，以判断每一IPMI节点的可用性，也即判断是否可以正常信息采集。可以理解地，在进行查询时，首先，该电子设备向每一IPMI节点发送查询指令，然后等待接收每一IPMI节点的反馈信息。若预设时间内未收到某一IPMI节点的反馈信息，则判断该IPMI节点不可用。对于在预设时间内返回了反馈信息的IPMI节点，还需要对反馈信息进行查询及分析，以判断对应的IPMI节点当前是否可用，也即是对应IPMI节点当前是否处于可以采集目标数据的状态。
在一些实施例中，该筛选模块202用于：将所述多个IPMI节点分成多个分组；根据每一所述分组的多个IPMI节点的节点标识发送查询指令至对应IPMI节点以判断每一IPMI节点的可用性，并将可用的IPMI节点设置为目标IPMI节点。其中，该筛选模块202可以依据IPMI节点对应的从设备的类型来进行分组，同一类型的从设备的IPMI节点分在同一组。当然，也可以进行平均分组，每一组具有相同数量的IPMI节点。其中，该筛选模块202可以建立多个线程，从而并行查询每一IPMI节点的可用性。检查完毕后，生成一个可用节点列表以及一个不可用节点列表，将所有不可用的IMPI节点的节点标识放入不可用节点列表中，将所有可用的IMPI节点的节点标识放入可用节点列表中。
可以理解地，在查询时，该筛选模块202可以设置一个检查窗口，将每个分组内的IPMI节点的节点标识放入其中，检查窗口的大小分为1024、2048、4096等。当节点列表的内的IPMI节点的数量小于或等于1024时，设置检查窗口大小为1024，也即是该节点列表的内的IPMI节点可以一起放入该检查窗口进行检测。当节点列表上的IPMI节点的数量大于1024且小于4096时，设置窗口大小为2048。可以采用两次来对该多个IPMI节点进行检测。当节点列表上的IPMI节点的数量大于或等于4096时，设置窗口的大小为4096。检查窗口大小不再无限增大主要是考虑窗口增大后查询IPMI节点可用性的效率会变低。检查窗口的输入信息是节点列表中的节点，输出信息是可用的IPMI节点列表和不可用的IPMI节点列表两个列表。
其中，该采集模块203用于建立多个线程，并以并行方式运行所述多个线程，以采集所述多个目标IPMI节点的目标数据，每一线程用于对至少一个目标IPMI节点进行数据采集。该采集模块203可以采用多种方式来实现对该多个目标IPMI节点的目标数据进行采集。尽量对目标IPMI节点以并行方式进行数据采集，以提高效率。当然，由于电子设备本身的性能限制，一次可以同时运行的线程数量不可能无限大，线程数量超过一定数量后会使得整体的运行效率急速下降，从而影响目标数据的采集，还会影响该电子设备的其他工作。
在一些实施例中，该采集模块203用于将所述多个目标IPMI节点分为多个第一集合，每一所述第一集合包括多个目标IPMI节点；针对每一所述第一集合，并行启动多个线程来采集每一所述第一集合内的多个目标IPMI节点。其中，每一第一集合内的目标IPMI节点的数量要小于该电子设备可同时运行的线程的数量。可以基于每一IPMI对应的从设备的类型来进行划分，具体可以根据每一从设备的目标数据的格式信息进行划分，也可以根据目标数据的数据量进行划分，从而提高数据采集的效率。
具体地，在一些实施例中，该采集模块203具体用于：获取每一所述从设备的类型信息，并根据所述类型信息获取每一所述目标IPMI节点的目标数据的格式信息；根据每一所述目标数据的格式信息将所述多个目标IPMI节点分为多个第一集合，每一所述第一集合包括多个目标IPMI节点。由于不同类型的从设备具有不同格式的目标数据，因此，为了保证同一批并行执行的线程可以更高效地完成对同一第一集合内的各个目标IPMI节点的目标数据的采集，将具有相同格式的目标数据的目标IPMI节放在同一一批并行执行的线程中，可以提高效率。
在另一些实施例中，该采集模块203可以用于：获取每一所述目标IPMI节点的目标数据的数据量信息；根据数据量信息将多个目标IPMI节点分为多个第一集合，在同一所述第一集合内，任意两个目标IPMI节点的目标数据的数据量的差值小于第一预设阈值。其中，该第一预设阈值可以设置为某一定值，例如x1KB。第一预设阈值也可以设置动态值，该第一预设阈值的大小与每一从设备的通信速度相关，以保证采集各个第一集合内的IPMI节点的目标数据所用的时间差不多。在同一所述第一集合内，任意两个目标IPMI节点的目标数据的采集工作耗时的差值小于5秒。其中，可以根据历史记录的每一目标IPMI节点的目标数据的采集记录，得出每一目标IPMI节点的目标数据的大致数据量。当然，也可以通过其他常见方式来估算每一目标IPMI节点的目标数据的大致数据量。其中，较佳方案是将具有相同数据量的目标IPMI节点划分到同一组，但是考虑到数据量不可能完全相同，可以设定一个第一预设阈值，保证在同一所述第一集合内，目标IPMI节点的最大数据量与最小数据量的差值小于第一预设阈值。从而使得同一批的线程在执行时，可以以差不多的时间完成，然后可以更快地进入下一批的目标数据的采集，从而可以提高效率。例如，该第一集合内具有50个目标IPMI节点，则同时启动50个线程进行并行运行，从而实现对该50个目标IPMI节点的目标数据的快速采集。
可以理解地，在另一些实施例中该采集模块203用于：将所述多个目标IPMI节点分为多个第二集合，每一所述第二集合包括多个目标IPMI节点；建立多个线程，所述多个线程与所述多个第二集合一一对应；并行运行所述多个线程以使得每一所述线程以串行地方式对对应第二集合内的目标IPMI节点进行目标数据采集。其中，在每一所述第二集合内的目标IPMI节点的目标数据具有相同的数据类型，所述任意两个第二集合内的对应的目标数据的总数据量的差值小于第二预设阈值。其中，该第二预设阈值可以是一个固定量，例如设定为x2KB，也可以是根据各个从设备的传输速率设置的动态阈值，以保证各个第二集合中的目标数据的采集的总耗时差距较小。当然，采用这种方式进行划分时，尽量保证各个第二集合内的目标数据的总数据量大致相同，从而保证多个线程可以保持长时间并行运行。另外，还需要保证同一第二集合内的目标数据的格式信息相同，当然，由于各个类型的从设备的数量不可能完全均衡，对于某些第二集合，可以对几个不同类型的目标数据的目标IPMI节点进行数据采集。
由上可知，本申请实施例提供的数据采集装置通过获取节点列表，所述节点列表包括待检测的多个IPMI节点的节点标识，每一所述IPMI节点对应一所述从设备；根据所述多个IPMI节点的节点标识发送查询指令至每一IPMI节点以判断每一IPMI节点的可用性，从而筛选出的多个可用的目标IPMI节点；建立多个线程，并以并行方式运行所述多个线程，以采集所述多个目标IPMI节点的目标数据，每一线程用于对至少一个目标IPMI节点进行数据采集；从而实现对多个从设备的目标数据的快速采集，可以提高效率。
请参照图3，图3为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备3，包括：处理器301和存储器32，处理器301和存储器302通过通信总线303和/或其他形式的连接机构(未标出)互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当计算设备运行时，处理器301执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法。
本申请实施例提供一种存储介质，所述计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random AccessMemory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable ProgrammableRead－Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable ProgrammableRead OnlyMemory，简称EPROM)，可编程只读存储器(Programmable Red－Only Memory，简称PROM)，只读存储器(Read－Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种数据采集方法，其特征在于，用于电子设备中，以对多个从设备的IPMI节点进行目标数据采集，所述方法包括：
获取节点列表，所述节点列表包括待检测的多个IPMI节点的节点标识，每一所述IPMI节点对应一所述从设备；
根据所述多个IPMI节点的节点标识发送查询指令至每一IPMI节点以判断每一IPMI节点的可用性，从而筛选出多个可用的目标IPMI节点；
建立多个线程，并以并行方式运行所述多个线程，以采集多个目标IPMI节点的目标数据，每一线程用于对至少一个目标IPMI节点进行数据采集；
其中，所述根据所述多个IPMI节点的节点标识发送查询指令至每一IPMI节点以判断每一IPMI节点的可用性，从而筛选出的多个可用的目标IPMI节点，包括：
将所述多个IPMI节点分成多个分组，每一所述分组包括多个IPMI节点，同一所述分组内的IPMI节点的目标数据的格式相同；
根据每一所述分组的多个IPMI节点的节点标识发送查询指令至对应IPMI节点以判断每一IPMI节点的可用性，并将可用的IPMI节点设置为目标IPMI节点。
2.根据权利要求1所述的数据采集方法，其特征在于，所述建立多个线程，并以并行方式运行所述多个线程，以采集所述多个目标IPMI节点中的IPMI节点的目标数据，包括：
将所述多个目标IPMI节点分为多个第一集合，每一所述第一集合包括多个目标IPMI节点；
对于所述多个第一集合，依次针对每一所述第一集合，建立多个线程，并以并行方式运行所述多个线程，以采集每一所述第一集合内的多个目标IPMI节点，每一所述线程用于对一个目标IPMI节点进行数据采集。
3.根据权利要求2所述的数据采集方法，其特征在于，所述将所述多个目标IPMI节点分为多个第一集合，包括：
获取每一所述从设备的类型信息，并根据所述类型信息获取每一所述目标IPMI节点的目标数据的格式信息；
根据每一所述目标数据的格式信息将所述多个目标IPMI节点分为多个第一集合。
4.根据权利要求2所述的数据采集方法，其特征在于，所述将所述多个目标IPMI节点分为多个第一集合，包括：
获取每一所述目标IPMI节点的目标数据的数据量信息；
根据所述数据量信息将所述多个目标IPMI节点分为多个第一集合，在同一所述第一集合内，任意两个目标IPMI节点的目标数据的数据量的差值小于第一预设阈值。
5.根据权利要求1所述的数据采集方法，其特征在于，所述建立多个线程，并以并行方式运行所述多个线程，以采集多个目标IPMI节点的目标数据，包括：
将所述多个目标IPMI节点分为多个第二集合，每一所述第二集合包括多个目标IPMI节点；
建立多个线程，所述多个线程与所述多个第二集合一一对应；
采用并行方式运行所述多个线程，使得每一所述线程以串行地方式对对应第二集合内的多个目标IPMI节点进行目标数据采集。
6.根据权利要求5所述的数据采集方法，其特征在于，每一所述第二集合内的目标IPMI节点的目标数据具有相同的数据类型，任意两个第二集合内的对应的目标数据的总数据量的差值小于第二预设阈值。
7.一种数据采集装置，其特征在于，用于电子设备中，以对多个从设备的IPMI节点进行硬件信息采集，所述装置包括：
获取模块，用于获取节点列表，所述节点列表包括待检测的多个IPMI节点的节点标识，每一所述IPMI节点对应一所述从设备；
筛选模块，用于根据所述多个IPMI节点的节点标识发送查询指令至每一IPMI节点以判断每一IPMI节点的可用性，从而筛选出的多个可用的目标IPMI节点；
采集模块，用于建立多个线程，并以并行方式运行所述多个线程，以采集多个目标IPMI节点的目标数据，每一线程用于对至少一个目标IPMI节点进行数据采集；
所述筛选模块，具体用于将所述多个IPMI节点分成多个分组，每一所述分组包括多个IPMI节点，同一所述分组内的IPMI节点的目标数据的格式相同；根据每一所述分组的多个IPMI节点的节点标识发送查询指令至对应IPMI节点以判断每一IPMI节点的可用性，并将可用的IPMI节点设置为目标IPMI节点。
8.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-6任一项所述的方法。
9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-6任一项所述的方法。
CN202010713727.XA 2020-07-22 2020-07-22 数据采集方法、装置、电子设备及存储介质 Active CN111885159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010713727.XA CN111885159B (zh) 2020-07-22 2020-07-22 数据采集方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010713727.XA CN111885159B (zh) 2020-07-22 2020-07-22 数据采集方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111885159A CN111885159A (zh) 2020-11-03
CN111885159B true CN111885159B (zh) 2022-06-14

Family

ID=73155345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010713727.XA Active CN111885159B (zh) 2020-07-22 2020-07-22 数据采集方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111885159B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114500582A (zh) * 2022-02-11 2022-05-13 浙江大华技术股份有限公司 日志的采集方法、装置、存储介质及电子装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110543409A (zh) * 2019-08-29 2019-12-06 南方电网数字电网研究院有限公司 硬件数据采集方法、装置、计算机设备和存储介质
CN111092921A (zh) * 2018-10-24 2020-05-01 北大方正集团有限公司 数据采集方法、装置及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10929290B2 (en) * 2016-12-31 2021-02-23 Intel Corporation Mechanism for providing reconfigurable data tiers in a rack scale environment
CN108173715A (zh) * 2018-01-02 2018-06-15 郑州云海信息技术有限公司 一种获取分布式存储服务器硬件信息的方法、装置及设备
CN109684051B (zh) * 2018-12-17 2020-08-11 杭州玳数科技有限公司 一种混合式大数据任务异步提交的方法和***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111092921A (zh) * 2018-10-24 2020-05-01 北大方正集团有限公司 数据采集方法、装置及存储介质
CN110543409A (zh) * 2019-08-29 2019-12-06 南方电网数字电网研究院有限公司 硬件数据采集方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111885159A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN111555963B (zh) 消息推送方法、装置、电子设备及存储介质
CN110096336B (zh) 数据监控方法、装置、设备和介质
CN111464355A (zh) Kubernetes容器集群的伸缩容控制方法、装置和网络设备
CN113656168A (zh) 一种流量的自动容灾和调度的方法、***、介质和设备
CN111538563A (zh) 一种对Kubernetes的事件分析方法及装置
CN111966289A (zh) 基于Kafka集群的分区优化方法和***
CN111651595A (zh) 一种异常日志处理方法及装置
CN111930493A (zh) 集群中NodeManager状态管理方法、装置及计算设备
CN111181800A (zh) 测试数据处理方法、装置、电子设备及存储介质
CN107203464B (zh) 业务问题的定位方法以及装置
CN116225609A (zh) Kubernetes集群的Pod调度方法、装置、设备及计算机可读介质
CN114490078A (zh) 一种微服务的动态缩扩容方法、装置及设备
CN111984505A (zh) 一种运维数据采集引擎及采集方法
CN111885159B (zh) 数据采集方法、装置、电子设备及存储介质
CN111291018B (zh) 数据管理方法、装置、设备及存储介质
CN109697117B (zh) 终端控制方法、装置以及计算机可读存储介质
CN112784025B (zh) 一种目标事件的确定方法和装置
CN114070755B (zh) 虚拟机网络流量确定方法、装置、电子设备和存储介质
CN102546652B (zh) 一种服务器负载平衡***及方法
CN113448747B (zh) 数据传输方法、装置、计算机设备和存储介质
CN109257256A (zh) 设备监控方法、装置、计算机设备及存储介质
CN113867736B (zh) 部署方案生成方法及装置
CN109918277A (zh) 电子装置、***日志聚类分析结果的评价方法及存储介质
CN111669294B (zh) 监控***配置方法、装置、监控***和存储介质
CN114363150A (zh) 服务器集群的网卡连通性监控方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant