CN104102664A - 一种物理机资源信息的数据处理方法及*** - Google Patents

一种物理机资源信息的数据处理方法及*** Download PDF

Info

Publication number
CN104102664A
CN104102664A CN201310123750.3A CN201310123750A CN104102664A CN 104102664 A CN104102664 A CN 104102664A CN 201310123750 A CN201310123750 A CN 201310123750A CN 104102664 A CN104102664 A CN 104102664A
Authority
CN
China
Prior art keywords
data
information
use amount
accumulated value
file system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310123750.3A
Other languages
English (en)
Other versions
CN104102664B (zh
Inventor
王博
孙毓忠
展旭升
杨庆林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Flux Technology Co ltd
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN201310123750.3A priority Critical patent/CN104102664B/zh
Publication of CN104102664A publication Critical patent/CN104102664A/zh
Application granted granted Critical
Publication of CN104102664B publication Critical patent/CN104102664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种物理机资源信息的数据处理方法及***，其中，该方法包括：S1，获取物理机的静态信息以及当前时刻以当前状态值或累加值的形式表示的动态信息；S2，1秒后再次获取物理机的新动态信息，并将以累加值形式表示的新动态信息中的数据减去上一秒获取的动态信息的数据，得到1秒内的资源使用信息；S3，创建低冗余数据表格：DTI用于标识数据类型，CI用于标识数据位置，DRB用于标识数据后续传输的数据项，DV用于标识数据项的值按顺序排列的结果；S4，将静态信息、新动态信息以及1秒内的资源使用信息分别用低冗余数据表格进行表示，然后将其发送给目标节点，重复执行上述步骤，目标节点获取被采集节点的实时资源信息。

Description

一种物理机资源信息的数据处理方法及***
技术领域
本发明涉及以数字为主要传输数据的大规模数据处理领域，尤其涉及一种物理机资源信息的数据处理方法及***。
背景技术
可扩展性是大规模软件***的关键挑战之一。对于大规模***，网络带宽是其软件***可扩展性的主要限制条件之一。所以，优化软件***内部传输数是据的表示格式能有效的减少网络传输量，从而提高软件***的扩展性。
可扩展标记语言(Extensible Markup Language,XML)是数据传输的公共语言，是使用广泛的一种数据传输格式。使用XML能提高软件之间的独立性。然而XML对每个数据项都用两个标签（起始标签和结束标签）给予界定，这大大增加了数据的冗余信息。然而大规模的软件***需要高可扩展性，具有较多冗余信息的XML数据表示格式会增加网络传输数据量，所以XML不应该被用于大规模软件***内部传输数据的格式。
Chukwa:A large‐scale monitoring system.Jerome Boulon,Andy Konwinskiand Runping Qi提出了一个运行在Hadoop（一个开源分布式***且在其上实现了MapReduce:一种用于大规模并行计算的编程模型）之上的大规模监控***。该***内部以文件进行传输，这种方法适用于Hadoop做后期处理，然而以文件进行***内部数据传输形式会增加不必要的冗余信息（比如，文件属性等。当数据较少时，文件属性有时会多于有用信息）。
Aggregation of Real‐Time System Monitoring Data for Analyzing Large‐ScaleParallel and Distributed Computing Environments.S.C.Engelmann,and S.L.Scott提出的一个大规模的监控***内部传输数据的格式是一个数据项标记（identification，ID）对应一个数据项的值。使用这种方法表示的数据比XML少了很多的冗余信息，然而，对于以数字为主的数据，数据项的值与数据项ID占用基本相同的大小，所以该方法所表示的数据也具有较高的冗余度。
发明内容
为解决上述问题，本发明提供一种物理机资源信息的数据处理方法及***，以减少传输数据中的冗余信息。
为达到上述发明目的，本发明提供一种物理机资源信息的数据处理方法，该方法包括：
步骤1，从linux命令的资源信息和proc文件***的文件中获取物理机的静态信息以及当前时刻以当前状态值或累加值的形式表示的动态信息；
步骤2，1秒后再次获取物理机的新动态信息，将以累加值的形式表示的新动态信息中的数据减去上一秒获取的动态信息的数据，得到1秒内的资源使用信息；
步骤3，创建低冗余数据表格：DTI用于标识数据类型，CI用于标识数据位置，DRB用于标识数据后续传输的数据项，DV用于标识数据项的值按顺序排列的结果；
步骤4，将所述静态信息、所述新动态信息以及所述1秒内的资源使用信息分别用低冗余数据表格进行表示，然后将其发送给目标节点，重复执行上述步骤，获取该目标节点的实时资源信息。
进一步的，所述步骤1中的静态信息获取方法包括：
步骤11：从Linux提供的查看网卡配置信息的ifconfig命令的输出信息中提取IP地址；
步骤12，读取proc文件***中的cpuinfo文件，获取处理器的核数和频率；
步骤13，读取proc文件***中的meminfo文件，获取内存总大小；
步骤14，读取proc文件***中的partitions文件，获取磁盘总大小；
步骤15，，从Linux提供的查看各部件状态的dmesg命令的输出信息中获取网络带宽；
步骤16，读取proc文件***中的stat文件，获取自开机以来的处理器使用量的累加值；
步骤17，读取proc文件***中的net/dev文件，获取自开机以来的网络带宽使用量的累加值。
进一步的，所述步骤1中的动态信息获取方法包括：
步骤111，读取proc文件***中的stat文件，获取自开机以来的处理器使用量的累加值；
步骤112，读取proc文件***中的meminfo文件，获取内存使用量；
步骤113，从Linux提供的查看磁盘资源的df命令的输出信息中提取磁盘使用量；
步骤114，读取proc文件***中的net/dev文件，获取自开机以来的网络带宽使用量的累加值。
进一步的，所述步骤2包括：
步骤21，将所述自开机以来的处理器使用量的累加值减去上一秒获取的处理器使用量累加值，得到该秒内的处理器的使用量；
步骤22，将所述自开机以来的网络带宽使用量累加值减去上一秒获取的网络带宽使用量累加值，得到该秒内的网络带宽的使用量。
进一步的，所述步骤3中：
若数据类型有NDTI种，则使用每条数据的前位作为DTI，其中表示不小于m的最小整数；
所述CI，用一位表示，若该位为1，则表示该条数据在数据报文中不是最后一条，若该位为0，则表示该条数据是数据报文的最后一条；
所述DV中的数据项的值为长度可变的字符串，则在该字符串的前面加上一个字节表示该字符串的长度；
每类数据的数据项数最多为NDRB，则使用传输的每条数据的至少NDRB位作为DRB，所述DRB的每一位对应一个数据项，如果某位为1，则表示DV包含该位对应的数据项的值，若该位为0，则DV不包含该数据项的值。
进一步的，所述步骤3中：
如果软件***内部传输的数据仅有一类，则可将DTI删去；若每次传输的数据的数据项均相同，则可将DRB删去。
为实现上述发明目的，本发明还提供一种物理机资源信息的数据处理***，该***包括：
信息获取模块，从linux命令的资源信息和proc文件***的文件中获取物理机的静态信息以及当前时刻以当前状态值或累加值的形式表示的动态信息；
信息处理模块，1秒后再次获取物理机的新动态信息，将以累加值的形式表示的新动态信息中的数据减去上一秒获取的动态信息的数据，得到1秒内的资源使用信息；
表格创建模块，创建低冗余数据表格：DTI用于标识数据类型，CI用于标识数据位置，DRB用于标识数据后续传输的数据项，DV用于标识数据项的值按顺序排列的结果；
结果获取模块，将所述静态信息、所述新动态信息以及所述1秒内的资源使用信息分别用低冗余数据表格进行表示，然后将其发送给目标节点，重复执行上述模块，获取该目标节点的实时资源信息。
进一步的，所述信息获取模块包括：
提取IP地址模块，从Linux提供的查看网卡配置信息的ifconfig命令的输出信息中提取IP地址；
第一读取proc文件***模块，读取proc文件***中的cpuinfo文件，获取处理器的核数和频率，读取proc文件***中的meminfo文件，获取内存总大小，读取proc文件***中的partitions文件，获取磁盘总大小，读取proc文件***中的stat文件，获取自开机以来的处理器使用量的累加值，读取proc文件***中的net/dev文件，获取自开机以来的网络带宽使用量的累加值；
运行dmesg命令模块，从Linux提供的查看各部件状态的dmesg命令的输出信息中获取网络带宽。
进一步的，所述信息获取模块还包括：
第二读取proc文件***模块，读取proc文件***中的stat文件，获取自开机以来的处理器使用量的累加值，读取proc文件***中的meminfo文件，获取内存使用量，读取proc文件***中的net/dev文件，获取自开机以来的网络带宽使用量的累加值；
执行df模块，从Linux提供的查看磁盘资源的df命令的输出信息中提取磁盘使用量。
进一步的，其特征在于，所述信息处理模块包括：
第一处理模块，将所述自开机以来的处理器使用量的累加值减去上一秒获取的处理器使用量累加值，得到该秒内的处理器的使用量；
第二处理模块，将所述自开机以来的网络带宽使用量累加值减去上一秒获取的网络带宽使用量累加值，得到该秒内的网络带宽的使用量。
本发明的有益效果在于：大大减少了数据传输中的冗余。若本发明被用于大规模的监控***中，可通过降低由监控数据产生的网络传输，从而增加了监控***的扩展性。而且，本发明采集数据的方法是直接利用操作***提供的数据，不存在使用中间数据采集工具带来的开销。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
图1是使用本发明的数据表示方法表示一条完整的数据；
图2是使用本发明的数据表示方法表示一个具有多条数据的数据报；
图3是用本发明的数据表示方法实现包含一条具有完整信息的静态数据的数据报；
图4是用本发明的数据表示方法实现包含一条具有完整信息的动态数据的数据报；
图5是用本发明的数据表示方法实现包含一条具有完整信息的静态数据和一条具有完整信息的动态数据的数据报；
图6是用本发明的数据表示方法实现包含一条具有部分信息的动态数据的数据报；
图7是本发明的物理机资源信息的数据处理方法流程图；
图8是本发明的物理机资源信息的数据处理***示意图。
具体实施方式
图7是本发明的物理机资源信息的数据处理方法流程图。如图7所示，该方法包括：
S1，从linux命令的资源信息和proc文件***的文件中获取物理机的静态信息以及当前时刻以当前状态值或累加值的形式表示的动态信息；
S2，1秒后再次获取物理机的新动态信息，将以累加值的形式表示的新动态信息中的数据减去上一秒获取的动态信息的数据，得到1秒内的资源使用信息；
S3，创建低冗余数据表格：DTI用于标识数据类型，CI用于标识数据位置，DRB用于标识数据后续传输的数据项，DV用于标识数据项的值按顺序排列的结果；
S4，将所述静态信息、所述新动态信息以及所述1秒内的资源使用信息分别用低冗余数据表格进行表示，然后将其发送给目标节点，重复执行上述步骤，获取该目标节点的实时资源信息。
进一步的，所述S1中的静态信息获取方法包括：
S11：，从Linux提供的查看网卡配置的信息的ifconfig命令的输出信息中提取IP地址；
S12，读取proc文件***中的cpuinfo文件，获取处理器的核数和频率；
S13，读取proc文件***中的meminfo文件，获取内存总大小；
S14，读取proc文件***中的partitions文件，获取磁盘总大小；
S15，从Linux提供的查看各部件状态的dmesg命令的输出信息中获取网络带；
S16，读取proc文件***中的stat文件，获取自开机以来的处理器使用量的累加值；
S17，读取proc文件***中的net/dev文件，获取自开机以来的网络带宽使用量的累加值。
进一步的，所述S1中的动态信息获取方法包括：
S111，读取proc文件***中的stat文件，获取自开机以来的处理器使用量的累加值；
S112，读取proc文件***中的meminfo文件，获取内存使用量；
S113，，从Linux提供的查看磁盘资源的df命令的输出信息中提取磁盘使用量；
S114，读取proc文件***中的net/dev文件，获取自开机以来的网络带宽使用量的累加值。
进一步的，所述S2包括：
S21，将所述自开机以来的处理器使用量的累加值减去上一秒获取的处理器使用量累加值，得到该秒内的处理器的使用量；
S22，将所述自开机以来的网络带宽使用量累加值减去上一秒获取的网络带宽使用量累加值，得到该秒内的网络带宽的使用量。
进一步的，所述S3中：
若数据类型有NDTI种，则使用每条数据的前位作为DTI，其中表示不小于m的最小整数；
所述CI，用一位表示，若该位为1，则表示该条数据在数据报文中不是最后一条，若该位为0，则表示该条数据是数据报文的最后一条；
所述DV中的数据项的值为长度可变的字符串，则在该字符串的前面加上一个字节表示该字符串的长度；
每类数据的数据项数最多为NDRB，则使用传输的每条数据的至少NDRB位作为DRB，所述DRB的每一位对应一个数据项，如果某位为1，则表示DV包含该位对应的数据项的值，若该位为0，则DV不包含该数据项的值。
进一步的，所述S3中：
如果软件***内部传输的数据仅有一类，则可将DTI删去；若每次传输的数据的数据项均相同，则可将DRB删去。
图8是本发明的物理机资源信息的数据处理***示意图。如图8所示，该***包括：
信息获取模块100，从linux命令的资源信息和proc文件***的文件中获取物理机的静态信息以及当前时刻以当前状态值或累加值的形式表示的动态信息；
信息处理模块200，1秒后再次获取物理机的新动态信息，将以累加值的形式表示的新动态信息中的数据减去上一秒获取的动态信息的数据，得到1秒内的资源使用信息；
表格创建模块300，创建低冗余数据表格：DTI用于标识数据类型，CI用于标识数据位置，DRB用于标识数据后续传输的数据项，DV用于标识数据项的值按顺序排列的结果；
结果获取模块400，将所述静态信息、所述新动态信息以及所述1秒内的资源使用信息分别用低冗余数据表格进行表示，然后将其发送给目标节点，重复执行上述模块，获取该目标节点的实时资源信息。
进一步的，所述信息获取模块100包括：
提取IP地址模块，从Linux提供的查看网卡配置的信息ifconfig命令的输出中提取IP地址；
第一读取proc文件***模块，读取proc文件***中的cpuinfo文件，获取处理器的核数和频率，读取proc文件***中的meminfo文件，获取内存总大小，读取proc文件***中的partitions文件，获取磁盘总大小，读取proc文件***中的stat文件，获取自开机以来的处理器使用量的累加值，读取proc文件***中的net/dev文件，获取自开机以来的网络带宽使用量的累加值；
运行dmesg命令模块，从Linux提供的查看各部件状态的dmesg命令中获取网络带宽。
进一步的，所述信息获取模块100还包括：
第二读取proc文件***模块，读取proc文件***中的stat文件，获取自开机以来的处理器使用量的累加值，读取proc文件***中的meminfo文件，获取内存使用量，读取proc文件***中的net/dev文件，获取自开机以来的网络带宽使用量的累加值；
执行df模块，从Linux提供的查看磁盘资源的df命令的输出信息中提取磁盘使用量。
进一步的，其特征在于，所述信息处理模块200包括：
第一处理模块，将所述自开机以来的处理器使用量的累加值减去上一秒获取的处理器使用量累加值，得到该秒内的处理器的使用量；
第二处理模块，将所述自开机以来的网络带宽使用量累加值减去上一秒获取的网络带宽使用量累加值，得到该秒内的网络带宽的使用量。
进一步的，所述表格创建模块300中：
若数据类型有NDTI种，则使用每条数据的前位作为DTI，其中表示不小于m的最小整数；
所述CI，用一位表示，若该位为1，则表示该条数据在数据报文中不是最后一条，若该位为0，则表示该条数据是数据报文的最后一条；
所述DV中的数据项的值为长度可变的字符串，则在该字符串的前面加上一个字节表示该字符串的长度；
每类数据的数据项数最多为NDRB，则使用传输的每条数据的至少NDRB位作为DRB，所述DRB的每一位对应一个数据项，如果某位为1，则表示DV包含该位对应的数据项的值，若该位为0，则DV不包含该数据项的值。
进一步的，所述表格创建模块300中：
如果软件***内部传输的数据仅有一类，则可将DTI删去；若每次传输的数据的数据项均相同，则可将DRB删去。
本发明的资源信息采集方法面向的是Linux操作***，信息来源为Linux提供的命令和proc文件***，proc文件***主要包括资源总量和资源的使用情况，资源使用情况是以自开机以来的累加值（如CPU的负载和网络传输量等）和当前状态（如内存使用量和磁盘的使用量等）的形式表示的。
一个数据报文可以包含一条或多条数据。使用该发明中的数据表示方法，一条完整的数据的表示如图1，一个具有多条数据的数据报的表示如图2。
一个大规模***的监控***，传输的数据共两类：静态数据和动态数据。其中的每类数据所包含的数据项（假设各数据项值的大小和单位，以下数字均用10进制表示）如下：
静态数据（共6项）：网络地址（10.10.10.10，占4个字节）、处理器核数(8个，占一个字节)、处理器频率(2048MHZ，占两个字节)、内存总大小(4192MB，占两个字节)、磁盘总大小(140272MB，占四个字节)和网卡带宽(1000Mbps，占两个字节)。
动态数据（共5项）：网络地址（10.10.10.10占4个字节）、处理器负载(123MHZ，占两个字节)、内存使用量(2001MB，占两个字节)、磁盘使用量(2013MB，占四个字节)和网卡带宽使用量(28Mbps，占两个字节)。
其中处理器负载和网卡带宽使用量是以自开机以来的累加值的形式表示，其它的均以当前状态的形式表示。因为该软件***内部传输的数据共两类，所以每条数据的DTI为位，1表示静态数据，0表示动态数据。DRB为6位：对于静态数据，DRB的6位（第一位到第六位）依次对应网络地址、处理器核数、处理器频率、内存总大小、磁盘总大小和网卡带宽；对于动态数据，DRB的前5位（第一位到第五位）依次对应网络地址、处理器负载、内存使用量、磁盘使用量和网卡带宽使用量。
为便于实现，使用一个字节来表示DTI（第8位）、CI（第7位）和DRB（前6位）。
数据采集的具体步骤如下：
步骤A：利用Linux提供的一些命令和proc文件***的文件获取物理机的静态信息和该时刻以累加值的形式表示的动态信息；
步骤B：将获取的静态信息处理成低冗余的数据报文，发送给需要获取该物理机信息的目标节点；
步骤C：1秒后从新从proc文件***的文件中读取物理机的动态信息；
步骤D：对于以累加值的形式表示的动态信息，将步骤C获取的数据分别减去1秒前获取的数据，得到该1秒内的资源使用情况；
步骤E：将步骤C获得的以当前状态为表示形式的动态信息和步骤D计算得出的动态信息处理成低冗余的数据报文，发送给需要获取该物理机信息的目标节点；
步骤F：重复步骤C‐E，目标节点就可以获取该节点实时的资源信息。
其中步骤A的具体步骤为：
步骤A1：运行ifconfig（Linux中查看网卡配置的信息），提取输出信息中的IP地址（10.10.10.10）；
步骤A2：读取proc文件***中的cpuinfo文件，获取处理器的核数（8）和频率（2048MHZ）；
步骤A3：读取proc文件***中的meminfo文件，获取内存总大小（4192MB）；
步骤A4：读取proc文件***中的partitions文件，获取磁盘总大小（140272MB）；
步骤A5：运行dmesg命令（Linux提供的查看各部件状态的命令），获取网络带宽（1000Mbps）；
步骤A6：读取proc文件***中的stat文件，获取自开机以来的处理器使用量的累加值；
步骤A7：读取proc文件***中的net/dev文件，获取自开机以来的网络带宽使用量的累加值。
步骤B中处理得到的数据报文如图3，其中BF(二进制为10111111)为表示DTI、CI和DRB的8位数，其余的分别表示各静态数据项的值。
步骤C又包括一下步骤：
步骤C1：读取proc文件***中的stat文件，获取自开机以来的处理器使用量的累加值；
步骤C2：读取proc文件***中的meminfo文件，获取内存使用量(2001MB)；
步骤C3：执行df（Linux提供的查看磁盘资源的命令），从该命令输出信息中提取磁盘使用量(2013MB)；
步骤C4：读取proc文件***中的net/dev文件，获取自开机以来的网络带宽使用量的累加值；
步骤D包括一下步骤：
步骤D1：将步骤C1获取的处理器使用量累加值减去上一秒（从步骤A6或步骤C1）获取的处理器使用量累加值，得到该秒内的处理器的使用量（123MHZ）；
步骤D2：将步骤C4获取的网络带宽使用量累加值减去上一秒（从步骤A7或步骤C4）获取的网络带宽使用量累加值，得到该秒内的网络带宽的使用量（28Mbps）；
步骤E处理得到的数据报文如图4，其中1F(二进制为00011111)为表示DTI、CI和DRB的8位数,其余的分别表示各动态数据项的值。
如果要将步骤A获得的静态数据与步骤C获取的动态数据一起发送，则将这些数据处理得到的数据报文如图5，其中FF(二进制为11111111)和1F(二进制为00011111)分别为表示静态和动态数据的DTI、CI和DRB的前8位数，静态数据的CI为1（FF的第7位）表示该条数据后还有数据（动态数据），而动态数据的CI为0（1F的第7位）表示该条数据为最后一条。
如果目标节点仅需要获得该物理机节点的处理器负载、内存使用量和磁盘使用量的动态数据，则步骤E处理得到的数据报如图6，其中0F(二进制为00001111)为表示DTI、CI和DRB的8位数。DRB为0F(二进制为01111)，表示该数据报文的数据中的DV仅含有网络地址、处理器负载、内存使用量和磁盘使用量的值，不包含网卡带宽使用量。
使用本发明的数据表示方法需要知道软件***内部传输的数据种类个数和每类数据包含的数据项的个数。对于值是数字的数据项需要知道该数据项的大小。
每条数据的DTI用于标识数据的类型。一个软件***内部传输的数据共有NDTI类，则使用每条数据的前(表示不小于m的最小整数)位作为DTI，来表示该条数据的类型。
紧随DTI的是CI，用一位表示。若该位为1，则表示该条数据在数据报文中不是最后一条，反之，则表示该条数据是数据报文的最后一条。
CI之后是DRB，用于标识其后续的数据项。每类数据的数据项数最多为NDRB，则使用传输的每条数据的至少NDRB位作为DRB。DRB的每一位对应一个数据项。DRB中，如果某位为1，则表示DV包含该位对应的数据项的值，反之，DV不包含该数据项的值。
最后DV为按照CI制定的顺序将每个数据项的值进行排列的结果。如果该值为长度可变的字符串，则在该字符串的前面加上一个字节表示该字符串的长度。
如果软件***内部传输的数据仅有一类，则可将DTI删去；若每次传输的数据的数据项均相同，则可将DRB删去。从而进一步的减少软件内部传输数据的冗余。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种物理机资源信息的数据处理方法，其特征在于，包括：
步骤1，从linux命令的资源信息和proc文件***的文件中获取物理机的静态信息以及当前时刻以当前状态值或累加值的形式表示的动态信息；
步骤2，1秒后再次获取物理机的新动态信息，将以累加值的形式表示的新动态信息中的数据减去上一秒获取的动态信息的数据，得到1秒内的资源使用信息；
步骤3，创建低冗余数据表格：DTI用于标识数据类型，CI用于标识数据位置，DRB用于标识数据后续传输的数据项，DV用于标识数据项的值按顺序排列的结果；
步骤4，将所述静态信息、所述新动态信息以及所述1秒内的资源使用信息分别用低冗余数据表格进行表示，然后将其发送给目标节点，重复执行上述步骤，获取该目标节点的实时资源信息。
2.如权利要求1所述的物理机资源信息的数据处理方法，其特征在于，所述步骤1中的静态信息获取方法包括：
步骤11，从Linux提供的查看网卡配置信息的ifconfig命令的输出信息中提取IP地址；
步骤12，读取proc文件***中的cpuinfo文件，获取处理器的核数和频率；
步骤13，读取proc文件***中的meminfo文件，获取内存总大小；
步骤14，读取proc文件***中的partitions文件，获取磁盘总大小；
步骤15，从Linux提供的查看各部件状态的dmesg命令的输出信息中获取网络带宽；
步骤16，读取proc文件***中的stat文件，获取自开机以来的处理器使用量的累加值；
步骤17，读取proc文件***中的net/dev文件，获取自开机以来的网络带宽使用量的累加值。
3.如权利要求1所述的物理机资源信息的数据处理方法，其特征在于，所述步骤1中的动态信息获取方法包括：
步骤111，读取proc文件***中的stat文件，获取自开机以来的处理器使用量的累加值；
步骤112，读取proc文件***中的meminfo文件，获取内存使用量；
步骤113，从Linux提供的查看磁盘资源的df命令的输出信息中提取磁盘使用量；
步骤114，读取proc文件***中的net/dev文件，获取自开机以来的网络带宽使用量的累加值。
4.如权利要求1所述的物理机资源信息的数据处理方法，其特征在于，所述步骤2包括：
步骤21，将所述自开机以来的处理器使用量的累加值减去上一秒获取的处理器使用量累加值，得到该秒内的处理器的使用量；
步骤22，将所述自开机以来的网络带宽使用量累加值减去上一秒获取的网络带宽使用量累加值，得到该秒内的网络带宽的使用量。
5.如权利要求1所述的物理机资源信息的数据处理方法，其特征在于，所述步骤3中：
若数据类型有NDTI种，则使用每条数据的前位作为DTI，其中表示不小于m的最小整数；
所述CI，用一位表示，若该位为1，则表示该条数据在数据报文中不是最后一条，若该位为0，则表示该条数据是数据报文的最后一条；
所述DV中的数据项的值为长度可变的字符串，则在该字符串的前面加上一个字节表示该字符串的长度；
每类数据的数据项数最多为NDRB，则使用传输的每条数据的至少NDRB位作为DRB，所述DRB的每一位对应一个数据项，如果某位为1，则表示DV包含该位对应的数据项的值，若该位为0，则DV不包含该数据项的值。
6.如权利要求1所述的物理机资源信息的数据处理方法，其特征在于，所述步骤3中：
如果软件***内部传输的数据仅有一类，则可将DTI删去；若每次传输的数据的数据项均相同，则可将DRB删去。
7.一种物理机资源信息的数据处理***，其特征在于，包括：
信息获取模块，从linux命令的资源信息和proc文件***的文件中获取物理机的静态信息以及当前时刻以当前状态值或累加值的形式表示的动态信息；
信息处理模块，1秒后再次获取物理机的新动态信息，将以累加值的形式表示新动态信息中的数据减去上一秒获取的动态信息的数据，得到1秒内的资源使用信息；
表格创建模块，创建低冗余数据表格：DTI用于标识数据类型，CI用于标识数据位置，DRB用于标识数据后续传输的数据项，DV用于标识数据项的值按顺序排列的结果；
结果获取模块，将所述静态信息、所述新动态信息以及所述1秒内的资源使用信息分别用低冗余数据表格进行表示，然后将其发送给目标节点，重复执行上述模块，获取该目标节点的实时资源信息。
8.如权利要求7所述的物理机资源信息的数据处理***，其特征在于，所述信息获取模块包括：
提取IP地址模块，从Linux提供的查看网卡配置信息的ifconfig命令的输出信息中提取IP地址；
第一读取proc文件***模块，读取proc文件***中的cpuinfo文件，获取处理器的核数和频率，读取proc文件***中的meminfo文件，获取内存总大小，读取proc文件***中的partitions文件，获取磁盘总大小，读取proc文件***中的stat文件，获取自开机以来的处理器使用量的累加值，读取proc文件***中的net/dev文件，获取自开机以来的网络带宽使用量的累加值；
运行dmesg命令模块，从Linux提供的查看各部件状态的dmesg命令的输出信息中获取网络带宽。
9.如权利要求7所述的物理机资源信息的数据处理***，其特征在于，所述信息获取模块还包括：
第二读取proc文件***模块，读取proc文件***中的stat文件，获取自开机以来的处理器使用量的累加值，读取proc文件***中的meminfo文件，获取内存使用量，读取proc文件***中的net/dev文件，获取自开机以来的网络带宽使用量的累加值；
执行df模块，从Linux提供的查看磁盘资源的df命令的输出信息中提取磁盘使用量。
10.如权利要求7所述的物理机资源信息的数据处理***，其特征在于，所述信息处理模块包括：
第一处理模块，将所述自开机以来的处理器使用量的累加值减去上一秒获取的处理器使用量累加值，得到该秒内的处理器的使用量；
第二处理模块，将所述自开机以来的网络带宽使用量累加值减去上一秒获取的网络带宽使用量累加值，得到该秒内的网络带宽的使用量。
CN201310123750.3A 2013-04-10 2013-04-10 一种物理机资源信息的数据处理方法及*** Active CN104102664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310123750.3A CN104102664B (zh) 2013-04-10 2013-04-10 一种物理机资源信息的数据处理方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310123750.3A CN104102664B (zh) 2013-04-10 2013-04-10 一种物理机资源信息的数据处理方法及***

Publications (2)

Publication Number Publication Date
CN104102664A true CN104102664A (zh) 2014-10-15
CN104102664B CN104102664B (zh) 2017-04-12

Family

ID=51670823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310123750.3A Active CN104102664B (zh) 2013-04-10 2013-04-10 一种物理机资源信息的数据处理方法及***

Country Status (1)

Country Link
CN (1) CN104102664B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203478A (zh) * 2017-06-21 2017-09-26 郑州云海信息技术有限公司 一种数据存储的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050120160A1 (en) * 2003-08-20 2005-06-02 Jerry Plouffe System and method for managing virtual servers
CN102103518A (zh) * 2011-02-23 2011-06-22 运软网络科技(上海)有限公司 一种在虚拟化环境中管理资源的***及其实现方法
CN102271145A (zh) * 2010-06-04 2011-12-07 国云科技股份有限公司 一种虚拟计算机集群及其实施方法
CN102681899A (zh) * 2011-03-14 2012-09-19 金剑 云计算服务平台的虚拟计算资源动态管理***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050120160A1 (en) * 2003-08-20 2005-06-02 Jerry Plouffe System and method for managing virtual servers
CN102271145A (zh) * 2010-06-04 2011-12-07 国云科技股份有限公司 一种虚拟计算机集群及其实施方法
CN102103518A (zh) * 2011-02-23 2011-06-22 运软网络科技(上海)有限公司 一种在虚拟化环境中管理资源的***及其实现方法
CN102681899A (zh) * 2011-03-14 2012-09-19 金剑 云计算服务平台的虚拟计算资源动态管理***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张伟哲等: "云计算平台中多虚拟机内存协同优化策略研究", 《计算机学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203478A (zh) * 2017-06-21 2017-09-26 郑州云海信息技术有限公司 一种数据存储的方法及装置

Also Published As

Publication number Publication date
CN104102664B (zh) 2017-04-12

Similar Documents

Publication Publication Date Title
CN109254982B (zh) 一种流数据处理方法、***、装置及计算机可读存储介质
CN110287163B (zh) 安全日志采集解析方法、装置、设备及介质
CN111683066B (zh) 异构***集成方法、装置、计算机设备和存储介质
CN111970353A (zh) 云计算平台物联网中异构设备的数据处理方法及装置
CN107391770B (zh) 一种处理数据的方法、装置、设备以及存储介质
US11188443B2 (en) Method, apparatus and system for processing log data
CN105868364B (zh) 一种基于字节流的结构化数据表示方法
CN106959948A (zh) 针对分布式特性对大数据进行预处理的***及其预处理方法
CN103618733A (zh) 一种应用于移动互联网的数据过滤***及方法
CN104219298A (zh) 集群***及其数据备份的方法
CN114416877A (zh) 一种数据处理方法、装置、设备及可读存储介质
CN113254767A (zh) 大数据搜索方法、装置、计算机设备及存储介质
CN112084179A (zh) 一种数据处理的方法、装置、设备及存储介质
CN115567589A (zh) Json数据的压缩传输方法、装置、设备及存储介质
CN109491660B (zh) 一种机车事件数据动态解析方法
CN108153896B (zh) 针对输入数据、输出数据的处理方法及装置
CN113656369A (zh) 一种大数据场景下的日志分布式流式采集及计算方法
CN104102664A (zh) 一种物理机资源信息的数据处理方法及***
KR101218087B1 (ko) 하둡 맵리듀스에서 바이너리 형태의 데이터 분석을 위한 입력포맷 추출방법 및 이를 이용한 바이너리 데이터의 분석방법
CN117093619A (zh) 一种规则引擎处理方法、装置、电子设备及存储介质
CN111130864A (zh) 使用模板采集可格式化网元数据的方法
CN107968722B (zh) 一种接口控制文件到afdx网络设备配置文件的转换方法
CN113204683B (zh) 信息重构方法和装置、存储介质及电子设备
KR20210000041A (ko) 로그 데이터의 실시간 분석 방법 및 그 장치
CN114244912B (zh) 数据传输方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240320

Address after: Room 711C, Floor 7, Building A, Yard 19, Ronghua Middle Road, Daxing District, Beijing Economic-Technological Development Area, 100176

Patentee after: Beijing Zhongke Flux Technology Co.,Ltd.

Country or region after: China

Address before: 100190 No. 6 South Road, Zhongguancun Academy of Sciences, Beijing, Haidian District

Patentee before: Institute of Computing Technology, Chinese Academy of Sciences

Country or region before: China