CN102298601A - 面向广电行业的存储设备的监控数据转换方法及转换器 - Google Patents
面向广电行业的存储设备的监控数据转换方法及转换器 Download PDFInfo
- Publication number
- CN102298601A CN102298601A CN2011101341851A CN201110134185A CN102298601A CN 102298601 A CN102298601 A CN 102298601A CN 2011101341851 A CN2011101341851 A CN 2011101341851A CN 201110134185 A CN201110134185 A CN 201110134185A CN 102298601 A CN102298601 A CN 102298601A
- Authority
- CN
- China
- Prior art keywords
- smi
- acquisition
- index
- data
- memory device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 118
- 238000003860 storage Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012544 monitoring process Methods 0.000 title claims abstract description 32
- 230000008569 process Effects 0.000 claims description 22
- 238000013519 translation Methods 0.000 claims description 10
- 238000011161 development Methods 0.000 claims description 5
- 238000005538 encapsulation Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 10
- 230000006870 function Effects 0.000 description 10
- 238000005192 partition Methods 0.000 description 6
- 238000013480 data collection Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000033772 system development Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种面向广电行业的存储设备的监控数据转换方法，包括：获取采集任务，根据所述采集任务中的存储设备类型标识和SMI-S指标，从配置数据库加载存储设备类型、存储设备的连接参数、和转换公式，分解所述转换公式中的采集项ID，归并采集项和采集方式，从配置数据库加载所述采集方式的配置信息和运行参数，并将归并后的采集项作为相应的采集方式的配置参数，可成功执行所述采集方式时，执行所述的采集方式采集监控数据并按自定义格式转换数据，得到自定义格式的监控数据，按照转换公式对所述数据进行运算、转换，得到SMI-S指标。本发明还公开了一种面向广电行业的存储设备的监控数据转换器。本发明使得监控、管理生产环境中的所有存储设备简单化。
Description
技术领域
本发明涉及存储设备的数据处理领域，尤其涉及面向广电行业的存储设备的监控数据转换方法及转换器。
背景技术
目前，市面上有很多存储厂商，提供种类繁多的存储设备，各厂商一般只会为自己的产品量身定做管理***，至于是否与其他存储厂商的管理***兼容则不在其考虑范围之内，导致存储厂商很难提供完备的、用于对生产环境中所有存储设备进行统一监控和管理的存储管理***。为了满足存储设备日常维护需求，存储厂商一般会提供产品的SNMP、CLI或其他方式的监控接口。
广电行业业务应用具有复杂、数据量大、要求数据瞬时读写速度快的特点，广电行业的应用***开发商出于对***性能和稳定性的考虑，在应用***开发时会绑定存储厂商的存储设备，一旦绑定后很难再变更，广电行业的用户在采购应用***后也只能采购该***绑定的存储设备。然而，广电行业业务应用十分复杂，而且不断增添新的业务应用，因此，所使用的应用***也越来越多，由此导致的问题就是存储设备数量不断增加、存储管理***种类庞杂。广电行业业务应用对存储设备和***的时效性、安全性、稳定性都有较高的要求，存储设备在整个业务***中的重要性也就不言而喻，一旦存储设备发生故障将会直接影响整体业务运转，因此，对于存储设备本身的监控和管理也就越来越重要。
现在，存储行业对多类型、多存储的分散式管理模式不仅不能满足广电行业的需求，反而会增加用户的日常负担，这是广电行业在存储应用上备受困扰和有待解决的一个关键性问题。面对如此多的存储设备管理***，广电行业的***维护人员想要逐个掌握和精通不是一件简单的事情，同时也会不同程度的增加企业的人工和维护成本。
结合存储和广电行业的特点，目前的存储厂商无法提供统一监控和管理的存储管理***，且对于广电行业数量不断增加、种类庞杂的存储设备，缺乏统一的管理软件***，导致监控、管理生产环境中的所有存储设备变得复杂化，同时增加了企业的人工和维护成本。因此，广电行业迫切需要一款能够统一监控和管理生产环境中所有存储设备的监控管理***。
多种类、多存储的存储监控***实现的关键在于监控数据的采集和转换，现在市面上还没有专门对存储设备进行监控数据采集和处理的转换方法及转换器。
发明内容
有鉴于此，本发明提出一种面向广电行业的存储设备的监控数据转换方法，使得监控、管理生产环境中的所有存储设备简单化。
本发明的另一目的是提出一种面向广电行业的存储设备的监控数据转换器，使得监控、管理生产环境中的所有存储设备简单化。
为达到上述目的，本发明实施例的技术方案是这样实现的：
一种面向广电行业的存储设备的监控数据转换方法，包括以下步骤：
获取采集任务，根据所述采集任务中的存储设备类型标识和SMI-S指标，从配置数据库加载存储设备类型、存储设备的连接参数、以及用于将存储设备采集项ID转换成SMI-S指标的转换公式；
分解所述转换公式中的各采集项ID，将具有相同采集项ID的采集项进行归并，基于归并后的采集项，归并所述采集项的采集方式；
从配置数据库加载所述采集方式的配置信息和运行参数，并将归并后的采集项作为相应的采集方式的配置参数；当可以成功执行所述采集方式时，执行所述的采集方式采集监控数据并按自定义格式转换数据，得到自定义格式的监控数据，再按照转换公式对所述自定义格式的监控数据进行运算、转换，得到SMI-S指标。
一种面向广电行业的存储设备的监控数据转换器，包括：
采集指标初始化模块，用于获取采集任务，根据所述采集任务中的存储设备类型标识和SMI-S指标，从配置数据库加载存储设备类型、存储设备的连接参数、以及用于将存储设备采集项ID转换成SMI-S指标的转换公式；
指标转换处理模块，用于分解所述转换公式中的采集项ID，将具有相同采集项ID的采集项进行归并，基于归并后的采集项，再归并所述采集项的采集方式，也用于接收采集执行模块传送的自定义格式数据，按照转换公式对所述数据进行运算、转换，得到SMI-S指标；
采集执行模块，用于从配置数据库加载采集方式的配置信息和运行参数，并将归并后的采集项作为相应的采集方式的配置参数，可以成功执行所述采集方式时，执行所述的采集方式采集监控数据并按自定义格式转换数据，得到自定义格式的监控数据，将所述监控数据传送给指标转换处理模块；
配置数据库，用于存储已有采集任务的执行参数，包括：存储设备类型及厂商名称、采集项、用于将存储设备采集项ID转换成SMI-S指标的转换公式、存储设备连接参数、各种采集方式的配置信息和运行参数。
本发明的有益效果为，通过对生产环境中所有需要被监控的存储设备进行数据采集、格式转换和标准化接口输出，同时提供周期性采集功能，从而解决了实现统一监控和管理生产环境中所有存储设备的监控管理***的关键问题，使得监控、管理生产环境中的所有存储设备简单化，也降低了企业的人工和维护成本。
附图说明
图1为本发明实施例的方法流程图；
图2为本发明实施例的装置结构图；
图3为根据本发明实施例的方法流程图；
图4为根据本发明实施例的装置结构图；
图5为根据本发明实施例的方法流程图；
图6为根据本发明实施例的装置结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下通过具体实施例并参见附图，对本发明进行详细说明。
存储管理接口标准SMI-S(Storage Management Initiative specification，简称SMI-S)，用来监控和管理来自不同厂商的存储设备，其技术基础是由DMTF(Distributed Management Task Force，分布式任务管理组织)制定的CIM(Common Information Model，通用信息模块)和WBEM(Web-BasedEnterprise Management，基于Web的企业管理技术)。SMI-S的目标是，在存储网络中的存储设备和管理软件之间提供标准化的通信方式，从而使存储管理实现厂商无关性(vendor-neutral)，使得存储管理***能够实现鉴别、分类、监控和控制物理及逻辑资源的能力，提高管理效率、降低管理成本，促进存储网络的发展。
简单网络管理协议(SNMP：Simple Network Management Protocol)是由互联网工程任务组(IETF：Internet Engineering Task Force)定义的一套网络管理协议。该协议基于简单网关监视协议(SGMP：Simple Gateway MonitorProtocol)。利用SNMP，一个管理工作站可以远程管理所有支持这种协议的网络存储设备，包括监视网络状态、修改网络存储设备配置、接收网络事件警告等。
CLI是Command Line Interface的缩写，即命令行界面。CLI界面是所有路由器产品都提供的界面，如CISCO，LUCENT，华为等，是路由器产品的标准。使用CLI具有使用要求低(只需要串行口)容易使用，功能扩充方便的优点，特别是当有很多(如10台)台路由器设备需要配置的时候，可以通过COPY/PASTE功能很快完成所有路由器的配置，不需要通过IE一台台配置。
本发明中，监控数据转换方法通过采集任务的方式启动。采集任务分为实时采集任务和周期性采集任务，实时采集任务由第三方通过第三方***实时发送，周期性采集任务由用户根据采集需要创建并存储于配置数据库中，以定期发送并执行采集任务。
每个采集任务都包括待采集的存储设备类型标识和SMI-S指标，其中，存储设备类型标识由字符串或数字组成，与存储设备类型一一对应。存储设备类型包括厂商名称和此存储设备所属的具体产品型号，例如：一种类型为IBM3584的磁带库。SMI-S指标是指SMI-S规范中涉及的标准指标，例如：存储设备的性能、流量、容量、网络通信情况、丢包率；存储设备配置信息中的分区大小、厂商、名称；存储设备状态中的风扇好坏、电源情况等等。每个采集任务由一个任务ID唯一地标识，任务ID可由字符串或数字组成，一次采集任务只针对一种类型的存储设备。
本发明的方法流程如图1所示，面向广电行业的存储设备的监控数据转换方法，包括以下步骤：
步骤101：获取采集任务，该任务中包括待采集的存储设备类型标识和SMI-S指标；
在上述步骤中，通过调用或加载已有的采集任务，来获取采集任务；
步骤102：根据所述任务中的存储设备类型标识和SMI-S指标，从配置数据库加载存储设备类型、存储设备的连接参数、以及用于将存储设备采集项ID转换成SMI-S指标的转换公式；
所述配置数据库，用于存储采集任务的执行参数，包括：存储设备类型及厂商名称、采集项、用于将存储设备采集项ID转换成SMI-S指标的转换公式、存储设备连接参数、各种采集方式的配置信息和运行参数；
根据所述任务中的存储设备类型标识从配置数据库中加载存储设备类型和存储设备的连接参数，根据所述任务中的存储设备类型标识和SMI-S指标从配置数据库中加载用于将存储设备采集项ID转换成SMI-S指标的转换公式；
所述采集项，是指存储设备中可被采集的最基本的监控数据，例如：C盘的容量。为每一采集项单独定义有采集方式和参数，并存储于配置数据库中便于变更和扩展，使用时通过统一的配置管理接口进行调用。
所述存储设备连接参数，包括：IP地址、用户名、口令等连接存储设备的参数。
转换公式用于实现SMI-S指标与存储设备采集项之间的运算和格式转换，转换公式与存储设备类型、SMI-S指标一一对应，并将定义的结果以公式文本的方式保存在配置数据库中。
用于将存储设备采集项ID转换成SMI-S指标的转换公式，由SMI-S指标、采集项ID和运算符组成。其中，运算符包括各种函数、加、减、乘、除、括号，各种函数主要包括差分、速率、求和、求平均值等；每个采集项ID唯一地标识一个采集项，采集项ID的属性包括：该采集项ID标识的采集项、此采集项对应的采集方式标识，执行所述采集方式可对此采集项进行数据采集。
转换公式以公式列表的形式存储在配置管理库中，随着转换公式的增加逐渐扩大对存储设备类型的兼容性。
步骤103：分解所述转换公式中的采集项ID，将具有相同采集项ID的采集项进行归并；
在一次采集任务中，对于同一类型的存储设备，根据SMI-S指标的不同，转换公式也不同，因此，转换公式中的采集项ID所标识的采集项可能会重合，为了确保相同的采集项仅采集一次，就需要根据采集项标识进行分解，分解本次采集使用的所有转换公式中的采集项ID，相同ID的采集项仅保留一个，其余过滤掉，以完成归并。例如：存储设备类型为Promise、SMI-S指标为磁盘总容量所对应的转换公式A，和存储设备类型为Promise、SMI-S指标为某一磁盘分区容量所对应的转换公式B，转换公式A和转换公式B中的采集项ID就会重复，磁盘总容量＝各磁盘分区的容量之和，都包含了某一磁盘分区的容量，这时需要分解归并。
步骤104：基于归并后的采集项，归并所述采集项的采集方式；
同一类型的存储设备，根据SMI-S指标的不同，或存储设备自身支持属性的不同，可能存在多种采集方式，此时，需要对采集方式进行归并，具体为：
基于归并后的采集项，根据所述采集项的采集方式标识进行归并，提取出相同的采集方式。
步骤105：从配置数据库加载所述采集方式的配置信息和运行参数，并将归并后的采集项作为相应的采集方式的配置参数；
所述配置信息，包括：协议名称、版本、加载路径等。例如，采集方式SNMP v2的协议名称为SNMP，版本为v2，加载路径即执行此采集方式要访问的地址；运行参数为所要执行的命令、MIB(管理信息库，定义了可访问的网络设备及其属性，由对象识别符唯一指定)、OID(Object Identifier对象识别符)等参数；
步骤106：判断是否可以成功执行所述采集方式，若不可以，执行步骤107，若可以，执行步骤108；
无法成功执行所述采集方式的原因包括：采集参数配置错误、采集存储设备连接参数错误、存储设备工作异常等；
步骤107：记录执行失败日志；
所述日志记录内容包括：采集日期、采集存储设备、采集项、失败原因，定期查看执行失败日志，便于及时维护和调整，保证数据采集能够成功执行；
如果为了简化程序，可以省略步骤107；
步骤108：执行所述的采集方式采集监控数据并按自定义格式转换数据，得到自定义格式的监控数据；
所述自定义格式是指对采集到的采集数据格式进行自定义，保证无论执行哪一种采集方式，采集到的采集项数据均为统一格式的数据；对于不符合标准协议的采集方式，可以通过二次开发实现，新开发的采集方式要遵循自定义格式中定义的采集方式接口标准才能实现与转换器的无缝对接，因而具备可扩展性；
一次数据采集过程中会使用一种以上的采集方式，目前常用的采集方式如下：
SNMP采集方式：通过SNMP协议和存储设备的MIB库采集监控数据；
SMI-S采集方式：通过SMI-S标准采集存储设备的监控数据；
CLI采集方式：通过存储设备提供的命令行接口，使用Telnet或SSH等方式连接被管存储设备，并远程执行其方法获取监控数据；
File采集方式：通过对存储设备私有的配置或日志等文件进行解析以获取监控数据；
其他采集方式：通过二次开发调用存储设备的API或其他方式获取存储设备监控数据，二次开发的采集方式要遵循本发明的采集器调用接口标准；
通过定义标准的采集适配器调用接口，可以保证返回的采集数据格式均为本发明中规定的自定义格式。
步骤109：按照转换公式对所述自定义格式数据进行运算、转换，得到SMI-S指标；
将采集到的自定义格式数据代入转换公式的采集项ID中，进行四则运算和/或函数运算，并进行格式转换，公式结果即为SMI-S指标。
转换公式的运行原理是：当执行采集方式对标识为该采集方式的采集项进行数据采集并按自定义格式转换数据后，得到的数据都为自定义的格式，将采集到的自定义格式数据代入公式中的采集项ID，进行四则运算和/或函数运算，并进行格式转换，将自定义格式数据转换为SMI-S指标数据，即为公式输出的结果数据。
转换公式表征了待采集的SMI-S指标与采集项ID之间的关系，现举例说明，假设SMI-S指标为f(x，y，z)，采集项ID为x、y、z，f(x，y，z)与x、y、z是各种函数、加、减、乘、除、括号的关系，例如：f(x，y，z)＝f(x，y)×{f(y，z)+z}，其中，f(x，y)、f(y，z)为各种函数，具体取什么函数根据各种采集需要来确定，常用的函数包括：差分、速率、求和、求平均值，其中，
差分＝两次采集项的值的差；
速率＝差分除以两次采集之间的时间差；
所述两次采集之间的时间差为前后两次数据采集时的时间戳之差，每次数据采集时会记录时间戳，当计算速率时，会将所述时间戳的值传到公式中。
上述例子中，转换公式为f(x，y，z)＝f(x，y)×{f(y，z)+z}，将采集到的采集项的值赋给采集项ID，分别为x、y、z，通过四则运算和/或函数运算得到f(x，y，z)，即为SMI-S指标；
例如：与类型为Promise的存储设备，以及SMI-S指标为磁盘剩余空间对应的转换公式为：
磁盘剩余空间＝raidv4PhysicalCapacity-raidv4UsedCapacity
上述公式中，“raidv4PhysicalCapacity”和“raidv4UsedCapacity”为采集项ID，由速记的字符串组成，具有唯一性，“raidv4PhysicalCapacity”唯一标识的采集项为Promise的磁盘总容量，“raidv4UsedCapacity”唯一标识的采集项为Promise的磁盘已使用容量，若上述两个采集项对应的采集方式均为SNMP v1(SNMP的v1版本)，则执行SNMP v1采集并按自定义格式转换Promise的磁盘总容量和磁盘已使用容量的数据，分别为磁盘总容量＝3000，磁盘已使用容量＝1000，采集到的数据即为自定义的格式，将得到的数据分别代入公式的采集项ID“raidv4PhysicalCapacity”和“raidv4UsedCapacity”中，即raidv4PhysicalCapacity＝3000，raidv4UsedCapacity＝1000，按照转换公式进行减法运算，则磁盘剩余空间＝raidv4PhysicalCapacity-raidv4UsedCapacity＝3000-1000＝2000，并进行格式转换，将自定义格式转换为SMI-S指标，得到SMI-S指标＝2000。
类似的，转换公式也可以进行乘、除运算，例如：某类型的存储设备上有相同容量的磁盘分区M个，则SMI-S指标为该类型存储设备的总容量时，利用公式进行乘法运算，即总容量＝磁盘分区容量×M。
转换公式还用于计量单位的换算，例如，采集到的采集项的值的计量单位为KB，而SMI-S指标的计量单位是MB，这时需要通过转换公式进行计量单位的换算，将KB换算为MB。
步骤110：按照SMI-S规范数据格式对上述SMI-S指标进行封装；
封装是将所述SMI-S指标数据按照SMI-S规范数据格式进行格式上的规范，成为标准的SMI-S规范格式数据。例如，若公式运算的结果是：SMI-S指标为“2000”，封装后的结果，示例为“磁盘剩余空间＝2000”，即为SMI-S规范格式；
其中，步骤110为优选步骤，可以省略。
本发明的转换器结构如图2所示，面向广电行业的存储设备的监控数据转换器，包括：采集指标初始化模块201、指标转换处理模块202、采集执行模块203、配置数据库204，其中：
采集指标初始化模块201，用于获取采集任务，根据所述采集任务中的存储设备类型标识和SMI-S指标，从配置数据库加载存储设备类型、存储设备的连接参数、以及用于将存储设备采集项ID转换成SMI-S指标的转换公式；
指标转换处理模块202，用于分解所述转换公式中的采集项ID，归并采集项，基于归并后的采集项，再归并所述采集项的采集方式，待数据采集完成后，接收采集执行模块203传送的自定义格式数据，按照转换公式对所述数据进行运算、转换，得到SMI-S指标；
采集执行模块203，用于从配置数据库加载采集方式的配置信息和运行参数，并将归并后的采集项作为相应的采集方式的配置参数；当不能成功执行所述采集方式时，记录执行失败日志，当可以成功执行所述采集方式时，执行所述的采集方式采集监控数据并按自定义格式转换数据，将得到的自定义格式的监控数据传送给指标转换处理模块202；
配置数据库204，用于存储已有采集任务的执行参数，包括：存储设备类型及厂商名称、采集项、用于将存储设备采集项ID转换成SMI-S指标的转换公式、存储设备连接参数、各种采集方式的配置信息和运行参数；
所述已有采集任务包括实时采集任务和周期性采集任务。
转换器可以任务驱动模式运行，提供周期性采集功能，也可通过调用接口实时接收客户的采集任务并执行采集任务，将采集并格式转换后的SMI-S规范数据及时返回给客户，实现实时采集数据服务。
面向广电行业的存储设备的监控数据转换器可以对生产环境中所有需要监控的存储设备进行数据采集、格式转换和标准化接口输出，转换器可以部署在MS Windows、Unix、Linux等操作***上，从而实现跨平台应用。
作为第一种较佳的方法实施例，本发明的转换方法能以任务驱动模式运行，启动转换器后，转换器自动加载配置好的采集任务并定期执行，任务的采集周期可以分别定义，并以多任务异步运行模式运行，可以同时对多台存储设备进行监控数据采集。
根据本发明实施例的第一种较佳方法流程如图3所示，包括以下步骤：
步骤301：启动存储设备的监控数据转换器；
步骤302：从配置数据库加载采集任务，形成采集任务序列；
对每一个采集任务设定采集周期，通过设置任务执行计时器来设定每一个采集任务的采集周期，将所有采集任务及其配置参数存储在配置数据库中，转换器启动后，从配置数据库加载所有采集任务，即转换器从配置数据库中读取采集任务，将所有采集任务及其配置参数缓存到内存中，实现对存储设备的监控数据进行定期采集；配置数据库中为每个采集任务设置采集任务ID，形成采集任务序列。
步骤303：定期巡检采集任务序列；
按采集任务ID的序列对每一个采集任务进行定期巡检；
步骤304：判断各采集任务是否到期；
若采集任务没到期，执行步骤303，若已到期，执行步骤305；
步骤305：判断是否退出任务执行，若是，执行步骤306，否则，执行步骤307和步骤308；
步骤306：结束；
若转换器所在服务器出现故障、死机或发生其它异常情况时，采集任务停止执行，转换器停止运行；
步骤307：将所述到期采集任务的任务执行计时器归零；
当确认所述采集任务可以正常执行后，执行所述采集任务的同时，将所述到期任务的任务执行计时器归零，从零时间开始下一个执行周期的计时，同时，继续巡检下一个采集任务是否到期，若多个任务都已到期，则顺序执行到期任务，实现多任务异步运行；
步骤308～步骤316，同本发明方法实施例中的步骤101～步骤109；
步骤317：将所述SMI-S指标数据传送到采集数据库存储，为SMI-S数据服务提供数据源；
所述SMI-S数据服务，是指基于SMI-S标准，使用HTTP或HTTPs协议，为客户提供标准的、按照SMI-S规范格式对SMI-S指标进行格式规范后的SMI-S格式数据。
根据本发明实施例的第一种较佳装置结构如图4所示，包括：任务驱动模块401、采集指标初始化模块402、指标转换处理模块403、采集执行模块404、配置数据库405、采集数据库406，其中：
任务驱动模块401，用于从配置数据库加载采集任务，形成采集任务序列，定期巡检采集任务序列，逐一判断各采集任务是否到期，若没到期，则按采集任务序列巡检下一个采集任务，若已到期，则判断是否退出任务执行，若是，结束，否则，将采集任务发送给采集指标初始化模块402，同时，将采集任务序列中的所述到期任务的任务执行计时器归零，继续巡检下一个采集任务；
采集指标初始化模块402，用于获取采集任务，根据所述采集任务中的存储设备类型标识和SMI-S指标，从配置数据库加载存储设备类型、存储设备的连接参数、以及用于将存储设备采集项ID转换成SMI-S指标的转换公式；
指标转换处理模块403，用于分解所述转换公式中的采集项ID，归并采集项，基于归并后的采集项，再归并所述采集项的采集方式，待数据采集完成后，接收采集执行模块404传送的自定义格式的监控数据，按照转换公式对所述数据进行运算、转换，得到SMI-S指标，将所述SMI-S指标数据传送到采集数据库存储；
采集执行模块404，用于从配置数据库加载采集方式的配置信息和运行参数，并将归并后的采集项作为相应的采集方式的配置参数，不能成功执行所述采集方式时，记录执行失败日志，当可以成功执行所述采集方式时，执行所述的采集方式采集监控数据并按自定义格式转换数据，将得到的自定义格式数据传送给指标转换处理模块403；
配置数据库405，用于存储已有采集任务的执行参数，包括：存储设备类型及厂商名称、采集项、用于将存储设备采集项ID转换成SMI-S指标的转换公式、存储设备的连接参数、各种采集方式的配置信息和运行参数，还用于存储已有采集任务序列及其执行周期参数；
采集数据库406，用于存储指标转换处理模块403发送的SMI-S指标；
客户可利用第三方***通过调用接口从采集数据库中调取其需要的SMI-S指标数据；其中，调用接口用于实现对SMI-S指标进行封装，得到SMI-S规范格式数据。
作为第二种较佳的方法实施例，本发明方法对于时效性要求较高的监控数据提供实时采集接口，即通过接口调用直接获取监控数据。
根据本发明实施例的第二种较佳方法流程如图5所示，包括以下步骤：
步骤501：接收客户通过第三方***发送的采集任务；
步骤502～步骤510，同本发明方法实施例中的步骤101～步骤109；
步骤511：通过调用接口按SMI-S规范格式对所述SMI-S指标进行封装，将封装后的SMI-S规范格式数据返回给第三方***；
根据本发明实施例的第二种较佳装置结构如图6所示，包括：第三方***601、采集指标初始化模块602、指标转换处理模块603、采集执行模块604、配置数据库605，其中：
第三方***601，用于接收客户的采集任务，并将所述采集任务发送给采集指标初始化模块602，同时，用于接收经调用接口转换后的SMI-S规范格式数据，并将其返回给客户；其中，调用接口用于实现对SMI-S指标进行封装，得到SMI-S规范格式数据；
采集指标初始化模块602，用于获取采集任务，根据所述采集任务中的存储设备类型标识和SMI-S指标，从配置数据库加载存储设备类型、存储设备的连接参数、以及用于将存储设备采集项ID转换成SMI-S指标的转换公式；
指标转换处理模块603，用于分解所述转换公式中的采集项ID，将具有相同采集项ID的采集项进行归并，基于归并后的采集项，再归并所述采集项的采集方式，待数据采集完成后，接收采集执行模块604传送的自定义格式数据，按照转换公式对所述数据进行运算、转换，得到SMI-S指标，通过调用接口将其返回给第三方***601；
采集执行模块604，用于从配置数据库加载采集方式的配置信息和运行参数，并将归并后的采集项作为相应的采集方式的配置参数，当不能成功执行所述采集方式时，记录执行失败日志，可以成功执行所述采集方式时，执行所述的采集方式采集监控数据并按自定义格式转换数据，将得到的自定义格式数据传送给指标转换处理模块603；
配置数据库605，用于存储已有采集任务的执行参数，包括：存储设备类型及厂商名称、采集项、用于将存储设备采集项ID转换成SMI-S指标的转换公式、存储设备连接参数、各种采集方式的配置信息和运行参数。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (12)
1.一种面向广电行业的存储设备的监控数据转换方法，其特征在于，包括以下步骤：
获取采集任务，根据所述采集任务中的存储设备类型标识和SMI-S指标，从配置数据库加载存储设备类型、存储设备的连接参数、以及用于将存储设备采集项ID转换成SMI-S指标的转换公式；
分解所述转换公式中的各采集项ID，将具有相同采集项ID的采集项进行归并，基于归并后的采集项，归并所述采集项的采集方式；
从配置数据库加载所述采集方式的配置信息和运行参数，并将归并后的采集项作为相应的采集方式的配置参数；当可以成功执行所述采集方式时，执行所述的采集方式采集监控数据并按自定义格式转换数据，得到自定义格式的监控数据，再按照转换公式对所述自定义格式的监控数据进行运算、转换，得到SMI-S指标。
2.根据权利要求1所述的面向广电行业的存储设备的监控数据转换方法，其特征在于，所述按照转换公式对所述自定义格式的监控数据进行运算、转换，得到SMI-S指标，具体为：
按照转换公式对所述自定义格式的监控数据进行四则运算和/或函数运算，并进行格式转换，将所述自定义格式的监控数据转换为SMI-S指标数据。
3.根据权利要求1所述的面向广电行业的存储设备的监控数据转换方法，其特征在于，所述得到SMI-S指标之后进一步包括，按照SMI-S规范数据格式对所述SMI-S指标进行封装。
4.根据权利要求1所述的面向广电行业的存储设备的监控数据转换方法，其特征在于，所述可以成功执行所述采集方式时进一步包括，当不能成功执行所述采集方式时，记录执行失败日志。
5.根据权利要求1所述的面向广电行业的存储设备的监控数据转换方法，其特征在于，所述按自定义格式转换数据包括，对于不符合标准协议的采集方式，按照自定义格式中定义的采集方式接口标准进行二次开发。
6.根据权利要求1所述的面向广电行业的存储设备的监控数据转换方法，其特征在于，
所述获取采集任务之前进一步包括，从配置数据库加载采集任务，形成采集任务序列，定期巡检采集任务序列，逐一判断各采集任务是否到期，若没到期，则按采集任务序列巡检下一个采集任务，若已到期，则判断是否退出任务执行，若是，结束，否则，执行采集任务，同时，将采集任务序列中的所述到期任务的任务执行计时器归零；
所述得到SMI-S指标之后进一步包括，将SMI-S指标数据传送到采集数据库存储；其中，采集数据库，用于存储经过转换公式处理后的SMI-S指标。
7.根据权利要求1所述的面向广电行业的存储设备的监控数据转换方法，其特征在于，
所述获取采集任务之前进一步包括，接收外部的采集任务；
所述得到SMI-S指标之后进一步包括，通过调用接口按SMI-S规范格式对所述SMI-S指标进行封装，将封装后的数据返回给第三方***。
8.一种面向广电行业的存储设备的监控数据转换器，其特征在于，该转换器包括：采集指标初始化模块、指标转换处理模块、采集执行模块、配置数据库，其中：
采集指标初始化模块，用于获取采集任务，根据所述采集任务中的存储设备类型标识和SMI-S指标，从配置数据库加载存储设备类型、存储设备的连接参数、以及用于将存储设备采集项ID转换成SMI-S指标的转换公式；
指标转换处理模块，用于分解所述转换公式中的采集项ID，将具有相同采集项ID的采集项进行归并，基于归并后的采集项，再归并所述采集项的采集方式，也用于接收采集执行模块传送的自定义格式数据，按照转换公式对所述数据进行运算、转换，得到SMI-S指标；
采集执行模块，用于从配置数据库加载采集方式的配置信息和运行参数，并将归并后的采集项作为相应的采集方式的配置参数，当可以成功执行所述采集方式时，执行所述的采集方式采集监控数据并按自定义格式转换数据，得到自定义格式的监控数据，将所述监控数据传送给指标转换处理模块；
配置数据库，用于存储已有采集任务的执行参数，包括：存储设备类型及厂商名称、采集项、用于将存储设备采集项ID转换成SMI-S指标的转换公式、存储设备连接参数、各种采集方式的配置信息和运行参数。
9.根据权利要求8所述的面向广电行业的存储设备的监控数据转换器，其特征在于，所述指标转换处理模块，还用于在得到SMI-S指标之后，按照SMI-S规范数据格式对所述SMI-S指标进行封装。
10.根据权利要求8所述的面向广电行业的存储设备的监控数据转换器，其特征在于，所述采集执行模块，在不能成功执行所述采集方式时，记录执行失败日志。
11.根据权利要求8所述的面向广电行业的存储设备的监控数据转换器，其特征在于，所述转换器进一步包括：
任务驱动模块，用于从配置数据库加载采集任务，形成采集任务序列，定期巡检采集任务序列，逐一判断各采集任务是否到期，若没到期，则按采集任务序列巡检下一个采集任务，若已到期，则判断是否退出任务执行，若是，结束，否则，将采集任务发送给采集指标初始化模块，同时，将采集任务序列中的所述到期任务的任务执行计时器归零，继续巡检下一个采集任务；
采集数据库，用于存储指标转换处理模块发送的SMI-S指标数据；
所述配置数据库，进一步用于存储已有采集任务序列及其执行周期参数；
所述指标转换处理模块，进一步用于将采集并经转换公式处理后的SMI-S指标数据传送到采集数据库存储。
12.根据权利要求8所述的面向广电行业的存储设备的监控数据转换器，其特征在于，所述转换器进一步包括：
第三方***，用于接收客户的采集任务，同时，还用于接收指标转换处理模块发送的、经过调用接口封装后的SMI-S格式数据，并将所述SMI-S格式数据返回给客户；
所述指标转换处理模块，进一步用于将SMI-S指标数据通过调用接口返回给第三方***。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011101341851A CN102298601B (zh) | 2011-05-23 | 2011-05-23 | 面向广电行业的存储设备的监控数据转换方法及转换器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011101341851A CN102298601B (zh) | 2011-05-23 | 2011-05-23 | 面向广电行业的存储设备的监控数据转换方法及转换器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102298601A true CN102298601A (zh) | 2011-12-28 |
| CN102298601B CN102298601B (zh) | 2012-11-21 |
Family
ID=45359022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011101341851A Expired - Fee Related CN102298601B (zh) | 2011-05-23 | 2011-05-23 | 面向广电行业的存储设备的监控数据转换方法及转换器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102298601B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103067201A (zh) * | 2012-12-25 | 2013-04-24 | 安徽鑫龙电器股份有限公司 | 一种多协议通讯管理机 |
| CN103716173A (zh) * | 2012-09-29 | 2014-04-09 | 中国石油化工股份有限公司 | 一种存储监控***及监控告警发布的方法 |
| CN104461553A (zh) * | 2014-12-18 | 2015-03-25 | 山东超越数控电子有限公司 | 一种符合smi-s标准的存储管理方法 |
| CN104504029A (zh) * | 2014-12-11 | 2015-04-08 | 北京国双科技有限公司 | 数据转化信息处理方法及装置 |
| CN106254172A (zh) * | 2016-07-14 | 2016-12-21 | 东软集团股份有限公司 | 异构应用数据采集方法及装置 |
| CN103684851B (zh) * | 2013-11-26 | 2017-03-08 | 华为技术有限公司 | 数据采集方法和装置 |
| CN106502856A (zh) * | 2015-09-07 | 2017-03-15 | ***通信集团公司 | 一种信息处理方法及装置 |
| CN108062689A (zh) * | 2017-12-22 | 2018-05-22 | 深圳市英威腾电气股份有限公司 | 一种监控行业信息的方法、装置、设备及可读存储介质 |
| CN110019483A (zh) * | 2018-01-02 | 2019-07-16 | 航天信息股份有限公司 | 粮情数据采集方法及粮情数据采集平台 |
| CN111898003A (zh) * | 2020-08-28 | 2020-11-06 | 刘伟铭 | 一种工业高分数据快速集群存储搜索***及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080313657A1 (en) * | 2007-06-15 | 2008-12-18 | Acuna Jorge D | Apparatus, system, and method for managing tray devices |
| CN101520739A (zh) * | 2008-02-26 | 2009-09-02 | 国际商业机器公司 | 构建基于存储管理计划规范的设备的模拟器的方法和装置 |
| CN101699827A (zh) * | 2009-10-28 | 2010-04-28 | 浪潮电子信息产业股份有限公司 | 一种采用smi-s规范的统一存储网络体系管理架构 |
| US7827261B1 (en) * | 2004-12-22 | 2010-11-02 | Crossroads Systems, Inc. | System and method for device management |
-
2011
- 2011-05-23 CN CN2011101341851A patent/CN102298601B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7827261B1 (en) * | 2004-12-22 | 2010-11-02 | Crossroads Systems, Inc. | System and method for device management |
| US20080313657A1 (en) * | 2007-06-15 | 2008-12-18 | Acuna Jorge D | Apparatus, system, and method for managing tray devices |
| CN101520739A (zh) * | 2008-02-26 | 2009-09-02 | 国际商业机器公司 | 构建基于存储管理计划规范的设备的模拟器的方法和装置 |
| CN101699827A (zh) * | 2009-10-28 | 2010-04-28 | 浪潮电子信息产业股份有限公司 | 一种采用smi-s规范的统一存储网络体系管理架构 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103716173A (zh) * | 2012-09-29 | 2014-04-09 | 中国石油化工股份有限公司 | 一种存储监控***及监控告警发布的方法 |
| CN103716173B (zh) * | 2012-09-29 | 2017-12-01 | 中国石油化工股份有限公司 | 一种存储监控***及监控告警发布的方法 |
| CN103067201A (zh) * | 2012-12-25 | 2013-04-24 | 安徽鑫龙电器股份有限公司 | 一种多协议通讯管理机 |
| CN103684851B (zh) * | 2013-11-26 | 2017-03-08 | 华为技术有限公司 | 数据采集方法和装置 |
| CN104504029B (zh) * | 2014-12-11 | 2018-06-26 | 北京国双科技有限公司 | 数据转化信息处理方法及装置 |
| CN104504029A (zh) * | 2014-12-11 | 2015-04-08 | 北京国双科技有限公司 | 数据转化信息处理方法及装置 |
| CN104461553A (zh) * | 2014-12-18 | 2015-03-25 | 山东超越数控电子有限公司 | 一种符合smi-s标准的存储管理方法 |
| CN106502856A (zh) * | 2015-09-07 | 2017-03-15 | ***通信集团公司 | 一种信息处理方法及装置 |
| CN106502856B (zh) * | 2015-09-07 | 2019-10-22 | ***通信集团公司 | 一种信息处理方法及装置 |
| CN106254172A (zh) * | 2016-07-14 | 2016-12-21 | 东软集团股份有限公司 | 异构应用数据采集方法及装置 |
| CN108062689A (zh) * | 2017-12-22 | 2018-05-22 | 深圳市英威腾电气股份有限公司 | 一种监控行业信息的方法、装置、设备及可读存储介质 |
| CN108062689B (zh) * | 2017-12-22 | 2022-05-17 | 深圳市英威腾电气股份有限公司 | 一种监控行业信息的方法、装置、设备及可读存储介质 |
| CN110019483A (zh) * | 2018-01-02 | 2019-07-16 | 航天信息股份有限公司 | 粮情数据采集方法及粮情数据采集平台 |
| CN111898003A (zh) * | 2020-08-28 | 2020-11-06 | 刘伟铭 | 一种工业高分数据快速集群存储搜索***及方法 |
| CN111898003B (zh) * | 2020-08-28 | 2021-02-09 | 刘伟铭 | 一种工业高分数据快速集群存储搜索***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102298601B (zh) | 2012-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102298601B (zh) | 面向广电行业的存储设备的监控数据转换方法及转换器 | |
| CN105282772B (zh) | 无线网数通设备监控***及设备监控方法 | |
| CN101282237B (zh) | 一种基于snmp协议的综合网管*** | |
| AU2016269552A1 (en) | Energy Management Gateways And Processes | |
| CN102820993A (zh) | 网络资源监控***和网络资源监控方法 | |
| CN103716173A (zh) | 一种存储监控***及监控告警发布的方法 | |
| WO2018010176A1 (zh) | 获取故障信息的方法及设备 | |
| CN114244676A (zh) | 一种智能it综合网关*** | |
| CN104378240A (zh) | 一种灵活自定义拓扑视图进行监控的方法 | |
| CN109039764A (zh) | 一种分布式存储***的网络参数配置方法 | |
| CN113076229A (zh) | 一种通用的企业级信息技术监控*** | |
| CN115037600A (zh) | 一种支持长连接的低功耗物联网平台及其设备和管理方法 | |
| CN108599978B (zh) | 一种云监控方法和装置 | |
| CN110018677A (zh) | 一种物联网设备管理***及方法 | |
| CN102752158A (zh) | 业务流量监控方法及装置 | |
| US8046447B2 (en) | Mechanism for specifying port-related data from network devices | |
| JPH10334013A (ja) | 分散型システムのための運用監視方法およびそのシステム | |
| CN110061886B (zh) | 一种基于snmp的印前网络管理*** | |
| CN102158352A (zh) | 云操作***中一种多品牌网络设备的管理方法及装置 | |
| Claise et al. | EMAN: energy-management activities at the IETF | |
| CN104283706A (zh) | Snmp的采集处理方法及装置 | |
| EP4254894A1 (en) | Time series data collection for a network management system | |
| EP4311075A1 (en) | Uninterruptable power supply information communication system | |
| CN202679411U (zh) | 一种校园网络的防入侵*** | |
| Doliwa et al. | Network monitoring and management for company with hybrid and distributed infrastructure |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C53 | Correction of patent of invention or patent application | ||
| CB03 | Change of inventor or designer information |
Inventor after: Ding Wenhua Inventor after: Li Guobin Inventor after: Song Yichun Inventor after: Han Gang Inventor after: Gu Jun Inventor after: Wang Jing Inventor after: Liu Di Inventor after: Zhang Renyu Inventor after: Lou Chenghao Inventor after: Ma Weishi Inventor before: Han Gang Inventor before: Wang Jing Inventor before: Zhang Renyu Inventor before: Lou Chenghao Inventor before: Ma Weishi Inventor before: Li Guobin |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: INVENTOR; FROM: HAN GANG WANG JING ZHANG RENYU LOU CHENGHAO MA WEISHI LI GUOBIN TO: DING WENHUA SONG YICHUN HAN GANG GU JUN WANG JING LIU DI ZHANG RENYU LOU CHENGHAO MA WEISHI LI GUOBIN |
|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Conversion method of monitoring data of storage device oriented to radio and TV industry and converter Effective date of registration: 20200119 Granted publication date: 20121121 Pledgee: Huaxia Bank Limited by Share Ltd Zhongguancun Beijing branch Pledgor: Beijing Jiecheng Century Science and Technology Co., Ltd. Registration number: Y2020990000081 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20201116 Granted publication date: 20121121 Pledgee: Huaxia Bank Limited by Share Ltd. Zhongguancun Beijing branch Pledgor: BEIJING JETSEN TECHNOLOGY Co.,Ltd. Registration number: Y2020990000081 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121121 Termination date: 20210523 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |