CN114443746B - 可扩展高性能的运维指标项etl工具及应用方法 - Google Patents
可扩展高性能的运维指标项etl工具及应用方法 Download PDFInfo
- Publication number
- CN114443746B CN114443746B CN202210071545.6A CN202210071545A CN114443746B CN 114443746 B CN114443746 B CN 114443746B CN 202210071545 A CN202210071545 A CN 202210071545A CN 114443746 B CN114443746 B CN 114443746B
- Authority
- CN
- China
- Prior art keywords
- collector
- data
- external network
- transfer
- agent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims description 32
- 238000012546 transfer Methods 0.000 claims abstract description 76
- 230000002776 aggregation Effects 0.000 claims abstract description 4
- 238000004220 aggregation Methods 0.000 claims abstract description 4
- 238000004140 cleaning Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 9
- 238000012986 modification Methods 0.000 claims description 8
- 230000004048 modification Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 239000002699 waste material Substances 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000004083 survival effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种可扩展高性能的运维指标项ETL工具，包括：外网采集器、中转采集器及Agent采集器；所述外网采集器部署在外网环境中，作为最高层级，可汇聚下层中转采集器或Agent采集器数据向云服务器直接发送数据，可从云服务器获取需要更新的配置文件；所述中转采集器在特定网络的网闸机器上，可单向汇聚下层中转采集器或者Agent采集器数据转发至上层外网或者中转采集器；所述Agent采集器作为最低层级，部署在需要采集指标项的机器上，可向上级中转或外网采集器发送数据。本发明可应用于智能化运维领域，具有广泛的应用前景。
Description
技术领域
本发明涉及一种可扩展高性能的运维指标项ETL工具，可实现有代理、无代理及不同硬件厂商的运维指标数据的抽取及清洗功能，并且可针对不同网络环境自定义配置工具的转发链路。
背景技术
随着AIOps（Artificial Intelligence for IT Operations 智能化运维）的发展，对计算机的运维指标数据采集显得越来越重要，目前采集工具越来越多，采集方式有代理和无代理两种，导致采集的运维指标项的复杂程度越来越高，指标的数据量也越来越大，再加上用户的网络环境复杂以及单向网闸的普及，采集工具需要在不同网段的机器上转发实时数据。
为了解决上述问题，需要有一种ETL工具来实现数据的统一格式，但是目前要支持庞大的厂商及采集工具，以及后期他们的更新情况，需要有一个简便的配置方案，来实现快速响应、支持数据结构变化的功能。不同网段的机器转发、汇聚、再清洗，对采集器的链路配置和性能要求也越来越高。
传统的客户端采集器一般是直接发给服务端，因此一般的采集器只支持采集数据及发送数据功能，而支持高拓展性需要在采集器中再集成接收数据与转发数据功能，这样采集器就可以成为一个在客户端可任意拼接组装的采集工具，采集器可以向不同网段部署的采集器发送、转发数据，最后送至服务端。然而加上这些功能的采集器往往会变得体积庞大、性能不佳，至今未发现同时支持高性能转发与轻量易部署兼顾的采集工具。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种可扩展高性能的运维指标项ETL工具及其实现方法。
本申请实施例提供了一种可扩展高性能的运维指标项ETL工具，包括：外网采集器、中转采集器及Agent采集器；
所述外网采集器部署在外网环境中，作为最高层级，可汇聚下层中转采集器或Agent采集器数据向云服务器直接发送数据，可从云服务器获取需要更新的配置文件；
所述中转采集器在特定网络的网闸机器上，可单向汇聚下层中转采集器或者Agent采集器数据转发至上层外网或者中转采集器；
所述Agent采集器作为最低层级，部署在需要采集指标项的机器上，可向上级中转或外网采集器发送数据。
本发明还公开了一种可扩展高性能的运维指标项ETL工具的应用方法，其特征在于：包括如下步骤：
101：采集器脚本启动；
102：检查当前客户端采集器的配置文件，根据配置文件中的身份标志判定当前采集器的身份类型；
103：若检测到agent身份标志，则判断该客户端采集器为agent采集器；
104：通过该客户端采集器的配置项，采集该采集器需要采集的所有资产指标并进行数据清洗、按类型统一各大厂商的json格式；
105：检测配置文件，查看上级采集器身份；
106：若上级采集器为中转采集器，则采用多线程的websocket服务进行通讯，用于支持大量的实时消息连接，websocket连接全部采用长链接模式，可记录每个下级节点的在线情况，若连接断开及时发送离线消息通知上级；实时数据将立即转发至中转采集器；
107：若检测到中转身份标志，则判断该客户端采集器为中转采集器；
108：通过该客户端采集器的配置项，采集该采集器需要采集的所有资产指标并进行数据清洗、按类型统一各大厂商的json格式；
109：检测配置文件，查看上级采集器身份；
110：若上级采集器为外网采集器，则采用多线程+协程的api服务进行通讯，多线程用于支持大量的请求连接，采用单向api接口的方式支持内网跨外网的单向通讯，协程用于多个转发请求处理的处理及心跳定时任务所申请的服务器资源切换利用，减少空闲等待的资源浪费，实时数据将立即转发至外网采集器；
111：若检测到外网身份标志，则判断该客户端采集器为外网采集器；
112：通过该客户端采集器的配置项，采集该采集器需要采集的所有资产指标并进行数据清洗、按类型统一各大厂商的json格式；
113：所有采集数据与转发数据，将实时发送至服务端。
作为优选，在101步骤中，具体启动方法如下：
1）、使用root权限先在外网采集器服务器执行脚本启动服务，
2）、再在中转采集器所在服务器的执行脚本启动服务，程序启动后中转采集器就会开始等待所有agent采集器连接，
3）、收到agent采集器的连接信息立即发送agent采集器上线信息到外网采集器，再由外网发送到服务端，同理再收到agent采集器断开连接的信息，便上报离线信息。
作为优选，在101步骤中，若agent数量庞大，则开启多台中转服务进行分担压力，外网采集器也设置多台，具体发送链路都通过配置文件控制，中转会定时发送心跳数据到外网采集器以确保服务端能够知道中转与外网采集器的存活情况，外网采集器再发送中转采集器与自己的心跳数据到服务端，心跳数据超过一定时间没有上报，服务端便会判定外网和中转采集离线。
作为优选，中转与外网采集器启动成功后，启动资产服务器上的agent采集器程序，开始进行定时资产状态数据采集，agent采集器在完成每一轮的信息收集后统一以json格式发送给中转服务器。
作为优选，若用户需要采集硬件资产信息时，采集方式为独立的snmp采集程序定时主动获取，根据配置文件中的厂商，IP，团体名信息定时对资产进行snmp主动获取，获取后进行数据清洗与转换，再发送给中转采集器；中转采集器收到agent采集器发送的消息后进行数据清洗，将数据转换为服务端所需要的数据格式，然后再将数据转发给外网采集器；外网采集器收到中转采集器发送的数据后，无需再进行处理任何处理操作，直接将数据发送到服务端；服务端收到数据后进行解析入库操作，用户即可在web端查看资产监控信息，至此一个采集流程的生命周期结束，再等待进行下一个周期。
作为优选，所述指标项的配置方法为：
先将采集的运维资产按照类型区分，相同类型的资产再按照厂商区分，相同厂商的再按照采集工具区分，由此得到一个三级的配置关系；
按照第三级关系的ID，配置该ID对应的格式化JSON字典，默认采集的数据会根据此字典做格式化统一处理，最后都会输出对应类型的运维资产的统一标准格式数据；
若配置关系存在云端服务器，有格式变化或新厂商对象接入，在云端***中做可视化配置操作，增加修改配置项；
若外网采集工具监听的配置项修改的信号，则会从云端拉取最新配置数据，广播到所有采集链路上实现配置拓展的更新。
技术效果或优点：本发明提供了一种可扩展高性能的运维指标项ETL工具及实现方法，可以通过云端配置快速支持指标项的拓展统一格式，可支持不同机器间数据的快速转发与采集工具的链路组装。兼具同时支持高性能转发与轻量易部署兼顾的优点，本发明可应用于智能化运维领域，具有广泛的应用前景。
附图说明
图1为本发明所述的采集工具链路结构示意图。
图2为本发明所述的具体实现流程示意图。
图3为本发明实施例用户网络情况图。
具体实施方式
本发明提供一种可扩展高性能的运维指标项ETL工具，运维指标项来源于五种工具：基于telegraf的代理采集工具，基于python脚本的代理采集工具，基于snmp的无代理采集工具，基于ssh的无代理采集工具，基于ipmi的无代理采集工具。运维指标项厂商来源于：锐捷、戴尔、H3C、深信服、中兴通讯、华为、宏杉、思科、亚信。
指标项配置方法：先将采集的运维资产按照类型区分，相同类型的资产再按照厂商区分，相同厂商的再按照采集工具区分，由此可以得到一个三级的配置关系，按照第三级关系的ID，可以配置该ID对应的格式化JSON字典，默认采集的数据会根据此字典做格式化统一处理，最后都会输出对应类型的运维资产的统一标准格式数据。配置关系存在云端服务器，有格式变化或新厂商对象接入，可在云端***中做可视化配置操作，增加修改配置项，若外网采集工具监听的配置项修改的信号，则会从云端拉取最新配置数据，广播到所有采集链路上实现配置拓展的更新。
本发明采集链路中采集工具类型分为三种：外网采集器、中转采集器、Agent采集器，如图1所示。
外网采集器部署在外网环境中，作为最高层级，可汇聚下层中转或Agent采集器数据向云服务器直接发送数据，可从云服务器获取需要更新的配置文件。
中转采集器一般在特定网络的网闸机器上，可单向汇聚下层中转或者Agent采集器数据转发至上层外网或者中转采集器。
Agent采集器作为最低层级，部署在需要采集指标项的机器上，可向上级中转或外网采集器发送数据。
如图2所示，本发明采集器高拓展性的实现方法如下：
101：采集器脚本启动；
102：检查当前客户端采集器的配置文件，根据配置文件中的身份标志判定当前采集器的身份类型；
103：若检测到agent身份标志，则该客户端采集器为agent采集器；
104：通过该客户端采集器的配置项，采集此采集器需要采集的所有资产指标并进行数据清洗、按类型统一各大厂商的json格式；
105：检测配置文件，查看上级采集器身份；
106：若上级采集器为中转采集器，则采用多线程的websocket服务进行通讯，用于支持大量的实时消息连接，websocket连接全部采用长链接模式，可记录每个下级节点的在线情况，若连接断开及时发送离线消息通知上级。实时数据将立即转发至中转采集器；
107：若检测到中转身份标志，则该客户端采集器为中转采集器；
108：通过该客户端采集器的配置项，采集此采集器需要采集的所有资产指标并进行数据清洗、按类型统一各大厂商的json格式；
109：检测配置文件，查看上级采集器身份；
110：若上级采集器为外网采集器，则采用多线程+协程的api服务进行通讯，多线程用于支持大量的请求连接，采用单向api接口的方式可以支持内网跨外网的单向通讯，协程用于多个转发请求处理的处理及心跳定时任务所申请的服务器资源切换利用，减少空闲等待的资源浪费。实时数据将立即转发至外网采集器；
111：若检测到外网身份标志，则该客户端采集器为外网采集器；
112：通过该客户端采集器的配置项，采集此采集器需要采集的所有资产指标并进行数据清洗、按类型统一各大厂商的json格式；
113：所有采集数据与转发数据，将实时发送至服务端。
下面结合具体实施方式详细介绍本技术方案：
本发明是实际用户资产情况：多台linux操作***服务器、多台数据库等；
用户网络情况描述，如图3所示：用户重要服务器均部署于内网环境，其中一台Linux服务器可与外网服务器单向通信，外网服务器能够自由访问公网环境；
具体操作步骤：
（1）Web端配置：用户首先在WEB页面端添加采集器信息，其中包括采集器类型（外网，中转，agent）、采集器所在服务器的IP地址信息，采集器链路关系等，首先添加外网采集器信息，然后添加中转采集器选择相关上级采集器，再分别加添agent采集器选择相关上级采集器；再添加资产信息，必须先添加操作***资产，再添加其他类型的资产，例如windows操作***，Linux操作***、oracle数据库、硬件交换机等，填写资产的IP地址信息，并选择需要绑定的采集器（有代理模式采集资产IP与采集器IP相同），操作***资产仅支持有代理的方式采集，实例中，先添加Linux操作***资产并填写IP选择绑定采集器为外网采集器，然后添加Linux操作***资产填写IP选择绑定中转采集器，然后再依次添加Linux操作***资产并选择相应IP的agent采集器，操作***资产添加结束后，再添加mysql，redis，Elasticsearch等等软件按资产，并选择相应IP的agent采集器；
（2）下载采集器与配置文件：采集器与资产添加完毕以后，集器与采集器配置文件并一一上传至对应服务器常用目录并解压，解压完后生成目录其中包含：Agent采集器程序，中转外网采集器程序，服务启动脚本,服务开机自启动配置脚本（需要开机自启动的可执行该文件）以及相关配置文件；
（3）资产服务器权限设置：如果资产所在服务器启动了防火墙，则需要开放配置文件中的特定的tcp端口与udp端口；
（4）启动外网采集器与中转采集器服务：使用root权限先在外网采集器服务器执行脚本启动服务，再在中转采集器所在服务器的执行脚本启动服务，程序启动后中转采集器就会开始等待所有agent采集器连接，一旦收到agent采集器的连接信息立即发送agent采集器上线信息到外网采集器，再由外网发送到服务端，同理再收到agent采集器断开连接的信息，便上报离线信息。如果agent数量庞大也可以开启多台中转服务进行分担压力，同理外网采集器也可以多台，具体发送链路都通过配置文件控制，为了确保服务端能够知道中转与外网采集器的存活情况，中转会定时发送心跳数据到外网采集器，外网采集器再发送中转采集器与自己的心跳数据到服务端，心跳数据超过一定时间没有上报，服务端便会判定外网和中转采集离线，需要工程师进行查看具体情况；
（5）确保中转与外网采集器启动成功后，启动资产服务器上的agent采集器程序，便开始进行定时资产状态数据采集（采集程序是轻量级工具，占用服务器资源很少，因此也无需担心采集程序会影响服务器正常运行的资产），agent采集器在完成每一轮的信息收集后统一以json格式发送给中转服务器；
（6）用户如果需要采集硬件资产例如交换机、存储设备、服务器部件信息等，采集方式为独立的snmp采集程序定时主动获取，该程序会根据配置文件中的厂商，IP，团体名等信息定时对资产进行snmp主动获取，获取后进行数据清洗与转换，再发送给中转采集器；
（7）中转采集器收到agent采集器发送的消息后进行数据清洗，将数据转换为服务端所需要的数据格式，然后再将数据转发给外网采集器；
（8）外网采集器收到中转采集器发送的数据后，无需再进行处理任何处理操作，直接将数据发送到服务端；
（9）服务端收到数据后进行解析入库操作，用户即可在web端查看资产监控信息，至此一个采集流程的生命周期结束，再等待进行下一个周期。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。
Claims (6)
1.一种可扩展高性能的运维指标项ETL工具的应用方法，所述ETL工具包括外网采集器、中转采集器及Agent采集器；所述外网采集器部署在外网环境中，作为最高层级，可汇聚下层中转采集器或Agent采集器数据向云服务器直接发送数据，可从云服务器获取需要更新的配置文件；所述中转采集器在特定网络的网闸机器上，可单向汇聚下层中转采集器或者Agent采集器数据转发至上层外网或者中转采集器；所述Agent采集器作为最低层级，部署在需要采集指标项的机器上，可向上级中转或外网采集器发送数据；其特征在于：所述应用方法包括如下步骤：
101：采集器脚本启动；
102：检查当前客户端采集器的配置文件，根据配置文件中的身份标志判定当前采集器的身份类型；
103：若检测到agent身份标志，则判断该客户端采集器为agent采集器；
104：通过该客户端采集器的配置项，采集该采集器需要采集的所有资产指标并进行数据清洗、按类型统一各大厂商的json格式；
105：检测配置文件，查看上级采集器身份；
106：若上级采集器为中转采集器，则采用多线程的websocket服务进行通讯，用于支持大量的实时消息连接，websocket连接全部采用长链接模式，可记录每个下级节点的在线情况，若连接断开及时发送离线消息通知上级；实时数据将立即转发至中转采集器；若上级采集器为外网采集器，则采用多线程+协程的api服务进行通讯，多线程用于支持大量的请求连接，采用单向api接口的方式支持内网跨外网的单向通讯，协程用于多个转发请求处理的处理及心跳定时任务所申请的服务器资源切换利用，减少空闲等待的资源浪费，实时数据将立即转发至外网采集器；
107：若检测到中转身份标志，则判断该客户端采集器为中转采集器；
108：通过该客户端采集器的配置项，采集该采集器需要采集的所有资产指标并进行数据清洗、按类型统一各大厂商的json格式；
109：检测配置文件，查看上级采集器身份；
110：若上级采集器为外网采集器，则采用多线程+协程的api服务进行通讯，多线程用于支持大量的请求连接，采用单向api接口的方式支持内网跨外网的单向通讯，协程用于多个转发请求处理的处理及心跳定时任务所申请的服务器资源切换利用，减少空闲等待的资源浪费，实时数据将立即转发至外网采集器；
111：若检测到外网身份标志，则判断该客户端采集器为外网采集器；
112：通过该客户端采集器的配置项，采集该采集器需要采集的所有资产指标并进行数据清洗、按类型统一各大厂商的json格式；
113：所述外网采集器将获取的所有采集数据与转发数据，实时发送至服务端。
2.根据权利要求1所述可扩展高性能的运维指标项ETL工具的应用方法，其特征在于：在101步骤中，具体启动方法如下：
1）、使用root权限先在外网采集器服务器执行脚本启动服务，
2）、再在中转采集器所在服务器的执行脚本启动服务，程序启动后中转采集器就会开始等待所有agent采集器连接，
3）、收到agent采集器的连接信息立即发送agent采集器上线信息到外网采集器，再由外网发送到服务端，同理再收到agent采集器断开连接的信息，便上报离线信息。
3.根据权利要求2所述可扩展高性能的运维指标项ETL工具的应用方法，其特征在于：在101步骤中，若agent数量庞大，则开启多台中转服务进行分担压力，外网采集器也设置多台，具体发送链路都通过配置文件控制，中转会定时发送心跳数据到外网采集器以确保服务端能够知道中转与外网采集器的存活情况，外网采集器再发送中转采集器与自己的心跳数据到服务端，心跳数据超过一定时间没有上报，服务端便会判定外网和中转采集离线。
4.根据权利要求2所述可扩展高性能的运维指标项ETL工具的应用方法，其特征在于：中转与外网采集器启动成功后，启动资产服务器上的agent采集器程序，开始进行定时资产状态数据采集，agent采集器在完成每一轮的信息收集后统一以json格式发送给中转服务器。
5.根据权利要求2所述可扩展高性能的运维指标项ETL工具的应用方法，其特征在于：若用户需要采集硬件资产信息时，采集方式为独立的snmp采集程序定时主动获取，根据配置文件中的厂商，IP，团体名信息定时对资产进行snmp主动获取，获取后进行数据清洗与转换，再发送给中转采集器；中转采集器收到agent采集器发送的消息后进行数据清洗，将数据转换为服务端所需要的数据格式，然后再将数据转发给外网采集器；外网采集器收到中转采集器发送的数据后，无需再进行处理任何处理操作，直接将数据发送到服务端；服务端收到数据后进行解析入库操作，用户即可在web端查看资产监控信息，至此一个采集流程的生命周期结束，再等待进行下一个周期。
6.根据权利要求2所述可扩展高性能的运维指标项ETL工具的应用方法，其特征在于：所述指标项的配置方法为：
先将采集的运维资产按照类型区分，相同类型的资产再按照厂商区分，相同厂商的再按照采集工具区分，由此得到一个三级的配置关系；
按照第三级关系的ID，配置该ID对应的格式化JSON字典，默认采集的数据会根据此字典做格式化统一处理，最后都会输出对应类型的运维资产的统一标准格式数据；
若配置关系存在云端服务器，有格式变化或新厂商对象接入，在云端***中做可视化配置操作，增加修改配置项；
若外网采集工具监听的配置项修改的信号，则会从云端拉取最新配置数据，广播到所有采集链路上实现配置拓展的更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210071545.6A CN114443746B (zh) | 2022-01-21 | 2022-01-21 | 可扩展高性能的运维指标项etl工具及应用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210071545.6A CN114443746B (zh) | 2022-01-21 | 2022-01-21 | 可扩展高性能的运维指标项etl工具及应用方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114443746A CN114443746A (zh) | 2022-05-06 |
| CN114443746B true CN114443746B (zh) | 2024-06-07 |
Family
ID=81367493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210071545.6A Active CN114443746B (zh) | 2022-01-21 | 2022-01-21 | 可扩展高性能的运维指标项etl工具及应用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114443746B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106899470A (zh) * | 2015-12-17 | 2017-06-27 | 南京南瑞继保电气有限公司 | 一种数据采集网络架构及规划方法 |
| CN108540304A (zh) * | 2018-02-12 | 2018-09-14 | 中国神华能源股份有限公司 | 基于工业大数据的远程采集监视***及方法 |
| CN109150809A (zh) * | 2017-06-15 | 2019-01-04 | 上海长城计算机网络工程有限公司 | 一种数据交互分析管理方法 |
| CN110019100A (zh) * | 2017-12-31 | 2019-07-16 | 广州明领基因科技有限公司 | 针对lte网络问题的大数据分析*** |
| CN113722189A (zh) * | 2021-09-16 | 2021-11-30 | 中国船舶重工集团海装风电股份有限公司 | 基于工业互联网的风电多源异构数据采集汇聚*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8738565B2 (en) * | 2005-11-07 | 2014-05-27 | International Business Machines Corporation | Collecting data from data sources |
-
2022
- 2022-01-21 CN CN202210071545.6A patent/CN114443746B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106899470A (zh) * | 2015-12-17 | 2017-06-27 | 南京南瑞继保电气有限公司 | 一种数据采集网络架构及规划方法 |
| CN109150809A (zh) * | 2017-06-15 | 2019-01-04 | 上海长城计算机网络工程有限公司 | 一种数据交互分析管理方法 |
| CN110019100A (zh) * | 2017-12-31 | 2019-07-16 | 广州明领基因科技有限公司 | 针对lte网络问题的大数据分析*** |
| CN108540304A (zh) * | 2018-02-12 | 2018-09-14 | 中国神华能源股份有限公司 | 基于工业大数据的远程采集监视***及方法 |
| CN113722189A (zh) * | 2021-09-16 | 2021-11-30 | 中国船舶重工集团海装风电股份有限公司 | 基于工业互联网的风电多源异构数据采集汇聚*** |
Non-Patent Citations (1)
| Title |
|---|
| 李晓娟.中国优秀博硕士学位论文全文数据库 (硕士).(第01期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114443746A (zh) | 2022-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6343320B1 (en) | Automatic state consolidation for network participating devices | |
| CN111163002A (zh) | 一种基于容器的边缘网关***和能源数据处理方法 | |
| CN109831318A (zh) | 一种获取网络拓扑的***、方法和服务器 | |
| CN112118174B (zh) | 软件定义数据网关 | |
| CN112925646A (zh) | 一种电力数据边缘计算***以及计算方法 | |
| CN110752943A (zh) | 一种输电线路分布式故障诊断***及方法 | |
| CN112804362B (zh) | 分散数据微服务自动化运维体系 | |
| CN111064591B (zh) | 数据汇聚方法、装置、设备、存储介质和*** | |
| CN112838940A (zh) | 一种网络控制器框架和数据处理方法 | |
| CN112769602A (zh) | 一种白盒交换机统一配置管理***、方法和网络操作*** | |
| CN117194156A (zh) | 一种多云平台的统一监控运维管理方法及*** | |
| CN115865680A (zh) | 分布式的设备接入、控制和数据传输的方法及***、装置 | |
| CN114443746B (zh) | 可扩展高性能的运维指标项etl工具及应用方法 | |
| CN112260902B (zh) | 网络设备监控方法、装置、设备及存储介质 | |
| CN113542363A (zh) | 一种基于自定义设备协议库及大数据架构的云平台 | |
| CN112333758B (zh) | 电视网关***的稳定性监测管理方法、***及应用 | |
| CN112417050A (zh) | 数据同步方法和装置、***、存储介质及电子装置 | |
| US11921602B2 (en) | Edge-based data collection system for an observability pipeline system | |
| CN113824801B (zh) | 一种智能融合终端统一接入管理组件*** | |
| CN110677303A (zh) | 网络管理*** | |
| CN114124646A (zh) | 一种WebSocket方式的综合网络管理***及方法 | |
| CN113965608A (zh) | 一种数控设备数据收集及指令下发*** | |
| CN103051492B (zh) | 测试dsl接入设备性能的方法、***及dsl接入设备 | |
| CN116795651B (zh) | 一种反馈式地理空间数据服务质量日志一致性维护方法 | |
| EP2533153B1 (en) | Unit for managing messages indicating event situations of monitored objects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |