CN112559615A - 一种机房资产数据采集*** - Google Patents
一种机房资产数据采集*** Download PDFInfo
- Publication number
- CN112559615A CN112559615A CN202011507182.3A CN202011507182A CN112559615A CN 112559615 A CN112559615 A CN 112559615A CN 202011507182 A CN202011507182 A CN 202011507182A CN 112559615 A CN112559615 A CN 112559615A
- Authority
- CN
- China
- Prior art keywords
- data
- information exchange
- service system
- machine room
- exchange platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000013075 data extraction Methods 0.000 claims abstract description 5
- 238000012502 risk assessment Methods 0.000 claims description 15
- 238000004886 process control Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000013480 data collection Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 abstract description 3
- 238000007726 management method Methods 0.000 description 20
- 238000012550 audit Methods 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 230000002265 prevention Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3068—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data format conversion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0272—Virtual private networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种机房资产数据采集***，属于机房资产管理技术领域，包括信息交换平台和***接入单元，通过所述***接入单元接入源业务***和目标业务***，通过所述信息交换平台实现源业务***和目标业务***的数据访问；所述信息交换平台包括数据交换服务器和集中数据库，其中所述数据交换服务器包括任务调度和流程控制，所述流程控制包括数据抽取单元、数据处理单元和数据加载单元，通过将源业务***中的数据进行抽取、转换处理以及加载保存在所述集中数据库中。通过信息交换平台作为两个外部***的数据中转点，根据数据交换服务器可将数据转换为统一格式，使得目标业务***可高效、方便的获取和使用不同***的数据。
Description
技术领域
本发明涉及机房资产管理技术领域，特别涉及一种机房资产数据采集***。
背景技术
机房内部的资产设备较多，且每个设备都有共同***来支撑资产设备的运行，因此缺少统一的管理，机房中每个资产设备自身的***需要连接到后台的管理***中，保证管理***可以获取到资产设备的使用数据，从而进行监管，但是传统的管理***采用直接与资产设备连接的方式，这样不仅成本较高，而且也不方便维护管理，在实际使用过程中，有的资产设备并不开放物理的数据共享接口，导致数据获取困难，并且每家资产设备的数据无法保证统一的格式，从而导致数据采集面窄、采集效率低下，对于不同资产设备数据库中的数据不能联合使用，从而不利于资产管理***的数据采集。
发明内容
本发明的目的就在于为了解决上述机房资产设备管理***采集机房资产设备数据不方便、效率低且采集面窄以及数据使用不方便的问题而提供一种机房资产数据采集***，具有设置信息交换平台作为数据中转点，方便不同格式的数据采集，可接入机房中不同资产设备的***，数据采集更加广泛高效，可联合使用查询不同数据库中的数据的优点。
本发明通过以下技术方案来实现上述目的，一种机房资产数据采集***，包括信息交换平台和***接入单元，通过所述***接入单元接入源业务***和目标业务***，通过所述信息交换平台实现源业务***和目标业务***的数据访问；
所述信息交换平台包括数据交换服务器和集中数据库，其中所述数据交换服务器包括任务调度和流程控制，所述流程控制包括数据抽取单元、数据处理单元和数据加载单元，通过将源业务***中的数据进行抽取、转换处理以及加载保存在所述集中数据库中，所述集中数据库用来存储所述数据交换服务器交换的数据，所述任务调度用于调度所述流程控制的各个单元。
优选的，所述数据交换服务器还连接有数据缓存和元数据库，所述元数据库用于保存用户设定的交换规则，数据交换服务器通过数据缓存调用元数据库中的交换规则进行任务执行。
优选的，所述数据处理单元包括数据转换和数据聚合，通过数据转换将不同格式的数据转换为可被目标业务***识别的统一格式的数据，通过数据聚合将不同源业务******的数据进行汇总处理。
优选的，所述***接入单元包括直接连接、互联网VPN连接和网闸连接。
优选的，所述***接入单元还连接有风险分析管理，包括接入终端安全风险分析、链路安全风险分析、网络安全风险分析和应用安全风险分析。
优选的，所述信息交换平台连接交换监控管理，包括监控***运行日志、数据交换日志和错误日志。
优选的，所述信息交换平台连接***配置管理，包括***配置、***负载配置、权限配置和用户配置。
优选的，所述信息交换平台连接数据统计管理，包括数据备份、日志查询和分析、数据安全管理。
与现有技术相比，本发明的有益效果是：
1、通过信息交换平台作为两个外部***的数据中转点，根据数据交换服务器可将数据转换为统一格式，使得目标业务***可高效、方便的获取和使用不同***的数据，通过该信息交换平台在机房***数量增加时，也不会影响整个***的使用，扩展性更佳，保证充分采集到机房中的资产数据，也更加方便管理。
2、通过***接入单元可满足不同***的接入，使用起来更加方便，并且数据交换服务器内部的数据抽取单元，还可以保证目标业务***能够对不同数据库中的数据联合查询。
附图说明
图1为本发明的整体***示意图。
图2为本发明的信息交换平台内部模块连接示意图。
图3为本发明的流程控制原理示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1所示，一种机房资产数据采集***，包括信息交换平台和***接入单元，通过所述***接入单元接入源业务***和目标业务***，通过所述信息交换平台实现源业务***和目标业务***的数据访问，通过信息交换平台作为中转点，机房资产设备的可通过***接入单元连接到该信息交换平台上，通过信息交换平台将不同格式的数据统一交换为相同格式，方便目标业务***的使用。
所述***接入单元包括直接连接、互联网VPN连接和网闸连接，接入对象和信息交换平台都部署在内网，通过内网可以直接访问信息交换平台，因此可采用直接连接的方式；接入对象部署在私有网络，和信息交换平台的内网不能直接访问，但接入对象所在的私有网络可以访问互联网，通过集体授权的VPN进入信息交换平台的内网，通过VPN可以直接访问信息交换平台；接入对象部署在私有网络，和信息交换平台的内网不能直接访问，接入对象所在的私有网络不能访问互联网，则通过数据文件进行中转，把数据文件通过VPN上传到信息交换平台的的前置服务器，由信息交换平台自动从前置服务器交换约定规则的数据文件。
所述***接入单元还连接有风险分析管理，包括接入终端安全风险分析、链路安全风险分析、网络安全风险分析和应用安全风险分析。针对接入终端的风险，需要对接入终端采取令牌访问控制、身份标识和鉴别、抗抵赖、终端安全加固和监控等安全措施；针对链路上的风险，需要对接入方进行VPN访问控制和令牌访问控制、身份标识和鉴别、访问控制以及信息流控制，对传输的数据进行机密性和完整性保护，以及链路安全审计等措施；针对网络安全风险，采取结构安全与网段划分、网络访问控制、网络安全审计、网络入侵防范等安全措施；针对应用安全风险采取恶意代码防范、主机身份鉴别、主机访问控制、主机安全审计、主机***安全加固、应用安全审计、信息流控制及抗抵赖等安全措施。
所述信息交换平台连接交换监控管理，包括监控***运行日志、数据交换日志和错误日志。监控***运行日志包括***运行时的状态：CUP、内存的使用情况，网络IO、磁盘IO的数据统计等，在进行任务调度时，产生任务运行的情况：任务启动的时间、执行任务消耗的时间、任务退出的状态等，***运行日志对于分析性能瓶颈十分有用；交换日志是每个交换流程在运行中的状态，包括读取的每一条记录和发送出去的每一条记录，以及每一条记录在交换流程中每个节点的状态和数据内容，记录了所有交换的所有操作，以保证对***的修改有据可查；错误日志包括交换***在运行中抛出的所有异常。
所述信息交换平台连接***配置管理，包括***配置、***负载配置、权限配置和用户配置，所述信息交换平台连接数据统计管理，包括数据备份、日志查询和分析、数据安全管理，***配置管理和数据统计管理均起到对信息交换平台运行的支撑作用。
如图2所示，所述信息交换平台包括数据交换服务器和集中数据库，其中所述数据交换服务器包括任务调度和流程控制，所述流程控制包括数据抽取单元、数据处理单元和数据加载单元，通过将源业务***中的数据进行抽取、转换处理以及加载保存在所述集中数据库中，所述集中数据库用来存储所述数据交换服务器交换的数据，所述任务调度用于调度所述流程控制的各个单元。流程控制在运行时如图3所示，分别从两个数据源提取数据,其中数据1是数据库，数据2是文本文件；通过两个数据管道传递给下一个连接节点，连接节点按照事先设计的连接条件，将两个管道中的数据进行横向合并；传递给下一个清洗节点，清洗节点负责对传入的数据进行清洗；清洗之后的数据被发送到转换节点，对数据格式和内容进行转换和影射；转换后的数据被分发到加载节点及聚合节点，聚合后的汇总数据也被传送到加载节点；加载节点负责将最终产生的明细数据和汇总数据保存到集中数据库中，从而方便目标业务***的调用和查询。
所述数据交换服务器还连接有数据缓存和元数据库，所述元数据库用于保存用户设定的交换规则，数据交换服务器通过数据缓存调用元数据库中的交换规则进行任务执行，所述数据处理单元包括数据转换和数据聚合，通过数据转换将不同格式的数据转换为可被目标业务***识别的统一格式的数据，通过数据聚合将不同源业务******的数据进行汇总处理。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (8)
1.一种机房资产数据采集***，其特征在于，包括信息交换平台和***接入单元，通过所述***接入单元接入源业务***和目标业务***，通过所述信息交换平台实现源业务***和目标业务***的数据访问；
所述信息交换平台包括数据交换服务器和集中数据库，其中所述数据交换服务器包括任务调度和流程控制，所述流程控制包括数据抽取单元、数据处理单元和数据加载单元，通过将源业务***中的数据进行抽取、转换处理以及加载保存在所述集中数据库中，所述集中数据库用来存储所述数据交换服务器交换的数据，所述任务调度用于调度所述流程控制的各个单元。
2.根据权利要求1所述的一种机房资产数据采集***，其特征在于，所述数据交换服务器还连接有数据缓存和元数据库，所述元数据库用于保存用户设定的交换规则，数据交换服务器通过数据缓存调用元数据库中的交换规则进行任务执行。
3.根据权利要求1所述的一种机房资产数据采集***，其特征在于，所述数据处理单元包括数据转换和数据聚合，通过数据转换将不同格式的数据转换为可被目标业务***识别的统一格式的数据，通过数据聚合将不同源业务******的数据进行汇总处理。
4.根据权利要求1所述的一种机房资产数据采集***，其特征在于，所述***接入单元包括直接连接、互联网VPN连接和网闸连接。
5.根据权利要求4所述的一种机房资产数据采集***，其特征在于，所述***接入单元还连接有风险分析管理，包括接入终端安全风险分析、链路安全风险分析、网络安全风险分析和应用安全风险分析。
6.根据权利要求1所述的一种机房资产数据采集***，其特征在于，所述信息交换平台连接交换监控管理，包括监控***运行日志、数据交换日志和错误日志。
7.根据权利要求1所述的一种机房资产数据采集***，其特征在于，所述信息交换平台连接***配置管理，包括***配置、***负载配置、权限配置和用户配置。
8.根据权利要求1所述的一种机房资产数据采集***，其特征在于，所述信息交换平台连接数据统计管理，包括数据备份、日志查询和分析、数据安全管理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011507182.3A CN112559615A (zh) | 2020-12-18 | 2020-12-18 | 一种机房资产数据采集*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011507182.3A CN112559615A (zh) | 2020-12-18 | 2020-12-18 | 一种机房资产数据采集*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112559615A true CN112559615A (zh) | 2021-03-26 |
Family
ID=75031694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011507182.3A Pending CN112559615A (zh) | 2020-12-18 | 2020-12-18 | 一种机房资产数据采集*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112559615A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113626513A (zh) * | 2021-09-01 | 2021-11-09 | 浙江力石科技股份有限公司 | 文旅资源采集方法和*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103139251A (zh) * | 2011-11-29 | 2013-06-05 | 神州数码信息***有限公司 | 一种城市级数据共享交换平台技术的方法 |
| CN105225190A (zh) * | 2015-09-30 | 2016-01-06 | 上海安技智能科技股份有限公司 | 一种仓储物流大数据共享平台 |
| CN107992552A (zh) * | 2017-11-28 | 2018-05-04 | 南京莱斯信息技术股份有限公司 | 一种数据交换平台及数据交换方法 |
| WO2020215907A1 (zh) * | 2019-04-23 | 2020-10-29 | 北京海益同展信息科技有限公司 | 机房巡检*** |
-
2020
- 2020-12-18 CN CN202011507182.3A patent/CN112559615A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103139251A (zh) * | 2011-11-29 | 2013-06-05 | 神州数码信息***有限公司 | 一种城市级数据共享交换平台技术的方法 |
| CN105225190A (zh) * | 2015-09-30 | 2016-01-06 | 上海安技智能科技股份有限公司 | 一种仓储物流大数据共享平台 |
| CN107992552A (zh) * | 2017-11-28 | 2018-05-04 | 南京莱斯信息技术股份有限公司 | 一种数据交换平台及数据交换方法 |
| WO2020215907A1 (zh) * | 2019-04-23 | 2020-10-29 | 北京海益同展信息科技有限公司 | 机房巡检*** |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113626513A (zh) * | 2021-09-01 | 2021-11-09 | 浙江力石科技股份有限公司 | 文旅资源采集方法和*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103152352B (zh) | 一种基于云计算环境的全信息安全取证监听方法和*** | |
| CN112767058A (zh) | AIOT DaaS数字孪生云平台 | |
| CN108459939A (zh) | 一种日志收集方法、装置、终端设备及存储介质 | |
| CN106503927A (zh) | 一种石化工程设备监理信息管理*** | |
| CN107169687B (zh) | 一种智慧园区服务*** | |
| CN106951552A (zh) | 一种基于Hadoop的用户行为数据处理方法 | |
| CN102651775A (zh) | 基于云计算的多租户共享对象管理的方法、设备及*** | |
| CN110222498A (zh) | 一种基于移动互联云的督办管理***及方法 | |
| CN112307501B (zh) | 基于区块链技术的大数据***及存储方法和使用方法 | |
| CN111768309A (zh) | 基于区块链和边缘计算的轨道交通装备制造资源整合***及方法 | |
| Sanjappa et al. | Analysis of logs by using logstash | |
| CN111597173A (zh) | 一种数据仓库*** | |
| CN112532718A (zh) | 基于区块链的海上装备数据共享***、方法和介质 | |
| CN103124226A (zh) | 一种家庭宽带上网监控***及方法 | |
| CN109543459A (zh) | 一种数据存证方法及设备 | |
| CN112527873A (zh) | 一种基于链数立方体的大数据管理应用*** | |
| CN111538720B (zh) | 电力行业基础数据清理的方法及*** | |
| Lvping | Blockchain technology for management of intangible cultural heritage | |
| CN112559615A (zh) | 一种机房资产数据采集*** | |
| CN112511515B (zh) | 一种用于数据上链的链数立方体 | |
| CN104850983A (zh) | 构建基于信息实时控制管理的办公自动化***的方法 | |
| CN113886061A (zh) | 一种工业物联网运维平台 | |
| Linoy et al. | Towards eidetic blockchain systems with enhanced provenance | |
| CN102456045A (zh) | 数据库集群加密方法和*** | |
| CN113537990A (zh) | 一种基于区块链的国有房屋资产管理*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |