CN111104441A - 一种数据采集方法及*** - Google Patents
一种数据采集方法及*** Download PDFInfo
- Publication number
- CN111104441A CN111104441A CN201811264540.5A CN201811264540A CN111104441A CN 111104441 A CN111104441 A CN 111104441A CN 201811264540 A CN201811264540 A CN 201811264540A CN 111104441 A CN111104441 A CN 111104441A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- relational database
- mode
- data acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims description 63
- 238000012544 monitoring process Methods 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 12
- 238000013480 data collection Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims description 2
- 238000013501 data transformation Methods 0.000 claims 1
- 238000007726 management method Methods 0.000 description 6
- 238000007418 data mining Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据采集方法及***，所述数据类型的不同选取不同的数据采集策略，使得任务模板化，构建了标准化体系，打通了关系数据库、非关系数据库、分布式存储、并行数据库、文本文件存储等不同存储类型的数据采集边界，实现统一的采集任务配置、调度和管控流程。
Description
技术领域
本发明属于电力***的数据处理技术，具体涉及一种分布式电力***的混合组织方式的数据采集方法及***。
背景技术
信息技术的飞速发展导致数据规模极大增加，数据来源及类型丰富多样，越来越多的行业和***需要处理传统关系型数据库、非关系型数据库、分布式文件***、NoSQL数据库、MPP(大规模并行)数据库。多源异构数据的采集问题亟待解决。
海量数据的采集数据来源广，包括批量采集，实时数据采集，流式数据采集；数据量巨大，通常都达到TB/PB级别；数据处理的性能和实时性要求高。传统的数据采集技术，因为数据来源比较单一，主要是数据库和文件方式进行存储，且数据量较小，大多采用比较单一的工具甚至程序脚本就可以完成数据采集工作，而大数据不仅数据量巨大，而且数据来源丰富，包括批量日志数据、实时数据、流式数据等，同时数据类型多样，包括结构化数据、半结构化数据和非结构化数据等。传统的并行数据库追求高度一致性和容错性，根据CAP理论，难以同时保证其可用性、扩展性和高性能，并不能够直接应用于大数据处理中。
在现有的工业监控***中，相关数据通常存储在传统的关系数据库中，例如MSSQL，Oracle或Mysql。这些关系数据库擅长处理具有复杂逻辑关系的数据的存储和访问。基于最小冗余原则，这些具有复杂逻辑关系的数据以逻辑组合的方式存储在表中；当访问数据并执行复杂的数据分析时，可能需要对多个表进行关系查询。
并且，随着电力***规模和复杂程度的提高，应用程序在深层次变得更加需求化，需要将大量数据添加到数据库中，由上层应用程序提取并用于数据挖掘，科学计算以及报告和图像的生成等。将这些庞大的数据量一次存储在不同的关系数据库报告表单中是非常耗时的，并且从不同的关系数据库中提取这些数据并不容易报告表格。不同部门的信息***彼此分离，导致数据孤岛从企业的中心角度分散到整个组织。尽管收集和存储大量数据，但可从中提取的有用和有价值的信息仍然有限。
传统的集中采集和存储数据的处理方法，已经不能适应大数据的需求。目前，已经出现了一些工业生产的实时数据库***，如Wonderware公司的工业SQL，OS1soft公司的PL等。但是，这些实时数据库***对于一些中小型企业来说太昂贵了。
因此，需求一种数据采集和存储的方法，以适应大数据时代的需求。
发明内容
为了克服传统数据采集技术在面对海量多源异构数据时的技术瓶颈，本发明提出了一种数据采集方法，包括以下步骤：
驱动步骤，使用至少两个驱动模块实现，所述至少两个驱动模块与至少分布式两个电力设备***中的每一个相对应，控制所述至少两个电力设备***中的对应的一个，
监听步骤，监听至少两个电力设备***中的数据流，
判断步骤，判断所述数据流的当前数据类型，
选取步骤，根据所述数据类型的不同选取不同的数据采集策略，
数据采集步骤，根据选取的数据采集策略，对至少两个电力***设备进行数据采集，
业务处理步骤，用于根据业务处理需求，对采集的数据进行相应的业务处理，并根据呈现步骤的展示需求，提供处理结果，
呈现步骤，用于根据需求展示对应的业务处理步骤的处理结果。
其中，所述电力设备***中的数据使用非关系数据库和关系数据库以混合方式进行组织。
其中，数据采集步骤具体包括：
数据共享步骤，确定需要采集数据的路由地址，
数据寻址步骤，用于提取路由地址对应的数据，
数据调度步骤，用于指示数据寻址步骤提取相应的数据。
以及一种数据采集***，包括：
至少两个驱动模块，所述至少两个驱动模块与至少两个分布式电力设备***中的每一个相对应，用于控制所述至少两个电力设备***中的对应的一个，
监听模块，用于监听至少两个电力设备***中的数据流，
判断模块，用于判断所述数据流的当前数据类型，
选取模块，用于根据所述数据类型的不同选取不同的数据采集策略，
数据采集模块，用于根据选取的数据采集策略，对至少两个电力设备***进行数据采集，
业务处理模块，用于根据业务处理需求，对采集的数据进行相应的业务处理，并根据呈现步骤的展示需求，提供处理结果，
呈现模块，用于根据需求展示对应的业务处理模块的处理结果。
其中，所述电力设备***中的数据使用非关系数据库和关系数据库以混合方式进行组织，
其中，数据采集步骤具体包括：
数据共享模块，位于分布式数据库节点上，用于确定需要采集数据的路由地址，
数据寻址模块，用于提取路由地址对应的数据，
数据调度模块，用于指示数据寻址步骤提取相应的数据。
本发明的有益效果包括：首先，提高了电网数据的管理和使用水平，将电力行业分散的数据资源进行整合优化，降低各电力部门管理成本和各类应用开发运营复杂度，加快业务应用***落地速度和随需而变的速度，提高了业务应用***的可靠性和性能；其次，采集任务模板化，构建了标准化体系，打通了关系数据库、非关系数据库、分布式存储、并行数据库、文本文件存储等不同存储类型的数据采集边界，实现统一的采集任务配置、调度和管控流程；采用多种数据采集安全机制，保证数据采集的完整性和正确性；并且，由于包括驱动模块，数据共享模块，数据寻址模块，数据调度模块，业务处理模块和呈现模块，且数据使用非关系数据库和关系数据库以混合方式来组织，所以本发明的方法或***可以实现实时存储，共享，数据挖掘，大数据量搜索等处理，提高数据查询效率；最后，本发明的方法或***处于分布式即时处理环境，由于在存储不同种类的数据时，非关系数据库和关系数据库都有各自的优势，将数据以混合方式来组织可以最优化数据存储，尤其是在采集数据前又实时处理从非关系数据库发送的数据流并写入到关系数据库中，极大地提高了数据采集效率，以应对大量数据的处理，从而大幅降低建设成本。
附图说明
图1本发明的方法流程图；
图2本发明的***框架图。
具体实施方式
为了更好地理解本发明，下面结合附图参考实施例的描述，对本发明的方法和***进行进一步的说明。
为了全面理解本发明，在以下详细描述中提到了众多具体细节。但是本领域技术人员应该理解，本发明可以无需这些具体细节而实现。在实施例中，不详细描述公知的方法、过程、组件，以免不必要地使实施例繁琐。
参见图1所示，本发明提供了一种数据采集方法，包括以下步骤：
驱动步骤，使用至少两个驱动模块实现，所述至少两个驱动模块与至少分布式两个电力设备***中的每一个相对应，控制所述至少两个电力设备***中的对应的一个，
监听步骤，监听至少两个电力设备***中的数据流，
判断步骤，判断所述数据流的当前数据类型，
选取步骤，根据所述数据类型的不同选取不同的数据采集策略，
数据采集步骤，根据选取的数据采集策略，对至少两个电力***设备进行数据采集，
业务处理步骤，用于根据业务处理需求，对采集的数据进行相应的业务处理，并根据呈现步骤的展示需求，提供处理结果，
呈现步骤，用于根据需求展示对应的业务处理步骤的处理结果。
其中，所述电力设备***中的数据使用非关系数据库和关系数据库以混合方式进行组织。
其中，数据采集步骤具体包括：
数据共享步骤，确定需要采集数据的路由地址，
数据寻址步骤，用于提取路由地址对应的数据，
数据调度步骤，用于指示数据寻址步骤提取相应的数据。
优选地，其中，所述数据采集策略包括：
数据库采集策略，用于采集关系型数据，将数据备份至备份库后，生成数据文件，从备份库采集关系型数据文件；
文件采集策略，用于采集文件型数据，监听服务器的文件目录，定时从所述文件目录采集文件型数据文件；
***数据采集策略，用于采集***产生的实时数据，监听数据流，从所述数据流中直接采集***数据文件。
优选地，其中，所述方法进一步包括数据采集步骤之前的数据转换步骤，实时处理从非关系数据库发送的多个连续生成的数据流，并将从实时处理得到的输出写入到关系数据库，
所述数据转换步骤具体包括：
识别步骤，基于所述非关系数据库连接到的端口来识别从所述非关系数据库传输的数据的类别，
模式设置步骤，根据所述端口设置传输所述数据为同步或异步的通信模式，检索步骤，基于主索引顺序地检索每个增量数据记录，
模式转换步骤，检查并确定非关系数据库的数据模式是否与关系数据库的数据模式一致，如果一致，则非关系数据库的数据模式不需要转换；否则，非关系数据库的数据模式将被转换为关系数据库的数据模式，
写入步骤，通过与通信模式相对应的方式将数据写入数据，根据所述模式转换模块检查的结果，将模式转换或不转换到关系数据库中，
其中，如果通信模式是异步的，则当存储器中的数据满足预定状态时，无论模式是否转换，都将数据缓存到存储器中并且随后基于批处理将数据写入到关系数据库中。
优选地，其中，在所述数据寻址步骤、数据调度步骤、呈现步骤、数据转换步骤中的至少一个步骤处理中使用云处理。
本发明还提供一种数据采集***，包括：
至少两个驱动模块，所述至少两个驱动模块与至少两个分布式电力设备***中的每一个相对应，用于控制所述至少两个电力设备***中的对应的一个，
监听模块，用于监听至少两个电力设备***中的数据流，
判断模块，用于判断所述数据流的当前数据类型，
选取模块，用于根据所述数据类型的不同选取不同的数据采集策略，
数据采集模块，用于根据选取的数据采集策略，对至少两个电力设备***进行数据采集，
业务处理模块，用于根据业务处理需求，对采集的数据进行相应的业务处理，并根据呈现步骤的展示需求，提供处理结果，
呈现模块，用于根据需求展示对应的业务处理模块的处理结果。
其中，所述电力设备***中的数据使用非关系数据库和关系数据库以混合方式进行组织，
其中，数据采集步骤具体包括：
数据共享模块，位于分布式数据库节点上，用于确定需要采集数据的路由地址，
数据寻址模块，用于提取路由地址对应的数据，
数据调度模块，用于指示数据寻址步骤提取相应的数据。
优选地，其中，所述数据采集模块进一步包括：
数据库采集策略模块，用于采集关系型数据，将数据备份至备份库后，生成数据文件，从备份库采集关系型数据文件；
文件采集策略模块，用于采集文件型数据，监听服务器的文件目录，定时从所述文件目录采集文件型数据文件；
***数据采集策略模块，用于采集***产生的实时数据，从所述数据流中直接采集***数据文件。
优选地，其中，所述***进一步包括数据转换模块，用于数据采集之前，实时处理从非关系数据库发送的多个连续生成的数据流，并将从实时处理得到的输出写入到关系数据库，
所述数据转换模块具体包括：
识别模块，用于基于所述非关系数据库连接到的端口来识别从所述非关系数据库传输的数据的类别，
模式设置模块，用于根据所述端口设置传输所述数据为同步或异步的通信模式，
检索模块，用于基于主索引顺序地检索每个增量数据记录，
模式转换模块，用于检查并确定非关系数据库的数据模式是否与关系数据库的数据模式一致，如果一致，则非关系数据库的数据模式不需要转换；否则，非关系数据库的数据模式将被转换为关系数据库的数据模式，
写入模块，用于通过与通信模式相对应的方式将数据写入数据，根据所述模式转换模块检查的结果，将模式转换或不转换到关系数据库中，
其中，如果通信模式是异步的，则当存储器中的数据满足预定状态时，无论模式是否转换，都将数据缓存到存储器中并且随后基于批处理将数据写入到关系数据库中。
优选地，其中，所述数据寻址模块、数据调度模块、呈现模块、数据转换模块的至少一个模块在处理中使用云处理。
本发明与现有技术相比，其显著优点为：首先，提高了电网数据的管理和使用水平，将电力行业分散的数据资源进行整合优化，降低各电力部门管理成本和各类应用开发运营复杂度，加快业务应用***落地速度和随需而变的速度，提高了业务应用***的可靠性和性能；其次，采集任务模板化，构建了标准化体系，打通了关系数据库、非关系数据库、分布式存储、并行数据库、文本文件存储等不同存储类型的数据采集边界，实现统一的采集任务配置、调度和管控流程；采用多种数据采集安全机制，保证数据采集的完整性和正确性；并且，由于包括驱动模块，数据共享模块，数据寻址模块，数据调度模块，业务处理模块和呈现模块，且数据使用非关系数据库和关系数据库以混合方式来组织，所以本发明的方法或***可以实现实时存储，共享，数据挖掘，大数据量搜索等处理，提高数据查询效率；最后，本发明的方法或***处于分布式即时处理环境，由于在存储不同种类的数据时，非关系数据库和关系数据库都有各自的优势，将数据以混合方式来组织可以最优化数据存储，尤其是在采集数据前又实时处理从非关系数据库发送的数据流并写入到关系数据库中，极大地提高了数据采集效率，以应对大量数据的处理，从而大幅降低建设成本。
这里只说明了本发明的优选实施例，但其意并非限制本发明的范围、适用性和配置。相反，对实施例的详细说明可使本领域技术人员得以实施。应能理解，在不偏离所附权利要求书确定的本发明精神和范围情况下，可对一些细节做适当变更和修改。
Claims (8)
1.一种数据采集方法，其特征在于，包括以下步骤：
驱动步骤，使用至少两个驱动模块实现，所述至少两个驱动模块与至少分布式两个电力设备***中的每一个相对应，控制所述至少两个电力设备***中的对应的一个，
监听步骤，监听至少两个电力设备***中的数据流，
判断步骤，判断所述数据流的当前数据类型，
选取步骤，根据所述数据类型的不同选取不同的数据采集策略，
数据采集步骤，根据选取的数据采集策略，对至少两个电力***设备进行数据采集，
业务处理步骤，用于根据业务处理需求，对采集的数据进行相应的业务处理，并根据呈现步骤的展示需求，提供处理结果，
呈现步骤，用于根据需求展示对应的业务处理步骤的处理结果。
其中，所述电力设备***中的数据使用非关系数据库和关系数据库以混合方式进行组织。
其中，数据采集步骤具体包括：
数据共享步骤，确定需要采集数据的路由地址，
数据寻址步骤，提取路由地址对应的数据，
数据调度步骤，指示数据寻址步骤提取相应的数据。
2.根据权利要求1所述的一种数据采集方法，其中，所述数据采集策略包括：
数据库采集策略，用于采集关系型数据，将数据备份至备份库后，生成数据文件，从备份库采集关系型数据文件；
文件采集策略，用于采集文件型数据，监听服务器的文件目录，定时从所述文件目录采集文件型数据文件；
***数据采集策略，用于采集***产生的实时数据，监听数据流，从所述数据流中直接采集***数据文件。
3.根据权利要求1或2所述的一种数据采集方法，其中，所述方法进一步包括数据采集步骤之前的数据转换步骤，实时处理从非关系数据库发送的多个连续生成的数据流，并将从实时处理得到的输出写入到关系数据库，
所述数据转换步骤具体包括：
识别步骤，基于所述非关系数据库连接到的端口来识别从所述非关系数据库传输的数据的类别，
模式设置步骤，根据所述端口设置传输所述数据为同步或异步的通信模式，
检索步骤，基于主索引顺序地检索每个增量数据记录，
模式转换步骤，检查并确定非关系数据库的数据模式是否与关系数据库的数据模式一致，如果一致，则非关系数据库的数据模式不需要转换；否则，非关系数据库的数据模式将被转换为关系数据库的数据模式，
写入步骤，通过与通信模式相对应的方式将数据写入数据，根据所述模式转换模块检查的结果，将模式转换或不转换到关系数据库中，
其中，如果通信模式是异步的，则当存储器中的数据满足预定状态时，无论模式是否转换，都将数据缓存到存储器中并且随后基于批处理将数据写入到关系数据库中。
4.根据权利要求3所述的一种数据采集方法，其中，在所述数据寻址步骤、数据调度步骤、呈现步骤、数据转换步骤中的至少一个步骤处理中使用云处理。
5.一种数据采集***，其特征在于，包括：
至少两个驱动模块，所述至少两个驱动模块与至少两个分布式电力设备***中的每一个相对应，用于控制所述至少两个电力设备***中的对应的一个，
监听模块，用于监听至少两个电力设备***中的数据流，
判断模块，用于判断所述数据流的当前数据类型，
选取模块，用于根据所述数据类型的不同选取不同的数据采集策略，
数据采集模块，用于根据选取的数据采集策略，对至少两个电力设备***进行数据采集，
业务处理模块，用于根据业务处理需求，对采集的数据进行相应的业务处理，并根据呈现步骤的展示需求，提供处理结果，
呈现模块，用于根据需求展示对应的业务处理模块的处理结果。
其中，所述电力设备***中的数据使用非关系数据库和关系数据库以混合方式进行组织，
其中，数据采集模块具体包括：
数据共享模块，位于分布式数据库节点上，用于确定需要采集数据的路由地址，
数据寻址模块，用于提取路由地址对应的数据，
数据调度模块，用于指示数据寻址步骤提取相应的数据。
6.根据权利要求5所述的一种数据采集***，其中，所述数据采集模块进一步包括：
数据库采集策略模块，用于采集关系型数据，将数据备份至备份库后，生成数据文件，从备份库采集关系型数据文件；
文件采集策略模块，用于采集文件型数据，监听服务器的文件目录，定时从所述文件目录采集文件型数据文件；
***数据采集策略模块，用于采集***产生的实时数据，从所述数据流中直接采集***数据文件。
7.根据权利要求5或6所述的一种数据采集***，其中，所述***进一步包括数据转换模块，用于数据采集之前，实时处理从非关系数据库发送的多个连续生成的数据流，并将从实时处理得到的输出写入到关系数据库，
所述数据转换模块具体包括：
识别模块，用于基于所述非关系数据库连接到的端口来识别从所述非关系数据库传输的数据的类别，
模式设置模块，用于根据所述端口设置传输所述数据为同步或异步的通信模式，
检索模块，用于基于主索引顺序地检索每个增量数据记录，
模式转换模块，用于检查并确定非关系数据库的数据模式是否与关系数据库的数据模式一致，如果一致，则非关系数据库的数据模式不需要转换；否则，非关系数据库的数据模式将被转换为关系数据库的数据模式，
写入模块，用于通过与通信模式相对应的方式将数据写入数据，根据所述模式转换模块检查的结果，将模式转换或不转换到关系数据库中，
其中，如果通信模式是异步的，则当存储器中的数据满足预定状态时，无论模式是否转换，都将数据缓存到存储器中并且随后基于批处理将数据写入到关系数据库中。
8.根据权利要求7所述的一种基于大数据技术框架的数据采集***，其中，所述数据寻址模块、数据调度模块、呈现模块、数据转换模块的至少一个模块在处理中使用云处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811264540.5A CN111104441A (zh) | 2018-10-29 | 2018-10-29 | 一种数据采集方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811264540.5A CN111104441A (zh) | 2018-10-29 | 2018-10-29 | 一种数据采集方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111104441A true CN111104441A (zh) | 2020-05-05 |
Family
ID=70420141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811264540.5A Pending CN111104441A (zh) | 2018-10-29 | 2018-10-29 | 一种数据采集方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111104441A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112099426A (zh) * | 2020-08-13 | 2020-12-18 | 太原重工股份有限公司 | 可扩展plc智能数据采集方法 |
| CN112487089A (zh) * | 2020-11-26 | 2021-03-12 | 广州海量数据库技术有限公司 | 基于数据页路由的分布式存储方法及*** |
| CN112597218A (zh) * | 2020-12-04 | 2021-04-02 | 光大科技有限公司 | 一种数据处理方法、装置以及数据湖架构 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104995570A (zh) * | 2013-04-25 | 2015-10-21 | 西门子公司 | 一种工业监控*** |
| CN105677691A (zh) * | 2014-12-05 | 2016-06-15 | 知意图股份有限公司 | 巨量串流数据实时处理方法及其装置与应用*** |
| CN105677858A (zh) * | 2016-01-06 | 2016-06-15 | 北京国电通网络技术有限公司 | 一种基于大数据技术框架的数据采集方法及装置 |
-
2018
- 2018-10-29 CN CN201811264540.5A patent/CN111104441A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104995570A (zh) * | 2013-04-25 | 2015-10-21 | 西门子公司 | 一种工业监控*** |
| CN105677691A (zh) * | 2014-12-05 | 2016-06-15 | 知意图股份有限公司 | 巨量串流数据实时处理方法及其装置与应用*** |
| CN105677858A (zh) * | 2016-01-06 | 2016-06-15 | 北京国电通网络技术有限公司 | 一种基于大数据技术框架的数据采集方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112099426A (zh) * | 2020-08-13 | 2020-12-18 | 太原重工股份有限公司 | 可扩展plc智能数据采集方法 |
| CN112099426B (zh) * | 2020-08-13 | 2022-05-10 | 太原重工股份有限公司 | 可扩展plc智能数据采集方法 |
| CN112487089A (zh) * | 2020-11-26 | 2021-03-12 | 广州海量数据库技术有限公司 | 基于数据页路由的分布式存储方法及*** |
| CN112597218A (zh) * | 2020-12-04 | 2021-04-02 | 光大科技有限公司 | 一种数据处理方法、装置以及数据湖架构 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109684352B (zh) | 数据分析***、方法、存储介质及电子设备 | |
| CN109213756B (zh) | 数据存储、检索方法、装置、服务器和存储介质 | |
| CN108874971A (zh) | 一种应用于海量标签化实体数据存储的工具和方法 | |
| CN104598376A (zh) | 一种数据驱动的分层自动化测试***和方法 | |
| CN112000773B (zh) | 基于搜索引擎技术的数据关联关系挖掘方法及应用 | |
| CN111382226A (zh) | 一种数据库查询检索方法、装置和电子设备 | |
| US20090077078A1 (en) | Methods and systems for merging data sets | |
| CN111159180A (zh) | 一种基于数据资源目录构建的数据处理方法及*** | |
| CN104239377A (zh) | 跨平台的数据检索方法及装置 | |
| CN108241627A (zh) | 一种异构数据存储查询方法和*** | |
| EP4044031A1 (en) | Cloud orchestration system and method based on read-write separation and auto-scaling | |
| CN114218218A (zh) | 基于数据仓库的数据处理方法、装置、设备及存储介质 | |
| CN108140022B (zh) | 数据查询方法和数据库*** | |
| CN110659283A (zh) | 数据标签处理方法、装置、计算机设备及存储介质 | |
| CN111104441A (zh) | 一种数据采集方法及*** | |
| CN117149873A (zh) | 一种基于流批一体化的数据湖服务平台构建方法 | |
| CN117591532A (zh) | 一种分布式能源***的海量数据管理***及其应用方法 | |
| CN105224663A (zh) | 一种基于多个数据源的数据访问任务管理方法及装置 | |
| CN117056303B (zh) | 适用于军事行动大数据的数据存储方法及装置 | |
| CN113506098A (zh) | 基于多源数据的电厂元数据管理***及方法 | |
| CN109165262A (zh) | 一种关系型大表的分片集群***及其分片方法 | |
| CN112650739A (zh) | 煤矿数据中台的数据存储处理方法和装置 | |
| CN114077652A (zh) | 一种基于多维数据立方体的数据处理方法及电子装置 | |
| JP4602349B2 (ja) | 分析データ構造にカスタム階層を生成するシステムおよび方法 | |
| CN105809577B (zh) | 一种基于规则和组件的电厂信息化数据的分类处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |