CN103514273A - 数据采集和监视控制***及该***的数据处理方法 - Google Patents
数据采集和监视控制***及该***的数据处理方法 Download PDFInfo
- Publication number
- CN103514273A CN103514273A CN201310421164.7A CN201310421164A CN103514273A CN 103514273 A CN103514273 A CN 103514273A CN 201310421164 A CN201310421164 A CN 201310421164A CN 103514273 A CN103514273 A CN 103514273A
- Authority
- CN
- China
- Prior art keywords
- data
- relational database
- control system
- processing method
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2272—Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/316—Indexing structures
- G06F16/328—Management therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
- G06F16/81—Indexing, e.g. XML tags; Data structures therefor; Storage structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据采集和监视控制***,其数据库由Oracle数据库和HBase数据库组成,本发明还公开了一种数据采集和监视控制***的数据处理方法,它通过将不同种类的数据和不同记录总数的数据分别存储到关系数据库和非关系数据库,并对存储在关系数据库和非关系数据库中的数据根据不同的查询方法查询数据。本发明使得数据存储空间较容易扩展、可以实现对海量数据的高效率存取。
Description
技术领域
本发明涉及一种数据采集和监视控制***及该***的数据处理方法。
背景技术
数据采集和监视控制***,即SCADA(Supervisory Control And Data Acquisition),它是以计算机为基础的生产过程控制与调度自动化***,它可以对现场的运行设备进行监视和控制,以实现数据采集、测量、各类信号报警、设备控制以及参数调节等各项功能,它应用领域很广,可以应用于电力、冶金、石油、化工、供水等领域的数据采集与监视控制以及过程控制等。
SCADA***的主要特征是随着***的运行,每天都会产生一定量的采集数据,对于一个供水行业中等规模的管网应用SCADA***,每天的采集数据可能达到千万级。存取记录总数为亿级的表,对于关系数据库而言会因为数据存储量太大而使得查询速度较慢,同时不断增长的采集数据也会面临海量数据存储的问题,关系数据库***很难通过简单增加更多的硬件和服务节点的方式来扩展数据存取性能和负载能力。
发明内容
本发明所要解决的技术问题是,提供数据存储空间较容易扩展、可以实现对海量数据的高效率存取的数据采集和监视控制***。
为解决上述技术问题,本发明提供的数据采集和监视控制***,它包括依次通讯连接的客户端、服务器和关系数据库,它还包括与服务器通讯连接的非关系数据库。
本发明所要解决的另一个技术问题是,提供可以实现对海量数据的高效率存取的数据采集和监视控制***的数据处理方法。
为解决上述技术问题,本发明提供的数据采集和监视控制***的数据处理方法,它包括以下步骤:
(1)、当某类数据为非结构化数据或半结构化数据,且该类数据的记录总数大于等于N时,将该类数据以键值对(Key-Value)的方式存储到非关系数据库;
当某类数据为非结构化数据或半结构化数据,且该类数据的记录总数小于N时,将该类数据存储到关系数据库;
当某类数据为结构化数据时,将该类数据存储到关系数据库;
(2)、对于存储在关系数据库中的数据,将经常作为查询条件的字段建立索引;
对于存储在非关系数据库中的数据,将作为查询条件的字段设置为行键(RowKey)的组成部分;
(3)、查询结构化数据时,根据用户的查询条件从关系数据库获取符合条件的数据;
查询存储在关系数据库中的非结构化数据和半结构化数据时,根据用户的查询条件从关系数据库获取符合条件的数据;
查询存储在非关系数据库中的非结构化数据和半结构化数据时,先根据查询条件从关系数据库获取信息来生成所需数据的行键范围,根据该行键范围从非关系数据中获取符合条件的数据。
将非结构化数据和半结构化数据存储到非关系数据库时,存储的步骤是先从关系数据库中获取对应的信息生成该数据的行键,然后将该数据以键值对(Key-Value)的方式保存到非关系数据库。
所述的N为5亿条。
采用以上***和方法后,本发明与现有技术相比,具有以下的优点:
存储结构简单、记录总数较多的非结构化数据和半结构化数据时,采用非关系数据库存储;存储结构简单、记录总数较少的非结构化数据和半结构化数据时,采用关系数据库存储;存储结构化数据时,由于结构化数据具有结构复杂、记录总数不多特性,采用关系数据库来存储;非关系数据库对海量数据的高效率的存取,很好地解决了关系数据库海量数据存取效率方面的问题,并且非关系数据库的可扩展性和高可用性的特点,通过简单地增加非关系数据库服务器就能够扩展数据的存储,使得数据存储空间较容易扩展。
附图说明
图1是本发明数据采集和监视控制***的结构示意图;
其中,1、客户端;2、服务器;3、非关系数据库;4、关系数据库。
具体实施方式
结合某水司的管网供水的SCADA***的工作原理和过程,对本发明的技术方案进一步说明。
由图1所示,本发明数据采集和监视控制***,它包括依次通讯连接的客户端1、服务器2和关系数据库4,它还包括与服务器2通讯连接的非关系数据库3,所述的服务器2包括采集服务器和WEB服务器,采集服务器和WEB服务器分别与关系数据库和非关系数据库通讯连接,WEB服务器上部署有WEB程序,采集服务器上部署有通讯程序,Web程序主要为用户操作提供GUI接口,用户可以通过浏览器录入区域、监测点、通讯采集设备资料,查询区域、监测点、通讯采集设备、采集数据等功能。通讯程序主要监听Socket端口,RTU(远程数据单元)通过Socket连接到采集服务器,采集服务器接收RTU发送的采集数据数据。
所述的关系数据库选取的是Oracle数据库,所述的非关系数据库选取的是HBase数据库,Oracle数据库为结构化数据和数据记录总数小于5千万条的非结构化数据或半结构化数据提供存储服务,HBase数据库为数据记录总数大于等于5千万条的非结构化数据或半结构化数据提供存储服务。
本发明数据采集和监视控制***的数据处理方法,它包括以下步骤:
1) 制定数据存储的基本原则,也就是说根据数据的记录总数和数据的结构化程度确定各类数据如何存储,具体原则如下:
当某类数据为非结构化数据或半结构化数据,且该类数据的记录总数大于等于5千万条时,将该类数据以键值对(Key-Value)的方式存储到HBase数据库;
当某类数据为非结构化数据或半结构化数据,且该类数据的记录总数小于N时,将该类数据存储到Oracle数据库;
当某类数据为结构化数据时,将该类数据存储到Oracle数据库;
在具体应用中,区域、监测点、通讯采集设备数据结构复杂,并且这些数据的记录总数不是很多,将它们存储在Oracle数据库中;而监测点采集数据包括监测点ID、采集数据类型、采集数据、采集数据时间,一个监测点采集数据每分钟有6条记录(包括累计流量、瞬时流量、压力、PH值、余氯、浑浊度等),每年315万条采集数据记录,2000个监测点每年的采集数据总记录数为63亿,采集数据结构简单、数据量巨大,将监测点的采集数据存储在HBase数据库。
2)为SCADA***的数据设计数据模型。Oracle数据库存储区域、监测点、通讯采集设备等结构化数据。区域表包括:区域ID(主键)、区域名称、上级区域ID(外键,引用区域表)。为区域名称建立索引。监测点表的字段包括:监测点ID(主键)、监测点编号、监测点名称、监测点状态、监测点所属区域ID(外键,引用区域表)、监测点地址。为监测点编号、监测点名称建立索引。通讯采集设备表包括:设备ID(主键)、设备通讯地址、设备的通道号、设备安装地址、设备所属区域ID(外键,引用区域表)、监测点ID(外键,引用监测点表)。为设备通讯地址、设备的通道号建立索引。HBase数据库存储监测点的采集数据,将用作查询条件的字段设置为行键(RowKey)的组成部分,行键由区域ID(Integer, 4Bytes) + 监测点ID (Integer, 4Bytes)+ 采集数据时间(yymmdd, 6Bytes) + 测项类型(Short, 2Bytes)的组成。
3)当用户检索区域、监测点、通讯采集设备等结构化数据时,Web程序根据用户的查询条件(监测点编号、监测点、所属区域、通讯采集设备通讯地址等),到Oracle数据库查找符合条件的区域、监测点、通讯采集设备资料。当用户查询监测点的采集数据时,SCADA***(Web程序)根据用户的查询条件——监测点编号、采集数据类型、采集数据时间范围后,先到Oracle数据库获取监测点资料(包括监测点所属区域ID、监测点ID),再根据查询采集数据的时间范围,生成一个完整的行键范围,最后在HBase中扫描该行键范围内所有的数据,并通过自定义的RowFilter在HBase服务器端过滤掉不符合条件的采集数据数据。对从HBase获取的数据进行规整、统计返回给Web页面。
Claims (6)
1.一种数据采集和监视控制***,它包括依次通讯连接的客户端(1)、服务器(2)和关系数据库(4),其特征在于:它还包括与服务器(2)通讯连接的非关系数据库(3)。
2.根据权利要求1所述的用于数据采集和监视控制***的数据处理方法,其特征在于:所述的关系数据库为Oracle数据库。
3.根据权利要求1所述的用于数据采集和监视控制***的数据处理方法,其特征在于:所述的非关系数据库为HBase数据库。
4.一种数据采集和监视控制***的数据处理方法,其特征在于,它包括以下步骤:
(1)、当某类数据为非结构化数据或半结构化数据,且该类数据的记录总数大于等于N时,将该类数据以键值对(Key-Value)的方式存储到非关系数据库;
当某类数据为非结构化数据或半结构化数据,且该类数据的记录总数小于N时,将该类数据存储到关系数据库;
当某类数据为结构化数据时,将该类数据存储到关系数据库;
(2)、对于存储在关系数据库中的数据,将经常作为查询条件的字段建立索引;
对于存储在非关系数据库中的数据,将作为查询条件的字段设置为行键(RowKey)的组成部分;
(3)、查询结构化数据时,根据用户的查询条件从关系数据库获取符合条件的数据;
查询存储在关系数据库中的非结构化数据和半结构化数据时,根据用户的查询条件从关系数据库获取符合条件的数据;
查询存储在非关系数据库中的非结构化数据和半结构化数据时,先根据查询条件从关系数据库获取信息来生成所需数据的行键范围,根据该行键范围从非关系数据中获取符合条件的数据。
5.根据权利要求4所述的用于数据采集和监视控制***的数据处理方法,其特征在于:将非结构化数据和半结构化数据存储到非关系数据库时,存储的步骤是先从关系数据库中获取对应的信息生成该数据的行键,然后将该数据以键值对(Key-Value)的方式保存到非关系数据库。
6.根据权利要4所述的用于数据采集和监视控制***的数据处理方法,其特征在于:所述的N为5亿条。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310421164.7A CN103514273B (zh) | 2013-09-17 | 2013-09-17 | 数据采集和监视控制***及该***的数据处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310421164.7A CN103514273B (zh) | 2013-09-17 | 2013-09-17 | 数据采集和监视控制***及该***的数据处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103514273A true CN103514273A (zh) | 2014-01-15 |
CN103514273B CN103514273B (zh) | 2016-08-17 |
Family
ID=49896997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310421164.7A Active CN103514273B (zh) | 2013-09-17 | 2013-09-17 | 数据采集和监视控制***及该***的数据处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103514273B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104050271A (zh) * | 2014-06-23 | 2014-09-17 | 桂林长海科技有限责任公司 | 一种基于HBase的卡口数据处理方法 |
CN104991741A (zh) * | 2015-06-24 | 2015-10-21 | 江苏瑞中数据股份有限公司 | 一种基于键值模型的情境适配电网大数据存储方法 |
CN105005572A (zh) * | 2014-04-24 | 2015-10-28 | ***通信集团云南有限公司 | 一种数据库映射方法及装置 |
CN105653573A (zh) * | 2015-10-15 | 2016-06-08 | 许昌开普电气研究院 | 一种信息***服务平台用数据采集*** |
CN106294499A (zh) * | 2015-06-09 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 一种数据库数据查询方法和设备 |
CN107357798A (zh) * | 2016-05-09 | 2017-11-17 | Ls 产电株式会社 | 用于管理本地监视数据的装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020188610A1 (en) * | 2001-03-08 | 2002-12-12 | Herman Spencer | Data storage and access employing clustering |
CN102222090A (zh) * | 2011-06-02 | 2011-10-19 | 清华大学 | 一种云环境下海量数据资源管理框架 |
CN102354178A (zh) * | 2011-08-02 | 2012-02-15 | 常州节安得能源科技有限公司 | 能效监控*** |
CN102508989A (zh) * | 2011-09-27 | 2012-06-20 | 福建省电力有限公司 | 一种基于虚拟现实的电网全景动态展示*** |
CN102915255A (zh) * | 2012-09-27 | 2013-02-06 | 曙光信息产业(北京)有限公司 | 用于大规模数据集并行运算的云计算服务***和方法 |
CN103034650A (zh) * | 2011-09-29 | 2013-04-10 | 北京新媒传信科技有限公司 | 一种数据处理***和方法 |
-
2013
- 2013-09-17 CN CN201310421164.7A patent/CN103514273B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020188610A1 (en) * | 2001-03-08 | 2002-12-12 | Herman Spencer | Data storage and access employing clustering |
CN102222090A (zh) * | 2011-06-02 | 2011-10-19 | 清华大学 | 一种云环境下海量数据资源管理框架 |
CN102354178A (zh) * | 2011-08-02 | 2012-02-15 | 常州节安得能源科技有限公司 | 能效监控*** |
CN102508989A (zh) * | 2011-09-27 | 2012-06-20 | 福建省电力有限公司 | 一种基于虚拟现实的电网全景动态展示*** |
CN103034650A (zh) * | 2011-09-29 | 2013-04-10 | 北京新媒传信科技有限公司 | 一种数据处理***和方法 |
CN102915255A (zh) * | 2012-09-27 | 2013-02-06 | 曙光信息产业(北京)有限公司 | 用于大规模数据集并行运算的云计算服务***和方法 |
Non-Patent Citations (3)
Title |
---|
常魁等: "基于SCADA***OPC通信的供水管网实时模拟", 《哈尔滨工业大学学报》 * |
范建永等: "基于HBase的矢量空间数据分布式存储研究", 《地理与地理信息科学》 * |
陶建科等: "基于GIS和SCADA技术的供水管网管理信息***", 《供水技术》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105005572A (zh) * | 2014-04-24 | 2015-10-28 | ***通信集团云南有限公司 | 一种数据库映射方法及装置 |
CN104050271A (zh) * | 2014-06-23 | 2014-09-17 | 桂林长海科技有限责任公司 | 一种基于HBase的卡口数据处理方法 |
CN106294499A (zh) * | 2015-06-09 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 一种数据库数据查询方法和设备 |
CN104991741A (zh) * | 2015-06-24 | 2015-10-21 | 江苏瑞中数据股份有限公司 | 一种基于键值模型的情境适配电网大数据存储方法 |
CN104991741B (zh) * | 2015-06-24 | 2018-02-02 | 江苏瑞中数据股份有限公司 | 一种基于键值模型的情境适配电网大数据存储方法 |
CN105653573A (zh) * | 2015-10-15 | 2016-06-08 | 许昌开普电气研究院 | 一种信息***服务平台用数据采集*** |
CN107357798A (zh) * | 2016-05-09 | 2017-11-17 | Ls 产电株式会社 | 用于管理本地监视数据的装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103514273B (zh) | 2016-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103514273A (zh) | 数据采集和监视控制***及该***的数据处理方法 | |
Ren et al. | On querying historical evolving graph sequences | |
CN103605662B (zh) | 一种分布式计算框架参数优化方法、装置及*** | |
CN102930062B (zh) | 一种数据库快速水平扩展的方法 | |
Huang et al. | [Retracted] Knowledge Graph Construction and Application of Power Grid Equipment | |
CN105139281A (zh) | 一种电力营销大数据的处理方法及*** | |
CN106528847A (zh) | 一种海量数据的多维度处理方法及*** | |
CN103092867A (zh) | 一种数据管理方法及***、数据分析装置 | |
Jeong et al. | Anomaly teletraffic intrusion detection systems on hadoop-based platforms: A survey of some problems and solutions | |
CN105138600B (zh) | 基于图结构匹配的社交网络分析方法 | |
CN105117421A (zh) | 基于图结构匹配的社交网络分析方法 | |
CN105405069A (zh) | 一种购电经营决策分析与数据处理方法 | |
Xu et al. | Data based online operational performance optimization with varying work conditions for steam-turbine system | |
CN103631912A (zh) | 一种利用非关系数据库存储海量工业设备监测数据的方法 | |
CN102609501B (zh) | 一种基于实时历史数据库的数据清洗方法 | |
CN102142983A (zh) | 告警相关性分析方法和装置 | |
CN104486116A (zh) | 多维度查询流量数据的方法及*** | |
Ji et al. | Ibdp: An industrial big data ingestion and analysis platform and case studies | |
CN103440249A (zh) | 一种非结构化数据快速检索的***及方法 | |
CN113272774A (zh) | 用于全历史动态网络分析的***和方法 | |
Wang et al. | A novel index for assessing the robustness of integrated electrical network and a natural gas network | |
CN112488502A (zh) | 一种标准的水资源管理一体化管控平台 | |
Hongliang et al. | Management and instant query of distributed oil and gas production dynamic data | |
CN109768878A (zh) | 一种基于大数据的网络工单计算方法及装置 | |
CN103942311A (zh) | 一种监控***变量的复用方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20180723 Address after: 315181 Lin village, Haishu District, Ningbo, Zhejiang Co-patentee after: Ningbo Dongguan Technology Co., Ltd. Patentee after: Ningbo Donghai Group Corp., Ltd. Address before: 315105 sun Macun, Zhonghe street, Yinzhou District, Ningbo, Zhejiang Patentee before: Ningbo Dongguan Technology Co., Ltd. |
|
TR01 | Transfer of patent right |