CN111930721A - 一种多属性连续性工业生产数据的整合方法 - Google Patents

一种多属性连续性工业生产数据的整合方法 Download PDF

Info

Publication number
CN111930721A
CN111930721A CN202010950191.3A CN202010950191A CN111930721A CN 111930721 A CN111930721 A CN 111930721A CN 202010950191 A CN202010950191 A CN 202010950191A CN 111930721 A CN111930721 A CN 111930721A
Authority
CN
China
Prior art keywords
data
event
establishing
flag bit
clock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010950191.3A
Other languages
English (en)
Other versions
CN111930721B (zh
Inventor
孙卫华
焦吉成
孙风晓
曹金生
崔健
李率民
王猛
王宁国
魏宏雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SD Steel Rizhao Co Ltd
Original Assignee
SD Steel Rizhao Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SD Steel Rizhao Co Ltd filed Critical SD Steel Rizhao Co Ltd
Priority to CN202010950191.3A priority Critical patent/CN111930721B/zh
Publication of CN111930721A publication Critical patent/CN111930721A/zh
Application granted granted Critical
Publication of CN111930721B publication Critical patent/CN111930721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/217—Database tuning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G06F16/287—Visualization; Browsing

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种多属性连续性工业生产数据的整合方法，所述方法包括以下步骤：建立预连接的二级、三级***数据库相对应数据表的视图；建立各二级、三级***对应视图的临时表；建立保存最终结果数据的数据表；主服务器程序启动时钟服务，时钟服务的时间基数为秒；在时钟事件满足后，在事件对列中尾部增加新事件；在处理事件中，***首先读取数据结果表中各相关属性的标志位状态；对数据结果表中标志位为1的对应数据临时表中的数据根据应用目标进行转化；重复上述过程，直至事件列为空；***继续下一循环。本发明可实现工艺生产过程中连续型数据和离散型数据的集成；实现异步异构数据的整合；实现连续变量的保存，减少了数据占用空间。

Description

一种多属性连续性工业生产数据的整合方法
技术领域
本发明属于工业数据采集技术领域，具体涉及一种多属性连续性工业生产数据的整合方法。
背景技术
传统常用的工业过程数据采集是通过软件以固定采集周期对PLC或DCS中的数据进行循环读取操作，把读取到的数据存入数据库文件中。一是这种方式适用范围小(一般只涉及到一个工艺环节)，大部分用于采集连续性变量，不涉及到数据的进一步处理，数据可利用的价值不高，质量管理人员面临着大量数据，而又缺乏有效的数据的尴尬局面。二是由于占用的存储空间大，过程控制***一般只保留2到3个月的生产数据，超过这一范围的数据就删除了，而质量分析往往需要对几年前的数据进行分析，无法范围这一需求。如：高档汽车板的生产，要求过程数据保留时间长度为10年，以便对生产过程进行评估和分析，传统技术已不能满足需要。
随着计算机技术的进步和数据库技术的发展，大部分企业建立起以数据库为核心的数据中心，以保存生产过程数据，但这种生产数据仅按采集周期保存工艺过程数据，不对采集数据根质量分析要求进行转化，***资源消耗大，投次高。
现有数据采集(集成)方法大部分是针对某一工艺环节的特定类型，范围比较小，都按固定周期(可它的倍数)采集和存储数据，属于同步数据采集，这种数据保存方式对数据不进行转化，由于工业生产过程的连续性特性，造成的数据存储占用空间非常大。例如：钢铁冶金企业生产涉及到炼钢、连铸、加热炉、热轧、冷轧、酸洗、镀锌等环节，每个环节都有几十、成百上千个数据采集点，这些采集点采集的周期各不相同，如有的是毫秒级，有的以秒为单位，如果不加处理完全保存，占用的空间十分巨大，既不经济也不高效。
发明内容
本发明的目的在于提供一种多属性连续性工业生产数据的整合方法，通过建立与各采集节点对应的数据视图表、临时数据表和结果数据表的三层结构，实现工艺生产过程中连续型数据和离散型数据的集成；通过在结果数据表中设置不同状态标志位，改变各阶段状态，完成对相关数据库进行扫描，实现异步异构数据的整合；通过数据压缩，实现了连续变量的保存，减少了数据占用空间。
本发明解决其技术问题所采用的技术方案是：一种多属性连续性工业生产数据的整合方法，所述方法包括以下步骤：
(1)在服务器数据库中建立预连接的二级、三级***数据库相对应数据表的视图；
(2)在服务器数据库中建立各二级、三级***对应视图的临时表；如果数据来自一级***，则在服务器数据库中建立相应的临时表；所有临时表都设置处理标志位，默认标志位状态为0；
(3)在服务器数据库中建立保存最终结果数据的数据表；在数据结果表中设置标志位字段，默认值为0；设置对各二级、三级和一级数据临时表的读取标志位，默认值为0；
(4)主服务器程序启动时钟服务，时钟服务的时间基数为秒，每循环一次，计数启增加1，计数器数值大于3600，自动从1开始；根据各***采样频率不同，定义本事件的时钟事件周期，如5秒；
(5)在时钟事件满足后，在事件对列中尾部增加新事件；***主程序按时间顺序处理相关事件；为了防止资源冲突，每处理一次事件，设置***服务标志位为1，只有本次服务处理完，标志位恢复为0后，才可以启动下一个事件；
(6)在处理事件中，***首先读取数据结果表中各相关属性的标志位状态；如果标志位状态为0，表示对应数据没有转存，则执行从数据视图到数据临时表的转存工作；转存执行完成后，数据结果表中对应的标志位更新为1；数据转存不成功或者数据视图表还没有收到相应数据，数据结果表中标志位仍保持为0；
(7)对数据结果表中标志位为1的对应数据临时表中的数据根据应用目标进行转化；如：有的指标需要计算命准率，有的需要计算合格率等，转化后的结果保存在数据结果表中，并把数据结果表中对应的标志位置为2；
(8)重复上述过程，直至事件列为空；
(9)***继续下一循环。
本发明具有以下有益效果：本发明的一种多属性连续性工业生产数据的整合方法，通过建立与各采集节点对应的数据视图表、临时数据表和结果数据表的三层结构，把连续性过程数据转化为关系数据库可长期存储的数据。通过建立不同工艺环节数据库表中数据视图，可在不影响原***运行的情况下，实现数据同步；临时数据表起到中转数据加工和处理的作用，数据处理完成自动删除，不占用***资源；结果数据表只保存处理后的数据，占用空间大大降低，实现工艺生产过程中连续性数据和离散性数据的集成。
本发明通过在结果数据表中设置不同状态标志位，改变各阶段状态，循环完成对相关数据库进行扫描，实现异步异构数据的整合；通过数据压缩，实现了连续变量的保存，减少了数据占用空间。
附图说明
图1是本发明的数据转化结构图；
图2是本发明的一种具体实施例的程序处理信息流程图。
具体实施方式
一种多属性连续性工业生产数据的整合方法，所述方法包括以下步骤：
(1)在服务器数据库中建立预连接的二级、三级***数据库相对应数据表的视图(简称：数据视图表)；
(2)在服务器数据库中建立各二级、三级***对应视图的临时表(简称：数据临时表)；如果数据来自一级***，则在服务器数据库中建立相应的临时表；所有临时表都设置处理标志位，默认标志位状态为0；
(3)在服务器数据库中建立保存最终结果数据的数据表(简称：数据结果表)；在数据结果表中设置标志位字段，默认值为0；设置对各二级、三级和一级数据临时表的读取标志位，默认值为0；
(4)主服务器程序启动时钟服务，时钟服务的时间基数为秒，每循环一次，计数启增加1，计数器数值大于3600，自动从1开始；根据各***采样频率不同，定义本事件的时钟事件周期，如5秒；
(5)在时钟事件满足后，在事件对列中尾部增加新事件；***主程序按时间顺序处理相关事件；为了防止资源冲突，每处理一次事件，设置***服务标志位为1，只有本次服务处理完，标志位恢复为0后，才可以启动下一个事件；
(6)在处理事件中，***首先读取数据结果表中各相关属性的标志位状态；如果标志位状态为0，表示对应数据没有转存，则执行从数据视图到数据临时表的转存工作；转存执行完成后，数据结果表中对应的标志位更新为1；数据转存不成功或者数据视图表还没有收到相应数据，数据结果表中标志位仍保持为0；
(7)对数据结果表中标志位为1的对应数据临时表中的数据根据应用目标进行转化；如：有的指标需要计算命准率，有的需要计算合格率等，转化后的结果保存在数据结果表中，并把数据结果表中对应的标志位置为2；
(8)重复上述过程，直至事件列为空；
(9)***继续下一循环。
实施例1
在热轧生产过程中，影响质量的指标有10个，包括：FDT、CT、R2DT、凸度、楔形、凸度-楔形、平直度全长对称、平直度全长非对称、厚度、宽度等10个指标。
(1)建立这10个指标的对应生产现场二级数据库中表的视图。视图字段全部统一，包括：钢卷号、生产时间、带钢实际长度、沿长度方向的实际测量值、规格、订单号、目标值。
(2)建立10个指标的临时数据表，包括：包括：钢卷号、生产时间、带钢实际长度、沿长度方向的实际测量值、规格、订单号、目标值、工艺上限、工艺下限、处理状态标志位、命准率、长度坐标和测量值字段。长度坐标字段，以固定格式把带钢沿长度方向坐标合成一个字段，测量值同样压缩到一个字段中。其中工艺上限、工艺下限和订单号等来自于三级MES，且不同步。这个信息三级要晚于二级约10个小时才能写到相应表中。
(3)建立10个字段的数据结果表。与数据临时表结构相同，包括：钢卷号、生产时间、带钢实际长度、沿长度方向的实际测量值、规格、订单号、目标值、工艺上限、工艺下限，命准率、长度坐标和测量值字段。

Claims (1)

1.一种多属性连续性工业生产数据的整合方法，其特征在于，所述方法包括以下步骤：
(1)在服务器数据库中建立预连接的二级、三级***数据库相对应数据表的视图；
(2)在服务器数据库中建立各二级、三级***对应视图的临时表；如果数据来自一级***，则在服务器数据库中建立相应的临时表；所有临时表都设置处理标志位，默认标志位状态为0；
(3)在服务器数据库中建立保存最终结果数据的数据表；在数据结果表中设置标志位字段，默认值为0；设置对各二级、三级和一级数据临时表的读取标志位，默认值为0；
(4)主服务器程序启动时钟服务，时钟服务的时间基数为秒，每循环一次，计数启增加1，计数器数值大于3600，自动从1开始；根据各***采样频率不同，定义本事件的时钟事件周期，如5秒；
(5)在时钟事件满足后，在事件对列中尾部增加新事件；***主程序按时间顺序处理相关事件；为了防止资源冲突，每处理一次事件，设置***服务标志位为1，只有本次服务处理完，标志位恢复为0后，才可以启动下一个事件；
(6)在处理事件中，***首先读取数据结果表中各相关属性的标志位状态；如果标志位状态为0，表示对应数据没有转存，则执行从数据视图到数据临时表的转存工作；转存执行完成后，数据结果表中对应的标志位更新为1；数据转存不成功或者数据视图表还没有收到相应数据，数据结果表中标志位仍保持为0；
(7)对数据结果表中标志位为1的对应数据临时表中的数据根据应用目标进行转化；如：有的指标需要计算命准率，有的需要计算合格率等，转化后的结果保存在数据结果表中，并把数据结果表中对应的标志位置为2；
(8)重复上述过程，直至事件列为空；
(9)***继续下一循环。
CN202010950191.3A 2020-09-11 2020-09-11 一种多属性连续性工业生产数据的整合方法 Active CN111930721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010950191.3A CN111930721B (zh) 2020-09-11 2020-09-11 一种多属性连续性工业生产数据的整合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010950191.3A CN111930721B (zh) 2020-09-11 2020-09-11 一种多属性连续性工业生产数据的整合方法

Publications (2)

Publication Number Publication Date
CN111930721A true CN111930721A (zh) 2020-11-13
CN111930721B CN111930721B (zh) 2022-05-10

Family

ID=73309947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010950191.3A Active CN111930721B (zh) 2020-09-11 2020-09-11 一种多属性连续性工业生产数据的整合方法

Country Status (1)

Country Link
CN (1) CN111930721B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101211172A (zh) * 2007-12-25 2008-07-02 上海亚太计算机信息***有限公司 一种采用缓冲模式的生产线实时数据采集方法
CN102156467A (zh) * 2011-03-28 2011-08-17 山西太钢不锈钢股份有限公司 基于钢铁生产计划的能源预测方法
US20140279948A1 (en) * 2013-03-13 2014-09-18 Abb Research Ltd. Industrial asset event chronology
CN104881424A (zh) * 2015-03-13 2015-09-02 国家电网公司 一种基于正则表达式的电力大数据采集、存储及分析方法
CN106354774A (zh) * 2016-08-22 2017-01-25 东北大学 一种实时工业过程大数据压缩存储***及方法
CN109933568A (zh) * 2019-03-13 2019-06-25 安徽海螺集团有限责任公司 一种工业大数据平台***及其查询方法
CN110659259A (zh) * 2019-09-03 2020-01-07 平安科技（深圳）有限公司 数据库迁移方法、服务器以及计算机存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101211172A (zh) * 2007-12-25 2008-07-02 上海亚太计算机信息***有限公司 一种采用缓冲模式的生产线实时数据采集方法
CN102156467A (zh) * 2011-03-28 2011-08-17 山西太钢不锈钢股份有限公司 基于钢铁生产计划的能源预测方法
US20140279948A1 (en) * 2013-03-13 2014-09-18 Abb Research Ltd. Industrial asset event chronology
CN104881424A (zh) * 2015-03-13 2015-09-02 国家电网公司 一种基于正则表达式的电力大数据采集、存储及分析方法
CN106354774A (zh) * 2016-08-22 2017-01-25 东北大学 一种实时工业过程大数据压缩存储***及方法
CN109933568A (zh) * 2019-03-13 2019-06-25 安徽海螺集团有限责任公司 一种工业大数据平台***及其查询方法
CN110659259A (zh) * 2019-09-03 2020-01-07 平安科技（深圳）有限公司 数据库迁移方法、服务器以及计算机存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
K.GREVENITIS 等: "A hybrid framework for industrial data storage and exploitation", 《52ND CIRP CONFERENCE ON MANUFACTURING SYSTEMS》 *
张伟东: "基于ETL 的工业数据集成方法设计", 《中国科技信息》 *

Also Published As

Publication number Publication date
CN111930721B (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN111930721B (zh) 一种多属性连续性工业生产数据的整合方法
CN107818372A (zh) 一种盾构管片质量巡检***
CN112800077B (zh) 一种电子化移交单的监控方法及装置
CN114119268A (zh) 一种用于印刷包装生产线的协同制造***
CN114970954A (zh) 基于配网基建数据深化应用构件工程物料预测模型***
CN110472837B (zh) 应用于节能评估的能耗计算方法
CN112785115B (zh) 一种冷轧原料库质量预审核方法
CN112040431B (zh) 一种营销短信管控***及其方法
CN104361086A (zh) 一种计量资产全寿命周期管理***数据集成方法
CN116775632A (zh) 一种基于车载终端采集数据的近实时清洗数据执行方法
CN111798311A (zh) 基于大数据的银行风险分析库平台、搭建方法及可读介质
CN114722045A (zh) 时间序列数据的存储方法及装置
CN112559511B (zh) 一种存款***历史数据清理方法和***
EP4235481A1 (de) Verfahren zum erstellen eines lastprofils
CN112488645B (zh) 钢铁生产数据中台及控制方法
CN111984677B (zh) 资源数据核对方法、装置、计算机设备和存储介质
CN103955863A (zh) 一种电网监测装置数据的处理方法
CN107169620A (zh) 基于工作流的电网上下级调度***间模型版本流转方法
CN104391172A (zh) 热连轧钢卷电耗监测方法
CN105760413B (zh) 基于哈希表的rfid数据在mes***中的管理方法
CN108681838A (zh) 一种排产计划确定方法及装置
CN108427659B (zh) 基于多类型测试获得真实产量数据的方法
CN112001587A (zh) 一种数据提取方法及***
CN115801807A (zh) 一种基于完全对等模型的分布式网络数据同步方法和***
CN114926099A (zh) 电网调度ems数据的自动补缺方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant