CN111935226A - 支持工业数据实现流式计算方法及*** - Google Patents
支持工业数据实现流式计算方法及*** Download PDFInfo
- Publication number
- CN111935226A CN111935226A CN202010651990.0A CN202010651990A CN111935226A CN 111935226 A CN111935226 A CN 111935226A CN 202010651990 A CN202010651990 A CN 202010651990A CN 111935226 A CN111935226 A CN 111935226A
- Authority
- CN
- China
- Prior art keywords
- data
- calculation
- equipment
- calculation result
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 124
- 238000004458 analytical method Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000004806 packaging method and process Methods 0.000 claims abstract description 18
- 238000003860 storage Methods 0.000 claims abstract description 17
- 238000004519 manufacturing process Methods 0.000 claims description 23
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 230000007547 defect Effects 0.000 claims description 14
- 230000002950 deficient Effects 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 238000004886 process control Methods 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 238000013480 data collection Methods 0.000 claims 2
- 238000013500 data storage Methods 0.000 abstract description 7
- 238000013475 authorization Methods 0.000 abstract description 3
- 238000012216 screening Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000007599 discharging Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- XOJVVFBFDXDTEG-UHFFFAOYSA-N Norphytane Natural products CC(C)CCCC(C)CCCC(C)CCCC(C)C XOJVVFBFDXDTEG-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/221—Column-oriented storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
- G06F16/24534—Query rewriting; Transformation
- G06F16/24539—Query rewriting; Transformation using cached or materialised query results
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种实现工业数据的流式处理计算方法及***，对设备进行数据采集，获取设备产生的bit数组，识别出设备字段转换为JSON字符串，实时发送到消息中间件；使用Flink计算引擎解析消息中间件的数据信息，并进行异步匹配对应的维度信息；令数据信息按照不同维度进行开窗计算，将第一计算结果写入消息中间件的分析层中，进行指标计算，将第二计算结果进行封装存储到列式存储数据库中。数据计算采用大数据流计算引擎Flink实现，数据存储由大数据分布式文件存储***Hadoop完成，数据访问安全使用kerberos网络授权协议，解决当下工业企业数据时效性计算、自动化分析报告、数据存储安全的痛点。
Description
技术领域
本发明涉及数据解析技术领域，具体地，涉及一种支持工业数据实现流式计算方法及***。
背景技术
随着国家大力发展“新基建”，以大数据为技术中心点，为传统工业企业提供智能化的生产是新的趋势。工业企业等传统型企业存在着有数据没地方用，或者有地方用，但是数据都分散在不同的企业设备或者***。工业企业对生产质量和成本有很大的需求，而生产质量往往能够直接影响到工业企业的生产成本。
工业企业现在还停留在“原始”状态，依靠大量人力。以往企业对生产工业产品质量的管控大多数以老师傅的经验进行生产设备的预设或者更改，这样的方法既浪费了大量的人力和时间，还需要实际操作者有很强的经验。并且这种经验很多时候是不可复制性，人员只能通过长时间大量的积累才能有一定的经验。
专利文献CN110879820A提供一种工业数据处理方法、装置，通过采集至少一部分生产工序产生的工业数据；根据采集的各个工业数据的工序时间关联各个工业数据；对时间关联后的各个工业数据进行异常检测，通过有效的数据处理技术，将离散的生产流程拼接，通过生产全链路的分析，达到快速定位问题，但是上述专利文献仅在于对数据进行时间关联后检测异常，未涉及对数据进行流式整理。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种支持工业数据实现流式计算方法及***。
根据本发明提供的一种实现工业数据的流式处理计算方法，包括：
数据采集步骤：通过数据网关对设备进行数据采集，获取设备产生的bit数组，通过设定OPC协议识别出设备字段，并且将设备字段转换为JSON字符串，将JSON字符串实时发送到消息中间件；
数据转换步骤：使用Flink计算引擎解析消息中间件的数据信息，并进行异步匹配对应的维度信息；
指标计算步骤：令数据信息按照不同维度进行开窗计算，得到第一计算结果，将第一计算结果写入消息中间件的分析层中，进行指标计算，得到第二计算结果，将第二计算结果进行封装，存储到列式存储数据库中。
优选地，所述数据采集步骤包括：
获取数据步骤：获取设备在运行过程中产生的bit数组，所述bit数组中包括设备状态信息和业务数据信息；
数组转换步骤：通过OPC协议识别出设备ID、设备状态、设备运行时长、下料口、缺陷ID、生产产品ID中的任一种或任多种设备字段并转换成word数组，通过word数组解析出设备信息，所述设备信息包括设备状态和监控状态中的任一种或任多种，之后将word数组转换为字符串，并拼接成JSON字符串发送到消息中间件中。
优选地，所述数据转换步骤包括：
消息消费步骤：自定义连接器连接消息中间件，解析数据流中的数据，根据不同的事件进行不同的逻辑处理；
异步匹配步骤：根据事件区分出数据结构类型，解析企业ID和设备ID，使用企业ID和设备ID进行条件查询缓存中是否有对应的维度信息，若查询为空，则利用vertx框架进行异步查询维度数据库中的维度信息，令查询结果缓存，并按照不同的事件发送到消息中间件中不同的主题中。
优选地，所述指标计算步骤包括：
开窗计算步骤：将各个不同的设备状态数据、生产资料数据按照不同维度进行开窗计算，得到第一计算结果，所述第一计算结果中包括良品率、不良品率、缺陷率中的任一种或任多种；
结果封装步骤：令第一计算结果接入Apache Flink进行指标计算，过滤无效数据，按照事件类型进行分割后，进行开窗计算，把流式数据转换为Table流数据，使用FlinkSql对数据按照多维度进行分组排序,分别产生不同的工业指标，形成第二计算结果并进行封装，存储到列式存储数据库中。
根据本发明提供的一种实现工业数据的流式处理计算***，包括：
数据采集模块：通过数据网关对设备进行数据采集，获取设备产生的bit数组，通过设定OPC协议识别出设备字段，并且将设备字段转换为JSON字符串，将JSON字符串实时发送到消息中间件；
数据转换模块：使用Flink计算引擎解析消息中间件的数据信息，并进行异步匹配对应的维度信息；
指标计算模块：令数据信息按照不同维度进行开窗计算，得到第一计算结果，将第一计算结果写入消息中间件的分析层中，进行指标计算，得到第二计算结果，将第二计算结果进行封装，存储到列式存储数据库中。
优选地，所述数据采集模块包括：
获取数据模块：获取设备在运行过程中产生的bit数组，所述bit数组中包括设备状态信息和业务数据信息；
数组转换模块：通过OPC协议识别出设备ID、设备状态、设备运行时长、下料口、缺陷ID、生产产品ID中的任一种或任多种设备字段并转换成word数组，通过word数组解析出设备信息，所述设备信息包括设备状态和监控状态中的任一种或任多种，之后将word数组转换为字符串，并拼接成JSON字符串发送到消息中间件中。
优选地，所述数据转换模块包括：
消息消费模块：自定义连接器连接消息中间件，解析数据流中的数据，根据不同的事件进行不同的逻辑处理；
异步匹配模块：根据事件区分出数据结构类型，解析企业ID和设备ID，使用企业ID和设备ID进行条件查询缓存中是否有对应的维度信息，若查询为空，则利用vertx框架进行异步查询维度数据库中的维度信息，令查询结果缓存，并按照不同的事件发送到消息中间件中不同的主题中。
优选地，所述指标计算模块包括：
开窗计算模块：将各个不同的设备状态数据、生产资料数据按照不同维度进行开窗计算，得到第一计算结果，所述第一计算结果中包括良品率、不良品率、缺陷率中的任一种或任多种；
结果封装模块：令第一计算结果接入Apache Flink进行指标计算，过滤无效数据，按照事件类型进行分割后，进行开窗计算，把流式数据转换为Table流数据，使用FlinkSql对数据按照多维度进行分组排序,分别产生不同的工业指标，形成第二计算结果并进行封装，存储到列式存储数据库中。
与现有技术相比，本发明具有如下的有益效果：
1、通过数据网关对设备进行数据采集，通过添加配置文件完成任意设备机器类型上传不同的数据格式，解决不同设备机器的数据采集适配问题。
2、通过Flink实时计算引擎实时对数据进行处理开窗计算工业指标，使得工业企业用户可以实时得到产品质量、产品生产情况的反馈，对比以往离线批处理数据更具有实时性，更能快速对BI分析平台提供数据，解决分析实效性问题。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的结构框架示意图；
图2为本发明的流式计算流程示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1
本发明以大数据生态技术栈实现工业数据的流式处理计算，完成一站式的工业数据应用服务并且提供可靠的分析报告。在数据计算上，采用大数据流计算引擎Flink实现，数据存储由大数据分布式文件存储***Hadoop完成，数据访问安全使用kerberos网络授权协议，实现***的鲁棒性、可用性、安全性，解决当下工业企业数据时效性计算、自动化分析报告、数据存储安全的痛点。实现工业企业数据统一管理，打破工业数据孤岛，实现工业数据闭环。
如图1所示，本发明包括采集步骤、数据转换步骤和工业指标计算步骤以及工业生产质量分析步骤。
所述采集步骤，包括如下步骤：
步骤A1：获取工业设备产生的bit数组，具体为：
工业设备运行中会产生bit数组，数组中包含设备***状态、设备***监控、设备上料***、设备下料***、设备移载***、设备取照***、设备性能指标、业务数据
步骤B1：数据网关接收设备产生的bit数组，通过OPC协议识别出设备相关字段并且转换为JSON字符串，实时发送到消息中间件；
所述bit数组转换为字符串，包括如下步骤：
步骤B1S1：接收bit数组，按照约定协议转换成word数组
步骤B1S2：通过word数组解析出指定的设备信息，即：
***状态＝words[0]
其中，
第0位代表未知错误状态,一般为网络未连接成功或断电；
第1位代表自动运行；
第2位代表待机；
第3位代表故障；
第4位代表维修；
第5位代表保养；
***监控＝words[1]
其中，
第0位代表近气不稳；
第1位代表算法机停止；
第2位代表检测结果超出；
第3位代表急停被按下；
第4位代表安全门打开；
按照如上描述设备上料***、设备下料***、设备移载***、设备取照***、设备性能指标依次循环word数组的每个元素，按照协议约定转换为字符串，最后拼接成JSON发送到指定消息中间件中。
所述数据转换步骤，包括如下步骤：
步骤A2：使用Flink消费消息中间件数据信息，具体为：
自定义连接器连接消息中间件，解析数据流中的数据，根据不同的event进行不同的逻辑处理，包括如下步骤：
步骤A2S1:根据Byte数组按照UTF-8转换成字符串；
步骤A2S2:根据字符串中event字段值获取不同的key-value键值对转换成JSON字符串；
步骤B2：使用Flink异步IO技术匹配维度信息，所述异步IO匹配维度信息，包括如下步骤：
步骤B2S1:根据事件event区分出数据结构类型，解析企业ID、设备ID。
步骤B2S2:利用vertx框架和缓存结合，先根据条件查询缓存中是否有相应的维度，如果结果为空，使用vertx异步查询维度数据库中的维度信息，并且缓存下来。
即：
设备***状态数据＝设备ID+批次编号+产品ID+产品名称+状态标识+属性值+时间戳；
设备***监控＝设备ID+批次编号+产品ID+产品名称+监控指标+属性值+时间戳；
按照如上描述设备上料***、设备下料***、设备移载***、设备取照***、设备性能指标也是如上匹配相应的维度信息。
步骤B2S3:按照不同的事件event发送到消息中间件不同的主题topic中。
所述工业指标计算步骤，包括如下步骤：
步骤A3：工业指标计算步骤，具体为：
将各个不同的设备***数据、生产资料数据按照不同维度进行开窗计算，计算良品率、不良品率、缺陷率等等，然后将计算结果写入到消息中间件分析层topic中，为工业生产质量分析提供数据源。
步骤B3：指标计算步骤，具体为：
步骤B3S1：数据接入Flink计算实时消费条数、指定时长平均消费率等指标，然后把无效数据进行过滤，数据再按照event事件类型进行分割。
步骤B3S2：指定Flink Job按照event_time时间为事件驱动，并且对DataStream进行AssignTimestampAndWatermarks处理，标记classfied_date_time为事件，也即是使用AssignTimestampAndWatermarks指定数据中event_time字段且设置数据等待时间以及对延迟数据进行标记，进行开窗计算，把流式数据转换为Table流数据。使用Flink Sql对数据按照客户、设备、产品、批次等等维度进行groupBy,分别产生不同的工业指标；
即：
FirstValidFilterFunction过滤无效event数据
SecondValidFunction过滤无效classfied_date_time
AssignTimestampAndWatermarks把classfied_date_time转换为Timestamp且指定
classfied_date_time为event_time时间
Flink StreamExecutionEnvironment转换为StreamTableEnvironment对dataStream进行Sql计算。
其中sql涉及四种，分别是筛选数据类型为良品的产品数据，然后根据不同的产品、产线、客户ID、工序进行分组计算良品率；筛选数据类型为非良品的产品数据，然后根据不同的产品、产线、客户ID、工序进行分组计算非良品率；筛选数据类型为缺陷的产品数据，然后根据不同的产品、产线、客户ID、工序进行分组计算产品缺陷率；筛选数据类型为图像的产品数据，然后根据不同的产品、产线、客户ID、工序进行分组计算图像检测准确率。
步骤B3S3：对计算结果进行封装，持久化到列式存储数据库中进行分析，分析采用BI自助化分析引擎。列式存储数据库以便用于应用端实时查询。通过Flink实时计算出结果，按照日期和不同企业客户ID对数据进行分类，不同企业数据分别存储到不同的数据目录或者数据表中，对客户数据进行物理隔离提高安全性。采用parquet列式存储数据格式存储到HDFS或者ClickHouse中，BI自助分析工具添加数据源(为数据存储介质的地址)，然后创建创建数据集和仪表板最后对数据分析结果进行展示。
实施例2
实施例2可以视为是实施例1的优选例。实施例2说明的实现工业数据的流式处理计算***，利用了实施例1说明的实现工业数据的流式处理计算方法的步骤。
本发明提供一种实现工业数据的流式处理计算***，对设备进行数据采集，获取设备产生的bit数组，识别出设备字段转换为JSON字符串，实时发送到消息中间件；使用Flink计算引擎解析消息中间件的数据信息，并进行异步匹配对应的维度信息；令数据信息按照不同维度进行开窗计算，将第一计算结果写入消息中间件的分析层中，进行指标计算，将第二计算结果进行封装存储到列式存储数据库中。数据计算采用大数据流计算引擎Flink实现，数据存储由大数据分布式文件存储***Hadoop完成，数据访问安全使用kerberos网络授权协议，解决当下工业企业数据时效性计算、自动化分析报告、数据存储安全的痛点。
具体包括如下模块：
数据采集模块：通过数据网关对设备进行数据采集，获取设备产生的bit数组，通过设定OPC协议识别出设备字段，并且将设备字段转换为JSON字符串，将JSON字符串实时发送到消息中间件；
数据转换模块：使用Flink计算引擎解析消息中间件的数据信息，并进行异步匹配对应的维度信息；
指标计算模块：令数据信息按照不同维度进行开窗计算，得到第一计算结果，将第一计算结果写入消息中间件的分析层中，进行指标计算，得到第二计算结果，将第二计算结果进行封装，存储到列式存储数据库中。
所述数据采集模块包括：
获取数据模块：获取设备在运行过程中产生的bit数组，所述bit数组中包括设备状态信息和业务数据信息；
数组转换模块：通过OPC协议识别出设备ID、设备状态、设备运行时长、下料口、缺陷ID、生产产品ID中的任一种或任多种设备字段并转换成word数组，通过word数组解析出设备信息，所述设备信息包括设备状态和监控状态中的任一种或任多种，之后将word数组转换为字符串，并拼接成JSON字符串发送到消息中间件中。
所述数据转换模块包括：
消息消费模块：自定义连接器连接消息中间件，解析数据流中的数据，根据不同的事件进行不同的逻辑处理；
异步匹配模块：根据事件区分出数据结构类型，解析企业ID和设备ID，使用企业ID和设备ID进行条件查询缓存中是否有对应的维度信息，若查询为空，则利用vertx框架进行异步查询维度数据库中的维度信息，令查询结果缓存，并按照不同的事件发送到消息中间件中不同的主题中。
所述指标计算模块包括：
开窗计算模块：将各个不同的设备状态数据、生产资料数据按照不同维度进行开窗计算，得到第一计算结果，所述第一计算结果中包括良品率、不良品率、缺陷率中的任一种或任多种；
结果封装模块：令第一计算结果接入Apache Flink进行指标计算，过滤无效数据，按照事件类型进行分割后，进行开窗计算，把流式数据转换为Table流数据，使用FlinkSql对数据按照多维度进行分组排序,分别产生不同的工业指标，形成第二计算结果并进行封装，存储到列式存储数据库中。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的***、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (8)
1.一种实现工业数据的流式处理计算方法，其特征在于，包括：
数据采集步骤：通过数据网关对设备进行数据采集，获取设备产生的bit数组，通过设定OPC协议识别出设备字段，并且将设备字段转换为JSON字符串，将JSON字符串实时发送到消息中间件；
数据转换步骤：使用Flink计算引擎解析消息中间件的数据信息，并进行异步匹配对应的维度信息；
指标计算步骤：令数据信息按照不同维度进行开窗计算，得到第一计算结果，将第一计算结果写入消息中间件的分析层中，进行指标计算，得到第二计算结果，将第二计算结果进行封装，存储到列式存储数据库中。
2.根据权利要求1所述的实现工业数据的流式处理计算方法，其特征在于，所述数据采集步骤包括：
获取数据步骤：获取设备在运行过程中产生的bit数组，所述bit数组中包括设备状态信息和业务数据信息；
数组转换步骤：通过OPC协议识别出设备ID、设备状态、设备运行时长、下料口、缺陷ID、生产产品ID中的任一种或任多种设备字段并转换成word数组，通过word数组解析出设备信息，所述设备信息包括设备状态和监控状态中的任一种或任多种，之后将word数组转换为字符串，并拼接成JSON字符串发送到消息中间件中。
3.根据权利要求1所述的实现工业数据的流式处理计算方法，其特征在于，所述数据转换步骤包括：
消息消费步骤：自定义连接器连接消息中间件，解析数据流中的数据，根据不同的事件进行不同的逻辑处理；
异步匹配步骤：根据事件区分出数据结构类型，解析企业ID和设备ID，使用企业ID和设备ID进行条件查询缓存中是否有对应的维度信息，若查询为空，则利用vertx框架进行异步查询维度数据库中的维度信息，令查询结果缓存，并按照不同的事件发送到消息中间件中不同的主题中。
4.根据权利要求1所述的实现工业数据的流式处理计算方法，其特征在于，所述指标计算步骤包括：
开窗计算步骤：将各个不同的设备状态数据、生产资料数据按照不同维度进行开窗计算，得到第一计算结果，所述第一计算结果中包括良品率、不良品率、缺陷率中的任一种或任多种；
结果封装步骤：令第一计算结果接入Apache Flink进行指标计算，过滤无效数据，按照事件类型进行分割后，进行开窗计算，把流式数据转换为Table流数据，使用FlinkSql对数据按照多维度进行分组排序,分别产生不同的工业指标，形成第二计算结果并进行封装，存储到列式存储数据库中。
5.一种实现工业数据的流式处理计算***，其特征在于，包括：
数据采集模块：通过数据网关对设备进行数据采集，获取设备产生的bit数组，通过设定OPC协议识别出设备字段，并且将设备字段转换为JSON字符串，将JSON字符串实时发送到消息中间件；
数据转换模块：使用Flink计算引擎解析消息中间件的数据信息，并进行异步匹配对应的维度信息；
指标计算模块：令数据信息按照不同维度进行开窗计算，得到第一计算结果，将第一计算结果写入消息中间件的分析层中，进行指标计算，得到第二计算结果，将第二计算结果进行封装，存储到列式存储数据库中。
6.根据权利要求5所述的实现工业数据的流式处理计算***，其特征在于，所述数据采集模块包括：
获取数据模块：获取设备在运行过程中产生的bit数组，所述bit数组中包括设备状态信息和业务数据信息；
数组转换模块：通过OPC协议识别出设备ID、设备状态、设备运行时长、下料口、缺陷ID、生产产品ID中的任一种或任多种设备字段并转换成word数组，通过word数组解析出设备信息，所述设备信息包括设备状态和监控状态中的任一种或任多种，之后将word数组转换为字符串，并拼接成JSON字符串发送到消息中间件中。
7.根据权利要求5所述的实现工业数据的流式处理计算***，其特征在于，所述数据转换模块包括：
消息消费模块：自定义连接器连接消息中间件，解析数据流中的数据，根据不同的事件进行不同的逻辑处理；
异步匹配模块：根据事件区分出数据结构类型，解析企业ID和设备ID，使用企业ID和设备ID进行条件查询缓存中是否有对应的维度信息，若查询为空，则利用vertx框架进行异步查询维度数据库中的维度信息，令查询结果缓存，并按照不同的事件发送到消息中间件中不同的主题中。
8.根据权利要求5所述的实现工业数据的流式处理计算***，其特征在于，所述指标计算模块包括：
开窗计算模块：将各个不同的设备状态数据、生产资料数据按照不同维度进行开窗计算，得到第一计算结果，所述第一计算结果中包括良品率、不良品率、缺陷率中的任一种或任多种；
结果封装模块：令第一计算结果接入Apache Flink进行指标计算，过滤无效数据，按照事件类型进行分割后，进行开窗计算，把流式数据转换为Table流数据，使用FlinkSql对数据按照多维度进行分组排序,分别产生不同的工业指标，形成第二计算结果并进行封装，存储到列式存储数据库中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010651990.0A CN111935226B (zh) | 2020-07-08 | 2020-07-08 | 支持工业数据实现流式计算方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010651990.0A CN111935226B (zh) | 2020-07-08 | 2020-07-08 | 支持工业数据实现流式计算方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111935226A true CN111935226A (zh) | 2020-11-13 |
| CN111935226B CN111935226B (zh) | 2021-06-08 |
Family
ID=73313557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010651990.0A Active CN111935226B (zh) | 2020-07-08 | 2020-07-08 | 支持工业数据实现流式计算方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111935226B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113297216A (zh) * | 2021-05-17 | 2021-08-24 | 中国人民解放军63920部队 | 航天测控数据实时入库方法 |
| CN115422208A (zh) * | 2022-11-07 | 2022-12-02 | 江苏智云天工科技有限公司 | 缺陷检测处理方法、***及介质 |
| CN116629805A (zh) * | 2023-06-07 | 2023-08-22 | 浪潮智慧科技有限公司 | 一种分布式流批一体化的水利指标服务方法、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170264640A1 (en) * | 2016-03-11 | 2017-09-14 | Netskope, Inc. | Systems and methods of enforcing multi-part policies on data-deficient transactions of cloud computing services |
| CN109951463A (zh) * | 2019-03-07 | 2019-06-28 | 成都古河云科技有限公司 | 一种基于流计算和新型列式存储的物联网大数据分析方法 |
| CN110365644A (zh) * | 2019-06-05 | 2019-10-22 | 华南理工大学 | 一种构建物联网设备高性能监控平台的方法 |
| CN110737654A (zh) * | 2019-10-18 | 2020-01-31 | 浪潮云信息技术有限公司 | 一种基于Flink的物联网设备行为分析方法 |
| CN111367989A (zh) * | 2020-06-01 | 2020-07-03 | 北京江融信科技有限公司 | 一种实时数据指标计算***和方法 |
| CN111367951A (zh) * | 2020-02-29 | 2020-07-03 | 深圳前海微众银行股份有限公司 | 一种流数据处理的方法及装置 |
-
2020
- 2020-07-08 CN CN202010651990.0A patent/CN111935226B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170264640A1 (en) * | 2016-03-11 | 2017-09-14 | Netskope, Inc. | Systems and methods of enforcing multi-part policies on data-deficient transactions of cloud computing services |
| CN109951463A (zh) * | 2019-03-07 | 2019-06-28 | 成都古河云科技有限公司 | 一种基于流计算和新型列式存储的物联网大数据分析方法 |
| CN110365644A (zh) * | 2019-06-05 | 2019-10-22 | 华南理工大学 | 一种构建物联网设备高性能监控平台的方法 |
| CN110737654A (zh) * | 2019-10-18 | 2020-01-31 | 浪潮云信息技术有限公司 | 一种基于Flink的物联网设备行为分析方法 |
| CN111367951A (zh) * | 2020-02-29 | 2020-07-03 | 深圳前海微众银行股份有限公司 | 一种流数据处理的方法及装置 |
| CN111367989A (zh) * | 2020-06-01 | 2020-07-03 | 北京江融信科技有限公司 | 一种实时数据指标计算***和方法 |
Non-Patent Citations (2)
| Title |
|---|
| 杨晨旭: ""基于微服务架构的金融商城***设计与实现"", 《中国优秀硕士学位论文全文数据库——信息科技辑》 * |
| 黄璞: ""基于Kafka的数字化制造车间大数据处理平台设计与实现"", 《中国优秀硕士学位论文全文数据库——工程科技Ⅱ辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113297216A (zh) * | 2021-05-17 | 2021-08-24 | 中国人民解放军63920部队 | 航天测控数据实时入库方法 |
| CN113297216B (zh) * | 2021-05-17 | 2024-06-11 | 中国人民解放军63920部队 | 航天测控数据实时入库方法 |
| CN115422208A (zh) * | 2022-11-07 | 2022-12-02 | 江苏智云天工科技有限公司 | 缺陷检测处理方法、***及介质 |
| CN116629805A (zh) * | 2023-06-07 | 2023-08-22 | 浪潮智慧科技有限公司 | 一种分布式流批一体化的水利指标服务方法、设备及介质 |
| CN116629805B (zh) * | 2023-06-07 | 2023-12-01 | 浪潮智慧科技有限公司 | 一种分布式流批一体化的水利指标服务方法、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111935226B (zh) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111935226B (zh) | 支持工业数据实现流式计算方法及*** | |
| CN107943668B (zh) | 计算机服务器集群日志监控方法及监控平台 | |
| CN110457190B (zh) | 一种基于区块链的全链路监控方法、装置及*** | |
| CN107832196B (zh) | 一种用于实时日志异常内容的监测装置及监测方法 | |
| CN111047190A (zh) | 一种基于交互式学习技术的多元化业务建模框架*** | |
| US20230129123A1 (en) | Monitoring and Management System for Automatically Generating an Issue Prediction for a Trouble Ticket | |
| CN111984499A (zh) | 一种大数据集群的故障检测方法和装置 | |
| CN105447681B (zh) | 一种理化检测控制与信息管理*** | |
| CN106375149A (zh) | 一种自动关联分析的云计算监控装置及方法 | |
| CN114868092B (zh) | 数据管理平台、缺陷分析***、缺陷分析方法、计算机存储介质和用于缺陷分析的方法 | |
| CN1960297A (zh) | 监控网络上设备组的***与方法 | |
| CN111163150A (zh) | 一种分布式调用追踪*** | |
| CN103488793A (zh) | 一种基于信息检索的用户行为监控方法 | |
| CN112364145A (zh) | 一种工单处理方法、装置、电子设备及存储介质 | |
| CN112559280B (zh) | 基于数据中台的数据全链路监控方法 | |
| CN112148578A (zh) | 基于机器学习的it故障缺陷预测方法 | |
| CN111143304B (zh) | 一种基于请求链路的微服务***异常日志分析方法 | |
| CN108052358B (zh) | 一种分布式部署的***和方法 | |
| CN114780335A (zh) | 监测数据的关联方法、装置、计算机设备和存储介质 | |
| CN114429256A (zh) | 数据监测方法、装置、电子设备及存储介质 | |
| US20230367668A1 (en) | Proactive root cause analysis | |
| CN110955551B (zh) | 一种基于tomcat中间件的故障智能诊断装置 | |
| Xu et al. | Cloud computing boosts business intelligence of telecommunication industry | |
| CN115952236A (zh) | 一种基于实时流计算的停电数据分析处理方法及装置 | |
| US20220035359A1 (en) | System and method for determining manufacturing plant topology and fault propagation information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Support the implementation of streaming computing methods and systems for industrial data Effective date of registration: 20230524 Granted publication date: 20210608 Pledgee: Bank of Hangzhou Limited by Share Ltd. Shanghai branch Pledgor: Shanghai Weiyi Intelligent Manufacturing Technology Co.,Ltd. Registration number: Y2023310000207 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |