CN111143438B - 一种基于流处理的车间现场数据实时监测与异常检测方法 - Google Patents
一种基于流处理的车间现场数据实时监测与异常检测方法 Download PDFInfo
- Publication number
- CN111143438B CN111143438B CN201911387816.3A CN201911387816A CN111143438B CN 111143438 B CN111143438 B CN 111143438B CN 201911387816 A CN201911387816 A CN 201911387816A CN 111143438 B CN111143438 B CN 111143438B
- Authority
- CN
- China
- Prior art keywords
- data
- time
- workshop
- monitoring
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 77
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 238000012544 monitoring process Methods 0.000 title claims abstract description 40
- 238000004519 manufacturing process Methods 0.000 claims abstract description 30
- 230000002159 abnormal effect Effects 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000007726 management method Methods 0.000 claims description 7
- 230000005856 abnormality Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 5
- 238000013480 data collection Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000011160 research Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 18
- 238000012360 testing method Methods 0.000 description 15
- 238000005111 flow chemistry technique Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 238000003466 welding Methods 0.000 description 3
- 238000011990 functional testing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2477—Temporal data queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- General Factory Administration (AREA)
Abstract
本发明涉及车间现场数据监测技术领域，具体涉及一种基于流处理的车间现场数据实时监测与异常检测方法，包括以下步骤：首先由车间生产运行数据采集设备采集数据并生成数据流，然后通过Kafka分布式消息队列进行数据缓存，传递至下一级Bolt单独进行数据预处理，再进行基于滑动时间窗的运行数据统计和异常检测，然后根据判断出的异常状态下所对应的数据，与数据库中对应的异常状态数据进行识别比对；本发明通过对数据流进行数据预处理，排除了生产现场运行数据的空值，离群值等明显错误，设计了一种基于滑动时间窗的运行数据统计与异常检测技术，既保证运行数据处理的时效性，也在一定程度上保证了相连数据的关联性。
Description
技术领域
本发明涉及车间现场数据监测技术领域，具体涉及一种基于流处理的车间现场数据实时监测与异常检测方法。
背景技术
工业制造业随着中国经济发展快速崛起，其制造能力的发展直接影响国家经济发展和社会进步。由于生产车间现场环境的复杂性和产品信息的多样性，导致了企业对资源配置的不合理，造成材料浪费和经济损失。
近年来，随着传感检测技术的发展和物联网设备的普及，车间生产现场运行数据呈现“指数级”的上升，对于车间现场来讲，导致监测***实时性低，可扩展性不高，容易出现延时甚至奔溃，数据总量和价值随时间的推移迅速增加和流失，挖掘其价值超出了传统数据处理的计算能力，无法满足对车间生产的实时监测管理需求，给现有基于生产车间现场运行数据的异常状态监测***带来海量运行数据流实时处理、海量数据存储、数据实时可视化分析等挑战。
基于此，本发明设计了一种基于流处理的车间现场数据实时监测与异常检测方法，以解决上述问题。
发明内容
本发明的目的在于提供一种基于流处理的车间现场数据实时监测与异常检测方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于流处理的车间现场数据实时监测与异常检测方法，其特征在于,包括以下步骤：
S1：由车间生产运行数据采集设备采集数据并生成数据流；
S2：通过在分布式服务器管理***Zookeeper上分别注册Kafka和Storm的节点，并对Kafka和Storm的服务器节点统一管理；
S3：通过Kafka分布式消息队列进行数据缓存，将部署Storm的实时大数据计算平台作为Kafka的数据消费端，采用Kafka与Storm的集成KafkaSpout作为消息队列和大数据平台衔接的数据源，并以数据载体的形式传递至下一级Bolt进行分析处理；
S4：当数据源Kafkaspout接收到运行数据后，首先通过数据拆分Bolt，获取不同运行数据在不同采集通道上的数据；
S5：单独在Bolt中进行数据预处理；
S6：再进行基于滑动时间窗的运行数据统计和异常检测，将滑动窗口设置为0.5min，基本时间窗口为5s，在每个基本时间窗口下都进行独立的计算任务，此时计算任务将以5s的滑动窗口在0.5分钟内进行滑动，最后再合并基本时间窗口，统计整个计算窗口的计算结果；
S7：在Spout和Bolt完成后，在Storm的Topology设定各个组件的数据流向和分组方式；
S8：在Storm实时处理框架中通过实时流聚类的算法实现车间生产现场状态的在线判断，根据判断出的异常状态下所对应的数据，与数据库中对应的异常状态数据进行识别比对，再输出异常记录，并保存到数据库中。
优选的，步骤S5中的数据预处理的步骤包括数据清洗、数据格式化和判断数据是否需要存储。
优选的，步骤S6中运行数据统计是指统计运行数据的最大值、最小值、平均值、出现的频次、能量利用率这些指标，异常检测主要包括实时临界检测和基于滑动时间窗的异常监测。
优选的，步骤S6中基于滑动时间窗的运行数据统计和异常检测的具体步骤和单元包括：
步骤一：滑动窗口处理单元：首先设置滑动窗口所需的发送数据的时间和参数，参数主要包括单元窗口长度和滑动窗口长度；
步骤二：字段拆分处理单元：将接收的运行数据按照监测信号的种类进行拆分，将同一类的运行数据下发至下一级数据处理单元；
步骤三：数据统计处理单元：在单元时间窗口内实现数据的最值、平均值这些数据指标的计算，并将计算结果发给下一级数据处理单元进行整个时间窗口的数据聚合；
步骤四：频数计算处理单元：主要为实现需要进行频数统计的运行数据服务；
步骤五：阈值判断处理单元：根据各个监测数据的类型，结合数据特点以及相关研究，制定阈值判断的策略；
步骤六：汇总计算处理单元：在此处理单元上合并统计所有基本时间窗口的数据，使用全局汇总的数据聚合方式，即将所有的数据都发送到同一个处理单元进行最终的的计算。
优选的，数据清洗的具体方式为：首先检查数据是否合格，如果合格，继续进行后续数据处理，如果数据不合格，则执行数据清理和过滤操作，从监测数据中删除具有空值、离群值和明显错误信息的数据。
优选的，数据格式化包括数据标定和删除冗余值，具体方式为：对数据进行校准和格式化，将模拟值转换为真实值，同时删除传感器和采集***存储的数据中的冗余信息，如数据标题、标头和其它字段。
优选的，判断数据是否需要存储的判断依据是数据是否需要先进行处理后再存储在数据库。
与现有技术相比，本发明的有益效果是：本发明通过对数据流进行数据预处理，排除了生产现场运行数据的空值，离群值，冗余数据和格式错误等明显错误；设计了一种基于滑动时间窗的运行数据统计与异常检测技术，既保证运行数据处理的时效性，也在一定程度上保证了相连数据的关联性，充分、实时、准确地获得生产车间现场过程中的状态信息，实现对生产过程数据有效控制、分析和管理，实时进行生产防错。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明车间现场运行数据流处理流程图；
图2为本发明数据预处理流程图；
图3为本发明基于滑动时间窗的数据统计与检测示意图；
图4为本发明基于滑动时间窗的数据统计与检测的实现流程图；
图5为本发明生产数据的状态监测平台软件***的业务流程图；
图6为本发明案例的型号及检测指标示意图；
图7为本发明前端电芯开路电压测试页面图；
图8为本发明车间生产工序检测记录界面图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-5，本发明提供一种技术方案：一种基于流处理的车间现场数据实时监测与异常检测方法，包括以下步骤：
S1：由车间生产运行数据采集设备采集数据并生成数据流；
S2：用户根据账号的权限拥有不同的操作权限，验证身份成功后，登录***，***进行初始化，通过在分布式服务器管理***Zookeeper上分别注册Kafka和Storm的节点，并对Kafka和Storm的服务器节点统一管理；
S3：通过Kafka分布式消息队列进行数据缓存，将部署Storm的实时大数据计算平台作为Kafka的数据消费端，采用Kafka与Storm的集成KafkaSpout作为消息队列和大数据平台衔接的数据源，并以数据载体的形式传递至下一级Bolt进行分析处理；
S4：当数据源Kafkaspout接收到运行数据后，首先通过数据拆分Bolt，获取不同运行数据在不同采集通道上的数据；
S5：单独在Bolt中进行数据预处理，也可以结合具体的运行数据监测需求，通过单独在Bolt中进行编程实现；在实际生产和操作过程中，传感器和数据采集设备会受到外部电磁和噪声干扰或异常情况的影响，数据预处理用于消除这种影响下产生的错误和冗余数据；
数据预处理第一步进行数据清洗，首先检查数据是否合格，如果合格，继续进行后续数据处理。如果数据不合格，则执行数据清理和过滤操作，以从监测数据中删除具有空值、离群值和明显错误信息的数据；
第二步进行数据格式化，包括数据标定和删除冗余值，具体为对数据进行校准和格式化，将模拟值转换为真实值，同时传感器和采集***存储的数据包含许多冗余信息，例如数据标题、标头和其它字段等，这些冗余信息对于监测***都是无用的数据，都需要进行删除。
第三步判断数据是否需要存储，以这些数据是需要直接存储在数据库中，还是需要在存储后处理作为判断依据，对数据进行区分。
S6：再进行基于滑动时间窗的运行数据统计和异常检测，将滑动窗口设置为0.5min，基本时间窗口为5s，在每个基本时间窗口下都进行独立的计算任务，此时计算任务将以5s的滑动窗口在0.5分钟内进行滑动，最后再合并基本时间窗口，统计整个计算窗口(0.5min)的计算结果，运行数据统计是指统计运行数据的最大值、最小值、平均值、出现的频次、能量利用率等指标，异常检测主要包括实时临界检测和基于滑动时间窗的异常监测，基于滑动时间窗的运行数据统计和异常检测的具体步骤和单元包括：
步骤一：滑动窗口处理单元：首先设置滑动窗口所需的发送数据的时间和参数，参数主要包括单元窗口长度和滑动窗口长度；
步骤二：字段拆分处理单元：将接收的运行数据按照监测信号的种类进行拆分，将同一类的运行数据下发至下一级数据处理单元；
步骤三：数据统计处理单元：在单元时间窗口内实现数据的最值、平均值等数据指标的计算，并将计算结果发给下一级数据处理单元进行整个时间窗口的数据聚合；
步骤四：频数计算处理单元：主要为实现需要进行频数统计的运行数据服务；
步骤五：阈值判断处理单元：根据各个监测数据的类型，结合数据特点以及相关研究，制定阈值判断的策略；
步骤六：汇总计算处理单元：在此处理单元上合并统计所有基本时间窗口的数据，使用全局汇总的数据聚合方式，即将所有的数据都发送到同一个处理单元进行最终的的计算。
流处理的实质上是将运行数据看成持续不断的数据流，针对数据的计算都是对单个数据点进行计算，即“新到一个数据就处理一次”，这种方式虽然能够保证运行数据处理的时效性，但是在一定程度上割裂了相连数据的关联性，而这种运行数据的关联性对机床状态的预测与分析都非常重要，因此引入滑动时间窗的处理方式对运行数据进行处理是十分有必要的
S7：在Spout和Bolt完成后，在Storm的Topology设定各个组件的数据流向和分组方式；
S8：在Storm实时处理框架中通过实时流聚类的算法实现车间生产现场状态的在线判断，根据判断出的异常状态下所对应的数据，与数据库中对应的异常状态数据进行识别比对，再输出异常记录，保存到数据库中，并将结果显示在前端界面中。
以动力电池的组装测试为例，具体实施方式如下：
首先，用户根据账号的权限拥有不同的操作权限，验证身份成功后，登录***，***进行初始化，根据数据的处理需求，先通过Kafka消息队列将运行数据接入到大数据平台，进行数据预处理操作，再通过数据流处理，在Storm实时处理框架中通过实时流聚类的算法实现车间生产现场状态的在线判断，根据判断出的异常状态下所对应的数据，与数据库中对应的异常状态数据进行识别比对，再输出异常记录，并保存到数据库中。
登录***之后具体检测加工工序如下：
第一步：Cell投入；第二步：Mapping合码；第三步：激光焊接；第四步：内电阻/绝缘耐压测试；第五步：功能测试。
基于传感技术和自动识别技术对产品工序各个阶段进行采集、测试和分析，验证所提出基于车间现场运行数据流的生产线产品异常状态监测的有效性。数据采集***采用日置、安捷伦、三菱等传感器，将采集数据经过预处理之后，将处理数据结果接入Kafka消息队列，部分数据采集装置的型号及检测指标如图6所示。
然后，进行运行数据采集存储技术测试。在车间生产线不同工序中，配置了多类型传感器，其中日置BT3563通过检测开路电压、内电阻等指标判定电池电芯是否合格，在电池加工生产各个工序中，监测采集的指标有低阻抗检测的电阻、功能测试产品的总电压、总内阻、单体温度以及板载温度等产品海量运行数据。通过搭建分布式集群环境，在分布式集群无其他任务的条件下对采集的数据进行计算，分析运行结果。其中使用kafka作为消息队列；使用Storm作为分布式运行数据流处理框架，实现对车间限产数据实时、稳定的监测。通过将前端查询结果与后台数据库的运行数据进行对比可以发现：所设计的数据库能够完成运行数据的存储，在存储过程中未出现数据库“崩溃”、“缓存区满”等问题；运行数据查询结果无丢失，无重复，并且查询速度快，能够基本满足数据查询需求。
最后，进行实时流处理技术测试与分析。在本部分测试车间现场生产监测***的流处理技术与应用案例，其中选择分布式数据库用于实时存储，使用Ajax技术用于运行数据的实时刷新，并实时更新网页端界面内容，实现数据实时分析、处理与上传。案例测试了基于流处理技术的异常状态应用效果与性能。以***的功能完成度和产品合格率作为测试标准。具体测试与分析如下：
首先，基于流处理技术的异常状态监测测试流程为通过在分布式服务器管理***Zookeeper上分别注册Kafka和Storm的节点，并对Kafka和Storm的服务器节点统一管理。为确保监测数据能够被实时处理，通过Kafka分布式消息队列进行数据缓存，将部署Storm的实时大数据计算平台作为Kafka的数据消费端，采用Kafka与Storm的集成KafkaSpout作为消息队列和大数据平台衔接的数据源，并以数据载体的形式传递至下一级Bolt进行分析处理。当数据源Kafkaspout接收到运行数据后，首先通过数据拆分Bolt，获取不同运行数据在不同采集通道上数据，在结合具体的运行数据监测需求，单独在Bolt中进行编程实现，如实现运行数据的预处理、基于滑动时间窗的数据统计和数据异常监测等。完成各个Spout和Bolt的逻辑编写后，在Storm的Topology设定各个组件的数据流向和分组方式；
然后进行流处理技术功能测试，在车间实际生产过程中，第一道工序为Cell投入，此工序主要是通过检测开路电压衰减指标，通过测量实际电压来判断是否符合测试指标范围，此时电芯若不合格则需退回供应商；对此项指标的实时、高效和稳定的检测非常重要，因此引入了基于storm的流处理技术来对采集数据实时处理分析，使得处理延时显著下降。
基于流处理的机床运行数据实时处理技术在监测***中主要实现数据预处理、数据统计、数据异常检测、实时运行状态判断。其中数据预处理和数据统计主要在后台完成数据处理，在前端界面中主要显示数据异常检测和运行状态判断结果，并在异常管理模块中进行显示。根据电芯参数和产品要求，分别设定开路电压的极小值和极大值设为3.294V和3.299V。由测量电压衰减信号易受外界干扰，瞬时变化特性大，测量值较为精确等原因，直接进行阈值监测容易产生误报现象，因此根据基于滑动时间窗的数据临界异常检测策略，每秒统计最近5秒的测量均值和极大极小值，若电芯开路电压的实际值超过报警阈值的概率大于80％，则输出“NG”，即为产品不合格，并将结果显示在前端界面中；若通过流处理计算实时计算分析后的值处于工艺规定的范围内，则可判定为合格，在前端界面反馈“OK”。在这一过程中，通过引入基于流处理的滑动时间窗概念，不仅提高了检测稳定性和效率，而且防止电芯质量误检率，提高了车间工厂的检测和生产效率。图7为前端检测界面的实时检测信息。
本文使用Ajax技术实现了运行数据的实时刷新和数据库访问，使用Html5和CSS样式完成前端页面的编写。在本测试案例中以电芯开路电压、焊接质量监测的焊接电流作为测试对象。检测处理延时满足生产现场的需要，不影响实际加工和生产，使用网页浏览器可以加载出性能测试结果以及各环节工序的检测指标，可以在网页端完成对检测指标的动态调整和修改。在各工序生产过程中，各加工工序的监测记录项目界面如图8所示。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (6)
1.一种基于流处理的车间现场数据实时监测与异常检测方法，其特征在于,包括以下步骤：
S1：由车间生产运行数据采集设备采集数据并生成数据流；
S2：通过在分布式服务器管理***Zookeeper上分别注册Kafka和Storm的节点，并对Kafka和Storm的服务器节点统一管理；
S3：通过Kafka分布式消息队列进行数据缓存，将部署Storm的实时大数据计算平台作为Kafka的数据消费端，采用Kafka与Storm的集成KafkaSpout作为消息队列和大数据平台衔接的数据源，并以数据载体的形式传递至下一级Bolt进行分析处理；
S4：当数据源Kafkaspout接收到运行数据后，首先通过数据拆分Bolt，获取不同运行数据在不同采集通道上的数据；
S5：单独在Bolt中进行数据预处理；
S6：再进行基于滑动时间窗的运行数据统计和异常检测，将滑动窗口设置为0.5min，基本时间窗口为5s，在每个基本时间窗口下都进行独立的计算任务，此时计算任务将以5s的滑动窗口在0.5分钟内进行滑动，最后再合并基本时间窗口，统计整个计算窗口的计算结果；
S7：在Spout和Bolt完成后，在Storm的Topology设定各个组件的数据流向和分组方式；
S8：在Storm实时处理框架中通过实时流聚类的算法实现车间生产现场状态的在线判断，根据判断出的异常状态下所对应的数据，与数据库中对应的异常状态数据进行识别比对，再输出异常记录，并保存到数据库中；
步骤S6中所述基于滑动时间窗的运行数据统计和异常检测的具体步骤和单元包括：
步骤一：滑动窗口处理单元：首先设置滑动窗口所需的发送数据的时间和参数，参数主要包括单元窗口长度和滑动窗口长度；
步骤二：字段拆分处理单元：将接收的运行数据按照监测信号的种类进行拆分，将同一类的运行数据下发至下一级数据处理单元；
步骤三：数据统计处理单元：在单元时间窗口内实现数据的最值、平均值这些数据指标的计算，并将计算结果发给下一级数据处理单元进行整个时间窗口的数据聚合；
步骤四： 频数计算处理单元：主要为实现需要进行频数统计的运行数据服务；
步骤五：阈值判断处理单元：根据各个监测数据的类型，结合数据特点以及相关研究，制定阈值判断的策略；
步骤六：汇总计算处理单元：在此处理单元上合并统计所有基本时间窗口的数据，使用全局汇总的数据聚合方式，即将所有的数据都发送到同一个处理单元进行最终的的计算。
2.根据权利要求1所述的一种基于流处理的车间现场数据实时监测与异常检测方法，其特征在于：步骤S5中的所述数据预处理的步骤包括数据清洗、数据格式化和判断数据是否需要存储。
3.根据权利要求1所述的一种基于流处理的车间现场数据实时监测与异常检测方法，其特征在于：步骤S6中所述运行数据统计是指统计运行数据的最大值、最小值、平均值、出现的频次、能量利用率这些指标，所述异常检测主要包括实时临界检测和基于滑动时间窗的异常监测。
4.根据权利要求2所述的一种基于流处理的车间现场数据实时监测与异常检测方法，其特征在于：所述数据清洗的具体方式为：首先检查数据是否合格，如果合格，继续进行后续数据处理， 如果数据不合格，则执行数据清理和过滤操作，从监测数据中删除具有空值、离群值和明显错误信息的数据。
5.根据权利要求2所述的一种基于流处理的车间现场数据实时监测与异常检测方法，其特征在于：所述数据格式化包括数据标定和删除冗余值，具体方式为：对数据进行校准和格式化，将模拟值转换为真实值，同时删除传感器和采集***存储的数据中的冗余信息，如数据标题、标头和其它字段。
6.根据权利要求2所述的一种基于流处理的车间现场数据实时监测与异常检测方法，其特征在于：所述判断数据是否需要存储的判断依据是数据是否需要先进行处理后再存储在数据库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911387816.3A CN111143438B (zh) | 2019-12-30 | 2019-12-30 | 一种基于流处理的车间现场数据实时监测与异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911387816.3A CN111143438B (zh) | 2019-12-30 | 2019-12-30 | 一种基于流处理的车间现场数据实时监测与异常检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111143438A CN111143438A (zh) | 2020-05-12 |
| CN111143438B true CN111143438B (zh) | 2023-09-12 |
Family
ID=70521564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911387816.3A Active CN111143438B (zh) | 2019-12-30 | 2019-12-30 | 一种基于流处理的车间现场数据实时监测与异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111143438B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112000858B (zh) * | 2020-08-17 | 2024-04-05 | 浙江鸿城科技有限责任公司 | 一种车间数据异常识别的方法 |
| CN112699113B (zh) * | 2021-01-12 | 2022-08-05 | 上海交通大学 | 时序数据流驱动的工业制造流程运行监测*** |
| CN113325824B (zh) * | 2021-06-02 | 2022-10-25 | 三门核电有限公司 | 一种基于阈值监测的调节阀异常识别方法及*** |
| CN113486063A (zh) * | 2021-07-05 | 2021-10-08 | 国网河北省电力有限公司信息通信分公司 | 电力物联网中流数据处理方法、装置及终端设备 |
| CN113993001B (zh) * | 2021-09-08 | 2024-04-12 | 四创电子股份有限公司 | 一种基于滑动数据窗口的实时流式分析告警方法 |
| CN113762163B (zh) * | 2021-09-09 | 2022-06-07 | 杭州澳亚生物技术股份有限公司 | 一种gmp车间智能化监控管理方法及*** |
| WO2023050229A1 (zh) * | 2021-09-29 | 2023-04-06 | 西门子股份公司 | 工业数据处理方法、装置、电子设备和存储介质 |
| CN117331921A (zh) * | 2023-09-28 | 2024-01-02 | 石家庄铁道大学 | 一种轴承监测多源数据处理方法 |
| CN117520011B (zh) * | 2023-11-09 | 2024-06-21 | 中国三峡建工(集团)有限公司 | 一种实时数据内存的共享管理方法及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107968840A (zh) * | 2017-12-15 | 2018-04-27 | 华北电力大学（保定） | 一种大规模电力设备监测报警数据实时处理方法及*** |
| US10129118B1 (en) * | 2016-03-29 | 2018-11-13 | Amazon Technologies, Inc. | Real time anomaly detection for data streams |
| CN110347116A (zh) * | 2019-07-17 | 2019-10-18 | 重庆大学 | 一种基于运行数据流的机床状态监测***与监测方法 |
-
2019
- 2019-12-30 CN CN201911387816.3A patent/CN111143438B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10129118B1 (en) * | 2016-03-29 | 2018-11-13 | Amazon Technologies, Inc. | Real time anomaly detection for data streams |
| CN107968840A (zh) * | 2017-12-15 | 2018-04-27 | 华北电力大学（保定） | 一种大规模电力设备监测报警数据实时处理方法及*** |
| CN110347116A (zh) * | 2019-07-17 | 2019-10-18 | 重庆大学 | 一种基于运行数据流的机床状态监测***与监测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111143438A (zh) | 2020-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111143438B (zh) | 一种基于流处理的车间现场数据实时监测与异常检测方法 | |
| CN110347116B (zh) | 一种基于运行数据流的机床状态监测***与监测方法 | |
| CN104765322B (zh) | 生产线监控*** | |
| CN101770219B (zh) | 一种车铣复合机床故障诊断知识库的知识获取方法 | |
| CN111027615B (zh) | 基于机器学习的中间件故障预警方法和*** | |
| CN105653427A (zh) | 基于行为异常检测的日志监控方法 | |
| CN115186883A (zh) | 基于边云协同计算的工业设备健康状态监测***及方法 | |
| WO2022174679A1 (zh) | 单体电池电压不一致故障预测方法、装置及服务器 | |
| CN111879349A (zh) | 一种传感器数据偏差自适应修正方法 | |
| CN115170000A (zh) | 一种基于电能表通信模块的远程监测方法及*** | |
| CN115986918B (zh) | 一种输电线智能监测*** | |
| CN116108402A (zh) | 基于电力多源异构数据融合分析的方法、设备及存储介质 | |
| CN103529337B (zh) | 设备故障与电气量信息间非线性相关关系的识别方法 | |
| CN117572837A (zh) | 一种智慧电厂ai主动运维方法及*** | |
| CN115114124A (zh) | 主机风险的评估方法及评估装置 | |
| CN111314110B (zh) | 一种用于分布式***的故障预警方法 | |
| CN117491813A (zh) | 新能源汽车动力电池***绝缘异常检测方法 | |
| CN116862109A (zh) | 一种区域碳排放态势感知预警方法 | |
| Li et al. | Meteorological radar fault diagnosis based on deep learning | |
| Pan et al. | Study on intelligent anti–electricity stealing early-warning technology based on convolutional neural networks | |
| CN115481183A (zh) | 一种实时数据处理方法和*** | |
| CN203825457U (zh) | 一种基于k-bus总线的卷接机组控制*** | |
| CN206505304U (zh) | 一种多点实时温测*** | |
| CN114257885B (zh) | 一种基于双尺度窗口滚动递推异常状态判别的居配现场检测预警***及方法 | |
| Cui | Design and research on automotive controller area network bus analyzer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |