CN117493452A - 制造现场全流程数据管理*** - Google Patents

Abstract

本申请实施例提供一种制造现场全流程数据管理***。***包括：生产制造站，包括不同类型的多个生产设备；生产制造应用***，包括多个子应用***，用于采集生产制造站在预设时间段内的不同类型的信息管理数据；数据采集模块，用于实时采集多个生产设备的产线数据和接收信息管理数据并传输至第一数据平台；第一数据平台，包括数据缓存模块用于分类存储产线数据和信息管理数据，数据计算模块用于根据生产制造站的生产制造需求对产线数据和信息管理数据进行实时和/或离线计算，以得到生产制造站在预设时间段内的指标数据和生产状况数据；对指标数据和生产状况进行融合计算以得到综合指标数据；将综合指标数据存储至分布式数据库。

Description

制造现场全流程数据管理***

技术领域

本申请涉及智能制造技术领域，具体涉及一种制造现场全流程数据管理***。

背景技术

随着数字化转型，智能工厂和灯塔工厂建设的不断深入，数字化转型对大多数企业来说，不再仅仅是一个战略选项，而是组织生存和发展的必然趋势。为了进行数字化转型，大部分工业制造企业都先后引入了SAP，MES，WMS，APS，CRM，SRM，EAM，CSS，ECC，QMS，PLM等大量涉及研产供销服全流程的各种管理***，以期达到降本增效，智能制造的目的。

现有技术中针对挖机生产现场管理主要是通过以人为主的传统工厂的管理模式，虽然辅助有各种信息化***，但是MES、WMS、TMS，EAM等管理***通常都是由不同的厂商提供，每一个***都是一个封闭的体系，***与***之间相互隔离，都需要人工去管理，操作，分析，运营，决策，然后将分析结果反馈至生产现场。这种依靠人工的方式，无法实时获取整个生产过程的实时统计分析数据以供决策，导致生产过程管理不透明、不及时，不能保障物料的准时到达，生产效率无法保障。

发明内容

本申请实施例的目的是提供一种制造现场全流程数据管理***。

为了实现上述目的，本申请第一方面提供一种制造现场全流程数据管理***，包括：

生产制造站，包括不同类型的多个生产设备；

生产制造应用***，包括多个子应用***，不同的子应用***用于采集生产制造站在预设时间段内的不同类型的信息管理数据；

数据采集模块，用于实时采集多个生产设备的产线数据和接收生产制造应用***采集到的信息管理数据，并将产线数据和信息管理数据传输至第一数据平台，其中，产线数据包括多个生产设备的工况数据和操作数据；

第一数据平台，包括数据缓存模块、数据计算模块以及分布式数据库，数据缓存模块用于分类存储产线数据和信息管理数据，数据计算模块用于根据生产制造站的生产制造需求对产线数据和信息管理数据进行实时和/或离线计算，以得到生产制造站在预设时间段内的指标数据和生产状况数据；对指标数据和生产状况进行融合计算以得到综合指标数据；将综合指标数据存储至分布式数据库。

在本申请的实施例中，数据缓存模块包括分布式发布订阅消息模块和大数据存储模块，分布式发布订阅消息模块用于将产线数据缓存至不同的主题中，主题是根据生产设备的类型进行划分的；大数据存储模块用于缓存信息管理数据，并对信息管理数据进行预处理。

在本申请的实施例中，数据计算模块包括：第一分布式计算引擎，用于根据生产制造需求将产线数据划分为第一产线数据和第二产线数据，并对第一产线数据进行实时分析处理，以得到生产制造站在当前的第一生产状况数据；离线数仓，用于获取第二产线数据以及大数据存储模块中预处理后的信息管理数据，并对第二产线数据和预处理后的信息管理数据进行离线处理，以分别得到生产制造站在预设时间段内的指标数据和第二生产状况数据；第二分布式计算引擎，用于对指标数据和第二生产状况数据进行计算，以得到生产制造站在预设时间段内的综合指标数据。

在本申请的实施例中，第一数据平台还包括数据湖，用于根据用户触发的指令从离线数仓中的获取与指令对应的数据，并以表格的形式将数据展示给用户。

在本申请的实施例中，多个子应用***包括：制造执行管理信息***，用于采集生产制造站的制造执行管理数据；供应链管理信息***，用于采集供应链管理数据；人力管理信息***，用于采集人力管理数据；仓储管理信息***，用于采集仓储管理数据；质量管理信息***，用于采集质量管理数据；设备管理信息***，用于采集设备管理数据。在本申请的实施例中，数据采集模块包括：物联网数据采集模块，用于采集产线数据、制造执行管理信息***以及供应链管理信息***中的信息管理数据；分布式采集模块，用于采集人力管理信息***、仓储管理信息***、质量管理信息***以及设备管理信息***中的信息管理数据。

在本申请的实施例中，数据缓存模块包括分布式发布订阅消息模块，物联网数据采集模块还用于在采集到产线数据之后，通过预设协议将产线数据加密传输至网关，并通过网关将加密后的产线数据传输至分布式发布订阅消息模块。

在本申请的实施例中，分布式数据库包括：报表分析模块，用于对指标数据和生产状况数据进行多维度分析处理，以生成对应的多维度可视化报表；预警模块，用于在指标数据和生产状况数据中的任意一个数据存在异常的情况下，生成相应的报警信号；数据建模模块，用于根据用户触发的指令基于聚合和更新数据模型对综合指标数据进行实时聚合和更新操作。

在本申请的实施例中，***还包括：报表***，用于从分布式数据库中获取综合指标数据和生产状况数据，并将综合指标数据根据预设模板生成可视化报表进行展示。

在本申请的实施例中，生产制造站还包括：人机交互装置，用于将报表***生成的可视化报表展示至终端，以使用户根据可视化报表制定针对生产制造站的生产计划。

上述技术方案，提供了一种制造现场全流程数据管理***，包括生产制造站，包括不同类型的多个生产设备；生产制造应用***，包括多个子应用***，不同的子应用***用于采集生产制造站在预设时间段内的不同类型的信息管理数据；数据采集模块，用于实时采集多个生产设备的产线数据和接收生产制造应用***采集到的信息管理数据，并将产线数据和信息管理数据传输至第一数据平台，其中，产线数据包括多个生产设备的工况数据和操作数据；第一数据平台，包括数据缓存模块、数据计算模块以及分布式数据库，数据缓存模块用于分类存储产线数据和信息管理数据，数据计算模块用于根据生产制造站的生产制造需求对产线数据和信息管理数据进行实时和/或离线计算，以得到生产制造站在预设时间段内的指标数据和生产状况数据；对指标数据和生产状况进行融合计算以得到综合指标数据；将综合指标数据存储至分布式数据库。通过数据采集模块实时采集制造现场的生产数据和信息管理数据，并传输至数据平台进行统一分析和管理，实现了不同子***之间的数据融合互通，同时，实时获取了整个生产过程的实时统计分析数据以供决策，有效提高了生产效率，降低了制造成本。

本申请实施例的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施例，但并不构成对本申请实施例的限制。在附图中：

图1示意性示出了根据本申请实施例的制造现场全流程数据管理***的结构框图；

图2示意性示出了根据本申请实施例的制造现场全流程数据管理***的***架构图；

图3示意性示出了根据本申请实施例的一种生产设备的IOT数据采集及分析流程图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请实施例，并不用于限制本申请实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1示意性示出了根据本申请实施例的制造现场全流程数据管理***的***架构图。如图1所示，在本申请一实施例中，提供了一种制造现场全流程数据管理***，包括：

生产制造站110，包括不同类型的多个生产设备；

生产制造应用***120，包括多个子应用***，不同的子应用***用于采集生产制造站在预设时间段内的不同类型的信息管理数据；

数据采集模块130，用于实时采集多个生产设备的产线数据和接收生产制造应用***采集到的信息管理数据，并将产线数据和信息管理数据传输至第一数据平台，其中，产线包括多个生产设备的工况数据和操作数据；

第一数据平台140，包括数据缓存模块、数据计算模块以及分布式数据库，数据缓存模块用于分类存储产线数据和信息管理数据，数据计算模块用于根据生产制造站的生产制造需求对产线数据和信息管理数据进行实时和/或离线计算，以得到生产制造站在预设时间段内的指标数据和生产状况数据；对指标数据和生产状况进行融合计算以得到综合指标数据；将综合指标数据存储至分布式数据库。

制造现场可以是指挖掘机智能制造现场，因此，不同类型的多个生产设备可以是指不同类型的多个挖掘机设备，具体地，可以包括压加挖掘机、机加挖掘机、切割挖掘机、焊接挖掘机、AGV挖掘机、下料挖掘机、交调挖掘机、电动扳手挖掘机等。生产制造应用***120与生产制造站110无线连接，并采集生产制造站在预设时间段内的不同类型的信息管理数据。应当理解的是，预设时间段可以根据实际需求自由设置，例如设置为一个小时、当天中午12点至下午3点或者一天。生产设备由于类型的不同，所需的原材料、原料成本、作业方式以及加工成品等也会不同，为了支持对物料、物流设备与工位有机衔接、合理调度、体系化运作，支持多种物料配送方式，协同物料按时配送到产线，保障物料的准时到达，能保障生产效率，需要将生产设备的各项数据进行透明化管理。同时，制造现场存在人工进行管理，而人工涉及人工的考勤、绩效以及工作量等数据，这些设备和人工的数据可以统称为信息管理数据，对于不同类型的信息管理数据，每种类型的信息管理数据均由不同的子应用***进行采集和管理。而由于每个子应用***采集的信息管理数据类型不同，且由于每个子应用***通常由不同的供应商提供，子应用***之间无法联动，***间兼容性很差，存在严重的数据孤岛和行业壁垒问题，无法直接通过API等手段将各应用***横向打通，使得生产制造站的信息管理数据上传之后无法进行统一管理。因此，为了能够实现信息管理数据的统一管理，本技术方案中通过数据采集模块130将存储在每个子应用***中的不同类型的信息管理数据统一进行采集，并上传至具备高容错性和高吞吐量的第一数据平台140中进行统一的管理。

应当理解的是，对于生产设备来说，生产设备在进行作业时，会产生对应的产线数据包括操作数据OT和工况数据IOT。例如，以焊接挖掘机为例，焊接挖掘机在启动后将两个工件焊接在一起，这个数据可以称为焊接挖掘机的操作数据，而对于焊接过程中焊接挖掘机消耗的水电气、焊接过程中的温度、功率转速、压力、计量值以及焊接作业时长则属于焊接挖掘机的工况数据。为了在挖机生产现场展示生产运营管理和物料、仓储、物流、财务绩效等各方面的数据，需要打通产量、电能、工时、材料、制造费用等成本数据壁垒，深入挖掘损耗异常，助力财务成本考核与车间降本。因此，需将生产制造站的产线数据与信息管理数据联动，在本技术方案中可以通过数据采集模块130将每台生产设备的产线数据统一采集并上传至第一数据平台140中。

第一数据平台140具备高容错性和高吞吐量的特点，在本技术方案中，第一数据平台140可以是指Hadoop，Hadoop是一种分布式文件***，其核心框架包括HDFS和MapReduce，HDFS可以为海量的数据提供缓存功能，MapReduce可以为海量的数据提供计算功能。其中，第一数据平台140包括数据缓存模块、数据计算模块以及分布式数据库，在数据采集模块130生产制造站的产线数据和信息管理数据上传之后，首先数据缓存模块分类存储产线数据和信息管理数据，其次数据计算模块根据生产制造站的生产制造需求对产线数据和信息管理数据进行实时和/或离线计算，以得到生产制造站在预设时间段内的指标数据和生产状况数据，并对指标数据和生产状况进行融合计算以得到综合指标数据。应当理解的是，产线数据包括但不限于生产设备的水电气、焊接过程中的温度、功率转速、压力、计量值以及焊接作业时长等数据，信息管理数据包括但不限于物料、物流、人工考勤以及人工绩效等数据，同理，综合指标数据应当涉及人工在职、出勤、人工效率、交付产量、生产订单、采购订单、电能、产出工时、费用、单成本等多个业务模块的分析指标数据。在数据计算模块计算得到综合指标数据之后，将综合指标数据存储至分布式数据库进行统一管理。

上述技术方案，通过数据采集模块实时采集制造现场的生产数据和信息管理数据，并传输至数据平台进行统一分析和管理，实现了不同子***之间的数据融合互通，同时，实时获取了整个生产过程的实时统计分析数据以供决策，有效提高了生产效率，降低了制造成本。

在一个实施例中，数据采集模块将采集到的产线数据和信息管理数据上传至第一数据平台之后，产线数据和信息管理数据通过第一数据平台中的数据缓存模块进行存储。其中，数据缓存模块包括分布式发布订阅消息模块和大数据存储模块，分布式发布订阅消息模块用于将产线数据缓存至不同的主题中，主题是根据生产设备的类型进行划分的，大数据存储模块用于缓存信息管理数据，并对信息管理数据进行预处理。具体地，分布式发布订阅消息模块可以是指kafka，kafka是一种高吞吐量的分布式发布订阅消息***，它可以处理用户在网站中的所有动作流数据，通过集群来提供实时的消息，同时，每条发布到Kafka集群的消息都有一个类别，即Topic，也可以称为主题，主题可以自由设置。在本技术方案中，采集的产线数据来源于不同的产线设备，因此，可以根据生产设备的类型划分不同的主题，包括压加Topic、机加Topic、切割Topic、焊接Topic、AGVTopic、下料Topic、交调Topic、电动扳手Topic等。大数据缓存模块可以是指第一数据平台的存储***hadoop-hdfs，原始的信息管理数据可能会存在一些空白、重复的错误数据，为了保证数据的准确性和完整性，因此，信息管理数据缓存至hadoop-hdfs后会先进行数据清洗，将无效值和缺失值等错误数据清洗掉。

在一个实施例中，产线数据和信息管理数据分别分类缓存至分布式发布订阅消息模块与大数据缓存模块中，并经过预处理后，分类存储在kafka不同topic中的产线数据通过数据计算模块对产线数据和信息管理数据进行实时和/或离线计算。其中，数据计算模块包括实时处理数据的第一分布式计算引擎，以及离线处理数据的离线数仓和第二分布式计算引擎。具体地，通过第一分布式计算引擎对产线数据进行实时分析处理，以得到生产制造站在当前的生产状况数据。其中，第一分布式计算引擎可以是指Flink，Flink是一种开源流处理框架，Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时***可以执行批处理和流处理程序，其提供丰富的API和库，是实时数据处理的理想选择。通常情况下，生产设备的生产状况数据为实时的数据，因此，通过Flink进行实时的计算，而若当对某种类型设备的生产状况数据只需一天或者一段时间段统计一次时，则需将对应的产线数据发送至离线数仓中进行离线处理。因此，在本技术方案中，第一产线数据可以是指需实时处理的产线数据，第二产线数据可以是指需离线处理的产线数据。

进一步地，离线数仓，用于获取第二产线数据以及大数据存储模块中预处理后的信息管理数据，并对第二产线数据和预处理后的信息管理数据进行离线处理，以分别得到生产制造站在预设时间段内的指标数据和第二生产状况数据。其中，离线数仓可以是指hive离线数仓，传统的hive离线数仓一般由六层架构组成，包括ODS数据原始层、DWD数据明细层、DWS数据服务层、ADS数据应用层、DIM数据操作层以及TEMP桥接层。第二产线数据和信息管理数据在离线数仓中以离线数仓结构的顺序逐层进行不同域数据的清洗加工、标准化、关联聚合汇总以及指标整合后，最终在ADS层得到生产制造站在预设时间段内的指标数据和第二生产状况数据。

进一步地，经过离线数仓离线处理后的第二生产状况数据和指标数据会发送至第二分布式计算引擎中，通过第二分布式计算引擎中对指标数据和第二生产状况数据进行计算，以得到生产制造站在预设时间段内的综合指标数据。第二分布式计算引擎可以是指spark，spark是一种为大规模数据处理而设计的快速通用的计算引擎，具备高效性、通用性、易用性、兼容性以及容错性高的特点，适用于批处理海量数据。具体地，hive数仓分析处理后的数据会通过调度***周期性的提交到Spark集群中进行周期性的计算即离线计算，计算完成的综合指标数据会周期性的在ADS层对应的数据库中存储。

在一个实施例中，第一数据平台还包括数据湖，用于根据用户触发的指令获取离线数仓中的数据，并以表格的形式将数据展示给用户。离线数仓中的数据通常情况下，以一天为单位处理一天内的数据，而当用户想在一天的某个时间点查询数据时，离线数仓无法提供用户可视化的界面，因此，可以在用户存在实时需求的时候，启用数据湖，通过数据湖将当前离线数仓中的数据进行调用，并以表格的形式将数据展示给用户。其中，数据湖可以是指Hudi，Hudi是一个开源的数据湖工具，用于管理大规模数据湖中的数据。Hudi旨在解决数据湖中常见的一些挑战，如数据的增量更新、删除和查询等。它提供了一套API和工具，可以帮助用户在数据湖中进行写入、更新、删除和查询等操作，并提供了高效的数据索引和存储机制，以加速数据的访问和处理。

在一个实施例中，生产制造站中每种类型的信息管理数据由生产制造应用***中不同的子应用***进行采集和管理，其中，多个子应用***包括制造执行管理信息***、供应链管理信息***、人力管理信息***、仓储管理信息***、质量管理信息***以及设备管理信息***。制造执行管理信息***可以是指MES***，用于采集所述生产制造站的制造执行管理数据。供应链管理信息***可以是指SAP***，用于采集所述供应链管理数据。人力管理信息***可以是指HR***，用于采集所述人力管理数据。仓储管理信息***可以是指WMS***，用于采集所述仓储管理数据。质量管理信息***可以是指QMS***，用于采集所述质量管理数据。设备管理信息***可以是指WAM***，用于采集所述设备管理数据。

在一个实施例中，数据采集模块用于采集生产制造站的产线数据以及生产制造应用***的信息管理数据，对于不同类型的信息管理数据，每种类型的信息管理数据均由不同的子应用***进行采集和管理。具体地，在本技术方案中制造执行管理信息***采集制造执行管理数据，供应链管理信息***采集供应链管理数据，人力管理信息***采集人力管理数据，仓储管理信息***采集仓储管理数据，质量管理信息***采集质量管理数据，以及设备管理信息***采集设备管理数据。而由于每个子应用***通常由不同的供应商提供，因此，在采集每个子应用***的数据时，需根据每个子应用***的***特性选取合适的模块分别对每个子应用***进行采集。在本技术方案中，数据采集模块包括物联网数据采集模块和分布式采集模块，其中，物联网数据采集模块用于采集产线数据、制造执行管理信息***以及供应链管理信息***中的信息管理数据。分布式采集模块，用于采集人力管理信息***、仓储管理信息***、质量管理信息***以及设备管理信息***中的信息管理数据。具体地，物联网数据采集模块可以是指NIFI，NIFI是一个易于使用，功能强大而且可靠的数据处理和分发***，其具有很多内置的处理模块，只需用户修改条件或变量便可实现其功能，用于对数据进行处理、汇总、分流、过滤筛选以及组合等。分布式采集模块可以是指Flink CDC或DATAX，DataX是一个异构数据源离线同步工具，能够增量或全量采集实时性要求不高的数据，Flink CDC为分布式计算引擎Flink的数据捕获组件，能够增量采集实时性高的数据。

在一个实施例中，物联网数据采集模块还用于在采集到产线数据之后，通过预设协议将产线数据加密传输至网关，并通过网关将产线数据传输至分布式发布订阅消息模块。具体地，由于生产设备数据参数多，结构复杂，采集频率高，在本技术方案可以采用Mqtt轻量级的发布/订阅消息传递协议来对产线数据进行传输加密，生产设备在工作过程中的产线数据会以一定的频率通过PLC传输到边缘盒子，边缘端通过5G网络，以Mqtt协议进行数据组装，然后传输到云端的HiveMqtt网关，网关收到数据之后将生产设备的产线数据发送到消息队列kafka的指定topic中。

在一个实施例中，通过数据采集模块将存储在每个子应用***中的不同类型的信息管理数据以及生产制造站的产线数据统一进行采集，并上传至具备高容错性和高吞吐量的第一数据平台中进行统一的管理。数据采集模块将采集到的产线数据和信息管理数据上传至第一数据平台之后，产线数据和信息管理数据通过第一数据平台中的数据缓存模块进行分类存储。在通过数据计算模块根据生产制造站的生产制造需求进行实时和/或离线计算之后，得到生产制造站在预设时间段内的指标数据和生产状况数据，并进一步地对指标数据和生产状况进行融合计算以得到综合指标数据。在得到综合指标数据之后可以将综合指标数据存储至分布式数据库，具体地，在本技术方案中，分布式数据库可以是指Dorisdb，Dorisdb是一种具备多种数据分析场景、兼容MySQL协议以及高性能分布式关系型列式数据库，其具备易部署、易维护以及极简的架构设计，能有效降低***的复杂度和维护成本，同时能提升***的可靠性和扩展性。Dorisdb能够满足用户的多种数据分析场景，支持多种数据模型，例如明细表和聚合表，支持多种导入方式，并且可整合接入多种现有***，例如spark，Flink以及Hive。因此，在本技术方案中，分布式数据库可以包括报表分析模块、预警模块以及数据建模模块。其中，报表分析模块用于对指标数据和生产状况数据进行多维度分析处理，以生成对应的多维度可视化报表，预警模块用于在指标数据和生产状况数据中的任意一个数据存在异常的情况下，生成相应的报警信号，数据建模模块用于根据用户触发的指令基于聚合和更新数据模型对综合指标数据进行实时聚合和更新操作。

在一个实施例中，***还包括报表***，报表***用于从分布式数据库中获取综合指标数据和生产状况数据，并将综合指标数据根据预设模板生成可视化报表进行展示。其中，报表***可以是指BI***，BI***也叫数据分析***，其定位与分析及诊断各业务侧平台的综合健康程度，同时也可以对潜在风险进行预判和预警，是一种将数据从多种数据源获取、集成、维护并存储，并基于基础数据，实现灵活调用及可视化展示的数据分析展示***。具体地，综合指标数据集中存储在dorisdb数据库中后，用户无法直接查询数据库来进行生产管理和运营。因此，可以将综合指标数据通过BI报表进行进一步数据汇总，分析，挖掘，然后进行可视化报表开发，以图形化报表的形式将整个生产现场与制造，物料，订单数量，生产进度，考勤工时，生产效率，排查计划，物料齐套性，物流效率，仓储情况，产品质量，安全等相关的所有数据进行展示。

进一步地，由于BI***服务形式还是以桌面服务的形式，还是不能够直观的形式将生产经营情况展示给所有用户，只有部分管理人员和业务人员可以访问这些数据。因此，在本技术方案中，生产制造站还包括人机交互装置，用于将报表***生成的可视化报表展示至终端，以使用户根据可视化报表制定针对生产制造站的生产计划。

在一个实施例中，如图2所示，提供了一种制造现场全流程数据管理***的***架构图。全流程数据管理***包括生产制造现场、生产制造应用***、数据采集、数据存储、数据计算、数据存储、BI报表分析***以及生产现场可视化管理等模块。其中，生产制造现场可以包括装配车间、下料车间、机加车间、焊接车间、涂装车间、交调车间以及备料车间等不同类型的车间，在每种类型车间中，包括多个同类型的挖掘机设备，用于提供产线数据和不同类型的信息管理数据。生产制造应用***包括IOT、MES、WMS、QMS、SAP以及HR等信息管理***，这些不同类型的信息管理***将生产制造现场的产线数据以及不同类型的信息管理数据进行采集，并传数据大数据平台Hadoop中进行统一管理。通过BI报表分析***进行多维度的分析，包括电能分析、异常诊断、产时出工、制造统计、工时单价、物料消耗、出勤工时、直接人工以及单台成本，最终进入生产现场可视化管理模块，通过各类可视化看板展示给所有用户，包括车间看板、产线看板、工位看板、办公室看板以及移动看板。

为了打通产量、电能、工时、材料、制造费用等成本数据壁垒，建设工厂端多层级成本驾驶舱，分析工时、制造费用、单成本构成和目标实际差异，深入挖掘损耗异常，助力财务成本考核与车间降本，并对异常生产情况进行报警处理，需要将挖机制造产线所有生产设备的实时物联数据，例如水电气表值，温度，功率，转速，压力，计量值，时间等工况参数进行实时采集，并存储到hadoop存储***进行大数据分析。由于生产设备数据参数多，结构复杂，采集频率高，通过采用Mqtt轻量级的发布/订阅消息传递协议来对产线数据进行传输加密，生产设备在工作过程中的工况数据会以一定的频率通过PLC传输到边缘盒子，边缘端通过5G网络，以MQTT协议进行数据组装，然后传输到云端的HiveMQTT网关，网关收到数据之后将生产设备IOT数据发送到消息队列kafka的指定topic中。

如图3所示，提供了一种生产设备的IOT数据采集及分析流程图。为了支持对物料、物流设备与工位有机衔接、合理调度、体系化运作，支持多种物料配送方式，协同物料按时配送到产线，保障物料的准时到达，能保障生产效率，需要将生产设备的生产情况数据进行透明化管理，将采集到的产线物联网数据一方面存储到hadoop文件***进行存储，以便后续通过spark批处理引擎进行天周月级别的批处理分析，得到历史统计分析结果，另一方面通过实时计算引擎flink对kafka指定主题的数据进行实时分析，以反映当前工厂实时生产状况。

进一步地，生产制造企业的信息化***SAP，ECC，HR，MES，WMS，EAM，QMS，PLM等通常都是由不同供应商提供，***间兼容性很差，存在严重的数据孤岛和行业壁垒问题，直接通过API将各应用***横向打通几乎不可能。本机叔叔方案地将SAP，ECC，HR，MES，WMS，EAM，QMS，PLM这些***的数据通过大数据采集工具，例如NIFI或者DATAX或者FLINK CDC传输到大数据存储***hadoop-hdfs上，具体地，采用哪种采集工具需要根据数据的时效性进行选择，实时性高的数据例如物料，仓储，订单，财务，成本，人工，故障等等，通过Flink CDC进行增量采集，实时性要求不要的数据就通过NIFI或者DATAX进行全量或者增量采集，最终实现与挖机制造相关的所有不同领域例如制造，物流，仓储，供应链，质量，财务，成本，人力，绩效，物料等数据在hdfs上进行集中存储，然后根据业务规则对这些数据进行关联融合分析，实现不同域数据的互联互通。

进一步地，所有主题域的数据包括产线IOT数据已在hdfs中进行集中存储后，将这些数据加载到hive数仓中，通过结构化的SQL编程来实现对所有数据的清洗，标准化，融合。具体地，根据数仓分层逐步进行数据处理计算的方法，即按照ODS→DWD→DWS→ADS(加上维度层DMI和桥接层TEMP)的顺序逐层进行不同域数据的清洗加工，标准化，关联聚合汇总，指标整合等，最终在ADS层得到关于整个生产过程的指标数据，包括人员在职、出勤、人工效率、交付产量、生产订单、采购订单、电能、产出工时、费用、单成本等多个业务模块和分析指标数据。在根据hive数仓分析处理流程将综合汇总指标数据开发完成之后，这些指标的计算过程代码会通过调度***按照天，周，月的调度频次周期性的提交到Spark集群中进行周期性的计算。最终，计算完成的融合指标数据会周期性的在ADS层对应的数据库中存储，这些数据可以有效地指导生产现场的管理和生产过程的协同，为了让管理者和一线工人可以实时看到这些生产过程的统计数据，合理地安排生产排产计划，提高生产和管理效率，降低成本，需要将数仓的统计分析数据进行可视化展示。

进一步地，可视化展示前需要将hive数仓ADS的汇总数据导出到支持快速查询的数据库，可以选择dorisdb作为最终指标数据的存储***，dorisdb支持在海量数据存储的情况下快速***查询，原子级的数据更新，聚合，能够满足报表***的需要。本技术方案可以通过dorisdb的broker-load的功能实现将ADS层的数据按天周期性地导出到dorisdb中。将生产现场相关的多业务数据进行了***性的汇总和整合，这些数据既有按天周月进行汇总的历史数据，也包含当前时刻的最新统计数据，例如能源消耗，备货数量，零部件消耗情况，订单，生产现场监控指标，用工成本，财务相关的实时数据，这些分析后的指标数据集中存储在应用层的dorisdb数据库中，管理人员，业务人员，一线工人不能去查询数据库来进行生产管理和运营。因此，将这些数据通过BI报表进行进一步数据汇总，分析，挖掘然后进行可视化报表开发，以图形化报表的形式将整个生产现场与制造，物料，订单数量，生产进度，考勤工时，生产效率，排查计划，物料齐套性，物流效率，仓储情况，产品质量，安全等相关的所有数据进行展示。

进一步地，由于BI***服务形式还是以桌面服务的形式，还是不能够直观的形式将生产经营情况展示给所有生产人员，只有部分管理人员和业务人员可以调用这些数据。为了使生产过程更加透明，实现对工厂生产进度及时、全面监控，实现异常信息的及时发现，及时解决，需要通过大数据技术体现看不见的智能制造能力，用视觉来展示挖机智慧工厂“看不见的智慧”。通过调用BI***的api接口，将BI中的报表嵌入到大屏的web页面中，实现了BI报表的远程实时呈现。解决了车间管理主要是以人为主的传统工厂的管理模式，以及业务管理信息化，生产计划变动协同，生产缺料协作管理，物料配送不及时问题处理，生产过程不透明等问题。

本技术方案通过大数据技术实现了各生产制造业务***数据的实时增量采集，全量采集并进行集中存储，打破了不同业务***之间存在的数据孤岛和数据难以互联互通的痼疾。通过先进的物联网技术实现了产线生产设备海量异构IOT数据和OT数据的实时采集和上传，基于数仓和数据湖技术实现了对海量物联网数据和业务数据的关联融合分析，充分挖掘了不同业务领域的数据价值。将数仓中的统计分析结果数据从数仓导出存储到支持海量数据实时***，更新，聚合，实时快速查询，聚合分析的数据库***dorisdb，满足了BI报表***对数据快速查询，汇总分析，实时响应的需求。并通过将BI***开发的各种生产运营可视化报表在车间大屏***上进行***集成，实现了BI报表的立体化呈现，充分发挥了报表***的作用，所见即所得，提高了生产经营效率和管理水平。

还需要说明的是，术语“包括”“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所做的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种制造现场全流程数据管理***，其特征在于，所述***包括：

生产制造站，包括不同类型的多个生产设备；

生产制造应用***，包括多个子应用***，不同的子应用***用于采集所述生产制造站在预设时间段内的不同类型的信息管理数据；

数据采集模块，用于实时采集所述多个生产设备的产线数据和接收所述生产制造应用***采集到的信息管理数据，并将所述产线数据和所述信息管理数据传输至第一数据平台，其中，所述产线数据所述包括所述多个生产设备的工况数据和操作数据；

第一数据平台，包括数据缓存模块、数据计算模块以及分布式数据库，所述数据缓存模块用于分类存储所述产线数据和所述信息管理数据，所述数据计算模块用于根据所述生产制造站的生产制造需求对所述产线数据和所述信息管理数据进行实时和/或离线计算，以得到所述生产制造站在所述预设时间段内的指标数据和生产状况数据；对所述指标数据和所述生产状况进行融合计算以得到综合指标数据；将所述综合指标数据存储至分布式数据库。

2.根据权利要求1所述的制造现场全流程数据管理***，其特征在于，所述数据缓存模块包括分布式发布订阅消息模块和大数据存储模块，所述分布式发布订阅消息模块用于将所述产线数据缓存至不同的主题中，所述主题是根据所述生产设备的类型进行划分的；

所述大数据存储模块用于缓存所述信息管理数据，并对所述信息管理数据进行预处理。

3.根据权利要求2所述的制造现场全流程数据管理***，其特征在于，所述数据计算模块包括：

第一分布式计算引擎，用于根据所述生产制造需求将所述产线数据划分为第一产线数据和第二产线数据，并对所述第一产线数据进行实时分析处理，以得到所述生产制造站在当前的第一生产状况数据；

离线数仓，用于获取所述第二产线数据以及所述大数据存储模块中预处理后的信息管理数据，并对所述第二产线数据和所述预处理后的信息管理数据进行离线处理，以分别得到所述生产制造站在所述预设时间段内的指标数据和第二生产状况数据；

第二分布式计算引擎，用于对所述指标数据和所述第二生产状况数据进行计算，以得到所述生产制造站在所述预设时间段内的综合指标数据。

4.根据权利要求3所述的制造现场全流程数据管理***，其特征在于，所述第一数据平台还包括数据湖，用于根据用户触发的指令从所述离线数仓中的获取与所述指令对应的数据，并以表格的形式将所述数据展示给所述用户。

5.根据权利要求1所述的制造现场全流程数据管理***，其特征在于，所述多个子应用***包括：

制造执行管理信息***，用于采集所述生产制造站的制造执行管理数据；

供应链管理信息***，用于采集供应链管理数据；

人力管理信息***，用于采集人力管理数据；

仓储管理信息***，用于采集仓储管理数据；

质量管理信息***，用于采集质量管理数据；

设备管理信息***，用于采集设备管理数据。

6.根据权利要求5所述的制造现场全流程数据管理***，其特征在于，所述数据采集模块包括：

物联网数据采集模块，用于采集所述产线数据、所述制造执行管理信息***以及所述供应链管理信息***中的信息管理数据；

分布式采集模块，用于采集所述人力管理信息***、所述仓储管理信息***、所述质量管理信息***以及所述设备管理信息***中的信息管理数据。

7.根据权利要求6所述的制造现场全流程数据管理***，其特征在于，所述数据缓存模块包括分布式发布订阅消息模块，所述物联网数据采集模块还用于在采集到所述产线数据之后，通过预设协议将所述产线数据加密传输至网关，并通过所述网关将加密后的产线数据传输至所述分布式发布订阅消息模块。

8.根据权利要求1所述的制造现场全流程数据管理***，其特征在于，所述分布式数据库包括：

报表分析模块，用于对所述指标数据和所述生产状况数据进行多维度分析处理，以生成对应的多维度可视化报表；

预警模块，用于在所述指标数据和所述生产状况数据中的任意一个数据存在异常的情况下，生成相应的报警信号；

数据建模模块，用于根据用户触发的指令基于聚合和更新数据模型对所述综合指标数据进行实时聚合和更新操作。

9.根据权利要求1所述的制造现场全流程数据管理***，其特征在于，所述***还包括：

报表***，用于从所述分布式数据库中获取所述综合指标数据和生产状况数据，并将所述综合指标数据根据预设模板生成可视化报表进行展示。

10.根据权利要求9所述的制造现场全流程数据管理***，其特征在于，所述生产制造站还包括：

人机交互装置，用于将所述报表***生成的可视化报表展示至终端，以使用户根据所述可视化报表制定针对所述生产制造站的生产计划。