CN111737327A - 汽车生产动作数据采集方法、***、装置和存储介质 - Google Patents

汽车生产动作数据采集方法、***、装置和存储介质 Download PDF

Info

Publication number
CN111737327A
CN111737327A CN202010371060.XA CN202010371060A CN111737327A CN 111737327 A CN111737327 A CN 111737327A CN 202010371060 A CN202010371060 A CN 202010371060A CN 111737327 A CN111737327 A CN 111737327A
Authority
CN
China
Prior art keywords
data
action
action data
value
redis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010371060.XA
Other languages
English (en)
Inventor
向玉文
左志军
贺毅
姚维兵
徐华昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mino Automotive Equipment Shanghai Co ltd
Guangzhou Mino Automotive Equipment Co Ltd
Original Assignee
Mino Automotive Equipment Shanghai Co ltd
Guangzhou Mino Automotive Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mino Automotive Equipment Shanghai Co ltd, Guangzhou Mino Automotive Equipment Co Ltd filed Critical Mino Automotive Equipment Shanghai Co ltd
Priority to CN202010371060.XA priority Critical patent/CN111737327A/zh
Publication of CN111737327A publication Critical patent/CN111737327A/zh
Priority to PCT/CN2020/140079 priority patent/WO2021223451A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • General Factory Administration (AREA)

Abstract

本发明公开了一种汽车生产动作数据采集方法、***、装置和存储介质，所述方法包括以下步骤：采集汽车生产设备的动作数据；将所述动作数据上传到Kafka消息队列；通过Flink集群消费所述Kafka消息队列的动作数据；以分布式的方式处理所述动作数据，所述动作数据为流数据。本发明通过利用Flink平台组件的分布式流式处理实时数据的架构优势，把传统的单线程的Cycle计算算法进行相应改造后，应用到Flink提供的以分布式方式处理Cycle的计算算法，通过新的架构的应用方式，提高实时数据监控处理的性能，解决当前数据堆积及性能瓶颈，实现了对汽车生产的动作数据的实时监控。本发明广泛应用于汽车生产技术领域中。

Description

汽车生产动作数据采集方法、***、装置和存储介质
技术领域
本发明涉及汽车生产技术领域，尤其涉及一种汽车生产动作数据采集方法、***、装置和存储介质。
背景技术
汽车生产过程中的数据存储及数据分析挖掘正在起步阶段，当前数据存储大多数是单机存储，故当前对数据的分析和挖掘的应用比较少，而数据分析挖掘的性能对生产效率有较大影响，故而使得汽车生产过程中，生产成本居高不下。另一方面，在日常的汽车生产过程中，运维中的实时监控延时比较长，这是因为从生产中采集数据后，大部分会把数据先存储到时序数据库中或mysql数据库中，再统一的计算及输出，这样就导致了单机计算海量实时数据的性能低。
汽车生产过程中，我们把加工完成一道工序的时间叫一个节拍，也称为一个Cycle。每个Cycle可能由一个动作组或多个动作组组成，而且每个动作组由许多动作组成。而采集器上传上来的动作数据在特定时间内是无序的，在***同时接入多个采集器上传的数据后，单机服务器处理这些数据，平均延时达到3-5秒，并不能满足了生产过程中实时监控的标准。在监控当前汽车生产过程中，可以通过对每个Cycle的实时监控，体现每条产线下的各个工位的当前实时的生产状况及生产效率。而当前计算Cycle的时候，单线程处理Cycle数据性能非常慢，Cycle的数据在缓存队列中堆积非常严重，特别严重的时候，缓存队列中堆积数据延时达到了2个小时，严重影响了对汽车生产的动作数据监控。
发明内容
有鉴于此，本发明的目的是提供一种汽车生产动作数据采集方法、***、装置和存储介质，以实时监控汽车生产的动作数据。
本发明所采用的第一技术方案是：
一种汽车生产动作数据采集方法，包括以下步骤：
采集汽车生产设备的动作数据；
将所述动作数据上传到Kafka消息队列；
通过Flink集群消费所述Kafka消息队列的动作数据；
以分布式的方式处理所述动作数据，所述动作数据为流数据。
进一步，所述动作数据包括动作标志、动作时长、生成时间、生产的车型值、工位ID值、动作组ID值和线体ID值。
进一步，所述处理所述动作数据，包括：
当所述动作数据的动作标志为过程标志，将所述动作数据写入Redis中；
当所述动作数据的动作标志为开始标志且Redis中存在所述动作数据，输出Redis中所有工位ID值与所述动作数据的工作ID值相同的动作数据，删除Redis中所有工位ID值与所述动作数据的工作ID值相同的动作数据；
当所述动作数据的动作标志为开始标志且Redis中不存在所述动作数据，将所述动作数据写入Redis中。
进一步，所述将所述动作数据上传到Kafka消息队列中，包括：
根据所述动作数据的生成时间依次将动作数据上传到Kafka消息队列。
进一步，还包括以下步骤：
对所述动作数据进行数据清洗。
进一步，所述输出Redis中所有工位ID值与所述动作数据的工作ID值相同的动作数据，包括：
获取工位ID值与所述动作数据相同的动作数据；
根据动作组ID值，将工位ID值与所述动作数据相同的动作数据分类到不同的动作组中；
将所述动作组中的动作数据按生成时间排序，并结合动作数据的动作时长计算动作组的开始时间和结束时间；
输出所述动作组的开始时间、结束时间、生产的车型值、工位ID值、动作组ID值和线体ID值。
进一步，所述删除Redis中所有工位ID值与所述动作数据的工作ID值相同的动作数据，包括：
删除Redis中所有工位ID值与所述动作数据相同的动作数据的动作时长、生成时间和生产的车型值。
本发明所采用的第二技术方案是：
一种汽车生产动作数据采集***，包括：
采集模块，用于采集汽车生产设备的动作数据；
传输模块，用于将所述动作数据上传到Kafka消息队列；
消费模块，用于通过Flink集群消费所述Kafka消息队列的动作数据；
监控模块，用于以分布式的方式处理所述动作数据；
所述动作数据为流数据。
本发明所采用的第三技术方案是：
一种汽车生产动作数据采集装置，包括：
若干PLC采集器，用于采集汽车生产设备的动作数据；
数据服务器，用于将所述动作数据上传到Kafka消息队列，通过Flink集群消费所述Kafka消息队列的动作数据，以分布式的方式处理所述动作数据；
所述动作数据为流数据。
本发明所采用的第四技术方案是：
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的汽车生产动作数据采集方法。
与现有技术相比较，本发明通过利用Flink平台组件的以分布式处理实时流数据的架构优势，把传统的单线程的Cycle计算算法进行相应改造后，应用到Flink提供的以分布式方式处理Cycle的计算算法，通过新的架构的应用方式，提高实时数据监控处理的性能，解决当前数据堆积及性能瓶颈，实现了对汽车生产的动作数据的实时监控。
附图说明
图1为本发明实施例一种汽车生产动作数据采集方法的第一流程图；
图2为本发明实施例一种汽车生产动作数据采集方法的第二流程图；
图3为本发明实施例一种汽车生产动作数据采集***的结构图；
图4为本发明实施例一种汽车生产动作数据采集装置的结构图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。
本发明实施例提供了一种汽车生产动作数据采集方法，参照图1，包括以下步骤：
S1、采集汽车生产设备的动作数据；
S2、将所述动作数据上传到Kafka消息队列；
S3、通过Flink集群消费所述Kafka消息队列的动作数据；
S4、以分布式的方式处理所述动作数据；
所述动作数据为流数据。
具体地，汽车生产设备是汽车生产线上进行作业的生产设备，每个汽车生产设备会按照设定好的参数进行动作。
Kafka是一种高吞吐量的分布式发布订阅消息***，有如下特性：通过磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能；高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息；支持通过Kafka服务器和消费机集群来分区消息；支持Hadoop并行数据加载。通过Kafka可以实现对于动作数据的实施传输。
Flink是一种流处理框架，Flink程序在执行后被映射到流数据流，每个Flink数据流以一个或多个源开始，并以一个或多个接收器结束。Flink可以对流执行任意数量的变换，这些流可以被编排为有向无环数据流图，允许应用程序分支和合并数据流，通过使用Flink框架可以实现对于动作数据的分布式流式处理，避免了原有的单线程处理造成的数据堆积和性能瓶颈。
由于本发明实施例中的动作数据为流数据，且对动作数据处理的方式为分布式处理，即对动作数据的处理方式为分布式流式处理。分布式流处理是指基于分布式技术对流数据进行动态处理，具有较好的伸缩性、实时性和开放性。分布式流式处理通常部署于大规模集群中，通常将流数据处理过程抽象为一个有向无环图。调度算法则负责将有向无环图中的组件合理的分配至集群中的可用服务器上。流处理***作为流处理作业的平台，负责所有集群资源的管理和分配。对于用户提交的流处理作业，流处理***需考虑该作业所处理的数据量及集群中不同节点的负载，并将其合理的分配到集群的不同作业节点上。因而如何最大化集群的利用率，即最大化集群可容纳的流处理作业数量。好的任务分配策略能够加快数据处理的速率，提升***整体吞吐量，均衡集群中的负载，或者减少集群中的资源占用率。
本发明实施例通过Kafka消息队列的高吞吐量配合Flink集群对采集到的汽车设备的动作数据进行分布式处理，Flink集群分布流式消费Kafka队列数据，保证整个平台产品的实时处理海量数据的性能，即使面对几何级的数据增长，平台通过热部署数据节点机而达到稳定的扩展性，即算法的性能及稳定性得到保证。
进一步作为可选的实施方式，所述动作数据包括动作标志、动作时长、生成时间、生产的车型值、工位ID值、动作组ID值和线体ID值。
具体地，动作标志是用来判断及确定每道工艺动作的结束及下一道工艺的开始；动作标志分为开始标志和过程标志，分别对应的参数是1和0；通过动作标志结合Redis缓存中的数据来判断一个Cycle的开始和结束；比如10000001001是一个工位下生产过程中产生的上传的参数标志位参数值，那么计算所得此工位下就有2个Cycle，即10000001和1001这2个Cycle。
动作时长用于记录汽车生产设备执行单个动作所耗费的时间；生成时间用于记录汽车生产设备动作数据生成的时间；生产的车型值用于记录汽车生产设备当前生产的车辆的车型；工位ID值用于定位生产设备所在具***置；动作组ID值用于分类所述动作数据；线体ID值用于定位生产设备所在的生产线位置。
进一步作为可选的实施方式，所述处理所述动作数据，参照图2，包括：
当所述动作数据的动作标志为过程标志，将所述动作数据写入Redis中；
当所述动作数据的动作标志为开始标志且Redis中存在所述动作数据，输出Redis中所有工位ID值与所述动作数据的工作ID值相同的动作数据，删除Redis中所有工位ID值与所述动作数据的工作ID值相同的动作数据；
当所述动作数据的动作标志为开始标志且Redis中不存在所述动作数据，将所述动作数据写入Redis中。
具体地，由于需要对多个汽车生产设备的数据进行处理，在进行处理的时候需要将多个动作数据按Cycle进行分类。在对于动作数据的处理中，首先对动作数据的动作标志进行判定。当动作标志为过程标志，说明采集到的动作数据是整个Cycle中的中间过程，此时正常将动作数据缓存到Redis中；当动作标志为开始标志，说明采集到的动作数据处于Cycle的开头或者结尾，此时需要将动作数据与Redis中的所有动作数据进行比对，当Redis中存在所述动作数据所在工位的数据，说明采集到的动作数据处于Cycle的结尾，输出Cycle数据并删除对应的Cycle数据；当Redis中不存在所述动作数据所在工位的数据，说明采集到的动作数据处于Cycle的开头，此时正常将动作数据缓存到Redis中。通过如图2所示的判断方法，可以实现对于无序的汽车数据实现有序的Cycle输出。
Redis是一个Key-Value存储***。和Memcached类似，它支持存储的Value类型相对更多，包括字符串、链表、集合、有序集合和哈希类型。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，Redis支持各种不同方式的排序。与Memcached一样，为了保证效率，数据都是缓存在内存中。区别的是Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了主从同步。
在本实施例中，动作数据输入Redis后记录时包括Key值和Value值，其中Key为线体ID值、工位ID和动作组ID的字符串叠加，Value值包括动作时长、生成时间和生产的车型值。
进一步作为可选的实施方式，所述将所述动作数据上传到Kafka消息队列中，包括：
根据所述动作数据的生成时间依次将动作数据上传到Kafka消息队列。
具体地，通过数据的生成时间对数据进行依次传输可以防止数据的顺序出现错乱，导致不同Cycle的数据出现混叠。由于每个Cycle都是严格按步骤执行的，所以生成时间相当于一个Cycle中的时间标记，通过该时间标记可以分离出不同的Cycle。
进一步作为可选的实施方式，还包括以下步骤：
对所述动作数据进行数据清洗。
具体地，数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。在本实施例中通过数据清洗识别出错误的数据并进行删除或者修正，同时，数据清洗代码嵌套在数据处理代码中。实现数据清洗和数据处理在同一台数据服务器节点上完成，即数据清洗在Flink流式处理框架中实现。这样的设计解决了数据清洗的瓶颈及减少了网络传输的延时，因为清洗和数据处理按平台及代码设计原理是在同一台数据服务器上处理。
进一步作为可选的实施方式，所述输出Redis中所有工位ID值与所述动作数据的工作ID值相同的动作数据，包括：
获取工位ID值与所述动作数据相同的动作数据；
根据动作组ID值，将工位ID值与所述动作数据相同的动作数据分类到不同的动作组中；
将所述动作组中的动作数据按生成时间排序，并结合动作数据的动作时长计算动作组的开始时间和结束时间；
输出所述动作组的开始时间、结束时间、生产的车型值、工位ID值、动作组ID值和线体ID值。
具体地，在完成一个Cycle的动作数据的缓存后，需要将该Cycle中的动作数据输出，输出结果可以用于生成报表或者存储在数据库中以供使用。在进行一个Cycle动作数据的输出中，需要将该Cycle所在工位的所有缓存在Redis中的数据进行输出，即根据工位ID值进行数据的输出。为了方便动作数据的管理，一般会对输出数据进行处理，在本实施例中，会先依据动作数据的动作组ID对动作数据进行分类，一个动作组的动作数据会分为一类，然后根据每个动作组的动作数据计算输出动作组的开始时间、结束时间、生产的车型值、工位ID值、动作组ID值和线体ID值。
在一些实施例中，可以选择输出更为具体的每个动作的开始时间、结束时间、生产的车型值、工位ID值、动作组ID值和线体ID值，但如此做会导致输出的数据量较大，效率较低，通过计算输出动作组数据则更符合生产需要，既能够定位故障点，也能够提高动作数据处理效率。
进一步作为可选的实施方式，所述删除Redis中所有工位ID值与所述动作数据的工作ID值相同的动作数据，包括：
删除Redis中所有工位ID值与所述动作数据相同的动作数据的动作时长、生成时间和生产的车型值。
具体地，在进行已输出的动作数据的删除时，只进行Value值的删除，即只进行变化数据的删除，因为工位ID值、动作组ID值和线体ID值为汽车生产设备生产过程中的固定数据，在删除时可以将其保留以减少下次录入时的数据修改量，但相对的，在后续的数据录入中需要在Redis中查询对应的Key值，即工位ID值、动作组ID值和线体ID值，在Key值对应的Value中进行数据的修改。但在检索效率高于修改效率的情况下，通过删除部分的Redis中的动作数据可以达到提高整体效率的效果。
本发明实施例还提供了一种汽车生产动作数据采集***，参照图3，包括：
采集模块301，用于采集汽车生产设备的动作数据；
传输模块302，用于将所述动作数据上传到Kafka消息队列；
消费模块303，用于通过Flink集群消费所述Kafka消息队列的动作数据；
监控模块304，用于以分布式的方式处理所述动作数据；
所述动作数据为流数据。
具体地，上述方法实施例中的内容均适用于本***实施例中，本***实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
***中所包含的层、模块、单元和/或平台等可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机***通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
***可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明***中所包含的层、模块、单元和/或平台所对应执行的数据处理流程可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
本发明实施例还提供了一种汽车生产动作数据采集装置，参照图4，包括：
若干PLC采集器401，用于采集汽车生产设备的动作数据；
数据服务器402，用于将所述动作数据上传到Kafka消息队列，通过Flink集群消费所述Kafka消息队列的动作数据，以分布式的方式处理所述动作数据；
所述动作数据为流数据。
具体地，上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的汽车生产动作数据采集方法。
具体地，存储介质中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行上述方法实施例中任一个技术方案所述的一种交互信息处理方法步骤。对于所述存储介质，其可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。可见，上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种汽车生产动作数据采集方法，其特征在于，包括以下步骤：
采集汽车生产设备的动作数据；
将所述动作数据上传到Kafka消息队列；
通过Flink集群消费所述Kafka消息队列的动作数据；
以分布式的方式处理所述动作数据，所述动作数据为流数据。
2.根据权利要求1所述的汽车生产动作数据采集方法，其特征在于，所述动作数据包括动作标志、动作时长、生成时间、生产的车型值、工位ID值、动作组ID值和线体ID值。
3.根据权利要求2所述的汽车生产动作数据采集方法，其特征在于，所述处理所述动作数据，包括：
当所述动作数据的动作标志为过程标志，将所述动作数据写入Redis中；
当所述动作数据的动作标志为开始标志且Redis中存在所述动作数据，输出Redis中所有工位ID值与所述动作数据的工作ID值相同的动作数据，删除Redis中所有工位ID值与所述动作数据的工作ID值相同的动作数据；
当所述动作数据的动作标志为开始标志且Redis中不存在所述动作数据，将所述动作数据写入Redis中。
4.根据权利要求1所述的汽车生产动作数据采集方法，其特征在于，所述将所述动作数据上传到Kafka消息队列中，包括：
根据所述动作数据的生成时间依次将动作数据上传到Kafka消息队列。
5.根据权利要求1所述的汽车生产动作数据采集方法，其特征在于，还包括以下步骤：
对所述动作数据进行数据清洗。
6.根据权利要求3所述的汽车生产动作数据采集方法，其特征在于，所述输出Redis中所有工位ID值与所述动作数据的工作ID值相同的动作数据，包括：
获取工位ID值与所述动作数据相同的动作数据；
根据动作组ID值，将工位ID值与所述动作数据相同的动作数据分类到不同的动作组中；
将所述动作组中的动作数据按生成时间排序，并结合动作数据的动作时长计算动作组的开始时间和结束时间；
输出所述动作组的开始时间、结束时间、生产的车型值、工位ID值、动作组ID值和线体ID值。
7.根据权利要求3所述的汽车生产动作数据采集方法，其特征在于，所述删除Redis中所有工位ID值与所述动作数据的工作ID值相同的动作数据，包括：
删除Redis中所有工位ID值与所述动作数据相同的动作数据的动作时长、生成时间和生产的车型值。
8.一种汽车生产动作数据采集***，其特征在于，包括：
采集模块，用于采集汽车生产设备的动作数据；
传输模块，用于将所述动作数据上传到Kafka消息队列；
消费模块，用于通过Flink集群消费所述Kafka消息队列的动作数据；
监控模块，用于以分布式的方式处理所述动作数据；
所述动作数据为流数据。
9.一种汽车生产动作数据采集装置，其特征在于，包括：
若干PLC采集器，用于采集汽车生产设备的动作数据；
数据服务器，用于将所述动作数据上传到Kafka消息队列，通过Flink集群消费所述Kafka消息队列的动作数据，以分布式的方式处理所述动作数据；
所述动作数据为流数据。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的汽车生产动作数据采集方法。
CN202010371060.XA 2020-05-06 2020-05-06 汽车生产动作数据采集方法、***、装置和存储介质 Pending CN111737327A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010371060.XA CN111737327A (zh) 2020-05-06 2020-05-06 汽车生产动作数据采集方法、***、装置和存储介质
PCT/CN2020/140079 WO2021223451A1 (zh) 2020-05-06 2020-12-28 汽车生产动作数据采集方法、***、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010371060.XA CN111737327A (zh) 2020-05-06 2020-05-06 汽车生产动作数据采集方法、***、装置和存储介质

Publications (1)

Publication Number Publication Date
CN111737327A true CN111737327A (zh) 2020-10-02

Family

ID=72647003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010371060.XA Pending CN111737327A (zh) 2020-05-06 2020-05-06 汽车生产动作数据采集方法、***、装置和存储介质

Country Status (2)

Country Link
CN (1) CN111737327A (zh)
WO (1) WO2021223451A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417015A (zh) * 2020-11-18 2021-02-26 青岛海尔科技有限公司 数据分发方法和装置、存储介质及电子装置
CN113110310A (zh) * 2021-03-04 2021-07-13 广州市友乃德金属制品有限公司 一种港口agv车生产工艺
WO2021223451A1 (zh) * 2020-05-06 2021-11-11 广州明珞装备股份有限公司 汽车生产动作数据采集方法、***、装置和存储介质
CN114546031A (zh) * 2021-12-31 2022-05-27 广州明珞装备股份有限公司 一种工艺节拍计算方法、***、设备及存储介质
WO2023125082A1 (zh) * 2021-12-31 2023-07-06 广州明珞装备股份有限公司 一种工艺动作判断方法、***、设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114546274B (zh) * 2022-02-22 2023-10-27 云智慧（北京）科技有限公司 一种基于缓存的大数据处理维表存算***及其方法
CN115460062A (zh) * 2022-08-04 2022-12-09 内蒙古蒙商消费金融股份有限公司 一种数据监控方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107045316A (zh) * 2016-10-25 2017-08-15 湘潭智联技术转移促进有限责任公司 一种精密加工的plc集成控制***
CN109829765A (zh) * 2019-03-05 2019-05-31 北京博明信德科技有限公司 基于Flink和Kafka实时监控销售数据的方法、***及装置
CN110334070A (zh) * 2019-05-21 2019-10-15 中国人民财产保险股份有限公司 数据处理方法、***、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10275278B2 (en) * 2016-09-14 2019-04-30 Salesforce.Com, Inc. Stream processing task deployment using precompiled libraries
CN109710731A (zh) * 2018-11-19 2019-05-03 北京计算机技术及应用研究所 一种基于Flink的数据流多向处理***
CN110798525A (zh) * 2019-11-01 2020-02-14 哈工大机器人（合肥）国际创新研究院 一种工业机器人多源数据云存储***
CN111737327A (zh) * 2020-05-06 2020-10-02 广州明珞汽车装备有限公司 汽车生产动作数据采集方法、***、装置和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107045316A (zh) * 2016-10-25 2017-08-15 湘潭智联技术转移促进有限责任公司 一种精密加工的plc集成控制***
CN109829765A (zh) * 2019-03-05 2019-05-31 北京博明信德科技有限公司 基于Flink和Kafka实时监控销售数据的方法、***及装置
CN110334070A (zh) * 2019-05-21 2019-10-15 中国人民财产保险股份有限公司 数据处理方法、***、设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021223451A1 (zh) * 2020-05-06 2021-11-11 广州明珞装备股份有限公司 汽车生产动作数据采集方法、***、装置和存储介质
CN112417015A (zh) * 2020-11-18 2021-02-26 青岛海尔科技有限公司 数据分发方法和装置、存储介质及电子装置
CN113110310A (zh) * 2021-03-04 2021-07-13 广州市友乃德金属制品有限公司 一种港口agv车生产工艺
CN114546031A (zh) * 2021-12-31 2022-05-27 广州明珞装备股份有限公司 一种工艺节拍计算方法、***、设备及存储介质
WO2023125082A1 (zh) * 2021-12-31 2023-07-06 广州明珞装备股份有限公司 一种工艺动作判断方法、***、设备及存储介质
CN114546031B (zh) * 2021-12-31 2023-10-13 广州明珞装备股份有限公司 一种工艺节拍计算方法、***、设备及存储介质

Also Published As

Publication number Publication date
WO2021223451A1 (zh) 2021-11-11

Similar Documents

Publication Publication Date Title
CN111737327A (zh) 汽车生产动作数据采集方法、***、装置和存储介质
CN107018042B (zh) 用于在线服务***的追踪方法及追踪***
US10467569B2 (en) Apparatus and method for scheduling distributed workflow tasks
CN111324445A (zh) 一种任务调度模拟***
US20130227194A1 (en) Active non-volatile memory post-processing
US20140351820A1 (en) Apparatus and method for managing stream processing tasks
CN103098014A (zh) 存储***
CN105446893A (zh) 数据存储方法及设备
CN104077224B (zh) 软件功能分析***与方法
Osman et al. Towards real-time analytics in the cloud
KR20170134723A (ko) 이벤트 처리 시스템 페이징
CN107870763A (zh) 用于创建海量数据实时分拣***的方法及其装置
CN108829505A (zh) 一种分布式调度***及方法
CN107066316A (zh) 分布式数据处理***中缓解内存压力的调度方法和***
Liu et al. Optimizing shuffle in wide-area data analytics
CN105049524B (zh) 一种基于hdfs的大规模数据集装载的方法
US10558391B2 (en) Data processing system and data processing method
CN111198754A (zh) 一种任务调度方法及装置
CN116010452A (zh) 基于流式计算引擎的工业数据处理***和方法、介质
Yang et al. Redis automatic performance tuning based on eBPF
CN102867023A (zh) 一种栅格数据的存储、读取方法及装置
CN111580950A (zh) 一种提升云可靠性的自适应反馈资源调度方法
CN107609129B (zh) 日志实时处理***
Feng et al. A memory capacity model for high performing data-filtering applications in samza framework
US20210256014A1 (en) System for data engineering and data science process management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201002

RJ01 Rejection of invention patent application after publication