CN110889707B - 追踪产品部件的计算机实现方法、***和计算机程序产品 - Google Patents

追踪产品部件的计算机实现方法、***和计算机程序产品 Download PDF

Info

Publication number
CN110889707B
CN110889707B CN201910843888.8A CN201910843888A CN110889707B CN 110889707 B CN110889707 B CN 110889707B CN 201910843888 A CN201910843888 A CN 201910843888A CN 110889707 B CN110889707 B CN 110889707B
Authority
CN
China
Prior art keywords
manufacturing process
computer
tracking
data
observations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910843888.8A
Other languages
English (en)
Other versions
CN110889707A (zh
Inventor
崔韬
贾斯蒂尼安·罗斯卡
哈桑·西南·班科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN110889707A publication Critical patent/CN110889707A/zh
Application granted granted Critical
Publication of CN110889707B publication Critical patent/CN110889707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/018—Certifying business or products
    • G06Q30/0185—Product, service or business identity fraud
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G05B19/056—Programming the PLC
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31031—Assembly, manipulator cell
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31447—Process error event detection and continuous process image detection, storage
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31479—Operator select part of process he wants to see, video image is displayed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0208—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
    • G05B23/0213—Modular or universal configuration of the monitoring system, e.g. monitoring system having modules that may be combined to build monitoring program; monitoring system that can be applied to legacy systems; adaptable monitoring system; using different communication protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Quality & Reliability (AREA)
  • Manufacturing & Machinery (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • General Factory Administration (AREA)

Abstract

本发明涉及一种用于追踪产品部件的计算机实现方法、***和计算机程序产品。在一些实施方式中，追踪和可跟踪性生成从记录工业设备中的制造过程的执行的成像传感器***获得的语义数据流。制造过程的执行从原材料和/或部件产生成品。追踪和可跟踪性还实施关于制造过程的执行的人工推理，以生成表征制造过程的执行的声明。语义数据和声明可被聚集到数字跟踪记录中，该数字跟踪记录在制造过程的整个执行过程中追踪成品的限定部件，并允许将该部件追溯到制造过程内的限定事件。

Description

追踪产品部件的计算机实现方法、***和计算机程序产品
技术领域
本发明涉及一种追踪产品部件的计算机实现方法、***和计算机程序产品。
背景技术
在制造工业中，在从原始部件到最终成品的生产生命周期内的部件的追踪和可跟踪性对于有效的生产和供应管理是关键的。在一些工业部门，比如汽车部门中，来自成品的部件的可跟踪性是法律要求，因为它允许制造商在制造过程之后在任何召回或其他缺陷的情况下查明产品。因此，追踪和可跟踪性在大多数制造执行***(MES)和生产生命周期管理(PLM)***中是重要和必要的功能。
实现追踪和可跟踪性功能的常用技术主要依靠人工分拣和/或贴标签；条码扫描；部件激光雕刻；附接射频识别(RFID)标签；等等。在一些情况下，在一些PLM***和MES中，可用基本界面和解决方案以记录和跟踪数据库内添加的标签或条形码，以在部件在生产线上移动直到成为成品的同时实现部件追踪和可跟踪性。
因此，在生产生命周期内实现部件追踪和可跟踪性的技术仍有待改进。
发明内容
在至少一些实施方式中，本公开认识并解决了在普通制造***中缺乏有效且可靠的追踪和可跟踪性。经由附加标签或条形码的部件追踪和可跟踪性通常是耗时、劳动密集且技能低的任务。它是侵入性的，因为需要附接或雕刻额外的标签。这由于需要额外的工序也使整个生产过程变得缓慢。为了解决这个问题，在大多数行业中，部件的追踪和可跟踪性是强制性的，而不是可选性的。因此，本公开提供了通过物理制造过程的自动化和数字副本形成产品，单独地或组合地提供有效的追踪和可跟踪性过程的技术。更具体地，本公开的一些实施方式提供了一种基于数字的方法，其将成像传感器设备和机器视觉技术无缝地集成到制造***中，以跟踪成品的构成部件。然而，本公开不受限于这方面，并且在一些实施方式中，可以实施成像传感器设备和/或监控设备(例如，麦克风和/或触觉设备)以及相关感知技术(例如，听觉识别技术)。基于数字的方法生成数字跟踪记录，该数字跟踪记录聚集时间信息、空间信息和表征工业设备中产品的完整生产周期的人工推理声明。可以在不依赖于常见的侵入性的、耗时的基于标签和基于条形码的方法的情况下生成数字跟踪记录。
如以下更详细描述的，本公开的实施方式包括***、技术和计算机程序产品，这些***、技术和计算机程序产品单独地或组合地允许根据在此描述的方面来实现数字跟踪记录的生成。更具体地，但不排他地，本公开的至少一些实施方式允许或以其他方式促进实现追踪和可跟踪性技术，所述追踪和可跟踪性技术将从成像传感器***获得的语义数据流与人工推理集成，以便生成表征从原材料和/或部件产生成品的作业序列的丰富信息。
因此，本公开的实施方式可使用或利用关于关键对象、机器、时间戳、空间戳和相关联概率信息的感知，且可以携带用于形成成品的制造过程的数字双胞胎的多个组件上的相关且丰富的信息。数字双胞胎中的丰富信息可允许或促进有效可靠的自动化控制、优良的服务质量(QoS)和操作完整性。
在数字跟踪记录的生成中包含的追踪和可跟踪性情报中没有一个依赖于传统昂贵且不能灵活的安装和管理的物理标签(例如，RFID标签)和/或条形码解决方案。实际上，本公开的数字跟踪记录利用低成本相机和追踪和可跟踪性平台，例如，该追踪和可跟踪性平台可以是形成成品的制造过程的数字双胞胎的一部分。因此，本公开的实施方式可以提供优于传统技术的用于生产协调、效率和完整性的许多技术改进和益处。例如，本公开的实施方式构成了基于无源传感器的技术，其放弃了物理标签、具有条形码的标签、RFID标签的任何附接以及针对识别产品的构成部件的任何类型的处理。因此，本公开的实施方式允许实施优于常规制造过程的制造过程。
更具体地，在不依赖于组成部件的物理标识符的附接或集成的情况下，本公开的实施方式允许实现制造包含操作成本和其他成本的产品。此外，通过在制造过程中消除标签的附接和随后的标签扫描，本公开的实施方式允许除了加速产品的制造之外的其他效率。在不处理物理标签的情况下，本公开的实施方式允许制造过程至少比常规制造过程消耗更少的时间。
作为另一实例，利用制造/组装过程的完全同步的视频记录，可以通过分析视频并将视频与制造过程相关联来精确地实现追踪和可跟踪性。在又一实例中，视频记录和相应的可跟踪性结果不仅跟踪部件，而且包括关于如何制造产品的重要制造信息。在一些情况下，这种信息可以是与产品缺陷相关的关键信息。因此，这可以帮助制造商更准确地跟踪缺陷和发出召回。
附图说明
附图是本公开的组成部分并且并入本说明书中。未按比例绘制的附图示出了本公开的示例性实施方式，并且结合说明书和权利要求书至少部分地解释本公开的各种原理、特征或方面。下面参考附图更全面地描述本公开的一些实施方式。然而，本公开的各方面可以许多不同形式来实施，且不应解释为限于本文所阐述的实施方式。相同的附图标记始终表示相似但不一定相同或同样的元件。
图1示出根据本公开的一个或多个实施方式的用于产品部件的追踪和可跟踪性的操作环境的实例。
图2示出根据本公开的一个或多个实施方式的允许或促进产品部件的追踪和可跟踪性的视频片段的记录的示意图。
图3示出根据本公开的一个或多个实施方式的执行汽车组装过程的工厂的实例的示意图。相机和其他监控设备位于工厂中限定位置以记录汽车组装过程的执行。还包括漫游监控设备。
图4A呈现根据本公开的一个或多个实施方式的用于产品部件的追踪和可跟踪性的***的实例。
图4B呈现根据本公开的一个或多个实施方式的用于产品部件的追踪和可跟踪性的计算***的实例。
图5示出根据本公开的一个或多个实施方式的制造过程的作业的示意图。
图6至图7示出根据本公开的一个或多个实施方式的用于产品部件的追踪和可跟踪性的方法的相应实例。
图8呈现根据本公开的一个或多个实施方式的其中可以实现产品组件的追踪和可跟踪性的操作环境的实例。
具体实施方式
参考附图，图1呈现根据本公开的一个或多个实施方式的用于产品部件的追踪和可跟踪性的操作环境100的实例。所示的操作环境100包括具有硬件114的工业设备110，该硬件容许以其它方式促进特定功能。工业设备110可以包括一组机器并且可以实施或执行限定的工业过程，该限定的工业过程允许由原材料/部件112形成产品116。产品116可以具有必要的部件以提供一个或多个期望的功能。因此，产品116可以被称为成品。产品116可以实施为多种工业范围内的物体，例如，飞行器；汽车；农业机械；涡轮机；发动机；工业振动器(例如，振动进料器设备)；消费电子设备；或类似物。构成硬件114的机器可具有允许机器执行限定作业的限定能力(或技能)组。限定作业的执行产生产品116的组成产品，或者取决于机器，产生最终产品116。
限定的工业过程包括由硬件114内的各个机器执行的限定操作(或步骤)S1，S2，…SM(M为自然数)的序列。限定操作序列Sk(k＝1，2，…M)中的每一个可以包括其他操作σ1，σ2，…σm(其中m是小于M的自然数)。工业过程的实行(或执行)可以是自动的。为此，可以将一组传感器设备集成到硬件114中或以其他方式耦接到硬件114，以收集指示或表示工业设备110的操作状态的数据。在一些实施方式中，该组传感器设备可以是同种类的，包括多个相同类型的传感器设备(例如，压力计或温度计)。在其他实施方式中，该组传感器设备可以是不同种类的，其中，该组传感器设备的第一子集对应于第一类型的传感器设备，该组传感器设备的第二子集对应于第二类型的传感器设备。例如，这种传感器设备组可以包括压力计和温度计。如图1所示，该组传感器设备包括传感器设备1181、第二设备1182…、传感器设备D-1 18D-1和传感器设备D 118D。这里D是大于1的自然数。链接各个传感器和硬件114的空心块箭头一般描述将传感器设备集成到硬件114中或者将传感器设备耦接到硬件114。
此外，为了自动化可由工业设备110实现的工业过程，过程控制***120可功能性地耦接(例如，通信耦接、电耦接、电磁耦接和/或机电耦接)到工业设备110。通信架构124可以允许或促进过程控制***120和工业设备110之间的信息(数据、元数据和/或信令)交换。通信架构124可以被实施为几种类型的网络元件或者可以包括几种类型的网络元件，包括基站；路由器设备；开关设备；服务器设备；聚合器设备；总线架构；前述的组合；或类似物。一个或多个总线架构可以包括工业总线架构，比如基于以太网的工业总线、控制器局域网(CAN)总线、Modbus、其他类型的现场总线架构等。
过程控制***120可以实现用于可以由工业设备110执行的工业过程的自动化的控制逻辑。在一些实施方式中，过程控制***120还可以应用其他类型的规则，这些规则指示对工业设备的物理访问、操作工业设备110的命令的限定序列的实现，其组合，或类似的。
为此，过程控制***120可以实时操作，从传感器设备1181-118D收集或接收观察到的数据。在一些情况下，过程控制***120可以使用观察到的数据来实现控制逻辑和/或其他控制算法(或过程)。至少基于所实现的逻辑和/或算法，过程控制***120可以向构成过程控制***120的致动器设备(未示出)或其他类型的控制器设备(未示出)发送执行命令和/或设定点。过程控制***120还可以包括一个或多个人机界面(HMI；未示出)，其可以向操作者呈现(视觉上或听觉上)实时状态或接近实时状态。HMI还可以从运营商接收命令。在一些实施方式中，过程控制***120可以被实施为或可以包括分布式控制***(DCS)或监控和数据采集(SCADA)***。
工业设备110可以至少部分地基于工业设备110所属的工业类型具有限定的复杂度(架构或其他)。对于工业而言，工业设备110的复杂性还可以至少基于工业设备110可以实现的工业过程的类型。在一些实施方式中，工业设备110可以专用于制造业。在其他实施方式中，工业设备110可以专用于汽车工业。然而，本公开在这方面不受限制，并且本公开的原理和实际元件可以应用于实现可以自动化的工业过程的任何工业设备。
所示操作环境100包括一组相机，包括相机1 1301、相机2 1302、…相机N-1 130N-1和相机N 130N。如上所述，本公开不限于固定相机，并且另外地或作为替代地，其他成像设备(例如，红外传感器设备、光检测和测距(LIDAR)设备等)；配备有成像设备的移动式无人机器人(例如，无人驾驶机)；和/或收集环境信息的其他类型的监控设备(例如，麦克风、触觉设备和/或其他传感设备)可以被包括在操作环境100中。在一个实施方式中，操作环境100可以包括配备有成像传感器的移动无人机器人(图1中未示出)，和/或麦克风可以穿过容纳工业设备110的设施，以在执行制造过程期间生成成像数据和/或音频数据。这种机器人可以自主地移动或者由过程控制***120控制。例如，过程控制***120可以在功能上无线耦接到移动无人机器人以引导机器人的运动。过程控制***120可以利用或至少依赖于过程逻辑(例如，制造加工计划)来引导这种运动。移动无人机器人还可以无线地耦接到追踪和可跟踪性引擎140以提供成像数据和/或音频数据。
在一些实施方式中，该组相机可以生成指示由工业设备110进行的工业过程的执行的至少一些部分的成像数据。为此，该组相机中的每个相机被定位在车间、工厂、仓库或容纳工业设备110的其他设施的占地面积内的限定位置处。例如，相机1301-130N中的每一个可以定位在组装线内的位置处，硬件114的机器部署在该组装线上。例如，该组相机可以被部署在组装点附近或组装点处，其中在每个组装点中，多个部件可以被组装成一个构成(或中间)部件。具体地，相机可以位于组装点的入口区域附近，或者位于组装点的出口区域附近。相机组中的相机的位置可以在某个组装点之前或之后。
此外，或在其他实施方式中，音频感测设备(例如，麦克风，图1中未示出)可与相机1301-130N组合部署，以产生指示工业设备110所进行的工业过程的执行的至少一些部分的音频段。在某些情况下，这样的音频段也可以被称为音频签名。音频感测设备可部署在计划工厂、仓库或容纳工业设备110的其他类型设施的占地面积内的相应限定位置处。至少一些(或者，在一些实施方式中，每一个)音频感测设备可以与包括相机1301-130N的相机组放在一起。
当部件穿过包括硬件114的组装线时，该组相机可以记录一批中的一些或所有部件(例如，材料112)。照此，这些相机中的一些可以将部件(并且在一些情况下，一些构成组件)的输入记录到组装点中。当处理后的输出移出组装点时，其他相机可以记录构成组件的输出。图2示出了根据本公开的方面的记录执行实例制造加工计划的视频片段的示意图200。如上所述，其他监控设备(例如，安装有传感设备的移动无人机器人；麦克风；触觉设备；其组合；或类似的)可被包含于示意图200中以产生成像数据、音频数据和/或指示制造加工计划的执行的其他类型的数据。这种不同类型的数据的组合可以被称为监控信息。制造加工计划包括确定由原材料112形成成品116的方式的限定过程和规则。更具体地，相机2201可以位于执行制造过程的第一步骤S1的第一机器(或包括第一机器的第一站S1)附近。当部件1 2101和部件2 2102进入第一机器时，相机2201可以产生部件1 2101和部件2 2102的成像数据(例如，数字图像帧的集合)。相机2202 也可以位于第一机器附近。相机2202可定位成产生指示由第一机器从部件1 2101和部件2 2102形成的组成组件1 2301的成像数据。相机2202可以记录组件1 2301到第二机器(或包括第二机器的第二站S2)的行进。
相机2203可以位于第二机器附近，并且可以在部件3 2103和部件4 2104进入第二机器时生成这些部件的成像数据。另一相机2204可以位于第二机器附近，并且可以生成由第二机器从部件3 2103和部件4 2104形成的组成组件2 2302的成像数据。当制造过程的自动执行继续时，相机2204可以记录部件2 2302到另一机器的移动。
相机2205可以位于接收组成组件M-1 230M-1、部件210Q-1和部件Q 210Q的机器(或包括该机器的站SM)附近。这样的机器可以执行产生成品240的作业。位于机器出口附近的相机2206可以生成成品240的成像数据。
作为更具体的说明，图3示出简化的汽车组装线的示意图，其中执行组装汽车的过程的两个阶段。相机3101、3102、3103、3104和3105可以定位在选定的位置以同步地记录该过程的这些阶段的执行。在一些实施方式中，除了这些相机之一或多个之外，或者作为这些相机之一或多个的替代，配备有相机和/或麦克风的移动无人机器人312可以经过(用单箭头线表示)该组装线的至少一部分以在该汽车的组装过程中生成成像数据和/或音频数据。这种机器人可以自主地移动或者由过程控制***(例如，过程控制***120)控制。麦克风3151、3152、3153和3154还可定位在其他选定位置处，或在一些实施方式中，此类麦克风可与相应相机并置。这种相机产生与以组装汽车的制造过程中的各种操作相对应的成像数据。麦克风产生对应于至少一些这样的操作的音频数据。更具体地，该过程的第一阶段对应于前轮的组装。这种阶段可以在站3051中实现。相机3101可以位于靠近站3051的第一位置，以记录站3051中的第一组件320的进入。第二相机3104也可以放置在站3051附近，以记录站3051中的第一部件325(例如，车轮)的进入。在该过程的执行过程中，车轮330可以安装到第一组件320中的车轴组件(未示出)上。第二组件340可以离开站3051。因此，放置在站3051附近的相机3102可以记录站3051的输出。
该方法的第二阶段是扰流器组件的组装。站3052(或其中的机器)可以实现第二阶段。相机3102还可以靠近第二站3052，并且可以记录第二站3052中的第二组件340的进入。相机3105也可以靠近站3052放置，并且可以记录第二部分345(阻流器组件)在这样的站中的进入。由站3052执行第二阶段可以产生第三组件360(其可以是成品汽车)。相机3103可以记录站3052的输出。
进一步参考图1，工业设备110、通信架构124、过程控制***120和相机1301-130N(以及，在一些实施方式中，其他成像传感器设备)构成其中实现工业过程的物理过程域。如图1所示，操作环境100还包括数字副本域，该数字副本域包括计算机实现的环境，物理过程域中的工业过程(例如，整个生产周期)可以映射到该计算机实现的环境上。数字副本域包括并利用多种建模、计算和人工智能(AI)技术，这些技术可以单独地或组合地允许实现物理工业过程的数字副本。这种数字副本实施或构成物理工业过程的动态仿真模型。
高性能计算可准许或促进执行数字副本。为此，数字副本域可以包括计算***，该计算***可以接收工业过程的模型，该模型可以由过程控制***120自动化并且至少部分地由工业设备110实现。因此，计算***可以接收数据、元数据和/或代码指令(其可以构成库和/或其他类型的软件部件)，所述数据、元数据和/或代码指令可以允许在物理过程域中模拟工业过程的限定方面。计算***可以执行数字副本。
这种数字副本可以被称为“数字双胞胎”，并且实施或构成物理过程的动态仿真模型。在一些实施方式中，数字副本集成物理过程的物理中的至少一些；控制物理过程的逻辑；物理过程的仿真模型。数字副本可以使用或利用使用了基于机器学习方法的数据驱动方法。另外，或在一些实施方式中，数字副本可以基于工业过程的物理现象和这种过程的规则来使用或利用模型驱动的方法。因此，在一些情况下，通过结合物理工业过程的模型，数字副本可以几乎实时地与其物理副本同步。数字副本还允许或便于在对应物理***中实现该状态之前仿真和评估该过程的状态。数字双胞胎能够几乎连续地学习并且能够从多个源更新其自身以改进其物理过程的实时表示。
如所示出的，数字副本域包括追踪和可跟踪性引擎140，其可准许实现根据本公开各方面的追踪和可跟踪性过程。为此，在一个方面中，追踪和可跟踪性引擎140可从相应相机(例如，相机1301-130N)接收视频片段的集合。如上所述，视频片段记录允许由材料112形成成品116的工业过程的执行。在一些实施方式中，如图4A中示出的框图400所示，追踪和可跟踪性引擎可以包括摄取模块410，该摄取模块可接收指示由相机生成的视频片段的成像信息。例如，对于相机1301-130N中的每一个，摄取模块410可以接收指示由相应相机生成的数字帧的第一信息。这样的信息可以包括例如，时间戳信息和/或表征数字帧的其他类型的元数据(例如，相机位置)。
如图4A中的实施方式所示，追踪和可跟踪性引擎140还可以包括同步模块420，其可以聚集由摄取模块410接收的成像信息。因此，在一个方面中，同步模块420可以相对于由工业设备110执行的制造加工计划的开始时刻而同步视频片段的集合。另外，在同步方面中，同步模块420还可处理成像信息以将接收的视频片段整理成制造加工计划的执行的单个视频记录——建立从原始部件形成成品的方式的限定程序和规则。
进一步参考图1，追踪和可跟踪性引擎140可以在一个或多个数据结构144(一般称为视频片段144)内的一个或多个存储设备142中保留视频片段(如接收和同步的)。此外，追踪和可跟踪性引擎140可在一个或多个存储器设备146中在一个或多个数据结构148内保持一个或多个产品清单(一般称为加工清单148)。产品加工清单(BOP)可包括例如，由材料112形成产品116的制造加工计划。追踪和可跟踪性引擎140可以结合制造加工计划来分析同步的视频片段。照此，可以获得与组装到成品116中的所有部件(或者，在一些实施方式中，至少一些部件)相关的时间空间信息。此外，如这里所公开的，追踪和可跟踪性引擎140还可以执行人工推理。在一些实施方式中，人工推理利用来自视频片段的分析的语义感知信息和制造过程的先验知识(例如，规则)来生成表征制造加工计划的执行的声明。
至少基于语义感知信息和推理，追踪和可跟踪性引擎140可以为成品116生成数字跟踪记录150。可以重建数字跟踪记录150以精确地追踪和跟踪成品116的所有部件(或者，在一些实施方式中，至少一些部件)。包含在数字跟踪记录150的生成中的追踪和可跟踪性情报中没有一个依赖于传统昂贵且不灵活的安装和管理的物理标签(例如，RFID标签)和/或条形码解决方案。实际上，数字跟踪记录150可以利用低成本相机和追踪和可跟踪性引擎140，该追踪和可跟踪性引擎可以是形成成品116的制造过程的数字双胞胎的一部分。照此，数字跟踪记录150可以被移植到数字副本域中的许多现有MES/PLM追踪和跟踪应用并在其中使用。
在成品116中识别出异常情况的情况下，数字跟踪记录150可允许或促进根本原因分析。例如，对数字跟踪记录150的分析允许或有助于识别制造过程执行中的错误点。此外，或者在某些情况下，对数字跟踪记录150的分析可以允许识别导致成品116出现故障的不适当的过程和/或控制逻辑。因此，在一些方面，可以发现和跟踪缺陷，可以通过操作员界面(SCADA、HMI)可视化信息，和/或可以确保整个生产过程符合现有的规定。
更具体地，在一些实施方式中，如图4A所示，追踪和可跟踪性引擎140可包括分析模块430，其可结合制造加工计划来分析同步视频片段的集合。此外，或者在一些实施方式中，分析模块430可以结合制造加工计划来分析音频段的集合。例如，分析模块430可执行语义感知分析。照此，分析模块430可生成说明或其他类型的结论，其对应于关于在指定时间或在时间间隔内在所限定位置中存在限定对象的观察。例如，这种观察是概率性的，并且对应于指示一个或多个视频帧中的各个对象的第一特征和指示与视频帧相关联的位置的第二特征。在一个实例中，这样的位置可以是生成视频帧的相机或成像传感器的位置。在另一实例中，此位置可对应于从视频帧中的至少一者收集的位置。在又一实例中，所述位置可对应于在执行制造加工计划期间产生音频段的麦克风或另一类型的环境音频感测设备的位置。
因此，在一些实施方式中，分析模块430可以包括感知模块432，比如机器视觉模块(未示出)，其可以将与机器学习技术相关的一种或多种机器视觉技术应用于同步视频片段的视频帧，以生成视频帧的观察组。本公开不限于使用机器视觉技术的图像处理和特征识别。在一些实施方式中，感知模块432可以应用其他技术来识别限定声音或声音序列，比如人类话语或机器发起的声音。分析模块430可应用多种机器学习技术，其可依赖于对应于可由工业设备110执行的制造加工计划的数字双胞胎的数据驱动模型。感知模块432可以使用或利用例如，追踪和可跟踪性引擎140之一或多个存储设备内的一个或多个数据结构440(一般称为过程逻辑440)中保留的信息。这种信息的至少一部分可以指示或表示可以由工业设备110执行的制造过程。此外，在一些实施方式中，这种机器学习技术也可以保留在过程逻辑440中。
数字双胞胎的数据驱动模型可以通过使用或利用工业过程的历史输入数据、历史输出数据、状态信息(例如，数据、元数据和/或信令)、其组合等来生成，以确定限定模型(例如，回归模型、卷积网络、生成式对抗网络等)的、相对于目标函数求解限定优化问题的合适参数组。例如，数据驱动模型可以被实施为或可以包括基于深度卷积神经网络的机器学习模型。因此，分析模块430可以使用或利用深度卷积神经网络用于视频帧中的对象检测。照此，由分析模块430(例如，经由机器视觉模块)生成的观测结果可以是概率性的。例如，在限定位置处，机器视觉模块以85％的可能性“感知”观察。
此外，或者在一些实施方式中，分析模块430可以通过应用概率图形模型(PGM)推理模块来消除冲突的观察的歧义，该推理模块可以生成解决观察矛盾的推断。类似地，在遮挡导致一系列视频帧上的观察不一致的场景中，PGM推理模块可以生成关于遮挡对象或其他类型的丢失信息的推断。
分析模块430可使用实际时间线来实施制造加工计划以形成成品116和/或位置信息，以便产生对应于在限定时间(或时间段)和限定位置处的观察的说明。说明也是概率性的，因为说明是基于观察的概率本质。结果，尤其是，分析模块430可以生成语义数据流，即，对应于关于在指定时间或时间段在限定位置中存在限定对象的观察的限定说明的时间序列。
如上所述，例如，图1所示的操作环境100中的硬件114可以分布在工厂楼层上。在语义感知分析中，工厂楼层的状态可被视为包含关于基本对象的动态说明或结论的黑板，这些基本对象在包含最近过去至当前的时间间隔上或在限定的时间间隔(例如，用于在包括在硬件114中的限定机器处完成限定作业的处理时间)上为真。
此外，如上所述，制造加工计划(或制造过程)包括限定处理对象的动态特性的操作和规则。这种计划可以构成分析模块430从表示用于处理对象(变换、组装等)的逻辑的过程模型生成知识的基础。更简单地，工厂自动化***(例如，工业设备110和过程控制***120)的语义可以被视为限定状态上的状态机和状态之间的转换。例如，这样的状态可以根据关注的随机变量来限定。
分析模块430通过应用同步视频片段和制造加工计划的联合分析而产生的知识可以用信号时间逻辑(STL)来表示。如这里所公开的，STL提供了一种数学描述语言，用于指定在制造过程的执行期间工业设备110在离散时间步骤上的行为。在一个方面，STL允许指定描述包括不同状态转换的路径集合的公式。例如，STL可用于指定最终为真的条件，或在达到指定状态之前保持的条件。在一些方面，STL允许或便于指定和推理定时组装***满足的模式。无论生成知识的方式如何(例如，自动生成或半自动生成)，都可以根据信号时间逻辑来表达知识。STL形式的元件可以保留在例如，过程逻辑440中。然而，所公开的内容不限于该方面，并且在一些实施方式中，STL形式的元件可以被保留在集成到追踪和可跟踪性引擎140之一或多个存储设备内的一个或多个其他数据结构中，或者被功能性地耦接到该追踪和可跟踪性引擎。
因此，分析模块430可以包括可以通过至少使用信号时间逻辑(STL)将演绎推理应用于语义说明和知识来实现追踪的时间逻辑模块434。更具体地，在一些实施方式中，时间逻辑模块434可以至少使用概率STL来执行推理。概率提供了事件发生时的可能性(例如，概率归因于这样的时间)，并且进一步提供了(限定的)逻辑声明的确定性。在一些情况下，STL可允许或促进关于离散事件的次序和定时的推理。例如，在作业k中，“部件1”和“部件2”由机器1(M1)在时间间隔T内组装在一起，以限定示出构件“组件1”的输出事件。将在M1的传送带“输出端1”上识别组件1。为此，例如，时间逻辑模块434可以使用或利用保留在过程逻辑440中的信息。
在一个方面，信号时间逻辑形式可自动评估模型是否满足所需属性，以便推断可用于跟踪所有消耗部件(或至少一些消耗部件)和新创建的组件(或构成产品)的信息。追踪和可跟踪性引擎140可在从初始状态开始累积观察(例如，传感器数据、视频片段等)时执行这种评估。
此外，根据本公开的概率STL实施或构成声明性知识表示形式。具体地，声明性知识可以包括由对谓词的布尔和暂时操作组成的STL公式。形成良好的STL公式Φ的语法为：
其中，∧、∨是分别对应于否定、结合和分离的逻辑算子，Φ和ψ是STL公式、G表示全局算子(自变量公式对时间间隔[a,b]“始终”有效)、F表示最终算子(自变量公式对时间间隔[a,b]“最终”有效)、U表示直到算子(头部公式对时间间隔[a,b]“直到”满足自变量公式才有效)。例如，ζ|＝G[a，b]ψ指定信号ζ，说明了ψ必须在信号ζ的间隔t∈[a，b]中有效。当且仅当跨越时间的观察在t之前的有限水平上引起公式的满足时，在时间t(ζ(t)＝1)处满足顶层良好形成的公式ζ。
比如原子观察的公式，“后继随属性的时间有效”、“机器/部件条件为真直到属性为真”，其他公式等的分离和否定产生可以表示跟踪规范或所需属性的良好形成的抽象。例如，如果信号指示了构成部件在组装机的输入处的某个间隔[a,b]内可用，则部件的组装结果也在间隔[a+c,b+c]内可用的可能性高。
因此，STL可以以用于表达时间说明的时间公式的形式，提供用于指定模型的功能特性的正式语言以及用于关于时间的推理的演绎***。此外，STL可以指定从硬件114(例如，组装机)的操作中提取的数学结构。此外，或在一些实施方式中，追踪和可跟踪性引擎140可以利用概率STL来消除探测工业设备110的状态的输出传感器(例如，传感器1181-118D)中的不确定性。例如，在一个实施方式中，分析模块430可以使用PGM的概率表示元件来实现谓词评估，以便随时间监控工业设备110。概率STL声明表示图形模型的输入证据，该图形模型可以组合最终结论的可能性。
此外，或在一些实施方式中，时间逻辑模块可应用目标驱动推理来发现成品116在制造期间的潜在失误。演绎推理或目标驱动推理中的任一个都可以遵循用以形成成品116的制造加工计划的生产线上的计划进度，生成可以用于追踪和跟踪的显式附加说明或结论(或者称为事实)。
由追踪和可跟踪性引擎140实现的演绎推理和/或目标驱动推理可以解释跟踪信息随时间演变以及跟踪信息的部分可能丢失(例如，隐藏)或者可能不确定或不精确。
如上所述，位置信息可集成到从一组相机(例如，相机1 1301到相机N 130N)和/或其他类型的成像传感器接收的成像信息中或与该成像信息相关联。因此，分析模块140可使用基于拓扑和欧几里得几何模型的空间知识表示来创建工厂楼层或硬件114的另一类型占地面积内的位置的定量表示。另外，或在其他实施方式中，空间知识表示可以基于可应用于所限定位置的指示符号表示。这可以明确地指代“这里”和“现在”，其中空间位置和时间维度由背景限定。
至少部分地使用在此描述的语义数据语义感知分析的一个或多个流，追踪和可跟踪性引擎140可以形式化地表示时间事实和空间事实、事件和依赖性(涉及过程定时、持续时间、机器和部件的位置、制造产品的位置等)，并且可以以在时间和空间上一致的方式来推理过程动态和实际约束。因此，再次参考图1，数字记录轨迹150可以包括来自语义感知的说明和来自演绎推理和/或目标驱动推理的其他说明。
图4B呈现根据本公开的一个或多个实施方式的用于产品部件的追踪和可跟踪性的计算***450的实例。所示出的计算***450包括一个或多个处理器460和一个或多个存储器设备470(统称为存储器470)，该存储器设备包括可由处理器460中的至少一个访问和执行的机器可访问指令(例如，计算机可读和/或计算机可执行指令)。在一个实例中，处理器460可被实施为或者构成一个图形处理单元(GPU)、多个GPU、一个中央处理单元(CPU)、多个CPU、专用集成电路(ASIC)、微控制器、可编程逻辑控制器(PLC)、现场可编程门阵列(FPGA)、其组合等。在一些实施方式中，处理器460可被布置在单个计算装置(例如，刀片服务器(blade server))中。在其他实施方式中，处理器460可分布在两个或多个计算装置上。
处理器460可以通过通信架构465功能性地耦接到存储器470。通信架构465适用于处理器460的特定布置(本地化或分布式)。照此，通信架构465可以包括一个或多个接入点设备；路由器设备；开关设备；服务器设备；聚合器设备；总线架构；前述的组合；等。
在计算***450中，存储器470包括追踪和可跟踪性引擎140。在这样的实施方式中，追踪和可跟踪性引擎包括实施或构成追踪和可跟踪性引擎140的机器可访问指令(例如，计算机可读和/或计算机可执行指令)。这些指令被编码在存储器470中并且可以被布置在可以被以计算机可执行的形式构建(例如，链接和编译)和保留在存储器470中(如图所示)或一个或多个其他机器可访问的非暂时性储存介质中的构件中。因此，在一些实施方式中，指令可以被布置在模块(图4B中未示出)中，比如，图4A所示的那些模块。
在计算***450中，形成追踪和可跟踪性引擎140的机器可访问指令可由处理器460中的至少一个处理器执行。注意，虽然未示出，但是计算***450还可以包括其他类型的计算资源(例如，接口(比如I/O接口)；控制器设备；电源；等等)，其可以允许或促进软件构件(例如，引擎和模块)的执行。为此，例如，存储器470还可以包括编程接口(比如应用编程接口(API))、操作***、固件等。根据本公开的各方面，指令的执行可使至少一个处理器(且因此使计算***450)提供产品的各部件的追踪和可跟踪性。
作为对本公开的跟踪方面的说明，图5示出了根据本公开的一个或多个实施方式的可由工业设备110实施的制造过程的实例作业S。作业S包括将类型T1的部件和类型T2的部件组合成类型T3的部件。类型T3的部件可以是计划完成对象(例如，对象116)的构成部件。如这里所公开的(例如，参见图2)，互连几个这种类型的作业，可以安排各种各样的制造过程。
在实例作业S中，制造过程的制造规则实施或构成先验知识。例如，在[tM,1,tM,2]范围内的限定时间t(以时间为单位的实数)之后，对应于作业S的第一制造规则可以说明类型T1的部件和类型T2的部件被提供给机器M，由作业S产生类型T3的输出部件。
分析模块430可以使用逻辑说明(来自语义感知分析)和限定的时间约束来生成结论。分析模块430可从由第一相机510(或另一类型的成像传感器设备)和第二相机520(或另一类型的成像传感器设备)产生的视频片段产生逻辑说明。具体地，可以实施为或包括机器视觉模块(未示出)的感知模块432可以以概率p1(例如，0.9)在时间t12在位置L1处生成指示类型T1的产品P1的第一观察；以概率p2(例如，1)在时间t12在位置L2处生成指示类型T2的产品P2的第二观察；以及以概率p3(例如，0.9)在时间t3在位置L3处生成指示类型T3的产品P3的第三观察。时间t3可以满足以下约束：tM,1<|t3-t12|<tM,2。应注意第一制造规则限定了类型，而推断和推理引擎对实际部件进行说明。
分析模块430可包括可应用前述第一制造规则来生成结论的人工推理模块436(见图4)。当第一制造规则限定部件类型时，人工推理引擎生成关于实际部件的结论(或逻辑说明)。具体地，人工推理模块可以实现以下逻辑：在时间0，如果观察到T1类型的P1和T2类型的P2进入机器M，在时间t(t在范围[tM11,tM12]内)，如果观察到T3类型的P3作为M的输出，则人工推理模块可以以100％的确定性确定P3由P1和P2制成。
人工推理模块还可以在存在异常的情况下实施逻辑推理。例如，如果在[tM,1,tM,2]范围内的时间内没有观察到P3作为机器M的输出，则生成推断以将概率p3分配给类型T3的部件P3。在一些实施方式中，使用概率STL来确定p3。在其他实施方式中，概率p3可以从历史制造数据获知。在另一实例中，如果P1未被观察为机器M的输入，而概率p1归因于P1的出现，则通过推断将概率p1传播到概率p3。例如，STL公式可以结合组装机器健康的概率，以便影响概率p3。当组装机开始其操作时的限制时间使得P1和P2可用的确定性也影响概率p3。概率的组合可以使用用于结合的自变量的最小值和用于分离的最大值。
在一些实施方式中，使用概率STL来确定p1。在其他实施方式中，概率p1可以从历史制造数据获知。因此，无论是否存在异常，分析组件140可经由人工推理模块436声明由作业S产生的部件P3由部件P1和部件P2以概率p3构成。
人工推理模块可以以多种方式操作。例如，在一个实施方式中，推理引擎可以随时间基本上恒定地活动，例如，以证明满足高级生产目标(例如，在时间10、20、30等处在装配台的出口处组装车辆)。为此，人工推理引擎可以完成公式“在t＝10成功组装车辆”等(t＝20…)的证明。在不能证明目标的情况下，可以在相应的时间间隔上触发警报，并且可以提供(例如，发送或使其可用)数字跟踪记录(例如，数字跟踪记录150)来执行根本原因分析，以便识别问题、位置等。
作为另一实例，在另一实施方式中，可以响应于在常规总体追踪和跟踪过程中存在的异常，激活人工推理模块。例如，可以响应于例如，在语义感知不精确时或之后，激活人工推理模块436；或者当用于追踪和跟踪过程的常规标记的信息丢失时，因为它不是由于遮挡等而生成的，等等。
作为用以形成成品116的制造加工计划中的其他作业，人工推理模块可以以类似于上文公开的方式基于这种计划内的规则生成其他声明。如这里所公开的，在制造加工计划的执行期间，声明(或推理)结合观察(或一系列语义数据)的集合形成数字跟踪记录。
鉴于本文所描述的各个方面，可参考图6至图7更好地了解可根据本公开实施的方法的实例。为了简化解释，实例性方法(和本文公开的其他技术)作为一系列操作呈现和描述。然而，应注意本公开的实例性方法和任何其他技术不受操作顺序的限制。一些操作可以以与这里示出和描述的顺序不同的顺序发生。另外，或者可替换地，一些操作可以基本上与其他操作(示出或以其他方式)同时执行。此外，并非所有示出的操作都是实现根据本公开的实例性方法或技术所必需的。此外，在一些实施方式中，在此公开的这些示范性方法和/或其他技术中的两个或更多个可以彼此组合地实施以实现在此公开的一个或多个要素和/或技术改进。
在一些实施方式中，本文所公开的实例性方法和/或其他技术之一或多个可被表示为一系列相互关联的状态或事件，比如在状态机图中。其他表示也是可能的。例如，在不同实体执行所公开方法的不同部分的情况下，交互图可以表示根据本公开的实例性方法和/或技术。
还应当理解，在本说明书公开的实例性方法可以被保留或储存在制品(例如，计算机程序产品)上，以便允许或便于将这些实例性方法传输和传送到计算机以供处理器执行(并由此实现)或储存在存储器中。
贯穿本说明书和附图所公开的方法能够被储存在制品上，以便于将这些方法传送和转移到计算机或其他类型的信息处理机器或处理电路以供执行，并因此由处理器实现或储存在存储器设备或其他类型的计算机可读储存设备中。在一个实例中，执行本文所公开的方法或方法的组合的一个或多个处理器可用于执行保存在存储器设备或任何计算机可读或机器可读储存设备或非暂时性储存媒体中的编程代码指令，以实施本文所公开的示范性方法和/或其他技术之一或多者。程序代码指令在由一个或多个处理器执行时可实现或执行本文所公开的实例性方法和/或其他技术中的各种操作。
因此，编程代码指令提供计算机可执行或机器可执行框架以实现本文所公开的实例性方法和/或其他技术。更具体地，但不排他地，流程图的每个框和/或流程图中的框的组合可以由程序代码指令来实现。
图6呈现根据本公开的一个或多个实施方式的用于追踪和跟踪的各部件的实例性方法600的流程图的实例。实例性方法600可以全部或部分地由具有一个或多个处理器、一个或多个存储器设备和/或其他类型的计算资源的计算***来实现。在一些实施方式中，计算***可以具体化为或可以至少包括摄取模块410、同步模块420和分析模块430。
在框610处，计算***可接收指示用于执行形成完整产品的制造过程的相应部分的视频片段集合的信息(例如，数据、元数据和/或信令)。如这里所公开的，在一些实施方式中，视频片段中的每一个可以由位于在其中制造完整成品的车间或工厂内的限定位置处的相机生成。在其他实施方式中，视频片段中的至少一个可以由配备有成像传感器设备的移动无人机器人生成。在一些实施方式中，实例性方法600可以包括表示制造过程的执行部分的一个或多个其他类型的数据流(成像数据、音频数据和/或触觉数据)。指示视频片段的集合和一个或多个其他类型的数据的信息可统称为监控信息。
在框620处，计算***可相对于制造过程的开始时刻而同步视频片段的集合。如这里所公开的，同步视频片段的集合还可以包括将片段聚集到执行制造过程的单个视频记录中。在其他数据流可用的实施方式中，计算***还可以同步这些数据流的至少一部分。数据流可独立地或与视频片段的集合组合地同步，以产生执行制造过程的另一单个数据记录。
在框630处，计算***可至少使用制造过程来分析视频片段(或在某些情况下，单个视频记录)的同步集合。在一些实施方式中，计算***还可以分析同步的数据流(例如，成像数据、音频数据和/或触觉数据)。在框640处，计算***可使用至少单个视频记录和/或来自分析的结果来生成完整产品的数字跟踪记录。计算***还可以使用单个数据记录生成完整产品的第二数字跟踪记录。在一些实施方式中，计算***可以通过将单个数据记录聚集到单个视频记录和/或分析结果来改进数字跟踪记录。在框650处，计算可以保留数字跟踪记录。
图7呈现根据本公开的一个或多个实施方式的用于追踪和跟踪的各部分的实例性方法700的流程图。实例性方法700可以全部或部分地由具有一个或多个处理器、一个或多个存储器设备和/或其他类型的计算资源的计算***来实现。在一些实施方式中，计算***可以实施为或可以至少包括摄取模块410、同步模块420和分析模块430。
在框710处，计算***可将指示用于相应输入部分的一组第一观察的第一数据接收到制造过程的作业中。在框720处，计算***可从作业接收指示输出部分的一组第二观察的第二数据。第一组和第二组中的观察中的每一个(或者，在一些实施方式中，至少一个)是概率性的，并且可以基于成像传感器设备(例如，相机，红外光电检测器设备，LIDAR传感器设备等)和/或其他类型的传感器设备来生成。
在框730处，计算***可对第一数据和第二数据应用测试。该测试可以以制造过程的规则或与制造过程相关的另一类型的先验知识来实施。在框740处，计算***可以生成输出部件是由输入部件以限定概率形成的声明。如上所述，在一些实施方式中，可以至少基于概率STL来确定限定概率。
图8呈现操作环境的实例，其中可根据本公开的一个或多个实施方式实施与追踪和可跟踪性相关联的功能性。实例性操作环境800仅仅是说明性的，并不旨在建议或传达关于操作环境的架构的使用范围或功能的任何限制。此外，图8中所描绘的实例性操作环境800不应被解释为具有与本公开的其他实例性操作环境中示出的模块或其他类型的部件中的任何一个或组合有关的任何依赖性或要求。
实例性操作环境800或其部分可实施或可构成上文描述的各种操作环境和***中的其他操作环境和***。照此，计算设备810，单独地或与计算装置870中的至少一个组合，可以实施或可以构成摄取模块410、同步模块420和分析模块430。
在一个实例中，计算设备810可以被实施为便携式个人计算机或手持计算装置，比如移动平板计算机等。在另一实例中，计算设备810可以被实施为可穿戴计算装置。计算设备810还可以被实施为或可以构成其他类型的移动计算装置。
计算环境800表示本公开的各个方面或元件的实例实现，其中可以响应于计算设备810处的一个或多个软件构件的执行来执行根据本文公开的方面结合追踪和可跟踪性描述的操作的处理或执行。这样的一个或多个软件构件使计算设备810(或包含软件构件的任何其他计算装置)成为根据本文描述的各方面的用于追踪和跟踪的特定机器，以及其他功能目的。
软件构件可被实施为或可包括一个或多个计算机可访问指令(例如，计算机可读和/或计算机可执行指令)。在一些实施方式中，如上所述，计算机可访问指令的至少一部分可被执行以执行本文所描述的一个或多个实例性方法(例如，方法600和方法700)和/或其他技术的至少一部分。
例如，为了实施一种这样的方法，计算机可访问指令的至少一部分可被保留在计算机可读储存非暂时性介质中并由一个或多个处理器(例如，处理器814中的至少一个)执行。例如，实施或构成软件构件的一个或多个计算机可访问指令可以被组装成一个或多个程序模块。这样的程序模块可以在计算设备810或其他计算装置处(由一个或多个处理器814)编译、链接和/或执行。
此外，这种程序模块可包括计算机代码、例程、程序、对象、构件、信息结构(例如，数据结构和/或元数据结构)等，其可响应于一个或多个处理器的执行来执行特定任务(例如，一个或多个操作)。这些处理器中的至少一个可以集成到计算设备810中。例如，可以执行程序模块的一个或多个处理器可以被实施为或可以包括处理器814的非空子集。此外，处理器中的至少另一个可以功能性地耦接到计算设备810。
本公开的各种实例实施方式可与许多其他通用或专用计算***环境或配置一起操作。适合于根据本公开的方面结合追踪和可跟踪性实现本公开的各个方面或元件的公知计算***、环境和/或配置的实例可以包括个人计算机；服务器计算机；膝上型设备；手持计算装置，例如，移动平板电脑或电子阅读器；可穿戴计算装置；以及多处理器***。另外的实例可以包括可编程消费电子产品、网络个人计算机(PC)、小型计算机、大型计算机、刀片计算机、可编程逻辑控制器，包括任何上述***或设备的分布式计算环境等。
如图8所示，计算设备810包括一个或多个处理器814、一个或多个输入/输出(I/O)接口816；一个或多个存储器设备830(统称为存储器830)；以及总线架构832(也称为总线832)。总线架构832功能性地耦接计算设备810的各种功能元件。总线832可以包括***总线、存储器总线、地址总线或消息总线中的至少一个，并且可以允许或便于在处理器814、I/O接口816和/或存储器830或其中的相应功能元件之间交换信息(数据、元数据和/或信令)。在一些情况下，总线832连同一个或多个内部编程接口850(统称为接口850)可允许或促进这种信息交换。在处理器814包括多个处理器的情况下，计算设备810可以使用并行计算。
在一些实施方式中，计算设备810可以可选地包括无线电单元812。无线电单元812可包括一个或多个天线和通信处理单元，其可允许计算设备810与另一设备(例如，计算装置870之一或传感器***896的传感器设备)之间的无线通信。
I/O接口816可允许或促进计算设备810与外部设备(例如，另一计算装置(例如，网络元件或最终用户设备)或传感器设备)之间的信息通信。这种通信可以包括直接通信或间接通信，比如经由网络或其元件在计算设备810和外部设备之间交换信息。在一些实施方式中，如图8所示，I/O接口816可以包括网络适配器818、***适配器822和显示单元826之一或多个。这种适配器可以允许或有助于外部设备与一个或多个处理器814或存储器830之间的连接。例如，***适配器822可以包括一组端口，该组端口可以包括并行端口、串行端口、以太网端口、V.35端口或X.21端口中的至少一个。在某些实施方式中，并行端口可以包括通用接口总线(GPIB)、IEEE-1284，而串行端口可以包括推荐标准(RS)-232、V.11、通用串行总线(USB)、火线接口或IEEE-1394。
网络适配器818中的至少一个可以在功能上经由一个或多个通信链路(无线、有线，或其组合)和可以单独地或组合地允许或促进计算设备810与一个或多个计算装置870之间的信息(数据、元数据，和/或信令)的交换的一个或多个网络880，将计算设备810耦接到一个或多个计算装置870。至少部分地由网络适配器418中的至少一个提供的这种网络耦接可以在有线环境、无线环境或两者中实现。网络880可以包括若干类型的网络元件，包括基站；路由器设备；开关设备；服务器设备；聚合器设备；总线架构；前述的组合；或类似的。网络元件可以被组装以形成局域网(LAN)、城域网(MAN)、广域网(WAN)和/或具有不同覆盖区的其他网络(无线或有线)。
由网络适配器818中的至少一个传送的信息可由根据本公开的各方面的方法(或技术)的一个或多个操作的实现产生。这种输出可以是任何形式的视觉表示，包括文本、图形、动画、音频、触觉等。在一些情形中，计算装置870中的每一个可以具有与计算设备810基本相同的架构。此外或替代地，显示单元826可包括功能元件(例如，灯，比如发光二极管；显示器，例如，液晶显示器(LCD)、等离子体监视器、发光二极管(LED)监视器或电致变色监视器；它们的组合；或类似的)其可允许或便于控制计算设备810的操作，或可允许传送或揭示计算设备810的操作条件。
在一个方面中，总线架构832表示若干可能类型的总线结构之一或多者，包括存储器总线或存储器控制器、***总线、加速图形端口以及使用各种总线架构中的任一者的处理器或局部总线。作为说明，此类架构可包括工业标准架构(ISA)总线、微通道架构(MCA)总线、增强型ISA(EISA)总线、视频电子技术标准协会(VESA)局部总线、加速图形端口(AGP)总线、***部件互连(PCI)总线、PCI-Express总线、个人计算机存储卡国际协会(PCMCIA)总线、通用串行总线(USB)等。
总线架构832和这里描述的所有其他总线架构可以通过有线或无线网络连接来实现，并且每个子***，包括处理器814、存储器830和其中的存储器元件，并且I/O接口816可以被包含在物理上分离的位置处的一个或多个远程计算装置870内，通过这种形式的总线连接。实际上实现了完全分布式***。
在一些实施方式中，这样的分布式***可以在客户机-主机或客户机-服务器配置中实现这里描述的功能，其中追踪和可跟踪性模块836或追踪和可跟踪性信息840或两者可以分布在计算设备810和计算装置870中的至少一个之间。并且计算设备810和计算装置870中的至少一个可以执行这样的模块和/或利用这样的信息。
计算设备810可以包括各种计算机可读介质。计算机可读介质可以是可由计算设备810访问的任何可用介质(暂时性和非暂时性)。一方面，计算机可读介质可包括计算机非暂时性储存介质(或计算机可读非暂时性储存介质)和通信介质。实例性计算机可读非易失性储存介质可以包括例如，易失性介质和非易失性介质，以及可移动和/或不可移动介质。在一个方面中，存储器830可包括易失性存储器(例如，随机存取存储器(RAM))和/或非易失性存储器(例如，只读存储器(ROM))形式的计算机可读媒体。
如图8所示，存储器830可以包括功能性指令储存器834和功能信息储存器838。功能性指令储存设备834可包含计算机可存取指令，计算机可存取指令响应于(例如，由处理器814中的至少一者的)执行可实施本公开的追踪和跟踪功能性之一或多者。计算机可访问指令可实施为或可包括被示为追踪和跟踪模块836的一个或多个软件构件。
在一个场景中，追踪和跟踪模块836的至少一个构件的执行可实施本文所揭示的方法之一或多者，例如，实例性方法600和700。举例来说，此执行可使执行至少一个构件的处理器(例如，处理器814之一)执行本公开的所揭示实例性方法或另一技术。
应注意，在一个方面中，执行追踪和跟踪模块836中的至少一者的处理器814的处理器可从功能性信息储存838中的一个或多个存储器元件840检索信息或将信息保留在存储器元件840中，以便根据由追踪和跟踪模块836编程或配置的功能性来操作。一个或多个存储器元件840可统称为追踪和跟踪信息840。这样的信息可以包括代码指令、信息结构等中的至少一个。例如，这种信息结构的至少一部分可以指示或表示限定的应急计划、工业设备110的历史操作数据等。
在一些实施方式中，根据本公开的各方面，追踪和跟踪模块836的一个或多个可以实施为或可以构成例如，分析引擎130、异常检测器模块150、事故发生模块160或其组合。
一个或多个接口850中的至少一者(例如，应用程序编程接口)可准许或促进功能性指令储存器834内的两个或多个模块之间的信息通信。由至少一个接口传送的信息可由本公开的方法之一或多个操作的实施而产生。在一些实施方式中，功能性指令储存器834和功能信息储存器838之一或多个可被实施为或可包括可移动/不可移动和/或易失性/非易失性计算机储存介质。
追踪和跟踪模块736或追踪和跟踪信息840中的至少一个的至少一部分可以对处理器814之一或多个进行编程或配置，以至少根据这里公开的追踪和跟踪功能进行操作。一个或多个处理器814可以执行追踪和跟踪模块836中的至少一个，并且利用功能信息储存器838中的信息的至少一部分，以便根据在此描述的一个或多个方面提供对来自未知呼叫者的呼叫的管理。
应注意，在一些实施方式中，功能性指令储存器834可实施为或可包括具有计算机可存取指令的计算机可读取非暂时性储存媒体，计算机可存取指令响应于执行，使至少一个处理器(例如，一个或多个处理器814)执行一组操作，该组操作包括结合本文所公开的实例性方法600和700以及其他技术描述的操作或框。
存储器830还可以包括允许或促进计算设备810的操作和/或管理(例如，升级、软件安装、任何其他配置等)的计算机可访问指令和信息(例如，数据、元数据和/或编程代码指令)。因此，如所示出的，存储器830包含存储器元件842(标记为操作***(OS)指令842)，其含有一个或多个程序模块，该程序模块实施为或包含一个或多个操作***，例如，Windows操作***、Unix、Linux、Symbian、Android、Chromium和大体上任何适合于移动计算装置或绑定计算装置的OS。在一个方面，计算设备810的操作和/或架构复杂度可以决定合适的OS。
存储器830还包括具有数据、元数据和/或编程代码(例如，固件)的***信息储存器846，数据、元数据和/或编程代码可以允许或便于计算设备810的操作和/或管理。OS指令的元素842和***信息储存器846可以由处理器814中的至少一个访问或操作。
尽管功能性指令储存器834和其他可执行程序部件(例如，OS指令842)在本文中被示为离散块，但此类软件构件可在不同时间驻留在计算设备810的不同存储器构件中且可由处理器814中的至少一者执行。在某些情形中，追踪和跟踪模块836的实现可被保留在某种形式的计算机可读介质上或在其上传输。
计算设备810和/或计算装置870之一可以包括电源(图8中未示出)，其可以对这些设备内的构件或功能元件上电。电源可以是可再充电电源，例如，可再充电电池，并且它可以包括一个或多个变压器以获得适合于计算设备810和/或计算装置870之一以及其中的构件、功能元件和相关电路的操作的功率水平。在某些情况下，可将电源附接到常规电网以再充电并确保此类设备可操作。在一个方面中，电源可包含I/O接口(例如，网络适配器818之一)以操作地连接到常规电网。在另一方面中，电源可包括能量转换构件(例如，太阳能面板)，以为计算设备810和/或计算装置870之一提供额外或替代电源或自主性。
如图8中所示出的，在一些实例中，计算设备810可通过利用到一个或多个远程计算装置870的连接而在网络化环境中操作。例如，远程计算装置可以是个人计算机、便携式计算机、服务器、路由器、网络计算机、对等设备或其他常见网络节点等。如本文所描述，计算设备810与一个或多个远程计算装置870的计算装置之间的连接(物理和/或逻辑)可经由一个或多个网络880和各种通信链路(无线或有线)来进行。网络880可以包括若干类型的网络元件，包括基站；路由器设备；开关设备；服务器设备；聚合器设备；总线架构；前述的组合；或类似的。网络元件可以被组装以形成局域网(LAN)、城域网(MAN)、广域网(WAN)和/或具有不同覆盖区的其他网络(无线或有线)。
此外，如所示出的，通信链路可以组装在第一组通信链路874和第二组通信链路872中。两组中的每个通信链路可以包括上游链路(或上行链路(UL))或下游链路(或下行链路(DL))之一。UL和DL中的每一个可以被实施为或者可以包括无线链路(例如，深空无线链路和/或陆地无线链路)、有线链路(例如，光纤线路，同轴电缆和/或双绞线)或其组合。
第一组通信链路874和第二组通信链路872可以允许或促进计算装置870中的至少一个与计算设备810之间的信息(例如，数据、元数据和/或信令)交换。为此，第一组通信链路874的一个或多个链路、第二组通信链路874的一个或多个链路以及网络880中的至少一个可以形成通信设备810与计算装置870中的至少一个之间的通信路径。
在一个或多个实施方式中，所公开方法之一或多者可在分布式计算环境(例如，基于网格的环境)中实践，其中任务可由通过网络810中的至少一者功能性耦接(例如，以通信方式链接或耦接)的远程处理设备(计算装置870)执行。在分布式计算环境中，在一个方面中，一个或多个软件构件(例如，程序模块)可位于本地计算装置(例如，计算设备810)和至少一个远程计算装置两者内。
在一些实施方式中，如图8所示，操作环境800可以包括工业设备890。工业设备890可以实施为或可以包括工业设备110。因此，工业设备890可以包括一个或多个机器892和一个或多个传感器***896，传感器***可以探测机器892中的至少一个。在一个方面，机器892可以实施为或可以构成硬件114。此外，一个或多个传感器***896中的至少一个可以被实施为或可以包括传感器设备1181-118D。根据本公开的各方面，计算设备810和至少一个计算装置870(单独地或组合地)可监控工业设备890的状况。为此，在一些方面中，传感器***896的多个传感器设备可功能性地耦接(例如，通信耦接、电耦接和/或机电耦接)到计算设备810和/或至少一个计算装置870。具体地，传感器设备之一或多个可以经由由通信链路876、网络880中的至少一个和通信链路872形成的通信路径与计算设备810通信。类似地，传感器设备可以经由由通信链路876、网络880中的至少一个和通信链路874形成的另一通信路径与计算装置870中的至少一个通信。
通信链路876和通信链路872可允许或促进传感器***896的传感器设备与计算装置之间的信息(例如，数据、元数据和/或信令)交换。类似地，通信链路876和通信链路874可允许或促进传感器***896的传感器设备与计算装置870之一或多者之间的信息(例如，数据、元数据和/或信令)交换。通信链路876包括例如，上游链路(或上行链路(UL))和下游链路(或下行链路(DL))。UL和DL中的每一个可以被实施为或者可以包括无线链路(例如，深空无线链路和/或陆地无线链路)、有线链路(例如，光纤线路、同轴电缆和/或双绞线)或其组合。
根据本公开的各方面，过程控制***120可将能够由工业设备890实施的制造过程的执行自动化。为此，控制***120可以与传感器***896和/或其他控制设备(例如，致动器设备、开关设备等)中的至少一个交换信息；图8中未示出)。在一些实施方式中，由通信链路878、网络880中的至少一个和通信链路876形成的通信路径可以允许在过程控制***120与传感器***896中的至少一个或工业设备890的其他部件之间交换信息(例如，数据、元数据和/或信令)。
操作环境800还包括监控设备898，其可产生成像数据、音频数据和/或其他类型的环境数据。不管类型如何，根据本公开的各方面，可将此类数据供应(例如，发送或使其可用)到计算设备810和/或计算装置870中的至少一者以产生视频片段、音频片段和/或其他数据结构的流。监控设备可以位于容纳工业设备890的区域内的特定位置。监控设备898可以被实施为或可以包括这些设备的组合：成像设备(例如，可见光相机、红外传感器设备、LIDAR设备等)、麦克风、配备有传感设备的移动无人驾驶工具(例如，无人机)、配备有传感设备的移动机器人、和/或可收集这种区域内的环境信息(例如，环境光强度)的其他类型的设备。在一个实施方式中，监控设备898可以包括相机1301-130N。
在一些实施方式中，由通信链路897、网络880中的至少一个和通信链路872形成的通信路径可以允许在监控设备898中的至少一个和计算设备810之间交换信息(例如，数据、元数据和/或信令)。另外，或在其他实施方式中，由通信链路897、网络880中的至少一个和通信链路874形成的第二通信路径可以允许在监控设备898中的至少一个和计算装置870中的至少一个之间交换信息(例如，数据、元数据和/或信令)。
类似于在此公开的其他通信链路，通信链路897可以包括例如，UL和DL。UL和DL中的每一个可以被实施为或者可以包括无线链路(例如，深空无线链路和/或陆地无线链路)、有线链路(例如，光纤线路、同轴电缆和/或双绞线)或其组合。
本公开的各种实施方式可采取完全或部分硬件实施方式、完全或部分软件实施方式、或软件与硬件的组合(例如，固件实施方式)的形式。此外，如这里所描述的，本公开的各种实施方式(例如，***和方法)可以采取计算机程序产品的形式，该计算机程序产品包括具有比如计算机软件的计算机可访问指令(例如，计算机可读和/或计算机可执行指令)的计算机可读非暂时性储存介质，该计算机可访问指令被编码或被实施在这种储存介质中。这些指令可由一个或多个处理器读取或存取和执行以执行或允许执行本文描述的操作。指令可以以任何合适的形式提供，例如，源代码、编译代码、解释代码、可执行代码、静态代码、动态代码、汇编码、前述的组合等。可以使用任何合适的计算机可读非暂时性储存介质来形成计算机程序产品。例如，计算机可读介质可以包括任何有形的非暂时性介质，用于以可由与其功能性耦接的一个或多个计算机或处理器读取或以其他方式可访问的形式储存信息。非暂时性储存介质可以被实施为或可以包括ROM；RAM；磁盘储存介质；光学存储介质；闪存等。
这里参考方法、***、设备和计算机程序产品的框图和流程图来描述操作环境和技术的至少一些实施方式。可以理解，框图和流程图中的每个框以及框图和流程图中的框的组合可以分别由计算机可访问指令来实现。在某些实现方式中，可以将计算机可访问指令加载或并入通用计算机、专用计算机或其他可编程信息处理设备中以产生特定机器，使得可以响应于在计算机或处理设备处的执行来实现在一个或多个流程图块中指定的操作或功能。
除非另有明确示出，否则本文提出的任何方案、程序、过程或技术绝不应解释为要求以特定顺序执行其动作或步骤。因此，当过程或方法权利要求实际上没有记载其动作或步骤遵循的顺序时，或者在本主题公开的权利要求或描述中没有另外具体记载步骤将被限于特定顺序时，绝不意味着在任何方面推断顺序。这适用于解释的任何可能的非明确基础，包括：关于步骤或操作流程的布置的逻辑事项；源于语法组织或标点符号的平常意义；在说明书或附图等中描述的实施方式的数量或类型。
如本申请中所使用，术语“环境”、“***”、“引擎”、“模块”、“构件”、“架构”、“接口”、“单元”等指代计算机相关实体或与具有一个或多个限定功能性的操作设备相关的实体。术语“环境”、“***”、“引擎”、“模块”、“构件”、“架构”、“接口”和“单元”可以互换使用，并且一般可以指功能元件。这样的实体可以是硬件、硬件和软件的组合、软件或执行中的软件。例如，模块可以被实施为处理器上运行的进程、处理器、对象、软件的可执行部分、执行线程、程序和/或计算装置。又例如，在计算装置上执行的软件应用程序和计算装置都可以实施为模块。又例如，一个或多个模块可驻留在进程和/或执行线程内。模块可以位于一个计算装置上或分布在两个或多个计算装置之间。如本文所公开，模块可从其上储存有各种数据结构的各种计算机可读非暂时性储存媒体执行。模块可以经由本地和/或远程进程根据例如，具有一个或多个数据包(例如，来自与本地***、分布式***中的另一构件交互的构件的数据，和/或来自与在例如具有其它***的广域网上的另一构件经由信号交互的构件的数据)的信号(模拟的或数字的)进行通信。
又例如，模块可以被实施为或可以包括具有由机械部件提供的限定功能的设备，机械部件由电路或电子电路操作，电路或电子电路由软件应用或由处理器执行的固件应用控制。这种处理器可以在设备内部或外部，并且可以执行软件或固件应用的至少一部分。又例如，模块可以被实施为或者可以包括通过没有机械部件的电子部件提供限定功能的设备。电子部件可包含处理器以执行软件或固件，软件或固件允许或至少部分地促进电子部件的功能性。
在一些实施方式中，模块可以经由本地和/或远程进程根据例如，具有一个或多个数据包(例如，来自与本地***、分布式***中的另一构件交互的构件的数据，和/或来自与在例如具有其它***的广域网上的另一构件经由信号交互的构件的数据)的信号(模拟或数字)进行通信。另外，或在其他实施方式中，模块可通过热、机械、电和/或机电耦接机构(例如，导管、连接器、其组合等)通信或以其他方式耦接。接口可包括输入/输出(I/O)构件以及相关联的处理器、应用程序和/或其他编程构件。
如本公开中所使用的，术语“处理器”可以指任何类型的处理电路或设备。处理器可被实现为处理电路或计算处理单元(例如，CPU、GPU或两者的组合)的组合。因此，为了描述目的，处理器可以指单核处理器；具有软件多线程执行能力的单处理器；多核处理器；具有软件多线程执行能力的多核处理器；具有硬件多线程技术的多核处理器；并行处理(或计算)平台；以及具有分布式共享存储器的并行计算平台。
另外，或又例如，处理器可指集成电路(IC)、专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑控制器(PLC)、复杂可编程逻辑设备(CPLD)、离散门电路或晶体管逻辑、离散硬件构件、或其被设计或配置(例如，制造)以执行在此描述的功能的任何组合。
在一些实施方式中，处理器可以使用纳米级架构，为了优化空间使用或增强根据本公开的***、设备或其他电子设备的性能。例如，处理器可以包括分子晶体管和/或基于量子点的晶体管、开关和门电路。
此外，在本说明书和附图中，比如“储存”、“储存器”、“数据储存”、“数据储存器”、“存储器”、“储存库”等术语以及与本公开的部件的操作和功能相关的基本上任何其他信息储存构件是指存储器构件、实施在一个或多个存储器设备中的实体，或形成存储器设备的构件。应注意，本文所描述的存储器构件或存储器设备实施或包含可由计算装置读取或存取的非暂时性计算机储存媒体。这样的介质可以以用于储存信息的任何方法或技术来实现，比如机器可访问指令(例如，计算机可读指令)、信息结构、程序模块或其他信息对象。
本文所公开的存储器构件或存储器设备可被实施为易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。此外，存储器部件或存储器设备可以是可移动的或不可移动的，和/或在计算装置或部件的内部或外部。各种类型的非暂时性存储介质的实例可以包括硬盘驱动器、zip驱动器、CD-ROM、数字多用盘(DVD)或其他光储存、磁带盒、磁带、磁盘储存或其他磁储存设备、闪存卡或其他类型的存储卡、盒式磁带或适于保留所需信息并可由计算装置访问的任何其他非暂时性介质。
例如，非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括用作外部缓冲存储器的随机存取存储器(RAM)。作为说明而非限制，RAM具有多种形式，例如，同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)和直接Rambus RAM(DRRAM)。在此描述的操作或计算环境的所公开的存储器设备或存储器旨在包括这些和/或任何其他合适类型的存储器之一或多个。
除非另外具体说明或在所使用的背景中另外理解，比如“可以”、“能够”、“可能”或“可”等条件语言通常旨在传达某些实现可以包括某些特征、元件和/或操作，而其他实现方式不包括。因此，这种条件语言通常不旨在暗示特征、元件和/或操作以任何方式对于一个或多个实现方式是必需的，或者一个或多个实现方式必须包括用于在有或没有用户输入或提示的情况下决定这些特征、元件和/或操作是否被包括或将在任何特定实现方式中执行的逻辑。
附图中的流程图和框图示出了根据本公开的各种实施方式的***、方法和计算机程序产品的实例的可能实现的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示指令的模块、段或部分，其包括用于实现指定操作的一个或多个机器或计算机可执行指令。注意，框图和/或流程图示中的每个框以及框图和/或流程图示中的框的组合可以由基于专用硬件的***来实现，基于专用硬件的***执行指定的功能或操作或者执行专用硬件和计算机指令的组合。
本文的计算机可读程序指令可经由网络(例如，因特网、局域网、广域网和/或无线网络)从计算机可读储存介质或外部计算机或外部储存设备下载到相应的计算/处理设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令以储存在相应计算/处理设备内的计算机可读非暂时性储存介质中。
在本说明书和附图中已经描述的内容包括***、设备、技术和计算机程序产品的实例，***、设备、技术和计算机程序产品单独地和组合地允许追踪和跟踪在工业设备中制造的产品的部件。当然，不可能出于描述本公开的各种元件的目的而描述部件和/或方法的每一可能组合，但可认识到，所公开元件的许多其它组合和排列是可能的。因此，很明显，在不脱离本公开的范围或精神的情况下，可以对本公开进行各种修改。此外，或者作为替代，通过考虑说明书和附图以及如本文所呈现的本公开的实践，本公开的其他实施方式可以是显而易见的。在说明书和附图中提出的实例在所有方面都被认为是说明性的而非限制性的。尽管这里采用了特定的术语，但是它们仅用于一般的和描述性的意义，而不是用于限制的目的。

Claims (17)

1.一种用于追踪产品部件的计算机实现的方法，包括：
通过包括至少一个处理器的计算***，接收指示用于形成产品的制造过程的各部分的视频片段的集合的成像信息；
通过所述计算***，使所述视频片段的集合相对于所述制造过程的开始时刻同步；
由所述计算***，通过至少使用所述制造过程分析所述视频片段的同步集合，生成观察组；
通过所述计算***，至少使用所述观察组和对应于所述制造过程的组装规则，生成声明组；以及
通过所述计算***，至少使用所述观察组和所述声明组，生成所述产品的数字跟踪记录，
其中，所述方法还包括：使用信号时间逻辑来生成所述声明组的第一声明，所述时间逻辑提供被用于指定在所述制造过程的执行期间工业设备在离散时间步骤上的行为的数学描述语言，其中，所述第一声明包括所述制造过程的作业中的输出组件由所述制造过程的作业中的输入部件以限定概率形成的说明，其中，所述数字跟踪记录能够被重建以精确追踪和跟踪成品的至少一些部件。
2.根据权利要求1所述的计算机实现的方法，还包括：将所述数字跟踪记录提供给包括至少一个第二处理器的第二计算***，所述第二计算***包括在制造执行***和生产生命周期管理***之一中。
3.根据权利要求1所述的计算机实现的方法，其中，所述接收包括：从定位在执行所述制造过程的作业的机器附近的限定位置处的成像传感器设备接收所述成像信息的第一部分，所述成像传感器设备包括相机、红外电磁辐射光电检测器设备和光检测和测距传感器设备之一。
4.根据权利要求1所述的计算机实现的方法，其中，生成所述观察组包括：识别所述视频片段的集合的第一视频片段的图像帧中的限定特征。
5.根据权利要求4所述的计算机实现的方法，其中，所述限定特征对应于构成组件的限定部件和所述组件之一，并且其中，识别包括：执行识别所述限定部件和所述组件之一的机器视觉技术。
6.根据权利要求1所述的计算机实现的方法，其中，生成所述声明组包括：
通过所述计算***，接收第一数据，所述第一数据指示所述制造过程的作业中的各输入部件的第一观察组；
通过所述计算***，接收第二数据，所述第二数据指示来自所述作业的输出组件的第二观察组；以及
将所述组装规则中的第一组装规则应用于所述第一数据和所述第二数据。
7.一种计算机可读存储介质，包括由至少一个处理电路读取的至少一个非暂时性储存介质，所述非暂时性储存介质上编码有由所述至少一个处理电路执行以进行或促进以下操作的指令，所述操作包括：
接收指示用于形成产品的制造过程的各部分的视频片段的集合的成像信息；
使所述视频片段的集合相对于所述制造过程的开始时刻同步；
通过至少使用所述制造过程分析视频片段的同步集合，生成观察组；
至少使用所述观察组和对应于所述制造过程的组装规则，生成声明组；以及
至少使用所述观察组和所述声明组，生成所述产品的数字跟踪记录，
使用信号时间逻辑来生成所述声明组的第一声明，所述时间逻辑提供被用于指定在所述制造过程的执行期间工业设备在离散时间步骤上的行为的数学描述语言，其中，所述第一声明包括所述制造过程的作业中的输出组件由所述制造过程的作业中的输入部件以限定概率形成的说明，其中，所述数字跟踪记录能够被重建以精确追踪和跟踪成品的至少一些部件。
8.根据权利要求7所述的计算机可读存储介质，所述操作还包括：将所述数字跟踪记录提供给包括至少一个第二处理器的第二计算***，所述第二计算***包括在制造执行***和生产生命周期管理***之一中。
9.根据权利要求7所述的计算机可读存储介质，其中，所述接收包括：从定位在执行所述制造过程的作业的机器附近的限定位置处的成像传感器设备接收所述成像信息的第一部分，所述成像传感器设备包含相机、红外电磁辐射光检测器设备和光检测及测距传感器设备之一。
10.根据权利要求7所述的计算机可读存储介质，生成所述观察组包括：识别所述视频片段的集合的第一视频片段的图像帧中的限定特征。
11.根据权利要求10所述的计算机可读存储介质，其中，所述限定特征对应于构成组件的限定部件和所述组件之一，并且其中，识别包括执行识别所述限定部件和所述组件之一的机器视觉技术。
12.根据权利要求7所述的计算机可读存储介质，其中，生成所述声明组包括：
接收第一数据，所述第一数据指示所述制造过程的作业中的各输入部件的第一观察组；
接收第二数据，所述第二数据指示来自所述作业的输出组件的第二观察组；以及
将所述组装规则的第一组装规则应用于所述第一数据和所述第二数据。
13.一种用于追踪产品部件的***，包括：
至少一个存储器设备，其中储存有计算机可执行指令；以及
至少一个处理器，被配置为访问所述至少一个存储器设备且还被配置为执行所述计算机可执行指令以：
接收监控信息，所述监控信息包括指示用于形成产品的制造过程的各部分的视频片段的集合的成像信息；
使至少所述视频片段的集合相对于所述制造过程的开始时刻同步；
通过至少使用所述制造过程至少分析视频片段的同步的集合来生成观察组；
至少使用所述观察组和对应于所述制造过程的组装规则生成声明组；以及
至少使用所述观察组和所述声明组，生成所述产品的数字跟踪记录，
使用信号时间逻辑来生成所述声明组的第一声明，所述时间逻辑提供被用于指定在所述制造过程的执行期间工业设备在离散时间步骤上的行为的数学描述语言，其中，所述第一声明包括所述制造过程的作业中的输出组件由所述制造过程的作业中的输入部件以限定概率形成的说明，其中，所述数字跟踪记录能够被重建以精确追踪和跟踪成品的至少一些部件。
14.根据权利要求13所述的***，所述至少一个处理器还被配置为执行所述计算机可执行指令，以向包括至少一个第二处理器的第二计算***提供所述数字跟踪记录，所述第二计算***包括在制造执行***和生产生命周期管理***之一中。
15.根据权利要求13所述的***，其中，为了接收所述监控信息，所述至少一个处理器还被配置为执行计算机可读指令以从第一成像传感器设备和第二成像传感器设备中的至少一个接收成像信息的第一部分，所述第一成像传感器设备位于执行所述制造过程的工作的机器附近的限定位置，所述第二成像传感器设备被安装在移动无人机器人上，所述成像传感器设备包括摄像头、红外电磁辐射光电探测器装置，或光探测和测距传感器设备。
16.根据权利要求13所述的***，其中，为了生成所述观察组，所述至少一个处理器还被配置为执行所述计算机可执行指令，以识别所述视频片段的集合的第一视频片段的图像帧中的限定特征。
17.根据权利要求13所述的***，其中，为了生成所述声明组，所述至少一个处理器还被配置为执行所述计算机可执行指令以：
接收第一数据，所述第一数据指示所述制造过程的作业中的各输入部件的第一观察组；
接收第二数据，所述第二数据指示来自所述作业的输出组件的第二观察组；以及
将所述组装规则的第一组装规则应用于所述第一数据和所述第二数据。
CN201910843888.8A 2018-09-10 2019-09-06 追踪产品部件的计算机实现方法、***和计算机程序产品 Active CN110889707B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/126,292 US10699419B2 (en) 2018-09-10 2018-09-10 Tracking and traceability of parts of a product
US16/126,292 2018-09-10

Publications (2)

Publication Number Publication Date
CN110889707A CN110889707A (zh) 2020-03-17
CN110889707B true CN110889707B (zh) 2023-11-28

Family

ID=67902418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910843888.8A Active CN110889707B (zh) 2018-09-10 2019-09-06 追踪产品部件的计算机实现方法、***和计算机程序产品

Country Status (4)

Country Link
US (1) US10699419B2 (zh)
EP (1) EP3620973B1 (zh)
JP (1) JP7060558B2 (zh)
CN (1) CN110889707B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832497B (zh) * 2017-10-17 2018-08-28 广东工业大学 一种智能车间快速定制设计方法及***
WO2021061875A1 (en) * 2019-09-24 2021-04-01 Hrl Laboratories, Llc System and method of perception error evaluation and correction by solving optimization problems under the probabilistic signal temporal logic based constraints
US11694120B2 (en) * 2019-09-24 2023-07-04 Hrl Laboratories, Llc Generation and usage of semantic features for detection and correction of perception errors
US11854252B1 (en) 2019-09-24 2023-12-26 Hrl Laboratories, Llc Automated probabilistic axiom generation and incremental updates
US11941870B1 (en) 2019-09-24 2024-03-26 Hrl Laboratories, Llc System for action recognition error detection and correction using probabilistic signal temporal logic
CN111413887B (zh) * 2020-03-17 2021-06-01 浙江大学 一种复杂产品装配生产线数字孪生***
CN111640138B (zh) * 2020-05-28 2023-10-27 济南博观智能科技有限公司 一种目标跟踪方法、装置、设备及存储介质
EP4165592A4 (en) * 2020-06-13 2024-02-28 Cybord Ltd. SYSTEM AND METHOD FOR TRACING COMPONENTS OF AN ELECTRONIC ASSEMBLY
US11854187B2 (en) 2020-10-13 2023-12-26 Mitsubishi Electric Corporation Model generation device, abnormality determination device, abnormality determination system, model generation method, and recording medium
CN112200491B (zh) * 2020-10-30 2024-04-16 傲林科技有限公司 一种数字孪生模型构建方法、装置及存储介质
CN112766987B (zh) * 2021-01-28 2024-04-16 中国科学院空天信息创新研究院 一种基于北斗基准的农产品溯源码编制方法
CN112766988B (zh) * 2021-01-28 2024-04-16 中国科学院空天信息创新研究院 基于北斗时空基准的农产品溯源码编制***
CN113111201B (zh) * 2021-04-19 2022-02-11 北京航空航天大学 一种数字孪生模型轻量化方法和***
JP7503036B2 (ja) 2021-09-02 2024-06-19 Kddi株式会社 データ処理装置、データ処理方法及びプログラム
JP7457063B2 (ja) 2022-07-07 2024-03-27 株式会社日立製作所 デジタルツイン連携方法、デジタルツイン連携システム、及びデジタルツイン連携プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101467183A (zh) * 2006-04-13 2009-06-24 Igt公司 游戏机上的远程内容管理及资源共享及其实施方法
CN102693128A (zh) * 2011-03-03 2012-09-26 西门子公司 用于生成***规范的方法、设备和计算机程序产品
CN102884530A (zh) * 2010-05-16 2013-01-16 捷通国际有限公司 用于包括冲击分析和影响跟踪的数据收集、跟踪和分析
CN104516337A (zh) * 2013-10-01 2015-04-15 美国博通公司 基于姿态的工业监控
WO2016176053A1 (en) * 2015-04-27 2016-11-03 Microsoft Technology Licensing, Llc Establishing causality order of computer trace records
JP2017183390A (ja) * 2016-03-29 2017-10-05 日本電気株式会社 識別装置
CN108369404A (zh) * 2015-12-10 2018-08-03 西门子股份公司 集成plc历史记录的分布式嵌入式数据和知识管理***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103026341A (zh) * 2010-08-16 2013-04-03 西门子医疗保健诊断公司 光学警报识别的方法和设备
US20120062725A1 (en) * 2010-09-10 2012-03-15 Gm Global Technology Operations, Inc. System for error-proofing manual assembly operations using machine vision
US10169433B2 (en) * 2014-07-29 2019-01-01 Microsoft Technology Licensing, Llc Systems and methods for an SQL-driven distributed operating system
JP6540472B2 (ja) 2015-11-18 2019-07-10 オムロン株式会社 シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
US10457344B2 (en) * 2016-12-23 2019-10-29 Ford Motor Company Closure member and body opening alignment verification system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101467183A (zh) * 2006-04-13 2009-06-24 Igt公司 游戏机上的远程内容管理及资源共享及其实施方法
CN102884530A (zh) * 2010-05-16 2013-01-16 捷通国际有限公司 用于包括冲击分析和影响跟踪的数据收集、跟踪和分析
CN102693128A (zh) * 2011-03-03 2012-09-26 西门子公司 用于生成***规范的方法、设备和计算机程序产品
CN104516337A (zh) * 2013-10-01 2015-04-15 美国博通公司 基于姿态的工业监控
WO2016176053A1 (en) * 2015-04-27 2016-11-03 Microsoft Technology Licensing, Llc Establishing causality order of computer trace records
CN108369404A (zh) * 2015-12-10 2018-08-03 西门子股份公司 集成plc历史记录的分布式嵌入式数据和知识管理***
JP2017183390A (ja) * 2016-03-29 2017-10-05 日本電気株式会社 識別装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MTS/MTO混合型机械制造企业制造***建模研究;张永华等;《云南农业大学学报》;第24卷(第01期);第94-98页 *

Also Published As

Publication number Publication date
US20200082546A1 (en) 2020-03-12
EP3620973C0 (en) 2023-10-25
JP7060558B2 (ja) 2022-04-26
EP3620973A1 (en) 2020-03-11
US10699419B2 (en) 2020-06-30
JP2020042814A (ja) 2020-03-19
EP3620973B1 (en) 2023-10-25
CN110889707A (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
CN110889707B (zh) 追踪产品部件的计算机实现方法、***和计算机程序产品
US11868684B2 (en) Digital platform using cyber-physical twin structures providing an evolving digital representation of a risk-related real world asset for quantifying risk measurements, and method thereof
EP3314340B1 (en) Control contextualization and reasoning about control
Ahuett-Garza et al. A brief discussion on the trends of habilitating technologies for Industry 4.0 and Smart manufacturing
US10579932B1 (en) Computer system and method for creating and deploying an anomaly detection model based on streaming data
EP3335083B1 (en) Rich contextualization of automation data
US11181894B2 (en) Computer system and method of defining a set of anomaly thresholds for an anomaly detection model
Javed et al. Towards dynamic safety assurance for Industry 4.0
US10860599B2 (en) Tool for creating and deploying configurable pipelines
US20190377816A1 (en) Tool for Creating and Deploying Configurable Enrichment Pipelines
US20220137583A1 (en) Edge computing device with artificial intelligence model for emulating control logic of a programmable logic controller
Dou et al. Towards artificial general intelligence (agi) in the internet of things (iot): Opportunities and challenges
Jesenski et al. Simulation-Based Methods for Validation of Automated Driving: A Model-Based Analysis and an Overview about Methods for Implementation
EP4089493A1 (en) Development of a product using a process control plan digital twin
Singh et al. EYE-on-HMI: A Framework for monitoring human machine interfaces in control rooms
Wanjale et al. Opting for Industry 4.0: Challenge or Opportunity
Adigun et al. Collaborative artificial intelligence needs stronger assurances driven by risks
US20200160208A1 (en) Model sharing among edge devices
Mao et al. A visual model-based evaluation framework of cloud-based prognostics and health management
Dahl et al. Application of the sequence planner control framework to an intelligent automation system with a focus on error handling
Stojanovic et al. PREMIuM: Big data platform for enabling self-healing manufacturing
von Enzberg et al. Implementation and transfer of predictive analytics for smart maintenance: A case study
Lee et al. Why Do We Need Industrial AI?
Monek et al. IIoT-Supported Manufacturing-Material-Flow Tracking in a DES-Based Digital-Twin Environment. Infrastructures 2023, 8, 75
Schieseck et al. A Graphical Modeling Language for Artificial Intelligence Applications in Automation Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant