CN114556369A - 使用声分离神经网络的制造自动化 - Google Patents

使用声分离神经网络的制造自动化 Download PDF

Info

Publication number
CN114556369A
CN114556369A CN202080071574.1A CN202080071574A CN114556369A CN 114556369 A CN114556369 A CN 114556369A CN 202080071574 A CN202080071574 A CN 202080071574A CN 114556369 A CN114556369 A CN 114556369A
Authority
CN
China
Prior art keywords
task
tool
signals
acoustic
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080071574.1A
Other languages
English (en)
Inventor
G·维切恩
J·勒鲁克斯
F·皮石达蒂安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN114556369A publication Critical patent/CN114556369A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4188—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by CIM planning or realisation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32335—Use of ann, neural network
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/33—Director till display
    • G05B2219/33025—Recurrent artificial neural network
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/33—Director till display
    • G05B2219/33296—ANN for diagnostic, monitoring
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/33—Director till display
    • G05B2219/33325—Diagnostic of only machining, operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/34—Director, elements to supervisory
    • G05B2219/34427—Diagnostic, monitoring incorporated in controller
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37433—Detected by acoustic emission, microphone
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37435—Vibration of machine
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/49—Nc machine tool, till multiple
    • G05B2219/49105—Emitted noise of tool
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/50—Machine tool, machine tool null till machine tool work handling
    • G05B2219/50291—Multi-tool, several tools
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Feedback Control In General (AREA)
  • Numerical Control (AREA)

Abstract

一种用于控制包括辅助一个或多个工具执行一个或多个任务的多个致动器的机器的操作的***响应于接收到由执行任务的工具生成的信号和由致动工具的多个致动器生成的信号的声混合，将信号的声混合提交到神经网络中，该神经网络被训练以从声混合将由执行任务的工具生成的信号与由致动工具的致动器生成的信号分离，以从信号的声混合提取由执行任务的工具生成的信号，分析所提取的信号以生成任务的执行的状态，并且执行根据任务的执行的状态选择的控制动作。

Description

使用声分离神经网络的制造自动化
技术领域
本发明总体上涉及使用机器学习技术的制造自动化，具体地，涉及使用训练以从声混合分离信号的神经网络的制造自动化。
背景技术
在快速而强大的机器可高速执行复杂操作序列的制造中监测和控制安全和质量非常重要。偏离预期操作序列或定时会使质量下降，浪费原材料，导致停机和设备损坏，降低产量。工人的危险是主要问题。为此，必须非常小心以仔细设计制造工艺从而使意外事件最小化，并且还需要使用各种传感器和紧急开关向生产线中设计安全措施。
制造类型包括过程制造和离散制造。在过程制造中，产品通常是无差别的，例如石油、天然气和盐。离散制造生产不同的物品，例如汽车、家具、玩具和飞机。
增加安全性并使材料和产量损失最小化的一个实际方法是检测生产线何时异常操作，并且在这样的情况下如果需要则停止生产线。实现该方法的一个方式是依据例如温度、压力等的可测量变量的范围使用生产线的正常操作的描述来定义容许操作区域并检测该区域之外的操作点。这种方法在过程制造行业(例如，炼油)中是常见的，其中通常对物理变量的允许范围有很好的理解，并且产品质量的质量度量通常直接依据这些变量来定义。
然而，离散制造中的工作过程的本质不同于过程制造中，并且偏离正常工作过程可具有非常不同的特性。离散制造包括对工作单元执行的一序列操作，例如加工、焊接、组装等。异常可包括不正确地执行一个或更多个任务，或者任务的顺序不正确。即使在异常情况下，诸如温度或压力的物理变量常常也不在范围之外，因此直接监测这些变量无法可靠地检测这些异常。
另外，复杂制造***可包括过程制造和离散制造的组合。当过程制造和离散制造混合(intermingle)在信号生产线上时，为不同类型的制造设计的异常检测方法会不准确。例如，过程制造的异常检测方法可旨在检测数据的异常值，而离散制造的异常检测方法可旨在检测不正确的操作执行顺序。为此，自然为不同类的制造操作设计不同的异常检测方法。然而，在复杂制造***中使用这些单独的检测技术可能变得过于复杂。
为此，需要开发适合于不同类型的制造***中的异常检测的***和方法。例如，美国公布[MERL-3116 15/938,411]中描述的方法针对过程制造和离散制造之一或组合的异常检测应用了机器学习技术。使用机器学习，收集的数据可用于自动学习***，其中可通过训练来学习数据的特征。训练的模型可检测实时数据中的异常以实现预测性维护和停机时间减少。然而，即使在机器学习的帮助下，需要收集以表示一些制造操作的数据仍会使准确异常检测不切实际。
发明内容
一些实施方式的目的是提供适合于具有致动一个或多个工具以执行一个或多个任务的多个致动器的复杂工业***中的制造自动化的***和方法。另外地或另选地，一些实施方式的目的是使用机器学习来估计这些任务的执行的状态并相应地控制***。
一些实施方式基于这样的认识：机器学习可用于状态随时间改变的物理***根据未知底层动态***的数据驱动时间序列预测推理。对于这些***，仅测量与***的状态有关的观测。这可有利于控制难以建模的复杂工业***。
然而，一些实施方式基于另一认识：这些各种机器学习技术可在观测明确地表示***的状态时使用，这对于一些情况会是有问题的。实际上，如果观测集合唯一地对应于***的状态，则机器学习方法可用于设计各种预测器。然而，各个时间实例的传感器数据可能没有提供关于实际***状态的足够信息。所需观测的数量取决于***的维度d，对于线性***等于d，对于非线性***等于2d+1。如果收集的测量不包括足够的观测，则机器学习方法会失败。
一些实施方式基于这样的认识：代替考虑执行任务的***的状态，可考虑任务本身的执行状态。例如，当***包括用于执行一个或多个任务的多个致动器时，***的状态包括所有这些致动器的状态。然而，在一些情况下，致动器的状态不是控制的首要关注。实际上，需要致动器的状态以指导执行(例如，任务的执行)，因此执行状态是主要目标，而执行任务的致动器的状态仅是次要目标。
一些实施方式基于这样的理解：使***的状态等同于任务的执行的状态是自然的，因为常常仅可测量或观测***的状态，并且如果收集足够的观测，则***的状态确实可表示执行状态。然而，在一些情况下，***的状态难以测量，并且任务的执行的状态难以定义。
例如，考虑利用切割工具加工工件的计算机数控(CNC)。***的状态包括沿着工具路径移动切割工具的致动器的状态。加工的执行状态是实际切割的状态。工业CNC***可具有许多不同(有时冗余)的致动器，其中许多状态变量彼此成复杂的非线性关系，从而给观测CNC***的状态带来困难。然而，测量工件的加工状态也会是困难的。
一些实施方式基于这样的认识：任务的执行的状态可由通过这样执行而生成的声信号表示。例如，工件的CNC加工的执行状态可由在加工期间工件的变形所导致的振动信号表示。因此，如果可测量这种振动信号，则包括机器学习方法的各种分类技术可用于分析这种振动信号以估计任务执行状态并选择适当控制动作以用于控制执行。
然而，这种方法所面临的问题在于这种振动信号并不孤立存在。例如，在包括致动一个或多个工具以执行一个或多个任务的多个致动器的***中，执行任务的工具所生成的信号始终与致动工具的致动器所生成的信号混合。例如，由工件的变形生成的振动信号始终与来自使切割工具移动的马达的信号混合。如果这种振动信号可在句法上以某种方式孤立地生成或以某种方式孤立地捕获，则可训练诸如神经网络的机器学习***以提取这种信号。然而，在包括CNC加工的许多情况下，这样生成表示任务执行的孤立信号是不切实际的。类似地，通过多个麦克风单独记录不同信号也会是不切实际的。
为此，为了使包括致动一个或多个工具以执行一个或多个任务的多个致动器的***的制造自动化流水化，需要从由执行任务的工具生成的信号和由致动工具的多个致动器生成的信号的声混合分离源信号。因此，一些实施方式的目的是在不存在孤立声源的情况下针对混合信号的声源的声音分离训练神经网络。如本文所使用的，混合信号中的至少一些声源在声混合中占据相同的时间、空间和频率谱。
一些实施方式基于这样的认识：当声混合中的声源可容易地孤立记录或例如被人识别时，可利用监督学习来提供这种训练。这种分类在本文中被称为强标签。理论上，人可产生这种类型的标签的近似，然而，要求人在时间和频率二者上精确地标记声音活动以提供强标签在很大程度上是不现实的。然而，关于在某一时间范围内哪一声音是活动的考虑一些有限标签(弱标签)是现实的。在一般情况下，这种弱标签不需要声音贯穿整个指定的范围均是活动的，可仅在该范围内的短暂瞬间出现。
一些实施方式基于这样的认识：由于制造过程的结构通常是已知的，所以生成声信号的源通常也是已知的。为此，可为表示制造***的操作的声混合的源提供弱标签。为此，一些实施方式开发了可学习以分离仅具有弱标签的声混合的训练数据可用的声混合中的声音的方法。
因此，一些实施方式训练神经网络以从声混合将由执行任务的工具生成的信号与由致动工具的致动器生成的信号分离。例如，神经网络被训练以从声混合分离不同的信号，使得各个分离的信号属于在***操作中存在的一类信号，而分离的信号相加为声混合。弱标签标识在***的操作中存在的信号类。各个弱标签指定在操作期间的某一点存在的一类信号。
在一个实施方式中，神经网络与被配置为对由弱标签标识的信号类进行分类的分类器联合训练。例如，神经网络可与分类器联合训练以使包括分类器的输出与神经网络的输出之间的交叉熵项的损失函数最小化。这种联合训练考虑到这样的事实：难以对不孤立存在的信号进行分类并且允许分离和分类神经网络的端到端训练。
在一些实现方式中，为了保证质量，向神经网络的训练添加附加约束。例如，在一个实施方式中，训练神经网络，使得当由弱标签标识的那类分离信号作为输入被提交给神经网络时，神经网络生成该分离信号作为输出。另外地或另选地，在一个实施方式中，训练神经网络，使得来自由弱标签标识的两个或更多个类的分离信号被重组并反馈给网络以重新分离，而对抗损失在真实声混合与合成重组混合之间进行区分。
在针对信号分离训练了神经网络的情况下，一些实施方式使用该网络的输出来训练用于估计任务执行状态的状态估计器。例如，在一个实施方式中，针对由执行任务的工具生成并由神经网络从***操作的不同重复的不同声混合提取的信号训练状态估计器。值得注意的是，在一些实施方式中，由执行任务的工具生成的提取信号的各个样本定义任务执行状态，而不足以定义***操作状态。然而，任务执行状态足以选择适当的控制动作。这样，实施方式在制造自动化应用中提供降维。
对于降维，另外地或另选地，一些实施方式允许独立地控制执行不同操作任务的不同工具。例如，当对表示整个***的状态的信号执行分析时，这种分析可对整个***提供控制。然而，当针对执行不同任务的不同工具单独地执行分析时，工具的独立控制是可能的。
为此，当在***操作期间多个工具执行多个任务时，一些实施方式执行任务的独立控制。例如，一个实施方式控制具有执行第一任务的第一工具和执行第二任务的第二工具的***。神经网络被训练以从声混合分离由执行第一任务的第一工具生成的第一信号和由执行第二任务的第二工具生成的第二信号。在***操作期间，第一信号和第二信号使用神经网络从声混合提取，并且彼此独立地分析以估计第一任务的执行的第一状态和第二任务的执行的第二状态。实施方式被配置为执行根据第一状态选择的第一控制动作并且执行根据第二状态选择的第二控制动作。
因此，一个实施方式公开了一种用于控制机器的操作的***，该机器包括辅助一个或多个工具执行一个或多个任务的多个致动器。该***包括：输入接口，其被配置为在***的操作期间接收由执行任务的工具生成的信号和由致动工具的所述多个致动器生成的信号的声混合；存储器，其被配置为存储神经网络，该神经网络被训练以从声混合将由执行任务的工具生成的信号与由致动工具的致动器生成的信号分离；以及处理器，其被配置为将信号的声混合提交到神经网络中以从信号的声混合提取由执行任务的工具生成的信号；分析所提取的信号以生成任务的执行的状态；并且执行根据任务的执行的状态选择的控制动作。
另一实施方式公开了一种控制机器的操作的方法，该机器包括辅助一个或多个工具执行一个或多个任务的多个致动器，其中，所述方法使用与所存储的实现所述方法的指令联接的处理器，其中，所述指令在由处理器执行时执行所述方法的步骤。该方法包括以下步骤：接收由执行任务的工具生成的信号和由致动工具的所述多个致动器生成的信号的声混合；将信号的声混合提交到神经网络中，该神经网络被训练以从声混合将由执行任务的工具生成的信号与由致动工具的致动器生成的信号分离，以从信号的声混合提取由执行任务的工具生成的信号；分析所提取的信号以生成任务的执行的状态；以及执行根据任务的执行的状态选择的控制动作。
另一实施方式公开了一种具体实现有程序的非暂时性计算机可读存储介质，该程序可由处理器执行以用于执行一种方法。该方法包括以下步骤：接收由执行任务的工具生成的信号和由致动工具的所述多个致动器生成的信号的声混合；将信号的声混合提交到神经网络中，该神经网络被训练以从声混合将由执行任务的工具生成的信号与由致动工具的致动器生成的信号分离，以从信号的声混合提取由执行任务的工具生成的信号；分析所提取的信号以生成任务的执行的状态；以及执行根据任务的执行的状态选择的控制动作。
附图说明
[图1A]图1A示出根据一些实施方式的用于分离与在机器操作期间发出振动的不同致动器对应的信号并将这些分离的信号用于后续监测任务的***的框图。
[图1B]图1B示出根据一些实施方式的用于分离与在机器操作期间发出振动的不同致动器对应的信号并将这些分离的信号用于后续监测任务的***的框图。
[图1C]图1C示出根据一些实施方式的由执行任务的工具生成的信号和由致动工具的多个致动器生成的信号的声混合的谱图。
[图2]图2示出例示了根据一些实施方式的声信号处理***针对源分离的训练的流程图。
[图3A]图3A示出例示了根据一些实施方式的单通道掩模推理源分离网络架构的框图。
[图3B]图3B示出例示了根据一些实施方式的用于声音事件分类的卷积递归网络架构的框图。
[图4]图4示出例示了根据一些实施方式的用于训练具有弱标签的声源分离网络的一些方法步骤的流程图。
[图5]图5示出根据一些实施方式的强制分离的信号所需的分类损失函数和目标的示意图。
[图6]图6示出例示了基于根据一些实施方式孤立的信号分析执行状态的曲线图。
[图7]图7示出根据一些实施方式的控制加工操作的示意图。
[图8]图8示出例示了根据一些实施方式的制造异常检测***的致动器的示意图。
具体实施方式
图1A和图1B示出根据一些实施方式的用于分析执行并控制机器102的操作的***100的框图。机器102可包括一个或多个致动器(组件)103，其各自执行独特任务并连接到协调装置104。由致动器103执行的任务的示例可以是加工、焊接或组装。在一些实施方式中，机器致动器103可同时操作，但是协调装置104可能需要单独地控制各个致动器。协调装置104的示例是执行任务的工具。例如，在一些实施方式中，***100控制机器的操作，该机器包括辅助一个或多个工具执行一个或多个任务的多个致动器。
在一些实施方式中，传感器101可以是麦克风或多个麦克风的阵列，传感器101捕获在机器102的操作期间生成的由各个致动器103所生成的振动。另外，一些机器致动器103可共同定位在相同的空间区域中，使得即使传感器101是多麦克风阵列，它们也无法由传感器101单独地捕获。因此，由传感器101捕获的振动信号是声混合信号195，其由各个机器致动器103所生成的振动信号之和组成。在一些实施方式中，声混合信号的谱图中的至少一些声源在声混合中占据相同的时间、空间和频率。
在一些实施方式中，由于更安静的致动器可能被更响亮的致动器遮蔽，所以可能无法从声混合信号195估计各个机器致动器103的执行状态。为此，***100包括分离神经网络131，其可孤立由各个机器致动器103从声混合信号195生成的振动。一旦从声混合信号195孤立各个机器致动器103的信号，它们可用于执行状态估计135和任务执行137。
为此，***100包括由处理器120执行以控制机器的操作的各种模块。处理器将信号的声混合提交到神经网络131中，以从信号的声混合提取由执行任务的工具生成的信号，使用估计器135分析提取的信号以生成任务执行状态，并且执行由控制器137根据任务的执行的状态选择并通过控制接口170通信的控制动作，以用于诸如避免故障和维持机器102中的平稳操作的应用。
***100可具有将***100与其它***和装置连接的许多输入108和输出116接口。例如，网络接口控制器150适于通过总线106将***100连接至网络190。通过网络190(无线或通过有线)，***100可接收声混合输入信号195。在一些实现方式中，***100内的人机接口110将***连接到键盘111和指点装置112，其中，指点装置112可包括鼠标、轨迹球、触摸板、操纵杆、指点杆、手写笔或触摸屏等。通过接口110或NIC 150，***100可接收诸如在机器102的操作期间生成的声混合信号195的数据。
***100包括输出接口，其被配置为输出与在机器102的操作期间生成的各个致动器103的振动对应的分离的声信号，或者针对分离的声信号操作的执行状态估计***135的输出。例如，输出接口可包括存储器以渲染分离的声信号或状态估计结果。例如，***100可通过总线106链接到适于将***100连接到显示装置185(例如，扬声器、头戴式耳机、计算机监视器、相机、电视、投影仪或移动装置等)的显示接口180。***100还可连接到适于将***连接到用于执行各种操作的设备165的应用接口160。
***100包括被配置为执行所存储的指令的处理器120以及存储可由处理器执行的指令的存储器140。处理器120可以是单核处理器、多核处理器、计算集群或任何数量的其它配置。存储器140可包括随机存取存储器(RAM)、只读存储器(ROM)、闪存或任何其它合适的存储器***。处理器120通过总线106连接到一个或更多个输入装置和输出装置。这些指令实现一种分离在机器102的操作期间生成的振动信号以用于执行估计和未来控制的方法。
一些实施方式基于这样的认识：代替考虑执行任务的***的状态，可考虑任务本身的执行状态。例如，当***包括用于执行一个或多个任务的多个致动器时，***的状态包括所有这些致动器的状态。然而，在一些情况下，致动器的状态不是控制的首要关注。实际上，需要致动器的状态以指导执行(例如，任务的执行)，因此执行状态是主要目标，而执行任务的致动器的状态仅是次要目标。
然而，在一些情况下，***的状态难以测量，并且任务的执行的状态难以定义。例如，考虑利用切割工具加工工件的计算机数控(CNC)。***的状态包括沿着工具路径移动切割工具的致动器的状态。加工的执行状态是实际切割的状态。工业CNC***可具有许多不同(有时冗余)的致动器，其中许多状态变量彼此成复杂的非线性关系，从而给观测CNC***的状态带来困难。然而，测量工件加工状态也会是困难的。
一些实施方式基于这样的认识：任务的执行的状态可由通过这样执行而生成的声信号表示。例如，工件的CNC加工的执行状态可由在加工期间工件的变形所导致的振动信号表示。因此，如果可测量这种振动信号，则包括机器学习方法的各种分类技术可用于分析这种振动信号以估计任务执行状态并选择适当控制动作以用于控制执行。
然而，这种方法所面临的问题在于这种振动信号并不孤立存在。例如，在包括致动一个或多个工具以执行一个或多个任务的多个致动器的***中，执行任务的工具所生成的信号始终与致动工具的致动器所生成的信号混合。例如，由工件的变形生成的振动信号始终与来自使切割工具移动的马达的信号混合。如果这种振动信号可在句法上以某种方式孤立地生成或以某种方式孤立地捕获，则可训练神经网络以提取这种信号。然而，在包括CNC加工的许多情况下，这样生成表示任务执行的孤立信号是不切实际的。类似地，通过多个麦克风单独记录不同信号也会是不切实际的。
图1C示出根据一些实施方式的由执行任务102的工具和致动工具103的多个致动器生成的信号196的声混合的谱图。在传感器101是单个麦克风的情况下，由所有机器致动器103生成的信号可在时间和频率196二者中交叠。在这种情况下，诸如频率或时间选择性滤波的各种声信号处理技术对于孤立机器致动器所生成的各个声信号无效。在传感器101是麦克风阵列的情况下，可通过考虑阵列中的不同麦克风之间的延迟差异来孤立在空间不同位置处生成声音信号的源。例如，在图1C中，机器102包括由C1,..C5指示的致动器103，麦克风阵列可孤立由致动器C3生成的信号，因为其位于空间上独特的位置。然而，由于成对的信号(C1,C2)和(C4,C5)基于其在机器102中的物理位置而在空间上交叠，并且基于无法通过传统技术分离的声信号谱图196在时间和频率二者上交叠。
为此，为了使包括致动一个或多个工具以执行一个或多个任务的多个致动器的***的制造自动化流水化，需要从由执行任务的工具生成的信号和由致动工具的多个致动器生成的信号的声混合分离源信号。因此，一些实施方式的目的是在不存在孤立声源的情况下针对混合信号的声源的声音分离训练神经网络。
在一些情况下，至少一些声源在声混合的谱图中占据相同的时间和/或频率谱。例如，在一个实施方式中，在使得麦克风阵列技术的使用不切实际的房间中，混合中的声源占据相同的区域。另外地或另选地，一些实施方式的声混合仅来自单个麦克风的输出的单个通道。
一些实施方式基于这样的认识：当声混合中的声源可容易地孤立记录或例如被人识别时，可利用监督学习来提供这种训练。这种分类在本文中被称为强标签。理论上，人可产生这种类型的标签的近似，然而，要求人在时间和频率二者上精确地标记声音活动以提供强标签在很大程度上是不现实的。然而，关于在某一时间范围内哪一声音是活动的考虑一些有限标签(弱标签)是现实的。在一般情况下，这种弱标签不需要声音贯穿整个指定的范围均是活动的，可仅在该范围内的短暂瞬间出现。
一些实施方式基于这样的认识：由于制造过程的结构通常是已知的，所以生成声信号的源通常也是已知的。为此，可为表示制造***的操作的声混合的源提供弱标签。为此，一些实施方式开发了可学习以分离仅具有弱标签的声混合的训练数据可用的声混合中的声音的方法。
因此，一些实施方式训练神经网络131以从声混合将由执行任务的工具生成的信号与由致动工具的致动器生成的信号分离。例如，神经网络被训练以从声混合分离不同的信号，使得各个分离的信号属于在***操作中存在的一类信号，而分离的信号相加为声混合。弱标签标识在***操作中存在的信号类。各个弱标签指定在操作期间的某一点存在的一类信号。
图2是示出根据本公开的一些实施方式的用于分离声混合信号的声信号处理***200的训练的流程图。该***示出一般源分离场景，其中***从目标声信号和潜在其它非目标源(例如，噪声)的混合估计多个目标声信号。在通过来自机器的致动器的振动生成目标声信号，并且这些振动无法孤立存在的示例中，源分离***的训练目标由弱标签标识，即，训练仅需要在特定时间块中是否存在源，而非孤立源。声混合输入信号204包括多个交叠源之和，并且从包含声混合信号和在机器操作202期间记录的对应弱标签222的训练集采样。
混合输入信号204由谱图估计器206处理以计算声混合的时间频率表示。然后，使用存储的网络参数215将谱图输入至掩模推理网络230。掩模推理网络230就谱图的各个时间频率仓中各个源类的存在做出决策，并且估计幅度掩模232的集合。每个源存在一个幅度掩模，并且通过将各个掩模与声混合的复杂时间频率表示相乘来计算增强谱图234的集合。通过使各个增强谱图234经过将谱图估计器206所计算的时间频率表示反转的信号重构过程236来获得估计的声信号波形216的集合。
增强谱图234可使用存储的网络参数215经过分类器网络214。分类器网络为各个增强谱图的各个时间帧提供关于是否存在给定源类的概率。分类器对于谱图的各个时间帧操作一次，然而弱标签222可具有远低于谱图的时间分辨率，因此分类器网络214输出经过时间池化217模块，在一些实施方式中，时间池化217模块可对与一个弱标签时间帧对应的所有帧级决策取最大值，对帧级决策取平均，或者使用一些其它池化操作来组合帧级决策。网络训练模块220可使用目标函数来更新网络参数215。
图3A是示出根据本公开的实施方式的单通道掩模推理网络架构300A的框图。从输入混合获得的特征向量序列(例如，输入混合的短时傅里叶变换的对数幅度)用作混合编码器310的输入。例如，序列中的输入向量的维度可为F。混合编码器310由多个双向长短期记忆(BLSTM)神经网络层，从第一BLSTM层330至最后BLSTM层335组成。各个BLSTM层由前向长短期记忆(LSTM)层和后向LSTM层组成，其输出由下一层组合并用作输入。例如，第一BLSTM层330中的各个LSTM的输出的维度可为N，并且包括最后BLSTM层335的所有其它BLSTM层中的各个LSTM的输入维度和输出维度二者可为N。最后BLSTM层335的输出用作掩模推理模块312(包括线性神经网络层340和非线性345)的输入。对于时间频率域(例如，短时傅里叶变换域)中的各个时间帧和各个频率，线性层340使用最后BLSTM层335的输出来输出C个数，其中C是要分离的目标源的数量。非线性345针对各个时间帧和各个频率应用于这C个数的集合，从而得到针对各个时间帧、各个频率和各个目标源指示在该时间帧和该频率该目标源在输入混合中占主导的掩模值。来自掩模模块313的分离编码估计使用这些掩模连同估计掩模的时间频率域(例如，幅度短时傅里叶变换域)中的输入混合的表示一起，为各个目标源输出分离编码。例如，来自掩模模块313的分离编码估计可将目标源的掩模与输入混合的幅度短时傅里叶变换相乘，以获得该目标源的分离信号的幅度短时傅里叶变换的估计(如果孤立观测到，则用作该目标源的分离编码)。
图3B是示出根据本公开的实施方式的单通道卷积递归网络分类架构300B的框图。从输入混合获得的特征向量序列(例如，输入混合的短时傅里叶变换的对数幅度)用作混合编码器320的输入。例如，序列中的输入向量的维度可为F。混合编码器320由从第一卷积块301至最后卷积块302的多个卷积块组成，随后是递归BLSTM层303。各个卷积块由具有学习权重和偏差的卷积层组成，随后是时间维度和频率维度二者上的池化操作，这将输入维度减少至后续层。混合编码器320的末端的BLSTM层303由前向长短期记忆(LSTM)层和后向LSTM层组成，其输出被组合并用作分类器模块322的输入。分类器模块322包括线性神经网络层305和实现S形非线性307的模块。分类器模块322对于输入信号的各个时间帧输出C个数，其表示在当前时间帧中给定类型的源为活动的概率。
图4是数据收集和训练神经网络以用于分离不需要孤立存在或空间上彼此分离的声混合信号的方法的流程图。收集来自机器或声音环境的包含要分离的信号的声记录序列，以便形成训练数据记录400的集合。这些记录被注释以为所有训练数据信号410生成弱标签。该注释过程可包括在收集训练数据记录400的时间期间收集的对源活动和不活动的时间段采用的注释。另外地或另选地，所有训练数据信号410的弱标签可通过聆听训练数据记录400并注释要分离的源活动和不活动的时间段来取证地收集。另外地或另选地，弱标签基于受控的机器的操作规范来确定。
下一步骤是训练分类器以使用所有训练数据信号410的弱标签作为目标来预测各个训练数据信号400的弱标签420。该分类器也可称为声音事件检测***。随后，使用分类器作为监督430来训练分离器网络，这在下面更详细地描述。分离器网络然后提取作为信号集合的孤立声源440，其中各个分离的信号仅属于单个类或信号类型。然后，这些分离的信号可用于进一步训练分类器420以仅预测分离的信号的类，而所有其它类输出为零。此外，分离器网络430的训练也可以先前分离的信号作为输入，并且可更新网络的权重，使得正确分离的信号不变地经过分离器网络。
图5示出例示了根据一些实施方式的促进信号分离的弱标签和分类器输出之间的关系的示意图。在这些实施方式中，神经网络与分类器联合训练以使包括弱标签与穿过(run through)分类器的分离神经网络的那个之间的交叉熵项的损失函数最小化。图5的例示针对单个时间帧，并且以弱标签可用的时间分辨率重复。
通过尽管分类器运行由分离网络提取的C个信号中的每一个来获得分类器输出510。即，分类器输出矩阵510的每一行对应于一个分离的信号的分类器输出。弱标签目标矩阵530布置所提供的弱标签，使得它们可用于训练分离***。对于C个信号类中的每一个，如果类i的信号不存在，则我们使ti＝0，如果类i的信号存在，则ti＝1。对于分类器训练，交叉熵损失函数520仅需要具有来自声混合的分类器输出的弱标签目标矩阵530的对角元素，并且可数学上表示为
Figure BDA0003592217830000121
其中pi(i＝1,…,C)是针对类i的声混合信号操作时的分类器输出。
然而，由于我们需要分离的信号，所以实施方式强制分类器输出矩阵510中的非对角项在弱标签目标矩阵530中等于零。这有助于强制各个分离的信号仅属于单个源类。因此，用于分离的交叉熵损失函数520可数学上表示为：
Figure BDA0003592217830000131
其中H(ti,pii)是上面定义的交叉熵损失。使用分类损失来训练分离***的一个问题在于，分类器常常可仅基于可用频率谱的小子集来做出其决策，并且如果分离器仅学习以分离谱的一部分，则将无法实现提取孤立信号的目标。为了避免这种情况，添加强制所有活动源的提取信号总计为声混合信号的另一损失项，并且惩罚属于不活动源的任何能量。这在数学上表示为：
Figure BDA0003592217830000132
其中f是频率索引，X(f)是声混合幅度，
Figure BDA0003592217830000133
是分离的源的幅度。最后，将这两个致动器组合，总体损失函数如下执行：
Loverall＝LClass+αLMag
其中α是允许对各个损失致动器的相对重要性进行加权的项。
以这种方式，本公开提出了一种用于使用声分离神经网络的制造自动化的***和方法。本公开中提出的机器学习算法使用神经网络来孤立由制造场景中的不同部分的振动导致的各个信号。此外，由于组成声混合的振动信号可能并非孤立存在或使得它们在空间上彼此分离，所以所提出的***可使用弱标签来训练。在这种情况下，弱标签是指仅能访问声混合中不同源活动的时间段，而非组成混合的孤立信号。一旦组成声混合的信号被分离，它们可用于监测各个机器部分的执行状态或者作为独立地控制不同致动器的控制信号。
图6示出例示了基于根据一些实施方式孤立的信号分析执行状态的曲线图。在针对信号分离训练了神经网络131的情况下，一些实施方式使用该网络的输出来训练状态估计器135以用于估计任务执行状态。例如，在一个实施方式中，在由执行任务的工具生成并由神经网络从***操作的不同重复的不同声混合提取的信号601和602上训练状态估计器。
例如，在一些实施方式中，状态估计器135被配置为检测指示执行状态的预测模式615。例如，在时段617内收集的孤立信号的实值时间序列可包括正常区域118和导致故障点121的异常区域T 119。状态估计器135可被配置为检测异常区域619以防止故障621。例如，在一些实现方式中，状态估计器135使用Shapelet发现方法来搜索预测模式，直至找到最佳预测模式。使用Shapelet发现算法的至少一个优点是获得不同长度的预测模式的高效搜索。在内部，Shapelet发现根据预定测量标准来优化预测模式，例如，预测模式应该尽可能与异常区域中的一个模式相似，并且尽可能与正常区域中的所有模式不同。
另外地或另选地，在不同实施方式中，状态估计器135被实现为神经网络，其被训练以从提取神经网络131的输出估计任务执行状态。有利地，此实施方式的状态估计器可与神经网络131和用于训练神经网络131的分类器二者联合训练。以这种方式，此实施方式提供用于控制复杂机器的端到端训练解决方案。
值得注意的是，在一些实施方式中，由执行任务的工具生成的提取信号的各个样本定义任务执行状态，而不足以定义***操作状态。然而，任务执行状态足以选择适当控制动作。以这种方式，实施方式在制造自动化应用中提供了降维。
例如，在一些实施方式中，***被配置为执行操作序列以用于加工工件。这些实施方式中的工具是加工工具，处理器执行沿着工具路径致动加工工具的计算机数控(CNC)，由加工工具生成的信号是在加工工具的加工期间由工件的变形生成的振动信号。许多加工***具有用于定位工具的多个致动器。另外，许多加工***可具有冗余致动器以用于沿着各个自由度定位工具。另外，工具的类型也可影响***的性能。然而，所有这些变量可基于指示任务执行的信号的孤立和分类通过实施方式来捕获。
图7示出根据一些实施方式的控制加工操作的示意图。加工指令集合701被提供给NC加工控制器702(例如，作为文件经由网络)。控制器702包括处理器703、存储器704和显示器705以用于显示机器的操作。根据一些实施方式，处理器运行提取神经网络131、状态加工的状态估计135和控制器操作137。在一些实现方式中，神经网络131、状态估计器135和控制器137适于执行工件710的不同种类的加工712、714、716、718的不同加工工具702、704、706和708。例如，受控机器可执行包括加工、焊接和组装工件中的一种或组合的制造工件的操作序列，使得由工具生成的信号是在其制造期间通过工件的修改生成的振动信号。
实际上，基于提取信号的状态估计使控制适于不同种类的复杂制造。然而，一些实施方式不仅限于工厂自动化。例如，在一个实施方式中，受控机器是要监测潜在异常的齿轮箱，并且可仅在存在来自马达、联轴器的振动或来自运动部分的其它振动的情况下记录齿轮箱。
对于降维，另外地或另选地，一些实施方式允许独立地控制执行不同操作任务的不同工具。例如，当对表示整个***的状态的信号执行分析时，这种分析可对整个***提供控制。然而，当针对执行不同任务的不同工具单独地执行分析时，工具的独立控制是可能的。
为此，当在***操作期间多个工具执行多个任务时，一些实施方式执行任务的独立控制。例如，在一个实施方式中，控制具有执行第一任务的第一工具和执行第二任务的第二工具的***。神经网络被训练以从声混合分离由执行第一任务的第一工具生成的第一信号和由执行第二任务的第二工具生成的第二信号。在***操作期间，第一信号和第二信号使用神经网络从声混合提取，并且彼此独立地分析以估计第一任务的执行的第一状态和第二任务的执行的第二状态。实施方式被配置为执行根据第一状态选择的第一控制动作并且执行根据第二状态选择的第二控制动作。
图8示出例示了根据一些实施方式的制造异常检测***800的致动器的示意图。***800包括制造生产线810、训练数据池820、机器学习模型830和异常检测模型840。生产线810使用传感器来收集数据。传感器可以是数字传感器、模拟传感器及其组合。所收集的数据用于两个目的，一些数据被存储在训练数据池820中并用作训练数据以训练机器学习模型830，一些数据被异常检测模型840用作操作时间数据以检测异常。机器学习模型830和异常检测模型840二者可使用同一条数据。
为了检测制造生产线810中的异常，首先收集训练数据。机器学习模型830使用训练数据池820中的训练数据来训练提取神经网络131。训练数据池820可包括标记数据或未标记数据。标记数据已用标签标记(例如，异常或正常)。未标记数据没有标签。基于训练数据的类型，机器学习模型830应用不同的训练方法。对于标记训练数据，通常使用监督学习，对于未标记训练数据，通常应用无监督学习。以这种方式，不同实施方式可处理不同类型的数据。
机器学习模型830学习训练数据的特征和模式，包括正常数据模式和异常数据模式。异常检测模型840使用训练的机器学习模型850和收集的操作时间数据860来执行异常检测。操作时间数据860可被识别为正常或异常。例如，使用正常数据模式855和858，训练的机器学习模型850可将操作时间数据分类为正常数据870和异常数据880。例如，操作时间数据X1 863和X2 866被分类为正常，操作时间数据X3 869被分类为异常。一旦检测到异常，采取必要动作890。
在一些实施方式中，针对各个监测的过程X1 863和X2 866和X3 869训练提取神经网络。控制器可采取动作890以独立于其它过程(例如，过程X2 866和X3 869)控制一个过程(例如，过程X1 863)。基于信号提取的这种过程控制分离简化了复杂制造过程的控制并且使得这种控制更准确且实用。
本发明的上述实施方式可按照众多方式中的任一种来实现。例如，实施方式可使用硬件、软件或其组合来实现。当以软件实现时，软件代码可在任何合适的处理器或处理器集合(无论设置在单个计算机中还是分布于多个计算机)上执行。这些处理器可被实现为集成电路，在集成电路致动器中具有一个或更多个处理器。但是，处理器可使用任何合适格式的电路来实现。
另外，本发明的实施方式可被具体实现为一种方法，已提供其示例。作为该方法的一部分执行的动作可按照任何合适的方式排序。因此，可构造以与所示不同的次序执行动作的实施方式，其可包括同时执行一些动作，尽管在例示性实施方式中作为顺序动作示出。
在权利要求中使用诸如“第一”、“第二”的序数词修饰权利要求元素本身并不暗示一个权利要求元素相比于另一权利要求元素的任何优先、在前或次序或者方法动作执行的时间次序，而是仅用作标签以将具有特定名称的一个权利要求元素与具有相同名称(但使用序数词)的另一元素相区分，以区分权利要求元素。
尽管通过优选实施方式的示例描述了本发明，但是将理解，在本发明的精神和范围内，可进行各种其它调整和修改。
因此，所附权利要求的目的是涵盖落在本发明的真实精神和范围内的所有这些变化和修改。

Claims (20)

1.一种用于控制机器的操作的***，所述机器包括辅助一个或多个工具执行一个或多个任务的多个致动器，该***包括：
输入接口，该输入接口被配置为在所述***的操作期间接收由执行任务的工具生成的信号和由致动所述工具的所述多个致动器生成的信号的声混合；
存储器，该存储器被配置为存储神经网络，该神经网络被训练以从所述声混合将由执行所述任务的所述工具生成的信号与由致动所述工具的所述致动器生成的信号分离；以及
处理器，该处理器被配置为将信号的所述声混合提交到所述神经网络中以从信号的所述声混合提取由执行所述任务的所述工具生成的信号；分析所提取的信号以生成所述任务的执行的状态；并且执行根据所述任务的执行的状态选择的控制动作。
2.根据权利要求1所述的***，其中，在所述机器的操作期间，多个工具执行多个任务，所述多个工具包括执行第一任务的第一工具和执行第二任务的第二工具，其中，所述神经网络被训练以从所述声混合分离由执行所述第一任务的所述第一工具生成的第一信号和由执行所述第二任务的所述第二工具生成的第二信号，其中，在所述***的操作期间，所述处理器被配置为使用所述神经网络从所述声混合提取所述第一信号和所述第二信号，独立于所述第二信号分析所述第一信号以估计所述第一任务的执行的第一状态和所述第二任务的执行的第二状态，并且执行根据所述第一状态选择的第一控制动作并且执行根据所述第二状态选择的第二控制动作。
3.根据权利要求1所述的***，其中，所述机器被配置为执行用于加工工件的操作序列，其中，所述工具是加工工具，所述处理器执行沿着工具路径致动所述加工工具的计算机数控CNC，并且其中，由所述加工工具生成的信号是在由所述加工工具进行的所述工件的加工期间由所述工件的变形生成的振动信号。
4.根据权利要求1所述的***，其中，所述机器被配置为执行制造工件的操作序列，所述操作序列包括加工、焊接和组装所述工件中的一种或组合，使得由所述工具生成的信号是在所述工件的制造期间由所述工件的修改生成的振动信号。
5.根据权利要求1所述的***，其中，所述机器是要监测潜在异常的齿轮箱，其中，可仅在存在来自马达、联轴器的振动或来自运动部分的其它振动的情况下记录所述齿轮箱。
6.根据权利要求1所述的***，其中，所述神经网络被训练以从所述声混合分离不同信号，使得各个分离的信号仅属于在所述***的操作中存在的一类信号，而所述分离的信号总计为所述声混合。
7.根据权利要求6所述的***，其中，在所述***的操作中存在的信号的类由弱标签标识，各个弱标签指定在所述操作期间的某一点存在的信号的类。
8.根据权利要求7所述的***，其中，所述神经网络与分类器联合训练，所述分类器被配置为对由所述弱标签标识的信号的类进行分类。
9.根据权利要求8所述的***，其中，所述神经网络与所述分类器联合训练，以使包括所述弱标签和穿过所述分类器的分离神经网络的那个之间的交叉熵项的损失函数最小化。
10.根据权利要求7所述的***，其中，所述神经网络被训练，使得当由所述弱标签标识的类的分离的信号作为输入被提交到所述神经网络时，所述神经网络生成该分离的信号作为输出。
11.根据权利要求1所述的***，其中，所述处理器执行状态估计器以估计所述任务的执行的状态，其中，针对由执行所述任务的所述工具生成并由所述神经网络从所述***的操作的不同重复的不同声混合提取的信号训练所述状态估计器。
12.根据权利要求1所述的***，其中，由执行所述任务的所述工具生成的所提取的信号的各个样本定义所述任务的执行的状态，而不足以定义所述机器的操作的状态。
13.根据权利要求1所述的***，其中，由执行所述任务的所述工具生成的信号与由致动所述工具的所述致动器生成的信号混合，以在所述声混合中占据相同的时间和频率谱。
14.根据权利要求1所述的***，其中，所述声混合来自单个麦克风的输出的单个通道。
15.根据权利要求1所述的***，其中，至少一些所述致动器基于其在所述机器中的物理位置而在空间上交叠。
16.一种控制机器的操作的方法，该机器包括辅助一个或多个工具执行一个或多个任务的多个致动器，其中，所述方法使用与所存储的实现所述方法的指令联接的处理器，其中，所述指令在由所述处理器执行时执行所述方法的步骤，所述方法包括以下步骤：
接收由执行任务的工具生成的信号和由致动所述工具的所述多个致动器生成的信号的声混合；
将信号的所述声混合提交到神经网络中，该神经网络被训练以从所述声混合将由执行所述任务的所述工具生成的信号与由致动所述工具的所述致动器生成的信号分离，以从信号的所述声混合提取由执行所述任务的所述工具生成的信号；
分析所提取的信号以生成所述任务的执行的状态；以及
执行根据所述任务的执行的状态选择的控制动作。
17.根据权利要求1所述的方法，其中，由执行所述任务的所述工具生成的信号与由致动所述工具的所述致动器生成的信号混合，以在所述声混合中占据相同的时间和频率谱。
18.根据权利要求1所述的方法，其中，所述声混合来自单个麦克风的输出的单个通道。
19.根据权利要求1所述的方法，其中，至少一些所述致动器基于其在所述机器中的物理位置而在空间上交叠。
20.一种非暂时性计算机可读存储介质，该非暂时性计算机可读存储介质上具体实现有程序，该程序能够由处理器执行以用于执行一种方法，该方法包括以下步骤：
接收由执行任务的工具生成的信号和由致动所述工具的多个致动器生成的信号的声混合；
将信号的所述声混合提交到神经网络中，该神经网络被训练以从所述声混合将由执行所述任务的所述工具生成的信号与由致动所述工具的所述致动器生成的信号分离，以从信号的所述声混合提取由执行所述任务的所述工具生成的信号；
分析所提取的信号以生成所述任务的执行的状态；以及
执行根据所述任务的执行的状态选择的控制动作。
CN202080071574.1A 2019-10-17 2020-10-14 使用声分离神经网络的制造自动化 Pending CN114556369A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/655,272 US11579598B2 (en) 2019-10-17 2019-10-17 Manufacturing automation using acoustic separation neural network
US16/655,272 2019-10-17
PCT/JP2020/039473 WO2021075583A1 (en) 2019-10-17 2020-10-14 Manufacturing automation using acoustic separation neural network

Publications (1)

Publication Number Publication Date
CN114556369A true CN114556369A (zh) 2022-05-27

Family

ID=73554482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080071574.1A Pending CN114556369A (zh) 2019-10-17 2020-10-14 使用声分离神经网络的制造自动化

Country Status (5)

Country Link
US (1) US11579598B2 (zh)
EP (1) EP4045985A1 (zh)
JP (1) JP7367226B2 (zh)
CN (1) CN114556369A (zh)
WO (1) WO2021075583A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240151690A1 (en) * 2022-11-03 2024-05-09 Tata Consultancy Services Limited Method and system for an acoustic based anomaly detection in industrial machines

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4918616A (en) * 1984-05-18 1990-04-17 Omron Tateisi Electronics Co. Tool monitoring system
JP4321581B2 (ja) * 2006-11-30 2009-08-26 パナソニック電工株式会社 工作機械総合監視装置
US8954185B2 (en) * 2008-03-26 2015-02-10 Haas Automation, Inc. Cut optimization system and method
US20140067321A1 (en) * 2012-09-06 2014-03-06 Schmitt Industries, Inc. Systems and methods for monitoring machining of a workpiece
JP6170332B2 (ja) 2013-04-25 2017-07-26 三菱電機エンジニアリング株式会社 切削工具の異常検出装置および異常検出方法
FR3011936B1 (fr) * 2013-10-11 2021-09-17 Snecma Procede, systeme et programme d'ordinateur d'analyse acoustique d'une machine
JP6282148B2 (ja) * 2014-03-17 2018-02-21 Dmg森精機株式会社 工作機械
KR101962558B1 (ko) 2015-02-03 2019-03-26 미쓰비시덴키 가부시키가이샤 이상음 진단 장치, 이상음 진단 시스템, 이상음 진단 방법 및 이상음 진단 프로그램
US20160297044A1 (en) * 2015-04-10 2016-10-13 Rolls-Royce Corporation Machining parameter control based on acoustic monitoring
US10014003B2 (en) * 2015-10-12 2018-07-03 Gwangju Institute Of Science And Technology Sound detection method for recognizing hazard situation
US10245698B2 (en) * 2016-05-06 2019-04-02 Massachusetts Institute Of Technology Method and apparatus for efficient use of CNC machine shaping tool including cessation of use no later than the onset of tool deterioration by monitoring audible sound during shaping
US10924849B2 (en) * 2016-09-09 2021-02-16 Sony Corporation Sound source separation device and method
EP3500850A4 (en) * 2016-10-10 2019-09-18 Augury Systems Ltd. SYSTEMS AND METHODS FOR ACOUSTIC EMISSION MONITORING OF SEMICONDUCTOR DEVICES
US10370093B1 (en) * 2016-11-16 2019-08-06 Amazon Technologies, Inc. On-demand drone noise measurements
US11086918B2 (en) 2016-12-07 2021-08-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for multi-label classification
JP6450738B2 (ja) * 2016-12-14 2019-01-09 ファナック株式会社 工作機械における工具のビビり発生の予兆を検知する機械学習装置、ｃｎｃ装置および機械学習方法
US10908123B2 (en) * 2017-12-27 2021-02-02 Fisher Controls International Llc Methods and apparatus to generate an acoustic emission spectrum using amplitude demodulation
US11327050B2 (en) * 2018-02-20 2022-05-10 Intel Corporation Mechanical failure monitoring, detection, and classification in electronic assemblies
JP6987030B2 (ja) * 2018-07-18 2021-12-22 株式会社日立製作所 システム及び工作機械の異常又は加工作業に関する分析方法
JP7149197B2 (ja) * 2019-02-06 2022-10-06 株式会社日立製作所 異常音検知装置および異常音検知方法
CN110070183B (zh) 2019-03-11 2021-08-20 中国科学院信息工程研究所 一种弱标注数据的神经网络模型训练方法及装置
US11988105B2 (en) * 2019-06-28 2024-05-21 The Boeing Company Acoustical health monitoring for turbomachinery

Also Published As

Publication number Publication date
US11579598B2 (en) 2023-02-14
WO2021075583A1 (en) 2021-04-22
US20210116894A1 (en) 2021-04-22
EP4045985A1 (en) 2022-08-24
JP7367226B2 (ja) 2023-10-23
JP2022549531A (ja) 2022-11-25

Similar Documents

Publication Publication Date Title
EP3776113B1 (en) Apparatus and method for controlling system
Borgi et al. Data analytics for predictive maintenance of industrial robots
EP3454289B1 (en) Plant abnormality detection method and system
JP5538597B2 (ja) 異常検知方法及び異常検知システム
US8732100B2 (en) Method and apparatus for event detection permitting per event adjustment of false alarm rate
WO2010095314A1 (ja) 異常検知方法及び異常検知システム
US20230152187A1 (en) Fault signal locating and identifying method of industrial equipment based on microphone array
JP5498540B2 (ja) 異常検知方法及びシステム
JP2010092355A (ja) 異常検知方法及びシステム
US11609812B2 (en) Anomalous equipment trace detection and classification
US11947863B2 (en) Intelligent audio analytic apparatus (IAAA) and method for space system
US11747405B2 (en) System and method for audio and vibration based power distribution equipment condition monitoring
CN109871002B (zh) 基于张量标签学习的并发异常状态识别与定位***
Liu et al. A survey on data-driven process monitoring and diagnostic methods for variation reduction in multi-station assembly systems
JP6831729B2 (ja) 異常検知装置
Kißkalt et al. A novel approach for data-driven process and condition monitoring systems on the example of mill-turn centers
CN114556369A (zh) 使用声分离神经网络的制造自动化
Justus et al. Machine learning based fault-oriented predictive maintenance in industry 4.0
Cohen et al. Fault diagnosis of timed event systems: An exploration of machine learning methods
KR20220048233A (ko) 비정상 이벤트 탐지 방법, 그리고 이를 구현하기 위한 장치
Klein et al. Using expert knowledge for masking irrelevant data streams in siamese networks for the detection and prediction of faults
CN117826770B (zh) 轴承阀座铣销控制***的异常监测方法及***
Montazeri et al. A data-driven statistical approach for monitoring and analysis of large industrial processes
CN117672255B (zh) 基于人工智能和设备运行声音的异常设备识别方法及***
US12007760B2 (en) Anomaly detection and diagnosis in factory automation system using pre-processed time-delay neural network with loss function adaptation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination