CN110334886A - 基于深度学习的设备诊断***和方法 - Google Patents

基于深度学习的设备诊断***和方法 Download PDF

Info

Publication number
CN110334886A
CN110334886A CN201910145828.9A CN201910145828A CN110334886A CN 110334886 A CN110334886 A CN 110334886A CN 201910145828 A CN201910145828 A CN 201910145828A CN 110334886 A CN110334886 A CN 110334886A
Authority
CN
China
Prior art keywords
data
deep learning
equipment
cnn
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910145828.9A
Other languages
English (en)
Other versions
CN110334886B (zh
Inventor
吴炅桓
李虎烈
朴元基
徐钟辉
张永日
郭河录
张炳卓
崔成镐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Seoul National University Industry Foundation
Original Assignee
Samsung Electronics Co Ltd
Seoul National University Industry Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd, Seoul National University Industry Foundation filed Critical Samsung Electronics Co Ltd
Publication of CN110334886A publication Critical patent/CN110334886A/zh
Application granted granted Critical
Publication of CN110334886B publication Critical patent/CN110334886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0418—Architecture, e.g. interconnection topology using chaos or fractal principles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Automation & Control Theory (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Discrete Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

提供了设备诊断***和方法，其使用设备的异常数据和正常数据，并准确有效地执行对设备的诊断。该设备诊断***包括：数据采集单元，用于采集设备的时间序列数据；预处理单元，通过傅里叶变换将时间序列数据转换为包括时间分量的频率数据；深度学习单元，通过卷积神经网络(CNN)通过使用频率数据执行深度学习；以及诊断单元，基于深度学习将设备的状态确定为正常状态或故障状态。

Description

基于深度学习的设备诊断***和方法
相关申请的交叉引用
2018年3月29日在韩国知识产权局提交的名称为“Equipment Diagnosis Systemand Method Based on Deep Learning(基于深度学习的设备诊断***和方法)”的韩国专利申请No.10-2018-0036603通过引用整体并入本文。
技术领域
实施例涉及用于确定设备故障与否的设备诊断技术，并且更具体地，涉及基于深度学习的用于确定设备故障与否的设备诊断技术。
背景技术
传统的设备诊断技术采集在设备中生成的数据，并使用所采集的数据监视驱动器的恶化和/或故障以预先核查部件、供需部件故障与否，并执行预先测量，从而执行基于状态的管理(condition-based management，CBM)以最小化设备运行率的降低。例如，从设备马达采集的扭矩数据和速度数据、内部/外部振动数据、温度数据、斜率数据、大气压力数据、设备的压力数据、警报数据等可以通过传感器获得并用于预测设备故障。然而，传统的设备诊断技术存在一些缺陷。
发明内容
根据一个或多个实施例，一种设备诊断***，包括：数据采集单元，用于采集设备的时间序列数据；预处理单元，用于执行预处理以通过傅里叶变换将时间序列数据转换为包括时间序列分量的频率数据；深度学习单元，用于通过卷积神经网络(convolutionneural network，CNN)通过使用频率数据执行深度学习；以及诊断单元，用于基于深度学习确定设备的状态是处于正常状态还是故障状态。
根据一个或多个实施例，一种设备诊断方法，包括采集设备的时间序列数据，通过傅里叶变换将时间序列数据转换为包括时间序列分量的频率数据，通过CNN通过使用频率数据来执行深度学习，以及基于深度学习诊断设备是处于正常状态还是故障状态。
根据一个或多个实施例，一种设备诊断方法，包括：采集设备的多种数据，通过CNN使用多种数据执行多模式深度学习，以及基于多模式深度学习诊断设备是处于正常状态还是故障状态。
附图说明
通过参考附图详细描述示例性实施例，特征对于本领域技术人员来说将变得显而易见，其中：
图1示出了根据实施例的设备诊断***的框图；
图2示出了根据实施例的设备诊断方法的过程的流程图；
图3A示出了图2的设备诊断方法中的预处理过程的详细流程图；
图3B示出了与图3A的预处理过程相对应的图；
图3C示出了通过不同于图3A的预处理过程的预处理过程获得的图；
图4A示出了与图2的设备诊断方法的数据采集过程、一般快速傅里叶变换(fastFourier transform，FFT)和图3A的预处理过程相对应的图；
图4B示出了通过图3A的预处理过程获得的图；
图5示出了在图2的设备诊断方法中基于卷积神经网络(CNN)的深度学习过程的概念图；
图6A示出了用于描述图5的深度学习过程中的卷积的概念图；
图6B示出了示出图5的深度学习过程中的激活函数的图；
图6C示出了用于描述图5的深度学习过程中的池化(pooling)的概念图；
图7示出了用于描述图5的深度学习过程中的二维(two-dimensional，2D)CNN和一维(one-dimensional，1D)CNN的概念图；
图8示出了用于描述图5的深度学习过程中的两层CNN的结构的概念图；
图9示出了根据实施例的设备诊断方法的过程的流程图；
图10A示出了根据实施例的设备诊断方法的过程的流程图；
图10B示出了图10A的设备诊断方法的框图；
图10C和10D示例性地示出了图10A的频率数据合并过程中频率数据的合并的图；
图11A示出了根据实施例的设备诊断方法的过程的流程图；
图11B概念性地示出了图11A的设备诊断方法的框图；
图12A示出了根据实施例的设备诊断方法的过程的流程图；
图12B概念性地示出了图12A的设备诊断方法的框图；以及
图13示出了根据实施例的设备诊断方法的过程的流程图。
具体实施方式
在下文中，将参考附图详细描述实施例。在附图中相同的附图标记表示相同的元件，并且省略了对它们的重复描述。
如上所述，传统的设备诊断技术存在一些缺陷，下面将举例说明。
首先，通常从设备获得时间序列数据，但是难以直接量化在时域中获得的时间序列数据以诊断设备。这是因为基于每个马达的结构特性，在数据中包括与每个部件的固有频率相对应的振动。因此，为了对设备执行定量诊断，从时域改变到频域，并且执行诊断。然而，增大采样率以在宽范围内准确测量频率数据，增加了待分析的数据量。
第二，每件设备、每个过程、每个模型和每个马达的数据特性不同。因此，需要其中反映了相应数据特性的个体诊断算法以用于有效诊断。然而，在构建个体诊断算法时花费了大量的时间、成本和精力，并且所构建的诊断算法仅应用于相应的数据。鉴于此，个体诊断算法在实用性方面具有局限。
第三，在获得数据时，大多数数据对应于正常状态，而对应于故障状态的数据是有限的。在设备诊断中，通常仅使用故障数据，而丢弃大多数正常数据。
图1是示出根据实施例的设备诊断***1000的框图。参考图1，根据实施例的设备诊断***1000可以包括数据采集(data acquisition，DAQ)单元100、预处理/学习计算机200、诊断单元300和反馈单元400。
DAQ单元100可以从待诊断的设备2000采集数据。这里，设备2000可以是用于半导体工艺的半导体设备。半导体设备的示例可以包括基于多种半导体工艺的各种设备和模型。例如，半导体后置工艺(post-process)可以包括封装工艺、测试工艺和模块工艺，可以在每种工艺中提供数十种设备，并且可以将数十种设备中的每一种实施为各种模型。
DAQ单元100可以通过传感器和/或控制单元1500采集各种设备的数据(例如，设备中的马达的扭矩数据和速度数据；内部/外部振动数据、温度数据、大气压力数据；设备的压力数据、设备的斜率数据和当前数据；等等)。例如，当设备2000包括马达时，DAQ单元100可以从控制马达的伺服驱动器接收扭矩或速度数据。DAQ单元100可以包括DAQ电路板，并且此外，可以包括安装在DAQ板上的模数(analog-to-digital，A/D)转换器。
在根据本实施例的设备诊断***1000中，帮助采集数据的传感器和/或控制单元1500可以是独立于DAQ单元100的单独元件，并且可以不包括在设备诊断***1000中。然而，根据一些实施例，帮助采集数据的传感器和/或控制单元1500可以包括在设备诊断***1000中。并且，传感器和/或控制单元1500可以作为DAQ单元100的元件被包括。此外，根据一些实施例，待诊断的设备2000可以包括在设备诊断***1000中。
由DAQ单元100从设备2000采集的数据可以是时间序列数据。时间序列数据，作为随时间以特定间隔采集的数据，可以被称为时间函数，并且可以对应于时域中的数据。由DAQ单元100采集的设备2000的数据不限于时间序列数据。例如，设备2000的数据可以包括设备2000的规格的文本数据，并且DAQ单元100可以采集诸如文本数据的非时间序列数据。
预处理/学习计算机200可以包括预处理单元210和深度学习单元220。预处理/学习计算机200可以是个人计算机(personal computer，PC)、工作站、超级计算机等，以用于执行预处理过程和深度学习过程。可选地或附加地，便携式装置(例如，智能电话)也可以用作预处理/学习计算机200。这里，预处理过程可以通过预处理单元210运行程序来执行，并且可以对来自DAQ单元100的时间序列数据执行预处理，例如傅里叶变换。此外，深度学习处理可以通过深度学习单元220运行程序来执行，并且可以对来自预处理单元210的图像数据执行深度学习。
为了更详细地描述预处理单元210和深度学习单元220，预处理单元210可以通过傅里叶变换将来自DAQ单元100的时间序列数据转换为频域中的数据(即，频率数据)。如上所述，使用时间序列的直接量化来诊断设备可能是有问题的。因此，预处理单元210可以通过傅里叶变换将时间序列数据转换为频率数据。
在根据本实施例的设备诊断***1000中，预处理单元210可以执行预处理，以便将时间序列特性或分量添加到频率数据。例如，预处理单元210可以通过短时傅里叶变换(short time Fourier transform，STFT)或瀑布(waterfall)快速傅里叶变换(FFT)将时间序列数据转换为包括时间序列特性的频率数据(即，包括频率和时间序列特性的图像数据)。STFT和瀑布FFT可以每个包括时间分量，并且因此可以与一般FFT不同。然而，STFT和瀑布FFT仍然每个执行FFT，并且因此可以包括在FFT中。具体地，STFT可以将时间序列数据划分为相等长度的分段，然后对每个分段执行一般FFT，而作为STFT的特例的瀑布FFT，可以使用更复杂的窗函数在不同的分段上执行一般FFT。下面将参考图3A至3C更详细地描述STFT和瀑布FFT。
预处理单元210可以执行预处理以便将时间序列特性添加到频率数据，从而解决数据大小由于采样率的增大而增加的问题，并且消除基于图像数据的详细间隔提取的需要。例如，在半导体设备中，时间可重复性可以是高的，因此，在随后的深度学习中，可学习性可以是高的。然而，当仅仅通过一般FFT仅获得频率数据时，即没有时间信息，可以忽略可重复性。由于数据大小随着采样率的增大而增加，因此深度学习的时间可以增加。而且，可以需要基于图像数据的详细间隔的提取以减少用于深度学习的时间或增加可学习性。
另一方面，在根据本实施例的设备诊断***1000中，当使用提供时间信息以及频率数据的预处理时，预处理单元210可以在相对窄的范围上执行采样，从而防止数据大小的增加。此外，预处理单元210可以基于期望的时间间隔(例如，设备操作时间)执行预处理，以生成对深度学习有效的图像数据。此外，可以基于期望的时间间隔生成包括时间序列特性的频率数据(即，图像数据)。因此，不需要基于单独的图像数据的详细时间间隔的提取。
作为参考，在半导体设备中，当故障发生时，可能发生与正常状态不同的各种频率偏移。在这种情况下，通过仅仅执行FFT来区分故障状态和正常状态可能是困难的。然而，当执行STFT时，由于可以有效地表示频率特性，因此容易区分故障状态和正常状态，并且可以容易地核查设备故障与否。但是，可能存在通过STFT容易核查其故障的设备，并且可能存在通过STFT难以核查故障的设备。因此，可以需要能够更准确且有效地确定所有设备故障与否的方法。
深度学习单元220可以通过卷积神经网络(CNN)通过使用来自预处理单元210的频率数据(即，图像数据)执行深度学习。这里，CNN可以是通过使用图像数据提取和索引特征的深度学习方法，并且可以通过通过CNN执行深度学习来提供用于准确且有效地确定设备2000故障与否的基础。例如，可以核查设备2000的正常数据和故障数据的特征，并且通过对其中核查了正常和故障并且通过索引核查结果而获得的少量数据(下文中称为标记数据)执行深度学习，可以对其中未核查正常状态和故障状态的大量数据(下文中称为未标记数据)执行正常和故障的标记。当从实际站点获得的大多数数据是难以标记的未标记数据时，这种方法可以被有效地应用。
为了参考等式简单地提供描述，可以假设通过过程“x->f(x)->y”执行深度学习。这里，x可以表示与设备2000的状态相对应的图像数据，f(x)可以表示用于深度学习的学习方法(例如，CNN)，并且y可以表示CNN的结果。此外，可以假设深度学习的结果在正常状态下计算为0，并且在故障状态下计算为1。首先，通过将其中正常状态和故障状态已知的图像数据(即标记数据)输入到f(x)作为输入数据“x”，可以在连续改变f(x)的同时执行深度学习直到计算出正常的结果。换句话说，可以在改变函数f(x)的同时执行深度学习，使得在对应于正常状态的图像数据中，计算出大约为0的y值，并且在对应于故障状态的图像数据中，计算出大约为1的y值。
在获得具有所述级别的f(x)之后，可以将其中正常状态和故障状态未知的图像数据(即，未标记数据)输入到f(x)作为输入数据“x”，并且可以核查y值。当y值接近0时，可以确定正常状态。当y值接近1时，可以确定故障状态，然后可以执行正常状态或故障状态的标记。随后，其中新确定了正常状态或故障状态的数据(即，新标记的数据)可以再次用作深度学习中的标记数据，因此，可以增强深度学习的准确性或匹配性。下面将参考图5至6C更详细地描述CNN。
诊断单元300可以基于由深度学习单元220执行的深度学习的结果来确定设备2000的状态。例如，当与基于CNN的深度学习的结果相对应的y值接近1时，诊断单元300可以诊断设备2000处于故障状态，并且当y值接近0时，诊断单元300可以诊断出设备2000处于正常状态。
诊断单元300可以是独立于预处理/学习计算机200的单独装置，并且可以从深度学习单元220接收深度学习结果以诊断设备2000的状态。根据实施例，诊断单元300可以是诊断处理器，并且可以包括在预处理/学习计算机200中。
反馈单元400可以在线和/或离线(例如，物理、本地反馈)地向用户提供从诊断单元300获得的诊断结果。例如，反馈单元400可以通过使用各种手段向用户提供诊断结果，例如电子邮件、社交网络服务(social network service，SNS)、发光二极管(light-emittingdiode，LED)、蜂鸣器等。此外，反馈单元400可以通过使用移动装置或在线装置实时向用户提供诊断结果，例如，PC、智能电话、平板电脑等。因此，设备诊断***1000可以对应于实时监视设备2000的状态的实时监视***。当设备2000的状态被诊断为故障状态时，反馈单元400可以执行设备互锁操作，该设备互锁操作直接或通过传感器和/或控制单元1500向设备2000提供信号以停止设备2000的操作。
反馈单元400可以是独立于预处理/学习计算机200的单独装置，并且可以将从诊断单元300传送的设备2000的诊断结果提供给用户。根据实施例，反馈单元400可以是反馈处理器并且可以包括在预处理/学习计算机200中。根据实施例，可以省略与预处理/学习计算机200分离的反馈单元400。
在根据本实施例的设备诊断***1000中，预处理单元210可以将来自设备2000的时间序列数据转换为频率数据。具体地，预处理单元210可以执行预处理，其中时间信息包括在频率数据中，从而解决了数据大小增加的问题并且消除了基于图像数据的详细间隔提取的需要。此外，在根据本实施例的设备诊断***1000中，深度学习单元220可以基于来自预处理单元210的频率数据通过CNN执行深度学习。因此，可以准确并且有效地确定设备2000的状态，从而诊断设备2000。
图2是示出根据实施例的设备诊断方法的过程的流程图。图2的设备诊断方法可以由例如图1的设备诊断***1000执行。下面将参考图1和图2描述根据本实施例的设备诊断方法，并且将不再重复或简要给出以上参考图1给出的描述。
参考图2，首先，在操作S110中，DAQ单元100可以从待诊断的设备2000采集时间序列数据(即，时域中的数据)。可选地或附加地，根据实施例，在数据采集过程(S110)中，可以采集其它类型的数据，例如，诸如设备2000的规范的文本数据。此外，在数据采集处理(S110)中，DAQ单元100可以采集设备2000的各种时间序列数据，而不是设备2000的一条时间序列数据。例如，在数据采集处理中(S110)，DAQ单元100可以采集设备2000中包括的马达的扭矩数据和速度数据、振动数据、温度数据、大气压力数据和设备的压力数据、以及设备2000的斜率数据和当前数据。此外，在数据采集处理(S110)中，DAQ单元100可以采集各种相同类型的设备和/或各种不同类型的设备的时间序列数据，而不是单个设备。在这种情况下，可以通过传感器和/或控制单元1500采集数据，并且传感器和/或控制单元1500可以作为DAQ单元100的元件被提供。
随后，在操作S120中，预处理单元210可以通过傅里叶变换将时间序列数据转换为频率数据。在这种情况下，可以执行预处理以便将时间序列特性或分量添加到频率数据。在预处理过程(S120)中，预处理单元210可以通过例如STFT或瀑布FFT将时间序列数据转换为频率数据。这里，为了准确地诊断设备2000并减少后续深度学习的数据量，可以基于设备2000的操作时间或操作周期来设置STFT的时间周期或瀑布FFT的时间间隔。这种预处理可以不在时间序列数据以外的数据上执行。
在预处理过程(S120)之后，深度学习单元220可以在操作S130中基于频率数据通过CNN执行深度学习。通过通过CNN执行深层学习可以提供用于准确且有效地确定设备2000的故障与否的基础。例如，深度学习单元220可以通过CNN对少量标记数据执行深度学习，然后，可以对大量未标记数据执行正常状态和故障状态的标记。而且，新标记的数据可以用于基于CNN的深度学习，从而增强确定设备的状态的诊断准确性。
在深度学习过程(S130)之后，诊断单元300可以在操作S140中基于深度学习来确定设备2000的状态。作为参考，设备故障与否的确定可以是与上述未标记数据的标记相同的概念。例如，当标记是根据深度学习结果将未标记数据(即，其中正常状态和故障状态未知的数据)分类为与正常或故障对应的数据的过程时，设备故障与否的确定可以是合成新标记数据以最终确定相应的设备是正常还是故障的过程。
在根据本实施例的设备诊断方法中，预处理单元210可以将来自设备2000的时间序列数据转换为除了频率数据之外还包括时间信息的频率数据。此外，深度学习单元220可以基于来自预处理单元210的频率数据通过CNN执行深度学习，从而更准确和有效地确定相应设备故障与否。
图3A是详细示出图2的设备诊断方法中的预处理过程的流程图，图3B是对应于图3A的预处理过程的图。例如，图3A是示出STFT的过程的流程图，并且图3B是与其对应的图。在图3B所示的两个图中，X轴可以表示时间，Y轴可以表示数据大小。
参考图3A和3B，首先，在操作S122中，可以通过将具有第一时间单元的窗应用于原始数据来提取第一子数据。这里，第一时间单元可以是例如10秒。窗可以是例如Tukey或余弦锥形窗，并且可以通过时间单元部分重叠。可以基于设备2000的操作时间或操作周期来设置第一时间单元。例如，在设备2000重复操作的情况下，可以将第一时间单元设置为包括至少一个重复周期。作为参考，在图3B的第一子数据中，被示出为虚线圆圈的部分可以表示发生异常的部分。
随后，在操作S124中，可以将第一子数据划分为具有第二时间单元的多个数据集，并且通过对每个数据集应用FFT，可以将第一子数据转换为频率数据。通过将FFT应用于数据集，可以生成多个频率数据集。例如，第二时间单元可以是100ms，例如，当第一子数据的第一时间单元是10秒时，可以基于第二时间单元将第一子数据划分为100个数据集。
在FFT中，可以基于相应设备的数据特性来确定频率范围。例如，对于振动数据，当发生故障时，可以基于1kHz至20kHz的范围改变频率的幅度或形式，或者生成新的频率。作为另一示例，对于当前数据，可以基于大约200kHz的范围来改变频率特性或者生成新的频率，并且对于扭矩数据，可以基于1Hz至500Hz的范围改变频率特性或者生成新的频率。图3B示出了当对400Hz至500Hz范围内的每个数据集执行FFT时的图，例如，对于扭矩数据。
随后，在操作S126中，频率数据集可以被组合，并且因此可以被转换为表示三维(three-dimensional，3D)图的图像。为了提供更详细的描述，每个频率数据集的X轴和Y轴可以相同，并且每个频率数据集可以表示第二时间单元。因此，可以引入Z轴，并且通过由第二时间单元在Z轴方向上堆叠频率数据集，可以将频率数据集转换为表示3D图的图像。3D图的形式可以类似于通过应用瀑布FFT生成的图3C的图的形式。
随后，在操作S128中，可以通过基于每个频率的幅度执行颜色映射来生成二维(2D)图像。换句话说，通过将幅度参数改变为颜色参数，可以将3D图转换为2D图。图3B的最后一个图可以对应于2D图像数据。图3B的图以黑色和白色示出，因此，最后的图仅以黑白对比度示出。然而，根据一些实施例，每个频率的幅度可以以黑白对比度而不是颜色来映射。
图3C是通过不同于图3A的预处理过程的预处理过程获得的图，并且例如，图3C是示出基于瀑布FFT的预处理结果的图。参考图3C，瀑布FFT表示包括时间历史的FFT，并且可以示出为3D图。瀑布FFT可以通过例如Gabor变换获得，即，使用高斯分布函数(正态分布)作为窗函数的傅里叶变换。作为参考，窗函数可以是相乘以用于从整个周期中提取特定部分的函数，并且在Gabor变换(即，瀑布FFT)中，可以通过将样本乘以正态分布来执行FFT。如上所述，在STFT中，Tukey窗可以用作窗函数。类似于STFT的3D图，瀑布FFT的3D图可以通过颜色映射被改变为2D图像数据。
图4A示出了对应于图2的设备诊断方法的数据采集过程、一般FFT和图3A的预处理过程的图。在图4A中，左手侧的图对应于设备的正常状态，右手侧的图对应于设备的异常或故障状态。
参考图4A，首先，最上面的图(i)是在数据采集过程(S110)中采集的设备的振动数据，并且中间的图(ii)是通过对振动数据执行一般FFT而获得的频率数据。频率数据的图(ii)在频率的幅度和形式上差异小。因此，频率数据的图(ii)对量化设备的正常状态和故障状态的作用是有限的。
最下面的图(iii)是在预处理过程(S120)中通过STFT采集的2D图像数据。在2D图像数据的图(iii)中，右图的明亮部分中的频率的幅度沿着整个时间间隔高于左图的明亮部分中的频率的幅度。因此，可以基于特定频率的大小来确定设备的正常状态和故障状态以诊断设备。然而，如上所述，可以存在其中通过STFT容易被核查出故障的设备，或者可以存在其中通过STFT不明确地核查故障的设备。而且，尽管设备相同，但基于所采集的数据的种类，故障的核查也可以是不明确的。因此，仅通过STFT确定设备故障与否以诊断设备存在局限性。
图4B示出了通过图3A的预处理过程获得的图。在图4B中，左手侧的图对应于设备的正常状态，以及右手侧的图示出对应于设备的异常或故障状态的图。
参考图4B，图(I)，(II)和(III)都示出了针对设备的扭矩数据的通过STFT获得的2D图像数据。沿着行将左图和右图相互比较，可以清楚地确定设备的正常状态的2D图像数据与设备的故障状态的2D图像数据之间的差异。然而，正常状态的2D图像数据与故障状态的2D图像数据之间的差异以各种形式示出，即，沿列方向。因此，根据单个标准核查差异存在局限性。而且，即使在如上所述通过STFT获得2D图像数据的情况下，有时也不能取决于设备核查正常状态和故障状态之间的差异。
因此，下面将根据实施例描述更准确和有效地确定设备的正常状态和故障状态的方法，而不管设备的种类和/或所采集的数据的种类。在根据实施例的设备诊断方法中，可以通过下面描述的CNN执行深度学习，以准确和有效地确定设备的状态。
图5是示出在图2的设备诊断方法中基于CNN的深度学习过程的概念图。图6A是用于描述图5的深度学习过程中的卷积的概念图。图6B是示出图5的深度学习过程中的激活函数的图。图6C是用于描述图5的深度学习过程中的池化的概念图。
参考图5和6A，首先，通过将卷积滤波器应用于输入数据，可以从输入数据中提取特征映射以形成卷积层。这里，输入数据可以是例如通过STFT获得的2D图像数据。
卷积滤波器可以是用于从图像数据提取特征的滤波器，并且可以具有矩阵形式。可以提供多个卷积滤波器。例如，在图5中，多个卷积滤波器F(1)至F(N)以5×5矩阵形式布置。将卷积滤波器F(1)至F(N)应用于2D图像数据以提取多个特征映射C(1)至C(N)的过程可以被称为卷积，并且所提取的特征映射C(1)到C(N)可以配置卷积层。在图5中，当2D图像数据(即输入数据)被提供为16×16矩阵时，可以通过由具有5×5矩阵形式的卷积滤波器执行的卷积来生成10×10个特征映射，并且可以基于卷积滤波器的数量来生成N个特征映射。
为了参考图6A提供关于卷积过程的更详细描述，可以假设2D图像数据被提供为5×5矩阵，并且卷积滤波器被提供为3×3矩阵。如图所示，当卷积滤波器的每个因子乘以2D图像数据的左部分的因子并将其相加时，可以获得4。随后，可以通过每次在向右移动一个单元的同时执行算术运算来获得3和4，然后，可以通过在向下移动一个单元之后再次从左侧起执行算术运算，可以获得2、4和3。随后，可以通过在向下移动一个单元之后执行算术运算来获得2、3和4。因此，可以以3×3矩阵形式生成特征映射。结果，卷积过程可以被称为通过使用卷积滤波器从2D图像数据提取特征的过程。
通过卷积从图像数据提取特征映射的过程可以由通道单元执行。例如，针对彩色图像数据，可以通过使用对应于三个通道的RGB滤波器为每个RGB通道提取图像数据。随后，可以对基于通道的图像数据和通过混合基于通道的图像数据生成的混合数据执行卷积和池化。
参考图5和6B，可以生成卷积层，然后，可以通过将激活函数应用于特征映射来形成激活层。激活函数可以使用例如Sigmoid函数或整流线性单元(Rectified Linear Unit，ReLU)函数。图6B示出了Sigmoid函数或ReLU函数的图。通常，在CNN中，ReLU函数可以用作激活函数，并且可以表示为“ReLU(x)＝max(0，x)”。例如，ReLU函数可以是将x值与0进行比较以返回大值的函数。在图5中，通过应用ReLU函数，可以将激活层提供为ReLU层，并且可以以10×10矩阵形式提供ReLU层中包括的多个映射R(1)至R(N)，基于卷积层的特征映射，由此可以提供N个映射。根据一些实施例，可以省略激活层，例如ReLU层，例如，卷积层本身可以具有直接在其上执行的如下所述的池化。
参考图5和6C，可以通过对ReLU层中包括的映射执行池化或减采样(downsampling)来形成池化层。池化过程可以通过使用2×2矩阵来减小ReLU层中的映射的大小，而不改变ReLU层的映射或特征映射的特征，并且可以使用各种方法。如图6C所示，可以代表性地使用平均池化方法和最大池化方法。平均池化方法可以是平均并输出2×2矩阵的因子的方法，并且最大池化方法可以是输出2×2矩阵的最大值的方法。例如，在图5中，通过池化ReLU层的映射，可以以5×5矩阵形式提供包括在池化层中的映射P(1)至P(N)，并且可以提供N个映射。在图5的CNN中，从卷积层形成池化层仅示出了一次，但是为了从2D图像数据中提取准确的特征，可以重复从卷积层形成池化层至少两次或更多次。
可以形成池化层，然后，可以形成全连接层。全连接层可以包括输入层、隐藏层和输出层。输入层可以从池化层接收数据作为输入数据。全连接层可以是用于分类的深度学习过程的一部分，并且可以是从根本上用于深度学习的层。例如，全连接层可以是用于分类各种图像(例如人、猪、猫、猴等)的层。随着隐藏层的数量增加，分类的准确性可能增加。换句话说，从卷积层到池化层的过程执行从预定图像数据中提取适当特征的功能，并且全连接层执行对提取的特征进行分类的功能。然而，在根据本实施例的设备诊断方法中，由于分类仅针对两种状态，例如正常状态或故障状态，所以可以以最小结构提供全连接层或者可以省略全连接层。例如，当池化层的值被简单地获得为一维(1D)值时，可以省略形成全连接层的过程，并且基于1D值确定设备的状态。
在基于CNN的深度学习过程(具体地，从卷积层形成池化层的过程)中，卷积滤波器的因子值可以连续变化，以便从图像数据中提取最适当的特征。因此，基于CNN的深度学习过程可以被称为搜索用于从图像数据中提取最佳特征的卷积滤波器的过程。例如，在上面参考图1给出的描述中的过程“x-->f(x)-->y”中，描述为CNN的f(x)可以具体对应于卷积滤波器，并且因此，改变f(x)可以对应于卷积滤波器的改变。然而，可能需要标记数据以在初始阶段确定适当的卷积滤波器。换句话说，可以通过CNN通过使用其中已经核查或验证了设备的正常状态和故障状态的数据执行深度学习，并且因此，可以确定适当的卷积滤波器。在确定了适当的卷积滤波器之后，可以通过CNN对未标记数据执行深度学习以执行标记，并且可以通过使用新标记的数据作为标记数据来执行生成更适当的卷积滤波器的过程。
图7是用于描述图5的深度学习过程中的二维(2D)CNN和1D CNN的概念图。参考图7，左侧示出了2D CNN的概念，并且可以对应于将n个5×5滤波器应用于M×N图像数据以提取n个P×Q特征映射的过程。2D CNN的概念可以与上面参考图5和6A描述的过程基本相同。
右侧示出了1D CNN的概念，并且可以对应于将m个1×8滤波器应用于M×N图像数据以提取m个1×R特征映射的过程。在1D CNN中，通过使用具有不同权重值的1D滤波器，可以更容易地从图像数据中提取1D特征。例如，当图像数据在不同频带具有不同特征时，通过在每个时间间隔内将在不同频带具有不同权重值的1D滤波器应用于图像数据，可以比2DCNN更精确地提取频率的特征。
图8是用于描述图5的深度学习过程中的两层CNN的结构的概念图。参考图8，可以对2D图像数据执行第一层卷积(first-layer convolution，1st Conv)和第一层池化(first-layer pooling，1st Pool)。可以在第一层池化(1st Pool)之后执行第二层卷积(second-layer convolution，2nd Conv)和第二层池化(second-layer pooling，2ndPool)，从而计算结果值。此外，可以在第一层卷积(1st Conv)和第一层池化(1st Pool)之间以及第二层卷积(2nd Conv)和第二层池化(2nd Pool)之间应用激活函数。此外，在第二层池化(2nd Pool)之后，可以不创建全连接层。
在根据本实施例的设备诊断方法中，可以仅基于两层CNN结构来执行深度学习。因此，与使用全连接层的一般CNN相比，可以基于高稀疏度、更少参数和低过度拟合来准确且有效地确定设备的状态。
第一层卷积(1st Conv)和第一层池化(1st Pool)可以对应于2D CNN，第二层卷积(2nd Conv)和第二层池化(2nd Pool)可以对应于1D CNN。或者，所有第一层卷积(1stConv)、第一层池化(1st Pool)、第二层卷积(2nd Conv)和第二层池化(2nd Pool)可以基于1D CNN。另外，除了两层CNN之外，还可以使用单层CNN或三层或更多层CNN。此外，在根据本实施例的设备诊断方法中，CNN层可以以各种形式实施。然而，可以基于CNN层的配置来改变设备的诊断匹配率、算术运算所需的计算时间以及计算机的规格。因此，可以基于待诊断的设备的数量和环境来选择具有适当形式的CNN层的配置。
图9是示出根据实施例的设备诊断方法的过程的流程图。图9的设备诊断方法可以由例如图1的设备诊断***1000执行。在下文中，将参考图1和图9描述根据本实施例的设备诊断方法，并且将不重复或简要给出以上参考图1至图8给出的描述。
参考图9，首先，在操作S210中，DAQ单元100可以采集设备的多种数据。这里，多种数据可以包括不同种类的时间序列数据和非时间序列数据。例如，时间序列数据可以包括上面参考图1描述的振动数据、速度数据和扭矩数据，并且非时间序列数据可以包括设备的文本数据。
随后，在操作S240中，深度学习单元220可以通过CNN使用多种数据执行多模式深度学习。多模式深度学习可以是综合分析不同种类数据的方法，并且将在下面参考图10A至12B更详细地描述。
在执行多模式深度学习之前，可以通过预处理单元210的预处理将多种数据中的至少一些数据转换为包括时间分量的频率数据。例如，可以通过STFT来执行预处理。
随后，在操作S250中，诊断单元300可以基于多模式深度学习来确定设备的状态。在根据本实施例的设备诊断方法中，由于通过CNN使用不同种类的数据执行多模式深度学习，因此增强了设备的诊断匹配率。例如，可以通过CNN通过使用第一类型的A数据执行深度学习，并且可以通过CNN通过使用第二类型的B数据执行深度学习。然后，当基于每个深度学习分别诊断设备时，每个深度学习的诊断匹配率可以低于80％。另一方面，可以通过CNN通过使用A数据和B数据两者来执行多模式深度学习，使得诊断匹配率增强到90％或更多。这种效果可以称为集团效应(ensemble effect)。A数据和B数据可以是不同种类的时间序列数据，例如扭矩图像数据和速度图像数据，或者可以是一种时间序列数据和一种非时间序列数据。
图10A是示出根据实施例的设备诊断方法的过程的流程图。图10B是概念性地示出图10A的设备诊断方法的框图。图10C和10D是示例性地示出图10A的频率数据合并处理中的合并频率数据的图。图10A的设备诊断方法可以由例如图1的设备诊断***1000执行。下面将参考图1和10A至10D描述根据本实施例的设备诊断方法，并且省略以上参考图9给出的描述。
参考图10A至10D，首先，在操作S210中，DAQ单元100可以采集设备的多种数据。这里，多种数据如上参考图9所述。在图10B中，扭矩数据和振动数据被示为不同种类的时间序列数据。
随后，在操作S220中，预处理单元210可以执行将至少两种时间序列数据转换为包括时间序列特性的至少两种频率数据的预处理过程。例如，预处理过程可以将扭矩数据和振动数据中的每一个转换为频率数据。这里，可以通过例如STFT来执行预处理过程。
随后，在操作S230中，可以合并至少两种频率数据。至少两种频率数据可以由预处理单元210或深度学习单元220合并。或者，频率数据合并过程可以由单独的元件(例如，数据合并单元)执行。图10C示出合并扭矩图像数据和振动图像数据的方法，该扭矩图像数据和振动图像数据是不同种类的频率数据。例如，扭矩图像数据和振动图像数据可以以时间间隔为单位划分，并且可以以交替布置不同频率数据的方式合并。或者，如图10D所示，速度图像数据可以在下部分，并且扭矩图像数据可以在下部分，从而合并不同种类的频率数据。
作为参考，在图10D中，两个左图对应于正常状态下的设备的两种图像数据，以及两个右图对应于故障状态下的设备的两种图像数据。通过左图和右图，与正常状态和故障状态相对应的合并的图像数据之间的差异更加清楚。
随后，在操作S240a中，深度学习单元220可以通过CNN通过使用合并的频率数据执行多模式深度学习。
随后，在操作S250中，诊断单元300可以基于多模式深度学习来确定设备故障与否。以这种方式，可以通过多模式深度学习来诊断设备，并且因此，增强了设备的诊断匹配率。例如，当仅通过CNN通过使用设备的扭矩图像数据执行深度学习时，设备的诊断匹配率约为60％，但是当通过CNN通过合并扭矩图像数据和速度图像数据执行多模式深度学习时，设备的诊断匹配率增强到了约80％。也就是说，设备的诊断匹配率增加约20％。
图11A是示出根据实施例的设备诊断方法的过程的流程图。图11B是概念性地示出图11A的设备诊断方法的框图。图11A的设备诊断方法可以由例如图1的设备诊断***执行。下面将参考图1、图11A和图11B描述根据实施例的设备诊断方法，并且将不重复上面参考图9至图10D给出的描述。
参考图11A和11B，首先，在操作S210中，DAQ单元100可以采集设备的多种数据。这里，多种数据如上参考图9所述。例如，在根据本实施例的设备诊断方法中，多种数据可以是三种时间序列数据，例如扭矩数据和两种速度数据。这里，两种速度数据中的一种可以是一般速度数据，例如频率数据，以及表示移动平均的速度数据，例如时域数据。
随后，在操作S220a中，预处理单元210可以执行将至少一种时间序列数据转换为包括时间序列特性的频率数据的预处理过程。例如，可以对三种时间序列数据中的两种时间序列数据执行预处理。详细地，可以将扭矩数据和一般正常速度数据中的每一个转换为频率数据，并且可以将表示移动平均的速度数据按照原来的样子保持为时间序列数据，而不将其转换为频率数据。这里，可以通过例如STFT来执行预处理过程。在图11B中，预处理后的扭矩频率数据位于上部分，预处理后的速度频率数据位于下部分，未对其执行预处理的、表示移动平均的速度时间序列数据位于中间部分。
随后，在操作S242中，深度学***均的速度数据执行深度学习。
在图11B中，示出了通过1D CNN使用扭矩频率数据、速度频率数据和表示移动平均的速度时间序列数据执行的深度学习。或者，深度学习可以通过2D CNN执行，或者可以通过多层CNN对一条数据来执行。然而，在合并过程中，可以根据维度合并频率数据，因此，可以在合并之前立即通过具有相同维度的CNN执行深度学习。
随后，在操作S244中，深度学习单元220可以合并与频率数据相对应的CNN深度学习数据和与时间序列数据相对应的CNN深度学习数据。这里，合并多条CNN深度学习数据可以合并具有相同维度的数据。
在操作S246中，深度学习单元220可以通过合并的CNN通过使用合并的深度学习数据执行深度学习。基于每个CNN的深度学习过程(S242)到基于合并的CNN的深度学习过程(S246)可以包括在多模式深度学习过程(S240b)中。
随后，在操作S250中，诊断单元300可以基于多模式深度学习来确定设备的状态。
图12A是示出根据实施例的设备诊断方法的过程的流程图，图12B是概念性地示出图12A的设备诊断方法的框图。图12A的设备诊断方法可以由例如图1的设备诊断***执行。下面将参考图1、图12A和图12B描述根据实施例的设备诊断方法，并且省略以上参考图9至图11B给出的描述。
参考图12A和12B，首先，在操作S210中，DAQ单元100可以采集设备的多种数据。这里，多种数据如上参考图9所述。例如，在根据本实施例的设备诊断方法中，多种数据中的一种可以是作为时间序列数据的扭矩数据，并且其它数据可以是设备的文本数据。
随后，在操作S220b中，预处理单元210可以执行将时间序列数据转换为包括时间分量的频率数据的预处理过程。例如，可以通过对扭矩数据执行预处理来将扭矩数据转换为包括时间分量的频率数据。但是，可以不对文本数据执行预处理。这里，可以通过例如STFT来执行预处理过程。在图12B中，通过预处理获得的频率扭矩数据位于上部分，而未对其执行预处理的文本数据位于下部分。
随后，在操作S242a中，深度学习单元220可以通过CNN通过使用频率数据执行深度学习，并且可以通过另一学习方法通过使用文本数据执行深度学习。这里，其它学习方法可以是与CNN不同的学习方法，例如，主要用于自然语言处理或语音识别的递归神经网络(recurrent neural network，RNN)。
随后，在操作S244a中，深度学习单元220可以将对应于频率数据的CNN深度学习数据与对应于文本数据的其它学习方法的深度学习数据合并。这里，CNN深度学习数据与其它学习方法的深度学习数据的合并可以是具有相同维度或不同维度的多条数据的合并。
在操作S246中，深度学习单元220可以通过合并的CNN通过使用合并的深度学习数据执行深度学习。然而，关于合并的深度学习数据的学习方法不限于合并的CNN。例如，在通过合并具有不同维度的多条数据的合并获得的合并的深度学习数据的情况下，可以通过合并的RNN而不是合并的CNN来执行深度学习。基于每个学习方法的深度学习过程(S242a)到基于合并的CNN的深度学习过程(S246)可以包括在多模式深度学习(S240c)过程中。
随后，在操作S250中，诊断单元300可以基于多模式深度学习来确定设备的状态，例如正常状态或故障状态。
图13是示出根据实施例的设备诊断方法的过程的流程图。图13的设备诊断方法可以由例如图1的设备诊断***执行。下面将参考图1和图13描述根据本实施例的设备诊断方法，并且省略以上参考图9至图12B给出的描述。
参考图13，首先，在操作S210a中，DAQ单元100可以采集至少两种设备的多种数据。这里，至少两种设备可以表示具有不同功能的至少两种设备。或者，至少两种设备可以包括具有相同功能但是不同种类或不同型号的至少两种设备。这里，多种数据如上参考图9所述。例如，在图9的设备诊断方法中，多种数据可以是从一种设备采集的多种数据。另一方面，在根据本实施例的设备诊断方法中，多种数据可以是从至少两种设备采集的多种数据。
随后，在操作S240d中，深度学习单元220可以通过CNN通过使用多种数据执行多模式深度学习。在执行多模式深度学习之前，可以通过预处理单元210的预处理将多种数据中的一些数据转换为包括时间序列特性的频率数据。例如，可以通过STFT执行预处理。
随后，在操作S250a中，诊断单元300可以基于多模式深度学习来确定至少两种设备和其它设备的故障与否。通常，当基于对其它设备的深度学习执行对一件设备的诊断时，诊断匹配率可以非常低。例如，当对设备A执行深度学习然后诊断设备A时，可以获得90％或更高的诊断匹配率。而且，当这种方法同样地应用于设备B时，可以获得90％或更高的诊断匹配率。然而，当通过使用设备A的深度学习结果来诊断设备B或者通过使用设备B的深度学习结果来诊断设备A时，诊断匹配率可以是50％或更小，即，可能非常低。因此，必须对每件设备执行深度学习。而且，当引入新设备时，不能使用先前设备的深度学习结果，并且因此，必须对新设备执行深度学习。
然而，如在根据本实施例的设备诊断方法中，可以对设备A和设备B集成地执行深度学习，并且当通过使用集成的深度学习结果来诊断设备A和设备B中的每一个时，设备A和设备B中的每一个的诊断匹配率可以被增强到90％或更多。此外，当通过使用集成的深度学习结果诊断新设备C而不是设备A或B时，也可以获得高诊断匹配率。
也就是说，在根据本实施例的设备诊断方法中，可以合并来自不同设备的不同数据，并且可以通过CNN基于合并数据来执行多模式深度学习，从而增强不同设备的诊断匹配率和新设备的诊断匹配率。
如上所述，在根据实施例的基于深度学习的设备诊断***和方法中，预处理单元可以将从设备获得的时间序列数据转换为频率数据，并且可以执行预处理以用于使时间分量为被包括在频率数据中，从而解决了数据大小增加的问题并且消除了基于图像数据的详细间隔提取的需要。此外，深度学习单元可以通过CNN基于来自预处理单元的频率数据执行深度学习，因此，可以准确且有效地确定设备故障与否以诊断设备。
此外，在根据实施例的基于深度学习的设备诊断***和方法中，可以通过CNN基于不同类型的数据来执行多模式深度学习，从而增强设备的诊断匹配率。此外，可以合并来自不同设备的不同类型的数据，并且可以通过CNN基于合并的数据来执行多模式深度学习，从而提高每个不同设备的诊断匹配率和新设备的诊断匹配率。
在功能块、单元和/或模块方面描述并在附图中示出了实施例。本领域技术人员将理解，这些块、单元和/或模块通过诸如逻辑电路、离散部件、微处理器、硬连线电路、存储器元件、布线连接等的电子(或光学)电路物理地实施，这些电路可以使用基于半导体的制造技术或其它制造技术形成。在块、单元和/或模块由微处理器或类似物实施的情况下，可以使用软件(例如，微代码)对它们进行编程以执行本文所讨论的各种功能，并且可以可选地由固件和/或软件驱动。或者，每个块、单元和/或模块可以由专用硬件实施，或者作为执行某些功能的专用硬件和执行其它功能的处理器(例如，一个或多个编程的微处理器和相关电路)的组合来实施。而且，在不脱离本公开的范围的情况下，实施例的每个块、单元和/或模块可以在物理上分成两个或更多个交互的和离散的块、单元和/或模块。此外，在不脱离本公开的范围的情况下，实施例的块、单元和/或模块可以物理地组合成更复杂的块、单元和/或模块。
本文描述的方法和过程可以通过要由计算机、处理器、管理器或控制器运行的代码或指令来执行。因为已详细描述了形成方法(或计算机、处理器或控制器的操作)的基础的算法，所以用于实施方法实施例的操作的代码或指令可以将计算机、处理器或控制器变换为用于执行本文所述方法的专用处理器。
此外，另一实施例可包括计算机可读介质，例如，非暂时性计算机可读介质，用于存储上述代码或指令。计算机可读介质可以是易失性或非易失性存储器或其它存储装置，其可以可移除地或固定地耦合到将运行用于执行本文描述的方法实施例的代码或指令的计算机、处理器或控制器。
本文已经公开了示例实施例，并且尽管采用了特定术语，但是它们仅以一般性和描述性意义来使用和解释，而不是出于限制的目的。在某些情况下，对本领域普通技术人员来说，在提交本申请时显而易见的是，除非另外明确表明，结合特定实施例描述的特征、特性和/或元件可以单独使用或与结合其它实施例描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离所附权利要求中阐述的本发明的精神和范围的情况下，可以进行形式和细节上的各种改变。

Claims (25)

1.一种设备诊断***，包括：
数据采集单元，用于采集设备的时间序列数据；
预处理单元，用于通过傅里叶变换将时间序列数据转换为包括时间分量的频率数据；
深度学习单元，用于通过卷积神经网络CNN通过使用频率数据执行深度学习；和
诊断单元，用于基于深度学习将设备的状态确定为正常状态或故障状态。
2.如权利要求1所述的设备诊断***，其中，傅里叶变换是快速傅里叶变换FFT、短时傅里叶变换STFT和瀑布FFT中的一种。
3.如权利要求2所述的设备诊断***，其中，
傅里叶变换是STFT或者瀑布FFT，并且
CNN包括一维1D CNN，其中不同的权重值分别被分配给时间间隔。
4.如权利要求2所述的设备诊断***，其中，
傅里叶变换是STFT，并且
预处理单元基于设备的操作时间确定STFT的周期。
5.如权利要求1所述的设备诊断***，其中，
数据采集单元采集至少两种时间序列数据，
预处理单元将至少一种时间序列数据转换为频率数据，并且
深度学习单元对至少两种数据中的每一种数据或者对至少两种数据合并后的数据执行深度学习。
6.如权利要求5所述的设备诊断***，其中，至少两种数据包括频率数据、时间序列数据和文本数据中的至少一种。
7.如权利要求1所述的设备诊断***，其中，
数据采集单元从至少两种设备中采集时间序列数据，
预处理单元将来自至少两种设备的时间序列数据转换为频率数据，
深度学习单元通过使用来自预处理单元的频率数据执行深度学习，并且
诊断单元确定至少两种设备以及与至少两种设备不同的设备的状态。
8.如权利要求1所述的设备诊断***，还包括反馈单元，用于在线或离线地向用户提供诊断单元的诊断结果。
9.如权利要求1所述的设备诊断***，其中，
在诊断单元确定设备的状态之前，深度学习单元通过使用其中核查了设备的正常状态和故障状态的标记数据来执行深度学习，以及
当诊断单元确定设备的状态时，深度学习单元通过使用其中未核查设备的状态的未标记数据来执行深度学习，并且基于深度学习的结果在未标记数据上标记设备的状态。
10.如权利要求1所述的设备诊断***，其中，CNN包括将卷积滤波器应用于频率数据以提取频率数据的特征映射并且池化以用于减小特征映射的大小，应用和池化被执行多次。
11.如权利要求10所述的设备诊断***，其中CNN提取通道的多条频率数据，并且对通道的多条频率数据中的每条频率数据或者对其中混合了通道的多条频率数据的混合数据执行应用和池化。
12.一种设备诊断方法，包括：
采集设备的时间序列数据；
通过傅里叶变换将时间序列数据转换为包括时间分量的频率数据；
通过卷积神经网络CNN使用频率数据来进行深度学习；和
基于深度学习将设备的状态诊断为正常状态或故障状态。
13.如权利要求12所述的设备诊断方法，其中，
在诊断设备的状态之前，深度学习包括使用与设备的正常状态和故障状态之一相关联的标记数据来深度学习，以及
当诊断确定设备的状态时，深度学习还包括使用其中未核查与其相关联的设备的状态的未标记数据来深度学习，并且
诊断包括基于深度学习的结果将未标记数据标记为对应于正常状态或故障状态。
14.如权利要求13所述的设备诊断方法，其中深度学习包括在确定与数据相关联的设备的状态之后标记数据并且使用标记数据以用于深度学习。
15.如权利要求12所述的设备诊断方法，其中，
傅里叶变换是短时傅里叶变换STFT或者瀑布快速傅里叶变换FFT，
CNN包括一维1D CNN，其中权重值被分配给时间间隔中的每个时间间隔，并且
1D CNN使用多个1D滤波器。
16.如权利要求12所述的设备诊断方法，其中，
傅里叶变换是STFT，并且
转换包括基于设备的操作时间确定STFT的周期。
17.如权利要求12所述的设备诊断方法，还包括：在诊断之后，在线或离线地向用户提供诊断结果。
18.如权利要求12所述的设备诊断方法，其中，CNN包括提取通道的频率数据、对通道的频率数据执行卷积、以及混合通道的频率数据。
19.一种设备诊断方法，包括：
采集设备的多种数据；
通过卷积神经网络CNN通过使用多种数据来进行多模式深度学习；以及基于多模式深度学习将设备的状态诊断为正常状态或故障状态。
20.如权利要求19所述的设备诊断方法，其中，
多种数据包括至少两种时间序列数据，
所述设备诊断方法还包括：
在多模式深度学习之前，
通过傅里叶变换将至少两种时间序列数据转换为至少两种频率数据；和
合并至少两种频率数据，以及
通过CNN使用合并的频率数据进行多模式深度学习。
21.如权利要求19所述的设备诊断方法，其中，
多种数据包括至少一种第一时间序列数据和至少一种第二时间序列数据，
设备诊断方法还包括：在多模式深度学习之前，通过傅里叶变换将至少一种第一时间序列数据转换为频率数据，并且
多模式深度学习包括：
通过第一CNN通过使用频率数据以及通过第二CNN通过使用至少一种第二时间序列数据来进行个体深度学习；
合并基于第一CNN的深度学习数据和基于第二CNN的深度学习数据；以及
通过合并的CNN通过使用合并的深度学习数据来进行合并的深度学习。
22.如权利要求21所述的设备诊断方法，其中，第一CNN、第二CNN和合并的CNN每个包括一维1D CNN。
23.如权利要求19所述的设备诊断方法，其中，
多种数据包括至少一种时间序列数据和至少一种文本数据，
设备诊断方法还包括：在多模式深度学习之前，通过傅里叶变换将至少一种时间序列数据转换为频率数据，并且
多模式深度学习包括：
通过第一CNN通过使用频率数据进行个体深度学习以及通过不同于CNN的另一学习方法进行文本数据的深度学习，
合并基于第一CNN的深度学习数据和基于其它学习方法的深度学习数据；以及
通过合并的CNN通过使用合并的深度学习数据进行合并的深度学习。
24.如权利要求19所述的设备诊断方法，其中，
采集包括从至少两种设备采集多种数据，以及
诊断确定至少两种设备以及与至少两种设备不同的设备的状态。
25.如权利要求19所述的设备诊断方法，其中，
在诊断设备的状态之前，通过使用其中核查了设备的正常状态和故障状态的标记数据来深度学习，以及
当诊断确定设备的状态时，多模式深度学习包括使用其中未核查设备的状态的未标记数据来深度学习，并且
基于深度学习的结果来标记未标记数据的状态。
CN201910145828.9A 2018-03-29 2019-02-27 基于深度学习的设备诊断***和方法 Active CN110334886B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180036603A KR102472134B1 (ko) 2018-03-29 2018-03-29 심층학습을 기반으로 한 설비 진단 시스템 및 방법
KR10-2018-0036603 2018-03-29

Publications (2)

Publication Number Publication Date
CN110334886A true CN110334886A (zh) 2019-10-15
CN110334886B CN110334886B (zh) 2024-05-28

Family

ID=68056152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910145828.9A Active CN110334886B (zh) 2018-03-29 2019-02-27 基于深度学习的设备诊断***和方法

Country Status (3)

Country Link
US (1) US11269321B2 (zh)
KR (1) KR102472134B1 (zh)
CN (1) CN110334886B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110926782A (zh) * 2019-12-06 2020-03-27 国网河南省电力公司三门峡供电公司 断路器故障类型判断方法、装置、电子设备及存储介质
CN111964908A (zh) * 2020-08-17 2020-11-20 天津大学 一种基于mwdcnn的变工况下轴承故障诊断方法
CN112083707A (zh) * 2020-08-05 2020-12-15 深圳市永达电子信息股份有限公司 一种工控物理信号的处理方法及控制器、处理***
CN113420885A (zh) * 2020-03-03 2021-09-21 丰田自动车株式会社 学习方法、学习***和学习程序

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102367831B1 (ko) * 2019-07-23 2022-02-28 엘지전자 주식회사 운전 로그 및 인공지능모델을 이용하여 고장 진단을 하는 인공 지능 기기 및 그 방법
KR102300049B1 (ko) * 2019-11-29 2021-09-08 한국생산기술연구원 머신러닝 기반 주파수 분석을 이용한 고장 진단 장치 및 방법
EP3832417A1 (en) * 2019-12-05 2021-06-09 Elmos Semiconductor SE Method for the detection of a state of a system
KR102268003B1 (ko) * 2019-12-11 2021-06-21 한림대학교 산학협력단 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법
KR102392951B1 (ko) * 2019-12-17 2022-05-03 주식회사 모빅랩 초음파 대역의 음향 신호를 수신하는 다채널 감지 센서를 구비한 설비 고장 예측 시스템
KR102272622B1 (ko) 2019-12-17 2021-07-05 (주)유코아시스템 기계설비의 기계음을 이용한 딥러닝기반 이상징후 감지시스템
JP7467292B2 (ja) * 2020-03-13 2024-04-15 東京エレクトロン株式会社 解析装置、解析方法及び解析プログラム
US11842269B2 (en) * 2020-05-28 2023-12-12 Hitachi, Ltd. AI enabled sensor data acquisition
KR102354199B1 (ko) * 2020-06-26 2022-01-21 경상국립대학교산학협력단 비지도 학습을 이용한 이상유동의 형태 판별 장치 및 그 방법
KR102383675B1 (ko) * 2020-09-24 2022-04-06 주식회사 비카누스 시계열 데이터 이상 진단 시스템
KR102517100B1 (ko) * 2020-11-27 2023-04-04 한국생산기술연구원 기계학습 기반 진공 가변 커패시터의 이상 진단 방법 및 진공 가변 커패시터의 이상 진단 장치
KR20220126014A (ko) * 2021-03-08 2022-09-15 포항공과대학교 산학협력단 시계열 데이터의 이상 구간 탐지 방법 및 장치
KR102418118B1 (ko) * 2021-03-24 2022-07-08 한국생산기술연구원 주파수 합성을 이용한 딥러닝 기반 설비 진단 장치 및 방법
US20220318616A1 (en) * 2021-04-06 2022-10-06 Delaware Capital Formation, Inc. Predictive maintenance using vibration analysis of vane pumps
KR102480899B1 (ko) * 2021-04-08 2022-12-22 서울대학교산학협력단 다채널 신호를 이용한 모터 고장 진단 방법 및 장치
KR102538542B1 (ko) * 2021-04-12 2023-05-30 서울대학교산학협력단 상전류 신호를 이용한 모터 고장 진단 방법 및 장치
CN113221968B (zh) * 2021-04-23 2023-02-21 北京科技大学 一种胶带输送机运行状态诊断方法及装置
CN113269174B (zh) * 2021-07-21 2021-10-12 北京航空航天大学 一种基于扩展卷积对抗自编码器的电作动器故障诊断测试方法
CN113639993B (zh) * 2021-08-17 2022-06-07 燕山大学 多模态多任务卷积神经网络的齿轮箱故障诊断方法
CN113847944B (zh) * 2021-09-14 2024-02-02 石家庄铁道大学 一种基于增强学习记忆控制的道路病害检测装置及方法
KR102380541B1 (ko) * 2021-10-06 2022-04-01 주식회사 위플랫 소리 스펙트로그램 이미지를 이용한 설비 고장 진단 장치 및 그 방법
KR20240039877A (ko) * 2022-09-20 2024-03-27 현대자동차주식회사 설비 고장 예측 진단 장치 및 그 방법
KR102664948B1 (ko) * 2023-01-02 2024-05-10 주식회사 두산 인공 지능 모델에 대한 입력 데이터를 전처리하기 위한 장치 및 이를 위한 방법
CN117114078B (zh) * 2023-10-23 2024-02-23 中国科学技术大学 提升连续控制机器人训练效率的方法、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160070673A1 (en) * 2014-09-04 2016-03-10 Qualcomm Incorporated Event-driven spatio-temporal short-time fourier transform processing for asynchronous pulse-modulated sampled signals
CN105784366A (zh) * 2016-03-30 2016-07-20 华北电力大学（保定） 一种变转速下的风电机组轴承故障诊断方法
CN106408088A (zh) * 2016-11-22 2017-02-15 北京六合智汇技术有限责任公司 一种基于深度学习理论的旋转机械设备故障诊断方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3100757B2 (ja) * 1992-06-02 2000-10-23 三菱電機株式会社 監視診断装置
US5594175A (en) 1994-05-06 1997-01-14 Massachusetts Institute Of Technology Apparatus and method for non-invasive diagnosis and control of motor operated valve condition
US5576632A (en) * 1994-06-30 1996-11-19 Siemens Corporate Research, Inc. Neural network auto-associator and method for induction motor monitoring
US8544087B1 (en) * 2001-12-14 2013-09-24 The Trustess Of Columbia University In The City Of New York Methods of unsupervised anomaly detection using a geometric framework
US20050222515A1 (en) 2004-02-23 2005-10-06 Biosignetics Corporation Cardiovascular sound signature: method, process and format
US7202794B2 (en) 2004-07-20 2007-04-10 General Monitors, Inc. Flame detection system
US7942824B1 (en) 2005-11-04 2011-05-17 Cleveland Medical Devices Inc. Integrated sleep diagnostic and therapeutic system and method
KR101137318B1 (ko) 2010-02-05 2012-04-19 세종대학교산학협력단 반도체 장치의 고장 진단시스템 및 방법
JP5648157B2 (ja) 2011-12-28 2015-01-07 株式会社日立ハイテクノロジーズ 半導体製造装置
CA2874991A1 (en) * 2012-05-31 2013-12-05 University Of Connecticut Methods and apparatuses for defect diagnosis in a mechanical system
US8955383B2 (en) 2012-06-27 2015-02-17 General Monitors, Inc. Ultrasonic gas leak detector with false alarm discrimination
KR101809654B1 (ko) 2014-06-03 2017-12-18 에이피시스템 주식회사 기판 처리 장치 및 그 작동 방법
US11209804B2 (en) 2014-11-11 2021-12-28 Applied Materials, Inc. Intelligent processing tools
US10650508B2 (en) 2014-12-03 2020-05-12 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection
JP6508772B2 (ja) 2015-05-26 2019-05-08 アズビル株式会社 火炎検出システム
EP3098681B1 (en) * 2015-05-27 2020-08-26 Tata Consultancy Services Limited Artificial intelligence based health management of host system
JP2017063355A (ja) 2015-09-25 2017-03-30 ルネサスエレクトロニクス株式会社 半導体装置
KR20170038348A (ko) * 2015-09-30 2017-04-07 한국전력공사 동적 설비의 결함 진단 시스템 및 결함 진단 방법
US11205119B2 (en) 2015-12-22 2021-12-21 Applied Materials Israel Ltd. Method of deep learning-based examination of a semiconductor specimen and system thereof
KR101801250B1 (ko) * 2016-02-02 2017-11-27 네이버 주식회사 음악에 적합한 테마를 자동으로 태깅하는 방법 및 시스템
US10586153B2 (en) * 2016-06-16 2020-03-10 Qatar University Method and apparatus for performing motor-fault detection via convolutional neural networks
KR101864860B1 (ko) * 2016-09-13 2018-06-05 오토시맨틱스 주식회사 딥러닝을 통한 자동차 상태 진단 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160070673A1 (en) * 2014-09-04 2016-03-10 Qualcomm Incorporated Event-driven spatio-temporal short-time fourier transform processing for asynchronous pulse-modulated sampled signals
CN105784366A (zh) * 2016-03-30 2016-07-20 华北电力大学（保定） 一种变转速下的风电机组轴承故障诊断方法
CN106408088A (zh) * 2016-11-22 2017-02-15 北京六合智汇技术有限责任公司 一种基于深度学习理论的旋转机械设备故障诊断方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110926782A (zh) * 2019-12-06 2020-03-27 国网河南省电力公司三门峡供电公司 断路器故障类型判断方法、装置、电子设备及存储介质
CN110926782B (zh) * 2019-12-06 2022-03-29 国网河南省电力公司三门峡供电公司 断路器故障类型判断方法、装置、电子设备及存储介质
CN113420885A (zh) * 2020-03-03 2021-09-21 丰田自动车株式会社 学习方法、学习***和学习程序
CN112083707A (zh) * 2020-08-05 2020-12-15 深圳市永达电子信息股份有限公司 一种工控物理信号的处理方法及控制器、处理***
CN111964908A (zh) * 2020-08-17 2020-11-20 天津大学 一种基于mwdcnn的变工况下轴承故障诊断方法

Also Published As

Publication number Publication date
KR102472134B1 (ko) 2022-11-29
US20190302750A1 (en) 2019-10-03
CN110334886B (zh) 2024-05-28
US11269321B2 (en) 2022-03-08
KR20190114221A (ko) 2019-10-10

Similar Documents

Publication Publication Date Title
CN110334886A (zh) 基于深度学习的设备诊断***和方法
CN107766894B (zh) 基于注意力机制和深度学习的遥感图像自然语言生成方法
Shi et al. Self-supervised discovering of interpretable features for reinforcement learning
EP3796228A1 (en) Device and method for generating a counterfactual data sample for a neural network
Hasan et al. A fault diagnosis framework for centrifugal pumps by scalogram-based imaging and deep learning
EP3816864A1 (en) Device and method for the generation of synthetic data in generative networks
US20220121902A1 (en) Method and apparatus for quality prediction
CN113128271A (zh) 脸部图像的伪造检测
Ferreira et al. Looking inside the black-box: Logic-based explanations for neural networks
Sampath et al. Attention-guided multitask learning for surface defect identification
Meister et al. Cross-evaluation of a parallel operating SVM–CNN classifier for reliable internal decision-making processes in composite inspection
CN112529208A (zh) 在观察模态之间转化训练数据
Tabatabaeian et al. Barely visible impact damage detection in composite structures using deep learning networks with varying complexities
Bai et al. Automated construction site monitoring based on improved YOLOv8-seg instance segmentation algorithm
Zhang et al. Face detection and alignment method for driver on highroad based on improved multi-task cascaded convolutional networks
Fang et al. Enhanced YOLOv5 algorithm for helmet wearing detection via combining bi-directional feature pyramid, attention mechanism and transfer learning
CN113592071A (zh) 设备故障识别模型训练、识别方法、***、装置及介质
Hwang et al. Anomaly Detection in Time Series Data and its Application to Semiconductor Manufacturing
CN114155400B (zh) 一种图像的处理方法、装置及设备
Amoriya et al. Counting Number of Objects in Images Using Machine Learning
US11526965B2 (en) Multiplicative filter network
EP3862922A1 (en) Explaining the output of a trained model
JP7345680B2 (ja) 推論装置、推論方法及び推論プログラム
JP2019149028A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
Carmona et al. On the effect of feedback in multilevel representation spaces for visual surveillance tasks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant