CN110533654A - 零部件的异常检测方法及装置 - Google Patents

零部件的异常检测方法及装置 Download PDF

Info

Publication number
CN110533654A
CN110533654A CN201910817968.6A CN201910817968A CN110533654A CN 110533654 A CN110533654 A CN 110533654A CN 201910817968 A CN201910817968 A CN 201910817968A CN 110533654 A CN110533654 A CN 110533654A
Authority
CN
China
Prior art keywords
picture
neural network
network model
components
twin neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910817968.6A
Other languages
English (en)
Inventor
江金陵
吴信东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mininglamp Software System Co ltd
Original Assignee
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mininglamp Software System Co ltd filed Critical Beijing Mininglamp Software System Co ltd
Priority to CN201910817968.6A priority Critical patent/CN110533654A/zh
Publication of CN110533654A publication Critical patent/CN110533654A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种零部件的异常检测方法及装置，上述方法包括：获取第一零部件的正常样本以及异常样本，其中，所述正常样本包括：所述第一零部件的第一图片，所述异常样本包括：与所述第一零部件处于不同位置的第二零部件的第二图片；使用所述正常样本以及所述异常样本对孪生神经网络模型进行训练，其中，所述孪生神经网络模型用于确定输入到所述孪生神经网络模型中的正常样本与异常样本的相似度；使用训练完成后的所述孪生神经网络模型检测输入到所述孪生神经网络模型的第三图片中的第一零部件是否存在异常。通过本发明，可以解决相关技术中零部件的异常检测的效率较低的问题。

Description

零部件的异常检测方法及装置
技术领域
本发明涉及通信领域，具体而言，涉及一种零部件的异常检测方法及装置。
背景技术
在对车辆的零部件进行异常检测时，可以通过轨道车辆在线阵相机前方的运动获得整个车辆的图片，车辆的图片包含了各种零部件信息，并且各种零部件的相关缺陷可以在该图片中反映出来。例如，螺丝是车辆的零部件中出现异常问题较为广泛的零部件。在对车辆的图片进行分析时，可以基于传统图像处理技术利用图像中的纹理、边缘、颜色等信息进行螺丝异常的特征提取工作。而这一方式，存在以下缺陷：车辆的图片很大，而每个螺丝所占面积非常小，难以利用传统图像处理的技术在一整个车辆图片上直接提取到螺丝的特征；传统图像处理的技术难以扩展到车辆的各种不同部分上的螺丝的异常问题，需要为每个部分单独设置特征提取工作，从而导致螺丝的异常检测的效率低下。
针对相关技术中，零部件的异常检测的效率较低等问题，尚未提出技术方案。
发明内容
本发明实施例提供了一种零部件的异常检测方法及装置，以至少解决相关技术中零部件的异常检测的效率较低的问题。
根据本发明的一个实施例，提供了一种零部件的异常检测方法，包括：
获取第一零部件的正常样本以及异常样本，其中，所述正常样本包括：所述第一零部件的第一图片，所述异常样本包括：与所述第一零部件处于不同位置的第二零部件的第二图片；
使用所述正常样本以及所述异常样本对孪生神经网络模型进行训练，其中，所述孪生神经网络模型用于确定输入到所述孪生神经网络模型中的正常样本与异常样本的相似度；
使用训练完成后的所述孪生神经网络模型检测输入到所述孪生神经网络模型的第三图片中的第一零部件是否存在异常。
可选地，所述使用所述正常样本以及所述异常样本对孪生神经网络模型进行训练，包括：
将多组训练数据输入到所述孪生神经网络模型中，使用所述多组训练数据对所述孪生神经网络模型进行训练，其中，所述多组训练数据至少包括第一组训练数据和第二组训练数据，其中，所述第一组训练数据包括第一正常样本以及第一异常样本，所述第二组训练数据包括第二正常样本以及第三正常样本。
可选地，所述使用训练完成后的所述孪生神经网络模型检测输入到所述孪生神经网络模型的第三图片中的第一零部件是否存在异常，包括：
获取所述第一图片以及第三图片；
将所述第一图片以及第三图片输入到所述训练完成后的孪生神经网络模型中，获取所述孪生神经网络模型对所述第一图片和所述第三图片分析后得到的相似度；
根据所述孪生神经网络模型对所述第一图片和所述第三图片分析后得到的相似度确定所述第三图片中的第一零部件是否存在异常。
可选地，所述根据所述孪生神经网络模型对所述第一图片和所述第三图片分析后得到的相似度确定所述第三图片中的第一零部件是否存在异常，包括：
在所述相似度小于第一阈值的情况下，确定所述第三图片中的第一零件存在异常；
在所述相似度大于第二阈值的情况下，确定所述第三图片中的第一零件未存在异常。
根据本发明的另一个实施例，提供了一种零部件的异常检测装置，包括：
获取模块，用于获取第一零部件的正常样本以及异常样本，其中，所述正常样本包括：所述第一零部件的第一图片，所述异常样本包括：与所述第一零部件处于不同位置的第二零部件的第二图片；
训练模块，用于使用所述正常样本以及所述异常样本对孪生神经网络模型进行训练，其中，所述孪生神经网络模型用于确定输入到所述孪生神经网络模型中的正常样本与异常样本的相似度；
检测模块，用于使用训练完成后的所述孪生神经网络模型检测输入到所述孪生神经网络模型的第三图片中的第一零部件是否存在异常。
可选地，所述训练模块，包括：
训练单元，用于将多组训练数据输入到所述孪生神经网络模型中，使用所述多组训练数据对所述孪生神经网络模型进行训练，其中，所述多组训练数据至少包括第一组训练数据和第二组训练数据，其中，所述第一组训练数据包括第一正常样本以及第一异常样本，所述第二组训练数据包括第二正常样本以及第三正常样本。
可选地，所述检测模块，包括：
获取单元，用于获取所述第一图片以及第三图片；
输入单元，用于将所述第一图片以及第三图片输入到所述训练完成后的孪生神经网络模型中，获取所述孪生神经网络模型对所述第一图片和所述第三图片分析后得到的相似度；
确定单元，用于根据所述孪生神经网络模型对所述第一图片和所述第三图片分析后得到的相似度确定所述第三图片中的第一零部件是否存在异常。
可选地，所述确定单元，包括：
第一确定子单元，用于在所述相似度小于第一阈值的情况下，确定所述第三图片中的第一零件存在异常；
第二确定子单元，用于在所述相似度大于第二阈值的情况下，确定所述第三图片中的第一零件未存在异常。
可选地，根据本发明的另一个实施例，提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述方法。
可选地，根据本发明的另一个实施例，提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述方法。
通过本发明，获取第一零部件的正常样本以及异常样本，其中，所述正常样本包括：所述第一零部件的第一图片，所述异常样本包括：与所述第一零部件处于不同位置的第二零部件的第二图片；使用所述正常样本以及所述异常样本对孪生神经网络模型进行训练，其中，所述孪生神经网络模型用于确定输入到所述孪生神经网络模型中的正常样本与异常样本的相似度；使用训练完成后的所述孪生神经网络模型检测输入到所述孪生神经网络模型的第三图片中的第一零部件是否存在异常。因此，可以解决相关技术中零部件的异常检测的效率较低的问题，提高了零部件的异常检测的效率，并能够提高异常检测的准确性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为根据本发明实施例的零部件的异常检测方法的流程图；
图2为根据本发明实施例的车轮的定位方法的流程图；
图3为根据本发明实施例的螺丝的定位方法的流程图；
图4为根据本发明另一实施例的零部件的异常检测方法的流程图；
图5是根据本发明实施例的零部件的异常检测装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
本发明实施例提供了一种零部件的异常检测方法。图1为根据本发明实施例的零部件的异常检测方法的流程图，如图1所示，包括：
步骤S102，获取第一零部件的正常样本以及异常样本，其中，所述正常样本包括：所述第一零部件的第一图片，所述异常样本包括：与所述第一零部件处于不同位置的第二零部件的第二图片；
步骤S104，使用所述正常样本以及所述异常样本对孪生神经网络模型进行训练，其中，所述孪生神经网络模型用于确定输入到所述孪生神经网络模型中的正常样本与异常样本的相似度；
步骤S106，使用训练完成后的所述孪生神经网络模型检测输入到所述孪生神经网络模型的第三图片中的第一零部件是否存在异常。
通过本发明，获取第一零部件的正常样本以及异常样本，其中，所述正常样本包括：所述第一零部件的第一图片，所述异常样本包括：与所述第一零部件处于不同位置的第二零部件的第二图片；使用所述正常样本以及所述异常样本对孪生神经网络模型进行训练，其中，所述孪生神经网络模型用于确定输入到所述孪生神经网络模型中的正常样本与异常样本的相似度；使用训练完成后的所述孪生神经网络模型检测输入到所述孪生神经网络模型的第三图片中的第一零部件是否存在异常。因此，可以解决相关技术中零部件的异常检测的效率较低的问题，提高了零部件的异常检测的效率，并能够提高异常检测的准确性。
需要说明的是，在本发明实施例中，由于将第一零部件的第一图片作为正常样本，并将与所述第一零部件处于不同位置的第二零部件的第二图片作为异常样本，以及使用上述正常样本和异常样本对孪生神经网络模型进行训练，从而不需要收集车辆在实际运行过程中的异常样本。由于在车辆实际运行过程中收集异常样本的难度较大，并且也难以收集到能够满足需求数量的异常样本，并且若是由机器生成螺丝的异常样本图片，则由机器生成的螺丝异常样本图片与实际情况不符，从而若使用该异常样本图片对模型进行训练则不能准确的识别现实情况中螺丝产生的异常。因此，通过本发明的上述实施例，可以进一步地解决异常样本收集困难的问题，减小了模型训练的成本和模型管理代价，并且能够提高训练的可靠性以及能够扩展应用到各个组件中的零部件的异常检测中。
在本发明的一可选实施例中，所述使用所述正常样本以及所述异常样本对孪生神经网络模型进行训练，包括：将多组训练数据输入到所述孪生神经网络模型中，使用所述多组训练数据对所述孪生神经网络模型进行训练，其中，所述多组训练数据至少包括第一组训练数据和第二组训练数据，其中，所述第一组训练数据包括第一正常样本以及第一异常样本，所述第二组训练数据包括第二正常样本以及第三正常样本。
需要说明的是，所述正常样本包括所述第一正常样本、所述第二正常样本以及所述第三正常样本，所述异常样本包括所述第一异常样本；所述第二正常样本中的第一零部件对应第一时间；所述第三正常样本中的第一零部件对应第二时间。可选地，第一异常样本可以是对第一正常样本进行修改或调整后得到的一个异常样本。可选地，可以修改第一正常样本中第一零部件的位置或表面得到第一异常样本，例如，对第一正常样本中的第一零部件的位置进行调整(即修改第一正常样本中的第一零部件的位置)、对第一正常样本中的第一零部件的表面添加脏污痕迹等得到第一异常样本。
可选地，在本发明的上述实施例中，在对孪生神经网络模型进行训练时，将训练数据(例如，图片)以成对的方式输入到孪生神经网络模型中。需要说明的是，孪生神经网络模型中包括两个神经网络，对于成对输入到该孪生神经网络模型中的两张图片，其中一张图片被输入到上述两个神经网络中的一个神经网络中，另一张图片被输入到上述两个神经网络中的另一个神经网络中。可选地，每个神经网络均能够计算出输入的图片的特征向量，孪生神经网络模型基于计算出的特征向量，确定输入到该孪生神经网络模型中的两张图片的相似性。
在本发明的上述实施例中，将一个正常样本与一个异常样本成对输入到该孪生神经网络模型中，并且还将两个正常样本成对的输入到该孪生神经网络模型中，以对该神经网络模型进行训练。需要说明的是，以成对的方式输入到孪生神经网络中的两个正常样本，可以是对应于不同时间的处于正常状态(即，未发生异常的)的第一零部件的两张图片，例如，一个正常样本为当天的第一零部件的图片，另一正常样本为前一天的第一零部件的图片。
在本发明的上述实施例中，将正常样本与异常样本以成对的方式输入到孪生神经网络模型中，对该孪生神经网络模型进行训练。
在本发明的一可选实施例中，所述使用训练完成后的所述孪生神经网络模型检测输入到所述孪生神经网络模型的第三图片中的第一零部件是否存在异常，包括：获取所述第一图片以及第三图片；将所述第一图片以及第三图片输入到所述训练完成后的孪生神经网络模型中，获取所述孪生神经网络模型对所述第一图片和所述第三图片分析后得到的相似度；根据所述孪生神经网络模型对所述第一图片和所述第三图片分析后得到的相似度确定所述第三图片中的第一零部件是否存在异常。
在本发明的一可选实施例中，所述根据所述孪生神经网络模型对所述第一图片和所述第三图片分析后得到的相似度确定所述第三图片中的第一零部件是否存在异常，包括：在所述相似度小于第一阈值的情况下，确定所述第三图片中的第一零件存在异常；在所述相似度大于第二阈值的情况下，确定所述第三图片中的第一零件未存在异常。
可选地，上述第二阈值可以是与第一阈值相同的阈值。
以下结合一示例对上述的零部件的异常检测方法进行解释说明，但不用于限定本发明实施例的技术方案。下面以零部件为车轮上的螺丝为例，对本发明示例的技术方案进行详细说明，本发明示例的技术方案如下：
(1)、组件定位模块，用于提取零部件所在的组件。
该步骤主要是先对车轮进行定位，然后根据车轮上螺丝的相对位置再对螺丝进行定位。
可选地，在上述实施例中，可以通过以下方法实现车轮定位，请参见图2，图2为根据本发明实施例的车轮的定位方法的流程图。如图2所示，本发明实施例的车轮的定位方法如下：
步骤1：首先输入整辆列车的图；之后，步骤2：通过卷积神经网络处理、候选区域提取、车轮检测、坐标回归等算法对车轮位置进行定位；步骤3、将置信度较高的区域作为车轮图片，最终确定了车轮位置；步骤4、可以将整辆列车的图中单独分割并提取出每个车轮的图片。由于列车速度不同导致线阵相机采集的车轮不一定是正圆，因此，可以对分割出的车轮的图片进行校正。
可选地，在上述实施例中，可以通过以下方法实现螺丝定位，请参见图3，图3为根据本发明实施例的螺丝的定位方法的流程图。如图3所示，本发明实施例的螺丝的定位方法如下：
步骤1、与车轮定位类似，首先输入整个车轮的图；步骤2、通过卷积神经网络处理、候选区域提取、螺丝检测、坐标回归等算法对螺丝位置进行定位；步骤3、最后将置信度较高的区域作为螺丝图片，最终确定了螺丝的位置；步骤4、根据预先设好的螺丝相对位置信息，对螺丝图片中各个螺丝的归属进行确认。
需要说明的是，在上述实施例中，车轮和螺丝的定位均采用基于候选区域的卷积神经网络。可选地，卷积神经网络可以采用预先由人工提取的正负样本数据(例如，车轮图片和非车轮图片，螺丝图片和非螺丝图片)进行训练。
(2)、基于历史数据比对的度量学习模块；
考虑到在某些情况下，实际有异常的缺陷螺丝样本较少，若大量采用模拟数据对孪生神经网络模型进行训练会影响结果的可靠性，因此提出基于历史数据进行比对的度量学习(度量学习，即通过对比两个对象，得到两个对象的相似性)。具体过程是，通过以同一位置螺丝为正常样本的训练数据，不同位置螺丝为异常样本的训练数据，以对为单位将螺丝图片输入到孪生神经网络模型中进行训练，最后输出该对螺丝的相似性(即相似度)。
(3)、螺丝异常检测模块。
在异常检测时，对新检测到的螺丝图片和该位置的同一螺丝的历史图像(历史图像是该螺丝未发生异常时的图片，即正常图片)进行比对，如果相似则认为没有异常，如不相似则认为螺丝出现异常(例如，脱落、松动、脏污等)，并报警。请参见图4，图4为根据本发明另一实施例的零部件的异常检测方法的流程图。如图4所示，本发明实施例的零部件的异常检测方法如下：
步骤1、将螺丝的当前图片和历史图片输入到孪生神经网络模型中；其中，该孪生神经网络模型包括卷积神经网络1和卷积神经网络2；
步骤2、通过孪生神经网络模型计算输入的两张图片的相似性度量(即相似性)。
在本发明的一可选实施例中，还可以包括基于分类的数据处理模块，该模块中，可以通过使用分类器检测螺丝的异常。由于缺陷数据(即异常样本)较少，在本发明实施例中，可以以人工生成的缺陷螺丝的图片(例如，将正常螺丝的图片中的螺丝的位置进行修改)作为异常样本，再将正常的螺丝的图片作为正常样本，对分类器(即分类模型)进行训练。可选地，可以采用HOG和SVM相结合的方法构造分类器。在使用该分类器进行异常检测时，以零部件图片作为输入，以分类器的输出作为缺陷判定(即异常检测)的依据。
其中，方向梯度直方图(Histogram of Oriented Gradient,简称为HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。HOG特征通过计算和统计图像局部区域的梯度方向直方图来构成特征。支持向量机SVM(Support Vector Machine，简称为SVM，又名支持向量网络)是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。
可选地，当孪生神经网络模型确认新检测到的螺丝图片中的螺丝存在异常时，可以对该新检测到的螺丝图片打上异常的标签。当异常图片足够多的时候，***中就会存有带标签的正常样本以及检测得到的异常样本，此时就可以使用这两部分数据进行一步的对分类模型进行训练。
实施例2
根据本发明的另一个实施例，提供了一种零部件的异常检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本发明实施例的零部件的异常检测装置的结构框图，该装置包括：
获取模块502，用于获取第一零部件的正常样本以及异常样本，其中，所述正常样本包括：所述第一零部件的第一图片，所述异常样本包括：与所述第一零部件处于不同位置的第二零部件的第二图片；
训练模块504，用于使用所述正常样本以及所述异常样本对孪生神经网络模型进行训练，其中，所述孪生神经网络模型用于确定输入到所述孪生神经网络模型中的正常样本与异常样本的相似度；
检测模块506，用于使用训练完成后的所述孪生神经网络模型检测输入到所述孪生神经网络模型的第三图片中的第一零部件是否存在异常。
通过本发明，获取第一零部件的正常样本以及异常样本，其中，所述正常样本包括：所述第一零部件的第一图片，所述异常样本包括：与所述第一零部件处于不同位置的第二零部件的第二图片；使用所述正常样本以及所述异常样本对孪生神经网络模型进行训练，其中，所述孪生神经网络模型用于确定输入到所述孪生神经网络模型中的正常样本与异常样本的相似度；使用训练完成后的所述孪生神经网络模型检测输入到所述孪生神经网络模型的第三图片中的第一零部件是否存在异常。因此，可以解决相关技术中零部件的异常检测的效率较低的问题，提高了零部件的异常检测的效率，并能够提高异常检测的准确性。
在本发明的一可选实施例中，所述训练模块504，包括：训练单元，用于将多组训练数据输入到所述孪生神经网络模型中，使用所述多组训练数据对所述孪生神经网络模型进行训练，其中，所述多组训练数据至少包括第一组训练数据和第二组训练数据，其中，所述第一组训练数据包括第一正常样本以及第一异常样本，所述第二组训练数据包括第二正常样本以及第三正常样本。
在本发明的一可选实施例中，所述检测模块506，包括：获取单元，用于获取所述第一图片以及第三图片；输入单元，用于将所述第一图片以及第三图片输入到所述训练完成后的孪生神经网络模型中，获取所述孪生神经网络模型对所述第一图片和所述第三图片分析后得到的相似度；确定单元，用于根据所述孪生神经网络模型对所述第一图片和所述第三图片分析后得到的相似度确定所述第三图片中的第一零部件是否存在异常。
在本发明的一可选实施例中，所述确定单元，包括：第一确定子单元，用于在所述相似度小于第一阈值的情况下，确定所述第三图片中的第一零件存在异常；第二确定子单元，用于在所述相似度大于第二阈值的情况下，确定所述第三图片中的第一零件未存在异常。
实施例3
本发明的实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时执行上述任一项的方法。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
S1，获取第一零部件的正常样本以及异常样本，其中，所述正常样本包括：所述第一零部件的第一图片，所述异常样本包括：与所述第一零部件处于不同位置的第二零部件的第二图片；
S2，使用所述正常样本以及所述异常样本对孪生神经网络模型进行训练，其中，所述孪生神经网络模型用于确定输入到所述孪生神经网络模型中的正常样本与异常样本的相似度；
S3，使用训练完成后的所述孪生神经网络模型检测输入到所述孪生神经网络模型的第三图片中的第一零部件是否存在异常。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
实施例4
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取第一零部件的正常样本以及异常样本，其中，所述正常样本包括：所述第一零部件的第一图片，所述异常样本包括：与所述第一零部件处于不同位置的第二零部件的第二图片；
S2，使用所述正常样本以及所述异常样本对孪生神经网络模型进行训练，其中，所述孪生神经网络模型用于确定输入到所述孪生神经网络模型中的正常样本与异常样本的相似度；
S3，使用训练完成后的所述孪生神经网络模型检测输入到所述孪生神经网络模型的第三图片中的第一零部件是否存在异常。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种零部件的异常检测方法，其特征在于，包括：
获取第一零部件的正常样本以及异常样本，其中，所述正常样本包括：所述第一零部件的第一图片，所述异常样本包括：与所述第一零部件处于不同位置的第二零部件的第二图片；
使用所述正常样本以及所述异常样本对孪生神经网络模型进行训练，其中，所述孪生神经网络模型用于确定输入到所述孪生神经网络模型中的正常样本与异常样本的相似度；
使用训练完成后的所述孪生神经网络模型检测输入到所述孪生神经网络模型的第三图片中的第一零部件是否存在异常。
2.根据权利要求1所述的方法，其特征在于，所述使用所述正常样本以及所述异常样本对孪生神经网络模型进行训练，包括：
将多组训练数据输入到所述孪生神经网络模型中，使用所述多组训练数据对所述孪生神经网络模型进行训练，其中，所述多组训练数据至少包括第一组训练数据和第二组训练数据，其中，所述第一组训练数据包括第一正常样本以及第一异常样本，所述第二组训练数据包括第二正常样本以及第三正常样本。
3.根据权利要求1所述的方法，其特征在于，所述使用训练完成后的所述孪生神经网络模型检测输入到所述孪生神经网络模型的第三图片中的第一零部件是否存在异常，包括：
获取所述第一图片以及第三图片；
将所述第一图片以及第三图片输入到所述训练完成后的孪生神经网络模型中，获取所述孪生神经网络模型对所述第一图片和所述第三图片分析后得到的相似度；
根据所述孪生神经网络模型对所述第一图片和所述第三图片分析后得到的相似度确定所述第三图片中的第一零部件是否存在异常。
4.根据权利要求3所述的方法，其特征在于，所述根据所述孪生神经网络模型对所述第一图片和所述第三图片分析后得到的相似度确定所述第三图片中的第一零部件是否存在异常，包括：
在所述相似度小于第一阈值的情况下，确定所述第三图片中的第一零件存在异常；
在所述相似度大于第二阈值的情况下，确定所述第三图片中的第一零件未存在异常。
5.一种零部件的异常检测装置，其特征在于，包括：
获取模块，用于获取第一零部件的正常样本以及异常样本，其中，所述正常样本包括：所述第一零部件的第一图片，所述异常样本包括：与所述第一零部件处于不同位置的第二零部件的第二图片；
训练模块，用于使用所述正常样本以及所述异常样本对孪生神经网络模型进行训练，其中，所述孪生神经网络模型用于确定输入到所述孪生神经网络模型中的正常样本与异常样本的相似度；
检测模块，用于使用训练完成后的所述孪生神经网络模型检测输入到所述孪生神经网络模型的第三图片中的第一零部件是否存在异常。
6.根据权利要求5所述的装置，其特征在于，所述训练模块，包括：
训练单元，用于将多组训练数据输入到所述孪生神经网络模型中，使用所述多组训练数据对所述孪生神经网络模型进行训练，其中，所述多组训练数据至少包括第一组训练数据和第二组训练数据，其中，所述第一组训练数据包括第一正常样本以及第一异常样本，所述第二组训练数据包括第二正常样本以及第三正常样本。
7.根据权利要求5所述的装置，其特征在于，所述检测模块，包括：
获取单元，用于获取所述第一图片以及第三图片；
输入单元，用于将所述第一图片以及第三图片输入到所述训练完成后的孪生神经网络模型中，获取所述孪生神经网络模型对所述第一图片和所述第三图片分析后得到的相似度；
确定单元，用于根据所述孪生神经网络模型对所述第一图片和所述第三图片分析后得到的相似度确定所述第三图片中的第一零部件是否存在异常。
8.根据权利要求7所述的装置，其特征在于，所述确定单元，包括：
第一确定子单元，用于在所述相似度小于第一阈值的情况下，确定所述第三图片中的第一零件存在异常；
第二确定子单元，用于在所述相似度大于第二阈值的情况下，确定所述第三图片中的第一零件未存在异常。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至4任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至4任一项中所述的方法。
CN201910817968.6A 2019-08-30 2019-08-30 零部件的异常检测方法及装置 Pending CN110533654A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910817968.6A CN110533654A (zh) 2019-08-30 2019-08-30 零部件的异常检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910817968.6A CN110533654A (zh) 2019-08-30 2019-08-30 零部件的异常检测方法及装置

Publications (1)

Publication Number Publication Date
CN110533654A true CN110533654A (zh) 2019-12-03

Family

ID=68665651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910817968.6A Pending CN110533654A (zh) 2019-08-30 2019-08-30 零部件的异常检测方法及装置

Country Status (1)

Country Link
CN (1) CN110533654A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445459A (zh) * 2020-03-27 2020-07-24 广东工业大学 一种基于深度孪生网络的图像缺陷检测方法及***
CN111460991A (zh) * 2020-03-31 2020-07-28 科大讯飞股份有限公司 异常检测方法、相关设备及可读存储介质
CN111709920A (zh) * 2020-06-01 2020-09-25 深圳市深视创新科技有限公司 模板缺陷检测方法
CN111768387A (zh) * 2020-06-30 2020-10-13 创新奇智(青岛)科技有限公司 瑕疵检测方法、孪生神经网络训练方法、装置及电子设备
CN112308148A (zh) * 2020-11-02 2021-02-02 创新奇智(青岛)科技有限公司 缺陷类别识别、孪生神经网络训练方法、装置及存储介质
CN113655348A (zh) * 2021-07-28 2021-11-16 国网湖南省电力有限公司 一种基于深度孪生网络的电力设备局部放电故障诊断方法、***终端及可读存储介质
CN114708724A (zh) * 2021-06-28 2022-07-05 天津大学 一种人车路协同的多车能效优化算法
CN115041544A (zh) * 2022-08-11 2022-09-13 深圳市信润富联数字科技有限公司 冲压件的异常检测方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961236A (zh) * 2018-06-29 2018-12-07 国信优易数据有限公司 电路板缺陷检测模型的训练方法及装置、检测方法及装置
CN109559301A (zh) * 2018-11-20 2019-04-02 江苏第二师范学院（江苏省教育科学研究院） 一种端到端的动车组入所缺陷检测的孪生网络方法
US20190108396A1 (en) * 2017-10-11 2019-04-11 Aquifi, Inc. Systems and methods for object identification
CN110136101A (zh) * 2019-04-17 2019-08-16 杭州数据点金科技有限公司 一种基于孪生距离比对的轮胎x光病疵检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190108396A1 (en) * 2017-10-11 2019-04-11 Aquifi, Inc. Systems and methods for object identification
CN108961236A (zh) * 2018-06-29 2018-12-07 国信优易数据有限公司 电路板缺陷检测模型的训练方法及装置、检测方法及装置
CN109559301A (zh) * 2018-11-20 2019-04-02 江苏第二师范学院（江苏省教育科学研究院） 一种端到端的动车组入所缺陷检测的孪生网络方法
CN110136101A (zh) * 2019-04-17 2019-08-16 杭州数据点金科技有限公司 一种基于孪生距离比对的轮胎x光病疵检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵鑫欣: "基于卷积神经网络的铁轨扣件异常状态检测研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445459A (zh) * 2020-03-27 2020-07-24 广东工业大学 一种基于深度孪生网络的图像缺陷检测方法及***
CN111445459B (zh) * 2020-03-27 2023-07-28 广东工业大学 一种基于深度孪生网络的图像缺陷检测方法及***
CN111460991A (zh) * 2020-03-31 2020-07-28 科大讯飞股份有限公司 异常检测方法、相关设备及可读存储介质
CN111709920A (zh) * 2020-06-01 2020-09-25 深圳市深视创新科技有限公司 模板缺陷检测方法
CN111768387A (zh) * 2020-06-30 2020-10-13 创新奇智(青岛)科技有限公司 瑕疵检测方法、孪生神经网络训练方法、装置及电子设备
CN112308148A (zh) * 2020-11-02 2021-02-02 创新奇智(青岛)科技有限公司 缺陷类别识别、孪生神经网络训练方法、装置及存储介质
CN114708724A (zh) * 2021-06-28 2022-07-05 天津大学 一种人车路协同的多车能效优化算法
CN113655348A (zh) * 2021-07-28 2021-11-16 国网湖南省电力有限公司 一种基于深度孪生网络的电力设备局部放电故障诊断方法、***终端及可读存储介质
CN113655348B (zh) * 2021-07-28 2023-12-08 国网湖南省电力有限公司 一种基于深度孪生网络的电力设备局部放电故障诊断方法、***终端及可读存储介质
CN115041544A (zh) * 2022-08-11 2022-09-13 深圳市信润富联数字科技有限公司 冲压件的异常检测方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN110533654A (zh) 零部件的异常检测方法及装置
CN110060237B (zh) 一种故障检测方法、装置、设备及***
US5933519A (en) Cytological slide scoring apparatus
US11704888B2 (en) Product onboarding machine
CN113111844B (zh) 一种作业姿态评估方法、装置、本地终端及可读存储介质
CN104615986B (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN108830332A (zh) 一种视觉车辆检测方法及***
CN107808126A (zh) 车辆检索方法及装置
JP2018512567A (ja) 検査室自動化のためのサイドビューサンプルチューブ画像におけるバーコードタグ検出
CN112257660B (zh) 无效客流的去除方法、***、设备及计算机可读存储介质
CN116188475B (zh) 一种外观缺陷自动光学检测的智慧控制方法、***及介质
CN111161295B (zh) 一种菜品图像背景剥离方法
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN109886932A (zh) 基于svm的轮速传感器齿圈表面缺陷检测方法
CN113723157B (zh) 一种农作物病害识别方法、装置、电子设备及存储介质
CN108182444A (zh) 基于场景分类的视频质量诊断的方法及装置
CN112966687B (zh) 图像分割模型训练方法、装置及通信设备
CN112686122B (zh) 人体及影子的检测方法、装置、电子设备、存储介质
CN117218633A (zh) 一种物品检测方法、装置、设备及存储介质
CN115984759A (zh) 变电站开关状态识别方法、装置、计算机设备和存储介质
CN114494355A (zh) 基于人工智能的轨迹分析方法、装置、终端设备及介质
CN115272249B (zh) 一种缺陷检测方法、装置、计算机设备和存储介质
CN110008803A (zh) 行人检测、训练检测器的方法、装置及设备
CN115496931B (zh) 一种工业机器人健康监测方法及***
CN112733883B (zh) 一种点监督的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191203

WD01 Invention patent application deemed withdrawn after publication