CN113254693A - 用于部件故障分析的图像识别和检索 - Google Patents

用于部件故障分析的图像识别和检索 Download PDF

Info

Publication number
CN113254693A
CN113254693A CN202110119106.3A CN202110119106A CN113254693A CN 113254693 A CN113254693 A CN 113254693A CN 202110119106 A CN202110119106 A CN 202110119106A CN 113254693 A CN113254693 A CN 113254693A
Authority
CN
China
Prior art keywords
fault
digital image
database
image
current fault
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110119106.3A
Other languages
English (en)
Inventor
D·特里卡里科
A·内里
G·托马西诺
D·P·卡瓦洛
D·琼塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN113254693A publication Critical patent/CN113254693A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35074—Display object, recognition of geometric forms
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35084—Geometric feature extraction, concave and convex regions, object recognition
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36538—Different tunes, melodies, voice patterns for different error indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Library & Information Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

用于识别和检索用于部件故障分析的部件数字图像的方法，包括：生成先前分析的部件的已知故障的数字图像的已知故障数据库和对应的补救动作。该方法还包括：用新部件的当前故障的数字图像访问已知故障数据库。该方法还包括：基于计算的目标特性将当前故障的数字图像与已知故障数据库中的数字图像进行比较。该方法还包括：基于相对于当前故障的数字图像的已知故障数据库中的每个相应数字图像的计算目标特性的幅值，按顺序对已知故障数据库中的数字图像进行分类。该方法还包括：输出分类的数字图像以促进当前故障与特定已知故障的关联并识别相应的补救动作。

Description

用于部件故障分析的图像识别和检索
技术领域
本公开涉及用于部件故障分析的部件数字图像的识别和检索。目标图像可以具体地表示呈现特定缺陷的车辆部件。
背景技术
车辆***在其操作期间可能经历各种关注、问题或故障。这种***故障可能难以诊断，并且可能导致车辆部件被替换而没有解决潜在的原因。通常，***故障可以被跟踪到部件级故障或缺陷。然而，未解决的车辆***故障往往增加保修成本，并且还可能负面地影响客户满意度。
在部件或***验证测试期间，或者在车辆投入一般使用之后的现场，可能发现部件故障。通常，分析部件故障以识别根本原因和适当的补救动作。可能希望确定先前是否遇到了特定部件故障、是否已经确定了故障的根本原因、以及是否已经识别了补救动作。部件和相应部件故障的图像可以帮助这样的分析。
发明内容
识别和检索用于部件故障分析的部件数字图像的方法包括：生成先前的事先分析的部件的已知故障的数字图像的已知故障数据库和对应的补救动作。该方法还包括：用新部件的当前故障的数字图像访问已知故障数据库。该方法还包括：基于所计算的目标特性将当前故障的数字图像与已知故障数据库中的数字图像进行比较。该方法还包括：基于相对于当前故障的数字图像的已知故障数据库中的每个相应数字图像的计算目标特性的幅值，按顺序对已知故障数据库中的数字图像进行分类。该方法还包括：输出所分类的数字图像以促进当前故障与特定已知故障的关联，并识别相应的补救动作。
该方法可以特别地用于分析车辆动力传动系部件（例如发动机和变速器的部件）的故障，并且确定适当的补救动作。
生成已知故障数据库的动作可以包括：捕获描述先前部件的相应已知故障的数字图像。生成已知故障数据库还可以包括：选择关注于相应已知故障的每个数字图像的部分。生成已知故障数据库还可以包括：将关注于相应已知故障的每个数字图像的选定部分转换成相应已知故障数学模型，并将所得到的已知故障数学模型存储在可电子访问的文件中。
根据该方法，将每个数字图像的选定部分转换成已知故障数学模型可以包括：经由训练过的深度学习神经网络将每个数字图像的选定部分转换成已知故障矢量。
将每个数字图像的选定部分转换成已知故障矢量还可以包括：选择训练过的深度学习神经网络的与每个数字图像的选定部分相对应的输出层。
用当前故障的数字图像访问已知故障数据库的动作可以包括：用关注于当前故障的新部件的图像的部分访问已知故障数据库。
用当前故障的数字图像访问已知故障数据库的动作还可以包括：将关注于当前故障的新部件的图像的部分馈送到训练过的深度学习神经网络中，并且将关注于当前故障的新部件的图像的部分转换成当前故障数学模型。
将关注于当前故障的新部件的图像的部分转换为当前故障数学模型的动作可以包括：经由训练过的深度学习神经网络将当前故障的数字图像转换为相应的当前故障矢量。
所计算的目标特性可以是相应当前故障矢量与对应的已知故障矢量之间的余弦距离。在这样的实施例中，为每个相应的当前故障矢量和对应的已知故障矢量确定一个余弦距离。
对已知故障数据库中的数字图像进行分类的动作可以包括：针对每个已知故障数学模型对当前故障矢量与对应的已知故障矢量之间的余弦距离从最小到最大进行排列。
输出数字图像的动作可以包括：识别已知故障数据库中与相应分类的已知故障数学模型相对应的数字图像。输出所分类的数字图像的动作还可以包括：输出来自已知故障数据库的数字图像的文件，其按照从与新部件的数字图像最相似的图像到与新部件的数字图像最不相似的图像的顺序排列。
还公开了一种存储可执行算法的计算机可读介质，该可执行算法被配置成在由处理器执行时执行先前分析的部件数字图像的上述识别和检索，用于分析新的部件故障。
本申请还可包括下列方案。
1. 一种用于识别和检索用于部件故障分析的部件数字图像的方法，所述方法包括：
生成先前部件的已知故障的数字图像的已知故障数据库和对应的补救动作；
用新部件的当前故障的数字图像访问已知故障数据库；
基于所计算的目标特性，将当前故障的数字图像与已知故障数据库中的数字图像进行比较；
基于相对于所述当前故障的数字图像的所述已知故障数据库中的每个相应数字图像的所计算的目标特性的幅值，按顺序对所述已知故障数据库中的所述数字图像进行分类；以及
输出所分类的数字图像以促进当前故障与特定已知故障的关联并识别相应的补救动作。
2. 根据方案1所述的方法，其中，生成所述已知故障数据库包括：
捕获描述所述先前部件的相应已知故障的数字图像；
选择关注于相应已知故障的每个数字图像的部分；以及
将关注于相应已知故障的每个数字图像的选定部分转换成相应已知故障数学模型，并将所得到的已知故障数学模型存储在可电子访问的文件中。
3. 根据方案2所述的方法，其中，将每个数字图像的所述选定部分转换成所述已知故障数学模型包括：经由训练过的深度学习神经网络将每个数字图像的所述选定部分转换成已知故障矢量。
4. 根据方案3所述的方法，其中，将每个数字图像的选定部分转换成已知故障矢量还包括：选择所述训练过的深度学习神经网络的与所述相应数字图像的选定部分相对应的输出层。
5. 根据方案3所述的方法，其中，利用所述当前故障的所述数字图像访问所述已知故障数据库包括：利用关注于所述当前故障的所述新部件的所述图像的部分来访问所述已知故障数据库。
6. 根据方案5所述的方法，其中，利用所述当前故障的所述数字图像访问所述已知故障数据库还包括：将关注于所述当前故障的所述新部件的所述图像的所述部分馈送到所述训练过的深度学习神经网络中，并且将关注于所述当前故障的所述新部件的所述图像的所述部分转换成当前故障数学模型。
7. 根据方案6所述的方法，其中，将关注于所述当前故障的所述新部件的所述图像的所述部分转换为所述当前故障数学模型包括：经由所述训练过的深度学习神经网络将所述当前故障的所述数字图像转换为相应的当前故障矢量。
8. 根据方案7所述的方法，其中，所计算的目标特性是相应当前故障矢量与对应的已知故障矢量之间的余弦距离，并且其中，针对每个相应当前故障矢量和对应的已知故障矢量确定一个余弦距离。
9. 根据方案8所述的方法，其中，对所述已知故障数据库中的所述数字图像进行分类包括：针对每个已知故障数学模型对所述当前故障矢量与所述对应的已知故障矢量之间的余弦距离从最小到最大进行排列。
10. 根据方案9所述的方法，其中，输出所分类的数字图像包括：
识别所述已知故障数据库中与相应的所分类的已知故障数学模型相对应的数字图像；以及
从所述已知故障数据库输出数字图像的文件，其按照从与所述新部件的数字图像最相似的图像到与所述新部件的数字图像最不相似的图像的顺序排列。
11. 一种存储可执行算法的计算机可读介质，所述可执行算法被配置为在由处理器执行时执行用于部件故障分析的部件数字图像的识别和检索，所述可执行算法包括：
生成先前部件的已知故障的数字图像的已知故障数据库以及相应的补救动作；
用新部件的当前故障的数字图像访问所述已知故障数据库；
基于所计算的目标特性，将当前故障的数字图像与已知故障数据库中的数字图像进行比较；
基于相对于所述当前故障的数字图像的所述已知故障数据库中的每个相应数字图像的所计算的目标特性的幅值，对所述已知故障数据库中的数字图像进行分类；以及
输出所分类的数字图像以促进当前故障与特定已知故障的关联并识别相应的补救动作。
12. 根据方案11所述的计算机可读介质，其中，生成所述已知故障数据库包括：
捕获描述所述先前部件的相应已知故障的数字图像；
选择关注于相应已知故障的每个数字图像的部分；以及
将关注于相应已知故障的每个数字图像的选定部分转换成相应已知故障数学模型，并将所得到的已知故障数学模型存储在可电子访问的文件中。
13. 根据方案12所述的计算机可读介质，其中，将每个数字图像的所述选定部分转换成所述已知故障数学模型包括：经由训练过的深度学习神经网络将每个数字图像的所述选定部分转换成已知故障矢量。
14. 根据方案13所述的计算机可读介质，其中，将每个数字图像的选定部分转换为已知故障矢量还包括：选择所述训练过的深度学习神经网络的与所述相应数字图像的选定部分相对应的输出层。
15. 根据方案13所述的计算机可读介质，其中，利用所述当前故障的所述数字图像访问所述已知故障数据库包括：利用关注于所述当前故障的所述新部件的所述图像的部分来访问所述已知故障数据库。
16. 根据方案15所述的计算机可读介质，其中，利用所述当前故障的所述数字图像访问所述已知故障数据库还包括：将关注于所述当前故障的所述新部件的所述图像的所述部分馈送到所述训练过的深度学习神经网络中，并且将关注于所述当前故障的所述新部件的所述图像的所述部分转换成当前故障数学模型。
17. 根据方案16所述的计算机可读介质，其中，将关注于所述当前故障的所述新部件的所述图像的所述部分转换为所述当前故障数学模型包括：经由所述训练过的深度学习神经网络将所述当前故障的所述数字图像转换为相应的当前故障矢量。
18. 根据方案17所述的计算机可读介质，其中，所计算的目标特性是相应当前故障矢量与对应的已知故障矢量之间的余弦距离，并且其中，针对每个相应当前故障矢量和对应的已知故障矢量确定一个余弦距离。
19. 根据方案18所述的计算机可读介质，其中，对所述已知故障数据库中的所述数字图像进行分类包括：针对每个已知故障数学模型对所述当前故障矢量与所述对应的已知故障矢量之间的余弦距离从最小到最大进行排列。
20. 根据方案19所述的计算机可读介质，其中，输出所分类的数字图像包括：
识别所述已知故障数据库中与所述相应的所分类的已知故障数学模型相对应的数字图像；以及
输出来自所述已知故障数据库的数字图像的文件，其按照从与所述新部件的数字图像最相似的图像到与所述新部件的数字图像最不相似的图像的顺序排列。
本公开的上述特征和优点以及其它特征和优点从结合附图和所附权利要求进行的用于执行所描述的公开内容的实施例和最佳模式的以下详细描述将是显而易见的。
附图说明
图1是根据本公开的用于通过计算机算法进行部件故障分析以便于将当前故障与已知故障相关联以及识别相应的补救动作的部件数字图像的识别和检索的示意图。
图2是根据本公开的内燃机的示意性透视特写局部视图，其示出了经受故障分析的部件的活塞实施例。
图3是根据本公开的由算法执行的方法的实施例的图形表示，以生成包括图1和图2中所示的先前分析的部件的故障的数字图像的已知故障数据库，利用新部件故障的图像访问数据库，将新部件故障的图像与数据库中的图像进行比较，基于数据库图像与新部件故障图像的相似性对数据库故障图像进行分类，并且输出分类后的数字图像。
图4是根据本公开的由算法执行的方法的实施例的图形表示，以将部件故障图像划分为相应滑动窗口中的区段。
图5是根据本公开的由算法执行以检测故障图像关键点的方法的实施例的图形表示。
图6是根据本公开的由使用用于识别故障图像的训练过的深度学习卷积神经网络的算法执行的方法的实施例的图形表示。
图7是根据本公开的用于图1-6中所示的部件故障分析的部件数字图像的识别和检索方法的流程图。
具体实施方式
参考附图，其中相同的附图标记表示相同的部件，图1示出了将在下文详细描述的识别和检索方法中用作代表性目标的部件10的示意图。如图所示，部件10可以是机动车辆(未示出)中的***的一部分，例如车辆动力系。尽管在示例性实施例(图2中所示)中，部件10被描绘为内燃机12的活塞，但是目标部件可以是用于机动车辆中其它地方或用于非车辆***中的不同部件。为了简明起见，本公开，特别是在附图中，将主要集中在部件10的发动机活塞实施例。
通常，内燃机12的测试和开发可能发现各种发动机部件的各种故障，即，不期望的或不兼容的材料、结构或功能特性，所述发动机部件包括部件10和与其交接的其它部件。这种故障可能由部件10、发动机12或其它发动机子***的特定特性或不适当的运行引起，并且可能导致目标部件和/或发动机的不令人满意的性能。因此，在目标部件、发动机12和通常的车辆动力系的进一步开发期间，可以参考这样学习的(即已知的)部件故障14的测试结果和记录。图4具体地示出了作为活塞裙16上的磨损的部件故障14。
如图1所示，可以生成已知故障数据库18，用于存储这种学***台24上生成并由其支持。通常，IT云平台是供应商管理的硬件和软件套件。IT范例使得能够对可配置***资源和更高级服务的共享池进行通用访问，这些服务通常在因特网上以最小的管理工作量被快速提供。此外，云计算依赖于资源的共享以实现规模的一致性和经济性，类似于公共设施。IT云平台24还可以用于与中央计算机22通信，以协调和管理已知故障数据库18的操作。
中央计算机22包括有形且非瞬时的存储器。存储器可以是参与提供计算机可读数据或处理指令的可记录介质。这种介质可以采取许多形式，包括但不限于非易失性介质和易失性介质。中央计算机22使用的非易失性介质可以包括例如光盘或磁盘和其它永久存储器。易失性介质可以包括例如动态随机存取存储器(DRAM)，其可以构成主存储器。这些指令可以由一个或多个传输介质传输，包括同轴电缆、铜线和光纤，包括包含耦合到中央计算机22的电子处理器22A的***总线的线缆。中央计算机22的存储器还可以包括软盘、硬盘、磁带、其它磁介质、CD-ROM、DVD、其它光介质等。中央计算机22可以配备有高速主时钟、必需的模数(A/D)和/或数模(D/A)电路、输入/输出电路和设备(I/O)，以及适当的信号调节和/或缓冲电路。中央计算机22所需的或由此可访问的算法可以存储在存储器中并且自动执行以提供所需的功能。
已知故障数据库18可以经由单个个人计算机(PC)26或经由多个类似的链接计算机来访问，如图1所示，中央计算机22或IT云平台24被配置为采用或访问存储可执行算法32的分立计算机可读介质(CRM)30。因此，算法32可以被编程到中央计算机22的电子处理器22A中或嵌入到分立的可访问的计算机可读介质30中。可执行算法32包括从指示已知故障14的测试数据生成已知故障数据库18并将该已知故障数据库存储在计算机可读介质30中。
算法32还被配置为在由诸如电子处理器22A的处理器执行时，与新的部件34(诸如类似于部件10的发动机活塞)相比来执行对已知故障数据库18的分析，该新的部件呈现更新近被发现的、新的或当前的故障36，如将在下面详细描述的。生成已知故障数据库18可以包括：捕获先前分析的部件（包括部件10）的数字图像20，描绘相应的已知故障14。生成已知故障数据库18还可以包括：选择关注于相应的已知故障14上的每个数字图像20的部分20A。部分20A可以通过将图像20划分成相应滑动窗口中的区段来隔离，每个区段由被配置为实现相应的已知故障14的必要分辨率的单独的划分比例来定义，如图3中总体地示出的。此外，生成已知故障数据库18可以包括：将关注于相应的已知故障14上的每个数字图像20的选定的部分20A转换为相应的已知故障数学模型38，并且将得到的数学模型存储在经由计算机22或IT云平台24可访问的电子文件中。
可执行算法32包括用描绘新部件34的当前故障36的数字图像40来访问已知故障数据库18。用当前故障36的数字图像40访问已知故障数据库18可包括：用关注于当前故障36的新部件34的图像40的部分40A访问已知故障数据库18。类似于已知故障图像20，部分40A可通过将图像40划分成相应滑动窗口中的区段来隔离，每个区段由单独的划分比例定义以便实现当前故障36的必要分辨率(在图3中总体地示出)。可执行算法32还被配置成根据当前故障36对已知故障14的数据进行分析。具体地，可执行算法32还包括：基于计算的目标特性42将当前故障36的数字图像与已知故障数据库18中的数字图像20进行比较，这将在下面讨论。可执行算法32还包括：从已知故障数据库18中选择数字图像20。可执行算法32还包括：基于相对于当前故障36的数字图像40的每个相应已知故障数字图像20的目标特性42的计算幅值，按顺序对已知故障数据库18中的数字图像20进行分类。
可执行算法32还包括：输出分类的数字已知故障图像20，以便于将当前故障36与特定已知故障14关联或匹配，并识别相应的补救动作。可执行算法32可以包括：检测关注于相应已知故障14上的每个数字图像20的选定部分20A上的已知故障关键点44，然后通过检测到的已知故障关键点44表示每个数字图像的选定部分20A(图4中所示)。关键点44可以是例如数字图像20的选定部分20A的拐角，从而识别感兴趣的目标部分的轮廓。“ORB”过滤技术可以由可执行算法32使用以检测关键点44并识别它们在数字图像中的位置，诸如通常用于计算机视觉中的目标检测和跟踪。可执行算法32可使用特定数量的关键点44作为选定部分20A中的滑动焦点窗口的有意义的指示。例如，可执行算法32可以使用最小阈值数量的五个关键点44以在选定部分20A的每个滑动窗口中进行检测。在这样的实施例中，具有少于五个检测到的关键点44的窗口将被过滤掉。
可执行算法32还包括使用训练过的深度学***台24中。具体而言，将每个数字图像20的选定部分20A转换成已知故障矢量46可包括：选择训练过的深度学习神经网络48的与相应数字图像的选定部分相对应的输出层48A。
用当前故障36的数字图像40访问已知故障数据库18可以包括：将关注于新部件34的当前故障36的部分40A馈送到训练过的深度学习神经网络48中。由神经网络48对已知故障数据库18中的已知故障图像20的识别可以包括：选择已知故障图像20的部分20A的划分比例以对应于为当前故障数字图像40的部分40A选择的划分比例。此外，用数字图像40访问已知故障数据库18可以包括：将部分40A转换成当前故障数学模型50。将当前故障36的数字图像40转换成当前故障数学模型50可以包括：经由神经网络48将数字图像40转换成相应的当前故障矢量54。与关键点44类似，关键点52可以是数字图像40的选定部分40A的拐角，从而识别感兴趣的目标部分的轮廓(如图4所示)。上述“ORB”过滤技术也可用作用于检测关键点52的可执行算法32的部分。所计算的目标特性42具体地可以是当前故障数学模型50的相应当前故障矢量54和特定已知故障数学模型38的相应已知故障矢量46之间的余弦距离56(图5中所示)。通常，余弦距离是通过计算二维或三维空间中非零矢量之间的角度的余弦而表示的度量。可执行算法32可以为每对计算矢量(相应的当前故障矢量54和对应的已知故障矢量46)确定一个余弦距离。
根据上述内容，可以基于每个已知故障图像20中的目标特性42与新部件数字图像40的相似性来对已知故障数据库18中的数字图像20进行分类。具体地，对已知故障数字图像20进行分类可以包括：针对每个已知故障数学模型38，从最小到最大，即最相似到最不相似，对当前故障矢量54与相应的已知故障矢量46之间的余弦距离56进行排列。另外，经由神经网络48输出分类的数字图像20可以是两步处理。
输出分类的数字图像20的第一步骤可以包括：识别与相应分类的已知故障数学模型38相对应的已知故障数字图像20。第二步骤可以包括：从已知故障数据库18输出数字图像20的文件58(图5所示)，列出按照从与新部件40的数字图像最相似的图像到与新部件的数字图像最不相似的图像的顺序排列的目标数字图像。因此，如此被识别和分类的已知故障数字图像20可以根据请求经由中央计算机22或IT云平台24被传送到PC 26(图3中示出)，以便于将当前故障36与特定已知故障14匹配并识别相应的补救动作。
图7示出了如上文关于图1-6所述的用于部件故障14分析的部件数字图像20的识别和检索的方法100。如上所述，方法100旨在实现在算法32中，并且采用机器学习以促进当前故障36与特定部件10的特定已知故障14的匹配以及相应补救动作的识别。
方法100在框102中这样开始：生成已知故障数据库18，包括先前分析的部件10的已知故障14的数字图像20和相应的补救动作。如上文关于图1-6所述，生成已知故障数据库18可以包括：捕获这种先前部件10的已知故障数字图像20。生成已知故障数据库18还可以包括：选择每个数字图像20的关注于相应已知故障的部分20A，将每个数字图像的选定部分20A转换成相应已知故障数学模型38，以及经由计算机22或IT云平台24将所得数学模型存储在可电子访问的文件中。
如上所述，在生成已知故障数据库18时，该方法可以包括：经由检测到的已知故障关键点44表示每个数字图像20的选定部分20A。将每个数字图像20的选定部分20A转换为已知故障数学模型38可以经由训练过的深度学习神经网络48来完成。此外，将每个数字图像20的选定部分20A转换为已知故障数学模型38还可以包括：选择与相应数字图像20的选定部分20A相对应的训练过的深度学习神经网络48的输出层48A。在框102之后，该方法前进到框104。
在框104中，该方法包括：利用新分析的部件34的当前故障36的数字图像40访问已知故障数据库18。如上参照图1-6所述，利用数字图像40访问已知故障数据库18可以包括：利用新部件图像40的部分40A访问目标数据库。利用数字图像40访问数据库18还可以包括：将新部件部分40A送到神经网络48中并将目标图像转换成当前故障数学模型50。在框104之后，该方法前进到框106。
在框106中，该方法包括：基于所计算的目标特性42将当前故障数字图像40与已知故障数据库18中的数字图像20进行比较。根据该方法，所计算的目标特性42可以是通过将当前故障数学模型50与已知故障数学模型38进行比较而确定的单独余弦距离56。如上文关于图1-6所述，计算当前故障数学模型50的相应当前故障矢量54与相应已知故障数学模型38的相应已知故障矢量46之间的每个余弦距离56。在框106之后，该方法前进到框108。
在框108中，该方法包括：从已知故障数据库18中选择数字图像20，并基于特定标准按顺序对目标已知故障图像进行分类。根据该方法，可以基于相对于当前故障数字图像40的已知故障数据库18中的每个相应数字图像20的计算目标特性42幅值来实现已知故障图像20的分类。根据该方法，对已知故障数据库18中的数字图像进行分类可以包括：针对每个已知故障数学模型38，从最小到最大对当前故障矢量54和对应的已知故障矢量46之间的所确定的余弦距离56进行排列。在框108之后，该方法前进到框110。
在框110中，该方法包括：输出所分类的数字图像20以便于将当前故障36与特定的已知故障14关联，并识别相应的补救动作。如上文关于图1-6所述，输出所分类的数字图像可以包括：识别已知故障数据库18中与相应分类的已知故障数学模型38对应的数字图像20，以及输出来自已知故障数据库18的数字图像20的文件58，其按照从与新部件40的数字图像最相似的图像至与所述图像最不相似的图像的顺序排列。因此，该方法可配置成传输用于部件故障14分析的部件数字图像20的识别和检索的结果。在框110之后，该方法可以返回到框104以便利用当前故障36或者另一新分析部件的图像的另一数字图像来访问已知故障数据库18，或者在框112中完成。
详细描述和附图或图片支持和描述本公开，但是本公开的范围仅由权利要求限定。虽然已经详细描述了用于执行所要求保护的本公开的一些最佳模式和其他实施例，但是存在用于实践在所附权利要求中限定的本公开的各种替代设计和实施例。此外，附图中所示的实施例或本说明书中提及的各种实施例的特性不一定被理解为彼此独立的实施例。相反，在实施例的示例之一中描述的每个特征可以与来自其它实施例的一个或多个其它期望特征组合，从而得到没有以文字或通过参考附图描述的其它实施例。因此，这些其它实施例落入所附权利要求的范围的框架内。

Claims (10)

1.一种用于识别和检索用于部件故障分析的部件数字图像的方法，所述方法包括：
生成先前部件的已知故障的数字图像的已知故障数据库和对应的补救动作；
用新部件的当前故障的数字图像访问已知故障数据库；
基于所计算的目标特性，将当前故障的数字图像与已知故障数据库中的数字图像进行比较；
基于相对于所述当前故障的数字图像的所述已知故障数据库中的每个相应数字图像的所计算的目标特性的幅值，按顺序对所述已知故障数据库中的所述数字图像进行分类；以及
输出所分类的数字图像以促进当前故障与特定已知故障的关联，并识别相应的补救动作。
2.根据权利要求1所述的方法，其中，生成所述已知故障数据库包括：
捕获描述所述先前部件的相应已知故障的数字图像；
选择关注于相应已知故障的每个数字图像的部分；以及
将关注于相应已知故障的每个数字图像的选定部分转换成相应已知故障数学模型，并将所得到的已知故障数学模型存储在可电子访问的文件中。
3.根据权利要求2所述的方法，其中，将每个数字图像的所述选定部分转换成所述已知故障数学模型包括：经由训练过的深度学习神经网络将每个数字图像的所述选定部分转换成已知故障矢量。
4.根据权利要求3所述的方法，其中，将每个数字图像的选定部分转换成已知故障矢量还包括：选择所述训练过的深度学习神经网络的与所述相应数字图像的选定部分相对应的输出层。
5.根据权利要求3所述的方法，其中，利用所述当前故障的所述数字图像访问所述已知故障数据库包括：利用关注于所述当前故障的所述新部件的所述图像的部分来访问所述已知故障数据库。
6.根据权利要求5所述的方法，其中，利用所述当前故障的所述数字图像访问所述已知故障数据库还包括：将关注于所述当前故障的所述新部件的所述图像的所述部分馈送到所述训练过的深度学习神经网络中，并且将关注于所述当前故障的所述新部件的所述图像的所述部分转换成当前故障数学模型。
7.根据权利要求6所述的方法，其中，将关注于所述当前故障的所述新部件的所述图像的所述部分转换为所述当前故障数学模型包括：经由所述训练过的深度学习神经网络将所述当前故障的所述数字图像转换为相应的当前故障矢量。
8.根据权利要求7所述的方法，其中，所计算的目标特性是相应当前故障矢量与对应的已知故障矢量之间的余弦距离，并且其中，针对每个相应当前故障矢量和对应的已知故障矢量确定一个余弦距离。
9.根据权利要求8所述的方法，其中，对所述已知故障数据库中的所述数字图像进行分类包括：针对每个已知故障数学模型对所述当前故障矢量与所述对应的已知故障矢量之间的余弦距离从最小到最大进行排列。
10.根据权利要求9所述的方法，其中，输出所分类的数字图像包括：
识别所述已知故障数据库中与相应的所分类的已知故障数学模型相对应的数字图像；以及
从所述已知故障数据库输出数字图像的文件，其按照从与所述新部件的数字图像最相似的图像到与所述新部件的数字图像最不相似的图像的顺序排列。
CN202110119106.3A 2020-01-28 2021-01-28 用于部件故障分析的图像识别和检索 Pending CN113254693A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/774,752 US11354796B2 (en) 2020-01-28 2020-01-28 Image identification and retrieval for component fault analysis
US16/774752 2020-01-28

Publications (1)

Publication Number Publication Date
CN113254693A true CN113254693A (zh) 2021-08-13

Family

ID=76753690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110119106.3A Pending CN113254693A (zh) 2020-01-28 2021-01-28 用于部件故障分析的图像识别和检索

Country Status (3)

Country Link
US (1) US11354796B2 (zh)
CN (1) CN113254693A (zh)
DE (1) DE102020132600A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918679A (zh) * 2021-09-22 2022-01-11 三一汽车制造有限公司 一种知识问答方法、装置及工程机械

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117609529A (zh) * 2023-10-20 2024-02-27 粤港澳大湾区(广东)国创中心 电子元器件的替代检索方法及其***
CN117422935B (zh) * 2023-12-13 2024-03-08 深圳市鑫思诚科技有限公司 摩托车故障非接触式诊断方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130114878A1 (en) * 2011-11-03 2013-05-09 Pratt & Whitney System and Method for Automated Defect Detection Utilizing Prior Data
US20130287251A1 (en) * 2012-02-01 2013-10-31 Honda Elesys Co., Ltd. Image recognition device, image recognition method, and image recognition program
CN105141889A (zh) * 2015-07-28 2015-12-09 国家电网公司 一种基于图像视觉输电线路智能巡检***
US20160314571A1 (en) * 2015-04-21 2016-10-27 United Technologies Corporation Method and System for Automated Inspection Utilizing A Multi-Modal Database
US20170193337A1 (en) * 2015-12-31 2017-07-06 Dropbox, Inc. Generating and utilizing normalized scores for classifying digital objects
US20190228514A1 (en) * 2018-01-19 2019-07-25 United Technologies Corporation Interactive semi-automated borescope video analysis and damage assessment system and method of use
CN110321933A (zh) * 2019-06-11 2019-10-11 武汉闻道复兴智能科技有限责任公司 一种基于深度学习的故障识别方法和装置
CN110503124A (zh) * 2018-05-18 2019-11-26 奥多比公司 利用基于深度神经网络模型基于用户选择的视觉属性来标识视觉相似数字图像

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050286753A1 (en) 2004-06-25 2005-12-29 Triant Technologies Inc. Automated inspection systems and methods
CA2510556C (en) * 2004-07-01 2013-02-19 Cae Inc. Method and system for simulation-based troubleshooting and fault verification in operator-controlled complex systems
US8068951B2 (en) * 2005-06-24 2011-11-29 Chen Ieon C Vehicle diagnostic system
US10380072B2 (en) * 2014-03-17 2019-08-13 Commvault Systems, Inc. Managing deletions from a deduplication database
DE102014214851A1 (de) 2014-07-29 2016-02-04 picalike GmbH Computerimplementiertes Verfahren und Computersystem zur Durchführung einer Ähnlichkeitsanalyse
US20160069778A1 (en) * 2014-09-10 2016-03-10 Caterpillar Inc. System and method for predicting associated failure of machine components
US20160292518A1 (en) * 2015-03-30 2016-10-06 D-Vision C.V.S Ltd Method and apparatus for monitoring changes in road surface condition
DE102016124522A1 (de) * 2016-12-15 2018-06-21 Thyssenkrupp Ag Verfahren zur Inspektion eines Stahlbands
US10620618B2 (en) * 2016-12-20 2020-04-14 Palantir Technologies Inc. Systems and methods for determining relationships between defects
DE102018127518A1 (de) 2018-11-05 2020-05-07 Advanced Realtime Tracking Gmbh Vorrichtung und Verfahren zur Bearbeitung mindestens eines Arbeitsbereiches mit einem Bearbeitungswerkzeug
US10997015B2 (en) * 2019-02-28 2021-05-04 International Business Machines Corporation Self-learning disaster-avoidance and recovery

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130114878A1 (en) * 2011-11-03 2013-05-09 Pratt & Whitney System and Method for Automated Defect Detection Utilizing Prior Data
US20130287251A1 (en) * 2012-02-01 2013-10-31 Honda Elesys Co., Ltd. Image recognition device, image recognition method, and image recognition program
US20160314571A1 (en) * 2015-04-21 2016-10-27 United Technologies Corporation Method and System for Automated Inspection Utilizing A Multi-Modal Database
CN105141889A (zh) * 2015-07-28 2015-12-09 国家电网公司 一种基于图像视觉输电线路智能巡检***
US20170193337A1 (en) * 2015-12-31 2017-07-06 Dropbox, Inc. Generating and utilizing normalized scores for classifying digital objects
US20190228514A1 (en) * 2018-01-19 2019-07-25 United Technologies Corporation Interactive semi-automated borescope video analysis and damage assessment system and method of use
CN110503124A (zh) * 2018-05-18 2019-11-26 奥多比公司 利用基于深度神经网络模型基于用户选择的视觉属性来标识视觉相似数字图像
CN110321933A (zh) * 2019-06-11 2019-10-11 武汉闻道复兴智能科技有限责任公司 一种基于深度学习的故障识别方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918679A (zh) * 2021-09-22 2022-01-11 三一汽车制造有限公司 一种知识问答方法、装置及工程机械

Also Published As

Publication number Publication date
DE102020132600A1 (de) 2021-07-29
US11354796B2 (en) 2022-06-07
US20210233221A1 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
CN113254693A (zh) 用于部件故障分析的图像识别和检索
JP7048499B2 (ja) データセットの半自動ラベル付け
EP3907618A1 (en) Explainable artificial intelligence modeling and simulation system and method
TWI748122B (zh) 用於對多個項進行分類的系統、方法和電腦程式產品
US20190354860A1 (en) Device for Classifying Data
CN110852983A (zh) 用于检测半导体装置中的缺陷的方法
US9964607B1 (en) Recognizing and identifying defect patterns on magnetic media
CN111860565A (zh) 用于训练用于测量技术中的质量检查的分类器的工作流程
CN110221979A (zh) 应用程序的性能测试方法、装置、设备及存储介质
US11868388B2 (en) Automatic annotation for vehicle damage
US20200104940A1 (en) Artificial intelligence enabled assessment of damage to automobiles
US11392804B2 (en) Device and method for generating label objects for the surroundings of a vehicle
Binder et al. Shortcomings of top-down randomization-based sanity checks for evaluations of deep neural network explanations
JP2007531136A (ja) 画像を有するデータベースからビジュアルオブジェクトカテゴリを抽出する方法及び装置
CN115552462A (zh) 显微镜中的图像分析方法
KR20200124887A (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
US20220076383A1 (en) Method for de-noising an electron microscope image
CN114037941A (zh) 针对视频目标属性进行算法多数据交叉验证补全的方法和装置
CN115471725A (zh) 用于异常检测的图像处理方法及设备和神经网络构建方法
KR20210031444A (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
JP2023515476A (ja) 知覚システムのための訓練データ候補の自動特定
US20200167908A1 (en) Determination device and determining method thereof
JP4342299B2 (ja) 共通パターン抽出プログラムおよび共通パターン抽出方法
Hulkund et al. Interpretable Distribution Shift Detection using Optimal Transport
US20240193758A1 (en) Apparatus and method with image generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination