CN118170089A - 用于监测车辆制造过程的*** - Google Patents
用于监测车辆制造过程的*** Download PDFInfo
- Publication number
- CN118170089A CN118170089A CN202311578863.2A CN202311578863A CN118170089A CN 118170089 A CN118170089 A CN 118170089A CN 202311578863 A CN202311578863 A CN 202311578863A CN 118170089 A CN118170089 A CN 118170089A
- Authority
- CN
- China
- Prior art keywords
- station
- quality
- task
- portable vision
- quality inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 109
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 92
- 238000007689 inspection Methods 0.000 claims abstract description 113
- 230000007547 defect Effects 0.000 claims description 44
- 238000001514 detection method Methods 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 11
- 230000002950 deficient Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 6
- 238000012552 review Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/888—Marking defects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- General Factory Administration (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本公开提供“用于监测车辆制造过程的***”。一种***包括站信息***、便携式视觉***和质量监测***。站信息***包括站计算装置，站计算装置被配置为提供与对部件执行的制造操作相关的通知。便携式视觉***包括质量检查模块，质量检查模块被配置为包括站任务模块，站任务模块被配置为基于图像来执行质量检查任务。质量监测***包括质量监测计算装置，质量监测计算装置被配置为基于来自站信息***的触发消息而请求便携式视觉***执行质量检查任务并且向站信息***提供与由便携式视觉***执行的质量检查任务相关的任务数据消息。站计算装置被配置为基于来自质量监测***的任务数据消息经由用户接口装置提供所述通知。
Description
技术领域
本公开涉及使用视觉***来监测车辆的制造过程。
背景技术
本部分中的陈述仅提供与本公开相关的背景信息，并且可能不构成现有技术。
车辆制造过程通常采用质量检查来确定可能的缺陷，或者换句话说，被组装为车辆的一部分的部件中的瑕疵。有时，操作员手动地执行此类质量检查，并且因此可能非常主观并且容易出现人为错误。替代地或除了手动检验之外，可采用机器视觉检验，但这可能需要耗时的机器学习训练并且可能难以在常规***中实施。本公开解决与监测车辆制造过程的质量相关的这些和其他问题。
发明内容
本部分提供了对本公开的总体概述并且不是对其全部范围或其所有特征的全面公开。
在一种形式中，本公开涉及一种用于监测部件的车辆制造过程的***。所述***包括站信息***、便携式视觉***、质量监测***。所述站信息***设置在制造站处并且包括用户接口装置和站计算装置，其中所述站计算装置被配置为使用所述用户接口装置来提供与在所述制造站处对所述部件执行的制造操作相关的通知。所述便携式视觉***包括：成像装置，所述成像装置可操作以捕获图像；以及质量检查模块，所述质量检查模块被配置为包括站任务模块，所述站任务模块被配置为基于所述图像执行质量检查任务。所述便携式视觉***设置在所述制造站处。所述质量监测***可通信地耦合到所述站信息***和所述便携式视觉***。所述质量监测***包括质量监测计算装置，所述质量监测计算装置被配置为基于来自所述站信息***的触发消息而请求所述便携式视觉***执行所述质量检查任务并且向所述站信息***提供与由所述便携式视觉***执行的所述质量检查任务相关的任务数据消息。所述站计算装置被配置为基于来自所述质量监测***的所述任务数据消息经由所述用户接口装置提供所述通知。
以下内容包括以上段落的用于监测部件的车辆制造过程的***的变型，所述变型可单独地或以任何组合实施。
在一些变型中，所述站计算装置被配置为：获得关于要在所述制造站处处理的部件的部件信息，以及将所述触发消息传输到所述质量监测***以请求所述便携式视觉***执行所述质量检查任务，其中所述触发消息包括指示所述部件信息的数据。
在一些变型中，所述质量检查模块被配置为进行以下项作为所述质量检查任务：基于来自所述质量监测***的所述请求而获得所述制造站处的所述部件的所述图像；识别捕获的图像中的字符；以及确定在所述图像中识别的所述字符是否对应于指示所述部件信息的数据以确定所述制造站处的所述部件是否是要处理的正确部件，其中所述任务数据消息包括指示所述图像中的所述字符与所述部件信息是否匹配的数据。
在一些变型中，所述质量检查模块被配置为基于捕获的图像和缺陷检测模型来确定所述部件是否有缺陷作为所述质量检查任务，其中所述缺陷检测模型是采用来自所述成像装置的一组标称图像和一组异常图像进行训练的模型。
在一些变型中，响应于所述缺陷检测模型检测到所述缺陷并且基于所述任务数据消息，所述站计算装置被配置为经由所述用户接口装置提供所述通知以向用户通知所述缺陷、请求所述质量监测计算装置打开质量检查工单以进一步审查所述缺陷、或它们的组合。
在一些变型中，所述质量检查模块和所述质量监测计算装置被配置为采用公共数据协议来交换数据。
在一些变型中，所述便携式视觉***和所述质量监测计算装置被配置为使用MQTT协议进行通信。
在一些变型中，所述车辆制造过程包括多个所述制造站。每个制造站包括可通信地耦合到所述质量监测计算装置的所述站信息***，并且所述多个所述制造站中的至少一者包括所述便携式视觉***。
在一些变型中，所述***还包括在所述制造操作时提供的多个所述便携式视觉***。
在一些变型中，所述质量监测计算装置被配置为基于来自用户的输入而登记所述便携式视觉***并执行所述便携式视觉***的软件配置。
在一些变型中，为了登记所述便携式视觉***，所述质量监测计算装置被配置为存储所述便携式视觉***独有的视觉***标识、识别所述便携式视觉***所在的所述制造站的站标识以及关于要由所述便携式视觉***执行的所述质量检查任务的数据。为了执行所述软件配置，所述质量监测计算装置被配置为传输与要由所述便携式视觉***执行的所述质量检查任务相关联的软件应用。
在一种形式中，本公开涉及一种用于监测部件的车辆制造过程的***。所述***包括站信息***、便携式视觉***和质量监测***。所述站信息***设置在制造站处并且包括用户接口装置和站计算装置，其中所述站计算装置被配置为使用所述用户接口装置来提供与在所述制造站处对所述部件执行的制造操作相关的通知。所述便携式视觉***包括：成像装置，所述成像装置可操作以捕获图像；以及质量检查模块，所述质量检查模块被配置为包括站任务模块，所述站任务模块被配置为基于所述图像执行质量检查任务，并且其中所述便携式视觉***设置在所述制造站处。所述质量监测***可通信地耦合到所述站信息***和所述便携式视觉***，并且包括质量监测计算装置。所述便携式视觉***和所述质量监测***采用公共数据协议来交换消息。所述站计算装置被配置为生成提供指示所述部件的数据的触发消息并向所述质量监测***传输所述触发消息。所述质量监测***被配置为在从所述站信息***接收到所述触发消息之后请求所述便携式视觉***执行所述质量检查任务。所述便携式视觉***被配置为在从所述质量监测***接收到所述请求之后执行所述质量检查任务，并且向所述质量监测***提供包括关于所述质量检查任务的数据的任务报告。所述质量监测***被配置为基于所述任务报告生成任务数据消息并将其输出到所述站信息***。所述站信息***被配置为基于来自质量监测***的所述任务数据消息经由所述用户接口装置提供所述通知。
在一些变型中，所述站计算装置被配置为获得关于要在所述制造站处处理的部件的部件信息，其中所述触发消息包括指示所述部件信息的数据。
在一些变型中，所述质量检查模块被配置为进行以下项作为所述质量检查任务：基于来自所述质量监测***的所述请求而获得所述制造站处的所述部件的所述图像；识别捕获的图像中的字符；以及确定在所述图像中识别的所述字符是否对应于指示所述部件信息的数据以确定所述制造站处的所述部件是否是要处理的正确部件，其中所述任务数据消息包括指示所述图像中的所述字符与所述部件信息是否匹配的数据。
在一些变型中，所述质量检查模块被配置为基于捕获的图像和缺陷检测模型来确定所述部件是否有缺陷作为所述质量检查任务，其中所述缺陷检测模型是采用来自所述成像装置的一组标称图像和一组异常图像进行训练的模型。
在一些变型中，响应于所述缺陷检测模型检测到所述缺陷并且基于所述任务数据消息，所述站计算装置被配置为经由所述用户接口装置提供所述通知以向用户通知所述缺陷、请求所述质量监测计算装置打开质量检查工单以进一步审查所述缺陷、或它们的组合。
在一些变型中，所述质量监测计算装置被配置为基于来自用户的输入而登记所述便携式视觉***并执行所述便携式视觉***的软件配置。
在一些变型中，为了登记所述便携式视觉***，所述质量监测计算装置被配置为存储所述便携式视觉***独有的视觉***标识、识别所述便携式视觉***所在的所述制造站的站标识以及关于要由所述便携式视觉***执行的所述质量检查任务的数据。为了执行所述软件配置，所述质量监测计算装置被配置为传输与要由所述便携式视觉***执行的所述质量检查任务相关联的软件应用。
在一些变型中，所述车辆制造过程包括多个所述制造站。每个制造站包括可通信地耦合到所述质量监测计算装置的所述站信息***，并且所述多个所述制造站中的至少一者包括所述便携式视觉***。
在一些变型中，所述***还包括在所述制造操作时提供以执行所述质量检查任务中的一者或多者的多个所述便携式视觉***。
根据本文中提供的描述，另外的适用领域将变得显而易见。应当理解，描述和具体示例仅意图用于说明目的，而不意在限制本公开的范围。
附图说明
为了可很好地理解本公开，现在将参考附图通过举例的方式描述本公开的各种形式，在附图中：
图1示出了根据本公开的车辆制造过程；
图2是根据本公开的用于监测车辆制造过程的***的框图；
图3A和图3B示出了根据本公开的在制造站处提供与制造操作相关的信息的示例用户接口；
图4是根据本公开的示例部件评估例程的流程图；
图5是根据本公开的示例任务请求例程的流程图；并且
图6是根据本公开的示例质量检查例程的流程图。
本文描述的附图仅用于说明目的，而不意在以任何方式限制本公开的范围。
具体实施方式
以下描述本质上仅仅是示例性的并且不意图限制本公开、应用或用途。应当理解，贯穿附图，对应的附图标记指示相似或对应的零件和特征。
选定设施内的车辆制造过程可被设计为制造要组装在车辆中的部件，并且甚至组装车辆。车辆制造过程可包括在多个制造站处执行的多个制造操作(例如，选定站可被配置为执行一个或多个制造操作)。例如，参考图1，车辆制造过程100包括由制造站104-1至104-N(统称为“站104”)限定的组装线102，其中每个站104被配置为执行一个或多个分配的制造操作。在该示例中，诸如车辆106-1、106-2、106-N(统称为“车辆106”)的部件设置在支撑该部件并且可由操作员接近的一组平台108-1、108-2、108-N(统称为“平台108”)上。在一种形式中，平台108经由输送机***110沿着组装线行进。
本公开提供了一种用于使用质量监测***、设置在站处的站信息***以及被配置为执行质量检查(即，质量检查任务)的一个或多个便携式视觉***来监测制造设施处的一个或多个制造操作的***。更具体地，质量监测***被配置为登记和跟踪设施中使用的便携式视觉***，并且基于来自站信息***的通知或触发而请求选定的便携式视觉***执行质量检查任务。例如，如果在站处提供部件，则站信息***触发质量监测***以执行质量检查任务。一旦被执行，站信息***就可向站处的操作员通知关于站处的部件的任何可能的质量问题。因此，除了其他特征之外，本公开的***可用于使用任何数量的便携式视觉***在车辆制造过程的各个阶段期间跟踪缺陷/瑕疵。
参考图2，在一种形式中，本公开的***200包括站信息***(SIS)202、一个或多个便携式视觉***(PVS)204和质量监测***(QMS)206。在示例应用中，给定站104包括站信息***202和至少一个便携式视觉***204(也参见图1)。应容易理解，车辆制造过程的每个站可能不需要站信息***202和/或便携式视觉***204。在一种形式中，设置在设施中的站信息***202经由无线和/或有线通信网络可通信地耦合到质量监测***206。另外，设置在各个站104处的便携式视觉***204经由无线通信网络(诸如但不限于使用MQTT协议的MQTT网络、TCP/IP协议、蜂窝网络等)可通信地耦合到质量监测***206。在一种形式中，站信息***202经由质量监测***206可通信地耦合到位于站104处的便携式视觉***。
在一种形式中，在选定站104处的站信息***202被配置为向例如操作员传送关于制造操作和/或部件的信息。更具体地，在一种形式中，站信息***202包括站计算装置210(SC装置210)和可通信地耦合到SC装置210的用户接口装置212(也参见图1)。在一种形式中，用户接口装置212向操作员提供信息并且还可从操作员接收输入。因此，用户接口装置212可以是一个或多个接口，并且可包括但不应限于显示器、触摸屏显示器、键盘、鼠标、可穿戴装置(例如，智能手表、智能护目镜等)和/或音频装置(例如，传声器和/或扬声器)。
在一种形式中，SC装置210被配置为使用用户接口装置212提供与在制造站104处对部件执行的制造操作相关的通知。例如，SC装置210可提供：与站104处的部件相关的部件信息，诸如部件识别号(例如，字母数字字符串)、与正在处理的部件相关联的车辆品牌/类型以及其他信息；与运输车辆106的平台108相关联的固定装置标识(ID)；要在站104处执行的制造操作；以及如下面详细地描述，与将由相关联的便携式视觉***204执行的一个或多个质量检查任务相关的信息。参考图3A，在非限制性示例中，在触摸屏显示器302上提供通知300，该触摸屏显示器被提供为用户接口212。在该示例中，通知300包括站信息部分304、部件信息部分306、提供用于执行在站104处指派的制造操作的步骤的制造操作部分308以及提供与由便携式视觉***204执行的质量检查任务相关的信息的质量检查(QC)部分310。在另一个示例中，代替触摸屏显示器302，可在用户佩戴的智能手表(未示出)上提供通知。
在示例应用中，站信息***202可通信地耦合到零件跟踪***(未示出)，该零件跟踪***提供与站104处的部件相关的信息。具体地，零件跟踪***可被提供为存储关于正在制造的每个车辆的信息的服务器。该信息可包括但不限于部件信息、固定装置ID、与具有正在处理的部件的车辆相关联的材料单以及其他信息。
如本文详细地描述，便携式视觉***204被配置为当部件在站104处时在站104处执行一个或多个质量检查任务。为了请求执行任务，SC装置210被配置为向质量监测***206传输触发消息以使与站104相关联的便携式视觉***206执行质量检查任务。在一种形式中，触发消息包括指示站信息以及与要在制造站104处处理的部件相关的部件信息的数据。然后，质量监测***206可向SC装置210提供任务数据消息，该任务数据消息包括与由便携式视觉***206执行的质量检查任务相关的数据。在一些应用中，SC装置210被配置为基于任务数据消息经由用户接口装置212来提供关于质量检查测试的通知。例如，图3B示出了当质量检查具有肯定/标称结果时的圆圈(例如，“QC1：紧固件1”)和当质量检查具有否定/有缺陷结果时的“X”(例如，“QC2：紧固件2”)。在一个变型中，SC装置210接收针对所执行的每个质量检查任务的单独任务数据消息，并且因此被配置为在接收到消息时用适当的通知来更新用户接口。
在一种形式中，操作员可响应于通知有缺陷而经由用户接口装置212输入与部件相关的附加指令。例如，如果通知指示在部件上检测到缺陷，则操作员可经由站信息***202请求打开质量检查工单以进一步审查缺陷。具体地，操作员经由用户接口装置212输入打开部件的质量检查工单的指令，并且SC装置210将指令输出到质量监测***206。
在一种形式中，便携式视觉***204被配置为执行一个或多个质量检查任务，包括缺陷/瑕疵检查。在一些应用中，便携式视觉***204被提供为但不限于平板电脑、智能电话和/或智能眼镜。在示例应用中，站104设置有多个便携式视觉***204，其中便携式视觉***204被配置为执行可不同和/或相同的质量检查任务。另外，便携式视觉***204可附接到或固定到固定装置，以在不需要操作员的情况下例行地执行质量检查任务。在另一个示例中，便携式视觉***204可由操作员控制。因此，应容易理解，本公开的便携式视觉***可以各种合适的方式采用以执行质量检查任务，并且不应限于本文提供的示例。
便携式视觉***204包括可操作以捕获图像的一个或多个成像装置214和质量检查模块216。成像装置214可包括捕获单色或多色图像的多维相机/扫描仪(例如，二维(2D)和/或三维3D相机和/或扫描仪)。在一些应用中，成像装置214是设置在智能电话、平板电脑、智能眼镜等上的相机/传感器，并且不需要隔离的独立成像装置。
质量检查模块216包括被配置为基于图像来执行质量检查任务的站任务模块218以及被配置为基于公共数据协议来处理和生成消息的消息模块220。这种公共数据协议的示例在美国专利公布2022/0156704中提供，该公开由本申请共同拥有并且其内容通过引用整体并入本文。该公布提供了一种用于定义传输由数据发起者生成的数据将采用的各种类型的消息的消息模式的统一可适应数据模型。在一种形式中，消息模式中的每一者包括报头和消息主体，这两者都具有多个字段。字段被提供为键值对，其中键提供关于与键相关联的值的信息。这里，消息主体可被配置为包括与所执行的质量检查任务相关的数据。例如，消息主体可将结果提供为简单的通过或失败指示符和/或提供更详细的评估(例如，关于缺陷的位置的信息或经处理的图像的副本)。消息主体还可包括将由质量监测***206、站信息***202或它们的组合执行的后续动作。后续动作的非限制性示例包括质量监测***206是否将向站信息***202提供信息、站信息***202是否将经由用户接口输出关于结果的通知、质量检查工单是否将由质量监测***205或站信息***202打开。应容易理解，使用公共数据协议的消息可被配置为包括各种类型的信息，并且不应限于本文描述的示例。
在一种形式中，站任务模块218被配置为包括用于执行一个或多个质量检查任务的一个或多个质量检查任务应用(App)222以及与质量检查任务应用222一起采用以检测缺陷/瑕疵的缺陷检测模型224。质量检查任务应用222被提供为软件应用，所述软件应用可在执行质量检查任务时将命令传输到便携式视觉***204中的其他模块/装置，诸如成像装置214。例如，如果要获取图像，则站任务模块218直接向成像装置214输出命令以获得图像和/或向控制便携式视觉***的操作员输出请求操作员捕获图像的警报。警报可以是但不限于声音、视觉通知和/或触觉反馈。
为了执行选定的质量检查任务，站任务模块218被配置为从质量监测***206接收请求，该请求提供与要执行的质量检查任务相关的信息，并且在适当的情况下，提供用于执行质量检查任务的补充数据。更具体地，在一个变型中，站任务模块218被配置为确定制造站104处的部件是否是要处理的正确部件作为质量检查任务。也就是说，如下文详述，响应于接收到触发消息，质量监测***206被配置为向便携式视觉***204输出/传输请求，其中该请求包括请求部件信息检查的信息和与站104处的部件相关的信息。站任务模块218获得具有部件标识的部件的一部分的图像，诸如但不限于附接到部件的标签或固定到部件的特征。例如，部件上的部件标识可以是车门的开口上的条形码或仪表板上的标签。站任务模块218被配置为使用已知的图像处理技术来识别所捕获的图像中的字符，并且确定在图像中识别的字符是否对应于指示在请求中提供的部件信息的数据。基于站任务模块218的确定，消息模块220被配置为生成并输出任务报告，该任务报告包括指示图像中的字符是否与部件信息匹配的数据。
在另一个变型中，站任务模块218被配置为基于所捕获的图像和缺陷检测模型224来确定部件是否具有缺陷或瑕疵作为质量检查任务。更具体地，对于选定的质量检查任务，缺陷检测模型224是使用机器学习方法定义的模型，并且可在便携式视觉***204上采用其中部件在标称特征处或内的第一组图像(即，一组标称图像)和其中部件在标称特征外(即，一组异常图像)且因此有缺陷/瑕疵/异常的第二组图像进行训练。在一种形式中，站任务模块218可检测一个或多个缺陷，其中质量检查任务与检测一个或多个缺陷相关联。例如，如果站104处的制造操作包括在部件上组装紧固件，则质量检查任务被定义为确定紧固件是否在标称公差范围内或以标称公差范围组装。在示例应用中，捕获紧固件的图像，并且缺陷检测模型224处理图像以识别图像中的一个或多个特征并确定所述特征是否与无缺陷组装的标称公差范围相关。如果特征与标称公差范围不相关，则组装可被认为是有缺陷或瑕疵的。基于结果，消息模块220向质量监测***206输出具有结果和用于解决缺陷的可能后续动作的任务报告。在又一个示例中，为了检测连接器组装中的缺陷，缺陷检测模型224可采用边界框方法。这种方法的示例在美国专利公布2022/0254055中提供，该公开由本申请共同拥有并且其内容通过引用整体并入本文。该公布提供了使用模型来确定连接组装的质量，其定义围绕连接器组装的各种部件的边界框。连接器组装的质量是基于边界框的边缘之间的位置关系。
虽然提供了具体的质量检查任务示例，但应当容易理解，质量检查任务可被定义为执行与部件相关的不同任务并且不应限于本文提供的示例。
质量监测***206被配置为管理和促进便携式视觉***204以及在制造设施处执行的质量检查任务。在一种形式中，质量监测***206包括PVS登记模块230、PVS数据库232、质量检查任务(QCT)数据库233和质量模块234。在示例应用中，质量监测***206包括一个或多个计算装置(即，质量监测计算装置)，该一个或多个计算装置被配置为执行本文描述的与质量监测***206相关的操作。
在一种形式中，PVS登记模块230被配置为向选定的站104登记便携式视觉***204并且基于来自操作员的输入在便携式视觉***204上执行一个或多个软件配置。在示例应用中，为了登记便携式视觉***204，操作员可经由例如基于网络的接口来访问质量监测***206并因此访问PVS登记模块230，该基于网络的接口显示请求关于要登记的便携式视觉***204的信息的窗口。在一种形式中，基于所接收的输入，PVS登记模块230被配置为与便携式视觉***204配对并与其建立通信链路(例如，为便携式视觉***指派IP地址)。另外，PVS登记模块230被配置为在PVS数据库232中存储将便携式视觉***204与一个或多个选定的站104相关联的数据以及要由便携式视觉***204执行的一个或多个质量检查任务。在一个变型中，PVS登记模块230存储：便携式视觉***204独有的视觉***标识(例如，提供在便携式视觉***上的字母数字字符串)；识别便携式视觉***204所在或将在其处使用的选定站104的站标识；以及关于要由便携式视觉***204执行的质量检查任务的数据。
为了执行软件配置，PVS登记模块230被配置为将与要执行的质量检查任务相关联的质量检查任务应用输出或下载到便携式视觉***204。更具体地，QCT数据库233存储可用的质量检查任务应用，并且基于来自操作员的选择，PVS登记模块230已经选择了提供给便携式视觉***204的质量检查任务应用。
在一种形式中，质量模块234被配置为基于来自站信息***202的信息来使便携式视觉***204执行质量检查。更具体地，质量模块234被配置为基于来自站信息***202的触发消息来请求便携式视觉***204执行质量检查任务。例如，质量模块234基于PVS数据库232中的数据和触发消息中的信息来识别与站104和因此站信息***202相关联的便携式视觉***204。单个站104可具有一个或多个便携式视觉***204，其中每个便携式视觉***204被配置为执行一个或多个质量检查任务。一旦被识别，质量模块234就向与提供触发消息的站信息***202相关联的便携式视觉***204传输一个或多个请求。
质量模块234还被配置为使用公共数据协议来处理与由便携式视觉***204执行的质量检查任务相关的任务报告，并且在适用的情况下将任务数据消息输出到站信息***202。如上文提供，站信息***202被配置为基于来自质量监测***206的任务数据消息经由用户接口装置212提供通知。在一种形式中，站信息***202还可使质量监测***206将信息存储在质量检查服务器240中。具体地，如果质量检查任务指示缺陷，则站信息***202被配置为请求质量监测***206并且更具体地请求质量模块234打开质量检查工单以利用质量检查服务器240进一步审查缺陷。在一些应用中，质量模块234被配置为将指示任务报告的数据存储在存储装置或服务器中以进行短期或长期存储。
参考图4，提供了由站信息***执行的示例部件评估例程400。在402处，站信息***确定新部件是否正在进入站。例如，站信息***可从零件跟踪***接收关于新部件的数据。如果新部件正在进入，则在404处，站信息***向质量监测***输出触发消息，并且在406处确定是否接收到任务数据消息。如果接收到任务数据消息，则在408处，站信息***被配置为在适用的情况下输出通知。例如，如果任务数据消息指示部件是正确的部件，则可不输出通知。如果任务数据消息指示部件有缺陷/瑕疵，则可经由站信息***的用户接口提供通知。应容易理解，例程400可以各种合适的方式进行配置，并且不应限于本文提供的示例。例如，例程400可被配置为请求来自站处的操作员的验证/输入，诸如由于有缺陷的质量检查测试结果，操作员是否想要标记部件以进行附加检验。
参考图5，提供了由质量监测***执行的示例任务请求例程500。在502处，质量监测***确定是否从站信息***接收到触发消息。如果接收到触发消息，则在504处，质量监测***向在具有请求检查的站信息***的站处的便携式视觉***204输出执行一个或多个质量检查任务的请求。在506处，质量监测***确定是否接收到针对所执行的质量检查任务的任务报告。如果是，则质量监测***在适用的情况下向请求质量检查任务的站信息***输出任务数据消息。例如，如果质量检查任务确认部件是正确的部件，则站质量检查任务可指示不必向站信息***传输信息。应容易理解，例程500可以各种合适的方式进行配置，并且不应限于本文提供的示例。例如，质量监测***被配置为在从便携式视觉***接收到任务报告时输出任务数据消息。
参考图6，提供了示例质量检查例程600，并且该质量检查例程由站处的便携式视觉***执行。在602处，便携式视觉***确定是否从质量监测***接收到任务请求。如果接收到任务请求，则在604处，便携式视觉***执行质量检查任务并且基于所执行的质量检查任务的结果向质量监测***输出任务报告。所执行的每个质量检查任务可输出其自己的任务报告。应容易理解，例程600可以各种合适的方式进行配置，并且不应限于本文提供的示例。例如，如果便携式视觉***被配置为针对第一站执行第一组质量检查任务并且针对第二站执行第二组质量检查任务，则例程600可先基于任务请求中的站信息来确定其位于哪个站，然后执行相关联的质量检查任务。
除非本文另有明确指示，否则指示机械/热性质、组成百分比、尺寸和/或公差或其他特性的所有数值在描述本公开的范围时应当理解为由词语“约”或“大约”修饰。出于各种原因期望进行这种修饰，所述原因包括：工业实践；材料、制造和组装公差；以及测试能力。
如本文所使用，短语A、B和C中的至少一者应被解释为使用非排他性逻辑“或”表示逻辑(A或B或C)，并且不应被解释为表示“A中的至少一者、B中的至少一者以及C中的至少一者”。
在本申请中，术语“计算装置”、“控制器”和/或“模块”可指以下项、是以下项的一部分或包括以下项：专用集成电路(ASIC)；数字、模拟或混合模拟/数字离散电路；数字、模拟或混合模拟/数字集成电路；可组合的逻辑电路；现场可编程门阵列(FPGA)；执行代码的处理器电路(共享、专用或群组)；存储由处理器电路执行的代码的存储器电路(共享、专用或群组)；提供所描述的功能性的其他合适的硬件部件(例如，作为热通量数据模块的一部分的运算放大器电路积分器)；或者以上项的一些或全部的组合，诸如在片上***中。
术语存储器是术语计算机可读介质的子集。如本文所使用的术语计算机可读介质不涵盖通过介质(诸如在载波上)传播的暂时性电信号或电磁信号；因此，术语计算机可读介质可被认为是有形的和非暂时性的。非暂时性有形计算机可读介质的非限制性示例为非易失性存储器电路(诸如快闪存储器电路、可擦除可编程只读存储器电路或掩模只读电路)、易失性存储器电路(诸如静态随机存取存储器电路或动态随机存取存储器电路)、磁性存储介质(诸如模拟磁带或数字磁带或硬盘驱动器)以及光学存储介质(诸如CD、DVD或蓝光光盘)。
本申请中所描述的设备和方法可由专用计算机部分地或完全地实现，所述专用计算机通过将通用计算机配置为执行计算机程序中体现的一种或多种特定功能来创建。功能框、流程图组成部分和上文描述的其他要素用作软件规范，所述软件规范可通过技术人员或程序员的例行工作来转译成计算机程序。
本公开的描述本质上仅仅是示例性的，并且因此，不脱离本公开的实质的变型意图在本公开的范围内。不应将此类变型视为脱离本公开的精神和范围。
根据本发明，提供了一种用于监测部件的车辆制造过程的***，所述***具有：站信息***，所述站信息***设置在制造站处并且包括用户接口装置和站计算装置，其中所述站计算装置被配置为使用所述用户接口装置来提供与在所述制造站处对所述部件执行的制造操作相关的通知；便携式视觉***，所述便携式视觉***包括可操作以捕获图像的成像装置和质量检查模块，其中所述质量检查模块被配置为包括站任务模块，所述站任务模块被配置为基于所述图像来执行质量检查任务，其中所述便携式视觉***设置在所述制造站处；以及质量监测***，所述质量监测***可通信地耦合到所述站信息***和所述便携式视觉***，所述质量监测***包括质量监测计算装置，其中：所述便携式视觉***和所述质量监测***采用公共数据协议来交换消息，所述站计算装置被配置为生成提供指示所述部件的数据的触发消息并向所述质量监测***传输所述触发消息，所述质量监测***被配置为在从所述站信息***接收到所述触发消息之后请求所述便携式视觉***执行所述质量检查任务，所述便携式视觉***被配置为在从所述质量监测***接收到所述请求之后执行所述质量检查任务并且向所述质量监测***提供包括关于所述质量检查任务的数据的任务报告，所述质量监测***被配置为基于所述任务报告生成任务数据消息并将其输出到所述站信息***，并且所述站信息***被配置为基于来自质量监测***的所述任务数据消息经由所述用户接口装置提供所述通知。
根据实施例，所述站计算装置被配置为获得关于要在所述制造站处处理的部件的部件信息，其中所述触发消息包括指示所述部件信息的数据。
根据实施例，所述质量检查模块被配置为进行以下项作为所述质量检查任务：基于来自所述质量监测***的所述请求而获得所述制造站处的所述部件的所述图像；识别捕获的图像中的字符；以及确定在所述图像中识别的所述字符是否对应于指示所述部件信息的数据以确定所述制造站处的所述部件是否是要处理的正确部件，其中所述任务数据消息包括指示所述图像中的所述字符与所述部件信息是否匹配的数据。
根据实施例，所述质量检查模块被配置为基于捕获的图像和缺陷检测模型来确定所述部件是否有缺陷作为所述质量检查任务，其中所述缺陷检测模型是采用来自所述成像装置的一组标称图像和一组异常图像进行训练的模型。
根据实施例，响应于所述缺陷检测模型检测到所述缺陷并且基于所述任务数据消息，所述站计算装置被配置为经由所述用户接口装置提供所述通知以向用户通知所述缺陷、请求所述质量监测计算装置打开质量检查工单以进一步审查所述缺陷、或它们的组合。
根据实施例，所述质量监测计算装置被配置为基于来自用户的输入而登记所述便携式视觉***并执行所述便携式视觉***的软件配置。
根据实施例，为了登记所述便携式视觉***，所述质量监测计算装置被配置为存储所述便携式视觉***独有的视觉***标识、识别所述便携式视觉***所在的所述制造站的站标识以及关于要由所述便携式视觉***执行的所述质量检查任务的数据，并且为了执行所述软件配置，所述质量监测计算装置被配置为传输与要由所述便携式视觉***执行的所述质量检查任务相关联的软件应用。
根据实施例，所述车辆制造过程包括多个所述制造站，每个制造站包括可通信地耦合到所述质量监测计算装置的所述站信息***；并且所述多个所述制造站中的至少一者包括所述便携式视觉***。
根据实施例，本发明的特征还在于在所述制造操作时提供以执行所述质量检查任务中的一者或多者的多个所述便携式视觉***。
Claims (11)
1.一种用于监测部件的车辆制造过程的***，所述***包括：
站信息***，所述站信息***设置在制造站处并且包括用户接口装置和站计算装置，其中所述站计算装置被配置为使用所述用户接口装置来提供与在所述制造站处对所述部件执行的制造操作相关的通知；
便携式视觉***，所述便携式视觉***包括能操作以捕获图像的成像装置和质量检查模块，其中所述质量检查模块被配置为包括站任务模块，所述站任务模块被配置为基于所述图像来执行质量检查任务，其中所述便携式视觉***设置在所述制造站处；以及
质量监测***，所述质量监测***可通信地耦合到所述站信息***和所述便携式视觉***，所述质量监测***包括质量监测计算装置，其中：
所述质量监测计算装置被配置为基于来自所述站信息***的触发消息而请求所述便携式视觉***执行所述质量检查任务并且向所述站信息***提供与由所述便携式视觉***执行的所述质量检查任务相关的任务数据消息，并且
所述站计算装置被配置为基于来自所述质量监测***的所述任务数据消息经由所述用户接口装置提供所述通知。
2.如权利要求1所述的***，其中：
所述站计算装置被配置为：
获得关于要在所述制造站处处理的部件的部件信息，以及
将所述触发消息传输到所述质量监测***以请求所述便携式视觉***执行所述质量检查任务，其中所述触发消息包括指示所述部件信息的数据。
3.如权利要求2所述的***，其中所述质量检查模块被配置为进行以下项作为所述质量检查任务：
基于来自所述质量监测***的所述请求而获得所述制造站处的所述部件的所述图像，
识别捕获的图像中的字符，以及
确定在所述图像中识别的所述字符是否对应于指示所述部件信息的数据以确定所述制造站处的所述部件是否是要处理的正确部件，其中所述任务数据消息包括指示所述图像中的所述字符与所述部件信息是否匹配的数据。
4.如权利要求1所述的***，其中所述质量检查模块被配置为基于所述捕获的图像和缺陷检测模型来确定所述部件是否有缺陷作为所述质量检查任务，其中所述缺陷检测模型是采用来自所述成像装置的一组标称图像和一组异常图像进行训练的模型。
5.如权利要求4所述的***，其中响应于所述缺陷检测模型检测到所述缺陷并且基于所述任务数据消息，所述站计算装置被配置为经由所述用户接口装置提供所述通知以向用户通知所述缺陷、请求所述质量监测计算装置打开质量检查工单以进一步审查所述缺陷、或它们的组合。
6.如权利要求1所述的***，其中所述质量检查模块和所述质量监测计算装置被配置为采用公共数据协议来交换数据。
7.如权利要求1所述的***，其中所述便携式视觉***和所述质量监测计算装置被配置为使用MQTT协议进行通信。
8.如权利要求1所述的***，其中：
所述车辆制造过程包括多个所述制造站，
每个制造站包括可通信地耦合到所述质量监测计算装置的所述站信息***；并且
所述多个所述制造站中的至少一者包括所述便携式视觉***。
9.如权利要求1所述的***，所述***还包括在所述制造操作时提供的多个所述便携式视觉***。
10.如权利要求1所述的***，其中所述质量监测计算装置被配置为基于来自用户的输入而登记所述便携式视觉***并执行所述便携式视觉***的软件配置。
11.如权利要求10所述的***，其中：
为了登记所述便携式视觉***，所述质量监测计算装置被配置为存储所述便携式视觉***独有的视觉***标识、识别所述便携式视觉***所在的所述制造站的站标识以及关于要由所述便携式视觉***执行的所述质量检查任务的数据，并且
为了执行所述软件配置，所述质量监测计算装置被配置为传输与要由所述便携式视觉***执行的所述质量检查任务相关联的软件应用。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US18/078,392 | 2022-12-09 | ||
| US18/078,392 US20240192145A1 (en) | 2022-12-09 | 2022-12-09 | System for monitoring vehicle manufacturing process employing portable vision system and quality monitoring system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118170089A true CN118170089A (zh) | 2024-06-11 |
Family
ID=91278507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311578863.2A Pending CN118170089A (zh) | 2022-12-09 | 2023-11-24 | 用于监测车辆制造过程的*** |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240192145A1 (zh) |
| CN (1) | CN118170089A (zh) |
| DE (1) | DE102023133100A1 (zh) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220156704A1 (en) | 2020-11-16 | 2022-05-19 | Ford Global Technologies, Llc | Method and system for transmitting data from manufacturing data originators to target computing systems using defined message schemas |
| US12008784B2 (en) | 2021-02-09 | 2024-06-11 | Ford Global Technologies, Llc | Systems and methods for image-based electrical connector assembly detection |
-
2022
- 2022-12-09 US US18/078,392 patent/US20240192145A1/en active Pending
-
2023
- 2023-11-24 CN CN202311578863.2A patent/CN118170089A/zh active Pending
- 2023-11-27 DE DE102023133100.0A patent/DE102023133100A1/de active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| DE102023133100A1 (de) | 2024-06-20 |
| US20240192145A1 (en) | 2024-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11449980B2 (en) | System and method for combined automatic and manual inspection | |
| US11610183B2 (en) | Systems and methods for performing and tracking asset inspections | |
| WO2020052633A1 (en) | System and method for determining a condition of an object | |
| US11442438B2 (en) | Automated supervision and inspection of assembly process | |
| US20180165658A1 (en) | Device asset management apparatus, device asset management method, and non-transitory computer readable storage medium | |
| BR112020025409A2 (pt) | Métodos de geração de certificado de qualidade e de monitoramento de processos e sistema de controle de qualidade | |
| AU2018201110A1 (en) | Identifying a pathway for condition of assembly validation | |
| CN110874691A (zh) | 一种总装下线控制方法及*** | |
| US20200293535A1 (en) | Servicing, diagnosing, logging, and surveying building equipment assets | |
| JP2019133483A (ja) | 設備点検者特定プログラム、設備点検者特定方法および情報処理装置 | |
| CN115619091A (zh) | 一种医药行业物料检验放行控制方法、装置和存储介质 | |
| EP3264344A1 (en) | Mapping rule updating method, device and system | |
| JP7440823B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US11557032B2 (en) | Device and method for the calibrated checking of a printing on an article | |
| CN118170089A (zh) | 用于监测车辆制造过程的*** | |
| EP3591483B1 (en) | Method, device and positioning system for positioning a sensor | |
| CN116360384A (zh) | 用于诊断和监控信息物理***中的异常的***和方法 | |
| US20060020358A1 (en) | Manufacturing management system and method | |
| US20170373875A1 (en) | Point-to-point checkout automation | |
| Campaniço et al. | Worker Support and Training Tools to Aid in Vehicle Quality Inspection for the Automotive Industry | |
| US10636096B1 (en) | Dynamic generation of an electronic identification card for display by an electronic device based on real-time policy information | |
| US20230214936A1 (en) | Methods and Systems for Submitting and/or Processing Insurance Claims for Damaged Motor Vehicle Glass | |
| JP7404132B2 (ja) | 換気警報器関連作業支援制御装置、換気警報器関連作業支援プログラム | |
| US8522171B1 (en) | Method for checking die seal ring on layout and computer system | |
| EP3611698A1 (en) | Automated supervision and inspection of assembly process |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |