CN115804257A - 印刷电路板组件的检查及生产 - Google Patents

印刷电路板组件的检查及生产 Download PDF

Info

Publication number
CN115804257A
CN115804257A CN202180049468.8A CN202180049468A CN115804257A CN 115804257 A CN115804257 A CN 115804257A CN 202180049468 A CN202180049468 A CN 202180049468A CN 115804257 A CN115804257 A CN 115804257A
Authority
CN
China
Prior art keywords
pcb
pcb assembly
assembly
image
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180049468.8A
Other languages
English (en)
Inventor
丹尼尔·菲巴格
亚历山大·克莱菲尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN115804257A publication Critical patent/CN115804257A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K3/00—Apparatus or processes for manufacturing printed circuits
    • H05K3/0005—Apparatus or processes for manufacturing printed circuits for designing circuits by computer
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0815—Controlling of component placement on the substrate during or after manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/04—Mounting of components, e.g. of leadless components
    • H05K13/046—Surface mounting
    • H05K13/0465—Surface mounting by soldering
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/083—Quality monitoring using results from monitoring devices, e.g. feedback loops
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Manufacturing & Machinery (AREA)
  • Theoretical Computer Science (AREA)
  • Operations Research (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

一种检查印刷电路板PCB组件(C)的方法，包括以下步骤：获取PCB组件(C)的图像(IM)并分析图像(IM)，其中分析包括图像(IM)的基于对象的分析，用以辨识放置在PCB(B)上的至少一个部件(A)，其中基于对象的分析是在基于对象的分析程序的基础上来执行的，其中基于对象的分析程序包括经训练的机器学习模型(ML)；和通过基于对象的分析程序，在基于对象的分析的发现与PCB(B)的经存储的组件信息之间的比较的基础上来确定是否将至少一个部件(A)放置在PCB(B)上；以及如果由对象检测分析确定一个或多个部件缺失或放置错误或PCB上放置了一个或多个错误的部件，则通过基于对象的分析程序输出错误，优选显示PCB组件的图像以及与缺失或错误部件或错误放置部件有关的错误信息；由工作人员输入PCB组件的视觉检查的结果，视觉检查的结果表明对象检测分析的伪错误；写入用于由焊接设备焊接PCB组件(C)的一个或多个设置。

Description

印刷电路板组件的检查及生产
技术领域
本公开涉及印刷电路板PCB组件及其通过焊接方式的生产。更具体地，本公开涉及生产过程中PCB组件的检查。此外，本公开涉及人工智能和机器学习领域及其工业应用。
背景技术
随着电子器件变得越来越小，封装密度越来越高，印刷电路板(PCB)组件的自动化检查正变得越来越重要。从长远来看，自动化检查在一致性、速度和低成本方面比人工检查有更好的表现。
印刷电路板(PCB)使用从一个或多个层压的铜片层蚀刻到非导电基板的片层之上和/或片层之间的导电走线、焊盘和其他特征来机械地支撑和电气连接电气或电子部件。部件通常被焊接到PCB之上，以将它们电气连接和机械地固定到PCB上。
PCB组件上常见的缺陷包括部件缺失、错位、部件倾斜、部件立起/开路、部件错误、值错误、桥接/短路、引线弯曲、极性错误、额外的部件、引线抬起、焊料不足、焊料过多等。
US20150246404A1公开了焊接***供电单元、控制单元、管理装置及供电控制装置。
EP0871027A2公开了印刷电路板组件的检查以及KR20090049009A公开了印刷电路板的光学检查装置和其方法。
发明内容
如今，由于要生产的PCB组件种类繁多，将PCB与电气部件组装在一起的工作人员面临着大量不同的部件要安装在相同或相似的PCB类型上。由于工作人员将一种布局与另一种布局混淆，当将部件放置在特定PCB上时，这可能会导致故障。通常，PCB组件仅在将部件焊接到印刷电路板之后进行检查。因此，导致许多PCB组件被丢弃，从而导致材料损失和浪费。
因此，本发明的目的是改善材料的使用、简化生产工艺流程并由此减少生产有缺陷的PCB组件的数量。
该目的是通过以下几个方面来实现的。
根据第一方面，所述目的是通过一种检查印刷电路板PCB组件的方法来实现的。该方法包括获取该PCB组件的图像(例如，使用摄像机)并分析该图像的步骤，其中，该分析包括该图像的基于对象的分析，用以辨识放置在PCB上的至少一个部件。该方法进一步包括在该基于对象的分析的发现与该PCB的经存储的组件信息之间的比较的基础上来确定是否将该至少一个部件放置在该PCB上的步骤。
根据第二方面，该目的是通过一种训练基于对象的分析程序的机器学习算法的方法来实现的。该方法包括获取PCB组件，优选不同类型的PCB组件的多个图像，最优选是在该PCB组件的生产过程中进行的步骤。该方法进一步包括从该多个图像中选择适合于训练该机器学习算法的图像。该方法进一步包括基于用于标记该PCB组件的模板来自动标记该多个图像。该方法进一步包括基于所标记的图像来训练该机器学习算法。
根据第三方面，该目的是通过一种检查印刷电路板PCB组件的检查***来实现的。该***包括用于获取该PCB组件的图像的摄像机。该***进一步包括用于分析该图像的控制单元，其中，该分析包括该图像的基于对象的分析，用以辨识放置在PCB上的至少一个部件。该控制单元进一步用于在该基于对象的分析的发现与该PCB的经存储的组件信息之间的比较的基础上来确定是否将该至少一个部件放置在该PCB上。
在从属权利要求中提供了其他有利的实施例，并在下文进行描述。
附图说明
图1示出了PCB组件的生产过程中的多个步骤，尤其是电气部件的放置和PCB组件的焊接。
图2示出了PCB组件的生产过程中和电气部件焊接到PCB之后的自动光学检查。
图3示出了根据第一实施例的PCB组件的生产过程中的多个步骤，其中光学检查在将电气部件焊接到PCB之前执行。
图4示出了包括PCB和放置在PCB上的电气部件的PCB组件的图像。
图5示出了PCB组件的图像的对象检测分析的结果。
图6示出了用于检查PCB组件的***以及相应的步骤。
图7示出了用于训练机器学习模型以执行PCB组件的图像的对象检测的***以及相应的步骤。
图8示出了用于检查PCB组件的工作流程以及将检查整合在PCB组件的生产中。
具体实施方式
图1示出了PCB组件C的生产过程中的多个步骤，尤其是电气部件Al、A2、SMD的放置和PCB组件C的焊接。对于PCB组件C的生产，将电气部件Al、A2、SMD被放置于PCB B上。例如，可以将通孔器件Al、A2等电气部件Al、A2(例如，电容器和/或集成电路)放置于PCB B上。另外，电气部件可以是表面贴装器件SMD，也可以放置于PCB B上。
通孔技术THT是指用于电子部件A1、A2的安装方案，其涉及在部件上使用引线，引线通过人工组装(手动放置)或通过使用自动化插装机器***PCB C中钻出的孔中并焊接到另一侧上的焊盘上。与表面贴装技术相比，通孔安装提供了牢固的机械结合。
在将电气部件Al、A2放置于PCB B上之后，对PCB组件C进行焊接工艺。示例性的，在图1中示出了波峰焊工艺，其中，首先将助焊剂涂在PCB组件C上，然后对其进行预热。最后，将PCB组件C运送通过焊料驻波，其中PCB B和部件A1、A2与焊料接触。
参见图2，示出了PCB组件C的生产过程中的自动光学检查。通常，自动光学检查是在将一个或多个电气部件Al、SMD焊接到PCB B之后执行的。为此，通过PCB组件C的底侧的摄像机I拍摄图像IM。
如前所提及，电子器件的复杂性和种类不断增加也导致对将PCB C与电气部件A1组装在一起的工作人员的要求越来越高。根据具体情况，电气部件A1可能会被遗忘，或可能将错误的部件A1放置于PCB B上。在这种情况下，在焊接之后进行的PCB组件C的检查要求较高的工作量来对PCB组件C进行脱焊并将错误安装的部件移除，或者，在最坏情况下，PCB组件C需要报废。
因此，提出在将一个或多个电气部件A1放置于PCB B上之后以及将电气部件A1焊接到PCB B之前执行PCB组件C的自动化光学检查。在图3中，示出了PCB组件C的生产过程中的多个步骤，其中，光学检查是在将一个或多个电气部件A1-A4焊接到PCB B之后执行的。
PCB B可到达放置台1，在该放置台处，工作人员可以将电气部件A1-A4放置于PCBB上。PCB B可以放置于托盘Y上或托盘Y中，以经由输送机F沿生产线运送PCB B。工作人员可以从放置台处的一个或多个搁板R1、R2上拿取电气部件A1-A4并根据待生产的PCB组件C的类型放置部件A1-A4。可选地，放置可以例如由机器人自动执行。
波峰焊台3可以包括单波(未示出)。为了将组件从放置台1或检查台2运送至焊接台3，可以设置用于存放多个PCB组件的塔架T。塔架可以充当缓冲器，该缓冲器用于：例如如果在放置台处电气部件的放置耗时太长的话，则为焊接机上料。现在，在离开放置台之前或进入PCB组件生产的焊接台3之前，在放置检查台2处执行自动光学检查。为此，获取PCB组件的图像(例如，使用摄像机I)。然后分析图像，其中该分析包括该图像的基于对象的分析，用以辨识放置在PCB B上的至少一个部件。由此，在该基于对象的分析的发现与PCB B的经存储的组件信息之间的比较的基础上来确定是否将该至少一个部件放置于PCB B上。可以将该比较的结果显示给检查台2和/或放置台1处的工作人员W，以便调换错误放置的部件A-A4或将一个或多个缺失的部件A1-A4放置于PCB B上。
如果通过对象检测分析确定了所有电气部件都正确放置，则PCB组件可以继续运往焊接台3。例如，PCB组件C可以放置于焊接台3处的焊接设备的塔架T中。
然而，如果确定了并非所有电气部件A1-A4都正确放置，则PCB组件不可以继续进行进一步的生产步骤，例如，不可以继续运往焊接台3。
应当指出的是，对于PCB组件C继续进行进一步的生产步骤的情况，自动光学检查是强制步骤，即所有PCB组件C都需要进行分析才能继续生产。为了启动光学检查，工作人员可能需要按下检查台3处的按钮。
现在参见图4，示出了PCB组件C的图像IM。PCB组件C包括PCB B和放置(例如，经由THT)在PCB B上的电气部件A1-A3。图像IM可以由安装在检查台2处的摄像机采集。如图4所示，图像IM示出了PCB的上侧，即电气部件A1-A3所放置的那一侧。
可以对图像IM进行对象检测分析，以辨识放置在PCB B上的至少一个部件A1-A3。在图5中示出了该对象检测分析的结果，其中，框示出了识别的对象O1-O4。该分析可以为识别的对象O1-O4分配识别的正确性概率。如果概率低于一定阈值，例如，低于75％，则PCB组件C和相应的电气部件A1-A3可能需要查验才可以继续PCB组件C的生产。该对象检测分析是一种计算机实现的方法，其用于将至少一个对象O1-O4分配给PCB B上识别的部件A1-A3。该对象检测分析可以由如图5中所描绘的经训练的机器学习模型ML来执行。
在图6中示出了用于检查PCB组件C的***以及相应的步骤的进一步细节。PCB组件的图像IM可以由例如图3的放置检查台2处的摄像机来采集，从而获取图像用于执行对象检测。机器学习模型ML可以寄存在操作***(如Windows 10)中的虚拟机中。机器学习模型ML本身可以是容器(如docker容器)的一部分，在虚拟机上运行。图像IM可以由机器学习模型ML进行处理，可以将识别的对象叠加在获取并显示给例如放置检查台处的工作人员的图像IM上。此外，可以在显示器上将识别的电气部件列表显示给工作人员。电气部件列表可以从数据库DB1或规划***(如Teamcenter)中检索。
若对象检测识别出所有待放置于PCB上的电气部件，则PCB组件可以继续进行下一生产步骤。为此，可以将检查的结果写入标签G。例如，可以将一个或多个用于后续的焊接PCB组件的步骤的设置写入标签。标签G可以附接到PCB组件所在的托盘Y上。例如，标签G可以是RFID标签，包括可重写存储器。尤其是，可以将PCB类型或PCB的标识符写入标签。然后，可以将PCB组件运送至焊接台，例如，如图3所示，在该处可以从标签读取PCB类型和/或PCB标识符。基于标签G上的设置，焊接设备可以调整焊接工艺。为了控制焊接工艺，焊接设备可以包括焊接程序。焊接程序的设置可以包括焊接设备的一部分(例如，焊铁、镊子、微镊子、脱焊烙铁和热风等)的温度设置。
若对象检测没有识别出所有待放置于PCB上的电气部件，则工艺停止，对PCB组件进行修复，例如，通过调换PCB上的一个或多个电气部件或通过将一个或多个另外的部件放置于PCB上。在修复PCB组件之后，获取PCB组件的新图像，然后为所修复的PCB组件重新运行对象检测。在这种情况下，可以将相应的代码写入标签或字段，用以识别PCB，和/或可以将相应的用于焊接的设置(有意地)留空。然后，可以停止生产，即至少在PCB组件到达焊接台处(例如，在托盘上的标签被读出的位置处)时中断。在这种情况下，工作人员可能需要将PCB组件从托盘中移除才可以继续生产工艺。
不同于如上所描述的修复PCB组件，可能出现对象检测分析出错的情况。换言之，该对象检测分析可以确定一个或多个部件缺失或PCB上放置了一个或多个错误的部件。在那种情况下，工作人员可以通过释放相应的(虚拟)按钮来识别伪错误。此后，可以将用于由焊接设备来焊接PCB组件的一个或多个设置写入标签。
因此，如上所提及，对象检测分析是一种计算机实现的用于图像处理的方法，其用于检测一个或多个(数字)图像中某一类的一个或多个(语义)对象的实例。计算机程序形式的机器学习模型ML可以用于该对象检测分析。例如，该对象检测分析可以用于检测放置于PCB上的一个或多个部件。结果，该对象检测分析可以提供表示PCB上检测到的每个部件的标识符和坐标。然后，可以将该对象检测分析的结果与PCB的组件信息(例如，材料清单(BOM))相比较。组件信息可以是制造PCB组件所需的部件列表。因此，通过将该对象检测分析发现的对象与组件信息相比较，可以发现一个或多个缺失的部件。此外，可以确定在PCB上放置了一个或多个错误的部件。更进一步地，可以发现在PCB上一个或多个部件的错误放置。
例如，可以以文件(例如XML文件)的形式提供组件信息，包括部件列表和与待制造的PCB组件的每个部件相关联的坐标。下面提供了可以以文件形式存储的组件信息的示例性摘录：
Figure BDA0004048257890000071
Figure BDA0004048257890000081
此处，部件component_l和component_2是待制造的PCB组件的一部分，并且被分配了由边界框“bnbdbox”给出的相应坐标。其中，坐标表示相应部件在PCB上(例如，相对于PCB上的参考点)的位置。例如，PCB以及进而PCB的图像可以包括一个或多个参考点。这样的参考点又称为参考标记或标记点。
作为对象检测分析的发现与组件信息之间的比较的成果，由此可以查验部件在PCB上的放置。可能出现这种情况：通过比较的方式确定(例如，通过该对象检测分析)一个或多个部件缺失或在PCB上放置了一个或多个错误的部件或部件在PCB上放置错误。这可能是这种情况：当由该基于对象的分析所发现的对象与提供的组件信息之间不一致时。在那种情况下，可以在检查台的显示器上输出(例如，显示)该比较的成果或结果。该输出可以包括与缺失或错误的部件或错误放置的部件有关的错误信息。例如，可以将识别的对象叠加在获取并显示给例如(放置)检查台处的工作人员的图像上。该错误信息可以是标识缺失、错放或错误的部件的带颜色的矩形或框的形式。可以在检查台的显示器上显示该错误信息，例如，其可以叠加在印刷电路板的图像上。可选地或另外地，该错误信息可以以文字(例如，指示“component_l”)的形式标识缺失、错放或错误的部件。
此外，可以将指示通过或失败的标记显示给例如检查台处的工作人员。标记指示PCB组件的部件放置的错误。标记可以与图像相关联。
然后，可以由操作员(也示为工作人员)通过PCB组件的视觉检查对PCB组件进行检查。由此，操作员可以通过视觉检查确定对象检测分析检测出的错误是真错误还是伪错误。为此，在显示器中设置输入字段。操作员可以通过释放、即按下检查台处的相应(虚拟)按钮，优选经由检查台处的显示器来输入视觉检查的结果。
若是伪错误，则可以将图像标记由错误更改为通过或伪错误。这使得PCB组件的制造能够继续。因此，随后例如基于视觉检查的结果，将一个或多个用于由焊接设备来焊接PCB组件的设置写入例如可以附接到PCB组件所在的托盘上的标签。因此，一个或多个设置的写入可以基于工作人员的视觉检查的结果。
在由工作人员通过视觉检查发现了真错误的情况下，可以由工作人员对错放进行纠正，PCB的制造也可以通过将一个或多个用于由焊接设备来焊接PCB组件的设置写入可附接到PCB组件所在的托盘上的标签而继续。因此，不会制造有故障的或有缺陷的PCB组件。此外，PCB组件的图像的标记获得了改善。
现在，如果通过工作人员的视觉检查发现了真错误，为了使工作人员获得关于修复措施(例如，一个或多个部件的重新放置)是否成功的反馈，可以再次执行对象检测分析。因此，获得对象检测的新发现或结果并显示给工作人员，然后工作人员可以再次释放检查台处的(虚拟)按钮，例如，确认部件现在正确放置或再次发生了伪错误。
另外，对于对象检测，获取的PCB组件的图像可以存储于数据库DB2中。存储于数据库DB2中的图像可以用于(再)训练用于对象检测分析的机器学习模型ML。因此，可以在PCB组件C的生产过程中获取多个图像IM，以便(再)训练机器学习模型ML。
参见图7，示出了用于训练机器学习模型以执行PCB组件C的图像的对象检测的***以及相应步骤。在PCB组件C的生产过程中，可以采集PCB组件C的图像IM1、IM2、IM3并存储在用于图像数据采集目的的数据库DB2中。为了不费力地标记图像IM1、IM2、IM3并将它们用于机器学习模型ML的训练，可以将图像IM1、IM2、IM3加载到自动标记工具ALT中或由其读取。自动标记工具ALT进行图像IM1、IM2、IM3的标记。不同于手动标记所有获取的图像IM1、IM2、IM3，使用一次性标记。为此，使用模板来标记图像IM1、IM2、IM3。自动标记可以基于模板匹配算法，其检测(模板图像的)PCB相对于图像IM1、IM2、IM3中的每一个的图像边界的偏移量。通过这样做，将模板图像中定义的标记从图像坐标系转换至每个图像的(模板的)PCB坐标系，从而使得算法能够自动标记数据库DB2中的每一个图像并随后将自动标记的图像用于训练ML对象检测算法。例如，可以在图像中的每个图像上检测一个或多个参考点。基于一个或多个参考点，可以设置模板。换言之，
模板可以包括一个或多个预定或预置坐标，其用于识别一个或多个部件。同样地，如上文关于组件信息所描述的，模板的形式可以是文件，例如，XML文件。下面示出了模板的摘录：
Figure BDA0004048257890000101
Figure BDA0004048257890000111
现在，为了自动使模板与图像中的每个图像相匹配(从而标记图像中的部件)，可以使用每个图像的参考点分别计算偏移量。可以基于图像的一个或多个参考点相对于例如图像IM1、IM2、IM3中每一个的一个或多个图像边界的距离来分别计算偏移量。由此，确定每个图像中一个或多个部件的位置，即坐标，从而执行图像中部件的自动标记。可以看出，通过每个部件的四个坐标定义了框或矩形，通过这种方式，识别图像中每个部件的位置。或者，为了使图像边界与图像中的参考点重合，可以调整图像边界。由于PCB在托盘中的放置及其位置，模板的坐标的调整可能是必要的。遇到这种情况，是由于每个PCB在相应的托盘中的位置是不同的。
用于标记的模板可以是已被手动标记的图像。然后，由自动标记工具将模板的标记转换至先前存储于数据库DB2中的一个或多个图像IM1、IM2、IM3。因此，获取的图像IM1、IM2、IM3不必手动标记，而是选择适合于自动标记的图像存储于数据库DB2中。选择适合的图像可以根据一个或多个预定标准自动进行或由用户手动完成。因此，标记将图像中检测到的一个或多个对象与一个或多个电气部件相关联。
一旦标记了图像IM1、IM2、IM3，即识别出对象或电气部件，就可以基于现在标记的图像IM1、IM2、IM3来(再)训练机器学习模型。
在训练了机器学习模型ML之后，可以将模型ML部署于工业PC上或集成到用于生产一个或多个PCB组件的生产***中，例如，集成在现有基础设施中。例如，可以将机器学习模型ML部署于检查***的控制单元上，例如，用以控制放置检查台。检查***或检查台本身可以集成在用于生产PCB组件的生产***中。生产***包括，例如，放置台、检查台和焊接台，例如，如图3所示。
如图7所示，自动标记工具ALT可以从数据库DB1或规划***(如Teamcenter或NX)获得特定PCB组件或特定类型的多个PCB组件的电气部件(例如，以列表的形式)的信息。该信息可以用于由自动标记工具ALT标记数据库DB1中的一个或多个图像IM1、IM2、IM3。应当理解的是，自动标记工具ALT是软件程序，包括数据库DB1、数据库或规划***DB2以及检查和/或生产***的合适的接口，例如API，根据具体情况而定。因此，自动标记可以是计算机程序。换言之，自动标记是一种计算机实现的方法。
因此，例如，如图7所示，一旦部署在边缘设备EDGE上，机器学习模型ML可以从检查台处的摄像机C接收图像，还可以例如经由自动标记工具ALT，例如从数据库或规划***DB1接收与在获取的图像上采集的PCB组件C有关的材料清单。然后，机器学习模型ML可以在获取的PCB组件的图像中确定存在于材料清单(BOM)中的一个或多个部件A1-A4。
材料清单或产品结构(有时是材料清单(BOM)或关联列表)是原材料、子组件、中间组件、子部件、部件以及制造最终产品所需的每一种的数量的列表。一般来说，可以由机器学习模型ML获得PCB组件的组件信息。例如，可以将待放置于PCB上的部件的列表存储在生产***、检查台或边缘设备内。
因此，机器学习模型ML可以推断所处理的图像上采集的PCB组件是否装备齐全或缺失一个或多个电气部件或是否在PCB上放置了错误的电气部件。
现在参见图8，示出了用于检查PCB组件的工作流程以及将检查整合在PCB组件的生产(线)中。
该工作流程可以由一个或多个软件程序模块M1-M5实现。第一模块M1可以直接在操作***上运行，可以用于扫描PCB组件的标识符。例如，第一模块可以用于基于设置于PCB组件上的标识符(例如，2D条形码)来识别PCB组件，其中，标识符用于从多个基于对象的分析程序中识别基于对象的分析程序，用以辨识放置在PCB上的至少一个部件。
然后，可以将标识符传输给第二模块M2。第二模块M2可以从检查台处的摄像机获取图像(抓取帧)。
然后，可以将标识符和图像传输给第三模块M3，第三模块例如基于标识符来检索待组装的PCB组件的材料清单或其他组件信息，优选包括待放置于PCB组件上的电气部件。
进一步地，可以将图像和标识符传输给第四模块M4。第四模块可以例如基于标识符从多个机器学习模型中选择合适的机器学习模型，其中，多个机器学习模型中的每一个都适应于特定的PCB组件，即PCB组件类型，因此进行训练，以便识别用于该特定PCB组件类型的部件。选择了合适的机器学习模型后，可以由机器学习模型执行推断。推断可以包括基于接收到的图像的对象检测。完成了对象检测和关联了图像上相应的电气部件后，可以将识别的部件再次传输给第三模块M3，其中，将识别的电气部件与先前接收到的材料清单进行比较。
为了可视化的目的，可以使用第五模块M5将帧添加到如前该所处理的图像上检测出的对象中。而且，通过将帧添加到PCB组件的图像的缺失部件应该放置或PCB组件上放置了错误部件的部分中，可以使缺失部件可视化。可以将由对象检测分析识别的部件与来自第三模块M3的组件信息之间的比较的结果传输给第二模块M2，结果从第二模块转发到第一模块M1。比较的结果可以例如是通过或失败，即二进制形式。
应该理解的是，模块M1-M5可以彼此组合以形成单个模块或功能可以在模块之间不同地拆分或模块的功能可以结合到另一些模块中。
最后，可以将结果显示在例如浏览器中。如图8所示，模块M5的可视化可以展示给主机操作***。
随后，可以将该比较的结果用于控制PCB组件的进一步的生产步骤。换言之，如上所描述，可以基于比较的结果将那些设置或其他信息写入运送PCB组件的托盘的标签。这些设置可以用来控制PCB组件的进一步的生产步骤。例如，可以控制PCB组件的焊接。
下面描述进一步的示例性实施例：
根据第一实施例，提供了一种检查印刷电路板PCB组件(C)的方法，该方法包括以下步骤：获取PCB组件(C)的图像(IM)(例如，使用摄像机)并分析图像(IM)，其中，该分析包括图像(IM)的基于对象的分析，用以辨识放置在PCB(B)上的至少一个部件(A)；和在该基于对象的分析的发现与PCB(B)的经存储的组件信息之间的比较的基础上来确定是否将至少一个部件(A)放置在PCB(B)上。
在第二实施例中，根据第一实施例该的方法包括以下步骤：基于该比较的结果写入用于由焊接设备来焊接PCB组件(C)的一个或多个设置，其中，优选该设置包括PCB类型和/或PCB ID。
在第三实施例中，根据前述实施例中任一个的方法包括以下步骤：基于该比较的结果来加载用于由焊接设备来焊接PCB组件(C)的一个或多个设置。
在第四实施例中，根据前述实施例中任一个的方法包括以下步骤：基于该比较的结果来阻止一个或多个用于由焊接设备来焊接PCB组件(C)的设置的写入。
在第五实施例中，根据前述实施例中任一个的方法包括以下步骤：基于该比较的结果来停止PCB组件(C)的生产。
在第六实施例中，根据前述实施例中任一个的方法包括以下步骤：基于该比较来识别PCB组件(C)上至少一个缺失部件，并且优选根据所确定的缺失部件来修复PCB组件(C)，以及基于该比较的结果来写入用于由焊接设备来焊接PCB组件(C)的一个或多个设置。
在第七实施例中，根据前述实施例中任一个的方法包括以下步骤：基于该比较的结果来识别伪错误，以及基于该比较的结果来写入用于由焊接设备来焊接PCB组件(C)的一个或多个设置。
在第八实施例中，根据前述实施例中任一个的方法包括以下步骤：将PCB组件(C)设置在托盘(Y)上，其中，托盘(Y)包括用于存储一个或多个设置的可重写存储器(G)，例如，RFID标签。
在第九实施例中，根据前述实施例中任一个的方法包括以下步骤：基于设置于PCB组件上的标识符(例如，2D条形码)来识别PCB组件，其中，该标识符用于从多个基于对象的分析程序中识别基于对象的分析程序，用以辨识放置在PCB(B)上的至少一个部件。
在第十实施例中，根据前述实施例中任一个的方法，其中，该基于对象的分析程序包括经训练的机器学习模型(ML)。
在第十一实施例中，根据前述实施例中任一个的方法包括以下步骤：生产不同类型的PCB组件(C)，并基于通过标识符识别的PCB组件(C)类型来加载基于对象的分析程序。
在第十二实施例中，根据前述实施例中任一个的方法包括以下步骤：从用于PCB组件(C)的生产的工程或规划***(例如，TEAMCENTER)接收PCB(B)的经存储的组件信息(例如，以材料清单的形式)。
在第十三实施例中，一种训练基于对象的分析程序的机器学习模型(ML)的方法，包括以下步骤：获取PCB组件(C)，优选不同类型的PCB组件(C)的多个图像，最优选是在PCB组件的生产过程中进行；从多个图像(IM1，IM2，IM3)中选择适合于训练该机器学习模型的图像；基于用于标记PCB组件(C)的模板来自动标记多个图像(IM1、IM2、IM3)；基于所标记的图像(IM1，IM2，IM3)来训练机器学习模型(ML)。
在第十四实施例中，一种用于检查印刷电路板(PCB)组件的检查***(2)，包括：用于获取PCB组件(C)的图像(IM)的摄像机(I)和用于分析图像的控制单元，其中，该分析包括图像(IM)的基于对象的分析，用以辨识放置在PCB(B)上的至少一个部件(A1-A4)；该控制单元进一步用于在该基于对象的分析的发现与PCB(B)的经存储的组件信息之间的比较的基础上来确定是否将至少一个部件(A1-A4)放置在PCB(B)上。
在第十五实施例中，一种用于生产印刷电路板组件(C)的生产***(1，2，3)，包括根据前述实施例的检查***(2)和与该检查***连接的焊接设备(3)。

Claims (14)

1.一种检查印刷电路板PCB组件(C)的方法，包括以下步骤：
获取所述PCB组件(C)的图像(IM)，例如使用摄像机，并分析所述图像(IM)，其中，所述分析包括所述图像(IM)的基于对象的分析，用以辨识放置在PCB(B)上的至少一个部件(A)；
其中，所述基于对象的分析是在基于对象的分析程序的基础上来执行的，其中，所述基于对象的分析程序包括经训练的机器学习模型(ML)；
并且由所述基于对象的分析程序，在所述基于对象的分析发现与所述PCB(B)的经存储的组件信息之间的比较的基础上来确定所述至少一个部件(A)是否被放置在所述PCB(B)上；以及
如果由对象检测分析确定一个或多个部件缺失或错误放置或所述PCB上放置了一个或多个错误部件，则由所述基于对象的分析程序输出错误；
优选地，显示所述PCB组件的图像以及与缺失或错误的部件或错误放置的部件有关的错误信息；
由工作人员输入所述PCB组件的视觉检查的结果，所述视觉检查的结果表明所述对象检测分析的伪错误；
写入用于由焊接设备来焊接所述PCB组件(C)的一个或多个设置。
2.根据前述权利要求所述的方法，包括以下步骤：基于所述比较的结果，写入用于由焊接设备来焊接所述PCB组件(C)的一个或多个设置，其中，优选地所述设置包括PCB类型和/或PCB ID。
3.根据前述权利要求中任一项所述的方法，包括以下步骤：基于所述比较的结果，加载用于由焊接设备来焊接所述PCB组件(C)的一个或多个设置。
4.根据前述权利要求中任一项所述的方法，包括以下步骤：基于所述比较的结果，阻止用于由焊接设备来焊接所述PCB组件(C)的一个或多个设置的写入。
5.根据前述权利要求中任一项所述的方法，包括以下步骤：基于所述比较的结果，停止所述PCB组件(C)的生产。
6.根据前述权利要求中任一项所述的方法，包括以下步骤：
基于所述比较，识别所述PCB组件(C)上的至少一个缺失部件，并且优选地根据所确定的缺失部件来修复所述PCB组件(C)，以及
基于所述比较的结果，写入用于由焊接设备来焊接所述PCB组件(C)的一个或多个设置。
7.根据前述权利要求中任一项所述的方法，包括以下步骤：
基于所述比较的结果，识别伪错误，以及
基于所述比较的结果，写入用于由焊接设备来焊接所述PCB组件(C)的一个或多个设置。
8.根据前述权利要求中任一项所述的方法，包括以下步骤：将所述PCB组件(C)布置在托盘(Y)上，其中，所述托盘(Y)包括用于存储一个或多个设置的可重写存储器(G)，例如，RFID标签。
9.根据前述权利要求中任一项所述的方法，包括以下步骤：基于布置于所述PCB组件上的标识符，例如2D条形码，识别所述PCB组件，其中，所述标识符用于从多个基于对象的分析程序中识别基于对象的分析程序，用于辨识放置在所述PCB(B)上的至少一个部件。
10.根据前述权利要求中任一项所述的方法，包括以下步骤：生产不同类型的PCB组件(C)，并基于由所述标识符识别的PCB组件(C)类型，加载基于对象的分析程序。
11.根据前述权利要求中任一项所述的方法，包括以下步骤：从用于所述PCB组件(C)的生产的工程设计或规划***接收所述PCB(B)的所存储的组件信息，其例如具有材料清单的形式。
12.一种用于训练基于对象的分析程序的机器学习模型(ML)的计算机实现的方法，包括以下步骤：
获取PCB组件(C)、优选不同类型的PCB组件(C)的多个图像，最优选是在所述PCB组件的生产过程中进行；
从所述多个图像(IM1，IM2，IM3)中选择适合于训练所述机器学习模型的图像；
基于用于标记所述PCB组件(C)的模板来自动地标记所述多个图像(IM1，IM2，IM3)；
通过基于每个图像的一个或多个参考点来调整所述模板的一个或多个预定坐标，其中，所述坐标与所述PCB组件的一个或多个部件有关，从而基于所标记的图像(IM1，IM2，IM3)来训练所述机器学习模型(ML)。
13.一种用于检查印刷电路板PCB组件的检查***(2)，包括：
用于获取所述PCB组件(C)的图像(IM)的摄像机(I)，以及
用于分析所述图像的控制单元，其中，所述分析包括所述图像(IM)的基于对象的分析，用以辨识放置在PCB(B)上的至少一个部件(A1-A4)；
所述控制单元还用于在所述基于对象的分析的发现与所述PCB(B)的经存储的组件信息之间的比较的基础上，确定所述至少一个部件(A1-A4)是否被放置在所述PCB(B)上，其中，所述基于对象的分析是在基于对象的分析程序的基础上来执行的，其中，所述基于对象的分析程序包括经训练的机器学习模型(ML)；
所述控制单元还用于：如果由对象检测分析确定一个或多个部件缺失或错误放置或所述PCB上放置了一个或多个错误的部件，则由所述基于对象的分析程序输出错误；
优选地，所述控制单元还用于显示所述PCB组件的图像以及与缺失或错误的部件或错误放置的部件有关的错误信息；
所述控制单元还用于由工作人员接收所述PCB组件的视觉检查的结果，所述视觉检查的结果表明所述对象检测分析的伪错误；
所述控制单元还用于写入用于由焊接设备来焊接所述PCB组件(C)的一个或多个设置。
14.一种用于生产印刷电路板组件(C)的生产***(1，2，3)，包括根据前述权利要求所述的检查***(2)以及与所述检查***连接的焊接设备(3)。
CN202180049468.8A 2020-07-13 2021-07-12 印刷电路板组件的检查及生产 Pending CN115804257A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20185488.2A EP3941177A1 (en) 2020-07-13 2020-07-13 Inspection and production of printed circuit board assemblies
EP20185488.2 2020-07-13
PCT/EP2021/069349 WO2022013159A1 (en) 2020-07-13 2021-07-12 Inspection and production of printed circuit board assemblies

Publications (1)

Publication Number Publication Date
CN115804257A true CN115804257A (zh) 2023-03-14

Family

ID=71607785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180049468.8A Pending CN115804257A (zh) 2020-07-13 2021-07-12 印刷电路板组件的检查及生产

Country Status (4)

Country Link
US (1) US20230262903A1 (zh)
EP (2) EP3941177A1 (zh)
CN (1) CN115804257A (zh)
WO (1) WO2022013159A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4254325A1 (en) 2022-03-30 2023-10-04 Siemens Aktiengesellschaft Inspection of printed circuit board assemblies
CN114980519B (zh) * 2022-05-25 2024-04-26 深圳友特精密配件有限公司 一种基于超长pcba的加工作业方法及***
CN115205291B (zh) * 2022-09-15 2023-02-24 广州镭晨智能装备科技有限公司 一种电路板检测方法、装置、设备和介质
CN117409261B (zh) * 2023-12-14 2024-02-20 成都数之联科技股份有限公司 一种基于分类模型的元件角度分类方法及***

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0871027A3 (en) 1997-04-07 1999-05-19 Hewlett-Packard Company Inspection of print circuit board assembly
US7167583B1 (en) * 2000-06-28 2007-01-23 Landrex Technologies Co., Ltd. Image processing system for use with inspection systems
KR101077080B1 (ko) 2007-11-12 2011-10-26 아주하이텍(주) 인쇄회로기판의 광학 검사 장치 및 그 방법
DE102011083793A1 (de) * 2011-09-29 2013-04-04 Esmo Ag Platinenträger, Lagervorrichtung, Wendevorrichtung und Handhabungsverfahren
JP6423597B2 (ja) 2014-02-28 2018-11-14 白光株式会社 制御ユニット、管理装置及び給電制御装置
US11158039B2 (en) * 2015-06-26 2021-10-26 Cognex Corporation Using 3D vision for automated industrial inspection
WO2019113510A1 (en) * 2017-12-07 2019-06-13 Bluhaptics, Inc. Techniques for training machine learning
JP7157948B2 (ja) * 2018-04-25 2022-10-21 パナソニックＩｐマネジメント株式会社 部品実装ライン、部品実装方法及び品質管理システム
US10896341B2 (en) * 2018-11-15 2021-01-19 International Business Machines Corporation Efficient defect localization/segmentation for surface defect inspection

Also Published As

Publication number Publication date
EP4136948A1 (en) 2023-02-22
EP3941177A1 (en) 2022-01-19
US20230262903A1 (en) 2023-08-17
WO2022013159A1 (en) 2022-01-20

Similar Documents

Publication Publication Date Title
CN115804257A (zh) 印刷电路板组件的检查及生产
US10991088B2 (en) Defect inspection system and method using artificial intelligence
CN108811365A (zh) 一种smt生产智能防错追溯方法及工艺
US11727553B2 (en) Vision analysis and validation system for improved inspection in robotic assembly
CN111915604A (zh) 一种互联网人工智能电子零配件识别与检测***
CN106912162A (zh) 一种pcb工程问题自动提取与审查的方法及其***
CN107396538A (zh) 一种主板生产线自动化生产管理方法
KR20120086410A (ko) 자동광학검사기의 티칭데이터 자동 생성 장치 및 그 방법
US7134599B2 (en) Circuit board inspection apparatus
US7684608B2 (en) Tape and reel inspection system
CN112579540A (zh) 元器件贴装位置标识方法、贴装控制方法、设备和介质
US20230237642A1 (en) System and method for tracing components of electronic assembly
JPH0964600A (ja) 検査出力の表示方法
US10929970B2 (en) Component mounting system and trace data acquisition method
JP4148365B2 (ja) プリント基板の検査装置
CN113573506A (zh) Pcb的生产工艺及pcb线路板
KR20100056234A (ko) 2ｄ바코드를 이용한 제품 관리시스템 및 방법
JP4446845B2 (ja) プリント回路基板の製造方法および製造装置
JP3370354B2 (ja) 実装基板生産装置の基準データ処理システムおよび基準データ処理方法
TWI758134B (zh) 依據元件識別資料使用圖形特徵二次檢測之系統及方法
JP4368996B2 (ja) 電子部品自動搭載システムおよび電子部品供給方法
CN117409261B (zh) 一种基于分类模型的元件角度分类方法及***
CN102789509A (zh) 一种标记不焊接器件的方法及***
CN115131264A (zh) 依据元件识别数据使用图形特征二次检测的***及方法
Chung et al. DVQI: A Multi-task, Hardware-integrated Artificial Intelligence System for Automated Visual Inspection in Electronics Manufacturing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination