CN108093618A - 通过比较3d高度轮廓与参照高度轮廓来检验贴装内容 - Google Patents

Abstract

本发明一种检测至少是部分贴装在电路板(180,880)上的元件组件(592,692)的电子元件(190)的贴装内容(191)的工序，所述工序包括：(a)设置一个从属于参照元件组件的电子元件的参照内容的参照三维高度轮廓(763b)；(b)检测贴装内容(191)元件的三维参照高度轮廓(761b)；(c)将检测所得的高度轮廓(761b)与参照高度轮廓(763b)进行比较，如果(d1)高度轮廓(761b)至少有一部分偏离了参照高度轮廓(763b)的相应部分，则将贴装内容(191)识别为缺失的贴装内容；如果(d2)高度轮廓(761b)与参照高度轮廓(763b)相吻合，则将贴装内容(191)识别为正确贴装内容。此外，本发明还描述了一种制造电子元件组件的工序以及一种可完成上述工序的自动装配机。

Description

通过比较3D高度轮廓与参照高度轮廓来检验贴装内容

技术领域

本发明涉及一种将电路板和电子元件进行机械贴装的一般技术领域。本发明尤其涉及一种电子元件检验的电脑程序及工序，用于针对至少是部分贴装在电路板上的元件组件检验电子元件的贴装内容，一种制造电子元件组件的工序和一种完成此工序的自动装配机。

发明背景

制做电子元件组件包括将电子元件与元件贴装板、特别是电路板进行贴装。通常来说，贴装过程通过也即在一个自动装配机中完成。一个典型的自动装配机具有（a）一个底座；（b）一个直接或间接安装在底座上的元件输入***，用于连续不断地将待贴装的电子元件输送至元件拾起位置；（c）一个门架***（Portalsystem），带有一个固定在底座上的固定元件，以及一个可移动的、尤其是可以在相对于固定元件的两个不同方向进行定位的元件；以及（d）一个安装在可移动元件上的贴装头，其构造可使其拾起元件拾起位置上的元件并在可移动元件适当的移动及定位后将其放置在电路板事先确定的位置上。

不过，在贴装过程中，有可能出现如下的错误及损害：

（A）单个的、通常是很小型的元件在贴装头放置在其确定位置前掉出，成为电路板上的“多余”元件。这些元件在下文中也被称为“丢失元件”。在纠错功能较强的贴装过程中，虽然能够在放置元件前识别出意外跌落的相关元件并将其重新拾起，但尽管如此，当元件掉落在元件贴装板上元件组件贴装的区域时，还是会引起问题并损坏电子元件。尤其是当跌落的区域内已将一个较大的元件或其他部件，如隔离元件或扁平连接器等放置在已贴装的元件上时，意外跌落的元件就变得格外危险。

（B）在贴装时遗忘了一个对电子元件组件来说所必需的元件。例如，当某个元件未被拾取或当某个被拾取的元件在贴装头的运送途中意外丢失，而在之后的“假装”贴装中并未识别出这一错误时，便可能出现这种情况。这类贴装差错在下文中被称为“缺失的元件”。而尤其当缺失的元件本应位于隔离元件或隔离片下面时，缺失的元件就不能被识别或者必须使用极为复杂的检查方法（如X射线分析）才能被识别。

为识别出（A）和（B）类错误，已知的方法是用特殊的机器完成自动的视觉检测(Automated Optical Inspection = AOI)。这类视觉检测机器通常被安装在沿电子元件组件制作线传送方向上自动装配机的后方。这样一来就会出现如下问题，当出现上述两类错误或其中之一种错误时，元件贴装板上待检测的区域已经被后续贴装的较大的元件或如隔离板等部件遮盖。因此，这就需要运用特别复杂的工序（如X射线检测）。

为避免分开安装的AOI机器的这种弊端，也出现了在元件贴装板内相关区域进行检测的方案，也即在后续的较大远见货部件被贴装之前进行检测，因此此时元件贴装板的相关区域从上向下看是敞开的。但是，上述（A）或(B)类错误却并不能通过经典的灰度值或彩色图像检测方法用人眼很好的识别出来，而人眼在此情境中已经是非常好的检测手段。由此，上述（A）或(B)类错误（i）一方面对自动的图像分析及其算法，（ii）另一方面对操作者提出了很高要求，特别是常常只有具有相当专业知识的操作者通过很多次测试才能找到算法合适的给定参数。为降低这种需求，已知一种用3D技术对至少是部分贴装在元件贴装板上的电子元件进行检测。为此，可使用常见的是三维（3D）工序，例如激光三角测量或条纹投影。通过3D测量，可计算出元件贴装板某一区域的高度轮廓或高度图。在这样的高度图中，上述（A）（B）类错误更为清晰可辨。同时也能降低由操作者为自动图像分析的算法设定合适的给定参数所需耗费的时间或成本。但为完成这样的工序，必须使用一种特殊硬件，这种硬件一方面比较昂贵，另一当面也将占据（自动装配机中）较大的位置，例如常见的用于自动装配机内的特殊3D检测头，其代替贴装头安装在门架***（Portalsystem）可移动的部件上。但这种解决方案会带来极大的额外成本，而且由于占用了整个门架***，这一不再带有贴装头的门架***也将极大降低相应自动装配机的贴装效率。

本发明的任务在于，创造一种简单有效地识别“丢失的元件”的工序以及相应的设备。

发明内容

本发明的任务由独立权利要求书的发明对象实现。本发明具有优势的实现形式在独立权力要求书中得到描述。

根据本发明的第一个方面，将描述一种针对至少是部分贴装在电路板上的元件组件检验电子元件的贴装内容的工序。所述工序包括（a）设置一个从属于参照元件组件的电子元件的参照内容的参照三维高度轮廓；（b）检测贴装内容元件的三维参照高度轮廓；(c)将检测所得的高度轮廓与参照高度轮廓进行比较，如果高度轮廓至少有一部分偏离了参照高度轮廓的相应部分，则（d1）将贴装内容识别为缺失的贴装内容；而当高度轮廓与参照高度轮廓相吻合，则（d2）将贴装内容识别为正确贴装内容。

上述工序是基于如下认识，即通过将一个实际贴装内容的实际高度轮廓与一个参照贴装内容的参照高度轮廓进行相对简单的对比，能以很高的准确度确定贴装错误。由此一来，就能阻止相关的电子元件组件进入后续处理程序，而最终导致生产出错误的电子元件组件。后续的处理程序可能包括在已贴装元件旁边或上面继续进行贴装，包括放置如隔离板等电子元件和／或机械部件。同样，一旦发现错误，也能阻止后续的对已贴装元件和／或部件与元件贴装板之间的焊接，特别是在所谓回流炉（Reflow-Ofen）中的焊接。这样，在出现错误的情况下，就能在较早的作业阶段及时阻止对元件组件的后续处理。在理想情况下，可针对被确认为错误的贴装内容通过自动或人工的方式进行修正。

本发明所述工序尤其适用于识别本发明导言部分所述的（A）（B）类错误。在对确认错误的贴装内容进行修正的后续处理中，修正（A）类错误主要在于去除多余及丢失的元件。修正（B）类错误尤其在于补充贴装缺失的元件。

通过比较两个在本发明中也被称为“高度图像”的（三维）高度轮廓，就能清晰准确地识别（之前丢失的）多余元件与缺失的元件。这样一来，本发明所述的检验贴装内容的工序也能被视为一个结果有效性非常高的三维检验工序。

本发明中所说的高度轮廓以及参照高度轮廓可被视为对相对于贴装面（也即垂直于Z向坐标轴的XY 平面）的Z向坐标轴也即高度坐标轴的数学描述，而贴装面至少是对应相应贴装内容的元件贴装板的一部分。当然，也可通过诸如3D视角对高度轮廓进行图表式展示，以便能够很好地用人眼识别各个高度轮廓。

本发明中的“贴装内容”的概念尤其可理解为从属于某一架设或应该架设在元件贴装板上的电子元件组件的多个电子元件。参照贴装内容则对应某一元件组件的真实或虚拟的测试贴装，这种测试贴装应确定为电子元件组件或电子元件组件一部分的正确贴装。

直观地说，根据本发明所述的工序，将通过高度图像的对比完成对丢失及多余元件（（A）类错误）以及缺失的元件（（B）类错误）的检测。在此过程中，可在一个或几个针对元件贴装板待检测区域的练习步骤中逐步习得“正确情况”下被贴装元件无错误的贴装内容的高度图像。在检测的过程中，将计算待检测元件贴装板区域的高度图像，以此与习得的正确高度图像进行对比。

所述工序所含辨识错误的算法尤其可以通过如下途径保证很高的有效性，即用一个所谓“黄金范例”来***整的）得以在后续测算中得到“抑制”。

根据本发明另一种实现形式，对高度轮廓与参照高度轮廓进行比较即计算检测到的三维高度轮廓与参照高度轮廓之间的差值，其中，（i）当针对贴装内容的元件贴装板表面的部分区域的高度轮廓差值大于第一个事先给定的正值时，便可确认在贴装内容区域出现了意外跌落的多余的元件。（ii）当针对贴装内容的元件贴装板表面的部分区域的高度轮廓差值小于第二个事先给定的负值时，便可确认出现了缺失的元件。

通过差值计算来比较两个高度轮廓的优势在于，可通过数学的、同时也就是极简便可靠的方式来实现比较。在贴装内容无误的情况下，对整个表面检测区域内的差值计算将得出一个至少是趋近于零的值。而在贴装内容出现意外多余的元件或缺失的元件时，计算得出的高度轮廓差值将是一个显著的正值或负值。

本发明所述“高度轮廓差值”尤其可理解为一种数学运算的结果，即对与某一贴装内容相对应的元件贴装板表面区域内多个xy轴坐标内位置进行运算的结果，其中，对于（多个）xy轴坐标内位置中每一个xy轴坐标内位置，都将其检测到的实际高度轮廓的实际高度值与参照高度轮廓的参照高度值相减，在结果中便只运用这一高度轮廓差值来确定相应的贴装内容是否正确无误。

更直观地说，在本发明这一实现形式中，只需简单计算检测到的实际高度图像与参照高度图像之间的差值。在理想的、正确无误的贴装内容情况下，为对应某一贴装内容的元件贴装板区域上多个不同位置也即像素计算出来的所有像素的差值都应至少是趋近于零。如果相关检测区域内出现了一个多余的元件，则至少有一部分区域的差值为显著的正值。而当缺少某一应有的电子元件或该电子元件没有到位时，相应部分区域的差值为显著的负值。需要指出的是，除高度差值本身外，还有其他的信息可用于差异高度轮廓的判定以确定意外多出的元件或缺失的元件，例如，这些信息可能包括相关联区域的形状以及／或者大小，其中，这些区域相对于参照高度图像具有明显不同的实际高度图像的高度位置。

根据本发明另一种 实现形式，参照高度轮廓是一个相对于相关平面的相对参照高度轮廓，而高度轮廓是一个相对于相关平面的相对高度轮廓，其中，相关平面即指元件贴装板的表面。其优势在于，三维高度轮廓将只包括电子元件组件中元件的高度结构。由此，在实践中几乎难以避免的元件贴装板表面的卷曲便（在后续的数学计算中）被自动排除了，所述工序在识别错误或正确的贴装内容方面的可靠性也得以进一步提高。

根据本发明另一种实现形式，将通过光度立体分析来测定三维高度轮廓。其优势在于，所述工序不再需要成本不菲的硬件设备，例如通过三角测量或条纹投影进行三维检测所需要的硬件。

通过简单而有效的光度立体分析，可借由足够高的空间分辨率检测到高度轮廓，以便以非常高的检测精度辨认出即使是非常小的（多余的或缺失的）元件。完成光度立体分析只需要一个普通的工业照相机以及一个适宜的照明装置，其中，照明装置能够连续从不同方向照亮将被三维检测的对象，也就是至少部分被贴装的电子元件组件，同时还能对从不同方向照亮并被照相机取像的图片按其不同的空间亮度进行分析。在英语中简称为"Photometric Stereo"的光度立体分析的原则在于可参见如下列出的出版文献：

Ikeuchi, K. und Horn, B.: "An Application of the Photometric StereoMethod", MIT Memo 539, 1979

Coleman, E.N. und Jain, R.: "Obtaining 3-Dimensional Shape of Texturedand Specular Surfaces using Four-Source Photometry", Computer Graphics andImage Processing vol.18, 1982

直观地说，通过用一个比较普通的照相机连续多次取相，而且每一次取像均借助不同方向的照明，就能在光度立体分析中得出一个高度图像。照相机取像所得图像的每个像素可对应多个强度值，而每个照明的强度值从属于一次照明或说照明场景。根据这些强度值可以推算出每个像素所展现的表面元件相对于照相机轴的角度。而一般来说，这一角度由两个角度值确定，即一个X轴方向的角度值和一个Y轴方向的角度值。从这两个角度值出发，通过将相邻的像素的角度前后连接起来，就能算出所求的高度图像。也就是说，这是一种立体分析工序， 但不同于用位于不同位置的多个照相机取像的“经典”立体分析，这里只用一个照相机在不同的照明场景中取像。

对光度立体分析中不同照明场景的数量，原则上并无上限。不过，为实现可靠的三维高度轮廓的取像，则需要运用至少三个不同的照明场景。为将相应照明设备的成本控制在可接受的范围内，可反复利用三到四个照明场景，以使待检测的贴装内容每次都从不同方向被照亮。

根据本发明另一种实现形式，测得贴装内容中元件的三维高度轮廓包括（a）用第一束光从第一个斜角角度朝元件贴装板方向照亮元件；（b）在第一束光照明下用照相机对元件进行第一次拍摄；（c）用第二束光从第二个斜角角度朝元件贴装板方向照亮元件；（d）在第二束光照明下用照相机对元件进行第二次拍摄；（e）用第三束光从第三个斜角角度朝元件贴装板方向照亮元件；（f）在第二束光照明下用照相机对元件进行第三次拍摄；（g）以第一次拍摄、第二次取拍摄、第三次拍摄所得照片中单个像素的强度值为基础计算出高度轮廓。

这一实现形式是基于如下认识，即通过对由同一个照相机在不同照明条件下取得的三张不同元件照片进行组合性的3D图像分析，就能以简单的方式计算出所求的高度轮廓。其中，以不同照片中单个像素的强度值也即亮度值为基础，计算出表面元件与每个照明设备相对应的角度值。在获得所有表面元件的角度值后，就能通过对具有不同角度值的表面元件进行适宜的三维组合，从而得出元件的整个空间结构。

应当指出，贴装内容包含的（多个）元件在照相机与元件贴装板之间具有不同的相对位置，而每一个元件都需要通过至少三次取像测得。尤其是当待检测的区域过大并超出照相机的可见范围时，更是如此。

根据本发明另一种实现形式，第一照明光、第二照明光和／或第三照明光具有不同的光谱分布。其优势在于，尤其当需要用具有不同波长的光才能最清晰地对贴装内容、元件或元件结构的材料和／或表面进行光学取像时，才能提高取得图像的质量。也就是说可能出现这样的情形，即待检测的结构的一部分最好用蓝光识别，而该结构的另一部则最好用另一种颜色的光、例如红光来识别。

在此语境中，“不同光谱分布”尤其针对于具有不同照明颜色的同一束光。更具优势的是，另外两束光也具有这种不同照明颜色。不过，也可以考虑不同照明光具有不同的光谱分布。

“不同光谱分布”也可指投向同一个元件或元件的同一个结构的不同方向照明光具有多种不同颜色。换言之，不同方向照明光具有（彼此）相异的颜色。比如，在三束照明光中，第一束照明光一直是红色，第二束照明光一直是蓝色，第三束照明光一直是绿色。这在许多实际运用中具有优势，因为可以仅通过一个光谱分辨照相机的单次拍摄就能实现光谱多样性。在此情形中，上文所述的第一次取像照片为第一种颜色，第二次取像照片为第二种颜色，第三次取像照片为第三种颜色。这时便不像在单一照明颜色时所要求，需要依次被光谱分辨照相机拍摄，而是可以同时被光谱分辨照相机拍摄。

根据本发明另一种实现形式，照相机是一种自动装配机的电路板照相机。其优势在于，本发明所述工序可以很简单地在传统自动装配机中完成，因为传统自动装配机中也已经具备并使用了照相机。因此，在一些特别适宜的自动装配机中，便不再需要额外的硬件，因为其视觉***中除照相机外也包含了适宜的照明设备，因而可以设置不同的照明场景。由此，本处所述工序便可仅靠一种“作用”于已知自动装配机的适宜软件实现。

例如，对这些尤其适宜的自动装配机来说，可利用已经装配在其中的电路板照相机。此外，这种自动装配机还已具备一种分为四瓣的蓝光照明设备，可供完成光度立体分析。具体需求尤其可能包括：（i）一个理想状况下与待贴装的元件贴装板的表面呈约45°角的斜角方向的照明；（ii）至少是接近于点状的光源；（iii）对照相机可视范围亮度均匀的照明。对这种自动装配机而言，唯一需要借用软件简单视线的修正的问题在于，要使蓝光照明的四瓣能够分别单独得到控制。

对这些尤其适宜的自动装配机而言，电路板照相机通常和贴装头一样安装在门架***内并且可以和贴装头一样经由该门架***在自动装配机内进行定位。也就是说，电路板照相机总是和贴装头一起被运行或定位。这样以来，对元件高度轮廓进行三维检测具有优势的测量流程如下：（a）对门架***进行定位，以使电路板照相机位于待检测的元件贴装板区域上方；（b）拍摄四张照片，每拍一张照片则分别打开蓝光照明四瓣中的一瓣；（c）通过光度立体分析从四张照片中计算出至少是部分贴装的元件组件的高度图像；（d）通过将计算出的实际高度图像和参照高度图像的模型进行比较，识别并确认多余的元件或缺失的元件。

在此语境中，“电路板照相机”尤其可理解为一种安装在自动装配机中，能够对待贴装电路板上至少一个标记进行光学检测、以使位于“电路板照相机”之后的图像分析单元能够精确检测到元件贴装板空间位置的照相机。由此可以确定待贴装元件贴装板在自动装配机坐标***中的空间位置，而这是绝对必要的，因为由此便可通过对自动装配机贴装头的适宜定位将元件也放置在元件贴装板上的正确位置。

根据本发明另一个方面，将描述一种制造电子元件组件的工序。所述工序包括（a）将元件贴装板与电子元件进行贴装，电子元件至少有一部分构成电子元件组件的贴装内容；（b）通过完成上述检测电子元件贴装内容的工序来完成对至少是部分贴装的元件贴装板的贴装内容的检测；（c）当贴装内容被检测为正确无误时，完成至少一步后续制造电子元件组件的步骤。

所述制造电子元件组件、或如有可能只是部分制造电子元件组件的工序是基于如下认识，即只有在完成对贴装内容的检测之后才能继续和完成电子元件组件的制造。这样可以避免花费不必要的成本对出现错误的电子元件组件进行后续处理，而后者至少是极有可能导致制造出残次电子元件组件。

上文所述后续处理可以是在至少是部分贴装电子元件组件之后继续完成电子元件组件制造的任意处理步骤。例如，至少为一步的后续处理步骤可以是对元件贴装板和电子元件的继续贴装以及／或者是对已贴装电子元件的焊接，特别是在一个所谓回流炉中对电子元件的焊接。

根据本发明的一种实现形式，该工序还包括（a）在确认因具有多余元件而出现多余的贴装内容后对多余元件的移除；（b）完成制造电子元件组件的至少一步后续处理。

对多余元件的移除可以通过自动装配机以如下机械方式完成，即用贴装头的吸嘴将多余的元件拾起并将其运送至废料处理器的适当位置。在此情况中，通过之前进行的三维检测而得知多余元件的具***置就尤为重要。如果该具***置并非至少是至少一个正确放置的元件的连接处，那么此处通常就不会有焊膏，也就是说，多余元件将不会、或只是很轻微地粘粘在此处。这样以来，贴装头的吸嘴就能不太费力地将元件拾起。当然，用别的拾起工具来取代贴装头也是可以的，但这会带来额外的设备成本。

当然，也可用人力来代替机械完成对多余元件的移除，比如，操作人员可拿镊子将相应的元件移除。应当指出，在此情况中，用人力移除多余元件并不需要很大的成本投入，因为如今一般自动装配机的运行可靠性都已经非常高，意外跌落元件的情形只会偶尔发生。

根据本发明的另一个实现形式，该工序还包括：（a）如果贴装内容因为缺少元件被确认为缺失元件的贴装内容，则补充贴装缺失的元件;以及（b）完成制造电子元件组件的至少一步后续处理。

所述补充贴装丢失的元件最好是由自动装配机及其贴装头以自动的方式完成。当然，也可以通过人工完成补充贴装。

根据本发明另一种实现形式，完成至少为一步的制造电子元件组件的后续处理步骤包括将贴装对象与贴装内容进行贴装，这里的贴装内容包括（i）被确认为正确的贴装内容，（ii）被移除了多余的元件的贴装内容，以及（iii）补充贴装了缺失的元件的贴装内容。

通过此处所述工序，在经前文所述的对电子元件组件（位于下方位置的）贴装内容进行三维检测后完成贴装也即电子元件组件的制造之前，可以简单的方式准确地判定，至少构成电子元件组件上方位置一部分的贴装对象将要遮盖住的电子元件组件的下方位置中是否存在错误。在贴装完电子元件组件上方位置之后，便只能以非常复杂的检查方法（例如X射线分析）才能对其下方位置进行检测，因而在实践中也很少真正采用这种复杂的方法。

根据本发明另一种实现形式，贴装对象包括（i）一个平面元件，以及／或者（ii）一个机械部件，特别是一个隔离金属片或一个连接器。其优势在于，对于实践中所谓的堆叠组件而言，可以在其组装过程中就对堆叠组件不同位置的贴装内容的正确性进行检测。

根据本发明的另一方面，将描述一种自动装配机，该自动装配机具有（a）一个底座；（b）一个直接或间接安装在底座上的元件输入***，用于连续不断地将待贴装的电子元件输送至元件拾起位置；（c）一个门架***（Portalsystem），带有一个固定在底座上的固定元件，以及一个可移动的、尤其是可以在相对于固定元件的两个不同方向进行定位的元件；以及（d）一个安装在可移动元件上的贴装头，其构造可使其拾起元件拾起位置上的元件并在可移动元件适当的移动及定位后将其放置在电路板事先确定的位置上;(e)一个图像处理***，其构造可使其通过前文所述检测贴装内容的工序，对至少是部分贴装在元件贴装板上的电子元件组件所包括的电子元件的贴装内容进行检测。

所述自动装配机是基于如下认识，即早在贴装元件贴装板的过程中，就能对部分贴装的错误贴装内容进行光学检测，并且元件贴装板的后续贴装取决于光学检测的结果。这样一来，在制造电子元件组件的过程中，就能尽早识别错误，以避免错误的部分贴装继续被处理称为残次的电子元件组件。

自动装配机可以是一种所谓的拾取和放置（Pick & Place）贴片机，其中，门架***的可移动组件可以平行于待贴装元件贴装板的表面双向移动。其贴装头最好是一种所谓的多重贴装头，能够首先从元件输入***拾取多个电子元件，在同时运送拾取的元件至自动装配机的贴装区域后，又能连续不断地讲元件放置在元件贴装板表面上相应的贴装位置。

相对于与贴片机分离的自动光学检测机器，本发明所述的自动装配机能够立即识别多余的或缺失的电子元件。由此，对具有至少两部分不同位置贴装内容的层状结构组件而言，就能更简便地识别其下方位置上多余和缺失的元件，而且是在上方位置还未贴装、因而位于下方的部分贴装内容还能被图像处理***的照相机自由取像（以及被图像处理***的照明设备无障碍地照亮）的时刻进行识别。也就是说，对下方部分贴装内容的三维光学检测应在贴装或放置遮盖性元件或部件之前完成。

根据本发明一种实现形式，图像处理***包括一个照相机和一个置于照相机程序下游的图像分析单元。照相机与贴装头一同被安装在门架***可移动的部件上。这意味着，用贴装头进行贴装与用照相机进行检测需要可移动部件至少是趋近于相同的定位。这尤其在如下情形中具有优势，即当后续贴装包含放置在已经在相关区域内完成贴装的（部分）贴装内容上方的元件或部件。通过光学检测和后续贴装之间时间上的紧密衔接，就能保证对（部分）贴装内容中多余以及缺失的元件进行识别的最大准确性。例如，在检测之后以及在后续贴装之前，在元件贴装板相关区域内丢失元件的可能性几乎被排除。

根据本发明另一是实现形式，照相机是自动装配机的电路板照相机，如前文所述，其优势在于，传统的自动装配机不再需要额外的照相机硬件。对于“电路板照相机”这一概念的意义，可参见前文的描述，即检测至少是部分贴装在元件贴装板上的电子元件组件所含元件的贴装内容可通过使用电路板照相机的工序完成。

特别是在使用光度立体分析的情况下，一个标准的电路板照相机和一个标准的照明设备的质量就以足够支撑完成可靠的三维检测。此外，这种标准光学***也只需要一个带有额外（多个）投影器的特殊3D传感器所需要的极小的结构空间。这样一来，在利用此处所述自动装配机时，便只需要为自动装配机输入合适的软件程序，而不会对自动装配机的功能产生障碍。尤其是，此时既不需要一个进行自动光学检测的单独的机器，也不需要安装特殊3D视觉***的单独的门户。

为完成前文所述工序，一些自动装配机只需进行简单的改造，因为可以使用它们已经具备的硬件（电路板照相机、照明设备）完成检测任务。只有对照明设备的控制需要简单改造。这样一来，硬件开发的成本非常低，也不会产生额外的空间需求，尤其是不必为光学传感设备“牺牲”门架***。

根据本发明另一方面，将描述一种检测至少是部分贴装在元件贴装板上的电子元件组件所含元件的贴装内容的电脑程序。在程序处理器的控制下，该电脑软件用来完成前文所述的对贴装内容进行检测的工序。

在本发明中，提到“电脑软件”时与“软件元件”、“电脑软件产品”以及／或者“电脑可读媒介”这一概念具有相同的含义，都包含控制电脑***的指令，以以适宜的方式协调某一***或工序的工作方式，病达到本发明所述工序相关的效果。

该电脑软件可作为电脑可读的指令代码用任意事宜的程序语言写成，例如JAVA,C++ 等。这一电脑软件还可存储在电脑可读的存储媒介上（CD-Rom, DVD, 蓝光盘，可移动驱动器，易失性或非易失性存储器，内置存储器/处理器等。）该指令代码能够将电脑或其他如自动装配机的控制单元等可编程仪器如此编程，以实现所需要的功能。此外，该电脑程序也能上传在如互联网等共享网络中，以供使用者在需要时下载。

本发明既可以通过一种电脑程序也即软件，也可以通过一个或多个特别的电子装置也即硬件以软硬件任意混合的形式实现。

应当指出，本发明不同的实现形式针对不同的发明对象为进行了描述。尤其是本发明的一些实现形式以装置要求，另一些实现形式以工序要求进行了描述。但是，专业人士应立即意识到，如非有其他明确表述，则除属于本发明对象某一类型的特征可以互相组合外，属于本发明对象不同类型的特征也可以任意组合。

本发明其他优势和特征见于下文中以范例的形式描述的现阶段具有优势的实现形式中。本发明附图中的单个图示均为示意图，而非遵循严格的比例尺。

附图说明

图1展示了用于对结构进行三维检测的图片处理***的结构示意图。

图2展示了一种用于对贴装内容的电子元件的高度轮廓进行三维检测的视觉***的俯视图。

图3展示了视觉***的构造的透视***图。

图4a 展示一个完全贴装在了元件贴装板上的电子元件组件的俯视图以及其高度轮廓。

图4b同样展示了一个相应的、但缺失了两个元件的元件组件俯视图以及其高度轮廓。

图5a,5b和5c分别以俯视图的形式，一个高度轮廓以及相对于参照高度轮廓的差异高度轮廓展现了一个缺失了三个元件的电子元件组件。

图6a,6b和6c分别以俯视图的形式，一个高度轮廓以及一个差异高度轮廓展现了具有三个多余电子元件的电子元件组件。

图7以图解的方式展示了识别多余电子元件的工序的流程。

图8展示了一个用于制造电子元件组件的自动装配机整体结构示意图，本发明所述的通过运用光度立体分析检测贴装内容的工序在其中完成。

附图标记

100 图片处理***

102 中心光轴／照相机的光轴／照明设备的光轴

105 照明设备

110 第一光源

110a 第一照明光／第一光轴

120 第二光源

120a 第二照明光／第二光轴

130 第三光源

130a 第三照明光／第三光轴

150 照相机

160 数据处理单元

162 控制单元

164 分析单元

180 元件贴装板／电路板

190 电子元件

191 贴装内容

203 视觉***

210 第一光源

220 第二光源

230 第三光源

240 第四光源

250 照相机

304 安装板

305 照明设备

308 电路板

312 第一发光二极管／主光源

314 第一光波导体

322 第二发光二极管／主光源

324 第二光波导体

334 第三光波导体

342 第二发光二极管／主光源

344 第四光波导体

352 物镜

492a （完整的）电子元件组件

492b （缺失两个元件的）电子元件组件

592 （缺失元件的）电子元件组件

692 （多余元件的）电子元件组件

761a 检测数据的数据组

761b 高度轮廓

763a 参照数据的数据组

763b 参照高度轮廓

765 差异高度轮廓

766 多余元件的2D展示

767 含多余元件的元件组件的2D展示

769 多余元件

S1 对齐+光度立体分析

S2 光度立体分析

S3 减法

S4 分割

S5 一致性检查和分类

860 数据处理单元

870 自动装配机

871 控制单元

872 框架

872a 导轨

873 承载臂

873a 导轨

873b 支撑元件

874 贴装头

874a 吸嘴

874b 贴装区域

875 元件输入装置

875a 元件拾取位置

876 电路板照相机

877 元件照相机

879 传送带

880 元件贴装板r

880a 标记。

具体实施方式

应当指出，下文的详细描述中，不同实现形式的特征或组成部分若与其他实现形式的特征或组成部分一样或至少功能相同，则这些特征或组成部分以相同的数字或图标标记，或者这些标记仅在开头第一个数字加以区别。为避免不必要的重复，在一种实现形式中详细描述过的特征或组成部分，在重复出现时便不再做详细说明。

另外还需指出，下文中详细描述的实现形式只是本发明所有可能的实现形式中有限的几个示例。尤其可能是，单个实现形式中的特征可以以恰当的方式相互组合，因此，对于专业人士而言，本发明中详细描述的实现形式显然也展示出了更多种不同的实现形式。

此外，还应当指出，文件中使用的与空间相关的概念，比例“前”和“后”，“上”和“下”，“左”和“右”等，都是为了表述一种元件与另一种元件之间的关系，这在图表中能够看得更清楚。与此相应的，与空间相关的概念也可用于表达与图表所示不同的空间方位。不言自明的是，为了使描述更容易，所有这些空间相关的概念都以图表所示为基础，但并不局限于图表，因为在实际使用中，所有被描述的装置、元件等都可能具有不同于图表所示的方位。

图1展示了用于对结构进行三维检测的图片处理***100的结构示意图。，通过该***，一个贴装在元件贴装板180上的电子元件组件的贴装内容191的三维结构能够以光度立体分析的方法测得。图片处理***100具有一个照明装备105，该装备又具有一个第一光源110，一个第二光源120以及一个第三光源130。光源110，120，130从上方以不同的斜角角度照亮贴装内容191的电子元件190。每束照明光线及其光轴分别以符号110a,120a和130a标出。

图像处理***100还具有一个照相机150，位于待测量的贴装内容191的上方并且安装在一个中心光轴102上。所谓中心光轴102与照相机150从上往下垂直投射于电路板180的光轴，以及照明设备105的光轴是重合的。

此外，图像处理***100还具有一个数据处理器160，该处理器又包含一个控制单元162和一个分析单元164。控制单元162与照相机150相连并且通过虚线所示的连接线与光源110，120和130相连，这种连接方式能够使贴装内容191连续在第一照明光110a照射下被拍摄第一张照片、在第二照明光120a照射下被拍摄第二张照片，并第三照明光130a照射下拍摄的第三张照片。分析单元164则用于以第一张照片、第二张照片和第三张照片中单个像素的强度值为基础，计算出贴装内容191的三维结构。

根据图中所示的实现形式，第一照明光的第一光轴110a,第二照明光的第二光轴120a以及第三照明光的第三光轴130a具有相对于元件贴装板180以及中心光轴102相同的夹角α。相对于电路板180表面上的参照轴，光轴110a,120a,130a分别具有一个不同大小的方位角，而光源110，120，130则均匀分布在图像处理***100的中心光轴102周围。

直观地说，图像处理***100是通过如下方式计算出待检测的贴装内容191的高度图像，即对元件贴装板180也即元件贴装板180的相关部分拍摄多张照片，其中每张照片都是在不同方向上的光源照明下拍摄而成。这样一来，取决于使用光源110，120，130的数量，照片的每一个像素都对应多个（此处为三个）高度值也即灰度值，每个光源对应一个值。从这些强度值就能算出（既包括x轴方向也包括y轴方向上）贴装内容191的表面元件与照相机150光轴102之间的夹角。从这两个（x轴方向与y轴方向上的）夹角就能算出所求的高度图像也即所求的高度轮廓。

图2展示了一种用于对贴装内容的电子元件的高度轮廓进行三维检测的视觉***203的俯视图。视觉***203具有一个照相机250以及四个光源，分别为第一光源210，第二光源220，第三光源230以及第四光源240。根据此处所示实现形式，所有的光源210，220，230，240都分别具有四个发光二极管，分别能被同时控制并激活。四个光源210，220，230，240分别形成环状照明的一个可单独操控的部分。

图3展示了视觉***203的构造的透视***示意图。在适宜的贴片机中，视觉***203无需光学或机械部件的改造就能实现本发明所述用以检测贴装在元件贴装板上电子元件组件所含电子元件的贴装内容的工序。唯一需要的是实用图1中所示的控制单元，以合适的方式控制不同的光源210，220，230和240以及照相机250。此外，还需以合适的方式对图3中未画出的分析单元进行编程，以便能以不同照片中单个像素的强度值为基础计算出贴装内容的三维结构。

从图3可见，视觉***303具有一个作为底座的安装板304，安装有含一个物镜352的照相机250。安装板304上还安装有一个含有电路板308的照明装备305。电路板308上有许多个发光二极管，可从不同角度、如有必要还可以不同的颜色照明光照亮待检测的对象物。对本发明所述的对贴装内容高度轮廓的检测而言，则只需要少量几个这样的发光二极管。在本发明中，所需要的发光二极管被称为主光源。在图3的透视视角中，只能看见光源210，220以及240的发光二极管312，322和342。光源230的发光二极管被遮蔽了。

总共四个光源210，220，230和240分别各具有一个光波导体314，324，334和344。光波导体314，324，334和344的光出口由向左弯曲的表面实现，这些表面也就分别构成了光源210, 220, 230, 240进行光发射的表面。光波导体314，324，334和344朝向安装板308的光入口分别与主光源312, 322，342以及图3中未显示的另一个主光源实现光耦合。

根据此处所描绘的实现形式，主光源312, 322，342以及图3中未显示的另一个主光源分别对应一个光波导体314, 324, 334, 344以及一个照明区域，并且都发射出蓝色光。当然，可能发射出其他颜色的光。

未测量贴装内容的三维结构，可遵循如下测量流程：

（A）用视觉***203对门架***进行定位，以使照相机250位于含贴装内容的电路板的待分析区域的上方。

（B）连续拍摄四张照片，拍摄每张照片时采用不同的照明。

（C）通过四张照片的强度值计算出高度轮廓也即高度图像。

图4a是一个俯视图（左）和一个完全贴装在元件贴装板上的电子元件组件492a的高度轮廓（右）。总共12个元件在高度轮廓中比在俯视图中更清晰可辨。

图4b同样通过一个俯视图和一个高度轮廓展示了一个相应的元件组件492b，但元件组件492b缺失了两个元件。缺失的元件 在俯视图中分别用椭圆的线条突出标示。在这幅图中，高度轮廓也比俯视图（当然不包括两个椭圆线条）更清晰地展现出两个缺失的元件。

图5a,5b和5c展示了检测电子元件组件592贴装内容的工序。图5a中用灰度值图像表现了电子元件组件592。除了一些在图5右上方可以看到的比较小的无源元件之外，图5a的电子元件组件下方还留有用于两个有源电子元件的安装位置，其中每个位置都具有六个电子元件的连接口。图5b展现了一个光度立体分析示意图，其中（在图5b右上方）缺失了两个比较小的无源元件。在图5b下方可以看出，只有左边的安装位置被相应的IC元件占用，而右边的安装位置却由于疏忽没有被相应的IC元件占用。

图5c展现了一个差异高度轮廓，即通过无错误的贴装内容的参照高度轮廓与图5b中展示的电子元件组件592的高度轮廓相减而得到的差异高度轮廓。缺失的两个无源元件以及一个缺失的IC元件及它们本应所处的相关元件贴装板上的位置尤其清晰可见。

图6a,6b和6c以一个俯视图，一个高度轮廓以及一个差异高度轮廓展示了一个含有三个多余电子元件的电子元件组件692。根据此处展示的实现范例，多余的元件是贴装头运输途中意外跌落至电子元件组件692区域内的元件。在灰度值图像的俯视图（图6a）以及通过光度立体分析得出的高度图像（图6b）中，用圆圈勾勒出了多余的元件分别所处的位置。通过对比两个图像6b和6a可以看出，多余的元件在光度立体分析的高度图中明显更清晰可见。但对多余元件辨识最为清楚的是在图6c的差异高度轮廓中。根据此处所示范例，差异高度轮廓是通过用高度图像（图6b）减去无错误（无多余元件）贴装内容的参照高度轮廓的数学运算所得。因此，在差异高度轮廓中，多余的元件以向上凸起的尖端显示出来。很显然，在相反的差异算法中，也即当用参照高度轮廓渐去高度轮廓（图6b）时，得出的将是向下凸出的尖端。

图7以图解的形式展示了识别多余电子元件组件769的工序流程。首先，利用光度立体分析得出一个检测数据的数据组769。根据此处所描述的范例，这一数据组769包含四个单独的数据记录，分别对应一种不同的照明情况。此外，还使用了一种包含了无错误元件组件的相应单独数据记录的参照数据组763a。

在步骤一S1中，用常见的图像处理方法将不同的数据组彼此对齐，以令不同数据组中共同的结构在空间上重合。同时，仅以单独的数据记录为基础，通过光度立体分析算出相应电子元件组件被检测的贴装内容的高度轮廓761b。在步骤二S2中，再次通过光度立体分析算出（虚拟的）无错误电子元件组件的参考高度轮廓763b。

在步骤三S3中，用高度轮廓761b减去参照高度轮廓763b，由此得出差异高度轮廓765。在差异高度轮廓765中可以尤其清晰地识别多余元件。

在步骤四S4中完成一次分割，在此处所描述的范例中，分割的结果是对多余元件769的2D展示。在这一2D展示中，尤其能清晰地识别出多余元件769在相应电子元件组件所在的元件贴装板区域内的位置。

在步骤五S5中，检查之前图像处理的一致性并对多余元件769进行分类。为便于人工或自动在修复程序中简单而可靠地将自动装配机中的多余元件769移除，还将2D图像中展示多余元件769的处于相应电子元件组件其他元件中的情况。

图8展示了一个具有一个框架872的自动装配机870，两个平行设置的导轨872a安装在框架上。两个导向轨872a承载着一个横向的承载臂873。横向的承载臂873具有一个导轨873a，支撑元件873b可移动地安装其上。在图8中所实用的笛卡尔坐标系中，两个到对872a沿y轴方向，而导轨873a沿x轴方向移动。在支撑元件873b上装有贴装头874，后者又具有至少一个吸嘴874a式的元件拾取装置，该装置可通过图中未展示的驱动装置沿一个与X轴和Y轴方向垂直的Z轴方向移动。

为修正被拾取的元件的角度位置以便以正确的角度位置对元件进行贴装，还需要一个图中未展示的旋转驱动器。通过该旋转驱动器可使吸嘴874a沿其长轴旋转。

自动装配机870还具有一个元件输入装置875，通过该装置，图8中未展示的元件可被输入至贴装程序的元件拾取位置875a。另外，自动装配机870还具有一个传送带879，用以将待贴装的元件和待贴装的电路板880送入自动装配机870的贴装区域874b。通过贴装头874的X-Y轴方向的运动，吸嘴874a可相应地在贴装区域874b内定位。

此外，自动装配机870还具有一个程序处理器也即中央控制单元871。可将一个用于自动装配机870的用于将贴装元件贴装板与元件进行贴装的软件程序加载在控制单元871，以便自动装配机870的所有部件能够协同合作，由此有助于至少是接近于无错误地大批量贴装元件贴装板880和元件。

在承载臂873b上还额外固定了一个所谓的电路板照相机876，用语检测元件贴装板880上的标记880a。通过这种方式，就能通过对标记880a的位置检测确定位于贴装区域内的元件贴装板880的确切位置。

根据此处所描述的范例，电路板照相机876还可与得到适当控制的、在图8中未展示的、具有多个光源的照明设备一道，对贴装在元件贴装板上的贴装内容进行拍摄，获得进行光度立体分析所需要的图像。

为对拾取的元件进行位置检测和控制，还设置了照相机877，根据此处展示的范例，该照相机安装在了自动装配机870中的固定位置上。在元件输入装置875通过贴装头874的定位在元件照相机877上方的定位拾取了元件后，最好应立即对元件进行检测。被照相机877拍摄的照片由一个数据处理单元860进行分析处理，也即对被拾取的元件种类进行识别并确定其位置。在确定位置时，主要是测定被吸嘴874a拾取的元件相对于吸嘴874a也即贴装头874的偏移。

数据处理单元860也可嵌入中央控制单元871中。数据处理单元860可以是一个独立的硬件或者是一种适宜的软件。

应当指出，本发明的运用绝非仅限于此处所描述的自动装配机100中。本发明尤其可以通过一种元件照相机实现，该照相机与贴装头一起运行，用于在元件拾取位置到贴装位置的运输途中对拾取的元件进行拍摄。

同样，本发明还可以与所谓的多重贴装头同时使用。多重贴装头具有多个拾取装置，因而能够同时运送多个元件。其中，这些拾取装置可以排列成行或成矩阵，同样也可以呈放射状围绕着某一旋转轴排列，以便在旋转拾取装置时能够连续拾取或放置多个元件。当然，本发明还可以和任意单个或多重贴装头共同使用。

还应指出，本发明中“具有”这一概念并不排除其他的元件，“一个”也并不排除大于一个的情况。在不同的实现形式中描述的元素能够随意组合。同样要指出的是，权利要求要求保护的范围并不局限于其中标明的参照标记。

Claims (16)

1.一种检测至少是部分贴装在电路板(180, 880)上的元件组件(592, 692)的电子元件(190)的贴装内容(191)的工序，其特征在于，所述工序包括：

设置一个从属于参照元件组件的电子元件的参照内容的参照三维高度轮廓(763b) ；

检测贴装内容(191)元件的三维参照高度轮廓(761b)；

将检测所得的高度轮廓(761b)与参照高度轮廓(763b)进行比较，如果高度轮廓(761b)至少有一部分偏离了参照高度轮廓(763b)的相应部分，则将贴装内容(191)识别为缺失的贴装内容；而当高度轮廓(761b)与参照高度轮廓(763b)相吻合，则将贴装内容(191)识别为正确贴装内容。

2.如权利要求1所述的工序，其特征在于，将高度轮廓(761b)与参照高度轮廓(763b)进行比较包括：

计算检测到的三维高度轮廓(761b)与参照高度轮廓(763b)之间的差异高度轮廓(765)，当针对贴装内容(191)的元件贴装板(180)表面的部分区域的差异高度轮廓(765)大于第一个事先给定的正值时，便可确认在贴装内容区域出现了意外跌落的多余的元件(769)，或者，当针对贴装内容(191)的元件贴装板(180)表面的部分区域的差异高度轮廓(765)小于第二个事先给定的负值时，便可确认出现了缺失的元件。

3.如权利要求1或2所述工序，其特征在于，参照高度轮廓(763b)是一个相对于相关平面的相对的参照高度轮廓，而高度轮廓(761b)是一个相对于相关平面的相对的高度轮廓，其中，相关平面即指元件贴装板(180)的表面。

4.如权利要求1至3所述工序，其特征在于，三维高度轮廓(761b)由一种光度立体分析测得。

5.如上述权利要求所述的工序，其特征在于，测得贴装内容(191)中元件的三维高度轮廓(761b)包括：

用第一束光从第一个斜角角度朝元件贴装板(180)方向照亮元件；

在第一束光照明下用照相机(150)对元件进行第一次拍摄；

用第二束光从第一个斜角角度朝元件贴装板(180)方向照亮元件；

在第二束光照明下用照相机(150)对元件进行第一次拍摄；

用第三束光从第一个斜角角度朝元件贴装板(180)方向照亮元件；

在第三束光照明下用照相机(150)对元件进行第一次拍摄；

以第一次拍摄、第二次取拍摄、第三次拍摄所得照片中单个像素的强度值为基础计算出高度轮廓(761b)。

6.如上述权利要求所述的工序，其特征在于，第一照明光、第二照明光和／或第三照明光具有不同的光谱分布。

7.如上述权利要求之一所述的工序，其特征在于，照相机是一种自动装配机(870)的电路板照相机(150, 876)。

8.一种制造电子元件组件(592, 692)的工序，其特征在于，所述工序包括 ：

将元件贴装板(180)与电子元件进行贴装，电子元件至少有一部分构成电子元件组件（592, 692）的贴装内容(191)；

通过完成上述权利要求之一所述工序检测贴装内容(191)；

当贴装内容(191)被检测为正确无误时，完成至少一步后续制造电子组件(592, 692)的步骤。

9.如权利要求8所述工序，其特征在于，该工序还包括，在确认因具有多余元件(766)而出现错误的贴装内容(191)后，对多余元件(766)的移除，以及完成制造电子元件组件(592,692)的至少一步后续处理。

10.一种如权利要求8所述工序，其特征在于，该工序还包括，当贴装内容(191)因为缺少元件被确认为错误的贴装内容(191)后，则补充贴装缺失的元件;以及（b）完成制造电子元件组件(592, 692)的至少一步后续处理。

11.一种如权利要求8至10所述工序，其特征在于，完成制造电子元件组件(592, 692)的至少一步后续处理包括:

贴装对象与贴装内容(191)进行贴装，这里的贴装内容包括：

—被确认为正确的贴装内容，

—被移除了多余的元件的贴装内容，或者

—补充贴装了缺失的元件的贴装内容。

12.一种如上述权利要求所述工序，其特征在于，贴装对象包括：

一个平面元件，以及／或者

一个机械部件，特别是一个隔离金属片或一个连接器。

13.一种自动装配机(870)，其特征在于，具有：

一个底座(872)；

一个直接或间接安装在底座(872)上的元件输入***(875)，用于连续不断地将待贴装的电子元件输送至元件拾起位置(875a)；

一个具有一个固定在底座(872)上的固定元件(872a)的门架***（Portalsystem），该门架***还具有相对于固定元件(872a)进行定位的一个可移动的元件(873)；

一个安装在可移动元件(873)上的贴装头(874)，其构造可使其拾起元件拾起位置(875a)上的元件并在可移动元件(873)适当的移动及定位后将其放置在电路板(880)事先确定的位置上；

一个图像处理***(100),其构造可使其通过权利要求1至6所述工序，对至少是部分贴装在元件贴装板(180, 880)上的电子元件组件(592, 692)所包括的电子元件的贴装内容(191)进行检测。

14.如上述权利要求所述的自动装配机(870)，其特征在于，图像处理***(100)包括一个照相机(150)和一个置于照相机(150)程序下游的图像分析单元(164)，照相机(150)与贴装头(874)一同被安装在门架***可移动的部件(873)上。

15.如上述权利要求所述的自动装配机(870)，其特征在于，照相机150）是自动装配机的电路板照相机(876)。

16.一种检测至少是部分贴装在元件贴装板(180)上的电子元件组件(592, 692)所含电子元件的贴装内容(191)的电脑程序，在程序处理器的控制下，用以完成权利要求1址7所述工序。