CN114549447A - 用于跨越多个组装单元自动生成公共测量的方法 - Google Patents
用于跨越多个组装单元自动生成公共测量的方法 Download PDFInfo
- Publication number
- CN114549447A CN114549447A CN202210146345.2A CN202210146345A CN114549447A CN 114549447 A CN114549447 A CN 114549447A CN 202210146345 A CN202210146345 A CN 202210146345A CN 114549447 A CN114549447 A CN 114549447A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- assembly
- images
- user interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
- G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
- G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请涉及用于跨越多个组装单元自动生成公共测量的方法。一种方法包括:在用户界面内显示第一组装单元的第一图像;将第一虚拟原点定位在第一组装单元上的第一特征处;响应于第一图像的视图窗口中的改变,在用户界面内显示第一图像的第一子区域;记录第一子区域相对于第一虚拟原点的几何形状和位置;将第二虚拟原点定位在第二图像中表示的第二组装单元上的类似于第一特征的第二特征处;根据第二虚拟原点将第一子区域的几何形状和位置投影到第二图像上,以界定第二图像的第二子区域;以及响应于接收到从第一图像前进到第二图像的命令,在用户界面内显示第二子区域。
Description
本申请是申请日为2017年01月16日,申请号为201780010809.4,发明名称为“用于跨越多个组装单元自动生成公共测量的方法”的申请的分案申请。
相关申请的交叉引用
本申请要求于2016年1月15日提交的美国临时申请号62/279,174的利益,该临时申请通过这个引用被全部并入。
技术领域
本发明一般涉及光学检查的领域,且更特别地涉及用于在光学检查的领域中跨越多个组装单元自动生成公共测量的新的和有用的方法。
在下文的一个或多个实施方案中可实现本公开的各方面。
1)一种方法,包括:
在用户界面内显示第一组装单元的第一图像,所述第一图像的形式被在光学检查站处记录;
将第一虚拟原点定位在所述第一图像中表示的所述第一组装单元上的第一特征处;
响应于在所述用户界面处的所述第一图像的视图窗口中的改变,在所述用户界面内显示所述第一图像的第一子区域;
记录所述第一图像的所述第一子区域相对于所述第一虚拟原点的几何形状和位置;
响应于在所述用户界面处接收到从所述第一图像前进到第二图像的命令:
将第二虚拟原点定位在所述第二图像中表示的第二组装单元上的第二特征处,在所述第二组装单元上的所述第二特征类似于在所述第一组装单元上的所述第一特征;
根据所述第二虚拟原点将所述第一图像的所述第一子区域的几何形状和位置投影到所述第二图像上,以界定所述第二图像的第二子区域;以及
在所述用户界面内显示所述第二图像的所述第二子区域。
2)根据1)所述的方法,其中,显示所述第一组装单元的所述第一图像包括:
从数据库中获取第一数字摄影图像,所述第一数字摄影图像在组装期间的第一时间由所述光学检查站记录;
基于在所述光学检查站记录的参考图像来标准化所述第一数字摄影图像以生成所述第一图像;以及
将所述第一图像提供到执行所述用户界面的计算设备用于再现。
3)根据2)所述的方法,还包括:
从所述数据库获取第二数字摄影图像,所述第二数字摄影图像在所述组装期间的第二时间由所述光学检查站记录;以及
基于所述参考图像来标准化所述第二数字摄影图像以生成所述第二图像。
4)根据1)所述的方法,其中,将所述第一虚拟原点定位在所述第一图像中表示的所述第一组装单元上的所述第一特征处包括响应于在所述用户界面处的所述第一图像的所述视图窗口中的改变:
识别在所述第一图像的所述第一子区域内表示的、所述第一组装单元上的一组分立表面;
在所述一组分立表面中选择展示最大尺寸的第一分立表面;
识别对所述第一分立表面划界的所述第一特征;以及
在所述第一图像中的所述第一特征上定位所述第一虚拟原点。
5)根据1)所述的方法,其中,将所述第二虚拟原点定位在所述第二图像中表示的所述第二组装单元上的所述第二特征处包括:
将包围所述第一虚拟原点并从所述第一虚拟原点偏移的边界投影到所述第二图像上;
识别在所述边界内包含的所述第二图像的区域内表示的、所述第二组装单元上的一组边缘特征;以及
识别在所述一组边缘特征中的展示类似于所述第一特征的第一几何形状的第二几何形状的所述第二特征;以及
在所述第二特征上定位所述第二虚拟原点。
6)根据1)所述的方法:
其中,将所述第一虚拟原点定位在所述第一图像中表示的所述第一组装单元上的所述第一特征处包括在界定所述第一组装单元中的第一零件的第一角的所述第一特征上定位所述第一图像的所述第一虚拟原点;以及
其中,将所述第二虚拟原点定位在所述第二图像中表示的所述第二组装单元上的所述第二特征处包括:
识别在所述第二图像中表示的所述第二组装单元中的一组零件;
在所述一组零件中选择与所述第一零件类似的第二零件;以及
在界定所述第二零件的第二角的所述第二特征上定位所述第二图像的所述第二虚拟原点。
7)根据1)所述的方法:
其中,在所述用户界面内显示所述第一图像的所述第一子区域包括响应于所述第一图像的所述视图窗口在第一时间的改变而在所述用户界面内显示所述第一图像的所述第一子区域;
其中,将所述第一图像中的所述第一虚拟原点定位在所述第一图像中表示的所述第一组装单元上的所述第一特征处包括响应于所述第一图像的所述视图窗口中的改变:
识别在所述第一图像的所述第一子区域内的、所述第一组装单元上的一组边缘特征;
在所述第一时间之后的第二时间,接收对在所述第一图像的所述第一子区域内的像素的选择;
从所述一组边缘特征中选择最接近所述像素的所述第一特征;以及
在所述第一特征上定位所述第一虚拟原点。
8)根据1)所述的方法,其中,在所述用户界面内显示所述第一图像的所述第一子区域包括响应于所述第一图像的视图窗口中的改变而在所述用户界面内显示所述第一图像的所述第一子区域,所述改变包括对于所述第一图像的缩放输入。
9)根据8)所述的方法:
其中,记录所述第一图像的所述第一子区域相对于所述第一虚拟原点的几何形状包括记录为所述第一图像的所述第一子区域选择的缩放水平;
其中,记录所述第一图像的所述第一子区域相对于所述第一虚拟原点的位置包括记录在所述第一图像中的所述第一虚拟原点与所述第一子区域的原点之间的垂直偏移和水平偏移;以及
其中,根据所述第二虚拟原点来将所述第一图像的所述第一子区域的所述几何形状和所述位置投影到所述第二图像上以界定所述第二图像的所述第二子区域包括:
根据所述缩放水平来界定第二视图窗口的几何形状;
根据所述垂直偏移从所述第二图像内的所述第二虚拟原点垂直偏移所述第二视图窗口的原点;
根据所述水平偏移从所述第二图像内的所述第二虚拟原点水平偏移所述第二视图窗口的原点;以及
将由所述第二视图窗口划界的所述第二图像的区域界定为所述第二子区域。
10)根据9)所述的方法:
其中,将所述第一图像中的所述第一虚拟原点定位在所述第一图像中表示的所述第一组装单元上的所述第一特征处还包括:
在所述第一图像内的所述第一特征上定位第一坐标系的所述第一虚拟原点;
使所述第一坐标系的第一轴与所述第一特征对准;
其中,记录所述第一图像的所述第一子区域相对于所述第一虚拟原点的所述几何形状和所述位置还包括:
记录在所述第一图像的所述第一子区域的边缘与所述第一坐标系的所述第一轴之间的角度偏移;以及
其中,将所述第二图像中的所述第二虚拟原点定位在所述第二图像中表示的所述第二组装单元上的所述第二特征处包括:
在所述第二图像内的所述第二特征上定位第二坐标系的所述第二虚拟原点;以及
使所述第二坐标系的第二轴与所述第二特征对准;以及
其中,根据所述第二虚拟原点将所述第一图像的所述第一子区域的所述几何形状和所述位置投影到所述第二图像上以界定所述第二图像的所述第二子区域还包括:
根据所述角度偏移从所述第二坐标系的所述第二轴角度地偏移所述第二子区域的边缘。
11)根据1)所述的方法,还包括:
通过所述用户界面提供确认所述第二图像的所述第二子区域的投影几何形状和投影位置的提示;
响应于接收到对所述第二图像的所述第二子区域的所述投影几何形状和所述投影位置的确认:
从数据库中获取组装单元的一组图像;
在所述一组图像中的每个图像中定位虚拟原点;以及
将所述第一图像的所述第一子区域的所述几何形状和所述位置投影到所述一组图像中的每个图像上,以界定所述一组图像的一组子区域;以及
响应于在所述用户界面处的滚动输入而在所述用户界面内显示的整个所述一组子区域中换位。
12)根据1)所述的方法,还包括:
设置所述第一图像的所述第一子区域的第一不透明度;
设置所述第二图像的所述第二子区域的第二不透明度;
将所述第二子区域覆盖在所述第一子区域上以生成复合图像;
在所述用户界面内显示所述复合图像;
根据在所述用户界面处接收的输入来调整所述第一不透明度;
将所述第二不透明度作为所述第一不透明度的反函数来调整;以及
响应于所述输入而刷新所述复合图像。
13)根据1)所述的方法,还包括:
获取表示所述第一组装单元的虚拟计算机辅助制图模型;
在与在所述第一图像中表示的所述第一组装单元的定向和位置近似的定向处和视角中生成所述虚拟计算机辅助制图模型的计算机辅助制图图像;
将第三虚拟原点定位在所述计算机辅助制图图像中的第三特征处,所述第三特征类似于所述第一组装单元上的所述第一特征;
根据所述第三虚拟原点将所述第一图像的所述第一子区域的所述几何形状和所述位置投影到所述虚拟计算机辅助制图模型上,以界定第三图像;以及
在所述用户界面内在所述第一图像的所述第一子区域上显示半透明形式的所述第三图像。
14)一种方法,包括:
在用户界面内显示在第一组装阶段中的组装单元的第一图像,所述第一图像被在第一光学检查站处记录;
将所述第一图像中的第一虚拟原点定位在所述第一图像中表示的所述组装单元上的特征处;
响应于在所述用户界面处接收到缩放输入,在所述用户界面内显示所述第一图像的第一子区域;
存储所述第一图像的所述第一子区域相对于所述第一虚拟原点的几何形状和位置;
在第二组装阶段中的所述组装单元的第二图像中识别所述组装单元上的所述特征;
根据所述特征来定位在所述第二图像中的第二虚拟原点;
基于所述第一图像的所述第一子区域的几何形状和位置和所述第二虚拟原点来界定所述第二图像的第二子区域;以及
响应于在所述用户界面处接收到从所述第一图像前进到所述第二图像的命令,在所述用户界面内显示所述第二图像的所述第二子区域。
15)根据14)所述的方法:
其中,显示在所述第一组装阶段中的组装单元的所述第一图像包括:
从数据库中获取第一数字摄影图像,所述第一数字摄影图像由布置在沿着组装线的第一位置处的所述第一光学检查站记录;
基于在所述第一光学检查站处记录的第一参考图像来标准化所述第一数字摄影图像以生成所述第一图像;以及
将所述第一图像提供到执行所述用户界面的计算设备以用于在所述用户界面内显示;以及
其中,在所述用户界面内显示所述第二图像的所述第二子区域包括:
从所述数据库获取第二数字摄影图像,所述第二数字摄影图像由布置在沿着所述组装线的第二位置处的第二光学检查站记录;以及
基于在所述第二光学检查站处记录的第二参考图像来标准化所述第二数字摄影图像以生成所述第二图像。
16)根据14)所述的方法,还包括:
设置所述第一图像的所述第一子区域的第一不透明度;
设置所述第二图像的所述第二子区域的第二不透明度;
将所述第一子区域和所述第二子区域合并成复合图像;以及
在所述用户界面内显示所述复合图像。
17)根据16)所述的方法,还包括:
将所述第二图像中的第三虚拟原点定位在所述第二图像中表示的所述组装单元上的第二特征处;
存储所述第二图像的所述第二子区域相对于所述第三虚拟原点的几何形状和位置;
在第三图像中识别所述组装单元上的所述第二特征;
根据所述第二特征定位所述第三图像中的第四虚拟原点;
基于所述第二图像的第二子区域的所述几何形状和所述位置和所述第四虚拟原点来界定所述第三图像的第三子区域;以及
将所述第三子区域***到所述复合图像中。
18)一种方法,包括:
在用户界面内显示第一组装单元的第一图像,所述第一图像被在光学检查站处记录;
响应于在所述用户界面处的所述第一图像的视图窗口中的改变,在所述用户界面内显示所述第一图像的第一子区域;
记录所述第一图像的所述第一子区域相对于在所述第一图像中表示的第一特征的几何形状和位置;
识别在第二组装单元的第二图像中表示的第二特征,所述第二特征类似于所述第一特征;
根据所述第二特征将所述第一图像的所述第一子区域相对于所述第一特征的所述几何形状和所述位置投影到所述第二图像上,以界定所述第二图像的第二子区域;以及
响应于在所述用户界面处接收到从所述第一图像前进到所述第二图像的命令,在所述用户界面内显示所述第二图像的所述第二子区域以代替所述第一图像。
19)根据18)所述的方法:
还包括在所述第一特征上定位所述第一图像的第一虚拟原点,所述第一特征界定将所述第一组装单元保持在所述光学检查站中的固定装置上的基准点;
其中,记录所述第一图像的所述第一子区域相对于所述第一特征的所述几何形状和所述位置包括记录所述第一图像的所述第一子区域相对于所述第一虚拟原点的所述几何形状和所述位置;
其中,识别在第二组装单元的第二图像中表示的第二特征包括:
识别在所述第二图像中表示的一组特征;
在所述一组特征中选择展示与所述第一特征的尺寸特征和几何特征近似的尺寸特征和几何特征的所述第二特征;以及
在界定第二零件的第二角的所述第二特征上定位所述第二图像的第二虚拟原点;以及
其中,将所述第一图像的所述第一子区域相对于所述第一特征的所述几何形状和所述位置投影到所述第二图像上包括根据所述第二虚拟原点将所述第一图像的所述第一子区域相对于所述第一特征的所述几何形状和所述位置投影到所述第二图像上以界定所述第二图像的所述第二子区域。
20)根据18)所述的方法:
其中,记录所述第一图像的所述第一子区域相对于在所述第一图像中表示的所述第一特征的所述几何形状和所述位置包括响应于在所述用户界面处的所述第一图像的所述视图窗口中的改变:
识别在所述第一图像的所述第一子区域内表示的、所述第一组装单元上的一组分立表面;
在所述一组分立表面中选择展示最大尺寸的第一分立表面;
识别对所述第一分立表面划界的所述第一特征;以及
相对于所述第一图像中的所述第一特征来定位所述第一图像的所述第一子区域的边界。
21)根据18)所述的方法,其中,记录所述第一图像的所述第一子区域相对于在所述第一图像中表示的所述第一特征的所述几何形状和所述位置包括:
将包围所述第一特征并从所述第一特征偏移的边界投影到所述第二图像上;
识别在包含在所述边界内的所述第二图像的区域内表示的一组边缘特征;以及
识别在所述一组边缘特征中的展示与所述第一特征的第一几何形状近似的第二几何形状的所述第二特征。
22)一种用于跨越多个组装单元自动生成公共测量的方法,包括:
在用户界面内显示第一图像,所述第一图像的形式被在光学检查站处记录;
接收对在所述第一图像中表示的第一组装单元中的特定特征的手动选择;
接收对所述特定特征的测量类型的选择;
根据所述测量类型从所述第一图像中提取所述第一组装单元中的所述特定特征的第一真实尺寸;
对于一组图像中的每个图像:
识别在所述图像中表示的组装单元中的特征,所述组装单元中的所述特征类似于所述第一组装单元中的所述特定特征;以及
根据所述测量类型从所述图像中提取在所述组装单元中的所述特征的真实尺寸;以及
将所述第一真实尺寸和从所述一组图像中提取的一组真实尺寸聚集到数字容器中。
23)根据22)所述的方法:
其中,显示所述第一图像包括:
从数据库中获取第一数字摄影图像,所述第一数字摄影图像在组装期间的第一时间由所述光学检查站记录;
基于在所述光学检查站处记录的参考图像来标准化所述第一数字摄影图像以生成所述第一图像;以及
将所述第一图像提供到执行所述用户界面的计算设备以进行再现;
其中,从所述第一图像中提取所述第一组装单元中的所述特定特征的第一真实尺寸包括:
将尺寸空间投影到所述第一图像上;以及
基于所述特定特征相对于所述尺寸空间的位置和所述测量类型来从所述第一图像中提取所述特定特征的所述第一真实尺寸。
24)根据23)所述的方法:
还包括:
从所述数据库获取第二数字摄影图像,所述第二数字摄影图像在所述组装期间的第二时间由所述光学检查站记录;以及
基于所述参考图像来标准化所述第二数字摄影图像以生成所述一组图像中的第二图像;
其中,对于所述一组图像中的每个图像识别在图像中表示的组装单元中的特征包括识别在所述第二图像中表示的第二组装单元中的第二特征,所述第二组装单元中的所述第二特征类似于所述第一组装单元中的所述特定特征;以及
其中,针对所述一组图像中的每个图像从图像中提取组装单元中的特征的真实尺寸包括:
将所述尺寸空间投影到所述第二图像上;以及
基于所述第二特征相对于所述尺寸空间的位置和所述测量类型来从所述第二图像中提取所述第二特征的第二真实尺寸。
25)根据22)所述的方法:
其中,在所述用户界面内显示所述第一图像包括:
识别所述第一图像中的第一组特征;
生成第一特征空间,所述第一特征空间包括表示所述第一组特征的第一组向量;以及
在所述用户界面内与所述第一图像一起显示所述第一特征空间;
其中,接收对在所述第一图像中表示的所述第一组装单元中的所述特定特征的手动选择包括:
从包含在所述第一特征空间中的所述第一组向量接收对特定向量特征的手动选择;以及
识别与所述特定向量相对应的所述特定特征;
其中,对于所述一组图像中的每个图像识别在图像中表示的组装单元中的特征包括对于所述一组图像中的每个图像:
识别所述图像中的一组特征;
生成特征空间,所述特征空间包括表示所述一组特征的一组向量;
将所述特征空间与所述第一特征空间对准;
识别所述一组向量中在位置和几何形状上最接近所述第一组向量中的所述特定向量的向量;以及
将所述图像中的对应于所述向量的特征标记为类似于所述特定特征。
26)根据25)所述的方法:
其中,识别所述第一图像中的所述第一组特征包括识别在所述第一图像中表示的所述第一组装单元上的一组表面、边缘和角;以及
其中,接收对所述特定特征的测量类型的选择包括从一组测量类型中接收选择,所述一组测量类型包括:角到角距离、边缘长度、面积、半径和轮廓。
27)根据22)所述的方法,其中,接收对在所述第一图像中表示的所述第一组装单元中的所述特定特征的手动选择包括:
从所述第一图像接收对特定像素的手动选择;
识别所述第一图像中的第一组特征;以及
识别在所述第一组特征中的最接近所述特定像素的所述特定特征。
28)如22)所述的方法,其中,对于所述一组图像中的每个图像识别在图像中表示的组装单元中的特征包括:
界定包围所述特定特征、偏离所述特定特征并且根据所述第一图像的全局原点而定位的特征窗口;以及
对于所述一组图像中的每个图像:
根据所述图像的全局原点在所述图像内定位所述特征窗口;以及
将在所述特征窗口中包含的所述特征识别为与所述特定特征类似。
29)根据22)所述的方法,还包括:
识别所述第一组装单元的组装状态;以及
从跨越一组光学检查站被记录的并表示在各种组装状态中的多个组装单元的图像的主体中,选择表示在所述组装状态中的一组组装单元的所述一组图像。
30)根据22)所述的方法,还包括:
识别所述第一组装单元的序号;以及
从跨越一组光学检查站被记录的并表示在各种组装状态中的多个组装单元的图像的主体中,选择表示在各种组装阶段中的所述第一组装单元的所述一组图像。
31)根据22)所述的方法:
其中,将所述第一真实尺寸和从所述一组图像中提取的所述一组真实尺寸聚集到所述数字容器中包括将所述第一真实尺寸和所述一组真实尺寸聚集到虚拟直方图中,所述虚拟直方图包括跨越所述第一真实尺寸和所述一组真实尺寸的一组分立百分位数范围;以及
所述方法还包括:
在所述用户界面内再现所述虚拟直方图;以及
响应于对在所述一组分立百分位数范围中的特定百分位数范围的选择,在所述用户界面内再现所述一组图像中表示所述特定百分位数范围的特定图像。
32)根据22)所述的方法,还包括:
访问与组件的故障相关联的类似于所述特定特征的特征的尺寸范围;
识别第二组装单元,所述第二组装单元包括类似于所述特定特征并且由包含在所述尺寸范围内的第二真实尺寸表征的第二特征,所述第二组装单元在所述一组图像中的第二图像中被表示;以及
向与用户相关联的电子账户提供检查所述第二组装单元的提示。
33)根据22)所述的方法,其中,将所述第一真实尺寸和从所述一组图像中提取的所述一组真实尺寸聚集到所述数字容器中包括:
计算跨越所述第一真实尺寸和从所述一组图像中提取的所述一组真实尺寸的真实尺寸范围;
在所述一组图像中选择表示第二组装单元的第二图像,所述第二组装单元包含类似于所述特定特征并且由接近所述真实尺寸范围的第一端的第二尺寸表征的第二特征;
在所述一组图像中选择表示第三组装单元的第三图像,所述第三组装单元包含类似于所述特定特征并且由接近所述真实尺寸范围的第二端的第三尺寸表征的第三特征;
生成包括所述第二图像和覆盖在所述第二图像上的所述第三图像的复合图像;以及
在所述用户界面内再现所述复合图像。
34)根据22)所述的方法:
还包括:
接收对在所述第一图像中表示的所述第一组装单元中的第二特定特征的手动选择;
接收对所述第二特定特征的第二测量类型的选择;
根据所述第二测量类型从所述第一图像中提取所述第一组装单元中的所述第二特定特征的第二真实尺寸;以及
对于所述一组图像中的每个图像:
识别在所述图像中表示的组装单元中的第二特征,所述组装单元中的所述第二特征类似于所述第一组装单元中的所述第二特定特征;以及
根据所述第二测量类型从所述图像中提取所述组装单元中的所述第二特征的第二真实尺寸;以及
其中,将从所述一组图像中提取的所述一组真实尺寸聚集到所述数字容器中包括:
用表示跨越所述第一图像和所述一组图像的所述测量类型和表示跨越所述第一图像和所述一组图像的所述第二测量类型的点填充二维图形。
35)根据22)所述的方法,还包括:
生成界定所述第一测量类型并表征所述特定特征的测量规范;
从用户接收对所述测量规范的订阅;以及
基于所述订阅将所述数字容器分发到与所述用户相关联的电子账户。
36)根据22)所述的方法,还包括:
访问所述特定特征的目标尺寸;
访问所述特定特征的所述目标尺寸的尺寸公差;以及
标记第二组装单元的序号,所述第二组装单元包括由与所述目标尺寸相差大于所述尺寸公差的真实尺寸表征的第二特征,所述第二单元在所述一组图像中的第二图像中被表示,所述第二特征类似于所述特定特征。
37)根据36)所述的方法,其中,访问所述特定特征的所述目标尺寸包括从所述第一组装单元的计算机辅助制图模型获取所述目标尺寸。
38)根据22)所述的方法,还包括:
基于从所述一组图像中的图像提取的类似于所述特定特征的特征的真实尺寸来界定所述一组图像的顺序;
通过类似于所述特定特征的特征使所述一组图像中的图像实质上对准;以及
响应于在所述用户界面处的滚动输入,在所述用户界面内根据所述顺序在整个再现所述一组图像中的图像中换位。
39)一种方法,包括:
获取一组图像;
对于所述一组图像中的第一图像:
在用户界面内显示所述第一图像,所述第一图像的形式被在光学检查站处记录;
接收对在所述第一图像中表示的第一组装单元中的特定特征的手动选择;
确定所述特定特征的测量类型;
根据所述测量类型从所述第一图像中提取与所述第一组装单元中的所述特定特征相关的第一真实尺寸;以及
在所述用户界面内与所述第一图像一起显示所述第一真实尺寸;
对于所述一组图像中的第二图像:
自动识别在所述第二图像中表示的第二组装单元中的第二特征,所述第二组装单元中的所述第二特征类似于所述第一组装单元中的所述特定特征;以及
根据所述测量类型从所述第二图像中提取与所述第二组装单元中的所述第二特征相关的第二真实尺寸;以及
对于所述一组图像中的第三图像:
自动识别在所述第三图像中表示的第三组装单元中的第三特征,所述第三组装单元中的所述第三特征类似于所述第一组装单元中的所述特定特征;以及
根据所述测量类型从所述第三图像中提取与所述第三组装单元中的所述第三特征相关的第三真实尺寸;
响应于在所述用户界面处的所述第二图像的选择,在所述用户界面内显示所述第二图像和所述第二真实尺寸;以及
响应于在所述用户界面处的所述第三图像的选择,在所述用户界面内显示所述第三图像和所述第三真实尺寸。
40)根据39)所述的方法:
其中,自动识别在所述第二图像中表示的所述第二组装单元中的所述第二特征包括执行特征选择例程以识别所述第二图像中的所述第二特征;
所述方法还包括响应于自动识别在所述第二图像中表示的所述第二组装单元中的所述第二特征:
在所述用户界面内显示所述第二图像;
指示所述第二图像内的所述第二特征;以及
其中,自动识别在所述第三图像中表示的所述第三组装单元中的所述第三特征包括:
响应于在所述用户界面处接收到所述第二特征与所述特定特征类似的手动确认,根据所述特征选择例程来识别所述第三图像中的所述第三特征。
41)根据39)所述的方法:
其中,接收对在所述第一组装单元中的所述特定特征的所述选择包括在第一时间接收对所述第一组装单元中的所述特定特征的所述选择;
其中,识别在所述第二图像中表示的所述第二组装单元中的所述第二特征包括识别在所述第一时间之前在组装线处记录的所述第二图像中表示的所述第二组装单元中的所述第二特征;以及
所述方法还包括:
访问所述特定特征的目标尺寸;
访问所述特定特征的所述目标尺寸的尺寸公差;
响应于接收到在所述第一时间之后的第二时间记录的第四图像,识别在所述第四图像中表示的第四组装单元中的第四特征,所述第四组装单元中的所述第四特征类似于所述第一组装单元中的所述特定特征;
根据所述测量类型从所述第四图像中提取所述第四组装单元中的所述第四特征的第四真实尺寸;以及
响应于所述第四真实尺寸与所述目标尺寸相差大于所述尺寸公差,标记所述第四组装单元。
附图简述
图1是第一方法的流程图表示;
图2是第一方法的一个变形的图形表示;
图3是第二方法的流程图表示;
图4是第二方法的一个变形的流程图表示;
图5是第二方法的一个变形的图形表示;
图6是第三方法的流程图表示;
图7是第三方法的一个变形的图形表示;
图8是第三方法的一个变形的图形表示;以及
图9A、9B和9C是第三方法的变形的图形表示。
实施方式的描述
本发明的实施方式的以下描述并不意欲将本发明限制到这些实施方式,而是更确切地使本领域中的技术人员能够制造并且使用本发明。这里描述的变形、配置、实现、示例实现和例子是可选的,并且对它们描述的变形、配置、实现、示例实现和例子不是排他的。这里描述的本发明可以包括这些变化、配置、实现、示例实现和例子的任何和所有置换。
1.组装线配置
如图1所示,用于沿组装线自动配置光学检查的第一方法S100包括:在块S111中获取由第一光学检查站在第一时间捕获的第一图像,该第一图像与第一光学检查站的标识符相关联,并且第一时间戳对应于第一时间;在块S112中获取在继第一时间之后的第二时间由第二光学检查站捕获的第二图像,该第二图像与第二光学检查站的标识符相关联,以及第二时间戳与第二时间相对应;在块S113中获取在继第一时间之后的第三时间由第一光学检查站捕获的第三图像,第三图像与第一光学检查站的标识符相关联,以及第三时间戳与第三时间相对应;在块S121中识别第一图像中的第一组装单元的第一序号;在块S122中识别第二图像中的第一序号;在块S123中识别第三图像中的第二组装单元的第二序号;在块S130中基于在第二时间戳之前的第一时间戳以及在第一图像中和第二图像中的第一序号的标识来确定沿着组装线的第一光学检查站和第二光学检查站的位置;在块S140中基于在与第二时间戳相关联的第二图像中的第一序号的标识和在与第三时间戳相关联的第三图像中的第二序号的标识来确定在特定时间沿着组装线的第一组装单元和第二组装单元的位置;在用户界面内,在块S150中基于第一光学检查站和第二光学检查站的所确定的位置以及在特定时间第一组装单元和第二组装单元的所确定的位置来再现(rendering)组装线的虚拟表示和在特定时间沿着组装线的第一组装单元和第二组装单元的虚拟表示。
1.1应用
一般而言,生产验证***(在下文中被称为“***”)可以执行第一方法S100的块,以在组装线和光学检查站被安装之后并且在通过(passing through)组装线的单元的图像由光学检查站成像之后沿着组装线自动配置多个光学检查站。特别是,第一方法S100可以由本地或远程计算机***执行,该计算机***与一个或更多个光学检查站通信以几乎实时地收集组装单元的图像,与本地或远程数据库通过接口连接以获取所存储的图像,和/或托管用户界面(例如,在用户的智能手机、平板电脑或台式计算机处)以向用户提供图像和相关数据并从用户接收图像选择和其他输入。光学检查站(如下所述)可以在不同组装阶段***到组装线中,并立即用于捕获通过组装线的单元的图像。光学检查站可以例如实时或异步地将这些图像上传到(本地或远程)数据库,其具有每个图像被捕获时的时间戳和捕获每个图像的光学检查站的标识符(例如,“图像元数据”)。然后,该***可以例如在直接连接到组装线的计算机***处在本地、在登录到该组装线的移动计算设备上执行的本地应用或web浏览器内或者在远程服务器处远程地执行第一方法S100的块,以自动识别***组装线内的光学检查站,自动识别沿着组装线的光学检查站的顺序,并且基于包含在从光学检查站接收的图像和图像元数据中的视觉数据在特定(例如,当前)时刻自动确定沿着组装线的各个单元的位置。然后,***可以自动配置组装线的虚拟表示,包括沿着组装线的光学检查站的相对位置和单元的相对位置,如图*2所示。因此,***可以执行第一方法S100的块,以沿着组装线自动配置光学检查站,并生成在组装线内的单元的状态的虚拟表示,用于在单元被组装时实质上实时地呈现给用户。
该***可以执行第一方法S100,以在产品开发期间例如在原型构建、工程验证测试(EVT)、设计验证测试(DVT)和/或生产验证测试(PVT)期间收集、处理和操纵测试组件(在下文中被称为“单元”)的图像。该***收集、处理和操纵在原型构建事件(或“构建”)期间例如在组装和测试数十个、数百个或数千个单元的数小时、数天或数周内由一个或更多个光学检查站捕获的单元的图像。该***还可以在批量或大规模生产组装线内实现,用于在生产运行中的过程中质量控制、早期缺陷检测等。该***还可以集成到手动通过式组装线中或传送带式组装线中。
此外,可以跨越分布式组装线例如跨越在物理上位于同一地点的组装线或安装在单个园区上的不同建筑物中、安装在同一公司或不同公司的不同园区上和/或安装在不同城市、地区、国家或大陆中的组装线来实现该***。例如,多组光学检查站可以安装在产品或产品的子组件的多个分立和远程定位的组装线中的每一个内,并且***可以将由光学检查站捕获和上传的图像聚集到产品或子组件的单个分布式组装线中。类似地,可以在原材料处理设施、注射成型设施、铸造和机器加工设施、组装设施中的任何子组件或主组装层、检查设施、测试和可靠性测试设施、验证或故障分析设施、包装设施、装运设施、现场使用设施、现场返回设施和/或现场返回故障分析等内在单个部件、子组件、主组件等的生产、测试和/或验证期间实现该***。这里描述了用于与组装线集成的***。然而,该***可以与单个部件、子组件、主组件(在下文中被称为“单元”)等的任何一个或更多个制造、组装、测试、验证和/或其他生产过程集成。
1.2光学检查站
该***包括一个或更多个光学检查站。每个光学检查站可以包括:接纳零件或组件的成像平台;可见光照相机(例如,RGB CMOS或黑白CCD照相机),其捕获放置在成像平台上的单元的图像(例如,数字摄影彩色图像);以及将图像卸载到例如本地或远程数据库的数据总线。光学检查站可以此外或可选地包括多个可见光照相机、一个或更多个红外照相机、激光深度传感器等。
在一个实现中,光学检查站还包括被配置为输出深度图像的深度照相机,例如红外深度照相机。在该实现中,光学检查站可以触发可见光照相机和深度照相机以分别捕获设置在成像平台上的每个单元的彩色图像和深度图像。可选地,光学检查站可以包括布置在成像平台上和/或成像平台附近的光学基准点。在该实现中,光学检查站(或与远程数据库通过接口连接的本地或远程计算机***)可以实现机器视觉技术,以识别在由可见光照相机捕获的彩色图像中的这些基准点,并且将彩色图像中的这些基准点的尺寸、几何形状(例如,偏离已知几何形状的失真)和/或位置转换成深度图、三维彩色图像或彩色图像的三维测量空间(下面描述)。
该***在此被描述为包括一个或更多个光学检查站,并生成包括一个或更多个光学检查站的组装线的虚拟表示。然而,该***可以此外或可选地包括任何其他类型的载有传感器的站,例如包括NC控制探针的示波器站、包括秤的称重站、包括NC控制的表面轮廓测量仪的表面轮廓站、或包括任何其他光学、声学、热或其他类型的接触或非接触传感器的站。
1.3自动配置
在将一组光学检查站***组装线内之后,光学检查站可以捕获通过光学检查站的单元的彩色图像并将彩色图像上传到本地或远程数据库。在从所部署的光学检查站接收到图像后,***可以:实现光学字符识别技术或其他机器视觉技术以识别和读取在图像内的单元的序号、条形码、快速响应(“QR”)码或其他视觉标识符;生成表示该序号、条形码、QR码或其他可视标识符的字母数字标签;然后将该字母数字标签添加到随图像一起接收的元数据。因此,***可以在块S111、S112和S113中接收各种单元的图像,且然后在块S121、S122和S123中从这些图像中读取这些单元的识别信息。(可选地,每个光学检查站可以包括RFID读取器、NFC读取器或从放置在它的成像平台上的单元在本地读取序号的其他光学或无线电读取器,并且光学检查站可以将从单元读取的序号添加到组装单元的图像的元数据。)
在块S130中,***然后可以处理在从光学检查站接收的图像的元数据中包含的单元序号、光学检查站标识符(例如序号)和时间戳(即,已知单元序号的单元进入已知标识符的光学检查站的时间),以确定沿着组装线的光学检查站的顺序,如图1所示。在一个实现中,当从光学检查站接收图像时,***:存储(bucket)包含特定单元序号的标签的一组图像;从这组图像中的元数据中提取光学检查站序号标签和时间戳;并根据它们对应的时间戳(从最老到最新)将这些光学检查站序号排序(从组装线中的第一个到最后一个)。特别是,单元随着时间的推移通过组装进展,并沿着组装线由光学检查站顺序地成像,并且该***可以将与从这些光学检查站接收的图像一起存储的单元序号、光学检查站序号和时间戳转换成如与一条组装线相对应的一组光学检查站的标识以及沿着这条组装线的光学检查站的顺序的确认。该***可以对其他单元序号例如对进入这个被排序的光学检查站组中的第一光学检查站的单元的每个序号重复该过程,以便确认沿着组装线的光学检查站的所确定的顺序并自动检测在组装线上的光学检查站的重新配置(例如,实时地)。
在该实现中,***还可以将这些光学检查站序号传递到名称映射***(例如DNS)中,以获取光学检查站特定的信息,例如对于每个光学检查站的品牌、型号、最后一个用户输入的名称、配置(例如成像平台尺寸、光学分辨率、放大容量)、所有者或承租人等。该***可以类似地将单元序号传递到名称映射***或其他数据库中,以获取单元特定的数据,例如指定的构造、配置、物料清单、特殊组装指示、测量、照片、注释等。
在块S150中,***然后可以生成沿着组装线的所排序的光学检查站的虚拟表示,如图2所示。该***可以用从远程数据库或根据由用户输入的名称或描述获取的品牌、型号、名称、配置、序号等标记光学检查站的虚拟表示。然后,该***可以将组装线的虚拟表示上传到本地或远程计算机***(例如智能手机、平板电脑、台式计算机)用于由用户访问。该***还可以跨越多个不同的组装线从光学检查站接收图像,并且可以实质上实时地实现前述方法和技术,以存储在不同组装线上的单元的图像,识别多个组装线和在每个组装线中的光学检查站顺序,生成由图像表示的每个组装线的唯一虚拟表示,并且将这些虚拟组装线表示分配给它们的相应所有者。
该***还可以在组装线的整个操作中重复前述方法和技术,以便检测附加光学检查站到组装线内的***,检测光学检查站从组装线的移除,和/或检测在组装线内的光学检查站的重新布置,并相应地自动更新组装线的虚拟表示。
1.4组装线状态
在块S140中,***可以基于与从组装线接收的包含组装单元的单元序号的最后一个图像一起存储的光学检查站序号标签来识别在组装线内的单元的当前位置。例如,对于在组装线内的单元,如果从第二光学检查站接收到包含特定单元的单元序号标签(即,包含第一光学检查站的光学检查站序号标签)的最后一个图像,则***可以确定特定单元在沿着组装线的第一光学检查站和第二光学检查站之间。在该例子中,如果包含特定单元的组装单元序号标签的最后一个图像通过尚未从第二光学检查站接收到的另一单元的另一图像最近从第二光学检查站接收到,则***可以确定特定单元在沿着组装线的第二光学检查站处。此外,在该例子中,如果包含特定单元的组装单元序号标签的最后一个图像从组装线上的最后已知的光学检查站接收,则***可以确定特定单元的组装已经完成。
该***可以对从沿着组装线***的光学检查站接收的图像中识别的其他单元的单元序号重复前述过程。然后,***可以用当前单元位置的热图填充上述组装线的虚拟表示,如图1和2所示。在块S150中,当从组装线上的光学检查站接收到每个新图像并且因此确定特定单元的沿着组装线的新位置时,***可以更新组装线的虚拟表示以反映特定单元的新的所确定的位置。该***还可以使在组装线的虚拟表示内的特定单元的标记表示跳动或以其他方式制成动画,以视觉上向用户指示特定单元已经移动。
该***可以实现类似的方法和技术,以基于在由用户选择的特定先前时间之前从沿着组装线的光学检查站接收的单元的最后一个图像来在特定先前时间生成组装线的热图或其他虚拟表示。因此,当用户在组装线的整个时间历史中滚动时,***可以重新计算在以前的时间处的组装线状态和单元位置,并且实质上实时地为用户显示这些组装线状态的虚拟表示。该***还可以例如按照构型、配置、日期或时间、检查时间等基于对在组装线上的单元的子集的用户选择来过滤从光学检查站接收的图像;然后在块S150中,***可以从经过滤的图像计算针对单元的子集的组装线状态,并显示该组装线状态的虚拟表示。
然而,该***可以以任何其他方式执行第一方法的块,以将从光学检查站接收的图像转换成沿着组装线的光学检查站的配置并确定沿着组装线的单元的状态。
1.5缺陷检测
在一种变形中,该***实现机器视觉技术以检测沿着组装线的制造缺陷,并且利用在穿过组装线的单元中检测到的制造缺陷的位置、类型和/或频率来增强组装线的虚拟表示。例如,***可以实现下面描述的方法和技术,以分析单元的图像来检测落在为特征指定的尺寸和公差之外的特征(例如,部件尺寸、绝对或相对部件位置)。在另一例子中,该***可以实现模板匹配技术,以检测沿着组装线从光学检查站接收的图像中的单元上的划痕、凹痕和其他美学缺陷。
在该变形中,当在组装单元的最早图像中检测到单元上的缺陷时,***可以标记与缺陷被检测到的图像相对应的单元序号,且然后在该图像被捕获的特定光学检查站处将缺陷标记***组装线的虚拟表示中。因此,该***可以通过组装线的虚拟表示向用户可视地指示在组装单元上的缺陷出现在组装线中的特定光学检查站和紧接在特定光学检查站之前的第二光学检查站之间。此外,如果该***检测到在特定光学检查站处捕获的多个图像中所示的缺陷,则该***可以识别相同类型的缺陷(例如,在跨越多个单元的外壳上的同一区域中的类似划痕),并且将相同缺陷类型的缺陷的计数器合并到组装线的虚拟表示中。该***还可以例如以热图的形式可视地表示穿过一个或更多个光学检查站的一批单元的检测到的缺陷的频率、类型和/或位置。例如,该***可以生成或访问“标称”例如“一般”单元的虚拟表示,计算包含在穿过单个光学检查站或穿过组装线中的多个光学检查站的类似单元中检测到的总缺陷的可视表示的热图,且然后在用户界面内呈现覆盖在标称单元的虚拟表示上的热图。
然而,该***可以实现任何其他方法或技术,以识别在由组装线内的光学检查站捕获的图像中所示的单元中的缺陷,并在组装线的虚拟表示中指示在组装单元上的该缺陷的最早检测到的存在。
2.窗口映射
如图3所示,用于再现沿着组装线的组装单元的图像的第二方法S200包括:在块S210中,在用户界面内再现在光学检查站处捕获的第一组装单元的第一图像;在块S220中,选择在与第一组装单元相对应的第一图像内的第一特征作为第一图像的原点;响应于接收到缩放输入,在块S212中在用户界面中再现第一图像的扩展区域;在块S230中存储扩展区域相对于第一图像的原点的尺寸和位置。第二方法S200还包括:响应于从第一图像到在光学检查站处捕获的第二组装单元的第二图像的前进,在块S240中选择在与第一图像中的第一特征相对应的第二图像中的第二特征作为第二图像的原点;在块S242中选择与第一图像的扩展区域相对于第二图像的原点的尺寸和位置相对应的第二图像的扩展区域;以及在块S250中在用户界面中再现第二图像的扩展区域。
第二方法S200的一种变形包括:在块S210中在用户界面内显示第一组装单元的第一图像,该第一图像的形式被在光学检查站处记录;在块S220中将第一虚拟原点定位在第一图像中表示的第一组装单元上的第一特征处;响应于在用户界面处的第一图像的视图区域中的改变,在块S212中在用户界面内显示第一图像的第一子区域;以及在块S230中记录第一图像的第一子区域相对于第一虚拟原点的几何形状和位置。第二方法S200还包括响应于在用户界面处接收到从第一图像前进到第二组装单元的第二图像的命令:在块S240中将第二虚拟原点定位在第二图像中表示的第二组装单元上的第二特征处,在第二组装单元上的第二特征类似于在第一组装单元上的第一特征;在块S242中根据第二虚拟原点将第一图像的第一子区域的几何形状和位置投影到第二图像上,以界定第二图像的第二子区域;以及在块S250中在用户界面内显示第二图像的第二子区域。
如图4所示,第二方法S200的另一变形包括:在块S210中在用户界面内显示第一组装单元的第一图像,第一图像被在光学检查站处记录;响应于在用户界面处的第一图像的视图窗口的改变,在块S212中在用户界面内显示第一图像的第一子区域;在块S230中记录第一图像的第一子区域相对于在第一图像中表示的第一特征的几何形状和位置;在块S240中识别在第二组装单元的第二图像中表示的第二特征,第二特征类似于第一特征;在块S242中根据第二特征将第一图像的第一子区域的几何形状和位置投影到第二图像上,以界定第二图像的第二子区域;以及响应于在用户界面处接收到从第一图像前进到第二图像的命令,在块S250中在用户界面内显示第二图像的第二子区域以替代第一图像。
2.1应用
第二方法S200的块可以由与远程计算机***通信的计算设备(例如智能手机、平板电脑、台式计算机)在本地执行,以显示由光学检查站沿着组装线捕获的一组组装单元(或“单元”)的图像。在图像查看会话期间,计算设备可以跨越在集成到计算设备中或连接到计算设备的显示器上再现的用户界面内(例如,在智能手机、平板电脑或台式计算机上执行的本地应用或web浏览器内)的一个或更多个构型显示一个或更多个组装配置的单元的图像。
通常,当用户在由特定光学检查站先前捕获的单元的整个一组图像中滚动时,计算设备可以执行第二方法S200的块,以从在用户界面中再现的一个图像到由用户选择的下一图像自动应用最近的缩放水平和观看位置,从而使用户能够跨越在沿着组装线的同一点处记录的多个单元的一序列图像在同一扩展视图中滚动。特别是,当用户从在相似单元的一组图像中的第一图像滚动到第二图像时,计算设备(或与计算设备通过接口连接的台式或手持计算设备)可以执行第二方法S200的块:以基于在第一图像和第二图像内的特征将在同一组装阶段的最后一个观察窗口从第一单元的第一图像映射到相似的第二单元的第二图像;以及在用户界面中自动再现第二图像的扩展视图(其对应于第一图像的最后再现的扩展视图),使得用户可以快速且可视地比较在第一单元和第二单元之间相对于公共虚拟原点的局部差异。
在一个例子中,计算设备可以聚集由特定光学检查站在构建期间捕获的PCB组件(包括PCB和附接到PCB的部件)的一组图像。当用户在第一图像审查期期间审查在一组中的第一图像时,计算设备可以:实现机器视觉技术以检测在第一图像中所示的第一PCB的左上角和上水平边缘;将第一PCB的左上角设置为第一图像中的虚拟原点;将第一图像中的虚拟原点的X轴与第一PCB的上水平边缘对准;在用户界面中再现第一图像的区域;存储在用户界面中再现的第一图像的左上角像素、右上角像素、左下角像素和右下角像素相对于虚拟原点的X和Y坐标,用于第一图像的最后缩放水平和观看位置。当用户然后滚动到在该组中的后续图像时,计算设备可以类似地:实现机器视觉技术以检测在第二图像中所示的第二PCB的左上角和上水平边缘;将第二PCB的左上角设置为第二图像中的虚拟原点;将第二图像中的虚拟原点的X轴与第二PCB的上水平边缘对准;以及立即再现第二图像的矩形区域,该矩形区域由存储在第一图像的最后一个观看位置处的角像素坐标处的四个角像素划界。在该例子中,因为第一图像和第二图像(虚拟地)通过类似的虚拟原点平移地对准,并且通过类似的X轴参考特征旋转地对准,并且因为在用户界面中再现的第二图像的第一区域的相对位置——一旦用户滚动到第二图像——与在用户界面中再现的第一图像的最后一个区域的相对位置实质上相同,所以用户可以在视觉上检测在第一图像中显示的第一PCB组件中的部件放置和在第二图像中显示的第二PCB组件中的部件放置之间的差异。当用户从第二图像滚动回到第一图像时或者当用户从第二图像滚动到在该组中的第三图像时,计算设备可以重复该过程。如图5所示,计算设备还可以实现第二方法S200的块,以同时再现例如在网格布局中的或按视图窗口对准并覆盖在彼此之上的类似单元的图像的类似区域。
下面描述如由“***”执行的第二方法S200的块。例如,第二方法S200的块可以由执行用户界面的本地计算设备(例如智能手机、平板电脑或台式计算机)来实现。可选地,第二方法S200的块可以例如在与本地计算设备通过接口连接的远程服务器处远程地被执行,以向用户提供图像并从用户接收图像过滤器参数、图像选择和其他输入。
2.2图像
第二方法S200的块S210叙述在用户界面内显示第一组装单元的第一图像,其中第一图像的形式被在光学检查站处记录。通常,在块S210中,***获取第一组装单元的第一图像,并通过用户界面将该第一图像呈现给用户;在用户界面处,用户随后可以放大到第一图像的各个区域,并且在缩放窗口内垂直和水平地移动第一图像以可视地远程地检查在第一图像的这些区域中表示的第一组装单元的区域。
2.2.1单应性变换
在一个实现中,在块S210中,***从数据库获取先前由光学检查站在组装期间记录的第一数字摄影图像。然后,该***对第一数字摄影图像进行标准化,以生成第一图像,然后该第一图像可以在用户界面处呈现给用户。例如,光学检查站可以包括数字摄影照相机和耦合到数字摄影照相机的广角镜头;因此,由光学检查站记录的图像可能展示透视失真。在光学检查站的建立期间,可以在光学检查站内放置界定例如具有在10毫米的已知偏移距离处的黑色正交网格线的300平方毫米白色平面的参考表面的参考物体,且光学检查站可以记录参考表面的“参考图像”,并将参考图像上传到远程数据库。然后,***可以:获取参考图像;实现计算机视觉技术以识别在参考图像中的扭曲的网格线;且然后计算将参考图像中的扭曲的网格线映射到笔直的正交网格线的单应性变换。在该例子中,***还可以基于在参考表面上的网格线之间的已知距离来计算使数字像素与真实尺寸(即在真实空间中的长度值)相关联的标量系数。因此,***可以将单应性变换应用于第一数字摄影图像,以生成“展平的”(或“去扭曲的”)第一图像,且然后在用户界面中显示第一图像(现在去除了透视失真),用于呈现给用户。如下所述,***还可以通过对跨越特征的第一图像中的多个像素求和并然后使像素的这个数量乘以标量系数来从第一图像中提取第一组装单元的特征的真实尺寸。
在前述实现中,该***可以根据相同的单应性变换在特定组装阶段对特定组装类型的组装期间在同一光学检查站处记录的所有其他数字摄影图像进行变换;该***还可以将相同的标量系数应用于因而得到的展平的图像。例如,当从光学检查站接收到新的数字摄影图像时,***可以:基于该光学检查站特有的单应性变换来立即计算对应的展平的图像;然后将原始数字摄影图像和对应的展平的图像一起存储在数据库中。如下所述,该***还可以生成原始数字摄影图像的测量空间、展平的图像的压缩形式(例如缩略图)、展平的图像的特征空间和/或与数字摄影图像或展平的图像相关的其他图像、空间或层,并将这些数据一起(例如,在与对应的组装单元相关联的一个文件中)存储在数据库中。可选地,该***可以将数字摄影图像存储在数据库中,且然后当在用户界面处请求审查相应的组装单元时,实时地生成相应的展平的图像。
2.2.2图像组
***可以通过在这些图像中表示的组装单元来界定一组相关图像。例如,光学检查站可以在图像的元数据中存储时间戳和光学检查站标识符;该***还可以基于沿着组装线的光学检查站的已知位置来将组装类型和组装阶段写入图像元数据。该***还可以实现计算机视觉技术,以从表示组装单元或将组装单元与光学检查站定位在一起的固定装置的图像的区域读取序号或其他光学标识符,并且可以将其他标识符的这个序号写到图像元数据。此外,***可以基于组装单元的时间戳、序号和/或组装阶段等来确定在图像中表示的组装单元的配置,并将此配置写到图像元数据。类似地,***可以实现计算机视觉技术(例如,模板匹配、模式匹配、对象识别),以直接从图像中提取在图像中表示的组装单元的组装类型和/或组装状态。对于存储在数据库中的图像,***可以异步地重复这个过程,以及对于从所部署的光学检查站接收的新图像,***可以(接近)实时地重复这个过程。
然后,***可以对与这些图像一起存储的元数据应用各种过滤器,以界定一组相关图像。例如,***可以在一个组装周期或“构建”(例如,EVT、DVT或PVT)期间自动聚集在一个光学检查站处记录的所有图像,以界定这组图像。类似地,***可以从跨越一组光学检查站上被记录并表示在各种组装状态中的多个组装单元的图像的主体中选择表示同一组装类型并在同一组装状态中的一组组装单元的一组图像。***还可以从用户接收一组过滤器参数,例如时间窗口、配置、构型、组装阶段和/或其他过滤器,如下所述,并根据过滤器填充这组图像。此外,***可以例如按照时间戳或序号来对该组中的图像进行排序,并且当用户在用户界面内的整个这组图像中滚动时以这个顺序显示这些图像。
2.3视图窗口
第二方法S200的块S212叙述响应于在用户界面处的第一图像的视图窗口中的改变,在用户界面内显示第一图像的第一子区域。通常,在块S212中,***在用户界面处接收输入,将该输入解释为改变当前再现在用户界面内的第一图像的视图窗口的命令,并相应地更新视图窗口。
在一个实现中,在块S210中,***最初在用户界面内显示第一图像的全高度和宽度。在用户界面处例如经由滚轮、从下拉菜单中选择缩放水平或缩放水平滑块接收到缩放输入时,在块S212中,***重新界定视图窗口以包围第一图像的较小区域,并在用户界面内以较高分辨率再现由该视图窗口划界的第一图像的较小区域。然后,***可以实现下面描述的方法和技术,以在这个新的视图窗口内选择虚拟原点,并界定视图窗口相对于虚拟原点的几何形状和位置参数。
一旦对第一图像进行缩放,用户就可以相对于视图窗口垂直或水平地拖动或移动第一图像。然后,***可以在所修改的视图窗口内选择新的虚拟原点和/或重新界定所修改的视图窗口相对于当前虚拟原点的几何形状和位置参数。伴随缩放水平的改变和第一图像相对于视图窗口的位置的每次改变,***可以自动实现该过程:以更新第一图像的区域和在用户界面中显示的该区域的分辨率;重新选择第一图像的虚拟原点(例如,如果先前的虚拟原点不再在视图窗口内);并且自动重新计算视图窗口相对于当前虚拟原点的几何形状和位置参数。
可选地,***可以:响应于在视图窗口内的第一图像的缩放水平和位置的变化,实时地自动更新在用户界面中显示的第一图像的区域和该区域的分辨率;以及响应于通过用户界面手动输入命令以存储当前视图窗口并跨越该组中的其他图像填充视图窗口而选择第一图像的虚拟原点并选择性地重新计算视图窗口相对于虚拟原点的几何形状和位置参数。
然而,***可以实现任何其他方法或技术以更新在用户界面内再现的第一图像的区域和分辨率,并且自动或选择性地触发在块S220中的第一图像中的虚拟原点的选择以及在块S230中的视图窗口参数的记录。
2.4第一图像:原点选择
第二方法S200的块S220叙述在块S220中将第一虚拟原点定位在第一图像中表示的第一组装单元上的第一特征处。一般而言,在块S220中,***相对于在第一图像内的可区分特征(例如在可区分特征上)来定位在第一图像内的虚拟原点;然后,在块S230中,***可以界定在用户界面中再现的第一图像的当前区域相对于该虚拟原点的视图窗口。因为该***将虚拟原点定位在第一图像内的可区分特征处,所以该***可以实现计算机视觉技术以识别在该组中的其他图像中的类似(例如,相似)可区分特征,并且类似地相对于这些类似特征(例如在这些类似特征上)定位虚拟原点。通过在用户界面内在它们的虚拟原点在同一位置处的情况下并以与第一图像相同的比例和分辨率来再现在该组中的图像,***可以跨越在该组中的其他图像维持用于第一图像的视图窗口集合,从而使得用户能够查看(例如滚动遍历)相对于在这些图像中表示的共同特征而定位的不同组装单元的图像的区域。
特别是,可以跨越沿着同一组装线组装的一组组装单元随着时间的过去将类似零件、部件和子组件的位置不定位在相对于全局组装单元和在组装单元内的其他零件、部件和子组件的相同位置和定向上。此外,被配置为将组装单元约束在光学检查站内的固定装置可以展示非零位置公差,使得在图像序列中捕获的组装单元可以从一个图像到下一个图像显著地偏移。为了从第一组装单元的第一图像到第二组装单元的第二图像维持视图窗口,***可以在第一图像内界定第一虚拟坐标系,例如包括虚拟原点和虚拟轴,并且相对于该第一虚拟坐标系界定视图窗口。然后,***可以例如相对于在这两个图像中捕获的第一和第二组装单元的类似特征在第二图像中界定类似的第二虚拟坐标系,并且基于第二虚拟坐标系将视图窗口投影到第二图像上。通过相对于或基于在图像组中表示的组装单元中的相似特征来界定跨越图像组的参考坐标系,***可以在用户界面内的同一位置上显示这些相似特征,从而使用户能够在用户在用户界面内的整个该组图像中换位(index)时快速、可视地区分在这些组装单元中的其他特征相对于这些相似特征的相对位置的差异。
2.4.1手动原点选择
在一个实现中,在块S220中,***可以选择在第一图像内的全局特征,并在第一图像的整个区域内界定全局虚拟原点。在一个例子中,***:利用用户界面再现第一图像(例如,第一图像的整个图像或第一图像的扩展子区域);将曲线覆盖在第一图像上,与第一图像中所示的第一组装单元的特征对准;从用户接收对一个或更多个点、两条曲线的交叉点、整条曲线等的选择;以及然后将用户的选择转换为第一图像的虚拟原点和虚拟坐标系的轴。
当在用户界面内查看第一图像时,用户可以例如通过选择在用户界面内的标签或其他输入区域来发起新的视图窗口规范,用于跨越这组图像传播。在向用户呈现第一图像之前或一旦用户发起新的视图窗口规范,***可以:实现边缘检测和/或其他计算机视觉技术,以识别在第一图像中表示的第一组装单元上的真实特征的边缘;生成放置在第一图像上的特征空间;并且用与第一图像内所示的对应真实特征对准并表示第一图像内所示的对应真实特征的边缘的彩色(例如黄色、绿色)向量填充特征空间。在该实现中,***可以生成表示在第一图像中所示的第一组装单元的特征的边缘的线或曲线向量;***还可以内插由三条或更多条直线或一条或更多条曲线划界的特征的区域。此外,***可以识别在第一图像内的点,例如线和曲线的末端、线和曲线的交叉点、区域的角和/或区域的质心(例如正方形、矩形和圆形区域的中心)。一旦用户发起新的视图窗口规范,***就可以例如通过再现放置在第一图像上的特征空间或者通过在用户操纵在用户界面内的光标时加亮在光标附近的特征空间内的向量来激活特征空间。然后,***可以存储用户对来自特征空间的一个或更多个向量的选择,并将这些向量转换成第一图像的虚拟原点,如下所述。
类似地,当在用户界面内查看第一图像时(并且在发起新的视图窗口规范之后),用户可以选择在当前视图窗口内的像素。然后,***可以从第一图像特定的特征空间中选择最接近该像素的点、线或曲线。可选地,在接收到像素的选择时,***可以实现上述方法和技术,以扫描在边缘的所选像素周围的图像的区域,生成表示这些附近特征的一组向量,并然后选择最接近所选像素的向量。该***还可以在第一图像上再现该向量以指示特定特征。可选地,***可以提示用户选择围绕在第一图像内的特征(例如,区域的点、角或中心)或沿着在第一图像内的特征(例如,沿着边缘)的多个(例如三个)像素,并然后实现类似的方法和技术以识别最接近这些多个像素的单个特征(例如,区域的边缘、角或中心)。然后,***可以存储由用户选择的这个特征,并相应地实现下面描述的方法和技术以界定在第一图像中的虚拟原点。因此,该***可以:识别在第一图像的第一子区域内的、第一组装单元上的一组边缘特征;接收在第一图像的第一子区域内的像素的选择;从这组边缘特征中选择最接近该像素的第一特征;以及将虚拟原点定位在第一特征上。然而,***可以通过用户界面以任何其他方式与用户通过接口连接,以接收在第一图像内的参考特征的手动选择,或者接收在第一图像内的参考原点的选择。
在该实现中,如果用户直接通过特征空间或者通过选择像素间接地在第一图像内选择点特征,例如两条曲线的交叉点(例如角)、线的末端或者表面的中心,则***可以在该点特征处设置第一图像中的虚拟原点。***还可以为第一图像界定轴。例如,对于落在特征空间中的一条线或曲线的末端处的点特征,***可以界定与虚拟原点相交并与该线或曲线相切的虚拟轴。类似地,对于落在特征空间中的两条曲线的交叉点处的点特征(例如角),***可以界定:与虚拟原点相交并与第一曲线相切的第一虚拟轴;以及与虚拟原点相交并与第二曲线相切的第二虚拟轴。因此,在该例子中,当定位在第一图像中的第一虚拟原点时,***还可以将第一坐标系的第一虚拟原点定位在第一图像中的第一特征上,***还可以将第一坐标系的第一轴与第一特征对准。然而,对于位于表面内的点特征,***可以识别对表面划界的最接近的线(例如边缘)特征,并将虚拟轴与该线特征对准;可选地,***可以检测界定第一组装单元的全局边界(例如底边缘、左侧)的边缘特征,并将虚拟轴与该边缘特征对准。虚拟轴和虚拟原点因此可以协作来界定第一图像的虚拟坐标系。然而,***可以实现任何其他方法或技术来将虚拟原点和虚拟轴放置在第一图像中。
2.4.2自动全局原点选择
可选地,在块S220中,***可以自动检测在第一图像中所示的第一组装单元上的参考特征,且然后相对于该参考特征界定第一图像的虚拟原点。
在一个实现中,***自动计算在该组中的图像的默认虚拟原点。例如,该***可以:实现机器视觉技术(例如,边缘检测、模板匹配)以检测在第一图像中所示的第一单元的最大周长;识别第一组装单元的最大周长的左上角;在这个左上角处界定第一图像的虚拟原点;实现机器视觉技术以检测最接近虚拟原点和/或与虚拟原点相交的直边缘;以及然后将虚拟坐标系的虚拟轴与该最接近的直边缘对准。
类似地,该***可以在第一图像中表示的将第一组装单元限制在光学检查站内的固定装置上的特征处界定虚拟原点。例如,该***可以:实现模板匹配或其他物体识别技术以检测在第一组装单元(例如固定装置)的***之外的第一图像的区域中的基准点,例如快速响应代码、有刻纹的真实坐标系、一组三个销或抛光的钢球、固定装置板的角或在固定装置板上的其他已知的光学标记;以及然后将虚拟原点放置在此基准点处。
在另一例子中,***可以:实现机器视觉技术以识别在第一图像中示出的最上面的直线部件(即,在第一图像被捕获的站中的最靠近照相机的部件)的周界的左上角;在这个左上角处界定第一图像的虚拟原点;实现机器视觉技术以在第一图像中所示的最上面的直线部件上找到最接近的直边缘;以及然后将第一图像的虚拟坐标系的虚拟轴与该直边缘对准,如图3所示。
2.4.3在缩放窗口内的自动原点选择
如图4所示,***可以实现类似的方法和技术以自动选择在由视图窗口划界的第一图像内的特征,并例如响应于在用户界面处的第一图像的视图区域的改变而相对于该特征界定虚拟原点。特别是,在该实现中,***可以实现类似的方法和技术以选择在用户界面内再现的第一图像的区域内的局部特征,并相对于该局部特征界定局部虚拟原点。例如,响应于在图像观看期期间第一图像的缩放水平和观看位置的每个变化,***可以相对于在当前在用户界面内再现的第一图像的扩展区域中示出的第一组装单元的特征重新计算虚拟原点和虚拟轴(例如,虚拟坐标系的定向)。
该***可以实现上述方法和技术以:检测一般在第一图像内或者在当前由视图窗口划界的第一图像的区域内的边缘;识别在由这些边缘划界的第一组装单元上的一组分立表面;选择展示最大尺寸的特定分立表面,该最大尺寸例如在分立表面组中的最大面积或最大长度;选择对该特定分立表面的一部分划界的特征(例如,在用户界面中再现的第一图像的区域中表示的特定分立表面的最长边缘);将虚拟原点定位在第一图像中的该特征上、例如在视图窗口中显示的该特征的最上端和/或最左端处;以及然后使虚拟轴与该特征平行或相切。可选地,***可以:计算特定表面的质心;将第一图像的虚拟原点界定在该质心处;检测对特定曲面划界的边缘特征,并将虚拟轴与此边缘特征对准。因此,***可以根据在由当前视图窗口划界的图像区域中的最大表面来在第一图像中自动放置虚拟原点和虚拟轴。如上所述,该***可以实现类似的方法和技术来检测在由当前视图窗口划界的并且定位成最接近捕获第一图像的照相机的、在第一图像内表示的表面。
类似地,***可以:检测在由当前视图窗口划界的第一图像的区域内的一组边缘特征;检测这些边缘特征的交叉点(即“角”);将虚拟原点定位在第一图像的该区域中检测到的最左上角处;并将虚拟轴与和此角相交的边缘特征对准。类似地,***可以将虚拟原点定位在最靠近当前视图窗口的中心的角处。
因此,该***可以检测界定在第一组装单元内的零件的边界的边缘特征,检测这些零件的角,并且将虚拟原点放置在当前在用户界面内再现的图像的区域内所表示的这些零件之一的角处,所述零件之一例如为最大零件、最靠近视图窗口的左上角的零件、或者在图像的该区域中所表示的第一组装单元的区域内的最高高度处的零件。
可选地,该***可以:实现计算机视觉技术,例如对象识别或模板匹配,以识别在由当前视图窗口划界的第一图像的区域中表示的第一组装单元的扇区内的不同零件或零件类型;识别公共参考零件或公共参考零件类型;以及然后界定第一图像相对于公共参考零件或公共参考零件类型的虚拟原点。例如,***可以识别:PCB的边缘;摄像机镜头的径向中心;天线的节点;和/或在第一图像的区域内的紧固件头部或紧固件孔。然后,***可以实现上述方法和技术以及预定义的公共参考零件或零件类型分级结构,以选择最高一级零件或零件类型,选择对该零件或零件类型划界或定界的特征,并根据该特征界定虚拟原点和虚拟轴。例如,零件类型分级结构可以优先考虑固定装置,然后组装单元(例如外壳)、零件(例如PCB)、子零件(例如集成电路或安装到PCB的其他芯片)等。在该例子中,***可以实现计算设备技术以在由视图窗口划界的第一图像的区域内识别代表这些部件类型的特征,且然后根据零件类型分级结构将虚拟坐标系定位在第一图像的该区域中识别的最高等级零件类型上。
在前述实现中,***可以随时间的过去发展和修改零件或零件类型分级结构。例如,***可以实现机器学习技术以:如上所述跟踪和表征手动特征选择;检测在这些手动特征选择中的模式;开发用于检测图像中的相似特征的模型;以及改善零件或零件类型分级结构,以随时间的过去自动选择在组装单元内显示的组装单元的图像的区域中的代表性特征。
然而,在块S220中,***可以实现任何其他方法或技术以相对于在由当前视图窗口划界的第一图像的区域中表示的一个或更多个特征来自动定位在第一图像内的虚拟原点和/或虚拟轴。此外,***可以例如基于在用户界面内再现的虚拟单选按钮的状态或者当用户从最低缩放水平放大到第一图像时在为由用户当前观看的第一图像设置全局虚拟原点和设置局部虚拟原点之间切换。
2.5视图窗口规范:最后查看的区域参数
第二方法S200的块S230叙述记录第一图像的第一子区域相对于第一虚拟原点的几何形状和位置。通常,在块S230中,***记录表征相对于为第一图像界定的虚拟原点和/或虚拟轴在第一图像上的当前视图窗口的参数。特别是,***可以记录当前视图窗口相对于第一图像的虚拟原点的几何形状和位置——界定当前在用户界面内再现的第一图像的区域。然后,***可以将这些数据存储在新的视图窗口规范中。
在一个实现中,当用户放大和缩小第一图像并在用户界面中垂直和水平地重新定位第一图像时,在块S230中,***可以存储界定在用户界面中再现的第一图像的最后一个区域的参数。例如,***可以存储:在用户界面中再现的第一图像的矩形区域的像素宽度和像素高度;在该矩形区域与第一图像的虚拟原点之间的左上角的水平和垂直像素偏移;以及在矩形区域的一个边缘与新视窗规范中的第一图像的虚拟轴之间的角度偏移。在另一例子中,***可以存储在用户界面中再现的第一图像的矩形区域的每个角的相对于由第一图像中的虚拟原点和虚拟轴界定的虚拟坐标系的像素坐标。在块S242中,***可以实现这些参数以将第一图像的视图窗口投影到该组中的其他图像上。
***还可以写入第一图像当前正被观看的缩放水平和/或当前缩放水平的真实尺寸与像素尺寸的比率。在块S242中,***可以实现这些数据以设置该组中的其他图像的缩放水平,或者缩放这些图像以匹配第一图像的缩放水平或比例。
该***还可以存储被选择来界定第一图像中的虚拟原点和虚拟轴的特征的位置和/或包含在第一图像中的该特征的窄特征窗口例如相对于第一图像的最左上角、相对于在第一图像中所示的固定装置上的基准点或其他参考基准、或者相对于第一图像的另一全局原点的位置。类似地,***可以例如通过将特征分类为角、线、曲线、弧或表面并计算特征的长度、半径或面积(例如,以基于像素的单位或真实单位)来表征该特征。例如,***可以将这些参数存储在新的视图窗口规范中。然后,***可以在块S240中实现这些参数,以识别其他图像中的类似特征并在这些其他图像中定位可比较的虚拟原点和虚拟轴。
然而,***可以存储表示最后再现在用户界面中的第一图像的区域的大小和位置的值的任何其他集合。
此外,在块S230中,***可以实现类似的方法和技术以直接相对于在第一图像内的特征或一组特征例如不是相对于位于特征上的原点或坐标系来定位第一图像的视图窗口。
2.6第二图像:原点选择
第二方法S200的块S240叙述相对于在第二组装单元的第二图像中表示的第二特征定位第二虚拟原点,其中第二特征类似于第一特征。(块S240可以类似地叙述响应于在用户界面处接收到从第一图像前进到第二组装单元的第二图像的命令,将第二虚拟原点定位在第二图像中表示的第二组装单元上的第二特征处,其中在第二组装单元上的第二特征类似于在第一组装单元上的第一特征。)一般而言,在块S240中,***自动识别与在第一图像中被选择以在第一图像中界定第一虚拟原点和/或第一虚拟轴的第一特征相似(例如,在位置和几何形状上相似)的在第二组装单元的第二图像中的第二特征。一旦在块S240中识别出第二图像中的该第二特征,***就可以基于该第二特征来界定第二图像的第二虚拟原点和第二虚拟轴。特别是,在块S240中,当用户从第一图像滚动到第二图像时,***实现上述方法和技术以自动识别与在第一图像中选择的第一参考特征实质上相同的在第二图像中的第二参考特征,并根据该第二参考特征来自动界定在第二图像中的虚拟原点。
在一个例子中,每次用户调整第一图像的视图窗口或保存新的视图窗口规范时,***对该组中的所有其他图像、该组图像中的下五个图像和前五个图像、或者该组中的下一图像和前一图像执行块S240。可选地,一旦用户从第一图像前进(例如,向前或向后滚动、在选项上向前或向后移动)到第二图像,***就可以执行块S240以识别第二图像中的类似特征。
2.6.1有界扫描区域
在一个实现中,该***:将包围第一图像的第一虚拟原点并从第一虚拟原点偏移的边界投影到第二图像上;识别在该边界内包含的第二图像的区域内表示的第二组装单元上的一组边缘特征;识别在该组边缘特征中的第二特征,所述第二特征展示与来自所述第一图像的第一特征的第一几何形状近似的第二几何形状;以及根据当定位在第一图像中的第一原点时由***实现的参数来在第二特征上或相对于第二特征定位第二虚拟原点。例如,为了检测第二图像中的第二特征,***可以:检测第二图像中的全局原点;根据第二图像的全局原点来将存储在新视图窗口规范中的特征窗口(上面所述)投影到第二窗口上;以及扫描由该特征窗口划界的第二图像的区域,以找到展示与第一图像的第一特征的几何形状类似的几何形状的特征。
可选地,***可以扫描整个第二图像以找到类似于在第一图像中选择的第一特征的第二特征。
在块240中,***还可以检测和比较第一图像和第二图像中的其他参考特征(例如,在图像中示出的PCB的右下角),基于在第一图像和第二图像中的参考特征的相对位置来确定第二图像的比例是否全局地或局部地不同于第一图像,以及然后在必要时缩放第二图像,以使第二图像的第一视图与先前在用户界面中再现的第一图像的最后一个视图匹配。
可选地,在将该组中的图像提供给用户界面用于查看之前,***可以例如在每个图像特有的特征空间中跨越多个组装单元的多个图像识别和定位多个类似特征,例如以在用户在该组中的全部图像中滚动时基于类似特征的位置来加快将一个图像的视图区域投影到另一图像上的过程。
2.6.2类似特征检测
在一个实现中,***:识别在第二图像中表示的一组特征(例如,跨越整个第二图像或在由特征窗口划界的第二图像的区域内);在该组特征中选择第二特征,所述第二特征展示与第一特征的尺寸特征和几何特征近似的尺寸特征和几何特征;以及然后在块S240中在第二图像内的第二特征上定位第二虚拟原点。例如,***可以实现模式匹配技术以将第二图像中的第二特征与第一图像中的第一特征匹配。类似地,在上述实现中,其中在块S220中***检测在第一组装单元内的第一零件并在该第一零件上定位第一虚拟原点,***可以:实现计算机视觉技术(例如模板匹配、对象识别)以识别在第二图像中表示的第二组件中的一组零件;在该组零件中选择与第一零件相似的第二零件,第二零件例如表示相对于第二组装单元中的其他零件的几何形状和位置,其与第一组装单元中的第一零件相对于第一组装单元中的其他零件的几何形状和位置相似;以及然后在块S240中在第二图像中的第二零件的第二特征例如与第一零件的角类似的第二零件的角上定位第二虚拟原点,第一虚拟原点在块S220中被定位在第一零件的该角上。
在前述例子中,***可以:实现方法和技术以为第二图像生成第二特征空间;计算第二图像的第二特征空间与第一图像的第一特征空间之间的最佳对准;并且从第二特征空间中选择落在对准的第一特征空间中的第一特征附近并且展示与第一特征的几何形状相似的几何形状(例如长度和形状)的第二特征。
然而,***可以实现任何其他方法和技术,以自动检测与第一图像中的第一特征(即,***定位在第一图像中的第一虚拟原点和第一虚拟轴所用的第一特征)类似的在第二图像中的第二特征(例如点、线、曲线或面积特征)。然后,在块S240中,***可以重复在块S220中执行的相对于第一图像中的第一特征定位第一虚拟原点和第一虚拟轴的过程,以相对于第二图像中的第二特征定位第二虚拟原点和第二虚拟轴(例如第二坐标系)。
2.7视图窗口投影和显示
块S242叙述根据第二虚拟原点将第一图像的第一子区域的几何形状和位置投影到第二图像上,以界定第二图像的第二子区域;并且块S250叙述在用户界面内显示第二图像的第二子区域。一般来说,在块S242中,***基于界定先前在用户界面内再现的第一图像的最后一个区域的一组参数来选择第二图像的区域以最初再现在用户界面内。特别是,在块S242中,***基于第二图像的第二虚拟原点将第一图像的最后一个视图窗口投影到第二图像上,以界定第二图像的类似视图窗口。因此,在块S250中,当***在用户界面中用由类似视图窗口划界的第二图像代替由视图窗口划界的第一图像的区域时,第二图像中的第二特征(其类似于第一图像中的第一特征)在用户界面中被再现在与紧接在前面的第一特征相同的位置处和相同的方向上。因此,在块S220和S240中,***可以分别基于第一和第二图像共有的类似参考特征来定位在第一和第二图像中的坐标系,并且在块S242中将视图窗口从第一图像投影到第二图像上,使得当在块S250中,第二图像的子区域在用户界面内再现以替代第一图像的子区域时,第二图像中的参考特征在平移和旋转后与它在第一图像中的类似参考特征对准。例如,当用户从第一图像滚动到第二图像时,***可以在块S250中实质上实时地在用户界面中再现第二图像的子区域。当用户从这组图像中的第二图像滚动回到第一图像或从第二图像滚动到第三组装单元的第三图像时,***稍后可以重复块S240、S242和S250。
在一个实现中,在块S242中,该***:根据存储在新的视图窗口规范中的缩放水平来界定第二图像的视图窗口的几何形状;根据存储在新视图窗口规范中的垂直偏移来使视图窗口的原点从第二图像中的第二虚拟原点垂直偏移;根据存储在新视图窗口规范中的水平偏移来使视图窗口的原点从第二图像中的第二虚拟原点水平偏移;根据存储在新视图窗口规范中的角度偏移来相对于第二图像中的第二坐标系旋转视图窗口;以及将由新视图窗口划界的第二图像的区域界定为第二子区域。因此,当记录第一和第二图像时,***可以平移和旋转第二图像中的视图窗口以与第一图像中的视图窗口对准,以补偿在第一和第二组装单元内的零件的局部位置和定向的变化以及在光学检查站内的第一和第二组装单元的位置和定向的全局变化。然后,在块S250中,***可以在用户界面内显示第二图像的第二子区域,以代替第一图像的第一子区域。
可选地,在块S242中,***可以实现类似的方法和技术以相对于第二图像内的第二特征或一组特征将视图窗口从第一图像定位到第二图像上。然而,在块S242中,***可以实现任何其他方法或技术以将第一图像的视图窗口投影到第二图像上,并在用户界面内显示第二图像的对应区域,第二图像的参考特征与先前在用户界面中显示的第一图像的类似参考特征对准。
2.8视图窗口传播
在一种变形中,***提供在块S240和S242中为第二图像自动选择的第二特征、第二虚拟原点和/或第二虚拟轴的指示符以及提示以通过用户界面向用户确认这些选择。在接收到来自用户的这些选择的确认后,***可以为该组中的所有其他图像重复在块S240和S242中实现的过程。
在一个实现中,一旦***在块S242中自动选择第二图像的第二子区域的几何形状和位置并且在块S250中在用户界面内再现第二图像的第二子区域,***就在对该组中的其他图像执行这些过程之前通过用户界面向用户提供确认第二子区域的几何形状和位置的提示。如果用户通过用户界面指示该几何形状和位置不正确——例如相对于先前显示的第一图像的第一子区域角度地偏移、垂直或水平地移动或不正确缩放,则***可以:对第二图像重复块S240和S242,以重新计算第二图像的第二子区域的几何形状和位置;在用户界面中显示第二图像的该修改的第二子区域;并且类似地提示用户确认修改后的第二子区域的几何形状和位置。在接收到第二图像的第二子区域是不正确的指示时,***还可以提示用户选择第二图像中的替代的第二特征和/或例如通过如上所述选择第二图像内的替代像素或从放置在第二图像上的第二特征空间中选择替代特征来指示第二图像的优选原点、轴和/或坐标系。然后,***可以根据由用户输入的这些额外的选择来修改第二图像的第二子区域并更新用于跨越例如存储在新的视图窗口规范中的这组图像传播视图窗口的过程。例如,该***可以实现机器学习技术,以基于由用户提供的反馈来改善用于自动选择类似特征、定位虚拟原点以及跨越一组相关图像确定虚拟轴的方向的过程或模型。
然而,响应于接收到第二图像的第二子区域的投影几何形状和投影位置的确认,***可以:如块S210中的从数据库中获取其他组装单元的一组图像;如块S240中,定位在该组图像中的每个图像中的虚拟原点;以及在块S242中,将第一图像的第一子区域的几何形状和位置投影到该组图像中的每个图像上,以界定该组图像的一组子区域。特别是,一旦用户确认***正确地界定第二图像中的第二子区域,***就可以跨越在该组中的所有图像传播例如在新的视图窗口规范中界定的第一图像的最后一个视图窗口。然后,***可以响应于在用户界面处的滚动输入来在用户界面内显示的整个一组子区域中换位,如在上文在块S250中所述的。然而,该***可以实现任何其他方法或技术来提示、收集和响应于与第二图像的第二子区域的自动选择相关的用户反馈。
如上所述,一旦例如在用户滚动到或选择该组中的下一图像之前用户确认第二图像的第二子区域,***就可以对该组中的所有剩余图像执行块S240和S242。可选地,***可以执行前述方法和技术以当用户在用户界面内对这些其他图像向前和向后换位时实时地将第一图像的最后一个视图窗口传播到该组中的图像。
2.9复合图像
第二方法S200的一种变形包括块S252,其包括通过图像的坐标系虚拟地对准该组中的图像,减少这些图像的不透明度,并且覆盖这些图像以形成复合图像。一般来说,在这个变形中,***可以:虚拟地堆叠来自这组图像的两个(或更多个)图像,它们的相似特征或基于相似特征的坐标系对准;降低这些图像的不透明度以形成复合图像;并且在用户界面内显示该复合图像。因此,当查看复合图像时,用户可以查看与公共参考特征相关的在这些图像中表示的组装单元的类似部件(例如外壳、子组件、零件、子零件)的位置和几何形状的偏差。
例如,在块S252中,***可以:设置第一图像的第一子区域的第一不透明度;设置第二图像的第二子区域的第二不透明度;将第二子区域覆盖在第一子区域上以生成复合图像;并且在用户界面内显示该复合图像。在生成复合图像时,***可以对每个图像应用静态不透明度,例如50%不透明度。可选地,***可以使用户能够动态地调整在复合图像中表示的图像的不透明度,且然后相应地更新在显示器中再现的复合图像。例如,***可以:呈现相邻于在用户界面中显示的复合图像的滑块条;根据在滑块条上的滑块的位置变化来调整第一图像的第一不透明度;将第二图像的第二不透明度作为第一不透明度的反函数进行调整;以及相应地刷新复合图像。
该***可以实现类似的方法和技术以将来自该组图像的两个或更多个完整图像对准并组合成复合图像。
在另一个实现中,***从真实组装单元的图像和表示组装单元的图形模型的图像生成复合图像。在该实现中,通过在单个复合图像内将真实组装单元的图像与表示组装单元的图形模型的图像对准并然后在用户界面内再现该复合图像,***可以使用户能够快速在视觉上区分在真实组装单元和在图形模型中界定的组装单元的标称表示之间的部件位置和定向的差异。例如,***可以:获取表示第一组装单元的虚拟三维计算机辅助制图(“CAD”)模型;在与第一图像中所表示的第一组装单元的定向和位置近似的定向和视角中生成CAD模型的二维CAD图像;例如通过实现类似于上述块S240的方法和技术来将第三虚拟原点定位在CAD图像中的第三特征(类似于第一组装单元上的第一特征)处;例如通过实现类似于上述块S242的方法和技术根据第三虚拟原点将第一图像的第一子区域的几何形状和位置投影到虚拟CAD模型上以界定第三图像;以及然后在用户界面内在第一图像的第一子区域上显示第三图像的半透明形式。因此,在该例子中,***可以通过在第一图像中表示的真实组装单元上的真实特征和表示在CAD模型中的真实特征的图形特征来在旋转和平移中将CAD图像与第一图像对准。
可选地,该***可以实现类似的方法和技术以:生成CAD图像;将视图窗口从第一图像投影到CAD图像上,以界定类似于第一图像的第一子区域的CAD图像的子区域;并且例如当用户在新的视图窗口规范起作用时从第一图像滚动到CAD图像时独立于第一图像而在用户界面内显示CAD图像的子区域。
2.10在不同组装阶段的一个组装单元
在一种变形中,该***实现类似的方法和技术以在整个一系列组装阶段中跨越单个组装单元的一组图像保持视图窗口。例如,在块S120中,***可以基于与第一图像中所示的最大物理主体相对应的特征(例如PCB的角、矩形外壳的角或垂直侧)来为第一图像分配虚拟原点。在该例子中,***可以在不同组装阶段识别在组装单元的其他图像中的相同特征,并为这些其他图像分配类似的虚拟原点。
在该变形中,第二方法S200可以包括:在块S210中,在用户界面内显示在第一组装阶段中的组装单元的第一图像,第一图像被在第一光学检查站处记录;在块S220中,将第一图像中的第一虚拟原点定位在第一图像中表示的组装单元上的特征处;响应于在用户界面处接收到缩放输入,在块S212中在用户界面内显示第一图像的第一子区域;在块S230中,存储第一图像的第一子区域相对于第一虚拟原点的几何形状和位置;在块S240中,在第二组装阶段中的组装单元的第二图像中识别组装单元上的特征;在块S240中,根据特征来定位在第二图像中的第二虚拟原点;在块S242中,基于第一图像的子区域的几何形状和位置和第二虚拟原点来界定第二图像的第二子区域;以及响应于在用户界面处接收到从第一图像前进到第二图像的命令,在块S250中在用户界面内显示第二图像的第二子区域。
例如,该***可以:从数据库中获取第一组装单元的第一数字摄影图像,该第一数字摄影图像由在沿着组装线的第一位置处的第一光学检查站记录;如上所述,标准化第一数字摄影图像以形成第一图像;获取第一组装单元的第二数字摄影图像,所述第二数字摄影图像由沿着组装线的第二位置处的第二光学检查站记录;以及标准化第二数字摄影图像以形成第二图像。然后,该***可以实现上述方法和技术以界定第一和第二图像(以及第一组装单元的其他图像)的类似子区域,并在用户在这些图像中换位时顺序显示这些子区域。
特别是,在该变形中,该***可以实现上述方法和技术以从在组装单元的各个组装阶段记录的一序列图像来显示单个组装单元的相同物理位置的扩展视图。通过将一个组装单元在不同组装阶段的图像通过共同特征对准并响应于由用户输入的滚动或换位输入而在用户界面中顺序地显示这些图像,***可以使用户能够查看随着时间的过去(例如沿着组装线)的对组装单元的改变,这些单独图像的视图窗口被锁定到在这些图像中包含的公共参考特征。
2.10.1遮蔽的替代参考特征
在该变形中,如果例如由于在第一图像的捕获和第二图像的捕获之间被安装在组装单元上的部件遮蔽,在第一图像中被选择来界定第一图像中的虚拟原点的参考特征在同一单元的第二图像中在视觉上是不可用的,则***可以:当用户从第一单元滚动到第二单元时在组装单元上选择在第一图像和第二图像中都在视觉上可用的替代特征;以及然后为组装单元的第一和第二映像重新界定虚拟原点(或分配次级或备用虚拟原点)。
特别是,该***可以:通过在第一图像和第二图像中都表示的一个共同特征来将组装单元的第一图像(或第一图像的子区域)与第二图像(或第二图像的子区域)对准;将第二图像中的第三虚拟原点定位在第二图像中表示的组装单元上的第二特征处;存储第二图像的第二子区域相对于第三虚拟原点的几何形状和位置;在第三图像中识别组装单元上的第二特征;根据第二特征来定位在第三图像中的第四虚拟原点;基于第二图像的第二子区域的几何形状和位置和第四虚拟原点来界定第三图像的第三子区域;以及当用户在用户界面处贯穿组装单元的组装阶段前进时,显示第一、第二和第三图像的第一、第二和第三子区域。例如,该***可以通过在第一和第二图像的第一和第二子区域中都示出的组装单元内的PCB的角来将第一图像的第一子区域与第二图像的第二子区域对准。在这个例子中,在记录第三图像之前,外壳被安装在组装单元上,从而遮蔽PCB。因此,为了将第三图像与第二图像对准,***可以检测在第二图像和第三图像中都示出的组装单元的外壳的边缘,并且根据外壳的边缘来使第二图像和第三图像对准。
2.10.2透明复合视图
在该变形中,***可以实现上述方法和技术以将一个组装单元在不同组装阶段的两个或更多个图像(或两个或更多个图像的子区域)汇集成单个复合图像。例如,该***可以:在第一组装阶段设置组装单元的第一图像的第一子区域的第一不透明度;在第二(例如稍后)组装阶段设置组装单元的第二图像的第二子区域的第二不透明度;通过在第一和第二子区域中都表示的组装单元的共同特征来使第一和第二图像的第一和第二子区域对准;将第一和第二子区域合并成复合图像;以及然后在用户界面内显示复合图像。在该例子中,***可以将一个组装单元的多个(例如,全部)图像汇集成静态复合图像,并在用户界面内再现该静态复合图像。可选地,***可以将这些图像汇集成动态复合图像。例如,***可以最初显示复合图像,在第一组装状态中的组装单元的第一图像被显示在100%不透明度下,而所有其他图像在0%不透明度下;当用户在整个复合图像中滚动时,该***可以降低第一图像的不透明度,并增加在第二组装状态中的组装单元的第二图像的不透明度;一旦第二图像被显示在100%不透明度下并且当用户继续在整个复合图像中滚动时,***就可以降低第二图像的不透明度并且增加在第三组装状态中的组装单元的第三图像的不透明度;等等,直到组装单元的一组图像的最后一个图像被显示在完全不透明度下为止。
3.光学测量
如图6所示,用于跨越多个组装单元自动生成公共测量的第三方法S300包括:在块S310中检测在由光学检查站捕获的第一图像中示出的第一组装单元中的第一组特征;在块S320中在用户界面处显示第一图像和关于第一图像中的这组特征的一组曲线;以及在块S330中基于从用户界面内的这组曲线中手动选择的曲线来生成在由光学检查站成像的组装单元中的特定特征的测量规范。第三方法S300还包括对于由光学检查站捕获的一组图像中的每个图像(这组图像包括第一图像):在块S340中基于测量规范来识别在图像内所示的组装单元中的特定特征;在块S344中将失真的测量空间映射到图像上;以及在块S344中基于在失真的测量空间内的特征的几何形状来计算特定特征的真实尺寸。最后,如图7和8所示,第三方法S300可以包括在块S350中生成在由光学检查站成像的组装单元中的特定特征的真实尺寸的图形曲线图。
用于跨越多个组装单元自动生成公共测量的第三方法S300的一种变形包括:在块S320中在用户界面内显示第一图像,该第一图像的形式被在光学检查站处记录;在块S310中接收对在第一图像中表示的第一组装单元中的特定特征的手动选择;在块S330中接收对特定特征的测量类型的选择;以及在块S344中根据测量类型从第一图像中提取在第一组装单元中的特定特征的第一真实尺寸。第三方法S300还包括对于一组图像中的每个图像:在块S340中识别在图像中表示的组装单元中的特征,该组装单元中的特征类似于第一组装单元中的特定特征;以及在块S344中根据测量类型从图像中提取在组装单元中的该特征的真实尺寸。第三方法S300还包括在块S350中将第一真实尺寸和从该组图像中提取的一组真实尺寸聚集到数字容器中。
第三方法S300的另一变形包括在块S310中获取一组图像,以及对于该组图像中的第一图像:在用户界面内显示第一图像,第一图像的形式被在光学检查站处记录,并且在块S320中在用户界面内与第一图像一起显示第一真实尺寸;在块S310中接收对在第一图像中表示的第一组装单元中的特定特征的手动选择;在块S330中确定特定特征的测量类型;以及根据测量类型从第一图像中提取与第一组装单元中的特定特征相关的第一真实尺寸。第三方法S300还包括对于该组图像中的第二图像:在块S340中自动识别在第二图像中表示的第二组装单元中的第二特征,第二组装单元中的第二特征类似于第一组装单元中的特定特征;以及在块S344中根据测量类型从第二图像中提取与第二组装单元中的第二特征相关的第二真实尺寸。在该变形中,第三方法S300还包括对于该组图像中的第三图像:在块S340中自动识别在第三图像中表示的第三组装单元中的第三特征,第三组装单元中的第三特征类似于第一组装单元中的特定特征;以及在块S340中根据测量类型从第三图像中提取与第三组装单元中的第三特征相关的第三真实尺寸。第三方法S300还包括:响应于在用户界面处的第二图像的选择,在块S320中在用户界面内显示第二图像和第二真实尺寸;并且响应于在用户界面处的第三图像的选择,在块S320中在用户界面内显示第三图像和第三真实尺寸。
3.1应用
通常,***可以执行第三方法S300的块:以从第一单元的第一图像接收对在所示第一单元中的真实特征的选择;界定计算来自第一图像的特征的真实尺寸(例如长度、半径、平行度等)的调用;跨越相似单元的其他图像传播调用;并且从组装单元的相应图像自动计算跨越多个相似单元的相似特征的真实尺寸。然后,***可以将来自多个单元的一种特征类型的这些真实尺寸组装成图形绘图、直方图、表格、趋势线或跨越该组单元的特征的真实尺寸的其他图形或数字表示。该***还通过实现机器视觉技术(例如边缘检测)以识别组装单元的图像中的特征、将二维或三维测量空间映射到图像以便补偿图像中的光学失真来计算单元中的特征的真实尺寸,且然后基于在图像中特征相对于测量空间的位置来计算该特征的真实尺寸。
因此,该***可以执行第三方法S300的块,以在捕获图像之后从组装单元的图像追溯地和自动地配置一批单元的测量,从而在组装线上组装单元之前消除在组装线上配置光学检查站的需要。该***还可以执行第三方法S300的块,以使一个或更多个用户能够从单元的旧图像创建和访问真实单元特征的新测量,而不需要捕获组装单元的新图像并且不需要手动选择相同特征用于跨越多个相似单元的图像的测量。该***可以类似地例如在本地在光学检查站处、在远程服务器中或在用户的计算设备(例如智能手机)上实时地执行第三方法S300的块。
第三方法S300的块可以由计算设备例如智能手机、平板电脑或台式计算机在本地执行。该***可以包括显示器并在显示器上再现用户界面,以接收对图像中的用于测量的特征的选择并向用户呈现真实尺寸结果。第三方法S300的块可以此外或可选地由远程计算机***例如远程服务器执行,该远程计算机***与本地计算设备(例如智能手机、平板电脑或台式计算机)通过接口连接,以接收对在图像中的用于测量的特征的选择并向用户呈现真实尺寸结果。然而,任何其他本地或远程计算设备、计算机***或计算机网络(在下文中被称为“***”)可以执行第三方法S300的块。
第三方法S300在此被描述为由***实现以传播尺寸值(例如,以公制或英制单位的长度、半径、平行度等)的测量规范。然而,第三方法S300可以此外或可选地被实现为界定零件存在规范,跨越多个单元的图像传播零件存在规范,并且确认在零件存在规范中指定的部件是否存在于每个图像中。类似地,第三方法S300可以被实现来界定文本规范、颜色规范、标记(例如生产批次代码)规范的类别或任何其他类型的规范,跨越多个单元的图像传播这些规范,并且确认在零件存在规范中指定的文本串、颜色、标记或其他特征是否存在于每个图像中。
3.2图像
第三方法S300的块S320叙述在用户界面内显示第一图像。一般而言,在块S320中,***可以实现上面在块S210中描述的方法和技术,以从数据库中获取第一图像并通过用户界面将第一图像呈现给用户。
如上面在块S210中所述的,***还可以:标准化(或“平坦化”、“去扭曲”)存储在图像数据库(或“主体”)中的第一图像和其他图像;聚集一组相关图像,例如同一类型和在同一组装状态中的各种组装单元的图像或者表示在各个阶段组装中的第一(即单个)组装单元的一组图像。
3.3特征选择
第三方法S300的块S310叙述接收对在第一图像中表示的第一组装单元中的特定特征的手动选择。一般而言,在块S310中,***通过用户界面与用户通过接口连接,以接收特定特征或特定组的特征的选择,***随后在块S344中从该特定特征或特定组的特征提取尺寸。
3.3.1特征空间和基于向量的选择
在一个实现中,该***:实现计算机视觉技术以识别在第一图像中表示的第一组装单元的特征;生成包含表示这些特征的向量化点、线、曲线、区域和/或平面的特征空间;并且用该特征空间覆盖第一图像,如上所述。特别是,当用户选择由光学检查站捕获的单元的图像用于测量的***时,在块S310中,***可以实现机器视觉技术以自动检测在第一图像中所示的组装单元的特征。例如,***可以实现边缘检测技术以识别在第一图像中的角(例如点)、边缘(例如线、曲线)和表面(例如区域、平面)。在块S320中,为了引导用户选择第一图像中的一个或更多个特征用于测量,***可以:生成对第一图像特定的特征空间,该特征空间包含与在第一图像中检测到的点、线和表面对准的向量化点、曲线、区域和/或平面;以及然后在用户界面中再现第一图像和放置在第一图像上的特征空间,如图6所示。然后,***可以经由用户界面从用户接收对来自包含在第一特征空间中的第一组向量中的特定向量(或一组向量)的手动选择,且然后识别与由用户选择的特定向量相对应的特定特征(或特征组)。
3.3.2基于像素的特征选择
可选地,***可以与用户界面通过接口连接,以从第一图像接收像素的选择并实现上述方法和技术,以从一组特征中选择第一图像中的最接近或以其他方式对应于该像素的特定特征。例如:当在用户界面内查看第一图像时,用户可以将光标导航到在期望角特征附近、在期望边缘特征附近或在期望表面上的像素,并选择该像素;如上所述,***然后可以将该像素选择与对第一图像特定的特征空间进行比较,以识别最接近所选像素的特定特征。
如上所述,***还可以提示用户沿着在第一图像中表示的期望边缘或者期望表面上选择最接近期望角的多个像素;然后,***可以将这些所选像素与特征空间进行比较,以选择最佳地拟合该组所选像素的角、线(或曲线)或区域。然而,在块S310中,***可以通过用户界面以任何其他方式与用户通过接口连接,以从第一图像接收特定特征的选择。如下所述,***可以实现类似的方法和技术以从第一图像接收多个不同特征的选择。
该***可以实现第三方法S300的后续块,以基于该特征来界定该组图像的测量规范,从图像中提取该特征的真实尺寸,并且跨越该组中的其他图像填充该测量规范。
3.4测量规范
第三方法S300的块S330叙述接收对特定特征的测量类型的选择。一般而言,在块S330中,***生成界定在块S310中选择的特征的测量类型并表征从第一图像中选择的特定特征的测量规范。
如上所述,***可以从用户接收对特征空间中的一个或更多个向量化曲线的选择。例如,从覆盖在第一图像上的特征空间中包含的向量化曲线中,用户可以选择向量化点、两条向量化曲线的交叉点、一条向量化曲线、两条不相交的向量化曲线或由一条或多条向量化曲线包围的区域。该***可以用各种测量类型例如距离(例如角到角)、长度(例如端到端或边缘长度)、半径(或直径)、平面度、平行度、圆度、直线度、线轮廓、表面轮廓、垂直度、角度、对称性、同心度和/或第一图像中的特定特征的任何其他测量类型来填充在用户界面内的测量类型菜单;然后,用户可以从该菜单中为特征空间中的所选点、交叉点、曲线和/或区域选择测量类型。
基于由用户选择的特征类型,***还可以过滤、排序和/或建议在一组支持的测量类型中的测量类型。例如,在块S310中选择单条线(例如,实质上笔直的曲线)时,***可以预测长度类型测量,并且可以相应地启用测量类型菜单中的长度类型测量类型。在块S310中选择弧时,***可以启用在测量类型菜单中的总弧长测量、半径测量和直径测量。在块S310中选择区域时,***可以启用在测量类型菜单中的总面积测量和周长测量。在块S310中选择点和曲线时,***可以启用在测量类型菜单中的最近距离测量和正交距离测量。在块S310中选择第一曲线和第二曲线时,***可以启用在测量类型菜单中的最近距离测量、角度测量和间隙剖面测量(例如,作为沿着第一曲线和第二曲线的长度的函数的间隙距离)。在块S310中选择三个点时,***可以启用测量类型菜单中的用于计算由三个点形成的最小圆的测量。然而,***可以支持任何其他预定义或用户界定(例如,定制)的测量类型。***还可以接收测量类型的选择,或者以任何其他方式自动预测特定特征的测量类型。
从自第一图像选择的特定特征(例如在第一图像中的原始特征或在对第一图像特定的特征空间中的向量化点、曲线和/或区域等)中,在块S330中,***可以为该组图像生成测量规范。例如,在块S330中,***可以界定包含第一图像中的特定特征的特征窗口,并将该特征窗口的这个位置和几何形状(例如,相对于第一图像的原点或相对于第一图像的左上角)存储在测量规范中;如图6所示,在块S340中,***可以将该特征窗口投影到在该组中的其他图像上,以识别在该组中的这些其他图像中的类似于从第一图像中选择的特定特征的特征。特别是,当在块S340中根据测量规范处理该组图像时,***可以将特征窗口投影到该组中的每个图像上,且然后可以扫描由特征窗口划界的这些图像的区域,以找到类似于在块S310中选择的特征的特征。在该实现中,***可以实现上面在第二方法S200中描述的方法和技术,以将在第一图像处界定的特征窗口与该组中的其他图像对准。
该***还可以表征特定特征,并将该表征存储在测量规范中。例如,***可以:实现模板匹配或模式识别技术以将特定特征表征为弧、样条、圆或直线之一;在块S330中将特定特征的这个表征写到测量规范;并且在块S340中将该表征应用于该组中的其他图像以识别这些其他图像中的相同类型的特征。该***还可以:计算特定特征的真实尺寸或基于像素的尺寸;将此尺寸存储在测量规范中;并且在块S344中检测在组中的剩余图像中的展示例如在±2%的公差内的类似的真实尺寸或基于像素的尺寸的类似特征。类似地,***可以:提示用户输入特定特征的标称尺寸和标称尺寸的尺寸公差,如图7和8所示;或者如下所述从第一组装单元的CAD模型提取标称尺寸和尺寸公差;并且基于特征的标称尺寸来识别在该组中的其他图像中的与特定特征类似的特征。
***还可以提示用户输入测量的名称(例如“antenna_height_1”)、测量的描述(例如“天线高度”)、测量的标签或搜索词(例如“John_Smiths_measurement_set”、“RF组”、“DVT”或“EVT”等),和/或用于测量的其他文本或数字数据。然后,***可以将这些数据存储在测量规范中,如图6和9C所示。例如,***可以使用户能够在用户界面内切换这样的标签,以访问和过滤在根据测量规范从该组中的图像读取的类似特征的真实尺寸的图形或图表中表示的点。类似地,***可以使另一用户能够通过在用户界面的另一实例中经由搜索窗口输入这些标签或其他术语中的一个或更多个来搜索该测量规范,以便访问该组图像的该测量规范或者访问该测量规范用于跨越另一组图像的应用。因此,该***可以支持多个用户:以跨越各种图像组应用一般的、组特定的和/或用户特定的测量规范;根据一般的、组特定的和/或用户特定的测量规范来访问从一组图像中提取的数据;并且访问由其他用户配置的测量规范。
然而,在块S330中,***可以从用户收集任何其他相关信息,或者从第一图像提取任何其他相关数据以生成该组图像的测量规范。然后,***可以在块S340和S344中跨越该组中的图像应用测量规范,以识别在这些图像中表示的组装单元中的类似特征,并直接从这些图像中提取这些类似特征的真实尺寸。
3.5类似特征检测
第三方法S300的块S340叙述了对于一组图像中的每个图像识别在图像中表示的组装单元中的类似于第一组装单元中的特定特征的特征。(块S340可以类似地叙述识别在第二图像中表示的第二组装单元中的第二特征,第二组装单元中的第二特征类似于第一组装单元中的特定特征。)一般而言,在块S340中,***:例如通过实现上面在第二方法S200中描述的方法和技术来扫描该组图像中的图像以找到类似于从第一图像中选择的特定特征的特征,例如位于类似位置上并且展示与从第一图像中选择的特定特征类似的几何形状(例如,真实或基于像素的尺寸、特征类型)的特征;并对该组中的剩余图像重复该过程,以识别在跨越该组图像表示的组装单元中的类似特征的汇集。然后,在块S344中,***可以直接从这些图像中提取这些特征的真实尺寸,并将这些尺寸组装成表示相似特征(例如,长度、宽度、零件半径;零件的相对位置;在零件之间的间隙;等等)的尺寸变化的曲线、图表或统计量。
为了根据由用户配置的单个测量规范计算在一个或更多个构型中在相同或相似的组装阶段中跨越组装单元的一组图像的相似特征的真实尺寸,***可以扫描该组图像中的每个图像,以找到与由用户选择并在测量规范中指定的特征相似(例如,实质上相似、等效、对应)的特征。例如,对于根据测量规范选择来进行真实尺寸的计算的每个图像,***可以实现上述方法和技术以检测在图像中的特征,且然后在块S340中在图像中选择最佳地匹配从第一图像中选择并在测量规范中指定的特定特征的相对尺寸、几何形状、位置(例如,相对于在图像中表示的其他特征)、颜色、表面光洁度等的特征。然后,***可以在块S344中为该组中的每个图像计算类似特征的尺寸,如下所述。
3.5.1窗口扫描
在一个实现中,***:界定包围特定特征、从特定特征偏移并且根据第一图像的原点而定位的特征窗口;并且在上面所述的块S330中将特征窗口存储在测量规范中,如上所述。例如,***可以相对于图像的全局原点(例如,第一图像的左上角)界定特征窗口。可选地,该***可以实现计算机视觉技术以检测在第一图像中的第一组装单元的周界,将原点界定在第一图像中的第一组装单元上(例如在第一组装单元的左上角处),并且界定特征窗口相对于基于组装单元的原点的位置。该***还可以实现预设偏移距离(例如,50个像素),并且界定包含特定特征并且从特定特征偏移了预设偏移距离的未来窗口的几何形状。例如,对于界定角的特定特征,***可以界定直径为100像素的圆形特征窗口;对于界定线性边缘的特定特征,***可以界定具有展示半径为50个像素的的角并且从线性边缘的近端偏移50个像素的100像素宽的圆角矩形特征窗口。
然后,***可以根据图像的全局原点(例如,图像的左上角)定位在图像内的特征窗口。可选地,***可以重复上述过程,以界定在图像内的基于组装单元的原点,并根据该基于组装单元的原点来定位在图像中的特征窗口。然后,***可以:扫描由特征窗口划界的图像区域以识别在图像中的有限特征集合;并且将该有限特征集合中的特征的几何形状和尺寸与存储在测量规范中的特定特征的表征进行比较,以识别与来自第一图像的特定特征最佳地近似(例如,“类似”)的在图像中的一个特征。***可以对该组图像中的每个剩余图像重复该过程。
3.5.2特征空间中的特征匹配
在另一个实现中,***在块S310中为第一图像生成第一特征空间,标记表示第一特征空间中的特定特征的特定向量,并且在块S330中在测量规范中存储第一特征空间。然后,该***可以实现类似的方法和技术以识别该组图像中的图像中的一组特征,并生成包含表示在图像中的该组特征的一组向量的特征空间。然后,***可以:将图像的特征空间与第一图像的第一特征空间对准;识别在该组向量中的在位置和几何形状上最接近第一组向量中的特定向量的向量;并且将图像中的对应于该向量的特征标记为类似于第一图像中的特定特征。***可以对该组图像中的每个剩余图像重复该过程。
然而,该***可以实现任何其他方法或技术来识别类似于从第一图像中选择的第一组装单元的特定特征的、在该组图像中表示的组装单元的特征。此外,在块S310中,***可以对于从第一图像中选择的多个距离特征中的每一个重复前述过程。
3.5.3特征确认
在一种变形中,在重复该过程以识别在该组中的其他图像中的类似特征之前,***实现上述方法和技术以从用户接收下面的确认:对该组图像中的第二图像中的第二特征的识别类似于从第一图像中选择的特定特征。例如,一旦在块S330中界定了测量规范,***就可以:执行特征选择例程以识别在第二图像中的被预测为与从第一图像中选择的特定特征可比较(即,类似)的第二特征;并将该特征选择例程的步骤或特征选择例程的表征存储在存储器中(例如,在测量规范中)。在对该组中的其他图像重复特征选择例程之前,***可以:在用户界面中显示第二图像;指示在第二图像内的第二特征;并通过用户界面提示用户确认第二个特征类似于特定特征。如果用户指示第二特征不正确,则***可以重复特征选择例程以从第二图像中选择替代特征,并重复该过程,直到用户指示正确的特征被选择为止。***可以此外或可选地提示用户手动地指示在第二图像中的正确特征,并且***可以相应地更新特征选择例程。然而,响应于经由用户界面从用户接收到类似于特定特征的第二特征的手动确认,***可以:在该组中的第三图像处执行特征选择例程,以识别第三图像中的类似于特定特征的第三特征;并且在该组中的其他图像处执行特征选择例程,以识别这些其他图像中的类似特征。
3.6测量传播
第三方法S300的块S344叙述:根据测量类型从第一图像中提取第一组装单元中的特定特征的第一真实尺寸;并且对于一组图像中的每个图像,根据测量类型从图像中提取组装单元中的特征的真实尺寸。一般来说,一旦在块S310和S340中在该组图像中的每个图像中识别出类似的特征,***就直接从它们的对应图像中提取这些特征中的每一个的尺寸。
此外,一旦从组装单元的图像中提取特征的尺寸,***就可以在用户界面内例如在图像上或相邻于图像再现特征及其尺寸的指示。特别是,响应于在用户界面处从第一图像中选择第一特征,***可以在用户界面内与第一图像一起(例如,在第一图像上或相邻于第一图像)显示第一特征的第一真实尺寸;响应于在用户界面处选择第二组装单元的第二图像,***可以在用户界面内显示第二图像和类似于第一特征的第二特征的第二真实尺寸;等等。
3.6.1来自原始图像的真实尺寸
在一种变形中,***:将尺寸空间投影到第一(“展平的”)图像上;基于特定特征相对于尺寸空间的位置和测量类型来从第一图像中提取特定特征的第一真实尺寸;并对该组中的其他图像重复该过程。
在该实现中,该***可以使第一组装单元的原始数字摄影图像展平,并且通过用户界面将展平的第一图像呈现给用户,用于选择特定特征。一旦选择了特定特征,***就可以将特定特征从展平的第一图像投影到第一数字摄影图像上,以识别原始数字摄影图像中的特定特征。然后,***可以将失真的测量空间映射到第一数字摄影图像上,以准备从数字摄影图像中提取特定特征的真实尺寸。通常,在该变形中,为了精确地(即,准确地且可重复地)计算在展平的图像中表示的组装单元的特征的真实尺寸,***可以将失真的测量空间投影到对应的数字摄影图像上,并且基于特征相对于失真的测量空间的位置来从数字摄影图像中提取特征的尺寸。特别是,不是从可能导致在原始数字摄影图像上的数据的损失的展平的图像中提取真实尺寸,该***可以将失真的测量空间映射到相应的数字摄影图像上,以便补偿数字摄影图像中的光学失真(例如透视失真),同时也保留在图像中包含的数据。
在一个实现中,该***生成虚拟测量空间,该虚拟测量空间表示在离光学检查站中的照相机一段特定距离处的真实空间中的平面,该光学检查站对数字摄影图像重新编码但在二维或三维上“扭曲”(即,“失真”)以表示在从照相机中的光学器件产生的数字摄影图像中的光学失真。在一个例子中,在捕获组装单元的数字摄影图像之后,光学检查站可以在数字摄影图像被记录的时刻用由光学检查站实现的缩放水平、聚焦位置、光圈、ISO和/或其他成像参数来标记数字摄影图像。在这个例子中,为了计算数字摄影图像中的特征的尺寸,***可以:从存储在数字摄影图像中的元数据中提取这些成像参数;计算参考平面,组装单元的真实特征在相对于真实参考(例如光学检查站上的基准)的真实空间中出现在参考平面上;以及然后基于与数字摄影图像一起存储的成像参数生成虚拟测量空间,该虚拟测量空间包含偏移了与在真实参考平面上的已知真实距离相对应的虚拟距离的一组X和Y网格曲线,如图6所示。然后,***可以通过在覆盖在数字摄影图像上的、虚拟测量空间中的X和Y网格曲线之间进行内插来计算在数字摄影图像中显示的特征的长度、宽度、半径等。
在前述例子中,***可以在数字摄影图像中的类似于特定特征的特征的每一端处选择像素或像素群,将这些像素投影到扭曲的测量层上,基于每个所投影的像素或像素群在测量空间中相对于X和Y网格曲线的位置来内插每个所投影的像素或像素群的真实位置,以及然后基于在像素或像素群的内插的真实位置之间的差异来计算真实单元中的特征的真实长度(或两个特征之间的距离)。在此例子中,***可以在数字摄影图像中的与在测量规范中界定的特征对应的特征的每一端处选择像素或像素群,生成表示测量空间中的真实直线并穿过像素或像素群的虚拟曲线,以及然后从在与数字摄影图像中的特征相对应的像素与测量空间中的虚拟曲线之间的变化计算组装单元中的特征的直线度。因此,该***可以基于数字摄影图像中的校准基准或者基于任何其他一般的光学检查站特定成像或数字摄影图像特定参数来从标准校准网格生成扭曲的测量层。
然而,***可以在块S344中生成任何其他形式的测量层(或多维测量空间),并且可以在块S344中以任何其他方式将该测量层应用于数字摄影图像,以根据在测量规范中界定的参数来计算组装单元上的特征的真实尺寸。当相应的数字摄影图像被用用户界面再现时,***还可以例如以扭曲网格覆盖物的形式在相应的数字摄影图像上再现测量层的虚拟形式。
3.6.2来自去扭曲图像的真实尺寸
在另一个实现中,***直接从展平的图像中提取真实尺寸(上面所述)。例如,如上所述,当例如基于在光学检查站处记录的参考图像来计算用于使在光学检查站处记录的数字摄影图像展平的单应性变换时,***可以计算使在展平的图像中的数字像素的长度与真实尺寸(即真实空间中的长度值)相关联的标量系数。在块S344中,为了从图像中提取特征的真实尺寸,***可以:对跨越特征的像素的数量进行计数;并且将像素的该数量乘以标量系数以计算该特征的真实尺寸。然而,该***可以实现任何其他方法或技术以从组装单元的展平的图像中提取组装单元上的真实特征的真实尺寸。该***可以为该组图像中的每个图像实现这些方法和技术以计算跨越该组的相似特征的真实尺寸。
(该***可以此外或可选地实现本文所述的方法和技术以基于测量规范仅在组装单元的一个图像中计算组装单元的尺寸(例如,而不是跨越所有图像或图像的子集传播测量规范)。例如,***可以实现这些方法和技术以基于由用户输入到单个图像上的像素到像素选择来计算一次性测量。
3.7访问和分析
第三方法S300的块S350叙述将第一真实尺寸和从该组图像中提取的一组真实尺寸聚集到数字容器(例如,虚拟视觉表示或数字文件)中。一般而言,在块S350中,***将从该组图像中提取的表示一组组装单元的相似(例如,类似)特征的真实尺寸聚集成跨越该组组装单元的该特征的变化的视觉或统计(例如,数字)表示。
3.7.1曲线图和图表
在一个实现中,***可以将在跨越该组图像表示的组装单元中的类似特征的真实测量值编译成图形曲线图。例如,***可以将这组真实尺寸聚集成包括跨越这组真实尺寸的一组分立百分位数范围(例如,0-10%、10-20%、20-30%等)的虚拟直方图,且然后在用户界面内再现虚拟直方图,如图9A所示。在该例子中,响应于选择在该组分立百分位范围中的特定百分位数范围(或者将光标放置在特定百分位数范围上),***可以获取代表该特定百分位数范围的在该组图像中的示例性图像,并且在用户界面内在虚拟直方图之上或旁边再现该示例性图像。
在另一个实现中,***可以:将这组真实尺寸转换成真实尺寸与时间(例如,如沿着组装线记录的组装单元的时间和数字摄影图像)或与序号的关系曲线图,如图9B所示;以及然后在用户界面中显示该曲线图。***还可以计算曲线的趋势线或最佳拟合线,并根据此趋势线预测在尺寸公差之外的、离特征的标称尺寸的偏差。例如,当组装单元沿着组装线被组装时并且当从沿着组装线布置的光学检查站接收到这些单元的数字摄影图像时,该***可以实质上实时地执行前述方法和技术。在该例子中,***可以:基于从这些图像提取的数据来生成横跨一系列组装单元的特定特征的真实尺寸与序号的关系曲线图;以及在从光学检查站接收到每个附加数字摄影图像之后(重新)计算曲线的趋势线。如果趋势线展示正斜率(每单位时间或每组装单位)超过阈值斜率(例如,一旦处理了组装单元的阈值数量的图像),则***可以自动生成组装线的标记并提示用户(或与组装线相联系的其他工程师或实体)审查与在组装线处的对应特征相关的过程,以便抢占(preempt)超过尺寸公差的这个特定特征离指定尺寸的偏差。因此,该***可以从图像中提取特定特征的尺寸,推断该特定特征的尺寸的趋势,并且选择性地提示用户或其他实体(近)实时地研究组装线,以便从组装线实现提高的产量。
在前述实现中,***可以通过用户界面与用户通过接口连接,以在任何组装单元在组装线处被组装或成像之前配置组装单元类型或组装线的测量规范。例如,***可以:获取组装单元的三维CAD模型,如上面在第二方法S200中所述的;在块S320中在用户界面内显示CAD模型的二维或三维CAD图像;在块S310中直接从CAD图像接收对特定特征的用户选择;并且在块S330中基于该选择和从CAD模型中提取的其他数据(例如,特定特征的标称尺寸和尺寸公差、特征类型、组件类型和配置等)来配置特定特征的测量规范。然后,***可以根据该基于CAD的测量规范来(近)实时地从光学检查站接收的组件上的每个图像中表示的组装单元中提取与从CAD模型中选择的特定特征对应的特征的真实尺寸。
可选地,该***可以将测量规范追溯地应用于先前记录并存储在数据库中的图像的语料库(corpus),例如以使用户能够在设计下一产品模型时访问来自先前产品模型的一批组装单元中的特定特征的尺寸统计。例如,***可以提取平均尺寸、标准偏差、离标称尺寸的偏差、超过预设尺寸公差的离标称尺寸的偏差的实例或者与跨越在一组图像中表示的一组(类似)组装单元的类似特征的真实尺寸相关的任何其他统计。然后,***可以通过用户界面向用户呈现这些图形和/或数字数据。然而,***可以生成跨越该组组装单元的特定特征的尺寸的任何其他类型的曲线图、图形或图表,或者从这些尺寸数据中提取任何其他统计。
可选地,***可以将这些尺寸封装到电子表格或其他数字文件或数据库中;然后,用户可以下载该文件,用于在另一程序中操纵这些尺寸数据。然而,在块S350中,***可以将这些尺寸数据封装到任何其他数字容器中。
3.7.2异常值
在另一实现中,***例如在数字摄影图像从光学检查站被接收到时实时地或基于存储在数据库中的图像异步地检测尺寸异常值并相应地标记单独的组装单元。例如,在***跨越该组图像生成相似特征的尺寸的直方图的上面描述的实现中,***可以:识别表示展示落在直方图中表示的尺寸的上限(例如,顶部10%)内的尺寸的特征的图像子集;以及标记这些组装单元的存储在图像元数据中或直接从在这些图像中包含的可视数据中提取的序号,如图9A所示。类似地,***可以:例如通过手动输入或者通过从CAD模型或工程图中提取这些数据来将从该组图像中提取的类似特征的尺寸直接与和该特征相关联的标称尺寸和尺寸公差进行比较,如上所述;并且标记包含展示与标称尺寸相差大于尺寸公差的该特征的组装单元的序号,如图9B所示。
因此,在该实现中,***可以:例如通过在配置测量规范时提示用户手动输入这些值或者通过从CAD模型或工程图中提取这些值来访问特定特征的目标尺寸并访问特定特征的目标尺寸的尺寸公差。然后,***可以:标记第二组装单元的序号,该第二组装单元包括由与目标尺寸相差大于尺寸公差的真实尺寸表征的类似于特定特征的第二特征。
当从沿着组装线部署的光学检查站接收图像时,***可以(近)实时地执行该过程。在前述例子中,***可以:在第一组装单元中的特定特征的基于第一图像的选择处配置测量规范;在继第一时间之后的第二时间在组装线处记录的第二图像中表示的第二组装单元中识别类似于第一特征的第二特征;根据测量规范从第二图像中提取第二组装单元中的第二特征的第二真实尺寸;并且在大约第二时间,通过用户界面或与用户相关联的另一计算设备传输包含第四组装单元的电子通知。
在该实现中,***还可以访问与组件的故障相关联的类似于在块S310中选择的特定特征的特征的尺寸范围,该特征例如存储在数据库中或者由用户在当前图像观看期期间手动地输入。在接收到第二组装单元的第二图像时,***可以:识别包含类似于特定特征的并且由包含在与组件故障相关联的尺寸范围内的第二真实尺寸表征的第二特征的第二组装单元;且然后在第二组装单元穿过组装线时例如(近)实时地向与用户相关联的电子账户提供检查第二组装单元的提示。该***可以实现类似的方法和技术以异步地标记包含该故障范围内的尺寸的特征的组装单元。例如,如果在较大批量的组装单元的生产之后所组装的组装单元的子集的测试稍后指示特定特征的尺寸与故障之间的关联,则***可以标记在该较大批量中的未对组装单元测试的其他单元,这些未对组装单元测试的其他单元由于展示在故障范围内的尺寸的类似特征而可能出故障。
3.7.3多个真实尺寸
在图9C所示的一个实现中,***实现上述第三方法S300的块,以将第一测量规范和不同于第一测量规范的第二测量规范应用于该组图像,且然后将第一和第二测量规范的结果编译成一个图形或统计。
在该实现中,***可以:在块S320中接收在第一图像中表示的第一组装单元中的第二特定特征的手动选择;在块S330中接收对第二特定特征的第二测量类型的选择;以及在块S344中根据第二测量类型从第一图像中提取第一组装单元中的第二特定特征的第二真实尺寸。在该例子中,***然后可以对于该组图像中的每个图像:在块S340中识别在图像中表示的组装单元中的第二特征,其中组装单元中的第二特征类似于第一组装单元中的第二特定特征;以及在块S344中根据第二测量类型从图像中提取组装单元中的第二特征的第二真实尺寸。在块S350中,***然后可以用表示跨越该组图像的第一测量类型(例如,沿着曲线图的第一轴)和表示跨越该组图像的第二测量类型(例如,沿着曲线图的第二轴)的点来填充二维图。例如,***可以将该组中的每个图像的笛卡尔坐标界定为(result_first_measurement_specification,result_second_measurement_specification),以及然后根据它的笛卡尔坐标在二维散点图中表示每个图像。
在该实现中,***还可以接收将第一测量规范与第二测量规范链接的数学模型,例如对于组中的一个组装单元:在第一测量规范和第二测量规范的结果之间的最大和/或最小差异;第一测量规范的结果和第二测量规范的结果之和的标称和及总公差;等等。然后,该***可以实现上述方法和技术,以自动标记包含违反第一和第二测量规范的单独标称尺寸和尺寸公差或者链接第一和第二测量规范的模型的特征的组装单元。
3.7.4过滤器
在一个实现中,***:从用户接收一组过滤值和对预先存在的测量规范的选择;根据过滤值来过滤由在组装线中的光学检查站捕获的一组图像;如上所述,将测量规范自动应用于经过滤的这组图像,以生成跨越相应组的单元的特征的尺寸的图形曲线图和/或数字表示;并且将图形曲线图和/或数字表示传递给用户。例如,用户可以基于组装线标识符、光学检查站序号、测量规范起源或所有者(例如,最初配置测量规范的用户)、测量规范名称、特征名称或类型等来搜寻或过滤为组装、构型或配置而配置的一组预先存在的测量规范,并选择特定的测量规范(或一组测量规范)以应用于由沿着组装线***的光学检查站捕获的一组图像。在该例子中,用户还可以输入一个或更多个单元过滤器,例如构型(例如,EVT、DVT、PVT)、配置(例如,颜色、卖方、工程设计)、组装日期(或日期范围、时间范围)、组装阶段、单元序号范围、时间戳、光学检查站或组装状态、固定装置序号、测量值、测量范围等。该***还可以存储这些过滤器,基于任何前述参数对单元进行分组,并且基于由用户选择的一个或更多个过滤器来从一组图像生成对应于一组图像或图像的子集的新的绘图。
在前述例子中,用户可以将文本自然语言过滤器输入到例如在智能手机上执行的本地SMS消息应用中、在平板电脑上执行的本地验证测试应用中或在台式计算机上的浏览器窗口中的提示窗口中,并且***可以实现自然语言处理技术以将由用户输入的文本串转换成单元的一组过滤器,并且选择相应的一组图像和/或其他数据,用于测量规范的应用。可选地,***可以为先前基于测量规范而成像的一组单元可采用的过滤器和/或由用户选择的其他过滤器发布动态下拉菜单。然后,如上所述,***可以生成跨越经过滤的这组单元的特征尺寸的图形曲线图,并例如以在用户智能手机上执行的本地SMS文本消息传递应用中可见的静态图形的形式或者以在本地验证测试应用中或在浏览器窗口中可见的交互式图形的形式将该图形曲线图推回到用户。
然而,***可以通过在本地计算设备处执行的用户界面以任何其他方式与用户通过接口连接,以接收测量规范和/或组装单元过滤器。然后,***可以:根据由用户选择的一个或更多个过滤值过滤这组图像,以选择表示组装单元的子集的图像的子集;生成被包含在组装单元的子集中的类似于特定特征的类似特征的图形、文本或统计表示;以及然后通过在用户的计算设备上执行的用户界面或其他本地应用或web浏览器向用户提供这个图形、文本或统计表示。
3.7.5通知
在***(近)实时地执行前述方法和技术的上述实现中,***可以向与用户相关联的电子账户实时地提供检查所标记的组装单元的提示。例如,***可以直接通过用户界面再现包含检查提示和所标记的组装单元的序号的检查提示。对于从用户界面远程地执行第三方法S300的块的***,该***可以此外或可选地生成包含检查提示和所标记的组装单元的序号的SMS文本消息或基于应用的通知,且然后例如在用户处于容纳组装线的建筑物或所标记的组装单元当前正在生产中或当前被容纳时将该文本消息或通知(近)实时地发送到与用户相关联的移动计算设备(例如智能手机、智能手表)。可选地,例如***可以在用户在用户界面内激活测量规范时或者通过经由电子邮件向用户发送测量规范的结果的每日或每周摘要来异步地提供跨越这组组装单元的相似特征的尺寸的图形、文本和/或统计表示,如下所述。
在一种变形中,第三方法S300还可以包括:例如以接收与根据测量空间从新组装单元的图像提取的尺寸相关的更新的请求的形式从用户接收对测量规范的订阅;以及基于订阅将数字容器分发到与用户相关联的电子账户。在该变形中,***可以使用户和其他用户能够订阅测量规范,并且可以将例如上面所述的图形和/或文本提示自动推送到与订阅测量规范的每个用户相关联的计算设备。例如,***可以向与订阅测量技术的每个用户相关联的移动计算设备实时地推送电子通知,以检查包含类似于特定特征并展示从为特定特征界定的标称尺寸偏离或表示统计异常值(即,不一定在预定公差之外)的尺寸的特征的特定组装单元。可选地,该***可以填充包含组装单元——其包含展示离标称尺寸的偏差的这样的特征——的序号的电子表格,将电子表格***图像中,并例如在每日或每周摘要中将电子邮件发送给测量规范的订户。
3.8图像审查
***还可以结合第三方法S300执行第二方法S200,以通过在这些图像中表示的组装单元中包含的共同特征来使图像实质上对准,并且提取包含在这些组装单元中的共同特征或其他类似特征的尺寸。在该实现中,***然后可以基于从该组中的图像提取的相似特征的尺寸来界定该组中的图像的顺序,且然后根据该顺序在用户界面处在整个这组图像中滚动,从而使用户能够以包含在这些组装单元中的并且由其在视觉上对准的共同特征的尺寸增加(或减少)的顺序来查看组装单元的图像。例如,该***可以:基于从该组图像中的图像提取的类似于特定特征的特征的真实尺寸来界定该组图像的顺序;如上所述,通过类似于特定特征的特征(例如,通过角特征或通过两个边缘特征)使该组图像中的图像实质上对准;并且响应于在用户界面处的滚动输入,在用户界面内按照顺序在整个再现这组图像中的图像中换位。
在另一实现中,***可以结合第三方法S300的块S350来实现第二方法S200的块S252,以选择表示类似于特定特征的特征的尺寸的跨度的两个(或更多个)图像,并生成包含这些代表性图像的复合图像。例如,在块S350中,***可以:计算跨越从这组图像提取的这组真实尺寸的真实尺寸的范围;从该组图像中选择表示第二组装单元的第二图像,第二组装单元包含类似于特定特征并且由接近真实尺寸的这个范围的第一端的第二尺寸表征的第二特征;从该组图像中选择表示第三组装单元的第三图像,该第三组装单元包含类似于该特定特征并由接近真实尺寸的范围的相对端的第三尺寸表征的第三特征;如块S252所示,生成包括第二图像和覆盖在第二图像上的第三图像的复合图像;以及然后在用户界面内再现复合图像。然后,该***可以实现上述方法和技术以基于从该组图像中提取的这些特征的真实尺寸来作为整体组合两个或更多个图像,该两个或更多个图像表示包含表示该组组装单元的类似特征的组装单元的子集。
***和方法可至少部分地被体现和/或实现为被配置为接收存储计算机可读指令的计算机可读介质的机器。指令可以通过与应用、小应用程序、主机、服务器、网络、网站、通信服务、通信接口、用户计算机或移动设备的硬件/固件/软件元件、腕表、智能电话或其任何适当的组合而集成的计算机可执行部件来执行。实施方式的其他***和方法可以至少部分地被体现和/或被实现为被配置成接收存储了计算机可读指令的计算机可读介质的机器。指令可以由通过与上述类型的装置和网络集成的计算机可执行部件所集成的计算机可执行部件来执行。计算机可读介质可以存储在任何适当的计算机可读介质上,例如RAM、ROM、闪速存储器、EEPROM、光学设备(CD或DVD)、硬盘驱动器、软盘驱动器或任何适当的设备。计算机可执行部件可以是处理器,但任何适当的专用硬件设备可以(可选地或附加地)执行指令。
如本领域的技术人员将从先前的详细描述中以及从附图和权利要求中认识到的,在不脱离如在随附的权利要求中所限定的本发明的范围的情况下,可以对本发明做出修改和变化。
Claims (20)
1.一种用于跨越多个组装单元自动测量公共特征的方法,包括:
在用户界面内显示第一图像,所述第一图像的形式在光学检查站处被记录;
接收对在第一组装单元中的特定特征的选择;
从所述第一图像中提取所述第一组装单元中的所述特定特征的第一真实尺寸;
界定包围所述特定特征、偏离所述特定特征并且相对于所述第一图像的第一全局原点而定位的特征窗口;
对于一组图像中的每个图像:
识别在所述图像中表示的组装单元中的特征,所述组装单元中的所述特征与所述第一组装单元中的所述特定特征相似;以及
从所述图像中提取在所述组装单元中的所述特征的真实尺寸;以及
将所述第一真实尺寸和从所述一组图像中提取的一组真实尺寸聚集到数字容器中。
2.根据权利要求1所述的方法,还包括:
从所述第一图像中提取第一组特征;
基于所述第一组特征,检测所述第一图像的所述第一全局原点;
接收对所述特定特征的测量类型的选择;以及
对于所述一组图像中的每个图像:
从所述图像中提取一组特征;
基于所述一组特征,检测所述图像的全局原点;
相对于所述图像的所述全局原点,在所述图像内定位所述特征窗口;以及
扫描由所述特征窗口划界的所述图像的区域,以识别所述图像中表示的所述组装单元上的所述特征。
3.根据权利要求1所述的方法:
还包括接收对所述特定特征的测量类型的选择;
其中,显示所述第一图像包括:
从数据库中获取第一数字摄影图像,所述第一数字摄影图像在组装期间的第一时间由所述光学检查站记录;
基于在所述光学检查站处记录的参考图像来标准化所述第一数字摄影图像以生成所述第一图像;以及
将所述第一图像提供到执行所述用户界面的计算设备以用于再现;并且
其中,从所述第一图像中提取所述第一组装单元中的所述特定特征的所述第一真实尺寸包括:
将尺寸空间投影到所述第一图像上;以及
基于所述特定特征相对于所述尺寸空间的位置和所述测量类型来从所述第一图像中提取所述特定特征的所述第一真实尺寸。
4.根据权利要求3所述的方法,还包括:
从所述数据库获取第二数字摄影图像,所述第二数字摄影图像在所述组装期间的第二时间由所述光学检查站记录;
基于所述参考图像来标准化所述第二数字摄影图像以生成所述一组图像中的第二图像;
识别在所述第二图像中表示的第二组装单元中的第二特征,所述第二组装单元中的所述第二特征与所述第一组装单元中的所述特定特征相似;并且
从所述第二图像中提取所述第二组装单元中的所述第二特征的第二真实尺寸包括:
将所述尺寸空间投影到所述第二图像上;以及
基于所述第二特征相对于所述尺寸空间的位置和所述测量类型来从所述第二图像中提取所述第二特征的第二真实尺寸。
5.根据权利要求1所述的方法,其中,接收对在所述第一组装单元中的所述特定特征的手动选择包括:
从所述第一图像接收对特定像素的手动选择;以及
识别在第一组特征中距离所述特定像素最近的所述特定特征。
6.根据权利要求1所述的方法,还包括:
识别所述第一组装单元的组装状态;以及
从跨越一组光学检查站被记录的并表示在各种组装状态中的多个组装单元的图像的主体中,选择表示在所述组装状态中的一组组装单元的所述一组图像。
7.根据权利要求1所述的方法,还包括:
识别所述第一组装单元的序号;以及
从跨越一组光学检查站被记录的并表示在各种组装状态中的多个组装单元的图像的主体中,选择表示在各种组装阶段中的所述第一组装单元的所述一组图像。
8.根据权利要求1所述的方法,还包括:
生成界定第一测量类型并表征所述特定特征的测量规范;
从用户接收对所述测量规范的订阅;以及
基于所述订阅将所述数字容器分发到与所述用户相关联的电子账户。
9.根据权利要求1所述的方法,还包括:
访问所述特定特征的目标尺寸;
访问所述特定特征的所述目标尺寸的尺寸公差;以及
响应于由与所述目标尺寸相差大于所述尺寸公差的第二真实尺寸表征的第二特征,标记第二组装单元,所述第二特征与在所述一组组装单元中的第二组装单元的所述一组图像中的第二图像中检测到的所述特定特征相似。
10.根据权利要求1所述的方法,还包括:
基于从所述一组图像中的图像提取的与所述特定特征相似的特征的真实尺寸来界定所述一组图像的顺序;
通过与所述特定特征相似的特征使所述一组图像中的图像实质上对准;以及
响应于在所述用户界面处的滚动输入,在所述用户界面内按照所述顺序在整个再现所述一组图像中的图像中换位。
11.根据权利要求1所述的方法:
其中,将所述第一真实尺寸和从所述一组图像中提取的所述一组真实尺寸聚集到所述数字容器中包括将所述第一真实尺寸和所述一组真实尺寸聚集到虚拟直方图中,所述虚拟直方图包括跨越所述第一真实尺寸和所述一组真实尺寸的一组分立百分位数范围;以及
所述方法还包括:
在所述用户界面内再现所述虚拟直方图;以及
响应于对在所述一组分立百分位数范围中的特定百分位数范围的选择,在所述用户界面内再现所述一组图像中表示所述特定百分位数范围的特定图像。
12.根据权利要求1所述的方法,还包括:
访问与组件的故障相关联的与所述特定特征相似的特征的尺寸范围;
识别第二组装单元,所述第二组装单元包括与所述特定特征相似并且由包含在所述尺寸范围内的第二真实尺寸表征的第二特征,所述第二组装单元在所述一组图像中的第二图像中被表示;以及
向与用户相关联的电子账户提供检查所述第二组装单元的提示。
13.根据权利要求1所述的方法,其中,将所述第一真实尺寸和从所述一组图像中提取的所述一组真实尺寸聚集到所述数字容器中包括:
计算跨越所述第一真实尺寸和从所述一组图像中提取的所述一组真实尺寸的真实尺寸范围;
在所述一组图像中选择表示第二组装单元的第二图像,所述第二组装单元包含与所述特定特征相似并且由接近所述真实尺寸范围的第一端的第二尺寸表征的第二特征;
在所述一组图像中选择表示第三组装单元的第三图像,所述第三组装单元包含与所述特定特征相似并且由接近所述真实尺寸范围的第二端的第三尺寸表征的第三特征;
生成包括所述第二图像和覆盖在所述第二图像上的所述第三图像的复合图像;以及
在所述用户界面内再现所述复合图像。
14.根据权利要求1所述的方法:
其中,在所述用户界面内显示所述第一图像包括:
生成第一特征空间,所述第一特征空间包括表示所述第一组特征的第一组向量;以及
在所述用户界面内与所述第一图像一起显示所述第一特征空间;
其中,接收对在所述第一组装单元中的所述特定特征的手动选择包括:
从包含在所述第一特征空间中的所述第一组向量接收对特定向量特征的手动选择;以及
识别与所述特定向量相对应的所述特定特征。
15.根据权利要求14所述的方法,其中,对于所述一组图像中的每个图像识别在图像中表示的组装单元中的特征包括对于所述一组图像中的每个图像:
生成特征空间,所述特征空间包括表示所述一组特征的一组向量;
基于全局原点,将所述特征空间与所述第一特征空间对准;
扫描由所述特征窗口划界的所述图像的区域,以识别所述一组向量中在位置和几何形状上与所述第一组向量中的所述特定向量最接近的向量;以及
将所述图像中的对应于所述向量的所述特征标记为与所述特定特征相似。
16.一种方法,包括:
获取一组图像;
对于所述一组图像中的第一图像:
在用户界面内显示所述第一图像,所述第一图像的形式在光学检查站处被记录;
从第一组特征接收对在所述第一组装单元中的特定特征的选择;
从所述第一图像中提取与所述第一组装单元中的所述特定特征相关的第一真实尺寸;以及
界定包围所述特定特征、偏离所述特定特征并且相对于所述第一图像的第一全局原点而定位的特征窗口;
对于所述一组图像中的第二图像:
相对于所述第二图像的第二全局原点,在所述第二图像内定位所述特征窗口;
识别在所述第二图像中表示的第二组装单元中的第二特征,所述第二组装单元中的所述第二特征与所述第一组装单元中的所述特定特征相似;以及
从所述第二图像中提取与在所述第二组装单元中的所述第二特征相关的第二真实尺寸;
对于所述一组图像中的第三图像:
根据所述第三图像的第三全局原点,在所述第三图像内定位所述特征窗口;以及
识别在所述第三图像中表示的第三组装单元中的第三特征,所述第三组装单元中的所述第三特征与所述第一组装单元中的所述特定特征相似;以及
从所述第三图像中提取与所述第三组装单元中的所述第三特征相关的第三真实尺寸;
响应于在所述用户界面处的所述第二图像的选择,在所述用户界面内显示所述第二图像和所述第二真实尺寸;以及
响应于在所述用户界面处的所述第三图像的选择,在所述用户界面内显示所述第三图像和所述第三真实尺寸。
17.根据权利要求16所述的方法,还包括:
对于所述一组图像中的所述第一图像:
从所述第一图像提取第一组特征;
基于所述第一组特征,检测所述第一图像的所述第一全局原点;
确定所述特定特征的测量类型;
根据所述测量类型,从所述第一图像中提取与所述第一组装单元中的所述特定特征相关的所述第一真实尺寸;
在所述用户界面内与所述第一图像一起显示所述第一真实尺寸;
对于所述一组图像中的所述第二图像:
从所述第二图像提取第二组特征;
基于所述第二组特征,检测所述第二图像的所述第二全局原点;
扫描由所述特征窗口划界的所述第二图像的区域,以识别所述第二图像中表示的所述第二组装单元中的所述第二特征;以及
根据所述测量类型,从所述第二图像中提取与所述第二组装单元中的所述第二特征相关的所述第二真实尺寸;以及
对于所述一组图像中的所述第三图像:
从所述第三图像提取第三组特征;
基于所述第三组特征,检测所述第三图像的所述第三全局原点;
扫描由所述特征窗口划界的所述第三图像的区域,以识别所述第三图像中表示的所述第三组装单元中的所述第三特征;以及
根据所述测量类型,从所述第三图像中提取与所述第三组装单元中的所述第三特征相关的所述第三真实尺寸。
18.根据权利要求17所述的方法:
其中,扫描由所述特征窗口划界的所述第二图像的区域,以识别所述第二图像中表示的所述第二组装单元中的所述第二特征包括执行特征选择例程以识别所述第二图像中的所述第二特征;
所述方法还包括,响应于识别在所述第二图像中表示的所述第二组装单元中的所述第二特征:
在所述用户界面内显示所述第二图像;以及
指示所述第二图像内的所述第二特征;并且
其中,扫描由所述特征窗口划界的所述第三图像的区域,以识别所述第三图像中表示的所述第三组装单元中的所述第三特征包括,响应于在所述用户界面处接收到所述第二特征与所述特定特征相似的手动确认,根据所述特征选择例程来识别所述第三图像中的所述第三特征。
19.根据权利要求17所述的方法:
其中,接收对所述第一组装单元中的所述特定特征的所述选择包括在第一时间接收对所述第一组装单元中的所述特定特征的所述选择;
其中,识别在所述第二图像中表示的所述第二组装单元中的所述第二特征包括识别在所述第一时间之前在组装线处记录的所述第二图像中表示的所述第二组装单元中的所述第二特征;并且
所述方法还包括:
访问所述特定特征的目标尺寸;
访问所述特定特征的所述目标尺寸的尺寸公差;
响应于接收到在继所述第一时间之后的第二时间记录的第四图像,扫描由所述特征窗口划界的所述图像的区域,以识别在所述第四图像中表示的第四组装单元中的第四特征,所述第四组装单元中的所述第四特征与所述第一组装单元中的所述特定特征相似;
根据所述测量类型从所述第四图像中提取所述第四组装单元中的所述第四特征的第四真实尺寸;以及
响应于所述第四真实尺寸与所述目标尺寸相差大于所述尺寸公差,标记所述第四组装单元。
20.一种用于跨越多个组装单元自动测量公共特征的方法,包括:
在用户界面内显示第一图像,所述第一图像的形式在光学检查站处被记录;
接收对在所述第一图像中表示的第一组装单元中的特定特征的选择;
从所述第一图像中提取所述第一组装单元中的所述特定特征的第一真实尺寸;
对于一组图像中的每个图像:
识别在所述图像中表示的组装单元中的特征,所述组装单元中的所述特征与所述第一组装单元中的所述特定特征相似;以及
从所述图像中提取在所述组装单元中的所述特征的真实尺寸;以及
将所述第一真实尺寸和从所述一组图像中提取的一组真实尺寸聚集到数字容器中;以及
响应于由所述一组组装单元中的第二组装单元的所述一组图像中的第二图像中检测的第二真实尺寸表征的第二特征偏离所述一组真实尺寸,标记所述第二组装单元。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662279174P | 2016-01-15 | 2016-01-15 | |
US62/279,174 | 2016-01-15 | ||
CN201780010809.4A CN108701237B (zh) | 2016-01-15 | 2017-01-16 | 用于跨越多个组装单元自动生成公共测量的方法 |
PCT/US2017/013675 WO2017124074A1 (en) | 2016-01-15 | 2017-01-16 | Methods for automatically generating a common measurement across multiple assembly units |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780010809.4A Division CN108701237B (zh) | 2016-01-15 | 2017-01-16 | 用于跨越多个组装单元自动生成公共测量的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114549447A true CN114549447A (zh) | 2022-05-27 |
Family
ID=59311801
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210146345.2A Pending CN114549447A (zh) | 2016-01-15 | 2017-01-16 | 用于跨越多个组装单元自动生成公共测量的方法 |
CN201780010809.4A Active CN108701237B (zh) | 2016-01-15 | 2017-01-16 | 用于跨越多个组装单元自动生成公共测量的方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780010809.4A Active CN108701237B (zh) | 2016-01-15 | 2017-01-16 | 用于跨越多个组装单元自动生成公共测量的方法 |
Country Status (3)
Country | Link |
---|---|
US (4) | US10198808B2 (zh) |
CN (2) | CN114549447A (zh) |
WO (1) | WO2017124074A1 (zh) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10460489B2 (en) * | 2017-03-15 | 2019-10-29 | Facebook, Inc. | Visual editor for designing augmented-reality effects and configuring scaling parameters |
US10732123B2 (en) * | 2017-05-31 | 2020-08-04 | Flir Systems Ab | Inspection routing systems and methods |
US20180374022A1 (en) * | 2017-06-26 | 2018-12-27 | Midea Group Co., Ltd. | Methods and systems for improved quality inspection |
CN107463974A (zh) * | 2017-08-18 | 2017-12-12 | 华南理工大学 | 一种可靠性试验过程的测试数据与仪器全溯源方法 |
EP3468187A1 (en) * | 2017-10-03 | 2019-04-10 | Axis AB | Method and system for encoding video streams |
CN108076384B (zh) * | 2018-01-02 | 2019-12-06 | 京东方科技集团股份有限公司 | 一种基于虚拟现实的图像处理方法、装置、设备和介质 |
US10795618B2 (en) | 2018-01-05 | 2020-10-06 | Datamax-O'neil Corporation | Methods, apparatuses, and systems for verifying printed image and improving print quality |
US10546160B2 (en) | 2018-01-05 | 2020-01-28 | Datamax-O'neil Corporation | Methods, apparatuses, and systems for providing print quality feedback and controlling print quality of machine-readable indicia |
US10834283B2 (en) | 2018-01-05 | 2020-11-10 | Datamax-O'neil Corporation | Methods, apparatuses, and systems for detecting printing defects and contaminated components of a printer |
US10803264B2 (en) | 2018-01-05 | 2020-10-13 | Datamax-O'neil Corporation | Method, apparatus, and system for characterizing an optical system |
US11556233B2 (en) * | 2018-02-13 | 2023-01-17 | Lenovo (Singapore) Pte. Ltd. | Content size adjustment |
US10467783B2 (en) | 2018-02-23 | 2019-11-05 | ExoAnalytic Solutions, Inc. | Visualization interfaces for real-time identification, tracking, and prediction of space objects |
US10402672B1 (en) * | 2018-02-23 | 2019-09-03 | ExoAnalytic Solutions, Inc. | Systems and synchronized visualization interfaces for tracking space objects |
US11488848B2 (en) * | 2018-07-31 | 2022-11-01 | Taiwan Semiconductor Manufacturing Co., Ltd. | Integrated semiconductor die vessel processing workstations |
EP3611698A1 (en) * | 2018-08-14 | 2020-02-19 | The Boeing Company | Automated supervision and inspection of assembly process |
US11442438B2 (en) | 2018-08-14 | 2022-09-13 | The Boeing Company | Automated supervision and inspection of assembly process |
NL2021599B1 (en) * | 2018-09-11 | 2020-05-01 | Boeing Co | Automated supervision and inspection of assembly process |
US11037368B2 (en) | 2018-09-11 | 2021-06-15 | Samsung Electronics Co., Ltd. | Localization method and apparatus of displaying virtual object in augmented reality |
CN111339459A (zh) * | 2018-12-18 | 2020-06-26 | 北京京东尚科信息技术有限公司 | 一种信息处理方法、服务器、终端及计算机存储介质 |
US10779398B2 (en) * | 2018-12-20 | 2020-09-15 | Arris Enterprises Llc | Virtual silk screen for printed circuit boards |
US11297500B2 (en) * | 2019-04-16 | 2022-04-05 | Research Foundation Of The City University Of New York | Authenticating digital evidence |
AU2020319085B2 (en) | 2019-07-25 | 2024-04-18 | ExoAnalytic Solutions, Inc. | Systems and visualization interfaces for orbital paths and path parameters of space objects |
US11727522B2 (en) * | 2019-10-11 | 2023-08-15 | Cargo Spectre | Method, system, and apparatus for damage assessment and classification |
JP2021131652A (ja) * | 2020-02-19 | 2021-09-09 | 株式会社トプコン | データ構造、記録媒体、プログラム、及びシステム |
US20210342388A1 (en) * | 2020-04-30 | 2021-11-04 | Rockwell Automation Technologies, Inc. | Identifying equipment assembly information based on image data |
US11232554B1 (en) | 2021-06-07 | 2022-01-25 | Elementary Robotics, Inc. | Machine-learning based camera image triggering for quality assurance inspection processes |
US11954846B2 (en) | 2020-06-16 | 2024-04-09 | Elementary Robotics, Inc. | Explainability and complementary information for camera-based quality assurance inspection processes |
US11937019B2 (en) | 2021-06-07 | 2024-03-19 | Elementary Robotics, Inc. | Intelligent quality assurance and inspection device having multiple camera modules |
CN112529928A (zh) * | 2020-12-28 | 2021-03-19 | 晟通科技集团有限公司 | 零件组装检测方法、计算机设备及存储介质 |
US11605159B1 (en) | 2021-11-03 | 2023-03-14 | Elementary Robotics, Inc. | Computationally efficient quality assurance inspection processes using machine learning |
US11675345B2 (en) | 2021-11-10 | 2023-06-13 | Elementary Robotics, Inc. | Cloud-based multi-camera quality assurance architecture |
US11605216B1 (en) | 2022-02-10 | 2023-03-14 | Elementary Robotics, Inc. | Intelligent automated image clustering for quality assurance |
US20240004355A1 (en) * | 2022-06-29 | 2024-01-04 | Aspentech Corporation | System and Method for Building and Deploying Prescriptive Analytics to Predict and Control End Product Quality in Batch Production Monitoring and Optimization |
US11846930B1 (en) * | 2022-08-03 | 2023-12-19 | Industrial Video Solutions Inc. | Systems and methods for monitoring and controlling industrial processes |
US11932991B2 (en) | 2022-08-03 | 2024-03-19 | Industrial Video Solutions Inc. | Systems and methods for monitoring and controlling industrial processes |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5734384A (en) * | 1991-11-29 | 1998-03-31 | Picker International, Inc. | Cross-referenced sectioning and reprojection of diagnostic image volumes |
EP0787288B1 (en) * | 1994-10-20 | 2009-03-04 | Packard Instrument Company, Inc. | Improved imaging method and apparatus |
US6400846B1 (en) | 1999-06-04 | 2002-06-04 | Mitsubishi Electric Research Laboratories, Inc. | Method for ordering image spaces to search for object surfaces |
US6980690B1 (en) | 2000-01-20 | 2005-12-27 | Canon Kabushiki Kaisha | Image processing apparatus |
US7712056B2 (en) * | 2002-06-07 | 2010-05-04 | Cadence Design Systems, Inc. | Characterization and verification for integrated circuit designs |
JP4684595B2 (ja) * | 2004-08-05 | 2011-05-18 | ソニー株式会社 | 画像表示装置 |
US8311311B2 (en) * | 2005-10-31 | 2012-11-13 | Mitutoyo Corporation | Optical aberration correction for machine vision inspection systems |
US8477154B2 (en) * | 2006-03-20 | 2013-07-02 | Siemens Energy, Inc. | Method and system for interactive virtual inspection of modeled objects |
US8170322B2 (en) * | 2006-03-22 | 2012-05-01 | Jadak Llc | Optical imaging system and method using a reflective background |
US7966557B2 (en) | 2006-03-29 | 2011-06-21 | Amazon Technologies, Inc. | Generating image-based reflowable files for rendering on various sized displays |
US7743338B2 (en) * | 2006-09-11 | 2010-06-22 | Apple Inc. | Image rendering with image artifact along a multidimensional path |
JP5469433B2 (ja) * | 2009-10-30 | 2014-04-16 | 株式会社キーエンス | 画像処理装置及び画像処理方法 |
US8274592B2 (en) * | 2009-12-22 | 2012-09-25 | Eastman Kodak Company | Variable rate browsing of an image collection |
CN102117349B (zh) * | 2009-12-31 | 2013-08-28 | 鸿富锦精密工业(深圳)有限公司 | 寻边工具命令生成***及方法 |
US8792696B2 (en) * | 2010-05-02 | 2014-07-29 | Kelce S. Wilson | Industrial diagnostic image change highlighter |
EP2477000A1 (de) * | 2011-01-14 | 2012-07-18 | Leica Geosystems AG | Vermessungsgerät mit einer automatischen Darstellungswechsel-Funktionalität |
JP5799521B2 (ja) * | 2011-02-15 | 2015-10-28 | ソニー株式会社 | 情報処理装置、オーサリング方法及びプログラム |
WO2012129634A2 (en) * | 2011-03-31 | 2012-10-04 | Vision X Inc. | Automatic determination of compliance of a part with a reference drawing |
JP5957357B2 (ja) * | 2012-10-15 | 2016-07-27 | 株式会社日立ハイテクノロジーズ | パターン検査・計測装置及びプログラム |
JP6043662B2 (ja) * | 2013-03-18 | 2016-12-14 | 株式会社ニューフレアテクノロジー | 検査方法および検査装置 |
US9098891B2 (en) * | 2013-04-08 | 2015-08-04 | Kla-Tencor Corp. | Adaptive sampling for semiconductor inspection recipe creation, defect review, and metrology |
US9445713B2 (en) * | 2013-09-05 | 2016-09-20 | Cellscope, Inc. | Apparatuses and methods for mobile imaging and analysis |
US9530250B2 (en) * | 2013-12-10 | 2016-12-27 | Dassault Systemes | Augmented reality updating of 3D CAD models |
US20150300962A1 (en) * | 2014-04-16 | 2015-10-22 | Texas Instruments Incorporated | Assembly For Inspecting Machine Parts Used In The Production Of Semiconductor Components |
JP6499898B2 (ja) * | 2014-05-14 | 2019-04-10 | 株式会社ニューフレアテクノロジー | 検査方法、テンプレート基板およびフォーカスオフセット方法 |
US10504218B2 (en) * | 2015-04-21 | 2019-12-10 | United Technologies Corporation | Method and system for automated inspection utilizing a multi-modal database |
US9964398B2 (en) * | 2015-05-06 | 2018-05-08 | Faro Technologies, Inc. | Three-dimensional measuring device removably coupled to robotic arm on motorized mobile platform |
-
2017
- 2017-01-16 WO PCT/US2017/013675 patent/WO2017124074A1/en active Application Filing
- 2017-01-16 US US15/407,162 patent/US10198808B2/en active Active
- 2017-01-16 CN CN202210146345.2A patent/CN114549447A/zh active Pending
- 2017-01-16 CN CN201780010809.4A patent/CN108701237B/zh active Active
- 2017-01-16 US US15/407,158 patent/US10325363B2/en active Active
-
2019
- 2019-05-06 US US16/404,566 patent/US11164304B2/en active Active
-
2021
- 2021-09-30 US US17/491,213 patent/US20220020139A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220020139A1 (en) | 2022-01-20 |
WO2017124074A1 (en) | 2017-07-20 |
US11164304B2 (en) | 2021-11-02 |
US20170206643A1 (en) | 2017-07-20 |
US20190259141A1 (en) | 2019-08-22 |
US10198808B2 (en) | 2019-02-05 |
US20170206428A1 (en) | 2017-07-20 |
CN108701237A (zh) | 2018-10-23 |
US10325363B2 (en) | 2019-06-18 |
CN108701237B (zh) | 2022-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108701237B (zh) | 用于跨越多个组装单元自动生成公共测量的方法 | |
US12001191B2 (en) | Automated 360-degree dense point object inspection | |
Deng et al. | Automatic indoor construction process monitoring for tiles based on BIM and computer vision | |
US11719648B2 (en) | Method for smart conversion and calibration of coordinate | |
US7630539B2 (en) | Image processing apparatus | |
CN106415807B (zh) | 使用高分辨率全裸片图像数据进行检验 | |
JP5953842B2 (ja) | 画像検査方法および検査領域設定方法 | |
CN102574288B (zh) | 用于切割和/或蚀刻包括其上复制有图案和/或笔迹的平坦表面的物品的设备及用于致动该设备的方法 | |
AU2019260856A1 (en) | System and method for performing automated analysis of air samples | |
JP6868515B2 (ja) | 構造物管理装置、構造物管理方法、及び構造物管理プログラム | |
CN115599844A (zh) | 一种飞机翼面连接件错装漏装可视化检测方法 | |
CN117589109A (zh) | 石英中心托盘制作工艺的质量检测与控制方法 | |
EP3525566A1 (en) | Substrate inspection device and substrate distortion compensating method using same | |
KR102198028B1 (ko) | 스마트 팩토리 가상설계에 따른 설비배치에 대한 설비위치 검증방법 | |
CN117132583A (zh) | 晶圆缺陷检测方法、装置、电子设备及非易失性存储介质 | |
Bueno et al. | Quantitative evaluation of CHT and GHT for column detection under different conditions of data quality | |
CN114422653A (zh) | 一种书籍展平线激光快速标定方法及激光扫描仪 | |
KR101647688B1 (ko) | 마스크 내 다이 크기 및 개수 자동 획득 방법 | |
CN113761642B (zh) | 基于bim模型与图形码匹配的管道构件检测方法 | |
JP2003078925A (ja) | カメラ校正システムおよびカメラ校正方法 | |
CN116246260A (zh) | 部件的识别方法和识别装置 | |
CN111950325A (zh) | 一种目标识别方法、装置及电子设备 | |
CN114787859A (zh) | 设置***、设置方法和程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |