CN109844805B - 图像处理用元件形状数据生成***及图像处理用元件形状数据生成方法 - Google Patents

图像处理用元件形状数据生成***及图像处理用元件形状数据生成方法 Download PDF

Info

Publication number
CN109844805B
CN109844805B CN201680090099.6A CN201680090099A CN109844805B CN 109844805 B CN109844805 B CN 109844805B CN 201680090099 A CN201680090099 A CN 201680090099A CN 109844805 B CN109844805 B CN 109844805B
Authority
CN
China
Prior art keywords
shape data
image processing
component
wire frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680090099.6A
Other languages
English (en)
Other versions
CN109844805A (zh
Inventor
鬼头秀一郎
稻浦雄哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Original Assignee
Fuji Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Corp filed Critical Fuji Corp
Publication of CN109844805A publication Critical patent/CN109844805A/zh
Application granted granted Critical
Publication of CN109844805B publication Critical patent/CN109844805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/028—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring lateral position of a boundary of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

在生成在对由元件安装机安装的元件进行图像识别时使用的图像处理用元件形状数据的情况下，执行如下的处理：线框描绘处理，与显示于显示部的元件图像重叠地描绘线框，并且根据作业者的拖曳操作而使线框的边的位置移动；端缘位置检测处理，通过图像处理来检测元件图像中的测量对象部分的端缘位置；自动拖曳处理，在作业者进行拖曳操作的线框的边的位置接近于由上述端缘位置检测处理检测出的测量对象部分的端缘位置的预定范围内时，自动地使该线框的边的位置与该测量对象部分的端缘位置重合；及元件形状数据生成处理，测量由通过该自动拖曳处理而自动地使线框的四边与测量对象部分的四个方向上的端缘位置重合了的该线框包围的该测量对象部分的形状数据，而生成图像处理用元件形状数据。

Description

图像处理用元件形状数据生成***及图像处理用元件形状数 据生成方法
技术领域
本说明书公开了生成在对由元件安装机安装的元件进行图像识别时使用的图像处理用元件形状数据的图像处理用元件形状数据生成***及图像处理用元件形状数据生成方法。
背景技术
一般，在元件安装机中，在通过相机拍摄吸附于吸嘴的元件并对该元件进行图像识别时，使用预先生成的图像处理用元件形状数据(表示元件的主体部分的尺寸、引脚的位置、宽度、长度、间距、根数等外观上的特征的数据)，对该元件进行图像识别，来判定该元件的吸附位置的偏差量或吸附姿态的良好与否。以往，在由元件安装机的用户侧生成图像处理用元件形状数据的情况下，除了利用元件的CAD数据的方法以外，还有利用相机拍摄作为图像处理用元件形状数据的生成对象的元件，并使用该拍摄图像来生成图像处理用元件形状数据的方法(专利文献1)。
在这种图像处理用元件形状数据生成***中，需要作业者指定测量由相机拍摄的元件图像中的哪个部分，因此，与显示于显示装置的画面的元件图像重叠地描绘包围该元件图像中的测量对象部分(例如元件的主体部分、引脚的列等)用的线框，作业者操作鼠标，对该线框的四边进行利用显示于显示装置的画面的鼠标指针点击线框的边的中央的尺寸变更句柄，并进行拖曳操作而使该线框的边的位置向测量对象部分的端缘位置的方向移动而使两者重合，由此指定该测量对象部分的端缘位置的操作，然后测量由该线框的四边包围的测量对象部分的形状数据(例如纵横的尺寸等)来生成图像处理用元件形状数据。
现有技术文献
专利文献1：日本特开2011-211088号公报
发明内容
发明所要解决的课题
然而，作业者为了通过鼠标的拖曳操作准确地使线框的边的位置与测量对象部分的端缘位置重合，需要进行使鼠标指针在测量对象部分的端缘位置附近小幅地移动而使线框的边的位置小幅地移动的细致的拖曳操作。由于这样的细致的拖曳操作易于使作业者的手感到疲劳，操作性较差，因此无法高效地生成图像处理用元件形状数据。
而且，有时因作业者不同而拖曳操作粗糙，在线框的边的位置从测量对象部分的端缘位置微小地偏移的状态下就结束了拖曳操作，将由该线框包围的区域视为测量对象部分而对测量对象部分的形状数据进行测量，这会成为使测量对象部分的形状数据的测量精度下降而使图像处理用元件形状数据的生成精度下降的原因。该图像处理用元件形状数据的生成精度下降成为在元件安装机的作业中使元件的图像识别精度下降而使元件安装精度下降的原因。
用于解决课题的技术方案
为了解决上述课题，在生成在对由元件安装机安装的元件进行图像识别时使用的图像处理用元件形状数据的图像处理用元件形状数据生成***中，上述图像处理用元件形状数据生成***构成为具备：显示部，显示拍摄作为上述图像处理用元件形状数据的生成对象的元件而得到的元件图像；线框描绘部，与显示于上述显示部的元件图像重叠地描绘包围该元件图像中的测量对象部分用的线框，并且根据作业者的拖曳操作而使上述线框的边的位置移动；端缘位置检测部，通过图像处理而检测出上述元件图像中的上述测量对象部分的端缘位置；自动拖曳部，在作业者进行拖曳操作的上述线框的边的位置接近于由上述端缘位置检测部检测出的上述测量对象部分的端缘位置的预定范围内时，自动地使该线框的边的位置与该测量对象部分的端缘位置重合；及元件形状数据生成部，测量由通过上述自动拖曳部而自动地使上述线框的四边与上述测量对象部分的四个方向上的端缘位置重合了的该线框包围的该测量对象部分的形状数据，而生成上述图像处理用元件形状数据。
在该结构中，由于通过图像处理来检测元件图像中的测量对象部分的端缘位置，且在作业者进行拖曳操作的线框的边的位置接近于由上述端缘位置检测部检测出的测量对象部分的端缘位置的预定范围内时，通过自动拖曳部自动地使线框的边的位置与该测量对象部分的端缘位置重合，因此即使作业者粗糙地进行拖曳操作，也能够准确地使线框的边的位置与测量对象部分的端缘位置重合。由此，能够改善作业者的拖曳操作的操作性，能够高效地生成图像处理用元件形状数据，并且能够提高使用了线框的测量对象部分的形状数据的测量精度，能够提高图像处理用元件形状数据的生成精度。
在该情况下，也可以是，上述端缘位置检测部检测元件图像的拖曳操作方向上的亮度变化，将该亮度变化较大的位置检测为上述测量对象部分的端缘位置，具体地说，也可以是，将元件图像中的、通过线框的各边的直线之间的矩形区域的亮度投影于沿拖曳操作方向延伸的坐标轴上，并检测该投影亮度的变化率超过预定范围的位置作为上述测量对象部分的端缘位置。这样一来，例如，在检测元件的主体部分的端缘位置的情况下，即使在该主体部分上附有文字或标记，也能够防止将该文字或标记误认作主体部分的端缘。
然而，在显示部中，元件图像不一定无倾斜地显示，也有可能元件图像倾斜地显示，但是在元件图像倾斜的状态下，无法准确地使线框的四边与元件图像的测量对象部分的四个方向上的端缘重合，测量对象部分的形状数据的测量精度会下降。
作为其对策，也可以是，具备对显示于显示部的元件图像的倾斜进行修正的元件倾斜修正部，上述线框描绘部对由上述元件倾斜修正部修正了倾斜的元件图像描绘线框。这样一来，即使在显示于显示部的元件图像有倾斜的情况下，也能够修正该倾斜，而准确地使线框的四边与测量对象部分的四个方向上的端缘位置重合，能够高精度地测量测量对象部分的形状数据。
该图像处理用元件形状数据生成***既可以设于元件安装机的外部，也可以搭载于元件安装机。
在将该图像处理用元件形状数据生成***设于元件安装机的外部的情况下，元件安装机的图像处理***使用由上述元件形状数据生成部生成的图像处理用元件形状数据，对由该元件安装机安装的元件进行图像识别即可。
另一方面，在将该图像处理用元件形状数据生成***搭载于元件安装机的情况下，也可以是，在查明在元件安装机中产生的错误的原因时，利用该元件安装机的元件识别用的相机拍摄吸附于该元件安装机的吸嘴的元件，并将该元件图像显示于该元件安装机的显示部来重新生成上述图像处理用元件形状数据。如此一来，当在元件安装机中产生的错误的原因为图像处理用元件形状数据的失配的情况下，能够修正成适合于该元件安装机的图像处理***的图像处理用元件形状数据，能够减少元件安装机的错误的产生频度，并且能够提高元件的图像识别精度。
附图说明
图1是表示一实施例的图像处理用元件形状数据生成***的结构的框图。
图2是表示元件图像和线框的显示例的图。
图3是表示将元件图像中的、通过线框的上下两边的直线之间的矩形区域的亮度投影于X坐标轴上而求出的投影亮度的变化例的曲线图。
图4是表示X坐标轴上的投影亮度的变化率的一例的曲线图。
图5是表示图像处理用元件形状数据生成程序的前半部的处理的流程的流程图。
图6是表示图像处理用元件形状数据生成程序的后半部的处理的流程的流程图。
图7是表示测量对象部分端缘位置检测程序的处理的流程的流程图。
具体实施方式
以下，对一实施例进行说明。
如图1所示，图像处理用元件形状数据生成***构成为具备：个人计算机等计算机11；相机12，拍摄作为图像处理用元件形状数据的生成对象的元件；键盘、鼠标、触摸面板等输入装置13；液晶显示器、CRT等显示装置14(显示部)；及存储装置15，存储在生成后述的图像处理用元件形状数据时执行的图5至图7的各程序及生成的图像处理用元件形状数据等各种数据。该存储装置15使用即使在电源断开时也保持存储数据的可改写的非易失性的存储介质(例如硬盘装置等)构成。
虽未图示，本实施例的图像处理用元件形状数据生成***的计算机11设于元件安装机的外部(元件安装线的外部)，经由网络而与元件安装线的生产管理计算机或各元件安装机以能够进行通信的方式连接。
计算机11通过执行后述的图5及图6中的图像处理用元件形状数据生成程序而作为对显示于显示装置14的元件图像的倾斜进行修改正的“元件倾斜修正部”发挥作用，并且也作为与显示于显示装置14的元件图像重叠地描绘包围该元件图像中的测量对象部分P用的线框W(参照图2)，且根据作业者的拖曳操作使线框W的边的位置移动的“线框描绘部”发挥作用。
此外，计算机11通过执行后述的图7中的测量对象部分端缘位置检测程序而作为通过图像处理来检测元件图像中的测量对象部分P的端缘位置的“端缘位置检测部”发挥作用。此外，计算机11通过后述的图5及图6中的图像处理用元件形状数据生成程序而作为当作业者进行拖曳操作的线框W的边的位置接近于由图像处理检测出的测量对象部分P的端缘位置的预定范围内时，自动地使该线框W的边的位置与该测量对象部分P的端缘位置重合的“自动拖曳部”发挥作用，并且也作为测量由通过该自动拖曳处理而自动地使线框W的四边与测量对象部分P的四个方向上的端缘位置重合了的该线框W包围的该测量对象部分P的形状数据而生成图像处理用元件形状数据的“元件形状数据生成部”发挥作用。
以下，说明计算机11通过执行后述的图5～图7中的各程序而实现的各功能(1)～(5)。
(1)作为元件倾斜修正部的功能
在将作为图像处理用元件形状数据的生成对象的元件的图像显示于显示装置14时，元件图像不一定无倾斜地显示，也有可能元件图像倾斜地显示，但是在元件图像倾斜的状态下，无法准确地使与显示画面的X坐标轴和Y坐标轴平行地显示的长方形的线框W的四边与元件图像的测量对象部分P(在图2的显示例中为主体部分)的四个方向上的端缘重合，测量对象部分P的形状数据的测量精度会下降。
因此，在元件图像倾斜地显示于显示装置14的情况下，作业者操作键盘、鼠标等输入装置13，使用编辑器(图像编辑软件)的倾斜修正功能，以使元件图像的主体部分P的上下两边和左右两边分别与X坐标轴和Y坐标轴平行的方式修正元件图像的倾斜而使倾斜角度成为0°。
另外，显示于显示装置14的元件图像不仅限定于由相机12拍摄的元件图像，也可以使计算机11取得在其他场所拍摄的元件图像的文件并将其显示于显示装置14。
(2)作为线框描绘部的功能
如图2所示，与显示于显示装置14的元件图像重叠地描绘包围该元件图像中的测量对象部分P的线框W。并且，作业者操作鼠标等输入装置13进行如下的拖曳操作：利用鼠标指针M点击并选中线框W的边的中央的尺寸变更句柄H，并在该状态下使鼠标指针M向接近测量对象部分P的端缘位置的方向(在图2的显示例中为左方向)移动。由此，根据作业者的拖曳操作而使线框W的该边的位置向接近测量对象部分P的端缘位置的方向移动。作业者通过对线框W的四边逐个边地进行该拖曳操作来调整线框W的尺寸和位置。
(3)作为端缘位置检测部的功能
为了检测出元件图像中的测量对象部分P的端缘位置而检测元件图像的拖曳操作方向上的亮度变化，检测将该亮度变化较大的位置作为测量对象部分P的端缘位置。例如，在测量对象部分P的颜色为“黑”且其周围的背景色为“白”的情况(或者与之相反的情况)下，通过亮度变化而检测出拖曳操作方向上的黑色与白色的分界线，来检测出测量对象部分P的端缘位置。
在本实施例中，为了提高测量对象部分P的端缘位置的检测精度，将元件图像中的、通过线框W的各边的直线之间的矩形区域的亮度投影于沿拖曳操作方向延伸的坐标轴上。在图2的显示例中，由于拖曳操作方向为X方向(左右方向)，因此将通过线框W的上下两边的直线之间的矩形区域的亮度投影于X坐标轴上，而求出图3所示那样的X方向上的投影亮度的变化。在此，“将矩形区域的亮度投影于X坐标轴上”是指“以X坐标为单位累计矩形区域中的各像素的亮度”。
在拖曳操作方向为Y方向(上下方向)的情况下，将通过线框W的左右两边的直线之间的矩形区域的亮度投影于Y坐标轴上(以Y坐标为单位累计矩形区域中的各像素的亮度)，而求出Y方向上的投影亮度的变化。
这样，只要将通过线框W的各边的直线之间的矩形区域的亮度投影于沿拖曳操作方向延伸的坐标轴上，例如在检测元件的主体部分P的端缘位置的情况下，即使在该主体部分P附有文字或标记，也能够防止将该文字或标记误认作主体部分P的端缘。
此外，在本实施例中，为了易于检测出X、Y坐标轴上的投影亮度的变化较大的位置，如图4所示，算出X坐标轴上的投影亮度的变化率(＝投影亮度/ΔX)，并检测出X坐标轴上的投影亮度的变化率超过预定范围的位置(峰值位置)作为测量对象部分P的X方向上的端缘位置。相同地，算出Y坐标轴上的投影亮度的变化率(＝投影亮度/ΔY)，并检测出Y坐标轴上的投影亮度的变化率超过预定范围的位置(峰值位置)作为测量对象部分P的Y方向上的端缘位置。
另外，测量对象部分P的端缘位置的检测不限定于上述方法，也能够使用通过图像处理来检测端缘位置的各种方法。
(4)作为自动拖曳部的功能
当作业者进行拖曳操作的线框W的边的位置接近于根据投影亮度的变化率的峰值位置而检测出的测量对象部分P的端缘位置的预定范围内时，自动地使该线框W的边的位置与该测量对象部分P的端缘位置重合。在此，具体地说，“检测出的测量对象部分P的端缘位置的预定范围内”是指“相对于投影亮度的变化率的峰值位置为±预定像素数的范围内”。
由此，作业者仅通过拖曳操作使线框W的边的位置移动至测量对象部分P的端缘位置的预定范围内，就能够自动地使线框W的边的位置与该测量对象部分P的端缘位置重合，拖曳操作变得简单。
(5)作为元件形状数据生成部的功能
测量由通过上述自动拖曳处理而自动地使线框W的四边与测量对象部分P的四个方向上的端缘位置的重合了的该线框W包围的该测量对象部分P的形状数据(例如X方向尺寸和Y方向尺寸等)，并基于该形状数据的测量值而生成图像处理用元件形状数据。
另外，测量对象部分不限定于主体部分，例如，也可以是引脚、凸块等电极。
例如，在将引脚设为测量对象部分的情况下，通过线框W包围元件的测量对象侧的引脚的列，测量各引脚的长度，并且通过鼠标指针M指定从线框W的边(引脚列的端)离开引脚间距的量的引脚侧缘，从而测量引脚间距，此外，将线框W的两边之间的尺寸(引脚列的长度)除以引脚间距，从而求出引脚的根数，并且根据线框W的位置(引脚列的位置)和引脚的根数来计算各引脚的位置。对于引脚的宽度的测量，既可以通过鼠标指针M指定从线框W的边(引脚列的端)离开引脚的宽度的量的引脚侧缘来测量引脚的宽度，也可以由线框W包围一根引脚来测量引脚的宽度。
在将元件下表面的凸块设为测量对象部分的情况下，由线框W包围凸块的形成图案区域整体，通过与上述引脚的形状数据的测量相同的方法，测量凸块的间距、凸块直径、各凸块的位置即可。
以上说明的各功能(1)～(5)通过由计算机11执行图5～图7的各程序来实现。另外，也可以通过硬件来处理图5至图7的各程序的一部分处理。以下，说明图5至图7的各程序的处理。
[图像处理用元件形状数据生成程序]
当图5及图6的图像处理用元件形状数据生成程序启动时，首先，在步骤101中，待机直到作为图像处理用元件形状数据的生成对象的元件安设于相机12的视野范围内的拍摄位置为止。然后，在将元件安设于拍摄位置的时间点，进入步骤102，通过相机12拍摄元件，在接下来的步骤103中，在显示装置14上显示元件图像。
然后，进入步骤104，判定在显示装置14上显示的元件图像是否倾斜，若元件图像未倾斜，则进入步骤106，若元件图像倾斜，则进入步骤105，在使作业者修正了元件图像的倾斜之后，向接下来的步骤106进入。上述步骤105的处理发挥作为元件倾斜修正部的作用。
在接下来的步骤106中，与显示于显示装置14的元件图像重叠地描绘包围该元件图像中的测量对象部分P用的线框W。然后，进入步骤107，通过执行后述的图7的测量对象部分端缘位置检测程序而检测出元件图像中的测量对象部分P的端缘位置。
然后，进入图6中的步骤108，待机直到作业者进行拖曳操作为止。然后，在作业者进行了拖曳操作的时间点，进入步骤109，根据作业者的拖曳操作而使线框W的边的位置向拖曳操作方向移动。上述步骤106及108～109的处理发挥作为线框描绘部的作用。
并且，在接下来的步骤110中，判定作业者进行拖曳操作的线框W的边的位置是否接近于根据投影亮度的变化率的峰值位置而检测出的测量对象部分P的端缘位置的预定范围内，若线框W的边的位置未接近于测量对象部分P的端缘位置的预定范围内，则重复上述步骤108～110的处理。然后，在线框W的边的位置接近于测量对象部分P的端缘位置的预定范围内的时间点，进入步骤111，自动地使该线框W的边的位置与该测量对象部分P的端缘位置重合。上述步骤110及111的处理发挥作为自动拖曳部的作用。
然后，进入步骤112，判定线框W的四边是否全部与测量对象部分P的四个方向上的端缘位置重合，另外，若残留有与测量对象部分P的端缘位置未重合的线框W的边，则重复上述步骤108～112的处理。由此，在线框W的四边全部与测量对象部分P的四个方向上的端缘位置重合的时间点，进入步骤113，测量由线框W包围的测量对象部分P的形状数据(例如X方向尺寸和Y方向尺寸等)，在接下来的步骤114中，基于该形状数据的测量值，生成图像处理用元件形状数据并存储于存储装置15，并使本程序结束。上述步骤113及114的处理发挥作为元件形状数据生成部的作用。
[测量对象部分端缘位置检测程序]
图7中的测量对象部分端缘位置检测程序是在上述图5及图6中的图像处理用元件形状数据生成程序的步骤107中执行的子例程，发挥作为端缘位置检测部的作用。图7中的流程图表示检测测量对象部分P(主体部分)的四个方向上的端缘位置的情况下的处理。
当本程序启动时，首先，在步骤201中，将元件图像中的通过线框W的上下两边的直线之间的矩形区域的亮度投影于X坐标轴上，在接下来的步骤202中，算出X坐标轴上的投影亮度的变化率(＝投影亮度/ΔX)。然后，进入步骤203，检测X坐标轴上的投影亮度的变化率超过预定范围的两个位置的峰值位置的X坐标作为测量对象部分P的左右两侧的端缘位置的X坐标。
然后，进入步骤204，将元件图像中的通过线框W的左右两边的直线之间的矩形区域的亮度投影于Y坐标轴上，在接下来的步骤205中，算出Y坐标轴上的投影亮度的变化率(＝投影亮度/ΔY)。然后，进入步骤206，检测Y坐标轴上的投影亮度的变化率超过预定范围的两个位置的峰值位置的Y坐标作为测量对象部分P的上下两侧的端缘位置的Y坐标，并使本程序结束。另外，执行步骤201～203的处理和步骤204～206的处理的顺序也可以相反。
将由本实施例的图像处理用元件形状数据生成***生成的图像处理用元件形状数据向元件安装线的生产管理计算机传送。生产管理计算机将在由各元件安装机安装的元件的图像识别中使用的图像处理用元件形状数据向各元件安装机传送。由此，各元件安装机使用接收到的图像处理用元件形状数据，对吸附于吸嘴的元件进行图像识别。
根据以上说明的本实施例，通过端缘位置检测处理而检测出显示于显示装置14的元件图像中的测量对象部分P的端缘位置，在作业者进行拖曳操作的线框W的边的位置接近于由端缘位置检测处理检测出的测量对象部分P的端缘位置的预定范围内时，通过自动拖曳处理自动地使线框W的边的位置与该测量对象部分P的端缘位置重合，因此即使作业者粗糙地进行拖曳操作，也能够准确地使线框W的边的位置与测量对象部分P的端缘位置重合。由此，能够改善作业者的拖曳操作的操作性，能够高效地生成图像处理用元件形状数据，并且能够提高使用了线框W的测量对象部分P的形状数据的测量精度，能够提高图像处理用元件形状数据P的生成精度。
本发明的图像处理用元件形状数据生成***不限定于上述实施例，也可以搭载于元件安装机。在该情况下，也可以在查明在元件安装机中产生的错误的原因时，利用该元件安装机的元件识别用的相机来拍摄吸附于该元件安装机的吸嘴的元件，并将该元件图像显示于该元件安装机的显示部来重新生成图像处理用元件形状数据。这样一来，当在元件安装机中产生的错误的原因是图像处理用元件形状数据的失配的情况下，能够修正成适合于该元件安装机的图像处理***的图像处理用元件形状数据，能够减少元件安装机的错误的产生频度，并且能够提高元件的图像识别精度。
此外，本发明不限定于上述实施例，例如，能够变更检测测量对象部分P的端缘位置的处理(检测元件图像的拖曳操作方向上的亮度变化较大的位置的处理)或者变更线框W的边的拖曳操作方法等在不脱离主旨的范围内进行各种变更而实施，这是不言而喻的。
附图标记说明
11、计算机(元件倾斜修正部、线框描绘部、端缘位置检测部、自动拖曳部、元件形状数据生成部)；12、相机；13、输入装置；14、显示装置(显示部)。

Claims (8)

1.一种图像处理用元件形状数据生成***，生成在对由元件安装机安装的元件进行图像识别时使用的图像处理用元件形状数据，
所述图像处理用元件形状数据生成***具备：
显示部，显示拍摄作为所述图像处理用元件形状数据的生成对象的元件而得到的元件图像；
线框描绘部，与显示于所述显示部的元件图像重叠地描绘包围该元件图像中的测量对象部分用的线框，并且根据作业者的拖曳操作而使所述线框的边的位置移动；
端缘位置检测部，通过图像处理而检测出所述元件图像中的所述测量对象部分的端缘位置；
自动拖曳部，在作业者进行拖曳操作的所述线框的边的位置接近于由所述端缘位置检测部检测出的所述测量对象部分的端缘位置的预定范围内时，自动地使该线框的边的位置与该测量对象部分的端缘位置重合；及
元件形状数据生成部，测量由通过所述自动拖曳部而自动地使所述线框的四边与所述测量对象部分的四个方向上的端缘位置重合了的该线框包围的该测量对象部分的形状数据，而生成所述图像处理用元件形状数据，
所述端缘位置检测部基于所述元件图像的拖曳操作方向上的亮度变化来检测所述测量对象部分的端缘位置，
所述端缘位置检测部将所述元件图像中的、通过所述线框的各边的直线之间的区域的亮度投影于沿拖曳操作方向延伸的坐标轴上，并检测投影亮度的变化率超过预定范围的位置作为所述测量对象部分的端缘位置。
2.根据权利要求1所述的图像处理用元件形状数据生成***，其中，
具备对显示于所述显示部上的元件图像的倾斜进行修正的元件倾斜修正部，
所述线框描绘部对由所述元件倾斜修正部修正了倾斜的元件图像描绘所述线框。
3.根据权利要求2所述的图像处理用元件形状数据生成***，其中，
所述图像处理用元件形状数据生成***设于所述元件安装机的外部，
所述元件安装机的图像处理***使用由所述元件形状数据生成部生成的所述图像处理用元件形状数据，对由该元件安装机安装的元件进行图像识别。
4.根据权利要求2所述的图像处理用元件形状数据生成***，其中，
所述图像处理用元件形状数据生成***设于所述元件安装机，
被构成为，能够在查明所述元件安装机中产生的错误的原因时，利用该元件安装机的元件识别用的相机拍摄吸附于该元件安装机的吸嘴的元件，并将该元件图像显示于该元件安装机的显示部来重新生成所述图像处理用元件形状数据。
5.根据权利要求3所述的图像处理用元件形状数据生成***，其中，
所述图像处理用元件形状数据生成***设于所述元件安装机，
被构成为，能够在查明所述元件安装机中产生的错误的原因时，利用该元件安装机的元件识别用的相机拍摄吸附于该元件安装机的吸嘴的元件，并将该元件图像显示于该元件安装机的显示部来重新生成所述图像处理用元件形状数据。
6.根据权利要求1所述的图像处理用元件形状数据生成***，其中，
所述图像处理用元件形状数据生成***设于所述元件安装机的外部，
所述元件安装机的图像处理***使用由所述元件形状数据生成部生成的所述图像处理用元件形状数据，对由该元件安装机安装的元件进行图像识别。
7.根据权利要求6所述的图像处理用元件形状数据生成***，其中，
所述图像处理用元件形状数据生成***设于所述元件安装机，
被构成为，能够在查明所述元件安装机中产生的错误的原因时，利用该元件安装机的元件识别用的相机拍摄吸附于该元件安装机的吸嘴的元件，并将该元件图像显示于该元件安装机的显示部来重新生成所述图像处理用元件形状数据。
8.一种图像处理用元件形状数据生成方法，生成在对由元件安装机安装的元件进行图像识别时使用的图像处理用元件形状数据，
所述图像处理用元件形状数据生成方法包括：
显示处理，显示拍摄作为所述图像处理用元件形状数据的生成对象的元件而得到的元件图像；
线框描绘处理，与通过所述显示处理而显示的元件图像重叠地描绘包围该元件图像中的测量对象部分用的线框，并且根据作业者的拖曳操作而使所述线框的边的位置移动；
端缘位置检测处理，通过图像处理而检测出所述元件图像中的所述测量对象部分的端缘位置，在所述图像处理中，基于所述元件图像的拖曳操作方向上的亮度变化来检测所述端缘位置，将所述元件图像中的、通过所述线框的各边的直线之间的区域的亮度投影于沿拖曳操作方向延伸的坐标轴上，并检测投影亮度的变化率超过预定范围的位置作为所述端缘位置；
自动拖曳处理，在作业者进行拖曳操作的所述线框的边的位置接近于由所述端缘位置检测处理检测出的所述测量对象部分的端缘位置的预定范围内时，自动地使该线框的边的位置与该测量对象部分的端缘位置重合；及
元件形状数据生成处理，测量由通过所述自动拖曳处理而自动地使所述线框的四边与所述测量对象部分的四个方向上的端缘位置重合了的该线框包围的该测量对象部分的形状数据，而生成所述图像处理用元件形状数据。
CN201680090099.6A 2016-10-25 2016-10-25 图像处理用元件形状数据生成***及图像处理用元件形状数据生成方法 Active CN109844805B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/081535 WO2018078714A1 (ja) 2016-10-25 2016-10-25 画像処理用部品形状データ作成システム及び画像処理用部品形状データ作成方法

Publications (2)

Publication Number Publication Date
CN109844805A CN109844805A (zh) 2019-06-04
CN109844805B true CN109844805B (zh) 2023-06-23

Family

ID=62024499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680090099.6A Active CN109844805B (zh) 2016-10-25 2016-10-25 图像处理用元件形状数据生成***及图像处理用元件形状数据生成方法

Country Status (5)

Country Link
US (1) US10861199B2 (zh)
EP (1) EP3534327B1 (zh)
JP (1) JP6805263B2 (zh)
CN (1) CN109844805B (zh)
WO (1) WO2018078714A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10135700A (ja) * 1996-10-25 1998-05-22 Sanyo Electric Co Ltd データ処理装置及び電子部品装着装置
JPH10135686A (ja) * 1996-10-25 1998-05-22 Sanyo Electric Co Ltd データ処理装置及び電子部品装着装置
WO2014208193A1 (ja) * 2013-06-24 2014-12-31 株式会社日立ハイテクノロジーズ ウエハ外観検査装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0639048B2 (ja) * 1985-05-28 1994-05-25 株式会社トプコン レンズ形状測定装置
JPH09204454A (ja) * 1996-01-26 1997-08-05 Matsushita Electric Ind Co Ltd 部品電子カタログ
JP2927741B2 (ja) * 1996-09-17 1999-07-28 株式会社トプコン フレーム形状測定装置およびそれを有する玉摺機
US5974169A (en) 1997-03-20 1999-10-26 Cognex Corporation Machine vision methods for determining characteristics of an object using boundary points and bounding regions
KR20050041521A (ko) * 2003-10-31 2005-05-04 현대자동차주식회사 자동차 글로브 박스의 일체형 에어댐퍼
JP2006310615A (ja) * 2005-04-28 2006-11-09 Hitachi High-Tech Instruments Co Ltd 部品ライブラリデータの作成方法
JP5314239B2 (ja) * 2006-10-05 2013-10-16 株式会社キーエンス 光学式変位計、光学式変位測定方法、光学式変位測定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP5926881B2 (ja) 2010-03-30 2016-05-25 富士機械製造株式会社 画像処理用部品データ作成方法及び画像処理用部品データ作成装置
WO2013187133A1 (ja) * 2012-06-12 2013-12-19 富士フイルム株式会社 画像処理装置及び画像処理方法
US10115248B2 (en) * 2013-03-14 2018-10-30 Ebay Inc. Systems and methods to fit an image of an inventory part
JP2016048195A (ja) * 2014-08-27 2016-04-07 株式会社キーエンス 画像測定器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10135700A (ja) * 1996-10-25 1998-05-22 Sanyo Electric Co Ltd データ処理装置及び電子部品装着装置
JPH10135686A (ja) * 1996-10-25 1998-05-22 Sanyo Electric Co Ltd データ処理装置及び電子部品装着装置
WO2014208193A1 (ja) * 2013-06-24 2014-12-31 株式会社日立ハイテクノロジーズ ウエハ外観検査装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
阿卜杜如苏力·奥斯曼等.结合边缘颜色与形状特征的图像检索方法.《计算机***应用》.2013,第22卷(第4期),153-156. *

Also Published As

Publication number Publication date
WO2018078714A1 (ja) 2018-05-03
EP3534327A4 (en) 2019-11-13
EP3534327A1 (en) 2019-09-04
JP6805263B2 (ja) 2020-12-23
EP3534327B1 (en) 2023-08-09
CN109844805A (zh) 2019-06-04
JPWO2018078714A1 (ja) 2019-09-05
US10861199B2 (en) 2020-12-08
US20190318514A1 (en) 2019-10-17

Similar Documents

Publication Publication Date Title
EP2631868B1 (en) Image processing device and method for image processing
US10191470B2 (en) Welding machine and control method therefor
KR100499764B1 (ko) 디지털 이미지에서 객체를 측정하는 방법 및 시스템
US8269836B2 (en) Image capture, alignment, and registration
CN108111828B (zh) 投影设备校正方法、装置及投影设备
US20100156896A1 (en) Method of creating three-dimensional model and object recognizing device
US10671173B2 (en) Gesture position correctiing method and augmented reality display device
JP5926881B2 (ja) 画像処理用部品データ作成方法及び画像処理用部品データ作成装置
CN104317398B (zh) 一种手势控制方法、穿戴式设备及电子设备
US11528410B2 (en) Calibration operation support device for industrial camera
US7869645B2 (en) Image capture and calibratiion
CN106095178A (zh) 输入设备识别方法和***、输入指令识别方法和***
US20060041775A1 (en) Method and device for producing component data
CN109844805B (zh) 图像处理用元件形状数据生成***及图像处理用元件形状数据生成方法
CN111199533B (zh) 图像处理装置
TWI584648B (zh) 具有校正功能的影像擷取裝置與影像擷取裝置的校正方法
JP6184746B2 (ja) 欠陥検出装置、欠陥修正装置および欠陥検出方法
JP6323160B2 (ja) 検査装置、検査方法及び検査プログラム
KR102643248B1 (ko) 영상 분석을 이용한 디스펜싱 경로 추정 장치
US20170124688A1 (en) Image processor, image processing method, and measuring apparatus
CN109964247B (zh) 图像处理用元件形状数据生成***及图像处理用元件形状数据生成方法
US20240078658A1 (en) Inspection apparatus and storage medium storing computer program
KR101935387B1 (ko) 도장재의 분사 불량을 확인하기 위한 기준설정 방법 및 전자장치
KR20160107474A (ko) 부품 이미지 보정 방법
JPH1051200A (ja) 部品検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant