JP6184339B2 - Appearance inspection apparatus, appearance inspection method, and program - Google Patents
Appearance inspection apparatus, appearance inspection method, and program Download PDFInfo
- Publication number
- JP6184339B2 JP6184339B2 JP2014022759A JP2014022759A JP6184339B2 JP 6184339 B2 JP6184339 B2 JP 6184339B2 JP 2014022759 A JP2014022759 A JP 2014022759A JP 2014022759 A JP2014022759 A JP 2014022759A JP 6184339 B2 JP6184339 B2 JP 6184339B2
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- image data
- height
- inspection object
- height image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000007689 inspection Methods 0.000 title claims description 127
- 238000000034 method Methods 0.000 title claims description 60
- 238000005259 measurement Methods 0.000 claims description 234
- 238000012937 correction Methods 0.000 claims description 157
- 230000002950 deficient Effects 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000011179 visual inspection Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 84
- 238000004891 communication Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 16
- 238000003909 pattern recognition Methods 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 235000019800 disodium phosphate Nutrition 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、対象物をの外観を検査する外観検査装置、外観検査方法およびプログラムに関する。 The present invention relates to an appearance inspection apparatus, an appearance inspection method, and a program for inspecting the appearance of an object.
コネクタや半導体素子などの製品の外観を撮像してパターンマッチング(画像認識)などの画像処理を行うことで、いわゆる検査対象物(ワーク)の外観検査(製品検査)が実行されている。特許文献1によれば、羽根車の外観検査を行うために変位計により羽根車をスキャンして立体画像を取得することが記載されている。また、特許文献1によれば2値化された画像情報において2つのエッジを検出し、エッジ間距離に応じて羽根車の合否判定を行うことが記載されている。 A so-called appearance inspection (product inspection) of an inspection object (work) is performed by imaging the appearance of a product such as a connector or a semiconductor element and performing image processing such as pattern matching (image recognition). Patent Document 1 describes that a three-dimensional image is acquired by scanning an impeller with a displacement meter in order to perform an appearance inspection of the impeller. Patent Document 1 describes that two edges are detected in binarized image information, and whether the impeller is accepted or rejected according to the distance between the edges is described.
ところで、ワークの3次元形状のデータを取得し、カメラからワークまでの距離に応じて濃淡値が変化する距離画像(高さ画像)を作成し、ワークの良否を判定する外観検査方法が市場から必要とされている。この高さ画像を用いてワークの各部の高さを計測するには高さ画像のどこかに基準位置を設定する必要がある。つまり、各部の高さは基準位置からの相対的な高さとして表現される。また、高さの計測対象領域(以下、計測領域)も高さ画像に対して設定されなければならない。一般に、計測領域と基準位置は良品の高さ画像に対して設定される。 By the way, there is an external appearance inspection method that obtains three-dimensional shape data of a workpiece, creates a distance image (height image) whose gray value changes according to the distance from the camera to the workpiece, and determines the quality of the workpiece. is necessary. In order to measure the height of each part of the workpiece using this height image, it is necessary to set a reference position somewhere in the height image. That is, the height of each part is expressed as a relative height from the reference position. In addition, a height measurement target region (hereinafter, a measurement region) must also be set for the height image. In general, the measurement area and the reference position are set for a non-defective image.
しかし、実際に搬送ベルトによって運ばれてくるワークの位置は所定位置からずれていたり、水平方向に回転してしまっていたりすることがある。よって、ワークの位置や回転量を高さ画像から検出し、検出した位置や回転量に追従して計測領域や基準位置の座標を補正する必要がある。これにより、ワークがずれていても正確に高さを計測できるようになる。 However, the position of the workpiece that is actually conveyed by the conveyor belt may deviate from a predetermined position or may rotate in the horizontal direction. Therefore, it is necessary to detect the position and rotation amount of the workpiece from the height image, and to correct the coordinates of the measurement region and the reference position following the detected position and rotation amount. As a result, the height can be accurately measured even if the workpiece is displaced.
このように、一般には、計測領域も基準位置もワークの位置に追従して補正されなければならないが、基準位置についてはワークに追従させたくない場合がある。たとえば、高さ画像に写っているワーク以外の場所(ワークを載せたトレーなど)を基準位置に設定する場合に、基準位置をワークに追従して補正してしまうと、所望の場所とは異なる場所(搬送ベルトなど)が基準位置に設定されてしまうことがある。基準位置が間違って配置されてしまえば、基準位置に基づいて求められる高さも誤ったものとなる。 As described above, in general, both the measurement region and the reference position must be corrected following the position of the workpiece, but there are cases where the reference position is not desired to follow the workpiece. For example, when a location other than the workpiece shown in the height image (such as a tray on which the workpiece is placed) is set as the reference position, if the reference position is corrected following the workpiece, it is different from the desired location. A place (such as a conveyor belt) may be set as a reference position. If the reference position is wrongly arranged, the height obtained based on the reference position is also incorrect.
そこで、本発明は、高さ画像データに対して設定される基準位置の位置補正について補正モードを選択できるようにすることを目的とする。 Therefore, an object of the present invention is to enable selection of a correction mode for position correction of a reference position set for height image data.
本発明は、
検査対象物を撮像して当該検査対象物の各部の高さを画素値として表現する高さ画像データを取得する取得手段と、
前記検査対象物の良品についての高さ画像データを表示する表示手段と、
前記表示手段に表示された高さ画像データに対して高さ計測の基準となる基準位置を設定する基準位置設定手段と、
前記表示手段に表示された高さ画像データに対して高さ計測の対象となる領域である計測領域を設定する計測領域設定手段と、
検査対象物の高さ画像データにおける前記検査対象物の位置に基づき、前記検査対象物の高さ画像データに対する前記基準位置と前記計測領域の位置を補正する第1補正モードと、前記検査対象物の高さ画像データに対する前記基準位置を補正しないかまたは前記計測領域とは異なる位置補正を行いつつ前記計測領域の位置を補正する第2補正モードとのいずれかを選択する選択手段と、
前記第1補正モードが選択されると、検査対象物の高さ画像データにおける前記検査対象物の位置に基づき前記検査対象物の高さ画像データに対する前記計測領域の位置を補正するとともに前記計測領域に追随して前記基準位置も補正し、前記第2補正モードが選択されると、検査対象物の高さ画像データにおける前記検査対象物の位置に基づき前記検査対象物の高さ画像データに対する前記基準位置を補正しないかまたは前記計測領域とは異なる位置補正を行いつつ前記計測領域の位置を補正する位置補正手段と、
前記位置補正手段による補正が実行された後に、前記検査対象物の高さ画像データに設定された前記計測領域について前記基準位置からの高さを計測する計測手段と
を有することを特徴とする外観検査装置を提供する。
The present invention
An acquisition means for imaging the inspection object and acquiring height image data expressing the height of each part of the inspection object as a pixel value;
Display means for displaying height image data for non-defective products of the inspection object;
A reference position setting means for setting a reference position to be a height measurement reference for the height image data displayed on the display means;
A measurement area setting means for setting a measurement area that is a height measurement target for the height image data displayed on the display means;
A first correction mode for correcting the reference position and the position of the measurement region with respect to the height image data of the inspection object based on the position of the inspection object in the height image data of the inspection object; Selection means for selecting one of a second correction mode in which the reference position with respect to the height image data is not corrected or the position of the measurement area is corrected while performing position correction different from the measurement area;
When the first correction mode is selected, the position of the measurement area with respect to the height image data of the inspection object is corrected based on the position of the inspection object in the height image data of the inspection object, and the measurement area When the second correction mode is selected, the reference position is also corrected, and the height image data of the inspection object is based on the position of the inspection object in the height image data of the inspection object. Position correcting means for correcting the position of the measurement area while correcting the reference position or performing position correction different from the measurement area;
An external appearance comprising: a measurement unit that measures a height from the reference position for the measurement region set in the height image data of the inspection object after correction by the position correction unit is performed. Provide inspection equipment.
本発明によれば、高さ画像データに対して設定される基準位置の位置補正について補正モードを選択できるようになる。 According to the present invention, it becomes possible to select a correction mode for position correction of a reference position set for height image data.
以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。 An embodiment of the present invention is shown below. The individual embodiments described below will help to understand various concepts, such as the superordinate concept, intermediate concept and subordinate concept of the present invention. Further, the technical scope of the present invention is determined by the scope of the claims, and is not limited by the following individual embodiments.
図1は、画像処理システムの概略を示す図である。この画像処理システムは、外観検査装置または外観検査装置として機能する。ライン1は、プログラマブルロジックコントローラ(PLC)などの制御装置によって制御されるコンベア(搬送ベルト)などの搬送装置である。外観検査装置は、ライン1を搬送される検査対象物(ワーク2)の外観を画像処理によって検査する装置である。この例の外観検査装置は2次元プロファイル測定器10と画像処理装置20を備えている。外観検査とは、ワーク2の画像処理結果を用いて実行される製品検査のことであり、ワーク2の寸法を測定する寸法検査やワーク2が製品として良品であるかどうかを判定する良品検査などが含まれる。 FIG. 1 is a diagram showing an outline of an image processing system. This image processing system functions as an appearance inspection apparatus or an appearance inspection apparatus. Line 1 is a transport device such as a conveyor (transport belt) controlled by a control device such as a programmable logic controller (PLC). The appearance inspection apparatus is an apparatus that inspects the appearance of an inspection object (work 2) conveyed on the line 1 by image processing. The appearance inspection apparatus of this example includes a two-dimensional profile measuring instrument 10 and an image processing apparatus 20. The appearance inspection is a product inspection performed using the image processing result of the workpiece 2, such as a dimension inspection for measuring the dimension of the workpiece 2, or a non-defective inspection for determining whether the workpiece 2 is a non-defective product. Is included.
2次元プロファイル測定器10は、検査対象物(ワーク)の2次元プロファイルを測定し、第1のビット数(例:20ビット)の2次元プロファイルデータを出力する2次元プロファイル測定器の一例である。2次元プロファイル測定器10は、レーザ変位計と呼ばれることもあり、x軸方向に搬送されるワーク2に対して幅広のレーザ光を照射し、その反射光を受光することで、ワーク2の2次元断面形状を示すデータ(2次元プロファイルデータ)を作成する。このときワーク2はzy平面に平行な切断面によって仮想的に切断され、切断面の外形(輪郭もしくは外縁)が2次元プロファイルとなる。2次元プロファイルデータは、たとえば、1つの測定点あたり20ビットで表現されるデータである。通常、2次元プロファイルデータは、ヘッドユニット11からワーク2の測定点までの距離(z軸方向の距離)であって、y軸方向に沿って並んだ複数の測定点についての距離の集合である。2次元プロファイル測定器10は、ヘッドユニット11とコントローラユニット12とを有している。ヘッドユニット11は、ワーク2の2次元プロファイルを測定する測定ユニットの一例であり、レーザなどの発光素子と受光素子(ラインセンサまたは2次元撮像素子)とを有している。図1には、光切断方式のヘッドユニット11を示しているが、他の方式のヘッドユニットが採用されてもよい。また、ヘッドユニット11とコントローラユニット12が物理的に分離されているが、これらが一体化されていてもよい。また、ヘッドユニット11、コントローラユニット12、画像処理装置20が一体になっていてもよい。図1においてヘッドユニット11はケーブルを介してコントローラユニット12のヘッド用コネクタ13に接続されている。 The two-dimensional profile measuring instrument 10 is an example of a two-dimensional profile measuring instrument that measures a two-dimensional profile of an inspection object (work) and outputs two-dimensional profile data having a first number of bits (for example, 20 bits). . The two-dimensional profile measuring instrument 10 is sometimes called a laser displacement meter, and irradiates the workpiece 2 conveyed in the x-axis direction with a wide laser beam and receives the reflected light, thereby receiving 2 of the workpiece 2. Data indicating a two-dimensional cross-sectional shape (two-dimensional profile data) is created. At this time, the workpiece 2 is virtually cut by a cutting plane parallel to the zy plane, and the outer shape (contour or outer edge) of the cutting plane becomes a two-dimensional profile. The two-dimensional profile data is, for example, data expressed by 20 bits per measurement point. Usually, the two-dimensional profile data is a distance from the head unit 11 to the measurement point of the workpiece 2 (distance in the z-axis direction), and is a set of distances for a plurality of measurement points arranged along the y-axis direction. . The two-dimensional profile measuring instrument 10 has a head unit 11 and a controller unit 12. The head unit 11 is an example of a measurement unit that measures a two-dimensional profile of the workpiece 2 and includes a light emitting element such as a laser and a light receiving element (line sensor or two-dimensional imaging element). Although FIG. 1 shows a light-cutting type head unit 11, another type of head unit may be employed. Moreover, although the head unit 11 and the controller unit 12 are physically separated, they may be integrated. Further, the head unit 11, the controller unit 12, and the image processing apparatus 20 may be integrated. In FIG. 1, a head unit 11 is connected to a head connector 13 of a controller unit 12 via a cable.
画像処理装置20は、ワーク2から取得された画像データに所定の画像処理を施してワーク2の外観検査を実行する。画像処理装置20は、2次元プロファイル測定器10が出力する2次元プロファイルデータを入力ないしは受信するための入力カード22を有している。画像処理装置20は、拡張スロットを有しており、そこに入力カード22が挿入されている。画像処理装置20と2次元プロファイル測定器10は、たとえば、512Mbpsあまりもの高速通信を実行するため、入力カード22は1000BASE-Tなどの高速通信規格に対応している。つまり、2次元プロファイル測定器10の通信コネクタ14と入力カード22の通信コネクタ23は高速通信規格に準拠し、ケーブル21によって接続されている。このように、入力カード22の通信コネクタ23は、第1のビット数(例:20ビット)の2次元プロファイルデータを出力する2次元プロファイル測定器10と接続する接続手段として機能している。なお、画像処理装置20は、パーソナルコンピュータに専用のソフトウェアをインストールすることで、実現することも可能である。 The image processing apparatus 20 performs a predetermined image process on the image data acquired from the work 2 and performs an appearance inspection of the work 2. The image processing apparatus 20 has an input card 22 for inputting or receiving two-dimensional profile data output from the two-dimensional profile measuring instrument 10. The image processing apparatus 20 has an expansion slot, and an input card 22 is inserted therein. Since the image processing apparatus 20 and the two-dimensional profile measuring instrument 10 execute high-speed communication of, for example, 512 Mbps, the input card 22 corresponds to a high-speed communication standard such as 1000BASE-T. That is, the communication connector 14 of the two-dimensional profile measuring instrument 10 and the communication connector 23 of the input card 22 comply with the high-speed communication standard and are connected by the cable 21. As described above, the communication connector 23 of the input card 22 functions as a connection unit that connects to the two-dimensional profile measuring device 10 that outputs two-dimensional profile data of the first number of bits (for example, 20 bits). Note that the image processing apparatus 20 can also be realized by installing dedicated software in a personal computer.
画像処理装置20は、20ビットよりも少ないビット数(ここでは説明の便宜のため15ビットとする)で画像処理を実行する。そのため、画像処理装置20は、20ビットの2次元プロファイルデータをそのまま扱うことができない。そこで、本実施形態では、入力カード22が、通信コネクタ23などを通じて受信した第1のビット数の2次元プロファイルデータを、第1のビット数よりも少ない第2のビット数の2次元プロファイルデータに変換するビット変換手段として機能する。つまり、入力カード22は、20ビットの2次元プロファイルデータを15ビットの2次元プロファイルデータに変換し、画像処理装置20が画像処理を実行できるようにする。また、入力カード22は、ビット変換手段が出力する複数の2次元プロファイルデータを組み合わせて、検査対象物の3次元形状を示す3次元プロファイルデータを作成する作成手段としても機能する。2次元プロファイル測定器10は、時々刻々とライン1を搬送されるワーク2の2次元プロファイルデータを出力する。つまり、各2次元プロファイルデータは、ワーク2の異なる部分の断面形状を示すデータとなっている。そこで、入力カード22は、時系列に沿ってサンプルされた複数個(たとえば、800サンプル)の2次元プロファイルデータを順番に並べることで、ワーク2の3次元プロファイルデータを作成する。たとえば、ワーク2の進行方向でワーク2の先端から後端までの複数個の2次元プロファイルデータが順番に並べられる。その結果として得られる3次元プロファイルデータは、たとえば、15ビットのグレースケールによる画像データとなる。つまり、ヘッドユニット11からワーク2までの距離(高さ)が濃淡(階調値)となって表現されることになる。なお、1つの2次元プロファイルデータを1サンプルまたは1ラインと呼ぶことにする。つまり、3次元プロファイルデータは、予め規定された数のラインから作成される。 The image processing apparatus 20 performs image processing with a bit number smaller than 20 bits (here, 15 bits for convenience of explanation). Therefore, the image processing apparatus 20 cannot handle 20-bit two-dimensional profile data as it is. Therefore, in this embodiment, the input card 22 converts the two-dimensional profile data having the first number of bits received through the communication connector 23 or the like into the two-dimensional profile data having the second number of bits smaller than the first number of bits. It functions as a bit conversion means for conversion. That is, the input card 22 converts 20-bit two-dimensional profile data into 15-bit two-dimensional profile data, and enables the image processing apparatus 20 to execute image processing. The input card 22 also functions as a creation unit that creates a three-dimensional profile data indicating a three-dimensional shape of the inspection object by combining a plurality of two-dimensional profile data output from the bit conversion unit. The two-dimensional profile measuring device 10 outputs two-dimensional profile data of the workpiece 2 conveyed on the line 1 every moment. That is, each two-dimensional profile data is data indicating a cross-sectional shape of a different part of the workpiece 2. Therefore, the input card 22 creates three-dimensional profile data of the work 2 by arranging a plurality of (for example, 800 samples) two-dimensional profile data sampled in time series. For example, a plurality of two-dimensional profile data from the front end to the rear end of the work 2 are arranged in order in the traveling direction of the work 2. The resulting three-dimensional profile data is, for example, 15-bit gray scale image data. That is, the distance (height) from the head unit 11 to the work 2 is expressed as light and shade (gradation value). One two-dimensional profile data is called one sample or one line. That is, the three-dimensional profile data is created from a predetermined number of lines.
図2(A)は、ワーク2の3次元形状の一例を示す図である。図2(B)は、ワーク2の2次元断面形状(1ライン分の2次元プロファイルデータ)の一例を示す図である。図2(B)に示される1サンプル分の断面形状は、図2(C)上では1本のラインに相当する。そのため2次元プロファイルデータはラインと呼ばれることがある。図2(C)は、ワーク2の3次元プロファイルデータ(グレースケール画像データ)の一例を示す図である。図2(A)ないし図2(C)を比較すると、ワーク2の表面のうち、z軸方向の高さが低い部分は淡い色となり、z軸方向の高さが高い部分は濃い色となることがわかる。濃度と高さの関係は逆であってもよい。このように、3次元プロファイルデータは、検査対象物の表面を構成する各位置の高さを示す高さ画像データである。 FIG. 2A is a diagram illustrating an example of a three-dimensional shape of the workpiece 2. FIG. 2B is a diagram illustrating an example of a two-dimensional cross-sectional shape (two-dimensional profile data for one line) of the workpiece 2. The cross-sectional shape for one sample shown in FIG. 2B corresponds to one line on FIG. Therefore, the two-dimensional profile data is sometimes called a line. FIG. 2C is a diagram illustrating an example of three-dimensional profile data (grayscale image data) of the work 2. 2A to 2C, the portion of the surface of the workpiece 2 having a low height in the z-axis direction is a light color, and the portion having a high height in the z-axis direction is a dark color. I understand that. The relationship between concentration and height may be reversed. As described above, the three-dimensional profile data is height image data indicating the height of each position constituting the surface of the inspection object.
画像処理装置20は、複数の計測モジュール(画像処理ツール)を3次元プロファイルデータに適用して外観検査を実行する。ここでは、外観検査を実行する計測モジュールを画像処理ツールまたは計測ツールと呼ぶことにする。画像処理ツールには様々なものがあり、主要な画像処理ツールとしては、エッジ位置計測ツール、エッジ角度計測ツール、エッジ幅計測ツール、エッジピッチ計測ツール、エリア計測ツール、ブロブ計測ツール、パターンサーチ計測ツール、傷計測ツールなどがある。
●高さ計測ツール:3次元プロファイルデータに基づき、ワーク2の各部の高さを計測する。たとえば、ワーク2の1つの測定点を基準位置とし、この基準位置の階調値と注目領域内の各測定点の階調値との差分のうち最大のものを最大高さとして算出する。あるいは、平面を基準面として設定し、基準面の階調値と注目領域内の各測定点の階調値との差分(距離)のうち最大のものを高さとして求めてもよい。なお、高さの測定精度を優先するために、15ビットの3次元プロファイルデータが使用される。
The image processing apparatus 20 performs appearance inspection by applying a plurality of measurement modules (image processing tools) to the three-dimensional profile data. Here, a measurement module that performs an appearance inspection is referred to as an image processing tool or a measurement tool. There are various image processing tools. The main image processing tools are edge position measurement tool, edge angle measurement tool, edge width measurement tool, edge pitch measurement tool, area measurement tool, blob measurement tool, and pattern search measurement. Tools, scratch measurement tools, etc.
● Height measurement tool: Measures the height of each part of the workpiece 2 based on the 3D profile data. For example, one measurement point of the work 2 is set as a reference position, and the maximum difference is calculated as the maximum height from the difference between the gradation value of the reference position and the gradation value of each measurement point in the region of interest. Alternatively, a plane may be set as the reference surface, and the maximum difference (distance) between the gradation value of the reference surface and the gradation value of each measurement point in the region of interest may be obtained as the height. Note that 15-bit three-dimensional profile data is used in order to prioritize the height measurement accuracy.
以下で説明する画像処理ツールは、15ビットの3次元プロファイルデータをさらに少ない第3のビット数(例:8ビット)の3次元プロファイルデータに変換した後で、実行されてもよい。これは、以下の画像処理ツールでは精度よりも処理速度が優先されるからである。なお、15ビットの2次元プロファイルデータ(高さデータ)を8ビットの高さデータに変換する処理を高さ抽出と呼ぶ。高さ抽出では、任意の平面や曲面を基準面として設定し、基準面の階調値と各測定点の階調値との差分を8ビットのデータとして扱ってもよい。適切な基準面を用いることで、8ビットであっても画像処理に必要な差分の情報を十分に保持することが可能となる。
●エッジ位置計測ツール:ワーク2の画像が表示される画面上において、エッジ位置を検出したい検査領域に対してウインドウを設定することにより、設定された検査領域内で、任意の方向にスキャンして複数のエッジ(明から暗に切り替わる箇所または暗から明に切り替わる箇所)を検出する。検出した複数のエッジから、一のエッジの指定を受け付け、指定を受け付けたエッジの位置を計測する。
●エッジ角度計測ツール:設定を受け付けた検査領域内に2つのセグメントを設定し、それぞれのセグメントで検出したエッジからのワーク2の傾斜角度を計測する。傾斜角度は、たとえば時計回りを正とすることができる。
●エッジ幅計測ツール:設定を受け付けた検査領域内で、任意の方向にスキャンして複数のエッジを検出し、検出した複数のエッジ間の幅を計測する。
●エッジピッチ計測ツール:設定を受け付けた検査領域内で、任意の方向にスキャンして複数のエッジを検出する。検出した複数のエッジ間の距離(角度)の最大値/最小値や平均値を計測する。
●エリア計測ツール:ワーク2の画像を二値化処理して、白色領域または黒色領域の面積を計測する。たとえば、計測する対象として白色領域または黒色領域の指定をパラメータとして受け付けることにより、白色領域または黒色領域の面積を計測する。
●ブロブ計測ツール:ワーク2の画像を二値化処理して、同一の輝度値(255または0)の画素の集合(ブロブ)に対してパラメータとしての数、面積、重心位置等を計測する。
●パターンサーチ計測ツール:比較対象とする画像パターン(モデル画像)を事前に記憶装置に記憶しておき、撮像したワーク2の画像の中から記憶してある画像パターンに類似している部分を検出することで、画像パターンの位置、傾斜角度、相関値を計測する。
●傷計測ツール:設定を受け付けた検査領域内で、小領域(セグメント)を移動させて画素値の平均濃度値を算出し、閾値以上の濃度差となった位置を傷が存在すると判定する。
●その他にも、検査領域内の文字情報を切り出して辞書データ等と照合することで文字列を認識するOCR認識ツール、画像上に設定したウインドウ(領域)をシフトさせながら、各ウインドウの位置においてエッジの検出を繰り返す機能を有するトレンドエッジツール、設定したウインドウ内の濃淡の平均、偏差等を計測する機能を有する濃淡ツール、設定したウインドウ内の濃度の平均、偏差等を計測する機能を有する濃度ツールなどもあり、ユーザは検査内容に応じて必要な画像処理ツールを選択することができる。なお、これらの画像処理ツールは、典型的な機能およびその実現方法の代表例を示すものに過ぎない。あらゆる画像処理に対応する画像処理ツールが本願発明の対象になり得る。
The image processing tool described below may be executed after converting 15-bit three-dimensional profile data into three-dimensional profile data having a smaller third bit number (for example, 8 bits). This is because the following image processing tools give priority to processing speed over accuracy. Note that the process of converting 15-bit two-dimensional profile data (height data) into 8-bit height data is called height extraction. In height extraction, an arbitrary plane or curved surface may be set as a reference plane, and the difference between the gradation value of the reference plane and the gradation value of each measurement point may be handled as 8-bit data. By using an appropriate reference plane, it is possible to sufficiently hold the difference information necessary for image processing even with 8 bits.
● Edge position measurement tool: By setting a window for the inspection area where the edge position is to be detected on the screen on which the image of the workpiece 2 is displayed, the scan is performed in any direction within the set inspection area. A plurality of edges (locations switching from light to dark or locations switching from dark to light) are detected. The specification of one edge is received from the detected plurality of edges, and the position of the edge that has received the specification is measured.
Edge angle measuring tool: Two segments are set in the inspection area where the setting is accepted, and the inclination angle of the workpiece 2 from the edge detected in each segment is measured. The tilt angle can be positive, for example, clockwise.
Edge width measurement tool: Detects a plurality of edges by scanning in an arbitrary direction within the inspection region that has received the setting, and measures the width between the detected edges.
● Edge pitch measurement tool: Scans in any direction within the inspection area that accepts the settings to detect multiple edges. The maximum value / minimum value and average value of the distances (angles) between the detected edges are measured.
Area measurement tool: Measures the area of the white area or black area by binarizing the workpiece 2 image. For example, the area of the white region or the black region is measured by accepting the specification of a white region or a black region as a parameter to be measured.
Blob measurement tool: The image of the workpiece 2 is binarized, and the number, area, barycentric position, etc. as parameters are measured for a set (blob) of pixels having the same luminance value (255 or 0).
Pattern search measurement tool: The image pattern (model image) to be compared is stored in the storage device in advance, and the part similar to the stored image pattern is detected from the captured image of the work 2 Thus, the position, inclination angle, and correlation value of the image pattern are measured.
Scratch measurement tool: A small area (segment) is moved within the inspection area where the setting is received to calculate an average density value of pixel values, and a position where a density difference equal to or greater than a threshold value is determined to be scratched.
● In addition, OCR recognition tool that recognizes character strings by cutting out character information in the inspection area and collating it with dictionary data, etc., while shifting the window (area) set on the image, at each window position Trend edge tool with a function to repeat edge detection, density tool with a function to measure the average and deviation of the density in the set window, density with a function to measure the average and deviation of the density in the set window There are tools and the like, and the user can select a necessary image processing tool in accordance with the inspection contents. Note that these image processing tools are merely representative examples of typical functions and their implementation methods. An image processing tool corresponding to any image processing can be a subject of the present invention.
<計測領域の設定>
図3は、表示部152に表示されるユーザインタフェース300の一例を示している。画像処理装置20は、外観検査を実行する検査プロセスと、外観検査に必要となる各種の制御パラメータを設定する設定プロセスとを有している。入力部150を通じて設定プロセスの実行が選択されると、画像処理装置20は、制御パラメータを設定するユーザインタフェース300を表示部152に表示させる。ポインタ301は、入力部150のポインティングデバイスの操作に応じて移動する。画像表示部302は、良品を撮像することで取得された高さ画像303を表示する領域である。この高さ画像303には、搬送ベルト304の画像と、良品であるワーク2の画像が含まれている。計測領域の形状指定部306では、高さの計測対象となる計測領域307の形状を指定するために利用される。この例では、矩形形状が計測領域307の形状として選択されている。画像処理装置20は、ポインタ301によって計測領域307のフレームをドラッグされたこと検知すると、ドラッグ量に応じて計測領域307の位置を変更する。画像処理装置20は、ポインタ301によって計測領域307のフレームの角などをドラッグされたこと検知すると、ドラッグ量に応じて計測領域307のサイズを変更する。このように、画像処理装置20は、入力部150から入力される指示に応じて計測領域307の位置やサイズを変更する。
<Setting measurement area>
FIG. 3 shows an example of a user interface 300 displayed on the display unit 152. The image processing apparatus 20 has an inspection process for executing an appearance inspection and a setting process for setting various control parameters necessary for the appearance inspection. When execution of the setting process is selected through the input unit 150, the image processing apparatus 20 causes the display unit 152 to display a user interface 300 for setting control parameters. The pointer 301 moves according to the operation of the pointing device of the input unit 150. The image display unit 302 is an area for displaying a height image 303 acquired by imaging a non-defective product. The height image 303 includes an image of the conveyor belt 304 and an image of the work 2 that is a non-defective product. The measurement area shape designation unit 306 is used to designate the shape of the measurement area 307 to be measured for height. In this example, a rectangular shape is selected as the shape of the measurement region 307. When the image processing apparatus 20 detects that the frame of the measurement area 307 is dragged by the pointer 301, the image processing apparatus 20 changes the position of the measurement area 307 according to the drag amount. When the image processing apparatus 20 detects that the corner of the measurement area 307 is dragged by the pointer 301, the image processing apparatus 20 changes the size of the measurement area 307 according to the drag amount. As described above, the image processing apparatus 20 changes the position and size of the measurement region 307 in accordance with an instruction input from the input unit 150.
<基準領域の設定と補正モードの設定(その1)>
図4は、表示部152に表示されるユーザインタフェース400の一例を示している。ユーザインタフェース400は、高さを計測するための基準となる基準領域401を設定するために使用される。指定方法の選択部402は、高さの基準となる基準領域(例:高さがゼロとなる位置)を選択するためのメニューである。この例では平面基準が選択されている。画像処理装置20は、平面基準が選択されると、基準領域401を含む平面の方程式を算出し、算出した平面の方程式によって表現される平面をゼロ面とする。たとえば、画像処理装置20は、基準領域401内の複数の測定点について高さを求め、それらに最小二乗法を適用することにより平面の方程式を算出する。選択部402では、さらに、平均高さ基準や3点指定が選択可能である。平均高さ基準が選択されると、画像処理装置20は、基準領域401内の複数点の高さの平均値を求め、それをz軸切片とする平面の方程式を算出する。よって、求められた平面はxy平面と平行となる。3点指定が選択されると、画像処理装置20は、ポインタ301によって高さ画像に対して指定された3点を通る平面の方程式を算出する。選択方法の指定部403は、基準領域401の形状を指定するためのメニューである。たとえば、矩形や円形、楕円形、回転矩形、多角形、円周、円弧、複数点などを指定領域として指定可能である。
<Reference area setting and correction mode setting (1)>
FIG. 4 shows an example of a user interface 400 displayed on the display unit 152. The user interface 400 is used to set a reference area 401 serving as a reference for measuring the height. The designation method selection unit 402 is a menu for selecting a reference region that serves as a reference for height (eg, a position where the height is zero). In this example, the plane reference is selected. When the plane reference is selected, the image processing apparatus 20 calculates an equation of a plane including the reference region 401, and sets the plane expressed by the calculated plane equation as a zero plane. For example, the image processing apparatus 20 calculates heights of a plurality of measurement points in the reference region 401, and calculates a plane equation by applying a least square method to them. The selection unit 402 can further select an average height reference or three-point designation. When the average height reference is selected, the image processing apparatus 20 calculates an average value of the heights of a plurality of points in the reference region 401 and calculates a plane equation using the average value as a z-axis intercept. Therefore, the obtained plane is parallel to the xy plane. When the three-point designation is selected, the image processing apparatus 20 calculates an equation of a plane passing through the three points designated for the height image by the pointer 301. The selection method designation unit 403 is a menu for designating the shape of the reference area 401. For example, a rectangle, a circle, an ellipse, a rotation rectangle, a polygon, a circumference, an arc, a plurality of points, and the like can be designated as the designated area.
補正モード選択部404は、基準領域401の位置をワーク2の位置と回転量に追従して補正するかどうかを選択するためのチェックボックスである。これについては図5を用いて詳細に説明する。 The correction mode selection unit 404 is a check box for selecting whether to correct the position of the reference area 401 following the position and rotation amount of the work 2. This will be described in detail with reference to FIG.
図5は、表示部152に表示されるユーザインタフェース500の一例を示している。画像処理装置20は、検査プロセスにおいて計測結果をユーザインタフェース500に表示する。この例では、検査対象のワーク2が、図3や図4に示した良品のワークと比較して回転してしまっている。そのため、画像処理装置20は、パターン認識によりワーク2の位置と回転量とを求める。画像処理装置20は、求めた位置と回転量に応じて計測領域307の座標を変更する。ここで、補正モード選択部404がチェックされていない場合は、基準領域もワーク2に追随して位置補正されるため、501で示される位置に基準領域が設定されてしまう。よって、このようにして設定された基準領域501を用いて計測を実行してしまうと正確な高さを求めることができない。一方で、補正モード選択部404がチェックされている場合は、基準領域401はワーク2に追随せず、つまり位置補正されない。このように、基準領域401は、搬送ベルト304などの背景部に配置されるため、画像処理装置20は、搬送ベルト304の高さをゼロ面としてワーク2の高さを計測する。このように本実施例では、簡単な方法で基準領域の位置補正方法を指定でき、かつ、より正確に高さを求められるようになる。 FIG. 5 shows an example of a user interface 500 displayed on the display unit 152. The image processing apparatus 20 displays the measurement result on the user interface 500 in the inspection process. In this example, the work 2 to be inspected is rotated as compared with the non-defective work shown in FIGS. Therefore, the image processing apparatus 20 obtains the position and rotation amount of the workpiece 2 by pattern recognition. The image processing apparatus 20 changes the coordinates of the measurement region 307 according to the obtained position and rotation amount. Here, when the correction mode selection unit 404 is not checked, the position of the reference area is also corrected following the work 2, so the reference area is set at the position indicated by 501. Therefore, if measurement is performed using the reference region 501 set in this way, an accurate height cannot be obtained. On the other hand, when the correction mode selection unit 404 is checked, the reference area 401 does not follow the work 2, that is, the position is not corrected. As described above, since the reference region 401 is arranged in the background portion such as the conveyance belt 304, the image processing apparatus 20 measures the height of the work 2 with the height of the conveyance belt 304 as a zero plane. As described above, in this embodiment, the position correction method for the reference region can be specified by a simple method, and the height can be obtained more accurately.
<補正モードの設定(その2)>
図6は、計測領域307と基準領域401とで個別に補正モードを設定するためのユーザインタフェース600の一例を示している。補正元設定部601は、補正元(補正ルール)を設定するためのユーザインタフェースである。追加ボタン602がクリックされると、画像処理装置20は、入力部150から入力された情報にしたがって位置補正のルールを追加する。この例では2つの補正ルール603、604がすでに作成されている。補正ルール指定部605は、計測領域307に対する位置補正のルールを指定するためのメニューである。補正ルール指定部606は、基準領域401に対する位置補正のルールを指定するためのメニューである。これらのメニューからは補正ルール603、604のいずれかを指定可能である。補正ルール603は、たとえば、ワーク2の位置に追従した位置補正である。補正ルール604は、たとえば、位置補正を行わないとった補正ルールである。なお、補正ルール604は、計測領域307とは異なる位置補正を行う補正ルールであってもよい。たとえば、補正ルール604は、基準領域401については、ワーク2を載置するためのトレーに追従して位置補正を行うといった補正ルールであってもよい。
<Correction mode setting (2)>
FIG. 6 shows an example of a user interface 600 for setting the correction mode individually for the measurement area 307 and the reference area 401. The correction source setting unit 601 is a user interface for setting a correction source (correction rule). When the add button 602 is clicked, the image processing apparatus 20 adds a position correction rule according to the information input from the input unit 150. In this example, two correction rules 603 and 604 have already been created. The correction rule specifying unit 605 is a menu for specifying a position correction rule for the measurement region 307. The correction rule designation unit 606 is a menu for designating a position correction rule for the reference area 401. One of the correction rules 603 and 604 can be designated from these menus. The correction rule 603 is, for example, position correction that follows the position of the workpiece 2. The correction rule 604 is, for example, a correction rule that does not perform position correction. Note that the correction rule 604 may be a correction rule that performs position correction different from that of the measurement region 307. For example, the correction rule 604 may be a correction rule for the reference area 401 to perform position correction following a tray for placing the workpiece 2 thereon.
図7(A)は、トレー700に載置されたワーク2について取得された高さ画像に対して計測領域307と基準領域401が設定された例を示している。図7(B)は、計測領域307と基準領域401とをワーク2に追従して位置補正した例を示している。図7(B)が示すように、トレー700の位置ずれ量とワーク2の位置ずれ量は異なっている。そのため、計測領域307だけでなく基準領域401もワーク2に追従して位置補正してしまうと、基準領域401は、トレー700から外れた位置である搬送ベルト304上に設定されてしまう。このような場合には、補正ルール604として、トレー700に追従して位置補正を行うといった補正ルールを作成し、作成した補正ルールを基準領域401に対して設定することが有効である。このように、計測領域307に適用される補正ルールとは異なる補正ルールが基準領域401に適用されると有利なケースも存在する。 FIG. 7A shows an example in which the measurement area 307 and the reference area 401 are set for the height image acquired for the workpiece 2 placed on the tray 700. FIG. 7B shows an example in which the position of the measurement area 307 and the reference area 401 is corrected following the work 2. As shown in FIG. 7B, the positional deviation amount of the tray 700 and the positional deviation amount of the workpiece 2 are different. For this reason, if not only the measurement area 307 but also the reference area 401 is subjected to position correction following the workpiece 2, the reference area 401 is set on the transport belt 304 at a position deviated from the tray 700. In such a case, it is effective to create a correction rule that performs position correction following the tray 700 as the correction rule 604 and to set the generated correction rule for the reference region 401. As described above, there is an advantageous case where a correction rule different from the correction rule applied to the measurement region 307 is applied to the reference region 401.
図8は、計測領域307と基準領域401とをワーク2に追従して位置補正することが望ましい例を示している。この例では、ワーク2の上面を高さの基準平面とする計測ツールが使用されている。よって、基準領域401は、ワーク2に追従して位置補正されなければならない。この場合、図4に示したユーザインタフェース400では、補正モード選択部404であるチェックボックスのチェックが外される。また、図6に示したユーザインタフェース600では、補正ルール指定部606によって基準領域401についても補正ルール603が指定される。このように、計測領域307に適用される補正ルールと同一の補正ルールが基準領域401に適用されると有利なケースも存在する。 FIG. 8 shows an example in which it is desirable to correct the position of the measurement area 307 and the reference area 401 following the work 2. In this example, a measurement tool is used in which the upper surface of the work 2 is the reference plane of height. Therefore, the position of the reference area 401 must be corrected following the work 2. In this case, in the user interface 400 shown in FIG. 4, the check box that is the correction mode selection unit 404 is unchecked. In the user interface 600 shown in FIG. 6, the correction rule 603 is also specified for the reference area 401 by the correction rule specifying unit 606. As described above, there is an advantageous case where the same correction rule as that applied to the measurement region 307 is applied to the reference region 401.
<複数の計測ツール間での基準領域の共用>
一般に複数の計測ツールはそれぞれ独自に計測のためのパラメータを設定される。たとえば、図9に示したユーザインタフェース900はワーク2の左上ピンの高さを計測するツール(T101)について計測領域307と基準領域401とを設定するためのユーザインタフェースである。一方、図10に示したユーザインタフェース1000はワーク2の右上ピンの高さを計測するツール(T102)について計測領域307’と基準領域401’とを設定するためのユーザインタフェースである。図9と図10とを比較すると分かるように、基準領域401と基準領域401’とは同じ領域である。よって、基準領域401’の設定を簡易化できればユーザビリティが向上しよう。そこで、ユーザインタフェース1000には基準領域の設定方法を指定するための指定部1001が設けられている。指定部1001は、たとえば、上述した平面基準などに加えて他のツールのゼロ面(基準領域)をそのまま流用することを指定できるようなプルダウンメニューとなっている。参照先ツールの選択部1002は、指定部1001によって他の計測ツールの基準領域を流用(共用)することが指定されたときに、どの計測ツールの基準領域を共用するかを選択するためのプルダウンメニューである。この例では、図9に示したワーク2の左上ピンの高さを計測するツール(T101)が選択されている。そのため、画像処理装置20は、左上ピンの高さを計測するツール(T101)の基準領域401を、右上ピンの高さを計測するツール(T102)の基準領域401’として利用する。
<Sharing the reference area among multiple measurement tools>
Generally, a plurality of measurement tools have their own measurement parameters set. For example, the user interface 900 shown in FIG. 9 is a user interface for setting the measurement area 307 and the reference area 401 for the tool (T101) for measuring the height of the upper left pin of the work 2. On the other hand, the user interface 1000 shown in FIG. 10 is a user interface for setting the measurement area 307 ′ and the reference area 401 ′ for the tool (T102) for measuring the height of the upper right pin of the work 2. As can be seen by comparing FIG. 9 and FIG. 10, the reference region 401 and the reference region 401 ′ are the same region. Therefore, usability will be improved if the setting of the reference area 401 ′ can be simplified. Therefore, the user interface 1000 is provided with a designation unit 1001 for designating a reference area setting method. The designation unit 1001 is, for example, a pull-down menu that can designate that the zero plane (reference area) of another tool is used as it is in addition to the above-described plane reference. The reference tool selection unit 1002 is a pull-down menu for selecting which measurement tool reference region is to be shared when the specification unit 1001 specifies that the reference region of another measurement tool is to be diverted (shared). It is a menu. In this example, the tool (T101) for measuring the height of the upper left pin of the work 2 shown in FIG. 9 is selected. Therefore, the image processing apparatus 20 uses the reference area 401 of the tool (T101) that measures the height of the upper left pin as the reference area 401 ′ of the tool (T102) that measures the height of the upper right pin.
図11は、2つの計測ツールで基準領域401を共有しているときの計測結果の一例を示す図である。図11が示すように2つの計測領域307、307’に対して1つの基準領域401だけが示されている。なお、基準領域401に対して設定されている位置補正モードについても2つの計測ツール間で共通化される。このように基準領域401を複数の計測ツール間で共用することで、基準領域401の設定操作を簡単にすることができる。 FIG. 11 is a diagram illustrating an example of a measurement result when the reference area 401 is shared by two measurement tools. As shown in FIG. 11, only one reference region 401 is shown for the two measurement regions 307 and 307 '. Note that the position correction mode set for the reference region 401 is also shared between the two measurement tools. Thus, by sharing the reference area 401 among a plurality of measurement tools, the setting operation of the reference area 401 can be simplified.
図12は、外観検査装置の各機能を示す機能ブロック図である。ここでは、2次元プロファイル測定器10および高さ画像生成部122が高さ画像の取得手段として機能するが、これに代えて高さ画像データを生成する3次元カメラが使用されてもよい。 FIG. 12 is a functional block diagram showing each function of the appearance inspection apparatus. Here, the two-dimensional profile measuring instrument 10 and the height image generation unit 122 function as a height image acquisition unit, but a three-dimensional camera that generates height image data may be used instead.
2次元プロファイル測定器10については、とりわけコントローラユニット12の機能を示しているが、2次元プロファイルデータ生成部111などがヘッドユニット11に設けられてもよい。ヘッドユニット11は、検査対象物の2次元プロファイルを測定する測定手段として機能する。2次元プロファイル測定器10は、ヘッドユニット11から出力される測定信号(測定結果)に基づき2次元プロファイルデータを作成する2次元プロファイルデータ生成部111と、画像処理装置20と通信する通信部113とを有している。通信部113は、画像処理装置20と通信するための通信ユニットを具備している。2次元プロファイルデータは通信部113を介して画像処理装置20に送信される。通信部113は、シリアル通信インタフェース、パラレル通信インタフェース、USBインタフェースやネットワーク通信インタフェースなどを含む。図示は省略しているが、2次元プロファイル測定器10は、ヘッドユニット11を制御するヘッドユニット制御部をさらに有している。なおこれらの機能はDSPやCPU、ASICおよびプログラムなどによって実現される。 As for the two-dimensional profile measuring instrument 10, the function of the controller unit 12 is particularly shown. The head unit 11 functions as a measurement unit that measures the two-dimensional profile of the inspection object. The two-dimensional profile measuring device 10 includes a two-dimensional profile data generation unit 111 that generates two-dimensional profile data based on a measurement signal (measurement result) output from the head unit 11, and a communication unit 113 that communicates with the image processing apparatus 20. have. The communication unit 113 includes a communication unit for communicating with the image processing apparatus 20. The two-dimensional profile data is transmitted to the image processing device 20 via the communication unit 113. The communication unit 113 includes a serial communication interface, a parallel communication interface, a USB interface, a network communication interface, and the like. Although not shown, the two-dimensional profile measuring instrument 10 further includes a head unit controller that controls the head unit 11. These functions are realized by a DSP, CPU, ASIC, program, and the like.
画像処理装置20もやはりDSPやCPU、メモリ、プログラムなどによって実現される。入力カード22は、2次元プロファイル測定器10が出力する2次元プロファイルデータを受信する通信部121を有している。通信部121は、2次元プロファイル測定器と接続して通信する接続手段の一例である。高さ画像生成部122は、通信部121が受信した20ビットの2次元プロファイルデータを15ビットの2次元プロファイルデータに変換する。変位計などは20ビットのデータを扱うことが多いが、画像処理装置などは15ビット以下のデータを扱うことが多い。よって、高さ画像生成部122でビット数の違いを吸収することで画像処理装置20に変位計を接続することが可能となる。高さ画像生成部122は、複数の15ビットの2次元プロファイルデータを統合して3次元プロファイルデータ(ワークの高さを示す画像データ)を作成する。たとえば、高さ画像生成部122は、800ライン分の15ビットの2次元プロファイルデータを時系列に並べることで、ワーク2の全体の3次元形状を示す3次元プロファイルデータを作成する。3次元プロファイルデータは、一種の画像データであり、各画素は測定点に対応し、その階調値(輝度値)が高さを示すデータに対応している。3次元プロファイルデータは画像データであるため、表示処理部151を通じて表示部152に表示される。たとえば、ワーク2のうち基準面から低い部分は淡い階調となり、基準面から高い部分は濃い階調となる。このように、高さ画像生成部122は、2次元プロファイルデータ生成部111が出力する複数の2次元プロファイルを連結して高さ画像データを生成する高さ画像生成手段として機能する。このように、高さ画像生成部122を設けることで、3次元カメラの代わりに変位計を用いて高さ画像を取得することが可能となる。 The image processing apparatus 20 is also realized by a DSP, CPU, memory, program, and the like. The input card 22 includes a communication unit 121 that receives the two-dimensional profile data output from the two-dimensional profile measuring device 10. The communication unit 121 is an example of a connection unit that connects and communicates with a two-dimensional profile measuring device. The height image generation unit 122 converts the 20-bit two-dimensional profile data received by the communication unit 121 into 15-bit two-dimensional profile data. A displacement meter or the like often handles 20-bit data, but an image processing apparatus or the like often handles data of 15 bits or less. Therefore, it is possible to connect a displacement meter to the image processing device 20 by absorbing the difference in the number of bits by the height image generation unit 122. The height image generation unit 122 integrates a plurality of 15-bit two-dimensional profile data to create three-dimensional profile data (image data indicating the height of the workpiece). For example, the height image generation unit 122 creates three-dimensional profile data indicating the entire three-dimensional shape of the workpiece 2 by arranging 15-bit two-dimensional profile data for 800 lines in time series. The three-dimensional profile data is a kind of image data, each pixel corresponds to a measurement point, and its gradation value (luminance value) corresponds to data indicating the height. Since the three-dimensional profile data is image data, it is displayed on the display unit 152 through the display processing unit 151. For example, a portion of the work 2 that is lower than the reference surface has a light gradation, and a portion that is higher than the reference surface has a dark gradation. As described above, the height image generation unit 122 functions as a height image generation unit that generates a plurality of two-dimensional profiles output from the two-dimensional profile data generation unit 111 to generate height image data. Thus, by providing the height image generation unit 122, it is possible to acquire a height image using a displacement meter instead of the three-dimensional camera.
上述したように画像処理部130は、高さ計測ツールだけでなく、様々な検査ツールを有している。画像処理部130は、ワーク2の各部分の高さを抽出する際には、15ビット表現の3次元プロファイルデータを使用する。これにより、より高い精度の高さ情報が取得される。一方で、ブロブの計算などでは、高さ方向の情報はそれほど高い精度を要求されない。つまり、ビット低減部138は、3次元プロファイルデータのビット数をより少ないビット数に低減することで、画像処理部130の画像処理負担を軽減してもよい。たとえば、ビット低減部138は、3次元プロファイルデータを、第2のビット数(例:15ビット)から、第2のビット数よりもさらに少ない第3のビット数(例:8ビット)の3次元プロファイルデータに変換する。計測部137などは、8ビットの3次元プロファイルデータ(画像データ)に所定の画像処理を施して外観検査のためのデータ(演算結果)を取得する。所定の画像処理は画像処理ツールごとに異なり、2値化処理や白画素のカウント、面積の算出などである。 As described above, the image processing unit 130 includes not only the height measurement tool but also various inspection tools. When extracting the height of each part of the work 2, the image processing unit 130 uses three-dimensional profile data expressed in 15 bits. Thereby, higher-accuracy height information is acquired. On the other hand, in the blob calculation or the like, the information in the height direction is not required to have a very high accuracy. That is, the bit reduction unit 138 may reduce the image processing burden on the image processing unit 130 by reducing the number of bits of the three-dimensional profile data to a smaller number of bits. For example, the bit reduction unit 138 converts the three-dimensional profile data from the second number of bits (for example, 15 bits) to the third number of bits (for example, 8 bits) that is smaller than the second number of bits. Convert to profile data. The measurement unit 137 or the like performs predetermined image processing on 8-bit three-dimensional profile data (image data) to obtain data (operation result) for appearance inspection. The predetermined image processing is different for each image processing tool, and includes binarization processing, white pixel count, area calculation, and the like.
基準位置設定部131は、表示部152に表示された高さ画像データに対して高さ計測の基準となる基準位置を設定する。図4などを用いて説明したように、基準位置設定部131は、表示処理部151を通じて表示部152にユーザインタフェースを表示し、ユーザインタフェースを通じて入力された情報に基づいて基準領域401や3つの基準点などの基準位置を設定する。 The reference position setting unit 131 sets a reference position serving as a height measurement reference for the height image data displayed on the display unit 152. As described with reference to FIG. 4 and the like, the reference position setting unit 131 displays the user interface on the display unit 152 through the display processing unit 151, and based on the information input through the user interface, the reference region 401 and the three reference units are displayed. Set a reference position such as a point.
計測領域設定部132は、表示部152に表示された高さ画像データに対して高さ計測の対象となる領域である計測領域307を設定する。図3などを用いて説明したように、計測領域設定部132は、表示処理部151を通じて表示部152にユーザインタフェースを表示し、ユーザインタフェースを通じて入力された情報に基づいて計測領域307を設定する。なお、図9ないし図11を用いて説明したように、計測領域設定部132は、複数の計測処理について個別に計測領域307、307’を設定してもよい。この場合、基準位置設定部131は、複数の計測処理について個別に設定された計測領域307、307’に対して共通に基準領域401を設定してもよい。これにより、基準領域401の設定が簡単になり、ユーザの負担を軽減できる。 The measurement region setting unit 132 sets a measurement region 307 that is a region for height measurement with respect to the height image data displayed on the display unit 152. As described with reference to FIG. 3 and the like, the measurement region setting unit 132 displays the user interface on the display unit 152 through the display processing unit 151, and sets the measurement region 307 based on information input through the user interface. As described with reference to FIGS. 9 to 11, the measurement region setting unit 132 may individually set the measurement regions 307 and 307 ′ for a plurality of measurement processes. In this case, the reference position setting unit 131 may set the reference area 401 in common with respect to the measurement areas 307 and 307 ′ set individually for a plurality of measurement processes. Thereby, the setting of the reference area 401 is simplified, and the burden on the user can be reduced.
モード選択部133は、図4や図6などを用いて説明したように基準領域401や計測領域307の位置の補正モードをユーザの指示にしたがって選択する。モード選択部133は、表示処理部151を通じて図4や図6などに示したユーザインタフェースを表示部152に表示させ、ユーザインタフェースを通じて入力された情報に基づいて補正モードを設定する。上述したように複数の補正モードが存在する。第1補正モードは、たとえば、検査対象物(以下、ワークと呼ぶ。)の高さ画像データにおけるワークの位置に基づき、ワークの高さ画像データに対する基準領域401と計測領域307の位置を補正する補正モードである。第2補正モードは、たとえば、計測領域307の位置を補正するもののワークの高さ画像データに対する基準領域401の位置を補正しないモードである。なお、第2補正モードは、図7を用いて説明したように、計測領域307の位置を補正するものの、基準領域401の位置については計測領域307とは異なる位置補正を行うモードであってもよい。 As described with reference to FIGS. 4 and 6, the mode selection unit 133 selects a correction mode for the positions of the reference area 401 and the measurement area 307 according to a user instruction. The mode selection unit 133 displays the user interface shown in FIGS. 4 and 6 on the display unit 152 through the display processing unit 151, and sets the correction mode based on information input through the user interface. As described above, there are a plurality of correction modes. In the first correction mode, for example, the positions of the reference area 401 and the measurement area 307 with respect to the work height image data are corrected based on the position of the work in the height image data of the inspection object (hereinafter referred to as a work). Correction mode. In the second correction mode, for example, the position of the measurement area 307 is corrected, but the position of the reference area 401 with respect to the workpiece height image data is not corrected. As described with reference to FIG. 7, the second correction mode corrects the position of the measurement area 307, but the position of the reference area 401 is a mode in which position correction different from that of the measurement area 307 is performed. Good.
サーチ領域設定部134は、高さ画像においてワーク2をパターン認識によりサーチする対象となる領域であるサーチ領域1302を設定する。図13が例示するように、良品画像1301は、ワーク2をパターン認識するための良品画像である。この例では、良品画像1301がワーク2の外形をすべて含むようにするために、良品画像1301のサイズはワーク2の画像よりも一回り大きなサイズとなっている。サーチ領域1302は、サーチの効率を上げるために、高さ画像の一部に設定される領域である。パターン認識部135は、設定されたサーチ領域1302の内部だけを対象として良品画像1301と一致する画像をパターン認識し、良品画像1301の位置と回転量とを算出する。 The search area setting unit 134 sets a search area 1302 that is an area to be searched for the workpiece 2 by pattern recognition in the height image. As illustrated in FIG. 13, the good product image 1301 is a good product image for pattern recognition of the workpiece 2. In this example, the non-defective image 1301 is slightly larger than the image of the work 2 so that the non-defective image 1301 includes the entire outer shape of the work 2. The search area 1302 is an area set as a part of the height image in order to increase search efficiency. The pattern recognition unit 135 pattern-recognizes an image that matches the non-defective image 1301 only within the set search region 1302, and calculates the position and rotation amount of the good image 1301.
位置補正部136は、パターン認識部135によって取得された良品画像1301の位置と回転量とに基づき計測領域307や基準領域401の位置を補正する。なお、位置補正部136は、モード選択部133によって選択されている補正モードにしたがってこれらの位置を補正する。 The position correction unit 136 corrects the positions of the measurement region 307 and the reference region 401 based on the position and rotation amount of the non-defective product image 1301 acquired by the pattern recognition unit 135. The position correction unit 136 corrects these positions according to the correction mode selected by the mode selection unit 133.
計測部137は、上述したような複数の計測ツールを有しており、様々な計測を実行する。たとえば、計測部137は、位置補正部136による位置補正が終了した後で、ワークの高さ画像データに設定された計測領域307について基準位置からの高さを計測する。つまり、計測部137は、ライン1を搬送されるワーク2の高さ画像と、予め設定された計測領域307や基準領域401を用いて各種の計測を実行する。上述したように、計測部137は、基準領域401を拡張して基準面(ゼロ面)を決定し、計測領域307について基準面からの高さを計測してもよい。 The measurement unit 137 has a plurality of measurement tools as described above, and executes various measurements. For example, the measurement unit 137 measures the height from the reference position in the measurement region 307 set in the workpiece height image data after the position correction by the position correction unit 136 is completed. That is, the measurement unit 137 performs various measurements using the height image of the work 2 conveyed on the line 1 and the measurement area 307 and the reference area 401 set in advance. As described above, the measurement unit 137 may extend the reference region 401 to determine a reference surface (zero surface) and measure the height of the measurement region 307 from the reference surface.
このように画像処理部130は、計測に使用する様々なパラメータを設定するためのユーザインタフェースを、表示処理部151を通じて表示部152に表示させる。このユーザインタフェースを通じてユーザはパラメータを指定する。入力部150は、マウス、キーボード、コンソールなどである。 As described above, the image processing unit 130 causes the display unit 152 to display a user interface for setting various parameters used for measurement through the display processing unit 151. The user specifies parameters through this user interface. The input unit 150 is a mouse, a keyboard, a console, or the like.
外観検査部140の良否判定部141は、画像処理部130により得られた演算結果に基づいてワーク2の良否判定などを実行する。たとえば、良否判定部141は、演算結果を閾値と比較することで、ワーク2の良否判定が実行される。閾値は、公差などに基づいて予め設定される。 The quality determination unit 141 of the appearance inspection unit 140 performs quality determination of the workpiece 2 based on the calculation result obtained by the image processing unit 130. For example, the pass / fail determination unit 141 performs the pass / fail determination of the workpiece 2 by comparing the calculation result with a threshold value. The threshold value is set in advance based on a tolerance or the like.
ところで、入力カード22の各機能はDSP等で実現可能である。また、画像処理部130を実現するDSPと、表示処理部151を実現するDSPとはそれぞれ別個に用意されてもよい。複数のDSPに処理を分散することで、より高速に外観検査処理を実行可能となろう。また、外観検査部140は、複数のDSPを統括的に制御するCPUによって実現されてもよい。表示部152は、液晶表示装置や自発光式の表示装置などである。入力部150は表示部152と一体化されてタッチパネル式ディスプレイとして実現されてもよい。 By the way, each function of the input card 22 can be realized by a DSP or the like. Further, the DSP that realizes the image processing unit 130 and the DSP that realizes the display processing unit 151 may be prepared separately. By distributing the processing to a plurality of DSPs, it will be possible to execute the appearance inspection processing at a higher speed. In addition, the appearance inspection unit 140 may be realized by a CPU that controls a plurality of DSPs in an integrated manner. The display unit 152 is a liquid crystal display device or a self-luminous display device. The input unit 150 may be integrated with the display unit 152 and realized as a touch panel display.
<フローチャート>
上述したように外観検査は、計測を実行する上で必要となる設定を実行する設定プロセスと、設定プロセスにおける設定に基づいて計測を実行する計測プロセス(検査プロセス)とを有している。そこで、各プロセスについてフローチャートを用いて説明する。なお、外観検査装置は、上述した設定プロセスと上述した計測プロセスとを切り替えることが可能なプロセス切替手段(モード切替手段)を有している。ユーザは、たとえば、図11に示すGUI画面上で、「運転モードへ」と表示されたモード切替ボタンをクリックすることができる。プロセス切替手段は、このようなユーザ操作に基づいて、上述した設定プロセスから上述した計測プロセスへと切り替える。以下詳述するように、図14は設定プロセスに関し、図15は計測プロセスに関するフローチャートである。
<Flowchart>
As described above, the appearance inspection includes a setting process for executing settings necessary for executing measurement, and a measurement process (inspection process) for executing measurement based on the settings in the setting process. Therefore, each process will be described using a flowchart. The appearance inspection apparatus includes a process switching unit (mode switching unit) capable of switching between the setting process described above and the measurement process described above. For example, the user can click a mode switching button displayed as “go to operation mode” on the GUI screen shown in FIG. 11. The process switching means switches from the setting process described above to the measurement process described above based on such a user operation. As will be described in detail below, FIG. 14 is a flowchart relating to the setting process, and FIG. 15 is a flowchart relating to the measurement process.
図14は、設定プロセスの各工程を示すフローチャートである。S1で、画像処理部130は、位置補正元を設定する。ここでの位置補正元とは良品のことである。画像処理部130は、ワーク2を撮像してワーク2の各部の高さを画素値として表現する高さ画像データを取得し、表示部152にワーク2の良品についての高さ画像データを表示させる。図13を用いて説明したように、ユーザは入力部150を通じて良品のワーク2の高さ画像に対して良品をパターン認識するための画像を指定するとともに、サーチ領域1302を設定する。画像処理部130は、良品のワーク2の画像の位置(座標データ)とサーチ領域1302の座標データとを位置補正元のデータとして記憶装置に記憶する。 FIG. 14 is a flowchart showing each step of the setting process. In S1, the image processing unit 130 sets a position correction source. The position correction source here is a non-defective product. The image processing unit 130 captures the workpiece 2, acquires height image data expressing the height of each unit of the workpiece 2 as a pixel value, and causes the display unit 152 to display the height image data of the non-defective product of the workpiece 2. . As described with reference to FIG. 13, the user designates an image for pattern recognition of a non-defective product with respect to the height image of the non-defective workpiece 2 through the input unit 150 and sets a search area 1302. The image processing unit 130 stores the position (coordinate data) of the image of the non-defective workpiece 2 and the coordinate data of the search area 1302 in the storage device as position correction source data.
S2で、基準位置設定部131は、表示部152に表示された高さ画像データに対して高さ計測の基準となる基準位置(基準領域401や3つの基準点など)を設定する。基準位置を示す座標データなども記憶装置に記憶される。 In S <b> 2, the reference position setting unit 131 sets a reference position (such as a reference region 401 and three reference points) that serves as a reference for height measurement for the height image data displayed on the display unit 152. Coordinate data indicating the reference position is also stored in the storage device.
S3で、計測領域設定部132は、表示部152に表示された高さ画像データに対して高さ計測の対象となる領域である計測領域307を設定する。計測領域307を示す座標データなども記憶装置に記憶される。 In S <b> 3, the measurement region setting unit 132 sets a measurement region 307 that is a region for height measurement with respect to the height image data displayed on the display unit 152. Coordinate data indicating the measurement area 307 is also stored in the storage device.
S4で、モード選択部133は、入力部150から入力されるユーザの指示に基づき補正モードを選択する。ここでは、上述したような方法によりいずれかの補正モードが選択される。 In S <b> 4, the mode selection unit 133 selects a correction mode based on a user instruction input from the input unit 150. Here, one of the correction modes is selected by the method described above.
図15は、計測プロセスの各工程を示すフローチャートである。S11で、高さ画像生成部122は、2次元プロファイル測定器10から入力された2次元プロファイルから高さ画像を作成する。パターン認識部135は、高さ画像データに対して良品の画像データを用いてパターン認識を行い、高さ画像におけるワークの画像の位置(回転量を含む)を検出する。 FIG. 15 is a flowchart showing each step of the measurement process. In S <b> 11, the height image generation unit 122 creates a height image from the two-dimensional profile input from the two-dimensional profile measuring device 10. The pattern recognition unit 135 performs pattern recognition on the height image data using good image data, and detects the position of the workpiece image (including the rotation amount) in the height image.
S12で、位置補正部136は、補正モードに応じて計測領域307や基準領域401の位置を補正する。たとえば、位置補正部136は、第1補正モードが選択されている場合には、ワーク2の高さ画像データにおけるワーク2の位置に基づき、ワーク2の高さ画像データに対する基準位置(基準領域401や3つの基準点など)と計測領域307の位置を補正する。一方、第2補正モードが選択されている場合、位置補正部136は、ワーク2の高さ画像データにおけるワーク2の位置に基づき、ワーク2の高さ画像データに対する基準位置を補正せずに計測領域307の位置を補正する。あるいは、図6や図7を用いて説明したように、位置補正部136は、計測領域307に適用される補正方法とは異なる補正方法により基準位置を補正する。どのような補正方法が適用されるかは、モード選択部133においてどのような補正モード(補正方法)が選択または定義されているかに依存する。なお、計測領域307と基準位置401とはどちらが先に位置補正されてもよい。 In S12, the position correction unit 136 corrects the positions of the measurement region 307 and the reference region 401 according to the correction mode. For example, when the first correction mode is selected, the position correction unit 136 is based on the position of the workpiece 2 in the height image data of the workpiece 2 and the reference position (reference region 401 for the height image data of the workpiece 2). And three reference points) and the position of the measurement region 307 are corrected. On the other hand, when the second correction mode is selected, the position correction unit 136 performs measurement without correcting the reference position with respect to the height image data of the workpiece 2 based on the position of the workpiece 2 in the height image data of the workpiece 2. The position of the area 307 is corrected. Alternatively, as described with reference to FIGS. 6 and 7, the position correction unit 136 corrects the reference position by a correction method different from the correction method applied to the measurement region 307. Which correction method is applied depends on what correction mode (correction method) is selected or defined in the mode selection unit 133. Note that either the measurement region 307 or the reference position 401 may be corrected first.
S13で、計測部137は、位置補正部136による位置補正が終了した後で、基準位置に基づき基準面(ゼロ面)を決定する。たとえば、上述したように最小二乗法などが使用されて基準面を示す方程式が決定される。 In S13, the measurement unit 137 determines a reference plane (zero plane) based on the reference position after the position correction by the position correction unit 136 is completed. For example, as described above, the least square method or the like is used to determine an equation indicating the reference plane.
S14で、計測部137は、ワーク2の高さ画像データに設定されている計測領域307について基準位置(基準面)からの高さを計測する。 In S <b> 14, the measurement unit 137 measures the height from the reference position (reference plane) for the measurement region 307 set in the height image data of the workpiece 2.
S15で、計測部137は、計測領域307における各点の高さデータに基づき計測処理を実行する。たとえば、計測部137は、計測領域307内における高さの平均値を算出したり、高さの最大値と最小値とを求めたり、最大値と最小値との差を求めたり、高さが最大値となった位置の座標データを求めたりする。 In S15, the measurement unit 137 executes measurement processing based on the height data of each point in the measurement region 307. For example, the measurement unit 137 calculates the average value of the height in the measurement region 307, calculates the maximum value and the minimum value of the height, calculates the difference between the maximum value and the minimum value, The coordinate data of the position where the maximum value is obtained is obtained.
S16で、外観検査部140の良否判定部141は、計測結果に基づいてワークが良品であるかどうかを判定する。たとえば、良否判定部141は、計測値が公差を満たしているかどうかを判定する。 In S16, the quality determination unit 141 of the appearance inspection unit 140 determines whether the workpiece is a non-defective product based on the measurement result. For example, the pass / fail determination unit 141 determines whether the measurement value satisfies a tolerance.
<まとめ>
以上説明したように、本実施形態によれば、モード選択部133を採用しているため、高さ画像データに対して設定される計測領域の位置補正と基準位置の位置補正について補正モードを選択できるようになる。たとえば、計測領域307と基準領域401とについて個別に位置補正したり、計測領域307についてのみ位置補正を実行したりすることで、計測精度がさらに向上する。これは、基準領域401が本来意図している位置に配置されるからである。
<Summary>
As described above, according to the present embodiment, since the mode selection unit 133 is employed, the correction mode is selected for the position correction of the measurement area and the position correction of the reference position set for the height image data. become able to. For example, the measurement accuracy can be further improved by individually correcting the position of the measurement region 307 and the reference region 401 or executing the position correction only for the measurement region 307. This is because the reference area 401 is arranged at the originally intended position.
なお、高さを計測する場合には、基準領域401を拡張して高さの基準面(ゼロ面)を決定してもよい。基準面としては、上述したように最小二乗法により求められる最小二乗平面や、基準領域401内の複数の測定点の高さの平均値である平均平面、基準領域401内の3点以上の高さから決定された平面が採用されてもよい。なお、基準面は曲面であってもよい。 When measuring the height, the reference area 401 may be expanded to determine a height reference plane (zero plane). As the reference plane, as described above, a least square plane obtained by the least square method, an average plane that is an average value of the heights of a plurality of measurement points in the reference area 401, and a height of three or more points in the reference area 401 A plane determined from the above may be adopted. The reference surface may be a curved surface.
図4を用いて説明したように、位置補正部136における基準位置(基準領域401や基準点など)の補正処理を無効化するか有効化するかを指定するチェックボックスなどの指定部が採用されてもよい。これにより、ユーザは簡単に補正モードを選択できるようになる。また、外観検査装置に外部接続された制御装置、例えばPLC(プログラマブルロジックコントローラ)からの切替信号等に基づいて、基準位置の補正処理を無効化するか有効化するかを指定してもよい。この場合、表示部152にチェックボックス等を表示することなく、補正モードを選択することができる。たとえば、ラインを流れるワークの種別を変える等、段取り替えを行う場合に、制御装置から外観検査装置にモード切替信号を送信し、これを受信した外観検査装置(プロセス切替手段)が対応する補正モードを選択することができる。 As described with reference to FIG. 4, a designation unit such as a check box for designating whether to invalidate or validate the reference position (reference region 401, reference point, etc.) correction process in the position correction unit 136 is employed. May be. As a result, the user can easily select the correction mode. Further, based on a switching signal or the like from a control device externally connected to the appearance inspection device, for example, a PLC (programmable logic controller), it may be specified whether to invalidate or validate the reference position correction process. In this case, the correction mode can be selected without displaying a check box or the like on the display unit 152. For example, when changing the type of work flowing through the line, for example, when a changeover is performed, a mode switching signal is transmitted from the control device to the visual inspection device, and the visual inspection device (process switching means) that receives the mode switching signal corresponds to the correction mode. Can be selected.
図7を用いて説明したように、高さ画像データにより表現される高さ画像にはワーク2の画像部分とワーク2を保持する保持部材(トレー700)の画像部分とが含まれていることがある。この場合、基準位置設定部131は保持部材の画像部分に対して基準位置を設定してもよい。これにより保持部材からの高さを求めることが可能になろう。計測領域設定部132はワーク2の画像部分に対して計測領域307を設定しうる。さらに、位置補正部136は、第2補正モードが選択されると、計測領域307と基準位置とを個別に位置補正してもよい。図7を用いて説明したように、計測領域307はワーク2に追従して位置補正されるが、基準領域401などの基準位置はトレー700に追従して位置補正される。なお、トレー700についてもパターン認識部135は予め登録されたトレー700の画像に基づいて高さ画像内でのトレー700をパターン認識し、その位置と回転量を決定する。つまり、位置補正部136は、トレー700の位置と回転量に応じて基準位置を補正する。これにより、トレー700とワーク2とがそれぞれ異なるように位置ずれしていたり回転してしまっていたりしていても、正しく計測領域307と基準位置とを高さ画像に対して適用できるようになる。 As described with reference to FIG. 7, the height image expressed by the height image data includes the image portion of the workpiece 2 and the image portion of the holding member (tray 700) that holds the workpiece 2. There is. In this case, the reference position setting unit 131 may set a reference position for the image portion of the holding member. This would allow the height from the holding member to be determined. The measurement area setting unit 132 can set the measurement area 307 for the image portion of the workpiece 2. Further, when the second correction mode is selected, the position correction unit 136 may individually correct the position of the measurement region 307 and the reference position. As described with reference to FIG. 7, the position of the measurement region 307 is corrected following the workpiece 2, but the reference position such as the reference region 401 is corrected following the tray 700. For the tray 700, the pattern recognition unit 135 recognizes the pattern of the tray 700 in the height image based on the image of the tray 700 registered in advance, and determines the position and the rotation amount. That is, the position correction unit 136 corrects the reference position according to the position of the tray 700 and the rotation amount. As a result, even if the tray 700 and the workpiece 2 are misaligned or rotated so as to be different from each other, the measurement region 307 and the reference position can be correctly applied to the height image. .
図9ないし図11を用いて説明したように、基準位置設定部131は、複数の計測処理について個別に設定された計測領域307、307’に対して共通に基準位置を設定してもよい。とりわけ、図10を用いて説明したように、第1の計測ツール(T101)と第2の計測ツール(T102)とにおいて、第2の計測ツールは、第1の計測ツールに対して設定された基準位置を参照して使用してもよい。なお、第2の計測ツールは、高さを計測するツールであってもよいし、高さ以外のパラメータを計測するツールであってもよい。これによりユーザによる基準位置の設定回数を削減できる。 As described with reference to FIGS. 9 to 11, the reference position setting unit 131 may set a reference position in common for the measurement regions 307 and 307 ′ individually set for a plurality of measurement processes. In particular, as described with reference to FIG. 10, in the first measurement tool (T101) and the second measurement tool (T102), the second measurement tool is set with respect to the first measurement tool. It may be used with reference to the reference position. Note that the second measurement tool may be a tool that measures the height, or may be a tool that measures parameters other than the height. This can reduce the number of times the user sets the reference position.
モード選択部133は、高さ画像データにおいて、ワーク2の背景(搬送ベルトやトレーなど)に対して基準位置を設定する場合に第2補正モードを選択し、ワーク2の一部に基準位置を設定する場合には第1補正モードを選択してもよい。搬送ベルトなどに付与されたマークなどを基準位置とする計測ツールでは基準位置の位置補正は不要であることが多い。よって、位置補正を無効化することが望ましい。また、背景がトレーであれば、上述した理由からワーク2ではなくトレーに追従して基準位置を補正することが望ましい。図8を用いて説明したようにワーク2の一部に基準位置が設定される場合は、基準位置はワーク2に追従して位置補正される必要があるため、第1補正モードが選択される。これにより、正確な計測が実現されよう。 The mode selection unit 133 selects the second correction mode when setting the reference position with respect to the background of the workpiece 2 (such as a conveyor belt or a tray) in the height image data, and sets the reference position to a part of the workpiece 2. When setting, the first correction mode may be selected. In many cases, a measurement tool that uses a mark or the like provided on a conveyor belt as a reference position does not require position correction of the reference position. Therefore, it is desirable to invalidate the position correction. If the background is a tray, it is desirable to correct the reference position by following the tray instead of the workpiece 2 for the reason described above. As described with reference to FIG. 8, when the reference position is set to a part of the workpiece 2, the first correction mode is selected because the reference position needs to be corrected following the workpiece 2. . As a result, accurate measurement will be realized.
ところで、高さ画像は通常の外観検査に使用される画像よりも1つの画素あたりのビット数が非常に多くなることがある。これは、高さを精度よく計測するためである。また、多数ビットのデータを出力する変位計を、高さ画像を取得するために流用する場合にも、高さ画像のビット数が多くなってしまう。しかしながら、面積の計測処理などではこのような大きなデータサイズの画像はかえって画像処理の負担となる。そこで、ビット低減部138が高さ画像データにおける1つの画素を表現するビットの数を第1のビット数から第2のビット数に削減してもよい。計測部137はビット数を削減された高さ画像データを用いて計測処理を実行することで、計測部137の処理負荷を大幅に軽減できる。 By the way, the height image may have a much larger number of bits per pixel than an image used for a normal appearance inspection. This is to accurately measure the height. Also, when a displacement meter that outputs a large number of bits of data is used for acquiring a height image, the number of bits of the height image increases. However, in an area measurement process or the like, an image with such a large data size is a burden of image processing. Therefore, the bit reduction unit 138 may reduce the number of bits representing one pixel in the height image data from the first bit number to the second bit number. The measurement unit 137 can significantly reduce the processing load on the measurement unit 137 by executing the measurement process using the height image data with the number of bits reduced.
図4などを用いて説明したように、基準位置設定部131は、高さ画像データに基づき表示部152に表示された高さ画像に対して指定された矩形領域を基準位置として設定してもよい。この場合、計測部137は、矩形領域の座標と画素値に演算を施して基準面を決定する。なお、高さ画像における画素値は、カメラからの距離、つまり高さを示している。高さ計測では一般に基準面(ゼロ面)からのワーク2の各部の高さが計測される。また、平面などの基準面を定義するにはいくつかの点の高さのデータが必要となる。よって、矩形領域は、入力部150のポインティングデバイスに対する簡単な操作によって指定できるため、基準領域401を容易に設定できるようになろう。 As described with reference to FIG. 4 and the like, the reference position setting unit 131 may set the rectangular area designated for the height image displayed on the display unit 152 as the reference position based on the height image data. Good. In this case, the measurement unit 137 determines the reference plane by calculating the coordinates of the rectangular area and the pixel value. Note that the pixel value in the height image indicates the distance from the camera, that is, the height. In the height measurement, the height of each part of the workpiece 2 from the reference surface (zero surface) is generally measured. In addition, in order to define a reference surface such as a plane, data on the heights of several points is required. Therefore, since the rectangular area can be specified by a simple operation on the pointing device of the input unit 150, the reference area 401 can be easily set.
なお、画像処理部130は、高さ画像データのうち位置補正部136による位置補正の対象となる補正対象領域を設定する補正対象領域設定手段をさらに有していてもよい。位置補正部136は、上述した第1補正モードが選択されると、高さ画像データにおける補正対象領域の位置に応じて基準位置を補正する。ここで補正対象領域は、たとえば、図13に示したようなワーク2の全体を囲むような領域であってもよい。また、図8を用いて説明したように、ワーク2に追従して基準位置を補正する必要があるときは、ワーク2の全体を囲むような領域を画像処理部130が補正対象領域に設定してもよい。これにより、ワーク2に追従した基準位置の位置補正が容易に実現される。 Note that the image processing unit 130 may further include a correction target region setting unit that sets a correction target region that is a position correction target by the position correction unit 136 in the height image data. When the first correction mode described above is selected, the position correction unit 136 corrects the reference position according to the position of the correction target region in the height image data. Here, the correction target area may be, for example, an area surrounding the entire workpiece 2 as shown in FIG. As described with reference to FIG. 8, when it is necessary to correct the reference position following the workpiece 2, the image processing unit 130 sets an area surrounding the entire workpiece 2 as a correction target area. May be. Thereby, position correction of the reference position following the workpiece 2 is easily realized.
高さ画像は、変位計などにより取得された2次元プロファイルから生成されてもよいし、3次元カメラによって直接的に生成されてもよい。3次元カメラと比較して変位計を広く普及しているため、変位計を用いて高さ画像を生成できればユーザにとって容易に高さ画像を用いて計測処理を導入できるようになろう。 The height image may be generated from a two-dimensional profile acquired by a displacement meter or the like, or may be generated directly by a three-dimensional camera. Since displacement meters are more widely used than three-dimensional cameras, if a height image can be generated using a displacement meter, a user can easily introduce measurement processing using the height image.
なお、位置補正部136は、ワーク2の画像から検出された位置のずれ量や回転量を用いて位置補正を行うものとして説明した。しかし、画像処理装置20に接続され、機械的にワーク2やトレーなどの位置補正を行う位置補正機構からこれの情報を取得してもよい。あるいは位置補正機構は、計測領域や基準領域にワーク2やトレーが配置されるように、機械的にワーク2やトレーなどの位置を補正する機構であってもよい。この場合は、計測領域や基準領域については補正する代わりに、ワーク2やトレーの物理的な位置が補正されることになる。 Note that the position correction unit 136 has been described as performing position correction using the positional shift amount and rotation amount detected from the image of the workpiece 2. However, the information may be acquired from a position correction mechanism that is connected to the image processing apparatus 20 and mechanically corrects the position of the workpiece 2 or the tray. Alternatively, the position correction mechanism may be a mechanism that mechanically corrects the positions of the work 2 and the tray so that the work 2 and the tray are arranged in the measurement area and the reference area. In this case, instead of correcting the measurement area and the reference area, the physical positions of the workpiece 2 and the tray are corrected.
Claims (19)
前記検査対象物の良品についての高さ画像データを表示する表示手段と、
前記表示手段に表示された高さ画像データに対して高さ計測の基準となる基準位置を設定する基準位置設定手段と、
前記表示手段に表示された高さ画像データに対して高さ計測の対象となる領域である計測領域を設定する計測領域設定手段と、
検査対象物の高さ画像データにおける前記検査対象物の位置に基づき、前記検査対象物の高さ画像データに対する前記基準位置と前記計測領域の位置を補正する第1補正モードと、前記検査対象物の高さ画像データに対する前記基準位置を補正しないかまたは前記計測領域とは異なる位置補正を行いつつ前記計測領域の位置を補正する第2補正モードとのいずれかを選択する選択手段と、
前記第1補正モードが選択されると、検査対象物の高さ画像データにおける前記検査対象物の位置に基づき前記検査対象物の高さ画像データに対する前記計測領域の位置を補正するとともに前記計測領域に追随して前記基準位置も補正し、前記第2補正モードが選択されると、検査対象物の高さ画像データにおける前記検査対象物の位置に基づき前記検査対象物の高さ画像データに対する前記基準位置を補正しないかまたは前記計測領域とは異なる位置補正を行いつつ前記計測領域の位置を補正する位置補正手段と、
前記位置補正手段による補正が実行された後に、前記検査対象物の高さ画像データに設定された前記計測領域について前記基準位置からの高さを計測する計測手段と
を有することを特徴とする外観検査装置。 An acquisition means for imaging the inspection object and acquiring height image data expressing the height of each part of the inspection object as a pixel value;
Display means for displaying height image data for non-defective products of the inspection object;
A reference position setting means for setting a reference position to be a height measurement reference for the height image data displayed on the display means;
A measurement area setting means for setting a measurement area that is a height measurement target for the height image data displayed on the display means;
A first correction mode for correcting the reference position and the position of the measurement region with respect to the height image data of the inspection object based on the position of the inspection object in the height image data of the inspection object; Selection means for selecting one of a second correction mode in which the reference position with respect to the height image data is not corrected or the position of the measurement area is corrected while performing position correction different from the measurement area;
When the first correction mode is selected, the position of the measurement area with respect to the height image data of the inspection object is corrected based on the position of the inspection object in the height image data of the inspection object, and the measurement area When the second correction mode is selected, the reference position is also corrected, and the height image data of the inspection object is based on the position of the inspection object in the height image data of the inspection object. Position correcting means for correcting the position of the measurement area while correcting the reference position or performing position correction different from the measurement area;
An external appearance comprising: a measurement unit that measures a height from the reference position for the measurement region set in the height image data of the inspection object after correction by the position correction unit is performed. Inspection device.
前記計測手段は、
前記基準領域を拡張して基準面を決定し、前記計測領域について前記基準面からの高さを計測することを特徴とする請求項1に記載の外観検査装置。 The reference position setting means is a means for setting a reference region for the height image data as the reference position,
The measuring means includes
The appearance inspection apparatus according to claim 1, wherein a reference plane is determined by expanding the reference area, and a height of the measurement area from the reference plane is measured.
前記基準位置設定手段は前記保持部材の画像部分に対して前記基準位置を設定する手段であり、
前記計測領域設定手段は、前記検査対象物の画像部分に対して前記計測領域を設定する手段であり、
前記位置補正手段は、前記第2補正モードが選択されると、前記計測領域と前記基準位置とを個別に位置補正することを特徴とする請求項1または2に記載の外観検査装置。 The height image represented by the height image data includes an image portion of the inspection object and an image portion of a holding member that holds the inspection object,
The reference position setting means is means for setting the reference position with respect to the image portion of the holding member;
The measurement area setting means is a means for setting the measurement area for an image portion of the inspection object,
3. The appearance inspection apparatus according to claim 1, wherein when the second correction mode is selected, the position correction unit individually corrects the position of the measurement region and the reference position. 4.
前記計測領域設定手段は、前記複数の計測処理について個別に計測領域を設定する手段であり、
前記基準位置設定手段は、前記複数の計測処理について個別に設定された計測領域に対して共通に基準位置を設定する手段であることを特徴とする請求項1ないし4のいずれか1項に記載の外観検査装置。 The measurement means is a means for executing a plurality of different measurement processes,
The measurement area setting means is a means for individually setting a measurement area for the plurality of measurement processes,
The said reference position setting means is a means to set a reference position in common with respect to the measurement area | region set individually about these several measurement processes, The any one of Claim 1 thru | or 4 characterized by the above-mentioned. Visual inspection equipment.
前記基準位置に基づき高さを求める第1の計測ツールと、
前記基準位置に基づき高さ以外のパラメータを計測する第2の計測ツールと
を有し、
前記第2の計測ツールは、前記第1の計測ツールに対して設定された基準位置を参照して使用することを特徴とする請求項5に記載の外観検査装置。 The measuring means includes
A first measurement tool for obtaining a height based on the reference position;
A second measurement tool for measuring a parameter other than height based on the reference position,
6. The appearance inspection apparatus according to claim 5, wherein the second measurement tool is used with reference to a reference position set for the first measurement tool.
前記設定プロセスにおいて、
前記取得手段が、検査対象物を撮像して当該検査対象物の各部の高さを画素値として表現する高さ画像データを取得し、
前記表示手段が、前記検査対象物の良品についての高さ画像データを表示し、
前記基準位置設定手段が、前記表示手段に表示された高さ画像データに対して高さ計測の基準となる基準位置を設定し、
前記計測領域設定手段が、前記表示手段に表示された高さ画像データに対して高さ計測の対象となる領域である計測領域を設定し、
前記選択手段が、検査対象物の高さ画像データにおける前記検査対象物の位置に基づき、前記検査対象物の高さ画像データに対する前記基準位置と前記計測領域の位置を補正する第1補正モードと、前記検査対象物の高さ画像データに対する前記基準位置を補正せずに前記計測領域の位置を補正する第2補正モードとのいずれかを選択し、
前記計測プロセスにおいて、
前記位置補正手段が、前記第1補正モードが選択されると、検査対象物の高さ画像データにおける前記検査対象物の位置に基づき、前記検査対象物の高さ画像データに対する前記基準位置と前記計測領域の位置を補正し、前記第2補正モードが選択されると、検査対象物の高さ画像データにおける前記検査対象物の位置に基づき、前記検査対象物の高さ画像データに対する前記基準位置を補正せずに前記計測領域の位置を補正し、
前記計測手段が、前記位置補正手段による補正が実行された後に、前記検査対象物の高さ画像データに設定された前記計測領域について前記基準位置からの高さを計測する
ように構成されていることを特徴とする請求項1ないし7のいずれか1項に記載の外観検査装置。 The appearance inspection apparatus includes a setting process for performing settings necessary for performing measurement, and a measurement process for performing measurement based on settings in the setting process,
In the configuration process,
The acquisition means acquires height image data that images the inspection object and expresses the height of each part of the inspection object as a pixel value;
The display means displays height image data about a non-defective product of the inspection object,
The reference position setting means sets a reference position to be a height measurement reference for the height image data displayed on the display means;
The measurement area setting means sets a measurement area that is an area for height measurement for the height image data displayed on the display means,
A first correction mode in which the selection unit corrects the reference position and the position of the measurement region with respect to the height image data of the inspection object based on the position of the inspection object in the height image data of the inspection object; Selecting any one of the second correction mode for correcting the position of the measurement region without correcting the reference position with respect to the height image data of the inspection object;
In the measurement process,
When the position correction means selects the first correction mode, the reference position relative to the height image data of the inspection object and the reference position based on the position of the inspection object in the height image data of the inspection object When the position of the measurement region is corrected and the second correction mode is selected, the reference position with respect to the height image data of the inspection object based on the position of the inspection object in the height image data of the inspection object Correct the position of the measurement area without correcting
The measurement unit is configured to measure a height from the reference position for the measurement region set in the height image data of the inspection object after the correction by the position correction unit is executed. The appearance inspection apparatus according to claim 1, wherein the appearance inspection apparatus is a device.
前記計測手段は、前記ビット数削減手段によりビット数を削減された前記高さ画像データを用いて計測処理を実行することを特徴とする請求項1ないし8のいずれか1項に記載の外観検査装置。 Bit number reduction means for reducing the number of bits representing one pixel in the height image data from the first bit number to the second bit number;
9. The appearance inspection according to claim 1, wherein the measurement unit performs a measurement process using the height image data in which the number of bits has been reduced by the bit number reduction unit. apparatus.
前記計測手段は、前記指定領域の座標と画素値に演算を施して基準面を決定することを特徴とする請求項2に記載の外観検査装置。 The reference position setting means sets, as the reference position, a designated area designated for a height image displayed on the display means based on the height image data,
The appearance inspection apparatus according to claim 2, wherein the measuring unit determines a reference plane by performing an operation on coordinates and pixel values of the designated area.
前記計測手段は、前記3つの基準点の座標と画素値とに演算を施して基準面を決定することを特徴とする請求項2に記載の外観検査装置。 The reference position setting means sets three reference points as the reference position for the height image displayed on the display means based on the height image data,
The appearance inspection apparatus according to claim 2, wherein the measuring unit determines a reference plane by performing an operation on the coordinates and pixel values of the three reference points.
前記位置補正手段は、前記第1補正モードが選択されると、前記高さ画像データにおける前記補正対象領域の位置に応じて前記基準位置を補正することを特徴とする請求項1ないし14のいずれか1項に記載の外観検査装置。 A correction target region setting unit that sets a correction target region to be corrected by the position correction unit in the height image data;
15. The position correction unit corrects the reference position according to the position of the correction target area in the height image data when the first correction mode is selected. The visual inspection apparatus according to claim 1.
前記検査対象物の2次元プロファイルを測定する2次元プロファイル測定手段と、
前記2次元プロファイル測定手段が出力する複数の2次元プロファイルを連結して前記高さ画像データを生成する高さ画像生成手段と
を有することを特徴とする請求項1ないし15のいずれか1項に記載の外観検査装置。 The acquisition means includes
Two-dimensional profile measuring means for measuring a two-dimensional profile of the inspection object;
The height image generating means for generating the height image data by connecting a plurality of two-dimensional profiles output from the two-dimensional profile measuring means. Appearance inspection apparatus as described.
前記検査対象物の良品についての高さ画像データを表示装置に表示する表示工程と、
前記表示装置に表示された高さ画像データに対して高さ計測の基準となる基準位置を設定する基準位置設定工程と、
前記表示装置に表示された高さ画像データに対して高さ計測の対象となる領域である計測領域を設定する計測領域設定工程と、
検査対象物の高さ画像データにおける前記検査対象物の位置に基づき、前記検査対象物の高さ画像データに対する前記基準位置と前記計測領域の位置を補正する第1補正モードと、前記検査対象物の高さ画像データに対する前記基準位置を補正しないかまたは前記計測領域とは異なる位置補正を行いつつ前記計測領域の位置を補正する第2補正モードとのいずれかを選択する選択工程と、
前記第1補正モードが選択されると、検査対象物の高さ画像データにおける前記検査対象物の位置に基づき前記検査対象物の高さ画像データに対する前記計測領域の位置を補正するとともに前記計測領域に追随して前記基準位置も補正し、前記第2補正モードが選択されると、検査対象物の高さ画像データにおける前記検査対象物の位置に基づき前記検査対象物の高さ画像データに対する前記基準位置を補正しないかまたは前記計測領域とは異なる位置補正を行いつつ前記計測領域の位置を補正する位置補正工程と、
前記位置補正工程による補正が終了した後で、前記検査対象物の高さ画像データに設定された前記計測領域について前記基準位置からの高さを計測する計測工程と
を有することを特徴とする外観検査方法。 An acquisition step of imaging the inspection object and acquiring height image data expressing the height of each part of the inspection object as a pixel value;
A display step of displaying height image data on a non-defective product of the inspection object on a display device;
A reference position setting step for setting a reference position to be a height measurement reference for the height image data displayed on the display device;
A measurement region setting step for setting a measurement region which is a region for height measurement with respect to height image data displayed on the display device;
A first correction mode for correcting the reference position and the position of the measurement region with respect to the height image data of the inspection object based on the position of the inspection object in the height image data of the inspection object; A selection step of selecting one of a second correction mode in which the reference position with respect to the height image data is not corrected or the position of the measurement region is corrected while performing a position correction different from the measurement region;
When the first correction mode is selected, the position of the measurement area with respect to the height image data of the inspection object is corrected based on the position of the inspection object in the height image data of the inspection object, and the measurement area When the second correction mode is selected, the reference position is also corrected, and the height image data of the inspection object is based on the position of the inspection object in the height image data of the inspection object. A position correction step of correcting the position of the measurement region while correcting the reference position or performing a position correction different from the measurement region;
And a measurement step of measuring a height from the reference position for the measurement region set in the height image data of the inspection object after the correction by the position correction step is completed. Inspection method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014022759A JP6184339B2 (en) | 2014-02-07 | 2014-02-07 | Appearance inspection apparatus, appearance inspection method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014022759A JP6184339B2 (en) | 2014-02-07 | 2014-02-07 | Appearance inspection apparatus, appearance inspection method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015148568A JP2015148568A (en) | 2015-08-20 |
JP6184339B2 true JP6184339B2 (en) | 2017-08-23 |
Family
ID=53892017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014022759A Expired - Fee Related JP6184339B2 (en) | 2014-02-07 | 2014-02-07 | Appearance inspection apparatus, appearance inspection method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6184339B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6681743B2 (en) * | 2016-02-26 | 2020-04-15 | 株式会社キーエンス | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded device |
JP7402745B2 (en) | 2020-05-22 | 2023-12-21 | 株式会社キーエンス | Imaging device and image inspection system |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3853658B2 (en) * | 2002-01-07 | 2006-12-06 | 株式会社ミツトヨ | Image measuring apparatus and image measuring program |
JP2008196974A (en) * | 2007-02-13 | 2008-08-28 | Hitachi High-Technologies Corp | Device and method for measuring height of projection object |
JP5218177B2 (en) * | 2009-03-13 | 2013-06-26 | オムロン株式会社 | Image processing apparatus and method |
JP5564349B2 (en) * | 2010-07-15 | 2014-07-30 | 株式会社キーエンス | Image processing apparatus and appearance inspection method |
-
2014
- 2014-02-07 JP JP2014022759A patent/JP6184339B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015148568A (en) | 2015-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9773304B2 (en) | Inspection apparatus, inspection method, and program | |
US10241056B2 (en) | Inspection apparatus, inspection method, and program | |
US20200043157A1 (en) | Inspection Apparatus, Inspection Method, And Program | |
US9410898B2 (en) | Appearance inspection device, appearance inspection method, and program | |
US10508995B2 (en) | Three-dimensional image inspection device, three-dimensional image inspection method, three-dimensional image inspection program, and computer-readable recording medium and recording equipment | |
JP2017096749A (en) | Positioning method, visual inspection apparatus, program, computer readable recording medium, and visual inspection method | |
JP2017096750A (en) | Positioning method, positioning apparatus, program and computer readable recording medium | |
JP6207282B2 (en) | Image processing apparatus, image processing system, inspection method, and program | |
JP2012021919A (en) | Image processing system, image processing method and computer program | |
JP6278842B2 (en) | Inspection device, inspection method, and program | |
JP6405124B2 (en) | Inspection device, inspection method, and program | |
US20170178315A1 (en) | Image measuring method and image measuring device | |
JP6184339B2 (en) | Appearance inspection apparatus, appearance inspection method, and program | |
JP6308808B2 (en) | Inspection system, inspection apparatus, control method, and program | |
JP2018200328A (en) | Inspection device, inspection method and program | |
JP6207283B2 (en) | Image processing apparatus, image processing system, inspection method, and program | |
US8351709B2 (en) | Projection height measuring method, projection height measuring apparatus and program | |
JP2015161680A (en) | Inspection system, image processing apparatus, method, and program | |
JP2015163841A (en) | inspection device, control method, and program | |
JP2018194544A (en) | Information processor, method for processing information, and computer program | |
Kos et al. | Detection, localization and recognition of objects using LabVIEW |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160909 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170703 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170725 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6184339 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |