JP4674853B2 - Image processing component data creation method and image processing component data creation device - Google Patents
Image processing component data creation method and image processing component data creation device Download PDFInfo
- Publication number
- JP4674853B2 JP4674853B2 JP2005164002A JP2005164002A JP4674853B2 JP 4674853 B2 JP4674853 B2 JP 4674853B2 JP 2005164002 A JP2005164002 A JP 2005164002A JP 2005164002 A JP2005164002 A JP 2005164002A JP 4674853 B2 JP4674853 B2 JP 4674853B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- component
- type
- image processing
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 89
- 238000012545 processing Methods 0.000 title claims description 56
- 238000001514 detection method Methods 0.000 description 38
- 238000011156 evaluation Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 5
- 238000010187 selection method Methods 0.000 description 5
- 238000003672 processing method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Description
本発明は、画像処理用の部品データを作成する画像処理用部品データ作成方法及び画像処理用部品データ作成装置に関する発明である。 The present invention relates to an image processing component data creation method and an image processing component data creation device for creating image processing component data.
例えば、電子部品実装機で使用する画像処理用の部品データは、画像処理の対象となる部品種類毎に作成する必要がある。従来の画像処理用部品データの作成手順は、図３１に示すように、まず、作業者が部品データ作成の対象となる部品の種類を見て判断して、その部品の種類に応じた適切な画像処理アルゴリズムを選択し（手順１）、更に、作業者が部品の種類に応じて部品の形状（ボディ、リード、バンプ等）のデータを手入力する（手順２）。その上で、当該部品を実際にカメラで撮像して画像処理テストを行ってみて（手順３）、画像処理が正しく行えるか否かを確認し（手順４）、画像処理が正しく行えなければ、作業を最初からやり直す。これにより、画像処理が正しく行えるまで、上記手順１から手順３までの作業を繰り返して、部品データを作成する。
For example, component data for image processing used in an electronic component mounter needs to be created for each component type to be subjected to image processing. As shown in FIG. 31, the conventional procedure for creating image processing component data is as follows. First, the operator determines the type of component for which the component data is to be created and makes an appropriate decision according to the type of component. An image processing algorithm is selected (procedure 1), and the operator manually inputs data on the shape of the part (body, lead, bump, etc.) according to the type of the part (procedure 2). After that, actually image the part with a camera and perform an image processing test (procedure 3) to check whether the image processing can be performed correctly (procedure 4). If the image processing cannot be performed correctly, Start over from the beginning. As a result, until the image processing can be performed correctly, the operations from the
このように、従来の画像処理用部品データの作成方法では、部品の種類の判別、画像処理アルゴリズムの選択、部品の形状データ入力、画像処理テスト等の作業を作業者が手作業で行わなければならず（画像処理テストの結果次第では１つの部品データを作成するのにこれらの作業を何回も繰り返して行わなければならず）、その結果、画像処理用部品データの作成のために多くの作業時間と多くの知識・経験を必要とするという欠点があった。 As described above, in the conventional method for creating component data for image processing, an operator must manually perform operations such as component type discrimination, image processing algorithm selection, component shape data input, and image processing test. (Depending on the result of the image processing test, it is necessary to repeat these operations many times to create one component data). There was a drawback of requiring work time and a lot of knowledge and experience.
そこで、特許文献１（特許第２９４１６１７号公報）、特許文献２（特開平９−４４６８６号公報）に示すように、部品データの作成を自動化する技術が提案されている。 Therefore, as shown in Patent Document 1 (Japanese Patent No. 2941617) and Patent Document 2 (Japanese Patent Laid-Open No. 9-44686), a technique for automating the creation of component data has been proposed.
特許文献１には、電子部品実装機の吸着ノズルに吸着した部品の吸着姿勢の良否を判定するための部品データの自動作成方法が記載されている。この特許文献１の部品データの自動作成方法では、部品データとして、部品の各部の寸法、リード本数、リード間隔等のデータが画像処理により演算される。
また、特許文献２には、部品の位置を認識するためのデータの自動作成方法が記載されている。この特許文献２の部品データの自動作成方法では、部品の画像の輪郭線を抽出して、部品の各辺毎に各コーナ部のエッジ端点の位置を求めて、部品の基本概略形状の各辺の形状と各コーナ部の形状を求めて、これらのデータを部品位置認識データとして用いるようにしている。
しかし、上記特許文献１，２の手法では、部品データを作成する際に、部品の種類を自動的に判別することができないため、部品の種類に応じた適切な画像処理アルゴリズムを選択して部品データを作成することができない。このため、様々な種類の部品の画像データを、同じ画像処理アルゴリズムで処理して部品データを作成することになるため、部品の種類に応じた適切な部品データを作成できないという欠点があった。
However, since the methods of
本発明はこのような事情を考慮してなされたものであり、従って本発明の目的は、部品の種類に応じた適切な部品データを自動的に作成できる画像処理用部品データ作成方法及び画像処理用部品データ作成装置を提供することにある。 The present invention has been made in view of such circumstances. Accordingly, an object of the present invention is to provide an image processing component data creation method and image processing capable of automatically creating appropriate component data according to the type of component. It is to provide a parts data creation device for use.
上記目的を達成するために、本発明は、画像処理用部品データの作成対象となる部品の画像データを取り込んで、当該部品の画像データから当該部品全体に亘る形状の特徴を表すデータを抽出し、抽出したデータをもとに当該部品の種類を自動判別し、自動判別した部品の種類に応じて当該部品の画像データから当該部品のボディ、リード、バンプの少なくとも１つの位置とサイズを含むデータを抽出し、抽出したデータをもとに画像処理用部品データを作成することを第１の特徴とし、更に、前記部品全体に亘る形状の特徴を表すデータは、水平方向と垂直方向のピクセル頻度及び／又はゼロクロスパターン頻度のデータを含むことを第２の特徴とするものである。 In order to achieve the above object, the present invention takes in image data of a part for which image processing part data is to be created, and extracts data representing the characteristics of the shape of the whole part from the image data of the part. The type of the part is automatically determined based on the extracted data, and the data including at least one position and size of the body, lead, and bump of the part from the image data of the part according to the automatically determined type of the part The first feature is that image processing component data is generated based on the extracted data, and the data representing the feature of the shape of the entire component is the pixel frequency in the horizontal and vertical directions. The second feature is that data of zero cross pattern frequency is included.
本発明によれば、部品の画像データから当該部品全体に亘る形状の特徴を表すデータを抽出し、抽出したデータをもとに当該部品の種類を自動判別するようにしているので、自動判別した部品の種類に応じた適切な画像処理アルゴリズムを選択して、部品の種類に応じて当該部品の画像データから当該部品のボディ、リード、バンプの少なくとも１つの位置とサイズを含むデータを自動的に抽出することができ、部品の種類に応じた適切な画像処理用部品データを自動的に作成できる。 According to the present invention, extracts data from the component image data representative of the shape characteristics throughout the part, since the extracted based on the type of the component data so that automatically detects and automatically discriminated Select an appropriate image processing algorithm according to the type of component, and automatically include data including at least one position and size of the body, lead, and bump of the component from the image data of the component according to the type of component. Therefore, it is possible to automatically create appropriate image processing component data corresponding to the type of component.
この場合、予め、部品種類毎にリファレンス用の部品の画像データを取り込んで各部品全体に亘る形状の特徴を表すデータを抽出して、部品種類毎に部品全体に亘る形状の特徴を表すデータを記憶したデータベースを作成しておき、部品種類判別処理では、新たに取り込んだ部品の画像データから当該部品全体に亘る形状の特徴を表すデータを抽出し、抽出したデータを前記データベースのデータと比較して両者が最も一致する部品の種類を自動判別するようにすると良い。このようにすれば、部品種類の判別精度を向上させることができる。 In this case, the image data of the shape for the whole part is extracted in advance by taking in the image data of the reference part for each part type, and the data representing the shape characteristic for the whole part for each part type. A stored database is created, and in the part type determination process, data representing the shape characteristics over the entire part is extracted from the image data of the newly captured part, and the extracted data is compared with the data in the database. Thus, it is preferable to automatically discriminate the type of the parts that are the best match. In this way, the accuracy of part type discrimination can be improved.
また、本発明では、部品全体に亘る形状の特徴を表すデータは、水平方向と垂直方向のピクセル頻度及び／又はゼロクロスパターン頻度のデータを含むことが特徴となっている。ここで、ピクセル頻度とは、所定のしきい値以上のグレー値を持つピクセルの出現頻度であり、ゼロクロスパターン頻度とは、しきい値より小さいグレー値から大きいグレー値に変化する点、または、しきい値より大きいグレー値から小さいグレー値に変化する点を意味する。ピクセル頻度やゼロクロスパターン頻度を用いれば、部品全体に亘る形状の特徴を精度良く表すデータを抽出することができる。これにより、あらゆる部品の種類を自動判別することが可能となり、適切な画像処理アルゴリズムと部品データを選択、作成することができる。 In the present invention, data representing the characteristics of the shape over the entire part may include data for horizontal direction and the vertical pixel frequency and / or zero-cross pattern frequency is the distinctive feature. Here, the pixel frequency is an appearance frequency of a pixel having a gray value equal to or higher than a predetermined threshold, and the zero-cross pattern frequency is a point that changes from a gray value smaller than the threshold value to a larger gray value, or It means a point where a gray value larger than a threshold value changes to a smaller gray value. If the pixel frequency or the zero cross pattern frequency is used, it is possible to extract data that accurately represents the feature of the shape over the entire part. This makes it possible to automatically determine the type of any component, and to select and create an appropriate image processing algorithm and component data.
更に、部品種類判別処理で、動的計画法(Dynamic Programming) によるマッチング手法（略称：ＤＰマッチング）を用いて部品の種類を自動判別するようにすると良い。ＤＰマッチングは、代表的な伸縮マッチング手法であり、部品データ間の類似度を能率良く且つ精度良く演算することができる。 Further, in the part type discrimination process, it is preferable to automatically discriminate the part type using a matching method (abbreviation: DP matching) by dynamic programming. DP matching is a typical expansion / contraction matching method, and can calculate the similarity between component data efficiently and accurately.
以下、本発明を実施するための最良の形態を具体化した一実施例を説明する。
図１に示すように、画像処理用部品データ作成装置は、パーソナルコンピュータ等のコンピュータ１１と、部品の画像データを取り込むためのカメラ等の画像データ取り込み手段１２と、キーボード、マウス等の入力装置１３と、液晶ディスプレイ、ＣＲＴ等の表示装置１４と、後述するプログラムやデータ等を記憶する記憶装置１５を備えた構成となっている。コンピュータ１１は、後述する画像処理用の各プログラムを実行することで、画像データ取り込み手段１２で取り込んだ部品の画像データから当該部品全体に亘る形状の特徴を表すデータを抽出し、抽出したデータをもとに当該部品の種類を自動判別する部品種類判別手段と、自動判別した部品の種類に応じて当該部品の画像データから当該部品のボディ、リード、バンプの少なくとも１つの位置とサイズを含むデータを抽出し、抽出したデータをもとに画像処理用部品データを作成する部品データ作成手段として機能する。以下、このコンピュータ１１が実行する画像処理用の各プログラムの処理内容を説明する。
Hereinafter, an embodiment embodying the best mode for carrying out the present invention will be described.
As shown in FIG. 1, the image processing component data creation device includes a
図２の部品データ作成プログラムが起動されると、まずステップ１０１で、作業者が入力装置１３を操作して部品データ作成開始を指示するまで待機する。その後、作業者が部品データ作成開始を指示した時点で、ステップ１０２に進み、画像データ取り込み手段１２を用いて、画像処理用部品データの作成対象となる部品の画像データを取り込む。
When the part data creation program of FIG. 2 is started, first, in
この後、ステップ１０３に進み、取り込んだ部品の画像データから当該部品全体に亘る形状の特徴を表す部分のデータ（以下「特徴データ」という）を抽出する。この特徴データには、後述する水平方向と垂直方向のピクセル頻度とゼロクロスパターン頻度のデータが含まれる。その後、抽出した特徴データを記憶装置１５に格納されたリファレンス用部品データのデータベースの特徴データと比較して両者が最も一致する部品の種類を自動判別する。これにより、部品の種類に応じて画像処理アルゴリズムを選択する処理の自動化が可能となる。この部品種類の判別は、後述する動的計画法(Dynamic Programming) によるマッチング手法（略称：ＤＰマッチング）を用いて行われる。尚、リファレンス用部品データのデータベースは、後述する図３のデータベース作成プログラムによって作成される。
Thereafter, the process proceeds to
この後、ステップ１０４に進み、判別した部品の種類に応じて当該部品の画像データから当該部品の画像処理用部品データ（ボディ、リード、バンプ等の位置やサイズ等のデータ）を抽出する。
Thereafter, the process proceeds to
この後、ステップ１０５に進み、抽出した画像処理用部品データを、記憶装置１５に格納されている画像処理用部品データのデータベースに当該部品の種類と関連付けて保存する。
Thereafter, the process proceeds to
図３のデータベース作成プログラムは、リファレンス用部品データのデータベースを作成するプログラムである。本プログラムが起動されると、まずステップ２０１で、画像データ取り込み手段１２を用いてリファレンス用の部品の画像データを取り込む。
The database creation program in FIG. 3 is a program for creating a database of reference component data. When this program is started, first, in
この後、ステップ２０２に進み、特徴データ抽出プログラムを実行して、後述する方法で、リファレンス用の部品の画像データから当該部品の特徴を表す部分（ボディ、リード、バンプ等）の特徴データを抽出する。この際、特徴データとして、部品全体に亘る形状の特徴を表すのに適したデータである、水平方向と垂直方向のピクセル頻度とゼロクロスパターン頻度を計算する。
After that, the process proceeds to
この後、ステップ２０３に進み、抽出したリファレンス用部品の特徴データ（水平方向と垂直方向のピクセル頻度とゼロクロスパターン頻度のパターン）を、記憶装置１５に格納されているリファレンス用部品データのデータベースに当該部品の種類と関連付けて保存する。
Thereafter, the process proceeds to
図４の部品種類判別プログラムは、前記図２の部品データ作成プログラムのステップ１０２〜１０３の処理を実行するプログラムである。本プログラムが起動されると、まずステップ３０１で、画像データ取り込み手段１２を用いて、画像処理用部品データの作成対象となる部品の画像データを取り込む。
4 is a program for executing the processing of
この後、ステップ３０２に進み、上記図３のデータベース作成プログラムのステップ２０２と同じく、特徴データ抽出プログラムを実行して、画像処理用部品データの作成対象となる部品の画像データから当該部品の特徴を表す部分（ボディ、リード、バンプ等）の特徴データを抽出する。この際、特徴データとして、水平方向と垂直方向のピクセル頻度とゼロクロスパターン頻度を計算する。
Thereafter, the process proceeds to
この後、ステップ３０３に進み、画像処理用部品データの作成対象となる部品の特徴データを記憶装置１５に格納されたリファレンス用部品データのデータベースの特徴データと比較して両者が最も一致する部品の種類を自動判別する。この際、後述する動的計画法(Dynamic Programming) によるマッチング手法（略称：ＤＰマッチング）を用いて部品の種類を判別する。
Thereafter, the process proceeds to step 303, where the feature data of the component for which image processing component data is to be created is compared with the feature data in the reference component data database stored in the
図５のピクセル頻度算出プログラムは、前記図２のステップ１０３、図３のステップ２０２及び図４のステップ３０２で実行されるプログラムであり、次のようにしてピクセル頻度を算出する。本プログラムが起動されると、まずステップ４０１で、部品の画像データを読み込む。この後、ステップ４０２に進み、表示装置１４の画面全体の画像から部品部分のブロック（部品存在範囲）を切り出す。この部品部分のブロックを切り出しに関しては、作業者が表示装置１４の画面に表示された部品の画像を見て入力装置１３を操作して部品部分のブロックを切り出しても良いし、図７の部品部分ブロック切り出しプログラムを実行して部品部分のブロックを自動的に切り出すようにしても良い。
The pixel frequency calculation program of FIG. 5 is a program executed in
この図７の部品部分ブロック切り出しプログラムでは、まずステップ５０１で、画像全体のヒストグラムを求め、判別分析法によりしきい値を算出する。この後、ステップ５０２に進み、画像を水平・垂直方向に走査して、しきい値以上のグレー値を持つピクセルの出現頻度を計数し、水平方向と垂直方向のピクセル頻度グラフを作成する。
In the component part block cutout program of FIG. 7, first, in
この後、ステップ５０３に進み、水平方向と垂直方向のピクセル頻度グラフをガウシアンフィルタで平滑化した後、ステップ５０４に進み、水平方向と垂直方向のピクセル頻度グラフの中で、ピクセル頻度が所定頻度以上となる範囲を部品部分のブロック（部品存在範囲）と決定して切り出す。 Thereafter, the process proceeds to step 503, the pixel frequency graph in the horizontal direction and the vertical direction is smoothed by a Gaussian filter, and then the process proceeds to step 504, in which the pixel frequency is equal to or higher than a predetermined frequency in the pixel frequency graph in the horizontal direction and the vertical direction. Is determined as a part block (part existence range) and cut out.
部品部分のブロックの切り出し後、図５のステップ４０３に進み、基準座標（ＸＹ座標）に対する部品部分のブロックの回転角度を算出し、部品部分のブロックの横方向と縦方向を基準座標の水平方向（Ｘ方向）と垂直方向（Ｙ方向）に一致させるように回転補正を行う。この回転補正に関しては、作業者が表示装置１４の画面に表示された部品の画像を見て部品の回転角度を判断し、入力装置１３を操作して部品の回転角度を補正しても良いし、後述する方法で部品部分のブロックの回転角度を自動的に補正するようにしても良い。
After cutting out the part part block, the process proceeds to step 403 in FIG. 5 to calculate the rotation angle of the part part block with respect to the reference coordinates (XY coordinates), and the horizontal and vertical directions of the part part block are the horizontal direction of the reference coordinates. Rotation correction is performed so as to match the (X direction) and the vertical direction (Y direction). Regarding this rotation correction, the operator may look at the image of the component displayed on the screen of the
部品部分のブロックの回転角度の補正後、ステップ４０４に進み、大津の二値化等の適宜の二値化手法を用いて、二値化のためのしきい値を算出し、このしきい値を用いて部品部分のブロックの画像（図６参照）を二値化する。 After correcting the rotation angle of the block of the part part, the process proceeds to step 404, and a threshold value for binarization is calculated using an appropriate binarization method such as binarization of Otsu, and this threshold value is calculated. Is used to binarize the image of the part block (see FIG. 6).
この後、ステップ４０５に進み、画像を水平・垂直方向に走査して、水平方向の各走査線上においてしきい値以上のグレー値を持つピクセルが存在する頻度（ピクセル頻度）を計数して、この水平方向のピクセル頻度をＰｄｘとし、垂直方向の各走査線上においてしきい値以上のグレー値を持つピクセルが存在する頻度（ピクセル頻度）を計数して、この垂直方向のピクセル頻度をＰｄｙとする（図６参照）。 Thereafter, the process proceeds to step 405, where the image is scanned in the horizontal and vertical directions, and the frequency (pixel frequency) at which a pixel having a gray value equal to or greater than the threshold exists on each horizontal scanning line is counted. The pixel frequency in the horizontal direction is defined as Pdx, the frequency (pixel frequency) at which pixels having a gray value equal to or greater than the threshold value are present on each vertical scanning line is counted, and the pixel frequency in the vertical direction is defined as Pdy ( (See FIG. 6).
図８のゼロクロスパターン頻度算出プログラムは、前記図２のステップ１０３、図３のステップ２０２及び図４のステップ３０２で実行されるプログラムであり、次のようにしてゼロクロスパターン頻度を算出する。本プログラムが起動されると、まずステップ６０１で、部品の画像データを読み込む。この後、ステップ６０２に進み、前記図５のピクセル頻度算出プログラムのステップ４０２と同じ方法で、表示装置１４の画面全体の画像から部品部分のブロック（部品存在範囲）を切り出す。
The zero cross pattern frequency calculation program of FIG. 8 is a program executed in
この後、ステップ６０３に進み、前記図５のピクセル頻度算出プログラムのステップ４０３と同じ方法で、基準座標（ＸＹ座標）に対する部品部分のブロックの回転角度を算出し、部品部分のブロックの横方向と縦方向を基準座標の水平方向（Ｘ方向）と垂直方向（Ｙ方向）に一致させるように回転補正を行う。
Thereafter, the process proceeds to step 603, where the rotation angle of the part block relative to the reference coordinates (XY coordinates) is calculated in the same manner as in
この後、ステップ６０４に進み、大津の二値化等の適宜の二値化手法を用いて、二値化のためのしきい値を算出し、このしきい値を用いて部品部分のブロックの画像を二値化する。 Thereafter, the process proceeds to step 604, where a threshold value for binarization is calculated using an appropriate binarization method such as binarization of Otsu, and the block of the part portion is calculated using this threshold value. Binarize the image.
この後、ステップ６０５に進み、ゼロクロスエッジを検出する。ここで、ゼロクロスエッジとは、しきい値より小さいグレー値から大きいグレー値に変化する点、又は、しきい値より大きいグレー値から小さいグレー値に変化する点を意味する。 Thereafter, the process proceeds to step 605 to detect a zero cross edge. Here, the zero-cross edge means a point where the gray value smaller than the threshold value changes to a larger gray value, or a point where the gray value larger than the threshold value changes to a smaller gray value.
この後、ステップ６０６に進み、水平方向の各走査線上においてゼロクロスエッジが存在する頻度（ゼロクロスパターン頻度）を計数して、この水平方向のゼロクロスパターンル頻度をＰｚｘとし、垂直方向の各走査線上においてゼロクロスエッジが存在する頻度（ゼロクロスパターン頻度）を計数して、この垂直方向のゼロクロスパターン頻度をＰｚｙとする（図９参照）。 Thereafter, the process proceeds to step 606, where the frequency (zero cross pattern frequency) at which zero cross edges exist on each horizontal scanning line is counted, and this horizontal zero cross pattern frequency is set to Pzx, and on each vertical scanning line. The frequency at which zero-cross edges exist (zero-cross pattern frequency) is counted, and the zero-cross pattern frequency in the vertical direction is set as Pzy (see FIG. 9).
次に、前記図５のピクセル頻度算出プログラムのステップ４０３と図８のゼロクロスパターン頻度算出プログラムのステップ６０３で用いられる回転角度の検出方法の具体例について説明する。以下、２つの回転角度検出方法を説明するが、これ以外の回転角度検出方法を用いても良いことは言うまでもない。
［回転角度検出方法（その１）］
一般に、部品角度は部品の外形形状を基準にして決定した方が良い場合が多い。
Next, a specific example of the rotation angle detection method used in
[Rotation angle detection method (part 1)]
In general, it is often better to determine the component angle based on the external shape of the component.
この点を考慮して、回転角度検出方法（その１）は、図１０〜図１６に示す手順で、部品の取り込み画像中でしきい値以上のグレー値を持つ領域の外形部分を抽出し、その直線性を判断して回転角度を検出する方法である。 In consideration of this point, the rotation angle detection method (part 1) extracts the outline portion of the region having a gray value equal to or higher than the threshold value in the captured image of the component by the procedure shown in FIGS. This is a method of detecting the rotation angle by judging the linearity.
以下、この回転角度検出方法（その１）の具体例を図１０〜図１６を用いて説明する。各図中の長方形はＩＣのリードを表している。 Hereinafter, a specific example of this rotation angle detection method (part 1) will be described with reference to FIGS. The rectangle in each figure represents the lead of the IC.
まず、図１０及び図１１に示すように、画像端から検索を開始し、予め決められた適当なしきい値以上のピクセルが現れる位置を求める（図１０及び図１１では左から右へ検索する例を示している）。
この後、図１２に示すように、外形部分の位置を使用してハフ変換を行い、直線を検出する。
First, as shown in FIGS. 10 and 11, the search is started from the edge of the image, and a position where a pixel having a predetermined threshold value or more appears is obtained (examples of searching from left to right in FIGS. 10 and 11). Is shown).
Thereafter, as shown in FIG. 12, the position of the outer portion is used to perform Hough transform to detect a straight line.
以上のような処理を図１３〜図１６に示すように、画像の上下左右４方向についてそれぞれ行う。そして、４方向から検索した結果の中から最も直線性の高いものを選択し、その直線の角度を部品角度とする。 The above processing is performed in each of the four directions of the image, as shown in FIGS. Then, the one having the highest linearity is selected from the results retrieved from the four directions, and the angle of the straight line is set as the component angle.
以上説明した回転角度検出方法（その１）の特徴は次の通りである。
(1) 一般に、ハフ変換を用いて線分検出を行う場合、計算ポイント数（例えば対象画像のエッジ点の数）に比例して計算時間がかかる。
(2) 通常、画像中の物体の角度を求める手法では、画像中のエッジ点を使用したり、ある適当なしきい値で二値化した点を使用する。
(3) 実装部品などの回転角度は、最外形を構成する点のみを用いても比較的精度良く検出できる場合が多い。
The features of the rotation angle detection method (part 1) described above are as follows.
(1) Generally, when line segment detection is performed using the Hough transform, calculation time is proportional to the number of calculation points (for example, the number of edge points of the target image).
(2) Usually, in a method for obtaining the angle of an object in an image, an edge point in the image is used, or a point binarized with an appropriate threshold value is used.
(3) In many cases, the rotation angle of mounted components can be detected with relatively high accuracy even if only the points constituting the outermost shape are used.
このような特徴がある中で、回転角度検出方法（その１）は、最外形を構成する点を抽出し、その点のみをハフ変換の計算に使用することによって計算コストを削減しつつ、部品の回転角度を精度良く求めることができる。 Among these features, the rotation angle detection method (part 1) extracts the points constituting the outermost contour and uses only those points for the calculation of the Hough transform, while reducing the calculation cost, Can be obtained with high accuracy.
図１０〜図１６を用いて説明した具体例では、４方向の画像端から検索した点を用いて角度検出を行っているが、これは必ず４方向から検索しなければならないことを意味するものではない。２方向又は３方向から検索して求めた直線のうち最も直線性の高いものを採用する方法を採用しても良い。 In the specific example described with reference to FIGS. 10 to 16, the angle detection is performed using the points searched from the image ends in the four directions. This means that the search must be performed from the four directions. is not. You may employ | adopt the method of employ | adopting the highest linearity among the straight lines calculated | required by searching from 2 directions or 3 directions.
ここで、最も強調したいのは、ハフ変換は通常多くの計算時間を必要とするが、実装部品などの角度は最外形を構成する点のみを使用しても精度良く求めることができるという特徴を利用して、ハフ変換に利用する点の数を減らし、高速・高精度の角度検出を行うということである。 Here, I would like to emphasize the feature that the Hough transform usually requires a lot of calculation time, but the angle of the mounted component etc. can be obtained accurately even using only the points constituting the outermost shape. This means that the number of points used for the Hough transform is reduced and high-speed and high-precision angle detection is performed.
また、対象物に関しても、１つのかたまりで表現されるもの（バックライトで撮像された部品）のみならず、複数のかたまりで表現されるもの（フロントライトで撮像されたＩＣリード部品やＢＧＡ部品など）においても、この回転角度検出方法（その１）は有効に機能する。 In addition, the object is not only expressed in one lump (parts imaged with a backlight), but also expressed in multiple lumps (IC lead parts or BGA parts imaged with a front light) The rotation angle detection method (part 1) also functions effectively.
［回転角度検出方法（その２）］
回転角度検出方法（その２）は、部品の取り込み画像中でしきい値以上のグレー値を持つ領域の境界線を使用し、その境界線を最も多く含む外接長方形（以下「最隣接長方形」という）を求める方法である。ここで、「長方形に含まれる」とは、長方形の線分上に存在することを意味している。
[Rotation angle detection method (2)]
The rotation angle detection method (part 2) uses a boundary line of a region having a gray value equal to or greater than a threshold value in a captured image of a part, and a circumscribed rectangle (hereinafter referred to as “nearest neighbor rectangle”) that includes the boundary line most. ). Here, “included in a rectangle” means existing on a line segment of the rectangle.
図１７に簡単な例を示す。物体の回転角度検出に良く用いられる最小外接四角形に対しては、領域中最も長い線分とその他の角部分のみが外接長方形に含まれると考えられる。一方、認識したい角度の外接長方形に対しては、最も長い線分以外の全ての線分が外接長方形に含まれると考えられ、この場合、外接長方形に含まれる境界線は最も多くなる。 FIG. 17 shows a simple example. For the minimum circumscribed rectangle often used for detecting the rotation angle of an object, it is considered that only the longest line segment in the region and other corner portions are included in the circumscribed rectangle. On the other hand, for the circumscribed rectangle having the angle to be recognized, it is considered that all line segments other than the longest line segment are included in the circumscribed rectangle. In this case, the boundary line included in the circumscribed rectangle is the largest.
この回転角度検出方法（その２）では、境界線のある一点が外接長方形に含まれるかどうかを判定する必要がある。
しかし、通常、対象領域の境界線は一直線ではなく、起伏が存在する。
従って、完全に外接長方形の線分上に存在するかどうかを判定するだけでは正しい結果が得られない。
In this rotation angle detection method (part 2), it is necessary to determine whether one point with a boundary line is included in the circumscribed rectangle.
However, usually, the boundary line of the target area is not a straight line but has undulations.
Therefore, it is not possible to obtain a correct result only by determining whether or not the line is completely on the circumscribed rectangular line segment.
そこで、図１８に示すように、外接長方形の各線分から一定の距離の範囲内に存在する境界線は外接長方形に含まれると判定する方法を使用する。 Accordingly, as shown in FIG. 18, a method is used in which it is determined that a boundary line existing within a certain distance from each line segment of the circumscribed rectangle is included in the circumscribed rectangle.
尚、この際、外接長方形に含まれると判定する領域に存在する境界線上の点に対し、全て均等に評価しても良いし、外接長方形から境界線上の点までの距離に応じた評価を与えても良い。 At this time, all the points on the boundary line existing in the area determined to be included in the circumscribed rectangle may be evaluated equally, or an evaluation according to the distance from the circumscribed rectangle to the point on the boundary line is given. May be.
例えば、図１９のような評価関数を与えれば、外接長方形と境界点の距離に比例した評価値を用いて評価を行う。また、ガウス関数などといった評価関数も考えられるが、この評価関数は任意のものを使用可能である。 For example, if an evaluation function as shown in FIG. 19 is given, the evaluation is performed using an evaluation value proportional to the distance between the circumscribed rectangle and the boundary point. An evaluation function such as a Gaussian function is also conceivable, but any arbitrary evaluation function can be used.
次に、回転角度検出方法（その２）の具体例を図２０〜図２４を用いて説明する。各図中の長方形はＩＣのリードを表している。
まず、図２０に示すように、画像を適当なしきい値を用いて２値化した後、その領域の境界線を求める。尚、他の方法を用いて境界線を求めても良い。
Next, a specific example of the rotation angle detection method (part 2) will be described with reference to FIGS. The rectangle in each figure represents the lead of the IC.
First, as shown in FIG. 20, after binarizing an image using an appropriate threshold value, a boundary line of the region is obtained. In addition, you may obtain | require a boundary line using another method.
この後、探索角度を−１０度〜１０度まで、０．１度刻みで変化させながら以下の処理を実行する。
まず、図２１に示すように、探索角度をθとした場合、境界線群を−θ回転させる。
Thereafter, the following processing is executed while changing the search angle from −10 degrees to 10 degrees in increments of 0.1 degrees.
First, as shown in FIG. 21, when the search angle is θ, the boundary line group is rotated by −θ.
この後、図２２に示すように、各辺が水平・垂直軸に平行な外接長方形を作成する。この際、長方形の角度を変化させながら外接長方形を作成するようにしても良い。
この後、図２３に示すように、境界追跡結果の各点のうち、外接長方形の各辺からある一定の距離以下に存在する点を抽出し、評価計算を行う。この評価計算には、図２４のように、外接長方形の各辺からの距離が近ければ高い得点を、遠ければ低い得点を与えるような評価関数を定義して行う。
Thereafter, as shown in FIG. 22, a circumscribed rectangle in which each side is parallel to the horizontal and vertical axes is created. At this time, a circumscribed rectangle may be created while changing the angle of the rectangle.
Thereafter, as shown in FIG. 23, out of the points of the boundary tracking result, the points existing within a certain distance from each side of the circumscribed rectangle are extracted, and the evaluation calculation is performed. This evaluation calculation is performed by defining an evaluation function that gives a high score when the distance from each side of the circumscribed rectangle is short and gives a low score when it is far as shown in FIG.
本発明者が行った実験では、外接長方形の各辺から５ピクセル以内の点を有効とし、０ピクセルの距離で５点、５ピクセルの距離で０点となるような評価関数を用いた。
この場合、探索角度θの得点は、外接長方形の各辺からある一定の距離以下に存在する全ての点において計算された評価値の合計点とする。
In the experiment conducted by the present inventor, an evaluation function was used in which a point within 5 pixels from each side of the circumscribed rectangle is effective, and 5 points are obtained at a distance of 0 pixels and 0 points are obtained at a distance of 5 pixels.
In this case, the score of the search angle θ is a total score of evaluation values calculated at all points existing below a certain distance from each side of the circumscribed rectangle.
以上説明した処理を探索角度θを変えて繰り返し、全ての探索角度で評価計算を行ったら、評価点の最も高かった探索角度を求め、その角度を部品の回転角度とする。これにより、部品領域の形状に関係なく、正しい角度を検出することができる。 When the processing described above is repeated while changing the search angle θ and the evaluation calculation is performed for all the search angles, the search angle having the highest evaluation score is obtained, and this angle is set as the rotation angle of the component. Thereby, the correct angle can be detected regardless of the shape of the component region.
次に、図２の部品データ作成プログラムのステップ１０３と図４の部品種類判別プログラムのステップ３０３で、動的計画法(Dynamic Programming) によるマッチング手法（略称：ＤＰマッチング）を用いて部品の種類を自動判別する具体例を説明する。
Next, in
このＤＰマッチングでは、リファレンス用部品データのデータベースの中からリファレンスを選択し、少ないリファレンスパターンで未知の部品の分類を行う。ここで、リファレンスを選択する方法は以下の５つの手法１〜５が考えられる。
In this DP matching, a reference is selected from a reference component data database, and unknown components are classified with a small number of reference patterns. Here, the following five
［手法１］
ある距離ｄ’まで見た場合の最大個数を選択したものと等価な評価を行うために、図２５の式を用いる。
[Method 1]
In order to perform an evaluation equivalent to selecting the maximum number when viewed up to a certain distance d ′, the equation of FIG. 25 is used.
［手法２］
ＤＰ距離が小さいものからｎ個までの総距離が一番小さいものを図２６の式により選択する。
[Method 2]
The one having the smallest total distance from the smallest DP distance to n is selected by the equation of FIG.
［手法３］
平均ＤＰ距離が一番小さいものを図２７の式により選択する。
[Method 3]
The one with the smallest average DP distance is selected by the equation of FIG.
［手法４］
図２８に示すように、サンプルが少ないときのためにパルゼンウィンドウをかけて連続的な度数分布にすることによって、中心に近いもの（例えば手法１，２，３）を選択する。これにより、サンプルが離散的な場合においても、分類結果を安定させることが期待される。
[Method 4]
As shown in FIG. 28, the one near the center (for example,
［手法５］
図２９に示すように、１次元のクラスタリングを行うことによって、それぞれのクラスタの中心に近いもの（例えば手法１，２，３）を選択する。これにより、分類結果を安定させることが期待される。
[Method 5]
As shown in FIG. 29, one-dimensional clustering is performed to select one close to the center of each cluster (for example,
次に、ＤＰマッチングによる判定方法を説明する。
ピクセル頻度から得られたＰｄｘ、Ｐｄｙとゼロクロスパターン頻度から得られたＰｚｘ、Ｐｚｙを用いて、各パターンのＤＰマッチングを行った距離によって分類を行う。ＤＰマッチングの概念図を図３０に示す。ＤＰマッチングを行うことによって２つのベクトル（グラフ）に位置のずれを最小にした場合の違いを計測することができる。完全に一致している場合には、距離Ｄ（Ｉ，Ｊ）は０になり、違っているほど距離Ｄ（Ｉ，Ｊ）は遠くなる（大きくなる）。
Next, a determination method by DP matching will be described.
Using Pdx and Pdy obtained from the pixel frequency and Pzx and Pzy obtained from the zero-cross pattern frequency, classification is performed according to the distance at which DP matching of each pattern is performed. A conceptual diagram of DP matching is shown in FIG. By performing DP matching, it is possible to measure the difference when the positional deviation between the two vectors (graphs) is minimized. In the case of complete coincidence, the distance D (I, J) becomes 0, and the distance D (I, J) becomes farther (larger) as it is different.
このとき、ＤＰマッチングによる距離Ｄ（Ｉ，Ｊ）が最小となる分類をその部品の分類と判断する。この場合、図３０において、Ｔmax 、Ｒmax を１に正規化すると、分類の判別精度が上昇することが判明した。 At this time, the classification that minimizes the distance D (I, J) by DP matching is determined as the classification of the component. In this case, it was found that when Tmax and Rmax are normalized to 1 in FIG. 30, the classification discrimination accuracy increases.
以上説明した本実施例によれば、部品の画像データから当該部品の種類を判別するようにしているので、判別した部品の種類に応じた適切な画像処理アルゴリズムを選択して、部品の種類に応じて当該部品の画像データから当該部品の特徴を表すデータを自動的に抽出することができ、部品の種類に応じた適切な部品データを自動的に作成できる。 According to the present embodiment described above, since the type of the part is determined from the image data of the part, an appropriate image processing algorithm corresponding to the determined type of the part is selected, and the type of the part is selected. Accordingly, data representing the characteristics of the part can be automatically extracted from the image data of the part, and appropriate part data corresponding to the type of the part can be automatically created.
尚、本実施例では、部品全体に亘る形状の特徴を表すデータとして、水平方向と垂直方向のピクセル頻度とゼロクロスパターン頻度の両方のデータを含ませるようにしたが、いずれか一方のみであっても良い。
In this embodiment, the data representing the feature of the shape of the entire part includes both the horizontal and vertical pixel frequencies and the zero-cross pattern frequency, but only one of them is included. also not good.
１１…コンピュータ（部品種類判別手段，部品データ作成手段）、１２…画像データ取り込み手段、１３…入力装置、１４…表示装置、１５…記憶装置
DESCRIPTION OF
Claims (6)
前記部品の画像データから当該部品全体に亘る形状の特徴を表すデータを抽出し、抽出したデータをもとに当該部品の種類を自動判別する部品種類判別処理と、
自動判別した部品の種類に応じて当該部品の画像データから当該部品のボディ、リード、バンプの少なくとも１つの位置とサイズを含むデータを抽出し、抽出したデータをもとに画像処理用部品データを作成する処理と
を含み、
前記部品全体に亘る形状の特徴を表すデータは、水平方向と垂直方向のピクセル頻度及び／又はゼロクロスパターン頻度のデータを含むことを特徴とする画像処理用部品データ作成方法。 Processing to capture image data of a component to be created for image processing component data;
Extracting data representing the characteristics of the shape of the entire part from the image data of the part, and a part type determination process for automatically determining the type of the part based on the extracted data;
Data including at least one position and size of the body, lead, and bump of the part is extracted from the image data of the part according to the type of the part that has been automatically determined, and image processing part data is extracted based on the extracted data. viewing including the process of creating,
The image processing component data creation method, wherein the data representing the feature of the shape of the entire component includes pixel frequency and / or zero cross pattern frequency data in the horizontal and vertical directions .
前記部品種類判別処理では、新たに取り込んだ部品の画像データから当該部品全体に亘る形状の特徴を表すデータを抽出し、抽出したデータを前記データベースのデータと比較して両者が最も一致する部品の種類を自動判別することを特徴とする請求項１に記載の画像処理用部品データ作成方法。 A database in which image data of reference parts is extracted in advance for each part type, data representing shape characteristics over the entire parts is extracted, and data representing the shape characteristics over the entire parts is stored for each part type. Create
In the component type determination process, data representing the shape characteristics over the entire component is extracted from the image data of the newly captured component, and the extracted data is compared with the data in the database to find the component with the best match. 2. The image processing component data creation method according to claim 1, wherein the type is automatically determined.
前記部品の画像データから当該部品全体に亘る形状の特徴を表すデータを抽出し、抽出したデータをもとに当該部品の種類を自動判別する部品種類判別手段と、
自動判別した部品の種類に応じて当該部品の画像データから当該部品のボディ、リード、バンプの少なくとも１つの位置とサイズを含むデータを抽出し、抽出したデータをもとに画像処理用部品データを作成する部品データ作成手段と
を含み、
前記部品全体に亘る形状の特徴を表すデータは、水平方向と垂直方向のピクセル頻度及び／又はゼロクロスパターン頻度のデータを含むことを特徴とする画像処理用部品データ作成装置。 Image data capturing means for capturing image data of a component to be created for image processing component data;
Extracting data representing the characteristics of the shape over the entire part from the image data of the part, a part type determining means for automatically determining the type of the part based on the extracted data;
Data including at least one position and size of the body, lead, and bump of the part is extracted from the image data of the part according to the type of the part that has been automatically determined, and image processing part data is extracted based on the extracted data. only it contains the component data creation means for creating,
The image processing component data creation apparatus characterized in that the data representing the feature of the shape of the entire component includes pixel frequency and / or zero cross pattern frequency data in the horizontal and vertical directions .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005164002A JP4674853B2 (en) | 2005-06-03 | 2005-06-03 | Image processing component data creation method and image processing component data creation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005164002A JP4674853B2 (en) | 2005-06-03 | 2005-06-03 | Image processing component data creation method and image processing component data creation device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006338482A JP2006338482A (en) | 2006-12-14 |
| JP4674853B2 true JP4674853B2 (en) | 2011-04-20 |
Family
ID=37558971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005164002A Active JP4674853B2 (en) | 2005-06-03 | 2005-06-03 | Image processing component data creation method and image processing component data creation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4674853B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10559076B2 (en) | 2015-03-11 | 2020-02-11 | Fuji Corporation | Component type automatic distinguishing method, component type automatic distinguishing system, image processing component data creation method, and image processing component data creation system |
| JP7253476B2 (en) * | 2019-09-06 | 2023-04-06 | ヤマハ発動機株式会社 | Component recognition data creation method and component recognition data creation program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6281800A (en) * | 1985-10-07 | 1987-04-15 | 東京エレクトロン株式会社 | Mounting state inspecting system for electronic part |
| JP2002024804A (en) * | 2000-07-07 | 2002-01-25 | Matsushita Electric Ind Co Ltd | Part recognition data forming method, forming apparatus electronic component mounting apparatus, and recording medium |
| JP2004132933A (en) * | 2002-10-15 | 2004-04-30 | Japan Science & Technology Agency | Position/attitude estimation method of active sensor, its device and position/attitude estimation program of active sensor |
-
2005
- 2005-06-03 JP JP2005164002A patent/JP4674853B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6281800A (en) * | 1985-10-07 | 1987-04-15 | 東京エレクトロン株式会社 | Mounting state inspecting system for electronic part |
| JP2002024804A (en) * | 2000-07-07 | 2002-01-25 | Matsushita Electric Ind Co Ltd | Part recognition data forming method, forming apparatus electronic component mounting apparatus, and recording medium |
| JP2004132933A (en) * | 2002-10-15 | 2004-04-30 | Japan Science & Technology Agency | Position/attitude estimation method of active sensor, its device and position/attitude estimation program of active sensor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006338482A (en) | 2006-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7340089B2 (en) | Geometric pattern matching using dynamic feature combinations | |
| US8977072B1 (en) | Method and system for detecting and recognizing text in images | |
| CN110119741B (en) | Card image information identification method with background | |
| US7133572B2 (en) | Fast two dimensional object localization based on oriented edges | |
| US8792715B2 (en) | System and method for forms classification by line-art alignment | |
| US8144986B2 (en) | Method and apparatus for binarization threshold calculation | |
| US8041139B2 (en) | Method and apparatus for calculating the background color of an image | |
| US11030436B2 (en) | Object recognition | |
| CN100366224C (en) | Image processing apparatus and control method therefor | |
| JPH11328408A (en) | Device for processing data and information storage medium | |
| CN110348289B (en) | Finger vein identification method based on binary image | |
| CN114693610A (en) | Welding seam surface defect detection method, equipment and medium based on machine vision | |
| CN109948521B (en) | Image deviation rectifying method and device, equipment and storage medium | |
| US8027978B2 (en) | Image search method, apparatus, and program | |
| US20130322771A1 (en) | Shape detection using chain code states | |
| CN113011426A (en) | Method and device for identifying certificate | |
| CN112419207A (en) | Image correction method, device and system | |
| CN110288040B (en) | Image similarity judging method and device based on topology verification | |
| JP2002228423A (en) | Tire detecting method and device | |
| CN114936997A (en) | Detection method, detection device, electronic equipment and readable storage medium | |
| CN114549400A (en) | Image identification method and device | |
| JP4674853B2 (en) | Image processing component data creation method and image processing component data creation device | |
| JP6772059B2 (en) | Electronic control devices, electronic control systems and electronic control methods | |
| CN115953399B (en) | Industrial part structural defect detection method based on contour features and SVDD | |
| JP6504682B2 (en) | Part type automatic determination method, part type automatic determination system, image processing part data creation method, and image processing part data creation system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080115 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100818 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100825 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100924 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101202 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110121 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110121 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140204 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4674853 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |