JP5095440B2 - Residual deposit measuring device - Google Patents
Residual deposit measuring device Download PDFInfo
- Publication number
- JP5095440B2 JP5095440B2 JP2008042429A JP2008042429A JP5095440B2 JP 5095440 B2 JP5095440 B2 JP 5095440B2 JP 2008042429 A JP2008042429 A JP 2008042429A JP 2008042429 A JP2008042429 A JP 2008042429A JP 5095440 B2 JP5095440 B2 JP 5095440B2
- Authority
- JP
- Japan
- Prior art keywords
- residual
- data
- residual deposit
- image data
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Description
この発明は、例えば機械加工部品や機械加工製品（金属製、樹脂製など）の表面に付着する金属屑片や樹脂屑片、ガラス粉などの残留付着物（以下、残留異物ともいう）を洗浄液で洗い流し、その採取液から捕集される各残留付着物を測定することにより、主として各製品の清浄度を判定する目的で、各製品に付着した各残留付着物の材質や大きさ・質量などを測定する装置に関する。 For example, the present invention provides cleaning liquid for residual deposits (hereinafter also referred to as residual foreign matter) such as metal scraps, resin scraps, and glass powder adhering to the surface of machined parts and machined products (made of metal, resin, etc.). Rinse and measure the residual deposits collected from the collected liquid, mainly for the purpose of judging the cleanliness of each product, the material, size, mass, etc. of each residual deposit attached to each product The present invention relates to an apparatus for measuring
例えば機械加工部品の残留付着物を測定する場合、従来は、下記のような方法で行うのが一般的である。すなわち、
（１）上記測定で使用するフィルター（濾紙）を乾燥機で乾燥したのち、フィルターの重量を重量測定器で測定する。
For example, when measuring residual deposits on machined parts, conventionally, the following method is generally used. That is,
(1) After the filter (filter paper) used in the above measurement is dried with a dryer, the weight of the filter is measured with a weight measuring device.
（２） 同部品の表面を洗浄液で洗い流して洗浄し、その洗浄後の液を採取する。 (2) Rinse the surface of the parts with a cleaning solution and collect the liquid after cleaning.
（３）上記フィルターを介して採取液を別の容器に吸引ポンプを用いて吸引し、フィルター上に部品表面の残留付着物を採取する。 (3) The collected liquid is sucked into another container through the filter using a suction pump, and the residual deposit on the part surface is collected on the filter.
（４）残留付着物の付いたフィルターを乾燥機で乾燥したのち、フィルターの重量を重量測定器で測定する。 (4) After the filter with residual deposits is dried with a dryer, the weight of the filter is measured with a weight meter.
（５）残留付着物付きフィルターの重量からフィルター自体の重量を差し引いて、残留付着物の総重量を求める。 (5) Subtract the weight of the filter itself from the weight of the filter with residual deposit to determine the total weight of the residual deposit.
（６）顕微鏡でフィルター上の残留付着物を観察し、残留付着物の大きさを一定の基準で分別し、基準大きさごとの個数を書き出して統計を取る。大きさとは通常、最大径をいう。 (6) Observe the residual deposit on the filter with a microscope, classify the size of the residual deposit on a certain standard, write out the number of each reference size, and take statistics. Size usually refers to the maximum diameter.
また上記手順を自動化し残留付着物測定および清浄度判定を行う測定装置について、例えば被洗浄物をフィルターでろ過し、フィルター上に捕集して乾燥させた残留付着物をカメラで撮像し、この画像データをコンピュータに取り込み、これを画素変換することにより、残留付着物の平面形状および面積、最大径を測定する方法および装置が提案されている（例えば、特許文献１参照）。これにより洗浄後の機械加工製品などに付着した残留異物の測定および清浄度の判定を自動化でき、生産者の熟練の有無に関わりなく、簡単にかつ短時間で残留付着物の測定および清浄度の判定が可能である。
しかしながら、上記した従来の残留付着物測定装置には、次のような点で改良すべき課題がある。 However, the above-described conventional residual deposit measuring device has problems to be improved in the following points.
実際の残留付着物は大きさや質量だけでなく材質が異なる場合があるが、従来の測定装置では残留付着物の平面形状や平面積などの平面的な測定しかできず、残留付着物の材質の判別はできなかった。そのため、精密な嵌合が必要な場合などに、平面的には微小な残留付着物であっても、材質が硬質金属などの場合には、その残留付着物が嵌合箇所で干渉し嵌合できなくなったり、無理に嵌合すると機械加工部品の嵌合部が損傷したりする。 The actual residual deposits may differ not only in size and mass but also in the material, but conventional measuring devices can only measure the planar shape and area of the residual deposits. It was not possible to determine. For this reason, even if there is a minute residual deposit on a plane when precise fitting is required, etc., if the material is hard metal, the remaining deposit interferes with the fitting location and fits. If it becomes impossible or the fitting is forced, the fitting part of the machined part may be damaged.
例えば自動車部品においては、とくに近年急速に普及してきているハイブリッド車のような高機能な自動車では、従来の自動車と比較し、機械加工部品に付着する微小な異物、あるいは従来の清浄度品質管理の対象になっていない材質など各種異物が部品に残留することにより、従来の基準による部品がエンジンあるいはトランスミッションなどの正常な機能を阻害する大きな要因となりえる。 For example, in the case of automobile parts, especially in high-performance automobiles such as hybrid cars that have been rapidly spreading in recent years, compared with conventional automobiles, fine foreign substances adhering to machined parts, or conventional cleanliness quality control. When various foreign substances such as materials that are not targeted remain in the parts, the parts based on the conventional standards can be a major factor that hinders normal functions of the engine or transmission.
また、機械加工部品や機械加工製品などの製造工程または洗浄工程において、様々な異物が混入することがあり、従来の大きさ（最大長さまたは最大径）を測定する残留付着物測定装置では材質の判別ができないので、当該異物がどの工程において発生したか、どの工程で混入したかなど、とくに製造工程と混入異物との関係を特定する源流管理を行うことが困難であった。いいかえれば、残留付着物の材質が判定できれば、その残留付着物の発生箇所あるいは混入経路を簡単に把握することができる。そこで、近年、自動車部品などの製造メーカーから製品に付着する残留付着物の材質についても判別できる測定装置の開発が要望されている。 In addition, various foreign materials may be mixed in the manufacturing process or cleaning process of machined parts and machined products, etc., and the material used in the residual deposit measuring device that measures the conventional size (maximum length or maximum diameter) Therefore, it is difficult to perform source flow management that specifies the relationship between the manufacturing process and the contaminated foreign matter, such as in which process the foreign matter has occurred and in which process the foreign matter has been mixed. In other words, if the material of the residual deposit can be determined, the location where the residual deposit occurs or the mixing route can be easily grasped. Therefore, in recent years, there has been a demand for the development of a measuring apparatus that can also discriminate the material of residual deposits attached to products from manufacturers such as automobile parts.
この発明は上述の点に鑑みなされたもので、加工部品や加工製品の表面の各残留付着物について材質まで判定することができる残留付着物の測定方法と同測定装置を提供することを目的としている。 This invention was made in view of the above-mentioned point, and aims at providing the measuring method and measuring apparatus of the residual deposit which can judge to the material about each residual deposit on the surface of a processed part or a processed product. Yes.
上記の目的を達成するために本発明に係る残留付着物の測定方法は、あらかじめ製品の製造工程で生じる可能性のある材質からなる複数の異物片試料をカラーカメラにてカラー撮像し、そのカラー画像について平滑化処理を施したのち、同処理済みカラー画像において各異物片画像データから所定大きさ以上の異物片画像データを切り出すとともに、切り出した画像データごとにPixel面積を正規化し、正規化した各異物片画像データごとにＲＧＢの各輝度値および各出現頻度をヒストグラム処理し、所定の出現頻度値にてレベル切りすることにより出現頻度の低い輝度値成分をカットした後にＲＧＢの各重心位置または各中央位置の輝度値をそれぞれの代表輝度値として設定し、各異物片画像データについてＲＧＢの前記各代表輝度値からＨ(色相）・Ｓ(彩度）・Ｖ(明度）に変換し、ＨＶ相関またはＨＳＶ相関の座標系（例えばビットマップ表）にプロットして各異物片画像色データごとに材質名を特定して異物片サンプル色データを作成し、各材質名ごとの異物片サンプル色データの分布度に基づいてしきい値を求める工程と、被洗浄物を洗浄液で洗い流した際の採取液から残留付着物をフィルター上に捕集し、カラーカメラにて前記フィルター上に捕集した残留付着物をカラー撮像し、そのカラー画像について平滑化処理を施したのち、同処理済みカラー画像において各残留付着物画像データから所定大きさ以上の残留付着物画像データを切り出すとともに、切り出した各残留付着物画像データごとにPixel面積を正規化し、正規化した各残留付着物画像データごとにＲＧＢの各輝度値および各出現頻度をヒストグラム処理し、所定の出現頻度値にてレベル切りすることにより出現頻度の低い輝度値成分をカットした後にＲＧＢの各重心位置または各中央位置の輝度値をそれぞれの代表輝度値として設定し、各残留付着物画像データについてＲＧＢの各代表輝度値からＨ(色相）・Ｓ(彩度）・Ｖ(明度）に変換し、ＨＶ相関またはＨＳＶ相関の座標系上で前記各残留付着物画像データの色データに対応する異物片サンプル色データに対してパターンマッチング度を算出することによって前記各残留付着物の材質を判定する工程とを備えたことを特徴とする。 In order to achieve the above object, the method for measuring residual deposits according to the present invention uses a color camera to color-image a plurality of foreign material specimens made of materials that may occur in the product manufacturing process in advance. After smoothing the image, cut out the foreign object piece image data of a predetermined size or more from each foreign object piece image data in the processed color image, and normalized and normalized the pixel area for each cut out image data For each foreign object piece image data, the RGB luminance values and the appearance frequencies are histogram-processed, and the luminance value components with a low appearance frequency are cut by level cutting at a predetermined appearance frequency value. The luminance value at each central position is set as the representative luminance value, and the RGB image from each representative luminance value of RGB for each foreign object piece image data. Phase), S (saturation), and V (brightness), plotted on the coordinate system of HV correlation or HSV correlation (for example, bitmap table), and specified the material name for each particle color data of each particle. One sample color data is created, the threshold value is calculated based on the distribution of the foreign particle sample color data for each material name, and the residual deposits are filtered from the collected liquid when the object to be cleaned is washed away with the cleaning liquid The residual deposits collected above and collected on the filter with a color camera are imaged in color, and the color image is smoothed. The residual deposit image data of a predetermined size or larger is cut out, the pixel area is normalized for each cut out residual deposit image data, and each RGB residual brightness is normalized for each normalized residual deposit image data. Value and each appearance frequency are histogram-processed, and the luminance value component with low appearance frequency is cut by level cutting at a predetermined appearance frequency value, and then the luminance value at each centroid position or each central position of RGB is represented as the representative luminance. Is set as a value, and each residual adhered image data is converted from each RGB representative luminance value to H (hue), S (saturation), and V (brightness), and each of the above-mentioned values on the coordinate system of HV correlation or HSV correlation. And determining the material of each residual deposit by calculating a pattern matching degree with respect to the foreign matter piece sample color data corresponding to the color data of the residual deposit image data.
上記の工程を備えた本発明に係る残留付着物の測定方法は、あらかじめ製品の製造工程で生じる可能性のある材質からなる複数の異物片試料（製造工程や製造現場で発生する異物片の試料）に基づいて、できるだけ多く(望ましくは２０以上）の異物片サンプルデータをあらかじめ登録しておき、実際の製品の残留付着物の画像データを異物片サンプルデータと照合し、最も近い異物片サンプルデータの材質が残留付着物の材質であると判定するものである。また、各残留付着物の材質の判定はカラーカメラで撮像したカラー画像の色情報、すなわちＲＧＢの各輝度値(0〜255階調）を基本とするが、ＲＧＢの各輝度値で残留付着物画像データの色データを異物片サンプル色データと対比して照合しても色の特定が非常に難しいことから、材質間で大きな差異が生じにくい。そこでＲＧＢの各輝度値からＨ(色相）・Ｓ(彩度）・Ｖ(明度）に変換し、材質間で大きな差異が見られるＨＶ相関またはＨＳＶ相関の座標系上で各残留付着物画像データの色データを対応する異物片サンプル色データと対比・照合するようにしている。また、異物片サンプルデータおよび残留付着物画像データについてＲＧＢの各輝度値および各出現頻度をヒストグラム処理し、ＲＧＢの各色要素ごとに積分してPixel総画素面積を求めて所定の出現頻度値にてレベル切りすることにより出現頻度の低い輝度値成分をカットし、ＲＧＢの各色要素ごとに残った有効な輝度値成分の重心あるいは中央位置の輝度値を代表値にしている。そして、ＲＧＢの各代表輝度値からＨ(色相）・Ｓ(彩度）・Ｖ(明度）に変換し、ＨＶ相関（ＨとＶをパラメータとする２次元相関）またはＨＳＶ相関（ＨとＳとＶをパラメータとする３次元相関）の座標系上において各残留付着物画像データの色データを対応する異物片サンプル色データと対比・照合し、残留付着物画像データの色データが最も近い異物片サンプル色データの材質を残留付着物の材質であると判定する、いわゆるパターンマッチング度を算出して材質の判定を行うようにしている。 The method for measuring residual deposits according to the present invention including the above-described steps includes a plurality of foreign particle samples made of materials that may be generated in advance in a product manufacturing process (samples of foreign particle generated in a manufacturing process or a manufacturing site). ), Register as many foreign material sample data as possible (preferably 20 or more) in advance, and check the image data of the residual deposit on the actual product against the foreign material sample data. Is determined as the material of the residual deposit. In addition, the determination of the material of each residual deposit is based on the color information of the color image captured by the color camera, that is, the RGB luminance values (0 to 255 gradations). Even if the color data of the image data is compared with the foreign object piece sample color data, it is very difficult to specify the color, so that a large difference between the materials hardly occurs. Therefore, RGB residual values are converted into H (hue), S (saturation), and V (brightness), and each residual deposit image data on the coordinate system of HV correlation or HSV correlation in which a large difference is seen between materials. The color data is compared and collated with the corresponding foreign object piece sample color data. In addition, the RGB luminance values and the appearance frequencies of the foreign object piece sample data and the residual adhered image data are histogram-processed, integrated for each color element of RGB, and the total pixel pixel area is obtained to obtain a predetermined appearance frequency value. The luminance value component with a low appearance frequency is cut by level cutting, and the luminance value at the center of gravity or the central position of the effective luminance value component remaining for each RGB color element is set as a representative value. Then, each representative luminance value of RGB is converted into H (hue), S (saturation), and V (lightness), and HV correlation (two-dimensional correlation using H and V as parameters) or HSV correlation (H and S and The color data of each residual adhered image data is compared and collated with the corresponding foreign matter sample color data on the coordinate system of the three-dimensional correlation using V as a parameter, and the foreign matter fragment with the closest color data of the residual adhered image data The material is determined by calculating the so-called pattern matching degree, which determines that the material of the sample color data is the material of the residual deposit.
このようにすれば、色素データ（Ｒ，Ｇ，Ｂ）の場合に材質ごとの差異が顕著にあらわれず、色素データ（Ｈ，Ｓ，Ｖ）のうち（Ｈ，Ｖ）のデータにおいて材質ごとの差異が顕著にあらわれるような場合に、前記各残留付着物の色素データ（Ｒ，Ｇ，Ｂ）をＨＳＶ表色系である色素データ（Ｈ，Ｓ，Ｖ）に変換し、そのうち色素データ（Ｈ，Ｖ）の代表値を定めることで、正確な材質判別をすることができる。さらには、（Ｒ，Ｇ，Ｂ）３つの値を照合する場合と比較し、材質間の差異が著しい（Ｈ，Ｖ）２つの値を照合することで材質間での差異が大きく生じ、材質ごとの判別が正確かつ容易で可能なため、（Ｒ，Ｇ，Ｂ）３つの値を照合する場合と比較し、照合がより短時間で正確な材質判別が可能であり、照合ミスも軽減できる。また、画像データをノイズ除去するとともに平滑化処理することで、画像データの色ムラ等を取り除け、ＲＧＢ輝度値のバラつきも少なくなり、全体画像のデータから正確に各残留付着物ごとの画像データを切り出すことができ、さらに各残留付着物ごとの材質判別の精度を高めることができる。これにより高精度な残留付着物の測定をすることが可能となる。 In this way, in the case of the dye data (R, G, B), the difference for each material does not appear remarkably, and among the dye data (H, S, V), the data for each material in the (H, V) data. When the difference appears remarkably, the pigment data (R, G, B) of each residual deposit is converted into pigment data (H, S, V) which is an HSV color system, and the pigment data (H , V), it is possible to accurately determine the material. Furthermore, compared to the case where the three values (R, G, B) are compared, the difference between the materials is greatly increased by comparing the two values (H, V) where the difference between the materials is significant. Each type can be identified accurately and easily, and compared with the case of collating three values (R, G, B), it is possible to perform accurate material discrimination in a shorter time and to reduce collation errors. . In addition, by removing noise and smoothing the image data, the color unevenness of the image data can be removed, and the RGB brightness value can be reduced, and the image data for each residual deposit can be accurately obtained from the entire image data. It is possible to cut out and further improve the accuracy of material discrimination for each residual deposit. This makes it possible to measure the residual deposit with high accuracy.
請求項２に記載のように、前記パターンマッチング度＝｜Ｘ｜／ｓ×１００
ここで、ＸはＨＶ相関またはＨＳＶ相関の座標系表上で前記残留付着物画像データから最も近い異物片サンプルデータまでの距離、ｓはしきい値とする。そして、パターンマッチング度が１００％以下の場合には、残留付着物の位置から距離Ｘだけ離れた前記異物片サンプルデータの材質名を前記残留付着物の材質であると判定する一方、パターンマッチング度が１００％を超える場合には材質不明と判定することができる。
The pattern matching degree = | X | / s × 100 as described in claim 2.
Here, X is a distance from the residual deposit image data to the nearest foreign object piece sample data on the coordinate system table of HV correlation or HSV correlation, and s is a threshold value. When the pattern matching degree is 100% or less, it is determined that the material name of the foreign matter piece sample data separated by the distance X from the position of the residual deposit is the material of the residual deposit. Can exceed 100%, it can be determined that the material is unknown.
このようにすれば、残留付着物の材質を測定者の熟練や経験の有無に関係なく、正確に判定することができるので、個人的なバラツキが少ない。 In this way, the material of the residual deposit can be accurately determined regardless of the skill and experience of the measurer, so there is little personal variation.
請求項３に記載のように、パターンマッチング度が１００％を超える場合には、前記しきい値ｓを１．０を超える倍数(例えば２倍）にし、パターンマッチング度が１００％以下になるように残留付着物の位置から距離Ｘだけ離れた前記異物片サンプルデータの材質名を前記残留付着物の材質であると判定することができる。 As described in claim 3, when the degree of pattern matching exceeds 100%, the threshold value s is set to a multiple exceeding 1.0 (for example, twice) so that the degree of pattern matching becomes 100% or less. It can be determined that the material name of the foreign matter sample data that is separated from the position of the residual deposit by the distance X is the material of the residual deposit.
このようにすれば、材質判別（の度合い）を数値化することができ、材質判別についてより詳細な判断が可能となる。 In this way, the material discrimination (degree) can be quantified, and the material discrimination can be made in more detail.
上記の目的を達成するために本発明の請求項４に係る残留付着物測定装置は、機械加工部品や機械加工製品などの被洗浄物の表面に付着する金属片や樹脂片あるいはその他の材質からなる残留付着物を洗浄液で洗い流し、その採取液に残留する残留付着物を測定する残留付着物測定装置であって、前記採取液からフィルター上に捕集した残留付着物をカラー撮像するカラーカメラと、カラー撮像したカラー画像について平滑化処理を施こし、同処理済みカラー画像において各残留付着物画像データから所定大きさ以上の残留付着物画像データを切り出す切り出し手段と、切り出した各残留付着物の画像データごとにPixel面積を正規化し、正規化した各残留付着物の画像データごとにＲＧＢの各輝度値および各出現頻度をヒストグラム処理し、所定の出現頻度値にてレベル切りすることにより出現頻度の低い輝度値成分をカットした後にＲＧＢの各重心位置または各中央位置の輝度値をそれぞれの代表輝度値に設定し、各残留付着物画像データについてＲＧＢの前記各代表輝度からＨ(色相）・Ｓ(彩度）・Ｖ(明度）に変換するＨＳＶ変換手段と、ＨＶ相関またはＨＳＶ相関の座標系表上で前記各残留付着物画像データに対応するあらかじめ作成した異物片サンプルデータに対してパターンマッチング度を算出することによって（異物片サンプルデータの、前記残留付着物から最も近い位置の材質を残留付着物の材質であるとして）前記各残留付着物の材質を判定する材質判定手段とを備えたことを特徴とする。 In order to achieve the above object, a residual deposit measuring apparatus according to claim 4 of the present invention is made of a metal piece, a resin piece or other material adhering to the surface of an object to be cleaned such as a machined part or machined product. A residual deposit measuring device for measuring residual deposits remaining in the collected liquid, and color imaging the residual deposits collected on the filter from the collected liquid; , A color image obtained by performing a smoothing process on the color image, and cutting out the residual deposit image data having a predetermined size or more from each residual deposit image data in the processed color image; Normalize the pixel area for each image data, and histogram process each luminance value of RGB and each appearance frequency for each normalized residual image data, After cutting out the luminance value component with low appearance frequency by cutting the level at a constant appearance frequency value, the luminance value of each gravity center position or each central position of RGB is set to each representative luminance value, and each residual adhered image HSV conversion means for converting each representative luminance of RGB into H (hue), S (saturation), and V (brightness) for the data, and each residual deposit image data on the coordinate system table of HV correlation or HSV correlation By calculating a pattern matching degree with respect to the foreign matter piece sample data prepared in advance corresponding to the above (assuming that the material of the foreign matter piece sample data closest to the residual deposit is the material of the residual deposit) And a material determining means for determining the material of the residual deposit.
上記のように残留付着物測定装置を構成することで、従来の大きさや面積などの平面的な残留付着物の測定のみであったものと比較し、各残留付着物の材質（例えばゴム、樹脂、アルミ、鉄、鉄錆など）が判定可能となり、より多面的な残留付着物の測定ができるようになる。また、これにより特に精密機械や高機能の部品等を取り扱う場合に、多面的な清浄度の判定ができる。 By constructing the residual deposit measuring device as described above, the material of each residual deposit (for example, rubber, resin, etc.) is compared with the conventional one that only measures planar residual deposit such as size and area. , Aluminum, iron, iron rust, etc.) can be determined, and a multifaceted residual deposit can be measured. In addition, this makes it possible to determine the degree of cleanliness in a multifaceted manner, particularly when handling precision machines or high-functional parts.
請求項５に記載のように、前記各残留付着物の色素データ（Ｒ，Ｇ，Ｂ）それぞれの輝度値と出現頻度についてヒストグラム処理した後、出現頻度の最大値の２０％乃至５０％以上の出現頻度に関するデータのみを切り出し、データの輝度値をＸ軸、出現頻度をＹ軸にとることにより得られたヒストグラムの輝度値の各重心位置または各中央位置の輝度値を各残留付着物の色素データ（Ｒ，Ｇ，Ｂ）の代表値とすることができる。 As described in claim 5, after the histogram processing is performed on the luminance value and the appearance frequency of the pigment data (R, G, B) of each residual deposit, the maximum value of the appearance frequency is 20% to 50% or more. Only the data relating to the appearance frequency is cut out, the luminance value of the data is taken as the X-axis, and the appearance frequency is taken as the Y-axis. It can be a representative value of data (R, G, B).
このようにすれば、前記各残留付着物の色素データの代表値が材質ごとに、より正確な値となり、さらに精度の高い材質判別をすることができる。 In this way, the representative value of the dye data of each residual deposit becomes a more accurate value for each material, and it is possible to perform material discrimination with higher accuracy.
請求項６に記載のように、前記Ｈ−Ｖ相関の座標系において、前記各残留付着物のＨ，Ｖデータとあらかじめ設定した前記各材質ごとのＨ，Ｖデータのうち最も近い位置にあるＨ，Ｖデータとの距離をしきい値ｓで除した値をパターンマッチング度の評価値とすることができる。 In the coordinate system of the HV correlation, the H and V data of the residual deposits and the H and V data closest to each of the preset H and V data of each material in the coordinate system of the HV correlation. , The value obtained by dividing the distance from the V data by the threshold value s can be used as the evaluation value of the pattern matching degree.
このようにすれば、測定者の違いによるバラツキや熟練の有無による差異が少なく、正確に材質を判定できる。 In this way, it is possible to accurately determine the material with little variation due to differences in measurers and little difference due to the presence or absence of skill.
請求項７に記載のように、前記しきい値ｓが、前記各材質ごとのＨ，Ｖデータについて統計処理により得られた標準偏差σにより、１σから２σまで設定することができる。 According to a seventh aspect of the present invention, the threshold value s can be set from 1σ to 2σ by the standard deviation σ obtained by statistical processing on the H and V data for each material.
このようにすれば、各材質ごとのしきい値ｓを個別に設定でき、材質判別の精度を高めることができる。 In this way, the threshold value s for each material can be set individually, and the accuracy of material discrimination can be increased.
請求項８に記載のように、前記ラベリング処理された後に切り出された各残留付着物の画像データを、さらに各残留付着物の大きさに対応する画素を黒色に塗って着色処理し、黒色に着色した各残留付着物について大きさ（最大長さまたは最大径）と面積を画素数に基づき計測することを特徴とする。 As described in claim 8, the image data of each residual deposit cut out after the labeling process is further colored by applying a pixel corresponding to the size of each residual deposit to black. The size (maximum length or maximum diameter) and area of each colored residual deposit are measured based on the number of pixels.
このようにすれば、各残留付着物の材質判別および大きさ（最大長さまたは最大径）と面積を測定することができ、残留付着物を多面的に測定することができる。また清浄度の判定についても精度の高い判断が可能となる。 In this way, the material discrimination and size (maximum length or maximum diameter) and area of each residual deposit can be measured, and the residual deposit can be measured in a multifaceted manner. In addition, it is possible to determine with high accuracy in determining the cleanliness.
請求項９に記載のように、前記採取液をフィルターによりろ過させ、フィルター上に捕集された残留付着物をフィルターとともに乾燥した後、全重量を測定し、その測定値からフィルターの重量を引き算して前記残留付着物の重量を算出することを特徴とする。 As described in claim 9, the collected liquid is filtered through a filter, the residual deposits collected on the filter are dried together with the filter, the total weight is measured, and the weight of the filter is subtracted from the measured value. The weight of the residual deposit is calculated.
このようにすれば、各残留付着物の総重量を測定することができ、より多面的な残留付着物の測定が可能となる。また清浄度の判定についても精度の高い判断が可能となる。 In this way, it is possible to measure the total weight of each residual deposit, and it is possible to measure the remaining deposits in a multifaceted manner. In addition, it is possible to determine with high accuracy in determining the cleanliness.
本発明の残留付着物測定装置は上記の構成からなるため、次のような優れた効果を奏する。 Since the residual deposit measuring apparatus according to the present invention has the above-described configuration, the following excellent effects can be obtained.
従来のような残留付着物を目視により大きさや個数を確認するという測定者の作業が不要になるとともに、材質が判別できるため、残留付着物の発生箇所や混入経路を簡単に特定でき、製造方法の改善が容易になり、また多面的で高精度の残留付着物の測定が可能となる。さらに測定者の熟練の有無に関わらず、測定および清浄度の判定を容易にかつ短時間に行うことが可能となる。しかも、判定対象の材質をティーチング(教示）登録方式にて有効な異物片サンプル色データをあらかじめ作成し、それらの色データに基づいて材質を判定するので、各製造現場に適合した材質の判定ができる。 This eliminates the need for the operator to visually check the size and number of residual deposits as in the past, and makes it possible to identify the material, making it possible to easily identify the location of the residual deposit and the mixing path, and the manufacturing method. This makes it easier to improve the quality of the deposits and makes it possible to measure multi-sided and highly accurate residual deposits. Furthermore, regardless of the skill of the measurer, measurement and cleanliness determination can be performed easily and in a short time. In addition, the effective foreign material sample color data is created in advance using the teaching (teaching) registration method for the material to be judged, and the material is judged on the basis of the color data, so the material suitable for each manufacturing site can be judged. it can.
以下、本発明に係る残留付着物測定装置の実施形態を図面を用いて説明する。 Hereinafter, an embodiment of a residual deposit measuring apparatus according to the present invention will be described with reference to the drawings.
図１は本発明の実施例に係る残留付着物測定装置の主要機器の構成を示す説明図、図２は本発明に係る３ＣＣＤカラー映像素子を有するライン・センサ・カラーカメラ２と測定台（重量計）３およびその移動機構４を示す説明図で、図３は本発明の実施例に係る残留付着物測定装置の正面図である。 FIG. 1 is an explanatory view showing the configuration of main equipment of a residual deposit measuring apparatus according to an embodiment of the present invention, and FIG. 2 is a line sensor color camera 2 having a 3CCD color image device and a measuring table (weight) according to the present invention. FIG. 3 is a front view of the residual deposit measuring apparatus according to the embodiment of the present invention.
図１および図２に示すように、残留付着物測定装置１は、ライン・センサ・カラーカメラ２と、ライン・センサ・カラーカメラ２の下方に移動機構４を有する測定台（重量計）３とを備えており、測定台３は移動機構４の走査部上に設置されている。移動機構４はサーボモータ４ａで回転するボールネジ４ｂを備え、サーボモータ４ａの回転によりボールネジ４ｂを介して測定台３が移動する。これにより測定台３上の測定対象物Ａをカラーカメラ２に対し特定方向に走査させながら、撮像できるようになっている。なお、サーボモータ４ａに代えて、ステッピングモータなどの制御モータを用いることも可能である。また、測定台３上の測定対象物Ａを照射するためにＬＥＤ照明器５が、測定台３の上方に配置され電源６に接続されている。 As shown in FIG. 1 and FIG. 2, the residual deposit measuring apparatus 1 includes a line sensor color camera 2, and a measurement table (weigh scale) 3 having a moving mechanism 4 below the line sensor color camera 2. The measurement table 3 is installed on the scanning unit of the moving mechanism 4. The moving mechanism 4 includes a ball screw 4b that is rotated by a servo motor 4a, and the measuring table 3 is moved through the ball screw 4b by the rotation of the servo motor 4a. As a result, the measurement object A on the measurement table 3 can be imaged while being scanned in a specific direction with respect to the color camera 2. Note that a control motor such as a stepping motor may be used instead of the servo motor 4a. Further, an LED illuminator 5 is disposed above the measurement table 3 and connected to the power source 6 in order to irradiate the measurement object A on the measurement table 3.
図３に示すように、収納台１１の上にはディスプレイ９が設置され、その下方にキーボード(図示せず）が配置されている。ディスプレイ９の下方の収納台１１ｂ内には、画像処理コントローラ７ａを内蔵するパーソナルコンピュータ（パソコン）７が収納されている。カラーカメラ２はパソコン７に直接接続され、測定台３はＩ／Ｆボード８を介してパソコン７に接続されている。またパソコン７はディスプレイ９と接続され、測定結果がディスプレイ９に表示される。 As shown in FIG. 3, a display 9 is installed on the storage table 11, and a keyboard (not shown) is disposed below the display 9. A personal computer (personal computer) 7 having a built-in image processing controller 7a is accommodated in a storage base 11b below the display 9. The color camera 2 is directly connected to the personal computer 7, and the measuring table 3 is connected to the personal computer 7 via the I / F board 8. The personal computer 7 is connected to the display 9 and the measurement result is displayed on the display 9.
収納台１１上のディスプレイ９の反対側には、開口部１０ａを有する収納ケース１０が配置され、収納ケース１０内には残留付着物測定装置１の上記構成機器が収納されている。なお、図示は省略するが、測定台３の近傍に、乾燥機としてのヒータが装備されており、測定台３上に載置されるフィルターＦをヒータで加熱して乾燥するようになっている。また収納台１１内には、フィルターＦをセットするための吸引口が設けられており、この吸引口のすぐ上方に、採取液（サンプリング液）の注入容器が下端出口を下向きにした状態で配置されている。さらにこの吸引口の下方には、採取液の受けタンクが配備され、その一測方に吸引ポンプ（真空ポンプ）が配置されており、受けタンクを介して吸引口に一端が接続されている。これにより、上方から注入容器より流出される採取液がフィルターＦを通り、フィルターＦによりろ過された採取液が受けタンクに溜まるようになっている。また受けタンクに溜まった採取液を捨てられるよう、収納台１１には受けタンク取り出し用の開閉扉１１ａが設けられている。 A storage case 10 having an opening 10 a is disposed on the opposite side of the display 9 on the storage base 11, and the above-described components of the residual deposit measuring device 1 are stored in the storage case 10. In addition, although illustration is abbreviate | omitted, the heater as a dryer is equipped in the vicinity of the measurement stand 3, and the filter F mounted on the measurement stand 3 is heated and dried with a heater. . In addition, a suction port for setting the filter F is provided in the storage base 11, and an injection container for a sampling liquid (sampling liquid) is disposed immediately above the suction port with a lower end outlet facing downward. Has been. Further, a collecting liquid receiving tank is disposed below the suction port, and a suction pump (vacuum pump) is arranged at one of the measuring tanks, and one end is connected to the suction port via the receiving tank. Thereby, the collected liquid flowing out from the injection container from above passes through the filter F, and the collected liquid filtered by the filter F is accumulated in the receiving tank. The storage table 11 is provided with an opening / closing door 11a for taking out the receiving tank so that the collected liquid collected in the receiving tank can be discarded.
上記のように構成される本発明の実施例に係る残留付着物測定装置１について、フィルターＦ上に捕集された各残留付着物の材質判定（材質判別ともいう）を含む測定手順を、図４のフローチャートに基づいて説明する。また、材質判別するための各材質のデータベース（パターン標本データ：異物片サンプル色データ）の作成手順については測定手順と分けて説明する。なお、本実施例の残留付着物測定装置１は、各残留付着物の材質判別、総重量、大きさ、面積および残留付着物の総個数について測定するものである。 For the residual deposit measuring apparatus 1 according to the embodiment of the present invention configured as described above, a measurement procedure including material determination (also referred to as material discrimination) of each residual deposit collected on the filter F is shown in FIG. This will be described based on the flowchart of FIG. A procedure for creating a database for each material (pattern sample data: foreign object piece sample color data) for determining the material will be described separately from the measurement procedure. The residual deposit measuring apparatus 1 of this embodiment measures the material discrimination, total weight, size, area, and total number of residual deposits of each residual deposit.
Ａ．測定前処理（データベース作成については後述する。） A. Pre-measurement processing (database creation will be described later)
１．測定に使用する複数のフィルターをそれぞれ重量計３の上に載せ、重量を測定し登録する（ＳＴＥＰ１）。 1. A plurality of filters used for measurement are respectively placed on the weighing scale 3, and the weight is measured and registered (STEP 1).
２．登録された複数のフィルターから測定に使用するフィルターＦを選択する（ＳＴＥＰ２）。 2. A filter F to be used for measurement is selected from a plurality of registered filters (STEP 2).
３．測定対象採取液を注入容器に入れ、フィルターＦを所定の吸引口にセットした後、吸引ポンプを作動し採取液をろ過する。 3. The sample-collecting liquid to be measured is put into an injection container, and the filter F is set in a predetermined suction port, and then the suction pump is operated to filter the collected liquid.
４．ろ過によりフィルターＦ上に捕集された各残留付着物およびフィルターＦをヒータ等の乾燥装置により乾燥する。 4). Each residual deposit and the filter F collected on the filter F by filtration are dried by a drying device such as a heater.
５．乾燥した各残留付着物およびフィルターＦを重量計３に載せ、各残留付着物およびフィルターＦの総重量を測定する（ＳＴＥＰ３）。 5). Each dried residue deposit and filter F are placed on the weighing scale 3, and the total weight of each residue deposit and filter F is measured (STEP 3).
Ｂ．各残留付着物の大きさや面積等の測定（画像取込および画像処理） B. Measurement of the size and area of each deposit (image capture and image processing)
６．カラーカメラ２のピントを調整し、各残留付着物の画像が鮮明になるよう、アンシャープマスク処理を施す（ＳＴＥＰ４）。 6). The focus of the color camera 2 is adjusted, and an unsharp mask process is performed so that the image of each residual deposit becomes clear (STEP 4).
７．フィルターＦ上に捕集された各残留付着物を、カラーカメラ２により撮影しながら重量計３を移動機構４により前後方向に走査し、フィルターＦ上の全ての残留付着物について画像を取り込む（ＳＴＥＰ５）。カラーカメラ２が走査され、走査された1ラインにＲＧＢの各輝度値データが表示される。 7). While each residual deposit collected on the filter F is photographed by the color camera 2, the weight scale 3 is scanned in the front-rear direction by the moving mechanism 4, and images of all the residual deposits on the filter F are captured (STEP 5 ). The color camera 2 is scanned, and each luminance value data of RGB is displayed on one scanned line.
８．取り込まれた各残留付着物の画像について、輝度値を設定し、二値化処理を施す（図５参照）（ＳＴＥＰ６）。 8). A luminance value is set and binarization processing is performed on each captured image of the residual deposit (see FIG. 5) (STEP 6).
９．二値化された各残留付着物の画像について、同（黒）色の画素が連続する範囲を１ブロックとして、ラベリング処理を施し（図６参照）、各残留付着物ごとに画像を抜き出す（ＳＴＥＰ７）。 9. The binarized image of each residual deposit is subjected to a labeling process (see FIG. 6) with a range of pixels of the same (black) color being continuous as one block (see FIG. 6), and an image is extracted for each residual deposit (STEP 7). ).
１０．各残留付着物ごとの画像について、ラベリング処理により特定した画像内部に、例えば白色部分が点在しているような場合には、これらを黒色に塗りつぶす処理を施す（ＳＴＥＰ８）。 10. In the case where, for example, white portions are scattered within the image specified by the labeling process, the image of each residual deposit is applied to black (STEP 8).
１１．各残留付着物ごとの画像について、大きさ（最大長さまたは最大径）および面積を画素数に基づき測定する。また必要に応じ、各残留付着物の最大長さ（または最大径）を比較し、最大長さの順に残留付着物の計測データを並べる（ＳＴＥＰ９）。 11. The size (maximum length or maximum diameter) and area of each residual deposit are measured based on the number of pixels. If necessary, the maximum length (or maximum diameter) of each residual deposit is compared, and the measurement data of the residual deposit is arranged in the order of the maximum length (STEP 9).
１２．各残留付着物の重量の合計が、ＳＴＥＰ３で得られた重量からフィルターＦの重量を引き算することにより得られる。これにより清浄度が簡単に判定できる。 12 The total weight of each residual deposit is obtained by subtracting the weight of the filter F from the weight obtained in STEP 3. Thereby, the cleanliness can be easily determined.
１３．上記各計測データはメモリに自動的に保存されるが、ディスプレイ９に表示させて確認することができる。また各残留付着物の画像データも、ディスプレイ９に表示することができ、各残留付着物の平面形状を確認できる。 13. Each measurement data is automatically stored in the memory, but can be displayed on the display 9 for confirmation. Moreover, the image data of each residual deposit can also be displayed on the display 9, and the planar shape of each residual deposit can be confirmed.
Ｃ．材質判別
１４．前記ＳＴＥＰ７のラベリング処理後に、各残留付着物の画像データを平滑化処理する。これにより、画像データの色ムラ・とげとげしさなどを取り除くことができ、色情報としてのＲＧＢ輝度値のバラつきを少なくし、判別精度を高められる（ＳＴＥＰ１０）。
C. Material discrimination 14. After the labeling process in STEP 7, the image data of each residual deposit is smoothed. As a result, it is possible to remove color unevenness, sharpness, and the like of the image data, reduce variations in RGB luminance values as color information, and improve discrimination accuracy (STEP 10).
１５．平滑化処理後の各残留付着物の画像データとラベルに基づき、各残留付着物の画像データをそれぞれ切り出す（ＳＴＥＰ１１）。 15. Based on the image data and label of each residual deposit after the smoothing process, the image data of each residual deposit is cut out (STEP 11).
１６．切り出された各残留付着物の画像データごとに、例えば、塗りつぶし処理などを施すことにより、Pixel面積を正規化する（図７参照）（ＳＴＥＰ１２）。 16. The pixel area is normalized by performing, for example, a painting process for each piece of image data of each of the residual deposits cut out (see FIG. 7) (STEP 12).
１７．正規化された各残留付着物の画像データごとに、ＲＧＢ輝度値（Ｘ軸）とその出現頻度（Ｙ軸）によりヒストグラム処理する。ここで出現頻度とは、残留付着物の総面積（総画素数）に対する所定のＲＧＢ輝度値を持つ画素が占める面積（画素数）の割合を表す（ＳＴＥＰ１３）。 17. Histogram processing is performed for each normalized image data of each residual deposit by the RGB luminance value (X axis) and its appearance frequency (Y axis). Here, the appearance frequency represents the ratio of the area (number of pixels) occupied by a pixel having a predetermined RGB luminance value to the total area (total number of pixels) of the residual deposit (STEP 13).
１８．ＲＧＢの各色要素ごとに、所定の出現頻度（２０〜５０％で調整可）でレベル切りを行い、出現頻度の低い輝度値成分をカットする（図８参照）（ＳＴＥＰ１４）。 18. For each color element of RGB, level cutting is performed at a predetermined appearance frequency (adjustable at 20 to 50%), and a luminance value component with a low appearance frequency is cut (see FIG. 8) (STEP 14).
１９．ＲＧＢの各色要素ごとにレベル切りを行ったのちの有効輝度成分の重心または中央位置のＲ，Ｇ，Ｂの輝度値を各残留付着物の色素データ（Ｒ，Ｇ，Ｂ）の代表値（代表輝度値）とし、抽出する（ＳＴＥＰ１５）。 19. The level of R, G, B at the center of gravity or the center position of the effective luminance component after level cutting for each color element of RGB is used as the representative value (representative value) of the pigment data (R, G, B) of each residual deposit. (Brightness value) and extracted (STEP 15).
２０．抽出した色素データ（Ｒ，Ｇ，Ｂ）ごとの代表輝度値を、以下の式１を用いて、ＨＳＶ表色系の色素データ（Ｈ，Ｓ，Ｖ）に変換する（ＳＴＥＰ１６）。 20. The representative luminance value for each extracted pigment data (R, G, B) is converted into pigment data (H, S, V) of the HSV color system using the following formula 1 (STEP 16).
２１．本例では、後述する各材質毎の色素データ（Ｈ，Ｖ）があらかじめプロットされたＨ−Ｖ相関の座標系、ここではビットマップグラフ上に、前記ＳＴＥＰ１６より得られた残留付着物の色素データ（Ｈ，Ｖ）をプロットする（図１１参照）（ＳＴＥＰ１７）。 21. In this example, on the coordinate system of HV correlation in which pigment data (H, V) for each material, which will be described later, is plotted in advance, here, the pigment data of the residual deposit obtained from STEP 16 on a bitmap graph. Plot (H, V) (see FIG. 11) (STEP 17).
２２．Ｈ−Ｖ相関の座標系上で、残留付着物の色素データ（Ｈ，Ｖ）に一番近い異物片サンプル色データ（パターン標本データ）を算出し、その距離をしきい値ｓで割り算した値に１００を乗じた数値（％）が、パターンマッチングの評価値としてメモリに保存される。 22. A value obtained by calculating the sample color data (pattern sample data) of the foreign material piece closest to the pigment data (H, V) of the residual deposit on the coordinate system of the HV correlation and dividing the distance by the threshold value s. A numerical value (%) obtained by multiplying 100 by 100 is stored in the memory as an evaluation value of pattern matching.
なお、パターンマッチング度の評価値は以下の式２で算出され、この値が１００％以内の場合には、材質が特定されるが、１００％より大きい値となる場合には材質不明と判断される（図１０参照）。また各残留付着物ごとのパターンマッチング度の評価値および判別された材質名等のデータは、ディスプレイ９に表示して確認することができる（図１２参照）（ＳＴＥＰ１８）。 The evaluation value of the pattern matching degree is calculated by the following formula 2. When this value is within 100%, the material is specified, but when the value is larger than 100%, it is determined that the material is unknown. (See FIG. 10). Further, the evaluation value of the pattern matching degree for each residual deposit and the data such as the discriminated material name can be displayed on the display 9 for confirmation (see FIG. 12) (STEP 18).
Ｄ．残留付着物の測定結果画面の表示
以上の工程により得られた各残留付着物の画像データ、大きさ、面積および材質などの計測データはディスプレイ９により、図１３に示すように表示させることができる。また、残留付着物の最大長さの順に２０位まで表示させることもできる。
D. Display of measurement result screen of residual deposits Image data of each residual deposit obtained by the above steps, measurement data such as size, area and material can be displayed on the display 9 as shown in FIG. . Moreover, it is possible to display up to the 20th order in the order of the maximum length of the residual deposits.
Ｅ．異物片サンプル色データの作成
1) 重量計３に異物片サンプル色データを作成するための複数の異物片を載せる （ＳＴＥＰ４１）。
E. Create sample color data
1) Place a plurality of foreign material pieces for creating the foreign material piece sample color data on the weighing scale 3 (STEP 41).
2) 前記ＳＴＥＰ４からＳＴＥＰ１６までと同様の工程を経て、各異物片の画像データ、計測データおよび色素データ（Ｈ，Ｖ）を抽出する。なお、ディスプレイ９に計測結果画面として各データを表示させることができる。 2) Through the same steps as in STEP 4 to STEP 16, image data, measurement data, and dye data (H, V) of each foreign particle piece are extracted. Each data can be displayed on the display 9 as a measurement result screen.
詳しくは、製品の製造工程で生じる可能性のある材質からなる複数の異物片試料をカラーカメラ２のピントを調整し、各異物片試料の画像が鮮明になるよう、アンシャープマスク処理を施す（ＳＴＥＰ４２）。フィルターＦ上の各異物片試料を、カラーカメラ２により撮影しながらフィルターＦ上の全ての異物片試料について画像を取り込み（ＳＴＥＰ４３）、二値化処理した（ＳＴＥＰ４４）のち、ラベリング処理する（ＳＴＥＰ４５）。ラベリング処理して抜き出したカラー画像について平滑化処理を施した（ＳＴＥＰ４６）のち、同処理済みカラー画像において各異物片画像データから所定大きさ以上の異物片画像データを切り出す（ＳＴＥＰ４７）とともに、切り出した画像データごとにPixel面積を正規化（ＳＴＥＰ４８）し、正規化した各異物片画像データごとにＲＧＢの各輝度値および各出現頻度をヒストグラム処理（ＳＴＥＰ４９）し、所定の出現頻度値にてレベル切りする（ＳＴＥＰ５０）ことにより出現頻度の低い輝度値成分をカットしたのちにＲＧＢの各重心位置または各中央位置の輝度値をそれぞれの代表輝度値として設定し（ＳＴＥＰ５１）、各異物片画像データについてＲＧＢの前記各代表輝度値からＨ(色相）・Ｓ(彩度）・Ｖ(明度）に変換する（ＳＴＥＰ５２）。 More specifically, the focus of the color camera 2 is adjusted for a plurality of foreign substance samples made of materials that may occur in the product manufacturing process, and an unsharp mask process is performed so that the image of each foreign substance sample becomes clear ( (STEP 42). Each foreign particle sample on the filter F is photographed by the color camera 2 and all the foreign particle samples on the filter F are captured (STEP 43), binarized (STEP 44), and then labeled (STEP 45). . After the color image extracted by the labeling process is smoothed (STEP 46), the foreign object piece image data having a predetermined size or more is cut out from each foreign object piece image data in the processed color image (STEP 47) and cut out. Pixel area is normalized for each image data (STEP 48), and each luminance value and appearance frequency of RGB is histogram-processed for each normalized particle image data (STEP 49), and the level is cut at a predetermined appearance frequency value. (STEP 50), after cutting out the luminance value components having a low appearance frequency, the luminance values at the center positions or the center positions of RGB are set as the representative luminance values (STEP 51). Are converted into H (hue), S (saturation), and V (lightness) (ST) P52).
3) 上記2)より抽出した各異物片の色素データ（Ｈ，Ｖ）をＨ−Ｖ相関の座標系上にプロットする（図９参照）（ＳＴＥＰ５３）。 3) The pigment data (H, V) of each foreign particle piece extracted from 2) above is plotted on the coordinate system of the HV correlation (see FIG. 9) (STEP 53).
4) 各異物片画像色データごとに材質名を入力し（ＳＴＥＰ５４）て異物片サンプル色データを作成する。 4) Enter the material name for each foreign object piece image color data (STEP 54) to create foreign object sample color data.
5) 必要数の異物片サンプル色データが作成されるまで、上記1)から4)の工程を繰り返し行う（ＳＴＥＰ５５）。 5) The above steps 1) to 4) are repeated until the necessary number of foreign object piece sample color data is created (STEP 55).
6) Ｈ−Ｖ相関座標系上にプロットされた各材質ごとに異物片サンプル色データを統計処理（正規分布）して、分散度（標準偏差）σを算出する。同一材質の異物片サンプル色データが例えば１０〜２０あり、それらの同一材質の色データがばらつくことがあるが、このような場合に、統計処理して正規分布を取ってしきい値を求める。同一材質ごとに複数の異物片サンプル色データ間の距離を求める。分散されたデータと収斂されたデータでしきい値が異なるからである。各異物片サンプル色データを中心にしてしきい値を半径として円を描き、この円内に異物片サンプル色データが入れば、その円の中心の材質を異物片の材質と判定する。 6) Calculate the degree of dispersion (standard deviation) σ by statistically processing (normal distribution) the foreign matter piece sample color data for each material plotted on the HV correlation coordinate system. There are, for example, 10 to 20 sample color data of foreign material pieces of the same material, and the color data of the same material may vary. In such a case, the threshold value is obtained by statistical processing and taking a normal distribution. A distance between a plurality of foreign object piece sample color data is obtained for each same material. This is because the threshold is different between the distributed data and the converged data. A circle is drawn with the threshold value as a radius around each piece of foreign matter sample color data, and if the piece of foreign matter sample color data enters this circle, the material at the center of the circle is determined as the material of the foreign piece.
7) 各材質ごとのしきい値ｓを分散度σを用いて設定する（しきい値ｓ＝分散度σ×○．□△☆と乗数を設定し、しきい値ｓを決定する）（ＳＴＥＰ５６）。なお、材質ごとの異物片サンプル色データの数が少なく、十分な分散度σが得られない場合には、手動により任意にしきい値を設定することも可能である。 7) The threshold value s for each material is set using the dispersion degree σ (threshold value s = dispersion degree σ × ◯. □ Δ ☆ and a multiplier are set to determine the threshold value s) (STEP 56 ). If the number of foreign material piece sample color data for each material is small and sufficient dispersion σ cannot be obtained, it is possible to manually set a threshold value arbitrarily.
Ｆ．清浄度の判定
ところで、上記に各残留付着物の大きさ、面積、材質等の測定手順を説明したが、各残留付着物の計測データを表示するだけでなく、測定結果により清浄度の判定をするようにしてもよい。
F. Judgment of cleanliness By the way, the measurement procedure for the size, area, material, etc. of each residual deposit was explained above, but not only the measurement data of each residual deposit was displayed, but also the cleanliness was determined by the measurement result. You may make it do.
イ）あらかじめ清浄度の合格基準となるデータ（たとえば、最大長さ０．○○ｍｍ以上で最大径０．○○ｍｍ以上の残留付着物が○○個以下）をパソコン７に入力し、機械加工部品を専用の洗浄機により洗浄した後に、その洗浄液を採取して本発明の残留付着物測定装置にて残留付着物を測定し、上記清浄度の合格基準の数値をクリアしているか否かを即座に判定することもできる。 B) Preliminary data for acceptance of cleanliness (for example, max. Length of OOmm or more and max. After cleaning the processed parts with a dedicated cleaning machine, collect the cleaning solution, measure the residual deposits with the residual deposit measuring device of the present invention, and whether or not the above cleanliness pass criteria are cleared Can also be determined immediately.
ロ）また本発明の実施例に係る残留付着物測定装置は材質判別機能を有しているため、上記のような最大長さおよび最大径、個数といった清浄度の合格基準データのみならず、これに材質データを加えて、清浄度の合格基準を設定することも可能である。これにより、さらに精度の高い清浄度の判定をすることができる。 B) Since the residual deposit measuring apparatus according to the embodiment of the present invention has a material discrimination function, not only the acceptance criteria data of cleanliness such as the maximum length, the maximum diameter, and the number as described above, but also It is also possible to set the acceptance criteria for cleanliness by adding material data. Thereby, it is possible to determine the cleanliness with higher accuracy.
ハ）具体的には、たとえば最大長さ０．○○ｍｍ以上で最大径０．○○ｍｍ以上の残留付着物（鉄）が○○個以下、残留付着物（銅）が□□個以下といったような設定にすることで、これをクリアする判定がでるまで対象部品を洗浄する。そのようにすることで、従来の清浄度基準では精密機械部品を組み込む場合などに、最大長さは超えないが、硬度が高い金属片が干渉し、精密機械加工部品が損傷するような場合もあるが、材質を清浄度の要件基準に追加設定することで、そのようなケースを回避することが可能となる。 C) Specifically, for example, the maximum length is 0. The maximum diameter is 0 mm or more. ○ By setting the number of residual deposits (iron) of XX mm or less to XX or less and the number of residual deposits (copper) to □□ or less, the target part is cleaned until it is judged to clear this. . By doing so, the maximum length is not exceeded when incorporating precision machine parts under the conventional cleanliness standards, but metal parts with high hardness interfere and precision machine parts may be damaged. However, it is possible to avoid such a case by additionally setting the material to the cleanliness requirement standard.
次に、本発明の実施例に係る残留付着物測定装置１を用い、各残留付着物の材質だけを判定する場合の測定手順について図１４に示すフローチャートを用いて説明する。 Next, a measurement procedure when only the material of each residual deposit is determined using the residual deposit measuring apparatus 1 according to the embodiment of the present invention will be described with reference to the flowchart shown in FIG.
・ 測定前処理
１．測定対象採取液を注入容器に入れ、フィルターＦを所定の吸引口にセットした後、吸引ポンプを作動し採取液をろ過する。
・ Measurement pretreatment The sample-collecting liquid to be measured is put into an injection container, and the filter F is set in a predetermined suction port, and then the suction pump is operated to filter the collected liquid.
２．ろ過によりフィルターＦ上に捕集された各残留付着物およびフィルターＦをヒータ等の乾燥装置により乾燥する。 2. Each residual deposit and the filter F collected on the filter F by filtration are dried by a drying device such as a heater.
・ 材質判別
３．カメラ２のピントを調整し、各残留付着物の画像が鮮明になるよう、アンシャープマスク処理を施す（ＳＴＥＰ２１）。
・ Material discrimination The focus of the camera 2 is adjusted, and an unsharp mask process is performed so that the image of each residual deposit becomes clear (STEP 21).
４．フィルターＦ上に捕集された各残留付着物を、カメラ２により撮影しながら重量計３を移動機構４により前後方向に走査し、フィルターＦ上の全ての残留付着物について画像を取り込む（ＳＴＥＰ２２）。 4). Each residual deposit collected on the filter F is scanned by the moving mechanism 4 in the front-rear direction while photographing with the camera 2, and images of all the residual deposits on the filter F are captured (STEP 22). .
５．取り込まれた各残留付着物の画像について、輝度値を設定し、二値化処理を施す（図５参照）（ＳＴＥＰ２３）。 5). A luminance value is set and binarization processing is performed on each captured image of the residual deposit (see FIG. 5) (STEP 23).
６．二値化された各残留付着物の画像について、同（黒）色の画素が連続する範囲を１画素として、ラベリング処理をする（図６参照）（ＳＴＥＰ２４）。 6). The binarized image of each residual deposit is subjected to a labeling process (see FIG. 6) with one pixel being a range where the same (black) color pixels are continuous (STEP 24).
７．ラベリング後の各残留付着物の画像データを平滑化処理する。これにより、画像データの色ムラ等が取り除かれ、ＲＧＢ輝度値のバラつきを少なくでき、判別精度を高められる（ＳＴＥＰ２５）。 7). The image data of each residual deposit after labeling is smoothed. As a result, color unevenness or the like of the image data is removed, variation in RGB luminance values can be reduced, and discrimination accuracy can be improved (STEP 25).
８．平滑化処理後の各残留付着物の画像データとラベルに基づき、各残留付着物の画像データをそれぞれ切り出す（ＳＴＥＰ２６）。 8). Based on the image data and label of each residual deposit after the smoothing process, the image data of each residual deposit is cut out (STEP 26).
９．切り出された各残留付着物の画像データごとに、例えば塗りつぶし処理などを施すことにより、正規化する（図７参照）（ＳＴＥＰ２７）。
１０．正規化された各残留付着物の画像データごとに、ＲＧＢの輝度値（Ｘ軸）とその出現頻度（Ｙ軸）によりヒストグラム処理する。ここで出現頻度とは残留付着物の総面積（総画素数）に対する所定のＲＧＢ輝度値を持つ画素が占める面積（画素数）の割合を表す（ＳＴＥＰ２８）。
9. Normalization is performed by applying a paint process or the like for each piece of image data of each residual deposit that has been cut out (see FIG. 7) (STEP 27).
10. Histogram processing is performed for each normalized image data of each residual deposit based on the RGB luminance values (X axis) and the appearance frequency (Y axis). Here, the appearance frequency represents the ratio of the area (number of pixels) occupied by a pixel having a predetermined RGB luminance value to the total area (total number of pixels) of the residual deposit (STEP 28).
１１．ヒストグラムより、所定の出現頻度（２０〜５０％で調整可）でレベル切りを行い、出現頻度の低い輝度値成分をカットする（図８参照）（ＳＴＥＰ２９）。 11. From the histogram, level cutting is performed at a predetermined appearance frequency (adjustable at 20 to 50%), and a luminance value component with a low appearance frequency is cut (see FIG. 8) (STEP 29).
１２．ヒストグラムのレベル切りを行った重心または中央位置のＲ，Ｇ，Ｂの輝度値を各残留付着物の色素データ（Ｒ，Ｇ，Ｂ）の代表値とし、抽出する（ＳＴＥＰ３０）。 12 The luminance values of R, G, B at the center of gravity or the center position where the level of the histogram is cut are extracted as representative values of the pigment data (R, G, B) of each residual deposit (STEP 30).
１３．抽出した色素データ（Ｒ，Ｇ，Ｂ）の代表輝度値を、上記式１を用いて、ＨＳＶ表色系の色素データ（Ｈ，Ｓ，Ｖ）に変換する（ＳＴＥＰ３１）。 13. The representative luminance value of the extracted pigment data (R, G, B) is converted into pigment data (H, S, V) of the HSV color system using Equation 1 (STEP 31).
１４．後述する各材質毎の色素データ（Ｈ，Ｖ）があらかじめプロットされたＨ−Ｖ相関の座標系上に、前記１３．より得られた残留付着物の色素データ（Ｈ，Ｖ）をプロットする（図１１参照）（ＳＴＥＰ３２）。 14 On the coordinate system of the HV correlation in which dye data (H, V) for each material described later is plotted in advance, the above 13. The dye data (H, V) of the residual deposit obtained from the above is plotted (see FIG. 11) (STEP 32).
１５．Ｈ−Ｖ相関の座標系上で、残留付着物の色素データ（Ｈ，Ｖ）に一番近い異物片サンプル色データを算出し、その距離をしきい値ｓで割り算した値に１００を乗じた数値をパターンマッチングの評価値としてメモリに保存する。 15. On the coordinate system of the HV correlation, the sample color data of the foreign substance piece closest to the pigment data (H, V) of the residual deposit is calculated, and the value obtained by dividing the distance by the threshold value s is multiplied by 100. A numerical value is stored in a memory as an evaluation value for pattern matching.
なお、パターンマッチング度の評価値は上記式２で算出され、この値が１００％以内の場合には所定の材質と判別され、１００％より大きい値となる場合には材質不明と判断される（図１０参照）。また各残留付着物ごとのパターンマッチング度の評価値および判別された材質名等のデータは、ディスプレイ９により表示させて確認することができる（図１２参照）（ＳＴＥＰ３３）。 The evaluation value of the pattern matching degree is calculated by the above formula 2. If this value is within 100%, it is determined as a predetermined material, and if it is greater than 100%, it is determined that the material is unknown ( (See FIG. 10). Further, the evaluation value of the pattern matching degree for each residual deposit and the data such as the discriminated material name can be displayed and confirmed on the display 9 (see FIG. 12) (STEP 33).
１ 残留付着物測定装置
２ ライン・センサ・カラーカメラ
３ 測定台（重量計）
４ 移動機構
５ ＬＥＤ照明器
６ 照明電源
７ パーソナルコンピュータ（パソコン）
８ Ｉ／Ｆボード
９ ディスプレイ
１０ 収納ケース
１１ 収納台
1 Residual deposit measuring device 2 Line sensor color camera 3 Measuring table (Weigh scale)
4 Moving mechanism 5 LED illuminator 6 Illumination power supply 7 Personal computer (PC)
8 I / F board 9 Display 10 Storage case 11 Storage stand
Claims (9)
被洗浄物を洗浄液で洗い流した際の採取液から残留付着物をフィルター上に捕集し、カラーカメラにて前記フィルター上に捕集した残留付着物をカラー撮像し、そのカラー画像について平滑化処理を施したのち、同処理済みカラー画像において各残留付着物画像データから所定大きさ以上の残留付着物画像データを切り出すとともに、切り出した各残留付着物画像データごとにPixel面積を正規化し、正規化した各残留付着物画像データごとにＲＧＢの各輝度値および各出現頻度をヒストグラム処理し、所定の出現頻度値にてレベル切りすることにより出現頻度の低い輝度値成分をカットした後にＲＧＢの各重心位置または各中央位置の輝度値をそれぞれの代表輝度値として設定し、各残留付着物画像データについてＲＧＢの各代表輝度値からＨ(色相）・Ｓ(彩度）・Ｖ(明度）に変換し、ＨＶ相関またはＨＳＶ相関の座標系上で前記各残留付着物画像データの色データに対応する異物片サンプル色データに対してパターンマッチング度を算出することによって前記各残留付着物の材質を判定する工程とを備えたことを特徴とする残留付着物の測定方法。 A plurality of foreign material specimens made of materials that may occur in the product manufacturing process are color-imaged with a color camera in advance, and the color image is smoothed, and then each foreign material piece image in the processed color image. Extract foreign object piece image data of a predetermined size or more from the data, normalize the pixel area for each extracted image data, and histogram process each luminance value and each appearance frequency for each normalized foreign object piece image data Then, after cutting the luminance value component with low appearance frequency by cutting the level at a predetermined appearance frequency value, the luminance value of each RGB center of gravity or each central position is set as each representative luminance value, and each foreign object piece The image data is converted from the RGB representative luminance values to H (hue), S (saturation), and V (lightness), and the HV correlation or HSV phase is obtained. Plot in the coordinate system of, specify the material name for each particle color image data, create the particle sample color data, and set the threshold based on the distribution of the particle sample color data for each material name The desired process;
Residual deposits are collected on the filter from the collected liquid when the object to be cleaned is washed away with the cleaning liquid, and the color image of the residual deposits collected on the filter is captured with a color camera, and the color image is smoothed. After the image is processed, the residual image data of a predetermined size or larger is cut out from each residual image data in the processed color image, and the pixel area is normalized and normalized for each piece of residual image data The RGB luminance values and the appearance frequencies for each of the residual adhered image data are histogram-processed, and the luminance value components having a low appearance frequency are cut by leveling at a predetermined appearance frequency value, and then the RGB gravity centers The luminance value at the position or each central position is set as each representative luminance value, and each residual deposit image data is determined from each RGB representative luminance value. (Hue), S (saturation), V (lightness), converted into a pattern with respect to the sample color data of the foreign material piece corresponding to the color data of each residual deposit image data on the coordinate system of HV correlation or HSV correlation And a step of determining a material of each of the residual deposits by calculating a matching degree.
ここで、ＸはＨＶ相関またはＨＳＶ相関の座標系上で前記残留付着物画像データの色データから最も近い異物片サンプル色データまでの距離、ｓは各材質グループごとのしきい値とする。そして、パターンマッチング度が１００％以下の場合には、残留付着物の位置から距離Ｘだけ離れた前記異物片サンプル色データの材質名を前記残留付着物の材質であると判定する一方、パターンマッチング度が１００％を超える場合には材質不明と判定することを特徴とする請求項１に記載の残留付着物測定方法。 The degree of pattern matching = | X | / s × 100
Here, X is the distance from the color data of the residual deposit image data to the closest foreign matter sample color data on the coordinate system of HV correlation or HSV correlation, and s is the threshold value for each material group. If the pattern matching degree is 100% or less, the material name of the foreign matter sample color data separated from the position of the residual deposit by a distance X is determined to be the material of the residual deposit, while the pattern matching The residual deposit measurement method according to claim 1, wherein when the degree exceeds 100%, it is determined that the material is unknown.
前記採取液からフィルター上に捕集した残留付着物をカラー撮像するカラーカメラと、
カラー撮像したカラー画像について平滑化処理を施こし、同処理済みカラー画像において各残留付着物画像データから所定大きさ以上の残留付着物画像データを切り出す切り出し手段と、
切り出した各残留付着物の画像データごとにPixel面積を正規化し、正規化した各残留付着物の画像データごとにＲＧＢの各輝度値および各出現頻度をヒストグラム処理し、所定の出現頻度値にてレベル切りすることにより出現頻度の低い輝度値成分をカットした後にＲＧＢの各重心位置または各中央位置の輝度値をそれぞれの代表輝度値に設定し、各残留付着物画像データについてＲＧＢの前記各代表輝度からＨ(色相）・Ｓ(彩度）・Ｖ(明度）に変換するＨＳＶ変換手段と、
ＨＶ相関またはＨＳＶ相関の座標系上で前記各残留付着物画像データの色データに対応するあらかじめ作成した異物片サンプル色データに対してパターンマッチング度を算出することによって前記各残留付着物の材質を判定する材質判定手段とを備えたことを特徴とする残留付着物測定装置。 Wash away residual deposits made of metal or resin pieces or other materials that remain on the surface of the object to be cleaned, such as machined parts and machined products, with the cleaning solution, and measure the residual deposits remaining in the collected liquid A residual deposit measuring device,
A color camera for color imaging of residual deposits collected on the filter from the collected liquid;
A cutout unit that performs a smoothing process on a color image that has been color-captured, and cuts out residual deposit image data having a predetermined size or more from each residual deposit image data in the processed color image;
Pixel area is normalized for each image data of each residual deposit that has been cut out, and each RGB luminance value and each frequency of appearance is histogram-processed for each normalized image data of each residual deposit, with a predetermined frequency value After the luminance value component having a low appearance frequency is cut by level cutting, the luminance value at each RGB center of gravity or each central position is set to each representative luminance value, and each of the above RGB representatives for each residual deposit image data HSV conversion means for converting luminance into H (hue), S (saturation), and V (lightness);
On the coordinate system of HV correlation or HSV correlation, the material of each residual deposit is determined by calculating the pattern matching degree with respect to the foreign matter sample color data created in advance corresponding to the color data of each residual deposit image data. A residual adhering matter measuring device comprising a material judging means for judging.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008042429A JP5095440B2 (en) | 2008-02-25 | 2008-02-25 | Residual deposit measuring device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008042429A JP5095440B2 (en) | 2008-02-25 | 2008-02-25 | Residual deposit measuring device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009198414A JP2009198414A (en) | 2009-09-03 |
| JP5095440B2 true JP5095440B2 (en) | 2012-12-12 |
Family
ID=41142046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008042429A Active JP5095440B2 (en) | 2008-02-25 | 2008-02-25 | Residual deposit measuring device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5095440B2 (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2490006A4 (en) * | 2009-10-14 | 2018-05-02 | Nippon Paper Industries Co., Ltd. | Method for measuring degree of contaminant deposition |
| JP5727709B2 (en) * | 2010-03-01 | 2015-06-03 | 株式会社スギノマシン | Residue measuring method and residue measuring apparatus |
| EP2946198B1 (en) * | 2013-01-21 | 2019-10-30 | Cornell University | Smartphone-based apparatus and method for obtaining repeatable, quantitative colorimetric measurement |
| JP6393165B2 (en) * | 2014-11-25 | 2018-09-19 | 森合精機株式会社 | Deposit measurement system |
| CN105091927A (en) * | 2015-08-20 | 2015-11-25 | 浙江中科领航汽车电子有限公司 | All-liquid-crystal automobile instrument automatic test platform |
| FR3043206B1 (en) * | 2015-11-02 | 2017-11-24 | Suez Environnement | METHOD AND INSTALLATION OF METAL ANALYSIS |
| JP2019135453A (en) * | 2018-02-05 | 2019-08-15 | 森合精機株式会社 | Residual foreign matter measuring device |
| CN111504736A (en) * | 2019-01-31 | 2020-08-07 | 湖南三德科技股份有限公司 | Automatic sample preparation method and automatic sample preparation equipment with sample loss rate accounting function |
| JP7165101B2 (en) * | 2019-04-26 | 2022-11-02 | 株式会社日立ビルシステム | Foreign matter detection method and foreign matter detection device |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09247483A (en) * | 1996-03-06 | 1997-09-19 | Ricoh Co Ltd | Picture emphasizing device |
| JP2000242659A (en) * | 1999-02-22 | 2000-09-08 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for normalizing feature value in similar retrieval, and storage medium stored with similar retrieval feature value normalizing program |
| AU2001280101A1 (en) * | 2000-08-22 | 2002-03-04 | Akira Kurematsu | Method for extracting character area in image |
| JP2003287489A (en) * | 2002-03-27 | 2003-10-10 | Toshiba Corp | Flock imaging system |
| JP2004325358A (en) * | 2003-04-25 | 2004-11-18 | Nakayama:Kk | Apparatus and method for measuring component ratio of cast iron |
| JP2005128774A (en) * | 2003-10-23 | 2005-05-19 | Seiko Epson Corp | Image area extracting device and method |
| JP2006165961A (en) * | 2004-12-07 | 2006-06-22 | Ricoh Co Ltd | Image evaluation device, image evaluation method and recording medium |
| JP4149464B2 (en) * | 2005-06-10 | 2008-09-10 | 富士通株式会社 | Image processing device |
| JP2006349378A (en) * | 2005-06-13 | 2006-12-28 | Moriai Seiki Kk | Contamination monitoring system |
| JP2008021224A (en) * | 2006-07-14 | 2008-01-31 | Digital Fashion Ltd | Image processing program, image processing method and image processor |
-
2008
- 2008-02-25 JP JP2008042429A patent/JP5095440B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009198414A (en) | 2009-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5095440B2 (en) | Residual deposit measuring device | |
| US11079585B2 (en) | System and method for performing automated analysis of air samples | |
| US5912984A (en) | Method and apparatus for in-line solder paste inspection | |
| WO1981003080A1 (en) | Method and apparatus for measuring mean cell volume of red blood cells | |
| CN107525768B (en) | Quality control method of DNA ploid analysis equipment | |
| CN105718931B (en) | System and method for determining clutter in acquired images | |
| CN103063576A (en) | Method for quantitatively analyzing inclusions in steel under laser microscope | |
| CN108682008A (en) | A kind of Leukocyte Image clarity evaluation method and device | |
| CN114705686A (en) | Method and system for detecting surface defects of cylindrical pot, controller and industrial personal computer | |
| US20100039510A1 (en) | Method and DEVICE for PRINT INSPECTION | |
| JP3361768B2 (en) | X-ray fluorescence analyzer and X-ray irradiation position confirmation method | |
| CN110082356A (en) | The visible detection method and device of wire surface defect | |
| JP2002188990A (en) | Method and instrument for analyzing particle shape | |
| US20080226154A1 (en) | Systems and methods for producing carbonaceous pastes used in the production of carbon electrodes | |
| CN114226262A (en) | Flaw detection method, flaw classification method and flaw detection system | |
| AU2018101327B4 (en) | System and method for performing automated analysis of air samples | |
| JP4146354B2 (en) | Method and apparatus for analyzing biological tissue samples | |
| JP5727709B2 (en) | Residue measuring method and residue measuring apparatus | |
| JP3967813B2 (en) | Cleanliness determination method and cleanliness measuring device | |
| JP3586169B2 (en) | Method and apparatus for measuring sharpness and gloss | |
| JPH08505478A (en) | Method and associated apparatus for controlling the surface condition of one side of a solid | |
| JP6393165B2 (en) | Deposit measurement system | |
| CN114742752A (en) | Method and device for detecting printing quality of contact lens casting mold | |
| JP5057960B2 (en) | Deposit measurement method and deposit measurement apparatus | |
| CN112329770A (en) | Instrument scale identification method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120725 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120828 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120919 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5095440 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150928 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |