JP4332122B2 - Appearance inspection device and PTP packaging machine - Google Patents
Appearance inspection device and PTP packaging machine Download PDFInfo
- Publication number
- JP4332122B2 JP4332122B2 JP2005008491A JP2005008491A JP4332122B2 JP 4332122 B2 JP4332122 B2 JP 4332122B2 JP 2005008491 A JP2005008491 A JP 2005008491A JP 2005008491 A JP2005008491 A JP 2005008491A JP 4332122 B2 JP4332122 B2 JP 4332122B2
- Authority
- JP
- Japan
- Prior art keywords
- tablet
- color
- luminance
- pixels
- constant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
本発明は、ＰＴＰシートの製造に際し用いられる外観検査装置、及び、該外観検査装置を備えたＰＴＰ包装機を含む技術分野に属するものである。 The present invention belongs to a technical field including an appearance inspection apparatus used in manufacturing a PTP sheet and a PTP packaging machine provided with the appearance inspection apparatus.
一般に、ＰＴＰシートは、錠剤等が充填されるポケット部が形成された樹脂製の包装用フィルムと、その包装用フィルムにポケット部の開口側を密封するように前記包装用フィルムに取着されるアルミニウム製のカバーフィルムとから構成されている。 In general, a PTP sheet is attached to a packaging film made of resin in which a pocket portion filled with tablets or the like is formed, and the packaging film so that the opening side of the pocket portion is sealed to the packaging film. It is comprised from the cover film made from aluminum.
従来、ＰＴＰシートの製造に際しては、ポケット部に錠剤等が充填された後、錠剤の色異常を検出する色識別検査が行われる。この色識別検査によって例えば異種錠の混入を検出することができる。 Conventionally, when manufacturing a PTP sheet, after a tablet or the like is filled in a pocket portion, a color identification inspection for detecting color abnormality of the tablet is performed. For example, mixing of different types of tablets can be detected by this color identification inspection.
色識別検査では、先ず照明手段から錠剤に光を照射し、その反射光をカメラによりカラー撮像する。そして、カラー画像データであるＲＧＢデータをＨＩＳ変換し、色相Ｈ・彩度Ｓ・輝度Ｉや輝度統計（Ｈ・Ｓ・Ｉのスペクトラム分布の平均や標準偏差等）を求め、これらと所定の基準値との類似度から錠剤の色異常を検出する（例えば、特許文献１参照）。 In the color identification inspection, light is first applied to the tablet from the illumination means, and the reflected light is color-imaged by a camera. Then, RGB data, which is color image data, is subjected to HIS conversion to obtain hue H, saturation S, luminance I, and luminance statistics (average, standard deviation, etc. of the spectrum distribution of H, S, I) and these and a predetermined standard The color abnormality of the tablet is detected from the similarity with the value (see, for example, Patent Document 1).
ＨＩＳ変換を行う理由としては、一般にカラー画像（ＲＧＢ）では、同じ色（色相Ｈ）、同じ濃さ（彩度Ｓ）であると人間が認識しても、明るさ（輝度Ｉ）が変化するとＲＧＢ値は大きく変化するが、色相Ｈ・彩度Ｓ・輝度Ｉでは人間が感じる色の感覚に近い表現ができるとされているためである。
しかしながら、従来の色識別検査では、例えば色相Ｈを求める場合、彩度Ｓや輝度Ｉが小さい時に誤差が大きくなる。つまり、錠剤の色が白色に近くなるほど、色相Ｈ・彩度Ｓ・輝度Ｉや輝度統計を適正に求めることが困難となり、色識別精度が低下するおそれがある。錠剤色としては白色に近い色が多用されているため、このような不具合は頻繁に起こり得る。 However, in the conventional color identification inspection, for example, when obtaining the hue H, the error increases when the saturation S and the luminance I are small. That is, the closer the tablet color is to white, the more difficult it is to obtain the hue H, saturation S, luminance I, and luminance statistics, and there is a risk that the color identification accuracy will decrease. Since a color close to white is frequently used as the tablet color, such a problem can occur frequently.
また、輝度統計処理により得られた最多値を錠剤の色として色識別検査を行う方法もあるが、捺印錠剤を検査する場合や錠剤表面に異物が付着している場合などは、錠剤の色として得られるデータに捺印文字色や異物色のデータも含まれてしまうため、このような方法でも色識別精度が低下するおそれがある。 In addition, there is a method of performing color identification inspection using the maximum value obtained by luminance statistical processing as the color of the tablet, but when inspecting a stamped tablet or when foreign matter adheres to the tablet surface, the color of the tablet Since the data obtained includes stamped character color and foreign matter color data, there is a possibility that the color identification accuracy may be lowered even with such a method.
本発明は、上記事情に鑑みてなされたものであり、ＰＴＰシートの製造過程における外観不良を検査するに際し、錠剤の色識別精度の向上を図ることのできる外観検査装置、及び、ＰＴＰ包装機を提供することを主たる目的の一つとしている。 The present invention has been made in view of the above circumstances, and has an appearance inspection apparatus and a PTP packaging machine that can improve the color identification accuracy of tablets when inspecting appearance defects in the manufacturing process of PTP sheets. It is one of the main purposes to provide.
以下、上記目的等を解決するのに適した各手段につき項分けして説明する。なお、必要に応じて対応する手段に特有の作用効果等を付記する。 In the following, each means suitable for solving the above-mentioned purpose will be described in terms of items. In addition, the effect etc. peculiar to the means to respond | correspond as needed are added.
手段１． 包装用フィルムに形成されたポケット部に錠剤が収容され、ポケット部を塞ぐようにカバーフィルムが取着されるＰＴＰシートの製造に際し用いられる外観検査装置であって、
少なくとも前記錠剤に対して所定の光を照射する照明手段と、
前記照明手段により照射された面を撮像する撮像手段と、
前記撮像手段から出力される画像信号を処理する画像処理装置とを備え、
前記画像信号から得たカラー画像データを基に前記錠剤の色異常を検出する色識別検査を実行可能に構成され、
前記色識別検査に際しては、
前記カラー画像データのうち前記錠剤に相当する部分の複数の画素の中から、当該画素における赤の輝度に第１の定数を乗算した値と、当該画素における緑の輝度に第２の定数を乗算した値と、当該画素における青の輝度に第３の定数を乗算した値との総和たる輝度の高い順に所定数の画素を抽出し、
当該所定数の画素のＲＧＢ各成分毎の輝度に基づく判定により前記錠剤の色異常を検出可能にしたことを特徴とする外観検査装置。
Illumination means for irradiating at least the tablet with predetermined light;
Imaging means for imaging the surface illuminated by the illumination means;
An image processing device for processing an image signal output from the imaging means,
It is configured to be able to perform a color identification test for detecting color abnormality of the tablet based on color image data obtained from the image signal,
In the color identification inspection,
Among a plurality of pixels in the color image data corresponding to the tablet, a value obtained by multiplying the red luminance in the pixel by the first constant and a green constant in the pixel are multiplied by the second constant. A predetermined number of pixels in the descending order of luminance, which is the sum of the obtained value and the value obtained by multiplying the blue luminance of the pixel by the third constant ,
An appearance inspection apparatus characterized in that color abnormality of the tablet can be detected by determination based on luminance of each RGB component of the predetermined number of pixels.
上記手段１によれば、包装用フィルムに形成されたポケット部に錠剤が収容され、ポケット部を塞ぐようにカバーフィルムが取着されるＰＴＰシートの製造に際しては、色識別検査が行われる。色識別検査においては、撮像されたカラー画像データのうち錠剤に相当する部分の複数の画素の中から、当該画素における赤の輝度に第１の定数を乗算した値と、当該画素における緑の輝度に第２の定数を乗算した値と、当該画素における青の輝度に第３の定数を乗算した値との総和たる輝度の高い順に所定数の画素を抽出し、当該所定数の画素のＲＧＢ各成分毎の輝度に基づく判定により錠剤の色異常を検出する。従って、検査対象が白色に近い色の錠剤であっても、さらには表面に異物が付着した錠剤や捺印錠剤などであっても、錠剤の高輝度領域を色識別領域とすることで、色識別精度を低下させることなく適正に色識別検査を行うことができる。結果として、色相Ｈ・彩度Ｓ・輝度Ｉを基にした従来の色識別検査に比べ、色識別精度の向上を図ることができる。
According to the
手段２．包装用フィルムに形成されたポケット部に錠剤が収容され、ポケット部を塞ぐようにカバーフィルムが取着されるＰＴＰシートの製造に際し用いられる外観検査装置であって、
少なくとも前記錠剤に対して所定の光を照射する照明手段と、
前記照明手段により照射された面を撮像する撮像手段と、
前記撮像手段から出力される画像信号を処理する画像処理装置とを備え、
前記画像信号から得たカラー画像データを基に前記錠剤の色異常を検出する色識別検査を実行可能に構成され、
前記色識別検査に際しては、
前記カラー画像データのうち前記錠剤に相当する部分の複数の画素の中から、当該画素における赤の輝度に第１の定数を乗算した値と、当該画素における緑の輝度に第２の定数を乗算した値と、当該画素における青の輝度に第３の定数を乗算した値との総和たる輝度の高い順に所定数の画素を抽出し、
当該所定数の画素のＲＧＢ各成分毎の輝度の平均値を求め、当該ＲＧＢ各成分の輝度の平均値と、ＲＧＢ各成分毎に予め設定された輝度基準値との差が、ＲＧＢ各成分毎にそれぞれ許容範囲内か否かを判定することで、前記錠剤の色異常を検出可能にしたことを特徴とする外観検査装置。
Mean 2. It is an appearance inspection device used in the manufacture of a PTP sheet in which a tablet is accommodated in a pocket portion formed in a packaging film and a cover film is attached so as to close the pocket portion,
Illumination means for irradiating at least the tablet with predetermined light;
Imaging means for imaging the surface illuminated by the illumination means;
An image processing device for processing an image signal output from the imaging means,
It is configured to be able to perform a color identification test for detecting color abnormality of the tablet based on color image data obtained from the image signal,
In the color identification inspection,
Among a plurality of pixels in the color image data corresponding to the tablet, a value obtained by multiplying the red luminance in the pixel by the first constant and a green constant in the pixel are multiplied by the second constant. A predetermined number of pixels in the descending order of luminance, which is the sum of the obtained value and the value obtained by multiplying the blue luminance of the pixel by the third constant ,
The average value of the luminance for each RGB component of the predetermined number of pixels is obtained, and the difference between the average value of the luminance of each RGB component and the luminance reference value preset for each RGB component is determined for each RGB component. In addition, it is possible to detect an abnormal color of the tablet by determining whether or not each is within an allowable range.
上記手段２によれば、上記手段１と同様の作用効果が奏される。さらに、本手段では、撮像されたカラー画像データのうち錠剤に相当する部分の複数の画素の中から、当該画素における赤の輝度に第１の定数を乗算した値と、当該画素における緑の輝度に第２の定数を乗算した値と、当該画素における青の輝度に第３の定数を乗算した値との総和たる輝度の高い順に所定数の画素を抽出し、当該所定数の画素の輝度の平均値を求め、当該輝度の平均値と所定の輝度基準値との差が許容範囲内か否かを判定している。このように輝度の平均値をとることで、より適正な判定を行うことができ、さらなる色識別精度の向上を図ることができる。
さらに、本手段では、抽出された所定数の画素のＲＧＢ各成分毎の輝度の平均値を求め、当該ＲＧＢ各成分の輝度の平均値と、ＲＧＢ各成分毎に予め設定された輝度基準値との差が、ＲＧＢ各成分毎にそれぞれ許容範囲内か否かを判定している。このようにすることで、より厳密な判定を行うことができ、さらなる色識別精度の向上を図ることができる。
According to the
Further, in this means, the average value of the luminance of each RGB component of the predetermined number of extracted pixels is obtained, the average value of the luminance of each RGB component, and the luminance reference value preset for each RGB component, It is determined whether or not the difference is within an allowable range for each of the RGB components. By doing in this way, a stricter determination can be performed and the further improvement in color identification accuracy can be aimed at.
手段３．前記色識別検査に際しては、
予め設定された錠剤ウインドウを前記カラー画像データにおける前記錠剤の位置に合わせて位置決めする処理を行い、
前記錠剤ウインドウの領域内から前記所定数の画素を抽出するよう構成されていることを特徴とする手段１又は２に記載の外観検査装置。
Means 3 . In the color identification inspection,
A process for positioning a preset tablet window according to the position of the tablet in the color image data is performed,
The appearance inspection apparatus according to
上記手段３によれば、錠剤ウインドウを設定することにより、検査効率及び検査精度の向上を図ることができる。また、上記各手段の構成により、捺印錠剤の捺印部分等を除くために複雑な錠剤ウインドウの設定処理を行う必要もなく、検査前及び検査時のウインドウ設定処理の簡素化を図ることができる。なお、上記錠剤ウインドウは、錠剤内の領域と、錠剤外のシート部（包装用フィルム）の領域とを区別するための境界とされるもの、つまり検査における検査領域を画定するものであり、錠剤の形状に対応して設定される。従って、上記錠剤ウインドウは、少なくとも前記錠剤の外形よりも小さく設定されていることが好ましい。
According to the
手段４．前記錠剤は、半カプセル同士を組み合わせたカプセル錠であって、
前記錠剤ウインドウは、前記両半カプセルの境界部を含まないように二分割された構成となっており、
前記二分割された錠剤ウインドウの各領域内から前記所定数の画素を抽出し、前記半カプセル毎に前記色識別検査を行うことを特徴とする手段３に記載の外観検査装置。
Means 4 . The tablet is a capsule tablet in which half capsules are combined,
The tablet window is configured to be divided into two so as not to include the boundary between the half capsules,
The appearance inspection apparatus according to
上記手段４によれば、異なる色の半カプセル同士を組み合わせたカプセル錠に対しても、色識別検査を行うことができる。
According to the
手段５．手段１乃至４のいずれかに記載の外観検査装置を備えたことを特徴とするＰＴＰ包装機。
Means 5 . A PTP packaging machine comprising the appearance inspection apparatus according to any one of
手段５のように、外観検査装置をＰＴＰ包装機に備えることで、ＰＴＰシートの製造過程において不良品を効率的に除外できる等のメリットが生じる。 By providing the appearance inspection apparatus in the PTP packaging machine as in the means 5, there is a merit that defective products can be efficiently excluded in the manufacturing process of the PTP sheet.
以下、一実施形態について、図面を参照しつつ説明する。 Hereinafter, an embodiment will be described with reference to the drawings.
本実施形態では、外観検査装置をＰＴＰ包装機に装備することによって、ＰＴＰ包装機においてＰＴＰシートの外観不良が検査されるようになっている。図２（ａ），（ｂ）に示すように、ＰＴＰシート１は、複数のポケット部２を備えた包装用フィルムとしての容器フィルム３と、ポケット部２を塞ぐようにして容器フィルム３に取着されたカバーフィルムとしての密封用フィルム４とを有している。容器フィルム３は、例えば、ＰＰ（ポリプロピレン）やＰＶＣ（ポリ塩化ビニル）等の比較的硬質で所定の剛性を有する熱可塑性樹脂材料によって構成され、光透過性を有している（ここでは、透明を呈している）。密封用フィルム４は、アルミニウムによって構成されている。また、各ポケット部２には被充填物としての錠剤（カプセル錠も含まれる）５が１つずつ収容されている。なお、本実施形態における錠剤５は捺印錠剤であるが、便宜上、捺印部分の図示は省略する。また、錠剤５の表面色は、白色に近い色をしており、少なくとも捺印部分の色よりも明るい色となっている。
In the present embodiment, the appearance inspection device is equipped in the PTP packaging machine, whereby the appearance defect of the PTP sheet is inspected in the PTP packaging machine. As shown in FIGS. 2A and 2B, the
図１に示すように、ＰＴＰ包装機７は、錠剤５を容器フィルム３に自動的に包装するものである。具体的には、ＰＰ、ＰＶＣなどの帯状の樹脂フィルムをフィルム送りロール９とテンションロール１０，１１とで、加熱装置１２及び成形装置１３に送り込み、錠剤５充填用のポケット部２を樹脂フィルムに成形する。そして、樹脂フィルムにポケット部２の成形された容器フィルム３が、充填装置１４の下まで送られてくると、充填装置１４が各ポケット部２に錠剤５を自動的に充填する。
As shown in FIG. 1, the
一方、帯状に形成された密封用フィルム４は、テンションロール１６，１７を介してフィルム受けロール１８の方へと案内されている。フィルム受けロール１８には、加熱ロール１９が圧接可能となっており、該加熱ロール１９の外周面には、僅かに凸状に形成された格子状の線（図示略）が設けられている。そして、両ロール１８，１９間に、容器フィルム３及び密封用フィルム４が送り込まれるようになっている。両フィルム３，４が、両ロール１８，１９間を加熱圧接状態で通過することで、容器フィルム３に密封用フィルム４が取着される。これによって、錠剤５が各ポケット部２に充填された長尺状のＰＴＰフィルム２０が製造される。
On the other hand, the sealing
さて、前記充填装置１４の下流側、かつ、前記フィルム受けロール１８及び加熱ロール１９の上流側には、容器フィルム３の移送経路に沿って、容器フィルム３（充填された錠剤５）の外観不良を検査するための外観検査装置２１が配設されている。当該外観検査装置２１は、錠剤５の色を識別し、これを基に異種錠の混入の検出を主目的とする色識別検査を行うものである。
Now, on the downstream side of the filling
上記検査を経て、容器フィルム３に密封用フィルム４が取着された後、ＰＴＰフィルム２０は、図示しない打抜装置によってＰＴＰシート１単位に裁断される。なお、外観検査装置２１によって不良品判定された場合、そのＰＴＰシートは、図示しない不良シート排出機構によって別途排出される。
After the inspection, after the
さて、ＰＴＰ包装機７の概略は以上のとおりであるが、以下においては図１，３に基づき、外観検査装置２１についてより具体的に説明する。
Now, the outline of the
外観検査装置２１は、照明手段としての照明装置２２、撮像手段としてのカメラ２３、画像処理装置２４、モニタ２５、並びにキーボード２６等を備えている。
The
図１に示すように、照明装置２２は容器フィルム３のポケット部２開口側に設けられている。照明装置２２は白色光（可視光）を照射する図示しない光源を有している。また、カメラ２３としてはカラーカメラが採用されている。
As shown in FIG. 1, the
次にカメラ２３と照明装置２２との関係について説明する。本実施形態では、カメラ２３は、ＰＴＰフィルム２０の平面に対して、略垂直方向から撮像可能となっており、照明装置２２から照射された光は錠剤５及び密封用フィルム４を照らし、錠剤５及び密封用フィルム４から反射した光がカメラ２３によってカラー撮像されるように構成されている。そして、カメラ２３によって撮像された画像データ（カラー画像データ）は、当該カメラ２３内部においてデジタル信号（ＲＧＢ信号）に変換された上で、デジタル信号の形で画像処理装置２４に入力されるようになっている。
Next, the relationship between the
さて、上述した画像処理装置２４は、カメラ２３に対応した画像メモリ４１、マスキング手段４２、二値化手段４３、判定用メモリ４４、外観検査結果及び統計データメモリ４５、カメラタイミング制御手段４６、並びに、ＣＰＵ及び入出力インターフェース４７などから構成され、後述するような画像データの処理や、外観不良の判定等を実施可能なっている。なお、画像メモリ４１は、色情報を記憶可能なＲＧＢ画像メモリである。
The
従って、カメラ２３で撮像された画像データは、デジタル信号に変換された後、画像メモリ４１に記憶される。また、各画像データは、検査時においてマスキング手段４２によりマスキング処理が行われた後、再度画像メモリ４１に記憶され、同様に二値化手段４３により二値化された後、再度画像メモリ４１に記憶される。
Therefore, image data captured by the
ＣＰＵ及び入出力インターフェース４７は、各種処理プログラムを判定用メモリ４４の記憶内容などを使用しつつ実行するとともに、ＰＴＰ包装機７に制御信号を送出し又はＰＴＰ包装機７から動作信号などの各種信号を送受信するためのものである。これによって、例えば、ＰＴＰ包装機７の不良シート排出機構などを制御することができるようになっている。また、ＣＰＵ及び入出力インターフェース４７は、モニタ２５に表示データを送出する機能をも有する。かかる機能により、各種画像データや外観検査結果などを、モニタ２５に表示させることができるようになっている。さらに、ＣＰＵ及び入出力インターフェース４７は、キーボード２６からのデータを入力する機能をも有する。
The CPU and the input /
外観検査結果及び統計データメモリ４５（以下、単にデータメモリ４５という）は、画像データに関する座標等のデータ、外観検査結果データ、及び、該外観検査結果データを確率統計的に処理した統計データなどを記憶するものである。これらの外観検査結果データや統計データは、ＣＰＵ及び入出力インターフェース４７の制御に基づき、適宜モニタ２５に表示させることができる。また、これらの外観検査結果データや統計データに基づいてＣＰＵ及び入出力インターフェース４７がＰＴＰ包装機７に制御信号を送出することもできる。
The appearance inspection result and statistical data memory 45 (hereinafter simply referred to as the data memory 45) includes data such as coordinates relating to image data, appearance inspection result data, statistical data obtained by probabilistically processing the appearance inspection result data, and the like. It is something to remember. These appearance inspection result data and statistical data can be appropriately displayed on the
カメラタイミング制御手段４６は、カメラ２３が撮像する画像データを、画像メモリ４１に取り込むタイミングを制御するものである。かかるタイミングはＰＴＰ包装機７に設けられた図示しないエンコーダからの信号に基づいて制御され、ＰＴＰフィルム２０を所定量送るごとにカメラ２３によるシート単位（例えば打ち抜かれるＰＴＰシート単位）で撮像が行われる。
The camera timing control means 46 controls the timing at which image data captured by the
次に、上記ＰＴＰフィルム２０の外観検査（色識別検査）の手順について説明する。
Next, the procedure of appearance inspection (color identification inspection) of the
まず、外観検査に先だって事前に実行される検査前設定処理としての「検査前設定ルーチン」について図４のフローチャートに従って説明する。 First, a “pre-inspection setting routine” as a pre-inspection setting process executed in advance prior to the appearance inspection will be described with reference to the flowchart of FIG.
同ルーチンにおいては、先ずステップＳ１０１において、上記照明装置２２とは別に容器フィルム３のポケット部２突出側に設けられた図示しない照明装置を点灯させた状態で、カメラ２３により良品（不良品でないことが明らかなＰＴＰシート）を撮像し、当該良品の濃淡画像を取得する。
In this routine, first, in step S101, a non-defective product (not defective) is made by the
ステップＳ１０２において、照明装置２２の点灯状態でカメラ２３により良品のカラー画像（ＲＧＢ画像）を取得する。
In step S <b> 102, a good color image (RGB image) is acquired by the
ステップＳ１０３において、ステップＳ１０１で取得した良品濃淡画像から各錠剤５の位置データ〔座標データ（ｘ，ｙ）〕として当該錠剤５の重心位置の座標データ（以下、単に重心位置データという）を算出する。そして、これら各錠剤５の重心位置データを色識別検査における各錠剤５の基準位置データとして設定し、データメモリ４５に格納（記憶）する。なお、これらの処理は、良品濃淡画像を錠剤検知レベルとなる所定の閾値を基準に二値化し、これら二値化画像データを画像メモリ４１に格納した後に、当該二値化画像データを基に行われる。
In step S103, the coordinate data of the center of gravity of the tablet 5 (hereinafter simply referred to as the center of gravity position data) is calculated as the position data [coordinate data (x, y)] of each tablet 5 from the non-defective gray image acquired in step S101. . The center-of-gravity position data of each tablet 5 is set as reference position data for each tablet 5 in the color identification test, and stored (stored) in the
ステップＳ１０４において、ステップＳ１０３で取得した良品濃淡画像の二値化画像データを基に色識別検査用の錠剤ウインドウＰＷを設定する。本実施形態における錠剤ウインドウＰＷは、錠剤５内の領域（錠剤部領域）と、錠剤５外のシート部の領域（シート部領域）とを区別するための境界とされるものであり、図２（ｃ）に示すように、錠剤５の円と同心円をなし、かつ、直径が一回り（例えば約１ｍｍ）小さく設定される。そして、色識別検査に際しては、各検査画像データに関し、錠剤ウインドウＰＷが設定された上で、錠剤５内の領域について錠剤５の色の異常が検出されるようになっている。 In step S104, a tablet window PW for color identification inspection is set based on the binarized image data of the non-defective gray image acquired in step S103. The tablet window PW in the present embodiment is a boundary for distinguishing an area in the tablet 5 (tablet area) and a sheet area outside the tablet 5 (sheet area). As shown in (c), it is concentric with the circle of the tablet 5, and the diameter is set smaller (for example, about 1 mm). In the color identification inspection, the tablet window PW is set with respect to each inspection image data, and an abnormality in the color of the tablet 5 is detected in the region in the tablet 5.
ステップＳ１０５において、色識別検査における錠剤５の色基準値（輝度基準値）Ｆ０となる色基準値データ（判定基準値データ）を抽出する処理を行う。より詳しくは、ステップＳ１０３で取得した各錠剤５の重心位置データに合わせて錠剤ウインドウＰＷを良品カラー画像に位置決めした後、錠剤ウインドウＰＷ内から色基準値データを抽出し、判定用メモリ４４に格納（記憶）する。例えば、本実施形態では、錠剤ウインドウＰＷ内にある複数の画素の中から「輝度」（後述する式（１）参照）の高い順に３つの画素を抽出するとともに、当該３画素のＲＧＢ各成分毎の輝度の平均値Ｒ０，Ｇ０，Ｂ０を算出し、当該各平均値Ｒ０，Ｇ０，Ｂ０を構成成分とする色基準値Ｆ０（Ｒ０，Ｇ０，Ｂ０）を輝度基準値として設定する。なお、良品濃淡画像から得た錠剤５の重心位置データを基に、良品カラー画像において錠剤ウインドウＰＷを位置決めするようにしているのは、反射光を撮像した画像である良品カラー画像においては、錠剤５の背景部まで明るく映ってしまい、錠剤５の重心位置データを適正に算出することが困難であるためである。
In step S105, a process of extracting color reference value data (determination reference value data) that becomes the color reference value (luminance reference value) F0 of the tablet 5 in the color identification inspection is performed. More specifically, after positioning the tablet window PW to a non-defective color image in accordance with the gravity center position data of each tablet 5 acquired in step S103, color reference value data is extracted from the tablet window PW and stored in the
ステップＳ１０６で各種設定を行い、モニタ２５での表示処理を実行する。ここで、各種設定には、錠剤ウインドウＰＷの設定位置の確定処理などが含まれる。
Various settings are performed in step S106, and display processing on the
次に、外観検査（色識別検査）について図５のフローチャートに従って説明する。 Next, the appearance inspection (color identification inspection) will be described with reference to the flowchart of FIG.
図５の「色識別検査ルーチン」に示すように、色識別検査に際しては、先ずステップＳ２０１において、全ポケット部２に関してそれぞれ錠剤良品フラグを０に設定する。
As shown in the “color identification inspection routine” of FIG. 5, in the color identification inspection, first, in step S201, the non-defective tablet flag is set to 0 for all the
ステップＳ２０２において検査対象たるＰＴＰフィルム２０の検査カラー画像（ＲＧＢ画像）を取得する。
In step S202, an inspection color image (RGB image) of the
ステップＳ２０３において、ポケット番号カウンタ値Ｃ２（以下、単にポケット番号Ｃ２という）に１を設定する。 In step S203, 1 is set to the pocket number counter value C2 (hereinafter simply referred to as pocket number C2).
ステップＳ２０４においてポケット番号Ｃ２の値が一検査あたり（一シートあたり）のポケット数Ｎ以下であるか否かを判定する。 In step S204, it is determined whether or not the value of the pocket number C2 is equal to or less than the number N of pockets per inspection (per sheet).
ここで肯定判定された場合には、ステップＳ２０５において検査カラー画像に対し上記錠剤ウインドウＰＷを重ねる処理を行う。より詳しくは、ポケット番号Ｃ２に対応するポケット部２における錠剤５の重心位置を上記基準位置データを基に特定し、当該錠剤５の重心位置に錠剤ウインドウＰＷの中心位置を合わせるようにして検査カラー画像に対し錠剤ウインドウＰＷを位置決めする。加えて、錠剤ウインドウＰＷによって区別された各領域のうち、検査対象外となる部分（シート部領域）にマスキングを施す処理が行われる。
If an affirmative determination is made here, a process of superimposing the tablet window PW on the inspection color image is performed in step S205. More specifically, the position of the center of gravity of the tablet 5 in the
ステップＳ２０６において、錠剤５の色検出値Ｆ１となる色検出値データを抽出する処理を行う。より詳しくは、検査カラー画像の錠剤ウインドウＰＷ内にある複数の画素の中から「輝度」の高い順に３つの画素を抽出するとともに、当該３画素のＲＧＢ各成分毎の輝度の平均値Ｒ１，Ｇ１，Ｂ１を構成成分とする色検出値Ｆ１（Ｒ１，Ｇ１，Ｂ１）を算出する。なお、上記「輝度」は、例えば下式（１）により算出される。 In step S206, a process of extracting color detection value data to be the color detection value F1 of the tablet 5 is performed. More specifically, three pixels are extracted in descending order of “ luminance ” from a plurality of pixels in the tablet window PW of the inspection color image, and average values R1, G1 of luminance for each RGB component of the three pixels are extracted. , B1 as a constituent component is calculated as a color detection value F1 (R1, G1, B1). Note that the “luminance” is calculated by the following equation (1), for example.
「輝度」＝（Ｋ１×Ｒ）＋（Ｋ２×Ｇ）＋（Ｋ３×Ｂ） …（１）
上式（１）において、Ｒはその画素における赤の輝度、Ｇはその画素における緑の輝度、Ｂはその画素における青の輝度である。Ｋ１，Ｋ２，Ｋ３は定数で、例えばＫ１＝０．２９８９１２，Ｋ２＝０．５８６６１１，Ｋ３＝０．１１４４７８とすれば、視覚感度に略一致した輝度を得ることができる。また、Ｋ１＝Ｋ２＝Ｋ３＝１としてもよいし、例えばＫ１＝１，Ｋ２＝Ｋ３＝０として、赤のみの輝度を利用するなど、特定の色のみの輝度を基にしてもよい。また、Ｒ、Ｇ、Ｂの中で、最も輝度の高いものの輝度を、選択的にその画素の輝度としてもよい。
“ Luminance ” = (K1 × R) + (K2 × G) + (K3 × B) (1)
In the above equation (1), R is the red luminance at the pixel, G is the green luminance at the pixel, and B is the blue luminance at the pixel. K1, K2, and K3 are constants. For example, if K1 = 0.298912, K2 = 0.866611, and K3 = 0.14478, a luminance that substantially matches the visual sensitivity can be obtained. Alternatively, K1 = K2 = K3 = 1 may be used, or the luminance of only a specific color may be used, for example, K1 = 1, K2 = K3 = 0, and the luminance of only red may be used. In addition, the luminance of the highest luminance among R, G, and B may be selectively set as the luminance of the pixel.
ステップＳ２０７において、色検出値Ｆ１のＲＧＢ各成分（Ｒ１，Ｇ１，Ｂ１）から、色基準値Ｆ０のＲＧＢ各成分（Ｒ０，Ｇ０，Ｂ０）をそれぞれ減算した絶対値が、予め設定された色許容値Ｆ２のＲＧＢ各成分（Ｒ２，Ｇ２，Ｂ２）よりも小さいか否かをＲＧＢ各成分毎に判定する。そして、ＲＧＢ全成分について色許容値Ｆ２（Ｒ２，Ｇ２，Ｂ２）より小さいと判定された場合には、ステップＳ２０８において、錠剤５が良品であるものとして、ポケット番号Ｃ２に対応した錠剤良品フラグに１を設定し、ステップＳ２０９へ移行する。一方、ステップＳ２０７において否定判定された場合には、そのままステップＳ２０９へ移行する。そして、ステップＳ２０９においてポケット番号Ｃ２の値に１を加え、再びステップＳ２０４へ移行する。 In step S207, the absolute values obtained by subtracting the RGB components (R0, G0, B0) of the color reference value F0 from the RGB components (R1, G1, B1) of the color detection value F1 are set to the preset color tolerances. It is determined for each RGB component whether or not it is smaller than the RGB components (R2, G2, B2) of the value F2. When it is determined that all the RGB components are smaller than the color allowable value F2 (R2, G2, B2), the tablet non-defective flag corresponding to the pocket number C2 is set as a non-defective tablet 5 in step S208. 1 is set, and the process proceeds to step S209. On the other hand, if a negative determination is made in step S207, the process directly proceeds to step S209. In step S209, 1 is added to the value of the pocket number C2, and the process proceeds to step S204 again.
さて、上記ステップＳ２０４において否定判定された場合、すなわちポケット番号Ｃ２の値が一検査あたり（一シートあたり）のポケット数Ｎを超えたと判定された場合には、ステップＳ２１０において一検査あたり（一シートあたり）の全ポケット部２に関して錠剤良品フラグに１が設定されているか否かを判定する。ここで、肯定判定された場合にはステップＳ２１１において良品判定を行い、本処理を一旦終了する。一方、否定判定された場合には、ステップＳ２１２において不良品判定を行い、本処理を一旦終了する。これらの検査結果は、モニタ２５やＰＴＰ包装機７（不良シート排出機構を含む）に出力される。
When a negative determination is made in step S204, that is, when it is determined that the value of the pocket number C2 exceeds the number of pockets N per inspection (per sheet), per inspection (per sheet) It is determined whether or not 1 is set in the tablet non-defective product flag for all
以上詳述したように、本実施形態の色識別検査においては、検査カラー画像のうち錠剤５に相当する部分の複数の画素の中から「輝度」の高い順に３つの画素を抽出し、当該３画素のＲＧＢ各成分毎の輝度の平均値である色検出値Ｆ１（Ｒ１，Ｇ１，Ｂ１）を求め、当該色検出値Ｆ１（Ｒ１，Ｇ１，Ｂ１）と、ＲＧＢ各成分毎に予め設定された輝度基準値である色基準値Ｆ０（Ｒ０，Ｇ０，Ｂ０）との差が、ＲＧＢ各成分毎にそれぞれ許容範囲である色許容値Ｆ２（Ｒ２，Ｇ２，Ｂ２）内か否かを判定することで、錠剤５の色異常を検出する。従って、本実施形態のように検査対象が白色に近い色の錠剤５であっても、さらには表面に異物が付着した錠剤や捺印錠剤などであっても、錠剤５の高輝度領域を色識別領域とすることで、色識別精度を低下させることなく適正に色識別検査を行うことができる。結果として、色相Ｈ・彩度Ｓ・輝度Ｉを基にした従来の色識別検査に比べ、色識別精度の向上を図ることができる。 As described above in detail, in the color identification inspection according to the present embodiment, three pixels are extracted in order of increasing “ luminance ” from a plurality of pixels corresponding to the tablet 5 in the inspection color image. A color detection value F1 (R1, G1, B1) which is an average value of luminance for each RGB component of the pixel is obtained, and the color detection value F1 (R1, G1, B1) and each RGB component are preset. It is determined whether or not the difference from the color reference value F0 (R0, G0, B0), which is a luminance reference value, is within the allowable color range F2 (R2, G2, B2) for each RGB component. Thus, the color abnormality of the tablet 5 is detected. Therefore, even if the subject to be inspected is a tablet 5 with a color close to white as in the present embodiment, or even a tablet or a stamped tablet with foreign matter attached to the surface, the high-luminance area of the tablet 5 is color-identified. By setting the area, it is possible to appropriately perform the color identification inspection without reducing the color identification accuracy. As a result, it is possible to improve the color identification accuracy as compared with the conventional color identification inspection based on the hue H, the saturation S, and the luminance I.
以上説明した実施形態において、例えば、次のように構成の一部を適宜変更して実施することも可能である。勿論、以下において例示しない他の変更例も当然可能である。 In the embodiment described above, for example, a part of the configuration can be appropriately changed as follows. Of course, other modifications not exemplified below are also possible.
（ａ）上記実施形態では、検査対象となる錠剤の態様例としてタブレット錠が挙げられているが、錠剤の種類はこれに限られるものではなく、例えばカプセル錠等であってもよい。但し、カプセル錠は半カプセル同士を組み合わせた構成となっているため、錠剤ウインドウは両半カプセルの境界部を含まないように二分割された構成となり、カプセル錠を検査する際には、前記二分割された錠剤ウインドウの各領域内から所定数の画素を抽出し、半カプセル毎に色識別検査を行う。このようにすることで、異なる色の半カプセル同士を組み合わせたカプセル錠に対しても、色識別検査を行うことができる。 (A) In the said embodiment, although the tablet tablet is mentioned as an aspect example of the tablet used as test | inspection object, the kind of tablet is not restricted to this, For example, a capsule tablet etc. may be sufficient. However, since the capsule tablet has a configuration in which half capsules are combined, the tablet window is divided into two so as not to include the boundary portion of both half capsules. A predetermined number of pixels are extracted from each area of the divided tablet window, and color identification inspection is performed for each half capsule. By doing in this way, a color identification test | inspection can be performed also with respect to the capsule tablet which combined the half capsules of different colors.
（ｂ）上記実施形態では、検査カラー画像のうち錠剤５に相当する部分の複数の画素の中から輝度の高い順に３つの画素を抽出するように構成されているが、抽出する画素数はこれに限られるものではない。 ( B ) In the above embodiment, three pixels are extracted in order of increasing luminance from the plurality of pixels corresponding to the tablet 5 in the inspection color image. It is not limited to.
（ｃ）上記錠剤ウインドウの形状や大きさ等は適宜設定できるものであって、必ずしも上記実施形態に限定されるものではない。 ( C ) The shape and size of the tablet window can be set as appropriate, and are not necessarily limited to the above embodiment.
１…ＰＴＰシート、２…ポケット部、３…包装用フィルムとしての容器フィルム、４…カバーフィルムとしての密封用フィルム、５…錠剤、７…ＰＴＰ包装機、２１…外観検査装置、２２…照明手段としての照明装置、２３…撮像手段としてのカメラ、２４…画像処理装置、ＰＷ…錠剤ウインドウ。
DESCRIPTION OF
Claims (5)
少なくとも前記錠剤に対して所定の光を照射する照明手段と、
前記照明手段により照射された面を撮像する撮像手段と、
前記撮像手段から出力される画像信号を処理する画像処理装置とを備え、
前記画像信号から得たカラー画像データを基に前記錠剤の色異常を検出する色識別検査を実行可能に構成され、
前記色識別検査に際しては、
前記カラー画像データのうち前記錠剤に相当する部分の複数の画素の中から、当該画素における赤の輝度に第１の定数を乗算した値と、当該画素における緑の輝度に第２の定数を乗算した値と、当該画素における青の輝度に第３の定数を乗算した値との総和たる輝度の高い順に所定数の画素を抽出し、
当該所定数の画素のＲＧＢ各成分毎の輝度に基づく判定により前記錠剤の色異常を検出可能にしたことを特徴とする外観検査装置。 It is an appearance inspection device used in the manufacture of a PTP sheet in which a tablet is accommodated in a pocket portion formed in a packaging film and a cover film is attached so as to close the pocket portion,
Illumination means for irradiating at least the tablet with predetermined light;
Imaging means for imaging the surface illuminated by the illumination means;
An image processing device for processing an image signal output from the imaging means,
It is configured to be able to perform a color identification test for detecting color abnormality of the tablet based on color image data obtained from the image signal,
In the color identification inspection,
Among a plurality of pixels corresponding to the tablet in the color image data, a value obtained by multiplying the red luminance in the pixel by the first constant and a green constant in the pixel are multiplied by the second constant. A predetermined number of pixels in the descending order of luminance, which is the sum of the obtained value and the value obtained by multiplying the blue luminance of the pixel by the third constant ,
An appearance inspection apparatus characterized in that color abnormality of the tablet can be detected by determination based on luminance of each RGB component of the predetermined number of pixels.
少なくとも前記錠剤に対して所定の光を照射する照明手段と、
前記照明手段により照射された面を撮像する撮像手段と、
前記撮像手段から出力される画像信号を処理する画像処理装置とを備え、
前記画像信号から得たカラー画像データを基に前記錠剤の色異常を検出する色識別検査を実行可能に構成され、
前記色識別検査に際しては、
前記カラー画像データのうち前記錠剤に相当する部分の複数の画素の中から、当該画素における赤の輝度に第１の定数を乗算した値と、当該画素における緑の輝度に第２の定数を乗算した値と、当該画素における青の輝度に第３の定数を乗算した値との総和たる輝度の高い順に所定数の画素を抽出し、
当該所定数の画素のＲＧＢ各成分毎の輝度の平均値を求め、当該ＲＧＢ各成分の輝度の平均値と、ＲＧＢ各成分毎に予め設定された輝度基準値との差が、ＲＧＢ各成分毎にそれぞれ許容範囲内か否かを判定することで、前記錠剤の色異常を検出可能にしたことを特徴とする外観検査装置。 It is an appearance inspection device used in the manufacture of a PTP sheet in which a tablet is accommodated in a pocket portion formed in a packaging film and a cover film is attached so as to close the pocket portion,
Illumination means for irradiating at least the tablet with predetermined light;
Imaging means for imaging the surface illuminated by the illumination means;
An image processing device for processing an image signal output from the imaging means,
It is configured to be able to perform a color identification test for detecting color abnormality of the tablet based on color image data obtained from the image signal,
In the color identification inspection,
Among a plurality of pixels in the color image data corresponding to the tablet, a value obtained by multiplying the red luminance in the pixel by the first constant and a green constant in the pixel are multiplied by the second constant. A predetermined number of pixels in the descending order of luminance, which is the sum of the obtained value and the value obtained by multiplying the blue luminance of the pixel by the third constant ,
The average value of the luminance for each RGB component of the predetermined number of pixels is obtained, and the difference between the average value of the luminance of each RGB component and the luminance reference value preset for each RGB component is determined for each RGB component. In addition, it is possible to detect an abnormal color of the tablet by determining whether or not each is within an allowable range.
予め設定された錠剤ウインドウを前記カラー画像データにおける前記錠剤の位置に合わせて位置決めする処理を行い、
前記錠剤ウインドウの領域内から前記所定数の画素を抽出するよう構成されていることを特徴とする請求項１又は２に記載の外観検査装置。 In the color identification inspection,
A process for positioning a preset tablet window according to the position of the tablet in the color image data is performed,
Appearance inspection apparatus according to claim 1 or 2, characterized in that it is configured to extract the predetermined number of pixels from the area of the tablet window.
前記錠剤ウインドウは、前記両半カプセルの境界部を含まないように二分割された構成となっており、
前記二分割された錠剤ウインドウの各領域内から前記所定数の画素を抽出し、前記半カプセル毎に前記色識別検査を行うことを特徴とする請求項３に記載の外観検査装置。 The tablet is a capsule tablet in which half capsules are combined,
The tablet window is configured to be divided into two so as not to include the boundary between the half capsules,
The appearance inspection apparatus according to claim 3 , wherein the predetermined number of pixels are extracted from each region of the divided tablet window, and the color identification inspection is performed for each half capsule.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005008491A JP4332122B2 (en) | 2005-01-17 | 2005-01-17 | Appearance inspection device and PTP packaging machine |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005008491A JP4332122B2 (en) | 2005-01-17 | 2005-01-17 | Appearance inspection device and PTP packaging machine |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006194801A JP2006194801A (en) | 2006-07-27 |
| JP4332122B2 true JP4332122B2 (en) | 2009-09-16 |
Family
ID=36800991
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005008491A Active JP4332122B2 (en) | 2005-01-17 | 2005-01-17 | Appearance inspection device and PTP packaging machine |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4332122B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008146432A (en) * | 2006-12-12 | 2008-06-26 | Sumitomo Chemical Co Ltd | Method of detecting mark |
| JP5063235B2 (en) * | 2007-07-23 | 2012-10-31 | Ｃｋｄ株式会社 | Tablet inspection device and PTP packaging machine |
| JP5582610B2 (en) * | 2010-11-03 | 2014-09-03 | 学校法人早稲田大学 | Image identification apparatus and program |
| US9994347B2 (en) * | 2013-02-20 | 2018-06-12 | Yuyama Mfg. Co., Ltd. | Medicine inspection device and medicine packaging system |
| CN103888683B (en) * | 2014-03-24 | 2015-05-27 | 深圳市中兴移动通信有限公司 | Mobile terminal and shooting method thereof |
| JP6273339B1 (en) * | 2016-12-08 | 2018-01-31 | Ckd株式会社 | Inspection device and PTP packaging machine |
| JP6625786B2 (en) * | 2017-02-28 | 2019-12-25 | 株式会社オプティム | Anomaly detection system, anomaly detection method and program |
| CN116685419A (en) * | 2021-07-01 | 2023-09-01 | 普锐特冶金技术日本有限公司 | Abnormality detection device and abnormality detection method |
-
2005
- 2005-01-17 JP JP2005008491A patent/JP4332122B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006194801A (en) | 2006-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4332122B2 (en) | Appearance inspection device and PTP packaging machine | |
| US11017523B2 (en) | Inspection device and PTP packaging machine | |
| JP4368808B2 (en) | Appearance inspection device and PTP packaging machine | |
| JP4523474B2 (en) | Defect inspection device and PTP packaging machine | |
| JP4647643B2 (en) | Defect inspection device and PTP packaging machine | |
| JP4173184B2 (en) | PTP package appearance inspection equipment | |
| JP2003215047A (en) | Visual inspection apparatus and ptp packaging machine equipped with the same | |
| JP5352615B2 (en) | Tablet inspection device and PTP packaging machine | |
| JP3344995B2 (en) | Tablet surface inspection device | |
| JP4472499B2 (en) | Defect inspection device and PTP packaging machine | |
| JP4213108B2 (en) | Lighting device for visual inspection | |
| JP2005291939A (en) | Apparatus and method for inspecting ptp sheet | |
| JP5063235B2 (en) | Tablet inspection device and PTP packaging machine | |
| JP4477516B2 (en) | Inspection device and PTP packaging machine | |
| WO2021161619A1 (en) | Inspection device, packaging sheet manufacturing device, and inspection method | |
| JP4213106B2 (en) | Appearance inspection device and PTP packaging machine | |
| JP2006138683A (en) | Visual inspection device and ptp packaging machine | |
| JP4788870B2 (en) | Defect inspection device and PTP packaging machine | |
| JP5313999B2 (en) | Tablet inspection device and PTP packaging machine | |
| JP4201143B2 (en) | Appearance inspection device and PTP packaging machine equipped with appearance inspection device | |
| JP2006219178A (en) | Inspecting apparatus and ptp packaging machine | |
| JP4251325B2 (en) | Appearance inspection device and PTP packaging machine | |
| JP2004077495A (en) | Visual inspection device | |
| JP2020153803A (en) | Inspection device, ptp packaging machine, and method for producing ptp sheet | |
| JP4455348B2 (en) | Inspection device and PTP packaging machine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090324 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090427 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090616 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090619 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4332122 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130626 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130626 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140626 Year of fee payment: 5 |