JP2006292598A - Method of detecting foreign matter in container, and device therefor - Google Patents
Method of detecting foreign matter in container, and device therefor Download PDFInfo
- Publication number
- JP2006292598A JP2006292598A JP2005115224A JP2005115224A JP2006292598A JP 2006292598 A JP2006292598 A JP 2006292598A JP 2005115224 A JP2005115224 A JP 2005115224A JP 2005115224 A JP2005115224 A JP 2005115224A JP 2006292598 A JP2006292598 A JP 2006292598A
- Authority
- JP
- Japan
- Prior art keywords
- container
- image
- foreign matter
- imaging means
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
本発明は、撮像手段で得た液体が封入された透明な容器の映像から容器内に混入した異物を検出する容器内異物検出とその装置に関するものである。 The present invention relates to an in-container foreign matter detection and apparatus for detecting foreign matter mixed in a container from an image of a transparent container filled with a liquid obtained by an imaging means.
飲料水などを封止した容器内へ混入する異物の主たるものは、容器を成形製作する段階での容器材料の破片とか内容物の液体を充填する装置の部品や部品破片である。容器内に異物が混入することは殆ど発生しないが、人体への悪影響の可能性があることから、発生頻度に関わらず確実に発見、除去することが必要である。 The main foreign substances mixed in a container sealed with drinking water or the like are a part of a container material or a part of a part filled with a liquid of contents at the stage of forming and manufacturing the container. Although almost no foreign matter is mixed in the container, there is a possibility of adverse effects on the human body. Therefore, it is necessary to reliably detect and remove it regardless of the frequency of occurrence.
従来の全数検査としては人の目視に頼ったものであるが、異物検出の見逃しが発生する可能性があり、検査の自動化が求められる。そこで人の目視に代えて、容器厚みの変化がある透明な容器に照明光を照射し、撮像手段で得た容器の映像から画像処理によって容器内に混入した異物を検出する装置が種々提案されている。 Although the conventional 100% inspection relies on human visual inspection, there is a possibility that foreign object detection may be overlooked, and automation of the inspection is required. In view of this, various devices have been proposed for irradiating a transparent container with a change in container thickness with illumination light, and detecting foreign matter mixed in the container by image processing from the image of the container obtained by the imaging means. ing.
撮像手段を使って搬送路上を順次搬送されていく容器内部の異物を検出する従来技術として、下記特許文献に記載のものがある。 As a conventional technique for detecting foreign matter inside a container that is sequentially transported on a transport path using an imaging means, there is a technique described in the following patent document.
撮像手段としてCCD(電荷結合素子)カメラを使って異物検出制御部内で映像(画像)処理する場合、映像情報に関わる一連の動作時間は、(1)露出時間(CCDの各画素に電荷を蓄積させる時間)t1、(2)読出時間(カメラコントローラがCCDの各画素から画像データとして電荷の大きさと位置データを読み出し、画像処理装置に転送するまで内蔵メモリに一時的に保管している時間)t2、(3)データ転送時間(カメラコントローラの内蔵メモリに一時的に保管している画像データを画像処理装置などの記憶領域に記憶させるためのデータ転送時間)t3、(4)画像処理時間(記憶領域の画像データを使って画像処理の種々の演算を行なう時間)t4の4項目が大部分を占めており、通常、前記(1)と(2)を合わせて撮像時間,撮像時間で露出と読み出しを行うことを撮像と呼ぶ場合が多い。 When image (image) processing is performed in the foreign matter detection control unit using a CCD (Charge Coupled Device) camera as an image pickup means, a series of operation times related to image information are (1) exposure time (accumulation of charge in each pixel of CCD) T1), (2) Read time (time when the camera controller reads the charge magnitude and position data as image data from each pixel of the CCD and temporarily stores it in the built-in memory until it is transferred to the image processing device) t2, (3) Data transfer time (data transfer time for storing image data temporarily stored in the built-in memory of the camera controller in a storage area such as an image processing device) t3, (4) Image processing time ( 4 items of t4 (time for performing various operations of image processing using the image data in the storage area) occupy the most, and usually the above (1) and (2) are combined. Image time, often referred to as imaging to perform the exposure and read by the imaging time.
1本の容器を画像処理する場合には、露出時間、読出時間、データ転送時間、画像処理時間を加算した総和時間Tが必要であり、先行した容器の映像を画像処理している最中には、次に搬送される容器の画像処理に制限が発生する。 When image processing is performed on one container, a total time T obtained by adding the exposure time, readout time, data transfer time, and image processing time is required, and the image of the preceding container is being image processed. However, there is a restriction on image processing of the next transported container.
CCDカメラへの露出中は光の強度に応じて素子に電荷を蓄積しており、この時間中は現在の映像の光量データを取り込んでおり、データの混同を避けるため次の露出はできず、また、露出が終了するまで読み出しもできない。 During exposure to the CCD camera, electric charge is accumulated in the element according to the intensity of light, and during this time, the current light amount data is captured, and the next exposure cannot be performed to avoid data confusion, Also, reading cannot be performed until the exposure is completed.
露出が終了すれば、各素子の電荷量を順次取り出す読出時間となる。この読出時間中もデータの混同を避けるため、次の映像の露出はできない。つまり、CCDカメラの露出時間中に、次の映像の露出や前の映像の読み出しはできない。 When the exposure is completed, it becomes a reading time for sequentially taking out the charge amount of each element. During the readout time, the next video cannot be exposed to avoid data confusion. That is, during the exposure time of the CCD camera, the next image cannot be exposed or the previous image cannot be read.
このため、隣同士の容器が接触したり、容器間隔が小さい状態での搬送では、前の映像の処理が終了する前に次の映像の露出タイミングとなる可能性があり、正常な映像処理を確実に実行するために、タイミングスクリューなどの機器を設置して容器間隔を一定量確保するための手段を設けたり容器の搬送速度を下げたりして、単位時間当たりの処理数を下げる必要がある。 For this reason, if the containers next to each other are in contact with each other or transported in a state where the distance between the containers is small, there is a possibility that the next video will be exposed before the processing of the previous video is completed. In order to ensure execution, it is necessary to reduce the number of treatments per unit time by installing a device such as a timing screw to provide a means for securing a certain amount of container spacing or reducing the container transport speed. .
この問題は、容器内に混入したより小さい異物を検出しようとして、画素数が多いCCDカメラを使用するほど、データ量が多くなるために顕著に現われてくる。 This problem becomes conspicuous because the amount of data increases as a CCD camera having a larger number of pixels is used to detect smaller foreign matters mixed in the container.
それゆえ本発明の目的は、先行容器の映像を処理中であっても、後続容器の映像の処理が可能で、容器間隔確保手段を簡便にして、容器間隔の制限を緩和した状態で異物検査をすることができ、単位時間当たりの処理能力が高い容器内異物検出装置を提供することにある。 Therefore, the object of the present invention is to process the image of the succeeding container even while processing the image of the preceding container, simplify the container interval securing means, and reduce the limit of the container interval. An object of the present invention is to provide a container foreign matter detecting device that can perform processing and has a high processing capacity per unit time.
また、本発明の目的は、小さい異物でも時間を掛けることなく検出することができる容器内異物検出装置を提供することにある。 Another object of the present invention is to provide an in-container foreign object detection device that can detect even a small foreign object without taking time.
上記の目的を達成する本発明容器内異物検出方法の特徴とするところは、搬送路上を等間隔で搬送される任意個数の容器に対応するように任意個数と同数の撮像手段を設置しておき、各撮像手段で同時に任意個数毎に各撮像手段での画像データについて露出と読み出しを行ない、その後、画像処理手段への各撮像手段での画像データのデータ転送を順次行なって、各撮像手段での画像データについて画像処理手段で画像処理を順次行なうことにある。 A feature of the container foreign matter detection method of the present invention that achieves the above object is that an arbitrary number of imaging means are installed so as to correspond to an arbitrary number of containers transported at equal intervals on the transport path. The image data is exposed and read out for each arbitrary number of image data at the same time by each image pickup means, and then the image data at each image pickup means is sequentially transferred to the image processing means. The image processing means sequentially performs image processing on the image data.
また、上記の目的を達成する本発明容器内異物検出装置の特徴とするところは、撮像手段で得た液体が封入された透明な容器の映像から容器内に混入した異物を検出する容器内異物検出装置において、搬送路上を等間隔で搬送される任意個数毎の容器に対応するように搬送路上に設置した任意個数と同数の撮像手段、各撮像手段で同時に任意個数毎に各撮像手段での画像データについて露出と読み出しを行ない、その後、画像処理手段への各撮像手段での画像データのデータ転送を順次行なって、各撮像手段での画像データについて画像処理手段で画像処理を順次行なう異物検出制御装置を有することにある。 Further, the foreign object detection device in the container that achieves the above object is characterized in that the foreign object in the container that detects the foreign material mixed in the container from the image of the transparent container filled with the liquid obtained by the imaging means. In the detection device, the same number of image pickup means installed on the transfer path so as to correspond to the arbitrary number of containers transferred on the transfer path at equal intervals, and each image pickup means at the same time for each arbitrary number of image pickup means Foreign matter detection in which image data is exposed and read out, and then image data is transferred to each image processing means sequentially to the image processing means, and image processing is sequentially performed on the image data in each image pickup means. To have a control device.
本発明によれば、撮像手段を複数設置し、複数の容器毎に部分的に同時処理、特に撮像を同時に行うことで、全体として処理時間を短縮でき、処理能力が高まる。処理時間の短縮で発生する余裕時間が容器間隔のばらつきを吸収し、容器間隔を厳密に確保する必要無く検査でき、検査システムとしての信頼性が向上する。 According to the present invention, by installing a plurality of imaging means and partially performing simultaneous processing, particularly imaging, for each of a plurality of containers, the processing time can be shortened as a whole, and the processing capability is enhanced. The extra time generated by shortening the processing time absorbs the variation in the container interval, and the inspection can be performed without the need to ensure the container interval strictly, and the reliability as the inspection system is improved.
また、画素数が多いCCDカメラを使用しても全体として処理時間を短縮でき、時間を掛けることなく小さい異物を検出することができる。 Further, even when a CCD camera having a large number of pixels is used, the processing time as a whole can be shortened, and a small foreign object can be detected without taking much time.
以下、図に示す一実施形態を説明する。 Hereinafter, an embodiment shown in the drawings will be described.
第一の実施形態を示す図1,図2において、10は容器整列部、11は入口搬送コンベア、12は搬送停止板、13は容器整列グリップコンベアである。 In FIGS. 1 and 2 showing the first embodiment, 10 is a container alignment unit, 11 is an inlet transfer conveyor, 12 is a transfer stop plate, and 13 is a container alignment grip conveyor.
透明なPET製の容器1は容器1を搭載する部分が樹脂製あるいはゴム製である入口搬送コンベア11上を両図において右側から左方向に順次連続して搬送される。容器1には主に薬品や飲料である液体が既に充填されており、さらに容器蓋2で封止されている。
The
容器1と内容物(容器内に充填・封入してある液体)は、無色透明なものに限らず、有色透明や一般の環境光では不透明とされる場合であっても、光透過の度合いに応じて異物検出の対象とすることができる。
The
通常、異物検出はこの容器蓋2で封止された後に実施し、異物検出を実施する工程では容器1の外表面に光学的障害となる印刷物などは存在せず、異物が検出されず、良品と判断された容器1に対してのみ印刷物などを貼る場合が多い。
Normally, foreign matter detection is performed after sealing with the
図3に示すように、容器1に混入する異物としては、容器の底部に沈澱する沈澱異物3aと液中に浮遊する浮遊異物3bと液面に浮上する浮上異物3cに分かれ、浮上異物3cは沈澱異物3aや浮遊異物3bなどより少ない。また、多くの場合、沈澱異物3aは、浮遊異物3bや浮上異物3cなどより小さい。
As shown in FIG. 3, the foreign matter mixed in the
なお、図3(a)は容器1の縦断面図、図3(b)は底側から容器1を見た底面図、図3(c)は異物が沈澱した容器1の底部を拡大して示す部分的縦断面図である。
3A is a longitudinal sectional view of the
図1,図2に戻って、入口搬送コンベア11上を移動してくる容器1は、容器整列部10において容器整列グリップコンベア13のグリッパ14によって容器側面を両側から挟み込みながら搬送する。左右両側(図1では、図の上下両側)に分かれている容器整列グリップコンベア13は、各々に設置したモータがインバータによって回転駆動される。
Returning to FIGS. 1 and 2, the
グリッパ14は、図4(a)に示すごとく、ゴム製で内部が中空のかまぼこ型になっており、対向する両側の隙間の管理だけで、丸型や角型といった容器形状の違い、容器表面の起伏の有無に関わらず挟み込むことができるようになっている。
As shown in FIG. 4 (a), the
取り扱う容器の種類によっては、容器の側面起伏が大きい容器、あるいは線対象となっていない容器に対しても、内部が中空であるためグリッパ14の変形で一定範囲までは対応できる。またこのような容器に対しては、図4(b)に示すスポンジ製で鋸歯状のグリッパ15を用いてもよい。
Depending on the type of container to be handled, even a container having a large side undulation of the container or a container that is not a line target can be accommodated up to a certain range by deformation of the
図1,図2に戻って、容器1の挟み込みを行なう左右両側の容器整列グリップコンベア13は、各々右ネジと左ネジを持つ共通の一本のボールネジで直線上をスライドできる構造になっている。ボールネジの片端には回転ハンドルを付けてあり、回転ハンドルの正転方向への回転で左右両側の容器整列グリップコンベア13の隙間は小さくなり、回転ハンドルの逆転方向への回転では隙間は大きくなり、異なる容器種類への対応が極めて簡便に行なうことができる。なお、左右両側の容器整列グリップコンベア13の前後に搬送用ガイドも固定しておけば、容器整列グリップコンベア13の隙間の変更と同時に入口搬送コンベア11のガイド間隔も変わり、段取り替えがさらに簡便にできる。
1 and 2, the container
また、製造ライン全体の搬送上の都合などにより、容器1を異物検出装置内への搬送を止めたい場合には、入口搬送コンベア11の側方に設けた搬送停止板12を入口搬送コンベア11上を横切るように挿入して、容器1の投入を強制的に停止するようにしている。
Further, when it is desired to stop the conveyance of the
次に、図2で容器整列部10の機能を説明する。
入口搬送コンベア11の速度V1に対して、容器整列グリップコンベア13の速度V2は小さくしてある。
Next, the function of the
The speed V2 of the container
搬送停止板12が退避された状態において、容器1は入口搬送コンベア11の速度V1で搬送されてくると、容器整列グリップコンベア13によって挟まれ、速度V2に減速して移動することとなり、入口搬送コンベア11とは速度が異なるので、容器1は入口搬送コンベア11に対し底面をすべらせながら搬送される。容器整列グリップコンベア13の下流端で容器整列グリップコンベア13から容器1が開放されると、再び入口搬送コンベア11の速度V1に増速される。
If the
容器整列グリップコンベア13に入る位置までは様々な間隔であった容器1は、容器整列グリップコンベア13に挟まれている区間では一旦容器間隔が詰まり、容器間隔はP1まで小さくなる。次に、容器整列グリップコンベア13から開放された時点で最終的な間隔である希望する間隔P2になっていく。
The
従って、速度V1と速度V2の相対速度差によって容器間隔P2を調節することができ、速度V1に対して速度V2が小さいほど容器間隔P2を大きくすることができる。 Therefore, the container interval P2 can be adjusted by the relative speed difference between the speed V1 and the speed V2, and the container interval P2 can be increased as the speed V2 is smaller than the speed V1.
容器整列部10で容器間隔P2が確保された容器1は、入口搬送コンベア11上の浮遊異物検査部20に達する。装置架台Fの浮遊異物検査部20に対応する箇所には、照明光源21(図2参照)を設置してある。
The
浮遊異物検査部20の構成を示す図5において、ハロゲンランプを持つ照明光源21からの光をライトガイド22経由で照明光照射手段23から容器1の側方に照射する。照明光源21としては、ハロゲンランプの他に蛍光燈,LED,EL,白熱灯,メタルハライドランプ,赤外光ランプ,紫外光ランプ,その他面発光型照明装置を使うことができる。
In FIG. 5 showing the configuration of the floating foreign
ライトガイド22の内部は数百本程度の光ファイバを束ねた状態であり、照明光照射手段23で光ファイバを分け、各光ファイバの先端は直線状に配置し固定している。光ファイバの先端では光が一定の広がり角度を持つため、照明光照射手段23との距離が大きくなるに従い、直線状から徐々に広がりを持つ矩形状の透過照明光24となる。
The inside of the
容器1と反対の側方には、容器1を撮像するCCDから成る撮像カメラ(撮像手段)25を1台または複数台配置してある。図5は2台配置してある例である。
On the side opposite to the
容器1が浮遊異物検出部20に到着したことは容器検知センサ26で検知し、検知結果に基づいて図7の異物検出制御装置60は新たな映像としての撮像やデータ転送の制御及び画像処理などを行なう。容器検知センサ26としては、図示する光反射光式のほかに、光透過光式,超音波式のものを用いても良い。
The
撮像カメラ25は、視野の広さから認識すべき異物サイズを計算し、カメラの解像度との兼ね合いで設置台数を決める。図5の浮遊異物検出では2台設置しており、容器1の上半分と下半分を分割して撮像するようにした例である。別々に撮像しておいて、撮像後に後述する異物検出制御装置60(図7参照)で合成処理を行ない、境界線を判別して一つの画像としても良い。
The
撮像カメラ25は、容器1における浮遊異物が沈澱異物に較べて大きい場合が多く撮像しやすいために、画素数が少ないCCDカメラを用いている。
The
図2において、容器1は、浮遊異物検査部20を通過後に沈澱異物検査部30のグリップコンベア31の先端に達する。容器1は容器間隔P2が確保された状態で、沈澱異物検査部グリップコンベア31に取り付けられたグリッパ32に挟み込まれながら搬送される。
In FIG. 2, the
沈澱異物検査部グリップコンベア31の構造は、容器整列グリップコンベア13と同様であり、容器1の両側面を挟み込みながら搬送できるようになっている。左右隙間の調節も同様に共通のボールネジに取り付けた回転ハンドルによって行なう。
The structure of the settled foreign matter inspection
沈澱異物検査部グリップコンベア31が容器1の両側面を挟み込んでいる領域には、容器整列部10での入口搬送コンベア11に相当するコンベアは存在せず、容器1の底部は開放状態にある。
There is no conveyor corresponding to the entrance transport conveyor 11 in the
この沈澱異物検査部30の構造を、図6に示す。
グリッパ32は、図4(b)のスポンジ製で鋸歯状のものを使っている。図6の沈澱異物検出部30には、容器1の搬送方向に2個の照明光照射手段33a,33bを並べて設置してある。
The structure of the precipitated foreign
The
容器1の側面にはグリッパ32があり、装置架台Fに設置してあるハロゲンランプを持つ照明光源34a,34b(図2参照)からの光をライトガイド35a,35bを経由して照明光照射手段33a,33bから容器1に上方より照射している。照明光源34a,34bとしては、浮遊異物検査部10の場合と同様のものを使えばよい。
A
ライトガイド35a,35b内の光ファイバの先端は、照明光照射手段33a,33bにおいて直下を向けて、容器1の真上でリング状に固定している。浮遊異物検査の場合と同様に、光ファイバの先端では光が一定の広がり角度を持つ。このため、照明光照射手段33a,33bからの距離が大きくなるに従い、沈澱異物検査の場合はリング状から徐々に円状の透過照明光36a,36bとなる。このとき、照明光照射手段33a,33bでは光ファイバの先端がリング状配置であることから、不透明な材料の場合もある容器蓋2の影を容器1の底側に投影することはなく、異物検出における障害とはならない。容器蓋2の影が容器1の底側に投影される影響を一層避けるために、照明光照射手段33a,33bにおけるリング状配置直径は容器蓋2より大きくしておくことが良い。
The tips of the optical fibers in the light guides 35a and 35b are fixed in a ring shape directly above the
沈澱異物検査部グリップコンベア31の下方には、容器1を撮像するCCDから成る撮像カメラ37a,37bを2台上向きで配置してある。撮像カメラ37a,37bは、それぞれ照明光照射手段33a,33bから発せられ容器1を上方より透過した照明光36a,36bを捉える。
Two
沈澱異物は小さいものまで検出することを求められることが多いので、各撮像カメラ37a,37bは浮遊異物を検出するための撮像カメラ25に較べて高画素数(4倍以上)のものを用いている。
Since it is often required to detect even a small amount of precipitated foreign matter, each
容器1は、撮像カメラ37a,37bの上方を順次通過する。容器1が撮像カメラ37a上を通過するが、撮像カメラ37a上に到着したことは容器検知センサ38aで検知する。
The
容器間隔P2を持って並んで搬送される多数の容器1は、2個で1組の容器群として扱い、撮像カメラ37a,37bは2個で1組の容器群に対応している。
A large number of
2個で1組とされた容器群は、先行する容器1が上流側の撮像カメラ37aで撮像され、搬送されて、この容器1は次に下流側の撮像カメラ37b上を通過するが、撮像カメラ37b上に到着したことを容器検知センサ38bで検知しても、無視して撮像カメラ37bによる撮像を行なわない。
In the group of two containers, the preceding
一方、2個で1組とされた容器群における後続の容器1については、上流側の容器検知センサ38aが後続容器1を検知しても無視し、上流側の撮像カメラ37aで撮像することなく、下流側の容器検知センサ38bで検知した場合に下流側の撮像カメラ37bで撮像を行なう。
On the other hand, with respect to the
三番目に搬送される容器1は、2個で1組とされた次の容器群における先行する容器として扱うことになる。このように各容器1は撮像カメラ37a,37bにより交互に撮像され、奇数番目の容器1の取り扱いと偶数番目の容器1の取り扱いは各々同じものになっている。従って、2個の容器1が沈澱異物検査部20に1組の容器群として揃うたびに、各容器1はそれぞれ撮像カメラ37a,37bによりそれぞれ同時に撮像される。
The
浮遊異物検査部10と沈澱異物検査部20及びその周囲は図示していない遮光カバーで囲み、容器1および撮像カメラ25,37a,37bへの光学的外乱となる周囲からの光を遮断し、安定した異物の検出を行な得るようにしてある。
The floating foreign
ここで、図7で異物検出制御装置60について説明する。
浮遊異物検査部10や沈澱異物検査部20での容器検知センサ26,38a,38bにおける検知結果は、I/Oインタフェース61を介して主演算器62で把握し、シャッタ信号制御部63及びカメラコントローラ64により撮像カメラ25,37a,37bのシャッタ信号に反映させる。
Here, the foreign object detection control device 60 will be described with reference to FIG.
The detection results of the
シャッタ信号に基づいて撮像カメラ25,37a,37bで容器1の映像を撮像し、カメラコントローラ64からカメラインターフェース65を介して画像処理を行なう画像データ記憶部66に一旦蓄積し、主演算器62の画像処理プログラム上で異物を抽出する画像処理を行なう。
Based on the shutter signal, the
カメラコントローラ64は複数のAD変換回路やメモリへのデータの書き込みと読み出しを行うメモリ回路を備えている。
The
主演算器62は、画像処理プログラムのほかに容器検知センサ26,38a,38bからの容器検知結果に従って撮像カメラ25,37a,37bで撮像して得た画像データを得る撮像処理プログラムなどを備えている。画像処理プログラムは公知の技術によるものであり、撮像処理プログラムは以下説明するようにシーケンス制御によるものであるから、両プログラムについての詳細な説明は省略する。
In addition to the image processing program, the
撮像画像や撮像画像に対して既に処理を施した映像は、画像モニタ67に表示する。また、装置の起動、停止、エラーは操作スイッチ68や表示ランプ69で管理し、これらの管理や映像の画像処理を含めた装置全体の稼動状況管理を主演算器62と主記憶部70で担っている。この装置全体の稼動状況はモニタ71に表示している。
The captured image and the video that has already been processed are displayed on the
図8は、浮遊異物を内部に含む容器1の映像(画像)の一例を示しており、図8(a)は図7に示した主演算器62の画像処理プログラムにより画像処理する前の撮像カメラ25で得た濃淡画像M1であり、図8(b)は主演算器62の画像処理プログラムにより画像処理を行った後の白と黒からなる二値画像M2である。
FIG. 8 shows an example of an image (image) of the
浮遊異物の濃淡画像M1において、容器範囲内での縦横の線のごとく、容器1の側壁部における容器起伏の影響を受けることによる暗部が発生する。照明光によってこの暗部の起伏模様を可能な限り無くして画像処理をすることにより、図8(b)の二値画像M2のごとく容器1の輪郭とその周辺部とを白黒に分け、容器領域内への黒物体の有無を検索する。
In the grayscale image M1 of the floating foreign matter, a dark portion is generated due to the influence of the container undulation on the side wall portion of the
黒い物体が異物画像R1であり、二値画像M2において、異物画像R1が存在すれば不良容器として、存在しなければ良品容器として、検査結果を図7に示した主記憶部70で管理しておく。
The black object is the foreign object image R1, and in the binary image M2, if the foreign object image R1 exists, the inspection result is managed by the
また、図9には沈澱異物を内部に含む容器を撮像カメラ37a,37bで撮像した映像の一例を示している。図8(a)は図7に示した主演算器62の画像処理プログラムによる画像処理を行う前の濃淡画像N1であり、図8(b)は主演算器62の画像処理プログラムにより画像処理を行った後の白と黒からなる二値画像N2である。
FIG. 9 shows an example of an image obtained by imaging the container containing the precipitated foreign matter with the
沈澱異物の場合も、沈澱異物の濃淡画像N1において、容器範囲内での放射状の線のごとく、容器1の底部における容器起伏の影響を受けることによる暗部が発生する。照明光によってこの暗部の起伏模様を無くし画像処理をすることにより、図9(b)の二値画像N2のごとく容器の輪郭とその周辺部とを白黒に分け、容器領域内への黒物体の有無を検索する。
Also in the case of the precipitated foreign matter, a dark part is generated in the grayscale image N1 of the precipitated foreign matter due to the influence of the container undulation at the bottom of the
黒い物体が異物画像R2であり、二値画像N2において、異物画像R2が存在すれば不良容器として、存在しなければ良品容器として、検査結果を浮遊異物と併せて図7に示した主記憶部70で管理しておく。 The black object is the foreign object image R2, and in the binary image N2, if the foreign object image R2 is present, the main memory unit shown in FIG. It is managed at 70.
図1にもどって、浮遊,沈澱の各異物検出検査を終えると、図7に示した主記憶部70で管理された検査結果に応じて、容器排斥部80で選別する。
Returning to FIG. 1, when the floating and sediment foreign body detection inspection is completed, the
不良容器であれば、出口搬送コンベア81の側方から容器押出しユニット82によって容器1を容器排出コンベア83側に押し出すことで、通常の製造ラインから排斥する。この容器押出しユニット82に代えて、後工程において排斥できるように容器1の目立つ位置に目印となる不良識別マークを付加しておく手段を設けても良い。
If it is a defective container, it will be discharged | emitted from a normal manufacturing line by pushing out the
次に、主演算器62が備えている撮像処理プログラムについて説明する。
主演算器62における撮像処理プログラムについて、撮像カメラ2台(37a,37b)で異物検出を行なう場合の処理時間により撮像カメラ1台の場合の処理時間と比較しながら説明する。
Next, an imaging processing program provided in the
The imaging processing program in the
撮像カメラ2台での撮像は2個の容器の画像データを得ることであるので、撮像カメラ1台の場合の処理時間は1台の撮像カメラで2個の容器の画像データを得ることとする。 Since imaging with two imaging cameras is to obtain image data of two containers, the processing time in the case of one imaging camera is to obtain image data of two containers with one imaging camera. .
図10に示すように、撮像カメラ1台で2個の容器の画像データを得る一連の処理時間として、先ず第一に撮像カメラ内に電荷を蓄積させる露出時間t1がかかる。第二に各素子から画像データ(電荷の大きさと位置データ)を読み出し一時保管する読出時間t2が掛る。 As shown in FIG. 10, as a series of processing times for obtaining image data of two containers with one imaging camera, firstly, an exposure time t <b> 1 for accumulating charges in the imaging camera is required. Second, it takes a read time t2 for reading and temporarily storing image data (charge magnitude and position data) from each element.
次に、画像データを画像データ記憶部66に記憶させるためのデータ転送時間t3を要し、最後に記憶領域の画像データを使って種々の演算を行なう画像処理時間t4を要する。
Next, a data transfer time t3 for storing the image data in the image
それぞれの時間で同時に実行できないため、以上4項目の合計時間T0が1個の容器の映像を処理するために必要な合計時間T0となる。 Since it cannot be executed simultaneously at each time, the total time T0 of the above four items becomes the total time T0 necessary for processing the image of one container.
図10の撮像カメラ1台の場合は、露出時間t1〜画像処理時間t4までが全て前の処理が終わり次第、次の処理が始まる繰返処理となってしまう。即ち、2個目の容器の映像処理は、1個目の容器の映像処理が全て終わってから待ち時間δ1を経過して開始する。3個目の容器を考慮すると、2個目の容器の処理後についても待ち時間δ1を設ける必要があり従って、2個の容器の処理時間はT1=2×(T0+δ1)時間、つまりT1=2×(t1+t2+t3+t4+δ1)の時間が掛かることになる。なお、この待ち時間δ1の必要性については、後述する。 In the case of the single imaging camera of FIG. 10, the exposure time t1 to the image processing time t4 are all repeated until the next process starts as soon as the previous process ends. That is, the video processing of the second container starts after the waiting time δ1 has elapsed after all the video processing of the first container has been completed. Considering the third container, it is necessary to provide the waiting time δ1 even after the processing of the second container. Therefore, the processing time of the two containers is T1 = 2 × (T0 + δ1) time, that is, T1 = 2. It takes time of x (t1 + t2 + t3 + t4 + δ1). The necessity of this waiting time δ1 will be described later.
撮像カメラ2台による場合は、撮像カメラ2台を本実施形態における一つのカメラコントローラ64に接続する場合と、撮像カメラ2台を各々個別のカメラコントローラに接続する場合の二つの方法を採ることができる。個別のカメラコントローラを用いる場合、各カメラコントローラと画像データ記憶部の間に個別のカメラインターフェースを介在させてあり、画像データ記憶部は各カメラコントローラから各カメラインターフェースを介して各撮像カメラでの画像データを同時に受信できるようになっている。
In the case of using two imaging cameras, two methods can be used: two imaging cameras are connected to one
前者での処理時間を図11に、後者での処理時間を図12に示す。 The processing time in the former is shown in FIG. 11, and the processing time in the latter is shown in FIG.
なお、図11,図12では、2個の容器が搬送コンベア上を同一速度で搬送されるものとして、図10の例を基に説明する。 11 and 12, the description will be made based on the example of FIG. 10 on the assumption that two containers are transported on the transport conveyor at the same speed.
図11の例では、撮像を行なう露出時間t1は、撮像カメラ37aと撮像カメラ37bで同時に実行できる。読出時間t2もカメラコントローラ64が複数のAD変換回路とメモリ回路を備えているので、同時に行なえる。その後の画像データ記憶部66を共通で用いるため、前半で撮像カメラ37aでの画像データのデータ転送時間t3aと画像処理時間t4aに続き、撮像カメラ37bでの画像データのデータ転送時間t3bと画像処理時間t4bを要する。
In the example of FIG. 11, the exposure time t1 at which imaging is performed can be executed simultaneously by the
2個の容器の処理時間としては、T2=t1+t2+t3a+t4a+t3b+t4bの時間が掛ることになる。 The processing time for the two containers is T2 = t1 + t2 + t3a + t4a + t3b + t4b.
処理時間T2は1個分の露出時間t1と読出時間t2が重なっているので、処理時間T1に対して(t1+t2)時間分の余裕時間δ2を持つことができる。 In the processing time T2, since the exposure time t1 for one piece and the reading time t2 overlap each other, it is possible to have a margin time δ2 corresponding to (t1 + t2) hours with respect to the processing time T1.
他方、図12の例では、異物検出制御装置60の記憶領域は共通なものの、カメラコントローラとカメラインターフェースを撮像カメラ毎に個別に設けているため、露出時間t1と読出時間t2に加え、データ転送時間t3も撮像カメラ37aと撮像カメラ37bで同時に実行できる。
On the other hand, in the example of FIG. 12, although the storage area of the foreign object detection control device 60 is common, since the camera controller and the camera interface are provided for each imaging camera, data transfer is performed in addition to the exposure time t1 and the readout time t2. The time t3 can also be executed simultaneously by the
そのため、撮像カメラ37aでの画像データの画像処理時間t4aと撮像カメラ37bでの画像データの画像処理時間t4bが個別に必要で、2個の容器の処理時間として、T3=(t1+t2+t3)+(t4a+t4b)の時間が掛ることになる。
For this reason, the image processing time t4a of the image data at the
従って、この場合の処理時間T3は、処理時間T1に対して(t1+t2+t3)時間分の余裕時間δ3を持つことができ、処理時間T2に対しては処理時間t3分の余裕ができている。 Accordingly, the processing time T3 in this case can have a margin time δ3 corresponding to (t1 + t2 + t3) hours with respect to the processing time T1, and a margin corresponding to the processing time t3 with respect to the processing time T2.
図11,図12のいずれの例でも、撮像カメラ数が2台になることで余裕時間δ2、δ3を持つことができている。 In any of the examples of FIGS. 11 and 12, the surplus time δ2 and δ3 can be obtained by using two imaging cameras.
容器1は同一速度で搬送されてくるものの、その間隔は数mmから数10mm程度のばらつきが発生する。この余裕時間が無い状態でばらつきが発生すると、先行容器の画像処理中に後続容器を撮像すべきタイミングが発生してしまい、正常な撮像ができず、ひいては該当容器は検査されずに通過してしまうことになり、無検査は重大な事態である。
Although the
この問題を回避するためには、図10で先行容器の処理時間T0と後続容器の処理時間T0の間に次の撮像までの待ち時間δ1を必要として、無駄時間ができてしまう。 In order to avoid this problem, a waiting time δ1 until the next imaging is required between the processing time T0 of the preceding container and the processing time T0 of the succeeding container in FIG.
一方、本発明において発生する余裕時間は、搬送速度が同じであれば容器間隔のばらつきを吸収するものであり、充分な余裕時間さえ有れば隣り合う容器どうしが接触した状態でも検査できるようになる。逆に言えば、容器間隔を作り出す整列機構を簡便なものや、大まかな制御で済ませることができ、容器間隔の制限を緩和した状態で検査できることになる。このことから、検査装置のシステムとしての信頼性を大きく向上するものとなる。また、余裕時間を短く設定すれば、単位時間内に処理できる本数は増加する。 On the other hand, the margin time generated in the present invention absorbs the variation in the interval between containers if the conveyance speed is the same, and can be inspected even when adjacent containers are in contact with each other if there is a sufficient margin time. Become. In other words, the alignment mechanism for creating the container interval can be simplified or roughly controlled, and the inspection can be performed in a state where the restriction on the container interval is relaxed. This greatly improves the reliability of the inspection apparatus system. If the margin time is set short, the number of lines that can be processed within a unit time increases.
図12の実施形態でも、撮像カメラ37aでの画像データの画像処理時間t4aと撮像カメラ37bでの画像データの画像処理時間t4bは個別に必要であるので、更に余裕時間を持てるようにするには、図7に示した異物検出制御装置60を撮像カメラ37a,37b毎に設置して、撮像カメラ37aでの画像データの画像処理と撮像カメラ37bでの画像データの画像処理を各異物検出制御装置60においてそれぞれ同時に処理するようにすれば良い。
Also in the embodiment of FIG. 12, the image processing time t4a of the image data at the
次に、さらに処理時間を短縮する他の例となる第二の実施形態を図13で説明する。 Next, a second embodiment as another example for further shortening the processing time will be described with reference to FIG.
この実施形態は、4台の撮像カメラ37a〜37dを設置して4個の容器を1組の容器群として同時に撮像するようにしている。各撮像カメラ37a〜37dに対応するライトガイド,照明光照射手段,照明光などは、図2,図6の実施形態と同様であるので、説明は省略する。
In this embodiment, four
容器1は、4台の撮像カメラ37a〜37d上を順次通過する。各撮像カメラ37a〜37d上に到着したことは容器検知センサ38a〜38dでそれぞれ検知し、最初の容器は撮像カメラ37aで撮像し、四番目の容器は撮像カメラ37dで撮像する。2個単位であった第一の実施形態と同様に容器4個単位で扱い、例えば五番目の容器は次の容器群の最初の容器として撮像カメラ37aで撮像する。
The
こうすることで、撮像カメラ2台の場合と同様に、露出時間t1と読出時間t2を低減できるようになるし、カメラコントローラをカメラごとに個別に設置すればさらにデータ転送時間t3も低減でき、異物検出制御装置をカメラごとに個別に設置すればさらに画像処理時間t4も低減できる。 By doing so, the exposure time t1 and the reading time t2 can be reduced as in the case of two imaging cameras, and the data transfer time t3 can be further reduced if a camera controller is individually installed for each camera. If the foreign object detection control device is individually installed for each camera, the image processing time t4 can be further reduced.
低減した時間は余裕時間として、容器間隔のばらつきに柔軟に対応でき、検査装置のシステムとしての信頼性を向上できる。 The reduced time can be used as a margin time to flexibly deal with variations in container spacing, and the reliability of the inspection apparatus system can be improved.
撮像カメラの設置台数に比例して発生する余裕時間は、容器間隔を作り出す整列機構によって決まる搬送状態次第では、実際より短い時間で済む場合がある。余裕時間を短くすることは、処理時間の低減を実現することができ、検査時間を短縮することで製造ラインの処理速度を向上することにもなる。 The margin time generated in proportion to the number of imaging cameras installed may be shorter than the actual time depending on the conveyance state determined by the alignment mechanism that creates the container interval. Shortening the margin time can realize a reduction in processing time, and can also improve the processing speed of the production line by shortening the inspection time.
1…容器
2…容器蓋
30…沈澱異物検査位置
31…沈澱異物検査部グリップコンベア
32…グリッパ
33a,33b…照明光照射手段
35a,35b…ライトガイド
36a,36b…透過照明光
37a,37b…撮像カメラ
38a,38b…容器検知センサ
1 ... Container
2 ... Container lid
30: Precipitation foreign matter inspection position
31 ... Precipitated foreign matter inspection section grip conveyor
32 ... Gripper
33a, 33b ... Illumination light irradiation means
35a, 35b ... Light guide
36a, 36b ... Transmitted illumination light
37a, 37b ... imaging camera
38a, 38b ... container detection sensor
Claims (4)
搬送路上を等間隔で搬送される任意個数毎の容器に対応するように任意個数と同数の撮像手段を設置しておき、各撮像手段で同時に任意個数毎に各撮像手段での画像データについて露出と読み出しを行ない、その後、画像処理手段への各撮像手段での画像データのデータ転送を順次行なって、各撮像手段での画像データについて画像処理手段で画像処理を順次行なうことを特徴とする容器内異物検出方法。 In the container foreign matter detection method for detecting foreign matter mixed in the container from the image of the transparent container filled with the liquid obtained by the imaging means,
The same number of imaging means as the arbitrary number is installed so as to correspond to the arbitrary number of containers conveyed at equal intervals on the conveyance path, and the image data of each imaging means is exposed for each arbitrary number simultaneously by each imaging means. And then reading the image data in each imaging means to the image processing means sequentially, and sequentially performing image processing on the image data in each imaging means in the image processing means. Internal foreign matter detection method.
搬送路上を等間隔で搬送される任意個数毎の容器に対応するように任意個数と同数の撮像手段を設置しておき、各撮像手段で同時に任意個数毎に各撮像手段での画像データについて露出と読み出しと画像処理手段へのデータ転送を行ない、その後、画像処理手段で各撮像手段での画像データについて画像処理を順次行なうことを特徴とする容器内異物検出方法。 In the container foreign matter detection method for detecting foreign matter mixed in the container from the image of the transparent container filled with the liquid obtained by the imaging means,
The same number of imaging means as the arbitrary number is installed so as to correspond to the arbitrary number of containers conveyed at equal intervals on the conveyance path, and the image data of each imaging means is exposed for each arbitrary number simultaneously by each imaging means. And reading out the data and transferring the data to the image processing means, and then sequentially performing image processing on the image data in each imaging means by the image processing means.
搬送路上を等間隔で搬送される任意個数毎の容器に対応するように搬送路上に設置した任意個数と同数の撮像手段、各撮像手段で同時に任意個数毎に各撮像手段での画像データについて露出と読み出しを行ない、その後、画像処理手段への各撮像手段での画像データのデータ転送を順次行なって、各撮像手段での画像データについて画像処理手段で画像処理を順次行なう異物検出制御装置を有することを特徴とする容器内異物検出装置。 In the container foreign matter detection device for detecting foreign matter mixed in the container from the image of the transparent container filled with the liquid obtained by the imaging means,
The same number of image pickup means installed on the transfer path so as to correspond to each arbitrary number of containers conveyed at equal intervals on the transfer path, and the image data of each image pickup means is exposed for each arbitrary number simultaneously by each image pickup means. A foreign matter detection control device that sequentially reads the image data in each imaging means to the image processing means and sequentially performs image processing on the image data in each imaging means. An in-container foreign object detection device characterized by the above.
搬送路上を等間隔で搬送される任意個数毎の容器に対応するように搬送路上に設置した任意個数と同数の撮像手段、各撮像手段で同時に任意個数毎に各撮像手段での画像データについて露出と読み出しと画像処理手段へのデータ転送を行ない、その後、画像処理手段で各撮像手段での画像データについて画像処理を順次行なう異物検出制御装置を有することを特徴とする容器内異物検出装置。 In the container foreign matter detection device for detecting foreign matter mixed in the container from the image of the transparent container filled with the liquid obtained by the imaging means,
The same number of image pickup means installed on the transfer path so as to correspond to each arbitrary number of containers conveyed at equal intervals on the transfer path, and the image data of each image pickup means is exposed for each arbitrary number simultaneously by each image pickup means. And a foreign matter detection control device that sequentially reads and transfers data to the image processing means, and thereafter sequentially performs image processing on the image data of each imaging means by the image processing means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005115224A JP2006292598A (en) | 2005-04-13 | 2005-04-13 | Method of detecting foreign matter in container, and device therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005115224A JP2006292598A (en) | 2005-04-13 | 2005-04-13 | Method of detecting foreign matter in container, and device therefor |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006292598A true JP2006292598A (en) | 2006-10-26 |
JP2006292598A5 JP2006292598A5 (en) | 2008-03-21 |
Family
ID=37413314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005115224A Withdrawn JP2006292598A (en) | 2005-04-13 | 2005-04-13 | Method of detecting foreign matter in container, and device therefor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006292598A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102288617A (en) * | 2010-04-29 | 2011-12-21 | 克朗斯股份公司 | Detection of suspended matter in containers filled with liquid |
WO2015050061A1 (en) * | 2013-10-02 | 2015-04-09 | ヤマハファインテック株式会社 | Inspection device and inspection method for sealed packed product |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62165548U (en) * | 1986-04-10 | 1987-10-21 | ||
JPH0224543A (en) * | 1988-07-13 | 1990-01-26 | Shokuhin Sangyo Onrain Sensor Gijutsu Kenkyu Kumiai | Visual inspection method of bottle |
JPH0227239A (en) * | 1988-07-15 | 1990-01-30 | Fujisawa Pharmaceut Co Ltd | Detection of poor appearance of tablet and apparatus used therefor |
JPH04302290A (en) * | 1991-03-29 | 1992-10-26 | Dainippon Printing Co Ltd | Image signal controller |
JPH05249044A (en) * | 1992-03-10 | 1993-09-28 | Nec Corp | Apparatus for inspecting external appearance of semiconductor integrated circuit |
JP2000103039A (en) * | 1998-09-29 | 2000-04-11 | Minolta Co Ltd | Apparatus for inspecting printing on cylindrical container |
JP2000171412A (en) * | 1998-12-09 | 2000-06-23 | Mitsubishi Plastics Ind Ltd | Continuous inspection apparatus |
JP2004028930A (en) * | 2002-06-28 | 2004-01-29 | Hitachi Industries Co Ltd | Device and method for detecting foreign matter in container |
-
2005
- 2005-04-13 JP JP2005115224A patent/JP2006292598A/en not_active Withdrawn
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62165548U (en) * | 1986-04-10 | 1987-10-21 | ||
JPH0224543A (en) * | 1988-07-13 | 1990-01-26 | Shokuhin Sangyo Onrain Sensor Gijutsu Kenkyu Kumiai | Visual inspection method of bottle |
JPH0227239A (en) * | 1988-07-15 | 1990-01-30 | Fujisawa Pharmaceut Co Ltd | Detection of poor appearance of tablet and apparatus used therefor |
JPH04302290A (en) * | 1991-03-29 | 1992-10-26 | Dainippon Printing Co Ltd | Image signal controller |
JPH05249044A (en) * | 1992-03-10 | 1993-09-28 | Nec Corp | Apparatus for inspecting external appearance of semiconductor integrated circuit |
JP2000103039A (en) * | 1998-09-29 | 2000-04-11 | Minolta Co Ltd | Apparatus for inspecting printing on cylindrical container |
JP2000171412A (en) * | 1998-12-09 | 2000-06-23 | Mitsubishi Plastics Ind Ltd | Continuous inspection apparatus |
JP2004028930A (en) * | 2002-06-28 | 2004-01-29 | Hitachi Industries Co Ltd | Device and method for detecting foreign matter in container |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102288617A (en) * | 2010-04-29 | 2011-12-21 | 克朗斯股份公司 | Detection of suspended matter in containers filled with liquid |
WO2015050061A1 (en) * | 2013-10-02 | 2015-04-09 | ヤマハファインテック株式会社 | Inspection device and inspection method for sealed packed product |
JPWO2015050061A1 (en) * | 2013-10-02 | 2017-03-09 | ヤマハファインテック株式会社 | Inspection device and inspection method for sealed pack products |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9110035B2 (en) | Method and system for detecting defects of transparent substrate | |
JP6250644B2 (en) | Method and equipment for inspecting empty bottles | |
JP4154523B2 (en) | Container foreign matter detection device | |
JP6639181B2 (en) | Imaging device, production system, imaging method, program, and recording medium | |
JP2007064905A (en) | Method of detecting foreign matter in container, and device therefor | |
JP3658326B2 (en) | Foreign object inspection apparatus and method in liquid-filled container | |
JP4048848B2 (en) | Foreign object detection device in container and foreign object detection method in container | |
JP2007127611A (en) | Foreign matter detection apparatus | |
CN111837027A (en) | Apparatus and method for inspecting glass sheets | |
Sanver et al. | An image processing application to detect faulty bottle packaging | |
JP2007003243A (en) | Visual examination device of long article | |
JP2006292598A (en) | Method of detecting foreign matter in container, and device therefor | |
JP2004257937A (en) | Foreign matter inspection device and inspection method | |
JP2009063409A (en) | Automatic inspection device | |
JPH08159989A (en) | Method and apparatus for inspecting liquid sealed vessel | |
JP4506448B2 (en) | Container foreign matter detection device | |
JP2007304030A (en) | Apparatus for detecting foreign matter in container | |
JPH11312725A (en) | Device for carrying in and out substrate | |
JP2006244869A (en) | Plasma display panel inspection device, manufacturing method of plasma display panel, and device inspection method | |
CN110945347B (en) | Damage inspection method for optical display panel | |
JP2011027487A (en) | Container label inspection apparatus | |
JP5133782B2 (en) | Defect inspection apparatus and defect inspection method | |
JP2002267612A (en) | Device and system for inspecting foreign matter in liquid filled in transparent container or the like | |
JP6444913B2 (en) | Inspection device and blister packaging machine | |
JP2005274325A (en) | Optical type defect inspection method for metal band |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Effective date: 20060823 Free format text: JAPANESE INTERMEDIATE CODE: A712 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070222 |
|
RD04 | Notification of resignation of power of attorney |
Effective date: 20070820 Free format text: JAPANESE INTERMEDIATE CODE: A7424 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100630 |
|
A131 | Notification of reasons for refusal |
Effective date: 20100713 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20100909 |