JP2007333732A - Surface inspection system, and diagnositc method of inspection capacity of the surface inspection system - Google Patents
Surface inspection system, and diagnositc method of inspection capacity of the surface inspection system Download PDFInfo
- Publication number
- JP2007333732A JP2007333732A JP2007132073A JP2007132073A JP2007333732A JP 2007333732 A JP2007333732 A JP 2007333732A JP 2007132073 A JP2007132073 A JP 2007132073A JP 2007132073 A JP2007132073 A JP 2007132073A JP 2007333732 A JP2007333732 A JP 2007333732A
- Authority
- JP
- Japan
- Prior art keywords
- inspection system
- surface inspection
- shaped object
- spot irradiation
- strip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
本発明は、搬送される帯状被検査体の表面に光を照射する光源と、帯状被検査体からの反射光を受光して撮像する撮像装置とを備えた表面検査システム、及び表面検査システムの検査性能の診断方法に関する。 The present invention relates to a surface inspection system including a light source that irradiates light onto the surface of a belt-shaped object to be transported, and an imaging device that receives reflected light from the belt-shaped object to be imaged, and a surface inspection system. The present invention relates to a diagnostic method for inspection performance.
鋼板や非鉄金属板、紙あるいは不織布等の搬送ラインにおいては、これら薄板状の帯状被検査体の表面に対して表面検査装置により光学的な検査を施し、疵検出等を行うことがなされている。 In conveying lines such as steel plates, non-ferrous metal plates, paper or non-woven fabrics, the surface of these thin strip-shaped inspected objects is optically inspected by a surface inspection device to detect wrinkles, etc. .
表面検査装置としては、例えばレーザー等の点状光源を帯状被検査体の搬送方向と垂直な方向(幅方向)に移動させながら帯状被検査体の表面を走査し、その反射光を光電子倍増管等の光学素子で受光するものが知られている。また、帯状光源を帯状被検査体の表面の幅方向に照射し、その反射光をCCDアレイセンサ等の撮像素子で受光するものが知られている。この結果得られた信号に各種信号処理を施して、帯状被検査体の表面の疵を検出し、さらには疵の種別や程度を判定する。 As a surface inspection apparatus, for example, a surface of a strip-like object is scanned while moving a point light source such as a laser in a direction (width direction) perpendicular to the transport direction of the strip-like subject, and the reflected light is photomultiplier tube What receives light with optical elements, such as, is known. In addition, a light source that irradiates a belt-like light source in the width direction of the surface of the belt-like object to be inspected and receives the reflected light by an imaging device such as a CCD array sensor is known. The signal obtained as a result is subjected to various types of signal processing to detect wrinkles on the surface of the strip-like object, and further to determine the type and degree of wrinkles.
ところで、表面検査システムの検査性能は、光源や受光器又は光路上に存在するレンズ、ミラー等の位置ずれや汚れ、光源の投光窓や受光器の受光窓の汚れ、光源の経時劣化による光量減少等により低下することが避けられない。さらには、受光器の信号を信号処理部に取り込む際の変換・入力部の特性変化や故障、信号処理部での特性変化や設定不良、故障等の種々の要因により変化してしまう。 By the way, the inspection performance of the surface inspection system is based on the positional deviation and dirt of the light source, light receiver or lens, mirror, etc. existing on the optical path, dirt on the light projection window and light receiving window of the light source, and the amount of light due to deterioration over time of the light source. It is inevitable that it will decrease due to a decrease. Furthermore, it changes due to various factors such as characteristics change or failure of the conversion / input unit when the signal of the light receiver is taken into the signal processing unit, characteristic change or setting failure or failure in the signal processing unit.
また、正反射と乱反射とを複数の撮像装置で別々に検出する複眼方式の撮像系では、板厚変動や機械的なずれに起因して正反射と乱反射で検査している位置がずれると、正しい検査を行うことができない。 In addition, in a compound eye type imaging system that separately detects regular reflection and irregular reflection with a plurality of imaging devices, if the position being inspected by regular reflection and irregular reflection shifts due to plate thickness fluctuation or mechanical deviation, The correct inspection cannot be performed.
一方、表面検査システムは、人間の目視検査では対応できないような高速ラインにおける微小欠陥の検出が可能であり、それゆえに表面検査システムに感度変化等の異常が発生しても検査員がすぐには気付くことができず、大量の欠陥が流出したり、誤検出によってラインの作業能率が著しく低下したりするおそれがある。 On the other hand, the surface inspection system can detect minute defects on high-speed lines that cannot be handled by human visual inspection. Therefore, even if an abnormality such as a sensitivity change occurs in the surface inspection system, There is a risk that a large amount of defects may flow out or the work efficiency of the line may be significantly reduced due to erroneous detection.
これまでは、光学系から信号処理に至るまでの検査性能の診断を、定修と呼ばれる6〜12回/年のタイミングでラインを停止させたときに定期的に行うことが一般的であった。 Until now, it has been common to periodically diagnose inspection performance from the optical system to signal processing when the line is stopped at a timing of 6 to 12 times / year, called regular repair. .
一方、表面検査システムの検査性能を診断するための技術として、特許文献1には、帯状被検査体(鋼板)に貫通する開口を設け、この開口における反射光強度の大きさに基づいて表面検査装置の光学系の校正を行うことが開示されている。 On the other hand, as a technique for diagnosing the inspection performance of the surface inspection system, Patent Document 1 provides an opening penetrating the strip-shaped object (steel plate), and surface inspection is performed based on the magnitude of reflected light intensity in the opening. It is disclosed to calibrate the optical system of the apparatus.
また、特許文献2には、自己診断装置が、薄鋼板の溶接線が表面疵検出部に検出されたときの信号を受け、それが規定のパターンになっているかどうかを検出し、規定のパターンどおりのパターンが得られる場合には、表面疵検査装置が正常であると判断することが開示されている。 Further, in Patent Document 2, a self-diagnosis device receives a signal when a welding line of a thin steel plate is detected by a surface flaw detection unit, detects whether it is a specified pattern, It is disclosed that when a normal pattern is obtained, it is determined that the surface defect inspection apparatus is normal.
また、特許文献3には、帯状被検査体の特定の位置に特定の大きさの人工欠陥を設け、検出された人工欠陥の大きさと、既知の値とを比較することによって、表面検査装置を検査することが開示されている。 Further, in Patent Document 3, an artificial defect having a specific size is provided at a specific position of the strip-shaped object to be inspected, and the size of the detected artificial defect is compared with a known value. Inspection is disclosed.
しかしながら、特許文献1に開示された手法では、以下のような問題点があった。
(1)帯状被検査体(鋼板)に貫通する開口を設けなければならず、そのための設備や作業が必要となるため、コスト的に大きな負担となってしまう。
(2)一般的な製造ラインにおいては多種多様な表面肌の製品が製造されることが多いこと、照明光源は経時的に劣化していくものが多いことから、通常帯状被検査体の平均受光レベルが一定となるよう受光感度が自動的に調整されるのが一般的である。したがって、測定対象の絶対的な信号強度を測定するだけでは装置の感度変化を知ることはできず、また感度が自動調整される前の信号強度を計測したのでは光源の劣化の度合いが大きく影響するため、光源の劣化度が調整可能な許容範囲であっても、異常と認識されてしまう。
(3)特許文献1においては表面検査装置の分解能が明記されていないが、例えば分解能が開口部の寸法より十分小さい場合、その反射光強度は0であり、それ以外の場合は開口部周辺の地肌や、開口部の加工面の粗さ等により反射光強度は変化するため感度を安定的に計測することはできない。
(4)また、特許文献1には前項(3)の問題を解決するため帯状被検査体と反射率の異なる支持材にて帯状被検査体を支持する技術が提案されているが、ここで提案されているような支持材では経年変化あるいは汚れ等により反射率が変わるため、やはり感度を安定的に計測することはできない。また、このような設備を設置することはコスト的にも大きな負担となる。
However, the method disclosed in Patent Document 1 has the following problems.
(1) Since an opening penetrating the strip-shaped object to be inspected (steel plate) must be provided, and equipment and work for that purpose are required, this imposes a large cost burden.
(2) In general production lines, products with a wide variety of surface skin are often produced, and illumination light sources often deteriorate over time. In general, the light receiving sensitivity is automatically adjusted so that the level becomes constant. Therefore, it is not possible to know the sensitivity change of the device only by measuring the absolute signal intensity of the measurement target, and measuring the signal intensity before the sensitivity is automatically adjusted greatly affects the degree of deterioration of the light source. Therefore, even if the light source deterioration level is within an allowable range, it is recognized as abnormal.
(3) Although the resolution of the surface inspection apparatus is not specified in Patent Document 1, for example, when the resolution is sufficiently smaller than the size of the opening, the reflected light intensity is 0. Since the reflected light intensity changes depending on the background, the roughness of the processed surface of the opening, etc., the sensitivity cannot be measured stably.
(4) In addition, Patent Document 1 proposes a technique for supporting a belt-like object under test with a support material having a reflectance different from that of the belt-like object under examination in order to solve the problem (3). In the support material as proposed, the reflectance changes due to secular change or dirt, so that the sensitivity cannot be measured stably. In addition, installing such equipment is a heavy burden in terms of cost.
また、特許文献2に開示された手法では、以下のような問題点があった。
(1)溶接線(溶接痕)は常に一定の形状とはならない。そのため、溶接痕は正常であるが、表面検査装置が正常に動作していないために溶接痕による規定のパターンが出力されないのか、表面検査装置が正常に動作しているが、溶接痕が異常であるために溶接痕による規定のパターンが出力されないのかを判断することができない。
In addition, the technique disclosed in Patent Document 2 has the following problems.
(1) The weld line (weld mark) does not always have a fixed shape. For this reason, the welding trace is normal, but the surface inspection device is not operating properly, so the specified pattern due to the welding trace is not output, or the surface inspection device is operating normally, but the welding trace is abnormal. For this reason, it is impossible to determine whether a prescribed pattern due to welding marks is not output.
また、特許文献3に開示された手法では、特許文献1のように反射光強度に大きさに基づく場合の不具合を避けることができるが、以下のような問題点があった。
(1)人工欠陥として、線状疵を設けたり、ポンチ等を用いて点状の欠陥を設けたりする場合には、そのための設備や作業が必要となるため、コスト的に大きな負担となってしまう。
(2)特定の大きさの人工欠陥を設けるため、大きさや形状が様々な疵に対する検査性能を保証することができない。
(3)特定の位置に人工欠陥を設けるため、帯状被検査体の幅方向の任意の位置での検査性能を保証することができない。
In addition, the technique disclosed in Patent Document 3 can avoid the problems caused by the magnitude of the reflected light intensity as in Patent Document 1, but has the following problems.
(1) When a linear flaw is provided as an artificial defect, or when a dot-like defect is provided using a punch or the like, facilities and work for it are necessary, which is a heavy burden in cost. End up.
(2) Since artificial defects of a specific size are provided, it is not possible to guarantee the inspection performance for wrinkles of various sizes and shapes.
(3) Since an artificial defect is provided at a specific position, the inspection performance at an arbitrary position in the width direction of the strip-shaped object cannot be guaranteed.
また、例えば、帯状被検査体である鋼板(コイル)が複数の種類であるなどで板厚が変動するとき、帯状被検査体表面の欠陥の板厚方向の位置が変動する。そのために、正反射と乱反射を別々に撮像する複眼方式の撮像系においては、正反射と乱反射で撮像画像における検査位置ずれが発生する。このずれを校正するために、製造ラインを管理する上位のコンピュータ等の上位装置から製造予定コイルの板厚の情報(上位情報)を受信し、当該板厚に基づきプリセットした位置変化分だけ撮像画像内の座標をずらすことによる校正を行って、正反射と乱反射それぞれの撮像画像における位置の対応関係を保つことが一般的である。しかしながら、コイル毎に伝送される上位情報は製造予定の板厚であることから精度が低く、また上位装置の不具合に起因する板厚のコイル番号ずれや伝送ミスにより、上位情報の板厚が「ゼロ」になる等の異常が生じることがある。複雑なシステムであれば、毎コイルの上記の校正を適切かつ柔軟に行うことは難しく、帯状被検査体の表面検査システムにおいて板厚が変動するときでも、検査性能を精度よく、柔軟に、且つ安定して行うことが困難であった。 Further, for example, when the plate thickness fluctuates due to a plurality of types of steel plates (coils) as the band-shaped object to be inspected, the position in the plate thickness direction of the defect on the surface of the band-shaped object to be inspected varies. For this reason, in a compound eye type imaging system that images regular reflection and irregular reflection separately, an inspection position shift in the captured image occurs due to regular reflection and irregular reflection. In order to calibrate this deviation, information on the plate thickness of the coil to be manufactured (upper information) is received from a higher-level device such as a higher-level computer that manages the production line, and a captured image is obtained by a preset position change based on the plate thickness. In general, calibration is performed by shifting the coordinates in the image, and the correspondence between the positions of the regular reflection and the irregular reflection in the captured image is generally maintained. However, because the upper information transmitted for each coil is the plate thickness that is scheduled to be manufactured, the accuracy is low, and the plate thickness of the upper information is reduced by the coil number deviation or transmission error due to the failure of the upper device. Abnormalities such as “zero” may occur. If it is a complicated system, it is difficult to perform the above calibration of each coil appropriately and flexibly. Even when the plate thickness fluctuates in the surface inspection system of the strip-like object, the inspection performance is accurate, flexible, and It was difficult to perform stably.
本発明は上記のような点に鑑みてなされたものであり、帯状被検査体に開口を設けたり、溶接線を利用したりして検査性能を診断する場合の不具合を避け、ラインを停止させることなく安定的に検査性能を診断できるようにすることを第1の目的とする。また、大きさや形状が様々な疵に対する検査性能や帯状被検査体の幅方向の任意の位置での検査性能を保証できるようにすることを第2の目的とする。さらに、帯状被検査体の板厚が変動するときでも、表面検査システムの検査性能を柔軟に診断することを第3の目的とする。 The present invention has been made in view of the above points, and avoids problems in diagnosing the inspection performance by providing an opening in the strip-shaped object to be inspected or using a weld line, and stops the line. It is a first object of the present invention to make it possible to stably diagnose inspection performance without any problems. It is a second object of the present invention to ensure the inspection performance for wrinkles of various sizes and shapes and the inspection performance at an arbitrary position in the width direction of the strip-shaped object. Furthermore, the third object is to flexibly diagnose the inspection performance of the surface inspection system even when the plate thickness of the strip-shaped object to be inspected fluctuates.
本発明による表面検査システムは、搬送される帯状被検査体の表面に光を照射する光源と、前記帯状被検査体からの反射光を受光して撮像する撮像装置とを備えた表面検査システムであって、当該表面検査システムの検査性能を診断するときに、前記帯状被検査体の表面に、前記光源の光とは輝度が異なる光をスポット照射するスポット照射装置を備えた点に特徴を有する。
また、本発明の表面検査システムの他の特徴は、さらに、前記帯状被検査体の搬送速度に応じて前記スポット照射装置の点灯時間を制御する点灯時間制御手段を備えた点にある。
また、本発明の表面検査システムの他の特徴は、さらに、前記帯状被検査体に照射する前記スポット照射装置の点灯強度を制御する点灯強度制御手段を備えた点にある。
また、本発明の表面検査システムの他の特徴は、さらに、撮像画像に現れるスポット照射による画像形状を判定することによって、当該表面検査システムの検査性能を診断する診断手段を備えた点にある。
また、本発明の表面検査システムの他の特徴は、さらに、前記スポット照射装置によるスポット照射の位置を前記帯状被検査体の幅方向に移動させることができる点にある。
また、本発明の表面検査システムの他の特徴は、さらに、前記スポット照射装置のスポット照射の形状が前記帯状被検査体の搬送方向に対して斜めの直線状である点にある。
また、本発明の表面検査システムの他の特徴は、さらに、前記撮像装置は複数であって、前記帯状被検査体の表面上の同一のスポット照射を撮像し、前記スポット照射装置のスポット照射の形状が前記帯状被検査体の搬送方向に対して斜めの直線状であり、前記診断手段は、前記撮像装置それぞれの撮像画像における、スポット照射の画像の位置の差異から、前記撮像装置の設置状態のずれを検出する点にある。
本発明による表面検査システムの検査性能の診断方法は、搬送される帯状被検査体の表面に光を照射する光源と、前記帯状被検査体からの反射光を受光して撮像する撮像装置とを備えた表面検査システムの検査性能の診断方法であって、前記帯状被検査体の表面に、前記光源の光とは輝度が異なる光をスポット照射し、前記撮像装置により得られる撮像画像に基づいて、前記表面検査システムの検査性能を診断する点に特徴を有する。
A surface inspection system according to the present invention is a surface inspection system including a light source that irradiates light on the surface of a belt-shaped object to be transported and an imaging device that receives reflected light from the belt-shaped object to be imaged. And when diagnosing the inspection performance of the surface inspection system, the surface of the strip-shaped object to be inspected is characterized by having a spot irradiation device that spot-irradiates light having a luminance different from that of the light from the light source. .
Another feature of the surface inspection system of the present invention is that it further includes a lighting time control means for controlling the lighting time of the spot irradiation device in accordance with the transport speed of the strip-shaped object.
Another feature of the surface inspection system according to the present invention is that it further includes a lighting intensity control means for controlling the lighting intensity of the spot irradiation device that irradiates the strip-shaped object to be inspected.
In addition, another feature of the surface inspection system of the present invention is that it further includes diagnostic means for diagnosing the inspection performance of the surface inspection system by determining the image shape by spot irradiation appearing in the captured image.
Another feature of the surface inspection system of the present invention is that the position of spot irradiation by the spot irradiation apparatus can be moved in the width direction of the strip-shaped object to be inspected.
Further, another feature of the surface inspection system of the present invention is that the spot irradiation shape of the spot irradiation apparatus is a straight line oblique to the transport direction of the strip-shaped object.
Another feature of the surface inspection system according to the present invention is that the imaging apparatus includes a plurality of imaging devices, and images the same spot irradiation on the surface of the strip-shaped object to be inspected, The shape is a straight line oblique to the transport direction of the belt-shaped object to be inspected, and the diagnostic means determines the installation state of the imaging device from the difference in the position of the spot irradiation image in each captured image of the imaging device. It is in the point of detecting the deviation.
The diagnostic method of the inspection performance of the surface inspection system according to the present invention includes a light source that irradiates light on the surface of a belt-like object to be transported, and an imaging device that receives reflected light from the belt-like object and images it A method for diagnosing the inspection performance of a surface inspection system provided, wherein the surface of the strip-shaped object is spot-irradiated with light having a luminance different from that of the light from the light source, and based on a captured image obtained by the imaging device The method is characterized in that the inspection performance of the surface inspection system is diagnosed.
本発明によれば、表面検査システムの検査性能を診断するときに、帯状被検査体の表面にスポット照射するようにしたので、帯状被検査体に開口を設けたり、溶接線を利用したりして検査性能を診断する場合の不具合を避け、ラインを停止させることなく安定的に検査性能を診断することができる。 According to the present invention, when diagnosing the inspection performance of the surface inspection system, the surface of the band-shaped object to be inspected is irradiated with a spot. Therefore, an opening is provided in the band-shaped object to be inspected or a welding line is used. Therefore, it is possible to avoid problems in diagnosing the inspection performance and to stably diagnose the inspection performance without stopping the line.
さらに、スポット照射の位置を鋼板の幅方向に移動させるようにすれば、幅方向の任意の位置での検査性能を保証することができる。また、スポット照射装置の点灯時間の制御パターンを変えるようにすれば、スポット照射パターンを変えることができるので、大きさや形状が様々な疵に対する検査性能を保証することができる。 Furthermore, if the spot irradiation position is moved in the width direction of the steel plate, the inspection performance at an arbitrary position in the width direction can be guaranteed. Further, if the control pattern of the lighting time of the spot irradiation device is changed, the spot irradiation pattern can be changed, so that the inspection performance for wrinkles of various sizes and shapes can be guaranteed.
さらに、スポット照射装置のスポット照射の形状を鋼板の搬送方向に対して斜めの直線状とすることにより、正反射と乱反射とを複数の撮像装置で移動する帯状被検査体の同一箇所の画像を撮像するとき、各撮像装置の撮像位置即ち検査位置のずれの有無及びずれの大きさを検出して、表面検査システムの検査性能を診断することができる。 Furthermore, by making the spot irradiation shape of the spot irradiation device a straight line oblique to the conveying direction of the steel sheet, images of the same part of the belt-like object to be inspected that move regular reflection and irregular reflection with a plurality of imaging devices can be obtained. When imaging, it is possible to diagnose the inspection performance of the surface inspection system by detecting the presence / absence of the imaging position of each imaging apparatus, that is, the inspection position, and the magnitude of the deviation.
以上のようにして本発明は、帯状被検査体の板厚が変動するときでも、表面検査システムの検査性能を柔軟に診断するのに好適である。 As described above, the present invention is suitable for flexibly diagnosing the inspection performance of the surface inspection system even when the plate thickness of the strip-shaped inspection object varies.
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
(第1の実施形態)
図1に、第1の実施形態に係る表面検査システムの概略構成を示す。本実施形態は、鋼板の連続製造ラインに表面検査システムを設置した例である。鋼板の連続製造ラインでは、連続して処理する各ロット(コイル)の鋼板の先端、後端をそれぞれラインの入側で溶接し、これを高速で搬送しつつ圧延、酸洗、めっき、焼鈍等の処理を行い、ラインの出側で溶接部を切断することによってロット毎にコイル状に巻き取る。鋼板の表面検査は、ライン内で発生する異常を検査するために、製造ラインの出側で行われることになる。
Preferred embodiments of the present invention will be described below with reference to the accompanying drawings.
(First embodiment)
FIG. 1 shows a schematic configuration of the surface inspection system according to the first embodiment. The present embodiment is an example in which a surface inspection system is installed on a continuous production line for steel plates. In a continuous production line for steel sheets, the front and rear ends of each lot (coil) to be processed continuously are welded at the entry side of the line, and this is conveyed at high speed, rolling, pickling, plating, annealing, etc. The above process is performed, and the welded portion is cut on the exit side of the line to be wound into a coil shape for each lot. The surface inspection of the steel sheet is performed on the exit side of the production line in order to inspect abnormalities occurring in the line.
図1に示すように、表面検査システムは、ロール101上を搬送される鋼板102の表面に光を照射する光源103を備える。光源103としては、例えば蛍光灯やハロゲンランプ等が用いられる。
As shown in FIG. 1, the surface inspection system includes a
また、鋼板102からの反射光を受光して撮像するカメラ104を備える。本実施形態では、2台のカメラ104が鋼板102の幅方向に配置されている。カメラ104としては、例えば鋼板102からの反射光を受光してCCDで光電変換することにより撮像画像を得るラインセンサカメラが用いられる。
Moreover, the
さらに、鋼板102の表面に適宜な角度でレーザー光を照射するスポット照射装置としてのレーザーポインタ105を備える。レーザーポインタ105は、鋼板102の表面に、光源103の光よりも輝度の高い光をスポット照射する。本実施形態では、レーザーポインタ105が各カメラ104の上方に計2台配置されている。レーザーポインタ105としては、安価で、点灯時間を制御しやすいという点で半導体レーザーが好ましいが、ヘリウムネオンレーザー等を用いてもかまわない。この場合には、ヘリウムネオンレーザー等の前にレーザビームの透過を制御するシャターを配設するとよい。
Furthermore, a
各レーザーポインタ105は、具体的には図示しないが、鋼板102の幅方向にスライド移動可能となっており、レーザー光の照射位置を鋼板102の幅方向に移動させることができる。なお、各レーザーポインタ105を首振りさせることによって、レーザー光の照射位置を鋼板102の幅方向に移動させるようにしてもよい。
Although not specifically shown, each
本実施形態では、カメラ104の台数に対応させて同数のレーザーポインタ105を配置したが、例えば1台のレーザーポインタから照射するレーザー光をハーフミラーを介して分岐させることによって、各カメラ104の視野(撮像範囲)に同時にレーザー光を照射するようにしてもよい。
In the present embodiment, the same number of
画像処理回路106は、カメラ104から入力される信号に対してシェーディング補正等の各種補正処理等を施す前処理部、前処理部により処理された画像から疵候補を抽出する抽出部等を含む。なお、カメラ104がアナログ出力の場合は、アナログ信号をデジタル信号に変換するA/D変換器も含むものとする。
The
特徴量算出部107は、各画像処理回路106により抽出された疵候補の長さ、幅、面積、輝度等の特徴量を算出する。
The feature
疵判定部108は、各画像処理回路106により抽出された疵候補について、特徴量算出部107により算出された特徴量に基づいて所定のアルゴリズムに従って種別や程度を判定する。疵判定部108により判定された疵の種別や程度は、表示装置109に出力される。
The wrinkle determination unit 108 determines the type and degree of a wrinkle candidate extracted by each
点灯制御部110は、鋼板102の搬送速度、具体的にはロール101から取得するPLGパルス信号に応じて各レーザーポインタ105の点灯時間を制御する。また、点灯制御部110は、各レーザーポインタ105の点灯強度を制御するようにしても良い。
The
診断部111は、撮像画像に現れるレーザー光の照射による画像形状及び/又は画像輝度を判定することによって、表面検査システムの検査性能を診断する。診断部111により診断された結果は、表示装置109に出力される。 The diagnosis unit 111 diagnoses the inspection performance of the surface inspection system by determining the image shape and / or the image brightness due to the irradiation of the laser beam appearing in the captured image. The result diagnosed by the diagnosis unit 111 is output to the display device 109.
以下、図2A〜図2D、図3を参照して、表面検査システムの検査性能の診断について詳細に説明する。この例では、レーザーポインタ105から鋼板102の表面に照射されるレーザー光の幅が0.5mm(2ピクセル相当)となっている。また、PLGパルス信号の1周期で鋼板102が0.25mmだけ搬送される。
Hereinafter, diagnosis of the inspection performance of the surface inspection system will be described in detail with reference to FIGS. 2A to 2D and FIG. 3. In this example, the width of the laser light irradiated from the
図2A(a)に示すように、点灯制御部110により、PLGパルス信号の2周期の時間だけレーザーポインタ105を点灯させると、鋼板102の表面には、レーザー光が幅0.5mm×長さ0.5mmの正方形の点状に照射されることになる。
As shown in FIG. 2A (a), when the
この場合、表面検査システムの検査性能が正常であれば、図2A(b)、(c)に示すように、各画像処理回路106を経て得られる撮像画像に、レーザー光の照射による画像が幅0.5mm×長さ0.5mmの点状に現れる。したがって、診断部111では、レーザー光の照射による画像が点状であると正しく判定できたとき、表面検査システムの検査性能が正常であると判定する。それに対して、レーザー光の照射による画像が点状であると正しく判定できなかったり、レーザー光の照射による画像そのものが検出されなかったりしたときは、検出性能が異常であると判定する。
In this case, if the inspection performance of the surface inspection system is normal, as shown in FIGS. 2A (b) and 2 (c), the captured image obtained through each
また、図2B(a)に示すように、点灯制御部110により、PLGパルス信号の200周期の時間だけレーザーポインタ105を点灯させると、鋼板102の表面には、レーザー光が幅0.5mm×長さ50mmの線状に照射されることになる。
Further, as shown in FIG. 2B (a), when the
この場合、表面検査システムの検査性能が正常であれば、図2B(b)、(c)に示すように、各画像処理回路106を経て得られる撮像画像に、レーザー光の照射による画像が幅0.5mm×長さ50mmの線状に現れる。したがって、診断部111では、レーザー光の照射による画像が線状であると正しく判定できたとき、表面検査システムの検査性能が正常であると判定する。それに対して、レーザー光の照射による画像が線状であると正しく判定できなかったり、レーザー光の照射による画像そのものが検出されなかったりしたときは、検出性能が異常であると判定する。
In this case, if the inspection performance of the surface inspection system is normal, as shown in FIGS. 2B (b) and 2 (c), the captured image obtained through each
また、図2C(a)に示すように、点灯制御部110により、PLGパルス信号の4周期の時間レーザーポインタ105を点灯させ、その後の4周期の時間レーザーポインタ105を消灯させることを繰り返すと、鋼板102の表面には、レーザー光が幅0.5mm×長さ1mmの点線状に照射されることになる。
Further, as shown in FIG. 2C (a), when the
この場合、表面検査システムの検査性能が正常であれば、図2C(b)、(c)に示すように、各画像処理回路106を経て得られる撮像画像に、レーザー光の照射による画像が幅0.5mm×長さ1mmの点線状に現れる。したがって、診断部111では、レーザー光の照射による画像が点線状であると正しく判定できたとき、表面検査システムの検査性能が正常であると判定する。それに対して、レーザー光の照射による画像が点線状であると正しく判定できなかったり、レーザー光の照射による画像そのものが検出されなかったりしたときは、検出性能が異常であると判定する。
In this case, if the inspection performance of the surface inspection system is normal, as shown in FIGS. 2C (b) and 2 (c), the captured image obtained through each
また、図2D(a)に示すように、点灯制御部110により、PLGパルス信号の4周期の時間レーザーポインタ105を点灯させ、その後の4周期の時間レーザーポインタ105を消灯させることを繰り返し、また、レーザー強度を段階的に制御すると、鋼板102の表面には、幅0.5mm×長さ1mmの点線状で段階的に輝度が強くなるレーザー光が照射されることになる。
Also, as shown in FIG. 2D (a), the
なお、図2A〜2Dにおいて、レーザー光の照射による画像(点、線、点線)を黒色で示したが、実際には輝度が高いので白く現れる。また、2台のレーザーポインタ105で同じ照射パターンとした例を図示したが、互いに異なる照射パターンとしてもかまわない。
In FIGS. 2A to 2D, images (dots, lines, dotted lines) by laser light irradiation are shown in black, but in reality, they appear white because of high luminance. Further, although an example in which the same irradiation pattern is used by the two
以上説明した表面検査システムの検査性能の診断を行う際には、製造ラインを停止することなく、例えば各コイルの鋼板102の先端あるいは尾端にレーザー光を照射することにより、コイル毎にリアルタイムで検査性能を診断することができる。したがって、検査性能に異常が発見された場合には、すぐに表面検査システムの調査、修理等を行うことができ、また、異常発生の直前コイルと現在流れているコイルの途中までを再検査すればよい。
When diagnosing the inspection performance of the surface inspection system described above, without suspending the production line, for example, by irradiating the tip or tail of the
この場合に、図3に示すように、例えばコイル毎にレーザー光の照射位置を鋼板102の幅方向に移動させることによって、幅方向の任意の位置での検査性能を保証することができる。図示例では、1本目のコイルでは視野の左側、2本目のコイルでは視野の中央、3本目のコイルでは視野の右側、・・・というように、コイル毎にレーザー光の照射位置を移動させている。
In this case, as shown in FIG. 3, for example, the inspection performance at an arbitrary position in the width direction can be ensured by moving the irradiation position of the laser beam for each coil in the width direction of the
また、例えばコイル毎にレーザーポインタ105の点灯時間の制御パターンを変えることにより、点状、線状、点線状のように照射パターンを変えることができるので、大きさや形状が様々な疵に対する検査性能を保証することができる。
In addition, for example, by changing the control pattern of the lighting time of the
以上述べたように、表面検査システムの検査性能を診断するときに、鋼板102の表面にレーザーポインタ105によりレーザー光を照射するようにしたので、鋼板に開口を設けたり、溶接線を利用したりして検査性能を診断する場合の不具合を避け、ラインを停止させることなく安定的に検査性能を診断することができる。即ち、鋼板に貫通する開口を設ける必要がないので、そのための設備や作業は不要であり、安価なレーザーポインタ105を設置するだけの簡易な構成とすることができる。また、溶接痕とは異なり、レーザー光を一定の形状(例えば点状、線状、点線状)として安定的に照射することができる。
As described above, when diagnosing the inspection performance of the surface inspection system, the laser beam is irradiated to the surface of the
(第2の実施形態)
第2の実施形態は、図4に示すように、光源103による鋼板102からの反射光の正反射方向に設置された正反射用カメラ104aと、乱反射方向に設置された乱反射用カメラ104bとを備えた例である。なお、上記第1の実施形態と同様の構成要素には同一の符号を付して説明し、その詳細な説明は省略する。
(Second Embodiment)
In the second embodiment, as shown in FIG. 4, a
本実施形態では、レーザーポインタ105が、正反射用カメラ104aと乱反射用カメラ104bとの間に配置される。なお、正反射用カメラ104a及び乱反射用カメラ104bはいずれも、第1の実施形態と同様に、鋼板102の幅方向(図4の紙面に垂直な方向)に2台配置されているものとする。
In the present embodiment, the
このように一対の正反射用カメラ104aと乱反射用カメラ104bとを用いることにより、異なる角度で同一箇所の画像を撮像する。正反射用カメラ104aと乱反射用カメラ104bの画像から特徴量を抽出し、重ね合わせ、あるいは差分をとることより高精度の疵判定を行うことが可能である。さらには、正反射用カメラ104aと乱反射用カメラ104bの画像を直接重ね合わせ、あるいは差分をとることより高精度の疵判定を行うことも可能である。即ち、一対の正反射用カメラ104aと乱反射用カメラ104bとは、鋼板102の表面の同一地点を撮像するようにセッティングされる。
In this way, by using the pair of
本発明を適用することにより、一対の正反射用カメラ104aと乱反射用カメラ104bとによる撮像地点のずれを補正することもできる。即ち、図5に示すように、レーザーポインタ105によりレーザー光を照射し、正反射用カメラ104aにより得られる撮像画像(図5(a)を参照)と、乱反射用カメラ104bにより得られる撮像画像(図5(b)を参照)とを作成する。
By applying the present invention, it is possible to correct the shift of the imaging point between the pair of
診断部111では、正反射画像、乱反射画像において、レーザー光の照射による画像が双方に現れる場合、これらカメラ104a、104bによる撮像地点のずれはないと判定する。それに対して、レーザー光の照射による画像が、正反射あるいは乱反射のどちらかに1つだけ現れる場合、これらカメラ104a、104bによる撮像地点にずれがあると判定する。図5の例では、カメラ1に関しては正反射画像及び乱反射画像ともにスポットが現れているのでOK(ずれはない)であるのに対して、カメラ2に関しては乱反射画像にスポットが現れていないのでNG(ずれがある)となる。
In the regular reflection image and the irregular reflection image, the diagnosis unit 111 determines that there is no shift of the imaging points by these
次に、スポット照射の形状を線状に変更し、図6に示すように鋼板102上に、鋼板102の搬送向に対して角度θ(度)をなす斜めの直線状にレーザー光を照射する。例えば、PLGパルス信号の200周期の時間だけレーザーポインタ105を点灯させると、図7に示すごとく、正反射画像(図7(a)を参照)と乱反射画像(図7(b)を参照)でスポット照射の画像位置に差異が現れて、図7(c)のOR画像に示すようなΔピクセル
ずれた長さ50mmの線が撮影される。
Next, the shape of the spot irradiation is changed to a linear shape, and the laser beam is irradiated onto the
ここで、
S=Δtan(90−θ)
であるから、有限値のカメラのずれ量Sを計算し、撮像画像の分解能や所望の検査精度から設定した管理値と比較する等して、カメラ設置状態が異常と判断することができる。さらには、当該ずれ量Sに基づいて、カメラ設置位置や光軸等の撮像装置の設置状態を修正することができる。
here,
S = Δtan (90−θ)
Therefore, the camera installation state can be determined to be abnormal, for example, by calculating a finite-value camera displacement amount S and comparing it with a management value set based on the resolution of the captured image and the desired inspection accuracy. Furthermore, the installation state of the imaging apparatus such as the camera installation position and the optical axis can be corrected based on the deviation amount S.
さらに、鋼板102上に、鋼板102の搬送向に対して角度θ(度)をなす斜めの直線状にレーザー光とともに、角度−θ(度)をなす斜めの直線状にレーザー光を照射することで、有限値のカメラの搬送方向のずれ量Sとともに、搬送方向と垂直な方向へのカメラのずれ量も計算できる。その結果、カメラ設置状態が異常と判断することができる。さらには、当該ずれ量Sに基づいて、カメラ設置位置や光軸等の撮像装置の設置状態を修正することができる。
Furthermore, the laser beam is irradiated on the
診断部111において、カメラ104a、104bによる撮像地点にずれがあると判定された場合、図7(d)に示すように、OR画像においてレーザー光の照射線による画像が1つになるように正反射用カメラ104a及び乱反射用カメラ104bのうち少なくともいずれか一方の画像をずらすことによって、これらカメラ104a、104bによる撮像地点のずれを補正することができる。
When the diagnosis unit 111 determines that there is a shift in the imaging points of the
撮影する鋼板の板圧変動に起因する正反射と乱反射での検査位置ずれに対しても、スポット照射の形状を線状に変更し、鋼板102上に、搬送方向に角度θをなす斜線を照射することで、上記のごとく、カメラのずれ量Sを計算して、撮像地点のずれを補正することができる。
Even for inspection position shifts due to regular reflection and irregular reflection caused by fluctuations in the plate pressure of the steel plate to be photographed, the spot irradiation shape is changed to a linear shape, and oblique lines forming an angle θ in the conveying direction are irradiated on the
上記2つの実施形態において画像に問題がある場合は撮像部あるいは画像処理回路106の異常であることが決定され、画像が正常であるにもかかわらず、疵検査装置の判定に問題がある場合は、特徴量算出部107あるいは疵判定部108の異常であることが決定できるので、故障箇所の特定が可能となる。
In the above two embodiments, when there is a problem with the image, it is determined that the imaging unit or the
以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更等が可能である。例えばカメラ104やレーザーポインタ105の台数等については実施形態のものに限られない。
As mentioned above, although this invention was demonstrated with various embodiment, this invention is not limited only to these embodiment, A change etc. are possible within the scope of the present invention. For example, the number of
101 ロール
102 鋼板
103 光源
104 カメラ
105 レーザーポインタ
106 画像処理回路
107 特徴量算出部
108 疵判定部
109 表示装置
110 点灯制御部(時間又は強度)
111 診断部
DESCRIPTION OF
111 Diagnostic Department
Claims (11)
当該表面検査システムの検査性能を診断するときに、前記帯状被検査体の表面に、前記光源の光とは輝度が異なる光をスポット照射するスポット照射装置を備えたことを特徴とする表面検査システム。 A surface inspection system comprising a light source for irradiating light on the surface of a belt-shaped object to be transported, and an imaging device for receiving and imaging reflected light from the belt-shaped object,
A surface inspection system comprising a spot irradiation device for spot irradiating light having a luminance different from that of the light from the light source on the surface of the strip-shaped object to be inspected when diagnosing the inspection performance of the surface inspection system .
前記スポット照射装置のスポット照射の形状が前記帯状被検査体の搬送方向に対して斜めの直線状であり、
前記診断手段は、前記撮像装置それぞれの撮像画像における、スポット照射の画像の位置の差異から、前記撮像装置の設置状態のずれを検出することを特徴とする請求項4に記載の表面検査システム。 The imaging device is a plurality, and images the same spot irradiation on the surface of the strip-shaped object to be inspected,
The shape of the spot irradiation of the spot irradiation device is a straight line oblique to the transport direction of the strip-shaped inspected object
5. The surface inspection system according to claim 4, wherein the diagnosis unit detects a deviation in an installation state of the imaging device from a difference in a position of an image of spot irradiation in a captured image of each of the imaging devices.
前記帯状被検査体の表面に、前記光源の光とは輝度が異なる光をスポット照射し、前記撮像装置により得られる撮像画像に基づいて、前記表面検査システムの検査性能を診断することを特徴とする表面検査システムの検査性能の診断方法。 A method for diagnosing the inspection performance of a surface inspection system, comprising: a light source that irradiates light on a surface of a belt-shaped object to be transported; and an imaging device that receives reflected light from the belt-shaped object and images it. ,
The surface of the strip-shaped object is spot-irradiated with light having a luminance different from that of the light from the light source, and the inspection performance of the surface inspection system is diagnosed based on a captured image obtained by the imaging device. Method of inspection performance of surface inspection system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007132073A JP4901578B2 (en) | 2006-05-18 | 2007-05-17 | Surface inspection system and diagnostic method for inspection performance of surface inspection system |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006138851 | 2006-05-18 | ||
JP2006138851 | 2006-05-18 | ||
JP2007132073A JP4901578B2 (en) | 2006-05-18 | 2007-05-17 | Surface inspection system and diagnostic method for inspection performance of surface inspection system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007333732A true JP2007333732A (en) | 2007-12-27 |
JP4901578B2 JP4901578B2 (en) | 2012-03-21 |
Family
ID=38933323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007132073A Active JP4901578B2 (en) | 2006-05-18 | 2007-05-17 | Surface inspection system and diagnostic method for inspection performance of surface inspection system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4901578B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102262095A (en) * | 2010-04-14 | 2011-11-30 | 株式会社高永科技 | Method of checking and setting inspection apparatus |
CN102721702A (en) * | 2012-06-27 | 2012-10-10 | 山东轻工业学院 | Distributed paper defect detection system and method based on embedded processor |
JP2014232061A (en) * | 2013-05-30 | 2014-12-11 | 株式会社プレックス | Cloth inspection device |
JP2017207288A (en) * | 2016-05-16 | 2017-11-24 | Jfeスチール株式会社 | Surface inspection device-purpose calibration plate and surface inspection device calibration method |
KR101908808B1 (en) | 2016-12-22 | 2018-12-10 | 주식회사 포스코 | Apparatus and method for detecting strip wave |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108120399A (en) * | 2016-11-30 | 2018-06-05 | 北京航天计量测试技术研究所 | A kind of scan-type highlights background characteristics point identification method |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11132967A (en) * | 1997-10-24 | 1999-05-21 | Kawasaki Steel Corp | Calibration of surface inspection apparatus |
JP2000199746A (en) * | 1998-11-05 | 2000-07-18 | Nkk Corp | Surface flaw inspecting apparatus |
JP2000205847A (en) * | 1999-01-18 | 2000-07-28 | Kawasaki Steel Corp | Method and device for inspecting surface flaw |
JP2001165867A (en) * | 1999-12-14 | 2001-06-22 | Nkk Corp | Surface inspection device |
JP2001174414A (en) * | 1999-12-20 | 2001-06-29 | Nkk Corp | Standard plate, and method and apparatus for adjusting surface inspection apparatus |
JP2002090306A (en) * | 2000-09-19 | 2002-03-27 | Nkk Corp | Self-diagnostic method for surface inspection device |
-
2007
- 2007-05-17 JP JP2007132073A patent/JP4901578B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11132967A (en) * | 1997-10-24 | 1999-05-21 | Kawasaki Steel Corp | Calibration of surface inspection apparatus |
JP2000199746A (en) * | 1998-11-05 | 2000-07-18 | Nkk Corp | Surface flaw inspecting apparatus |
JP2000205847A (en) * | 1999-01-18 | 2000-07-28 | Kawasaki Steel Corp | Method and device for inspecting surface flaw |
JP2001165867A (en) * | 1999-12-14 | 2001-06-22 | Nkk Corp | Surface inspection device |
JP2001174414A (en) * | 1999-12-20 | 2001-06-29 | Nkk Corp | Standard plate, and method and apparatus for adjusting surface inspection apparatus |
JP2002090306A (en) * | 2000-09-19 | 2002-03-27 | Nkk Corp | Self-diagnostic method for surface inspection device |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102262095A (en) * | 2010-04-14 | 2011-11-30 | 株式会社高永科技 | Method of checking and setting inspection apparatus |
US9124810B2 (en) | 2010-04-14 | 2015-09-01 | Koh Young Technology Inc. | Method of checking an inspection apparatus and method of establishing a measurement variable of the inspection apparatus |
CN102262095B (en) * | 2010-04-14 | 2016-06-01 | 株式会社高永科技 | The method of the method checking verifying attachment and the measurand setting up verifying attachment |
CN102721702A (en) * | 2012-06-27 | 2012-10-10 | 山东轻工业学院 | Distributed paper defect detection system and method based on embedded processor |
JP2014232061A (en) * | 2013-05-30 | 2014-12-11 | 株式会社プレックス | Cloth inspection device |
JP2017207288A (en) * | 2016-05-16 | 2017-11-24 | Jfeスチール株式会社 | Surface inspection device-purpose calibration plate and surface inspection device calibration method |
KR101908808B1 (en) | 2016-12-22 | 2018-12-10 | 주식회사 포스코 | Apparatus and method for detecting strip wave |
Also Published As
Publication number | Publication date |
---|---|
JP4901578B2 (en) | 2012-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3927353B2 (en) | Image alignment method, comparison inspection method, and comparison inspection apparatus in comparison inspection | |
JP4901578B2 (en) | Surface inspection system and diagnostic method for inspection performance of surface inspection system | |
KR101343277B1 (en) | Surface inspection apparatus | |
JP4907428B2 (en) | Surface inspection system and diagnostic method for inspection performance of surface inspection system | |
JP5954284B2 (en) | Surface defect inspection apparatus and surface defect inspection method | |
JP2015105930A (en) | Minute defect inspection method for translucent substrate and minute defect inspection device for translucent substrate | |
JP5881002B2 (en) | Surface defect inspection apparatus and method | |
JPH11271038A (en) | Painting defect inspection device | |
EP3598112B1 (en) | Cylindrical body surface inspection device and cylindrical body surface inspection method | |
JP6515348B2 (en) | Calibration plate for surface inspection apparatus and calibration method for surface inspection apparatus | |
JP3591401B2 (en) | Adjustment method for surface inspection device and adjustment device for surface inspection device | |
JP2005283267A (en) | Through hole measuring device, method, and program for through hole measurement | |
JP2007071562A (en) | Surface inspection device, surface inspection method, and manufacturing method of film | |
JP2001124538A (en) | Method and device for detecting defect in surface of object | |
JP4023295B2 (en) | Surface inspection method and surface inspection apparatus | |
KR101015808B1 (en) | Apparatus and method for measuring line width of bonding electrode | |
JP2015059854A (en) | Defect inspection method and defect inspection device | |
JP2011112593A (en) | Inspection method and inspection device of printed matter | |
JP5768349B2 (en) | Slit light intensity distribution design method and light cutting uneven surface wrinkle detecting device | |
JP2004036048A (en) | Apparatus for inspecting fabric weight of sheet material | |
JP2008209295A (en) | Device for measuring size | |
KR20150022359A (en) | Inspection-Object Location estimation device using multi camera. | |
JP2015081838A (en) | Inspection apparatus for can with dent or buckling | |
JP2007139630A (en) | Surface inspection device and method | |
JP2006258649A (en) | Surface inspection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090916 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110909 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110920 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111206 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111227 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4901578 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150113 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150113 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150113 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |