JP2006118913A - Method of detecting crack and crack detector - Google Patents
Method of detecting crack and crack detector Download PDFInfo
- Publication number
- JP2006118913A JP2006118913A JP2004305351A JP2004305351A JP2006118913A JP 2006118913 A JP2006118913 A JP 2006118913A JP 2004305351 A JP2004305351 A JP 2004305351A JP 2004305351 A JP2004305351 A JP 2004305351A JP 2006118913 A JP2006118913 A JP 2006118913A
- Authority
- JP
- Japan
- Prior art keywords
- crack
- light source
- image data
- image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
本発明は、コンクリート壁面等の物体表面のひび割れを検出する方法及び装置に関するものである。 The present invention relates to a method and apparatus for detecting cracks on the surface of an object such as a concrete wall.
2次元カメラを用いて撮影した画像を処理し、路面のひび割れを検出する装置として特許文献1に示す技術がある。この特許文献1の出願前のひび割れ検出装置は、路面の一枚の原画像をデジタル化して二値化処理することでひび割れを抽出し、抽出されたひび割れの数量を算出し、所定の計算方法で算出したひび割れ数量のしきい値と比較することでひび割れ部分であるか否かを判定していた。ところが、明部と暗部との境界付近にあるひび割れ部分は、抽出した暗部に埋もれてしまい抽出できなくなり、検出精度が低下するという欠点があった。
そこで、この特許文献1の技術では、一枚の画像データを明部エリアと暗部エリアとに別けてそれぞれを二値化して濃度値と濃度値ヒストグラムを作成し、明部エリアと暗部エリアとのそれぞれにおいて濃度値をしきい値と比較してひび割れを抽出することで、明部と暗部との境界付近にあるひび割れでも検出できるようにしている。
Therefore, in the technique of Patent Document 1, a single piece of image data is divided into a bright area and a dark area, and each is binarized to create a density value and a density value histogram. In each case, the density value is compared with a threshold value to extract a crack, so that a crack near the boundary between the bright part and the dark part can be detected.
ところが、前記特許文献1の技術では、一枚の画像データから濃度値ヒストグラムを作成しており、ひび割れと判断して抽出された画像データの結果が、黒い汚れや架線の影が黒い線となって撮影されている場合であっても、しきい値を越える濃度差となって表されるのでこれをひび割れと誤って判断するという欠点があった。 However, in the technique of Patent Document 1, a density value histogram is created from one piece of image data, and the result of the image data extracted as a crack is a black line with black stains or shadows of overhead lines. Even if the image is photographed, the density difference that exceeds the threshold value is displayed, so that there is a drawback that it is erroneously determined as a crack.
本発明は従来の前記課題に鑑みてこれを改良除去したものであって、可視画像から精度よくひび割れを検出することのできる検出方法及び装置を提供せんとするものである。 The present invention is obtained by improving and removing the above problems in view of the above-described problems, and provides a detection method and apparatus capable of detecting cracks from a visible image with high accuracy.
而して、前記課題を解決するために本発明が採用した請求項1の手段は、物体表面を照らす光源の角度を変化させながら複数枚の画像を撮影し、各画像データの同一測定対象部位の画素値を比較することによってひび割れであるか否かを判定するようにしたことを特徴とするひび割れ検出方法である。 Thus, in order to solve the above-mentioned problem, the means of claim 1 employed by the present invention captures a plurality of images while changing the angle of the light source that illuminates the object surface, and the same measurement target portion of each image data. It is a crack detection method characterized by determining whether or not it is a crack by comparing the pixel values.
本発明が採用した請求項2の手段は、光源を所定角度ごとに複数配列し、画像を撮影する手段を一つとして、各光源ごとの画像を撮影するようにした請求項1に記載のひび割れ検出方法である。
The means of
本発明が採用した請求項3の手段は、画像を撮影する手段を所定角度ごとに複数配列し、光源を一つとして、複数枚の画像を撮影するようにした請求項1に記載のひび割れ検出方法である。
The means of
本発明が採用した請求項4の手段は、物体表面に対して異なる角度から光を照射する光源と、物体表面の画像データを取得するレーザスキャン撮像機器やデジタルカメラ等の画像取得手段と、前記取得した画像データの各画素の輝度値が所定のしきい値以下の部分を抽出する画像処理部と、同一測定対象部位について抽出された複数の画像の画素値を演算して比較する演算処理部と、ひび割れであると判定した画像データを出力する画像データ出力部とで構成したことを特徴とするひび割れ検出装置である。
The means of
請求項1の発明にあっては、物体表面を照らす光源の角度を変化させながら複数枚の画像を撮影し、各画像データの同一測定対象部位の画素値を比較することによってひび割れであるか否かを判定するようにしている。ひび割れである場合には、同一の測定対象部位であれば光源の角度が異なっても同一の画素値が得られる。これに対して、黒い汚れや影等である場合は、同一測定対象部位についての画素値が光源の角度によって異なる。従って、異なる角度から照射した同一測定対象部位についての画素値を比較することにより、真実のひび割れか、汚れや影であるかの判断が高精度に可能である。 In the invention of claim 1, whether or not the image is cracked by taking a plurality of images while changing the angle of the light source that illuminates the object surface and comparing the pixel values of the same measurement target portion of each image data. Judgment is made. In the case of cracks, the same pixel value can be obtained even if the angle of the light source is different for the same measurement target part. On the other hand, in the case of black stains, shadows, etc., the pixel values for the same measurement target part differ depending on the angle of the light source. Therefore, by comparing the pixel values of the same measurement target site irradiated from different angles, it is possible to determine whether it is a true crack, a dirt or a shadow with high accuracy.
請求項2の発明にあっては、前記請求項1の発明における光源の角度を変化させる手段として、光源を所定角度ごとに複数配列し、画像の撮影手段を一つとしている。これにより、撮影手段を固定しておいて、各光源から照射したときの同一対象物についての画像を撮影し、光源の角度が変化した複数枚の画像を得るようにしている。
In the invention of
請求項3の発明にあっては、前記請求項2の場合とは逆に、画像の撮影手段を所定角度ごとに複数配列し、光源を一つとしている。そして、各撮影手段で画像を撮影することにより、光源の角度が変化した複数枚の画像を得るようにしている。
In the invention of
請求項4の発明は、請求項1の発明を実現するための装置の発明である。これにより、黒い汚れや影等を区別し、真実のひび割れのみを確実に検出することが可能となる。
The invention of
以下に、本発明の構成を図面に示す発明の実施の形態に基づいて説明すると次の通りである。図1〜図4は本発明の一実施の形態に係るものである。図1はひび割れ検出装置1の構成を示す全体システム図、図2は同装置1の処理フローを示すブロック図、図3はひび割れ検出方法を説明するための原理図、図4は実験結果を示す図面である。
同図に示す如く、この実施の形態のひび割れ検出装置1は、コンクリート壁面5の表面に対して光を照射する光源2と、該光源2から照射された光の反射光を受光し、画像データを取得するための画像取得手段としてのデジタルカメラ3と、このデジタルカメラ3の画像データを処理し、データ出力する中央演算処理装置(パソコン)4とで構成されている。
The configuration of the present invention will be described below based on the embodiment of the invention shown in the drawings. 1 to 4 relate to an embodiment of the present invention. FIG. 1 is an overall system diagram showing the configuration of a crack detection apparatus 1, FIG. 2 is a block diagram showing a processing flow of the apparatus 1, FIG. 3 is a principle diagram for explaining a crack detection method, and FIG. It is a drawing.
As shown in the figure, a crack detection device 1 of this embodiment receives a
この実施の形態のひび割れ検出装置1では、単一のデジタルカメラ3を使用し、光源2を所定角度ごとに複数配設するようにしている。なお、画像取得手段としてのデジタルカメラ3と光源2との関係は、この逆の場合、すなわち、画像取得手段としてのデジタルカメラ3を所定角度ごとに複数配設し、単一の光源2を用いるようにしてもよい。
In the crack detection device 1 of this embodiment, a single
ところで、本発明におけるひび割れの検出原理は、黒い汚れや影等の場合は光の照射角度が変わると、画像取得手段に取得された画像データの画素値(輝度値)が異なるのに対し、真実のひび割れの場合は光の照射角度が変わっても画像取得手段で取得された画像データの画素値はほとんど変化がないということを発見したことに基づくものである。この原理に基づき、いろいろな角度から照射した光によって取得した同一測定対象部位(同一測定ポイント)における画像データの画素値を比較判断することで、真実のひび割れか、黒い汚れや影等であるかを判断するようにしている。 By the way, the principle of detection of cracks in the present invention is true when the pixel value (luminance value) of the image data acquired by the image acquisition means is different when the irradiation angle of light is changed in the case of black dirt or shadow. In the case of cracks, it is based on the discovery that the pixel value of the image data acquired by the image acquisition means hardly changes even if the light irradiation angle changes. Based on this principle, by comparing and judging the pixel values of the image data at the same measurement target part (same measurement point) acquired by light irradiated from various angles, it is true cracks, black stains, shadows, etc. I am trying to judge.
本発明におけるひび割れ検出方法の処理フローでは、図2に示すように、先ず、同一測定対象部位について、光の照射角度を変えて画像データを取得している。次いで、画像処理部で、画像データの画像領域のうち、例えば、撮影範囲全部を特定されたひび割れ測定対象領域とする処理を行っている。そして、演算処理部において、それぞれの画像データの画素値(輝度値)を演算している。続いて、ひび割れ抽出部において、演算した各画像データの画素値(輝度値)を比較し、所定のしきい値以下の部分をひび割れらしき部分として抽出している。そして、それぞれの画像データの画素値(輝度値)の分散が、前記しきい値とは異なる所定のしきい値以下の部分をひび割れとして抽出するようにしている。ひび割れとして抽出されたデータは、保守部門におけるサーバー等へ出力され、データベース化されると共に、ひび割れの修復のために利用されることになる。 In the process flow of the crack detection method of the present invention, as shown in FIG. 2, first, image data is acquired by changing the light irradiation angle for the same measurement target part. Next, the image processing unit performs, for example, processing of setting the entire imaging range as the specified crack measurement target region in the image region of the image data. Then, a pixel value (luminance value) of each image data is calculated in the calculation processing unit. Subsequently, the crack extraction unit compares pixel values (luminance values) of the calculated image data, and extracts a portion that is equal to or less than a predetermined threshold as a portion that appears to be a crack. A portion where the variance of the pixel values (luminance values) of each image data is not more than a predetermined threshold value different from the threshold value is extracted as a crack. The data extracted as a crack is output to a server or the like in the maintenance department, converted into a database, and used for repairing the crack.
次に、図3に示す実験結果について説明する。実験は、実際にコンクリート壁面5に対してひび割れHと、焦げ茶色のツヤ無しペンキを塗布した部分Pと、黒色のサインペンによる汚れ部分Sとを意図的に作成して行った。そして、コンクリート壁面5に対して、15度ごとに配設した7個の光源2から光の強度を一定にして順次、光を照射し、そのときの画像データを単一のデジタルカメラ3で取得した。デジタルカメラ3で取得した画像データは、前記7個の光源2から照射された光の反射光をそれぞれ撮影したものである。次に、これらの照射角度の異なる同一の測定対象部位についての画像データを比較し、画像データの画素値(輝度値)をパソコン4で演算処理して比較した。
Next, the experimental results shown in FIG. 3 will be described. The experiment was performed by intentionally creating a crack H, a portion P where dark brown lusterless paint was applied, and a soiled portion S with a black sign pen. The
比較結果を図式化したのが、図4である。この図4によれば、光源2から照射される光の角度が変わった場合、焦げ茶色のツヤ無しペンキを塗布した部分Pと、黒色のサインペンによる汚れ部分Sとでは、画像データの画素値(輝度値)にバラツキが大きいことが明らかである。これに対して、真実のひび割れの部分Hにあっては、画像データの画素値(輝度値)は、光源2から照射される角度が変わった場合であってもほとんど変化がなく、安定している。なお、図4における縦軸の画素値(輝度値)の数値は、256階調での分解値である。
FIG. 4 shows the comparison results as a diagram. According to FIG. 4, when the angle of light emitted from the
これらのことから、ひび割れの抽出は、同一測定対象部位について、光の照射角度を変えて画像データを取得し、それぞれの画像データの画素値(輝度値)を比較して、画素値(輝度値)の分散が、しきい値以下の部分をひび割れとして抽出すればよいことが明らかである。 From these facts, crack extraction is performed by changing the light irradiation angle for the same measurement target part, obtaining image data, comparing the pixel values (luminance values) of the respective image data, and comparing the pixel values (luminance values). It is clear that the portion where the dispersion of) is less than the threshold may be extracted as a crack.
ところで、本発明のひび割れ検出方法及び装置は、建物や塀等の構造物の平面的な壁面及び曲面的な壁面への適用が可能であるが、トンネル内のコンクリート壁面のひび割れ自動検出へ適用することも当然に可能である。トンネル内のコンクリート壁面へ適用する場合は、一般道路上の走行とレール上の走行が可能な軌陸車に本発明の装置を組み込み、目的地のトンネル近くの駅構内や車両基地まで一般道路を走行した後、レール上を走行し、トンネル内のコンクリート壁面に対して照射角度を変えながら光を照射して画像を取得し、各画像の画素値(輝度値)を比較してひび割れを検出すればよい。なお、軌陸車へ組み込むひび割れ装置は、光源を一つとし、デジタルカメラ等の画像取得手段を軌陸車の周囲に複数設置するようにしてもよく、これとは逆に、光源を軌陸車の周囲に複数設置し、デジタルカメラ等の画像取得手段を一つ設けるようにしてもよい。 By the way, the crack detection method and apparatus of the present invention can be applied to flat and curved walls of structures such as buildings and fences, but is applied to automatic detection of cracks on concrete walls in tunnels. Of course it is also possible. When applied to a concrete wall in a tunnel, the device of the present invention is incorporated into a track-and-rail vehicle capable of traveling on a general road and on a rail, and travels on a general road to a station yard or a vehicle base near the destination tunnel. Then, run on the rail, irradiate light on the concrete wall in the tunnel while changing the irradiation angle, acquire images, and compare the pixel values (luminance values) of each image to detect cracks Good. In addition, the cracking device incorporated in the track-and-rail vehicle may have a single light source and a plurality of image acquisition means such as digital cameras may be installed around the track-and-rail vehicle. A plurality of image acquisition means such as a digital camera may be provided.
またひび割れ検出対象物の素材は、特に限定されるものではなく、木材であっても、コンクリート壁面であっても、金属や合成樹脂であってもよい。全ての材料についてのひび割れ検出が可能である。また画像取得手段としては、デジタルカメラ以外にも、レーザスキャン撮像機器やその他の撮像機器が適用可能である。 The material of the crack detection object is not particularly limited, and may be wood, a concrete wall surface, metal, or synthetic resin. Crack detection is possible for all materials. In addition to the digital camera, a laser scan imaging device and other imaging devices can be applied as the image acquisition means.
1…ひび割れ検出装置、2…光源、3…画像取得手段(デジタルカメラ)、4…画像処 理及び演算処置装置(パソコン)、5…コンクリート壁面、H…ひび割れ
DESCRIPTION OF SYMBOLS 1 ... Crack detection apparatus, 2 ... Light source, 3 ... Image acquisition means (digital camera), 4 ... Image processing and arithmetic treatment apparatus (PC), 5 ... Concrete wall surface, H ... Crack
Claims (4)
A light source that emits light from different angles to the object surface, an image acquisition unit such as a laser scan imaging device or a digital camera that acquires image data of the object surface, and a luminance value of each pixel of the acquired image data is predetermined. An image processing unit that extracts a portion below the threshold value, an arithmetic processing unit that calculates and compares pixel values of a plurality of images extracted for the same measurement target portion, and outputs image data determined to be cracked A crack detection device comprising: an image data output unit that performs the operation.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004305351A JP4186117B2 (en) | 2004-10-20 | 2004-10-20 | Crack detection method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004305351A JP4186117B2 (en) | 2004-10-20 | 2004-10-20 | Crack detection method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006118913A true JP2006118913A (en) | 2006-05-11 |
JP4186117B2 JP4186117B2 (en) | 2008-11-26 |
Family
ID=36536946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004305351A Expired - Fee Related JP4186117B2 (en) | 2004-10-20 | 2004-10-20 | Crack detection method and apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4186117B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011117788A (en) * | 2009-12-02 | 2011-06-16 | Sumitomo Mitsui Construction Co Ltd | Concrete surface inspection device |
CN103822922A (en) * | 2014-02-11 | 2014-05-28 | 中国水利水电科学研究院 | Method for rapidly determining the area content of aggregates/mortar in concrete slice |
US10197502B2 (en) | 2014-04-16 | 2019-02-05 | Nec Corporation | Information processing device, information processing method and medium |
EP3582180A1 (en) * | 2018-06-13 | 2019-12-18 | Fujitsu Limited | Image processing program, image processing apparatus, and image processing method |
CN114345841A (en) * | 2021-12-31 | 2022-04-15 | 苏州德威尔卡光电技术有限公司 | Control method in laser cleaning process and laser cleaning control system |
CN115452845A (en) * | 2022-11-14 | 2022-12-09 | 深圳市晶台股份有限公司 | LED screen surface damage detection method based on machine vision |
CN116721103A (en) * | 2023-08-10 | 2023-09-08 | 山东明佳科技有限公司 | Image detection method, system, equipment and storage medium for purity of inner bottom of milk glass bottle |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5780946B2 (en) * | 2011-12-19 | 2015-09-16 | 鹿島建設株式会社 | Quality evaluation method and quality evaluation apparatus for concrete structures |
-
2004
- 2004-10-20 JP JP2004305351A patent/JP4186117B2/en not_active Expired - Fee Related
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011117788A (en) * | 2009-12-02 | 2011-06-16 | Sumitomo Mitsui Construction Co Ltd | Concrete surface inspection device |
CN103822922A (en) * | 2014-02-11 | 2014-05-28 | 中国水利水电科学研究院 | Method for rapidly determining the area content of aggregates/mortar in concrete slice |
CN103822922B (en) * | 2014-02-11 | 2017-03-29 | 中国水利水电科学研究院 | The quick method for determining mortar/aggregate area fraction in concrete section |
US10197502B2 (en) | 2014-04-16 | 2019-02-05 | Nec Corporation | Information processing device, information processing method and medium |
JP7187830B2 (en) | 2018-06-13 | 2022-12-13 | 富士通株式会社 | Image processing program, image processing apparatus, and image processing method |
EP3582180A1 (en) * | 2018-06-13 | 2019-12-18 | Fujitsu Limited | Image processing program, image processing apparatus, and image processing method |
JP2019215258A (en) * | 2018-06-13 | 2019-12-19 | 富士通株式会社 | Image processing program, image processing device, and image processing method |
CN110610473A (en) * | 2018-06-13 | 2019-12-24 | 富士通株式会社 | Image processing apparatus, image processing method, and computer-readable storage medium |
US11145045B2 (en) | 2018-06-13 | 2021-10-12 | Fujitsu Limited | Image processing program, image processing apparatus, and image processing method |
CN110610473B (en) * | 2018-06-13 | 2023-05-09 | 富士通株式会社 | Image processing apparatus, image processing method, and computer-readable storage medium |
CN114345841A (en) * | 2021-12-31 | 2022-04-15 | 苏州德威尔卡光电技术有限公司 | Control method in laser cleaning process and laser cleaning control system |
CN114345841B (en) * | 2021-12-31 | 2022-10-04 | 苏州德威尔卡光电技术有限公司 | Control method in laser cleaning process and laser cleaning control system |
CN115452845A (en) * | 2022-11-14 | 2022-12-09 | 深圳市晶台股份有限公司 | LED screen surface damage detection method based on machine vision |
CN115452845B (en) * | 2022-11-14 | 2023-01-13 | 深圳市晶台股份有限公司 | LED screen surface damage detection method based on machine vision |
CN116721103A (en) * | 2023-08-10 | 2023-09-08 | 山东明佳科技有限公司 | Image detection method, system, equipment and storage medium for purity of inner bottom of milk glass bottle |
CN116721103B (en) * | 2023-08-10 | 2023-10-27 | 山东明佳科技有限公司 | Image detection method, system, equipment and storage medium for purity of inner bottom of milk glass bottle |
Also Published As
Publication number | Publication date |
---|---|
JP4186117B2 (en) | 2008-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sun et al. | Weighted neighborhood pixels segmentation method for automated detection of cracks on pavement surface images | |
Iglesias et al. | Automated vision system for quality inspection of slate slabs | |
Moaveni et al. | Evaluation of aggregate size and shape by means of segmentation techniques and aggregate image processing algorithms | |
Tsai et al. | Critical assessment of detecting asphalt pavement cracks under different lighting and low intensity contrast conditions using emerging 3D laser technology | |
JP5175528B2 (en) | Tunnel lining crack inspection system | |
JP2017053819A (en) | Crack detection method and detection program of concrete | |
KR102073229B1 (en) | Surface defect detection apparatus and surface defect detection method | |
JP2016166853A (en) | Location estimation device and location estimation method | |
Lin et al. | Applications of computer vision on tile alignment inspection | |
KR102565689B1 (en) | Method of Mobile Safety Diagnosis and monitoring for facilities based on deep learning and Apparatus thereof | |
DE60045162D1 (en) | Method and device for segmenting numerical images | |
JP6635712B2 (en) | Inspection method, inspection device, image processing device, program, and recording medium | |
JP6628180B2 (en) | Surface damage detection method and surface damage detection device | |
JPH03160349A (en) | Device for detecting crack | |
JP2007078540A (en) | Visual inspection method and visual inspection device | |
JP2006010392A (en) | Through hole measuring system, method, and through hole measuring program | |
JP2018096908A (en) | Inspection device and inspection method | |
JP4186117B2 (en) | Crack detection method and apparatus | |
JP2020038132A (en) | Crack on concrete surface specification method, crack specification device, and crack specification system, and program | |
JP2010127746A (en) | Apparatus for measuring abrasion and deflection of trolley wire by image processing | |
JP2000028541A (en) | Crack detection method for concrete surface | |
JP2008267943A (en) | Crack detecting method | |
JP4322230B2 (en) | Surface defect inspection apparatus and surface defect inspection method | |
KR102164224B1 (en) | System and method for tunnel lining inspection using image processing | |
JP6357046B2 (en) | Work item identification device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070405 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070417 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070918 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080805 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080827 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140919 Year of fee payment: 6 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |