JP3073647B2 - 銅含有スクラップの識別方法 - Google Patents

銅含有スクラップの識別方法

Info

Publication number
JP3073647B2
JP3073647B2 JP06077636A JP7763694A JP3073647B2 JP 3073647 B2 JP3073647 B2 JP 3073647B2 JP 06077636 A JP06077636 A JP 06077636A JP 7763694 A JP7763694 A JP 7763694A JP 3073647 B2 JP3073647 B2 JP 3073647B2
Authority
JP
Japan
Prior art keywords
copper
scrap
pixel
value
hue angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP06077636A
Other languages
English (en)
Other versions
JPH07286969A (ja
Inventor
富三男 田中
純忠 柿本
俊夫 赤木
修治 内藤
雅浩 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Steel Corp
Original Assignee
Nippon Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Steel Corp filed Critical Nippon Steel Corp
Priority to JP06077636A priority Critical patent/JP3073647B2/ja
Publication of JPH07286969A publication Critical patent/JPH07286969A/ja
Application granted granted Critical
Publication of JP3073647B2 publication Critical patent/JP3073647B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Sorting Of Articles (AREA)
  • Processing Of Solid Wastes (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は鉄スクラップ回生処理に
おいて、鉄スクラップ群から不純物元素である銅を含有
したスクラップを自動識別する方法に関する。
【0002】
【従来の技術】スクラップ回生により生産される鉄の品
質低下を避けるためには、一般にトランプエレメントと
呼称される銅、亜鉛、錫などの非鉄不純物元素の混入を
防ぐ必要がある。亜鉛や錫は主としてめっき鋼板の表層
に存在しているのに対し、銅は主として自動車、家電製
品中のモーターコアの中に銅線として存在するため破砕
屑段階で識別し分離するのが混入防止に最も効果的であ
る。
【0003】従来より回生業者により行われてきた処理
は、自動車、家電製品などの廃棄物をまずシュレッダー
と呼ばれる破砕機により長寸サイズで約数十mmのスクラ
ップ片に裁断し、風選により布、プラスチックなど非金
属の細片、粉体を除去したり、渦流式選別により非金属
片と金属片の分離を行ったり、さらには磁気選別により
鉄と非鉄金属片の分離を行うというものであり、最終的
に分離された鉄スクラップが製鉄メーカーに鉄原料とし
て引き渡されている。
【0004】しかしながら銅の最も大きな混入源である
モーターコアは銅線と鉄芯が機械的に絡み合っているた
め磁選によっても銅と鉄を分離することができないた
め、結局はベルトコンベア上を搬送される途中で作業員
の目視による識別と手選別により分離されてきた。
【0005】このような人手による識別作業にはスク
ラップ処理量の拡大が困難、多大な人件費投入が経済
的に困難、銅除去後のスクラップの均一品質確保が困
難、作業環境の改善が困難、などの問題がある。この
作業の自動化手段として、レーザ光線照射によりスクラ
ップ自動識別を行う方法の提案もなされている(Dr. H.
-P Sattler: VDI BERICHTE NR. 934, 1991: 'Scrap sor
ting with Lazer-an automatic process for mixed non
-ferrous metals from automobile shredders')。
【0006】
【発明が解決しようとする課題】しかし、前述の方法は
高価なパルスレーザ照射器を利用するために、装置コス
ト削減が難しく、またレーザおよび分光器を悪環境で使
用しなければならないため、装置メンテナンスにコスト
と人手がかかることが実用上問題であった。また、銅を
含有したスクラップを自動識別する方法としてはすでに
色相角による自動識別方法を特許出願している(特願平
5−135119号;鉄スクラップ群から銅の含有され
たスクラップを識別する方法)。
【0007】しかし色相角のみによる方法ではスクラッ
プ中彩度値の低い部分において、色相角が不安定になる
ため銅と鉄の識別精度の低下が認められた。また、分離
プロセスで銅含有スクラップの分離を効率的に行うため
には、識別処理の中で個々のスクラップの認識処理と銅
含有スクラップの位置情報を求めて分離プロセスへ伝送
する必要があり、それらの情報を同時に獲得する必要が
あった。
【0008】本発明が解決しようとする課題は、装置コ
ストおよびメンテナンスコストが小さな識別方法を実現
するために、色相角を用いて銅含有スクラップの識別精
度の向上を図るとともに、銅含有スクラップの位置情報
を分離プロセスへ伝送できるための識別方法を構築する
ことである。
【0009】
【課題を解決するための手段】本発明の要旨は次の通り
である。 1)カラーテレビカメラにより鉄スクラップ群を撮像
し; 2)該画像内の各画素について、該点の持つRGB信号
値から輝度値I、彩度値S、色相角値H、を求め; 3)該画像に対して各画素の彩度値が予め設定されたし
きい値以上であるか否かを判別し;該画素の彩度値がし
きい値以上である場合は、該画素の色相角値が予め設定
された銅の色相角値範囲内にあるとき、該画素は銅であ
ると判別し;該画素の色相角値が予め設定された銅の色
相角値範囲内にないとき、該画素は銅でないと判別し;
該画素の彩度値がしきい値以上でない場合は、該画素は
銅でないと判別する;ことにより該画像内の銅と判別さ
れる画素を求め; 4)輝度値Iを用いて該画像全体にラベリング処理を施
してスクラップの個体認識を行うとともに、個々のスク
ラップの総面積Stすなわちスクラップが占める画素数
を求め;該スクラップの占める画像領域の中の銅面積S
Cuすなわち銅と判別された画素の総数を求め; 5)各スクラップに対して銅面積SCuとStの比R=
SCu/Stを求めて、比Rが予め設定されたしきい値
Rmin 以上である場合には該スクラップを銅含有スクラ
ップと識別し、その重心位置(X,Y)すなわち総面積
Stの重心の画素番地を求める。
【0010】
【作用】図1に示すように、鉄スクラップ群1を光源2
で照らした状態で、鉄スクラップ群1内の銅識別を要す
る範囲についてカラーテレビカメラ3で撮像する。ただ
し、特に光源が無くともカラーテレビカメラによる撮像
が可能である場合には、光源が必ずしも必要でない。
【0011】カラーテレビカメラのRGB信号4はHS
I変換装置5により色相角度H(6),彩度S(7),
および輝度I(8)信号に変換されて識別処理装置9に
伝送される。識別処理装置9は後述する,,の画
像処理を行って銅を含有すると識別されたスクラップの
重心位置(X,Y)信号10を出力する。
【0012】ベルトコンベアの搬送方向後部に設置され
ている分離装置(図示せず)の制御装置は銅含有スクラ
ップの重心位置(X,Y)信号10を受けるとともに、
該スクラップの搬送時間遅れを補正するいわゆるトラッ
キング処理を行って該スクラップが分離装置に到達する
時刻にしかるべき分離処理を実行する。
【0013】識別処理装置9での処理は複雑な画像処理
を含むため場合によっては実時間処理ができないことも
あるが、そのときは図1に示すように該画像の撮像時刻
信号11を分離装置の制御装置に伝送すれば適切なトラ
ッキング処理を行うことが可能である。識別処理装置9
で実時間処理が可能な場合には、該画像の撮像時刻信号
11を分離装置の制御装置に伝送しなくても、搬送時間
遅れの補正のみで適切なトラッキング処理を行うことが
可能であることは言うまでもない。
【0014】識別処理装置9は撮影した画像に対して、
以下の処理を行うことにより銅含有スクラップの識別を
行う。 各画素についてその彩度値が、予め設定されたしきい
値以上であるか否かを調べ;彩度値がしきい値以上の場
合には該画素の色相角値を求め、その値を予め設定され
ている銅の色相角値範囲の対応関係と比較参照し、色相
角がその範囲内に収まっている場合は、該画素を銅であ
ると判別し、収まっていない場合には銅ではないと判別
し、彩度値がしきい値未満の場合には、銅ではないと判
別する。
【0015】該画像全体に輝度値Iを用いてラベリン
グ処理を施してスクラップの個体認識を行うとともに、
個々のスクラップの総面積Stすなわちスクラップが占
める画素数を求め;該スクラップの占める画像領域の中
の銅面積SCuすなわちの処理により銅と判別された
画素の総数を求め; 各スクラップに対して銅面積SCuとStの比R=S
Cu/Stを求めて、比Rが予め設定されたしきい値R
min 以上である場合には該スクラップを銅含有スクラッ
プと識別し、その重心位置(X,Y)すなわち総面積S
tの重心の画素番地を求める。
【0016】
【実施例】図2に本発明の方法を実施した識別装置構成
例を示す。この例では工場内の蛍光灯などの光の影響を
減ずるため暗室22を設けてその中で測定を行った。光
源としてはベルトコンベア上を搬送されるスクラップを
4方向から照らす4点光源24を使用し、カラーテレビ
カメラとしてCCDカメラ23を使用した。4点光源2
4は1方向から照らす光源と比較すると、スクラップ上
およびその設置台上に生ずる影を減らす効果を持つ。影
の発生を、識別処理に差し支えのない範囲にとどめるこ
とが可能なのであれば、必ずしも4点光源が必要となら
ない。
【0017】画像取り込み装置27はCCDカメラ23
からのRGB信号26を入力してHSI信号28に変換
して識別処理装置29へ出力する。該識別処理装置29
は、銅の色相角範囲および彩度値のしきい値を記憶し,
輝度I信号によってラベリング処理された画像内のすべ
てのスクラップに対して銅含有スクラップであるか否か
を識別し、銅含有と識別されたスクラップの位置情報
(X,Y)信号を出力する。また、本実施例では、CC
Dカメラ23で撮像された鉄スクラップ画像を識別処理
装置29に取り込むにあたってのタイミング処理の簡便
化のため、一旦RGB信号26を画像取込装置27に記
憶しHSI信号に変換して出力している。
【0018】図2に示した識別装置を用いて、自動車の
シュレッダー屑中の鉄スクラップと、鉄と銅からなるモ
ータコアスクラップの自動識別実験を行った。本実験で
用いたシュレッダー試料は、自動車、家電製品などの廃
棄物をまずシュレッダーにより長寸サイズで約80mmの
スクラップ片に裁断し、風選により布、プラスチックな
ど非金属の細片、粉体を除去し、渦流式選別により非金
属片と金属片の分離を行い、さらに磁気選別により鉄と
非鉄金属片の分離を行った結果鉄として、すなわち磁性
を持つものとして分離されたものであり、純粋に鉄だけ
よりなる鉄スクラップと銅を混入しているモーターコア
スクラップが混在したものである。すなわち本実験で用
いたスクラップ試料は従来作業員の目視と手作業によっ
てのみ識別分離されてきたものである。
【0019】実際の識別実験に先立ち、以下に記す3種
類の予備実験を実施して本実験の設定値の決定などを行
った。まず第1に、銅識別の為の彩度値と色相角値の境
界値を定めるための予備実験を実施した。識別時と同じ
光学的条件(光源24,CCDカメラ23の作動条件、
暗室22、機器間・対象スクラップ間距離などの設定条
件)において、スクラップ銅部、スクラップ鉄部、スク
ラップの置かれている台部それぞれが持つ色相角値分布
状況を実測した。
【0020】さらに、同じ条件で、スクラップ銅部、ス
クラップ鉄部、ベルトコンベア部それぞれがもつ彩度値
分布状況を実測した。これらの予備実験の結果より、銅
判別を行うための適正な彩度値Sの範囲および銅部の持
つ色相角度値Hの範囲を見いだした。これらは、図3,
図4に示す通り、彩度値については(0.3≦S≦1.
0)(30)、色相角値については(0≦H≦52゜お
よび329゜≦H<360゜)(31)である。以下に
記述する識別実は、これらの識別のための彩度値と色相
角値の境界値を使用した。☆第2に、輝度信号を用いて
画像内のスクラップを個体認識するいわゆるラベリング
処理実験を行った。ベルトコンベア部は黒色であり輝度
信号値はきわめて低いことを利用してある輝度信号しき
い値を設定して画像を2値化し、しきい値以上の部分の
画素の連続性を用いてラベリング処理をおこなったとこ
ろ、鉄スクラップ、銅を含有するモーターコアスクラッ
プなどをベルトコンベア部と分離し、かつ個々のスクラ
ップ片を容易に個体認識することができた。
【0021】輝度信号しきい値は予め設定しておいても
よいが、照明光強度の変動がある場合にも対応できるよ
うに画像全体の平均輝度のたとえば25%の値をもって
しきい値と自動設定するなど、従来から種々提案されて
いるラベリング処理を利用することができるのは言うま
でもない。
【0022】第3に、銅を含有するスクラップであるか
否かを識別するために必要となる、銅面積SCuとSt
の比R=SCu/Stのしきい値Rmin を求める実験を
おこなっ。すなわち、銅を含有するモーターコアスクラ
ップ100サンプルと、鉄スクラップ100サンプルを
用いて全サンプルのR値を実測した。この結果、今回の
実験においてはRmin =0.1とすればモーターコアス
クラップと鉄スクラップをほ完全に識別可能であること
が判明した。
【0023】すなわち、モーターコアサンプルを誤って
鉄サンプルと誤識別したのは2サンプルだけで、鉄サン
プルを誤ってモーターコアサンプルと誤識別したのは3
サンプルだけであった。ただし、実際の識別分離処理に
あたってはどの程度まで銅含有スクラップの鉄スクラッ
プへの混入が許容されるかによってRmin の設定値は変
化しうることは言うまでもない。また、銅含有スクラッ
プと識別されたスクラップの重心位置(X,Y)は、ラ
ベリング処理による2値化画像を用いて各スクラップの
画素位置を単純平均することで容易に計算できる。
【0024】実際の識別実験で用いた識別処理装置29
が行う識別処理の具体的手順を示すフローチャートを図
5に示す。識別実験ではモーターコアスクラップ100
個、鉄スクラップ2,400個をランダムに混ぜて60
(m/min)の速度で運転されているベルコンベア上に送
り出して識別実験を行った。識別装置29は実時間で高
速画像処理できる能力があるものを使用したため分離装
置までの搬送時間遅れを補正するだけで容易にトラッキ
ングが可能であった。銅含有スクラップと鉄スクラップ
に分離されたスクラップをそれぞれ分析したところ、銅
含有スクラップ中に誤識別されて分離された鉄スクラッ
プが17個、鉄スクラップ中に誤識別されて分離された
銅含有スクラップが4個であり実用上充分な識別分離性
能であると評価された。
【0025】図6は採取したある画像の輝度(I)信号
を用いてベルトコンベア上のスクラップを個体認識した
結果を示した例である。この場合は、ベルトコンベアが
黒色で極めて輝度が低いために、予め設定されたしきい
値以上の部分の連続性を判断することで容易に5つのス
クラップ片を個体認識することができている。白く示し
た領域が一つ一つのスクラップと認識され、その総面積
Stが求められる。
【0026】図7は該画像の色相角度(H)信号と彩度
(S)信号から銅と判別された画素を白く示したもので
ある。各スクラップ片に対して銅と判別された領域の面
積SCuが求められる。その結果、各スクラップ片に対
して銅と判別された領域の面積と総面積の比R=SCu
/Stが計算され、銅含有スクラップと識別するための
しきい値Rmin =0.1を超えるR値をもつ図中で2お
よび5で表示されたスクラプ片が銅含有スクラップと識
別された。
【0027】これに対応するカラー原画像により、各ス
クラップ片材質を確認したところ2および5は破砕され
たモーターコアであり、残りは鉄のみより構成される鉄
スクラップであることが判明した。図7に示したように
1,3,および4の鉄スクラップでも一部に銅と判別さ
れた領域が存在するがこれは銅の色調に近い赤色の塗料
が施されたスクラップ面や、赤錆が付着した面や、ある
いは照明と反射角度の関係で色相角度、彩度が銅の範囲
に入った部分と考えられた。しかしながら、このような
微小な誤識別部分があっても、比Rのしきい値Rmin を
適宜設定することにより容易に鉄スクラップと銅含有ス
クラップの誤識別を防ぐことが可能である。
【0028】
【発明の効果】本発明の方法を用いたスクラップ群中の
銅識別方法を利用すれば、従来作業員の目視によりなさ
れてきた識別作業の自動化と高精度化が可能になりその
結果スクラップ処理量の拡大が容易、多大な人件費
投入が不必要、銅除去後のスクラップの均一品質確保
が容易、作業環境の改善が容易、など従来の問題点の
解決が可能となる。
【図面の簡単な説明】
【図1】本発明に基づく識別方法を実現する装置構成の
説明図。
【図2】識別実験に用いた装置構成の説明図。
【図3】実施例における銅の彩度値範囲の分布図。
【図4】実施例における銅の色相角度値範囲の分布図。
【図5】実施例に用いた識別処理フローチャート。
【図6】輝度(I)信号によるラベリング結果例の識別
図。
【図7】色相角度(H)信号と彩度(S)信号による銅
部の判別結果例の識別図。
【符号の説明】
1 鉄スクラップ群 2 光源 3 カラーテレビカメラ 4 RGB信号 5 HSI変換装置 6 色相角度H信号 7 彩度S信号 8 輝度I信号 9 識別処理装置 10 銅含有スクラップの重心位置(X,Y)信号 11 撮像時刻信号 22 暗室 23 CCDカメラ 24 4点式光源 25 モニタテレビ 26 RGB信号 27 画像取込装置 28 HSI信号 29 識別処理装置 30 識別処理にあたっての彩度適正範囲 31 銅のもつ色相角範囲
フロントページの続き (72)発明者 内藤 修治 富津市新富20−1 新日本製鐵株式会社 技術開発本部内 (72)発明者 伊藤 雅浩 富津市新富20−1 新日本製鐵株式会社 技術開発本部内 (56)参考文献 特開 平5−131175(JP,A) 特開 平5−223641(JP,A) 特開 平5−324825(JP,A) 特開 平5−232030(JP,A) (58)調査した分野(Int.Cl.7,DB名) B07C 5/342 G01N 21/00 - 21/958

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 ベルトコンベア上を搬送される破砕後の
    鉄スクラップ群から銅含有スクラップを識別分離するプ
    ロセスにおいて 1)カラーテレビカメラにより鉄スクラップ群を撮像
    し; 2)該画像内の各画素について、該点の持つRGB信号
    値から輝度値I、彩度値S、色相角値H、を求め; 3)該画像に対して各画素の彩度値が予め設定されたし
    きい値以上であるか否かを判別し;該画素の彩度値がし
    きい値以上である場合は、該画素の色相角値が予め設定
    された銅の色相角値範囲内にあるとき、該画素は銅であ
    ると判別し;該画素の色相角値が予め設定された銅の色
    相角値範囲内にないとき、該画素は銅でないと判別し;
    該画素の彩度値がしきい値以上でない場合は、該画素は
    銅でないと判別する;ことにより該画像内の銅と判別さ
    れる画素を求め; 4)輝度値Iを用いて該画像全体にラベリング処理を施
    してスクラップの個体認識を行うとともに、個々のスク
    ラップの総面積Stすなわちスクラップが占める画素数
    を求め;該スクラップの占める画像領域の中の銅面積S
    Cuすなわち銅と判別された画素の総数を求め; 5)各スクラップに対して銅面積SCuとStの比R=
    SCu/Stを求めて、比Rが予め設定されたしきい値
    Rmin 以上である場合には該スクラップを銅含有スクラ
    ップと識別し、その重心位置(X,Y)すなわち総面積
    Stの重心の画素番地を求める;ことによる銅含有スク
    ラップの識別方法。
JP06077636A 1994-04-15 1994-04-15 銅含有スクラップの識別方法 Expired - Lifetime JP3073647B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP06077636A JP3073647B2 (ja) 1994-04-15 1994-04-15 銅含有スクラップの識別方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP06077636A JP3073647B2 (ja) 1994-04-15 1994-04-15 銅含有スクラップの識別方法

Publications (2)

Publication Number Publication Date
JPH07286969A JPH07286969A (ja) 1995-10-31
JP3073647B2 true JP3073647B2 (ja) 2000-08-07

Family

ID=13639388

Family Applications (1)

Application Number Title Priority Date Filing Date
JP06077636A Expired - Lifetime JP3073647B2 (ja) 1994-04-15 1994-04-15 銅含有スクラップの識別方法

Country Status (1)

Country Link
JP (1) JP3073647B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP1545540S (ja) * 2015-02-20 2016-03-14

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120323766A1 (en) * 2011-06-18 2012-12-20 Robert Galindo Method for recycling scrap
CN102759528B (zh) * 2012-07-09 2014-04-02 陕西科技大学 一种农作物叶部病害检测方法
KR101981031B1 (ko) * 2018-05-18 2019-05-23 제이에이치데이터시스템 주식회사 인공지능 기반 철 스크랩 플랫폼
CN115026010B (zh) * 2022-05-23 2024-01-12 中联钢信电子商务有限公司 一种废钢自动识别分级***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP1545540S (ja) * 2015-02-20 2016-03-14

Also Published As

Publication number Publication date
JPH07286969A (ja) 1995-10-31

Similar Documents

Publication Publication Date Title
US5911327A (en) Method of automatically discriminating and separating scraps containing copper from iron scraps
CN110296997B (zh) 基于机器视觉的陶瓷瓦的缺陷检测方法及装置
MX9705701A (es) Metodo y aparato para seguir e inspeccionar un borde o margen.
JP3073647B2 (ja) 銅含有スクラップの識別方法
JP3187244B2 (ja) 銅含有スクラップの識別分離装置
JP3148073B2 (ja) 破砕屑から鉄と銅を識別分離回生する方法
JP3187237B2 (ja) 鉄スクラップ群から銅を含有したスクラップを自動識別する方法
JP3778015B2 (ja) スラグ検知方法、スラグ検知装置、及び除滓装置
JPH11277000A (ja) 選別装置
JPH07275802A (ja) 破砕スクラップの選別方法とその装置
JPH04238592A (ja) 結束棒鋼自動検数装置
JPH08271440A (ja) 疵検査装置
KR20090094559A (ko) 스크랩 자동선별장치
JP2005003574A (ja) 表面疵検査方法及び表面疵検査装置
JP3047168B2 (ja) 鶏卵の検査方法
CN112317335A (zh) 托盘防混***及方法
JP2003019553A (ja) スラグ検知方法、スラグ検知装置及び除滓装置
JPS62156547A (ja) 表面欠陥検出方法
KR101071144B1 (ko) 제재목 등급의 자동화 구분 방법
Vascotto High speed surface defect identification on steel strip
JPH07113758A (ja) 外観検査装置における2値化算出方式
JPH07159346A (ja) バリ検出装置
CN109596621A (zh) 一种碳刷磨损检测方法及检测装置
KR100551068B1 (ko) 색도인식 선별장치
JPH09178558A (ja) 物体の色判定方法および装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20000502

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080602

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090602

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090602

Year of fee payment: 9

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100602

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100602

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110602

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110602

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120602

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120602

Year of fee payment: 12

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120602

Year of fee payment: 12

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120602

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130602

Year of fee payment: 13

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term