JP3425597B2 - 移動天体検出方法 - Google Patents

移動天体検出方法

Info

Publication number
JP3425597B2
JP3425597B2 JP2000334364A JP2000334364A JP3425597B2 JP 3425597 B2 JP3425597 B2 JP 3425597B2 JP 2000334364 A JP2000334364 A JP 2000334364A JP 2000334364 A JP2000334364 A JP 2000334364A JP 3425597 B2 JP3425597 B2 JP 3425597B2
Authority
JP
Japan
Prior art keywords
image
moving
images
celestial body
moving celestial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000334364A
Other languages
English (en)
Other versions
JP2002139319A (ja
Inventor
俊史 柳沢
俊夫 磯部
武雄 木村
厚 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Science and Technology Agency
Original Assignee
Japan Science and Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science and Technology Corp filed Critical Japan Science and Technology Corp
Priority to JP2000334364A priority Critical patent/JP3425597B2/ja
Publication of JP2002139319A publication Critical patent/JP2002139319A/ja
Application granted granted Critical
Publication of JP3425597B2 publication Critical patent/JP3425597B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、移動天体(人工天
体、スペースデブリ、小惑星、彗星等)の検出技術に関
し、特に、小型で暗い人工衛星等の人工天体の監視や軌
道決定、また、運用中の人工衛星等に衝突することによ
って、産業に多大な被害をもたらすスペースデブリの発
見、及び軌道決定、さらには、人類の産業活動や存続そ
のものに大きな影響をもたらす地球衝突型の小惑星や彗
星の早期発見、及び軌道決定に関する技術である。
【0002】
【従来の技術】図6は、従来の移動天体の検出方法を説
明する図である。図6中の観測画像(1−1)及び(1
−2)は、同じ天球領域を一定時間間隔で、(1−
1)、(1−2)の順で撮像した画像である。画像(1
−1)中の1〜9、及び画像(1−2)中の1'〜9'は
恒星であり、恒星1と恒星1'、恒星2と恒星2'、・・
・、恒星9と恒星9'が、それぞれ同じ恒星を表してい
る。画像(1−1)中の10、及び画像(1−2)中の
10'は、移動天体であり、撮像間隔の間に天球上を移
動している。従来の移動天体検出方法は、この撮像して
得られた2コマの画像を解析して、それぞれの画像に写
っている天体を見付け出し、カタログ化する(図6中の
カタログ(1−1D)、カタログ(1−2D)参照)。
カタログには、それぞれ天体1〜10、及び天体1'〜
10'の位置、明るさ(Mag)等の情報が書き込まれてい
る。この2つのカタログを比較して、2コマの画像上で
同じ位置に、存在しない天体の対を検出することにより
移動天体を知る。
【0003】近年、CCDは、大面積化し、一回の撮像
で観測できる天空領域は、飛躍的に広がっている。その
結果、移動天体を捉えられる確率も上昇するが、移動天
体検出にとっては雑音となる恒星の数も増大し、その数
は数万に達する。この膨大な雑音の中から、移動天体を
検出するには、かなりの困難を伴う。また、移動天体は
画像上を移動してしまうため、暗い移動天体を検出する
ために、露出時間をかけて、天体からの光を画像上の定
位置に蓄積させるという恒星の観測に用いられる技術を
利用することができない。有効な露出時間は、移動天体
が点像に留まっている時間となり、限界等級は、観測に
用いられる望遠鏡の口径と、CCDの量子効率で決まっ
てしまう。
【0004】
【発明が解決しようとする課題】本発明は、こうした問
題を解決するためになされたもので、複数コマの画像を
利用することにより、利用した観測システム(望遠鏡及
びCCDカメラ)で検出可能な、あらゆる移動方向、移
動速度の移動天体について、その検出の妨げとなる大量
の恒星の像を除去し、さらに1コマの観測画像では、検
出が不可能な程度に暗い移動天体の検出を可能にする方
法の提示を目的としている。
【0005】
【課題を解決するための手段】本発明は、上記目的を達
成するため、複数コマの同じ天球領域の画像から、画像
上に大量に写っている恒星の像を除去し、画像上を移動
していく移動天体を検出する方法において、CCDカメ
ラによって撮像された少なくとも3コマ以上の観測画像
から、前記移動天体の動きを仮定し、その動きに合わせ
て前記観測画像の一部を切り取り、それら複数の切り取
り画像の中央値画像を作成することによって、移動天体
の検出には大きな妨害となる大量の恒星像を完全に除去
し、仮定した動きの移動天体の像のみを残存させた画像
を得て、前記移動天体を検出するようにしたものであ
る。
【0006】さらに、本発明は、複数コマの同じ天球領
域の画像から、画像上に大量に写っている恒星の像を除
去し、画像上を移動していく移動天体を検出する方法に
おいて、CCDカメラによって撮像された少なくとも3
コマ以上の観測画像から、前記移動天体の動きを仮定
し、その動きに合わせた画像の一部を切り取り、それら
複数の切り取り画像の中央値画像を作成し、さらに、こ
の作業によって作成された前記複数の中央値画像の平均
値画像を作成することにより、移動天体からの光量に対
する雑音の比を大幅に抑えて、1コマの観測画像では検
出が不可能であった暗い移動天体を抽出し、前記移動天
体を検出するようにしたものである。
【0007】さらに、本発明は、前記移動天体を検出す
る方法を、使用している観測システムで検出が可能なあ
らゆる移動方向、速度の移動天体に対して実施して、多
数の移動天体を検出するようにしたものである。
【0008】
【発明の実施の形態】本発明による移動天体検出方法の
実施形態を、以下に説明する。本発明は、撮像された複
数コマの観測画像を利用することにより、利用した観測
システム(望遠鏡及びCCDカメラ)で検出可能な、あ
らゆる移動方向、移動速度の移動天体について、その検
出の妨げとなる大量の恒星の像を除去し、さらに1コマ
の観測画像では、検出が不可能な程度に暗い移動天体の
検出を可能にするものであるが、本発明による移動天体
の検出の処理手順は、主に、次の3つに分けられる。 (1)あらかじめ移動天体の動作を予測して、複数コマ
の観測画像の中央値画像を作成し、移動天体の検出の妨
げとなる恒星像を除去する、 (2)前記(1)の処理手順で作成された中央値画像
を、複数コマ作成し、それらの中央値画像の平均値画像
を作成し、1コマの観測画像では検出が 不可能である暗い移動天体をも抽出する、(3)前記
(1)及び(2)の処理手順を、さまざまな移動天体の
動作に合わせて実行する。
【0009】以上の処理手順(1)〜(3)を、図面を
参照して説明する。上記処理手順(1)は、本発明の一
実施形態に係り、複数コマの観測画像の中央値画像を作
成し、移動天体の検出の妨げとなる恒星像を除去するも
のである。図1は、中央値画像の作成により恒星像が除
去される処理手順(1)を説明するための図である。図
1において、1−1,1−2,1−3は、時間軸に示す
ように、この番号順に、一定時間間隔で撮像された同一
領域の観測画像である。各画像1−1〜1−3で、☆印
は、恒星を表し、●印は、移動天体を表す。まず、一定
時間間隔で撮像された複数コマの画像1−1〜1−3か
ら、それぞれ移動天体の動作に合わせた領域の画像(図
中、点線で囲まれた領域)2−1,2−2,2−3を切
り取ってくる。画像2−1〜2−3では、●印の移動天
体は、すべての画像で同一位置に存在しているが、☆印
の恒星の位置は、各画像で変化している。
【0010】次に、切り取った全ての画像2−1〜2−
3の同一ピクセルについて、中央値をとることによっ
て、中央値画像3−1を作成する。平均値は、全ピクセ
ルの値を均等に考慮しているのに対し、中央値は、切り
取った全ての画像の着目ピクセルの値を取り込み、値順
に並べてその中央に位置するデータの値を採用するもの
で、特異値を示したピクセルの値は関係してこない。す
なわち、本発明で中央値をとるということは特異値を捨
てる処理をすることを意味している。切り取った画像の
ピクセル配置をあらわした図1のピクセル配置図におい
て、1升目が、1つのピクセルを示す。例えば、各画像
2−1〜2−3中の、ピクセル配置における位置Fにあ
るピクセルと、位置Mにあるピクセルに注目してみる。
簡単のため、天体が存在しているピクセルは、「1」と
いうピクセル値を示し、存在していないピクセルは
「0」というピクセル値を示すとする。位置Fに相当す
るピクセルは、切り取った画像2−1,2−2,2−3
のうち2−2には、恒星が存在している。つまり、それ
ぞれ位置Fのピクセル値は「0」、「1」、「0」であ
り、これらの中央値は「0」である。
【0011】また、位置Mに相当するピクセルは、全て
に移動天体が存在している。つまり、位置Mのピクセル
値は、「1」、「1」、「1」であり、これらの中央値
は「1」である。中央値をとることにより、切り取った
画像上を移動していく恒星の影響を除去し、移動天体の
みを残すことが可能になる。本実施形態では、例とし
て、中央値画像3−1を作成するために、3コマの観測
画像1−1〜1−3を用いたが、利用するコマ数及び何
コマの画像を利用するかは、雑音となる恒星の数によ
る。多くの恒星が画像に含まれている場合は、その影響
をなくすため、より多くの画像を用いて中央値画像を作
成しなくてはいけない。
【0012】処理手順(2)は、本発明の次なるステッ
プの実施形態に係り、処理手順(1)により得られた中
央値画像を複数コマ用いて、平均値画像を作成し、1コ
マの観測画像では検出が不可能である暗い移動天体を抽
出するものである。図2は、平均値画像ができるまでの
処理手順(2)を説明する図である。前記(1)の処理
手順で、中央値をとるということは、恒星の影響を除去
するという効果の他に、恒星以外の夜空の明るさによる
背景雑音の影響を抑え、暗い移動天体を検出できるとい
う効果がある。ここで、中央値をとったときの背景雑音
の値(中央値画像の背景雑音)をσmとすると、σm
は、式(1)のように表される。
【数1】 但し、σiは、1コマの画像の背景雑音、係数1.2は統
計的に得られた値、nは、中央値画像を作成するのに用
いた観測画像のコマ数である。
【0013】しかし、平均値は、中央値と比較して、背
景雑音の抑制がより効果的である。平均値をとったとき
の背景雑音の値(平均値画像の背景雑音)をσaとする
と、σaは、式(2)のように表される。
【数2】 上記式(1)、(2)からわかるように、平均値をとれ
ば、中央値の1.2倍暗い移動天体まで検出可能である
ことがわかる。本実施形態は、さらに検出限界をあげる
ため、前記実施形態に係る処理手順(1)より、それぞ
れ複数コマの画像の中央値画像3−1,3−2,・・
・,3−kを作成して恒星の影響を除去し、その後、よ
り暗い移動天体を検出するために、作成された複数コマ
の中央値画像3−1〜3−kの平均値画像4−1を作成
するものである。
【0014】上記処理手順(3)は、本発明のさらに次
のステップの実施形態に係り、前記処理手順(1)、
(2)の作業を、移動天体の考えられるあらゆる速度ベ
クトルに関して実行するものである。図3は、処理手順
(3)において実行される走査すべき移動天体の速度ベ
クトル領域を示した図である。太い矢印が、移動天体の
画像上の速度ベクトルで、実線で囲まれた灰色部分がパ
ラメータ領域であり、X軸及びY軸は、移動天体の画像
上の速度ベクトルの2つの成分をあらわす。速度成分の
最大値は、CCD画像の大きさと、利用する画像のコマ
数によって決定する。また、図3中で原点付近の領域
は、移動量が小さいため、恒星の除去が効果的に行われ
ない領域である。すなわち、移動天体が恒星の動きに近
い動きをしている移動天体に着目して本発明の処理手順
(1)を実行しても、その場合には恒星の除去は効果的
でない。図3のパラメータ領域にはいる任意の速度ベク
トルVに対し、切り取る画像の大きさは一意的に決定さ
れる。
【0015】図4は、移動天体の速度ベクトルの相違に
よる切り取る画像の大きさ及び移動方向の違いを示す図
である。実線で囲まれた四角は、CCDカメラによる観
測画像の大きさをあらわし、破線で囲まれた四角は、切
り取られた画像の大きさをあらわす。また、太い矢印
は、速度ベクトルVを示す。図4(A)で示されている
ように、速度ベクトルVの絶対値が小さい場合、切り取
る画像の面積は大きく、図4(B)で示されるように、
速度ベクトルVの絶対値が大きい場合、その面積は小さ
くなる。図4(A)、図4(B)より、移動量の少ない
移動天体の方が、検出が可能となる有効面積が広いこと
がわかる。多数の各移動天体に対してこの処理を実施す
ることにより、着目天体だけでなく該着目天体に近い動
きをしている他の天体の検出が可能であり、その画像も
平均値処理を施すことで明るく強調することができる。
これによって得られた多数の画像を総合することによ
り、従来手法では得られなかった暗い移動天体の把握が
可能となる。
【0016】
【実施例1】図5は、本発明の移動天体検出方法を適用
して得られた画像の一実施例を示す図である。静止軌道
上の衛星やデブリを捉えるため、口径50cm、F2.
0の広視野望遠鏡に、3cm×3cmのイメージエリア
をもつCCDカメラを設置し、静止軌道領域を恒星追尾
モードで露出時間2秒、撮影間隔13秒で、30コマの
連続撮像を行った。静止軌道上の天体の動作は、恒星追
尾の場合、1秒間で約15″東に移動する。そのため、
この動きに合わせた領域を各画像から切り取り、まず、
10コマの中央値画像を3コマ作成し、その3コマの中
央値画像の平均画像を作成した。図5(A)は、1コマ
の観測画像から静止軌道上の天体の動作に合わせて切り
取った画像である。画像には、移動天体の検出には雑音
となる恒星が多数写っている。図5(B)は、30コマ
の観測画像を用いて本発明の手法によって作成された最
終画像である。画像のほぼ中央に、静止軌道上の天体が
明確に捉えられている。雑音となる恒星は、ほぼ完璧に
除去されており、また検出された静止軌道上の天体の輝
度も、1コマの観測画像と比べて明るくなっていること
がわかる。このことは、1コマの観測画像では捉えるこ
とのできない暗い移動天体も、本発明によれば不必要な
明るい存在である恒星をまず除去し、必要ながら比較的
暗い存在である移動天体を平均処理によって強調して検
出できることを示している。
【0017】
【発明の効果】以上説明したように、本発明によれば、
複数の観測画像からの移動天体の動きに合わせた切り取
り画像を用いて、中央値画像及び平均値画像を作成する
ことにより、移動天体検出にとって雑音となる恒星の影
響を完全に除去し、さらに1コマの観測画像では捉える
ことのできない暗い移動天体の検出が可能となる。さら
に、多数の各移動天体に対して本発明の処理を実施する
ことにより、着目天体だけでなく該着目天体に近い動き
をしている他の天体の検出が可能であり、その画像も平
均値処理を施すことで明るく強調することができ、これ
によって得られた多数の画像を総合することにより、い
ままでの検出方法では捉えることができなかった観測シ
ステムの限界等級以下の暗い移動天体を、自動的に捉え
ることができるようになる。このことは、運用中の人工
衛星や現在建設中の国際宇宙ステーションに深刻な影響
を及ぼし、さらに現在、検出がが困難とされている径が
数cm〜数10cmサイズのスペースデブリの発見、軌
道決定に大きく貢献する。また、人類の活動や存続を左
右する、径が数100m〜lkmサイズの地球衝突型の
小惑星や彗星の早期発見を可能にする。
【図面の簡単な説明】
【図1】本発明に係わる中央値画像の作成により恒星像
が除去されることを説明するための図である。
【図2】本発明に係わる平均値画像ができるまでの処理
手順を示した図である。
【図3】本発明において走査すべき移動天体の速度ベク
トル領域を示した図である。
【図4】移動天体の速度ベクトルの相違による切り取り
画像の大きさ及び移動方向の違いを示す図である。
【図5】本発明の移動天体検出方法を適用して得られた
画像の一実施例を示す図である。
【図6】従来の移動天体の検出方法を説明する図であ
る。
【符号の説明】
1−1‥‥1−n 観測画像 ☆ 恒星 2−1‥‥‥‥ きり取り画像 ● 移動
天体 3−1‥‥‥‥ 中央値画像 V 速度
ベクトル 4−1‥‥‥‥ 平均値画像
───────────────────────────────────────────────────── フロントページの続き (72)発明者 中島 厚 東京都府中市天神町4−28−7 (56)参考文献 山本直孝 木下大輔 渡部潤一,移動 天体検出プログラム,地球惑星科学関連 学会2000年合同大会予稿集,日本,2000 年 磯部秀三,地球危機に対する宇宙モニ タリング,映像情報メディア学会誌,日 本,1999年,Vol.53,No.1,71 −75 (58)調査した分野(Int.Cl.7,DB名) G01C 1/00 B64G 3/00

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 複数コマの同じ天球領域の画像から、画
    像上に大量に写っている恒星の像を除去し、画像上を移
    動していく移動天体を検出する方法において、CCDカ
    メラによって撮像された少なくとも3コマ以上の観測画
    像から、前記移動天体の動きを仮定し、その動きに合わ
    せて前記観測画像の一部を切り取り、それら複数の切り
    取り画像の中央値画像を作成することによって、移動天
    体の検出には大きな妨害となる大量の恒星像を完全に除
    去し、仮定した動きの移動天体の像のみを残存させた画
    像を得て、前記移動天体を検出する方法。
  2. 【請求項2】 複数コマの同じ天球領域の画像から、画
    像上に大量に写っている恒星の像を除去し、画像上を移
    動していく移動天体を検出する方法において、CCDカ
    メラによって撮像された少なくとも3コマ以上の観測画
    像から、前記移動天体の動きを仮定し、その動きに合わ
    せた画像の一部を切り取り、それら複数の切り取り画像
    の中央値画像を作成し、さらに、この作業によって作成
    された前記複数の中央値画像の平均値画像を作成するこ
    とにより、移動天体からの光量に対する雑音の比を大幅
    に抑えて、1コマの観測画像では検出が不可能であった
    暗い移動天体を抽出し、前記移動天体を検出する方法。
  3. 【請求項3】 請求項1又は2に記載の移動天体を検出
    する方法を、使用している観測システムで検出が可能な
    あらゆる移動方向、速度の移動天体に対して実施するこ
    とを特徴とする移動天体を検出する方法。
JP2000334364A 2000-11-01 2000-11-01 移動天体検出方法 Expired - Lifetime JP3425597B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000334364A JP3425597B2 (ja) 2000-11-01 2000-11-01 移動天体検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000334364A JP3425597B2 (ja) 2000-11-01 2000-11-01 移動天体検出方法

Publications (2)

Publication Number Publication Date
JP2002139319A JP2002139319A (ja) 2002-05-17
JP3425597B2 true JP3425597B2 (ja) 2003-07-14

Family

ID=18810293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000334364A Expired - Lifetime JP3425597B2 (ja) 2000-11-01 2000-11-01 移動天体検出方法

Country Status (1)

Country Link
JP (1) JP3425597B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5600043B2 (ja) * 2010-09-10 2014-10-01 株式会社Ihi スペースデブリ検出方法
JP6094100B2 (ja) 2012-09-07 2017-03-15 株式会社Ihi 移動体検出方法
JP5983209B2 (ja) 2012-09-07 2016-08-31 株式会社Ihi 移動体検出方法
JP6094099B2 (ja) * 2012-09-07 2017-03-15 株式会社Ihi 移動体検出方法
JP6319709B2 (ja) * 2014-03-21 2018-05-09 株式会社Ihi デブリ検出方法
JP6632468B2 (ja) * 2016-05-20 2020-01-22 三菱電機株式会社 移動体検出装置、観測システム及び移動体検出方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
山本直孝 木下大輔 渡部潤一,移動天体検出プログラム,地球惑星科学関連学会2000年合同大会予稿集,日本,2000年
磯部秀三,地球危機に対する宇宙モニタリング,映像情報メディア学会誌,日本,1999年,Vol.53,No.1,71−75

Also Published As

Publication number Publication date
JP2002139319A (ja) 2002-05-17

Similar Documents

Publication Publication Date Title
JP3671220B2 (ja) 移動体検出方法
RU2536349C2 (ru) Способ обнаружения космических обломков
JP3425597B2 (ja) 移動天体検出方法
CN109816606B (zh) 一种利用光学遥感卫星进行目标跟踪的方法
JP6094100B2 (ja) 移動体検出方法
EP1923834A1 (en) Method for detecting a moving object in a sequence of images captured by a moving camera, computer system and computer program product
JP3867774B2 (ja) 平面画像における線像検出方法
CN110532853B (zh) 遥感超时相数据的分类方法及装置
US10445862B1 (en) Efficient track-before detect algorithm with minimal prior knowledge
Trapal et al. Improvement of vision-based drone detection and tracking by removing cluttered background, shadow and water reflection with super resolution
Feng et al. Crack assessment using multi-sensor fusion simultaneous localization and mapping (SLAM) and image super-resolution for bridge inspection
US5257121A (en) Multi-resolution spatial integration signal processor and method
Trigo-Rodriguez et al. Determination of meteoroid orbits and spatial fluxes by using high-resolution all-sky CCD cameras
JP2002220098A (ja) 天球上で特定の運動をする対象物(静止軌道上のデブリ等)の検出方法および装置
JP2002310616A (ja) 天体観測画像中の天体の識別方式
Stoveken et al. Algorithms for the optical detection of space debris objects
CN111126131B (zh) 一种高效率暗弱空间目标识别方法
Chen et al. A simulation-augmented benchmarking framework for automatic RSO streak detection in single-frame space images
Kim et al. Blind motion deblurring for satellite image using convolutional neural network
CN111178401A (zh) 一种基于多层对抗网络的空间目标分类方法
Kamenetsky et al. Image enhancement for face recognition in adverse environments
Roque et al. Adapting the sobel edge detector and canny edge extractor for iPhone 3GS architecture
JP3783863B2 (ja) 天体検出装置
JP2014085720A (ja) 移動天体検出装置およびその制御方法
JP2021064201A (ja) 画像検査方法、画像検査装置、及び画像検査プログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030218

R150 Certificate of patent or registration of utility model

Ref document number: 3425597

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090509

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090509

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100509

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100509

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110509

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120509

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130509

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140509

Year of fee payment: 11

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term