JP3389369B2 - 輪郭近似装置 - Google Patents

輪郭近似装置

Info

Publication number
JP3389369B2
JP3389369B2 JP11509695A JP11509695A JP3389369B2 JP 3389369 B2 JP3389369 B2 JP 3389369B2 JP 11509695 A JP11509695 A JP 11509695A JP 11509695 A JP11509695 A JP 11509695A JP 3389369 B2 JP3389369 B2 JP 3389369B2
Authority
JP
Japan
Prior art keywords
contour
line segment
approximation
contour image
vertices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP11509695A
Other languages
English (en)
Other versions
JPH08272957A (ja
Inventor
鍾洛 金
鎭憲 金
Original Assignee
大宇電子株式會▲社▼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大宇電子株式會▲社▼ filed Critical 大宇電子株式會▲社▼
Publication of JPH08272957A publication Critical patent/JPH08272957A/ja
Application granted granted Critical
Publication of JP3389369B2 publication Critical patent/JP3389369B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】 【０００１】 【産業上の利用分野】本発明はビデオ信号エンコーダで
用いるための輪郭近似装置に関し、とくに、物体の輪郭
を再構成するための輪郭近似装置に関する。 【０００２】 【従来の技術】従来のビデオ電話、通信会議及び高精細
度テレビジョンシステムのようなディジタルテレビジョ
ンシステムにおいて、ビデオフレーム信号におけるビデ
オライン信号は画素値と呼ばれるディジタルデータのシ
ーケンスを含むので、各ビデオフレーム信号を規定する
のに大量のディジタルデータが必要である。しかし、通
常の伝送チャネル上の利用可能な周波数帯域幅は制限さ
れているので、それを通じて相当な量のディジタルデー
タを送るためには、様々なデータ圧縮技法を用いてデー
タの量を圧縮するか、或いは減らすことが不可避であ
る。特に、ビデオ電話或いは通信会議システムのような
低ビットレートのビデオ信号エンコーダの場合、そのよ
うなデータ圧縮技法が必要となる。 【０００３】低ビットレート符号化システムのビデオ信
号を符号化するための符号化方法の一つが、いわゆる客
体指向分析−合成符号化技法（Object-oriented analys
is coding techique）（Michael Hotterの論文,「Objec
t-Oriented Analysis-Synthesis Coding Based on Movi
ng Two-Dimensional Objects」,Signal Processing:Ima
ge communication2,409-428頁（1990年）参照）であ
る。 【０００４】客体指向分析−合成符号化技法によれば、
入力ビデオ映像は複数の客体に分けられる。また、各客
体の動き、輪郭、画素データを規定する３つのセットか
らなるパラメータを有するが、これらのパラメータは異
なる符号化チャネルを通じて扱われる。 【０００５】とりわけ、客体の輪郭映像の処理におい
て、輪郭情報は客体の形状の分析及び合成に重要であ
る。この輪郭情報を表すための通常の符号化方法はチェ
ーン符号化（chain coding）である。しかし、このチェ
ーン符号化は、輪郭情報の損失はないが、相当な量のビ
ットが必要である。 【０００６】この点に関しては、多角形近似或いはB-ス
プライン近似（B-spline approximation）のような輪郭
を近似させるための幾つかの方法が提案されてきた。多
角形近似における短所の１つは、輪郭映像が粗く表現さ
れることである。一方、B-スプライン近似は輪郭映像を
より正確に表現しうるが、近似エラーを減らすのに高オ
ーダの多項式が必要になって、ビデオエンコーダにおけ
る全体的な計算の複雑さを増すことになる。 【０００７】 【発明が解決しようとする課題】本発明の主な目的は、
多角形近似と離散的サイン変換（ＤＳＴ）を用いること
によって、輪郭映像の表現に際し正確さを高め、かつ全
体的な計算量を減少させた新規な輪郭近似装置を提供す
ることである。 【０００８】 【課題を解決するための手段】上記の目的を達成するた
めに、本発明の、ビデオ信号エンコーダで用いられる輪
郭近似装置は、前記輪郭映像上の複数の頂点を特定する
手段と、複数のラインセグメントによって多角形近似を
与えて、輪郭映像に形を合わせる手段であって、各々の
前記ラインセグメントは二つの隣り合う頂点を連結す
る、該手段と、前記ラインセグメントの各々に対してＮ
個のサンプルポイントを与える手段であって、前記Ｎ個
のサンプルポイントが各ラインセグメント上で等間隔で
ある、該手段と、前記ラインセグメント上のＮ個のサン
プルポイントの各々に対するエラーを計算して、各々の
ラインセグメントに対するエラーの組を生成する手段で
あって、前記組になった各エラーは前記Ｎ個のサンプル
ポイントと輪郭映像との距離を表す、該手段と、前記各
エラーセットを離散的サイン変換係数に変換する手段
と、前記離散的サイン変換係数の一組を量子化済みの変
換係数の組に変換する手段とを有する。 【０００９】 【実施例】以下、本発明の輪郭近似装置について図面を
参照しながらより詳しく説明する。 【００１０】図１には、ビデオ信号で表現した客体の輪
郭映像を表すための本発明の輪郭近似装置のブロック図
が示されている。 【００１１】客体の形状を表す輪郭映像データは多角形
近似部１００及びエラー検出器３００へ入力される。こ
の多角形近似部１００では、輪郭映像が多角形近似技法
にて近似化される。客体の形状の多角形近似は、ライン
セグメントで輪郭映像を表す通常の近似アルゴリズムを
用いて行われる。 【００１２】図２ａ乃至図２ｃには、多角形近似技法に
より輪郭映像１０に対して分割過程を説明するための説
明図が示されている。 【００１３】最初に、２つの開始点が選択される。輪郭
映像が開放ループ形であるならば、２つの終点、例え
ば、図２ａに示されたようなＡ及びＢが開始点として選
択される。一方、輪郭映像が閉鎖ループ形（closed loo
p）である場合、輪郭上で最も遠く離れている２つの点
が開始点として選択されている。そののち、ラインセグ
メントＡＢから最も遠く離れている輪郭上の点が特定さ
れる。もし、最も遠い点、例えば、Ｃとラインセグメン
トＡＢとのあいだの距離Ｄmaxが予め定められた閾値よ
り大きければ、点Ｃは新しい頂点になる。この手続きは
各セグメントからの距離Ｄmaxが予め定められた閾値よ
り小さくなるまで繰り返される。 【００１４】頂点の個数は、予め定められた閾値により
変わる。図２ａ乃至図２ｃから分かるように、予め定め
られた閾値を符号化効率を犠牲にして小さく設定すれ
ば、ラインセグメントにより表現された輪郭映像がより
正確になる。 【００１５】図１を再び参照すれば、輪郭映像の特定さ
れた頂点、例えば、Ａ，Ｂ，Ｃ，Ｄ及びＥの位置を表す
頂点情報は、多角形近似部１００からサンプリング回路
２００及び輪郭符号器５００へ共に与えられる。このサ
ンプリング回路２００は各ラインセグメントに対してＮ
個のサンプルポイントをエラー検出器３００へ与える
が、前記Ｎ個のサンプルポイントは２つの頂点のあいだ
の各ラインセグメント上で等間隔に位置し、ここでＮは
１より大きい整数である。サンプリング回路２００と輪
郭映像データとに基づいて、エラー検出器３００は各ラ
インセグメント上のＮ個のサンプリングポイントの各々
に対して近似エラーを算出すると共に、離散的サイン変
換（ＤＳＴ）及び量子化ブロック４００へそのエラーを
与える。その近似エラーは２つの頂点を連結するライン
セグメントと２つの頂点とのあいだの輪郭セグメントと
のあいだの距離を表す。 【００１６】図３ａ及び図３ｂには、多数のラインセグ
メントとそれに対応する多数の輪郭セグメントとのあい
だのエラーが例示的に図示されている。ここで、図３ａ
はラインセグメントＡＤとそれに対応する輪郭セグメン
トとのあいだのエラーを図示したもので、図３ｂはライ
ンセグメントＤＣとそれに対応する輪郭セグメントとの
あいだのエラーを図示したものである。各々のエラーｄ
１乃至ｄ４、またｄ１′乃至ｄ４′は、ラインセグメン
トＡＤ上の各サンプルポイントＳ１乃至Ｓ４、またはラ
インセグメントＤＣ上のラインセグメントＳ１′乃至Ｓ
４′から対応する輪郭セグメントまでの距離を表す。同
図のように、頂点に対する近似エラーは、全て「ゼロ」
である。これは全ての頂点が輪郭上に位置するためであ
る。 【００１７】エラー検出器３００にて計算されたエラー
は、量子化済みのＤＳＴ係数を発生させるＤＳＴ及び量
子化ブロック４００へ提供される。ＤＳＴ及び量子化ブ
ロック４００は各エラーの組に対して１次元ＤＳＴ処理
を行うと共に、ＤＳＴ係数の組を生成し、ＤＳＴ係数の
組を量子化して、かつその量子化済みのＤＳＴ係数の組
をさらに処理するために輪郭符号器５００へ提供する。
上記において、各エラーの組はＮ個のサンプルポイント
及びラインセグメントの２つの頂点に対するエラーを備
えている。 【００１８】輪郭符号器５００において、量子化済みの
ＤＳＴ係数の組は、例えば、ＪＰＥＧ（Joint Photogra
phic Experts Group）の２進算術的コードを用いて符号
化される。一方、多角形近似部１００からの頂点情報は
各頂点間の相関性が少ないので、例えば、圧縮しない固
定長さ符号を用いて符号化される。符号化量子化済みの
ＤＳＴ係数と頂点情報とからなる符号化されたディジタ
ル信号はその伝送のために、伝送器へ送られる。 【００１９】上記において、本発明は特定の実施例につ
いて説明したが、本発明の技術的視点を逸脱することな
く、当業者は種々の変形及び変更をなし得るであろう。 【００２０】 【発明の効果】本発明によれば、客体の輪郭映像を表す
際、多角形近似と離散的サイン変換とを用いることによ
って、近似化された輪郭の正確さを増し、全体的な計算
量を減らすことができる。
【図面の簡単な説明】 【図１】輪郭映像を表すための本発明の輪郭近似装置の
ブロック説明図である。 【図２】ａ、ｂ及びｃからなり、ａは客体映像の多角形
近似過程を例示的に説明するための説明図で、過程の初
めの部分である開始点Ａ、Ｂの選択されるところを示し
たものであり、ｂは客体映像の多角形近似過程を例示的
に説明するための説明図で、開始点Ａ、Ｂから新しい頂
点Ｃの決定されるところを示したものであり、ｃは客体
映像の多角形近似過程を例示的に説明するための説明図
で、頂点Ａ、Ｂ、Ｃから新しい頂点Ｄ、Ｅの決定される
ところを示したものである。 【図３】ａ及びｂからなり、ａは２つのの頂点Ａ、Ｄを
連結するラインセグメントＡＤとそれに対応する輪郭映
像とのあいだのエラーを例示的に説明する説明図であ
り、ｂは２つのの頂点Ｃ、Ｄを連結するラインセグメン
トＣＤとそれに対応する輪郭映像とのあいだのエラーを
例示的に説明する説明図である。 【符号の説明】 １０ 輪郭映像 １００ 多角形近似部 ２００ サンプリング回路 ３００ エラー検出器 ４００ ＤＳＴ及び量子化ブロック ５００ 輪郭符号器
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 3/00 500 H04N 1/411

Claims (1)

  1. (57)【特許請求の範囲】 【請求項１】 ビデオ信号エンコーダで用いられる、
    物体の輪郭映像を表すための輪郭近似装置であって、 前記輪郭映像上の複数の頂点を特定する手段と、 複数のラインセグメントによって多角形近似を与えて、
    輪郭映像に形を合わせる手段であって、各々の前記ライ
    ンセグメントは２つの隣り合う頂点を連結する、該手段
    と、 前記ラインセグメントの各々に対してＮ個のサンプルポ
    イントを与える手段であって、前記Ｎ個のサンプルポイ
    ントが各ラインセグメント上で等間隔である、該手段
    と、 前記ラインセグメント上のＮ個のサンプルポイントの各
    々に対するエラーを計算して、各々のラインセグメント
    に対するエラーの組を生成する手段であって、前記組に
    なった各エラーは前記Ｎ個のサンプルポイントと輪郭映
    像との距離を表す、該手段と、 前記各エラーセットを離散的サイン変換係数に変換する
    手段と、 前記離散的サイン変換係数の一組を量子化済みの変換係
    数の組に変換する手段とを有することを特徴とする輪郭
    近似装置。
JP11509695A 1995-03-18 1995-04-17 輪郭近似装置 Expired - Fee Related JP3389369B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1019950005714A KR0181059B1 (ko) 1995-03-18 1995-03-18 물체의 윤곽을 나타내기 위한 윤곽 근사장치
KR1995P5714 1995-03-18

Publications (2)

Publication Number Publication Date
JPH08272957A JPH08272957A (ja) 1996-10-18
JP3389369B2 true JP3389369B2 (ja) 2003-03-24

Family

ID=19410076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11509695A Expired - Fee Related JP3389369B2 (ja) 1995-03-18 1995-04-17 輪郭近似装置

Country Status (6)

Country Link
US (1) US6259818B1 (ja)
EP (1) EP0734163B1 (ja)
JP (1) JP3389369B2 (ja)
KR (1) KR0181059B1 (ja)
CN (1) CN1110956C (ja)
DE (1) DE69517791T2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1062701C (zh) * 1995-09-12 2001-02-28 大宇电子株式会社 用于编码目标轮廓的装置
JP3785700B2 (ja) * 1995-12-18 2006-06-14 ソニー株式会社 近似化方法および装置
KR100196874B1 (ko) * 1995-12-23 1999-06-15 전주범 선택적 윤곽선 근사화 장치
KR100203656B1 (ko) * 1996-04-09 1999-06-15 전주범 윤곽 영상신호 부호화 장치
KR100209132B1 (ko) * 1996-07-11 1999-07-15 전주범 블럭-기반 물체 윤곽 부호화 방법
US5838830A (en) * 1996-09-18 1998-11-17 Sharp Laboratories Of America, Inc. Vertex-based hierarchical shape representation and coding method and apparatus
CN1121122C (zh) * 1996-10-25 2003-09-10 大宇电子株式会社 对视频信号中的目标轮廓图象进行编码的方法和设备
US5754703A (en) * 1996-12-16 1998-05-19 Daewoo Electronics Co., Ltd. Method for encoding a contour of an object in a video signal
KR100212552B1 (ko) * 1996-12-23 1999-08-02 전주범 이산적 사인 변환을 이용한 윤곽선 영상 신호 부호화 방법 및 그 장치
US5883977A (en) 1996-12-30 1999-03-16 Daewoo Electronics Co., Ltd. Method and apparatus for encoding a video signal of a contour of an object
KR100239302B1 (ko) * 1997-01-20 2000-01-15 전주범 변형된 정점 부호화를 이용한 윤곽선 부호화 방법 및 그 장치
GB2333923B (en) * 1997-02-07 2000-02-09 Samsung Electronics Co Ltd Contour motion information transmission method and device
US5912991A (en) * 1997-02-07 1999-06-15 Samsung Electronics Co., Ltd. Contour encoding method using error bands
US6002803A (en) * 1997-03-11 1999-12-14 Sharp Laboratories Of America, Inc. Methods of coding the order information for multiple-layer vertices
US20040240543A1 (en) * 2001-09-04 2004-12-02 Faroudja Yves C. Low bandwidth video compression
AU2012202546A1 (en) 2012-05-01 2013-11-21 Canon Kabushiki Kaisha Encoding of rasterised graphic objects
US10095938B2 (en) 2016-12-30 2018-10-09 MorphoTrak, LLC Multi-stage tattoo matching techniques
US10679092B2 (en) * 2017-07-06 2020-06-09 MorphoTrak, LLC Fast curve matching for tattoo recognition and identification

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5930179A (ja) * 1982-08-10 1984-02-17 Agency Of Ind Science & Technol パタ−ンの線分近似方式
KR900001696B1 (ko) * 1984-11-09 1990-03-19 가부시기가이샤 히다찌세이사꾸쇼 화상처리장치의 제어방법
US5214718A (en) * 1986-10-06 1993-05-25 Ampex Systems Corporation Scan-in polygonal extraction of video images
AU583202B2 (en) * 1987-02-06 1989-04-20 Fujitsu Limited Method and apparatus for extracting pattern contours in image processing
US5054103A (en) * 1987-09-24 1991-10-01 Matsushita Electric Works, Ltd. Picture encoding system
US5233671A (en) * 1989-02-22 1993-08-03 Ricoh Company Ltd. Image coding method for coding characters using a modified Bezier curve
JPH0493894A (ja) * 1990-08-03 1992-03-26 Canon Inc 文字処理方法および装置
JP3066060B2 (ja) * 1990-10-31 2000-07-17 株式会社リコー ベゼー曲線区間の多角形近似方式
FR2680924B1 (fr) * 1991-09-03 1997-06-06 France Telecom Procede de filtrage adapte d'un signal transforme en sous-bandes, et dispositif de filtrage correspondant.
JP3068304B2 (ja) * 1992-01-21 2000-07-24 日本電気株式会社 動画像符号化方式および復号化方式
EP0562672A3 (en) * 1992-03-22 1994-07-13 Igp Res & Dev Ltd Process of picture representation by data compression
KR100276427B1 (ko) * 1993-01-30 2000-12-15 윤종용 화상데이타의 압축 및 복원장치
US5592228A (en) * 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
US5764808A (en) * 1995-10-26 1998-06-09 Motorola, Inc. Method and device for compact representation of a discrete region contour
KR100442844B1 (ko) * 1996-03-23 2004-10-06 삼성전자주식회사 중심점을이용한객체의외곽선부호화방법및이를이용한부호화장치

Also Published As

Publication number Publication date
DE69517791D1 (de) 2000-08-10
DE69517791T2 (de) 2000-11-02
KR960036751A (ko) 1996-10-28
EP0734163B1 (en) 2000-07-05
EP0734163A2 (en) 1996-09-25
CN1110956C (zh) 2003-06-04
CN1131868A (zh) 1996-09-25
US6259818B1 (en) 2001-07-10
EP0734163A3 (en) 1997-05-02
JPH08272957A (ja) 1996-10-18
KR0181059B1 (ko) 1999-05-01

Similar Documents

Publication Publication Date Title
JP3759980B2 (ja) 輪郭近似方法
JP3389369B2 (ja) 輪郭近似装置
JP3725250B2 (ja) 輪郭符号化方法
KR100235347B1 (ko) 윤곽선 영상신호 부호화 방법 및 장치
US5870501A (en) Method and apparatus for encoding a contour image in a video signal
US5691769A (en) Apparatus for encoding a contour of an object
US5774596A (en) Adaptive contour coding method for encoding a contour image in a video signal
JP3887043B2 (ja) 輪郭線符号化方法及び輪郭線符号化装置
JP3924032B2 (ja) 輪郭線符号化方法及び輪郭線符号化装置
JP3894605B2 (ja) 輪郭線近似化方法及び輪郭線符号化装置
JP4043067B2 (ja) 輪郭線映像信号符号化装置
US5754703A (en) Method for encoding a contour of an object in a video signal
JP3694349B2 (ja) 輪郭符号化装置
CN1062701C (zh) 用于编码目标轮廓的装置
JP3859786B2 (ja) 映像信号における物体の輪郭線符号化方法
KR100207389B1 (ko) 물체의 윤곽부호화 장치
KR100229534B1 (ko) 영상신호의 윤곽선 부호화 방법 및 장치
KR100243863B1 (ko) 비디오 신호에 있어서의 물체 윤곽선 근사화 방법 및 장치

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080117

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090117

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090117

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100117

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110117

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110117

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120117

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130117

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130117

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees