JP3202270B2 - 動画像符号化装置 - Google Patents

動画像符号化装置

Info

Publication number
JP3202270B2
JP3202270B2 JP25815991A JP25815991A JP3202270B2 JP 3202270 B2 JP3202270 B2 JP 3202270B2 JP 25815991 A JP25815991 A JP 25815991A JP 25815991 A JP25815991 A JP 25815991A JP 3202270 B2 JP3202270 B2 JP 3202270B2
Authority
JP
Japan
Prior art keywords
signal
transform coefficient
output
threshold value
quantizing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP25815991A
Other languages
English (en)
Other versions
JPH05103314A (ja
Inventor
健志 駄竹
昇 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP25815991A priority Critical patent/JP3202270B2/ja
Publication of JPH05103314A publication Critical patent/JPH05103314A/ja
Application granted granted Critical
Publication of JP3202270B2 publication Critical patent/JP3202270B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、直交変換符号化を用い
て動画像信号を効率よく符号化する動画像符号化装置に
関する。
【0002】
【従来の技術】近年、ディジタル通信網の整備や通信技
術の発達により、動画像テレビ電話やテレビ会議システ
ムが実用化されつつある。特に、テレビ会議システムは
出張に要する時間や費用を節約する上で極めて有効であ
るため、企業内で導入が進められている。動画像符号化
は、テレビ電話やテレビ会議システムを実現する上で最
も重要な技術の一つである。
【0003】図4に、従来の動画像符号化装置の一例の
ブロック図を示す。この動画像符号化装置は、入力され
る動画像信号のフレーム間差分信号とフレーム内信号を
選択し、これを直交変換符号化の一つであるDCT(離
散コサイン変換)符号化により符号化する装置である。
図4において、入力端子1にはテレビカメラで被写体を
撮像して得られた動画像の画像信号が図示しないA/D
変換器によりディジタル化されて入力される。この入力
画像信号は、減算器2によってフレームメモリ10に蓄
積されている1フレーム前の画像信号との差分がとら
れ、フレーム間差分信号が求められる。フレームメモリ
10に蓄積された1フレーム前の画像信号は、動きベク
トル検出回路11で求められた動きベクトルに従って動
き補償がなされている。
【0004】入力端子1に入力される現フレームの動画
像信号(これをフレーム内信号という)と減算器2から
のフレーム間差分信号は、予測判定回路12でどちらの
情報量が少ないかが判定され、情報量の少ない方の信号
がセレクタ3で選択される。セレクタ3で選択された信
号は、DCT回路4で離散コサイン変換された後、量子
化器5で量子化される。離散コサイン変換は、画素間の
相関を除去するために用いられる。量子化器5で量子化
された信号は、可変長符号化回路13で可変長符号化さ
れ、更にバッファメモリ14で速度平滑化されることに
より、一定の伝送速度で通信回線へ送出される。
【0005】一方、量子化器5で量子化された信号は逆
量子化器6にも送られて逆量子化され、さらに逆DCT
(IDCT)回路7で逆離散コサイン変換された後、加
算器8で1フレーム前の画像信号と加算されることによ
り、局部復号される。なお、セレクタ3でフレーム内信
号が選択された場合は、IDCT回路7の出力がそのま
ま局部復号信号となり、セレクタ9はこれを選択する。
この局部復号信号は、フレームメモリ10に書き込まれ
る。
【0006】また、バッファメモリ14がオーバーフロ
ーしないようにするため、バッファメモリ14のバッフ
ァ蓄積量に応じて量子化器5と逆量子化器6の量子化幅
を粗くして発生情報量を減らし、バッファ蓄積量が少な
くなると量子化幅を細かくして発生情報量を増やすよう
にしている。
【0007】この動画像符号化装置においては、例えば
背景部分などの静止領域では、より情報量の少ないフレ
ーム間差分信号がDCT符号化されることによって符号
化効率の向上が図られ、また動領域ではフレーム内信号
がDCT符号化されることにより、画像品質が維持され
る。
【0008】ところが、被写体の撮像時に照明(特に蛍
光灯)のフリッカやカメラのオートアイリス等により画
面全体の明るさが変わったり、あるいはカメラやアナロ
グ回路等で発生するノイズが画像信号に混入すると、静
止領域でも大きなフレーム間差分信号が発生する。この
ような場合、静止領域でありながら大きなフレーム間差
分信号がDCT符号化されて伝送されるため、無駄な情
報を送ってしまうことになり、符号化効率が低下する。
【0009】
【発明が解決しようとする課題】上述したように、従来
の動画像符号化装置では照明のフリッカやカメラのオー
トアイリス等に起因する画面全体の明るさの変化や、カ
メラやアナログ回路等で発生するノイズによって、静止
領域で大きなフレーム間差分信号が発生すると、静止領
域でありながら大きなフレーム間差分信号がDCT符号
化されることにより、符号化効率が低下するという問題
があった。
【0010】従って、本発明は画面全体の明るさの変化
や、ノイズに起因して静止領域でフレーム間差分信号が
大きくなっても無駄な情報を伝送しないようにすること
ができる動画像符号化装置を提供することを目的とす
る。
【0011】
【課題を解決するための手段】本発明は上記課題を解決
するため、フレーム間差分信号が直交変換手段の入力と
して選択されたとき、直交変換により得られた変換係数
の絶対値が予め設定された閾値以下であれば0を出力
し、それ以外のときは該変換係数をそのまま出力する閾
値処理手段を直交変換手段と量子化手段との間、または
量子化手段と可変長符号化手段との間に設けることを特
徴とする。
【0012】ここで、閾値処理手段で設定される閾値
は、直交変換により得られた変換係数の直流成分に対す
る閾値が変換係数の交流成分に対する閾値より大きい
値、または入力動画像信号の静止領域に属する変換係数
に対する閾値が入力動画像信号の動領域に属する変換係
数に対する閾値より大きい値に設定される。さらに、こ
の閾値は伝送ビットレートが高いときに小さくなるよう
にすることが望ましい。
【0013】
【作用】このように、本発明ではフレーム間差分信号の
変換係数に閾値を設定し、閾値以下の場合は出力を0と
して情報を伝送しないようにすることによって、入力動
画像信号の輝度変化や、ノイズの混入に強い符号化が可
能となる。例えば照明の蛍光灯のフリッカやカメラのオ
ートアイリス等により画面全体の明るさが変わったり、
ノイズが混入すると、静止領域でもフレーム間差分信号
は比較的大きくなり、その度合いは変換係数の直流成分
ほど顕著になる。
【0014】このような場合、従来の動画像符号化装置
では本来伝送する必要のない静止領域でありながら直交
変換符号化して伝送していたが、本発明では静止領域の
変換係数は伝送しないようにできる。すなわち、画面全
体の明るさが変化すると、静止領域でもフレーム間差分
信号は大きくなるが、その度合いは動領域のそれよりは
小さいので、閾値を適切に選ぶことにより動領域のみ変
換係数を伝送して符号化効率を高くできる。この場合、
明るさの変化によるフレーム間差分信号の増加は変換係
数の直流成分ほど大きくなるので、直流成分に対する閾
値を大きくすることが効果的となる。
【0015】また、カメラやアナログ部で発生するノイ
ズによりフレーム間差分信号の変換係数全体に渡ってラ
ンダムに大きい成分が発生する。従来はこのような成分
も伝送していたが、本発明では変換係数の交流成分に閾
値を設定することにより、ノイズ等による小さな変動は
伝送しないようにできる。さらに、静止領域と動領域の
判定を行って、静止領域の閾値を大きくするようにすれ
ば、より確実に静止領域で無駄な情報を送らないように
できる。
【0016】なお、伝送ビットレートが高くなると画質
が向上してくるため、閾値が高いと静止領域と動領域の
輝度の段差が目立つようになる。従って、伝送レートが
高いときは、閾値を小さくした方がよい。
【0017】
【実施例】以下、本発明の実施例を図面を用いて説明す
る。
【0018】図1は、本発明の一実施例に係る動画像符
号化装置のブロック図である。この動画像符号化装置
は、減算器2、セレクタ3、DCT(離散コサイン変
換)回路4、量子化器5、逆量子化器6、IDCT(逆
離散コサイン変換)回路7、加算器8、セレクタ9、フ
レームメモリ10、動きベクトル検出回路11、予測判
定回路12、可変長符号化回路13、バッファメモリ1
4、静動判定回路16および閾値回路17により構成さ
れる。図4の従来動画像符号化装置とは、静動判定回路
16および閾値回路17が新たに追加されている点が異
なる。
【0019】静動判定回路16は、減算器2から出力さ
れるフレーム間差分信号および動きベクトル検出回路1
1からの動きベクトルを用いて、入力端子1に入力され
た画像信号について静止領域か動領域かの判定を行い、
静/動判定結果を出力する回路である。
【0020】図2に、静動判定回路16の具体的な構成
例を示す。この静動判定回路16には、減算器2からの
フレーム間差分信号と、動きベクトル検出回路11から
の動きベクトルが入力される。フレーム間差分信号は、
絶対値回路21を通して加算器22に入力され、レジス
タ23の出力と加算された後、レジスタ23に入力され
る。この加算を画像信号1ブロック分繰り返し、レジス
タ23からブロック内のフレーム間差分信号の絶対値和
を出力する。この絶対値和は比較器24に入力され、設
定値と比較される。
【0021】一方、動きベクトルは0検出回路25に入
力され、その値が0かどうかが判定される。比較器24
においてフレーム間差分信号の絶対値和が設定値より大
きいと判定され、しかも0検出回路25で動きベクトル
が0でないと検出されると、AND回路26で図1の入
力端子1に入力された動画像信号の該当する領域は動領
域と判定され、そうでないときは静止領域と判定され
る。
【0022】なお、フレーム間差分信号の絶対値和の
み、または動きベクトルのみでもある程度静動判定はで
きるが、図2のように両方組み合わせた方がより正確な
静動判定ができる。また、フレーム間差分信号の絶対値
和でなく、フレーム間差分信号の分散を調べても静動判
定が可能である。
【0023】閾値回路17は、静動判定回路16からの
静/動判定結果と、予測判定回路12からのフレーム間
/フレーム内判定結果と、DCT回路4から出力されて
いるDCT係数が直流成分か交流成分かを示す信号とに
より定まる閾値をDCT回路4から出力されるDCT係
数に対して設定し、DCT係数がこの閾値以下であれば
出力を0にする回路である。
【0024】図3に、閾値回路17の具体的な構成例を
示す。図3において、第1のセレクタ31には図1のD
CT回路4からのDCT係数が入力される。第2のセレ
クタ32の制御端子には、予測判定回路12からのフレ
ーム間/フレーム内判定結果と、静動判定回路16から
の静/動判定結果およびDC/AC信号(DCT係数が
直流成分か交流成分かを示す信号)が与えられ、これら
3つのパラメータによって信号入力端子に入力されてい
る0,DC閾値およびAC閾値の3つの閾値から一つの
閾値が選択される。例えば、DCT回路4の入力がフレ
ーム間差分信号で、その注目領域が静止領域でかつDC
T係数が直流成分の時はDC閾値が選択され、DCT回
路4の入力がフレーム間差分信号で、その注目領域が静
止領域でかつDCT係数が交流成分の時はAC閾値が選
択され、DCT回路4の入力がフレーム内信号で、その
注目領域が動領域の時は閾値として0が選択される。そ
して、セレクタ32で選択された閾値と、絶対値回路3
3で求められたDCT係数の絶対値が比較器34で比較
され、DCT係数の方が小さいときセレクタ31は0を
選択して出力し、それ以外のときは入力(DCT回路4
から出力されるDCT係数)をそのまま出力する。
【0025】図1において、入力端子1には動画像の画
像信号が入力される。この入力画像信号は、図示しない
テレビカメラで例えばテレビ電話の利用者やテレビ会議
システムの会議参加者などの被写体を撮像して得られた
アナログの画像信号を図示しないA/D変換器によりデ
ィジタル化した信号である。
【0026】この入力画像信号は、減算器2でフレーム
メモリ10に蓄積されている1フレーム前の画像信号と
の差分、すなわちフレーム間差分信号が求められる。フ
レームメモリ10に蓄積されている1フレーム前の画像
信号は、動きベクトル検出回路11により求められた動
きベクトルにより動き補償がなされている。入力画像信
号であるフレーム内信号と、減算器2から出力されるフ
レーム間差分信号は、予測判定回路12でいずれの情報
量が少ないかが判定され、情報量の少ない方の信号がセ
レクタ3で選択される。選択された信号は、直交変換回
路であるDCT回路4で複数画素、例えば8×8画素か
らなるブロック単位で、離散コサイン変換され、DCT
係数として出力される。この離散コサイン変換は、画素
間の相関を除去するために用いられる。
【0027】DCT回路4から出力されるDCT係数
は、閾値回路17において設定された閾値と比較され、
閾値以下のDCT係数に対応する出力は0とされる。こ
の閾値回路17での閾値は、前述のように静動判定回路
16の静/動判定結果と、予測判定回路12のフレーム
間/フレーム内判定結果およびDCT係数が直流成分か
交流成分かによって決定される。閾値回路17の出力
は、量子化器5で量子化される。量子化された信号は、
可変長符号化回路13で可変長符号化され、さらにバッ
ファメモリ11で速度平滑化されることにより、一定の
伝送速度で通信回線へ送出される。
【0028】量子化器5で量子化された信号は、逆量子
化器6にも送られて逆量子化され、さらに逆DCT(I
DCT)回路7で逆離散コサイン変換された後、加算器
8で1フレーム前の画像信号と加算されることにより、
局部復号される。
【0029】なお、セレクタ3でフレーム内信号が選択
された場合は、IDCT回路7の出力がそのまま局部復
号信号となり、セレクタ9はIDCT回路7の出力を選
択する。この局部復号信号は、フレームメモリ10に書
き込まれる。
【0030】上記実施例では、閾値回路17を量子化器
5の前に置いたが、量子化器5の後ろに置いても良い。
その場合、量子化ステップ幅によって設定閾値を大きく
したり小さくしたりしたりする必要がある。
【0031】さらに、閾値回路17の設定閾値を図示し
ない制御部からの信号により、伝送ビットレートが高い
ほど小さくなるよう制御することにより、画質が高くな
る高ビットレートで静止領域と動領域との輝度の段差が
目立たないようにすることができる。
【0032】
【発明の効果】以上説明したように、本発明によれば入
力動画像信号にフリッカやノイズがあっても背景部分な
どの静止領域では直交変換係数を伝送しないことによ
り、符号化効率の向上を図ることができる。
【図面の簡単な説明】
【図1】本発明の一実施例に係る動画像符号化装置のブ
ロック図
【図2】図1における静動判定回路の構成例を示すブロ
ック図
【図3】図1における閾値回路の構成例を示すブロック
【図4】従来の動画像符号化装置のブロック図
【符号の説明】
1…入力端子 2…減算器 3…セレクタ 4…DCT回路 5…量子化器 6…逆量子化器 7…IDCT回路 8…加算器 9…セレクタ 10…フレームメモ
リ 11…動きベクトル検出回路 12…予測判定回
路 13…可変長符号化回路 14…バッファメ
モリ 15…出力端子 16…閾値回路 17…静動判定回路
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭63−222593(JP,A) 特開 平2−243063(JP,A) 特開 平2−272889(JP,A) 特開 平3−89689(JP,A) 特開 平3−89690(JP,A) 特開 平3−24888(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 7/24 - 7/68 H04N 7/14 - 7/15 JICSTファイル(JOIS)

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】入力動画像信号のフレーム間差分信号とフ
    レーム内信号とを選択的に出力する選択手段と、 前記選択手段から出力される信号を直交変換して変換係
    数を出力する直交変換手段と、 前記直交変換手段から出力される変換係数を量子化する
    量子化手段と、 前記量子化手段により得られた量子化結果を可変長符号
    化する可変長符号化手段と、 前記直交変換手段と前記量子化手段との間に設けられ、
    前記直交変換手段から出力される変換係数の絶対値と予
    め設定された所定の閾値とを比較して、前記選択手段か
    ら前記フレーム間差分信号が出力されたときに該変換係
    数の絶対値が予め設定された閾値以下であれば0を出力
    し、それ以外のときは前記直交変換手段から出力される
    変換係数をそのまま出力する閾値処理手段とを有し、 前記閾値処理手段で設定される前記閾値は、前記変換係
    数の直流成分に対する閾値が前記変換係数の交流成分に
    対する閾値より大きいことを特徴とする動画像符号化装
    置。
  2. 【請求項2】入力動画像信号のフレーム間差分信号とフ
    レーム内信号とを選択的に出力する選択手段と、 前記選択手段から出力される信号を直交変換して変換係
    数を出力する直交変換手段と、 前記直交変換手段から出力される変換係数を量子化する
    量子化手段と、 前記量子化手段により得られた量子化結果を可変長符号
    化する可変長符号化手段と、 前記量子化手段と前記可変長符号化手段との間に設けら
    れ、前記量子化手段から出力される変換係数の絶対値と
    予め設定された所定の閾値とを比較して、前記選択手段
    から前記フレーム間差分信号が出力されたときに該変換
    係数の絶対値が予め設定された閾値以下であれば0を出
    力し、それ以外のときは前記量子化手段から出力される
    変換係数をそのまま出力する閾値処理手段とを有し、 前記閾値処理手段で設定される前記閾値は、前記変換係
    数の直流成分に対する閾値が前記変換係数の交流成分に
    対する閾値より大きいことを特徴とする動画像符号化装
    置。
  3. 【請求項3】入力動画像信号のフレーム間差分信号とフ
    レーム内信号とを選択的に出力する選択手段と、 前記選択手段から出力される信号を直交変換して変換係
    数を出力する直交変換手段と、 前記直交変換手段から出力される変換係数を量子化する
    量子化手段と、 前記量子化手段により得られた量子化結果を可変長符号
    化する可変長符号化手段と、 前記入力動画像信号について静止領域か動領域かの判定
    を行う静動判定手段と、 前記直交変換手段と前記量子化手段との間に設けられ、
    前記直交変換手段から出力される変換係数の絶対値と予
    め設定された所定の閾値とを比較して、前記選択手段か
    ら前記フレーム間差分信号が出力されたときに該変換係
    数の絶対値が予め設定された閾値以下であれば0を出力
    し、それ以外のときは前記直交変換手段から出力される
    変換係数をそのまま出力する閾値処理手段とを有し、 前記閾値処理手段で設定される前記閾値は、前記入力動
    画像信号の静止領域に属する変換係数に対する閾値が前
    記入力動画像信号の動領域に属する変換係数に対する閾
    値より大きくなるように、前記静動判定手段の判定結果
    に基づいて制御されることを特徴とする動画像符号化装
    置。
  4. 【請求項4】入力動画像信号のフレーム間差分信号とフ
    レーム内信号とを選択的に出力する選択手段と、 前記選択手段から出力される信号を直交変換して変換係
    数を出力する直交変換手段と、 前記直交変換手段から出力される変換係数を量子化する
    量子化手段と、 前記量子化手段により得られた量子化結果を可変長符号
    化する可変長符号化手段と、 前記入力動画像信号について静止領域か動領域かの判定
    を行う静動判定手段と、 前記量子化手段と前記可変長符号化手段との間に設けら
    れ、前記量子化手段から出力される変換係数の絶対値と
    予め設定された所定の閾値とを比較して、前記選択手段
    から前記フレーム間差分信号が出力されたときに該変換
    係数の絶対値が予め設定された閾値以下であれば0を出
    力し、それ以外のときは前記量子化手段から出力される
    変換係数をそのまま出力する閾値処理手段とを有し、 前記閾値処理手段で設定される前記閾値は、前記入力動
    画像信号の静止領域に属する変換係数に対する閾値が前
    記入力動画像信号の動領域に属する変換係数に対する閾
    値より大きくなるように、前記静動判定手段の判定結果
    に基づいて制御されることを特徴とする動画像符号化装
    置。
JP25815991A 1991-10-04 1991-10-04 動画像符号化装置 Expired - Fee Related JP3202270B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25815991A JP3202270B2 (ja) 1991-10-04 1991-10-04 動画像符号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25815991A JP3202270B2 (ja) 1991-10-04 1991-10-04 動画像符号化装置

Publications (2)

Publication Number Publication Date
JPH05103314A JPH05103314A (ja) 1993-04-23
JP3202270B2 true JP3202270B2 (ja) 2001-08-27

Family

ID=17316356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25815991A Expired - Fee Related JP3202270B2 (ja) 1991-10-04 1991-10-04 動画像符号化装置

Country Status (1)

Country Link
JP (1) JP3202270B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2591438B2 (ja) * 1993-09-14 1997-03-19 日本電気株式会社 動画像信号の符号化方法およびその装置
JP2595875B2 (ja) * 1993-09-14 1997-04-02 日本電気株式会社 動画像信号の符号化方法およびその装置
JP4210040B2 (ja) 2001-03-26 2009-01-14 パナソニック株式会社 画像表示装置および方法

Also Published As

Publication number Publication date
JPH05103314A (ja) 1993-04-23

Similar Documents

Publication Publication Date Title
US6850564B1 (en) Apparatus and method for dynamically controlling the frame rate of video streams
JP3258840B2 (ja) 動画像符号化装置および領域抽出装置
JP3748717B2 (ja) 動画像符号化装置
US6438165B2 (en) Method and apparatus for advanced encoder system
US8229004B2 (en) Image signal processing apparatus with code amount control for inter-frame and intra-frame encoding
JPH04328982A (ja) 高能率符号化装置及び復号化装置
EP0680217B1 (en) Video signal decoding apparatus capable of reducing blocking effects
JPH0630396A (ja) 動画像符号化復号化装置
JP3046379B2 (ja) 画像符号化装置
JPH04256298A (ja) 動画像符号化装置
US6879723B1 (en) Method and apparatus for encoding frames of image data at a varying quality level
JP2895034B1 (ja) 適応的ブロック現象除去機能を有する復号化器及び適応的ブロック現象除去復号化方法
JP3202270B2 (ja) 動画像符号化装置
JP4004597B2 (ja) 映像信号のエラー隠ぺい装置
JP2004512784A (ja) エンベッドフィルタによるトランスコーディング方法及びトランスコーディング装置
JP2914607B2 (ja) 画像信号復号化装置
JPH0595538A (ja) 画像符号化装置
JPH0984024A (ja) 動画像信号の符号化装置
JP2847569B2 (ja) 動画像符号化制御方式
JPH06224773A (ja) 高能率符号化回路
US6678327B1 (en) Image signal compression coding method and apparatus
JP3348776B2 (ja) 動画像符号化装置及びその方法
JP3535013B2 (ja) 動画像符号化装置
JP2512165B2 (ja) 動画像信号の符号化装置
JPH02241285A (ja) 動画像信号の高能率符号化装置

Legal Events

Date Code Title Description
S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080622

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090622

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees