JP3471401B2 - 蓄積av情報通信装置 - Google Patents

蓄積av情報通信装置

Info

Publication number
JP3471401B2
JP3471401B2 JP33839893A JP33839893A JP3471401B2 JP 3471401 B2 JP3471401 B2 JP 3471401B2 JP 33839893 A JP33839893 A JP 33839893A JP 33839893 A JP33839893 A JP 33839893A JP 3471401 B2 JP3471401 B2 JP 3471401B2
Authority
JP
Japan
Prior art keywords
information
terminal
request
server
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP33839893A
Other languages
English (en)
Other versions
JPH07202933A (ja
Inventor
田 通 憲 舛
田 章 人 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP33839893A priority Critical patent/JP3471401B2/ja
Publication of JPH07202933A publication Critical patent/JPH07202933A/ja
Application granted granted Critical
Publication of JP3471401B2 publication Critical patent/JP3471401B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、蓄積されたAV(Audi
o-Video)情報を効率的に通信するための蓄積AV情報通
信装置に関するものである。
【0002】
【従来の技術】近年、映像の高能率符号化技術や大容量
情報蓄積技術および映像、音声のコンピュータ処理技術
の進展に伴い、いわゆるマルチメディア情報通信システ
ムが脚光を浴びており、通信網を介して利用者が蓄積さ
れたAV情報を自在に取り出し、再生する蓄積AV情報
通信装置が提案されている。
【0003】以下、従来の蓄積AV情報通信装置につい
て説明する。図4は従来の蓄積AV情報通信装置の構成
を示すものである。101はサーバ装置、102は端末
装置、103は通信装置であり、端末装置102からの
要求が通信装置103によりサーバ装置101に伝達さ
れ、サーバ装置101に格納されたAV情報が通信装置
103を介して端末装置2で表示再生される。
【0004】サーバ装置101において、110は蓄積
部、111は読み出し部、112は読み出し制御部であ
る。端末装置102において、120はAV情報分離
部、121は映像表示部、122は音声再生部、123
は利用者インタフェース部、124は消音制御部、12
5は端末制御部である。通信装置103において、13
0は伝送路、131はサーバ側通信部、132は端末側
通信部である。
【0005】以上のように構成された通信装置につい
て、以下その動作について図5に示すデータフローに従
って説明する。利用者は、利用者インタフェース部12
3を通して、表示再生の対象となるAV情報を選定し、
再生開始をサーバ装置101に要求する(利用者要求1
40)。次に、端末制御部125は、利用者インタフェ
ース123からの再生開始を端末側通信部132に送出
要求する(端末側再生開始要求141)。通信装置10
3は、伝送路130、サーバ側通信部131を経て、サ
ーバ装置101の読み出し制御部112に再生開始要求
を伝える(再生開始要求信号142、サーバ側再生開始
要求143)。読み出し制御部112は、読み出し部1
11を制御し、蓄積部110に格納されたAV情報を時
間順に順次読み出し、通信装置103のサーバ側通信部
131に送出要求する(サーバ側AV情報通知144、
145)。サーバ側通信部131は、伝送路130を経
て端末側通信部132に伝え(AV情報通知信号14
6、147)、端末側通信部132は、受信したAV情
報を端末装置102のAV情報分離部120に伝達する
(端末側AV情報通知148、149)。AV情報分離
部120は、AV情報を映像と音声に分離し、それぞれ
映像表示部121、音声再生部122に伝え、利用者が
AV情報を視聴できるようにする(表示再生AV情報1
50、151)。
【0006】なお、AV情報の先頭、末尾通知は、AV
情報開始通知信号152およびAV情報終了通知信号1
53が、AV情報通知信号146、147をはさむ形で
通知される。
【0007】AV情報の再生表示には、映像と音声の時
間的同期情報が必要である。同期表現の方法はさまざま
あるが、AV情報が時間軸方向にインタリーブされた構
造がCD−ROM等のパッケージ型メディアではよく用
いられる。図6にサーバ装置101における従来のAV
情報の構造例を示す。AV情報は、一定時間毎にブロッ
ク化され、各ブロック160、161、162、163
には、AV情報先頭からの相対時間164と該当する映
像情報165と音声情報166とから構成される。映像
情報165および音声情報166の情報量は、符号化レ
ートに依存して一定であり、それぞれの情報量をブロッ
ク内に明示する必要はない。
【0008】利用者が早送り,スロー,コマ送り,戻し
再生,早戻し,スロー戻し,コマ戻し等の特殊再生を要
求した場合、それぞれAV情報を時間軸順方向に飛ばし
て読み出したり(早送り)、読み出し時間間隔を広げた
り(スロー)、フレーム単位に読み出したり(コマ送
り)、逆方向に読み出したり(戻し再生)、時間軸逆方
向に飛ばして読み出したり(早戻し)、逆方向に読み出
し時間間隔を広げたり(スロー戻し)、逆方向にフレー
ム単位に読み出したり(コマ戻し)することにより対応
される。
【0009】
【発明が解決しようとする課題】しかしながら、上記の
従来の構成では、上記特殊再生要求や消音(ミュート)
要求の場合、利用者に音声情報が活用されない場合が多
いにもかかわらず、音声情報が映像情報と共に端末側ま
で通信され、消音制御部24により端末側で音声情報が
廃棄されるため、結果として通信帯域が有効に利用され
ないという問題点を有していた。
【0010】本発明は、上記従来の問題点を解決するも
ので、音声情報を必要としない特殊再生要求時や消音要
求時に、通信帯域を有効に使用可能な蓄積AV情報通信
装置を提供することを目的とする。
【0011】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、AV情報を蓄積するサーバ装置と、AV
情報を表示再生する端末装置と、端末装置からサーバ装
置への再生要求情報とサーバ装置から端末装置へのAV
情報の伝達を行なう通信装置とを備え、サーバ装置は、
端末装置からの再生要求情報の内、利用者からの早送
り、スロー、コマ送り、戻し再生、早戻し、スロー戻
し、コマ戻しを含む特殊再生要求または消音要求を検出
した時は、読み出したAV情報から映像情報だけを抽出
して通信装置を介して端末装置に送信するようにした
のである。
【0012】本発明はまた、AV情報が時間軸方向にイ
ンタリーブされた構造で蓄積されたサーバ装置を対象と
したものである。
【0013】
【作用】したがって本発明は、端末装置の利用者から早
送り、スロー、コマ送り、戻し再生、早戻し、スロー戻
し、コマ戻し等の特殊再生要求または消音要求を受けた
時は、サーバ装置が読み出したAV情報から映像情報の
みを抽出することで、音声情報の消された映像情報のみ
を通信装置を介して端末装置に送信することができる。
【0014】
【実施例】以下、本発明の一実施例について、図面を参
照しながら説明する。図1は本発明の一実施例における
蓄積AV情報通信装置の構成を示すものである。図1に
おいて、1はサーバ装置、2は端末装置、3は通信装置
であり、端末装置2からの要求が通信装置3によりサー
バ装置1に伝達され、サーバ装置1に格納されたAV情
報が通信装置3を介して端末装置2で表示再生される。
【0015】サーバ装置1において、10は蓄積部、1
1は読み出し部、12は読み出し制御部、13は映像抽
出組み替え部である。端末装置2において、20はAV
情報分離部、21は映像表示部、22は音声再生部、2
3は利用者インタフェース部、24は消音要求分析部、
25は端末制御部、26は特殊再生要求分析部である。
通信装置3において、30は伝送路、31はサーバ側通
信部、32は端末側通信部である。
【0016】(動作例1)次に、上記実施例の第1の動
作例として、特殊再生要求時の処理について、図2に示
すデータフローに従って説明する。利用者は、利用者イ
ンタフェース部23を通して、表示再生の対象となるA
V情報を選定し、再生開始をサーバ装置1に要求する
(利用者要求40)。端末制御部25は、利用者インタ
フェース23からの再生開始を端末側通信部32に送出
要求する(端末側再生開始要求41)。通信装置3は、
伝送路30、サーバ側通信部31を経て、サーバ装置1
の読み出し制御部12に再生開始要求を伝える(再生開
始要求信号42、サーバ側再生開始要求43)。読み出
し制御部12は、読み出し部11を制御し、蓄積部10
に格納されたAV情報を時間順に順次読み出し、映像抽
出組み替え部13を経て、通信装置3のサーバ側通信部
31に送出要求する(サーバ側AV情報通知44、4
5)。このとき、端末からの要求が通常再生の場合は、
映像音声組み替え部13は何も処理をしない。サーバ側
通信部31は、伝送路30を経てAV情報を端末側通信
部32に伝え(AV情報通知信号46、47)、端末側
通信部32は、受信したAV情報を端末装置2のAV情
報分離部20に伝達する(端末側AV情報通知48、4
9)。AV情報分離部20は、AV情報を映像と音声に
分離し、それぞれ映像表示部21、音声再生部22に伝
え、利用者がAV情報を視聴できるようにする(表示再
生AV情報50、51)。
【0017】続いて、利用者が利用者インターフェース
部23を通して、早送り、スロー、コマ送り、戻し再
生、早戻し、スロー戻し、コマ戻し等の特殊再生を要求
した場合(利用者要求52)、その要求は、利用者イン
タフェース部23から端末制御部25および特殊再生要
求分析部26に伝えられる。特殊再生要求分析部26
は、利用者インタフェース部23からの要求を分析し、
それぞれの特殊再生要求に応じて、特殊再生開始を端末
制御部25を介して通信装置3の端末側通信部32に送
出要求する(端末側特殊再生開始要求53)。通信装置
3は、伝送路30、サーバ側通信部31を経て、サーバ
装置1の読み出し制御部12に特殊再生開始要求を伝え
る(特殊再生開始要求信号54、サーバ側特殊再生開始
要求55)。読み出し制御部12は、読み出し部11を
制御し、蓄積部10に格納されたAV情報をAV情報を
時間順に順次読み出し、特殊再生内容に応じて、そのA
V情報を、時間軸順方向に飛ばして読み出したり(早送
り)、読み出し時間間隔を広げたり(スロー)、フレー
ム単位に読み出したり(コマ送り)、逆方向に読み出し
たり(戻し再生)、時間軸逆方向に飛ばして読み出した
り(早戻し)、逆方向に読み出し時間間隔を広げたり
(スロー戻し)、逆方向にフレーム単位に読み出したり
(コマ戻し)する。読み出された情報は、映像抽出組み
替え部13に伝えられる。今度の場合は特殊再生用要求
であることが読み出し制御部12から伝えられているの
で、映像抽出組み替え部13は、音声情報を分離廃棄
し、映像情報のみを抽出してサーバ側通信部31に送出
要求する(サーバ側V情報通知56、57)。
【0018】なお、映像情報と音声情報の分離は、蓄積
情報の構造に依存するので、図6に示すようなAV情報
が時間軸方向にインタリーブされた構造の場合、各ブロ
ック中の音声部分を削除するだけでよい。さらに、ブロ
ック内の物理的な構造が、ポインタ情報により格納位置
非依存であれば、ポインタ情報の操作のみで実現可能で
あり、処理時間は極めて少なくできる。
【0019】サーバ側通信部31は、分離された映像情
報を伝送路30を経て端末側通信部32に伝え(V情報
通知信号58、59)、端末側通信部32は、受信した
映像情報を端末装置2のAV情報分離部20に伝達する
(端末側V情報通知60、61)。AV情報分離部20
は、本来はAV情報を映像と音声に分離するが、この場
合音声情報が含まれてないので、映像表示部21にのみ
映像情報を伝える。これにより、利用者は音のない特殊
再生の映像情報のみを視聴することができる(表示再生
V情報62、63)。
【0020】特殊再生の種類変更および通常再生への復
帰も、上記と同様の手順で実現される。また、AV情報
を高能率符号化する場合、音声はCD程度の高品位とす
ることが一般的であるので、映像情報と音声情報の割合
は4:1から10:1程度に達し、不要な音声情報の廃
棄は有用である。
【0021】(動作例2)次に、上記実施例の第2の動
作例として、消音要求の処理について図3に示すデータ
フローに従って説明する。利用者は、利用者インタフェ
ース部23を通して、表示再生の対象となるAV情報を
選定し、再生開始をサーバ装置1に要求する(利用者要
求70)。端末制御部25は、利用者インタフェース部
23からの再生開始を端末側通信部32に送出要求する
(端末側再生開始要求71)。通信装置3は、伝送路3
0、サーバ側通信部31を経て、サーバ装置1の読み出
し制御部12に再生開始要求を伝える(再生開始要求信
号72、サーバ側再生開始要求73)。読み出し制御部
12は、読み出し部11を制御し、蓄積部10に格納さ
れたAV情報を時間順に順次読み出し、映像抽出組み替
え部13を経て、サーバ側通信部31に送出要求する
(サーバ側AV情報通知74、75)。このとき、端末
からの要求が通常再生の場合は、映像抽出組み替え部1
3は何も処理をしない。サーバ側通信部31は、伝送路
30を経てAV情報を端末側通信部32に伝え(AV情
報通知信号76、77)、端末側通信部32は、受信し
たAV情報をAV情報分離部20に伝達する(端末側A
V情報通知78、79)。AV情報分離部20は、AV
情報を映像と音声に分離し、それぞれ映像表示部21、
音声再生部22に伝え、利用者がAV情報を視聴できる
ようにする(表示再生AV情報80、81)。
【0022】続いて、利用者が利用者インターフェース
部23を通して、消音要求を発した場合(利用者要求8
2)、その要求は、利用者インタフェース部23から端
末制御部25および消音要求分析部24に伝えられる。
消音要求分析部24は、利用者インタフェース部23か
らの要求を分析し、消音開始を端末制御部25を介して
通信装置3の端末側通信部32に送出要求する(端末側
消音要求83)。通信装置3は、伝送路30、サーバ側
通信部31を経て、サーバ装置1の読み出し制御部12
に消音要求を伝える(消音要求信号84、サーバ側消音
要求85)。読み出し制御部12は、読み出し部11を
制御し、蓄積部10に格納されたAV情報を時間順に順
次読み出し、そのAV情報から映像抽出組み替え部10
が、音声情報を分離廃棄し、映像情報のみを抽出してサ
ーバ側通信部31に送出要求する(サーバ側V情報通知
86、87)。
【0023】映像情報と音声情報の分離は、蓄積情報の
構造に依存するので、図6に示すようなAV情報が時間
軸方向にインタリーブされた構造の場合、各ブロック中
の音声部分を削除するだけでよい。さらに、ブロック内
の物理的な構造が、ポインタ情報により格納位置非依存
であれば、ポインタ情報の操作のみで実現可能であり、
処理時間は極めて少なくできる。
【0024】サーバ側通信部31は、分離された映像情
報を伝送路30を経て端末側通信部32に伝え(V情報
通知信号88、89)、端末側通信部32は、受信した
映像情報を端末装置2のAV情報分離部20に伝達する
(端末側V情報通知90、91)。AV情報分離部20
は、本来AV情報を映像と音声に分離するが、この場合
音声情報が含まれていないので、映像表示部21にのみ
映像情報を伝える。これにより、利用者は音のない映像
情報のみを視聴することができる(表示再生V情報9
2、93)。消音から通常再生への復帰も上記と同様の
手順で実現される。
【0025】
【発明の効果】以上のように本発明は、サーバ装置が、
端末装置からの特殊再生要求または消音要求を検出した
時は、読み出されたAV情報から映像情報だけを抽出
て端末装置へ送信するようにしたので、特殊再生要求や
消音要求のように音声情報を必要としない場合に、映像
情報のみを通信することにより、通信帯域を効率的に利
用できる効果がある。
【図面の簡単な説明】
【図1】本発明の一実施例における蓄積AV情報通信装
置の構成を示すブロック図
【図2】本発明の第1の動作例を示すサーバ装置と端末
装置間のデータフロー図
【図3】本発明の第2の動作例を示すサーバ装置と端末
装置間のデータフロー図
【図4】従来例における蓄積AV情報通信装置の構成を
示すブロック図
【図5】従来例におけるサーバ装置と端末装置間のデー
タフロー図
【図6】サーバ装置におけるAV情報データ構造図
【符号の説明】
1 サーバ装置 2 端末装置 3 通信装置 10 蓄積部 11 読み出し部 12 読み出し制御部 13 映像抽出組み替え部 20 AV情報分離部 21 映像表示部 22 音声再生部 23 利用者インタフェース部 24 消音要求分析部 25 端末制御部 26 特殊再生要求分析部 30 伝送路 31 サーバ側通信部 32 端末側通信部
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭59−191981(JP,A) 特開 平5−83736(JP,A) 特開 平5−28648(JP,A) 実開 昭59−42512(JP,U) 国際公開92/012599(WO,A1) (58)調査した分野(Int.Cl.7,DB名) H04N 7/10,7/16 - 7/173 H04N 5/91 - 5/956

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】 AV情報を蓄積するサーバ装置と、AV
    情報を表示再生する端末装置と、前記端末装置から前記
    サーバ装置への再生要求情報と前記サーバ装置から前記
    端末装置へのAV情報の伝達を行なう通信装置とを備
    え、前記サーバ装置は、前記端末装置からの再生要求情
    報の内、利用者からの早送り、スロー、コマ送り、戻し
    再生、早戻し、スロー戻し、コマ戻しを含む特殊再生要
    求を検出した時は、読み出したAV情報から映像情報だ
    けを抽出して前記通信装置を介して前記端末装置に送信
    することを特徴とする蓄積AV情報通信装置。
  2. 【請求項2】 AV情報が時間軸方向にインタリーブさ
    れた構造で蓄積されたサーバ装置を対象とする請求項1
    記載の蓄積AV情報通信装置。
  3. 【請求項3】 AV情報を蓄積するサーバ装置と、AV
    情報を表示再生する端末装置と、前記端末装置から前記
    サーバ装置への再生要求情報と前記サーバ装置から前記
    端末装置へのAV情報の伝達を行なう通信装置とを備
    え、前記サーバ装置は、前記端末装置からの再生要求情
    報の内、利用者からの消音要求を検出した時は、読み出
    したAV情報から映像情報だけを抽出して前記通信装置
    を介して前記端末装置に送信することを特徴とする蓄積
    AV情報通信装置。
  4. 【請求項4】 AV情報が時間軸方向にインタリーブさ
    れた構造で蓄積されたサーバ装置を対象とする請求項3
    記載の蓄積AV情報通信装置。
  5. 【請求項5】 AV情報を蓄積する蓄積部と、端末装置
    から再生要求情報を受け付ける読み出し制御部と、前記
    再生要求情報に基づいて前記蓄積部からAV情報を読み
    出すとともに、再生要求内容に応じて、早送り、スロ
    ー、コマ送り、戻し再生、早戻し、スロー戻し、コマ戻
    しを行う読み出し部と、前記端末装置からの特殊再生要
    求または消音要求を検出した時は、前記読み出し部で読
    み出したAV情報から映像情報だけを抽出して前記端末
    装置へ送信する映像抽出組み替え部とを備えたサーバ装
    置。
JP33839893A 1993-12-28 1993-12-28 蓄積av情報通信装置 Expired - Fee Related JP3471401B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP33839893A JP3471401B2 (ja) 1993-12-28 1993-12-28 蓄積av情報通信装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33839893A JP3471401B2 (ja) 1993-12-28 1993-12-28 蓄積av情報通信装置

Publications (2)

Publication Number Publication Date
JPH07202933A JPH07202933A (ja) 1995-08-04
JP3471401B2 true JP3471401B2 (ja) 2003-12-02

Family

ID=18317789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33839893A Expired - Fee Related JP3471401B2 (ja) 1993-12-28 1993-12-28 蓄積av情報通信装置

Country Status (1)

Country Link
JP (1) JP3471401B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2882337B2 (ja) * 1996-02-15 1999-04-12 日本電気株式会社 マルチメディア通信端末装置
JP3653569B2 (ja) 1997-01-30 2005-05-25 マイクロソフト コーポレーション ビデオをオン・デマンドでレンダリングするvcrに似た機能
FR2839844A1 (fr) 2002-05-16 2003-11-21 Thomson Licensing Sa Decodeur numerique ayant un mode de fonctionnement dit "revisualisation" et comprenant deux memoires tampon
US7496283B2 (en) 2002-06-28 2009-02-24 Microsoft Corporation Methods and systems for processing digital data rate and directional playback changes
US7539393B2 (en) 2003-12-05 2009-05-26 Microsoft Corporation Method and system for reverse playback of compressed data
US7627227B2 (en) 2004-05-17 2009-12-01 Microsoft Corporation Reverse presentation of digital media streams
JP5750946B2 (ja) * 2011-03-09 2015-07-22 株式会社リコー コンテンツ配信システム、コンテンツ配信サーバ、コンテンツ配信方法、プログラムおよび記録媒体

Also Published As

Publication number Publication date
JPH07202933A (ja) 1995-08-04

Similar Documents

Publication Publication Date Title
JP4313268B2 (ja) ビデオをオン・デマンドでレンダリングするvcrに似た機能
US5812772A (en) Multi-media communication system and method therefor
JP2003510626A (ja) 字幕情報表示機能を有する字幕mp3プレーヤー、字幕mp3情報構造及び字幕mp3情報再生方法
US6993786B1 (en) Client/server multimedia presentation system
JP3471401B2 (ja) 蓄積av情報通信装置
KR100992393B1 (ko) 대화형 광디스크 장치에서의 콘텐츠 정보 재생방법
JPH08235832A (ja) ディスク記録装置及び記録再生装置
JP2003209807A (ja) 動画再生方法及び装置
JP2001285860A (ja) 転送レート制御装置、復号装置、媒体及び情報集合体
JPH08163508A (ja) ビデオサーバ装置
JP4484220B2 (ja) 映像配信装置
JPH10210419A (ja) ビデオサーバ装置、端末装置及びデータ送信方法
JP3894362B2 (ja) 複数動画像の閲覧装置および記録媒体
JP2005197839A (ja) トランスポートストリームの特殊再生方法及びトランスポートストリームの記録再生装置
JPH0832934A (ja) 映像信号記録装置および映像信号再生装置
JP4038872B2 (ja) 映像信号符号化システム
JP3951430B2 (ja) 映像信号符号化システム
JPH09186967A (ja) 動画処理方法
JP3443944B2 (ja) 映像信号伝送装置、映像信号伝送システムおよび映像信号伝送方法
JP2000092450A (ja) ビデオサーバ装置
JP3186453B2 (ja) データ送出装置
JPH08115567A (ja) 画像送信装置
KR20040076560A (ko) 대화형 광디스크 장치에서의 콘텐츠 정보 재생방법
JPH0937212A (ja) 動画再生システム
JP3267823B2 (ja) ストリーム通信システム

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080912

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080912

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090912

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090912

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100912

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110912

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120912

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees