JP4255503B2 - 記録再生装置 - Google Patents

記録再生装置 Download PDF

Info

Publication number
JP4255503B2
JP4255503B2 JP2007514477A JP2007514477A JP4255503B2 JP 4255503 B2 JP4255503 B2 JP 4255503B2 JP 2007514477 A JP2007514477 A JP 2007514477A JP 2007514477 A JP2007514477 A JP 2007514477A JP 4255503 B2 JP4255503 B2 JP 4255503B2
Authority
JP
Japan
Prior art keywords
stream
recording
hdv
recording medium
management information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007514477A
Other languages
English (en)
Other versions
JPWO2006117921A1 (ja
Inventor
剛士 松下
良治 大野
明男 市川
伸次郎 木原
昌弘 吉田
貴仁 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPWO2006117921A1 publication Critical patent/JPWO2006117921A1/ja
Application granted granted Critical
Publication of JP4255503B2 publication Critical patent/JP4255503B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2508Magnetic discs
    • G11B2220/2516Hard disks
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Description

【技術分野】
【0001】
本発明は、記録再生装置、より詳細には、外部より入力される映像および音声データを記録媒体に記録し、また、記録媒体から映像および音声データを読み出して出力可能な記録再生装置に関する。
【背景技術】
【0002】
近年、テレビジョン放送のデジタル化に伴い、番組コンテンツは高画質なHD(High Definition)映像として提供されるようになっている。このため、HD映像のコンテンツをそのままハードディスクやBD(Blu−ray Disc)等の記録媒体に記録するためのレコーダも製品化されている。また、DV(Digital Video)テープに対してHD映像を記録することができるハイビジョンカメラも製品化され、個人レベルでHD映像を扱う環境が整いつつある。
【0003】
ここで、上記BDやDVテープ等のリムーバブルな記録媒体によってコンテンツを記録再生するために、各記録媒体にコンテンツを扱うための規格が定められている。例えば、BDの規格では、デジタル放送のコンテンツを記録するための規格や、アナログ映像をエンコードして記録するための規格が定められている。また、DVテープでは、HD映像のコンテンツを記録、再生するためにHDV(High Definition Video)規格が定められている。
【0004】
このように、リムーバブルな各記録媒体には、各規格に沿ったストリーム形式でコンテンツが記録される。これらのレコーダは、例えば、IEEE1394ケーブル等で相互に接続することにより、レコーダ間でのコンテンツのコピーやムーブが可能となっており、異なる種類の記録媒体同士でのコンテンツのコピーやムーブを行うことも必要となる。
【0005】
一方、コンテンツをBD等の記録媒体に記録する場合には、コンテンツを管理するための管理情報が作成され、コンテンツと共にこの管理情報の記録を行う。この管理情報には、コンテンツのストリーム形式の情報も記録されており、これによって記録されたコンテンツのストリーム形式が容易に判定できるため、ストリーム形式に合った表示、再生、及び編集等が可能となる。
【0006】
また、これらの記録媒体に対してデジタル放送を記録する場合には、放送ストリームの中から所望のプログラム(チャンネル)だけを抜き出して記録することが一般的であり、例えば、特許文献1には、複数のデータが時分割多重された信号の中から1つのデータを抜き出して記録するための技術が開示されている。また、特許文献2には、番組の記録・再生に必要な情報の抽出、入手を容易にするための技術が開示されている。
【特許文献1】
特開平11−275519号公報
【特許文献2】
特開2001−218143号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
ここで、例えば、HDV規格のような特定の規格によるストリーム形式のコンテンツをレコーダにより記録媒体に記録した場合、その後の編集等の処理は規格に沿った方法で行わなければならない。つまり、規格による制限により自由にストリームの処理が行えないといった問題がある。上述した特許文献1や特許文献2で開示されている技術は、プログラムや番組のデータ単位でストリームの抽出を行うものであり、特定の規格による制限を回避するものではない。
【0008】
また、記録媒体の規格によっては、特定のストリーム形式のコンテンツがそのまま記録できないことがある。例えば、BDにHDV規格のコンテンツをそのまま記録しようとした場合、BDの管理情報のうち特定のフィールドがreservedとなっているため記録ができないといった問題がある。
【0009】
また、コンテンツを記録する記録媒体がBD等のリムーバブルな記録媒体である場合には、コンテンツの管理情報の記録方法が規格により規定されている。このため、管理情報へのストリーム形式の記録に対しても、ストリーム形式に対応する特定コードが特定領域に記録される。この際、規格に定められていないストリーム形式のコンテンツを記録する場合には、ストリーム形式に対応する特定コードがないために、ストリーム形式を管理情報に記録することができない。そのため、記録されたコンテンツのストリーム形式が容易に判断できないため、ストリーム形式に合った表示、再生、及び編集等が困難になるといった問題がある。
[0010]
本発明は、上述のごとき実情に鑑みてなされたものであり、コンテンツのストリームを記録/再生する記録再生装置において、予め定められた形式の入力ストリームから映像ストリームと音声ストリームを抽出し、これらのストリームから編集等が自在に行える新たなストリームを作成して記録できるようにすること、を目的としている。
【0012】
上記課題を解決するために、本発明の第1の技術手段は、映像ストリーム,音声ストリーム,映像用補助データ,音声用補助データ,及びセクション情報を含むHDVストリームを記録/再生する記録再生装置において、前記HDVストリームから前記映像用補助データ及び前記音声用補助データを排除し、さらに、前記セクション情報を、該セクション情報から、前記HDVストリームであることを示す識別子並びに前記映像用補助データ及び前記音声用補助データに対応するデータを排除した新たなセクション情報に置き換えることにより、HDV規格外のストリームに変換するストリーム変換処理手段と、該変換したストリームを記録媒体に書き込んで記録する記録媒体書込制御手段とを備えていることを特徴としたものである。
[0013]
第2の技術手段は、第1の技術手段において、前記記録媒体書込制御手段は、前記ストリーム変換処理手段により変換したストリームを記録したことを示す管理情報を前記記録媒体に書き込むことを特徴としたものである。
【0015】
の技術手段は、第の技術手段において、前記記録媒体書込制御手段は、前記管理情報を前記記録媒体の所定の領域に書き込むことを特徴としたものである。
[0030]
発明の効果
[0031]
本発明によれば、コンテンツのストリームを記録/再生する記録再生装置において、予め定められた形式の入力ストリームから映像ストリームと音声ストリームを抽出し、これらのストリームから編集等が自在に行える新たなストリームを作成して記録できるため、様々な形式のストリームに対して表示、再生、編集などを自在に行うことができる。
[0033]
また、記録媒体に入力ストリームを記録する際に、映像ストリームと音声ストリーム以外の情報を捨てることで、一般的なMPEGストリーム(例えば、MPEG2−TSなど)の形式とし、入力ストリームの形式にかかわらず、ストリームを自在に取り扱うことができるようになる。
【図面の簡単な説明】
【0034】
【図1】本発明の実施の形態に係る記録再生装置の構成例を示すブロック図である。
【図2】ストリーム情報解析部の動作例を説明するためのフロー図である。
【図3】メーカ定義領域に書き込む管理情報のシンタクスの一例を示す図である。
【図4】本発明の参考例に係る記録再生装置の構成例を示すブロック図である。
【図5】PlayListのストリーム種別を判定する処理の流れの一例について説明するためのフロー図である。
【図6】PlayItemのストリーム種別を判定する処理の流れの一例について説明するためのフロー図である。
【符号の説明】
【0035】
10,20…記録再生装置、11,26…入出力インタフェース、12…ストリーム情報抽出部、13…ストリーム情報解析部、14…ストリーム変換制御部、15,24…ストリーム変換処理部、16…管理情報生成部、17,27…記録媒体書込制御部、18…記録媒体、21…記録媒体読出制御部、22…管理情報解析部、23…機能制御部、25…映像出力処理部、30…モニタ。
【発明を実施するための最良の形態】
【0036】
以下、図面を参照しつつ、本発明の実施の形態について説明する。なお、以下の説明では、同一の機能を有する部分には同一の符号を付し、それらについての繰り返しの説明は省略する。
【0037】
発明の実施の形態は、入力ストリームをその種別に応じて変換しながら、管理情報とともに記録媒体に記録するものである。
図1は、本発明の実施の形態に係る記録再生装置の構成例を示すブロック図である。記録再生装置10は、入出力インタフェース11と、ストリーム情報抽出部12と、ストリーム情報解析部13と、ストリーム変換制御部14と、ストリーム変換処理部15と、管理情報生成部16と、記録媒体書込制御部17と、を含んで構成されている。
【0038】
入出力インタフェース11は、記録再生装置10の外部から記録すべきストリーム(例えば、MPEG2−TSなど)の入力を受け付ける。本実施形態ではIEEE1394のインタフェースとしているが、他のインタフェースでもかまわない。例えば、TCP/IPインタフェースによってストリームを入力する態様でもかまわないし、デジタル放送チューナを備え、チューナからストリームを入力する態様でもかまわない。
【0039】
入出力インタフェース11から入力されたストリームは、ストリーム情報抽出部12に送られる。ここでは、入力されたストリームから、ストリームの特徴を示す情報を抽出する。ストリームの特徴を示す情報とは、具体的には、例えば、ストリームに含まれるMPEG2−TSのセクション情報、各ES(Elementary Stream)に含まれる映像アスペクト情報や音声多重情報などである。
【0040】
ストリーム情報抽出部12で抽出された情報は、ストリーム情報解析部13に送られる。ストリーム情報解析部13では、抽出された情報を解析し、解析結果に基づいて後段のストリーム変換制御部14と管理情報生成部16の制御を行う
【0041】
ストリーム変換制御部14は、ストリーム情報解析部13からの指示に基づき、ストリーム変換処理部15を制御する。ストリーム変換処理部15は、ストリーム変換制御部14の制御によって、入力ストリームの変換処理を行い、その変換したストリームを記録媒体書込制御部17に渡す。変換処理の内容は、例えば、入力ストリームから映像ストリームと音声ストリーム以外のストリームを削除したり、入力ストリームのセクション情報の書き換えを行うなどである。また、この制御によって、入力ストリームの変換を行わず、そのままの形で記録媒体書込制御部17に渡すことも可能である。
【0042】
管理情報生成部16は、ストリーム情報解析部13からの指示に基づき、記録媒体18に書き込むべき管理情報を生成し、記録媒体書込制御部17に渡す。
【0043】
記録媒体書込制御部17は、ストリーム変換処理部15から渡されたストリームと、管理情報生成部16から渡された管理情報を記録媒体18に対して書き込む。本実施形態では、BD(Blu−ray Disc)への記録を例にとって説明する。
【0044】
ここで、HDVストリームについて簡単に説明する。HDV規格は、DVテープに対してハイビジョン映像を記録するための規格であり、HD1(720p)とHD2(1080i)の2種類が存在する。ここでは、HD2形式のストリームを代表例として説明する。以下、単に「HDV」と呼ぶ場合は、HD2形式のHDVストリームを指すものとする。HDV規格はDVテープ上の記録規格と、IEEE1394方式のネットワークで伝送する際に構成するMPEG2−TS(Transport Packet)の形式が定められており、本実施形態で扱うのはMPEG2−TS形式のストリームである。HDVストリームは、映像ストリーム、音声ストリーム、映像用の補助データが記録されたストリーム(Aux−V)、音声用の補助データが記録されたストリーム(Aux−A)から構成される。このうち、上記2本の補助ストリームはなくとも、映像および音声を再生することは可能である。上記補助データとは、例えば、後述するストリームのタイムコードや録画時刻などの属性データのことをいう。
【0045】
ここで、入力ストリームがHDVストリームであることの判定は、Registration Descriptorによって可能である。Registration Descriptorは、ストリームの種別を識別するために用いられるディスクリプタであり、HDVストリームにおいては、特定のパラメータを含むRegistration Descriptorをセクション情報に含むことが規格で定められている。
【0046】
続いて、記録再生装置10を構成する主要構成要素の動作例を詳しく説明するが、ここでは、受け入れるストリームをHDVストリームまたはARIB(Association of Radio Industries and Businesses)準拠のパーシャルTSのいずれかとして説明する。そして、HDVストリーム入力として受け入れた際に、映像ストリームと音声ストリームだけのストリームに変換して記録する場合を例にとる。以下、映像ストリームと音声ストリームだけのストリームに変換して記録する方式を「AVOnlyモード」、入力ストリームのまま記録する形式を「Transparentモード」と呼ぶ。
【0047】
ストリーム情報解析部13は、ストリーム情報抽出部12から、受け入れたストリームに含まれるセクション情報を受け取り、そのセクション情報を解析する。
【0048】
図2は、ストリーム情報解析部13の動作例を説明するためのフロー図である。まず、ストリーム情報解析部13は、抽出したセクション情報にRegistration Descriptorが含まれているかどうかを判定する(ステップS1)。Registration Descriptorが含まれている場合(YESの場合)、ステップS2へ進む。含まれていない場合(NOの場合)、ステップS5へ進む。
【0049】
ストリーム情報解析部13は、上記ステップS1において、Registration Descriptorが含まれていると判定した場合(YESの場合)、Registration Descriptorのパラメータチェックを行う(ステップS2)。ここでチェックされたパラメータが、HDV規格で定められた値に合致する場合(YESの場合)、ステップS3に進む。合致しない場合(NOの場合)、ステップS4に進む。
【0050】
ストリーム情報解析部13は、ステップS3〜S5において、判定結果を後段のストリーム変換制御部14と管理情報生成部16に通知する。上記ステップS2において、チェックされたパラメータがHDV規格で定められた値に合致する場合(YESの場合)、その判定結果はHDVストリームであり、その旨を通知する(ステップS3)。また、上記ステップS2において、チェックされたパラメータがHDV規格で定められた値に合致しない場合(NOの場合)、その判定結果はHDVでもARIB準拠ストリームでもない不明ストリームであり、その旨を通知する(ステップS4)。
【0051】
また、ストリーム情報解析部13は、上記ステップS1において、Registration Descriptorが含まれていないと判定した場合(NOの場合)、判定結果はARIB準拠ストリームであり、その旨を通知する(ステップS5)。このようにして、ストリーム情報解析部13は、ストリーム変換制御部14と管理情報生成部16に判定結果の通知を行う。この際、抽出されたセクション情報もあわせて伝達される。なお、ステップS4では、不明と判定されたストリームの記録を禁止するために、図示しない記録制御部に通知を行うようにしてもよい。
【0052】
ストリーム変換制御部14は、ストリーム情報解析部13から通知された判定結果に基づいて、ストリーム変換処理部15の制御を行う。ストリーム変換処理部15に対する制御指示の内容は、「映像ストリームと音声ストリームのみのストリームに変換」(AVOnlyモード:通知された判定結果がHDVストリームの場合)、「入力ストリームのまま」(Transparentモード)のいずれかである。
【0053】
ストリーム変換処理部15では、ストリーム変換制御部14より、AVOnlyモードへの変換を指示された際に、ストリーム変換の処理を行う。この際のストリーム変換処理は、例えば以下の方法で実行される。
【0054】
AVOnlyモードのストリーム変換では、補助ストリームに対応するPID(パケット識別子)をもつパケットを、パケットフィルタリングによって削除する。その他のPIDをもつパケットは、フィルタリングしない。このフィルタリング処理により、補助ストリームは排除され、映像ストリームおよび音声ストリームのみが残ることになる。
【0055】
また、ストリームの構成を変更したため、PMT(Program Map Table)パケットのセクション情報の置き換えも行う必要がある。PMTパケットのセクション情報には、当該ストリームがどのパケットを含んでいるかの情報を持っており、入力されるストリームのPMTパケットが持つセクション情報では、排除した補助ストリームに対応するデータを含んでいるので、このデータを削除する必要がある。
【0056】
また、AVOnlyモードに変換することで、HDVストリームの規格には合致しなくなるため、Registration Descriptorは削除する必要がある。これらの補助ストリームに対応するデータとRegistration Descriptorを削除したセクション情報を生成し、このセクション情報との置き換えを実施する。
【0057】
管理情報生成部16は、記録媒体に記録すべき管理情報の生成を行う。ストリーム情報解析部13より通知された判定結果により、生成する管理情報が異なる。通知された判定結果がARIB準拠ストリームであった場合には、BD規格で定められたとおりの管理情報を作成する。
【0058】
一方、管理情報生成部16は、通知された判定結果がHDVストリームであった場合には、記録媒体18の所定の領域(例えば、メーカが自由に値を設定できる領域(以下、メーカ定義領域と呼ぶ))を用いて、HDVストリームであることを記録する。これには2つの理由があり、ひとつはBD規格にHDVストリームである場合の管理情報の規定がないため、もうひとつは、AVOnlyモードで記録するストリームは厳密な意味でのHDVストリームではないためである。このメーカ定義領域は、記録再生装置10が独自に利用可能なように、規格上開放されている領域である。HDVストリームのAVOnlyモードでの記録時には、上記BD規格で定められた管理情報に無効な値を入れ、メーカ定義領域にストリーム種別情報を記録する。
【0059】
図3は、メーカ定義領域に書き込む管理情報のシンタクスの一例を示す図である。このシンタクスでは、複数種類の管理情報を書き込むことが可能であり、図中、「atDataMember()」で「tag」(タグ:管理情報の種類を識別するフィールド)と「data_pos」(管理情報を記載している位置)を用いて、ストリーム種別を記載している管理情報の実体にアクセスを可能としている。管理情報の実体は、図中、最下部に記載されている通り、「recmode」と「org_strm_type」のフィールドから構成される。「recmode」は、ストリームをAVOnlyモードで記録したか、Transparentモードで記録したかを示す。また、「org_strm_type」は、オリジナルの入力ストリームの種類を示す符号を格納する。例えば、「recmode=AVOnly」、「org_strm_type=HDV」と記載されていれば、当該ストリームは、HDVストリームをAVOnlyモードで、つまり映像と音声だけのストリームに変換して記録したストリームであることを示す。
【0060】
なお、ここに示したメーカ定義領域のシンタクスはあくまで一例であり、この形に限定されるものではない。また、記録媒体がBDでない場合には、当該記録媒体に定められているメーカ定義領域を利用すればよい。
【0061】
記録媒体書込制御部17は、ストリーム変換処理部15から送られるストリームと、管理情報生成部16から送られる管理情報とを記録媒体18に書き込む。
【0062】
このようにして、入力ストリームの種類に応じた変換処理を行い、記録媒体18に対してストリームの記録を行う。また、同時に、当該ストリームの情報を管理情報として記録する。
【0064】
さらに、記録媒体18は、BDではなく、内蔵型のHDDでもよいし、リムーバブルハードディスクドライブであるiVDR(Information Versatile Disk for Removable usage)なども利用可能である。
【0065】
本実施形態によれば、コンテンツのストリームを記録/再生する記録再生装置において、予め定められた形式の入力ストリームから映像ストリームと音声ストリームを抽出し、これらのストリームから編集等が自在に行える新たなストリームを作成して記録できるため、様々な形式のストリームに対して表示、再生、編集などを自在に行うことができる。
【0066】
また、記録媒体上での記録方法が規定されていないストリーム形式を判定するための情報を当該記録媒体上の所定の領域に記録できるため、記録媒体上での記録方法の規定にかかわらず、様々な形式のストリームを記録できるようになる。
【0067】
また、記録媒体に入力ストリームを記録する際に、映像ストリームと音声ストリーム以外の情報を捨てることで、一般的なMPEGストリーム(例えば、MPEG2−TSなど)の形式とし、入力ストリームの形式にかかわらず、ストリームを自在に取り扱うことができるようになる。
【0068】
参考例
本発明の参考例は、管理情報に記録されたデータをもとに入力ストリームの種別を判定し、その判定結果に基づいた動作を行うものである。
【0069】
図4は、本発明の参考例に係る記録再生装置の構成例を示すブロック図である。記録再生装置20は、記録媒体読出制御部21と、管理情報解析部22と、機能制御部23と、ストリーム変換処理部24と、映像出力処理部25と、入出力インタフェース26と、記録媒体書込制御部27と、を含んで構成されている。
【0070】
以下、図4に基づいて記録再生装置20の全体的な動作例について説明する。記録媒体読出制御部21は、記録媒体28からストリームと管理情報を読み出す。読み出した管理情報は、管理情報解析部22に渡され、管理情報の解析が行われ、記録されているストリームの種類が判定される。この管理情報解析部22が本発明の判定手段に該当する。機能制御部23は、管理情報解析部22で判定された結果に基づいて、記録再生装置20が持つさまざまな機能の制御を行う。図4においては、ストリーム変換処理部24、映像出力処理部25、入出力インタフェース26、記録媒体書込制御部27の制御を行う。
【0071】
ストリーム変換処理部24は、機能制御部23からの指示に基づき、後述するストリーム変換処理を行う。映像出力処理部25は、ストリームを映像信号に変換し、外部モニタ30に出力する。また、ユーザに対して示す管理情報のオーバレイを行う。入出力インタフェース26は、機能制御部23からの指示に基づき、記録再生装置20の外部に対して、MPEG2−TSを出力する。なお、本参考例ではIEEE1394のインタフェースとしているが、他のインタフェースでもかまわない。例えば、TCP/IPインタフェースによってストリームを出力する態様でもかまわない。記録媒体書込制御部27は、機能制御部23からの指示に基づき、記録媒体28へのストリームと管理情報の記録を制御する。
【0072】
次に、記録再生装置20を構成する主要構成要素の動作例を詳しく説明する。図5及び図6は、管理情報解析部22の動作例を説明するためのフロー図である。図5はPlayListのストリーム種別を判定する処理の流れの一例について説明するためのフロー図で、図6はPlayItemのストリーム種別を判定する処理の流れの一例について説明するためのフロー図である。ここで、BDにおけるPlayListとは、複数のPlayItemから構成されるストリーム列であり、各PlayItemがそれぞれストリーム種別を持つため、PlayListのストリーム種別の判定にあたっては、構成している各PlayItemの判定結果を用いて、総合的に判定する必要がある。
【0073】
図5において、まず、管理情報解析部22は、管理情報内の判定結果を格納する記憶領域を初期化(判定結果=不明)する(ステップS11)。次に、PlayListにPlayItemが残っているかどうかを判定し(ステップS12)、ループ脱出の判定条件である、すべてのPlayItemの判定が完了している場合(NOの場合)、判定処理を終了する。一方、未判定のPlayItemが残っている場合(YESの場合)、各PlayItemについてストリーム種別の判定を行う(ステップS13)。そして、その判定結果に応じて、ステップS14〜S16のいずれかに進む。ステップS14〜S16では、それまでのPlayItemを判定した結果と突合せて、総合的な判定結果を生成する。
【0074】
ステップS14〜S16において、判定したPlayItemがすべて同種であった場合、ステップS17〜S19に進む。一方、異なる種別のPlayItemが混在する場合、ステップS20に進み、当該PlayListは異なる種別のストリームが混在するという判定結果を生成する。なお、ステップS13において、PlayItemの判定が「不明」となった場合(NOの場合)、想定外の結果として、PlayList全体の判定結果を「不明」とし(ステップS21)、そのまま終了する。以下、ステップS13以降の各ステップについて詳細に説明する。
【0075】
管理情報解析部22は、上記ステップS13において、PlayItemのストリーム種別が「HDV Transparent」と判定した場合(図中、HDV Transparentの場合)、ここまでのPlayItemの判定結果が全て同種のHDV Transparentであったか、または最初のPlayItemであるかを判定する(ステップS14)。YESの場合、当該PlayListのストリーム種別はHDV Transparentであると判定する(ステップS17)。また、上記ステップS14において、異なる種別のPlayItemが混在する場合(NOの場合)、当該PlayListは異なる種別のストリームが混在するという判定結果を生成する(ステップS20)。
【0076】
また、管理情報解析部22は、上記ステップS13において、PlayItemのストリーム種別が「HDV AVOnly」と判定した場合(図中、HDV AVOnlyの場合)、ここまでのPlayItemの判定結果が全て同種のHDV AVOnlyであったか、または最初のPlayItemであるかを判定する(ステップS15)。YESの場合、当該PlayListのストリーム種別はHDV AVOnlyであると判定する(ステップS18)。また、上記ステップS15において、異なる種別のPlayItemが混在する場合(NOの場合)、当該PlayListは異なる種別のストリームが混在するという判定結果を生成する(ステップS20)。
【0077】
また、管理情報解析部22は、上記ステップS13において、PlayItemのストリーム種別が「ARIB」と判定した場合(図中、ARIBの場合)、ここまでのPlayItemの判定結果が全て同種のARIBであったか、または最初のPlayItemであるかを判定し(ステップS16)、YESの場合、当該PlayListのストリーム種別はARIBであると判定する(ステップS19)。また、上記ステップS16において、異なる種別のPlayItemが混在する場合(NOの場合)、当該PlayListは異なる種別のストリームが混在するという判定結果を生成する(ステップS20)。
【0078】
図5における各PlayItemの判定処理において、前述した実施の形態で説明したメーカ定義領域に記録した管理情報(ストリーム種別情報を含む)を用いる。これについて、下記の図6に基づいて説明する。
【0079】
図6において、まず、管理情報解析部22は、判定対象のPlayItemに対応する規格に定められた領域上の管理情報からストリーム種別に関するデータ(ストリーム種別情報)を読み出し、パラメータをチェックする(ステップS31)。パラメータチェックの結果、ARIB準拠のストリームに対応するものだった場合(図中、ARIBの場合)、そのPlayItemをARIBであると判定する(ステップS37)。また、上記ステップS31において、ARIBに対応するパラメータでなかった場合(図中、ARIB以外の場合)、メーカ定義領域上の管理情報からデータを読み出し、org_strm_typeの値をチェックする(ステップS32)。この値がHDVストリームを示す符号であった場合(図中、HDVを示す符号の場合)、元ストリームはHDVストリームであると判断し、ステップS33に進む。また、上記ステップS32において、上記値がHDVストリームを示す符号でなかった場合(図中、HDVを示す符号以外の場合)、あるいはメーカ定義領域が存在しない場合、想定外であるので、ストリーム種別は「不明」と判定する(ステップS36)。
【0080】
次に、管理情報解析部22は、上記ステップS32において、org_strm_typeの値がHDVストリームを示す符号であった場合(図中、HDVを示す符号の場合)、recmodeの値をチェックし(ステップS33)、チェックの結果がHDV Transparentの場合(図中、Transparentの場合)、ストリーム種別はHDV Transparentであると判定する(ステップS34)。一方、上記ステップS33において、チェックの結果がHDV AVOnlyの場合(図中、AVOnlyの場合)、ストリーム種別はHDV AVOnlyであると判定する(ステップS35)。
【0081】
なお、本発明の参考例において、メーカ定義領域のシンタクスはあくまで一例であり、この形に限定されるものではない。記録したときのシンタクスと、判定時のシンタクスが一致していればよい。また、ここではオリジナルの入力ストリームがARIB準拠ストリームまたはHDVストリームであるとして説明したが、この2種類のストリーム以外の他のストリームに対応することもできる。その場合は、図6に示すステップS31、ステップS32での判定処理において、各ストリームに対応する判定が行われる。
【0082】
管理情報解析部22で判定された結果は、機能制御部23に渡される。機能制御部23では、ストリーム変換処理部24を制御して、記録媒体28に格納されたストリームを出力用に変換する。また、最後段の出力部(映像出力処理部25、入出力インタフェース26、記録媒体書込制御部27)を制御して、表示、再生、出力、編集、ダビング等の機能を実現する。
【0083】
ストリーム変換処理部24では、入出力インタフェース26での出力や、他の記録媒体での記録に適した形式にストリームの変換を行う。ここでは2種類の変換処理について下記に説明する。
【0084】
まず、一つ目は、補助ストリームの修正である。例えば、HDV Transparentモードのストリームを、TSの編集では一般的な、GOP単位での削除によってシーン消去していた場合、編集点付近で補助ストリームが不整合を起こしている場合がある。これをそのまま出力した場合には規格違反となる恐れがあるので、編集点付近で補助ストリームに書かれているデータを修正する。
【0085】
二つ目は、補助ストリームの生成である。例えば、HDV AVOnlyモードのストリームは、補助ストリームを削除して映像ストリームと音声ストリームのみに変換されており、これはHDVストリームとはいえない。そこで、補助ストリームを生成しながら再多重化することで、HDVストリームに再変換を行う。この場合、オリジナルのHDVストリームの補助ストリームに記録されていた属性データ(例えば、タイムコードや録画時刻など)は失われるが、HDV規格のストリームとして、外部に出力することが可能となる。また上記2種類の変換のほか、ストリームを変換しないことも選択できる。
【0086】
次に、本発明の参考例に係る表示機能の制御について説明する。映像出力処理部25は、機能制御部23の制御に基づき、外部モニタ30上に表示する映像および情報を生成する。例えば、この種の記録再生装置においては、記録媒体に記録されているコンテンツ一覧の表示機能を一般的な機能として備えているが、管理情報解析部22において、ストリームがHDVであると判定されているコンテンツに対して、当該コンテンツはHDVストリームであることを示すアイコンなどを表示する。
【0087】
また、本発明の参考例に係る表示機能の制御の別の例としては、HDV補助ストリーム上に記されているタイムコードおよび録画時刻情報を表示するようにしてもよい。タイムコードとは、HDVストリームの補助ストリーム上に記述されているカウンタ値のことである。録画時刻情報は、HDVストリームの補助ストリーム上に、そのストリームが撮影されたときの日付・時刻情報を保持したものである。管理情報解析部22において、ストリームがHDV Transparentモードと判定されている場合、補助ストリームに記載のタイムコード(カウンタ値)をコンテンツ再生中に画面上へ表示する。あるいは、コンテンツ再生中や上述したコンテンツ一覧表示中に、補助ストリームに記載の録画時刻情報を表示する。
【0088】
次に、本発明の参考例に係る再生機能の制御について説明する。管理情報解析部22において、ストリームがHDV Transparentモードであると判定された場合、機能制御部23は、記録媒体読出制御部21と映像出力処理部25を制御する。例えば、図示しないユーザインタフェースから、タイムコードによる再生位置指定が行われた場合に、指定されたタイムコードの再生位置にジャンプしてストリームの再生を開始する。
【0089】
次に、本発明の参考例に係る出力機能の制御について説明する。入出力インタフェース26は、機能制御部23の制御に基づき、記録再生装置20の外部へストリームを送出する。例えば、管理情報解析部22において、ストリームがHDVであると判定された場合、機能制御部23は、入出力インタフェース26に対して、ストリームの送出を禁止する。
【0090】
また、本発明の参考例に係る出力機能の制御の別の例としては、入出力インタフェース26からストリームを送出しようとする相手の機器がHDV対応機器であるかどうかの判定機能を備えるようにしてもよい。この例では、管理情報解析部22において、ストリームがHDV Transparentモードであると判定された場合、機能制御部23は、入出力インタフェース26に対して、HDV対応機器以外へのストリーム送出を禁止するように制御する。入出力インタフェース26は、相手機器がHDV対応機器である場合にのみストリームを送出し、HDV対応機器でない場合には、ストリーム送出を行わない。
【0091】
また、本発明の参考例に係る出力機能の制御の別の例としては、管理情報解析部22において、ストリームがHDV AVOnlyモードであると判定された場合、機能制御部23は、入出力インタフェース26の制御に加え、上述したストリーム変換処理部24の制御を行って補助ストリームを修正あるいは生成し、HDV規格のストリームに再変換した上で外部機器に出力する。
【0092】
次に、本発明の参考例に係る編集機能の制御について説明する。この種の記録再生装置20における一般的なMPEG2−TSストリームの編集機能としては、GOP単位でのストリーム削除によるシーン消去機能が挙げられる。本発明の実施の形態においては、記録媒体書込制御部27を制御することで、GOP単位でのストリーム削除を実現する。
【0093】
ここで、例えば、管理情報解析部22において、ストリームがHDV Transparentモードであると判定された場合、機能制御部23は、記録媒体書込制御部27に対して、編集禁止の指示を出す。これにより、HDV規格に違反した編集済みストリームが作成されることを防ぐことができる。
【0094】
また、編集機能の制御の別の例としては、管理情報解析部22において、ストリームがHDV Transparentモードであると判定された場合、機能制御部23は、ストリーム変換処理部24に対して、補助ストリームを修正してHDV規格に合致する編集済みストリームに変換するように指示を行い、また、記録媒体書込制御部27においてGOP単位でのストリームの削除を指示する。これにより、HDV規格に違反しない編集済みストリームを作成することができる。
【0095】
次に、本発明の参考例に係るダビング機能の制御について説明する。ダビング機能は、記録媒体読出制御部21によってストリームを読み出し、ストリーム変換処理部24を経由して、記録媒体書込制御部27によって別の記録媒体に書き込むことで実現する。特に、高速ダビングと呼ばれるダビング手法では、ストリーム変換処理部24で読み出したストリームを再エンコードすることなく記録媒体書込制御部27によって別の記録媒体に書き込む。
【0096】
ここで、記録媒体によってはストリーム記録の際の形式が異なるため、ストリームの種別によっては読み出したストリームをそのまま記録できない場合があり、この制御を機能制御部23によって行う。例えば、管理情報解析部22において、ダビングしようとするコンテンツが混在ストリーム(すなわち、複数種類のストリームが結合してなる結合ストリーム)であると判定された場合、機能制御部23は、記録媒体書込制御部27に対して、書込禁止の指示を出す。
【0097】
なお、ここで説明した入力ストリーム、記録方式、記録媒体に必ずしも限定されるものではない。例えば、記録するストリームはHDVストリームに限らず、MPEG2−TS形式の特殊な他の規格に準拠したストリームであってもかまわない。また、記録媒体はBDではなく、内蔵型のHDDでもよいし、リムーバブルハードディスクドライブであるiVDRなども利用可能である。また、ここでの説明は、オリジナルの入力ストリームが放送ストリームあるいはHDVストリームの場合について説明したが、これらに限定されるものではない。例えば、SESF形式や、MTRM形式などに対応することも可能である。
【0098】
これによれば、記録媒体に記録されたオリジナルストリームがどの種別のストリームであったかに関する情報を記録することで、そのストリーム種別に応じた、表示機能、出力機能、再生機能、編集機能、ダビング機能等の各機能の制御を適切に行うことができるようになる。

Claims (3)

  1. 映像ストリーム,音声ストリーム,映像用補助データ,音声用補助データ、及びセクション情報を含むHDVストリームを記録/再生する記録再生装置において、
    前記HDVストリームから前記映像用補助データ及び前記音声用補助データを排除し、さらに、前記セクション情報を、該セクション情報から、前記HDVストリームであることを示す識別子並びに前記映像用補助データ及び前記音声用補助データに対応するデータを排除した新たなセクション情報に置き換えることにより、HDV規格外のストリームに変換するストリーム変換処理手段と、
    該変換したストリームを記録媒体に書き込んで記録する記録媒体書込制御手段とを備えていることを特徴とする記録再生装置。
  2. 請求項1に記載の記録再生装置において、前記記録媒体書込制御手段は、前記ストリーム変換処理手段により変換したストリームを記録したことを示す管理情報を前記記録媒体に書き込むことを特徴とする記録再生装置。
  3. 請求項2に記載の記録再生装置において、前記記録媒体書込制御手段は、前記管理情報を前記記録媒体の所定の領域に書き込むことを特徴とする記録再生装置。
JP2007514477A 2005-04-28 2006-02-23 記録再生装置 Expired - Fee Related JP4255503B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005132123 2005-04-28
JP2005132123 2005-04-28
PCT/JP2006/303237 WO2006117921A1 (ja) 2005-04-28 2006-02-23 記録再生装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008135406A Division JP4679606B2 (ja) 2005-04-28 2008-05-23 記録再生装置

Publications (2)

Publication Number Publication Date
JPWO2006117921A1 JPWO2006117921A1 (ja) 2008-12-18
JP4255503B2 true JP4255503B2 (ja) 2009-04-15

Family

ID=37307727

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2007514477A Expired - Fee Related JP4255503B2 (ja) 2005-04-28 2006-02-23 記録再生装置
JP2008135406A Expired - Fee Related JP4679606B2 (ja) 2005-04-28 2008-05-23 記録再生装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2008135406A Expired - Fee Related JP4679606B2 (ja) 2005-04-28 2008-05-23 記録再生装置

Country Status (6)

Country Link
US (1) US20090041420A1 (ja)
EP (2) EP2339841A1 (ja)
JP (2) JP4255503B2 (ja)
KR (1) KR100922641B1 (ja)
CN (2) CN101167352B (ja)
WO (1) WO2006117921A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009088756A (ja) * 2007-09-28 2009-04-23 Hitachi Ltd コンテンツ記録媒体、コンテンツ記録装置及びコンテンツ再生装置
JP5513729B2 (ja) * 2008-10-03 2014-06-04 大日本印刷株式会社 カラーフィルタ形成基板の作製方法
US20120137237A1 (en) * 2010-08-13 2012-05-31 Sony Corporation System and method for digital image and video manipulation and transfer

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0787569B2 (ja) * 1987-12-29 1995-09-20 株式会社日立製作所 デイジタル記録再生装置
JP3666625B2 (ja) * 1998-03-20 2005-06-29 パイオニア株式会社 データ記録方法およびデータ記録装置
JP4051648B2 (ja) * 1999-02-25 2008-02-27 ソニー株式会社 編集装置及び編集方法
JP4292654B2 (ja) 1999-03-19 2009-07-08 ソニー株式会社 記録装置および方法、再生装置および方法、並びに記録媒体
JP2000331421A (ja) * 1999-05-17 2000-11-30 Victor Co Of Japan Ltd 情報記録装置及び情報再生装置
JP4154825B2 (ja) 2000-02-01 2008-09-24 三菱電機株式会社 ディジタル放送受信システム
US6633725B2 (en) * 2000-05-05 2003-10-14 Microsoft Corporation Layered coding of image data using separate data storage tracks on a storage medium
KR100394974B1 (ko) * 2000-05-23 2003-08-19 엘지전자 주식회사 고밀도 광 기록매체에서의 멀티경로 데이터를 수용하는 방법
US7366402B2 (en) * 2000-06-02 2008-04-29 Lg Electronics Inc. Method and apparatus of recording a high definition digital television broadcast signal
WO2003010766A1 (en) * 2001-07-23 2003-02-06 Matsushita Electric Industrial Co., Ltd. Information recording medium, and apparatus and method for recording information on information recording medium
JP2003111020A (ja) * 2001-09-27 2003-04-11 Hitachi Ltd ディスク記録再生装置及びディスクメディア
JP2003244642A (ja) * 2002-02-14 2003-08-29 Funai Electric Co Ltd デジタル録画装置およびその録画方法
JP3719602B2 (ja) * 2002-06-07 2005-11-24 ソニー株式会社 ビデオテープレコーダ及び記録方法
JP3668213B2 (ja) * 2002-08-13 2005-07-06 株式会社東芝 Hdコンテンツとsdコンテンツとを記録する光ディスク及び光ディスク装置
JP3793145B2 (ja) * 2002-11-29 2006-07-05 株式会社東芝 ビデオデータ変換装置及びビデオデータ変換方法
JP4023310B2 (ja) * 2002-12-20 2007-12-19 日本ビクター株式会社 記録再生装置及び記録再生方法
US7735104B2 (en) * 2003-03-20 2010-06-08 The Directv Group, Inc. System and method for navigation of indexed video content
JP4340483B2 (ja) * 2003-06-27 2009-10-07 富士通株式会社 複合コンテンツの配信方法および配信システム
KR101022112B1 (ko) * 2004-03-12 2011-03-17 엘지전자 주식회사 전송 스트림 데이터의 기록 및 재생 제어 방법
JP2006127587A (ja) * 2004-10-27 2006-05-18 Victor Co Of Japan Ltd ストリーム記録システム

Also Published As

Publication number Publication date
EP1876817A4 (en) 2010-08-04
CN101167352A (zh) 2008-04-23
KR20070116160A (ko) 2007-12-06
EP2339841A1 (en) 2011-06-29
KR100922641B1 (ko) 2009-10-19
JPWO2006117921A1 (ja) 2008-12-18
CN101167352B (zh) 2010-05-19
JP2008251158A (ja) 2008-10-16
US20090041420A1 (en) 2009-02-12
CN101695118A (zh) 2010-04-14
EP1876817A1 (en) 2008-01-09
JP4679606B2 (ja) 2011-04-27
WO2006117921A1 (ja) 2006-11-09

Similar Documents

Publication Publication Date Title
EP1642462B1 (en) Dvd to bd-rom data storage format conversion method and system
JP4299836B2 (ja) データ処理装置
JP4355659B2 (ja) データ処理装置
KR100657241B1 (ko) 동영상 기록/재생 장치와 방법 및 기록 매체
KR101460806B1 (ko) 데이터 변환 방법 및 데이터 변환 장치, 데이터 기록 장치, 데이터 재생 장치, 및 기록 매체
JP2004118986A (ja) 情報記録装置および方法
JPWO2005015907A1 (ja) データ処理装置
JP4492588B2 (ja) データ表示方法、再生装置、記録装置
JP4255503B2 (ja) 記録再生装置
JP4901215B2 (ja) データ処理装置
JP2005341399A (ja) 記録再生装置と記録再生方法
US20030113097A1 (en) Editing apparatus and method
JP2007325110A (ja) 撮像装置及び撮像装置の制御方法
JP4151465B2 (ja) 記録再生装置及び方法
JP4481929B2 (ja) データストリームの記録方法および装置
US7751689B2 (en) Stream converter
JP2004253052A (ja) 情報記録媒体、情報記録装置
JP3901538B2 (ja) 映像データ記録再生装置及び映像データ記録再生方法
JP4127662B2 (ja) 編集方法及び編集装置
KR100708208B1 (ko) 동영상 재생 장치와 방법
JP2005136556A (ja) 編集装置及び編集方法
JP2005141819A (ja) 情報記録再生装置及び方法
JP2008219945A (ja) 記録再生装置と記録再生方法
JP2006121213A (ja) データ変換装置、データ変換方法、データ変換プログラム及びプログラム記録媒体
JP2006115247A (ja) データ変換装置、データ変換方法、データ変換プログラム及びプログラム記録媒体

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081210

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090127

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090127

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140206

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees