JP4541517B2 - 記録装置 - Google Patents
記録装置 Download PDFInfo
- Publication number
- JP4541517B2 JP4541517B2 JP2000277896A JP2000277896A JP4541517B2 JP 4541517 B2 JP4541517 B2 JP 4541517B2 JP 2000277896 A JP2000277896 A JP 2000277896A JP 2000277896 A JP2000277896 A JP 2000277896A JP 4541517 B2 JP4541517 B2 JP 4541517B2
- Authority
- JP
- Japan
- Prior art keywords
- recording
- audio
- data
- audio data
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
- G11B27/327—Table of contents
- G11B27/329—Table of contents on a disc [VTOC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2525—Magneto-optical [MO] discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
- H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は記録装置、記録方法、再生装置、再生方法、及び記憶媒体に関し、特には、複数の音声データの記録再生処理に関する。
【０００２】
【従来の技術】
従来、画像データや音声データを圧縮符号化するための種々の技術が考えられている。これらの圧縮符号化方式のうち、現在、ＭＰＥＧ２方式がＤＶＤビデオ等で用いられ、注目されている。特に、ＭＰＥＧ２におけるトランスポートストリーム（以下、ＭＰＥＧ２−ＴＳ）はストリーム全体がパケットと呼ばれる固定長のデータ列に分割されており、ネットワークなどを用いたデータ転送に向いているため、デジタルＴＶ放送で用いられている。
【０００３】
また、ＭＰＥＧ２−ＴＳは複数の動画像や音声のストリームを多重化しているため、近年ではＭＰＥＧ２−ＴＳを磁気テープやハードディスク、光磁気ディスク等に記録する技術も提案されている。
【０００４】
【発明が解決しようとする課題】
このように、記録媒体に対して記録されたＭＰＥＧ２−ＴＳに対して、いわゆるアフターレコーディング（以下アフレコ）により音声を追加して記録することが考えられる。
【０００５】
しかし、ＭＰＥＧ２−ＴＳでは、前述のように、動画像データや音声データをパケットに分割して多重しているため、アフレコにより記録した音声を元の音声と同期させることが非常に難しいという問題があった。
【０００６】
本発明は、以上の点を考慮してなされたもので、既に画像情報や音声情報が記録されている記録媒体に対して新たに音声情報や他の情報を追加して記録再生する際に、この新たな記録情報と元の記録情報とを容易に同期して再生可能とすることを目的とする。
【０００７】
【課題を解決するための手段】
前述の如き目的を達成するため、本発明は、それぞれ音声情報とパケット番号を示すパケット番号データとを有する複数の第１の音声パケットからなる第１の音声データが記録されている記録媒体に対して第２の音声データを記録する装置であって、記録手段と、前記第２の音声データの記録開始を指示する指示手段と、前記指示手段による指示に応じて前記複数の第１のパケットのうちの１つを指定し、前記指定した第１の音声パケット番号を識別するための識別データと、前記指定した第１のパケットの再生タイミングと前記指示手段による指示タイミングとの差を示す時間情報と共に、前記第２の音声データを前記記録媒体に記録するよう前記記録手段を制御する制御手段とを備え、前記制御手段は前記指定した第１の音声パケットのパケット番号を前記識別データとして記録するよう前記記録手段を制御する構成とした。
【０００８】
【発明の実施の形態】
以下、本発明の実施形態について説明する。
【０００９】
図１は本発明が適用される記録再生装置の構成を示すブロック図である。本形態の記録再生装置は、撮像した動画像情報及び撮像時に同時に得られる音声情報をＭＰＥＧ２−ＴＳの形式で符号化し、光磁気ディスクに対して記録再生するものである。
【００１０】
まず、通常の撮影、記録動作について説明する。
【００１１】
撮像部１０１において得られた動画像データは画像符号化回路１０３に出力される。画像符号化回路１０３はＭＰＥＧ２−ＴＳ形式に従って撮像部１０１より出力される動画像データを符号化し、マルチプレクサ１１３に出力する。また、マイク１０５は音声データを音声符号化回路１０７に出力する。音声符号化回路１０７はＭＰＥＧ２−ＴＳ形式に従って音声データを符号化し、マルチプレクサ１１３に出力する。
【００１２】
マルチプレクサ１１３は内部に画像符号化回路１０３から出力される符号化同化動画像データ及び音声符号化回路１０７より出力される符号化音声データをバッファリングするためのバッファメモリを持っており、このバッファメモリに符号化動画像データと符号化音声データとを記憶する。そして、所定期間分の符号化動画像データと符号化音声データ毎に決められたヘッダを付加し、更に、この所定期間分の符号化動画像データと符号化音声データを所定量づつ複数の部分に分割し、各部分にＭＰＥＧ２−ＴＳ形式にて決められたヘッダを付加して１８８バイトからなる複数のパケット（トランスポートストリームパケット、以下ＴＳパケット）を形成する。
【００１３】
更に、本形態においては、マルチプレクサ１１３はシステム制御回路１３７からの指示に従い、動画像、音声の各ＴＳパケット毎に異なる値を持つパケット番号データを生成して各ＴＳパケットの所定の位置に配置する。そして、動画像データのＴＳパケットと音声データのＴＳパケットとをシステム制御回路１３７からの指示に従うタイミングで読み出して多重し、更に、ＭＰＥＧ２−ＴＳにて決められた、ＰＡＴ(Program Association Table)，ＰＭＴ(Program Map Table)といったプログラム仕様情報（ＰＳＩ）を生成して所定のタイミングで多重し、記録バッファ１１５に出力する。
【００１４】
ここで、本形態における動画像データと音声データの符号化、多重処理について、図２を用いて説明する。
【００１５】
本形態では、ビデオフレームという所定期間分の符号化された動画データを１ビデオＰＥＳ（Packetized Elementary Stream）と呼び、このビデオＰＥＳ毎にヘッダを付加する。また、オーディオフレームという所定期間あるいは所定サンプル分の符号化された音声データを１オーディオＰＥＳと呼び、このオーディオＰＥＳ毎にヘッダを付加する。そして、図２のように、各ビデオＰＥＳとオーディオＰＥＳをそれぞれ所定量づつ複数の部分に分割し、各部分に対してＭＰＥＧ２−ＴＳで規定されているヘッダを付加してＴＳパケットを生成し、これらビデオＴＳパケット、オーディオＴＳパケットを多重してＭＰＥＧ２−ＴＳを生成する。
【００１６】
図２において、Ｖで示したＴＳパケットがビデオデータのパケットで、Ａで示したＴＳパケットがオーディオデータのパケットである。また、本形態では、時間的に対応するビデオＰＥＳ、オーディオＰＥＳをＭＰＥＧ２−ＴＳの形式で多重する度にＰＡＴ、ＰＭＴのパケットを多重する。
【００１７】
なお、図２においては、１つのビデオＰＥＳパケットと１つのオーディオＰＥＳパケットとが１対１で対応するよう記載しているが、必ずしも１対１とする必要はない。
【００１８】
これら各ＴＳパケットは、前述のように全て１８８バイトのデータから構成される。そして、ビデオＴＳパケット、オーディオＴＳパケットにはそれぞれ、独立にパケット番号データが付加されている。このパケット番号は各パケット毎に独立に割り当てられ、１パケット毎に所定の値、例えば本形態では１づつ増加するよう割り当てられる。また、各ＴＳパケット内でビデオデータ、あるいはオーディオデータが１８８バイトに満たない場合、その分のエリアにはスタッフデータが記録される。
【００１９】
このように多重化され、記録バッファ１１５に記憶されたＭＰＥＧ２−ＴＳデータは、所定のタイミングで記録再生回路１１７に読み出される。記録再生回路１１７は周知の光ビームピックアップや磁気ヘッド等を有し、記録バッファ１１５から読み出したデータをディスク１１９上に記録する。本形態では、ディスク１１９に対するデータの記録レートは記録バッファ１１５に出力されるＭＰＥＧ２−ＴＳのデータレートの数倍であり、記録再生回路１１７は記録バッファ１１５に所定量のデータが記憶されるとこれを読み出し、ディスク１１９に記録する。
【００２０】
次に、再生時においては、記録再生回路１１７はディスク１１９に記録されているデータを再生し、記録バッファ１１５に出力する。記録バッファ１１５に記録された再生データは所定のタイミングで読み出され、デマルチプレクサ１２１に出力される。
【００２１】
デマルチプレクサ１２１は再生されたＭＰＥＧ２−ＴＳデータ中のＰＡＴ，ＰＭＴに基づき、ビデオＴＳパケット、オーディオＴＳパケットのＰＩＤ(Packet ID)を検出し、再生されたデータ列からビデオＴＳパケット、オーディオＴＳパケットを分離する。デマルチプレクサ１２１は内部にバッファメモリを有し、分離したビデオＴＳパケット、オーディオＴＳパケットをそれぞれ数パケット分バッファリングし、元のビデオＰＥＳ、オーディオＰＥＳを生成する。そして、システム制御回路１３７からの指示に従うタイミングで、ビデオＰＥＳ、オーディオＰＥＳをそれぞれ画像復号回路１２３、音声復号回路１２７に出力する。
【００２２】
画像復号回路１２３はデマルチプレクサ１２１から出力される符号化された動画像データを復号し、バッファメモリ１２５に出力する。また、音声復号回路１２７はデマルチプレクサ１２１から出力される符号化された音声データを復号し、バッファメモリ１２９に出力する。
【００２３】
各バッファメモリ１２５，１２９はそれぞれ、システム制御回路１３７からの指示に従うタイミングで復号した動画像データ、音声データを読み出し、出力する。
【００２４】
ここで、再生された動画像データ、音声データの復号、出力タイミングについて説明する。
【００２５】
ＭＰＥＧ２−ＴＳにおいては、ＰＣＲ(Program Clock Reference)というデータを用いて復号側の基準時間を符号化側で意図した値にセットしている。そして、再生された動画像情報、音声情報の出力タイミングを、符号化時におけるタイミングと同期させるため、再生された画像データ、音声データをいつ出力するべきかを示すＰＴＳ(Program Time Stamp)というデータを用いている。このＰＴＳはビデオＰＥＳ、オーディオＰＥＳのＰＥＳヘッダに含まれており、復号側では、このＰＴＳを検出する度にその出力タイミングを決定する。つまり、復号側では、１ビデオフレーム、１オーディオフレーム毎にその出力タイミングの同期がとられる。
【００２６】
ＰＴＳは前述のＰＣＲにてセットされるクロックをカウントしたカウント値を示しており、ＰＴＳの値がカウント値と一致したタイミングでこのＰＴＳを含むビデオ、オーディオデータを出力することで、動画像情報と音声情報とを同期して再生することが可能となる。
【００２７】
デマルチプレクサ１２１は再生されたＭＰＥＧ２−ＴＳデータから、ＰＣＲ，ＰＴＳを検出してシステム制御回路１３７に出力する。システム制御回路１３７はこのＰＣＲに従って内蔵するクロック発生器のクロックタイミングをセットすると共に、このクロックをカウントするカウンタの値とＰＴＳとに従いバッファメモリ１２５，１２９からの再生された動画像データ、音声データの出力タイミングを制御する。バッファメモリ１２９から出力された音声データは合成回路１３１に供給される。合成回路１３１はシステム制御回路１３７からの制御信号に従い、後述するアフレコ音声データとバッファメモリ１２９からの再生音声データとを切り替えて出力する。
【００２８】
次に、本形態におけるアフレコ処理について説明する。
【００２９】
図３は前述のようにあらかじめディスク１１９に記録された動画像データ、音声データに対してアフレコ音声を追加して記録する様子を示す図である。本形態では、通常の動画像撮影時に同時に記録された音声データを付属音声データ、アフレコにより追加記録される音声データをアフレコ音声データと呼ぶ。
【００３０】
また、前述のように、ＭＰＥＧ２−ＴＳでは音声データに関する符号化方式も規定されているが、本形態では、アフレコ音声についてはＢＳデジタル放送にて利用されるＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）形式で符号化されているとする。例えば、本形態ではアフレコ音声をPrivate Stream 1として組み込む。
【００３１】
図１において、アフレコ記録を行う場合には、ユーザは操作部１３９を操作し、通常再生開始を指示する。システム制御回路１３７は通常再生開始の指示があると、装置各部を制御して、前述のようにディスク１１９に記録されているデータの再生を開始する。再生された動画像データはバッファメモリ１２５より不図示の画像モニタに出力され、ユーザは再生された動画像を確認する。また、再生された音声データは合成回路１３１より不図示のスピーカ、あるいはＴＶモニタに出力され、ユーザは再生された音声を確認することができる。このとき、再生される動画像情報と音声情報とのタイミングは前述の如く制御されている。
【００３２】
この状態でユーザにより操作部１３９からアフレコ開始の指示があると、システム制御回路１３７はアフレコ処理回路１１１、マルチプレクサ１１３を制御し、アフレコ音声ストリームデータを生成する。以下、図４のフローチャートを用いてアフレコ音声ストリームの生成、記録処理について説明する。
【００３３】
図４はアフレコ記録処理におけるシステム制御回路１３７の動作を説明するためのフローチャートである。
【００３４】
図４において、再生開始の指示があると、ディスク１１９に記録されている画像データ、付属音声データを再生する（Ｓ４０１）。そして、再生された付属音声データからＰＴＳを含むＴＳパケットを検出し（Ｓ４０３）、そのＴＳパケットのパケット番号ＰＣをデマルチプレクサ１２１より入力して変数ＰＣ'とし、更に、内蔵する経過時間カウンタのカウントＴを０にリセットしてカウントを開始する（Ｓ４０５）。このＳ４０３、Ｓ４０５の処理は再生された付属音声データからＰＴＳを含むＴＳパケットが検出される度に実行される。
【００３５】
外部入力回路１０９は前述のＡＡＣ形式の音声データを入力し、アフレコ処理回路１１１に出力する。
【００３６】
この状態で、操作部１３９よりアフレコＯＮの指示があると、リンクパケット番号として指示があった時点での変数ＰＣ'を記録し、更に、ＰＴＳを含むパケットの再生開始からの経過時間Ｔを記録するようアフレコ処理回路１１１を制御する。
【００３７】
アフレコ処理回路１１１はシステム制御回路１３７より出力されるリンクパケット番号ＰＣ及び、経過時間Ｔをアフレコストリームの先頭のパケットに記録するようアフレコ音声ストリームを生成し、マルチプレクサ１１３に出力する。マルチプレクサ１１３はシステム制御回路１３７の指示に従い、アフレコ処理回路１１１から出力されたアフレコ音声ストリームに対してＴＳパケットヘッダ等を付加し、更に、ＰＡＴ，ＰＭＴ等のデータを多重してアフレコ音声のＭＰＥＧ２−ＴＳを生成し、記録バッファ１１５に出力する。
【００３８】
図５はアフレコ音声のＴＳパケットの様子を示す図である。
【００３９】
アフレコ音声についても１つのＴＳパケットは１８８バイトのデータからなる。
【００４０】
図５に示したように、各ＴＳパケットは５バイトのＴＳパケットヘッダ５０１を持つ。アフレコ音声ＴＳパケットのヘッダに含まれるＰＩＤはディスク１１９に既に記録されている動画像及び音声のストリームとは異なる値が割り当てられている。
【００４１】
５０３はアフレコ音声ストリームの先頭部分のデータを含むＴＳパケットにのみ付加するＭＰＥＧ２データで、これからアフレコ音声データが開始する旨を示す４バイトのスタートコードと、データ長を示す１バイトの合計５バイトのデータで構成される。アフレコ音声ストリームの先頭部分を含むＴＳパケット以外のＴＳパケットはＭＰＥＧ２データ５０３を持たない。
【００４２】
５０５は４バイトのアフレコ音声データのＴＳパケット番号データＲＣであり、このＲＣの値はＴＳパケット毎に独立で、且つ、１パケット毎に所定の値づつ増加する。５０７は４バイトのリンクパケット番号データである。このＰＣ'５０７はこのアフレコ音声データの記録開始指示があった時点において、ＰＴＳを持つ最新の音声ＴＳパケットのパケット番号を示している。
【００４３】
また、５０９は直前のＰＴＳを含むパケットの音声データの再生を開始してからアフレコ指示があった時点までの経過時間Ｔを示すデータである。例えば、直前のＰＴＳを含む音声ＴＳパケットデータを再生してから５．５秒後にアフレコ開始の指示があった場合、無音部分が５．５秒間である旨を示すデータを記録する。
【００４４】
なお、本形態では、理解を簡単にするため音声データにおいては比較的長い期間、例えば１０秒毎にＰＴＳが挿入されているとして説明したが、実際にはこれよりも短い期間、例えば、０．５〜１秒毎にＰＴＳが挿入され、同期が確立されることが多い。その場合にも、直前のＰＴＳを含む音声ＴＳパケットの再生開始からの無音期間を記録することで、正確にアフレコ音声の再生タイミングを制御することが可能となる。
【００４５】
この２つのデータ、即ち、リンクパケット番号データＰＣ'５０７と経過時間Ｔ５０９により、このアフレコ音声ストリームを再生した際のアフレコ音声データの出力タイミングを、記録時に指示したタイミングで付属音声データに同期して切り替えることができる。なお、リンクパケット番号データＰＣ'５０７もアフレコ音声ストリームの先頭部分を含むＴＳパケットにのみ記録され、他のＴＳパケットには含まれない。
【００４６】
経過時間Ｔの様子を図６を用いて説明する。
【００４７】
図６において、６０１は再生されたビデオＰＥＳ、６０３は再生されたオーディオＰＥＳを示し、６０５は記録されるアフレコ音声ストリームの様子を示している。また、ｔ１、ｔ２はそれぞれビデオＰＥＳをビデオＰＴＳにより同期するタイミング、ｔ３、ｔ４はそれぞれオーディオＰＥＳがオーディオＰＴＳにより同期するタイミングである。
【００４８】
図６のように、時刻ｔ５でアフレコ開始の指示があった場合、その直前のオーディオＰＥＳの同期タイミング、即ち、時刻ｔ３からｔ５までの経過時間Ｔをアフレコ音声のＴＳパケットに記録する。
【００４９】
５１１はアフレコ音声データであり、最大で１７６バイトである。また、５１３はパディングデータであり、本形態では、１つのＴＳパケット（１８８バイト）がアフレコ音声データで埋まらず、あまった場合に１６進数で００かＦＦでパディングする。
【００５０】
図５の如く構成されたアフレコ音声データのＴＳデータは記録バッファ１１５でバッファリングされる。記録再生回路１１７は所定のタイミングで記録バッファ１１５に記憶されているアフレコ音声のＴＳデータを読み出し、ディスク１１９におけるアフレコ音声データ用の記録エリアに記録する。
【００５１】
図７はディスク１１９の記録エリアの様子を示す図である。
【００５２】
図７において、７０１はディスク１１９の最内周のエリアであり、ＴＯＣと呼ばれるディスクの管理情報が記録されるエリアである。また、７０５は通常のＭＰＥＧ２−ＴＳ形式の動画像、音声データを記録するエリアである。そして、７０３がディスク最外周のエリアで、アフレコ音声データの記録エリアである。記録再生回路１１７はディスク１１９のエリア７０５にあらかじめ記録されている動画像、音声データを再生しつつアフレコ音声データをエリア７０３に記録する。前述のように、本形態においては記録再生回路１１７の記録データレートは記録バッファ１１５に記憶されるＭＰＥＧ２−ＴＳデータのデータレートの数倍であり、記録再生時において記録再生回路１１７はディスク１１９に対して間欠的にアクセスしている。
【００５３】
そのため、ディスク１１９からの再生を停止している期間における所定のタイミングで、アフレコ音声データをエリア６０３に記録することは容易に可能となる。
【００５４】
また、再生時においても、アフレコ音声の記録エリアをディスク上で予め決められたエリアとすることで、容易にアクセス可能となる。
【００５５】
なお、これ以外にも、複数のピックアップユニットを持ち、一方が再生を行いつつ他方が記録を行うといった構成でも実現可能である。
【００５６】
次に、アフレコ音声データを含むディスク１１９の記録データの再生時の動作を説明する。ユーザが操作部１３９を操作してアフレコ再生モードの指示があると、システム制御回路１３７は記録再生回路１１７を制御して、まず、ＴＯＣデータに基づきディスク１１９のエリア６０３にアフレコ音声データが記録されているか否かをチェックする。その結果、アフレコ音声データが記録されている場合、そのアフレコ音声ストリームの最初のＴＳパケットを再生し、記録バッファ１１５を介してデマルチプレクサ１２１に出力する。
【００５７】
そして、デマルチプレクサ１２１は再生されたアフレコ音声ＴＳパケットからリンクパケット番号ＰＣ'５０７を検出し、システム制御回路１３７に出力する。なお、アフレコ音声エリア６０３に複数のアフレコ音声ストリームが存在する場合、各ストリームの先頭のＴＳパケットを全て再生し、同様に各ＴＳパケットのリンクパケット番号ＰＣ'を検出してシステム制御回路１３７に出力する。
【００５８】
このようにアフレコ音声ストリームのリンクパケット番号ＰＣ'を記憶すると、システム制御回路１３７は前述の如くディスク１１９のエリア７０７から動画像及び付属音声ストリームの再生を開始する。再生された動画像及び付属音声のストリームは記録バッファ１１５を介してデマルチプレクサ１２１に出力される。デマルチプレクサ１２１は通常の再生時と同様、再生データを動画像データと付属音声データに分離して、それぞれ画像復号回路１２３と音声復号回路１２７に出力する。
【００５９】
ここで、アフレコ再生モードにおいては、デマルチプレクサ１２１は再生された音声データの各ＴＳパケットに含まれているパケット番号データを検出してシステム制御回路１３７に出力する。
【００６０】
システム制御回路１３７はこの再生音声データのパケット番号データを監視し、先に記憶しておいたアフレコ音声データのリンクパケット番号ＰＣ'と比較する。そして、再生されている音声データのパケット番号とリンクパケット番号との差が所定値よりも小さくなると、記録再生回路１３７を制御してこのアフレコ音声ストリームをディスク１１９のアフレコ音声エリア７０３から所定期間分再生し、記録バッファ１１５を介してデマルチプレクサ１２１に出力する。なお、アフレコ音声データは記録エリア７０５からの動画像、付属音声データの読み出しを停止している期間に再生する。
【００６１】
アフレコ復号回路１３３は再生されたアフレコ音声データを復号し、バッファ１３５に出力する。
【００６２】
デマルチプレクサ１２１は再生されたアフレコ音声データの各ＴＳパケットのＰＩＤに基づいてアフレコ音声データを検出し、アフレコ復号回路１３３に出力する。また、マルチプレクサ１２１は再生されたアフレコ音声ストリームの先頭のＴＳパケットから経過時間データＴ５０９を検出し、システム制御回路１３７に出力する。
【００６３】
そして、システム制御回路１３７は、アフレコ音声データのリンクパケット番号ＰＣ'に対応したＴＳパケットの付属音声データが再生されると、このパケットの付属音声データをバッファ１２９から読み出し開始した時点からの経過時間をカウントし、経過時間Ｔ５０９に対応した時間だけ経過した時点でバッファ１３５からのアフレコ音声データの読み出しを開始すると共に合成回路を制御して出力する音声データを付属音声データからアフレコ音声データに切り替える。
【００６４】
その後はエリア７０３に記録されているこのアフレコ音声ストリームが終了するまでアフレコ音声データを選択して出力する。なお、本形態ではアフレコ音声ストリームはＭＰＥＧ２のPrivate Stream 1であり、データ中にＰＴＳを持たない。そのため、同期タイミングをとるのはアフレコ音声データの再生開始時のみとなる。
【００６５】
このようにディスク１１９に記録されているアフレコ音声ストリームの再生が終了すると、システム制御回路１３７は合成回路１３１を制御して、元の付属音声データを選択して出力する。
【００６６】
このように、本形態によれば、アフレコ開始の指示があったときにこの指示タイミングに従って直前のＰＴＳを含むＴＳパケットを指定し、このパケットの再生タイミングに従ってアフレコ音声の出力タイミングを決めるため、簡単な構成で元々記録されている付属音声に正確に同期してアフレコ音声を再生することができる。
【００６７】
また、本形態によれば、元々付属されていた音声信号のデータレートと異なるデータレートの音声信号をアフレコ音声として付加することができ、元々記録されている付属音声に正確に同期してアフレコ音声を再生することができる。
【００６８】
なお、本実施形態では、付属音声データをＭＰＥＧ２にて規定された符号化方式にて符号化し、動画像データと多重していたが、これ以外の符号化方式、例えばアフレコ音声データと同様ＡＡＣ方式にて符号化し、ＭＰＥＧ２のPrivate Stream 1、あるいはPrivate Stream 2に従う形式にて多重することも可能である。また、アフレコ音声データもPrivate Stream 2に従う形式にて多重することも可能である。
【００６９】
また、本形態では、記録時に各ＴＳパケットに対して独立にパケット番号を付加して記録し、アフレコ時にはアフレコ開始のタイミングの直前のＰＴＳを含むＴＳパケットのパケット番号をアフレコ音声と共に記録していたが、これ以外にも、再生時において、元々記録されていた音声データ中、アフレコ音声のリンク先のパケットが一義的に定義可能となれば、パケット番号を記録しなくてもよい。
【００７０】
このように、パケット番号データを含め、アフレコ音声のリンク先のＴＳパケットを識別するためのデータをリンク先のＴＳパケット及びアフレコ音声データに記録し、再生時にこの識別データに基づいてアフレコ音声データの出力タイミングを制御することが可能となる。
【００７１】
本発明は複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても１つの機器からなる装置に適用してもよい。
【００７２】
また、前述の実施形態の機能を実現するように各種のデバイスを動作させるように、各種デバイスと接続された装置或いはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ或いはＭＰＵ）に格納されたプログラムに従って各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００７３】
即ち、前述の通常のＭＰＥＧ２−ＴＳの記録再生動作、アフレコ音声データの記録再生処理をマイクロコンピュータを用いたソフトウェア処理にて実現することも可能である。
【００７４】
また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ-ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００７５】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施の形態で説明機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等の共同して上述の実施の形態で示した機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００７６】
更に、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれる。
【００７７】
【発明の効果】
以上、述べたように本発明によれば、この新たな記録情報と元の記録情報とを容易に同期して再生可能となる。
【図面の簡単な説明】
【図１】本発明が適用される記録再生装置の構成を示すブロック図である。
【図２】図１の装置にて扱うＭＰＥＧ２−ＴＳの構成を示す図である。
【図３】アフレコ音声の様子を示す図である。
【図４】図１の装置によるアフレコ音声の記録処理を説明するためのフローチャートである。
【図５】アフレコ音声データのＴＳパケットの様子を示す図である。
【図６】アフレコ音声データの出力タイミングを説明するための図である。
【図７】ディスク上の記録エリアを示す図である。
【発明の属する技術分野】
本発明は記録装置、記録方法、再生装置、再生方法、及び記憶媒体に関し、特には、複数の音声データの記録再生処理に関する。
【０００２】
【従来の技術】
従来、画像データや音声データを圧縮符号化するための種々の技術が考えられている。これらの圧縮符号化方式のうち、現在、ＭＰＥＧ２方式がＤＶＤビデオ等で用いられ、注目されている。特に、ＭＰＥＧ２におけるトランスポートストリーム（以下、ＭＰＥＧ２−ＴＳ）はストリーム全体がパケットと呼ばれる固定長のデータ列に分割されており、ネットワークなどを用いたデータ転送に向いているため、デジタルＴＶ放送で用いられている。
【０００３】
また、ＭＰＥＧ２−ＴＳは複数の動画像や音声のストリームを多重化しているため、近年ではＭＰＥＧ２−ＴＳを磁気テープやハードディスク、光磁気ディスク等に記録する技術も提案されている。
【０００４】
【発明が解決しようとする課題】
このように、記録媒体に対して記録されたＭＰＥＧ２−ＴＳに対して、いわゆるアフターレコーディング（以下アフレコ）により音声を追加して記録することが考えられる。
【０００５】
しかし、ＭＰＥＧ２−ＴＳでは、前述のように、動画像データや音声データをパケットに分割して多重しているため、アフレコにより記録した音声を元の音声と同期させることが非常に難しいという問題があった。
【０００６】
本発明は、以上の点を考慮してなされたもので、既に画像情報や音声情報が記録されている記録媒体に対して新たに音声情報や他の情報を追加して記録再生する際に、この新たな記録情報と元の記録情報とを容易に同期して再生可能とすることを目的とする。
【０００７】
【課題を解決するための手段】
前述の如き目的を達成するため、本発明は、それぞれ音声情報とパケット番号を示すパケット番号データとを有する複数の第１の音声パケットからなる第１の音声データが記録されている記録媒体に対して第２の音声データを記録する装置であって、記録手段と、前記第２の音声データの記録開始を指示する指示手段と、前記指示手段による指示に応じて前記複数の第１のパケットのうちの１つを指定し、前記指定した第１の音声パケット番号を識別するための識別データと、前記指定した第１のパケットの再生タイミングと前記指示手段による指示タイミングとの差を示す時間情報と共に、前記第２の音声データを前記記録媒体に記録するよう前記記録手段を制御する制御手段とを備え、前記制御手段は前記指定した第１の音声パケットのパケット番号を前記識別データとして記録するよう前記記録手段を制御する構成とした。
【０００８】
【発明の実施の形態】
以下、本発明の実施形態について説明する。
【０００９】
図１は本発明が適用される記録再生装置の構成を示すブロック図である。本形態の記録再生装置は、撮像した動画像情報及び撮像時に同時に得られる音声情報をＭＰＥＧ２−ＴＳの形式で符号化し、光磁気ディスクに対して記録再生するものである。
【００１０】
まず、通常の撮影、記録動作について説明する。
【００１１】
撮像部１０１において得られた動画像データは画像符号化回路１０３に出力される。画像符号化回路１０３はＭＰＥＧ２−ＴＳ形式に従って撮像部１０１より出力される動画像データを符号化し、マルチプレクサ１１３に出力する。また、マイク１０５は音声データを音声符号化回路１０７に出力する。音声符号化回路１０７はＭＰＥＧ２−ＴＳ形式に従って音声データを符号化し、マルチプレクサ１１３に出力する。
【００１２】
マルチプレクサ１１３は内部に画像符号化回路１０３から出力される符号化同化動画像データ及び音声符号化回路１０７より出力される符号化音声データをバッファリングするためのバッファメモリを持っており、このバッファメモリに符号化動画像データと符号化音声データとを記憶する。そして、所定期間分の符号化動画像データと符号化音声データ毎に決められたヘッダを付加し、更に、この所定期間分の符号化動画像データと符号化音声データを所定量づつ複数の部分に分割し、各部分にＭＰＥＧ２−ＴＳ形式にて決められたヘッダを付加して１８８バイトからなる複数のパケット（トランスポートストリームパケット、以下ＴＳパケット）を形成する。
【００１３】
更に、本形態においては、マルチプレクサ１１３はシステム制御回路１３７からの指示に従い、動画像、音声の各ＴＳパケット毎に異なる値を持つパケット番号データを生成して各ＴＳパケットの所定の位置に配置する。そして、動画像データのＴＳパケットと音声データのＴＳパケットとをシステム制御回路１３７からの指示に従うタイミングで読み出して多重し、更に、ＭＰＥＧ２−ＴＳにて決められた、ＰＡＴ(Program Association Table)，ＰＭＴ(Program Map Table)といったプログラム仕様情報（ＰＳＩ）を生成して所定のタイミングで多重し、記録バッファ１１５に出力する。
【００１４】
ここで、本形態における動画像データと音声データの符号化、多重処理について、図２を用いて説明する。
【００１５】
本形態では、ビデオフレームという所定期間分の符号化された動画データを１ビデオＰＥＳ（Packetized Elementary Stream）と呼び、このビデオＰＥＳ毎にヘッダを付加する。また、オーディオフレームという所定期間あるいは所定サンプル分の符号化された音声データを１オーディオＰＥＳと呼び、このオーディオＰＥＳ毎にヘッダを付加する。そして、図２のように、各ビデオＰＥＳとオーディオＰＥＳをそれぞれ所定量づつ複数の部分に分割し、各部分に対してＭＰＥＧ２−ＴＳで規定されているヘッダを付加してＴＳパケットを生成し、これらビデオＴＳパケット、オーディオＴＳパケットを多重してＭＰＥＧ２−ＴＳを生成する。
【００１６】
図２において、Ｖで示したＴＳパケットがビデオデータのパケットで、Ａで示したＴＳパケットがオーディオデータのパケットである。また、本形態では、時間的に対応するビデオＰＥＳ、オーディオＰＥＳをＭＰＥＧ２−ＴＳの形式で多重する度にＰＡＴ、ＰＭＴのパケットを多重する。
【００１７】
なお、図２においては、１つのビデオＰＥＳパケットと１つのオーディオＰＥＳパケットとが１対１で対応するよう記載しているが、必ずしも１対１とする必要はない。
【００１８】
これら各ＴＳパケットは、前述のように全て１８８バイトのデータから構成される。そして、ビデオＴＳパケット、オーディオＴＳパケットにはそれぞれ、独立にパケット番号データが付加されている。このパケット番号は各パケット毎に独立に割り当てられ、１パケット毎に所定の値、例えば本形態では１づつ増加するよう割り当てられる。また、各ＴＳパケット内でビデオデータ、あるいはオーディオデータが１８８バイトに満たない場合、その分のエリアにはスタッフデータが記録される。
【００１９】
このように多重化され、記録バッファ１１５に記憶されたＭＰＥＧ２−ＴＳデータは、所定のタイミングで記録再生回路１１７に読み出される。記録再生回路１１７は周知の光ビームピックアップや磁気ヘッド等を有し、記録バッファ１１５から読み出したデータをディスク１１９上に記録する。本形態では、ディスク１１９に対するデータの記録レートは記録バッファ１１５に出力されるＭＰＥＧ２−ＴＳのデータレートの数倍であり、記録再生回路１１７は記録バッファ１１５に所定量のデータが記憶されるとこれを読み出し、ディスク１１９に記録する。
【００２０】
次に、再生時においては、記録再生回路１１７はディスク１１９に記録されているデータを再生し、記録バッファ１１５に出力する。記録バッファ１１５に記録された再生データは所定のタイミングで読み出され、デマルチプレクサ１２１に出力される。
【００２１】
デマルチプレクサ１２１は再生されたＭＰＥＧ２−ＴＳデータ中のＰＡＴ，ＰＭＴに基づき、ビデオＴＳパケット、オーディオＴＳパケットのＰＩＤ(Packet ID)を検出し、再生されたデータ列からビデオＴＳパケット、オーディオＴＳパケットを分離する。デマルチプレクサ１２１は内部にバッファメモリを有し、分離したビデオＴＳパケット、オーディオＴＳパケットをそれぞれ数パケット分バッファリングし、元のビデオＰＥＳ、オーディオＰＥＳを生成する。そして、システム制御回路１３７からの指示に従うタイミングで、ビデオＰＥＳ、オーディオＰＥＳをそれぞれ画像復号回路１２３、音声復号回路１２７に出力する。
【００２２】
画像復号回路１２３はデマルチプレクサ１２１から出力される符号化された動画像データを復号し、バッファメモリ１２５に出力する。また、音声復号回路１２７はデマルチプレクサ１２１から出力される符号化された音声データを復号し、バッファメモリ１２９に出力する。
【００２３】
各バッファメモリ１２５，１２９はそれぞれ、システム制御回路１３７からの指示に従うタイミングで復号した動画像データ、音声データを読み出し、出力する。
【００２４】
ここで、再生された動画像データ、音声データの復号、出力タイミングについて説明する。
【００２５】
ＭＰＥＧ２−ＴＳにおいては、ＰＣＲ(Program Clock Reference)というデータを用いて復号側の基準時間を符号化側で意図した値にセットしている。そして、再生された動画像情報、音声情報の出力タイミングを、符号化時におけるタイミングと同期させるため、再生された画像データ、音声データをいつ出力するべきかを示すＰＴＳ(Program Time Stamp)というデータを用いている。このＰＴＳはビデオＰＥＳ、オーディオＰＥＳのＰＥＳヘッダに含まれており、復号側では、このＰＴＳを検出する度にその出力タイミングを決定する。つまり、復号側では、１ビデオフレーム、１オーディオフレーム毎にその出力タイミングの同期がとられる。
【００２６】
ＰＴＳは前述のＰＣＲにてセットされるクロックをカウントしたカウント値を示しており、ＰＴＳの値がカウント値と一致したタイミングでこのＰＴＳを含むビデオ、オーディオデータを出力することで、動画像情報と音声情報とを同期して再生することが可能となる。
【００２７】
デマルチプレクサ１２１は再生されたＭＰＥＧ２−ＴＳデータから、ＰＣＲ，ＰＴＳを検出してシステム制御回路１３７に出力する。システム制御回路１３７はこのＰＣＲに従って内蔵するクロック発生器のクロックタイミングをセットすると共に、このクロックをカウントするカウンタの値とＰＴＳとに従いバッファメモリ１２５，１２９からの再生された動画像データ、音声データの出力タイミングを制御する。バッファメモリ１２９から出力された音声データは合成回路１３１に供給される。合成回路１３１はシステム制御回路１３７からの制御信号に従い、後述するアフレコ音声データとバッファメモリ１２９からの再生音声データとを切り替えて出力する。
【００２８】
次に、本形態におけるアフレコ処理について説明する。
【００２９】
図３は前述のようにあらかじめディスク１１９に記録された動画像データ、音声データに対してアフレコ音声を追加して記録する様子を示す図である。本形態では、通常の動画像撮影時に同時に記録された音声データを付属音声データ、アフレコにより追加記録される音声データをアフレコ音声データと呼ぶ。
【００３０】
また、前述のように、ＭＰＥＧ２−ＴＳでは音声データに関する符号化方式も規定されているが、本形態では、アフレコ音声についてはＢＳデジタル放送にて利用されるＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）形式で符号化されているとする。例えば、本形態ではアフレコ音声をPrivate Stream 1として組み込む。
【００３１】
図１において、アフレコ記録を行う場合には、ユーザは操作部１３９を操作し、通常再生開始を指示する。システム制御回路１３７は通常再生開始の指示があると、装置各部を制御して、前述のようにディスク１１９に記録されているデータの再生を開始する。再生された動画像データはバッファメモリ１２５より不図示の画像モニタに出力され、ユーザは再生された動画像を確認する。また、再生された音声データは合成回路１３１より不図示のスピーカ、あるいはＴＶモニタに出力され、ユーザは再生された音声を確認することができる。このとき、再生される動画像情報と音声情報とのタイミングは前述の如く制御されている。
【００３２】
この状態でユーザにより操作部１３９からアフレコ開始の指示があると、システム制御回路１３７はアフレコ処理回路１１１、マルチプレクサ１１３を制御し、アフレコ音声ストリームデータを生成する。以下、図４のフローチャートを用いてアフレコ音声ストリームの生成、記録処理について説明する。
【００３３】
図４はアフレコ記録処理におけるシステム制御回路１３７の動作を説明するためのフローチャートである。
【００３４】
図４において、再生開始の指示があると、ディスク１１９に記録されている画像データ、付属音声データを再生する（Ｓ４０１）。そして、再生された付属音声データからＰＴＳを含むＴＳパケットを検出し（Ｓ４０３）、そのＴＳパケットのパケット番号ＰＣをデマルチプレクサ１２１より入力して変数ＰＣ'とし、更に、内蔵する経過時間カウンタのカウントＴを０にリセットしてカウントを開始する（Ｓ４０５）。このＳ４０３、Ｓ４０５の処理は再生された付属音声データからＰＴＳを含むＴＳパケットが検出される度に実行される。
【００３５】
外部入力回路１０９は前述のＡＡＣ形式の音声データを入力し、アフレコ処理回路１１１に出力する。
【００３６】
この状態で、操作部１３９よりアフレコＯＮの指示があると、リンクパケット番号として指示があった時点での変数ＰＣ'を記録し、更に、ＰＴＳを含むパケットの再生開始からの経過時間Ｔを記録するようアフレコ処理回路１１１を制御する。
【００３７】
アフレコ処理回路１１１はシステム制御回路１３７より出力されるリンクパケット番号ＰＣ及び、経過時間Ｔをアフレコストリームの先頭のパケットに記録するようアフレコ音声ストリームを生成し、マルチプレクサ１１３に出力する。マルチプレクサ１１３はシステム制御回路１３７の指示に従い、アフレコ処理回路１１１から出力されたアフレコ音声ストリームに対してＴＳパケットヘッダ等を付加し、更に、ＰＡＴ，ＰＭＴ等のデータを多重してアフレコ音声のＭＰＥＧ２−ＴＳを生成し、記録バッファ１１５に出力する。
【００３８】
図５はアフレコ音声のＴＳパケットの様子を示す図である。
【００３９】
アフレコ音声についても１つのＴＳパケットは１８８バイトのデータからなる。
【００４０】
図５に示したように、各ＴＳパケットは５バイトのＴＳパケットヘッダ５０１を持つ。アフレコ音声ＴＳパケットのヘッダに含まれるＰＩＤはディスク１１９に既に記録されている動画像及び音声のストリームとは異なる値が割り当てられている。
【００４１】
５０３はアフレコ音声ストリームの先頭部分のデータを含むＴＳパケットにのみ付加するＭＰＥＧ２データで、これからアフレコ音声データが開始する旨を示す４バイトのスタートコードと、データ長を示す１バイトの合計５バイトのデータで構成される。アフレコ音声ストリームの先頭部分を含むＴＳパケット以外のＴＳパケットはＭＰＥＧ２データ５０３を持たない。
【００４２】
５０５は４バイトのアフレコ音声データのＴＳパケット番号データＲＣであり、このＲＣの値はＴＳパケット毎に独立で、且つ、１パケット毎に所定の値づつ増加する。５０７は４バイトのリンクパケット番号データである。このＰＣ'５０７はこのアフレコ音声データの記録開始指示があった時点において、ＰＴＳを持つ最新の音声ＴＳパケットのパケット番号を示している。
【００４３】
また、５０９は直前のＰＴＳを含むパケットの音声データの再生を開始してからアフレコ指示があった時点までの経過時間Ｔを示すデータである。例えば、直前のＰＴＳを含む音声ＴＳパケットデータを再生してから５．５秒後にアフレコ開始の指示があった場合、無音部分が５．５秒間である旨を示すデータを記録する。
【００４４】
なお、本形態では、理解を簡単にするため音声データにおいては比較的長い期間、例えば１０秒毎にＰＴＳが挿入されているとして説明したが、実際にはこれよりも短い期間、例えば、０．５〜１秒毎にＰＴＳが挿入され、同期が確立されることが多い。その場合にも、直前のＰＴＳを含む音声ＴＳパケットの再生開始からの無音期間を記録することで、正確にアフレコ音声の再生タイミングを制御することが可能となる。
【００４５】
この２つのデータ、即ち、リンクパケット番号データＰＣ'５０７と経過時間Ｔ５０９により、このアフレコ音声ストリームを再生した際のアフレコ音声データの出力タイミングを、記録時に指示したタイミングで付属音声データに同期して切り替えることができる。なお、リンクパケット番号データＰＣ'５０７もアフレコ音声ストリームの先頭部分を含むＴＳパケットにのみ記録され、他のＴＳパケットには含まれない。
【００４６】
経過時間Ｔの様子を図６を用いて説明する。
【００４７】
図６において、６０１は再生されたビデオＰＥＳ、６０３は再生されたオーディオＰＥＳを示し、６０５は記録されるアフレコ音声ストリームの様子を示している。また、ｔ１、ｔ２はそれぞれビデオＰＥＳをビデオＰＴＳにより同期するタイミング、ｔ３、ｔ４はそれぞれオーディオＰＥＳがオーディオＰＴＳにより同期するタイミングである。
【００４８】
図６のように、時刻ｔ５でアフレコ開始の指示があった場合、その直前のオーディオＰＥＳの同期タイミング、即ち、時刻ｔ３からｔ５までの経過時間Ｔをアフレコ音声のＴＳパケットに記録する。
【００４９】
５１１はアフレコ音声データであり、最大で１７６バイトである。また、５１３はパディングデータであり、本形態では、１つのＴＳパケット（１８８バイト）がアフレコ音声データで埋まらず、あまった場合に１６進数で００かＦＦでパディングする。
【００５０】
図５の如く構成されたアフレコ音声データのＴＳデータは記録バッファ１１５でバッファリングされる。記録再生回路１１７は所定のタイミングで記録バッファ１１５に記憶されているアフレコ音声のＴＳデータを読み出し、ディスク１１９におけるアフレコ音声データ用の記録エリアに記録する。
【００５１】
図７はディスク１１９の記録エリアの様子を示す図である。
【００５２】
図７において、７０１はディスク１１９の最内周のエリアであり、ＴＯＣと呼ばれるディスクの管理情報が記録されるエリアである。また、７０５は通常のＭＰＥＧ２−ＴＳ形式の動画像、音声データを記録するエリアである。そして、７０３がディスク最外周のエリアで、アフレコ音声データの記録エリアである。記録再生回路１１７はディスク１１９のエリア７０５にあらかじめ記録されている動画像、音声データを再生しつつアフレコ音声データをエリア７０３に記録する。前述のように、本形態においては記録再生回路１１７の記録データレートは記録バッファ１１５に記憶されるＭＰＥＧ２−ＴＳデータのデータレートの数倍であり、記録再生時において記録再生回路１１７はディスク１１９に対して間欠的にアクセスしている。
【００５３】
そのため、ディスク１１９からの再生を停止している期間における所定のタイミングで、アフレコ音声データをエリア６０３に記録することは容易に可能となる。
【００５４】
また、再生時においても、アフレコ音声の記録エリアをディスク上で予め決められたエリアとすることで、容易にアクセス可能となる。
【００５５】
なお、これ以外にも、複数のピックアップユニットを持ち、一方が再生を行いつつ他方が記録を行うといった構成でも実現可能である。
【００５６】
次に、アフレコ音声データを含むディスク１１９の記録データの再生時の動作を説明する。ユーザが操作部１３９を操作してアフレコ再生モードの指示があると、システム制御回路１３７は記録再生回路１１７を制御して、まず、ＴＯＣデータに基づきディスク１１９のエリア６０３にアフレコ音声データが記録されているか否かをチェックする。その結果、アフレコ音声データが記録されている場合、そのアフレコ音声ストリームの最初のＴＳパケットを再生し、記録バッファ１１５を介してデマルチプレクサ１２１に出力する。
【００５７】
そして、デマルチプレクサ１２１は再生されたアフレコ音声ＴＳパケットからリンクパケット番号ＰＣ'５０７を検出し、システム制御回路１３７に出力する。なお、アフレコ音声エリア６０３に複数のアフレコ音声ストリームが存在する場合、各ストリームの先頭のＴＳパケットを全て再生し、同様に各ＴＳパケットのリンクパケット番号ＰＣ'を検出してシステム制御回路１３７に出力する。
【００５８】
このようにアフレコ音声ストリームのリンクパケット番号ＰＣ'を記憶すると、システム制御回路１３７は前述の如くディスク１１９のエリア７０７から動画像及び付属音声ストリームの再生を開始する。再生された動画像及び付属音声のストリームは記録バッファ１１５を介してデマルチプレクサ１２１に出力される。デマルチプレクサ１２１は通常の再生時と同様、再生データを動画像データと付属音声データに分離して、それぞれ画像復号回路１２３と音声復号回路１２７に出力する。
【００５９】
ここで、アフレコ再生モードにおいては、デマルチプレクサ１２１は再生された音声データの各ＴＳパケットに含まれているパケット番号データを検出してシステム制御回路１３７に出力する。
【００６０】
システム制御回路１３７はこの再生音声データのパケット番号データを監視し、先に記憶しておいたアフレコ音声データのリンクパケット番号ＰＣ'と比較する。そして、再生されている音声データのパケット番号とリンクパケット番号との差が所定値よりも小さくなると、記録再生回路１３７を制御してこのアフレコ音声ストリームをディスク１１９のアフレコ音声エリア７０３から所定期間分再生し、記録バッファ１１５を介してデマルチプレクサ１２１に出力する。なお、アフレコ音声データは記録エリア７０５からの動画像、付属音声データの読み出しを停止している期間に再生する。
【００６１】
アフレコ復号回路１３３は再生されたアフレコ音声データを復号し、バッファ１３５に出力する。
【００６２】
デマルチプレクサ１２１は再生されたアフレコ音声データの各ＴＳパケットのＰＩＤに基づいてアフレコ音声データを検出し、アフレコ復号回路１３３に出力する。また、マルチプレクサ１２１は再生されたアフレコ音声ストリームの先頭のＴＳパケットから経過時間データＴ５０９を検出し、システム制御回路１３７に出力する。
【００６３】
そして、システム制御回路１３７は、アフレコ音声データのリンクパケット番号ＰＣ'に対応したＴＳパケットの付属音声データが再生されると、このパケットの付属音声データをバッファ１２９から読み出し開始した時点からの経過時間をカウントし、経過時間Ｔ５０９に対応した時間だけ経過した時点でバッファ１３５からのアフレコ音声データの読み出しを開始すると共に合成回路を制御して出力する音声データを付属音声データからアフレコ音声データに切り替える。
【００６４】
その後はエリア７０３に記録されているこのアフレコ音声ストリームが終了するまでアフレコ音声データを選択して出力する。なお、本形態ではアフレコ音声ストリームはＭＰＥＧ２のPrivate Stream 1であり、データ中にＰＴＳを持たない。そのため、同期タイミングをとるのはアフレコ音声データの再生開始時のみとなる。
【００６５】
このようにディスク１１９に記録されているアフレコ音声ストリームの再生が終了すると、システム制御回路１３７は合成回路１３１を制御して、元の付属音声データを選択して出力する。
【００６６】
このように、本形態によれば、アフレコ開始の指示があったときにこの指示タイミングに従って直前のＰＴＳを含むＴＳパケットを指定し、このパケットの再生タイミングに従ってアフレコ音声の出力タイミングを決めるため、簡単な構成で元々記録されている付属音声に正確に同期してアフレコ音声を再生することができる。
【００６７】
また、本形態によれば、元々付属されていた音声信号のデータレートと異なるデータレートの音声信号をアフレコ音声として付加することができ、元々記録されている付属音声に正確に同期してアフレコ音声を再生することができる。
【００６８】
なお、本実施形態では、付属音声データをＭＰＥＧ２にて規定された符号化方式にて符号化し、動画像データと多重していたが、これ以外の符号化方式、例えばアフレコ音声データと同様ＡＡＣ方式にて符号化し、ＭＰＥＧ２のPrivate Stream 1、あるいはPrivate Stream 2に従う形式にて多重することも可能である。また、アフレコ音声データもPrivate Stream 2に従う形式にて多重することも可能である。
【００６９】
また、本形態では、記録時に各ＴＳパケットに対して独立にパケット番号を付加して記録し、アフレコ時にはアフレコ開始のタイミングの直前のＰＴＳを含むＴＳパケットのパケット番号をアフレコ音声と共に記録していたが、これ以外にも、再生時において、元々記録されていた音声データ中、アフレコ音声のリンク先のパケットが一義的に定義可能となれば、パケット番号を記録しなくてもよい。
【００７０】
このように、パケット番号データを含め、アフレコ音声のリンク先のＴＳパケットを識別するためのデータをリンク先のＴＳパケット及びアフレコ音声データに記録し、再生時にこの識別データに基づいてアフレコ音声データの出力タイミングを制御することが可能となる。
【００７１】
本発明は複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても１つの機器からなる装置に適用してもよい。
【００７２】
また、前述の実施形態の機能を実現するように各種のデバイスを動作させるように、各種デバイスと接続された装置或いはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ或いはＭＰＵ）に格納されたプログラムに従って各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００７３】
即ち、前述の通常のＭＰＥＧ２−ＴＳの記録再生動作、アフレコ音声データの記録再生処理をマイクロコンピュータを用いたソフトウェア処理にて実現することも可能である。
【００７４】
また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ-ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００７５】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施の形態で説明機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等の共同して上述の実施の形態で示した機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００７６】
更に、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれる。
【００７７】
【発明の効果】
以上、述べたように本発明によれば、この新たな記録情報と元の記録情報とを容易に同期して再生可能となる。
【図面の簡単な説明】
【図１】本発明が適用される記録再生装置の構成を示すブロック図である。
【図２】図１の装置にて扱うＭＰＥＧ２−ＴＳの構成を示す図である。
【図３】アフレコ音声の様子を示す図である。
【図４】図１の装置によるアフレコ音声の記録処理を説明するためのフローチャートである。
【図５】アフレコ音声データのＴＳパケットの様子を示す図である。
【図６】アフレコ音声データの出力タイミングを説明するための図である。
【図７】ディスク上の記録エリアを示す図である。
Claims (5)
- それぞれ音声情報とパケット番号を示すパケット番号データとを有する複数の第１の音声パケットからなる第１の音声データが記録されている記録媒体に対して第２の音声データを記録する装置であって、
記録手段と、
前記第２の音声データの記録開始を指示する指示手段と、
前記指示手段による指示に応じて前記複数の第１のパケットのうちの１つを指定し、前記指定した第１の音声パケット番号を識別するための識別データと、前記指定した第１のパケットの再生タイミングと前記指示手段による指示タイミングとの差を示す時間情報と共に、前記第２の音声データを前記記録媒体に記録するよう前記記録手段を制御する制御手段とを備え、
前記制御手段は前記指定した第１の音声パケットのパケット番号を前記識別データとして記録するよう前記記録手段を制御する記録装置。 - それぞれ音声情報を有する複数の第１の音声パケットからなる第１の音声データが記録されている記録媒体に対して第２の音声データを記録する装置であって、
記録手段と、
前記第２の音声データの記録開始を指示する指示手段と、
前記指示手段による指示に応じて前記複数の第１のパケットのうちの１つを指定し、前記指定した第１の音声パケットを識別するための識別データと、前記指定した第１のパケットの再生タイミングと前記指示手段による指示タイミングとの差を示す時間情報と共に、前記第２の音声データを前記記録媒体に記録するよう前記記録手段を制御する制御手段とを備える記録装置。 - 前記記録媒体から前記第１の音声データと前記第２の音声データとを再生する再生手段と、
前記再生手段により再生された前記第１の音声データと前記第２の音声データとを出力する出力手段とを備え、
前記制御手段は、前記再生手段により再生された第２の音声データ中の前記識別データに基づいて前記再生手段により再生された第１の音声データ中の前記指定した第１の音声パケットを検出し、前記検出した第１の音声パケットの再生タイミングと前記再生手段により再生された第２の音声データ中の前記時間情報とに基づいて前記出力手段による前記第２の音声データの出力タイミングを制御することを特徴とする請求項１または２に記載の記録装置。 - それぞれ音声情報とパケット番号を示すパケット番号データとを有する複数の第１の音声パケットからなる第１の音声データが記録されている記録媒体に対して第２の音声データを記録する記録装置の制御方法であって、
制御手段が、指示手段による前記第２の音声データの記録開始の指示に応じて前記複数の第１のパケットのうちの１つを指定し、前記指定した第１の音声パケット番号を識別するための識別データと、前記指定した第１のパケットの再生タイミングと前記指示手段による指示タイミングとの差を示す時間情報と共に、前記第２の音声データを前記記録媒体に記録するように前記記録装置を制御し、前記制御手段は、前記指定した第１の音声パケットのパケット番号を前記識別データとして記録するよう前記記録装置を制御することを特徴とする記録装置の制御方法。 - それぞれ音声情報を有する複数の第１の音声パケットからなる第１の音声データが記録されている記録媒体に対して第２の音声データを記録する記録装置の制御方法であって、
制御手段が、指示手段による前記第２の音声データの記録開始の指示に応じて前記複数の第１のパケットのうちの１つを指定し、前記指定した第１の音声パケット番号を識別するための識別データと、前記指定した第１のパケットの再生タイミングと前記指示手段による指示タイミングとの差を示す時間情報と共に、前記第２の音声データを前記記録媒体に記録するように前記記録装置を制御することを特徴とする記録装置の制御方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000277896A JP4541517B2 (ja) | 2000-09-13 | 2000-09-13 | 記録装置 |
| US09/948,632 US7359621B2 (en) | 2000-09-13 | 2001-09-10 | Recording apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000277896A JP4541517B2 (ja) | 2000-09-13 | 2000-09-13 | 記録装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002094930A JP2002094930A (ja) | 2002-03-29 |
| JP2002094930A5 JP2002094930A5 (ja) | 2007-10-25 |
| JP4541517B2 true JP4541517B2 (ja) | 2010-09-08 |
Family
ID=18763145
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000277896A Expired - Fee Related JP4541517B2 (ja) | 2000-09-13 | 2000-09-13 | 記録装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7359621B2 (ja) |
| JP (1) | JP4541517B2 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003169292A (ja) * | 2001-11-30 | 2003-06-13 | Victor Co Of Japan Ltd | アフレコ装置、コンピュータプログラム、記録媒体、伝送方法及び再生装置 |
| US8009966B2 (en) * | 2002-11-01 | 2011-08-30 | Synchro Arts Limited | Methods and apparatus for use in sound replacement with automatic synchronization to images |
| US7142250B1 (en) * | 2003-04-05 | 2006-11-28 | Apple Computer, Inc. | Method and apparatus for synchronizing audio and video streams |
| JP4228288B2 (ja) * | 2003-06-11 | 2009-02-25 | ソニー株式会社 | 記録制御装置および方法、プログラム、並びにデータ記録方法 |
| US7433079B2 (en) * | 2003-06-13 | 2008-10-07 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| US7978761B2 (en) * | 2004-10-05 | 2011-07-12 | Vectormax Corporation | Method and system for loss-tolerant multimedia multicasting |
| JP4882269B2 (ja) * | 2005-04-22 | 2012-02-22 | ソニー株式会社 | 多重化装置および多重化方法、プログラム、並びに記録媒体 |
| JP2007166598A (ja) * | 2005-11-15 | 2007-06-28 | Seiko Epson Corp | 情報記録装置及び電子機器 |
| JP2007166597A (ja) * | 2005-11-15 | 2007-06-28 | Seiko Epson Corp | 情報再生装置及び電子機器 |
| JP2007172802A (ja) * | 2005-12-26 | 2007-07-05 | Toshiba Corp | 多重化ストリームの情報区切り位置検出方法及び音声ディジタル放送記録装置及び記録制御方法 |
| JP4771539B2 (ja) * | 2006-07-26 | 2011-09-14 | キヤノン株式会社 | 画像処理装置及びその制御方法及びプログラム |
| JP2008033442A (ja) * | 2006-07-26 | 2008-02-14 | Canon Inc | 画像処理装置及びその制御方法及びプログラム |
| JP4771540B2 (ja) * | 2006-07-26 | 2011-09-14 | キヤノン株式会社 | 画像処理装置及びその制御方法及び画像処理方法及びプログラム |
| KR101072673B1 (ko) * | 2008-02-05 | 2011-10-11 | 가부시키가이샤 무라타 세이사쿠쇼 | Ｅｓｄ 보호 디바이스 |
| JP4998574B2 (ja) * | 2010-03-08 | 2012-08-15 | 株式会社日立製作所 | 映像音声記録装置 |
| US8862254B2 (en) | 2011-01-13 | 2014-10-14 | Apple Inc. | Background audio processing |
| US8621355B2 (en) | 2011-02-02 | 2013-12-31 | Apple Inc. | Automatic synchronization of media clips |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3528238B2 (ja) * | 1994-05-12 | 2004-05-17 | ソニー株式会社 | ディジタル信号記録装置および方法 |
| US6636474B1 (en) * | 1997-07-16 | 2003-10-21 | Victor Company Of Japan, Ltd. | Recording medium and audio-signal processing apparatus |
| JPH11298845A (ja) * | 1998-04-08 | 1999-10-29 | Matsushita Electric Ind Co Ltd | 光ディスク、光ディスクレコーダおよび光ディスクプレーヤ |
-
2000
- 2000-09-13 JP JP2000277896A patent/JP4541517B2/ja not_active Expired - Fee Related
-
2001
- 2001-09-10 US US09/948,632 patent/US7359621B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002094930A (ja) | 2002-03-29 |
| US20020034144A1 (en) | 2002-03-21 |
| US7359621B2 (en) | 2008-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4541517B2 (ja) | 記録装置 | |
| JP3427416B2 (ja) | 多重化データ分離装置および方法 | |
| JP4758997B2 (ja) | トランスポートストリーム生成装置およびこれを備えた記録装置、並びにトランスポートストリーム生成方法 | |
| JP3887006B2 (ja) | データ列間の連続再生を保障するための付加情報生成方法、この情報を貯蔵する記録媒体及び記録、編集及び／または再生装置 | |
| US7881584B2 (en) | Reproducing apparatus and method, and recording medium | |
| US8676038B2 (en) | Recording/reproducing apparatus, recording apparatus, reproducing apparatus, recording method, reproducing method and computer program | |
| JP2006507730A (ja) | 停止映像が記録された情報保存媒体、その再生装置及び方法 | |
| JP4294660B2 (ja) | 再生装置、再生方法及びその記録媒体 | |
| JP3491401B2 (ja) | データ符号化装置および方法、並びに、データ復号化装置および方法 | |
| JPWO2004080071A1 (ja) | データ処理装置 | |
| JP2008176918A (ja) | 再生装置、再生方法及びその記録媒体 | |
| JPWO2006075457A1 (ja) | 記録装置 | |
| JP3781288B2 (ja) | データ記録装置、データ記録再生装置及びデータ記録方法 | |
| JP3607681B2 (ja) | 副映像データ編集装置および編集方法 | |
| JPH1166754A (ja) | 多チャンネルデータ記録媒体と伝送記録及び再生装置 | |
| JP2001298715A (ja) | ストリーム記録装置、ストリーム編集装置、ストリーム再生装置および記録媒体 | |
| KR100677110B1 (ko) | 데이터열간의 연속 재생을 보장하는 데이터의 기록및/또는 편집 장치 | |
| JP2006180315A (ja) | 動画撮影装置、動画再生装置および動画撮影方法、動画再生方法 | |
| KR100987767B1 (ko) | 정지 영상이 기록된 정보 저장 매체, 그 재생 장치 및 방법 | |
| KR100657262B1 (ko) | 데이터열간의 연속 재생을 보장하기 위한 부가 정보를저장하는 기록 매체 | |
| KR100532113B1 (ko) | 데이터열간의 연속 재생을 보장하는 데이터의 기록및/또는 재생 장치 | |
| JP2000339860A (ja) | データ記録再生装置 | |
| JP2004362747A (ja) | 信号処理装置 | |
| JP4681723B2 (ja) | 再生装置、制御方法及び記憶媒体 | |
| JP2019149790A (ja) | 記録装置、再生装置、変換装置、送信装置、記録方法、再生方法、変換方法、及び、ストリームデータのデータ構造 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070906 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070906 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090702 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090707 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090828 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091110 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100107 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100622 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100624 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130702 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |