JP4228402B2 - データ編集装置及びデータ編集方法 - Google Patents
データ編集装置及びデータ編集方法 Download PDFInfo
- Publication number
- JP4228402B2 JP4228402B2 JP11314697A JP11314697A JP4228402B2 JP 4228402 B2 JP4228402 B2 JP 4228402B2 JP 11314697 A JP11314697 A JP 11314697A JP 11314697 A JP11314697 A JP 11314697A JP 4228402 B2 JP4228402 B2 JP 4228402B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- multiplexing
- file
- data
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
【発明の属する技術分野】
本発明は、データ編集装置及びデータ編集方法に関し、例えばDVD(Digital Video Disc/Digital Versatile Disc)と呼ばれる光ディスクに対して記録する映像や音声からなる記録用データを編集作成するオーサリング装置に適用して好適なものである。
【0002】
【従来の技術】
近年、画像や音声等を圧縮符号化して記録するものとしてDVDと呼ばれる光ディスクが実用化されている。このDVDでは、圧縮符号化方式としてISO(International Standardization Organization)等によって規格化されたMPEG(Moving Picture Experts Group)方式が採用されており、これによって高能率圧縮符号化を行って画像や音声等を効率良く記録するようになされている。
【0003】
なお、上記MPEG方式は、画像と音声それぞれについて別々に圧縮符号化方式が定義されており、画像に関しては動き補償予測と2次元DCT(Discrete Cosine Transform:離散コサイン変換)とを組み合わせた方式によって定義され、音声に関してはサブバンド符号化方式を用いた方式によって定義されている。
【0004】
このようなDVDに対して記録する記録用データは、記録対象の動画像、音声、或いは字幕などの静止画像等をMPEG方式等に基づいてディジタル符号化し、これらの符号化データをDVD規格に沿った形式で多重化することにより生成される。このような編集作業は一般にオーサリングと呼ばれ、その編集作業に際して使用される装置はオーサリング装置と呼ばれている。
【0005】
このオーサリング装置は、上述した動画像,音声,或いは静止画像等をMPEG方式等に基づいてディジタル符号化するための複数のエンコーダと、これら各エンコーダにより符号化された各種データを多重化するためのマルチプレクサと、上記符号化された各種データ及び多重化されたデータを格納するためのハードディスクと、上記マルチプレクサにより多重化されたデータを上記ハードディスクから読み出して確認するためのビューワーと、このビューワーによる確認後に上記マルチプレクサにより多重化されたデータを上記ハードディスクから読み出してテープ状記録媒体にダウンロードするためのテープストリーマーと、装置全体の動作を制御する制御部等により構成されている。
【0006】
【発明が解決しようとする課題】
このようなオーサリング装置においては、上記各エンコーダがビデオ信号,オーディオ信号,或いは静止画像信号等をMPEG方式等でそれぞれ符号化し、その結果得られる符号化された各データを順次上記ハードディスクに格納する。
【0007】
オーサリング装置におけるマルチプレクサでは、上記ハードディスク内に格納された画像、音声、字幕などの符号化されたデータをインターリーブし、DVDの各種フォーマットファイルと合わせてディスクイメージデータと呼ばれる記録用データを作成する多重化処理が行われる。そして、作成された記録用データは、上記ハードディスク内に格納される。
【0008】
この記録用データは、オーサリングの次の工程(マスタリング工程)でのディスクスタンパ作成のために、上記テープストリーマーによって上記ハードディスクから読み出されて上記テープ状記録媒体上にカッティングマスターとしてダウンロードされることとなる。
【0009】
しかしながら、従来のオーサリング装置では、オーサリングの処理を複数回行う場合に、例えば映画1本分(DVDのディスク1枚分)についてのオーサリングの処理が完了した後に別の映画1本分(別のディスク1枚分)についてのオーサリング処理を開始する、というようにオーサリング単位毎に順々に作業していたため、全体として非常に長い処理時間を要し、装置1台あたりの作業効率が悪いという問題があった。
【0010】
本発明は上述の問題点を解決すべく提案されたものであって、全体としての処理時間を短縮でき作業効率の向上を図ることのできるデータ編集装置及びデータ編集方法を提供することを目的とする。
【0011】
【課題を解決するための手段】
本発明は、画像及び/又は音声の信号を符号化した符号化データを多重化してオーサリング処理を行うデータ編集装置において、画像及び/又は音声の信号を符号化し、符号化処理の終了する際に当該符号化処理が終了したことを示すファイルをステイタスファイルとして生成する複数の符号化手段と、上記符号化手段により生成された当該複数の符号化データが記録媒体に対応するオーサリング処理を行うプロジェクト単位に分割された記憶領域に格納される記憶手段と、上記記憶手段の記憶領域から上記複数の符号化データを読み出して多重化することにより多重化データを生成し、多重化処理の終了する際に当該多重化処理が終了したことを示すファイルをステイタスファイルとして生成し、当該多重化データを記録媒体に対して記録する記録用データとして上記記憶手段の記憶領域に格納する多重化手段と、上記ステイタスファイルを参照することにより、上記複数の符号化手段及び上記多重化手段の処理動作の状態を判断し、処理を終了した手段に対して次の処理予定の有無を判断し、次の処理予定のある手段に対して処理動作の開始を指示する情報を記述したファイルをオーダーファイルとして与えることにより、上記符号化手段よる符号化処理及び上記多重化手段による多重化処理を開始させる制御手段とを備え、上記制御手段は、上記オーダーファイルに基づいて符号化処理を実行させ、上記ステイタスファイルによりいずれかの符号化手段によるプロジェクトの符号化処理が終了したと判断され、かつ、次のプロジェクトの符号化処理の予定がある符号化手段に次のプロジェクトの符号化処理を開始させ、上記ステイタスファイルにより多重化処理が終了したと判断され、かつ、多重化処理の対象となる全てのデータの符号化処理が終了しているプロジェクトがある場合に、上記多重化手段による多重化処理を開始させることを特徴とする。
【0013】
また、本発明は、画像及び/又は音声の信号を符号化した符号化データを多重化してオーサリング処理を行うデータ編集方法において、複数の符号化手段により、画像及び/又は音声の信号を符号化し、符号化処理の終了する際に当該符号化処理が終了したことを示すファイルをステイタスファイルとして生成する符号化工程と、上記符号化手段により生成された当該複数の符号化データが記録媒体に対応するオーサリング処理を行うプロジェクト単位に分割された記憶手段の記憶領域に格納する記憶工程と、多重化手段により、上記記憶手段の記憶領域から上記複数の符号化データを読み出して多重化することにより多重化データを生成し、多重化処理の終了する際に当該多重化処理が終了したことを示すファイルをステイタスファイルとして生成し、当該多重化データを記録媒体に対して記録する記録用データとして上記記憶手段の記憶領域に格納する多重化工程と、上記ステイタスファイルを参照することにより、上記複数の符号化手段及び上記多重化手段の処理動作の状態を判断し、処理を終了した手段に対して次の処理予定の有無を判断し、次の処理予定のある手段に対して処理動作の開始を指示する情報を記述したファイルをオーダーファイルとして上記符号化手段及び上記多重化手段に与えることにより、上記符号化手段よる符号化処理及び上記多重化手段による多重化処理を開始させる制御工程とを有し、上記制御工程では、上記オーダーファイルに基づいて符号化処理を実行させ、上記ステイタスファイルによりいずれかの符号化手段によるプロジェクトの符号化処理が終了したと判断され、かつ、次のプロジェクトの符号化処理の予定がある符号化手段に次のプロジェクトの符号化処理を開始させ、上記ステイタスファイルにより多重化処理が終了したと判断され、かつ、多重化処理の対象となる全てのデータの符号化処理が終了しているプロジェクトがある場合に、上記多重化手段による多重化処理を開始させることを特徴とする。
【0015】
【発明の実施の形態】
以下、本発明が適用されるオーサリング装置の実施の形態について、図面を参照して詳細に説明する。このオーサリング装置は、画像や音声を圧縮符号化して多重化することによりDVD規格の光ディスクに対して記録する記録用データを生成するものであり、複数のオーサリング処理を並行して行うようになっている。
【0016】
オーサリング装置10は、図1に示すように、動画像や静止画像、或いは音声等の信号を符号化する複数の符号化装置11乃至13と、符号化されたデータを記憶する記憶装置14と、符号化されたデータを多重化することによって記録用データを生成する多重化装置15と、生成された記録用データを検査するための復号化装置17と、装置全体の動作を管理するスーパーバイザー16とを備えている。また、このオーサリング装置10には、生成された記録用データをテープ状記録媒体等の所定の記録媒体に記録する記録装置18が備えられている。
【0017】
符号化装置11は、動画像の信号を符号化するビデオエンコーダ11aとこのビデオエンコーダ11aの動作を制御するためのビデオエンコーダコントローラ11bによって構成される。符号化装置11においては、ビデオエンコーダ11aに入力されたビデオ信号をMPEG方式に基づいて順次圧縮符号化し、その結果得られるビデオ符号化データを後述する多重化装置15を介して記憶装置14の所定記憶領域に順次格納するようになっている。
【0018】
この符号化装置11は、符号化に際して必要な各種情報、例えば符号化処理を行う動画像の本数や符号化データを格納する記憶領域のアドレス情報をネットワーク19を介してスーパーバイザー16から受け、これらの情報を基に符号化処理を実行して、その結果得られたビデオ符号化データを記憶装置14の指示された記憶領域に格納するようになっている。
【0019】
なお、符号化に際して必要な上記各種情報は、スーパーバイザー16から供給される詳細を後述するオーダーファイル内に記載されている。また、符号化装置11は、その動作状態に応じて詳細を後述するステイタスファイルをスーパーバイザー16に対して出力するようになっている。
【0020】
符号化装置12は、音声の信号を符号化するオーディオエンコーダ12aとこのオーディオエンコーダ12aの動作を制御するためのオーディオエンコーダコントローラ12bによって構成される。符号化装置12においては、オーディオエンコーダ12aに入力されたオーディオ信号をMPEG音声方式又はAC−3方式(変形離散コサイン変換(MDCT)とスペクトラムエンベロープ符号化を組み合わせた圧縮符号化方式)に基づいて順次圧縮符号化し、その結果得られるオーディオ符号化データを後述する多重化装置15を介して記憶装置14の所定記憶領域に順次格納するようになっている。
【0021】
この符号化装置12も、符号化に際して必要な各種情報、例えば符号化処理を行う音声の本数や符号化データを格納する記憶領域のアドレス情報等が記載されたオーダーファイルをネットワーク19を介してスーパーバイザー16から受け、これらの情報を基に符号化処理を実行して、その結果得られたオーディオ符号化データを記憶装置14の指示された記憶領域に格納するようになっている。さらに、この符号化装置12も、その動作状態に応じて詳細を後述するステイタスファイルをスーパーバイザー16に対して出力するようになっている。
【0022】
符号化装置13は、字幕などのサブピクチャと呼ばれる静止画像等の信号を符号化するピクチャエンコーダ13aとこのピクチャエンコーダ13aの動作を制御するためのピクチャエンコーダコントローラ13bによって構成される。符号化装置13においては、字幕等から形成されるピクチャ信号をMPEG方式又はその他の符号化方式で順次符号化し、その結果得られるピクチャ符号化データを後述する多重化装置15を介して記憶装置14の所定記憶領域に順次格納するようになっている。
【0023】
この符号化装置13も同様に、符号化に際して必要な各種情報、例えば符号化処理を行うサブピクチャの枚数や符号化データを格納する記憶領域のアドレス情報等が記載されたオーダーファイルをネットワーク19を介してスーパーバイザー16から受け、これらの情報を基に上記符号化データを記憶装置14の指示された記憶領域に格納するようになっている。そして、符号化装置13も同様に、その動作状態に応じて後述するステイタスファイルをスーパーバイザー16に対して出力するようになっている。
【0024】
なお、各符号化装置11乃至13と記憶装置14とを接続する伝送路としては、高速伝送が可能なSCSI等の伝送路が使用されている。
【0025】
記憶装置14は、所謂サーバーと呼ばれるものであり、ハードディスクアレイを備えて構成される。この記憶装置14は、複数のオーサリング処理を並行して行う際に生成される各種データを格納するのに十分な、例えば30ギガバイト以上の記憶容量を有するハードディスクアレイが備えられており、後述するように、オーサリング単位でその記憶領域が分割される。また、記憶装置14は、1回のオーサリングで入力される上記各符号化データを上記分割された記憶領域内におけるそれぞれ異なる記憶領域に格納するようになっている。さらに、記憶装置14の分割された各記憶領域内には、これら各符号化データが格納される記憶領域の他にも、詳細を後述する多重化装置15によって生成される多重化データを格納する記憶領域が確保されており、当該多重化データをその記憶領域に格納しうるようになっている。
【0026】
図2に記憶装置14のハードディスクアレイ(以下、サーバーという。)の記憶領域の配分例を示す。サーバーは、上述のように、オーサリング単位でその記憶領域が分割される。この例では、例えば3枚のDVD規格のディスクを制作するために3回のオーサリング処理を行うべく、サーバー全体を領域A,B,Cの3つの領域に分割している。
【0027】
さらに、分割されたサーバーの各領域は、エンコード用のエレメンタリー領域と多重化処理用の多重化データ格納領域の2つの領域に分けられる。図2では、上記領域Bの半分の記憶容量をエレメンタリー領域に、残る半分を多重化データ格納領域に割り当てた場合を示しており、領域A,領域Bについても同様となっている。
【0028】
ここで、上記エンコード用のエレメンタリー領域には、ビデオエンコーダ11a,オーディオエンコーダ12a,及びピクチャエンコーダ13aからの符号化されたデータが、図2に示すように、それぞれ異なる記憶領域にビデオデータストリーム,オーディオデータストリーム,及び字幕等のピクチャデータストリームとして書き込まれる。なお、図2では、ビデオデータストリームが1本、オーディオデータストリームが2本、字幕データストリームが2本この順番に書き込まれた場合が示されている。一方、上記多重化処理用の多重化データ格納領域には、以下に説明する多重化装置15からの多重化されたデータが書き込まれる。
【0029】
多重化装置15は、所謂マルチプレクサを備えて構成され、上記ビデオ符号化データ,オーディオ符号化データ,及びピクチャ符号化データを処理対象データとして記憶装置14の上述したエレメンタリー領域から順次読み出し、これらのデータをDVD規格に則した順序で多重化し、その結果得られる多重化データを記録用データとして記憶装置14の同じ分割領域における上記多重化データ格納領域に順次格納するようになっている。すなわち、多重化装置15は、上記処理対象データを記憶装置14の領域Aのエレメンタリー領域から読み出した場合には、生成した多重化データを領域Aの多重化データ格納領域に格納する。
【0030】
なお、この多重化装置15(以下、マルチプレクサ15ともいう。)も、多重化に際して必要な情報、例えばビデオ符号化データ,オーディオ符号化データ,ピクチャ符号化データが格納されている上記エレメンタリー領域のアドレス情報や多重化したデータを格納する多重化データ格納領域のアドレス情報等が記載されたオーダーファイルをネットワーク19を介してスーパーバイザー16から受け、これらの情報を基に多重化処理を実行して多重化データを記憶装置14の指示された多重化データ格納領域に格納する。そして、同様にマルチプレクサ15も、その動作状態に応じてステイタスファイルをスーパーバイザー16に対して出力するようになっている。
【0031】
復号化装置17は、所謂ビューワーと呼ばれるものであり、各符号化装置11乃至13の符号化処理やマルチプレクサ15の多重化処理が正常に行われたか否かを検査するためのものである。この復号化装置17(以下、ビューワー17ともいう。)は、記憶装置14の多重化データ格納領域に格納されている多重化データをマルチプレクサ15を介して順次読み出して復号化し、これをモニタ部17aにおけるモニタ画面及びスピーカーに出力するようになっている。このようなビューワー17を設けることにより、このオーサリング装置10では、符号化処理や多重化処理が正常に行われたか否かを即座にかつ容易に検査することができる。
【0032】
なお、このビューワー17も、復号化に際して必要な情報、例えば多重化データが格納されている記憶領域のアドレス情報や符号化方式の情報が記載されたオーダーファイルをネットワーク19を介してスーパーバイザー16から受け、これらの情報を基に復号化処理を実行するようになっている。そして、このビューワー17も、その動作状態に応じてステイタスファイルをスーパーバイザー16に対して出力するようになっている。
【0033】
記録装置18は、テープストリーマー18aとこのテープストリーマー18aの動作を制御するためのストリーマコントローラ18bにより構成される。記録装置18におけるテープストリーマー18aは、光ディスクを製造するためのマスタリング工程に上記記録用データを渡すために当該記録用データを所定のテープ状記録媒体に記録するためのものである。
【0034】
この記録装置18のストリーマーコントローラ18bも、記録動作に必要な情報、例えば多重化データが格納されている多重化データ格納領域のアドレス情報や記録方式の情報等が記載されたオーダーファイルをネットワーク19を介してスーパーバイザー16から受けるようになっており、これらの情報を基にテープストリーマー16aを作動させることにより、マルチプレクサ15を介して記憶装置14の上記多重化データ格納領域から順次多重化データを読み出して所定のテープ状記録媒体に記録するようになっている。
【0035】
そして、このストリーマーコントローラ18bもまた、テープストリーマー18aの動作状態に応じてステイタスファイルをスーパーバイザー16に対して出力するようになっている。このような記録装置18を設けることにより、このオーサリング装置10では、マスタリング工程に渡す記録用データを即座にかつ容易に所定記録媒体に記録することができる。
【0036】
なお、マルチプレクサ15やビューワー17、或いは記録装置18と、記憶装置14とを接続する伝送路にも、同じく高速伝送が可能なSCSI等の伝送路が使用されている。
【0037】
スーパーバイザー16は、各符号化装置11乃至13やマルチプレクサ15、或いはビューワー17や記録装置18の動作を管理すると共に、記憶装置14のデータ記録領域を管理するようになっている。具体的にはスーパーバイザー16は、各装置から出力されるステイタスファイルの内容を読みとり、その内容に応じた以下に説明するオーダーファイルを各装置に対して送出することによって各装置の管理を行う。
【0038】
ここで、オーダーファイルとは、各装置の動作のトリガーとなるファイルであり、各装置毎に別の名前で定義される。この実施の形態では、図3に示すように、「VIDEO.ORD」,「AUDIO.ORD」,「SUBPIC.ORD」,「MUX.ORD」,「VIEWER.ORD」,「STREAMER.ORD」の6種類のオーダーファイルを用いている。なお、オーダーファイルの名前につき、特に限定されるものではないことは勿論である。
【0039】
このうち、「VIDEO.ORD」,「AUDIO.ORD」,及び「SUBPIC.ORD」は、スーパーバイザー16がそれぞれ符号化装置11のビデオエンコーダコントローラ11b,符号化装置12のオーディオエンコーダコントローラ12b,及び符号化装置13のピクチャエンコーダコントローラ13bに対して送出するオーダーファイルである。また、「MUX.ORD」,「VIEWER.ORD」,及び「STREAMER.ORD」は、スーパーバイザー16がそれぞれマルチプレクサ15,ビューワー17,及び記録装置18のストリーマーコントローラに18b対して送出するオーダーファイルである。
【0040】
これら各オーダーファイルには、その内容として各装置が処理を行う際に必要となる上述した各種情報が記載される。
【0041】
また、スーパーバイザー16は、いわゆるスケジューリング機能を有しており、複数のオーサリングプロジェクトがある場合にオーサリング処理の回数や順序等を管理するようになっている。なお、このオーサリング処理の回数や順序等については、オペレータからのキー入力操作等によって設定される。
【0042】
一方、上記各符号化装置11乃至13の各コントローラ11b,12b,13b,マルチプレクサ15,ビューワー17及び記録装置18のストリーマーコントローラ18bからは、上述のようにそれぞれ各装置の動作状態を示すステイタスファイルが出力される。このステイタスファイルは、上述のオーダーファイルと同様に各装置毎に別の名前で定義される。この実施の形態では、図4(A)に示すように、「VIDEO.STA」,「AUDIO.STA」,「SUBPIC.STA」,「MUX.STA」,「VIEWER.STA」,「STREAMER.STA」の6種類のステイタスファイルを用いている。なお、ステイタスファイルの名前についても特に限定されるものではないことは勿論である。
【0043】
このうち、「VIDEO.STA」,「AUDIO.STA」,及び「SUBPIC.STA」は、それぞれビデオエンコーダコントローラ11b,オーディオエンコーダコントローラ12b,及びピクチャエンコーダコントローラ13bがそれぞれのエンコーダ11a,12a,13aの動作状態を示すために出力するステイタスファイルである。また、「MUX.STA」,「VIEWER.STA」は、それぞれマルチプレクサ15,ビューワー17がそれぞれの動作状態を示すために出力するステイタスファイルである。さらに、「STREAMER.STA」は、記録装置18のストリーマーコントローラ18bがテープストリーマー18aの動作状態を示すために出力するステイタスファイルである。
【0044】
これら各ステイタスファイルには、図4(B)に示すように、当該コンポーネントが処理中であることを示す「InProgress」と処理が終了していることを示す「Done」のうちのいずれかが記載される。
【0045】
スーパーバイザー16は、オーサリングの開始時には、各符号化装置11乃至13に符号化処理開始の指示を与えるべく「VIDEO.ORD」,「AUDIO.ORD」,及び「SUBPIC.ORD」の各オーダーファイルを送出する。またスーパーバイザー16は、上記「VIDEO.STA」,「AUDIO.STA」,及び「SUBPIC.STA」の各ステイタスファイルの内容を読み出し、各装置における各処理が終了したか否かについて判断する。そして、スーパーバイザー16は、各符号化装置11〜13の符号化処理が終了したと判断すると、マルチプレクサ15に多重化処理開始の指示を与えるべく「MUX.ORD」のオーダーファイルを送出する。また、スーパーバイザー16は、マルチプレクサ15の多重化処理が終了したと判断すると、ビューワー17に対して復号化処理開始の指示を与えるべく「VIEWER.ORD」のオーダーファイルを送出する。さらに、スーパーバイザー16は、ビューワー17による復号化処理が終了したと判断すると、記録装置18に対して記録処理開始の指示を与えるべく「STREAMER.ORD」のオーダーファイルを送出する。
【0046】
スーパーバイザー16は、各符号化装置11乃至13によって生成された各符号化データやマルチプレクサ15によって生成された多重化データの記憶装置14における記憶領域を管理する。具体的にはスーパーバイザー16は、符号化装置11乃至13に対してデータ格納先としてそれぞれ異なる記憶領域を指示すると共に、マルチプレクサ15に対してはデータ格納先として符号化データとは異なる記憶領域を指示する。さらに、スーパーバイザー16は、マルチプレクサ15に対しては各符号化データの読み出しのため、当該符号化データの記憶領域も指示する。これらの指示は、上述の各オーダーファイルの内容として記載されることになる。
【0047】
そして、各装置の動作命令やデータ格納先等の指示が記載された上記オーダーファイルは、スーパーバイザー16からそれぞれネットワーク19を介して上述した各装置11乃至13,15,17,18に供給される。なお、図1中に示される中継器20乃至26は、上記各装置とネットワーク19とを接続するインターフェイスに相当するものである。
【0048】
したがって、各装置11乃至13,15,17,18は、自己宛のオーダーファイルの内容を読み出すことにより自己に割り当てられた作業を実行することができると共に、生成した各データの格納先が重複しないようにして記憶装置14を各装置間で共有することができる。
【0049】
ここで、符号化装置11乃至13,マルチプレクサ15,ビューワー17,及び記録装置18(以下、便宜上これら装置1つ1つをコンポーネントという。)の行う処理について、図5に示すフローチャートを参照して説明する。
【0050】
各コンポーネントは、ステップS1において、自己宛のオーダーファイルがあるか否かを判断し、NOすなわち無いと判断した場合には自己宛のオーダーファイルがスーパーバイザー16から送られて来るまで待機し、YESすなわち有ると判断した場合にはステップS2に進む。
【0051】
各コンポーネントは、ステップS2において当該オーダーファイルの内容を読み出し、続くステップS3でこの内容に従った処理を開始する。これに伴い、当該コンポーネントは、ステップS4で処理中であることを示す「InProgress」が記載されたステイタスファイルをスーパーバイザー16に対して送出してステップS5に進む。
【0052】
ステップS5において、各コンポーネントは、ステップS3の処理が終了したか否かについて管理し、この処理が終了するまでステップS5で待機し、処理が終了した場合にステップS6に進む。
【0053】
ステップS6において、各コンポーネントは、処理終了を示す「Done」が記載されたステイタスファイルをスーパーバイザー16に対して送出して上記ステップ1に戻る。そして、各コンポーネントは、以下同様にして上述したステップS1からステップS6までの処理を繰り返す。
【0054】
次に、スーパーバイザー16が上記各コンポーネントに対して行う制御について、図6乃至図8に示すフローチャートを参照して説明する。
【0055】
スーパーバイザー16は、処理開始時において各コンポーネントを初期化し、最初のオーサリングプロジェクトのエンコードに関する各オーダーファイルを生成し、各符号化装置11乃至13の各エンコーダコントローラ11b乃至13bに送信する。
【0056】
これにより、オーサリング装置10においては、最初のオーサリングプロジェクトにおけるエンコード処理が行われることとなる。具体的には、オーサリング装置10においては、各符号化装置11乃至13にそれぞれビデオ信号,オーディオ信号,ピクチャ信号が入力され、これら各信号を各エンコーダ11a乃至13aでエンコード処理することにより、ビデオ符号化データ,オーディオ符号化データ,ピクチャ符号化データが生成される。これら各符号化データは、マルチプレクサ15を介して記憶装置14に入力され、例えば図2に示す領域Aについてのエレメンタリー領域の所定記憶領域に格納される。そして、オーサリング装置10においては、スーパーバイザー16が以下のステップS11乃至ステップS29の一連の制御処理を行う。
【0057】
図6に示すステップS11において、スーパーバイザー16は、ビデオエンコーダコントローラ11bが出力するステイタスファイルであるVIDEO.STAの内容を読み出し、ビデオエンコードの処理が終了しているかどうかを判断する。そして、終了していると判断した場合はステップS12に進み、NOすなわち現在処理中であると判断した場合は後述するステップS14に進む。
【0058】
ステップS12において、スーパーバイザー16は、上述したスケジューリング機能により、次のオーサリングプロジェクトについてのビデオエンコード処理の予定があるか否かを判断する。そして、かかる予定があると判断した場合はステップS13に進み、NOすなわち予定が無いと判断した場合はステップS14に進む。
【0059】
ステップS13において、スーパーバイザー16は、VIDEO.ORDを生成し、このオーダーファイルを符号化装置11のビデオエンコーダコントローラ11bに送出する。これにより、オーサリング装置10においては、ビデオエンコーダコントローラ11bが上述したステップS2,ステップS3により、このVIDEO.ORDの内容を読み出し、次のプロジェクトについてのビデオエンコード処理を開始させる。なお、このステップS13におけるオーサリングの状態については図9を参照されたい。
【0060】
続くステップS14において、スーパーバイザー16は、オーディオエンコーダコントローラ12bが出力するステイタスファイルであるAUDIO.STAの内容を読み出し、オーディオエンコード処理が終了したか否かについて判断する。そして、かかる処理が終了していると判断した場合はステップS15に進み、NOすなわち現在処理中であると判断した場合は後述するステップS17に進む。
【0061】
ステップS15において、スーパーバイザー16は、そのスケジューリング機能により、次のオーサリングプロジェクトについてのオーディオエンコード処理の予定があるか否かを判断する。そして、かかる予定があると判断した場合はステップS16に進み、NOすなわち予定が無いと判断した場合は後述するステップS17に進む。
【0062】
ステップS16において、スーパーバイザー16は、AUDIO.ORDを生成し、このオーダーファイルを符号化装置12のオーディオエンコーダコントローラ12bに送出する。これにより、オーサリング装置10においては、オーディオエンコーダコントローラ12bが上述したステップS2,ステップS3により、このAUDIO.ORDの内容を読み出し、次のオーサリングプロジェクトについてのオーディオエンコード処理を開始させる。なお、このステップS16におけるオーサリングの状態についても図9を参照されたい。
【0063】
図7に示す次のステップS17において、スーパーバイザー16は、ピクチャエンコーダコントローラ13bが出力するステイタスファイルであるSUBPIC.STAの内容を読み出し、字幕等のピクチャエンコード処理が終了したか否かについて判断する。そして、かかる処理が終了していると判断した場合はステップS18に進み、NOすなわち現在処理中であると判断した場合は後述するステップS20に進む。
【0064】
ステップS18において、スーパーバイザー16は、そのスケジューリング機能により、次のオーサリングプロジェクトについてのピクチャエンコード処理の予定があるか否かを判断する。そして、かかる予定があると判断した場合はステップS19に進み、NOすなわち予定が無いと判断した場合は後述するステップS20に進む。
【0065】
ステップS19において、スーパーバイザー16は、SUBPIC.ORDを生成し、このオーダーファイルを符号化装置13のピクチャエンコーダコントローラ13bに送出する。これにより、オーサリング装置10においては、ピクチャエンコーダコントローラ13bが上述したステップS2,ステップS3により、このSUBPIC.ORDの内容を読み出し、次のプロジェクトについてのピクチャエンコード処理を開始させる。なお、このステップS19におけるオーサリングの状態についても図9を参照されたい。
【0066】
ステップS20において、スーパーバイザー16は、マルチプレクサ15が出力するステイタスファイルであるMUX.STAの内容を読み出し、多重化処理が終了したか否かについて判断する。そして、かかる処理が終了していると判断した場合はステップS11に進み、NOすなわち現在処理中であると判断した場合は後述するステップS23に進む。
【0067】
ステップS21において、スーパーバイザー16は、そのスケジューリング機能により、ビデオ,オーディオ,ピクチャについての全てのエンコードが終了しているプロジェクトがあるか否かを判断する。そして、このようなプロジェクトがあると判断した場合はステップS22に進み、NOすなわち無いと判断した場合は後述するステップS23に進む。
【0068】
ステップS22において、スーパーバイザー16は、MUX.ORDを生成し、このオーダーファイルをマルチプレクサ15に送出する。これにより、オーサリング装置10においては、マルチプレクサ15が上述したステップS2,ステップS3により、このMUX.ORDの内容を読み出し、ビデオ,オーディオ,ピクチャについての全てのエンコードが終了しているプロジェクトについての多重化処理を開始させる。なお、このステップS22におけるオーサリングの状態についても図9を参照されたい。
【0069】
図8に示すステップS23において、スーパーバイザー16は、ビューワー17が出力するステイタスファイルであるVIEWER.STAの内容を読み出し、ビューワー17による復号化処理(以下、ビューウィングという。)が終了したか否かについて判断する。そして、かかる処理が終了していると判断した場合はステップS24に進み、NOすなわち現在処理中であると判断した場合は後述するステップS26に進む。
【0070】
ステップS24において、スーパーバイザー16は、そのスケジューリング機能により、マルチプレクサ15による多重化処理が終了しているプロジェクトがあるか否かについて判断する。そして、かかるプロジェクトがあると判断した場合はステップS25に進み、NOすなわち無いと判断した場合はステップS26に進む。
【0071】
ステップS25において、スーパーバイザー16は、VIEWER.ORDを生成し、このオーダーファイルをビューワー17に送出する。これにより、オーサリング装置10においては、ビューワー17が上述したステップS2,ステップS3により、このVIEWER.ORDの内容を読み出し、多重化処理が終了しているプロジェクトについてのデータのビューウィングを開始させる。なお、このステップS25におけるオーサリングの状態についても図9を参照されたい。
【0072】
ステップS26において、スーパーバイザー16は、記録装置18のストリーマーコントローラ18bが出力するステイタスファイルであるSTREAMER.STAの内容を読み出し、ストリーム処理が終了したか否かについて判断する。そして、かかる処理が終了していると判断した場合はステップS27に進み、NOすなわち現在処理中であると判断した場合は後述するステップS29に進む。
【0073】
ステップS27において、スーパーバイザー16は、そのスケジューリング機能により、ビューウィングが終了しているプロジェクトがあるか否かについて判断する。そして、このようなプロジェクトがあると判断した場合はステップS28に進み、NOすなわち無いと判断した場合はステップS29に進む。
【0074】
ステップS28において、スーパーバイザー16は、STREAM.ORDを生成し、このオーダーファイルを記録装置18のストリーマーコントローラ18bに送出する。これにより、オーサリング装置10においては、ストリーマーコントローラ18bが上述したステップS2,ステップS3により、このSTREAM.ORDを読み出し、ビューウィングが終了しているプロジェクトについてのストリーム処理を開始させる。なお、このステップS28におけるオーサリングの状態についても図9を参照されたい。
【0075】
ステップS29において、スーパーバイザー16は、そのスケジューリング機能により、全てのプロジェクトに関するオーサリング処理が終了したか否かについて判断する。YESすなわち全てのプロジェクトに関するオーサリング処理が終了したと判断した場合は制御処理を終了させ、NOすなわちまだ全て終了したわけではないと判断した場合は上述したステップS11に戻り、ステップS11乃至ステップS29の処理を繰り返し行う。
【0076】
このような制御を行うことにより、オーサリング装置10においては、図9に示すように、複数のオーサリング処理が並列に行われることとなり、高いオーサリング効率が得られる。すなわち、このオーサリング装置10によれば、最初のオーサリング処理の完結を待って次のオーサリング処理を行うのではなく、各符号化装置11乃至13におけるエンコード処理において、ビデオはビデオ、オーディオはオーディオ、字幕等は字幕等で独立して処理を進めることにより、他のエンコーダのエンコード処理の終了を待つことから生じる無駄な時間の発生を無くすことができる。したがって、オーサリング装置10によれば、オーサリング全体としての効率が向上する。
【0077】
以上のような各オーサリングプロジェクトの並列処理については、パイプライン処理の手法で制御することにより実現できる。
【0078】
なお、この実施の形態では、スーパーバイザー16が各コンポーネントに対して各種オーダーファイルを送出し、一方各コンポーネントがスーパーバイザー16に対してステイタスファイルを出力することとしたが、本発明はこの形態に限定されるものではない。すなわち、オーサリング装置10においては、例えばスーパーバイザー16及び各コンポーネントが共通に使用できる特定のディレクトリをネットワーク19上に設定して、かかるディレクトリ内に上述した各種オーダーファイル及び各ステイタスファイルを格納することとしてもよい。この場合には、スーパーバイザー16及び各コンポーネントは、上記特定のディレクトリ内に自己宛のステイタスファイル又はオーダーファイルがあるか否かについて随時検索し、あった場合にその内容を読み出すこととすればよい。
【0079】
また、この実施の形態では、図2に示すように記憶装置14のハードディスクアレイ全体を3つの領域に分割しているが、かかる分割数をいくつにするかにつき特に限定されるものではなく、記憶装置14の記憶容量に応じて適宜設定すればよい。また、この実施の形態において、4回目以降のオーサリング処理については、例えば最初のオーサリング処理の終了後に当該最初のオーサリング処理のための領域Aに上書きすることとすれば、図9に示すn回分のオーサリングプロジェクトについてのnの値も特に限定されない。
【0080】
さらに、この実施の形態では、記憶装置14として1つの入出力ポートを有するものを用いており、マルチプレクサ15を介して各種データの読み書きを行う構成としているが、本発明はこの形態に限定されるものではない。例えば、記憶装置14として複数の入出力ポートを有する所謂マルチポートタイプのものを用いて、各コンポーネント毎に各入出力ポートと直接接続する構成としてもよく、このような構成とすれば、オーサリングにおける各処理の一層の高速化を図ることができる。
【0081】
【発明の効果】
以上詳細に説明したように本発明に係るデータ編集装置では、画像及び/又は音声の信号を符号化し、符号化処理の終了する際に当該符号化処理が終了したことを示すファイルをステイタスファイルとして生成する複数の符号化手段により生成された符号化データが記録媒体に対応するオーサリング処理を行うプロジェクト単位に分割された記憶領域に格納される記憶手段の記憶領域から多重化手段により上記複数の符号化データを読み出して多重化することにより多重化データを生成し、上記多重化処理の終了する際に当該多重化処理が終了したことを示すファイルをステイタスファイルとして生成し、当該多重化データを記録媒体に対して記録する記録用データとして上記記憶手段の記憶領域に格納するにあたり、上記ステイタスファイルを参照することにより、上記複数の符号化手段及び上記多重化手段の処理動作の状態を判断し、処理を終了した手段に対して次の処理予定の有無を判断し、次の処理予定のある手段に対して処理動作の開始を指示する情報を記述したファイルをオーダーファイルとして与えることにより、上記符号化手段よる符号化処理及び上記多重化手段による多重化処理を開始させる制御手段により、上記オーダーファイルに基づいて符号化処理を実行させ、上記ステイタスファイルによりいずれかの符号化手段によるプロジェクトの符号化処理が終了したと判断され、かつ、次のプロジェクトの符号化処理の予定がある符号化手段に次のプロジェクトの符号化処理を開始させ、上記ステイタスファイルにより多重化処理が終了したと判断され、かつ、多重化処理の対象となる全てのデータの符号化処理が終了しているプロジェクトがある場合に、上記多重化手段による多重化処理を開始させることによって、複数のオーサリング処理を並列に行い、各符号化手段がそれぞれ独立して符号化処理を進め、他の符号化手段の処理の終了を待つことによる無駄な時間を省くことができ、処理時間全体を短縮させデータ編集の効率を向上させることができる。
【0082】
また、本発明に係るデータ編集方法によれば、複数の符号化手段により、画像及び/又は音声の信号を符号化し、符号化処理の終了する際に当該符号化処理が終了したことを示すファイルをステイタスファイルとして生成する符号化工程で生成された複数の符号化データが記憶工程で記録媒体に対応するオーサリング処理を行うプロジェクト単位に分割された記憶領域に格納された記億手段の上記記憶領域から、多重化工程において、多重化手段により、上記複数の符号化データを読み出して多重化することにより多重化データを生成し、上記多重化処理の終了する際に当該多重化処理が終了したことを示すファイルをステイタスファイルとして生成し、当該多重化データを記録媒体に対して記録する記録用データとして上記記憶手段の記憶領域に格納するにあたり、上記ステイタスファイルを参照することにより、上記複数の符号化手段及び上記多重化手段の処理動作の状態を判断し、処理を終了した手段に対して次の処理予定の有無を判断し、次の処理予定のある手段に対して処理動作の開始を指示する情報を記述したファイルをオーダーファイルとして上記符号化手段及び上記多重化手段に与えることにより、上記符号化手段よる符号化処理及び上記多重化手段による多重化処理を開始させる制御工程において、上記オーダーファイルに基づいて符号化処理を実行させ、上記ステイタスファイルによりいずれかの符号化手段によるプロジェクトの符号化処理が終了したと判断され、かつ、次のプロジェクトの符号化処理の予定がある符号化手段に次のプロジェクトの符号化処理を開始させ、上記ステイタスファイルにより多重化処理が終了したと判断され、かつ、多重化処理の対象となる全てのデータの符号化処理が終了しているプロジェクトがある場合に、上記多重化手段による多重化処理を開始させることにより、複数のオーサリング処理を並列に行い、各符号化手段がそれぞれ独立して符号化処理を進め、他の符号化手段の処理の終了を待つことによる無駄な時間を省くことができ、処理時間全体を短縮させデータ編集の効率を向上させることができる。
【図面の簡単な説明】
【図1】本発明の実施の形態であるオーサリング装置の構成を示すブロック図である。
【図2】記憶装置における記憶領域の割り当て例を説明するための図である。
【図3】オーダーファイルの種類及び内容を説明するための図である。
【図4】ステイタスファイルの種類及び内容を説明するための図である。
【図5】各符号化装置,復号化装置,及び記録装置の動作を示したフローチャートである。
【図6】スーパーバイザーの動作を示したフローチャートである。
【図7】スーパーバイザーの動作を示したフローチャートである。
【図8】スーパーバイザーの動作を示したフローチャートである。
【図9】オーサリング装置により行われるオーサリングの状態を示したタイムチャートである。
【符号の説明】
10 オーサリング装置、11,12,13 符号化装置、14 記憶装置、15 多重化装置、16 制御装置、17 復号化装置、18 記録装置
Claims (4)
- 画像及び/又は音声の信号を符号化した符号化データを多重化してオーサリング処理を行うデータ編集装置において、
画像及び/又は音声の信号を符号化し、符号化処理の終了する際に当該符号化処理が終了したことを示すファイルをステイタスファイルとして生成する複数の符号化手段と、
上記符号化手段により生成された当該複数の符号化データが記録媒体に対応するオーサリング処理を行うプロジェクト単位に分割された記憶領域に格納される記憶手段と、
上記記憶手段の記憶領域から上記複数の符号化データを読み出して多重化することにより多重化データを生成し、多重化処理の終了する際に当該多重化処理が終了したことを示すファイルをステイタスファイルとして生成し、当該多重化データを記録媒体に対して記録する記録用データとして上記記憶手段の記憶領域に格納する多重化手段と、
上記ステイタスファイルを参照することにより、上記複数の符号化手段及び上記多重化手段の処理動作の状態を判断し、処理を終了した手段に対して次の処理予定の有無を判断し、次の処理予定のある手段に対して処理動作の開始を指示する情報を記述したファイルをオーダーファイルとして与えることにより、上記符号化手段よる符号化処理及び上記多重化手段による多重化処理を開始させる制御手段と
を備え、
上記制御手段は、上記オーダーファイルに基づいて符号化処理を実行させ、上記ステイタスファイルによりいずれかの符号化手段によるプロジェクトの符号化処理が終了したと判断され、かつ、次のプロジェクトの符号化処理の予定がある符号化手段に次のプロジェクトの符号化処理を開始させ、上記ステイタスファイルにより多重化処理が終了したと判断され、かつ、多重化処理の対象となる全てのデータの符号化処理が終了しているプロジェクトがある場合に、上記多重化手段による多重化処理を開始させる
ことを特徴とするデータ編集装置。 - 上記多重化手段により上記記憶手段に格納された記録用データを読み出して再生する再生処理を行う再生手段を備え、
上記再生手段は、上記記録用データの読出し処理の終了に伴い、当該読出し処理が終了したことを示すファイルを上記ステイタスファイルとして生成し、
上記制御手段は、上記ステイタスファイルを参照することにより上記再生手段による読出し処理の終了を判断し、上記ステイタスファイルにより再生処理が終了したと判断され、かつ、多重化処理が終了しているプロジェクトがある場合に、次に読み出すべき記録用データがあれば上記再生手段に対して読出し処理開始の命令を記載したファイルを上記オーダーファイルとして生成し、
上記再生手段は、上記オーダーファイルを参照することによって当該記録用データに関する読出し処理を開始することを特徴とする請求項1に記載のデータ編集装置。 - 上記記憶手段に格納された記録用データを所定記録媒体に対して記録する記録処理を行う記録手段を備え、
上記記録手段は、上記記録処理の終了に伴い、当該記録処理が終了したことを示すファイルを上記ステイタスファイルとして生成し、
上記制御手段は、上記ステイタスファイルを参照することにより上記記録手段による記録処理の終了を判断し、上記ステイタスファイルにより記録処理が終了したと判断され、かつ、再生処理が終了しているプロジェクトがある場合に、次に所定記録媒体に対して記録すべき記録用データがあれば上記記録手段に対して記録処理開始の命令を記載したファイルを上記オーダーファイルとして生成し、
上記記録手段は、上記オーダーファイルを参照することによって当該記録用データに関する記録処理を開始することを特徴とする請求項1に記載のデータ編集装置。 - 画像及び/又は音声の信号を符号化した符号化データを多重化してオーサリング処理を行うデータ編集方法において、
複数の符号化手段により、画像及び/又は音声の信号を符号化し、符号化処理の終了する際に当該符号化処理が終了したことを示すファイルをステイタスファイルとして生成する符号化工程と、
上記符号化手段により生成された当該複数の符号化データが記録媒体に対応するオーサリング処理を行うプロジェクト単位に分割された記憶手段の記憶領域に格納する記憶工程と、
多重化手段により、上記記憶手段の記憶領域から上記複数の符号化データを読み出して多重化することにより多重化データを生成し、多重化処理の終了する際に当該多重化処理が終了したことを示すファイルをステイタスファイルとして生成し、当該多重化データを記録媒体に対して記録する記録用データとして上記記憶手段の記憶領域に格納する多重化工程と、
上記ステイタスファイルを参照することにより、上記複数の符号化手段及び上記多重化手段の処理動作の状態を判断し、処理を終了した手段に対して次の処理予定の有無を判断し、次の処理予定のある手段に対して処理動作の開始を指示する情報を記述したファイルをオーダーファイルとして上記符号化手段及び上記多重化手段に与えることにより、上記符号化手段よる符号化処理及び上記多重化手段による多重化処理を開始させる制御工程と
を有し
上記制御工程では、上記オーダーファイルに基づいて符号化処理を実行させ、上記ステイタスファイルによりいずれかの符号化手段によるプロジェクトの符号化処理が終了したと判断され、かつ、次のプロジェクトの符号化処理の予定がある符号化手段に次のプロジェクトの符号化処理を開始させ、上記ステイタスファイルにより多重化処理が終了したと判断され、かつ、多重化処理の対象となる全てのデータの符号化処理が終了しているプロジェクトがある場合に、上記多重化手段による多重化処理を開始させる
ことを特徴とするデータ編集方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11314697A JP4228402B2 (ja) | 1997-04-30 | 1997-04-30 | データ編集装置及びデータ編集方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11314697A JP4228402B2 (ja) | 1997-04-30 | 1997-04-30 | データ編集装置及びデータ編集方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10304303A JPH10304303A (ja) | 1998-11-13 |
JP4228402B2 true JP4228402B2 (ja) | 2009-02-25 |
Family
ID=14604742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11314697A Expired - Fee Related JP4228402B2 (ja) | 1997-04-30 | 1997-04-30 | データ編集装置及びデータ編集方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4228402B2 (ja) |
-
1997
- 1997-04-30 JP JP11314697A patent/JP4228402B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10304303A (ja) | 1998-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100299204B1 (ko) | 고속비디오편집시스템 | |
US7190881B2 (en) | Editing apparatus and data editing method | |
EP1365401B1 (en) | Signal recording/reproducing apparatus and method | |
JP3595835B2 (ja) | 映像データ編集装置及び映像データ編集方法 | |
JPH11146330A (ja) | 編集装置及び編集方法 | |
JP3741299B2 (ja) | 映像信号処理装置及び映像信号処理方法 | |
JP2006303652A (ja) | 情報記録再生システム、情報記録再生装置及び情報記録再生方法 | |
JP2006073173A (ja) | 情報記録再生装置及び方法 | |
EP1016083A1 (en) | Editing of digital video information signals | |
JP4228402B2 (ja) | データ編集装置及びデータ編集方法 | |
US5790556A (en) | Method and apparatus for video signal processing | |
US5787224A (en) | Device for and method of editing information | |
JPH1098677A (ja) | 映像情報編集装置 | |
JP3817828B2 (ja) | オーサリング装置及び方法並びに多重化装置及び方法 | |
EP2234392B1 (en) | Material processing apparatus and material processing method | |
JP3968605B2 (ja) | オーサリング装置及びオーサリング方法 | |
JP4521336B2 (ja) | ビデオサーバシステム | |
JP3900382B2 (ja) | 映像信号処理装置及び映像信号処理方法 | |
JPH11213547A (ja) | データ作成装置および方法 | |
JP4371275B2 (ja) | Dvd再生システム | |
JPH10293990A (ja) | データ編集装置及びデータ編集方法 | |
JP2001110125A (ja) | 記録再生装置および記録再生方法 | |
JP3928208B2 (ja) | データ編集装置及びデータ編集方法 | |
JP2001128119A (ja) | 符号化データ記録再生装置、符号化データ再生装置、及び符号化データ記録媒体 | |
JP2000149509A (ja) | データ記録再生装置及びデータ記録再生方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060425 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071016 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080805 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081111 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081124 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |