JP4548226B2 - データ処理方法、その装置およびプログラム - Google Patents
データ処理方法、その装置およびプログラム Download PDFInfo
- Publication number
- JP4548226B2 JP4548226B2 JP2005157318A JP2005157318A JP4548226B2 JP 4548226 B2 JP4548226 B2 JP 4548226B2 JP 2005157318 A JP2005157318 A JP 2005157318A JP 2005157318 A JP2005157318 A JP 2005157318A JP 4548226 B2 JP4548226 B2 JP 4548226B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- klv
- processing
- storage area
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Storage Device Security (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
MXFは、複数のパックデータPACKで構成され、各パックデータPACKにはフレームデータの属性を示すインデックスデータINDEXと、単数または複数のフレームデータが含まれる。
また、各フレームデータには、システムデータ、ピクチャデータおよびサウンドデータが含まれる。
ところで、パーソナルコンピュータなどのコンピュータでは、MXF形式のファイルデータをダウンロードした後に、それを再生および編集する。
この場合に、コンピュータでは、MXF形式のファイルデータをトレースして、ピクチャデータを取り出し、これをピクチャファイル内に格納する。
また、コンピュータは、上記ピクチャファイルを解析して、ピクチャデータのGOP関連データなどの属性データを生成して管理する。
その後、コンピュータは、上記ピクチャファイルおよび属性データを基に、再生および編集などの処理を行う。
そのため、ファイルデータをダウンロードしてから再生および編集を開始できるまでに長時間を要するという問題がある。
先ず、本発明の構成と、本実施形態の構成との対応関係を説明する。
本実施形態のピクチャデータが本発明のコンテンツデータの一例である。
また、本実施形態のKLVデータのデータL、並びにインデックスデータINDEXが本発明の属性データの一例である。
図8に示すステップST11が本発明の第1の工程の一例であり、ステップST14が本発明の第2の工程の一例であり、ステップST13,ST16が本発明の第3の工程の一例である。
また、図5に示すMXF解析部31が本発明の検出手段の一例であり、ピクチャ構成部32が本発明のコンテンツ処理手段の一例であり、インデックス構成部33が本発明の属性処理手段の一例である。
また、図5に示すプログラムPRGが本発明のプログラムの一例である。
図5に示すように、コンピュータ4は、FTPサーバ3からダウンロードしたMXFのファイルデータFILEを入力MXF用メモリ22に格納する。
そして、処理回路23のMXF解析部31が、ファイルデータFILEを構成するKLVデータのキーKを基に、ピクチャデータを格納したKLVデータのデータL,Vをピクチャ構成部32に出力し、インデックスデータINDEXを格納したKLVデータのデータVをインデックス構成部33に出力する。
ピクチャ構成部32は、ピクチャデータであるデータVをピクチャメモリ24に記憶された画像ファイルデータIFDに追加する。
また、ピクチャ構成部32は、ピクチャデータのデータLを基にインデックスメモリ25に記憶された属性管理データPMDを更新する。
また、インデックス構成部33は、MXF解析部31から入力したKLVデータのデータV(インデックスデータINDEX)を基に、上記属性管理データPMDを更新する。
すなわち、コンピュータ4では、画像ファイルデータIFDの生成と並行して、属性管理データPMDの生成(更新)を行う。
図1は、本発明の実施形態に係わる通信システム1の全体構成図である。
図1に示すように、通信システム1は、例えば、FTP(File Transfer Protorol)サーバ3およびコンピュータ4を有し、これらがネットワーク2を介して通信する。
先ず、通信システム1で用いられるMXFのファイルデータFILEについて説明する。
図2は、図1に示す通信システム1で用いられるMXFフォーマットのファイルデータFILEを説明するための図である。
MXFは、SMPTE(Society of Motion Picture & Television Engineers: 米国映画テレビ技術者協会)より発行されているSMPTE−377Mで規定されている規格である。
ProMPEGフォーラムで検討されたこの規格は、主に業務用途機器での相互互換性を目的とした映像コンテンツ用フォーマットであり、映像データ・音声データ・メタデータを1つのファイルにまとめることができること、映像データ・音声データのコーデックに依存しないことを特徴としており、デジタルアーカイブ、コンテンツ配信、ノンリニア編集等の用途に使用されている。
ヘッダデータHEADERは、ヘッダパーティションパックHPPおよびメタデータMETAなどで構成される。
ヘッダパーティションパックHPPは、ファイルデータFILE全体に対しての属性データを示す。
ヘッダパーティションパックHPPは、例えば、Closed partitionを示す場合には、ファイルデータFILEに含まれるフレームデータの数であるフレーム数をメタデータMETA内で示すことができる。
また、メタデータMETAは、その他、例えば、フレームデータに関するタイムコード、欠落フレームデータを特定するためのデータ、上記フレーム数(Duration)などを含む。
パックデータPACKは、ボディーパーティションパックBPPによって区分けされている。
パックデータPACKの各々は、図2に示すように、インデックスデータINDEXと、単数または複数の複数の編集ユニットデータEUを含む。
GOP関連データは、例えば、フレーム番号(Frame Number)、テンポラルオフセット(Temporal Offset)、キーフレームオフセット(Key Frame Offset)およびフラグ(Flags)などを示している。
フレーム番号は、対象となるフレームを識別するために付けられた番号を示す。
テンポラルオフセットは、図3に示すように、表示順から符号化順までの編集ユニットデータEU内でのオフセットを示す。
キーフレームオフセットは、キーフレームまでの編集ユニットデータEU内でのオフセットを示す。
フラグは、フレームデータがI Frame (Intra Frame:フレーム内符号化)か、前(過去)のI Frameとの相関性を利用したタイプをP Frame(Predicted Frame:順方向予測符号化)、前後(過去と未来)のI Frameとの相関性を使って圧縮したフレームをB Frame(Bi-directional predicted Frame:双方向予測符号化)といったI/P/Bフレーム情報フレームがI,P,Bの何れであるかを示す。
システムデータSYSは、例えば、ビデオデータPICおよびオーディオデータSOUのフォーマットや種別を示す。
システムデータSYSは、例えば、MXF_Dのフォーマット(例えば、SMPTEで規格化されたD10)、並びにそのフォーマット内で種別(例えば、SMPTEで規格化されたIMX50_625,IMX40_625,IMX30_625,IMX50_525,IMX40_525,IMX30_525など)を示す。
システムデータSYSは、上記以外に、例えば、符号化方式、タイムコード、データMXF_Dの識別データであるUMID(Unique Material IDentifier)などを示す。
オーディオデータSOUは、AES(Audio Engineering Society) 3などで符号化されたオーディオデータである。
このように、ファイルデータFILEは、ビデオデータPICとオーディオデータSOUとがインターリーブされた状態(混在した状態)で格納する。
図4は、KLVデータを説明するための図である。
図4に示すように、KLVデータは、キーK、データ長LおよびデータVで構成される。
キーK、データ長Lは、各々固定長のデータであり、キーKは例えばデータVの内容(種類)の識別データであり、データ長LはデータVのデータ長を示す。
また、データVは、データ本体を示す。
KLVデータは、データ(V)としてKLVデータを用いることができる。
KLVデータの解析処理を行なうには、固定長のキーKを読み込んでデータ種類の判別を行って、固定長のデータLを読み込んでデータVの長さを割り出して、その長さ分だけデータVとして読み込んで処理をする。
そして、上記K,L,Vの単位での3処理をファイルの先頭から順に終了まで繰り返すことにより、KLVデータ全体を解析することができる。
MXFのファイルFILEは、上述したKLVデータで構成されるため、その基本的な解析処理は上述したKLVデータの解析処理と同様に行なうことができる。
FTPサーバ3は、上述したMXFのファイルデータFILEを、ネットワーク2を介してコンピュータ4に送信する。
コンピュータ4では、FTPサーバ3からMXFデータをダウンロードし、その再生処理および編集処理を行う。
図5は、図1に示すコンピュータ4の構成図である。
図5に示すように、コンピュータ4は、例えば、インターフェース21、入力MXF用メモリ22、処理回路23、ピクチャメモリ24、インデックスメモリ25、ディスプレイ26、メモリ27および操作部28を有する。
入力MXF用メモリ22は、インターフェース21が受信した上記MXFのファイルデータFILEを記憶する。
具体的には、MXF解析部31は、ファイルデータFILEを構成するKLVデータの固定長のキーKを読み込んでデータ種類の判別を行って、固定長のデータLを読み込んでデータVの長さを割り出して、その長さ分だけデータVとして読み込んで処理する。
そして、MXF解析部31は、上記読み込んだKVLデータのキーKがピクチャデータを示す場合に、そのKLVデータのデータLと、データV(ピクチャデータ)とをピクチャ構成部32に出力する。
このとき、MXF解析部31は、KLVデータのデータLを基に、それに続く当該データ長V分のピクチャデータをデータVとしてピクチャ構成部32に出力する。
ピクチャ構成部32は、図6に示すように、各対象ピクチャデータについて、MXF解析部31から入力したデータLが示すデータ長を先頭ピクチャデータから対象ピクチャデータの一つ前のピクチャデータを累積してピクチャオフセット(Picture Offset)を算出し、これをインデックスメモリ25に記憶された図6に示す属性管理データPMD内の当該対象ピクチャデータに対応付けられた項目に格納する。
また、ピクチャ構成部32は、図6に示すように、各対象ピクチャデータのデータLを、ピクチャサイズ(Picture Size)として、図6に示す属性管理データPMD内の当該対象ピクチャデータに対応付けられた項目に格納する。
すなわち、インデックス構成部33は、上記GOP関連データが示すフレーム番号(Frame Number)、テンポラルオフセット(Temporal Offset)、キーフレームオフセット(Key Frame Offset)、フラグ(Flags)を、上記属性管理データPMD内の対応する項目に格納する。
図8は、図8に示すコンピュータ4の動作例(Unwrap)を説明するためのフローチャートである。
ステップST11:
処理回路23のMXF解析部31が、入力MXF用メモリ22から、例えば、図2、図6および図7に示すMXFのファイルデータFILEを、KLVデータ単位で読み出す。
処理回路23のMXF解析部31が、ステップST11で読み出したKLVデータのキーKを基に、当該KLVデータがピクチャデータに関するものであるか否かを判断し、ピクチャデータに関すると判断した場合にはステップST13に進み、そうでない場合にはステップST15に進む。
処理回路23のMXF解析部31が、ステップST11で読み出したKLVデータのデータLをピクチャ構成部32に出力する。
ピクチャ構成部32は、図6に示すように、各対象ピクチャデータについて、MXF解析部31から入力したデータLが示すデータ長を先頭ピクチャデータから対象ピクチャデータの一つ前のピクチャデータを累積してピクチャオフセット(Picture Offset)を算出し、これをインデックスメモリ25に記憶された図6に示す属性管理データPMD内の当該対象ピクチャデータに対応付けられた項目に格納する。
また、ピクチャ構成部32は、図6に示すように、各対象ピクチャデータのデータLを、ピクチャサイズ(Picture Size)として、図6に示す属性管理データPMD内の当該対象ピクチャデータに対応付けられた項目に格納する。
処理回路23のMXF解析部31が、ステップST11で読み出したKLVデータのデータVをピクチャ構成部32に出力する。
ピクチャ構成部32は、MXF解析部31から入力したデータV(ピクチャデータ)を、図7に示すように、ピクチャメモリ24に格納された画像ファイルデータIFDに追加する。
その後、処理回路23は、ステップST17に進む。
処理回路23のMXF解析部31が、ステップST11で読み出したKLVデータのキーKを基に、当該KLVデータがインデックスデータINDEXに関するものであるか否かを判断し、インデックスデータINDEXに関すると判断した場合にはステップST16に進み、そうでない場合にはステップST17に進む。
処理回路23のMXF解析部31が、ステップST11で読み出したKLVデータのデータV(インデックスデータINDEX)をインデックス構成部33に出力する。
インデックス構成部33は、MXF解析部31から入力したインデックスデータINDEXが示す前述したGOP関連データを、インデックスメモリ25に記憶された図6に示す属性管理データPMDに登録する。
すなわち、インデックス構成部33は、上記GOP関連データが示すフレーム番号(Frame Number)、テンポラルオフセット(Temporal Offset)、キーフレームオフセット(Key Frame Offset)、フラグ(Flags)を、上記属性管理データPMD内の対応する項目に格納する。
処理回路23のMXF解析部31は、ファイルデータFILEを構成する全てのKLVデータの解析を終了したか否かを判断し、終了していないと判断するとステップST11に戻る。
処理回路23は、上述したステップST17の処理を終了後、操作部28からの操作信号に応じて、インデックスメモリ25に記憶された属性管理データPMDを基に、ピクチャメモリ24に記憶された画像ファイルデータIFDの再生処理あるいは編集処理を行う。
すなわち、コンピュータ4では、従来のように、画像ファイルデータIFDを生成した後に、これを解析して属性管理データを生成するのではなく、画像ファイルデータIFDを生成する過程で、属性管理データPMDも生成する。
そのため、コンピュータ4によれば、ファイルデータFILE全体のトレースを完了した時点で、画像ファイルデータIFDをピクチャメモリ24に格納せせると共に、属性管理データPMDをインデックスメモリ25に格納させることができる。
これにより、コンピュータ4によれば、ファイルデータFILEの解析処理を開始してから、画像ファイルデータIFDおよび属性管理データPMDを従来に比べて短時間で生成できる。
また、コンピュータ4によれば、画像ファイルデータを生成後に、それの解析処理を不要にできる。
上述した実施形態では、本発明の「コンテンツデータと当該コンテンツデータの属性を示す属性データとが混在したデータ」として、MXFのファイルデータFILEを例示したが、本発明はこれに限定されるものではない。
Claims (3)
- データの種類を示すキーKと、データの長さを示すデータ長Lと、データ本体を示すデータVとの2つの値の組を1単位とするKLVデータを複数含むファイルデータを処理するデータ処理装置のデータ処理方法であって、
前記データ処理装置の解析手段が、前記ファイルデータをKLVデータ単位で読み出す第1の工程と、
前記解析手段が、前記読み出したKLVデータのキーKを基に、当該KLVデータが符号化画像データに関するものであるか否かを判定する第2の工程と、
前記第2の工程において、前記KLVデータが符号化画像データに関するものであると判定された場合に、前記データ処理装置の第1処理手段が、当該KLVデータのデータ長Lを第1の記憶領域に格納する第3の工程と、
前記第1処理手段が、前記第3の工程における前記KLVデータのデータVを第2の記憶領域に格納する第4の工程と、
前記第2の工程において、前記KLVデータが符号化画像データに関するものではないと判定された場合に、前記解析手段が、前記読み出したKLVデータのキーKを基に、当該KLVデータが前記符号化画像データの属性を示すインデックスデータに関するものであるか否かを判定する第5の工程と、
前記第5の工程において、前記KLVデータがインデックスデータに関するものであると判定された場合に、前記データ処理装置の第2処理手段が、当該インデックスデータを前記第1の記憶領域に格納する第6の工程と、
前記ファイルデータの全てのKLVデータに対して前記第1から第6の工程が実行されたことを条件に、前記データ処理装置の処理回路が、前記第1の記憶領域に記憶されたデータを基に前記第2の記憶領域に格納された符号化画像データであるデータVの再生及び/または編集処理を行う第7の工程と、
を有するデータ処理方法。 - データの種類を示すキーKと、データの長さを示すデータ長Lと、データ本体を示すデータVとの2つの値の組を1単位とするKLVデータを複数含むファイルデータを処理するデータ処理装置であって、
前記ファイルデータをKLVデータ単位で読み出し解析を行う解析手段と、
符号化画像データであるKLVデータのデータVを第2の記憶領域に格納する第1処理手段と、
符号化画像データであるKLVデータのデータ長L及び前記符号化画像データの属性を示すインデックスデータであるKLVデータのデータVを第1の記憶領域に格納する第2処理手段と、
前記第1の記憶領域に記憶されたデータを基に前記第2の記憶領域に格納された符号化画像データであるデータVの再生及び/または編集処理を行う処理回路と、
を有し、
前記解析手段が、前記読み出したKLVデータのキーKを基に、当該KLVデータが符号化画像データに関するものであるか否かを判定し、
前記KLVデータが符号化画像データに関するものであると判定された場合に、前記第1処理手段が、当該KLVデータのデータ長Lを第1の記憶領域に格納し、前記第1処理手段が、前記KLVデータのデータVを第2の記憶領域に格納し、
前記KLVデータが符号化画像データに関するものではないと判定された場合に、前記解析手段が、前記読み出したKLVデータのキーKを基に、当該KLVデータが前記符号化画像データの属性を示すインデックスデータに関するものであるか否かを判定し、前記KLVデータがインデックスデータに関するものであると判定された場合に、当該インデックスデータを前記第1の記憶領域に格納する
データ処理装置。 - データの種類を示すキーKと、データの長さを示すデータ長Lと、データ本体を示すデータVとの2つの値の組を1単位とするKLVデータを複数含むファイルデータを処理するデータ処理装置が有するコンピュータの実行するプログラムであって、
前記ファイルデータをKLVデータ単位で読み出す第1の手順と、
前記読み出したKLVデータのキーKを基に、当該KLVデータが符号化画像データに関するものであるか否かを判定する第2の手順と、
前記第2の手順において、前記KLVデータが符号化画像データに関するものであると判定された場合に、当該KLVデータのデータ長Lを第1の記憶領域に格納する第3の手順と、
前記第3の手順における前記KLVデータのデータVを第2の記憶領域に格納する第4の手順と、
前記第2の手順において、前記KLVデータが符号化画像データに関するものではないと判定された場合に、前記読み出したKLVデータのキーKを基に、当該KLVデータが前記符号化画像データの属性を示すインデックスデータに関するものであるか否かを判定する第5の手順と、
前記第5の手順において、前記KLVデータがインデックスデータに関するものであると判定された場合に、当該インデックスデータを前記第1の記憶領域に格納する第6の手順と、
前記ファイルデータの全てのKLVデータに対して前記第1から第6の手順が実行されたことを条件に、前記第1の記憶領域に記憶されたデータを基に前記第2の記憶領域に格納された符号化画像データであるデータVの再生及び/または編集処理を行う第7の手順と、
を前記コンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005157318A JP4548226B2 (ja) | 2005-05-30 | 2005-05-30 | データ処理方法、その装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005157318A JP4548226B2 (ja) | 2005-05-30 | 2005-05-30 | データ処理方法、その装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006333330A JP2006333330A (ja) | 2006-12-07 |
JP4548226B2 true JP4548226B2 (ja) | 2010-09-22 |
Family
ID=37554499
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005157318A Expired - Fee Related JP4548226B2 (ja) | 2005-05-30 | 2005-05-30 | データ処理方法、その装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4548226B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4679609B2 (ja) | 2008-06-05 | 2011-04-27 | 株式会社東芝 | 映像収録再生装置、映像収録方法及び映像再生方法 |
JP4686587B2 (ja) | 2008-10-16 | 2011-05-25 | 株式会社東芝 | 映像記録再生装置およびファイル管理方法 |
JP5392602B2 (ja) * | 2009-03-11 | 2014-01-22 | 日本電気株式会社 | Mxfデータ検索装置、mxfデータの検索方法、及びmxfデータ検索プログラム |
JP5306415B2 (ja) * | 2011-05-30 | 2013-10-02 | 株式会社東芝 | ビデオサーバ、mxfファイル再生方法 |
JP6075060B2 (ja) * | 2012-12-26 | 2017-02-08 | 日本電気株式会社 | 情報処理装置 |
CN111541901B (zh) * | 2020-05-11 | 2022-05-27 | 网易(杭州)网络有限公司 | 图片解码的方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003134435A (ja) * | 2001-10-30 | 2003-05-09 | Matsushita Electric Ind Co Ltd | 映像データ送信方法及び映像データ受信方法、並びに映像監視システム |
JP2005004853A (ja) * | 2003-06-11 | 2005-01-06 | Sony Corp | 記録制御装置および方法、プログラム、並びに記録媒体 |
-
2005
- 2005-05-30 JP JP2005157318A patent/JP4548226B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003134435A (ja) * | 2001-10-30 | 2003-05-09 | Matsushita Electric Ind Co Ltd | 映像データ送信方法及び映像データ受信方法、並びに映像監視システム |
JP2005004853A (ja) * | 2003-06-11 | 2005-01-06 | Sony Corp | 記録制御装置および方法、プログラム、並びに記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2006333330A (ja) | 2006-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4421156B2 (ja) | 画像再生装置および画像記録再生装置 | |
CN101958136B (zh) | 视频音频记录再现装置和视频音频记录再现方法 | |
EP1111612B1 (en) | Method and device for managing multimedia file | |
US7139470B2 (en) | Navigation for MPEG streams | |
US20070201832A1 (en) | Recording apparatus, recording method, program for recording method, recording medium recording program for recording method, reproducing apparatus, reproduction method, program for reproduction method, and recording medium recording program for reproduction method | |
US8676038B2 (en) | Recording/reproducing apparatus, recording apparatus, reproducing apparatus, recording method, reproducing method and computer program | |
JP2006528472A (ja) | 記録装置、編集装置、デジタルビデオ記録システムおよびファイルフォーマット | |
JP4548226B2 (ja) | データ処理方法、その装置およびプログラム | |
US20100098161A1 (en) | Video encoding apparatus and video encoding method | |
US8145041B2 (en) | Video processing device | |
JP2006303652A (ja) | 情報記録再生システム、情報記録再生装置及び情報記録再生方法 | |
JP4552802B2 (ja) | 記録装置、記録方法、記録方法のプログラム及び記録方法のプログラムを記録した記録媒体 | |
JP4115061B2 (ja) | 記録メディアとこれを用いる映像記録/再生装置 | |
KR101051063B1 (ko) | 영상 수록 재생 장치, 영상 수록 방법, 영상 재생 방법 및 영상 수록 재생 방법 | |
US8059167B2 (en) | Shooting apparatus and shooting method, and program | |
KR100676723B1 (ko) | 영상 재생 장치 | |
JP2012170054A (ja) | 映像記録装置、映像再生装置および映像復旧装置 | |
KR20000029339A (ko) | 정보 기억 매체, 동화(動畵) 음성 기록 재생 장치, 및동화 음성 기록 재생 방법 | |
KR100789380B1 (ko) | 객체 치환이 가능한 대화형 컨텐츠 재생 장치 및 그 방법 | |
JP2003289495A (ja) | 動画像処理装置 | |
JP2006279147A (ja) | インデックスファイル作成装置および動画編集装置 | |
JP2008294883A (ja) | データ記録装置、データ再生装置、データ記録再生システムおよびデータ再生プログラム | |
JP2006067142A (ja) | 復号装置 | |
JPH11341437A (ja) | 符号化装置、符号化方法、復号装置及び復号方法 | |
JP2006157343A (ja) | 静止画作成方法及び静止画作成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100119 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100615 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100628 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |