JP4891520B2 - 動画像編集装置 - Google Patents

動画像編集装置 Download PDF

Info

Publication number
JP4891520B2
JP4891520B2 JP2003057050A JP2003057050A JP4891520B2 JP 4891520 B2 JP4891520 B2 JP 4891520B2 JP 2003057050 A JP2003057050 A JP 2003057050A JP 2003057050 A JP2003057050 A JP 2003057050A JP 4891520 B2 JP4891520 B2 JP 4891520B2
Authority
JP
Japan
Prior art keywords
image
track
timeline
audio
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003057050A
Other languages
English (en)
Other versions
JP2004266721A (ja
Inventor
俊文 江草
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Priority to JP2003057050A priority Critical patent/JP4891520B2/ja
Publication of JP2004266721A publication Critical patent/JP2004266721A/ja
Application granted granted Critical
Publication of JP4891520B2 publication Critical patent/JP4891520B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ディジタルビデオ(DV)映像などの非圧縮動画像、各種圧縮形式による動画像を編集するための動画像編集装置および動画像編集支援方法に関する。
【0002】
【従来の技術】
ビデオ機器の普及に伴って、放送局や番組制作会社のみならず、一般家庭においても動画像編集を行う場合が多くなってきている。特に、ディジタルビデオカメラにより撮影されたDV映像はそのままパーソナルコンピュータ(PC)に取り込んで編集することが可能である。また、アナログビデオやアナログTV映像についても、ビデオキャプチャ用のハードウェアおよびソフトウェアをPC上に搭載することにより、デジタル的に編集処理することが可能となる。
【0003】
また、MPEGやQuick Time(登録商標)などの各種圧縮形式による動画像データがインターネット上で公開されており、著作権を侵害しない範囲でこれら動画像データを加工して楽しむことも行われている。
このような動画像データは、時系列に配列される複数のフレーム単位の画像データとこの画像データに対応する音声データとを含むものであり、画像データと音声データとで構成されるビデオクリップや音声データを含まない動画像データや静止画像データを含む画像素材、音声データでなるオーディオクリップなどの音声素材などを適宜結合することによって編集される。
【0004】
PC上で動画像を編集するためのツールは種々提案されており、画像素材の再生画面を表示するための再生ウィンドウ、編集後の画像を再生して確認するためのプレビューウィンドウ、再生ウィンドウやプレビューウィンドウに表示される画像データの制御を行うための制御コマンド入力用ボタン、編集元となる画像素材や音声素材の時間軸方向の位置を示すための表示トラックをクリップ毎に設定するとともに、編集後の動画像データの時間軸方向の位置情報を表示するトラック表示部などを備えたものが一般的である(たとえば、特許文献1)。
【0005】
【特許文献1】
特開平10−200855号公報
【0006】
【発明が解決しようとする課題】
特許文献1にもあるように、従来の動画像編集用ツールでは、複数のビデオクリップやオーディオクリップを結合して動画像データを編集する際に、各ビデオクリップに対応する画像トラックと音声トラックとを分離し、画像トラック同士および音声トラック同士を集約して配置し表示することが行われる。
また、異なるビデオクリップに属する画像トラックは、上下にずらした位置に表示しており、結合するビデオクリップ数が増加すると表示トラック数が多くなり、トラック表示部の表示スペースが大きくなる。
【0007】
さらに、2つの画像トラックの切り替え部分にワイプやディゾルブ、その他の視覚効果を与える場合には、2つの画像トラックを時間軸方向にオーバーラップするトランジション部を設け、視覚エフェクトを設定するためのトランジション表示用のトラックをさらに設けることが考えられる。この場合には、さらにトラック表示部の表示スペースが大きくなるという問題がある。
また、ビデオクリップ中の音声トラックやオーディオクリップについても、2つの音声トラックの切り替え部分にフェードアウト、フェードイン、その他の音声エフェクトを与えるような場合には、2つの音声トラックを時間軸方向にオーバーラップするトランジション部が設けられる。特許文献1にもあるように、音声トラックのタイムラインには、その帯形状の表示中に音量などの情報が表示可能となっている場合が多く、トランジション部を備える複数の音声トラックを1本のタイムラインに統合することが困難である。
【0008】
前述したように、各ビデオクリップ中の画像トラックと音声トラックは分離されて画像トラック同士、音声トラック同士が集約されて表示するように構成されるため、結合するビデオクリップ数が増えてくると、1つのビデオクリップに属する画像トラックと音声トラックの距離が離れていき、画面をスクロールさせなければ見ることができなくなるおそれもある。この場合、画像と音声との同期を取ったり、画像トラックと音声トラックの時間軸方向の細かい編集を行うための作業が煩雑になるという問題がある。編集ソフトによっては、画像トラックを上方向に積み上げるように表示し、音声トラックを逆に下方向にずらせて表示するように構成されたものも存在する。この場合には、1つのビデオクリップに属する画像トラックと音声トラックとの上下方向の距離がさらに遠くなっていき、編集作業が煩雑となる。
【0009】
本発明では、画像素材中の画像トラックと音声トラックを見やすく表示して、複数の画像素材や音声素材を用いた動画像編集作業を容易になるように支援することを目的とする。
【0010】
【課題を解決するための手段】
本発明の請求項1に係る動画像編集装置は、画像データおよび静止画像データなどの画像素材を用いて編集動画像データを生成するための動画像編集装置であって、各画像素材に含まれる画像データ毎の時間軸方向の位置を表示する表示トラックを設定する表示トラック設定手段を備え、前記表示トラックの画像トラックは、第1の画像素材及び第2の画像素材の画像データの時間軸方向の位置をそれぞれ示す第1の画像タイムライン及び第2の画像タイムラインと、当該第1の画像タイムラインと第2の画像タイムラインとが重合する部分に視覚エフェクトが設定された画像トランジションラインとの集合で構成され、第1の画像タイムラインと前記第2の画像タイムラインとは時間軸方向に沿った1本の帯形状で表示された状態で前記重合する部分が形成され、さらに当該重合する部分に視覚エフェクトが設定されて、前記画像トランジションラインが形成される
【0011】
この場合、1つのビデオクリップに含まれる画像データと音声データとが隣接するトラックに表示されるため、数多くの画像素材や音声素材を用いて編集を行う際に、画像データと音声データの対応を見失うことがなく、編集作業も容易になる
さらに、表示トラックが画面に占める面積を小さく構成でき、次に編集に用いる画像素材や音声素材が表示トラックに近接して表示できるため、編集作業を容易に行うことができる。
【0012】
本発明の請求項2に係る動画像編集装置は請求項1に記載の動画像編集装置であって、前記表示トラック設定手段は、さらに音声トラックを表示し、前記音声トラックは、各音声素材の音声データの時間軸方向の位置を示す音声タイムラインと、各音声タイムラインが重合する部分の音声データに音声エフェクトが設定された音声トランジションラインとの集合で構成され、前記音声タイムラインは時間軸方向に沿った1本の帯形状で表現される。
この場合、表示トラックが画面に占める面積をさらに小さく構成でき、次に編集に用いる画像素材や音声素材が表示トラックに近接して表示できるため、編集作業を容易に行うことができる。
【0013】
本発明の請求項3に記載の動画像編集方法は、画像データおよび静止画像データなどの画像素材を用いて編集動画像データを生成するための動画像編集装置における動画像編集方法であって、各画像素材に含まれる画像データ毎の時間軸方向の位置を表示する表示トラックを設定し、前記表示トラックの画像トラックに、第1の画像素材及び第2の画像素材の画像データの時間軸方向の位置をそれぞれ示す第1の画像タイムラインと第2の画像タイムラインとを表示し、前記第1の画像タイムラインと前記第2の画像タイムラインとが時間軸方向に沿った一本の帯状で表示された状態で重合する部分を形成し、さらに当該重合する部分に視覚エフェクトを設定して画像トランジションを形成する
この場合、1つのビデオクリップに含まれる画像データと音声データとが隣接するトラックに表示されるため、数多くの画像素材や音声素材を用いて編集を行う際に、画像データと音声データの対応を見失うことがなく、編集作業も容易になる。
【0014】
本発明の請求項4に係るプログラムは、画像データおよび静止画像データなどの画像素材を用いて編集動画像データを生成するための動画像編集装置における動画像編集方法のプログラムであって、各画像素材に含まれる画像データ毎の時間軸方向の位置を表示する表示トラックを設定し、前記表示トラックの画像トラックに、第1の画像素材及び第2の画像素材の画像データの時間軸方向の位置をそれぞれ示す第1の画像タイムラインと第2の画像タイムラインとを表示し、前記第1の画像タイムラインと前記第2の画像タイムラインとが時間軸方向に沿った1本の帯形状で表示された状態で重合する部分を形成し、さらに当該重合する部分に視覚エフェクトを設定して、画像トランジションラインを形成することをコンピュータに実行させる。
【0015】
この場合、パーソナルコンピュータやワークステーションなどの一般的なコンピュータを動画像編集装置として機能させることが可能となり、その際における動画像データの編集作業を容易に行うことが可能となる。
【0016】
【発明の実施の形態】
〈概要構成〉
本発明の1実施形態が採用される動画像編集装置の概略構成を図1に基づいて説明する。この動画像編集装置は、一般的なパーソナルコンピュータ(PC)に動画像編集用ソフトウェアをインストールすることで動画像編集装置として機能させるように構成できる。
この動画像編集装置は、各部を制御するためのCPU10、BIOSなどの基本的な制御プログラムや各種パラメータが格納されROM11、各種変数の値を一時的に格納するRAM12、各種情報を表示するためにCRTや液晶ディスプレイなどで構成されるモニタ14、モニタ14に表示するための画像データを格納するフレームバッファメモリ(VRAM)13、キーボードやマウス、その他のポインティングデバイスなどで構成される入力部15、ビデオテープレコーダ(VTR)19に接続され画像データを入出力するビデオインターフェイス16、VTR19に接続される音声データを入出力するオーディオインターフェイス17、画像データを圧縮して圧縮画像データを生成し、圧縮画像データを伸張して再生する画像圧縮伸張部18、ハードディスクや光磁気ディスク、その他の記憶媒体に対してデータの入出力を行うための記憶手段20などを備えている。
【0017】
〈編集動作〉
ハードディスクなどの記憶手段20に格納されている動画像編集ソフトをRAM12上で展開し編集作業を開始した場合の画面構成例を図2に示す。
図2に示すように、動画像編集画面100は、再生画像を表示するための第1再生ウィンドウ110、第2再生ウィンドウ120、画像素材の各トラックを表示するためのVAトラック表示部200、タイトルモーションを設定するためのタイトルトラック表示部300、音声データのみの素材を配置可能なオーディオトラック表示部310などを備えている。
【0018】
第1再生ウィンドウ110は、編集対象となる画像素材や編集後の動画像データの再生画像を表示するものであり、再生画像の制御を行うための停止ボタン111、巻き戻しボタン112、コマ戻しボタン113、再生ボタン114、コマ送りボタン115、早送りボタン116、ポーズボタン117などが再生ウィンドウ110の下方に配置されている。
第2再生ウィンドウ120は、編集対象となる画像素材や編集済みの動画像データの再生画像を表示するものであり、再生画像の制御を行うための停止ボタン121、巻き戻しボタン122、コマ戻しボタン123、再生ボタン124、コマ送りボタン125、早送りボタン126、ポーズボタン127などが第2再生ウィンドウ120の下方に配置されている。
【0019】
VAトラック表示200の上部には、時間軸目盛りを示すタイムスケール320が設けられており、下方には時間軸方向のスクロールを行うためのスクロールバー330が設けられている。
VAトラック表示部200は、画像データと音声データとを備えるビデオクリップや音声データを含まない動画像データや静止画像データの編集を行うために、画像素材毎に画像トラックと音声トラックとを1対にして表示するように構成されている。図2では、第1VAトラック210〜第3VAトラック230の3つのVAトラックを表示するように構成されており、編集後の編集動画像データの時間軸方向の情報を第1VAトラック210に表示するように構成している。
【0020】
第1VAトラック210は画像トラック211と音声トラック212とを備えており、それぞれビデオクリップの画像データの時間軸方向の位置情報を示す画像タイムラインおよび音声データの時間軸方向の位置情報を示す音声タイムラインを表示するように構成されている。図においては、第1ビデオクリップに対応する第1画像タイムライン213と第1音声タイムライン214がそれぞれ画像トラック211と音声トラック212に配置されており、その後に第2ビデオクリップに対応する第2画像タイムライン215と第2音声タイムライン216とがそれぞれ画像トラック211と音声トラック212に配置されている。
【0021】
第1画像タイムライン213と第2画像タイムライン215とは、画像トランジション部217で重ね合わせられており、所定の視覚エフェクトが設定できるように構成されている。この画像トランジション部217における視覚エフェクトは、予め視覚エフェクトテーブルを用意しておき、所定の操作により視覚エフェクト選択メニューを表示して選択できるように構成することができる。
また、第1音声タイムライン214と第2音声タイムライン216とは、音声トランジション部218で重ね合わせられており、所定の音声エフェクトが設定できるように構成されている。この音声トランジション部218における音声エフェクトは、予め音声エフェクトテーブルを用意しておき、所定の操作により音声エフェクト選択メニューを表示して選択できるように構成することができる。
【0022】
このようにして、画像素材である第1ビデオクリップと第2ビデオクリップを元にして編集して得られた編集動画像データの画像タイムラインおよび音声タイムラインは、それぞれ第1VAトラック210の画像トラック211および音声トラック212に表示される。
次に編集元として利用する画像素材を呼び出した場合には、第2VAトラック220に表示される。この第2VAトラック220は同様にして画像トラック221と音声トラック222とを備える構成であり、1つのビデオクリップに含まれる画像データの時間軸方向の位置情報および音声データの時間軸方向の位置情報をそれぞれ画像トラック221および音声トラック222に表示する構成になっている。図では、第3ビデオクリップに対応する第3画像タイムライン223および第3音声タイムライン224がそれぞれ画像トラック221および音声トラック222に表示されている。
【0023】
さらに次のビデオクリップを読み込んだ場合には、第3VAトラック230の画像トラック231および音声トラック232にそれぞれ画像タイムラインおよび音声タイムラインが表示されることとなる。
また、第1VAトラック210および第2VAトラック220に対応する動画像データを用いて行った編集が完了した場合、第2VAトラック220の画像トラック221に表示されている第3画像タイムライン223および画像トラック222に表示されている第3音声タイムラインが第1VAトラック210上に移行し、新たに画像トランジションや音声トランジションなどが設定されて表示される。第2VAトラック220に第3ビデオクリップに対応する第3画像タイムライン223および第3音声タイムライン224を残したままで編集を続行することも可能であり、また、これらを削除して新たなビデオクリップを呼び出して対応するタイムラインを第2VAトラック220上に表示するように構成することも可能である。
【0024】
編集された動画像データを確認する場合には、第1再生ウィンドウ110および第2再生ウィンドウ120のうちいずれかを選択して、その下方にある再生ボタン114または124をクリックすることで、第1VAトラック210上に表示されている編集動画像データを第1再生ウィンドウ110または第2再生ウィンドウ120内で再生表示させることができる。このとき、VAトラック表示部200内に設定されているタイムラインカーソル340が時間経過に対応して移動し、現再生ウィンドウ上で再生表示している編集動画像データの時間軸方向の位置が認識できるように構成されている。
【0025】
このように、1つのビデオクリップに属する画像タイムラインと音声タイムラインを対にして隣接したトラックに表示することにより、画面をスクロールさせるなどの煩雑な作業をすることなく容易に編集作業を行うことが可能となる。また、画像データおよび音声データをそれぞれトランジション部を含めた1本の帯形状に表示することが可能であることから、各タイムラインの表示スペースが小さくなり、画像素材や音声素材のタイムラインが離れて見づらいという問題を解消することができる。特に、数多くのビデオクリップや音声クリップなどの素材を合成して編集動画像データを生成する際には、画像トラックおよび音声トラックの上下方向の表示幅をコンパクトにまとめることが可能となり、編集作業を簡素化することができる。
【0026】
〈他の実施形態〉
VAトラック表示部200内における第1VAトラック210〜第2VAトラック230の表示順は上下逆であってもよく、必要に応じて表示順を変更可能とすることもできる。
第1再生ウィンドウ110および第2再生ウィンドウ120はいずれか一方だけでもよく、3つ以上の再生ウィンドウを設けることも可能である。
【0027】
【発明の効果】
本発明によれば、1つのビデオクリップに含まれる画像データと音声データとが隣接するトラックに表示されるため、数多くの画像素材や音声素材を用いて編集を行う際に、画像データと音声データの対応を見失うことがなく、編集作業も容易になる。
【図面の簡単な説明】
【図1】本発明の第1実施形態が採用される動画像編集装置の制御ブロック図。
【図2】本発明の画面構成を示す説明図。

Claims (4)

  1. 画像データおよび静止画像データなどの画像素材を用いて編集動画像データを生成するための動画像編集装置であって、
    各画像素材に含まれる画像データ毎の時間軸方向の位置を表示する表示トラックを設定する表示トラック設定手段を備え、
    前記表示トラックの画像トラックは、第1の画像素材及び第2の画像素材の画像データの時間軸方向の位置をそれぞれ示す第1の画像タイムライン及び第2の画像タイムラインと、当該第1の画像タイムラインと第2の画像タイムラインとが重合する部分に視覚エフェクトが設定された画像トランジションラインとの集合で構成され、
    第1の画像タイムラインと前記第2の画像タイムラインとは時間軸方向に沿った1本の帯形状で表示された状態で前記重合する部分が形成され、さらに当該重合する部分に視覚エフェクトが設定されて、前記画像トランジションラインが形成される、前記動画像編集装置。
  2. 前記表示トラック設定手段は、さらに音声トラックを表示し、
    前記音声トラックは、各音声素材の音声データの時間軸方向の位置を示す音声タイムラインと、各音声タイムラインが重合する部分の音声データに音声エフェクトが設定された音声トランジションラインとの集合で構成され、前記音声タイムラインは時間軸方向に沿った1本の帯形状で表現される、請求項1に記載の動画像編集装置。
  3. 画像データおよび静止画像データなどの画像素材を用いて編集動画像データを生成するための動画像編集装置における動画像編集方法であって、
    各画像素材に含まれる画像データ毎の時間軸方向の位置を表示する表示トラックを設定し、
    前記表示トラックの画像トラックに、第1の画像素材及び第2の画像素材の画像データの時間軸方向の位置をそれぞれ示す第1の画像タイムラインと第2の画像タイムラインとを表示し、
    前記第1の画像タイムラインと前記第2の画像タイムラインとが時間軸方向に沿った一本の帯状で表示された状態で重合する部分を形成し、さらに当該重合する部分に視覚エフェクトを設定して画像トランジションを形成する、前記動画像編集方法。
  4. 画像データおよび静止画像データなどの画像素材を用いて編集動画像データを生成するための動画像編集装置における動画像編集方法のプログラムであって、
    各画像素材に含まれる画像データ毎の時間軸方向の位置を表示する表示トラックを設定し、
    前記表示トラックの画像トラックに、第1の画像素材及び第2の画像素材の画像データの時間軸方向の位置をそれぞれ示す第1の画像タイムラインと第2の画像タイムラインとを表示し、
    前記第1の画像タイムラインと前記第2の画像タイムラインとが時間軸方向に沿った1本の帯形状で表示された状態で重合する部分を形成し、さらに当該重合する部分に視覚エフェクトを設定して、画像トランジションラインを形成することをコンピュータに実行させるための前記プログラム。
JP2003057050A 2003-03-04 2003-03-04 動画像編集装置 Expired - Fee Related JP4891520B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003057050A JP4891520B2 (ja) 2003-03-04 2003-03-04 動画像編集装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003057050A JP4891520B2 (ja) 2003-03-04 2003-03-04 動画像編集装置

Publications (2)

Publication Number Publication Date
JP2004266721A JP2004266721A (ja) 2004-09-24
JP4891520B2 true JP4891520B2 (ja) 2012-03-07

Family

ID=33120566

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003057050A Expired - Fee Related JP4891520B2 (ja) 2003-03-04 2003-03-04 動画像編集装置

Country Status (1)

Country Link
JP (1) JP4891520B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7342520B2 (ja) * 2019-08-23 2023-09-12 ヤマハ株式会社 動画ファイルの処理方法およびプログラム

Also Published As

Publication number Publication date
JP2004266721A (ja) 2004-09-24

Similar Documents

Publication Publication Date Title
US6714216B2 (en) Video editing apparatus and method
US7830570B2 (en) Device and method for edition of moving picture data
JP4727342B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体
EP1872268B1 (en) Icon bar display for video editing system
JP4386283B2 (ja) 動画分割表示装置
JP5524653B2 (ja) 表示制御装置及びその制御方法
JPH1175150A (ja) 動画像編集方法及び動画像編集装置並びに動画像編集動作を実行するためのプログラムを記録した記録媒体
JPH10108122A (ja) 画像再生装置
JP2003052011A (ja) ビデオプロジェクトを編集するためのビデオ編集方法および装置
JP4197192B2 (ja) 画像再生装置
US8750685B2 (en) Image processing apparatus
JPH06110943A (ja) 画像データ処理装置および画像表示方法
JP3419645B2 (ja) 動画像編集方法
US7450822B2 (en) Video recording apparatus and method, and edit-data forming apparatus, method and program
JP4891520B2 (ja) 動画像編集装置
JPH05183863A (ja) 動画像編集装置
JP3687942B2 (ja) 画像編集方法及び画像編集装置
JP4420987B2 (ja) 画像編集装置
JP2005278212A (ja) 画像編集方法及び画像編集装置
JPH1051734A (ja) 動画像編集装置および動画像編集方法
JP2006115469A (ja) 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体
JP3506412B2 (ja) ビデオ情報の再生方法と再生装置と再生方法の手順を格納した記録媒体及び動画像データ再生方法と編集方法
JP4309819B2 (ja) 動画像編集装置
JPH09116860A (ja) 動画範囲選択方法及びビデオ編集装置
JP2003061012A (ja) 映像再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080617

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080701

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080818

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090514

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090514

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090715

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090908

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111216

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141222

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees