JP5013993B2 - 或るシーンの複数のマルチビュービデオを処理する方法及びシステム - Google Patents
或るシーンの複数のマルチビュービデオを処理する方法及びシステム Download PDFInfo
- Publication number
- JP5013993B2 JP5013993B2 JP2007173941A JP2007173941A JP5013993B2 JP 5013993 B2 JP5013993 B2 JP 5013993B2 JP 2007173941 A JP2007173941 A JP 2007173941A JP 2007173941 A JP2007173941 A JP 2007173941A JP 5013993 B2 JP5013993 B2 JP 5013993B2
- Authority
- JP
- Japan
- Prior art keywords
- view
- reference picture
- video
- frame
- synthesized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
図4は、本発明の一実施の形態によるMCTF/DCVF分解400を示す。入力ビデオ401〜404のフレームが、異なる姿勢を有するカメラ1〜4によってシーン5に関して取得される。なお、図8に示すように、カメラのうちのいくつか1a及び1bは、同一位置にあり、ただし異なる向きであってもよい。どの対のカメラ間にも或る量のビューの重なりがあると仮定される。カメラの姿勢は、マルチビュービデオの取得中に変化し得る。通常、カメラは互いに同期される。各入力ビデオは、シーンの異なる「ビュー」を提供する。入力フレーム401〜404はMCTF/DCVF分解400に送られる。この分解は、符号化された低域フレーム411、符号化された高域フレーム412、及び関連するサイド情報413を生成する。高域フレームは、低域フレームを参照ピクチャとして用いて予測誤差を符号化する。分解は、選択された予測モード410に従って行われる。予測モードは、空間予測モード、時間予測モード、ビュー合成予測モード、及びイントラ予測モードを含む。予測モードは、各現フレームに関してマクロブロック毎に適応的に選択することができる。イントラ予測を用いる場合、現マクロブロックは、同一フレーム内の他のマクロブロックから予測される。
図7に示すように、分解400の出力411及び412は信号エンコーダ710に供給され、出力413はサイド情報エンコーダ720に供給される。信号エンコーダ710は、変換、量子化及びエントロピーコーディングを行って、分解された低域フレーム411及び高域フレーム412に残存する相関を除去する。このような操作は当該技術分野において既知である(Netravali及びHaskell著「デジタルピクチャ:表現、圧縮及び規格(Digital Pictures: Representation, Compression and Standards)」(Second Edition, Plenum Press, 1995))。
ビットストリーム731を復号化して(740)、入力マルチビュービデオ401〜404に対応する出力マルチビュービデオ741を生成することができる。任意で、合成ビデオも生成することができる。概して、デコーダは、エンコーダの逆の操作を行ってマルチビュービデオを再構成する。全ての低域フレーム及び高域フレームが復号化されれば、空間(ビュー)次元及び時間次元の両方において符号化品質の完全なフレーム集合が再構成され利用可能になる。
図8に示すように、ビュー合成は、1つ又は複数の実際のマルチビュービデオのフレーム803から合成ビデオのフレーム801を生成するプロセスである。言い換えれば、ビュー合成は、シーン5の選択された新たなビュー802に対応するフレーム801を合成する手段を提供する。この新たなビュー802は、入力マルチビュービデオ401〜404が取得された時点では存在しない「仮想」カメラ800に対応してもよく、又は、取得されるカメラビューに対応することができ、よって、合成ビューは、後述のようにその予測及び符号化/復号化に用いられる。
マクロブロック適応的MCTF/DCVF分解において、各マクロブロックの予測モードmは、コスト関数をマクロブロック毎に適応的に最小化することによって選択することができる。
m*=argmminJ(m)
ここで、J(m)=D(m)+λR(m)であり、Dは歪みであり、λは重みパラメータであり、Rはレートであり、mは候補予測モードの集合を示し、m*は最小コスト基準に基づいて選択された最適予測モードを示す。
図9は、従来技術のシングルビューの符号化及び復号化システムのための参照ピクチャ管理を示す。時間参照ピクチャ901は、復号ピクチャバッファ(DPB)940への時間参照ピクチャ901の挿入(920)及び削除(930)を決めるシングルビュー参照ピクチャリスト(RPL)マネージャ910によって管理される。参照ピクチャリスト950もまた保持されて、DPB940に格納されているフレームを示す。RPLは、挿入(920)及び削除(930)といった参照ピクチャ管理操作、並びにエンコーダ及びデコーダの両方における時間予測960のために用いられる。
エンコーダにおいて現フレームを符号化する前、又はデコーダにおいて現フレームを復号化する前に、マルチビューRPL1050においてマルチビュー参照ピクチャ1005の集合を指示することができる。従来及び本明細書中で定義されるように、集合は要素を全く有しなくても(空集合)、1つ又は複数の要素を有してもよい。RPLの同一コピーが、現フレーム毎にエンコーダ及びデコーダの両方によって保持される。
RPLを保持するプロセスは、エンコーダ700とデコーダ740との間で調整される。特に、エンコーダ及びデコーダは、特定の現フレームを予測する際にマルチビュー参照ピクチャリストの同一コピーを保持する。
マルチビューRPLマネージャ1010は、マルチビュー参照ピクチャがDPBに格納される順序が、符号化及び復号化の効率を高める上でのピクチャの「有用性」に対応するようにRPLを保持する。具体的には、RPLの初めの方の参照ピクチャは、RPLの終わりの方の参照ピクチャよりも少ないビットで予測(predicatively)符号化することができる。
本発明の実施の形態によるマルチビューピクチャ管理の1つの重要な利点は、既存のシングルビューのビデオコーディングシステム及び設計と互換性があることである。このマルチビューピクチャ管理は、既存のシングルビュービデオコーディング規格に加える変更が最小であるだけでなく、既存のシングルビュービデオコーディングシステムからのソフトウェア及びハードウェアを、本明細書に記載するマルチビュービデオコーディングに使用することも可能にする。
図8に関して上述したように、ビュー合成は、仮想カメラ800の合成ビュー802に対応するフレーム801を、既存のビデオから取得されるフレーム803から生成するプロセスである。言い換えれば、ビュー合成は、入力ビデオが取得された時点では存在しない仮想カメラによるシーンの選択された新たなビューに対応するフレームを合成する手段を提供する。1つ又は複数の実際のビデオのフレームの画素値及びシーン中の点の奥行き値が与えられると、合成ビデオビューのフレーム内の画素を外挿及び/又は内挿により生成することができる。
図16は、奥行き1901の情報が符号化マルチビュービットストリーム731に含まれている時に、ビュー合成モードを用いて再構成マクロブロックを生成するプロセスを示す。所与のマクロブロックの奥行きは、サイド情報デコーダ1910によって復号化される。奥行き1901及び空間参照ピクチャ1902を用いてビュー合成1920を行い、合成マクロブロック1904を生成する。次に、合成マクロブロック1904と復号化された残差マクロブロック1905とを加算する(1930)ことによって再構成マクロブロック1903が形成される。
図17は、現フレームの符号化又は復号化中に予測モードを選択するプロセスを示す。時間参照ピクチャ2020を用いて現マクロブロック2011に関して動き推定2010を行う。結果として得られる動きベクトル2021を用いて、時間予測を用いる第1のコーディングコストcost12031を求める(2030)。このプロセスに関連する予測モードはm1である。
ビュー合成モード2091を用いて、合成ビューの奥行き情報及び変位ベクトルを、1つ又は複数のマルチビュービデオの復号化フレームから推定することができる。奥行き情報は、適用されるプロセスに応じて、立体カメラから推定される画素毎の奥行きであってもよく、又は、マクロブロックマッチングから推定されるマクロブロック毎の奥行きであってもよい。
従来のビデオ中のフレームに対しランダムアクセスを提供するために、Iフレームとしても知られるイントラフレームが通常、ビデオ全体に間隔を置いて配置される。これにより、デコーダは、復号化シーケンス中の任意のフレームにアクセスすることが可能になるが、圧縮効率は低下する。
上記セクションは、マルチビューのコーディング及び奥行き推定における予測を改善するためのビュー合成を説明する。次に、可変ブロックサイズの奥行き及び動き探索、レート−歪み(RD)の決定、サブペル参照奥行き探索、並びに奥行き情報の文脈適応2進法算術コーディング(CABAC)の実装を説明する。コーディングは、エンコーダにおける符号化及びデコーダにおける復号化を含み得る。CABACは、H.624/MPEG−4規格パート10(参照により本明細書中に援用される)により規定される。
カメラ間及び時刻間に存在する相関を取り込むために、2つのブロック予測方法を実施した。
1)視差補償ビュー予測(DCVP)、及び
2)ビュー合成予測(VSP)
第1の方法であるDCVPは、同一(ビュー)カメラの異なる時刻からのフレームを使用するのではなく、同時刻における異なるカメラ(ビュー)からのフレームを使用して現フレームを予測することに対応する。DCVPは、例えば遮蔽、物体がシーンに入ってくるか又はシーンから出て行くこと、又は速い動きのために時間的相関が空間的相関よりも低い場合に利得を提供する。
第2の方法であるVSPは、仮想カメラのフレームを合成してフレームシーケンスを予測する。VSPは、カメラビュー間の並進でない動きの存在によりDCVPに対して相補的であり、実際の応用において多くの場合にそうであるように、カメラパラメータが高品質の仮想ビューを提供するのに十分に正確である場合に利得を提供する。
上記では、構文を変更することなくDCVPの使用を可能にするピクチャバッファの管理方法を説明した。カメラビュー間の視差ベクトルは、動き推定ステップを用いることによって求め、単なる拡張参照タイプとして用いることができた。VSPをもう1つのタイプの参照として用いるために、通常の動き推定プロセスを以下のように拡張する。
本発明では、ブロックベースの奥行き探索プロセスを用いて、可変サイズのサブマクロブロック毎に最適な奥行きを求める。具体的には、最小奥行き値Dmin、最大奥行き値Dmax、及び増分奥行き値Dstepを定義する。次に、予測したいフレーム内の可変サイズのサブマクロブロック毎に、次式の合成ブロックの誤差を最小化する奥行きを選択する。
異なるカメラの2つの対応する画素の視差は概して、整数の正確な倍数では与えられないため、式(2)により与えられる予測を行う基準としたいカメラc’のフレームのターゲット座標[x’,y’,z’]は、常に整数グリッドの点に該当するとは限らない。したがって、本発明では内挿を用いて、参照フレーム内のサブペル位置の画素値を生成する。これにより、整数ペルではなく最も近いサブペル参照点を選択できるようになり、画素間の真の視差により正確に近似する。
本発明では、サブペル精度の補正ベクトルの使用を可能にすることにより合成品質をさらに高めることができる。これは特に、上述のサブペル参照マッチングと組み合わせる場合に当てはまる。なお、サブペル動きベクトル探索とこのサブペル補正ベクトル探索との間にはわずかな違いがある。
奥行き推定では、規則化により、より滑らかな奥行きマップを達成することができる。規則化は、合成予測の視覚的品質を改善するが、差分絶対値和(SAD)により測定した場合にその予測品質をわずかに低下させる。
モード決定は、次のように定義されるラグランジュコスト関数Jmodeを最小化するmb_typeを選択することによって行うことができる。
本発明では、各合成MBがRDモード決定により最良の参照として選択される場合に、そのMBの奥行き値及び補正ベクトルを符号化しなければならないことに留意されたい。奥行き値及び補正ベクトルの両方が、連結単項/三次指数ゴロム(concatenated unary/3rd-order Exp-Golomb)(UEG3)2値化を用いて、signedValFlag=1とし、カットオフパラメータuCoff=9として、動きベクトルと全く同様に量子化される。
上述のように、本発明では、時間参照及び純粋なマルチビュー参照に加えて合成参照ピクチャを組み込む。上記では、上記で参照したH.264/AVC規格における既存の参照ピクチャリスト管理と互換性のあるマルチビュー参照ピクチャリスト管理方法を説明した。
depthd_l0[mbPartIdx][0]は、使用される奥行き値とその予測との間の差を指定する。インデックスmbPartIdxは、どのマクロブロック境界にdepthd_l0を割り当てるのかを指定する。マクロブロックの分割はmb_typeにより指定される。
depthd_l0[mbPartIdx][subMbPartIdx]はdepthd_l0と同じ意味を有するが、ただし、subMbPartIdxを有するサブマクロブロック境界インデックスに適用される。インデックスmbPartIdx及びsubMbPartIdxは、どのマクロブロック境界及びサブマクロブロック境界にdepthd_l0を割り当てるのかを指定する。
multiview_typeが1である場合、現ビューが他のビューから合成されることを指定する。multiview_typeが0である場合、現ビューが合成されたものではないことを示す。
Claims (20)
- 或るシーンの複数のマルチビュービデオを処理する方法であって、各ビデオは、特定の姿勢で配置される対応するカメラにより取得され、各カメラのビューは、少なくとも1つの他のカメラのビューと重なり、
前記マルチビュービデオの特定のビューを合成するための奥行き値を含むサイド情報を得るステップと、
前記複数のマルチビュービデオのうちの少なくとも1つを含むビデオが入力され、当該入力されたビデオから、前記サイド情報を用いて、前記入力されたビデオとは異なる1つの姿勢に対応させた合成マルチビュービデオを生成するステップと、
前記複数のマルチビュービデオの中の特定の各1つのマルチビュービデオの特定の時刻に関連するピクチャ毎に、取得された前記複数のマルチビュービデオの時間参照ピクチャ及び空間参照ピクチャ、並びに前記合成マルチビュービデオの合成参照ピクチャをインデックス付けしている、参照ピクチャリストを保持するステップであって、前記時間参照ピクチャ、前記空間参照ピクチャ、および、前記合成参照ピクチャの各々には、1つのピクチャ順序カウントが割りつけられている、ステップと、
前記複数のマルチビュービデオの各現フレームを、関連する前記参照ピクチャリストによりインデックス付けされた参照ピクチャに従って予測するステップと
を含む、或るシーンの複数のマルチビュービデオを処理する方法。 - 前記サイド情報は、補正ベクトルをさらに含む
請求項1記載の方法。 - 取得された前記複数のマルチビュービデオのうちの1つをワーピングして、前記合成マルチビュービデオを合成するステップをさらに含む
請求項1記載の方法。 - 取得された前記複数のマルチビュービデオのうちの2つ以上を内挿して、前記合成マルチビュービデオを合成するステップをさらに含む
請求項1記載の方法。 - 前記サイド情報は、エンコーダにおいて得られる
請求項1記載の方法。 - 前記サイド情報は、デコーダにおいて得られる
請求項1記載の方法。 - 前記サイド情報は、各フレーム内の各マクロブロックの各ブロック境界に関連する
請求項2記載の方法。 - 前記補正ベクトルは、前記現フレームに関してサブピクセル精度を有する
請求項2記載の方法。 - 前記合成するステップは、カメラパラメータ及び関連する前記サイド情報に従ってマクロブロック境界内の画素に幾何変換を適用することよって、及び、前記空間参照ピクチャ内の最も近いサブペル位置に丸めることによって行われる
請求項1記載の方法。 - 前記合成マルチビュービデオの各フレームは、前記空間参照ピクチャと、各マクロブロック境界に関連する前記サイド情報とに基づいて生成される複数の合成マクロブロックを含む
請求項1記載の方法。 - 再構成マクロブロックは、前記合成マクロブロックと復号化された残差マクロブロックとを加算することによって生成される
請求項10記載の方法。 - 前記空間参照ピクチャのルミナンスサンプル及びクロミナンスサンプルは、各フレーム内の各ブロック境界の関連する前記奥行き値を求めるために用いられる
請求項2記載の方法。 - 前記合成マクロブロックは、変位ベクトルに関連する
請求項10記載の方法。 - 前記変位ベクトルは、サブピクセル精度を有する、
請求項13記載の方法。 - 前記サイド情報は、前記デコーダにおいて、文脈ベースの2進法算術デコーダにより得られる
請求項6記載の方法。 - 前記合成マルチビュービデオを参照として用いる前記予測するステップは、Vピクチャに対して行われる
請求項1記載の方法。 - 前記合成マルチビュービデオの合成フレームは、取得された前記複数のマルチビュービデオのうちの1つの対応するフレームをワーピングすることによって生成される
請求項1記載の方法。 - 前記合成するステップは、前記シーンのモデルを用いる
請求項1記載の方法。 - 前記合成するステップは、奥行きマップ、内部行列、回転行列、及び並進ベクトルを用いる
請求項1記載の方法。 - 或るシーンの複数のマルチビュービデオを処理するシステムであって、
それぞれのカメラがシーンのマルチビュービデオを取得するように構成され、それぞれのカメラが特定の姿勢で配置され、それぞれのカメラのビューが少なくとも1つの他のカメラのビューと重なる、複数のカメラと、
前記マルチビュービデオの特定のビューを合成するための奥行き値を含むサイド情報を得る手段と、
前記複数のマルチビュービデオのうちの少なくとも1つを含むビデオが入力され、当該入力されたビデオから、前記サイド情報を用いて、前記入力されたビデオとは異なる1つの姿勢に対応させた合成マルチビュービデオを生成する手段と、
前記複数のマルチビュービデオの中の特定の各1つのマルチビュービデオの特定の時刻に関連するピクチャ毎に、取得された前記複数のマルチビュービデオの時間参照ピクチャ及び空間参照ピクチャ、並びに前記合成マルチビュービデオの合成参照ピクチャをインデックス付けする、参照ピクチャリストを保持するように構成されるメモリバッファであって、前記時間参照ピクチャ、前記空間参照ピクチャ、および、前記合成参照ピクチャの各々には、1つのピクチャ順序カウントが割りつけられている、メモリバッファと、
前記複数のマルチビュービデオの各現フレームを、関連する前記参照ピクチャリストによりインデックス付けされた参照ピクチャに従って予測する手段と
を備える、或るシーンの複数のマルチビュービデオを処理するシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/485,092 | 2006-07-12 | ||
US11/485,092 US7728878B2 (en) | 2004-12-17 | 2006-07-12 | Method and system for processing multiview videos for view synthesis using side information |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008022549A JP2008022549A (ja) | 2008-01-31 |
JP5013993B2 true JP5013993B2 (ja) | 2012-08-29 |
Family
ID=39078131
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007173941A Expired - Fee Related JP5013993B2 (ja) | 2006-07-12 | 2007-07-02 | 或るシーンの複数のマルチビュービデオを処理する方法及びシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5013993B2 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007114612A1 (en) | 2006-03-30 | 2007-10-11 | Lg Electronics Inc. | A method and apparatus for decoding/encoding a video signal |
WO2008023968A1 (en) | 2006-08-25 | 2008-02-28 | Lg Electronics Inc | A method and apparatus for decoding/encoding a video signal |
WO2009131688A2 (en) | 2008-04-25 | 2009-10-29 | Thomson Licensing | Inter-view skip modes with depth |
RU2518435C2 (ru) | 2008-07-20 | 2014-06-10 | Долби Лэборетериз Лайсенсинг Корпорейшн | Оптимизация кодера в системах доставки стереоскопического видео |
JP2010157826A (ja) * | 2008-12-26 | 2010-07-15 | Victor Co Of Japan Ltd | 画像復号装置、画像符復号方法およびそのプログラム |
EP2384000B1 (en) | 2008-12-26 | 2013-10-16 | JVC KENWOOD Corporation | Image encoding device, image encoding method, program thereof, image decoding device, image decoding method, and program thereof |
JP2010157824A (ja) * | 2008-12-26 | 2010-07-15 | Victor Co Of Japan Ltd | 画像符号化装置、画像符号化方法およびそのプログラム |
JP2010157823A (ja) * | 2008-12-26 | 2010-07-15 | Victor Co Of Japan Ltd | 画像符号化装置、画像符号化方法およびそのプログラム |
JP4821846B2 (ja) * | 2008-12-26 | 2011-11-24 | 日本ビクター株式会社 | 画像符号化装置、画像符号化方法およびそのプログラム |
JP2010157822A (ja) * | 2008-12-26 | 2010-07-15 | Victor Co Of Japan Ltd | 画像復号装置、画像符復号方法およびそのプログラム |
JP2010157821A (ja) * | 2008-12-26 | 2010-07-15 | Victor Co Of Japan Ltd | 画像符号化装置、画像符号化方法およびそのプログラム |
EP2389000A4 (en) | 2009-01-19 | 2014-04-02 | Panasonic Corp | ENCLOSURE METHOD, DECOMPOSITION METHOD, ENCRYPTION DEVICE, DECOMPOSITION DEVICE, PROGRAM AND INTEGRATED CIRCUIT |
JP5614900B2 (ja) | 2009-05-01 | 2014-10-29 | トムソン ライセンシングThomson Licensing | 3d映像符号化フォーマット |
EP2617194A1 (en) | 2010-09-14 | 2013-07-24 | Thomson Licensing | Compression methods and apparatus for occlusion data |
KR102029401B1 (ko) * | 2011-11-11 | 2019-11-08 | 지이 비디오 컴프레션, 엘엘씨 | 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩 |
EP2777273B1 (en) | 2011-11-11 | 2019-09-04 | GE Video Compression, LLC | Efficient multi-view coding using depth-map estimate for a dependent view |
JP2016127372A (ja) * | 2014-12-26 | 2016-07-11 | Kddi株式会社 | 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004208259A (ja) * | 2002-04-19 | 2004-07-22 | Matsushita Electric Ind Co Ltd | 動きベクトル計算方法 |
JP2005005844A (ja) * | 2003-06-10 | 2005-01-06 | Hitachi Ltd | 計算装置及び符号化処理プログラム |
US7468745B2 (en) * | 2004-12-17 | 2008-12-23 | Mitsubishi Electric Research Laboratories, Inc. | Multiview video decomposition and encoding |
-
2007
- 2007-07-02 JP JP2007173941A patent/JP5013993B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008022549A (ja) | 2008-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5116394B2 (ja) | 或るシーンの複数のマルチビュービデオを処理する方法及びシステム | |
JP5744333B2 (ja) | シーンのマルチビュービデオを処理する方法及びシステム | |
JP5013993B2 (ja) | 或るシーンの複数のマルチビュービデオを処理する方法及びシステム | |
JP4890201B2 (ja) | マルチビュービデオを管理する方法及びシステム | |
JP5274766B2 (ja) | マルチビュービデオを予測する方法及びシステム | |
US7728878B2 (en) | Method and system for processing multiview videos for view synthesis using side information | |
JP5106830B2 (ja) | マルチビュービデオにランダムにアクセスする方法及びシステム | |
JP5154679B2 (ja) | マルチビュービデオをデコードする方法 | |
US20120314027A1 (en) | Method and System for Processing Multiview Videos for View Synthesis Using Motion Vector Predictor List | |
EP2870766B1 (en) | Method and system for processing multiview videos for view synthesis using motion vector predictor list |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110726 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120508 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120605 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5013993 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |