JP5725009B2 - 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム - Google Patents
動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム Download PDFInfo
- Publication number
- JP5725009B2 JP5725009B2 JP2012286857A JP2012286857A JP5725009B2 JP 5725009 B2 JP5725009 B2 JP 5725009B2 JP 2012286857 A JP2012286857 A JP 2012286857A JP 2012286857 A JP2012286857 A JP 2012286857A JP 5725009 B2 JP5725009 B2 JP 5725009B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- motion information
- block
- candidate
- combined motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
1以上の予測ブロックからなる復号ブロックを復号する動画像復号方法であって、復号対象の予測ブロックで利用する結合動き情報候補を特定するためのインデックスが候補特定インデックスとして符号化された符号列から、前記候補特定インデックスを復号する復号ステップと、前記復号ブロック内の予測ブロックの全てに対して共通に利用する結合動き情報候補を導出するか否かを示す情報が前記復号ブロック内の予測ブロックの全てに対して共通に利用する結合動き情報候補を導出することを示す情報であった場合、前記復号ブロック内の予測ブロックの全てに対して共通に利用する複数の結合動き情報候補を導出する結合動き情報候補生成ステップと、前記候補特定インデックスに基づいて前記複数の結合動き情報候補から1つの結合動き情報候補を選択し、選択された前記1つの結合動き情報候補を前記復号対象の予測ブロックで利用する結合動き情報選択ステップとを有することを特徴とする動画像復号方法を提供する。
1以上の予測ブロックからなる復号ブロックを復号する動画像復号プログラムであって、復号対象の予測ブロックで利用する結合動き情報候補を特定するためのインデックスが候補特定インデックスとして符号化された符号列から、前記候補特定インデックスを復号する復号ステップと、前記復号ブロック内の予測ブロックの全てに対して共通に利用する結合動き情報候補を導出するか否かを示す情報が前記復号ブロック内の予測ブロックの全てに対して共通に利用する結合動き情報候補を導出することを示す情報であった場合、前記復号ブロック内の予測ブロックの全てに対して共通に利用する複数の結合動き情報候補を導出する結合動き情報候補生成ステップと、前記候補特定インデックスに基づいて前記複数の結合動き情報候補から1つの結合動き情報候補を選択し、選択された前記1つの結合動き情報候補を前記復号対象の予測ブロックで利用する結合動き情報選択ステップとをコンピュータに実行させることを特徴とする動画像復号プログラムを提供する。
符号化ストリームから、1以上の予測ブロックからなる復号ブロックを復号する受信装置であって、動画像が符号化された符号化データを受信する受信部と、前記符号化データをパケット処理して前記符号化ストリームを生成するパケット処理部と、前記符号化ストリームにおける復号対象の予測ブロックで利用する結合動き情報候補を特定するためのインデックスが候補特定インデックスとして符号化された符号列から、前記候補特定インデックスを復号する復号部と、前記復号ブロック内の予測ブロックの全てに対して共通に利用する結合動き情報候補を導出するか否かを示す情報が前記復号ブロック内の予測ブロックの全てに対して共通に利用する結合動き情報候補を導出することを示す情報であった場合、前記復号ブロック内の予測ブロックの全てに対して共通に利用する複数の結合動き情報候補を導出する結合動き情報候補生成部と、前記候補特定インデックスに基づいて前記複数の結合動き情報候補から1つの結合動き情報候補を選択し、選択された前記1つの結合動き情報候補を前記復号対象の予測ブロックで利用する結合動き情報選択部とを備えることを特徴とする受信装置を提供する。
符号化ストリームから、1以上の予測ブロックからなる復号ブロックを復号する受信方法であって、動画像が符号化された符号化データを受信する受信ステップと、前記符号化データをパケット処理して前記符号化ストリームを生成するパケット処理ステップと、前記符号化ストリームにおける復号対象の予測ブロックで利用する結合動き情報候補を特定するためのインデックスが候補特定インデックスとして符号化された符号列から、前記候補特定インデックスを復号する復号ステップと、前記復号ブロック内の予測ブロックの全てに対して共通に利用する結合動き情報候補を導出するか否かを示す情報が前記復号ブロック内の予測ブロックの全てに対して共通に利用する結合動き情報候補を導出することを示す情報であった場合、前記復号ブロック内の予測ブロックの全てに対して共通に利用する複数の結合動き情報候補を導出する結合動き情報候補生成ステップと、前記候補特定インデックスに基づいて前記複数の結合動き情報候補から1つの結合動き情報候補を選択し、選択された前記1つの結合動き情報候補を前記復号対象の予測ブロックで利用する結合動き情報選択ステップとを有することを特徴とする受信方法を提供する。
符号化ストリームから、1以上の予測ブロックからなる復号ブロックを復号する受信プログラムであって、動画像が符号化された符号化データを受信する受信ステップと、前記符号化データをパケット処理して前記符号化ストリームを生成するパケット処理ステップと、前記符号化ストリームにおける復号対象の予測ブロックで利用する結合動き情報候補を特定するためのインデックスが候補特定インデックスとして符号化された符号列から、前記候補特定インデックスを復号する復号ステップと、前記復号ブロック内の予測ブロックの全てに対して共通に利用する結合動き情報候補を導出するか否かを示す情報が前記復号ブロック内の予測ブロックの全てに対して共通に利用する結合動き情報候補を導出することを示す情報であった場合、前記復号ブロック内の予測ブロックの全てに対して共通に利用する複数の結合動き情報候補を導出する結合動き情報候補生成ステップと、前記候補特定インデックスに基づいて前記複数の結合動き情報候補から1つの結合動き情報候補を選択し、選択された前記1つの結合動き情報候補を前記復号対象の予測ブロックで利用する結合動き情報選択ステップとをコンピュータに実行させることを特徴とする受信プログラムを提供する。
(符号化ブロック)
本実施の形態では、入力された画像信号は最大符号化ブロック単位に分割され、分割された最大符号化ブロックをラスタースキャン順序で処理する。符号化ブロックは階層構造となっており、符号化効率などを考慮して順次4分割することでより小さい符号化ブロックにすることができる。なお、4分割された符号化ブロックはジグザグスキャン順で符号化される。これ以上小さくすることのできない符号化ブロックを最小符号化ブロックと呼ぶ。符号化ブロックは符号化の単位となり、最大符号化ブロックも分割回数が0である場合は符号化ブロックとなる。本実施の形態では、最大符号化ブロックを64画素×64画素、最小符号化ブロックを8画素×8画素とする。
本実施の形態では、符号化ブロックはさらに予測ブロック(パーティションともいう)に分割される。符号化ブロックは予測ブロックサイズタイプ(「分割タイプ」やパーティションタイプともいう)によって1以上の予測ブロックに分割される。図2(a)〜(d)は、予測ブロックサイズタイプを説明するための図である。図2(a)は符号化ブロックを分割しない2N×2N、図2(b)は水平に2分割する2N×N、図2(c)は垂直に2分割するN×2N、および図2(d)は水平と垂直に4分割するN×Nを示す。2N×2Nは1個の予測ブロック0、2N×NとN×2Nは2個の予測ブロック0と予測ブロック1、N×Nは4個の予測ブロック0、予測ブロック1、予測ブロック2、予測ブロック3からなる。予測ブロック0、予測ブロック1、予測ブロック2、予測ブロック3の順に符号化される。
本実施の形態では、動き補償予測や符号化ベクトル数を予測ブロック毎に切り替えることが可能となっている。ここで、動き補償予測と符号化ベクトル数を関連付けた予測符号化モードの一例について図4を用いて簡単に説明する。図4は、予測符号化モードを説明するための図である。
本実施の形態では、動き補償予測の精度向上のために、動き補償予測において複数の参照画像の中から最適な参照画像を選択することを可能とする。そのため、動き補償予測で利用した参照画像を参照画像インデックスとして符号化ベクトルとともに符号化する。動き補償予測で利用される参照画像インデックスは0以上の数値となる。動き補償予測が単予測であれば、参照インデックスは1つ利用され、動き補償予測が双予測であれば、2つの参照インデックスが利用される(図4)。
本実施の形態では、動き補償予測で利用できる1以上の参照画像を参照インデックスリスト内に登録しておき、参照インデックスリスト内に登録された参照画像を参照インデックスで示すことによって参照画像を確定させて動き補償予測で利用する。参照インデックスリストには、参照インデックスリストL0(L0予測の参照インデックスリストともいう)と参照インデックスリストL1(L1予測の参照インデックスリストともいう)がある。動き補償予測が単予測の場合は、参照インデックスリストL0の中の参照画像を用いたL0予測、または参照インデックスリストL1の中の参照画像を用いたL1予測のいずれかを利用する。双予測の場合は参照インデックスリストL0と参照インデックスリストL1の2つを利用したBI予測を利用する。各参照インデックスリストに登録できる参照画像の最大数は16とする。
本実施の形態では、マージモードの場合には、処理対象画像内の複数の隣接ブロックおよび符号化済みの別の画像内の処理対象の予測ブロックと同一位置にある同一位置予測ブロック内と同一位置予測ブロックの周辺にあるブロックを候補ブロック群として、候補ブロック群の中から最適な予測符号化モード、動きベクトル、及び参照インデックスを持つ候補ブロックを選択し、選択した候補ブロックを示すためのマージインデックスを符号化および復号する。マージモードのときのみマージインデックスが1つ利用される(図4)。マージインデックスの最大個数(マージ候補最大数ともいう)は5であり、マージインデックスは0から4までの整数となる。ここでは、マージインデックスの最大数を5としたが、2以上であればよく、これに限定されない。
本実施の形態では、予測ベクトルの精度を向上させるために、処理対象画像内の複数の隣接ブロックおよび符号化済みの別の画像の処理対象ブロックと同一位置にある同一位置予測ブロック内と同一位置予測ブロックの周辺にあるブロックを候補ブロック群として、候補ブロック群から予測ベクトルとして最適な動きベクトルを持つ候補ブロックを選択し、選択した候補ブロックを示すための予測ベクトルインデックスを符号化および復号する。動き補償予測が単予測であれば、予測ベクトルインデックスは1つ利用され、動き補償予測が双予測であれば、2つの予測ベクトルインデックスが利用される(図4)。予測ベクトルインデックスの最大数(予測ベクトル候補最大数ともいう)は2であり、予測ベクトルインデックスは0または1の整数となる。ここでは、予測ベクトル候補最大数を2としたが、2以上であればよく、これに限定されない。
本実施の形態による予測ブロックのシンタックスの一例について説明する。図6は本実施の形態に係るシンタックスを説明する図である。図6は符号化木(Coding Tree)、符号化ブロック(Coding Unit)、及び予測ブロック(Prediction Unit)のシンタックス構成の一例を示す。符号化木では符号化ブロックの分割情報が管理される。符号化木にはsplit_coding_unit_flagが設置され、split_coding_unit_flagが1であれば符号化木は4個の符号化木に分割される。split_coding_unit_flagが0であれば符号化木は符号化ブロック(Coding Unit)となる。符号化ブロックには、スキップモードフラグ(skip_flag)、予測モード(pred_mode)と予測ブロックサイズタイプ(part_mode)が設置され、スキップモードフラグと予測ブロックサイズタイプに応じて1個または2個または4個の予測ブロックに分割される。予測モードはイントラ予測(画面内予測)を行う符号化ブロックであるかインター予測(動き補償予測)を行う符号化ブロックであるかを示す。スキップモードフラグが1である場合はスキップモードとなる。スキップモードは1個の予測ブロックを持つ。符号化ブロック(符号化木)の分割回数は符号化ブロック(符号化木)の深さともいう。
図7は、本実施の形態1に係る動画像符号化装置100の構成を示す。動画像符号化装置100は、動画像信号を、動き補償予測を実施する予測ブロック単位で符号化する装置である。符号化ブロックの分割、スキップモードの決定、予測ブロックサイズタイプの決定、予測ブロックサイズと予測ブロックの符号化ブロック内の位置(予測ブロックの位置情報や予測ブロック番号ともいう)の決定、予測符号化モードがイントラであるかの決定は図示しない上位の符号化制御部で決定されているものとし、実施の形態1では予測符号化モードがイントラでない場合について説明する。また、実施の形態1では双予測に対応したBピクチャ(Bスライス)について説明するが、双予測に対応しないPピクチャ(Pスライス)についてはL1予測を省略すればよい。
以下、各部の機能と動作について説明する。予測ブロック画像取得部101は、予測ブロックの位置情報と予測ブロックサイズに基づいて、端子10より供給される画像信号から処理対象の予測ブロックの画像信号を取得し、予測ブロックの画像信号を減算部102、動きベクトル検出部108および動き情報生成部109に供給する。
続いて、動き情報生成部109の詳細な構成について説明する。図8は、動き情報生成部109の構成を示す。動き情報生成部109は、予測ベクトルモード決定部120、マージモード決定部121および予測符号化モード決定部122を含む。端子12は動き情報メモリ111に、端子13は動きベクトル検出部108に、端子14はフレームメモリ110に、端子15は予測ブロック画像取得部101に、端子16は符号列生成部104に、端子50は動き補償部106に、および端子51は動き情報メモリ111にそれぞれ接続されている。
以下、各部の機能と動作について説明する。予測ベクトルモード決定部120は、端子12より供給される候補ブロック群、端子13より供給されるL0予測とL1予測の動きベクトルおよびL0予測とL1予測の参照インデックス、端子14より供給される参照インデックスで示される参照画像、および端子15より供給される画像信号から、インター予測タイプを決定し、インター予測タイプに従って、L0予測とL1予測の予測ベクトルインデックスを選択してL0予測とL1予測の差分ベクトルを算出するとともに、予測誤差を算出し、レート歪み評価値を算出する。そして、当該インター予測タイプに基づいた動き情報、差分ベクトル、予測ベクトルインデックス、およびレート歪み評価値を予測符号化モード決定部122に供給する。
続いて、マージモード決定部121の詳細な構成について説明する。図9は、マージモード決定部121の構成を説明するための図である。マージモード決定部121は、結合動き情報候補リスト生成部140および結合動き情報選択部141を含む。結合動き情報候補リスト生成部140は、実施の形態1に係る動画像符号化装置100により生成された符号列を復号する動画像復号装置200にも同様に設置されて、動画像符号化装置100と動画像復号装置200にて同一の結合動き情報リストが生成される。
以下、各部の機能と動作について説明する。結合動き情報候補リスト生成部140は、端子12より供給される候補ブロック群からマージ候補最大数の結合動き情報候補を含む結合動き情報候補リストを生成し、当該結合動き情報候補リストを結合動き情報選択部141に供給する。結合動き情報候補リスト生成部140の詳細な構成については後述する。
続いて、結合動き情報候補リスト生成部140の詳細な構成について説明する。図10は、結合動き情報候補リスト生成部140の構成を説明するための図である。端子19は結合動き情報選択部141に接続されている。結合動き情報候補リスト生成部140は、空間結合動き情報候補生成部160、時間結合動き情報候補生成部161、冗長結合動き情報候補削除部162、第1結合動き情報候補補充部163、および第2結合動き情報候補補充部164を含む。以降、結合動き情報候補を生成すると表記するが、導出すると言い換えてもよい。
以下、各部の機能と動作について説明する。図11は、結合動き情報候補リスト生成部140の動作を説明するためのフローチャートである。まず、結合動き情報候補リスト生成部140は、結合動き情報候補リストを初期化する(S100)。初期化された結合動き情報候補リストには結合動き情報候補は存在しない。
以降、予測ブロックの候補ブロック群について説明する。最初に、予測ブロックサイズタイプが2N×2Nである予測ブロックについて説明する。図12は予測ブロックサイズタイプが2N×2Nである予測ブロックの候補ブロック群について説明する図である。図12では予測ブロックサイズが16画素×16画素である例を示す。なお、後述する時間候補ブロックH及びIは、同じく後述する空間候補ブロックA〜Eが存在するピクチャとは別の復号済みのピクチャとは別のピクチャに存在するが、理解及び説明の容易のため、図12中では空間候補ブロックA〜Eとあわせて図示されている。
次に、予測ブロックサイズタイプが2N×2Nではない符号化ブロックにおける予測ブロックについて、予測ブロックサイズタイプが2N×2Nである符号化ブロックの予測ブロックと同じ位置関係を適用した例について説明する。図13は予測ブロックサイズタイプが2N×2Nではない符号化ブロックにおける予測ブロックについて、予測ブロックサイズタイプが2N×2Nである符号化ブロックの予測ブロックと同じ位置関係を適用した場合の候補ブロック群を示す図である。図13では図12と同様、時間候補ブロックH及びIは、空間候補ブロックA〜Eが存在するピクチャとは別の復号済みのピクチャとは別のピクチャに存在するが、理解及び説明の容易のため、空間候補ブロックA〜Eとあわせて図示されている。図13(a)から(h)はそれぞれ予測ブロックサイズタイプがN×2Nの予測ブロック0、予測ブロックサイズタイプがN×2Nの予測ブロック1、予測ブロックサイズタイプが2N×Nの予測ブロック0、予測ブロックサイズタイプが2N×Nの予測ブロック1、予測ブロックサイズタイプがN×Nの予測ブロック0、予測ブロックサイズタイプがN×Nの予測ブロック1、予測ブロックサイズタイプがN×Nの予測ブロック2、予測ブロックサイズタイプがN×Nの予測ブロック3の場合の候補ブロック群を示す。図13では予測ブロックサイズが16画素×16画素である例を示す。なお、時間候補ブロック群は予測ブロックサイズタイプが2N×2Nの場合と同様に導出され、図13にブロックHの位置を示す。このように、予測ブロックサイズタイプが2N×2Nではない符号化ブロックに含まれる予測ブロックでは、予測ブロックごとに予測ブロックの位置と大きさに基づいて候補ブロック群が決定される。
図14は実施の形態1における予測ブロックサイズタイプが2N×2N以外の予測ブロックと空間候補ブロック群の位置関係の一例を説明する図である。時間候補ブロック群については図13と同じである。図14(a)から(h)はそれぞれ予測ブロックサイズタイプがN×2Nの予測ブロック0、予測ブロックサイズタイプがN×2Nの予測ブロック1、予測ブロックサイズタイプが2N×Nの予測ブロック0、予測ブロックサイズタイプが2N×Nの予測ブロック1、予測ブロックサイズタイプがN×Nの予測ブロック0、予測ブロックサイズタイプがN×Nの予測ブロック1、予測ブロックサイズタイプがN×Nの予測ブロック2、予測ブロックサイズタイプがN×Nの予測ブロック3の場合の空間候補ブロック群を示す。図14では予測ブロックサイズが16画素×16画素である例を示す。
続いて、空間結合動き情報候補生成部160の詳細な動作について説明する。図15は、空間結合動き情報候補生成部160の動作を説明するためのフローチャートである。空間結合動き情報候補生成部160は、候補ブロック群の空間候補ブロック群に含まれる候補ブロックであるブロックA、ブロックB、ブロックC、ブロックE、ブロックDの順に以下の処理を繰り返し行う(S110からS114)。
続いて、時間結合動き情報候補生成部161の詳細な動作について説明する。図16は、時間結合動き情報候補生成部161の動作を説明するためのフローチャートである。L0予測とL1予測の各予測方向LXについて以下の処理を繰り返し行う(S120からS127)。ここで、Xは0または1である。また、候補ブロック群の時間候補ブロック群に含まれる候補ブロックであるブロックH、ブロックIの順に以下の処理を繰り返し行う(S121からS126)。
mvLXCol = tb / td * mvLX; 式1
tx = (16384+Abs(td/2) ) / td; 式2
DistScaleFactor = Clip3( -1024, 1023, ( tb * tx + 32 ) >> 6 ); 式3
mvLXCol=Sign(DistScaleFactor*mvLX)*((Abs(DistScaleFactor*mvLX)+127)>>8); 式4
続いて、第1結合動き情報候補補充部163の詳細な動作について説明する。図17は、第1結合動き情報候補補充部163の動作を説明するためのフローチャートである。最初に、より供給される結合動き情報候補リストに登録された結合動き情報候補の数(NumCandList)とマージ候補最大数(MaxNumMergeCand)から、第1補充結合動き情報候補を生成する最大数であるMaxNumGenCandを式5より算出する(S170)。
MaxNumGenCand=MaxNumMergeCand-NumCandList; (NumCandList>1)
MaxNumGenCand=0; (NumCandList<=1) 式5
続いて、第2結合動き情報候補補充部164の詳細な動作について説明する。図19は、第2結合動き情報候補補充部164の動作を説明するためのフローチャートである。最初に、第1結合動き情報候補補充部163より供給される結合動き情報候補リストに登録された結合動き情報候補の数(NumCandList)とマージ候補最大数(MaxNumMergeCand)から、第1補充結合動き情報候補を生成する最大数であるMaxNumGenCandを式6より算出する(S190)。
MaxNumGenCand=MaxNumMergeCand-NumCandList; 式6
次に、実施の形態1の動画像復号装置を説明する。図20は、実施の形態1に係る動画像復号装置200の構成を示す図である。動画像復号装置200は、動画像符号化装置100により符号化された符号列を復号して再生画像を生成する装置である。
以下、各部の機能と動作について説明する。符号列解析部201は、端子30より供給された符号列を解析して予測誤差符号化データ、マージフラグ、マージインデックス、動き補償予測の予測方向(インター予測タイプ)、参照インデックス、差分ベクトル、および予測ベクトルインデックスをシンタックスに従ってエントロピー復号する。エントロピー復号は算術符号化やハフマン符号化などの可変長符号化を含む方法によって実施される。そして、当該予測誤差符号化データを予測誤差復号部202に、当該マージフラグ、当該マージインデックス、当該インター予測タイプ、当該参照インデックス、当該差分ベクトル、および当該予測ベクトルインデックスを動き情報再生部204に供給する。
続いて、動き情報再生部204の詳細な構成について説明する。図21は、動き情報再生部204の構成を示す。動き情報再生部204は、符号化モード判定部210、動きベクトル再生部211および結合動き情報再生部212を含む。端子32は符号列解析部201に、端子33は動き情報メモリ207に、端子34は動き補償部205に、端子36は動き情報メモリ207にそれぞれ接続されている。
以下、各部の機能と動作について説明する。符号化モード判定部210は、符号列解析部201より供給されるマージフラグが「0」であるか「1」であるか判定する。マージフラグが「0」であれば、符号列解析部201より供給されるインター予測タイプ、参照インデックス、差分ベクトル、および予測ベクトルインデックスを動きベクトル再生部211に供給する。マージフラグが「1」であれば、符号列解析部201より供給されるマージインデックスを結合動き情報再生部212に供給する。
続いて、結合動き情報再生部212の詳細な構成について説明する。図22は、結合動き情報再生部212の構成を示す。結合動き情報再生部212は、結合動き情報候補リスト生成部230および結合動き情報選択部231を含む。端子35は符号化モード判定部210に接続されている。
以下、各部の機能と動作について説明する。結合動き情報候補リスト生成部230は動画像符号化装置100の結合動き情報候補リスト生成部140と同一の機能を有し、動画像符号化装置100の結合動き情報候補リスト生成部140と同一の動作によって結合動き情報候補リストを生成し、当該結合動き情報候補リストを結合動き情報選択部231に供給する。
以下、実施の形態2について説明する。実施の形態1とは予測ブロックサイズタイプが2N×2N以外の予測ブロックについて空間結合動き情報候補生成部160において利用する空間候補ブロック群が異なる。以下、実施の形態2の予測ブロックサイズタイプが2N×2N以外の予測ブロックの空間候補ブロック群について説明する。
最初に、予測ブロックサイズタイプに依存せずに符号化ブロック内の予測ブロックの候補ブロックを共通とする一例について説明する。実施の形態1とは予測ブロックサイズタイプが2N×2N以外の予測ブロックと空間候補ブロック群と時間候補ブロック群が異なる。以下、予測ブロックサイズタイプに依存せずに符号化ブロック内の予測ブロックの候補ブロックを共通とする一例の予測ブロックサイズタイプが2N×2N以外の予測ブロックの空間候補ブロック群と時間候補ブロック群について説明する。本例では、予測ブロックサイズタイプに依存せずに符号化ブロック内の予測ブロックの候補ブロックを予測ブロックサイズタイプが2N×2Nである予測ブロックの候補ブロックとする。
以下、実施の形態3の変形例1について説明する。実施の形態3とは最大符号化ブロック下限ラインで時間候補ブロック群が制限されることが異なる。最大符号化ブロック下限ラインでの時間候補ブロック群の制限について説明する。図27は最大符号化ブロック下限ラインと時間候補ブロック群を説明する図である。図27のように最大符号化ブロック下限ラインは最大符号化ブロックの最下部の画素が含まれるラインである。最大符号化ブロック下限ラインより下にあるブロックは利用しないように制限することで、動画像符号化装置100及び動画像復号装置200において、時間候補ブロック群のための一時記憶領域の容量を削減することができる。
以下、実施の形態4について説明する。実施の形態1とは予測ブロックサイズタイプが2N×2N以外の予測ブロックの空間候補ブロック群と時間候補ブロック群と結合動き情報候補リスト生成部140の構成と動作が異なる。以下、実施の形態4の予測ブロックサイズタイプが2N×2N以外の予測ブロックと空間候補ブロック群と時間候補ブロック群について説明する。
以下、実施の形態5について説明する。実施の形態1とは結合動き情報候補リスト生成部140の構成と動作が異なり、符号列生成部104と符号列解析部201の動作が異なる。
以下、実施の形態6について説明する。実施の形態3の動画像符号化装置100の予測ベクトルモード決定部120の構成と動きベクトル再生部211の動作について詳細に説明する。以下、予測ベクトルモード決定部120の詳細な構成について説明する。
続いて、予測ベクトルモード決定部120の詳細な構成について説明する。図33は、予測ベクトルモード決定部120の構成を示す。予測ベクトルモード決定部120は、予測ベクトル候補リスト生成部130および予測ベクトル決定部131を含む。端子17は予測符号化モード決定部122に接続されている。
以下、予測ベクトルモード決定部120の動作について説明する。
続いて、予測ベクトル候補リスト生成部130の詳細な構成について説明する。図34は、予測ベクトル候補リスト生成部130の構成を説明するための図である。端子18は予測ベクトル決定部131に接続されている。予測ベクトル候補リスト生成部130は、空間予測ベクトル候補生成部150、時間予測ベクトル候補生成部151、冗長予測ベクトル候補削除部152、及び予測ベクトル候補補充部153を含む。
以下、各部の機能と動作について説明する。予測ベクトル候補リスト生成部130は必要に応じてL0予測の予測ベクトル候補リストとL1予測の予測ベクトル候補リストを生成する。以下、LX予測として説明する。Xは0または1とする。図35は、予測ベクトル候補リスト生成部130の動作を説明するためのフローチャートである。
時間候補ブロック群を候補ブロックとしてブロックH、ブロックIの順に検査する。
各候補ブロックについて、L0予測、L1予測の順に以下の処理を行う。以降、各候補ブロックのL0予測、L1予測をLN予測として説明する。
候補ブロックのLN予測が有効であるか検査する。候補ブロックのLN予測が有効であるとは参照インデックスが0以上であることである。
候補ブロックのLN予測が有効であれば、候補ブロックのLN予測の動きベクトルを基準動きベクトルとして時間予測ベクトル候補を導出して処理を終了する。時間予測ベクトル候補の導出方法については後述する。
候補ブロックのLN予測が有効でなければ、次の候補ブロックを検査する。
全ての候補ブロックの検査が完了すれば、処理を終了する。
続いて、動きベクトル再生部211の詳細な構成について説明する。図36は、動きベクトル再生部211の構成を説明する図である。動きベクトル再生部211は、予測ベクトル候補リスト生成部220、予測ベクトル選択部221および加算部222を含む。端子35は符号化モード判定部210に接続されている。
以下、各部の機能と動作について説明する。動きベクトル再生部211は、端子35より供給されるインター予測タイプがL0予測であれば、L0予測について動きベクトルの算出を行い、インター予測タイプがL1予測であれば、L1予測について動きベクトルの算出を行い、インター予測タイプがBI予測であれば、L0予測とL1予測について動きベクトルの算出を行う。各LX予測の動きベクトルの算出は以下のように行われる。
Claims (6)
- 1以上の予測ブロックからなる復号ブロックを復号する動画像復号装置であって、
復号対象の予測ブロックで利用する結合動き情報候補を特定するためのインデックスが候補特定インデックスとして符号化された符号列から、前記候補特定インデックスを復号する復号部と、
前記復号ブロック内の予測ブロックの全てに対して共通に利用する結合動き情報候補を導出するか否かを示す情報が前記復号ブロック内の予測ブロックの全てに対して共通に利用する結合動き情報候補を導出することを示す情報であった場合、前記復号ブロック内の予測ブロックの全てに対して共通に利用する複数の結合動き情報候補を導出する結合動き情報候補生成部と、
前記候補特定インデックスに基づいて前記複数の結合動き情報候補から1つの結合動き情報候補を選択し、選択された前記1つの結合動き情報候補を前記復号対象の予測ブロックで利用する結合動き情報選択部と
を備えることを特徴とする動画像復号装置。 - 1以上の予測ブロックからなる復号ブロックを復号する動画像復号方法であって、
復号対象の予測ブロックで利用する結合動き情報候補を特定するためのインデックスが候補特定インデックスとして符号化された符号列から、前記候補特定インデックスを復号する復号ステップと、
前記復号ブロック内の予測ブロックの全てに対して共通に利用する結合動き情報候補を導出するか否かを示す情報が前記復号ブロック内の予測ブロックの全てに対して共通に利用する結合動き情報候補を導出することを示す情報であった場合、前記復号ブロック内の予測ブロックの全てに対して共通に利用する複数の結合動き情報候補を導出する結合動き情報候補生成ステップと、
前記候補特定インデックスに基づいて前記複数の結合動き情報候補から1つの結合動き情報候補を選択し、選択された前記1つの結合動き情報候補を前記復号対象の予測ブロックで利用する結合動き情報選択ステップと
を有することを特徴とする動画像復号方法。 - 1以上の予測ブロックからなる復号ブロックを復号する動画像復号プログラムであって、
復号対象の予測ブロックで利用する結合動き情報候補を特定するためのインデックスが候補特定インデックスとして符号化された符号列から、前記候補特定インデックスを復号する復号ステップと、
前記復号ブロック内の予測ブロックの全てに対して共通に利用する結合動き情報候補を導出するか否かを示す情報が前記復号ブロック内の予測ブロックの全てに対して共通に利用する結合動き情報候補を導出することを示す情報であった場合、前記復号ブロック内の予測ブロックの全てに対して共通に利用する複数の結合動き情報候補を導出する結合動き情報候補生成ステップと、
前記候補特定インデックスに基づいて前記複数の結合動き情報候補から1つの結合動き情報候補を選択し、選択された前記1つの結合動き情報候補を前記復号対象の予測ブロックで利用する結合動き情報選択ステップと
をコンピュータに実行させることを特徴とする動画像復号プログラム。 - 符号化ストリームから、1以上の予測ブロックからなる復号ブロックを復号する受信装置であって、
動画像が符号化された符号化データを受信する受信部と、
前記符号化データをパケット処理して前記符号化ストリームを生成するパケット処理部と、
前記符号化ストリームにおける復号対象の予測ブロックで利用する結合動き情報候補を特定するためのインデックスが候補特定インデックスとして符号化された符号列から、前記候補特定インデックスを復号する復号部と、
前記復号ブロック内の予測ブロックの全てに対して共通に利用する結合動き情報候補を導出するか否かを示す情報が前記復号ブロック内の予測ブロックの全てに対して共通に利用する結合動き情報候補を導出することを示す情報であった場合、前記復号ブロック内の予測ブロックの全てに対して共通に利用する複数の結合動き情報候補を導出する結合動き情報候補生成部と、
前記候補特定インデックスに基づいて前記複数の結合動き情報候補から1つの結合動き情報候補を選択し、選択された前記1つの結合動き情報候補を前記復号対象の予測ブロックで利用する結合動き情報選択部と
を備えることを特徴とする受信装置。 - 符号化ストリームから、1以上の予測ブロックからなる復号ブロックを復号する受信方法であって、
動画像が符号化された符号化データを受信する受信ステップと、
前記符号化データをパケット処理して前記符号化ストリームを生成するパケット処理ステップと、
前記符号化ストリームにおける復号対象の予測ブロックで利用する結合動き情報候補を特定するためのインデックスが候補特定インデックスとして符号化された符号列から、前記候補特定インデックスを復号する復号ステップと、
前記復号ブロック内の予測ブロックの全てに対して共通に利用する結合動き情報候補を導出するか否かを示す情報が前記復号ブロック内の予測ブロックの全てに対して共通に利用する結合動き情報候補を導出することを示す情報であった場合、前記復号ブロック内の予測ブロックの全てに対して共通に利用する複数の結合動き情報候補を導出する結合動き情報候補生成ステップと、
前記候補特定インデックスに基づいて前記複数の結合動き情報候補から1つの結合動き情報候補を選択し、選択された前記1つの結合動き情報候補を前記復号対象の予測ブロックで利用する結合動き情報選択ステップと
を有することを特徴とする受信方法。 - 符号化ストリームから、1以上の予測ブロックからなる復号ブロックを復号する受信プログラムであって、
動画像が符号化された符号化データを受信する受信ステップと、
前記符号化データをパケット処理して前記符号化ストリームを生成するパケット処理ステップと、
前記符号化ストリームにおける復号対象の予測ブロックで利用する結合動き情報候補を特定するためのインデックスが候補特定インデックスとして符号化された符号列から、前記候補特定インデックスを復号する復号ステップと、
前記復号ブロック内の予測ブロックの全てに対して共通に利用する結合動き情報候補を導出するか否かを示す情報が前記復号ブロック内の予測ブロックの全てに対して共通に利用する結合動き情報候補を導出することを示す情報であった場合、前記復号ブロック内の予測ブロックの全てに対して共通に利用する複数の結合動き情報候補を導出する結合動き情報候補生成ステップと、
前記候補特定インデックスに基づいて前記複数の結合動き情報候補から1つの結合動き情報候補を選択し、選択された前記1つの結合動き情報候補を前記復号対象の予測ブロックで利用する結合動き情報選択ステップと
をコンピュータに実行させることを特徴とする受信プログラム。
Priority Applications (21)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012286857A JP5725009B2 (ja) | 2011-12-28 | 2012-12-28 | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
TW106128618A TWI653878B (zh) | 2011-12-28 | 2012-12-28 | 動態影像解碼裝置、動態影像解碼方法及記錄有動態影像解碼程式的記錄媒體 |
TW108100231A TWI684354B (zh) | 2011-12-28 | 2012-12-28 | 動態影像解碼裝置及動態影像解碼方法 |
RU2016118241A RU2628185C9 (ru) | 2011-12-28 | 2012-12-28 | Устройство декодирования движущегося изображения, способ декодирования движущегося изображения и программа декодирования движущегося изображения |
BR112014013977-6A BR112014013977B1 (pt) | 2011-12-28 | 2012-12-28 | Dispositivo de codificação de vídeo, método de codificação de vídeo e programa de codificação de vídeo e dispositivo de decodificação de vídeo, método de decodificação de vídeo e programa de decodificação de vídeo |
RU2014130469A RU2589297C9 (ru) | 2011-12-28 | 2012-12-28 | Устройство декодирования движущегося изображения и способ декодирования движущегося изображения |
TW105136466A TWI600315B (zh) | 2011-12-28 | 2012-12-28 | 動態影像解碼裝置、動態影像解碼方法及記錄有動態影像解碼程式的記錄媒體 |
TW108146494A TWI720750B (zh) | 2011-12-28 | 2012-12-28 | 動態影像編碼裝置及動態影像編碼方法 |
CN201280060716.XA CN104025587B (zh) | 2011-12-28 | 2012-12-28 | 动图像解码装置及动图像解码方法 |
PCT/JP2012/008431 WO2013099285A1 (ja) | 2011-12-28 | 2012-12-28 | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム |
TW101151071A TW201334565A (zh) | 2011-12-28 | 2012-12-28 | 動態影像編碼裝置、動態影像編碼方法及動態影像編碼程式、以及動態影像解碼裝置、動態影像解碼方法及動態影像解碼程式 |
BR122020014280-4A BR122020014280B1 (pt) | 2011-12-28 | 2012-12-28 | Dispositivo codificador de vídeo, método codificador de vídeo, dispositivo decodificador de vídeo, e método decodificador de vídeo |
US14/299,907 US10271063B2 (en) | 2011-12-28 | 2014-06-09 | Moving picture coding device, moving picture coding method and moving picture coding program, and moving picture decoding device, moving picture decoding method and moving picture decoding program |
US15/205,778 US20160323597A1 (en) | 2011-12-28 | 2016-07-08 | Moving picture coding device, moving picture coding method and moving picture coding program, and moving picture decoding device, moving picture decoding method and moving picture decoding program |
RU2017124177A RU2668523C9 (ru) | 2011-12-28 | 2017-07-07 | Устройство декодирования движущегося изображения и способ декодирования движущегося изображения |
RU2018131741A RU2687218C9 (ru) | 2011-12-28 | 2018-09-05 | Устройство декодирования движущегося изображения и способ декодирования движущегося изображения |
US16/278,863 US10448044B2 (en) | 2011-12-28 | 2019-02-19 | Moving picture coding device, moving picture coding method, moving picture, coding program, moving picture decoding device, moving picture decoding method, and moving picture decoding program |
RU2019106387A RU2697927C9 (ru) | 2011-12-28 | 2019-03-06 | Устройство декодирования движущегося изображения и способ декодирования движущегося изображения |
US16/558,533 US10631001B2 (en) | 2011-12-28 | 2019-09-03 | Moving picture coding device, moving picture coding method, and moving picture coding program |
US16/839,128 US10778998B2 (en) | 2011-12-28 | 2020-04-03 | Moving picture coding device, moving picture coding method, moving picture coding program, moving picture decoding device, moving picture decoding method, and moving picture decoding program |
US16/993,383 US10820011B1 (en) | 2011-12-28 | 2020-08-14 | Moving picture coding device, moving picture coding method, moving picture coding program, moving picture decoding device, moving picture decoding method, and moving picture decoding program |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011288985 | 2011-12-28 | ||
JP2011288985 | 2011-12-28 | ||
JP2012286857A JP5725009B2 (ja) | 2011-12-28 | 2012-12-28 | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
Related Child Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013204977A Division JP5725119B2 (ja) | 2011-12-28 | 2013-09-30 | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
JP2013204979A Division JP5725121B2 (ja) | 2011-12-28 | 2013-09-30 | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
JP2013204976A Division JP5725118B2 (ja) | 2011-12-28 | 2013-09-30 | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
JP2013204978A Division JP5725120B2 (ja) | 2011-12-28 | 2013-09-30 | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
JP2015075735A Division JP5880758B2 (ja) | 2011-12-28 | 2015-04-02 | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013153434A JP2013153434A (ja) | 2013-08-08 |
JP2013153434A5 JP2013153434A5 (ja) | 2014-02-13 |
JP5725009B2 true JP5725009B2 (ja) | 2015-05-27 |
Family
ID=49049413
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012286857A Active JP5725009B2 (ja) | 2011-12-28 | 2012-12-28 | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
JP2013204976A Active JP5725118B2 (ja) | 2011-12-28 | 2013-09-30 | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
JP2013204979A Active JP5725121B2 (ja) | 2011-12-28 | 2013-09-30 | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
JP2013204977A Active JP5725119B2 (ja) | 2011-12-28 | 2013-09-30 | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
JP2013204978A Active JP5725120B2 (ja) | 2011-12-28 | 2013-09-30 | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
JP2015075735A Active JP5880758B2 (ja) | 2011-12-28 | 2015-04-02 | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
Family Applications After (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013204976A Active JP5725118B2 (ja) | 2011-12-28 | 2013-09-30 | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
JP2013204979A Active JP5725121B2 (ja) | 2011-12-28 | 2013-09-30 | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
JP2013204977A Active JP5725119B2 (ja) | 2011-12-28 | 2013-09-30 | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
JP2013204978A Active JP5725120B2 (ja) | 2011-12-28 | 2013-09-30 | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
JP2015075735A Active JP5880758B2 (ja) | 2011-12-28 | 2015-04-02 | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
Country Status (1)
Country | Link |
---|---|
JP (6) | JP5725009B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015159568A (ja) * | 2011-12-28 | 2015-09-03 | 株式会社Jvcケンウッド | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6574976B2 (ja) * | 2014-03-18 | 2019-09-18 | パナソニックIpマネジメント株式会社 | 動画像符号化装置および動画像符号化方法 |
US10602180B2 (en) * | 2017-06-13 | 2020-03-24 | Qualcomm Incorporated | Motion vector prediction |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5725009B2 (ja) * | 2011-12-28 | 2015-05-27 | 株式会社Jvcケンウッド | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
-
2012
- 2012-12-28 JP JP2012286857A patent/JP5725009B2/ja active Active
-
2013
- 2013-09-30 JP JP2013204976A patent/JP5725118B2/ja active Active
- 2013-09-30 JP JP2013204979A patent/JP5725121B2/ja active Active
- 2013-09-30 JP JP2013204977A patent/JP5725119B2/ja active Active
- 2013-09-30 JP JP2013204978A patent/JP5725120B2/ja active Active
-
2015
- 2015-04-02 JP JP2015075735A patent/JP5880758B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015159568A (ja) * | 2011-12-28 | 2015-09-03 | 株式会社Jvcケンウッド | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2013153434A (ja) | 2013-08-08 |
JP2014039308A (ja) | 2014-02-27 |
JP5725119B2 (ja) | 2015-05-27 |
JP5725120B2 (ja) | 2015-05-27 |
JP2014039307A (ja) | 2014-02-27 |
JP5725121B2 (ja) | 2015-05-27 |
JP2014039310A (ja) | 2014-02-27 |
JP2015159568A (ja) | 2015-09-03 |
JP5880758B2 (ja) | 2016-03-09 |
JP5725118B2 (ja) | 2015-05-27 |
JP2014039309A (ja) | 2014-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2013099285A1 (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム | |
WO2013099283A1 (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム | |
JP6065088B2 (ja) | 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム | |
JP5843032B2 (ja) | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム | |
JP5880758B2 (ja) | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム | |
JP5843041B1 (ja) | 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131220 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150316 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5725009 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |