JP6386466B2 - 映像符号化装置及び方法、及び、映像復号装置及び方法 - Google Patents
映像符号化装置及び方法、及び、映像復号装置及び方法 Download PDFInfo
- Publication number
- JP6386466B2 JP6386466B2 JP2015542629A JP2015542629A JP6386466B2 JP 6386466 B2 JP6386466 B2 JP 6386466B2 JP 2015542629 A JP2015542629 A JP 2015542629A JP 2015542629 A JP2015542629 A JP 2015542629A JP 6386466 B2 JP6386466 B2 JP 6386466B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- reference information
- prediction
- information
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本願は、2013年10月17日に出願された特願2013−216525号に基づき優先権を主張し、その内容をここに援用する。
多視点映像符号化においては、一般的な映像符号化で用いられる予測方法の他に、既に符号化済みの別の視点の映像を参照して視差補償に基づき符号化対象信号を予測する視点間予測と、フレーム間予測により符号化対象信号を予測し、その残差信号を、既に符号化済みの別の視点の映像の符号化時の残差信号を参照して予測する視点間残差予測などの方法が用いられる。視点間予測は、MVC(Multiview Video Coding)などの多視点映像符号化ではフレーム間予測とまとめてインター予測として扱われ、Bピクチャにおいては2つ以上の予測画像を補間して予測画像とする双方向予測にも用いることができる。このように、多視点映像符号化においては、フレーム間予測と視点間予測の両方を行うことができるピクチャについては、フレーム間予測と視点間予測による双方向予測を行うことができる。
一般的な方法では、既に符号化済みの、符号化対象画像の周辺ブロックが符号化時に使用した予測情報を取得し、符号化対象画像の予測に用いる参照情報とするダイレクトモードや、周辺ブロックの予測情報を候補リスト(Candidate List)としてリスト化し、リスト中から予測情報を取得する対象ブロックを識別する識別子を符号化するマージモードなどがある。
多視点映像符号化において用いられる視点間残差予測では、異なる視点の映像における符号化対象画像と対応する領域の、符号化時の予測残差信号を、符号化対象の予測残差信号から差し引くことによって残差信号のエネルギーを低減し、符号化効率を向上することが可能である。
視点間の対応関係は、例えば既に符号化済みの周辺ブロックが視差補償予測で符号化されている場合に、その視差ベクトルによって、符号化対象ブロックに対応する別の視点の領域を設定するなどの方法で求められる。この方法で求められる視差ベクトルは「neighboring block based disparity vector(NBDV)」と呼ばれる。
視点間残差予測は、Bピクチャにおいてフレーム間予測が用いられる場合に、その予測とは別に、残差に対する更なる処理として用いられる。
シーンの光線情報は様々なデータ形式によって表現されるが、最も一般的な形式としては、映像とその映像の各フレームにおけるデプスマップと呼ばれる奥行き画像を用いる方式がある(非特許文献4)。
2つのカメラから同一の被写体を観測するとき、被写体のデプス値はカメラ間の視差の逆数に比例するために、デプスマップはディスパリティマップ(視差画像)と呼ばれることもある。これに対して、デプスマップの対応するカメラの映像のことをテクスチャと呼ぶこともある。
デプスマップは画像の各画素につき一つの値を持つ表現であるために、グレースケール画像とみなして記述することができる。
代表的な例としては、映像の符号化において、符号化対象画像に対応するデプスマップのデプス値を視差に変換することで、符号化対象画像で視差補償予測を行うための視差ベクトルを得るという方法などがある。また別の方法としては、デプスマップを使用して符号化対象視点の画像を合成して予測画像に用いる視点合成予測という方法もある(非特許文献5)。
また、視点間動き予測や残差予測において、一般にはNBDVを使用して符号化対象画像に対応する別の視点のピクチャ上の領域を決定するという方法がとられる。このような方法は符号化対象画像が周辺ブロックと同じ動き/視差を持っている場合には有効であるが、そうでない場合にはまったく効果は得られない。またこの方法は周辺ブロックに視差補償予測で符号化されているものがない場合には使用することができない。
このような場合に視点間動き予測や残差予測を行うためには追加の視差ベクトル等の、視点間対応を得るための情報が必要になり、符号量が増加するという問題がある。
前記第1参照領域に対応するデプスマップから、符号化対象画像に対する別の参照先である第2参照領域を示す第2参照情報を決定する第2参照情報決定手段と、
前記第2参照情報、または前記第1参照情報と前記第2参照情報との両方に基づいて予測画像を生成する予測画像生成手段と
を有することを特徴とする映像符号化装置を提供する。
前記予測画像生成手段は、前記判定手段の判定結果に基づいて、符号化対象画像の部分領域毎に、前記前記第1参照情報と前記第2参照情報のいずれかまたは両方を使用して前記予測画像を生成するようにしても良い。
既に符号化済みの画像を参照ピクチャとして符号化対象画像を予測し、参照先である第1参照領域を示す第1参照情報を決定する予測手段と、
前記第1参照領域に対応するデプスマップから、符号化対象画像に対する別の参照先である第2参照領域を示す第2参照情報を決定する第2参照情報決定手段と、
前記第2参照情報を、符号化対象画像の周辺画像の予測情報をリスト化した候補リストに加える候補リスト更新手段と
を有することを特徴とする映像符号化装置も提供する。
符号化された予測情報または該映像復号装置で参照可能な情報に基づく第1参照情報の示す参照先である第1参照領域に対応するデプスマップから、復号対象画像に対する別の参照先である第2参照領域を示す第2参照情報を決定する第2参照情報決定手段と、
前記第2参照情報、または前記第1参照情報と前記第2参照情報との両方に基づいて予測画像を生成する予測画像生成手段と
を有することを特徴とする映像復号装置も提供する。
前記予測画像生成手段は、前記判定手段の判定結果に基づいて、復号対象画像の部分領域毎に、前記第1参照情報と前記第2参照情報のいずれかまたは両方を使用して前記予測画像を生成するようにしても良い。
既に復号済みの画像を参照ピクチャとして復号対象画像を予測し参照先である第1参照領域を示す第1参照情報を決定する予測手段と、
前記第1参照領域に対応するデプスマップと、復号対象画像に対する別の参照先である第2参照領域を示す第2参照情報を決定する第2参照情報決定手段と、
前記第2参照情報を、復号対象画像の周辺画像の予測情報をリスト化した候補リストに加える候補リスト更新手段と
を有することを特徴とする映像復号装置も提供する。
既に符号化済みの画像を参照ピクチャとして符号化対象画像を予測し参照先である第1参照領域を示す第1参照情報を決定する予測ステップと、
前記第1参照領域に対応するデプスマップと、符号化対象画像に対する別の参照先である第2参照領域を示す第2参照情報を決定する第2参照情報決定ステップと、
前記第2参照情報または前記第1参照情報と前記第2参照情報の両方に基づいて予測画像を生成する予測画像生成ステップと
を備えることを特徴とする映像符号化方法も提供する。
既に符号化済みの画像を参照ピクチャとして符号化対象画像を予測し参照先である第1参照領域を示す第1参照情報を決定する予測ステップと、
前記第1参照領域に対応するデプスマップから、符号化対象画像に対する別の参照先である第2参照領域を示す第2参照情報を決定する第2参照情報決定ステップと、
前記第2参照情報を、符号化対象画像の周辺画像の予測情報をリスト化した候補リストに加える候補リスト更新ステップと
を備えることを特徴とする映像符号化方法も提供する。
符号化された予測情報または該映像復号装置で参照可能ないずれかの情報に基づく第1参照情報の示す参照先である第1参照領域に対応するデプスマップから、復号対象画像に対する別の参照先である第2参照領域を示す第2参照情報を決定する第2参照情報決定ステップと、
前記第2参照情報または前記第1参照情報と前記第2参照情報の両方に基づいて予測画像を生成する予測画像生成ステップと
を備えることを特徴とする映像復号方法も提供する。
既に復号済みの画像を参照ピクチャとして復号対象画像を予測し参照先である第1参照領域を示す第1参照情報を決定する予測ステップと、
前記第1参照領域に対応するデプスマップと、復号対象画像に対する別の参照先である第2参照領域を示す第2参照情報を決定する第2参照情報決定ステップと、
前記第2参照情報を、復号対象画像の周辺画像の予測情報をリスト化した候補リストに加える候補リスト更新ステップと
を備えることを特徴とする映像復号方法も提供する。
<第1実施形態>
まず、第1実施形態について説明する。図1は、本発明の第1実施形態による映像符号化装置100の構成を示すブロック図である。
映像符号化装置100は、図1に示すように、符号化対象映像入力部101、入力映像メモリ102、参照ピクチャメモリ103、デプスマップ入力部104、デプスマップメモリ105、予測部106、第2参照情報決定部107、予測画像生成部108、減算部109、変換・量子化部110、逆量子化・逆変換部111、加算部112、及びエントロピー符号化部113を備えている。
入力映像メモリ102は、入力された符号化対象映像を記憶する。
参照ピクチャメモリ103は、それまでに符号化・復号された画像を記憶する。以下では、この記憶されたフレームを参照フレームまたは参照ピクチャと呼ぶ。
デプスマップ入力部104は、参照ピクチャに対応するデプスマップを映像符号化装置100に入力する。デプスマップメモリ105は、これまでに入力されたデプスマップを記憶する。
第2参照情報決定部107は、上記第1参照情報により示される第1参照領域に対応するデプスマップから、別の参照先である第2参照領域を示す第2参照情報を決定する。
予測画像生成部108は、上記第2参照情報に基づき、予測画像を生成する。
減算部109は、符号化対象画像と予測画像の差分値を求め、予測残差を生成する。
逆量子化・逆変換部111は、生成された量子化データを逆量子化・逆変換し、復号予測残差を生成する。
加算部112は、復号予測残差と予測画像とを加算し復号画像を生成する。
エントロピー符号化部113は、量子化データをエントロピー符号化し、符号データを生成する。
ここでは、符号化対象映像は多視点映像のうちの一つの映像であるものとし、多視点映像は、フレーム毎に1視点ずつ全視点の映像を符号化し復号する構造をとるものとする。そしてここでは、符号化対象映像中のある1フレームを符号化する処理について説明する。以下で説明する処理をフレームごとに繰り返すことで、映像の符号化が実現できる。
なお、符号化対象映像中の幾つかのフレームは既に符号化されているものとし、その復号結果が参照ピクチャメモリ103に記憶されているとする。また、符号化対象ピクチャと同じフレームまでの参照可能な別の視点の映像も、既に符号化され復号されて参照ピクチャメモリ103に記憶されていることとする。
ただし、符号化装置と復号装置で同一のものを参照することが可能であれば、映像と共に符号化されていないものでもよいし、非圧縮のものでもよい。
以下では、符号化対象となるブロックの画像のことを符号化対象ブロックまたは符号化対象画像と呼ぶ。以下のステップS103〜S110の処理は、ピクチャの全てのブロックに対して繰り返し実行する。
予測はどのような方法で行ってもよいし、第1参照情報及び予測情報はどのようなものでもよい。
参照領域を示す参照情報として一般的なものとして、参照ピクチャを特定する参照ピクチャインデックス情報と、参照ピクチャ上での参照位置を示すベクトルの組み合わせなどがある。
また、予測情報は、第1参照情報を決定可能なものであればどのようなものでもよい。第1参照情報そのものを予測情報としてもよいし、マージモードなどで用いるブロックを特定可能な識別情報を予測情報としてもよい。その他どのような予測方法、参照情報、予測情報を使用してもよい。
予測情報は符号化して映像の符号データと多重化してもよいし、前述のように周辺の予測情報や候補リストから導き出せる場合には符号化しなくてもよい。また、予測情報を予測し、その残差を符号化してもよい。
第2参照情報は、第1参照情報と同様に、参照ピクチャと参照位置を特定可能な情報であればどのようなものでもよい。また、参照ピクチャはあらかじめ定められたものでもよいし、別途決定してもよい。例えば第2参照領域は必ずある特定の視点の映像上に設定することとして、第2参照情報として参照ピクチャを指定する情報を含めなくてもよい。参照位置を指定する情報としては、視差ベクトルやデプスマップなどの情報でもよいし、そのほかのどのような情報でもよい。
図3は、符号化対象画像が視点Bのフレームnのピクチャの一部であり、第1参照情報により示された第1参照領域が視点Bのフレームm(≠n)の参照ピクチャ上にあり、第2参照領域を視点A(≠B)のフレームnの参照ピクチャ上に設定する場合の例である。
この場合、視点Aのフレームnの参照ピクチャを示す参照ピクチャインデックスと、第1参照領域に対応するデプスマップに基づいて視差ベクトルを決定し第2参照情報とすることで、第2参照情報に基づいて視差補償予測などを行うことができる。
また別の方法として、デプスマップに基づいて視差ベクトルを決定し、その視差ベクトルを使用して既に復号済みの別の視点の映像を参照し、その映像の符号化時の予測情報を使用して第2参照情報を決定するなどしてもよい。
デプスマップから視差ベクトルへの変換はどのように行ってもよい。必要ならデプス値を視差値に変換するルックアップテーブルやホモグラフィ行列や、別途カメラパラメータなどの付加情報を使用してもよい。付加情報は符号化して映像と共に多重化してもよいし、復号装置で同一のものを参照できるのであればしなくてもよい。
または、更に第1参照領域の候補リスト中の予測情報やNBDVに基づいて第2参照情報を決定することもできる。その他にどのような方法で決定してもよい。
例えば、符号化対象ブロックの候補リスト(周辺ブロックの予測情報)中のベクトルやNBDVと、第1参照領域の周辺のデプスマップとから、第1参照領域のデプスマップを符号化対象画像に合わせる補正係数を決定することなどができる。補正係数はどのようなものでもよい。スケーリングやオフセットのためのパラメータでもよいし、あらかじめ定められたパラメータの中から使用するものを指定する識別子でもよい。
例えば、第1参照領域のフレームでのカメラパラメータ中の映像の深度レンジと符号化対象画像のフレームの深度レンジを合わせるように補正係数を決定するなどしてもよい。また、補正のための情報を符号化して映像と多重化してもよい。補正係数そのものを符号化しても構わないし、あらかじめ定められた補正係数の組のうち使用するものを指定する識別子を符号化しても構わない。また、復号側で同様の情報が得られる場合には符号化しなくてもよい。
予測画像は第2参照情報のみを用いて視差補償や視点合成予測によって生成してもよい。また、更に第1参照情報を用いて動き補償または視差補償によってもう一つの予測画像を生成し、2つの予測画像を混合することで最終的な予測画像を生成してもよい。また、双方向予測において重みつき混合を行うこととしてその重みを任意に決定してもよい。また、第2参照情報がデプスマップである場合に視点合成予測を行ってもよい。
次に、予測残差の生成が終了したら、変換・量子化部110は予測残差を変換・量子化し、量子化データを生成する(ステップS107)。この変換・量子化は、復号側で正しく逆量子化・逆変換できるものであればどのような方法を用いてもよい。
そして、変換・量子化が終了したら、逆量子化・逆変換部111は、量子化データを逆量子化・逆変換し、復号予測残差を生成する(ステップS108)。
この時、必要であれば復号画像にループフィルタをかけてもよい。通常の映像符号化では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。
映像復号装置200は、図4に示すように、符号データ入力部201、符号データメモリ202、参照ピクチャメモリ203、デプスマップ入力部204、デプスマップメモリ205、エントロピー復号部206、逆量子化・逆変換部207、第2参照情報決定部208、予測画像生成部209、加算部210を備えている。
符号データメモリ202は、入力された復号対象映像の符号データを記憶する。参照ピクチャメモリ203は、すでに復号済みの画像を記憶する。
デプスマップ入力部204は、参照ピクチャに対応するデプスマップを映像復号装置200に入力する。デプスマップメモリ205は、これまでに入力されたデプスマップを記憶する。
エントロピー復号部206は、復号対象ピクチャの符号データをエントロピー復号して量子化データを生成し、逆量子化・逆変換部207は、量子化データに逆量子化/逆変換を施して復号予測残差を生成する。
第2参照情報決定部208は、エントロピー復号部206から受け取るなどする予測情報に基づいて設定される第1参照領域に対応するデプスマップに基づいて、第2参照情報を決定する。
予測画像生成部209は、第2参照情報に基づき、予測画像を生成する。
加算部210は、復号予測残差と予測画像とを加算して復号画像を生成する。
ここでは、復号対象映像は多視点映像のうちの一つの映像であることとし、多視点映像は、フレーム毎に1視点ずつ全視点の映像を復号する構造をとるとする。そしてここでは、符号データ中のある1フレームを復号する処理について説明する。説明する処理をフレームごとに繰り返すことで、映像の復号が実現できる。
なお、復号対象映像中の幾つかのフレームは既に復号されているものとし、その復号結果が参照ピクチャメモリ203に記憶されているものとする。また、復号対象ピクチャと同じフレームまでの参照可能な別の視点の映像も既に復号されて参照ピクチャメモリ203に記憶されていることとする。
ただし符号化装置と復号装置で同一のものを参照することが可能であれば映像と共に符号化されていないものでもよいし、非圧縮のものでもよい。
以下では、復号対象となるブロックの画像のことを復号対象ブロックまたは復号対象画像と呼ぶ。ステップS203〜S207の処理は、フレーム全てのブロックに対して繰り返し実行する。
逆量子化・逆変換部207は、逆量子化・逆変換を行い、復号予測残差を生成する(ステップS204)。予測情報やその他の付加情報が符号データに含まれる場合は、それらも復号し、適宜必要な情報を生成してもよい。
予測情報、第1参照情報及び第2参照情報の詳細とその決定方法は、映像符号化装置と同様である。第2参照情報生成が完了したら、予測画像生成部209は、第2参照情報に基づき予測画像を生成する(ステップS206)。
必要であれば復号画像にループフィルタをかけてもよい。通常の映像復号では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。
そして、全てのブロックについて処理が終了したら(ステップS208)、復号フレームとして出力する(ステップS209)。
次に、第2実施形態について説明する。図6は、本発明の第2実施形態による映像符号化装置100aの構成を示すブロック図である。この図において、図1に示す装置と同一の部分には同一の符号を付し、その説明を省略する。
この図に示す装置が図1に示す装置と異なる点は、新たに予測方法切り替え部114を備えている点である。予測方法切り替え部114は、予測画像生成部108において第1参照情報と第2参照情報のいずれかあるいは両方によるインター予測のうちどの予測方法を使用して予測画像を生成するかを示す切り替え判定情報を決定する。
まず、ステップS101からS103までは、図2に示す処理動作と同様の処理を行う。
そして、予測方法切り替え部114は、予測画像生成部108において第1参照情報と第2参照情報のいずれかあるいは両方によるインター予測または視点合成予測などのうち、どの予測方法を使用して予測画像を生成するかを示す切り替え判定情報を決定する(ステップS103a)。
切り替え判定の方法としては、例えば第1参照領域の符号化時の予測残差を使用して予測方法を決定することもできる。このような方法では、あるブロックでは第1参照領域の予測残差が多い場合には、その領域では第2参照情報の精度が低いものとして、第1参照情報のみを使用して予測を行うような切り替えが可能である。
図8は、符号化対象画像が視点Bのフレームnのピクチャの一部であり、第1参照情報により示された第1参照領域が視点Bのフレームm(≠n)の参照ピクチャ上にあり、第2参照領域を視点A(≠B)のフレームnの参照ピクチャ上に設定する場合の例である。
この場合第3参照領域は視点A(≠B)のフレームmの参照ピクチャ上にある。
その場合、予測精度の見積もりはどのように行ってもよい。例えば、差分画像が第2参照情報による予測で発生する残差であるとして、ブロック内の残差の絶対量や平均量、または変換して符号化した場合の符号量を見積もる方法が適用できる。また見積もった予測精度または符号量などに基づく判定は、どのように行ってもよい。例えば、あらかじめ定められた閾値を使用して判定する方法などが適用できる。
このように第2参照領域の情報も使用して判定を行う場合には、ステップS103aの前にステップS104を実行してもよい。
以下、ステップS106〜S112までの処理は、図2に示す処理動作と同様に実行する。
この図に示す装置が図4に示す装置と異なる点は、新たに予測方法切り替え部211を備えている点である。予測方法切り替え部211は、予測画像生成部209において第1参照情報と第2参照情報のいずれかあるいは両方によるインター予測のうちどの予測方法を使用して予測画像を生成するかを示す切り替え判定情報を決定する。
まず、ステップS201からS204までは、図5に示す処理動作と同様の処理を行う。
以下、ステップS207〜S209までの処理は、図5に示す処理動作と同様に実行する。
次に、第3実施形態について説明する。図12は、本発明の第3実施形態による映像符号化装置100bの構成を示すブロック図である。この図において、図1に示す装置と同一の部分には同一の符号を付し、その説明を省略する。
この図に示す装置が図1に示す装置と異なる点は、新たに二次予測画像生成部115を備えている点である。二次予測画像生成部115は、第1参照領域に対応するデプスマップに基づいて、第1参照領域に対応する別の参照ピクチャ上の参照先である第3参照領域を参照し、第1参照領域の予測画像である二次予測画像を生成する。
そして、二次予測画像生成部115は、第1参照領域に対応するデプスマップに基づいて、第1参照領域に対応する別の参照ピクチャ上の参照先である第3参照領域を参照し、動き補償または視差補償または視点合成予測によって、上述の二次予測画像を生成する(ステップS105b)。
予測画像の生成はどのように行ってもよい。以下では、第1参照領域が符号化対象視点と同じ視点の異なるフレームのピクチャ上にある例について説明する。
図14は、符号化対象画像が視点Bのフレームnのピクチャの一部であり、第1参照情報により示された第1参照領域が視点Bのフレームm(≠n)の参照ピクチャ上にあり、第2参照領域を視点A(≠B)のフレームnの参照ピクチャ上に設定する場合の例である。
この場合第3参照領域は視点A(≠B)のフレームmの参照ピクチャ上にある。
ここで、第1一次予測画像をI1、第2一次予測画像をI2、二次予測画像をI3とするとき、予測画像Iは(1)式で表される。
I=I1+(I2−I3) ・・・(1)
予測画像生成においては、上記(1)式に基づいて一度に予測画像を生成してもよいし、別途差分画像を生成してから更に第1一次予測画像に加算することで予測画像を生成してもよい。その他にどのような手順で残差予測を行い予測画像を生成してもよい。
なお、上記の例では第1参照領域が符号化対象視点と同じ視点の異なるフレームのピクチャ上にある場合について説明したが、第1参照領域が符号化対象視点と異なる視点の同じフレームのピクチャ上にある場合にも、同様の方法を用いることができる。
以下、ステップS106〜S112までの処理は、図2に示す処理動作と同様に実行する。
この図に示す装置が図4に示す装置と異なる点は、新たに二次予測画像生成部212を備えている点である。二次予測画像生成部212は、第1参照領域に対応するデプスマップに基づいて、第1参照領域に対応する別の参照ピクチャ上の参照先である第3参照領域を参照し、第1参照領域 に対応する予測画像である二次予測画像を生成する。
まず、ステップS201からS205までは、図5に示す処理動作と同様の処理を行う。
以下、ステップS207〜S209までの処理は、図5に示す処理動作と同様に実行する。
この重みは、前述のような第1参照領域の予測残差や、第2参照領域の予測情報や、第3参照領域や差分画像を使用して予測精度を見積もる方法で決定してもよい。また別の方法としては、符号化対象ブロックの周辺ブロックと、第1参照領域及び第2参照領域の周辺ブロックを参照し、最適な重みを決定するなどしてもよい。
蓄積された予測残差をRとして、この場合には(1)式は下記の(2)式のように変形され、第1参照領域の予測残差と第2参照領域のみから予測画像を生成することができる。または、蓄積された予測残差を第1参照領域の画像から減算することで二次予測画像を生成し、これを用いて第3実施形態と同じ方法で予測画像を生成することもできる。
I=I1+R ・・・(2)
なお、前述した第1〜第3実施形態においては、符号化対象ブロックが単方向予測と同様に第1参照情報を1つもつ場合の処理について説明したが、一般的な双方向予測のように2つ以上の第1参照情報を与えてもよい。その場合に両方向について第2参照情報を決定し前述の処理を実施してもよいし、一方向だけに実施してもよい。
例えば、予測情報を二つ符号化し、一方を予測に使用し、もう一方を第2参照領域の決定に使用するなどしてもよい。あるいは、符号化した予測情報は通常の予測にのみ使用し、候補リストやNBDVなどを使用して第2参照情報を決定するための第1参照情報を別に決定するなどしてもよい。
また、第2参照情報を使用して第1参照情報を補正、または新たに生成するなどしてもよい。例えば、第1参照情報が動きベクトルであり、動きベクトルの示す参照先のデプスマップから第2参照情報を得る場合に、第2参照情報の示す参照先の符号化時の動きベクトルを取得して新たな第1参照情報として予測に用いるなどしてもよい。
例えば、第1実施形態で説明した方法によって符号化された動きベクトルを使用してデプスマップから視差ベクトルを取得し、視差補償予測によって一次予測画像を生成し、更に上記の符号化された動きベクトルを使用して残差予測を行うなどしてもよい。
また元々の符号化された動きベクトルの代わりに視差ベクトルの示す参照先の符号化時の動きベクトルを使用して残差予測を行うなどしてもよい。
また、符号化された動きベクトルと参照先の符号化時の動きベクトルを使用して、取得した視差ベクトルの補正を行うなどしてもよい。
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、PLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されるものであってもよい。
102・・・入力映像メモリ
103・・・参照ピクチャメモリ
104・・・デプスマップ入力部
105・・・デプスマップメモリ
106・・・予測部
107・・・第2参照情報決定部
108・・・予測画像生成部
109・・・減算部
110・・・変換・量子化部
111・・・逆量子化・逆変換部
112・・・加算部
113・・・エントロピー符号化部
114・・・予測方法切り替え部
115・・・二次予測画像生成部
201・・・符号データ入力部
202・・・符号データメモリ
203・・・参照ピクチャメモリ
204・・・デプスマップ入力部
205・・・デプスマップメモリ
206・・・エントロピー復号部
207・・・逆量子化・逆変換部
208・・・第2参照情報決定部
209・・・予測画像生成部
210・・・加算部
211・・・予測方法切り替え部
212・・・二次予測画像生成部
Claims (12)
- 符号化対象映像に含まれる符号化対象画像を予測符号化する映像符号化装置であって、
既に符号化済みの画像を参照ピクチャとして符号化対象画像を予測し、参照先である第1参照領域を示す第1参照情報を決定する予測手段と、
前記第1参照領域に対応するデプスマップから、符号化対象画像に対する別の参照先である第2参照領域を示す第2参照情報を決定する第2参照情報決定手段と、
前記第1参照情報、または前記第1参照情報と前記第2参照情報との両方に基づいて予測画像を生成する予測画像生成手段と
を有し、
前記第1参照領域に対応するデプスマップによって決定される前記第1参照領域に対応する別の参照ピクチャ上の参照先である第3参照領域に基づいて、符号化対象画像の部分領域毎に、前記第1参照情報と前記第2参照情報のいずれかまたは両方を使用するかを判定する判定手段を更に有し、
前記予測画像生成手段は、前記判定手段の判定結果に基づいて、符号化対象画像の部分領域毎に、前記第1参照情報と前記第2参照情報の少なくとも一方を使用して、フレーム間予測と視点間予測の少なくとも一方を用いて前記予測画像を生成し、
前記判定手段は、前記判定結果として、前記第1参照領域の画像と前記第3参照領域の画像の差分をとって差分画像とし、前記差分画像に基づいて前記第2参照情報による予測の精度を推定し、精度の低い場合には前記第2参照情報は使用せずに前記第1参照情報を使用すると判定することを特徴とする映像符号化装置。 - 前記第1参照情報は符号化対象画像と異なるフレームの画像上の参照先を示し、前記第2参照情報は符号化対象画像と異なる視点の画像上の参照先を示すことを特徴とする請求項1に記載の映像符号化装置。
- 前記予測画像生成手段は、前記第1参照情報を使用して第1一次予測画像を生成し、前記第2参照情報を使用して第2一次予測画像を生成し、前記第1一次予測画像と前記第2一次予測画像とを混合することによって前記予測画像を生成することを特徴とする請求項1に記載の映像符号化装置。
- 前記予測画像生成手段は、前記第1参照情報を使用して第1一次予測画像を生成し、前記第2参照情報を使用して第2一次予測画像を生成し、更に前記第1参照情報と前記第1参照領域に対応するデプスマップ、または前記第1参照情報と前記第2参照情報を使用して残差予測を行うことにより前記予測画像を生成することを特徴とする請求項1に記載の映像符号化装置。
- 前記予測画像生成手段は、前記第1参照領域に対応するデプスマップによって決定される、前記第1参照領域に対応する別の参照ピクチャ上の参照先である第3参照領域から二次予測画像を生成し、前記第1一次予測画像と前記第2一次予測画像と前記二次予測画像とから残差予測を行い、前記予測画像を生成することを特徴とする請求項4に記載の映像符号化装置。
- 復号対象映像に含まれる復号対象画像を予測復号する映像復号装置であって、
符号化された予測情報または該映像復号装置で参照可能な情報に基づく第1参照情報の示す参照先である第1参照領域に対応するデプスマップから、復号対象画像に対する別の参照先である第2参照領域を示す第2参照情報を決定する第2参照情報決定手段と、
前記第1参照情報、または前記第1参照情報と前記第2参照情報との両方に基づいて予測画像を生成する予測画像生成手段と
を有し、
前記第1参照領域に対応するデプスマップによって決定される前記第1参照領域に対応する別の参照ピクチャ上の参照先である第3参照領域に基づいて、復号対象画像の部分領域毎に前記第1参照情報と前記第2参照情報のいずれかまたは両方を使用するかを判定する判定手段を更に有し、
前記予測画像生成手段は、前記判定手段の判定結果に基づいて、復号対象画像の部分領域毎に、前記第1参照情報と前記第2参照情報の少なくとも一方を使用して、フレーム間予測と視点間予測の少なくとも一方を用いて前記予測画像を生成し、
前記判定手段は、前記判定結果として、前記第1参照領域の画像と前記第3参照領域の画像の差分をとって差分画像とし、前記差分画像に基づいて前記第2参照情報による予測の精度を推定し、精度の低い場合には前記第2参照情報は使用せずに前記第1参照情報を使用すると判定することを特徴とする映像復号装置。 - 前記第1参照情報は復号対象画像と異なるフレームの画像上の参照先を示し、前記第2参照情報は復号対象画像と異なる視点の画像上の参照先を示すことを特徴とする請求項6に記載の映像復号装置。
- 前記予測画像生成手段は、前記第1参照情報を使用して第1一次予測画像を生成し、前記第2参照情報を使用して第2一次予測画像を生成し、前記第1一次予測画像と前記第2一次予測画像とを混合することによって前記予測画像を生成することを特徴とする請求項6に記載の映像復号装置。
- 前記予測画像生成手段は、前記第1参照情報を使用して第1一次予測画像を生成し、前記第2参照情報を使用して第2一次予測画像を生成し、更に前記第1参照情報と前記第1参照領域に対応するデプスマップ、または前記第1参照情報と前記第2参照情報を使用して残差予測を行うことにより前記予測画像を生成することを特徴とする請求項6に記載の映像復号装置。
- 前記予測画像生成手段は、前記第1参照領域に対応するデプスマップによって決定される、前記第1参照領域に対応する別の参照ピクチャ上の参照先である第3参照領域から二次予測画像を生成し、前記第1一次予測画像と前記第2一次予測画像と前記二次予測画像とから残差予測を行い前記予測画像を生成することを特徴とする請求項9に記載の映像復号装置。
- 符号化対象映像に含まれる符号化対象画像を予測符号化する映像符号化装置が行う映像符号化方法であって、
既に符号化済みの画像を参照ピクチャとして符号化対象画像を予測し参照先である第1参照領域を示す第1参照情報を決定する予測ステップと、
前記第1参照領域に対応するデプスマップと、符号化対象画像に対する別の参照先である第2参照領域を示す第2参照情報を決定する第2参照情報決定ステップと、
前記第1参照情報、または前記第1参照情報と前記第2参照情報の両方に基づいて予測画像を生成する予測画像生成ステップと
を備え、
前記第1参照領域に対応するデプスマップによって決定される前記第1参照領域に対応する別の参照ピクチャ上の参照先である第3参照領域に基づいて、符号化対象画像の部分領域毎に、前記第1参照情報と前記第2参照情報のいずれかまたは両方を使用するかを判定する判定ステップを更に有し、
前記予測画像生成ステップでは、前記映像符号化装置は、前記判定ステップの判定結果に基づいて、符号化対象画像の部分領域毎に、前記第1参照情報と前記第2参照情報の少なくとも一方を使用して、フレーム間予測と視点間予測の少なくとも一方を用いて前記予測画像を生成し、
前記判定ステップでは、前記映像符号化装置は、前記判定結果として、前記第1参照領域の画像と前記第3参照領域の画像の差分をとって差分画像とし、前記差分画像に基づいて前記第2参照情報による予測の精度を推定し、精度の低い場合には前記第2参照情報は使用せずに前記第1参照情報を使用すると判定することを特徴とする映像符号化方法。 - 復号対象映像に含まれる復号対象画像を予測復号する映像復号装置が行う映像復号方法であって、
符号化された予測情報または該映像復号装置で参照可能ないずれかの情報に基づく第1参照情報の示す参照先である第1参照領域に対応するデプスマップから、復号対象画像に対する別の参照先である第2参照領域を示す第2参照情報を決定する第2参照情報決定ステップと、
前記第1参照情報、または前記第1参照情報と前記第2参照情報の両方に基づいて予測画像を生成する予測画像生成ステップと
を備え、
前記第1参照領域に対応するデプスマップによって決定される前記第1参照領域に対応する別の参照ピクチャ上の参照先である第3参照領域に基づいて、復号対象画像の部分領域毎に前記第1参照情報と前記第2参照情報のいずれかまたは両方を使用するかを判定する判定ステップを更に有し、
前記予測画像生成ステップでは、前記映像復号装置は、前記判定ステップの判定結果に基づいて、復号対象画像の部分領域毎に、前記第1参照情報と前記第2参照情報の少なくとも一方を使用して、フレーム間予測と視点間予測の少なくとも一方を用いて前記予測画像を生成し、
前記判定ステップでは、前記映像復号装置は、前記判定結果として、前記第1参照領域の画像と前記第3参照領域の画像の差分をとって差分画像とし、前記差分画像に基づいて前記第2参照情報による予測の精度を推定し、精度の低い場合には前記第2参照情報は使用せずに前記第1参照情報を使用すると判定することを特徴とする映像復号方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013216525 | 2013-10-17 | ||
JP2013216525 | 2013-10-17 | ||
PCT/JP2014/077408 WO2015056700A1 (ja) | 2013-10-17 | 2014-10-15 | 映像符号化装置及び方法、及び、映像復号装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015056700A1 JPWO2015056700A1 (ja) | 2017-03-09 |
JP6386466B2 true JP6386466B2 (ja) | 2018-09-05 |
Family
ID=52828142
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015542629A Active JP6386466B2 (ja) | 2013-10-17 | 2014-10-15 | 映像符号化装置及び方法、及び、映像復号装置及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20160286212A1 (ja) |
JP (1) | JP6386466B2 (ja) |
KR (1) | KR20160045121A (ja) |
CN (1) | CN105612749A (ja) |
WO (1) | WO2015056700A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11528509B2 (en) | 2018-09-07 | 2022-12-13 | Lg Electronics Inc. | Video transmission method, video transmission device, video receiving method and video receiving device |
JP2020108077A (ja) * | 2018-12-28 | 2020-07-09 | 富士通株式会社 | 映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101050828B1 (ko) * | 2003-08-26 | 2011-07-21 | 톰슨 라이센싱 | 하이브리드 인트라-인터 코딩된 블록을 디코딩하기 위한 방법 및 장치 |
RU2434361C2 (ru) * | 2006-10-30 | 2011-11-20 | Ниппон Телеграф Энд Телефон Корпорейшн | Способ генерации предсказанной опорной информации, способы кодирования и декодирования видео, устройства для этого, программы для этого и носитель данных, хранящий эти программы |
KR101447717B1 (ko) * | 2006-10-30 | 2014-10-07 | 니폰덴신뎅와 가부시키가이샤 | 동영상 부호화 방법 및 복호방법, 그들의 장치 및 그들의 프로그램과 프로그램을 기록한 기억매체 |
KR101762819B1 (ko) * | 2010-09-02 | 2017-07-28 | 엘지전자 주식회사 | 영상 부호화 및 복호화 방법과 이를 이용한 장치 |
WO2012108315A1 (ja) * | 2011-02-07 | 2012-08-16 | シャープ株式会社 | 予測情報生成方法、画像符号化方法、画像復号方法、予測情報生成装置、予測情報生成プログラム、画像符号化装置、画像符号化プログラム、画像復号装置および画像復号プログラム |
WO2013001813A1 (ja) * | 2011-06-29 | 2013-01-03 | パナソニック株式会社 | 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置 |
WO2013001749A1 (ja) * | 2011-06-29 | 2013-01-03 | パナソニック株式会社 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置 |
KR20130050406A (ko) * | 2011-11-07 | 2013-05-16 | 오수미 | 머지 모드에서의 움직임 정보 생성 방법 |
WO2013108613A1 (ja) * | 2012-01-17 | 2013-07-25 | パナソニック株式会社 | 動画像符号化方法、動画像復号化方法、動画像符号化装置、動画像復号化装置および動画像符号化復号化装置 |
-
2014
- 2014-10-15 JP JP2015542629A patent/JP6386466B2/ja active Active
- 2014-10-15 KR KR1020167007256A patent/KR20160045121A/ko not_active Application Discontinuation
- 2014-10-15 WO PCT/JP2014/077408 patent/WO2015056700A1/ja active Application Filing
- 2014-10-15 CN CN201480056613.5A patent/CN105612749A/zh active Pending
- 2014-10-15 US US15/028,201 patent/US20160286212A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
CN105612749A (zh) | 2016-05-25 |
WO2015056700A1 (ja) | 2015-04-23 |
KR20160045121A (ko) | 2016-04-26 |
US20160286212A1 (en) | 2016-09-29 |
JPWO2015056700A1 (ja) | 2017-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20090084829A (ko) | 동영상 부호화 방법 및 복호방법, 그들의 장치 및 그들의 프로그램과 프로그램을 기록한 기억매체 | |
JP6232076B2 (ja) | 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム | |
JP6307152B2 (ja) | 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム | |
JP6039178B2 (ja) | 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム | |
KR101631183B1 (ko) | 다시점 화상 부호화 방법, 다시점 화상 복호 방법, 다시점 화상 부호화 장치, 다시점 화상 복호 장치 및 그 프로그램 | |
JP5894301B2 (ja) | 映像符号化装置および方法、映像復号装置および方法、及びそれらのプログラム | |
JP6386466B2 (ja) | 映像符号化装置及び方法、及び、映像復号装置及び方法 | |
JP2015128252A (ja) | 予測画像生成方法、予測画像生成装置、予測画像生成プログラム及び記録媒体 | |
JP5706291B2 (ja) | 映像符号化方法,映像復号方法,映像符号化装置,映像復号装置およびそれらのプログラム | |
JP6690944B2 (ja) | 視差動きベクトルの導出、そのような導出を使用した3dビデオコーディングおよびデコーディング | |
JP5894338B2 (ja) | 映像符号化装置及び方法、映像復号装置及び方法、及びそれらのプログラム | |
WO2015056647A1 (ja) | 映像符号化装置及び方法、及び、映像復号装置及び方法 | |
WO2015098827A1 (ja) | 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム | |
JP6232117B2 (ja) | 画像符号化方法、画像復号方法、及び記録媒体 | |
JP6310340B2 (ja) | 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム | |
JPWO2015141549A1 (ja) | 動画像符号化装置及び方法、及び、動画像復号装置及び方法 | |
JP6139953B2 (ja) | 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体 | |
JP6306883B2 (ja) | 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体 | |
JP2013126006A (ja) | 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム | |
JP2013179554A (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170516 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180130 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180807 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180809 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6386466 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |