JP4999864B2 - 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記憶媒体 - Google Patents
映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記憶媒体 Download PDFInfo
- Publication number
- JP4999864B2 JP4999864B2 JP2008552122A JP2008552122A JP4999864B2 JP 4999864 B2 JP4999864 B2 JP 4999864B2 JP 2008552122 A JP2008552122 A JP 2008552122A JP 2008552122 A JP2008552122 A JP 2008552122A JP 4999864 B2 JP4999864 B2 JP 4999864B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- decoding
- decoded
- encoding
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本願は、2006年12月28日に出願された特願2006−353628号に基づき優先権を主張し、その内容をここに援用する。
国際符号化標準であるH.264、MPEG−2、MPEG−4をはじめとした従来の多くの2次元動画像符号化方式では、動き補償、直交変換、量子化、エントロピー符号化という技術を利用して、高効率な符号化を行う。例えば、H.264では、過去あるいは未来の複数枚のフレームとの時間相関を利用した符号化が可能である。
H.264の動き補償は、符号化対象フレームを様々なサイズのブロックに分割し、各ブロックで異なる動きベクトルを持つことを可能にし、局所的な映像変化に対しても高い符号化効率を達成している。
また、参照画像の候補として過去もしくは未来の既に符号化済みの複数枚のフレームを用意し、各ブロックで異なる参照フレームを持つことを可能にしている。これにより、時間変化によってオクルージョンが生じるような映像に対しても高い符号化効率を達成している。
この方法によると、カメラ間の冗長性を取り除く視差補償では取り除くことのできなかった時間方向の冗長性を、動き補償によって取り除くことができるため、最終的に符号化する予測残差が小さくなり、高い符号化効率を達成することが可能である。
ITU-T Rec.H.264/ISO/IEC 11496-10, "Editor's Proposed Draft Text Modifications for Joint Video Specification (ITU-T Rec. H.264 / ISO/IEC 14496-10 AVC), Draft 7", Final Committee Draft, Document JVT-E022, pp. 10-13, and 62-68, September 2002. Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and Yoshiyuki YASHIMA, "Multi-view Video Coding based on 3-D Warping with Depth Map", In Proceedings of Picture Coding Symposium 2006, SS3-6, April , 2006.
なお、図8は、時刻aと時刻bにそれぞれカメラAとカメラBで撮影された画像における被写体間のオクルージョンの例を示している。
非特許文献2の手法によると、視差補償の参照フレームの各画素に対して他のフレームとの対応点を示す視差情報が与えられることから、図8の場合にカメラBの画像をカメラAの映像から視差補償した場合の差分画像は、図9のようになる。
参照フレームつまりカメラAの画像の各画素がカメラBの画像のどこに対応するかを示す視差情報を用いるため、カメラBの画像には存在するが、カメラAの画像には存在しない部分では視差補償が行われない。したがって、対応点が取れる部分では画像が白っぽくなり、図9中の点線で囲まれたRの対応点の取れない部分では、原画がそのまま差分信号として残っている。
ただし、カメラ感度の違いや反射などの影響により、対応点の取れる領域でも完全に差分信号がゼロになっているわけではない。図中のRのような部分では、図中の時刻aなどの別の時刻の差分画像から動き補償を行っても、予測残差を減らすことができないのは明らかである。
こうすることで、元のカメラ画像のままである図中のRの領域でも、カメラ画像の復号画像から動き補償することで、予測残差を減らすことができる。
また、1つのブロックの中でオクルージョンがある部分と無い部分が混在する場合には対処できないという問題もある。
これにより、上記のようなカメラ間でオクルージョンが生じる部分でも、時間方向に冗長性があれば、予測残差を効率よく減らすことができる。
また、ブロックごとに1つの予測の方法しか選択できないため、1つのブロックの中で部分ごとにオクルージョンの有無が異なる場合には、対処することができない。
(i) 既に符号化済みのカメラ画像と視差補償画像との差分画像を復号した復号差分画像群(既に符号化された別の時刻の復号差分画像や、当該符号化対象カメラ画像に関する差分画像の既に符号化された部分の復号差分画像を含む復号差分画像の集合)か、
(ii) 既に符号化済みのカメラ画像を復号した復号カメラ画像群(各復号差分画像(別の時刻の復号差分画像を含む)と対応する視差補償画像の和で表される復号カメラ画像の集合)
のどちらか一方を参照対象として設定するステップを有する方法を提供する。
その場合、復号側では符号化データから、予測方法を切り替えたのかどうかを知り、適切に映像を復号することができる。
101 画像入力部
102 参照画像入力部
103 視差情報入力部
104 視差補償画像生成部
105 差分映像予測符号化部
106 参照画像設定部
107 復号カメラ画像メモリ
108 復号差分画像メモリ
109 参照切替スイッチ
110 差分映像復号部
200 映像復号装置
201 符号化データ入力部
202 参照画像入力部
203 視差情報入力部
204 視差補償画像生成部
205 参照画像設定部
206 復号カメラ画像メモリ
207 復号差分画像メモリ
208 参照切替スイッチ
209 差分映像復号部
従来技術では、多視点符号化において、どの画像を選択したかを符号化して送る必要があったのに対し、本発明では、どの画像を選択したかを別の情報から復号することが可能となるという特徴がある。これによって、本発明は、従来技術の場合と同じ付加情報量であれば、予測画像の画質が向上することになる。
しかし、その場合、ブロック毎に参照画像を指定する情報を符号化するために符号量の増大を招くだけでなく、ブロック単位でしか参照画像を切り替えることができないため、ブロック内でオクルージョンの有無がある場合に対処できないという問題がある。
また、視差補償画像Synが生成できないということは、別のカメラには同じ被写体が写っていないことになるため、オクルージョンが発生していることを示す。
つまり、視差補償画像Synが生成できるか否かという情報を用いて、参照画像を切り替えることで、図9のRのようなオクルージョン部分で適切な予測を行うことができないという問題を解決することができる。
ここで、以下に説明する実施形態では、2つのカメラで撮影された多視点動画像を符号化する場合を想定し、カメラAの映像を参照画像として、カメラBの映像を符号化する方法について説明を行う。
この映像符号化装置100は、符号化対象画像であるカメラBのカメラ撮影画像を入力する画像入力部101と、参照映像であるカメラAの復号画像を入力する参照画像入力部102と、参照画像上の各画素が符号化対象画像上でどの位置に対応するかを示す視差情報を入力する視差情報入力部103と、参照画像と視差情報とからカメラBの位置の視差補償画像を生成する視差補償画像生成部104と、符号化対象画像と視差補償画像の差分画像を予測符号化する差分映像予測符号化部105と、視差補償画像の状態によって画素毎に参照画像群を設定する参照画像設定部106と、参照画像群の1つであるカメラBによって撮影された画像の復号画像を格納する復号カメラ画像メモリ107と、もう1つの参照画像群である符号化された差分画像の復号画像を格納する復号差分画像メモリ108と、参照画像群の設定情報に基づいて参照画像メモリを切り替える参照切替スイッチ109と、符号化された差分画像を復号する差分映像復号部110とを備える。
なお、ここで入力されたカメラBの画像と表示時刻(即ち、撮影時刻)が同じであるカメラAの復号画像が参照画像入力部102によって入力され、その時刻の画像間の視差情報が視差情報入力部103によって入力されるものとする。
以下では、この入力されたカメラBの画像を符号化対象カメラ画像と、カメラAの復号画像を参照カメラ画像と示す。
その際に、参照カメラ画像上の複数の点が、視差補償画像上の同一点に対応する場合は、被写体の前後関係をカメラの位置関係と視差とから判断して、最もカメラに近い被写体の点の画素値を用いるようにする。例えば、カメラの光軸が平行であるならば、視差が大きいほどカメラに近い点と判断できる。
また、視差情報が、参照カメラ画像の各画素の符号化対象カメラ画像上での対応点を表すため、参照カメラ画像には映っていない部分については視差補償画像が存在しないことになる。
このフローでは、ブロックのインデックスをblkと表し、一つの画像に対する総ブロック数をmaxBlkと表す。つまり、インデックスblkを0に初期化した後[ステップA3]、以下の処理[ステップA4−A11]を、インデックスblkに1を加算しながら[ステップA12]、インデックスblkが総ブロック数maxBlkになるまで[ステップA13]、繰り返し実行することになる。
なお、ここで視差補償画像がないピクセル部分についてはSynの画素値を0として、差分画像を算出する。
次に、参照画像設定部106で、ブロックblkのピクセル毎に差分画像を予測符号化する際の参照先を表す情報Refを、次のように設定する[ステップA6]。
Ref[pix]=0 (Syn[pix]に視差補償画像がない場合)
Ref[pix]=1 (Syn[pix]に視差補償画像がある場合)
ここで、pixはブロックblkに含まれるピクセルのインデックス、maxPixはブロックblkに含まれる総ピクセル数を表す。また、ブロックの単位情報に[pix]を付加して表記することで、その情報のピクセルインデックスpixの位置の画素の情報を表す。
まず、視差補償画像Synを生成する前に、各画素の画素値の初期値として絶対に取りえない値(例えば−1)を設定しておき、「参照カメラ画像の各画素の画素値」を「視差補償画像上の対応画素における画素値」として上書することで、視差補償画像Synを生成する。そして、画素に対応付けられたSynが「−1」ならRefを「0」とし、Synが「−1」以外ならRefを「1」としてRefを生成する。このようにすることで、目的のRefをSynから一意に生成することができる。
または、差分画像Subを算出する前に、上記の方法などによりRefを生成し、Synが「−1」の部分を「0」に置き換えてから、Org−Synを計算して差分画像Subを算出してもよい。
なお、ここでは説明の都合上、視差補償画像がないために画素値を0とみなした部分を含めたSynの全体を視差補償画像という。
ここでレート歪みコストcostは、ある予測モードのときの予測誤差の絶対値和をsadとし、その予測モードを表す情報を符号化するための符号量の予測量をbinと表した場合に、次の数式で求められる。ただし、λはラグランジュの未定乗数を表し、予め設定された値を用いるものとする。
こうして求められたPMODEを用いて、実際にブロックblkの差分画像Subを予測符号化する[ステップA8]。
これらの予測モードの決定や実際の符号化は、差分映像予測符号化部105で行われる。符号化結果には映像の符号化データのほかに、PMODEなど符号化に必要な情報の符号化データも含まれる。
ここで復号されたブロックblkの差分画像Subの復号画像をDecとする。Decは他のブロックを符号化する際のフレーム内予測や、他の時刻のフレームを符号化する際のフレーム間予測のために、復号差分画像メモリ108に格納する[ステップA10]。
また、DecとSynの和によってブロックblkの復号カメラ画像を生成し、復号カメラ画像メモリ107に格納する[ステップA11]。
以上がブロックごとに繰り返し行われる処理である。
このフローでは、予測モードごとに次の数式で表されるレート歪みコストcostを計算し、その値が最小となるモードを決定する。
ここで、SADは予測画像と原画像の画素ごとの差分絶対値和を示し、pmodeは予測モードインデックスを示し、code(α)は与えられた予測モードαに対して、その情報を表すために必要な符号量の予測値を与える関数を示す。
視差補償画像が存在しない場合、参照切替スイッチ109を操作し、差分映像予測符号化部105が復号カメラ画像メモリ107を参照するようにセットする[ステップB4]。一方、視差補償画像が存在する場合には、復号差分画像メモリ108を参照するようにセットする[ステップB5]。
セットされた参照画像を用いて、予測モードpmodeでその画素に対する予測値Pred[pix]を計算する[ステップB6]。
Σ|Sub[pix]−Pred[pix]|・(1−Ref[pix])
SAD2=
Σ|Sub[pix]−Pred[pix]|・Ref[pix]
SAD=SAD1+SAD2
ここで、SAD1は視差補償画像のない画素の差分絶対値和を表し、SAD2は視差補償画像のある画素の差分絶対値和を表し、SADはブロック内の全画素の差分絶対値和を表す。Σは、pixが0からmaxPix−1までの総和を表している。上式では積演算を用いているが、SAD1とSAD2の計算に用いられる画素は排他的なので、単純な条件分岐で上記差分絶対値和の計算を実現してもよい。
そして、これまでに計算された最も良いレート歪みコストと比較を行い[ステップB11、B13、B15]、予測モードpmodeを用いた方がコストを減らすことができるのならば、最良予測モードを表す変数と最良コスト値を更新する[ステップB12、B14、B16]。
まず、best_mode、best_mode1、best_mode2が全て同じであるかを調べる[ステップB19]。
前者はブロック内で異なるモードを使う場合のコストを示す。ここで、OHCostは、予測モードを2つ符号化することによるオーバヘッドコストを表す。
もし前者の方がよいコストになる場合には、best_mode1とbest_mode2の集合をPMODEに格納して終了する[ステップB21]。
後者がよいコストの場合にはPMODEにbest_modeを格納して終了する[ステップB22]。
常に1つの予測モードを用いることにしてもよく、その場合にはステップB10ではcostのみを計算し、ステップB13−B16とステップB19−B22の処理を省略し、best_modeの代わりにPMODEを用いることができる。
予測の方法には、同じフレームの既に符号化・復号済みの周辺ブロックから画素値を予測するフレーム内予測と、既に符号化・復号済みの別のフレームから画素値を予測するフレーム間予測とが存在し、上記予測モードは両方の予測法を含む。フレーム間予測で必要な動きベクトルも予測モードに含まれる。また、既に符号化・復号済みのものから画素値を予測できる方法であれば、どのような方法でも予測モードに含めることができる。
この映像復号装置200は、符号化データを入力する符号化データ入力部201と、カメラAの復号画像を入力する参照画像入力部202と、カメラAの復号画像上の各画素が復号対象となっている画像上でどの位置に対応するかを示す視差情報を入力する視差情報入力部203と、カメラBの位置の視差補償画像を生成する視差補償画像生成部204と、視差補償画像の状態によって画素毎に参照画像群を設定する参照画像設定部205と、参照画像群の1つである、復号されたカメラBによって撮影された画像を格納する復号カメラ画像メモリ206と、もう1つの参照画像群である、差分画像の復号画像を格納する復号差分画像メモリ207と、参照画像群の設定情報に基づいて参照画像メモリを切り替える参照切替スイッチ208と、入力された符号化データを復号する差分映像復号部209とを備える。
なお、復号するフレームと同時刻のカメラAのフレームが先立って復号されており、さらに視差情報が得られているものとする。
この処理では、ブロックのインデックスをblkと表し、一つの画像に対する総ブロック数をmaxBlkと表すと、インデックスblkを0に初期化した後[ステップC3]、インデックスblkに1を加算しながら[ステップC8]、インデックスblkが総ブロック数maxBlkになるまで[ステップC9]、以下の処理[ステップC4−C7]を繰り返し実行することになる。
そして、この情報を使いながら入力された符号化データを差分映像復号部209で復号して差分画像の復号値Decを得る[ステップC5]。
また、ブロックblkにおける・BR>牛キ補償画像SynとDecの和を画素ごとに求めることで、カメラBで撮影された画像の復号画像を得る。
この復号画像は、映像復号装置200の出力となるとともに、復号カメラ画像メモリ206に格納される[ステップC7]。
以降の処理はブロックに含まれる画素ごとに行われる。つまり、ピクセルインデックスpixを0で初期化した後[ステップD6]、pixに1を加算しながら[ステップD12]、pixがブロック内のピクセル数maxPixになるまで[ステップD13]、以下の処理[ステップD7−D11]を繰り返し実行する。
次に、画素pixの値Predを予測モードpmode[Ref[pix]]で予測する[ステップD10]。
そして、差分画像の復号値Dec[pix]を、Dres[pix]とPredの和から得る[ステップD11]。
しかし、映像符号化装置100の内部で視差情報を求め、符号化し、差分画像の符号化データとともに出力しても構わない。同様に、映像復号装置200の内部で視差情報の符号化データを受け取り、復号して用いても構わない。
そのような情報の一例として、被写体の三次元情報とカメラパラメータとで構成される情報がある。三次元情報は、被写体の各部分の三次元座標であったり、被写体からカメラまでの距離を表すものであったりする。
Claims (16)
- 視差補償を用いて多視点動画像を符号化する映像符号化方法において、
既に符号化済みのカメラ画像を復号した参照カメラ画像と、その参照カメラ画像に対する符号化対象カメラ画像との視差情報とから、上記符号化対象カメラ画像に対する視差補償画像を生成するステップと、
上記視差補償画像の状態によって、上記符号化対象カメラ画像の所定区分単位毎に参照対象とする参照画像群を示す参照対象情報を設定するステップと、
上記設定された参照対象情報に基づいて、上記符号化対象カメラ画像の前記所定区分単位毎に、既に符号化済みのカメラ画像と視差補償画像との差分画像を復号した復号差分画像群、および、既に符号化済みのカメラ画像を復号した復号カメラ画像群のいずれかを参照対象として選択するステップと、
上記参照対象として選択された画像群に含まれる参照画像を参照して、上記符号化対象カメラ画像と上記視差補償画像との差分画像を予測符号化するステップと、
上記符号化した差分画像を復号した復号差分画像を上記復号差分画像群の1つとして記憶するステップと、
上記復号差分画像をもとに既に符号化済みのカメラ画像を復号した復号カメラ画像を上記復号カメラ画像群の1つとして記憶するステップとを有する
ことを特徴とする映像符号化方法。 - 請求項1に記載の映像符号化方法において、
上記差分画像を予測符号化するステップでは、上記差分画像における複数画素からなる各符号化処理ブロックに対して予め定められた複数の各予測方式を用いた場合の符号化のコストをそれぞれ算出し、1つの符号化処理ブロック内では符号化のコストが最小となる1つの予測方式を用いて映像予測を行う
ことを特徴とする映像符号化方法。 - 請求項1に記載の映像符号化方法において、
上記差分画像を予測符号化するステップでは、上記差分画像における複数画素からなる各符号化処理ブロックに対して、参照画像が異なる画素群ごとに予め定められた複数の各予測方式を用いた場合の符号化のコストをそれぞれ算出し、1つの符号化処理ブロック内で1つの予測方式を用いて映像予測を行うか、1つの符号化処理ブロック内で複数の予測方式を用いて映像予測を行うかを、上記算出した符号化のコストに応じて選択しながら符号化を行う
ことを特徴とする映像符号化方法。 - 請求項1に記載の映像符号化方法において、前記所定区分単位は画素である
ことを特徴とする映像符号化方法。 - 視差補償を用いて多視点動画像を復号する映像復号方法において、
既に復号済みの参照カメラ画像と、その参照カメラ画像に対する復号対象カメラ画像との視差情報とから、上記復号対象カメラ画像に対する視差補償画像を生成するステップと、
上記視差補償画像の状態によって、上記復号対象カメラ画像の所定区分単位毎に参照対象とする参照画像群を示す参照対象情報を設定するステップと、
上記設定された参照対象情報に基づいて、上記復号対象カメラ画像の前記所定区分単位毎に、既に復号済みのカメラ画像と視差補償画像との復号差分画像群、および、既に復号済みの復号カメラ画像群のいずれかを参照対象として選択するステップと、
入力した符号化データを復号した各画素ごとの予測残差をもとに、上記参照対象として選択された画像群に含まれる参照画像を参照して、上記復号対象カメラ画像と上記視差補償画像との差分画像を復号するステップと、
上記復号した差分画像を上記復号差分画像群の1つとして記憶するステップと、
上記復号した差分画像と上記視差補償画像とを足し合わせて、多視点動画像の復号カメラ画像として出力するとともに、その復号カメラ画像を上記復号カメラ画像群の1つとして記憶するステップとを有する
ことを特徴とする映像復号方法。 - 請求項5に記載の映像復号方法において、
上記差分画像を復号するステップでは、上記復号対象カメラ画像における複数画素からなる各復号処理ブロックに対して、1つの復号処理ブロック内では指定された1つの予測方式を用いて映像を復号する
ことを特徴とする映像復号方法。 - 請求項5に記載の映像復号方法において、
上記差分画像を復号するステップでは、上記復号対象カメラ画像における複数画素からなる各復号処理ブロックに対して、1つの復号処理ブロック内では指定された1つの予測方式を用いるか、指定された複数の予測方式を用いるかを切り替えながら、映像を復号する
ことを特徴とする映像復号方法。 - 請求項5に記載の映像復号方法において、前記所定区分単位は画素である
ことを特徴とする映像復号方法。 - 視差補償を用いて多視点動画像を符号化する映像符号化装置において、
既に符号化済みのカメラ画像を復号した参照カメラ画像と、その参照カメラ画像に対する符号化対象カメラ画像との視差情報とから、上記符号化対象カメラ画像に対する視差補償画像を生成する手段と、
上記視差補償画像の状態によって、上記符号化対象カメラ画像の所定区分単位毎に参照対象とする参照画像群を示す参照対象情報を設定する手段と、
上記設定された参照対象情報に基づいて、上記符号化対象カメラ画像の前記所定区分単位毎に、既に符号化済みのカメラ画像と視差補償画像との差分画像を復号した復号差分画像群、および、既に符号化済みのカメラ画像を復号した復号カメラ画像群のいずれかを参照対象として選択する手段と、
上記参照対象として選択された画像群に含まれる参照画像を参照して、上記符号化対象カメラ画像と上記視差補償画像との差分画像を予測符号化する手段と、
上記符号化した差分画像を復号した復号差分画像を上記復号差分画像群の1つとして記憶する手段と、
上記復号差分画像をもとに既に符号化済みのカメラ画像を復号した復号カメラ画像を上記復号カメラ画像群の1つとして記憶する手段とを備える
ことを特徴とする映像符号化装置。 - 請求項9に記載の映像符号化装置において、前記所定区分単位は画素である
ことを特徴とする映像符号化装置。 - 視差補償を用いて多視点動画像を復号する映像復号装置において、
既に復号済みの参照カメラ画像と、その参照カメラ画像に対する復号対象カメラ画像との視差情報とから、上記復号対象カメラ画像に対する視差補償画像を生成する手段と、
上記視差補償画像の状態によって、上記復号対象カメラ画像の所定区分単位毎に参照対象とする参照画像群を示す参照対象情報を設定する手段と、
上記設定された参照対象情報に基づいて、上記復号対象カメラ画像の前記所定区分単位毎に、既に復号済みのカメラ画像と視差補償画像との復号差分画像群、および、既に復号済みの復号カメラ画像群のいずれかを参照対象として選択する手段と、
入力した符号化データを復号した各画素ごとの予測残差をもとに、上記参照対象として選択された画像群に含まれる参照画像を参照して、上記復号対象カメラ画像と上記視差補償画像との差分画像を復号する手段と、
上記復号した差分画像を上記復号差分画像群の1つとして記憶する手段と、
上記復号した差分画像と上記視差補償画像とを足し合わせて、多視点動画像の復号カメラ画像として出力するとともに、その復号カメラ画像を上記復号カメラ画像群の1つとして記憶する手段とを備える
ことを特徴とする映像復号装置。 - 請求項11に記載の映像復号装置において、前記所定区分単位は画素である
ことを特徴とする映像復号装置。 - 請求項1に記載された映像符号化方法を、コンピュータに実行させるための映像符号化プログラム。
- 請求項5に記載された映像復号方法を、コンピュータに実行させるための映像復号プログラム。
- 請求項1に記載された映像符号化方法を、コンピュータに実行させるための映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 請求項5に記載された映像復号方法を、コンピュータに実行させるための映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008552122A JP4999864B2 (ja) | 2006-12-28 | 2007-12-26 | 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記憶媒体 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006353628 | 2006-12-28 | ||
JP2006353628 | 2006-12-28 | ||
JP2008552122A JP4999864B2 (ja) | 2006-12-28 | 2007-12-26 | 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記憶媒体 |
PCT/JP2007/074941 WO2008081810A1 (ja) | 2006-12-28 | 2007-12-26 | 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2008081810A1 JPWO2008081810A1 (ja) | 2010-04-30 |
JP4999864B2 true JP4999864B2 (ja) | 2012-08-15 |
Family
ID=39588493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008552122A Active JP4999864B2 (ja) | 2006-12-28 | 2007-12-26 | 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記憶媒体 |
Country Status (11)
Country | Link |
---|---|
US (1) | US9066096B2 (ja) |
EP (1) | EP2099226B1 (ja) |
JP (1) | JP4999864B2 (ja) |
KR (1) | KR101059178B1 (ja) |
CN (1) | CN101563930B (ja) |
BR (1) | BRPI0721077A2 (ja) |
CA (1) | CA2672924C (ja) |
ES (1) | ES2535314T3 (ja) |
RU (1) | RU2446618C2 (ja) |
TW (1) | TWI351883B (ja) |
WO (1) | WO2008081810A1 (ja) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120013966A (ko) | 2009-05-01 | 2012-02-15 | 톰슨 라이센싱 | 3dv를 위한 기준 화상 리스트 |
HUE057597T2 (hu) | 2010-04-13 | 2022-05-28 | Ge Video Compression Llc | Videó kódolás képek többes fa struktúrájú alosztásainak használatával |
TWI666882B (zh) | 2010-04-13 | 2019-07-21 | 美商Ge影像壓縮有限公司 | 在樣本陣列多元樹細分中之繼承技術 |
KR101549644B1 (ko) * | 2010-04-13 | 2015-09-03 | 지이 비디오 컴프레션, 엘엘씨 | 샘플 영역 병합 |
KR102481529B1 (ko) | 2010-04-13 | 2022-12-23 | 지이 비디오 컴프레션, 엘엘씨 | 평면 간 예측 |
EP2617194A1 (en) * | 2010-09-14 | 2013-07-24 | Thomson Licensing | Compression methods and apparatus for occlusion data |
JP5281632B2 (ja) * | 2010-12-06 | 2013-09-04 | 日本電信電話株式会社 | 多視点画像符号化方法,多視点画像復号方法,多視点画像符号化装置,多視点画像復号装置およびそれらのプログラム |
WO2012097376A1 (en) | 2011-01-14 | 2012-07-19 | General Instrument Corporation | Spatial block merge mode |
WO2012128242A1 (ja) * | 2011-03-18 | 2012-09-27 | ソニー株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
JPWO2012147621A1 (ja) * | 2011-04-28 | 2014-07-28 | ソニー株式会社 | 符号化装置および符号化方法、並びに、復号装置および復号方法 |
JP5649523B2 (ja) * | 2011-06-27 | 2015-01-07 | 日本電信電話株式会社 | 映像符号化方法,装置,映像復号方法,装置およびそれらのプログラム |
JP5485969B2 (ja) * | 2011-11-07 | 2014-05-07 | 株式会社Nttドコモ | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム |
WO2013068548A2 (en) | 2011-11-11 | 2013-05-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Efficient multi-view coding using depth-map estimate for a dependent view |
CN110139108B (zh) | 2011-11-11 | 2023-07-18 | Ge视频压缩有限责任公司 | 用于将多视点信号编码到多视点数据流中的装置及方法 |
EP3739886A1 (en) | 2011-11-18 | 2020-11-18 | GE Video Compression, LLC | Multi-view coding with efficient residual handling |
US9531990B1 (en) | 2012-01-21 | 2016-12-27 | Google Inc. | Compound prediction using multiple sources or prediction modes |
US8737824B1 (en) | 2012-03-09 | 2014-05-27 | Google Inc. | Adaptively encoding a media stream with compound prediction |
US9185414B1 (en) | 2012-06-29 | 2015-11-10 | Google Inc. | Video encoding using variance |
KR101966920B1 (ko) * | 2012-07-10 | 2019-04-08 | 삼성전자주식회사 | 다시점 영상의 시차 정보를 이용하여 영상의 움직임을 추정하는 방법 및 장치 |
KR102445274B1 (ko) | 2012-10-01 | 2022-09-20 | 지이 비디오 컴프레션, 엘엘씨 | 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩 |
US9350970B2 (en) | 2012-12-14 | 2016-05-24 | Qualcomm Incorporated | Disparity vector derivation |
US9628790B1 (en) | 2013-01-03 | 2017-04-18 | Google Inc. | Adaptive composite intra prediction for image and video compression |
JP2014192702A (ja) * | 2013-03-27 | 2014-10-06 | National Institute Of Information & Communication Technology | 複数の入力画像をエンコーディングする方法、プログラムおよび装置 |
CN105075257A (zh) * | 2013-04-11 | 2015-11-18 | 日本电信电话株式会社 | 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序 |
US9374578B1 (en) | 2013-05-23 | 2016-06-21 | Google Inc. | Video coding using combined inter and intra predictors |
KR102114346B1 (ko) * | 2013-08-30 | 2020-05-22 | 삼성전자주식회사 | 스테레오 컨버전스 제어 방법 및 이를 적용한 스테레오 이미지 프로세서 |
US9609343B1 (en) | 2013-12-20 | 2017-03-28 | Google Inc. | Video coding using compound prediction |
US11323733B2 (en) | 2014-05-23 | 2022-05-03 | Qualcomm Incorporated | Predictor palette initialization in palette-based video coding |
US10382749B2 (en) | 2014-05-23 | 2019-08-13 | Qualcomm Incorporated | Coding run values based on palette index in palette-based video coding |
US10291940B2 (en) | 2014-05-23 | 2019-05-14 | Qualcomm Incorporated | Coding runs with escape in palette-based video coding |
JP7168848B2 (ja) * | 2018-11-21 | 2022-11-10 | 日本電信電話株式会社 | 評価装置、評価方法、及びプログラム。 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07240944A (ja) * | 1994-02-25 | 1995-09-12 | Sanyo Electric Co Ltd | ステレオ画像符号化装置 |
JPH09275578A (ja) * | 1996-04-04 | 1997-10-21 | Sharp Corp | 多視点画像符号化装置および復号装置 |
JPH10191394A (ja) * | 1996-12-24 | 1998-07-21 | Sharp Corp | 多視点画像符号化装置 |
JPH10191393A (ja) * | 1996-12-24 | 1998-07-21 | Sharp Corp | 多視点画像符号化装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5790086A (en) * | 1995-01-04 | 1998-08-04 | Visualabs Inc. | 3-D imaging system |
US6173087B1 (en) | 1996-11-13 | 2001-01-09 | Sarnoff Corporation | Multi-view image registration with application to mosaicing and lens distortion correction |
JP4608136B2 (ja) | 2001-06-22 | 2011-01-05 | オリンパス株式会社 | 動きベクトル及び視差ベクトル検出装置 |
RU2237283C2 (ru) | 2001-11-27 | 2004-09-27 | Самсунг Электроникс Ко., Лтд. | Устройство и способ представления трехмерного объекта на основе изображений с глубиной |
US7379496B2 (en) * | 2002-09-04 | 2008-05-27 | Microsoft Corporation | Multi-resolution video coding and decoding |
CN100414566C (zh) * | 2003-06-19 | 2008-08-27 | 邓兴峰 | 平面图像全景重建立体图像的方法 |
US7778328B2 (en) | 2003-08-07 | 2010-08-17 | Sony Corporation | Semantics-based motion estimation for multi-view video coding |
US7728878B2 (en) * | 2004-12-17 | 2010-06-01 | Mitsubishi Electric Research Labortories, Inc. | Method and system for processing multiview videos for view synthesis using side information |
KR100946790B1 (ko) * | 2005-01-07 | 2010-03-11 | 니폰덴신뎅와 가부시키가이샤 | 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치, 그들 프로그램을 기록한 기록 매체 |
KR100728009B1 (ko) * | 2005-08-22 | 2007-06-13 | 삼성전자주식회사 | 다시점 동영상을 부호화하는 방법 및 장치 |
US8644386B2 (en) * | 2005-09-22 | 2014-02-04 | Samsung Electronics Co., Ltd. | Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method |
JP2007180981A (ja) * | 2005-12-28 | 2007-07-12 | Victor Co Of Japan Ltd | 画像符号化装置、画像符号化方法、及び画像符号化プログラム |
ZA200805337B (en) * | 2006-01-09 | 2009-11-25 | Thomson Licensing | Method and apparatus for providing reduced resolution update mode for multiview video coding |
-
2007
- 2007-12-26 RU RU2009122983/07A patent/RU2446618C2/ru active
- 2007-12-26 CA CA 2672924 patent/CA2672924C/en active Active
- 2007-12-26 EP EP20070860170 patent/EP2099226B1/en active Active
- 2007-12-26 US US12/517,457 patent/US9066096B2/en active Active
- 2007-12-26 TW TW96150206A patent/TWI351883B/zh active
- 2007-12-26 KR KR20097012506A patent/KR101059178B1/ko active IP Right Grant
- 2007-12-26 ES ES07860170.5T patent/ES2535314T3/es active Active
- 2007-12-26 CN CN2007800467163A patent/CN101563930B/zh active Active
- 2007-12-26 JP JP2008552122A patent/JP4999864B2/ja active Active
- 2007-12-26 WO PCT/JP2007/074941 patent/WO2008081810A1/ja active Application Filing
- 2007-12-26 BR BRPI0721077-9A2A patent/BRPI0721077A2/pt not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07240944A (ja) * | 1994-02-25 | 1995-09-12 | Sanyo Electric Co Ltd | ステレオ画像符号化装置 |
JPH09275578A (ja) * | 1996-04-04 | 1997-10-21 | Sharp Corp | 多視点画像符号化装置および復号装置 |
JPH10191394A (ja) * | 1996-12-24 | 1998-07-21 | Sharp Corp | 多視点画像符号化装置 |
JPH10191393A (ja) * | 1996-12-24 | 1998-07-21 | Sharp Corp | 多視点画像符号化装置 |
Also Published As
Publication number | Publication date |
---|---|
CN101563930B (zh) | 2011-05-25 |
CA2672924C (en) | 2014-07-22 |
EP2099226A4 (en) | 2012-02-22 |
KR20090091174A (ko) | 2009-08-26 |
US9066096B2 (en) | 2015-06-23 |
RU2446618C2 (ru) | 2012-03-27 |
CA2672924A1 (en) | 2008-07-10 |
CN101563930A (zh) | 2009-10-21 |
RU2009122983A (ru) | 2010-12-27 |
WO2008081810A1 (ja) | 2008-07-10 |
US20100034260A1 (en) | 2010-02-11 |
KR101059178B1 (ko) | 2011-08-25 |
BRPI0721077A2 (pt) | 2014-07-01 |
EP2099226A1 (en) | 2009-09-09 |
JPWO2008081810A1 (ja) | 2010-04-30 |
ES2535314T3 (es) | 2015-05-08 |
EP2099226B1 (en) | 2015-01-21 |
TWI351883B (en) | 2011-11-01 |
TW200910977A (en) | 2009-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4999864B2 (ja) | 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記憶媒体 | |
JP5061179B2 (ja) | 照明変化補償動き予測符号化および復号化方法とその装置 | |
JP5234586B2 (ja) | 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 | |
CA2692250C (en) | Video encoding and decoding methods using residual prediction, and corresponding apparatuses | |
KR101857755B1 (ko) | 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치 | |
KR20080088046A (ko) | 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치 | |
JP6027143B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム | |
JP5281632B2 (ja) | 多視点画像符号化方法,多視点画像復号方法,多視点画像符号化装置,多視点画像復号装置およびそれらのプログラム | |
CN114845102A (zh) | 光流修正的提前终止 | |
WO2015141613A1 (ja) | 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム | |
KR20120095611A (ko) | 다시점 비디오 부호화/복호화 방법 및 장치 | |
US20160065958A1 (en) | Method for encoding a plurality of input images, and storage medium having program stored thereon and apparatus | |
KR101524465B1 (ko) | 색차 보상을 이용한 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치 | |
US20160037172A1 (en) | Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, and image decoding program | |
JP2006100871A (ja) | 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 | |
JP2013085156A (ja) | 映像符号化方法,映像復号方法,映像符号化装置,映像復号装置およびそれらのプログラム | |
WO2011142221A1 (ja) | 符号化装置、および、復号装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100127 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120508 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120515 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4999864 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150525 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |