JP2013085156A - 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム - Google Patents

映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム Download PDF

Info

Publication number
JP2013085156A
JP2013085156A JP2011224505A JP2011224505A JP2013085156A JP 2013085156 A JP2013085156 A JP 2013085156A JP 2011224505 A JP2011224505 A JP 2011224505A JP 2011224505 A JP2011224505 A JP 2011224505A JP 2013085156 A JP2013085156 A JP 2013085156A
Authority
JP
Japan
Prior art keywords
area
auxiliary
video
depth map
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011224505A
Other languages
English (en)
Other versions
JP5706291B2 (ja
Inventor
Shinya Shimizu
信哉 志水
Hideaki Kimata
英明 木全
Shiori Sugimoto
志織 杉本
Akira Kojima
明 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011224505A priority Critical patent/JP5706291B2/ja
Publication of JP2013085156A publication Critical patent/JP2013085156A/ja
Application granted granted Critical
Publication of JP5706291B2 publication Critical patent/JP5706291B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】符号化対象の映像に対するデプスマップが復号側でも得られる場合に，映像を予測符号化する際の予測効率を向上させて予測残差の符号化に必要な符号量を削減する。
【解決手段】参照領域設定部１０５は，既に符号化済みの領域の中から，符号化対象の処理領域に対して複数の参照領域を設定する。重み計算部１０６は，処理領域に対するデプスマップと参照領域に対するデプスマップとを用いて，参照領域の処理領域に対する類似度を，参照領域における画素または画素群ごとに算出し，算出された類似度を用いて，参照領域における画素または画素群ごとに重み係数を設定する。予測画像生成部１０７は，設定された重み係数に従って参照領域に対する映像信号を線形結合することで予測画像を生成する。
【選択図】図１

Description

本発明は，映像の符号化および復号の方法や装置，プログラムに関するものである。
自由視点映像とは，撮影空間内でのカメラの位置や向き（以下，視点と記す）をユーザが自由に指定できる映像のことである。自由視点映像では，ユーザが任意の視点を指定するため，その全ての可能性に対して映像を保持することは不可能である。そのため，自由視点映像は，指定された視点の映像を生成するのに必要な情報群によって構成される。なお，自由視点映像は，自由視点テレビ，任意視点映像，任意視点テレビなどと呼ばれることもある。
自由視点映像は様々なデータ形式を用いて表現されるが，最も一般的な形式として映像とその映像の各フレームに対するデプスマップ（距離画像）を用いる方式がある（例えば，非特許文献１参照）。
ここで，デプスマップとは，カメラから被写体までのデプス（距離）を画素ごとに表現したものであり，被写体の三次元的な位置を表現している。デプスは二つのカメラ間の視差の逆数に比例しているため，ディスパリティマップ（視差画像）と呼ばれることもある。コンピュータグラフィックスの分野では，デプスはＺバッファに蓄積された情報となるためＺ画像やＺマップと呼ばれることもある。なお，カメラから被写体までの距離の他に，表現対象空間上に張られた三次元座標系のＺ軸に対する座標値をデプスとして用いることもある。一般に，撮影された画像に対して水平方向をＸ軸，垂直方向をＹ軸とするため，Ｚ軸はカメラの向きと一致するが，複数のカメラに対して共通の座標系を用いる場合など，Ｚ軸がカメラの向きと一致しない場合もある。以下では，距離・Ｚ値を区別せずにデプスと呼び，デプスを画素値として表した画像をデプスマップと呼ぶ。ただし，厳密にはディスパリティマップでは基準となるカメラ対を設定する必要がある。
デプスを画素値として表す際に，物理量に対応する値をそのまま画素値とする方法と，最小値と最大値の間をある数に量子化して得られる値を用いる方法と，最小値からの差をあるステップ幅で量子化して得られる値を用いる方法がある。表現したい範囲が限られている場合には，最小値などの付加情報を用いるほうがデプスを高精度に表現することができる。また，等間隔に量子化する際に，物理量をそのまま量子化する方法と物理量の逆数を量子化する方法とがある。距離の逆数は視差に比例した値となるため，距離を高精度に表現する必要がある場合には，前者が使用され，視差を高精度に表現する必要がある場合には，後者が使用されることが多い。以下では，デプスの画素値化の方法や量子化の方法に関係なく，デプスが画像として表現されたものを全てデプスマップと呼ぶ。
デプスマップは，各画素が一つの値を持つ画像として表現されるため，グレースケール画像とみなすことができる。また，被写体が実空間上で連続的に存在し，瞬間的に離れた位置へ移動することができないため，画像信号と同様に空間的相関および時間的相関を持つと言える。したがって，通常の画像信号や映像信号を符号化するために用いられる画像符号化方式や映像符号化方式によって，デプスマップや連続するデプスマップで構成される映像を空間的冗長性や時間的冗長性を取り除きながら効率的に符号化することが可能である。以下では，デプスマップとその映像を区別せずにデプスマップと呼ぶ。
ここで，一般的な映像符号化について説明する。映像符号化では，被写体が空間的および時間的に連続しているという特徴を利用して効率的な符号化を実現するために，映像の各フレームをマクロブロックと呼ばれる処理単位ブロックに分割し，マクロブロックごとにその映像信号を空間的または時間的に予測し，その予測方法を示す予測情報と予測残差とを符号化する。映像信号を空間的に予測する場合は，例えば空間的な予測の方向を示す情報が予測情報となり，時間的に予測する場合は，例えば参照するフレームを示す情報とそのフレーム中の位置を示す情報とが予測情報となる。空間的に行う予測は，フレーム内の予測であることから，フレーム内予測（画面内予測，イントラ予測）と呼ばれ，時間的に行う予測は，フレーム間の予測であることから，フレーム間予測（画面間予測，インター予測）と呼ばれる。また，時間的に行う予測では，映像の時間的変化，つまり動きを補償して映像信号の予測を行うことになるため，動き補償予測とも呼ばれる。
動きの大きさや向きが被写体に依存し，被写体は自由に変形したり，オクルージョンが発生したりすることから，Ｈ．２６４／ＡＶＣに代表される近年の映像符号化方式では，さらに符号化効率を向上させるために，動き補償予測に加えて，可変ブロックサイズや双予測と呼ばれる技術を採用している（Ｈ．２６４／ＡＶＣの詳細については，例えば，非特許文献２参照）。
可変ブロックサイズとは，動きの大きさや向きが被写体に依存していることに対処するための技術である。つまり，被写体に合わせて，マクロブロックをさらに細かいブロックへと分割し，ブロックごとに異なる動きを使用した動き補償予測を可能とすることである。Ｈ．２６４／ＡＶＣでは，この可変ブロックサイズを採用することで，ブロック分割の柔軟性が低いＭＰＥＧ−２ Ｖｉｄｅｏなどよりも効率的な符号化を実現している。
双予測とは，一つのブロックに対して二つの動き情報を与えて，それぞれの動き情報を用いて生成した予測画像の平均値によって，最終的な予測画像を生成する方法である。なお，ＭＰＥＧ−２ Ｖｉｄｅｏでは，予測対象のフレームに対して，撮影時刻として過去と未来の２フレームを使用することから，双方向予測と呼ばれている。双予測を用いることで，参照フレームに生じる符号化誤差の影響を低減し，予測残差の符号量を削減することが可能となる。
映像とデプスマップとで構成される自由視点映像の符号化においては，どちらも空間相関と時間相関を持つことから，通常の映像符号化方式を用いて，それぞれを符号化することでデータ量を削減できる。例えば，ＭＰＥＧ−Ｃ Ｐａｒｔ．３を用いて，映像とそれに対するデプスマップを表現する場合は，それぞれを既存の映像符号化方式を用いて符号化する。
また，映像とデプスマップとを一緒に符号化する場合，どちらも同じシーン（被写体及び背景）に対する情報であることから，両者の間に存在する相関を利用して，効率的な符号化を実現する方法がある。非特許文献３では，映像やデプスマップを符号化する際に用いる予測情報（ブロック分割，動きベクトル，参照フレーム）を共通化し重複して符号化することを避けることで，効率的な符号化を実現している。
Y. Mori, N. Fukusima, T. Fujii, and M. Tanimoto,"View Generation with 3D Warping Using Depth Information for FTV ",In Proceedings of 3DTV-CON2008, pp. 229-232, May 2008. Rec. ITU-T H.264, "Advanced video coding for generic audiovisual services", March 2009. I. Daribo, C. Tillier, and B. P. Popescu, "Motion Vector Sharing and Bitrate Allocation for 3D Video-Plus-Depth Coding ", EURASIP Journal on Advances in Signal Processing, vol. 2009, Article ID 258920, 13 pages, 2009.
上述した可変ブロックサイズを用いた動き補償予測を用いることで，被写体によって異なる動きに対処し，映像とデプスマップとで構成される自由視点映像を効率良く圧縮符号化することができる。
しかしながら，被写体の形状は様々であり，その形状に沿ったブロック分割を行う場合，映像信号の予測精度が向上したとしても，ブロック分割を表現するために非常に膨大な符号量が必要となってしまい，トータルとして符号化効率を悪化させてしまう。つまり，効率的な圧縮符号化を行う場合には，被写体の形状に合わせたブロック分割はできない。
非特許文献３では，映像とデプスマップとで，ブロック分割や動きベクトルなどの予測情報を共有することで，符号化しなくてはならない予測情報の総量を減らし，効率的な符号化を実現している。この方法を用いることで，映像とデプスマップのそれぞれで予測信号を符号化する場合に比べて，符号量を削減することができる。しかしながら，細かいブロック分割を表現するためには，大量の符号量が必要となる点は変わらないため，効率的な圧縮符号化を行う場合には，被写体の形状に合わせたブロック分割はできない。
被写体に合わせてブロック分割を行わない場合，ブロック内の一部の画素群において，誤った動き情報を用いることになり，予測精度が低下してしまう。そのような画素に対しては，双予測を用いることで，もう一つの動き情報で精度の高い予測画像を提供し，予測精度の低下を抑えることは可能である。しかし，このとき与えたもう一つの動き情報は，最初の動き情報が正しかった画素群に対しては，誤った動き情報となり，双予測によって予測画像を平均化することで，予測精度が低下してしまう。つまり，双予測では予測誤差をブロック内で平滑化するだけであって，全体的な予測精度を向上させることは不可能である。
本発明は係る事情に鑑みてなされたものであって，映像とデプスマップとを構成要素に持つ自由視点映像データの符号化において，対応するデプスマップの復号値を用いることで，被写体に合わせてブロック分割を行わない場合でも，動き補償予測による予測精度を向上させることで，予測残差の符号化に必要な符号量を削減し，効率的な映像符号化を実現することを目的とする。
本発明は，符号化対象の映像に対するデプスマップが復号側でも得られる場合に，映像を予測符号化する際の予測効率を向上させて予測残差の符号化に必要な符号量を削減するという課題を解決するため，映像信号の参照領域と処理領域に対するデプスマップとを比較することで，参照領域で撮影されている被写体と処理領域で撮影されている被写体との類似度（一致度）を画素または所定数の隣接する画素群ごとに算出し，得られた類似度に応じて参照領域に対する映像信号を重み付けして予測画像を生成する。これによって被写体を考慮して予測画像の生成を行うことが可能となり，映像信号の予測精度が向上し，予測残差の符号量を削減することが可能となる。詳しくは，以下のとおりである。
本発明は，映像を構成する各フレームを予め定められた大きさの処理領域に分割し，映像に対応するデプスマップを使用しながら，処理領域ごとに予測画像を生成して予測符号化または予測復号を行う映像符号化／復号において，以下の手段を用いる。
（１）第１の発明の主要な特徴
・既に符号化済みの領域の中から，処理領域に対して複数の参照領域を設定する。
・処理領域に対するデプスマップと参照領域に対するデプスマップとを用いて，参照領域の処理領域に対する類似度を，参照領域における画素または所定数の隣接する画素群ごとに算出し，算出された類似度を用いて，参照領域における画素または画素群ごとに重み係数を設定する。
・重み係数に従って参照領域に対する映像信号を線形結合することで予測画像を生成する。
これによって，映像信号の予測精度の向上に伴う，予測残差の符号化に必要な符号量の削減が実現される。その理由は，以下のとおりである。
対応するデプスマップの情報を用いて，予測に用いる画素と予測する対象の画素において同じ被写体が写っているかどうかを判定し，その結果に応じて予測に用いる画素（または画素群，以下同様）の映像信号に重みを付けて予測画像を生成する。このようにすることで，同じ被写体が写っている画素からは大きな影響を，異なる被写体が写っている画素からは小さな影響を受けるようにして予測画像を生成することができ，高精度な予測が実現できる。
従来手法では，写っている被写体によらず全て同じ重みで予測画像を生成するため，異なる被写体からの影響を受けてしまっていた。また，従来の重み付き予測（Weighted Prediction ）では，参照領域ごとに重みを付けるため，画素ごとの予測精度の向上を実現できなかった。従来の重み付き予測を拡張して，画素ごとに重みを付けることも可能であるが，その場合は画素ごとに重み係数を符号化する必要が生じるため，符号量が増加してしまう。また，領域を細かく分割して，領域ごとに同じ被写体の写っている領域を参照領域として設定する方法もあるが，その場合は分割の領域を示す情報や，その領域ごとに参照領域を示す情報を符号化する必要が生じるため，符号量が増加してしまう。
これらの従来手法の問題に対して，本発明では，別途伝送されているデプスマップから被写体の判定を行って重み係数を設定することで，画素ごとに重み係数を決定することが可能となる。また，デプスマップの値は被写体に大きく依存した値であるため，デプスマップを用いて決定された重み係数は，被写体を考慮した映像信号の予測を実現する。
また，本発明は，少ない付加情報で被写体を考慮した予測を実現できる他，通常の映像符号化方法と同じ符号データ（ビットストリーム）のシンタックスを使用することが可能であるという利点もある。
（２）第２の発明の主要な特徴
第２の発明は，第１の発明においてさらに次の特徴を有する。
・参照領域として，以下の方法により設定される一つ以上の補助参照領域を用いる。
・処理領域周辺の既に符号化済み領域を補助領域として設定する。
・補助領域に対する補助領域を符号化する際に設定された参照領域の位置を示す情報を補助予測情報とし，処理領域に対して補助予測情報を用いて表される領域を補助参照領域として設定する。
これによって，処理対象領域に対して本来の参照領域が一つしか指定されない場合においても，補助参照領域を参照領域に加えることで，複数の参照領域を設定することができ，映像信号の予測精度を向上させることで，予測残差の符号化に必要な符号量の削減が可能になる。その理由は，以下のとおりである。
映像は空間的に相関を持っているため，処理対象領域の隣接領域においても同じ動きや同じ空間的な相関を持った被写体が写っていると考えられる。そこで，隣接領域において使用された参照領域を指定する情報（動きベクトルやイントラ予測の方向）を，処理対象領域でもそれを使用して予測画像を生成するのに参照する領域を補助参照領域として追加することで，処理対象領域では一つしか参照領域を指定する情報を符号化しない場合においても，複数の参照領域を指定した場合と同様に画素ごとに被写体を考慮した重み付け予測を行うことが可能となる。
なお，隣接領域との相関が低い場合には，隣接で用いられた参照領域を指定する情報（動きベクトルやイントラ予測の方向）を用いて参照する領域を設定した場合，誤った参照領域が得られることになる。しかし，そのような場合であっても，デプスマップを用いて被写体判定を行い，その結果で重み付けを行うため，誤った参照領域からの影響を受けて予測精度が低下してしまうことはない。
（３）第３の発明の主要な特徴
・処理領域を複数の部分処理領域に分割する。
・既に符号化済みの領域の中から，部分処理領域に対して複数の参照領域を設定する。
・部分処理領域に対するデプスマップと参照領域に対するデプスマップとを用いて，参照領域の部分処理領域に対する類似度を，参照領域における画素または所定数の隣接する画素群ごとに算出し，算出された類似度を用いて，参照領域における画素または画素群ごとに重み係数を設定する。
・重み係数に従って参照領域に対する映像信号を線形結合することで予測画像を生成する。
・前記参照領域の設定では，部分処理領域ごとに，他の部分処理領域に対して設定された参照領域の位置を示す情報を補助予測情報とし，当該部分処理領域に対して補助予測情報を用いて表される領域を補助参照領域として設定する。
・参照領域として，一つ以上の補助参照領域を用いる。
これによって，処理対象領域に対して本来の参照領域が一つしか指定されない場合においても，映像信号の予測精度を向上させ，予測残差の符号化に必要な符号量の削減を実現することができる。その理由は，以下のとおりである。
映像は空間的に相関を持っているため，周辺領域においても同じ動きや同じ空間的な相関を持った被写体が写っていると考えられる。そこで，処理領域を分割し，それぞれの小領域ごとに支配的な被写体に対する参照領域を設定し，その参照領域を指定する情報（動きベクトルやイントラ予測の方向）を，他の小領域でもそれを使用して予測画像を生成するのに参照する領域を追加することで，小領域では一つしか参照領域を指定する情報を符号化しない場合においても，複数符号化した場合と同様に画素ごとに被写体を考慮した重み付け予測を行うことが可能となる。また，このようにすることで小領域ごとに支配的な被写体が異なる場合であっても，それを考慮した予測画像の生成が可能になる。
（４）第４の発明の主要な特徴
第４の発明は，第２または第３の発明においてさらに次の特徴を有する。
・補助参照領域以外の参照領域における画素または画素群ごとに設定した重み係数または類似度に対して設定するスケール係数よりも，補助参照領域における画素または画素群ごとに設定した重み係数または類似度に対して小さなスケール係数を設定し，類似度または重み係数をスケールする。
これによって，補助参照領域を用いる場合における映像信号の予測精度を向上させることができる。その理由は，以下のとおりである。
処理対象領域とは異なる領域に対して設定された参照情報を用いる場合，その参照情報は別の領域に対して最適化されているため，処理対象領域の映像信号を予測する精度はそれほど高くないと考えられる。そこで予測情報と補助予測情報とを区別し，補助予測情報における類似度は，予測情報における類似度よりも低く見積もることで，重み係数を相対的に小さくし，より多くの映像信号を処理対象領域に対して設定された参照領域から予測するようにすることで，映像信号の予測精度を向上させることが可能となる。
（５）第５の発明の主要な特徴
第５の発明は，第２または第３の発明においてさらに次の特徴を有する。
・参照領域が補助参照領域である場合に，処理領域もしくは部分処理領域と補助参照領域との位置関係に従って，デプスマップを用いて設定した類似度または重み係数をスケールするか，または，処理領域もしくは部分処理領域の各画素または画素群と補助参照領域との距離に従って，デプスマップを用いて設定した類似度または重み係数を画素または画素群ごとにスケールする。
これによって，補助参照領域を用いる場合における映像信号の予測精度を向上させることができる。その理由は，以下のとおりである。
処理対象領域とは異なる領域に対して設定された参照情報を用いる場合，その参照情報は別の領域に対して最適化されているため，処理対象領域の映像信号を予測する精度はそれほど高くないと考えられる。そこで予測情報と補助予測情報とを区別し，補助予測情報における類似度は，処理対象領域との相関性を考慮して予測情報における類似度よりも低く見積もることで，重み係数を相対的に小さくし，より多くの映像信号を処理対象領域に対して設定された参照領域から予測するようにすることで，映像信号の予測精度を向上させることが可能となる。特に，第５の発明は，処理対象領域との相関性が高い領域に対して設定された参照領域から生成した補助予測情報を重視するように，必要に応じて画素ごとに制御することで，さらに細かな予測精度の向上を可能とする。
（６）第６の発明の主要な特徴
第６の発明は，第１ないし第５の発明においてさらに次の特徴を有する。
・重み係数を設定する際の類似度の算出に用いるデプスマップとして，入力したデプスマップにローパスフィルタを適用したデブスマップまたは入力したデプスマップにビット深度変換を施し，ビット深度を小さくしたデプスマップを用いる。
これにより，類似度の算出を精度よく効率的に行うことができる。その理由は，以下のとおりである。
入力したデプスマップが符号化されたデプスマップである場合などには，デプスマップにノイズが生じていることがある。そこで，入力したデプスマップをそのまま用いるのではなく，入力したデプスマップにローパスフィルタを適用したデブスマップを類似度の算出に用いることにより，ノイズを低減させて，類似度を精度よく算出することができる。また，入力したデプスマップにビット深度変換を施してビット深度を小さくしても，被写体の違いが分かる程度のビット深度があれば，重み係数の設定に十分な類似度の算出が可能であり，効率のよい処理が可能である。
本発明によれば，映像がその映像に対するデプスマップのように被写体に大きく依存した値を持つデータと一緒に伝送される場合に，予測される画素における被写体に依存するデータの値と，予測に用いる画素における被写体に依存するデータの値とを比較し，その結果に基づいて予測画像を生成することで，細かいブロック分割を行うことなく，被写体を考慮した予測を実現することが可能となる。これによって，映像信号の予測精度が向上し，予測残差の符号化に必要な符号量を削減することが可能となる。
第１実施形態による映像符号化装置の構成を示すブロック図である。 第１実施形態による映像符号化装置の処理フローチャートである。 第２実施形態による映像復号装置の構成を示すブロック図である。 第２実施形態による映像復号装置の処理フローチャートである。 映像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す図である。 映像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す図である。
以下，本発明の実施形態を，図面を参照して説明する。以下では，参照領域における各画素に対して重み係数を設定する例について説明するが，例えば２×２画素，３×３画素，…というような，所定数の隣接する画素群ごとに重み係数を設定して，本発明を実施することもできる。この場合，以下での実施形態の説明における画素を画素群に読み替え，例えばｎ×ｎ画素の画素群の平均値もしくは中間値などの値を，以下の説明における１画素の画素値とみなして，画素群ごとに重み係数を設定すればよい。
〔第１実施形態：映像符号化装置〕
まず，第１実施形態について説明する。図１は，本発明の第１実施形態による映像符号化装置の構成を示すブロック図である。映像符号化装置１００は，図１に示すように，符号化対象映像入力部１０１，入力フレームメモリ１０２，デプスマップ入力部１０３，デプスマップメモリ１０４，参照領域設定部１０５，重み計算部１０６，予測画像生成部１０７，予測情報符号化部１０８，映像信号符号化部１０９，映像信号復号部１１０，参照フレームメモリ１１１，および多重化部１１２を備えている。
符号化対象映像入力部１０１は，符号化対象となる映像を入力する。以下では，この符号化対象となる映像のことを符号化対象映像と呼び，特に処理を行うフレームを符号化対象フレームまたは符号化対象画像と呼ぶ。入力フレームメモリ１０２は，入力された符号化対象映像を蓄積する。
デプスマップ入力部１０３は，符号化対象映像に対応するデプスマップを入力する。このデプスマップは符号化対象映像の各フレームの各画素に写っている被写体のデプスを表すものである。デプスマップメモリ１０４は，入力されたデプスマップを蓄積する。
参照領域設定部１０５は，予測画像を生成するにあたって，既に符号化済みフレーム上で参照する領域を設定する。重み計算部１０６は，処理領域と参照領域に対するデプスマップを用いて，予測画像を生成する際の重み係数を画素ごとに計算する。予測画像生成部１０７は，与えられた参照領域と重み係数に基づいて予測画像を生成する。
予測情報符号化部１０８は，参照領域設定部１０５で決定した参照領域を示す情報（予測情報）を符号化する。映像信号符号化部１０９は，生成された予測画像を用いて，符号化対象フレームの映像信号を予測符号化する。映像信号復号部１１０は，生成された予測画像を用いて，生成された符号データを復号して復号フレームを生成する。参照フレームメモリ１１１は，生成された復号フレームを蓄積する。多重化部１１２は，予測情報の符号データと映像信号の符号データとを多重化して出力する。
図２は，第１実施形態による映像符号化装置１００の動作を説明するためのフローチャートである。このフローチャートに従って，映像符号化装置１００の実行する処理について詳細に説明する。ここでは符号化対象映像中のある１フレームを符号化する処理について説明する。説明する処理をフレームごとに繰り返すことで，映像の符号化が実現できる。
まず，符号化対象映像入力部１０１から符号化対象フレームが入力され，入力フレームメモリ１０２に格納され，デプスマップ入力部１０３から符号化対象映像に対するデプスマップが入力され，デプスマップメモリ１０４に蓄積される（ステップＳ１０１）。なお，符号化対象映像中のいくつかのフレームは既に符号化されているものとし，その復号フレームが参照フレームメモリ１１１に，その復号フレーム（すなわち符号化対象映像中の符号化済みのフレーム）に対応するデプスマップがデプスマップメモリ１０４に蓄積されているものとする。また，本第１実施形態では入力された符号化対象フレームが順次符号化されるものとしているが，入力順と符号化順は必ずしも一致している必要はない。入力順と符号化順が異なる場合は，次に符号化するフレームが入力されるまで，入力されたフレームは入力フレームメモリ１０２に蓄積される。
入力フレームメモリ１０２に蓄積された符号化対象フレームは，以下で説明する符号化処理によって符号化されたなら，入力フレームメモリ１０２から削除してもかまわない。しかし，デプスマップメモリ１０４に蓄積されたデプスマップは，対応する符号化対象フレームの復号フレームが参照フレームメモリ１１１から削除されるまで蓄積される。なお，参照フレームメモリ１１１から復号フレームが削除されるタイミングは，フレーム間の参照構造によって決定し，それ以降の符号化対象フレームを符号化する際に，参照フレームとして使用されないことが決定したときか，それより後となる。
なお，ステップＳ１０１で入力されるデプスマップは，既に符号化済みのデプスマップを復号したものなど，復号側で得られるデプスマップとする。これは，復号装置で得られる情報と全く同じ情報を用いることで，ドリフト等の符号化ノイズの発生を抑えるためである。ただし，そのような符号化ノイズの発生を許容する場合には，符号化前のオリジナルのものが入力されてもかまわない。その他の復号側で得られるデプスマップの例としては，別の視点の符号化済みデプスマップを復号したものを用いて合成されたデプスマップや，別の視点の符号化済み画像群を復号したものからステレオマッチング等によって推定したデプスマップなどがある。
符号化対象フレームとデプスマップの格納が終了したならば，符号化対象フレームを予め定められた大きさの領域に分割し，分割した領域ごとに，符号化対象フレームの映像信号を符号化する（ステップＳ１０２〜Ｓ１１１）。つまり，符号化対象領域インデックスをｂｌｋ，１フレーム中の総符号化対象領域数をｎｕｍＢｌｋｓで表すとすると，ｂｌｋを０で初期化し（ステップＳ１０２），その後，ｂｌｋに１を加算しながら（ステップＳ１１０），ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ１１１），以下の処理（ステップＳ１０３〜ステップＳ１０９）を繰り返す。一般的な符号化では１６画素×１６画素のマクロブロックと呼ばれる処理単位ブロックへ分割するが，復号側と同じであればその他の大きさのブロックに分割してもかまわない。
符号化対象領域ごとに繰り返される処理では，まず，参照領域設定部１０５で複数の参照領域を設定する（ステップＳ１０３）。参照領域とは符号化対象領域ｂｌｋの映像信号を予測する際に使用する既に符号化済みフレーム上の領域のことを示す。ここで，参照領域が設定されたフレームのことを参照フレームと呼ぶ。参照フレームは別途指定されたフレーム間参照構造に基づいて，参照フレームメモリ１１１に蓄積されているフレームの中から選択される。
ここで設定する参照領域の数や位置（以下，まとめて予測情報と呼ぶ）は，どのように決定してもかまわない。ただし，符号化効率を最大にする場合は，設定した参照領域によって生成される予測画像による予測効率を評価し，その予測効率が最大になるものに決定したほうがよい。つまり，ある参照領域の数ｎと参照領域を示す情報（以下，参照情報と呼ぶ）の集合ｒ＝｛ｒi ｜ｉ＝０，…，ｎ−１｝とするとき，次の式で与えられる参照領域の数Ｎblk と，参照情報の集合Ｒblk ＝｛Ｒblk,i ｜ｉ＝０，…，Ｎblk −１｝とを，符号化対象領域ｂｌｋに対する予測情報に決定する。なお，参照情報はどう表現してもかまわない。以下では，参照情報は参照フレームと，参照フレーム上でのｂｌｋからの変位ベクトルとの組で表現する。
Figure 2013085156
なお，Ｅblk （ｎ，ｒ）の値は小さいほど符号化効率が高いことを示しており，ａｒｇｍｉｎは与えられた関数を最小化するパラメータを返す関数を示す。最小化対象のパラメータはａｒｇｍｉｎの下部で与えられる。予測情報の候補には任意のものを使用してもかまわない。例えば，参照領域の個数の候補としてはＨ．２６４／ＡＶＣのインター予測のように，１および２としてもかまわない。また，常に１または２である必要もなく，ピクチャタイプによっては，１のみを候補とするように切り替えてもかまわないし，３以上の数を候補としてもかまわない。参照情報の集合としては，使用可能な参照フレーム群に対して，任意の領域を示す情報の任意の組み合わせを全て候補としてもかまわないし，それらのうちから予め別の方法で絞り込んだものを候補としてもかまわない。
予測効率の評価値Ｅ（ｎ，ｒ）には，どのようなものを用いてもかまわない。例えば，次の式で表される符号化対象画像と予測画像の差分絶対値和（ＳＡＤ）や差分二乗和（ＳＳＤ）を用いてもかまわない。
Figure 2013085156
ここで，Ｏｒｇは符号化対象フレームを示し，Ｐｒｅｄn,r は予測情報（ｎ，ｒ）を使って後述する方法で生成された予測画像を示す。これら以外に符号化対象画像と予測画像の差分値をＤＣＴやアダマール変換などを用いて変換した値を用いる方法がある。その変換を行列Ａで表すと，次の式で表すことができる。なお，‖Ｘ‖はＸのノルムを表す。
Ｅ（ｎ，ｒ）＝‖Ａ・（Ｏｒｇ［ｂｌｋ］−Ｐｒｅｄn,r ［ｂｌｋ］）‖ 式(4)
また，上記のように符号化対象フレームと予測画像との乖離度のみを評価する方法ではなく，発生する符号量と歪み量を鑑みたＲＤコストを用いてもかまわない。ここで用いるＲＤコストは，Ｐｒｅｄn,r を予測画像としてＯｒｇを符号化した際の符号量Ｒ（ｎ，ｒ）と歪み量Ｄ（ｎ，ｒ）とを用いて，次の式で表すことができる。なお，λはラグランジュの未定乗数であり，予め定められた値を用いる。
Ｅ（ｎ，ｒ）＝Ｄ（ｎ，ｒ）＋λＲ（ｎ，ｒ） 式(5)
正確なＲＤコストを算出するためには，予測残差の符号化および復号を行う必要がある。これには非常に多くの演算を必要とするため，予測情報の符号量Ｒ′（ｎ，ｒ）と，予測画像における符号化対象フレームからの歪み量Ｄ′（ｎ，ｒ）とを用いて算出したＲＤコストを用いて参照領域の数ｎと参照情報の集合ｒを決定してもかまわない。このとき，ラグランジュの未定乗数はλとは異なる値を用いることが多い。また，符号量Ｒ′も実際に符号化して求めず，簡易な方法で符号量Ｒ′の推定量を求めて，それを使用することで更なる高速化を図ることも可能である。
参照領域の設定ができたら，重み計算部１０６で，符号化対象領域ｂｌｋと参照領域に対するデプスマップを用いて，参照領域の画素ごとに，予測画像を生成する際の重み係数を求める（ステップＳ１０４）。ここで計算される重み係数は，符号化対象領域に対するデプスマップの値と参照領域に対するデプスマップの値との類似度，すなわち近い値かどうかの一致の度合いに依存した値とする。例えば，類似度ｄｄi ［ｋ］は，次の式(6) で表される符号化対象領域に対するデプスマップの値と，参照領域に対するデプスマップの値との差の絶対値に依存した値とする。
ｄｄi ［ｋ］＝｜Ｄepth cur［ｂｌｋ＋ｋ］−Ｄepth idi［ｂｌｋ＋ｖｅｃi ＋ｋ］｜ …… 式(6)
ここで，ｉは参照情報のインデックスを示し，参照情報Ｒblk,i の参照フレームのインデックスをｉｄi ，参照領域を示す符号化対象領域ｂｌｋからの変位ベクトルをｖｅｃi で示す。また，Ｄｅｐｔｈはデプスマップを示し，下付き文字はどのフレームに対するデプスマップかを示す。つまり，ｃｕｒは符号化対象フレームに対応するデプスマップであることを示し，ｉｄi は参照フレームｉｄi に対応するデプスマップであることを示す。また，ｋは領域内の画素位置を示し，１６画素×１６画素のブロックの場合は（０，０）〜（１５，１５）の２５６箇所のいずれかを示す。
同じ画素位置の重み係数はｄｄの値が小さいほど大きいものとする。つまり，参照領域ｉの画素位置ｋにおける重み係数をｗi ［ｋ］と表すとすると，ｄｄi ［ｋ］≦ｄｄj ［ｋ］であれば，ｗj ［ｋ］≦ｗi ［ｋ］が成り立つ。
上述した条件を満たせば，どのような定義の重み係数を用いてもかまわない。ただし，復号側と同じ定義のものを用いる必要がある。例えば，各画素位置に対して，ｄｄの値が最も小さい参照画素のみを１とし，それ以外を０とする重み係数の定義を用いてもかまわない。また，指数関数を用いて次の数式のような定義を用いてもかまわない。σはパラメータであり，予め一定の値を定めておくか，何らかの方法で復号側へ通知するなどして，復号側と同じ値を用いる必要がある。
Figure 2013085156
さらに複雑な例としては，ｄｄの値が別途定められた閾値より大きい参照画素の重み係数を０とする方法もある。例えば，ｄｄの値が閾値ｔｈより小さい参照画素には全て等しい重み係数をつける場合は次の数式で表される。
Figure 2013085156
また，ｄｄの値が閾値より小さい参照画素に対してのみ，ｄｄの値が小さくなるほど大きな重み係数を付けてもかまわない。その場合の例として式(7) と式(8) を組み合わせた次の数式で表される重み係数がある。
Figure 2013085156
なお，デプスマップがＮビットで表される場合，ｄｄの値域は０〜２N −１の２N 通りしか存在しないため，上記のような指数関数などの多数の演算を必要とする重み係数を用いる場合には，ｄｄの値ごとに予め重み係数を求めたテーブルを用意し，テーブルを参照して重み係数を決定することで，演算量の削減を行うことが可能である。さらにｄｄの値を計算する際の絶対値演算のコストも削減するために，１−２N 〜２N −１の値に対してテーブルを作成して用いることも可能である。
重み係数の設定が終了したならば，予測画像生成部１０７で，予測情報・重み係数・参照フレームを用いて予測画像を生成する（ステップＳ１０５）。予測画像は重み係数に基づいて，画素ごとに，参照画素の画素値の重み付け平均を計算することで求める。つまり，予測画像は次の数式に基づいて生成される。Ｄｅｃは参照フレームを示し，下付き文字はその参照フレームインデックスを表す。
Figure 2013085156
なお，実数演算の演算コストが高いプラットフォーム上では，重み係数を０以上Ｃ0 以下の整数となるように設定し，重み係数の計算が終わった後に，画素ごとの重み係数ｗの和がＣ1 となるように正規化を行った正規化済み重み係数ｗ′を計算し，重み係数ｗの代わりに正規化済み重み係数ｗ′を用いて予測画像を生成することで整数演算だけを用いて処理を行えるように実装してもかまわない。つまり，上述の式(7) 〜式(9) を用いる場合は，右辺をＣ0 で乗算して得られた値を整数に丸めたものを重み係数ｗとして設定し，次の式(11)で正規化済み重み係数ｗ′を計算し，式(12)を用いて予測画像を生成する。
Figure 2013085156
なお，Ｃ1 を２のべき乗とすることで，式(12)の除算はシフト演算として実現することが可能となるため，さらに高速な演算が可能となる。また，重み係数ｗは実数で表現し，正規化済み重み係数ｗ′を整数で表現するようにしてもかまわない。
予測画像の生成が終了したならば，予測情報符号化部１０８で予測情報の符号化を行う（ステップＳ１０６）。予測情報の符号化にはどのような方法を用いてもかまわない。ただし，正しく復号可能にするためには，復号側で復号可能な方式を用いる必要がある。例えば，予測情報の成分ごとに予め定められた方法を用いて２値化を行った後に，周辺の符号化済み領域の予測情報を考慮した２値算術符号化によって符号化してもかまわない。また，周辺の符号化済み領域の予測情報から予測情報の予測を行った後に，その予測誤差を符号化してもかまわない。例えば，参照領域の数や参照フレーム上での位置を示すベクトルは，周辺の符号化済み領域において使用されたものから平均値や中央値を利用して予測し，その予測差分として符号化する方法がある。また，参照フレームを示す値については，周辺の符号化済み領域において高頻度で使用されたものを予測値として，その予測値が正しいか否か示すフラグを符号化し，さらに誤っている場合にのみ正しい値を符号化するようにする方法がある。
次に，生成された予測画像を用いて，映像信号符号化部１０９で符号化対象フレームＯｒｇの符号化対象領域ｂｌｋにおける映像信号を符号化する（ステップＳ１０７）。復号側で正しく復号可能であるならば，符号化にはどのような方法を用いてもかまわない。ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化では，符号化対象領域ｂｌｋの映像信号と予測画像との差分信号に対して，ＤＣＴなどの周波数変換，量子化，２値化，エントロピー符号化を順に施すことで符号化を行う。
次に，映像信号復号部１１０で，映像信号の符号データと予測画像とを用いて，ブロックｂｌｋに対する映像信号を復号し，復号結果であるところの復号フレームＤｅｃ［ｂｌｋ］を参照フレームメモリ１１１に蓄積する（ステップＳ１０８）。ここでは，符号化時に用いた手法に対応する手法を用いる。例えば，ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化であれば，符号データに対して，エントロピー復号，逆２値化，逆量子化，ＩＤＣＴなどの周波数逆変換を順に施し，得られた２次元信号に対して予測画像を加え，最後に画素値の値域でクリッピングを行うことで映像信号を復号する。なお，符号化側での処理がロスレスになる直前のデータと予測画像を受け取り，簡略化した復号処理によって復号してもかまわない。つまり，前述の例であれば，符号化時に量子化処理を加えた後の値と予測画像を受け取り，その量子化後の値に逆量子化，周波数逆変換を順に施して得られた２次元信号に対して予測画像を加え，画素値の値域でクリッピングを行うことで映像信号を復号してもかまわない。
次に，多重化部１１２で，予測情報の符号データと，映像信号の符号データとを多重化して出力する（ステップＳ１０９）。なお，ここではブロックごとに多重化しているが，フレーム単位で多重化してもかまわない。ただし，その場合には，復号時に１フレーム分の符号データをバッファリングしてから復号する必要が生じる。
なお，本第１実施形態における一部の処理は，その順序が前後してもかまわない。具体的には，ステップＳ１０６の予測情報の符号化処理は，ステップＳ１０３の参照領域の設定処理よりも後ろであればいつ行ってもかまわないし，ステップＳ１０９の符号データの多重化処理は，ステップＳ１０６の予測情報の符号化処理とステップＳ１０７の映像信号の符号化処理より後ろであればどのタイミングで行ってもかまわない。
〔第２実施形態：映像復号装置〕
次に，第２実施形態について説明する。図３は，本発明の第２実施形態による映像復号装置の構成を示すブロック図である。映像復号装置２００は，図３に示すように，符号データ入力部２０１，符号データメモリ２０２，デプスマップ入力部２０３，デプスマップメモリ２０４，分離部２０５，予測情報復号部２０６，重み計算部２０７，予測画像生成部２０８，映像信号復号部２０９，および参照フレームメモリ２１０を備えている。
符号データ入力部２０１は，復号対象となる映像の符号データを入力する。以下では，この復号対象となる映像のことを復号対象映像と呼び，特に処理を行うフレームを復号対象フレームまたは復号対象画像と呼ぶ。符号データメモリ２０２は，入力された符号データを蓄積する。
デプスマップ入力部２０３は，復号対象映像に対応するデプスマップを入力する。このデプスマップは復号対象映像の各フレームの各画素に写っている被写体のデプスを表すものである。デプスマップメモリ２０４は，入力されたデプスマップを蓄積する。
分離部２０５は，入力された符号データで多重化されている予測情報の符号データと映像信号の符号データとを分離する。予測情報復号部２０６は，予測画像を生成する際の参照領域を示す情報（予測情報）を符号データから復号する。
重み計算部２０７は，処理領域と参照領域に対するデプスマップを用いて，予測画像を生成する際の重み係数を画素ごとに計算する。予測画像生成部２０８は，与えられた参照領域と重み係数に基づいて予測画像を生成する。映像信号復号部２０９は，生成された予測画像を用いて，符号データを復号して復号フレームを生成する。参照フレームメモリ２１０は，生成された復号フレームを蓄積する。
図４は，第２実施形態による映像復号装置２００の動作を説明するためのフローチャートである。このフローチャートに従って，映像復号装置２００の実行する処理について詳細に説明する。ここでは復号対象映像中のある１フレームを復号する処理について説明する。以下で説明する処理をフレームごとに繰り返すことで，映像の復号を実現できる。
まず，符号データ入力部２０１から復号対象映像の符号データが入力され，符号データメモリ２０２に格納され，デプスマップ入力部２０３から復号対象映像に対するデプスマップが入力され，デプスマップメモリ２０４に蓄積される（ステップＳ２０１）。なお，復号対象映像中のいくつかのフレームは既に復号されているものとし，その復号フレームが参照フレームメモリ２１０に，その復号フレームに対応するデプスマップがデプスマップメモリ２０４に蓄積されているものとする。
また，本第２実施形態では，入力された符号データから復号対象フレームが順次復号して出力するとしているが，入力順と出力順は必ずしも一致している必要はない。入力順と出力順が異なる場合には，次に出力するフレームが復号されるまで，復号されたフレームは参照フレームメモリ２１０に蓄積される。参照フレームメモリ２１０に蓄積された復号フレームは，別途規定された出力順になったら映像復号装置２１０から出力される。なお，参照フレームメモリ２１０から復号フレームが削除されるタイミングは，フレーム間の参照構造によって決定し，それ以降の復号対象フレームを復号する際に，参照フレームとして使用されないことが決定したときか，それより後となる。
なお，ステップＳ２０１で入力されるデプスマップは，符号化時に使用したデプスマップと同じものとする。これは符号化装置で使用した情報と全く同じ情報を用いることで，ドリフト等の符号化ノイズの発生を抑えるためである。ただし，そのような符号化ノイズの発生を許容する場合には，符号化に使用されたものとは異なるものが入力されてもかまわない。入力されるデプスマップとしては，例えば，別途復号されたデプスマップや，別の視点に対して復号されたデプスマップを用いて合成されたデプスマップや，別の視点に対して復号された画像群からステレオマッチング等によって推定したデプスマップなどがある。
符号データとデプスマップの格納が終了したならば，復号対象フレームを予め定められた大きさに分割した領域ごとに，復号対象フレームの映像信号を復号する（ステップＳ２０２〜Ｓ２１０）。つまり，復号対象領域インデックスをｂｌｋ，１フレーム中の総復号対象領域数をｎｕｍＢｌｋｓで表すとすると，ｂｌｋを０で初期化し（ステップＳ２０２），その後，ｂｌｋに１を加算しながら（ステップＳ２０９），ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ２１０），以下の処理（ステップＳ２０３〜ステップＳ２０８）を繰り返す。処理領域のサイズは符号化側で使用されたものと同じ大きさとなる。一般的な符号化では１６画素×１６画素のマクロブロックと呼ばれる処理単位ブロックが使用されるが，符号化側と同じであればその他の大きさのブロックごとに処理を行ってもかまわない。
復号対象領域ごとに繰り返される処理では，まず，分離部２０５で符号データから，復号対象領域ｂｌｋの予測情報の符号データと映像信号の符号データとを分離する（ステップＳ２０３）。なお，ここでは復号対象領域ごとに分離しているが，フレーム単位など他の単位で分離してもかまわない。ただしフレーム単位で分離する場合には，入力された符号データではなく，分離された符号データを蓄積する必要が生じる。
次に，予測情報復号部２０６で，分離された予測情報に対する符号データを復号し，復号対象領域ｂｌｋに対する予測情報を設定する（ステップＳ２０４）。ここでは，予測情報は参照領域の数Ｎblk とその位置を表す情報（参照情報と呼ぶ）の集合Ｒblk とするが，復号対象領域ｂｌｋに対する予測画像の生成方法を示す情報であれば，どのような情報でもかまわない。例えば，上記の他に復号対象領域の分割方法や，画面内予測で用いる予測方向に関する情報がある。なお，参照領域とは復号対象領域ｂｌｋの映像信号を予測する際に使用する既に復号済みフレーム上の領域のことを示す。ここで，参照領域が設定されたフレームのことを参照フレームと呼ぶ。参照フレームは別途指定されたフレーム間参照構造に基づいて，参照フレームメモリ２１０に蓄積されているフレームであるとする。また，参照情報はどのように表現してもかまわないが，以下では，参照情報は参照フレームと，参照フレーム上でのｂｌｋからの変位ベクトルとの組で表現する。
参照領域の設定ができたら，重み計算部２０７で，復号対象領域ｂｌｋと参照領域に対するデプスマップを用いて，参照領域の画素ごとに，予測画像を生成する際の重み係数を求める（ステップＳ２０５）。ここでの処理は，第１実施形態のステップＳ１０４と同じである。どのような規則で重み係数を決定してもかまわないが，符号化側と同じ規則に従って決定する必要がある。
重み係数の設定が終了したならば，予測画像生成部２０８で，予測情報・重み係数・参照フレームを用いて予測画像を生成する（ステップＳ２０６）。ここでの処理は，第１実施形態のステップＳ１０５と同じであり，重み係数に基づいて，画素ごとに参照画素の画素値の重み付け平均を計算することで予測画像を生成する。
予測画像の生成が終了したならば，生成された予測画像を用いて，映像信号復号部２０９で，映像信号に対する符号データから復号対象領域ｂｌｋに対する映像信号を復号する（ステップＳ２０７）。復号結果は映像復号装置２００の出力となるとともに，参照フレームメモリ２１０に蓄積される。復号処理は符号化時に用いた手法に対応する手法を用いる。例えば，ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化が用いられている場合には，符号データに対して，エントロピー復号，逆２値化，逆量子化，ＩＤＣＴなどの周波数逆変換を順に施し，得られた２次元信号に対して予測画像を加え，最後に画素値の値域でクリッピングを行うことで映像信号を復号する。
上記説明した第１実施形態および第２実施形態では，一つの参照領域しか設定しなかった符号化対象領域および復号対象領域（以下，符号化対象領域および復号対象領域を区別せず処理対象領域と呼び，符号化および復号を区別せず処理と呼ぶ）では，重み係数は全て１となり，従来と同等の予測性能の予測画像しか生成することができない。そこで，処理対象領域に設定した予測情報のみを用いて重み係数設定と予測画像生成とを行うのではなく，処理対象領域周辺の既に処理済みの領域で使用された予測情報を補助予測情報として設定し，予測情報と補助予測情報とを用いて重み係数設定と予測画像生成とを生成してもかまわない。このようにすることで，処理対象領域では一つの参照領域しか設定しない場合においても，デプスマップの値を用いて被写体を考慮した予測画像の生成を行うことが可能となる。ただし，補助予測情報を用いるかどうかや，各処理対象領域に対してどの周辺の領域から補助予測情報を設定するかは符号化時と復号時とで一致させる必要がある。
この場合，図示省略するが，図１に示す映像符号化装置１００の参照領域設定部１０５は，処理対象領域周辺の既に符号化済み領域を補助領域として設定する補助領域設定手段と，補助領域に対する補助領域を符号化する際に設定された参照領域の位置を示す情報を補助予測情報とし，処理領域に対して補助予測情報を用いて表される領域を補助参照領域として設定する補助参照領域設定手段とを持つ。また，図２に示す映像復号装置２００の予測情報復号部２０６は，参照領域設定手段を有しており，その参照領域設定手段は，映像符号化装置１００における補助領域設定手段および補助参照領域設定手段と同様な手段を持つ。
なお，符号化時において補助予測情報を設定する場合，補助予測情報を考慮せずに予測情報を設定してもかまわないし，予測情報を設定する前に補助予測情報を設定することで補助予測情報を考慮しながら予測情報を設定してもかまわない。補助予測情報を考慮して予測情報を決めることで演算量は増加するが，予測画像の品質を向上することが可能である。
ここで補助予測情報を用いるとは，既に処理済みの領域で使用された参照領域を，処理対象領域においても参照領域の一つとして用いるのではなく，処理対象領域と参照領域との間の位置関係や性質が，その処理済み領域とそこで使用された参照領域との間の関係や性質と等しくなるような参照領域を用いることを示す。ある領域に対する参照情報が，その領域に対する相対的な情報（相対的な位置など）を用いて表現されている場合，補助予測情報を用いるとは，既に処理済みの領域で使用された参照情報（参照領域を示す情報）を，処理対象領域においても参照情報の一つとして用いることである。
例えば，対象領域からの変位ベクトルを用いて参照領域を示す場合，処理対象領域を始点として，既に処理済みの領域で用いられた変位ベクトルを用いて示される領域を処理対象領域の参照領域とする。つまり，処理対象領域の位置をｂ，その周辺の既に処理済みの領域の位置をｂ′，その処理済み領域において参照情報の一つとして使用された変位ベクトルをｖとすると，その既に処理済み領域で使用された参照領域はｂ′＋ｖとなるが，この参照情報を処理対象領域における補助予測情報とすると，処理対象領域で使用する参照領域はｂ＋ｖとなる。
また，重み係数設定と予測画像生成とを行う際に予測情報と補助予測情報を同等に扱ってもかまわないし，両者を区別して扱ってもかまわない。予測情報を｛Ｎ１blk ，Ｒ１blk ｝，補助予測情報を｛Ｎ２blk ，Ｒ２blk ｝とし，Ｒ１blk を｛Ｒblk,i ｜ｉ＝０，…，Ｎ１blk −１｝，Ｒ２blk を｛Ｒblk,i ｜ｉ＝Ｎ１blk ，…，Ｎ１blk ＋Ｎ２blk −１｝であるとする。このとき，予測情報と補助予測情報とを区別しない場合の重み係数設定と予測画像生成とを行う処理は，予測情報と補助予測情報とを合わせた総予測情報｛Ｎblk ，Ｒblk ｝を用いて，重み係数設定と予測画像生成とを行う処理に等しい。なお，総予測情報を生成する際に，同じ参照情報の重複を許してもかまわないし，許さなくてもかまわない。重複を許す場合には，予測情報と補助予測情報の両方に含まれる参照情報を重視して予測画像を生成することになる。重複を許す場合の総予測情報は以下の数式を満たす。
Ｎblk ＝Ｎ１blk ＋Ｎ２blk
Ｒblk ＝｛Ｒblk,i ｜ｉ＝０，…，Ｎblk −１｝ 式(13)
予測情報と補助予測情報とを区別する場合には，上記の総予測情報に対して，前述の方法でデプスマップを用いて計算される重み係数ｗ″と，予測情報と補助予測情報とを考慮した係数αを設定し，次の数式に示すように両者を乗算することで，予測画像を生成する際に使用する重み係数ｗを設定する。
ｗi ［ｋ］＝αi ・ｗi ″［ｋ］ 式(14)
係数αはどのように決定してもかまわないが復号でも同様の設定法が可能な方法で設定する必要がある。通常，補助予測情報に対する値より予測情報に対する値が大きくなるように設定する。なお，式(14)のように重み係数をスケールする代わりに，式(6) で求められるような重み係数の設定に用いる類似度をスケールしてもよい。
デプスマップを用いて計算される重み係数ｗ″をスケールして重み係数ｗを求める場合，同じ画素位置の重み係数はｄｄの値が小さいほど大きくなるとは限らない。つまり，参照領域ｉの画素位置ｋにおける重み係数をｗi ［ｋ］と表すとすると，ｄｄi ［ｋ］≦ｄｄj ［ｋ］であれば，ｗj ［ｋ］≦ｗi ［ｋ］が成り立つとは限らない。ただし，その場合であっても，前述のとおりデプスマップを用いて計算される重み係数ｗ″については，ｄｄi ［ｋ］≦ｄｄj ［ｋ］であれば，ｗ″j ［ｋ］≦ｗ″i ［ｋ］が成り立つ。
また，係数αは，全ての補助予測情報に対して固定の値を与えてもかまわないし，補助予測情報が元々使用された領域ごとに異なる値を与えてもかまわない。全ての補助予測情報に対して固定の値を与える例としては，例えば，予測情報に対する係数は１，補助予測情報に対する係数は０．５とする方法がある。補助予測情報ごとに異なる値を与える例としては，符号化対象領域と補助予測情報が使われた領域との距離が小さいほど大きな値となるように設定する方法がある。
また，係数αは処理対象領域の画素ごとに異なる値を設定することもできる。つまり，この場合には予測画像を生成する際に使用する重み係数ｗは次の数式で表現される。
ｗi ［ｋ］＝αi ［ｋ］・ｗi ″［ｋ］ 式(15)
例えば，補助予測情報が使用された領域とその画素との距離が小さいほど大きな値となるように設定する方法がある。なお，距離は補助予測情報が使用された領域の中心からの距離を用いて設定する方法と，その画素から最も近い補助予測情報内の画素までの距離を用いて設定する方法がある。予測情報に対するαの値も画素ごとに異なる値を設定することも可能である。例えば，処理対象領域の中心から各画素までの距離に応じて異なる値を設定する方法がある。
予測情報と補助予測情報とを区別するか否かと，補助予測情報を区別する際に重み係数をどのように決定するかは，符号化時と復号時で一致させる必要がある。ただし，異なるルールに従うことで予期せぬ符号化ノイズの発生を許容する場合には一致させなくてもかまわない。
復号側で処理対象領域の画像信号を復号する前に，処理対象領域の周辺の未処理領域に対する予測情報を取得することが可能であれば，処理対象領域の周辺の未処理領域に対しても予測情報を設定し，それらを補助予測情報に加えてもかまわない。ただし，未処理領域に対する予測情報を補助予測情報として使用するか否かと，どの範囲の未処理領域の予測情報を補助予測情報として設定するかは符号化側と復号側で一致させる必要がある。
上述した第１実施形態および第２実施形態では，処理対象領域全体に対して使用する参照情報を設定しているが，処理対象領域を分割し，その分割ごとに参照情報を設定してもかまわない。この場合，処理対象領域の分割方法も予測情報の一部となる。つまり，予測情報は分割方法を示す情報Ｐblk ，分割ごとの参照領域の個数の集合｛Ｎblk,j ｜ｊ＝０，…，Ｍblk −１｝，参照情報の集合｛Ｒblk,j,i ｜ｉ＝０，…，Ｎblk,j −１，ｊ＝０，…，Ｍblk −１｝で構成される。なお，Ｍblk は分割方法Ｐblk で処理対象領域を分割した際の分割数を表す。このようにすることで，処理対象領域内において，部分ごとに写っている被写体が異なる場合においても，それを考慮した予測画像の生成を行うことができる。この場合においても，デプスマップを用いて求めた重み係数を用いることで，細かい領域分割を設定することなく，各画素に写っている被写体を反映した予測画像を生成することが可能である。
また，同じ処理対象領域内の他の部分に設定された予測情報を，前述のような補助予測情報として用いることで，分割ごとに最も支配的な被写体に対する一つの参照領域だけしか設定しない場合でも，被写体に応じた参照領域を用いた予測画像を生成することが可能となる。前述のように既に処理済みの領域の予測情報を補助予測情報として使用する場合と異なり，処理対象領域内に設定された予測情報が互いに影響を及ぼすだけで，他の領域における予測画像の品質には影響を及ぼさないため，最適な予測情報の集合を設定することが容易となるほか，伝送エラー等によって情報が欠損してしまった場合にもその影響が及ぶ範囲を限定できるという利点を持つ。なお，処理領域内の部分ごとに設定された予測情報を補助予測情報として設定するか否かは，符号化側と復号側で一致させる必要がある。
上述した第１実施形態および第２実施形態では，入力したデプスマップをそのまま用いているが，符号化されたデプスマップを用いる場合などは，デプスマップにノイズが生じているため，そのノイズを低減させるためにデプスマップにローパスフィルタをかけてもかまわない。また，被写体の違いが分かる程度のビット深度があれば，被写体を考慮した予測画像の生成が行えるため，入力されたデプスマップに対してビット深度変換を施して，デプスマップのビット深度を小さくする処理を施してもかまわない。なお，単純なビット深度変換を行ってもかまわないが，デプスマップから被写体数を判定するなどして，その結果に応じて，被写体を区別するだけの情報に変換してもかまわない。
上述した第１実施形態および第２実施形態では，参照フレームを用いたフレーム間予測のみを対象としているが，参照フレームとして同一フレームの既に処理済み領域の復号映像信号を用いた予測も組み合わせてもかまわない。例えば，Ｈ．２６４などで用いられる画面内予測と組み合わせてもかまわない。画面内予測では，予測方向を指定して処理対象領域に隣接する処理済みの画素の映像信号をコピーすることで予測を行う。この場合，予測方向に従って得られるコピー元の画素に対するデプスマップの値を参照領域のデプス値として用いることで上記ｄｄの値を計算し，ｄｄの値に従って被写体を考慮した重み付けを行いながら予測画像を生成することが可能となる。つまり，予測方向を指定することが参照領域を指定することと同じ意味を持つ。
上述した第１実施形態および第２実施形態では，一つの視点に対する映像を符号化／復号する処理を説明しているが，複数のカメラで撮影された多視点画像や多視点映像を符号化／復号する処理にも適用可能なことも容易に類推可能である。その場合，参照フレームに他の視点の符号化／復号済みフレームを蓄積し，それに対するデプスマップをデプスマップメモリに蓄積することで，視差補償予測など視点間の予測でも被写体を考慮した予測画像の生成が可能になる。なお，視点間で異なる規則に従ったデプスマップを用いる場合，同じ位置を示す画素のデプス値が同じ値となるように，事前にデプスマップの表現を統一する処理を行う必要がある。ただし，前述のｄｄの計算において三次元的な位置が近いほどｄｄの値が小さくなるような計算をすることで，明示的にはデプスマップの表現を統一しなくてもかまわない。
上述した第１実施形態および第２実施形態では，フレーム全体を符号化／復号する処理として書かれているが，画像の一部分のみに適用することも可能である。この場合，処理を適用するか否かを判断して，それを示すフラグを符号化／復号してもかまわないし，何らかの別の手段でそれを指定してもかまわない。また，別途指示するのではなく，デプスマップから重み付けを行うか否かを判定してもかまわない。例えば，処理対象領域の各画素に対するデプスマップの値がほぼ等しい場合（デプスマップの値の分散値が小さい場合），一つの被写体しか含まれていないことになるため，重み係数を計算せずに全て１として，デプスマップの値による重み付けを行わないようにする方法がある。
上述した第１実施形態および第２実施形態では，符号化／復号対象映像に対するデプスマップを用いているが，法線マップや温度画像などの被写体に依存した値を持つ画像情報を代わりに用いることも可能である。ただし，符号化側で使用されたものが復号側でも同様に入手できる必要がある。
以上説明した映像符号化および映像復号の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
図５に，映像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ５０と，ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１と，カメラ等からの符号化対象の映像信号を入力する符号化対象映像入力部５２（ディスク装置等による映像信号を記憶する記憶部でもよい）と，例えばネットワークを介して符号化対象映像に対するデプスマップを入力するデプスマップ入力部５３（ディスク装置等によるデプスマップを記憶する記憶部でもよい）と，図２などで説明した処理をＣＰＵ５０に実行させるソフトウェアプログラムである映像符号化プログラム５４１が格納されたプログラム記憶装置５４と，ＣＰＵ５０がメモリ５１にロードされた映像符号化プログラム５４１を実行することにより生成された符号データを，例えばネットワークを介して出力する符号データ出力部５５（ディスク装置等による多重化符号データを記憶する記憶部でもよい）とが，バスで接続された構成になっている。
図示省略するが，他に，符号データ記憶部，参照フレーム記憶部などのハードウェアが設けられ，本手法の実施に利用される。また，映像信号符号データ記憶部，予測情報符号データ記憶部などが用いられることもある。
図６に，映像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ６０と，ＣＰＵ６０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ６１と，映像符号化装置が本手法により符号化した符号データを入力する符号データ入力部６２（ディスク装置等による多重化符号データを記憶する記憶部でもよい）と，例えばネットワークを介して復号対象の映像に対するデプスマップを入力するデプスマップ入力部６３（ディスク装置等によるデプスマップを記憶する記憶部でもよい）と，図４などで説明した処理をＣＰＵ６０に実行させるソフトウェアプログラムである映像復号プログラム６４１が格納されたプログラム記憶装置６４と，ＣＰＵ６０がメモリ６１にロードされた映像復号プログラム６４１を実行することにより，符号データを復号して得られた復号映像を，再生装置などに出力する復号映像出力部６５とが，バスで接続された構成になっている。
図示省略するが，他に，参照フレーム記憶部などのハードウェアが設けられ，本手法の実施に利用される。また，映像信号符号データ記憶部，予測情報符号データ記憶部が用いられることもある。
以上，図面を参照して本発明の実施の形態を説明してきたが，上記実施の形態は本発明の例示に過ぎず，本発明が上記実施の形態に限定されるものではないことは明らかである。したがって，本発明の精神および技術的範囲を逸脱しない範囲での構成要素の追加，省略，置換，その他の変更を行ってもよい。
１００ 映像符号化装置
１０１ 符号化対象映像入力部
１０２ 入力フレームメモリ
１０３，２０３ デプスマップ入力部
１０４，２０４ デプスマップメモリ
１０５ 参照領域設定部
１０６，２０７ 重み計算部
１０７，２０８ 予測画像生成部
１０８ 予測情報符号化部
１０９ 映像信号符号化部
１１０，２０９ 映像信号復号部
１１１，２１０ 参照フレームメモリ
１１２ 多重化部
２００ 映像復号装置
２０１ 符号データ入力部
２０２ 符号データメモリ
２０５ 分離部
２０６ 予測情報復号部

Claims (20)

  1. 映像を構成する各フレームを予め定められた大きさの処理領域に分割し，前記映像に対応するデプスマップを使用しながら，処理領域ごとに予測画像を生成して予測符号化を行う映像符号化方法であって，
    既に符号化済みの領域の中から，処理領域に対して複数の参照領域を設定する参照領域設定ステップと，
    前記処理領域に対するデプスマップと前記参照領域に対するデプスマップとを用いて，前記参照領域の前記処理領域に対する類似度を，前記参照領域における画素または所定数の隣接する画素群ごとに算出し，算出された類似度を用いて，前記参照領域における画素または画素群ごとに重み係数を設定する重み係数設定ステップと，
    前記重み係数に従って前記参照領域に対する映像信号を線形結合することで予測画像を生成する予測画像生成ステップとを有する
    ことを特徴とする映像符号化方法。
  2. 前記参照領域設定ステップは，
    前記処理領域周辺の既に符号化済み領域を補助領域として設定する補助領域設定ステップと，
    前記補助領域に対する前記補助領域を符号化する際に設定された参照領域の位置を示す情報を補助予測情報とし，前記処理領域に対して前記補助予測情報を用いて表される領域を補助参照領域として設定する補助参照領域設定ステップとを含み，
    前記参照領域設定ステップにおいて設定される参照領域の少なくとも一つは，前記補助参照領域である
    ことを特徴とする請求項１に記載の映像符号化方法。
  3. 映像を構成する各フレームを予め定められた大きさの処理領域に分割し，前記映像に対応するデプスマップを使用しながら，処理領域ごとに予測画像を生成して予測符号化を行う映像符号化方法であって，
    処理領域を複数の部分処理領域に分割する処理領域分割ステップと，
    既に符号化済みの領域の中から，前記部分処理領域に対して複数の参照領域を設定する参照領域設定ステップと，
    前記部分処理領域に対するデプスマップと前記参照領域に対するデプスマップとを用いて，前記参照領域の前記部分処理領域に対する類似度を，前記参照領域における画素または所定数の隣接する画素群ごとに算出し，算出された類似度を用いて，前記参照領域における画素または画素群ごとに重み係数を設定する重み係数設定ステップと，
    前記重み係数に従って前記参照領域に対する映像信号を線形結合することで予測画像を生成する予測画像生成ステップとを有し，
    前記参照領域設定ステップは，
    前記部分処理領域ごとに，他の部分処理領域に対して設定された参照領域の位置を示す情報を補助予測情報とし，当該部分処理領域に対して前記補助予測情報を用いて表される領域を補助参照領域として設定する補助参照領域設定ステップを含み，
    前記参照領域設定ステップにおいて設定される参照領域の少なくとも一つは，前記補助参照領域である
    ことを特徴とする映像符号化方法。
  4. 前記重み係数設定ステップでは，
    前記補助参照領域以外の参照領域における画素または画素群ごとに設定した重み係数または類似度に対して設定するスケール係数よりも，前記補助参照領域における画素または画素群ごとに設定した重み係数または類似度に対して小さなスケール係数を設定し，前記類似度または前記重み係数をスケールする
    ことを特徴とする請求項２または請求項３に記載の映像符号化方法。
  5. 前記重み係数設定ステップでは，
    前記参照領域が前記補助参照領域である場合に，前記処理領域もしくは前記部分処理領域と前記補助参照領域との位置関係に従って，デプスマップを用いて設定した類似度または重み係数をスケールするか，または，前記処理領域もしくは前記部分処理領域の各画素または画素群と前記補助参照領域との距離に従って，デプスマップを用いて設定した類似度または重み係数を画素または画素群ごとにスケールする
    ことを特徴とする請求項２または請求項３に記載の映像符号化方法。
  6. 前記重み係数設定ステップでは，
    前記デプスマップとして，入力したデプスマップにローパスフィルタを適用したデブスマップまたは入力したデプスマップにビット深度変換を施し，ビット深度を小さくしたデプスマップを用いる
    ことを特徴とする請求項１から請求項５までのいずれか１項に記載の映像符号化方法。
  7. 映像の符号データを復号するに際し，映像を構成する各フレームを予め定められた大きさの処理領域に分割し，前記映像に対するデプスマップを使用しながら，処理領域ごとに映像信号を予測して復号を行う映像復号方法であって，
    既に復号済みの領域の中から，処理領域に対して複数の参照領域を設定する参照領域設定ステップと，
    前記処理領域に対するデプスマップと前記参照領域に対するデプスマップとを用いて，前記参照領域の前記処理領域に対する類似度を，前記参照領域における画素または所定数の隣接する画素群ごとに算出し，算出された類似度を用いて，前記参照領域における画素または画素群ごとに重み係数を設定する重み係数設定ステップと，
    前記重み係数に従って前記参照領域に対する映像信号を線形結合することで予測画像を生成する予測画像生成ステップとを有する
    ことを特徴とする映像復号方法。
  8. 前記参照領域設定ステップは，
    前記処理領域周辺の既に復号済み領域を補助領域として設定する補助領域設定ステップと，
    前記補助領域に対する前記補助領域を復号する際に設定された参照領域の位置を示す情報を補助予測情報とし，前記処理領域に対して前記補助予測情報を用いて表される領域を補助参照領域として設定する補助参照領域設定ステップとを含み，
    前記参照領域設定ステップにおいて設定される参照領域の少なくとも一つは，前記補助参照領域である
    ことを特徴とする請求項７に記載の映像復号方法。
  9. 映像の符号データを復号するに際し，映像を構成する各フレームを予め定められた大きさの処理領域に分割し，前記映像に対するデプスマップを使用しながら，処理領域ごとに映像信号を予測しながら復号を行う映像復号方法であって，
    処理領域を複数の部分処理領域に分割する処理領域分割ステップと，
    既に復号済みの領域の中から，前記部分処理領域に対して複数の参照領域を設定する参照領域設定ステップと，
    前記部分処理領域に対するデプスマップと前記参照領域に対するデプスマップとを用いて，前記参照領域の前記部分処理領域に対する類似度を，前記参照領域における画素または所定数の隣接する画素群ごとに算出し，算出された類似度を用いて，前記参照領域における画素または画素群ごとに重み係数を設定する重み係数設定ステップと，
    前記重み係数に従って前記参照領域に対する映像信号を線形結合することで予測画像を生成する予測画像生成ステップとを有し，
    前記参照領域設定ステップは，
    前記部分処理領域ごとに，他の部分処理領域に対して設定された参照領域の位置を示す情報を補助予測情報とし，当該部分処理領域に対して前記補助予測情報を用いて表される領域を補助参照領域として設定する補助参照領域設定ステップを含み，
    前記参照領域設定ステップにおいて設定される参照領域の少なくとも一つは，前記補助参照領域である
    ことを特徴とする映像復号方法。
  10. 前記重み係数設定ステップでは，
    前記補助参照領域以外の参照領域における画素または画素群ごとに設定した重み係数または類似度に対して設定するスケール係数よりも，前記補助参照領域における画素または画素群ごとに設定した重み係数または類似度に対して小さなスケール係数を設定し，前記類似度または前記重み係数をスケールする
    ことを特徴とする請求項８または請求項９に記載の映像復号方法。
  11. 前記重み係数設定ステップでは，
    前記参照領域が前記補助参照領域である場合に，前記処理領域もしくは前記部分処理領域と前記補助参照領域との位置関係に従って，デプスマップを用いて設定した類似度または重み係数をスケールするか，または，前記処理領域もしくは前記部分処理領域の各画素または画素群と前記補助参照領域との距離に従って，デプスマップを用いて設定した類似度または重み係数を画素または画素群ごとにスケールする
    ことを特徴とする請求項８または請求項９に記載の映像復号方法。
  12. 前記重み係数設定ステップでは，
    前記デプスマップとして，入力したデプスマップにローパスフィルタを適用したデブスマップまたは入力したデプスマップにビット深度変換を施し，ビット深度を小さくしたデプスマップを用いる
    ことを特徴とする請求項７から請求項１１までのいずれか１項に記載の映像復号方法。
  13. 映像を構成する各フレームを予め定められた大きさの処理領域に分割し，前記映像に対応するデプスマップを使用しながら，処理領域ごとに予測画像を生成して予測符号化を行う映像符号化装置あって，
    既に符号化済みの領域の中から，処理領域に対して複数の参照領域を設定する参照領域設定手段と，
    前記処理領域に対するデプスマップと前記参照領域に対するデプスマップとを用いて，前記参照領域の前記処理領域に対する類似度を，前記参照領域における画素または所定数の隣接する画素群ごとに算出し，算出された類似度を用いて，前記参照領域における画素または画素群ごとに重み係数を設定する重み係数設定手段と，
    前記重み係数に従って前記参照領域に対する映像信号を線形結合することで予測画像を生成する予測画像生成手段とを備える
    ことを特徴とする映像符号化装置。
  14. 前記参照領域設定手段は，
    前記処理領域周辺の既に符号化済み領域を補助領域として設定する補助領域設定手段と，
    前記補助領域に対する前記補助領域を符号化する際に設定された参照領域の位置を示す情報を補助予測情報とし，前記処理領域に対して前記補助予測情報を用いて表される領域を補助参照領域として設定する補助参照領域設定手段とを含み，
    前記参照領域設定手段において設定される参照領域の少なくとも一つは，前記補助参照領域である
    ことを特徴とする請求項１３に記載の映像符号化装置。
  15. 映像を構成する各フレームを予め定められた大きさの処理領域に分割し，前記映像に対応するデプスマップを使用しながら，処理領域ごとに予測画像を生成して予測符号化を行う映像符号化装置であって，
    処理領域を複数の部分処理領域に分割する処理領域分割手段と，
    既に符号化済みの領域の中から，前記部分処理領域に対して複数の参照領域を設定する参照領域設定手段と，
    前記部分処理領域に対するデプスマップと前記参照領域に対するデプスマップとを用いて，前記参照領域の前記部分処理領域に対する類似度を，前記参照領域における画素または所定数の隣接する画素群ごとに算出し，算出された類似度を用いて，前記参照領域における画素または画素群ごとに重み係数を設定する重み係数設定手段と，
    前記重み係数に従って前記参照領域に対する映像信号を線形結合することで予測画像を生成する予測画像生成手段とを備え，
    前記参照領域設定手段は，
    前記部分処理領域ごとに，他の部分処理領域に対して設定された参照領域の位置を示す情報を補助予測情報とし，当該部分処理領域に対して前記補助予測情報を用いて表される領域を補助参照領域として設定する補助参照領域設定手段を含み，
    前記参照領域設定手段において設定される参照領域の少なくとも一つは，前記補助参照領域である
    ことを特徴とする映像符号化装置。
  16. 映像の符号データを復号するに際し，映像を構成する各フレームを予め定められた大きさの処理領域に分割し，前記映像に対するデプスマップを使用しながら，処理領域ごとに映像信号を予測しながら復号を行う映像復号装置であって，
    既に復号済みの領域の中から，処理領域に対して複数の参照領域を設定する参照領域設定手段と，
    前記処理領域に対するデプスマップと前記参照領域に対するデプスマップとを用いて，前記参照領域の前記処理領域に対する類似度を，前記参照領域における画素または所定数の隣接する画素群ごとに算出し，算出された類似度を用いて，前記参照領域における画素または画素群ごとに重み係数を設定する重み係数設定手段と，
    前記重み係数に従って前記参照領域に対する映像信号を線形結合することで予測画像を生成する予測画像生成手段とを備える
    ことを特徴とする映像復号装置。
  17. 前記参照領域設定手段は，
    前記処理領域周辺の既に復号済み領域を補助領域として設定する補助領域設定手段と，
    前記補助領域に対する前記補助領域を復号する際に設定された参照領域の位置を示す情報を補助予測情報とし，前記処理領域に対して前記補助予測情報を用いて表される領域を補助参照領域として設定する補助参照領域設定手段とを含み，
    前記参照領域設定手段において設定される参照領域の少なくとも一つは，前記補助参照領域である
    ことを特徴とする請求項１６に記載の映像復号装置。
  18. 映像の符号データを復号するに際し，映像を構成する各フレームを予め定められた大きさの処理領域に分割し，前記映像に対するデプスマップを使用しながら，処理領域ごとに映像信号を予測しながら復号を行う映像復号装置であって，
    処理領域を複数の部分処理領域に分割する処理領域分割手段と，
    既に復号済みの領域の中から，前記部分処理領域に対して複数の参照領域を設定する参照領域設定手段と，
    前記部分処理領域に対するデプスマップと前記参照領域に対するデプスマップとを用いて，前記参照領域の前記部分処理領域に対する類似度を，前記参照領域における画素または所定数の隣接する画素群ごとに算出し，算出された類似度を用いて，前記参照領域における画素または画素群ごとに重み係数を設定する重み係数設定手段と，
    前記重み係数に従って前記参照領域に対する映像信号を線形結合することで予測画像を生成する予測画像生成手段とを備え，
    前記参照領域設定手段は，
    前記部分処理領域ごとに，他の部分処理領域に対して設定された参照領域の位置を示す情報を補助予測情報とし，当該部分処理領域に対して前記補助予測情報を用いて表される領域を補助参照領域として設定する補助参照領域設定手段を含み，
    前記参照領域設定手段において設定される参照領域の少なくとも一つは，前記補助参照領域である
    ことを特徴とする映像復号装置。
  19. 請求項１から請求項６までのいずれか１項に記載の映像符号化方法をコンピュータに実行させるための映像符号化プログラム。
  20. 請求項７から請求項１２までのいずれか１項に記載の映像復号方法をコンピュータに実行させるための映像復号プログラム。
JP2011224505A 2011-10-12 2011-10-12 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム Active JP5706291B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011224505A JP5706291B2 (ja) 2011-10-12 2011-10-12 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011224505A JP5706291B2 (ja) 2011-10-12 2011-10-12 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム

Publications (2)

Publication Number Publication Date
JP2013085156A true JP2013085156A (ja) 2013-05-09
JP5706291B2 JP5706291B2 (ja) 2015-04-22

Family

ID=48529896

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011224505A Active JP5706291B2 (ja) 2011-10-12 2011-10-12 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム

Country Status (1)

Country Link
JP (1) JP5706291B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016010058A (ja) * 2014-06-25 2016-01-18 日本電信電話株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム
CN110798674A (zh) * 2018-08-01 2020-02-14 中兴通讯股份有限公司 图像深度值获取方法、装置、设备、编解码器及存储介质
CN112686936B (zh) * 2020-12-18 2023-08-04 北京百度网讯科技有限公司 图像深度补全方法、装置、计算机设备、介质和程序产品

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016010058A (ja) * 2014-06-25 2016-01-18 日本電信電話株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム
CN110798674A (zh) * 2018-08-01 2020-02-14 中兴通讯股份有限公司 图像深度值获取方法、装置、设备、编解码器及存储介质
CN112686936B (zh) * 2020-12-18 2023-08-04 北京百度网讯科技有限公司 图像深度补全方法、装置、计算机设备、介质和程序产品

Also Published As

Publication number Publication date
JP5706291B2 (ja) 2015-04-22

Similar Documents

Publication Publication Date Title
US10798416B2 (en) Apparatus and method for motion estimation of three dimension video
KR20120000485A (ko) 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법
JP6232076B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
JP5947977B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
KR20130117749A (ko) 화상 처리 장치와 화상 처리 방법
TWI499277B (zh) 多視點畫像編碼方法、多視點畫像解碼方法、多視點畫像編碼裝置、多視點畫像解碼裝置及這些程式
JP6039178B2 (ja) 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
JPWO2014010584A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JPWO2014103967A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP5926451B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
US10911779B2 (en) Moving image encoding and decoding method, and non-transitory computer-readable media that code moving image for each of prediction regions that are obtained by dividing coding target region while performing prediction between different views
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JP2013074303A (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP6386466B2 (ja) 映像符号化装置及び方法、及び、映像復号装置及び方法
JP5876933B2 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体
WO2015098827A1 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
JP5759357B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
JP6232117B2 (ja) 画像符号化方法、画像復号方法、及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140501

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150226

R150 Certificate of patent or registration of utility model

Ref document number: 5706291

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150