JP2014112748A - 画像符号化装置および画像復号装置 - Google Patents

Abstract

【課題】距離画像を符号化・復号する符号化装置および復号装置を提供する。
【解決手段】符号化装置は、入力された距離画像を所定サイズの矩形のブロックに分割する分割手段と、分割手段により分割された符号化対象ブロック周囲の符号化済みブロックを構成する画素群を所定の複写形式に基づき複写することにより、符号化対象ブロックを近似する複写近似手段と、分割手段により分割された符号化対象ブロックを所定の描画形式を用いることによって符号化対象ブロックを近似するとともに、用いた描画形式の深度値の情報を蓄積する描画形式近似手段と、複写近似手段と、描画形式近似手段のいずれかを選択する選択手段と、符号化対象ブロックに対して選択した複写形式または描画形式の形式識別情報と蓄積した深度値の情報に基づいて生成した符号語を伝送する符号語生成手段とを備えた。復号装置は、符号化装置において用いられた符号化方法に基づき復号する。
【選択図】図１

Description

本発明は、画像符号化装置および画像復号装置に関する。

被写体の三次元形状を、正確に、且つ、効率良く記録することは重要なテーマであり、従来からさまざまな方法が提案されている。その方法の一つとして、被写空間を各被写体および背景の色で表現した一般的な二次元画像であるテクスチャ画像と、被写空間を各被写体および背景までの視点からの距離で表現した画像（以下、「距離画像」と呼ぶ）との二種類の画像データを関連付けて記録する方法がある。距離画像とは、画素ごとに、被写空間中の対応する地点までの視点からの距離値（深度値）を表現する画像である。この距離画像は、例えば、テクスチャ画像を記録するカメラ近傍に設置された、デプスカメラ等の測距装置によって取得できる。あるいは、多視点カメラの撮影によって得られる複数のテクスチャ画像を解析することによっても距離画像を取得することができ、その解析手法も数多く提案されている。

また、距離画像に関する規格として、国際標準化機構／国際電機標準会議（ＩＳＯ／ＩＥＣ）のワーキンググループであるMoving Picture Experts Group（ＭＰＥＧ）において、距離値を２５６段階（８ビットの輝度値）で表現する規格であるＭＰＥＧ−Ｃ ｐａｒｔ３が定められており、標準的な距離画像は８ビットのグレースケール画像となる。また、視点からの距離が近いほど高い輝度値を割り当てるように規定されているため、標準的な距離画像では、手前に位置する被写体ほど白く、奥に位置する被写体ほど黒く表現される。距離画像の特徴として、テクスチャ画像と比べてより広い領域において単一の画素値が表れる傾向が強いと言える。例えば、テクスチャ画像に派手な柄の服を着ている人物が描かれていても、距離画像においては、服の部分の距離値がほぼ一定になる。

同一の被写空間を表現したテクスチャ画像と距離画像とが得られれば、テクスチャ画像に描画されている被写体像を構成する各画素の視点からの距離が距離画像から分かるため、被写体を奥行きが最大２５６段階で表現される三次元形状として復元することができる。さらに、三次元形状を二次元平面上に幾何的に投影することにより、元のテクスチャ画像を、元の角度から一定範囲にある別の角度から被写体を撮影した場合の被写空間のテクスチャ画像に変換することが可能である。すなわち、１組のテクスチャ画像および距離画像によって一定範囲にある任意の角度から見たときの三次元形状を復元できるため、複数組のテクスチャ画像および距離画像を用いることにより三次元形状の自由視点画像を少ないデータ量で表すことが可能である。

ところで、動画圧縮規格であるＨ．２６４のように、映像が内部に持つ時間的あるいは空間的な冗長性を効率良く排除することにより、映像を圧縮符号化する技術が知られている（例えば、非特許文献１）。この技術を用いた符号化装置により、テクスチャ映像（テクスチャ画像を各フレームとする映像）と距離映像（距離画像を各フレームとする映像）との各映像を符号化すると、各映像が有する冗長性を排除することが可能となり、復号装置に伝送される各映像のデータ量をさらに削減することができる。

このＨ．２６４規格では、画像の変換方式に、整数精度ＤＣＴ変換と、アダマール変換との、２つの変換方式が採用されている。これらはともに、直交変換方式である。整数精度ＤＣＴ変換は、実数精度ＤＣＴ変換（通常のＤＣＴ）の近似であり、それと比べて演算量が少ないことを特徴とする。アダマール変換は、整数精度ＤＣＴよりもさらに演算量が少なく、直流成分だけを集めて生成したブロック（ＤＣブロック）の変換に用いられる。この直交変換は、ブロック内の相関を算出することに用いられるが、Ｈ．２６４規格では、最大で１６×１６の画素ブロックに対して用いる。すなわち、１６×１６の画素ブロック内の画素間の相関は情報圧縮に利用される。これらの方式は、自然画の圧縮において、適切なビットレートの範囲内では極めて効率的に情報を圧縮できるが、極端にビットレートが低くなると、画像が全体的にぼやけ、ブロックノイズが現れるという特徴を有している。

また、Ｈ．２６４規格は、より情報を圧縮するために、画面内予測符号化という方式も採用している。これは、符号化対象ブロックに隣接する符号化済み画素などを使用して、符号化対象ブロックの画素値を予測するものである。符号化対象ブロックでは、その予測値との差分を直交変換することによって情報圧縮を行う。上述の直交変換は最大で１６×１６画素のブロック内の相関を利用するに留まったが、この画面内予測符号化という方式を併用することで、隣接画素との相関も利用した圧縮を行うことができる。

「ＩＴＵ−Ｔ 勧告 Ｈ．２６４」，International Telecommunication Union - Telecommunication Standardization Sector，２００９年３月

しかしながら、Ｈ．２６４規格で規格されている圧縮符号化技術を距離映像に適応したとき、極端にビットレートが低い環境下において、上述したように、ぼやけやブロックノイズが現れる。これは、距離映像の符号化のビットレートを低下させていくと、整数精度ＤＣＴ変換やアダマール変換などの直交変換した変換係数に割り当てるビット数が少なくなっていくことにより量子化歪みが増大し、ブロック内の全ての画素が直流成分の値のみとなってしまうためである。

距離映像は通常、復号後に、テクスチャ映像を撮影した視点とは別の視点の映像を生成するために用いられるが、その際、ぼやけやブロックノイズは合成映像の品質を劣化させる大きな要因となる。その理由は、距離映像において、被写体の輪郭部分の位置・連続性が、合成画像の品質に対して非常に重要であるからである。テクスチャ画像の被写体の輪郭が連続であるにも関わらず、それに対応する距離画像の輪郭が不連続である場合、合成されたテクスチャ画像の被写体の輪郭も不連続となってしまう。すなわち、Ｈ．２６４規格は自然画から成る映像を、ＰＳＮＲ(Peak Signal-to-Noise Ratio)などの客観的尺度を指標とし、符号化するために極めて効率的な方式であるが、距離映像のように、任意視点の映像を合成するためだけに用いられる特殊な映像に対しては、効率的な方式であるとは言えない。同じＰＳＮＲでも、特に被写体の輪郭部分が、それに対応するテクスチャ映像と一致している方が、合成映像の品質が一般的に高くなる。

本発明は、このような事情に鑑みてなされたもので、距離画像の符号化データの符号量を従来よりも削減することができる画像符号化装置およびこの画像符号化装置から供給された符号化データから距離画像を復号する画像復号装置を提供することを目的とする。

本発明は、距離画像を符号化する画像符号化装置であって、入力された距離画像を所定サイズの矩形のブロックに分割する分割手段と、前記分割手段により分割された符号化対象ブロック周囲の符号化済みブロックを構成する画素群を所定の複写形式に基づき複写することにより、前記符号化対象ブロックを近似する複写近似手段と、前記分割手段により分割された符号化対象ブロックを所定の描画形式を用いることによって前記符号化対象ブロックを近似するとともに、用いた前記描画形式の深度値の情報を蓄積する描画形式近似手段と、前記複写近似手段と、前記描画形式近似手段のいずれかを選択する選択手段と、前記符号化対象ブロックに対して選択した複写形式または描画形式の形式識別情報と蓄積した前記深度値の情報に基づいて生成した符号語を伝送する符号語生成手段とを備えたことを特徴とする。

本発明は、前記分割手段により分割されたブロックの深度値を量子化する深度量子化手段をさらに備えたことを特徴とする。

本発明は、前記描画形式は、２つの深度値を含み、深度値の境界のみを規定することを特徴とする。

本発明は、前記選択手段は、複写形式の中から１つ、あるいは描画形式の中から１つ、あるいは複写形式１つと描画形式１つの組み合わせを１つのいずれかを選択することを特徴とする。

本発明は、前記２つのうち１つの深度値を、符号化対象ブロック周囲の符号化済みブロックを構成する画素群から決定することを特徴とする。

本発明は、前記符号化対象ブロック周囲の符号化済みブロックを構成する画素群から決定する深度値は、予め描画形式ごとに規定する画素位置から決定することを特徴とする。

本発明は、前記符号化対象ブロック周囲の符号化済みブロックを構成する画素群から決定する深度値を、描画形式に含まれる２つの領域のいずれかに適用するかについて、各描画形式ごとに予め規定することを特徴とする。

本発明は、前記描画形式に用いて蓄積される深度値は、符号化対象ブロックに含まれる全ての深度値を用いて近似したときに、入力ブロックとの歪みが最も小さくなる深度値とすることを特徴とする。

本発明は、複写形式１つと描画形式１つの組み合わせ方法は、各複写形式に基づいて近似ブロックを作成し、各描画形式に含まれる２つの領域のうち、周囲の画素群から採用する方の領域とは逆の領域のみを前記近似ブロックに上書きすることによって得ることを特徴とする。

本発明は、前記選択手段は、符号化対象ブロックの全画素に対し、入力ブロックとの歪みを最小とするものを選択することを特徴とする。

本発明は、前記選択手段は、符号化対象ブロックの全画素に対し、入力ブロックとの歪みを、ブロックの端に近付くほど重み付けし、その重み付けした歪みを最小とするものを選択することを特徴とする。

本発明は、前記選択手段は、符号化対象ブロックの全画素に対し、入力ブロックとの歪みを、ブロックの最下行および右端列のみ重み付けし、その重み付けした歪みを最小少とするものを選択することを特徴とする。

本発明は、前記選択手段は、複写形式の中から１つ、あるいは複写形式の中から２つ、あるいは描画形式の中から１つ、あるいは複写形式１つと描画形式１つの組み合わせを１つ、のいずれかを選択することを特徴とする。

本発明は、前記複写形式の中からの２つの選択は、その複写の順序を伴い、先に１つめの複写形式で複写した後、２つめの複写形式を、複写に用いる画素群のうち、それぞれが保持する深度値とは異なる深度値と接している画素群のみを、２つめの複写形式に対して用い、上書きすることを特徴とする。

本発明は、前記深度値量子化手段は、前記距離画像と対をなすテクスチャ画像の符号化の際に用いる量子化パラメータと対応づけられることを特徴とする。

本発明は、請求項１から１５のいずれかに記載された画像符号化装置により符号化された符号化距離画像を復号する画像復号装置であって、受信した前記符号化距離画像の符号語を解析する解析手段と、前記解析手段により解析して得られた深度値群を保持する保持手段と、前記解析手段により解析して得られた形式の識別情報と、前記深度群に基づき、所定の複写形式ま所定の描画形式を用いてブロック毎に前記距離画像を復元する復号手段とを備えたことを特徴とする。

本発明は、コンピュータを請求項１から１５のいずれかに記載の画像符号化装置として機能させることを特徴とする。

本発明は、コンピュータを請求項１６に記載の画像復号装置として機能させることを特徴とする。

本発明は、距離画像の符号化データであって、画像の各ブロックに対し、ブロック周囲の符号化済み画素群を予め設定した複写形式に従って複写することによりそのブロックを近似し、あるいは予め用意した描画形式を用いることによってそのブロックを近似し、これら複写形式と描画形式から１つの形式を選択し、描画形式を選択した場合には、それに用いた深度値を蓄積し、選択した形式の番号および蓄積した深度値の情報に基づいて符号化したことを特徴とする。

本発明によれば、距離画像の符号化データの符号量を従来よりも削減することができる符号化装置およびこの符号化装置から供給された符号化データから距離画像を復号する復号装置を実現することができるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。 複写形式の種類の一例を示す説明図である。 複写形式の種類の一例を示す説明図である。 複写形式の種類の一例を示す説明図である。 複写形式の種類の一例を示す説明図である。 複写形式の種類の一例を示す説明図である。 複写形式の種類の一例を示す説明図である。 複写形式の種類の一例を示す説明図である。 複写形式の種類の一例を示す説明図である。 図８に示す矢印群のうちの一つを抜き出して示した説明図である。 画素の複写を行った状態を示す説明図である。 距離画像を模式的に表現した説明図である。 図１２に示す距離画像をブロックに分割した説明図である。 描画形式の一例を示す説明図である。 描画形式の一例を示す説明図である。 一枚の画像に対し符号語生成部１６が生成する符号語の一例を示す説明図である。 図１６に示す符号語の構成（符号語生成規則）を示す説明図である。 符号化後のブロックを示す説明図である。 図１に示す装置構成の変形例を示すブロック図である。

以下、図面を参照して、本発明の一実施形態による画像符号化装置および画像復号装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、距離画像を入力し、入力した距離画像に符号化処理を施して伝送路を介して伝送を行う画像符号化装置である。符号２は、伝送路を介して符号化処理が施された距離画像を受信し、符号化処理が施された距離画像を復号して距離画像を出力する画像復号装置である。画像符号化装置１は、分割部１１、処理判定部１２、複写形式判定部１３、描画形式判定部１４、深度値蓄積部１５及び符号語生成部１６から構成される。画像復号装置２は、符号語解析部２１、深度値保持部２２、複写形式展開部２３及び描画形式展開部２４とから構成する。

始めに、図１に示す画像符号装置１の処理動作を説明する。距離画像が入力されると、分割部１１は、入力した距離画像を複数のブロックに分割する。例えば１６×１６画素を１つのブロックとしてブロック分割を行う。そして、分割部１１は、ラスタスキャン順に、左上のブロックから順に、処理判定部に対して符号化対象ブロックとして出力する。処理判定部１２は、この符号化対象ブロックに対し、どの複写形式が最適か、あるいは、どの描画形式が最適か、そして、それら２つを併用する方がよいかを判定する。

ここで、複写形式について説明する。図２〜図９は、複写形式の種類の一例である。図２〜図９において、右下に位置する１６×１６画素のブロックが符号化対象ブロックであり、それ以外が符号化済みの隣接ブロックである。図２〜図９において、各ブロック内の方眼一つ一つは画素を表現しており、矢印付きの線は、画素の複写先を表現している。例えば、図２において、符号化対象ブロックは、その上に隣接する符号化済みブロックの最下行の画素を複写して作成する。具体的には、符号化対象ブロックにおいて、左からｎ列目に位置する画素群は全て、上に隣接するブロックの最下行の左からｎ番目の画素を複写する。その他の図においても同様である。矢印の意味をさらに説明すると、例えば図８の矢印群のうちの一つを抜き出して示したものが図１０である。この場合、図１１に示すように黒く塗り潰して示した画素が、上に隣接するブロックの最下行左から９番目の画素を複写するということになる。

隣接画素をＨ．２６４規格のように、予測値として利用するのではなく、このように複写してそのまま利用することは、距離画像の符号化においては有効である。これは以下の理由による。すなわち、距離画像は被写体との距離を表しているため、同じ深度値の一まとまりの範囲は、ある程度大きくなる。そして、被写体の輪郭部分以外では、値が画素単位で急激に変化することは稀である。したがって、隣接ブロック同士で、同じ深度値を持つ確率が非常に高いからである。また、このように隣接画素を複写することによって、その隣接ブロックから符号化対象ブロックに亘って輪郭が連続している場合、その輪郭の連続性が保たれ、なおかつさまざまな方向の形式を用意しておくことにより、さまざまな方向に伸びる輪郭に対応することができる。

図１２は距離画像を模式的に表現した図であり、図１３は、図１２をブロックに分割した図である。図１３において、１つのブロックは、１６×１６画素のブロックを表している。例えば、ブロックＢ１〜Ｂ６に亘って水平に述びている境界線が、被写体の輪郭である。ブロックＢ２〜Ｂ４のブロックがそれぞれ符号化対象ブロックの時、図３に表される複写形式を選択して適用すれば、符号化対象ブロックを非常に良く近似できることは明らかである。

さらに、図１３に示すブロックＢ６のように、上側からと左側からとの両方から、輪郭が繋がっている場合などに対し、複写形式を、その順番とともに２種類選択してもよい。まず最初に、図３に示す複写形式によって複写を行った後、図２に示す複写形式によって複写を行い、既に同じ深度値で複写された列以外の列を上書きする、というルールを適用すれば、符号化対象ブロックを非常に良く近似できることは明らかである。

次に、描画形式判定部１４について説明する。図１４は、描画形式の一例であり、各正方形は、それぞれ１６×１６画素のブロックを表しており、その中にひかれた線は、深度値の境界を表している。描画形式Ｐ１は単一の深度値からなるブロックである。描画形式Ｐ２は、ブロックを水平方向に１：３の割合で垂直に区切った描画形式である。図１４に示す例では、一つのブロックに含まれる深度値の数は２であるという仮定をしたモデルとなっている。これにより、３つ以上の異なる深度値が一つのブロックに含まれる場合、２つの深度値に縮退してしまうことにはなるが、形式の数が限られるため、圧縮効率を高めることが可能となる。他の形式についても同様である。この形式の種類については、図１４に示したものに限らず、例えば図１５に示すような描画形式があってもよい。

描画形式は、深度値の境界のみ規定し、深度値については、描画形式ごとに符号化済みのどの隣接画素を使用するかを決めておく。例えば、図１４に示す描画形式Ｐ２については、左側に隣接する画素列の最も上側に位置する画素の値を左側の部分の深度値として、上側に隣接する画素行の最も右側に位置する画素の値を右側の部分の深度値として、それぞれ使用する。そして、各描画形式毎に、入力画像との歪み（深度値の差分の二乗和）を算出する。

しかし、これだけでは、符号化済みの隣接ブロックには含まれない深度値が符号化対象ブロックに含まれる場合には、精度よく近似することはできないため、符号化対象ブロックに含まれる深度値の中で、先の計算によっては使用されなかったその他の深度値がある場合、それぞれを使用して同じように、歪みを算出する。このように、隣接ブロックには含まれない深度値を使用した場合、その深度値を深度値蓄積部１５に出力する。以上のように、描画形式判定部１４では、符号化対象ブロックに対し、最もよく深度値の境界線を近似する形式を選択する。

処理判定部１２では、前述した描画形式判定部１４と複写形式判定部１２とから最適な使用方法を判定する。具体的には、符号化対象ブロックを、（１）複写形式判定部のみを使用し、隣接画素群による複写形式で近似する、（２）描画形式判定部のみ使用し、描画形式で近似する、（３）複写形式と描画形式の両方を使用して近似する、のいずれかを選択する。

ここで、（３）描画形式と複写形式の両方を使用して近似する方法について説明する。この場合、図２〜図９に示した複写形式それぞれに対し、図１４に示した描画形式を総当たりに組み合わせ、描画形式に含まれる２つの領域のうち、周囲の画素群から採用しない方の領域のみを上書きして符号化対象ブロックを作成する。そして、それぞれについて、符号化対象ブロック内全画素の、入力画像に対する歪みを計算する。最も歪みの少ない組み合わせが最適な組み合わせとなる。

次に、前述の近似方法（１）、（２）、（３）のいずれを選択するかについて説明する。まず、符号化対象ブロックの全画素に対する歪みを共通の基準とし、前述の近似方法（１）、（２）、（３）のそれぞれについて、その歪みを計算し、最も歪みの少ないものを選択するといった方法が考えられる。しかし、本発明の方法は、符号化済みブロックは、その後のブロックに伝播していくという特徴を有するため、ブロックの境界、特にその後に符号化対象となるブロックとの境界となる、右端列あるいは最下行に位置する画素についての歪みを少なくすることが重要となる。したがって、どの複写形式が最適かの判定については、符号化対象ブロックの右端の行に含まれる画素群と、最下行に含まれる画素群における、入力距離画像との歪み（差分の二乗和）に対し、他の部分と比べ重み付けした上で、各形式について算出し、最も歪みが小さくなる形式を最適な形式とする。あるいは、ブロックの境界に近いほど重み付けされるような関数を用いるなどしてもよい。このようにすることにより、符号化対象ブロックの右側や下側の隣接ブロックとの境界における輪郭のずれを少なくすることができるため、輪郭の連続性保持に有効である。

ところで、画像内の最上行に位置するブロックについては、上側の隣接ブロックが存在しないため、図３、図９の２種類の形式と、図５、図６、図７の３種類の形式の、合計５種類の形式について計算を行う。図５〜７については、上側の隣接ブロックの画素群も参照しているが、符号化対象ブロックが画像内の最上行に位置している場合は、上側の隣接ブロックの画素群の代わりに、左側の隣接ブロックの画素群のうち、上端の画素を複写するものとする。同様に、画像内の左端列に位置するブロックについては、左側の隣接ブロックが存在しないため、図２、図４、図８の３種類の形式に加え、図５〜図７の３種類の、合計６種類の形式について計算を行う。先ほどと同様、参照できない画素については、上側の隣接画素群の左端の画素を用いる。そのほか、画像内の右端列に位置するブロックについては、図４と図８の形式について、上側の隣接画素群の右端の画素を用いる。ここで、上端左端のブロックについては符号化済みの隣接ブロックが存在しないため、複写形式は採用しない。

次に、処理判定部１２は、前述の近似方法（１）、（２）、（３）のいずれによって符号化したかを示す情報ならびに、描画形式により符号化した場合は選択した描画形式を示す情報、深度値蓄積部１５に深度値を出力した場合は出力したという情報、また、複写形式により符号化した場合は選択した複写形式を示す情報を符号語生成部１６に対して出力する。

深度値蓄積部１５では、一枚の画像に含まれる全てのブロックが処理判定部１２によって符号化されるまで、入力された距離深度値を保持しておき、一枚の画像が符号化され終わると、蓄積した深度値群を符号語生成部１６に対して出力する。符号語生成部１６では、入力された深度値の情報に対し、「０」か「１」の二値で構成する符号語を割り当てる。図１６は、一枚の画像に対し符号語生成部１６が生成する符号語の一例である。図１６において、Ｘ１〜Ｘ５はそれぞれ二値からなる符号語を表している。ここでは、Ｘ１〜Ｘ５のそれぞれは、固定長であるとする。そして、それぞれが何ビットの固定長であるかについては、予め、あるいは、符号化の前などに復号側に伝送され、復号側で既知であるとする。図１７は、図１６に示す符号語の構成を示す図である。Ｘ１は、この符号化対象画像に関し、伝送される深度値の数を表す。例えば１０２４×７６８画素を有する画像を１６×１６画素のブロックに分割する場合、総ブロック数は３０７２個であるから、深度値は最大でも３０７２個となるため、それは１２ビットで表すことができる。

Ｘ２は、Ｘ１で表される個数だけ、深度値を順に並べたものである。例えば、距離深度値が０〜２５５の値で表されている場合、それぞれの深度値は、８ビットで表すことができる。次に、符号化対象画像内のブロック数だけ、Ｘ３とＸ４との２つからなる符号語を繰り返す。Ｘ３は、前述の近似方法（１）、（２）、（３）のいずれによって符号化したかを示す情報であり、複写形式のみを使用した場合（前述の方法（１））は「０」、描画形式のみを使用した場合（前述の方法（２））は「１０」、複写形式と描画形式の両方を使用した場合（前述の方法（３））は「１１」となる。

Ｘ４は、複写形式あるいは描画形式を識別する識別情報である。ここでは、複写形式を図２〜図９の８通り、描画形式を図１４に示した１３通りとし、Ｘ３にて近似方法（１）または近似方法（３）３が選択されたときには、複写形式の識別情報を表し、また、Ｘ３にて近似方法２が選択されたときには、描画形式の識別情報を表す。符号語長は複写形式表現には３ビット、描画形式表現には４ビットである。Ｘ５は、Ｘ３にて近似方法（３）が選択された場合に限り存在し、符号語長を同じく４ビットとして、描画形式の識別情報を表す。

以上説明した一連の処理動作によって、処理判定部１２が、入力距離画像をブロック毎に符号化する動作を図１３を参照して説明する。まず、ブロックＢ７のブロックが処理判定部１２に分割部１１から入力されると、このブロックには複写の対象となる符号化済み隣接ブロックの画素が存在しないので、処理判定部１２は描画形式判定部１４にこのブロックＢ７を出力し、最適な描画形式Ｐ１（図１４参照）を得る。このとき、参照する深度値は存在しないので、処理判定部１２は描画形式判定部１４に対し、このブロックを構成する単一の深度値（例えば値６０）を深度値蓄積部１５に出力させる。深度値蓄積部１５は、この値６０を内部に蓄積する。また、処理判定部１２は、描画形式Ｐ１を選択したという識別情報と、深度値蓄積部１５に値を蓄積したことを示す情報を、符号語作成部１６に対して出力する。符号語作成部１６が、図１７に示す符号語生成規則にしたがって符号語を生成すると、Ｘ３が「１０」、Ｘ４が「００００」という符号語が生成されることになる。

次に、その右隣のブロックが処理判定部１２に入力されると、図１７に示す符号語の割り当てが行われているとすると、複写形式を使用することが、割り当てるビット数を少なく抑えられるため、図３に示す複写形式を選択する。ここでは、図２〜図９に表す複写形式の識別情報はそれぞれ１〜８（「０００」〜「１１１」）に割り当てられているとする。この場合、図１７に示すように、最初のＸ３は０、Ｘ４は００１となる。さらに右隣のブロックについても、これと同様の処理となるので、Ｘ３は０、Ｘ４は００１となる。これが、ブロックＢ１の手前（図１３参照）まで繰り返される。ただし、２、３行目それぞれ左端のブロックについては、複写形式が図２で示される形式になるため、符号語Ｘ４は０００となる。また、２、３行目に含まれるブロックのうち、左端のブロック以外のブロックについては、複写形式が図２で示されるものと、図３で示されるものと、歪みは等しくなるため、いずれを選択してもよい。

次に、ブロックＢ１が処理判定部１２に入力される。処理判定部１２は、複写形式判定部１３において各形式に対して歪みを計算させる。この歪みとは、ブロック内全画素の歪みでもよいし、上述したように、重み付けした歪みでもよい。このブロックの場合、どの形式においても歪みは一定となる。次に、処理判定部１２は、描画形式判定部１４において、各形式に対して歪みを計算させる。このとき、図１４に示す描画形式Ｐ１３の形式が最も歪みの少ないものとなる。符号語は、Ｘ３が１０、Ｘ４が１１００となる（描画形式Ｐ１３の識別情報を１３とした）。そして、ブロックＢ１の右下隅に含まれる深度値（例えば値９０）を深度値蓄積部１５に対して出力する。このときの符号化後のブロックは、図１８に示すブロックＢ１１のようになる。

次に、ブロックＢ２〜ブロックＢ４が順に、前述した処理動作と同様に、処理判定部１２に入力される。その時の各符号語は、ブロックＢ２〜ブロックＢ４にかけて、同様に、複写形式判定部１３において図７に示す複写形式を選択し、符号語はＸ３が０、Ｘ４が００１となる。このときの符号化後のブロックは、図１８に示すブロックＢ２１〜ブロックＢ４１のようになる。

次に、ブロックＢ５のブロックについて、複写形式判定部１３において、図７に示した形式が選択される。符号語はＸ３が０、Ｘ４が１０１となる。このときの符号化後のブロックは図１８に示すブロックＢ５１のようになる。ブロックＢ６のような入力ブロックに対しては、前述したように、２種類の複写形式を併用する。図１７に示す符号語生成規則のＸ４にはそのような場合の符号語を定義していないが、例えば１００１以降に、２つの複写形式の各組み合わせについて、符号語を定義すればよい。また、このブロックの場合、複写形式（図７）と描画形式（図１４の描画形式Ｐ３）とを組み合わせても、歪みは同程度となる。歪みが同じであればどちらを選択してもよい。

このようにして、符号化処理を行い、一枚の画像について処理が終了した後、深度値蓄積部１５に蓄積された深度値群とその総数が符号語生成部１６に出力され、Ｘ１とＸ２が生成されて、符号語Ｘ１〜Ｘ５が符号化距離画像として伝送路を介して伝送されることになる。

次に、図１に示す画像復号装置２の処理動作について説明する。符号語解析部２１は、伝送路を介して伝送された符号化距離画像を受信し、受信した符号化距離画像を符号語Ｘ１〜Ｘ５に分割し、Ｘ１、Ｘ２を深度値保持部２２に対して出力し、Ｘ３〜Ｘ５を複写形式展開部２３に出力する。深度値保持部２２は、必要に応じて、順に、深度値を描画形式展開部２４に出力する。複写形式展開部２３は、複写形式で符号化されたブロックに対して描画を行い、その結果を描画形式展開部２４に出力する。描画形式展開部２４は、描画形式で符号化されたブロックに対して描画を行う。このような処理によって、符号化側で符号化した入力距離画像を復号する。

図１３を参照して前述した具体例に沿って説明する。まず、Ｘ１とＸ２については、深度値保持部２２に出力する。このとき、Ｘ２の先頭は、ブロックＢ７を描画形式で符号化したときの深度値６０である。同様に、２番目は、ブロックＢ１を描画形式で符号化したときの深度値９０である。

次に、ブロックＢ７に対する符号語１０００００が描画形式展開部２４に入力される。描画形式展開部２４はＸ３が１０、Ｘ４が００００であると解析し、描画形式Ｐ１を選択するとともに、深度値保持部２２から先頭の深度値６０を取得する。そして、深度値６０を用いて描画形式Ｐ１の形式で、最初のブロックを描画する。また、そのＸ３とＸ４を複写形式展開部２３に出力する。複写形式展開部２３は、Ｘ３が１０であることから何も処理を行わず、このブロックの復号を終了する。

次に、ブロックＢ７の右隣のブロックに対する符号語０００１が描画形式展開部２４に入力される。描画形式展開部２４はＸ３が０、Ｘ４が００１であると解析し、何も処理を行わず、Ｘ３、Ｘ４を複写形式展開部に出力する。複写形式展開部は、図７の複写形式を用い、ブロックＢ７の右端列に含まれる画素群を水平方向に複写する。このような処理を順次行い、復号することにより符号化距離画像が復号されて距離画像が復元されることになる。

次に、図１９を参照して、図１に示す画像符号化装置１と画像復号装置２の変形例を説明する。図１９は、図１に示す画像符号化装置１と画像復号装置２を変形した構成を示すブロック図である。図１９に示す画像符号化装置１が図１に示す画像符号化装置１と異なる点は、新たに深度量子化部１７とエントロピー符号化部１８を設けた点である。また、図１９に示す画像復号装置２が図１に示す画像復号装置２と異なる点は、エントロピー復号部２５を新たに設けた点である。

深度量子化部１７は、分割部１１から出力するブロックの深度値を量子化する。量子化ステップについては、予め規定してもよいし、例えばＨ．２６４規格などで用いられている量子化パラメータｑＰを用い、その値に対応づけてもよい。あるいは、この距離画像と対応するテクスチャ画像の符号化の際に用いるｑＰの値と対応づけてもよい。量子化パラメータｑＰとの対応づけは、例えば量子化パラメータｑＰの最大値５１のときの量子化ステップを決め（例えば１６＝２の４乗）、それを基に各ｑＰに対する量子化ステップを決めるようにしてもよい。この場合量子化ステップｓは、
ｓ＝２^{４＋ｆｌｏｏｒ（５１−ｑP／６）}
と表すことができる。ここでｆｌｏｏｒ（ｘ）はｘを越えない最大の整数を表す関数である。

このように、先に深度値を適切に量子化しておくことによって、距離画像が単純化され、その後の、描画形式と複写形式を用いた符号化の精度を向上させることができる。さらに、このように事前に量子化を行っておくことによって、図１７に示すＸ２に割り当てるビット数を、その量子化ステップｓを表現するのに十分なビット数に制限することができ、さらなる情報の圧縮となる。

エントロピー符号化部１８は、符号語生成部１６によって生成した符号化距離画像を、エントロピー符号化することによって情報をさらに圧縮する。エントロピー復号部２５は、エントロピー符号化された符号化距離画像を復号する。この方式としては、算術符号化や辞書式符号化、それにそれぞれの発生確率テーブルやコードブックを適応的に更新する適応的算術符号化、適応的辞書式符号化などが適用可能である。また、この方式は一枚の距離画像を圧縮符号化するための方式であるが、異なる時刻に対応する複数の画像間の冗長性の除去に関しては、Ｈ．２６４規格を適用することもできる。すなわち、Ｈ．２６４規格におけるＩフレームのみ、本発明の方式を採用し、ＢフレームやＰフレームに関してはＨ．２６４規格を使用するなどしてもよい。

なお、前述した説明においては、ブロックサイズを１６×１６画素として説明したが、このサイズに限らず、８×８画素や４×４画素でもよい。さらに、Ｈ．２６４規格のマクロブロックと同様、ブロック単位でそのサイズを可変にしてもよい。それらの場合においても、複写形式については変わらず使用でき、描画形式については、そのまま縮尺したものを使用すればよい。さらに、１６×８画素や８×１６画素など、長方形のブロックに対しても同じ方式が使用できる。この場合、複写形式については、その長方形が該当する画素のみを用いればよいし、描画形式については、正方形からそれら長方形に線形縮尺したものを使用すればよい。これら、さまざまなサイズ、形のブロックのいずれを使うかの決定は、例えば、１６×１６画素のブロック毎に、最も歪みが小さくなるブロック形状、サイズ、複写形式あるいは描画形式、の組み合わせの中から、歪みを最少にするものを選択することによって行われるなどしてよい。この場合、図１に示す分割部１１から処理判定部に伸びる矢印は、さまざまな形状に分割したデータを分割から処理判定部１２に出力する複数のデータの流れを意味することになる。

以上説明したように、距離画像の符号化データの符号量を従来よりも削減することができる符号化装置およびこの符号化装置から供給された符号化データから距離画像を復号する復号装置を実現することができる。

なお、図１、１９における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像符号化処理・画像復号処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

距離画像の符号化・復号を行うことが不可欠な用途に適用できる。

１・・・画像符号化装置、１１・・・分割部、１２・・・処理判定部、１３・・・複写形式判定部、１４・・・描画形式判定部、１５・・・深度値蓄積部、１６・・・符号語生成部、１７・・・深度値量子化部、１８・・・エントロピー符号化部、２・・・画像復号装置、２１・・・符号語解析部、２２・・・深度値保持部、２３・・・複写形式展開部、２４・・・描画形式展開部、２５・・・エントロピー復号部

Claims (19)

1. 距離画像を符号化する画像符号化装置であって、
   入力された距離画像を所定サイズの矩形のブロックに分割する分割手段と、
   前記分割手段により分割された符号化対象ブロック周囲の符号化済みブロックを構成する画素群を所定の複写形式に基づき複写することにより、前記符号化対象ブロックを近似する複写近似手段と、
   前記分割手段により分割された符号化対象ブロックを所定の描画形式を用いることによって前記符号化対象ブロックを近似するとともに、用いた前記描画形式の深度値の情報を蓄積する描画形式近似手段と、
   前記複写近似手段と、前記描画形式近似手段のいずれかを選択する選択手段と、
   前記符号化対象ブロックに対して選択した複写形式または描画形式の形式識別情報と蓄積した前記深度値の情報に基づいて生成した符号語を伝送する符号語生成手段と
   を備えたことを特徴とする画像符号化装置。
2. 前記分割手段により分割されたブロックの深度値を量子化する深度量子化手段をさらに備えたことを特徴とする請求項１に記載の画像符号化装置。
3. 前記描画形式は、２つの深度値を含み、深度値の境界のみを規定することを特徴とする請求項１または２に記載の画像符号化装置。
4. 前記選択手段は、複写形式の中から１つ、あるいは描画形式の中から１つ、あるいは複写形式１つと描画形式１つの組み合わせを１つのいずれかを選択することを特徴とする請求項１から３のいずれかに記載の画像符号化装置。
5. 前記２つのうち１つの深度値を、符号化対象ブロック周囲の符号化済みブロックを構成する画素群から決定することを特徴とする請求項３に記載の画像符号化装置。
6. 前記符号化対象ブロック周囲の符号化済みブロックを構成する画素群から決定する深度値は、予め描画形式ごとに規定する画素位置から決定することを特徴とする請求項５に記載の画像符号化装置。
7. 前記符号化対象ブロック周囲の符号化済みブロックを構成する画素群から決定する深度値を、描画形式に含まれる２つの領域のいずれかに適用するかについて、各描画形式ごとに予め規定することを特徴とする請求項５に記載の画像符号化装置。
8. 前記描画形式に用いて蓄積される深度値は、符号化対象ブロックに含まれる全ての深度値を用いて近似したときに、入力ブロックとの歪みが最も小さくなる深度値とすることを特徴とする請求項５に記載の画像符号化装置。
9. 複写形式１つと描画形式１つの組み合わせ方法は、各複写形式に基づいて近似ブロックを作成し、各描画形式に含まれる２つの領域のうち、周囲の画素群から採用する方の領域とは逆の領域のみを前記近似ブロックに上書きすることによって得ることを特徴とする請求項４に記載の画像符号化装置。
10. 前記選択手段は、符号化対象ブロックの全画素に対し、入力ブロックとの歪みを最小とするものを選択することを特徴とする請求項１から９のいずれかに記載の画像符号化装置。
11. 前記選択手段は、符号化対象ブロックの全画素に対し、入力ブロックとの歪みを、ブロックの端に近付くほど重み付けし、その重み付けした歪みを最小とするものを選択することを特徴とする請求項１から９のいずれかに記載の画像符号化装置。
12. 前記選択手段は、符号化対象ブロックの全画素に対し、入力ブロックとの歪みを、ブロックの最下行および右端列のみ重み付けし、その重み付けした歪みを最小少とするものを選択することを特徴とする請求項１から９のいずれかに記載の画像符号化装置。
13. 前記選択手段は、複写形式の中から１つ、あるいは複写形式の中から２つ、あるいは描画形式の中から１つ、あるいは複写形式１つと描画形式１つの組み合わせを１つ、のいずれかを選択することを特徴とする、請求項１から３のいずれかに記載の画像符号化装置。
14. 前記複写形式の中からの２つの選択は、その複写の順序を伴い、先に１つめの複写形式で複写した後、２つめの複写形式を、複写に用いる画素群のうち、それぞれが保持する深度値とは異なる深度値と接している画素群のみを、２つめの複写形式に対して用い、上書きすることを特徴とする請求項１３に記載の画像符号化装置。
15. 前記深度値量子化手段は、前記距離画像と対をなすテクスチャ画像の符号化の際に用いる量子化パラメータと対応づけられることを特徴とする請求項２に記載の画像符号化装置。
16. 請求項１から１５のいずれかに記載された画像符号化装置により符号化された符号化距離画像を復号する画像復号装置であって、
    受信した前記符号化距離画像の符号語を解析する解析手段と、
    前記解析手段により解析して得られた深度値群を保持する保持手段と、
    前記解析手段により解析して得られた形式の識別情報と、前記深度群に基づき、所定の複写形式ま所定の描画形式を用いてブロック毎に前記距離画像を復元する復号手段と
    を備えたことを特徴とする画像復号装置。
17. コンピュータを請求項１から１５のいずれかに記載の画像符号化装置として機能させることを特徴とする画像符号化プログラム。
18. コンピュータを請求項１６に記載の画像復号装置として機能させることを特徴とする画像復号プログラム。
19. 距離画像の符号化データであって、画像の各ブロックに対し、ブロック周囲の符号化済み画素群を予め設定した複写形式に従って複写することによりそのブロックを近似し、あるいは予め用意した描画形式を用いることによってそのブロックを近似し、これら複写形式と描画形式から１つの形式を選択し、描画形式を選択した場合には、それに用いた深度値を蓄積し、選択した形式の番号および蓄積した深度値の情報に基づいて符号化したことを特徴とする符号化データ。