JPH09275578A - 多視点画像符号化装置および復号装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像高能率符号化及び復号において、特に動
き補償あるいは視差補償予測を用いた多視点画像の高能
率符号化及び復号装置に関するものである。従来の方法
では、視差補償を行う際に視差のある部分と視差のない
部分全てに対して視差補償を行なうので、効率がよくな
い。 【解決手段】 本発明では、視差補償手段で求められた
視差ベクトルのうちの１つをグローバル視差ベクトルと
し、残りの視差ベクトルからグローバル視差ベクトルを
引いたものをローカル視差ベクトルとして出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像高能率符号化及
び復号において、特に動き補償あるいは視差補償予測を
用いた多視点画像の高能率符号化及び復号装置に関する
ものである。

【０００２】

【従来の技術】多視点画像の符号化において、動画像符
号化の際に一般的に用いられている動き補償と、視点の
異る画像間に対し視差補償を組み合わせて符号化するこ
とにより、符号化効率を向上させる方式がよく知られて
いる。例えば文献（Ｗ．Ａ．シュップ，安田，“視差補
償および動き補償を用いたステレオ動画像のデータ圧
縮”，PCSJ88(1988)，pp.63-64）によれば、図１１に示
すように、右画像に対しては動き補償のみを行なう。左
画像に対しては視差補償と動き補償のうち、予測誤差が
より少ない方の補償方法を選択し、符号化するという方
式である。

【０００３】また、動画像の符号化においてブロックマ
ッチングによる動き補償を行なう際に、ブロックの大き
さを変えて動きベクトルを求める例が、特開平６−１１
３２８３号公報に開示されている。この方式では、図１
２に示すようにまず小ブロック７１を用いて動き補償を
行ない、小ブロック７１に対する動きベクトル（以降、
小ブロックベクトルと略す）を求める。それらの小ブロ
ック７１を複数個集めて大ブロックとし、動き補償を行
ない、大ブロックに対する動きベクトル（以降、大ブロ
ックベクトルと略す）を求める。

【０００４】大ブロック７０を４つの小ブロックにより
構成したとすると、小ブロックベクトルが大ブロックベ
クトルに対して予め決められた範囲内に存在し、そこに
存在する小ブロックベクトルの数が所定の閾値を越えた
場合、大ブロックベクトルと、小ブロックベクトルと大
ブロックベクトルの差分を伝送することにより動きベク
トルの情報量を低減する。

【０００５】

【発明が解決しようとする課題】しかしながら従来の方
法では、視差補償を行う際に視差のある部分と視差のな
い部分全てに対して視差補償を行なうので、効率がよく
ない。しかも求まった視差ベクトルの大きさは通常、動
き補償において求まる動きベクトルの大きさよりも大き
くなることが多く、それをそのままの大きさで符号化す
るため、視差ベクトルの符号化効率がよくないという問
題点がある。

【０００６】またこの方式では、動き補償を用いるか視
差補償を用いるかが選択的に決定されるので視差ベクト
ルが必ず伝送されるわけではない。従って、複数の物体
が立体表示されるときに、一部の物体の奥行きだけを変
える等の編集を行うことができない。

【０００７】一方、動画像の符号化を大ブロックと小ブ
ロックの２種類の動きベクトルにより符号化する方法で
は、画面全体にわたって２段階の探索をする必要がある
ため計算量が莫大になる。また、大ブロックは複数の小
ブロックにより構成されているため、信頼度の異なる２
種類のベクトル及びその差分を求めているに過ぎず、そ
れらのベクトル間に物理的な意味の相違はない。さら
に、この２種類の動きベクトルに異なる作用をもたせる
ことができないため、部品画像編集に利用することは難
しい。

【０００８】本発明の目的は、多視点画像の符号化にお
いて動き補償及び視差補償予測を用いることにより高効
率の符号化を実現しながら、視差ベクトルを２段階に分
けることにより視差ベクトルの符号化効率を向上させる
とともに、視差ベクトルを求める際の計算量を低減さ
せ、２段階に分けた視差ベクトルを利用して立体部品画
像の編集を簡単に行うことができる視差補償符号化及び
復号装置を提供することにある。

【０００９】

【課題を解決するための手段】本発明の符号化装置は上
記目的を達成するために、多視点立体画像を少なくとも
１つの視差のある部品画像と、少なくとも１つの視差の
ない背景画像に分けて入力する入力手段と、部品画像の
フレームあるいはフィールド間の動き量を用いて動き補
償予測を行う動き補償手段と、部品画像のフレームある
いはフィールド間の視差量を用いて視差補償予測を行う
視差補償手段と、視差ベクトル分割手段とを各部品画像
毎に備える多視点符号化装置であって、前記視差ベクト
ル分割手段は、前記視差補償手段で求められた視差ベク
トルのうちの１つをグローバル視差ベクトルとし、残り
の視差ベクトルからグローバル視差ベクトルを引いたも
のをローカル視差ベクトルとして出力することを特徴と
する。

【００１０】また本発明の符号化装置では、３視点以上
の多視点立体画像を少なくとも１つの視差のある部品画
像と、少なくとも１つの視差のない背景画像に分けて入
力する入力手段と、部品画像のフレームあるいはフィー
ルド間の動き量を用いて動き補償予測を行う動き補償手
段と、部品画像のフレームあるいはフィールド間の視差
量を用いて視差補償予測を行う視差補償手段とを各部品
画像毎に備えるとともに、各部品画像毎に１つの視差ベ
クトル分割手段と少なくとも１つの差分器を備える多視
点符号化装置であって、前記視差ベクトル分割手段は、
特定の視点間において求められた視差ベクトルのうちの
１つをグローバル視差ベクトルとし、残りの視差ベクト
ルからグローバル視差ベクトルを引いたものをローカル
視差ベクトルとして出力するとともに、前記差分器は、
他の視点間において求められたすべての視差ベクトルと
前記グローバル視差ベクトルとの差分を出力することを
特徴とする。

【００１１】また本発明では、グローバル視差ベクトル
として立体部品画像内の全ての視差ベクトルの平均を用
いてもよい。

【００１２】また本発明では、グローバル視差ベクトル
として立体部品画像内で最初に求めた視差ベクトルを用
いてもよい。

【００１３】また本発明では、グローバル視差ベクトル
として立体部品画像内の視差ベクトルの大きさをヒスト
グラムにして、最も発生頻度の多い視差ベクトルを用い
てもよい。

【００１４】また本発明では、現フレームあるいはフィ
ールドのグローバル視差ベクトルとして、現フレームあ
るいはフィールドのグローバル視差ベクトルと直前のフ
レームあるいはフィールドのグローバル視差ベクトルの
差分を用いてもよい。

【００１５】また本発明では、ローカル視差ベクトルと
して、直前に求めたローカル視差ベクトルとの差分を用
いてもよい。

【００１６】また本発明の復号装置では、多視点立体画
像のフレームあるいはフィールド間の動き量及び視差量
を用いて、動き補償を行う動き補償手段及び視差補償を
行う視差補償手段とを備える多視点画像復号装置におい
て、入力されたグローバル視差ベクトルと前記ローカル
視差ベクトルを用いて前記視差ベクトルを視差補償手段
に出力する視差ベクトル合成手段と、奥行き方向の移動
パラメータを画像編集手段に出力するパラメータ入力手
段と、入力されたパラメータを用いて立体部品画像の奥
行きを変化させて画像合成手段に出力する画像編集手段
と、入力された背景画像と立体部品画像を合成する画像
合成手段を備えることを特徴とする。

【００１７】また本発明では、前記画像編集手段は、前
記グローバル視差ベクトルが小さい立体部品画像から順
に出力し、前記画像合成手段は、背景画像が入力された
後に順次入力される立体部品画像を背景画像上に上書き
することにより画像を合成するようにしてもよい。

【００１８】

【発明の実施の形態】以下、本発明の実施の形態につい
て詳細に説明する。

【００１９】図１に本発明の画像符号化装置の第１の実
施の形態を示す。本実施の形態は２眼式の例であり、こ
の画像符号化装置に入力する画像は、視差のない背景画
像と視差のある立体部品画像とする。背景画像と立体部
品画像はどちらも静止画像と動画像のいずれであっても
よいが、ここでは両者とも動画像であるものとする。

【００２０】ここで立体部品画像とは、例えば図２に示
すように、２台のカメラを平行に配置して撮影したステ
レオ画像２を切り出し装置３に入力し、注視物体だけを
切り出したものを示す。また、図２の画像入力部５にお
けるＶＯＰ(Video Object Plane)とは、複数の部品画像
によって合成画像を形成する場合の１つ１つの構成要素
を意味し、通常、形状データとテクスチャデータにより
構成されるが、ここでは説明を簡単にするために任意形
状の領域に分割された部品画像としてとり扱う。立体部
品画像ｏｂｊ_n（ｎ＝１，２，…によって異なる部品を
区別する）は視点数と同じ数のＶＯＰ_mn（ｍ＝１，２，
…によって異なる視点を区別し、２眼式の場合はｍ＝
１，２となる）に分離されており、ＶＯＰ₀を背景画像
１とする。このとき２台のカメラ間隔は人の目と同じと
してもよい。また２台のカメラは平行に配置されてお
り、かつ上下方向のズレや歪みがないように調整されて
いるので、切り出し装置から切り出された画像の視差は
垂直成分はなく、水平成分のみをもつものとする。

【００２１】まず、図１を用いて背景画像の符号化方法
を説明する。動画像の符号化において、符号化の単位を
ブロック（例えば１６×１６画素で構成される）として
符号化するブロックマッチングを用いた動き補償予測符
号化という方法が一般的によく知られている。本実施の
形態において、背景画像の符号化方法はこのブロックマ
ッチングを用いた動き補償予測符号化の方法と同じであ
る。例えば背景画像ＶＯＰ₀は、動き補償部６により前
フレームあるいはフィールドの復号画像を用いて動き補
償され、検出された動きベクトルが可変長符号化部１０
に伝送される。

【００２２】その後減算器７で背景画像ＶＯＰ₀と動き
補償された画像の差分がとられ、その差分データが変換
部８と量子化部９を通って、可変長符号化部１０に伝送
される。またこの差分データは、可変長符号化部１０に
入力されるとともに、逆量子化部１１と逆変換部１２を
通り、加算器１３で動き補償された画像が加算され、背
景画像ＶＯＰ₀の復号画像がフレームメモリ１４に蓄え
られる。これ以降は、次の入力に対して、この繰り返し
で符号化される。

【００２３】次に立体部品画像の符号化について説明す
る。立体部品画像ｏｂｊ₁を符号化する順序を図３を用
いて説明する。符号化は以下の（ａ）〜（ｄ）の手順で
行なわれる。

【００２４】（ａ）立体部品画像ｏｂｊ₁の左目用の部
品画像４３はフレームあるいはフィールド内で符号化を
行なう。

【００２５】（ｂ）部品画像４３の復号画像を用いた視
差補償により、右目用の部品画像４４に対してフレーム
あるいはフィールド間符号化を行なう。

【００２６】（ｃ）部品画像４５は部品画像４３の復号
画像を用いた動き補償によりフレームあるいはフィール
ド間符号化を行なう。

【００２７】（ｄ）部品画像４５の復号画像を用いた視
差補償により、右目用の部品画像４６はフレームあるい
はフィールド間符号化を行なう。

【００２８】すなわち左目用画像は動き補償で符号化さ
れ、右目用画像は同時刻の左目用画像を用いた視差補償
で符号化される。以降（ｃ）、（ｄ）の手順を繰り返し
て符号化は行なわれる。ただし（ｃ）、（ｄ）の手順を
繰り返して符号化するとき、予測誤差の伝搬を防ぐため
に（ｃ）、（ｄ）の手順の代わりに（ａ）、（ｂ）の手
順による符号化を、一定の周期で行なってもよい。

【００２９】図１において、立体部品画像ｏｂｊ₁を構
成する左目用画像ＶＯＰ₁₁は、背景画像の符号化のとき
と同様の方式で符号化を行なう。同じく立体部品画像ｏ
ｂｊ₁を構成する右目用画像ＶＯＰ₂₁は、左目用画像Ｖ
ＯＰ₁₁の復号画像を用いてブロックマッチングによる視
差補償を行ない、符号化する。このとき、視差補償部１
６に右目用画像ＶＯＰ₂₁と、加算器１５からの左目用画
像ＶＯＰ₁₁の復号画像が入力され、視差ベクトルが求ま
る。

【００３０】視差ベクトルの求め方は、図４に示すよう
に左目用の部品画像３１と右目用の部品画像３２を画像
３３のように同一平面上に重ねて、注目ブロックに対し
てマッチングを行なうことにより行う。従って１つのブ
ロックに対して１つの視差ベクトルが求まる。求まった
視差ベクトルは視差ベクトル分割器１７に入力され、１
つのグローバル視差ベクトルと、それぞれの視差ベクト
ルからグローバル視差ベクトルを引いた、ローカル視差
ベクトルに分けられる。

【００３１】つまり立体部品画像内において、グローバ
ル視差ベクトルは１個の所定のブロックの視差を表し、
ローカル視差ベクトルはそれ以外のブロックの視差から
グローバル視差ベクトルを引いたものとなる。例えば、
図５のように視差ベクトルｖ₁をグローバル視差ベクト
ルＧＶとすると、視差ベクトルｖ₂からグローバル視差
ベクトルＧＶ引いたものがローカル視差ベクトルＬＶ₂
となり、視差ベクトルｖ₂はＧＶ＋ＬＶ₂として表すこと
ができる。

【００３２】よって、ｋ（ｋ＝１，２，…）本の視差ベ
クトルは１本のグローバル視差ベクトルとｋ−１本のロ
ーカル視差ベクトルで表すことができる。このときグロ
ーバル視差ベクトルは３次元空間における立体部品画像
の奥行き（存在位置）に対応し、ローカル視差ベクトル
は立体部品画像内での局所的な奥行き分布（立体形状）
に対応する。

【００３３】このとき、全ての視差ベクトルの平均をグ
ローバル視差ベクトルとすることによって、ローカル視
差ベクトルの情報量を低減することができる。また最初
に求めた視差ベクトルをグローバル視差ベクトルとして
もよく、これによりグローバル視差ベクトルを選択する
際の計算量が低減される。さらに視差ベクトルの大きさ
をヒストグラムにして、最も発生頻度の多い視差ベクト
ルをグローバル視差ベクトルとすることによって、３次
元空間における立体部品画像の存在位置を適切に表現す
ることができる。

【００３４】一般的に視差ベクトルをｋ本もつことに比
べ、グローバル視差ベクトルを１本と、値の小さなｋ−
１本のローカル視差ベクトルをもつ方が視差ベクトルの
情報量を低減することができる。

【００３５】また立体画像において、立体画像内の隣接
ブロック間における視差量の変化は少ないが、立体画像
内に複数の物体が存在し、それらの物体が部品化されて
いない場合、異なる物体が重なり合う部分における視差
は急激に変化することがある。本発明では立体部品画像
を用いて部品毎に符号化を行うため、１つの立体部品画
像内においてはこのような視差の急激な変化は起こらな
い。よって隣合うブロックのローカル視差ベクトルで差
分をとることにより、ローカル視差ベクトルの情報量を
さらに削減することができる。

【００３６】これらのベクトルは図１の可変長符号化部
１０に伝送される。減算器１８で、右目用画像ＶＯＰ₂₁
と視差補償された画像との差分がとられ、変換部１９と
量子化部２０を通り、可変長符号化部１０に伝送され
る。以下、次の入力に対して、この繰り返しで符号化さ
れる。他の立体部品画像についても同様の方式で符号化
される。可変長符号化部１０に伝送されたデータはそこ
で可変長符号化され、多重化部２１で多重化される。

【００３７】ここでは１つの背景画像とｎ個の立体部品
画像を符号化したが、背景画像は１つに限らず複数でも
構わない。また図３において、時間方向にはグローバル
視差ベクトルはそれほど急激に変わらないので、現在の
グローバル視差ベクトル（例えば左目用画像４５と右目
用画像４６で求められたグローバル視差ベクトル）と１
フレームあるいはフィールド前のグローバル視差ベクト
ル（例えば左目用画像４３と右目用画像４４で求められ
たグローバル視差ベクトル）の差分をとることによりグ
ローバル視差ベクトルの情報量を削減することができ
る。

【００３８】本実施の形態では２眼式の立体部品画像の
符号化について述べたが、多視点立体部品画像において
も同様に符号化できる。

【００３９】次に本発明における第２の実施の形態につ
いて説明する。本実施の形態は第１の実施の形態の符号
化装置を、多視点立体画像にも対応できるようにしたも
のである。このとき背景画像は、第１の実施の形態と同
じ方法で符号化する。

【００４０】図６に本発明の画像符号化装置の第２の実
施の形態を示す。図６における入力画像は、多視点画像
ＶＯＰ_mn（ｍ＝１，２，…、ｎ＝１，２，…）である。
画像ＶＯＰ₁₁と画像ＶＯＰ₂₁は、図１の画像ＶＯＰ₁₁と
画像ＶＯＰ₁₂のときと同じようにそれぞれ符号化する。
復号された画像ＶＯＰ₂₁は加算器５１から出力されて、
視差補償部５３に入力される。さらに画像ＶＯＰ₁₁と画
像ＶＯＰ₂₁を用いて求めたグローバル視差ベクトルが、
視差補償部５３に入力される。

【００４１】視差補償部５３では、ＶＯＰ₂₁の復号画像
を用いて入力画像ＶＯＰ₃₁の視差補償を行ない、視差ベ
クトルを求める。求めた視差ベクトルと画像ＶＯＰ₁₁と
画像ＶＯＰ₂₁を用いて求めたグローバル視差ベクトルが
差分器５４に入力され、それらの差分がローカル視差ベ
クトルとして出力される。すなわち、ここでは新たにグ
ローバル視差ベクトルを求める必要がない。

【００４２】ここで多視点画像であってもグローバル視
差を共通にできることについて説明する。説明を簡略化
するために３視点をもつ立体部品画像について説明す
る。

【００４３】例えば図７に示すように、原点をＯ₁、ｘ
軸を水平方向、ｚ軸を奥行き方向とした座標系をとる。
この座標上にカメラ群Ｃ_m（ｍ＝１，２，３）をそれぞ
れａの間隔で光軸がｚ軸と平行になるように、点Ｏ
_m（ｍ＝１，２，３）の位置に配置する。第１の実施の
形態と同様に、カメラは上下方向のズレや歪みがないよ
うに調整されているものとする。

【００４４】また点Ａ₀を立体部品画像ｏｂｊ₁の代表点
とし、点Ａ₀と点Ｏ_mを結び、カメラの仮想画像面（カメ
ラにより撮影された画像面を示す）と交差する点をそれ
ぞれＡ_m（ｍ＝１，２，３）とする。点Ｏ_mを通り、ｚ軸
に平行に伸ばした直線がカメラの仮想画像面と交わる点
をそれぞれＱ_m（ｍ＝１，２，３）とする。これらの点
Ｑ_m は各カメラによる画像の中心点を表す。

【００４５】ここでＡ₁、Ａ₂、Ａ₃のｘ座標をそれぞれ
ｘ₁、ｘ₂、ｘ₃とする。カメラの仮想画像面とｘ軸は平
行ゆえ、｜Ａ₁Ａ₂｜と｜Ａ₂Ａ₃｜は等しくなる。これと
ｘ₁＜ｘ₂＜ｘ₃より、 ｘ₁−ｘ₂ ＝ ｘ₂−ｘ₃ （１） となる。

【００４６】また、カメラＣ₁とＣ₂における視差ベクト
ルｄ₁は水平成分しかもたないことから、１次元ベクト
ルであり、ベクトルＱ₁Ａ₁からベクトルＱ₂Ａ₂を引いた
ものとなるので、 ｄ₁ ＝ ｘ₁ − （ｘ₂−ａ₁） （２） となる。

【００４７】次にカメラＣ₂とＣ₃における視差ベクトル
ｄ₂は、ベクトルＱ₃Ａ₃からベクトルＱ₁Ａ₂を引いたも
のとなり、 ｄ₂ ＝ ｘ₂ − （ｘ₃−ａ） （３） となる。

【００４８】よって式（１）〜式（３）より、 ｄ₁ ＝ ｄ₂ （４） となる。このように隣合うカメラ間の代表点における視
差ベクトルは全て等しくなる。このことは３視点の立体
画像に限らず、３以外の視点数の場合も同様である。

【００４９】従って本方式では、グローバル視差ベクト
ルは代表点における視差ベクトルとみなすことができる
ので、視点数がいくつであってもグローバル視差ベクト
ルは１つもてばよく、多視点画像において視差ベクトル
を求める際の計算量及び、視差ベクトル自体の情報量が
削減できる。

【００５０】ゆえに、図６において、差分器５４から出
力される値は、視差補償部５３から出力された視差ベク
トルからＶＯＰ₁₁とＶＯＰ₂₁の間で求めたグローバル視
差ベクトルを引いたローカル視差ベクトルとすることが
できる。図６における他のＶＯＰについても同様に符号
化される。

【００５１】次に本発明における第３の実施の形態につ
いて説明する。

【００５２】図８に本実施の形態の画像復号装置を示
す。本実施の形態の復号装置は図１の符号化装置を用い
て符号化されたデータを復号するためのものである。背
景画像と立体部品画像ｏｂｊ₁を構成する左目用画像Ｖ
ＯＰ₁₁の復号方法は、一般的なブロックマッチングを用
いた動き補償予測復号と同じ方法である。立体部品画像
ｏｂｊ₁を構成する右目用画像ＶＯＰ₂₁に対しては、左
目用画像ＶＯＰ₁₁の復号画像を用いて視差補償を行な
い、復号する。

【００５３】グローバル視差ベクトルとローカル視差ベ
クトルは視差ベクトル合成器８１に入力され、通常の視
差ベクトルが合成される。画像編集部８０には、パラメ
ータ入力部８２より部品画像を画像面に対して平行に動
かすときに用いる移動量と、部品画像を画像面に対して
垂直に動かすときに用いるグローバル視差ベクトルの変
化量が編集用の値として入力される。画像編集部８０に
は、復号された立体部品画像とグローバル視差ベクト
ル、及びグローバル視差ベクトルをもつ代表ブロックの
位置情報も入力される。画像編集部８０は、これらの入
力値を用いて立体部品画像の編集を行う。復号された背
景画像と編集後の部品画像は画像合成部８３で１つの画
像に合成される。

【００５４】グローバル視差ベクトルは３次元空間にお
ける立体部品画像の奥行き（存在位置）に対応するた
め、より大きいグローバル視差ベクトルをもつ部品画像
は奥行き方向に関してカメラにより近い位置に存在す
る。画像編集部８０では、そのグローバル視差ベクトル
が、小さい立体部品画像から順に出力される。また、画
像合成部８３には、まず背景画像が入力され、順次入力
された立体部品画像を背景画像上に上書きする。これに
より、最初に入力した左右の各画像の上に、複数の部品
画像が重なる場合は、奥行き方向のより手前の部品画像
が上に書かれることになる。このようにグローバル視差
ベクトルを用いることにより、立体部品画像を合成する
際に部品画像の重なりを正しく表現することができる。

【００５５】まず、ｘ方向の移動パラメータを入力する
ことにより、立体部品画像を水平方向に平行移動する場
合について説明する。

【００５６】図９において、原点をＯ₁、水平方向をｘ
軸、奥行き方向をｚ軸とする座標系をとる。この座標上
にカメラＬとＲをそれぞれａの間隔で光軸がｚ軸と平行
になるように、点Ｏ_m（ｍ＝１，２）の位置に配置す
る。また点Ａ₀（ｘ_A，ｚ_A）を立体部品画像ｏｂｊ₁の代
表点とし、点Ａ₀と点Ｏ_mを結び、カメラの仮想画像面と
交差する点をそれぞれＡ_m（ｍ＝１，２）とする。

【００５７】点Ｏ_mを通り、ｚ軸に平行に伸ばした直線
がカメラの仮想画像面と交わる点をそれぞれＱ_m（ｍ＝
１，２）とする。これらの点Ｑ_mは各カメラによる画像
の中心点を表す。さらにカメラの仮想画像面からｘ軸ま
での距離をｗとし、ｚ＝ｚ_A平面がカメラＬの光軸と交
わる点をＳ₁、カメラＲの光軸と交わる点をＳ₂（ａ，ｚ
_a）とする。ここでＡ₁、Ａ₂の座標をそれぞれ（ｘ_a1，
ｗ）、（ｘ_a2，ｗ）とすると、１次元ベクトルＱ₁Ａ₁、
Ｑ₂Ａ₂はそれぞれｘ_a1、ｘ_a2−ａとなる。ここで、△Ｏ
₁Ａ₀Ｓ₁∽△Ｏ₁Ａ₁Ｑ₁かつ△Ｏ₂Ａ₀Ｓ₂∽△Ｏ₂Ａ₂Ｑ₂よ
り、 ｚ_A／ｗ ＝ ｘ_A／ｘ_a1 ＝ （ｘ_A−ａ）／（ｘ_a2−ａ） （５） という関係があることから、点Ａ₀のｘ座標ｘ_Aは、 ｘ_A ＝ ａ×ｘ_a1／（ｘ_a1−ｘ_a2＋ａ） ＝ ａ×ｘ_a1／ｄ_A （６） と表される。ｄ_Aは物体１００のもつグローバル視差ベ
クトルを表し、 ｄ_A ＝ ｘ_a1 −（ｘ_a2−ａ） （７） である。

【００５８】ここで、左画像面上の立体部品画像のｘ方
向移動量を、平行方向の移動パラメータＰ_xで表したと
する。パラメータＰ_xを入力とすることにより、物体１
００は物体１０１の位置に平行移動したとすると、物体
１００の代表点Ａ₀（ｘ_A，ｚ_A）は点Ｂ₀（ｘ_B，ｚ_A）
に、点Ａ₁は点Ｂ₁（ｘ_a1＋Ｐ_x，ｗ）に平行移動する。
ここで物体１０１の代表点Ｂ₀と点Ｏ₂を結んだ線分がカ
メラの仮想画像面と交わる点を点Ｂ₂（ｘ_b2，ｗ）とす
ると、△Ｏ₁Ｏ₂Ａ₀∽△Ａ₁Ａ₂Ａ₀かつ△Ｏ₁Ｏ₂Ｂ₀∽△
Ｂ₁Ｂ₂Ｂ₀より、 ｚ_A／(ｚ_A−ｗ) ＝ ａ／(ｘ_a2−ｘ_a1) ＝ ａ／(ｘ_b2−ｘ_a1−Ｐ_x) （８） という関係があることから、物体１００の代表点Ａ₀が
物体１０１の代表点Ｂ₀に移動したときの右画像面上に
おける移動量ｘ_b2−ｘ_a2は、 ｘ_b2−ｘ_a2＝Ｐ_x （９） となる。

【００５９】よって、物体１００の代表点Ａ₀ が物体１
０１の代表点Ｂ₀に移動したときの左右の両画像面上に
おける移動量はＰ_xに等しい。このとき、式（６）、式
（７）と同様にして、点Ｂ₀のｘ座標ｘ_Bは、 ｘ_B ＝ ａ×（ｘ_a1＋Ｐ_x）／ｄ_B （１０） となる。

【００６０】ｄ_Bは物体１０１のもつグローバル視差ベ
クトルを表し、 ｄ_B ＝ （ｘ_a1＋Ｐ_x）−（ｘ_b2−ａ） （１１） である。

【００６１】式（７）、式（９）、式（１１）より、 ｄ_A ＝ ｄ_B （１２） となり、グローバル視差ベクトルｄ_Aとｄ_Bは等しくな
る。

【００６２】このとき式（６）、式（１０）、式（１
２）より、 ｘ_B−ｘ_A ＝ Ｐ_x／ｘ_a1×ｘ_A （１３） となる。よって物体を水平方向に移動する際は、以下の
１）、２）の手順で行なえばよい。

【００６３】１）ｘ方向の移動パラメータＰ_xを入力
し、左画像上で物体１００の代表点Ａ₀のｘ座標ｘ
_a1を、左画像上の代表点Ｂ₀のｘ座標ｘ_a1＋Ｐ_xの位置に
平行に動かす。

【００６４】２）右画像上で、物体１００の代表点Ａ₀
のｘ座標ｘ_a2を、左画像上の代表点Ｂ₀のｘ座標ｘ_a2＋
Ｐ_xの位置に平行に動かす。

【００６５】この結果、物体１００は物体１０１の位置
に移動し、このときの３次元空間内での移動量は式（１
３）よりＰ_x／ｘ_a1×ｘ_Aとなる。

【００６６】次に、ｚ方向の移動パラメータを入力する
ことにより、立体部品画像を奥行き方向（画像面に対し
て垂直方向）に移動する場合について図１０を用いて説
明する。ただし、図１０で用いる座標系及び物体１００
の配置は図９と同じである。ｚ方向の移動パラメータＰ
_zによって、移動後のカメラと物体の距離が移動前の距
離のＰ_z倍になるとする。図１０において、パラメータ
Ｐ_zを入力し、物体１００が点Ｏ₁と点Ａ₀を通る直線上
にある物体１０２の位置に移動したとすると、物体１０
０の代表点Ａ₀（ｘ_A，ｚ_A）は点Ｃ₀（ｘ_C，ｚ_C）に移動
するが、点Ａ₁は動かない。このとき、 ｚ_C ＝ Ｐ_z×ｚ_A （１４） となる。点Ｏ₂と点Ｃ₀を結んだ線分がカメラの仮想画像
面と交わる点をＣ₂、ｚ＝ｚ_Cの平面とｚ軸が交わる点を
Ｔ₁とする。Ｃ₂の座標をそれぞれ（ｘ_c2，ｗ）とし、物
体１００の点Ａ₀を点Ｏ₁と点Ａ₀を通る直線上で移動し
た後の点Ｃ₀のグローバル視差ベクトルをｄ_Cとする。

【００６７】またｘ_Cは、式（６）を求めるときと同様
にして、 ｘ_C ＝ ａ×ｘ_a1／ｄ_C （１５） となる。ここに ｄ_C ＝ （ｘ_a1 − ｘ_c2 ＋ ａ） （１６） である。△Ｏ₁Ａ₀Ｓ₁∽△Ｏ₁Ｃ₀Ｔ₁より、 ｘ_C／ｘ_A ＝ ｚ_C／ｚ_A （１７） という関係があることから、式（１７）に式（６）と式
（１５）を代入してｚ_Cを求めると、 ｚ_C ＝ （ｄ_A／ｄ_C）×ｚ_A （１８） となる。

【００６８】よって式（１４）と式（１７）よりグロー
バル視差ベクトルｄ_C、点Ｃ₀のｘ座標ｘ_C及び点Ｃ₂の座
標ｘ_c2は、 ｄ_C ＝ ｄ_A／Ｐ_z （１９） ｘ_C ＝ Ｐ_z×ａ×ｘ_a1／ｄ_A （２０） ｘ_c2 ＝ ｘ_a1＋ａ − ｄ_A／Ｐ_z （２１） となる。よって物体１００を物体１０２に動かす場合、
左画像上の物体１００の代表点Ａ₁は動かさず、右画像
上の点Ａ₂はｘ_c2−ｘ_a2だけ動かせばよい。

【００６９】ここで物体１０２を−（ｘ_C−ｘ_A）移動さ
せ、それを物体１０３とする。物体１０２の代表点Ｃ₀
の移動した点を物体１０３の代表点Ｄ₀とする。さらに
点Ｄ₀とＯ₁を結んだ直線がカメラの仮想画像面と交わる
点をＤ₁（ｘ_d1，ｗ）とする。点Ｄ₁のｘ座標ｘ_d1は、式
（６）、式（１９）より ｘ_d1 ＝ ｘ_a1／Ｐ_z （２２） となる。よって物体１０２を物体１０３に動かす場合、
左画像上では点Ｂ₁を、右画像上では点Ｂ₂をそれぞれｘ
_a1−ｘ_d1だけ動かせばよい。従って、物体１００を奥行
き方向（物体１０３の位置）に移動する場合、以下の
３）、４）の手順で行なう。

【００７０】３）ｚ方向の移動パラメータＰ_zを入力
し、式（１９）によりグローバル視差ｄ_Cを求め、立体
部品画像の左画像上の点Ａ１を水平方向に（ｘ_d1−
ｘ_a1）動かす。

【００７１】４）式（２１）及び式（２２）より、ｘ_c2
とｘ_d1の値を求め、立体部品画像の右画像上の点Ａ₂を
（ｘ_c2−ｘ_a2＋ｘ_a1−ｘ_d1）動かす。

【００７２】ゆえに視差ベクトルをグローバル視差ベク
トルとローカル視差ベクトルの２段階にしてもつことに
より、ｚ方向の移動パラメータＰ_zを入力し、グローバ
ル視差ベクトルを変化させて、個々の部品画像の奥行き
方向の位置を簡単に変えることができる。また、水平方
向の移動（手順１），２））と奥行き方向の移動（手順
３），４））を組み合わせることにより、３次元空間内
の任意の位置に物体を移動させることができる。

【００７３】なお上下方向の移動に関しては視差は関係
がないので、単に画面上で平行移動すればよい。

【００７４】また本実施の形態では２眼式の立体部品画
像を用いたが、多視点立体部品画像においても同様であ
る。

【００７５】

【発明の効果】以上説明したように本発明の符号化装置
によれば、立体部品画像を符号化するときに用いるすべ
ての視差ベクトルに対して、そのうちの１本の視差ベク
トルをグローバル視差ベクトル（３次元空間における立
体部品画像の奥行きに対応）とし、このグローバル視差
ベクトルと他の視差ベクトルとの差分をとったものをロ
ーカル視差ベクトル（立体部品画像内での局所的な奥行
き分布に対応）として、視差ベクトルを２つに分けても
つことによって、視差ベクトルの情報量を低減すること
ができ、符号化効率を向上することができる。本発明に
おいては、グローバル視差ベクトルとローカル視差ベク
トルの２種類のベクトルを用いるが、これらを求める際
の検索は１回でよいので、２回検索する場合と比べて計
算量を削減することができる。

【００７６】本発明の符号化装置によれば、立体画像を
背景画像と立体部品画像に分けて符号化するとき、全て
の視点の画像に対して視差のない部分を１つの背景画像
として符号化することによって、背景画像の情報量が低
減でき、符号化の効率を向上することができる。

【００７７】本発明の符号化装置によれば、立体画像か
ら切り出した立体部品画像と背景画像に分けて符号化を
行なうことによって、立体画像内において急激な視差の
変化が生じることがなく、マッチングするときの信頼度
が向上し、また隣合う位置のローカル視差ベクトルの差
分をとることによりローカル視差ベクトルの情報量を低
減する場合でも、絶対量の大きいものが発生しない。

【００７８】本発明の符号化装置によれば、立体部品画
像内の全ての視差ベクトルの平均をグローバル視差ベク
トルとすることによって、ローカル視差ベクトルの情報
量を低減することができる。

【００７９】本発明の符号化装置によれば、立体部品画
像内において最初に求めた視差ベクトルをグローバル視
差ベクトルとすることによって、グローバル視差ベクト
ルを選択する際の計算量が低減される。

【００８０】本発明の符号化装置によれば、立体部品画
像内における視差ベクトルの大きさをヒストグラムにし
て、最も発生頻度の多い視差ベクトルをグローバル視差
ベクトルとすることによって、３次元空間における立体
部品画像の奥行きを適切に表現することができる。

【００８１】本発明の符号化装置によれば、現フレーム
あるいはフィールドのグローバル視差ベクトルと１つ前
のフレームあるいはフィールドのグローバル視差ベクト
ルの差分をとることによって、グローバル視差ベクトル
の情報量を減らすことができる。

【００８２】本発明の符号化装置によれば、空間方向に
関して、１つの多視点立体部品画像に対してグローバル
視差ベクトルは１つもてばよいので、グローバル視差ベ
クトルの計算量及び情報量が低減でき、符号化の効率を
向上することができる。

【００８３】本発明の復号装置において、多視点の各画
像を合成する際に複数の部品画像が重なる部分では、よ
り大きいグローバル視差をもつ部品画像を上書きするこ
とによって、重なりが正しく表現された多視点立体画像
を復号することができる。

【００８４】本発明の復号装置において、奥行き方向の
移動パラメータを入力し、立体部品画像のグローバル視
差ベクトルの値を変えることによって、簡単に任意の奥
行きをもつ立体部品画像を復号することができる。

【図面の簡単な説明】

【図１】本発明の一実施の形態であり、背景画像と複数
の立体部品画像を符号化する符号化装置の構成図であ
る。

【図２】カメラによる入力画像から立体部品画像を切り
出すことを説明する図である。

【図３】立体部品画像の符号化を行なう順序を説明する
図である。

【図４】視差ベクトルの算出例を説明する図である。

【図５】視差ベクトルをグローバル視差ベクトルとロー
カル視差ベクトルで表すことを説明する図である。

【図６】本発明の別の一実施の形態であり、多視点立体
部品画像を符号化するときの符号化装置の構成図であ
る。

【図７】多視点立体部品画像を符号化する際に、空間方
向に対しグローバル視差ベクトルを共通にもつことを説
明する図である。

【図８】本発明の一実施の形態であり、背景画像と複数
の立体部品画像を復号する復号装置の構成図である。

【図９】立体部品画像の平行移動を説明する図である。

【図１０】立体部品画像の奥行き方向の移動を説明する
図である。

【図１１】多視点画像の圧縮に関する従来例の説明図で
ある。

【図１２】２段階の動きベクトルを求める従来例の説明
図である。

【符号の説明】

１ 背景画像 ２ 原画像 ３ 切り出し装置 ４３，４４，４５，４６ 立体部品画像 ５ 画像入力部 ６ 動き補償部 ７，１８ 減算器 ８，１９ 変換部 ９，２０ 量子化部 １０ 可変長符号化部 １１ 逆量子化部 １２ 逆変換部 １３，１５，５１ 加算器 １４ フレームメモリ １６，５３ 視差補償部 １７，５２ 視差ベクトル分割器 ２１ 多重化部 ３１ 左目用立体部品画像 ３２ 右目用立体部品画像 ３３ 合成画像 ５４ 差分器 ６０ 比較器 ７０ 大ブロック ７１ 小ブロック ８０ 編集部 ８１ 視差ベクトル合成器 ８２ 外部入力部 ８３ 画像合成部 １００，１０１，１０２，１０３ 物体

Claims (9)

【特許請求の範囲】
1. 【請求項１】 多視点立体画像を少なくとも１つの視差
   のある部品画像と、少なくとも１つの視差のない背景画
   像に分けて入力する入力手段と、部品画像のフレームあ
   るいはフィールド間の動き量を用いて動き補償予測を行
   う動き補償手段と、部品画像のフレームあるいはフィー
   ルド間の視差量を用いて視差補償予測を行う視差補償手
   段と、視差ベクトル分割手段とを各部品画像毎に備える
   多視点符号化装置であって、前記視差ベクトル分割手段
   は、前記視差補償手段で求められた視差ベクトルのうち
   の１つをグローバル視差ベクトルとし、残りの視差ベク
   トルからグローバル視差ベクトルを引いたものをローカ
   ル視差ベクトルとして出力することを特徴とする多視点
   画像符号化装置。
2. 【請求項２】 ３視点以上の多視点立体画像を少なくと
   も１つの視差のある部品画像と、少なくとも１つの視差
   のない背景画像に分けて入力する入力手段と、部品画像
   のフレームあるいはフィールド間の動き量を用いて動き
   補償予測を行う動き補償手段と、部品画像のフレームあ
   るいはフィールド間の視差量を用いて視差補償予測を行
   う視差補償手段とを各部品画像毎に備えるとともに、各
   部品画像毎に１つの視差ベクトル分割手段と少なくとも
   １つの差分器を備える多視点符号化装置であって、前記
   視差ベクトル分割手段は、特定の視点間において求めら
   れた視差ベクトルのうちの１つをグローバル視差ベクト
   ルとし、残りの視差ベクトルからグローバル視差ベクト
   ルを引いたものをローカル視差ベクトルとして出力する
   とともに、前記差分器は、他の視点間において求められ
   たすべての視差ベクトルと前記グローバル視差ベクトル
   との差分を出力することを特徴とする多視点画像符号化
   装置。
3. 【請求項３】 請求項１または２記載の視差ベクトル分
   割手段は、グローバル視差ベクトルとして立体部品画像
   内の全ての視差ベクトルの平均を出力することを特徴と
   した多視点画像符号化装置。
4. 【請求項４】 請求項１または２記載の視差ベクトル分
   割手段は、グローバル視差ベクトルとして立体部品画像
   内で最初に求めた視差ベクトルを出力することを特徴と
   した多視点画像符号化装置。
5. 【請求項５】 請求項１または２記載の視差ベクトル分
   割手段は、グローバル視差ベクトルとして立体部品画像
   内の視差ベクトルの大きさをヒストグラムにして、最も
   発生頻度の多い視差ベクトルを出力することを特徴とし
   た多視点画像符号化装置。
6. 【請求項６】 請求項１または２記載の視差ベクトル分
   割手段は、現フレームあるいはフィールドのグローバル
   視差ベクトルとして、現フレームあるいはフィールドの
   グローバル視差ベクトルと直前のフレームあるいはフィ
   ールドのグローバル視差ベクトルの差分を出力すること
   を特徴とした多視点画像符号化装置。
7. 【請求項７】 請求項１または２記載の視差ベクトル分
   割手段は、ローカル視差ベクトルとして、直前に求めた
   ローカル視差ベクトルとの差分を出力することを特徴と
   した多視点画像符号化装置。
8. 【請求項８】 多視点立体画像のフレームあるいはフィ
   ールド間の動き量及び視差量を用いて、動き補償を行う
   動き補償手段及び視差補償を行う視差補償手段とを備え
   る多視点画像復号装置において、入力されたグローバル
   視差ベクトルと前記ローカル視差ベクトルを用いて前記
   視差ベクトルを視差補償手段に出力する視差ベクトル合
   成手段と、奥行き方向の移動パラメータを画像編集手段
   に出力するパラメータ入力手段と、入力されたパラメー
   タを用いて立体部品画像の奥行きを変化させて画像合成
   手段に出力する画像編集手段と、入力された背景画像と
   立体部品画像を合成する画像合成手段を備えることを特
   徴とした多視点画像復号装置。
9. 【請求項９】 請求項８の多視点画像復号装置におい
   て、前記画像編集手段は、前記グローバル視差ベクトル
   が小さい立体部品画像から順に出力し、前記画像合成手
   段は、背景画像が入力された後に順次入力される立体部
   品画像を背景画像上に上書きすることにより画像を合成
   することを特徴とした多視点画像復号装置。