JPH10191396A

JPH10191396A - 中間視点画像生成方法および視差推定方法および画像伝送方法

Info

Publication number: JPH10191396A
Application number: JP34697296A
Authority: JP
Inventors: Takeo Azuma; 健夫吾妻; Atsushi Morimura; 森村　　淳; Kenya Uomori; 謙也魚森
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1996-12-26
Filing date: 1996-12-26
Publication date: 1998-07-21
Anticipated expiration: 2016-12-26
Also published as: JP3769850B2

Abstract

(57)【要約】【課題】物体輪郭線近傍での視差の急激な変化（不連
続な変化）を精度よく推定する視差推定方法と、その視
差推定値を用いる中間視点画像の生成方法を提供するこ
と。【解決手段】画像のクラスタリング結果を用いて、初
期視差の信頼性が低い領域での視差を周囲の画素におけ
る視差から決定する視差推定を行うことにより、前景物
体の輪郭線と前景背景間の視差境界を一致させることが
でき、また、オクルージョンや物体輪郭線付近での視差
を周囲の背景視差もしくは前景視差から決定し、中間視
点画像中の物体輪郭を画質よく再現する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、立体映像表示方式
における中間視点画像の生成方法及び視差推定方法に関
するものである。

【０００２】

【従来の技術】従来、立体映像方式には様々なものが提
案されているが、特殊な眼鏡をかけることなく立体動画
像を複数人数で観察できる方式として、多眼式立体映像
方式が有望である。多眼式立体映像方式においては、使
用するカメラ台数および表示装置台数が多いほど、観察
者に対して自然な運動視差を感じさせることができ、ま
た、多人数での観察が容易になる。しかしながら、撮像
系の規模やカメラの光軸の設定等の制約により、実用的
に用いることができるカメラ台数には限度がある。ま
た、伝送、蓄積過程においては、カメラ台数に比例して
増大する情報量を低減することが望まれる。

【０００３】そこで、表示側において２眼式ステレオ画
像から中間視点画像を生成して多眼式立体画像を表示で
きれば、撮像系の負担を軽減し、伝送、蓄積時の情報量
を低減することができることになる。視点の異なる複数
の画像から、その異なる視点間の任意の視点で見えるべ
き中間視点画像を生成するためには、画像間で画素の対
応を求めて奥行きを推定する必要がある。

【０００４】

【発明が解決しようとする課題】画像間の対応づけにお
ける根本的な問題は、奥行きが不連続に変化する物体輪
郭線では、オクルージョンが生じるために対応を精度よ
く求めるのは困難なことである。しかし、この物体輪郭
線近傍での推定値は、生成された中間視点画像での物体
の輪郭位置を決定するため、中間視点画像の合成時には
非常に重要である。すなわち、視差推定時に物体輪郭線
近傍で推定誤差が生じると、前景領域の画素が背景側に
はりついたり、逆に背景領域の画素が前景にはりつき、
物体の輪郭線が乱れたり、物体輪郭線近傍の背景領域で
偽輪郭が生じることになる。

【０００５】本発明はかかる点に鑑み、物体輪郭線近傍
での視差の急激な変化（不連続な変化）を精度よく推定
する視差推定方法と、その視差推定値を用いる中間視点
画像の生成方法を提供することを目的とする。

【０００６】また、送信側と受信側の双方で上記中間視
点画像の生成を行うことによる、効率のよい多視点画像
伝送方法を提供することを目的とする。

【０００７】

【課題を解決するための手段】本発明は、１組の画像対
を入力し、初期視差と初期視差の信頼性とを計算し、初
期視差の信頼性が低い領域での視差を周囲の初期視差の
信頼性の高い領域の視差から決定する視差推定方法と、
その視差推定値を用いる中間視点画像生成方法である。

【０００８】また、本発明は、受信側と送信側の双方で
上記中間視点画像生成を行うことにより、多視点画像の
圧縮伝送を効率よく行う多視点画像伝送方法である。

【０００９】

【発明の実施の形態】

（第１の実施の形態）図１は、本発明の第１の実施の形
態における視差推定方法および中間視点画像生成方法の
ブロック図である。図１において、１Ｌ，１Ｒは視差推
定部、２は中間視点画像生成部、３Ｌ，３Ｒは初期視差
推定手段、４Ｌ，４Ｒは信頼性評価手段、５Ｌ，５Ｒは
クラスタリング手段、６Ｌ，６Ｒは視差補間手段、７
Ｌ，７Ｒは画素シフト手段、８は中間視点画像統合手段
である。

【００１０】以下に上記構成の動作について説明する。
初期視差推定部３は、（数１）に示す残差平方和（Ｓｕ
ｍｏｆＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅｓ
以下ＳＳＤ）の計算を行う。（数１）によるＳＳＤの値
は、基準画像に設定した窓領域と参照画像中に設定した
窓領域内の画素値の分布が似ているところでは小さな値
となり、逆に双方の窓領域内での画素値の分布が異なる
ところでは大きな値となる。初期視差推定部３は、所定
の探索範囲内でＳＳＤの値を最小とする画像間のずれ量
ｄを着目点（ｘ，ｙ）における視差とする。

【００１１】

【数１】

【００１２】図２は初期視差推定部３による上記初期視
差推定（ブロックマッチング）を説明する図である。図
２において着目点（ｘ，ｙ）を中心にして設定した窓領
域が、（数１）の積分領域Ｗを示す。窓領域を順次ずら
して設定し、上記のＳＳＤの計算を行うことにより画像
全体での初期視差を得ることができる。初期視差推定部
３Ｌでは左画像を基準画像として、初期視差推定部３Ｒ
では右画像を基準画像としてそれぞれ初期視差を計算す
る。

【００１３】信頼性評価部４は、（数２）に示す対応付
けの評価値（左右の画像を基準とした初期視差の差）を
各画素について計算する。そして、該評価値が一定のし
きい値以上となる画素（信頼性の低い画素）をオクルー
ジョン領域の画素とみなし、逆にしきい値未満の画素
（信頼性の高い画素）では対応が正しく取られていると
みなし、２値の出力を行う（例えば、オクルージョンと
判断した画素については１、対応が正しく取られている
と判断した画素については０を出力する）。

【００１４】

【数２】

【００１５】クラスタリング部５は、上記対応付けの信
頼性が高い領域の画素について、画素値と初期視差を用
いたクラスタリングを行い、対応付けの信頼性が低い画
素については、画素値と前記クラスタリングの結果を用
いたクラスタリングを行う。画像のクラスタリングの方
法としては、画素値と初期視差のデータ（カラー画像を
用いた場合４次元のデータとなる）を複数のクラスタに
分類するものであればよい。本実施の形態ではk-mean法
を用いた例について示す。以下に、k-mean法について説
明する。

【００１６】k-mean法はデータ全体をあらかじめ与えた
数のクラスタに分類するアルゴリズムである。k-mean法
は以下の4つの手順によりクラスタリングを行なう。

【００１７】（１）クラスタ数、終了条件の決定。（２）初期クラスタを配置。

【００１８】（３）データの配置。（４）終了判定(終了しない場合には、（３）に戻
る）。

【００１９】本実施の形態ではクラスタ数は固定の値と
して与える（例えば１０）。また、終了条件は各クラス
タに配置されるデータ数が収束するか、もしくは、クラ
スター更新の繰り返し計算の回数が一定の回数（例えば
10回）に達した場合とする。

【００２０】初期クラスタの配置は、全データの平均ベ
クトル、標準偏差ベクトルより、ｉ番目のクラスタ重心
を（数３）で求める。

【００２１】

【数３】

【００２２】初期視差推定値の信頼性の高い領域では、
画素値（Ｒ,Ｇ,Ｂ）と、初期視差の４次元でクラスタリ
ングを行なう。そして、初期視差推定値の信頼性の低い
領域の画素は、前記対応付けの信頼性が高い領域におけ
るクラスタリング結果の中で、画素値（Ｒ，Ｇ，Ｂ）の
３次元空間で最も距離の近いクラスタに属するものとし
てクラスタリングを行う。

【００２３】図３はクラスタリング部５によるクラスタ
リングのようすを説明する図である。図３において、２
０３（中央部でハッチングが重なっている領域）は初期
視差の信頼性が低い領域、２０１はクラスタ１の領域、
２０２はクラスタ２の領域、２０４はクラスタ１とクラ
スタ２の領域境界を示す。図３では簡単のためにクラス
タ数を２としている。図３において、２０３以外の領域
では画素値と初期視差によりクラスタリングが行われ
る。そして、初期視差の信頼性が低い領域２０３の画素
は、クラスタ１およびクラスタ２との（Ｒ，Ｇ，Ｂ）空
間中での距離の近い方のクラスタに分類される。

【００２４】視差補間部６は、信頼性評価部４において
オクルージョンであると判断された画素における視差
を、周囲の対応が正しく取られていると判断した画素に
おける視差を参照し、視差の値を補間することにより決
定する。初期視差の信頼性の低い領域での視差値の補間
は、例えば以下の式を計算して行う。

【００２５】

【数４】

【００２６】（数４）により、着目画素の視差を周囲の
同一クラスタの視差から計算することにより、図３のク
ラスタ境界２０４において視差が不連続に変化する視差
推定を行うことができ、前景視差と背景視差の境界での
視差不連続を推定できる。

【００２７】なお、視差補間の計算式は（数４）に限る
必要はなく、着目画素の属するクラスタに応じて周囲の
画素の視差値を参照し、また、参照する周囲の画素の視
差についての重み係数の総和が１になる補間方法であれ
ばよい（（数４）に示した補間方法の場合には、着目画
素と参照画素の距離の２乗に逆比例して参照する視差値
の重みが変化する）。

【００２８】以上に述べた視差補間部６による視差補間
により、初期視差のオクルージョンに対して周囲の視差
を充填することができる。

【００２９】画素シフト部７は視差補間された視差を視
点方向に応じて定数倍し、入力画像の画素をシフトす
る。すなわち、画素シフト部７Ｌは左画像と左画像を基
準として計算した視差から中間視点画像を生成し、画素
シフト部７Ｒは右画像と右画像を基準として計算した視
差から中間視点画像を生成する。ここで、左画像基準時
に視差に乗ずる定数と右画像基準時に視差に乗ずる定数
との和を１にすることで双方から同一の視点方向の中間
視点画像を生成する。

【００３０】中間視点画像統合部８は、左画像を基準と
して生成した中間視点画像と、右画像を基準として生成
した中間視点画像を統合する。左右の画像を基準として
生成した中間視点画像では、視差の不連続な変化が原因
で、図４に示すように画像が生成されない領域（ぬけ領
域）が生じる。図４において５１は左画像を基準とした
中間視点画像中で画像が生成されない領域、５２は右画
像を基準とした中間視点画像中で画像が生成されない領
域を示す。両者は前景物体に対して互いに反対の側に生
じるため、左右の画像を基準とした中間視点画像を統合
することにより画像全体でぬけ領域のない中間視点画像
を生成することができる。

【００３１】以上のように本実施の形態によれば、画像
のクラスタリング結果を用いて、初期視差の信頼性が低
い領域での視差を周囲の同一クラスタの画素における視
差から決定する視差推定を行うことにより、前景物体の
輪郭線と前景背景間の視差境界を一致させることがで
き、また、オクルージョンや物体輪郭線付近での視差を
周囲の背景視差もしくは前景視差から決定できるため、
中間視点画像中の物体輪郭を画質よく再現することがで
きる。

【００３２】（第２の実施の形態）図５は、本発明の第
２の実施の形態における視差推定方法および中間視点画
像生成方法のブロック図である。本発明の第２の実施の
形態においては、オクルージョン領域でのクラスタリン
グ結果の空間的な連続性を考慮した視差推定を行うこと
により、中間視点画像生成時の前景物体の輪郭付近での
画質を改善する。

【００３３】図５において、９Ｌ，９Ｒは視差推定部、
２は中間視点画像生成部、３Ｌ，３Ｒは初期視差推定手
段、４Ｌ，４Ｒは信頼性評価手段、５Ｌ，５Ｒはクラス
タリング手段、１０Ｌ，１０Ｒはラベリング部、１１
Ｌ，１１Ｒは視差補間、７Ｌ，７Ｒは画素シフト手段、
８は中間視点画像統合手段である。上記構成のうち、図
１における本発明の第１の実施の形態と同一の動作を行
うものについては、図１と同一の符号を付し説明を省略
し、以下に、ラベリング部１０、視差補間部１１の動作
について説明する。

【００３４】ラベリング部１０は、初期視差の信頼性の
低い領域でのクラスタリング結果について、連結性を考
慮したクラスタリングを行う。

【００３５】図６は、ラベリング部１０によるラベリン
グのようすを説明する図である。図６において、４０１
はクラスタ１、４０２はクラスタ２、４０３はクラスタ
３、４０４はクラスタ４、４０５はラベル１、４０６は
ラベル２、４０７はラベル３、４０８はラベル４、４０
９，４１０は初期視差の信頼性の高い領域と低い領域の
境界をそれぞれ示す。図６では簡単の為にクラスタ数を
４、ラベル領域の数を４としている。ラベリング部１０
は、初期視差の信頼性の低い領域において、同一のクラ
スタに属する画素の空間連結性を考慮してラベル付けを
行う。

【００３６】該ラベル付けの方法について以下に説明す
る。初期視差の信頼性の低い領域内の各画素について、
隣接する画素が初期視差の信頼性の低い領域に含まれ、
かつ、着目画素と同一のクラスタに属している場合に
は、前記隣接する画素と着目画素に同一のラベルを付
し、そうでない場合には、着目画素に新たなラベルを付
す。

【００３７】視差補間部１１は、クラスタリング部５Ｌ
によるクラスタリング結果とラベリング部１０によるラ
ベリング結果の双方を用いて視差補間を行う。視差補間
は、各ラベル領域毎に行う。すなわち、ラベル領域が初
期視差の信頼性の高い領域の同一のクラスタ領域と接し
ている場合（図６のラベル１，２，３の場合）には、ラ
ベル領域からみて境界線の外側の視差を用いて、（数
５）によりラベル領域内の視差を決定する。

【００３８】

【数５】

【００３９】（数５）の積分路上の視差ｄ（ｓ，ｔ）
は、ラベル領域からみて境界線の外側の視差（信頼性が
高い領域の視差）を用いることにより、初期視差の信頼
性の低い領域における視差を決定する。また、ラベル領
域が初期視差の信頼性の高い同一クラスタ領域と接して
いない場合（図６のクラスタ４の場合）には、周囲の信
頼性の高い領域での視差のうち背景側の視差のみを参照
して視差を決定する。背景視差の抽出は、左右の画像の
撮影時のカメラの位置関係（平行撮影もしくは輻輳撮
影）によって異なる。以下に、平行撮影（左右の画像を
撮影するカメラの光軸が平行）と輻輳撮影（左右の画像
を撮影するカメラの光軸が一点で交差）のそれぞれの場
合について説明する。

【００４０】図１５は、平行撮影の場合の視差の分布の
説明図である。図１５（ａ）のように左右のカメラを光
軸が互いに平行になるように配置して撮影すると、左右
の画像を基準とした視差は図１５（ｂ）のようになる。
（図１５（ｂ）の左側が左画像を基準とする視差、右側
が右画像を基準とする視差）また、図１５（ｃ）に示す
ように、平行撮影の場合、視差の分布は左画像を基準と
して計算すると負の値のみとなり、逆に右画像について
は正の値のみとなり、視差は奥行きが無限遠の時０とな
る。

【００４１】以上のことから、平行撮影の場合、周囲の
視差の絶対値がその平均値以下のものを背景視差とする
ことで抽出する。

【００４２】図１６は輻輳撮影の場合の視差の分布の説
明図である。図１６（ａ）のように左右のカメラの光軸
が一定の奥行きで交差するように配置して撮影すると、
視差は図１６（ｂ）のようになる。（図１６（ｂ）の左
側が左画像を基準とする視差、右側が右画像を基準とす
る視差）また、図１６（ｃ）に示すように、輻輳撮影の
場合、視差の分布は左右いずれの画像を基準とした場合
にも正負両方の値をとり、輻輳点（左右のカメラの光軸
の交差する点）において視差０となる。

【００４３】以上のことから、輻輳撮影の場合、背景視
差は、左画像を基準とした視差については周囲の視差の
平均値以上のものとして、右画像を基準とした視差につ
いては逆に周囲の視差の平均値以下のものとして抽出す
る。

【００４４】以上のように本実施の形態によれば、クラ
スタリングの結果をさらにラベリングして空間的な連結
性を考慮することにより、オクルージョン内に前景物体
と類似した画素値の画素がある場合にも安定して前景視
差と背景視差の境界を決定することができ、中間視点画
像の前景輪郭付近の画質を改善することができる。

【００４５】（第３の実施の形態）図７は、本発明の第
３の実施の形態における視差推定方法および中間視点画
像生成方法のブロック図である。本発明の第３の実施の
形態においては、左画像基準の初期視差と右画像基準の
初期視差の対応関係を考慮した視差推定を行うことによ
り、中間視点画像生成時の前景物体の輪郭付近での画質
を改善する。

【００４６】図７において、１２Ｌ，１２Ｒは視差推定
部、２は中間視点画像生成部、１３Ｌ，１３Ｒは初期視
差推定手段、１４Ｌ，１４Ｒは対応付け判断手段、１５
Ｌ，１５Ｒは視差補間手段、７Ｌ，７Ｒは画像シフト手
段、８は画像統合手段である。上記構成のうち、図１、
図５における本発明の第１および第２の実施の形態と同
一の動作を行うものについては、図１および図５と同一
の符号を付し説明を省略し、以下に初期視差推定手段１
３、対応付け判別手段１４、視差補間手段１５の動作に
ついて説明する。

【００４７】初期視差推定部１３は、本発明の第１の実
施の形態における視差推定部１もしくは本発明の第２の
実施の形態における視差推定部９と同一の動作により、
視差推定を行う。

【００４８】対応付け判別部１４は、左画像を基準画像
とした初期視差と右画像を基準とした初期視差から、初
期視差の対応付けの状態を、（ａ）正しい対応付け、
（ｂ）オクルージョン、（ｃ）誤対応、の３種類に分類
する。図８は上記３つの対応付けのようすを説明する図
である。図８において、（ａ）は基準画像中の点Ａと参
照画像中の点Ｂが互いに対応している状態、（ｂ）は基
準画像中の点Ａと対応する参照画像中の点Ｂが基準画像
中の点Ａ以外の点Ｃと互いに対応している状態、（ｃ）
は基準画像中の点Ａと対応する参照画像中の点Ｂが基準
画像中の点Ｃと互いに対応していない状態を示す。

【００４９】視差補間部１５は、上記３つの対応付けの
状態のうち、（Ｃ）の状態となっている領域の視差につ
いて、周囲の前景視差もしくは背景視差を用いた視差補
間を行う。前景視差と背景視差は、上記（Ｃ）の領域と
接する周囲の領域の視差の平均値をしきい値とし、平均
値よりも絶対値の大きい視差を前景視差、小さい視差を
背景視差として抽出する。視差の補間は（数６）により
計算する。

【００５０】

【数６】

【００５１】（数６）において積分路Ｃを、周囲の領域
で上記（Ｃ）の領域と接する画素のうち、その平均値よ
りも絶対値が大きいものか小さいもののみに限定するこ
とにより、前景視差による視差補間と背景視差による視
差補間を行う。最終的な視差値は、前景視差と背景視差
とによる視差補間結果のうち対応先との画素値の差が小
さい方の視差値を選択して決定する。

【００５２】以上のように本実施の形態によれば、視差
推定値が不安定になりやすい物体輪郭線近傍およびオク
ルージョン境界付近での視差を、周囲の前景視差と背景
視差のいずれか片方を参照して推定することにより、前
景視差と背景視差の境界付近で、視差が前景視差と背景
視差の中間的な値となることがなく、中間視点画像の物
体輪郭付近での画質を改善できる。

【００５３】（第４の実施の形態）図９は本発明の第４
の実施の形態における多視点画像圧縮伝送システムの送
信側の構成図である。図９において、１０１ａ〜１０１
ｄは各視点位置での画像を撮像するカメラ、１０２はカ
メラ１とカメラ４の画像を圧縮し符号化する画像圧縮符
号化部、１０３ａは画像圧縮符号化部１０２が圧縮符合
化した画像データを復号化伸長する復号化画像伸長部、
１０４ａは復号化画像伸長部１０３ａが復号化伸長した
カメラ１とカメラ４の画像からカメラ２とカメラ３の視
点での画像を予測し生成する中間視点画像生成部、１０
５はカメラ２とカメラ３の画像について中間視点画像生
成部１０４ａが生成した画像との残差を圧縮し符号化す
る残差圧縮符号化部である。以下に上記構成の動作につ
いて説明する。

【００５４】画像圧縮符号化部１０２は、多視点画像中
の複数の画像（本実施の形態では４視点の画像の両端の
視点の画像）を画像間のブロック相関等を利用した既存
の技術により圧縮し符号化する。図１０は画像圧縮伝送
符号化部の構成の一例を示す。図１０において、１０７
ａ，１０７ｂは８×８画素もしくは１６×１６画素毎に
ＤＣＴ計算を行いＤＣＴ係数を計算するＤＣＴ手段、１
０８ａ，１０８ｂはＤＣＴ係数を量子化する量子化手
段、１０９は逆量子化手段、１１０は逆ＤＣＴ計算をお
こなう逆ＤＣＴ手段、１１１は視差検出手段、１１２は
視差補償手段、１１３は量子化されたＤＣＴ係数と視差
を符号化する符号化手段である。以下に上記構成の動作
について説明する。

【００５５】ＤＣＴ手段１０７ａは、カメラ１の画像を
ブロック毎に処理し、各ブロックについてＤＣＴ係数を
計算する。量子化手段１０８ａは、前記ＤＣＴ係数を量
子化する。逆量子化手段１０９ａは、前記量子化された
ＤＣＴ係数を逆量子化する。逆ＤＣＴ手段１１０ａは、
逆量子化されたＤＣＴ係数を逆変換し、受信側で得られ
るカメラ１の画像を復元する。視差検出手段１１１は前
記復元されたカメラ１の画像とカメラ４の画像間でブロ
ックマッチングを行い、カメラ１の画像を基準とした視
差をブロック毎に計算する。視差補償手段１１２は、前
記復元されたカメラ１の画像と前記ブロック毎の視差を
用いてカメラ４の画像を予測する。（すなわち、動画像
の動き補償に相当する処理を行う。）ＤＣＴ手段１０７
ｂは、カメラ４の画像と前記予測画像の残差をブロック
毎に処理しＤＣＴ係数を計算する。量子化手段１０８ｂ
は前記残差のＤＣＴ係数を量子化する。符号化手段１１
３は、カメラ１の画像の量子化されたＤＣＴ係数、ブロ
ック毎の視差、視差補償の残差の量子化されたＤＣＴ係
数を符号化する。

【００５６】復号化画像伸長部１０３は、画像圧縮符号
化部１０２によって圧縮符号化された画像データを復号
化し伸長する。図１１は復号化画像伸長部１０３の構成
の一例を示す図である。図１１において、１１４ａは復
号化手段、１０９ｂ、１０９ｃは逆量子化手段、１１０
ｂ，１１０ｃは逆ＤＣＴ手段、１１２ｂは視差補償手段
である。以下に上記構成の動作について説明する。

【００５７】復号化手段１１４ａは圧縮符号化されたデ
ータを復号化し、カメラ１の画像の量子化されたＤＣＴ
係数、ブロック毎の視差、視差補償の残差の量子化され
たＤＣＴ係数を伸長する。カメラ１の画像の量子化され
たＤＣＴ係数は、逆量子化手段１０９ｂによって逆量子
化され、逆ＤＣＴ手段１１０ｂによって画像として伸長
される。動き補償手段１１２ｂは、前記伸長されたカメ
ラ１の画像と復号化された視差から、カメラ２の予測画
像を生成する。そして、逆量子化手段１０９ｃ、逆ＤＣ
Ｔ手段１１０ｃによって伸長された残差を前記予測画像
に加えることにより、カメラ４の画像を伸長する。

【００５８】中間視点画像生成部１０４ａは、本発明の
第１〜第３のいずれかの実施の形態に示す方法によっ
て、カメラ１とカメラ４の画像から画素毎の視差を計算
し、カメラ２とカメラ３の画像を予測し生成する。

【００５９】残差圧縮符号化部１０５は、カメラ２とカ
メラ３の画像と前記予測画像の残差を圧縮し符号化す
る。中間視点画像生成部１０４ａは視差を画素毎に計算
するため、ブロックマッチングによるブロック毎の視差
計算と比較して、精度よく視差を推定できる。その結
果、中間視点画像の予測誤差（すなわち残差）を小さく
することができ、圧縮効率を高めることができるととも
に、より有効なビット割り当てを行うことができ、画質
を維持した圧縮を行える。図１２は、残差圧縮符号化部
の構成の一例を示す。図１２において、１０７ｃ，１０
７ｄはＤＣＴ手段、１０８ｃ，１０８ｄは量子化手段、
１１３ｂは符号化手段である。カメラ２、カメラ３の画
像の残差はそれぞれＤＣＴ手段１０７ｃ，１０７ｄによ
ってＤＣＴ係数に変換され、量子化手段１０８ｃ，１０
８ｄによって量子化され、符号化手段１１３ｂによって
符号化される。

【００６０】図１３は本発明の第４の実施の形態におけ
る多視点画像圧縮伝送システムの受信側の構成図であ
る。図１３において、１０３ｂは送信側の画像圧縮符号
化部１０２が圧縮符号化したカメラ１とカメラ４の画像
データを復号化伸長する復号化伸長部、１０４ｂは復号
化画像伸長部１０３ｂが復号化伸長したカメラ１とカメ
ラ４の画像からカメラ２とカメラ３の視点での画像を予
測し生成する中間視点画像生成部、１０６はカメラ２と
カメラ３の視点での予測画像の予測誤差（残差）を復号
化し伸長する復号化残差伸長部である。復号化画像伸長
部１０３ｂおよび中間視点画像生成部１０４ｂの動作に
ついては、送信側の復号化画像伸長部１０３ａおよび中
間視点画像生成部１０４ａの動作と同一であるので説明
を省略し、以下に復号化残差伸長部の動作について説明
する。

【００６１】復号化残差伸長部１０６は、送信側の残差
圧縮符号化部１０５によって圧縮符号化されたカメラ２
とカメラ３の視点での予測画像の予測誤差（残差）を復
号化し伸長する。図１４は復号化残差伸長部１０６の構
成の一例を示す。図１４において、１１４ｂは復号化手
段、１０９ｄ，１０９ｅは逆量子化手段、１１０ｄ，１
１０ｅは逆ＤＣＴ手段である。圧縮符号化されたカメラ
２とカメラ３の画像の残差データは、復号化手段１１４
ｂによって復号化され、それぞれ、逆量子化手段１０９
ｄ，１０９ｅにより逆量子化され、逆ＤＣＴ手段１１０
ｄ，１１０ｅにより伸長される。復号化伸長されたカメ
ラ２とカメラ３の画像の残差を、中間視点画像生成部１
０４ｂによって生成された画像にそれぞれ重畳すること
により、カメラ２とカメラ３の視点の画像を復元する。

【００６２】以上のように、本実施の形態によれば、送
信側で多視点画像中の隣接しない２つの画像からその中
間視点の画像を生成し、前記２つの画像と中間視点画像
の残差を圧縮符号化して伝送し、受信側で前記２つの画
像と中間視点画像の残差を復号化伸長し、前記２つの中
間視点視点の画像を生成し、復号化伸長した残差を重畳
して中間視点での画像を復元することにより、多視点画
像を効率よく、また、画質を維持して圧縮伝送すること
ができる。

【００６３】なお、中間視点画像の生成は、多視点画像
の両端の２視点（カメラ１とカメラ４の視点）での画像
から中間視点での画像を生成する構成に限る必要はな
く、カメラ２とカメラ４の画像からカメラ１とカメラ３
の視点での画像を生成してもよく、カメラ１とカメラ３
の画像からカメラ２とカメラ４の視点での画像を生成し
てもよく、カメラ２とカメラ３の画像からカメラ１とカ
メラ４の視点での画像を生成してもよく、それぞれ本発
明に含まれる。

【００６４】さらに、多視点画像の視点数は４視点に限
る必要はなく、また、２視点以上の視点での画像からそ
れぞれの中間視点画像を生成してもよいのは明らかであ
り、本発明に含まれる。

【００６５】なお、本発明の第１の実施の形態における
信頼性評価手段４における初期視差の信頼性評価尺度と
しては、（数２）に示すものに限る必要はなく、（数
７），（数８），（数９）に示す評価値を用いても同様
の効果を得ることができ、本発明に含まれる。

【００６６】

【数７】

【００６７】

【数８】

【００６８】

【数９】

【００６９】（数７），（数８），（数９）は、評価値
が大きいほど初期視差の信頼性が低いことを示し、評価
値が小さいほど初期視差の信頼性が高いことを示す。ま
た、（数７），（数８），（数９）は輝度勾配（それぞ
れの式の分母）が小さい画素においては値が不安定にな
るため、輝度勾配が一定のしきい値以下となる点では初
期視差の信頼性が低いとする。

【００７０】また、本発明の第１の実施の形態における
信頼性評価手段４における初期視差の信頼性評価尺度と
しては、（数１）に示す残差平方和ＳＳＤを用いたもの
に限る必要はなく、（数１０）に示す残差絶対値和ＳＡ
Ｄを用いた（数１１），（数１２），（数１３）を用い
ても同様の効果を得ることができ、本発明に含まれる。

【００７１】

【数１０】

【００７２】

【数１１】

【００７３】

【数１２】

【００７４】

【数１３】

【００７５】なお、（数１１），（数１２），（数１
３）においても、輝度勾配（それぞれの式の分母）が小
さい画素においては値が不安定になるため、輝度勾配が
一定のしきい値以下となる点では初期視差の信頼性が低
いとする。

【００７６】さらに、画像間のノイズが小さい場合に
は、信頼性評価尺度として（数７），（数８），（数
９），（数１１），（数１２），（数１３）の画像間の
ノイズの項σnを無視した式を用いてもよく、また、
（数７），（数８），（数９），（数１１），（数１
２），（数１３）の分子だけで初期視差の信頼性を評価
してもよく、それぞれ本発明に含まれる。

【００７７】また、本発明の第２の実施の形態における
初期視差推定手段を、本発明の第１の実施の形態におけ
る視差推定部１と同一の動作をするものとしても同様の
効果を得ることができ、本発明に含まれる。

【００７８】なお、本発明の第１および第２の実施の形
態において、クラスタリングを行う前に、入力画像に対
してメディアンフィルタをかけることにより、物体輪郭
付近で前景と背景の中間的な画素値を、前景か背景いず
れかの領域の画素値で置き換え、視差地図の前景と背景
の境界において視差が中間的な値となることを抑制で
き、中間視点画像の物体輪郭付近での画質を改善でき、
本発明に含まれる。

【００７９】さらに、本発明の第１〜第３の実施の形態
において、視差推定部によって計算された視差地図に対
して、メディアンフィルタをかけた後中間視点画像を生
成することにより、視差地図の前景背景間の境界を平滑
化でき、その結果中間視点画像中の物体輪郭を平滑化で
き、より見た目に自然な中間視点画像を生成でき、本発
明に含まれる。

【００８０】なお、本発明の第４の実施の形態におい
て、隣接しない２つの視点での画像の圧縮符号化の方法
としては、画像間（視点間）の相関を利用したものに限
る必要はなく、時間方向の相関を利用したものを用いて
もよく本発明に含まれる。

【００８１】

【発明の効果】以上説明したように、本発明によれば、
画像のクラスタリング結果を用いて、初期視差の信頼性
が低い領域での視差を周囲の同一クラスタの画素におけ
る視差から決定する視差推定を行うことにより、前景物
体の輪郭線と前景背景間の視差境界を一致させることが
でき、また、オクルージョンや物体輪郭線付近での視差
を周囲の背景視差もしくは前景視差から決定できるた
め、中間視点画像中の物体輪郭を画質よく再現すること
ができる。

【００８２】また、クラスタリングの結果をさらにラベ
リングして空間的な連結性を考慮することにより、オク
ルージョン内に前景物体と類似した画素値の画素がある
場合にも安定して前景視差と背景視差の境界を決定する
ことができ、中間視点画像の前景輪郭付近の画質を改善
することができる。

【００８３】さらに、左画像基準の初期視差と右画像基
準の初期視差の対応関係を考慮した視差推定を行うこと
により、視差推定値が不安定になりやすい物体輪郭線近
傍およびオクルージョン境界付近での視差を、周囲の前
景視差と背景視差のいずれか片方を参照して推定し、前
景視差と背景視差の境界付近で、視差が前景視差と背景
視差の中間的な値ならないようにし、中間視点画像の物
体輪郭付近での画質を改善することができる。

【００８４】また、クラスタリングを行う前に、入力画
像に対してメディアンフィルタをかけることにより、物
体輪郭付近で前景と背景の中間的な画素値を、前景か背
景いずれかの領域の画素値で置き換え、視差地図の前景
と背景の境界において視差が中間的な値となることを抑
制でき、中間視点画像の物体輪郭付近での画質を改善で
きる。

【００８５】さらに、視差推定部によって計算された視
差地図に対して、メディアンフィルタをかけた後中間視
点画像を生成することにより、視差地図の前景背景間の
境界を平滑化でき、その結果中間視点画像中の物体輪郭
を平滑化でき、見た目により自然な中間視点画像を生成
できる。

【００８６】また、多視点画像伝送システムの送信側と
受信側の双方で中間視点画像の生成を行うことにより、
中間視点画像の伝送量（残差の伝送量）を少なくするこ
とができ、その結果多視点画像を効率よく、また、画質
を維持して圧縮伝送することができ、その実用的効果は
大きい。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態における視差推定方
法および中間視点画像生成方法の構成図

【図２】同ブロックマッチングを示す図

【図３】同クラスタリングを示す図

【図４】同中間視点画像のぬけ領域を示す図

【図５】本発明の第２の実施の形態における視差推定方
法および中間視点画像生成方法の構成図

【図６】同クラスタリング結果のラベリングを示す図

【図７】本発明の第３の実施の形態における視差推定方
法および中間視点画像生成方法の構成図

【図８】（ａ）〜（ｃ）同対応付けの状態を説明する図

【図９】本発明の第４の実施の形態における多視点画像
伝送システムの送信部の構成図

【図１０】本発明の第４の実施の形態における多視点画
像伝送システムの画像圧縮符号化部の構成の一例を示す
図

【図１１】本発明の第４の実施の形態における多視点画
像伝送システムの復号化画像伸長部の構成の一例を示す
図

【図１２】本発明の第４の実施の形態における多視点画
像伝送システムの残差圧縮符号化部の構成の一例を示す
図

【図１３】本発明の第４の実施の形態における多視点画
像伝送システムの受信部の構成図

【図１４】本発明の第４の実施の形態における多視点画
像伝送システムの復号化残差伸長部の構成の一例を示す
図

【図１５】（ａ）〜（ｃ）平行撮影時の視差の分布の説
明図

【図１６】（ａ）〜（ｃ）輻輳撮影時の視差の分布の説
明図

【符号の説明】

１Ｌ，１Ｒ視差推定部２中間視点画像生成部３Ｌ，３Ｒ初期視差推定手段４Ｌ，４Ｒ信頼性評価手段５Ｌ，５Ｒクラスタリング手段６Ｌ，６Ｒ視差補間手段７Ｌ，７Ｒ画素シフト手段８中間視点画像統合手段

Claims

【特許請求の範囲】

【請求項１】左右の画像をそれぞれ基準として計算した
初期視差から、対応のとれている領域と、対応のとれて
いない領域とを抽出し、対応のとれている領域について
は画素値と初期視差値によってクラスタリングを行い、
対応のとれていない領域の各画素については該画素の画
素値と前記クラスタリングによって得られる各クラスタ
重心の画素値との画素値空間での距離を計算し、対応の
とれていない領域の画素における視差は、前記距離の最
も近いクラスタに属する周囲の対応のとれている画素に
おける視差を用いて決定することにより、前景物体の視
差と背景視差の境界を前景物体の輪郭と一致させ、中間
視点画像中の物体輪郭線付近での画質を改善することを
特徴とする中間視点画像生成方法。
【請求項２】左右の画像をそれぞれ基準として計算した
初期視差から、対応のとれている領域と、対応のとれて
いない領域とを抽出し、対応のとれている領域について
は画素値と初期視差値によってクラスタリングを行い、
対応のとれていない領域の各画素については該画素の画
素値と前記クラスタリングによって得られる各クラスタ
重心の画素値との画素値空間での距離を計算し、前記距
離が最も近いクラスタを決定し、対応のとれていない領
域の画素における視差は、クラスタリング結果の連結性
を考慮して適応的に決定することにより、前景物体の視
差と背景視差の境界を前景物体の輪郭と一致させ、中間
視点画像中の物体輪郭線付近での画質を改善することを
特徴とする中間視点画像生成方法。
【請求項３】左右の画像をそれぞれ基準として計算した
初期視差から、対応のとれている領域と、対応のとれて
いない領域を抽出し、基準画像中の対応のとれていない
領域の各画素について、参照画像中の対応先の画素にお
いて対応がとれていない場合には、該基準画像中の画素
における視差は、周囲の画素における前景視差もしくは
背景視差を用いて決定することにより、前景物体の視差
と背景視差の境界を前景物体の輪郭と一致させ、中間視
点画像中の物体輪郭線付近での画質を改善することを特
徴とする中間視点画像生成方法。
【請求項４】画像のクラスタリングは、予め該画像にメ
ディアンフィルターをかけてから行うことにより、物体
輪郭付近において前景と背景の中間的な画素値をもつ微
少な領域を除去し、生成される中間視点画像の物体輪郭
線付近の画質を改善することを特徴とする請求項１〜３
のいずれかに記載の中間視点画像生成方法。
【請求項５】視差地図にメディアンフィルターをかける
ことにより、前景物体の視差と背景視差の境界を平滑化
し、中間視点画像中の物体輪郭線付近での画質を改善す
ることを特徴とする請求項１〜３のいずれかに記載の中
間視点画像生成方法。
【請求項６】左右の画像をそれぞれ基準として計算した
初期視差から、対応のとれている領域と、対応のとれて
いない領域とを抽出し、対応のとれている領域について
は画素値と初期視差値によってクラスタリングを行い、
対応のとれていない領域の各画素については該画素の画
素値と前記クラスタリングによって得られる各クラスタ
重心の画素値との画素値空間での距離を計算し、対応の
とれていない領域の画素における視差は、前記距離の最
も近いクラスタに属する周囲の対応のとれている画素に
おける視差を用いて決定することにより、前景物体の視
差と背景視差の境界を前景物体の輪郭と一致させ、中間
視点画像中の物体輪郭線付近での画質を改善することを
特徴とする視差推定方法。
【請求項７】左右の画像をそれぞれ基準として計算した
初期視差から、対応のとれている領域と、対応のとれて
いない領域とを抽出し、対応のとれている領域について
は画素値と初期視差値によってクラスタリングを行い、
対応のとれていない領域の各画素については該画素の画
素値と前記クラスタリングによって得られる各クラスタ
重心の画素値との画素値空間での距離を計算し、前記距
離が最も近いクラスタを決定し、対応のとれていない領
域の画素における視差は、クラスタリング結果の連結性
を考慮して適応的に決定することにより、前景物体の視
差と背景視差の境界を前景物体の輪郭と一致させ、中間
視点画像中の物体輪郭線付近での画質を改善することを
特徴とする視差推定方法。
【請求項８】左右の画像をそれぞれ基準として計算した
初期視差から、対応のとれている領域と、対応のとれて
いない領域を抽出し、基準画像中の対応のとれていない
領域の各画素について、参照画像中の対応先の画素にお
いて対応がとれていない場合には、該基準画像中の画素
における視差は、周囲の画素における前景視差もしくは
背景視差を用いて決定することにより、前景物体の視差
と背景視差の境界を前景物体の輪郭と一致させ、中間視
点画像中の物体輪郭線付近での画質を改善することを特
徴とする視差推定方法。
【請求項９】画像のクラスタリングは予め該画像にメデ
ィアンフィルターをかけてから行うことにより、物体輪
郭付近において前景と背景の中間的な画素値をもつ微少
な領域を除去し、生成される中間視点画像の物体輪郭線
付近の画質を改善することを特徴とする請求項６〜８の
いずれかに記載の視差推定方法。
【請求項１０】視差地図にメディアンフィルターをかけ
ることにより、前景物体の視差と背景視差の境界を平滑
化し、中間視点画像中の物体輪郭線付近での画質を改善
することを特徴とする請求項６〜８のいずれかに記載の
視差推定方法。
【請求項１１】複数の視点において撮像した多視点画像
について、複数の視点位置での画像を圧縮し符号化する
画像圧縮符号化手段と、前記圧縮符号化された画像を復
号化し伸長する復号化画像伸長手段と、前記復号化伸長
された複数の画像から請求項１〜５記載の方法により中
間視点での画像を生成する中間視点画像生成手段と、前
記生成された中間視点での画像と撮像された画像の残差
を圧縮し符号化する残差圧縮符号化手段を具備し、効率
よく多視点画像を圧縮し伝送することを特徴とする画像
伝送方法。
【請求項１２】多視点画像の複数の視点位置での画像を
圧縮し符号化した画像を復号化伸長する復号化画像伸長
手段と、前記復号化伸長された複数の画像から請求項１
〜５記載の方法により中間視点での画像を生成する中間
視点画像生成手段と、前記生成された中間視点での画像
と撮像された画像の残差を復号化し伸長する復号化残差
伸長手段を具備し、効率よく多視点画像を圧縮し伝送す
ることを特徴とする画像伝送方法。