JP3477023B2 - 多視点画像伝送方法および多視点画像表示方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、多視点画像の伝送
方法及び多視点画像の表示方法に関する。また、本発明
は、多視点画像の中間視点画像生成方法及び視差推定方
法及びその装置に関するものである。

【０００２】

【従来の技術】従来、立体映像方式には様々なものが提
案されているが、特殊な眼鏡をかけることなく立体動画
像を複数人数で観察できる方式として、多視点画像によ
る多眼式立体映像方式が有望である。多眼式立体映像方
式においては、使用するカメラ台数及び表示装置台数が
多いほど、観察者に対して自然な運動視差を感じさせる
ことができ、また、多人数での観察が容易になる。しか
しながら、撮像系の規模やカメラの光軸の設定等の制約
により、実用的に用いることができるカメラ台数には限
度がある。また、伝送、蓄積過程においては、カメラ台
数に比例して増大する情報量を低減することが望まれ
る。

【０００３】そこで、表示側において、２眼式ステレオ
画像から中間視点画像を生成することにより多眼式立体
画像を表示できれば、撮像系の負担を軽減し、伝送、蓄
積時の情報量を低減することができることになる。視点
の異なる複数の画像から、その異なる視点間の任意の視
点で見えるべき中間視点画像を生成するためには、画像
間で画素の対応を求めて奥行きを推定する必要がある。

【０００４】また、動画像をデジタル伝送するための画
像圧縮方式として、ＭＰＥＧ−１、ＭＰＥＧ−２が提案
されている。さらに、ＭＰＥＧ−２を拡張して多視点画
像を伝送する試みも行われている（ISO/IEC13818-2/PDA
M3）。図２８は、ＭＰＥＧ−２シンタックスの概略図で
ある。ＭＰＥＧ−２による伝送は、Sequence、ＧＯＰ
（Group Of Picture）、Picture という階層構造を持つ
画像データの符号化、復号化によって行われる。ISO/IE
C13818-2/PDAM3によると、ＭＰＥＧ−２の拡張による多
視点画像の伝送は、（明記されていないためはっきりし
ないが）ＧＯＰ層を拡張して実現されるようである。

【０００５】図２９は、伝送される多視点画像の時空間
方向の関係を示すものである。従来のＭＰＥＧ−２で用
いられてきた動き補償に加えて、視差補償を用いること
によって符号化効率を高めようとしている。多視点画像
を伝送する際には、各カメラに関する情報（カメラの位
置、カメラの光軸の向き等のカメラパラメータ）を付加
して伝送する必要がある。ISO/IEC13818-2/PDAM3には、
カメラパラメータは図２８のPic.Extension（Picture層
の拡張）に含めて伝送することが述べられているが、具
体的なカメラパラメータの記述については述べられてい
ない。

【０００６】カメラパラメータの記述に関しては、ＣＧ
言語であるＯｐｅｎＧＬにおいて、カメラの位置、カメ
ラの光軸の向き、カメラの位置と画像面との距離がカメ
ラパラメータとして定義されている（「オープン ジー
エル プログラミングガイド」（OpenGL Programming Gu
ide,The Official Guide to Learning OpenGL,Release
1,Addison-Wesley Publishing Company,1993)）。

【０００７】図３０は、ＯｐｅｎＧＬによるカメラパラ
メータの定義を示す説明図である。図３０において、Ａ
はレンズ中心、Ｂは画像面（すなわち撮像面）の中心、
ＣはＢから画像上端におろした垂線と画像上端の交点を
示す。Ａ，Ｂ，Ｃの座標値はそれぞれ、（optical_cent
er_X,optical_center_Y,optical_center_Z）,（image_p
lane_center_X,image_plane_center_Y,image_plane_cen
ter_Z）,（image_plane_vertical_X,image_plane_verti
cal_Y,image_plane_vertical_Z）として定義されてい
る。

【０００８】上記のＯｐｅｎＧＬで定義されるカメラパ
ラメータの情報をPic.Extensionに付加して多視点画像
を伝送することが容易に考えられる。

【０００９】

【発明が解決しようとする課題】しかしながら上記のよ
うな従来の方法では、画像内の最近点、最遠点（すなわ
ち被写体の最近点、最遠点）に関する情報がないため、
表示時に目の疲れにくい表示（例えば視差制御）を行お
うとする際に、どの奥行き範囲に対して行えばよいのか
わからないという課題を有していた。

【００１０】また、多視点画像を表示する際には、撮影
時の視野角や撮像面のサイズ、レンズ中心と撮像面との
距離等の条件をもとに、観察距離を適切に決定する必要
がある（視差がつきすぎて違和感のある表示や、逆に立
体感の乏しい表示にならないようにするため）。しか
し、ＯｐｅｎＧＬでは、撮像面の大きさ（ＣＣＤの物理
的なサイズ）が定義されておらず、また、レンズ中心と
結像面との距離をレンズの焦点距離と常に等しいものと
して扱っている。そのため、撮像時の視野角の大きさが
表示側ではわからず、表示時の適切な視野角すなわち適
切な観察距離を決定できず、違和感のある立体表示とな
る可能性があるという課題を有していた。

【００１１】本発明はかかる点に鑑み、画像内の最近
点、最遠点（即ち被写体の最近点、最遠点）に関する情
報と、撮像面の大きさに関する情報とを画像情報に付加
して伝送を行うことにより、表示側で違和感の少ない立
体表示を行うことが容易な多視点画像の伝送及び表示方
法を提供することを目的とする。

【００１２】また、中間視点画像生成のための画像間の
対応づけにおける根本的な問題は、奥行きが不連続に変
化する物体輪郭線において、オクルージョンが生じるた
めに画像間の対応を精度よく求めるのは困難なことであ
る。しかし、この物体輪郭線近傍での視差の推定値は、
生成される中間視点画像における物体の輪郭位置を決定
するため、中間視点画像の合成時には非常に重要であ
る。すなわち、視差推定時に物体輪郭線近傍で視差の推
定誤差が生じると、前景領域の画素が背景側にはりつい
たり、逆に背景領域の画素が前景にはりつき、物体の輪
郭線が乱れたり、物体輪郭線近傍の背景領域に偽輪郭が
生じることになる。

【００１３】本発明はかかる点に鑑み、物体輪郭線近傍
での視差の急激な変化（不連続な変化）を精度よく推定
する視差推定方法およびその装置を提供することを目的
とする。

【００１４】

【課題を解決するための手段】本発明は、多視点画像の
ヘッダに、画像内の最近点、最遠点（すなわち被写体の
最近点、最遠点）に関する情報と、撮像面の大きさに関
する情報とを含む画像伝送方法により、画像内の最近
点、最遠点（すなわち被写体の最近点、最遠点）に関す
る情報と、撮像面の大きさに関する情報とを付加した多
視点画像の伝送を行い、表示側における画像サイズ、観
察距離を考慮した表示を可能とすることができる。

【００１５】

【００１６】

【発明の実施の形態】以下に、本発明をその実施の形態
を示す図面に基づいて説明する。 （第１の実施の形態）図４は、本発明の第１の実施の形
態における画像伝送方法で定義するパラメータを示す図
である。図４において、A1，A2はカメラのレンズ中心の
位置を示し、B1，B2は撮像面の中心を示す（説明を簡単
にするために、撮像面をレンズ中心に対して被写体側に
折り返して考えている）。

【００１７】ＯｐｅｎＧＬでは図４のA1B1，A2B2の距離
をカメラのレンズの焦点距離として定義しているが、本
発明においては、カメラのレンズ中心と撮像面の距離を
該レンズの焦点距離とは独立に定義する。この定義によ
り、合焦時のレンズ中心と撮像面との距離を被写体の距
離に応じて計算でき、正確な視野角を計算できる。視野
角は、撮像面のサイズと、レンズ中心と撮像面との距離
から計算できる。

【００１８】以下に図２を用いて、合焦時のレンズ中心
と撮像面との距離が、被写体とレンズ中心との距離によ
って変化することを説明する。図２は、被写体の位置、
合焦時の撮像面の位置と焦点距離の関係を示す図であ
る。図２において、Ａは被写体の位置、ＢはＡからの光
が結像する点、Ｏはレンズの中心、Ｆは平行光がレンズ
により結像する点、ａは被写体とレンズ中心Ｏとの距
離、ｂはＡからの光が結像する点Ｂとレンズ中心Ｏとの
距離、ｆはレンズの焦点距離を示す。ａ，ｂ，ｆの間に
は（数１）の関係が成り立つことが知られている。

【００１９】

【数１】

【００２０】（数１）より、被写体が焦点距離を無視で
きるくらいレンズから遠い（ａ>>ｆ）場合には、１／ａ
→ ０となりｂ ＝ ｆと近似できる。しかし、被写体が
比較的レンズに近い場合には、１／ａの項を無視でき
ず、ｂ≠ｆとなる。従って、被写体が比較的レンズに近
い場合にも正しく視野角を計算するためには、レンズ中
心と結像面との距離を焦点距離とは独立に定義する必要
がある。そして、撮像面の幅をｗin、高さをｈinとする
と、撮像時の視野角は（数２）で表される。

【００２１】

【数２】

【００２２】よって、表示時の画像の幅をｗout、高さ
をｈoutとすると、撮像時の視野角を再現する観察距離
は、

【００２３】

【数３】

【００２４】となる。

【００２５】次に、画像内の最近点、最遠点に基づく表
示側における見やすさの改善について説明する。図３
は、２つのプロジェクタを用いて輻輳投影をする場合の
輻輳距離、最近点、最遠点の位置関係を説明するための
図である。図３において、Ｃは輻輳点、Ａは最近点、Ｂ
は最遠点を示す。

【００２６】輻輳のある投射においては、観察者が輻輳
点Ｃを見る場合に視差が０となる（図３において、両眼
とも画像の中心を見ることになるので、左右の目が見る
画像内の相対的な位置の違いはなくなる）。そして、最
近点Ａを見る場合にはいわゆる寄り目の状態となり、画
像上で寄り目の方向にＤａの視差が生じる。図３におい
て観察者は、輻輳点Ｃを見るときと比べて、両目とも内
側にＤａ／２ずれた点を見る。また、逆に最遠点Ｂを見
る場合にはいわゆる離れ目の状態となり、画像上で離れ
目の方向にＤｂの視差が生じる。

【００２７】また、図１は平行投影の場合の最近点、最
遠点、観察者の輻輳と調節が一致する点の位置関係を示
す図である。図１において、Ａは表示される画像の最近
点、Ｂは最遠点、Ｃは観察者の輻輳と調節が一致する点
を示す。図１に示す平行投影の場合、Ｄc の視差がある
画像を表示すると、スクリーン上では同じ点に表示さ
れ、観察者の輻輳と調節が一致する。

【００２８】上述の図３と図１の画像内における視差
は、観察者にスクリーン面（Ｃを含む面）に対して手前
か奥かという立体感として知覚されるが、視差が大きく
なると融合しなくなったり（２重に見える状態）、観察
者に違和感・不快感を与えたりする。

【００２９】観察者の見やすさの改善は、最近点、最遠
点、撮像時の輻輳点をもとに、画像を図３に示す方向
（画像１、画像２を各々の投射軸の垂直面内で水平方
向）にずらすことにより、輻輳点と最遠距離、最近距離
との位置関係を変化させることで可能となる。画像のず
らし方については、例えば画像間の視差の平均値を相殺
するようにずらすことによって、画像全体を均一に見や
すくできる。

【００３０】図５は、そのような処理のブロック図であ
る。図５では、簡単のために２眼式（２視点）のデータ
についての例を示している。図５において、１は画像復
号手段、２は視差推定手段、３は平均視差演算手段、４
ａ，４ｂは画像シフト手段、５ａ，５ｂは画像表示手段
である。以下に各手段の動作について説明する。

【００３１】画像復号手段１は、送信側で符号化された
多視点画像データを受信し、これを復号する。画像復号
手段１により復号された左右の画像は視差推定手段２に
送られる。視差推定手段２は、画像復号手段１によって
復号された左右の画像から各画素における視差（視差地
図）を計算する。例えば、左画像を基準としてブロック
マッチングにより視差を計算する場合について、図６を
用いて以下に説明する。まず、左画像中に窓領域を設定
する。次に、（数４）に示す残差平方和(ＳＳＤ)を計算
する。

【００３２】

【数４】

【００３３】（数４）の計算は、dminからdmaxの範囲の
ｄについて１画素間隔で計算する。そして、dminからdm
axの範囲でＳＳＤを最小にするｄの値を、設定した窓領
域での視差とする。画像の各画素における視差は、窓領
域を順次ずらして設定し、上記の計算をすることによっ
て得られる。

【００３４】ＳＳＤを計算する範囲dmin、dmaxは、最近
点、最遠点の情報より計算できる。図７、図８を用い
て、平行撮影時と輻輳撮影時の場合のdmin、dmaxの求め
方について以下に説明する。

【００３５】図７は、平行撮影の場合を示す図である。
図７に示す座標系において、左右のレンズ中心の座標値
を（−Ｄ／２，０）、（Ｄ／２，０）、撮像面とレンズ
中心との距離をｂ、３次元空間中の物***置の水平座標
値をＸ0 、奥行き方向の座標値をＺ0 、左右の撮像面で
位置（Ｘ0、Ｚ0）の物体からの光が撮像される水平位置
をそれぞれｘl0, ｘr0とする（ｘl0, ｘr0はカメラの光
軸と撮像面の交点を原点とする平面座標系の水平座標）
と、図形的な関係より、

【００３６】

【数５】

【００３７】となる。よって、左右の画像を基準とした
視差はそれぞれ、（数６）に示す式で表される。

【００３８】

【数６】

【００３９】ここで、画像中の最近点の奥行き値をＺmi
n、最遠点の奥行き値をＺmaxとすると、ＳＳＤを計算す
る範囲の上限dmaxと下限dminは（数７）で表される。

【００４０】

【数７】

【００４１】また、図８は輻輳撮影の場合を示す図であ
る。図８に示す座標系において、輻輳点（左右のカメラ
の光軸の交点）の座標値を（０，Ｃ）、左右のレンズ中
心の座標値を（−Ｄ／２，０）、（Ｄ／２，０）、撮像
面とレンズ中心との距離をｂ、３次元空間中の物***置
の水平座標値をＸ0、奥行き方向の座標値をＺ0、左右の
撮像面で位置（Ｘ0、Ｚ0）の物体からの光が撮像される
水平位置をそれぞれｘl0，ｘr0とする（ｘl0，ｘr0はカ
メラの光軸と撮像面の交点を原点とする平面座標系の水
平座標）と、図形的な関係より、

【００４２】

【数８】

【００４３】となる。したがって、左右の画像を基準と
した時の視差はそれぞれ、（数９）に示す式で表され
る。

【００４４】

【数９】

【００４５】（数９）の式中にＸ0が残っていることか
ら、輻輳撮像では奥行きが同じであっても、水平方向の
位置によって視差が異なる（即ち、再生される立体像が
歪む）ことがわかる。今、簡単のためにＸ0＝０（即ち
Ｚ軸）上の点における視差を考えると、（数９）にＸ0
＝０を代入して（数１０）を得る。

【００４６】

【数１０】

【００４７】（数１０）より、画像中の最近点の奥行き
値Ｚmin、最遠点の奥行き値Ｚmax、輻輳点の奥行き値Ｃ
の位置関係と、水平画素数ｎｘ、撮像面(ＣＣＤ)の幅ｗ
inから視差の上限画素数dmax、下限画素数dminを決定で
きる。

【００４８】Ｚ軸上以外の点における視差を考慮する場
合には、（数９）の最大値、最小値を計算することによ
って、視差の上限dmax、下限dminを決定できる。

【００４９】以上説明したように、画像中の最近点の奥
行き値、最遠点の奥行き値、カメラの位置、カメラの光
軸の向きが与えられると、視差の取るべき値の範囲を計
算でき、視差演算時にＳＳＤを計算する範囲を決定でき
る。平均視差演算手段３は、視差推定手段２によって計
算された視差地図の平均を演算する。視差地図の平均は
（数１１）を計算することによって得られる。

【００５０】

【数１１】

【００５１】画像シフト手段４ａ、４ｂは、平均視差演
算手段３によって得られる平均視差を有する奥行きの点
が、表示面と同じ奥行き（すなわち表示面上で視差０と
なるように）に表示されるように画像をシフトする。

【００５２】平行投影による表示を示す図１において、
Ａは表示する画像中の最近点の奥行き、Ｂは最遠点の奥
行き、Ｃは平均視差の奥行きを示す。図１から、平行投
影では左右の画像間で（数１２）で示すＤc の視差があ
る場合に、スクリーン上で視差がなくなり、輻輳と調節
が一致した自然な表示となることがわかる。

【００５３】

【数１２】

【００５４】画像シフト手段４ａは、（数１３）に示す
シフト量（右方向へのシフトを正としている）だけ左画
像をシフトする。

【００５５】

【数１３】

【００５６】そして、画像シフト手段４ｂは、逆方向に
同じ量だけ右画像をシフトする。画像シフト手段４ａお
よび４ｂによるシフトの結果、平均視差を有する点がス
クリーンと同一の奥行きに表示されるようになる。

【００５７】また、輻輳投影による表示を示す図３にお
いて、Ａは表示する画像中の最近点の奥行き、Ｂは最遠
点の奥行き、Ｃは平均視差の奥行きを示す。輻輳投影で
は、画像の中心で視差が０の場合に、スクリーンと同一
の奥行きに表示されることになる。したがって、輻輳投
影の場合画像シフト手段４ａおよび４ｂは平均視差を−
１／２倍した値だけ左右の画像をシフトする。

【００５８】以上のように本実施の形態によれば、多視
点画像を伝送する際に、画像内の最近点、最遠点の情報
を付加することにより、表示側で目の疲れない表示（視
差制御）を行うことができる。

【００５９】また、カメラの撮像面（ＣＣＤ）のサイ
ズ、撮像面とレンズ中心との距離、及びレンズの焦点距
離に関する情報を付加して伝送することにより、撮影時
の視野角に応じた表示を行おうとする際、被写体に接近
して撮影した映像についても、表示側で撮影時の視野角
を精度よく計算することができる。

【００６０】なお、多視点画像中の最近点、最遠点に関
する情報を付加せずに伝送する場合には、最近点、最遠
点に関する情報の変わりに、最近点、最遠点に関する情
報が付加されていないことを示す専用の符号を付加して
伝送し、表示側において、予め設定した範囲内で視差の
計算を行うことにより、画像内の最近点、最遠点での視
差を推定することができ、本発明に含まれる。

【００６１】さらに、伝送側において、多視点画像中の
最近点、最遠点に関する情報を特定の奥行き値に設定す
ることにより、その設定された特定の奥行き範囲での視
差が融合範囲に入るように視差制御することができ、本
発明に含まれる。

【００６２】また、本発明においては視差の計算を表示
側で行う例について説明したが、符号化された画像中に
含まれる視差を用いてもよく、本発明に含まれる。図１
０を用いてそのような例について説明する。

【００６３】図１０において、画像復号手段６以外の構
成の動作は、図５に示す視差制御方式と同一であるので
説明を省略し、以下画像復号手段６の動作について説明
する。画像復号手段６は、符号化された画像データを復
号し、左右の画像と左画像を基準とした視差を出力す
る。ＭＰＥＧ−２による多視点画像伝送方式で２眼式画
像を伝送する際には、左画像を基準とする視差補償によ
り圧縮率を高めている。符合化された画像データ中から
視差を取り出すことにより、表示側で視差の計算をする
必要がなくなり、表示側での演算量を低減できる。

【００６４】なお、平均視差演算手段３による視差の平
均の計算は、画面の中央部を重視して（数１４）による
重み付け平均値を用いてもよい。こうのようにすれば、
画像の中心部で、より融合しやすい視差制御を行え、本
発明に含まれる。

【００６５】

【数１４】

【００６６】図９（ａ）（ｂ）（ｃ）は、（数１４）に
よる重み付け平均の計算に用いる重みの分布の例を示
す。簡単のため１次元的に示しているが、実際には、画
像中央部で周辺部よりも大きな値となる２次元的な分布
である。また、重みの値はすべて０以上の値（負でない
値）である。 （第２の実施の形態）図１１は、本発明の第２の実施の
形態における視差制御方式のブロック図である。図１１
において、頻度計算手段７、シフト量演算手段８以外の
構成は、第１の実施の形態におけるものと同一の動作を
行うものであるため、第１の実施の形態での説明図と同
一の符号を付し、説明を省略する。以下に頻度計算手段
７、シフト量演算手段８の動作について説明する。

【００６７】頻度計算手段７は、画像復号手段６によっ
て復号された左画像基準の視差の頻度を計算する。視差
の頻度とは、画像のある領域（たとえば、画像全体でも
よいし、いっての基準で決めた特定の領域でもよい）内
における視差の各値毎に計算した画素数である。シフト
量演算手段８は、頻度計算手段７によって計算された
（画像間での）視差の頻度と画像の視野角に応じた人の
目の融合範囲とから、融合範囲内の視差の頻度の和が最
大になるシフト量を演算し、画像シフト手段４ａ, ４ｂ
に出力する。

【００６８】図１２は、シフト演算手段８の構成の一例
を示す。図１２において、９はＭＰＵ、１０は融合範囲
テーブルである。ＭＰＵ９は画像表示面の幅と観察距離
から（数１５）に示す水平方向の視野角を計算し、該視
野角における融合範囲を融合範囲テーブル１０から読み
出す。

【００６９】

【数１５】

【００７０】図１３は融合範囲テーブルの特性の１例を
示す。図１３において、横軸は画像表示面の水平方向の
視野角であり、縦軸は視差の融合範囲（（数１６）によ
り角度換算している）である。

【００７１】

【数１６】

【００７２】なお、図１３の縦軸の符号は負の側が表示
面よりも手前に知覚される視差、正の側が表示面よりも
奥に知覚される視差を示している。図１４は、（数１
６）の図形的な意味を示す図である。図１４は、角度換
算した視差θは画像表示面上での視差Δを視野角に換算
したものであることを示す。

【００７３】一方、図１および図３に示す平行投影と輻
輳投影において、画像の位置（例えば液晶プロジェクタ
であれば液晶上の画素の位置）ｘl1,ｘr1 と表示面上で
の位置Ｘl,Ｘr の位置関係は、それぞれ（数１７）（数
１９）となり、表示面上での視差は（数１８）（数２
０）となる。

【００７４】

【数１７】

【００７５】

【数１８】

【００７６】

【数１９】

【００７７】

【数２０】

【００７８】そして、撮影時の撮影面上での座標値（ｘ
l0,ｙl0），（ｘr0,ｙr0）と、投影時の画像の位置（ｘ
l1,ｙl0），（ｘr1,ｙr1）（例えば液晶プロジェクタで
あれば液晶上の画素の位置）との関係は、（数２１）で
表される。

【００７９】

【数２１】

【００８０】ここで、撮像面の幅ｗinはカメラパラメー
タから得られ、表示時の画像幅ｗoutは表示系固有の値
である。

【００８１】撮像時の条件（平行撮影／輻輳撮影）に応
じて（数５）もしくは（数８）を用いてｘl0,ｘr0を計
算し、（数２１）によりｘl1,ｘr1に変換する。更に、
投影時の条件（平行投影／輻輳投影）に応じて、（数１
８）もしくは（数２０）を計算することにより、撮像条
件、投影条件の双方を考慮して、表示画面上での視差を
計算できる。

【００８２】ＭＰＵ９は、融合範囲テーブル１０から読
み出した融合範囲を表示面上での視差(距離)に換算し、
画像表示面上での視差の融合範囲を決定する。そして、
ＭＰＵ９は、上述した画像データにおける視差と画像表
示面上での視差の関係とを用いて、融合範囲内の視差の
頻度の和が最大になるような、画像データに対するシフ
ト量を計算する（視差制御による画像のシフトは、視差
の頻度分布を図１５において水平方向に移動させること
を意味する）。

【００８３】画像シフト手段４ａ，４ｂによって該出力
シフト量だけ逆方向に画像をシフトし、画像表示手段５
ａ，５ｂによって表示することにより、融合範囲内での
視差の頻度の和が最大（すなわち画像内で融合する画素
の面積が最大）になる表示を行うことができる。

【００８４】以上説明したように、本実施の形態によれ
ば、人の目の融合範囲に応じた視差制御を行うことによ
って、表示時に画像のより多くの部分で視差を融合範囲
内に入るようにすることができる。

【００８５】なお、本実施の形態では、融合範囲内での
視差頻度の和が最大になる視差制御について説明した
が、視差の平均値が融合範囲の中央になるように視差制
御してもほぼ同等の効果を得ることができ、本発明に含
まれる。

【００８６】また、伝送側において、最近点及び最遠点
を、実際の画像中の最近点及び最遠点とは異なる値に設
定し、表示側において該設定値の最近点及び最遠点に相
当する各々の視差の平均の視差が、融合範囲の中央にな
るように視差制御することにより、画像作成者の意図す
る奥行きでの画像を優先的に観察者に提示することがで
き、本発明に含まれる。 （第３の実施の形態）本発明の第３の実施の形態は、１
組の画像対を入力し、初期視差と初期視差の信頼性とを
計算し、基準画像と初期視差の信頼性とから物体輪郭線
を検出し、初期視差と初期視差の信頼性と検出された物
体輪郭線とから、物体輪郭線近傍の初期視差の信頼性の
低い領域での視差を決定する。このとき視差は、物体輪
郭線において変化し、かつ、周囲の視差とは滑らかに接
続するように決定する視差推定方法およびその装置であ
る。

【００８７】本実施の形態では前述した構成により、基
準画像と参照画像の１組の画像対から、初期視差と初期
視差の信頼性とを計算し、基準画像と初期視差の信頼性
とから物体輪郭線を検出し、初期視差と初期視差の信頼
性と検出された物体輪郭線とから、物体輪郭線近傍の初
期視差の信頼性の低い領域での視差が、物体輪郭線にお
いて変化し、かつ、周囲の視差とは滑らかに接続するよ
うに決定する。

【００８８】図１６は、本発明の第３の実施の形態にお
ける視差推定装置のブロック図である。

【００８９】図１６において、２０１はブロックマッチ
ングによる初期視差を計算する初期視差推定部、２０２
は初期視差推定時の信頼性評価部、２０３は輪郭検出
部、２０４は物体輪郭付近での視差推定部である。

【００９０】以下に上記構成の動作について説明する。

【００９１】初期視差推定部２０１は、（数２２）に示
す残差平方和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ ｄｉｆｆ
ｅｒｅｎｃｅｓ 以下ＳＳＤ）の計算を行う。（数２
２）によるＳＳＤの値は、基準画像に設定した窓領域と
参照画像中に設定した窓領域内の画素値の分布が似てい
るところでは小さな値となり、逆に双方の窓領域内での
画素値の分布が異なるところでは大きな値となる。初期
視差推定部２０１は、所定の探索範囲内でＳＳＤの値を
最小とする画像間のずれ量ｄを着目点（ｘ，ｙ）におけ
る視差とし、その視差の値を物体輪郭付近での視差推定
部２０４に出力し、探索範囲内でのＳＳＤの最小値を初
期視差推定時の信頼性評価部２０２に出力する。

【００９２】

【数２２】

【００９３】図１７は、初期視差推定部２０１による上
記初期視差推定（ブロックマッチング）を説明する図で
ある。図１７において、着目点（ｘ，ｙ）を中心にして
設定した窓領域が、（数２２）の積分領域Ｗを示す。窓
領域を順次ずらして設定し、上記のＳＳＤの計算を行う
ことにより画像全体での初期視差を得ることができる。

【００９４】初期視差推定時の信頼性評価部２０２は、
初期視差推定部２０１による視差計算で得られたＳＳＤ
の探索範囲中での最小値、窓領域（ブロック）内の画素
数、画像間のノイズの分散、窓領域内での基準画像の水
平垂直方向の輝度こう配の２乗の平均値から、（数２
３）に示す対応付けの信頼性評価値を計算する。

【００９５】

【数２３】

【００９６】（数２３）の値は、小さいほど視差推定の
信頼性が高いことを示し、逆に大きいほど信頼性が低い
ことを示す。

【００９７】図１８は、輪郭検出部２０３の構成の一例
を示すブロック図である。図１８において、２０５は基
準画像を輝度成分と色成分に分離するＹＣ分離回路、２
０６Ａ，２０６Ｂ，２０６Ｃは、上記分離された輝度成
分Ｙ、色成分Ｒ−Ｙ，Ｂ−Ｙからそれぞれエッジを検出
するエッジ検出回路、２０７はエッジ検出結果の稜線に
おける強度のみを出力する稜線検出部、２０８は初期視
差推定値の信頼性の低い領域で１の重みを出力し、初期
視差推定値の信頼性の高い領域では０の重みを出力する
重み発生回路である。

【００９８】以下に上記構成の動作について説明する。

【００９９】ＹＣ分離回路２０５は、基準画像を輝度成
分Ｙ、色成分Ｒ−Ｙ，Ｂ−Ｙに分離し出力する。

【０１００】エッジ検出回路２０６Ａ，２０６Ｂ，２０
６Ｃはそれぞれ、上記Ｙ，Ｒ−Ｙ，Ｂ−Ｙ成分からエッ
ジ成分を検出する。図１９は、エッジ検出回路２０６の
構成の一例を示すブロック図である。図１９において、
２０９Ａ，２０９Ｂ，２０９Ｃはそれぞれ低空間周波数
域、中空間周波数域、高空間周波数域におけるエッジ成
分を検出する方向別フィルタ群である。２１０、２１
１、２１２、２１３は、それぞれの方向別フィルタ群を
構成する方向別フィルタである。図２０は、上記方向別
フィルタの空間的な重みの一例であり。図２０（ａ），
（ｂ），（ｃ）は垂直方向に連続するエッジを、
（ｄ），（ｅ），（ｆ）は斜め方向のエッジを検出する
ものである。

【０１０１】尚、（ａ），（ｄ）が高空間周波数域、
（ｂ），（ｅ）が中空間周波数域、（ｃ），（ｆ）が低
空間周波数域用の重みの分布の一例を示す。水平および
他方の斜め方向のエッジ検出は、図２０の計数の配置を
９０度回転させればよい。また、エッジの方向は４５度
刻みに限る必要はなく、３０度刻みなどでもよいのは当
然である。

【０１０２】また、方向別フィルタの空間的な重みは図
２０に示すものに限る必要はなく、方向毎についての微
分型の重み分布になっていればよいのは当然である。各
方向別のエッジ強度の算出法を式で示すと（数２４）に
なる。

【０１０３】

【数２４】

【０１０４】統合部２１４は方向別フィルタ２１０，２
１１，２１２，２１３の出力を統合する。統合部２１４
による統合の一例を式で示すと（数２５）になる。

【０１０５】

【数２５】

【０１０６】尚、統合部２１４による統合は（数２５）
で示される２乗和の形式のものに限る必要はなく、絶対
値和の形式のものなどでもよいのは当然である。

【０１０７】輝度成分Ｙ、色成分Ｒ−Ｙ，Ｂ−Ｙについ
て、高空間周波数域、中空間周波数域、低空間周波数域
でそれぞれ統合部２１４Ａ，２１４Ｂ，２１４Ｃにより
統合されたエッジ強度は、乗算され出力される。そし
て、Ｙ，Ｒ−Ｙ，Ｂ−Ｙ各成分についての上記エッジ強
度は、加算され稜線検出部７に転送される。

【０１０８】尚、輪郭検出部２０３における基準画像の
輝度成分、色成分への分離はＹ，Ｒ−Ｙ，Ｂ−Ｙに限る
必要はなく、Ｒ，Ｇ，Ｂ等他の成分へ分離してもよいの
は当然である。また、Ｙ，Ｒ−Ｙ，Ｂ−Ｙについての上
記エッジ強度は加算後に稜線検出部２０７に転送するも
のに限る必要はなく、乗算後に稜線検出部２０７に転送
してもよい。

【０１０９】図１８に戻って、稜線検出部２０７は、上
記Ｙ，Ｒ−Ｙ，Ｂ−Ｙについて加算されたエッジ強度の
稜線における値のみを出力する。図２１は、稜線検出部
２０７の構成の一例である。図２１において、水平稜線
検出回路２１５は着目画素でのエッジ強度が着目点の上
下の画素でのエッジ強度の双方よりも大きい場合に１を
出力し、そうでない場合には０を出力する。

【０１１０】同様に、垂直稜線検出回路２１６は着目画
素でのエッジ強度が着目点の左右の画素でのエッジ強度
の双方よりも大きい場合に１を出力し、そうでない場合
には０を出力する。水平稜線検出回路２１５と垂直稜線
検出回路２１６の出力は、ＯＲ演算され、更に入力信号
と乗算して出力される。すなわち、稜線検出部２０７
は、水平方向もしくは垂直方向に隣接する画素でのエッ
ジ強度よりも強いエッジ強度を有する画素（すなわち稜
線となっている画素）におけるエッジ強度のみを出力
し、その他の画素については０を出力する。

【０１１１】再び図１８に戻って、重み発生回路２０８
は、初期視差推定値の信頼性評価値がしきい値以上の時
１を出力し、しきい値未満の時には０を出力する。重み
発生回路２０８の出力を稜線検出部２０７の出力と乗算
することにより、初期視差推定値の信頼性が低いところ
でのエッジ、すなわち視差が不連続に変化する物体輪郭
線を抽出できる。また、重み発生回路２０８の出力は、
後述する物体輪郭付近での視差推定部２０４の演算領域
メモリに記憶される。物体輪郭線の抽出を式で示すと
（数２６）となる。

【０１１２】

【数２６】

【０１１３】尚、エッジ検出結果２０６Ａ，２０６Ｂ，
２０６Ｃの出力を加算して稜線検出部７に入力するよう
に限る必要はなく、乗算して稜線検出部２０７に入力し
てもよい。また、稜線検出部２０７の出力と乗算される
重み発生回路２０８による重み発生の方法は、０と１の
２値に限る必要はなく、初期視差推定時の信頼性に応じ
て連続的な値を出力してもよいのは当然である。

【０１１４】物体輪郭付近での視差推定部２０４は、物
体輪郭線近傍の初期視差推定値の信頼性の低い領域での
視差を、輪郭強度、初期視差から再計算する。物体輪郭
付近での視差推定部２０４は、（数２７）で定義される
視差の分布についてのエネルギーを最小化する視差分布
を計算する。

【０１１５】

【数２７】

【０１１６】重み関数ｗ（ｘ，ｙ）は滑らかさのパラメ
ータと輪郭強度により（数２８）として定義する。

【０１１７】

【数２８】

【０１１８】（数２７）を最小にする視差分布の条件は
（数２９）である。

【０１１９】

【数２９】

【０１２０】（数２９）の微分方程式は、有限要素法
（ＦＥＭ）等の公知の技術によって数値的に解くことが
できる。

【０１２１】図２２は、物体輪郭付近での視差推定部２
０４の構成の一例を示すブロック図である。図２２にお
いて、２１７は視差分布エネルギー用の重みを発生する
視差分布エネルギー用重み発生回路、２１８は演算領域
メモリ、２１９は視差メモリ、２２０は重みメモリ、２
２１はＦＥＭ演算回路である。

【０１２２】視差分布エネルギー用重み発生回路２１７
は、輪郭強度と滑らかさのパラメータλから（数２８）
の重み関数の値を計算し、重みメモリ２２０に書き込
む。ＦＥＭ演算回路２２１は、（数２９）を有限要素法
により解き、視差分布を計算する。

【０１２３】以上のように本実施の形態によれば、ブロ
ックマッチングによる視差推定値の信頼性が低い領域に
おいて、物体輪郭線を検出し、検出した物体輪郭線の所
で視差が不連続に変化するように視差推定を行うことが
できる。

【０１２４】また、本実施の形態によれば、任意の形状
の物体輪郭線の所で視差が不連続に変化するように視差
推定を行うことができる。

【０１２５】尚、物体輪郭付近での視差推定は、視差が
物体輪郭線の所で変化し、かつ、周囲の視差と滑らかに
接続すればよく、（数２７）に示すエネルギーを最小化
する視差として計算する方法に限る必要はない。そのよ
うな例について、以下に説明する。 （第４の実施の形態）図２３は、本発明の第４の実施の
形態における視差推定装置の構成を示すブロック図であ
る。図２３において、２０１はブロックマッチングによ
る初期視差を計算する初期視差推定部、２０２は初期視
差推定時の信頼性評価部、２２２は輪郭検出部、２２３
は物体輪郭付近での視差推定部である。

【０１２６】上記構成において、輪郭検出部２２２、物
体輪郭付近での視差推定部２２３以外の構成の動作は本
発明の第３の実施の形態と同一であるので説明を省略
し、以下に輪郭検出部２２２、物体輪郭付近での視差推
定部２２３の動作について説明する。

【０１２７】まず、輪郭検出部２２２は、本発明の第３
の実施の形態における輪郭検出部と同様の輪郭検出を行
ない、検出結果を２値化（例えば、０と１）して出力す
る。物体輪郭付近での視差推定部２２３は、物体輪郭線
近傍の初期視差推定値の信頼性の低い領域での視差を、
初期視差と輪郭検出部２２２によって検出された物体輪
郭線とから計算する。

【０１２８】図２４は、物体輪郭付近での視差推定部２
２３による視差推定の様子を示す図である。図２４にお
いて、２９１は初期視差推定値の信頼性の低い領域、２
９２は輪郭検出部２２２によって検出された物体輪郭
線、２９３は初期視差推定値の信頼性の高い領域、２９
４は視差を計算しようとする着目点、２９５は着目点を
含むように設定した窓領域である。

【０１２９】着目点２９４（ｘ，ｙ）における視差は、
設定窓領域内で初期視差推定値の信頼性の低い領域２９
１と接する周囲の領域（この場合は、初期視差推定値の
信頼性の高い領域２９３ａ）での視差を用い、着目点２
９４での視差が、周囲の領域と着目点２９４との距離に
応じて、周囲の領域での視差の値の影響を受けるように
決定する。この時、周囲の領域における視差は、物体輪
郭線２９２を越えて着目点２９４に影響を与えないよう
にすることにより、物体輪郭線２９２の所で変化し、か
つ、周囲の視差と滑らかに接続するするように視差を決
定できる。物体輪郭付近での視差推定部２２３による視
差推定を一例として式で表すと（数３０）となる。

【０１３０】

【数３０】

【０１３１】ただし、物体輪郭付近での視差推定部２２
３による視差推定は、（数３０）に限る必要はなく、視
差が物体輪郭線で変化し、かつ、周囲の視差と滑らかに
接続するものであればよいのは当然である。

【０１３２】以上のように本実施の形態によれば、ブロ
ックマッチングによる視差推定値の信頼性が低い領域に
おいて、物体輪郭線を検出し、検出した物体輪郭線の所
で視差が不連続に変化するように視差推定を行うことが
できる。

【０１３３】また、本実施の形態によれば、任意の形状
の物体輪郭線の所で視差が不連続に変化するように視差
推定を行うことができる。

【０１３４】さらに、本実施の形態によれば、初期視差
推定値の信頼性の低い領域において、着目点近傍で比較
的少数の周囲の視差を参照して視差を計算することによ
り、少ないメモリ容量と演算量で視差の計算を行うこと
ができる。

【０１３５】また、第３と第４の実施の形態で説明した
視差推定の結果を用いて、左右の画像をシフトし統合す
ることにより、それら左右の画像に対応する各々の視点
の間の所定の中間視点における画像を生成できる。ここ
で、視差推定と中間視点画像生成とは異なる場所で行っ
てもよい。以下に、視差推定と中間視点画像生成とを異
なる場所で行う際の伝送、受信方法について説明する。 （第５の実施の形態）図２５は、本発明の第５の実施の
形態において、送信側で視差推定（もしくは動き推定）
を行うシステムの送信ブロックの一例である。

【０１３６】図２５において、１７０は左画像を基準と
した視差ＶL を推定する視差推定手段、１７１は右画像
を基準とした視差ＶR を推定する視差推定手段、１７２
ａ〜ｄは符号化器、１７３ａ，ｂは復号化器、１７４は
左画像Ｌと左画像を基準とした視差ＶL から右画像Ｒを
予測する予測手段、１７５は左画像を基準とした視差Ｖ
Lから右画像を基準とした視差ＶRを予測する予測手段、
１７６ａ，ｂは視差が正しく推定されない領域での視差
を決定する穴埋め手段である。以下に上記構成の動作に
ついて説明する。

【０１３７】まず、左画像Ｌは符号化器１７２ａによっ
て符号化される。また、視差推定手段１７０、１７１に
よって左右の画像をそれぞれ基準とした視差ＶL，ＶRが
推定される。オクルージョン等により視差が正しく推定
されない領域については、第３または第４の実施の形態
で説明した視差推定方法を用いた穴埋め手段１７６ａ，
１７６ｂによって視差が決定される。

【０１３８】次に、左画像を基準とした穴埋め後の視差
は符号化器１７２ｂにより符号化される。符号化された
左画像を基準とした穴埋め後の視差は、復号化器１７３
ａにより復号化され、予測器１７４による右画像Ｒの予
測と、予測器１７５による穴埋め後の右画像を基準とし
た視差の予測に用いられる。予測器１７５による右画像
を基準とした視差ＶR の予測は、左画像を基準とした視
差を用いて、（数３１）として計算する。

【０１３９】

【数３１】

【０１４０】右画像Ｒは予測器１７４による予測画像と
の残差をとり、符号化器１７２ｄによって符号化され
る。右画像を基準とした穴埋め後の視差ＶR は、予測器
１７５による予測視差との残差をとり、符号化器１７２
ｃにより符号化される。

【０１４１】図２６は、受信側で視差推定を行うシステ
ムの受信ブロックの一例である。図２６において、１８
１ａ〜ｄは復号化器、１７４は右画像Ｒの予測器、１７
５は右画像を基準とした視差の予測器である。符号化さ
れた左画像Ｌ、左画像基準の視差ＶL、右画像基準の視
差ＶRの予測誤差、右画像Ｒの予測誤差はそれぞれ復号
化器１８１ａ〜１８１ｄにより復号化される。右画像Ｒ
は予測器１７４による予測結果と復号化された右画像の
予測誤差とを加算して復元される。右画像基準の視差Ｖ
R は、予測器１７５による予測結果と復号化された予測
誤差とを加算して復元される。

【０１４２】左画像Ｌ、右画像Ｒ、左画像基準の視差Ｖ
L、右画像基準の視差ＶRが復元されると、例えば特願平
７−１０９８２１号に示される中間視点画像生成方法に
より左右の画像の中間視点での画像を生成することがで
き、左画像、右画像と併せて多視点画像として表示する
ことができる。

【０１４３】以上説明したように、上記の構成により、
送信側で視差推定と穴埋め処理を行うことにより、受信
側での演算量を低減することができ、受信側の装置規模
を縮小することができる。

【０１４４】また、多視点画像を伝送する際に、送信側
で中間視点画像生成を行うことにより伝送量を低減した
画像伝送を行うことができる。そのような例について以
下に説明する。 （第６の実施の形態）図２７は、本発明の第６の実施の
形態における多視点画像圧縮伝送システムの送信側の構
成図である。図２７において、１０１ａ〜１０１ｄは各
視点位置での画像を撮像するカメラ、１０２はカメラ１
の画像とカメラ４の画像を圧縮し符号化する画像圧縮符
号化部、１０３ａは画像圧縮符号化部１０２が圧縮符号
化した画像データを復号化伸長する復号化画像伸長部、
１０４ａは復号化画像伸長部１０３ａが復号化伸長した
カメラ１の画像とカメラ４の画像から、カメラ２の視点
とカメラ３の視点での画像を予測し生成する中間視点画
像生成部、１０５はカメラ２の画像とカメラ３の画像に
ついて中間視点画像生成部１０４ａが生成した画像との
残差を圧縮し符号化する残差圧縮符号化部である。以下
に上記構成の動作について説明する。

【０１４５】画像圧縮符号化部１０２は、多視点画像中
の複数の画像（本実施の形態では４視点の画像の両端の
視点の画像）を、画像間のブロック相関等を利用した既
存の技術により圧縮し符号化する。図３１は、画像圧縮
符号化部１０２の構成の一例を示す。図３１において、
１０７ａ，１０７ｂは８×８画素もしくは１６×１６画
素毎にＤＣＴ計算を行いＤＣＴ係数を計算するＤＣＴ手
段、１０８ａ，１０８ｂはＤＣＴ係数を量子化する量子
化手段、１０９ａは逆量子化手段、１１０ａは逆ＤＣＴ
計算をおこなう逆ＤＣＴ手段、１１１は視差検出手段、
１１２ａは視差補償手段、１１３ａは量子化されたＤＣ
Ｔ係数と視差を符号化する符号化手段である。以下に上
記構成の動作について説明する。

【０１４６】ＤＣＴ手段１０７ａは、カメラ１の画像を
ブロック毎に処理し、各ブロックについてＤＣＴ係数を
計算する。量子化手段１０８ａは、そのＤＣＴ係数を量
子化する。逆量子化手段１０９ａは、その量子化された
ＤＣＴ係数を逆量子化する。逆ＤＣＴ手段１１０ａは、
その逆量子化されたＤＣＴ係数を逆変換し、受信側で得
られるカメラ１の画像を復元する。視差検出手段１１１
は復元されたカメラ１の画像とカメラ４の画像間でブロ
ックマッチングを行い、カメラ１の画像を基準とした視
差をブロック毎に計算する。視差補償手段１１２ａは、
上記復元されたカメラ１の画像とブロック毎の視差を用
いてカメラ４の画像を予測する（すなわち、動画像の動
き補償に相当する処理を行う）。ＤＣＴ手段１０７ｂ
は、カメラ４の画像と上記予測画像の残差をブロック毎
に処理しＤＣＴ係数を計算する。量子化手段１０８ｂは
その残差のＤＣＴ係数を量子化する。符号化手段１１３
ａは、カメラ１の画像の量子化されたＤＣＴ係数、ブロ
ック毎の視差、視差補償の残差の量子化されたＤＣＴ係
数を符号化する。

【０１４７】また、復号化画像伸長部１０３ａは、画像
圧縮符号化部１０２によって圧縮符号化された画像デー
タを復号化し伸長する。図３２は、復号化画像伸長部１
０３ａの構成の一例を示す図である。図３２において、
１１４ａは復号化手段、１０９ｂ、１０９ｃは逆量子化
手段、１１０ｂ，１１０ｃは逆ＤＣＴ手段、１１２ｂは
視差補償手段である。以下に上記構成の動作について説
明する。

【０１４８】復号化手段１１４ａは、圧縮符号化された
データを復号化し、カメラ１の画像の量子化されたＤＣ
Ｔ係数、ブロック毎の視差、視差補償の残差の量子化さ
れたＤＣＴ係数を伸長する。カメラ１の画像の量子化さ
れたＤＣＴ係数は、逆量子化手段１０９ｂによって逆量
子化され、逆ＤＣＴ手段１１０ｂによって画像として伸
長される。動き補償手段１１２ｂは、その伸長されたカ
メラ１の画像と復号化された視差から、カメラ４の予測
画像を生成する。そして、逆量子化手段１０９ｃ、逆Ｄ
ＣＴ手段１１０ｃによって伸長された残差を上記予測画
像に加えることにより、カメラ４の画像を伸長する。

【０１４９】中間視点画像生成部１０４ａは、本発明の
第３もしくは第４のいずれかの実施の形態に示す方法に
よって、カメラ１とカメラ４の画像から画素毎の視差を
計算し、カメラ２とカメラ３の画像を予測し生成する。

【０１５０】残差圧縮符号化部１０５は、カメラ２とカ
メラ３の画像と上記予測画像の残差を圧縮し符号化す
る。中間視点画像生成部１０４ａは、視差を画素毎に計
算するため、ブロックマッチングによるブロック毎の視
差計算と比較して、精度よく視差を推定できる。その結
果、中間視点画像の予測誤差（すなわち残差）を小さく
することができ、圧縮効率を高めることができるととも
に、より有効なビット割り当てを行うことができ、画質
を維持した圧縮を行える。図３３は、残差圧縮符号化部
の構成の一例を示す。図３３において、１０７ｃ，１０
７ｄはＤＣＴ手段、１０８ｃ，１０８ｄは量子化手段、
１１３ｂは符号化手段である。カメラ２、カメラ３の画
像の残差はそれぞれＤＣＴ手段１０７ｃ，１０７ｄによ
ってＤＣＴ係数に変換され、量子化手段１０８ｃ，１０
８ｄによって量子化され、符号化手段１１３ｂによって
符号化される。

【０１５１】図３４は、本発明の第６の実施の形態にお
ける多視点画像圧縮伝送システムの受信側の構成図であ
る。図３４において、１０３ｂは送信側の画像圧縮符号
化部１０２が圧縮符号化したカメラ１とカメラ４の画像
データを復号化伸長する復号化画像伸長部、１０４ｂは
復号化画像伸長部１０３ｂが復号化伸長したカメラ１と
カメラ４の画像から、カメラ２とカメラ３の視点での画
像を予測し生成する中間視点画像生成部、１０６はカメ
ラ２とカメラ３の視点での予測画像の予測誤差（残差）
を復号化し伸長する復号化残差伸長部である。復号化画
像伸長部１０３ｂおよび中間視点画像生成部１０４ｂの
動作については、送信側の復号化画像伸長部１０３ａお
よび中間視点画像生成部１０４ａの動作と同一であるの
で説明を省略し、以下に復号化残差伸長部の動作につい
て説明する。

【０１５２】復号化残差伸長部１０６は、送信側の残差
圧縮符号化部１０５によって圧縮符号化されたカメラ２
とカメラ３の視点での予測画像の予測誤差（残差）を復
号化し伸長する。図３５は、復号化残差伸長部１０６の
構成の一例を示す。図３５において、１１４ｂは復号化
手段、１０９ｄ，１０９ｅは逆量子化手段、１１０ｄ，
１１０ｅは逆ＤＣＴ手段である。圧縮符号化されたカメ
ラ２とカメラ３の画像の残差データは、復号化手段１１
４ｂによって復号化され、それぞれ、逆量子化手段１０
９ｄ，１０９ｅにより逆量子化され、逆ＤＣＴ手段１１
０ｄ，１１０ｅにより伸長される。復号化伸長されたカ
メラ２とカメラ３の画像の残差を、中間視点画像生成部
１０４ｂによって生成された画像にそれぞれ重畳するこ
とにより、カメラ２とカメラ３の視点の画像を復元す
る。

【０１５３】以上のように、本実施の形態によれば、送
信側で、多視点画像中の隣接しない２つの画像からその
中間視点の画像を生成し、その生成した中間視点画像と
その中間視点の実際の画像との残差を求め、上記２つの
画像と中間視点画像の残差とを圧縮符号化して伝送す
る。受信側で、伝送されてきた２つの画像と中間視点画
像の残差とを復号化伸長し、２つの画像から中間視点の
画像を生成し、復号化伸長した中間視点画像の残差を重
畳して中間視点での実際の画像に対応する画像を復元す
る。このようにすることにより、多視点画像を効率よ
く、また、画質を維持して圧縮伝送することができる。

【０１５４】なお、中間視点画像の生成は、多視点画像
の両端の２視点（カメラ１とカメラ４の視点）での画像
から中間視点での画像を生成する構成に限る必要はな
く、例えば、カメラ２とカメラ４の画像からカメラ１と
カメラ３の視点での画像を生成してもよく、カメラ１と
カメラ３の画像からカメラ２とカメラ４の視点での画像
を生成してもよい。更には、カメラ２とカメラ３の画像
からカメラ１とカメラ４の視点での画像を生成してもよ
く、それぞれ本発明に含まれる。

【０１５５】また、多視点画像の視点数は４視点に限る
必要はなく、また、２視点以上の視点での画像からそれ
ぞれの視点間の中間視点画像を生成してもよいのは明ら
かであり、本発明に含まれる。

【０１５６】また、本発明の第３および第４の実施の形
態において、初期視差推定値の信頼性評価値としては、
（数２３）に示すものに限る必要はなく、（数２３）の
分子のみを信頼性評価値としても、参照画像の輝度こう
配の影響を受けるがほぼ同様の効果を得ることができ本
発明に含まれる。

【０１５７】また、画像のノイズレベルが低い場合に
は、信頼性評価値としてノイズ項を無視した値を計算し
ても同様の効果が得られるのは当然であり本発明に含ま
れる。

【０１５８】さらに簡略化して、信頼性評価値として、
１画素当たりの残差平方和の最小値、あるいは残差平方
和の最小値を用いてもよく、より簡単な回路で計算が可
能となり、本発明に含まれる。

【０１５９】また、初期視差推定値の信頼性評価値とし
ては、（数３２）に示す双方向に推定した視差の差異を
用いてもよく、本発明に含まれる。

【０１６０】

【数３２】

【０１６１】また、初期視差推定の信頼性評価値として
は、上記のものを２つ以上組み合わせて用いることによ
り、より安定した信頼性評価をすることができ、本発明
に含まれる。

【０１６２】また、本発明の第３および第４の実施の形
態において、初期視差推定のための画像間の相関演算は
残差平方和（ＳＳＤ）に限る必要はなく、残差絶対値和
（ＳＡＤ）を用いても同様の効果を得ることができ、そ
のような実施の形態ももちろん本発明に含まれる。

【０１６３】また、本発明の第６の実施の形態におい
て、隣接しない２つの視点での画像の圧縮符号化の方法
としては、画像間（視点間）の相関を利用したものに限
る必要はなく、時間方向の相関を利用したものを用いて
もよく、本発明に含まれる。

【０１６４】

【発明の効果】以上のように本発明によれば、カメラの
撮像面（ＣＣＤ）のサイズと、撮像面とレンズ中心との
距離と、レンズの焦点距離に関する情報とを付加して伝
送することにより、撮影時の視野角に応じた表示を行お
うとする際、被写体に接近して撮影した映像について
も、表示側で撮影時の視野角を精度よく計算することが
でき、撮影時と同一の視野角を再現する観察距離を精度
よく決定できる。

【０１６５】また、多視点画像を伝送する際に画像内の
最近点、最遠点の情報を付加することにより、表示時に
目の疲れない表示（視差制御）を行うことができる。

【０１６６】また、人の目の融合範囲に応じた視差制御
を行うことによって、表示時に画像のより多くの部分で
視差を融合範囲内に入るようにすることができる。

【０１６７】また、伝送側において、付加する最近点、
最遠点の情報として、実際の画像中の最近点、最遠点と
は異なる値を設定し、表示側において該設定値の最近点
に相当する視差と、最遠点に相当する視差の平均の視差
が、融合範囲の中央になるように視差制御することによ
り、画像作成者の意図する奥行きでの画像を優先的に観
察者に提示することができる。

【０１６８】また、本発明によれば、ブロックマッチン
グによる視差推定値の信頼性が低い領域において、物体
輪郭線を検出し、検出した物体輪郭線の所で視差が不連
続に変化するように視差推定を行うことができる。

【０１６９】また、任意の形状の物体輪郭線の所で視差
が不連続に変化するように視差推定を行うことができ
る。。

【０１７０】また、送信側で視差の穴埋め処理（本発明
による、視差が物体輪郭線の所で変化し、かつ、周囲の
視差と滑らかに接続する視差推定処理）を行うことによ
り、受信側での演算量を低減することができ、受信側の
装置規模を縮小することができる。

【０１７１】また、多視点画像伝送システムの送信側と
受信側の双方で中間視点画像の生成を行うことにより、
中間視点画像の伝送量（残差の伝送量）を少なくするこ
とができ、その結果多視点画像を効率よく、また、画質
を維持して圧縮伝送することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態における平行投影の
場合の最近点、最遠点、観察者の輻輳と調節が一致する
点の位置関係を示す図

【図２】同被写体の位置、合焦時の撮像面の位置と焦点
距離の関係を示す図

【図３】同２つのプロジェクタを用いて輻輳投影をする
場合の輻輳距離、最近点、最遠点の位置関係を示す図

【図４】本発明の第１の実施の形態における画像伝送方
法で定義するパラメータを示す図

【図５】画像間の視差の平均値を相殺するようにずらす
処理のブロック図

【図６】左画像を基準としてブロックマッチングにより
視差を計算する場合を示す図

【図７】平行撮影の場合を示す図

【図８】輻輳撮影の場合を示す図

【図９】（ａ）〜（ｃ）は、（数１４）による重み付け
平均の計算に用いる重みの分布の例を示す図

【図１０】画像復号手段の動作を示す図

【図１１】本発明の第２の実施の形態における視差制御
方式のブロック図

【図１２】シフト演算手段の構成の一例を示す図

【図１３】融合範囲テーブルの特性図

【図１４】（数１６）の図形的な意味を示す図

【図１５】視差の頻度分布図

【図１６】本発明の第３の実施の形態による視差推定装
置の構成図

【図１７】同ブロックマッチングを示す図

【図１８】同輪郭検出部の構成図

【図１９】同エッジ検出部の構成の一例を示す構成図

【図２０】（ａ）〜（ｆ）は、同方向別のフィルタの重
み係数の例を示す図

【図２１】同稜線検出部の構成図

【図２２】同物体輪郭付近での視差推定部の構成図

【図２３】本発明の第４の実施の形態による視差推定装
置の構成図

【図２４】同物体輪郭線近傍での視差推定を示す図

【図２５】本発明の第５の実施の形態で送信側で視差推
定を行うシステムの送信部の構成図

【図２６】本発明の第５の実施の形態で送信側で視差推
定を行うシステムの受信部の構成図

【図２７】本発明の第６の実施の形態における多視点画
像伝送システムの送信部の構成図

【図２８】ＭＰＥＧ−２シンタックスの概略図

【図２９】伝送される多視点画像の時空間方向の関係図

【図３０】ＯｐｅｎＧＬによるカメラパラメータの定義
を示す図

【図３１】本発明の第６の実施の形態における多視点画
像伝送システムの画像圧縮符号化部の構成の一例を示す
図

【図３２】本発明の第６の実施の形態における多視点画
像伝送システムの復号化画像伸長部の構成の一例を示す
図

【図３３】本発明の第６の実施の形態における多視点画
像伝送システムの残差圧縮符号化部の構成の一例を示す
図

【図３４】本発明の第６の実施の形態における多視点画
像伝送システムの受信部の構成図

【図３５】本発明の第６の実施の形態における多視点画
像伝送システムの復号化残差伸長部の構成の一例を示す
図

【符号の説明】

Ａ 表示される画像の最近点 Ｂ 最遠点 Ｃ 観察者の輻輳と調節が一致する点 Ａ１，Ａ２ カメラのレンズ中心 Ｂ１，Ｂ２ 画像面の中心 Ｃ１ 輻輳点 ２０１ 初期視差推定部 ２０２ 初期視差推定時の信頼性評価部 ２０３ 輪郭検出部 ２０４ 物体輪郭付近での視差推定部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平８−9421（ＪＰ，Ａ) 特開 平７−167633（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 13/00

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 ２視点以上の画像の伝送において、最近点の奥行き値と最遠点の奥行き値を 付加して伝送
   し、 その伝送された前記最近点の奥行き値と最遠点の奥行き
   値と、融合範囲とを考慮して前記画像を表示することを
   特徴とする多視点画像伝送及び表示方法であって、 前記画像間の視差毎の頻度を求め、その視差毎の頻度が
   前記融合範囲内で最大となるように視差制御して前記２
   視点以上の画像を表示することを特徴とする多視点画像
   伝送及び表示方法。
2. 【請求項２】 ２視点以上の画像の伝送において、最近点の奥行き値と最遠点の奥行き値を 付加して伝送
   し、 その伝送された前記最近点の奥行き値と最遠点の奥行き
   値と、融合範囲とを考慮して前記画像を表示することを
   特徴とする多視点画像伝送及び表示方法であって、 前記画像間の視差の平均を求め、その視差の平均が前記
   融合範囲の中央と一致するように視差制御して前記２視
   点以上の画像を表示することを特徴とする多視点画像伝
   送及び表示方法。
3. 【請求項３】２視点以上の画像の伝送において、最近点の奥行き値と最遠点の奥行き値を 付加して伝送
   し、 その伝送された前記最近点の奥行き値と最遠点の奥行き
   値と、融合範囲とを考慮して前記画像を表示することを
   特徴とする多視点画像伝送及び表示方法であって、 伝送側において最近点及び最遠点を、画像中の最近点及
   び最遠点とは異なる値に設定し、 表示側において該最近点に相当する視差と最遠点に相当
   する視差の平均が融合範囲の中央と一致するように視差
   制御して前記２視点以上の画像を表示することにより、 画像作成者が意図する奥行きでの画像を優先的に見やす
   く表示することを特徴とする多視点画像伝送及び表示方
   法。
4. 【請求項４】 ２視点以上の画像の伝送において、最近点の奥行き値と最遠点の奥行き値を 付加して伝送
   し、 その伝送された前記最近点の奥行き値と最遠点の奥行き
   値と、融合範囲とを考慮して融合範囲内に納まるように
   前記画像を表示することを特徴とする多視点画像伝送及
   び表示方法であって、 前記画像間の視差毎の頻度を求め、その視差毎の頻度が
   前記融合範囲内で最大となるように視差制御して前記２
   視点以上の画像を表示することを特徴とする多視点画像
   伝送及び表示方法。
5. 【請求項５】 ２視点以上の画像の伝送において、最近点の奥行き値と最遠点の奥行き値を 付加して伝送
   し、 その伝送された前記最近点の奥行き値と最遠点の奥行き
   値と、融合範囲とを考慮して融合範囲内に納まるように
   前記画像を表示することを特徴とする多視点画像伝送及
   び表示方法であって、 前記画像間の視差の平均を求め、その視差の平均が前記
   融合範囲の中央と一致するように視差制御して前記２視
   点以上の画像を表示することを特徴とする多視点画像伝
   送及び表示方法。
6. 【請求項６】 ２視点以上の画像の伝送において、最近点の奥行き値と最遠点の奥行き値を 付加して伝送
   し、 その伝送された前記最近点の奥行き値と最遠点の奥行き
   値と、融合範囲とを考慮して融合範囲内に納まるように
   前記画像を表示することを特徴とする多視点画像伝送及
   び表示方法であって、 伝送側において最近点及び最遠点を、画像中の最近点及
   び最遠点とは異なる値に設定し、 表示側において該最近点に相当する視差と最遠点に相当
   する視差の平均が融合範囲の中央と一致するように視差
   制御して前記２視点以上の画像を表示することにより、 画像作成者が意図する奥行きでの画像を優先的に見やす
   く表示することを特徴とする多視点画像伝送及び表示方
   法。