JP2003333621A - 多視点画像伝送方法 - Google Patents
多視点画像伝送方法Info
- Publication number
- JP2003333621A JP2003333621A JP2003154399A JP2003154399A JP2003333621A JP 2003333621 A JP2003333621 A JP 2003333621A JP 2003154399 A JP2003154399 A JP 2003154399A JP 2003154399 A JP2003154399 A JP 2003154399A JP 2003333621 A JP2003333621 A JP 2003333621A
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax
- equation
- camera
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
や撮像面のサイズ、レンズ中心と撮像面との距離等の条
件をもとに、観察距離を適切に決定する必要がある(視
差がつきすぎて違和感のある表示や、逆に立体感の乏し
い表示にならないようにするため)。しかし、Open
GLでは、撮像時の視野角の大きさが表示側ではわから
ず、表示時の適切な視野角すなわち適切な観察距離を決
定できず、違和感のある立体表示となる可能性があると
いう課題を有していた。 【解決手段】2視点以上の画像の伝送において、画像を
撮像するカメラの撮像サイズ及びレンズ中心と撮像面と
の距離の情報を伝送することにより、表示側において撮
像時の視野角の情報を得ることができることを特徴とす
る多視点画像伝送方法。
Description
方法に関する。 【0002】 【従来の技術】従来、立体映像方式には様々なものが提
案されているが、特殊な眼鏡をかけることなく立体動画
像を複数人数で観察できる方式として、多視点画像によ
る多眼式立体映像方式が有望である。多眼式立体映像方
式においては、使用するカメラ台数及び表示装置台数が
多いほど、観察者に対して自然な運動視差を感じさせる
ことができ、また、多人数での観察が容易になる。しか
しながら、撮像系の規模やカメラの光軸の設定等の制約
により、実用的に用いることができるカメラ台数には限
度がある。また、伝送、蓄積過程においては、カメラ台
数に比例して増大する情報量を低減することが望まれ
る。 【0003】そこで、表示側において、2眼式ステレオ
画像から中間視点画像を生成することにより多眼式立体
画像を表示できれば、撮像系の負担を軽減し、伝送、蓄
積時の情報量を低減することができることになる。視点
の異なる複数の画像から、その異なる視点間の任意の視
点で見えるべき中間視点画像を生成するためには、画像
間で画素の対応を求めて奥行きを推定する必要がある。 【0004】また、動画像をデジタル伝送するための画
像圧縮方式として、MPEG−1、MPEG−2が提案
されている。さらに、MPEG−2を拡張して多視点画
像を伝送する試みも行われている(ISO/IEC13818-2/PDA
M3)。図28は、MPEG−2シンタックスの概略図で
ある。MPEG−2による伝送は、Sequence、GOP
(Group Of Picture)、Picture という階層構造を持つ
画像データの符号化、復号化によって行われる。ISO/IE
C13818-2/PDAM3によると、MPEG−2の拡張による多
視点画像の伝送は、(明記されていないためはっきりし
ないが)GOP層を拡張して実現されるようである。 【0005】図29は、伝送される多視点画像の時空間
方向の関係を示すものである。従来のMPEG−2で用
いられてきた動き補償に加えて、視差補償を用いること
によって符号化効率を高めようとしている。多視点画像
を伝送する際には、各カメラに関する情報(カメラの位
置、カメラの光軸の向き等のカメラパラメータ)を付加
して伝送する必要がある。ISO/IEC13818-2/PDAM3には、
カメラパラメータは図28のPic.Extension(Picture層
の拡張)に含めて伝送することが述べられているが、具
体的なカメラパラメータの記述については述べられてい
ない。 【0006】カメラパラメータの記述に関しては、CG
言語であるOpenGLにおいて、カメラの位置、カメ
ラの光軸の向き、カメラの位置と画像面との距離がカメ
ラパラメータとして定義されている(「オープン ジー
エル プログラミングガイド」(OpenGL Programming Gu
ide,The Official Guide to Learning OpenGL,Release
1,Addison-Wesley Publishing Company,1993))。 【0007】図30は、OpenGLによるカメラパラ
メータの定義を示す説明図である。図30において、A
はレンズ中心、Bは画像面(すなわち撮像面)の中心、
CはBから画像上端におろした垂線と画像上端の交点を
示す。A,B,Cの座標値はそれぞれ、(optical cent
er X,optical center Y,optical center Z),(image pl
ane center X,image plane center Y,image plane cent
er Z),(image plane vertical X,image plane vertic
al Y,image plane vertical Z)として定義されてい
る。 【0008】上記のOpenGLで定義されるカメラパ
ラメータの情報をPic.Extensionに付加して多視点画像
を伝送することが容易に考えられる。 【0009】 【発明が解決しようとする課題】しかしながら上記のよ
うな従来の方法では、画像内の最近点、最遠点(すなわ
ち被写体の最近点、最遠点)に関する情報がないため、
表示時に目の疲れにくい表示(例えば視差制御)を行お
うとする際に、どの奥行き範囲に対して行えばよいのか
わからないという課題を有していた。 【0010】また、多視点画像を表示する際には、撮影
時の視野角や撮像面のサイズ、レンズ中心と撮像面との
距離等の条件をもとに、観察距離を適切に決定する必要
がある(視差がつきすぎて違和感のある表示や、逆に立
体感の乏しい表示にならないようにするため)。しか
し、OpenGLでは、撮像面の大きさ(CCDの物理
的なサイズ)が定義されておらず、また、レンズ中心と
結像面との距離をレンズの焦点距離と常に等しいものと
して扱っている。そのため、撮像時の視野角の大きさが
表示側ではわからず、表示時の適切な視野角すなわち適
切な観察距離を決定できず、違和感のある立体表示とな
る可能性があるという課題を有していた。 【0011】本発明はかかる点に鑑み、表示側で撮影時
の視野角を精度よく計算することができる多視点画像の
伝送方法を提供することを目的とする。 【0012】 【課題を解決するための手段】本発明は、2視点以上の
画像の伝送において、画像を撮像するカメラの撮像サイ
ズ及びレンズ中心と撮像面との距離の情報を伝送するこ
とにより、表示側において撮像時の視野角の情報を得る
ことができることを特徴とする多視点画像伝送方法であ
る。 【0013】 【発明の実施の形態】以下に、本発明をその実施の形態
を示す図面に基づいて説明する。 (第1の実施の形態)図4は、本発明の第1の実施の形
態における画像伝送方法で定義するパラメータを示す図
である。図4において、A1,A2はカメラのレンズ中心の
位置を示し、B1,B2は撮像面の中心を示す(説明を簡単
にするために、撮像面をレンズ中心に対して被写体側に
折り返して考えている)。 【0014】OpenGLでは図4のA1B1,A2B2の距離
をカメラのレンズの焦点距離として定義しているが、本
発明においては、カメラのレンズ中心と撮像面の距離を
該レンズの焦点距離とは独立に定義する。この定義によ
り、合焦時のレンズ中心と撮像面との距離を被写体の距
離に応じて計算でき、正確な視野角を計算できる。視野
角は、撮像面のサイズと、レンズ中心と撮像面との距離
から計算できる。 【0015】以下に図2を用いて、合焦時のレンズ中心
と撮像面との距離が、被写体とレンズ中心との距離によ
って変化することを説明する。図2は、被写体の位置、
合焦時の撮像面の位置と焦点距離の関係を示す図であ
る。図2において、Aは被写体の位置、BはAからの光
が結像する点、Oはレンズの中心、Fは平行光がレンズ
により結像する点、aは被写体とレンズ中心Oとの距
離、bはAからの光が結像する点Bとレンズ中心Oとの
距離、fはレンズの焦点距離を示す。a,b,fの間に
は(数1)の関係が成り立つことが知られている。 【0016】 【数1】 【0017】(数1)より、被写体が焦点距離を無視で
きるくらいレンズから遠い(a>>f)場合には、1/a
→ 0となりb = fと近似できる。しかし、被写体が
比較的レンズに近い場合には、1/aの項を無視でき
ず、b≠fとなる。従って、被写体が比較的レンズに近
い場合にも正しく視野角を計算するためには、レンズ中
心と結像面との距離を焦点距離とは独立に定義する必要
がある。そして、撮像面の幅をwin、高さをhinとする
と、撮像時の視野角は(数2)で表される。 【0018】 【数2】 【0019】よって、表示時の画像の幅をwout、高さ
をhoutとすると、撮像時の視野角を再現する観察距離
は、 【0020】 【数3】 【0021】となる。 【0022】次に、画像内の最近点、最遠点に基づく表
示側における見やすさの改善について説明する。図3
は、2つのプロジェクタを用いて輻輳投影をする場合の
輻輳距離、最近点、最遠点の位置関係を説明するための
図である。図3において、Cは輻輳点、Aは最近点、B
は最遠点を示す。 【0023】輻輳のある投射においては、観察者が輻輳
点Cを見る場合に視差が0となる(図3において、両眼
とも画像の中心を見ることになるので、左右の目が見る
画像内の相対的な位置の違いはなくなる)。そして、最
近点Aを見る場合にはいわゆる寄り目の状態となり、画
像上で寄り目の方向にDaの視差が生じる。図3におい
て観察者は、輻輳点Cを見るときと比べて、両目とも内
側にDa/2ずれた点を見る。また、逆に最遠点Bを見
る場合にはいわゆる離れ目の状態となり、画像上で離れ
目の方向にDbの視差が生じる。 【0024】また、図1は平行投影の場合の最近点、最
遠点、観察者の輻輳と調節が一致する点の位置関係を示
す図である。図1において、Aは表示される画像の最近
点、Bは最遠点、Cは観察者の輻輳と調節が一致する点
を示す。図1に示す平行投影の場合、Dc の視差がある
画像を表示すると、スクリーン上では同じ点に表示さ
れ、観察者の輻輳と調節が一致する。 【0025】上述の図3と図1の画像内における視差
は、観察者にスクリーン面(Cを含む面)に対して手前
か奥かという立体感として知覚されるが、視差が大きく
なると融合しなくなったり(2重に見える状態)、観察
者に違和感・不快感を与えたりする。 【0026】観察者の見やすさの改善は、最近点、最遠
点、撮像時の輻輳点をもとに、画像を図3に示す方向
(画像1、画像2を各々の投射軸の垂直面内で水平方
向)にずらすことにより、輻輳点と最遠距離、最近距離
との位置関係を変化させることで可能となる。画像のず
らし方については、例えば画像間の視差の平均値を相殺
するようにずらすことによって、画像全体を均一に見や
すくできる。 【0027】図5は、そのような処理のブロック図であ
る。図5では、簡単のために2眼式(2視点)のデータ
についての例を示している。図5において、1は画像復
号手段、2は視差推定手段、3は平均視差演算手段、4
a,4bは画像シフト手段、5a,5bは画像表示手段
である。以下に各手段の動作について説明する。 【0028】画像復号手段1は、送信側で符号化された
多視点画像データを受信し、これを復号する。画像復号
手段1により復号された左右の画像は視差推定手段2に
送られる。視差推定手段2は、画像復号手段1によって
復号された左右の画像から各画素における視差(視差地
図)を計算する。例えば、左画像を基準としてブロック
マッチングにより視差を計算する場合について、図6を
用いて以下に説明する。まず、左画像中に窓領域を設定
する。次に、(数4)に示す残差平方和(SSD)を計算
する。 【0029】 【数4】 【0030】(数4)の計算は、dminからdmaxの範囲の
dについて1画素間隔で計算する。そして、dminからdm
axの範囲でSSDを最小にするdの値を、設定した窓領
域での視差とする。画像の各画素における視差は、窓領
域を順次ずらして設定し、上記の計算をすることによっ
て得られる。 【0031】SSDを計算する範囲dmin、dmaxは、最近
点、最遠点の情報より計算できる。図7、図8を用い
て、平行撮影時と輻輳撮影時の場合のdmin、dmaxの求め
方について以下に説明する。 【0032】図7は、平行撮影の場合を示す図である。
図7に示す座標系において、左右のレンズ中心の座標値
を(−D/2,0)、(D/2,0)、撮像面とレンズ
中心との距離をb、3次元空間中の物***置の水平座標
値をX0 、奥行き方向の座標値をZ0 、左右の撮像面で
位置(X0、Z0)の物体からの光が撮像される水平位置
をそれぞれxl0, xr0とする(xl0, xr0はカメラの光
軸と撮像面の交点を原点とする平面座標系の水平座標)
と、図形的な関係より、 【0033】 【数5】 【0034】となる。よって、左右の画像を基準とした
視差はそれぞれ、(数6)に示す式で表される。 【0035】 【数6】 【0036】ここで、画像中の最近点の奥行き値をZmi
n、最遠点の奥行き値をZmaxとすると、SSDを計算す
る範囲の上限dmaxと下限dminは(数7)で表される。 【0037】 【数7】 【0038】また、図8は輻輳撮影の場合を示す図であ
る。図8に示す座標系において、輻輳点(左右のカメラ
の光軸の交点)の座標値を(0,C)、左右のレンズ中
心の座標値を(−D/2,0)、(D/2,0)、撮像
面とレンズ中心との距離をb、3次元空間中の物***置
の水平座標値をX0、奥行き方向の座標値をZ0、左右の
撮像面で位置(X0、Z0)の物体からの光が撮像される
水平位置をそれぞれxl0,xr0とする(xl0,xr0はカ
メラの光軸と撮像面の交点を原点とする平面座標系の水
平座標)と、図形的な関係より、 【0039】 【数8】 【0040】となる。したがって、左右の画像を基準と
した時の視差はそれぞれ、(数9)に示す式で表され
る。 【0041】 【数9】 【0042】(数9)の式中にX0が残っていることか
ら、輻輳撮像では奥行きが同じであっても、水平方向の
位置によって視差が異なる(即ち、再生される立体像が
歪む)ことがわかる。今、簡単のためにX0=0(即ち
Z軸)上の点における視差を考えると、(数9)にX0
=0を代入して(数10)を得る。 【0043】 【数10】【0044】(数10)より、画像中の最近点の奥行き
値Zmin、最遠点の奥行き値Zmax、輻輳点の奥行き値C
の位置関係と、水平画素数nx、撮像面(CCD)の幅w
inから視差の上限画素数dmax、下限画素数dminを決定で
きる。 【0045】Z軸上以外の点における視差を考慮する場
合には、(数9)の最大値、最小値を計算することによ
って、視差の上限dmax、下限dminを決定できる。 【0046】以上説明したように、画像中の最近点の奥
行き値、最遠点の奥行き値、カメラの位置、カメラの光
軸の向きが与えられると、視差の取るべき値の範囲を計
算でき、視差演算時にSSDを計算する範囲を決定でき
る。平均視差演算手段3は、視差推定手段2によって計
算された視差地図の平均を演算する。視差地図の平均は
(数11)を計算することによって得られる。 【0047】 【数11】 【0048】画像シフト手段4a、4bは、平均視差演
算手段3によって得られる平均視差を有する奥行きの点
が、表示面と同じ奥行き(すなわち表示面上で視差0と
なるように)に表示されるように画像をシフトする。 【0049】平行投影による表示を示す図1において、
Aは表示する画像中の最近点の奥行き、Bは最遠点の奥
行き、Cは平均視差の奥行きを示す。図1から、平行投
影では左右の画像間で(数12)で示すDc の視差があ
る場合に、スクリーン上で視差がなくなり、輻輳と調節
が一致した自然な表示となることがわかる。 【0050】 【数12】 【0051】画像シフト手段4aは、(数13)に示す
シフト量(右方向へのシフトを正としている)だけ左画
像をシフトする。 【0052】 【数13】 【0053】そして、画像シフト手段4bは、逆方向に
同じ量だけ右画像をシフトする。画像シフト手段4aお
よび4bによるシフトの結果、平均視差を有する点がス
クリーンと同一の奥行きに表示されるようになる。 【0054】また、輻輳投影による表示を示す図3にお
いて、Aは表示する画像中の最近点の奥行き、Bは最遠
点の奥行き、Cは平均視差の奥行きを示す。輻輳投影で
は、画像の中心で視差が0の場合に、スクリーンと同一
の奥行きに表示されることになる。したがって、輻輳投
影の場合画像シフト手段4aおよび4bは平均視差を−
1/2倍した値だけ左右の画像をシフトする。 【0055】以上のように本実施の形態によれば、多視
点画像を伝送する際に、画像内の最近点、最遠点の情報
を付加することにより、表示側で目の疲れない表示(視
差制御)を行うことができる。 【0056】また、カメラの撮像面(CCD)のサイ
ズ、撮像面とレンズ中心との距離、及びレンズの焦点距
離に関する情報を付加して伝送することにより、撮影時
の視野角に応じた表示を行おうとする際、被写体に接近
して撮影した映像についても、表示側で撮影時の視野角
を精度よく計算することができる。 【0057】なお、多視点画像中の最近点、最遠点に関
する情報を付加せずに伝送する場合には、最近点、最遠
点に関する情報の変わりに、最近点、最遠点に関する情
報が付加されていないことを示す専用の符号を付加して
伝送し、表示側において、予め設定した範囲内で視差の
計算を行うことにより、画像内の最近点、最遠点での視
差を推定することができ、本発明に含まれる。 【0058】さらに、伝送側において、多視点画像中の
最近点、最遠点に関する情報を特定の奥行き値に設定す
ることにより、その設定された特定の奥行き範囲での視
差が融合範囲に入るように視差制御することができ、本
発明に含まれる。 【0059】また、本発明においては視差の計算を表示
側で行う例について説明したが、符号化された画像中に
含まれる視差を用いてもよく、本発明に含まれる。図1
0を用いてそのような例について説明する。 【0060】図10において、画像復号手段6以外の構
成の動作は、図5に示す視差制御方式と同一であるので
説明を省略し、以下画像復号手段6の動作について説明
する。画像復号手段6は、符号化された画像データを復
号し、左右の画像と左画像を基準とした視差を出力す
る。MPEG−2による多視点画像伝送方式で2眼式画
像を伝送する際には、左画像を基準とする視差補償によ
り圧縮率を高めている。符合化された画像データ中から
視差を取り出すことにより、表示側で視差の計算をする
必要がなくなり、表示側での演算量を低減できる。 【0061】なお、平均視差演算手段3による視差の平
均の計算は、画面の中央部を重視して(数14)による
重み付け平均値を用いてもよい。こうのようにすれば、
画像の中心部で、より融合しやすい視差制御を行え、本
発明に含まれる。 【0062】 【数14】 【0063】図9(a)(b)(c)は、(数14)に
よる重み付け平均の計算に用いる重みの分布の例を示
す。簡単のため1次元的に示しているが、実際には、画
像中央部で周辺部よりも大きな値となる2次元的な分布
である。また、重みの値はすべて0以上の値(負でない
値)である。 (第2の実施の形態)図11は、本発明の第2の実施の
形態における視差制御方式のブロック図である。図11
において、頻度計算手段7、シフト量演算手段8以外の
構成は、第1の実施の形態におけるものと同一の動作を
行うものであるため、第1の実施の形態での説明図と同
一の符号を付し、説明を省略する。以下に頻度計算手段
7、シフト量演算手段8の動作について説明する。 【0064】頻度計算手段7は、画像復号手段6によっ
て復号された左画像基準の視差の頻度を計算する。視差
の頻度とは、画像のある領域(たとえば、画像全体でも
よいし、いっての基準で決めた特定の領域でもよい)内
における視差の各値毎に計算した画素数である。シフト
量演算手段8は、頻度計算手段7によって計算された
(画像間での)視差の頻度と画像の視野角に応じた人の
目の融合範囲とから、融合範囲内の視差の頻度の和が最
大になるシフト量を演算し、画像シフト手段4a, 4b
に出力する。 【0065】図12は、シフト演算手段8の構成の一例
を示す。図12において、9はMPU、10は融合範囲
テーブルである。MPU9は画像表示面の幅と観察距離
から(数15)に示す水平方向の視野角を計算し、該視
野角における融合範囲を融合範囲テーブル10から読み
出す。 【0066】 【数15】 【0067】図13は融合範囲テーブルの特性の1例を
示す。図13において、横軸は画像表示面の水平方向の
視野角であり、縦軸は視差の融合範囲((数16)によ
り角度換算している)である。 【0068】 【数16】 【0069】なお、図13の縦軸の符号は負の側が表示
面よりも手前に知覚される視差、正の側が表示面よりも
奥に知覚される視差を示している。図14は、(数1
6)の図形的な意味を示す図である。図14は、角度換
算した視差θは画像表示面上での視差Δを視野角に換算
したものであることを示す。 【0070】一方、図1および図3に示す平行投影と輻
輳投影において、画像の位置(例えば液晶プロジェクタ
であれば液晶上の画素の位置)xl1,xr1 と表示面上で
の位置Xl,Xr の位置関係は、それぞれ(数17)(数
19)となり、表示面上での視差は(数18)(数2
0)となる。 【0071】 【数17】 【0072】 【数18】 【0073】 【数19】 【0074】 【数20】【0075】そして、撮影時の撮影面上での座標値(x
l0,yl0),(xr0,yr0)と、投影時の画像の位置(x
l1,yl0),(xr1,yr1)(例えば液晶プロジェクタで
あれば液晶上の画素の位置)との関係は、(数21)で
表される。 【0076】 【数21】 【0077】ここで、撮像面の幅winはカメラパラメー
タから得られ、表示時の画像幅woutは表示系固有の値
である。 【0078】撮像時の条件(平行撮影/輻輳撮影)に応
じて(数5)もしくは(数8)を用いてxl0,xr0を計
算し、(数21)によりxl1,xr1に変換する。更に、
投影時の条件(平行投影/輻輳投影)に応じて、(数1
8)もしくは(数20)を計算することにより、撮像条
件、投影条件の双方を考慮して、表示画面上での視差を
計算できる。 【0079】MPU9は、融合範囲テーブル10から読
み出した融合範囲を表示面上での視差(距離)に換算し、
画像表示面上での視差の融合範囲を決定する。そして、
MPU9は、上述した画像データにおける視差と画像表
示面上での視差の関係とを用いて、融合範囲内の視差の
頻度の和が最大になるような、画像データに対するシフ
ト量を計算する(視差制御による画像のシフトは、視差
の頻度分布を図15において水平方向に移動させること
を意味する)。 【0080】画像シフト手段4a,4bによって該出力
シフト量だけ逆方向に画像をシフトし、画像表示手段5
a,5bによって表示することにより、融合範囲内での
視差の頻度の和が最大(すなわち画像内で融合する画素
の面積が最大)になる表示を行うことができる。 【0081】以上説明したように、本実施の形態によれ
ば、人の目の融合範囲に応じた視差制御を行うことによ
って、表示時に画像のより多くの部分で視差を融合範囲
内に入るようにすることができる。 【0082】なお、本実施の形態では、融合範囲内での
視差頻度の和が最大になる視差制御について説明した
が、視差の平均値が融合範囲の中央になるように視差制
御してもほぼ同等の効果を得ることができ、本発明に含
まれる。 【0083】また、伝送側において、最近点及び最遠点
を、実際の画像中の最近点及び最遠点とは異なる値に設
定し、表示側において該設定値の最近点及び最遠点に相
当する各々の視差の平均の視差が、融合範囲の中央にな
るように視差制御することにより、画像作成者の意図す
る奥行きでの画像を優先的に観察者に提示することがで
き、本発明に含まれる。 (第3の実施の形態)本発明の第3の実施の形態は、1
組の画像対を入力し、初期視差と初期視差の信頼性とを
計算し、基準画像と初期視差の信頼性とから物体輪郭線
を検出し、初期視差と初期視差の信頼性と検出された物
体輪郭線とから、物体輪郭線近傍の初期視差の信頼性の
低い領域での視差を決定する。このとき視差は、物体輪
郭線において変化し、かつ、周囲の視差とは滑らかに接
続するように決定する視差推定方法およびその装置であ
る。 【0084】本実施の形態では前述した構成により、基
準画像と参照画像の1組の画像対から、初期視差と初期
視差の信頼性とを計算し、基準画像と初期視差の信頼性
とから物体輪郭線を検出し、初期視差と初期視差の信頼
性と検出された物体輪郭線とから、物体輪郭線近傍の初
期視差の信頼性の低い領域での視差が、物体輪郭線にお
いて変化し、かつ、周囲の視差とは滑らかに接続するよ
うに決定する。 【0085】図16は、本発明の第3の実施の形態にお
ける視差推定装置のブロック図である。 【0086】図16において、201はブロックマッチ
ングによる初期視差を計算する初期視差推定部、202
は初期視差推定時の信頼性評価部、203は輪郭検出
部、204は物体輪郭付近での視差推定部である。 【0087】以下に上記構成の動作について説明する。 【0088】初期視差推定部201は、(数22)に示
す残差平方和(Sum of Squared diff
erences 以下SSD)の計算を行う。(数2
2)によるSSDの値は、基準画像に設定した窓領域と
参照画像中に設定した窓領域内の画素値の分布が似てい
るところでは小さな値となり、逆に双方の窓領域内での
画素値の分布が異なるところでは大きな値となる。初期
視差推定部201は、所定の探索範囲内でSSDの値を
最小とする画像間のずれ量dを着目点(x,y)におけ
る視差とし、その視差の値を物体輪郭付近での視差推定
部204に出力し、探索範囲内でのSSDの最小値を初
期視差推定時の信頼性評価部202に出力する。 【0089】 【数22】 【0090】図17は、初期視差推定部201による上
記初期視差推定(ブロックマッチング)を説明する図で
ある。図17において、着目点(x,y)を中心にして
設定した窓領域が、(数22)の積分領域Wを示す。窓
領域を順次ずらして設定し、上記のSSDの計算を行う
ことにより画像全体での初期視差を得ることができる。 【0091】初期視差推定時の信頼性評価部202は、
初期視差推定部201による視差計算で得られたSSD
の探索範囲中での最小値、窓領域(ブロック)内の画素
数、画像間のノイズの分散、窓領域内での基準画像の水
平垂直方向の輝度こう配の2乗の平均値から、(数2
3)に示す対応付けの信頼性評価値を計算する。 【0092】 【数23】 【0093】(数23)の値は、小さいほど視差推定の
信頼性が高いことを示し、逆に大きいほど信頼性が低い
ことを示す。 【0094】図18は、輪郭検出部203の構成の一例
を示すブロック図である。図18において、205は基
準画像を輝度成分と色成分に分離するYC分離回路、2
06A,206B,206Cは、上記分離された輝度成
分Y、色成分R−Y,B−Yからそれぞれエッジを検出
するエッジ検出回路、207はエッジ検出結果の稜線に
おける強度のみを出力する稜線検出部、208は初期視
差推定値の信頼性の低い領域で1の重みを出力し、初期
視差推定値の信頼性の高い領域では0の重みを出力する
重み発生回路である。 【0095】以下に上記構成の動作について説明する。 【0096】YC分離回路205は、基準画像を輝度成
分Y、色成分R−Y,B−Yに分離し出力する。 【0097】エッジ検出回路206A,206B,20
6Cはそれぞれ、上記Y,R−Y,B−Y成分からエッ
ジ成分を検出する。図19は、エッジ検出回路206の
構成の一例を示すブロック図である。図19において、
209A,209B,209Cはそれぞれ低空間周波数
域、中空間周波数域、高空間周波数域におけるエッジ成
分を検出する方向別フィルタ群である。210、21
1、212、213は、それぞれの方向別フィルタ群を
構成する方向別フィルタである。図20は、上記方向別
フィルタの空間的な重みの一例であり。図20(a),
(b),(c)は垂直方向に連続するエッジを、
(d),(e),(f)は斜め方向のエッジを検出する
ものである。 【0098】尚、(a),(d)が高空間周波数域、
(b),(e)が中空間周波数域、(c),(f)が低
空間周波数域用の重みの分布の一例を示す。水平および
他方の斜め方向のエッジ検出は、図20の計数の配置を
90度回転させればよい。また、エッジの方向は45度
刻みに限る必要はなく、30度刻みなどでもよいのは当
然である。 【0099】また、方向別フィルタの空間的な重みは図
20に示すものに限る必要はなく、方向毎についての微
分型の重み分布になっていればよいのは当然である。各
方向別のエッジ強度の算出法を式で示すと(数24)に
なる。 【0100】 【数24】 【0101】統合部214は方向別フィルタ210,2
11,212,213の出力を統合する。統合部214
による統合の一例を式で示すと(数25)になる。 【0102】 【数25】 【0103】尚、統合部214による統合は(数25)
で示される2乗和の形式のものに限る必要はなく、絶対
値和の形式のものなどでもよいのは当然である。 【0104】輝度成分Y、色成分R−Y,B−Yについ
て、高空間周波数域、中空間周波数域、低空間周波数域
でそれぞれ統合部214A,214B,214Cにより
統合されたエッジ強度は、乗算され出力される。そし
て、Y,R−Y,B−Y各成分についての上記エッジ強
度は、加算され稜線検出部7に転送される。 【0105】尚、輪郭検出部203における基準画像の
輝度成分、色成分への分離はY,R−Y,B−Yに限る
必要はなく、R,G,B等他の成分へ分離してもよいの
は当然である。また、Y,R−Y,B−Yについての上
記エッジ強度は加算後に稜線検出部207に転送するも
のに限る必要はなく、乗算後に稜線検出部207に転送
してもよい。 【0106】図18に戻って、稜線検出部207は、上
記Y,R−Y,B−Yについて加算されたエッジ強度の
稜線における値のみを出力する。図21は、稜線検出部
207の構成の一例である。図21において、水平稜線
検出回路215は着目画素でのエッジ強度が着目点の上
下の画素でのエッジ強度の双方よりも大きい場合に1を
出力し、そうでない場合には0を出力する。 【0107】同様に、垂直稜線検出回路216は着目画
素でのエッジ強度が着目点の左右の画素でのエッジ強度
の双方よりも大きい場合に1を出力し、そうでない場合
には0を出力する。水平稜線検出回路215と垂直稜線
検出回路216の出力は、OR演算され、更に入力信号
と乗算して出力される。すなわち、稜線検出部207
は、水平方向もしくは垂直方向に隣接する画素でのエッ
ジ強度よりも強いエッジ強度を有する画素(すなわち稜
線となっている画素)におけるエッジ強度のみを出力
し、その他の画素については0を出力する。 【0108】再び図18に戻って、重み発生回路208
は、初期視差推定値の信頼性評価値がしきい値以上の時
1を出力し、しきい値未満の時には0を出力する。重み
発生回路208の出力を稜線検出部207の出力と乗算
することにより、初期視差推定値の信頼性が低いところ
でのエッジ、すなわち視差が不連続に変化する物体輪郭
線を抽出できる。また、重み発生回路208の出力は、
後述する物体輪郭付近での視差推定部204の演算領域
メモリに記憶される。物体輪郭線の抽出を式で示すと
(数26)となる。 【0109】 【数26】 【0110】尚、エッジ検出結果206A,206B,
206Cの出力を加算して稜線検出部7に入力するよう
に限る必要はなく、乗算して稜線検出部207に入力し
てもよい。また、稜線検出部207の出力と乗算される
重み発生回路208による重み発生の方法は、0と1の
2値に限る必要はなく、初期視差推定時の信頼性に応じ
て連続的な値を出力してもよいのは当然である。 【0111】物体輪郭付近での視差推定部204は、物
体輪郭線近傍の初期視差推定値の信頼性の低い領域での
視差を、輪郭強度、初期視差から再計算する。物体輪郭
付近での視差推定部204は、(数27)で定義される
視差の分布についてのエネルギーを最小化する視差分布
を計算する。 【0112】 【数27】 【0113】重み関数w(x,y)は滑らかさのパラメ
ータと輪郭強度により(数28)として定義する。 【0114】 【数28】 【0115】(数27)を最小にする視差分布の条件は
(数29)である。 【0116】 【数29】 【0117】(数29)の微分方程式は、有限要素法
(FEM)等の公知の技術によって数値的に解くことが
できる。 【0118】図22は、物体輪郭付近での視差推定部2
04の構成の一例を示すブロック図である。図22にお
いて、217は視差分布エネルギー用の重みを発生する
視差分布エネルギー用重み発生回路、218は演算領域
メモリ、219は視差メモリ、220は重みメモリ、2
21はFEM演算回路である。 【0119】視差分布エネルギー用重み発生回路217
は、輪郭強度と滑らかさのパラメータλから(数28)
の重み関数の値を計算し、重みメモリ220に書き込
む。FEM演算回路221は、(数29)を有限要素法
により解き、視差分布を計算する。 【0120】以上のように本実施の形態によれば、ブロ
ックマッチングによる視差推定値の信頼性が低い領域に
おいて、物体輪郭線を検出し、検出した物体輪郭線の所
で視差が不連続に変化するように視差推定を行うことが
できる。 【0121】また、本実施の形態によれば、任意の形状
の物体輪郭線の所で視差が不連続に変化するように視差
推定を行うことができる。 【0122】尚、物体輪郭付近での視差推定は、視差が
物体輪郭線の所で変化し、かつ、周囲の視差と滑らかに
接続すればよく、(数27)に示すエネルギーを最小化
する視差として計算する方法に限る必要はない。そのよ
うな例について、以下に説明する。 (第4の実施の形態)図23は、本発明の第4の実施の
形態における視差推定装置の構成を示すブロック図であ
る。図23において、201はブロックマッチングによ
る初期視差を計算する初期視差推定部、202は初期視
差推定時の信頼性評価部、222は輪郭検出部、223
は物体輪郭付近での視差推定部である。 【0123】上記構成において、輪郭検出部222、物
体輪郭付近での視差推定部223以外の構成の動作は本
発明の第3の実施の形態と同一であるので説明を省略
し、以下に輪郭検出部222、物体輪郭付近での視差推
定部223の動作について説明する。 【0124】まず、輪郭検出部222は、本発明の第3
の実施の形態における輪郭検出部と同様の輪郭検出を行
ない、検出結果を2値化(例えば、0と1)して出力す
る。物体輪郭付近での視差推定部223は、物体輪郭線
近傍の初期視差推定値の信頼性の低い領域での視差を、
初期視差と輪郭検出部222によって検出された物体輪
郭線とから計算する。 【0125】図24は、物体輪郭付近での視差推定部2
23による視差推定の様子を示す図である。図24にお
いて、291は初期視差推定値の信頼性の低い領域、2
92は輪郭検出部222によって検出された物体輪郭
線、293は初期視差推定値の信頼性の高い領域、29
4は視差を計算しようとする着目点、295は着目点を
含むように設定した窓領域である。 【0126】着目点294(x,y)における視差は、
設定窓領域内で初期視差推定値の信頼性の低い領域29
1と接する周囲の領域(この場合は、初期視差推定値の
信頼性の高い領域293a)での視差を用い、着目点2
94での視差が、周囲の領域と着目点294との距離に
応じて、周囲の領域での視差の値の影響を受けるように
決定する。この時、周囲の領域における視差は、物体輪
郭線292を越えて着目点294に影響を与えないよう
にすることにより、物体輪郭線292の所で変化し、か
つ、周囲の視差と滑らかに接続するするように視差を決
定できる。物体輪郭付近での視差推定部223による視
差推定を一例として式で表すと(数30)となる。 【0127】 【数30】 【0128】ただし、物体輪郭付近での視差推定部22
3による視差推定は、(数30)に限る必要はなく、視
差が物体輪郭線で変化し、かつ、周囲の視差と滑らかに
接続するものであればよいのは当然である。 【0129】以上のように本実施の形態によれば、ブロ
ックマッチングによる視差推定値の信頼性が低い領域に
おいて、物体輪郭線を検出し、検出した物体輪郭線の所
で視差が不連続に変化するように視差推定を行うことが
できる。 【0130】また、本実施の形態によれば、任意の形状
の物体輪郭線の所で視差が不連続に変化するように視差
推定を行うことができる。 【0131】さらに、本実施の形態によれば、初期視差
推定値の信頼性の低い領域において、着目点近傍で比較
的少数の周囲の視差を参照して視差を計算することによ
り、少ないメモリ容量と演算量で視差の計算を行うこと
ができる。 【0132】また、第3と第4の実施の形態で説明した
視差推定の結果を用いて、左右の画像をシフトし統合す
ることにより、それら左右の画像に対応する各々の視点
の間の所定の中間視点における画像を生成できる。ここ
で、視差推定と中間視点画像生成とは異なる場所で行っ
てもよい。以下に、視差推定と中間視点画像生成とを異
なる場所で行う際の伝送、受信方法について説明する。 (第5の実施の形態)図25は、本発明の第5の実施の
形態において、送信側で視差推定(もしくは動き推定)
を行うシステムの送信ブロックの一例である。 【0133】図25において、170は左画像を基準と
した視差VL を推定する視差推定手段、171は右画像
を基準とした視差VR を推定する視差推定手段、172
a〜dは符号化器、173a,bは復号化器、174は
左画像Lと左画像を基準とした視差VL から右画像Rを
予測する予測手段、175は左画像を基準とした視差V
Lから右画像を基準とした視差VRを予測する予測手段、
176a,bは視差が正しく推定されない領域での視差
を決定する穴埋め手段である。以下に上記構成の動作に
ついて説明する。 【0134】まず、左画像Lは符号化器172aによっ
て符号化される。また、視差推定手段170、171に
よって左右の画像をそれぞれ基準とした視差VL,VRが
推定される。オクルージョン等により視差が正しく推定
されない領域については、第3または第4の実施の形態
で説明した視差推定方法を用いた穴埋め手段176a,
176bによって視差が決定される。 【0135】次に、左画像を基準とした穴埋め後の視差
は符号化器172bにより符号化される。符号化された
左画像を基準とした穴埋め後の視差は、復号化器173
aにより復号化され、予測器174による右画像Rの予
測と、予測器175による穴埋め後の右画像を基準とし
た視差の予測に用いられる。予測器175による右画像
を基準とした視差VR の予測は、左画像を基準とした視
差を用いて、(数31)として計算する。 【0136】 【数31】 【0137】右画像Rは予測器174による予測画像と
の残差をとり、符号化器172dによって符号化され
る。右画像を基準とした穴埋め後の視差VR は、予測器
175による予測視差との残差をとり、符号化器172
cにより符号化される。 【0138】図26は、受信側で視差推定を行うシステ
ムの受信ブロックの一例である。図26において、18
1a〜dは復号化器、174は右画像Rの予測器、17
5は右画像を基準とした視差の予測器である。符号化さ
れた左画像L、左画像基準の視差VL、右画像基準の視
差VRの予測誤差、右画像Rの予測誤差はそれぞれ復号
化器181a〜181dにより復号化される。右画像R
は予測器174による予測結果と復号化された右画像の
予測誤差とを加算して復元される。右画像基準の視差V
R は、予測器175による予測結果と復号化された予測
誤差とを加算して復元される。 【0139】左画像L、右画像R、左画像基準の視差V
L、右画像基準の視差VRが復元されると、例えば特願平
7−109821号に示される中間視点画像生成方法に
より左右の画像の中間視点での画像を生成することがで
き、左画像、右画像と併せて多視点画像として表示する
ことができる。 【0140】以上説明したように、上記の構成により、
送信側で視差推定と穴埋め処理を行うことにより、受信
側での演算量を低減することができ、受信側の装置規模
を縮小することができる。 【0141】また、多視点画像を伝送する際に、送信側
で中間視点画像生成を行うことにより伝送量を低減した
画像伝送を行うことができる。そのような例について以
下に説明する。 (第6の実施の形態)図27は、本発明の第6の実施の
形態における多視点画像圧縮伝送システムの送信側の構
成図である。図27において、101a〜101dは各
視点位置での画像を撮像するカメラ、102はカメラ1
の画像とカメラ4の画像を圧縮し符号化する画像圧縮符
号化部、103aは画像圧縮符号化部102が圧縮符号
化した画像データを復号化伸長する復号化画像伸長部、
104aは復号化画像伸長部103aが復号化伸長した
カメラ1の画像とカメラ4の画像から、カメラ2の視点
とカメラ3の視点での画像を予測し生成する中間視点画
像生成部、105はカメラ2の画像とカメラ3の画像に
ついて中間視点画像生成部104aが生成した画像との
残差を圧縮し符号化する残差圧縮符号化部である。以下
に上記構成の動作について説明する。 【0142】画像圧縮符号化部102は、多視点画像中
の複数の画像(本実施の形態では4視点の画像の両端の
視点の画像)を、画像間のブロック相関等を利用した既
存の技術により圧縮し符号化する。図31は、画像圧縮
符号化部102の構成の一例を示す。図31において、
107a,107bは8×8画素もしくは16×16画
素毎にDCT計算を行いDCT係数を計算するDCT手
段、108a,108bはDCT係数を量子化する量子
化手段、109aは逆量子化手段、110aは逆DCT
計算をおこなう逆DCT手段、111は視差検出手段、
112aは視差補償手段、113aは量子化されたDC
T係数と視差を符号化する符号化手段である。以下に上
記構成の動作について説明する。 【0143】DCT手段107aは、カメラ1の画像を
ブロック毎に処理し、各ブロックについてDCT係数を
計算する。量子化手段108aは、そのDCT係数を量
子化する。逆量子化手段109aは、その量子化された
DCT係数を逆量子化する。逆DCT手段110aは、
その逆量子化されたDCT係数を逆変換し、受信側で得
られるカメラ1の画像を復元する。視差検出手段111
は復元されたカメラ1の画像とカメラ4の画像間でブロ
ックマッチングを行い、カメラ1の画像を基準とした視
差をブロック毎に計算する。視差補償手段112aは、
上記復元されたカメラ1の画像とブロック毎の視差を用
いてカメラ4の画像を予測する(すなわち、動画像の動
き補償に相当する処理を行う)。DCT手段107b
は、カメラ4の画像と上記予測画像の残差をブロック毎
に処理しDCT係数を計算する。量子化手段108bは
その残差のDCT係数を量子化する。符号化手段113
aは、カメラ1の画像の量子化されたDCT係数、ブロ
ック毎の視差、視差補償の残差の量子化されたDCT係
数を符号化する。 【0144】また、復号化画像伸長部103aは、画像
圧縮符号化部102によって圧縮符号化された画像デー
タを復号化し伸長する。図32は、復号化画像伸長部1
03aの構成の一例を示す図である。図32において、
114aは復号化手段、109b、109cは逆量子化
手段、110b,110cは逆DCT手段、112bは
視差補償手段である。以下に上記構成の動作について説
明する。 【0145】復号化手段114aは、圧縮符号化された
データを復号化し、カメラ1の画像の量子化されたDC
T係数、ブロック毎の視差、視差補償の残差の量子化さ
れたDCT係数を伸長する。カメラ1の画像の量子化さ
れたDCT係数は、逆量子化手段109bによって逆量
子化され、逆DCT手段110bによって画像として伸
長される。動き補償手段112bは、その伸長されたカ
メラ1の画像と復号化された視差から、カメラ4の予測
画像を生成する。そして、逆量子化手段109c、逆D
CT手段110cによって伸長された残差を上記予測画
像に加えることにより、カメラ4の画像を伸長する。 【0146】中間視点画像生成部104aは、本発明の
第3もしくは第4のいずれかの実施の形態に示す方法に
よって、カメラ1とカメラ4の画像から画素毎の視差を
計算し、カメラ2とカメラ3の画像を予測し生成する。 【0147】残差圧縮符号化部105は、カメラ2とカ
メラ3の画像と上記予測画像の残差を圧縮し符号化す
る。中間視点画像生成部104aは、視差を画素毎に計
算するため、ブロックマッチングによるブロック毎の視
差計算と比較して、精度よく視差を推定できる。その結
果、中間視点画像の予測誤差(すなわち残差)を小さく
することができ、圧縮効率を高めることができるととも
に、より有効なビット割り当てを行うことができ、画質
を維持した圧縮を行える。図33は、残差圧縮符号化部
の構成の一例を示す。図33において、107c,10
7dはDCT手段、108c,108dは量子化手段、
113bは符号化手段である。カメラ2、カメラ3の画
像の残差はそれぞれDCT手段107c,107dによ
ってDCT係数に変換され、量子化手段108c,10
8dによって量子化され、符号化手段113bによって
符号化される。 【0148】図34は、本発明の第6の実施の形態にお
ける多視点画像圧縮伝送システムの受信側の構成図であ
る。図34において、103bは送信側の画像圧縮符号
化部102が圧縮符号化したカメラ1とカメラ4の画像
データを復号化伸長する復号化画像伸長部、104bは
復号化画像伸長部103bが復号化伸長したカメラ1と
カメラ4の画像から、カメラ2とカメラ3の視点での画
像を予測し生成する中間視点画像生成部、106はカメ
ラ2とカメラ3の視点での予測画像の予測誤差(残差)
を復号化し伸長する復号化残差伸長部である。復号化画
像伸長部103bおよび中間視点画像生成部104bの
動作については、送信側の復号化画像伸長部103aお
よび中間視点画像生成部104aの動作と同一であるの
で説明を省略し、以下に復号化残差伸長部の動作につい
て説明する。 【0149】復号化残差伸長部106は、送信側の残差
圧縮符号化部105によって圧縮符号化されたカメラ2
とカメラ3の視点での予測画像の予測誤差(残差)を復
号化し伸長する。図35は、復号化残差伸長部106の
構成の一例を示す。図35において、114bは復号化
手段、109d,109eは逆量子化手段、110d,
110eは逆DCT手段である。圧縮符号化されたカメ
ラ2とカメラ3の画像の残差データは、復号化手段11
4bによって復号化され、それぞれ、逆量子化手段10
9d,109eにより逆量子化され、逆DCT手段11
0d,110eにより伸長される。復号化伸長されたカ
メラ2とカメラ3の画像の残差を、中間視点画像生成部
104bによって生成された画像にそれぞれ重畳するこ
とにより、カメラ2とカメラ3の視点の画像を復元す
る。 【0150】以上のように、本実施の形態によれば、送
信側で、多視点画像中の隣接しない2つの画像からその
中間視点の画像を生成し、その生成した中間視点画像と
その中間視点の実際の画像との残差を求め、上記2つの
画像と中間視点画像の残差とを圧縮符号化して伝送す
る。受信側で、伝送されてきた2つの画像と中間視点画
像の残差とを復号化伸長し、2つの画像から中間視点の
画像を生成し、復号化伸長した中間視点画像の残差を重
畳して中間視点での実際の画像に対応する画像を復元す
る。このようにすることにより、多視点画像を効率よ
く、また、画質を維持して圧縮伝送することができる。 【0151】なお、中間視点画像の生成は、多視点画像
の両端の2視点(カメラ1とカメラ4の視点)での画像
から中間視点での画像を生成する構成に限る必要はな
く、例えば、カメラ2とカメラ4の画像からカメラ1と
カメラ3の視点での画像を生成してもよく、カメラ1と
カメラ3の画像からカメラ2とカメラ4の視点での画像
を生成してもよい。更には、カメラ2とカメラ3の画像
からカメラ1とカメラ4の視点での画像を生成してもよ
く、それぞれ本発明に含まれる。 【0152】また、多視点画像の視点数は4視点に限る
必要はなく、また、2視点以上の視点での画像からそれ
ぞれの視点間の中間視点画像を生成してもよいのは明ら
かであり、本発明に含まれる。 【0153】また、本発明の第3および第4の実施の形
態において、初期視差推定値の信頼性評価値としては、
(数23)に示すものに限る必要はなく、(数23)の
分子のみを信頼性評価値としても、参照画像の輝度こう
配の影響を受けるがほぼ同様の効果を得ることができ本
発明に含まれる。 【0154】また、画像のノイズレベルが低い場合に
は、信頼性評価値としてノイズ項を無視した値を計算し
ても同様の効果が得られるのは当然であり本発明に含ま
れる。 【0155】さらに簡略化して、信頼性評価値として、
1画素当たりの残差平方和の最小値、あるいは残差平方
和の最小値を用いてもよく、より簡単な回路で計算が可
能となり、本発明に含まれる。 【0156】また、初期視差推定値の信頼性評価値とし
ては、(数32)に示す双方向に推定した視差の差異を
用いてもよく、本発明に含まれる。 【0157】 【数32】【0158】また、初期視差推定の信頼性評価値として
は、上記のものを2つ以上組み合わせて用いることによ
り、より安定した信頼性評価をすることができ、本発明
に含まれる。 【0159】また、本発明の第3および第4の実施の形
態において、初期視差推定のための画像間の相関演算は
残差平方和(SSD)に限る必要はなく、残差絶対値和
(SAD)を用いても同様の効果を得ることができ、そ
のような実施の形態ももちろん本発明に含まれる。 【0160】また、本発明の第6の実施の形態におい
て、隣接しない2つの視点での画像の圧縮符号化の方法
としては、画像間(視点間)の相関を利用したものに限
る必要はなく、時間方向の相関を利用したものを用いて
もよく、本発明に含まれる。 【0161】 【発明の効果】以上のように本発明によれば、カメラの
撮像面(CCD)のサイズと、撮像面とレンズ中心との
距離と、レンズの焦点距離に関する情報とを付加して伝
送することにより、撮影時の視野角に応じた表示を行お
うとする際、被写体に接近して撮影した映像について
も、表示側で撮影時の視野角を精度よく計算することが
でき、撮影時と同一の視野角を再現する観察距離を精度
よく決定できる。 【0162】また、多視点画像を伝送する際に画像内の
最近点、最遠点の情報を付加することにより、表示時に
目の疲れない表示(視差制御)を行うことができる。 【0163】また、人の目の融合範囲に応じた視差制御
を行うことによって、表示時に画像のより多くの部分で
視差を融合範囲内に入るようにすることができる。 【0164】また、伝送側において、付加する最近点、
最遠点の情報として、実際の画像中の最近点、最遠点と
は異なる値を設定し、表示側において該設定値の最近点
に相当する視差と、最遠点に相当する視差の平均の視差
が、融合範囲の中央になるように視差制御することによ
り、画像作成者の意図する奥行きでの画像を優先的に観
察者に提示することができる。 【0165】また、本発明によれば、ブロックマッチン
グによる視差推定値の信頼性が低い領域において、物体
輪郭線を検出し、検出した物体輪郭線の所で視差が不連
続に変化するように視差推定を行うことができる。 【0166】また、任意の形状の物体輪郭線の所で視差
が不連続に変化するように視差推定を行うことができ
る。。 【0167】また、送信側で視差の穴埋め処理(本発明
による、視差が物体輪郭線の所で変化し、かつ、周囲の
視差と滑らかに接続する視差推定処理)を行うことによ
り、受信側での演算量を低減することができ、受信側の
装置規模を縮小することができる。 【0168】また、多視点画像伝送システムの送信側と
受信側の双方で中間視点画像の生成を行うことにより、
中間視点画像の伝送量(残差の伝送量)を少なくするこ
とができ、その結果多視点画像を効率よく、また、画質
を維持して圧縮伝送することができる。
場合の最近点、最遠点、観察者の輻輳と調節が一致する
点の位置関係を示す図 【図2】同被写体の位置、合焦時の撮像面の位置と焦点
距離の関係を示す図 【図3】同2つのプロジェクタを用いて輻輳投影をする
場合の輻輳距離、最近点、最遠点の位置関係を示す図 【図4】本発明の第1の実施の形態における画像伝送方
法で定義するパラメータを示す図 【図5】画像間の視差の平均値を相殺するようにずらす
処理のブロック図 【図6】左画像を基準としてブロックマッチングにより
視差を計算する場合を示す図 【図7】平行撮影の場合を示す図 【図8】輻輳撮影の場合を示す図 【図9】(a)〜(c)は、(数14)による重み付け
平均の計算に用いる重みの分布の例を示す図 【図10】画像復号手段の動作を示す図 【図11】本発明の第2の実施の形態における視差制御
方式のブロック図 【図12】シフト演算手段の構成の一例を示す図 【図13】融合範囲テーブルの特性図 【図14】(数16)の図形的な意味を示す図 【図15】視差の頻度分布図 【図16】本発明の第3の実施の形態による視差推定装
置の構成図 【図17】同ブロックマッチングを示す図 【図18】同輪郭検出部の構成図 【図19】同エッジ検出部の構成の一例を示す構成図 【図20】(a)〜(f)は、同方向別のフィルタの重
み係数の例を示す図 【図21】同稜線検出部の構成図 【図22】同物体輪郭付近での視差推定部の構成図 【図23】本発明の第4の実施の形態による視差推定装
置の構成図 【図24】同物体輪郭線近傍での視差推定を示す図 【図25】本発明の第5の実施の形態で送信側で視差推
定を行うシステムの送信部の構成図 【図26】本発明の第5の実施の形態で送信側で視差推
定を行うシステムの受信部の構成図 【図27】本発明の第6の実施の形態における多視点画
像伝送システムの送信部の構成図 【図28】MPEG−2シンタックスの概略図 【図29】伝送される多視点画像の時空間方向の関係図 【図30】OpenGLによるカメラパラメータの定義
を示す図 【図31】本発明の第6の実施の形態における多視点画
像伝送システムの画像圧縮符号化部の構成の一例を示す
図 【図32】本発明の第6の実施の形態における多視点画
像伝送システムの復号化画像伸長部の構成の一例を示す
図 【図33】本発明の第6の実施の形態における多視点画
像伝送システムの残差圧縮符号化部の構成の一例を示す
図 【図34】本発明の第6の実施の形態における多視点画
像伝送システムの受信部の構成図 【図35】本発明の第6の実施の形態における多視点画
像伝送システムの復号化残差伸長部の構成の一例を示す
図 【符号の説明】 A 表示される画像の最近点 B 最遠点 C 観察者の輻輳と調節が一致する点 A1,A2 カメラのレンズ中心 B1,B2 画像面の中心 C1 輻輳点 201 初期視差推定部 202 初期視差推定時の信頼性評価部 203 輪郭検出部 204 物体輪郭付近での視差推定部
Claims (1)
- 【特許請求の範囲】 【請求項1】 2視点以上の画像の伝送において、画像
を撮像するカメラの撮像サイズ及びレンズ中心と撮像面
との距離の情報を伝送することにより、表示側において
撮像時の視野角の情報を得ることができることを特徴と
する多視点画像伝送方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003154399A JP3735617B2 (ja) | 1996-04-05 | 2003-05-30 | 多視点画像伝送方法、多視点画像表示方法および多視点画像表示装置 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8368896 | 1996-04-05 | ||
JP8-118711 | 1996-05-14 | ||
JP8-83688 | 1996-05-14 | ||
JP11871196 | 1996-05-14 | ||
JP2003154399A JP3735617B2 (ja) | 1996-04-05 | 2003-05-30 | 多視点画像伝送方法、多視点画像表示方法および多視点画像表示装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP08359997A Division JP3477023B2 (ja) | 1996-04-05 | 1997-04-02 | 多視点画像伝送方法および多視点画像表示方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003333621A true JP2003333621A (ja) | 2003-11-21 |
JP2003333621A5 JP2003333621A5 (ja) | 2005-05-26 |
JP3735617B2 JP3735617B2 (ja) | 2006-01-18 |
Family
ID=29715809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003154399A Expired - Fee Related JP3735617B2 (ja) | 1996-04-05 | 2003-05-30 | 多視点画像伝送方法、多視点画像表示方法および多視点画像表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3735617B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011136190A1 (ja) * | 2010-04-28 | 2011-11-03 | 富士フイルム株式会社 | 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置 |
WO2011136191A1 (ja) * | 2010-04-28 | 2011-11-03 | 富士フイルム株式会社 | 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置 |
KR101313223B1 (ko) | 2012-10-22 | 2013-09-30 | 세종대학교산학협력단 | 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체 |
KR101313224B1 (ko) | 2012-10-22 | 2013-09-30 | 세종대학교산학협력단 | 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체 |
KR101357755B1 (ko) * | 2013-04-15 | 2014-02-05 | 세종대학교산학협력단 | 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체 |
-
2003
- 2003-05-30 JP JP2003154399A patent/JP3735617B2/ja not_active Expired - Fee Related
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011136190A1 (ja) * | 2010-04-28 | 2011-11-03 | 富士フイルム株式会社 | 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置 |
WO2011136191A1 (ja) * | 2010-04-28 | 2011-11-03 | 富士フイルム株式会社 | 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置 |
CN102860019A (zh) * | 2010-04-28 | 2013-01-02 | 富士胶片株式会社 | 立体图像再生装置及方法、立体摄像装置、立体显示器装置 |
US8736671B2 (en) | 2010-04-28 | 2014-05-27 | Fujifilm Corporation | Stereoscopic image reproduction device and method, stereoscopic image capturing device, and stereoscopic display device |
CN102860019B (zh) * | 2010-04-28 | 2015-07-29 | 富士胶片株式会社 | 立体图像再生装置及方法、立体摄像装置、立体显示器装置 |
US9560341B2 (en) | 2010-04-28 | 2017-01-31 | Fujifilm Corporation | Stereoscopic image reproduction device and method, stereoscopic image capturing device, and stereoscopic display device |
KR101313223B1 (ko) | 2012-10-22 | 2013-09-30 | 세종대학교산학협력단 | 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체 |
KR101313224B1 (ko) | 2012-10-22 | 2013-09-30 | 세종대학교산학협력단 | 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체 |
KR101357755B1 (ko) * | 2013-04-15 | 2014-02-05 | 세종대학교산학협력단 | 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체 |
Also Published As
Publication number | Publication date |
---|---|
JP3735617B2 (ja) | 2006-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3477023B2 (ja) | 多視点画像伝送方法および多視点画像表示方法 | |
US6163337A (en) | Multi-view point image transmission method and multi-view point image display method | |
US8063930B2 (en) | Automatic conversion from monoscopic video to stereoscopic video | |
US8116557B2 (en) | 3D image processing apparatus and method | |
JP5414947B2 (ja) | ステレオ撮影装置 | |
JP3769850B2 (ja) | 中間視点画像生成方法および視差推定方法および画像伝送方法 | |
CN101416520B (zh) | 多视图的高效编码 | |
EP2873241B1 (en) | Methods and arrangements for supporting view synthesis | |
JP5204350B2 (ja) | 撮影装置、再生装置、および画像処理方法 | |
WO2012029298A1 (ja) | 撮影装置および画像処理方法 | |
JP5204349B2 (ja) | 撮影装置、再生装置、および画像処理方法 | |
JPH0927969A (ja) | 複数画像の中間像生成方法及び視差推定方法および装置 | |
Shao et al. | Stereoscopic video coding with asymmetric luminance and chrominance qualities | |
JP3733359B2 (ja) | 視差推定方法、画像伝送方法、画像表示方法、多視点画像伝送方法、多視点画像復元方法および視差推定装置 | |
Rotem et al. | Automatic video to stereoscopic video conversion | |
Kim et al. | Depth map quality metric for three-dimensional video | |
JP3733358B2 (ja) | 画像伝送装置、送信装置、受信装置、送信方法および受信方法 | |
McVeigh et al. | Algorithm for automated eye-strain reduction in real stereoscopic images and sequences | |
JP3735617B2 (ja) | 多視点画像伝送方法、多視点画像表示方法および多視点画像表示装置 | |
Ideses et al. | 3D from compressed 2D video | |
Edirisinghe et al. | Stereo imaging, an emerging technology | |
Lagendijk et al. | Stereoscopic image processing | |
KR101547281B1 (ko) | 다시점 3차원 영상신호 생성 방법 및 장치 | |
JP2002267413A (ja) | 三次元位置計測装置および方法 | |
Morimoto et al. | A view synthesis method based on object coding and simple disparity model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040317 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050607 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050803 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051005 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051024 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091028 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091028 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101028 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111028 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121028 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131028 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |