JPH0634343A - 複数視点3次元画像入力装置、画像合成装置、及びその画像出力装置 - Google Patents
複数視点3次元画像入力装置、画像合成装置、及びその画像出力装置Info
- Publication number
- JPH0634343A JPH0634343A JP4192272A JP19227292A JPH0634343A JP H0634343 A JPH0634343 A JP H0634343A JP 4192272 A JP4192272 A JP 4192272A JP 19227292 A JP19227292 A JP 19227292A JP H0634343 A JPH0634343 A JP H0634343A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- dimensional image
- dimensional
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Input (AREA)
Abstract
(57)【要約】
【目的】 観察視域が広く、視線を変えれば、それに応
じて表示画像が変わる。 【構成】 複数の2次元画像入力装置からなる第1と第
2の3次元画像入力装置100−1と100−2を所定
距離Lだけ離し、かつそれらの光軸H101とH102
が交差するように配置している。各3次元画像入力装置
100−1,100−2では、被写体の画像を入力して
濃淡画像S101L,S101R及び距離画像S102
L,S102Rをそれぞれ出力する。これらの濃淡画像
S101L,S101R及び距離画像S102L,S1
02Rは、画像合成装置200によって合成され、その
合成画像が画像表示装置300により、観察者の視線を
変えると、それに追従した立体表示が行われる。
じて表示画像が変わる。 【構成】 複数の2次元画像入力装置からなる第1と第
2の3次元画像入力装置100−1と100−2を所定
距離Lだけ離し、かつそれらの光軸H101とH102
が交差するように配置している。各3次元画像入力装置
100−1,100−2では、被写体の画像を入力して
濃淡画像S101L,S101R及び距離画像S102
L,S102Rをそれぞれ出力する。これらの濃淡画像
S101L,S101R及び距離画像S102L,S1
02Rは、画像合成装置200によって合成され、その
合成画像が画像表示装置300により、観察者の視線を
変えると、それに追従した立体表示が行われる。
Description
【0001】
【産業上の利用分野】本発明は、コンピュータビジョン
(CV)及びコンピュータグラフィックス(CG)等の
3次元画像情報技術において、3次元画像を入力し、そ
れを合成し、3次元に画像を表示する等の複数視点3次
元画像入力装置、画像合成装置、及びその画像出力装置
に関するものである。
(CV)及びコンピュータグラフィックス(CG)等の
3次元画像情報技術において、3次元画像を入力し、そ
れを合成し、3次元に画像を表示する等の複数視点3次
元画像入力装置、画像合成装置、及びその画像出力装置
に関するものである。
【0002】
【従来の技術】従来、このような分野の技術としては、
例えば次のような文献に記載されるものがある。 文献1;テレビジョン学会誌、45[4](1991)
P.446−452 文献2;テレビジョン学会誌、45[4](1991)
P.453−460 従来、3次元画像入力方式には、受動的手法(パッシブ
手法)と能動的手法(アクティブ手法)とがある。能動
的手法とは、3次元情報を取得するために、巧みに制御
され、その形状パターンや濃淡、スペクトル等に対し何
等かの意味を持ったエネルギー(光波、電波、音波)を
対象に照射する手法のことを指す。これに対して受動的
手法とは、対象に対して通常の照明等は行うにしても、
計測に関して意味のあるエネルギーを利用しない計測の
ことをいう。一般的にいって、能動的手法の方が、受動
的手法のものより計測の信頼性が高くなる。受動的手法
の代表的なものがステレオ画像法であり、それを図2に
示す。
例えば次のような文献に記載されるものがある。 文献1;テレビジョン学会誌、45[4](1991)
P.446−452 文献2;テレビジョン学会誌、45[4](1991)
P.453−460 従来、3次元画像入力方式には、受動的手法(パッシブ
手法)と能動的手法(アクティブ手法)とがある。能動
的手法とは、3次元情報を取得するために、巧みに制御
され、その形状パターンや濃淡、スペクトル等に対し何
等かの意味を持ったエネルギー(光波、電波、音波)を
対象に照射する手法のことを指す。これに対して受動的
手法とは、対象に対して通常の照明等は行うにしても、
計測に関して意味のあるエネルギーを利用しない計測の
ことをいう。一般的にいって、能動的手法の方が、受動
的手法のものより計測の信頼性が高くなる。受動的手法
の代表的なものがステレオ画像法であり、それを図2に
示す。
【0003】図2は、前記文献2に記載された従来の3
次元画像入力方式の一つであるステレオ画像法の説明図
である。このステレオ画像法では、2次元画像入力装置
である2台のカメラ1,2を所定距離離して配置し、左
右のカメラ1,2で撮られた被写体3の結像位置の差、
即ち位相差を利用し、三角測量法によって被写体3まで
の距離を計る方法である。
次元画像入力方式の一つであるステレオ画像法の説明図
である。このステレオ画像法では、2次元画像入力装置
である2台のカメラ1,2を所定距離離して配置し、左
右のカメラ1,2で撮られた被写体3の結像位置の差、
即ち位相差を利用し、三角測量法によって被写体3まで
の距離を計る方法である。
【0004】図3は、図2のステレオ画像法で得られた
信号の濃淡画像と距離画像の2枚の画像の説明図であ
る。濃淡画像は、図2のカメラ1,2で得られるカラー
や白黒の画像である。距離画像は、3次元位置に関する
画像であり、マトリクスデータで一つ一つの画素が対象
物(被写体3)の奥行きに関する情報を持つものであ
る。このような濃淡画像と距離画像とから、偏光フイル
タを用いた両眼融合方式によって立体画像表示を行った
り、レンチキュラ板を用いて立体画像表示を行ったりし
ている。立体画像表示の一例を図4に示す。
信号の濃淡画像と距離画像の2枚の画像の説明図であ
る。濃淡画像は、図2のカメラ1,2で得られるカラー
や白黒の画像である。距離画像は、3次元位置に関する
画像であり、マトリクスデータで一つ一つの画素が対象
物(被写体3)の奥行きに関する情報を持つものであ
る。このような濃淡画像と距離画像とから、偏光フイル
タを用いた両眼融合方式によって立体画像表示を行った
り、レンチキュラ板を用いて立体画像表示を行ったりし
ている。立体画像表示の一例を図4に示す。
【0005】図4は、前記文献1に記載された従来の3
次元画像表示方式の一つである多眼式レンチキュラ方式
の原理を示す図である。多眼式レンチキュラ方式は、複
数のかまぼこ状のレンズ板からなるレンチキュラ板10
を用い、各レンズ板の焦点面に左右画像をストライプ状
に配置した方式である。1個のレンズ板内にはa,b,
c,…,fの部分に、それぞれa1 ,b1 ,c1 ,…,
f1 という多方向から撮像したストライプ状の多眼像1
1を表示する。レンズ板の作用によって各方向のストラ
イプ状の多眼像11は左右の眼12,13に別々に入
り、視点を移動すれば、横方向の立体映像を見ることが
できる。
次元画像表示方式の一つである多眼式レンチキュラ方式
の原理を示す図である。多眼式レンチキュラ方式は、複
数のかまぼこ状のレンズ板からなるレンチキュラ板10
を用い、各レンズ板の焦点面に左右画像をストライプ状
に配置した方式である。1個のレンズ板内にはa,b,
c,…,fの部分に、それぞれa1 ,b1 ,c1 ,…,
f1 という多方向から撮像したストライプ状の多眼像1
1を表示する。レンズ板の作用によって各方向のストラ
イプ状の多眼像11は左右の眼12,13に別々に入
り、視点を移動すれば、横方向の立体映像を見ることが
できる。
【0006】
【発明が解決しようとする課題】しかしながら、上記構
成の装置では、3次元画像表示方式として、レンチキュ
ラ板10を使用した場合、平面画像を立体的に見れるも
のの、観察者の視線を変えたときのものの見え方は、立
体視可能な観察領域として約5m離れて見たときに、左
右方向で5〜10cm、前後方向に±30cm程度と狭い。
また、両眼融合方式においては、平面画像の立体的表現
のみで、視線を変えても、画像そのものは変わらないと
いう問題があり、それらを解決することが困難であっ
た。本発明は、前記従来技術が持っていた課題として、
観察視域が狭い、視線を変えても画像が変わらない等の
点について解決した複数視点3次元画像入力装置、画像
合成装置、及びその画像出力装置を提供するものであ
る。
成の装置では、3次元画像表示方式として、レンチキュ
ラ板10を使用した場合、平面画像を立体的に見れるも
のの、観察者の視線を変えたときのものの見え方は、立
体視可能な観察領域として約5m離れて見たときに、左
右方向で5〜10cm、前後方向に±30cm程度と狭い。
また、両眼融合方式においては、平面画像の立体的表現
のみで、視線を変えても、画像そのものは変わらないと
いう問題があり、それらを解決することが困難であっ
た。本発明は、前記従来技術が持っていた課題として、
観察視域が狭い、視線を変えても画像が変わらない等の
点について解決した複数視点3次元画像入力装置、画像
合成装置、及びその画像出力装置を提供するものであ
る。
【0007】
【課題を解決するための手段】第1の発明は、前記課題
を解決するために、複数視点3次元画像入力装置におい
て、照射された被写体の画像を入力して第1の濃淡画像
及び第1の距離画像の信号を出力する第1の3次元画像
入力装置と、前記被写体の画像を入力して第2の濃淡画
像及び第2の距離画像の信号を出力する第2の3次元画
像入力装置と、前記第1と第2の3次元画像入力装置を
所定距離Lだけ離し、かつ該第1と第2の3次元画像入
力装置の光軸が交差するように配置している。第2の発
明では、第1の発明の複数視点3次元画像入力装置にお
いて、前記各3次元画像入力装置は、複数の2次元画像
入力装置を備え、それらの各光軸間の距離d0 を前記距
離Lよりも小さくして該複数の2次元画像入力装置を配
置している。第3の発明では、画像合成装置において、
設定された撮像条件に基づき、第1の発明の第1,第2
の距離画像及び第1,第2の濃淡画像から、観察者の視
点軌跡に従い、視点角度を変えた画像を合成するように
している。第4の発明では、第3の発明の画像合成装置
において、前記視点角度を、前記第1と第2の3次元画
像入力装置の光軸の交点を中心に設定するようにしてい
る。第5の発明では、画像出力装置において、第3の発
明の画像合成装置で合成された画像情報を外部へ出力す
るようにしている。第6の発明では、画像出力装置にお
いて、第3の発明の画像合成装置によって観察者の視点
角度を変えた画像を合成する際に、その視点角度におけ
る立体画像表示用の信号を作成して画像表示するように
している。
を解決するために、複数視点3次元画像入力装置におい
て、照射された被写体の画像を入力して第1の濃淡画像
及び第1の距離画像の信号を出力する第1の3次元画像
入力装置と、前記被写体の画像を入力して第2の濃淡画
像及び第2の距離画像の信号を出力する第2の3次元画
像入力装置と、前記第1と第2の3次元画像入力装置を
所定距離Lだけ離し、かつ該第1と第2の3次元画像入
力装置の光軸が交差するように配置している。第2の発
明では、第1の発明の複数視点3次元画像入力装置にお
いて、前記各3次元画像入力装置は、複数の2次元画像
入力装置を備え、それらの各光軸間の距離d0 を前記距
離Lよりも小さくして該複数の2次元画像入力装置を配
置している。第3の発明では、画像合成装置において、
設定された撮像条件に基づき、第1の発明の第1,第2
の距離画像及び第1,第2の濃淡画像から、観察者の視
点軌跡に従い、視点角度を変えた画像を合成するように
している。第4の発明では、第3の発明の画像合成装置
において、前記視点角度を、前記第1と第2の3次元画
像入力装置の光軸の交点を中心に設定するようにしてい
る。第5の発明では、画像出力装置において、第3の発
明の画像合成装置で合成された画像情報を外部へ出力す
るようにしている。第6の発明では、画像出力装置にお
いて、第3の発明の画像合成装置によって観察者の視点
角度を変えた画像を合成する際に、その視点角度におけ
る立体画像表示用の信号を作成して画像表示するように
している。
【0008】
【作用】第1及び第2の発明によれば、以上のように複
数視点3次元画像入力装置を構成したので、第1及び第
2の3次元画像入力装置は、被写体の画像を入力して第
1及び第2の濃淡画像と第1及び第2の距離画像とをそ
れぞれ出力する。第3及び第4の発明によれば、第1及
び第2の3次元画像入力装置から出力された濃淡画像及
び距離画像から、観察者の視点に合わせた画像合成を行
う。第5及び第6の発明によれば、前記画像合成装置の
出力に基づき、観察者の視線を変えると、それに追従し
て合成画像を表示したり、あるいはその合成画像の信号
を外部へ出力する。従って、前記課題を解決できるので
ある。
数視点3次元画像入力装置を構成したので、第1及び第
2の3次元画像入力装置は、被写体の画像を入力して第
1及び第2の濃淡画像と第1及び第2の距離画像とをそ
れぞれ出力する。第3及び第4の発明によれば、第1及
び第2の3次元画像入力装置から出力された濃淡画像及
び距離画像から、観察者の視点に合わせた画像合成を行
う。第5及び第6の発明によれば、前記画像合成装置の
出力に基づき、観察者の視線を変えると、それに追従し
て合成画像を表示したり、あるいはその合成画像の信号
を外部へ出力する。従って、前記課題を解決できるので
ある。
【0009】
【実施例】図1は、本発明の実施例を示す複数視点3次
元画像入力装置の構成ブロック図である。この複数視点
3次元画像入力装置は、自然光等を照明光とする照明の
与え方がパッシブ(受動)型の第1及び第2の3次元画
像入力装置を備えている。この第1,第2の3次元画像
入力装置は、例えば第1及び第2の3次元カメラ(以
下、3Dカメラという)100−1,100−2でそれ
ぞれ構成されている。この第1と第2の3Dカメラ10
0−1,100−2は、距離Lだけ離間し、視線角度
(視角)θ1 ,θ2 を形成する光軸(視線)H101,
102が交点Kで交わるように配置されている。第1の
3Dカメラ100−1は、第1の濃淡画像S101Lと
第1の距離画像S102Lを出力する機能を有し、さら
に第2の3Dカメラ100−2は、第2の濃淡画像S1
01Rと第2の距離画像S102Rを出力する機能を有
している。第1,第2の3Dカメラ100−1,100
−2の出力側には、視角を合わせた画像合成装置200
が接続され、さらにその出力側に、画像出力装置である
画像表示装置300が接続されている。画像合成装置2
00は、画像表示装置300を観察する観察者の視角に
合わせて、第1,第2の濃淡画像S101L,S101
R、及び第1,第2の距離画像S102L,S102R
を合成する装置である。この場合、観察者の位置を変え
ないでも、画像そのものの見える角度も視角としてい
る。画像表示装置300は、画像合成装置200からの
信号を表示する装置であり、それには、観察者が見たい
角度を設定する表示視線設定装置400が接続されてい
る。この表示視線設定装置400では、観察者がダイア
ル等の制御で設定してもよいし、あるいは人間のいる位
置に自動的に追従して角度設定してもよい。
元画像入力装置の構成ブロック図である。この複数視点
3次元画像入力装置は、自然光等を照明光とする照明の
与え方がパッシブ(受動)型の第1及び第2の3次元画
像入力装置を備えている。この第1,第2の3次元画像
入力装置は、例えば第1及び第2の3次元カメラ(以
下、3Dカメラという)100−1,100−2でそれ
ぞれ構成されている。この第1と第2の3Dカメラ10
0−1,100−2は、距離Lだけ離間し、視線角度
(視角)θ1 ,θ2 を形成する光軸(視線)H101,
102が交点Kで交わるように配置されている。第1の
3Dカメラ100−1は、第1の濃淡画像S101Lと
第1の距離画像S102Lを出力する機能を有し、さら
に第2の3Dカメラ100−2は、第2の濃淡画像S1
01Rと第2の距離画像S102Rを出力する機能を有
している。第1,第2の3Dカメラ100−1,100
−2の出力側には、視角を合わせた画像合成装置200
が接続され、さらにその出力側に、画像出力装置である
画像表示装置300が接続されている。画像合成装置2
00は、画像表示装置300を観察する観察者の視角に
合わせて、第1,第2の濃淡画像S101L,S101
R、及び第1,第2の距離画像S102L,S102R
を合成する装置である。この場合、観察者の位置を変え
ないでも、画像そのものの見える角度も視角としてい
る。画像表示装置300は、画像合成装置200からの
信号を表示する装置であり、それには、観察者が見たい
角度を設定する表示視線設定装置400が接続されてい
る。この表示視線設定装置400では、観察者がダイア
ル等の制御で設定してもよいし、あるいは人間のいる位
置に自動的に追従して角度設定してもよい。
【0010】また、画像合成装置200には、撮像条件
設定記憶装置500が接続されると共に、その画像合成
装置200及び表示視線設定装置400に、視点軌跡設
定装置600が接続されている。撮像条件設定記憶装置
500は、カメラ間隔やカメラ視角等のカメラ配置条件
と、焦点距離、倍率、画角といったレンズ等の光学系設
定条件とを、記憶しておく装置である。視点軌跡設定装
置600は、観察者の視角に合わせた画像合成をする際
の視点軌跡を設定する装置である。
設定記憶装置500が接続されると共に、その画像合成
装置200及び表示視線設定装置400に、視点軌跡設
定装置600が接続されている。撮像条件設定記憶装置
500は、カメラ間隔やカメラ視角等のカメラ配置条件
と、焦点距離、倍率、画角といったレンズ等の光学系設
定条件とを、記憶しておく装置である。視点軌跡設定装
置600は、観察者の視角に合わせた画像合成をする際
の視点軌跡を設定する装置である。
【0011】図5は、図1中の各3Dカメラ100−
1,100−2の概略の構成図である。図1中の各3D
カメラ100−1,100−2は、被写体110を結像
する左目用のレンズ111と右目用のレンズ112とを
備え、それらのレンズ111,112の結像位置には、
左目用の固体撮像素子、例えば電荷結合素子(以下、C
CDという)121と、右目用の固体撮像素子、例えば
CCD122とが設けられている。左目用のレンズ11
1の光軸H111と、右目用のレンズ112の光軸H1
12とは、距離d0 だけ離れている。左目用のレンズ1
11の画角(視野)はθ111 、右目用のレンズ112の
画角(視野)はθ112 である。
1,100−2の概略の構成図である。図1中の各3D
カメラ100−1,100−2は、被写体110を結像
する左目用のレンズ111と右目用のレンズ112とを
備え、それらのレンズ111,112の結像位置には、
左目用の固体撮像素子、例えば電荷結合素子(以下、C
CDという)121と、右目用の固体撮像素子、例えば
CCD122とが設けられている。左目用のレンズ11
1の光軸H111と、右目用のレンズ112の光軸H1
12とは、距離d0 だけ離れている。左目用のレンズ1
11の画角(視野)はθ111 、右目用のレンズ112の
画角(視野)はθ112 である。
【0012】図6(a),(b)は、図5に示すような
2眼カメラからなる3Dカメラ100−1(または10
0−2)を用いて被写体110を撮像したときの左側画
像と右側画像を示す図である。図5のような3Dカメラ
100−1(または100−2)を用いて被写体110
を撮像すると、図6(b)の左側画像と図6(a)の右
側画像とが得られる。図5のレンズ111の光軸H11
1とレンズ112の光軸H112とは、ある距離d0 だ
け離れているので、得られる被写体110の画面内の位
置に差が出てくる。
2眼カメラからなる3Dカメラ100−1(または10
0−2)を用いて被写体110を撮像したときの左側画
像と右側画像を示す図である。図5のような3Dカメラ
100−1(または100−2)を用いて被写体110
を撮像すると、図6(b)の左側画像と図6(a)の右
側画像とが得られる。図5のレンズ111の光軸H11
1とレンズ112の光軸H112とは、ある距離d0 だ
け離れているので、得られる被写体110の画面内の位
置に差が出てくる。
【0013】例えば、距離が異なる2つの被写体110
a,110bを配置して撮像した場合、被写体110
a,110bにおいてそれぞれ位相差Δ1 =x12−x11
及び位相差Δ2 =x22−x21が得られる。ここで、x11
は左側画像の第1の被写体110aの画面内水平方向位
置、x21は左側画像の第2の被写体110bの画面内水
平方向位置である。同様に、X12,X22は、右側画像の
第1,第2の被写体110a,110bの画面内水平方
向位置である。この場合、Δ1 >Δ2 の関係があり、位
相差の小さい方が遠方にあることになる。この関係を図
7に示す。図7は、図5の3Dカメラ100−1(また
は100−2)のレンズ111と112の距離d0 を2
0cmとして、各レンズ111,112の画角θ111 ,θ
11 2 を70°で使用したときの距離とビットずれの相関
図ある。図6の左側画像と右側画像の位相差が解れば、
図7の関係から距離が求まることになる。その結果例を
図8に示す。図8は、図5の3Dカメラ100−1(ま
たは100−2)で得られた濃淡画像と距離画像を示す
図である。この図では、濃淡画像と距離画像という形で
画素毎のマップとして示されている。図9は、図1の3
Dカメラ100−1,100−2の配置条件の例を示す
図である。
a,110bを配置して撮像した場合、被写体110
a,110bにおいてそれぞれ位相差Δ1 =x12−x11
及び位相差Δ2 =x22−x21が得られる。ここで、x11
は左側画像の第1の被写体110aの画面内水平方向位
置、x21は左側画像の第2の被写体110bの画面内水
平方向位置である。同様に、X12,X22は、右側画像の
第1,第2の被写体110a,110bの画面内水平方
向位置である。この場合、Δ1 >Δ2 の関係があり、位
相差の小さい方が遠方にあることになる。この関係を図
7に示す。図7は、図5の3Dカメラ100−1(また
は100−2)のレンズ111と112の距離d0 を2
0cmとして、各レンズ111,112の画角θ111 ,θ
11 2 を70°で使用したときの距離とビットずれの相関
図ある。図6の左側画像と右側画像の位相差が解れば、
図7の関係から距離が求まることになる。その結果例を
図8に示す。図8は、図5の3Dカメラ100−1(ま
たは100−2)で得られた濃淡画像と距離画像を示す
図である。この図では、濃淡画像と距離画像という形で
画素毎のマップとして示されている。図9は、図1の3
Dカメラ100−1,100−2の配置条件の例を示す
図である。
【0014】第1の3Dカメラ100−1の光軸H10
1の視角θ1 と、第2の3Dカメラ100−2の光軸H
102の視角θ2 とを、例えばθ1 =θ2 =70°と
し、該第1と第2の3Dカメラ100−1,100−2
間の距離Lを2mとする。この場合、2台の3Dカメラ
100−1,100−2の光軸H101とH102は、
その2台の3Dカメラ100−1と100−2を結んだ
線の中央の点Oから、直角方向に約2.75mの距離l
で交わる構成となっている。次に、図1の装置の3次元
画像入力動作(1)、画像合成動作(2)、3次元画像
表示動作(3)、及びその他の動作(4)を説明する。
1の視角θ1 と、第2の3Dカメラ100−2の光軸H
102の視角θ2 とを、例えばθ1 =θ2 =70°と
し、該第1と第2の3Dカメラ100−1,100−2
間の距離Lを2mとする。この場合、2台の3Dカメラ
100−1,100−2の光軸H101とH102は、
その2台の3Dカメラ100−1と100−2を結んだ
線の中央の点Oから、直角方向に約2.75mの距離l
で交わる構成となっている。次に、図1の装置の3次元
画像入力動作(1)、画像合成動作(2)、3次元画像
表示動作(3)、及びその他の動作(4)を説明する。
【0015】(1) 3次元画像入力動作 本実施例は、図1に示すように、2台の3Dカメラ10
0−1,100−2を用いてそれらの光軸H101とH
102が交点Kで交わるように配置したことを第1の特
徴としている。以下、図10〜図12を参照しつつ、3
次元画像入力動作を説明する。図10は、図1の3Dカ
メラ100−1,100−2の撮影方向に対して直角の
方向、つまりカメラ配置を上から見た図である。左側の
3Dカメラ100−1と右側の3Dカメラ100−2と
の間の距離Lは、図5に示す3Dカメラ単体での光軸間
距離d0 よりも広く設定されている。左側の3Dカメラ
100−1の光軸H101と右側の3Dカメラ100−
2の光軸H102とは、交点Kで交わるようにしてあ
る。左側の3Dカメラ100−1と右側の3Dカメラ1
00−2とを結んだ仮想線105上に、交点Kより垂線
を下ろした点を0とする。仮想線105と光軸H101
とのなす角(視角)をθ1 、仮想線105と光軸H10
2とのなす角(視角)をθ2 とする。説明の簡単化のた
めに、視角θ1 =θ2 とし、点0は2台の3Dカメラ1
00−1と100−2の中心になっている。左側の3D
カメラ100−1の画角ψ1 と、右側の3Dカメラ10
0−2の画角ψ2 とは、同一の3Dカメラを用いた場合
には同一である。また、被写体110は、説明の簡単化
のために、例えば点A,B,C,Dからなる立方体とし
ている。
0−1,100−2を用いてそれらの光軸H101とH
102が交点Kで交わるように配置したことを第1の特
徴としている。以下、図10〜図12を参照しつつ、3
次元画像入力動作を説明する。図10は、図1の3Dカ
メラ100−1,100−2の撮影方向に対して直角の
方向、つまりカメラ配置を上から見た図である。左側の
3Dカメラ100−1と右側の3Dカメラ100−2と
の間の距離Lは、図5に示す3Dカメラ単体での光軸間
距離d0 よりも広く設定されている。左側の3Dカメラ
100−1の光軸H101と右側の3Dカメラ100−
2の光軸H102とは、交点Kで交わるようにしてあ
る。左側の3Dカメラ100−1と右側の3Dカメラ1
00−2とを結んだ仮想線105上に、交点Kより垂線
を下ろした点を0とする。仮想線105と光軸H101
とのなす角(視角)をθ1 、仮想線105と光軸H10
2とのなす角(視角)をθ2 とする。説明の簡単化のた
めに、視角θ1 =θ2 とし、点0は2台の3Dカメラ1
00−1と100−2の中心になっている。左側の3D
カメラ100−1の画角ψ1 と、右側の3Dカメラ10
0−2の画角ψ2 とは、同一の3Dカメラを用いた場合
には同一である。また、被写体110は、説明の簡単化
のために、例えば点A,B,C,Dからなる立方体とし
ている。
【0016】図10において、2台の3Dカメラ100
−1,100−2で被写体110を撮影すると、それら
の3Dカメラ100−1,100−2から、濃淡画像と
距離画像がそれぞれ出力される。図11(a)〜(d)
は、図10における被写体110の見え方を説明する図
である。図11(a),(b)は、各3Dカメラ100
−1,100−2での2次元画像の例を示す。立方体の
被写体110の4点A,B,C,Dのうち、左側の3D
カメラ100−1では図11(a)に示すように点Aと
Bのみが撮像され、右側の3Dカメラ100−2では図
11(b)に示すように点A,B,Cの3点が撮像され
る。ここで、図11(a)のx1a,y1aは点Aの2次元
画像内の座標、x1b,y1bは点Bの2次元画像内の座標
である。図11(c),(d)は、各3Dカメラ100
−1,100−2から見た点A,B,C,Dからなる被
写体110のxy座標、及び距離lを示す図である。距
離l1aは3Dカメラ100−1の点Aの距離を示し、l
1b等もそれぞれに対応する距離である。これらの被写体
110の点A,B,C,Dのxy座標及び距離lの信号
が、図1の画像合成装置200へ送られる。
−1,100−2で被写体110を撮影すると、それら
の3Dカメラ100−1,100−2から、濃淡画像と
距離画像がそれぞれ出力される。図11(a)〜(d)
は、図10における被写体110の見え方を説明する図
である。図11(a),(b)は、各3Dカメラ100
−1,100−2での2次元画像の例を示す。立方体の
被写体110の4点A,B,C,Dのうち、左側の3D
カメラ100−1では図11(a)に示すように点Aと
Bのみが撮像され、右側の3Dカメラ100−2では図
11(b)に示すように点A,B,Cの3点が撮像され
る。ここで、図11(a)のx1a,y1aは点Aの2次元
画像内の座標、x1b,y1bは点Bの2次元画像内の座標
である。図11(c),(d)は、各3Dカメラ100
−1,100−2から見た点A,B,C,Dからなる被
写体110のxy座標、及び距離lを示す図である。距
離l1aは3Dカメラ100−1の点Aの距離を示し、l
1b等もそれぞれに対応する距離である。これらの被写体
110の点A,B,C,Dのxy座標及び距離lの信号
が、図1の画像合成装置200へ送られる。
【0017】(2) 画像合成動作 図1の画像合成装置200では、2台の3Dカメラ10
0−1,100−2から出力された第1,第2の濃淡画
像S101L,S101Rと第1,第2の距離画像S1
02L,S102Rとから、観測者の視線に合わせた画
像を合成する。これは、例えば図10の点0から被写体
110を見たときの画像として表示しようとするもので
ある。図12は、従来より知られている簡単な幾何光学
の図である。図12のl1 はレンズ111(または11
2)から被写体110までの被写体距離、l2 はレンズ
111(または112)から結像された像110cまで
の像距離である。焦点距離fは、1/l1 +1/l2 =
1/fの関係にあり、倍率(縮率)m0 =l2 /l1 で
ある。そして、レンズ111(または112)から被写
体110までの被写体距離l1 が遠いと、結像された像
110cは小さくなる。
0−1,100−2から出力された第1,第2の濃淡画
像S101L,S101Rと第1,第2の距離画像S1
02L,S102Rとから、観測者の視線に合わせた画
像を合成する。これは、例えば図10の点0から被写体
110を見たときの画像として表示しようとするもので
ある。図12は、従来より知られている簡単な幾何光学
の図である。図12のl1 はレンズ111(または11
2)から被写体110までの被写体距離、l2 はレンズ
111(または112)から結像された像110cまで
の像距離である。焦点距離fは、1/l1 +1/l2 =
1/fの関係にあり、倍率(縮率)m0 =l2 /l1 で
ある。そして、レンズ111(または112)から被写
体110までの被写体距離l1 が遠いと、結像された像
110cは小さくなる。
【0018】従来のごとく、2次元画像入力装置である
単眼カメラを2台、広い間隔で離間して配置し、該2台
の単眼カメラで撮像した場合、被写***置により像の大
きさが変わってしまい、それを合成することがほとんど
できなかった。また、2台の単眼カメラを広い間隔で配
置すると、その2台の単眼カメラの被写体をとらえる角
度の差が大きくなってしまい、該被写体の輝度がその角
度差により大きく変わり、その2台の単眼カメラからの
画像の対応点探索が非常に困難であった。これに対し、
本実施例では図1に示すように、各3Dカメラ100−
1,100−2中の光軸間距離d0 が例えば20cmと狭
いので、3m程度の距離にある被写体110を見た場合
には、視線のなす角度差が小さいので、該被写体110
の輝度の変化も1%以下と小さく抑えられ、2枚の濃淡
画像S101L,S101Rから距離を算出する際の対
応点を探し易くなる。そのため、従来のように2台の単
眼カメラを広い間隔で配置するよりも、距離画像S10
2L,S102Rを検出し易い利点がある。これが第2
の特徴である。また、本実施例では、被写体110まで
の距離が距離画像S102L,S10R2Rとして得ら
れているので、像の大きさを特定でき、合成が容易に行
える利点がある。これが第3の特徴である。
単眼カメラを2台、広い間隔で離間して配置し、該2台
の単眼カメラで撮像した場合、被写***置により像の大
きさが変わってしまい、それを合成することがほとんど
できなかった。また、2台の単眼カメラを広い間隔で配
置すると、その2台の単眼カメラの被写体をとらえる角
度の差が大きくなってしまい、該被写体の輝度がその角
度差により大きく変わり、その2台の単眼カメラからの
画像の対応点探索が非常に困難であった。これに対し、
本実施例では図1に示すように、各3Dカメラ100−
1,100−2中の光軸間距離d0 が例えば20cmと狭
いので、3m程度の距離にある被写体110を見た場合
には、視線のなす角度差が小さいので、該被写体110
の輝度の変化も1%以下と小さく抑えられ、2枚の濃淡
画像S101L,S101Rから距離を算出する際の対
応点を探し易くなる。そのため、従来のように2台の単
眼カメラを広い間隔で配置するよりも、距離画像S10
2L,S102Rを検出し易い利点がある。これが第2
の特徴である。また、本実施例では、被写体110まで
の距離が距離画像S102L,S10R2Rとして得ら
れているので、像の大きさを特定でき、合成が容易に行
える利点がある。これが第3の特徴である。
【0019】次に、画像合成方法について説明する。図
13は、点0を視点として被写体110を画像合成する
ときの計算例を示す図である。図13において、l1aは
被写体110の点Aまでの距離、d1aは3Dカメラ10
0−1の像中心からの点Aの結像点A2 までの距離、θ
1 は3Dカメラ100−1の視角(設定角)である。3
Dカメラ100−1と100−2間の仮想線105は視
点軌跡である。被写体110の点Aに着目して説明する
と、3Dカメラ100−1が見ている点AはA2 と等価
な位置にある。即ち、3Dカメラ100−1の中心01
からA2 までの座標に位置している。なお、結像されて
いる像は一般的には縮小されているが、レンズによる縮
小画像が線形であると仮定できる光軸近傍を取り扱うの
で、縮小率に比例するだけの相似形となる。そのため、
説明のしやすさから、図13のような作図とした。
13は、点0を視点として被写体110を画像合成する
ときの計算例を示す図である。図13において、l1aは
被写体110の点Aまでの距離、d1aは3Dカメラ10
0−1の像中心からの点Aの結像点A2 までの距離、θ
1 は3Dカメラ100−1の視角(設定角)である。3
Dカメラ100−1と100−2間の仮想線105は視
点軌跡である。被写体110の点Aに着目して説明する
と、3Dカメラ100−1が見ている点AはA2 と等価
な位置にある。即ち、3Dカメラ100−1の中心01
からA2 までの座標に位置している。なお、結像されて
いる像は一般的には縮小されているが、レンズによる縮
小画像が線形であると仮定できる光軸近傍を取り扱うの
で、縮小率に比例するだけの相似形となる。そのため、
説明のしやすさから、図13のような作図とした。
【0020】図13の場合、図1の画像合成装置200
では、撮像条件設定記憶装置500に設定された値を用
いて、簡単な三角関数で、点0から見たときの点Aの投
影点A1 が得られる。点001 間の距離は予め設定した
値なので、点01 から点A1までの距離X2aは次式から
求まる。 x2a=l1a cosθ1 −d1a sinθ1 そして、点0A1 間の距離は、次式より求まる。 0A1 =Ls −X2a 同様に、仮想線105からの距離L2a(これは視点から
の平行な距離である)も次式より求められる。 L2a=l1a sinθ1 −d1a cosθ1 被写体110の他の点B,C,Dも前記と同様に求めら
れ、結果として点0からの座標に変換される。これが第
4の特徴である。
では、撮像条件設定記憶装置500に設定された値を用
いて、簡単な三角関数で、点0から見たときの点Aの投
影点A1 が得られる。点001 間の距離は予め設定した
値なので、点01 から点A1までの距離X2aは次式から
求まる。 x2a=l1a cosθ1 −d1a sinθ1 そして、点0A1 間の距離は、次式より求まる。 0A1 =Ls −X2a 同様に、仮想線105からの距離L2a(これは視点から
の平行な距離である)も次式より求められる。 L2a=l1a sinθ1 −d1a cosθ1 被写体110の他の点B,C,Dも前記と同様に求めら
れ、結果として点0からの座標に変換される。これが第
4の特徴である。
【0021】(3) 3次元画像表示動作 図14(a)〜(c)は、視点0から見たときの画像表
示方法の説明図である。図14(a)において、被写体
110の点Aの1対1の写像時の点301は、奥行きが
距離比(302)だけ小さく見え、さらにY方向も距離
比(303)だけ小さく見えるので、新たな点304が
表示点となる。図14(b)において、305は表示
点、大きさの比は tanη2 /tan η1 、表示係数をmと
すると、表示位置の差はm×( tanη2 − tanη1 )と
なる。
示方法の説明図である。図14(a)において、被写体
110の点Aの1対1の写像時の点301は、奥行きが
距離比(302)だけ小さく見え、さらにY方向も距離
比(303)だけ小さく見えるので、新たな点304が
表示点となる。図14(b)において、305は表示
点、大きさの比は tanη2 /tan η1 、表示係数をmと
すると、表示位置の差はm×( tanη2 − tanη1 )と
なる。
【0022】図1の画像合成装置200の出力信号によ
って画像表示装置300で表示する場合、図14に示す
ように、近くのものは大きく、遠くのもは小さく表示さ
れる。その場合、視点から見た像の大きさは、視点から
見た像のなす角の大きさによって決まる。そこで、画像
表示装置300で表示される被写体110の大きさは、
3Dカメラ100−1から見た被写体110の点Aに対
する角度η1 で決まり、その角度η1 が距離l1a及び2
次元画像の座標d1aから求められるので、容易に求めら
れる。また、点0から見た場合も、距離L2a及び2次元
画像の座標A1が得られるので、容易に角度η2 が求ま
る。この角度η2 により画像表示装置300で表示する
結果、表示された点Aの位置は見える被写体110の大
きさに応じてずれ、点0から見た大きさの表示がされ
る。これが第5の特徴である。
って画像表示装置300で表示する場合、図14に示す
ように、近くのものは大きく、遠くのもは小さく表示さ
れる。その場合、視点から見た像の大きさは、視点から
見た像のなす角の大きさによって決まる。そこで、画像
表示装置300で表示される被写体110の大きさは、
3Dカメラ100−1から見た被写体110の点Aに対
する角度η1 で決まり、その角度η1 が距離l1a及び2
次元画像の座標d1aから求められるので、容易に求めら
れる。また、点0から見た場合も、距離L2a及び2次元
画像の座標A1が得られるので、容易に角度η2 が求ま
る。この角度η2 により画像表示装置300で表示する
結果、表示された点Aの位置は見える被写体110の大
きさに応じてずれ、点0から見た大きさの表示がされ
る。これが第5の特徴である。
【0023】2次元画像のx方向の画像表示について説
明したが、y方向も同様に求まる。また、3Dカメラ1
00−2から見た場合も同様に求められる。以上のよう
に、図1の撮像条件設定記憶装置500の情報と、3D
カメラ100−1,100−2から出力される濃淡画像
S101L,S101R、及び距離画像S102L,S
102Rとから、画像合成装置200で簡単に画像合成
でき、それを画像表示装置300で立体的に表示でき
る。
明したが、y方向も同様に求まる。また、3Dカメラ1
00−2から見た場合も同様に求められる。以上のよう
に、図1の撮像条件設定記憶装置500の情報と、3D
カメラ100−1,100−2から出力される濃淡画像
S101L,S101R、及び距離画像S102L,S
102Rとから、画像合成装置200で簡単に画像合成
でき、それを画像表示装置300で立体的に表示でき
る。
【0024】(4) その他の動作 被写体110が複数存在する場合には、同じ角度η2 で
複数点存在する場合があるが、そのときには、観察者の
視線から見た法線方向(例えば、角度η2 方向)の距離
の短い方の点を取れば重複しない。これが第6の特徴で
ある。また、観察者の視線によっては、3Dカメラ10
0−1,100−2の遠距離の情報が表示画角内に入ら
ない場合があるが、そのような場合は考えなくてもよ
い。
複数点存在する場合があるが、そのときには、観察者の
視線から見た法線方向(例えば、角度η2 方向)の距離
の短い方の点を取れば重複しない。これが第6の特徴で
ある。また、観察者の視線によっては、3Dカメラ10
0−1,100−2の遠距離の情報が表示画角内に入ら
ない場合があるが、そのような場合は考えなくてもよ
い。
【0025】図15は、本発明の実施例の他の画像合成
の計算例を示す図である。即ち、この図15は、視線軌
跡を2台の3Dカメラ100−1,100−2を結んだ
線上としたときの、任意の視線方向への画像合成の計算
例を示す、任意方向から見たときの投影図である。2台
の3Dカメラ100−1,100−2を任意の位置CM
1,CM2に設置した場合、各3Dカメラ100−1,
100−2の光軸H101とH102の交点Kから、直
線CM1・CM2間上に垂線を引いたとき、その交点を
CTとする。交点Kにおける光軸H101とH102の
なす角度をδとすると、直接CM1・CM2間上の点C
T,cは角度δにより決まる。 P1 =CM1・c、P2 =b・c、P3 =a・b、P4
=CM1・b、 P5 =CM1・a、P6 =A2 ・CM1、 P7
=A2 ・A3 、 P8 =A3 ・a、 P9 =A3 ・b1 、 L1a
=A・A1 、 L2a=A・A3 、 l1a=A・A2 の場合、P6 ,l1aを測定値とすると、角度δ1 時の投
影面において、求める角度δ1 時の中心からの位置P9
と、求める角度δ1 時の被写体110までの距離L1aと
は、次の三角関数式より求めることができる。 P4 =P1 ・cos (π−θ1 −δ1 ) P2 =P1 ・sin (π−θ1 −δ1 ) P3 =P4 ・tan δ1 P7 =l1a・tan δ1 P5 =P4 /cos δ1 P8 =P6 +P5 −P7 P9 =(P8 /P5 )・P4 L1a=l1a/ cosδ1 −P2 −(P8 /P5 )・P3 図16は、視線軌跡を2台の3Dカメラ100−1,1
00−2の光軸交点Kを中心とした円周上としたとき
の、任意の視線方向への画像合成の計算例を示す図であ
る。観察点を、2台の3Dカメラ100−1と100−
2を結んだ直線上ではなく、それらの光軸H101とH
102の交点Kを中心として、3Dカメラ100−1の
中心及び3Dカメラ100−2の中心を通る円周上を観
察点(視点)とした場合、図16において、γ=K・C
M1、γ1 =K・B1 、PP1=CT0・B1 であるか
ら、三角関数式 γ1 =PP1/ sin(π−θ1 −δ1 ) d=γ−γ1 より、距離=L1a+dと、位置(=直線時と同じ)を求
めることができる。このように、円周上で観察点を動か
したときには、表示される画像の大きさの変化が小さい
ので、視覚的な異和感が小さい利点を有する。以上のよ
うに、視点をどうとるかは、図1の視点軌跡設定装置6
00に予め何種類か視点軌跡を設定しておけば、観察者
の好きな軌跡にそって変更が可能である。これが第7の
特徴である。また、被写体110の形状によっては、死
角があり得るが、その場合には3Dカメラ100−1と
100−2の間に、第3あるいは第nの3Dカメラを設
置することにより、死角の問題を解決できる。
の計算例を示す図である。即ち、この図15は、視線軌
跡を2台の3Dカメラ100−1,100−2を結んだ
線上としたときの、任意の視線方向への画像合成の計算
例を示す、任意方向から見たときの投影図である。2台
の3Dカメラ100−1,100−2を任意の位置CM
1,CM2に設置した場合、各3Dカメラ100−1,
100−2の光軸H101とH102の交点Kから、直
線CM1・CM2間上に垂線を引いたとき、その交点を
CTとする。交点Kにおける光軸H101とH102の
なす角度をδとすると、直接CM1・CM2間上の点C
T,cは角度δにより決まる。 P1 =CM1・c、P2 =b・c、P3 =a・b、P4
=CM1・b、 P5 =CM1・a、P6 =A2 ・CM1、 P7
=A2 ・A3 、 P8 =A3 ・a、 P9 =A3 ・b1 、 L1a
=A・A1 、 L2a=A・A3 、 l1a=A・A2 の場合、P6 ,l1aを測定値とすると、角度δ1 時の投
影面において、求める角度δ1 時の中心からの位置P9
と、求める角度δ1 時の被写体110までの距離L1aと
は、次の三角関数式より求めることができる。 P4 =P1 ・cos (π−θ1 −δ1 ) P2 =P1 ・sin (π−θ1 −δ1 ) P3 =P4 ・tan δ1 P7 =l1a・tan δ1 P5 =P4 /cos δ1 P8 =P6 +P5 −P7 P9 =(P8 /P5 )・P4 L1a=l1a/ cosδ1 −P2 −(P8 /P5 )・P3 図16は、視線軌跡を2台の3Dカメラ100−1,1
00−2の光軸交点Kを中心とした円周上としたとき
の、任意の視線方向への画像合成の計算例を示す図であ
る。観察点を、2台の3Dカメラ100−1と100−
2を結んだ直線上ではなく、それらの光軸H101とH
102の交点Kを中心として、3Dカメラ100−1の
中心及び3Dカメラ100−2の中心を通る円周上を観
察点(視点)とした場合、図16において、γ=K・C
M1、γ1 =K・B1 、PP1=CT0・B1 であるか
ら、三角関数式 γ1 =PP1/ sin(π−θ1 −δ1 ) d=γ−γ1 より、距離=L1a+dと、位置(=直線時と同じ)を求
めることができる。このように、円周上で観察点を動か
したときには、表示される画像の大きさの変化が小さい
ので、視覚的な異和感が小さい利点を有する。以上のよ
うに、視点をどうとるかは、図1の視点軌跡設定装置6
00に予め何種類か視点軌跡を設定しておけば、観察者
の好きな軌跡にそって変更が可能である。これが第7の
特徴である。また、被写体110の形状によっては、死
角があり得るが、その場合には3Dカメラ100−1と
100−2の間に、第3あるいは第nの3Dカメラを設
置することにより、死角の問題を解決できる。
【0026】以上説明した実施例の利点をまとめれば、
次のようになる。 (i) 濃淡画像S101L,S101Rと距離画像S
102L,S102Rを出力可能な3Dカメラ100−
1,100−2を少なくとも2台、それらの光軸H10
1,H102が交わるように配置したので、該3Dカメ
ラ100−1から3Dカメラ100−2までの範囲を、
表示視線設定装置400を制御することにより、観察者
の視点とした画像を得ることができ、立体像を視点を変
えて見ることができるようになる。 (ii) 3Dカメラ100−1,100−2の光軸H1
01,102の交点Kから角度を取るので、異和感のな
い画像表示が行える。これが第8の特徴である。 (iii) ある視点を固定した場合、濃淡画像S101
L,S101Rと距離画像S102L,S102Rを持
っているので、レンチキュラ板を使用した3次元画像表
示装置、あるいは両眼融合方式の3次元画像表示装置等
での表示も可能で、より立体的な表示が行える。
次のようになる。 (i) 濃淡画像S101L,S101Rと距離画像S
102L,S102Rを出力可能な3Dカメラ100−
1,100−2を少なくとも2台、それらの光軸H10
1,H102が交わるように配置したので、該3Dカメ
ラ100−1から3Dカメラ100−2までの範囲を、
表示視線設定装置400を制御することにより、観察者
の視点とした画像を得ることができ、立体像を視点を変
えて見ることができるようになる。 (ii) 3Dカメラ100−1,100−2の光軸H1
01,102の交点Kから角度を取るので、異和感のな
い画像表示が行える。これが第8の特徴である。 (iii) ある視点を固定した場合、濃淡画像S101
L,S101Rと距離画像S102L,S102Rを持
っているので、レンチキュラ板を使用した3次元画像表
示装置、あるいは両眼融合方式の3次元画像表示装置等
での表示も可能で、より立体的な表示が行える。
【0027】なお、本発明は上記実施例に限定されず、
種々の変形が可能である。その変形例としては、例えば
次のようなものがある。 (a) 上記実施例の装置を何組か用意し、被写体11
0の後部に配置する等すれば、視野360°に亘った撮
像も可能である。また、上記実施例の装置を一組、被写
体110の後面に亘って回転して撮像する構成にして
も、視野360°に亘った撮像が可能となる。 (b) 図1の3Dカメラ100−1,100−2は、
図5以外の構成に変更してもよい。
種々の変形が可能である。その変形例としては、例えば
次のようなものがある。 (a) 上記実施例の装置を何組か用意し、被写体11
0の後部に配置する等すれば、視野360°に亘った撮
像も可能である。また、上記実施例の装置を一組、被写
体110の後面に亘って回転して撮像する構成にして
も、視野360°に亘った撮像が可能となる。 (b) 図1の3Dカメラ100−1,100−2は、
図5以外の構成に変更してもよい。
【0028】
【発明の効果】以上詳細に説明したように、第1の発明
によれば、濃淡画像と距離画像を出力する3次元画像入
力装置を少なくとも2台、所定距離Lだけ離し、かつ該
第1と第2の3次元画像入力装置の光軸が交差するよう
に配置したので、それらの濃淡画像と距離画像から、視
点を変えて見たときの画像として合成することが容易に
なる。第2の発明によれば、第1の発明の各3次元画像
入力装置は、複数の2次元画像入力装置を備え、それら
の各光軸間の距離d0 を3次元画像入力装置間の距離L
よりも小さくして該複数の2次元画像入力装置を配置し
たので、各3次元画像入力装置から出力される濃淡画像
と距離画像から、各3次元画像入力装置間の広い間隔
(L)で配置した範囲内を、視点を変えて見たときの画
像として容易に合成できるようになる。第3の発明によ
れば、第1の発明の第1,第2の距離画像及び第1,第
2の濃淡画像から、観測者の視点軌跡に従い、視点角度
を変えた画像を合成する構成にしたので、広い間隔で配
置した第1と第2の3次元画像入力装置間の範囲内を、
視点を変えて見たときの画像として的確に合成できる。
従って、その合成結果に基づき、被写体を観測者の制御
で好きな角度から見ることができるようになる。第4の
発明によれば、第3の発明の視点角度は、第1と第2の
3次元画像入力装置の光軸の交点を中心に設定する構成
したので、画像合成結果を表示すれば、観察者が動いて
も、表示される画像の大きさの変化が小さいので、視覚
的な異和感が小さくなる。第5及び第6の発明によれ
ば、画像合成装置で合成された画像情報を外部へ出力し
たり、あるいは画像表示装置で表示するようにしたの
で、距離画像によってより立体的な表示が可能となる。
さらに、第1と第2の3次元画像入力装置の濃淡画像と
距離画像を、例えば記憶しておくだけ、あるいは送信す
るだけで、観察者か見たい角度の表示が行え、観察者の
あらゆる角度の情報を蓄えることに比較し、記憶容量を
小さくできる効果や、短時間で回線を通して情報伝送が
行える等の効果がある。また、例えば表示装置に対面し
ている観察者の位置を、超音波センサや光センサ等を用
いて測定し、該表示装置からの観察者の相対位置を計る
ことで、観察者の移動に伴う視角の変化を自動追従させ
ることができる。
によれば、濃淡画像と距離画像を出力する3次元画像入
力装置を少なくとも2台、所定距離Lだけ離し、かつ該
第1と第2の3次元画像入力装置の光軸が交差するよう
に配置したので、それらの濃淡画像と距離画像から、視
点を変えて見たときの画像として合成することが容易に
なる。第2の発明によれば、第1の発明の各3次元画像
入力装置は、複数の2次元画像入力装置を備え、それら
の各光軸間の距離d0 を3次元画像入力装置間の距離L
よりも小さくして該複数の2次元画像入力装置を配置し
たので、各3次元画像入力装置から出力される濃淡画像
と距離画像から、各3次元画像入力装置間の広い間隔
(L)で配置した範囲内を、視点を変えて見たときの画
像として容易に合成できるようになる。第3の発明によ
れば、第1の発明の第1,第2の距離画像及び第1,第
2の濃淡画像から、観測者の視点軌跡に従い、視点角度
を変えた画像を合成する構成にしたので、広い間隔で配
置した第1と第2の3次元画像入力装置間の範囲内を、
視点を変えて見たときの画像として的確に合成できる。
従って、その合成結果に基づき、被写体を観測者の制御
で好きな角度から見ることができるようになる。第4の
発明によれば、第3の発明の視点角度は、第1と第2の
3次元画像入力装置の光軸の交点を中心に設定する構成
したので、画像合成結果を表示すれば、観察者が動いて
も、表示される画像の大きさの変化が小さいので、視覚
的な異和感が小さくなる。第5及び第6の発明によれ
ば、画像合成装置で合成された画像情報を外部へ出力し
たり、あるいは画像表示装置で表示するようにしたの
で、距離画像によってより立体的な表示が可能となる。
さらに、第1と第2の3次元画像入力装置の濃淡画像と
距離画像を、例えば記憶しておくだけ、あるいは送信す
るだけで、観察者か見たい角度の表示が行え、観察者の
あらゆる角度の情報を蓄えることに比較し、記憶容量を
小さくできる効果や、短時間で回線を通して情報伝送が
行える等の効果がある。また、例えば表示装置に対面し
ている観察者の位置を、超音波センサや光センサ等を用
いて測定し、該表示装置からの観察者の相対位置を計る
ことで、観察者の移動に伴う視角の変化を自動追従させ
ることができる。
【0029】以上のような効果を有しているので、3次
元画像入力装置を空間的に動かさずに種々の視点から見
た画像を表示でき、さらに、その画像を記憶する記憶装
置の容量を小さくできると共に、さらに情報伝送量が少
なくてすむ等のユーザフレンドリーな画像入力装置、画
像合成装置、及び画像出力装置を実現できる。また、画
像出力装置を画像表示装置で構成した場合、該画像表示
装置を個人個人が持って画像表示を見る場合、同じ画像
情報から個人の好みに合わせた視線を選択でき、テレビ
ジョン会議等における個人個人の臨場感が持てる撮像表
示システムも作り上げることが可能となる。
元画像入力装置を空間的に動かさずに種々の視点から見
た画像を表示でき、さらに、その画像を記憶する記憶装
置の容量を小さくできると共に、さらに情報伝送量が少
なくてすむ等のユーザフレンドリーな画像入力装置、画
像合成装置、及び画像出力装置を実現できる。また、画
像出力装置を画像表示装置で構成した場合、該画像表示
装置を個人個人が持って画像表示を見る場合、同じ画像
情報から個人の好みに合わせた視線を選択でき、テレビ
ジョン会議等における個人個人の臨場感が持てる撮像表
示システムも作り上げることが可能となる。
【図1】本発明の実施例を示す複数視点3次元画像入力
装置の構成ブロック図である。
装置の構成ブロック図である。
【図2】従来の3次元画像入力方式の一つであるステレ
オ画像法の構成図である。
オ画像法の構成図である。
【図3】従来の濃淡画像と距離画像の説明図である。
【図4】従来の3次元画像表示方式の一つである多眼式
レンチキュラ方式の原理説明図である。
レンチキュラ方式の原理説明図である。
【図5】図1中の3Dカメラの構成図である。
【図6】図5の3Dカメラでの左側画像と右側画像の説
明図である。
明図である。
【図7】図5の3Dカメラの距離とビットずれの相関図
である。
である。
【図8】図5の3Dカメラで得られる濃淡画像と距離画
像の説明図である。
像の説明図である。
【図9】図1の3Dカメラの配置例を示す図である。
【図10】図1の3Dカメラの配置を上から見た図であ
る。
る。
【図11】図10における被写体の見え方の説明図であ
る。
る。
【図12】公知の簡単な幾何光学の図である。
【図13】本実施例における視点を点0としたときの画
像合成の計算例を示す図である。
像合成の計算例を示す図である。
【図14】本実施例の視点0から見たときの画像表示方
法の説明図である。
法の説明図である。
【図15】本実施例の他の画像合成の計算例を示す図で
ある。
ある。
【図16】本実施例の他の画像合成の計算例を示す図で
ある。
ある。
100−1,100−2 3次元カメラ(3D
カメラ) 111,112 レンズ 121,122 CCD 200 画像合成装置 300 画像表示装置 400 表示視線設定装置 500 撮像条件設定記憶装
置 600 視点軌跡設定装置 S101L,S101R 濃淡画像 S102L,S102R 距離画像
カメラ) 111,112 レンズ 121,122 CCD 200 画像合成装置 300 画像表示装置 400 表示視線設定装置 500 撮像条件設定記憶装
置 600 視点軌跡設定装置 S101L,S101R 濃淡画像 S102L,S102R 距離画像
Claims (6)
- 【請求項1】 照射された被写体の画像を入力して第1
の濃淡画像及び第1の距離画像の信号を出力する第1の
3次元画像入力装置と、 前記被写体の画像を入力して第2の濃淡画像及び第2の
距離画像の信号を出力する第2の3次元画像入力装置
と、 前記第1と第2の3次元画像入力装置を所定距離Lだけ
離し、かつ該第1と第2の3次元画像入力装置の光軸が
交差するように配置したことを特徴とする複数視点3次
元画像入力装置。 - 【請求項2】 請求項1記載の複数視点3次元画像入力
装置において、 前記各3次元画像入力装置は、複数の2次元画像入力装
置を備え、それらの各光軸間の距離d0 を前記距離Lよ
りも小さくして該複数の2次元画像入力装置を配置した
ことを特徴とする複数視点3次元画像入力装置。 - 【請求項3】 設定された撮像条件に基づき、請求項1
の第1,第2の距離画像及び第1,第2の濃淡画像か
ら、観察者の視点軌跡に従い、視点角度を変えた画像を
合成する構成にしたことを特徴とする画像合成装置。 - 【請求項4】 請求項3記載の画像合成装置において、 前記視点角度は、前記第1と第2の3次元画像入力装置
の光軸の交点を中心に設定する構成にしたことを特徴と
する画像合成装置。 - 【請求項5】 請求項3の画像合成装置で合成された画
像情報を外部へ出力する画像出力装置。 - 【請求項6】 請求項3の画像合成装置によって観察者
の視点角度を変えた画像を合成する際に、その視点角度
における立体画像表示用の信号を作成して画像表示する
ことを特徴とする画像出力装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4192272A JP2842735B2 (ja) | 1992-07-20 | 1992-07-20 | 複数視点3次元画像入力装置、画像合成装置、及びその画像出力装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4192272A JP2842735B2 (ja) | 1992-07-20 | 1992-07-20 | 複数視点3次元画像入力装置、画像合成装置、及びその画像出力装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0634343A true JPH0634343A (ja) | 1994-02-08 |
JP2842735B2 JP2842735B2 (ja) | 1999-01-06 |
Family
ID=16288519
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP4192272A Expired - Fee Related JP2842735B2 (ja) | 1992-07-20 | 1992-07-20 | 複数視点3次元画像入力装置、画像合成装置、及びその画像出力装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2842735B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1074269A (ja) * | 1996-06-26 | 1998-03-17 | Matsushita Electric Ind Co Ltd | 立体cg動画像生成装置 |
JP2000078613A (ja) * | 1998-08-31 | 2000-03-14 | Sony Corp | 画像処理装置及び画像処理方法 |
US7633528B2 (en) | 2005-09-29 | 2009-12-15 | Kabushiki Kaisha Toshiba | Multi-viewpoint image generation apparatus, multi-viewpoint image generation method, and multi-viewpoint image generation program |
JP2011113206A (ja) * | 2009-11-25 | 2011-06-09 | Nippon Telegr & Teleph Corp <Ntt> | 映像コミュニケーションシステム、及び映像コミュニケーション方法 |
WO2013108285A1 (ja) * | 2012-01-16 | 2013-07-25 | パナソニック株式会社 | 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法 |
WO2016035181A1 (ja) * | 2014-09-03 | 2016-03-10 | 株式会社ニコン | 撮像装置、情報処理装置、及び撮像システム |
JP2019049572A (ja) * | 2018-12-26 | 2019-03-28 | 株式会社ニコン | 撮像装置、情報処理装置、及び撮像システム |
US11151733B2 (en) | 2016-03-09 | 2021-10-19 | Nikon Corporation | Detection device, information processing device, detection method, storage medium, and detection system |
-
1992
- 1992-07-20 JP JP4192272A patent/JP2842735B2/ja not_active Expired - Fee Related
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1074269A (ja) * | 1996-06-26 | 1998-03-17 | Matsushita Electric Ind Co Ltd | 立体cg動画像生成装置 |
JP2000078613A (ja) * | 1998-08-31 | 2000-03-14 | Sony Corp | 画像処理装置及び画像処理方法 |
US7633528B2 (en) | 2005-09-29 | 2009-12-15 | Kabushiki Kaisha Toshiba | Multi-viewpoint image generation apparatus, multi-viewpoint image generation method, and multi-viewpoint image generation program |
JP2011113206A (ja) * | 2009-11-25 | 2011-06-09 | Nippon Telegr & Teleph Corp <Ntt> | 映像コミュニケーションシステム、及び映像コミュニケーション方法 |
WO2013108285A1 (ja) * | 2012-01-16 | 2013-07-25 | パナソニック株式会社 | 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法 |
US9495795B2 (en) | 2012-01-16 | 2016-11-15 | Panasonic Intellectual Property Management Co., Ltd. | Image recording device, three-dimensional image reproducing device, image recording method, and three-dimensional image reproducing method |
WO2016035181A1 (ja) * | 2014-09-03 | 2016-03-10 | 株式会社ニコン | 撮像装置、情報処理装置、及び撮像システム |
JPWO2016035181A1 (ja) * | 2014-09-03 | 2017-06-22 | 株式会社ニコン | 撮像装置、情報処理装置、及び撮像システム |
US11151783B2 (en) | 2014-09-03 | 2021-10-19 | Nikon Corporation | Image pickup device, information processing device, and image pickup system |
US11151733B2 (en) | 2016-03-09 | 2021-10-19 | Nikon Corporation | Detection device, information processing device, detection method, storage medium, and detection system |
JP2019049572A (ja) * | 2018-12-26 | 2019-03-28 | 株式会社ニコン | 撮像装置、情報処理装置、及び撮像システム |
Also Published As
Publication number | Publication date |
---|---|
JP2842735B2 (ja) | 1999-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5175616A (en) | Stereoscopic video-graphic coordinate specification system | |
US20060018509A1 (en) | Image generation device | |
US20040066555A1 (en) | Method and apparatus for generating stereoscopic images | |
US6788274B2 (en) | Apparatus and method for displaying stereoscopic images | |
CN211128024U (zh) | 3d显示设备 | |
JP2007529960A (ja) | 個人用電子機器の3次元情報取得及び表示システム | |
CN110035274B (zh) | 基于光栅的三维显示方法 | |
JP2007020179A (ja) | 立体映像表示装置、及び3d映像−立体映像変換器 | |
JP7377413B2 (ja) | ライトフィールド画像生成システム、画像表示システム、形状情報取得サーバ、ライトフィールド画像生成方法及び画像表示方法 | |
TW201225635A (en) | Image processing device and method, and stereoscopic image display device | |
JPH09238369A (ja) | 3次元像表示装置 | |
CN112929636A (zh) | 3d显示设备、3d图像显示方法 | |
JP2010181826A (ja) | 立体画像形成装置 | |
JP2842735B2 (ja) | 複数視点3次元画像入力装置、画像合成装置、及びその画像出力装置 | |
JP2849313B2 (ja) | 画像記録再生装置 | |
JPH07240945A (ja) | 仮想空間生成提示装置 | |
JP3425402B2 (ja) | 立体画像を表示する装置および方法 | |
KR20170127681A (ko) | 다방향 영상 제공이 가능한 테이블탑 3d 디스플레이 방법 | |
JPH10232111A (ja) | 距離測定装置 | |
JP2012042524A (ja) | 画像処理装置および方法 | |
JP2004282217A (ja) | 多眼式立体映像表示装置 | |
JPH06148763A (ja) | 多人数観測用レンチキュラ立体表示方式 | |
JP3206874B2 (ja) | 遠隔施工支援用の画像システム | |
JP2585614B2 (ja) | 立体画像出力装置 | |
JPH07182535A (ja) | 三次元ボリュームデータ表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19981013 |
|
LAPS | Cancellation because of no payment of annual fees |