JP2005094364A

JP2005094364A - 立体画像撮影装置

Info

Publication number: JP2005094364A
Application number: JP2003325078A
Authority: JP
Inventors: Tatsuhiro Yonekura; 達広米倉; Shintaro Kawahara; 慎太郎川原; Masahiro Kawahata; 匡博川畠
Original assignee: JAPAN PROCESS DEV CO Ltd; JAPAN PROCESS DEVELOPMENT CO Ltd
Current assignee: JAPAN PROCESS DEV CO Ltd; JAPAN PROCESS DEVELOPMENT CO Ltd
Priority date: 2003-09-17
Filing date: 2003-09-17
Publication date: 2005-04-07

Abstract

【課題】任意の仮想的な視点における立体画像を得ることが可能な撮影装置およびその制御方法を提供する。
【解決手段】
本発明の立体画像撮影装置は、空間内の任意の仮想視点における画像を得る立体画像撮影装置であって、任意の方角に独立して変位可能な２つの撮像手段と、前記撮像手段のズーム倍率を調整するズーム手段と、前記撮像手段の位置、光軸の向きおよびズーム倍率を制御する制御手段とを備え、前記仮想視点において前記２つの撮像手段の光軸を被写体の注視点で交差させたと仮定したときの光軸上に前記２つの撮像手段をそれぞれ配置し、前記２つの撮像手段の光軸を前記仮想視点における光軸に一致させ、前記被写体から前記仮想視点までの距離、前記被写体から前記２つの撮像手段までの距離および前記仮想視点における前記２つの撮像手段のズーム倍率に基づき、前記２つの撮像手段によって得られる画像をそれぞれ前記仮想視点における画像のズーム倍率に調整することを特徴とする。
【選択図】なし

Description

本発明は任意の仮想視点における画像を得ることが可能な立体画像撮影装置に関する。

人間が空間を立体的に感じるためには、調節や輻輳といった眼球運動の他に両眼間距離が重要な因子となる。ステレオカメラを用いて撮影した実画像を立体映像として提示する場合も同様である。従来のシステムでは人間の両眼に対応するカメラは固定されており、その設置位置および設置角度の変更は困難である。そこで、カメラの設置位置や設置角度に変更を加えることなく、カメラのズーム機能のみを用いて仮想的に視点位置を接近させる手法が用いられることが多い。

しかし、ズーム機能のみを用いた方式では、両眼立体視の要件である輻輳、調節、両眼間距離等の各因子間に不一致が生じる。このため、ステレオカメラを人間の両眼と仮定した場合において、人間の眼による調節、輻輳、両眼間距離等の両眼立体視に必要な因子と、それらに対応するカメラのパラメータ（焦点距離、設置角度および設置位置）との関係を明らかにする必要がある。

特開2003-107601号（特許文献１）は、左眼用画像と右眼用画像を撮影する左右の撮像手段を有する立体画像撮影装置を開示し、この立体画像撮影装置を用い、ズーム倍率を変更することにより被写体の拡大画像を得る場合において、基線長および輻輳角を変更することにより左右の画像のずれ量の変動を抑える撮影方法を開示している。また、インターネット＜URL：http://www.texnai.co.jp/jap/event/IVR03_top.html＞（非特許文献１）は、水平方向に移動可能な２つのカメラを用い、カメラの間隔および水平光軸角を制御することにより立体画像を撮影するシステムを開示している。しかしながら、これらはいずれも基線長と輻輳角のみを変動させる撮影方法であるため、任意の視点における画像を自由に得ることが困難である。

内視鏡により体内を撮影する場合のように、障害物等によりカメラを所望する位置に配置できないことがある。また、視点を移動しながら撮影する場合、同じ画像をより簡単な軌道上を移動することにより得ることができれば便利である。さらに、作業遂行時にスケールの異なる画像を同時に見ることができれば視覚補助的役割を果たすことができる。このため、設置可能なカメラ位置から所望する仮想的な視点における画像を得る技術が求められている。

特開2003-107601号公報平成15年6月25日−27日、第11回産業バーチャルリアリティー展、[online]、[平成15年８月18日検索]、インターネット＜URL：http://www.texnai.co.jp/jap/event/IVR03_top.html＞

従って本発明の目的は、任意の仮想的な視点における立体画像を得ることが可能な撮影装置およびその制御方法を提供することである。

上記目的に鑑み鋭意研究の結果、本発明者らは、撮像手段を所望する仮想的な位置（仮想視点）とは異なる位置に設置し、撮像手段の焦点距離、設置角度、設置位置およびズーム倍率の各パラメータを連動して変化させ、実際の撮像手段の位置における立体画像を仮想視点における立体画像として得ることにより、任意の視点における立体画像を提示できるとともに、その画像を作業遂行時の視覚補助的役割として用いることができることを発見し、本発明に想到した。

すなわち、本発明の立体画像撮影装置は、空間内の任意の仮想視点における画像を得る立体画像撮影装置であって、任意の方角に独立して変位可能な２つの撮像手段と、前記撮像手段のズーム倍率を調整するズーム手段と、前記撮像手段の位置、光軸の向きおよびズーム倍率を制御する制御手段とを備え、前記仮想視点において前記２つの撮像手段の光軸を被写体の注視点で交差させたと仮定したときの光軸上に前記２つの撮像手段をそれぞれ配置し、前記２つの撮像手段の光軸を前記仮想視点における光軸に一致させ、前記被写体から前記仮想視点までの距離、前記被写体から前記２つの撮像手段までの距離および前記仮想視点における前記２つの撮像手段のズーム倍率に基づき、前記２つの撮像手段によって得られる画像をそれぞれ前記仮想視点における画像のズーム倍率に調整することを特徴とする。

前記仮想視点を任意の軌道に沿って変位させるときの前記仮想視点における画像を、撮像手段を仮想視点の軌道と異なる軌道に沿って変位させることにより得ることができる。例えば、仮想視点を被写体の周囲の円周軌道に沿って変位させるときの仮想視点における被写体の画像を、撮像手段を円周軌道と同一平面上にある直線軌道に沿って変位させることにより得ることができる。これにより撮像手段を変位させる際の障害物等の問題を回避することができる。

本発明の立体画像撮影装置は所定の角度を設けて交差させた２つの直線軌道を備え、撮像手段を前記直線軌道に沿って変位させるか、所定の角度を設けて交差させた直線軌道と円弧軌道を備え、撮像手段を前記直線軌道および前記円弧軌道に沿って変位させるのが好ましい。

本発明の立体画像撮影装置は、２つの撮像手段を仮想視点に設置したと仮定したときの２本の光軸上にそれぞれ変位させ、撮像手段の光軸を仮想視点における光軸に一致させるので、実際に仮想視点にカメラを設置したのと同様の画像を得ることが可能である。

[1] 立体画像撮影装置
本発明の立体画像撮影装置は、任意の方角に独立して変位可能な２つの撮像手段と、撮像手段のズーム倍率を調整するズーム手段と、撮像手段の位置、光軸の向きおよびズーム倍率を制御する制御手段とを備える。撮像手段は被写体の視差画像を撮像することができればよく、目的に応じて銀塩フィルムを用いるカメラ、電子スチルカメラ、ビデオカメラ等を適宜選択することができる。２つの撮像手段は任意の３次元方向に独立して変位可能であり、方位調整機能により撮像手段の光軸を調整し、２本の光軸を注視点で交差させることができる。方位調整機能は光軸の向きを調整する機能を有すれば特に限定されず、例えば所望する輻輳角となるように撮像手段を回転させる方式であっても、特開2000-152282号に開示されているように撮像手段の被写体側にミラーを備え、ミラーを回転させることにより輻輳角を変更する方式であってもよい。

図１は本発明の一実施例による立体画像撮影装置を示す。右眼用および左眼用の２つのカメラ1a, 1bと、これらの２つのカメラを水平方向に変位させるための水平軌道２と、垂直方向に変位させるための垂直軌道３とを備える。２つのカメラは水平軌道上をそれぞれ独立して左右に変位可能である。これにより、２つのカメラの基線長を自由に変更することが可能であり、また基線長を変えながら２つのカメラを同一方向に変位させることも可能である。水平軌道は垂直軌道上を移動可能であり、カメラを垂直軌道に沿って上下に変位させることが可能である。垂直軌道は回転自在に支持されているため、垂直軌道を軸にカメラを回転させることも可能である。カメラは水平軌道上に回転自在に取り付けられており、２つのカメラを回転させることにより光軸の向きを変え、被写体の注視点で交差させることが可能である。カメラを変位又は回転させるための手段は特に限定されず、例えばステップモータ、電磁式モータ等を用いることができる。また、カメラはズーム機能を有し、得られた画像を任意の倍率に調整することが可能である。

本発明の立体画像撮影装置は、カメラを所望する仮想的なカメラ位置（仮想視点）とは異なる位置に設置し、仮想視点における画像を得ることを特徴とする。立体画像撮影装置は、任意の仮想視点における画像を得るため、カメラ位置、光軸の向きおよびズーム倍率を調整するための制御手段（図示せず）を備える。例えば被写体の位置と仮想視点の位置又は軌道を予め制御手段に入力するか計測することにより、所望する仮想視点における画像を得るためのカメラ位置、光軸の向きおよびズーム倍率を算出し、実際に仮想視点において撮影するときの画像となるようにカメラの位置、角度およびズーム倍率を制御することができる。仮想視点における画像を得るためのズーム倍率は、被写体の位置から仮想視点までの距離、被写体の位置からカメラまでの距離および仮想視点におけるズーム倍率により算出することができる。２つのカメラのズーム倍率は、それぞれのカメラを配置する位置により同じでも異なっていてもよい。

立体画像撮影装置は、２つの撮像手段によって得られた画像を重ね合わせ立体画像として処理する画像処理手段（図示せず）を備える。画像処理手段は公知のものであってよく、例えば撮像手段からの距離が異なる複数の被写体を撮像する場合、フォーカス位置を変えた複数の画像を重ね合わせて画像を構成する処理を行うことができる。また、明度調節、カラー画像の場合の色情報変換処理等の機能を備えていてもよい。

図２は本発明の別の実施例による立体画像撮影装置を示す。この例では水平軌道は円弧状に形成されており、撮像手段１を円弧軌道４に沿って変位させることにより被写体の円周方向の画像を得ることができる。上記以外の構成は図１に示す立体画像撮影装置と同じであるので説明を省略する。

本発明の立体画像撮影装置は、障害物等により所望する位置にカメラを設置できない場合においても、その位置における画像を得ることができる。このような画像を得るためには、２つのカメラを所望する位置に設置し、光軸を被写体の注視点で交差させたと仮定したときの光軸上であって、かつ設置可能な位置に実際の２つのカメラを配置し、２つのカメラの光軸が仮想視点におけるカメラの光軸と一致するように調整することが必要となる。以下仮想視点における画像を得るためのカメラ位置の特定方法およびカメラを所定の位置に設置したときの仮想視点の特定方法についてさらに詳細に説明する。

[2] カメラ位置の特定
(A) 注視点および仮想視点が既知の場合におけるカメラ位置の特定方法
図３および図４に示すように、注視点に対し観察位置がである場合、観察方向の方位角および天頂角はそれぞれ式(1)および(2)により表すことができる。
式(1)

式(2)

このとき、観察位置における左眼の位置座標および右眼の位置座標は、観察者の両眼間距離よりそれぞれ式(3)および(4)により表すことができる。
式(3)

式(4)

また、左眼位置における観察方向の方位角および天頂角、並びに右眼位置における観察方向の方位角および天頂角は、観察者の両眼間距離と式(1)および(2)から以下の式により表すことができる。
式(5)

式(6)

式(7)

式(8)

観察位置は所望する仮想的な位置であってよい。カメラを用い仮想視点における映像と同様の映像効果を得るためには、図５および図６に示すように注視点に対する仮想視点のカメラ（破線で示す）の光軸と実際のカメラ（実線で示す）の光軸を一致させる必要がある。注視点の座標、仮想視点におけるカメラの座標およびカメラの座標より、カメラの光軸を示す直線は式(9)により表すことができる。同様に、カメラの光軸を示す直線は式(10)により表すことができる。
式(9)

式(10)

このとき、仮想視点における左右のカメラ間距離、注視点、仮想視点およびより焦点刺激となる距離は式(11)のように表すことができる。
式(11)

したがって、式(9)で表される直線上の位置にカメラを配置した場合において、そのズーム倍率をとすることにより実空間を観察する場合と同様の映像を得ることが可能であるとすると、同じく式(9)で表される直線上の位置に配置したカメラのズーム倍率を以下の式で設定することにより、位置で撮影したものと同様の映像を得ることができる。
式(12)

カメラに関しても同様に、式(10)で表される直線上の位置にカメラを配置した場合において、そのズーム倍率をとすることにより実空間を観察する場合と同様の映像を得ることが可能であるとすると、位置に配置したカメラのズーム倍率を以下の式で設定することにより、位置で撮影したものと同様の映像を得ることができる。
式(13)

(B) カメラ位置が既知の場合における注視点および仮想視点の特定方法
図７に示すように空間内に設置された光学的特性の異なる２つのカメラおよびカメラにより撮影された映像から注視点および仮想視点を特定し、カメラのパラメータの操作により立体視に必要な諸条件の不一致を軽減した両眼視差映像を得ることができる。

まず、空間内の座標に設置され、その方向余弦がであるカメラの光軸を示す直線は以下の式により表すことができる。
式(14)

同様に、座標に設置され、その方向余弦がであるカメラに関してもその光軸を示す直線は以下の式により表すことができる。
式(15)

ここで、生成される立体映像における注視点は２つのカメラの光軸の交点、つまり式(14)および式(15)で表された２直線の交点となり、その座標は以下の式により表すことができる。
式(16)

ただし、上式において

また、注視点をとした場合の輻輳角はこの２直線のなす角と同一であり、以下の式により表すことができる。
式(17)

仮想視点における左右のカメラ間距離をとすると、注視点に対する仮想的な観察位置はとなり、このときの仮想視点はおよびとなる。仮想視点がそれぞれおよびであるとき、注視点に対して焦点刺激となる距離は左右のカメラ間距離および式(17)で求めた輻輳角より以下の式により表すことができる。
式(18)

位置にカメラを配置した場合に、カメラのズーム倍率をとすることで実空間を観察する場合と同様の映像出力を得ることが可能であるとすると、位置に配置したカメラのズーム倍率を以下の式で設定することにより、位置で撮影したものと同様の映像を得ることができる。
式(19)

カメラに関しても同様に、位置におけるカメラのズーム倍率をとすることで実空間を観察する場合と同様の映像出力を得ることが可能であるとすると、位置に配置したカメラのズーム倍率を以下の式で設定することにより、位置で撮影したものと同様の映像を得ることができる。
式(20)

[3] 立体画像撮影装置の制御方法
(1) 第一の態様
図８に示すようにA点からB点へ観察位置を移動する場合において、その眼球運動を上方向から観察すると図９のように示すことができる。このとき、人間の両眼間距離dには変化がないため、移動の際には眼球の輻輳運動とそれに連動した調節運動（θ_L→θ'_L、θ_R→θ'_R）が発生する。同様の視点の移動をカメラで実現する場合、カメラを実際にB点の位置に移動するのは困難であるため、カメラのズーム機能を用いて仮想的に視点を移動する方式が一般的である。しかし、A点からB点への視点の移動をカメラのズーム機能のみにより行う場合、図10に示すようにズームにより仮想的なカメラ位置がA点からB点へ移動するため、人間の両眼間距離にあたるカメラ間距離がdからd'へ短くなり、また輻輳運動が起きないという問題が発生する。

そこで、カメラ間距離dを保持しつつA点からB点への視点の移動を行うためには、図11に示すようにカメラ位置を被写体の注視点とズームによる仮想的なカメラ位置（仮想視点）を通る直線上に移動することが必要である。このとき、輻輳運動と同様にカメラの角度（輻輳角）を変更することにより実際の視点の移動と同様の映像効果を得ることが可能となる。このようにカメラ位置および輻輳角を変更する方法は、例えばフォークリフト上の２点に可動カメラを設置する場合、内視鏡の先端に２つのマイクロカメラを搭載し微細な操作を行う場合等に効果的である。

同様に図８に示すA点からB点への観察位置の移動を横方向から観察すると、その眼球運動は図12のように示すことができる。このとき、人間の目の高さは変化しないため、その移動に伴い眼球の仰角方向への回転運動とそれに連動した調節運動が発生する。このような視点の移動をカメラで実現する場合、上述の上方向から観察する場合と同様、図13に示すようにカメラ位置を被写体の注視点とズームによる仮想的なカメラ位置（仮想視点）を通る直線上に移動するとともに、カメラの角度を仰角方向へ変更することにより実際にAからBへ視点を移動した場合と同様の映像効果を得ることが可能となる。

(2) 第二の態様
仮想的なカメラ位置（仮想視点）を任意の軌道に沿って移動する場合の被写体の画像を、実際のカメラ位置を仮想視点の軌道と異なる軌道に沿って移動することにより得ることが可能である。図14は被写体の周囲の円周方向に仮想視点を移動するときの被写体の画像を、実際のカメラ位置を仮想視点の円周軌道と同一平面上の直線軌道に沿って移動することにより得る場合を示す。この場合、実際の２つのカメラの輻輳角が仮想視点における輻輳角θとなるように調節しながら、かつカメラ位置が被写体の注視点と仮想的なカメラ位置（仮想視点）を通る直線上になるように基線長を変化させながら２つのカメラを直線軌道に沿って移動する。これにより、仮想的なカメラ位置と同じ視点における画像を、より簡単な軌道を移動することにより得ることが可能である。

図14に示す例では仮想視点の軌道は円周軌道であるがこれに限られず、任意のより複雑な軌道であってもよい。仮想視点の軌道が複雑な場合であってもカメラ位置が被写体の注視点と仮想視点を通る直線上になるように調整するとともに、２つのカメラの輻輳角が仮想視点における輻輳角となるように調整することにより、仮想視点における画像を得ることができる。また、カメラの軌道もこの例に限られず、カメラを配置する周囲の状況等に応じて適宜変更することができる。例えば図12に示す例において、仮想視点から一定の仰角又は俯角を設けて被写体を観察する場合は、カメラの軌道を仮想視点の軌道面から垂直方向に所定の間隔を設けて配置することにより得ることができる。

本発明の一実施例による立体画像撮影装置を示す概略図である。本発明の別の実施例による立体画像撮影装置を示す概略図である。空間内での注視点と観察位置との関係を示すX-Z平面図である。空間内での注視点と観察位置との関係を示すY-Z平面図である。空間内での注視点とカメラ位置との関係を示すX-Z平面図である。空間内での注視点とカメラ位置との関係を示すY-Z平面図である。空間内のカメラ位置と仮想視点との関係を示す平面図である。観察位置が移動した場合の眼球運動の変化を側面から示す概略図である。観察位置が移動した場合の眼球運動の変化を上方から示す概略図である。カメラのズーム機能のみを用いた場合の視点の変化を示す概略図である。カメラのズーム機能を用いた場合の視点の移動とそれに伴うカメラ位置および輻輳角の変化を示す概略図である。観察位置が移動した場合の視線の変化を側面から示す概略図である。カメラのズーム機能を用いた場合の視点の移動とそれに伴うカメラ位置と光軸の変化を示す概略図である。仮想視点を被写体の周囲の円周軌道に沿って移動し、カメラを仮想視点の円周軌道と同一平面上の直線軌道に沿って移動する場合のカメラ位置と輻輳角の変化を示す概略図である。

符号の説明

１・・・撮像手段（カメラ）
1a・・・左眼用撮像手段（カメラ）
1b・・・右眼用撮像手段（カメラ）
２・・・水平軌道
３・・・垂直軌道
４・・・円弧軌道

Claims

空間内の任意の仮想視点における画像を得る立体画像撮影装置であって、任意の方角に独立して変位可能な２つの撮像手段と、前記撮像手段のズーム倍率を調整するズーム手段と、前記撮像手段の位置、光軸の向きおよびズーム倍率を制御する制御手段とを備え、前記仮想視点において前記２つの撮像手段の光軸を被写体の注視点で交差させたと仮定したときの光軸上に前記２つの撮像手段をそれぞれ配置し、前記２つの撮像手段の光軸を前記仮想視点における光軸に一致させ、前記被写体から前記仮想視点までの距離、前記被写体から前記２つの撮像手段までの距離および前記仮想視点における前記２つの撮像手段のズーム倍率に基づき、前記２つの撮像手段によって得られる画像をそれぞれ前記仮想視点における画像のズーム倍率に調整することを特徴とする立体画像撮影装置。
請求項１に記載の立体画像撮影装置において、前記仮想視点を任意の軌道に沿って変位させるときの前記仮想視点における画像を、前記撮像手段を前記仮想視点の軌道と異なる軌道に沿って変位させることにより得ることを特徴とする立体画像撮影装置。
請求項２に記載の立体画像撮影装置において、前記仮想視点を被写体の周囲の円周軌道に沿って変位させるときの前記仮想視点における前記被写体の画像を、前記撮像手段を前記円周軌道と同一平面上にある直線軌道に沿って変位させることにより得ることを特徴とする立体画像撮影装置。
請求項１〜３のいずれかに記載の立体画像撮影装置において、所定の角度を設けて交差させた２つの直線軌道を備え、前記撮像手段を前記直線軌道に沿って変位させることを特徴とする立体画像撮影装置。
請求項１〜３のいずれかに記載の立体画像撮影装置において、所定の角度を設けて交差させた直線軌道と円弧軌道を備え、前記撮像手段を前記直線軌道および前記円弧軌道に沿って変位させることを特徴とする立体画像撮影装置。