JP3706642B2

JP3706642B2 - 撮像再生装置及び再生方法

Info

Publication number: JP3706642B2
Application number: JP21632394A
Authority: JP
Inventors: 克己飯島; 光太郎矢野; 克彦森; 俊明近藤; 純徳光
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1994-09-09
Filing date: 1994-09-09
Publication date: 2005-10-12
Anticipated expiration: 2020-10-12
Also published as: JPH0884351A

Description

【０００１】
【産業上の利用分野】
本発明は複数又は単数の撮像系で撮像し、撮像した画像から立体画像又は平面画像を再生する撮像再生装置及び再生方法に関するものである。
【０００２】
【従来の技術】
被写体までの距離を測定する測距装置としては、被写体に対して何らかのエネルギー体を放出する能動的な手法に基づく測距装置と、光電変換素子などで撮像された画像信号を解析する受動的な手法に基づく測距装置とに大別できる。
【０００３】
能動的な手法としては、電波、超音波、光などの波動を被写体に放射して、それが反射して戻ってくるまでの伝播時間から被写体までの距離を測定する手法と、適当な光源から規則的な模様を投影して被写体表面に人工的な模様を生じさせ、その幾何学的な歪みから被写体の形状を求める手法（例えば、モアレトポグラフィー）が広く利用されている。
【０００４】
一方、受動的な手法としては、複数の画像センサを用いて得られる画像間の対応点の位置関係から三角測量の原理に基づいて距離を測定する手法、被写体表面が持つ模様の幾何学的な歪みからその被写体の立体構造を求める手法などがある。また、被写体の焦点はずれ量から被写体までの距離を求める手法も試みられている。
【０００５】
以上のように従来の種々の方法では、被写体の３次元的な形状を測定して立体情報を抽出し、この立体情報に基づいて立体的な再生画像を生成するようにしている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上述した種々の方法を実現するには、幾つかの問題点があった。まず第１に再生画像を生成するに必要な立体情報抽出に関する問題がある。即ち、上記従来例の能動的な手法では、超音波やレーザ光などのエネルギー体を放出し、その反射体を検出する必要があるため、エネルギー体を吸収してしまうような物体に関しては測距できない。また、生体への悪影響を考慮すれば、人体への強いレーザ光照射はできないなど汎用性に乏しい。また、規則的な模様を投影する方法は、原理的に被写体の相対的な立体情報を把握するための手法であって、被写体までの絶対的な距離を求めることはできないという原理的な問題点を持つ。
【０００７】
一方、受動的な手法で、複数の画像センサを用いる手法では、複数の撮像素子、撮像系を必要とし、小型で安価な測距装置を構成するには不向きである。また、被写体表面の模様の幾何学的なひずみから立体情報を抽出する手法では、事前にその幾何学模様の性質が既知であることが必要である上、求まるのはやはり相対的な距離情報でしかなく、その応用範囲は極めて狭い。更に、画像の焦点はずれによる測距装置では、正確な距離測定をするためには、焦点深度の浅い、大口径の明るいレンズが必要で、通常のＴＶカメラ・レンズでは、十分な精度が得られないという問題がある。
【０００８】
以上は、物体或いは被写体の３次元的な形状を測定する場合の問題点であった。第２には、任意の視点位置、視線方向から画像を再生するために、その画像を撮影した画像から生成する装置が従来なかった。例えば従来のビデオ装置であれば、記録時と同じ状況で再生することしかできなかった。これを図１８を用いて説明すると、通常カメラで撮影すると、図１８に示すようにテレビレートに従って画像が撮られる。これを再生する時には、例えば図中、１８１で示す位置から順再生するか、もしくは１８２で示す位置などから逆再生することになる。また、任意の視点位置、視線方向で再生手順を入力していく手段がなかった。
【０００９】
本発明は上記のような問題を解決するためになされたもので、任意の視点、視線方向から見た立体画像又は平面画像を容易に得ることのできる撮像再生装置及び再生方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明においては、撮像系により撮像した画像を入力する画像入力手段と、前記画像入力手段から入力された画像を記憶する記憶手段と、前記画像入力手段の移動方向及び移動量を検出する検出手段と、前記記憶手段に記憶された複数の画像間を補間して補間画像を生成する補間手段と、前記画像入力手段によって入力された前記撮像系の撮像範囲に対して、再生開始前に、再生を行おうとするポイントをポインティングデバイスによって順次入力することにより、当該入力された複数のポイントを入力順に結ぶ線を再生順序として入力する再生順序入力手段と、前記再生順序入力手段によって入力された再生順序にしたがって再生動作を開始することによって、前記記憶手段からの画像の読み出し動作を行い、かつ前記補間手段による補間動作によって前記再生順序入力手段によって入力された複数のポイント間の画像を生成し、前記撮像範囲の画像に対して任意の水平、垂直方向における位置及び方向から見た立体画像又は平面画像を再生する再生手段とを設けている。
また、本発明においては、撮像系により撮像した画像を入力する画像入力工程と、前記画像入力工程において入力された画像を記憶手段に記憶する記憶工程と、前記撮像系の移動方向及び移動量を検出する検出工程と、前記記憶工程において記憶された複数の画像間を補間して補間画像を生成する補間工程と、前記画像入力工程において入力された前記撮像系の撮像範囲に対して、再生開始前に、再生を行おうとするポイントをポインティングデバイスによって順次入力することにより、当該入力された複数のポイントを入力順に結ぶ線を再生順序として入力する再生順序入力工程と、前記再生順序入力工程によって入力された再生順序にしたがって再生動作を開始することによって、前記記憶手段からの画像の読み出し動作を行い、かつ前記補間工程による補間動作によって前記再生順序入力工程において入力された複数のポイント間の画像を生成し、前記撮像範囲の画像に対して任意の水平、垂直方向における位置及び方向から見た立体画像又は平面画像を再生する再生工程とを設けている。
【００１１】
【作用】
撮像した画像及び補間画像から画像入力手段の移動方向、移動量、視線方向及び再生順序に基づいて任意の視点、視線方向から見た立体画像又は平面画像が生成される。
【００１２】
【実施例】
〔第１の実施例〕
以下、図面を参照して本発明の第１の実施例を説明する。図１は本発明に基づく３次元形状測定装置の一形態である単眼撮像系の構成ブロック図である。まずこの構成に関して説明する。
【００１３】
破線で示すブロック１００は被計測体（図示せず）を画像データとして取り込む画像入力部である。１１０は被計測体を撮像する撮像レンズ、１２０は例えばＣＣＤのような撮像素子、１３０は撮像素子１２０の出力信号を保持するサンプルホールド（Ｓ／Ｈ）回路、１４０はオートゲインコントロール（ＡＧＣ）回路、１５０はアナログ−ディジタル変換器（Ａ／Ｄ）変換器である。
【００１４】
破線で示すブロック２００は画像入力部１００の移動量及び移動方向を検出する移動量検出部である。２１０は例えば振動ジャイロスコープのような角速度センサ、２２０は角速度センサ２１０で検出された角速度から画像入力部１００の移動量を算出する移動量算出回路である。
【００１５】
破線で示すブロック３００は画像信号処理を行って被計測体迄の距離を算出する画像処理部である。３１０は一定時間画像データを保持する画像メモリ、３２０は処理部である。
【００１６】
撮像レンズ１１０は、被計測体を撮像素子１２０上に結像する。撮像素子１２０は結像された被計測体を光電変換する。Ｓ／Ｈ回路１３０は撮像素子１２０の出力を保持し、続いてＡＧＣ回路１４０が自動的に画像信号の利得を制御する。Ａ／Ｄ変換器１５０はＡＧＣ回路１４０の出力をアナログ−ディジタル変換し、ディジタル画像を画像データとして出力する。
【００１７】
角速度センサ２１０は画像入力部１００自体の動きを検出する。移動量算出回路２２０では検出された画像入力部１００の角速度から画像入力部１００の移動量を算出する。
【００１８】
画像メモリ３１０は画像入力部１００からの画像データを一定時間記憶して、処理部３２０での時系列系画像間の演算を可能にする。
【００１９】
図１の構成は単眼撮像系で構成されていたが、複眼撮像系で構成することも可能である。以下図２を用いてその複眼撮像装置の実施例について説明する。
【００２０】
本実施例の複眼撮像装置は、右撮像系１０_Rおよび左撮像系１０_Lの２つの撮像系を用いて被写体を撮像するように成されている。
まず、左撮像系１０_Lについて説明する。左撮像系１０_Lは、不図示の鏡筒内に組み込まれた結像光学系としての撮像レンズ群１１_Lと、この撮像レンズ群１１_Lに装着された、被写体からの光を３原色に分解するための色分解プリズム１２_Lと、色分解プリズム１２_Lによって分解された光毎に設けられた撮像素子としての、それぞれ矩形の有効受光部を持つ３つのＣＣＤセンサ１３_L（１つのみ図示）とを有する。
【００２１】
撮像レンズ群１１_Lは、フォーカスモータ１４_Lにより駆動される合焦レンズ群１５_Lと、ズームモータ１６_Lにより駆動される変倍レンズ群１７_Lとを含む複数のレンズで構成される。各モータ１４_L、１６_Lは、光学系を制御する制御ユニット２０内の全系制御部２１及びフォーカス・ズーム制御部２２からの制御信号に応じてそれぞれ駆動される。右撮像系１０_Rも左側撮像系１０_Lと同様に構成されており、右撮像系１０_Rの撮像レンズ群１１_Rの光軸Ｌ_Rは、左撮像系１０_Lの撮像レンズ群１１_Lの光軸Ｌ_Lと同一平面上にある。
【００２２】
また、各撮像レンズ群１１_L、１１_Rが組み込まれた前記各鏡筒は、それぞれ制御ユニット２０の輻輳角制御部２３からの制御信号に応じて駆動される輻輳角モータ１８_L、１８_Rの回転軸に結合されている。各輻輳角モータ１８_L、１８_Rの回転軸は、それぞれ両撮像レンズ群１１_L、１１_Rの光軸Ｌ_L、Ｌ_Rを含む平面と垂直方向に延びており、各輻輳角モータ１８_L、１８_Rを駆動させることにより、各撮像レンズ群１１_L、１１_Rはそれぞれに設けられた色分解プリズム１２_L、１２_RおよびＣＣＤセンサ１３_L、１３_Rと一体となって回転され、各撮像レンズ群１１_L、１１_Rの光軸Ｌ_L、Ｌ_Rの互いに成す角（輻輳角）が設定される。
【００２３】
また、各撮像系１０_L、１０_Rには、各合焦レンズ群１５_L、１５_Rの位置を検出するためのフォーカスエンコーダ２４_L、２４_R、各変倍レンズ群１７_L、１７_Rの位置を検出するためのズームエンコーダ２５_L、２５_R、および輻輳角を検出するための輻輳角エンコーダ２６_L、２６_Rが設けられている。これらは、例えばポテンショメータのような外付けの部材を用いてもよいし、パルスモータのような駆動系自身の持つ信号情報によりそれぞれの位置や角度を検出するものを用いてもよい。
【００２４】
次に図１、図２の構成の撮像装置を用いて撮像する状況に関して説明する。
図３に模式図に示す様に例えば動物園の檻の前で撮像装置（カメラ）を持ち、図中矢印３１の様に動きながら撮影する。この時撮影位置と撮影した画像との関係を模式的に示すと、図４の様になる。ここで横軸は撮影した画像の範囲（被写体面での広さ）に相当する。縦軸は時間軸である。図中４１が撮影した画像の範囲を示している。
【００２５】
この様に撮影した状況から図５に示す様に各画像４１間の位置から画像４２を補間する処理を行う。この処理は図６に示す様なブロックで構成されている。次にその補間処理方法に関して説明する。
【００２６】
補間の手法としては、次の２つの方法が挙げられる。
（１）２つの画像、或いは２つ以上の画像を用いて、画像間の対応する点の情報を抽出し、この抽出結果とカメラの撮影パラメータを用いて、三角測量的に距離を用いて補間して行く手法。
（２）時空間的な断面画像を用いて補間して行く手法。
【００２７】
まず（１）の手法に関して説明する。対応点対を抽出するには、例えばテンプレートマッチングを行う。この方法は、例えば左画像中のある１点を囲むテンプレートを考え、そのテンプレートの画像に対する右画像中での類似性の比較によって対応点を決定するものである。類似性の比較の一方法である相関法は、テンプレートの画像中の画素値と探索画像中の画素値との相互相関をとり、最大値となった座標を対応点とするものであり、その関係式を以下の式（１）に示す。
【００２８】
【数１】

【００２９】
式（１）中、Ｒ（ｍ_R，ｎ_R）、Ｌ（ｍ_L，ｎ_L）は左右の画像の画素値であり、ｏ（ｍ_R，ｎ_R，ｍ_L，ｎ_L）は相関の度合いを表すものである。また、ｍ_R，ｎ_R，ｍ_L，ｎ_Lは画素座標を示す。なお、２乗和または積和計算でｉ，ｊの前の符号が左右画像で逆になるのは、図７に示したように、画素座標軸は左右対称になるように定義されているからである。そして、式（１）の正規化相互相関では最大値は１となる。
【００３０】
また別な補間方法としてはＳＳＤＡ法がある。これもテンプレートマッチングの一種であるが、
【００３１】
【数２】

【００３２】
で残差σを計算し、ある閾値を設定しておき、加算演算の途中で残差が閾値を越えると計算をそこで打ち切り、次の（ｍ_R，ｎ_R）（ｍ_L，ｎ_L）の組み合わせに移る方法である。閾値は過去の残差の最小値にするのが一般的である。
【００３３】
次に得られた対応点情報から各対応点対の３次元空間内での位置を三角測量法により求める。図８に示すように、左右各撮像レンズ群１１_L、１１_R（図３参照）の物体側主平面の中心点Ｏ_L、Ｏ_RをそれぞれＸ軸上でＺ軸に対して線対称に配置し、その中心点Ｏ_L、Ｏ_R間を結ぶ基線の長さを基線長ｂとすると、各中心点Ｏ_L、Ｏ_Rの座標はそれぞれ（−ｂ／２，０，０）、（ｂ／２，０，０）で表わされる。また、三次元空間内の１点Ｐを各中心点Ｏ_L、Ｏ_Rに向けて投影したときの、左右各ＣＣＤセンサ１３_L、１３_R上での投影点はそれぞれＰ_L、Ｐ_Rとなり、点Ｐ、Ｐ_L、Ｐ_Rの座標をそれぞれ（Ｘ，Ｙ，Ｚ）、（Ｘ_L，Ｙ_L，Ｚ_L）、（Ｘ_R，Ｙ_R，Ｚ_R）で表わす。ここで、三次元空間中の点Ｐ、Ｐ_L、Ｐ_Rの三点を結んでできる平面をエピポーラ面といい、エピポーラ面とセンサ面との交線をエピポーララインという。
【００３４】
この時点、Ｐの座標（Ｘ，Ｙ，Ｚ）はそれぞれ以下に示す式（３）、（４）、（５）に入力より与えられる。
【００３５】
【数３】

【００３６】
一方、左右各撮像レンズ群１１_L、１１_Rの光軸Ｌ_L、Ｌ_Rが、それぞれその物体側主平面の中心点Ｏ_L、Ｏ_Rを通り、かつＺ軸に平行な直線に対してなす角度（これを輻輳角という）をθとするとともに、各撮像レンズ群１１_L、１１_Rの焦点距離をｆとすると、
【００３７】
【数４】

【００３８】
の関係が成り立ち、以上の各式により点Ｐの座標（Ｘ，Ｙ，Ｚ）が求められる。次にこれらの座標を元に、ある視点から見た画像、例えばここでは２つの撮像系の中間点から見た画像に座標変換を行い、画像を得る。
【００３９】
次に前記（２）の手法である時空間画像を用いた手法について説明する．図９（ａ）に示す様に、物点Ｐは、カメラがＡ、Ｂ、Ｃ、Ｄに置かれた時にｅ、ｆ、ｇ、ｈへ投影される。これを図９（ｂ）に示す様に縦に並べる。この時物点Ｐはあたかも一直線上にならんだ様になる。今、この点群ｅ〜ｈを通る直線があるとすると、Ａ、Ｂの間にＡ′を考えるとＡ′は図中の点線の様になり、その交点Δが内挿された画素となる。
【００４０】
このことより、エピポーラ画像にラインを内挿し、ラインと検出した直線が交差する画素に対応点の画素値を代入することにより補間画像を得る。
前述の対応点抽出問題が、ここでは直線検出の問題に置き換えていることによる。また、直線の一部が欠落するいわゆるオクルージョン部も、直線で結ぶことにより、内挿することができる。
【００４１】
これらの手法を用いて補間することにより図１０に示す様に、点線部の補間された画像４２が生成できる。
【００４２】
次に図１１を用いて再生方法を説明する。
図１１（ａ）は、再生手順を指定するための装置の構成ブロック図である。ここでは、各種のポインティングデバイスからＭＭＩ／Ｆを介してポインティングデータが入力される。図１１（ｂ）においては、ポインティングデバイスとしてポヒマスセンサ（商標登録）、ジョイスティック、マウス、ペン等を示した。
【００４３】
まず最初のポイントが図１１（ｂ）に示される点１１０とすると、順次１１１、１１２、１１３と入力されていく。この時、１１０、１１１、１１２、１１３と示された点線が再生の順序となる。
この図１１（ｂ）では、右上から左下へと１本の点線を描いているが、例えばループにしたり、８の字にしたり、描く線は任意である。従って、再生順序が、従来の順再生、逆再生に比べて、格段に自由度の増した再生が可能となる。
【００４４】
上述においては、画像を任意の視点で見た様に補間画を生成する手法及び生成した画像群の任意の順で再生する手法を説明したが、次に、被写体に動きがある場合について説明する。
【００４５】
図１２に示す様にカメラが矢印１３０の様に移動したとする。この時撮像した範囲は１３１に示す領域である。また被写体としての例えばカバが矢印１３２の様に動いていたとする。この時図中１３３、１３４で示す領域はカバが存在しているがごとく補間できる領域、もともとカバが存在していなかった領域として補間できる領域である。
【００４６】
この補間できることに付いて補足説明すると、まずカメラ側の動きは、図１の移動量算出回路２２０等を具備することにより、撮影側の動きは解っている。次に被写体の動き、即ちここで言うカバの動きは、カメラの動きと被写体の動きとが重なった動きとして撮影されている。
【００４７】
しかるにカバの様に動きがゆるやかな被写体の場合、テレビレートで撮影した状況では、前後のフレームではその変化分は小さく、補間の誤差も小さい。仮りに誤差の生じる部分でも、先に説明した時空間画像を用いた補間手法では、直線検出をして画像を補間するのであるから、欠落した部分も補間可能となる。
【００４８】
この時再生順序を１３５で示すものとすると、再生される画像列は、カバのいない背景画→画像がない所→カバが動いているが、動きの方向が違う画の順に再生することが可能である。通常、被写体を捉えつつ撮影するのが常であるから、上記の様に撮影するのはまれなケースである。また、撮影時の被写体の動きがいわゆる後向きに進んだり、斜めに見た方向からいろいろな方向へ進行する様に再生することができるので、娯楽性が一層増すものである。
【００４９】
〔第２の実施例〕
この第２の実施例では、画像データを複眼撮像装置を用いて採取するようにしている。複眼撮像装置としては図２に示した通りである。この図２については前述のように、テンプレートマッチング法を説明した。
【００５０】
図１３に複眼撮像系輻輳角θの状況で撮影した状況を図１２と同様に示した。１４０は仮りに単眼の撮像系で撮影した時の光軸である。１４１、１４２は複眼撮像系で撮影した際の左、右の光軸、１３０は仮りに単眼撮影系で撮影した時のカメラの軌跡である。ここでは複眼撮像系は単眼撮影系の軌跡１３０と同様に動くものとする。
【００５１】
Δｏｆｈ１４４、Δａｉｃ１４５は単眼の時の補間領域、Δｅｆｇ１４３、Δｂｃｄ１４６は複眼の時の補間領域、線分ｈｉ１３１は単眼の時の撮影範囲である。線分ｇｉ１４７は複眼の撮影範囲である。図１３より判る様に撮影範囲１４７は単眼の時に比べて大きく、補間できる範囲も結果として広がる。尚、ここでは、補間の手段、再生の手段は、第１の実施例と同様に行うものとする。
【００５２】
〔第３の実施例〕
この第３の実施例は、再生する画像を立体で見ることのできる例である。画像入力手段は図２で示す複眼撮影装置を用いる。
【００５３】
図１４は再生装置を示す。図１４において、入力されたある時刻の２画像、即ちＬ画像、Ｒ画像をパノラマ合成部１でパノラマ合成する。パノラマ合成の手法に関しては本出願人等が別に出願している特願平５−２２３５４４号（平成５年９月８日出願）に詳しく述べてある。このパノラマ合成画像を用いて画像メモリ４０１補間画像生成部４０２により前述の補間画像生成を行う。そして画像メモリ４０３、４０４にＬ画像群、Ｒ画像群を記憶して置く。
【００５４】
次に前述の再生順序入力手段４０５、再生順序生成手段４０６から、再生順序に従って、画像データが変換装置４０７、４０８に転送される。この時、視線方向入力手段４０９より視線方向が入力される。この複眼方向が変換装置４０７、４０８で例えばアフィン変換等により立体に見える見え方を変換する。
この手法としては、
【００５５】
【数５】

【００５６】
の式で表現することも可能である。但し、式（７）においてＸ、Ｙ、Ｚは物点Ｐの任意の座標、Ａ、Ｂ、Ｃは、任意の視点位置における視線方向の変化に相当する回転角である。Ｘ′、Ｙ′、Ｚ′は物点ＰがＰ′に移動した後の座標である。
【００５７】
従って図１５に示す様に、任意の視点位置で任意の視線方向の複眼立体視可能な画像ペア１５１やペア１５２等を用いて、任意の再生順序で立体画像を図１４の立体ディスプレイ装置４１０により楽しむことができる。
【００５８】
〔第４の実施例〕
この第４の実施例では、さらに画像を立体で自由自在に見るために、視点が前後に動いた時に対処できるように、図１６に示す様な画像変換装置を具備する。変換手法としては、図１７に示す様に、物点ａ、ｂは撮像センサ１７０の位置にａ′、ｂ′として投影されるものが、センサ１７１の位置に前へｖだけ移動すると、ａ″、ｂ″に撮影される様に、焦点距離ｆ、移動量ｖと各座標ａ′、ｂ′からａ″、ｂ″が比例計算で求められる。
【００５９】
尚、図１６においては、入力された画像データ１６０は変換装置１６１において、ディスプレイ装置あるいは再生装置に具備された前後位置入力手段１６２からの前後方向の移動量に応じて画像の距離に応じた変換がなされて出力される。
【００６０】
以上述べた本発明による撮像再生装置は、自立走行車、自走ロボット等の移動体に設けられる環境認識装置、障害物認識装置、地形形状の測定器、リモートセンシング装置、あるいはＣＧやＣＡＤのためのソリッドモデルに必要な物体や環境の基礎形状入力装置など広く２次元画像から３次元の情報を求める３次元形状計測装置として用いられると共に、簡便な３次元測定装置を具備した複眼或いは単眼の撮像装置を、例えば動物園や、アウトドアで持ち歩き、動物や風景などを撮影し、記録した情報をその場で再生したり、あるいは家庭に持ち帰り再生する場合に記録時と異なった視点や効果をもたらすことのできる映像記録再生装置として用いられる。
【００６１】
【発明の効果】
以上説明したように、本発明によれば、画像入力手段と、画像の記憶手段と、画像入力手段の移動方向、移動量の検出手段と、画像の補間手段と、画像の再生手段と、再生順序入力する手段と、視線方向入力手段とを設ける構成としたことにより、静止物体、動物体を問わず、前記画像入力手段によって入力された撮像範囲の画像に対して任意の視点位置、視線方向から見た立体画像又は平面画像を、必要に応じて画像補間処理を行うことにより、任意の再生順序で鑑賞することができる効果がある。
【図面の簡単な説明】
【図１】本発明の実施例による画像入力装置を示すブロック図である。
【図２】複眼撮像装置の実施例を示す構成図である。
【図３】撮影手順を示す構成図である。
【図４】図３の撮影手順で撮影された画像の位置と時間との関係を示す構成図である。
【図５】画像補間の概念を示す構成図である。
【図６】補間処理部を示すブロック図である。
【図７】対応点抽出を説明する構成図である。
【図８】物点Ｐが撮像センサに投影された状態を模式的に示す構成図である。
【図９】時空間画像を用いて補間を行う方法を説明する構成図である。
【図１０】補間後の画像群を示す構成図である。
【図１１】再生手順入力装置の構成と再生手順を示す構成図である。
【図１２】動物体の画像の再生手順を示す構成図である。
【図１３】複眼撮像装置で撮影した時の補間領域等を模式的に示す構成図である。
【図１４】任意の視点、視線方向で立体画像を再生する再生装置を示すブロック図である。
【図１５】視線方向と立体的に見ることを説明する構成図である。
【図１６】画像入力装置が前後に移動する場合の再生を行う再生装置のブロック図である。
【図１７】上記前後移動の手法を示す構成図である。
【図１８】従来の撮像方法及び再生方法を示す構成図である。
【符号の説明】
１００画像入力部
２００移動量検出部
３００画像処理部
３１０画像メモリ
４０２補間画像生成部
４５０再生順序入力手段
４０７、４０８変換装置
４０９視線方向入力手段

Claims

撮像系により撮像した画像を入力する画像入力手段と、
前記画像入力手段から入力された画像を記憶する記憶手段と、
前記画像入力手段の移動方向及び移動量を検出する検出手段と、
前記記憶手段に記憶された複数の画像間を補間して補間画像を生成する補間手段と、
前記画像入力手段によって入力された前記撮像系の撮像範囲に対して、再生開始前に、再生を行おうとするポイントをポインティングデバイスによって順次入力することにより、当該入力された複数のポイントを入力順に結ぶ線を再生順序として入力する再生順序入力手段と、
前記再生順序入力手段によって入力された再生順序にしたがって再生動作を開始することによって、前記記憶手段からの画像の読み出し動作を行い、かつ前記補間手段による補間動作によって前記再生順序入力手段によって入力された複数のポイント間の画像を生成し、前記撮像範囲の画像に対して任意の水平、垂直方向における位置及び方向から見た立体画像又は平面画像を再生する再生手段と、
を備えることを特徴とする撮像再生装置。
前記再生手段は、前記再生手段の前後方向の移動量を検出して入力する前後位置入力手段を含むものであることを特徴とする請求項１記載の撮像再生装置。
撮像系により撮像した画像を入力する画像入力工程と、
前記画像入力工程において入力された画像を記憶手段に記憶する記憶工程と、
前記撮像系の移動方向及び移動量を検出する検出工程と、
前記記憶工程において記憶された複数の画像間を補間して補間画像を生成する補間工程と、
前記画像入力工程において入力された前記撮像系の撮像範囲に対して、再生開始前に、再生を行おうとするポイントをポインティングデバイスによって順次入力することにより、当該入力された複数のポイントを入力順に結ぶ線を再生順序として入力する再生順序入力工程と、
前記再生順序入力工程によって入力された再生順序にしたがって再生動作を開始することによって、前記記憶手段からの画像の読み出し動作を行い、かつ前記補間工程による補間動作によって前記再生順序入力工程において入力された複数のポイント間の画像を生成し、前記撮像範囲の画像に対して任意の水平、垂直方向における位置及び方向から見た立体画像又は平面画像を再生する再生工程と、
を備えることを特徴とする再生方法。
前記再生工程は、さらに前記再生手段の前後方向の移動量を検出して入力する前後位置入力工程を含むものであることを特徴とする請求項３記載の再生方法。