JPH0916772A - 画像記録再生装置 - Google Patents

画像記録再生装置

Info

Publication number
JPH0916772A
JPH0916772A JP7166233A JP16623395A JPH0916772A JP H0916772 A JPH0916772 A JP H0916772A JP 7166233 A JP7166233 A JP 7166233A JP 16623395 A JP16623395 A JP 16623395A JP H0916772 A JPH0916772 A JP H0916772A
Authority
JP
Japan
Prior art keywords
image
image input
subject
calculating
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7166233A
Other languages
English (en)
Inventor
Katsumi Iijima
克己 飯島
Kotaro Yano
光太郎 矢野
Toshiaki Kondo
俊明 近藤
Masakazu Matsugi
優和 真継
Motohiro Ishikawa
基博 石川
Sunao Kurahashi
直 倉橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP7166233A priority Critical patent/JPH0916772A/ja
Priority to US08/525,289 priority patent/US6839081B1/en
Priority to EP95306297A priority patent/EP0701369A1/en
Priority to EP04076832A priority patent/EP1494476A1/en
Publication of JPH0916772A publication Critical patent/JPH0916772A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 様々な視線方向から見た画像を鑑賞するため
に必要とされる記録装置の記憶容量を少なくすることを
目的とする。 【構成】 被写体を撮像して画像を入力するための画像
入力手段1と、上記画像入力手段1から入力される画像
に基づいて、被写体迄の距離情報を算出する距離情報算
出手段4と、上記画像入力手段1から入力される画像に
基づいて、上記画像入力手段1の移動方向および移動量
を算出する移動方向/移動量算出手段3と、上記算出さ
れた被写体迄の距離情報と、移動方向および移動量とに
基づいて、上記画像入力手段1から入力される画像に所
定の画像処理を施して、所定の視線方向から見たような
画像を生成する画像生成手段10とを設け、撮像した被
写体に対して任意の視点位置、視線方向で、立体画像あ
るいは平面画像として、任意の再生手順で画像を観賞で
きるようにする。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像記録再生装置に係わ
り、特に、記録時に得た映像情報を基にして、再生時に
種々の映像効果をもたらすことのできるホームエンタテ
ィメント関連の装置に用いて好適なものである。
【0002】
【従来の技術】被写体までの距離を測定するための装置
として、従来より用いられている装置は、距離を測定し
ようとする被写体に対して何らかのエネルギー体を放射
する能動的な手法に基づく測距装置と、光電変換素子な
どで撮像された画像信号を解析する受動的な手法に基づ
く測距装置とに大別することができる。
【0003】上記能動的な手法に基づく測距装置として
は、電波、超音波、光などのエネルギー体を被写体に放
射して、それが被写体に当たって反射して戻ってくるま
での伝播時間を測定し、上記測定した伝播時間から、上
記被写体までの距離を算出するようにしている。
【0004】また、上記能動的な手法に基づく測距装置
の他の例では、適当な光源から規則的な模様を投影して
被写体表面に人工的な模様を生じさせる。そして、その
幾何学的な歪みから上記被写体の形状を求める手法を採
用した装置も広く利用されている(例えば、モアレトポ
グラフィー)。
【0005】一方、上記受動的な手法に基づく測距装置
としては、複数の画像センサを用いて得られる画像間の
対応点の位置関係を検出し、上記検出結果から三角測量
の原理に基いて被写体までの距離を測定するようにした
装置が知られている。
【0006】また、上記受動的な手法に基づく測距装置
の他の例では、被写体表面が持つ模様の幾何学的な歪み
から、上記被写体の立体構造を求める手法を採用した装
置などがある。また、距離を測定しようとする被写体の
焦点からはずれている量から、被写体までの距離を求め
る手法を採用した装置も試みられている。
【0007】ところで、再生時に種々の映像効果をもた
らすようにした場合には、画像記録再生装置に保持して
おかなければならない映像データが非常に多くなってし
まう問題点があった。
【0008】すなわち、記録時に撮像された映像データ
や、上記撮像された映像データに、想定される種々の方
向からの画像を内挿して作成した複数の画像データを画
像記録再生装置に保持しておかなければならなかった。
そして、再生時には、上記保持しておいた複数の画像か
ら、所定の画像を選択的に出力して再生するようにして
いた。
【0009】
【発明が解決しようとする課題】しかしながら、上述の
ようにして種々の再生方法を実現するには、幾つかの問
題点があった。まず、第1の問題点としては、複数の映
像データを記録しておくための記録装置の記憶容量には
自ずと限界があるので、様々な視線方向から見た画像を
全て記録しておくのは現実的でなかった。
【0010】また、第2の問題点としては、立体情報抽
出に関することである。すなわち、上記従来例の能動的
な手法では、超音波やレーザー光などのエネルギー体を
距離を測定しようとする被写体に向けて放出し、上記被
写体に当たって反射してきたエネルギー体を検出するよ
うにしていた。
【0011】このため、上記エネルギー体を吸収してし
まうような物体に関しては測距できないという問題点が
あった。また、生体への悪影響を考慮すれば、レーザー
光等は放出することができないので、汎用性に乏しいと
いう問題点があった。
【0012】また、規則的な模様を投影する手法は、原
理的に被写体の相対的な立体情報を把握するための手法
であって、被写体までの絶対的な距離を求めることはで
きないという原理的な問題点を持っていた。
【0013】第3の問題点としては、移動しながら被写
体を撮影した場合、撮像装置の移動方向および移動量を
簡便に知ることが困難であるという問題点があった。
【0014】本発明は上述の問題点に鑑み、様々な視線
方向から見た画像を再生して鑑賞するために必要とされ
る記録装置の記憶容量を少なくできるようにすることを
第1の目的とする。
【0015】また、特別なエネルギー体を被写体に向け
て放出することなく被写体迄の距離情報を求めることが
できるようにすることを第2の目的とする。
【0016】さらに、撮像装置の移動方向および移動量
を簡便に分かるようにすることを第3の目的とする。
【0017】
【課題を解決するための手段】本発明の画像記録再生装
置は、被写体を撮像して画像を入力するための画像入力
手段と、上記画像入力手段から入力される画像に基づい
て被写体迄の距離情報を算出する距離情報算出手段と、
上記画像入力手段から入力される画像に基づいて上記画
像入力手段の移動方向および移動量を算出する移動方向
/移動量算出手段と、上記距離情報算出手段によって算
出された被写体迄の距離情報と、上記移動方向/移動量
算出手段によって算出された上記画像入力手段の移動方
向および移動量とに基づいて、上記画像入力手段から入
力される画像に所定の画像処理を施すことにより、所定
の視線方向から見たような画像を生成する画像生成手段
とを具備している。
【0018】また、本発明の他の特徴とするところは、
複数または単数の画像入力装置を有し、被写体を撮像し
て画像を入力するための画像入力手段と、上記画像入力
手段によって入力された画像を記憶するための記憶手段
と、上記画像入力手段によって入力された画像から上記
画像入力手段の移動方向および移動量を算出する移動方
向/移動量算出手段と、上記画像入力手段によって撮像
される被写体迄の距離情報を算出する距離情報算出手段
と、上記距離情報算出手段によって算出された被写体迄
の距離情報、および上記移動方向/移動量算出手段によ
って算出された上記画像入力手段の移動方向および移動
量に基づいて、上記画像入力手段によって入力された画
像を補間する画像補間手段と、上記距離情報算出手段に
よって算出された被写体迄の距離情報、および上記移動
方向/移動量算出手段によって算出された上記画像入力
手段の移動方向および移動量に基づいて、上記画像入力
手段によって入力された画像を、所定の視線方向から見
たように変換する画像変換手段と、上記画像補間手段に
よって補間された画像を再生する画像再生手段と、上記
画像再生手段によって再生される画像の再生順序を入力
する再生順序入力手段とを具備し、 上記画像入力手段
によって入力された画像を、その画像を撮影した範囲に
おける任意の視点、および任意の視線方向から見た平面
画像もしくは立体画像として再生するようにしたことを
特徴としている。
【0019】また、本発明のその他の特徴とするところ
は、上記画像入力手段によって入力される画像内の基準
点を入力する基準点入力手段を具備し、上記移動方向/
移動量算出手段は、上記基準点入力手段より入力された
基準点に応じて上記画像入力装置の移動方向および移動
量を算出することを特徴としている。
【0020】
【作用】本発明は上記技術手段を有するので、様々な視
線方向から見た画像を画像処理によって生成するように
したので、種々の画像を鑑賞するために記憶手段に記憶
しておかなければならない映像データの量を可及的に少
なくすることができるようになり、必要とされる記録装
置の記憶容量を少なくすることが可能となる。
【0021】また、本発明の他の特徴によれば、被写体
迄の距離情報を、画像入力手段から入力される画像に基
づいて算出するようにしたので、特別なエネルギー体を
被写体に向けて放出することなく被写体迄の距離情報を
求めることができる。
【0022】また、本発明のその他の特徴によれば、上
記画像入力手段の移動方向および移動量を、上記画像入
力手段によって入力された画像から算出するようにした
ので、上記画像入力手段の移動方向および移動量が簡便
に分かるようになる。
【0023】
【実施例】以下、本発明の画像記録再生装置の実施例を
図面を参照して説明する。図1は、本発明の画像記録再
生装置の要部の構成を示す機能構成図である。図1に示
すように、本実施例の画像記録再生装置は、画像入力手
段1、記憶手段2、移動方向/移動量算出手段3、距離
情報算出手段4、画像補間手段5、画像再生手段6、再
生順序入力手段7、画像変換手段8、基準点入力手段
9、画像生成手段10、表示手段11を具備している。
【0024】上記画像入力手段1は、被写体(図示せ
ず)を撮像して画像を入力するために設けられているも
のであり、詳細な構成は後述する。記憶手段2は、上記
画像入力手段1によって入力された画像データを記憶し
て保持するためのものである。移動方向/移動量算出手
段3は、上記画像入力手段1から入力される画像に基づ
いて、上記画像入力手段1の移動方向および移動量を算
出する。
【0025】距離情報算出手段4は、上記画像入力手段
1によって撮像される被写体迄の距離に関する情報を、
上記画像入力手段から入力される画像に基づいて算出す
るためのものである。画像補間手段5は、上記距離情報
算出手段4によって算出された被写体迄の距離情報と、
上記移動方向/移動量算出手段3によって算出された上
記画像入力手段1の移動方向および移動量に基づいて、
上記画像入力手段1によって入力された画像を補間する
ためのものである。
【0026】画像再生手段6は、上記画像補間手段5に
よって補間された画像を再生するためのものである。再
生順序入力手段7は、上記画像再生手段6によって再生
される画像の再生順序を入力するためのものである。
【0027】また、画像変換手段8は、上記距離情報算
出手段4によって算出された被写体迄の距離情報と、上
記移動方向/移動量算出手段3によって算出された上記
画像入力手段1の移動方向および移動量に基づいて画像
処理を行い、上記画像入力手段1によって入力された画
像を、所定の視線方向から見たように変換するためのも
のである。
【0028】本実施例においては、上記画像変換手段8
と上記画像補間手段5によって、画像生成手段10が構
成されていて、上記画像入力手段1から入力される画像
に所定の画像処理を施すことにより、所定の視線方向か
ら見たような画像を生成するようにしている。
【0029】基準点入力手段9は、上記画像入力手段1
によって入力される画像内の基準点を入力するためのも
のである。表示手段11は、画像入力手段1の移動量を
検出するための基準となる基準点を入力するために設け
られているものである。
【0030】本実施例の画像記録再生装置は、上述のよ
うに構成されているので、様々な視線方向から見た画像
を画像処理によって生成することができる。これによ
り、種々の画像を鑑賞するために記憶手段に記憶してお
かなければならない映像データの量を可及的に少なくす
ることができるようになるので、映像データを記憶する
ための記憶容量を少なくすることができ、装置の簡素化
および低価格を図ることができる。
【0031】また、本実施例においては、被写体迄の距
離情報を、画像入力手段1から入力される画像に基づい
て算出するようにしているので、特別なエネルギー体を
被写体に向けて放出することなく被写体迄の距離情報を
求めることができる。これにより、上述した従来例のよ
うに、超音波やレーザー光などのエネルギー体を距離を
測定しようとする被写体に向けて放出しなくても済む。
【0032】したがって、上述したようなエネルギー体
を吸収してしまうような物体に関しても測距することが
できるようになるとともに、生体へ悪影響を与えること
なく測距を行うことができるようになる。
【0033】また、本実施例においては、上記画像入力
手段1の移動方向および移動量を、上記画像入力手段1
によって入力された画像から算出するようにしたので、
特別の機器を設けることなく画像入力手段1の移動方向
および移動量を知ることができる。
【0034】以下、本発明の画像記録再生装置のより具
体的な構成および動作を、図面に従って説明する。図2
は、本発明に基づく3次元形状測定装置の構成を示すブ
ロック図である。まず、この3次元形状測定装置の構成
に関して説明する。
【0035】図2において、破線のブロック100およ
び101は、被計測体(図示せず)を撮像して画像デー
タとして取り込むための画像入力部である。なお、上記
破線のブロック100および101は同じ構成なので、
以後の説明はこれらの破線のブロック100および10
1内の各部を同時に説明する。
【0036】110(111)は、被計測体を撮像する
撮像レンズである。120(121)は撮像素子であ
り、例えばCCDのような光電変換素子が用いられてい
る。130(131)は、上記撮像素子110(11
1)の出力信号を保持するサンプルホールド(S/H)
回路である。140(141)は、オートゲインコント
ロール(AGC)回路であり、150(151)は、ア
ナログ−ディジタル変換器(A/D)変換器である。
【0037】また、破線ブロック200は、画像入力部
100(101)の移動量を検出するための基準となる
基準点を入力するための基準点入力部であり、表示装置
210およびポインティングデバイス220によって構
成されている。
【0038】上記表示装置210は、例えばCRTディ
スプレイやLCDディスプレイなどが用いられている。
また、上記ポインティングデバイス220は、上記表示
装置210に表示された画像に対して、同一点を入力し
て行くために設けられているものである。
【0039】破線のブロック300は画像処理部であ
り、上記画像入力部100および101から入力される
画像信号に、処理部1320において所定の処理を施す
ことにより、被計測体までの距離を算出するためのもの
である。また、1310は画像データを一定時間保持す
るための画像メモリである。
【0040】撮像レンズ110(111)は、被計測体
からの反射光を撮像素子120(121)上に導き、上
記被計測体を上記撮像素子120(121)上にそれぞ
れ結像させる。
【0041】撮像素子120(121)は、上記結像さ
れた被計測体を光電変換して画像信号を生成し、(S/
H)回路130(131)に導出する。S/H回路13
0(131)は、撮像素子120(121)から出力さ
れる画像信号をそれぞれ保持する。
【0042】上記S/H回路130(131)の次段に
設けられているAGC回路140(141)は、画像信
号の利得を自動的に制御する。A/D変換器150(1
51)は、AGC回路140(141)の出力をそれぞ
れアナログ−ディジタル変換し、ディジタルの画像デー
タを出力する。
【0043】画像メモリ1310は、上記A/D変換器
150(151)から与えられる画像データを一定時間
記憶して、時系列な画像間の演算を可能にするためのも
のである。
【0044】次に、画像入力部100(101)の移動
量を検出する手順を説明する。図3の移動量検出手順説
明図に示すように、表示装置210の上段には、時刻t
の時の画像である第1の画像310および第2の画像3
11がそれぞれ表示されている。
【0045】また、表示装置210の下段には、時刻t
+Δtの時の画像である第3の画像320および第4の
画像321が表示されている。上記第1の画像310
は、時刻tにおける画像入力部100で得られる画像で
あり、第3の画像320は時刻Δt後の画像入力部10
0で得られる画像である。
【0046】ここで、時刻Δt間に画像入力部100が
仮に(Bx 、By 、Bz )移動し、画像入力部100の
方向が(ω、φ、χ)回転したとする。この時の画像の
座標系を図4に示すと、まず、画像310のカメラ主点
L を原点とし、x軸、y軸がそれぞれul 軸、vl
と平行になる座標系(xl 、y l 、zl )と考え、画像
310の中心位置を(0、0、0)、画像入力部100
の姿勢を(0、0、0)とした。
【0047】上述したように、第3の画像320を撮像
する画像入力部100の位置は(B x 、By 、Bz )と
なり、姿勢は(ω、φ、χ)となるので、Bx を単位長
さとすると、
【0048】
【数1】
【0049】
【数2】
【0050】の関係が成立する。ただし、by =By
x であり、bz =Bz /Bx である。また、fは画像
入力部100の焦点距離である。今、(by 、bz )、
(ω、φ、χ)は未知数である。この未知数は、
【0051】
【数3】
【0052】を満足するように決定される。これは、2
つの画像310、320から同一と認識できる点を5点
以上選定し、それぞれの画像上での座標を用いて、最小
2乗法を適用して、5つの未知数by 、bz 、ω、φ、
χが求められる。
【0053】すなわち、上述の式から相対的な画像入力
部100の移動量が求まる。例えば、図3中の310
1、3102、3103、3104、3105に対し
て、3201、3202、3203、3204、320
5を選定する。この選定は、ポインティングデバイス2
20を用いて行う。
【0054】また、入力された相対点な移動量by 、b
z を、画像入力部100と101の間の基線長Bで規格
化することもできる。これは、第1の画像310、第2
の画像311、第3の画像320に共通に撮像されてい
る点3101、3111、3201を用いて、距離zを
求める。
【0055】例えば、簡単のために、画像入力部100
(101)は平行に配置され、画像入力部100(10
1)が平行に移動されたとする。この時、距離zは、3
101、3111より、 z=fB/d …(1式) により求まる。ただし、dは3101、3111の画像
上でのul 座標の差である。
【0056】また、3101、3201より、 z′=fBx /d′ …(2式) が求まる。ただし、d′は上記と同様3101、320
1の画像上でのu座標の差である。
【0057】今、z=z′より、Bx=d′/dBとな
る。したがって、相対移動量byは、 by=By/Bx =By/(d′/dB) …(3式) となる。
【0058】同様に、相対移動量bz は、 bz =Bz /BX =Bz /(d′/dB) …(4式) となる。よって、下記の数4で画像入力部100の位置
は(Bx 、By 、Bz )が求まる。よって、
【0059】
【数4】
【0060】となり、Bx 、By 、Bz が求まる。
【0061】次に、上記構成の撮像装置を用いて撮像す
る状況に関して説明する。図5の模式図に示すように、
例えば動物園の檻30の前で上述した構成の複眼カメラ
32を使用して被写体33を撮像する場合を例にして説
明する。
【0062】ユーザ35が、図中矢印線31のように動
きながら被写体33を撮像し、35´および32´で示
した位置までユーザ35および複眼カメラ32が移動し
たとする。この時、撮像位置と撮像した画像の関係を模
式的に示すと、図6の模式図のようになる。
【0063】ここで、横軸40は撮像した画像の範囲
(被写体面での広さ)に相当する。また、縦軸tは時間
軸である。図6中において、41、410で示される線
が複眼の撮像装置32で撮像したそれぞれの画像の範囲
を示している。
【0064】次に、時刻t0 から時刻t1 になった時を
考える。なお、簡単のために、複眼カメラ32が平行に
シフトしたと考える。その移動量は上述のようにBz
算出されている。
【0065】この時、上述したように被写体距離Zi
1 を求める。上記被写体距離Zi 1 の算出は、図7に
示すように、複眼の撮像装置32で撮像した画像の範囲
41、410を、距離算出部510に与えて行う。な
お、上記距離算出部510には撮像パラメータが与えら
れている。
【0066】上記距離算出部510において算出された
被写体距離Zi 1 は、被写体距離連結部500に入力
される。上記被写体距離連結部500では、距離算出部
510から入力された被写体距離Zi 1 と、移動量算
出回路510から入力された移動量Bとのベクトル加算
を行う。
【0067】したがって、時刻t0 の場所のカメラの位
置を基準とすると、上記被写体距離Zi 1 は、 Zi 1 ′=Zi 1 +Bz …(5式) に換算される。
【0068】同様に、被写体距離Xi 1 および被写体
距離Yi 1 も、移動量Bx 、Byがそれぞれ加算され
る。この時、求められる物点の数は、時刻tが増す毎に
詳細になって行き、図5に示すように撮像することによ
り、広範囲でかつ詳細な距離情報(Zj )501を得る
ことができる。
【0069】上述ようにして得られた画像を再生する手
順は、例えば、図8のようにして行う。すなわち、ま
ず、図8(a)に示すように、画像は撮像時の動き線3
1に従って画像の範囲41、410が順々に入力され
る。次に、再生順序710が入力されていく。そして、
上記再生順序710中の任意の点1210における再生
画像は、以下のようにして選択される。
【0070】すなわち、上記任意の点1210から撮像
時の動き線31へ垂線を下ろし、その交点を挟む画像7
0L、70R、71L、71Rが選択される。上記選択
された画像を、図8(b)に示す。
【0071】図8(b)に示すように、立方体の被写体
をちょうど両側から見るようになっている画像70L、
70Rと、右側へ動き量111だけ動いた場所から見た
画像71L、71Rとが撮像されている。
【0072】次に、この4つの画像70L、70R、7
1L、71Rから、任意の時刻に相当するように補間す
る処理と、上述して得た距離情報を利用して、視線方向
から見たように画像を変換する処理が行われる。
【0073】その結果、図8(C)に示すように、72
L、72Rの画像が生成される。この2つの画像72
L、72Rが、例えばHMD(ヘッドマウンテッドディ
スプレイ)等のディスプレイに表示される。
【0074】次に、本発明の第2の実施例を説明する。
第2の実施例としては、図9に示すような3次元形状測
定部の構成を説明する。以下、上記3次元形状測定部の
構成等について説明する。
【0075】本実施例の3次元形状測定部は、図1に示
した複眼の3次元形状測定部と同様に、破線のブロック
800は被計測体(図示せず)を撮像して画像データと
して取り込む画像入力部である。
【0076】また、810は被計測体を撮像する撮像レ
ンズ、820は例えばCCDのような撮像素子、830
は上記撮像素子の出力信号を保持するサンプルホールド
(S/H)回路、840はオートゲインコントロール
(AGC)回路、850はアナログ−ディジタル変換器
(A/D)である。
【0077】破線ブロック8200は、上記画像入力部
800の移動量を算出するために、基準となる点を入力
するための基準点入力部である。8210は、例えばC
RTディスプレイやLCDディスプレイなどの表示装置
である。また、8220はポインティングデバイスであ
り、表示装置8210に表示された画像に対して、同一
点を入力していくためのものである。
【0078】このような構成において、上記画像入力部
800によって撮像された画像信号は、表示装置821
0へ向けて出力される。上記画像信号が表示装置821
0へ供給される迄の信号供給路には、遅延素子840
1、8402、8403が設けられており、時系列的に
撮像された4つの画像が、表示装置8210内の第1〜
第4のウインドウ8211、8212、8213、82
14に同時に表示されるよう設定されている。
【0079】上述のようにして、4つのウインドウ画像
が表示された後で行う、移動量算出のためのデータ入力
は上述と同様である。ただし、本実施においては、複眼
の基線長Bに相当する絶対指標がないので、第1のウイ
ンドウ8211、第2のウインドウ8212で求められ
た動き量を基準量として相対的な全体の距離情報を抽出
するようにしている。
【0080】
【発明の効果】本発明は上述したように、入力される画
像に基づいて被写体迄の距離情報を算出するとともに、
上記入力される画像に基づいて画像入力手段の移動方向
および移動量を算出するようにし、さらに、上記算出し
た被写体迄の距離情報と、上記算出した画像入力手段の
移動方向および移動量とに基づいて、上記画像入力手段
から入力される画像に所定の画像処理を施して、所定の
視線方向から見たような画像を生成するようにしたの
で、様々な視線方向から見た画像を画像処理によって生
成することができる。これにより、種々の画像を鑑賞す
るために記憶手段に記憶しておかなければならない映像
データの量を可及的に少なくすることができるので、映
像データを記憶するために必要な記憶容量を少なくする
ことができるようになる。これにより、撮像した被写体
に対して任意の視点位置、視線方向で、立体画像あるい
は平面画像として、任意の再生手順で画像を観賞するこ
とができる装置の構成を簡素化することができる。
【0081】また、本発明の他の特徴によれば、被写体
迄の距離情報を、画像入力手段から入力される画像に基
づいて算出するようにしているので、特別なエネルギー
体を被写体に向けて放出することなく被写体迄の距離情
報を求めることができる。これにより、上述した従来例
のように、超音波やレーザー光などのエネルギー体を被
写体に向けて放出することなく被写体迄の距離を知るこ
とができる。したがって、上述したようなエネルギー体
を吸収してしまうような物体に関しても測距することが
できるとともに、生体へ悪影響を与えることなく測距を
行うことができるようになる。
【図面の簡単な説明】
【図1】本発明の第1の実施例を示し、画像記録再生装
置の概略構成を示す機能構成図である。
【図2】複眼撮像装置および移動量算出部の構成を示す
ブロック図である。
【図3】移動量算出のために必要となる基準点を入力す
る様子を示す模式図である。
【図4】複眼撮像装置が移動する前の画像と移動した後
の画像との関係を示す図である。
【図5】複眼撮像装置を用いて被写体を撮像する様子を
説明する図である。
【図6】図5の手順で撮像された画像の撮像範囲と時刻
との関係を示す図である。
【図7】被写体の距離情報を抽出していく装置の構成を
示すブロック図である。
【図8】被写体の再生状況を説明する図である。
【図9】本発明の第2の実施例を示し、単眼撮像装置な
らびに移動量算出部のブロック図である。
【符号の説明】
210 表示装置 220 ポインティングデバイス 310、311、320、321 画像 41、410 画像 500 被写体距離連結部 710 再生手順 70L、70R、71L、71R 入力画像 72L、72R 再生画像
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 13/00 G03B 3/00 A (72)発明者 真継 優和 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内 (72)発明者 石川 基博 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内 (72)発明者 倉橋 直 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 被写体を撮像して画像を入力するための
    画像入力手段と、 上記画像入力手段から入力される画像に基づいて被写体
    迄の距離情報を算出する距離情報算出手段と、 上記画像入力手段から入力される画像に基づいて上記画
    像入力手段の移動方向および移動量を算出する移動方向
    /移動量算出手段と、 上記距離情報算出手段によって算出された被写体迄の距
    離情報と、上記移動方向/移動量算出手段によって算出
    された上記画像入力手段の移動方向および移動量とに基
    づいて、上記画像入力手段から入力される画像に所定の
    画像処理を施すことにより、所定の視線方向から見たよ
    うな画像を生成する画像生成手段とを具備することを特
    徴とする画像記録再生装置。
  2. 【請求項2】 複数または単数の画像入力装置を有し、
    被写体を撮像して画像を入力するための画像入力手段
    と、 上記画像入力手段によって入力された画像を記憶するた
    めの記憶手段と、 上記画像入力手段によって入力された画像から上記画像
    入力手段の移動方向および移動量を算出する移動方向/
    移動量算出手段と、 上記画像入力手段によって撮像される被写体迄の距離情
    報を算出する距離情報算出手段と、 上記距離情報算出手段によって算出された被写体迄の距
    離情報、および上記移動方向/移動量算出手段によって
    算出された上記画像入力手段の移動方向および移動量に
    基づいて、上記画像入力手段によって入力された画像を
    補間する画像補間手段と、 上記距離情報算出手段によって算出された被写体迄の距
    離情報、および上記移動方向/移動量算出手段によって
    算出された上記画像入力手段の移動方向および移動量に
    基づいて、上記画像入力手段によって入力された画像
    を、所定の視線方向から見たように変換する画像変換手
    段と、 上記画像補間手段によって補間された画像を再生する画
    像再生手段と、 上記画像再生手段によって再生される画像の再生順序を
    入力する再生順序入力手段とを具備し、 上記画像入力手段によって入力された画像を、その画像
    を撮影した範囲における任意の視点、および任意の視線
    方向から見た平面画像もしくは立体画像として再生する
    ようにしたことを特徴とする画像記録再生装置。
  3. 【請求項3】 上記画像入力手段によって入力される画
    像内の基準点を入力する基準点入力手段を具備し、 上記移動方向/移動量算出手段は、上記基準点入力手段
    より入力された基準点に応じて上記画像入力装置の移動
    方向および移動量を算出することを特徴とする請求項2
    に記載の画像記録再生装置。
JP7166233A 1994-09-09 1995-06-30 画像記録再生装置 Pending JPH0916772A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP7166233A JPH0916772A (ja) 1995-06-30 1995-06-30 画像記録再生装置
US08/525,289 US6839081B1 (en) 1994-09-09 1995-09-08 Virtual image sensing and generating method and apparatus
EP95306297A EP0701369A1 (en) 1994-09-09 1995-09-08 Image processing method and apparatus
EP04076832A EP1494476A1 (en) 1994-09-09 1995-09-08 Image processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7166233A JPH0916772A (ja) 1995-06-30 1995-06-30 画像記録再生装置

Publications (1)

Publication Number Publication Date
JPH0916772A true JPH0916772A (ja) 1997-01-17

Family

ID=15827586

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7166233A Pending JPH0916772A (ja) 1994-09-09 1995-06-30 画像記録再生装置

Country Status (1)

Country Link
JP (1) JPH0916772A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7532215B2 (en) 2003-09-02 2009-05-12 Fujifilm Corporation Image generating apparatus, image generating method and image generating program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7532215B2 (en) 2003-09-02 2009-05-12 Fujifilm Corporation Image generating apparatus, image generating method and image generating program

Similar Documents

Publication Publication Date Title
US20050117033A1 (en) Image processing device, calibration method thereof, and image processing
US7804996B2 (en) Method for associating stereo image and three-dimensional data preparation system
US6839081B1 (en) Virtual image sensing and generating method and apparatus
US7554575B2 (en) Fast imaging system calibration
JP4010753B2 (ja) 形状計測システムと撮像装置と形状計測方法及び記録媒体
US20110249117A1 (en) Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program
JP2012533222A (ja) 画像ベースの表面トラッキング
JPH09187038A (ja) 3次元形状抽出装置
CN105717513A (zh) 一种基于普通摄像头芯片的低成本激光测距装置及方法
US9756421B2 (en) Audio refocusing methods and electronic devices utilizing the same
JP3643157B2 (ja) ステレオ画像による物体の高さ測定方法
JP2001266128A (ja) 奥行き情報取得方法,装置および奥行き情報取得プログラムを記録した記録媒体
JPH1079029A (ja) 立体情報検出方法及びその装置
JPH07181024A (ja) 3次元形状計測方法および装置
JP2000134537A (ja) 画像入力装置及びその方法
JPH09145318A (ja) 三次元計測装置
JPH0916772A (ja) 画像記録再生装置
JPH09145368A (ja) ステレオ画像による物体の移動追跡方法
JP3191659B2 (ja) 画像入力装置
JP3151472B2 (ja) 3次元物体像の生成方法
CN117859339A (zh) 媒体设备及其控制方法和装置、目标跟踪方法和装置
JPH1091790A (ja) 三次元形状抽出方法及び装置並びに記憶媒体
JPH099143A (ja) 画像処理装置
JP3706642B2 (ja) 撮像再生装置及び再生方法
CN211827195U (zh) 一种交互设备

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040720

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050412