JPH099143A - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JPH099143A JPH099143A JP7154654A JP15465495A JPH099143A JP H099143 A JPH099143 A JP H099143A JP 7154654 A JP7154654 A JP 7154654A JP 15465495 A JP15465495 A JP 15465495A JP H099143 A JPH099143 A JP H099143A
- Authority
- JP
- Japan
- Prior art keywords
- image
- input
- information
- reproducing
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Circuits (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
(57)【要約】
【目的】 撮像時に画像の立体情報を抽出することのよ
り、撮像時と異なる視点、視線方向における画像の再生
を可能とした画像処理装置を提供すること。 【構成】 画像を入力する左右の画像入力部と、画像入
力部によってそれぞれ入力された画像を記憶するメモリ
と、画像入力部の撮像時の移動方向及び移動量を検出す
る移動検出手段と、被写体の距離情報を演算する距離演
算部と、メモリに記憶された画像を再生する再生回路
と、距離演算部によって演算された距離情報を基に再生
画像を補間する補間回路と、画像再生順序及び方向を入
力する視線入力手段と、これらによって入力された情報
に基づいて任意の視点及び視線方向から見た画像を生成
する画像処理回路とを備えた画像処理装置。
り、撮像時と異なる視点、視線方向における画像の再生
を可能とした画像処理装置を提供すること。 【構成】 画像を入力する左右の画像入力部と、画像入
力部によってそれぞれ入力された画像を記憶するメモリ
と、画像入力部の撮像時の移動方向及び移動量を検出す
る移動検出手段と、被写体の距離情報を演算する距離演
算部と、メモリに記憶された画像を再生する再生回路
と、距離演算部によって演算された距離情報を基に再生
画像を補間する補間回路と、画像再生順序及び方向を入
力する視線入力手段と、これらによって入力された情報
に基づいて任意の視点及び視線方向から見た画像を生成
する画像処理回路とを備えた画像処理装置。
Description
【0001】
【産業上の利用分野】本発明は、撮像した複数の画像情
報を基に、種々の画像処理を行う画像処理装置に関す
る。
報を基に、種々の画像処理を行う画像処理装置に関す
る。
【0002】
【従来の技術】複数の画像情報から立体画像あるいは視
点の異なる画像を生成するためには、その被写体までの
距離情報が必要である。
点の異なる画像を生成するためには、その被写体までの
距離情報が必要である。
【0003】従来より被写体までの距離を測定する装置
としては、種々の方式のものが提案されているが、被写
体に対して何らかのエネルギー体を放射する能動的な手
法に基づく測距装置と、光電変換素子などで撮像された
画像信号を解析する受動的な手法に基づく測距装置に大
別できる。
としては、種々の方式のものが提案されているが、被写
体に対して何らかのエネルギー体を放射する能動的な手
法に基づく測距装置と、光電変換素子などで撮像された
画像信号を解析する受動的な手法に基づく測距装置に大
別できる。
【0004】能動的な手法には、電波、超音波、光など
の波動を被写体に放射して、それが反射して戻ってくる
までの伝播時間から被写体までの距離を測定する手法と
適当な光源から規則的な模様を投影して被写体表面に人
工的な模様を生じさせ、その幾何学的な歪みから当被写
体の形状を求める手法(例えば、モアレトポグラフィ
ー)等が広く利用されている。
の波動を被写体に放射して、それが反射して戻ってくる
までの伝播時間から被写体までの距離を測定する手法と
適当な光源から規則的な模様を投影して被写体表面に人
工的な模様を生じさせ、その幾何学的な歪みから当被写
体の形状を求める手法(例えば、モアレトポグラフィ
ー)等が広く利用されている。
【0005】一方、受動的な手法としては、複数の画像
センサを用いて得られる画像間の対応点の位置関係から
三角測量の原理に基づいて距離を測定する手法、被写体
表面が持つ模様の幾何学的な歪みから当該被写体の立体
構造を求める手法などがある。また、被写体の焦点ずれ
量から被写体までの距離を求める手法も試みられてい
る。
センサを用いて得られる画像間の対応点の位置関係から
三角測量の原理に基づいて距離を測定する手法、被写体
表面が持つ模様の幾何学的な歪みから当該被写体の立体
構造を求める手法などがある。また、被写体の焦点ずれ
量から被写体までの距離を求める手法も試みられてい
る。
【0006】一方、画像を再生する為の保持して置く映
像データ、記録時に撮像された物や、撮像された物から
想定される方向からの画像を内挿してあらかじめ作成し
ておき再生時には、それら一群の画像から選択的に出力
していく事が常であった。
像データ、記録時に撮像された物や、撮像された物から
想定される方向からの画像を内挿してあらかじめ作成し
ておき再生時には、それら一群の画像から選択的に出力
していく事が常であった。
【0007】
【発明が解決しようとする課題】しかしながら、種々の
再生方法を実現するには、幾つかの問題点があった。ま
ず第1に記録して置く記録装置の容量には、おのずと限
界があり、様々な方向からの画像を一度に記録しておく
のは現実的でない点がまず挙げられる。
再生方法を実現するには、幾つかの問題点があった。ま
ず第1に記録して置く記録装置の容量には、おのずと限
界があり、様々な方向からの画像を一度に記録しておく
のは現実的でない点がまず挙げられる。
【0008】また立体情報抽出に関しては、上記従来例
の能動的な手法では超音波やレーザー光などのエネルギ
ー体を放出し、その反射体を検出する必要があるため、
前記エネルギー体を吸収してしまうような物体に関して
は測距できない。
の能動的な手法では超音波やレーザー光などのエネルギ
ー体を放出し、その反射体を検出する必要があるため、
前記エネルギー体を吸収してしまうような物体に関して
は測距できない。
【0009】また、生体への悪影響を考慮すれば、人体
への強いレーザー光照射はできないなど汎用性に乏し
い。
への強いレーザー光照射はできないなど汎用性に乏し
い。
【0010】また、規則的な模様を投影する方法は、原
理的に被写体の相対的な立体情報を把握するための手法
であって、被写体までの絶対的な距離を求めることはで
きないという原理的な問題点を持つ。
理的に被写体の相対的な立体情報を把握するための手法
であって、被写体までの絶対的な距離を求めることはで
きないという原理的な問題点を持つ。
【0011】そこで本発明の課題は上述の問題点を解決
し、画面の任意の位置及び方向における画像合成及び出
力を可能とする画像処理装置を提供することにある。
し、画面の任意の位置及び方向における画像合成及び出
力を可能とする画像処理装置を提供することにある。
【0012】
【課題を解決するための手段】上記の課題を解決するた
めに本願における請求項1に記載の発明によれば、画像
を入力する画像入力手段と、前記画像入力手段によって
入力された画像を記憶する記憶手段と、前記画像入力手
段の移動方向及び移動量を検出する移動検出手段と、撮
像する対象の距離情報を演算する距離演算手段と、前記
記憶手段に記憶された画像を再生する再生手段と、前記
距離演算手段によって演算された距離情報を基に画像を
補間する補間手段と、前記再生手段による再生順序を入
力する再生順序入力手段と、操作者の視線方向を入力す
る視線入力手段と、前記再生順序入力手段と前記視線入
力手段によって入力された情報に基づいて前記画像入力
手段によって画像を撮影した範囲での任意の視点及び視
線方向から前記記憶手段に記憶された画像を再生して前
記補間手段によって補間し、平面画像あるいは立体画像
として再生する画像処理手段とを備えた画像処理装置を
特徴とする。
めに本願における請求項1に記載の発明によれば、画像
を入力する画像入力手段と、前記画像入力手段によって
入力された画像を記憶する記憶手段と、前記画像入力手
段の移動方向及び移動量を検出する移動検出手段と、撮
像する対象の距離情報を演算する距離演算手段と、前記
記憶手段に記憶された画像を再生する再生手段と、前記
距離演算手段によって演算された距離情報を基に画像を
補間する補間手段と、前記再生手段による再生順序を入
力する再生順序入力手段と、操作者の視線方向を入力す
る視線入力手段と、前記再生順序入力手段と前記視線入
力手段によって入力された情報に基づいて前記画像入力
手段によって画像を撮影した範囲での任意の視点及び視
線方向から前記記憶手段に記憶された画像を再生して前
記補間手段によって補間し、平面画像あるいは立体画像
として再生する画像処理手段とを備えた画像処理装置を
特徴とする。
【0013】また本願における請求項2に記載の発明に
よれば、請求項1において、前記距離演算手段を、複数
の画像入力手段から得られる画像情報を基に距離情報を
演算し、時系列的に得られる距離情報を、前記画像入力
手段の移動量にしたがって適応的に統合して行くように
構成したことを特徴とする。
よれば、請求項1において、前記距離演算手段を、複数
の画像入力手段から得られる画像情報を基に距離情報を
演算し、時系列的に得られる距離情報を、前記画像入力
手段の移動量にしたがって適応的に統合して行くように
構成したことを特徴とする。
【0014】
【作用】請求項1に記載の発明によれば、入力された複
数の画像情報と、画像入力手段の移動情報と、被写体と
の各画像入力位置における距離情報とをそれぞれ記憶
し、それらを任意の視点及び視線方向から見た場合にお
ける画像を記憶手段より順次読み出して補間しながら視
点の変化に基づいて回転させることができ、画像を撮影
した範囲内における任意の視点、視線方向から見た平面
画像もしくは立体画像が出力される。
数の画像情報と、画像入力手段の移動情報と、被写体と
の各画像入力位置における距離情報とをそれぞれ記憶
し、それらを任意の視点及び視線方向から見た場合にお
ける画像を記憶手段より順次読み出して補間しながら視
点の変化に基づいて回転させることができ、画像を撮影
した範囲内における任意の視点、視線方向から見た平面
画像もしくは立体画像が出力される。
【0015】
(第1の実施例)以下、図面を参照し手本発明の画像記
録再生装置をその実施例について詳細に説明する。図1
は、本発明に基づく3次元形状測定装置の構成を示すブ
ロック図である。
録再生装置をその実施例について詳細に説明する。図1
は、本発明に基づく3次元形状測定装置の構成を示すブ
ロック図である。
【0016】まずこの構成に関して説明する。破線のブ
ロック100,101は被計測体を画像データとして取
り込む画像入力手段としての画像入力部でありたとえば
左右に並設された複眼の撮像系を構成している。11
0,101は被計測体を撮像する撮像レンズ、120,
121は例えばCCDのような撮像素子、130,13
1は前記撮像素子の出力信号を保持するサンプルホール
ド(S/H)回路、140,141はオートゲインコン
トロール(AGC)回路、150,151はアナログ撮
像信号をデジタル信号に変換する。アナログ−ディジタ
ル変換器(A/D)変換器である。
ロック100,101は被計測体を画像データとして取
り込む画像入力手段としての画像入力部でありたとえば
左右に並設された複眼の撮像系を構成している。11
0,101は被計測体を撮像する撮像レンズ、120,
121は例えばCCDのような撮像素子、130,13
1は前記撮像素子の出力信号を保持するサンプルホール
ド(S/H)回路、140,141はオートゲインコン
トロール(AGC)回路、150,151はアナログ撮
像信号をデジタル信号に変換する。アナログ−ディジタ
ル変換器(A/D)変換器である。
【0017】破線ブロック200は、画像入力部の移動
量を検出する移動検出手段としての移動量検出部であ
り、210は例えば振動ジャイロスコープのような角速
度センサ、220は前記角速度センサ210で検出され
た角速度から画像入力部の移動量を算出する移動量算出
回路である。
量を検出する移動検出手段としての移動量検出部であ
り、210は例えば振動ジャイロスコープのような角速
度センサ、220は前記角速度センサ210で検出され
た角速度から画像入力部の移動量を算出する移動量算出
回路である。
【0018】破線のブロック300は画像信号処理によ
り被計測体迄の距離を算出する距離演算手段に相当する
画像処理部であり、310は一定時間画像データを保持
する記憶手段としての画像メモリである。また320は
各画像間の各種処理を行う処理部である。
り被計測体迄の距離を算出する距離演算手段に相当する
画像処理部であり、310は一定時間画像データを保持
する記憶手段としての画像メモリである。また320は
各画像間の各種処理を行う処理部である。
【0019】撮像レンズ110,111は、被計測体を
撮像素子120,121上にそれぞれ結像する。撮像素
子120,121は、前記結像された被計測体を光電変
換する。S/H回路130,131は撮像素子120,
121の出力をそれぞれ保持し、引き続くAGC回路1
40,141が自動的に画像信号のレベルが一定となる
ように利得を制御する。
撮像素子120,121上にそれぞれ結像する。撮像素
子120,121は、前記結像された被計測体を光電変
換する。S/H回路130,131は撮像素子120,
121の出力をそれぞれ保持し、引き続くAGC回路1
40,141が自動的に画像信号のレベルが一定となる
ように利得を制御する。
【0020】A/D変換器150,151はAGC回路
140,141の出力をそれぞれアナログ−ディジタル
変換し、ディジタル画像を出力する。
140,141の出力をそれぞれアナログ−ディジタル
変換し、ディジタル画像を出力する。
【0021】移動検出部200について見ると、角速度
センサ210は、画像入力部100,101の動きを検
出する。移動量算出回路220では検出された画像入力
部の角速度から画像入力部の移動量及び移動方向を算出
する。
センサ210は、画像入力部100,101の動きを検
出する。移動量算出回路220では検出された画像入力
部の角速度から画像入力部の移動量及び移動方向を算出
する。
【0022】角速度センサ210は図中1つの様に模式
的に図示しているが、x、y、zの3軸方向に対して検
知できる様に構成されている。従って移動量算出回路2
20の出力である移動量は、x、y、zに沿った移動量
Bx、By、Bzとして出力する事も可能であり、又、
的に図示しているが、x、y、zの3軸方向に対して検
知できる様に構成されている。従って移動量算出回路2
20の出力である移動量は、x、y、zに沿った移動量
Bx、By、Bzとして出力する事も可能であり、又、
【0023】
【外1】 の様に全体の移動量を出力する事も可能である。
【0024】画像処理部300内の画像メモリ310は
一定時間画像データを記憶して、時系列な画像間の演算
を可能にする。処理部320は、各種画像処理演算を行
うものである。
一定時間画像データを記憶して、時系列な画像間の演算
を可能にする。処理部320は、各種画像処理演算を行
うものである。
【0025】次に前記構成の装置を用いて撮像する際の
処理及び動作に関して説明する。
処理及び動作に関して説明する。
【0026】図3の模式図に示す様に、例えば動物園の
檻の前で前述の画像記録再生装置を持ち、図中矢印31
の様に動きながら撮影する。この時撮影位置と撮影した
画像の関係を模式的に示すと、図4の様になる。
檻の前で前述の画像記録再生装置を持ち、図中矢印31
の様に動きながら撮影する。この時撮影位置と撮影した
画像の関係を模式的に示すと、図4の様になる。
【0027】ここで横軸は撮影した画像の範囲(被写体
面での広さ)に相当し、縦軸は時間軸である。図中4
1,410で示される物が本実施例のように複眼の撮像
装置で撮影したそれぞれの画像の範囲を示している。
面での広さ)に相当し、縦軸は時間軸である。図中4
1,410で示される物が本実施例のように複眼の撮像
装置で撮影したそれぞれの画像の範囲を示している。
【0028】次に時刻t0 から装置を矢印31方向へと
移動し、t1 の時刻に成った時を考える。仮りに簡単の
為に、複眼カメラは、平行にシフトしたと考える。その
移動量は前述の移動量算出回路220でBzと算出され
ている。この情報は画像処理部300へと伝送され、前
述した様に被写体距離
移動し、t1 の時刻に成った時を考える。仮りに簡単の
為に、複眼カメラは、平行にシフトしたと考える。その
移動量は前述の移動量算出回路220でBzと算出され
ている。この情報は画像処理部300へと伝送され、前
述した様に被写体距離
【0029】
【外2】 を求める。図5は画像処理部300内の処理部320の
構成で示すもので、移動量B(Bx,By,Bz)は、
図5に示す様に被写体距離連結部500に入力される。
被写体距離連結部500では、被写体距離
構成で示すもので、移動量B(Bx,By,Bz)は、
図5に示す様に被写体距離連結部500に入力される。
被写体距離連結部500では、被写体距離
【0030】
【外3】 と移動量算出回路220の出力Bとのベクトル加算を行
う。従って、時刻t0 の場所のカメラの位置を基準とす
ると、被写体距離
う。従って、時刻t0 の場所のカメラの位置を基準とす
ると、被写体距離
【0031】
【外4】 に換算される。
【0032】同様に
【0033】
【外5】 もそれぞれBx,Byが加算される。この時求められる
物点の数は、時刻tが増す事に詳細になって行き、図4
に示す様に、矢印31の方向に複数回撮影する事によ
り、広範囲でかつ詳細な距離データを得る事ができる。
物点の数は、時刻tが増す事に詳細になって行き、図4
に示す様に、矢印31の方向に複数回撮影する事によ
り、広範囲でかつ詳細な距離データを得る事ができる。
【0034】次に図6を用いて記録した画像の再生を行
うための構成及びその方法を説明する。図6は再生手順
を指定する為の装置の構成ブロック図である。これは本
発明の再生手段を構成する。
うための構成及びその方法を説明する。図6は再生手順
を指定する為の装置の構成ブロック図である。これは本
発明の再生手段を構成する。
【0035】ここでは再生順序入力手段、視線入力手段
を構成する各種のポインティングデバイスから、インタ
フェースMMI/Fを介して、ポインティングデータが
入力される。図6中には視点を設定するためのポインテ
ィングデバイスとして、ポヒマスセンサ(商標登録)、
ジョイスティック、マウス、ペン等を示している。図6
(b)はポインティングデバイスによって画面内の位置
を指定する様子を示したもので、まず最初のポイントが
図6(b)に示される点に1210とすると、順次12
11,1212,…と入力されていく。この時121
0,1211,1212と示された点線が画像を再生す
る順序となる。この図では右上から左下へと、一本の点
線を描いているが、例えばループにしたり、8の字にし
たり、描く線は任意である。
を構成する各種のポインティングデバイスから、インタ
フェースMMI/Fを介して、ポインティングデータが
入力される。図6中には視点を設定するためのポインテ
ィングデバイスとして、ポヒマスセンサ(商標登録)、
ジョイスティック、マウス、ペン等を示している。図6
(b)はポインティングデバイスによって画面内の位置
を指定する様子を示したもので、まず最初のポイントが
図6(b)に示される点に1210とすると、順次12
11,1212,…と入力されていく。この時121
0,1211,1212と示された点線が画像を再生す
る順序となる。この図では右上から左下へと、一本の点
線を描いているが、例えばループにしたり、8の字にし
たり、描く線は任意である。
【0036】従って再生順序が、従来の順再生、逆再生
に比べて、格段に自由度の増した再生が可能となる。一
方、再生する画像は実際には、記録時に撮影した画像
と、前述した画像処理部300で求めた距離情報を用い
て、再生手順に従って順次、生成していく事になる。
に比べて、格段に自由度の増した再生が可能となる。一
方、再生する画像は実際には、記録時に撮影した画像
と、前述した画像処理部300で求めた距離情報を用い
て、再生手順に従って順次、生成していく事になる。
【0037】この様に撮影した状況から、まず、最初の
時刻t0 において得られた2画像41,410から被写
体の立体情報の抽出を行う。ここでは、その処理を行う
装置の処理方法に関して説明する。処理方法としては、
2つの画像41,410を用いて、両画像間の互いに対
応する点の情報を抽出し、この抽出結果と、カメラの撮
影パラメータ、例えば焦点距離f、2つのカメラの間隔
b等を用いて三角測量的に被写体の立体情報を求めて行
く方法が挙げられる。
時刻t0 において得られた2画像41,410から被写
体の立体情報の抽出を行う。ここでは、その処理を行う
装置の処理方法に関して説明する。処理方法としては、
2つの画像41,410を用いて、両画像間の互いに対
応する点の情報を抽出し、この抽出結果と、カメラの撮
影パラメータ、例えば焦点距離f、2つのカメラの間隔
b等を用いて三角測量的に被写体の立体情報を求めて行
く方法が挙げられる。
【0038】これは実際には対応点対を求めるには、テ
ンプレートマッチング等を行う。
ンプレートマッチング等を行う。
【0039】尚、テンプレートマッチング法について
は、たとえば本出願人による特開平7−95467号公
報に開示したように、例えば左画像中のある1点を囲む
テンプレートを考え、そのテンプレートの画像に対する
右画像中での類似性の比較によって対応点を決定するも
のである。類似性の比較の一方法である相関法は、テン
プレートの画像中の画素値と探索画像中の画素値との相
互相関をとり、最大値となった座標を対応点とするもの
である。
は、たとえば本出願人による特開平7−95467号公
報に開示したように、例えば左画像中のある1点を囲む
テンプレートを考え、そのテンプレートの画像に対する
右画像中での類似性の比較によって対応点を決定するも
のである。類似性の比較の一方法である相関法は、テン
プレートの画像中の画素値と探索画像中の画素値との相
互相関をとり、最大値となった座標を対応点とするもの
である。
【0040】これにより物点Piに相当する41,41
0の画像中の対応点対が例えば(v L ,hL ),(v
R ,hR )の座標とすると、物点Piの被写体距離
0の画像中の対応点対が例えば(v L ,hL ),(v
R ,hR )の座標とすると、物点Piの被写体距離
【0041】
【外6】 で示される。
【0042】この様に画像41,410から得られる複
数の対応点対から被写体距離Ziを全て求める。
数の対応点対から被写体距離Ziを全て求める。
【0043】
【外7】 これは例えば図7に示す様に、画像41,410に示す
様に記録され、空間において再生手順(視点の変化)
を、710の様にしたい場合、図1に示す様に、再生手
順に従って、一番近い画像ペアが2組、画像選択部80
0より選択され、71L,71R,72L,72Rが出
力される。図1は図6(a)の再生処理ブロックのマイ
クロプロセッサMPUを中心とする処理をブロック図で
示したものである。この出力は、次の画像生成部801
で各画像ごとの距離情報501と、MMI/Fを介して
ポインティングデバイスより再生時の視線方向が入力さ
れる事により、再生画像72L,72Rが出力される事
になる。
様に記録され、空間において再生手順(視点の変化)
を、710の様にしたい場合、図1に示す様に、再生手
順に従って、一番近い画像ペアが2組、画像選択部80
0より選択され、71L,71R,72L,72Rが出
力される。図1は図6(a)の再生処理ブロックのマイ
クロプロセッサMPUを中心とする処理をブロック図で
示したものである。この出力は、次の画像生成部801
で各画像ごとの距離情報501と、MMI/Fを介して
ポインティングデバイスより再生時の視線方向が入力さ
れる事により、再生画像72L,72Rが出力される事
になる。
【0044】画像処理手段としての再像生成部801
は、各画像間の差分を補間する補間手段としての画像補
間部と、画像を図7の710に従って回転させる画像回
転部より構成される。
は、各画像間の差分を補間する補間手段としての画像補
間部と、画像を図7の710に従って回転させる画像回
転部より構成される。
【0045】画像補間部では、(71L,71R),
(72L,72R)の2組から、その再生手順が示す場
所から変化する画像間の変化の補間が行なわれる。この
補間についてはたとえば特願平6−216323号にお
いて開示している。次に画像回転部では、補間によって
得られた画像を図7の710で示すように視線方向に従
って回転する。
(72L,72R)の2組から、その再生手順が示す場
所から変化する画像間の変化の補間が行なわれる。この
補間についてはたとえば特願平6−216323号にお
いて開示している。次に画像回転部では、補間によって
得られた画像を図7の710で示すように視線方向に従
って回転する。
【0046】例えば、
【0047】
【外8】 の様に回転させる。
【0048】この様にする事により、撮影時に実際に撮
像して得られた画像からのみの再生ではなく、再生手順
に従った画像を任意の方向から見た様に画像を変位させ
て再生する事ができる。
像して得られた画像からのみの再生ではなく、再生手順
に従った画像を任意の方向から見た様に画像を変位させ
て再生する事ができる。
【0049】又、補間画像を全て持つ事はしなくて良
く、順次、距離情報より補間できるので、記憶容量も大
きく必要ではない。
く、順次、距離情報より補間できるので、記憶容量も大
きく必要ではない。
【0050】ここであらためて、再生手順から画像が出
力されるまでの様子を図を用いて説明する。
力されるまでの様子を図を用いて説明する。
【0051】図11は、再生手順710に従って順次再
生されていく画像が出される説明図である。
生されていく画像が出される説明図である。
【0052】まず図11(a)に示される様に、画像は
撮影時の動き31に従って41,410が順々に入力さ
れている。次に前記説明の様に再生手順710が入力さ
れて行く。
撮影時の動き31に従って41,410が順々に入力さ
れている。次に前記説明の様に再生手順710が入力さ
れて行く。
【0053】再生手順710中の任意の点1210にお
ける再生画像は、1210から撮影時の動き31へ垂線
をおろし、その交点をはさむ画像70L,70R,71
L,71Rが選択される。選択された画像をb)に示
す。立方体の被写体をちょうど両側から見る様になって
いる画像70L,70Rと右側へ動き量111だけ動き
た場所から見た絵71L,71Rが撮影されている。
ける再生画像は、1210から撮影時の動き31へ垂線
をおろし、その交点をはさむ画像70L,70R,71
L,71Rが選択される。選択された画像をb)に示
す。立方体の被写体をちょうど両側から見る様になって
いる画像70L,70Rと右側へ動き量111だけ動き
た場所から見た絵71L,71Rが撮影されている。
【0054】次にこの4つの画像70L,70R,71
L,71Rから、任意の時刻に相当する様補間する事
と、距離情報を利用して視線方向から見た様に画像を変
換する事が行なわれる。その結果画像は72L,72R
が生成される。この2つの面像が例えばHMD(ヘッド
マウンテッドディスプレイ)等のDisplayに表示
される。
L,71Rから、任意の時刻に相当する様補間する事
と、距離情報を利用して視線方向から見た様に画像を変
換する事が行なわれる。その結果画像は72L,72R
が生成される。この2つの面像が例えばHMD(ヘッド
マウンテッドディスプレイ)等のDisplayに表示
される。
【0055】(第2の実施例)第2の実施例としては、
立体情報の更新に関して以下の様な実施が挙げられる。
立体情報の更新に関して以下の様な実施が挙げられる。
【0056】まず第1の実施例としては、時刻t毎に得
られる距離情報全てが登録されて行く事になる。
られる距離情報全てが登録されて行く事になる。
【0057】これに対して撮影者の撮影場所が違う場合
でも、同一被写体を計測する事が考えられる。
でも、同一被写体を計測する事が考えられる。
【0058】そこで以下の様に同一点の判断を行う。時
刻t0 で求められた
刻t0 で求められた
【0059】
【外9】 と時刻t1 で求められた
【0060】
【外10】 の点に関して、評価値Eを
【0061】
【外11】 の様に計算する。
【0062】この時E<th(B)を満たす時、
【0063】
【外12】 が同一点とみなす。この時このしきい値th(B)は、
例えば移動量Bに応じて変化させる。
例えば移動量Bに応じて変化させる。
【0064】これは、移動量
【0065】
【外13】 が小さい時は、th(B)を小さな値とする。th
(B)=αB(αは正の係数)等とする(図8
(a))。
(B)=αB(αは正の係数)等とする(図8
(a))。
【0066】これに対して、Bが大きい時には、th
(B)は大きくなる。この様に適応的にしきい値th
(B)を決める事により、同一点判断を高精度に行う事
が出来る。
(B)は大きくなる。この様に適応的にしきい値th
(B)を決める事により、同一点判断を高精度に行う事
が出来る。
【0067】又、移動量B等の検出が高精度の場合等に
は、図8(a)の様に
は、図8(a)の様に
【0068】
【外14】 の様にする事が出来る。
【0069】但しD=C−βB0 βは任意の係数 これにより、近くで撮った時は比較的に同一点判断をゆ
るくし、遠い場所から撮影した物は厳しくする事も考え
られる。
るくし、遠い場所から撮影した物は厳しくする事も考え
られる。
【0070】(第3の実施例)第3の実施例としては、
図9(a)に示す様にまず時刻t0 に撮像された2つの
画像L900,R910から、距離情報
図9(a)に示す様にまず時刻t0 に撮像された2つの
画像L900,R910から、距離情報
【0071】
【外15】 を求める。次に時刻t1 に撮像された2つの画像L90
1,R911から距離情報
1,R911から距離情報
【0072】
【外16】 を求める。この2つのt0 ,t1 時刻で求められた距離
情報
情報
【0073】
【外17】 から前述した様に距離情報Zitを求めて行く手法が第2
の実施例であった。これを第3の実施例では以下の様に
図9(b)に示す様に更に
の実施例であった。これを第3の実施例では以下の様に
図9(b)に示す様に更に
【0074】
【外18】 を順々に求めて行く所を付加して行く。これは、まず時
刻t0 に撮像された2つの画像L920,R930から
距離情報
刻t0 に撮像された2つの画像L920,R930から
距離情報
【0075】
【外19】 を求める。次に時刻t1 に撮像された2つの画像L92
1,R931から距離情報
1,R931から距離情報
【0076】
【外20】 を求める。といった事が行われる。この順々で求められ
た2つの距離情報
た2つの距離情報
【0077】
【外21】 に加えて、時刻t0 に撮像されたL920と時刻t1 に
撮像されたL921から得られる
撮像されたL921から得られる
【0078】
【外22】 と時刻t0 に撮像されたR930と時刻t1 に撮像され
たR931から得られる
たR931から得られる
【0079】
【外23】 が加えられる事である。
【0080】この時、
【0081】
【外24】 は同一の撮像装置が移動量Bだけ変化した点での情報か
ら求められた物である。
ら求められた物である。
【0082】図10にこれらの距離情報を統合して行く
手順を記述する。まず、時刻t0 にS1に示す様に
手順を記述する。まず、時刻t0 にS1に示す様に
【0083】
【外25】 を算出する。撮像装置はS2に示す様に時刻t1にはB
だけ移動している。この時前述の様に
だけ移動している。この時前述の様に
【0084】
【外26】 を算出する(S3)。そして
【0085】
【外27】 も算出する(S4)。
【0086】S5のブロックでは移動量Bが複眼のカメ
ラの基線長bより短い時は、
ラの基線長bより短い時は、
【0087】
【外28】 は考慮しない事としブロックS7に進み
【0088】
【外29】 からZj をを求める。Bがbより大きい時は、ブロック
S6に進み4つのZの情報を用いてZを算出していく。
この時同一点かの判断は例えば第2の実施例と同様に行
う。
S6に進み4つのZの情報を用いてZを算出していく。
この時同一点かの判断は例えば第2の実施例と同様に行
う。
【0089】この様にして最終的に距離情報を統合して
行く。
行く。
【0090】
【発明の効果】以上説明したように、本発明の請求項1
に記載の発明によれば、撮像した被写体に対して、任意
の視点位置、視線方向で立体画像、或いは平面画像とし
て、任意の再生順序で画像を鑑覚する事ができる。又、
本出願に係る第2の発明によれば、任意の視点位置、視
線方向の画像を補間するに必要な被写体の距離情報を高
精度に抽出する事ができる。
に記載の発明によれば、撮像した被写体に対して、任意
の視点位置、視線方向で立体画像、或いは平面画像とし
て、任意の再生順序で画像を鑑覚する事ができる。又、
本出願に係る第2の発明によれば、任意の視点位置、視
線方向の画像を補間するに必要な被写体の距離情報を高
精度に抽出する事ができる。
【図1】再生手順、距離情報、再生時の視線方向から再
生画像を生成する模式図。
生画像を生成する模式図。
【図2】複眼撮像装置のブロック図。
【図3】複眼撮像装置を用いて撮像する様子を説明する
図。
図。
【図4】図3の手順で撮像された画像の撮像範囲と時刻
の関係を示す図。
の関係を示す図。
【図5】被写体の距離情報を抽出していくブロック図。
【図6】再生手順入力装置の構成図と再生手順を示す
図。
図。
【図7】撮影時の画像と再生手順との関係を示す図。
【図8】同一点を判断する評価値と移動量の関係を示す
図。
図。
【図9】距離情報を求める事を説明する図。
【図10】距離情報を統合していく事を説明する図。
【図11】再生手順から画像が出力されるまでの処理を
説明する図。
説明する図。
31 カメラ移動 41、410 画像 100、101 画像入力部 200 移動量検出部 500 被写体距離連絡部 501 距離情報 710 再生手順 800 画像選択部 801 画像生成部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 5/232 H04N 5/76 A 5/76 13/04 13/04 G02B 7/11 N
Claims (2)
- 【請求項1】 画像を入力する画像入力手段と、 前記画像入力手段によって入力された画像を記憶する記
憶手段と、 前記画像入力手段の移動方向及び移動量を検出する移動
検出手段と、 前記記憶手段に記憶された画像を再生する再生手段と、 前記距離演算手段によって演算された距離情報を基に画
像を補間する補間手段と、 前記再生手段による再生順序を入力する再生順序入力手
段と、 操作者の視線方向を入力する視線入力手段と、 前記再生順序入力手段と前記視線入力手段によって入力
された情報に基づいて前記画像入力手段によって画像を
撮影した範囲での任意の視点及び視線方向から前記記憶
手段に記憶された画像を再生して前記補間手段によって
補間し、平面画像あるいは立体画像として再生する画像
処理手段とを備えたことを特徴とする画像処理装置。 - 【請求項2】 請求項1において、 前記距離演算手段は、複数の画像入力手段から得られる
画像情報を基に距離情報を演算し、時系列的に得られる
距離情報を、前記画像入力手段の移動量にしたがって適
応的に統合して行くことを特徴とする画像処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7154654A JPH099143A (ja) | 1995-06-21 | 1995-06-21 | 画像処理装置 |
EP04076832A EP1494476A1 (en) | 1994-09-09 | 1995-09-08 | Image processing method and apparatus |
EP95306297A EP0701369A1 (en) | 1994-09-09 | 1995-09-08 | Image processing method and apparatus |
US08/525,289 US6839081B1 (en) | 1994-09-09 | 1995-09-08 | Virtual image sensing and generating method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7154654A JPH099143A (ja) | 1995-06-21 | 1995-06-21 | 画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH099143A true JPH099143A (ja) | 1997-01-10 |
Family
ID=15588969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7154654A Pending JPH099143A (ja) | 1994-09-09 | 1995-06-21 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH099143A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2040478A2 (en) | 2007-09-21 | 2009-03-25 | Kabushiki Kaisha Toshiba | Apparatus, method, and computer program product for processing three-dimensional images |
-
1995
- 1995-06-21 JP JP7154654A patent/JPH099143A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2040478A2 (en) | 2007-09-21 | 2009-03-25 | Kabushiki Kaisha Toshiba | Apparatus, method, and computer program product for processing three-dimensional images |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1494476A1 (en) | Image processing method and apparatus | |
JP5018980B2 (ja) | 撮像装置、長さ測定方法、及びプログラム | |
JP4488804B2 (ja) | ステレオ画像の関連付け方法及び3次元データ作成装置 | |
US7126630B1 (en) | Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method | |
JP3728160B2 (ja) | 奥行き画像計測装置及び方法、並びに複合現実感提示システム | |
JP4010753B2 (ja) | 形状計測システムと撮像装置と形状計測方法及び記録媒体 | |
JP2020506487A (ja) | シーンから深度情報を取得するための装置および方法 | |
JP2000102040A (ja) | 電子ステレオカメラ | |
WO2002065786A1 (en) | Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method | |
CN111108742A (zh) | 信息处理装置、信息处理方法、程序以及可互换透镜 | |
JP2001266128A (ja) | 奥行き情報取得方法,装置および奥行き情報取得プログラムを記録した記録媒体 | |
JP2000112019A (ja) | 電子3眼カメラ装置 | |
JP2001167276A (ja) | 撮影装置 | |
JP6409769B2 (ja) | 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム | |
JPH07181024A (ja) | 3次元形状計測方法および装置 | |
JP2000134537A (ja) | 画像入力装置及びその方法 | |
JP2020194454A (ja) | 画像処理装置および画像処理方法、プログラム、並びに記憶媒体 | |
JPH099143A (ja) | 画像処理装置 | |
JP5088973B2 (ja) | 立体撮像装置およびその撮像方法 | |
JP2002022444A (ja) | 座標情報収集システム、座標情報収集方法及びマーク部材 | |
JP5090857B2 (ja) | 画像処理装置及び画像処理方法並びにプログラム | |
JP3706642B2 (ja) | 撮像再生装置及び再生方法 | |
JP2015046687A (ja) | 画像処理装置、画像処理方法およびプログラム並びに撮像装置 | |
JPH0916772A (ja) | 画像記録再生装置 | |
JP6292785B2 (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050802 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060322 |