JP2769387B2 - 3次元データ獲得方法及び3次元データ獲得装置 - Google Patents
3次元データ獲得方法及び3次元データ獲得装置Info
- Publication number
- JP2769387B2 JP2769387B2 JP2335104A JP33510490A JP2769387B2 JP 2769387 B2 JP2769387 B2 JP 2769387B2 JP 2335104 A JP2335104 A JP 2335104A JP 33510490 A JP33510490 A JP 33510490A JP 2769387 B2 JP2769387 B2 JP 2769387B2
- Authority
- JP
- Japan
- Prior art keywords
- correlation
- calculating
- area
- parallax
- depth data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】 産業上の利用分野 本発明は、画像演算処理を用い、複数の2次元画像か
ら奥行きデータを得る、3次元データ獲得方法及び、3
次元データ獲得装置に関するものである。
ら奥行きデータを得る、3次元データ獲得方法及び、3
次元データ獲得装置に関するものである。
従来の技術 従来の奥行き検出処理方法としては、例えば「航空写
真図形の処理」(第4回画像工学コンファレンス,pp29-
32)があげられる。これらの方法の特徴とする点のひと
つは、相関をとる範囲が画像の濃淡だけで決定されてい
るところである。
真図形の処理」(第4回画像工学コンファレンス,pp29-
32)があげられる。これらの方法の特徴とする点のひと
つは、相関をとる範囲が画像の濃淡だけで決定されてい
るところである。
発明が解決しようとする課題 従って画像に濃淡が有る場合においても、オクルージ
ョン(視点の違いによりある物体が前の物体後ろに入
り、見えなくなった状態)が発生した場合には、適切な
相関をとる範囲が決定できず、正しい奥行きが求まらな
いという課題が有った。
ョン(視点の違いによりある物体が前の物体後ろに入
り、見えなくなった状態)が発生した場合には、適切な
相関をとる範囲が決定できず、正しい奥行きが求まらな
いという課題が有った。
また相関演算量が莫大になるという課題もあった。
本発明はかかる従来の奥行き検出処理方法の課題に鑑
み、オクルージョンが発生した場合にも、相関をとる範
囲を正しく決定でき、正しい奥行きが求められる、また
相関演算量を低減する、3次元データ獲得方法及び、3
次元データ獲得装置を提供することを目的とする。
み、オクルージョンが発生した場合にも、相関をとる範
囲を正しく決定でき、正しい奥行きが求められる、また
相関演算量を低減する、3次元データ獲得方法及び、3
次元データ獲得装置を提供することを目的とする。
課題を解決するための手段 本発明は、相関演算手段によって、複数の視点より被
写体を撮像した複数の画像の相関を演算する相関演算工
程と、領域決定手段によって、その画像の相関演算を行
う画像の領域を決定する領域決定工程と、視差演算手段
によって、相関演算結果より視差を求める視差演算工程
と、奥行きデータ演算手段によって、その視差より奥行
き方向のデータを演算する奥行きデータ演算工程とを備
え、領域決定工程では、相関値の最低値、偏移に対する
相関値の傾き、相関値の平均に応じて相関演算を行う領
域を決定する3次元データ獲得方法である。
写体を撮像した複数の画像の相関を演算する相関演算工
程と、領域決定手段によって、その画像の相関演算を行
う画像の領域を決定する領域決定工程と、視差演算手段
によって、相関演算結果より視差を求める視差演算工程
と、奥行きデータ演算手段によって、その視差より奥行
き方向のデータを演算する奥行きデータ演算工程とを備
え、領域決定工程では、相関値の最低値、偏移に対する
相関値の傾き、相関値の平均に応じて相関演算を行う領
域を決定する3次元データ獲得方法である。
また、本発明は、複数の2次元撮像手段と、その2次
元撮像手段を用い、複数の視点より被写体を撮像した複
数の画像の相関を演算する相関演算手段と、その画像の
相関演算を行う画像の領域を決定する領域決定手段と、
相関演算結果より視差を求める視差演算手段と、その視
差より奥行き方向のデータを演算する奥行きデータ演算
手段とを備え、領域決定手段は、相関値の最低値、偏移
に対する相関値の傾き、相関値の平均に応じて相関演算
を行う領域を決定する3次元データ獲得装置である。
元撮像手段を用い、複数の視点より被写体を撮像した複
数の画像の相関を演算する相関演算手段と、その画像の
相関演算を行う画像の領域を決定する領域決定手段と、
相関演算結果より視差を求める視差演算手段と、その視
差より奥行き方向のデータを演算する奥行きデータ演算
手段とを備え、領域決定手段は、相関値の最低値、偏移
に対する相関値の傾き、相関値の平均に応じて相関演算
を行う領域を決定する3次元データ獲得装置である。
作用 本発明は、相関演算結果を領域決定手段により判定
し、相関値が十分でない場合には、相関演算を行う領域
の大きさや、位置を変更することにより、正しく相関演
算が行われる領域を決定して、相関値を計算し正しい奥
行きを求める。
し、相関値が十分でない場合には、相関演算を行う領域
の大きさや、位置を変更することにより、正しく相関演
算が行われる領域を決定して、相関値を計算し正しい奥
行きを求める。
実施例 以下、本発明の実施例について図面を参照して説明す
る。
る。
第1図は、本発明の第1の実施例における3次元デー
タ獲得装置を、模式的に示した構成図である。第1図に
おいて、1は視覚の異なるステレオペアの画像信号を一
旦蓄える画像メモリ、2はそれら画像信号の帯域を制限
するフィルタ、3は、それら帯域制限を受けた2つの信
号の相関を演算する相関演算器、4はその相関演算結果
をもとに相関演算の領域を決定する演算領域決定器、5
は前記相関演算結果より視差を計算する視差演算器、6
はその視点から奥行きを計算する奥行きデータ演算器で
ある。
タ獲得装置を、模式的に示した構成図である。第1図に
おいて、1は視覚の異なるステレオペアの画像信号を一
旦蓄える画像メモリ、2はそれら画像信号の帯域を制限
するフィルタ、3は、それら帯域制限を受けた2つの信
号の相関を演算する相関演算器、4はその相関演算結果
をもとに相関演算の領域を決定する演算領域決定器、5
は前記相関演算結果より視差を計算する視差演算器、6
はその視点から奥行きを計算する奥行きデータ演算器で
ある。
以上のように構成された、本実施例の3次元データ獲
得装置について、以下その動作を説明し、それととも
に、本発明にかかる3次元データ獲得方法に付いても説
明する。
得装置について、以下その動作を説明し、それととも
に、本発明にかかる3次元データ獲得方法に付いても説
明する。
入力されたステレオペアの画像信号を画像メモリ1に
蓄積し、相関演算を行う前に、相関演算の領域の広さに
応じて帯域制限をフィルター2により行う。領域が広い
場合には帯域制限は十分に行い、領域が狭い場合には帯
域制限は少なくし、相関演算量を低減する。
蓄積し、相関演算を行う前に、相関演算の領域の広さに
応じて帯域制限をフィルター2により行う。領域が広い
場合には帯域制限は十分に行い、領域が狭い場合には帯
域制限は少なくし、相関演算量を低減する。
フィルター2の具体的構成を第2図に示す。同図の11
から14は独立したフィルター要素で、15は切り替えスイ
ッチである。各フィルター要素11〜14の帯域は、 フィルターa11>フィルターb12>フィルターc13>フィ
ルターd14 ‥(1) として、全てのフィルター要素11〜14を通過した信号
は、最も帯域が制限されたものとなるように構成する。
フィルターの帯域は、相関演算を行う代表点の間隔にほ
ぼ反比例するように構成する。帯域の切り替えは、演算
領域決定器4により後述するようにして定める。フィル
ター2により帯域制限された画像信号を、相関演算器5
により、相関の最も強い場所を求める。
から14は独立したフィルター要素で、15は切り替えスイ
ッチである。各フィルター要素11〜14の帯域は、 フィルターa11>フィルターb12>フィルターc13>フィ
ルターd14 ‥(1) として、全てのフィルター要素11〜14を通過した信号
は、最も帯域が制限されたものとなるように構成する。
フィルターの帯域は、相関演算を行う代表点の間隔にほ
ぼ反比例するように構成する。帯域の切り替えは、演算
領域決定器4により後述するようにして定める。フィル
ター2により帯域制限された画像信号を、相関演算器5
により、相関の最も強い場所を求める。
その相関演算器の構成を第3図に示す。同図におい
て、21は代表点を記憶するメモリ、22は差分絶対値演算
器、23は累積加算器、24は相関値メモリ、25は代表点選
択器、26は累積加算器23と相関値メモリ24の制御器であ
る。相関演算器3の演算は、次式(2) により行う。ここで、(Xk,Yk)は代表点メモリ21が記
憶する信号の位置を示し、kは代表点の番号である。ま
たiとjは相関演算を行う範囲を示し、P(i,j)の最
小になる点(i,j)が相関の最も強い点となる。SrとSl
はステレオペアの画像信号の右と左の信号を示す。
て、21は代表点を記憶するメモリ、22は差分絶対値演算
器、23は累積加算器、24は相関値メモリ、25は代表点選
択器、26は累積加算器23と相関値メモリ24の制御器であ
る。相関演算器3の演算は、次式(2) により行う。ここで、(Xk,Yk)は代表点メモリ21が記
憶する信号の位置を示し、kは代表点の番号である。ま
たiとjは相関演算を行う範囲を示し、P(i,j)の最
小になる点(i,j)が相関の最も強い点となる。SrとSl
はステレオペアの画像信号の右と左の信号を示す。
この演算は、第3図において、帯域制限された2つの
画像信号1、2(視角の異なるステレオペアの画像信
号)が入力され、右の画像信号を代表点メモリ21に記憶
して、(2)式に示した差分絶対値と累積加算の演算
を、差分絶対値器22と累積加算器23で行い、得られた相
関値P(i,j)を相関値メモリ24に蓄積し、最小値とそ
の位置を示すデータ(i,j)を出力する。制御器26は、
後述する演算領域決定器4の出力に対応して(2)式の
演算が正しく行われるように、累積加算器23と相関値メ
モリ24を制御する。また代表点選択器25は相関演算領域
の大きさに応じて使用する代表点を決定し、代表点メモ
リ21を制御する。相関演算領域の大きさと、代表点配置
の関係を第4図に示す。
画像信号1、2(視角の異なるステレオペアの画像信
号)が入力され、右の画像信号を代表点メモリ21に記憶
して、(2)式に示した差分絶対値と累積加算の演算
を、差分絶対値器22と累積加算器23で行い、得られた相
関値P(i,j)を相関値メモリ24に蓄積し、最小値とそ
の位置を示すデータ(i,j)を出力する。制御器26は、
後述する演算領域決定器4の出力に対応して(2)式の
演算が正しく行われるように、累積加算器23と相関値メ
モリ24を制御する。また代表点選択器25は相関演算領域
の大きさに応じて使用する代表点を決定し、代表点メモ
リ21を制御する。相関演算領域の大きさと、代表点配置
の関係を第4図に示す。
第4図(a)は初期段階で、相関演算領域の大きさが
最大のときの代表点配置であり、(b)は第2段階で、
相関演算領域の大きさが初期段階の1/4ときの代表点配
置であり、(c)は第3段階で、相関演算領域の大きさ
が初期段階の1/16ときの代表点配置である。それぞれの
代表点配置は相似形であり、相関演算領域の面積は、そ
れぞれ1/4の関係にある。その初期段階において相関演
算領域の大きさは、入力される画像の大きさの1/16とす
る。
最大のときの代表点配置であり、(b)は第2段階で、
相関演算領域の大きさが初期段階の1/4ときの代表点配
置であり、(c)は第3段階で、相関演算領域の大きさ
が初期段階の1/16ときの代表点配置である。それぞれの
代表点配置は相似形であり、相関演算領域の面積は、そ
れぞれ1/4の関係にある。その初期段階において相関演
算領域の大きさは、入力される画像の大きさの1/16とす
る。
各演算領域で相関値の演算を行った場合、入力される
画像の条件により相関値の状態が変化する。この状態を
第5図に示す。縦軸は相関値であり、横軸は相関演算を
行うときの偏移であり、(2)式とiとjに対応する。
第5図においてaで示したものは、相関値の谷が鋭く現
われており、相関値のいちばん小さい点が左右画像の対
応点である。この場合、相関演算領域内で、左右画像が
非常に良く対応している場合の例である。次にbで示し
たものは、相関演算領域内に位置がずれて対応している
部分がある場合である。この場合、小さい谷が2個(一
般には複数個)でき、また谷の最小値がaの場合に比べ
て大きくなる。またcで示したものは、左右の画像内に
信号の変化がほとんど無く、相関値の十分な谷が出来
ず、また偏移に対する相関値の変化が小さくなる。この
ような場合左右画像の正しい対応は求めることが出来な
い。
画像の条件により相関値の状態が変化する。この状態を
第5図に示す。縦軸は相関値であり、横軸は相関演算を
行うときの偏移であり、(2)式とiとjに対応する。
第5図においてaで示したものは、相関値の谷が鋭く現
われており、相関値のいちばん小さい点が左右画像の対
応点である。この場合、相関演算領域内で、左右画像が
非常に良く対応している場合の例である。次にbで示し
たものは、相関演算領域内に位置がずれて対応している
部分がある場合である。この場合、小さい谷が2個(一
般には複数個)でき、また谷の最小値がaの場合に比べ
て大きくなる。またcで示したものは、左右の画像内に
信号の変化がほとんど無く、相関値の十分な谷が出来
ず、また偏移に対する相関値の変化が小さくなる。この
ような場合左右画像の正しい対応は求めることが出来な
い。
相関演算領域が初期段階において、aの場合は十分な
対応がとれており、相関演算領域の変更は必要ない。c
の場合は入力された左右画像の相関演算領域内に十分な
信号の変化が無いため、これ以上の対応は演算出来ず、
演算領域の変更は行われない。bの場合には相関演算領
域内に、信号の変化があるがその領域の分割が適切でな
いため、鋭い相関の谷が得られていないものである。し
たがってbの場合には相関演算領域を、再分割し相関演
算を再計算する。相関演算領域の再分割方法は第4図に
示すように4等分(1/4)する。
対応がとれており、相関演算領域の変更は必要ない。c
の場合は入力された左右画像の相関演算領域内に十分な
信号の変化が無いため、これ以上の対応は演算出来ず、
演算領域の変更は行われない。bの場合には相関演算領
域内に、信号の変化があるがその領域の分割が適切でな
いため、鋭い相関の谷が得られていないものである。し
たがってbの場合には相関演算領域を、再分割し相関演
算を再計算する。相関演算領域の再分割方法は第4図に
示すように4等分(1/4)する。
以上のようにして相関演算領域の分割を行いながら、
対応点を調べ全ての相関演算領域において、bの状態が
無くなるまで行う。第6図に相関演算領域の変更方法を
整理して示す。ここで相関平均値は、相関値を偏移にお
いて積算平均したものである。第6図において、Cの演
算領域の拡大は、初期段階を相関演算領域が最大のもの
から始めた場合、相関演算領域の更なる拡大変更は行わ
ない。またCの状態は、入力された画像には相関が識別
出来る程度の、信号変化が無い条件を示しているもので
あり、この場合は後述するように左右上下の視差量によ
り補完を行う領域とする。またDで示した分類は、要素
の組合せとして存在するが、実際の状態としては存在し
ない。またBで示した状態は、視点の違いによりある物
体が前の物体後ろに入り、見えなくなった状態(オクル
ージョン)を示すものである。Aで示した状態では、領
域は固定したままとする。以上の制御を演算領域決定器
4で行う。
対応点を調べ全ての相関演算領域において、bの状態が
無くなるまで行う。第6図に相関演算領域の変更方法を
整理して示す。ここで相関平均値は、相関値を偏移にお
いて積算平均したものである。第6図において、Cの演
算領域の拡大は、初期段階を相関演算領域が最大のもの
から始めた場合、相関演算領域の更なる拡大変更は行わ
ない。またCの状態は、入力された画像には相関が識別
出来る程度の、信号変化が無い条件を示しているもので
あり、この場合は後述するように左右上下の視差量によ
り補完を行う領域とする。またDで示した分類は、要素
の組合せとして存在するが、実際の状態としては存在し
ない。またBで示した状態は、視点の違いによりある物
体が前の物体後ろに入り、見えなくなった状態(オクル
ージョン)を示すものである。Aで示した状態では、領
域は固定したままとする。以上の制御を演算領域決定器
4で行う。
決定された相関演算領域に対して、相関値のノイズに
よる対応点の誤りが少なくなるよう、相関演算領域の大
きさに対応してフィルター2の帯域を制御する。以上の
ようにしてステレオペアの画像を用いて、実際の画像を
相関演算領域に分離した例を第7図に示す。第7図
(a),(b)は左画像と右画像と、初期段階の相関演
算領域の分割を示す。D1、D2、D′1、D′2は画像の
中心から木と人が、どれだけ離れているかを示すもので
ある。同図(c),(d)は、木のある相関演算領域の
分割を進め、初期段階から更に3回分割を行い、第4段
階までの分割を示したものである。この例では左画像を
代表点メモリ21に記録して相関演算の基準としている。
右画像はこの左画像に対応した相関の強いエリアを示し
たものである。図中において網掛けをした領域は、相関
の平均値が高くまた最小値が十分小さく、第6図におけ
るAの状態で左右の画像の対応が正しくとれた事を示す
ものである。また斜線の領域は相関の平均値は高いが、
最小値は網掛けの部分より少し大きいもので、左右の画
像の対応が一応正しくとれた事を示すものであるを示
す。何も示していない部分は相関値の最小値が大きく、
第6図のBの状態である。一般的にこの状態は被写体の
後ろに目標が隠れた場合であり、オクルージョンが発生
している状態であり、この部分の状態では左右画像の正
しい対応がとれない部分である。また丸印を付けたとこ
ろは、第4段階の分割の位置を左右にずらすことによ
り、左右画像の対応がとれる可能性がある部分である。
このように分割状態が最小の場合で且つ第6図の状態で
あれば、分割した領域の位置を左右上下に移動させて相
関の計算をもう一度行ってみる。分割した領域の位置を
移動することにより、オクルージョンの状態から抜け出
し、正しい対応関係が求まる場合が多い。
よる対応点の誤りが少なくなるよう、相関演算領域の大
きさに対応してフィルター2の帯域を制御する。以上の
ようにしてステレオペアの画像を用いて、実際の画像を
相関演算領域に分離した例を第7図に示す。第7図
(a),(b)は左画像と右画像と、初期段階の相関演
算領域の分割を示す。D1、D2、D′1、D′2は画像の
中心から木と人が、どれだけ離れているかを示すもので
ある。同図(c),(d)は、木のある相関演算領域の
分割を進め、初期段階から更に3回分割を行い、第4段
階までの分割を示したものである。この例では左画像を
代表点メモリ21に記録して相関演算の基準としている。
右画像はこの左画像に対応した相関の強いエリアを示し
たものである。図中において網掛けをした領域は、相関
の平均値が高くまた最小値が十分小さく、第6図におけ
るAの状態で左右の画像の対応が正しくとれた事を示す
ものである。また斜線の領域は相関の平均値は高いが、
最小値は網掛けの部分より少し大きいもので、左右の画
像の対応が一応正しくとれた事を示すものであるを示
す。何も示していない部分は相関値の最小値が大きく、
第6図のBの状態である。一般的にこの状態は被写体の
後ろに目標が隠れた場合であり、オクルージョンが発生
している状態であり、この部分の状態では左右画像の正
しい対応がとれない部分である。また丸印を付けたとこ
ろは、第4段階の分割の位置を左右にずらすことによ
り、左右画像の対応がとれる可能性がある部分である。
このように分割状態が最小の場合で且つ第6図の状態で
あれば、分割した領域の位置を左右上下に移動させて相
関の計算をもう一度行ってみる。分割した領域の位置を
移動することにより、オクルージョンの状態から抜け出
し、正しい対応関係が求まる場合が多い。
以上のようにして左右のステレオペアの画像間で対応
部分が求められる。ステレオペアの画像間で対応部分を
求めた後、更に相関演算単位以下の対応を次のようにし
て求める。
部分が求められる。ステレオペアの画像間で対応部分を
求めた後、更に相関演算単位以下の対応を次のようにし
て求める。
第8図は相関演算単位以下の対応を求める原理を示し
たもので、Mで示した相関値の仮想の最小点の偏移Siを
次式により求める。
たもので、Mで示した相関値の仮想の最小点の偏移Siを
次式により求める。
Si=i+(a−b)/(2*{ma×(a,b)−c}) ‥(3) このようにして相関演算単位である単位偏移量以下ま
での対応を求め、データの精度の改善を行った後、視差
に変換する。視差Δへの変換は、撮像素子上での相関演
算を行う単位距離をDO、ステレオペア画像間での対応点
間の間隔(単位は相関演算間隔)をDsとしたき以下のよ
うになる。
での対応を求め、データの精度の改善を行った後、視差
に変換する。視差Δへの変換は、撮像素子上での相関演
算を行う単位距離をDO、ステレオペア画像間での対応点
間の間隔(単位は相関演算間隔)をDsとしたき以下のよ
うになる。
Δ=DO*Ds ‥(4) 以上のように左右画像の各部分における視差を(4)
式で求める。この処理は視差演算器5で行う。視差を求
めた後で奥行き(距離)情報に変換する。変換方法は第
9図に示す配置としたとき、距離情報Zは(5)式より
求める。
式で求める。この処理は視差演算器5で行う。視差を求
めた後で奥行き(距離)情報に変換する。変換方法は第
9図に示す配置としたとき、距離情報Zは(5)式より
求める。
Z=2a*f/Δ ‥(5) Δ=(ΔL+ΔR) ‥(6) ここで、2aは2つの光学系の距離であり、fは光学系
の焦点距離であり、ΔL、ΔRは光学像に対応点間の中
心からの距離である。このようにして左右画像の対応関
係から視差Δを求め、(5)式の関係より奥行き情報Z
を求める。
の焦点距離であり、ΔL、ΔRは光学像に対応点間の中
心からの距離である。このようにして左右画像の対応関
係から視差Δを求め、(5)式の関係より奥行き情報Z
を求める。
更に左右の対応関係が明らかでない第6図Cの条件の
部分では、その周囲の対応関係が明かなブロックより奥
行き情報を求める。Cの条件は画像の変化が殆ど無い条
件であり、奥行きも当然なめらかに変化している。従っ
てこのような条件の場合奥行き情報は周囲からの補間で
ほぼ正しく求まる。また左右の対応関係が明かでない第
6図Bの条件の場合、オクルージョンが発生し、前方に
ある物体のために後方の物体が隠されている条件であ
る。従ってZの大きな値のブロックより奥行き情報を外
挿する。一般に画像のエッジ部分が画像の奥行き情報が
変化する部分であるので、奥行き情報の外挿は画像のエ
ッジ部分までとする。このようにする事により、オクル
ージョンによて左右の対応関係が求まらない領域におい
ても、奥行きを推定することが可能となる。以上の処理
を奥行きデータ演算器6で行う。
部分では、その周囲の対応関係が明かなブロックより奥
行き情報を求める。Cの条件は画像の変化が殆ど無い条
件であり、奥行きも当然なめらかに変化している。従っ
てこのような条件の場合奥行き情報は周囲からの補間で
ほぼ正しく求まる。また左右の対応関係が明かでない第
6図Bの条件の場合、オクルージョンが発生し、前方に
ある物体のために後方の物体が隠されている条件であ
る。従ってZの大きな値のブロックより奥行き情報を外
挿する。一般に画像のエッジ部分が画像の奥行き情報が
変化する部分であるので、奥行き情報の外挿は画像のエ
ッジ部分までとする。このようにする事により、オクル
ージョンによて左右の対応関係が求まらない領域におい
ても、奥行きを推定することが可能となる。以上の処理
を奥行きデータ演算器6で行う。
以上のように本実施例によれば、複数の視点より被写
体を撮像した複数の画像の相関を演算する相関演算器
と、画像の相関演算を行う画像の領域を決定する領域決
定器と、相関演算結果より視差を求める視差演算器と、
視差より奥行き方向のデータを演算する奥行きデータ演
算器とを設けることにより、相関演算結果を領域決定器
により判定し、相関値が十分でない場合には、相関演算
を行う領域の大きさや、位置を変更することにより、オ
クルージョンが発生している場合においても正しく相関
演算が行われる領域を決定して、相関値を計算し正しい
奥行きを求めるものである。
体を撮像した複数の画像の相関を演算する相関演算器
と、画像の相関演算を行う画像の領域を決定する領域決
定器と、相関演算結果より視差を求める視差演算器と、
視差より奥行き方向のデータを演算する奥行きデータ演
算器とを設けることにより、相関演算結果を領域決定器
により判定し、相関値が十分でない場合には、相関演算
を行う領域の大きさや、位置を変更することにより、オ
クルージョンが発生している場合においても正しく相関
演算が行われる領域を決定して、相関値を計算し正しい
奥行きを求めるものである。
また画像信号に変化がなく十分な相関演算結果が得ら
れない場合や、オクルージョンで物体が隠されている場
合には、周囲の相関演算結果をもとに奥行き情報を、内
挿及び外挿して奥行き情報を推定することを可能として
いる。
れない場合や、オクルージョンで物体が隠されている場
合には、周囲の相関演算結果をもとに奥行き情報を、内
挿及び外挿して奥行き情報を推定することを可能として
いる。
以上説明したように、本実施例によれば、相関演算結
果を領域決定器により判定し、相関値が十分でない場合
には、相関演算を行う領域の大きさや、位置を変更する
ことにより、正しく相関演算が行われる領域を決定し
て、相関値を計算できるため、ステレオペア画像間の対
応関係が正しく求まり、正しく奥行きを求めることがで
きる。また、相関演算を行う前に、演算領域の大きさに
対応して画像信号の帯域を制限することにより、演算効
率を改善し画像間の相関演算量を低減できるものであ
る。
果を領域決定器により判定し、相関値が十分でない場合
には、相関演算を行う領域の大きさや、位置を変更する
ことにより、正しく相関演算が行われる領域を決定し
て、相関値を計算できるため、ステレオペア画像間の対
応関係が正しく求まり、正しく奥行きを求めることがで
きる。また、相関演算を行う前に、演算領域の大きさに
対応して画像信号の帯域を制限することにより、演算効
率を改善し画像間の相関演算量を低減できるものであ
る。
次に本発明の第2の実施例として、相関をとる画像が
3枚以上に増加した場合を示す。
3枚以上に増加した場合を示す。
第10図はその本発明の第2の実施例を示す3次元デー
タ獲得装置の構成図である。同図において、13は複数の
画像を記憶する画像メモリ、2は画像信号の帯域を制限
するフィルタ、3は2つの信号の相関を演算する相関演
算器、4は相関演算結果をもとに相関演算の領域を決定
する演算領域決定器、5は相関演算結果より視差を計算
する視差演算器、6は視差から奥行きを計算する奥行き
データ演算器、11は複数の奥行きデータを合成する奥行
きデータ合成器、12は奥行きデータ合成時の重みを決定
する重み決定器である。第1図の構成と異なるのは13の
複数の画像を記録する画像メモリ、11の複数の奥行きデ
ータを合成する奥行きデータ合成器及び12の奥行きデー
タ合成時の重みを決定する重み決定器を設け、各ステレ
オペアから得られた奥行きデータを再合成する点であ
る。
タ獲得装置の構成図である。同図において、13は複数の
画像を記憶する画像メモリ、2は画像信号の帯域を制限
するフィルタ、3は2つの信号の相関を演算する相関演
算器、4は相関演算結果をもとに相関演算の領域を決定
する演算領域決定器、5は相関演算結果より視差を計算
する視差演算器、6は視差から奥行きを計算する奥行き
データ演算器、11は複数の奥行きデータを合成する奥行
きデータ合成器、12は奥行きデータ合成時の重みを決定
する重み決定器である。第1図の構成と異なるのは13の
複数の画像を記録する画像メモリ、11の複数の奥行きデ
ータを合成する奥行きデータ合成器及び12の奥行きデー
タ合成時の重みを決定する重み決定器を設け、各ステレ
オペアから得られた奥行きデータを再合成する点であ
る。
前記のように合成された第2の実施例の奥行きデータ
獲得装置について、以下その動作を説明するとともに、
本発明にかかる3次元データ獲得方法に付いても説明す
る。
獲得装置について、以下その動作を説明するとともに、
本発明にかかる3次元データ獲得方法に付いても説明す
る。
入力された3枚以上の画像は一旦画像メモリ13に記録
される。各2枚のステレオペア画像に対して、第1の実
施例と同様に奥行きデータを求める。奥行きデータとと
もに、相関演算器3より求められた相関値を基に、奥行
きデータを再合成するための重みデータを重み決定器12
で求める。
される。各2枚のステレオペア画像に対して、第1の実
施例と同様に奥行きデータを求める。奥行きデータとと
もに、相関演算器3より求められた相関値を基に、奥行
きデータを再合成するための重みデータを重み決定器12
で求める。
重みの決定方法を第11図に示す。相関値の最小値が小
さく、相関平均値が大きいときは、重みを大きくする。
この条件から遠ざかるにしたがい、重みを小さくする。
この重みは相関演算の条件の良い部分から得られる奥行
きデータに大きな重みを付け、奥行きデータの信頼性を
改善する。このようにして重みを求め、奥行きデータ合
成基11により、演算された各奥行きデータにたいして重
み付き平均を求め、最終の奥行きデータとする。
さく、相関平均値が大きいときは、重みを大きくする。
この条件から遠ざかるにしたがい、重みを小さくする。
この重みは相関演算の条件の良い部分から得られる奥行
きデータに大きな重みを付け、奥行きデータの信頼性を
改善する。このようにして重みを求め、奥行きデータ合
成基11により、演算された各奥行きデータにたいして重
み付き平均を求め、最終の奥行きデータとする。
以上のように、本実施例によれば、複数の奥行きデー
タを合成する奥行きデータ合成器11、及び奥行きデータ
合成時の重みを決定する重み決定器12を設けることによ
り、奥行きデータの信頼性を改善することが可能とな
る。
タを合成する奥行きデータ合成器11、及び奥行きデータ
合成時の重みを決定する重み決定器12を設けることによ
り、奥行きデータの信頼性を改善することが可能とな
る。
なお本発明の上記実施例においては、相関値を求める
ブロックの大きさに対応して帯域制限を行っているが、
これは少ない演算量で効率よく正しい動きベクトルを演
算するために必要となるものである。従って動きベクト
ルを演算する効率が問題とならないときは、そのような
帯域制限の必要はない。
ブロックの大きさに対応して帯域制限を行っているが、
これは少ない演算量で効率よく正しい動きベクトルを演
算するために必要となるものである。従って動きベクト
ルを演算する効率が問題とならないときは、そのような
帯域制限の必要はない。
また本発明の上記実施例は、専用の演算器を用いた構
成を示したが、汎用のコンピューターを用いてソフトウ
エア的に演算を実現したり、専用のCPUを用いたファー
ムウエアで実現しても良いことは当然である。また本発
明の各演算器を、1チップマイコンで実現しても良いの
も当然である。
成を示したが、汎用のコンピューターを用いてソフトウ
エア的に演算を実現したり、専用のCPUを用いたファー
ムウエアで実現しても良いことは当然である。また本発
明の各演算器を、1チップマイコンで実現しても良いの
も当然である。
発明の効果 以上説明したように、本発明によれば、相関演算結果
を領域決定器により判定し、相関値が十分でない場合に
は、相関演算を行う領域の大きさや位置を変更すること
により、正しく相関演算が行われる領域を決定して、相
関値を計算できるため、ステレオペア画像間の対応関係
が正しく求まり、正しい奥行きを求めることができ、そ
の実用的効果は大きい。
を領域決定器により判定し、相関値が十分でない場合に
は、相関演算を行う領域の大きさや位置を変更すること
により、正しく相関演算が行われる領域を決定して、相
関値を計算できるため、ステレオペア画像間の対応関係
が正しく求まり、正しい奥行きを求めることができ、そ
の実用的効果は大きい。
第1図は本発明における一実施例の3次元データ獲得装
置のブロック図、第2図は同実施例のフィルターの構成
を示すブロック図、第3図は同実施例の相関演算器の構
成を示すブロック図、第4図は同実施例の相関実施例の
代表点の配置を示す構成図、第5図は同実施例の相関値
の変化を示すグラフ、第6図は同実施例の相関演算の領
域を制御する条件を示す関係図、第7図は同実施例の画
像の対応関係を示す画像図、第8図は同実施例の画像の
対応関係を求める演算のグラフ、第9図は同実施例の奥
行きデータ演算の原理を示す構成図、第10図は本発明の
他の実施例の3次元データ獲得装置のブロック図、第11
図は同実施例の奥行きデータの重みの決定条件の関係図
である。 3……相関演算器、4……演算領域決定器、5……視差
演算器、6……奥行きデータ演算器、12……重み決定
器、13……奥行きデータ合成器。
置のブロック図、第2図は同実施例のフィルターの構成
を示すブロック図、第3図は同実施例の相関演算器の構
成を示すブロック図、第4図は同実施例の相関実施例の
代表点の配置を示す構成図、第5図は同実施例の相関値
の変化を示すグラフ、第6図は同実施例の相関演算の領
域を制御する条件を示す関係図、第7図は同実施例の画
像の対応関係を示す画像図、第8図は同実施例の画像の
対応関係を求める演算のグラフ、第9図は同実施例の奥
行きデータ演算の原理を示す構成図、第10図は本発明の
他の実施例の3次元データ獲得装置のブロック図、第11
図は同実施例の奥行きデータの重みの決定条件の関係図
である。 3……相関演算器、4……演算領域決定器、5……視差
演算器、6……奥行きデータ演算器、12……重み決定
器、13……奥行きデータ合成器。
Claims (6)
- 【請求項1】相関演算手段によって、複数の視点より被
写体を撮像した複数の画像の相関を演算する相関演算工
程と、領域決定手段によって、その画像の相関演算を行
う画像の領域を決定する領域決定工程と、視差演算手段
によって、前記相関演算結果より視差を求める視差演算
工程と、奥行きデータ演算手段によって、その視差より
奥行き方向のデータを演算する奥行きデータ演算工程と
を備え、前記領域決定工程では、相関値の最低値、偏移
に対する相関値の傾き、相関値の平均に応じて相関演算
を行う領域を決定することを特徴とする3次元データ獲
得方法。 - 【請求項2】相関演算に入力される画像の帯域を制限
し、領域決定工程の結果に応じて前記帯域制限の帯域を
変化さすことを特徴とする請求項1記載の3次元データ
獲得方法。 - 【請求項3】重み決定手段によって、相関演算工程より
求めた相関演算値より奥行きデータの重みを決定する重
み決定工程と、奥行きデータ合成手段によって、その重
みにより奥行きデータを合成する奥行きデータ合成工程
を備えたことを特徴とする請求項1又は2記載の3次元
データ獲得方法。 - 【請求項4】複数の2次元撮像手段と、その2次元撮像
手段を用い、複数の視点より被写体を撮像した複数の画
像の相関を演算する相関演算手段と、その画像の相関演
算を行う画像の領域を決定する領域決定手段と、前記相
関演算結果より視差を求める視差演算手段と、その視差
より奥行き方向のデータを演算する奥行きデータ演算手
段とを備え、前記領域決定手段は、相関値の最低値、偏
移に対する相関値の傾き、相関値の平均に応じて相関演
算を行う領域を決定することを特徴とする3次元データ
獲得装置。 - 【請求項5】相関演算手段に入力される画像の帯域を制
限するフィルターを備え、前記領域決定手段の出力に応
じて前記フィルターの帯域を変化さすことを特徴とする
請求項4記載の3次元データ獲得装置。 - 【請求項6】相関演算手段の相関値を基に奥行きデータ
の重みを決定する重み決定手段と、その重みに従って奥
行きデータを合成する奥行きデータ合成手段を備えたこ
とを特徴とする請求項4又は5記載の3次元データ獲得
装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2335104A JP2769387B2 (ja) | 1990-11-29 | 1990-11-29 | 3次元データ獲得方法及び3次元データ獲得装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2335104A JP2769387B2 (ja) | 1990-11-29 | 1990-11-29 | 3次元データ獲得方法及び3次元データ獲得装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH04203908A JPH04203908A (ja) | 1992-07-24 |
JP2769387B2 true JP2769387B2 (ja) | 1998-06-25 |
Family
ID=18284818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2335104A Expired - Lifetime JP2769387B2 (ja) | 1990-11-29 | 1990-11-29 | 3次元データ獲得方法及び3次元データ獲得装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2769387B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2564746B2 (ja) * | 1993-02-08 | 1996-12-18 | サンユー電子株式会社 | 測長装置 |
JP4537597B2 (ja) * | 2001-02-22 | 2010-09-01 | オリンパス株式会社 | 視差量測定装置 |
JP4223860B2 (ja) * | 2003-05-06 | 2009-02-12 | 株式会社パスコ | 画像マッチング方法 |
JP4792250B2 (ja) * | 2005-07-11 | 2011-10-12 | 株式会社リコー | 動画像処理装置、及び動画像処理方法 |
JP2009168536A (ja) * | 2008-01-15 | 2009-07-30 | Fujifilm Corp | 3次元形状測定装置および方法、3次元形状再生装置および方法並びにプログラム |
-
1990
- 1990-11-29 JP JP2335104A patent/JP2769387B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH04203908A (ja) | 1992-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111066065B (zh) | 用于混合深度正则化的***和方法 | |
JP3551467B2 (ja) | 視差演算装置、視差演算方法及び画像合成装置 | |
US6215899B1 (en) | Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods | |
Liu et al. | Joint geodesic upsampling of depth images | |
EP3447730B9 (en) | Three-dimensional reconstruction method | |
US9338437B2 (en) | Apparatus and method for reconstructing high density three-dimensional image | |
JP5879713B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP6258209B2 (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
KR100924716B1 (ko) | 자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성방법 | |
JPH09289638A (ja) | 3次元画像符号化復号方式 | |
JP2008185375A (ja) | Sar画像の3d形状算出装置及びsar画像の歪補正装置 | |
KR20080102826A (ko) | 깊이 카메라를 이용하여 보완한 깊이 정보 생성 방법 및장치, 그리고 그 방법을 수행하는 프로그램이 기록된 기록매체 | |
TWI399972B (zh) | 影像產生裝置及程式 | |
JPH05303629A (ja) | 形状合成方法 | |
JP2769387B2 (ja) | 3次元データ獲得方法及び3次元データ獲得装置 | |
KR100335617B1 (ko) | 3차원 입체영상 합성방법 | |
JP6494402B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
JP6702755B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
JPH1023311A (ja) | 画像情報入力方法及び装置 | |
JPH04329481A (ja) | 3次元データ獲得方法及び3次元データ獲得装置 | |
KR102125750B1 (ko) | 실루엣 기반 3d 영상 복원 장치 및 방법 | |
WO2020118565A1 (en) | Keyframe selection for texture mapping wien generating 3d model | |
KR101717381B1 (ko) | 스테레오 카메라 기반의 주행 가능 영역 추정 장치 및 방법과 이에 관한 기록매체 | |
JP2008089410A (ja) | 3次元情報取得システム、3次元情報取得方法、およびプログラム | |
JP2870465B2 (ja) | 3次元参照画像切り出し方法及び装置並びに物体判定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080410 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090410 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100410 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110410 Year of fee payment: 13 |
|
EXPY | Cancellation because of completion of term | ||
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110410 Year of fee payment: 13 |