JPH0674762A - 距離測定装置 - Google Patents

距離測定装置

Info

Publication number
JPH0674762A
JPH0674762A JP4230761A JP23076192A JPH0674762A JP H0674762 A JPH0674762 A JP H0674762A JP 4230761 A JP4230761 A JP 4230761A JP 23076192 A JP23076192 A JP 23076192A JP H0674762 A JPH0674762 A JP H0674762A
Authority
JP
Japan
Prior art keywords
image
focus position
focus
dimensional
focal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP4230761A
Other languages
English (en)
Inventor
Kazuo Sonobe
和夫 園部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP4230761A priority Critical patent/JPH0674762A/ja
Publication of JPH0674762A publication Critical patent/JPH0674762A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】この発明の距離測定装置にあっては、光学系の
焦点深度より広い範囲に存在する対象物に対して精度の
良い距離情報を得るために、異なる焦点位置出で撮影し
たステレオ画像を距離測定に利用することを特徴とす
る。 【構成】焦点位置操作部2a、2b、レンズ3a、3
b、撮像素子5a、5bによる撮像装置は同一焦点位置
でステレオ画像を撮像する。焦点位置設定装置1は上記
ステレオ画像を撮像する焦点位置を複数設定する。対応
点検出装置9は上記ステレオ画像に対応点検出を行い、
三次元座標算出装置10がこの検出した対応点から三次
元座標を算出する。選択装置14は、この三次元座標算
出装置10が算出した三次元座標を、上記焦点位置と焦
点深度に基いた判定に応じて距離情報を得る。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は距離測定装置に関し、
特に視差を含んだ複数の画像を用いて測定を行う距離測
定装置に関するものである。
【0002】
【従来の技術】従来より、コンピュータビジョン等の分
野では、撮像した画像から距離情報を得ることが求めら
れている。画像から距離情報を得るものとしては、例え
ば、視差を有した複数の画像から相関を用いて対応点検
出を行い、図15に示されるように三角測量と同じ原理
によって距離情報を計算する方法が知られている。この
方法は、例えば、杉原厚吉著「画像を利用した立体計測
法の動向」、[第17回画像工学コンファレンス論文集
2−1、31−36頁、(1986)]に記載されてい
る。以上の方法により、画像から距離情報を得ることが
できる。
【0003】
【発明が解決しようとする課題】しかしながら、これら
の処理に用いる画像を結像光学系によって得た場合に
は、次のような問題点が生じる。結像光学系を通して得
られた画像は、焦点深度の影響を受けることになるの
で、光学系の光軸方向に対して焦点深度内に含まれる対
象物に関してはシャープな像を得ることができる。しか
しながら、焦点深度を外れた対象物に関しては、シャー
プな像は得られずぼやけた像となる。ところが、ぼやけ
た像に対する精度の良い対応点検出は困難である。した
がって、光学系の焦点深度より広い範囲に存在する対象
物に対して、精度の良い対応点検出を行い、距離情報を
得るのは困難であることがわかる。
【0004】この発明は上記課題に鑑みてなされたもの
で、光学系の焦点深度より広い範囲に存在する対象物に
対しても、精度の良い距離情報を得ることができる距離
測定装置を提供することを目的とする。
【0005】
【課題を解決するための手段】すなわちこの発明は、同
一焦点位置でステレオ画像を撮像する撮像装置と、上記
ステレオ画像を撮像する焦点位置を複数設定する焦点位
置設定手段と、上記ステレオ画像に対応点検出を行う対
応点検出手段と、この対応点検出手段が検出した対応点
から三次元座標を算出する三次元座標算出手段と、この
三次元座標算出手段が算出した三次元座標を上記焦点位
置と焦点深度に基いた判定に応じて距離情報を得る判定
手段とを具備することを特徴とする。
【0006】
【作用】この発明の距離測定装置にあっては、撮像装置
により同一焦点位置でステレオ画像が撮像され、焦点位
置設定手段によって上記ステレオ画像を撮像する焦点位
置が複数設定される。また、上記ステレオ画像に対し
て、対応点検出手段で対応点検出が行われ、この対応点
検出手段が検出した対応点から、三次元座標算出手段に
於いて三次元座標が算出される。そして、この三次元座
標算出手段が算出した三次元座標が、判定手段にて上記
焦点位置と焦点深度に基いて判定が行われて距離情報が
得られる。
【0007】
【実施例】以下、図面を参照してこの発明の実施例を説
明する。
【0008】この発明では、図3(a)に示されるよう
なステレオ画像を、図3(b)に示されるような、異な
る焦点位置で複数撮影し、この異なる焦点位置で撮影さ
れたステレオ画像を距離測定に利用することにより、光
学系の焦点深度より広い範囲に存在する対象物に対して
も、精度の良い距離情報を得られるようにする。
【0009】第1の実施例に於いては、図3(a)に示
されるようなステレオ画像に対応点検出と三次元座標算
出を行い、そのステレオ画像を撮影した時の焦点位置と
焦点深度を用いる。そして、得られた三次元座標が焦点
深度内にある場合にのみ、三次元座標を受け入れるよう
にする。
【0010】また、図3(b)に示されるように、複数
の異なる焦点位置で得られるステレオ画像のそれぞれに
対しても同様の処理を行う。それぞれの焦点位置で得ら
れた三次元座標を統合することにより、焦点深度の影響
によって、ぼやけた部分の画像を用いずに、光学系の焦
点深度より広い範囲に存在する対象物全体の三次元座標
を得ることができる。
【0011】図1及び図2を参照して、この発明の第1
の実施例を説明する。図1はこの発明の距離測定装置の
構成を示すブロック図であり、1は焦点位置設定装置で
ある。この焦点位置設定装置1は、焦点位置操作部2a
及び2bを通して、それぞれレンズ3a及び3bを駆動
し、所定の焦点位置で撮像する。セレクタ4a及び4b
は、撮像素子5a及び5bからA/D変換器6a及び6
bでA/D変換した画像を受ける。また、セレクタ4a
及び4bは、焦点位置設定装置1からの指示により、画
像をメモリ7a1 、7a2 、…、7am 及び7b1 、7
2 、…、7bm に格納する。
【0012】セレクタ8a及び8bは、焦点位置設定装
置1からの指示に従って、メモリ7a1 、7a2 、…、
7am 及び7b1 、7b2 、…、7bm から画像を取出
し、対応点検出装置9に送る。三次元座標算出装置10
は、対応点検出装置9から三次元座標に対応する濃度値
を得て、セレクタ11に出力する。このセレクタ11
は、焦点位置設定装置1からの指示により、メモリ12
1 、122 、…、12m に格納する。
【0013】メモリ121 、122 、…、12m の出力
は、セレクタ13を介して選択装置14に供給される。
この選択装置14により選択された濃度値がメモリ15
に格納される。そして、投影装置16は、メモリ15に
格納されている三次元座標に対応する濃度値、すなわち
三次元画像を適当な方向に投影し、D/A変換器17を
介してモニタ18に出力する。次に、図2のフローチャ
ートを参照して、第1の実施例の動作を説明する。
【0014】焦点位置設定装置1は、1番目の画像i
a-1 、ib-1 を撮像するという意味でnに1を初期設定
する(ステップS1)。次に、焦点位置設定装置1は、
焦点位置操作部2aを通してレンズ3aを駆動し、n番
目の画像ia-n を焦点位置fnで撮像する。また、焦点
位置設定装置1は焦点位置操作部2bを通してレンズ3
bを駆動し、n番目の画像ib-n を焦点位置fn で撮像
する(ステップS2)。
【0015】そして、A/D変換器6aは撮像素子5a
からの画像をA/D変換し、セレクタ4aに送る。同様
に、A/D変換器6bは撮像素子5bからの画像をA/
D変換し、セレクタ4bに送る。セレクタ4aは焦点位
置設定装置1からnを受けて、画像ia-n をメモリ7a
n に格納する。また、セレクタ4bは焦点位置設定装置
1からnを受けて、画像ib-n をメモリ7bn に格納す
る(ステップS3)。
【0016】次いで、焦点位置設定装置1は画像の番号
を表すnに1を加える(ステップS4)。この焦点位置
設定装置1は、画像の番号を表すnと予定画像番号mと
を比較し(ステップS5)、n≦mが成り立っている間
はステップS2〜S4を繰返す。
【0017】上述したステップS1〜S5までの操作に
よって、メモリ7a1 、7a2 、…、7an 、…、7a
m には、焦点位置f1 の画像ia-1 、焦点位置f2 の画
像ia-2 、…、焦点位置fn の画像ia-n 、…、焦点位
置fm の画像ia-m の画像が格納され、メモリ7b1
7b2 、…、7bn 、…、7bm には、焦点位置f1
画像ib-1 、焦点位置f2 の画像ib-2 、…、焦点位置
n の画像ib-n 、…、焦点位置fm の画像ib-m の画
像が格納される。
【0018】次に、焦点位置設定装置1は、1番目の画
像ia-1 、ib-1 を処理するという意味でnに1を設定
する(ステップS6)。セレクタ8aは焦点位置設定装
置1からnを受けてメモリ7an から画像ia-n を取出
し、対応点検出装置9に送る。同様に、セレクタ8bは
焦点位置設定装置1からnを受けてメモリ7bn から画
像ib-n を取出し、対応点検出装置9に送る。対応点検
出装置9は画像ia-nと画像ib-n に対して対応点検出
を行い、ln 個の対応点の画像ia-n 内での座標(xa
k ,ya k )と画像ib-n 内での座標(xb k
b k )を得る(ステップS7)。
【0019】三次元座標算出装置10は、対応点検出装
置9から(xa k ,ya k )と(xb k ,yb k )とl
n を得る。そして、三次元座標算出装置10は1番目の
対応点に処理を行うという意味で、kに1をセットする
(ステップS8)。また、三次元座標算出装置10は、
k番目の対応点の画像ia-n 内での座標(xa k ,ya
k )と画像ib-n 内での座標(xb k ,yb k )から、
三角測量と同様な原理に基いて、k番目の対応点の三次
元座標(Xk ,Yk ,Zk )を求める(ステップS
9)。
【0020】上記三次元座標算出装置10は、得られた
三次元座標(Xk ,Yk ,Zk )に対する濃度値F
n (Xk ,Yk ,Zk )に、濃度値ia-n (xa k ,y
a k )、または濃度値ib-n (xa k ,ya k )を代入
する(ステップS10)。次に、セレクタ11は、三次
元座標算出装置10から三次元座標に対応する濃度値F
n (Xk ,Yk ,Zk )を得る。それと共に、焦点位置
設定装置1からnを受けて、上記濃度値Fn (Xk ,Y
k ,Zk )をメモリ12n に格納する(ステップS1
1)。
【0021】更に、三次元座標算出装置10は、対応点
の番号を示すkに1を加える(ステップS12)。そし
て、三次元座標算出装置10は、対応点の番号を表すk
と対応点の個数を表すln とを比較し(ステップS1
3)、k≦ln が成り立っている間はステップS9〜S
12を繰返す。
【0022】一方、上述したステップS8〜S13の操
作によって、メモリ12n にはn番目の画像から得られ
るln 個の三次元座標に対応する濃度値Fn (Xk ,Y
k ,Zk )が格納される。焦点位置設定装置1は、画像
の番号を表すnに1を加える(ステップS14)。
【0023】ここで、焦点位置設定装置1は、画像の番
号を表すnと予定画像番号mとを比較し(ステップS1
5)、n≦mが成り立っている間は、ステップS7〜S
14を繰返す。また、上述したステップS6〜S15の
操作によって、メモリ121、122 、…、12n
…、12m には、l1 個の三次元座標に対応する濃度値 F1 (Xk ,Yk ,Zk )、l2 個の三次元座標に対応
する濃度値 F2 (Xk ,Yk ,Zk )、…、ln 個の三次元座標に
対応する濃度値 Fn (Xk ,Yk ,Zk )、…、lm 個の三次元座標に
対応する濃度値 Fm (Xk ,Yk ,Zk )が、それぞれ格納される。
【0024】次に、焦点位置設定装置1は、l番目の画
像から得られた三次元座標に対応する濃度値F
1 (Xk ,Yk ,Zk )を処理という意味で、nに1を
設定する(ステップS16)。そして、選択装置14
は、n番目の画像から得られた三次元座標に対応する濃
度値Fn (Xk ,Yk ,Zk )の中で、1番目の濃度値
に処理を行うという意味でkに1を設定する(ステップ
S17)。また、選択装置14は、三次元座標(Xk
k ,Zk )のZk が焦点位置fn を中心とする焦点深
度fd の幅の中に入っているか否かを判定する(ステッ
プS18)。ここで焦点深度fd の範囲内であれば、三
次元座標に対応する濃度値Fn (Xk ,Yk ,Zk )を
メモリ15に格納し、そうでなければ何もしない(ステ
ップS19)。
【0025】次いで、選択装置14は対応点の番号を表
すkに1を加える(ステップS20)。この選択装置1
4は、対応点の番号を表すkと対応点の個数を表すln
とを比較し(ステップS21)、k≦ln が成り立って
いる間はステップS18〜S20を繰返す。
【0026】上述したステップS17〜S21の操作に
よって、n番目の画像から得られた三次元座標に対応す
る濃度値Fn (Xk ,Yk ,Zk )の中で、選択装置1
4によって選択されたものがメモリ15に格納される。
そして、焦点位置設定装置1は、画像の番号を表すnに
1を加える(ステップS22)。また、焦点位置設定装
置1は、画像の番号を表すnと予定画像番号mとを比較
し(ステップS23)、ここでn≦mが成り立っている
間はステップS17〜S22を繰返す。
【0027】次に、上述したステップS16〜S23の
操作によって、全ての画像から得られた三次元座標に対
応する濃度値の中で、選択装置14によって選択された
ものがメモリ15に格納される。投影装置16は、メモ
リ15に格納されている三次元座標に対応する濃度値、
すなわち三次元画像を適当な方向に投影し、D/A変換
器17を通してモニタ18に出力する(ステップS2
4)。
【0028】このような構成の距離測定装置に以上の動
作を行わせることにより、光学系の焦点深度より広い範
囲に存在する対象物に対しても、精度の良い距離情報を
得ることができる。
【0029】また、一般には焦点位置の異なる複数の画
像を撮影するのであれば、カメラのAF(オートフォー
カス)等に用いられているコントラスト法を用い、単眼
画像であっても一応の距離情報を得ることはできる。し
かし、コントラスト法だけでは光学系の焦点深度より短
い距離を分別することはできず、焦点深度によって分解
能が制限されている。したがって、この発明によれば、
光学系の焦点距離より短い距離に対しても精度の良い距
離情報を得ることができる。次に、この発明の第2の実
施例について説明する。
【0030】この第2の実施例に於いては、図3(a)
に示されるようなステレオ画像を、図4(a)、(b)
に示されるような小領域に分割し、図3(b)に示され
るような焦点位置の異なるステレオ画像に対して領域毎
のコントラストカーブを求め、それぞれのコントラスト
カーブから図5(a)、(b)に示されるような距離地
図を得る。但し、この距離地図は焦点深度以下の距離を
分別することはできず、焦点深度によって分解能が制限
されている。この距離地図を利用して対応点検出を行な
うことにより、焦点深度の影響によってぼやけた部分の
画像を用いずに、光学系の焦点深度より広い範囲に存在
する対象物全体の三次元座標を精度良く得ることができ
る。
【0031】図6は第2の実施例の構成図、図7は第2
の実施例の動作を説明するフローチャートである。尚、
以下の実施例に於いて、上述した第1の実施例と同じ部
分には同じ参照番号を付し、重複を避けるためその説明
を省略する。
【0032】この第2の実施例では、図1の構成の距離
測定装置に対し、セレクタ8a、8bと対応点検出装置
9との間に、領域分割装置19a、19b、距離地図作
成装置20a、20b、メモリ21a、21b、領域限
定装置22a、22bが設けられ、セレクタ11、1
3、メモリ121 、122 、…、12m 、選択装置14
が削除されている部分が異なる。
【0033】焦点位置設定装置1は、1番目の画像i
a-1 、ib-1 を撮像するという意味でnに1を初期設定
する(ステップS25)。次いで、焦点位置設定装置1
は、焦点位置操作部2aを通してレンズ3aを駆動し、
n番目の画像ia-n を焦点位置fn で撮像する。同様
に、焦点位置設定装置1は焦点位置操作部2bを通して
レンズ3bを駆動し、n番目の画像ib-n を焦点位置f
n で撮像する(ステップS26)。
【0034】そして、A/D変換器6aは撮像素子5a
からの画像をA/D変換し、セレクタ4aに送る。同様
に、A/D変換器6bは撮像素子5bからの画像をA/
D変換し、セレクタ4bに送る。セレクタ4aは焦点位
置設定装置1からnを受けて画像ia-n をメモリ7an
に格納する。また、セレクタ4bは焦点位置設定装置1
からnを受けて画像ib-n をメモリ7bn に格納する
(ステップ27)。
【0035】焦点位置設定装置1は、画像の番号を表す
nに1を加える(ステップ28)。ここで、焦点位置設
定装置1は画像の番号を表すnと予定画像番号mとを比
較し(ステップS29)、n≦mが成り立っている間
は、ステップS26〜S28を繰返す。
【0036】上述したステップS25〜S29の操作に
よって、メモリ7a1 、7a2 、…、7an 、…、7a
m には、焦点位置f1 の画像ia-1 、焦点位置f2 の画
像ia-2 、…、焦点位置fn の画像ia-n 、…、焦点位
置fm の画像ia-m の画像が格納される。一方、メモリ
7b1 、7b2 、…、7bn 、…、7bm には、焦点位
置f1 の画像ib-1 、焦点位置f2 の画像ib-2 、…、
焦点位置fn の画像ib-n 、…、焦点位置fm の画像i
b-m の画像がそれぞれ格納される。
【0037】距離地図作成装置20aは、図4に示され
る領域のコントラスト値を格納するC1 ,C2 ,…,C
q ,…,Cl に初期値0をセットする(ステップS3
0)。次いで、焦点位置設定装置1は、1番目の画像i
a-1 を処理するという意味でnに1を初期設定する(ス
テップS31)。そして、セレクタ8aは、焦点位置設
定装置1からのnによって、画像ia-n を領域分割装置
19aに送る。この領域分割装置19aは、画像ia-n
を図4に示されるように分割し、画像an 1 ,画像an
2 ,…,画像an q ,…,画像an l を得る。領域分割
装置19aは、画像an 1 ,画像an 2 ,…,画像an
q ,…,画像an l を距離地図作成装置20aに送る
(ステップS32)。
【0038】距離地図作成装置20aは、1番目の領域
に処理を行うという意味で、qに1をセットする(ステ
ップS33)。距離地図作成装置20aは画像an q
対するコントラスト値Cn q を求める(ステップS3
4)に相当する。ここで、Cq ≦Cn q であるか否かを
判定する(ステップS35)。そして、Cq ≦Cn q
らば(Yes)、Cq にCn q を代入し、領域qの焦点
位置を表すfq にfn を入れる(ステップS36)。一
方、Cq ≦Cn q でなければ(No)、何もしない。
【0039】次いで、距離地図作成装置20aは、領域
を表すqに1を加えた後(ステップS37)、領域を表
すqと最後の領域lとを比較する(ステップS38)。
ここで、q≦lが成り立っている間はステップ34〜S
37を繰返す。そして、q≦lが成立しなくなると、焦
点位置設定装置1は、画像の番号を表すnに1を加え
(ステップS39)、画像の番号を表すnと予定画像番
号mとを比較する(ステップS40)。ここで、n≦m
が成り立っている間はステップS32〜S39を繰返
す。
【0040】上述したステップS31〜S40の操作に
よって、それぞれの領域のコントラスト法による焦点位
置f1 ,f2 ,…,fq ,…,fl が得られる。距離地
図作成装置20aは、焦点位置f1 ,f2 ,…,fq
…,f1 をメモリ21aに格納する(ステップS4
1)。
【0041】距離地図作成装置20bは、図4に示され
る領域のコントラスト値を格納するC1 ,C2 ,…,C
q ,…,Cl に、初期値0をセットする(ステップS4
2)。焦点位置設定装置1は、1番目の画像ib-1 を処
理するという意味でnに1を初期設定する(ステップS
43)。セレクタ8bは、焦点位置設定装置1からのn
によって画像ib-n を領域分割装置19bに送る。そし
て、領域分割装置19bは、画像ib-n を図4に示され
るように分割し、画像bn 1 ,画像bn 2 ,…,画像b
n q ,…,画像bn l を得る。この領域分割装置19b
は、画像bn 1 ,画像bn 2 ,…,画像bn q ,…,画
像bn l を、距離地図作成装置20bに送る(ステップ
S44)。
【0042】次に、距離地図作成装置20bは、1番目
の領域に処理を行うという意味でqに1をセットし(ス
テップS45)、距離地図作成装置20bが画像bn q
に対するコントラスト値Cn q を求める(ステップS4
6)。そして、Cq ≦Cn q を判定し(ステップS4
7)、Cq ≦Cn q ならばCq にCn q を代入し、領域
qの焦点位置を表すfq にfn を入れる(ステップS4
8)。一方、Cq ≦Cn q でなければ、ステップS49
へ進む。
【0043】距離地図作成装置20bは、領域を表すq
に1を加え(ステップS49)、その後、領域を表すq
と最後の領域lとを比較する(ステップS50)。ここ
で、q≦lが成り立っている間は、ステップS46〜S
49を繰返す。
【0044】次いで、焦点位置設定装置1は、画像の番
号を表すnに1を加え(ステップS51)、画像の番号
を表すnと予定画像番号mとを比較する(ステップS5
2)。ここで、n≦mが成り立っている間は、ステップ
S44〜S51を繰返す。また、ステップS43〜S5
2の操作によって、それぞれの領域のコントラスト法に
よる焦点位置f1 ,f2 ,…,fq ,…,fl が得られ
る。距離地図作成装置20bは、焦点位置f1 ,f2
…,fq ,…,f1 をメモリ21bに格納する(ステッ
プS53)。
【0045】焦点位置設定装置1は、1番目の画像i
a-1 ,ib-1 を処理するという意味でnに1を初期設定
する(ステップS54)。セレクタ8aは、焦点位置設
定装置1からのnによって画像ia-n を領域限定装置2
2aに送る。領域限定装置22aは、メモリ21aに格
納されている距離地図を参照し、画像ia-n の中で焦点
位置がfn の領域を画像i′a-n とする(ステップS5
5)。更に、セレクタ8bは焦点位置設定装置1からの
nによって画像ib-n を領域限定装置22bに送る。こ
の領域限定装置22bは、メモリ21bに格納されてい
る距離地図を参照し、画像ib-n の中で焦点位置がfn
の領域を画像i′b-n とする(ステップS56)。
【0046】領域限定装置22aは画像i′a-n を対応
点検出装置9に、一方、領域限定装置22bは画像i′
b-n を対応点検出装置9に送る。この対応点検出装置9
は、画像i′a-n と画像i′b-n に対して対応点検出を
行い、ln 個の対応点の画像i′a-n 内での座標(xa
k ,ya k )と画像i′b-n 内での座標(xb k ,yb
k )を得る(ステップS57)。
【0047】三次元座標算出装置10は、対応点検出装
置9から(xa k ,ya k )と(xb k ,yb k )とl
n を得て、1番目の対応点に処理を行うという意味で、
kに1をセットする(ステップS58)。そして、三次
元座標算出装置10は、k番目の対応点の画像i′a-n
内での座標(xa k ,ya k )と画像i′b-n 内での座
標(xb k ,yb k )から、三角測量と同様な原理に基
いて、k番目の対応点の三次元座標(Xk ,Yk
k )を求める(ステップS59)。
【0048】三次元座標算出装置10は、得られた三次
元座標(Xk ,Yk ,Zk )に対する濃度値F
n (Xk ,Yk ,Zk )に、濃度値i′a-n (xa k
a k )、または濃度値i′b-n (xa k ,ya k )を
代入する(ステップS60)。次いで、三次元座標算出
装置10は、三次元座標に対応する濃度値Fn (Xk
k ,Zk )をメモリ15に格納し(ステップS6
1)、対応点の番号を示すkに1を加える(ステップS
62)。
【0049】次に、三次元座標算出装置10は、対応点
の番号を表すkと対応点の個数を表すln とを比較する
(ステップS63)。ここで、k≦ln が成り立ってい
る間はステップS59〜S62を繰返す。また、ステッ
プS58〜S63の操作によって、メモリ15にはn番
目の画像から得られるln 個の三次元座標に対応する濃
度値Fn (Xk ,Yk ,Zk )が格納され、焦点位置設
定装置1は画像の番号を表すnに1を加える(ステップ
S64)。
【0050】焦点位置設定装置1は、画像の番号を表す
nと予定画像番号mとを比較する(ステップS65)。
ここで、n≦mが成り立っている間はステップS55〜
S64を繰返す。また、ステップS54〜S65の操
作によって、メモリ15には、l1 個の三次元座標に対
応する濃度値F1 (Xk ,Yk ,Zk ),l2 個の三次
元座標に対応する濃度値F2 (Xk ,Yk ,Zk ),
…,ln 個の三次元座標に対応する濃度値Fn (Xk
k ,Zk ),…,lm 個の三次元座標に対応する濃度
値Fm (Xk ,Yk ,Zk )が格納される。
【0051】この後、投影装置16は、メモリ15に格
納されている三次元座標に対応する濃度値、すなわち三
次元画像を適当な方向に投影し、D/A変換器17を通
してモニタ18に出力する(ステップS66)。
【0052】このように、第2の実施例によれば、光学
系の焦点深度より広い範囲に存在する対象物に対して
も、精度の良い距離情報を得ることができる。また、光
学系の焦点深度より短い距離に対しても、精度の良い距
離情報を得ることができる。次に、この発明の第3の実
施例について説明する。
【0053】第3の実施例に於いては、図3に示される
ような焦点位置の異なるステレオ画像から長焦点深度の
ステレオ画像を作成し、対応点検出を行なうことによ
り、光学系の焦点深度より広い範囲に存在する対象物に
対しても、精度の良い距離情報を得ることができるよう
にする。
【0054】画像処理的手法によって長焦点深度画像を
得る方法については、例えば特願昭63−39936号
に記載されている。図8を参照して、上記特願昭63−
39936号に記載の方法に基いて長焦点深度の画像を
得る場合について説明する。
【0055】画像入力光学系に於いて、焦点位置をある
物体面に設定したときに入力される画像は、対象物と合
焦面との距離関係によりぼやけた具合が決定される。こ
こで、対象物が、画像入力光学系の焦点深度よりも大き
な構造を有する場合、ある物体面に焦点位置を設定した
ときに入力される画像は、場所によってぼやけた状態が
異なることになる。次に、焦点位置を変えると、以前に
入力した画像とはぼやけた状態の分布が異なる画像が入
力される。つまり、以前に入力した画像ではぼやけてい
た部分が、次に入力した画像では焦点が合っていたり、
またその逆も起こる。これは上述したように、対象物の
構造と設定焦点位置との距離関係により決まる。
【0056】そこで適当な設定範囲に従って、合焦点の
位置を変えながら画像を入力することにより、対象物の
異なる部分に焦点があった複数枚の画像を得ることがで
きる。これらを全て加え合わせると、画像内の場所によ
らず、ほぼ一様にぼやけた画像が得られる。
【0057】そこで、次に加え合わせた画像について適
当な回復処理を行うことにより、画像内の場所によらず
一様に焦点の合った画像、すなわち長焦点深度画像が得
られる。
【0058】図9は第3の実施例の構成図、図10は第
3の実施例の動作を説明するフローチャートである。こ
の第3の実施例では、図1の構成の距離測定装置に対
し、セレクタ8a、8bに代えて、加算器23a、23
b、メモリ24a、24b、回復処理装置25a、25
bが設けられ、セレクタ11、13、メモリ121 、1
2 、…、12m 、選択装置14が削除されている部分
が異なる。
【0059】焦点位置設定装置1は、1番目の画像i
a-1 ,ib-1 を撮像するという意味でnに1を初期設定
する(ステップS67)。この焦点位置設定装置1は、
焦点位置操作手段2a、2bを通してレンズ3a、3b
を駆動し、n番目の画像ia-n、ib-n を焦点位置fn
で撮像する(ステップS68)。
【0060】次いで、A/D変換器6a、6bは撮像素
子5a、5bからの画像をA/D変換し、それぞれセレ
クタ4a、4bに送る。そして、セレクタ4a、4b
は、焦点位置設定装置1からnを受けて画像ia-n 、i
b-n をメモリ7an 、7bn に格納する(ステップS6
9)。この後、焦点位置設定装置1は画像の番号を表す
nに1を加える(ステップS70)。
【0061】焦点位置設定装置1は、画像の番号を表す
nと予定画像番号mとを比較し(ステップS71)、n
≦mが成り立っている間はステップS68〜S70を繰
返す。また、ステップS67〜S71の操作により、メ
モリ7a1 、7a2 、…、7an 、…、7am には、焦
点位置f1 の画像ia-1 、焦点位置f2 の画像ia-2
…、焦点位置fn の画像ia-n 、…、焦点位置fm の画
像ia-m の画像が格納され、一方メモリ7b1 、7
2 、…、7bn 、…、7bm には、焦点位置f1 の画
像ib-1 、焦点位置f2 の画像ib-2 、…、焦点位置f
n の画像ib-n 、…、焦点位置fm の画像ib-m の画像
が、それぞれ格納される。
【0062】加算器23aは、メモリ7an に格納され
ている焦点位置の異なる画像ia-n(n=1,2,…,
m)を荷重加算し、画像全体にわたって一様にぼやけた
画像ia brを得て、メモリ24aに格納する(ステップ
S72)。そして、回復処理装置25aは、メモリ24
aの一様にぼやけた画像ia brに回復処理を行い、焦点
位置の異なる対象物に対して一様に焦点の合った長焦点
深度画像ia dfを得て、メモリ24aに格納する(ステ
ップS73)。
【0063】次いで、加算器23bは、メモリ7bn
格納されている焦点位置の異なる画像ib-n (n=1,
2,…,m)を荷重加算し、画像全体にわたって一様に
ぼやけた画像ib brを得て、メモリ24bに格納する
(ステップS74)。そして、回復処理装置25bは、
メモリ24bの一様にぼやけた画像ib brに回復処理を
行い、焦点位置の異なる対象物に対して一様に焦点の合
った長焦点深度画像ib dfを得て、メモリ24bに格納
する(ステップS75)。
【0064】対応点検出装置9は、画像ia dfと画像i
b dfに対して対応点検出を行い、l個の対応点の画像i
a df内での座標(xa k ,ya k )と画像ib df内での
座標(xb k ,yb k )を得る(ステップS76)。三
次元座標算出装置10は、対応点検出装置9から(xa
k ,ya k )と(xb k ,yb k )とlを得る。加え
て、三次元座標算出装置10は、1番目の対応点に処理
を行うという意味でkに1をセットする(ステップS7
7)。また、三次元座標算出装置10は、k番目の対応
点の画像ia df内での座標(xa k ,ya k )と、画像
b df内での座標(xb k ,yb k )から、三角測量と
同様な原理に基いて、k番目の対応点の三次元座標(X
k ,Yk ,Zk )を求める(ステップS78)。
【0065】三次元座標算出装置10は、得られた三次
元座標(Xk ,Yk ,Zk )に対する濃度値F(Xk
k ,Zk )に、濃度値ia df(xa k ,ya k )か、
または濃度値ib df(xa k ,ya k )を代入する(ス
テップS79)。三次元座標算出装置10は、三次元座
標に対応する濃度値F(Xk ,Yk ,Zk )をメモリ1
5に格納する(ステップS80)。更に、三次元座標算
出装置10は、対応点の番号を示すkに1を加える(ス
テップS81)。
【0066】ここで、三次元座標算出装置10は対応点
の番号を表すkと対応点の個数を表すlとを比較する
(ステップS82)。このステップS82に於いて、k
≦lが成り立っている間はステップS78〜S81を繰
返す。
【0067】上述したステップS77〜S82の操作に
よって、メモリ15にはl個の三次元座標に対応する濃
度値F(Xk ,Yk ,Zk )が格納される。そして、投
影装置16は、メモリ15に格納されている三次元座標
に対応する濃度値、すなわち三次元画像を適当な方向に
投影し、D/A変換器17を通してモニタ18に出力す
る(ステップS83)。このように、第3の実施例によ
れば、光学系の焦点深度より広い範囲に存在する対象物
に対しても、精度の良い情報を得ることができる。次
に、この発明の第4の実施例について説明する。
【0068】第4の実施例に於いては、図11(a)及
び(b)に示されるように、対象物が光を透過する物体
である場合について説明する。基本的には、第4の実施
例でも、図11(b)に示されるように、複数の異なる
焦点位置で得られるステレオ画像を距離測定に利用する
ことにより、光学系の焦点深度より広い範囲に存在する
対象物に対しても、精度の良い距離情報を得られるよう
にする。
【0069】但し、対象物が透過物体である場合、得ら
れる画像には、焦点位置を外れた物体のぼやけた像が焦
点位置に存在する物体の像に重畳されるという問題があ
る。重畳されたぼやけた像は、精度の良い対応点検出を
困難なものにする。そこで、結像光学系の特性から求め
られる三次元OTF(Optical Transfer Function )を
用いて回復処理を行い、ぼやけた像を消去してから対応
検出を行うようにする。
【0070】図12は第4の実施例の構成図、図13は
第4の実施例の動作を説明するフローチャートである。
この第4の実施例では、図1の構成の距離測定装置に対
し、回復処理装置26a、26bが設けられ、セレクタ
11、13、メモリ121 、122 、…、12m 、選択
装置14が削除されている部分が異なる。
【0071】焦点位置設定装置1は、1番目の画像i
a-1 ,ib-1 を撮像するという意味でnに1を初期設定
する(ステップS84)。この焦点位置設定装置1は、
焦点位置操作手段2a、2bを通してレンズ3a、3b
を駆動し、n番目の画像ia-n、ib-n を、それぞれ焦
点位置fn で撮像する(ステップS85)。その後、A
/D変換器6a、6bは、撮像素子5a、5bからの画
像をA/D変換し、それぞれセレクタ4a、4bに送
る。セレクタ4a、4bは、焦点位置設定装置1からn
を受けて、画像ia-n 、ib-n をメモリ7an 、7bn
に格納する(ステップS86)。次いで、焦点位置設定
装置1は、画像の番号を表すnに1を加える(ステップ
S87)。
【0072】次に、焦点位置設定装置1は、画像の番号
を表すnと予定画像番号mとを比較する(ステップS8
8)。ここで、n≦mが成り立っている間はステップS
85〜S87を繰返す。そして、ステップS84〜S8
8の操作によって、メモリ7a1 、7a2 、…、7
n 、…、7am には、焦点位置f1 の画像ia-1 、焦
点位置f2 の画像ia-2 、…、焦点位置fn の画像i
a-n 、…、焦点位置fm の画像ia-m の画像が格納さ
れ、メモリ7b1 、7b2 、…、7bn 、…、7bm
は、焦点位置f1 の画像ib-1 、焦点位置f2 の画像i
b-2 、…、焦点位置fn の画像ib-n 、…、焦点位置f
m の画像ib-m の画像がそれぞれ格納される。
【0073】次いで、回復処理装置26aは、メモリ7
1 、7a2 、…、7an 、…、7am から、画像i
a-1 、ia-2 、…、ia-n 、…、ia-m を取出し、結像
光学系の三次元OTFを用いて回復処理を行い、画像
i′a-1 、i′a-2 、…、i′a-n 、…、i′a-m を得
る。回復処理装置26aは、画像i′a-1 、i′a-2
…、i′a-n 、…、i′a-m をメモリ7a1 、7a2
…、7an 、…、7am に格納する(ステップS8
9)。ここで、回復処理装置26aの動作について説明
する。
【0074】先ず、図14を参照して、回復処理原理を
簡単のために一次元で説明する。画像の劣化は図14
(a)に示されるように、原画像の周波数成分Fと、光
学系のOTF Hの、周波数成分毎の積で表される。し
たがって、原画像の推定は図14(b)に示されるよう
に、劣化画像の周波数成分Gと、光学系のOTFの逆変
換H-1の周波数成分毎の積で表される。同実施例では、
回復処理を、光軸方向とそれに直交する平面とで表され
る三次元空間で行う必要がある。
【0075】そこで、回復処理装置26aは画像
a-1 、ia-2 、…、ia-n 、…、ia-mを光軸方向に
積み重ねた三次元画像gとして扱う。回復処理装置26
aは、三次元画像gに三次元フーリエ変換を行い、周波
数成分Gを得る。更に、周波数成分Gと三次元OTFの
逆変換H-1の周波数成分毎の積を計算し、周波数成分
F′を得る。回復処理装置26aは、周波数成分F′に
三次元逆フーリエ変換を行い、三次元の推定原画像f′
を得る。加えて、光軸方向に積重ねた三次元画像f′
を、画像i′a-1 、i′a-2 、…、i′a-n 、…、i′
a-m とする。
【0076】同様に、回復処理装置26bは、メモリ7
1 、7b2 、…、7bn 、…、7bm から、画像i
b-1 、ib-2 、…、ib-n 、…、ib-m を取出し、結像
光学系の三次元OTFを用いて回復処理を行い、画像
i′b-1 、i′b-2 、…、i′b-n 、…、i′b-m を得
る。そして、画像i′b-1 、i′b-2 、…、i′b-n
…、i′b-m をメモリ7b1 、7b2 、…、7bn
…、7bm に格納する(ステップS90)。回復処理装
置26bの動作は回復処理装置26aの動作と同様であ
る。
【0077】次に、焦点位置設定装置1は、1番目の画
像i′a-1 、i′b-1 を処理するという意味でnに1を
設定する(ステップS91)。そして、セレクタ8a、
8bは、焦点位置設定装置1からnを受けてメモリ7a
n 、7bn から画像i′a-n、i′b-n を取出し、対応
点検出装置9に送る。対応点検出装置9は画像i′a-n
と画像i′b-n に対して対応点検出を行い、ln 個の対
応点の画像i′a-n 内での座標(xa k ,ya k )と画
像i′b-n 内での座標(xb k ,yb k )を得る(ステ
ップS92)。
【0078】三次元座標算出装置10は、対応点検出装
置9から(xa k ,ya k )と(xb k ,yb k )とl
n を得た後、1番目の対応点に処理を行うという意味で
kに1をセットする(ステップS93)。次いで、三次
元座標算出装置10は、k番目の対応点の画像i′a-n
内での座標(xa k ,ya k )と画像i′b-n 内での座
標(xb k ,yb k )から、三角測量と同様な原理に基
いてk番目の対応点の三次元座標(Xk ,Yk ,Zk
を求める(ステップS94)。
【0079】上記三次元座標算出装置10は、得られた
三次元座標(Xk ,Yk ,Zk )に対する濃度値F
n (Xk ,Yk ,Zk )に、濃度値i′a-n (xa k
a k )、または濃度値i′b-n (xa k ,ya k )を
代入する(ステップS95)。三次元座標算出装置10
は、三次元座標に対する濃度値Fn (Xk ,Yk
k )を得て、メモリ15に格納する(ステップS9
6)。そして、三次元座標算出装置10は、対応点の番
号を示すkに1を加える(ステップS97)。
【0080】次に、三次元座標算出装置10は、対応点
の番号を表すkと対応点の個数を表すln とを比較し
(ステップS98)、k≦ln が成り立っている間はス
テップS94〜S97を繰返す。そして、ステップS9
3〜S98の操作によって、メモリ15にはn番目の画
像から得られるln 個の三次元座標に対応する濃度値F
n (Xk ,Yk ,Zk )が格納される。次いで、焦点位
置設定装置1は、画像の番号を表すnに1を加える(ス
テップS99)。
【0081】ここで、焦点位置設定装置1は画像の番号
を表すnと予定画像番号mとを比較し(ステップS10
0)、n≦mが成り立っている間はステップS92〜S
99を繰返す。また、ステップS91〜S100までの
操作によって、メモリ15には、l1 個の三次元座標に
対応する濃度値F1 (Xk ,Yk ,Zk ),l2 個の三
次元座標に対応する濃度値F2 (Xk ,Yk ,Zk ),
…,ln 個の三次元座標に対応する濃度値Fn (Xk
k ,Zk ),…,lm 個の三次元座標に対応する濃度
値Fm (Xk ,Yk ,Zk )が格納される。そして、投
影装置16は、メモリ15に格納されている三次元座標
に対応する濃度値、すなわち三次元画像を適当な方向に
投影し、D/A変換器17を通してモニタ18に出力す
る(ステップS101)。
【0082】以上のように、第4の実施例によれば、対
象物が透過物体であっても、光学系の焦点深度より広い
範囲に存在する対象物に対しても、精度の良い距離情報
を得ることができる。
【0083】また、一般には焦点位置の異なる複数の画
像を撮影するのであれば、単眼画像であっても回復処理
を行うことにより、三次元画像を求めて距離情報を得る
ことはできる。しかし、それだけでは光学系の焦点深度
より短い距離を分別することはできず焦点深度によって
分解能が制限されている。この発明によれば、光学系の
焦点深度より短い距離に対しても精度の良い距離情報を
得ることができる。
【0084】
【発明の効果】以上のようにこの発明によれば、光学系
の焦点深度より広い範囲に存在する対象物に対しても、
精度の良い距離情報を得ることができる距離測定装置を
提供することができる。
【図面の簡単な説明】
【図1】この発明の第1の実施例で、距離測定装置の構
成を示すブロック図である。
【図2】第1の実施例の動作を説明するフローチャート
である。
【図3】ステレオ画像の例を示した図である。
【図4】図3のステレオ画像を小領域に分割した例を示
した図である。
【図5】距離地図を表した図である。
【図6】この発明の第2の実施例で、距離測定装置の構
成を示すブロック図である。
【図7】第2の実施例の動作を説明するフローチャート
である。
【図8】画像処理的手法によって長焦点深度画像を得る
方法を説明する図である。
【図9】この発明の第3の実施例で、距離測定装置の構
成を示すブロック図である。
【図10】第3の実施例の動作を説明するフローチャー
トである。
【図11】対象物が光を透過する物体である場合のステ
レオ画像の例を示した図である。
【図12】この発明の第4の実施例で、距離測定装置の
構成を示すブロック図である。
【図13】第4の実施例の動作を説明するフローチャー
トである。
【図14】回復処理装置の動作を説明する図である。
【図15】従来の技術による三角測量と同じ原理によっ
て距離情報を計算する方法を示した図である。
【符号の説明】
1…焦点位置設定装置、2a、2b…焦点位置操作部、
3a、3b…レンズ、4a、4b、8a、8b、11、
13…セレクタ、5a、5b…撮像素子、6a、6b…
A/D変換器、7a1 、7a2 、…、7am 、7b1
7b2 、…、7bm 、121 、122 、…、12m 、1
5、21a、21b、24a、24b…メモリ、9…対
応点検出装置、10…三次元座標算出装置、14…選択
装置、16…投影装置、17…D/A変換器、18…モ
ニタ、19a、19b…領域分割装置、20a、20b
…距離地図作成装置、22a、22b…領域限定装置、
23a、23b…加算器、25a、25b、26a、2
6b…回復処理装置。

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 同一焦点位置でステレオ画像を撮像する
    撮像装置と、 上記ステレオ画像を撮像する焦点位置を複数設定する焦
    点位置設定手段と、 上記ステレオ画像に対応点検出を行う対応点検出手段
    と、 この対応点検出手段が検出した対応点から三次元座標を
    算出する三次元座標算出手段と、 この三次元座標算出手段が算出した三次元座標を上記焦
    点位置と焦点深度に基いた判定に応じて距離情報を得る
    判定手段とを具備することを特徴とする距離測定装置。
JP4230761A 1992-08-31 1992-08-31 距離測定装置 Pending JPH0674762A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4230761A JPH0674762A (ja) 1992-08-31 1992-08-31 距離測定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4230761A JPH0674762A (ja) 1992-08-31 1992-08-31 距離測定装置

Publications (1)

Publication Number Publication Date
JPH0674762A true JPH0674762A (ja) 1994-03-18

Family

ID=16912858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4230761A Pending JPH0674762A (ja) 1992-08-31 1992-08-31 距離測定装置

Country Status (1)

Country Link
JP (1) JPH0674762A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008050904A1 (fr) * 2006-10-25 2008-05-02 Tokyo Institute Of Technology Procédé de génération d'image dans un plan de focalisation virtuel haute résolution
US10205928B2 (en) 2012-06-07 2019-02-12 Canon Kabushiki Kaisha Image processing apparatus that estimates distance information, method of controlling the same, and storage medium
WO2019138835A1 (ja) * 2018-01-12 2019-07-18 キヤノン株式会社 情報処理システム、情報処理装置、情報処理方法及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008050904A1 (fr) * 2006-10-25 2008-05-02 Tokyo Institute Of Technology Procédé de génération d'image dans un plan de focalisation virtuel haute résolution
JPWO2008050904A1 (ja) * 2006-10-25 2010-02-25 国立大学法人東京工業大学 高解像度仮想焦点面画像生成方法
JP4942221B2 (ja) * 2006-10-25 2012-05-30 国立大学法人東京工業大学 高解像度仮想焦点面画像生成方法
US10205928B2 (en) 2012-06-07 2019-02-12 Canon Kabushiki Kaisha Image processing apparatus that estimates distance information, method of controlling the same, and storage medium
WO2019138835A1 (ja) * 2018-01-12 2019-07-18 キヤノン株式会社 情報処理システム、情報処理装置、情報処理方法及びプログラム

Similar Documents

Publication Publication Date Title
US20070189750A1 (en) Method of and apparatus for simultaneously capturing and generating multiple blurred images
US20090214107A1 (en) Image processing apparatus, method, and program
CN109883391B (zh) 基于微透镜阵列数字成像的单目测距方法
JP2002056379A (ja) 3次元データ生成装置
JP3335419B2 (ja) カメラの測距装置
JP4549481B2 (ja) ピント合わせ装置
JP4892014B2 (ja) カメラ
JP2881995B2 (ja) 光学器械の対象検出装置
JP5454392B2 (ja) 測距装置及び撮像装置
JPH0674762A (ja) 距離測定装置
JP2007181184A (ja) 撮像装置および撮像方法、並びに撮像装置の設計方法
JP2020193820A (ja) 計測装置、撮像装置、制御方法及びプログラム
US6625301B2 (en) Image processing apparatus, image processing method and transmission medium
JP4228430B2 (ja) 焦点位置決定方法および装置
JP5484129B2 (ja) 撮像装置
US20130076868A1 (en) Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same
JPH0875454A (ja) 測距装置
JPH0252204A (ja) 3次元座標計測装置
WO2018235256A1 (ja) ステレオ計測装置及びシステム
JP3135162B2 (ja) 距離測定装置
JPH09211316A (ja) 像信号処理装置
JP2020181401A (ja) 画像処理装置、画像処理方法及びプログラム
JP4282300B2 (ja) カメラの測距装置
JP2023007802A (ja) 撮影装置、撮影装置の制御方法及びプログラム
JP6626551B2 (ja) 画像処理装置、画像処理方法、および撮像装置並びにその制御方法

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20020423