JPH07287757A - 立体視装置 - Google Patents

立体視装置

Info

Publication number
JPH07287757A
JPH07287757A JP6077740A JP7774094A JPH07287757A JP H07287757 A JPH07287757 A JP H07287757A JP 6077740 A JP6077740 A JP 6077740A JP 7774094 A JP7774094 A JP 7774094A JP H07287757 A JPH07287757 A JP H07287757A
Authority
JP
Japan
Prior art keywords
corresponding point
search area
point search
area
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6077740A
Other languages
English (en)
Other versions
JP3309556B2 (ja
Inventor
Makoto Niwakawa
誠 庭川
Koji Igura
浩司 井倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Original Assignee
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meidensha Corp, Meidensha Electric Manufacturing Co Ltd filed Critical Meidensha Corp
Priority to JP07774094A priority Critical patent/JP3309556B2/ja
Publication of JPH07287757A publication Critical patent/JPH07287757A/ja
Application granted granted Critical
Publication of JP3309556B2 publication Critical patent/JP3309556B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 対応点探索領域を小さくかつ適正な領域に自
動調整して対応点を探索することができる立体視装置を
提供する。 【構成】 ステレオ装置2は、対象物を2台のカメラ1
L,1Rで撮影した一対の画像から対応点探索法により
対象物の奥行きを求める。対応点探索領域演算部3は、
サンプル時間演算部4から与えるサンプル指令で2台の
カメラの撮影画像を取り込んで対応点探索領域を演算で
求め、メモリ5は、該対応点探索領域を格納してステレ
オ装置に自動調整する探索領域とする。演算部3は、カ
メラが撮影した画像について最小相関値から危険値を求
め、この危険値が最も安定しかつ設定しきい値内になる
ときの領域を対応点探索領域として求める。サンプル時
間間隔は、前回と今回の対応点探索領域の変化の有無で
短縮または延長することで対象物とステレオ装置の相対
位置の変化量に対応させる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、2台のカメラによる撮
影画像から対象物の奥行きを求める立体視装置に係り、
特に対応点探索法により奥行きを求めるに際し、対応点
探索領域を自動調整する装置に関する。
【0002】
【従来の技術】立体視装置は、自律的な運動をする装
置、例えば物体を操作するロボットや荷物を運搬する無
人搬送車、荷役を行うフォークリフトなどの目に相当す
る視覚情報取得手段として利用される。
【0003】立体視方法には、大きくは1台のカメラを
使った能動的計測法(測光立体視法や光スリット法)
と、2台のカメラを使った受動的計測法(両眼立体視
法)がある。
【0004】後者の方法のうち、対応点探索法は、三角
測量の原理を応用し、2台のカメラからの2つの画像の
対応点を探索(マッチング)して対象物の奥行きを計算
する。
【0005】これには、2台のカメラ撮影による左右の
画像の一方の小領域と、これに対応する画像領域を他方
の画像から探索する相互相関による方法やMarrの方
法があるが、何れも環境の変化に対応するために、予想
される探索領域より大きめの探索領域を設定して対応付
けをしている。
【0006】
【発明が解決しようとする課題】従来の対応点探索法に
よる奥行き測定では、探索領域を適切に設定しておく
も、経年変化又は振動によって、カメラに位置ずれが発
生し、対応点探索ができなくなる場合がある。
【0007】この問題を回避するために対応点探索領域
を大きくすると、演算量が膨大になって処理の遅れが生
じ、ロボット制御等の応答性に悪影響を与える。
【0008】また、カメラの位置ずれを無くすために、
定期的にカメラ位置のキャリブレーションを行う対応方
法では、キャリブレーションのために装置全体を停止す
ることになり、工場のラインなどに組み込まれた装置で
はキャリブレーションがライン全体の停止になることが
ある。
【0009】本発明の目的は、対応点探索領域を小さく
かつ適正な領域に自動調整して対応点を探索することが
できる立体視装置を提供することにある。
【0010】
【課題を解決するための手段】本発明は、前記課題の解
決を図るため、対象物を2台のカメラで撮影した一対の
画像から対応点探索法により対象物の奥行きを求めるス
テレオ装置を備えた立体視装置において、前記2台のカ
メラの撮影画像をサンプル時間間隔で取り込み、該画像
に対して順次設定変更する対応点探索領域の危険値を最
小相関値から求め、該危険値の変化が少なくかつ設定す
る値よりも小さいことを条件として対応点探索領域を求
め、この対応点探索領域を前記ステレオ装置の対応点探
索領域とする演算手段を備えたことを特徴とする。
【0011】また、本発明は、前記サンプル時間間隔
は、前回求めた対応点探索領域に対して今回求めた対応
点探索領域に変化が無いときに一定時間だけ長くし、変
化が発生したときに一定時間だけ短くすることを特徴と
する。
【0012】
【作用】2台のカメラが撮影した画像について最小相関
値から危険値を求め、この危険値が最も安定しかつ設定
しきい値内になるときの領域を対応点探索領域として求
め、この領域をステレオ装置の対応点探索領域として自
動調整する。
【0013】対応点探索領域の変化の有無でサンプル時
間間隔(対応点探索領域を求める時間間隔)を短縮また
は延長することで対象物とステレオ装置の相対位置の変
化量に応じた適切な領域調整間隔を得、しかも演算処理
回数を少なくする。
【0014】
【実施例】図1は、本発明の一実施例を示すシステム構
成図である。
【0015】2台のカメラ1L,1Rは、一定距離だけ
離れてロボット等の自律的に運動する装置に設けられ、
それぞれの位置から奥行きを求める対象物の撮影画像を
得る。なお、対象物が運動し、カメラ側を固定の装置と
する場合もある。さらには、対象物とカメラ側装置の両
方が運動する場合もある。
【0016】ステレオ装置2は、カメラ1L,1Rから
の撮影画像を取り込み、対応点探索法により対象物の奥
行きを求める。このための対応点探索領域は、演算要素
3〜5によって自動調整された領域として与えられる。
【0017】対応点探索領域演算部3は、サンプル時間
演算部4からサンプル指令が与えられたときに2台のカ
メラ1L,1Rからの撮影画像から対応点探索領域を求
める。この演算結果はメモリ5に格納され、該メモリ5
からステレオ装置2に転送される。
【0018】サンプル時間演算部4で発生するサンプル
指令は、メモリ5に格納される対応点探索領域の変化の
有無に応じて時間間隔が増減調整される。すなわち、対
応点探索領域演算部3で今回求めた領域が前回求めた領
域と同じ場合には対象物とカメラの相対位置が変化して
いないためサンプル時間間隔を延ばし、領域に変化があ
るときは相対位置が変化しているとしてサンプル時間間
隔を短くする。
【0019】図2は、上記の対応点探索領域演算の処理
フローを示す。以下、各処理を詳細に説明する。
【0020】(ステップS1)対応点探索領域は、X軸
方向の座標位置DX(t)とY軸方向の座標位置D
Y(t)で求められ、対応点探索開始には該座標位置DX
(t)、DY(t)を初期化し、またサンプル時間間隔
tを適当な値に初期化する。
【0021】(ステップS2)サンプル時間演算部4に
より最初のサンプル指令を出す。
【0022】(ステップS3)サンプル指令を対応点探
索領域演算部3が受け取る。
【0023】(ステップS4)対応点探索領域演算部3
がる探索領域の演算を行い、座標位置DX(t)とD
Y(t)を求める。この演算は図3において後に詳細に
説明する。
【0024】(ステップS5)対応点探索領域演算部3
で求めた探索領域をメモリ5に格納する。
【0025】(ステップS6)メモリ5に格納した探索
領域をステレオ装置2及びサンプル時間演算部4に与え
る。ステレオ装置2は、カメラ1L,1Rの撮影画像に
設定される探索領域を調整し、この領域の対象物の奥行
きを対応点探索法で求める。
【0026】(ステップS7)サンプル時間演算部4
は、今回求められた対応点探索領域DX(t)、D
Y(t)と前回の領域DX(t−1)、DY(t−1)と
が一致するか否かを判定する。
【0027】(ステップS8)上記のステップS7の判
定で、探索領域が一致するときにサンプル指令の時間間
隔tを時間fだけ増した設定変更を行う。時間fは対象
物及び装置に予測される運動速度に応じて適当に設定さ
れる。
【0028】(ステップS9)上記のステップS7の判
定で、探索領域が不一致(領域変化)になるときにサン
プル指令の時間間隔tを時間fだけ減じた設定変更を行
う。
【0029】(ステップS10)サンプル時間演算部4
は、上記のステップS8またはS9で設定変更されたサ
ンプル指令の時間間隔tになるまでサンプル指令の発生
を待ち、その時刻になったときにサンプル指令を発生
し、ステップS3に戻って次の対応点探索領域演算を指
令する。
【0030】次に、ステップS4での対応点探索領域演
算部3による探索領域演算は、危険値Rに基づいて求め
られ、この処理は図3を参照して以下に説明する。
【0031】(ステップS11)探索領域DX(t)、
Y(t)の初期化及び領域変更量nの初期化を行う。
ここではDX(t)=4、DY(t)=1、n=0として
いる。
【0032】(ステップS12)探索領域DX(t)、
Y(t)に変更量n(=n+1)を加えた領域変更を
行う。
【0033】(ステップS13)変更された探索領域D
X(t)、DY(t)について危険値Rを求める。この危
険値Rの演算は、まず次式による最小相関値Cminを求
め、
【0034】
【数1】
【0035】式中の相関Corrは、2台のカメラからの
両画像の輝度から次式より求まる。
【0036】
【数2】
【0037】そして、危険値Rは、次式より求まる。
【0038】
【数3】
【0039】(ステップS14)上記のステップS13
で求める危険値Rについて、今回求めた危険値R
(DX,DY)と前回の探索領域での危険値R(DX-n
Y-n)から次式による評価関数D(n)を求める。
【0040】
【数4】D(n)={R(DX,DY)−R(DX-n,D
Y-n)}*R(DX,DY) (ステップS15)上記のステップS14で求めた評価
関数D(n)と前回の探索領域で求めた評価関数D(n
−1)の比が0.8と1.2の範囲にあり、かつ今回求め
た危険値R(DX,DY)がしきい値Tより小さいか否か
を判定し、この条件を満足しないときにはステップS1
2に戻って探索領域を変更し、条件を満足するときの探
索領域DX(t)、DY(t)を適正な対応点探索領域と
する。
【0041】なお、評価関数の比の範囲及びしきい値T
は適当に設定変更される。
【0042】したがって、探索領域DX(t)、D
Y(t)は、危険値Rが最も安定でかつ設定するしきい
値より小さい値になる領域として求められる。
【0043】
【発明の効果】以上のとおり、本発明によれば、対応点
探索法により対象物の奥行きを求めるにおいて、2台の
カメラが撮影した画像について最小相関値から危険値を
求め、この危険値が最も安定しかつ設定しきい値内にな
るときの領域を対応点探索領域として求め、この領域を
ステレオ装置の対応点探索領域として自動調整するよう
にしたため、以下の効果がある。
【0044】(1)対応点探索領域が小さくなり、ステ
レオ装置での対応点探索処理を容易にする。
【0045】(2)適正な対応点探索領域を設定でき、
ステレオ装置での奥行き演算の誤りを少なくする。
【0046】(3)対応点探索領域を自動調整でき、カ
メラの位置ずれ等に装置を停止及び探索領域調整作業を
必要とすることなく常に適正な探索領域設定と奥行き演
算ができる。
【0047】また、本発明は、対応点探索領域の変化の
有無で対応点探索領域の演算時間間隔を短縮または延長
するようにしたため、対象物とステレオ装置の相対位置
の変化量に応じた適切な領域調整間隔を得、しかも演算
処理回数を少なくする。
【図面の簡単な説明】
【図1】本発明の一実施例を示すシステム構成図。
【図2】実施例における演算フロー。
【図3】実施例における対応点探索領域の演算フロー。
【符号の説明】
1L、1R…カメラ 2…ステレオ装置 3…対応点探索領域演算部 4…サンプル時間演算部 5…メモリ

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 対象物を2台のカメラで撮影した一対の
    画像から対応点探索法により対象物の奥行きを求めるス
    テレオ装置を備えた立体視装置において、 前記2台のカメラの撮影画像をサンプル時間間隔で取り
    込み、該画像に対して順次設定変更する対応点探索領域
    の危険値を最小相関値から求め、該危険値の変化が少な
    くかつ設定する値よりも小さいことを条件として対応点
    探索領域を求め、この対応点探索領域を前記ステレオ装
    置の対応点探索領域とする演算手段を備えたことを特徴
    とする立体視装置。
  2. 【請求項2】 前記サンプル時間間隔は、前回求めた対
    応点探索領域に対して今回求めた対応点探索領域に変化
    が無いときに一定時間だけ長くし、変化が発生したとき
    に一定時間だけ短くすることを特徴とする請求項1記載
    の立体視装置。
JP07774094A 1994-04-18 1994-04-18 立体視装置 Expired - Fee Related JP3309556B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP07774094A JP3309556B2 (ja) 1994-04-18 1994-04-18 立体視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07774094A JP3309556B2 (ja) 1994-04-18 1994-04-18 立体視装置

Publications (2)

Publication Number Publication Date
JPH07287757A true JPH07287757A (ja) 1995-10-31
JP3309556B2 JP3309556B2 (ja) 2002-07-29

Family

ID=13642310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07774094A Expired - Fee Related JP3309556B2 (ja) 1994-04-18 1994-04-18 立体視装置

Country Status (1)

Country Link
JP (1) JP3309556B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102650514A (zh) * 2012-05-03 2012-08-29 秦毅 一种立体视觉***及其实时监控三维安全警示区域的应用

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102650514A (zh) * 2012-05-03 2012-08-29 秦毅 一种立体视觉***及其实时监控三维安全警示区域的应用
CN102650514B (zh) * 2012-05-03 2015-08-12 秦毅 一种立体视觉***及其实时监控三维安全警示区域的应用

Also Published As

Publication number Publication date
JP3309556B2 (ja) 2002-07-29

Similar Documents

Publication Publication Date Title
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP6685420B2 (ja) 自動車両の環境領域の2つの画像間の動き推定のための方法、コンピュータデバイス、運転者支援システム、及び自動車両
KR970001140B1 (ko) 거리측정 방법 및 장치
US7599548B2 (en) Image processing apparatus and image processing method
EP3296788B1 (en) Method of performing autofocus, autofocus system, and camera comprising an autofocus module
JP6708730B2 (ja) 移動体
WO2015004739A1 (ja) 監視システム、自動巡回ロボット、および監視方法
CN110942470A (zh) 图像处理装置
Franke Real time 3D-road modeling for autonomous vehicle guidance
JPH07119606B2 (ja) 追尾式車間距離検出装置
Viéville et al. Experimenting with 3D vision on a robotic head
JP2004093457A (ja) 画像処理装置、及び画像処理方法
CN113259589A (zh) 一种基线自适应调整的双目相机智能感知方法及其装置
US20100246893A1 (en) Method and Apparatus for Nonlinear Dynamic Estimation of Feature Depth Using Calibrated Moving Cameras
US20210185230A1 (en) Image capturing method and image capturing apparatus
JPH07287757A (ja) 立体視装置
JPH1139464A (ja) 車両用画像処理装置
JP6734994B2 (ja) ステレオ計測装置及びシステム
EP3288260A1 (en) Image processing device, imaging device, equipment control system, equipment, image processing method, and carrier means
JP2019212203A (ja) 3dモデル作成システム
JP6602089B2 (ja) 画像処理装置及びその制御方法
JPH0252204A (ja) 3次元座標計測装置
JPH1096607A (ja) 物体検出装置および平面推定方法
KR20010088884A (ko) 이동 물체의 실시간 검출 방법
JP2580516B2 (ja) 実時間3次元運動測定装置およびその方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090524

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees