JPH05332725A

JPH05332725A - ３次元立体視方法および装置

Info

Publication number: JPH05332725A
Application number: JP4143964A
Authority: JP
Inventors: Yuko Teranishi; 優子寺西; Makoto Shiotani; 真塩谷
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1992-06-04
Filing date: 1992-06-04
Publication date: 1993-12-14
Anticipated expiration: 2016-11-05
Also published as: JP3225594B2

Abstract

(57)【要約】【目的】適用する場所や処理速度の制限をのぞき、小型
で高速の３次元立体視を実現する。【構成】開口絞り１１のついた結像系１０，光軸方向に
可動な画像入力装置１３上の特徴点を検出するエッジ検
出手段１５を含む。開口絞り１１の開口径を変化させ
て、ぼけた画像を検出し、取り除くことによって、結像
点を抽出し、物体の大きさ・位置を求める。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、視覚システムに係り、
特に、３次元距離情報抽出機能を有する３次元立体視方
法およびその装置に関する。

【０００２】

【従来の技術】従来の方法は、特開昭61−240376号公報
のように、結像系を複数個用いて、一つの物体に対し複
数の像を得て、それらの像の位置や大きさの相互関係か
ら、物体の３次元情報を算出するというものであった。
しかし、被写体が複数であったり、複雑な形状の場合
は、どの像がどの物体に対応するものか特定するのが困
難であり、処理が複雑で時間がかかった。また、結像系
が複数なので、物体を正確にとらえようとすると、各結
像系の配置に制約条件が多くなり、画像入力装置が大き
くなる必要があるため、装置全体が大きく、複雑になっ
てしまうという問題があった。

【０００３】また、結像系は単一であるが、結像系の位
置を動かすことによって、静止物体をとらえる方法や、
光源の位置を動かすことによって、物体の明るさや影の
変化をとらえ、物体の形状を求める方法があった（白石
良明：パターン理解，オーム社，１９８７）。これらの
方法では、結像系または光源の位置を動かしたり、まわ
りの明るさを一定にする必要があるので、動いている物
体を即時に立体視することは不可能であり、また、装置
が大きく、処理に時間がかかるという問題があった。

【０００４】

【発明が解決しようとする課題】本発明の目的は、自動
車の障害物検知など、高速で、かつ、軽量・省スペース
の３次元認識装置に好適な３次元立体視方法および装置
を提供することにある。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、本発明では、結像系，画像入力装置をそれぞれ一つ
にし、装置の単純化を図った。また、結像系の位置を動
かすことなく、開口部を変化させるようにし、光源は特
に設けずとも、自然光など、あらゆる光の条件で立体視
が可能であるようにした。これにより、一つの物体（被
写系）に対して一度に検出される像は一つとなって、入
力画像の処理が簡単になり、また、結像系や光源の位置
を動かす必要がなくなるので、より高速に，よりリアル
タイムに処理することができる。

【０００６】

【作用】以下、図１を用いて、本発明の原理を説明す
る。図１において、焦点距離ＦＯの結像系，被写系
Ｐ′，画像入力装置Ｓを示す。点Ｏは結像系と光軸の交
点を示し、ＦおよびＦ′は結像系の焦点である。結像系
には開口絞りＱＲがあり、開口径を変化させることがで
きる。開口部の形状は円形とするが、特に形状に制約は
ない。また、開口径を変化させる代わりに、開口部の形
状を変化させても、同様の処理が可能である。画像入力
装置Ｓは、光軸方向に動くことができる。いま、画像入
力装置ＳがＡ１の位置にあるとする。絞りがＱＲの状態
では、被写系Ｐの像はＳ上ではＢＣの大きさにぼけた状
態となる。ここで、開口径をＱ′Ｒ′に狭めると、Ｓ上
の像もＢ′Ｃ′と小さくなる。ＳがＡ３の位置にあると
きも同様に、口径がＱＲのときの像ＤＥが、Ｑ′Ｒ′の
ときはＤ′Ｅ′と変化する。しかし、ＳがＡ２の位置に
あるときは、Ｓ上に真の結像点Ｐ′があるので像がぼけ
ず、従って結像系の開口径が変化しても、像の大きさや
形には変化がない。

【０００７】以上をまとめると、真の結像点がＳ上にあ
る場合は開口径の影響を受けず、その他のぼけた場合は
開口径が変化すると像も変化する。このような性質を利
用すれば、真の結合点を求めることができる。すなわ
ち、Ｓの位置を段階的に動かしながら、その各段階で開
口径を変化させて像に変化がなかったところが真の結像
点となる。真の結合点Ｐ′の位置と焦点Ｆ，Ｆ′から、
被写系Ｐの位置が求められる。結像系の焦点距離をｆ，
点Ｐの光軸からの距離をｘ，結像系からの距離をｙ，点
Ｐ′の光軸からの距離をＸ，結像系からの距離をＹとす
ると、ｘ，ｙは、次のように表される。

【０００８】

【数１】

【０００９】

【数２】

【００１０】物体の境界線は光の濃淡が大きく変化して
いるとして考えると、光の濃淡が変化しているところ
（特徴点）を上記の方法で求めていけば、物体の境界線
が判別される。特徴点も真の結像点にあれば、開口径の
変化に影響されないので、これにより物体の特徴点の位
置と大きさが求められ、特徴点の集合から物体の境界線
を得ることができる。

【００１１】これにより、従来複数あった結像系を一つ
にし、可変開口絞りを加えることにより、真の結像点を
求め、被写系の特徴点の位置を求めるようにしたため、
結像系は単一であり、従って、物体に対し一対一対応で
像が入力され、結像系や光源の位置を動かす必要がなく
なった。このため、従来の方法に比べ、装置・処理共に
単純になり、高速化，小型化が実現できるようになっ
た。

【００１２】

【実施例】以下、本発明の１実施例を説明する。図２
は、本実施例の構成図である。結像系１０の開口絞り１
１，絞りを操作する手段１２，画像入力装置１３，入力
装置操作手段１４，エッジ検出手段１５，エッジ記憶メ
モリ１６，アンド比較手段１７，位置検出手段１８，物
体記録メモリ１９からなる。

【００１３】以下、各手段の動作を説明する。開口径変
化手段１２は、絞り１１の径を変える手段である。エッ
ジ検出手段１５からのトリガを受け取ると、絞り１１の
径を変化させる。この場合、径の値は任意でよく、ま
た、最低２段階の径の変化があればよい。また、絞りの
形態は、カメラのシャッタのような機械的なものや、液
晶のような電磁的なものが考えられる。さらに、開口径
を変化させるかわりに、開口部の形状を変えてもよい。
これは、形状が変わった部分は、径の変化が起こったこ
とと同義にとらえることができるからである。

【００１４】入力装置操作手段１４は、画像入力装置１
３の位置を動かす手段である。エッジ検出手段１５から
画像入力装置１３の入力位置データを受け取ると、デー
タの位置に画像入力装置１３を動かし、画像入力装置１
３の画像データをエッジ検出手段１５に送る。本実施例
では、画像入力装置１３は、結像系１０の光軸に垂直に
置かれ、光軸方向に動くとする。しかし、画像入力装置
１３は、必ずしも光軸に垂直である必要はなく、光軸と
平行にならなければ、いかなる角度でも３次元立体視は
可能である。

【００１５】図３は、エッジ検出手段１５の動作を説明
するフローチャートである。エッジ検出手段１５は、画
像入力装置１３の初期位置をＸに設定し(ステップ１０
１)、画像入力装置を動かす回数Ｎのループに入る（ス
テップ１０２）。フラグｆに０を設定し（ステップ１０
３）、入力装置操作手段１４にデータＸを送信する（ス
テップ１０４)。入力装置操作手段１４から画像データ
を受信すると(ステップ１０５）、そのデータからエッ
ジを検出し（ステップ１０６）、エッジ記録メモリ１６
に記録する（ステップ１０７）。

【００１６】開口径変化手段１２へトリガをかけて（ス
テップ１０８）、フラグｆが０ならば、ｆに１を設定し
てステップ１０４へ戻り、そうでないならば、Ｘに画像
入力装置１３を動かす量ΔＸを加算して（ステップ１１
１）ループの先頭に戻る。このループをＮ回繰り返す。

【００１７】ΔＸの値は、小さいほど精度の高いデータ
が得られるが、ΔＸが小さくなりすぎると、具体的には
画像入力装置１３の精度よりΔＸが小さくなると、エッ
ジが動いたことが検出できなくなる可能性があるので、
誤った結像点を測定してしまうことになる。従って、Δ
Ｘの下限値は、画像入力装置１３の最小可能測定長とな
る。

【００１８】Ｎの値は、大きいほど広範囲のエッジを検
出できるが、これは、立体視する対象物体の大きさと、
装置全体の大きさの制約によって適宜決める。また、
Ｎ，ΔＸは、メモリ１６，１９の容量によっても制限さ
れる。つぎに、アンド比較手段１７は、エッジ記録メモ
リ１６の内容から、絞り１１が変化した２種類以上のエ
ッジデータのアンドをとり、その結果を位置検出手段１
８にわたす。このデータが、その時点で画像入力装置１
３上に真の結像点が存在するエッジを表している。

【００１９】位置検出手段１８は、アンド比較手段１７
から受け取ったエッジデータと、結像系１０の焦点距離
から、エッジデータに対応する被写系の位置を算出し、
その結果を物体記録メモリ１９に記録する。このように
各手段が動作することにより、被写系のエッジの位置を
検出することができる。本実施例では、絞りを変化させ
る前後のエッジデータのアンドをとるようにしたので、
真の結像点を容易に求めることができる。

【００２０】次に、本発明の第２の実施例を説明する。
第１の実施例では、絞りの変化を１回ずつとしたが、こ
の回数を増すことによって、結像点抽出の信頼度を上げ
ることができる。これは、１回の絞りの変化では、異な
るエッジが絞りの変化の前後で同位置となることが考え
られるためである。この偶然性を減らすためには、絞り
の変化を数段階に増やし、すべてのデータのアンドをと
る方法が有効であり、ハードウェアの変更が必要ないこ
とから最も容易な方法であるといえる。

【００２１】さらに本発明の第３の実施例を説明する。
開口部の径または形状を変化させる代わりに、開口部の
位置を変える方法もある。以下、図４で説明する。図２
の開口絞り１１の位置に、遮光板２０を置く。遮光板２
０には、開口部２１，２２があり、それぞれ単独で閉じ
ることができる構造とする。開口径変化手段１２は、あ
らかじめ開口部２２を閉じておき、エッジ検出手段１５
からのトリガを受けると、開口部２１を開け、開口部２
２を閉じる。これにより、結像系１０の開口部の形状が
変化するので、第１の実施例と同じ原理で３次元立体視
ができる。

【００２２】最後に、本発明の第４の実施例を説明す
る。図１において、画像入力装置ＳがＡ１の位置にある
とき、線分Ｑ′Ｂ′とＲ′Ｃ′の延長線の交点が真の結
像点Ｐ′になるため、画像入力装置Ｓの位置を動かさな
くてもＰ′を求めることができる。この原理から、開口
部の径や形状を変化させた画像を複数種類とることで、
ぼけのない画像を作り出す。

【００２３】図５は、本実施例のブロック図である。画
像入力装置は移動させる必要がないので、図２における
入力操作手段１４は省略できる。結像点算出手段３０
は、エッジ記録メモリ１６内の同じ被写系に対するエッ
ジ位置情報と、開口径，画像入力装置の位置から、真の
結像点の位置を求め、位置検出手段１８に結像点の位置
情報を送る。エッジ検出手段１５の動作は、第１の実施
例の図３におけるループ１０２を除いたものとなる。従
って、本実施例では、第１の実施例に対して、高速で処
理できる。また、画像入力装置１３を移動させる必要が
ないので、装置全体が小さくなるという利点がある。

【００２４】さらに、第１，３，４の実施例の応用とし
て、開口部を移動させたり、回転させて、開口径や形状
を変化させる方法がある。また、開口部を結像系と画像
入力装置の間に置く替わりに、結像系の被写系側に置く
方法もある。

【００２５】

【発明の効果】本発明によれば、結像系や画像入力装置
が単一の構造なので、装置全体の簡略化，小型化が実現
された。また、動作が単純なため、高速化が図れた。結
像系の開口径を変化させ、ぼけた画像を消去するように
したため、正確な被写系の位置を測定できるようになっ
た。

【００２６】本発明では、光学系を対象としたが、本発
明の原理は、電磁波系，超音波系，電子ビーム系，弾性
派系，音響系などの伝播系に利用できるので、広範囲の
用途に使用できる。

【図面の簡単な説明】

【図１】本発明の原理説明図。

【図２】第１の実施例のブロック図。

【図３】第１の実施例のエッジ検出手段の動作のフロー
チャート。

【図４】第３の実施例のブロック図。

【図５】第４の実施例のブロック図。

【符号の説明】

１０…結合系、１１…開口絞り、１２…開口径変化手
段、１３…画像入力装置、１４…入力装置操作手段、１
５…エッジ検出手段、１６…エッジ記録メモリ、１７…
アンド比較手段、１８…位置検出手段、１９…物体記録
メモリ。

Claims

【特許請求の範囲】

【請求項１】同一の被写系を、光学系の開口径もしくは
開口形状を変えて撮影し、得られた複数の画像上の各被
写系のぼけの程度を比較することを特徴とする３次元立
体視方法。
【請求項２】請求項１において、ぼけの程度と被写系ま
での距離を対応させる手段を有する３次元立体視方法。
【請求項３】請求項１において、複数の画像からぼけの
ない画像を作成する３次元立体視方法。
【請求項４】請求項１において、結像系と、画像入力装
置と、前記結像系の開口径を変化させて被写系の位置を
測定する手段からなる３次元立体視方法。
【請求項５】請求項１または４において、結像系と、前
記結像系の開口径を変化させる手段と、画像入力装置
と、前記画像入力装置の位置を動かす手段と、入力画像
の特徴点を抽出する手段と、前記特徴点を記録するメモ
リと、前記特徴点を比較する手段とを有する３次元立体
視装置。
【請求項６】請求項１または４において、開口径可変で
ある単一の結像系と、面状で可動である画像入力装置
と、画像の特徴点を検出する手段と、画像情報を記録す
るメモリを用い、画像入力装置が真の結像点にない場合
は開口径が変化するとぼけの程度が変化するという光学
系の性質を利用する手段と、物体の位置を測定する手段
からなる３次元立体視装置。
【請求項７】請求項４において、結像系の開口径を変え
る代わりに、開口部の形状を変化させる手段を用いて被
写系の位置と大きさを測定する３次元立体視方法。
【請求項８】請求項１または４において、画像入力装置
の位置を段階的に変化させ、各段階でそれぞれ結像系の
開口部の径または形状を少なくとも１回変化させ、特徴
点の動かない部分を抽出する３次元立体視方法。
【請求項９】請求項８において、画像入力装置の位置を
結像系の光軸方向に動かす３次元立体視方法。
【請求項１０】請求項１または４において、結像系と画
像入力装置の間に複数カ所の開口部のある遮光板を置く
３次元立体視装置。
【請求項１１】請求項１または４において、結像系と被
写系の間に複数カ所の開口部のある遮光板を置く３次元
立体視装置。
【請求項１２】請求項１０または１１において、遮光板
の複数カ所の開口部を１カ所ずつ順に開く手段を持つ３
次元立体視装置。
【請求項１３】請求項１０または１１において、遮光板
の複数カ所の開口部それぞれに対応した画像入力装置を
置き、前記各画像入力装置は、対応した開口部を通る画
像を入力する３次元立体視方法。
【請求項１４】請求項１または４において、結像系に凸
レンズを用いる３次元立体視装置。