JP2006105771A

JP2006105771A - 撮像装置および地形図作成装置

Info

Publication number: JP2006105771A
Application number: JP2004292532A
Authority: JP
Inventors: Yoshihiko Konno; 吉彦今野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-10-05
Filing date: 2004-10-05
Publication date: 2006-04-20

Abstract

【課題】小型の機器で一度の撮影動作で立体情報を得ることが出来なかった
【解決手段】
撮影レンズと、撮像素子と、前記撮影レンズの少なくとも二つの異なった瞳領域を通った光束から得られる画像を独立して取り込む画像取り込み手段と、前記画像取り込み手段から得られた少なくとも二つの画像から被写体の距離分布情報を検出する検出手段と、該二つの画像から該距離分布情報に対応して被写体の距離毎に画像を分離する分離手段と、前記二つの瞳領域とは異なった視差を持つ一対の立体画像に再合成する合成手段を有する事で、1回の撮影で所望の視差を持つ立体画像を得ることが出来る。
更に、撮像場所の位置と高さと方向を検出する撮像位置検出手段と、前記画像の少なくとも一つと距離分布情報と撮像位置情報から等高線を含む地図情報を生成する地図情報生成手段を有する事で、等高線のついた実写地形図を作成することが出来る。
【選択図】図１

Description

本発明は、被写体距離情報に基づいて立体画像のための情報を得ることの出来る撮像装置および地形図作成装置に関するものである。

従来から立体画像カメラに関し、数多くの提案がなされている。

特開昭50-23740号公報に開示されている図形認識装置では、二台のカメラで被写体を撮影して左眼と右目による視差分が左右にシフトされたものの再生画像を得るようにしたものである。

特公昭55-36240号公報に開示されている立体画像表示装置は、平面画面情報と奥行き情報を組み合わせて立体画像情報を得るようにした立体画像表示装置で、この装置における奥行き情報は二台のカメラで撮影した画像情報の相関から得たり、超音波もしくは電波等による高度測定手段を利用して得るようにしている。

特許第3112485号公報に開示されている立体電子スチルカメラでは、フォーカシングレンズをスキャンしてコントラストピークの分布を検出することで、被写体距離分布を検出している。
特開昭50-23740号公報特公昭55-36240号公報特許第3112485号公報

しかしながら、上記従来例では、小型の機器で一回の取り込みで立体情報を得ることができなかった。

特開昭50-23740号、特公昭55-36240号の従来例では、立体情報を得る為の装置が大型化・複雑化する事が避けられなかった。

特許第3112485号による従来例では、フォーカシングレンズのスキャンの時間に被写体が動いてしまうような場合には正確な距離情報を得ることができない。

前記課題を解決するために、本発明による撮像装置は、撮影レンズと、撮像素子と、前記撮影レンズの少なくとも二つの異なった瞳領域を通った光束から得られる画像を独立して取り込む画像取り込み手段と、前記画像取り込み手段から得られた少なくとも二つの画像から被写体の距離分布情報を検出する検出手段と、該二つの画像から該距離分布情報に対応して被写体の距離毎に画像を分離する分離手段と、前記二つの瞳領域とは異なった視差を持つ一対の立体画像に再合成する合成手段を有する事を特徴とする。

前記手段により、本発明は、小型の機器で一回の取り込みで立体情報を得ることにより、立体画像を得ることが出来る。

また、視差の拡大や縮小も行うことが出来る。

〔第一の実施の形態〕
図1〜図7は本発明の実施の形態を示し、図1は本発明の撮像装置の主要ブロック図である。

本撮像装置は撮像とデフォーカス検知が同時に行うことのできる2次元撮像素子を利用し、被写体像とデフォーカス分布を同時に取り込み、そのデフォーカス分布情報に基づいて3次元画像情報を生成する。

図1において、1は撮像手段で、撮像手段1は特許公開2002-14277号公報等で示されている従来例の撮像素子と同様に構成され、撮像と同時にデフォーカス分布を取得する事が可能になっている。

2はデフォーカス検出手段で、全画面のデフォーカス分布情報を出力する。

3はデフォーカスマップ記憶手段で、デフォーカス検出手段2の出力を全画面を所定の領域毎に分割し、それぞれの領域の代表デフォーカス値を算出して記憶する。

4は画像処理手段で、撮像手段1の出力信号から、カラーマトリックス処理やガンマ処理等の所定の画像処理を行い、画像データーとして画像一時記憶手段5に記憶する。

6は三次元画像生成手段で、三次元画像生成手段6はデフォーカスマップ記憶手段3に記憶されたデフォーカス分布情報に基づき、画像データーを視差を持つ一対の画像データーに変換する。

デフォーカスマップで示されている距離情報は所定の観察系を仮定したときの視差情報に変換される。所定の観察系とは、自然な立体感を得るためには人間の両目の間隔で得られる観察系であり、より強調された立体感を得るためにはより大きな間隔を持った観察系となる。

観察系の二眼の間隔が決定されると、距離ごとの視差が演算で求められる。

距離ごとの視差がデフォーカスマップに対応した視差マップとして得られると、視差情報に基づき画像データーがずれを持った一対のデーターとして再構成される。

再構成時に、画像データーの距離ごとの分離を行う必要が生じるが、ある距離領域毎にまとめて代表距離として変換する事もできる。代表距離を用いるときには、被写体を画像認識し、距離ごとの被写体の輪郭を抽出しこの輪郭領域内は同一代表距離として像を作成するとよい。

この処理を行うことで、画像の距離測定誤差が生じても、画像に著しい違和感を生じさせる事を回避できる。

再構成時に、手前の被写体の影から現れてくるはずの画像は実際の視差像が無いため周辺の画像から演算で生成される。

7は等距離情報生成手段で、デフォーカスマップのデフォーカス情報の等距離位置を結んだ等距離線図データーを生成する。

図２は本発明の撮像装置の構成図である。

同図において、10は撮像装置本体、11は撮像装置の撮影レンズ、12は光学ローパスフィルター、13は赤外カットフィルタ、14は撮像素子である。撮像素子14は図３で示された構成をとっており、固体撮像素子で構成されている。

図３において、カラーフィルターを有したフォトダイオード配列は2つずつペアとなり一つのマイクロレンズと対応している。

上記構成で、G111-G311・・・、G112-G312・・・の様に同一色のカラーフィルターを持ち個々のマイクロレンズの同じ側に対応したフォトダイオードを一組のものとし、各々の相関を取ることでデフォーカス分布を得ることが可能となっている。本実施例では、カラーフィルターを考慮し、RGBそれぞれについて相関を取っている。

もちろん白黒タイプでよければ、その必要は無い。

この撮像素子から得られる像信号は、レンズの異なった瞳位置から来る光束が2像として分離されて出力される。

この2像の相関を取ることで、距離情報を得ることが出来る。

15はタイミングジェネレーター(TG)で、撮像素子14の駆動を行っている。

16はA/D変換器(A/D)で、撮像素子14から出力されてくるアナログ信号をサンプリングしてデジタル信号に変換する。

17は一次バッファメモリで、A/D変換器の出力データーを一時記憶する。

撮影レンズ11〜一次バッファメモリ17が、図1の撮像手段1に対応している。

18は相関演算回路で、図1のデフォーカス検出手段2に対応している。

相関演算回路18は、一次バッファメモリ17に蓄えられた2像の相関を画面全体に対して行い、画面の部分ごとにデフォーカス量を決定していく。

図４は2系列データーを説明する為の特性図で、二系列の信号の相関を取ることによりデフォーカス量と方向に応じ、かつ画面の部分毎にそこに対応したズレ量(Δ1、Δ2・・・)が得られる。

決定されたデフォーカス量がデフォーカスバッファメモリ19に記憶される。

20は画像前処理プロセッサ、22は画像バッファメモリである。

画像前処理プロセッサ20は一次バッファメモリ17の画像データーに対し、カラーマトリックス処理・ガンマ処理・ノイズ低減処理等を行い、画像バッファメモリ22に2枚の画像として蓄える。

23はCPUで、カメラ全体のコントロールと、三次元データー化処理、記録処理等を行う。

24は外部インターフェース、25は外部記憶装置である。外部記憶装置25はフラッシュメモリ等の不揮発記憶媒体で構成されている。

26は撮影指示手段であるところのレリーズスイッチ、27はメニューボタン、28は設定などの選択をするための十字キー、29はセットボタンである。

30は電源スイッチで、撮像装置の電源のオン・オフを行う。

31は表示手段であるところの表示パネルで、表示パネル30はバックライト付きのTFTカラー液晶パネルで構成されている。

表示パネル31は、撮影時のフレーミング決定のためのファインダーと、撮影画像の確認、等距離マップ確認、および撮像装置の各種設定の為のメニュー操作に使用される。

次に、図５のフローチャートを用いて撮像装置の動作を説明する。

電源スイッチ30がオンになると、S101から動作が始まる。
(S101)
ファインダーモードに撮像素子14等を設定し、撮像素子14の信号をリアルタイムに取り出し、ファインダー像として表示パネル31に画像表示を行う。
(S102)
電源スイッチ30がオフになると、機器の動作を終了させる。
(S103)
レリーズスイッチ26が押されたら、S150に処理を移行する。
(S104)
メニューボタン27が押されたら、S110に処理を移行する。

押されていなければ、S102に戻る。

S102〜S104で機器の操作入力を監視している。
(S110)
撮像素子14をオフにする。
(S111)
表示パネル31にメニュー表示を行う。

このとき、メニューのデフォルトの選択項目を反転表示し、現在のメニューの選ばれている内容を示す。

メニューの表示形態を図6に示す。
(S112)
メニューボタン27が押されたらS101に進む。
(S113)
十字キー28またはセットボタン29から入力があればS120に進む。
(S114)
電源スイッチ30がオフになると、機器の動作を終了させる。

いずれの入力も無ければS112に戻る
(S120)
メニュー設定処理を行う。

メニュー設定処理では、以下の処理を行う。

十字キー28の上下が押された時には、メニューの項目間の移動を行う。

十字キー28の左右が押された時には、階層メニューへの出入りを行う。右を押すと下の階層に、左を押すと上の階層に移る。

セットボタン29で項目の設定値を決定する。
(S121)
設定値が変更されていたら、所定の設定変更を行う。

その後S112に戻る。

S150から、撮影とデーター作成のシーケンスが行われる。
(S150)
CPU23はTG15を本撮影モードに設定する。
(S151)
CPU23はTG15を介して撮像素子14を駆動し、本撮影を実行する。
(S152)
撮像素子14の出力はA/D16によりデジタルデーターに変換され、一次バッファメモリ17に記憶される。
(S153)
相関演算回路18により、一次バッファメモリ17に蓄えられた2像の相関を画面全体に対して行い、画面の部分ごとにデフォーカス量を計算してデフォーカスバッファメモリ19に記憶する。このデフォーカス量が被写体距離に対応している。
(S154)
画像前処理プロセッサ20は一次バッファメモリ17の画像データーに、カラーマトリックス処理・ガンマ処理・ノイズ低減処理等を行い、画像バッファメモリ22に2枚の画像として蓄える。
(S155)
CPU23は、画像バッファメモリ22に蓄えられた画像に対し、デフォーカスバッファメモリ19の値を参照しながら、被写体の像分離を行う。

像分離にあたっては、デフォーカス量の値が近似しており、かつ被写体の輪郭が認識できた部分については一つのまとまった像として分離するとともに、代表デフォーカス値を設定する。

また、画像は元々2枚あるが、この時点で一枚に合成される。

像分離された画像は画像バッファメモリ22に分離された状態で、代表デフォーカス値とともに記憶される。
(S156)
S155で生成された分離像を代表デフォーカス値から得られる被写体距離に応じて所定の視差を持つ様にずらした一対の画像を生成する。この処理を全ての分離像に対して行う。
(S157)
S156で得られた像を2枚の画像に合成する。

この時、重ね合わせで不足する領域の像は、奥にある像から補間演算で生成する。
(S158)
デフォーカスバッファメモリ19の値を参照し、被写体距離を所定間隔で分割したときの等被写体距離線図を作成する。
(S159)
外部インターフェース24を介し、外部記憶装置25に2枚の画像と等被写体距離線図をセットで記憶する。

この時、関連したファイル名にしても良いし、一つのデーターとしてまとめて記憶する方式や、タグ情報を付加する方式でも良い。
また、撮像装置の設定によって、記憶される内容は変化する。
(S160)
ファインダーモードに撮像素子14等を設定し、撮像素子14の信号をリアルタイムに取り出し、ファインダー像として表示パネル31に画像表示を行う。

その後S102に戻る。

以上で撮像装置の動作が行われる。

[第二の実施の形態]
図７〜８は本発明の第二の実施の形態を示し、無線コントロール式の小型航空機に内蔵された例を示している。

第一の実施の形態と対応する部分には同じ番号を振ってある。

50は撮像装置本体で、無線コントロール式の小型航空機の機能を有している。

撮像装置本体50は、無線送受信機51が内蔵され、無線でコントロール可能になっている。

52はエンジン、53は操舵装置である。

55は位置を把握する為のGPSユニット、56は機器の方位を把握する為の方位検知ユニット、57は機器の加速状況を把握する為の加速度センサー、58は機器の高度を把握する為の高度センサー、59は機器の速度を把握する為の対地速度センサー、60は機器の傾きを把握する為の傾斜センサーである。

55〜60のセンサー類で、撮像装置の空間上の位置と方向を把握する。

61はコントローラーである。

コントローラー61には、送受信機62が内蔵され、撮像装置本体50と無線で通信を行う。

63は操作レバーで、撮像装置本体50の飛行動作の操縦を行う。

64は表示パネルで、撮像装置本体50の撮像部から送られる画像を表示する。

65は撮影指示スイッチである。

66はCPU、67はバッファメモリである。

本実施の形態では、撮像装置本体50を遠隔操作し、自由なタイミングで撮影・記録動作を行うことが出来る。

撮影〜記録の動作は第一の実施の形態に加えて、撮影時の位置情報も同時に記録される。

この位置情報を元にして、撮影した立体像と等距離線図で地上の高さ情報も含めた詳細な実画像情報をもつ地形図を作成する事が出来る。

また、所定距離移動ごとや所定時間ごと等に自動的に撮影〜データー作成〜記録動作を行うようにしても良い。

その様に構成すれば、広範囲の地形図データーを簡易に取得する事が出来る。

撮像装置の主要ブロック図撮像装置の構成図撮像素子の構成図２系列データーの特性図撮像装置の動作を示すフローチャートメニューの説明図第二の実施の形態の撮像装置の構成図コントローラーの構成図

符号の説明

１撮像手段
２デフォーカス検出手段
３デフォーカスマップ記憶手段
４画像処理手段
５画像一時記憶手段
６三次元画像生成手段
７等距離情報生成手段

Claims

撮影レンズと、撮像素子と、前記撮影レンズの少なくとも二つの異なった瞳領域を通った光束から得られる画像を独立して取り込む画像取り込み手段と、前記画像取り込み手段から得られた少なくとも二つの画像から被写体の距離分布情報を検出する検出手段と、該二つの画像から該距離分布情報に対応して被写体の距離毎に画像を分離する分離手段と、前記二つの瞳領域とは異なった視差を持つ一対の立体画像に再合成する合成手段を有する事を特徴とする撮像装置。
撮影レンズと、撮像素子と、前記撮影レンズの少なくとも二つの異なった瞳領域を通った光束から得られる画像を独立して取り込む画像取り込み手段と、前記画像取り込み手段から得られた少なくとも二つの画像から被写体の距離分布情報を検出する検出手段と、前記距離分布情報から所定の距離毎に等距離領域を示す等距離線を生成する事を特徴とする撮像装置。
撮影レンズと、撮像素子と、前記撮影レンズの少なくとも二つの異なった瞳領域を通った光束から得られる画像を独立して取り込む画像取り込み手段と、前記画像取り込み手段から得られた少なくとも二つの画像から被写体の距離分布情報を検出する検出手段と、撮像場所の位置と高さと方向を検出する撮像位置検出手段と、前記画像の少なくとも一つと距離分布情報と撮像位置情報から等高線を含む地図情報を生成する地図情報生成手段を有する事を特徴とする地形図作成装置。
請求項３記載の地形図作成装置において、少なくとも前記撮像手段を空間的に移動させる移動手段を有し、前記移動手段による前記撮像手段の移動に伴い複数の地図情報を生成する事を特徴とする地形図作成装置。