JP2000310531A - 距離画像生成装置及び方法 - Google Patents
距離画像生成装置及び方法Info
- Publication number
- JP2000310531A JP2000310531A JP11120650A JP12065099A JP2000310531A JP 2000310531 A JP2000310531 A JP 2000310531A JP 11120650 A JP11120650 A JP 11120650A JP 12065099 A JP12065099 A JP 12065099A JP 2000310531 A JP2000310531 A JP 2000310531A
- Authority
- JP
- Japan
- Prior art keywords
- image
- zoom
- focus
- camera
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Measurement Of Optical Distance (AREA)
Abstract
(57)【要約】
【課題】 ズーム調整機能を有するカメラを有し、カメ
ラのズーム状態に応じて変化するフォーカスを調整し、
高品質の距離画像を生成する。 【解決手段】 フォーカス調整機能を有するカメラ2を
1以上有し複数のカメラからなる撮像手段2,3と、フ
ォーカス調整機能を有するカメラ2で撮像された画像と
当該画像上の点に対応するフォーカス調整がなされてい
ない画像上の点とを比較して類似度を示す評価値を生成
して適正なフォーカス状態を検出するフォーカス検出手
段7と、上記フォーカス検出手段で検出されたフォーカ
ス状態における画像と、フォーカス調整が施されていな
い画像とを用いて、いずれかのカメラと撮像対象物との
距離を示す距離画像を生成する距離画像生成手段7とを
備える。
ラのズーム状態に応じて変化するフォーカスを調整し、
高品質の距離画像を生成する。 【解決手段】 フォーカス調整機能を有するカメラ2を
1以上有し複数のカメラからなる撮像手段2,3と、フ
ォーカス調整機能を有するカメラ2で撮像された画像と
当該画像上の点に対応するフォーカス調整がなされてい
ない画像上の点とを比較して類似度を示す評価値を生成
して適正なフォーカス状態を検出するフォーカス検出手
段7と、上記フォーカス検出手段で検出されたフォーカ
ス状態における画像と、フォーカス調整が施されていな
い画像とを用いて、いずれかのカメラと撮像対象物との
距離を示す距離画像を生成する距離画像生成手段7とを
備える。
Description
【0001】
【発明の属する技術分野】本発明は、ズーム調整機能を
利用して撮像対象物を撮像するカメラと撮像対象物との
距離を示す距離画像を生成する距離画像生成装置及び方
法に関する。
利用して撮像対象物を撮像するカメラと撮像対象物との
距離を示す距離画像を生成する距離画像生成装置及び方
法に関する。
【0002】
【従来の技術】所定の位置に配置された基準カメラと、
当該基準カメラの周囲に配置された検出カメラとからな
り、基準カメラと撮像対象物との距離を求める多眼ステ
レオシステムにおいては、二眼のステレオシステムが有
する、撮像対象物が複数ある場合において前景の撮像対
象物が背景の撮像対象物に隠れるオクルージョンのある
画像や周期的なパターンに弱い等の欠点を補い、より高
精度な距離画像を生成することが可能である。具体的に
は、本願出願人により出願された特願平9−99333
号や特願平9−288479号に開示されている手法を
用いる。
当該基準カメラの周囲に配置された検出カメラとからな
り、基準カメラと撮像対象物との距離を求める多眼ステ
レオシステムにおいては、二眼のステレオシステムが有
する、撮像対象物が複数ある場合において前景の撮像対
象物が背景の撮像対象物に隠れるオクルージョンのある
画像や周期的なパターンに弱い等の欠点を補い、より高
精度な距離画像を生成することが可能である。具体的に
は、本願出願人により出願された特願平9−99333
号や特願平9−288479号に開示されている手法を
用いる。
【0003】また、上述の多眼カメラシステムにおい
て、基準カメラにズーム調整機能を持たせ、ズーム状態
を可変としている。ズーム調整機能を有する基準カメラ
を備えた多眼カメラシステムでは、最適なズームスケー
ル(倍率)、並びにその他のレンズ歪み、レンズ中心等
のズームに関するパラメータを推定して画像変換する機
能を付加することにより、基準カメラと撮像対象物との
距離を測定することがなされている(特願平10−17
3522号参照)。
て、基準カメラにズーム調整機能を持たせ、ズーム状態
を可変としている。ズーム調整機能を有する基準カメラ
を備えた多眼カメラシステムでは、最適なズームスケー
ル(倍率)、並びにその他のレンズ歪み、レンズ中心等
のズームに関するパラメータを推定して画像変換する機
能を付加することにより、基準カメラと撮像対象物との
距離を測定することがなされている(特願平10−17
3522号参照)。
【0004】
【発明が解決しようとする課題】しかし、上述の多眼カ
メラシステムにおいて、基準カメラのズームスケールを
変化させて、基準カメラと被写体との距離を計測すると
きには、基準カメラで撮像する基準画像のフォーカスが
検出画像と同様に合っていて、多眼カメラシステムのキ
ャリブレーション時と比較して同等な画質が得られる場
合に限られる。ここで、上記キャリブレーションとは、
基準カメラと各検出カメラとを略同一の視野角とした場
合における基準画像上の点に対応する各検出画像上の点
を求める処理であり、距離画像を生成する前提として行
う処理である。
メラシステムにおいて、基準カメラのズームスケールを
変化させて、基準カメラと被写体との距離を計測すると
きには、基準カメラで撮像する基準画像のフォーカスが
検出画像と同様に合っていて、多眼カメラシステムのキ
ャリブレーション時と比較して同等な画質が得られる場
合に限られる。ここで、上記キャリブレーションとは、
基準カメラと各検出カメラとを略同一の視野角とした場
合における基準画像上の点に対応する各検出画像上の点
を求める処理であり、距離画像を生成する前提として行
う処理である。
【0005】そこで、本発明は、上述したような実情に
鑑みて提案されたものであり、ズーム調整機能を有する
カメラを有し、カメラのズーム状態に応じて変化するフ
ォーカスを調整し、高品質の距離画像を生成することが
できる距離画像生成装置及び方法を提供することを目的
とする。
鑑みて提案されたものであり、ズーム調整機能を有する
カメラを有し、カメラのズーム状態に応じて変化するフ
ォーカスを調整し、高品質の距離画像を生成することが
できる距離画像生成装置及び方法を提供することを目的
とする。
【0006】
【課題を解決するための手段】上述の課題を解決する本
発明に係る距離画像生成装置は、フォーカス調整機能を
有するカメラを1以上有し複数のカメラからなる撮像手
段と、上記フォーカス調整機能を有するカメラで撮像さ
れた画像と当該画像上の点に対応するフォーカス調整が
なされていない画像上の点とを比較して類似度を示す評
価値を生成して適正なフォーカス状態を検出するフォー
カス検出手段と、上記フォーカス検出手段で検出された
フォーカス状態における画像と、フォーカス調整が施さ
れていない画像とを用いて、いずれかのカメラと撮像対
象物との距離を示す距離画像を生成する距離画像生成手
段とを備えることを特徴とするものである。
発明に係る距離画像生成装置は、フォーカス調整機能を
有するカメラを1以上有し複数のカメラからなる撮像手
段と、上記フォーカス調整機能を有するカメラで撮像さ
れた画像と当該画像上の点に対応するフォーカス調整が
なされていない画像上の点とを比較して類似度を示す評
価値を生成して適正なフォーカス状態を検出するフォー
カス検出手段と、上記フォーカス検出手段で検出された
フォーカス状態における画像と、フォーカス調整が施さ
れていない画像とを用いて、いずれかのカメラと撮像対
象物との距離を示す距離画像を生成する距離画像生成手
段とを備えることを特徴とするものである。
【0007】この距離画像生成装置によれば、フォーカ
ス調整が必要な画像を用いて距離画像を生成するとき、
カメラのフォーカス調整に応じて評価値を生成し、評価
値が最も小さい距離画像を生成する。
ス調整が必要な画像を用いて距離画像を生成するとき、
カメラのフォーカス調整に応じて評価値を生成し、評価
値が最も小さい距離画像を生成する。
【0008】また、本発明に係る距離画像生成方法は、
フォーカス調整機能を用いて撮像対象物を撮像して画像
を生成する1以上のカメラを含む複数のカメラのうち、
上記フォーカス調整機能を有するカメラのフォーカス状
態を検出する第1のステップと、フォーカス状態を所定
の範囲内で変化させて、上記フォーカス調整をしたとき
の画像と当該画像上の点に対応するフォーカス調整をし
ていない画像上の点とを比較して、類似度を示す評価値
を生成する第2のステップと、適正な評価値におけるフ
ォーカス状態を検出する第3のステップと、上記適正な
フォーカス状態でフォーカス調整をした画像と、フォー
カス調整をしていない画像とを用いて、上記フォーカス
調整機能を有するカメラと撮像対象物との距離を示す距
離画像を生成する第4のステップとを有することを特徴
とする。
フォーカス調整機能を用いて撮像対象物を撮像して画像
を生成する1以上のカメラを含む複数のカメラのうち、
上記フォーカス調整機能を有するカメラのフォーカス状
態を検出する第1のステップと、フォーカス状態を所定
の範囲内で変化させて、上記フォーカス調整をしたとき
の画像と当該画像上の点に対応するフォーカス調整をし
ていない画像上の点とを比較して、類似度を示す評価値
を生成する第2のステップと、適正な評価値におけるフ
ォーカス状態を検出する第3のステップと、上記適正な
フォーカス状態でフォーカス調整をした画像と、フォー
カス調整をしていない画像とを用いて、上記フォーカス
調整機能を有するカメラと撮像対象物との距離を示す距
離画像を生成する第4のステップとを有することを特徴
とする。
【0009】この距離画像生成方法によれば、フォーカ
ス調整が必要な画像を用いて距離画像を生成するとき、
カメラのフォーカス調整に応じて評価値を生成し、評価
値が最も小さい距離画像を生成する。
ス調整が必要な画像を用いて距離画像を生成するとき、
カメラのフォーカス調整に応じて評価値を生成し、評価
値が最も小さい距離画像を生成する。
【0010】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら詳細に説明する。
て図面を参照しながら詳細に説明する。
【0011】本発明が適用可能な距離画像生成装置1
は、図1及び図2に示すように、基準カメラ2と、基準
カメラ2の周囲に配された検出カメラ3とを有する。
は、図1及び図2に示すように、基準カメラ2と、基準
カメラ2の周囲に配された検出カメラ3とを有する。
【0012】基準カメラ2は、図1に示すように、複数
台のカメラのうち、略中央位置に配置され、撮像対象物
を撮像して濃淡画像(以下、基準画像と称する。)を生
成する。この基準カメラ2は、撮像対象物を撮像すると
き、ズームにより視野角を増減させるズーム機構を備え
ている。ズーム機構は、例えばポテンシオメータで構成
される検出機構によりそのズーム状態が検出される。ポ
テンシオメータは、ズーム機構のズーム状態に応じて出
力電圧を生成し、当該出力電圧をエンコードしてセンサ
信号を生成する。
台のカメラのうち、略中央位置に配置され、撮像対象物
を撮像して濃淡画像(以下、基準画像と称する。)を生
成する。この基準カメラ2は、撮像対象物を撮像すると
き、ズームにより視野角を増減させるズーム機構を備え
ている。ズーム機構は、例えばポテンシオメータで構成
される検出機構によりそのズーム状態が検出される。ポ
テンシオメータは、ズーム機構のズーム状態に応じて出
力電圧を生成し、当該出力電圧をエンコードしてセンサ
信号を生成する。
【0013】なお、ズーム状態を検出する検出機構とし
ては、ポテンシオメータのみならず、基準カメラ2内の
レンズに対して外部から接続して使用するロータリーエ
ンコーダ等も使用可能である。
ては、ポテンシオメータのみならず、基準カメラ2内の
レンズに対して外部から接続して使用するロータリーエ
ンコーダ等も使用可能である。
【0014】検出カメラ3は、基準カメラ2の周囲に配
されたカメラであり、撮像対象物を撮像して濃淡画像
(以下、検出画像と称する。)を生成する。
されたカメラであり、撮像対象物を撮像して濃淡画像
(以下、検出画像と称する。)を生成する。
【0015】これら基準カメラ2及び検出カメラ3によ
り撮像された基準画像B及び検出画像D1〜D4は、基
準カメラ2及び検出カメラ3のズームスケールをキャリ
ブレーション時に使用した状態に固定とすると、図3に
示すように、各カメラの配置に応じた絵柄の基準画像B
及び検出画像D1〜D4を撮像する。
り撮像された基準画像B及び検出画像D1〜D4は、基
準カメラ2及び検出カメラ3のズームスケールをキャリ
ブレーション時に使用した状態に固定とすると、図3に
示すように、各カメラの配置に応じた絵柄の基準画像B
及び検出画像D1〜D4を撮像する。
【0016】また、この距離画像生成装置1は、図2に
示すように、基準カメラ2のズーム状態を検出するズー
ムセンサ信号検出部4と、基準カメラ2のフォーカス状
態を検出するフォーカスセンサ信号検出部5と、基準カ
メラ2及び検出カメラ3で撮像した基準画像及び検出画
像が格納されるフレームメモリ6と、フレームメモリ6
からの基準画像及び検出画像を用いて距離画像を生成す
る距離画像生成部7と、基準カメラ2のフォーカスを制
御する制御部8とを備える。
示すように、基準カメラ2のズーム状態を検出するズー
ムセンサ信号検出部4と、基準カメラ2のフォーカス状
態を検出するフォーカスセンサ信号検出部5と、基準カ
メラ2及び検出カメラ3で撮像した基準画像及び検出画
像が格納されるフレームメモリ6と、フレームメモリ6
からの基準画像及び検出画像を用いて距離画像を生成す
る距離画像生成部7と、基準カメラ2のフォーカスを制
御する制御部8とを備える。
【0017】ズームセンサ信号検出部4は、基準カメラ
2と接続されており、上述の検出機構からのセンサ信号
が入力される。このズームセンサ信号検出部4は、入力
されたセンサ信号を用いて、例えばポテンシオメータを
用いた場合の出力電圧Vnと基準カメラ2のズームスケ
ールとの関係を求める。
2と接続されており、上述の検出機構からのセンサ信号
が入力される。このズームセンサ信号検出部4は、入力
されたセンサ信号を用いて、例えばポテンシオメータを
用いた場合の出力電圧Vnと基準カメラ2のズームスケ
ールとの関係を求める。
【0018】ここで、ズームスケールとは、後述の出力
電圧Vcalibにおける基準画像内の物体サイズに対する
ズーム状態が変化した際の基準画像内の同一物体サイズ
の比率として表現されたものである。具体的には、ズー
ムスケールは、出力電圧Vcalibにおける基準画像上の
特徴点に関して、各出力電圧Vnにおける基準画像内の
対応点を所謂画像合わせ込み手法等により求め、出力電
圧Vcalibにおける基準画像上の特徴点と、出力電圧V
nにおける基準画像上の対応点との位置関係を求めるこ
とにより得られる。
電圧Vcalibにおける基準画像内の物体サイズに対する
ズーム状態が変化した際の基準画像内の同一物体サイズ
の比率として表現されたものである。具体的には、ズー
ムスケールは、出力電圧Vcalibにおける基準画像上の
特徴点に関して、各出力電圧Vnにおける基準画像内の
対応点を所謂画像合わせ込み手法等により求め、出力電
圧Vcalibにおける基準画像上の特徴点と、出力電圧V
nにおける基準画像上の対応点との位置関係を求めるこ
とにより得られる。
【0019】この出力電圧VnとズームスケールSとの
関係は、図4に示すように、出力電圧が大きくなること
に応じてズームスケールが大きくなる。すなわち画像の
拡大率が大きくなる。図中の「Vcalib」は、基準カメ
ラ2と検出カメラ3とが位置決めされ同一物を撮像した
ときに、基準画像上の点に対応する検出画像の点を求め
るようにキャリブレーションしたときのズームスケール
Scalib(=1)に対応した出力電圧の値である。出力
電圧Vcalibに対応するズームスケールScalibは基準ズ
ームスケールとして使用され、出力電圧V0,V1,・・
・Vnが出力電圧Vcalibに対して正方向にずれている
ときには基準画像がズームインしたときであり、出力電
圧Vcalibに対して負方向にずれているときにはズーム
アウトしたことを示している。すなわち、この図4は、
出力電圧V0,V1,・・・Vnとなることによりズーム
スケールがS0,S1,・・・Snとズームインしている
ことを示している。なお、基準カメラ2におけるズーム
動作には、機械的なバックラッシュが存在するので、出
力電圧Vnとズームスケールとの関係は、ズームイン時
とズームアウト時とに分けて求める。
関係は、図4に示すように、出力電圧が大きくなること
に応じてズームスケールが大きくなる。すなわち画像の
拡大率が大きくなる。図中の「Vcalib」は、基準カメ
ラ2と検出カメラ3とが位置決めされ同一物を撮像した
ときに、基準画像上の点に対応する検出画像の点を求め
るようにキャリブレーションしたときのズームスケール
Scalib(=1)に対応した出力電圧の値である。出力
電圧Vcalibに対応するズームスケールScalibは基準ズ
ームスケールとして使用され、出力電圧V0,V1,・・
・Vnが出力電圧Vcalibに対して正方向にずれている
ときには基準画像がズームインしたときであり、出力電
圧Vcalibに対して負方向にずれているときにはズーム
アウトしたことを示している。すなわち、この図4は、
出力電圧V0,V1,・・・Vnとなることによりズーム
スケールがS0,S1,・・・Snとズームインしている
ことを示している。なお、基準カメラ2におけるズーム
動作には、機械的なバックラッシュが存在するので、出
力電圧Vnとズームスケールとの関係は、ズームイン時
とズームアウト時とに分けて求める。
【0020】図4の出力電圧VnとズームスケールSと
の関係を求めるには、基準カメラ2のズームスケールを
変化させては停止し、各点での出力電圧に対するズーム
スケールをプロットする工程を繰り返す。
の関係を求めるには、基準カメラ2のズームスケールを
変化させては停止し、各点での出力電圧に対するズーム
スケールをプロットする工程を繰り返す。
【0021】また、出力電圧Vnの数点の測定結果を補
間して、上記出力電圧VnとズームスケールSとの関係
を示す特性曲線を求めても良い。
間して、上記出力電圧VnとズームスケールSとの関係
を示す特性曲線を求めても良い。
【0022】ここで、キャリブレーションは、基準カメ
ラ2と検出カメラ3との視野角を所定の角度として行っ
ている。
ラ2と検出カメラ3との視野角を所定の角度として行っ
ている。
【0023】ズームセンサ信号検出部4は、図4に示す
出力電圧Vnとズームスケールとの関係を例えばテーブ
ルとして用意しておき、基準カメラ2からのセンサ信号
を検出することにより、基準カメラ2のズームスケール
を示すスケール信号を生成して、距離画像生成部7に出
力する。
出力電圧Vnとズームスケールとの関係を例えばテーブ
ルとして用意しておき、基準カメラ2からのセンサ信号
を検出することにより、基準カメラ2のズームスケール
を示すスケール信号を生成して、距離画像生成部7に出
力する。
【0024】また、これらの出力電圧Vnとズームスケ
ールSとの関係は、ズームスケールと画像中心との関
係、及びズームスケールとレンズ歪みとの関係をテーブ
ルとして作成して用意しておいても良い。
ールSとの関係は、ズームスケールと画像中心との関
係、及びズームスケールとレンズ歪みとの関係をテーブ
ルとして作成して用意しておいても良い。
【0025】また、ズームセンサ信号検出部4は、基準
カメラ2からのセンサ信号から基準カメラ2の画像中心
(Xc,Yc)を示す画像中心信号及び基準カメラ2の
レンズ歪みκを示すレンズ歪み信号を生成して、距離画
像生成部7に出力する。また、ズームセンサ信号検出部
4は、上述のズームスケールの場合と同様に、センサ信
号と、画像中心との関係及びレンズ歪みとの関係を例え
ばテーブルとして用意しておき、基準カメラ2からのセ
ンサ信号を検出することにより、画像中心信号及びレン
ズ歪み信号を生成し、距離画像生成部7に出力する。
カメラ2からのセンサ信号から基準カメラ2の画像中心
(Xc,Yc)を示す画像中心信号及び基準カメラ2の
レンズ歪みκを示すレンズ歪み信号を生成して、距離画
像生成部7に出力する。また、ズームセンサ信号検出部
4は、上述のズームスケールの場合と同様に、センサ信
号と、画像中心との関係及びレンズ歪みとの関係を例え
ばテーブルとして用意しておき、基準カメラ2からのセ
ンサ信号を検出することにより、画像中心信号及びレン
ズ歪み信号を生成し、距離画像生成部7に出力する。
【0026】なお、基準カメラ2に内蔵されている検出
機構としてロータリーエンコーダを用いた場合には、ズ
ームセンサ信号検出部4は、センサ信号としてロータリ
ーエンコーダからの出力パルスのパルス数をカウントす
ることにより、ズームスケール、画像中心及びレンズ歪
みを求める。
機構としてロータリーエンコーダを用いた場合には、ズ
ームセンサ信号検出部4は、センサ信号としてロータリ
ーエンコーダからの出力パルスのパルス数をカウントす
ることにより、ズームスケール、画像中心及びレンズ歪
みを求める。
【0027】フレームメモリ6は、基準カメラ2及び各
検出カメラ3と接続され、基準画像及び検出画像が入力
される。これらフレームメモリ6は、入力された基準画
像及び検出画像をA/D変換して距離画像生成部7に出
力する。
検出カメラ3と接続され、基準画像及び検出画像が入力
される。これらフレームメモリ6は、入力された基準画
像及び検出画像をA/D変換して距離画像生成部7に出
力する。
【0028】フォーカスセンサ信号検出部5には、基準
カメラ2からのフォーカス状態を検知するセンサ信号S
fzoomが入力される。このフォーカスセンサ信号検出部
5は、センサ信号Sfzoomを用いて、基準カメラ2のフ
ォーカス状態を検出してフォーカスセンサ信号を生成し
て距離画像生成部7に出力するとともに、制御部8に出
力する。
カメラ2からのフォーカス状態を検知するセンサ信号S
fzoomが入力される。このフォーカスセンサ信号検出部
5は、センサ信号Sfzoomを用いて、基準カメラ2のフ
ォーカス状態を検出してフォーカスセンサ信号を生成し
て距離画像生成部7に出力するとともに、制御部8に出
力する。
【0029】距離画像生成部7は、上述のセンサ信号検
出部4からスケール信号、画像中心信号及びレンズ歪み
信号、並びにフォーカスセンサ信号検出部5からのフォ
ーカスセンサ信号を用いて、基準カメラ2のズーム状
態、フォーカス状態に応じて基準カメラ2と撮像対象物
との距離を示す距離画像を生成する。
出部4からスケール信号、画像中心信号及びレンズ歪み
信号、並びにフォーカスセンサ信号検出部5からのフォ
ーカスセンサ信号を用いて、基準カメラ2のズーム状
態、フォーカス状態に応じて基準カメラ2と撮像対象物
との距離を示す距離画像を生成する。
【0030】また、この距離画像生成部7は、距離画像
を生成する前提として、基準カメラ2と各検出カメラ3
とを略同一の視野角とした場合における基準画像上の点
に対応する各検出画像上の点を求めるキャリブレーショ
ンを行う。これにより、距離画像生成部7は、撮像対象
物を撮像したときにおける基準画像上の点に対応する検
出画像上の対応点を得ることができる。
を生成する前提として、基準カメラ2と各検出カメラ3
とを略同一の視野角とした場合における基準画像上の点
に対応する各検出画像上の点を求めるキャリブレーショ
ンを行う。これにより、距離画像生成部7は、撮像対象
物を撮像したときにおける基準画像上の点に対応する検
出画像上の対応点を得ることができる。
【0031】更に、この距離画像生成部7は、最適なフ
ォーカスを示すフォーカス制御信号Soptを生成する。
このとき、距離画像生成部7は、フォーカスセンサ信号
検出部5からのフォーカスセンサ信号を用いて、フォー
カス調整するためのフォーカス制御信号Soptを生成し
て、制御部8に出力する。
ォーカスを示すフォーカス制御信号Soptを生成する。
このとき、距離画像生成部7は、フォーカスセンサ信号
検出部5からのフォーカスセンサ信号を用いて、フォー
カス調整するためのフォーカス制御信号Soptを生成し
て、制御部8に出力する。
【0032】制御部8は、フォーカスセンサ信号検出部
5からのフォーカスセンサ信号と距離画像生成部7から
のフォーカス制御信号とを比較し、基準カメラ2に内蔵
されているレンズの位置を移動させるためのフォーカス
駆動信号を生成する。
5からのフォーカスセンサ信号と距離画像生成部7から
のフォーカス制御信号とを比較し、基準カメラ2に内蔵
されているレンズの位置を移動させるためのフォーカス
駆動信号を生成する。
【0033】このように構成された距離画像生成装置1
により、フォーカス調整を行うとともに、距離画像を生
成する処理を行うときには図5に示すようなフローチャ
ートに示す処理を行う。
により、フォーカス調整を行うとともに、距離画像を生
成する処理を行うときには図5に示すようなフローチャ
ートに示す処理を行う。
【0034】このフローチャートによれば、先ず、ステ
ップST1において、ユーザ又は自動的に基準カメラ2
によりズーム操作が行われる。
ップST1において、ユーザ又は自動的に基準カメラ2
によりズーム操作が行われる。
【0035】次のステップST2において、基準カメラ
2により行われたズーム操作に応じて基準カメラ2から
のセンサ信号Szを用いて、ズームセンサ信号Szをズ
ームセンサ信号検出部4により検出し、距離画像生成部
7は、ズームセンサ信号Szに基づいてズームスケール
の最適化を行う。なお、このズームスケールの最適化を
行う詳細な処理内容については後述する。
2により行われたズーム操作に応じて基準カメラ2から
のセンサ信号Szを用いて、ズームセンサ信号Szをズ
ームセンサ信号検出部4により検出し、距離画像生成部
7は、ズームセンサ信号Szに基づいてズームスケール
の最適化を行う。なお、このズームスケールの最適化を
行う詳細な処理内容については後述する。
【0036】ステップST3において、距離画像生成部
7は、上述のステップST2で最適化されたズームスケ
ールで距離画像を生成する処理を行い、生成した距離画
像の精度を判定する。このとき、距離画像生成部7は、
基準カメラ2で撮像した画像と当該画像上の点に対応す
る検出カメラ3で撮像した画像上の点とを比較して類似
度を示すSSAD(Sum of squared absolute distance)等の
評価値を用いて、距離画像の精度を評価する。そして、
距離画像生成部7は、距離画像の精度が所定以上である
と判定したときには処理を終了し、距離画像の精度が所
定以上でないと判定したときにはステップST4に進
む。
7は、上述のステップST2で最適化されたズームスケ
ールで距離画像を生成する処理を行い、生成した距離画
像の精度を判定する。このとき、距離画像生成部7は、
基準カメラ2で撮像した画像と当該画像上の点に対応す
る検出カメラ3で撮像した画像上の点とを比較して類似
度を示すSSAD(Sum of squared absolute distance)等の
評価値を用いて、距離画像の精度を評価する。そして、
距離画像生成部7は、距離画像の精度が所定以上である
と判定したときには処理を終了し、距離画像の精度が所
定以上でないと判定したときにはステップST4に進
む。
【0037】ステップST4において、距離画像生成部
7は、距離画像の精度が十分でないことから、基準カメ
ラ2のフォーカスを補正するために、最適なフォーカス
を示すフォーカス制御信号Soptを生成して、制御部8
に出力する。このとき、距離画像生成部7は、フォーカ
スセンサ信号検出部5からのフォーカスセンサ信号Sf
zoomを用いてフォーカス制御信号Soptを生成する。
7は、距離画像の精度が十分でないことから、基準カメ
ラ2のフォーカスを補正するために、最適なフォーカス
を示すフォーカス制御信号Soptを生成して、制御部8
に出力する。このとき、距離画像生成部7は、フォーカ
スセンサ信号検出部5からのフォーカスセンサ信号Sf
zoomを用いてフォーカス制御信号Soptを生成する。
【0038】そして、制御部8では、距離画像生成部7
からのフォーカス制御信号Sopt及びフォーカスセンサ
信号検出部5からのフォーカスセンサ信号Sfzoomを用
いてフォーカス駆動信号を生成し、基準カメラ2に内蔵
されているレンズを駆動することでフォーカス調整を行
ってステップST2に戻る。
からのフォーカス制御信号Sopt及びフォーカスセンサ
信号検出部5からのフォーカスセンサ信号Sfzoomを用
いてフォーカス駆動信号を生成し、基準カメラ2に内蔵
されているレンズを駆動することでフォーカス調整を行
ってステップST2に戻る。
【0039】基準カメラ2によりフォーカス調整を行っ
た後、再度ステップST2を行うとき、距離画像生成部
7は、ステップST4におけるフォーカス調整により変
化した基準画像のズームスケールの最適化を再び行い、
ステップST3で距離画像の精度が十分であると判断し
たら、処理を終了することになる。なお、このステップ
ST4におけるフォーカスを調整する処理の詳細な処理
内容については後述する。
た後、再度ステップST2を行うとき、距離画像生成部
7は、ステップST4におけるフォーカス調整により変
化した基準画像のズームスケールの最適化を再び行い、
ステップST3で距離画像の精度が十分であると判断し
たら、処理を終了することになる。なお、このステップ
ST4におけるフォーカスを調整する処理の詳細な処理
内容については後述する。
【0040】次に、上述のステップST2におけるズー
ムスケールの最適化を行う処理について図6のフローチ
ャートを用いて説明する。
ムスケールの最適化を行う処理について図6のフローチ
ャートを用いて説明する。
【0041】先ず、ステップST11において、基準カ
メラ2のズーム状態を検出機構により検知する。そし
て、検出機構は、ズーム状態に応じたセンサ信号を生成
し、当該センサ信号をズームセンサ信号検出部4に出力
する。
メラ2のズーム状態を検出機構により検知する。そし
て、検出機構は、ズーム状態に応じたセンサ信号を生成
し、当該センサ信号をズームセンサ信号検出部4に出力
する。
【0042】ステップST12では、ズームセンサ信号
検出部4にセンサ信号が入力され、例えば検出機構とし
てポテンシオメータを用いたときには出力電圧Vnに対
するズームスケールSv、画像中心(Xc,Yc)及び
レンズ歪みκを変換テーブル等を参照して求めて距離画
像生成部7に出力する。
検出部4にセンサ信号が入力され、例えば検出機構とし
てポテンシオメータを用いたときには出力電圧Vnに対
するズームスケールSv、画像中心(Xc,Yc)及び
レンズ歪みκを変換テーブル等を参照して求めて距離画
像生成部7に出力する。
【0043】ステップST13において、距離画像生成
部7は、距離画像を生成するときのズームスケールを最
適化すべく、ズームスケールS、最適評価値Emin、ズ
ームスケール最適値Soptについて初期化処理を行う。
すなわち、このステップST3における初期化処理は、
後述のズームスケールSを最適化してズームスケール最
適値Soptを求める処理の前提となる処理である。な
お、上記最適評価値Eminは、距離画像を生成するとき
に求めるSSAD等を用いて決定される。
部7は、距離画像を生成するときのズームスケールを最
適化すべく、ズームスケールS、最適評価値Emin、ズ
ームスケール最適値Soptについて初期化処理を行う。
すなわち、このステップST3における初期化処理は、
後述のズームスケールSを最適化してズームスケール最
適値Soptを求める処理の前提となる処理である。な
お、上記最適評価値Eminは、距離画像を生成するとき
に求めるSSAD等を用いて決定される。
【0044】そして、距離画像生成部7では、Srange
を後述の最適化処理の対象となるスケール範囲を指定す
る定数としたとき、後述の最適化処理によりその値を調
整するズームスケールSvから「Srange」だけ減算し
たズームスケールに変換することにより初期化し、この
ステップST13においてはズームスケール最適値S
optを「S」とする。また、距離画像生成部7は、基準
画像上の点と、当該基準画像上の点に対応する検出画像
上の点との類似度を示す最適評価値Eminを所定の値E
に設定する。
を後述の最適化処理の対象となるスケール範囲を指定す
る定数としたとき、後述の最適化処理によりその値を調
整するズームスケールSvから「Srange」だけ減算し
たズームスケールに変換することにより初期化し、この
ステップST13においてはズームスケール最適値S
optを「S」とする。また、距離画像生成部7は、基準
画像上の点と、当該基準画像上の点に対応する検出画像
上の点との類似度を示す最適評価値Eminを所定の値E
に設定する。
【0045】ステップST14において、距離画像生成
部7は、ステップST13で初期化処理をすることによ
り得たズームスケールS、ステップST1で求めた画像
中心(Xc,Yc)及びレンズ歪みκを用いて基準画像
のスケール変換処理を行うことにより、図7(a)に示
す基準画像Bを、図7(b)に示す基準画像B’となる
ように変換する。なお、検出画像D1〜D4には、スケ
ール変換を施さない。
部7は、ステップST13で初期化処理をすることによ
り得たズームスケールS、ステップST1で求めた画像
中心(Xc,Yc)及びレンズ歪みκを用いて基準画像
のスケール変換処理を行うことにより、図7(a)に示
す基準画像Bを、図7(b)に示す基準画像B’となる
ように変換する。なお、検出画像D1〜D4には、スケ
ール変換を施さない。
【0046】すなわち、距離画像生成部7は、ステップ
ST14においてスケール変換処理を行うときには図8
に示すように、ステップST21〜ステップST23に
示す処理を行う。
ST14においてスケール変換処理を行うときには図8
に示すように、ステップST21〜ステップST23に
示す処理を行う。
【0047】先ずステップST21においてズームスケ
ールSvにおけるレンズ歪みκ及び画像中心(Xc,Y
c)を用いて基準画像の歪みを除去する。その結果、基
準画像は、図9(a)に示すように、歪み除去前と比較
して歪みが除去される。このとき、距離画像生成部7
は、基準画像の歪みが画像中心からの距離の三乗に比例
して変化するものとして基準画像の歪みを除去する。
ールSvにおけるレンズ歪みκ及び画像中心(Xc,Y
c)を用いて基準画像の歪みを除去する。その結果、基
準画像は、図9(a)に示すように、歪み除去前と比較
して歪みが除去される。このとき、距離画像生成部7
は、基準画像の歪みが画像中心からの距離の三乗に比例
して変化するものとして基準画像の歪みを除去する。
【0048】ステップST22において、距離画像生成
部7は、基準画像のスケール変換を行う。距離画像生成
部7は、スケール変換を行うとき、ステップST21で
歪みが除去された基準画像のズームスケールS及び画像
中心(Xc,Yc)を用いる。このとき、距離画像生成
部7は、 Xi=Xc+(Xi−Xc)/S Yi=Yc+(Yi−Yc)/S で示される変換式を用いてスケール変換を行う。ここ
で、(Xi,Yi)はXY方向i番目の画素の基準画像
上の座標である。
部7は、基準画像のスケール変換を行う。距離画像生成
部7は、スケール変換を行うとき、ステップST21で
歪みが除去された基準画像のズームスケールS及び画像
中心(Xc,Yc)を用いる。このとき、距離画像生成
部7は、 Xi=Xc+(Xi−Xc)/S Yi=Yc+(Yi−Yc)/S で示される変換式を用いてスケール変換を行う。ここ
で、(Xi,Yi)はXY方向i番目の画素の基準画像
上の座標である。
【0049】その結果、基準画像は、図9(b)に示す
ようにスケール変換前と比較して絵柄が縮小され、キャ
リブレーション時に用いた基準画像の絵柄と同等の大き
さとなる。
ようにスケール変換前と比較して絵柄が縮小され、キャ
リブレーション時に用いた基準画像の絵柄と同等の大き
さとなる。
【0050】ステップST23において、距離画像生成
部7は、ズームスケールScalibにおける画像中心(X
c,Yc)及びレンズ歪みκを用いてステップST22
でスケール変換された基準画像に歪みを付加する。その
結果、基準画像は、図9(c)に示すように、キャリブ
レーション時におけるズーム状態で撮像した基準画像と
同等の画像に変換される。
部7は、ズームスケールScalibにおける画像中心(X
c,Yc)及びレンズ歪みκを用いてステップST22
でスケール変換された基準画像に歪みを付加する。その
結果、基準画像は、図9(c)に示すように、キャリブ
レーション時におけるズーム状態で撮像した基準画像と
同等の画像に変換される。
【0051】図6に戻ってステップST14において
は、距離画像生成部7によりスケール変換処理後におけ
る基準画像を用いて距離画像生成処理及び評価値算出処
理を行う。このとき、予めキャリブレーションしてテー
ブルとして作成した基準画像上の点と対応する検出画像
上の点との関係を用いて、距離画像を生成するととも
に、下式を用いて評価値Eを算出する。
は、距離画像生成部7によりスケール変換処理後におけ
る基準画像を用いて距離画像生成処理及び評価値算出処
理を行う。このとき、予めキャリブレーションしてテー
ブルとして作成した基準画像上の点と対応する検出画像
上の点との関係を用いて、距離画像を生成するととも
に、下式を用いて評価値Eを算出する。
【0052】
【数1】
【0053】ここで、I(x)は基準画像の輝度値であり、
I'(x')は検出画像の輝度値である。
I'(x')は検出画像の輝度値である。
【0054】このとき、ステップST21〜ステップS
T23に示す処理を基準画像に施すことにより、距離画
像の有効領域が基準カメラ2で撮像した基準画像よりも
小さくなることになる。従って、スケール変換処理を施
した基準画像を用いて評価値Eを算出するとき、基準カ
メラ2で撮像した基準画像の有効領域を考慮する。すな
わち、スケール変換処理が施されることにより、基準カ
メラ2で撮像された基準画像の所定領域を構成する画素
数と、スケール変換が施された後の当該所定領域に相当
する基準画像の画素数が異なるので、評価値Eを上式で
求めたとき、任意の領域における評価値Eの平均を取っ
たものを各小領域における評価値Eとして用いる。
T23に示す処理を基準画像に施すことにより、距離画
像の有効領域が基準カメラ2で撮像した基準画像よりも
小さくなることになる。従って、スケール変換処理を施
した基準画像を用いて評価値Eを算出するとき、基準カ
メラ2で撮像した基準画像の有効領域を考慮する。すな
わち、スケール変換処理が施されることにより、基準カ
メラ2で撮像された基準画像の所定領域を構成する画素
数と、スケール変換が施された後の当該所定領域に相当
する基準画像の画素数が異なるので、評価値Eを上式で
求めたとき、任意の領域における評価値Eの平均を取っ
たものを各小領域における評価値Eとして用いる。
【0055】次に、ステップST15において、距離画
像生成部7は、ズームスケールの最適化処理を行う。す
なわち、ステップST15aにおいて距離画像生成部7
は、ステップST13で決定した最適評価値Eminと、
ステップST14で算出した評価値Eとを比較して、最
適評価値Eminよりも評価値Eが小さい判定したときに
はステップST15bに進み、最適評価値Eminよりも
評価値Eが小さくないと判定したときはステップST1
6に進む。
像生成部7は、ズームスケールの最適化処理を行う。す
なわち、ステップST15aにおいて距離画像生成部7
は、ステップST13で決定した最適評価値Eminと、
ステップST14で算出した評価値Eとを比較して、最
適評価値Eminよりも評価値Eが小さい判定したときに
はステップST15bに進み、最適評価値Eminよりも
評価値Eが小さくないと判定したときはステップST1
6に進む。
【0056】ステップST15bにおいて、上述のステ
ップST15aで選択された評価値Eを最適評価値E
minとして更新するとともに、変換した最適評価値Emin
におけるズームスケールSを最適値Soptに更新する。
ップST15aで選択された評価値Eを最適評価値E
minとして更新するとともに、変換した最適評価値Emin
におけるズームスケールSを最適値Soptに更新する。
【0057】ステップST16において、距離画像生成
部7は、上述のステップST14及びステップST15
で示す処理を行ったときのズームスケールSと、「Sv
+Srange」との大きさを比較し、「S>Sv+
Srange」と判断したときにはステップST17に進
み、「S≦Sv+Srange」と判断したときにはステッ
プST18に進み、ステップST18においてズームス
ケールSをインクリメントして、「S+Sstep」とす
る。
部7は、上述のステップST14及びステップST15
で示す処理を行ったときのズームスケールSと、「Sv
+Srange」との大きさを比較し、「S>Sv+
Srange」と判断したときにはステップST17に進
み、「S≦Sv+Srange」と判断したときにはステッ
プST18に進み、ステップST18においてズームス
ケールSをインクリメントして、「S+Sstep」とす
る。
【0058】すなわち、距離画像生成部7は、−S
range≦S≦+Srange(Sstart≦S≦Send)の範囲内
でSstep毎に上述のステップST14〜ステップST1
6の処理を繰り返す。すなわち、ステップST14で基
準画像のスケール変換を行い、スケール変換を施した基
準画像と検出画像とから求めた評価値Eと最適評価値E
minとを比較して、評価値Eが小さいときには随時最適
評価値Eminを評価値Eに更新するとともに、最適値S
optをズームスケールSに更新することにより、所定の
ズームスケールの範囲内における最適なズームスケール
を検出する。
range≦S≦+Srange(Sstart≦S≦Send)の範囲内
でSstep毎に上述のステップST14〜ステップST1
6の処理を繰り返す。すなわち、ステップST14で基
準画像のスケール変換を行い、スケール変換を施した基
準画像と検出画像とから求めた評価値Eと最適評価値E
minとを比較して、評価値Eが小さいときには随時最適
評価値Eminを評価値Eに更新するとともに、最適値S
optをズームスケールSに更新することにより、所定の
ズームスケールの範囲内における最適なズームスケール
を検出する。
【0059】距離画像生成部7は、このように±S
rangeの範囲内でズームスケールをSstep単位で変化さ
せてズームスケールの最適値Soptを求めるとき、例え
ば図10に示すように、実際に得たズームスケールS
start〜Sendに対する評価値Eの最小近傍の複数点を抽
出し、これらの点を補間することにより、最適値Sopt
を決定しても良い。更に、距離画像生成部7は、評価値
Eの最小近傍の複数点を抽出し、これらの点を2次関数
で曲線近似して最適値Soptを決定しても良い。
rangeの範囲内でズームスケールをSstep単位で変化さ
せてズームスケールの最適値Soptを求めるとき、例え
ば図10に示すように、実際に得たズームスケールS
start〜Sendに対する評価値Eの最小近傍の複数点を抽
出し、これらの点を補間することにより、最適値Sopt
を決定しても良い。更に、距離画像生成部7は、評価値
Eの最小近傍の複数点を抽出し、これらの点を2次関数
で曲線近似して最適値Soptを決定しても良い。
【0060】ステップST17において、距離画像生成
部7は、上述のステップST15で求めた最適値Sopt
における距離画像を生成する。このとき、距離画像生成
部7では、ステップST21〜ステップST23で示し
たスケール変換処理をズームスケールの最適値Soptを
用いて行い、スケール変換処理を施した基準画像及び検
出画像を用いて距離画像を生成する。そして、この距離
画像生成部7は、生成した距離画像を出力するときに、
ズームスケール、レンズ歪み及び画像中心について逆変
換を施し、基準カメラ2で撮像対象物の撮像したときの
ズームスケール、レンズ歪み及び画像中心となるように
変換させる。
部7は、上述のステップST15で求めた最適値Sopt
における距離画像を生成する。このとき、距離画像生成
部7では、ステップST21〜ステップST23で示し
たスケール変換処理をズームスケールの最適値Soptを
用いて行い、スケール変換処理を施した基準画像及び検
出画像を用いて距離画像を生成する。そして、この距離
画像生成部7は、生成した距離画像を出力するときに、
ズームスケール、レンズ歪み及び画像中心について逆変
換を施し、基準カメラ2で撮像対象物の撮像したときの
ズームスケール、レンズ歪み及び画像中心となるように
変換させる。
【0061】なお、基準画像に対してではなく、検出画
像に対してスケール変換をする手法を用いて最適値S
optを算出することも可能である。このような手法を用
いることにより、距離画像の出力に際して行うスケール
変換等の逆変換を不要とすることができる。
像に対してスケール変換をする手法を用いて最適値S
optを算出することも可能である。このような手法を用
いることにより、距離画像の出力に際して行うスケール
変換等の逆変換を不要とすることができる。
【0062】このような距離画像生成装置1は、ズーム
センサ信号検出部4により基準カメラ2のズーム状態を
検出して出力電圧Vnに対するズームスケール、レンズ
歪み及び画像中心の関係を求め、この関係を用いて基準
画像のスケール変換を行って評価値Eを求めることによ
り、所定の範囲±Srangeでズームスケールの最適値S
optを求める。
センサ信号検出部4により基準カメラ2のズーム状態を
検出して出力電圧Vnに対するズームスケール、レンズ
歪み及び画像中心の関係を求め、この関係を用いて基準
画像のスケール変換を行って評価値Eを求めることによ
り、所定の範囲±Srangeでズームスケールの最適値S
optを求める。
【0063】なお、スケール変換を基準画像に対してで
はなく、検出画像に対して適用する手法により、ズーム
スケールを最適化することも可能である。
はなく、検出画像に対して適用する手法により、ズーム
スケールを最適化することも可能である。
【0064】次に、図5に示したステップST4におい
て距離画像生成部7によりフォーカス制御信号を生成
し、制御部8によりフォーカス駆動信号を生成して基準
カメラ2のフォーカスを調整する処理の一例について図
11のフローチャートを参照して説明する。
て距離画像生成部7によりフォーカス制御信号を生成
し、制御部8によりフォーカス駆動信号を生成して基準
カメラ2のフォーカスを調整する処理の一例について図
11のフローチャートを参照して説明する。
【0065】このフローチャートによれば、先ず、ステ
ップST31において、距離画像生成部7は、フォーカ
スセンサ信号検出部5からのフォーカスセンサ信号Sf
zoomを読みとる処理を行う。
ップST31において、距離画像生成部7は、フォーカ
スセンサ信号検出部5からのフォーカスセンサ信号Sf
zoomを読みとる処理を行う。
【0066】ステップST32において、距離画像生成
部7は、上述のステップST31において入力したフォ
ーカスセンサ信号Sfzoomを用いて、以下の処理で用い
る各種パラメータの初期化を行う。このとき、距離画像
生成部7は、後述のステップST5〜ステップST39
における変数Sfを“Sfzoom−α”とし、SSADの最小
値SSADminを定数“1.0*1011”とし、フォーカス調整後
におけるズームスケールの最適値Sfoptを“Sf”と
する。
部7は、上述のステップST31において入力したフォ
ーカスセンサ信号Sfzoomを用いて、以下の処理で用い
る各種パラメータの初期化を行う。このとき、距離画像
生成部7は、後述のステップST5〜ステップST39
における変数Sfを“Sfzoom−α”とし、SSADの最小
値SSADminを定数“1.0*1011”とし、フォーカス調整後
におけるズームスケールの最適値Sfoptを“Sf”と
する。
【0067】ステップST33において、距離画像生成
部7は、上述のステップST14と同様に、ステップS
T32で初期化処理をすることにより得た変数Sfにお
ける距離画像を生成するとともに、SSADを生成する。
部7は、上述のステップST14と同様に、ステップS
T32で初期化処理をすることにより得た変数Sfにお
ける距離画像を生成するとともに、SSADを生成する。
【0068】ステップST34において、距離画像生成
部7は、フォーカスに関する最適化処理を行う。すなわ
ち、ステップST34aにおいて距離画像生成部7は、
ステップST32で決定したSSADminと、ステップST
33で算出したSSADとを比較して、SSADminよりもSSAD
が小さい判定したときにはステップST34bに進み、
SSADminよりもSSADが小さくないと判定したときはステ
ップST35に進む。
部7は、フォーカスに関する最適化処理を行う。すなわ
ち、ステップST34aにおいて距離画像生成部7は、
ステップST32で決定したSSADminと、ステップST
33で算出したSSADとを比較して、SSADminよりもSSAD
が小さい判定したときにはステップST34bに進み、
SSADminよりもSSADが小さくないと判定したときはステ
ップST35に進む。
【0069】ステップST34bにおいて、上述のステ
ップST34aで選択されたSSADをSSADminとして更新
するとともに、変換したSSADminにおける変数Sfを最
適値Sfoptに更新する。
ップST34aで選択されたSSADをSSADminとして更新
するとともに、変換したSSADminにおける変数Sfを最
適値Sfoptに更新する。
【0070】ステップST35において、距離画像生成
部7は、上述のステップST33及びステップST34
で示す処理を行ったときの変数Sfと、“Sfzoom+
α”との大きさを比較し、ズームスケールSfが“Sf
zoom+α”より大きくないと判断したときにはステップ
ST36に進み、変数Sfが“Sfzoom+α”より大き
いと判断したときにはステップST38に進む。
部7は、上述のステップST33及びステップST34
で示す処理を行ったときの変数Sfと、“Sfzoom+
α”との大きさを比較し、ズームスケールSfが“Sf
zoom+α”より大きくないと判断したときにはステップ
ST36に進み、変数Sfが“Sfzoom+α”より大き
いと判断したときにはステップST38に進む。
【0071】ステップST36において、距離画像生成
部7は、変数SfをSfstepだけ進める処理を行う。
部7は、変数SfをSfstepだけ進める処理を行う。
【0072】ステップST37において、距離画像生成
部7は、上述のステップST35で進めたSfに応じ
て、制御部8によりフォーカス駆動信号を生成させて基
準カメラ2のフォーカスを制御して、ステップST33
に戻る。
部7は、上述のステップST35で進めたSfに応じ
て、制御部8によりフォーカス駆動信号を生成させて基
準カメラ2のフォーカスを制御して、ステップST33
に戻る。
【0073】また、ステップST35において変数Sf
がSfzoom+αよりも大きいと判定したステップST3
8において、変数SfがSfzoom+αよりも大きいと判
定した時点において保持している最適値Sfoptを用い
て、フォーカス制御信号を生成して制御部8に出力す
る。これに応じ、制御部8は、フォーカスセンサ信号検
出部5からのフォーカスセンサ信号及びフォーカス制御
信号をを参照してフォーカス駆動信号を生成して、最適
値Sfoptを用いてフォーカス制御する処理を行って処
理を終了する。
がSfzoom+αよりも大きいと判定したステップST3
8において、変数SfがSfzoom+αよりも大きいと判
定した時点において保持している最適値Sfoptを用い
て、フォーカス制御信号を生成して制御部8に出力す
る。これに応じ、制御部8は、フォーカスセンサ信号検
出部5からのフォーカスセンサ信号及びフォーカス制御
信号をを参照してフォーカス駆動信号を生成して、最適
値Sfoptを用いてフォーカス制御する処理を行って処
理を終了する。
【0074】このように、距離画像生成部7は、ステッ
プST37で変数SfがSfzoom±αの範囲内にあると
判断するまでステップST35〜ステップST36に示
す処理を行う。すなわち、距離画像生成部7は、Sf
zoom±αの範囲内でSfstep単位で変数Sfを変化させ
て最適値Sfoptを求めるとき、例えば図12に示すよ
うに、Sf−α〜Sf+αに対するSSADの最小近傍の複
数点を抽出し、これらの点を補間することにより、最適
値Sfoptを決定する。更に、距離画像生成部7は、SSA
Dの最小近傍の複数点を抽出し、これらの点を2次関数
で曲線近似して最適値Sfoptを決定しても良い。
プST37で変数SfがSfzoom±αの範囲内にあると
判断するまでステップST35〜ステップST36に示
す処理を行う。すなわち、距離画像生成部7は、Sf
zoom±αの範囲内でSfstep単位で変数Sfを変化させ
て最適値Sfoptを求めるとき、例えば図12に示すよ
うに、Sf−α〜Sf+αに対するSSADの最小近傍の複
数点を抽出し、これらの点を補間することにより、最適
値Sfoptを決定する。更に、距離画像生成部7は、SSA
Dの最小近傍の複数点を抽出し、これらの点を2次関数
で曲線近似して最適値Sfoptを決定しても良い。
【0075】上述したように、距離画像生成装置1は、
フォーカスセンサ信号検出部5によりフォーカスセンサ
信号の生成をして、フォーカスを変化させながらSSADが
最小であるときの最適値Sfoptを検出処理を行ってフ
ォーカス制御信号を距離画像生成部7により生成して制
御部8によりフォーカスを制御する処理を行うので、ズ
ーム操作を行った後においてフォーカスが未調整であっ
ても、SSADが最小である距離画像を生成することがで
き、高精度の距離画像を生成することができる。
フォーカスセンサ信号検出部5によりフォーカスセンサ
信号の生成をして、フォーカスを変化させながらSSADが
最小であるときの最適値Sfoptを検出処理を行ってフ
ォーカス制御信号を距離画像生成部7により生成して制
御部8によりフォーカスを制御する処理を行うので、ズ
ーム操作を行った後においてフォーカスが未調整であっ
ても、SSADが最小である距離画像を生成することがで
き、高精度の距離画像を生成することができる。
【0076】また、本発明の説明においては基準カメラ
2又は検出カメラ3のズームスケールの変化に伴いフォ
ーカス調整を行ったときに距離画像を生成する一例につ
いて説明したが、距離画像生成装置1は、フォーカスの
調整により画像サイズが変化しても、ステップST2で
再びズームスケールの最適化を行うことで高精度の距離
画像を生成することができる。
2又は検出カメラ3のズームスケールの変化に伴いフォ
ーカス調整を行ったときに距離画像を生成する一例につ
いて説明したが、距離画像生成装置1は、フォーカスの
調整により画像サイズが変化しても、ステップST2で
再びズームスケールの最適化を行うことで高精度の距離
画像を生成することができる。
【0077】このとき、距離画像生成装置1は、例えば
図13(a)に示すような基準画像B、検出画像D1〜
D4のうち、ズームを操作して撮像された基準画像Bの
みについてズームスケールの変換を行って図13(b)
に示すように基準画像B’とし、更に基準画像B’につ
いてフォーカスの調整処理を行うことで図13(c)に
示す基準画像B”とする。このとき、図13(c)に示
す基準画像B”は、図13(b)に示した基準画像B’
と比較して大きさが変化しており、この場合においては
小さくなっている。
図13(a)に示すような基準画像B、検出画像D1〜
D4のうち、ズームを操作して撮像された基準画像Bの
みについてズームスケールの変換を行って図13(b)
に示すように基準画像B’とし、更に基準画像B’につ
いてフォーカスの調整処理を行うことで図13(c)に
示す基準画像B”とする。このとき、図13(c)に示
す基準画像B”は、図13(b)に示した基準画像B’
と比較して大きさが変化しており、この場合においては
小さくなっている。
【0078】これに対し、±Srangeの範囲内でズーム
スケールをSstep単位で変化させてズームスケールの最
適値Soptを求めるとき、例えば図14に示すように、
実際に得たズームスケールSstart〜Sendに対する最適
評価値Eminに応じて、最適値Soptを決定し、フォーカ
スを調整した後の基準画像B”に対してズームスケール
Sstart'〜Send'に対する最適評価値Emin'に応じて、
最適なSopt'を求める。これにより、距離画像生成装置
1は、ズームスケールを変化させて画像を距離画像を生
成するとともに、フォーカス調整を行うことで画像のズ
ームスケールが変化した場合においても、最適なズーム
スケールをSopt'として検出して、距離画像を生成する
ことができる。
スケールをSstep単位で変化させてズームスケールの最
適値Soptを求めるとき、例えば図14に示すように、
実際に得たズームスケールSstart〜Sendに対する最適
評価値Eminに応じて、最適値Soptを決定し、フォーカ
スを調整した後の基準画像B”に対してズームスケール
Sstart'〜Send'に対する最適評価値Emin'に応じて、
最適なSopt'を求める。これにより、距離画像生成装置
1は、ズームスケールを変化させて画像を距離画像を生
成するとともに、フォーカス調整を行うことで画像のズ
ームスケールが変化した場合においても、最適なズーム
スケールをSopt'として検出して、距離画像を生成する
ことができる。
【0079】更に、この距離画像生成装置1によれば、
図6に示したズーム後のズームスケールを最適化して距
離画像を生成する処理を行い、図11に示すフォーカス
を調整するときの最適値SfoptにおけるSSADを求めて
距離画像を生成する処理を行い、上述の図14を用いて
説明したフォーカス調整後におけるズームスケールを最
適化して距離画像を生成する処理を行うことにより、更
に高精度な距離画像を生成することができる。
図6に示したズーム後のズームスケールを最適化して距
離画像を生成する処理を行い、図11に示すフォーカス
を調整するときの最適値SfoptにおけるSSADを求めて
距離画像を生成する処理を行い、上述の図14を用いて
説明したフォーカス調整後におけるズームスケールを最
適化して距離画像を生成する処理を行うことにより、更
に高精度な距離画像を生成することができる。
【0080】
【発明の効果】以上詳細に説明したように、本発明に係
る距離画像生成装置は、フォーカス調整機能を有するカ
メラで撮像された画像と当該画像上の点に対応するフォ
ーカス調整がなされていない画像上の点とを比較して類
似度を示す評価値を生成して最適なフォーカス状態を検
出するフォーカス検出手段と、フォーカス検出手段で検
出されたフォーカス状態における画像と、フォーカス調
整が施されていない画像とを用いて、いずれかのカメラ
と撮像対象物との距離を示す距離画像を生成する距離画
像生成手段とを備えるので、フォーカス調整が必要な画
像を用いて距離画像を生成するとき、カメラのフォーカ
ス調整に応じて評価値を生成し、評価値が最も小さい距
離画像を生成することができ、カメラのズーム状態に応
じて変化するフォーカスを調整しても、高品質の距離画
像を生成することができる。
る距離画像生成装置は、フォーカス調整機能を有するカ
メラで撮像された画像と当該画像上の点に対応するフォ
ーカス調整がなされていない画像上の点とを比較して類
似度を示す評価値を生成して最適なフォーカス状態を検
出するフォーカス検出手段と、フォーカス検出手段で検
出されたフォーカス状態における画像と、フォーカス調
整が施されていない画像とを用いて、いずれかのカメラ
と撮像対象物との距離を示す距離画像を生成する距離画
像生成手段とを備えるので、フォーカス調整が必要な画
像を用いて距離画像を生成するとき、カメラのフォーカ
ス調整に応じて評価値を生成し、評価値が最も小さい距
離画像を生成することができ、カメラのズーム状態に応
じて変化するフォーカスを調整しても、高品質の距離画
像を生成することができる。
【0081】また、本発明に係る距離画像生成方法は、
フォーカス状態を所定の範囲内で変化させて、フォーカ
ス調整をしたときの画像と当該画像上の点に対応するフ
ォーカス調整をしていない画像上の点とを比較して、類
似度を示す評価値を生成する第2のステップと、適正な
評価値におけるフォーカス状態を検出する第3のステッ
プと、適正なフォーカス状態でフォーカス調整をした画
像と、フォーカス調整をしていない画像とを用いて、上
記フォーカス調整機能を有するカメラと撮像対象物との
距離を示す距離画像を生成する第4のステップとを有す
るので、フォーカス調整が必要な画像を用いて距離画像
を生成するとき、カメラのフォーカス調整に応じて評価
値を生成し、評価値が最も小さい距離画像を生成するこ
とができ、カメラのズーム状態に応じて変化するフォー
カスを調整しても、高品質の距離画像を生成することが
できる。
フォーカス状態を所定の範囲内で変化させて、フォーカ
ス調整をしたときの画像と当該画像上の点に対応するフ
ォーカス調整をしていない画像上の点とを比較して、類
似度を示す評価値を生成する第2のステップと、適正な
評価値におけるフォーカス状態を検出する第3のステッ
プと、適正なフォーカス状態でフォーカス調整をした画
像と、フォーカス調整をしていない画像とを用いて、上
記フォーカス調整機能を有するカメラと撮像対象物との
距離を示す距離画像を生成する第4のステップとを有す
るので、フォーカス調整が必要な画像を用いて距離画像
を生成するとき、カメラのフォーカス調整に応じて評価
値を生成し、評価値が最も小さい距離画像を生成するこ
とができ、カメラのズーム状態に応じて変化するフォー
カスを調整しても、高品質の距離画像を生成することが
できる。
【図1】本発明を適用した距離画像生成装置を構成する
基準カメラと検出カメラの配置例を示す斜視図である。
基準カメラと検出カメラの配置例を示す斜視図である。
【図2】本発明を適用した距離画像生成装置の構成を示
すブロック図である。
すブロック図である。
【図3】基準カメラ及び検出カメラのズーム状態を固定
としたときに撮像される画像について説明するための図
である。
としたときに撮像される画像について説明するための図
である。
【図4】ズームセンサ信号検出部で生成した出力電圧と
基準画像のズームスケールとの関係を示す図である。
基準画像のズームスケールとの関係を示す図である。
【図5】本発明を適用した距離画像生成装置により、フ
ォーカス調整を行うとともに、距離画像を生成する処理
を示すフローチャートである。
ォーカス調整を行うとともに、距離画像を生成する処理
を示すフローチャートである。
【図6】本発明を適用した距離画像生成装置で距離画像
を生成するときの距離画像生成部の処理を示すフローチ
ャートである。
を生成するときの距離画像生成部の処理を示すフローチ
ャートである。
【図7】基準画像にスケール変換処理を行うことを説明
するための図であり、(a)にスケール変換処理前の基
準画像及び検出画像を示し、(b)にスケール変換処理
後の基準画像及び検出画像を示す。
するための図であり、(a)にスケール変換処理前の基
準画像及び検出画像を示し、(b)にスケール変換処理
後の基準画像及び検出画像を示す。
【図8】基準画像に対してスケール変換処理を施す処理
を示すフローチャートである。
を示すフローチャートである。
【図9】図8に示すフローチャートにしたがってスケー
ル変換処理が施される基準画像を示す図であり、(a)
に歪み除去前後の基準画像を示し、(b)にスケール変
換前後の基準画像を示し、(c)に歪み付加前後の基準
画像を示す。
ル変換処理が施される基準画像を示す図であり、(a)
に歪み除去前後の基準画像を示し、(b)にスケール変
換前後の基準画像を示し、(c)に歪み付加前後の基準
画像を示す。
【図10】所定の範囲内±Srangeでズームスケールを
変化させたときの評価値を示す図である。
変化させたときの評価値を示す図である。
【図11】距離画像生成部によりフォーカス制御信号を
生成し、制御部によりフォーカス駆動信号を生成して基
準カメラのフォーカスを調整する処理を示すフローチャ
ートである。
生成し、制御部によりフォーカス駆動信号を生成して基
準カメラのフォーカスを調整する処理を示すフローチャ
ートである。
【図12】フォーカス状態と、SSADとの関係を示す図で
ある。
ある。
【図13】(a)はスケール変換処理前の基準画像及び
検出画像を示し、(b)はスケール変換処理後の基準画
像及び検出画像を示し、(c)はフォーカス調整後の基
準画像及び検出画像を示す図である。
検出画像を示し、(b)はスケール変換処理後の基準画
像及び検出画像を示し、(c)はフォーカス調整後の基
準画像及び検出画像を示す図である。
【図14】所定の範囲内±Srangeでズームスケールを
変化させたときの評価値、フォーカス調整を行うことで
変化したズームスケールに応じてた評価値を示す図であ
る。
変化させたときの評価値、フォーカス調整を行うことで
変化したズームスケールに応じてた評価値を示す図であ
る。
1 距離画像生成装置、2 基準カメラ、3 検出カメ
ラ、5 フォーカスセンサ信号検出部、7 距離画像生
成部
ラ、5 フォーカスセンサ信号検出部、7 距離画像生
成部
Claims (8)
- 【請求項1】 フォーカス調整機能を有するカメラを1
以上有し複数のカメラからなる撮像手段と、 上記フォーカス調整機能を有するカメラで撮像された画
像と当該画像上の点に対応するフォーカス調整がなされ
ていない画像上の点とを比較して類似度を示す評価値を
生成して適正なフォーカス状態を検出するフォーカス検
出手段と、 上記フォーカス検出手段で検出されたフォーカス状態に
おける画像と、フォーカス調整が施されていない画像と
を用いて、いずれかのカメラと撮像対象物との距離を示
す距離画像を生成する距離画像生成手段とを備えること
を特徴とする距離画像生成装置。 - 【請求項2】 上記撮像手段は、ズーム調整機能を有す
るカメラを有し、 上記フォーカス検出手段は、上記ズーム調整機能を有す
るカメラでズーム調整がされた後にフォーカス調整がさ
れた画像を用いて評価値を生成して適正なフォーカス状
態を検出することを特徴とする請求項1記載の距離画像
生成装置。 - 【請求項3】 上記ズーム調整機能を有するカメラのズ
ーム状態を検出して少なくともズームスケールを算出す
るズーム状態検出手段と、 いずれかのカメラで撮像した画像のズームスケールを変
換させるスケール変換手段と、 上記スケール変換手段でズームスケールの変換が施され
た画像と当該画像上の点に対応するスケール変換が施さ
れていない画像上の点とを比較して類似度を示す評価値
を生成して適正なズームスケールを検出するズームスケ
ール検出手段とを備え、 上記距離画像生成手段は、上記ズームスケール検出手段
で検出されたズームスケールにおける画像と、スケール
変換が施されていない画像とを用いて、いずれかのカメ
ラと撮像対象物との距離を示す距離画像を生成すること
を特徴とする請求項2記載の距離画像生成装置。 - 【請求項4】 上記ズーム状態検出手段は、フォーカス
調整後における上記フォーカス調整機能を有するカメラ
のズームスケールを検出することを特徴とする請求項3
記載の距離画像生成装置。 - 【請求項5】 フォーカス調整機能を用いて撮像対象物
を撮像して画像を生成する1以上のカメラを含む複数の
カメラのうち、上記フォーカス調整機能を有するカメラ
のフォーカス状態を検出する第1のステップと、 フォーカス状態を所定の範囲内で変化させて、上記フォ
ーカス調整をしたときの画像と当該画像上の点に対応す
るフォーカス調整をしていない画像上の点とを比較し
て、類似度を示す評価値を生成する第2のステップと、 適正な評価値におけるフォーカス状態を検出する第3の
ステップと、 上記適正なフォーカス状態でフォーカス調整をした画像
と、フォーカス調整をしていない画像とを用いて、上記
フォーカス調整機能を有するカメラと撮像対象物との距
離を示す距離画像を生成する第4のステップとを有する
ことを特徴とする距離画像生成方法。 - 【請求項6】 上記第1のステップでは、ズーム調整を
した後にフォーカス調整をした画像を用いて評価値を生
成し、適正な評価値におけるフォーカス状態を検出する
ことを特徴とする請求項5記載の距離画像生成方法。 - 【請求項7】 ズーム調整機能を有するカメラのズーム
状態を検出して少なくともズームスケールを算出するス
テップと、 いずれかのカメラで撮像した画像のズームスケールを変
換するステップと、 上記ズームスケールの変換を施した画像と当該画像上の
点に対応するスケール変換を施していない画像上の点と
を比較して類似度を示す評価値を生成して適正なズーム
スケールを検出するステップとを有し、 上記適正なズームスケールにおける画像と、ズームスケ
ールの変換を施していない画像とを用いて、いずれかの
カメラと撮像対象物との距離を示す距離画像を生成する
ことを特徴とする請求項5記載の距離画像生成方法。 - 【請求項8】 上記ズームスケールを算出するステップ
では、フォーカス調整を行ったカメラのズームスケール
を検出することを特徴とする請求項7記載の距離画像生
成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11120650A JP2000310531A (ja) | 1999-04-27 | 1999-04-27 | 距離画像生成装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11120650A JP2000310531A (ja) | 1999-04-27 | 1999-04-27 | 距離画像生成装置及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000310531A true JP2000310531A (ja) | 2000-11-07 |
Family
ID=14791489
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11120650A Withdrawn JP2000310531A (ja) | 1999-04-27 | 1999-04-27 | 距離画像生成装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000310531A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016047220A1 (ja) * | 2014-09-24 | 2016-03-31 | シャープ株式会社 | 撮像装置及び撮像方法 |
KR20160121718A (ko) * | 2015-04-10 | 2016-10-20 | 한국교통대학교산학협력단 | 다중 카메라를 이용한 자동 초점 장치 및 그 방법 |
-
1999
- 1999-04-27 JP JP11120650A patent/JP2000310531A/ja not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016047220A1 (ja) * | 2014-09-24 | 2016-03-31 | シャープ株式会社 | 撮像装置及び撮像方法 |
JP2016065744A (ja) * | 2014-09-24 | 2016-04-28 | シャープ株式会社 | 撮像装置及び撮像方法 |
KR20160121718A (ko) * | 2015-04-10 | 2016-10-20 | 한국교통대학교산학협력단 | 다중 카메라를 이용한 자동 초점 장치 및 그 방법 |
KR101694390B1 (ko) | 2015-04-10 | 2017-01-11 | 한국교통대학교산학협력단 | 다중 카메라를 이용한 자동 초점 장치 및 그 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4885179B2 (ja) | 映像歪曲補正方法及びその補正方法を採用した映像処理装置 | |
US7139424B2 (en) | Stereoscopic image characteristics examination system | |
JP5367640B2 (ja) | 撮像装置および撮像方法 | |
JP5075757B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 | |
JP5489897B2 (ja) | ステレオ測距装置及びステレオ測距方法 | |
JP4717863B2 (ja) | 複眼撮像装置のキャリブレーション方法および装置ならびにこれに用いられるキャリブレーションチャート | |
JP2008092297A (ja) | 画像処理装置、画像処理プログラム、画像製造方法、及び記録媒体 | |
JPH08116490A (ja) | 画像処理装置 | |
JP2018107526A (ja) | 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム | |
US20220180484A1 (en) | Image processing method, electronic device, and computer-readable storage medium | |
JP3084130B2 (ja) | 画像入力装置 | |
JP2005149500A (ja) | 多焦点画像スタック内の歪みの補正方法 | |
JP6604908B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP2008219124A (ja) | 撮像装置 | |
JP6790038B2 (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム | |
JP2000310531A (ja) | 距離画像生成装置及び方法 | |
JP5925109B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP2000074665A (ja) | 距離画像生成装置及び方法 | |
JP4324271B2 (ja) | 画像処理装置およびその方法 | |
WO2016194576A1 (ja) | 情報処理装置および方法 | |
EP3605450B1 (en) | Image processing apparatus, image pickup apparatus, control method of image processing apparatus, and computer-program | |
JP2007036743A (ja) | 複数画像合成方法及び撮像装置 | |
JP2018074362A (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20070147819A1 (en) | System and method for indicating sharpness of images | |
JP2021097351A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060704 |