JP2000310531A

JP2000310531A - 距離画像生成装置及び方法

Info

Publication number: JP2000310531A
Application number: JP11120650A
Authority: JP
Inventors: Toshifumi Fujita; 俊史藤田; Takayuki Ashigahara; 隆之芦ヶ原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-04-27
Filing date: 1999-04-27
Publication date: 2000-11-07

Abstract

(57)【要約】【課題】ズーム調整機能を有するカメラを有し、カメ
ラのズーム状態に応じて変化するフォーカスを調整し、
高品質の距離画像を生成する。【解決手段】フォーカス調整機能を有するカメラ２を
１以上有し複数のカメラからなる撮像手段２，３と、フ
ォーカス調整機能を有するカメラ２で撮像された画像と
当該画像上の点に対応するフォーカス調整がなされてい
ない画像上の点とを比較して類似度を示す評価値を生成
して適正なフォーカス状態を検出するフォーカス検出手
段７と、上記フォーカス検出手段で検出されたフォーカ
ス状態における画像と、フォーカス調整が施されていな
い画像とを用いて、いずれかのカメラと撮像対象物との
距離を示す距離画像を生成する距離画像生成手段７とを
備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ズーム調整機能を
利用して撮像対象物を撮像するカメラと撮像対象物との
距離を示す距離画像を生成する距離画像生成装置及び方
法に関する。

【０００２】

【従来の技術】所定の位置に配置された基準カメラと、
当該基準カメラの周囲に配置された検出カメラとからな
り、基準カメラと撮像対象物との距離を求める多眼ステ
レオシステムにおいては、二眼のステレオシステムが有
する、撮像対象物が複数ある場合において前景の撮像対
象物が背景の撮像対象物に隠れるオクルージョンのある
画像や周期的なパターンに弱い等の欠点を補い、より高
精度な距離画像を生成することが可能である。具体的に
は、本願出願人により出願された特願平９−９９３３３
号や特願平９−２８８４７９号に開示されている手法を
用いる。

【０００３】また、上述の多眼カメラシステムにおい
て、基準カメラにズーム調整機能を持たせ、ズーム状態
を可変としている。ズーム調整機能を有する基準カメラ
を備えた多眼カメラシステムでは、最適なズームスケー
ル（倍率）、並びにその他のレンズ歪み、レンズ中心等
のズームに関するパラメータを推定して画像変換する機
能を付加することにより、基準カメラと撮像対象物との
距離を測定することがなされている（特願平１０−１７
３５２２号参照）。

【０００４】

【発明が解決しようとする課題】しかし、上述の多眼カ
メラシステムにおいて、基準カメラのズームスケールを
変化させて、基準カメラと被写体との距離を計測すると
きには、基準カメラで撮像する基準画像のフォーカスが
検出画像と同様に合っていて、多眼カメラシステムのキ
ャリブレーション時と比較して同等な画質が得られる場
合に限られる。ここで、上記キャリブレーションとは、
基準カメラと各検出カメラとを略同一の視野角とした場
合における基準画像上の点に対応する各検出画像上の点
を求める処理であり、距離画像を生成する前提として行
う処理である。

【０００５】そこで、本発明は、上述したような実情に
鑑みて提案されたものであり、ズーム調整機能を有する
カメラを有し、カメラのズーム状態に応じて変化するフ
ォーカスを調整し、高品質の距離画像を生成することが
できる距離画像生成装置及び方法を提供することを目的
とする。

【０００６】

【課題を解決するための手段】上述の課題を解決する本
発明に係る距離画像生成装置は、フォーカス調整機能を
有するカメラを１以上有し複数のカメラからなる撮像手
段と、上記フォーカス調整機能を有するカメラで撮像さ
れた画像と当該画像上の点に対応するフォーカス調整が
なされていない画像上の点とを比較して類似度を示す評
価値を生成して適正なフォーカス状態を検出するフォー
カス検出手段と、上記フォーカス検出手段で検出された
フォーカス状態における画像と、フォーカス調整が施さ
れていない画像とを用いて、いずれかのカメラと撮像対
象物との距離を示す距離画像を生成する距離画像生成手
段とを備えることを特徴とするものである。

【０００７】この距離画像生成装置によれば、フォーカ
ス調整が必要な画像を用いて距離画像を生成するとき、
カメラのフォーカス調整に応じて評価値を生成し、評価
値が最も小さい距離画像を生成する。

【０００８】また、本発明に係る距離画像生成方法は、
フォーカス調整機能を用いて撮像対象物を撮像して画像
を生成する１以上のカメラを含む複数のカメラのうち、
上記フォーカス調整機能を有するカメラのフォーカス状
態を検出する第１のステップと、フォーカス状態を所定
の範囲内で変化させて、上記フォーカス調整をしたとき
の画像と当該画像上の点に対応するフォーカス調整をし
ていない画像上の点とを比較して、類似度を示す評価値
を生成する第２のステップと、適正な評価値におけるフ
ォーカス状態を検出する第３のステップと、上記適正な
フォーカス状態でフォーカス調整をした画像と、フォー
カス調整をしていない画像とを用いて、上記フォーカス
調整機能を有するカメラと撮像対象物との距離を示す距
離画像を生成する第４のステップとを有することを特徴
とする。

【０００９】この距離画像生成方法によれば、フォーカ
ス調整が必要な画像を用いて距離画像を生成するとき、
カメラのフォーカス調整に応じて評価値を生成し、評価
値が最も小さい距離画像を生成する。

【００１０】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら詳細に説明する。

【００１１】本発明が適用可能な距離画像生成装置１
は、図１及び図２に示すように、基準カメラ２と、基準
カメラ２の周囲に配された検出カメラ３とを有する。

【００１２】基準カメラ２は、図１に示すように、複数
台のカメラのうち、略中央位置に配置され、撮像対象物
を撮像して濃淡画像（以下、基準画像と称する。）を生
成する。この基準カメラ２は、撮像対象物を撮像すると
き、ズームにより視野角を増減させるズーム機構を備え
ている。ズーム機構は、例えばポテンシオメータで構成
される検出機構によりそのズーム状態が検出される。ポ
テンシオメータは、ズーム機構のズーム状態に応じて出
力電圧を生成し、当該出力電圧をエンコードしてセンサ
信号を生成する。

【００１３】なお、ズーム状態を検出する検出機構とし
ては、ポテンシオメータのみならず、基準カメラ２内の
レンズに対して外部から接続して使用するロータリーエ
ンコーダ等も使用可能である。

【００１４】検出カメラ３は、基準カメラ２の周囲に配
されたカメラであり、撮像対象物を撮像して濃淡画像
（以下、検出画像と称する。）を生成する。

【００１５】これら基準カメラ２及び検出カメラ３によ
り撮像された基準画像Ｂ及び検出画像Ｄ１〜Ｄ４は、基
準カメラ２及び検出カメラ３のズームスケールをキャリ
ブレーション時に使用した状態に固定とすると、図３に
示すように、各カメラの配置に応じた絵柄の基準画像Ｂ
及び検出画像Ｄ１〜Ｄ４を撮像する。

【００１６】また、この距離画像生成装置１は、図２に
示すように、基準カメラ２のズーム状態を検出するズー
ムセンサ信号検出部４と、基準カメラ２のフォーカス状
態を検出するフォーカスセンサ信号検出部５と、基準カ
メラ２及び検出カメラ３で撮像した基準画像及び検出画
像が格納されるフレームメモリ６と、フレームメモリ６
からの基準画像及び検出画像を用いて距離画像を生成す
る距離画像生成部７と、基準カメラ２のフォーカスを制
御する制御部８とを備える。

【００１７】ズームセンサ信号検出部４は、基準カメラ
２と接続されており、上述の検出機構からのセンサ信号
が入力される。このズームセンサ信号検出部４は、入力
されたセンサ信号を用いて、例えばポテンシオメータを
用いた場合の出力電圧Ｖｎと基準カメラ２のズームスケ
ールとの関係を求める。

【００１８】ここで、ズームスケールとは、後述の出力
電圧Ｖ_calibにおける基準画像内の物体サイズに対する
ズーム状態が変化した際の基準画像内の同一物体サイズ
の比率として表現されたものである。具体的には、ズー
ムスケールは、出力電圧Ｖ_calibにおける基準画像上の
特徴点に関して、各出力電圧Ｖｎにおける基準画像内の
対応点を所謂画像合わせ込み手法等により求め、出力電
圧Ｖ_calibにおける基準画像上の特徴点と、出力電圧Ｖ
ｎにおける基準画像上の対応点との位置関係を求めるこ
とにより得られる。

【００１９】この出力電圧ＶｎとズームスケールＳとの
関係は、図４に示すように、出力電圧が大きくなること
に応じてズームスケールが大きくなる。すなわち画像の
拡大率が大きくなる。図中の「Ｖ_calib」は、基準カメ
ラ２と検出カメラ３とが位置決めされ同一物を撮像した
ときに、基準画像上の点に対応する検出画像の点を求め
るようにキャリブレーションしたときのズームスケール
Ｓ_calib（＝１）に対応した出力電圧の値である。出力
電圧Ｖ_calibに対応するズームスケールＳ_calibは基準ズ
ームスケールとして使用され、出力電圧Ｖ₀，Ｖ₁，・・
・Ｖｎが出力電圧Ｖ_calibに対して正方向にずれている
ときには基準画像がズームインしたときであり、出力電
圧Ｖ_calibに対して負方向にずれているときにはズーム
アウトしたことを示している。すなわち、この図４は、
出力電圧Ｖ₀，Ｖ₁，・・・Ｖｎとなることによりズーム
スケールがＳ₀，Ｓ₁，・・・Ｓｎとズームインしている
ことを示している。なお、基準カメラ２におけるズーム
動作には、機械的なバックラッシュが存在するので、出
力電圧Ｖｎとズームスケールとの関係は、ズームイン時
とズームアウト時とに分けて求める。

【００２０】図４の出力電圧ＶｎとズームスケールＳと
の関係を求めるには、基準カメラ２のズームスケールを
変化させては停止し、各点での出力電圧に対するズーム
スケールをプロットする工程を繰り返す。

【００２１】また、出力電圧Ｖｎの数点の測定結果を補
間して、上記出力電圧ＶｎとズームスケールＳとの関係
を示す特性曲線を求めても良い。

【００２２】ここで、キャリブレーションは、基準カメ
ラ２と検出カメラ３との視野角を所定の角度として行っ
ている。

【００２３】ズームセンサ信号検出部４は、図４に示す
出力電圧Ｖｎとズームスケールとの関係を例えばテーブ
ルとして用意しておき、基準カメラ２からのセンサ信号
を検出することにより、基準カメラ２のズームスケール
を示すスケール信号を生成して、距離画像生成部７に出
力する。

【００２４】また、これらの出力電圧Ｖｎとズームスケ
ールＳとの関係は、ズームスケールと画像中心との関
係、及びズームスケールとレンズ歪みとの関係をテーブ
ルとして作成して用意しておいても良い。

【００２５】また、ズームセンサ信号検出部４は、基準
カメラ２からのセンサ信号から基準カメラ２の画像中心
（Ｘｃ，Ｙｃ）を示す画像中心信号及び基準カメラ２の
レンズ歪みκを示すレンズ歪み信号を生成して、距離画
像生成部７に出力する。また、ズームセンサ信号検出部
４は、上述のズームスケールの場合と同様に、センサ信
号と、画像中心との関係及びレンズ歪みとの関係を例え
ばテーブルとして用意しておき、基準カメラ２からのセ
ンサ信号を検出することにより、画像中心信号及びレン
ズ歪み信号を生成し、距離画像生成部７に出力する。

【００２６】なお、基準カメラ２に内蔵されている検出
機構としてロータリーエンコーダを用いた場合には、ズ
ームセンサ信号検出部４は、センサ信号としてロータリ
ーエンコーダからの出力パルスのパルス数をカウントす
ることにより、ズームスケール、画像中心及びレンズ歪
みを求める。

【００２７】フレームメモリ６は、基準カメラ２及び各
検出カメラ３と接続され、基準画像及び検出画像が入力
される。これらフレームメモリ６は、入力された基準画
像及び検出画像をＡ／Ｄ変換して距離画像生成部７に出
力する。

【００２８】フォーカスセンサ信号検出部５には、基準
カメラ２からのフォーカス状態を検知するセンサ信号Ｓ
ｆ_zoomが入力される。このフォーカスセンサ信号検出部
５は、センサ信号Ｓｆ_zoomを用いて、基準カメラ２のフ
ォーカス状態を検出してフォーカスセンサ信号を生成し
て距離画像生成部７に出力するとともに、制御部８に出
力する。

【００２９】距離画像生成部７は、上述のセンサ信号検
出部４からスケール信号、画像中心信号及びレンズ歪み
信号、並びにフォーカスセンサ信号検出部５からのフォ
ーカスセンサ信号を用いて、基準カメラ２のズーム状
態、フォーカス状態に応じて基準カメラ２と撮像対象物
との距離を示す距離画像を生成する。

【００３０】また、この距離画像生成部７は、距離画像
を生成する前提として、基準カメラ２と各検出カメラ３
とを略同一の視野角とした場合における基準画像上の点
に対応する各検出画像上の点を求めるキャリブレーショ
ンを行う。これにより、距離画像生成部７は、撮像対象
物を撮像したときにおける基準画像上の点に対応する検
出画像上の対応点を得ることができる。

【００３１】更に、この距離画像生成部７は、最適なフ
ォーカスを示すフォーカス制御信号Ｓ_optを生成する。
このとき、距離画像生成部７は、フォーカスセンサ信号
検出部５からのフォーカスセンサ信号を用いて、フォー
カス調整するためのフォーカス制御信号Ｓ_optを生成し
て、制御部８に出力する。

【００３２】制御部８は、フォーカスセンサ信号検出部
５からのフォーカスセンサ信号と距離画像生成部７から
のフォーカス制御信号とを比較し、基準カメラ２に内蔵
されているレンズの位置を移動させるためのフォーカス
駆動信号を生成する。

【００３３】このように構成された距離画像生成装置１
により、フォーカス調整を行うとともに、距離画像を生
成する処理を行うときには図５に示すようなフローチャ
ートに示す処理を行う。

【００３４】このフローチャートによれば、先ず、ステ
ップＳＴ１において、ユーザ又は自動的に基準カメラ２
によりズーム操作が行われる。

【００３５】次のステップＳＴ２において、基準カメラ
２により行われたズーム操作に応じて基準カメラ２から
のセンサ信号Ｓｚを用いて、ズームセンサ信号Ｓｚをズ
ームセンサ信号検出部４により検出し、距離画像生成部
７は、ズームセンサ信号Ｓｚに基づいてズームスケール
の最適化を行う。なお、このズームスケールの最適化を
行う詳細な処理内容については後述する。

【００３６】ステップＳＴ３において、距離画像生成部
７は、上述のステップＳＴ２で最適化されたズームスケ
ールで距離画像を生成する処理を行い、生成した距離画
像の精度を判定する。このとき、距離画像生成部７は、
基準カメラ２で撮像した画像と当該画像上の点に対応す
る検出カメラ３で撮像した画像上の点とを比較して類似
度を示すSSAD(Sum of squared absolute distance)等の
評価値を用いて、距離画像の精度を評価する。そして、
距離画像生成部７は、距離画像の精度が所定以上である
と判定したときには処理を終了し、距離画像の精度が所
定以上でないと判定したときにはステップＳＴ４に進
む。

【００３７】ステップＳＴ４において、距離画像生成部
７は、距離画像の精度が十分でないことから、基準カメ
ラ２のフォーカスを補正するために、最適なフォーカス
を示すフォーカス制御信号Ｓ_optを生成して、制御部８
に出力する。このとき、距離画像生成部７は、フォーカ
スセンサ信号検出部５からのフォーカスセンサ信号Ｓｆ
_zoomを用いてフォーカス制御信号Ｓ_optを生成する。

【００３８】そして、制御部８では、距離画像生成部７
からのフォーカス制御信号Ｓ_opt及びフォーカスセンサ
信号検出部５からのフォーカスセンサ信号Ｓｆ_zoomを用
いてフォーカス駆動信号を生成し、基準カメラ２に内蔵
されているレンズを駆動することでフォーカス調整を行
ってステップＳＴ２に戻る。

【００３９】基準カメラ２によりフォーカス調整を行っ
た後、再度ステップＳＴ２を行うとき、距離画像生成部
７は、ステップＳＴ４におけるフォーカス調整により変
化した基準画像のズームスケールの最適化を再び行い、
ステップＳＴ３で距離画像の精度が十分であると判断し
たら、処理を終了することになる。なお、このステップ
ＳＴ４におけるフォーカスを調整する処理の詳細な処理
内容については後述する。

【００４０】次に、上述のステップＳＴ２におけるズー
ムスケールの最適化を行う処理について図６のフローチ
ャートを用いて説明する。

【００４１】先ず、ステップＳＴ１１において、基準カ
メラ２のズーム状態を検出機構により検知する。そし
て、検出機構は、ズーム状態に応じたセンサ信号を生成
し、当該センサ信号をズームセンサ信号検出部４に出力
する。

【００４２】ステップＳＴ１２では、ズームセンサ信号
検出部４にセンサ信号が入力され、例えば検出機構とし
てポテンシオメータを用いたときには出力電圧Ｖｎに対
するズームスケールＳｖ、画像中心（Ｘｃ，Ｙｃ）及び
レンズ歪みκを変換テーブル等を参照して求めて距離画
像生成部７に出力する。

【００４３】ステップＳＴ１３において、距離画像生成
部７は、距離画像を生成するときのズームスケールを最
適化すべく、ズームスケールＳ、最適評価値Ｅ_min、ズ
ームスケール最適値Ｓ_optについて初期化処理を行う。
すなわち、このステップＳＴ３における初期化処理は、
後述のズームスケールＳを最適化してズームスケール最
適値Ｓ_optを求める処理の前提となる処理である。な
お、上記最適評価値Ｅ_minは、距離画像を生成するとき
に求めるSSAD等を用いて決定される。

【００４４】そして、距離画像生成部７では、Ｓ_range
を後述の最適化処理の対象となるスケール範囲を指定す
る定数としたとき、後述の最適化処理によりその値を調
整するズームスケールＳｖから「Ｓ_range」だけ減算し
たズームスケールに変換することにより初期化し、この
ステップＳＴ１３においてはズームスケール最適値Ｓ
_optを「Ｓ」とする。また、距離画像生成部７は、基準
画像上の点と、当該基準画像上の点に対応する検出画像
上の点との類似度を示す最適評価値Ｅ_minを所定の値Ｅ
に設定する。

【００４５】ステップＳＴ１４において、距離画像生成
部７は、ステップＳＴ１３で初期化処理をすることによ
り得たズームスケールＳ、ステップＳＴ１で求めた画像
中心（Ｘｃ，Ｙｃ）及びレンズ歪みκを用いて基準画像
のスケール変換処理を行うことにより、図７（ａ）に示
す基準画像Ｂを、図７（ｂ）に示す基準画像Ｂ’となる
ように変換する。なお、検出画像Ｄ１〜Ｄ４には、スケ
ール変換を施さない。

【００４６】すなわち、距離画像生成部７は、ステップ
ＳＴ１４においてスケール変換処理を行うときには図８
に示すように、ステップＳＴ２１〜ステップＳＴ２３に
示す処理を行う。

【００４７】先ずステップＳＴ２１においてズームスケ
ールＳｖにおけるレンズ歪みκ及び画像中心（Ｘｃ，Ｙ
ｃ）を用いて基準画像の歪みを除去する。その結果、基
準画像は、図９（ａ）に示すように、歪み除去前と比較
して歪みが除去される。このとき、距離画像生成部７
は、基準画像の歪みが画像中心からの距離の三乗に比例
して変化するものとして基準画像の歪みを除去する。

【００４８】ステップＳＴ２２において、距離画像生成
部７は、基準画像のスケール変換を行う。距離画像生成
部７は、スケール変換を行うとき、ステップＳＴ２１で
歪みが除去された基準画像のズームスケールＳ及び画像
中心（Ｘｃ，Ｙｃ）を用いる。このとき、距離画像生成
部７は、Ｘｉ＝Ｘｃ＋（Ｘｉ−Ｘｃ）／ＳＹｉ＝Ｙｃ＋（Ｙｉ−Ｙｃ）／Ｓで示される変換式を用いてスケール変換を行う。ここ
で、（Ｘｉ，Ｙｉ）はＸＹ方向ｉ番目の画素の基準画像
上の座標である。

【００４９】その結果、基準画像は、図９（ｂ）に示す
ようにスケール変換前と比較して絵柄が縮小され、キャ
リブレーション時に用いた基準画像の絵柄と同等の大き
さとなる。

【００５０】ステップＳＴ２３において、距離画像生成
部７は、ズームスケールＳ_calibにおける画像中心（Ｘ
ｃ，Ｙｃ）及びレンズ歪みκを用いてステップＳＴ２２
でスケール変換された基準画像に歪みを付加する。その
結果、基準画像は、図９（ｃ）に示すように、キャリブ
レーション時におけるズーム状態で撮像した基準画像と
同等の画像に変換される。

【００５１】図６に戻ってステップＳＴ１４において
は、距離画像生成部７によりスケール変換処理後におけ
る基準画像を用いて距離画像生成処理及び評価値算出処
理を行う。このとき、予めキャリブレーションしてテー
ブルとして作成した基準画像上の点と対応する検出画像
上の点との関係を用いて、距離画像を生成するととも
に、下式を用いて評価値Ｅを算出する。

【００５２】

【数１】

【００５３】ここで、I(x)は基準画像の輝度値であり、
I'(x')は検出画像の輝度値である。

【００５４】このとき、ステップＳＴ２１〜ステップＳ
Ｔ２３に示す処理を基準画像に施すことにより、距離画
像の有効領域が基準カメラ２で撮像した基準画像よりも
小さくなることになる。従って、スケール変換処理を施
した基準画像を用いて評価値Ｅを算出するとき、基準カ
メラ２で撮像した基準画像の有効領域を考慮する。すな
わち、スケール変換処理が施されることにより、基準カ
メラ２で撮像された基準画像の所定領域を構成する画素
数と、スケール変換が施された後の当該所定領域に相当
する基準画像の画素数が異なるので、評価値Ｅを上式で
求めたとき、任意の領域における評価値Ｅの平均を取っ
たものを各小領域における評価値Ｅとして用いる。

【００５５】次に、ステップＳＴ１５において、距離画
像生成部７は、ズームスケールの最適化処理を行う。す
なわち、ステップＳＴ１５ａにおいて距離画像生成部７
は、ステップＳＴ１３で決定した最適評価値Ｅ_minと、
ステップＳＴ１４で算出した評価値Ｅとを比較して、最
適評価値Ｅ_minよりも評価値Ｅが小さい判定したときに
はステップＳＴ１５ｂに進み、最適評価値Ｅ_minよりも
評価値Ｅが小さくないと判定したときはステップＳＴ１
６に進む。

【００５６】ステップＳＴ１５ｂにおいて、上述のステ
ップＳＴ１５ａで選択された評価値Ｅを最適評価値Ｅ
_minとして更新するとともに、変換した最適評価値Ｅ_min
におけるズームスケールＳを最適値Ｓ_optに更新する。

【００５７】ステップＳＴ１６において、距離画像生成
部７は、上述のステップＳＴ１４及びステップＳＴ１５
で示す処理を行ったときのズームスケールＳと、「Ｓｖ
＋Ｓ_range」との大きさを比較し、「Ｓ＞Ｓｖ＋
Ｓ_range」と判断したときにはステップＳＴ１７に進
み、「Ｓ≦Ｓｖ＋Ｓ_range」と判断したときにはステッ
プＳＴ１８に進み、ステップＳＴ１８においてズームス
ケールＳをインクリメントして、「Ｓ＋Ｓ_step」とす
る。

【００５８】すなわち、距離画像生成部７は、−Ｓ
_range≦Ｓ≦＋Ｓ_range（Ｓ_start≦Ｓ≦Ｓ_end）の範囲内
でＳ_step毎に上述のステップＳＴ１４〜ステップＳＴ１
６の処理を繰り返す。すなわち、ステップＳＴ１４で基
準画像のスケール変換を行い、スケール変換を施した基
準画像と検出画像とから求めた評価値Ｅと最適評価値Ｅ
_minとを比較して、評価値Ｅが小さいときには随時最適
評価値Ｅ_minを評価値Ｅに更新するとともに、最適値Ｓ
_optをズームスケールＳに更新することにより、所定の
ズームスケールの範囲内における最適なズームスケール
を検出する。

【００５９】距離画像生成部７は、このように±Ｓ
_rangeの範囲内でズームスケールをＳ_step単位で変化さ
せてズームスケールの最適値Ｓ_optを求めるとき、例え
ば図１０に示すように、実際に得たズームスケールＳ
_start〜Ｓ_endに対する評価値Ｅの最小近傍の複数点を抽
出し、これらの点を補間することにより、最適値Ｓ_opt
を決定しても良い。更に、距離画像生成部７は、評価値
Ｅの最小近傍の複数点を抽出し、これらの点を２次関数
で曲線近似して最適値Ｓ_optを決定しても良い。

【００６０】ステップＳＴ１７において、距離画像生成
部７は、上述のステップＳＴ１５で求めた最適値Ｓ_opt
における距離画像を生成する。このとき、距離画像生成
部７では、ステップＳＴ２１〜ステップＳＴ２３で示し
たスケール変換処理をズームスケールの最適値Ｓ_optを
用いて行い、スケール変換処理を施した基準画像及び検
出画像を用いて距離画像を生成する。そして、この距離
画像生成部７は、生成した距離画像を出力するときに、
ズームスケール、レンズ歪み及び画像中心について逆変
換を施し、基準カメラ２で撮像対象物の撮像したときの
ズームスケール、レンズ歪み及び画像中心となるように
変換させる。

【００６１】なお、基準画像に対してではなく、検出画
像に対してスケール変換をする手法を用いて最適値Ｓ
_optを算出することも可能である。このような手法を用
いることにより、距離画像の出力に際して行うスケール
変換等の逆変換を不要とすることができる。

【００６２】このような距離画像生成装置１は、ズーム
センサ信号検出部４により基準カメラ２のズーム状態を
検出して出力電圧Ｖｎに対するズームスケール、レンズ
歪み及び画像中心の関係を求め、この関係を用いて基準
画像のスケール変換を行って評価値Ｅを求めることによ
り、所定の範囲±Ｓ_rangeでズームスケールの最適値Ｓ
_optを求める。

【００６３】なお、スケール変換を基準画像に対してで
はなく、検出画像に対して適用する手法により、ズーム
スケールを最適化することも可能である。

【００６４】次に、図５に示したステップＳＴ４におい
て距離画像生成部７によりフォーカス制御信号を生成
し、制御部８によりフォーカス駆動信号を生成して基準
カメラ２のフォーカスを調整する処理の一例について図
１１のフローチャートを参照して説明する。

【００６５】このフローチャートによれば、先ず、ステ
ップＳＴ３１において、距離画像生成部７は、フォーカ
スセンサ信号検出部５からのフォーカスセンサ信号Ｓｆ
_zoomを読みとる処理を行う。

【００６６】ステップＳＴ３２において、距離画像生成
部７は、上述のステップＳＴ３１において入力したフォ
ーカスセンサ信号Ｓｆ_zoomを用いて、以下の処理で用い
る各種パラメータの初期化を行う。このとき、距離画像
生成部７は、後述のステップＳＴ５〜ステップＳＴ３９
における変数Ｓｆを“Ｓｆ_zoom−α”とし、SSADの最小
値SSAD_minを定数“1.0*10¹¹”とし、フォーカス調整後
におけるズームスケールの最適値Ｓｆ_optを“Ｓｆ”と
する。

【００６７】ステップＳＴ３３において、距離画像生成
部７は、上述のステップＳＴ１４と同様に、ステップＳ
Ｔ３２で初期化処理をすることにより得た変数Ｓｆにお
ける距離画像を生成するとともに、SSADを生成する。

【００６８】ステップＳＴ３４において、距離画像生成
部７は、フォーカスに関する最適化処理を行う。すなわ
ち、ステップＳＴ３４ａにおいて距離画像生成部７は、
ステップＳＴ３２で決定したSSAD_minと、ステップＳＴ
３３で算出したSSADとを比較して、SSAD_minよりもSSAD
が小さい判定したときにはステップＳＴ３４ｂに進み、
SSAD_minよりもSSADが小さくないと判定したときはステ
ップＳＴ３５に進む。

【００６９】ステップＳＴ３４ｂにおいて、上述のステ
ップＳＴ３４ａで選択されたSSADをSSAD_minとして更新
するとともに、変換したSSAD_minにおける変数Ｓｆを最
適値Ｓｆ_optに更新する。

【００７０】ステップＳＴ３５において、距離画像生成
部７は、上述のステップＳＴ３３及びステップＳＴ３４
で示す処理を行ったときの変数Ｓｆと、“Ｓｆ_zoom＋
α”との大きさを比較し、ズームスケールＳｆが“Ｓｆ
_zoom＋α”より大きくないと判断したときにはステップ
ＳＴ３６に進み、変数Ｓｆが“Ｓｆ_zoom＋α”より大き
いと判断したときにはステップＳＴ３８に進む。

【００７１】ステップＳＴ３６において、距離画像生成
部７は、変数ＳｆをＳｆ_stepだけ進める処理を行う。

【００７２】ステップＳＴ３７において、距離画像生成
部７は、上述のステップＳＴ３５で進めたＳｆに応じ
て、制御部８によりフォーカス駆動信号を生成させて基
準カメラ２のフォーカスを制御して、ステップＳＴ３３
に戻る。

【００７３】また、ステップＳＴ３５において変数Ｓｆ
がＳｆ_zoom＋αよりも大きいと判定したステップＳＴ３
８において、変数ＳｆがＳｆ_zoom＋αよりも大きいと判
定した時点において保持している最適値Ｓｆ_optを用い
て、フォーカス制御信号を生成して制御部８に出力す
る。これに応じ、制御部８は、フォーカスセンサ信号検
出部５からのフォーカスセンサ信号及びフォーカス制御
信号をを参照してフォーカス駆動信号を生成して、最適
値Ｓｆ_optを用いてフォーカス制御する処理を行って処
理を終了する。

【００７４】このように、距離画像生成部７は、ステッ
プＳＴ３７で変数ＳｆがＳｆ_zoom±αの範囲内にあると
判断するまでステップＳＴ３５〜ステップＳＴ３６に示
す処理を行う。すなわち、距離画像生成部７は、Ｓｆ
_zoom±αの範囲内でＳｆ_step単位で変数Ｓｆを変化させ
て最適値Ｓｆ_optを求めるとき、例えば図１２に示すよ
うに、Ｓｆ−α〜Ｓｆ＋αに対するSSADの最小近傍の複
数点を抽出し、これらの点を補間することにより、最適
値Ｓｆ_optを決定する。更に、距離画像生成部７は、SSA
Dの最小近傍の複数点を抽出し、これらの点を２次関数
で曲線近似して最適値Ｓｆ_optを決定しても良い。

【００７５】上述したように、距離画像生成装置１は、
フォーカスセンサ信号検出部５によりフォーカスセンサ
信号の生成をして、フォーカスを変化させながらSSADが
最小であるときの最適値Ｓｆ_optを検出処理を行ってフ
ォーカス制御信号を距離画像生成部７により生成して制
御部８によりフォーカスを制御する処理を行うので、ズ
ーム操作を行った後においてフォーカスが未調整であっ
ても、SSADが最小である距離画像を生成することがで
き、高精度の距離画像を生成することができる。

【００７６】また、本発明の説明においては基準カメラ
２又は検出カメラ３のズームスケールの変化に伴いフォ
ーカス調整を行ったときに距離画像を生成する一例につ
いて説明したが、距離画像生成装置１は、フォーカスの
調整により画像サイズが変化しても、ステップＳＴ２で
再びズームスケールの最適化を行うことで高精度の距離
画像を生成することができる。

【００７７】このとき、距離画像生成装置１は、例えば
図１３（ａ）に示すような基準画像Ｂ、検出画像Ｄ１〜
Ｄ４のうち、ズームを操作して撮像された基準画像Ｂの
みについてズームスケールの変換を行って図１３（ｂ）
に示すように基準画像Ｂ’とし、更に基準画像Ｂ’につ
いてフォーカスの調整処理を行うことで図１３（ｃ）に
示す基準画像Ｂ”とする。このとき、図１３（ｃ）に示
す基準画像Ｂ”は、図１３（ｂ）に示した基準画像Ｂ’
と比較して大きさが変化しており、この場合においては
小さくなっている。

【００７８】これに対し、±Ｓ_rangeの範囲内でズーム
スケールをＳ_step単位で変化させてズームスケールの最
適値Ｓ_optを求めるとき、例えば図１４に示すように、
実際に得たズームスケールＳ_start〜Ｓ_endに対する最適
評価値Ｅ_minに応じて、最適値Ｓ_optを決定し、フォーカ
スを調整した後の基準画像Ｂ”に対してズームスケール
Ｓ_start'〜Ｓ_end'に対する最適評価値Ｅ_min'に応じて、
最適なＳ_opt'を求める。これにより、距離画像生成装置
１は、ズームスケールを変化させて画像を距離画像を生
成するとともに、フォーカス調整を行うことで画像のズ
ームスケールが変化した場合においても、最適なズーム
スケールをＳ_opt'として検出して、距離画像を生成する
ことができる。

【００７９】更に、この距離画像生成装置１によれば、
図６に示したズーム後のズームスケールを最適化して距
離画像を生成する処理を行い、図１１に示すフォーカス
を調整するときの最適値Ｓｆ_optにおけるSSADを求めて
距離画像を生成する処理を行い、上述の図１４を用いて
説明したフォーカス調整後におけるズームスケールを最
適化して距離画像を生成する処理を行うことにより、更
に高精度な距離画像を生成することができる。

【００８０】

【発明の効果】以上詳細に説明したように、本発明に係
る距離画像生成装置は、フォーカス調整機能を有するカ
メラで撮像された画像と当該画像上の点に対応するフォ
ーカス調整がなされていない画像上の点とを比較して類
似度を示す評価値を生成して最適なフォーカス状態を検
出するフォーカス検出手段と、フォーカス検出手段で検
出されたフォーカス状態における画像と、フォーカス調
整が施されていない画像とを用いて、いずれかのカメラ
と撮像対象物との距離を示す距離画像を生成する距離画
像生成手段とを備えるので、フォーカス調整が必要な画
像を用いて距離画像を生成するとき、カメラのフォーカ
ス調整に応じて評価値を生成し、評価値が最も小さい距
離画像を生成することができ、カメラのズーム状態に応
じて変化するフォーカスを調整しても、高品質の距離画
像を生成することができる。

【００８１】また、本発明に係る距離画像生成方法は、
フォーカス状態を所定の範囲内で変化させて、フォーカ
ス調整をしたときの画像と当該画像上の点に対応するフ
ォーカス調整をしていない画像上の点とを比較して、類
似度を示す評価値を生成する第２のステップと、適正な
評価値におけるフォーカス状態を検出する第３のステッ
プと、適正なフォーカス状態でフォーカス調整をした画
像と、フォーカス調整をしていない画像とを用いて、上
記フォーカス調整機能を有するカメラと撮像対象物との
距離を示す距離画像を生成する第４のステップとを有す
るので、フォーカス調整が必要な画像を用いて距離画像
を生成するとき、カメラのフォーカス調整に応じて評価
値を生成し、評価値が最も小さい距離画像を生成するこ
とができ、カメラのズーム状態に応じて変化するフォー
カスを調整しても、高品質の距離画像を生成することが
できる。

【図面の簡単な説明】

【図１】本発明を適用した距離画像生成装置を構成する
基準カメラと検出カメラの配置例を示す斜視図である。

【図２】本発明を適用した距離画像生成装置の構成を示
すブロック図である。

【図３】基準カメラ及び検出カメラのズーム状態を固定
としたときに撮像される画像について説明するための図
である。

【図４】ズームセンサ信号検出部で生成した出力電圧と
基準画像のズームスケールとの関係を示す図である。

【図５】本発明を適用した距離画像生成装置により、フ
ォーカス調整を行うとともに、距離画像を生成する処理
を示すフローチャートである。

【図６】本発明を適用した距離画像生成装置で距離画像
を生成するときの距離画像生成部の処理を示すフローチ
ャートである。

【図７】基準画像にスケール変換処理を行うことを説明
するための図であり、（ａ）にスケール変換処理前の基
準画像及び検出画像を示し、（ｂ）にスケール変換処理
後の基準画像及び検出画像を示す。

【図８】基準画像に対してスケール変換処理を施す処理
を示すフローチャートである。

【図９】図８に示すフローチャートにしたがってスケー
ル変換処理が施される基準画像を示す図であり、（ａ）
に歪み除去前後の基準画像を示し、（ｂ）にスケール変
換前後の基準画像を示し、（ｃ）に歪み付加前後の基準
画像を示す。

【図１０】所定の範囲内±Ｓ_rangeでズームスケールを
変化させたときの評価値を示す図である。

【図１１】距離画像生成部によりフォーカス制御信号を
生成し、制御部によりフォーカス駆動信号を生成して基
準カメラのフォーカスを調整する処理を示すフローチャ
ートである。

【図１２】フォーカス状態と、SSADとの関係を示す図で
ある。

【図１３】（ａ）はスケール変換処理前の基準画像及び
検出画像を示し、（ｂ）はスケール変換処理後の基準画
像及び検出画像を示し、（ｃ）はフォーカス調整後の基
準画像及び検出画像を示す図である。

【図１４】所定の範囲内±Ｓ_rangeでズームスケールを
変化させたときの評価値、フォーカス調整を行うことで
変化したズームスケールに応じてた評価値を示す図であ
る。

【符号の説明】

１距離画像生成装置、２基準カメラ、３検出カメ
ラ、５フォーカスセンサ信号検出部、７距離画像生
成部

Claims

【特許請求の範囲】

【請求項１】フォーカス調整機能を有するカメラを１
以上有し複数のカメラからなる撮像手段と、上記フォーカス調整機能を有するカメラで撮像された画
像と当該画像上の点に対応するフォーカス調整がなされ
ていない画像上の点とを比較して類似度を示す評価値を
生成して適正なフォーカス状態を検出するフォーカス検
出手段と、上記フォーカス検出手段で検出されたフォーカス状態に
おける画像と、フォーカス調整が施されていない画像と
を用いて、いずれかのカメラと撮像対象物との距離を示
す距離画像を生成する距離画像生成手段とを備えること
を特徴とする距離画像生成装置。
【請求項２】上記撮像手段は、ズーム調整機能を有す
るカメラを有し、上記フォーカス検出手段は、上記ズーム調整機能を有す
るカメラでズーム調整がされた後にフォーカス調整がさ
れた画像を用いて評価値を生成して適正なフォーカス状
態を検出することを特徴とする請求項１記載の距離画像
生成装置。
【請求項３】上記ズーム調整機能を有するカメラのズ
ーム状態を検出して少なくともズームスケールを算出す
るズーム状態検出手段と、いずれかのカメラで撮像した画像のズームスケールを変
換させるスケール変換手段と、上記スケール変換手段でズームスケールの変換が施され
た画像と当該画像上の点に対応するスケール変換が施さ
れていない画像上の点とを比較して類似度を示す評価値
を生成して適正なズームスケールを検出するズームスケ
ール検出手段とを備え、上記距離画像生成手段は、上記ズームスケール検出手段
で検出されたズームスケールにおける画像と、スケール
変換が施されていない画像とを用いて、いずれかのカメ
ラと撮像対象物との距離を示す距離画像を生成すること
を特徴とする請求項２記載の距離画像生成装置。
【請求項４】上記ズーム状態検出手段は、フォーカス
調整後における上記フォーカス調整機能を有するカメラ
のズームスケールを検出することを特徴とする請求項３
記載の距離画像生成装置。
【請求項５】フォーカス調整機能を用いて撮像対象物
を撮像して画像を生成する１以上のカメラを含む複数の
カメラのうち、上記フォーカス調整機能を有するカメラ
のフォーカス状態を検出する第１のステップと、フォーカス状態を所定の範囲内で変化させて、上記フォ
ーカス調整をしたときの画像と当該画像上の点に対応す
るフォーカス調整をしていない画像上の点とを比較し
て、類似度を示す評価値を生成する第２のステップと、適正な評価値におけるフォーカス状態を検出する第３の
ステップと、上記適正なフォーカス状態でフォーカス調整をした画像
と、フォーカス調整をしていない画像とを用いて、上記
フォーカス調整機能を有するカメラと撮像対象物との距
離を示す距離画像を生成する第４のステップとを有する
ことを特徴とする距離画像生成方法。
【請求項６】上記第１のステップでは、ズーム調整を
した後にフォーカス調整をした画像を用いて評価値を生
成し、適正な評価値におけるフォーカス状態を検出する
ことを特徴とする請求項５記載の距離画像生成方法。
【請求項７】ズーム調整機能を有するカメラのズーム
状態を検出して少なくともズームスケールを算出するス
テップと、いずれかのカメラで撮像した画像のズームスケールを変
換するステップと、上記ズームスケールの変換を施した画像と当該画像上の
点に対応するスケール変換を施していない画像上の点と
を比較して類似度を示す評価値を生成して適正なズーム
スケールを検出するステップとを有し、上記適正なズームスケールにおける画像と、ズームスケ
ールの変換を施していない画像とを用いて、いずれかの
カメラと撮像対象物との距離を示す距離画像を生成する
ことを特徴とする請求項５記載の距離画像生成方法。
【請求項８】上記ズームスケールを算出するステップ
では、フォーカス調整を行ったカメラのズームスケール
を検出することを特徴とする請求項７記載の距離画像生
成方法。