JP2009239460A - 焦点制御方法、測距装置、撮像装置 - Google Patents

Abstract

【課題】複数合焦位置で撮像して距離情報を取得するとき、画像と距離情報との対応付けには誤差が生じてしまうという課題を解決する。
【解決手段】この撮像装置は、撮像光学系を含む光学ブロック１ａと、その後段に設けられた撮像素子１ｃと、光学ブロック１ａを駆動する光学ブロックドライバ１ｅと、この駆動に伴って撮像素子から出力された画像信号に基づいて画素を抽出し、抽出された合焦画素を合成して被写体の画像を生成し、コントラスト判定によって抽出された合焦画素と撮像光学系が合焦している撮影距離の情報とを関連付けて記憶し、撮像光学系を駆動して合焦位置を変化させると共に、撮像光学系における合焦位置を変化させるレンズ群とは別に設けられた、他のレンズ群を駆動するよう制御するＣＰＵ２ａを備える。
【選択図】 図１

Description

本発明は、例えば、複数合焦位置で撮像して距離情報を取得するときに、合焦位置を変化させた際の焦点距離変化を補正する焦点制御方法、測距装置、撮像装置に関する。

従来、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置では、撮像画像における被写体までの距離情報（撮像画像における物体までの距離を画素単位で対応付けたもの）を取得することがなされている。そして、この距離情報としては、例えばデプス・マップ（Depth Map）等が用いられている。この「デプス・マップ」とは、画像における物体までの距離を画素単位で対応付けて取得する距離情報である。

一方、合焦位置を変化させながら画像を取得する際、コントラスト判定で合焦画素のみを抽出することもなされている。例えば、特許文献１では、合焦位置を変化させながら画像を取得して、コントラスト判定で合焦画素のみを抽出することによって、奥行き方向すべてにピントの合っている画像を取得する技術が開示されている。

しかしながら、複数の合焦位置で撮像して距離情報を取得するとき、一般的な光学系においては焦点距離が変わってしまい、画角が変化してしまうために、画像と距離情報との対応付けに誤差が生じてしまうという問題があった。これを解決するものとして、キャリブレーション技術も用いられているが、処理が煩雑である。さらに、これを利用して距離情報を演算する技術も開発されているが、その演算過程での発生誤差を十分抑えるものではない。また、演算処理負荷が大きいといった問題がある。

これらの問題を解決する手段の１つとして、テレセントリック光学系を用いることが挙げられる。一般に、光学系は、そのテレセントリック性に着目すると、
・像側（像面側）テレセントリック光学系
・物側（物体側）テレセントリック光学系
・両側テレセントリック光学系
・非テレセントリック光学系
に分類することができる。

これらのうち、物側テレセントリック光学系及び両側テレセントリック光学系を用いれば、複数合焦位置で撮像して距離情報を取得するときの画角変化（被写体像における形状変化）を抑えることが可能である。従って、画像と距離情報との対応付けに生じる誤差を抑えることができる。
特開平６−３１１４１１号公報

しかしながら、物側テレセントリック光学系を用いるためには射出瞳位置と像側（像面側）焦点位置とを一致させることによって物体側で主光線と光軸とを平行にしなくてはならない。つまり、設計制約が大きいために小型化を優先する機器（例えばデジタルカメラ等）では実現が困難であるという問題があった。

さらに、両側テレセントリック光学系を用いる為には、入射瞳位置と前側（物体側）焦点位置とを一致させることによって像面側で主光線と光軸とを平行にする。その上で射出瞳位置と後側（像面側）焦点位置とを一致させることによって物体側で主光線と光軸とを平行にしなくてはならない。その為、やはり設計制約が大きいために小型化を優先する機器（例えばデジタルカメラ等）では実現が困難であるという問題があった。

特に近年ズームレンズの高倍率化ニーズ並びに小型化ニーズが高まっているが、これを達成するためにはテレセントリック性を設計制約に加えることは困難である。

そこで、本発明は、複数合焦位置で撮像して距離情報を取得するとき、一般的な光学系においては焦点距離が変わってしまい、画角が変化してしまうために、画像と距離情報との対応付けには誤差が生じてしまうという問題を解決することを課題とする。

本発明の第１の観点による焦点制御方法は、画像信号に基づいて画素のコントラストを判定し、このコントラスト判定の判定結果に基づいて、合焦画素の距離情報を生成し、該合焦画素と該距離情報とを対応付けて記憶する。そして、合焦位置を変化させると共に該合焦位置を変化させる第１のレンズ群とは別に設けられた少なくとも１つの第２のレンズ群を、第１のレンズ群の移動量と実効焦点距離の変化量との関係に従って実効焦点距離を一定に保つための移動量に従って駆動する。

本発明の第２の観点による測距装置は、画像信号に基づいて画素のコントラストを判定するコントラスト判定手段と、このコントラスト判定手段による判定結果に基づいて、合焦画素の距離情報を生成し、該合焦画素と該距離情報とを対応付けて記憶する距離情報生成手段を有する。そして、特に合焦位置を変化させると共に、該合焦位置を変化させる第１のレンズ群とは別に設けられた少なくとも１つの第２のレンズ群を、該第１のレンズ群の移動量と実効焦点距離の変化量との関係に従って実効焦点距離を一定に保つための移動量に従って駆動するレンズ駆動手段を有する。

本発明の第３の観点による撮像装置は、撮像光学系と、この撮像光学系の後方に配置された撮像素子と、この撮像光学系を駆動するレンズ駆動手段を有する。そして、このレンズ駆動手段による撮像光学系の駆動に伴って撮像素子から出力された画像信号に基づいて画素を抽出するコントラスト判定手段と、このコントラスト判定手段によって抽出された合焦画素を合成して被写体の画像を生成する画像生成手段を有する。更に、コントラスト判定手段によって抽出された合焦画素とレンズ駆動手段によって撮像光学系が合焦している撮影距離の情報とを関連付けて記憶する距離情報生成手段を有する。そして、特にレンズ駆動手段は、合焦位置を変化させると共に、該合焦位置を変化させる合焦位置変化用レンズ群とは別に設けられた少なくとも１つの他のレンズ群を、該合焦位置変化用レンズ群の移動量と実効焦点距離の変化量との関係に従って実効焦点距離を一定に保つための移動量に従って駆動する。

従って、以上の第１乃至第３の観点によれば、合焦位置を変化させる第１のレンズ群とは別に設けられた少なくとも１つの第２のレンズ群が駆動されることで、たとえば画角等が一定とされたままで焦点制御がなされる。

本発明によれば、複数合焦位置で撮像して距離情報を取得するとき、一般的な光学系においては焦点距離が変わってしまい、画角が変化してしまうために、画像と距離情報との対応付けには誤差が生じてしまうという問題を解決する焦点制御方法、測距装置、撮像装置を提供することができる。

以下、図面を参照して、本発明を実施するための最良の形態（以下、単に実施の形態と称する）について詳細に説明する。

図１には本発明の一実施の形態に係る測距装置を撮像装置に適用した場合の構成を示し説明する。図１に示されるように、この実施の形態に係る撮像装置は、カメラ部１と、制御部２と、カメラＤＳＰ（Digital Signal Processor）３と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）４と、媒体インターフェース（以下、媒体Ｉ／Ｆという）５と、操作部７と、ＬＣＤ（Liquid Crystal Display）コントローラ８及びＬＣＤ９と、外部インターフェース（以下、外部Ｉ／Ｆという）１０を備え、記録媒体６が着脱可能とされている。

記録媒体６は、半導体メモリを用いた所謂メモリカード、記録可能なＤＶＤ（Digital Versatile Disk）や記録可能なＣＤ（Compact Disc）等の光記録媒体、磁気ディスク等の種々のものを用いることができる。

カメラ部１は、光学ブロック１ａ、絞り１ｂ、ＣＣＤ（Charge Coupled Device）等の撮像素子１ｃ、Ａ／Ｄ変換回路１ｄ、光学ブロック用ドライバ１ｅ、絞り用ドライバ１ｆ、撮像素子用ドライバ１ｇ、タイミング生成回路１ｈ、駆動部１ｉ、検出部１ｊ、ブレ検出部１ｋ等を備える。ここで、光学ブロック１ａは、レンズ、撮像光学系を含み、例えばフォーカス機構、シャッター機構、手振れ駆動部等を備えている。そして、光学ブロック１ａ中のレンズには、ズームレンズが使用される。

制御部２は、ＣＰＵ（Central Processing Unit）２ａ、ＲＡＭ（Random Access Memory）２ｂ、フラッシュＲＯＭ（Read Only Memory）２ｃ、時計回路２ｄ等がシステムバス２ｅを通じて接続されて構成されたマイクロコンピュータであり、この実施の形態の撮像装置の各部の制御を司るものである。

ＲＡＭ２ｂは、処理の途中結果を一時記憶する等主に作業領域として用いられるものである。フラッシュＲＯＭ２ｃは、ＣＰＵ２ａにおいて実行する種々のプログラムや、処理に必要になるデータ等が記憶されたものである。時計回路２ｄは、現在年月日や現在曜日、現在時刻を提供することができると共に、撮影日時等を提供する等のことができる。

画像の撮像時においては、光学ブロック用ドライバ１ｅは、制御部２からの制御に応じて、光学ブロック１ａを動作させるようにする駆動信号を形成し、これを光学ブロック１ａに供給して、光学ブロック１ａを動作させるようにする。光学ブロック１ａは、光学ブロック用ドライバ１ｅからの駆動信号に応じて、被写体の画像を取り込んで、これを撮像素子１ｃに対して提供する。この場合、光学ブロック用ドライバ１ｅとＣＰＵ２ａはレンズ駆動機能を実現することになる。

撮像素子１ｃは、光学ブロック１ａからの画像を光電変換して出力するものであり、撮像素子用ドライバ１ｇからの駆動信号に応じて動作し、光学ブロック１ａからの被写体の画像を取り込む。更に、制御部２によって制御されるタイミング生成回路１ｈからのタイミング信号に基づいて、取り込んだ被写体のアナログ画像データをＡ／Ｄ変換回路１ｄに供給する。Ａ／Ｄ変換回路１ｄは、Ａ／Ｄ変換を行って、ディジタル信号とされた画像データを形成する。

このディジタル信号とされた画像データは、カメラＤＳＰ３に供給される。カメラＤＳＰ３は、これに供給された画像データに対して、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、ＡＷＢ（Auto White Balance）等のカメラ信号処理を施す。このようにして種々の調整がされた画像データは、所定の圧縮方式でデータ圧縮され、システムバス２ｅ、媒体Ｉ／Ｆ５を通じて、記録媒体６に供給され、記録される。尚、カメラＤＳＰ３がＣＰＵ２ａの制御の下、測距動作を実行する場合、測距装置として機能する。

この記録媒体６に記録された画像データは、タッチパネルやコントロールキー等からなる操作部７を通じて受け付けたユーザからの操作入力に応じて、目的とする画像データが媒体Ｉ／Ｆ５を通じて記録媒体６から読み出され、カメラＤＳＰ３に供給される。

カメラＤＳＰ３は、記録媒体６から読み出され、媒体Ｉ／Ｆ５を通じて供給されたデータ圧縮されている画像データについて、データ圧縮等の解凍処理（伸張処理）を行い、解凍後の画像データを、システムバス２ｅを通じて、ＬＣＤコントローラ８に供給する。ＬＣＤコントローラ８は、これに供給された画像データからＬＣＤ９に供給する画像信号を形成し、これをＬＣＤ９に供給する。これにより、記録媒体６に記録されている画像データに応じた画像が、ＬＣＤ９の表示画面に表示される。

外部Ｉ／Ｆ１０を通じて、例えば、外部のパーソナルコンピュータと接続して、パーソナルコンピュータから画像データの供給を受けて、これを記録媒体６に記録することもできる。また、外部Ｉ／Ｆ１０を通じて、記録媒体６に記録されている画像データを外部のパーソナルコンピュータ等に供給することもできる。

また、外部Ｉ／Ｆ１０に通信モジュールを接続することにより、例えば、インターネット等のネットワークに接続して、ネットワークを通じて種々の画像データやその他の情報を取得し、記録媒体６に記録することもできる。あるいは、記録媒体６に記録されているデータを、ネットワークを通じて目的とする相手先に送信することもできる。

なお、この外部Ｉ／Ｆ１０は、例えば、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４、ＵＳＢ（Universal Serial Bus）等の有線用インターフェースとして設けることもできる。或いは、この外部Ｉ／Ｆ１０は、光や電波による無線インターフェースとして設けることもできる。即ち、外部Ｉ／Ｆ１０は、有線、無線のいずれのインターフェースでもよい。

なお、絞り１ｂは、入射光量を調整する役割を担い、検出された絞り位置、絞り形状に基づいて好適な絞り量となるように、絞り用ドライバ１ｆにより駆動制御される。光学ブロック１ａには、入射光量を減衰させる（調整する）フィルタも含まれ、光学ブロック用ドライバ１ａによりフィルタ位置も駆動制御される。
以上の構成により、ＣＰＵ２ａが画像信号に基づいて画素のコントラストを判定し、このコントラスト判定手段による判定結果に基づいて、合焦画素の距離情報を生成し、該合焦画素と該距離情報とを対応付けてＲＡＭ２ｂに記憶し、合焦位置を変化させると共に該合焦位置を変化させるレンズ群とは別に設けられた少なくとも１つのレンズ群を光学ブロック用ドライバ１ｅにより駆動する。

図２には撮像装置をデジタルカメラに適用した場合の該デジタルカメラの外観構成図を示し説明する。図２（ａ）はデジタルカメラを前面から見た斜視図、図２（ｂ）はデジタルカメラを後面から見た斜視図である。デジタルカメラ３０には、レンズ３１、シャッターボタン３２、メニューボタン３３、決定ボタン３４、露出補正ボタン３５、タッチパネル３６、十字キー３７が設けられている。ボタン等は、操作部７に概念上含まれる。

図３には光学ブロック１ａに含まれる光学系の構成を示し説明する。
この図３に示されるように、光学系は、物体より順に正の第１レンズ群Ｌ１、負の第２レンズ群Ｌ２、正の第３レンズ群Ｌ３、正の第４レンズ群Ｌ４からなる。光学系は、第１レンズ群Ｌ１及び第３レンズ群Ｌ３が固定されており、第２レンズ群Ｌ２及び第４レンズ群Ｌ４を移動させることで焦点距離を変化させるズームレンズである。

第２レンズ群Ｌ２を物体側から像面側に移動させることによってWide（広角）側からTele（望遠）側へのズーム（変倍）を行う。この観点から、第２レンズ群Ｌ２はズーム群とも称される。また、第２レンズ群Ｌ２の移動によってずれてしまう結像位置を補正するために第４レンズ群Ｌ４を移動させることによって、合焦位置を保持したまま変倍動作を行う。この観点から、第４レンズ群Ｌ４はフォーカス群とも称される。

それとは別に、第４レンズ群Ｌ４を像面側から物体側に移動させることによってFar（遠景）側からNear（近景）側へのフォーカスを行う。このとき、第２レンズ群Ｌ２の位置によって、第４レンズ群Ｌ４の移動範囲は異なる。即ち、ズームポジション毎にフォーカス群の移動範囲が変わる。

光学系は、像側で主光線が光軸とは平行ではないものとする。すなわち、非テレセントリック光学系か、もしくは像側テレセントリック光学系（像面側で光軸と主光線が平行となる光学系）であるものとする。一般には、テレセントリック光学系とは、入射瞳または射出瞳が光学系の焦点面にある光学系のことをいうが、特に入射瞳位置と前側焦点位置が一致する場合を像側テレセントリック光学系という。

尚、仮に、光学系が物側テレセントリック光学系（物体側で光軸と主光線が平行）であっても両側テレセントリック光学系（主光線が物体側、像面側で光軸と平行）であっても構わない。但し、この実施の形態の撮像装置にて焦点制御を行うときには、そうである必要はなく、むしろテレセントリック光学系を用いることなく画角変化、被写体像形状変化を抑えることを目的としているので、不要であるといえる。

フォーカス群が光軸方向に移動するときに、主光線が光軸と平行でない場合、実効焦点距離が変化することによって、画角が変化し、被写体像の形状が変化する。この実施の形態に係る撮像装置が採用した光学系では、４群を像面側から物体側に移動させることによってFar（遠景）側からNear（近景）側へのフォーカスを行うときには、実効焦点距離が長くなり、画角が狭くなり、被写体像が大きく写るように変化する。

図１のフラッシュＲＯＭ２ｃ若しくはＲＡＭ２ｂには、ズームポジション毎のフォーカス群の移動範囲だけではなく、各ズームポジションにおけるフォーカス群の移動量と実効焦点距離の変化量との関係に従って実効焦点距離を一定に保つためのズーム群の移動量が記憶されている。即ち、フラッシュＲＯＭ２ｃ若しくはＲＡＭ２ｂには、フォーカス群を移動させたときに実効焦点距離を一定に保ち、画角の変化、被写体像の形状変化を抑えるためにズーム群を移動させる量が記憶されている。

図４には、本発明の第１の実施の形態に係る撮像装置の光学系におけるズーム・ストロークとフォーカス・ストロークの関係を示し説明する。この光学系においては、ズームポジションによって無限遠（∞）から最至近撮影距離（この例では80ｃｍ）までフォーカスの移動範囲が異なる。即ち、所謂電子カムのデータであって、通常はこれを電子的なアドレスデータとしてＲＡＭ２ｂやフラッシュＲＯＭ２ｃ等に保持している。

Wide（広角）端のズームポジションにおいては、フォーカス群を像面側に近い位置で非常に短い移動範囲で動かすことによって、無限遠（∞）から最至近撮影距離（この例では80ｃｍ）までフォーカスの範囲を動かすことができる。

一方、Tele（望遠）側のズームポジションにおいては、フォーカス群を物体側に近い位置であって、且つWide端よりも長い移動範囲で動かさなければ、無限遠（∞）から最至近撮影距離（この例では80ｃｍ）までピントを合わせることができない。

この光学系においては、Wide側（Wide端からMidを少し超えたあたりまで）で、例えば１ｃｍまでピントを合わせることができるが、ズームポジション全域で最至近撮影距離を保証することができるのは、80ｃｍである。この80ｃｍという数値は設計事項における一例であって、本実施の形態による撮像及び距離情報の取得は、この最短（最至近）撮影距離80ｃｍという数値に限定されるものではない。

次に図５には、各ズームポジションにおいてフォーカス群を移動させるときに、実効焦点距離を一定に保つために、フォーカス群の移動とズーム群の移動とを関連付ける方法を図示して説明する。

Ａ１〜Ａ７の特性（実線）に沿って、フォーカス群とズーム群とを合わせて移動させることによって、実行焦点距離を一定に保ち、画角の変化／被写体像の形状変化を抑えながら合焦位置（ピント位置／物体面の位置）を変えることができる。

特に、本実施の形態に係る撮像装置が採用する光学系では、４群を像面側から物体側に移動させることで、Far（遠景）側からNear（近景）側へのフォーカスを行うときに、実効焦点距離が長くなり、画角が狭くなって、被写体像が大きく写るように変化する。ゆえに、長くなった実効焦点距離を相殺（補償）するようズーム群をTele（望遠）側からWide（広角）側へと動かすよう、互いの位置関係をフラッシュＲＯＭ２ｃもしくはＲＡＭ２ｂにアドレスデータに変換して記憶している。

図５においては、フォーカス群の移動とズーム群の移動とを関連付けをＡ１〜Ａ７の特性（実線）で示したが、テーブル（データ）保持の方法はこれに限定されない。

例えば、あるズーム位置（１００ｍｍ）で無限遠（∞）にフォーカスがあるところを開始点として∞／20ｍ／10ｍ／５ｍ／３ｍ／２ｍ／１．５ｍ／１．２ｍ／１ｍ／80ｃｍなどのフォーカス位置でのズーム群の位置を、アドレスデータとして保持しておく（表１参照）。

こうしたデータを、ズーム全域（Ａ１〜Ａ７）について網羅する範囲でフラッシュＲＯＭ２ｃもしくはＲＡＭ２ｂにアドレスデータに変換して保持しておく。

さらに、フレーミングの際にフォーカスを合わせていた距離を起点として、無限遠（∞）から最短撮影距離までのフォーカス群の位置とそれに対応したズーム群の位置とをテーブル（データ）として保持しておくとよい。

フォーカス群の移動とズーム群の移動とを関連付ける位置情報は、全てのフォーカス群の位置とズーム群の位置とを保持しておく必要はなく、互いに関連付けて移動させるときにフラッシュＲＯＭ２ｃ（もしくはＲＡＭ２ｂ）に記憶されているデータを読み出した後に、位置情報を補間することも可能である。

つまり、Ａ１〜Ａ７のデータを保持しておくだけで、後は位置情報を補間して焦点制御を行うことにより、例えばＡ３とＡ４の間のフレーミングを行うことができる。こうすることにより、膨大な位置情報を保持しておく必要がなくなるため、メモリを節約することが可能になる。

また、画素単位で（もしくは画素に対応した）距離情報を得るとき、距離情報と画像との対応付けを高精度に行うことと、自在なズーム操作によるフレーミングとを両立することができる。

また、フォーカス群と関連付けてズーム群を移動できる可動範囲に関する情報もフラッシュＲＯＭ２ｃ（もしくはＲＡＭ２ｂ）に記憶されており、２つの群を関連付けて動かすことのできる範囲を制限することができる。

この光学系におけるＡ１の位置では（図４に示すように）フォーカス群だけであれば１ｃｍまで送り込むことができるが、実効焦点距離を補償するために移動させるズーム群の可動範囲を超えてしまう。そこで、フォーカス群の移動を80ｃｍまでに制限する。つまり、この位置のズームポジションでは最短撮影距離を80ｃｍに設定する。

Ａ２〜Ａ４の位置では、フォーカス群を無限遠（∞）から１センチまで移動させるのと対応するようにズーム群を移動させることができるので、フォーカス群の移動範囲は制限しない。

また、Ａ５〜Ａ７の位置では、フォーカス群を80ｃｍより至近距離に送り込むことができないので、Ａ５〜Ａ７のズームポジションではフォーカス群の移動を無限遠（∞）から80ｃｍまでに制限する。つまり、この範囲のズームポジションでは、最短撮影距離を80ｃｍに設定する。

Ａ１よりも広角側の位置では、より狭い範囲でしかフォーカス群の移動とズーム群の移動とを関連付けることができないので、より狭い移動範囲（例えば、フォーカス群の移動を無限遠（∞）から２ｍまで）に制限する。

そして、Ａ７よりも望遠側の位置でも同様に、より狭い移動範囲（例えば、フォーカス群の移動を２ｍから80ｃｍまで）に制限する。

ユーザに意識させることなく自然に撮像および距離情報の取得を行えるようにするために、この撮像装置においてはフォーカス群とズーム群とが連動して移動できる範囲（つまり無限遠（∞）から80ｃｍまで）を保証するよう、ユーザ操作におけるズーミング範囲をＡ１〜Ａ７の間に制限する。即ち、Ａ１よりも広角側にはズーム操作できないよう、リミットを設定する。

さらに、本実施の形態に係る撮像装置が採用する光学系では、第４レンズ群Ｌ４を像面側から物体側に移動させて、Far（遠景）側からNear（近景）側へのフォーカスを行うときには、実効焦点距離が長くなり、画角が狭くなって、被写体像が大きく写るように変化する。そこで、第２レンズ群Ｌ２を像面側から物体側に移動させて、Tele（望遠）側からWide（広角）側へのズーム（変倍）を行うことで、実効焦点距離を短くして、画角を広くして、被写体像が小さく写るように変化させる。このように、第２レンズ群Ｌ２と第４レンズ群Ｌ４とを関連付けて移動させることで、実効焦点距離を一定に保ち、画角を一定に保ち、被写体像の形状変化を抑えることができる。

このような動作を行うためには、第４レンズ群Ｌ４が像面側から物体側に移動するときに第２レンズ群Ｌ２も像面側から物体側に移動可能としなければならない。そこで、第４レンズ群Ｌ４の移動による実効焦点距離の変化を補正するのに必要な第２レンズ群Ｌ２の移動量を確保できる位置に（Ａ１〜Ａ７の間に）ズーム駆動のリミットを設定する。このとき、フォーカス駆動についてはＡ１およびＡ５〜Ａ７の間は無限遠（∞）から80ｃｍまでに制限し、それ以外の位置（Ａ１’〜Ａ５’）では無限遠（∞）から１ｃｍまで制限なく駆動する。

また、事前にはリミットを設けてない場合においては、第４レンズ群Ｌ４が移動を開始するときに第２レンズ群Ｌ２が十分な可動範囲のあるポジションであるかどうかを判断する。そして、仮に第２レンズ群Ｌ２が第４レンズ群Ｌ４の移動による実効焦点距離の変化を補正するのに必要な第２レンズ群Ｌ２の移動量を確保できる位置ではないときには、第２レンズ群Ｌ２を移動させることによって移動量を確保する。

すなわち、Ａ１の位置において、無限遠（∞）から１ｃｍまでの間で撮像および距離情報の取得を行うときには、ズーム群の可動範囲外となってしまうので、Ａ１’の位置までズーム群を移動させる。それからフォーカス群を無限遠（∞）から１ｃｍまで動かし、ズーム群をフォーカス群に連動させて移動させることで、撮像及び距離情報の取得を行う。

また、Ａ５の位置において、無限遠（∞）から１ｃｍまでの間で撮像および距離情報の取得を行うときには、フォーカス群の可動範囲外となってしまうので、フォーカス群が１ｃｍまで移動することができるＡ５’の位置までズーム群を移動させる。それからフォーカス群を無限遠（∞）から１ｃｍまで動かし、ズーム群をフォーカス群に連動させて移動させることによって、撮像および距離情報の取得を行う。

これらの動作を行うと、ユーザ操作によるズーミングとは異なる画角設定で撮像および距離情報の取得を行うことになってしまう。そこで、Ａ１やＡ５の位置で無限遠（∞）から１ｃｍまで間で撮像および距離情報の取得を行おうとしたときには、ＬＣＤ９に「１ｃｍまでのDepth Mapを生成することができない」旨の警告を表示する。これにより、ユーザ操作によるズーミングを促しても良い。

また、Ａ１の位置においては、画角が狭くなる方向に動作する。そこで、ＬＣＤ９に「１ｃｍまでのDepth Mapを生成することができない」旨の警告を表示した上、Ａ１’に相当する画角を示す枠をＬＣＤ９の画面の中に表示する。これにより、ズームポジションを変更しても良いかの判断をユーザに促してもよい。

次に、図６のフローチャートを参照して、本発明の一実施の形態に係る撮像装置による撮像および距離情報の取得の処理手順について説明する。この処理手順の一部又は全部は本実施の形態に係る焦点制御方法にも相当する。

ＣＰＵ２ａは、第４レンズ群Ｌ４を像面側から物体側に移動させることによってFar（遠景）側からNear（近景）側へ合焦位置を変化させながら、第２レンズ群Ｌ２を第４レンズ群Ｌ４の移動量に対応させて実効焦点距離（画角／被写体像）を一定に保つように像面側から物体側に移動させる（ステップＳ１）。

このように合焦位置を変化させながら、ＣＰＵ２ａは、撮像素子１ｃにより撮像し、画像を取得して、各画像をＲＡＭ２ｂに格納する（ステップＳ２）。

そして、合焦位置をFar（遠景）側からNear（近景）側まで、即ち無限遠（∞）から最短撮影距離まで変化させながら、ＣＰＵ２ａは、ステップＳ１，Ｓ２を繰り返し、画像を取得する。例えば、∞／20ｍ／10ｍ／５ｍ／３ｍ／２ｍ／１．５ｍ／１．２ｍ／１ｍ／80ｃｍ、について画像を取得し、ＲＡＭ２ｂに格納する（ステップＳ３）。

次いで、合焦位置変化を終了すると（ステップＳ３をＹｅｓに分岐）、ＣＰＵ２ａはＲＡＭ２ｂに格納された各画像から、コントラスト判定で合焦画素のみを抽出し（ステップＳ４）、画像全体にピントが合っている画像を生成する（ステップＳ５）。

ＣＰＵ２ａは、ステップＳ４でコントラスト判定を行う際に、合焦位置（撮影距離）を合焦画素と対応付けてＲＡＭ２ｂに記憶することにより、画素単位（もしくは画素に対応した）距離情報（Depth Map）を生成する（ステップＳ６）。

ＣＰＵ２ａは、ステップＳ４のコントラスト判定で、画像全体について合焦画素が得られなかった場合（コントラスト検出がうまくできなかった場合）は、次のようにして距離情報を得る。即ち、合焦画素が得られなかった画素（以下、エラー画素と称する）について、近接する両側に合焦画素を得ることができた画素がある場合には、それらの画素を取得した画像同士についてエラー画素の位置の画素を平均化する。これにより、エラー画素の画素値を得て、距離情報を補間することで距離情報を得る。

ＣＰＵ２ａは、エラー画素について、近接する両側には合焦画素を得ることができた画素がない場合（つまり片側にしか合焦画素を得られていない場合）には、近接した合焦画素を取得した画像についてはエラー画素の位置の画素で代用する。これにより、エラー画素の画素値と距離情報を得る。

コントラスト判定で合焦画素が得られない場合は、被写体がコントラストの低い平坦な壁であるとか暗い画像であることが多いので、上記の方法で取得することによって、処理負荷を大きくすることなく実用上問題のない画素値および距離情報を得る。

こうして、ＣＰＵ２ａは、生成された画像と距離情報（Depth Map）を、媒体Ｉ／Ｆ５を介して記憶媒体５に記録する（ステップＳ７）。以上の処理によれば、画素単位で（もしくは画素に対応した）距離情報を得るとき、距離情報と画像との対応付けを高精度に行うことができることとなる。

ここで、図６の処理手順は、次のように改良することも可能である。
以下、図７のフローチャートを参照して、本発明の一実施の形態に係る撮像装置による撮像および距離情報の取得の他の処理手順について説明する。この処理手順の一部又は全部は本実施の形態に係る焦点制御方法にも相当する。

ＣＰＵ２ａは、第４レンズ群Ｌ４を像面側から物体側に移動させることによってFar（遠景）側からNear（近景）側へ合焦位置を変化させながら、第２レンズ群Ｌ２を第４レンズ群Ｌ４の移動量に対応させて実効焦点距離（画角／被写体像）を一定に保つように像面側から物体側に移動させる（ステップＳ１１）。

続いて、ＣＰＵ２ａは、合焦位置を変化させながら画像を取得して、各画像をＲＡＭ２ｂに格納する（ステップＳ１２）。そして、ＣＰＵ２ａは、この格納された各画像からコントラスト判定で合焦画素のみを抽出して（ステップＳ１３）、画像全体にピントが合っている画像を生成し、ＲＡＭ２ｂ記憶する（ステップＳ１４）。

このコントラスト判定を行う際に、ＣＰＵ２ａは、合焦位置（撮影距離）を合焦画素と対応付けてＲＡＭ２ｂに記憶することにより、画素単位（もしくは画素に対応した）距離情報（Depth Map）を生成する（ステップＳ１５）。そして、ＣＰＵ２ａは、このコントラスト判定によって画像全体（即ち、画像を構成する全ての画素）について合焦画素が得られるまで、画像を取得し、ＲＡＭ２ｂに格納する（ステップＳ１６）。

ステップＳ１４，Ｓ１５において生成する画像及び距離情報（Depth Map）は、ステップＳ１６でＹｅｓ判定されるまで完成していない。このステップＳ１６をＹｅｓに分岐すると、ＣＰＵ２ａは、生成された画像と距離情報（Depth Map）を、媒体Ｉ／Ｆ５を介して記憶媒体６に記録する（ステップＳ１７）。こうして、撮像及び距離情報の取得の際に無駄のない撮像回数およびコントラスト判定の回数で処理を終了する。

尚、図６の処理手順は図８に示されるように変更することもできる。即ち、図８の処理手順は、最初のイニシャライズ処理の段階で、駆動範囲の制限を行っている（リミッタ処理）（ステップＳ２１）。これにより、フォーカス群、ズーム群が共に可動範囲内で適切な駆動がなされるように制御がなされる。その他のステップＳ２２〜Ｓ２８の処理は図６のステップＳ２〜Ｓ７と同様であるので、ここでは重複した説明は省略する。

以上、本発明の一実施の形態に係る撮像装置について説明したが、第４レンズ群Ｌ４および第２レンズ群Ｌ２を駆動させる方向は、図３には限定されない。

図９に示されるように、第４レンズ群Ｌ４をFar（遠景）側からNear（近景）側へ駆動し、第２レンズ群Ｌ２をTele（望遠）側からWide（広角）側に駆動させてもよい。或いは、第４レンズ群Ｌ４をNear（近景）側からFar（遠景）側に駆動し、第２レンズ群Ｌ２をWide（広角）側からTele（望遠）側に駆動してもよい。つまり、図３とは、逆の動かし方をしても良いことは勿論である。

また、光学系の設計事項であるが、例えば、第４レンズ群Ｌ４をFar（遠景）側からNear（近景）側へと駆動したときの画角の変化は上記に限定されない。光軸と主光線が平行でない場合、どのような角度をしているかで画角が変化する方向が決まる。要は、フォーカス群の駆動によって画角が変化してしまうのを補正するようズーム群を駆動するよう制御されればよいことになる。

また、この実施の形態は、４群インナーフォーカスズームレンズ光学系に限定さるものではない。以下、５群インナーフォーカスズームレンズを適用した改良例を説明する。

図１０には５群インナーフォーカスズームレンズの構成例を示し説明する。
この図１０に示されるように、光学系は、物体より順に正の第１レンズ群Ｌ１、負の第２レンズ群Ｌ２、正の第３レンズ群Ｌ３、正の第４レンズ群Ｌ４、正の第５レンズ群Ｌ５からなる。すなわち、この光学系は、第１レンズ群Ｌ１、第３レンズ群Ｌ３、第５レンズ群Ｌ５が固定され、第２レンズ群Ｌ２および第４レンズ群Ｌ４を移動させることで焦点距離を変化させるズームレンズである。この光学系であっても、前述の撮像および距離情報の取得に関する方法を用いることによって、距離情報と画像との対応付けを高精度に行うことができる。

図１１には別の５群インナーフォーカスズームレンズの構成例を示し説明する。
この図１１に示されるように、光学系は、物体より順に正の第１レンズ群Ｌ１、負の第２レンズ群Ｌ２、正の第３レンズ群Ｌ３、正の第４レンズ群Ｌ４、負の第５レンズ群Ｌ５からなる。すなわち、この光学系は、第１レンズ群Ｌ１、第３レンズ群Ｌ３、第５レンズ群Ｌ５が固定されていて、第２レンズ群Ｌ２および第４レンズ群Ｌ４を移動させることで焦点距離を変化させるズームレンズである。この光学系であっても、前述の撮像および距離情報の取得に関する方法を用いることによって、距離情報と画像との対応付けを高精度に行うことができる。

また、図３、９〜１１には図示していないが、前述のように絞り１ｂ、絞り用ドライバ１ｆ、フィルタ、フィルタ位置検出部、フィルタ駆動部等を、光学ブロック１ａの光学系内部もしくは前後に配置しても、この実施の形態に係る撮像装置による撮像および距離情報の取得を行うことに差し支えはない。

さらに、撮像素子１ｃの前にＩＲカットフィルタやローパスフィルタなどを備えることが一般的であるが、これも本実施の形態に係る撮像装置による撮像および距離情報の取得を行うことを妨げることはない。

例えば、ＮＤフィルタやＩＲカットフィルタなどを光路に出し入れする場合には、光路長が変化してしまう。従って、この場合には、光学フィルタが光路に挿入状態にあるときと退避状態にあるときのそれぞれについて、先に図４に示したような電子カムデータや先に図５に示したようなフォーカス群とズーム群とを関連付けた移動方向および量を示すデータをＲＡＭ２ｂ等にて保持すればよいことになる。

光学要素を光軸上に出し入れしたり、切り替えたりすることによって焦点距離を可変させる場合には、それぞれの焦点距離において先に図４、図５に示したようなテーブルをＲＡＭ２ｂ等に保持する必要がある。

また、本案の撮像および距離情報の取得に関する方法は、レンズ（光学系）のタイプには限定されない。レンズ（光学系）によるフォーカシング方式やズーミング方式は様々なものがある。そこで、以下では、好適な方式を説明する。

ここで、フォーカシング方式には、以下のものが知られている。
・全体繰り出し方式
単焦点レンズに多く使用される方式であり、多条ネジと１条ネジを利用し、キーを取り付けて、介在する両方のネジを持ったリングの回転でレンズ全体を直進させる方式などが知られている。
・前玉繰り出し方式
レンズ群の焦点距離を変化させてピント合わせを行う方式であり、原理的には２枚のレンズの組み合わせで、１つは平凸レンズ、それに平凹レンズを付けた構成と考え、前群だけ移動し、後群を固定するものである。
・内焦方式（インナーフォーカス／リアフォーカス）
焦点距離を変化させてピント合わせをする点では前玉繰り出し方式と同様である。
・フローティング方式
全体繰り出し式と内焦式を組み合わせた方式である。

これらの方式のうち、単焦点レンズにおける全体繰り出し方式では、光学系全体の構成を変化させないで全体に繰り出すことで合焦位置を変化させるが、光学系全体を繰り出したときの実効焦点距離を補正する手段がないため、本実施の形態に係る撮像装置による撮像および距離情報の取得を行うことができない。

また、単焦点レンズにおける前玉繰り出し方式／内焦方式（インナーフォーカス／リアフォーカス）でも、前玉を繰り出したときの実効焦点距離を補正する手段がないため、本実施の形態に係る撮像装置による撮像および距離情報の取得を行うことができない。

そして、単焦点レンズにおけるフローティング方式では、光学系（レンズ）全体を繰り出すことで合焦位置を変化させるが、光学系全体を繰り出したときの実効焦点距離を補正する手段としてフローティングレンズ群を用いることができる。即ち、単焦点レンズにおいて本実施の形態に係る撮像装置による撮像および距離情報の取得を行うには、フローティング方式が好ましいといえる。

ズームレンズにおける全体繰り出し方式／前玉繰り出し方式は、第１に、全体繰り出し／前玉繰り出しのいずれかが合焦位置を変化させる手段、つまり光学系の焦点距離を変化させる手段となること、第２にズーム（変倍）手段が合焦位置をｂ変化させた際の焦点距離変化を補正する手段となる。ゆえに、本実施の形態に係る撮像装置による撮像および距離情報の取得を行うことができる。

ズームレンズにおける内焦方式（インナーフォーカス／リアフォーカス）は、本実施の形態における４群インナーフォーカスズームレンズがこれに当たるので、本実施の形態に係る撮像装置による撮像および距離情報の取得を行うことができる。

また、インナーフォーカス群の駆動によって合焦位置を変化させ、全体繰り出しもしくは前玉繰り出しによって焦点距離変化を補正することも可能である。

ズームレンズにおいてはフローティング方式と呼ぶことはないが、合焦位置を変化させる手段と実効焦点距離を補正する手段とを備えているのであるから、本実施の形態に係る撮像装置による撮像および距離情報の取得を行うことができる。

以上のほか、ズーム方式は、２群ズームを始めとして様々な方式が開示され、実施されているが、本実施の形態に係る撮像装置による撮像および距離情報の取得は、どのようなズーム方式であっても実施に差し支えない。

また、デジタルカメラやデジタルビデオカメラ等の小型な撮像装置においては、特に近年、ズームレンズの高倍率化、小型化のニーズが高まっている。この点、全体繰り出し方式や前玉繰り出し方式は駆動部が大きいために装置全体の小型化には不利である。したがって、本実施の形態の実施においてはインナーフォーカスズームレンズが好適である。

以上詳述した本発明の実施の形態によれば、以下の効果が奏される。

即ち、レンズを駆動するときに、フォーカス群とともに、それ以外の少なくても１つの群（前述したように、全体繰り出しや前玉繰り出しも含む）を駆動することによって、合焦位置（フォーカス位置／ピント位置）を変化させた際の焦点距離変化を補正することができる。これによって、合焦位置を変化させたときの画角の変化／被写体像の形状変化を抑えることが可能となる為、複数合焦位置で撮像することによって画素単位で（もしくは画素に対応した）距離情報を得るとき、距離情報と画像との対応付けを高精度に行うことができるようになる。

複数合焦位置で撮像して距離情報を取得するとき、一般的な（つまり非テレセントリックな）光学系を用いても距離情報と画像との対応付けを高精度に行うことができるようになる。

一般的な（つまり非テレセントリックな）光学系を用いたとしても、座標変換などの画像処理を用いることなく、距離情報と画像との対応付けを高精度に行うことができるようになったので、処理負荷を大きくすることなく、距離情報と画像とを対応づけることができるようになる。尚、顕微鏡／デジタルマイクロスコープなどでは非テレセントリック光学系を用いていて、画像処理によって距離情報と画像との対応付けを行っているものもあるが、これらにも適用可能である。

一般的な（つまり非テレセントリックな）光学系を用いたとしても、距離情報と画像との対応付けを高精度に行うことができるようになったので、デジタルカメラやデジタルビデオカメラなどの小型の撮像装置においても、距離情報を得て、活用することができるようになる。尚、顕微鏡／デジタルマイクロスコープなどではテレセントリック光学系を用いているものもあるが、これらにも適用可能である。

合焦位置を変化させるための駆動と、それ以外の少なくても１つの群の駆動とが行えるように、光学系の駆動範囲を制限することにより、確実に距離情報と画像とを対応付けることができる撮像装置を提供することができる。

合焦位置を変化させるための駆動を行う際に、それ以外の少なくても１つの群の駆動が行える位置にあるのかを判定して、駆動範囲を確保できる位置まで駆動することで、確実に距離情報と画像とを対応付けることができる撮像装置を提供することができる。

なお、本発明は前述した実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲で種々の改良や変更が可能である。たとえば、前述した処理に係るプログラム、該プログラムを記録した記録媒体としての実施も可能である。

本発明の一実施の形態に係る測距装置を採用した撮像装置の構成を示すブロック図である。 （ａ）および（ｂ）は本発明の一実施の形態に係る測距装置を採用した撮像装置の概観構成図である。 撮影光学系の構成並びに駆動方式を説明する図である。 一般的な、ズーム・ストロークとフォーカス・ストロークの関係を示す図である。 本発明の一実施の形態に係る焦点制御方法等が採用するズーム・ストロークとフォーカス・ストロークの関係を示す図である。 本発明の一実施の形態に係る測距装置を採用した撮像装置による処理手順を示すフローチャートである。 本発明の一実施の形態に係る測距装置を採用した撮像装置による他の処理手順を示すフローチャートである。 本発明の一実施の形態に係る測距装置を採用した撮像装置による更に他の処理手順を示すフローチャートである。 撮影光学系の構成並びに駆動方式を説明する図である。 撮影光学系の他の構成並びに駆動方式を説明する図である。 撮影光学系の更に他の構成並びに駆動方式を説明する図である。

符号の説明

１…カメラ部、１ａ…光学ブロック、１ｂ…絞り、１ｃ…撮像素子、１ｄ…Ａ／Ｄ変換回路、１ｅ…光学ブロック用ドライバ、１ｆ…絞り用ドライバ、１ｇ…撮像素子用ドライバ、１ｈ…タイミング生成回路、１ｉ…検出部、１ｊ…駆動部、１ｋ…ブレ検出部、２…制御部、２ａ…ＣＰＵ、２ｂ…ＲＡＭ、２ｃ…フラッシュＲＯＭ、２ｄ…時計回路、２ｅ…システムバス、３…カメラＤＳＰ、３ａ…ＡＦ／ＡＥ／ＡＷＢ、３ｂ…圧縮／解凍部、３ｃ…ＳＤＲＡＭコントローラ、４…ＳＤＲＡＭ、５…媒体Ｉ／Ｆ、６…記録媒体、７…操作部、８…ＬＣＤコントローラ、９…ＬＣＤ、１０…外部Ｉ／Ｆ

Claims (14)

1. 画像信号に基づいて画素のコントラストを判定するステップと、
   このコントラスト判定の判定結果に基づいて、合焦画素の距離情報を生成し、該合焦画素と該距離情報とを対応付けて記憶するステップと、
   合焦位置を変化させると共に、該合焦位置を変化させる第１のレンズ群とは別に設けられた少なくとも１つの第２のレンズ群を、該第１のレンズ群の移動量と実効焦点距離の変化量との関係に従って実効焦点距離を一定に保つための移動量に従って駆動するステップとを有する
   焦点制御方法。
2. 前記合焦位置を変化させるために駆動する際に発生する実効焦点距離の変化を補正するよう、前記第２のレンズ群を駆動するステップを有する
   請求項１に記載の焦点制御方法。
3. 前記合焦位置を変化させるために駆動する際に画角が一定となるように、前記第２のレンズ群を駆動するステップを有する
   請求項１に記載の焦点制御方法。
4. 前記合焦位置を変化させるための駆動と、前記第２のレンズ群の駆動とが行えるように駆動範囲を制限するステップを有する
   請求項１に記載の焦点制御方法。
5. 前記合焦位置を変化させるための駆動を行う際に、前記第２のレンズ群の駆動が行える位置にあるのかを判定することによって、駆動範囲を確保できる位置まで駆動するステップを有する
   請求項１に記載の焦点制御方法。
6. 画像信号に基づいて画素のコントラストを判定するコントラスト判定手段と、
   このコントラスト判定手段による判定結果に基づいて、合焦画素の距離情報を生成し、該合焦画素と該距離情報とを対応付けて記憶する距離情報生成手段と、
   合焦位置を変化させると共に、該合焦位置を変化させる第１のレンズ群とは別に設けられた少なくとも１つの第２のレンズ群を、該第１のレンズ群の移動量と実効焦点距離の変化量との関係に従って実効焦点距離を一定に保つための移動量に従って駆動するレンズ駆動手段とを有する
   測距装置。
7. 前記レンズ駆動手段は、前記合焦位置を変化させるために駆動する際に発生する実効焦点距離の変化を補正するよう、前記第２のレンズ群を駆動する
   請求項６に記載の測距装置。
8. 前記レンズ駆動手段は、前記合焦位置を変化させるために駆動する際に画角が一定となるように、前記第２のレンズ群を駆動する
   請求項６に記載の測距装置。
9. 前記レンズ駆動手段は、前記合焦位置を変化させるための駆動と、前記第２のレンズ群の駆動とが行えるように、駆動範囲を制限する
   請求項６に記載の測距装置。
10. 前記レンズ駆動手段は、前記合焦位置を変化させるための駆動を行う際に、前記第２のレンズ群の駆動が行える位置にあるのかを判定することによって、駆動範囲を確保できる位置まで駆動する
    請求項６に記載の測距装置。
11. 撮像光学系と、
    この撮像光学系の後方に配置された撮像素子と、
    前記撮像光学系を駆動するレンズ駆動手段と、
    このレンズ駆動手段による前記撮像光学系の駆動に伴って前記撮像素子から出力された画像信号に基づいて画素を抽出するコントラスト判定手段と、
    このコントラスト判定手段によって抽出された合焦画素を合成して被写体の画像を生成する画像生成手段と、
    前記コントラスト判定手段によって抽出された合焦画素と前記レンズ駆動手段によって前記撮像光学系が合焦している撮影距離の情報とを関連付けて記憶する距離情報生成手段と、を有し、
    前記レンズ駆動手段は、合焦位置を変化させると共に、該合焦位置を変化させる合焦位置変化用レンズ群とは別に設けられた少なくとも１つの他のレンズ群を、該合焦位置変化用レンズ群の移動量と実効焦点距離の変化量との関係に従って実効焦点距離を一定に保つための移動量に従って駆動する
    撮像装置。
12. 前記撮像光学系は、物体より順に正の第１レンズ群、負の第２レンズ群、正の第３レンズ群、正の第４レンズ群からなり、前記第１レンズ群および前記第３レンズ群が固定されており、前記第２レンズ群および前記第４レンズ群を移動させることで焦点距離を変化させるズームレンズである
    請求項１１に記載の撮像装置。
13. 前記撮像光学系は、物体より順に正の第１レンズ群、負の第２レンズ群、正の第３レンズ群、正の第４レンズ群、正の第５レンズ群からなり、前記第１レンズ群、前記第３レンズ群、前記第５レンズ群が固定されており、前記第２レンズ群および前記第４レンズ群を移動させることで焦点距離を変化させるズームレンズである
    請求項１１に記載の撮像装置。
14. 前記撮像光学系は、物体より順に正の第１レンズ群、負の第２レンズ群、正の第３レンズ群、正の第４レンズ群、負の第５レンズ群からなり、前記第１レンズ群、前記第３レンズ群、前記第５レンズ群が固定されており、前記第２レンズ群および前記第４レンズ群を移動させることで焦点距離を変化させるズームレンズである
    請求項１１に記載の撮像装置。

Images