JP3530906B2 - 結像位置検出プログラムおよびカメラ - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮影レンズによる
被写体の結像位置を検出するプログラムに関し、例えば
カメラの焦点調節に用いられる。

【０００２】

【従来の技術】デジタルカメラやビデオカメラには、撮
影レンズの焦点を被写体に自動的に合わせる自動焦点調
節（ＡＦ）機能が備えられている。ＡＦ機能は、一般
に、撮影を繰り返し行いながら撮影される画像のコント
ラストが高まる方向に撮影レンズの焦点を変化させるこ
とによって実現されている。近年、これらのカメラの解
像度を高めるために撮像素子の画素の高密度化が進み、
より速やかに被写体に対して撮影レンズの焦点を合わせ
る要求が高まっている。

【０００３】そのような情勢の中、特開平１０−２０６
１５０号公報において、撮影レンズと撮像素子の相対距
離が異なる状態で複数の画像を撮影し、それらの画像上
での被写体の特定部位とそれらの画像を撮影したときの
撮影レンズと撮像素子の距離とに基づいて、被写体の結
像位置を求めることが提案されている。被写体の結像位
置が求まると、撮影レンズの焦点距離に基づいて被写体
までの距離を直ちに算出することができ、この方法は速
やかな焦点調節のために有用であるといえる。

【０００４】

【発明が解決しようとする課題】ところが、上記公報に
はその方法の基本原理が示されているものの、以下のよ
うに、実用化に向けて考慮すべき課題が残されている。

【０００５】（１）複数の画像を撮影する間にある程度
時間が経過して被写体とカメラとの相対位置の変化が生
じるから、これを考慮しなければ結像位置を正しく求め
ることはできない。 （２）撮影レンズと撮像素子の相対距離が異なることに
より、複数の画像上での被写体の大きさには差が生じ、
これを補正する必要がある。しかし、撮影レンズによっ
ては、撮影レンズと撮像素子の相対距離と撮影された像
の大きさ（像高）が比例しないことがある。 （３）複数の画像上での明るさの同じ部位を被写体の同
一部位として扱うが、一般に、撮影レンズからの距離が
大きくなるほど像は暗くなるから、被写体の同一部位は
複数の画像上で同じ明るさにはならない。 （４）撮影レンズと撮像素子の相対距離を変えるために
撮影レンズを移動させる場合、撮影レンズの構成によっ
ては、撮影レンズの移動距離と結像面の移動距離が一致
しないことがある。

【０００６】（５）複数の画像を撮影するときに設定す
べき撮影レンズと撮像素子の相対距離については述べら
れていない。 （６）複数の画像を撮影するときに設定すべき絞り等の
撮影条件についても言及されていない。

【０００７】本発明は、このような現状に鑑みてなされ
たもので、上記公報の方法を実用に供し得るコンピュー
タプログラム、およびこれを用いたカメラを提供するこ
とを目的とする。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に、本発明では、撮影レンズからの距離が異なる複数の
位置で撮影された被写体の複数の画像を与えられ、複数
の画像上での被写体の特定部位を検出し、検出した特定
部位と撮影レンズから複数の画像を撮影した位置までの
距離とに基づいて、撮影レンズによる被写体の結像位置
を検出する結像位置検出プログラムは、複数の画像間の
相関を求め、求めた相関に基づいて複数の画像のうちの
１つの画像を基に他の画像を補正することによって、複
数の画像を撮影する間の時間経過に起因する被写体と撮
影レンズの相対位置の変化による複数の画像間での被写
体の位置の差異を補正した上で、複数の画像上での被写
体の特定部位を検出するものとする。

【０００９】このプログラムでは、複数の画像を撮影す
る間の被写体の移動や手ぶれにより画像間で被写体の位
置に差異が生じた場合でも、その差異を補正した上で被
写体の特定部位を検出するから、被写体の結像位置を精
度よく検出することができる。複数の画像間での被写体
の位置の差異の補正は、複数の画像間の相関を求めて、
求めた相関に基づいて行うから、精度よく行うことが可
能である。

【００１０】ここで、複数の画像間で明度が同じ部位を
被写体の特定部位とすることができる。また、各画像に
おいて明度差が大きい部位を被写体の特定部位とするこ
ともできる。いずれにしても、特定部位としての認定が
容易になる。

【００１１】

【００１２】また、撮影レンズからの距離が異なること
による複数の画像間での被写体の大きさの差異を補正し
た上で、複数の画像上での被写体の位置の差異を補正す
るようにするとよい。撮影レンズからの距離に応じて画
像間で被写体の大きさに差異が生じるが、その大きさの
差異をあらかじめ補正しておくことで、位置の差異を正
しく知ることが可能になり、その補正を精度よく行うこ
とができる。

【００１３】ここで、複数の画像上での被写体の大きさ
の差異を補正した後、複数の画像間の相関を求め、求め
た相関に基づいて複数の画像間での被写体の位置の差異
を補正するようにするとよい。このようにすると、位置
の差異を精度よく補正することができて、結像位置を精
度よく検出することが可能になる。

【００１４】本発明ではまた、撮影レンズからの距離が
異なる複数の位置で撮影された被写体の複数の画像を与
えられ、複数の画像上での被写体の特定部位を検出し、
検出した特定部位と撮影レンズから複数の画像を撮影し
た位置までの距離とに基づいて、撮影レンズによる被写
体の結像位置を検出する結像位置検出プログラムは、複
数の画像のうちの１つの画像の像の大きさに他の画像の
像の大きさを統一することによって、撮影レンズからの
距離が異なることによる複数の画像間での被写体の大き
さの差異を補正した上で、複数の画像上での被写体の特
定部位を検出するものとする。

【００１５】撮影レンズからの距離の差によって、複数
の画像間で被写体の大きさには差異が生じるが、このプ
ログラムは、その大きさの差異を補正した上で被写体の
特定部位を検出するから、被写体の結像位置を精度よく
検出することができる。画像上の像の大きさと撮影レン
ズからの距離が比例しない撮影レンズであっても、その
特性に応じて補正をすることで、結像位置を確実に高精
度で検出することが可能になる。

【００１６】本発明ではまた、撮影レンズからの距離が
異なる複数の位置で撮影された被写体の複数の画像を与
えられ、複数の画像上での同一明度の部位を検出し、検
出した同一明度の部位と撮影レンズから複数の画像を撮
影した位置までの距離とに基づいて、撮影レンズによる
被写体の結像位置を検出する結像位置検出プログラム
は、複数の画像の相対的明度を求め、複数の画像のうち
の１つの画像の明度に他の画像の明度を統一することに
よって、撮影レンズからの距離が異なることによる複数
の画像間での明度の差異を補正した上で、複数の画像上
での同一明度の部位を検出するものとする。

【００１７】撮影レンズからの距離が大きくなると画像
の明度は低下するから、複数の画像上で被写体の同一部
位は同一明度にならず、逆に、複数の画像上の同一明度
の部位は被写体の同一部位には対応しない。このような
状況で同一明度の部位を検出しても被写体の結像位置を
正しく検出することはできない。しかし、このプログラ
ムでは、明度の差異を補正した上で複数の画像上での同
一明度の部位を検出するため、検出した部位が被写体の
同一部位に対応することになり、したがって、結像位置
を精度よく検出することが可能である。

【００１８】前記目的を達成するために、本発明ではま
た、撮影レンズと撮影レンズを透過した光を受けて画像
を撮影する撮像素子を備えるカメラは、上記のいずれか
の結像位置検出プログラムを記憶した記憶素子を備え、
撮影レンズと撮像素子との相対距離が異なる複数の状態
で撮像素子により被写体の複数の画像を撮影し、撮影し
た複数の画像と複数の画像を撮影したときの撮影レンズ
から撮像素子までの距離とを結像位置検出プログラムに
与えて、撮影レンズによる被写体の結像位置を検出する
ものとする。

【００１９】このカメラでは、素子に記憶しているプロ
グラムの特徴により、被写体の結像位置を速やかにかつ
精度よく検出することが可能である。被写体の結像位置
が求まれば、これと撮影レンズの焦点距離より、撮影レ
ンズのデフォーカス量が直ちに判り、撮影レンズの焦点
を被写体に迅速に合わせることができる。

【００２０】ここで、撮影レンズの特性に関する情報を
結像位置検出プログラムに与え、結像位置検出プログラ
ムが与えられた情報を用いて前記補正をするようにする
とよい。このようにすると、上述の各種の補正を撮影レ
ンズに応じてすることが可能になり、例えば、像の大き
さと撮影レンズからの距離が比例しない場合でも、的確
な大きさの補正ができる。

【００２１】撮影レンズが交換可能であり、装着されて
いる撮影レンズの特性に関する情報を結像位置検出プロ
グラムに与えるようにすることもできる。撮影レンズを
交換可能とすることで使い勝手が向上する上、どの撮影
レンズを装着しているときでも、補正を的確に行うこと
ができて、焦点調節を速やかにかつ精度よく行い得るカ
メラとなる。

【００２２】また、撮影レンズが口径可変の絞りを備
え、複数の画像を撮影するときの絞りの口径を同じに設
定するようにするとよい。絞りの口径が変わると画像の
ぼけ具合も変わって複数の画像上での被写体の特定部位
の検出に影響するが、絞りの口径を同じにしておくこと
で、特定部位の検出が容易になる。

【００２３】ここで、複数の画像を撮影するときの絞り
の口径を最大に設定するとよい。絞りの口径が大きいほ
ど結像位置にない画像のぼけ幅が大きくなるから、結像
位置を精度よく検出することができる。

【００２４】複数の画像を撮影するときの撮影レンズと
撮像素子の相対距離を、撮像素子の画素の配列ピッチに
応じて設定するとよい。このようにすると、被写体の結
像位置を検出するために行う演算を必要かつ十分な量と
することができて、結像位置を精度よくかつ速やかに検
出することが可能になる。

【００２５】また、撮影レンズから撮像素子までの距離
として、撮影レンズの主点から撮像素子までの距離を結
像位置検出プログラムに与えるようにするとよい。撮影
レンズの主点を位置の基準とすることにより、どのよう
な特性の撮影レンズを備えても結像位置を正確に検出す
ることができる。

【００２６】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照しながら説明する。第１の実施形態のデジタ
ルカメラ１の構成の概略を図１に示す。デジタルカメラ
１は、口径可変の絞り１１ａを有しデジタルカメラ１に
固定装着された撮影レンズ１１、および撮像素子１２を
備えている。撮像素子１２は、６４０×４８０個の正方
画素を有するプログレッシブＣＣＤタイプのエリアセン
サである。

【００２７】デジタルカメラ１は、このほか、撮像素子
１２が出力するアナログ信号を処理する信号処理部１
３、アナログ信号をデジタル信号に変換するＡ／Ｄ変換
器１４、撮像素子１２、信号処理部１３およびＡ／Ｄ変
換器１４を制御する制御回路１５、Ａ／Ｄ変換器１４か
らのデジタル信号を処理して画像を表す画像データを生
成するとともに、デジタルカメラ１の全体を制御するマ
イクロコンピュータ１６、マイクロコンピュータ１６の
プログラムを記憶しているメモリ１７、画像データを着
脱可能な記録媒体に記録する記録部１８、モータ１９、
モータ１９を介して撮影レンズ１１を駆動する駆動回路
２０、撮影レンズ１１の位置を検出する位置検出回路２
１、ならびに絞り１１ａを駆動する絞りドライバ２２も
備えている。

【００２８】撮影レンズ１１は撮影対象範囲からの光を
撮像素子１２に導き、記録用画像の撮影に際し、撮影対
象範囲に含まれる被写体Ｈからの光を撮像素子１２上に
結像させる。撮像素子１２は、画素ごとに光電変換を行
って、蓄積した電荷を受光量を表す信号として出力す
る。撮像素子１２の出力信号は、信号処理部１３によっ
て相関二重サンプリング、自動ゲイン制御等の処理を施
された後、Ａ／Ｄ変換器１４によって１０ビットのデジ
タル信号に変換され、マイクロコンピュータ１６に与え
られる。マイクロコンピュータ１６は、Ａ／Ｄ変換器１
４からの信号に、画素補間、ホワイトバランス調整、γ
補正等の諸処理を施して、撮影された画像を表す画像デ
ータを生成する。

【００２９】撮像素子１２による光電変換からＡ／Ｄ変
換器１４による信号変換までの処理は、制御回路１５を
介して、マイクロコンピュータ１６により同期をとって
制御される。モータ１９は、駆動回路２０を介してマイ
クロコンピュータ１６によって制御され、撮影レンズ１
１をその光軸方向に移動させる。撮影レンズ１１の位置
は位置検出回路２１によって検出され、マイクロコンピ
ュータ１６は位置検出回路２１の出力信号を監視しなが
らモータ１９の駆動を制御し、撮影レンズ１１の移動、
停止を行う。なお、撮影レンズ１１は、焦点調節のため
に、全体が移動するものであってもよいし、一部のみが
移動するものであってもよい。

【００３０】絞り１１ａは、その口径によって撮像素子
１２に導かれる光の量を規制する。絞り１１ａの口径は
絞りドライバ２２を介してマイクロコンピュータ１６に
よって制御される。

【００３１】デジタルカメラ１は、撮影レンズ１１の焦
点を被写体Ｈに対して自動的に合わせるＡＦ機能を有し
ている。ＡＦ機能は、撮影レンズ１１による被写体Ｈの
結像位置を検出し、検出した結像位置と撮影レンズ１１
の焦点距離より被写体Ｈまでの距離を算出して、算出し
た距離に対応する位置に撮影レンズ１１を移動させるこ
とで達成される。

【００３２】以下、撮影レンズ１１による被写体Ｈの結
像位置を検出する処理について詳述する。

【００３３】＜多重フォーカス画像空間＞デジタルカメ
ラ１では、撮影レンズ１１の位置を違えて、被写体Ｈを
含む複数の画像を撮影する。撮像素子１２の位置は固定
であり、各画像を撮影する際の撮影レンズ１１と撮像素
子１２の相対距離はそれぞれ相違する。これらの画像を
撮影レンズ１１の光軸Ｗ（以下、フォーカス軸ともよ
ぶ）に沿って並べることで、図２に示す画像空間（多重
フォーカス画像空間）が作成される。

【００３４】図２は、被写体Ｈの一部に輝度差の大きい
直線状の境界（エッジ）Ｅが存在し、このエッジＥを３
つの画像Ｍａ、Ｍｊ、Ｍｂとして撮影した状態を表して
いる。これらのうち第１の画像Ｍａは、撮影レンズ１１
の焦点を無限遠に設定して撮影したものであり、撮影レ
ンズ１１の主点Ｏを原点とするフォーカス軸Ｗ上の座標
ｗは、撮影レンズ１１の焦点距離ｆである。通常、被写
体Ｈは無限遠には位置せず、画像Ｍａは被写体Ｈに対し
て、いわゆる後ピンの状態となる。

【００３５】第２の画像Ｍｊは、撮影レンズ１１の焦点
が被写体Ｈに合った、いわゆるジャストフォーカスの状
態で撮影されたものである。この画像Ｍjのフォーカス
軸Ｗ上の座標をｖとする。なお、被写体Ｈまでの距離が
未知の段階でジャストフォーカスの画像Ｍｊを撮影する
ことはできないから、偶然の場合を除き、撮影する複数
の画像のいずれもジャストフォーカスの画像Ｍｊとはな
らない。座標ｖを求めることが被写体Ｈの結像位置を検
出することであり、デジタルカメラ１では、後述のよう
にしてこの座標ｖを求めていく。

【００３６】第３の画像Ｍｂは、撮影レンズ１１の焦点
が被写体よりも手前に合った、いわゆる前ピンの状態で
撮影されたものである。

【００３７】多重フォーカス画像空間におけるジャスト
フォーカス画像Ｍｊの位置、すなわち座標ｖが判ると、
式１のレンズの基本公式より、撮影レンズ１１から被写
体Ｈまでの距離ｕが直ちに求められる。 １／ｆ＝１／ｕ＋１／ｖ … 式１

【００３８】多重フォーカス画像空間を作成する際に
は、以下の点に注意する必要がある。 （１）フォーカス軸Ｗ上での画像の座標 フォーカス軸Ｗ上での各画像の座標は、撮影レンズ１１
の位置を検出する位置検出回路２１の出力から求められ
る。撮影レンズ１１の移動量と画像のフォーカス軸Ｗ上
での移動量とが一致するのが理想的であるが、レンズの
光学的構成によっては、両者が一致しないことがある。
そのため、位置検出回路２１の出力をフォーカス軸Ｗ上
での画像の座標に変換することが必要になる。

【００３９】（２）動き量の補正 多重フォーカス画像空間上では、被写体Ｈの１点、例え
ばエッジＥ上の点Ｐ（以下、エッジ点とよぶ）と撮影レ
ンズ１１の主点Ｏ、および各画像上のエッジ点Ｐのぼけ
像の中心点は同一直線上に位置する。ところが、複数の
画像は、撮影時刻が異なるため、被写体Ｈ自体の移動と
手ぶれの双方に起因する相対的な動きを含んでいる。エ
ッジ点Ｐのぼけ像の中心点が同一直線上に位置するため
には、こうした相対的な動きの量の補正が必要である。

【００４０】（３）像の大きさの補正 また、エッジ点Ｐのぼけ像の中心点が同一直線上に位置
するためには、各画像のフォーカス軸Ｗ上での座標と像
の大きさ（像高）とが比例関係にならなければならな
い。しかし、レンズの光学的構成によっては、画像のフ
ォーカス軸Ｗ上での座標と像の大きさは比例しない。こ
の場合、画像サイズ（画像全体の大きさ）を変更して像
の大きさを補正し、比例関係を成立させる必要がある。
画像サイズを適切に変更するためには、画像のフォーカ
ス軸Ｗ上での座標（あるいは位置検出回路２１の出力）
と像の大きさの関係を明確することが必要になる。

【００４１】正確な多重フォーカス画像空間を作成して
被写体Ｈに対する正確な焦点検出を行うためには、これ
らの問題を解消することが不可欠である（具体的方法は
後述する）。なお、複数の画像は、撮影レンズ１１の位
置以外の撮影条件を統一して撮影する必要がある。すな
わち、絞り１１ａの口径や撮像素子１２の光電変換時間
すなわち電子シャッター速度は一定とする。

【００４２】＜空間焦点画像＞図２において、直線ＰＯ
を含み直線エッジＥの像と直交する平面φを考える。こ
の平面φで多重フォーカス空間画像を切断して得られる
断面画像を、フォーカス軸Ｗを含みかつ平面φが通る撮
影レンズ１１の直径を含む平面μに投影すると、図３に
示すような明度分布の画像が得られる。これを空間焦点
画像とよぶ。

【００４３】特開平１０−２０６１５０号では、空間焦
点画像において、合焦時のエッジ点Ｐの像の位置Ｑ
（ｖ,ｄ）を通る次の式２〜式５の直線（いずれも０＜
λ＜１）を等明度直線とよび、各直線上の点は全て等し
い明度になるとして扱って、異なる画像間で明度の等し
い部位を対応づけている。 ｓ＝（（ｄ−λｒ）／ｖ）ｗ＋λｒ （ただしｗ＜ｖ） … 式２ ｓ＝（（ｄ＋λｒ）／ｖ）ｗ−λｒ （ただしｗ＞ｖ） … 式３ ｓ＝（（ｄ＋λｒ）／ｖ）ｗ−λｒ （ただしｗ＜ｖ） … 式４ ｓ＝（（ｄ−λｒ）／ｖ）ｗ＋λｒ （ただしｗ＞ｖ） … 式５

【００４４】しかし、フォーカス軸Ｗ上での座標ｗが大
きいほど、すなわち撮影レンズ１１から離れるほど画像
の明度が低くなるのがレンズの基本的な特性である。し
たがって、異なる画像間で明度の等しい部位を対応づけ
るには、上記の各直線上の点が全て等しい明度となるよ
うに、フォーカス軸Ｗ上で座標に応じて画像の明度を補
正しなければならない。

【００４５】そのためには、画像のフォーカス軸Ｗ上で
の座標（あるいは位置検出回路２１の出力）および絞り
１１ａの口径（見かけ上の絞り値）と、撮像素子１２上
での照度の関係とを明確にする必要がある（具体的方法
は後述する）。

【００４６】明度の補正を行うことで、図３に示す正確
な空間焦点画像が得られる。正確な空間焦点画像は、明
度がＩａ〜Ｉｂの範囲で変化する遠距離側ぼけ領域Ｒ
１、明度がＩａ〜Ｉｂの範囲で変化する近距離側ぼけ領
域Ｒ２、明度がＩａで一定の合焦明度領域Ｒ３、明度が
Ｉｂで一定の合焦明度領域Ｒ４の４領域に分類される。

【００４７】そして、合焦エッジ点位置Ｑ（ｖ,ｄ）を
通る式２〜式５の直線は真に等明度直線となる。このよ
うな等明度直線を種々の明度について求めることで、そ
れらの交点としてフォーカス軸Ｗ上のジャストフォーカ
ス画像の座標ｖが得られる。

【００４８】＜整形空間焦点画像＞図３に示した空間焦
点画像上で合焦エッジ点位置Ｑ（ｖ,ｄ）を通る式６の
直線が、フォーカス軸Ｗに一致するように整形を行う。
整形後の画像を整形空間焦点画像とよぶ。この整形空間
焦点画像上の明度分布を図４に示す。 ｓ＝（ｄ／ｖ）ｗ … 式６

【００４９】整形により等明度直線は式７〜式１０で表
されることになり、交点としての座標ｖの算出が容易に
なる。 ｓ＝−（λｒ／ｖ）ｗ＋λｒ （ただしｗ＜ｖ） … 式７ ｓ＝ （λｒ／ｖ）ｗ−λｒ （ただしｗ＞ｖ） … 式８ ｓ＝ （λｒ／ｖ）ｗ−λｒ （ただしｗ＜ｖ） … 式９ ｓ＝−（λｒ／ｖ）ｗ＋λｒ （ただしｗ＞ｖ） … 式１０

【００５０】＜エッジ検出＞等明度直線を得るための被
写体Ｈ上の点は、周囲との区別が明瞭である限りどのよ
うな点でもよいが、特に、明度の高い部分と低い部分の
境界であるエッジ上の点が好ましい。エッジは、例え
ば、分散値画像を用いることで容易に検出することがで
きる。エッジの位置と方向を検出し、エッジ上の１点で
あるエッジ点のいくつかについて整形空間焦点画像を作
成し、上述のように解析して、各エッジ点の合焦位置で
ある座標ｖを求める。そして、求めた座標ｖの平均値、
中央値、ＲＭＳ（根二乗平均）値等を、被写体Ｈの結像
位置の座標とする。

【００５１】以下、デジタルカメラ１における被写体Ｈ
の結像位置の検出処理の流れを図５〜図７のフローチャ
ートおよび図８〜図１２を参照して説明する。なお、こ
の処理は、メモリ１７が記憶している結像位置検出プロ
グラムをはじめとする諸プログラムに従ってマイクロコ
ンピュータ１６が行う。

【００５２】＜被写体の撮影＞まず、デジタルカメラ１
に設けられたレリーズボタン（不図示）が操作されてＯ
Ｎになるのを検出し（図５、ステップ＃１）、デジタル
カメラ１のうち撮影に関与する部分を初期化する（＃
２）。例えば、撮像素子１２から残存している蓄積電荷
を排出させる。次いで、位置検出回路２１の出力信号を
監視しながらモータ１９を制御し、撮影レンズ１１をそ
の焦点が無限遠に合う位置に設定する（＃３）。撮影レ
ンズ１１の焦点が無限遠に合うときの位置検出回路２１
の出力はメモリ１７に記憶されている。

【００５３】そして、絞り１１ａの口径を開放（最大）
に設定するとともに撮像素子１２の露光時間（電子シャ
ッター速度）を所定値に設定して、画像を撮影し、その
画像を表す画像データを生成して、生成した画像データ
の信号強度から被写体Ｈに適する絞り１１ａの口径と露
光時間とを決定する（＃４）。このとき、通常は絞り１
１ａを最大口径とするが、露光時間を設定可能な最小値
としても露出オーバーになってしまう場合は、絞りの口
径を小さくする。

【００５４】露光条件の設定後、被写体Ｈを含む第１の
画像Ｍ１を撮影して画像データを生成する（＃５）。こ
のときの絞り１１ａの絞り値と撮像素子１２の露光時間
は記憶しておく。次いで、第２の画像Ｍ２を撮影すると
きの撮影レンズ１１の位置に相当する値であって、フォ
ーカス軸Ｗ上での画像Ｍ２の座標Ｐ２を算出する（＃
６）。この算出は式１１に従って行う。ここで、Ｐ１は
第１の画像Ｍ１を撮影したときの撮影レンズ１１の位置
に相当する値であって、フォーカス軸Ｗ上での画像Ｍ１
の座標、ｐは撮像素子１２の画素の配列ピッチ、Ｆは絞
り１１ａの絞り値（撮影レンズ１１の焦点距離ｆ／絞り
１１ａの口径）である。 Ｐ２＝Ｐ１＋１０ｐＦ … 式１１

【００５５】撮影レンズ１１の位置を表す位置検出回路
２１の出力をフォーカス軸Ｗ上での画像の座標に変換す
るために、メモリ１７は図８のデータテーブルＤＴ１を
記憶している。図８において、左欄は撮影レンズ１１の
主点Ｏを原点とするフォーカス軸Ｗ上での画像の座標で
あり、右欄は位置検出回路２１の出力値である。左欄の
座標は撮影レンズ１１の焦点距離ｆを単位とする相対値
で表されており、ステップ＃３で設定した撮像レンズ１
１の位置に相当する値は１ｆである。

【００５６】つまり、式１１は式１２と同値であり、ス
テップ＃６では、データテーブルＤＴ１の左欄が式１２
の値になる右欄の値を算出する。 Ｐ２＝ｆ＋１０ｐＦ … 式１２

【００５７】次いで、位置検出回路２１の出力を監視し
ながらモータ１９を制御し、撮影レンズ１１を式１２の
Ｐ２に相当する位置に設定する（＃７）。そして、第２
の画像Ｍ２を撮影しその画像データを生成する（＃
８）。この撮影における絞り１１ａの絞り値と撮像素子
１２の露光時間は、ステップ＃５で用いた値と同一にす
る。

【００５８】第２の画像Ｍ２の撮影後、第３の画像Ｍ３
を撮影するときの撮影レンズ１１の位置に相当する値で
あって、フォーカス軸Ｗ上での画像Ｍ３の座標Ｐ３を算
出する（＃９）。この算出は式１３に従って行う。 Ｐ３＝Ｐ２＋１０ｐＦ … 式１３ つまり、Ｐ３は式１４により求められ、ステップ＃９で
は、図８のデータテールＤＴ１の左欄が式１４の値にな
る右欄の値を算出する。 Ｐ３＝ｆ＋２０ｐＦ … 式１４

【００５９】次いで、位置検出回路２１の出力を監視し
ながらモータ１９を制御し、撮影レンズ１１を式１４の
Ｐ３に相当する位置に設定する（＃１０）。そして、第
３の画像Ｍ３を撮影しその画像データを生成する（＃１
１）。この撮影における絞り値と露光時間も、ステップ
＃５で用いた値と同一にする。

【００６０】こうして撮影レンズ１１の位置が異なる３
つの画像Ｍ１、Ｍ２、Ｍ３が得られ、したがって、多重
フォーカス画像が得られる。当然、画像Ｍ１〜Ｍ３のフ
ォーカス軸Ｗ上での位置も明確になっている。

【００６１】上述のように、撮影された３つの画像Ｍ
１、Ｍ２、Ｍ３の撮影レンズ１１の主点Ｏを原点とする
フォーカス軸Ｗ上での座標Ｐ１、Ｐ２、Ｐ３は、１０ｐ
Ｆ間隔となっている。この間隔は、図２の例のように画
像Ｍ２が合焦状態にある場合に、画像Ｍ１、Ｍ３上での
１点のぼけ幅が１０ｐとなるようにするためのものであ
る。撮像素子１２の画素数を考慮すると、このように設
定することで、座標ｖの検出精度を確保することが可能
になり、かつ、検出精度の確保に必要以上の演算をする
無駄を避けることができる。

【００６２】＜明度の補正＞前述のように、正確な空間
焦点画像を得るためにも、動き量の補正やエッジ検出を
するためにも、画像の明度の補正は必要である。そこ
で、撮影した３つの画像の相対的な明度（画像データの
信号強度の比）を求める（図６、ステップ＃１２）。

【００６３】そのために、画像のフォーカス軸Ｗ上での
座標および絞り１１ａの絞り値と、撮像素子１２上での
照度との関係として、メモリ１７は図９のデータテーブ
ルＤＴ２を記憶している。データテーブルＤＴ２は絞り
値に対応して作成されており、左欄がフォーカス軸Ｗ上
での画像の座標、他の欄が絞り値ごとに左欄に対応する
照度を表している。なお、左欄の座標は、データテーブ
ルＤＴ１と同様に、撮影レンズ１１の焦点距離ｆを単位
とする相対値で表されている。

【００６４】ステップ＃１２では、撮影の際の絞り値に
応じて、撮影した画像Ｍ１〜Ｍ３の座標に対応する明度
Ｉ１〜Ｉ３をデータテールＤＴ２より求める。

【００６５】次いで、求めた明度Ｉ１、Ｉ２に基づき画
像Ｍ２の明度を補正して、新たな画像Ｍ２ａを得る（＃
１３）。具体的には、画像Ｍ２の明度（画像Ｍ２の画像
データの信号強度）をＩ１／Ｉ２倍する。同様に、画像
Ｍ３の明度をＩ１／Ｉ３倍して、新たな画像Ｍ３ａを得
る（＃１４）。これで、撮影レンズ１１からの距離の差
による明度の差異が除去された、すなわち明度が統一さ
れた３つの画像Ｍ１、Ｍ２ａ、Ｍ３ａが得られる。

【００６６】＜動き量の検出および補正＞明度の統一
後、画像間での被写体の動きの補正をするが、そのため
に、画像の明度の相関演算を行って動き量を検出する。
ここで重要なのは、被写体が完全に静止しており、かつ
デジタルカメラ１を三脚等に固定して完全に静止させて
いても、３つの画像は同じにはならないという点であ
る。それは、撮影レンズ１１の位置が異なるため、同じ
被写体であってもぼけ具合が違ってくるからである。

【００６７】したがって、明度の相関演算だけで正確な
動き量を検出するのは困難であるが、動き量の低減を目
的として相関演算を行う。また、検出する動き量の分解
能は、画素ピッチ単位の整数値とする。上記の理由から
正確な動き量の検出は困難であり、小数点以下の検出値
には精度が保証されないからである。

【００６８】相関演算のための前処理として、像の大き
さを補正する。具体的には、画像Ｍ２ａ、Ｍ３ａのサイ
ズを変更して、像の大きさを画像Ｍ１と統一する。ま
ず、各画像の像の大きさを算出する（＃１５）。画像の
フォーカス軸Ｗ上での座標と像の大きさの関係として、
メモリ１７は図１０のデータテーブルＤＴ３を記憶して
いる。図１０において、左欄はフォーカス軸Ｗ上での画
像の座標、右欄は像の大きさを表している。ここでも、
座標は撮影レンズ１１の焦点距離ｆを単位とする相対値
である。画像Ｍ１、Ｍ２ａ、Ｍ３ａの座標に対応する大
きさβ１、β２、β３を右欄から求める。なお、この場
合、β１＝１である。

【００６９】次いで、画像Ｍ２ａのサイズを変更して、
画像Ｍ１のサイズに一致した画像Ｍ２ｂを得る（＃１
６）。サイズ変更後の画像Ｍ２ｂの画素数は、水平方向
については６４０×β１／β２、垂直方向については４
８０×β１／β２となる。β２に代えてβ３を用い、同
様にして、画像Ｍ３ａのサイズを変更した画像Ｍ３ｂを
得る（＃１７）。なお、サイズ変更には、バイリニア方
式等の公知の手法を採用することができる。

【００７０】サイズ変更後、３つの画像の画素数を統一
するために、画像の切り出しを行う（＃１８）。例えば
６００×４５０画素の範囲を、画像Ｍ１、Ｍ２ｂ、Ｍ３
ｂの各々の中央部から切り出す。これで、明度、像の大
きさ、および画素数が統一された３つの画像Ｍ１ｃ、Ｍ
２ｃ、Ｍ３ｃが得られる。

【００７１】次いで、動き量の検出のために、画像Ｍ１
ｃを、図１１に示すように、各々５０×５０画素からな
る１２×９のブロックに分割する。そして、ブロックご
とに、水平方向のコントラストと垂直方向のコントラス
トを算出して、動き量の検出に適するか否かをチェック
する（＃１９）。水平方向または垂直方向のコントラス
トが所定値未満のときは、不適と判定する。

【００７２】その後、画像Ｍ１ｃ、画像Ｍ２ｃ間で、ブ
ロックごとに信号強度の相関演算を行い、ブロックごと
の動き量を検出する（＃２０）。この相関演算は、画像
Ｍ１ｃのブロックに含まれる各画素の信号値と、画像Ｍ
２ｃの画素の信号値の、差の絶対値の総和（相関値）を
算出するものである。具体的には、画像Ｍ１ｃのブロッ
ク（５０×５０画素）に対応する画像Ｍ２ｃの５０×５
０画素の位置を、水平方向および垂直方向に±５画素ず
つシフトして合計１２１の相関値を算出し、相関値が最
小となるシフト量を動き量とする。

【００７３】ただし、最小の相関値が所定値を越える場
合、そのブロックは動き量の検出には不適であると判定
する。相関値が小さくならないのは、動き量が±５画素
よりも大きい場合や、ブロック内に異なる動きをする部
分が含まれている（静止被写体と動被写体の両方が含ま
れている等）場合に生じる。

【００７４】各ブロックについて動き量を求めた後、不
適と判定したものを除く全てのブロックの動き量を平均
処理し、これを画像Ｍ１ｃから見た画像Ｍ２ｃ全体の動
き量とする（＃２１）。画像内に異なる動きをする被写
体が含まれているとブロックごとの動き量に大きなばら
つきが生じるが、この場合は、同じ動きをする被写体が
含まれているブロック、すなわち類似した動き量が検出
されたブロックのみを平均処理に用いる。また、平均処
理に用いる被写体がなるべく画像内で広い面積を占める
ように、つまり、なるべく多くのブロックを用いて平均
処理を行うようにする。

【００７５】例えば、ｘ軸、ｙ軸を動き量、ｚ軸をブロ
ック数とした３次元のヒストグラムを作成し、ブロック
数が最多の動き量を画像全体の動き量とする。あるい
は、ブロック数最多の動き量の±２画素程度の範囲内に
ある動き量のブロックのみを用いて平均値を算出し、得
られた平均値を四捨五入して整数化した値を画像全体の
動き量とする。このような平均処理を行うことにより、
画像の一部に他とは異なる動きをする被写体が含まれて
いるときでも、画像全体としての動き量にその影響が及
ぶことがなくなる。

【００７６】ステップ＃２０、＃２１と同様にして、画
像Ｍ１ｃから見た画像Ｍ３ｃの動き量を検出する（＃２
２、＃２３）。

【００７７】＜エッジの検出＞動き量を検出した後、分
散値画像を用いる方法でエッジの検出を行う。分散値画
像の作成には、エッジ点Ｐのぼけ像の中心点が画像上の
同一座標に位置するように補正した３つの画像を用い
る。それには、動き量の補正と像の大きさの補正が必要
であり、さらに、明度の補正も必要である。そこで、ス
テップ＃１８で得た３つの画像Ｍ１ｃ、Ｍ２ｃ、Ｍ３ｃ
に、ステップ＃２１、＃２３で検出した動き量の補正を
加える。

【００７８】まず、画像Ｍ１ｃ、Ｍ２ｃ、Ｍ３ｃより分
散値画像を作成する（図７、ステップ＃２４）。画像Ｍ
１ｃから見た画像Ｍ２ｃの動き量を（ｘ１２,ｙ１２）
とし、画像Ｍ１ｃから見た画像Ｍ３ｃの動き量を（ｘ１
３,ｙ１３）とすると、分散値画像の座標（ｘ,ｙ）にお
ける信号値は、画像Ｍ１ｃの座標（ｘ,ｙ）における信
号値と画像Ｍ２ｃの座標（ｘ＋ｘ１２,ｙ＋ｙ１２）に
おける信号値と画像Ｍ３ｃの座標（ｘ＋ｘ１３,ｙ＋ｙ
１３）における信号値の分散値となる。画像Ｍ２ｃ、Ｍ
３ｃの画素の信号値が存在せず（例えば、ｘ＋ｘ１２＜
０のときやｙ＋ｙ１３＞４５０のとき）、分散値が算出
できない座標については、信号値がないものとする。

【００７９】次いで、分散値画像からエッジ点の位置と
エッジの方向を検出する（＃２５）。なお、信号値のな
い座標についてはこのエッジ検出を行わない。また、ス
テップ＃２０、＃２２で検出したブロックごとの動き量
をチェックし、ステップ＃２１、＃２３で検出した画像
全体としての動き量との差が小さいブロックに含まれる
画素についてのみ、エッジ検出を行う。このようにする
ことで、他とは異なる動きをする一部の被写体に対する
焦点検出が行われなくなって、誤検出を防止することが
できる。

【００８０】＜多重フォーカス画像空間の作成＞多重フ
ォーカス画像空間におけるフォーカス軸Ｗ上の画像Ｍ
１、Ｍ２、Ｍ３の座標Ｐ１、Ｐ２、Ｐ３は、ステップ＃
３〜＃１１の説明で述べたとおり、Ｐ１＝ｆ、Ｐ２＝ｆ
＋１０ｐＦ（式１２）、Ｐ３＝ｆ＋２０ｐＦ（式１４）
である。また、前述のように、フォーカス軸Ｗ上の座標
と像の大きさとの比例関係が成立しなければならない。
つまり、画像Ｍ１、Ｍ２、Ｍ３の大きさをそれぞれＬ
１、Ｌ２、Ｌ３で表すと、式１５が成り立たなければな
らない。 Ｌ１：Ｌ２：Ｌ３＝ｆ：ｆ＋１０ｐＦ：ｆ＋２０ｐＦ … 式１５

【００８１】これに対し、実際には、式１６の関係が成
立しており、したがって、画像サイズの変更が必要であ
る。 Ｌ１：Ｌ２：Ｌ３＝β１：β２：β３ … 式１６

【００８２】まず、明度統一後の画像Ｍ２ａのサイズを
変更して画像Ｍ２ｄを得る（＃２６）。具体的には、像
の大きさをβ１／β２×（１＋１０ｐＦ／ｆ）倍する。
画像Ｍ２ｄの画素数は、水平方向については６４０×β
１／β２×（１＋１０ｐＦ／ｆ）、垂直方向については
４８０×β１／β２×（１＋１０ｐＦ／ｆ）となる。

【００８３】同様に画像Ｍ３ａのサイズを変更して画像
Ｍ３ｄを得る（＃２７）。画像Ｍ３ｄの画素数は、水平
方向については６４０×β１／β３×（１＋２０ｐＦ／
ｆ）、垂直方向については４８０×β１／β３×（１＋
２０ｐＦ／ｆ）となる。

【００８４】次に、動き量の補正を行う。この補正は、
ステップ＃２４でも用いた画像の動き量を用いて、画像
Ｍ２ｄ、Ｍ３ｄを平行移動させることによって行う。

【００８５】具体的には、例えば６００×４５０画素の
範囲を、画像Ｍ１、Ｍ２ｄ、Ｍ３ｄの各々から切り出し
て、画像Ｍ１ｅ、Ｍ２ｅ、Ｍ３ｅを得る（＃２８）。こ
のとき、画像Ｍ１ｃから見た画像Ｍ２ｃ、画像Ｍ３ｃの
動き量を前述のようにそれぞれ（ｘ１２,ｙ１２）、
（ｘ１３,ｙ１３）とすると、画像Ｍ１については画像
の中心、画像Ｍ２ｄについては画像の中心より（ｘ１
２,ｙ１２）だけ離れた位置、画像Ｍ３ｄについては画
像の中心より（ｘ１３,ｙ１３）だけ離れた位置と切り
出した画像の中心とが一致するようにする。

【００８６】この処理により、被写体Ｈのエッジ点Ｐ、
撮影レンズ１１の主点Ｏ、および３つの画像Ｍ１ｅ、Ｍ
２ｅ、Ｍ３ｅの中心点が同一直線上に位置することにな
る。

【００８７】具体的な座標値を用いて説明する。まず、
各画像（画素数６００×４５０）上での左上端の画素の
座標（０,０）、右上端の画素の座標を（５９９,０）、
左下端の画素の座標を（０,４４９）、右下端の画素の
座標を（５９９,４４９）とする。このとき、各画像の
フォーカス軸Ｗとの交点の座標は（２９９.５,２２４.
５）となる。

【００８８】画像Ｍ１ｅ上のエッジ点Ｐのぼけ像の中心
点の座標を（ｘ,ｙ）とすると、画像Ｍ２ｅ上のエッジ
点Ｐのぼけ像の中心点の座標は （（ｘ−２９９.５）×（１＋１０ｐＦ／ｆ）＋２９９.
５,（ｙ−２２４.５）×（１＋１０ｐＦ／ｆ）＋２２
４.５） となり、画像Ｍ３ｅ上のエッジ点Ｐのぼけ像の中心点の
座標は （（ｘ−２９９.５）×（１＋２０ｐＦ／ｆ）＋２９９.
５,（ｙ−２２４.５）×（１＋２０ｐＦ／ｆ）＋２２
４.５） となる。

【００８９】＜整形空間焦点画像の作成＞ステップ＃２
５で検出したエッジ（画像Ｍ１ｅ上のエッジ点のぼけ像
の中心点）ごとに、図１２に示す整形空間焦点画像を作
成する（＃２９）。例えば、画像Ｍ１ｅ上に、図２に示
したような垂直方向に輝度変化するエッジのぼけ像があ
り、それに含まれるエッジ点（ぼけ像の中心点）の１つ
が座標（ｘ１,ｙ１）に検出されたとする。そのエッジ
点に対して作成される整形空間焦点画像に含まれる画像
Ｍ１ｅの画素の座標は、整形空間焦点画像のＳ方向の画
素数を１７とすると、 （ｘ１,ｙ１−８）〜（ｘ１,ｙ１＋８） となる。

【００９０】画像Ｍ２ｅ上でのこのエッジ点のぼけ像の
中心点の座標は、 （（ｘ１−２９９.５）×（１＋１０ｐＦ／ｆ）＋２９
９.５,（ｙ１−２２４.５）×（１＋１０ｐＦ／ｆ）＋
２２４.５） である。

【００９１】簡単化のため、この座標を整数値に四捨五
入して ｘ２＝ｉｎｔ（（ｘ１−２９９.５）×（１＋１０ｐＦ
／ｆ）＋３００） ｙ２＝ｉｎｔ（（ｙ１−２２４.５）×（１＋１０ｐＦ
／ｆ）＋２２５） と表すと、整形空間焦点画像に含まれる画像Ｍ２ｅの画
素の座標は （ｘ２,ｙ２−８）〜（ｘ２,ｙ２＋８） となる。

【００９２】同様に、整形空間焦点画像に含まれる画像
Ｍ３ｅの画素の座標は、 ｘ３＝ｉｎｔ（（ｘ１−２９９.５）×（１＋２０ｐＦ
／ｆ）＋３００） ｙ３＝ｉｎｔ（（ｙ１−２２４.５）×（１＋２０ｐＦ
／ｆ）＋２２５） と表すと、 （ｘ３,ｙ３−８）〜（ｘ３,ｙ３＋８） となる。

【００９３】図１２は、これら１７×３の５１画素の信
号値を並べた整形空間焦点画像の例である。

【００９４】こうして得られた整形空間焦点画像に対
し、複数の等明度直線の集合である等明度直線束を仮定
する（＃３０）。そして、等明度直線束上の各点の明度
が各画像上の明度と一致しているか否かを、所定の評価
関数を用いて評価する（＃３１）。さらに、評価関数が
最適となるように等明度直線束のパラメータを最適化し
（＃３２）、等明度直線束を構成する等明度直線の交点
を合焦位置とする（＃３３）。これらの処理により、エ
ッジ点の合焦位置のフォーカス軸Ｗ上での座標ｖが求め
られる。

【００９５】このように、ステップ＃２５で検出した全
ての画像内の全てのエッジに対してステップ＃２９〜＃
３３の処理を行うことにより、各エッジ点の合焦位置が
求められ、全ての画像に対する焦点検出が完了する。

【００９６】＜検出精度＞図１２における合焦位置の座
標はｖ＝ｆ＋１４ｐＦであり、３つの画像Ｍ１ｅ、Ｍ２
ｅ、Ｍ３ｅ上のぼけ幅はそれぞれ１４ｐ、４ｐ、６ｐと
なっている。前述のように、フォーカス軸Ｗ上での３つ
の画像の間隔は１０ｐＦであるが、これは整形空間焦点
画像のＳ方向の幅が１７画素であることに適合するよう
に設定したものである。これ以上に画像の間隔を広げた
場合は、画像上のぼけ幅が大きくなりすぎてしまい、ま
た、これ以上に画像の間隔を狭めた場合は、画像上のぼ
け幅が小さくなりすぎてしまい、いずれにしても検出す
る合焦位置ｖの精度が低下する。

【００９７】ここで、フォーカス軸Ｗ上での合焦位置ｖ
の検出誤差と、撮影時の絞り値との関係について説明す
る。例として、次の２つの条件Ａ、Ｂを考える。 条件Ａ： 撮影時の絞り値Ｆ＝２.８ 画像Ｍ１の座標Ｐ１＝ｆ 画像Ｍ２の座標Ｐ２＝ｆ＋１０ｐＦ＝ｆ＋２８ｐ 画像Ｍ３の座標Ｐ３＝ｆ＋２０ｐＦ＝ｆ＋５６ｐ 合焦位置ｖ＝ｆ＋１４ｐＦ＝ｆ＋３９.２ｐ 条件Ｂ： 撮影時の絞り値Ｆ＝５.６ 画像Ｍ１の座標Ｐ１＝ｆ 画像Ｍ２の座標Ｐ２＝ｆ＋１０ｐＦ＝ｆ＋５６ｐ 画像Ｍ３の座標Ｐ３＝ｆ＋２０ｐＦ＝ｆ＋１１２ｐ 合焦位置ｖ＝ｆ＋１４ｐＦ＝ｆ＋７８.４ｐ

【００９８】条件Ａと条件Ｂを比較すると、整形空間焦
点画像上のぼけ幅に関しては、それぞれ１４ｐ、４ｐ、
６ｐとなり、両者で等しくなる。このようにぼけ幅が等
しい場合は、合焦位置ｖの検出誤差は画像の間隔に比例
すると考えられる。つまり、絞り値Ｆ＝５.６の場合
（画像の間隔５６ｐ）は、絞り値Ｆ＝２.８の場合（画
像の間隔２８ｐ）に比べて、フォーカス軸Ｗ上での間隔
が２倍になるため、合焦位置ｖの検出誤差も２倍とな
る。

【００９９】また、絞り値Ｆ＝５.６の場合に画像の間
隔を２８ｐとすると、上述のように画像上でのぼけ幅が
小さくなりすぎて、結局は合焦位置の検出精度が低下す
る。

【０１００】したがって、撮影時の絞り値を小さくする
（絞りの口径を大きくする）ほど、画像の間隔は小さく
なり、合焦位置ｖの検出精度は向上すると考えられる。
検出精度の向上のためには、ステップ＃４の説明で述べ
たように、絞りを開放にするのが望ましい。

【０１０１】＜ズームレンズへの対応＞撮影レンズ１１
は、焦点距離が可変のズームレンズとすることもでき
る。その場合、設定されている焦点距離を検出する焦点
距離検出回路を備えるととともに、前述のデータテーブ
ルＤＴ１、ＤＴ２、ＤＴ３を焦点距離ごとに用意してお
けばよく、上述の結像位置の検出処理をそのまま適用す
ることが可能である。

【０１０２】＜多重フォーカス画像空間作成のための画
像数＞ここでは３つの画像を用いて多重フォーカス画像
空間を作成しているが、２つの画像から多重フォーカス
画像空間を作成することも可能である。その場合、等明
度直線が一意に定まらず、等明度直線の交点が複数得ら
れるが、いくつかのエッジ点に共通の交点を選出するこ
とで、結像位置を表す真の交点を得ることは容易であ
る。また、４つ以上の画像を用いて多重フォーカス画像
空間を作成すると、等明度直線の精度が向上し、したが
って、検出する結像位置の精度も向上するが、演算量が
増大することを考慮すると、用いる画像の数をあまり多
くすることは好ましくないといえる。

【０１０３】第２の実施形態のデジタルカメラ２の構成
の概略を図１３に示す。このデジタルカメラ２は、撮影
レンズ１１を交換可能としたものである。第１の実施形
態で説明した諸構成要素のうち、撮像素子１２、信号処
理部１３、Ａ／Ｄ変換器１４、制御回路１５、および記
録部１８は、カメラ本体内に設けられており、絞り１１
ａ、モータ１９、駆動回路２０、位置検出回路２１、お
よび絞りドライバ２２は、撮影レンズ１１のレンズ鏡筒
１１ｂ内に設けられている。

【０１０４】第１の実施形態のデジタルカメラ１は、マ
イクロコンピュータ１６とメモリ１７を各々１つ備える
構成であったが、本実施形態のデジタルカメラ２は、２
つのマイクロコンピュータ１６ａ、１６ｂと２つのメモ
リ１７ａ、１７ｂを備える構成であり、マイクロコンピ
ュータ１６ａとメモリ１７ａはカメラ本体内に、マイク
ロコンピュータ１６ｂとメモリ１７ｂはレンズ鏡筒内に
配置されている。マイクロコンピュータ１６ｂは、デジ
タルカメラ１のマイクロコンピュータ１６が行っていた
制御のうち撮影レンズ１１に関する制御を司り、マイク
ロコンピュータ１６ａはそれ以外の制御と画像データの
生成処理および被写体Ｈの結像位置の検出処理を司る。

【０１０５】メモリ１７ｂは、撮影レンズ１１の制御に
関するプログラムのほか、焦点距離をはじめとする撮影
レンズ１１の特性や絞り１１ｂの口径の可変範囲、さら
には図８〜図１０に示したデータテーブルＤＴ１、ＤＴ
２、ＤＴ３を記憶している。一方、メモリ１７ａは、撮
影レンズ１１の制御以外の制御に関するプログラムのほ
か、上述の結像位置検出プログラムを記憶している。

【０１０６】レンズ鏡筒がカメラ本体に装着されると、
不図示の接点を介してマイクロコンピュータ１６ａと１
６ｂが自動的に接続される。マイクロコンピュータ１６
ａ、１６ｂは相互に交信しながらデジタルカメラ２全体
の制御を行う。レンズ鏡筒１１ｂが装着された直後に、
マイクロコンピュータ１６ｂはメモリ１７ｂから撮影レ
ンズ１１の特性、絞り１１ａの口径の可変範囲、および
データテーブルＤＴ１〜ＤＴ３を読み出してマイクロコ
ンピュータ１６ａに送信しておく。また、撮影レンズ１
１の駆動に際しては、位置検出回路２１の出力信号をマ
イクロコンピュータ１６ａに送信する。

【０１０７】したがって、デジタルカメラ２では、撮影
レンズ１１が交換可能でありながら、被写体Ｈの結像位
置の検出に関し、デジタルカメラ１と全く同様の処理を
することができる。しかも、撮影レンズ１１が交換可能
であるから、使用者は種々の焦点距離の撮影レンズを利
用することができて、使い勝手がよい。

【０１０８】なお、第１、第２の実施形態としてデジタ
ルカメラの例を掲げたが、本発明は画像をアナログ信号
で表すビデオカメラにも適用可能であり、さらには、画
像を記録することを目的とせず対象物までの距離の測定
のみを行う測距装置にも適用可能である。また、ここで
は撮像素子を固定し撮影レンズを移動させることで撮影
レンズと撮像素子の相対距離を変化させるようにしてい
るが、逆に、撮影レンズを固定し撮像素子を移動させる
ことで両者の相対距離を変化させるようにしてもよい。
いずれにしても、撮影レンズの主点を結像位置検出の基
準つまりフォーカス軸上の原点とすることで、結像位置
を正確に検出することが可能である。

【０１０９】

【発明の効果】撮影レンズからの距離が異なる複数の位
置で撮影された複数の画像上での被写体の特定部位を検
出し、検出した特定部位と撮影レンズから複数の画像を
撮影した位置までの距離とに基づいて、撮影レンズによ
る被写体の結像位置を検出するものであって、複数の画
像間の相関を求め、求めた相関に基づいて複数の画像の
うちの１つの画像を基に他の画像を補正することによっ
て、複数の画像を撮影する間の時間経過に起因する被写
体と撮影レンズの相対位置の変化による複数の画像間で
の被写体の位置の差異を補正した上で、複数の画像上で
の被写体の特定部位を検出するようにした本発明の結像
位置検出プログラムでは、複数の画像を撮影する間に被
写体の移動や手ぶれにより画像上での被写体の位置に変
化が生じた場合でも、被写体の結像位置を精度よく検出
することができる。

【０１１０】複数の画像のうちの１つの画像の像の大き
さに他の画像の像の大きさを統一することによって、撮
影レンズからの距離が異なることによる複数の画像間で
の被写体の大きさの差異を補正した上で、複数の画像上
での被写体の特定部位を検出するようにした本発明の結
像位置検出プログラムでも、被写体の結像位置を精度よ
く検出することができる。特に、画像上の像の大きさと
撮影レンズからの距離が比例関係にならない撮影レンズ
であっても、その特性に応じて補正をすることで、結像
位置を確実に高精度で検出することが可能である。

【０１１１】撮影レンズからの距離が異なる複数の位置
で撮影された複数の画像上での同一明度の部位を検出
し、検出した同一明度の部位と撮影レンズから複数の画
像を撮影した位置までの距離とに基づいて、撮影レンズ
による被写体の結像位置を検出するものであって、複数
の画像の相対的明度を求め、複数の画像のうちの１つの
画像の明度に他の画像の明度を統一することによって、
撮影レンズからの距離が異なることによる複数の画像間
での明度の差異を補正した上で、複数の画像上での同一
明度の部位を検出するようにした本発明の結像位置検出
プログラムでは、同一明度として検出した部位が被写体
の同一部位に対応することになって、被写体の結像位置
を精度よく検出することが可能である。

【０１１２】撮影レンズと撮像素子に加えて、上記のい
ずれかの結像位置検出プログラムを記憶した記憶素子を
備え、撮影レンズと撮像素子との相対距離が異なる複数
の状態で撮像素子により被写体の複数の画像を撮影し、
撮影した複数の画像とそれらを撮影したときの撮影レン
ズから撮像素子までの距離とを結像位置検出プログラム
に与えて、撮影レンズによる被写体の結像位置を検出す
るようにした本発明のカメラでは、各プログラムの特徴
が生かされて、被写体の結像位置を速やかにかつ精度よ
く検出することが可能である。また、検出した結像位置
と撮影レンズの焦点距離より、被写体までの距離が直ち
に判り、撮影レンズの焦点を被写体に迅速に合わせるこ
とができる。

【０１１３】特に、撮影レンズの特性に関する情報を結
像位置検出プログラムに与えて、結像位置検出プログラ
ムが与えられた情報を用いて各種の補正をするようにし
たカメラでは、撮影レンズの特性に応じた的確な補正が
可能であり、被写体の結像位置を確実に高精度で検出す
ることができる。

【０１１４】さらに、撮影レンズを交換可能として、装
着されている撮影レンズの特性に関する情報を結像位置
検出プログラムに与えるようにすると、使い勝手がよい
上に、被写体の結像位置を確実に高精度で検出すること
が可能である。

【０１１５】また、複数の画像を撮影するときの撮影レ
ンズと撮像素子の相対距離を、撮像素子の画素の配列ピ
ッチに応じて設定すると、被写体の結像位置を検出する
ために行う演算を必要かつ十分な量とすることができ
て、被写体の結像位置を精度よくかつ速やかに検出する
ことが可能となる。

【０１１６】撮影レンズから撮像素子までの距離とし
て、撮影レンズの主点から撮像素子までの距離を結像位
置検出プログラムに与えるようにすると、撮影レンズの
特性に関わらず位置の基準が明確になり、結像位置を正
確に検出することができる。

【図面の簡単な説明】

【図１】 第１の実施形態のデジタルカメラの概略構成
を示すブロック図。

【図２】 多重フォーカス画像空間の例を示す図。

【図３】 図２の多重フォーカス画像空間の断面を投影
した空間焦点画像を示す図。

【図４】 図３の空間焦点画像を整形した整形空間焦点
画像を示す図。

【図５】 第１、第２の実施形態のデジタルカメラの結
像位置検出処理の流れの一部を示すフローチャート。

【図６】 第１、第２の実施形態のデジタルカメラの結
像位置検出処理の流れの図５に続く部分を示すフローチ
ャート。

【図７】 第１、第２の実施形態のデジタルカメラの結
像位置検出処理の流れの図６に続く部分を示すフローチ
ャート。

【図８】 第１、第２の実施形態のデジタルカメラがメ
モリに記憶しているデータテーブルの内容の例を示す
図。

【図９】 第１、第２の実施形態のデジタルカメラがメ
モリに記憶している別のデータテーブルの内容の例を示
す図。

【図１０】 第１、第２の実施形態のデジタルカメラが
メモリに記憶しているさらに別のデータテーブルの内容
の例を示す図。

【図１１】 第１、第２のデジタルカメラが画像の動き
量の検出のために分割した画像のブロックを示す図。

【図１２】 第１、第２の実施形態のデジタルカメラが
作成する整形空間焦点画像の例を示す図。

【図１３】 第２の実施形態のデジタルカメラの概略構
成を示すブロック図。

【符号の説明】

１、２ デジタルカメラ １１ 撮影レンズ １１ａ 絞り １２ 撮像素子 １３ 信号処理部 １４ Ａ／Ｄ変換器 １５ 制御回路 １６、１６ａ、１６ｂ マイクロコンピュータ １７、１７ａ、１７ｂ メモリ １８ 記録部 １９ モータ ２０ 駆動回路 ２１ 位置検出回路 ２２ 絞りドライバ

フロントページの続き (56)参考文献 特開2002−335438（ＪＰ，Ａ) 特開 平10−206150（ＪＰ，Ａ) 特開 平11−127306（ＪＰ，Ａ) 特開 平５−79838（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G02B 7/28 - 7/40 G03B 13/32 - 13/36 H04N 5/222 - 5/257

Claims (14)

(57)【特許請求の範囲】
1. 【請求項１】 撮影レンズからの距離が異なる複数の位
   置で撮影された被写体の複数の画像を与えられ、複数の
   画像上での被写体の特定部位を検出し、検出した特定部
   位と撮影レンズから複数の画像を撮影した位置までの距
   離とに基づいて、撮影レンズによる被写体の結像位置を
   検出する結像位置検出プログラムにおいて、複数の画像間の相関を求め、求めた相関に基づいて複数
   の画像のうちの１つの画像を基に他の画像を補正するこ
   とによって、 複数の画像を撮影する間の時間経過に起因
   する被写体と撮影レンズの相対位置の変化による複数の
   画像間での被写体の位置の差異を補正した上で、複数の
   画像上での被写体の特定部位を検出することを特徴とす
   る結像位置検出プログラム。
2. 【請求項２】 複数の画像間で明度が同じ部位を被写体
   の特定部位とすることを特徴とする請求項１に記載の結
   像位置検出プログラム。
3. 【請求項３】 各画像において明度差が大きい部位を被
   写体の特定部位とすることを特徴とする請求項１に記載
   の結像位置検出プログラム。
4. 【請求項４】 撮影レンズからの距離が異なることによ
   る複数の画像間での被写体の大きさの差異を補正した上
   で、複数の画像間での被写体の位置の差異を補正するこ
   とを特徴とする請求項１に記載の結像位置検出プログラ
   ム。
5. 【請求項５】 複数の画像間での被写体の大きさの差異
   を補正した後、複数の画像間の相関を求め、求めた相関
   に基づいて複数の画像間での被写体の位置の差異を補正
   することを特徴とする請求項４に記載の結像位置検出プ
   ログラム。
6. 【請求項６】 撮影レンズからの距離が異なる複数の位
   置で撮影された被写体の複数の画像を与えられ、複数の
   画像上での被写体の特定部位を検出し、検出した特定部
   位と撮影レンズから複数の画像を撮影した位置までの距
   離とに基づいて、撮影レンズによる被写体の結像位置を
   検出する結像位置検出プログラムにおいて、複数の画像のうちの１つの画像の像の大きさに他の画像
   の像の大きさを統一することによって、 撮影レンズから
   の距離が異なることによる複数の画像間での被写体の大
   きさの差異を補正した上で、複数の画像上での被写体の
   特定部位を検出することを特徴とする結像位置検出プロ
   グラム。
7. 【請求項７】 撮影レンズからの距離が異なる複数の位
   置で撮影された被写体の複数の画像を与えられ、複数の
   画像上での同一明度の部位を検出し、検出した同一明度
   の部位と撮影レンズから複数の画像を撮影した位置まで
   の距離とに基づいて、撮影レンズによる被写体の結像位
   置を検出する結像位置検出プログラムにおいて、複数の画像の相対的明度を求め、複数の画像のうちの１
   つの画像の明度に他の画像の明度を統一することによっ
   て、 撮影レンズからの距離が異なることによる複数の
   画像間での明度の差異を補正した上で、複数の画像上で
   の同一明度の部位を検出することを特徴とする結像位置
   検出プログラム。
8. 【請求項８】 撮影レンズと撮影レンズを透過した光を
   受けて画像を撮影する撮像素子を備えるカメラであっ
   て、 請求項１ないし請求項７のいずれか１項に記載の結像位
   置検出プログラムを記憶した記憶素子を備え、撮影レン
   ズと撮像素子との相対距離が異なる複数の状態で撮像素
   子により被写体の複数の画像を撮影し、撮影した複数の
   画像と複数の画像を撮影したときの撮影レンズから撮像
   素子までの距離とを結像位置検出プログラムに与えて、
   撮影レンズによる被写体の結像位置を検出することを特
   徴とするカメラ。
9. 【請求項９】 撮影レンズの特性に関する情報を結像位
   置検出プログラムに与え、 結像位置検出プログラムが与えられた情報を用いて前記
   補正をすることを特徴とする請求項８に記載のカメラ。
10. 【請求項１０】 撮影レンズが交換可能であり、装着さ
    れている撮影レンズの特性に関する情報を結像位置検出
    プログラムに与えることを特徴とする請求項９に記載の
    カメラ。
11. 【請求項１１】 撮影レンズが口径可変の絞りを備え、 複数の画像を撮影するときの絞りの口径を同じに設定す
    ることを特徴とする請求項８に記載のカメラ。
12. 【請求項１２】 複数の画像を撮影するときの絞りの口
    径を最大に設定することを特徴とする請求項１１に記載
    のカメラ。
13. 【請求項１３】 複数の画像を撮影するときの撮影レン
    ズと撮像素子の相対距離を、撮像素子の画素の配列ピッ
    チに応じて設定することを特徴とする請求項８に記載の
    カメラ。
14. 【請求項１４】 撮影レンズから撮像素子までの距離と
    して、撮影レンズの主点から撮像素子までの距離を結像
    位置検出プログラムに与えることを特徴とする請求項８
    に記載のカメラ。