JP7504579B2 - 撮像装置、撮像装置の制御方法およびプログラム - Google Patents

Description

本発明は、撮像装置、撮像装置の制御方法およびプログラムに関する。

焦点検出および調節を自動で行うオートフォーカス（以下、ＡＦと記す）機能がある。特許文献１は、カメラの姿勢変化にともなうレンズの光軸の角度変化量が検出された場合に、レンズを合焦駆動するためのレンズ駆動量を演算してレンズ駆動を実施することで合焦の再調節を行う技術を開示している。特許文献１では、所望の被写体に合焦させた後に、三脚に設置されたカメラをパンさせることで構図変更を実施した場合に、カメラの角度変化量に基づいて被写体までの距離の補正値を演算してレンズ駆動量を算出している。

特開平４－１７５７３８号公報

しかしながら、特許文献１では、撮像装置の姿勢変化に伴う撮像装置の内部状態変化に関しては考慮されておらず、内部状態変化により撮像光学系の焦点距離に変化が生じた場合、被写体への合焦にずれが生じる。撮像装置の姿勢変化に伴う撮像装置の内部状態変化としては、例えば、撮像光学系のレンズ間隔変化、レンズ傾き変化、撮像素子の取り付け位置変化などがある。撮像装置の内部状態は、特許文献１で説明されている水平方向の動きに比べ、撮像装置を上向きや下向きに構えた場合に重力の影響を受けて大きく変化する。

一方、ＡＦによる合焦動作においては、撮像装置の姿勢変化による内部状態変化が生じても、変化した状態における合焦動作が実施されれば被写体への合焦は可能となる。しかしながら、フォーカスレンズの位置など撮像装置の内部状態に応じて算出される被写体までの距離等の計測値は、撮像装置の姿勢による内部状態変化によって同距離に位置する被写体でも異なる計測値が算出されてしまう恐れがある。

本発明は、撮像装置の姿勢に応じて計測値を高精度に取得できる撮像装置を提供する。

上記課題を解決するために、本発明の撮像装置は、合焦時のフォーカシングレンズの駆動量を取得する計測手段と、前記合焦時の撮像装置の姿勢を検出する姿勢検出手段と、前記撮像装置の姿勢に起因する前記撮像装置の内部の状態変化によるフォーカシングレンズの駆動量の誤差を補正するための補正情報として、検出した前記撮像装置の姿勢に応じたフォーカシングレンズの駆動量の変化量を取得する補正情報取得手段と、前記補正情報に基づいて前記合焦時のフォーカシングレンズの駆動量を補正し、補正したフォーカシングレンズの駆動量に基づいて合焦した被写体までの距離である被写体距離を算出する補正手段と、を備える。

本発明によれば、撮像装置の姿勢に応じて計測値を高精度に取得できる撮像装置を提供することができる。

第１実施形態に係る撮像装置の機能構成を説明する図である。 撮像装置の姿勢による内部状態の変化を説明する図である。 被写体までの距離算出処理を示すフローチャートである。 第２実施形態に係る撮像装置の機能構成を説明する図である。 第２実施形態に係る撮像素子の構成を説明する図である。 撮像面位相差測距方式の測距原理を説明する図である。 視差量とデフォーカス量との関係について説明する図である。 深度画像を生成する処理を示すフローチャートである。 焦点距離および撮影倍率の補正処理を示すフローチャートである。

各実施形態では、撮像装置の一例として撮像装置から合焦した被写体までの距離を示す深度情報を取得可能なデジタルカメラに本発明を適用した例に説明する。しかし、これに限られるものではなく、本発明は被写体までの距離を取得可能な任意の撮像機器に適用可能である。また、各実施形態では撮像装置の一例としてレンズ装置と本体部が一体となった撮像装置について説明するが、これに限られるものではなく、レンズ装置が本体部に着脱可能なレンズ交換式の撮像装置であってもよい。

（第１実施形態）
図１は、第１実施形態に係る撮像装置１００の機能構成を説明する図である。撮像装置１００は、撮像光学系１０、撮像素子１１、制御部１２、計測部１３、画像処理部１４、記憶部１５、入力部１６、表示部１７、通信部１８、センサ１９を備える。なお、以下では、撮像光学系１０の光軸１０３と平行な方向（図１の左右方向）をｚ方向または深度方向とする。光軸１０３と直交し、撮像素子１１の垂直方向と平行な方向をｘ方向（図１の上下方向）とする。光軸１０３およびｘ軸と直交し、撮像素子１１の水平方向と平行な方向をｙ方向とする。

撮像光学系１０は、被写体の光学像を撮像素子１１上に結像させる。撮像光学系１０は、撮影倍率を変更するズームレンズ１０４、焦点調節に使用するフォーカシングレンズ１０５、手振れ等による画像ブレを補正するシフトレンズ１０２を含む光軸１０３上に並んだ複数のレンズと絞りを備える。また、撮像光学系１０の射出瞳１０１は、撮像素子１１から所定距離離れた位置にある。

撮像素子１１は、例えばＣＣＤ（電荷結合素子）やＣＭＯＳセンサ（相補型金属酸化膜半導体）である。撮像素子１１は、撮像光学系１０を介して撮像面に結像された被写体像を光電変換し、被写体像に係る画像信号を出力する。

制御部１２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やマイクロプロセッサ等であり、撮像装置１００が備える各ブロックの動作を制御する。制御部１２は、例えば、撮像時のＡＦ（自動焦点合わせ）、フォーカス（合焦）位置の変更、Ｆ値（絞り）の変更、画像の取り込み、被写体距離の測定、記憶部１５、入力部１６、表示部１７、通信部１８の制御等を行う。

計測部１３は、合焦した被写体までの距離を算出する。計測部１３は、レンズ駆動情報取得部１３０、姿勢検出部１３１、補正情報取得部１３２、補正部１３３を備える。レンズ駆動情報取得部１３０は、制御部１２を介して、撮像光学系１０内の各レンズの駆動情報を取得する。例えば、レンズ駆動情報取得部１３０は、合焦動作によってフォーカシングレンズ１０５を駆動した際の駆動量を制御部１２から取得する。

姿勢検出部１３１は、撮像装置１００に設置されたセンサ１９の出力に基づいて、撮影時の撮像装置１００の姿勢情報を検出する。補正情報取得部１３２は、撮像装置１００の姿勢に応じて、距離補正に必要な距離補正情報を取得する。具体的には、補正情報取得部１３２は、予め撮像装置１００の姿勢ごとの距離補正情報を記憶している記憶部１５から、姿勢検出部１３１が検出した撮像装置１００の姿勢情報に応じた距離補正情報を取得する。補正部１３３は、補正情報取得部１３２が取得した距離補正情報に基づいて、被写体距離情報を算出する。

画像処理部１４は、撮像素子１１から出力された画像信号に対して、各種画像処理を実施する。例えば、画像処理部１４は画像処理として、撮像素子１１から出力された画像信号のノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの処理を行う。画像処理部１４から出力される画像データ（撮像画像）は不図示のメモリに蓄積され、表示部１７に表示される。また、画像処理部１４から出力された画像データは、記憶部１５に保存される。画像処理部１４は、論理回路を用いて構成してもよいし、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリで構成してもよい。

記憶部１５は、撮像された画像データ、各ブロックの動作の過程で生成された中間データ、画像処理部１４や撮像装置１００の動作において参照されるパラメータ等が記録される記録媒体である。記憶部１５は、処理の実現にあたり許容される処理性能が担保されるものであれば、高速に読み書きでき、かつ、大容量の記録媒体であればどのようなものであってもよく、例えば、フラッシュメモリなどが好ましい。

入力部１６は、例えば、ダイヤル、ボタン、スイッチ、タッチパネル等の撮像装置１００に対してなされた情報入力や設定変更の操作入力を検出するユーザインターフェイスである。入力部１６は、ユーザからの操作入力を検出すると対応する制御信号を制御部１２に出力する。表示部１７は、例えば、液晶ディスプレイや有機ＥＬ等の表示装置である。表示部１７は、撮像画像をリアルタイムで表示することによる撮影時の構図確認、各種設定の確認、メッセージ情報の報知等に用いられる。また、表示部１７にタッチパネルを利用することで表示機能と入力機能を併せ持つことができる。

通信部１８は、外部装置との情報送受信を実現する通信インタフェースである。通信部１８は、撮像画像、撮影情報、距離情報等を、外部装置に送出する。センサ１９は、撮像装置１００の状態をモニタリングするセンサ類である。センサ１９には、例えば、加速度センサ、ジャイロセンサ、温度センサ等が設置されている。撮像装置１００の姿勢検出には一般に加速度センサが使用される。

撮像装置１００の撮影時の姿勢による内部状態の変化について図２を用いて説明する。図２は、撮像装置の姿勢による内部状態の変化を説明する図である。図２（Ａ）は撮像装置１００を水平に保持した場合、図２（Ｂ）は撮像装置１００を下向きに保持した場合、図２（Ｃ）は撮像装置１００を上向きに保持した場合における撮像装置１００の内部状態を示している。以下では、ズームレンズ１０４の取り付け時に間隙が生じていると仮定する。また、各レンズの被写体側を第一面、撮像装置１００側を第二面とする。

図２（Ａ）は、撮像装置１００を水平に保持した場合の内部状態を表す断面図である。以下では、撮像装置１００を水平に保持した状態を基準姿勢とする。水平保持状態におけるズームレンズ１０４の第二面とフォーカシングレンズ１０５の第一面の間隔をＬとする。

図２（Ｂ）は、撮像装置１００を下向き（-ｚ方向）に保持した場合の内部状態を表す断面図である。図２（Ｂ）の状態では、水平方向を０°とした場合に検出した姿勢情報が-９０°となる。下向き状態におけるズームレンズ１０４の第二面とフォーカシングレンズ１０５の第一面の間隔をＬｄとする。ズームレンズ１０４の取り付けに間隙があるため、重力によりレンズ１０４は-ｚ方向に平行移動する。そのため、下向きの状態のレンズ間隔Ｌｄは基準姿勢のレンズ間隔Ｌよりも長くなる。

一方、図２（Ｃ）は、撮像装置１００を上向き（+ｚ方向）に保持した場合の内部状態を表す断面図である。図２（Ｃ）の状態では、水平方向を０°とした場合に検出した姿勢情報が９０°となる。上向き状態におけるズームレンズ１０４の第二面とフォーカシングレンズ１０５の第一面の間隔をＬｕとする。ズームレンズ１０４の取り付けに間隙があるため、重力によりズームレンズ１０４は+ｚ方向に平行移動する。そのため、上向きの状態のレンズ間隔Ｌｄは基準姿勢のレンズ間隔Ｌよりも短くなる。

レンズ間隔の変化は、撮影時の姿勢における摩擦力、応力、重力の影響により決定され、摩擦力および応力は撮像光学系１０の鏡筒設計に依存する。また、レンズ間隔が変化することで撮像光学系１０の状態に基づく焦点距離や焦点距離等の測定値が微小変動する。レンズ間隔の変化に伴う測定値の変化量は、撮像光学系１０の光学設計といずれのレンズがどれだけ移動したかに依存する。なお、上記では一つのレンズを例にとって説明したが、実際には複数のレンズにおいて位置変動が生じる。各レンズの変動は、公差や製造誤差によってそれぞれ異なる。また、撮像光学系１０の光学設計によって各レンズの位置変動による測定値の変化への敏感度も異なる。

このように、レンズ間隔変化およびそれに伴う計測値の変動は、撮像光学系１０の光学設計および鏡筒設計に複雑に依存する。しかし、一般的な傾向として基準姿勢（水平）からの姿勢変化が小さい場合は大きな影響がみられず、姿勢変化が大きくなると急激に変動が生じる傾向がある。そのため、撮像装置１００の姿勢を変数とする３次関数により、計測値の変化量を近似することもできる。

撮像装置１００の基準姿勢とは異なる姿勢でＡＦを実行する場合、焦点距離の微小変動が生じていても、撮影像が良好に取得できるようにフォーカシングレンズ１０５を移動させるため合焦動作に支障はきたさない。しかしながら、フォーカシングレンズ１０５の移動状態と基準姿勢における光学設計情報を用いて合焦した被写体までの距離を算出する場合には、撮像光学系１０の状態が基準状態と異なっていると算出する被写体距離に誤差が生じてしまう。そのため、撮像装置１００を用いて被写体までの距離を計測する場合や撮像装置１の００の焦点距離を用いて被写体の寸法計測を実行する場合において、撮像装置１００の姿勢変化に伴う内部状態変化の影響が無視できないものとなる。

撮像装置１００の姿勢変化に伴う内部状態変化として撮像光学系１０の状態変化について説明したが、これに限られるものではなく、例えば撮像素子１１の位置変動が生じる可能性もある。また、撮像装置１００がレンズ交換式カメラである場合には、撮像光学系１０の本体部への取り付け部分において間隙が生じ、姿勢による内部状態変化の一因となりうる。

合焦した被写体までの距離算出処理について、図３のフローチャートを用いて説明する。図３は、被写体までの距離算出処理を示すフローチャートである。
ステップＳ３０１で、レンズ駆動情報取得部１３０は、合焦時のレンズ駆動情報を取得する。具体的には、レンズ駆動情報取得部１３０は、合焦動作によって撮像光学系１０内に設置されたフォーカシングレンズ１０２を駆動した際の駆動量を制御部１２から取得する。ここでレンズ駆動情報取得部１３０が取得するフォーカシングレンズ１０２の駆動量は、例えば、フォーカシングレンズ１０２をステッピングモーター等の駆動装置で駆動した際の駆動パルス数である。なお、パルス数は絶対値であっても相対値であってもよく、取得するパルス値に合わせて以降の処理を実行することができる。

ステップＳ３０２で、姿勢検出部１３１は、撮像装置１００に設置されたセンサ１９の加速度センサの出力に基づいて、撮影時の撮像装置１００の姿勢情報を検出する。姿勢情報は、撮像装置１００の基準姿勢からのロール・ピッチ・ヨー方向の角度変化量である。なお、本実施形態における撮像装置１００の基準姿勢は水平方向とするが、これに限られるものではない。

撮像装置１００の内部状態は、水平方向の動きに比べ、撮像装置を上向きや下向きに構えた場合に重力の影響を受けて大きく変化する。そのため、特に、上下方向（ピッチ方向）にどの程度の角度傾いた状態で撮影が実施されたかを取得するのが有用である。本実施形態では、撮像装置１００の姿勢情報として水平方向を基準とする上下方向のピッチ角度を例に説明を行う。

ステップＳ３０３で、補正情報取得部１３２は、撮像装置１００の姿勢情報に応じた距離補正情報を取得する。具体的には、補正情報取得部１３２は、記憶部１５に予め保存されている距離補正情報から、ステップＳ３０２で検出した撮像装置１００の姿勢情報（ピッチ方向の角度）に応じた距離補正情報を取得する。距離補正情報は、距離補正に必要な情報であり、本実施形態においては、姿勢変化に対応するフォーカシングレンズ１０２の駆動量の変化量である。例えば、ステッピングモーターを利用してフォーカシングレンズ１０２を駆動した場合は、姿勢変化に対応する駆動パルス変化量が距離補正情報となる。

記憶部１５には、予め撮像装置１００の姿勢情報ごとの距離補正情報、即ち撮像装置１００の姿勢変化に伴う駆動パルス変化量がテーブルや関数の形で保存されている。記憶部１５に予め保存されている距離補正情報としての駆動パルス変化量は、基準姿勢における駆動パルス値と基準姿勢とは異なる姿勢における駆動パルス値のずれとして算出された値である。より具体的には、撮像装置１００の基準姿勢において特定距離にある被写体（例えば、チャート）への合焦動作時のフォーカシングレンズ１０２の駆動パルス値（制御パルス）を取得する。そして、被写体距離が一定のまま撮像装置１００の姿勢を上下方向に変化させ、合焦動作を実行した際のフォーカシングレンズ１０２の駆動パルス値（制御パルス）を取得する。取得した基準姿勢における駆動パルス値と、撮像装置１００の姿勢変化に応じた駆動パルス値のずれ（相対パルス数）が駆動パルス変化量である。算出した駆動パルス変化量をテーブルとして保存して利用してもよいし、算出した駆動パルス変化量と撮像装置１００の姿勢変化量の関係をフィッティングした関数の係数のみを保存して利用してもよい。関数の係数のみを保存する場合は、テーブルを保存する場合に比べ、保存するデータ量の削減が可能となる。

なお、補正情報は前述のように実験的に取得する以外にもレンズ取り付けの公差量とステッピングモーターのパルスとレンズ移動量の関係を考慮してシミュレーションにより算出してもよい。また、合焦する距離によって姿勢変化に伴うパルス変化量が変化する場合は、被写体と撮像装置１００の距離を変更して同様にパルス変化量を取得する。フォーカシングレンズ１０２のパルス数が多い場合は、全ての合焦距離においてパルス変化量を取得する代わりに、複数の距離においてパルス変化量を取得し、補間によりその他の距離におけるパルス変化量を算出すればよい。また、焦点距離可変の撮像光学系を利用する場合には、設定可能なそれぞれの焦点距離においてパルス変化量を取得しておくのが好適である。全ての焦点距離においてパルス変化量の取得が困難な場合は、所定の焦点距離間隔でパルス変化量を取得し、所定の焦点距離間隔内の焦点距離におけるパルス変化量を内挿して算出するよいにしてもよい。

撮像装置１００に付属する撮像光学系１０が交換可能であった場合には、複数の異なる撮像光学系における補正情報を記憶部１５に格納しておくのが好適である。また、撮像光学系１０が記憶部を備える場合には、撮像光学系１０の記憶部に補正情報を格納しておき、補正情報取得部１３が撮像光学系１０から該補正情報を読み出せる構成にしてもよい。この構成の場合、記憶部１５に距離補正情報が格納されていない撮像光学系１０であっても、撮像光学系１０の補正情報を取得することが可能となる。なお、本実施形態では、距離補正情報を記憶部１５に保存している例を説明したが、撮像装置１００の撮像光学系１０が固定である場合は、予め計測部１３内の不図示の不揮発性メモリに補正情報を格納するようにしてもよい。

ステップＳ３０４で、補正部１３３は、補正した被写体距離を算出する。具体的には、補正部１３３は、ステップＳ３０１で取得した合焦時の駆動パルス数と、ステップＳ３０３で取得した撮像装置１００の姿勢変化に応じた駆動パルス変化量から、基準姿勢で撮影した場合の駆動パルス数を算出する。そして、基準姿勢で撮影した場合の駆動パルス数に応じた被写体距離を、補正した被写体距離として算出する。

駆動パルス数に基づく被写体距離の算出は、予め保存された駆動パルス数と被写体距離の関係をテーブルもしくは関数を用いることで行われる。駆動パルス数と被写体距離の関係を表す被写体距離情報テーブルは、基準姿勢における合焦時の撮像光学系１０中のフォーカシングレンズ１０２の駆動パルス数（駆動位置）と、合焦距離の関係を撮像光学系１０の設計情報を用いて算出することで作成される。この被写体距離情報テーブルもしくは関数と補正された駆動パルス数（基準姿勢での駆動パルス数）から、撮像装置１００の姿勢による内部状態変化による距離算出誤差を補正した距離を出力することが可能となる。

以上説明したように、本実施形態の撮像装置によれば、合焦時のカメラ姿勢に応じた補正情報（駆動パルス変化量）を取得して、補正情報を基にした距離情報等の計測値を算出することができる。そのため、撮像装置の姿勢によって撮像装置の内部状態が変化することによる被写体までの測距誤差を補正することができ、姿勢に依存せずに高精度な測距が可能となる。

（第２実施形態）
第１実施形態では、ＡＦ動作等で合焦した被写***置における一つの距離を出力する態様について説明した。本実施形態では、撮像面で測距を行うことで撮影画像と同様の領域の深度画像を出力する態様に対して本発明を適用する例を説明する。

本実施形態に係る撮像装置２００の機能構成を示すブロック図を図４に示す。図４は、第２実施形態における撮像装置の機能構成を説明する図である。第１実施形態と同様の構成については、同じ符号を付すことでその説明を省略する。以下では、第１実施形態との差異である、撮像素子２０および画像処理部２４について説明する。

撮像素子２０は、撮像面位相差測距方式の測距機能を有する撮像素子である。そのため、撮像素子２０は、撮像画像に加えて、撮像装置から被写体までの距離（被写体距離）を示す距離情報を生成して出力することができる。

撮像素子２０の詳細な構成について、図５を参照して説明する。図５は、撮像素子２０の構成を説明する図である。図５（Ａ）は、撮像素子２０および画素２１０を説明する図である。図５（Ｂ）は、画素２１０を説明する図である。撮像素子２０は、行方向および列方向に二次元状に配置された複数の画素２１０を有する。それぞれの画素２１０には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが適用された２行×２列の画素２１０が複数連結して配列される。そのため、画素２１０からは、Ｒ、Ｇ、Ｂのいずれかの色情報を示した画像信号が出力される。なお、本実施形態では一例として、カラーフィルタがベイヤー配列されている例を説明するが、本発明の実施がこれに限られるものではない。

撮像面位相差測距方式の測距機能を有する本実施形態の撮像素子２０の各画素２１０は、複数の光電変換部を有する。複数の光電変換部は、撮像素子２０の水平方向に係る図５（Ａ）のＩ－Ｉ’断面において並んで配置されている。図５（Ｂ）に示されるように、各画素２１０は、導光層２１３および受光層２１４を備える。導光層２１３は、１つのマイクロレンズ２１１と、複数のカラーフィルタ２１２を有する。受光層２１４は、第１の光電変換部２１５および第２の光電変換部２１６を有する。すなわち、画素２１０は、１つのマイクロレンズに対して複数の光電変換部を有する構成となっている。

マイクロレンズ２１１は、画素へ入射した光束を第１の光電変換部２１５および第２の光電変換部２１６へ効率よく導くよう構成されている。カラーフィルタ２１２は、所定の波長帯域の光を通過させるものであり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれかの波長帯の光のみを通過させ、後段の第１の光電変換部２１５および第２の光電変換部２１６に導く。

第１の光電変換部２１５および第２の光電変換部２１６は、受光した光をアナログ画像信号に変換する。第１の光電変換部２１５および第２の光電変換部２１６は、撮像光学系１０の互いに異なる瞳領域を通過する光束から一対の像信号を生成し、一対の画像信号が測距に用いられる。すなわち、撮像素子２０の各画素２１０の第１の光電変換部２１５から出力された像信号で構成される第１の画像信号と、第２の光電変換部２１６から出力された像信号で構成される第２の画像信号が測距に用いられる。

第１の光電変換部２１５と第２の光電変換部２１６とは、画素に対してマイクロレンズ２１１を介して入光する光束をそれぞれ部分的に受光する。そのため、最終的に得られる２種類の画像信号は、撮像光学系１０の射出瞳１０１の異なる領域を通過した光束に係る瞳分割画像群となる。ここで、各画素２１０で第１の光電変換部２１５と第２の光電変換部２１６とが光電変換した画像信号を合成した画像信号は、画素に１つの光電変換部のみが設けられている態様において該１つの光電変換部から出力される鑑賞用の画像信号と等価である。

このような構造を有することで、本実施形態の撮像素子２０は、鑑賞用画像信号と測距用画像信号（２種類の瞳分割画像）とを出力することが可能となっている。なお、本実施形態では、撮像素子２０の全ての画素２１０が２つの光電変換部を備え、高密度な深度情報を出力可能に構成されている例を説明するが、これに限られるものではない。例えば、各画素２１０が備える光電変換部の数が２つ以上でもよい。また、全ての画素２１０ではなく一部の画素２１０が複数の光電変換部を備える構成でもよい。

ここで、第１の光電変換部２１５および第２の光電変換部２１６から出力された瞳分割画像群に基づいて被写体距離を導出する原理について、図６および図７を参照して説明する。図６（Ａ）は、撮像素子２０の画素２１０の第１の光電変換部２１５に受光する光束を示した概略図である。図６（Ｂ）は、第２の光電変換部２１６に受光する光束を示した概略図である。

マイクロレンズ２１１は、射出瞳１０１と受光層２１４とが光学的に共役関係になるように配置されている。撮像光学系１０の射出瞳１０１を通過した光束は、マイクロレンズ２１１により集光されて第１の光電変換部２１５または第２の光電変換部２１６に導かれる。この際、第１の光電変換部２１５と第２の光電変換部２１６にはそれぞれ異なる瞳領域を通過した光束を主に受光する。第１の光電変換部２１５は第１の瞳領域５１０を通過した光束を受光し、第２の光電変換部２１６は第２の瞳領域５２０を通過した光束を受光する。

撮像素子２０が備える複数の第１の光電変換部２１５は、第１の瞳領域５１０を通過した光束を主に受光し、第１の画像信号を出力する。同時に、撮像素子２０が備える複数の第２の光電変換部２１６は、第２の瞳領域５２０を通過した光束を主に受光し、第２の画像信号を出力する。第１の画像信号からは、第１の瞳領域５１０を通過した光束が撮像素子２０上に形成する像の強度分布を得ることができる。同様に、第２の画像信号からは、第２の瞳領域５２０を通過した光束が、撮像素子２０上に形成する像の強度分布を得ることができる。

第１の画像信号と第２の画像信号間の相対的な位置ズレ量（所謂、視差量）は、デフォーカス量に応じた値となる。視差量とデフォーカス量との関係について、図７を用いて説明する。図７は、視差量とデフォーカス量との関係について説明する図である。図７において、第１の光束５１１は、第１の瞳領域５１０を通過する光束を示し、第２の光束５２１は第２の瞳領域５２０を通過する光束を示す。

図７（Ａ）は、合焦時の状態を示している。合焦時には、第１の光束５１１と第２の光束５２１が撮像素子２０上で収束している。このとき、第１の光束５１１により形成される第１の画像信号と第２の光束５２１により形成される第２の画像信号間との視差量は０となる。

図７（Ｂ）は、像がｚ軸の負方向にデフォーカスした状態を示している。このとき、第１の光束により形成される第１の画像信号と第２の信号により形成される第２の画像信号との視差量は０とはならず、負の値を有する。図７（Ｃ）は、像がｚ軸の正方向にデフォーカスした状態を示している。このとき、第１の光束により形成される第１の画像信号と第２の光束により形成される第２の画像信号との視差量は０とはならず、正の値を有する。図７（Ｂ）と図７（Ｃ）の比較から、デフォーカス量の正負に応じて、位置ズレの方向が入れ替わることが分かる。また、デフォーカス量に応じて、撮像光学系１０の結像関係（幾何関係）に従って位置ズレが生じることが分かる。なお、第１の画像信号と第２の画像信号との位置ズレである視差量は、後述する領域ベースのマッチング手法により検出することができる。

画像処理部２４は、画像生成部２４０と深度生成部２４１を備える。画像生成部２４０は、撮像素子２０から得られた一対の画像信号を合成して観賞用の撮像画像を生成する。深度生成部２４１は、撮像素子２０から得られた一対の画像信号から深度画像を生成する。

ここで、深度画像生成に係る処理について、図８のフローチャートを用いて説明する。図８は、深度画像を生成する処理を示すフローチャートである。ステップＳ２４０１で、深度生成部２４１は、第１の画像信号および第２の画像信号に光量補正処理を行う。撮像光学系１０の周辺画角ではヴィネッティングによって第１の瞳領域５１０と第２の瞳領域５２０の形状が異なることに起因して、第１の画像信号と第２の画像信号の間では光量バランスが崩れている。そのため、深度生成部２４１は、例えば不図示のメモリに予め格納されている光量補正値を用いて、第１の画像信号と第２の画像信号の光量補正を行い、第１の画像信号と第２の画像信号の光量を揃える。

ステップＳ２４０２で、深度生成部２４１は、第１の画像信号および第２の画像信号に生じたノイズを低減する処理を行う。ノイズは、例えば撮像素子２０における光電変換時に生じたノイズである。具体的には深度生成部２４１は、第１の画像信号と第２の画像信号に対してフィルタ処理を適用することで、ノイズ低減を実現する。一般に、空間周波数が高い高周波領域ほどＳＮ比が低くなり、相対的にノイズ成分が多くなる。従って、深度生成部２４１は、空間周波数が高いほど、通過率が低減するローパスフィルタを第１の画像信号と第２の画像信号に対して適用する。なお、ステップＳ２４０１における光量補正は撮像光学系１０の製造誤差等によっては好適な結果とはならないため、深度生成部２４１は、直流成分を遮断しかつ高周波成分の通過率が低いバンドパスフィルタをステップＳ２４０２で適用することがより好ましい。

ステップＳ２４０３で、深度生成部２４１は、深度画像を生成する。深度生成部２４１は、第１の画像信号と第２の画像信号の画像間の視差量を算出してデフォーカス量に変換し、デフォーカス量を画素値とする２次元情報を深度画像として生成する。

具体的には、深度生成部２４１は、まず視差量を算出するために、第１の画像信号内に、代表画素情報に対応した注目点と、該注目点を中心とする照合領域とを設定する。照合領域は、例えば、注目点を中心とした一辺が所定長さを有する正方領域等の矩形領域である。次に深度生成部２４１は、第２の画像信号内に参照点を設定し、該参照点を中心とする参照領域を設定する。参照領域は、上述した照合領域と同一の大きさおよび形状を有する。深度生成部２４１は、参照点を順次移動させながら、第１の画像信号の照合領域内に含まれる画像と、第２の画像信号の参照領域内に含まれる画像との相関度を導出し、最も相関度が高い参照点を、第２の画像信号における注目点に対応する対応点として特定する。このようにしてマッチングにより特定された対応点と注目点との相対的な位置ズレ量が、注目点における視差量となる。深度生成部２４１は、注目点を代表画素情報に従って順次変更しながら視差量を算出することで、該代表画素情報によって定められた複数の画素位置における視差量を導出する。本実施形態では簡単のため、鑑賞用画像と同一の解像度で深度情報を得るべく、視差量を計算する画素位置（代表画素情報に含まれる画素群）は、鑑賞用画像と同数になるよう設定されているものとする。相関度の導出方法としてＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）等の方法を用いてよい。

算出した視差量は、所定の変換係数を用いることで撮像素子２０から撮像光学系１０の焦点までの距離であるデフォーカス量に変換することができる。ここで、所定の変換係数Ｋ、デフォーカス量をΔＬとすると、視差量は、下記の式１によって、デフォーカス量に変換できる。
ΔＬ＝Ｋ×ｄ・・・（式１）
深度生成部２４１は、算出したデフォーカス量を画素値とする２次元情報を構成し、深度画像として不図示のメモリに格納する。

本実施形態における補正処理は、第１実施形態における補正処理のフローチャート（図３）と同様の流れで処理を実施するが、距離補正に用いる情報が異なる。第１実施形態では、フォーカシングレンズ１０５の駆動パルス数を利用して補正を実行する例を説明したが、本実施形態では像側におけるフォーカス位置のずれ（デフォーカス量）を基準として補正を実行する。

本実施形態における距離補正処理は、図３に示される第１実施形態の焦点距離補正処理と同様の処理であるが、撮像装置２００の姿勢に応じたフォーカシングレンズ１０５の駆動量の変化量をデフォーカス量として保持している点が異なっている。ステップＳ３０１で、レンズ駆動情報取得部１３０は、合焦動作によって撮像光学系１０内に設置されたフォーカシングレンズ１０５を駆動した際の駆動量を制御部１２から取得する。レンズ駆動情報取得部１３０は、取得した駆動量に基づいて、撮像光学系１０の主点から像面までの像面距離を算出する。

ステップＳ３０２で、姿勢検出部１３１は、センサ１９の加速度センサやジャイロセンサ等の出力から、撮影時すなわち合焦時の撮像装置２００の姿勢情報を検出する。姿勢検出部１３１は姿勢情報として、撮像装置２００の基準姿勢からのロール・ピッチ・ヨーの傾き角度、特に上下方向にどの程度の傾き角度で撮影が実施されたかを取得する。

ステップＳ３０３で、補正情報取得部１３２は、記憶部１５から予め取得された距離補正に必要な距離補正情報を取得する。本実施形態における距離補正情報は、フォーカシングレンズ１０５を駆動した際の姿勢変化に対する駆動量の変化量をデフォーカス量に換算した値である。記憶部１５には距離補正情報として、予め取得された姿勢によるデフォーカス量の変化をテーブルとして保存してもよいし、姿勢の角度による関数で近似しその係数を保持してもよい。距離補正情報として関数を利用する場合、一般的に、姿勢が上向きおよび下向きになった場合にデフォーカス量が急激に変化する傾向があるため、ピッチ角度に対する三角関数や三次関数で近似するのが好適である。

ステップＳ３０４で、補正部１３３は、ステップＳ３０１で取得した合焦時の像面距離、深度生成部２４１で生成したデフォーカス量、ステップＳ３０３で取得した撮像装置２００の姿勢に伴うデフォーカス量を用いて、補正後の像側の被写体距離（像面距離＋被写体のデフォーカス量）を算出する。そして、補正部１３３は、幾何光学における下記の式２で示されるレンズの公式を用いることで、算出した像側の被写体距離を物側の被写体距離に変換する。
１／Ａ＋１／Ｂ＝１／Ｆ・・・（式２）
ここで、Ａは被写体から撮像光学系１０の主点までの距離（被写体距離）、Ｂは撮像光学系１０の主点から像側の被写体距離、Ｆは撮像光学系１０の焦点距離を表す。レンズの公式において、Ｂの値がステップＳ３０４で算出した像側の被写体距離である。像側の被写体距離Ｂと撮像時の焦点距離Ｆの設定に基づいて、物側の被写体距離Ａを算出することができる。
深度生成部２４１で生成したデフォーカス量を用いない場合は、ステップＳ３０１で取得した合焦時の像面距離とステップＳ３０３で取得した撮像装置２００の姿勢に伴うデフォーカス量を用いて、補正後の像面距離を算出する。

本実施形態では、撮像面位相差測距方式を利用した深度画像生成においても、撮像装置の姿勢による距離計測誤差を補正可能となり、撮像装置の姿勢変化に依存せずに被写体距離および深度画像生成が可能となる。そして、補正部１３３は、幾何光学における式２で示されるレンズの公式を用いることで、算出した像面距離を物側の被写体距離に変換する。

（第３実施形態）
第１実施形態および第２実施形態では、被写体までの距離を補正する例について説明した。しかしながら、被写体までの距離以外にも撮像装置の姿勢変化に伴うズレが生じる。例えば、撮像装置の姿勢変化に伴い、撮像光学系１０内のレンズ取り付け時に生じる間隙等に起因するレンズ間隔の変化により、撮像光学系１０の焦点距離の微小変化が生じる。焦点距離の微小変化は通常の撮影に支障をきたすものではないが、撮影倍率の算出にも誤差を生じさせる。また、第２実施形態における撮像素子２０のような構成での深度画像生成において、式２における焦点距離をより正確な値にすることにより、被写体距離をより正確に算出することが可能となる。そこで本実施形態では、焦点距離および撮影倍率を補正する処理について説明する。

焦点距離の補正処理について図９（Ａ）のフローチャートを用いて説明する。図９（Ａ）は、焦点距離の補正処理を示すフローチャートである。第１実施形態と同様の処理については同じ符号を付すことでその説明を省略する。なお、本実施形態における撮像装置の構成は第１実施形態と同様でもよいし、第２実施形態と同様でもよい。以下では、第１実施形態の撮像装置１００を例に説明する。

ステップＳ９０１で、補正情報取得部１３２は、焦点距離補正情報を記憶部１５から取得する。焦点距離補正情報は、姿勢変化に伴う焦点距離の変化情報であり、撮像装置１００の基準となる姿勢（例えば、水平）での焦点距離と撮像装置１００の姿勢を変化させた場合の焦点距離の変化を表す値である。焦点距離補正情報は、例えば特定距離に設置したチャートから姿勢による画角の微小変化から算出され、予め記憶部１５に保存されている。

ステップＳ９０２で、補正部１３３は、ステップＳ３０１で取得したレンズ駆動情報から基準となる焦点距離を算出し、ステップＳ９０１で取得した焦点距離補正情報を用いて算出した焦点距離を補正する。補正した焦点距離は、撮影した画像の付属情報として画像に紐づけて記憶部１５に保存される。また、補正した焦点距離を第２実施形態における式２の演算で利用することで、被写体距離の補正をより高精度に行うことができる。

次に、撮影倍率の補正処理について図９（Ｂ）のフローチャートを用いて説明する。図９（Ａ）は、撮影倍率の補正処理を示すフローチャートである。撮影倍率の補正処理では、被写体距離の補正と焦点距離の補正とを実施して、補正した撮影倍率を算出する。第１実施形態（図３）および焦点距離の補正処理（図９（Ａ））と同様の処理については、同じ符号を付すことでその説明を省略する。

ステップＳ９０３で、補正部１３３もしくは測定部１３内の不図示の倍率算出部は、ステップＳ３０４で算出した補正された被写体距離Ａ’と、ステップＳ９０２で算出した補正された焦点距離Ｆ’から撮影倍率Ｍを算出する。撮影倍率Ｍは、Ｍ＝Ａ’／Ｆ’で算出される。算出した撮影倍率に基づいて、画像処理部１４内の不図示の寸法計測部において被写体の寸法計測を実行することが可能となる。寸法計測では、像面上の被写体の大きさを撮像素子１０の画素サイズから算出し、撮影倍率を乗算することによって物体側における被写体寸法を算出することが可能となる。

本実施形態では、撮像装置の姿勢変化に伴う撮像光学系の焦点距離および撮影倍率の補正を行うことが可能となり、姿勢変化に対応したより正確な焦点距離および撮影倍率を算出することが可能となる。さらに、焦点距離および撮影倍率の補正は、撮影画像からの寸法計測を実施する場合に有効であり、撮像装置の姿勢に依存せずに撮影画像からの寸法計測が可能となる。

（第４実施形態）
第１実施形態～第３実施形態では、被写体距離や焦点距離といった１次元情報の補正に関して説明したが、本実施形態では撮像装置１００の姿勢変化に伴う２次元情報の補正に関して述べる。撮像装置１００の姿勢変化により、撮像光学系１０中のレンズに傾きが生じた場合、像面のボケ量分布に応じて撮影した画像に片ボケが生じる場合がある。そこで、補正情報として、撮像装置１００の姿勢変化に応じた像面の各位置におけるボケ量またはデフォーカス量を予め計測し、記憶部１５に保存しておく。撮像装置１００の姿勢変化に応じた補正情報を用いることで、撮影時の撮像装置１００の姿勢を検出することだけで画像中のどの領域にどれだけのボケが生じるかの情報を取得することができる。そして、撮影画像中の領域ごとにボケに対応したシャープネスフィルタを適用することで、撮影画像の片ボケの影響を軽減することが可能となる。また、補正情報として、撮像装置１００の姿勢変化に応じた補正用のフィルタを予め保存するようにしてもよい。

本実施形態によると、撮像装置の姿勢変化に伴って撮影画像に生じる片ボケの影響を補正することができ、撮像装置がどのような姿勢であってもその姿勢による片ボケの影響を軽減した撮影画像を取得することが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１００ 撮像装置
１０ 撮像光学系
１１ 撮像素子
１２ 制御部
１３ 計測部
１３０ レンズ駆動情報取得部
１３１ 姿勢検出部
１３２ 補正情報取得部
１３３ 補正部
１４ 画像処理部
１５ 記憶部
１９ センサ

Claims (9)

1. 合焦時のフォーカシングレンズの駆動量を取得する計測手段と、
   前記合焦時の撮像装置の姿勢を検出する姿勢検出手段と、
   前記撮像装置の姿勢に起因する前記撮像装置の内部の状態変化によるフォーカシングレンズの駆動量の誤差を補正するための補正情報として、検出した前記撮像装置の姿勢に応じたフォーカシングレンズの駆動量の変化量を取得する補正情報取得手段と、
   前記補正情報に基づいて前記合焦時のフォーカシングレンズの駆動量を補正し、補正したフォーカシングレンズの駆動量に基づいて合焦した被写体までの距離である被写体距離を算出する補正手段と、を備えることを特徴とする撮像装置。
2. 合焦時のフォーカシングレンズの駆動量に基づいて撮像光学系の主点から像面までの像面距離を取得する計測手段と、
   前記合焦時の撮像装置の姿勢を検出する姿勢検出手段と、
   前記撮像装置の姿勢に起因する前記撮像装置の内部の状態変化による像面距離の誤差を補正するための補正情報として、検出した前記撮像装置の姿勢に応じたフォーカシングレンズの駆動量の変化量を換算したデフォーカス量の変化量を取得する補正情報取得手段と、
   前記補正情報に基づいて前記合焦時の像面距離を補正し、補正した像面距離に基づいて合焦した被写体までの距離である被写体距離を算出する補正手段と、を備えることを特徴とする撮像装置。
3. 合焦時のフォーカシングレンズの駆動量を取得する計測手段と、
   前記合焦時の撮像装置の姿勢を検出する姿勢検出手段と、
   前記撮像装置の姿勢に起因する前記撮像装置の内部の状態変化による撮像光学系の焦点距離の誤差を補正するための補正情報として、検出した前記撮像装置の姿勢に応じた撮像光学系の焦点距離の変化量を取得する補正情報取得手段と、
   前記合焦時のフォーカシングレンズの駆動量に基づいて合焦時の撮像光学系の焦点距離を算出し、算出した焦点距離を前記補正情報に基づいて補正する補正手段と、を備えることを特徴とする撮像装置。
4. 合焦時のフォーカシングレンズの駆動量を取得する計測手段と、
   前記合焦時の撮像装置の姿勢を検出する姿勢検出手段と、
   前記撮像装置の姿勢に起因する前記撮像装置の内部の状態変化によるフォーカシングレンズの駆動量の誤差を補正するための補正情報として、検出した前記撮像装置の姿勢に応じたフォーカシングレンズの駆動量の変化量を取得する第１の補正情報取得手段と、
   取得した前記フォーカシングレンズの駆動量の変化量に基づいて前記補正情報に基づいて前記合焦時のフォーカシングレンズの駆動量を補正し、補正したフォーカシングレンズの駆動量に基づいて合焦した被写体までの距離である補正被写体距離を算出する第１の補正手段と、
   前記撮像装置の姿勢に起因する前記撮像装置の内部の状態変化による撮像光学系の焦点距離の誤差を補正するための補正情報として、検出した前記撮像装置の姿勢に応じた撮像光学系の焦点距離の変化量を取得する第２の補正情報取得手段と、
   前記合焦時のフォーカシングレンズの駆動量に基づいて合焦時の撮像光学系の焦点距離を算出し、算出した焦点距離を取得した前記焦点距離の変化量に基づいて補正して補正焦点距離を算出する第２の補正手段と、
   前記補正被写体距離および前記補正焦点距離に基づいて撮影倍率を算出する倍率算出手段と、を備えることを特徴とする撮像装置。
5. 前記倍率算出手段が算出した前記撮影倍率と像面における被写体像の寸法から被写体寸法を算出する寸法計測手段を更に備えることを特徴とする請求項４に記載の撮像装置。
6. 前記補正情報は、前記撮像装置の姿勢に応じたテーブルまたは前記撮像装置の姿勢を変数とする関数の係数として記憶手段に保存されることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記姿勢検出手段が検出する前記撮像装置の姿勢は、前記撮像装置の基準姿勢に対するロール方向またはピッチ方向の角度のいずれかであることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 撮像装置の制御方法であって、
   合焦時のフォーカシングレンズの駆動量を取得する工程と、
   前記合焦時の撮像装置の姿勢を検出する工程と、
   前記撮像装置の姿勢に起因する前記撮像装置の内部の状態変化によるフォーカシングレンズの駆動量の誤差を補正するための補正情報として、検出した前記撮像装置の姿勢に応じたフォーカシングレンズの駆動量の変化量を取得する工程と、
   前記補正情報に基づいて前記合焦時のフォーカシングレンズの駆動量を補正し、補正したフォーカシングレンズの駆動量に基づいて合焦した被写体までの距離である被写体距離を算出する工程と、を有することを特徴とする制御方法。
9. 請求項１乃至７のいずれか１項に記載の撮像装置の各手段としてコンピュータを機能させるためのプログラム。

Images