JP2014130131A - 撮像装置、半導体集積回路および撮像方法 - Google Patents

Abstract

【課題】距離測定の範囲が拡大された撮像装置、半導体集積回路および撮像方法を提供する。
【解決手段】本願に開示された撮像装置は、撮像素子１０４と、撮像素子１０４に向けて集光するフォーカスレンズ１０１を含むレンズ光学系１０２と、被写体側で焦点の合う位置が変化するように、撮像素子またはフォーカスレンズの一方を駆動する駆動部１４１と、撮像素子１０４または、レンズ光学系１２０と撮像素子１０４との間の少なくとも一方に設けられたシャッター１１１と、シャッター１１１および駆動部１４１を制御する制御ユニット１４２とを備え、制御ユニット１４２は、被写体距離の異なる所定の第１、第２および第３の合焦位置にそれぞれ焦点が合うように、撮像素子１０４またはフォーカスレンズ１０１を駆動し、撮像素子１０４によって、第１、第２および第３の合焦位置における第１、第２および第３の被写体画像による画像信号を得られるように、シャッター１１１および駆動部１４１を制御する。
【選択図】図５

Description

本願は、被写体の距離を測定することのできる撮像装置、撮像方法および半導体集積回路に関する。

撮影シーンに含まれる複数の被写体までの距離を測定する方法には、能動的手法と受動的手法が知られている。能動的手法は、赤外線や超音波、レーザなどを照射し、反射波が戻ってくるまでの時間をもとに距離を算出するもの、レーザ照射時のパターン光を分析し距離を算出するもの、などがある。このような方法は一般に、高精度に距離を検出することができる。

受動的手法は、撮像された被写体の画像情報に基づいて距離を算出する。近年イメージセンサの解像度向上は著しく、計算量さえ許せば、一般に高い空間分解能で距離を算出することができる。また被写体を高速撮像すれば、高い時間分解能で距離を算出することも可能である。さらに、カメラなどの撮像装置では、能動的手法と比較して、距離測定のための直材を追加する必要もなく、安価に被写体までの距離を測定することができる。

受動的手法の１つとして、フォーカス（合焦位置）の変化によって生じる像のぼけに基づいて距離を測定するＤｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（以下ＤＦＤと呼ぶ）が知られている。この方法によれば、複数のカメラを必要とせず、少数の画像から距離測定を行うことが可能である（非特許文献１、２、特許文献１）。

特表２００９−５０５１０４号公報

A. Pentland, "A new sense for depth of field", IEEE Trans. Pattern Analysis and Machine Intelligence 9 (4) 1987 423-430 M.Subbarao, "Parallel Depth Recovery by Changing Camera Parameters", 2nd International Conference on Computer Vision, (1988)

しかしながら、距離測定における能動的手法は一般的に、高い空間分解能で複数の被写体までの距離を、瞬時に測定することはできない。また使用電力に制約のあるモバイルには向かない。赤外線方式では、太陽光のある屋外での使用が制限されるものもある。受動的手法の場合、これらの課題を解決できるが、本手法共通の別の課題として、撮像された被写体の画像情報を用いることから、距離測定精度はノイズによる影響を受ける。特にＤｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓの場合、ぼけの大きいところでは、撮像された被写体の輝度値よりもノイズ量が相対的に大きくなる（すなわちＳ／Ｎが悪化する）ため、精度よく距離を測定できる範囲に限界がある。本願の、限定的ではない例示的なある実施形態は、高精度に距離測定可能な範囲が拡大された撮像装置、半導体集積回路および撮像方法を提供する。

本発明の一態様である撮像装置は、撮像面を有し、撮像面に入射した光から画像信号を生成する撮像素子と、前記撮像素子に向けて集光するフォーカスレンズを含むレンズ光学系と、被写体側で焦点の合う位置が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、前記撮像素子または、前記レンズ光学系と前記撮像素子との間の少なくとも一方に設けられたシャッターと、前記シャッターおよび前記駆動部を制御する制御ユニットとを備え、前記制御ユニットは、被写体距離の異なる所定の第１、第２および第３の合焦位置にそれぞれ焦点が合うように、前記撮像素子または前記フォーカスレンズを駆動し、前記撮像素子によって、前記第１、第２および第３の合焦位置における第１、第２および第３の被写体画像による画像信号を得られるように、前記シャッターおよび前記駆動部を制御する。

本願に開示された撮像装置および撮像方法によれば、第１の被写体画像および第１の被写体画像において合焦している位置よりも手前側および奥側において合焦している第２および第３の被写体画像を取得し３つの画像を用いて距離測定することから、従来の２つの画像を用いる場合よりも、より広い範囲でＳ／Ｎ改善効果が見込め、高精度な距離測定を行うことができる。また、第１の被写体画像を視聴用に用いることによって、第１の被写体画像において合焦している被写体より手前側および奥側に位置する被写体までの距離を測定することができる。

被写体、フォーカスレンズおよび撮像素子の位置関係を示す図である。 被写体距離ｕと像面側焦点距離ｖの関係の一例を示すグラフである。 従来のＤＦＤ方式によって距離測定を行う方法を説明する模式図である。 実施形態の撮像装置および撮像方法によって画像を取得する方法を説明する模式図である。 実施形態の撮像装置を示すブロック図である。 実施形態の撮像装置および撮像方法におけるフォーカスレンズの駆動位置を示す図である。 実施形態の撮像装置を示すより詳細なブロック図である。 実施形態の撮像装置および撮像方法により撮影を行う手順を示すフローチャートである。 実施形態の撮像装置および撮像方法において、被写体が移動する場合のフォォーカスレンズの駆動位置を示す図である。 実施形態の撮像装置および撮像方法において、被写体が最短撮影距離近傍にある場合のフォォーカスレンズの駆動位置を示す図である。 実施形態の撮像装置および撮像方法において、被写体が無限遠近傍にある場合のフォォーカスレンズの駆動位置を示す図である。 撮像位置を、近位置と遠位置との中間の位置からシフトさせた場合の距離測定の誤差を示す図である。 距離測定の演算方法を示すフローチャートである。 他の実施形態の撮像装置を示すブロック図である。

まず、撮影シーンにおけるフォーカス（合焦）位置とフォーカスレンズおよび撮像素子との位置関係を説明する。図１は、撮影シーンに含まれる被写体と撮像装置３００内におけるフォーカスレンズ１０１および撮像素子１０４との位置関係を示す模式図である。撮像シーン中、撮像装置３００に近い位置に合焦している場合、撮像面上において合焦する被写体から撮像装置３００のフォーカスレンズ１０１までの被写体距離ｕは相対的に短くなり、フォーカスレンズ１０１と撮像素子１０４との距離ｖは相対的に長くなる。また、撮影シーンに含まれる被写体のうち、撮像装置３００から遠い被写体に合焦している場合、撮像面上において合焦する被写体から撮像装置３００のフォーカスレンズ１０１までの被写体距離ｕは相対的に長くなり、フォーカスレンズ１０１と撮像素子との距離ｖは最も短くなる。なお、図１では、図の示し易さのため、被写体と撮像装置３００との距離に比べて、フォーカスレンズ１０１と撮像素子１０４との距離が大きく示されている。

本願明細書では、撮像シーンに含まれる複数の被写体のうち、焦点の合っている被写体または被写体の一部の位置を合焦位置という。また、その時のフォーカスレンズ１０１の位置を駆動位置という。合焦のために撮像素子を駆動する場合には、その時の撮像素子１０４の位置を駆動位置という。

このように、撮像シーン中のどの位置に合焦するかは、フォーカスレンズ１０１と撮像素子１０４の撮像面との距離によって決定する。被写体とフォーカスレンズ１０１との距離をｕとし、フォーカスレンズ１０１と撮像素子１０４との距離をｖとし、フォーカスレンズ１０１の焦点距離をｆとすると、一般的にレンズの公式より、
１／ｆ＝１／ｕ＋１／ｖ （式１）
の関係が成り立つ。撮影に用いるレンズ光学系が複数のフォーカスレンズを含む場合、被写体距離ｕ、ｖはレンズ主点の位置で考慮する。一例として、ｆが１８［ｍｍ］のときのｕとｖとの関係を図２に示す。フォーカスレンズ１０１が変位することにより、レンズ主点と撮像素子間の距離ｖが変化する。図２から分かるように、像面側の距離ｖが長くなると被写体側の被写体距離ｕは短くなる。また、式１から分かるように、被写体距離ｕと距離ｖとは比例関係でも反比例の関係でもない。

図１では、フォーカスレンズ１０１の位置を変化させることによって距離ｖを変化させているが、撮像素子１０４を移動させても距離ｖは変化する。上述の関係を利用し、本願明細書では、フォーカスレンズの位置で、撮影シーンにおけるフォーカス位置を説明する。近位置とは、撮影シーン中において、相対的に撮像装置あるいはフォーカスレンズに近い側に位置する被写体に焦点が位置している(合焦）場合におけるフォーカスレンズの位置をいう。遠位置とは、撮影シーン中において、相対的に撮像装置あるいはフォーカスレンズに遠い側に位置する被写体に焦点が位置している(合焦）場合におけるフォーカスレンズの位置をいう。

次に、従来のＤＦＤ方式による距離測定における課題を説明する。図３は、従来のＤＦＤ方法によって距離を測定する方法を模式的に説明している。横軸は時間を示し、縦軸は、フォーカスレンズの相対的な位置を示している。図３に示すように、従来のＤＦＤ方式によれば、フォーカスレンズを遠位置側に配置させることによって、撮影シーン中において、相対的に撮像装置から離れて位置する被写体に焦点が一致した画像Ａを取得する。また、フォーカスレンズを近位置側に配置させることによって、撮影シーン中において、相対的に撮像装置に近接して位置する被写体に焦点が一致した画像Ｂを取得する。

画像Ａ、Ｂを用いて、非特許文献１、２に開示された演算手法を用いることにより、撮影画像中の任意の画素位置における距離（被写体の深度）が求められた深度（デプス）画像が得られる。

しかし、ＤＦＤ方式は、画像のぼけの度合いから距離を求めるため、画像Ａ、Ｂが適切な状態で被写体がぼけていることが必要である。画像Ａ、Ｂのぼけの差が極端に小さい場合（＝画像Ａ、Ｂの合焦位置が近すぎる場合）、またぼけの差が大きすぎる場合（＝画像Ａ、Ｂの合焦位置が遠く離れすぎている場合）、精度よく、被写体の距離が測定できなかったり、距離を測定できる範囲が狭くなったりする。また、原理上、図３において、画像Ａ、Ｂが遠位置および近位置にある場合、範囲Ｄ_mにおいては精度よく距離が測定できる。一方、それ以外の範囲Ｄ_nやＤ_fでは、範囲Ｄ_mに近いところでは比較的距離測定精度が得られるが、遠いところになるほど、相対的に距離測定精度は低下する。

すなわち例えば、画像Ａにおいて合焦している被写体よりもやや遠くに位置している被写体の距離を正確に測定したり、画像Ｂにおいて合焦している被写体よりもやや近くに位置している被写体の距離を正確に測定したりすることは困難である。このことは、例えば、画像Ａや画像Ｂのいずれかを視聴用画像として利用する場合において、被写体の距離を正しく測定できる前・後の範囲にアンバランスが生じることを意味している。

本願発明者はこのような課題に鑑み、新規な撮像装置、半導体集積回路および撮像方法を想到した。本発明の一態様の概要は以下の通りである。

本発明の一態様である撮像装置は、撮像面を有し、撮像面に入射した光から画像信号を生成する撮像素子と、前記撮像素子に向けて集光するフォーカスレンズを含むレンズ光学系と、被写体側で焦点の合う位置が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、前記撮像素子または、前記レンズ光学系と前記撮像素子との間の少なくとも一方に設けられたシャッターと、前記シャッターおよび前記駆動部を制御する制御ユニットとを備え、前記制御ユニットは、被写体距離の異なる所定の第１、第２および第３の合焦位置にそれぞれ焦点が合うように、前記撮像素子または前記フォーカスレンズを駆動し、前記撮像素子によって、前記第１、第２および第３の合焦位置における第１、第２および第３の被写体画像による画像信号を得られるように、前記シャッターおよび前記駆動部を制御する。

前記制御ユニットは、前記撮像素子の画像フレームごとに前記第１の被写体画像、前記第２の被写体画像または前記第３の被写体画像のいずれかを前記撮像素子が生成するように、前記シャッターおよび前記駆動部を制御してもよい。

前記制御ユニットは、各画像フレームの一部期間において、前記第１の被写体画像、前記第２の被写体画像または前記第３の被写体画像が得られるように前記シャッターの開閉を制御し、前記各画像フレームの他の期間において、合焦位置が、前記第１の合焦位置と前記第２の合焦位置との間、または、前記第１の合焦位置と前記第２の合焦位置との間で移動するように、前記駆動部を制御してもよい。

前記第１の合焦位置は前記第２の合焦位置と前記第３の合焦位置との間に存在し、前記制御ユニットは、前記第１の被写体画像が１画像フレームおきに撮影され、前記第２の被写体画像および前記第３の被写体画像が交互に、かつ、１画像フレームおきに撮影されるように前記シャッターおよび前記駆動部を制御してもよい。

前記第１、第２および第３の合焦位置に前記フォーカスレンズが合焦している場合において、前記駆動される撮像素子または前記フォーカスレンズは、それぞれ、第１、第２および第３の駆動位置にあり、前記制御ユニットは、前記第１の駆動位置と前記第２の駆動位置との距離、および、前記第１の駆動位置と前記第３の駆動位置との距離が互いに等しくなるように、前記第２および第３の駆動位置を決定してもよい。

前記第１および第３の合焦位置に前記フォーカスレンズが合焦している場合において、前記駆動される撮像素子または前記フォーカスレンズは、それぞれ、第１および第３の駆動位置にあり、前記フォーカスレンズが最短撮影距離で合焦している場合において、前記駆動される撮像素子または前記フォーカスレンズは第４の駆動位置にあり、前記制御ユニットは、前記第１の駆動位置と前記第３の駆動位置との距離よりも前記第１の駆動位置と前記第４の駆動位置との距離が短い場合、前記第４の駆動位置に前記駆動される撮像素子または前記フォーカスレンズを移動させて、前記第２の被写体画像による画像信号が前記撮像素子によって得られるように、前記駆動部を制御してもよい。

前記第１および第２の合焦位置に前記フォーカスレンズが合焦している場合において、前記駆動される撮像素子または前記フォーカスレンズは、それぞれ、第１および第２の駆動位置にあり、前記フォーカスレンズが無限遠に合焦している場合において、前記駆動される撮像素子または前記フォーカスレンズは第５の駆動位置にあり、前記制御ユニットは、前記第１の駆動位置と前記第２の駆動位置との距離よりも前記第１の駆動位置と前記第５の駆動位置との距離が短い場合、前記第５の駆動位置に前記駆動される撮像素子または前記フォーカスレンズを移動させて、前記第３の被写体画像による画像信号が前記撮像素子によって得られるように、前記駆動部を制御してもよい。

前記第１、第２および第３の合焦位置に前記フォーカスレンズが合焦している場合において、前記駆動される撮像素子または前記フォーカスレンズは、それぞれ、第１、第２および第３の駆動位置にあり、前記制御ユニットは、ユーザーからの指令に基づき、前記第１の駆動位置と前記第２の駆動位置との距離および前記第１の駆動位置と前記第３の駆動位置との距離が１：１から８：２の間の比率または１：１から２：８の比率となるように、前記第２および第３の駆動位置を決定してもよい。

前記１画像フレームおきに撮影された第１の被写体画像によって構成される動画像との信号と、前記第１、第２および第３の被写体画像に基づいて、前記１画像フレームおきに撮影された第１の被写体画像における距離情報に関する信号とを生成する信号処理部をさらに備えていてもよい。

前記制御ユニットは、ユーザーからの指令またはオートフォーカス機能に基づく前記第１の合焦位置の変化に応じて前記第２および第３の合焦位置を設定してもよい。

本発明の一態様である半導体集積回路は、撮像面を有し、撮像面に入射した光から画像信号を生成する撮像素子と、前記撮像素子に向けて集光するフォーカスレンズを含むレンズ光学系と、被写体側で焦点の合う位置が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、前記撮像素子または、前記レンズ光学系と前記撮像素子との間の少なくとも一方に設けられたシャッターとを備えた撮像装置の半導体集積回路であって、被写体距離の異なる所定の第１、第２および第３の合焦位置にそれぞれ焦点が合うように、前記撮像素子または前記フォーカスレンズを駆動し、前記撮像素子によって、前記第１、第２および第３の合焦位置における第１、第２および第３の被写体画像による画像信号を得られるように、前記シャッターおよび前記駆動部を制御する。

各画像フレームの一部期間において、前記第１の被写体画像、前記第２の被写体画像または前記第３の被写体画像が得られるように前記シャッターの開閉を制御し、前記各画像フレームの他の期間において、合焦位置が、前記第１の合焦位置と前記第２の合焦位置との間、または、前記第１の合焦位置と前記第２の合焦位置との間で移動するように、前記駆動部を制御してもよい。

前記第１の合焦位置は前記第２の合焦位置と前記第３の合焦位置との間に存在し、前記第１の被写体画像が１画像フレームおきに撮影され、前記第２の被写体画像および前記第３の被写体画像が交互に、かつ、１画像フレームおきに撮影されるように前記シャッターおよび前記駆動部を制御してもよい。

前記第１、第２および第３の合焦位置に前記フォーカスレンズが合焦している場合において、前記駆動される撮像素子または前記フォーカスレンズは、それぞれ、第１、第２および第３の駆動位置にあり、前記第１の駆動位置と前記第２の駆動位置との距離、および、前記第１の駆動位置と前記第３の駆動位置との距離が互いに等しくなるように、前記第２および第３の駆動位置を決定してもよい。

本発明の一態様である撮像方法は、入射した光から画像信号を生成する撮像素子の撮像面に、フォーカスレンズを含むレンズ光学系を介して、撮像素子または、前記レンズ光学系と前記撮像素子との間の少なくとも一方に設けられたシャッターによるタイミングで露光することにより、撮像シーンを結像させる撮像方法であって、被写体距離の異なる所定の第１、第２および第３の合焦位置にそれぞれ焦点が合うように、前記撮像素子または前記フォーカスレンズを駆動し、前記撮像素子によって、前記第１、第２および第３の合焦位置における第１、第２および第３の被写体画像による画像信号を得られるように、前記撮像素子または前記フォーカスレンズの一方を駆動する。

前記撮像素子の画像フレームごとに前記第１の被写体画像、前記第２の被写体画像または前記第３の被写体画像のいずれかを前記撮像素子が生成するように、前記シャッターを制御し、前記撮像素子または前記フォーカスレンズの一方を駆動してもよい。

各画像フレームの一部期間において、前記第１の被写体画像、前記第２の被写体画像または前記第３の被写体画像が得られるように前記シャッターの開閉を制御し、前記各画像フレームの他の期間において、合焦位置が、前記第１の合焦位置と前記第２の合焦位置との間、または、前記第１の合焦位置と前記第２の合焦位置との間で移動するように、前記フォーカスレンズの一方を駆動してもよい。

前記第１の合焦位置は前記第２の合焦位置と前記第３の合焦位置との間に存在し、前記第１の被写体画像が１画像フレームおきに撮影され、前記第２の被写体画像および前記第３の被写体画像が交互に、かつ、１画像フレームおきに撮影されるように前記シャッターを制御し、前記フォーカスレンズの一方を駆動してもよい。

前記第１、第２および第３の合焦位置に前記フォーカスレンズが合焦している場合において、前記駆動される撮像素子または前記フォーカスレンズは、それぞれ、第１、第２および第３の駆動位置にあり、前記第１の駆動位置と前記第２の駆動位置との距離、および、前記第１の駆動位置と前記第３の駆動位置との距離が互いに等しくなるように、前記第２および第３の駆動位置を決定してもよい。

以下、図面を参照しながら、本発明による撮像装置、半導体集積回路および撮像方法の実施形態を説明する。

図４は、本発明による撮像方法の実施形態を説明する模式図である。本実施形態の撮像方法は、まず、撮影シーン中における合焦位置の異なる３つの画像を取得する。具体的には、撮影シーン中において、ユーザーの意図した位置にある被写体に合焦した視聴用画像（第１の被写体画像）と、視聴用画像における合焦位置よりも撮像装置に近接した位置に合焦した近位置画像（第２の被写体画像）と、視聴用画像における合焦位置よりも撮像装置から離れた位置に合焦した遠位置画像（第３の被写体画像）とを自動的に取得する。これら３つの画像を用いて、ＤＦＤ方式に従う演算によって、視聴用画像中の任意の画素位置における距離（被写体の深度）が求められた深度画像を得る。また、視聴用画像を静止画あるいは動画として利用する。

この方法によれば、視聴用画像、並びに、視聴用画像における合焦位置よりも近位置側および遠位置側に合焦した画像をＤＦＤ方式による距離の計算に用いるため、距離測定の範囲を従来よりも広くすることができる。また、視聴用画像における合焦位置よりも近位置側および遠位置側に位置する被写体の距離も測定することができる。

図５は、本実施形態の撮像装置の構成例を示すブロック図である。本実施形態の撮像装置は、撮像素子１０４と、レンズ光学系１２０と、駆動部１４１と、シャッター１１１と、制御ユニット１４２と信号処理部１０９と記録部１１０とを備えている。

撮像素子１０４は、撮像面を有し、撮像面に入射した光から画像信号を生成する。レンズ光学系１２０はフォーカスレンズ１０１を含み、被写体を含む撮影シーンからの光を撮像素子１０４の撮像面に向けて集光する。駆動部１４１は、撮像素子１０４の撮像面とフォーカスレンズ１０１との距離が変化するように、撮像素子１０４またはフォーカスレンズ１０１の一方を駆動する。図５では、フォーカスレンズ１０１を駆動するように示しているが、駆動部１４１は、撮像素子１０４を駆動してもよい。

シャッター１１１は、レンズ光学系１２０と撮像素子１０４との間または、撮像素子の少なくとも一方に設けられる。図５では、シャッター１１１はレンズ光学系１２０と撮像素子１０４との間の光路に設けられ、撮像素子１０４の撮像面を照射する光のタイミング、つまり、露光を制御する。シャッター１１１に加えて、あるいは、シャッター１１１に代えて、撮像素子１０４に電子シャッターを設けてもよい。電子シャッターは撮像素子で光を検出することにより生成した電気信号や電荷の蓄積の制御を行う。

制御ユニット１４２は、駆動部１４１およびシャッター１１１を制御する。図４を参照して説明したように、本実施形態では、視聴用像、遠位置像および近位置像を自動的に撮影する。このために、駆動部１４１がフォーカスレンズを駆動し、上述したように、撮影シーン中において、ユーザーの意図した位置、これより撮像装置に近接した位置および撮像装置から離れた位置において合焦するように、制御ユニット１４２の制御に基づき駆動部１４１がフォーカスレンズ１０１を駆動する。また、合焦位置において、適切な露光条件で撮影が行えるように、制御ユニットは、シャッター１１１を制御する。図４に示すように露光中、フォーカスレンズの位置は変化させず、一定になるように制御する。これにより、撮影シーン中においてユーザーの意図した位置、これより撮像装置に近接した位置および撮像装置から離れた位置にのみそれぞれ合焦した視聴像、遠位置像および近位置像が撮像素子１０４の撮像面に形成される。撮像素子１０４は、形成された像を異なるタイミングでそれぞれ検出し、画像信号を生成する。１つのレンズ光学系１２０を用いて撮影を行うため、これら３つの画像信号は同時には生成せず、逐次生成される。

信号処理部１０９は撮像素子１０４から得られる視聴用画像、遠位置画像および近位置画像の信号からＤＦＤ方式に従う演算によって、深度画像を得る。深度画像および視聴用画像は、記録部１１０に記録される。

図５に示す撮像装置は、信号処理部１０９および記録部１１０を備えているが、撮像装置は信号処理部１０９および記録部１１０を備えず、外部の信号処理装置が上述の演算お行い、生成した画像信号を記憶してもよい。

本実施形態の撮像装置は上述した構成を備えることによって、距離測定の範囲を従来よりも広くすることができ、視聴用画像における合焦位置よりも近位置側および遠位置側に位置する被写体の距離も測定することができる。また、このような構成をとることによって、動画を好適に撮影することができる。以下、動画を撮影する場合の撮像方法および撮影装置の動作の一例を説明する。

図６は、本実施形態の撮像方法および撮影装置の動作における、フォーカスレンズを駆動するタイミングおよび画像を撮影するタイミングを模式的に示している。図６において、横軸は撮影フレームで表した時間を示し、縦軸はフォーカスレンズの相対的な位置（駆動位置）を示している。横軸のフレームは撮像装置で実現し得るフレームレートであればよく、例えば、１フレームは１／３０秒であるが、高速度で撮影が可能な撮影装置であれば、１／３０秒より短いフレームで動作してもよい。

図６の縦軸において、撮像位置（第１の駆動位置）は、撮影シーン中においてユーザーが意図した被写体の位置に合焦するフォーカスレンズの位置であり、近位置（第２の駆動位置）および遠位置（第３の駆動位置）は、撮影シーン中において撮像位置よりも撮像装置に近い位置、および、遠い位置に合焦するフォーカスレンズの位置を示している。

以下において詳細に説明するように、撮像位置と遠位置との距離ｒ_f、および、撮像位置と近位置との距離ｒ_nは、互いに等しい場合、精度よく距離を測定することができる。
撮像位置と遠位置との距離ｒ_f、および、撮像位置と近位置との距離ｒ_nは、フォーカスレンズ１０１の焦点距離、レンズ光学系１２０の絞り、撮像素子１０４の画素ピッチサイズ等に基づいて決定される。

図６に示すように、動画の撮影が開始されるとまず、例えば、第１フレームにおいて、フォーカスレンズ１０１を初期値から、撮りたい被写体の合焦位置である撮像位置へ移動させる。これは通常のオートフォーカス駆動に準じる動きである。駆動部１４１の駆動能力により、１フレーム内で初期位置から撮像位置へフォーカスレンズ１０１移動させることができない場合には、第２フレームの一部期間を使ってフォーカスレンズ１０１を移させてもよい。

フォーカスレンズ１０１が撮像位置へ移動後に、シャッター１１１を制御して、撮影を開始する。ここでいうシャッターとは、電子シャッター・メカシャッターを問わない。１画像フレーム目を撮影中は、フォーカスレンズ１０１は原則移動せず、撮像位置において停止している。ただし、オートフォーカス動作等の都合によって、人間の目で像のぼけが識別できない程度にフォーカスレンズが撮像素子に対し変位するウォブリング動作を行ってもよい。

撮像位置における撮影は、１フレーム期間中の一部期間において行われ、これにより視聴用画像の信号が生成する。

撮像位置における撮影の終了後、フォーカスレンズ１０１を近位置へ移動させる。これは、第３フレームの一部期間で行われる。その後、第３フレームの残り期間において、シャッター１１１を制御して、撮影を開始する。撮影中、フォーカスレンズ１０１は移動せず、近位置において停止している。これにより近位置画像の信号が生成する。

近位置における撮影の終了後、第４フレームの一部期間において、フォーカスレンズ１０１を撮像位置へ移動させ、第４フレーム残りの期間において、シャッター１１１を制御して、撮影を開始する。これにより視聴用画像の信号が生成する。

撮像位置における撮影の終了後、第５フレームの一部期間において、フォーカスレンズ１０１を遠位置の位置へ移動させ、第５フレーム残りの期間において、シャッター１１１を制御して、撮影を行い、遠位置画像の信号を生成する。

その後、これらの動作を繰り返すことにより、連続して視聴用画像の信号を生成することができ、動画を撮影することができる。

図６に示すように、各フレームの一部の期間ｔ１において、フォーカスレンズ１０１を駆動させ、残りの期間ｔ２において、被写体を撮影する。これにより、撮影フレームごとに視聴用画像、遠位置画像および近位置画像のいずれかの信号が撮像素子によって生成する。

また、図６において、丸印で囲ったフレームは視聴用画像が生成することを示している。このように、１フレームおきに視聴用画像が生成し、遠位置画像および近位置画像は、交互にかつ、１フレームおきに生成する。このため本実施形態によれば、撮像素子のフレームレートの１／２で視聴用画像を生成することが可能となる。

上述したように視聴用画像、遠位置画像および近位置画像を生成する場合、視聴用画像を生成したフレームの直前のフレームでは、遠位置画像および近位置画像の一方が生成され、直後のフレームでは遠位置画像および近位置画像の他方が生成される。このため、各視聴用画像とその前後のフレームで生成する遠位置画像および近位置画像を用いることによって、距離測定を行うことができ、各視聴用画像に対して距離測定を行うことができる。

したがって、本実施形態によれば、撮像素子のフレームレートの１／２のレートで生成された視聴用画像を含む動画を得ることができる。また、各視聴用画像において、合焦している被写体よりも手前や奥に位置する被写体の距離を測定することもできる。

以下、本発明による撮像装置、半導体集積回路および撮像方法のより具体的な実施形態を説明する。

図７は、本実施形態の撮像装置のより具体的な構成を示すブロック図である。撮像装置１００は、フォーカスレンズ駆動部１０３と、撮像素子１０４と、フォーカスレンズ変位制御部１０６と、露光・フォーカスレンズ変位同期部１０７と、レンズ光学系１２０とを備える。

撮像素子１０４は、ＣＣＤイメージセンサであってもよいし、ＣＭＯＳイメージセンサであってもよい。撮像素子１０４は、二次元に配列され、撮像面を構成している複数の光電変換素子を有する。複数の光電変換素子に光を入射させ露光した後、複数の光電変換素子から電気信号を読み出すことにより、画像信号を生成する。

レンズ光学系１２０は、撮像素子１０４に向けて集光し、撮像シーンを撮像素子１０４の撮像面に結像させるフォーカスレンズ１０１を含む。撮像シーン中の所望の被写体に対して合焦させるため、レンズ光学系１２０はフォーカスレンズ１０１以外の１枚以上のレンズを含んでいてもよい。フォーカスレンズ１０１も複数枚のレンズで構成されていてもよい。フォーカスレンズ１０１が複数のレンズによって構成される場合、フォーカスレンズの位置とは、複数のレンズによる主点の位置をいう。

本実施形態では、フォーカスレンズ駆動部１０３は、撮像素子１０４とフォーカスレンズ１０１との距離が変化するように、撮像素子１０４またはフォーカスレンズ１０１の一方を駆動する駆動部として機能する。つまり、フォーカスレンズ駆動部１０３は、駆動信号に基づき、撮像素子１０４とフォーカスレンズ１０１との距離が変化するように、フォーカスレンズ１０１を駆動する。

フォーカスレンズ変位制御部１０６は、以下において説明するように、フォーカスレンズ駆動部１０３に指令を出力することにより、所定のタイミングでフォーカスレンズ１０１が移動するように構成されている。

露光・フォーカスレンズ変位同期部１０７は、撮像素子１０４の露光のタイミングに基づき、フォーカスレンズ変位制御部１０６を制御するように構成されている。

撮像装置１００は、さらに、フォーカスレンズ位置検出部１０２と、フォーカスレンズ変位設定部１０５と、読み出し回路１０８と、信号処理部１０９と、記録部１１０と、シャッター１１１と、シャッター開閉指令部１１２と、レリーズ受付部１１３と、露光時間決定部１１４とを含む。

フォーカスレンズ位置検出部１０２は、位置センサを含み、フォーカスレンズ１０１の位置を検出し、検出信号をフォーカスレンズ変位制御部１０６およびフォーカスレンズ変位設定部１０５へ出力する。フォーカスレンズ変位設定部１０５は、フォーカスレンズ位置検出部１０２の検出信号に基づき、撮像位置を決定し、撮像位置、焦点距離、絞り、撮像素子１０４の画素ピッチなどに基づき、フォーカスレンズの移動位置である近位置および遠位置を決定する。撮像位置、近位置および遠位置を目標フォーカスレンズの位置とする。これにより、フォーカスレンズ変位制御部１０６は、目標フォーカスレンズの位置とフォーカスレンズ位置検出部１０２によって検出されたフォーカスレンズ１０１の現在位置との差から駆動信号を計算してフォーカスレンズ駆動部１０３に出力する。

レリーズ受付部１１３において、ユーザーからの露光開始指令を受け付けると、露光時間決定部１１４が撮像素子１０４の露光時間を決定する。また、露光・フォーカスレンズ変位同期部１０７およびフォーカスレンズ変位設定部１０５に露光時間に関する情報を出力する。

露光・フォーカスレンズ変位同期部１０７は、露光時間に関する情報に基づき、同期したタイミングで露光、フォーカスレンズ１０１の駆動および撮像素子１０４からの電気信号の読み出しを行うように、シャッター開閉指令部１１２、フォーカスレンズ変位制御部１０６および読み出し回路１０８に指令を出力する。具体的には、シャッター開閉指令部１１２に露光のタイミングおよび露光時間を指令する。また、フォーカスレンズ変位制御部１０６にフォーカスレンズ１０１を駆動するタイミングおよび駆動時間を指令する。

シャッター１１１は、シャッター開閉指令部１１２からの指令に応じて開閉動作を行う。シャッター１１１が開状態のとき、撮像素子１０４はフォーカスレンズ１０１によって集光された光によって露光され、露光された光は電気信号に変換されて出力される。

読み出し回路１０８は撮像素子１０４に読み出し信号を出力することによって電気信号を読み出し、読み出した電気信号を信号処理部１０９へ出力する。

信号処理部１０９は入力された電気信号に対して各種補正等を行い、１フレームごとに視聴用画像、遠位置画像または近位置画像の画像信号を生成する。また、以下において、説明するように、視聴用画像、遠位置画像および近位置画像撮から深度画像を生成する。

これにより、撮像装置１００は、視聴用画像によって構成される動画を生成し、各視聴用画像に対応した深度画像を生成することができる。

撮像装置１００の上述の構成要素のうち、フォーカスレンズ位置検出部１０２、フォーカスレンズ駆動部１０３、撮像素子１０４、信号処理部１０９、レリーズ受付部１１３、記録部１１０は、公知のハードウエアによって構成されていてもよい。また、フォーカスレンズ変位設定部１０５、フォーカスレンズ変位制御部１０６、露光・フォーカスレンズ変位同期部１０７、読み出し回路１０８、信号処理部１０９、記録部１１０、シャッター開閉指令部１１２、および露光時間決定部１１４の各構成要素の一部または全部は、ＣＰＵなどの情報処理回路およびメモリ等の記憶部に記憶されたソフトウエアによって構成されていてもよい。この場合、情報処理回路は、以下において説明する撮像方法の手順を規定するソフトウエアをメモリから読み出し、撮像方法の手順を実行することによって、撮像装置１００の各構成要素を制御する。これら情報処理回路およびメモリに記憶されたソフトウエアによって実現される構成要素の一部は、専用の集積回路によって構成されていてもよい。例えば、フォーカスレンズ変位設定部１０５、フォーカスレンズ変位制御部１０６、露光・フォーカスレンズ変位同期部１０７、シャッター開閉指令部１１２および露光時間決定部１１４は半導体集積回路を構成してもよい。

次に、図７および図８を参照しながら、本実施形態の撮像方法、特に、フォーカスレンズ１０１の駆動と撮像素子による撮影のタイミングを説明する。

図８は本実施の形態の撮像方法を示すフローチャートである。まず、ユーザーによるレリーズ動作を受け付けると（Ｓ１０１）、露光時間決定部１１４にて絞り値や撮影シーンの明るさから露光時間（あるいは露光時間に関する情報）を決定する（Ｓ１０２）。露光時間は、フォーカスレンズ変位設定部１０５および露光・フォーカスレンズ変位同期部１０７に出力される。

次に、フォーカスレンズ変位設定部１０５は、フォーカスレンズ位置検出部１０２の検出信号から撮像位置を決定（Ｓ１０３）し、撮像位置、フォーカスレンズの焦点距離、絞り、撮像素子１０４の画素ピッチなどに基づき、近位置および遠位置を決定する（Ｓ１０４）。あるいは、撮像位置に対して、予め定められた距離を加減することによって近位置および遠位置を求めてもよい。撮像位置は、レリーズを受け付けた位置におけるフォーカスレンズの位置であってもよいし、ユーザーがフォーカスレンズ１０１を移動させ、ユーザーが意図した被写体に焦点を合わせたときの撮像位置であってもよい。また、撮影画面におけるユーザーが意図した位置において、オートフォーカス機能によって合焦した場合におけるフォーカスレンズ１０１の位置であってもよい。

近位置および遠位置の決定後、露光・フォーカスレンズ変位同期部１０７は、撮像素子１０４の画像フレームのタイミングに基づいて、フォーカスレンズ変位設定部１０５および読み出し回路１０８が動作するように、シャッター開閉指令部１１２、フォーカスレンズ変位設定部１０５および読み出し回路１０８に指令を出力する。これにより、フォーカスレンズ１０１が撮像位置から遠位置（または近位置）、撮像位置、近位置（または遠位置）の順で移動し、移動した位置において、停止した後、シャッター開閉指令部１１２がシャッター１１１を開放し、撮像素子１０４の露光が開始され、撮影つまり、視聴用画像、遠位置画像および近位置画像が取得される（Ｓ１０５）。撮影によって生成した画像信号は、撮像素子１０４から、読み出し回路１０８に出力される。

撮影が完了したら、シャッター１１１を閉じ、撮影を完了する。動画撮影の場合は、ユーザーからの録画停止処理指令が入力されるまで、Ｓ１０２〜Ｓ１０５を繰り返す。これにより、動画撮影を行うことができる。

なお、本実施形態の撮像装置によって動画を撮影する場合、動画撮影中に被写体が移動するのに伴って、ユーザーのフォーカス操作あるいはオートフォーカス機能により撮像位置が移動してもよい。この場合、撮像位置が移動すれば、逐次、近位置および遠位置が再計算され（Ｓ１０４）、撮像位置での撮影に加え、遠位置および近位置での撮影を行う。図９は、動画撮影中に、撮像位置が変化する場合のフォーカスレンズの駆動タイミングの一例を示している。図９において、画像フレーム１の時刻より以前、撮像位置１にあった被写体が、画像フレーム３には撮像位置２へ移動しているものとする。撮像位置２は撮像位置１よりもΔｒ_mだけ近接側に位置する前提である。画像フレーム３の時点で、被写体が近接側へΔｒ_mだけ動いたことは、画像フレーム２、３、４で計算した距離結果から判明する。したがって、次の画像フレーム４、５、６では、撮像位置２を中心に、遠位置および近位置での撮影を行う。具体的には、画像フレーム４から５にかけては、ｒ_n−Δｒ_mだけ遠位置側へ移動させことによって、フォーカスレンズの移動量はｒ_n’となり、近位置での撮影後に撮像位置２へ移動する場合のフォーカスレンズの移動量は小さくなる。

次に、撮像位置が最短撮影距離の近傍に位置している場合、および、無限遠近傍に位置している場合における近位置および遠位置の設定について説明する。

図１０は、撮像位置が、最短撮影距離近傍に位置している場合における遠位置および近位置の設定位置を示している。図１０に示すように、撮像位置が最短撮影距離に近接している場合、撮像位置に対して、等しい距離ｒ_fおよびｒ_nだけ離れた遠位置および近位置を設定しようとしても、近位置を設定できない場合がある。つまり、撮像位置と設定する遠位置との距離ｒ_fよりも撮像位置と最短撮影距離との距離ｒ_n’が小さい場合、撮像位置よりも撮像装置側にｒ_n離れた近位置を設定することはできない。この場合、フォーカスレンズ変位設定部１０５は、最短撮影距離（第４の駆動位置）に近位置を設定し、最短撮影距離において、近位置画像を撮影する。

これにより、撮像位置と遠位置との距離および撮像位置と近位置との距離は等しくなくなり、距離測定の精度が前後アンバランスになる場合がある。しかし、撮像位置よりも撮像装置から離れた側における距離測定範囲を狭めることがないため、通常の場合と同様、合焦している被写体よりも奥に位置している他の被写体までの距離を測定することが可能である。むしろ、撮像位置で撮像した画像と近位置撮像画像が近接することで、通常の場合よりもノイズへの耐性が向上し、距離の測定精度も向上する。

図１１は、撮像位置が、無限遠撮影位置近傍に位置している場合における遠位置および近位置の設定位置を示している。図１１に示すように、撮像位置が無限遠撮影位置に近接している場合も、撮像位置に対して、等しい距離ｒ_fおよびｒ_nだけ離れた遠位置および近位置を設定しようとしても、遠位置を設定できない場合がある。つまり、撮像位置と設定する近位置との距離ｒ_nよりも撮像位置と最短撮影距離との距離ｒ_f’が小さい場合、撮像位置よりも撮像装置側にｒ_f離れた遠位置を設定することはできない。この場合、フォーカスレンズ変位設定部１０５は、無限遠撮影位置（第５の駆動位置）に遠位置を設定し、無限遠撮影位置において、遠位置画像を撮影する。この場合も、撮影位置よりも撮像装置に近接する側における距離測定範囲を狭めることがないため、通常の場合と同様、合焦している被写体よりも手前に位置している他の被写体までの距離を測定することが可能である。

また、上述したように、撮像位置と近位置との距離ｒ_nと撮像位置と遠位置との距離ｒ_fが等しい場合に、最も広い範囲で、前後のバランスよく距離の測定を行うことができる。しかし前述のように、広い範囲での距離測定が必要でない場合、もしくは距離測定したい範囲が偏って存在する場合には、遠位置と近位置の中央からずれた位置に撮像位置を設定してもよい。図１２は、近位置側から遠位置側へ撮像位置がシフトした場合における、距離測定誤差の大きさをシミュレーションによって求めた結果を示している。横軸は、近位置と遠位置との中央の位置を５０％とした場合の撮像位置を示しており、撮像位置がどちらかにずれると、値が大きくなる。ここでは対称性から、５０％より大きい範囲を示している。左側の縦軸は、エッジを多く含むような、距離測定に強いテクスチャがある被写体を撮像した画像の場合の距離測定誤差（図中では深度誤差）の割合を示し、右側の縦軸はエッジの少ない、距離測定に弱いテクスチャがある被写体を撮像した画像を用いた場合の距離測定誤差（図中では深度誤差）の割合を示している。

いずれのテクスチャの場合でも撮像位置が５０％から大きくなるに従って、誤差も大きくなる。図１２より、距離測定の精度を確保したい場合、撮像位置は５０〜７０％に設定することによって、距離測定誤差を、撮像位置が５０％である場合の１０％以内にすることができることが分かる。また、撮像位置を５０〜８０％にすれば、距離測定精度を大きく低下させることなく撮像位置よりも手前側および奥側において距離を測定できる範囲の割合をできるだけ自由に設定することができる。図１２は、撮像位置を近位置と遠位置との中間から遠位置側に設定した場合の誤差を求めた結果を示しているが、撮像位置を近位置と遠位置との中間から近位置側に設定した場合も同じ結果が得られる。

したがって、より自由に撮像位置よりも手前側および奥側において距離を測定できる範囲を設定したい場合には、撮像位置と遠位置との距離および撮像位置と近位置との距離の比を２：８から１：１：または１：１から８：２の範囲に設定することができる。また、距離測定の精度を十分に確保したい場合には、撮像位置と遠位置との距離および撮像位置と近位置との距離の比を３：７から１：１：または１：１から７：３の範囲に設定することができる。

次に図１３を参照しながら、視聴用画像、遠位置画像および近位置画像から、各画素における距離の測定を行い、深度画像を得る方法を説明する。図１３は、距離測定の手順を示すフローチャートである。まず、事前に、各撮影画像の距離ごとの点広がり関数（ＰＳＦ）を予め測定する（Ｓ２０１）。視聴用画像、遠位置画像および近位置画像のそれぞれにフォーカスを合わせ、測定したい距離別ごとにおいた点光源をフォーカスを移動させながら撮影し、撮影した画像のぼけ量からＰＳＦを測定する。例えば、３２階調で画像を解析する場合（Ｎ＝３２）、被写体距離がｄ１〜ｄＮとなる位置に点光源を配置し、ｄ１〜ｄＮを撮像位置とした場合におけるＰＳＦおよび、遠位置および近位置におけるＰＳＦを１組とする３２組のＰＳＦを求める。これにより、以下に示す各画像のＰＳＦが求められる。ＰＳＦは、撮像装置のレンズ光学系に依存する。このため、撮像装置を使用する前に一度求めておけばよく、撮像装置の製造時等に行われる。

以下のステップは、視聴用画像を取得するたびに行われる。まず、疑似全焦点画像ＡＩＦを生成する（Ｓ２０２）。これは、以下に示す数式によって求められる。ここで、Ｉ_Near，Ｉ_Middle、Ｉ_Farは、画像フレームごとに生成する近位置画像、視聴用画像、遠位置画像である。Ｃはプライアと呼ばれる調整項である。

なお式２は、周波数空間表現で記載している。具体的には、画像、ＰＳＦともに周波数領域へ変換して式２に準じて計算後、空間領域へ再度変換することで、疑似全焦点画像ＡＩＦを算出できる。

次に、疑似全焦点画像ＡＩＦに、距離ごとのpsf^d1〜ｐｓｆ^dNをそれぞれ畳みこみ、疑似ぼけ画像を生成する（Ｓ２０３）。これにより、全被写体が特定の距離（ｄ１〜ｄＮ）にあるとして生成した疑似遠位置画像、疑似近位置画像および疑似視聴用画像が得られる。

その後、式３に示すように、これらの画像と実際に撮影した画像の誤差から各画素の深度（距離）を求める。式３において、（ｘ,ｙ）は、画像上の画素の位置を示す。実際に撮影された遠位置画像、近位置画像および視聴用画像とこれらの疑似画像との画素ごとの二乗誤差の合計が最小となるｄが各画素の深度となる。これにより、画素ごとに距離を求めることができ、深度画像を得ることができる。

このように、本実施形態によれば、３つの画像を取得して、距離を測定することにより、より広い範囲で精度の高い距離の測定を行うことができる撮像装置が実現可能である。また、本実施形態によれば、通常の動画を撮影する場合に比べて、１／２のレートで動画を撮影することができ、動画を構成する各フレーム画像において、焦点が一致している被写体の手前側および奥側に位置する他の被写体の距離を測定することができる。

なお、本発明は上記実施形態に限られず、種々の改変が可能である。また、上記実施形態では、フォーカスレンズを駆動することによって、フォーカスレンズと撮像素子の撮像面との距離を変化させ、撮影シーンにおける焦点の位置を変更していた。しかし、撮像素子を駆動することによって、フォーカスレンズと撮像素子の撮像面との距離を変化させ、撮影シーンにおける焦点の位置を変更してもよい。

図１４は、本実施形態の撮像装置２００を示すブロック構成図である。図７に示す撮像装置１００と同一の構成要素には同じ参照符号を付している。撮像装置２００は、撮像素子１０４の位置を移動させることにより、レンズ光学系１２０のフォーカスレンズ１０１との距離を変化させる点で撮像装置１００と異なる。このために、撮像装置２００は、撮像素子位置検出部２０２、撮像素子駆動部２０３、撮像素子変位設定部２０５、撮像素子変位制御部２０６および露光・撮像素子変位同期部２０７を備える。

撮像素子位置検出部２０２は、位置センサを含み、撮像素子１０４の位置を検出し、検出信号を撮像素子変位制御部２０６へ出力する。撮像素子変位設定部２０５は撮像素子１０４の変位パターンを設定し、目標撮像素子の位置とする。これにより、撮像素子変位制御部２０６は、目標撮像素子位置と撮像素子位置検出部２０２によって検出された撮像素子１０４の現在位置との差から駆動信号を計算して撮像素子駆動部２０３に出力する。

レリーズ受付部１１３において、ユーザーからの露光開始指令を受け付けると、露光時間決定部１１４が撮像素子１０４の露光時間を決定する。また、露光・撮像素子変位同期部２０７に露光時間に関する情報を出力する。

露光・撮像素子変位同期部２０７は、露光時間に関する情報に基づき、同期したタイミングで露光、撮像素子１０４の駆動および撮像素子１０４からの電気信号の読み出しを行うように、シャッター開閉指令部１１２、撮像素子変位制御部２０６および読み出し回路１０８に指令を出力する。具体的には、シャッター開閉指令部１１２に露光のタイミングおよび露光時間を指令する。また、撮像素子変位制御部２０６に撮像素子１０４を駆動するタイミングおよび駆動時間を指令する。これにより、撮像装置２００は、撮像素子１０４を駆動して撮像素子の撮像面とフォーカスレンズとの間の距離を変化させ、視聴用画像、遠位置画像および近位置画像を撮影することができる。

本願に開示された撮像装置、集積回路および撮像方法は、例えば民生用もしくは業務用のデジタルスチルカメラやデジタルムービーカメラなどの撮像装置に好適に用いられる。

１００、２００、３００ 撮像装置
１０１ フォーカスレンズ
１０２ フォーカスレンズ位置検出部
１０３ フォーカスレンズ駆動部
１０４ 撮像素子
１０５ フォーカスレンズ変位設定部
１０６ フォーカスレンズ変位制御部
１０７ 露光・フォーカスレンズ変位同期部
１０８ 読み出し回路
１０９ 信号理部
１１０ 記録部
１１１ シャッター
１１２ シャッター開閉指示部
１１３ レリーズ受付部
１１４ 露光時間決定部
１１５ フォーカスレンズ位置検出部
１２０ レンズ
２０２ 撮像素子位置検出部
２０３ 撮像素子駆動部
２０５ 撮像素子変位設定部
２０６ 撮像素子変位制御部
２０７ 露光・撮像素子変位同期部

Claims (20)

1. 撮像面を有し、撮像面に入射した光から画像信号を生成する撮像素子と、
   前記撮像素子に向けて集光するフォーカスレンズを含むレンズ光学系と、
   被写体側で焦点の合う位置が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、
   前記撮像素子または、前記レンズ光学系と前記撮像素子との間の少なくとも一方に設けられたシャッターと、
   前記シャッターおよび前記駆動部を制御する制御ユニットと、
   を備え、
   前記制御ユニットは、被写体距離の異なる所定の第１、第２および第３の合焦位置にそれぞれ焦点が合うように、前記撮像素子または前記フォーカスレンズを駆動し、前記撮像素子によって、前記第１、第２および第３の合焦位置における第１、第２および第３の被写体画像による画像信号を得られるように、前記シャッターおよび前記駆動部を制御する、撮像装置。
2. 前記制御ユニットは、前記撮像素子の画像フレームごとに前記第１の被写体画像、前記第２の被写体画像または前記第３の被写体画像のいずれかを前記撮像素子が生成するように、前記シャッターおよび前記駆動部を制御する請求項１に記載の撮像装置。
3. 前記制御ユニットは、
   各画像フレームの一部期間において、前記第１の被写体画像、前記第２の被写体画像または前記第３の被写体画像が得られるように前記シャッターの開閉を制御し、
   前記各画像フレームの他の期間において、合焦位置が、前記第１の合焦位置と前記第２の合焦位置との間、または、前記第１の合焦位置と前記第２の合焦位置との間で移動するように、前記駆動部を制御する請求項１に記載の撮像装置。
4. 前記第１の合焦位置は前記第２の合焦位置と前記第３の合焦位置との間に存在し、
   前記制御ユニットは、前記第１の被写体画像が１画像フレームおきに撮影され、前記第２の被写体画像および前記第３の被写体画像が交互に、かつ、１画像フレームおきに撮影されるように前記シャッターおよび前記駆動部を制御する請求項１に記載の撮像装置。
5. 前記第１、第２および第３の合焦位置に前記フォーカスレンズが合焦している場合において、前記駆動される撮像素子または前記フォーカスレンズは、それぞれ、第１、第２および第３の駆動位置にあり、
   前記制御ユニットは、前記第１の駆動位置と前記第２の駆動位置との距離、および、前記第１の駆動位置と前記第３の駆動位置との距離が互いに等しくなるように、前記第２および第３の駆動位置を決定する請求項１に記載の撮像装置。
6. 前記第１および第３の合焦位置に前記フォーカスレンズが合焦している場合において、前記駆動される撮像素子または前記フォーカスレンズは、それぞれ、第１および第３の駆動位置にあり、
   前記フォーカスレンズが最短撮影距離で合焦している場合において、前記駆動される撮像素子または前記フォーカスレンズは第４の駆動位置にあり、
   前記制御ユニットは、前記第１の駆動位置と前記第３の駆動位置との距離よりも前記第１の駆動位置と前記第４の駆動位置との距離が短い場合、前記第４の駆動位置に前記駆動される撮像素子または前記フォーカスレンズを移動させて、前記第２の被写体画像による画像信号が前記撮像素子によって得られるように、前記駆動部を制御する請求項１に記載の撮像装置。
7. 前記第１および第２の合焦位置に前記フォーカスレンズが合焦している場合において、前記駆動される撮像素子または前記フォーカスレンズは、それぞれ、第１および第２の駆動位置にあり、
   前記フォーカスレンズが無限遠に合焦している場合において、前記駆動される撮像素子または前記フォーカスレンズは第５の駆動位置にあり、
   前記制御ユニットは、前記第１の駆動位置と前記第２の駆動位置との距離よりも前記第１の駆動位置と前記第５の駆動位置との距離が短い場合、前記第５の駆動位置に前記駆動される撮像素子または前記フォーカスレンズを移動させて、前記第３の被写体画像による画像信号が前記撮像素子によって得られるように、前記駆動部を制御する請求項１に記載の撮像装置。
8. 前記第１、第２および第３の合焦位置に前記フォーカスレンズが合焦している場合において、前記駆動される撮像素子または前記フォーカスレンズは、それぞれ、第１、第２および第３の駆動位置にあり、
   前記制御ユニットは、ユーザーからの指令に基づき、前記第１の駆動位置と前記第２の駆動位置との距離および前記第１の駆動位置と前記第３の駆動位置との距離が１：１から８：２の間の比率または１：１から２：８の比率となるように、前記第２および第３の駆動位置を決定する請求項１に記載の撮像装置。
9. 前記１画像フレームおきに撮影された第１の被写体画像によって構成される動画像との信号と、
   前記第１、第２および第３の被写体画像に基づいて、前記１画像フレームおきに撮影された第１の被写体画像における距離情報に関する信号と
   を生成する信号処理部をさらに備える請求項４に記載の撮像装置。
10. 前記制御ユニットは、ユーザーからの指令またはオートフォーカス機能に基づく前記第１の合焦位置の変化に応じて前記第２および第３の合焦位置を設定する請求項１に記載の撮像装置。
11. 撮像面を有し、撮像面に入射した光から画像信号を生成する撮像素子と、前記撮像素子に向けて集光するフォーカスレンズを含むレンズ光学系と、被写体側で焦点の合う位置が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、前記撮像素子または、前記レンズ光学系と前記撮像素子との間の少なくとも一方に設けられたシャッターとを備えた撮像装置の半導体集積回路であって、
    被写体距離の異なる所定の第１、第２および第３の合焦位置にそれぞれ焦点が合うように、前記撮像素子または前記フォーカスレンズを駆動し、前記撮像素子によって、前記第１、第２および第３の合焦位置における第１、第２および第３の被写体画像による画像信号を得られるように、前記シャッターおよび前記駆動部を制御する、半導体集積回路。
12. 前記撮像素子の画像フレームごとに前記第１の被写体画像、前記第２の被写体画像または前記第３の被写体画像のいずれかを前記撮像素子が生成するように、前記シャッターおよび前記駆動部を制御する請求項１１に記載の半導体集積回路。
13. 各画像フレームの一部期間において、前記第１の被写体画像、前記第２の被写体画像または前記第３の被写体画像が得られるように前記シャッターの開閉を制御し、
    前記各画像フレームの他の期間において、合焦位置が、前記第１の合焦位置と前記第２の合焦位置との間、または、前記第１の合焦位置と前記第２の合焦位置との間で移動するように、前記駆動部を制御する請求項１１に記載の半導体集積回路。
14. 前記第１の合焦位置は前記第２の合焦位置と前記第３の合焦位置との間に存在し、
    前記第１の被写体画像が１画像フレームおきに撮影され、前記第２の被写体画像および前記第３の被写体画像が交互に、かつ、１画像フレームおきに撮影されるように前記シャッターおよび前記駆動部を制御する請求項１１に記載の半導体集積回路。
15. 前記第１、第２および第３の合焦位置に前記フォーカスレンズが合焦している場合において、前記駆動される撮像素子または前記フォーカスレンズは、それぞれ、第１、第２および第３の駆動位置にあり、
    前記第１の駆動位置と前記第２の駆動位置との距離、および、前記第１の駆動位置と前記第３の駆動位置との距離が互いに等しくなるように、前記第２および第３の駆動位置を決定する請求項１１に記載の半導体集積回路。
16. 入射した光から画像信号を生成する撮像素子の撮像面に、フォーカスレンズを含むレンズ光学系を介して、撮像素子または、前記レンズ光学系と前記撮像素子との間の少なくとも一方に設けられたシャッターによるタイミングで露光することにより、撮像シーンを結像させる撮像方法であって、
    被写体距離の異なる所定の第１、第２および第３の合焦位置にそれぞれ焦点が合うように、前記撮像素子または前記フォーカスレンズを駆動し、前記撮像素子によって、前記第１、第２および第３の合焦位置における第１、第２および第３の被写体画像による画像信号を得られるように、前記撮像素子または前記フォーカスレンズの一方を駆動する撮像方法。
17. 前記撮像素子の画像フレームごとに前記第１の被写体画像、前記第２の被写体画像または前記第３の被写体画像のいずれかを前記撮像素子が生成するように、前記シャッターを制御し、前記撮像素子または前記フォーカスレンズの一方を駆動する請求項１６に記載の撮像方法。
18. 各画像フレームの一部期間において、前記第１の被写体画像、前記第２の被写体画像または前記第３の被写体画像が得られるように前記シャッターの開閉を制御し、
    前記各画像フレームの他の期間において、合焦位置が、前記第１の合焦位置と前記第２の合焦位置との間、または、前記第１の合焦位置と前記第２の合焦位置との間で移動するように、前記フォーカスレンズの一方を駆動する請求項１６に記載の撮像方法。
19. 前記第１の合焦位置は前記第２の合焦位置と前記第３の合焦位置との間に存在し、
    前記第１の被写体画像が１画像フレームおきに撮影され、前記第２の被写体画像および前記第３の被写体画像が交互に、かつ、１画像フレームおきに撮影されるように前記シャッターを制御し、前記フォーカスレンズの一方を駆動する請求項１６に記載の撮像方法。
20. 前記第１、第２および第３の合焦位置に前記フォーカスレンズが合焦している場合において、前記駆動される撮像素子または前記フォーカスレンズは、それぞれ、第１、第２および第３の駆動位置にあり、
    前記第１の駆動位置と前記第２の駆動位置との距離、および、前記第１の駆動位置と前記第３の駆動位置との距離が互いに等しくなるように、前記第２および第３の駆動位置を決定する請求項１６に記載の撮像方法。

Images