JP5638890B2 - 撮像装置、撮像方法及びプログラム - Google Patents

撮像装置、撮像方法及びプログラム Download PDF

Info

Publication number
JP5638890B2
JP5638890B2 JP2010207122A JP2010207122A JP5638890B2 JP 5638890 B2 JP5638890 B2 JP 5638890B2 JP 2010207122 A JP2010207122 A JP 2010207122A JP 2010207122 A JP2010207122 A JP 2010207122A JP 5638890 B2 JP5638890 B2 JP 5638890B2
Authority
JP
Japan
Prior art keywords
subject
focal lengths
setting
image signals
focal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010207122A
Other languages
English (en)
Other versions
JP2012065113A (ja
Inventor
麻子 関
麻子 関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2010207122A priority Critical patent/JP5638890B2/ja
Priority to PCT/JP2011/069602 priority patent/WO2012035971A1/ja
Publication of JP2012065113A publication Critical patent/JP2012065113A/ja
Priority to US13/831,086 priority patent/US20130201355A1/en
Application granted granted Critical
Publication of JP5638890B2 publication Critical patent/JP5638890B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は、画像信号を取得する撮像装置及び撮像方法、並びに、コンピュータにそのような撮像装置の手順を実行させるプログラムに関する。
従来、近距離から遠距離までピントの合った被写界深度の深い画像信号を得るために、例えば、異なる焦点距離で撮像した画像信号を複数枚合成するといった被写界深度拡大処理が行なわれている。しかし、この被写界深度拡大処理では、複数枚の画像信号の位置合わせ処理や合成処理等での処理時間がかかっていた。
そこで、例えば、特許文献１においては、Ｒの画像情報をＦＦＴ演算部の実数部、Ｂの画像情報をＦＦＴ演算部の虚数部、Ｂの画像情報をＦＦＴ演算部の実数部、その虚数部には０を入力して演算を行なうことで、処理時間を短縮化を図っている。
特開２００２−６４７４１号公報
しかしながら、上記特許文献１に開示されている手法を採ったとしても、処理時間の短縮化は不十分であるため、動画等のリアルタイム性を要するものには適さないという問題があった。
また、複雑な手ブレが発生している場合や被写体が動いている場合等においては、正しい位置合わせ処理が行なわれず、アーティファクトが発生するという問題があった。
本発明は、上記の点に鑑みてなされたもので、位置合わせや合成等の処理時間を抑えることができ、且つ、アーティファクトを発生させずに、被写界深度を拡大できるようにすることを目的とする。
本発明の撮像装置の一態様は、複数枚の画像信号を撮像する撮像装置において、
予め撮像した画像信号から被写体を認識する被写体認識手段と、
前記被写体認識手段での被写体認識結果を用いて複数の焦点距離を設定する被写体焦点設定手段と、
前記被写体焦点設定手段で設定された複数の焦点距離で画像信号を取得する画像信号取得手段と、
前記画像信号取得手段により取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段と、
を備え、
前記被写体焦点設定手段は、
前記被写体認識手段で認識した各被写体の焦点距離を算出する距離算出手段と、目標の被写界深度を設定する目標深度設定手段と、を有し、
前記距離算出手段で算出した焦点距離間の最大値が前記目標深度設定手段で設定した目標被写界深度を満たすように、少なくとも前記距離算出手段で算出した焦点距離を含む複数の焦点距離を設定する、ことを特徴とする。
また、本発明の撮像装置の別の態様は、複数枚の画像信号を取得する撮像装置において、
複数の焦点距離を設定する焦点設定手段と、
前記焦点設定手段で設定された複数の焦点距離で画像信号を取得する画像信号取得手段と、
前記画像信号取得手段により取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段と、
を備え、
前記焦点設定手段は、
目標の被写界深度を設定する目標深度設定手段を有し、
前記目標深度設定手段にて設定した目標の被写界深度を用いて焦点距離及びその数を設定する、ことを特徴とする。
さらに、本発明の撮像装置の別の態様は、複数枚の画像信号を取得する撮像装置において、
予め撮像した画像信号から被写体を認識する被写体認識手段と、
前記被写体認識手段での被写体認識結果を用いて複数の焦点距離を設定する被写体焦点設定手段と、
前記被写体焦点設定手段で設定された複数の焦点距離で画像信号を取得する画像信号取得手段と、
前記画像信号取得手段により取得された前記複数の焦点距離における画像信号を連続的に表示するよう制御する表示制御手段と、
を備え、
前記表示制御手段は、
表示フレームレートを設定するフレームレート設定手段を有し、
前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とする。
さらにまた、本発明の撮像装置の別の態様は、複数枚の画像信号を取得する撮像装置において、
複数の焦点距離を設定する焦点設定手段と、
前記焦点設定手段で設定された複数の焦点距離で画像信号を取得する画像信号取得手段と、
前記画像信号取得手段により取得された前記複数の焦点距離における画像信号を連続的に表示するよう制御する表示制御手段と、
を備え、
前記表示制御手段は、
表示フレームレートを設定するフレームレート設定手段を有し、
前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とする。
本発明の撮像方法の一態様は、複数枚の画像信号を取得する際に、
予め撮像した画像信号から被写体を認識する手順と、
前記被写体の認識結果を用いて複数の焦点距離を設定する手順と、
前記設定された複数の焦点距離で画像信号を取得する手順と、
取得された複数枚の画像信号を連続的に表示するよう制御する手順と、
を備え、
前記複数の焦点距離を設定する手順は、
前記被写体を認識する手順で認識した各被写体の焦点距離を算出する手順と、目標の被写界深度を設定する手順と、を有し、
前記各被写体の焦点距離間の最大値が前記目標の被写界深度を満たすように、少なくとも前記各被写体の焦点距離を含む複数の焦点距離を設定する、ことを特徴とする。
また、本発明の撮像方法の別の態様は、複数枚の画像信号を取得する際に、
複数の焦点距離を設定する手順と、
前記設定された複数の焦点距離で画像信号を取得する手順と、
取得された複数枚の画像信号を連続的に表示するよう制御する手順と、
を備え、
前記複数の焦点距離を設定する手順は、
目標の被写界深度を設定する手順を有し、
前記目標の被写界深度を用いて焦点距離及びその数を設定する、ことを特徴とする。
さらに、本発明の撮像方法の別の態様は、複数枚の画像信号を取得する際に、
予め撮像した画像信号から被写体を認識する手順と、
前被写体の認識結果を用いて複数の焦点距離を設定する手順と、
前記設定された複数の焦点距離で画像信号を取得する手順と、
取得された前記複数の焦点距離における画像信号を連続的に表示するよう制御する手順と、
を備え、
前記画像信号を連続的に表示するよう制御する手順は、
表示フレームレートを設定する手順を有し、
前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とする。
さらにまた、本発明の撮像方法の別の態様は、複数枚の画像信号を取得する際に、
複数の焦点距離を設定する手順と、
前記設定された複数の焦点距離で画像信号を取得する手順と、
取得された前記複数の焦点距離における画像信号を連続的に表示するよう制御する手順と、
を備え、
前記画像信号を連続的に表示するよう制御する手順は、
表示フレームレートを設定する手順を有し、
前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とする。
本発明のプログラムの一態様は、複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
予め撮像した画像信号から被写体を認識する被写体認識手段、
前記被写体の認識結果を用いて複数の焦点距離を設定する被写体焦点設定手段、
画像撮像部に、前記設定された複数の焦点距離で画像信号を取得する画像信号取得手段、
取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段、
として機能させ、
前記コンピュータを前記被写体焦点設定手段として機能させる際に、
前記コンピュータを、前記認識した各被写体の焦点距離を算出する距離算出手段、目標の被写界深度を設定する目標深度設定手段、として機能させ、
前記各被写体の焦点距離間の最大値が前記目標の被写界深度を満たすように、少なくとも前記各被写体の焦点距離を含む複数の焦点距離を設定する、ことを特徴とする。
また、本発明のプログラムの別の態様は、複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
複数の焦点距離を設定する焦点設定手段、
画像撮像部に、前記設定された複数の焦点距離で画像信号を取得する画像信号取得手段、
取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段、
として機能させ、
前記コンピュータを前記焦点設定手段として機能させる際に、
前記コンピュータを、目標の被写界深度を設定する目標深度設定手段として機能させ、
前記目標の被写界深度を用いて焦点距離及びその数を設定する、ことを特徴とする。
さらに、本発明のプログラムの別の態様は、複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
予め撮像した画像信号から被写体を認識する被写体認識手段、
前記被写体の認識結果を用いて複数の焦点距離を設定する被写体焦点設定手段、
画像撮像部に、前記設定された複数の焦点距離で画像信号を取得させる画像信号取得手段、
取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段、
として機能させ、
前記コンピュータを前記表示制御手段として機能させる際に、
前記コンピュータを、表示フレームレートを設定するフレームレート設定手段として機能させ、
前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とする。
さらにまた、本発明のプログラムの別の態様は、複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
複数の焦点距離を設定する焦点設定手段、
画像撮像部に、前記設定された複数の焦点距離で画像信号を取得させる画像信号取得手段、
取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段、
として機能させ、
前記コンピュータを前記表示制御手段として機能させる際に、
前記コンピュータを、表示フレームレートを設定するフレームレート設定手段として機能させ、
前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とする。
本発明によれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度で合焦している複数枚の画像信号が得られる。
図１は、本発明の第１実施形態に係る撮像装置の構成を示す図である。 図２は、撮像した複数枚の画像信号の表示順序を説明するための図である。 図３は、図１中の被写体焦点設定部の構成を示す図である。 図４は、第１実施形態における被写体の位置に基づく焦点距離の設定方法を説明するための図である。 図５は、本発明の第１実施形態に係るプログラムのフローチャートを示す図である。 図６は、本発明の第２実施形態に係る撮像装置の構成を示す図である。 図７は、図６中の焦点設定部の構成を示す図である。 図８は、第２実施形態における焦点距離及びその数の設定方法の一例を説明するための図である。
以下、本発明を実施するための形態を図面を参照して説明する。
［第１実施形態］
図１に示すように、本発明の第１実施形態に係る撮像装置は、画像処理を行う画像処理システム１００と画像を表示する表示部７を備えている。
画像システム１００は、画像撮像部１と、Ａ／Ｄ変換等を行う前処理部２と、画像信号を用いて画像から被写体を認識する被写体認識部３と、上記被写体認識部の認識結果を用いて複数の焦点距離を設定する被写体焦点設定部４と、表示制御部６に焦点設定情報を転送する制御部５と、複数枚画像の表示を制御する表示制御部６と、複数枚画像の画角を補正する画角補正部８と、を備えている。
画像撮像部１は、被写体像を結像するためのレンズ系１1と、このレンズ系１１が結像する光学的な被写体像を光電変換して電気的な画像信号を生成する撮像系１２と、上記レンズ系１１等の駆動を制御するレンズ駆動制御１３と、を有している。
画像撮像部１の撮像系１２は、前処理部２へ接続している。前処理部２は、被写体認識部３及び表示部７へ接続している。被写体認識部３は、被写体焦点設定部４へ接続している。被写体焦点設定部４は制御部５に接続されている。制御部５は、画像撮像部１内のレンズ駆動装置１３及び表示制御部６に双方向に接続されている。表示制御部６は、表示部７へ接続している。画角補正部８は表示制御部６に双方向に接続されている。
レンズ系１１は、撮像系１２に像を結像させる。撮像系１２は、画像信号を取得し、前処理部２に転送する。前処理部２は、取得された画像信号をＡ／Ｄ変換等の処理をした後、被写体認識部３に転送する。被写体認識部３は、画像信号から被写体を認識し、被写体数、被写***置情報を被写体焦点設定部４へ転送する。ここでの被写体認識は、公知の顔認識や物体認識等、何でも良い。被写体焦点設定部４は、本実施形態においては、この被写体認識部３で認識した被写体数ごと焦点距離を設定する。すなわち被写体焦点距離設定部４は、被写体の数に応じて焦点距離を設定する。制御部５は、被写体焦点距離設定部４により設定された焦点距離情報を画像撮像部１のレンズ駆動装置１３へ転送する。レンズ駆動装置１３は、転送された焦点距離に合焦するようにレンズ系１１を駆動する。レンズ駆動部１３は、レンズ系１１の代わりに撮像系１２を駆動しても良い。撮像系１２は、これらの駆動が行われる都度、画像信号を取得する。結果として撮像系１２は、各焦点距離に合焦した複数の画像信号を取得する。なお、被写体認識部３は、被写体認識を駆動毎に行なう必要はない。被写体認識部３は、静止画の場合、被写体認識を最初の１回のみ行い、動画の場合、任意の駆動数に対して１回の割合で被写体認識を行っても良い。
前処理部２は、このようにして得られた複数の画像信号をＡ／Ｄ変換し、表示制御部６に転送する。表示制御部６は、得られた複数枚の画像信号が連続的に表示されるよう制御する。表示制御部６は、静止画像の場合、得られた複数枚の画像信号を動画像のように一定のフレームレートで連続的に表示するよう制御する。一方、動画像の場合、元の動画像の１フレームに対して静止画と同様の処理を施すため、静止画像に比べて更に高いフレームレートが必要となる。表示制御部６は、被写体焦点設定部４から転送された焦点距離の数を基に表示部７での表示フレームレートを制御する。一般的に、表示制御部６は、焦点距離の数に比例してフレームレートは高くなるようにフレームレートを設定する。
画角補正部８は、表示制御部６から転送された全ての画像信号の画角が同様になるよう補正する。この画角補正部８における画角補正の手段としては、テレセントリック光学系等を用いて画角が一定となるようにする方法や、デジタル信号処理で拡大・縮小を行い、画角補正を行なう方法などが挙げられる。表示部７は、画角補正部８にて画角が補正された複数の画像を表示する。なお、本実施形態では、撮像装置は表示部７を備えていたが、表示部のみがデジタルフォトフレームのように別体であってもよい。
なお、表示部７での複数枚の画像信号の切り換え表示方法は、動画像の場合、画像信号の撮像を行ないながら表示するため、図２の（１）で示されているように、撮像順（時系列）に沿って繰り返し連続的に表示させる、もしくは、図２の（２）のように、最新の画像信号まで順方向の撮像順に表示後、時間を遡って、つまり逆方向の撮像順に表示させる、などの順序がある。静止画の場合、上記の方法以外にも、撮像後に撮像順とは異なるランダムの並び順で表示させても良い。
このように、認識した被写体の位置に複数の焦点距離を合わせて撮像することで、それぞれ異なる深度で合焦している複数枚の画像信号が得られる。そして、それら複数枚の画像信号を高速に切り換え表示すると、人間の目には、近距離に存在する被写体から遠距離に存在する被写体までピントの合った被写界深度の深い画像信号として認識される。従って、複数枚の画像信号に対して、位置合わせや合成等の処理を行うことなく被写界深度の深い画像信号を得ることができるので、位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらすことができる。
以下、図１の撮像装置における各部の詳細を説明する。
図３は、被写体焦点設定部４の構成の一例を示す図である。この被写体焦点設定部４は、被写体の位置を用いて画像信号を取得する焦点距離及びその数を設定する機能を有しており、焦点距離設定部４１、焦点数設定部４２、被写体深度算出部４３、距離算出部４４、比較部４５、算出部４６、及び目標深度設定部４７から成る。
上記被写体認識部３は、焦点距離設定部４１、焦点数設定部４２、被写体深度算出部４３、及び距離算出部４４へ接続している。被写体深度算出部４３及び距離算出部４４は、比較部４５へ接続している。比較部４５は、算出部４６へ接続しており、算出部４６は、焦点距離設定部４１及び焦点数設定部４２に接続している。目標深度設定部４７は、比較部４５、算出部４６及び制御部５に双方向で接続されている。また、算出部４６は、制御部５に双方向で接続されている。そして、焦点距離設定部４１及び焦点数設定部４２は、上記制御部５に双方向で接続されている。
このような被写体焦点設定部４においては、上記被写体認識部３による被写体の認識結果を用いて、焦点距離設定部４１にて、画像信号を取得する焦点距離を決定すると共に、焦点数設定部４２にて、画像信号を取得する焦点距離の数を決定する。例えば、被写体認識部３にて３つの被写体が認識された場合には、焦点距離設定部４１は、図４（Ａ）に示すように画像信号を取得する焦点距離としてｆ１，ｆ２，ｆ３を決定し、焦点数設定部４２は、焦点距離の数を「３」と決定する。制御部５は、この決定した各焦点距離とその数に基づいて画像撮像部１及び表示制御部６を制御することとなる。
図４（Ａ）に示すように被写体が多くある場合、焦点距離とその数は被写体認識部３にて認識した被写体の位置とその数として設定すれば良い。しかしながら、このような認識した被写***置と数のみに基づく単純な制御だけでは不十分な場合がある。例えば、図４（Ｂ）に示すような光軸方向に複数の被写体が離れて存在する場合には、各焦点距離ｆ１，ｆ２での被写界深度を越えてしまうために、被写体間にボケが観察されてしまうこととなる。逆に、被写体が一つ、或いは図４（Ｃ）に示すように、光軸方向に複数の被写体が近接して存在する場合には、複数の被写体の焦点距離ｆ１，ｆ２が一つの焦点距離ｆｉでの被写界深度に納まってしまうために、被写界深度拡大の効果をもたらすことができない。
そこで、図４（Ｂ）に示すような各被写体間にボケが観察されてしまうような場合には、被写体間の任意の位置に焦点距離を設定するようにしても良い。本実施形態では、そのために、上記被写体認識部３による被写体の認識結果を用いて、被写体深度算出部４３にて、各被写***置での被写界深度を算出すると共に、距離算出部４４にて、各被写***置の焦点距離を算出して、各被写体間の焦点距離差を算出する。なお、距離算出部４４での被写体の距離取得の方法は、センサを用いる等、別の手法で求めても構わない。そして、比較部４５にて、それら算出した各被写界深度と焦点距離差とを比較することで、各被写体間にボケが観察されることとなるか否かを確認する。即ち、各被写体間にボケが観察されるか否かを判定する際の条件式の一例として以下の（１）式を採用する。もちろん、他の条件式を用いるものとし、その条件式に必要なパラメータを取得するように、該被写体焦点設定部４を構成しても構わない。
Figure 0005638890
但し、上記（１）式において、ｆｉは任意の設定した焦点距離であり、ｄは被写体深度算出部４３で得られる各被写***置の被写界深度から算出するある所定の目標被写界深度である。
ここで、各被写体間にボケが観察されると判定された場合には、算出部４６にて、上記（１）式を満たすように、被写***置に設定した焦点距離ｆ１，ｆ２の他に、上記（１）式を満たさない被写体間に新たな焦点距離ｆ３を算出して、上記焦点距離設定部４１にその算出した新たな焦点距離ｆ３を設定し、焦点数設定部４２にも新たな焦点距離の数を設定する。
また、被写体が一つ又は図４（Ｃ）に示すような光軸方向に複数の被写体が近接して存在するような場合には、被写体の焦点距離よりも短い或いは長い焦点距離を新たに設定しても良い。本実施形態では、そのために、距離算出部４４にて、各焦点距離間の最大値を算出する。そして、比較部４５にて、距離算出部４４で算出した各焦点距離間の最大値と所定の目標被写界深度とを比較することで、各焦点距離間の最大値が目標被写界深度を満たすか否かを確認する。この確認のための条件式の一例として以下の（２）式を採用する。もちろん、他の条件式を用いるものとし、その条件式に必要なパラメータを取得するように、該被写体焦点設定部４を構成しても構わない。
Figure 0005638890
但し、上記（２）式において、ｆｍａｘは設定した焦点距離の中で最も長いものを表し、初期値はｘｍａｘであり、ｆｍｉｎは設定した焦点距離の中で最も短いものを表し、初期値はｘｍｉｎである。初期値であるｘｍａｘは被写体までの距離で撮像装置から最も遠いもの、ｘｍｉｎは被写体までの距離で撮像装置から最も近いものを意味する。また、ｄ’は目標被写界深度であり、その値は、被写体深度算出部４３で得られる各被写***置の被写界深度から算出するある所定の深度とする。この目標被写界深度ｄ’は、各被写***置の被写界深度の最大値、最小値、平均値などが考えられる。どれを用いるかは事前に決定する必要がある。
ここで、各焦点距離間の最大値が目標被写界深度に満たないと判定された場合には、算出部４６にて、目標被写界深度を満たすように、被写***置に設定した焦点距離ｆ１，ｆ２の他に新たな焦点距離、図４（Ｃ）の例ではｆ３，ｆ４を算出して、上記焦点距離設定部４１にその算出した新たな焦点距離ｆ３，ｆ４を設定し、焦点数設定部４２にも新たな焦点距離の数を設定する。なお、通常、この新たに設定する焦点距離は、ｆｍｉｎよりも短い、或いはｆｍａｘよりも長い、或いはその両方に設定される。そして、上記（２）式を満たすように焦点距離を配置する必要がある。この場合、被写体の数と設定された焦点距離の数は一致しない。この際の焦点距離及びその数は予め設定しておくか、制御部５を介して設定する等の方法が考えられる。また、この各被写体間は、各被写***置でもたらされる被写界深度によって深度内と保障され、その合計が目標被写界深度に達することがここでの条件となるが、各被写***置でもたらされる被写界深度の間にボケが認識されない程度の隙間があっても良い。
このように、上記（２）式によって被写体認識部３にて認識した被写***置のみによって目標被写界深度あるいは深度拡大効果をもたらすかを確認することができ、確認できないのであれば新たに焦点距離を設定することで、各被写***置で合焦しても深度拡大とならない場合においても、被写界深度拡大効果をもたらすことができる。
また、上記目標被写界深度ｄ’は、当該撮像装置に予め設定された値、或いはユーザが任意に設定する値としても良い。この場合には、制御部５を介して目標深度設定部４７にて目標被写界深度が設定される。そして、比較部４５にて、距離算出部４４で算出した各焦点距離間の最大値と目標深度設定部４７に設定された目標被写界深度ｄ’とを比較することで、各焦点距離間の最大値が目標被写界深度ｄ’を満たすか否かを確認することとなる。このように目標被写界深度ｄ’が設定されている場合、図４（Ｄ）に示すように、目標被写界深度ｄ’（焦点距離Ｄ１〜焦点距離Ｄ２）を満たすように、且つ、上記（２）式を満たすように、被写体の焦点距離よりも短い或いは長い焦点距離ｆ３，ｆ４，ｆ５，ｆ６を新たに配置する必要がある。
なお、上記被写体認識部３及び被写体焦点設定部４は、独立したハードウェアとして構成した場合を説明したが、制御部５を構成するコンピュータが、上記被写体認識部３及び被写体焦点設定部４の機能を実現するソフトウェアのプログラム実行することによって、上記機能を実現することも可能である。
即ち、図５のフローチャートに示すように、まず、画像撮像部１にて取得した画像信号を読み込み（ステップＳ１１）、その画像信号より被写体を認識する（ステップＳ１２）。そして、認識した各被写体の位置を焦点距離として設定した後（ステップＳ１３）、全ての被写体について焦点距離の設定が行なわれたかを判断する（ステップＳ１４）。ここで、未だ全ての被写体に関して行なわれていない場合には、上記ステップＳ１３に戻って次の被写体に関する処理を行い、また、全ての被写体に関して行われた場合には、次のステップＳ１５へと進む。
即ち、全ての被写体について焦点距離の設定が行なわれたならば、次に、上記（１）式の条件式を用いて、各被写体間にボケが観察されるか否かを判断する（ステップＳ１５）。ここで、上記（１）式の条件式を満たさない場合、つまり、各被写体間にボケが観察される場合には、それらの焦点距離の間に新たな焦点距離を設ける（ステップＳ１６）。ここでは焦点距離の補間を行なっている。また、上記（１）式の条件式を満たす場合、つまり、各被写体間にボケが観察されない場合には、このステップＳ１６はスキップされる。そして、全ての焦点距離間について処理を行なったかを確認する（ステップＳ１７）。ここで、未だ全ての焦点距離間について処理を行っていない場合には、上記ステップＳ１５に戻って次の焦点距離間に関する判断処理を行い、また、全ての焦点距離に関して行われた場合には、次のステップＳ１７へと進む。
即ち、全ての焦点距離間についての確認が行なわれたならば、次に、上記（２）式の条件式を用いて、各焦点距離間の最大値が目標被写界深度を満たすか否かを確認する（ステップＳ１８）。ここで、上記（２）式の条件式を満たさない場合、つまり、各焦点距離間の最大値が目標被写界深度を満たさない場合には、新たな焦点距離を設けた後（ステップＳ１９）、上記ステップＳ１８に戻る。なおこの際、新たに設ける焦点距離は、ｆｍｉｎより小さい値、若しくは、ｆｍａｘより大きい値に設定し、その後ｆｍｉｎ及びｆｍａｘを更新する。ここでの処理は、設定した焦点距離が、目標被写界深度が達成或は被写界深度拡大をもたらすように、焦点距離を新たに設定するものである。
上記ステップＳ１８にて上記（２）式の条件式が満たされた場合、つまり、各焦点距離間の最大値が目標被写界深度を満たす場合には、目標被写界深度が達成或いは被写界深度拡大がもたらされたとして、次のステップＳ２０に進む。即ち、上記のように設定した複数の焦点距離での画像信号を画像撮像部１に取得させ（ステップＳ２０）、それら取得した複数の画像信号の画角を画角補正部８にそれぞれ補正させると共に、設定した焦点距離の数によって表示制御部６にフレームレートを制御させる（ステップＳ２１）。なお、上記画角補正部８及び表示制御部６を設ける代わりに、制御部５を構成するコンピュータが画角補正及びフレームレート制御を行うようにしても良い。そして、補正した複数の画像信号と制御したフレームレートを用いて、表示部７にそれら画像信号を切り換え表示して（ステップＳ２２）、処理を終了とする。
［第２実施形態］
図６は、本発明の第２実施形態に係る撮像装置の構成を示す図である。なお、この図６において、図１において示したブロックと同一の機能を有するブロックには同一の符号を付し、重複する説明は省略する。
本第２実施形態に係る撮像装置は、上記第１実施形態に係る撮像装置における被写体認識部３及び被写体焦点設定部４に代えて、焦点設定部９を備えている。この焦点設定部９へは、上記画像撮像部１及び上記前処理部２が接続している。また、焦点設定部９は、上記制御部５に双方向に接続されている。
図６において、信号の流れを説明する。なお、第１実施形態と重複する説明は省略する。即ち、焦点設定部９は、前処理された画像信号と画像撮像部１より得られる絞り値とを用いて、焦点距離及びその数を設定する。焦点設定部９で設定した焦点距離及びその数は、制御部５を介して画像撮像部１のレンズ駆動装置１３に転送され、レンズ駆動装置１３は、その転送された焦点距離に合焦するように、レンズ系１１を駆動させる。同様に、焦点設定部９で設定した焦点距離の数は、制御部５を介して表示制御部６に転送される。
図７は、上記焦点設定部９の構成の一例を示す図である。この焦点設定部９は、画像信号を取得する焦点距離及びその数を設定する機能を有しており、絞り値検出部９１、深度算出部９２、目標深度設定部９３、及び算出部９４から成る。
上記画像撮像部１及び上記前処理部２は、絞り値検出部９１へ接続している。絞り値検出部９１は、深度算出部９２へ接続しており、深度算出部９２は、目標深度設定部９３及び算出部９４へ接続している。算出部９４は、目標深度設定部９３及び制御部５に双方向で接続されている。目標深度設定部９３は、制御部５に双方向で接続されている。
このような焦点設定部９においては、まず、絞り値検出部９１にて、上記前処理部２からの撮像された画像信号と上記画像撮像部１から得られる情報とに基づいて、絞り値を検出する。そして、深度算出部９２にて、その絞り値検出部９１で検出した絞り値から、各焦点距離での被写界深度を求める。なお、ここでは絞り値を用いているが、被写界深度の算出方法は他の方法でも良い。他の方法を用いた場合、絞り値検出部９１は必要ない。各焦点距離とは、画像撮像部１が取り得る焦点距離内の任意の一つの焦点距離又は任意の複数の焦点距離の各々を意味している。
また、目標深度設定部９３には、予め又は制御部５を介してユーザ指定によって目標被写界深度が設定されている。算出部９４は、その目標深度設定部９３に設定されている目標被写界深度と、上記深度算出部９２にて得られた各焦点距離での被写界深度とを用いて、被写界深度拡大のための画像信号を取得する焦点距離及びその数を算出する。この算出方法の一例を図８に示しており、詳細は後述するが、各焦点距離における被写界深度が重ならないように焦点距離を配置し、配置した焦点距離での被写界深度の合計が目標深度設定部９３で設定される目標深度に等しくなるように、設定する焦点距離の数Ｎを導出する。このように導出した焦点距離及びその数は、制御部５を介して画像撮像部１及びフ表示制御部６に転送される。
このように、被写体の位置とは無関係に設定した複数の焦点距離に焦点を合わせて撮像することで、それぞれ異なる深度で合焦している複数枚の画像信号が得られる。そして、それら複数枚の画像信号を高速に切り換え表示すると、人間の目には、近距離から遠距離までピントの合った被写界深度の深い画像信号として認識される。従って、複数枚の画像信号に対して、位置合わせや合成等の処理を行うことなく被写界深度の深い画像信号を得ることができるので、位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらすことができる。
図８は、上記焦点設定部９での焦点距離とその数の設定方法の一例を示す図である。焦点設定部９は、目標の被写界深度ｄ’（焦点距離Ｄ１〜焦点距離Ｄ２）を満たすために焦点距離ｘｉ及びその数Ｎを設定する。得られる各焦点距離における被写界深度ｄ１〜ｄＮが一定値ｄ０であるとすると、焦点距離の数Ｎは、以下の（３）式により得られる。
Figure 0005638890
また、焦点距離ｘｉは、以下の（４）式により得られる。
Figure 0005638890
上記の場合は目標の被写界深度を各焦点距離での被写界深度によって隙間なく埋めるよう焦点距離を設定しているが、必ずしも隙間なく埋める必要はない。各焦点距離での被写界深度間に観測者がボケを認識しない程度の多少の隙間があっても問題にならないと考えられる。
また、得られる被写界深度が各焦点距離で一定でない場合（深度算出部９２にて複数の焦点距離での被写界深度を求めた場合）、焦点距離ｘｊでの被写界深度をｄｊとすると、焦点距離の数Ｎは、以下の（５）式を満たすＮである。
Figure 0005638890
また、焦点距離ｘｉは、以下の（６）式により得られる。
Figure 0005638890
この場合も上記（３）式及び上記（４）式共に目標の被写界深度を各焦点距離での被写界深度によって隙間なく埋めるよう焦点距離を設定しているが、必ずしも隙間なく埋める必要はない。各焦点距離での被写界深度間に観測者がボケを認識しない程度の多少の隙間があっても問題にならないと考えられる。
なお、本第２実施形態においても、上記第１実施形態の場合と同様に、上記焦点設定部９を独立したハードウェアとして構成する代わりに、制御部５を構成するコンピュータが、上記焦点設定部９の機能を実現するソフトウェアのプログラム実行することによって、上記機能を実現することが可能なことは言うまでもない。
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
例えば、上記実施形態では、撮像装置として、デジタルカメラにおけるライブビュー表示や内視鏡診療装置における観察画像表示等、画像撮像部１で撮像した画像を直ちに表示する装置を例に説明したが、複数枚撮像した画像信号を一旦記録しておき、当該装置で後で再生表示するようにしても良いことは言うまでもない。
さらには、撮像装置は複数枚の画像信号を撮像して記録媒体に記録するまでを行い、別の表示装置にてその記録媒体に記録された複数枚の画像信号のフレームレートを（及び必要により画角も）制御して切り換え表示することによっても、複数枚の画像信号に対して、位置合わせや合成等の処理を行うことなく被写界深度の深い画像信号を得ることができるので、位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらすことができることは勿論である。
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
（１） 複数枚の画像信号を取得する撮像装置において、
予め撮像した画像信号から被写体を認識する被写体認識手段と、
上記被写体認識手段での被写体認識結果を用いて複数の焦点距離を設定する被写体焦点設定手段と、
上記被写体焦点設定手段で設定された複数の焦点距離で画像信号を取得する画像信号取得手段と、
前記画像信号取得手段により取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段と、
を備えたことを特徴とする撮像装置。
（対応する実施形態）
この（１）に記載の撮像装置に関する実施形態は、第１実施形態が対応する。ここで、上記被写体認識手段は被写体認識部３が、上記被写体焦点設定手段は被写体焦点設定部４が、上記画像信号取得手段は画像撮像部１が、上記表示制御手段は表示制御部６が、それぞれ該当する。
この発明の好ましい適用例は、被写体認識部３にて被写体を認識し、被写体焦点設定部４にて複数の焦点距離をこの被写体認識部３で認識した各被写体に合わせるよう設定し、画像撮像部１にてこの被写体焦点設定部４で設定した複数の焦点距離における画像信号を取得する撮像装置である。
（作用効果）
この（１）に記載の撮像装置は、認識した被写体の位置に複数の焦点距離を合わせて取得する。
従って、この（１）に記載の撮像装置によれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度で合焦している複数枚の画像信号が得られる。
（２） 複数枚の画像信号を取得する撮像装置において、
複数の焦点距離を設定する焦点設定手段と、
上記焦点設定手段で設定された複数の焦点距離で画像信号を取得する画像信号取得手段と、
前記画像信号取得手段により取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段と、
を備えたことを特徴とする撮像装置。
（対応する実施形態）
この（２）に記載の撮像装置に関する実施形態は、第２実施形態が対応する。ここで、上記焦点設定手段は焦点設定部９が、上記画像信号取得手段は画像撮像部１が、上記表示制御手段は表示制御部６が、それぞれ該当する。
この発明の好ましい適用例は、焦点設定部９にて複数の焦点距離を設定し、画像撮像部１にて焦点設定部９で設定された複数の焦点距離における画像信号を取得する撮像装置である。
（作用効果）
この（２）に記載の撮像装置は、焦点設定手段にて設定した複数の焦点距離に焦点を合わせて取得する。
従って、この（２）に記載の撮像装置によれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度で合焦している複数枚の画像信号が得られる。
（３） 上記画像信号取得手段で取得した上記複数の焦点距離における画像信号を表示する表示手段をさらに備えたことを特徴とする（１）または（２）に記載の撮像装置。
（対応する実施形態）
この（３）に記載の撮像装置に関する実施形態は、第１及び第２実施形態が対応する。ここで、上記表示手段は表示部７が該当する。
この発明の好ましい適用例は、表示部７にて、画像撮像部１で取得した複数の焦点距離における画像信号を表示させる撮像装置である。
（作用効果）
この（３）に記載の撮像装置は、複数の焦点距離に合わせて取得した画像信号を、合成処理や位置合わせ処理を行わずに、切り換え表示する。
従って、この（３）に記載の撮像装置によれば、それぞれ異なる深度で合焦している複数枚の画像信号を並べるため、被写界深度の深い画像が得られる。
（４） 上記焦点距離の変化に対して、画角が変化しないよう補正する補正手段をさらに備えたことを特徴とする（１）または（２）に記載の撮像装置。
（対応する実施形態）
この（４）に記載の撮像装置に関する実施形態は、第１及び第２実施形態が対応する。ここで、上記補正手段は画角補正部８が該当する。
この発明の好ましい適用例は、画角補正部８にて、画像撮像部１で撮像された複数の画像信号の画角を統一するよう補正する撮像装置である。
（作用効果）
この（４）に記載の撮像装置は、画像信号撮像手段で撮像された複数の画像信号の画角を統一する。
従って、この（４）に記載の撮像装置によれば、複数の画像信号の画角を統一するため、画像信号を表示させる際に、画角が変動せず高品位な画像が得られる。
（５） 上記被写体焦点設定手段は、
上記被写体認識手段で認識した上記被写体の位置に上記焦点距離を設定する焦点距離設定手段と、
設定する焦点距離の数を上記被写体の数を用いて設定する焦点数設定手段と、
を有することを特徴とする（１）に記載の撮像装置。
（対応する実施形態）
この（５）に記載の撮像装置に関する実施形態は、第１実施形態が対応する。ここで、上記焦点距離設定手段は焦点距離設定部４１が、上記焦点数設定手段は焦点数設定部４２が、それぞれ該当する。
この発明の好ましい適用例は、焦点距離設定部４１にて被写体認識部３で認識した被写体の位置に焦点距離を合わせるよう設定し、焦点数設定部４２にて設定する焦点距離の数として被写体認識部３で認識した被写体の数を設定する撮像装置である。
（作用効果）
この（５）に記載の撮像装置は、認識した被写体の位置に焦点距離を設定し、その焦点距離の数として被写体の数を設定する。
従って、この（５）に記載の撮像装置によれば、認識した被写体に合わせて焦点距離を設定するため、画像の各被写体全てに焦点の合った画像が得られる。
（６） 上記被写体焦点設定手段は、
上記被写体認識手段で認識した上記各被写体の焦点距離を算出する距離算出手段と、
目標の被写界深度を設定する目標深度設定手段と、
を有し、
上記距離算出手段で算出した焦点距離間の最大値が上記目標深度設定手段で設定した目標被写界深度を満たすように、少なくとも上記距離算出手段で算出した焦点距離を含む複数の焦点距離を設定する、
ことを特徴とする（１）に記載の撮像装置。
（対応する実施形態）
この（６）に記載の撮像装置に関する実施形態は、第１実施形態が対応する。ここで、上記距離算出手段は距離算出部４４が、上記目標深度設定手段は被写体深度算出部４３又は目標深度設定部４７が、それぞれ該当する。
この発明の好ましい適用例は、距離算出部４４にて被写体認識部３において認識された被写体の焦点距離を求め、目標深度設定部４７にて設定されている目標被写界深度に対して、その設定した焦点距離間の最大値が満たすように、少なくとも距離算出部４４で算出した焦点距離を含む複数の焦点距離を設定する撮像装置である。
（作用効果）
この（６）に記載の撮像装置は、認識した被写体の位置に基づいて設定される焦点距離に加えて、それら設定した焦点距離間の最大値が目標被写界深度を満たすように、さらに焦点距離を設定する。
従って、この（６）に記載の撮像装置によれば、被写体の位置の他に新たに焦点距離を設定しているため、被写体の位置だけでは深度拡大しない場合においても被写界深度の深い画像を得ることができる。また、被写***置に合焦しつつ、目標被写界深度を満たすような画像を得ることができる。
（７） 上記焦点設定手段は、
目標の被写界深度を設定する目標深度設定手段を有し、
上記目標深度設定手段にて設定した目標の被写界深度を用いて焦点距離及びその数を設定する、
ことを特徴とする（２）に記載の撮像装置。
（対応する実施形態）
この（７）に記載の撮像装置に関する実施形態は、第２実施形態が対応する。ここで、上記目標深度設定手段は目標深度設定部９３が該当する。
この発明の好ましい適用例は、目標深度設定部９３にて設定した目標深度を用いて、焦点距離及びその数を決定する撮像装置である。
（作用効果）
この（７）に記載の撮像装置は、設定した目標深度を用いて焦点距離及びその数を決定する。
従って、この（７）に記載の撮像装置によれば、設定した目標深度を用いることで、焦点距離を効率良く設定することができる。
（８） 上記焦点設定手段は、
各焦点距離における被写界深度を算出する被写界深度算出手段をさらに有し、
上記目標深度設定手段にて設定した上記目標の被写界深度と上記被写界深度算出手段で算出した各焦点距離における被写界深度とを用いて焦点距離及びその数を設定する、
ことを特徴とする（７）に記載の撮像装置。
（対応する実施形態）
この（８）に記載の撮像装置に関する実施形態は、第２実施形態が対応する。ここで、上記被写界深度算出手段は深度算出部９２が該当する。
この発明の好ましい適用例は、深度算出部９２にて各焦点距離での被写界深度を算出し、目標深度設定部９３にて目標の被写界深度を設定し、算出部９４にて深度算出部９２で算出した各焦点距離での被写界深度と目標深度設定部９３で設定した目標被写界深度とを用いて、焦点距離及びその数を決定する撮像装置である。
（作用効果）
この（８）に記載の撮像装置は、各焦点距離での被写界深度と設定した目標被写界深度とを用いて焦点距離及びその数を決定する。
従って、この（８）に記載の撮像装置によれば、各焦点距離での被写界深度と設定した目標被写界深度を用いることで、焦点距離を効率良く設定することができ、処理時間を短縮することができる。
（９） 上記焦点設定手段は、上記撮像装置の光学系の絞り値を検出する絞り値検出手段をさらに有し、
上記被写界深度算出手段は、各焦点距離における被写界深度を、上記絞り値検出手段にて検出した絞り値を用いて算出する、
ことを特徴とする（８）に記載の撮像装置。
（対応する実施形態）
この（９）に記載の撮像装置に関する実施形態は、第２実施形態が対応する。ここで、上記絞り値検出手段は絞り値検出部９１が該当する。
この発明の好ましい適用例は、絞り値検出部９１にて画像撮像部１での絞り値を算出し、深度算出部９２にて絞り値検出部９１で算出した絞り値を用いて各焦点距離での被写界深度を算出し、目標深度設定部９３にて目標の被写界深度を設定し、算出部９４にて深度算出部９２で算出した各焦点距離での被写界深度と目標深度設定部９３で設定した目標被写界深度とを用いて、焦点距離及びその数を決定する撮像装置である。
（作用効果）
この（９）に記載の撮像装置は、絞り値を用いて得られた各焦点距離での被写界深度と設定した目標被写界深度とを用いて焦点距離及びその数を決定する。
従って、この（９）に記載の撮像装置によれば、各焦点距離での被写界深度と設定した目標被写界深度とを用いることで、焦点距離を効率良く設定することができ、処理時間を短縮することができる。
（１０） 上記表示制御手段は、表示フレームレートを設定するフレームレート設定手段を有し、
上記フレームレートは、設定した焦点距離の数に応じて制御する、
ことを特徴とする（３）に記載の撮像装置。
（対応する実施形態）
この（１０）に記載の撮像装置に関する実施形態は、第１及び第２実施形態が対応する。ここで、上記フレームレート設定手段は表示制御部６が該当する。
この発明の好ましい適用例は、表示制御部６にて、表示部７で表示される画像の表示フレームレートを、設定した焦点距離の数に応じて制御する撮像装置である。
（作用効果）
この（１０）に記載の撮像装置は、表示手段で表示される画像信号の表示フレームレートを、設定した焦点距離の数に応じて制御する。
従って、この（１０）に記載の撮像装置によれば、設定した焦点距離の数に応じて表示フレームレートを制御することから、高品位な画像が得られる。
（１１） 複数枚の画像信号を取得する際に、
予め撮像した画像信号から被写体を認識し、
前記被写体の認識結果を用いて複数の焦点距離を設定し、
前記設定された複数の焦点距離で画像信号を取得し、
取得された複数枚の画像信号を連続的に表示するよう制御する、
ことを特徴とする撮像方法。
（対応する実施形態）
この（１１）に記載の撮像方法に関する実施形態は、第１実施形態が対応する。
この発明の好ましい適用例は、被写体認識部３にて被写体を認識し、被写体焦点設定部４にて複数の焦点距離をこの被写体認識部３で認識した各被写体に合わせるよう設定し、画像撮像部１にてこの被写体焦点設定部４で設定した複数の焦点距離における画像信号を取得する撮像方法である。
（作用効果）
この（１１）に記載の撮像方法は、認識した被写体の位置に複数の焦点距離を合わせて画像信号を取得する。
従って、この（１１）に記載の撮像方法によれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度で合焦している複数枚の画像信号が得られる。
（１２） 複数枚の画像信号を撮像する際に、
複数の焦点距離を設定し、
前記設定された複数の焦点距離で画像信号を取得し、
取得された複数枚の画像信号を連続的に表示するよう制御する、
ことを特徴とする撮像方法。
（対応する実施形態）
この（１２）に記載の撮像方法に関する実施形態は、第２実施形態が対応する。
この発明の好ましい適用例は、焦点設定部９にて複数の焦点距離を設定し、画像撮像部１にて焦点設定部９で設定された複数の焦点距離における画像信号を取得する撮像方法である。
（作用効果）
この（１２）に記載の撮像方法は、設定した複数の焦点距離に焦点を合わせて画像信号を取得する。
従って、この（１２）に記載の撮像方法によれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度で合焦している複数枚の画像信号が得られる。
（１３） 複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
予め撮像した画像信号から被写体を認識する被写体認識手段、
前記被写体の認識結果を用いて複数の焦点距離を設定する被写体焦点設定手段、
画像撮像部に、前記設定された複数の焦点距離で画像信号を取得させる画像信号取得手段、
取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段、
として機能させるためのプログラム。
（対応する実施形態）
この（１３）に記載のプログラムに関する実施形態は、第１実施形態が対応する。
この発明の好ましい適用例は、コンピュータに、被写体を認識させ、複数の焦点距離をこの認識した各被写体に合わせるよう設定させ、この設定した複数の焦点距離における画像信号を画像撮像部に取得させるプログラムである。
（作用効果）
この（１３）に記載のプログラムは、認識した被写体の位置に複数の焦点距離を合わせて画像信号を取得させる。
従って、この（１３）に記載のプログラムによれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度で合焦している複数枚の画像信号が得られる。
（１４） 複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
複数の焦点距離を設定する焦点設定手段、
画像撮像部に、前記設定された複数の焦点距離で画像信号を取得させる画像信号取得手段、
取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段、
として機能させるためのプログラム。
（対応する実施形態）
この（１４）に記載のプログラムに関する実施形態は、第２実施形態が対応する。
この発明の好ましい適用例は、コンピュータに、複数の焦点距離を設定させ、設定された複数の焦点距離における画像信号を画像撮像部に取得させるプログラムである。
（作用効果）
この（１４）に記載のプログラムは、設定した複数の焦点距離に焦点を合わせて画像信号を取得させる。
従って、この（１４）に記載のプログラムによれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度で合焦している複数枚の画像信号が得られる。
１…画像撮像部、 ２…前処理部、 ３…被写体認識部、 ４…被写体焦点設定部、 ５…制御部、 ６…表示制御部、 ７…表示部、 ８…画角補正部、 ９…焦点設定部、 １１…レンズ系、 １２…撮像系、 １３…レンズ駆動装置、 ４１…焦点距離設定部、 ４２…焦点数設定部、 ４３…被写体深度算出部、 ４４…距離算出部、 ４５…比較部、 ４６…算出部、 ４７…目標深度設定部、 ９１…絞り値検出部、 ９２…深度算出部、 ９３…目標深度設定部、 ９４…算出部。

Claims (16)

  1. 複数枚の画像信号を取得する撮像装置において、
    予め撮像した画像信号から被写体を認識する被写体認識手段と、
    前記被写体認識手段での被写体認識結果を用いて複数の焦点距離を設定する被写体焦点設定手段と、
    前記被写体焦点設定手段で設定された複数の焦点距離で画像信号を取得する画像信号取得手段と、
    前記画像信号取得手段により取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段と、
    を備え、
    前記被写体焦点設定手段は、
    前記被写体認識手段で認識した各被写体の焦点距離を算出する距離算出手段と、目標の被写界深度を設定する目標深度設定手段と、を有し、
    前記距離算出手段で算出した焦点距離間の最大値が前記目標深度設定手段で設定した目標被写界深度を満たすように、少なくとも前記距離算出手段で算出した焦点距離を含む複数の焦点距離を設定する、ことを特徴とする撮像装置。
  2. 複数枚の画像信号を取得する撮像装置において、
    複数の焦点距離を設定する焦点設定手段と、
    前記焦点設定手段で設定された複数の焦点距離で画像信号を取得する画像信号取得手段と、
    前記画像信号取得手段により取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段と、
    を備え、
    前記焦点設定手段は、
    目標の被写界深度を設定する目標深度設定手段を有し、
    前記目標深度設定手段にて設定した目標の被写界深度を用いて焦点距離及びその数を設定する、ことを特徴とする撮像装置。
  3. 複数枚の画像信号を取得する撮像装置において、
    予め撮像した画像信号から被写体を認識する被写体認識手段と、
    前記被写体認識手段での被写体認識結果を用いて複数の焦点距離を設定する被写体焦点設定手段と、
    前記被写体焦点設定手段で設定された複数の焦点距離で画像信号を取得する画像信号取得手段と、
    前記画像信号取得手段により取得された前記複数の焦点距離における画像信号を連続的に表示するよう制御する表示制御手段と、
    を備え、
    前記表示制御手段は、
    表示フレームレートを設定するフレームレート設定手段を有し、
    前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とする撮像装置。
  4. 複数枚の画像信号を取得する撮像装置において、
    複数の焦点距離を設定する焦点設定手段と、
    前記焦点設定手段で設定された複数の焦点距離で画像信号を取得する画像信号取得手段と、
    前記画像信号取得手段により取得された前記複数の焦点距離における画像信号を連続的に表示するよう制御する表示制御手段と、
    を備え、
    前記表示制御手段は、
    表示フレームレートを設定するフレームレート設定手段を有し、
    前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とする撮像装置。
  5. 前記焦点距離の変化に対して、画角が変化しないよう補正する補正手段をさらに備えたことを特徴とする請求項１から４のいずれかに記載の撮像装置。
  6. 前記被写体焦点設定手段は、
    前記被写体認識手段で認識した前記被写体の位置に前記焦点距離を設定する焦点距離設定手段と、
    設定する焦点距離の数を前記被写体の数を用いて設定する焦点数設定手段と、を有することを特徴とする請求項１または３に記載の撮像装置。
  7. 前記焦点設定手段は、
    各焦点距離における被写界深度を算出する被写界深度算出手段をさらに有し、
    前記目標深度設定手段にて設定した前記目標の被写界深度と前記被写界深度算出手段で算出した各焦点距離における被写界深度とを用いて焦点距離及びその数を設定する、ことを特徴とする請求項２に記載の撮像装置。
  8. 前記焦点設定手段は、前記撮像装置の光学系の絞り値を検出する絞り値検出手段をさらに有し、
    前記被写界深度算出手段は、各焦点距離における被写界深度を、前記絞り値検出手段にて検出した絞り値を用いて算出する、ことを特徴とする請求項７に記載の撮像装置。
  9. 複数枚の画像信号を取得する際に、
    予め撮像した画像信号から被写体を認識する手順と、
    前記被写体の認識結果を用いて複数の焦点距離を設定する手順と、
    前記設定された複数の焦点距離で画像信号を取得する手順と、
    取得された複数枚の画像信号を連続的に表示するよう制御する手順と、
    を備え、
    前記複数の焦点距離を設定する手順は、
    前記被写体を認識する手順で認識した各被写体の焦点距離を算出する手順と、目標の被写界深度を設定する手順と、を有し、
    前記各被写体の焦点距離間の最大値が前記目標の被写界深度を満たすように、少なくとも前記各被写体の焦点距離を含む複数の焦点距離を設定する、ことを特徴とする撮像方法。
  10. 複数枚の画像信号を取得する際に、
    複数の焦点距離を設定する手順と、
    前記設定された複数の焦点距離で画像信号を取得する手順と、
    取得された複数枚の画像信号を連続的に表示するよう制御する手順と、
    を備え、
    前記複数の焦点距離を設定する手順は、
    目標の被写界深度を設定する手順を有し、
    前記目標の被写界深度を用いて焦点距離及びその数を設定する、ことを特徴とする撮像方法。
  11. 複数枚の画像信号を取得する際に、
    予め撮像した画像信号から被写体を認識する手順と、
    前被写体の認識結果を用いて複数の焦点距離を設定する手順と、
    前記設定された複数の焦点距離で画像信号を取得する手順と、
    取得された前記複数の焦点距離における画像信号を連続的に表示するよう制御する手順と、
    を備え、
    前記画像信号を連続的に表示するよう制御する手順は、
    表示フレームレートを設定する手順を有し、
    前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とする撮像方法。
  12. 複数枚の画像信号を取得する際に、
    複数の焦点距離を設定する手順と、
    前記設定された複数の焦点距離で画像信号を取得する手順と、
    取得された前記複数の焦点距離における画像信号を連続的に表示するよう制御する手順と、
    を備え、
    前記画像信号を連続的に表示するよう制御する手順は、
    表示フレームレートを設定する手順を有し、
    前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とする撮像方法。
  13. 複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムであって、
    前記コンピュータを、
    予め撮像した画像信号から被写体を認識する被写体認識手段、
    前記被写体の認識結果を用いて複数の焦点距離を設定する被写体焦点設定手段、
    画像撮像部に、前記設定された複数の焦点距離で画像信号を取得させる画像信号取得手段、
    取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段、
    として機能させ、
    前記コンピュータを前記被写体焦点設定手段として機能させる際に、
    前記コンピュータを、前記認識した各被写体の焦点距離を算出する距離算出手段、目標の被写界深度を設定する目標深度設定手段、として機能させ、
    前記各被写体の焦点距離間の最大値が前記目標の被写界深度を満たすように、少なくとも前記各被写体の焦点距離を含む複数の焦点距離を設定する、ことを特徴とするプログラム。
  14. 複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムであって、
    前記コンピュータを、
    複数の焦点距離を設定する焦点設定手段、
    画像撮像部に、前記設定された複数の焦点距離で画像信号を取得させる画像信号取得手段、
    取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段、
    として機能させ、
    前記コンピュータを前記焦点設定手段として機能させる際に、
    前記コンピュータを、目標の被写界深度を設定する目標深度設定手段として機能させ、
    前記目標の被写界深度を用いて焦点距離及びその数を設定する、ことを特徴とするプログラム。
  15. 複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムであって、
    前記コンピュータを、
    予め撮像した画像信号から被写体を認識する被写体認識手段、
    前記被写体の認識結果を用いて複数の焦点距離を設定する被写体焦点設定手段、
    画像撮像部に、前記設定された複数の焦点距離で画像信号を取得させる画像信号取得手段、
    取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段、
    として機能させ、
    前記コンピュータを前記表示制御手段として機能させる際に、
    前記コンピュータを、表示フレームレートを設定するフレームレート設定手段として機能させ、
    前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とするプログラム。
  16. 複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムであって、
    前記コンピュータを、
    複数の焦点距離を設定する焦点設定手段、
    画像撮像部に、前記設定された複数の焦点距離で画像信号を取得させる画像信号取得手段、
    取得された複数枚の画像信号を連続的に表示するよう制御する表示制御手段、
    として機能させ、
    前記コンピュータを前記表示制御手段として機能させる際に、
    前記コンピュータを、表示フレームレートを設定するフレームレート設定手段として機能させ、
    前記表示フレームレートを、設定した焦点距離の数に応じて制御する、ことを特徴とするプログラム。
JP2010207122A 2010-09-15 2010-09-15 撮像装置、撮像方法及びプログラム Active JP5638890B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010207122A JP5638890B2 (ja) 2010-09-15 2010-09-15 撮像装置、撮像方法及びプログラム
PCT/JP2011/069602 WO2012035971A1 (ja) 2010-09-15 2011-08-30 撮像装置、撮像方法及び記録媒体
US13/831,086 US20130201355A1 (en) 2010-09-15 2013-03-14 Imaging apparatus, imaging method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010207122A JP5638890B2 (ja) 2010-09-15 2010-09-15 撮像装置、撮像方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2012065113A JP2012065113A (ja) 2012-03-29
JP5638890B2 true JP5638890B2 (ja) 2014-12-10

Family

ID=45831441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010207122A Active JP5638890B2 (ja) 2010-09-15 2010-09-15 撮像装置、撮像方法及びプログラム

Country Status (3)

Country Link
US (1) US20130201355A1 (ja)
JP (1) JP5638890B2 (ja)
WO (1) WO2012035971A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685905B (zh) * 2012-09-17 2016-12-28 联想(北京)有限公司 一种拍照方法及电子设备
US20150010236A1 (en) * 2013-07-08 2015-01-08 Htc Corporation Automatic image refocusing method
US9726876B2 (en) * 2013-11-27 2017-08-08 Mitutoyo Corporation Machine vision inspection system and method for obtaining an image with an extended depth of field
CN109842758B (zh) * 2017-11-29 2022-06-07 超威半导体公司 计算传感器
KR102526651B1 (ko) * 2017-12-01 2023-04-27 삼성전자주식회사 영상 데이터 처리 방법 및 장치
CN111837144A (zh) 2018-03-13 2020-10-27 奇跃公司 使用机器学习的增强图像深度感测
US11289078B2 (en) * 2019-06-28 2022-03-29 Intel Corporation Voice controlled camera with AI scene detection for precise focusing

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4777087B2 (ja) * 2005-03-03 2011-09-21 富士フイルム株式会社 撮像装置、撮像方法、および撮像プログラム、並びに画像記録出力システム、画像記録出力方法
JP5139840B2 (ja) * 2008-02-27 2013-02-06 京セラ株式会社 撮像装置、画像生成方法、および電子機器
JP2009239460A (ja) * 2008-03-26 2009-10-15 Sony Corp 焦点制御方法、測距装置、撮像装置
JP5267149B2 (ja) * 2009-01-19 2013-08-21 ソニー株式会社 表示制御装置、表示制御方法及びプログラム

Also Published As

Publication number Publication date
WO2012035971A1 (ja) 2012-03-22
JP2012065113A (ja) 2012-03-29
US20130201355A1 (en) 2013-08-08

Similar Documents

Publication Publication Date Title
JP5638890B2 (ja) 撮像装置、撮像方法及びプログラム
JP6271990B2 (ja) 画像処理装置、画像処理方法
JP5870264B2 (ja) 撮像装置、撮像方法、プログラム、および集積回路
US9154745B2 (en) Endscope apparatus and program
JP5953187B2 (ja) 合焦制御装置、内視鏡システム及び合焦制御方法
JP6305053B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5684033B2 (ja) 撮像装置及び内視鏡装置の作動方法
US9444994B2 (en) Image pickup apparatus and method for operating image pickup apparatus
US20140184883A1 (en) Imaging device, semiconductor integrated circuit and imaging method
JP6548367B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2007043637A (ja) 撮像装置、撮像プログラムおよび画像処理プログラム
JP2008271240A (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP5799863B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2012199752A (ja) 画像処理装置と画像処理方法およびプログラム
WO2018021035A1 (ja) 画像処理装置および方法、内視鏡システム、並びにプログラム
JP2018101951A (ja) 撮像装置、撮像方法およびコンピュータのプログラム
JP6752685B2 (ja) 撮像装置、撮像方法およびプログラム
JP2019138982A (ja) 内視鏡装置、内視鏡装置の制御方法、内視鏡装置の制御プログラム、および記録媒体
JP2012065114A (ja) 撮像装置、撮像方法及びプログラム
JP5075110B2 (ja) 焦点調節装置及び方法
JP5959331B2 (ja) 内視鏡装置
JP2019083580A (ja) 画像処理装置、画像処理方法、プログラム
JP2011039295A (ja) ブレ補正装置及び光学機器
JP2017063340A (ja) 像ブレ補正装置、撮像装置および制御方法
JP2015035001A (ja) ブレ補正装置及び光学機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141023

R151 Written notification of patent or utility model registration

Ref document number: 5638890

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250