JP5809688B2 - 撮像装置、半導体集積回路および撮像方法 - Google Patents
撮像装置、半導体集積回路および撮像方法 Download PDFInfo
- Publication number
- JP5809688B2 JP5809688B2 JP2013502197A JP2013502197A JP5809688B2 JP 5809688 B2 JP5809688 B2 JP 5809688B2 JP 2013502197 A JP2013502197 A JP 2013502197A JP 2013502197 A JP2013502197 A JP 2013502197A JP 5809688 B2 JP5809688 B2 JP 5809688B2
- Authority
- JP
- Japan
- Prior art keywords
- focus lens
- image sensor
- imaging
- displacement
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
- G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Lens Barrels (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
Description
本発明は、例えば被写界深度拡張に用いるFlexible DOF(Depth Of Field)方式における、動画もしくは連続静止画撮影に関する。
撮像装置において、被写界深度拡張(Extended Depth Of Field、以下EDOFと称する)を実現する方式として、一般的には主に以下の3つの方式が挙げられる。
1つ目の方式は、位相板と呼ばれる光学素子を挿入することにより深度方向の像のボケを均一化し、あらかじめ測定もしくはシミュレーションにより、得られたボケパターンによって画像復元処理を行い、被写界深度が拡張された画像(以下、EDOF画像という)を得る。この方式は、Wavefront Coding(以下WFCと称する)と称されている(非特許文献1)。
2つ目の方式は、絞り形状を工夫することにより画像の部分領域ごとに高精度な距離測定を行い、あらかじめ測定しておいたそれぞれの距離に応じたボケパターンによって画像復元処理を行い、EDOF画像を得る。この方式は、Coded Aperture(以下CAと称する)と称されている(非特許文献2)。
3つ目の方式は、露光時間中にフォーカスレンズもしくは撮像素子を動かすことにより、深度方向に一律に合焦した画像を畳み込み(つまり各深度で像のボケを均一化することと同義)、あらかじめ測定もしくはシミュレーションにより得られたボケパターンによって画像復元処理を行い、EDOF画像を得る。この方式は、Flexible DOF(以下F−DOFと称する)と称されている(非特許文献3)。
この他、レンズの軸上色収差を利用して深度推定もしくは画像のシャープネス検知を行い、画像処理により全体が鮮鋭な画像を得る方式(非特許文献4)が知られている。多重焦点レンズを使って深度方向の像のボケを均一化し、あらかじめ測定もしくはシミュレーションにより得られたボケパターンによって画像復元処理を行う方式(非特許文献5)なども知られている。しかし、これらの方式は、原理上、上述した3つの方式に比べて、EDOF効果が小さいという欠点がある。
さらに、Focal Stackと呼ばれる方式も古くから知られている。この方式は、合焦位置の異なる複数枚の画像を撮影し、それぞれ合焦していると思われる領域をそれぞれの画像から抽出・合成し、EDOF画像を得る。この方式の場合、多くの撮影画像を必要とするため、撮像に比較的時間を要することおよび画像の記憶にメモリ量を多く消費してしまうという問題がある。
上述した3つの方式のうち、WFCは、様々な種類の位相板が提案されており、最もEDOF効果の得られるものとして、Cubic Phase Mask(以下CPMと称する)やFree−Form Phase Mask(以下FPMと称する)などが挙げられる。復元後の画質(アーティファクトの少なさ)の観点からFPMが有力とされている(非特許文献6)。しかしながら、WFC共通の欠点として、位相板を挿入することにより、レンズの光軸外の特性が悪化するという性質がある(非特許文献7)。具体的には、正面からの入射光と比べ、正面以外からの入射光に対して、同じだけのボケ均一効果が得られないため、画像復元時に軸上のボケパターンで復元処理を行うと、復元後の光軸外の画質が劣化してしまう。
上述した3つの方式のうち、CAは、特徴的な形状の絞りを挿入することにより距離測定精度を高めるという方式そのものがもつ特性により、撮影された画像や復元処理後に得られる画像の特定周波数成分が失われてしまう、つまり画質劣化してしまうという欠点がある。また一般的に絞り形状に関わらず通常の撮影方法よりも光量が減るため、暗い場所での撮影に向かない。
上述した3つの方式のうち、F−DOFは、この中で最も良好な画質が得られる方式であり、EDOF効果も高い。軸外特性もレンズ特性そのものに依存するため、性能を高めやすい。ただし、F−DOFによれば、露光中、フォーカスレンズの位置を動かしても、同一被写体が同一の画像位置上に畳み込まれる場合に良好な画質の画像が得られる。このために、F−DOFでは像側テレセントリックレンズを用いる場合がある。
EDOF技術の利用分野の1つに、顕微鏡が挙げられる。顕微鏡による撮像の場合、撮影対象が静物体であるため、時間をかけて撮影することができる。このため、Focal Stack方式が古くから用いられてきた。ただしこの方式の場合、前述のとおり手間および時間を要することから、F−DOF方式も併用した技術が提案されている(特許文献1〜4)。F−DOFを顕微鏡用途で用いる場合、露光中に被写体である試料またはレンズ鏡筒を移動させる。露光後の画像復元処理を前提とする場合、像のボケが常に均一になるよう被写体またはレンズ鏡筒を移動させる。この移動の仕方を適切に制御すれば、単一のボケパターンを使った画像復元処理方法が適用できるため合理的であることが知られている(特許文献5)。そのためには、撮像素子を移動させる場合、撮像素子を等速度で動かす。またフォーカスレンズを移動させる場合、撮像面が等速度で動くのに相当するフォーカス変位を行う必要がある(非特許文献3)。動かすパターンとしては、奥側合焦端位置から手前側合焦端位置まで、またはその逆でもよいことが知られている。
この他、近年、EDOF技術を携帯電話などに搭載されるカメラに適用する例が知られている。EDOFの効果により、オートフォーカス機構を持つことなく、全焦点画像(すべての被写体に焦点が合っている画像)を得ることができるからである。この観点では、上述の3つの方式のうち、WFCや軸上色収差を用いる方式が採用されている。F−DOFは、フォーカスレンズもしくは撮像素子を動かす機構が必要となるため、一般的には採用されていない。
E.R.Dowski and W.T.Cathey,"Extended depth of field through wave−front coding", Applied Optics, Vol.34, No.11, P.1859−1866 (1995)
A.Levin, R.Fergus, F.Durand and W.T.Freeman,"Image and Depth from a Conventional Camera with a Coded Aperture", ACM Transactions on Graphics, Vol.26, No.3, Article 70, 70−1 − 70−9 (2007)
H.Nagahara, S.Kuthirummal, C.Zhou and S.Nayar,"Flexible Depth of Field Photography", European Conference on Computer Vision (ECCV),Oct.16th, Morning Session 2: Computational Photography (2008)
C.Tisse, H.P.Nguyen, R.Tesieres, M.Pyanet and F.Guichard,"Extended Depth−of−field (EDOF) using sharpness transport across colour channels", Optical Engineering + Applications, Part of SPIE Optics + Photonics, Session 1−− Imaging in the Optical Design Process: Depth of Field (2008)
W.Chi and N.George,"Computational imaging with the logarithmic asphere: theory", Optical Society of America, Vol.20, No.12, December (2003)
Y.Takahashi and S.Komatsu,"Optimized free−form phase mask for extension of depth of field in wavefront−coded imaging", Optical Society of America, Optics Letters, Vol.33, No.13, July 1, (2008)
高橋康久, 尾花亮, 小松進一, 「ウェイブフロント・コーディング用最適化位相板―軸外の被写界深度拡張効果―」, Optics & Photonics Japan 2007(日本光学会年次学術講演会), 予稿集,P.464−465(27pC2), (2007)
近年、簡単にかつ失敗の少ない撮影を行うことが可能なデジタルスチルカメラやデジタルビデオカメラへのニーズがある。このようなデジタルスチルカメラやデジタルビデオカメラを実現するために、EDOF技術を採用することが考えられる。EDOF技術を用いれば、全焦点画像、すなわち合焦ミスから解放されるという効果が期待できるからである。
本願発明は、このような課題に鑑み、EDOF画像を得ることのできる、撮像装置、撮像装置に用いられる集積回路および撮像方法を提供することを目的とする。
本願に開示された撮像装置は、二次元に配列された複数の光電変換素子を有し、前記複数の光電変換素子を順次走査して露光させ、前記複数の光電変換素子から順次走査して電気信号を読み出すことにより、画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御する変位制御部と、前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御する同期部とを備え、前記所定の変位パターンは、撮像シーン中の第1被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第1合焦位置と、前記撮像シーン中の第2被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第2合焦位置との間の全区間における、前記駆動される前記撮像素子または前記フォーカスレンズの往復変位であり、前記駆動される前記撮像素子または前記フォーカスレンズは、複数の光電変換素子のそれぞれにおける、前記撮像シーンの1画像分の露光時間中に整数回数、往復変位する。
本願に開示された撮像装置、集積回路および撮像方法によれば、ローリングシャッター動作を行うCMOS型撮像素子を用いてF−DOF方式で動画撮影もしくは連続静止画撮影を実現することができる。
本願発明者は、通常の撮影に用いられる、オートフォーカス機構等のフォーカスレンズを駆動させる機構を備えたデジタルスチルカメラやデジタルビデオカメラにおいて、EDOF画像を得るために適した構造について詳細に検討した。このような用途のカメラでは、得られる画像が高画質であること、EDOF効果が大きいこと、EDOF範囲を任意に変更することが可能なこと、通常のオートフォーカス機構を応用することにより実現可能なこと(特別な光学系を用意しなくてすむこと)、EDOF撮影と通常撮影の切り替えが容易なこと、などから、F−DOF方式が適している。
まず、F−DOF方式の撮像を実現するのに必要な構成を、図12および図13を用いて説明する。図12に示す撮像装置300は、露光時間中にフォーカスレンズを変位させる構造の一例を示している。撮像装置300は、フォーカスレンズ101を含むレンズ光学系120、フォーカスレンズ101を駆動するフォーカスレンズ駆動部103および撮像素子104を含む。フォーカスレンズ101の位置を変化させることにより、撮像素子104との距離を変化させ、フォーカス距離を変更し得る。フォーカスレンズ101が固定していると考えた場合、フォーカス距離の変更は、焦点位置の変更と同義である。
レリーズ受付部113がユーザから露光開始指令を受け付けると、フォーカスレンズ位置検出部102が、フォーカスレンズ101のそのときの位置(初期位置)を検出する。検出後、フォーカスレンズ101の位置を所定の端位置、例えば最近端もしくは最遠端へ変位させる。
図13は、撮影シーンに含まれる被写体と撮像装置300内におけるフォーカスレンズ101および撮像素子104との位置関係を示す模式図である。
最近端とは、撮影シーンに含まれる被写体のうち、撮像装置300に最も近い被写体が撮像素子104の撮像面上において像を形成するようにフォーカスレンズ101を移動させた場合におけるフォーカスレンズ101の位置をいう。この時、被写体から撮像装置300のフォーカスレンズ101までの距離uは最も短くなり、フォーカスレンズ101と撮像素子104との距離vは最も長くなる。
また、最遠端とは、撮影シーンに含まれる被写体のうち、撮像装置300に最も遠い被写体が撮像素子104の撮像面上において像を形成するようにフォーカスレンズ101を移動させた場合におけるフォーカスレンズ101の位置をいう。この時、被写体から撮像装置300のフォーカスレンズ101までの距離uは最も長くなり、フォーカスレンズ101と撮像素子との距離vは最も短くなる。なお、図13では、図示し易さのため、被写体と撮像装置300との距離に比べて、フォーカスレンズ101の最近端と最遠端との距離が大きく示されている。
フォーカスレンズ101の初期化作業と同時に、露光時間決定部114にて、シャッター速度や絞り値などの撮影パラメータを決定する。これらの動作の終了後すみやかに、露光、フォーカス変位の同期を取る露光・フォーカスレンズ変位同期部107は、露光開始の指令をフォーカスレンズ変位制御部106およびシャッター開閉指令部112へ出力する。同時にフォーカスレンズ位置検出部102で検出されたフォーカスレンズ101の端位置に基づき、端位置が最遠端であれば最遠端から最近端へ、端位置が最近端であれば最近端から最遠端へ、露光時間内にフォーカスレンズ101を変位させる指令をフォーカスレンズ変位制御部106へ出力する。図14は、露光時間および露光量と像面側の焦点距離との関係を示している。像面側の焦点距離はフォーカスレンズ101の位置によって変化し、撮像素子面に対して等速にフォーカスレンズの位置が変位するよう、フォーカスレンズ変位制御部106の指令に基づき、フォーカスレンズ101がフォーカスレンズ駆動部103によって駆動される。上述したように、被写体とフォーカスレンズ101との距離をuとし、フォーカスレンズ101と撮像素子104との距離をvとし、焦点距離をfとすると、一般的にレンズの公式より、
(式1)1/f=1/u+1/v
の関係が成り立つ。レンズが複数枚存在するときは、レンズ主点位置で考慮する。一例として、fが18[mm]のときのuとvとの関係を図15に示す。フォーカスレンズ101が変位することにより、レンズ主点と撮像素子間の距離vが変化する。撮像素子面に対して等速にフォーカスレンズの変位が変化するよう、フォーカスレンズ101を駆動するとは、このvの変化速度が一定であることを意味する。図15に示すように、vが等速度で変位しても、被写体側の焦点面とレンズ主点間の距離uが等速度で変位するわけではない。また図15の横軸は像面側焦点距離vであるため、被写体距離uの大小とは逆の関係になる。つまり、被写体距離が長い(遠くに位置する)被写体ほど像面側焦点距離vが短くなる。
(式1)1/f=1/u+1/v
の関係が成り立つ。レンズが複数枚存在するときは、レンズ主点位置で考慮する。一例として、fが18[mm]のときのuとvとの関係を図15に示す。フォーカスレンズ101が変位することにより、レンズ主点と撮像素子間の距離vが変化する。撮像素子面に対して等速にフォーカスレンズの変位が変化するよう、フォーカスレンズ101を駆動するとは、このvの変化速度が一定であることを意味する。図15に示すように、vが等速度で変位しても、被写体側の焦点面とレンズ主点間の距離uが等速度で変位するわけではない。また図15の横軸は像面側焦点距離vであるため、被写体距離uの大小とは逆の関係になる。つまり、被写体距離が長い(遠くに位置する)被写体ほど像面側焦点距離vが短くなる。
露光・フォーカスレンズ変位同期部107から露光開始指令を受け取ると、シャッター開閉指令部112はすぐに、シャッター111が開くよう制御する。また所定の露光時間経過後、露光・フォーカスレンズ変位同期部107は、シャッター開閉指令部112へ露光終了指令を出力する。シャッター開閉指令部112は露光終了指令を受け取り、すぐに、シャッター111が閉まるよう制御を行う。
上記手順によって撮像素子104に被写体の光学像が結像すると、結像した光学像は、撮像素子104によって電気信号に変換され、読み出し回路108を介して、画像処理部109へ画像信号が出力される。同時に露光・フォーカスレンズ変位同期部107より画像処理部109へ、露光が終了したことおよびF−DOFによるフォーカス変位の撮影が行われたことが通知される。画像処理部109は画像信号を受け取り、必要な信号処理を行い、記録部110へ出力する。
図16に示す撮像装置400は、撮像素子104、撮像素子位置検出部202、露光・撮像素子変位同期部207、撮像素子変位制御部206、撮像素子駆動部203を備え、露光時間中に撮像素子を変位させる。撮像素子位置検出部202は、撮像装置300とは異なり、撮像素子104の位置を検出する。露光・撮像素子変位同期部207は露光のタイミングと撮像素子104の変位との同期を取る。撮像素子変位制御部206は、撮像素子104の変位を制御する。撮像素子駆動部203は、撮像素子変位制御部206からの信号を受けて撮像素子104を駆動する。
レリーズ受付部113がユーザから露光開始指令を受け付けると、撮像素子位置検出部202が、撮像素子104のそのときの位置(初期位置)を検出する。検出後、撮像素子104の位置を所定の端位置、例えば最近端もしくは最遠端へ変位させる。ここで所定の合焦範囲のうち、最近端とは、撮影シーンに含まれる被写体のうち、撮像装置400に最も近い被写体が撮像素子104の撮像面上において像を形成するように撮像素子104を移動させた場合における撮像素子104の位置をいう。この時、被写体からフォーカスレンズ101までの距離uは最も短くなり、フォーカスレンズ101と撮像素子104との距離vは最も長くなる。また、最遠端とは、撮影シーンに含まれる被写体のうち、撮像装置400に最も遠い被写体が撮像素子104の撮像面上において像を形成するように撮像素子104を移動させた場合における撮像素子104の位置をいう。この時、被写体からフォーカスレンズ101までの距離uは最も長くなり、フォーカスレンズ101と撮像素子104との距離vは最も短くなる。
撮像素子104の初期化作業と同時に、露光時間決定部114にて、シャッター速度や絞り値などの撮影パラメータを決定する。これらの動作の終了後すみやかに、露光、撮像素子変位の同期を取る露光・撮像素子変位同期部207は、露光開始の指令を撮像素子変位制御部206およびシャッター開閉指令部112へ出力する。同時に撮像素子位置検出部202で検出された撮像素子104の端位置に基づき、端位置が最遠端であれば最遠端から最近端へ、端位置が最近端であれば最近端から最遠端へ、露光時間内に撮像素子104を変位させる指令を撮像素子変位制御部206へ出力する。撮像素子104は等速で変位する。
露光・撮像素子変位同期部207から露光開始指令を受け取ると、シャッター開閉指令部112はすぐに、シャッター111が開くよう制御する。また所定の露光時間経過後、露光・撮像素子変位同期部207は、シャッター開閉指令部112へ露光終了指令を出力する。シャッター開閉指令部112は露光終了指令を受け取り、すぐに、シャッター111が閉まるよう制御する。
上記手順にて撮像素子104に被写体の光学像を結像すると、結像した光学像は、撮像素子104によって電気信号に変換され、読み出し回路108を介して画像処理部109へ電気信号が出力される。同時に露光・撮像素子変位同期部207より画像処理部109へ、露光が終了したことおよびF−DOFによるフォーカス変位の撮影が行われたことが通知される。これ以外の構成は、図12に示す撮像装置300と同じ動作を行う。
撮像装置300および撮像装置400において、撮像素子104には、CCD型撮像素子またはCMOS型撮像素子が用いられる。このうち、多数の画素を高速に読み出す動作はCMOS型撮像素子の方が優れており、例えばFullHD(1920×1080)サイズの画像を秒間60フレーム読み出すような用途で民生機に用いられつつある。
CCD型撮像素子およびCMOS型撮像素子では、レンズを通して撮像素子を露光させることにより撮像素子内の各画素に電荷を蓄積し、それを読み出すことにより画像情報を得ることができる。CMOS型撮像素子で撮像素子を露光して得られた電荷を連続して読み出す場合、二次元に配列された画素集合を行などの部分単位で順次走査して各画素から電荷を読み出すローリングシャッターと呼ばれる電子シャッター制御方式が用いられる。
図17はCMOS型撮像素子における画素集合からの電荷の読み出しタイミングを示している。横軸は時間を示し、縦軸は、撮像素子の読み出し行の位置を示している。撮像素子はN行の複数の画素行によって構成されている。図17に示すように、撮像素子の先頭行から順次走査して各画素から電荷を読み出し、その直後から電荷を蓄積し始め、所定時間経過後に再度走査して各画素から電荷を読み出すことにより画像信号を得る。第N行目の走査が終了した後は先頭から走査を再度繰り返すことにより、連続した動画像を得ることができる。図17からわかるように、ローリングシャッターで撮影を行う場合、撮像素子面内での撮像タイミングにずれが生じ、先頭行と最終行では最大1読み出し時間分のずれが生じる。
前述のF−DOF方式を実現するためには、フォーカス状態を所定の合焦範囲の最遠端から最近端まで変位させて(以降、この動作をスイープ動作と称する)、撮像素子面内の全ての画素を均一に露光させた画像を得る必要がある(以降、この画像をスイープ画像と称する)。ところが撮像素子にCMOS型撮像素子を用いる場合、前述のローリングシャッターにより撮像素子面内の撮像タイミングのずれが発生するため、単純に最遠端から最近端までスイープ動作させても、撮像素子面内で均一なスイープ画像を得ることができない。
図18(a)は連続して撮像するために、フォーカスレンズの位置を最遠端から最近端の間で往復動作によって変化させた場合におけるフォーカスレンズの位置(フォーカスレンズと撮像素子との距離)を示す図であり、図18(b)は図18(a)に対応したCMOS型撮像素子の露光および読み出しタイミングを示す図である。撮像素子が最遠端で合焦する位置から撮像素子先頭行に電荷の蓄積を開始し、撮像素子が最近端で合焦する位置に到達したタイミングで撮像素子先頭行に蓄積された電荷を読み出す。それと同時に撮像素子最終行に電荷の蓄積を開始し、撮像素子が再度最遠端に到達したタイミングで撮像素子最終行に蓄積された電荷を読み出す。
図18(c)〜(f)は、それぞれ撮像素子の読み出し行の先頭である第1行目、中間部のi行目およびj行目、終端行であるN行目におけるフォーカスレンズの位置と露光量の分布を示す図である。図からわかるように、第1行目およびN行目以外では最遠端から最近端まで均一に露光ができず、最適なスイープ画像の取得ができない。
なお、CCD型撮像素子を用いる場合、撮像素子面内において同一タイミングで撮像素子の露光・読み出しが可能であるため、図18(a)に示すスイープ動作でスイープ画像を得ることができる。しかしCCD型撮像素子は高速読み出しに不向きである。このため、高解像度かつ高いフレームレートでEDOF画像を得るためには、CMOS型撮像素子を用いた撮像装置において、F−EDOF方式による撮影を行うことが好ましい。
本願発明者はこのような課題に鑑み、新規な撮像装置を想到した。以下、図面を参照しながら、本発明による撮像装置、集積回路および撮像方法の実施の形態を詳細に説明する。以下の説明において、同じ構成要素には同じ符号を付しており、説明を省略する場合もある。
本発明の一態様である撮像装置は、二次元に配列された複数の光電変換素子を有し、前記複数の光電変換素子を順次走査して露光させ、前記複数の光電変換素子から順次走査して電気信号を読み出すことにより、画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御する変位制御部と、前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御する同期部とを備え、前記所定の変位パターンは、撮像シーン中の第1被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第1合焦位置と、前記撮像シーン中の第2被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第2合焦位置との間の全区間における、前記駆動される前記撮像素子または前記フォーカスレンズの往復変位であり、前記駆動される前記撮像素子または前記フォーカスレンズは、複数の光電変換素子のそれぞれにおける、前記撮像シーンの1画像分の露光時間中に整数回数、往復変位する。
ある例示的な態様において、前記撮像素子において、前記複数の光電変換素子は行方向および列方向に二次元に配置されており、前記複数の光電変換素子は行ごとに露光され、前記複数の光電変換素子から行ごとに前記画像信号が読み出される。
ある例示的な態様において、前記駆動される前記撮像素子または前記フォーカスレンズは、前記露光の開始に同期して前記変位動作を開始し、前記露光の終了に同期して前記変位動作が終了する。
ある例示的な態様において、撮像装置は、前記撮像シーンに基づいて前記撮像素子の露光時間を決定する露光時間決定部と、前記第1合焦位置、前記第2合焦位置および前記露光時間に基づいて前記変位パターンを決定する変位設定部とをさらに備える。
ある例示的な態様において、撮像装置は、前記駆動される前記撮像素子または前記フォーカスレンズの位置を検出する位置検出部をさらに備え、前記変位制御部は前記位置検出部の出力および前記変位パターンに基づき、前記駆動部に駆動量を指令する。
ある例示的な態様において、撮像装置は、前記撮像素子から前記画像信号を読み出す読み出し回路をさらに備え、同期部は、前記撮像素子の露光のタイミングに基づき、前記変位制御部および前記読み出し回路を制御する。
ある例示的な態様において、前記往復変位の回数は1である。
ある例示的な態様において、前記往復変位の回数は2である。
本発明の一態様である集積回路は、二次元に配列された複数の光電変換素子を有し、前記複数の光電変換素子を順次走査して露光させ、前記複数の光電変換素子から順次走査して電気信号を読み出すことにより、画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部とを備えた撮像装置の集積回路であって、前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御する変位制御部と、前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御する同期部とを備え、前記所定の変位パターンは、前記撮像シーン中の第1被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第1合焦位置と、前記撮像シーン中の第2被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第2合焦位置との間の全区間における、前記駆動される前記撮像素子または前記フォーカスレンズの往復変位であり、前記駆動される前記撮像素子または前記フォーカスレンズは、複数の光電変換素子のそれぞれにおける前記撮像シーンの1画像分の露光時間中に整数回数往復変位する。
本発明の一態様である撮像方法は、二次元に配列された複数の光電変換素子を有し、前記複数の光電変換素子を順次走査して露光させ、前記複数の光電変換素子から順次走査して電気信号を読み出すことにより、画像信号を生成する撮像素子に、フォーカスレンズによって光を集光することにより、撮像シーンを結像させる撮像方法であって、前記複数の光電変換素子のそれぞれにおける前記撮像シーンの1画像分の露光時間中、前記撮像シーン中の第1被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第1合焦位置と、前記撮像シーン中の第2被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第2合焦位置との間の全区間において、前記撮像素子または前記フォーカスレンズの一方を整数回、往復変位させる。
(第1の実施形態)
以下、図面を参照しながら、本発明による撮像装置、集積回路および撮像方法の第1の実施形態を説明する。
以下、図面を参照しながら、本発明による撮像装置、集積回路および撮像方法の第1の実施形態を説明する。
図1は、本実施形態の撮像装置100を示すブロック構成図である。撮像装置100は、フォーカスレンズ駆動部103と、撮像素子104と、フォーカスレンズ変位制御部106と、露光・フォーカスレンズ変位同期部107と、レンズ光学系120とを備える。
撮像素子104は、COMS型の撮像素子であり、二次元に配列された複数の光電変換素子を有する。撮像素子104は、複数の光電変換素子を順次走査して露光させる。また、複数の光電変換素子から順次走査して電気信号を読み出すことにより、画像信号を生成する。
レンズ光学系120は、撮像素子104に向けて集光し、撮像シーンを撮像素子104に結像させるフォーカスレンズ101を含む。撮像シーン中の所望の被写体に対して合焦させるため、レンズ光学系120はフォーカスレンズ101以外に他の1枚以上のレンズを含んでいてもよい。フォーカスレンズ101も複数枚のレンズで構成されていてもよい。フォーカスレンズ101が複数のレンズによって構成される場合、フォーカスレンズの位置とは、複数のレンズによる主点の位置をいう。
本実施形態では、フォーカスレンズ駆動部103は、撮像素子104とフォーカスレンズ101との距離が変化するように、撮像素子104またはフォーカスレンズ101の一方を駆動する駆動部として機能する。つまり、フォーカスレンズ駆動部103は、駆動信号に基づき、撮像素子104とフォーカスレンズ101との距離が変化するように、フォーカスレンズを駆動する。
フォーカスレンズ変位制御部106は、以下において説明するように、フォーカスレンズ駆動部103に指令を出力することにより、所定の変位パターンに基づき、フォーカスレンズ101の変位を制御する。
露光・フォーカスレンズ変位同期部107は、撮像素子104の露光のタイミングに基づき、フォーカスレンズ変位制御部106を制御する。
撮像装置100は、さらに、フォーカスレンズ位置検出部102と、フォーカスレンズ変位設定部105と、読み出し回路108と、画像処理部109と、記録部110と、シャッター111と、シャッター開閉指令部112と、レリーズ受付部113と、露光時間決定部114とを含む。
フォーカスレンズ位置検出部102は、位置センサを含み、フォーカスレンズ101の位置を検出し、検出信号をフォーカスレンズ変位制御部106へ出力する。フォーカスレンズ変位設定部105はフォーカスレンズ101の変位パターンを設定し、目標フォーカスレンズの位置とする。これにより、フォーカスレンズ変位制御部106は、目標フォーカスレンズの位置とフォーカスレンズ位置検出部102によって検出されたフォーカスレンズ101の現在位置との差から駆動信号を計算してフォーカスレンズ駆動部103に出力する。
レリーズ受付部113において、ユーザからの露光開始指令を受け付けると、露光時間決定部114が撮像素子104の露光時間を決定する。また、露光・フォーカスレンズ変位同期部107およびフォーカスレンズ変位設定部105に露光時間に関する情報を出力する。
露光・フォーカスレンズ変位同期部107は、露光時間に関する情報に基づき、同期したタイミングで露光、フォーカスレンズ101の駆動および撮像素子104からの電気信号の読み出しを行うように、シャッター開閉指令部112、フォーカスレンズ変位制御部106および読み出し回路108に指令を出力する。具体的には、シャッター開閉指令部112に露光のタイミングおよび露光時間を指令する。また、フォーカスレンズ変位制御部106にフォーカスレンズ101を駆動するタイミングおよび駆動時間を指令する。
シャッター111は、シャッター開閉指令部112からの指令に応じて開閉動作を行う。シャッター111が開状態のとき、撮像素子104はフォーカスレンズ101によって集光された光によって露光され、露光された光は電気信号に変換されて出力される。
読み出し回路108は撮像素子104に読み出し信号を出力することによって電気信号を読み出し、読み出した電気信号を画像処理部109へ出力する。
画像処理部109は入力された電気信号に対して各種補正等を行い、逐次1ビデオフレーム分の撮影シーンの画像を構成する画像信号を構築し、記録部110に出力する。
これにより、撮像装置100は、フォーカスレンズ101を駆動してフォーカスレンズの位置を変化させながら撮像素子104に露光させ、スイープ画像を得ることが可能となる。
撮像装置100の上述の構成要素のうち、フォーカスレンズ位置検出部102、フォーカスレンズ駆動部103、撮像素子104、画像処理部109、レリーズ受付部113、記録部110は、公知のハードウエアによって構成されていてもよい。また、フォーカスレンズ変位設定部105、フォーカスレンズ変位制御部106、露光・フォーカスレンズ変位同期部107、読み出し回路108、画像処理部109、記録部110、シャッター開閉指令部112、および露光時間決定部114の各構成要素の一部または全部は、CPUなどの情報処理回路およびメモリ等の記憶部に記憶されたソフトウエアによって構成されていてもよい。この場合、情報処理回路は、以下において説明する撮像方法の手順を規定するソフトウエアをメモリから読み出し、撮像方法の手順を実行することによって、撮像装置100の各構成要素を制御する。これら情報処理回路およびメモリに記憶されたソフトウエアによって実現される構成要素の一部は、専用の集積回路によって構成されていてもよい。例えば、フォーカスレンズ変位設定部105、フォーカスレンズ変位制御部106、露光・フォーカスレンズ変位同期部107およびシャッター開閉指令部112は集積回路を構成してもよい。
次に、図1、図2および図3を参照しながら、本実施形態の撮像方法、特に、スイープ画像を得るためのフォーカスレンズの位置と撮像素子104の露光および信号読み出しのタイミングについて説明する。
図2は本実施の形態の撮像方法を示すフローチャートであり、図3(a)は、フォーカスレンズの位置を最遠端と最近端との間で往復スイープさせたときのフォーカスレンズの位置変化を示す図である。横軸は時間を示し、縦軸は、フォーカスレンズの位置(撮像素子との距離)を示している。図3(b)は図3(a)に示す時間軸に対応したCMOS型撮像素子の露光および読み出しタイミングを示す図である。この例では、スイープ画像を得る対象となるフォーカスレンズの位置の最遠端(フォーカスレンズと撮像素子間との距離が最も短い)と最近端(フォーカスレンズと撮像素子間との距離が最も長い)の位置を設定したうえで、最遠端となる位置をフォーカスレンズの位置の初期位置とし、最遠端から最近端までの全区間を往復変位する。
上述したように最遠端及び最近端とは、撮像装置から種々の距離にある被写体が含まれる撮像シーン中、所定の距離範囲内にある種々の被写体を撮像素子104の撮像面に焦点が一致するようにフォーカスレンズ101を移動させた場合おいて、最も撮像装置に近い被写体が結像する場合および最も撮像装置に遠い被写体が結像する場合におけるフォーカスレンズ101の位置をいう。最遠端(第1合焦位置)で結像する被写体は、所定の距離範囲内のうち、最も撮像装置から長い距離に位置(第1被写体距離)し、最近端(第2合焦位置)で結像する被写体は、所定の距離範囲内のうち、最も撮像装置から短い距離に位置(第2被写体距離)している。
また、往復とは、最遠端から最近端までの間の任意の点出発点として最遠端または最近端へ向かって移動し、最遠端または最近端で折り返し、出発点へ戻ることをいう。全区間を往復変位するとは、最遠端から最近端までの間の任意の点出発点として最遠端または最近端へ向かって移動し、最遠端または最近端で折り返し、出発点へ戻り、最遠端と最近端との間で、通過していない部分があれば、さらに折り返し進行する方向に位置する最近端または最遠端まで移動し、最近端または最遠端で再度折り返した後、出発点まで戻ることをいう。
撮像素子104は上述したように、ローリングシャッター動作を行うCMOS型撮像素子であり、複数の光電変換素子は行方向および列方向に二次元に配置されている。
複数の光電変換素子は行ごとに露光され、複数の光電変換素子から行ごとに画像信号が読み出される。図3に示す例では、撮像素子104の各行の光電変換素子の露光時間と読み出し時間とが等しい。1枚の撮像シーンの画像を得るための時間、つまり、1ビデオフレームは露光時間と読み出し時間との和によって定義される。
図2に示すように、まず、ユーザによるレリーズ動作を受け付けると(S101)、露光時間決定部114にてシャッター速度や絞り値などの撮影パラメータから露光時間パラメータを決定する(S102)。露光時間パラメータは、フォーカスレンズ変位設定部105および露光・フォーカスレンズ変位同期部107に出力される。
次に、決定した露光時間パラメータから、フォーカスレンズ変位設定部105は、フォーカスレンズの位置の変位パターンを生成する(S103)。変位パターンは、最遠端と最近端との間の全区間における往復変位である。より具体的には、変位パターンは、最遠端から最近端までの全区間の1往復動作にかかる時間と1ビデオフレーム中の露光時間とが等しくなり、撮像素子104の全領域から電気信号を読み出し終わるまで往復変位する動作を継続するように設定される。設定された変位パターンは、フォーカスレンズ変位制御部106へ出力される。
フォーカスレンズの位置の変位パターン決定後、露光・フォーカスレンズ変位同期部107は、撮像素子104の露光のタイミングに基づいて、フォーカスレンズ変位設定部105および読み出し回路108が動作するように、シャッター開閉指令部112、フォーカスレンズ変位設定部105および読み出し回路108に指令を出力する。これにより、シャッター開閉指令部112がシャッター111を解放し、撮像素子104の露光が開始され、露光の開始に同期して、フォーカスレンズ変位制御部106の指令により、フォーカスレンズ駆動部103がフォーカスレンズ101を変位させる。ここで同期とは、同時である場合および所定の遅延時間を挟む場合を含む。
具体的には、撮像素子104の先頭読み出し行である第1行目の露光が開始するとともに、フォーカスレンズ101をフォーカスレンズ駆動部103によって変位させ、フォーカスレンズの位置を最遠端から移動させ、露光時間の1/2の時間で最近端に到達させる。その直後にフォーカスレンズ101の変位方向を反転させて移動を開始し、読み出し行第1行目の露光完了とともに、フォーカスレンズ101を最遠端の位置に到着させる。この時点で露光が完了しているのは読み出し行第1行目のみであり、他の読み出し行も同様に最遠端から最近端の範囲を均一に露光する必要がある。そこで、撮像素子104の最終読み出し行である第N行目の露光および読み出しが完了するまで、これまでの変位動作を繰り返し継続する。つまり露光の終了に同期して、変位動作が終了する。上述したように、読み出し回路108は、撮像素子104の露光が完了した行から、電気信号を読み出す。
図3(a)および図3(b)で示した例では、撮像素子104の全領域の露光および読み出しが完了するまでの間に、フォーカスレンズ101の位置を最遠端から最近端までちょうど2往復させることになる。図3(c)〜(f)は、それぞれ図3(b)の撮像素子の読み出し行の先頭である第1行目、中間部の第i行目および第j行目、最終行である第N行目におけるフォーカスレンズ101の位置と露光量の分布を示す図である。図3(a)および図3(b)に示すように、撮像素子104の露光および読み出し動作と同期を取りつつフォーカスレンズ101の位置の変位動作を行うことにより、撮像素子104の全ての読み出し行において最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像を得ることができる。
スイープ画像取得後は、フォーカスレンズの位置変位を停止するとともに、シャッターを閉じることにより撮影を完了する。
図3(a)および図3(b)では撮像素子からの読み出しが完了したタイミングでフォーカスレンズ101を最遠端の位置で停止させている。しかし、本動作を連続して行えば連続してスイープ画像を得ることができるため、動画像処理に適用することができる。
なお、図3(a)で示したフォーカスレンズの位置の変位パターンは一例であり、1ビデオフレームにおける撮像素子104の各行の露光時間中、フォーカスレンズの位置の変位を整数回、往復すれば、全ての読み出し行において最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像を得ることができる。これは、撮像素子のすべての行、つまり、撮像面の全領域の読み出しが完了するまでフォーカスレンズの位置変位の往復動作を繰り返すことになる。この条件を満たす限り、種々の変位パターンを設定してもよい。図3(a)の変位パターンにおいては、露光時間中、フォーカスレンズは、最遠端と最近端とで規定される区間全体を1往復し、撮像素子全領域の読み出しが完了するまでの1ビデオフレーム中における往復回数は2である。
また、図3(a)ではフォーカスレンズが変位する初期位置は最遠端であったが、最遠端と最近端とで規定される区間全体を往復するのであれば、最遠端と最近端との間の任意の位置からフォーカスレンズの変位を開始してもよい。図4(a)は、フォーカスレンズ101の位置の初期位置を最遠端および最近端以外の位置に設定した場合における変位パターンを示している。図4(b)は図4(a)の時間軸に対応した撮像素子104の露光および読み出しタイミングを示している。図4(a)および図4(b)に示すように、フォーカスレンズ101が、撮像素子104の露光に同期して、最遠端と最近端との間の途中の位置から変位を開始しても、撮像素子104の各行の露光時間の間にフォーカスレンズ101が、最遠端と最近端との間の全区間を一往復し、移動を開始した位置に戻れば、フォーカスレンズ101の位置の初期位置に関係なくスイープ画像を得ることができる。図4(a)の変位パターンにおいては、露光時間中、フォーカスレンズ101は、最遠端と最近端とで規定される区間全体を1往復し、撮像素子全領域の読み出しが完了するまでの1ビデオフレーム中における往復回数は2である。
図5(a)は、1ビデオフレームにおける露光時間中のフォーカス往復スイープ回数が2である場合の変位パターンを示している。図5(b)は図5(a)の時間軸に対応した撮像素子104の露光および読み出しタイミングを示している。図2(a)に示す変位パターンと比べ、フォーカスレンズ101の位置の変位周期が1/2であるが、フォーカスレンズ駆動部103の駆動能力の範囲内であればさらに往復回数を増加させることも可能である。図5(a)の変位パターンにおいては、露光時間中、フォーカスレンズ101は、最遠端と最近端とで規定される区間全体を2往復し、撮像素子全領域の読み出しが完了するまでの1ビデオフレーム中における往復回数は4である。このような変位パターンでも、撮像素子104の全ての読み出し行において最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像を得ることができる。
また、図3(a)は撮像素子104の各行の露光時間と読み出し時間が等しい場合における変位パターンを説明したが、それ以外の変位パターンを採用してもよい。図6(a)は、撮像素子104の各行の露光時間が読み出し時間の1/2である場合における変位パターンを示している。図6(b)は図6(a)の時間軸に対応した撮像素子104の露光および読み出しタイミングを示している。このような動作は、例えば、撮像素子104が持つ基本的機能である電子シャッターを用いることにより実現可能であり、撮像素子104への入射される光量が大きい場合に露光量を制限する目的で使用される。このような場合においても、前述のフォーカス往復スイープ条件を満たす範囲内でスイープ画像を得ることができる。図6(a)においては、撮像素子104の各行の露光時間中のフォーカス往復スイープ回数は1であり、撮像素子104の撮像面の全領域の読み出しが完了するまでのフォーカス往復スイープ回数は3である。この場合でも、撮像素子104の全ての読み出し行において最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像を得ることができる。上述したように、フォーカスレンズ101が変位を開始する初期位置は、最遠端と最近端との間でもあってもよい。
図7(a)は、撮像素子104の各行の露光時間が読み出し時間の2/3である場合における変位パターンを示している。図7(b)は図7(a)の時間軸に対応した撮像素子104の露光および読み出しタイミングを示している。図7(a)においては、撮像素子104の各行の露光時間中のフォーカス往復スイープ回数は1であり、露光の開始から撮像素子104の撮像面の全領域の読み出しが完了するまでのフォーカス往復スイープ回数は2.5である。この場合でも、撮像素子104の全ての読み出し行において最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像を得ることができる。このように、露光時間を調整するとともに、変位パターンを露光時間に合わせて変化させることにより、スイープ画像取得前後のフォーカスレンズの位置を任意に設定することが可能である。これにより、複数のフォーカスレンズの位置における固定焦点画像とスイープ画像を交互に高速に得ることも可能となる。
なお、暗所撮影時など、より長時間露光が必要となる条件であっても、本実施形態の撮像装置を好適に用いることができる。図8(a)は、撮像素子104の各行の露光時間が読み出し時間の2倍である場合における変位パターンを示している。図8(b)は図7(a)の時間軸に対応した撮像素子104の露光および読み出しタイミングを示している。図8(a)に示す変位パターンでは、撮像素子104の各行の露光時間中のフォーカス往復スイープ回数は1であり、露光の開始から撮像素子104の撮像面の全領域の読み出しが完了するまでのフォーカス往復スイープ回数は1.5である。
また、撮像素子104の露光時間中に2回以上読み出しを行ってもよい。図9(a)は、撮像素子104の各行の露光時間中に2回読み出しを行う場合における変位パターンを示している。図9(b)は図9(a)の時間軸に対応した撮像素子104の露光および読み出しタイミングを示している。図9(b)に示すように、撮像素子104の各行の露光時間中、2回読み出しが行われる。各行の露光時間は読み出し時間の2倍である。図9(a)に示す変位パターンでは、撮像素子104の各行の露光時間中のフォーカス往復スイープ回数は1であり、露光の開始から撮像素子104の撮像面の全領域の読み出しが完了するまでのフォーカス往復スイープ回数は1.5である。図9(a)および図9(b)から分かるように、読み出し1あるいは読み出し2の際の露光時間中、撮像素子104の1行目およびN行目を除いて、フォーカスレンズは最遠端から最近端の全範囲にはない。このため、読み出し1あるいは読み出し2の一方の電気信号では、最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像とはならない。しかし、読み出し1および読み出し2の電気信号を画像処理部109で合成することによって得られる画像信号を、1ビデオフレーム分の画像信号として用いることにより、最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像が得られる。
図9(a)および(b)では、各行の露光時間中、2回読み出しを行う場合における変位パターンを示したが、露光時間を長くとり、読み出し回数を3回以上にしてもよい。また、露光時間は読み出し時間の整数倍でなくてもよい。図9(a)に示す変位パターンにおいて、読み出し時間が例えば、図3(a)に示す変位パターンにおける読み出し時間と同程度であるとすれば、フォーカス往復スイープ動作の動作周波数を、図3(a)に示す変位パターンに比べて低下させることができる。この動作周波数を下げることは、フォーカスレンズ駆動部の消費電力の低減や仕様緩和などにつながり、デジタルスチルカメラなどの小型・省電力・低コストが求められる製品に対して効果がある。
なお、これまで述べた往復スイープ動作中のフォーカスレンズの変位は、スイープ画像中の各フォーカスレンズの位置での露光量が均一となるように、往・復それぞれの動作において略等速直線運動であってもよい。
また、本実施形態でこれまで説明した変位パターンを用いた撮像装置の動作は、撮像素子の読み出し時間(速度)に依存しない。図3(a)から図9(a)に示した変位パターンを、露光時間や読み出し時間に合わせて、時間軸方向に伸縮することにより、上述したように、最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像が得られる。
読み出し時間を短くすると、露光時間も短くなり、1ビデオフレーム時間も短くなる。この場合、フォーカスレンズの変位速度を対応して速くしてもよい。あるいは、図9を参照して説明したように、複数回の露光および読み出しによる画像信号を合成し、1ビデオフレームの画像信号とすることにより、フォーカスレンズの変位速度を速めなくてもよい。これにより、フォーカスレンズ駆動部の消費電力の低減することができる。
なお、図5から図9で説明した動作において、フォーカスレンズの初期位置は図4を用いて説明した場合と同様、最遠端と最近端との間の任意の位置であってもよい。
また、フォーカス往復スイープ動作の往復距離(最遠端と最近端との距離)が大きいと、フォーカスレンズ駆動部により高い駆動性能が求められ、消費電力の増加にもつながる場合がある。この場合、最遠端と最近端とで規定される区間を複数に副区間に分割し、各副区間においてスイープ画像を取得することにより、より広い焦点距離でスイープ画像を取得することが可能となる。例えば、最遠端と最近端とで規定される区間を中間位置で2分割し、図3から図9で説明したフォーカス往復スイープ動作を、中間位置から最遠端までの副区間および中間位置から最近端までの副区間において、交互に繰り返し行う。これにより、1回の往復振幅を半分にすることができる。また、副区間をさらに細かく分割すれば、非常に広い範囲のスイープ画像を一連の動作で取得できる。これらの動作は、高速な読み出しが可能な撮像素子と組み合わせることにより、より効果を発揮する。
以上で述べたように、本実施形態によれば、フォーカスレンズの位置を変位させつつ撮像素子の露光および読み出し動作を行うことにより、ローリングシャッター動作を行うCMOS型撮像素子であっても高速に連続してスイープ画像を得ることが可能となる。
(第2の実施形態)
図10および図11を参照しながら、本発明による撮像装置、集積回路および撮像方法の第2の実施形態を説明する。
図10および図11を参照しながら、本発明による撮像装置、集積回路および撮像方法の第2の実施形態を説明する。
図10は、本実施形態の撮像装置200を示すブロック構成図である。第1の実施形態の撮像装置100と同一の構成要素には同じ参照符号を付している。撮像装置200は、撮像素子104の位置を移動させることにより、レンズ光学系120のフォーカスレンズ101との距離を変化させる点で撮像装置100と異なる。
このために、撮像装置200は、撮像素子位置検出部202、撮像素子駆動部203、撮像素子変位設定部205、撮像素子変位制御部206および露光・撮像素子変位同期部207を備える。
撮像素子位置検出部202は、位置センサを含み、撮像素子104の位置を検出し、検出信号を撮像素子変位制御部206へ出力する。撮像素子変位設定部205は撮像素子104の変位パターンを設定し、目標撮像素子の位置とする。これにより、撮像素子変位制御部206は、目標撮像素子位置と撮像素子位置検出部202によって検出された撮像素子104の現在位置との差から駆動信号を計算して撮像素子駆動部203に出力する。
レリーズ受付部113において、ユーザからの露光開始指令を受け付けると、露光時間決定部114が撮像素子104の露光時間を決定する。また、露光・撮像素子変位同期部207に露光時間に関する情報を出力する。
露光・撮像素子変位同期部207は、露光時間に関する情報に基づき、同期したタイミングで露光、撮像素子104の駆動および撮像素子104からの電気信号の読み出しを行うように、シャッター開閉指令部112、撮像素子変位制御部206および読み出し回路108に指令を出力する。具体的には、シャッター開閉指令部112に露光のタイミングおよび露光時間を指令する。また、撮像素子変位制御部206に撮像素子104を駆動するタイミングおよび駆動時間を指令する。これにより、撮像装置200は、撮像素子104を駆動して撮像素子の位置を変化させながら撮像素子104に露光させ、スイープ画像を得ることが可能となる。
図11は、本実施形態の撮像方法を示すフローチャートである。撮像素子とフォーカスレンズとの距離を変化させるために、撮像素子を変位させることを除けば、図2で説明した第1の実施形態における撮像方法と同じである。
撮像素子の変位パターンは、第1の実施形態で説明したフォーカスレンズの位置の変位パターンである、図3(a)から図9(a)と同じである。
このように、撮像素子を駆動し、撮像素子の位置を変化させる構成であっても、第1の実施形態と同様にスイープ画像を得ることが可能である。
以上説明した第1および第2の実施形態において、フォーカスレンズ駆動部103または撮像素子駆動部203にステッピングモータを用いてもよい。その場合、フォーカスレンズ位置検出部102または撮像素子位置検出部202を用いなくても、フォーカスレンズ101または撮像素子104の現在の位置を特定することができるため、フォーカスレンズ位置検出部102または撮像素子位置検出部202を撮像装置が備えていなくてもよい。また、フォーカスレンズ駆動部103または撮像素子駆動部203として、ボイスコイルモータを用いてもよい。その場合、ステッピングモータと比べてより高速な駆動が可能となる。さらに、フォーカスレンズ駆動部103または撮像素子駆動部203として、圧電素子アクチュエータを用いてもよい。その場合、ボイスコイルモータと比べて、より低消費電力な駆動が可能となる。
また、上述した実施形態の具体的な実施態様および実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して本発明が解釈されるべきではない。上述した実施形態に種々の変更、改変を行い実施することが可能である。
本願に開示された撮像装置、集積回路および撮像方法によれば、ローリングシャッター動作を行うCMOS型撮像素子を用いてF−DOF方式で動画撮影もしくは連続静止画撮影を実現することができる。これらの構成は、例えば民生用もしくは業務用のデジタルスチルカメラ、デジタルビデオカメラなどに好適に用いることが可能である。
100、200、300、400 撮像装置
101 フォーカスレンズ
102 フォーカスレンズ位置検出部
103 フォーカスレンズ駆動部
104 撮像素子
105 フォーカスレンズ変位設定部
106 フォーカスレンズ変位制御部
107 露光・フォーカスレンズ変位同期部
108 読み出し回路
109 画像処理部
110 記録部
111 シャッター
112 シャッター開閉指令部
113 レリーズ受付部
114 露光時間決定部
120 レンズ光学系
202 撮像素子位置検出部
203 撮像素子駆動部
205 撮像素子変位設定部
206 撮像素子変位制御部
207 露光・撮像素子変位同期部
101 フォーカスレンズ
102 フォーカスレンズ位置検出部
103 フォーカスレンズ駆動部
104 撮像素子
105 フォーカスレンズ変位設定部
106 フォーカスレンズ変位制御部
107 露光・フォーカスレンズ変位同期部
108 読み出し回路
109 画像処理部
110 記録部
111 シャッター
112 シャッター開閉指令部
113 レリーズ受付部
114 露光時間決定部
120 レンズ光学系
202 撮像素子位置検出部
203 撮像素子駆動部
205 撮像素子変位設定部
206 撮像素子変位制御部
207 露光・撮像素子変位同期部
Claims (9)
- 行方向および列方向に二次元に配列された複数の光電変換素子を有し、前記複数の光電変換素子を行ごとに順次走査して露光させ、前記複数の光電変換素子から行ごとに順次走査して電気信号を読み出すことにより、画像信号を生成するCMOS型撮像素子と、
前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、
前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、
前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御する変位制御部と、
前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御する同期部と、
を備え、
前記所定の変位パターンは、撮像シーン中の第1被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第1合焦位置と、前記撮像シーン中の第2被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第2合焦位置との間の全区間における、前記駆動される前記撮像素子または前記フォーカスレンズの往復変位であり、
前記駆動される前記撮像素子または前記フォーカスレンズは、複数の光電変換素子のそれぞれの行における露光時間中に整数回数、往復変位する、撮像装置。 - 前記駆動される前記撮像素子または前記フォーカスレンズは、前記露光の開始に同期して前記変位動作を開始し、前記露光の終了に同期して前記変位動作が終了する請求項1に記載の撮像装置。
- 前記撮像シーンに基づいて前記撮像素子の露光時間を決定する露光時間決定部と、
前記第1合焦位置、前記第2合焦位置および前記露光時間に基づいて前記変位パターンを決定する変位設定部と
をさらに備える請求項1または2に記載の撮像装置。 - 前記駆動される前記撮像素子または前記フォーカスレンズの位置を検出する位置検出部をさらに備え、
前記変位制御部は前記位置検出部の出力および前記変位パターンに基づき、前記駆動部に駆動量を指令する請求項3に記載の撮像装置。 - 前記撮像素子から前記画像信号を読み出す読み出し回路をさらに備え、
同期部は、前記撮像素子の露光のタイミングに基づき、前記変位制御部および前記読み出し回路を制御する請求項4に記載の撮像装置。 - 前記往復変位の回数は1である請求項1から5のいずれかに記載の撮像装置。
- 前記往復変位の回数は2である請求項1から5のいずれかに記載の撮像装置。
- 行方向および列方向に二次元に配列された複数の光電変換素子を有し、前記複数の光電変換素子を行ごとに順次走査して露光させ、前記複数の光電変換素子から行ごとに順次走査して電気信号を読み出すことにより、画像信号を生成するCMOS型撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部とを備えた撮像装置の集積回路であって、
前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御する変位制御部と、
前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御する同期部と、
を備え、
前記所定の変位パターンは、前記撮像シーン中の第1被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第1合焦位置と、前記撮像シーン中の第2被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第2合焦位置との間の全区間における、前記駆動される前記撮像素子または前記フォーカスレンズの往復変位であり、
前記駆動される前記撮像素子または前記フォーカスレンズは、複数の光電変換素子のそれぞれの行における露光時間中に整数回数、往復変位する、集積回路。 - 行方向および列方向に二次元に配列された複数の光電変換素子を有し、前記複数の光電変換素子を行ごとに順次走査して露光させ、前記複数の光電変換素子から行ごとに順次走査して電気信号を読み出すことにより、画像信号を生成するCMOS型撮像素子に、フォーカスレンズによって光を集光することにより、撮像シーンを結像させる撮像方法であって、
前記複数の光電変換素子のそれぞれの行における露光時間中、
前記撮像シーン中の第1被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第1合焦位置と、前記撮像シーン中の第2被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第2合焦位置との間の全区間において、前記撮像素子または前記フォーカスレンズの一方を整数回、往復変位させる撮像方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013502197A JP5809688B2 (ja) | 2011-03-02 | 2012-03-01 | 撮像装置、半導体集積回路および撮像方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011044634 | 2011-03-02 | ||
JP2011044634 | 2011-03-02 | ||
JP2013502197A JP5809688B2 (ja) | 2011-03-02 | 2012-03-01 | 撮像装置、半導体集積回路および撮像方法 |
PCT/JP2012/001411 WO2012117733A1 (ja) | 2011-03-02 | 2012-03-01 | 撮像装置、半導体集積回路および撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2012117733A1 JPWO2012117733A1 (ja) | 2014-07-07 |
JP5809688B2 true JP5809688B2 (ja) | 2015-11-11 |
Family
ID=46757675
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013502197A Expired - Fee Related JP5809688B2 (ja) | 2011-03-02 | 2012-03-01 | 撮像装置、半導体集積回路および撮像方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9083880B2 (ja) |
EP (1) | EP2682799B1 (ja) |
JP (1) | JP5809688B2 (ja) |
CN (1) | CN103348276B (ja) |
WO (1) | WO2012117733A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5821300B2 (ja) * | 2011-06-07 | 2015-11-24 | ソニー株式会社 | 撮像装置及び撮像方法 |
JP5966535B2 (ja) * | 2012-04-05 | 2016-08-10 | ソニー株式会社 | 情報処理装置、プログラム及び情報処理方法 |
WO2013171954A1 (ja) * | 2012-05-17 | 2013-11-21 | パナソニック株式会社 | 撮像装置、半導体集積回路および撮像方法 |
JP6045314B2 (ja) * | 2012-11-20 | 2016-12-14 | オリンパス株式会社 | 固体撮像装置、固体撮像装置の制御方法、および撮像装置 |
EP2954371A4 (en) * | 2013-03-15 | 2016-11-02 | Nokia Technologies Oy | APPARATUS, METHOD AND COMPUTER PROGRAM FOR IMAGE CAPTURE |
US20170132804A1 (en) * | 2014-06-12 | 2017-05-11 | Duke University | System and method for improved computational imaging |
CN105208259B (zh) * | 2014-06-17 | 2019-12-03 | 中兴通讯股份有限公司 | 相机自动对焦优化的方法及相机 |
TWI556647B (zh) * | 2014-08-08 | 2016-11-01 | 恆景科技股份有限公司 | 影像感測器的可調適降低功率消耗的方法 |
US9525814B2 (en) * | 2014-10-12 | 2016-12-20 | Himax Imaging Limited | Automatic focus searching using focal sweep technique |
CN104639831B (zh) * | 2015-01-05 | 2018-12-11 | 信利光电股份有限公司 | 一种照相机及拓展景深的方法 |
CN106125246A (zh) * | 2016-07-19 | 2016-11-16 | 湖北三江航天红峰控制有限公司 | 一种自寻激光焦平面的方法 |
JP2022083147A (ja) | 2020-11-24 | 2022-06-03 | キヤノン株式会社 | 撮像装置、撮像方法、プログラムおよび記録媒体 |
US11808934B2 (en) | 2021-04-20 | 2023-11-07 | Eagle Technology, Llc | Planar optical telescope and related methods |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6068312A (ja) | 1983-05-13 | 1985-04-18 | Shimadzu Corp | 光学顕微鏡像の撮影方法 |
JP3191928B2 (ja) | 1988-02-23 | 2001-07-23 | オリンパス光学工業株式会社 | 画像入出力装置 |
DE3905619C2 (de) | 1988-02-23 | 2000-04-13 | Olympus Optical Co | Bildeingabe-/Ausgabevorrichtung |
JPH04308975A (ja) * | 1991-04-05 | 1992-10-30 | Taiyo Densan Kk | カメラの画像記録方法及び画像記録装置 |
JPH0527084A (ja) | 1991-07-25 | 1993-02-05 | Toshiba Eng & Constr Co Ltd | 燃料集合体のチヤンネルボツクス載置確認装置 |
JP3084130B2 (ja) | 1992-05-12 | 2000-09-04 | オリンパス光学工業株式会社 | 画像入力装置 |
JP3206420B2 (ja) | 1996-02-22 | 2001-09-10 | 株式会社デンソー | カメラ装置 |
JP4011704B2 (ja) | 1997-01-10 | 2007-11-21 | オリンパス株式会社 | 画像入力装置 |
JP2000152063A (ja) * | 1998-11-17 | 2000-05-30 | Olympus Optical Co Ltd | 撮像装置 |
JP3961729B2 (ja) * | 1999-03-03 | 2007-08-22 | 株式会社デンソー | 全焦点撮像装置 |
JP2001257932A (ja) | 2000-03-09 | 2001-09-21 | Denso Corp | 撮像装置 |
JP2003319239A (ja) * | 2002-04-24 | 2003-11-07 | Minolta Co Ltd | 撮像装置 |
CN100538501C (zh) * | 2004-07-02 | 2009-09-09 | 索尼株式会社 | 电子像机和自动聚焦方法 |
JP4732748B2 (ja) | 2004-07-02 | 2011-07-27 | ソニー株式会社 | 電子式カメラ及び自動フォーカス方法 |
US7493030B2 (en) | 2005-06-24 | 2009-02-17 | Nokia Corporation | Adaptive optical plane formation with rolling shutter |
JP4337780B2 (ja) | 2005-06-27 | 2009-09-30 | ブラザー工業株式会社 | 画像形成装置 |
JP2007010908A (ja) | 2005-06-29 | 2007-01-18 | Canon Inc | 焦点調節方法及び装置 |
US7711259B2 (en) | 2006-07-14 | 2010-05-04 | Aptina Imaging Corporation | Method and apparatus for increasing depth of field for an imager |
JP5139840B2 (ja) * | 2008-02-27 | 2013-02-06 | 京セラ株式会社 | 撮像装置、画像生成方法、および電子機器 |
CN102308242B (zh) * | 2009-12-07 | 2014-08-20 | 松下电器产业株式会社 | 摄像装置以及拍摄方法 |
-
2012
- 2012-03-01 US US13/983,381 patent/US9083880B2/en not_active Expired - Fee Related
- 2012-03-01 JP JP2013502197A patent/JP5809688B2/ja not_active Expired - Fee Related
- 2012-03-01 WO PCT/JP2012/001411 patent/WO2012117733A1/ja active Application Filing
- 2012-03-01 CN CN201280007501.1A patent/CN103348276B/zh not_active Expired - Fee Related
- 2012-03-01 EP EP12752314.0A patent/EP2682799B1/en not_active Not-in-force
Also Published As
Publication number | Publication date |
---|---|
CN103348276A (zh) | 2013-10-09 |
EP2682799B1 (en) | 2015-12-09 |
US20130314586A1 (en) | 2013-11-28 |
EP2682799A4 (en) | 2014-11-05 |
EP2682799A1 (en) | 2014-01-08 |
WO2012117733A1 (ja) | 2012-09-07 |
JPWO2012117733A1 (ja) | 2014-07-07 |
CN103348276B (zh) | 2016-04-06 |
US9083880B2 (en) | 2015-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5809688B2 (ja) | 撮像装置、半導体集積回路および撮像方法 | |
JP5934940B2 (ja) | 撮像装置、半導体集積回路および撮像方法 | |
JP5847728B2 (ja) | 撮像装置、半導体集積回路および撮像方法 | |
JP5791349B2 (ja) | 撮像装置及びその制御方法 | |
JP5914834B2 (ja) | 撮像装置、半導体集積回路および撮像方法 | |
US8817165B2 (en) | Image capturing apparatus | |
WO2010090056A1 (en) | Image capturing apparatus | |
JP5484617B2 (ja) | 撮像装置 | |
US9667878B2 (en) | Image capturing apparatus and control method for image capturing apparatus | |
JP5279638B2 (ja) | 撮像装置 | |
JP6238578B2 (ja) | 撮像装置およびその制御方法 | |
JP2020095156A (ja) | 撮像装置 | |
JP2016057546A (ja) | 撮像装置およびその制御方法 | |
JP2001215406A (ja) | 撮像素子および自動焦点調節装置 | |
JP2016018034A (ja) | 撮像装置、その制御方法、プログラム及び記憶媒体 | |
JP7175635B2 (ja) | 撮像装置およびその制御方法 | |
JP4569342B2 (ja) | 撮像装置 | |
JP2017134154A (ja) | フォーカス制御装置、撮像装置およびフォーカス制御プログラム | |
JP2020141347A (ja) | 撮像装置 | |
JP2010054922A (ja) | 電子カメラ | |
JP2015155952A (ja) | 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141001 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150911 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5809688 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |