JP2007036750A - 撮像装置 - Google Patents

Abstract

【課題】手振れ補正を行なうために、異なる撮像条件にて撮像された複数画像間の位置ずれを検出して合成を行なう場合、画像ごとの明るさ等が著しく異なる場合にはブロックマッチングなどでは精度の良いマッチングを行なうことができない場合がある。
【解決手段】異なる撮像条件にて撮像された第一画像と第二画像とを位置合わせを行なわずに合成するために、両画像にて撮像される被写体に位置関係のずれが生じない程度の短時間内に第一画像と第二画像の撮像を実行する撮像装置を提案する。また、短時間内に第一画像と第二画像の撮像を実行する方法の一つとして、いわゆる電子シャッターとメカニカルシャッターとを利用した仕組みなどを提案する。
【選択図】 図１

Description

本発明は、静止画を撮像する撮像装置に関し、さらに詳しくは手振れ補正技術に関する。

通常、デジタルカメラやカメラ付携帯電話等の撮像装置によって被写体を撮像する際は、その撮像装置を人が手で支えて撮像する場合が多い。そのため、被写体を撮像する際に、いわゆる「手振れ」などによって撮像した画像の品質が低下するという問題が存在していた。このような問題を解決するために、例えば、特許文献１においては、振れが無視しうる程度の短い露光時間によって撮像した複数の画像を、位置を合わせて重ね合わせることにより明るさを補正して振れのない画像を取得する発明が開示されている。また、例えば、適正露出であるが手振れしている可能性の高い画像と、露出不足であるが手振れによる画像のボケが低減された画像とを利用して、後者の輝度情報等を前者の輝度情報等によって補正することにより明るさを補正し、適正露出でありかつ手振れの軽減された画像を得る方法も考えられる。このような方法においては、適正露出である画像としてデータサイズの小さい画像を利用することも可能であるので、カメラ付携帯電話のカメラのように処理能力やメモリ容量に制限のある撮像装置においても適用することができる。
特開平９−２６１５２６号公報

このような手振れ補正を行なう場合、合成に利用する画像と画像との間に撮像位置のずれが生じることがある。これは、画像の撮像間隔がある程度（一般的には、約１／６０秒以上）の大きさであると、その間に手振れが起こる場合があるからである。このように手振れが生じている場合には、その画像間の手振れ量を検出し、検出した手振れ量に基づいて画像間の位置合わせをして合成を行なう必要がある。しかし、合成に利用する複数画像のサイズや明るさが異なる場合には、マッチングの精度が保てず、手振れ量を検出するのが困難となる場合がある。

そこで、本発明においては、異なる撮像条件にて撮像された第一画像と第二画像とを位置合わせを行なわずに合成するために、両画像にて撮像される被写体に位置関係のずれが生じない程度の短時間内に第一画像と第二画像の撮像を実行する撮像装置を提案する。また、短時間内に第一画像と第二画像の撮像を実行する方法の一つとして、ＣＣＤ等の撮像素子において電荷の蓄積を開始又は終了するためのいわゆる電子シャッターと、撮像素子を機械的に光遮蔽することにより電荷の蓄積を中断させることが可能なメカニカルシャッターとを利用した仕組みなどを提案する。

本発明の撮像装置においては、異なる撮像条件にて撮像された第一画像と第二画像とを位置合わせを行なわずに合成することが可能であるため、合成のための処理を軽減することができる。また、本発明の撮像装置は、手振れ補正の目的に限らず、前記第一画像と第二画像との合成処理全般に対して適用可能であることは勿論である。

本発明を実施するための最良の形態について図面を用いて詳細に説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。なお、以下の実施形態と請求項の関係は次の通りである。実施形態１は、主に請求項１、４、５、７などについて説明する。実施形態２は、主に請求項２、３、６などについて説明する。
（実施形態１）

（実施形態１：概要）本実施形態は、異なる撮像条件にて撮像される第一画像と第二画像の合成において、位置合わせが不要となるように、第一画像と第二画像との撮像間隔を位置ずれが生じない程度の短い時間とするための機能を有する撮像装置に関する。これにより、画像合成のための処理が軽減されるという利点がある。

（実施形態１：構成）本実施形態に係る撮像装置の機能ブロックを図１、図９に例示する。図９における撮像装置（０９００）は、「第一画像撮像部」（０９０１）と、「第二画像撮像部」（０９０２）と、「制御部」（０９０３）と、を有する。また、図１に例示するように撮像装置（０１００）は、「第一画像撮像部」（０１０１）と、「第二画像撮像部」（０１０２）と、「制御部」（０１０３）と、「画像合成部」（０１０４）と、を有していてもよい。すなわち、図９における撮像装置の構成に、「画像合成部」（０１０４）を加えた構成である。

なお、本件発明の構成要素である各部は、ハードウェア、ソフトウェア、ハードウェアとソフトウェアの両方のいずれかによって構成される。例えば、これらを実現する一例として、コンピュータを利用する場合には、ＣＰＵ、バス、メモリ、インタフェース、周辺装置などで構成されるハードウェアと、それらハードウェア上で実行可能なソフトウェアがある。ソフトウェアとしては、メモリ上に展開されたプログラムを順次実行することで、メモリ上のデータや、インタフェースを介して入力されるデータの加工、保存、出力などにより各部の機能が実現される。さらに具体的には、図８は撮像装置のより具体的な構成を示す図であり、一例として、レンズ（０８０１）、ＣＣＤ（０８０２）、Ａ／Ｄ変換器（０８０３）、ＣＰＵ（０８０４）、一時記憶メモリ（０８０５）、記憶装置（０８０６）、画像出力ユニット（０８０７）、モニタ（０８０８）等から構成されることを示している。（明細書の全体を通じて同様である。）

「第一画像撮像部」（０１０１）は、第一撮像条件にて第一画像を撮像する機能を有する。「撮像条件」とは、具体的には、露光時間、複数画像間を撮像する撮像間隔、などが該当する。「撮像」とは、具体的には図８を例として、被写体からの光をレンズ（０８０１）などの光学系を通してＣＣＤ（０８０２）等の撮像素子で受光し、電気信号に変換する。さらに、電気信号をＡ／Ｄ変換器（０８０３）によりデジタル信号に変換して、ＣＰＵ（０８０４）で画像情報とすることを意味する。また、第一画像撮像部は、さらに画像情報を一時記憶メモリ（０８０５）や記憶装置（０８０６）などの所定の記憶領域に格納する。また、第一画像撮像部は、このような処理をＣＰＵ（０８０４）に実行させるためのプログラムを含んでいてもよい。なお、「画像情報」とは、画像を実現するための情報であって、具体的には、各画素のＲＧＢ値やＹＵＶ値などの数値で表される情報が挙げられる。

「第二画像撮像部」（０１０２）は、前記第一撮像条件と異なる第二撮像条件にて第二画像を撮像する機能を有する。第二画像撮像部の機能は、第一画像撮像部の機能と同様である。ただし、第二画像撮像部においては前記第一撮像条件と異なる第二撮像条件にて第二画像を撮像する点が第一画像撮像部と異なる。

なお、第一画像と第二画像は異なる撮像条件にて撮像された画像であるが、例えば、適正露出であるが手振れしている可能性の高い画像と、露出不足であるが手振れによる画像のボケが低減された画像である場合などが考えられる。後者の画像情報を前者の画像情報で補正する等により、適正露出であり、かつ手振れの軽減された画像を得ることができる。さらには、適正露出であるが手振れしている可能性の高い画像とは、例えば、プレビュー画像等を利用することができる。プレビュー画像とは、ユーザが撮像装置により被写体を撮像しようとする際に利用するための画像であり、例えば、撮像装置がカメラ付携帯電話である場合、被写体を撮像する際にはカメラが捉えている被写体が携帯電話の液晶画面等に表示されユーザはこの表示を見ながらシャッターを切るが、この時に表示される画像である。プレビュー画像はデータサイズの小さい画像であり画像を保持するためのメモリ量が少なくて済むので、カメラ付携帯電話のカメラのように処理能力やメモリ容量に制限のある撮像装置においても適用することができる。また、露出不足であるが手振れによる画像のボケが低減された画像とは、例えば、ユーザがシャッターを切ることにより得ることを目的とする画像などであってもよい。また、第一画像と第二画像の撮像順番は問わない。

また、前記第一画像撮像部（０１０１）と、前記第二画像撮像部（０１０２）とは、露光手段を共用し、電子シャッター手段、電荷転送ラインを個別に有し、第一画像撮像部（０５０１）によって露光された電荷の転送が終了する以前に第二画像撮像部（０５０２）によって露光された電荷の転送を開始することが可能であるように構成されていてもよい。すなわち、撮像のための露光は第一画像と第二画像とで順番に行なう必要があるが、蓄積した電荷の転送は第一画像と第二画像とでは別々に行なうことができるような構成である。このように構成されていれば、第一画像における電荷の転送終了タイミング等とは無関係に、第二画像の露光を行ない電荷を転送することができる。なお、具体的な構成例については、後述する。

「制御部」（０１０３）は、第一画像撮像部（０１０１）が第一画像を撮像した後、手振れによって第一画像と第二画像とで撮像される被写体に位置関係のずれが生じない程度の短時間内に第二画像を撮像するように制御する機能を有する。「手振れによって第一画像と第二画像とで撮像される被写体に位置関係のずれが生じない程度の短時間内」とは、一般的には約１／６０秒以下とされるが、より具体的には、ずれの量が撮像素子の大きさの２０％以下であれば被写体に位置関係のずれが生じないとされる。

図２は、制御部によって制御される第一画像撮像部と第二画像撮像部の実装例を示す。図２は一例としてＣＣＤがインターライン・トランスファー（ＩＴ）方式である場合を示し、電荷を蓄積する一の電荷蓄積部（０２０１）と、電荷を転送するための垂直ＣＣＤライン１（０２０２）と垂直ＣＣＤライン２（０２０３）と、水平ＣＣＤライン１（０２０４）と水平ＣＣＤライン２（０２０５）とを備えている。図２に示す構成は第一画像撮像部と第二画像撮像部の機能の一部を実現している。また、電荷蓄積部（０２０１）が露光手段に該当し、垂直ＣＣＤライン１（０２０２）と垂直ＣＣＤライン２（０２０３）が電子シャッター手段と電荷転送ラインの一部に該当し、水平ＣＣＤライン１（０２０４）と水平ＣＣＤライン２（０２０５）が電荷転送ラインの一部に該当する。このような構成においては、例えば、まず電荷蓄積部（０２０１）において第一画像のための電荷を蓄積し、露光が終了すると蓄積した電荷が一気に垂直ＣＣＤライン１（０２０２）に転送される。この時、電荷蓄積部（０２０１）には電荷が残らないので、すぐに第二画像のための露光を開始することができる。第二画像のための露光を実行しながら、第一画像の電荷は水平ＣＣＤライン１（０２０４）により電荷が転送されていく。第二画像の露光が終了すると、同様に電荷蓄積部（０２０１）から電荷が一気に垂直ＣＣＤライン２（０２０３）に転送され、さらに水平ＣＣＤライン２（０２０５）により転送されていく。このように、図２のような構成によれば第一画像の転送ラインと第二画像の転送ラインが別々になっているので、第一画像の転送時間に関係なく第二画像の露光をすぐに開始することができる。また、制御部は、例えば、このような処理を第一画像撮像部（０１０１）と第二画像撮像部（０１０２）とに実行させるためのプログラムをＣＰＵ（０８０４）にて実行することにより実現される。

「画像合成部」（０１０４）は、前記第一画像と前記第二画像とを相互の位置関係補正を行わずに合成する機能を有する。「位置関係補正」とは、第一画像と第二画像における被写体に手振れ等による位置ずれがあった場合に、その位置ずれをブロックマッチング等によって検出して第一画像と第二画像との位置合わせを行なうことを指す。本実施形態に係る撮像装置は、前記制御部（０１０３）により制御されることによって、第一画像と第二画像との撮像間隔が手振れしない程度に短くなるため、位置ずれが無く、位置関係補正も必要ない。また、「合成」とは具体的には、例えば、画像中の画素のＲＧＢ値を補正して合成する場合などが想定される。なお、画像合成部は、他の構成要件とは別体にて実現されてもよい。例えば、他の構成要件がデジタルカメラ等にて実装され、画像合成部はパーソナルコンピュータ等により実装されるような場合である。すなわち、デジタルカメラ等により第一画像と第二画像の撮像を行なった後、パーソナルコンピュータ等により第一画像と第二画像の合成が行なわれる等となっていてもよい。このような場合であっても、デジタルカメラ等とパーソナルコンピュータ等を合わせて一の撮像装置であるということができる。

図３を用いて、画像合成部にて第一画像と第二画像を用いて合成を行なう場合の概略を説明する。図３では、第一画像（０３０１）と第二画像（０３０２）の大きさが異なる場合を一例として示す。第一画像（０３０１）の高さをＰｈ、幅をＰｗで表し、第二画像（０３０２）の高さをＳｈ、幅をＳｗで表すとする。また、第一画像（０３０１）の画素（ｘ’，ｙ’）に対応する点が第二画像（０３０２）の画素（ｘ，ｙ）であるとすると、ｘ’＝αｘ、ｙ’＝βｙと表すことができる。ここで、αとβは第一画像と第二画像の水平方向、垂直方向の縮小率であり、α＝Ｐｗ／Ｓｗ、β＝Ｐｈ／Ｓｈである。このようにして、第一画像と第二画像における各画素同士の対応関係を求めることができる。よって、この対応関係を利用することにより、例えば、対応する各画素の輝度情報を比較して明るさを補正するなどして合成を行なうことができる。

図１０は、合成部において輝度情報を補正する場合の具体例を示す。図３にて説明のように、α＝Ｐｗ／Ｓｗ、β＝Ｐｈ／Ｓｈとすると、第一画像の画素（ｘ’，ｙ’）と第二画像の画素（ｘ，ｙ）との関係は、ｘ’＝αｘ、ｙ’＝βｙ、と表すことができる。通常、画素の明るさは露光時間の長さに比例して変化する（例えば、露光時間が２倍になれば、画素の明るさも２倍になる）ので、第一画像と第二画像の露光時間の比に応じて、第二画像の画像情報にて示される各画素における画素値（ＲＧＢ値など）を増加させれば、第二画像の明るさは第一画像と同じになる。しかしながら、ノイズも増幅されてしまうため、ここでは線形補間により第一画像の画素値との平均を取ってノイズ成分を減少させる方法にて画素値の補正を行なう場合を例示する。なお、輝度はＲＧＢの値で決定されるので、画素値の補正とは、輝度を補正することと同義である。また、線形補間に関しては一般的によく知られているのでここでは詳述しない。ｘ’＝αｘ、ｙ’＝βｙ、にて算出されるｘ’の整数部をｋ、小数部をｕ、ｙ’の整数部をｌ、小数部をｖとし、第一画像の画素（ｘ’，ｙ’）における画素値をＰｐ（ｘ’，ｙ’）とすると、Ｐｐ（ｘ’，ｙ’）＝Ｐｐ（ｋ＋ｕ，ｌ＋ｖ）＝Ｐｐ（ｋ，ｌ）（ｌ−ｕ）（ｌ−ｖ）＋Ｐｐ（ｋ＋１，ｌ）ｕ（ｌ−ｖ）＋Ｐｐ（ｋ，ｌ＋１）（ｌ−ｕ）ｌ＋Ｐｐ（ｋ＋１，ｌ＋１）ｋｌ、という式にて画素値Ｐｐ（ｘ’，ｙ’）が求められる。また、第二画像の輝度情報を補正する際の補正量は以下のように算出する。第一画像の露光時間をＴｏ、第二画像の露光時間をＴｘとし、Ｔｒ＝Ｔｘ／Ｔｏとする。第二画像の画素（ｘ，ｙ）における画素値をＰｓ（ｘ，ｙ）とすると、補正する画素値Ｐａ（ｘ，ｙ）は、Ｐａ（ｘ，ｙ）＝（Ｐｐ（ｘ’，ｙ’）＋Ｐｓ（ｘ，ｙ）・Ｔｒ）／２、という式で表される。これにより、第一画像の画素値Ｐｐ（ｘ’，ｙ’）と第二画像の画素値Ｐｓ（ｘ，ｙ）によって、第二画像の輝度情報を画素値Ｐａ（ｘ，ｙ）で補正することができる。

また、画像合成部における処理は、さらに具体的には、例えば、前記第一画像撮像部（０１０１）と前記第二画像撮像部（０１０２）によって図８における一時記憶メモリ（０８０５）や記憶装置（０８０６）などの所定の記憶領域に格納されている第一画像と第二画像の画像情報を読出す。読出した画像情報から前述のように各画素同士の対応関係を算出し、算出した結果も一時記憶メモリ（０８０５）などの所定の記憶領域に格納される。この算出結果に基づいて、輝度情報を補正するなどして合成を行ない、合成することにより生成された画像の画像情報は、一時記憶メモリ（０８０５）や記憶装置（０８０６）などの所定の記憶領域に格納される。また、画像合成部は、このような処理をＣＰＵ（０８０４）に実行させるためのプログラムを含んでいてもよい。

（実施形態１：処理の流れ）図４は、本実施形態に係る撮像装置における処理の流れを示すフロー図を例示する。最初に、第一撮像条件にて複数の第一画像を撮像する。この処理は、第一画像撮像部によって実行される（ステップＳ０４０１）。次に、ステップＳ０４０１にて第一画像を撮像した後、手振れによって第一画像と第二画像とで撮像される被写体の位置関係のずれが生じない程度の短時間内に第二画像を撮像するように制御する。この処理は、制御部によって実行される（ステップＳ０４０２）。ステップＳ０４０２にて制御されることにより、前記第一撮像条件と異なる第二撮像条件にて第二画像を撮像する。この処理は、第二画像撮像部によって実行される（ステップＳ０４０３）。最後に、ステップＳ０４０１にて撮像された前記第一画像とステップＳ０４０３にて撮像された前記第二画像とを相互の位置関係補正を行なわずに合成する。この処理は、画像合成部によって実行される（ステップＳ０４０４）。

（実施形態１：効果）本実施形態に係る撮像装置においては、第一画像と第二画像との撮像間隔を位置ずれが生じない程度の短い時間とすることができるので、第一画像と第二画像の合成において、位置合わせを不要とすることができる。よって、合成における処理を軽減することができる。
（実施形態２）

（実施形態２：概要）本実施形態は、電子シャッターと機械的なシャッターであるメカシャッターを利用して、第一画像に関する電荷の転送が終了した後に第二画像に関する電荷の転送が開始されるように制御する撮像装置に関する。第一画像と第二画像との撮像間隔を位置ずれが生じない程度に短くするための制御である。

まず、図１１に、第一画像と第二画像の２つの画像を順番に撮像する場合の従来における撮像タイミングを例示する。図１１において、第一画像撮像のための露光開始時刻をＲＳ１、露光終了時刻をＲＥ１、蓄積電荷の転送開始時刻をＴＳ１、転送終了時刻をＴＥ１、とする。また、第二画像撮像のための露光開始時刻をＲＳ２、露光終了時刻をＲＥ２、蓄積電荷の転送開始時刻をＴＳ２、転送終了時刻をＴＥ２、とする。通常、電子シャッターが閉じると露光が終了しすぐに蓄積した電荷の転送が開始される。すなわち、第一画像の撮像においては、時刻ＲＥ１にて電子シャッターが閉じて直後の時刻ＴＳ１から転送が始まる。次に、続けて第二画像の撮像を行なう場合、露光開始時刻ＲＳ２は第一画像の電荷の転送終了時刻ＴＥ１よりも早くてもよいが、露光終了時刻ＲＥ２に電子シャッターが閉じられるとすぐに電荷の転送を行なうため（時刻ＲＥ２≒時刻ＴＳ２）、時刻ＲＥ２よりも時刻ＴＥ１のほうが早くなくてはならない。また、通常は露光時間Ｒｔよりも転送時間Ｔｔのほうが長い。よって、第二画像が露光を開始することが可能である時刻ＲＳ２は、時刻ＴＥ１から逆算して、早くても、ＴＥ１−Ｒｔ、で算出される時刻以降となる。このように従来の撮像方法では第二画像の撮像を開始するタイミング（時刻ＲＳ２）に制限があるため、その結果、ＲＥ１とＲＳ２との間が約１／６０秒以上の値になると手振れが発生することになる。そこで、第二画像の露光開始時刻ＲＳ２を早めて、ＲＥ１とＲＳ２との間を約１／６０秒以下にする工夫が必要となる。

（実施形態２：構成）本実施形態に係る撮像装置の機能ブロックを図５に例示する。撮像装置（０５００）は、「第一画像撮像部」（０５０１）と、「第二画像撮像部」（０５０２）と、「制御部」（０５０３）と、「画像合成部」（０５０４）と、を有する。また、前記第一画像撮像部（０５０１）は、「第一露光手段」（０５０５）と、「第一電子シャッター手段」（０５０６）と、「第一電荷転送手段」（０５０７）と、を有する。また、前記第二画像撮像部（０５０２）は、「第二露光手段」（０５０８）と、「第二電子シャッター手段」（０５０９）と、「第二電荷転送手段」（０５１０）と、「メカシャッター手段」（０５１１）と、を有する。また、前記制御部（０５０３）は、「タイミング制御手段」（０５１２）を有する。すなわち、実施形態１に係る撮像装置の構成に、「第一露光手段」（０５０５）と、「第一電子シャッター手段」（０５０６）と、「第一電荷転送手段」（０５０７）と、「第二露光手段」（０５０８）と、「第二電子シャッター手段」（０５０９）と、「第二電荷転送手段」（０５１０）と、「メカシャッター手段」（０５１１）と、「タイミング制御手段」（０５１２）と、を加えた構成となっている。

「第一露光手段」（０５０５）は、露光にて電荷を発生する機能を有する。すなわち、図２における電荷蓄積部（０２０１）などが該当する。また、第一露光手段は、第一画像を撮像するために被写体からの光を受光し、電荷を発生する。第一露光手段は、具体的には、ＣＣＤ、ＣＭＯＳ、フォトダイオードなどにより実現される。

「第一電子シャッター手段」（０５０６）は、いわゆる電子シャッターにより実現され、具体的には、前記第一露光手段（０５０５）にて電荷を蓄積するかどうかのＯＮ、ＯＦＦの切り換えを行なう役目を果たす。第一電子シャッター手段が開動すると、前記第一露光手段（０５０５）にて露光が開始され電荷が発生し蓄積される。第一電子シャッター手段が閉動すると、前記第一露光手段（０５０５）にて蓄積された電荷が後述の第一電荷転送手段（０５０７）にて外部に転送される。なお、ＣＣＤ等の構造上、電子シャッターを閉動することと電荷の転送が開始されることは一体不可分の関係である。

「第一電荷転送手段」（０５０７）は、第一露光手段（０５０５）にて発生する電荷の外部転送を第一電子シャッター手段（０５０６）の閉動に応じて開始する機能を有する。すなわち、図２における垂直ＣＣＤライン１（０２０２）や水平ＣＣＤライン１（０２０４）などが該当する。第一電荷転送手段は、具体的には、ＣＣＤなどにより実現される。

「第二露光手段」（０５０８）は、露光にて電荷を発生する機能を有する。すなわち、図２における電荷蓄積部（０２０１）などが該当する。また、第二露光手段は、第二画像を撮像するために被写体からの光を受光し、電荷を発生する。第二露光手段は、具体的には、ＣＣＤ、ＣＭＯＳ、フォトダイオードなどにより実現される。

「第二電子シャッター手段」（０５０９）は、前記第一電子シャッター手段（０５０６）と同様に、いわゆる電子シャッターにより実現され、前記第二露光手段（０５０８）にて電荷を蓄積するかどうかのＯＮ、ＯＦＦの切り換えを行なう役目を果たす。第二電子シャッター手段が開動すると、前記第二露光手段（０５０８）にて露光が開始され電荷が発生し蓄積される。第二電子シャッター手段が閉動すると、前記第二露光手段（０５０８）にて蓄積された電荷が後述の第二電荷転送手段（０５１０）にて外部に転送される。

「第二電荷転送手段」（０５１０）は、第二露光手段（０５０８）にて発生する電荷の外部転送を第二電子シャッター手段（０５０９）の閉動に応じて開始する機能を有する。すなわち、図２における垂直ＣＣＤライン２（０２０３）や水平ＣＣＤライン２（０２０５）などが該当する。第二電荷転送手段は、具体的には、ＣＣＤなどにより実現される。

「メカシャッター手段」（０５１１）は、いわゆるメカニカルシャッターにより実現される。機械的なシャッターであり、レンズとＣＣＤ等の撮像素子との間に位置する。メカシャッター手段が開動すると被写体からの光が撮像素子に当たり、前記第二露光手段（０５０８）にて露光が開始される。メカシャッター手段が閉動すると被写体からの光が遮られて撮像素子に当たらなくなるので、前記第二露光手段（０５０８）においては露光が中断される。

「タイミング制御手段」（０５１２）は、前記第一電子シャッター手段（０５０６）が閉動制御された後、撮像される被写体に位置関係のずれが生じない程度の短時間内に前記第二電子シャッター手段（０５０９）及び前記メカシャッター手段（０５１１）を開動制御し、前記メカシャッター手段（０５１１）を前記第二露光手段（０５０８）の露光の終了タイミングにて閉動制御し、かつ、前記第二電子シャッター手段（０５０９）を前記第一電荷転送手段（０５０７）における電荷の転送が終了したタイミング、又は終了した後のタイミングにて閉動制御する機能を有する。図６を用いて、タイミング制御手段における制御について説明する。図６において、第一画像撮像のための露光開始時刻をＲＳ１、露光終了時刻をＲＥ１、蓄積電荷の転送開始時刻をＴＳ１、転送終了時刻をＴＥ１、とする。また、第二画像撮像のための露光開始時刻をＲＳ２、露光終了時刻をＲＥ２、蓄積電荷の転送開始時刻をＴＳ２（≒ＲＥ２’）、転送終了時刻をＴＥ２、とする。本発明の目的は、時刻ＲＥ１と時刻ＲＳ２との間を手振れしない程度の約１／６０秒以下にすることである。まず、前記第一電子シャッター手段の閉動に応じて、第一電荷転送手段により第一露光手段にて発生した電荷の外部転送が開始される（時刻ＲＥ１≒時刻ＴＳ１）。また、第一電子シャッター手段が閉動した後、約１／６０秒以内において第二電子シャッター手段及びメカシャッター手段が開動することによって、第二露光手段にて第二画像に関する露光が開始される（時刻ＲＳ２）。通常は露光時間Ｒｔよりも転送時間Ｔｔのほうが長くなるので、第一電荷転送手段における転送終了時刻ＴＥ１よりも第二露光手段における露光終了時刻ＲＥ２のほうが早くなる可能性がある。よって、このような場合には、時刻ＲＥ２にて第二電子シャッター手段を閉動して露光を終了することはできないので（電荷の転送が始まってしまうため）、時刻ＲＥ２ではメカシャッター手段を閉動して第二露光手段における露光を終了させる。そのまま第二露光手段にて電荷を保持し、第一電荷転送手段による電荷の転送が終了する時刻ＴＥ１の直後である時刻ＲＥ２’において第二電子シャッター手段を閉動すると、第二電荷転送手段により第二露光手段にて保持している電荷の外部転送が開始される（時刻ＲＥ２’≒時刻ＴＳ２）。以上のような制御により、第一画像と第二画像の撮像間隔を手振れが発生しない程度に短くして撮像することができる。

また、前記第一画像撮像部（０５０１）と、前記第二画像撮像部（０５０２）とは、露光手段、電子シャッター手段を共用してもよい。すなわち、第一露光手段（０５０５）と第二露光手段（０５０８）、第一電子シャッター手段（０５０６）と第二電子シャッター手段（０５０９）がそれぞれ物理的に一体となっているような場合である。例えば、図６にて説明したようなメカシャッターを使用した撮像方法等によれば、一の露光手段と一の電子シャッター手段にて第一画像と第二画像を撮像することは可能である。また、このような構成は従来の撮像装置にてすでに実現されているものであるので、主には制御部（０６０３）又はタイミング制御手段（０６１２）における制御を実行するためのプログラム等を追加するのみによって撮像装置が実現され、新たにハードウェアの追加を行う必要がない場合もある。

（実施形態２：処理の流れ）図７は、本実施形態に係る撮像装置における処理の流れを示すフロー図を例示する。最初に、第一画像に関する露光を実行する。この処理は、第一露光手段によって実行される（ステップＳ０７０１）。次に、第一電子シャッター手段を閉動する（ステップＳ０７０２）。次に、ステップＳ０７０１にて発生する電荷の外部転送を開始する。この処理は、第一電荷転送手段によって実行される（ステップＳ０７０３）。次に、第二電子シャッター手段及びメカシャッター手段を開動する。（ステップＳ０７０４）。次に、第二画像に関する露光を実行する。この処理は、第二露光手段によって実行される（ステップＳ０７０５）。次に、メカシャッター手段をステップＳ０７０５における露光の終了タイミングにて閉動する。（ステップＳ０７０６）。次に、第二電子シャッターをステップＳ０７０３にて開始された電荷の外部転送が終了したタイミングにて閉動する（ステップＳ０７０７）。最後に、ステップＳ０７０５にて発生する電荷の外部転送を開始する。この処理は、第二電荷転送手段によって実行される（ステップＳ０７０８）。

（実施形態２：効果）本実施形態に係る撮像装置においては、電子シャッターと機械的なシャッターであるメカシャッターを利用して、第一画像に関する電荷の転送が終了した後に第二画像に関する電荷の転送が開始されるように制御することができるため、第一画像の電荷の転送が開始された直後に、第二画像の露光を開始することができ、その結果、第一画像と第二画像との間に位置ずれが生じないようにすることができる。

実施形態１に係る撮像装置の機能ブロック図 第一画像撮像部と第二画像撮像部の実装例 合成部にて第一画像と第二画像を用いて合成を行なう場合の概略を示す図 実施形態１に係る撮像装置の処理の流れを示すフロー図 実施形態２に係る撮像装置の機能ブロック図 タイミング制御手段における制御について説明する 実施形態２に係る撮像装置の処理の流れを示すフロー図 撮像装置の具体的な構成を例示する図 実施形態１に係る撮像装置の機能ブロック図 合成部において輝度情報を補正する場合の具体例 従来の撮像方法における撮像タイミングを例示する図

符号の説明

０１００ 撮像装置
０１０１ 第一画像撮像部
０１０２ 第二画像撮像部
０１０３ 制御部
０１０４ 画像合成部
０５０５ 第一露光手段
０５０６ 第一電子シャッター手段
０５０７ 第一電荷転送手段
０５０８ 第二露光手段
０５０９ 第二電子シャッター手段
０５１０ 第二電荷転送手段
０５１１ メカシャッター手段
０５１２ タイミング制御手段

Claims (7)

1. 第一撮像条件にて第一画像を撮像する第一画像撮像部と、
   前記第一撮像条件と異なる第二撮像条件にて第二画像を撮像する第二画像撮像部と、
   第一画像撮像部が第一画像を撮像した後、手振れによって第一画像と第二画像とで撮像される被写体に位置関係のずれが生じない程度の短時間内に第二画像を撮像するように制御する制御部と、
   前記第一画像と前記第二画像とを相互の位置関係補正を行わずに合成する画像合成部と、
   を有する撮像装置。
2. 前記第一画像撮像部は、
   露光にて電荷を発生する第一露光手段と、
   第一電子シャッター手段と、
   第一露光手段にて発生する電荷の外部転送を第一電子シャッター手段の閉動に応じて開始する第一電荷転送手段と、を有し、
   前記第二画像撮像部は、
   露光にて電荷を発生する第二露光手段と、
   第二電子シャッター手段と、
   第二露光手段にて発生する電荷の外部転送を第二電子シャッター手段の閉動に応じて開始する第二電荷転送手段と、
   メカシャッター手段と、を有し、
   前記制御部は、
   前記第一電子シャッター手段が閉動制御された後、撮像される被写体に位置関係のずれが生じない程度の短時間内に前記第二電子シャッター手段及び前記メカシャッター手段を開動制御し、前記メカシャッター手段を前記第二露光手段の露光の終了タイミングにて閉動制御し、かつ、前記第二電子シャッター手段を前記第一電荷転送手段における電荷の転送が終了したタイミング、又は終了した後のタイミングにて閉動制御するタイミング制御手段を有する請求項２に記載の撮像装置。
3. 前記第一画像撮像部と、前記第二画像撮像部とは、露光手段、電子シャッター手段を共用する請求項２に記載の撮像装置。
4. 前記第一画像撮像部と、前記第二画像撮像部とは、露光手段を共用し、電子シャッター手段、電荷転送ラインを個別に有し、
   第一画像撮像部によって露光された電荷の転送が終了する以前に第二画像撮像部によって露光された電荷の転送を開始することが可能である請求項１に記載の撮像装置。
5. 第一撮像条件にて第一画像を撮像する第一画像撮像ステップと、
   前記第一撮像条件と異なる第二撮像条件にて第二画像を撮像する第二画像撮像ステップと、
   第一画像撮像ステップにて第一画像を撮像した後、手振れによって第一画像と第二画像とで撮像される被写体に位置関係のずれが生じない程度の短時間内に第二画像を撮像するように制御する制御ステップと、
   前記第一画像と前記第二画像とを相互の位置関係補正を行わずに合成する画像合成ステップと、
   を有する撮像方法。
6. 前記第一画像撮像ステップは、
   露光にて電荷を発生する第一露光ステップと、
   第一露光ステップにて発生する電荷の外部転送を第一電子シャッターの閉動に応じて開始する第一電荷転送ステップと、を有し、
   前記第二画像撮像ステップは、
   露光にて電荷を発生する第二露光ステップと、
   第二露光ステップにて発生する電荷の外部転送を第二電子シャッターの閉動に応じて開始する第二電荷転送ステップと、を有し、
   前記制御ステップは、
   第一電子シャッターが閉動制御された後、撮像される被写体に位置関係のずれが生じない程度の短時間内に第二電子シャッター及びメカシャッターを開動制御し、メカシャッターを第二露光ステップにおける露光の終了タイミングにて閉動制御し、かつ、第二電子シャッターを第一電荷転送ステップにおける電荷の転送が終了したタイミングにて閉動制御するタイミング制御ステップを有する請求項５に記載の撮像方法。
7. 第一撮像条件にて第一画像を撮像する第一画像撮像部と、
   前記第一撮像条件と異なる第二撮像条件にて第二画像を撮像する第二画像撮像部と、
   第一画像撮像部が第一画像を撮像した後、手振れによって第一画像と第二画像とで撮像される被写体に位置関係のずれが生じない程度の短時間内に第二画像を撮像するように制御する制御部と、
   を有する撮像装置。

Images