JP2024054604A - 撮像装置及びその制御方法とプログラム - Google Patents

Abstract

【課題】パノラマ合成される領域ごとに白飛びや黒潰れの発生を低減させた適切なコントラストを有するＨＤＲパノラマ画像を得る。【解決手段】１回の撮像で異なるゲインを掛けた複数の画像を出力可能な撮像素子１０２を備える撮像装置１００をパンニングさせながら複数回の撮像を行い、複数回の撮像において直前の撮像により得られた画像から次の撮像での露出段数差を決定するための領域を検出し、検出された領域から次の撮像での露出段数差を決定し、決定された露出段数差となるように次の撮像でのゲインを制御し、複数回の撮像が終了した後、１回の撮像で出力される複数の画像を用いて複数回の撮像ごとにＨＤＲ合成を行い、ＨＤＲ合成により得られた画像から所定の領域を切り出して繋げることによりパノラマ画像を生成する。【選択図】図１

Description

本発明は、撮像装置及びその制御方法とプログラムに関し、特に、撮像装置をパンニングさせながら撮像を行うことにより得られた複数の静止画からダイナミックレンジを拡大させたパノラマ画像を生成する技術に関する。

画素単位の出力信号に対して列回路を２つ備えると共に列回路内にある増幅部のゲインを別に備えることにより、ゲインの異なる画像を出力することが可能な撮像素子（ＤＧＯ（Ｄｕａｌ Ｇａｉｎ Ｏｕｔｐｕｔ Ｓｅｎｓｏｒ）センサ）が知られている。ＤＧＯセンサは、１度の撮像（露光）で異なるゲイン（例えば、ＨｉｇｈゲインとＬｏｗゲイン）の２枚の画像を出力することができる。

そのため、ＤＧＯセンサによる撮像で得られる２枚の画像の合成は、ダイナミックレンジを拡大させた画像を得る手法であるＨＤＲ合成に適している。また、ＤＧＯセンサによる撮像で得られる２枚の画像のＨＤＲ合成には、時分割露光によって得た２枚の画像を合成する場合と比較すると、位置合わせ処理が不要であり、また、移動体のぶれを低減させることができるという利点がある。

ＨＤＲ合成は、複数の画像からより広画角なパノラマ画像を生成する際に有用な技術である（例えば、特許文献１，２参照）。これは、パノラマ画像を生成する際には極めて広い領域を撮像する必要があるが、撮像領域が広い場合には撮像領域内での明暗差が大きくなりやすいからである。

パノラマ撮影では、一般的に、撮像装置を一方向に動かしながら撮像範囲に重複領域を持たせて、連続して撮像が行われる。こうして得られた画像同士の重複領域で位置合わせを行いつつ、画像同士を連結させる（繋ぎ合わせる）こと（以下「パノラマ合成」という）を行うことによって、パノラマ画像を生成することができる。ＤＧＯセンサによる撮像を行って得られるゲインの異なる２枚の画像をＨＤＲ合成し、得られたＨＤＲ画像を従来手法でパノラマ合成することにより、ダイナミックレンジの広いパノラマ画像（以下「ＨＤＲパノラマ画像」という）を生成することができる。

特開２０２１－９０１７５号公報 特開２０１７－１４３３９０号公報

パノラマ撮影の開始時点では撮像領域全体の明暗差はわからないことが多いため、ＨＤＲ合成を伴うパノラマ撮影を行う際に、事前に適切な露出段数差を決定することは容易でない。例えば、露出段数差を事前に決定してパノラマ撮影を開始した場合、撮像中に事前に決定した露出段数差で収まらないレンジを撮像する事態となってしまうことで、結果として得られたＨＤＲ画像内に白飛び領域が発生してしまうことがある。これに対して、必要以上に露出段数差を大きく設定してＨＤＲ合成を伴うパノラマ撮影を実行した場合、ＨＤＲ画像のコントラストが低下することで画質が低下してしまう。このように、ＨＤＲ合成を伴うパノラマ撮影を行う際に、撮像開始前に最適な露出段数差を決定することは容易ではない。

本発明は、このような事情に鑑みてなされたものであり、パノラマ合成される領域ごとに白飛びや黒潰れの発生を低減させた適切なコントラストを有するＨＤＲパノラマ画像を得ることを可能とする技術を提供することを目的とする。

本発明に係る撮像装置は、１回の撮像で異なるゲインを掛けた複数の画像を出力可能な撮像素子を備える撮像装置であって、前記撮像装置をパンニングさせながら前記撮像素子による複数回の撮像を行うことで１回の撮像ごとに異なるゲインが掛けられた複数の画像を取得する取得手段と、前記複数回の撮像において、直前の撮像により得られた画像から次の撮像での露出段数差を決定するための領域を検出する検出手段と、前記検出手段により検出された領域から前記次の撮像での露出段数差を決定する決定手段と、前記決定手段により決定された露出段数差となるように前記次の撮像での前記異なるゲインを制御する制御手段と、前記撮像素子による１回の撮像で出力される複数の画像を前記複数回の撮像ごとにＨＤＲ合成を行う合成手段と、前記ＨＤＲ合成により得られた画像から所定の領域を切り出して繋げることによりパノラマ画像を生成する生成手段と、を備えることを特徴とする。

本発明によれば、パノラマ合成される領域ごとに白飛びや黒潰れの発生を低減させた適切なコントラストを有するＨＤＲパノラマ画像を得ることが可能となる。

実施形態に係る撮像装置の概略構成を示すブロック図である。 撮像素子の構成を示すブロック図である。 列ＡＭＰ部の構成を示す回路図である。 ＨＤＲ合成部の構成を示すブロック図である。 Ｈ画像及びＬ画像の入力光量とＡ／Ｄ変換後の出力の関係を示す図である。 Ｈ画像とＬ画像からＨＤＲパノラマ画像を生成する方法の模式図である。 撮像からＨＤＲパノラマ画像を生成するまで処理のフローチャートである。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

図１は、実施形態に係る撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、光学レンズ１０１、撮像素子１０２、画像取得部１０３、信号処理部１０４、ＨＤＲ合成部１０５、パノラマ合成部１０６、信号記憶部１０７、領域検出部１０８、露出制御部１０９、撮像素子制御部１１０及びシステム制御部１２０を有する。

システム制御部１２０は、演算処理を行うＣＰＵ、ＣＰＵが実行するプログラム及びプログラムの実行に必要な各種データを格納するＲＯＭ、ＣＰＵがプログラムを展開するための領域と各種データの一時的保存領域とを有するＲＡＭ等で構成される。システム制御部１２０は、ＣＰＵがＲＯＭから所定のプログラムを読み出してＲＡＭに展開することにより、撮像装置１００の各部の動作を統括的に制御する。

光学レンズ１０１は、被写体からの光を取り込み、撮像素子１０２の撮像面に入射光を結像させる。撮像素子１０２は、具体的にはＣＣＤイメージセンサやＣＭＯＳイメージセンサ等であり、前述のＤＧＯセンサとして構成されている。撮像素子１０２は、撮像面に結像した光学像をアナログ電気信号に変換し、更にアナログ電気信号をＡ／Ｄ変換することによりＬＶＤＳ等のデジタル信号からなる画像信号を生成して、画像取得部１０３へ出力する。なお、撮像素子１０２の構成の詳細については後述する。

画像取得部１０３は、撮像素子１０２から出力された画像信号（デジタル信号）に対して各種処理を行う複数のブロック（不図示）から構成され、例えば、撮像素子１０２の固定パターンノイズの除去や黒レベルクランプ処理を行う。また、画像取得部１０３は、記憶に使用する信号（画像データ）と撮像素子１０２の動作を制御するための評価用信号とに、画像信号を分離する処理を行う。

信号処理部１０４は、撮像装置１００の代表的な画像処理機能となる画素加算やノイズリダクション、ガンマ補正、ニー、デジタルゲイン、キズ補正等の各種処理を行う。なお、画像取得部１０３や信号処理部１０４はそれぞれ、各種の処理を行うために必要となる設定値を記憶する不図示の記憶回路を有する。

以下、ＨＤＲ合成部１０５、パノラマ合成部１０６、信号記憶部１０７、領域検出部１０８、露出制御部１０９及び撮像素子制御部１１０については、ＨＤＲパノラマ画像を生成するための機能を中心に説明する。

ＨＤＲ合成部１０５は、信号処理部１０４から出力された画像信号から任意の合成方法を用いてＨＤＲ画像を合成する。本実施形態では、通常画像としてＨｉｇｈゲイン画像を用い、通常画像のうち明るく白飛びしている部分にＬｏｗゲイン画像を合成する手法を用いることとする。

パノラマ合成部１０６は、ＨＤＲ合成により得られた複数のＨＤＲ画像から任意のパノラマ合成方法を用いてＨＤＲパノラマ画像を生成する。本実施形態では、パノラマ合成方法として、各ＨＤＲ画像から短冊領域を切り出し、切り出した短冊領域を位置合わせして連結させる（繋ぎ合わせる）方法を用いることとする。なお、短冊領域のアスペクト比は問われず、よって、実質的に矩形領域であっても構わない。

信号記憶部１０７は、不図示の記憶媒体を備え、パノラマ合成部１０６から出力されたＨＤＲパノラマ画像の画像データを記憶媒体に格納する。

領域検出部１０８は、画像取得部１０３から出力される画像信号とパノラマ撮影時のパンニング方向に基づいて、直前の撮像により得られる画像から次の撮像でのゲインの異なる２枚の画像間の露出段数差を決定するための領域を検出する。以下、１回の撮像（露光）により得ることができる２枚の画像間の露出段数差を「ＨＤＲ段数差」と称呼し、領域検出部１０８により検出される領域を「ＨＤＲ段数差決定領域」と称呼する。

露出制御部１０９は、領域検出部１０８が検出したＨＤＲ段数差決定領域から次の撮像での適正露出となる露光量とＨＤＲ段数差を演算し、決定した露光量とＨＤＲ段数差を撮像素子制御部１１０へ通知する。

撮像素子制御部１１０は、ＨＤＲパノラマ画像を生成する撮像動作において、露出制御部１０９から通知された露光量とＨＤＲ段数差で撮像素子１０２の露光制御を行う。

なお、撮像装置１００の内部における各種の処理に用いられるアルゴリズム（例えば、ゲインの異なる２枚の画像のＨＤＲ合成や短冊領域の位置合わせと連結、ＨＤＲ段数差決定領域及びＨＤＲ段数差の決定等を行うアルゴリズム）は、限定されるものではない。

図２は、撮像素子１０２の概略構成を示すブロック図である。前述したように、撮像素子１０２は、ＤＧＯセンサとして構成されている。撮像素子１０２は、タイミング・パルス制御部２０１、垂直走査回路２０２、画素部２０３、列ＡＭＰ２０４、列ＡＤＣ２０５、水平転送回路２０６、信号処理回路２０７及び外部出力回路２０８を有する。

タイミング・パルス制御部２０１は、撮像素子１０２の各ブロックに対する動作クロック（動作ＣＬＫ）を供給し、また、各ブロックにタイミング信号を供給して、撮像素子１０２の動作を制御する。垂直走査回路２０２は、二次元配置された画素部２０３の画素信号電圧を１フレーム中に順次読み出すためのタイミング制御を行う。一般的に、画像信号は、１フレーム中に上部の行から下部の行へ向かって、行単位で順次読み出される。画素部２０３は、入射光量に応じて光電変換を行い、電圧を出力する光電変換素子である。

列ＡＭＰ２０４は、画素部２０３から読み出された信号を電気的に増幅する。これにより、それ以降の列ＡＤＣ２０５が出すノイズに対する画素の信号レベルが増幅されることで、等価的にＳＮ比を改善させることができる。また、撮像素子１０２では、タイミング・パルス制御部２０１から列ＡＭＰ２０４のゲインを変更することができるよう構成されている。更に、撮像素子１０２では、列ＡＭＰ２０４に入力メモリが２つ設けられ、列ＡＭＰゲインを変更して２種類のゲインを出力することが可能となっている。入力メモリを２つ備えることで、画素部２０３から読み出された信号に対して異なるゲインを掛けて出力することができるため、データ量は増えるが、同時性を持ったゲインの異なる２枚の画像（静止画）を得ることができる。

列ＡＤＣ２０５は、列ＡＭＰ２０４からの読み出し信号をＡ／Ｄ変換する。列ＡＤＣ２０５によりデジタル化された信号は水平転送回路２０６により順次読み出される。水平転送回路２０６からの出力信号は信号処理回路２０７に入力される。

信号処理回路２０７は、デジタル的に信号処理を行う回路であり、一定量のオフセット値を加える処理、シフト演算処理や乗算処理等のゲイン処理を行う。なお、画素部２０３に意図的に遮光した画素領域を設けておき、信号処理回路２０７が遮光画素領域からの出力を利用して黒レベルクランプ動作を行うようにしてもよい。信号処理回路２０７から出力される信号は、外部出力回路２０８へ入力される。

外部出力回路２０８は、シリアライザ機能を有し、信号処理回路２０７からの多ビットの入力パラレル信号をシリアル信号に変換する。また、外部出力回路２０８は、生成したこのシリアル信号を、例えばＬＶＤＳ信号等に変換して、画像情報として外部デバイスに出力する。

図３は、列ＡＭＰ２０４の構成を示す回路図である。図３には、列ＡＭＰ２０４にある１つの列が抜き出して示されており、ここでは、ＨＤＲ合成時の列ＡＭＰ２０４の動作について説明する。

列ＡＭＰ２０４において、オペアンプ３０５（以下「ＯＰ３０５」と記す）には、入力容量Ｃ３０３，Ｃ３０４と帰還容量Ｃ３０６，Ｃ３０８が接続されている。画素部２０３から読み出した信号は、スイッチＳＷ３０１，ＳＷ３０２によりそれぞれ入力容量Ｃ３０３，Ｃ３０４に接続可能となっている。スイッチＳＷ３０７は、帰還容量Ｃ３０８の接続を制御する。

列ＡＭＰ２０４の増幅率は、ここでは容量を用いているため、入力容量を帰還容量で除した値となる。２つの入力容量Ｃ３０３，Ｃ３０４を備えているため、先ず、スイッチＳＷ３０１を接続し、且つ、スイッチＳＷ３０２，ＳＷ３０７を切り離して、入力容量Ｃ３０３と帰還要領Ｃ３０６のゲインを掛けて（乗算して）列ＡＤＣ２０５へ出力する。続いて、スイッチＳＷ３０１を切り離し、スイッチＳＷ３０２，ＳＷ３０７を接続して入力容量Ｃ３０４と帰還容量Ｃ３０６，Ｃ３０８のゲインを掛けて出力する。これにより、異なったゲインが掛けられた２つの（２種類の）画像を出力することができる。

図４は、ＨＤＲ合成部１０５の機能ブロックを示す図である。異なるゲインが掛けられた２枚の画像をそれぞれ、Ｈｉｇｈゲイン画像（以下「Ｈ画像」と記す）とＬｏｗゲイン画像（以下「Ｌ画像」と記す）とする。

ＨＤＲ合成部１０５は、露出補正ブロック４０１により、１組のＨ画像とＬ画像の明るさを合わせるために、Ｈ画像とＬ画像のゲインを同一にして、画像合成ブロック４０２へ出力する。ＨＤＲ合成部１０５は、露出補正されたＨ画像とＬ画像から画像合成ブロック４０２によりＨＤＲ画像を合成し、パノラマ合成部１０６（図４に不図示）へ出力する。

図５は、Ｈ画像とＬ画像のＨＤＲ合成前後での入力光量（横軸）とＡ／Ｄ変換後の出力（縦軸）との関係を示す図である。なお、入力光量の単位には、一般的にカンデラ（ｃｄ）が使用される。

図５（ａ）は、Ｈ画像（太線）とＬ画像（細線）の入力光量とＡ／Ｄ変換後の出力との関係を示している。この状態では、Ｈ画像とＬ画像とで明るさが異なっているため、そのままＨＤＲ合成を行うことはできない。そこで、露出補正ブロック４０１においてＨ画像とＬ画像の明るさを合わせるためにゲインを掛ける。

図５（ｂ）は、Ｈ画像とＬ画像の明るさを合わせるために、Ｌ画像の明るさをＨ画像の明るさに合わせるようにＬ画像にゲインを掛けた例を示している。Ｌ画像を露出補正して、明るさをＨ画像に合わせたものを、以下、「Ｌ２画像」と記す。この場合、露出補正ブロック４０１でＬ画像に掛けるゲインは１より大きい値となる。なお、Ｈ画像をＬ画像の明るさに合わせるように露出補正する場合のゲインは１より小さい値となる。

図５（ｃ）は、Ｈ画像とＬ２画像を合成したＨＤＲ画像での入力光量とＡ／Ｄ変換後の出力との関係を示している。入力光量が小さい部分についてはＨ画像を用い、入力光量が大きい部分についてはＬ２画像を用いてＨＤＲ合成を行う。これにより得られるＨＤＲ画像では、入力信号に対してリニアな出力が得られる。

図６は、適正露出画像とアンダー露出画像からＨＤＲ画像を合成し、更にパノラマ合成を行う方法を説明する模式図である。ここでは、撮像装置１００を右方向へパンニングさせながら５回の撮影（撮像素子１０２に対する露光）を行って得られるフレームＡ，Ｂ，Ｃ，Ｄ，ＥのそれぞれについてＨＤＲ合成を行うと共にパノラマ合成を行う流れが示されている。なお、ここでは、隣り合うフレーム間では画像の２／３が重なるように撮像を行っている。また、アンダー露出画像と適正露出画像について、図５を参照して説明した露出補正は実行済みとする。

複数回の撮像を行うパノラマ撮影において、直前の撮像で得られた適正露出画像から、次の撮像でのＨＤＲ段数差決定領域がパノラマ合成に使用する領域を除く領域から検出される。例えば、今回の撮像によりフレームＡの適正露出画像とアンダー露出画像が得られたとする。フレームＡにおいてパノラマ合成に使用される領域は領域ｂであり、領域ｃが次のフレームＢの撮像でのＨＤＲ段数差決定領域として検出され、領域ｃを用いてフレームＢの撮像を行う際のＨＤＲ段数差が決定される。同様に、フレームＢにおいてパノラマ合成に使用する領域は領域ｃであり、領域ｄが次のフレームＣの撮像でのＨＤＲ段数差決定領域として検出され、領域ｄを用いてフレームＣを撮像する際のＨＤＲ段数差が決定される。以降については、同様であるため、説明を省略する。

フレームＡ～Ｅのそれぞれについて適正露出画像とアンダー露出画像をＨＤＲ合成した後、各ＨＤＲ画像からパノラマ合成に使用する短冊領域を切り出し、位置合わせを行って連結させることにより、ＨＤＲパノラマ画像を生成することができる。例えば、フレームＡから生成されたＨＤＲ画像からは、適正露出画像とアンダー露出画像の領域ｂに対応する領域ｂ´が切り出される。同様に、フレームＢ～Ｅからそれぞれ生成されたＨＤＲ画像からは領域ｃ´，ｄ´，ｅ´，ｆ´が切り出され、領域ｂ´，ｃ´，ｄ´，ｅ´，ｆ´を連結させることでＨＤＲパノラマ画像が得られる。

次に、撮像からＨＤＲパノラマ画像を合成するまでの処理の流れについて説明する。ここでは、撮像装置１００をパンニングさせながら、１回の撮像（露光）で異なるゲインが掛けられた２枚の画像を出力可能な撮像素子１０２による複数回の撮像を行い、フレームごとにＨＤＲ合成を行った後にパノラマ合成を行うこととする。

図７は、撮像からＨＤＲパノラマ画像を合成するまでの処理の流れを示すフローチャートである。本フローチャートにＳ番号で示す各処理（ステップ）は、システム制御部１２０においてＣＰＵがＲＯＭに格納された所定のプログラムをＲＡＭに展開して、撮像装置１００を構成する各部の動作を統括的に制御することにより実現される。

Ｓ７０１では、露出制御部１０９がパノラマ撮影の開始時、つまり、複数回の撮像のうちの最初の撮像でのＨＤＲ段数差を決定する。例えば、Ｈ画像が適正露出となるようにＨ画像のＩＳＯ感度が決定され、Ｈ画像のＩＳＯ感度に対して決定されたＨＤＲ段数差となるようにＬ画像のＩＳＯ感度が決定される。ＩＳＯ感度の決定方法は、撮影者による手動設定によるものであってもよいし、撮像装置１００による自動決定であっても構わない。自動決定の場合には、最初の撮影前に撮像素子１０２から得られる全撮像範囲の輝度情報を用いて決定することができる。

Ｓ７０２では、撮像素子制御部１１０が撮像素子１０２を制御して、Ｓ７０１で決定されたＨＤＲ段数差となるように撮像を行い、ゲインの異なる２枚の画像を取得する。ここでは、Ｈ画像が適正露出画像として得られ、適正露出画像に対して決定されたＨＤＲ段数差のアンダー露出画像がＬ画像として得られるものとする。

Ｓ７０３では、システム制御部１２０がパノラマ撮影を終了するか否かを判定する。判定基準は、ユーザによるパノラマ撮影終了の操作であってもよいし、事前に設定された複数回の撮像（露光）が終了したこと（所定数のフレームが得られたこと）等であってもよい。システム制御部１２０は、パノラマ撮影を終了しないと判定した場合（Ｓ７０３でＮＯ）、Ｓ７０４の処理を実行し、パノラマ撮影を終了すると判定した場合（Ｓ７０３でＹＥＳ）、Ｓ７０６の処理を実行する。

Ｓ７０４では、領域検出部１０８が、直前の撮像で得られた適正露出画像からＨＤＲ段数差決定領域を検出する。ＨＤＲ段数差決定領域として、通常は適正露出画像内のパンニング方向の領域が検出される。パンニング方向は、撮像素子１０２のブレ量から推定することができ、また、撮像装置１００の振れやぶれ等の振動を検出するジャイロセンサの情報を用いて推定することもでき、どのような方法を採用しても構わない。ＨＤＲ段数差決定領域の検出には、例えば、パンニング方向に応じて予め決められた領域を検出する方法を用いることができる。また、ジャイロセンサの情報からパンニングの速度を推定し、パンニングの速度が大きいほどパンニング方向側の広い領域を検出し、パンニングの速度が小さいほど撮像範囲（画像）の中心に近い狭い領域を検出する方法を用いてもよい。

Ｓ７０５では、露出制御部１０９が、Ｓ７０４で決定したＨＤＲ段数差決定領域を用いて、次の撮像でのＨＤＲ段数差を決定する。ＨＤＲ段数差の決定方法としては、ＨＤＲ段数差決定領域内を所定数のブロックに分割し、ブロックごとの最大輝度値や輝度差から段数差を求める方法を用いることができるが、ＨＤＲ段数差を決定するものであれば特に限定されるものではない。

システム制御部１２０は、Ｓ７０５の処理後にＳ７０２の処理を実行する。これにより、Ｓ７０２～Ｓ７０５の処理が繰り返されるが、パノラマ合成を行うための複数回の撮像が終了すると、Ｓ７０３での判定がＹＥＳとなって、Ｓ７０６の処理が実行される。

パノラマ撮影終了後のＳ７０６では、ＨＤＲ合成部１０５が、Ｓ７０２で取得した全てのフレームについて、フレームごとにＨ画像とＬ画像のＨＤＲ合成を行う。

Ｓ７０７では、パノラマ合成部１０６が、Ｓ７０６で得られた全てのＨＤＲ画像のそれぞれからパノラマ合成に用いる短冊領域を切り出し、切り出した短冊領域を連結させる。こうして、ＨＤＲパノラマ画像が生成されると、システム制御部１２０は本処理を終了させる。

上記説明の通り、本実施形態によれば、パノラマ合成される領域ごとに白飛びや黒潰れの発生を低減させた適切なコントラストを有するＨＤＲパノラマ画像を得ることが可能になる。

本実施形態の開示は、以下の構成および方法を含む。
（構成１）１回の撮像で異なるゲインを掛けた複数の画像を出力可能な撮像素子を備える撮像装置であって、前記撮像装置をパンニングさせながら前記撮像素子による複数回の撮像を行うことで１回の撮像ごとに異なるゲインが掛けられた複数の画像を取得する取得手段と、前記複数回の撮像において、直前の撮像により得られた画像から次の撮像での露出段数差を決定するための領域を検出する検出手段と、前記検出手段により検出された領域から前記次の撮像での露出段数差を決定する決定手段と、前記決定手段により決定された露出段数差となるように前記次の撮像での前記異なるゲインを制御する制御手段と、前記撮像素子による１回の撮像で出力される複数の画像を前記複数回の撮像ごとにＨＤＲ合成を行う合成手段と、前記ＨＤＲ合成により得られた画像から所定の領域を切り出して繋げることによりパノラマ画像を生成する生成手段と、を備えることを特徴とする撮像装置。
（構成２）前記決定手段は、前記複数回の撮像のうちの最初の撮像での露出段数差を、前記最初の撮影前に前記撮像素子から得られる全撮像範囲の輝度情報に基づいて決定することを特徴とする構成１に記載の撮像装置。
（構成３）前記制御手段は、前記複数回の撮像が１組の適正露出画像とオーバー露出画像を得る撮像となるように前記異なるゲインを制御することを特徴とする構成１又は２に記載の撮像装置。
（構成４）前記制御手段は、前記複数回の撮像が１組の適正露出画像とアンダー露出画像を得る撮像となるように前記異なるゲインを制御することを特徴とする構成１又は２に記載の撮像装置。
（構成５）前記検出手段は、前記パノラマ画像を生成するために切り出される所定の領域とは異なる領域を、前記次の撮像での異なるゲインを決定するための領域とすることを特徴とする構成１乃至４のいずれか１つに記載の撮像装置。
（構成６）前記パンニングの速度を推定する推定手段を備え、前記検出手段は、前記露出段数差を決定するための領域として、前記パンニングの速度が大きいほどパンニング方向側の広い領域を検出し、前記パンニングの速度が小さいほど撮像範囲の中心に近い狭い領域を検出することを特徴とする構成５に記載の撮像装置。
（構成７）前記パノラマ画像は、前記複数の画像よりもダイナミックレンジが広いことを特徴する構成１乃至６のいずれか１つに記載の撮像装置。
（構成８）コンピュータを構成１乃至７のいずれか１つに記載の撮像装置の各手段として機能させることを特徴とするプログラム。
（方法１）１回の撮像で異なるゲインを掛けた複数の画像を出力可能な撮像素子を備える撮像装置の制御方法であって、
前記撮像装置をパンニングさせながら前記撮像素子による複数回の撮像を行うことで１回の撮像ごとに異なるゲインが掛けられた複数の画像を取得するステップと、
前記撮像素子による１回の撮像で出力される複数の画像を前記複数回の撮像ごとにＨＤＲ合成を行うステップと、
前記ＨＤＲ合成により得られた画像から所定の領域を切り出して繋げることによりパノラマ画像を生成するステップと、を有し、
前記複数の画像を取得するステップは、
前記複数回の撮像において、直前の撮像により得られた画像から次の撮像での露出段数差を決定するための領域を検出するステップと、
前記検出された領域から前記次の撮像での露出段数差を決定するステップと、
前記決定された露出段数差となるように前記次の撮像での前記異なるゲインを制御するステップと、を有することを特徴とする撮像装置の制御方法。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。例えば、上記実施形態では、撮像素子１０２はデジタル信号を出力するとしたが、撮像素子１０２はその内部でＡ／Ｄ変換を行わないものであってもよく、その場合には、画像取得部１０３がＡ／Ｄ変換を行うアナログフロントエンドを備える構成となる。また、撮像素子１０２について、画素信号に対して２つの（異なる）ゲインを掛けることにより同時性を持ったゲインの異なる２枚の画像を得ることが可能な構成を示したが、同時出力が可能な画像は２枚に限定されるものではない。

図７のフローチャートでは、Ｈ画像が適正露出画像として得られ、Ｌ画像がアンダー露出画像として得られるようにしたが、Ｈ画像がオーバー露出画像として得られ、Ｌ画像が適正露出画像として得られるようにしてもよい。また、各フレームで得られるＨ画像とＬ画像をＨＤＲ合成した後に短冊領域を切り出して連結させることによりＨＤＲパノラマ画像を生成した。これに限らず、各フレームで得られるＨ画像とＬ画像からＨＤＲパノラマ画像を構成する短冊領域を切り出してＨＤＲ合成し、得られた短冊状のＨＤＲ画像を連結することでＨＤＲパノラマ画像を生成するようにしてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０２ 撮像素子
１０３ 画像取得部
１０４ 信号処理部
１０５ ＨＤＲ合成部
１０６ パノラマ合成部
１０９ 露出制御部
１１０ 撮像素子制御部
１２０ システム制御部
２０４ 列ＡＭＰ

Claims (9)

1. １回の撮像で異なるゲインを掛けた複数の画像を出力可能な撮像素子を備える撮像装置であって、
   前記撮像装置をパンニングさせながら前記撮像素子による複数回の撮像を行うことで１回の撮像ごとに異なるゲインが掛けられた複数の画像を取得する取得手段と、
   前記複数回の撮像において、直前の撮像により得られた画像から次の撮像での露出段数差を決定するための領域を検出する検出手段と、
   前記検出手段により検出された領域から前記次の撮像での露出段数差を決定する決定手段と、
   前記決定手段により決定された露出段数差となるように前記次の撮像での前記異なるゲインを制御する制御手段と、
   前記撮像素子による１回の撮像で出力される複数の画像を前記複数回の撮像ごとにＨＤＲ合成を行う合成手段と、
   前記ＨＤＲ合成により得られた画像から所定の領域を切り出して繋げることによりパノラマ画像を生成する生成手段と、を備えることを特徴とする撮像装置。
2. 前記決定手段は、前記複数回の撮像のうちの最初の撮像での露出段数差を、前記最初の撮影前に前記撮像素子から得られる全撮像範囲の輝度情報に基づいて決定することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記複数回の撮像が１組の適正露出画像とオーバー露出画像を得る撮像となるように前記異なるゲインを制御することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記制御手段は、前記複数回の撮像が１組の適正露出画像とアンダー露出画像を得る撮像となるように前記異なるゲインを制御することを特徴とする請求項１又は２に記載の撮像装置。
5. 前記検出手段は、前記パノラマ画像を生成するために切り出される所定の領域とは異なる領域を、前記次の撮像での異なるゲインを決定するための領域とすることを特徴とする請求項１又は２に記載の撮像装置。
6. 前記パンニングの速度を推定する推定手段を備え、
   前記検出手段は、前記露出段数差を決定するための領域として、前記パンニングの速度が大きいほどパンニング方向側の広い領域を検出し、前記パンニングの速度が小さいほど撮像範囲の中心に近い狭い領域を検出することを特徴とする請求項５に記載の撮像装置。
7. 前記パノラマ画像は、前記複数の画像よりもダイナミックレンジが広いことを特徴する請求項１又は２に記載の撮像装置。
8. １回の撮像で異なるゲインを掛けた複数の画像を出力可能な撮像素子を備える撮像装置の制御方法であって、
   前記撮像装置をパンニングさせながら前記撮像素子による複数回の撮像を行うことで１回の撮像ごとに異なるゲインが掛けられた複数の画像を取得するステップと、
   前記撮像素子による１回の撮像で出力される複数の画像を前記複数回の撮像ごとにＨＤＲ合成を行うステップと、
   前記ＨＤＲ合成により得られた画像から所定の領域を切り出して繋げることによりパノラマ画像を生成するステップと、を有し、
   前記複数の画像を取得するステップは、
   前記複数回の撮像において、直前の撮像により得られた画像から次の撮像での露出段数差を決定するための領域を検出するステップと、
   前記検出された領域から前記次の撮像での露出段数差を決定するステップと、
   前記決定された露出段数差となるように前記次の撮像での前記異なるゲインを制御するステップと、を有することを特徴とする撮像装置の制御方法。
9. コンピュータを請求項１又は２に記載の撮像装置の各手段として機能させることを特徴とするプログラム。

Images