JP5655667B2 - 撮像装置及び撮像制御方法、画像処理装置及び画像処理方法、並びにプログラム - Google Patents

Description

本発明は、一度の撮像機会で、ダイナミックレンジの広いパノラマ画像のデータを生成することが可能な、撮像装置及び撮像制御方法、画像処理装置及び画像処理方法、並びにプログラムに関する。

従来より、標準的な画角の範囲で撮像した画像（以下、「ノーマル画像」と呼ぶ）のみならず、それよりも広い範囲を撮像した横長又は縦長の画像、即ちいわゆるパノラマ画像を撮像する技術が知られている。パノラマ画像は、通常のレンズよりも画角が広範囲となる特殊な広角レンズにより撮像するのが一般的であるが、近年、通常のレンズでも、パノラマ画像を撮像することが可能な技術も登場してきている（特許文献１参照）。
この特許文献１によれば、撮像装置は、ユーザにより移動されている最中に、連続して繰り返し撮像する動作（以下、「連写動作」と呼ぶ）を行う。その後、撮像装置は、連写動作により得られた複数のノーマル画像の各データを合成することで、パノラマ画像のデータを生成する。このように生成されたパノラマ画像のデータは、ノーマル画像が複数枚つなぎ合わせされた横長又は縦長の画像のデータとなる。

一方、上記の如くパノラマ画像データのように広範囲の画角の画像を取得する場合、明暗の差が大きな風景では、明るい部分では白飛びが発生し、暗い部分では黒つぶれが発生するという問題があった。

そこで、この問題を解決する技術が、特許文献１に記載されている。
即ち、特許文献１に記載の技術によれば、撮像装置は、所定の移動範囲内で、所定の露出で複数のノーマル画像を撮像した後に、露出の程度を代えて再度同一の移動範囲内で複数のノーマル画像を撮像する。そして、撮像装置は、これらの複数のノーマル画像の各データを合成することで、ダイナミックレンジが広いパノラマ画像のデータを生成する。

特開平１１−６５００４号公報

しかしながら、上述した特許文献１記載の技術は、再度同一の移動範囲で２度の撮像を行うことを前提としている。このような前提では、撮像装置の移動範囲の同一性には厳密さが要求されるため、撮像装置を固定するための回転雲台が必要になる。従って、回転雲台を用意していない場合や、回転雲台を設置できないような場合、特許文献１記載の技術を適用して、ダイナミックレンジが広いパノラマ画像を得ることは非常に困難になる。このような場合、ユーザが撮像装置を手で保持して移動させることになるが、ユーザにとって、２回とも同一の移動範囲で撮像装置を移動させることは非常に困難だからである。
このため、一度の撮像機会で、ダイナミックレンジの広いパノラマ画像のデータを生成することが要求されている。

本発明は、一度の撮像機会で、ダイナミックレンジの広いパノラマ画像のデータを生成することを目的とする。

上記目的を達成するため、本発明の一態様の撮像装置は、撮像手段と、前記撮像手段の撮像範囲が所定の方向に移動されている状態で連続して撮像される画像の明るさを所定のタイミング毎に変更するよう制御する制御手段と、前記制御手段により前記所定のタイミング毎に前記明るさが変更されながら前記撮像範囲が所定の方向で移動されている状態で前記撮像手段により連続して撮像された複数の画像の前記明るさが異なる隣接画像間で重複する画像領域を特定する特定手段と、前記連続して撮像された複数の画像について、前記特定手段により特定された画像領域同士の画素値を前記隣接画像間毎に合成する合成手段と、前記合成手段により前記隣接画像間毎に前記画像領域同士の画素値が合成された複数の画像領域をつなぎ合わせることで、前記撮像手段の画角によって撮像された画像よりも広い範囲の広角画像を生成する画像生成手段と、を備えたことを特徴とする。

本発明によれば、一度の撮像機会で、ダイナミックレンジの広いパノラマ画像を生成することができる。

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 パノラマ画像の生成の一例を示す模式図である。 図１の撮像装置の機能的構成のうち、パノラマ画像生成処理を実行するための機能的構成を示す機能ブロック図である。 図２の機能的構成を有する図１の撮像装置が実行するパノラマ画像生成処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。
図１は、本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラして構成される。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、加速度センサ１８、入力部１９と、出力部２０と、記憶部２１と、通信部２２と、ドライブ２３と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２１からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３及び画像処理部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、加速度センサ１８と、入力部１９、出力部２０、記憶部２１、通信部２２及びドライブ２３が接続されている。

撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。
ここで、１回の撮像動作により、撮像部１７から出力される出力信号を、以下、「フレーム画像のデータ」と呼ぶ。即ち、連写動作とは複数回の撮像動作の繰り返しであることから、連写動作により、複数の撮像画像のデータが撮像部１７から出力される。

加速度センサ１８は、撮像装置１の速度や加速度を検出可能に構成される。
入力部１９は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部２０は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。

記憶部２１は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２２は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２３には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２３によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２１にインストールされる。また、リムーバブルメディア３１は、記憶部２１に記憶されている画像のデータ等の各種データも、記憶部２１と同様に記憶することができる。

このような構成を有する撮像装置１は、パノラマ画像生成処理を実行することができる。
パノラマ画像生成処理とは、露出を変化させながら撮像部１７に連写動作をさせ、その結果得られる複数枚のフレーム画像のデータを合成することによって、パノラマ画像のデータを生成するまでの一連の処理である。

ここで、パノラマ画像生成処理の理解を容易なものとすべく、先ず、図２を参照して、パノラマ画像生成処理におけるパノラマ画像のデータの生成手法の概略について説明する。

図２は、パノラマ画像のデータの生成手法の一例を示す模式図である。
本例では、結婚式の披露宴会場において、新郎新婦によるケーキ入刀のイベントが行われている場面を撮像する場合を例として説明する。
本例では、図２中、左側から右側の方向に撮像装置１が移動していくものとする。なお、パノラマ画像を撮像するためにユーザが撮像装置１を移動させる方向、本例では、左側から右側の方向を、「パノラマ方向」と呼ぶ。
本例では、中央にあるケーキ及び新郎新婦の周辺は、スポットライトがあてられており、かつ、ケーキに挿されたロウソクの火や、列席者が新郎新婦を撮像するためのフラッシュの明かり等により、明るい部分になっている。これに対して、他の場所については照明が消されているため、暗い部分になっている。
このように、本例では、明るい部分と暗い部分との差が大きく異なる場面が撮像対象となっており、ダイナミックレンジの広い撮像が要求される。

また、ダイナミックレンジの広い撮像を行うべく、上述の特許文献１の技術を適用しようにも、特許文献１の技術の適用に必要な回転雲台を設置するが困難な場合がある。また、ユーザが撮像装置１を手で保持して移動させるにしても、パノラマ方向に同一の軌跡で２回移動させることは非常に困難である。従って、本例のような場面で、上述の特許文献１の技術を適用することは不適である。

これに対して、本例のような場面では、ユーザは、本実施形態の撮像装置１を用いるのが好適である。ユーザは、本実施形態の撮像装置１を手で保持して１回だけパノラマ方向に移動させるだけで、後述するように、フレーム画像間のつなぎ目が不自然にならない上に、ダイナミックレンジの広いパノラマ画像を容易に得ることができるからである。

概略としては、撮像装置１は、ユーザによりパノラマ方向に移動されながら、撮像部１７に対し第１露出条件（例えば明るいフレーム画像を取得するための露出条件）と第２露出条件（例えば暗いフレーム画像を取得するための露出条件）とを設定し、これを交互に切り替えながら連写動作をする。これにより、第１露出条件で撮像された幾つかのフレーム画像（以下、「第１露出フレーム画像」と呼ぶ）の各データが得られると共に、第１露出フレーム画像の間に、第２露出条件で撮像された幾つかのフレーム画像の各データが得られる。
そこで、撮像装置１は、連続して撮像した第１露出フレーム画像と第２露出フレーム画像との組、又は連続して撮像した第２露出フレーム画像と第１露出フレーム画像との組をそれぞれ処理対象として、処理対象の組の各データから、同一範囲が写っている画像領域のデータをそれぞれ抽出して、重畳するように合成する。これにより、各組毎に、相異なる第１露出条件と第２露出条件とでそれぞれ撮像された同一範囲の像が合成された合成画像のデータ、即ち、ダイナミックレンジが広い合成画像（以下、「ＨＤＲ合成画像」と呼ぶ）のデータが得られる。
撮像装置１は、各組毎のＨＤＲ合成画像の各データをパノラマ方向につなぎ合わせるように撮像順に合成することによって、フレーム画像間のつなぎ目が不自然にならない上に、ダイナミックレンジの広いパノラマ画像のデータを生成することができる。

より具体的には、ユーザは、撮像装置１を保持した状態で、入力部１９の図示せぬシャッタ釦を下限まで押下する操作（以下、「全押し操作」と呼ぶ）をする。これにより、パノラマ画像生成処理が開始され、撮像装置１は、撮像部１７の連写動作を開始させる。

次に、ユーザは、シャッタ釦の全押し操作を維持した状態で、パノラマ方向に撮像装置１を移動させる。なお、このようの移動は、一般的に、「パンニングをさせる」、或いは「パンさせる」と表現されている。

撮像装置１は、移動中、加速度センサ１８の検出結果に基づいて移動量を検出し、その移動量が所定量に達する毎に、前回とは異なる露出条件に切り替えて撮像部１７に被写体を撮像させ、その結果得られるフレーム画像のデータを記憶していくことを繰り返す。

具体的には本例では、撮像装置１は、先ず、第１露出条件を設定し１回目の撮像を行い、第１露出フレーム画像Ｆ１ａのデータを記憶する。
続いて、撮像装置１は、１回目の撮像位置からの移動量が所定量に達すると、露出条件を第２露出条件に切り替えて設定し２回目の撮像を行い、第２露出フレーム画像Ｆ２ａのデータを記憶する。
その後、撮像装置１は、第１露出フレーム画像Ｆ１ａと、第２露出フレーム画像Ｆ２ａとの重複部分（第１露出フレーム画像Ｆ１ａの右半分と、第２露出フレーム画像Ｆ２ａの左半分）との各データを重畳させる合成を行うことで、ＨＤＲ合成画像ＭＡのデータを生成する。なお、以下、このような合成を、パノラマ画像生成時の合成と区別すべく、「ＨＤＲ合成」と呼ぶ。

以下同様に、撮像装置１は、２回目の撮像位置からの移動量が所定量に達すると、再び露出条件を第１露出条件に切り替えて設定し３回目の撮像を行い、第２露出フレーム画像Ｆ２ｂのデータを記憶する。
その後、撮像装置１は、第２露出フレーム画像Ｆ２ａと、第１露出フレーム画像Ｆ１ｂとの重複部分（第２露出フレーム画像Ｆ２ａの右半分と、第１露出フレーム画像Ｆ１ｂの左半分）との各データをＨＤＲ合成することで、ＨＤＲ合成画像ＭＢのデータを生成する。

更に、撮像装置１は、３回目の撮像位置からの移動量が所定量に達すると、露出条件を第２露出条件に切り替えて設定し４回目の撮像を行い、第２露出フレーム画像Ｆ２ｂのデータを記憶する。
その後、撮像装置１は、第１露出フレーム画像Ｆ１ｂと、第２露出フレーム画像Ｆ２ｂとの重複部分（第１露出フレーム画像Ｆ１ｂの右半分と、第２露出フレーム画像Ｆ２ｂの左半分）との各データをＨＤＲ合成することで、ＨＤＲ合成画像ＭＣのデータを生成する。
その後、撮像装置１は、その移動量の総量（全押し操作を開始した位置からの累計移動量）が規定量に達すると、撮像部１７の連写動作を終了させる。

すると、撮像装置１は、これまでに生成したＨＤＲ合成画像ＭＡ乃至ＭＣの各データを、その順にパノラマ方向につなぎ合わせるように合成することで、パノラマ画像ＰＧのデータを生成する。

このように、ＨＤＲ合成画像ＭＡ乃至ＭＣとは、相異なる第１露出条件と第２露出条件との画像がヒストグラムの分布状況に応じて合成比率を変えて加算合成されたものであって、同レベルの広いダイナミックレンジを有する画像である。従って、このようなＨＤＲ合成画像ＭＡ乃至ＭＣがつなぎ合わせられるように合成されたパノラマ画像ＰＧは、フレーム画像間のつなぎ目が不自然にならない上に、ダイナミックレンジの広いパノラマ画像になる。

次に、図３を参照して、このようなパノラマ画像生成処理及びパノラマ画像概要表示処理を実行するための撮像装置１の機能的構成について説明する。
図３は、図１の撮像装置１の機能的構成のうち、パノラマ画像生成処理を実行するための機能的構成を示す機能ブロック図である。

撮像装置１がパノラマ画像生成処理を実行する場合には、ＣＰＵ１１においては、撮像制御部４１と、移動量検出部４２と、露出調整部４３とが機能し、画像処理部１４においては、画像切出部５１と、ＨＤＲ合成部５２と、パノラマ画像合成部５３とが機能する。
また、記憶部２１においては、３つの区分された領域の各々が、第１露出フレーム画像のデータを記憶する第１フレームバッファ６１、第２露出フレーム画像のデータを記憶する第２フレームバッファ６２、及び、パノラマ画像のデータを記憶する画像バッファ６３としてそれぞれ機能する。

撮像制御部４１は、撮像部１７の撮像のタイミングの制御や、露出を切り替える制御を実行する。
具体的には、ユーザが、撮像装置１を保持したまま全押し操作をすると、パノラマ画像生成処理が開始する。即ち、撮像制御部４１は、撮像部１７の連写動作を開始させる。
その後、ユーザは、シャッタスイッチの全押し操作を維持した状態で、パノラマ方向に撮像装置１を移動させる。
撮像制御部４１は、全押し操作が維持されている間、撮像装置１の移動量（移動量については後述する）が一定量に達する毎に、後述する露出調整部４３の調整結果に基づき露出を切り替えて撮像部１７に撮像させ、その結果得られる第１露出フレーム画像又は第２露出フレーム画像のデータを第１フレームバッファ６１に一時的に記憶していくことを繰り返す。
その後、撮像装置１の総移動量が規定量に達すると、撮像制御部４１は、撮像部１７の連写動作を終了させる。

移動量検出部４２は、加速度センサ１８の検出結果に基づいて、撮像装置１の移動量や加速度を検出する。
露出調整部４３は、移動量検出部４２により検出され撮像装置１の移動量に基づいて、撮像部１７に設定する露出条件（本実施形態では第１露出条件又は第２露出条件）を調整し、調整結果を撮像制御部４１に通知する。

このような機能的構成のＣＰＵ１１の制御によって、撮像部１７から第１露出フレーム画像のデータが出力された場合には、当該データは第１フレームバッファ６１に記憶され、撮像部１７から第２露出フレーム画像のデータが出力された場合には、当該データは第２フレームバッファに記憶される。

画像切出部５１は、第１露出フレーム画像のうち第１領域のデータを第１フレームバッファ６１から切り出すと共に、第２露出フレーム画像のデータのうち、第１領域に対応する第２領域のデータを切り出す。
ＨＤＲ合成部５２は、画像切出部５１によってそれぞれ切り出された、第１領域（明るい第１露出で撮像されたフレーム画像の一部）と、第２領域（暗い第２露出で撮像されたフレーム画像の一部）との各データをＨＤＲ合成することで、ＨＤＲ合成画像のデータを生成する。

パノラマ画像合成部５３は、ＨＤＲ合成部５２により生成された複数のＨＤＲ合成画像のデータをつなぎ合わせる合成を行うことで、パノラマ画像のデータを生成し、画像バッファ６３に記憶させる。

次に、このような図３の機能的構成を有する図１の撮像装置１が実行する処理のうち、パノラマ画像生成処理の流れについて図４を用いて説明する。図４は、撮像装置１が実行するパノラマ画像生成処理の流れを説明するフローチャートである。
パノラマ画像生成処理は、本実施形態においては、ユーザが入力部１９の図示せぬシャッタ釦を全押し操作して、撮像の指示をしたことを契機として開始される。

ステップＳ１において、露出調整部４３は、初期露出設定として、先ず第１露出条件を設定する。

ステップＳ２において、撮像制御部４１は、第１露出条件で撮像部１７に１枚の第１露出フレーム画像（例えば図２における第１露出フレーム画像Ｆ１ａ）を撮像させる。
ステップＳ３において、撮像制御部４１は、ステップＳ２の処理で撮像部１７により撮像されて出力された第１露出フレーム画像のデータを、第１フレームバッファ６１に保存させる。
この際、撮像装置１は、ユーザにより所定の方向（パノラマ方向）に撮影画角が移動させられる。

ステップＳ４において、移動量検出部４２は、撮像装置１が所定量移動したか否か、即ち、前回の撮像時（前回のステップＳ２，Ｓ７，又はＳ１３の時点）の位置からの移動量が所定量に到達したか否かを判断する。
移動量が所定量に到達していない場合には、ステップＳ４において、ＮＯであると判断されて、処理はステップＳ４に再び戻される。即ち、移動量が所定量に到達するまでの間、ステップＳ４の判定処理が繰り返し実行されて、パノラマ画像生成処理は待機状態になる。
その後、移動量が所定量に到達した場合には、ステップＳ４において、ＹＥＳであると判断されて、処理はステップＳ５に進む。

ステップＳ５において、露出調整部４３は、現在、第１露出条件が設定されているか否かを判定する。

例えばステップＳ２の処理による１回目の撮像後のステップＳ５の処理では、１回目の撮像が第１露出条件の設定で行なわれていたので、ステップＳ５において、ＹＥＳと判定され、処理はステップＳ６に進む。

ステップＳ６において、露出調整部４３は、これに切り換えて第２露出条件設定する。即ち、露出の設定が、第１露出条件から第２露出条件に切り替えられる。

ステップＳ７において、撮像制御部４１は、暗い第２露出で撮像部１７に１枚の第２露出フレーム画像を撮像させる。例えば、２回目の撮像ならば、図２における第２露出フレーム画像Ｆ２ａが撮像される。
ステップＳ８において、撮像制御部４１は、ステップＳ７の処理で撮像部１７により撮像されて出力された第２露出フレーム画像のデータを、第２フレームバッファ６２に保存させる。

ステップＳ９において、画像切出部５１は、第１フレームバッファ６１及び第２フレームバッファ６２の画像の位置合わせをして重複部分のデータを切り出す。
具体的には、画像切出部５１は、第１フレームバッファ６１に保存された第１露出条件で撮像された第１露出フレーム画像と、第２フレームバッファ６２に保存された第２露出条件で撮像された第２露出フレーム画像の重複部分のデータを切り出す。

ステップＳ１０において、ＨＤＲ合成部５２は、ステップＳ９の処理によって第１露出フレーム画像及び第２露出フレーム画像のそれぞれから切り出された重複部分の各々を、ＨＤＲ合成することで、ＨＤＲ合成画像のデータを生成し、当該ＨＤＲ合成後、当該ＨＤＲ合成画像のデータを画像バッファ６３に追加して保存させる（図３には図示せず）。

例えば、ステップＳ９の処理によって、図２における、１回目の撮像により得られた第１露出フレーム画像Ｆ１ａ、及び２回目の撮像により得られた第２露出フレーム画像Ｆ２ａのそれぞれの各重複部分、即ち第１露出フレーム画像Ｆ１ａの右半面の部分と、第２露出フレーム画像Ｆ２ａの左半面の部分とが切り抜かれたものとする。
この場合、ステップＳ１０の処理によって、第１露出フレーム画像Ｆ１ａの右半面の部分と、第２露出フレーム画像Ｆ２ａの左半面の部分とがＨＤＲ合成されて、ＨＤＲ合成画像ＭＡのデータが生成されて、画像バッファ６３に追加して保存される。

ステップＳ１１において、移動量検出部４２は、撮像装置１が規定量移動したか否か、即ち、これまでの総移動量が規定量に到達したか否かを判断する。
総移動量が規定量に到達した場合には、ステップＳ１１において、ＹＥＳであると判断されて、処理はステップＳ１２に進む。ただし、ステップＳ１２以降の処理については後述する。
これに対して、総移動量が規定量に到達していない場合には、ステップＳ１１において、ＮＯであると判断されて、処理はステップＳ４に戻され、それ以降の処理が繰り返される。

即ち、ステップＳ２の処理で、明るい第１露出で１回目の撮像が行われた後、ステップＳ４乃至Ｓ６が実行され、ステップＳ７の処理で、暗い第２露出で２回目の撮像が行われ、ステップＳ８乃至Ｓ１０の処理が実行されて、図２に示すＨＤＲ合成画像ＭＡのデータが画像バッファ６３に保存されたものとする。
この場合、ステップＳ４の処理で所定量移動したと判定されると、２回目の撮像が暗い第２露出であったので、ステップＳ５においてＮＯであると判定されて、処理はステップＳ１２に進む。

ステップＳ１２において、露出調整部４３は、これに切り換えて第１露出条件を設定する。即ち、露出条件が、第２露出条件から第１露出条件に切り替えられる。

ステップＳ１３において、撮像制御部４１は、明るい第１露出で撮像部１７に１枚の第１露出フレーム画像を撮像させる。例えば、いまの場合３回目の撮像なので、図２における第１露出フレーム画像Ｆ１ｂが撮像される。
ステップＳ１４において、撮像制御部４１は、ステップＳ１３の処理で撮像部１７により撮像されて出力された第１露出フレーム画像のデータを、第１フレームバッファ６１に保存させる。

その後、ステップＳ９の処理によって、図２における、２回目の撮像により得られた第２露出フレーム画像Ｆ２ａ、及び３回目の撮像により得られた第１露出フレーム画像Ｆ１ｂのそれぞれの各重複部分、即ち第２露出フレーム画像Ｆ２ａの右半面の部分と、第１露出フレーム画像Ｆ１ｂの左半面の部分とが切り出される。
この場合、ステップＳ１０の処理によって、第２露出フレーム画像Ｆ２ａの右半面の部分と、第１露出フレーム画像Ｆ１ｂの左半面の部分とがＨＤＲ合成されて、ＨＤＲ合成画像ＭＢのデータが生成されて、画像バッファ６３に追加して保存される。

その後、ステップＳ１１において、ＮＯであると判断されて、処理はステップＳ４に戻され、それ以降の処理が繰り返される。
即ち、ステップＳ４の処理で所定量移動したと判定されると、３回目の撮像が第１露出条件で行なわれたので、ステップＳ５においてＹＥＳであると判定されて、処理はステップＳ６に進む。
ステップＳ６の処理で、これに切り換えて第２露出条件が設定され、ステップＳ７の処理で、４回目の撮像が行われ、ステップＳ８の処理で、図２における第２露出フレーム画像Ｆ２ｂが第２フレームバッファ６２に保存される。
その後、ステップＳ９の処理によって、図２における、３回目の撮像により得られた第１露出フレーム画像Ｆ１ｂ及び４回目の撮像により得られた第２露出フレーム画像Ｆ２ｂのそれぞれの各重複部分、即ち第１露出フレーム画像Ｆ１ｂの右半面の部分と、第２露出フレーム画像Ｆ２ｂの左半面の部分とが切り出される。
この場合、ステップＳ１０の処理によって、第１露出フレーム画像Ｆ１ｂの右半面の部分と、第２露出フレーム画像Ｆ２ｂの左半面の部分とがＨＤＲ合成されて、ＨＤＲ合成画像ＭＣのデータが生成されて、画像バッファ６３に追加して保存される。

ここで、総移動量が規定量に到達した場合には、ステップＳ１１において、ＹＥＳであると判断されて、処理はステップＳ１２に進む。
ステップＳ１２において、パノラマ画像合成部５３は、これまでに生成したＨＤＲ合成画像のデータを、その順にパノラマ方向につなぎ合わせるように合成することで、パノラマ画像のデータを生成する。例えば図２に示すように、ＨＤＲ合成画像ＭＡ乃至ＭＣの各データが合成されて、パノラマ画像のデータが生成される。

これにより、パノラマ画像生成処理が終了する。
このように、本実施形態では、撮像装置１が図４のフローチャートに従ってパノラマ画像生成処理を実行することで、一度の撮像機会で、ダイナミックレンジの広いパノラマ画像を生成することができる。

以上説明したように、撮像装置１は、撮像部１７と、撮像制御部４１と、ＨＤＲ合成部５２とを備える。
撮像制御部４１は、露出条件の異なるフレーム画像を繰り返し撮像するように撮像部１７を制御する。
ＨＤＲ合成部５２は、撮像制御部４１によって得られた複数のフレーム画像の略重複する画像領域のデータをそれぞれＨＤＲ合成することで、撮像手段による撮像によって得られる画像よりもダイナミクレンジを広くした複数のＨＤＲ合成画像のデータを生成する。
パノラマ画像合成部５３は、ＨＤＲ合成部５２によって生成された複数のＨＤＲ合成画像のデータをつなぎ合わせることで、撮像部１７の画角によって撮像された画像よりも広い範囲を撮像しようとしたようなパノラマ画像（以下、「広角画像」とも呼ぶ）を生成する。

従って、撮像装置１は、ダイナミックレンジの広いパノラマ画像のデータを、１度の撮像機会で生成することができる。

撮像制御部４１は、第１露出条件での撮像と、これとは異なる第２露出条件での撮像を切り替える所定のアルゴリズムによって制御することができる。
また、撮像制御部４１は、所定の時間間隔で露出値を交互に切り換えるアルゴリズムに従って、明るさの異なる画像を繰り返し撮像するように制御することができる。

従って、撮像装置１は、露出程度が均質化されたパノラマ画像のデータを生成することができる。

撮像制御部４１は、撮像装置１の所定の移動距離間隔又は所定の回転角間隔で露出値を交互に切り換えるアルゴリズムに従って、明るさの異なる画像を繰り返し撮像するように撮像部１７を制御することができる。

従って、撮像装置１は、撮像装置１の移動の程度を、移動距離間隔又は回転角間隔に基づいて判断することができるために、実際の撮像装置１の移動に基づいて撮像を行うように制御することが可能になり、その結果、略重複する画像領域が正確に得られるように撮像を行うことができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述した実施形態では、第１露出条件から撮像するように構成したが、これに限られず、第２露出条件から撮像し始めてもよい。
換言すると、所定のアルゴリズムに従って露出条件を変化させて、明るさの異なるフレーム画像を得られれば足りる。ここで、所定のアルゴリズムとして、上述の実施形態では、第１露出条件と第２露出条件とを交互に切り替えるアルゴリズムが採用されていたが、これに限られず、任意のアルゴリズムでよい。
例えば、露出条件に替えて、撮影後の輝度に関するゲイン調整量を２種類用意し、これを交互に切り替えるアルゴリズムでも同様の効果を達成することができる。この場合、露出条件を変えるわけではないので、シャッター速度を変えることによる被写体ブレを間接的に低減させることができる。

また、上述した実施形態では、略重複する画像領域をそれぞれ有する、露出の異なるフレーム画像のデータが取得された状態、即ち、ＨＤＲ合成画像のデータの生成が可能になった状態で直ぐにＨＤＲ合成画像のデータの生成が行われていた。しかしながら、ＨＤＲ合成画像のデータの生成タイミングは、これに限られない。例えば、撮像装置１は、全てのフレーム画像のデータの撮像が終了したタイミングで、全てのＨＤＲ合成画像のデータを生成するようにしてもよい。

また、上述の実施形態では、移動量検出部４２により検出される移動量により、撮像装置の移動を判断していたがこれに限られない。撮像装置の移動を判断できればよく、例えば、予想される速度から割り出される時間、つまり、撮像のタイミングを時間により判断することにより撮像装置の移動を判断してもよい。

このような撮像装置１においては、撮像制御部４１は、所定の時間間隔で露出条件が異なる画像を同期的に撮像するように撮像部１７を制御する。

従って、撮像装置１においては、撮像装置１の移動の程度を、時間を基準にして判断するために、例えば、撮像装置１の移動を検出する構成を備えていなくても、簡単な構成でパノラマ画像を生成することができる。

また、上述した実施形態では、撮像装置１が、自らが備える撮像部１７により撮像されたフレーム画像のデータを用いてパノラマ画像のデータを生成したが、これに限られない。例えば、撮像装置１は、外部機器により撮像された画像のデータを用いてパノラマ画像を生成してもよい。
換言すると、この場合、本発明の実施形態として、撮像機能を有する撮像装置１の形態を取る必要は特になく、画像処理のみを行う画像処理装置の形態を取ることも可能である。

このような画像処理装置は、画像取得部と、合成画像部と、画像生成部とを備える。
画像取得部は、外部機器から、通信部等を介して、露出の異なる複数の画像のデータを取得する。
画像合成部はこれらの複数の画像の略重複する画像領域のデータをそれぞれ合成することで、複数の合成画像のデータを生成する。
画像生成部は、画像合成部によって生成された複数の合成画像のデータをつなぎ合わせることで、所定の撮像手段（外部機器の撮像手段等）の画角によって撮像された画像よりも広い範囲を撮像したような広角画像（パノラマ画像）のデータを生成する。

従って、画像処理装置は、外部機器から取得した画像のデータに基づいて、ダイナミックレンジの広いパノラマ画像のデータを生成することができる。この場合、外部機器又は別の撮像装置を操作するユーザもまた、撮像装置１を操作するユーザと同様に、１度の撮像機会で、画像を撮像すればよい。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、パノラマ画像概要表示処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２１に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像手段と、
前記撮像手段によって、明るさの異なる画像を繰り返し撮像する撮像制御手段と、
前記撮像制御手段によって得られた複数の画像の略重複する画像領域のデータをそれぞれ合成することで、前記撮像手段による撮像によって得られる画像よりもダイナミクレンジを広くした複数の合成画像のデータを生成する合成手段と、
前記合成手段によって生成された前記複数の合成画像のデータをつなぎ合わせることで、前記撮像手段の画角によって撮像された画像よりも広い範囲を撮像しようとしたような広角画像のデータを生成する画像生成手段と、
を備えたことを特徴とする撮像装置。
［付記２］
前記撮像制御手段は、第１露出条件での撮像と、前記第１露出条件で撮像した画像よりも異なる明るさの画像を撮像するための第２露出条件での撮像と、を切り換えるアルゴリズムによって前記撮像手段を制御する、
ことを特徴とする付記１記載の撮像装置。
［付記３］
前記撮像制御手段は、所定の時間間隔で露出値を交互に切り換えるアルゴリズムに従って、明るさの異なる画像を繰り返し撮像するように前記撮像手段を制御する、
ことを特徴とする付記１又は２に記載の撮像装置。
［付記４］
前記撮像制御手段は、当該撮像装置の所定の移動距離間隔又は所定の回転角間隔で露出値を交互に切り換えるアルゴリズムに従って、明るさの異なる画像を繰り返し撮像するように前記撮像手段を制御する、
ことを特徴とする付記１又は２に記載の撮像装置。
［付記５］
撮像手段を備える撮像装置の制御方法であって、
前記撮像手段によって、明るさの異なる画像を繰り返し撮像する撮像制御ステップと、
前記撮像制御ステップの処理によって得られた複数の画像の略重複する画像領域のデータをそれぞれ合成することで、前記撮像手段による撮像によって得られる画像よりもダイナミクレンジを広くした複数の合成画像のデータを生成する合成ステップと、
前記合成ステップの処理によって生成された前記複数の合成画像のデータをつなぎ合わせることで、前記撮像手段の画角によって撮像された画像よりも広い範囲を撮像しようとしたような広角画像のデータを生成する画像生成ステップと、
を含むことを特徴とする制御方法。
［付記６］
撮像手段を備える撮像装置を制御するコンピュータに、
前記撮像手段によって、明るさの異なる画像を繰り返し撮像する撮像制御手段、
前記撮像制御手段によって得られた複数の画像の略重複する画像領域のデータをそれぞれ合成することで、前記撮像手段による撮像によって得られる画像よりもダイナミクレンジを広くした複数の合成画像のデータを生成する合成手段、
前記合成手段によって生成された前記複数の合成画像をつなぎ合わせることで、前記撮像手段の画角によって撮像された画像よりも広い範囲を撮像しようとしたような広角画像のデータを生成する画像生成手段、
として機能させることを特徴とするプログラム。
［付記７］
繰り返しの撮像によって得られる、明るさの異なる複数の画像の略重複する画像領域のデータをそれぞれ合成することで、ダイナミックレンジを広くした複数の合成画像のデータを生成する合成手段と、
前記合成手段によって生成された前記合成画像のデータをつなぎ合わせることで、所定の撮像手段の画角によって撮像された画像よりも広い範囲を撮像したような画像のデータを生成する画像生成手段と、
を備えたことを特徴とする画像処理装置。
［付記８］
繰り返しの撮像によって得られる、明るさの異なる複数の画像のデータに対して画像処理を施す画像処理装置が実行する画像処理方法において、
前記複数の画像の略重複する画像領域のデータをそれぞれ合成することで、ダイナミックレンジを広くした複数の合成画像のデータを生成する合成ステップと、
前記合成ステップの処理によって生成された前記複数の合成画像のデータをつなぎ合わせることで、所定の撮像手段の画角によって撮像された画像よりも広い範囲を撮像したような画像のデータを生成する画像生成ステップと、
を含むことを特徴とする画像処理方法。
［付記９］
繰り返しの撮像によって得られる、明るさの異なる複数の画像のデータを処理するコンピュータに、
前記複数の画像の略重複する画像領域のデータをそれぞれ合成することで、ダイナミックレンジを広くした複数の合成画像のデータを生成する合成手段、
前記合成手段によって生成された前記合成画像のデータをつなぎ合わせることで、所定の撮像手段の画角によって撮像された画像よりも広い範囲を撮像したような画像のデータを生成する画像生成手段、
として機能させることを特徴とするプログラム。

１・・・撮像装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・画像処理部、１５・・・パス、１６・・・入出力インターフェース、１７・・・撮像部、１８・・・加速度センサ、１９・・・入力部、２０・・・出力部、２１・・・記憶部、２２・・・通信部、２３・・・ドライブ、３１・・・リムーバブルメディア、４１・・・撮像制御部、４２・・・移動量検出部、４３・・・露出調整部、５１・・・画像切出部、５２・・・ＨＤＲ合成部、５３・・・パノラマ画像合成部

Claims (12)

1. 撮像手段と、
   前記撮像手段の撮像範囲が所定の方向に移動されている状態で連続して撮像される画像の明るさを所定のタイミング毎に変更するよう制御する制御手段と、
   前記制御手段により前記所定のタイミング毎に前記明るさが変更されながら前記撮像範囲が所定の方向で移動されている状態で前記撮像手段により連続して撮像された複数の画像の前記明るさが異なる隣接画像間で重複する画像領域を特定する特定手段と、
   前記連続して撮像された複数の画像について、前記特定手段により特定された画像領域同士の画素値を前記隣接画像間毎に合成する合成手段と、
   前記合成手段により前記隣接画像間毎に前記画像領域同士の画素値が合成された複数の画像領域をつなぎ合わせることで、前記撮像手段の画角によって撮像された画像よりも広い範囲の広角画像を生成する画像生成手段と、
   を備えたことを特徴とする撮像装置。
2. 前記制御手段は、前記撮像手段の撮像範囲が所定の方向に移動されている間、第１露出条件と当該第１露出条件とは異なる第２露出条件とを切り換えることによって前記連続して撮像される画像の明るさの度合いを前記所定のタイミング毎に制御する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 当該撮像装置の移動量を検出する検出手段と、
   前記検出手段により検出された移動量が所定量に達したか否かを判定する移動量判定手段と、を更に備え、
   前記制御手段は、前記移動量が所定量に達したと判定される度に、前記第１露出条件及び前記第２露出条件の何れか一方から他方に切り替えることで、前記画像の明るさの度合いを変更するよう制御する、
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記制御手段は、所定の時間間隔で露出値を交互に切り換えることによって、前記画像の明るさの度合いを制御する、
   ことを特徴とする請求項１又は２に記載の撮像装置。
5. 前記制御手段は、当該撮像装置の所定の移動距離間隔又は所定の回転角間隔で露出値を交互に切り換えるように制御する、
   ことを特徴とする請求項１又は２に記載の撮像装置。
6. 前記制御手段は、前記明るさを周期的に切り替えて変更させるよう制御する、
   ことを特徴とする請求項１に記載の撮像装置。
7. 前記制御手段は、更に、前記所定のタイミング毎に複数の画像を繰り返し前記撮像手段に撮像させる、
   ことを特徴とする請求項１から６の何れか１項に記載の撮像装置。
8. 撮像装置の制御方法であって、
   撮像手段の撮像範囲が所定の方向に移動されている状態で連続して撮像される画像の明るさを所定のタイミング毎に変更するよう制御する制御ステップと、
   前記制御ステップにより前記所定のタイミング毎に前記明るさが変更されながら前記撮像範囲が所定の方向で移動されている状態で前記撮像手段により連続して撮像された複数の画像の前記明るさが異なる隣接画像間で重複する画像領域を特定する特定ステップと、
   前記連続して撮像された複数の画像について、前記特定ステップにより特定された画像領域同士の画素値を前記隣接画像間毎に合成する合成ステップと、
   前記合成ステップにより前記隣接画像間毎に前記画像領域同士の画素値が合成された複数の画像領域をつなぎ合わせることで、前記撮像手段の画角によって撮像された画像よりも広い範囲の広角画像を生成する画像生成ステップと、
   を含むことを特徴とする制御方法。
9. コンピュータに、
   撮像手段の撮像範囲が所定の方向に移動されている状態で連続して撮像される画像の明るさを所定のタイミング毎に変更するよう制御する制御手段、
   前記制御手段により前記所定のタイミング毎に前記明るさが変更されながら前記撮像範囲が所定の方向で移動されている状態で前記撮像手段により連続して撮像された複数の画像の前記明るさが異なる隣接画像間で重複する画像領域を特定する特定手段、
   前記連続して撮像された複数の画像について、前記特定手段により特定された画像領域同士の画素値を前記隣接画像間毎に合成する合成手段、
   前記合成手段により前記隣接画像間毎に前記画像領域同士の画素値が合成された複数の画像領域をつなぎ合わせることで、前記撮像手段の画角によって撮像された画像よりも広い範囲の広角画像を生成する画像生成手段、
   として機能させることを特徴とするプログラム。
10. 画像の明るさが所定のタイミング毎に変更されながら撮像手段により連続して撮像された複数の画像を取得する取得手段と、
    前記取得手段により取得された複数の画像の前記明るさが異なる隣接画像間で重複する画像領域を特定する特定手段と、
    前記連続して撮像された複数の画像について、前記特定手段により特定された画像領域同士の画素値を前記隣接画像間毎に合成する合成手段と、
    前記合成手段により前記隣接画像間毎に前記画像領域同士の画素値が合成された複数の画像領域をつなぎ合わせることで、前記撮像手段の画角によって撮像された画像よりも広い範囲の広角画像を生成する画像生成手段と、
    を備えたことを特徴とする画像処理装置。
11. 画像処理装置が実行する画像処理方法において、
    画像の明るさが所定のタイミング毎に変更されながら撮像手段により連続して撮像された複数の画像を取得する取得ステップと、
    前記取得ステップにより取得された複数の画像の前記明るさが異なる隣接画像間で前記明るさが異なる重複する画像領域を特定する特定ステップと、
    前記連続して撮像された複数の画像について、前記特定ステップにより特定された画像領域同士の画素値を前記隣接画像間毎に合成する合成ステップと、
    前記合成ステップにより前記隣接画像間毎に前記画像領域同士の画素値が合成された複数の画像領域をつなぎ合わせることで、所定の撮像手段の画角によって撮像された画像よりも広い範囲の広角画像を生成する画像生成ステップと、
    を含むことを特徴とする画像処理方法。
12. コンピュータに、
    画像の明るさが所定のタイミング毎に変更されながら撮像手段により連続して撮像された複数の画像を取得する取得手段、
    前記取得手段により取得された複数の画像の前記明るさが異なる隣接画像間で重複する画像領域を特定する特定手段、
    前記連続して撮像された複数の画像について、前記特定手段により特定された画像領域同士の画素値を前記隣接画像間毎に合成する合成手段、
    前記合成手段により前記隣接画像間毎に前記画像領域同士の画素値が合成された複数の画像領域をつなぎ合わせることで、所定の撮像手段の画角によって撮像された画像よりも広い範囲の広角画像を生成する画像生成手段、
    として機能させることを特徴とするプログラム。

Images