JP5741062B2 - 画像処理装置及び画像処理方法、並びにプログラム - Google Patents

Description

本発明は、合成された広範囲画像の概要の把握が容易になる画像を表示可能な、画像処理装置及び画像処理方法、並びにプログラムに関する。

従来より、標準的な画角の範囲で撮像した画像（以下、「ノーマル画像」と呼ぶ）のみならず、それよりも広い範囲を撮像した横長又は縦長の画像、即ちいわゆるパノラマ画像を撮像する技術が知られている。パノラマ画像は、通常のレンズよりも画角が広範囲となる特殊な広角レンズにより撮像するのが一般的であるが、近年、通常のレンズでも、パノラマ画像を撮像することが可能な技術も登場してきている（特許文献１参照）。
この特許文献１によれば、撮像装置は、ユーザにより移動されている最中に、連続して繰り返し撮像する動作（以下、「連写動作」と呼ぶ）を行う。その後、撮像装置は、連写動作により得られた複数のノーマル画像の各データを合成することで、パノラマ画像のデータを生成する。このように生成されたパノラマ画像のデータは、ノーマル画像が複数枚繋ぎ合わされた横長又は縦長の画像のデータとなる。

特開平１１−８８８１１号公報

しかしながら、パノラマ画像は、例えば、ノーマル画像と同様の表示サイズでディスプレイ等の画面に表示されると、ノーマル画像よりも縮小して表示されてしまうため、ユーザは、パノラマ画像の内容を把握することが困難になる。

本発明は、このような状況に鑑みてなされたものであり、パノラマ画像などの合成された広範囲画像の概要の把握が容易になる画像の表示を実現することを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、複数の画像を取得する画像取得手段と、前記複数の画像が撮像されているときの所定の方向への移動に関する情報を取得する情報取得手段と、前記画像取得手段によって取得された前記複数の画像を合成することで、当該複数の画像中の各画像よりも画角の広い広角画像を生成する生成手段と、前記情報取得手段により取得された前記所定の方向への移動に関する情報に基づいて、前記生成手段により生成された広角画像の代表画像とすべき画像領域を選択する選択手段と、を備えたことを特徴とする。

本発明によれば、合成された広範囲画像の概要の把握が容易になる画像の表示が実現可能になる。

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 パノラマ画像のデータの生成手法の一例を示す模式図である。 図２のパノラマ画像のデータが生成された後、パノラマ画像概要表示処理によりディスプレイに表示される画像の一例を示す模式図である。 図１の撮像装置の機能的構成のうち、パノラマ画像生成処理及びパノラマ画像概要表示処理を実行するための機能的構成を示す機能ブロック図である。 図２の機能的構成を有する図１の撮像装置が実行するパノラマ画像撮像処理の流れを説明するフローチャートである。 図２の機能的構成を有する図１の撮像装置が実行するパノラマ画像概要表示処理の流れを説明するフローチャートである。 代表画像の表示手法の例を説明する模式図である。

以下、本発明の実施形態について、画像処理装置の一例として撮像装置１について、図面を用いて説明する。

図１は、本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラして構成される。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、加速度センサ１８、入力部１９と、出力部２０と、記憶部２１と、通信部２２と、ドライブ２３と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２１からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３及び画像処理部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、加速度センサ１８、入力部１９、出力部２０、記憶部２１、通信部２２及びドライブ２３が接続されている。

撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。

ここで、１回の撮像動作により、撮像部１７から出力される出力信号を、以下、「フレーム画像のデータ」と呼ぶ。即ち、連写動作とは複数回の撮像動作の繰り返しであることから、連写動作により、複数の撮像画像のデータが撮像部１７から出力される。
本実施形態では、フレーム画像として、アスペクト比（横縦比）が４：３のノーマル画像が採用されている。

加速度センサ１８は、撮像装置１の速度や加速度を検出可能に構成される。
入力部１９は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部２０は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。本実施形態の出力部２０には、ノーマル画像を画面全体に表示できるように、アスペクト比（横縦比）が４：３のディスプレイが設けられている。

記憶部２１は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２２は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２３には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２３によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２１にインストールされる。また、リムーバブルメディア３１は、記憶部２１に記憶されている画像のデータ等の各種データも、記憶部２１と同様に記憶することができる。

このような構成を有する撮像装置１は、パノラマ画像生成処理及びパノラマ画像概要表示処理を実行することができる。
パノラマ画像生成処理とは、撮像部１７に連写動作をさせ、その結果得られる複数枚のフレーム画像のデータを合成することによって、パノラマ画像のデータを生成するまでの一連の処理である。なお、パノラマ画像生成処理では、後述する代表画像の抽出に用いられるマーキング情報も合わせて取得される。
パノラマ画像概要表示処理とは、パノラマ画像生成処理によりデータとして生成されたパノラマ画像の中から、マーキング情報を用いて、その概要が把握できる領域を代表画像として選択して、当該代表画像をディスプレイに表示するまでの一連の処理である。

ここで、パノラマ画像生成処理及びパノラマ画像概要表示処理の理解を容易なものとすべく、先ず、図２を参照して、パノラマ画像生成処理におけるパノラマ画像のデータの生成手法の概略について説明する。次に、図３を参照して、パノラマ画像概要表示処理によりディスプレイに表示される画像の一例を説明する。

図２は、パノラマ画像のデータの生成手法の一例を示す模式図である。
図２においては、ユーザが山をパノラマ画像として撮像する場合の例が図示されており、同図中、左側から右側の方向に撮像装置１が移動していくものとする。なお、パノラマ画像を撮像するためにユーザが撮像装置１を移動させる方向、本例では、左側から右側の方向を、「パノラマ方向」と呼ぶ。

本実施形態では、撮像装置１の動作モードとして、ノーマル画像を撮像するモード（以下、「ノーマルモード」と呼ぶ）と、パノラマ画像を撮像するモード（以下、「パノラマモード」と呼ぶ）とが存在する。
そこで、ユーザは、入力部１９に対して所定の操作をすることで、撮像装置１の動作モードをパノラマモードに切り替える。

次に、ユーザは、撮像装置１を保持した状態で、入力部１９の図示せぬシャッタ釦を下限まで押下する操作（以下、「全押し操作」と呼ぶ）をする。これにより、パノラマ画像生成処理が開始される。撮像装置１は、撮像部１７の連写動作を開始させる。

次に、ユーザは、シャッタ釦の全押し操作を維持した状態で、パノラマ方向に撮像装置１を移動させる。なお、このようの移動は、一般的に、「パンニングをさせる」、或いは「パンさせる」と表現されている。
具体的には本例では、ユーザは、山の中腹から山頂、そして反対側の山の中腹までの範囲がパノラマ画像に映り込むように、撮像装置１をパノラマ方向に移動させる。

撮像装置１は、移動中、加速度センサ１８の検出結果に基づいて移動量を検出し、その移動量が所定量に達する毎に、撮像部１７に被写体を撮像させ、その結果得られるフレーム画像のデータを記憶していくことを繰り返す。
具体的には本例では、撮像装置１は、撮像の開始位置（全押し操作を開始した位置）からの移動量が所定量に達すると、１回目の撮像を行い、第１のフレーム画像のデータを記憶する。
更に、撮像装置１は、１回目の撮像位置からの移動量が所定量に達すると、２回目の撮像を行い、第２のフレーム画像のデータを記憶する。
更に、撮像装置１は、２回目の撮像位置からの移動量が所定量に達すると、３回目の撮像を行い、第３のフレーム画像のデータを記憶する。
その後、撮像装置１は、その移動量の総量（全押し操作を開始した位置からの累計移動量）が規定量に達すると、撮像部１７の連写動作を終了させる。

すると、撮像装置１は、これまでに記憶した第１乃至第３のフレーム画像のデータを撮像順に合成することによって、パノラマ画像ＰＧのデータを生成する。
具体的には本例では、パノラマ方向に沿って、第１のフレーム画像の右端（フレーム方向側の端部）と、第２のフレーム画像の左端（フレーム方向と逆側の端部）とが連結するように各データが合成され、更に、第２のフレーム画像の右端（フレーム方向側の端部）と、第３のフレーム画像の左端（フレーム方向の逆側の端部）とが連結するように各データが合成されて、パノラマ画像ＰＧのデータが生成される。
即ち、図２の下方に示すように、山の中腹から山頂、そして反対側の中腹へと到る範囲が写り込んだパノラマ画像ＰＧのデータが生成される。

以上説明したように、ユーザは、このようなパノラマ画像ＰＧを得るために、撮像装置１をパノラマ方向に移動させるが、図２に示すように、その移動速度は一定ではなく、２回目の撮像のときが遅くなっている。
撮像装置１の移動速度が遅い理由は、特にユーザにとって重要と思える箇所が撮像されているためと想定できる。ユーザが重要と思える箇所は、パノラマ画像ＰＧの概要の把握が容易になる箇所であるといえる。
そこで、本実施形態では、撮像装置１は、撮像部１７の連写動作が行われている最中、その移動速度が遅いときに撮像されたフレーム画像のデータに対して、マーキング情報を付す。このようなマーキング情報が付されたフレーム画像のデータを、以下、「マーキングフレーム画像のデータ」と呼ぶ。
図２の例では、２回目の撮像のときの移動速度が遅いため、第２のフレーム画像が、マーキングフレーム画像になる。なお、同図中、第２のフレーム画像が、マーキングフレーム画像であることを容易に視認してもらうべく、当該第２のフレーム画像中に星印でマーキングを表わしているが、実際のマーキング情報はメタデータ等として付加されることが多いと想定される。

図３は、このような図２のパノラマ画像のデータが生成された後、パノラマ画像概要表示処理によりディスプレイに表示される画像の一例を示している。

図３に示すパノラマ画像ＰＧは、図２を参照して上述したように、３枚のフレーム画像を横方向に繋ぎ合せたものであるため、アスペクト比は３：１（＝４×３：３）となる。一方で、本実施形態の出力部２０のディスプレイのアスペクト比は、上述の如く４：３である。従って、撮像装置１は、当該ディスプレイの画面全体にパノラマ画像ＰＧを表示させようとすると、中央付近に縮小して横長に表示せざるを得ない。ユーザが、このような縮小画像をみても、パノラマ画像ＰＧの把握をすることは困難である。

そこで、撮像装置１は、パノラマ画像ＰＧのうち、マーキングが付されている領域ＭＡを選択する。選択された領域ＭＡは、図２における第２のフレーム画像（マーキングフレーム画像）に相当する領域であり、パノラマ画像ＰＧの概要の把握が容易になる領域だからである。
そして、撮像装置１は、領域ＭＡの画像を代表画像として、出力部２０のディスプレイの画面全体に表示させる。ユーザは、全画面表示された代表画像をみることで、パノラマ画像ＰＧには山が写っていることを容易に把握することができる。

次に、図４を参照して、このようなパノラマ画像生成処理及びパノラマ画像概要表示処理を実行するための撮像装置１の機能的構成について説明する。
図４は、図１の撮像装置１の機能的構成のうち、パノラマ画像生成処理及びパノラマ画像概要表示処理を実行するための機能的構成を示す機能ブロック図である。

まず、パノラマ画像生成処理及びパノラマ画像概要表示処理のうち、パノラマ画像生成処理を実行するための撮像装置１の機能的構成について具体的に説明する。

撮像装置１がパノラマ画像生成処理を実行する場合には、ＣＰＵ１１において、撮像制御部４１と、移動量検出部４２と、マーキング部４３と、が機能し、画像処理部１４においては、パノラマ画像合成部６１が機能する。
また、記憶部２１においては、所定の領域が、フレーム画像のデータを記憶するフレームバッファ５１として機能すると共に、別の領域が、パノラマ画像のデータを記憶する画像バッファ５２として機能する。

撮像制御部４１は、撮像部１７の撮像のタイミングを制御する。
具体的には、パノラマモードの状態で、ユーザが、撮像装置１を保持したまま全押し操作をすると、パノラマ画像生成処理が開始する。即ち、撮像制御部４１は、撮像部１７の連写動作を開始させる。
その後、ユーザは、シャッタスイッチの全押し操作を維持した状態で、パノラマ方向に撮像装置１を移動させる。
撮像制御部４１は、全押し操作が維持されている間、撮像装置１の移動量（移動量については後述する）が一定量に達する毎に、撮像部１７に撮像させ、その結果得られるフレーム画像のデータをフレームバッファ５１に一時的に記憶していくことを繰り返す。
その後、撮像装置１の総移動量が規定量に達すると、撮像制御部４１は、撮像部１７の連写動作を終了させる。

移動量検出部４２は、加速度センサ１８の検出結果に基づいて、撮像装置１の移動量や加速度を検出する。
撮像装置１の移動量は、上述したように、撮像制御部４１による撮像部１７の撮像動作のタイミングの制御に用いられる。撮像装置１の加速度は、次のマーキング部４３により用いられる。

マーキング部４３は、撮像部１７の連写動作が行われている最中、移動量検出部４２により検出された加速度と、所定の閾値とを比較し、加速度が閾値よりも低い（撮像装置１の移動が遅い）ときにフレームバッファ５１に記憶されるフレーム画像のデータに対して、マーキング情報を付す。即ち、当該フレーム画像が、マーキングフレーム画像になる。
また、マーキング部４３は、後述するパノラマ画像合成部６１によりパノラマ画像のデータが生成された場合には、当該パノラマ画像における、マーキングフレーム画像に対応する領域の位置座標を示す情報（以下、「座標位置情報」と呼ぶ）を、当該パノラマ画像のデータに添付する。

パノラマ画像合成部６１は、記憶部２１のフレームバッファ５１に順次記憶される複数のフレーム画像のデータを合成することによって、パノラマ画像のデータを生成して画像バッファ５２に記憶させる。
ここで、パノラマ画像合成部６１による合成のタイミングは、特に限定されない。
例えば、１枚のフレーム画像のデータがフレームバッファ５１に記憶されるタイミング毎に、パノラマ画像のデータが生成されてもよい。この場合、前者のタイミングが採用されている場合には、前回のタイミングで生成されたパノラマ画像のデータに対して、新たなフレーム画像のデータが追加されるように合成されることによって、パノラマ画像のデータが生成される。
また例えば、撮像部１７の連写動作が終了した後のタイミングで、パノラマ画像のデータが生成されてもよい。この場合、全てのフレーム画像のデータが、フレームバッファ５１に記憶された順番で合成されることによって、パノラマ画像のデータが生成される。

以上、パノラマ画像生成処理を実行するための撮像装置１の機能的構成について具体的に説明した。
次に、パノラマ画像概要表示処理を実行するための撮像装置１の機能的構成について具体的に説明する。

撮像装置１は、パノラマ画像概要表示処理を実行する場合には、画像処理部１４おいて、選択部６２と、表示制御部６３と、が機能する。

選択部６２は、画像バッファ５２に記憶されているパノラマ画像のデータに添付される位置座標に基づいて、当該位置座標に合致する領域を示す画像を代表画像としてパノラマ画像から選択する。
表示制御部６３は、選択部６２により選択された代表画像を表示するように出力部２０を制御する。

次に、このような図４の機能的構成を有する図１の撮像装置１が実行する処理のうち、パノラマ画像生成処理の流れについて図５を用いて説明する。
図５は、撮像装置１が実行するパノラマ画像生成処理の流れを説明するフローチャートである。

パノラマ画像生成処理は、本実施形態においては、撮像装置１の動作モードがパノラマモードに切り替えられた後、ユーザが入力部１９の図示せぬシャッタ釦を全押し操作して、撮像の指示をしたことを契機として開始される。

ステップＳ１において、撮像制御部４１は、撮像部１７による撮像動作を開始させる。この際、撮像装置１は、ユーザにより所定の方向（パノラマ方向）に移動させられる。

ステップＳ２において、撮像制御部４１は、撮像部１７に１枚のフレーム画像を撮像させる。この際、撮像部１７により撮像されて出力された当該フレーム画像のデータは、フレームバッファ５１に記憶される。以降、ステップＳ２の処理が実行される毎に撮像されたフレーム画像のデータは、順次、フレームバッファ５１に記憶される。

ステップＳ３において、移動量検出部４２は、加速度センサ１８の検出結果に基づいて、に加速度及び移動量を検出する。

ステップＳ４において、移動量検出部４２は、ステップＳ３の処理で検出された移動量に基づいて、撮像装置１が規定量移動したか否か、即ち、これまでの総移動量が規定量に到達したか否かを判断する。
総移動量が規定量に到達した場合には、ステップＳ４において、ＹＥＳであると判断されて、処理はステップＳ９に進む。ただし、ステップＳ９以降の処理については後述する。
これに対して、総移動量が規定量に到達していない場合には、ステップＳ４において、ＮＯであると判断されて、処理はステップＳ５に進む。

ステップＳ５において、移動量検出部４２は、ステップＳ３の処理で検出された加速度に基づいて、撮像装置１の速度が一定以下であるか否かを判断する。
撮像装置１の速度が一定の閾値を超えている場合（速い場合）、直前のステップＳ２の処理で撮像されたフレーム画像に対してマーキングをする必要がないので、ステップＳ５において、ＮＯであると判定されて、後述するステップＳ６及びＳ７の処理は実行されずに、処理はステップＳ８に進む。ただし、ステップＳ８以降の処理については後述する。
これに対して、撮像装置１の速度が一定の閾値以下の場合（遅い場合）静、ステップＳ５において、ＹＥＳであると判断されて、処理はステップＳ６に進む。

ステップＳ６において、マーキング部４３は、前フレーム画像に対してマーキングしたか否かを判断する。前フレーム画像とは、後述するようにステップＳ２乃至Ｓ８のループ処理が繰り返し実行されるが、前回のループ処理におけるステップＳ２の処理で撮像されたフレーム画像をいう。
前フレーム画像にマーキングがされている場合には、ステップＳ６において、ＹＥＳと判断されて、後述のステップＳ７は実行されずに、即ち今回のループ処理のステップＳ２の処理で撮像されたフレーム画像（以下、「今回のフレーム画像」と呼ぶ）に対してはマーキングがされずに、処理はステップＳ８に進む。このように、本実施形態では、連続する２以上のフレーム画像に対してマーキングがされないようになされている。
これに対して、前フレーム画像にマーキングがされていない場合には、ステップＳ６において、ＮＯであると判断されて、処理はステップＳ７に進む。

ステップＳ７において、マーキング部４３は、今回のフレーム画像に対してマーキングを行う。詳細には、マーキング部４３は、今回のフレーム画像のデータに対してフラグを立てる。

ステップＳ８において、移動量検出部４２は、前フレームからの移動量が所定量に到達したか否か、即ち、前回の撮像時（前回のループ処理のステップＳ２の時点）の位置からの移動量が所定量に到達したか否かを判断する。
移動量が所定量に到達していない場合には、ステップＳ８において、ＮＯであると判断されて、処理はステップＳ８に再び戻される。即ち、移動量が所定量に到達するまでの間、ステップＳ８の判定処理が繰り返し実行されて、パノラマ画像生成処理は待機状態になる。
その後、移動量が所定量に到達した場合には、ステップＳ８において、ＹＥＳであると判断されて、処理はステップＳ２に戻され、それ以降の処理が繰り返される。即ち、移動量が所定量に到達する毎に、ステップＳ２乃至Ｓ８のループ処理が繰り返し実行され、１枚のフレーム画像がその都度撮像され、その際に撮像装置１が低速であったときにはマーキングが施される。
このようなステップＳ２乃至Ｓ８のループ処理が繰り返し実行されて、撮像装置１の総移動量が規定量に到達すると、上述したように、ステップＳ４の処理でＹＥＳであると判定されて、処理はステップＳ９に進む。

ステップＳ９において、撮像制御部４１は、撮像部１７による撮像動作を終了させる。

ステップＳ１０において、パノラマ画像合成部６１は、フレームバッファ５１に蓄積された各フレーム画像のデータを、撮像順に合成（連結）することによって、パノラマ画像のデータを生成して、記憶部２１の画像バッファ５２に記憶させる。
この際、パノラマ画像のデータには、マーキングフレーム画像（フラグが立てられたフレーム画像）のフラグに基づいて、パノラマ画像における対応する領域の位置座標を示す座標位置情報が添付される。当該座標位置情報は、次に説明するパノラマ画像概要表示処理に供される。
これにより、パノラマ画像生成処理は、終了となる。

以上、撮像装置１が実行する処理のうち、パノラマ画像生成処理の流れについて説明した。
次に、撮像装置１が実行する処理のうち、パノラマ画像概要表示処理の流れについて図６を用いて説明する。図６は、撮像装置１が実行するパノラマ画像概要表示処理の流れを説明するフローチャートである。

パノラマ画像概要表示処理は、本実施形態においては、ユーザが入力部１９を操作して、概要表示の指示をしたことを契機として開始される。

ステップＳ２０において、選択部６２は、概要表示の指示がなされた対象がパノラマ画像であるか否かを判断する。

概要表示の指示がなされた対象がパノラマ画像ではない場合、即ちノーマル画像である場合、ステップＳ２０においてＮＯであると判定されて、処理はステップＳ２３に進む。
ステップＳ２３において、表示制御部６３は、出力部２０のディスプレイにおいて通常表示を行うように制御する。
ここで、通常表示とは、オリジナルのデータを加工せずに、対応する画像をそのままディスプレイに全画面表示することをいう。従って、いまの場合、ノーマル画像がそのままディスプレイに全画面表示される。
これにより、パノラマ画像概要表示処理は終了となる。

これに対して、概要表示の指示がなされた対象がパノラマ画像である場合には、ステップＳ２０において、ＹＥＳと判断されて、処理はステップＳ２２に進む。
ステップＳ２２において、選択部６２は、マーカーがあるか否かを判断する。詳細には、選択部６２は、概要表示の指示がなされたパノラマ画像のデータに位置座標情報が付加されているか否かを判断する。

例えば別の撮像装置において、本実施形態のパノラマ画像生成処理とは別の処理（従来の処理）によって生成されたパノラマ画像のデータが、即ち位置座標情報が付加されていないパノラマ画像のデータが、画像バッファ５２に記憶されている場合がある。
また例えば、本実施形態のパノラマ画像生成処理が実行された場合であっても、撮像装置１の移動速度が低速にならなかったときにも、位置座標情報が付加されていないパノラマ画像のデータが、画像バッファ５２に記憶されている場合がある。
これらの場合には、ステップＳ２１においてＮＯであると判定されて、処理はステップＳ２３に進む。
ステップＳ２３において、表示制御部６３は、出力部２０のディスプレイにおいて通常表示を行うように制御する。
ここで、通常表示とは、上述したように、オリジナルのデータを加工せずに、対応する画像をそのままディスプレイに全画面表示することをいう。従って、いまの場合、横長のパノラマ画像が縮小されて、ディスプレイに全画面表示される。
これにより、パノラマ画像概要表示処理は終了となる。

これに対して、マーカーがある場合、即ち位置座標情報が付加されている場合、ステップＳ２１においてＹＥＳであると判定されて、処理はステップＳ２２に進む。
ステップＳ２２において、表示制御部６３は、出力部２０のディスプレイにおいてマーカー位置表示を行うように制御する。
ここで、マーカー位置表示とは、パノラマ画像のうち、アスペクト比がディスプレイと同一の４：３の代表画像を当該ディスプレイに全画面表示することをいう。代表画像とは、マーカーが付された領域、即ち位置座標情報により示される座標近辺の領域の画像、換言すると、マーキングフレーム画像に相当する画像である。マーキングフレーム画像とは、パノラマ画像における特徴的な部分が写っていると想定される画像である。
従って、ユーザは、ディスプレイに全画面表示された代表画像をみることで、パノラマ画像の概要を容易に把握することができる。
これにより、パノラマ画像概要表示処理が終了となる。

以上、撮像装置１が実行するパノラマ画像概要表示処理の流れについて説明した。

以上説明したように、撮像装置１は、撮像部１７と、パノラマ画像合成部６１と、選択部６２と、表示制御部６３と、を備える。
撮像部１７は、被写体を撮像する毎に、フレーム画像のデータを出力する。
パノラマ画像合成部６１は、撮像部１７によって順次出力された複数のフレーム画像のデータを合成することで、１度の撮像で得られる画像よりも広い範囲を撮像したようなパノラマ画像（以下、「広範囲画像」とも呼ぶ）を生成する。
選択部６２は、パノラマ画像のうち、代表画像とすべき画像領域を選択する。
表示制御部６３は、選択された画像領域を代表画像として出力部２０に表示させる。

従って、撮像装置１は、例えば、パノラマ画像の代表的な一部を代表画像としてノーマル画像と同様に表示することができる。この場合当該画像の閲覧者（ユーザ）は、パノラマ画像の内容を把握することができる。

また、撮像装置１は、撮像制御部４１と、マーキング部４３と、を備える。
撮像制御部４１は、撮像部１７によって所定の画角で複数の画像を順次撮像する。
マーキング部４３は、撮像制御部４１によって順次撮像される複数の画像のデータのうち、少なくとも１つに所定のマーキングを付す（識別情報を付加する）。
画像処理部１４は、撮像制御部４１により撮像された複数の画像のデータを取得する。
選択部６２は、パノラマ画像合成部６１により生成された広範囲画像のデータの中から、所定のマーキングが付された画像の画像領域を代表画像とすべき画像領域として選択する。

また、撮像装置１は、移動量検出部４２を備える。
移動量検出部４２が、撮像部１７によって複数のフレーム画像を順次撮像する際に、当該撮像装置１の所定単位あたりの移動量（例えば、移動速度や加速度等）を検出する。
マーキング部４３は、移動量検出部４２によって検出された所定単位量あたりの移動量が所定量以下であるときに撮像されたフレーム画像にマーキングを付すことによって、結果として、移動量検出部４２によって検出された所定単位量あたりの移動量が所定量以下であるか否かを判定したことと等価になる。
選択部６２は、マーキング部４３によって所定単位量あたりの移動量が所定量だと判定されたとき撮像部１７によって撮像されたフレーム画像に対応する、パノラマ画像（広範囲画像）内の対応する画像領域を、代表画像とすべき画像領域として選択する。

従って、撮像装置１の所定単位あたりの移動量に基づいて、パノラマ画像（広範囲画像）の代表的な一部が代表画像として選択されるために、ユーザが代表画像の決定操作を明示的に行うことなく自動的に代表画像を決定することが可能になる。なお、ユーザビリティを考慮して、ユーザの明示的な操作により、ユーザが所望する任意のフレーム画像（に対応する画像領域）を代表画像として選択させるように、撮像装置１を構成することもできる。

選択部６２は、撮像部１７によって取得された複数の画像のデータのうち、少なくとも１つの画像を選択することで、広範囲画像のうち、選択した１以上の画像に対応する画像領域を、代表画像とすべき画像領域として選択する。

従って、複数の画像を代表画像として表示させることができるために、よりパノラマ画像（広範囲画像）の内容を把握しやすい代表画像を提供することができる。

また、撮像装置１は、出力部２０を更に備える。
表示制御部６３は、代表画像を出力部２０に表示する制御を実行する。
従って、代表画像を出力部２０に表示させることができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、上述の実施形態においては、１つのマーキングフレーム画像に対応する領域が代表画像としてディスプレイに全画面表示されたが、特にこれに限られない。つまり、パノラマ画像を構成する複数のフレームにマーキングをそれぞれ付すことも可能である。

図７は、代表画像の表示手法の例であって、上述の実施形態（図３の例）とは異なる例を説明する模式図である。
図７（ａ）は、７枚のフレーム画像のデータが合成された結果得られるパノラマ画像を模式的に示した図である。
図７（ｂ）は、図７（ａ）のパノラマ画像の概要表示をしているディスプレイの画面を模式的に示している。

具体的には、図７（ａ）において、（１）乃至（７）のフレーム画像にマーキングが付されて、（８）及び（９）のフレーム画像がマーキングフレーム画像でない場合には、（１）乃至（７）のフレーム画像を組画像として表示することが可能である。また、各（１）乃至（７）のマーキングフレーム画像に重み付けをして、表示形態を変えることも可能である。例えば、（１）乃至（７）のマーキングフレーム画像のうち（１）のマーキングフレーム画像に重み付けがされた場合には、図７（ｂ）に示すように、（１）のフレーム画像がディスプレイの画面中央に大きく表示される。他のフレーム画像（（２）乃至（７）のフレーム画像）は、（１）のフレーム画像の周囲に配置されるように、（１）のフレーム画像よりも小さく表示されるように構成することもできる。

この場合、図示はしないが、画像処理部１４の機能的構成としては、図４の機能的構成に加えて、選択部６２によって選択された複数の画像領域を組み合わせた組画像のデータを生成する生成部（機能ブロック）が設けられる。
その結果、表示制御部６３は、生成部によってデータとして生成された組画像を代表画像としてディスプレイに表示することができる。
この場合の組画像の表示形態は、特に限定されず、縮小表示する形態であってもよいし、アスペクト比をディスプレイと同一の４：３にして（ノーマル画像と同様の表示サイズにして）全画面表示する形態であってもよい。

従って、ユーザは、複数のマーキングフレーム画像が１つの代表画像となった組画像により、よりパノラマ画像の内容を把握することができる。

また、パノラマ画像を構成する複数のフレーム画像にマーキングが付された場合は、選択部６２は、パノラマ画像内のマーキングが付された複数の画像領域を、代表画像とすべき画像領域として選択してもよい。

また、上述の実施形態では、撮像部１７により撮像されたフレーム画像及び撮像時に加速度センサ１８の検出結果（加速度及び移動量）に基づいて、パノラマ画像の概要表示が行われるが、を特にこれに限られない。例えば、撮像装置１は、外部機器から取得したパノラマ画像及び加速度等の情報に基づいて、パノラマ画像の表示を行うようにしてもよい。

上述の実施形態では、代表画像は、マーキングされた位置座標に基づいてパノラマ画像の画像領域として選択されたが、特にこれに限られない。例えば、撮像装置１は、パノラマ画像とは別に代表画像を予め生成しておき、当該代表画像を表示するようにしてもよい。

また、上述の実施形態では、マーキング対象は、撮像装置１の移動速度が遅いときに撮像されたフレーム画像とされたが、特にこれに限られない。逆に移動速度が速いときに撮像されたレーム画像や、ユーザの明示的な手動操作がなされたときのフレーム画像を、マーキング対象としてもよい。

また、上述の実施形態では、アスペクト比がノーマル画像と同一の４：３、かつ、同一のサイズで代表画像が表示される例を示したが、これに限られず。これは、異なる解像度で表示してもよく、例えば、ノーマル画像と同一尺で表示されるサムネイル画像の生成にも適用することができる。つまり、パノラマ画像内のマーキングが付された画像領域からサムネイル画像を生成し、画像を一覧表示する場合などでは、この生成したサムネイル画像を表示するようにしてもよい。

また、上述の実施形態では、パノラマ画像は、撮像部１７により撮像された画像を用いたがこれに限られない。例えば、外部の撮像装置１により撮像された画像を、通信部２２等を介して取得した画像を用いてパノラマ画像を生成してもよい。また、上述の実施形態では、パノラマ画像は、画像の横方向を広範囲に撮像したような画像としたがこれに限られない。例えば、画像の縦方向を広範囲に撮像したような画像でもよいし、縦横の両方向を広範囲に撮像したような画像でもよい。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、表示制御機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図４の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図４の例に限定されない。例えば、ＣＰＵ１１において機能する機能ブロックを、画像処理部１４において機能するようにしてもよいし、逆に、画像処理部１４において機能する機能ブロックを、ＣＰＵ１１において機能するようにしてもよい。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２１に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
所定の画角で撮像された複数の画像のデータを取得する画像取得手段と、
前記画像取得手段によって取得された前記複数の画像のデータを合成することで、前記所定の画角よりも広い範囲を撮像したような広範囲画像のデータを生成する合成手段と、
前記合成手段により生成された前記広範囲画像のデータの中から、代表画像とすべき画像領域を選択する選択手段と、
前記選択手段により選択された前記画像領域を利用して所定の制御を実行する制御手段と、
を備えたことを特徴とする画像処理装置。
［付記２］
撮像手段と、
前記撮像手段によって前記所定の画角で複数の画像を順次撮像する撮像制御手段と、
前記撮像制御手段によって順次撮像される複数の画像のデータのうち、少なくとも１つに所定の識別情報を付加する付加手段と、
を備え、
前記画像取得手段は、前記撮像制御手段により撮像された前記複数の画像のデータを取得し、
前記選択手段は、前記合成手段により生成された前記広範囲画像のデータの中から、前記所定の識別情報が付加された画像の画像領域を代表画像とすべき画像領域として選択することを特徴とする付記１記載の画像処理装置。
［付記３］
前記撮像手段によって複数の画像が順次撮像される際に、当該画像処理装置の所定単位あたりの移動量を検出する検出手段と、
前記検出手段によって検出された前記所定単位あたりの移動量が所定量以下であるか否かを判定する判定手段と、
を更に備え、
前記付加手段は、前記判定手段によって前記所定単位あたりの移動量が所定量以下だと判定されたときに前記撮像制御手段によって撮像された画像のデータに前記所定の識別情報を付加することを特徴とする付記２に記載の画像処理装置。
［付記４］
前記選択手段は、
前記画像取得手段によって取得された前記複数の画像のデータのうち、少なくとも１つの画像を選択することで、前記広範囲画像のうち、選択した前記１以上の画像に対応する画像領域を、前記代表画像とすべき画像領域として選択する、
ことを特徴とする付記１に記載の画像処理装置。
［付記５］
表示手段を更に備え、
前記制御手段は、前記代表画像を前記表示手段に表示する制御を実行することを特徴とする付記１乃至４のいずれか１項に記載の画像処理装置。
［付記６］
前記選択手段によって複数の画像領域が選択された場合は、選択された前記複数の画像領域を組み合わせた組画像のデータを生成する組画像生成手段を更に備え、
前記制御手段は、前記組画像生成手段によって生成された前記組画像を前記広範囲画像の代表画像として前記表示手段に表示することを特徴とする付記５に記載の画像処理装置。
［付記７］
前記選択手段によって選択された前記代表画像とすべき画像領域から前記広範囲画像のサムネイル画像を生成するサムネイル画像生成手段を更に備え、
前記制御手段は、前記サムネイル画像生成手段によって生成された前記サムネイル画像を前記広範囲画像の代表画像として前記表示手段に表示することを特徴とする付記５に記載の画像処理装置。
［付記８］
画像処理方法であって、
所定の画角で撮像された複数の画像のデータを取得する画像取得ステップと、
前記画像取得ステップの処理によって取得された前記複数の画像のデータを合成することで、前記所定の画角で撮像された画像よりも広い範囲を撮像したような広範囲画像のデータを生成する合成ステップと、
前記合成ステップの処理により生成された前記広範囲画像のデータの中から、代表画像とすべき画像領域を選択する選択ステップと、
前記選択ステップの処理により選択手段により選択された前記画像領域を代表画像として所定の制御を実行する制御ステップと、
を含むことを特徴とする画像処理方法。
［付記９］
画像処理装置に実行させるプログラムであって、
所定の画角で撮像された複数の画像のデータを取得する画像取得機能と、
前記画像取得機能によって取得された前記複数の画像のデータを合成することで、前記所定の画角で撮影された画像よりも広い範囲を撮像したような広範囲画像のデータを生成する合成機能と、
前記合成機能により生成された前記広範囲画像のデータの中から、代表画像とすべき画像領域を選択する選択機能と、
前記選択機能により選択手段により選択された前記画像領域を代表画像として所定の制御を実行する制御機能と、
を実行させることを特徴とするプログラム。

１・・・撮像装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・画像処理部、１５・・・パス、１６・・・入出力インターフェース、１７・・・撮像部、１８・・・加速度センサ、１９・・・入力部、２０・・・出力部２０、２１・・・記憶部、２２・・・通信部、２３・・・ドライブ、３１・・・リムーバブルメディア、４１・・・撮像制御部、４２・・・移動量検出部、４３・・・マーキング部、５１・・・フレームバッファ、５２・・・画像バッファ、６１・・・パノラマ画像合成部、６２・・・選択部、６３・・・表示制御部

Claims (11)

1. 複数の画像を取得する画像取得手段と、
   前記複数の画像が撮像されているときの所定の方向への移動に関する情報を取得する情報取得手段と、
   前記画像取得手段によって取得された前記複数の画像を合成することで、当該複数の画像中の各画像よりも画角の広い広角画像を生成する生成手段と、
   前記情報取得手段により取得された前記所定の方向への移動に関する情報に基づいて、前記生成手段により生成された広角画像の代表画像とすべき画像領域を選択する選択手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記画像取得手段により取得される複数の画像の画像領域に前記情報取得手段により取得された前記所定の方向への移動に関する情報を付加する付加手段を更に備え、
   前記選択手段は、前記付加手段により前記所定の方向への移動に関する情報が付加された画像領域を前記代表画像とすべき画像領域として選択する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 撮像手段と、
   前記撮像手段によって複数の画像を順次撮像する撮像制御手段と、
   を備え、
   前記画像取得手段は、前記撮像制御手段により撮像された前記複数の画像を取得し、
   前記付加手段は、前記撮像制御手段によって順次撮像される複数の画像の少なくとも１つに前記情報取得手段により取得された前記所定の方向へ移動に関する情報を所定の識別情報として付加し、
   前記選択手段は、前記画像取得手段により取得された前記複数の画像の中から、前記所定の識別情報が付加された画像の画像領域を代表画像とすべき画像領域として選択する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記撮像手段によって複数の画像が順次撮像される際に、当該画像処理装置の所定単位あたりの移動量を取得する取得手段と、
   前記取得手段によって取得された前記所定単位あたりの移動量が所定量以下であるか否かを判定する判定手段と、
   を更に備え、
   前記付加手段は、前記判定手段によって前記所定単位あたりの移動量が所定量以下だと判定された場合に前記撮像制御手段によって撮像された画像に前記所定の識別情報を付加する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記所定の方向への当該画像処理装置の加速度及び移動量の情報を検出する検出手段を更に備え、
   前記取得手段は、前記検出手段により検出された加速度及び移動量の情報に基づいて、前記所定単位あたりの移動量を取得する、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記選択手段は、
   前記画像取得手段によって取得された前記複数の画像のうち、少なくとも１つの画像を選択することで、前記広角画像のうち、選択した前記１以上の画像に対応する画像領域を、前記代表画像とすべき画像領域として選択する、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記代表画像を表示手段に表示させる制御を実行する表示制御手段を更に備えたことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記選択手段によって複数の画像領域が選択された場合は、選択された前記複数の画像領域を組み合わせた組画像を生成する組画像生成手段を更に備え、
   前記表示制御手段は、前記組画像生成手段によって生成された前記組画像を前記広角画像の代表画像として前記表示手段に表示することを特徴とする請求項７に記載の画像処理装置。
9. 前記選択手段によって選択された前記代表画像とすべき画像領域から前記広角画像のサムネイル画像を生成するサムネイル画像生成手段を更に備え、
   前記表示制御手段は、前記サムネイル画像生成手段によって生成された前記サムネイル画像を前記広角画像の代表画像として前記表示手段に表示することを特徴とする請求項７に記載の画像処理装置。
10. 画像処理装置の画像処理方法であって、
    複数の画像を取得する画像取得ステップと、
    前記複数の画像が撮像されているときの所定の方向への移動に関する情報を取得する情報取得ステップと、
    前記画像取得ステップの処理によって取得された前記複数の画像を合成することで、当該複数の画像中の各画像よりも画角の広い広角画像を生成する生成ステップと、
    前記情報取得ステップの処理により取得された前記所定の方向への移動に関する情報に基づいて、前記広角画像の代表画像とすべき画像領域を選択する選択ステップと、
    を含むことを特徴とする画像処理方法。
11. 画像処理装置に実行させるプログラムであって、
    複数の画像を取得する画像取得機能と、
    前記複数の画像が撮像されているときの所定の方向への移動に関する情報を取得する情報取得機能と、
    前記画像取得機能によって取得された前記複数の画像を合成することで、当該複数の画像中の各画像よりも画角が広い広角画像を生成する生成機能と、
    前記情報取得機能により取得された前記所定の方向への移動に関する情報に基づいて、前記生成機能により生成された広角画像の代表画像とすべき画像領域を選択する選択機能と、
    を実行させることを特徴とするプログラム。

Images