JP5166966B2 - カメラ装置、合成画像作成支援装置、合成画像作成支援方法、及び合成画像作成支援プログラム - Google Patents

Description

本発明は、いわゆるデジタルスチルカメラ等のカメラ装置と、撮影時の画角よりも広範囲の画像を生成するのに好適な合成画像作成支援装置、合成画像作成支援方法、及びプログラムに関する。

例えば特開平９−３２２０６０号の公開特許公報（特許文献１）には、デジタルカメラで撮影した複数の画像からパノラマ画像を生成するための技術が開示されている。すなわちこの公開特許公報には、撮影後の静止画を画面上に透過表示させ、その透過表示された撮影画像の一部と未撮影範囲の画像の一部とを画面上で重ねるように、撮影者自らがカメラの向きなど動かすことで、パノラマ画像の生成を支援する技術が開示されている。またこの公開公報には、撮影した静止画とこれから撮影される画像の特徴点を自動的に抽出し、それら特徴点により撮影者に両画像の重なり具合を知らしめる技術についても開示されている。

また、特開２００６−３３３５３号の公開特許公報（特許文献２）には、それぞれ重なりが無い複数の静止画像から一枚のパノラマ画像を生成する技術が開示されている。この公開特許公報では、上記重なりがない複数の画像の間を、別の画像で補完することにより、一枚のパノラマ画像を生成することが記載されている。

その他、特開２００６−１２９３９１号の公開特許公報（特許文献３）には、撮影時にカメラ本体の傾き角を検出して撮影画像と関連させて記憶し、その記憶画像を表示等する時に、上記撮影時の傾き角に応じて画像の傾きを修正する技術が開示されている。

特開平９−３２２０６０公報（図４） 特開２００６−３３３５３公報（図１） 特開２００６−１２９３９１公報（図１５）

ところで、撮影時の画角よりも広い範囲の画像を生成する場合には、従来より、例えば上述の特許文献１や特許文献２に記載されている技術のように、複数の画像を繋ぎ合わせて合成するような手法が採られている。

しかしながら、そのような広範囲の画像を生成する場合、撮影者は、当該広範囲の画像を生成するのに必要な全ての撮影範囲を網羅するようにして画像を撮影しなければならない。すなわち、それら全ての撮影範囲を網羅した画像撮影を行うためには、各画像撮影時に何れの範囲を撮影しなければいけないのか、また、現在撮影しているのが何れの範囲になっているのかを、撮影者自身が判断しなければならない。このような判断は撮影者にとって非常に煩わしく且つ難しものである。

なお、上述した特許文献１の場合、撮影後の静止画像を透過表示等するようになされているため、撮影者は、その撮影後の静止画像に繋げるべき範囲について或る程度知ることはできる。しかし、所望の広い範囲を全て網羅した画像を生成するために、他にどの範囲をどれだけ撮影しなければいけないのかを撮影者が判断するのは非常に難しい。

また、特許文献２の場合には、撮影済みの複数の画像を繋げて合成する技術としては有効であるが、撮影者が実際に撮影を行う際に、所望の広い範囲の画像を生成するのに必要な全撮影範囲を網羅するための撮影支援については何ら考慮していない。

本発明は、このような実情に鑑みて提案されたものであり、撮影時の画角よりも広い範囲を網羅する複数の画像を、容易かつ確実に撮影するための支援を実現可能とするカメラ装置、合成画像作成支援装置、合成画像作成支援方法、及び合成画像作成支援プログラムを提供することを目的とする。

本発明のカメラ装置は、画像撮像部、画像表示部、操作入力部、画像保持部、パラメータ検知部、パラメータ保持部、制御演算部を有する。画像保持部は、操作入力部からの画像撮影開始の指示入力に応じて画像撮像部が撮像した画像の情報とその画像撮影時に制御演算部が生成して上記画像表示部に表示した画像の情報を保存する。パラメータ検知部は、画像撮像部による画像撮影時の撮影範囲を表す撮影パラメータを検知し、パラメータ保持部は、画像保持部に保持された撮影画像のパラメータとその画像撮影時に画像表示部に表示された画像に対応して制御演算部が生成したパラメータを保持する。そして、制御演算部は、画像撮影開始の指示入力に応じて画像撮像部が撮像した撮影画像を画像表示部の画面上に表示する際、前回の画像撮影時に画像表示部に表示されて画像保持部に保持された画像を基準画像にすると共に当該基準画像に対応してパラメータ保持部に保持されているパラメータを基準パラメータとし、当該画像撮影時の撮影パラメータと基準パラメータとに基づいて、画像表示部の画面上での撮影画像と基準画像の相対的な位置関係および大きさを算出し、当該位置関係および大きさを維持した状態で撮影画像と基準画像を画面表示部の画面上に表示させる。また、制御演算部は、画像撮影開始の指示入力に応じた画像撮影時に画面表示部に表示した画像を新たな基準画像の情報として画像保持部に保持させるとともに、当該画像撮影時の撮影パラメータと基準パラメータを用いた所定演算により生成したパラメータを新たな基準パラメータとしてパラメータ保持部に保持させる。これにより、本発明は上述した課題を解決する。

また、本発明合成画像作成支援装置、合成画像作成支援方法、及び合成画像作成支援プログラムでは、画像撮像中の撮影範囲を表す撮影パラメータを取得し、その取得された撮影パラメータとその画像撮影時に画像表示部に表示された画像に対応して制御演算部が生成したパラメータを保持し、また、撮像された画像の情報とその画像撮影時に制御演算部が生成して画像表示部に表示した画像の情報を保持する。そして、本発明では、画像撮影開始の指示入力に応じて画像撮像部が撮像した撮影画像を画像表示部の画面上に表示する際、前回の画像撮影時に画像表示部に表示されて画像保持部に保持された画像を基準画像にすると共に当該基準画像に対応してパラメータ保持部に保持されているパラメータを基準パラメータとし、当該画像撮影時の撮影パラメータと基準パラメータとに基づいて、画像表示部の画面上での撮影画像と基準画像の相対的な位置関係および大きさを算出し、当該位置関係および大きさを維持した状態で撮影画像と基準画像を画面表示部の画面上に表示させる。また、画像撮影開始の指示入力に応じた画像撮影時に画面表示部に表示した画像を新たな基準画像の情報として画像保持部に保持させるとともに、当該画像撮影時の撮影パラメータと基準パラメータを用いた所定演算により生成したパラメータを新たな基準パラメータとしてパラメータ保持部に保持させる。これにより、本発明は上述した課題を解決する
すなわち、本発明によれば、これから撮影しようとしている撮影範囲の画像と、前回の画像撮影時に画像表示部に表示されて画像保持部に保持された基準画像とを、それらの撮影パラメータと基準パラメータに基づいた位置関係および大きさを維持するようにして画面上に表示する。これにより、例えばパノラマ合成画像を生成するための新たな画像を撮影する際に、何れの撮影範囲の画像を撮影すべきかを、撮影者が認識できるようになる。

本発明においては、撮像中の画像と、前回の画像撮影時に画像表示部に表示されて画像保持部に保持された基準画像とを、それらの撮影パラメータと基準パラメータに基づいた位置関係および大きさを維持するようにして画面上に表示させることで、撮影時の画角よりも広い範囲を網羅する複数の画像を、容易かつ確実に撮影可能となっている。

以下、図面を参照しながら、本発明の一実施形態について説明する。

なお、以下の説明では、本発明の適用例としてデジタルスチルカメラを例に挙げているが、勿論それはあくまで一例であり、本発明はこの例に限定されず、例えばカメラ機能付きの携帯電話端末等にも適用可能である。

〔デジタルスチルカメラの概略構成〕
図１には、本発明実施形態のデジタルスチルカメラ１の概略的な内部構成例を示す。

本実施形態において、カメラ撮影部２は、主要な構成要素として、オートフォーカス機構やズーム機構、絞り機構等を備えたカメラレンズと、そのカメラレンズを介して入射した被写体像等を光電変換により撮像データに変換する撮像素子及びその周辺回路とを有する。なお、カメラ撮影部２における撮像やカメラレンズのオートフォーカス等はＣＰＵ部７が制御する。

ビューファインダ部８は、撮影ボタンが押される前の画像や、撮影済みの画像等を表示するための画面を備えた表示デバイスと、その周辺回路とからなる。なお、ビューファインダ部８における画像表示はＣＰＵ部７が制御する。撮影ボタンとその他の操作入力デバイスの図示及び説明については省略する。

傾きセンサ部４は、撮影時における当該デジタルスチルカメラ１の傾きを検知する傾きセンサと、その周辺回路とからなる。本実施形態において、上記デジタルスチルカメラ１の傾きは、具体的には回転角と仰角として検知される。すなわち、上記回転角は、図２に示すように、撮像素子により撮像されている静止画像ＳＩが、重力的な水平面ＨＦに対して有する回転角度θとして求められる。また、上記仰角は、図３に示すように、撮影時における重力的な水平面ＨＦに対してカメラレンズの光軸ＡＬ（合焦面ＦＦに垂直な線）が指向する仰角φとして求められる。なお、傾きセンサ部４における傾きの検知動作の制御や、当該傾きセンサ部４の検知データによる回転角θと仰角φの算出は、ＣＰＵ部７が行う。本実施形態において、これら回転角θと仰角φは、それぞれが当該デジタルスチルカメラによる撮影範囲を表すパラメータの一つとなされている。

方位センサ部３は、撮影時の当該デジタルスチルカメラ１の撮影方位を検知する方位センサと、その周辺回路とからなる。本実施形態において、上記撮影方位は、図４に示すように、カメラレンズの光軸ＡＬ（合焦面ＦＦに垂直な線）が指向している方位と、或る基準方位ＢＯ（０°）との間の角度、すなわち方位角ζとして求められる。なお、方位センサ部３における方位の検知動作の制御や、当該方位センサ部３の検知データによる方位角ζの算出は、ＣＰＵ部７が行う。本実施形態において、当該方位角ζは、当該デジタルスチルカメラによる撮影範囲を表すパラメータの一つとなされている。

メモリ部５は、撮影された画像データと後述する合成された画像データ、上記撮影範囲を表すパラメータ等を記憶するための記憶素子と、その周辺回路とからなる。なお、メモリ部５における画像データ等の記憶や読み出しは、ＣＰＵ部７が制御する。また、メモリ部５には、本発明の合成画像作成支援プログラム（後述するパノラマ画像撮影モード用のプログラム）を含む各種のプログラムも格納されている。メモリ部５に格納されている本発明にかかる合成画像作成支援プログラム等の各種プログラムは、ディスク状記録媒体や外部半導体メモリ等を介して格納されたり、外部インターフェースを通じたケーブル或いは無線を介して格納されたものであっても良い。

画像処理部６は、上記カメラ撮影部２の撮像データから、上記ビューファインダ部８の画面上に表示する画像データを生成する。また、画像処理部６は、後述する合成画像の生成処理も行う。さらに、画像処理部６は、メモリ部５に対する画像データの保存や読み出しも行う。なお、画像データの生成処理や合成画像の生成処理についての制御は、ＣＰＵ部７が行う。

ＣＰＵ部７は、当該デジタルスチルカメラ１の各部の制御や各種データ処理、演算処理等を行う。すなわちＣＰＵ部７は、上述したカメラ撮影部２、方位センサ部３、傾きセンサ部４、画像処理部６、ビューファインダ部８の制御や各種データ処理を行う。また、ＣＰＵ部７は、カメラ撮影部２のカメラレンズのズーム情報を基に、図４に示すような画角εをも算出する。なお、画角εの算出には、実際にはカメラレンズのズーム情報の他に撮像素子の撮像面の大きさも考慮しなければならないが、当該撮像面の大きさは予め決まっている値であるため、ＣＰＵ部７はズーム情報のみを用いて画角εを算出する。本実施形態において、上記画角εは、当該デジタルスチルカメラによる撮影範囲を表すパラメータの一つとなされている。

〔パノラマ画像撮影モード時のビューファインダ表示〕
本実施形態のデジタルスチルカメラ１において、撮影時の画角よりも広い範囲の画像を生成する撮影モード時の動作について、図５〜図９のビューファインダ表示例を参照しながら説明する。なお、以下の説明では、当該撮影時の画角よりも広範囲の画像を生成する撮影モードを、パノラマ画像撮影モードと表記することとする。

図５には、パノラマ画像撮影モードにおいて一枚目の画像が撮影される時のビューファインダ部８の画面表示例を示している。

すなわち、パノラマ画像撮影モード時において、一枚目の画像撮影時には、図５に示すように、カメラ撮影部２にて現在撮像されている画像１１が、ビューファインダ画面１０上の略々全面に表示される。

そして、当該パノラマ画像撮影モードにおいて、使用者（撮影者）により撮影ボタンが押下されることで当該一枚目の画像の撮影がなされた場合、その画像データはメモリ部５に記録される。また、パノラマ画像撮影モード時には、当該画像を撮影した時の画角ε，回転角θ，仰角φ，方位角ζの情報が、撮影範囲を表すパラメータとしてメモリ部５に保持される。

図６には、パノラマ画像撮影モードにおいて二枚目の画像を撮影する際のビューファインダ部８の画面表示例を示す。

当該二枚目の画像を撮影する際、デジタルスチルカメラ１は、一枚目の画像が撮影された時の撮影範囲を表すパラメータと、当該二枚目の画像を撮影する際の撮影範囲を表すパラメータとを用い、それら両画像間の相対的な位置関係及び大きさを算出する。そして、デジタルスチルカメラ１は、上記一枚目と二枚目の両画像の相対的な位置関係及び大きさを維持した状態で、それら一枚目の画像２１と二枚目の画像２２の両者が収まるようにビューファインダ画面２０上に表示する。

ここで、あくまで一例であるが、上記両画像間の相対的な位置関係は、一枚目の画像が撮影された時の回転角θ，仰角φ，方位角ζをそれぞれ基準値とし、当該二枚目の画像を撮影している時の回転角θ，仰角φ，方位角ζと上記各基準値との間の差分を算出することで求めることができる。すなわち例えば、一枚目の画像撮影時の仰角φを基準仰角とした場合、二枚目の画像を撮影している時の仰角φと上記基準仰角との差分が、両画像間の仰角に関する相対的な位置関係として求められる。また、一枚目の画像撮影時の方位角ζを基準方位角とした場合、二枚目の画像を撮影している時の方位角ζと上記基準方位角との差分が、両画像間の方位角に関する相対的な位置関係として求められる。同様に、一枚目の画像撮影時の回転角θを基準回転角とした場合、二枚目の画像を撮影している時の回転角θと上記基準回転角との差分が、両画像間の回転角に関する相対的な位置関係として求められる。これにより、両画像間の相対的な位置関係が求められる。

また、これも一例であるが、上記両画像間の相対的な大きさは、一枚目の画像が撮影された時の画角εを基準値とし、当該二枚目の画像を撮影している時の画角εと上記基準値との間の差分を算出することで求めることができる。すなわち例えば、一枚目の画像撮影時の画角εを基準画角とした場合、二枚目の画像を撮影している時の画角εと上記基準画角との差分が、両画像間の相対的な大きさとして求められる。

そして、当該パノラマ画像撮影モードにおいて、撮影ボタンが押下されることで当該二枚目の画像の撮影がなされた場合、その画像データはメモリ部５に記録される。また、当該二枚目の画像を撮影した時の画角ε，回転角θ，仰角φ，方位角ζの情報が、その画像の撮影範囲を表すパラメータとしてメモリ部５に保持される。さらに、当該二枚目の画像の記録がなされた場合、その二枚目の画像が撮影された時のビューファインダ画面も同時にメモリ部５に保持される。すなわち、一枚目と二枚目の画像間の相対的な位置関係及び大きさが維持された状態でそれら両画像が収まるようになされたビューファインダ画面に相当する合成画像が、メモリ部５に保持される。

さらに、この時のデジタルスチルカメラ１は、上記合成画像を次回撮影時の画像との間で相対的な位置関係及び大きさを求める際の基準画像とする。当該基準画像となされた合成画像を、以下合成基準画像と表記する。また、デジタルスチルカメラ１は、一枚目の画像の画角ε，回転角θ，仰角φ，方位角ζと、二枚目の画像の画角ε，回転角θ，仰角φ，方位角ζとから、上記合成基準画像に対応した合成画角，合成回転角，合成仰角，合成方位角を算出し、それらを当該合成基準画像の撮影範囲を表すパラメータとしてメモリ部５に保持する。なお、あくまで一例であるが、当該合成基準画像に対応した合成画角，合成回転角，合成仰角，合成方位角は、一枚目の画像の画角ε，回転角θ，仰角φ，方位角ζと二枚目の画像の画角ε，回転角θ，仰角φ，方位角ζのそれぞれ中間値として算出することができる。

図７には、パノラマ画像撮影モードにおいて三枚目の画像を撮影する際のビューファインダ部８の画面表示例を示す。

当該三枚目の画像を撮影する際、デジタルスチルカメラ１は、上記合成基準画像の撮影範囲を表す各パラメータと、当該三枚目の画像を撮影する際の撮影範囲を表すパラメータとを用い、上記合成基準画像と当該三枚目の画像との間の相対的な位置関係及び大きさを算出する。そして、この時のデジタルスチルカメラ１は、上記合成基準画像と当該三枚目の画像との間の相対的な位置関係及び大きさを維持した状態で、それら合成基準画像３１と当該三枚目の画像３２の両者が収まるようにビューファインダ画面３０上に表示する。

ここで、当該三枚目の画像撮影時において、合成基準画像と当該三枚目の画像との間の相対的な位置関係は、合成基準画像に対応した合成回転角，合成仰角，合成方位角をそれぞれ新たな基準値とし、当該三枚目の画像を撮影している時の回転角θ，仰角φ，方位角ζとそれら各基準値との間の差分を算出することで求めることができる。すなわち例えば、三枚目の画像を撮影している時の仰角φと上記基準仰角との差分が、両画像間の仰角に関する相対的な位置関係として求められる。また、三枚目の画像を撮影している時の方位角ζと上記基準方位角との差分が、両画像間の方位角に関する相対的な位置関係として求められる。同様に、三枚目の画像を撮影している時の回転角θと上記基準回転角との差分が、両画像間の回転角に関する相対的な位置関係として求められる。これにより、両画像間の相対的な位置関係が求められる。

また、当該三枚目の画像撮影時における画像間の相対的な大きさは、上記合成基準画像に対応した合成画角を基準値とし、当該三枚目の画像を撮影している時の画角εと上記合成画角の基準値との間の差分を算出することで求めることができる。すなわち例えば、合成基準画像に対応した合成画角を基準画角とした場合、三枚目の画像を撮影している時の画角εと上記合成基準画像の基準画角との差分が、両画像間の相対的な大きさとして求められる。

そして、当該パノラマ画像撮影モードにおいて、撮影ボタンが押下されることで当該三枚目の画像の撮影がなされた場合、その画像データはメモリ部５に記録される。また、当該三枚目の画像を撮影した時の画角ε，回転角θ，仰角φ，方位角ζの情報が撮影範囲を表すパラメータとしてメモリ部５に保持される。さらに、当該三枚目の画像の記録がなされた場合、その三枚目の画像が撮影された時のビューファインダ画面も同時にメモリ部５に保持される。すなわち、上記一枚目及び二枚目の合成画像と上記三枚目の画像との間の相対的な位置関係及び大きさが維持された状態でそれら各画像が収まるようになされたビューファインダ画面に相当する合成画像が、メモリ部５に保持される。

さらに、この時のデジタルスチルカメラ１は、上記一枚目，二枚目，三枚目の合成画像を次回撮影時の画像との間で相対的な位置関係及び大きさを求める際の新たな合成基準画像とする。また、デジタルスチルカメラ１は、一枚目及び二枚目の合成画像の合成画角，合成回転角，合成仰角，合成方位角と、三枚目の画像の画角ε，回転角θ，仰角φ，方位角ζとから、当該新たな合成基準画像に対応した合成画角，合成回転角，合成仰角，合成方位角を算出し、それらを当該新たな合成基準画像の撮影範囲を表すパラメータとしてメモリ部５に保持する。なお、あくまで一例であるが、当該合成基準画像に対応した合成画角，合成回転角，合成仰角，合成方位角は、上記一枚目及び二枚目の合成画像の合成画角，合成回転角，合成仰角，合成方位角と、当該三枚目の画像の画角ε，回転角θ，仰角φ，方位角ζのそれぞれ中間値として算出することができる。

図８には、パノラマ画像撮影モードにおいて三枚目の画像を撮影する際のビューファインダ部８の他の画面表示例を示す。すなわち、この図８は、図７の例よりも離れた撮影範囲を三枚目の画像として撮影しようとしている時の画面表示例を示している。

この図８の例においても図７の場合と同様に、三枚目の画像を撮影する際、デジタルスチルカメラ１は、先の一枚目及び二枚目の画像を合成した合成基準画像に対応した撮影範囲を表す各パラメータと、当該三枚目の画像を撮影する際の撮影範囲を表すパラメータとを用い、上記合成基準画像と当該三枚目の画像との間の相対的な位置関係及び大きさを算出する。そして、デジタルスチルカメラ１は、上記合成基準画像と、当該三枚目の画像の相対的な位置関係及び大きさを維持した状態で、それら合成基準画像４１と当該三枚目の画像４２の両者が収まるようにビューファインダ画面４０上に表示する。

この図８の場合は、図７の例よりも離れた撮影範囲を三枚目の画像として撮影しようとしているため、ビューファインダ画面４０上に表示される上記合成基準画像４１の大きさと、三枚目の画像４２の大きさは、図７の例に比べて相対的に小さくなっている。すなわちこの例の場合、合成基準画像と三枚目の画像との相対的な位置関係が離れているため、合成基準画像４１と三枚目の画像４２の双方をビューファインダ画面４０内に収めるようにした時には、それら合成基準画像４１及び画像４２の大きさが図７の例よりも縮小されたものとなる。

一方、この図８に示した状態から、三枚目の画像の撮影範囲（つまりカメラレンズの向き）を上記合成基準画像に対して例えば近づける方向へ徐々に移動させた場合、デジタルスチルカメラ１は、ビューファインダ画面上に表示される上記合成基準画像の大きさと三枚目の画像の大きさを、図８の状態から徐々に大きくする。言い換えると、合成基準画像と三枚目の画像との間の相対的な位置関係が近づくと、ビューファインダ画面上では、それら合成基準画像と三枚目の画像が相対的に大きくなるように表示される。

図９には、図８に示した状態から、三枚目の画像の撮影範囲を、一枚目及び二枚目の合成基準画像の方向（図中矢印方向）へ近づけるようにカメラレンズの向きを移動させた場合のビューファインダ部８の画面表示例を示す。

この図９の例のように、三枚目の画像の撮影範囲を合成基準画像の方向に近づけるようにカメラレンズの向きを移動させた場合、デジタルスチルカメラ１は、ビューファインダ画面上に表示される合成基準画像５１の大きさと三枚目の画像５２の大きさを徐々に大きくする。なお、図９中の表示範囲５３は、三枚目の画像撮影範囲を合成基準画像の方向へ近づけるようにカメラレンズを移動させたことで、それら各画像が前述の図７のような位置関係になった場合のビューファインダ画面に表示される範囲を示している。

〔パノラマ画像撮影モード時のフローチャート〕
図１０には、上述したパノラマ画像撮影モードを実現する本発明の合成画像作成支援プログラムを、デジタルスチルカメラ１のＣＰＵ部７が実行することによる処理のフローチャートを示す。

図１０において、ＣＰＵ部７は、ステップＳ１により合成画像作成支援プログラムが起動されてパノラマ画像撮影モードがスタートすると、先ずステップＳ２の処理として、カメラ撮影部２により得られている画像をビューファインダ部８の画面上に表示させる。なお、この時点では例えば前述の図５のような画像が表示される。

次に、ＣＰＵ部７は、ステップＳ３の処理として一枚目の画像撮影のために撮影ボタンが押されたか否か判断する。当該ステップＳ３にて撮影ボタンが押下されたと判断すると、ステップＳ４へ処理を進める。

ステップＳ４の処理に進むと、ＣＰＵ部７は、カメラ撮影部２に撮影を行わせる。そして、ＣＰＵ部７は、ステップＳ５にて当該撮影時の前述した撮影範囲を表す各パラメータをメモリ部５に記録すると同時に、ステップＳ６にてその撮影画像をメモリ部５に記録する。また当該ステップＳ６の時のＣＰＵは、当該画像撮影時のビューファインダ画面の表示画像もメモリ部５に格納する。

次に、ステップＳ７の処理に進むと、ＣＰＵ部７は、それ以前に撮影された画像との合成が必要であるか判断する。なお、一枚目の画像撮影が行われた時には、それ以前の撮影画像は存在しないため、ＣＰＵ部７は当該ステップＳ７の判断処理をスキップし、ステップＳ８へ処理を進める。

ステップＳ８の処理に進むと、ＣＰＵ部７は、ステップＳ６にてメモリ部５に記録した画像を合成基準画像としてメモリ部５に保存した後、ステップＳ９へ処理を進める。なお、この時点での合成基準画像は、一枚目の撮影画像となる。

ステップＳ９に進むと、ＣＰＵ部７は、ビューファインダ画面の表示を更新する時間になったか否か判断する。なお、この更新時間としては、例えばいわゆる動画像のフレーム時間（１／３０秒）、或いは、より処理を軽くしたい場合には１／１５秒や１／１０秒などの時間を挙げることができる。当該ステップＳ９にて更新時間になったと判断すると、ＣＰＵ部７は、ステップＳ１０へ処理を進める。

ステップＳ１０の処理に進むと、ＣＰＵ部７は、ビューファインダ画面の表示を更新すると共に、その更新後の撮影範囲を表す各パラメータを取得する。

またＣＰＵ部７は、ステップＳ１１の処理として、当該更新後において合成基準画像（この場合は一枚目の画像）と、その時点でカメラ撮影部２から得られている画像（この場合は二枚目の画像）との間の相対的な位置関係及び大きさを算出する。

さらに、ＣＰＵ部７は、ステップＳ１２の処理として、ステップＳ１１にて求めた相対的な位置関係及び大きさを維持した状態でそれら両画像（この場合は一枚目の画像と二枚目の画像）が収まるようにしてビューファインダ画面に表示する。

そして、ＣＰＵ部７は、ステップＳ１３の処理として、画像撮影のために撮影ボタンが押されたか否か判断する。当該ステップＳ１３にて撮影ボタンが押下されていない場合には、ステップＳ９へ処理を戻し、一方、撮影ボタンが押下された場合にはステップＳ４へ処理を戻す。

当該ステップＳ４の処理に戻った場合、ＣＰＵ部７は、カメラ撮影部２に対して二枚目の画像の撮影を開始させる。したがって、ステップＳ５では、当該二枚目の撮影画像の撮影範囲を表す各パラメータがメモリ部５に記録され、ステップＳ６では、当該二枚目の撮影画像のデータがメモリ部５に記録されることになる。なお、当該ステップＳ６の時、当該二枚目の画像撮影時のビューファインダ画面の表示画像、すなわち例えば前述の図６のビューファインダ画像についてもメモリ部５に格納される。

次に、ステップＳ７の処理に進むと、ＣＰＵ部７は、それ以前に撮影された画像との合成が必要であるか判断する。この場合、ＣＰＵ部７は、一枚目の撮影画像と二枚目の撮影画像との合成が必要であると判断し、ステップＳ２０へ処理を進める。

ステップＳ２０の処理に進むと、ＣＰＵ部７は、一枚目の画像と二枚目の画像を合成する。また、ＣＰＵ部７は、ステップＳ２１の処理として、それら一枚目と二枚目が合成された画像を、合成基準画像としてメモリ部５に記録する。さらに、ＣＰＵ部７は、ステップＳ２２の処理として、当該合成基準画像に対応した撮影範囲を表すパラメータを算出し、それをメモリ部５に保持する。そして、ＣＰＵ部７は、ステップＳ２３の処理として、当該合成基準画像をビューファインダ画面に表示する。すなわちこの場合、ビューファインダ画面には、前述の図７に示したように、一枚目と二枚目の画像が合成された合成基準画像と三枚目に撮影しようとしている画像が表示されることになる。

次に、ＣＰＵ部２４は、撮影終了の指示が使用者から入力されたか否か判断し、撮影終了指示が入力されていない時にはステップＳ９へ処理を戻す。

当該ステップＳ９に戻ると、ＣＰＵ部７は、前述同様にビューファインダ画面の表示を更新する時間になったか否か判断し、当該更新時間になったと判断した時にはステップＳ１０へ処理を進める。

ステップＳ１０の処理に進むと、ＣＰＵ部７は、ビューファインダ画面の表示を更新すると共に、その更新後の撮影範囲を表す各パラメータを取得する。またＣＰＵ部７は、ステップＳ１１の処理として、当該更新後において合成基準画像（この場合は一枚目及び二枚目の合成画像）と、その時点でカメラ撮影部２から得られている画像（この場合は三枚目の画像）との間の相対的な位置関係及び大きさを算出する。さらに、ＣＰＵ部７は、ステップＳ１２の処理として、それら相対的な位置関係及び大きさを維持した状態で両画像（この場合は一枚目及び二枚目の合成画像と三枚目の画像）が収まるようにしてビューファインダ画面に表示する。

そして、ＣＰＵ部７は、ステップＳ１３にて画像撮影のために撮影ボタンが押されたか否か判断し、撮影ボタンが押下された場合にはステップＳ４へ処理を戻す。以下、同様であるため説明は省略する。

また、ステップＳ２４にて、撮影終了の指示が使用者から入力された場合、ＣＰＵ部７は、ステップＳ２５へ処理を進める。

ステップＳ２５の処理に進むと、ＣＰＵ部７は、当該パノラマ画像撮影モードになってから撮影されてメモリ部５に格納されている各画像を全て合成する。なお、この時の画像合成処理には、既存の画像合成技術により各画像を繋ぎ合わせるような合成処理が用いられる。

上記ステップＳ２５による画像合成処理が完了すると、ＣＰＵ部７は、ステップＳ２６の処理として、その合成画像を画像ファイルとしてメモリ部５に記録等する。

なお、ステップＳ２５における画像合成処理は、デジタルスチルカメラ１内で行わず、別途パーソナルコンピュータ等にて行われても良い。

〔まとめ〕
以上説明したように、本発明実施形態によれば、パノラマ画像撮影モードの画像撮影時には、これから撮影する撮影範囲の画像とそれ以前に撮影した画像との間の相対的な位置関係及び大きさを維持した状態で、それら両画像が収まるようにビューファインダ画面上に表示される。このため、撮影時の画角よりも広い範囲を網羅する複数の画像を得る際に、撮影者は、当該ビューファインダ画面を見るだけで、何れの方向及び範囲を撮影すれば良いのか、また、現在撮影しているのが何れの範囲になっているのかを容易に知ることができる。すなわち本実施形態によれば、撮影時の画角よりも広い範囲を網羅する複数の画像を、容易かつ確実に撮影するための支援が実現されている。さらに、本実施形態によれば、撮影時の画角よりも広い範囲を網羅する複数の画像の撮影順序についても特に決める必要がなく、ビューファインダ画面上で撮影者が必要と判断した方向及び範囲の画像を、任意の順番で撮影すれば良い。

なお、上述した本発明の実施形態の説明は、本発明の一例である。このため、本発明は上述した実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることはもちろんである。

上述の実施形態では、合成画像作成支援処理を実行するための全ての構成要素を備えたデジタルスチルカメラを挙げているが、例えば撮影前後の画像を別のモニタ画面等に表示し、カメラ側では撮影と方位，傾き等の検知のみ行うようなシステムにも本発明は適用可能である。また、モニタ画面上に撮影前後の画像を同時に表示したり画像合成を行うようなプログラムの処理は、例えばパーソナルコンピュータ等により実行することもできる。この場合のパーソナルコンピュータは、カメラ側から画像データと、方位，傾きのデータ等を取得し、それらデータを用いて前述のビューファインダ部２の画面表示例と同様の画像表示処理を行う。

本発明実施形態のデジタルスチルカメラの概略的な内部構成例を示すブロック図である。 傾きセンサ部により検知される回転角の説明に用いる図である。 傾きセンサ部により検知される仰角の説明に用いる図である。 方位センサ部により検知される方位角の説明に用いる図である。 パノラマ画像撮影モードにおいて一枚目の画像が撮影される時のビューファインダ部の画面表示例を示す図である。 パノラマ画像撮影モードにおいて二枚目の画像が撮影される時のビューファインダ部の画面表示例を示す図である。 パノラマ画像撮影モードにおいて三枚目の画像が撮影される時のビューファインダ部の画面表示例を示す図である。 パノラマ画像撮影モードにおいて三枚目の画像が撮影される時に、一枚目及び二枚目の撮影範囲と三枚目の撮影範囲が離れている場合のビューファインダ部の画面表示例を示す図である。 パノラマ画像撮影モードにおいて三枚目の画像が撮影される時に、一枚目及び二枚目の撮影範囲へ三枚目の撮影範囲が近づくようにカメラレンズの向きを移動した場合のビューファインダ部の画面表示例を示す図である。 パノラマ画像撮影モードを実現する本発明の合成画像作成支援プログラムをＣＰＵ部が実行している時の処理のフローチャートである。

符号の説明

１ デジタルスチルカメラ、２ カメラ撮影部、３ 方位センサ部、４ 傾きセンサ部、５ メモリ部、６ 画像処理部、７ ＣＰＵ部、８ ビューファインダ部、１０，２０，３０，４０，５０ ビューファインダ画面、１１，２１ 一枚目の撮影画像、２２ 二枚目の撮影画像、３１，４１，５１ 一枚目と二枚目の合成画像、３２，４２，５２ 三枚目の撮影画像

Claims (10)

1. 画像を撮像する画像撮像部と、
   少なくとも画像を表示する画面を備えた画像表示部と、
   使用者からの指示入力を取得するための操作入力部と、
   上記操作入力部を介した画像撮影開始の指示入力に応じて上記画像撮像部にて撮像された撮影画像の情報とその画像撮影時に制御演算部が生成して上記画像表示部に表示した画像の情報を保持する画像保持部と、
   上記画像撮像部による撮像中の撮影範囲を表す撮影パラメータを検知するパラメータ検知部と、
   上記画像保持部に保持された画像の撮影時に上記パラメータ検知部が検知した撮影パラメータとその画像撮影時に上記画像表示部に表示された画像に対応して制御演算部が生成したパラメータを保持するパラメータ保持部と、
   上記画像撮影開始の指示入力に応じて画像撮像部が撮像した撮影画像を上記画像表示部の画面上に表示する際、前回の画像撮影時に上記画像表示部に表示されて上記画像保持部に保持された画像を基準画像にすると共に当該基準画像に対応して上記パラメータ保持部に保持されているパラメータを基準パラメータとし、当該画像撮影時の上記撮影パラメータと上記基準パラメータとに基づいて、上記画像表示部の画面上での上記撮影画像と上記基準画像の相対的な位置関係および大きさを算出し、当該位置関係および大きさを維持した状態で上記撮影画像と基準画像を上記画面表示部の画面上に表示させる制御演算部とを有し、
   上記制御演算部は、上記画像撮影開始の指示入力に応じた画像撮影時に上記画面表示部に表示した画像を新たな基準画像の情報として上記画像保持部に保持させるとともに、当該画像撮影時の上記撮影パラメータと基準パラメータを用いた所定演算により生成したパラメータを新たな基準パラメータとして上記パラメータ保持部に保持させるカメラ装置。
2. 上記パラメータ検知部は、上記撮影パラメータとして、上記画像撮像部による撮像中の撮影範囲の画角と回転角と仰角と方位角の値を検知し、
   上記制御演算部は、上記基準パラメータとして、上記画像表示部に表示された画像を撮影範囲とした際の画角と回転角と仰角と方位角の値を所定演算により生成する請求項１記載のカメラ装置。
3. 上記制御演算部は、上記所定演算として、上記撮影パラメータと基準パラメータの上記画角と回転角と仰角と方位角の各中間値を演算する請求項２記載のカメラ装置。
4. 上記制御演算部は、上記操作入力部を介した撮影終了の指示入力に応じて、上記画像保持部に保持されている全撮影画像を合成し、当該全撮影画像の合成画像の情報を上記画像保持部に保持させる請求項１記載のカメラ装置。
5. 画像撮像部による撮像中の画像の情報を取得する画像取得部と、
   画像撮像部により撮影された画像の情報とその画像撮影時に制御演算部が生成して画像表示部に表示した画像の情報を保持する画像保持部と、
   画像撮像部による撮像中の画像の撮影範囲を表す撮影パラメータを取得するパラメータ取得部と、
   上記パラメータ取得部により取得された撮影パラメータとその画像撮影時に画像表示部に表示された画像に対応して制御演算部が生成したパラメータを保持するパラメータ保持部と、
   使用者からの画像撮影開始の指示入力に応じて画像撮像部が撮像した撮影画像を画像表示部の画面上に表示する際、前回の画像撮影時に画像表示部に表示されて上記画像保持部に保持された画像を基準画像にすると共に当該基準画像に対応して上記パラメータ保持部に保持されているパラメータを基準パラメータとし、当該画像撮影時の上記撮影パラメータと上記基準パラメータとに基づいて、画像表示部の画面上での上記撮影画像と上記基準画像の相対的な位置関係および大きさを算出し、当該位置関係および大きさを維持した状態で上記撮影画像と基準画像を画面表示部の画面上に表示させる制御演算部とを有し、
   上記制御演算部は、画像撮影開始の指示入力に応じた画像撮影時に画面表示部に表示した画像を新たな基準画像の情報として上記画像保持部に保持させるとともに、当該画像撮影時の上記撮影パラメータと基準パラメータを用いた所定演算により生成したパラメータを新たな基準パラメータとして上記パラメータ保持部に保持させる合成画像作成支援装置。
6. 上記パラメータ取得部は、上記撮影パラメータとして、上記画像撮像部による撮像中の撮影範囲の画角と回転角と仰角と方位角の情報を取得し、
   上記制御演算部は、上記基準パラメータとして、画像表示部に表示された画像を撮影範囲とした際の画角と回転角と仰角と方位角の値を所定演算により生成する請求項５記載の合成画像作成支援装置。
7. 上記制御演算部は、上記所定演算として、上記撮影パラメータと基準パラメータの上記画角と回転角と仰角と方位角の各中間値を演算する請求項６記載の合成画像作成支援装置。
8. 上記制御演算部は、使用者からの撮影終了の指示入力に応じて、上記画像保持部に保持されている全撮影画像を合成し、当該全撮影画像の合成画像の情報を上記画像保持部に保持させる請求項５記載の合成画像作成支援装置。
9. 画像撮像部による撮像中の画像の情報を画像取得部が取得するステップと、
   画像撮像部による撮像中の画像の撮影範囲を表す撮影パラメータをパラメータ取得部が取得するステップと、
   画像撮像部により撮影された画像の情報とその画像撮影時に制御演算部が生成して画像表示部に表示した画像の情報を画像保持部が保持するステップと、
   上記パラメータ取得部により取得された撮影パラメータとその画像撮影時に画像表示部に表示された画像に対応して制御演算部が生成したパラメータをパラメータ保持部が保持するステップと、
   使用者からの画像撮影開始の指示入力に応じて画像撮像部が撮像した撮影画像を画像表示部の画面上に表示する際、制御演算部が、前回の画像撮影時に画像表示部に表示されて上記画像保持部に保持された画像を基準画像にすると共に当該基準画像に対応して上記パラメータ保持部に保持されているパラメータを基準パラメータとし、当該画像撮影時の上記撮影パラメータと上記基準パラメータとに基づいて、画像表示部の画面上での上記撮影画像と上記基準画像の相対的な位置関係および大きさを算出し、当該位置関係および大きさを維持した状態で上記撮影画像と基準画像を画面表示部の画面上に表示させるステップと、
   制御演算部が、画像撮影開始の指示入力に応じた画像撮影時に画面表示部に表示した画像を新たな基準画像の情報として上記画像保持部に保持させるとともに、当該画像撮影時の上記撮影パラメータと基準パラメータを用いた所定演算により生成したパラメータを新たな基準パラメータとして上記パラメータ保持部に保持させるステップと、
   を有する合成画像作成支援方法。
10. 画像撮像部による撮像中の画像の情報を取得する画像取得部と、
    画像撮像部により撮影された画像の情報とその画像撮影時に制御演算部が生成して画像表示部に表示した画像の情報を画像保持部に保持させる画像保持制御部と、
    画像撮像部による撮像中の画像の撮影範囲を表す撮影パラメータを取得するパラメータ取得部と、
    上記パラメータ取得部により取得された撮影パラメータとその画像撮影時に画像表示部に表示された画像に対応して制御演算部が生成したパラメータをパラメータ保持部に保持させるパラメータ保持制御部と、
    使用者からの画像撮影開始の指示入力に応じて画像撮像部が撮像した撮影画像を画像表示部の画面上に表示する際、前回の画像撮影時に画像表示部に表示されて上記画像保持部に保持された画像を基準画像にすると共に当該基準画像に対応して上記パラメータ保持部に保持されているパラメータを基準パラメータとし、当該画像撮影時の上記撮影パラメータと上記基準パラメータとに基づいて、画像表示部の画面上での上記撮影画像と上記基準画像の相対的な位置関係および大きさを算出し、当該位置関係および大きさを維持した状態で上記撮影画像と基準画像を画面表示部の画面上に表示させる制御演算部としてコンピュータを機能させ、
    上記制御演算部は、画像撮影開始の指示入力に応じた画像撮影時に画面表示部に表示した画像を新たな基準画像の情報として上記画像保持部に保持させるとともに、当該画像撮影時の上記撮影パラメータと基準パラメータを用いた所定演算により生成したパラメータを新たな基準パラメータとして上記パラメータ保持部に保持させる合成画像作成支援プログラム。

Images