JP2007174301A - 画像撮影装置 - Google Patents

Abstract

【課題】 縦横方向自由に広がる画像を操作性よく繋ぎ合わせて撮影することができると共に、撮影した画像を単純な画像合成処理により合成することができる画像撮影装置を提供する。
【解決手段】 第１の撮影済み画像が表示画面に固定された状態で表示される（図２（ａ））。カメラの向きを例えば４時の方向に動かすと、加速度センサはその動きを検出し、第１の撮影済み画像を置いたまま、カメラの移動方向４時と同じ方向に距離に応じて表示画面がシフトする感覚で表示画像が変わる（図２（ｂ））。シフトして表示画面内に残っている画像がガイド画像として半透明で固定表示され、表示画面全体に、カメラが現在撮影中のカレント画像が重ね合わせ表示される（図２（ｃ））。ユーザは、カメラの向きを変えてカレント画像をガイド画像に手動で合わせ込む（図２（ｄ））。そして、シャッターボタンを押して、カレント画像を第２の撮影済み画像としてメモリに取り込む。
【選択図】 図２

Description

本発明は、画像の合成撮影を行うデジタルカメラ等の画像撮影装置に関する。

（背景技術１）
高解像度を得られるとともに、実用的な広い視野範囲を持つ画像入力装置がある（例えば、特許文献１参照。）。この特許文献１では、撮像画像合成部は、原稿上を走査して部分画像を連続して撮像し、各部分画像の位置検出と画像補正を自動で行い合成画像を生成する。そして、画面上で合成画像が成長していく過程がリアルタイムで表示される。

（背景技術２）
撮像装置により取得された対象の一連の部分画像から画像合成により１枚の合成画像を生成する画像入力装置がある（例えば、特許文献２参照。）。この特許文献２では、撮像指示ボタンが押下されている間、カメラの移動距離が閾値を超える度に部分画像間に重複が存在するように部分画像の撮影が自動で連続して行われる。そして、部分画像の撮影が終了後に、部分画像の合成が、位置補正アルゴリズムによる自動または手動のポインティング手段による位置合わせにより行われる。

（背景技術３）
パノラマ撮影時の次の画像とのつなぎ部分の重複表示補助技術を有する撮像装置がある（例えば、特許文献３参照。）。この特許文献３では、前回撮影した画像の一部右側部分を残像（ガイド）として液晶画面の左側部分に白黒反転表示する。そして、使用者がカメラを動かすと、次に続く風景画像（スルー画像）の白黒画像と共に表示され、残像（ガイド）と風景画像（スルー画像）部分が一致すると、液晶画面の左側部分は補色の関係でベタの灰色になる。また、残像（ガイド）部分をカラーの色相的に反対な色とし、風景画像（スルー画像）のカラーと共に表示することにより、一致すれば同様に補色の関係でベタの灰色になる。使用者はそれを確認して、シャッターを押せば望ましいパノラマ合成画像が得られることになる。
特開平６−２５９５５７号公報（第３頁、図１、図２） 特開平１１−２３８１１８号公報（第９〜１０頁、図５、図７〜図９） 特開平１１−２９８７６５号公報（第２〜頁、図２、図５）

従来の背景技術１の画像入力装置では、部分画像間の相対位置は２次元の位置と回転の３自由度があり、その部分画像の合成のための位置補正アルゴリズムは規模が大きなものが必要であり、装置コストが増大するという問題があった。

従来の背景技術２の画像入力装置では、部分画像間の相対位置は水平移動だけではなく回転方向の移動も発生しており、その部分画像の合成のための位置補正アルゴリズムは規模が大きなものが必要であり、装置コストが増大するという問題があった。また、部分画像の合成のための手動による位置合わせについては、ユーザの操作性を向上するための方法についての記載がない。

従来の背景技術３の撮像装置では、前回撮影した画像の一部右側部分を残像（ガイド）として表示しており、パノラマ画像のような横方向のみに広がる合成画像の場合はよいが、縦横方向自由に広がる画像を撮影することができないという問題があった。また、残像（ガイド）部分は一律同じ寸法のエリアとなるが、残像（ガイド）部分が例えば青空のようにメリハリのない画像だとガイドとして使いにくいという問題があった。また、残像（ガイド）部分と風景画像（スルー画像）の重なり合う部分は、補色表示となるため、重なり合う部分の最終映像を撮影時に確認できないという問題があった。

本発明は、上記の問題点を解決するためになされたもので、縦横方向自由に広がる画像を操作性よく繋ぎ合わせて撮影することができると共に、撮影した画像を単純な画像合成処理により合成することができる画像撮影装置を提供することを目的とする。

上記目的を達成するために、本発明の画像撮影装置は、第１の撮影済み画像を記憶するメモリと、画像撮影装置の動きを検出して動き方向と動き距離を算出する動き検出手段と、前記第１の撮影済み画像を表示画面に表示すると共に、当該表示された第１の撮影済み画像を当該表示画面に対して前記動き方向と反対方向に前記動き距離に応じてシフトして表示を固定し、当該シフト後に表示画面に残っている前記固定された画像をガイド画像として表示するガイド画像作成手段と、画像撮影装置が現在撮影中のカレント画像と前記ガイド画像を前記表示画面に重ねて表示する重ね合わせ画像作成手段と、撮影ボタンが押下された事を検出したら前記カレント画像を第２の撮影済み画像として前記メモリに記憶するカレント画像取得手段とを具備することを特徴とする。

本発明によれば、縦横方向自由に広がる画像を操作性よく繋ぎ合わせて撮影することができると共に、撮影した画像を単純な画像合成処理により合成することができる画像撮影装置を提供することが可能となる。

以下、本発明の実施例を、図面を参照して説明する。

図１は、本発明の各実施例に係るカメラ（画像撮影装置）の構成図である。カメラ１００は、画像撮影部１、撮影済み画像格納部２、合成画像作成部３、合成画像格納部４、動き検出部５、ガイド画像作成部６、重ね合わせ画像作成部７、表示部８、操作キー９などによって構成される。
画像撮影部１は、ＣＣＤ等の撮像素子により構成されて、被写体を撮影し、カレント画像１ａを出力する。ユーザがカメラ１００の向きを変えると被写体が変化し、その被写体の画像がカレント画像１ａとしてリアルタイムに得られる。撮影済み画像格納部２は、ユーザによりシャッターボタン（操作キー９の１つ）が押下されたタイミングのカレント画像１ａを撮影済み画像として格納するメモリである。合成画像作成部３は、撮影済み画像格納部２に格納されている複数の撮影済み画像を合成する。合成された合成画像は合成画像格納部４に必要に応じて格納される。

動き検出部５は、加速度センサ等により構成されて、カメラ１００の向きが動く方向とその動く距離を算出する。ガイド画像作成部６は、撮影済み画像に対して新しいカレント画像を継ぎ足して撮影する時に、撮影済み画像の一部をガイド画像６ａとして作成する。このガイド画像の基は、撮影済み画像格納部２の中の１枚の画像である第１の撮影済み画像の一部分であってもよいし、合成画像作成部３が合成した合成画像の一部分であってもよい。また、ガイド画像作成部６は、ユーザによりカメラ１００の向きが変化した時に、動き検出部５の出力であるカメラの向きが動く方向と動く距離に応じてガイド画像の範囲を決定して固定する。つまり、ガイド画像の範囲はユーザがカメラ１００の向きを変えることにより行うことができる。

重ね合わせ画像作成部７は、撮影済み画像の一部である固定されたガイド画像６ａと、カメラ１００が現在向いている方向の被写体のリアルタイムのカレント画像１ａとを重ね合わせた重ね合わせ画像を作成する。そして、重ね合わせ画像は表示部８に表示される。なお、重ね合わせ画像作成部７と表示部８の間には図示しないが、一般的に行われているように、オリジナルの画像を表示部のサイズや解像度に合わせて最終変換する部分が存在するが、説明を省略する。ユーザは、表示された重ね合わせ画像を見ながら、リアルタイムのカレント画像１ａが、固定されたガイド画像６ａとうまく重なるようにカメラ１００の向きを調整して、カレント画像１ａを動かす。そして、ユーザは、重なったと判断したらシャッターボタンを押下して、現在のカレント画像１ａを第２の撮影済み画像として撮影済み画像格納部２に格納する。
なお、各構成部は、ＣＰＵやプログラムＲＯＭやＲＡＭ等の共通のファームウェアによる制御部により構成してもよい。

図２は、本発明の実施例１に係る重ね合わせ撮影時の表示と操作の説明図である。
図３は、本発明の実施例１に係る重ね合わせ撮影時の表示と操作に関するカメラ内部の制御フローチャートである。
両図を用いて動作を説明する。まず、カメラが被写体の富士山の頂上左側部分に向けられてシャッターボタンが押下されると、その時のカレント画像が第１の撮影済み画像として撮影済み画像格納部２に格納される（図示せず）。それと共に、この第１の撮影済み画像が表示部の表示画面に固定された状態で表示される（図２（ａ）及び図３のステップＳ１）。次に、ユーザが再びシャッターボタンを押下したままカメラの向きを例えば４時の方向に動かすと、加速度センサはその動きを検出し、動きの方向が４時方向であることと、動いた距離が算出される（ステップＳ２）。そして、固定表示中の第１の撮影済み画像を表示画面に対して、カメラの動き方向４時と反対方向に、動き距離に応じてシフトして表示する（図２（ｂ）及び図３のステップＳ３）。これは、ユーザにとっては、第１の撮影済み画像を置いたまま、カメラの移動方向４時と同じ方向に距離に応じて表示画面が移動する感覚であり、ユーザにとってわかりやすい。

そして、ユーザは、表示画面内に残っている第１の撮影済み画像のポイントＰ１〜Ｐ４で囲まれたエリアの画像が、この後撮影するカレント画像のガイド用として適当な画像であるかを判断してカメラの向きを調整する。ガイド用として不適当な画像というのは、例えば第１の撮影済み画像の青空だけのようなメリハリのない画像が写っている部分の画像であり、ユーザにとって、後の重ね合わせが難しい画像である。ガイド用として適当な画像というのは、例えば第１の撮影済み画像の富士山の頂上右側部分の画像であり、ユーザにとって、後の重ね合わせがしやすい画像である。

このカメラの向きに対応して、表示画面に対して第１の撮影済み画像がシフトされる（ステップＳ３継続）。ユーザは、表示画面内に残る第１の撮影済み画像のポイントＰ１〜Ｐ４で囲まれたエリアがガイド用として適当な画像であるかを判断してシャッターボタンを元に戻すことで確定する（ステップＳ４でＹＥＳ）。この確定された第１の撮影済み画像のポイントＰ１〜Ｐ４で囲まれたエリアは、再び固定表示され、更に半透明状態又は白黒表示され、ガイド画像として使われる（図２（ｃ）及び図３のステップＳ５）。
このように、ガイド用として適当なエリアをユーザ操作で操作性良く決定することができる。
この確定された第１の撮影済み画像のポイントＰ１〜Ｐ４のアドレスを、第１の撮影済み画像と共に記憶する（ステップＳ６）。これは、後述（図４、図５）の画像合成用に使うためである。

ガイド画像が固定表示されると、カメラが現在撮影中のカレント画像（カラー）がガイド画像に重ね合わせて表示される（図２（ｃ）及び図３のステップＳ７）。カレント画像（カラー）は、カメラがたまたま向いている方向の被写体画像である。ユーザは、カレント画像がガイド画像の同じ部分に合致するようにカメラの向きを調整して合わせ込む。この間、同様に、固定されたガイド画像と現在撮影中のカレント画像（カラー）が重ね合わせ表示される（図２（ｄ）及び図３のステップＳ７）。
図２（ｄ）に示すように、カレント画像がガイド画像の同じ部分に合致した状態にあっては、ガイド画像表示部分は、半透明のガイド画像と撮影中のカレント画像のカラー表示が重なって表示されるため、従来の灰色ベタ表示に比べて、重なり合う部分の最終映像を確認しやすい。

ユーザが、合致したと判断して、カメラの向きが動かないようにしてシャッターボタンが押下されると（ステップＳ８でＹＥＳ）、その時のカレント画像（カラー）が第２の撮影済み画像として撮影済み画像格納部２に格納される（図２（ｅ）及び図３のステップＳ９）。そして、第２の撮影済み画像のポイントＰ１〜Ｐ４のアドレスを、第２の撮影済み画像と共に記憶する（ステップＳ１０）。また、第１の撮影済み画像と第２の撮影済み画像が繋がることを記憶しておく。これは、後述（図４、図５）の画像合成用に使うためである。
このように、第１の撮影済み画像と第２の撮影済み画像を連写の感覚で、操作性良く繋ぎ合わせて、次々と撮影していくことができる。

図４は、本発明の実施例１に係る画像合成時の表示の説明図である。
図５は、本発明の実施例１に係る画像合成時の表示に関するカメラ内部の制御フローチャートである。
両図を用いて動作を説明する。第１の撮影済み画像と第２の撮影済み画像は、それぞれの繋ぎ合わせのポイントＰ１〜Ｐ４の画像アドレスと共に、撮影済み画像格納部２に格納されている（図４（ａ））。ここで、ユーザによって画像の合成指示が行われると、第１の撮影済み画像と第２の撮影済み画像が撮影済み画像格納部２から読み出されて、図示しないワーキングメモリ上にコピーされる。そして、ワーキングメモリ上で、第１の撮影済み画像のポイントＰ１〜Ｐ４内の画像か、第２の撮影済み画像のポイントＰ１〜Ｐ４内の画像のどちらかが消去される（ステップＳ２１）。これは、重ね合わせ撮影（図２、図３）で説明したように、第１の撮影済み画像のポイントＰ１〜Ｐ４内の画像と、第２の撮影済み画像のポイントＰ１〜Ｐ４内の画像とは、ユーザの手動操作で合わせ込まれた画像であるため、厳密には異なる画像である。そのために両者を重ね合わせると画質が劣化する可能性があるので、一方を削除して合成するためである。

次に、自動で、両者のポイントＰ１〜Ｐ４同士を重ねるように、第１の撮影済み画像と第２の撮影済み画像が合成される（図４（ｂ）及び図５のステップＳ２２）。この合成処理は、背景技術１や背景技術２に記載の画像特徴を抽出して合成するような複雑な合わせ込み処理ではないため、単純な処理で実行することができる。そして、この合成画像を合成画像格納部９に格納する。

次に合成画像の表示を行う場合は、合成画像格納部９の合成画像を読み出す。そして、一般的には合成画像のサイズが大きいために合成画像の横方向の幅および縦方向の幅がすべて表示画面に入るように縦横同一縮小率で縮小して表示する（図４（ｃ）及び図５のステップＳ２４）。合成画像の内容によっては、図４（ｃ）に示すように、例えば表示画面の上下部分に空白表示が生じる。

なお、合成画像格納部９を設けないで、合成画像の表示などで合成画像が必要になる都度に、ステップＳ２１、Ｓ２２の合成処理を行って合成画像を得るようにしてもよい。
また、ステップＳ２２では、第１の撮影済み画像と第２の撮影済み画像のポイントＰ１〜Ｐ４同士を重ねる単純な合成処理を行ったが、これに追加して、簡易型の画像特徴を抽出して合成する最低限の自動修正処理を行ってもよい。
また、カメラ１００は、重ね合わせ撮影と、撮影済み画像の合成の両方を行ったが、重ね合わせ撮影のみ行って、撮影済み画像とその繋ぎ合わせのポイントＰ１〜Ｐ４の位置情報を、例えばパーソナルコンピュータへ送るようにしてもよい。そして、パーソナルコンピュータ側で、撮影済み画像の合成処理を行うようにしてもよい。

実施例１によれば、第１の撮影済み画像と第２の撮影済み画像を連写の感覚で、操作性良く繋ぎ合わせて、次々と撮影していくことができると共に、画像合成時は、自動でポイントを合わせるだけの単純な処理で合成することができる。

図６は、本発明の実施例２に係る不足画像撮影時の表示と操作の説明図である。
図７は、本発明の実施例２に係る不足画像撮影時の表示と操作に関するカメラ内部の制御フローチャートである。
両図を用いて動作を説明する。まず、撮影済み画像格納部２の複数の撮影済み画像が読み出されて合成される。そして、一般的には合成画像のサイズが大きいために合成画像の横方向の幅および縦方向の幅がすべて表示画面に入るように縦横同一縮小率で縮小して表示される（図６（ａ）及び図７のステップＳ３１）。この時、不足部分があれば、ポイントＰ１１、Ｐ１２、Ｐ１３、Ｐ１４枠内のように空白表示となる。この空白部分を包含する広いエリアであるポイントＰ２１、Ｐ２２、Ｐ２３が算出されて、ガイド画像部分が点線でカーソル表示される（図６（ｂ）及び図７のステップＳ３２）。ガイド画像は、不足部分の外側の、ポイントＰ１１、Ｐ２１、Ｐ２２、Ｐ２３、Ｐ１３、Ｐ１２で囲まれたエリアである。ユーザは、このガイド画像が適当であるか判断して、ガイド画像エリアを変更したい時は、カーソルキー（操作キー９の一部）を操作する。カーソルキーが操作されると（ステップＳ３３のＹＥＳ）、ガイド画像のポイントＰ２１、Ｐ２２、Ｐ２３を外側か内側に移動する（ステップＳ３４）。そして、タイマー経過またはユーザのキー操作等があると（ステップＳ３５のＹＥＳ）、次の撮影モードに移行する。

まず、ガイド画像と不足部分が表示画面に合わせて拡大表示される（図６（ｃ）及び図７のステップＳ３６）。この拡大表示時のガイド画像は、ステップＳ３１で縮小する前のオリジナルの高解像度データで表示される。ガイド画像は、半透明状態又は白黒表示されて固定される（図６（ｃ）及び図７のステップＳ３７）。また、合成画像中のポイントＰ１１、Ｐ１２、Ｐ１３、及びＰ２１、Ｐ２２、Ｐ２３アドレスは、重ね合わせ領域として記憶される（ステップＳ３８）。次に、カメラが現在撮影中のカレント画像（カラー）がガイド画像に重ね合わせて表示される（図６（ｃ）及び図７のステップＳ３９）。カレント画像（カラー）は、カメラがたまたま向いている方向の被写体画像である。ユーザは、カレント画像がガイド画像の同じ部分に合致するようにカメラの向きを調整して合わせ込む。この間、同様に、固定されたガイド画像と現在撮影中のカレント画像（カラー）が重ね合わせ表示される（図６（ｄ）及び図７のステップＳ３９）。

ユーザが、合致したと判断して、カメラの向きが動かないようにしてシャッターボタンが押下されると（ステップＳ４０でＹＥＳ）、その時のカレント画像（カラー）がｎ番目の撮影済み画像として撮影済み画像格納部２に格納される（図６（ｄ）及び図７のステップＳ４１）。そして、ｎ番目の撮影済み画像のポイントＰ１１、Ｐ１２、Ｐ１３、及びＰ２１、Ｐ２２、Ｐ２３のアドレスを、ｎ番目の撮影済み画像と共に記憶する（ステップＳ４２）。また、合成画像とｎ番目の撮影済み画像が繋がることを記憶しておく。これは、後の画像合成用に使うためである。

実施例２によれば、合成画像の不足部分を表示し、その不足部分に対するガイド画像を自動または単純な手動操作で表示することができる。そして、不足部分を操作性良く繋ぎ合わせて撮影していくことができる。また、画像合成時は、自動でポイントを合わせるだけの単純な処理で合成することができる。

本発明の各実施例に係るカメラ（画像撮影装置）の構成図。 本発明の実施例１に係る重ね合わせ撮影時の表示と操作の説明図。 本発明の実施例１に係る重ね合わせ撮影時の表示と操作に関するカメラ内部の制御フローチャート。 本発明の実施例１に係る画像合成時の表示の説明図。 本発明の実施例１に係る画像合成時の表示に関するカメラ内部の制御フローチャート。 本発明の実施例２に係る不足画像撮影時の表示と操作の説明図。 本発明の実施例２に係る不足画像撮影時の表示と操作に関するカメラ内部の制御フローチャート。

符号の説明

１ 画像撮影部
２ 撮影済み画像格納部
３ 合成画像作成部
４ 合成画像格納部
５ 動き検出部
６ ガイド画像作成部
７ 重ね合わせ画像作成部
８ 表示部
９ 操作キー
１００ カメラ

Claims (6)

1. 第１の撮影済み画像を記憶するメモリと、
   画像撮影装置の動きを検出して動き方向と動き距離を算出する動き検出手段と、
   前記第１の撮影済み画像を表示画面に表示すると共に、当該表示された第１の撮影済み画像を当該表示画面に対して前記動き方向と反対方向に前記動き距離に応じてシフトして表示を固定し、当該シフト後に表示画面に残っている前記固定された画像をガイド画像として表示するガイド画像作成手段と、
   画像撮影装置が現在撮影中のカレント画像と前記ガイド画像を前記表示画面に重ねて表示する重ね合わせ画像作成手段と、
   撮影ボタンが押下された事を検出したら前記カレント画像を第２の撮影済み画像として前記メモリに記憶するカレント画像取得手段とを
   具備することを特徴とする画像撮影装置。
2. 更に、前記第１の撮影済み画像と第２の撮影済み画像を合成して合成画像を作成する合成画像作成手段とを具備することを特徴とする請求項１に記載の画像撮影装置。
3. 前記ガイド画像作成手段は、前記ガイド画像を半透明状態又は白黒状態で表示することを特徴とする請求項１に記載の画像撮影装置。
4. 複数の撮影済み画像を記憶するメモリと、
   前記複数の撮影済み画像を合成して合成画像を作成する合成画像作成手段と、
   前記合成画像を表示画面サイズに合わせて表示すると共に、当該合成画像が当該表示画面を埋め切らない不足部分は空白表示とする合成画像表示制御手段と、
   前記不足部分と前記不足部分に接する前記合成画像の一部とを前記表示画面サイズに合わせて表示すると共に、前記不足部分に接する合成画像の一部をガイド画像として表示するガイド画像作成手段と、
   画像撮影装置が現在撮影中のカレント画像と前記ガイド画像を前記表示画面に重ねて表示する重ね合わせ画像作成手段と、
   撮影ボタンが押下された事を検出したら前記カレント画像を撮影済み画像としてメモリに記憶するカレント画像取得手段とを
   具備することを特徴とする画像撮影装置。
5. 前記ガイド画像作成手段は、前記不足部分に接する前記合成画像の一部として、ユーザ入力された指定エリアを充てることを特徴とする請求項４に記載の画像撮影装置。
6. 前記ガイド画像作成手段は、前記不足部分に接する前記合成画像の一部として、前記不足部分に接するエリアを算出して充てることを特徴とする請求項４に記載の画像撮影装置。

Images