JP2004304801A - 合成パノラマ画像を作成するのに用いられる画像をコンポーズして取り込む際にユーザをガイドする方法及びシステム、並びに、カメラ - Google Patents

Abstract

【課題】パノラマ画像を作成する目的で画像をコンポーズして取り込むときに、直観的と思われるようなガイダンスをユーザに提供する。
【解決手段】合成パノラマ画像を作成するのに用いられる画像をコンポーズして取り込む際にユーザをガイドする方法において、表示シーンを追跡するステップと、表示シーンに対する合成ガイドの適正な位置を決定するステップと、表示シーンのどの部分を取り込むべきか指示する合成ガイド（５０４，６０２，７０４，９０４）であって、実写画面（１２６，３１４）内の表示シーンと一緒に移動するように表示シーンに定着される合成ガイドを、実写画面（１２６，３１４）上に表示するステップとを含む。
【選択図】 図１１

Description

本発明は、包括的にパノラマ・シーケンス・ガイドに関し、さらに詳しくは、合成パノラマ画像を作成するのに用いられる画像をコンポーズして取り込む際にユーザをガイドする方法及びシステム、並びに、カメラに関する。

ＡＰＳ（アドバンスド・フォト・システム）カメラが消費者に一般に使われ始めて以来、パノラマ写真撮影は人気がある。パノラマ画像は、その画像の一方向の寸法（例えば、幅）が、他方向の寸法（例えば、高さ）よりもずっと長い画像である。最近では、デジタルカメラは、消費者の間での人気の点で、ＡＰＳカメラをしのいできたように思われる。デジタルカメラは、また、パノラマ画像を作成するのにも利用されることもある。このような画像は、例えば、数枚の連続する画像をデジタル方式で取り込んで、後で貼り合わせることにより、作成される。それ故、ユーザは、例えば、第１の画像を取り込んで、その取込みシーンの一部を、ビューファインダ又はバックパネル・ディスプレイを通して見ることができるまで、カメラを右にパン（移動）し、次の画像を取込むなどして、一連の画像を用いて全シーンが取り込まれるまで続けることができる。

デジタルカメラを用いてパノラマ画像を作成する上述の方法は、実用的であるとはいえ、この方法は、常に良い結果をもたらすとは限らない。例えば、ユーザが、取込み画像から取込み画像への充分な重なり部分を設けていなければ、全体のシーンの一部が、最終的に作成されたパノラマ画像から欠けていることもある。さらに、ショット毎に、カメラを完全に水平にしておかなければ、パノラマ画像が歪んで見えることもあり、かつ／又は、個々に取り込まれた画像の継目すなわち「合せ目（シーム；seam）」が明白となることがある。

このような問題が発生しないようにするために、現在では、一部のデジタルカメラは、連続する様々なショットをユーザが合成するのに役立つユーザ・インターフェースが与えられたパノラマモードで使用されることがある。このようなユーザ・インターフェースの１つは、第１の画像をパノラマモードで取り込んだ後に、実写画面（live-view screen）（例えば、ビューファインダ又はバックパネル・ディスプレイ）内に表示される垂直線を含む。通常、この垂直線は、ユーザが、次のショットを合成するガイドとして役立つように、画面の側縁（左側縁）から、画面の約３分の１の所に位置づけられる。特に、ユーザは、この垂直線を、このシーンのうち、第１の画像において取り込まれた側縁（例えば、右側縁）に位置を合わせる（揃える）ことがある。このようにカメラを揃えたときに、ユーザが第２の画像を取り込む場合には、後で、適切な「スティッチング（stitching）」プログラムを用いて、これら２枚の画像を貼り合わせるのに充分な重なり部分（例えば、画像幅の約１／３）が、おそらく、これらの画像間に設けられることになろう。

さらに高度な方法では、パノラマモードでカメラを使用するときに、前回取り込まれた画像のゴースト画像を、実写画面内に表示する。前回取り込まれた画像が、この画面の中心からずらされるという点で、その画像の一部だけが表示され（例えば、その画像の３分の１だけが表示される）、また、このリアルタイムで取り込まれたシーンが、その表示された画像を通して見えるように、その画像の一部は、透明であるという点で「ゴースト」画像である。ゴースト画像が与えられる場合には、ユーザは、このゴースト画像が、リアルタイムのシーン中のオブジェクト（対象物；object）と整合した状態で、この表示シーン（viewed scene）に重なるように、カメラを揃えることがある。このようにして、カメラが揃えられると、次の画像が取り込まれる。また、実写画面上でのゴースト画像の位置により、パノラマ画像を作成するのに充分な重なり部分が設けられよう。

上述のユーザ・インターフェース及び方法は、パノラマ画像を作成する目的で画像をコンポーズして取り込むときに、ユーザに何らかのガイダンスを提供するが、おそらく、より直観的と思われるような他のユーザ・インターフェース及び方法が望ましいであろう。すなわち、パノラマ画像を作成する目的で画像をコンポーズして取り込むときに、直観的と思われるようなガイダンスをユーザに提供するのが望ましい。

合成パノラマ画像の作成に用いられる画像をコンポーズして取り込む際に、ユーザを案内するのに利用できるパノラマ・シーケンス・ガイド（panoramic sequence guide）が開示されている。使用時に、このガイドは、表示シーンを追跡し、この表示シーンに対する合成ガイドの適正な位置を決定し、この表示シーンのどの部分を取り込むべきか指示する合成ガイドを実写画面上に表示する。この表示された合成ガイドは、この実写画面内の表示シーンと一緒に移動するように、この表示シーンに固定されている。

パノラマ画像を作成する目的で、ユーザが画像を取り込むのに役立つパノラマ・シーケンス・ガイドが開示されている。さらに具体的に言えば、カメラの実写画面に組み入れて使用すれば、取り込まれて貼り合わされることになっている連続するショットを、さらに正確に合成して揃えることにより、高いアスペクト比（縦横比）のパノラマ画像を形成することができるユーザ・インターフェースが開示されている。

同じ番号が、いくつかの図を通じて、それぞれの対応する部分を表わしている図面を参照する。図１及び図２は、パノラマ・シーケンス・ガイド・システムを取り入れたカメラ１００の一実施形態を示している。これらの図に示されるように、カメラ１００は、デジタル・スチール・カメラから成っていることもある。デジタル・スチール・カメラの実施が、これらの図に示され、かつ本明細書に説明されているが、本明細書に開示されるシステム及び方法は、要望があれば、映画用カメラ及び／又はビデオカメラでも実施される場合がある。

図１に示されるように、カメラ１００は、外部ハウジング１０４で包封された本体１０２を有している。カメラ１００は、さらに、例示としてズームレンズ系を納めたレンズ・バレル１０６も有している。カメラ本体１０２の前部に取り入れられているものは、カメラ１００を把持するのに用いられるグリップ１０８、並びに、カメラ・フォーカスをセットするのに用いられる視覚情報の収集に利用できる窓１１０である。

カメラ１００の最上部には、カメラ・シャッター（図１には示されてない）を切るのに用いられるシャッターボタン１１２が備えられている。シャッターボタン１１２を取り巻くものは、カメラ・モードをセットするために用いられるリング・コントロール（ring control）１１４である。シャッターボタン１１２の近くにあるものは、要望があれば、音声を取り込むのに用いられることがあるマイクロホン１１６である。マイクロホン１１６の隣りにあるものは、薄暗い状態でオブジェクトを照らすために使用できるポップアップ式フラッシュ１２２（引っ込められた状態で示されている）の動作を制御するのに用いられるスイッチ１１８である。

カメラ１００の後部を示す図２を特に参照すると、カメラ本体１０２上にさらに備えられるものは、ビューファインダ１２２である。好ましい構成では、ビューファインダ１２２は、画像の合成に使用でき、かつ取込み画像をユーザに提示するマイクロディスプレイ（図２には示されてない）を組み込んだ電子ビューファインダ（ＥＶＦ）から成っている。これらの画像は、通常、拡大レンズ又は拡大レンズ系を含むビューファインダ１２２の覗き窓１２４から覗くことで、見ることができる。ビューファインダ１２２の下にあるものは、上記マイクロディスプレイのように、ショットを合成して、取込み画像を見直す（ｒｅｖｉｅｗ、レビューする）のに用いられることのあるフラットパネル・ディスプレイ（実写画面）１２６である。一例として、ディスプレイ１２６は、液晶ディスプレイ（ＬＣＤ）から成っている。どんな場合でも、ビューファインダ１２２内に提示される上記マイクロディスプレイ又は他の画面だけでなく、ディスプレイ１２６も、このような画面を用いて、リアルタイムの画像をユーザに提示できるという点で、実写画面と称されることもある。

様々な制御ボタン１２８は、また、カメラ本体１０２の後部にも設けられている。これらのボタン１２８を用いれば、例えば、カメラのセッティングを変更し、ディスプレイ１２６に表示される制御メニューをナビゲートし、ディスプレイ又はビューファインダ１２２に示される画像をスクロールすることができる。カメラ本体１０２の後部は、さらに、可聴情報（例えば、ビープ音や録音される音）をユーザに出すのに用いられるスピーカ１３０と、メモリカードを納めるのに用いられるコンパートメント１３２も含む。

図３は、カメラ１００用の例証アーキテクチャを与えている。この図に示されるように、カメラ１００は、表示シーンの画像を１つ又は複数のイメージセンサ３０２に伝えるレンズ系（レンズシステム）３００を有している。一例として、イメージセンサ３０２は、１つ又は複数のセンサ・ドライバ３０４によって駆動される電荷結合素子（ＣＣＤ）から成っている。次に、センサ３０２により取り込まれたアナログ画像信号は、アナログ・デジタル（Ａ／Ｄ）変換器３０６に供給されて、プロセッサ３０８が処理できる二進コードに変換される。

センサ・ドライバ３０４の動作は、双方向にプロセッサ３０８とやり取りしているカメラ制御インターフェース３１０を通して制御される。レンズ系３００を駆動するために（例えば、フォーカスとズームを調整するため）用いられる１つ又は複数のモータ３１２がインターフェース３１０を通して制御されると共に、オプションとして、電子ビューファインダ（実写画面）３１４やフラットパネル・ディスプレイ１２６もインターフェース３１０を通して制御される。カメラ制御インターフェース３１０を介してプロセッサ３０８に情報を伝えるユーザ・インターフェース３１６の操作により、カメラ１００の動作が調整されることがある。ユーザ・インターフェース３１６は、選択及びコマンドをカメラ１００に入力するのに利用される様々な構成要素から成り、それ故、少なくとも、図２で特定されるシャッターボタン１１２，リング・コントロール１１４，制御ボタン１２８を含んでいる。それ故、このユーザ・インターフェース３１６は、カメラ１００を、パノラマモードに設定するのに用いられることがある。

デジタル画像信号は、カメラ制御インターフェース３１０と、固定（不揮発性）メモリ素子３２０に格納された画像処理システム３１８からの命令により、処理される。次に、処理された画像は、リムーバブル固体素子メモリカード（例えば、フラッシュ・メモリカード）に納められるように、記憶メモリ３２２に格納される場合がある。画像処理システム３１８に加えて、メモリ素子３２０は、さらに、貼り合わされて、合成パノラマ画像を作成することになっている画像をユーザが合成して取込むのに役立つ１つ又は複数のユーザ・インターフェースの生成に用いられるパノラマ・シーケンス・ガイド・システム３２４（ソフトウェア又はファームウェアとして）も含んでいる。このシステム３２４の動作は、図４〜図１１を参照して、さらに詳しく論じられる。画像処理システム３１８及びパノラマ・シーケンス・ガイド・システム３２４に加えて、メモリ素子３２０は、パノラマモードで画像を取込むときにユーザにガイダンスを与えるパノラマ・シーケンス・ガイド・システム３２４を用いて、合成ガイドの生成及び表示を容易ならしめる目的で、表示シーンを追跡し易くする動的追跡システム（ダイナミック・トラッキング・システム）３２６も含んでいる。

カメラ１００は、パーソナルコンピュータ（ＰＣ）又はプリンタのような他の装置に画像をカメラ１００からダウンロードするのに用いられ、同様に、画像又は他の情報をカメラ１００にアップロードするのにも利用できるＵＳＢ（universal serial bus）コネクタなどのようなデバイス・インターフェース３２８も有している。

パノラマ・シーケンス・ガイド・システム３２４が設備される場合には、最終的には貼り合わされて合成パノラマ画像を形成することになる画像を、どのようにコンポーズして、取り込むかに関して、ユーザを案内（ガイド）することができる。以下の説明では、ユーザを案内する異なる方法をいくつか述べる。図４〜図５Ｅ、及び図６に関して述べられる第１の方法では、画像順に取り込まれることになっている次のショットを特定する合成ガイドがユーザに提供される。パノラマ画像を作成する目的で、次に、実写画面上の表示シーンのどの部分を取り込むべきかについて正確に示すために、上記ガイドを、このシーンに重ねる。これらのガイドを、このシーンに「固定」して、この表示シーンに対するガイドの位置が決定されさえすれば、カメラをパンすると、このガイドが、この実写画面内の表示シーンと一緒に「移動」することになり、それにより、画像を合成し、かつ取り込むプロセスから、当てずっぽうをなくするようにしている。それ故、カメラは、カメラをどこに向けるか、また表示シーンのどの部分を取り込むか、正確に識別する。

被写体シーンに対して合成ガイド（コンポジション・ガイド;composition guide）を固定し易くするために、被写体シーンは、パノラマ・シーケンスの第１の画像の取込み直後の時点から、パノラマ・シーケンスの最後の画像が取り込まれたことがユーザにより示される時まで、或いは、カメラがパノラマモードから切り替えられる時まで、動的追跡システム３２６によって、リアルタイムで追跡される。この追跡の間に、表示シーンの解像度の比較的に低い画像を、高速に次々に取り込んで、比較し、カメラの向きに対する表示シーン中のオブジェクトの「移動」を決定する。それ故、パノラマ・シーケンスの第１の画像を取り込んだ後に、ユーザがカメラをパンすると、カメラは、表示シーン中に特定されるオブジェクトが実写画面を横切るときに、それらのオブジェクトを追跡して、それらのオブジェクトがどの方向に移動しているか、またそれらのオブジェクトがどれだけ移動するか決定する。

異なる方法をいくつか使用すれば、表示シーン中のオブジェクトを追跡することができる。このような方法の１つでは、マーカを、表示（及び取込み）画像の上に位置づけ（例えば、実写画面の中心に）、この位置のＸ座標とＹ座標を記録する。その後の画像が、追跡プロセスの間に取り込まれると、動的追跡システム３２６によって相関計算が行われて、前回取り込まれた画像に対する現在取り込まれている画像の方向及び距離の変化を決定する。これらの画像間の移動の方向及び距離がわかりさえすれば、Ｘ座標とＹ座標が異なる新たなマーカが決定される。このような新たな座標値は、現時点の画像中のオリジナル・オブジェクトの新たな位置である。次に、このオブジェクト・マーカを、この新たな座標位置まで移動させる。

追跡の間に取り込まれたそれぞれの新たな画像に関して、上述のプロセスが続く。その結果もたらされる意図は、この画像のうち、マーカを位置づけたオリジナル・オブジェクトをマーカが追跡することである。マーカ、及びそれ故にオブジェクトが、この実写画面から「退去」しても、新たなオブジェクトが、同様に識別されて、追跡されるという点で、このオブジェクトのＸ座標とＹ座標をなおも追跡できる。言い替えれば、追跡されるオブジェクトとオブジェクトとの関係（例えば、距離と方向）がわかる。従って、カメラをパンすると、現時点の表示シーンから遠ざかる方向のシーンのいくつかの画面幅をなおも追跡できるように、上記の関係が用いられることがある。画面から退去したオブジェクトが、この実写画像エリア内に戻るときには、そのマーカを、このオブジェクト上で、再度、使用できるようにすることもある。

前述の追跡法は、参照にためにその全体が本明細書の開示に組み入れられている米国特許第５，６４４，１３９号に述べられた追跡法と、実施面で類似している。この特許に述べられている方法は、ハンドヘルド・スキャニング装置で実施されるが、この方法は、特定されたオブジェクトが、その取込み装置の移動の間に、それらのオブジェクトの位置を、複数の画像を横切って相関させることで、追跡されるという点で、この追跡法と類似している。しかしながら、ページ上のオブジェクトではなくて、その表示シーンのオブジェクトが追跡される。

図４においては、取込まれることになっており、かつ、デジタル画像を貼り合わせて合成パノラマ画像を形成することになっている例証被写体４００が示されている。例証を目的として、被写体４００、すなわち長い建物は、この被写体を取り込むのに用いられそうなズーム・セッティングにおいて、長さがほぼ２倍幅の実写画面幅であると仮定する。図５Ａ〜図５Ｅは、パノラマ画像を作成する目的で、画像を合成し、取り込む際に、ユーザを案内する第１の方法を示している。これらの図では、カメラは、ユーザにより、例えばユーザ・インターフェース３１６（例えば、図２のボタン１２８）を操作することによって、パノラマモードにセットされていると仮定する。

図５Ａから始めて、ユーザは、被写体４００の一部が、実写画面５００内に表示されるように、カメラの向きとズームを操作することにより、取り込まれるべきパノラマ・シーケンスの第１の画像をコンポーズ（compose；構築）する。例示として、被写体４００のこの部分は、被写体４００の端部、この場合には、建物の最左端である。このコンポジション（composition）では、表示シーンの一部が取り込まれるであろう。通常、この部分は、実写画面５００内に表示されたシーン全体よりも小さいであろう。この部分は、例えば、このシーンのうち、枠５０２内の部分から成ることがある。この枠５０２は、表示シーンのうち、取り込むことのできる部分を単に読取り装置に知らせるためにだけ、図５Ａに示されているが、この枠は、撮影者が取り込もうとしている内容を示すものとして、要望があれば、実写画面５００上でユーザに実際に示すことができる。

パノラマ・シーケンスの第１の画像がコンポーズされると、ユーザは、シャッターボタン（図１の１１２）を押して、この画像を取り込む。この時点で、上述の追跡プロセスが開始し、また動的追跡システム３２６は、高速に収集された画像を比較することにより、オブジェクトを特定し、それらのオブジェクトの移動を追跡し始める。さらに、このとき、カメラの様々なセッティングをロックすることがある。例えば、第１の取込み画像と、次にくる画像との間の連続性を維持するために、フォーカス，露出，ホワイト・バランス，及びズーム・セッティングは、全て、最終画像が取り込まれたことがユーザにより示されるまで、或いは、カメラをパノラマモードから切り替えるまで、ロックされることがある。オプションとして、この取込み画像は、その画像が、貼り合わされてパノラマ画像を形成する所与の一連の画像中の最初に取り込まれたものであることを識別するメタデータと一緒に、メモリ３２２（図３参照）に格納される。さらに、パノラマ画像を作成するときに、上記の貼り合わせプロセスに役立つように、その画像と一緒に、座標（例えば、Ｘ座標とＹ座標）も格納される場合がある。

カメラのセッティングのロック及び追跡の開始とほぼ同時に、少なくとも１つの合成ガイド５０４から成るユーザ・インターフェースが、実写画面５００内に表示される。図５Ｂに示されるように、実写画面５００の両側にそれぞれ１つずつ位置づけられている２つの合成ガイド５０４が表示されることもある。別法として、これら２つのガイド５０４のうち、１つだけが表示されることがある。何れにしても、このとき、カメラは、水平シーケンスで、一連の画像を取り込む準備ができている。水平シーケンスは、デフォルトで使用可能となってよく、或いは、ユーザにより選択されてもよい。さらに他の別法では、垂直の一連の画像が取り込まれる場合がある。この場合には、実写画面５００の上端と下端に、１つ又は複数の合成ガイド６０２（図６参照）が付けられる。垂直パノラマ画像取込みガイダンスは、水平パノラマ画像取込みガイダンスと一緒に、或いは、水平パノラマ画像取込みガイダンスを除外して、デフォルトで、又はユーザの選択により使用可能となることがある。別法として、カメラの移動方向（すなわち、パンする方向）は、どのようなタイプのパノラマ画像を取り込むべきか識別するために、追跡システムで検知されることもある。しかしながら、垂直画像取込みガイダンスと水平画像取込みガイダンスが両方とも同時に付けられる場合には、垂直合成ガイドと水平合成ガイドの重なりにより、混乱が起きることがある。それ故、この説明を目的として、水平画像取込みガイダンスだけが２つの合成ガイドを用いると想定する。

さらに図５Ｂにおいて、合成ガイド５０４は、通常、カメラ１００で取り込まれる画像のサイズに等しいか、或いは、それと同様なサイズである長方形として形成されている。それ故、合成ガイド５０４は、普通では、図５Ａに示される枠５０２のサイズに近い。しかしながら、取り込まれる次のショットを概ね示す他のサイズが用いられる場合もあることに留意する。合成ガイド５０４が、被写体４００のうち、次に取り込まれることになっている部分を示す（例えば、輪郭を描く）という点で、ユーザが、当初取り込まれたシーンから、まだカメラを移動させていなければ、それぞれの枠５０２の一部だけが、実写画面５００内に見える。好ましくは、合成ガイド５０４は、前回取り込まれたシーンの一部（例えば、その約１／４〜約１／３）の上に重なるように、位置づけられる。このような場合、ユーザが、合成ガイド５０４で示唆される次の画像を取り込むという前提で、可成り大きい画像重なり部分Ｏが与えられる。

図５Ｂに示されるように、２つの合成ガイド５０４が与えられるという前提で、両頭矢印の形式の標識５０６を使用して、どのパノラマ画像が求められるかに応じて、カメラ１００を右か左の何れかの方向にパンすることをユーザに伝えることがある。図５Ｃの矢印５０８で指示されるように、ユーザが、カメラ１００を右にパンすると仮定すると、実写画面５００は、被写体４００上をスキャンする。図５Ｃから明らかになるように、カメラを右にパンすると、表示被写体４００は、予想される通りに、左方に画面５００を「横切る」。しかしながら、さらに、上述のオブジェクト追跡の実施により、また、合成ガイド５０４がシーンに「定着（固定」」されるという事実により、少なくとも１つの合成ガイド５０４は、被写体４００とともに、左方へ移動する。オプションとして、右方へパンする動作が、動的追跡システム３２６により検知されると、図５Ｃに示されるように、左側の合成ガイド５０４（図５Ｂ参照）が実写画面５００から外される。しかしながら、別法として、双方のガイド５０４は、留まることがあり、それにより、要望があれば、ユーザが、パノラマ画像を、最初に取り込まれた画像（図５Ａ参照）の境界線を超えて左方に広げることができるようにする。

ユーザが引き続きパンすることにより、合成ガイド５０４は、最終的には、図５Ｄに示されるように、実写画面５００に整合した状態（位置合わせされた状態）となる。合成ガイド５０４が、このように揃える（すなわち、中心を合せる）ときに、次の画像が取り込まれることがある。この状態は、合成ガイド５０４の色が変わる（例えば、白から緑へ）か、又は、合成ガイド５０４のサイズ又は明るさが増すことで、或いは、カメラが、カメラのスピーカ（図２の１３０）から可聴指標（例えば、ビープ音）を出すことで、ユーザに知らされる。ともかく、ユーザは、そのとき、シャッターボタン（図２の１１２）を押して、パノラマ・シーケンスにおける第２の画像を取り込む。

この時点で、カメラは、パノラマ・シーケンスにおける次の画像を取り込む準備ができており、それ故、図５Ｅに示されるように、第３の画像の合成を示す合成ガイド５０４を表示する。ユーザが、右へパンすることに決めているという点で、ただ１つの合成ガイド５０４が付けられて、合成ガイド５０４が、実写画面５００の右側に位置づけられる。さらに、別の画像が取り込まれることになっている場合には、ユーザに右方へパンするように指示する標識５１０が表示されることもある。しかしながら、この例では、被写体４００のパノラマ画像を作成するのに、２枚の画像で充分であり、それ故、ユーザは、この順序の最後の画像を取り込んだことを示す（例えば、適切なボタンを押して）か、或いは、単に、このカメラをパノラマモードから切り替えるだけである場合もある。

図６は、ユーザが、直立の被写体６００（この例では、高い建物）の画像を合成し、取り込むのに役立つように利用される第１のガイダンス法の一例を与えている。この図に示されるように、被写体６００の第１の画像を取り込んだ後で、取り込まれる次の画像に対する垂直合成ガイド６０２を、実写画面５００の上端と下端に付ける。さらに、両頭矢印の形式の標識６０４を表示すれば、取り込まれるシーンに応じて、ユーザが、上方か、又は下方へパンする場合があることを、ユーザに伝えることができる。

図７Ａ〜図７Ｄは、パノラマ画像を作成する目的で画像をコンポーズして取り込む際に、ユーザを案内する第２の方法を描いている。図７Ａから始めると、ユーザは、図５Ａに関して上に述べられるものと同様なやり方で、パノラマ・シーケンスの第１の画像をコンポーズする。パノラマ・シーケンスの第１の画像がコンポーズされると、ユーザは、シャッターボタン（図１の１１２）を押して、画像を取り込む。次に、第１のガイダンス法の場合と同様に、動的追跡システム３２６は、この表示シーン内のオブジェクトを追跡し始め、カメラの様々なセッティングをロックし、この取込み画像に関係するメタデータを格納する。

第２のガイダンス法では、合成ガイドは、当初、表示されない。しかしながら、両頭矢印のような標識７００を、図７Ｂに示されるように表示して、カメラを右か左の何れかの方向にパンすることをユーザに伝える場合がある。この場合も、図７Ｃの矢印７０２で指示されるように、ユーザがカメラを右方へパンすると仮定すると、表示被写体４００は、左方に画面５００を「横切る」。カメラを、このようにパンすると、合成ガイド７０４も、実写画面５００内に表示される。上に述べられた合成ガイド５０４のように、合成ガイド７０４は、この表示画面に定着される。しかしながら、この場合には、合成ガイド７０４は、取り込まれることになっている次の画像ではなく、前回取り込まれた画像を表わしている。合成ガイド７０４は、前回取り込まれた画像の輪郭線を正確に定めるように位置づけられることがあるが、より好ましくは、この合成ガイドは、取り込まれた画像を重ね易くするために、ずらされるように位置づけられる。例えば、このようなずれは、当初取り込まれたシーンの幅の約１／４〜約１／３から成ることもある。

オプションとして、固定（実写画面５００に対して）位置合せガイド７０６も、ユーザが次のショットを合成するのに役立つように、実写画面５００内に表示されることがある。図７Ｃに示されるように、位置合せガイド７０６は、例えば、実写画面５００の側縁に置かれた２本の平行垂直線から成ることもある。引き続きパンした後に、合成ガイド７０４の最右端の垂直側は、位置合せガイド７０６上に整列（合致）する。例えば、この位置合せガイドが２本の垂直線から成っている場合には、合成ガイド７０４の最右端の垂直側は、図７Ｄに示されるように、これらの垂直線の間の中心に置かれて、正確な合成（一致）を示すことがある。この場合も、正確な合成は、視覚的に、又は聴覚的に、ユーザに伝えられる（例えば、色又は明るさの変化、ビープ音の放出など）。このショットが、図７Ｄに示されるように合成されるときには、カメラ１００は、後において画像を貼り合わせ易くする程度まで、前回取り込まれたシーンに重なる画像を取り込むように制御されることもある。

第３のガイダンス法では、パノラマ・シーンのエンドポイントは、ユーザによって選択され、次に、カメラ１００は、これらのエンドポイントで画成されたパノラマ画像を得るために、どのような画像を取り込むべきか決定する。この技法の一例は、図９Ａ〜図９Ｆに関して述べられている。次の説明から明らかになるように、この方法は、比較的に長いパノラマ画像、又は３６０°の映像までも作成することになっているときに、特に有用である。なぜなら、この技法を用いれば、表示シーンに対して位置がずれている一連の画像の取込みを避けることができるからである。このような結果は、最初に取り込まれた画像がシーンと正確に合致していなかった（例えば、完全には水平ではない）ときに、発生することもある。最初に取り込まれた画像に対して、これらのショットの残りの部分を揃える場合には、特に、多くの画像を用いて、パノラマ画像を合成する場合に、このような誤差がさらに明らかになることがある。

図８を参照すると、取り込まれるべき比較的に長い被写体８００が示されている。例証を目的として、被写体８００、すなわち山脈は、この被写体を取り込むのに用いられそうなズーム・セッティングにおいて、長さがほぼ４倍幅又は５倍幅の実写画面幅であると想定される。この山脈の２つの峰には、図９Ａ〜図９Ｆにおいて、これらの峰の識別を簡単にするために、「Ａ」と「Ｂ」の符号が付けられている。

図９Ａにおいては、ユーザは、被写体８００の一部が、実写画面５００に表示されるように、カメラの向きとズームを操作することにより、取り込まれるべきパノラマ・シーケンスの第１の画像をコンポーズする。この例では、被写体８００のこの部分は、この山脈の最左端である。このパノラマ・シーケンスの第１の画像がコンポーズされると、ユーザは、この画像を、作成されるべきパノラマ画像の第１のエンドポイントとして指定するか、又は「セット」する。例示として、これは、この機能に関連するカメラ上のボタンを選択することによって、或いは、カメラが適切なパノラマモードにあるときに、シャッターボタンを半分押すことによって、達成できる。画像は、オプションとして、セッティング・プロセスと同時に取り込まれて、格納されることもあるが、以下でさらに詳しく論じられる通り、不揃い（不整合）を補正できるようにするために、好ましくは、このような画像をどれも格納しない。

この時点で、追跡プロセスが始まり、カメラの様々なセッティングがロックされ、適切なメタデータが格納される。図７Ａに関して上に述べられた第２のガイダンス法の場合と同様に、合成ガイドは、当初示されないが、ただし、カメラ１００を右か左の何れかの方向にパンすることを指示するために、標識９００が表示されることがある。図９Ｂの矢印９０２で指示されるように、ユーザが、カメラ１００を右にパンすると仮定すると、表示被写体８００は、実写画面５００を「横切り」、かつ、動的追跡システム３２６により追跡される。取り込まれるべきシーンの反対側の端に達すると（図９Ｃ参照）、ユーザは、この表示画像を、作成されるべきパノラマ画像の第２のエンドポイントとしてセットできる。この場合も、これは、所与のボタンを選択することによって、或いは、シャッターボタンを半分押すことによって、達成できる。オプションとして、第１のエンドポイントと第２のエンドポイントでそれぞれ得られるフォーカス，露出，及びホワイト・バランスのセッティングの平均は、合成パノラマ画像を作成するのに用いられる連続画像を取り込むセッティングとして使用できる。

次に、カメラ１００は、図９Ｄに示されるように、取り込まれるべき第１の画像と第２の画像の合成を示す合成ガイド９０４を表示する。パノラマ画像の第１の端及び第２の端の座標を特定した後に、パノラマ・シーケンス・ガイド・システム３２４は、取り込まれるべきことが決定されたパノラマ画像を適正に取り込むように、水平に揃えられた合成ガイド９０４を表示する。それ故、図９Ｄに示されるように、カメラ１００が、この水平方向に対して位置がずれるときには、合成ガイド９０４は、実写画面５００に対して傾斜しているように見えるであろう。この現象は、図１０に図解されている。この図に示されるように、第１の端の画像１０００が、第２の端の画像１００２に対して傾斜する場合（スキュー状態の場合）には、パノラマ・シーケンス・ガイド・システム３２４は、これら２つのエンドポイント間に正しく揃えられた仮想パノラマ画像１００４に合成ガイド９０４が位置合わせ（整列）されるように、合成ガイド９０４の正確な配置を、動的追跡システム３２６からの助けをかりて決定する。仮想パノラマ画像１００４の位置は、第１のエンドポイント（例えば、その中心点１００６により特定されるもの）と、第２のエンドポイント（例えば、その中心点１００８により特定されるもの）との間に広がり、かつ、それらのエンドポイントを包含する、取り込まれるパノラマ画像を表わす長方形エリアを画成することによって、簡単に決定できる。それ故、ユーザの誤りからもたらされる不揃いは、結果として得られるパノラマ画像には悪影響を及ぼさないこととなるであろう。

図９Ｄにおいて、合成ガイド９０４の傾斜した向きにより、ユーザに、不揃いが通知されて、そのような不揃いを補正する方法に関して、指示が与えられる。それ故、ユーザは、図９Ｅに示されるように、実写画面５００を、合成ガイド９０４に対して平行に揃えるように、カメラを方向修正することもある。

このシーンが正しく合成される（組み合わされる）と、シャッターボタン（図１の１１２）は、第１の画像（パノラマ画像の第２の端にある）を取り込むように、完全に押し込まれることもある。次に、パノラマ・シーケンスにおいて取り込まれる次の画像の位置を示す新たな合成ガイド９０４と、方向標識９０６が、図９Ｆに示されるように表示される。次に、操作は、最後の画像（パノラマ・シーンの第１の端にある）を取り込むまで、上述のやり方で続く。

図１１は、貼り合わせてパノラマ画像を作成することになっている画像をユーザが合成し、取り込むのに役立てる際に、パノラマ・シーケンス・ガイド・システム３２４及び動的追跡システム３２６が行なう動作を要約している。便宜上、パノラマ・シーケンス・ガイド・システム３２４及び動的追跡システム３２６は、パノラマ・システムと呼ばれる。図１１のフローチャートにおいて、プロセス・ステップ又はブロックは、このプロセスにおける特定の論理機能又はステップを実施する１つ又は複数の実行命令を含むモジュール，セグメント，又はコードの一部を表わすことがある。特定の例証プロセス・ステップが述べられているが、代替実施も可能である。さらに、ステップは、関係する機能に応じて、ほぼ同時に、或いは、逆の順序で行われることも含め、図示又は説明された順序とは別の順序で、実行される場合もある。

ブロック１１００から始めて、パノラマ・システムを起動する。通常、この起動は、ユーザが、カメラ上で、適切なパノラマモードを選択するときに行われる。次に、ブロック１１０２に示されるように、パノラマ・システムが、或る形式のユーザ入力を受け取る。この受け取られた入力は、用いられている特定のガイダンス法によって決まることがある。例えば、第１のガイダンス法と第２のガイダンス法では、ユーザの処置は、ユーザが、パノラマ・シーケンスの第１の画像をコンポーズし、取り込むステップを含む。第３のガイダンス法では、ユーザの処置は、パノラマ・シーケンスの第１のエンドポイントをセットするステップを含む。

次に、ブロック１１０４において、上に述べられたやり方で、表示画像を追跡する。この時点において、フロー（流れ）は、ユーザが画像を取り込んだかどうかによって決まることがある（判断ブロック１１０６参照）。画像を取り込まなかった場合には、ブロック１１０２におけるユーザ入力は、ユーザが第１のエンドポイントをセットすることであったかもしれない。この場合、第２のエンドポイントをセットするように、フローがブロック１１０２に戻る。その一方、画像を取り込んだ場合には、フローは、ブロック１１０８に進み、そのブロックにおいて、このシステムは、表示シーンに対して、少なくとも１つの合成ガイドを適正に位置づけ（位置合わせ）することを決定する。前の説明において示されるように、このステップは、表示シーンの正確な追跡、及び、その関連計算を必要とする。このような決定が下されると、ブロック１１１０に示されるように、少なくとも１つの合成ガイドを、実写画面内に表示する。それぞれのガイダンス法に関して、上に述べられるように、この合成ガイドは、カメラを任意の方向にパンすると、表示シーンと一緒に移動するように、この表示シーンに定着（固定）されている。

ユーザが、次のショットをコンポーズした後に、ユーザは、シャッターボタンを押すことがある。ブロック１１１２に示されるように、このシステムは、画像を取り込んだことを検知する。この時点からのフローは、この取込み画像が、パノラマ・シーケンスにおける最後の画像であったかどうか、或いは、他の画像が取り込まれることになっているかどうかによって決まる。判断ブロック１１１４において、他の画像が取り込まれることになっている場合には、フローは、ブロック１１０８に戻り、少なくとも１つの新たな合成ガイドの位置づけを決定する。しかしながら、この取込み画像が、パノラマ・シーケンスの最後の画像であった（ユーザにより指示される通り）場合には、この取込みセッション（少なくとも、このパノラマ・シーケンスに関して）用のフローは、終了する。

以上を要約すると、次の通りである。すなわち、本明細書では、合成パノラマ画像を作成するのに用いられるように、コンポーズ及び取り込み画像においてユーザをガイド（案内）するために利用され得るパノラマ・シーケンス・ガイドが開示されている。使用時には、このパノラマ・シーケンス・ガイドは、表示シーンを追跡し、表示シーンに対する合成ガイド（５０４，６０２，７０４，９０４）の適正な位置を決定し、表示シーンのどの部分を取り込むべきかについての指示を提供する合成ガイドを実写画像上に表示する。

本発明の特定の実施形態が、例証の目的で、上の説明及び図面に詳しく開示されてきたが、併記の特許請求の範囲に記述される本発明の範囲から逸脱しなければ、本発明の変形及び変更を実行できることが、当業者には理解されよう。

ソフトウェア及び／又はファームウェアの様々なプログラムが、上に示されてきた。これらのプログラムは、任意のコンピュータ関連のシステム又は方法により、或いは、そのようなシステム又は方法に関連して用いられる任意のコンピュータ読取り可能媒体に格納されることもある。本明細書に関連して、コンピュータ読取り可能媒体は、コンピュータ関連のシステム又は方法により、或いは、そのようなシステム又は方法に関連して用いられるプログラムを含み或いは格納することができる電子式，磁気式，光学式，又は他の物理的なデバイス又は手段である。これらのブログラムは、命令実行のシステム，装置，又はデバイスから命令を取り出して、それらの命令を実行することができるコンピュータ・ベースのシステム，プロセッサ内蔵システム，又は他のシステムのように、この命令実行のシステム，装置，又はデバイスにより、或いは、そのようなシステム，装置，又はデバイスに関連して用いられる任意のコンピュータ読取り可能媒体に組み込まれることもある。「コンピュータ読取り可能媒体」という語は、この命令実行のシステム，装置，又はデバイスにより、或いは、そのようなシステム，装置，又はデバイスに関連して用いられるコードを格納するか、やり取りするか、伝播するか、又は移送することができる任意の手段を包含する。

直観的（直覚的）なパノラマ・シーケンス・ガイドを組み入れたカメラの一実施形態の前面斜視図である。 図１のカメラの背面図である。 図１及び図２に示されるカメラを図式的に描いた一実施形態のブロック図である。 パノラマ画像の被写体として取り込まれるべき被写体であって、かつ利用される第１の例証被写体の略図である。 パノラマ画像を作成する目的で画像をコンポーズして取り込む際に、ユーザをガイド（案内）する方法の第１の実施形態において表示されたシーン及びユーザガイドを示す、図１〜図３のカメラの実写画面を図式的に描いた図である。 図５Ａに示す状態の後におけるシーン及びユーザガイドを示す図である。 図５Ｂに示す状態の後におけるシーン及びユーザガイドを示す図である。 図５Ｃに示す状態の後におけるシーン及びユーザガイドを示す図である。 図５Ｄに示す状態の後におけるシーン及びユーザガイドを示す図である。 直立の被写体のパノラマ画像を作成することに関連して、図５Ａ〜図５Ｅに示される方法により表示されたシーン及びユーザガイドを示す、図１〜図３のカメラの実写画面を図式的に描いた図である。 パノラマ画像を作成する目的で画像をコンポーズして取り込む際に、ユーザを案内する方法の第２の実施形態において表示されたシーン及びユーザガイドを示す、図１〜図３のカメラの実写画面を図式的に描いた図である。 図７Ａに示す状態の後におけるシーン及びユーザガイドを示す図である。 図７Ｂに示す状態の後におけるシーン及びユーザガイドを示す図である。 図７Ｃに示す状態の後におけるシーン及びユーザガイドを示す図である。 パノラマ画像の被写体として取り込まれるべき被写体であって、かつ利用される第２の被写体の略図である。 パノラマ画像を作成する目的で画像をコンポーズして取り込む際に、ユーザを案内する方法の第３の実施形態においてシーン及びユーザガイドを示す、図１〜図３のカメラの実写画面を図式的に描いた図である。 図９Ａに示す状態の後におけるシーン及びユーザガイドを示す図である。 図９Ｂに示す状態の後におけるシーン及びユーザガイドを示す図である。 図９Ｃに示す状態の後におけるシーン及びユーザガイドを示す図である。 図９Ｄに示す状態の後におけるシーン及びユーザガイドを示す図である。 図９Ｅに示す状態の後におけるシーン及びユーザガイドを示す図である。 表示シーン又は前回識別されたシーン合成に対するカメラの不揃いを、図９Ａ〜図９Ｆの案内する方法を用いて補正することができるやり方を示す図である。 貼り合わせてパノラマ画像を作成することになっている画像をユーザがコンポーズして取り込むのに役立てる際に、パノラマ・シーケンス・ガイド・システムと動的追跡システムの動作の一実施形態を示すフローチャートである。

符号の説明

１００ カメラ
１２６ フラットパネル・ディスプレイ（実写画面）
３１４ 電子ビューファインダ（実写画面）
３０８ プロセッサ
３２０ メモリ
３２４ パノラマ・シーケンス・ガイド・システム
３２６ 動的追跡システム
５０４，６０２，７０４，９０４ 合成ガイド

Claims (10)

1. 合成パノラマ画像を作成するのに用いられる画像をコンポーズして取り込む際にユーザをガイドする方法であって、
   表示シーンを追跡するステップと、
   前記表示シーンに対する合成ガイドの適正な位置を決定するステップと、
   前記表示シーンのどの部分を取り込むべきか指示する合成ガイドであって、実写画面内の前記表示シーンと一緒に移動するように前記表示シーンに定着される合成ガイドを、前記実写画面上に表示するステップと、
   を含むことを特徴とする方法。
2. 前記表示シーンを追跡するステップは、
   マーカを表示シーン上に位置づけるステップと、
   その位置の座標を記録するステップと、
   相関計算を行って、前回表示されたシーンに対する、現在表示されているシーンの方向及び距離の変化を決定するステップと、
   を含むことを特徴とする請求項１に記載の方法。
3. 合成ガイドの前記適正な位置を決定するステップは、
   前回取り込まれたシーンの位置を決定するステップと、
   前記シーンに対する前記ガイド用の位置を決定するステップと、
   を含むことを特徴とする請求項１に記載の方法。
4. 前記合成ガイドの前記適正な位置を決定するステップは、
   取り込まれるべきシーンの位置を決定するステップと、
   前記シーンに対する前記ガイド用の位置を決定するステップと、
   を含むことを特徴とする請求項１に記載の方法。
5. 前記合成ガイドを表示するステップは、前回取り込まれたシーン及び取り込まれるべきシーンのうちの少なくとも１つを示すガイドを表示するステップを含むことを特徴とする請求項１に記載の方法。
6. 合成パノラマ画像を作成するのに用いられる画像をコンポーズして取り込む際にユーザをガイドするシステムであって、
   表示シーン中のオブジェクトを識別し、かつ、実写画面に対して前記オブジェクトの移動を追跡するために、前記表示シーンを追跡するように構成されている動的追跡システムと、
   前記動的追跡システムから情報を受け取り、前記表示シーンに対する合成ガイドの適正な配置を決定し、さらに、前記実写画面内の前記表示シーンと一緒に移動するように前記表示シーンに対して定着される前記合成ガイドを前記実写画面上に表示して、前記表示シーンのどの部分を、一連のシーンにおいて次に取り込むべきかユーザに指示することにより、前記パノラマ画像を作成するのに使用できる画像を取り込むように構成されているパノラマ・シーケンス・ガイド・システムと、
   を備えることを特徴とするシステム。
7. 前記動的追跡システムが、マーカを表示シーン上に位置づけ、その位置の座標を記録し、相関計算を行って、前回表示されたシーンに対する、現在表示されているシーンの方向及び距離の変化を決定するように構成されていることを特徴とする請求項６に記載のシステム。
8. 前記パノラマ・シーケンス・ガイド・システムは、取り込まれたか、或いは取り込まれるべき画像を示す長方形を表示するように構成されていることを特徴とする請求項６に記載のシステム。
9. 前記パノラマ・シーケンス・ガイド・システムは、取り込まれたか、或いは取り込まれるべき画像に対してずらされる合成ガイドを表示するように構成されていることを特徴とする請求項６に記載のシステム。
10. 実写画面と、
    プロセッサと、
    動的追跡システム及びパノラマ・シーケンス・ガイド・システムを有するメモリと、
    を備え、
    前記動的追跡システムは、前記実写画面内に表示可能なシーン中のオブジェクトの、前記実写画面に対する移動を識別できるように、前記シーンを追跡することができ、
    前記パノラマ・シーケンス・ガイド・システムは、前記表示可能なシーンと一緒に移動するように前記シーンに対して定着され、かつ、前記表示シーンのどの部分を取り込むべきかユーザに指示する合成ガイドを、前記実写画面上に表示できること、
    を特徴とするカメラ。

Images