JP2005236979A - 画像のキャプチャー - Google Patents

Abstract

【課題】画像のキャプチャーを容易にする。
【解決手段】画像キャプチャー装置であって、装置のパノラマ掃引を用いてキャプチャーされた画像を処理するパノラマモードを有し、そのモードでは、ユーザが見るように提示されるキャプチャー可能な画像の範囲が、意図される掃引軸の横方向に制限される、画像キャプチャー装置である。
【選択図】なし

Description

本発明は、画像のキャプチャーの分野に関する。

［優先権の主張］
本件出願は、そのすべてを引用することにより本明細書の一部をなすものとする、２００４年１月３０日に出願された「IMAGE CAPTURE」と題する同時係属の英国特許出願ＧＢ０４０１９９４．９に対する優先権を主張する。

［背景］
被写体またはシーンのパノラマ画像をキャプチャーしたり生成したりするのを可能にするさまざまな方法が知られている。これらには、例えば３６０°パノラマを製作することができる高価な専門的システムから、最終的なパノラマ画像を生成するために複数のキャプチャーされた画像を「縫い合わせる（stitch）」方法まである。

かかる縫い合せ技法は、カメラやビデオカメラ、デジタルや非デジタル、あるいは、他の任意の適切な装置等の画像キャプチャー装置を使用して取得された画像のシーケンスやビデオシーケンスに適用することができ、かかる技法は、最終的なパノラマ画像を提供するために、フレームを正確に縫い合わせる（または重ねる）ことができるように、隣接した画像フレームの十分なオーバーラップに依存している。しかしながら、このオーバーラップを確実にするためには、画像キャプチャー装置を用いてパノラマ生成に使用される画像のシーケンスをキャプチャーする時、撮影者側に特段の操作が必要である。

ユーザが、画像縫い合せシステムで使用する画像のシーケンスを提供する目的で、隣接する画像を位置合せするのを支援するために、多数の支援手段が提供されてきた。例えば、先にキャプチャーされた画像の半分を、電子ビューファインダーに示し、現ビューファインダー画像の上に重ねることができる。例えば、米国特許第５，６８２，１９７号では、ユーザがフレームを位置合せするのを支援するために、ビューファインダーにマーカを使用することが記載されている。

上記フレーミング支援手段は、パノラマ画像を生成する目的でシーケンスの隣接する画像フレーム間のオーバーラップを判断するためには有用であるが、フレームのシーケンスにわたって画像キャプチャー装置が垂直方向にずれるは防止できない。これは、パノラマ画像を生成するために複数の画像を連続してキャプチャーする場合の一般的な問題であるが、それは、撮影者には、装置を移動させる際に所望のパンの方向からそれて曲線状の経路を辿ってしまうという自然な傾向があるためである。

図１は、既知の技法を使用して複数のキャプチャーされた画像１０２を（手動でまたは自動的に）縫い合わせることにより取得されたパノラマ画像１００の例である。図１は、かかる画像のシーケンスが使用される場合にパノラマ画像を生成することに伴う垂直方向のずれの問題を示す。より詳細には、パノラマを構成する画像のシーケンスをキャプチャーするために使用される装置を左から右に移動する際に、画像フレーム毎にわずかに上方にも移動したことが明らかである。より詳細には、装置のパンすなわち掃引の方向に対して略垂直あるいは横の方向にわずかに移動している。

図１のエリア１０３、１０４は、画像データのないブランク画像エリアである。より詳細には、図１で行われたように画像のシーケンスからパノラマ画像が生成される場合、シーケンスをキャプチャーするために使用された画像キャプチャー装置のずれにより、パノラマを画定する矩形エリアに図１のエリア１０３、１０４等のブランクエリアが存在することになる。この問題に対する１つの解決法は、図２に示すようなパノラマ２００のような、画像データが欠けたブランクエリアのない完全に画定された矩形パノラマ画像を得るために、生成されたパノラマ画像を切り出す（crop）というものである。図２のパノラマ２００では、ブランク領域のない完全に画定された矩形画像を提供するために、オリジナルパノラマ画像のかなりの部分が切り落とされている。より詳細には、エリア２０１、２０３は、ブランク領域２０５、２０７がない完全に画定された画像を作成するために切り落とされたため、パノラマ画像２００から欠落している。これにより、パノラマの重要な部分（例えば山の頂上等）が切り落とされる可能性があり、それはユーザには望ましくない場合がある。

上述したように、生成されたパノラマを切り落とすこと以外に、垂直なずれの問題に対するさらなるいくつかの解決法が知られている。例えば、装置が、キャプチャーされるシーンまたは被写体に対して水平であることを確実にするために、ユーザが画像キャプチャー装置を三脚の上に据え付ける場合がある。これは専門の写真家には許容できることが分かる場合もあるが、家庭の撮影者の大半は、三脚を持ち運ぶようなまたは三脚を据え付けるために時間を費やす態勢にはない。

別法として、画像キャプチャー装置のユーザは、パノラマをキャプチャーする時に、例えばより広角なレンズを使用することによってより広角度を使用する場合があり、それにより結果としてのパノラマ画像を手動により切り出し（crop）を行うことができる。しかしながら、多くのユーザは、広角度を使用する必要に気が付かず、かつ／または出来上がったパノラマ画像を手動で切り出すことを進んでは行わずまたはそのための時間もない。

さらに別法として、ユーザは、切り出しプロセスの結果としてパノラマ画像から欠落した任意のピクセルを、例えば描き加えることにより手動で置き換えようとして、手動の写真編集ツールを使用する場合がある。しかしながら、これは時間のかかるプロセスであり、手動で置き換えられた任意の画像エリアは、略必然的に最初にキャプチャーされた画像エリアに正確に似ることはないため、決して望ましいものではない。

本発明の一態様によれば、画像キャプチャー装置が提供され、当該装置のパノラマ掃引を使用してキャプチャーされた画像を処理するパノラマモードを有し、当該モードでは、ユーザが閲覧するために提示されるキャプチャー可能な画像の範囲が、意図される掃引軸の横方向に制限される。

本発明のさらなる態様によれば、画像キャプチャー装置の使用方法が提供され、本方法は、装置のビューファインダーの視野を、装置のパンの方向に対して略垂直な次元で縮小することを含む。

本発明のさらなる態様によれば、パノラマ画像生成モードを有する画像キャプチャー装置が提供され、本装置は、当該装置が上記パノラマ画像生成モードにある時、ユーザが閲覧するために提示されるキャプチャー可能な画像の範囲を、意図される掃引軸の横方向に制限する手段を具備する。

本発明のさらなる態様によれば、パノラマモードを有する画像キャプチャー装置の使用方法が提供され、当該モードでは、ユーザが閲覧するために提示されるようにされたキャプチャー可能な画像の範囲が、意図される掃引軸の横方向に制限され、本方法は、装置のパノラマ掃引を使用してキャプチャーされた画像を処理することを含む。

本発明をより良く理解するために、かつ本発明を実施することができる方法をさらに強調するために、ここで、添付図面を参照してさまざまな実施形態を例示としてのみ説明する。

この明細書で使用する場合の「具備する、備える、含む」という用語は、述べられている特徴、完全体(integers)、ステップまたは構成要素の存在を記載するものであり、１つ以上の他の特徴、完全体、ステップ、構成要素またはそれらのグループの存在または追加を排除するものではないことを強調しておく。

［詳細な説明］
添付図面の図３ａは、画像キャプチャー装置（図示せず）のビューファインダーの視野３００を縮小することができる実施形態を表す。ビューファインダーは、画像キャプチャー装置において、装置のレンズの視野に現れる画像データを光学的にまたは電子的に示すように動作可能な手段を提供する。より詳細には、図３ａは、画像キャプチャー装置のユーザが装置の光学ビューファインダーを通して見ている時に見える視野を表す。エリア３０１は、装置のユーザから見たビューファインダーの視野である。

図３ａでは、装置のビューファインダーの視野の部分３０１を機械的にマスクして最終のビューファインダー画像を制限することによって、（図３ａに示す方向において）垂直方向のビューファインダーの視野が、エリア３０１によって表される視野まで縮小されている。望ましい場合、ビューファインダーの視野の垂直方向を縮小するのに加えて、またはその代わりとして、水平方向を縮小してもよいことが理解されよう。図３ａに示すような縮小は、画像キャプチャー装置が、画像のシーケンスのキャプチャーの際に実質的に水平方向に掃引される場合に適切である。

このようにして、キャプチャーされた画像データからパノラマ画像を生成した後、キャプチャーされた画像データの関連するエリアにいかなる損失もなく、キャプチャーされる被写体またはシーンの主要な部分をユーザが選択することができるように、装置のビューファインダーの視野が制限される。

ビューファインダーの視野の縮小を実行する方法は、図面に示すものとは異なってもよいことが理解されよう。例えば、ビューファインダーの視野において実質的に非対称な縮小が行われるように、ビューファインダーの視野の一部のみを不鮮明にする（obscure）、あるいは、輝度を低減することによって縮小を行ってもよい。図３ａの光学ビューファインダーの場合、ビューファインダーの視野の一部分の輝度の低減は、装置のレンズとビューファインダーとの間のどこかに例えば透明な液晶ディスプレイ（ＬＣＤ）を挿入することによって行ってもよい。そして、装置の適切にプログラムされたマイクロプロセッサが、ＬＣＤの特定の部分を不透明にして光がＬＣＤを透過してビューファインダーに届かないようにするように動作可能であってもよい。例えば、プロセッサは、ＬＣＤの一部分または複数部分を、不透明なエリアと透明なエリアとが交互にある「チェッカー盤」パターンにするように動作可能であってもよい。このように、ＬＣＤを透過してビューファインダーまで届く光の輝度が有効に低減される。別のパターンも可能である。

別法として、かつ好ましい実施形態では、ビューファインダーの視野の少なくとも一部分を暗くするように動作可能である不透明な１つ以上の要素を使用して、光学ビューファインダーを備えた装置のビューファインダーの視野を制限する。

図３ｂの実施形態では、ビューファインダーの視野を縮小するために、画像キャプチャー装置（図示せず）の画像キャプチャー素子からの画像データを、装置の電子ビューファインダーによって見せる前に処理する。より詳細には、装置のビューファインダーにおいてエリア３０３によって表される有効なビューファインダーの視野を提供するために、垂直方向（図に示す方向において）のビューファインダーの視野を縮小している。装置の画像キャプチャー素子は、例えば、電荷結合素子（ＣＣＤ）であっても、相補型金属酸化膜半導体（ＣＭＯＳ）装置であってもよい。

装置のユーザは、例えば、装置のメニューシステムを介してまたは装置の選択ボタンを使用することにより、ビューファインダーの視野を縮小する倍率を選択してもよい。かかるメニュー選択または選択ボタンは、ユーザに対し、例えば１０％の増分で１０〜５０％の範囲のビューファインダーの視野の縮小倍率に対応する複数の固定選択値を提供してもよい。他の範囲および増分も可能である。また、特定の範囲内の任意の値のビューファインダーの視野の縮小倍率を提供するように動作可能なアナログ選択ボタンを設けることが望ましい場合もある。かかるボタンは、例えば回転式ダイヤルの形態をとってもよい。

別法として、適切であれば、ユーザが画像キャプチャー装置をその装置のパノラマキャプチャーモードにした時、ビューファインダーの視野に対し事前設定されたビューファインダーの視野の縮小倍率が装置により適用されてもよい。事前設定された倍率は装置のメモリに格納されることができる。この場合、ビューファインダーの視野の縮小倍率をユーザが自由に選択できないようにしてもよく、または別法として、かかる事前設定された倍率を無効にする選択肢がユーザに与えられてもよい。

別法として、装置（図示せず）における適切にプログラムされたマイクロプロセッサが、その一部分または複数部分の輝度を低減するために、装置のキャプチャー素子から受け取った画像データを処理するように動作可能とすることができる。輝度低減のレベルを、装置のメモリに事前に設定してもよく、かつ／または装置のユーザが手動により調整してもよい。

図３ｂのエリア３０５および３０７は、好ましい実施形態のビューファインダーの視野におけるエリアを表しており、そのエリアは、画像データの電子的マスキングにより、または３０３によって画定されたエリアの輝度に比較して輝度を低減することにより制限されている。

ビューファインダーの視野のマスキングまたは輝度低減に対する別の方法として、ビューファインダーの視野を制限するために装置のビューファインダーズームを使用してもよい。

ユーザまたは装置が縮小倍率を設定したら、その倍率を、キャプチャーされた画像のヘッダファイルに格納してもよい。例えば、キャプチャーされた画像は、ＥＸＩＦ（Exchangeable Image File Format）を使用してもよい。このフォーマットにより、ＪＰＥＧファイルのヘッダ内への拡張された装置情報の格納が可能になる。かかる拡張情報には、例えば画像がキャプチャーされた日付および時刻が含まれていることができ、かかる情報を、キャプチャー中に装置のビューファインダーの視野を縮小した際の倍率に関する追加のフィールドを含むように容易に拡張することができる。このように、画像のキャプチャー後に、装置においてまたはコンピュータにおいて適切な画像データが利用可能となる。かかるデータを含めることは、キャプチャーされた画像から生成されたパノラマをユーザが許容できるか判断する際に重要である可能性がある。

画像キャプチャー装置の縮小されたビューファインダーの視野３０１または３０３を使用して、パノラマ画像を生成するために適した画像のシーケンスを取得することもできる。

視野３０１、３０３は、画像キャプチャー装置のユーザが、画像をキャプチャーする目的で被写体またはシーンをフレーミングするために、装置のビューファインダーを介して使用するエリアである。画像がキャプチャーされ、ユーザが続けてキャプチャー位置を通して装置を移動させる際には、装置が移動する際のパンの方向に対して直交しており、装置の移動からもたらされる任意のずれの少なくとも一部が、ビューファインダーの視野を縮小することにより、適切なサイズだけ補償される。例えば、従来のパノラマシーンのキャプチャーは、画像キャプチャー装置を水平に移動させ装置の多数の位置で画像をキャプチャーして取得することによって画像シーケンスをキャプチャーして進められる。そして、画像キャプチャー装置自体において、または後にかかるパノラマを生成する専門的なソフトウェアを使用してキャプチャーされた画像を縫い合わせることにより、パノラマ画像を形成する。画像キャプチャー装置がパンされる方向または掃引される方向に対して垂直なまたは横方向である実質的に直交方向の次元においてビューファインダーの視野がある倍率だけ縮小された装置を用いてキャプチャーされたかかる画像フレームは、その装置のユーザによって、ビューファインダーの視野が縮小されなかった場合とは異なるようにフレーミングされる。このフレーミングの相違によってキャプチャーされる画像データが変化し、そうして、主要なエリアを後まで保持することができるようになる。

したがって、このようにキャプチャーされた場合の被写体またはシーンの主要なエリアは、ビューファインダーの視野の可視部分においてフレーミングされ、ビューファインダーの視野におけるマスクされたエリアまたは輝度が低減されたエリアに存在する有効な「余分の」画像データを使用することにより、装置の任意のずれを補償することができる。この「余分な」データは、常に、装置の撮像素子によってキャプチャーされるが、装置のユーザに常に可視であるとは限らない。したがって、パノラマ画像生成プロセス中、例えば山の頂上のような主要な画像データが喪失する可能性がある装置の望ましくない動きを、マスクされたまたは輝度が低減されたエリアに関連する画像データを使用して補償することができる。したがって、装置のビューファインダーの視野が縮小された場合、その装置のビューファインダーを通して可視ではないエリアに関連する画像データは失われない。そのデータは、装置内において、または、例えばパーソナルコンピュータを使用して装置外で、操作できるようになっている。したがって、この縮小は、ビューファインダーの視野を制限するのみであり、キャプチャーされる画像データの量は制限しない。

画像のシーケンスの縫い合せは既知の技法を用いて行ってもよい。特に、既知の透視変換を用いることにより、縫い合わされる画像のシーケンスに関連する画像データを縫い合わせるための変換空間に変換してもよい。かかる変換は、縫い合わされたパノラマを提供するためのシーケンスにおける画像の普通の１次元または２次元マッピングとすることができ、あるいは、例えばより複雑な変換（円柱または球座標系への変換等）とすることができる。さらなる代替形態も可能であり、本明細書で概説する方法およびシステムは、任意の適切な画像縫い合せアルゴリズムを使用して機能する。

したがって、このように画像のシーケンスがキャプチャーされ、そのシーケンスからの画像がキャプチャー後に閲覧される場合には、装置のビューファインダーの縮小された視野の部分に関連する追加の画像データを操作することができる。これらの画像データの追加の部分により、装置においてまたは装置の外部においてシーケンスを縫い合わせることによって、キャプチャー中の装置がずれてパノラマのエリアから画像データが失われずにパノラマ画像を形成することができる。

キャプチャーされた画像データの操作または処理は、装置自体において、画像がキャプチャーされ装置のメモリに格納された直後に実行してもよく、またはシーケンスのキャプチャーおよび格納の後のある時点で実行してもよい。別法として、操作または処理は、キャプチャー装置とは別個の、画像データ操作が可能であるコンピュータまたは他の適切な装置を使用して「オフラインで」実行してもよい。オフライン処理または操作は、例えば個人情報端末または携帯電話もしくは他の任意の適切な装置を使用して行ってもよい。

図４に示すような画像キャプチャー装置４０１は、レンズアセンブリ４０３と、フィルタ４０５と、イメージセンサ４０７と、任意のアナログプロセッサ４０９と、デジタル信号プロセッサ４１１とを備える。レンズアセンブリ４０３を通過する光から、関心のある画像またはシーンをキャプチャーする。その光を、フィルタ４０５を使用してフィルタリングしてもよい。そして、上述した装置のいずれかであってもよいイメージセンサ４０７により、画像が電気信号に変換される。その後、生の画像データをデジタル信号プロセッサ（ＤＳＰ）４１１に渡す。

さらに、図４の装置４０１を参照すると、バス４１３が、ＤＳＰ４１１とメモリ４１７と中央処理装置（ＣＰＵ）４１９との間でデータおよび／または制御信号を送信するように動作可能である。

メモリ４１７は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）であってもよく、不揮発性メモリ（例えば、フラッシュ、ＲＯＭ、ＰＲＯＭ等）および／またはリムーバブルメモリ（例えば、メモリカード、ディスク等）を含んでもよい。メモリ４１７を使用して、生の画像デジタルデータと処理済みの画像デジタルデータとを格納してもよい。ＣＰＵ４１９は、装置４０１に関連するさまざまなタスクを実行するように動作可能なプロセッサである。

図４の装置に対し多くの適切な代替的な異なる構成があることに留意すべきである。一実施形態では、ＣＰＵ４１９とＤＰＳ４１１は、例えば単一チップ上に存在してもよい。他の実施形態では、ＣＰＵ４１９とＤＳＰ４１１とは、例えば２つ以上の別々のチップ上に存在する。さらなる組合せが可能であるが、上で概説したような装置４０１および／またはその中のコンポーネントの正確なアーキテクチャは、限定するものであるようには意図されていないことに留意すべきである。

図４の装置は、ビューファインダーの視野の１つ以上の次元における縮小を行うために必要な機能（ＣＰＵ４１９においてまたはメモリ４１７において事前にプログラムされている）を含む。この縮小は、装置が特定の画像キャプチャーモードに入る結果としてかつ／またはユーザが特定の縮小倍率を選択する結果として発生するものであり、機械的手段で行っても電子的手段で行ってもよい。

電子的な縮小の場合、ＣＰＵ４１９は、装置４０１の他の要素に関連して、キャプチャーされた画像データの一部をビューファインダーの視野からマスクするように動作可能である。電子的な縮小を、装置の画像キャプチャー素子を使用してキャプチャーされた画像データのビューファインダーにおけるより小さいエリアをアドレス指定することによって行ってもよい。他の代替形態も可能である。

機械的なマスキングの場合、ＣＰＵ４１９は、光学的に不透明な１つ以上の要素を使用することにより、ビューファインダーの視野の一部分のマスキングを制御するように動作可能である。１つ以上の要素は、ビューファインダーの視野の一部分をマスクするように動作可能である。マスクされたビューファインダー画像を、画像キャプチャー装置のパンの方向に対して垂直な次元で縮小する。

添付図面の図５は、適切な画像キャプチャー装置を使用してキャプチャーされた画像のシーケンスから取得された生のパノラマ画像の線図である。生のパノラマ画像は、太線で示されており、矩形画像を生成するために画像に対して切り出しが実行されていないという意味で「生」である。

図５のパノラマ画像５０１は、６つの別々の画像５０３、５０５、５０７、５０９、５１１および５１３から構成される。パノラマ５０１を、図５に示すものより多いかまたは少ない画像から構成してもよいことが理解されよう。各画像５０３、５０５、５０７、５０９、５１１および５１３は、３つの領域ａ、ｂおよびｃを含む。各画像５０３、５０５、５０７、５０９、５１１および５１３の領域ａおよびｃは、装置のビューファインダーにおいて完全にマスクされた、または、装置のビューファインダーにおいて輝度が低減されて提示されたエリアである。したがって、画像５０３、５０５、５０７、５０９、５１１および５１３のエリアｂは、装置のビューファインダーの縮小された可視の視野を表し、画像キャプチャー中に装置のユーザによって見られるエリアである。

画像５０３、５０５、５０７、５０９、５１１および５１３を、既知の技法を使用して、図５に示すように生のパノラマ画像になるように位置合せした。縫い合せのためのかかる既知の技法は、例えば画像位置合せに対する支援手段として画像内の特徴の識別を利用しもよい。他の代替形態も可能である。

各画像５０３、５０５、５０７、５０９、５１１および５１３の画像エリアａおよびｃを、画像５０３、５０５、５０７、５０９、５１１および５１３のエリアｂとは異なる圧縮アルゴリズムを使用して、画像キャプチャー装置のメモリに格納してもよい。例えば、画像５０３、５０５、５０７、５０９、５１１および５１３のエリアａおよびｃを、画像５０３、５０５、５０７、５０９、５１１および５１３のエリアｂより積極的な（aggressive）圧縮アルゴリズムを使用して、画像キャプチャー装置のメモリに格納してもよい。例えば、画像５０３、５０５、５０７、５０９、５１１および５１３のエリアｂを、ＲＡＷフォーマットで格納してもよく、対応するエリアａおよびｃを、ＪＰＥＧフォーマットで圧縮画像ファイルとして格納してもよい。

添付図面の図６は、好ましい実施形態によるパノラマ画像の線図である。

図６のエリア６１３は、既知の方法を使用して複数の縫い合わされた画像（明確にするために明示的には示さず）から生成された生パノラマ画像（図５のもの等）から切り出された、完全に画定された矩形パノラマ画像のエリアを表す。

図２のパノラマ画像と比較して、図６の画像には、パノラマの最上部エリアに関連する主要な情報が保持されている。より詳細には、画像キャプチャー装置の縮小されたビューファインダーの視野を使用することによって、マスキングによってユーザの挙動の変化が生じて、垂直方向のずれの問題が軽減され、問題の特定のパノラマ画像の重要な頂部エリアが保持されたことを意味する。

添付図面の図７は、本装置および方法によって、縫い合わされた複数の画像（図５に示すもの等）から図６のもの等の矩形パノラマ画像が取得される方法を概略図で示す。

図４に関して上述したもの等の画像キャプチャー装置の適切にプログラムされたマイクロプロセッサは、図６に示すもの等の矩形パノラマ画像を作成するために、生成された生のパノラマを切り出すように動作可能である。より詳細には、プロセッサは、装置の縮小された（制限された）ビューファインダーの視野に対応するエリア、より詳細には図７の画像のエリアｂを包含する完全に画定された矩形パノラマ画像を作成するように動作可能である。図面において切り出しエリアを破線矩形７０５によって示す。

破線矩形７０５によって画定されるエリアは、図７の画像のエリアｂを包含し、そのため、装置の縮小されたビューファインダーの視野に対応するエリアを包含する。したがって、切り出されたパノラマ画像は、装置のユーザが装置の制限されたビューファインダーの視野を通して見るエリアを含み、そのため、ユーザには主要と思われるシーンまたは被写体の部分を含む。

かかる切り出されたパノラマ画像を作成するために、プロセッサは、縫い合わされた生のパノラマの全体の向きから、画像側部７０１、７０３によって示すような生のパノラマ画像の上部境界と下部境界とを確定するように動作可能である。これは、例えば左から右またはその逆の向きに垂直のずれを増大させることにより、パノラマを構成する画像のずれの方向を確定することによって行うこともできる。別法として、画像側部７０１を、生のパノラマを構成する画像の上部フレーム境界の最も下となる点から確定してもよい。同様に、画像側部７０３を、下部フレーム境界の最も上となる点から確定してもよい。

図７に示す例に、上方向への垂直のずれが左から右へと増大していて、水平方向に向けられている生のパノラマが記載されている。このため、装置のプロセッサは、縫い合わされた画像データ内において画像データが欠けないようにすべてのピクセルが画定されている最大面積の矩形を生成するための上部境界と下部境界が、画像７０７、７０９の両側部７０１および７０３によって表されていると判断する。

そして、プロセッサは、最大の画定されたパノラマより通常（面積が）小さい、縮小されたビューファインダーのパノラマを提供するために、生のパノラマのエリアｂを包含する最小矩形を生成するように動作可能である。したがって、縮小されたビューファインダーパノラマは、図７において点線で示すような、エリアｂを包含する面積が最小の矩形であり、概して、縮小されたビューファインダーの視野を用いて閲覧された主要な素材を含むためにユーザが望むパノラマ画像である。

図７に示す縮小されたビューファインダーのパノラマ内の画像データは、完全に画定された矩形パノラマ画像であり、縮小されたビューファインダーのパノラマを画定する矩形によって画定された境界外の任意の周辺画像データは破棄してもよい。例えば、かかるパノラマが生成されると、そのパノラマが生成されたもとの別々の画像データファイルの各々とその生成されたパノラマ自体からの周辺データとを、装置のメモリから取り除いてもよい。

図７の例から、縮小されたビューファインダーのパノラマを画定する生成された矩形は、縮小されたビューファインダーの視野に関連する画像のエリアを包含することが理解されよう。図８に示すように、縮小されたビューファインダーの生成されたパノラマがこれらのエリアを完全に包含しない場合、本方法によって動作する装置のユーザはいくつかのオプションを利用することができる。

図４を参照して説明したような装置は、図６および図７を参照して上述したように画像データを生成し操作することができるために十分な処理能力とメモリとを有する場合、画像のシーケンスを縫い合せて、生のパノラマ画像および／または縮小されたビューファインダーのパノラマを生成することができるために必要な機能を有する。したがって、図８に示すように、装置により、最大に画定された矩形８０１が、所望の縮小されたビューファインダーのパノラマに対応する画像データのエリアのすべてを完全には包含しないと判断された場合、装置は、ユーザに対し、完全に画定された縮小されたビューファインダーのパノラマ画像を作成するために追加の画像データが必要であることを警告してもよい。

かかる警告は、例えば可視または可聴の警告もしくはその２つの組合せの形態をとってもよい。別法として、装置が、上述したもの等の状況が発生したことを検出し、装置が、装置のレンズの可能である最も広角なズーム設定を使用していないことを検出した場合、可視または可聴の警告もしくはその２つの組合せを使用して、ユーザに対しそのような場合であることを警告し、パノラマを生成するために使用される画像を、装置の最も広いレンズ角のズーム設定を使用して再度キャプチャーするように推奨してもよい。

警告に続き、または別法として警告の代りに、装置は、完全に画定されたパノラマを生成するために、マルチスワス（multi-swath）キャプチャーを行うように推奨してもよい。このように、ユーザは、装置が、完全に画定された縮小されたビューファインダーのパノラマ画像を生成することができるように、十分な画像データがキャプチャーされることを確実にするために、キャプチャーするべき被写体またはシーンの二重（またはそれより多くの）「掃引」を行ってもよい。

別法として、装置のユーザは、失敗した縮小されたビューファインダーのパノラマをテンプレートとして使用してもよい。したがって、装置は、装置のディスプレイにおいて任意のキャプチャー画像を表示し、追加の画像データが必要なエリアを強調表示してもよい。そして、装置のユーザは、追加の画像をキャプチャーすることができてもよい。位置合せに対する支援手段として、追加のデータが必要なエリアの周囲の既にキャプチャーされた画像が、位置合せガイドとしての役割を果たしてもよい。

さらに別法として、ユーザは、失敗した縮小されたビューファインダーのパノラマをテンプレートとして使用して、関連する画像のすべてを再びキャプチャーしてもよい。これに関して、失敗した縮小されたビューファインダーのパノラマを、ユーザに対するキャプチャー支援手段として装置のディスプレイに表示してもよい。

さらなる実施形態では、装置は、キャプチャーされたままの画像を縫い合わせるように動作可能であり、したがって、装置のユーザに対して、その時点までキャプチャーされた画像を使用して生成された、縮小されたビューファインダーのパノラマが、画定されていない領域を含む場合にそのことを忠告するために、キャプチャープロセス中に警告が発せられてもよい。より詳細には、装置は、生成される縮小されたビューファインダーのパノラマが、生成時の縮小されたビューファインダーの視野に対応するエリアを包含しない（よってすべての主要な素材を含まない）と判断した場合、警告を発行してもよく、ユーザは、追加の画像をキャプチャーすることにより、または問題を克服するために十分である場合は続いてキャプチャーされたエリアを調整することにより、補償してもよい。装置は、状況が修正されるまでかかる警告を発行し続けてもよい。これに関連して、装置は、所望のパノラマのいずれのエリアが追加の画像データを必要とするかをユーザが判断する際の支援手段としての役割を果たすことができるように、警告が発行された時点まですでにキャプチャーされた画像を縫い合わされたシーケンスの形式で表示してもよい。

装置が、複数の別個の画像の形式で、または生成されるパノラマ画像として、キャプチャーされた画像のシーケンスをユーザに表示するように動作可能である場合、かかる表示を、装置によって実際にキャプチャーされた時の解像度とは異なる解像度の画像を使用して行ってもよいことが理解されよう。より詳細には、特に電子画像キャプチャー素子を有する装置に関しては、装置は、キャプチャーされた時の解像度より低い解像度で画像をユーザに表示してもよい。

さらに、例えば装置が複数のキャプチャー画像からパノラマ画像を生成している時等、装置が画像を操作するように動作可能である時、かかる操作を、装置により、最初にキャプチャーされた時の解像度より低い解像度である画像を使用して行ってもよい。したがって、これにより、装置は、より高解像度の画像が使用される場合よりはるかに高速でかかる操作を実行することができ、こうして、かかる生成される画像を、より高解像度の画像が操作に使用された場合よりはるかに高速でユーザに対して表示することができるようになる。例えば、装置から出力するための最終パノラマ画像を作成することになると、最初にキャプチャーされたより高解像度の画像を使用してもよい。

図９は、さまざまな実施形態によって採用されるプロセスのフローチャート９００である。プロセスは、ブロック９０２で開始する。ブロック９０４において、装置のビューファインダーの視野を装置のパンの方向に対して略垂直な次元で縮小する。プロセスは、ブロック９０６で終了する。

従来技術による装置に関連する潜在的な問題を示すパノラマ画像の線図である。 画定されない画像エリアを切り落とした後の図１の従来技術によるパノラマ画像の線図である。 画像キャプチャー装置のビューファインダーの視野の線図である。 画像キャプチャー装置のビューファインダーの視野の線図である。 画像キャプチャー装置の線図である。 パノラマ画像の線図である。 パノラマ画像のさらなる線図である。 パノラマ画像のさらなる線図である。 パノラマ画像のさらなる線図である。 さまざまな実施形態によって採用されるプロセスのフローチャートである。

Claims (27)

1. パノラマ掃引してキャプチャーされた画像を処理するパノラマモードを有し、該モードでは、ユーザの閲覧のために提示されるキャプチャー可能な画像の範囲が意図される掃引軸の横方向に制限される、画像キャプチャー装置。
2. 前記パノラマモードにおいて、ユーザの閲覧のために提示される前記キャプチャー可能な画像の前記範囲が、意図される掃引軸に対して平行に制限される請求項１に記載の画像キャプチャー装置。
3. 前記キャプチャー可能な画像は、該装置のビューファインダーを使用してユーザが閲覧するために提示される、請求項１に記載の画像キャプチャー装置。
4. 該装置のビューファインダーズームを使用して前記範囲を制限するように動作可能である請求項３に記載の画像キャプチャー装置。
5. 前記ビューファインダーの少なくとも一部分を不鮮明にするように動作可能な機械的マスクを使用して前記範囲を制限するように動作可能である請求項３に記載の画像キャプチャー装置。
6. 該装置の画像キャプチャー素子を使用して画像データをキャプチャーするように動作可能であり、ビューファインダーの視野は、ユーザの閲覧のために提示されるキャプチャー画像データの量を制限することによって縮小される、請求項３に記載の画像キャプチャー装置。
7. キャプチャー済み画像データからパノラマ画像を生成するように動作可能なマイクロプロセッサをさらに具備する請求項１に記載の画像キャプチャー装置。
8. 前記マイクロプロセッサは、該装置のユーザの閲覧のために提示されるビューファインダーの視野における閲覧に利用可能であった画像データのみを包含する前記キャプチャー画像データからパノラマ画像を生成するようにさらに動作可能である、請求項７に記載の画像キャプチャー装置。
9. 前記マイクロプロセッサは、生成されるパノラマ画像に、画像データがないブランクエリアが存在すると判断するように動作可能である、請求項７に記載の画像キャプチャー装置。
10. パノラマ画像生成の失敗をユーザに警告するように動作可能な自動警告手段を具備する、請求項７に記載の画像キャプチャー装置。
11. 前記自動警告手段は、可聴アラームと可視アラームとのうちの少なくとも１つを含む、請求項１０に記載の画像キャプチャー装置。
12. 前記自動警告手段は、生成されるパノラマ画像が画像データのないブランクエリアを含む場合に、前記マイクロプロセッサによって駆動される、請求項１０に記載の画像キャプチャー装置。
13. 該装置のユーザの閲覧のために提示されるビューファインダーの視野における閲覧に利用可能であった前記画像データの少なくとも一部分が前記生成されるパノラマによって画定されるエリア外にある場合に、前記自動警告手段が前記プロセッサによって起動される、請求項１０のいずれかに記載の画像キャプチャー装置。
14. 前記画像キャプチャー素子は、電荷結合素子または相補型金属酸化膜半導体装置である、請求項６のいずれかに記載の画像キャプチャー装置。
15. 前記マイクロプロセッサは、ユーザの閲覧のために、生成されるパノラマ画像を提示するようにさらに動作可能である、請求項７のいずれかに記載の画像キャプチャー装置。
16. ユーザの閲覧のために提示されるキャプチャー可能な画像の少なくとも一部分の輝度を調整するように動作可能である請求項１に記載の画像キャプチャー装置。
17. 画像キャプチャー装置の使用方法であって、該装置のビューファインダーの視野を、該装置のパンの方向に対して略垂直な次元で縮小することを含む画像キャプチャー装置の使用方法。
18. 前記装置の前記ビューファインダーの視野を、該装置の前記パンの方向に対して略平行な次元において縮小することをさらに含む請求項１７に記載の画像キャプチャー装置の使用方法。
19. 該ビューファインダーの視野に対し機械的マスクを適用することによって前記ビューファインダーの視野が縮小される請求項１７に記載の画像キャプチャー装置の使用方法。
20. 前記装置の画像キャプチャー素子を使用して画像データがキャプチャーされ、該装置のビューファインダーにおける閲覧に利用可能な画像データの量を縮小することによって前記ビューファインダーの視野が縮小される請求項１７のいずれかに記載の画像キャプチャー装置の使用方法。
21. 前記装置のビューファインダーにおける閲覧に利用可能な画像データの量を縮小することを、ビューファインダー画像の一部分を電子的にマスクすることによって行う請求項２０に記載の画像キャプチャー装置の使用方法。
22. 前記装置のビューファインダーにおける閲覧に利用可能な前記画像データの少なくとも一部分の輝度を、該装置のビューファインダーにおいて閲覧するために利用可能な該画像データの残りに対して低下させる請求項１７のいずれかに記載の画像キャプチャー装置の使用方法。
23. 前記ビューファインダーの視野を、前記装置のビューファインダーズームを使用して縮小する請求項１７のいずれかに記載の画像キャプチャー装置の使用方法。
24. ビューファインダーの視野が縮小された装置を使用してキャプチャーされた少なくとも２つの画像からパノラマ画像を生成することをさらに含む請求項１７のいずれかに記載の画像キャプチャー装置の使用方法。
25. ビューファインダーの視野が縮小された装置を使用してキャプチャーされた少なくとも２つの画像からパノラマ画像を生成することをさらに含み、該生成された画像は、前記装置のユーザの閲覧のために提示されるビューファインダーの視野における閲覧に利用可能であった画像データのみを包含する、請求項１７のいずれかに記載の画像キャプチャー装置の使用方法。
26. パノラマ画像生成モードを有する画像キャプチャー装置であって、該装置が前記パノラマ画像生成モードにある時、ユーザが閲覧するために提示されるキャプチャー可能な画像の範囲を、意図される掃引軸の横方向に制限する手段を具備する画像キャプチャー装置。
27. パノラマモードを有する画像キャプチャー装置の使用方法であって、該モードでは、ユーザの閲覧のために提示されるようにされたキャプチャー可能な画像の範囲が、意図される掃引軸の横方向に制限され、該方法は、前記装置のパノラマ掃引を使用してキャプチャーされた画像を処理することを含む、画像キャプチャー装置の使用方法。
    

Images