JP2013537728A

JP2013537728A - 知覚深度を有するビデオを提供するビデオカメラ

Info

Publication number: JP2013537728A
Application number: JP2013514204A
Authority: JP
Inventors: ノーヴォルドボーダー，ジョン; シンガル，アミット
Original assignee: Apple Inc
Current assignee: Apple Inc
Priority date: 2010-06-09
Filing date: 2011-05-26
Publication date: 2013-10-03
Also published as: WO2011156146A2; CN102907105A; WO2011156146A3; EP2580914A2; TW201205181A; US20110304706A1

Abstract

知覚深度を有するビデオを提供するビデオ画像キャプチャ装置であって、ビデオフレームをキャプチャする画像センサ、シーンを前記画像センサに単一視野から画像化する光学システム、前記画像センサによりキャプチャされたビデオ画像シーケンスを格納するデータ記憶システム、前記画像キャプチャ装置の相対位置を検知する位置検知装置、検知した前記画像キャプチャ装置の相対位置を格納されたビデオ画像シーケンスと関連付けて格納する手段、データプロセッサ、前記データプロセッサに知覚深度を有するビデオを提供させるよう構成された命令を格納するメモリシステム、を有するビデオ画像キャプチャ装置。知覚深度を有するビデオは、前記ビデオ画像キャプチャ装置の前記格納された相対位置に応じてビデオ画像のステレオ対を選択することにより提供される。

Description

本発明は、単眼画像キャプチャ装置を用いてキャプチャされたビデオから知覚深度を有するビデオを提供する方法に関する。

シーンの立体画像は、通常、同じシーンの異なる視点を有する２以上の画像を結合することにより生成される。通常、立体画像は、シーンの異なる視点を提供するためにある距離だけ離された２つ（以上）の画像キャプチャ装置を有する画像キャプチャ装置で同時にキャプチャされる。しかしながら、立体画像キャプチャのこのアプローチは、２つ（以上）の画像キャプチャ装置を有する、より複雑な画像キャプチャシステムを必要とする。

立体ビデオを生成する方法が提案される。この方法では、単一の画像キャプチャ装置が用いられ、ビデオ画像の時間シーケンスを有するビデオをキャプチャし、次にビデオは知覚深度を有するビデオを生成するために変更される。ＵＳ特許第２,８６５,９８８号、N.Cafarell,Jr.、名称「Quasi-stereoscopic systems」では、ビデオが、単眼画像キャプチャ装置でキャプチャされたビデオから、知覚深度と共に提供される方法が開示される。知覚深度を有するビデオは、ビデオ画像をビューアの左目及び右目に示すことにより生成される。ここで、左目及び右目に示されるビデオ画像のタイミングは、一定フレームオフセットだけ異なり、一方の目が他方の目より時間シーケンスにおいて早くビデオ画像を受けるようにする。カメラの位置及びシーン内のオブジェクトの位置は、通常、時間と共に変化するので、時間的な知覚の差は、ビューアの脳により深さとして解釈される。しかしながら、画像キャプチャ装置及びシーン内のオブジェクトの動き量は、通常、時間と共に変化するので、知覚の深さは一貫性がないことが多い。

ＵＳ特許第５,７０１,１５４号、Dasso、名称「Electronic three-dimensional viewing system」も、単眼画像キャプチャ装置でキャプチャされたビデオから知覚深度を有するビデオを提供する。知覚深度を有するビデオは、ビューアの左目及び右目に、ビューアの左目及び右目に提示されるビデオの間で一定のフレームオフセット（例えば、１〜５フレーム）を有し、ビデオを提供することにより生成される。この特許では、知覚深度を更に強めるために、左目及び右目に提示されるビデオ画像は、一方の目に提示されるビデオ画像が、他方の目に提示されるビデオ画像と比べて、位置がずれ、拡大され又は明るくされるという点で異なる。しかしながら、一定のフレームオフセットでは、深さの知覚は、ビデオのキャプチャ中に存在する動きの変化によって再び一貫性がない。

ＵＳ特許出願公開番号第２００５／０１６８４８５号、Nattress、名称「System for combining a sequence of images with computer-generated ３D graphics」では、画像のシーケンスをコンピュータの生成した３次元アニメーションと結合するシステムが記載される。この特許出願の方法は、シーケンス中の各画像をキャプチャするときの画像キャプチャ装置の位置の測定を含み、画像キャプチャ装置の視点の特定を容易にし、それによりキャプチャされた画像をアニメーション内のコンピュータの生成した画像と結合するのを容易にする。

単眼画像キャプチャ装置でキャプチャしたビデオをキャプチャ後に知覚深度を有するビデオに変換する方法は、ＵＳ特許出願公開番号第２００８／００８５０４９号、Naske他、名称「Methods and systems for ２D/３D image conversion and optimization」に開示されている。この方法では、連続ビデオ画像は、シーン内の動きの方向及びレートを決定するために互いに比較される。第２のビデオが生成され、該第２のビデオは、キャプチャされたビデオと比べてフレームオフセットを有する。ここで、連続ビデオ画像の相互比較において速い動き又は垂直の動きが検出されたとき、アーティファクトを回避するために、フレームオフセットが減少される。しかしながら、カメラ及びシーン内のオブジェクトの動きの量は、依然として時間と共に変化するので、深さの知覚は、依然として一貫性がなく、ビデオのキャプチャ中に存在する動きとともに変化してしまう。

ＵＳ特許出願公開番号第２００９／０００３６５４号では、画像キャプチャ装置の測定された位置は、異なる位置で画像キャプチャ装置によりキャプチャされた画像対から範囲マップを決定するために用いられる。

単一の画像キャプチャ装置でキャプチャされたビデオから知覚深度を有するビデオを提供する必要がある。ここで、知覚深度は、画像キャプチャ装置又はシーン内のオブジェクトの動きに一貫性のないとき、画像品質を向上させ、深さの知覚を向上させる。

本発明は、知覚深度を有するビデオを提供するビデオ画像キャプチャ装置であって、ビデオフレームをキャプチャする画像センサ、シーンを前記画像センサに単一視野から画像化する光学システム、前記画像センサによりキャプチャされたビデオ画像シーケンスを格納するデータ記憶システム、前記ビデオ画像シーケンスについて、前記画像キャプチャ装置の相対位置を検知する位置検知装置、検知した前記画像キャプチャ装置の相対位置の指標を格納されたビデオ画像シーケンスと関連付けて前記データ記憶システムに格納する手段、データプロセッサ、前記データプロセッサに通信可能に接続されたメモリシステムであって、前記データプロセッサに、前記画像キャプチャ装置の格納された相対位置に応じて、ビデオ画像のステレオ対を選択し、前記ビデオ画像のステレオ対のシーケンスを含む、知覚深度を有するビデオを提供する、ことにより知覚深度を有するビデオを提供させるよう構成された命令を格納するメモリシステム、を有するビデオ画像キャプチャ装置を提示する。

本発明は、知覚深度を有するビデオ画像が単眼画像キャプチャ装置でキャプチャされたシーンのビデオ画像を用いて提供できるという利点を有する。知覚深度を有するビデオは、知覚深度のより一貫した感覚を提供するために、画像キャプチャ装置の相対位置に応じて形成される。

本発明は、知覚深度を有するビデオ画像の生成と調和しない画像キャプチャ装置の動きが検出されたとき、知覚深度を有しない画像が提供できるという更なる利点を有する。

本発明の実施形態は、以下の図面を参照して良好に理解される。
ビデオ画像キャプチャ装置のブロック図である。視野に３つのオブジェクトを有するビデオ画像キャプチャ装置を示す。図２Ａのビデオ画像キャプチャ装置でキャプチャされる画像を示す。ビデオ画像キャプチャ装置を横にシフトすることにより視野が変化する、図２Ａのビデオ画像キャプチャ装置を示す。図３Ａのビデオ画像キャプチャ装置でキャプチャされる画像を示す。ビデオ画像キャプチャ装置を回転することにより視野が変化する、図２Ａのビデオ画像キャプチャ装置を示す。図４Ａのビデオ画像キャプチャ装置でキャプチャされる画像を示す。画像のステレオミスマッチを示す図２Ｂ及び図３Ｂの重ね撮り画像を示す。画像のステレオミスマッチを示す図２Ｂ及び図４Ｂの重ね撮り画像を示す。本発明の一実施形態による、知覚深度を有するビデオを形成する方法のフローチャートである。本発明の更なる実施形態による、知覚深度を有するビデオを形成する方法のフローチャートである。ビルトイン動き追跡装置を有する取り外し可能メモリカードを示す。カードの取り外し可能メモリカード内に知覚深度を有するビデオ画像を形成するために必要な構成要素を含む、ビルトイン動き追跡装置を有する取り外し可能メモリカードのブロック図である。ＭＰＥＧエンコーディングされたビデオフレームのシーケンスの概略図である。

知覚深度を有する画像の生成は、ビューアの左目と右目が異なる遠近感の画像を見るように提示されるべき異なる視点を有する２以上の画像を必要とする。立体画像の最も単純な場合では、異なる視点を有する２つの画像が、ステレオペアとしてビューアに提示される。ここで、ステレオペアは、ビューアの左目のための画像及びビューアの右目のための画像を有する。知覚深度を有するビデオは、ビューアに連続的に提示されるステレオペアのシリーズを有する。

本発明は、単一視野のみを有するビデオ画像キャプチャ装置を用いてキャプチャされたビデオから知覚深度を有するビデオを生成する方法を提供する。通常、単一の視野は、１つのレンズ及び１つの画像センサを有する１つの電子画像キャプチャユニットを備えたビデオ画像キャプチャ装置により提供される。しかしながら、本発明は、１つのみの電子画像キャプチャユニット又は１つのみのレンズ及び１つの画像センサがビデオをキャプチャするために一度に用いられる場合、１つより多い電子画像キャプチャユニット、１以上のレンズ又は１以上の画像センサを備えたビデオ画像キャプチャ装置にも等しく適用可能である。

図１を参照すると、特定の実施形態では、ビデオ画像キャプチャ装置１０の構成要素が示される。これらの構成要素は、構造的支持及び保護を提供する本体内に配置される。本体は、特定の使用及び様式を考慮した要件に適合するために変化し得る。電子画像キャプチャユニット１４は、ビデオ画像キャプチャ装置１０の本体内に取り付けられ、少なくとも、取り込みレンズ１６及び取り込みレンズ１６に沿って置かれた画像センサ１８を有する。シーンからの光は、光路２０に沿って、取り込みレンズ１６を通り、画像センサ１８にぶつかり、アナログ電子画像を生成する。

用いられる画像センサの種類は変化し得るが、好適な実施形態では、画像センサは固体画像センサである。例えば、画像センサは、電荷結合素子（ＣＣＤ）、ＣＭＯＳセンサ（ＣＭＯＳ）又は電荷注入装置（ＣＩＤ）であってもよい。通常、電子画像キャプチャ装置１４は、画像センサ１８に関連する他の構成要素も含む。標準的な画像センサ１８は、クロックドライバ（本願明細書ではタイミング生成器とも称される）、アナログ信号プロセッサ（ＡＳＰ）及びアナログ−デジタル変換器／増幅器（Ａ／Ｄコンバータ）として動作する別個の構成要素を伴う。このような構成要素は、単一のユニットに画像センサ１８と一緒に組み込まれることが多い。例えば、ＣＭＯＳ画像センサは、他の構成要素が同一の半導体ダイに統合されるようなプロセスで製造される。

通常、電子画像キャプチャユニット１４は、２以上の色チャネルで画像をキャプチャする。現在、単一の画像センサ１８がカラーフィルタアレイと一緒に用いられることが望ましいが、複数の画像センサ及び異なる種類のフィルタも用いることができる。適切なフィルタは、当業者に良く知られており、幾つかの例は、画像センサ１８に組み込まれ、統合された構成要素を与える。

画像センサ１８の各ピクセルからの電子信号は、ピクセルに到達する光の強度と、ピクセルが入射光からの信号を累積又は統合させる時間長との両方に関連する。この時間は、積分時間又は露光時間と呼ばれる。

積分時間は、開状態と閉状態との間で切り替え可能なシャッタ２２により制御される。シャッタ２２は、機械的、電子機械的であり、又は電子画像キャプチャユニット１４のハードウェアとソフトウェアの論理的機能として設けられ得る。例えば、幾つかの種類の画像センサ１８は、画像センサ１８をリセットし次に画像センサ１８を特定時間後に読み出すことにより、積分時間を電子的に制御させる。ＣＣＤ画像センサを用いるとき、積分時間の電子制御は、非感光領域内に設けられた遮光レジスタに蓄積された電荷をシフトすることによりもたらされる。遮光レジスタは、フレーム転送装置ＣＣＤ等の場合には全てのピクセルのために存在し、又はインターライン転送装置ＣＣＤ等の場合にはピクセル行と列との間の行又は列の形式で存在し得る。適切な装置及び手順が当業者に良く知られている。したがって、タイミング生成器２４は、画像をキャプチャするために画像センサ１８のピクセルについて積分時間が生じるときを制御する方法を提供できる。図１のビデオ画像キャプチャ装置１０では、シャッタ２２及びタイミング生成器２４は、一緒に積分時間を決定する。

全体の光強度及び積分時間の組合せは、露光と呼ばれる。画像センサ１８の感度及び雑音特性と結合された露光は、キャプチャされた画像で与えられる信号対雑音比を決定する。等価な露光は、光強度と積分時間との種々の組合せにより達成できる。露光は等価だが、シーンの特性又は関連する信号対雑音比に基づきシーンの画像をキャプチャする、光強度と積分時間との特定の露光の組合せは、他の等価な露光より望ましい。

図１は、幾つかの露光制御要素を示すが、幾つかの実施形態は、これらの要素のうちの１又は複数を有しなくてもよく、或いは、露光を制御する代替のメカニズムがあってもよい。ビデオ画像キャプチャ装置１０は、示されたものを代替する特徴を有し得る。例えば、絞りとしても機能するシャッタは、当業者に良く知られている。

図示されたビデオ画像キャプチャ装置１０では、フィルタ組立体２６及び開口２８は、画像センサ１８における光強度を変更する。それぞれ調整可能である。開口２８は、機械的絞り又は調整可能な開口（示されない）を用い光路２０の光を遮断して、画像センサ１８に到達する光の強度を制御する。開口の大きさは、連続的に若しくは段階的に調整可能であり、又は変更可能である。代替として、開口２８は、光路２０の中へ及び外へ移動できる。フィルタ組立体２６は、同様に変更できる。例えば、フィルタ組立体２６は、回転又は光路内へ移動できる異なる減光フィルタのセットを有し得る。他の適切なフィルタ組立体及び開口が当業者に良く知られている。

ビデオ画像キャプチャ装置１０は、光学システム４４を有する。光学システム４４は、取り込みレンズ１６を含み、オペレータがキャプチャされるべき画像を構成するのを助けるファインダの構成要素（示されない）も含み得る。光学システム４４は、多くの異なる形式を取ることができる。例えば、取り込みレンズ１６は、光学ファインダと完全に別個であり、又は画像キャプチャの前後でプレビュー画像が連続的に示される内部ディスプレイの上に設けられた接眼レンズを有するデジタルビューファインダを含み得る。ここで、プレビュー画像は、通常、連続的にキャプチャされる低解像度の画像である。ビューファインダレンズユニット及び取り込みレンズ１６は、１又は複数の構成要素を共有し得る。上述の及び他の代替の光学システムの詳細は、当業者に良く知られている。便宜上、光学システム４４は、概して、以下では、デジタルビデオカメラのような画像キャプチャ装置でキャプチャする前に画像を構成するために一般的に行われるように、シーンのプレビュー画像を見るために用いることができる撮影中デジタルビューファインダディスプレイ７６又は画像ディスプレイ４８を有する実施形態に関連して議論される。

取り込みレンズ１６は、単一の焦点距離及び手動フォーカシング又は固定フォーカスを有するような単純なものであり得るが、これが好適なものではない。図１に示したビデオ画像キャプチャ装置１０では、取り込みレンズ１６は、ズーム制御５０により、他のレンズ要素に対して、１つのレンズ要素又は複数のレンズ要素が駆動される電動ズームレンズである。これは、レンズの有効焦点距離を変化させる。デジタルズーム（デジタル画像のデジタル的な拡大）は、光学ズームの代わりに又はそれと組み合わせて用いることもできる。取り込みレンズ１６は、マクロ（近焦点）機能を提供するようマクロ制御５２により光路に挿入又は光路から除去できるレンズ要素又はレンズグループ（示されない）も有し得る。

ビデオ画像キャプチャ装置１０の取り込みレンズ１６は、自動焦点方式でもよい。例えば、自動焦点システムは、受動的若しくは能動的自動焦点又はそれら２つの組合せを用いて焦点合わせを提供できる。図１を参照すると、取り込みレンズ１６の１又は複数の焦点要素（別個に示されない）は、シーンの特定の距離からの光を画像センサ１８上に焦点を合わせるために、焦点制御５４により駆動される。自動焦点システムは、異なるレンズ焦点設定でプレビュー画像をキャプチャすることにより、動作できる。或いは、自動焦点システムは、ビデオ画像キャプチャ装置１０からシーンまでの距離に関連する信号をシステム制御部６６へ送る１又は複数の検知要素を含むレンジファインダを有し得る。システム制御部６６は、プレビュー画像又はレンジファインダからの信号の焦点分析を行い、焦点制御５４を動作させて、取り込みレンズ１６の焦点合わせ可能な１又は複数のレンズ要素（別個に示されない）を移動させる。自動焦点方法は、当業界で良く知られている。

ビデオ画像キャプチャ装置１０は、シーンの輝度を測定する手段を有する。輝度測定は、プレビュー画像のピクセルコード値を分析することにより、又は輝度センサ５８の使用を通じて、行うことができる。図１では、輝度センサ５８は、１又は複数の別個の構成要素として示される。輝度センサ５８は、電子画像キャプチャユニット１４のハードウェアとソフトウェアの論理的機能として設けられ得る。輝度センサ５８は、１又は複数の画像センサ１８の露光設定の選択で用いるために、シーンの光強度を表す１又は複数の信号を提供するために用いることができる。選択肢として、輝度センサ５８からの信号は、カラーバランス情報も提供できる。シーンの照明及び色値の一方又は両方を提供するために用いることができ電子画像キャプチャユニット１４と別個の適切な輝度センサ５８の例は、米国特許第４,８８７,１２１号に開示されている。

露光は、自動露光制御により決定できる。自動露光制御は、システム制御部６６内に実装でき、従来知られているもの、例えば米国特許第５,３３５,０４１号に開示されたものから選択できる。撮像されるべきシーンの輝度測定に基づき、輝度センサ５８により提供される又はプレビュー画像内のピクセル値からの測定により提供されるように、電子画像システムは、通常、自動露光制御処理を用いて、効果的な輝度及び良好な信号対雑音比を有する画像を生成する効果的な露光時間ｔ_ｅを決定する。本発明では、露光時間は、自動露光制御により決定され、プレビュー画像のキャプチャのために用いられ、シーンの輝度及び予測動きブラーに基づきアーカイバル画像キャプチャのキャプチャのために変更できる。ここで、アーカイバル画像は、キャプチャ条件（露光時間を含む）が本発明の方法に基づき定められた後にキャプチャされる最終的な画像である。当業者は、露光時間が短いほど、アーカイバル画像には動きブラーが少なく雑音が多いことを理解するだろう。

図１のビデオ画像キャプチャ装置１０は、フラッシュユニット６０を任意的に有する。フラッシュユニット６０は、（キセノンフラッシュ管又はＬＥＤのような）電子制御フラッシュ６１を有する。通常、フラッシュユニット６０は、ビデオ画像キャプチャ装置１０が静止画像をキャプチャするために用いられるときにのみ用いられる。フラッシュセンサ６２は、任意的に設けることができ、アーカイバル画像キャプチャの間にシーンから検知された又はアーカイバル画像キャプチャの前のプレフラッシュの目的の光に応答する信号を出力する。フラッシュセンサ信号は、専用フラッシュ制御６３により又は制御ユニット６５に応じてフラッシュユニットの出力を制御するのに用いられる。代替として、フラッシュ出力は、固定であるか、又は焦点距離のような他の情報に基づき変化できる。フラッシュセンサ６２及び輝度センサ５８の機能は、キャプチャユニット及び制御ユニットの単一の構成要素又は論理機能に組み合わせることができる。

画像センサ１８は、取り込みレンズ１６により提供されるシーンの画像を受け、画像をアナログ電子画像に変換する。電子画像センサ１８は、画像センサドライバにより動作される。画像センサ１８は、種々のビン構成を含む種々のキャプチャモードで動作できる。ビニング（binning）構成は、ピクセルが光電生成された電荷を個々に収集するために用いられるか否かを決定することによりキャプチャ中に最大解像度で動作するか、又は隣接ピクセルと一緒に電気的に接続されることによりキャプチャ中に低解像度で動作する。ビニング比は、キャプチャ中に電気的に共に接続されるピクセルの数を表す。ビニング比が高いほど、多くのピクセルがキャプチャ中に共に電気的に接続され、相応してビニングされたピクセルの感度を増大させ、画像センサの解像度を低減させることを示す。標準的なビニング比は、例えば２ｘ、３ｘ、６ｘ、及び９ｘを含む。ビニングパターンで一緒にビニングされる隣接ピクセルの分布は、同様に変化できる。通常、同様の色の隣接ピクセルは、一緒にビニングされ、画像センサにより提供される色情報を一定に保つ。本発明は、他の種類のビニングパターンを有する画像キャプチャ装置に同等に適用できる。

制御ユニット６５は、露光調節要素及び他のカメラ構成要素を制御又は調節し、画像及び他の信号の転送を実現し、画像に関する処理を実行する。図１に示された制御ユニット６５は、システム制御部６６、タイミング生成器２４、アナログ信号プロセッサ６８、アナログ−デジタル（Ａ／Ｄ）変換器８０、デジタル信号プロセッサ７０及び種々のメモリ（ＤＳＰメモリ７２ａ、システムメモリ７２ｂ、（メモリカードインタフェース８３及びソケット８２と共に）メモリカード７２ｃ、及びプログラムメモリ７２ｄ）を有する。制御ユニット６５の要素に適した構成要素は、当業者に良く知られている。これらの構成要素は、列挙されたように、又は単一の物理装置により若しくは多数の別個の構成要素により提供できる。システム制御部６６は、データ操作及び汎用プログラムの実行のためのＲＡＭを有する内蔵マイクロプロセッサのような適切に構成されたマイクロコンピュータの形式を取ることができる。制御ユニット６５の変更は、本願明細書の他の部分に記載されたように、役に立つ。

タイミング生成器２４は、時間的関係にある全ての電子構成要素のために制御信号を供給する。個々のビデオ画像キャプチャ装置１０の較正値は、ＥＥＰＲＯＭのような較正メモリ（別個に示されない）に格納され、システム制御部６６に供給される。

ユーザインタフェース（後述する）の構成要素は、制御ユニット６５に接続され、システム制御部６６で実行されるソフトウェアプログラムの組合せを用いることにより機能する。制御ユニット６５は、ズーム制御５０、焦点制御５４、マクロ制御５２、ディスプレイ制御６４、並びにシャッタ２２、開口２８、フィルタ組立体２６、ビューファインダディスプレイ７６及び状態ディスプレイ７４のための他の制御（示されない）を含む種々の制御及び関連するドライバ及びメモリを動作させる。

ビデオ画像キャプチャ装置１０は、キャプチャされた画像の情報又はプレキャプチャ情報の補足情報を提供する他の構成要素を含み得る。このような補足情報構成要素の例は、図１に示した方位センサ７８及び位置センサ７９である。方位センサ７８は、ビデオ画像キャプチャ装置１０がランドスケープモード又はポートレートモードに配置されているかを検知するために用いることができる。位置センサ７９は、ビデオ画像キャプチャ装置１０の位置を検知するために用いることができる。例えば、位置センサ７９は、カメラ位置の動きを検知する１又は複数の加速度計を有し得る。代替として、位置センサ７９は、絶対的な地理的位置を決定するために全地球測位システム衛星から信号を受信するＧＰＳ受信機であり得る。補足情報を供給する構成要素の他の例は、リアルタイムクロック、慣性位置測定センサ、ユーザキャプション又は他の情報を入力するための（キーパッド又はタッチスクリーンのような）データ入力装置を含む。

図示され説明された回路は、当業者に良く知られた種々の方法で変更できることが理解されるだろう。また、物理的回路の観点からここに記載された種々の特徴は、代替としてファームウェア若しくはソフトウェア機能又はそれらの組合せとして提供することもできる。同様に、ここに別個のユニットとして示された構成要素は、適宜組み合せ又は共有することができる。複数の構成要素は、分散した場所に設けることができる。

画像センサ１８からの初期電子画像は、アナログ信号プロセッサ６８及びＡ／Ｄ変換器８０により、増幅されてアナログからデジタルに変換され、デジタル電子画像になり、次にＤＳＰメモリ７２ａを用いてデジタル信号プロセッサ７０で処理され、システムメモリ７２ｂ又は取り外し可能メモリカード７２ｃに格納される。データバス８１として示した信号線は、画像センサ１８、システム制御部６６、デジタル信号プロセッサ７０、画像ディスプレイ４８及び他の電子構成要素を電子的に接続し、アドレス信号及びデータ信号の経路を提供する。

「メモリ」は、半導体メモリ又は磁気メモリ等に設けられた物理記憶の１又は複数の適切な大きさの論理ユニットを表す。ＤＳＰメモリ７２ａ、システムメモリ７２ｂ、メモリカード７２ｃ及びプログラムメモリ７２ｄは、それぞれ、任意の種類のランダムアクセスメモリであり得る。例えば、メモリは、フラッシュＥＰＲＯＭメモリのような内部メモリ、又は代替としてコンパクトフラッシュカードのような取り外し可能メモリ、又は両者の組合せであり得る。取り外し可能メモリカード７２ｃは、ア―カイバル画像記憶のために設けることができる。取り外し可能メモリカード７２ｃは、ソケット８２に挿入されシステム制御部６６にメモリカードインタフェース８３を介して接続されるコンパクトフラッシュ（ＣＦ）又はセキュアデジタル（ＳＤ）型カードのような任意の種類であり得る。用いられる他の種類の記憶装置は、ＰＣカード又はマルチメディアカード（ＭＭＣ）を含むが、これらに限定されない。

制御ユニット６５、システム制御部６６及びデジタル信号プロセッサ７０は、画像記憶のために用いられる同一の物理メモリに格納されたソフトウェアにより制御できる。しかし、制御ユニット６５、デジタル信号プロセッサ７０及びシステム制御部６６は、例えばＲＯＭ又はＥＰＲＯＭファームウェアメモリ内の専用プログラムメモリ７２ｄに格納されたファームウェアにより制御されることが望ましい。別個の専用メモリユニットは、他の機能をサポートするために設けることができる。キャプチャされた画像が格納されるメモリは、ビデオ画像キャプチャ装置１０に固定された、又は取り外し可能装置又はそれらの組合せに格納される。用いられるメモリの種類、及び光若しくは磁気若しくは電子のような情報の格納方法は、本発明の機能にとって重要ではない。例えば、取り外し可能メモリは、フロッピーディスク、ＣＤ、ＤＶＤ、テープカセット又はフラッシュメモリカード若しくはメモリスティックであり得る。取り外し可能メモリは、ビデオ画像キャプチャ装置１０へ及びそれから、デジタル形式で、画像レコードを転送するために用いることができる。或いは、これらの画像レコードは、電子信号として、例えばインタフェースケーブル又は無線接続を介して送信できる。

デジタル信号プロセッサ７０は、システム制御部６６に加え、本実施形態では２個のプロセッサ又は制御部のうちの１つである。複数の制御部及びプロセッサの中でのカメラ機能のこのような分配は典型的であるが、これらの制御部及びプロセッサは、カメラの機能的動作及び本発明の適用に影響を与えることなく、種々の方法で組み合わせることができる。これらの制御部及びプロセッサは、１又は複数のデジタル信号プロセッサ装置、マイクロコントローラ、プログラマブル論理装置、又は他のデジタル論理回路を有し得る。このような制御部又はプロセッサの組合せが記載されたが、１つの制御部又はプロセッサが必要な全ての機能を実行できることが明らかである。これらの変形の全ては、同一の機能を実行できる。

示した実施形態では、制御ユニット６５及びデジタル信号プロセッサ７０は、プログラムメモリ７２ｄに恒久的に格納され画像キャプチャ中に実行するためにシステムメモリ７２ｂにコピーされたソフトウェアプログラムに従って、ＤＳＰメモリ７２ａ内のデジタル画像データを操作する。制御ユニット６５及びデジタル信号プロセッサ７０は、画像処理を実施するのに必要なソフトウェアを実行する。デジタル画像は、デジタル画像を向上させるために、デジタルカメラのような他の画像キャプチャ装置と同じ様に変更され得る。例えば、デジタル画像は、補間及び輪郭強調を提供するためにデジタル信号プロセッサ７０により処理され得る。電子アーカイバル画像のデジタル処理は、ＪＰＥＧ圧縮及びファイルフォーマットのようなファイル転送に関する変更を含み得る。メタデータは、当業者に良く知られた方法でデジタル画像データと共に提供することができる。

システム制御部６６は、プログラムメモリ７２ｄに格納されたソフトウェアプログラムに基づき画像キャプチャ装置の全体の動作を制御する。プログラムメモリ７２ｄは、フラッシュＥＥＰＲＯＭ又は他の不揮発性メモリを含み得る。このメモリは、キャリブレーションデータ、ユーザ設定選択、及び画像キャプチャ装置がオフにされるとき保存されなければならない他のデータを格納するためにも用いることができる。システム制御部６６は、マクロ制御５２、フラッシュ制御６３、焦点制御５４、ズーム制御５０、及び上述のようなキャプチャユニットの構成要素の他のドライバに命令し、タイミング生成器２４に画像センサ１８及び関連要素を動作するよう命令し、制御ユニット６５及びデジタル信号プロセッサ７０にキャプチャした画像データを処理するよう命令することにより、画像キャプチャのシーケンスを制御する。画像がキャプチャされ処理された後、システムメモリ７２ｂ又はＤＳＰメモリ７２ａに格納された最終画像ファイルは、ホストコンピュータへホストインタフェース８４を介して転送され、取り外し可能メモリカード７２ｃ又は他の記憶装置に格納され、ユーザのために画像ディスプレイ４８に表示される。ホストインタフェース８４は、表示し、記憶し、操作し又は印刷するために画像データを転送するために、パーソナルコンピュータ又は他のホストコンピュータへの高速接続を提供する。このインタフェースは、ＩＥＥＥ１３９４又はＵＳＢ２．０シリアルインタフェース又は任意の他の適切なデジタルインタフェースであり得る。この方法においてデジタル形式での画像の転送は、物理媒体上又は伝送される電子信号のようなものであり得る。

図示のビデオ画像キャプチャ装置１０では、処理された画像は、システムメモリ７２ｂ内のディスプレイバッファにコピーされ、プレビュー画像のためのビデオ信号を生成するためにビデオエンコーダ８６を介して連続的に読み出される。この信号は、ディスプレイ制御部６４又はデジタル信号プロセッサ７０により処理され、撮影中画像ディスプレイ４８でプレビュー画像として提示され、又は外部モニタに表示するためにビデオ画像キャプチャ装置１０から直接出力され得る。ビデオ画像キャプチャ装置１０がビデオキャプチャのために用いられる場合、ビデオ画像はアーカイバルである。ビューファインダのプレビュー画像又は静止画アーカイバル画像キャプチャの前の画像構成として用いられる場合、ビデオ画像は非アーカイバルである。

ビデオ画像キャプチャ装置１０は、オペレータに出力を提供しオペレータ入力を受けるユーザインタフェースを有する。ユーザインタフェースは、１又は複数のユーザ入力制御９３及び画像ディスプレイ４８を有する。ユーザ入力制御９３は、ボタン、ロッカースイッチ、ジョイスティック、回転ダイヤル、タッチスクリーン等の組合せの形式で提供することができる。ユーザ入力制御９３は、画像キャプチャボタン、レンズユニットのズームを制御する「ズームイン／アウト」制御、及び他のユーザ制御を有し得る。

ユーザインタフェースは、露光レベル、残りの露光、バッテリ状態、フラッシュ状態等のようなカメラ情報をオペレータに提示する１又は複数のディスプレイ又はインジケータを有し得る。画像ディスプレイ４８は、カメラ設定のような非画像情報を表示するために代わりに又は追加で用いることもできる。例えば、オプション選択肢を提示するメニュー及びキャプチャした画像を検査するレビューモードを含むグラフィカルユーザインタフェース（ＧＵＩ）が設けられ得る。画像ディスプレイ４８及びデジタルビューファインダディスプレイ７６の両方は、同じ機能を提供し、一方又は他方が除去されてもよい。ビデオ画像キャプチャ装置１０は、音声情報を提示するスピーカを含み得る。この音声情報は、ビデオキャプチャに関し、状態ディスプレイ７４、画像ディスプレイ４８又はそれら両方に示された視覚的警告の代わりに又はそれに加えて音声の警告を提供し得る。ユーザインタフェースの構成要素は、制御ユニットに接続され、システム制御部６６で実行されるソフトウェアプログラムの組合せを用いることにより機能する。

電子画像は、最終的に、ディスプレイ制御部６４により動作される画像ディスプレイ４８へ送信される。異なる種類の画像ディスプレイ４８を用いることができる。例えば、画像ディスプレイ４８は、液晶ディスプレイ（ＬＣＤ）、陰極線管ディスプレイ、又は有機発光ダイオード（ＯＬＥＤ）であり得る。画像ディスプレイ４８は、望ましくは、カメラ本体に取り付けられ、写真を撮る人により直ちに見えるようにされる。

画像ディスプレイ４８に画像を示すステップの一部として、ビデオ画像キャプチャ装置１０は、特定のディスプレイへの較正のために画像を変更できる。例えば、画像ディスプレイ４８及び画像センサ１８並びに電子画像キャプチャユニット１４の他の構成要素のグレースケール、色域及び白色点の観点から異なる性能に対応するよう各画像を変更する変換が提供され得る。望ましくは、画像ディスプレイ４８は、画像の全体を示すことができるよう選択される。しかしながら、更に限られたディスプレイを用いることができる。後者の場合には、画像を表示するステップは、画像の一部、コントラストレベル、又は画像内の情報の他の一部を切り出す較正ステップを含む。

また、ここの記載されたビデオ画像キャプチャ装置１０は、請求項に定められたものを除いて、特定の特徴セットに限定されないことが理解されるだろう。例えば、ビデオ画像キャプチャ装置１０は、専用ビデオカメラであり、又はビデオシーケンスをキャプチャできるデジタルカメラであり得、取り外し可能及び交換可能のようなここに詳細に議論されなかった種々の特徴を有し得る。ビデオ画像キャプチャ装置１０は、ポータブルであり又は位置が固定され、撮像に関連する又は関連しない１又は複数の他の機能を提供できる。例えば、ビデオ画像キャプチャ装置１０は、携帯電話機のカメラであり、又は特定の他の方法で通信機能を提供できる。同様に、ビデオ画像キャプチャ装置１０は、コンピュータハードウェア及びコンピュータ制御機器を有し得る。ビデオ画像キャプチャ装置１０は、複数の電子画像キャプチャユニット１４を有し得る。

図２Ａは、ビデオ画像キャプチャ装置２０及びその関連視野２１５の説明を示す。ここでは、３個のオブジェクト（ピラミッドオブジェクト２２０、ボールオブジェクト２３０、及び方形ブロックオブジェクト２４０）が視野２１５に置かれる。オブジェクトは、画像キャプチャ装置から異なる距離に置かれる。図２Ｂは、図２Ａのビデオ画像キャプチャ装置２１０によりキャプチャされた、視野２１５のキャプチャ画像フレーム２５０の説明を示す。ピラミッドオブジェクト位置２６０、ボールオブジェクト位置２７０及び方形オブジェクト位置２８０は、それぞれ、図２Ａに示されたような視野２１５内のピラミッドオブジェクト２２０、ボールオブジェクト２３０及び方形ブロックオブジェクト２４０の位置を示す。

図３Ａ及び４Ａは、ビデオ画像キャプチャ装置２１０がキャプチャとキャプチャの間で移動するとき、視野２１５がどのように変化するかを示す。図３Ａは、キャプチャとキャプチャの間のビデオ画像キャプチャ装置２１０の横方向の動きｄに対する視野の変化に対応するキャプチャ画像フレーム３５０の説明を示す。この例では、視野２１５は視野３１５に変化し、キャプチャ画像フレーム３５０内で新しいオブジェクト位置（ピラミッドオブジェクト位置３６０、ボールオブジェクト位置３７０及び方形ブロックオブジェクト位置３８０）を生じる。

オブジェクト（ピラミッドオブジェクト２２０、ボールオブジェクト２３０、及び方形ブロックオブジェクト２４０）間の相対位置は、視野内で同じ距離だけ全て横方向にシフトし、視野はシーン内で角度の付いた境界を有するので、キャプチャされた画像内のオブジェクト位置の変化は、ビデオ画像キャプチャ装置２１０からのオブジェクトの距離により影響を受ける。その結果、図２Ｂと図３Ｂの比較は、キャプチャされた画像内のオブジェクト位置が画像キャプチャ装置の横方向の動きに対してどれだけ変化したかを示す。

オブジェクト位置の変化（視差として知られる）をより明確に視覚化するために、図５Ａは、図２Ｂのキャプチャ画像フレーム２５０の、図３Ｂのキャプチャ画像フレーム３５０との画像オーバレイ５５０を示す。ピラミッドオブジェクト２２０は、ビデオ画像キャプチャ装置２１０に最も近いので、大きなピラミッドオブジェクト視差５５５を有する。方形ブロックオブジェクト２４０は、ビデオ画像キャプチャ装置２１０から最も遠いので、小さな方形ブロックオブジェクト視差５６５を有する。ボールオブジェクト２３０は、ビデオ画像キャプチャ装置２１０から中程度の距離を有するので、中程度のボールオブジェクト視差５６０を有する。

図４Ａは、キャプチャとキャプチャの間のビデオ画像キャプチャ装置２１０の回転の動きｒに対する視野の変化に対応するキャプチャ画像フレーム４５０の説明を示す。ビデオ画像キャプチャ装置２１０のこの回転の動きでは、視野２１５は視野４１５に変化する。このレイでは、オブジェクトは、全て、同じ角度量だけ動き、画像全域の全ての画像の横方向の動きとしてキャプチャ画像フレーム内に現れる。図２Ｂと図４Ｂの比較は、オブジェクトがピラミッドオブジェクト位置４６０、ボールオブジェクト位置４７０及び方形ブロックオブジェクト位置４８０へシフトしていることを示す。

オブジェクト位置の変化をより明確に視覚化するために、図５Ｂは、図２Ｂのキャプチャ画像フレーム２５０の、図４Ｂのキャプチャ画像フレーム４５０との画像オーバレイ５８０を示す。この例では、ピラミッドオブジェクト２２０はピラミッドオブジェクト視差５８５を有し、方形ブロックオブジェクト２４０は方形ブロックオブジェクト視差５９５を有し、ボールオブジェクト２３０はボールオブジェクト視差５９０を有し、これらは全てほぼ等しい大きさである。

奥行きの知覚を生成するために、ビューアの左目と右目に異なる視点を有する画像を提示することは、当業者に良く知られている。ビューアにステレオペア画像を同時に又は交互に提示する種々の方法が利用可能であり、当業者に良く知られている。これらの方法は、偏光型ディスプレイ、レンズ式ディスプレイ、バリア方式ディスプレイ、シャッタ−グラス方式ディスプレイ、アナグリフディスプレイ、及びその他を含む。本発明に従って形成された知覚深度を有するビデオは、これらの種類の立体ディスプレイのうちの任意のものに表示できる。幾つかの実施形態では、ビデオ画像キャプチャ装置は、ビデオ画像キャプチャ装置で直接的に知覚深度を有するビデオを見るための手段を有し得る。例えば、レンチキュラーアレイを画像ディスプレイ４８（図１）に配置し、知覚深度を有するビデオを直接見ることを可能にできる。当業者に知られているように、ステレオ画像ペアの中の左画像及び右画像の列は、交互にされ、レンチキュラーアレイの後に表示され、左及び右のステレオ画像が、レンチキュラーアレイによりビューアの左目及び右目にそれぞれ向けられ、立体画像の光景を提供できるようにする。代替の実施形態では、ステレオ画像ペアは、画像ディスプレイ４８で直接表示するために、アナグリフ画像としてエンコードされ得る。この例では、ユーザは、各目に対して相補的カラーフィルタを有するアナグリフグラスを用いて知覚深度を有するビデオを直接見ることができる。

本発明は、単眼ビデオ画像キャプチャ装置２１０を用いてキャプチャされたビデオシーケンスからステレオペアを選択することにより、ステレオペアを含む知覚深度を有するビデオを生成する方法を提供する。この方法の特徴は、各ステレオペアの中のビデオ画像がキャプチャビデオシーケンスから選択され、各ステレオペアの中のビデオ画像がキャプチャビデオシーケンス中の多数のビデオ画像により隔てられ、ステレオペアが知覚深度を提供するために視点において所望の差を提供するようにする。ステレオペアの中のビデオ画像を隔てる多数のビデオ画像は、フレームオフセットと称される。

本発明に従ってステレオペアのビデオ画像を選択するとき、ステレオペアの中で所望の知覚深度を提供するビデオ画像間の視点の変化を提供するために、画像キャプチャ装置の動きが考慮されて適切なフレームオフセットを決定する。ビデオキャプチャ中のビデオ画像キャプチャ装置２１０の横方向の動きは、図３Ａに示されるように、フレームオフセットを増大することにより、横方向の動きｄ又はステレオペアの中のビデオ画像間の基準線が増大するにつれて増大する知覚の深度を提供する。このシナリオでは、画像キャプチャ装置に近いオブジェクトは、画像キャプチャ装置２１０から遠いオブジェクトより大きな視差を示すので、視野の中の異なるオブジェクトに対する知覚深度は、ビデオ画像キャプチャ装置２１０からのオブジェクトの実際の距離と一致する。（視差は、ステレオミスマッチ又はパララックスと称される場合がある）。ビデオ画像間の横方向の動きの距離での視差の変化は、図５Ａに示される。

これと対照的に、図４Ａに示されるようなビデオキャプチャ中の画像キャプチャ装置の回転の動きは、画像キャプチャ装置の純粋な回転の動きがシーンにおける新たな視点を提供しないので、画像キャプチャ装置からのオブジェクトの実際の距離と一致しない知覚深度を提供する。むしろ、これは単に異なる視野を提供する。その結果、ビデオ画像キャプチャ装置２１０に近いオブジェクトは、ビデオ画像キャプチャ装置２１０から遠く離れたオブジェクトと、ステレオペアの中で同じ視差を示す。この効果は、それぞれ図２Ｂ及び４Ｂのキャプチャ画像フレーム２５０及び４５０の画像オーバレイ５８０を示す図５Ｂから分かる。先に記したように、異なるオブジェクトに対する視差は、画像キャプチャ装置のこの回転の動きでは同じである。シーン内の全てのオブジェクトは、同じ視差を有するので、画像キャプチャ装置が回転して動いた場合のフレームオフセットを有するビデオ画像を含むステレオペアは、知覚深度を示さない。

ビデオ画像のキャプチャとキャプチャの間の画像キャプチャ装置の縦方向の動きは、深度の知覚を提供するステレオペアの中の視差を生成しない。この効果は、ビューアの目が水平方向に離れているという事実による。縦方向の視差を有するステレオ画像ペアは、見難いので、回避されるべきである。

幾つかの実施形態では、シーン内のオブジェクトの局所的な動きも、単眼ビデオ画像キャプチャ装置でキャプチャされたビデオから知覚深度を有するビデオを生成するときに考慮される。これは、ステレオペアの中の異なるビデオ画像は、異なる時間にキャプチャされているからである。幾つかの例では、局所的な動きは、画像キャプチャ装置の動きと同様に、シーン内のオブジェクトについて異なる視点を提供し、局所的な動きが存在するビデオ画像を含むステレオペアが深度の知覚を提供できるようにする。これは、横方向に生じる局所的な動きに対して特に当てはまる。

本発明は、知覚深度を有するビデオのビデオ画像のステレオペアを形成するために、キャプチャされた単眼ビデオ内のビデオ画像を選択する方法を提供する。方法は、ビデオ画像間の動きを特定するためのキャプチャ後のビデオ画像の分析に加えて、各ビデオ画像について画像キャプチャ装置の相対位置を決定するために、単眼ビデオのキャプチャ中に画像キャプチャ装置の動き追跡情報を集めるステップを有する。画像キャプチャ装置の動き追跡情報及びキャプチャ後のビデオ画像の分析を用いることにより、横方向の動き、縦方向の動き、回転の動き、局所的な動き及びこれらの組合せを含む種々の動きの種類が特定できる。動きの速度も決定できる。本発明は、特定された動きの種類及び動きの速度を用い、ビデオに知覚深度を補うステレオペアの中のビデオ画像間のフレームオフセットを選択する。

ビデオキャプチャ中のビデオ画像キャプチャ装置２１０の横方向の動き速度が一定である単純な例では、ステレオペアのビデオ画像を選択するのに一定のフレームオフセットを用いることができる。例えば、ステレオペアのために選択されたビデオフレーム間に２０ｍｍの基準線を設けるため、ビデオ画像キャプチャ装置２１０が２０ｍｍの距離を移動したビデオフレームが特定できる。（基準線は、ステレオペアについてのカメラ位置間の水平オフセットである）。１００ｍｍ／秒の横方向速度で移動している画像キャプチャ装置で３０フレーム／秒でキャプチャされたビデオでは、約２０ｍｍの基準線を提供するフレームオフセットは６フレームである。ビデオキャプチャ中にビデオ画像キャプチャ装置２１０の横方向の動き速度が変化する例では、ステレオペア内で一定の基準線を提供するため、フレームオフセットは動きの速度の変化に応答して変化する。例えば、動きの速度が５０ｍｍ／秒まで遅くなる場合、フレームオフセットは１２フレームまで増大する。反対に、動きの速度が２００ｍｍ／秒まで増大する場合、フレームオフセットは３フレームまで減少する。幾つかの実施形態では、自然に見える立体画像を提供するために、基準線は、人間の観察者の目と目の間の標準的な距離に対応して設定できる。他の実施形態では、所望の程度の知覚深度を提供するために、基準線の値は、ユーザにより選択できる。ここで、基準線の値が大きいほど知覚深度が大きく、基準線の値が小さいほど知覚深度は小さくなる。

ビデオ画像キャプチャ装置２１０の純粋な縦方向の動きの場合には、通常、ステレオペアのビデオ画像を選択するのに、小さいフレームオフセット（又は全くフレームオフセットがない）が用いられるべきである。これは、縦方向の視差が深度として知覚されず、縦方向の視差を有し生成されたステレオペアは見難いからである。この例では、フレームオフセットは、例えば０乃至２フレームであり得る。ここで、零のフレームオフセットは、同じビデオ画像がステレオペア内の両方のビデオ画像に対して用いられること、及びステレオペアがビューアに知覚深度を提供しないが、見易いことを示す。

ビデオ画像キャプチャ装置２１０の純粋な回転の動きの例では、縦方向の動きの例と同様の理由で、通常、小さいフレームオフセットが用いられるべきである。これは、回転方向の視差が深度として知覚されないためである。この例では、フレームオフセットは、例えば、０乃至２フレームであり得る。

局所的な動きが存在するとき、フレームオフセットは、画像キャプチャ装置の動き追跡により決定されるような全体の動き（グローバルモーション）、局所的な動き単独、又は全体的動きと局所的動きの組合せに基づき選択できる。いずれの場合も、横方向の動き速度が一定の例で前述したように、局所的な動きの横方向の速度が増大すると、フレームオフセットは減少する。同様に、局所的な動きが縦方向の動き又は回転の動きを主に有する場合、フレームオフセットは同様に減少する。

本発明は、ビデオ画像キャプチャ装置２１０の動きの動き追跡情報を用い、ビデオ画像間の横方向及び縦方向の動きを特定する。幾つかの実施形態では、動き追跡情報は、位置センサを用いて、ビデオと一緒にキャプチャされる。例えば、この動き追跡情報は、加速度計で集めることができる。ここで、データは、加速度の観点で提供され、時間にわたる積分により速度及び位置に変換される。他の実施形態では、動き追跡情報は、キャプチャビデオフレームを分析してビデオ画像キャプチャ装置２１０の動きを推定することにより決定できる。

ビデオキャプチャ中の画像キャプチャ装置の回転の動きは、ジャイロスコープを用いて集められた動き追跡情報から、又は代替としてビデオ画像の分析により決定できる。ジャイロスコープは、画像キャプチャ装置の回転速度情報を直接、角速度の観点で提供できる。ビデオ画像を分析して画像キャプチャ装置の回転の動きを決定する例では、連続ビデオ画像を互いに比較し、ビデオ画像内のオブジェクトの相対位置を決定する。ビデオ画像内のオブジェクトの相対位置は、オブジェクト位置の変化をフレームレートからのビデオ画像間のキャプチャの時間で分解することにより、ピクセル／秒の観点で画像の動き速度に変換される。ビデオ画像内の異なるオブジェクトの均一な画像動き速度は、回転の動きの兆候である。

連続ビデオ画像内のオブジェクト位置の比較によるビデオ画像の分析は、ビデオ画像キャプチャ装置２１０の局所的な動き及び横方向若しくは縦方向の動きを決定するためにも用いることができる。これらの例では、ビデオ画像間のオブジェクトの動きは、不均一である。人々がシーンを通じて移動しているようなオブジェクトの局所的な動きの例では、オブジェクトは、異なる方向に、異なる画像動き速度で移動する。ビデオ画像キャプチャ装置２１０の横方向又は縦方向の動きの例では、オブジェクトは、オブジェクトがビデオ画像キャプチャ装置２１０からどれだけ離れているかに依存して、同じ方向に同じ画像動き速度で移動する。

表１は、動き追跡情報とビデオ画像分析の組合せから特定された動きの種類のまとめ、及び本発明の実施形態により提供されたステレオペアのフレームオフセットを決定するために用いられた結果として生じた技術である。表１の情報から分かるように、動き追跡情報及びビデオ画像分析の両方が、異なる種類の動き及びビデオキャプチャ中に現れる若しくはシーン内に存在し得る動きを区別するのに有用である。

幾つかの実施形態では、ビデオ画像キャプチャ装置２１０は、加速度計のような位置センサを有しなくてもよい。この例では、画像分析が、依然として、フレームオフセットを選択するのに有用な情報を提供する。しかし、幾つかの例では、異なる種類のカメラの動きを区別できなくてもよい。通常、ユーザにとって見難いシナリオを回避するために、カメラの動きに有意な不確実性が存在する場合には、小さいフレームオフセットを用いることが望ましい。

［表１］特定された動き、及び結果として生じたステレオペア間のフレームオフセット

図６Ａは、本発明の一実施形態による、知覚深度を有するビデオを形成する方法のフローチャートである。基準線を選択するステップ６１０では、ステレオペアの中で所望の程度の深度知覚を提供する基準線６１５がユーザにより選択される。基準線６１５は、ステレオペアの中のビデオ画像間の横方向のオフセット距離の形式、又はステレオペアの中のビデオ画像内のオブジェクト間のピクセルオフセットの形式である。

ビデオをキャプチャするステップ６２０で、単眼ビデオ画像キャプチャ装置でビデオ画像シーケンスがキャプチャされる。好適な実施形態では、動き追跡情報６２５は、位置センサを用いて、ビデオ画像６４０と一緒に同期した形式でキャプチャされる。

動き追跡情報を分析するステップ６３０では、動き追跡情報６２５は、ビデオキャプチャ処理中のカメラの動き６３５を特徴付けるために分析される。幾つかの実施形態では、カメラの動き６３５は、ビデオ画像キャプチャ装置の動きの種類及び速度を表す。

ビデオ画像を分析するステップ６４５では、ビデオ画像６４０は、シーン内の画像の動き６５０を特徴付けるために、分析され互いに比較される。画像の動き６５０は、画像の動きの種類及び画像の動きの速度を表し、全体的な画像の動き及び局所的な画像の動きの両方を含み得る。

ビデオ画像の比較は、ビデオ画像内の対応するオブジェクトの相対位置をピクセル毎に又はブロック毎に相関させることにより行うことができる。ピクセル毎の相関は、より正確な画像の動きの速度を提供するが、遅く、高い計算能力を必要とする。また、ブロック毎の相関は、あまり正確でない動き速度の指標を提供するが、少ない計算能力しか必要とせず、速い。

ビデオ画像を比較して動きの種類及び画像の動きの速度を決定する効率的な方法は、ＭＰＥＧビデオエンコーディング方式と関連するレバレッジ計算によっても行うことができる。ＭＰＥＧは、圧縮ビデオデータをエンコーディングする一般的な規格であり、Ｉフレーム、Ｐフレーム及びＢフレームの使用に頼る。Ｉフレームは画面内符号化される。つまり、Ｉフレームは、他のフレームを参照せずに再構成することができる。Ｐフレームは、最後のＩフレーム又はＰフレームから前方予測される。つまり、Ｐフレームは、他のフレーム（Ｉ又はＰ）のデータ無しでは再構成できない。Ｂフレームは、最後の／次のＩフレーム又はＰフレームから前方予測及び後方予測される。つまり、Ｂフレームは、再構成するためには２つの他のフレームを必要とする。Ｐフレーム及びＢフレームは、画面間符号化フレームと称される。

図９は、ＭＰＥＧ符号化フレームシーケンスの例を示す。Ｐフレーム及びＢフレームは、それらに関連したブロック動きベクトルを有する。これは、ＭＰＥＧデコーダが、Ｉフレームを開始点として使用して、フレームを再構成することを可能にする。ＭＰＥＧ−１及びＭＰＥＧ−２では、これらのブロック動きベクトルは、１６ｘ１６ピクセルブロック（マクロブロックと称される）で計算され、水平及び垂直動き成分として表される。マクロブロック内の動きが相反する場合、Ｐフレーム及びＢフレームは、ブロック動きベクトルの代わりに実際のシーンの内容を画面内符号化することもできる。ＭＰＥＧ−４では、マクロブロックは、可変サイズであり、１６ｘ１６ピクセルに限定されない。

好適な実施形態では、ＭＰＥＧのＰ及びＢフレームと関連するブロック動きベクトルは、ビデオシーケンス内の全体的な画像の動き及び局所的な画像の動きの両方を決定するために用いることができる。全体的な画像の動きは、通常、ビデオ画像キャプチャ装置２１０の動きと関連する。Ｐ及びＢフレームの何れかから決定された（又は代替として動き追跡情報６２５から決定された）ビデオ画像キャプチャ装置２１０と関連する全体的な画像の動きは、ＭＰＥＧ動きベクトルから減算され、局所的な画像の動きの推定を与えることができる。

次に、フレームオフセットを決定するステップ６５５は、決定されたカメラの動き６３５及び画像の動き６５０に応答してステレオ画像ペアを形成するために基準線６１５と一緒に用いられるフレームオフセット６６０を決定するために用いられる。好適な実施形態では、カメラの動き６３５及び画像の動き６５０の動きの種類及び動きの速度は、キャプチャビデオ中の各ビデオ画像に用いるべきフレームオフセットを決定するために、表１と一緒に用いられる。例えば、位置センサからの動き（カメラの動き６３５）が横方向の動きに対応すると決定され、且つ画像分析からの動き（画像の動き６５０）が均一な横方向の動きであると決定された場合、カメラの動きの種類は横方向であると結論づけることができ、フレームオフセットは位置センサからの検知位置に基づき決定することができる。

幾つかの実施形態では、フレームオフセットΔＮ_ｆは、カメラの横方向の位置が基準線６１５によりシフトされているフレームを特定することにより決定される。他の実施形態では、横方向の速度Ｖ_Ｘは、特定のフレームに対して決定され、フレームオフセットは相応して決定される。この例では、選択されるフレーム間の時間差Δｔは、次式により基準線Δｘ_ｂから決定できる。

次に、フレームオフセットΔＮ_ｆは、次式を用いてＲ_ｆから決定できる。

次に、知覚深度を有するビデオ６７０は、知覚深度を有するビデオを形成するステップ６６５を用いて形成される。知覚深度を有するビデオ６７０は、それぞれステレオ画像ペアを含むステレオビデオフレームのシーケンスを有する。次に、ｉ番目のステレオビデオフレームＳ（ｉ）のステレオ画像ペアは、ｉ番目のビデオフレームＦ（ｉ）をフレームオフセットＦ（ｉ＋ΔＮ_ｆ）だけ離れたビデオフレームと対にすることにより形成できる。望ましくは、カメラが右へ動いている場合、ｉ番目のフレームは、ステレオペアの左画像として用いられ、カメラが左へ動いている場合、ｉ番目のフレームは、ステレオペアの右画像として用いられるべきである。知覚深度を有するビデオ６７０は、次に、当業者に知られた任意の方法を用いてステレオデジタルビデオファイルに格納され得る。知覚深度を有するビデオ６７０は、前述したような従来知られた任意の立体画像表示技術（例えば、左目と右目の直交偏光フィルタを有する眼鏡と結合された偏光型ディスプレイ、レンチキュラーディスプレイ、バリアディスプレイ、シャッタグラスディスプレイ及び左目と右目の相補型カラーフィルタを有する眼鏡と結合されたアナグリフディスプレイ）を用いてユーザにより見ることができる。

本発明の代替の実施形態は、図６Ｂに示される。この例では、フレームオフセット６６０は、図６Ａに関して記載したのと同じステップを用いて決定される。この例では、しかしながら、知覚深度を有するビデオ６７０を形成し格納するのではなく、ステレオペアメタデータを有するビデオを格納するステップ６７５が用いられ、後の時間に知覚深度を有するビデオを形成するために用いることができる情報を格納する。このステップは、キャプチャビデオ画像６４０を、どのビデオフレームがステレオペアのために用いられるべきかを示すメタデータと一緒に格納し、ステレオペアメタデータを有するビデオ６８０を形成する。幾つかの実施形態では、ビデオと共に格納されたステレオペアメタデータは、単に、ビデオフレーム毎に決定されたフレームオフセットである。特定のビデオフレームのフレームオフセットは、ビデオフレームと関連付けられたメタデータタグとして格納できる。代替としてフレームオフセットメタデータは、ビデオファイルと関連付けられた別個のメタデータファイルに格納できる。知覚深度を有するビデオを表示することが望ましいとき、フレームオフセットメタデータは、ステレオ画像ペアを形成するために用いられるべき片方のビデオフレームを特定するために用いることができる。代替の実施形態では、ステレオペアメタデータは、フレームオフセットではなく、フレーム番号又は他の適切なフレーム識別子であり得る。

図６Ｂに示した方法は、知覚深度を有する３Ｄビデオを提供できる能力を保ちながら、図６Ａの実施形態と比べてビデオファイルのファイルサイズを低減するという利点を有する。ビデオファイルは、フォーマット変換の実行を要せず、従来の２Ｄビデオディスプレイでも見ることができる。フレームオフセットのファイルサイズは比較的小さいので、フレームオフセットデータはキャプチャビデオのメタデータと共に格納できる。

通常、位置センサ７９（図１）が、動き追跡情報６２５（図６Ａ）を与えるために用いられる。本発明の幾つかの実施形態では、位置センサ７９は、位置情報又は動き追跡情報をビデオ画像キャプチャ装置２１０に提供する立体変換ソフトウェアと一緒に、１又は複数の加速度計若しくはジャイロスコープを含む取り外し可能メモリカードにより提供できる。このアプローチは、位置センサを任意的な付属品として提供し、ビデオ画像キャプチャ装置２１０の基本コストを出来る限り低くし、一方ではビデオ画像キャプチャ装置２１０を本発明の前述の実施形態で記載したような知覚深度を有するビデオを生成するために用いることを依然として可能にする。取り外し可能メモリカードは、図１のメモリカード７２ｃの代替として用いることができる。幾つかの実施形態では、取り外し可能メモリカードは、単に位置センサの役目をし、位置データ又は特定の他の形式の動き追跡情報をビデオ画像キャプチャ装置２１０内のプロセッサに提供する。他の構成では、取り外し可能メモリカードは、適切なソフトウェアと一緒に、知覚深度を有するビデオを形成するプロセッサも含み得る。

図７は、ビルトイン動き追跡装置を有する取り外し可能メモリカード７１０を示す。この使用に適切な動き追跡装置は、ＳＴＭｉｃｒｏから、３．０ｘ５．０ｘ０．９ｍｍの大きさの３軸加速度計及び４．４ｘ７．５ｘ１．１ｍｍの大きさの３軸ジャイロスコープの形式で入手可能である。図７は、ＳＤ取り外し可能メモリカード７１０及び上述の３軸ジャイロスコープ７２０及び３軸加速度計７３０の相対的な大きさを示す。

図８は、カードの取り外し可能メモリカード内に知覚深度を有するビデオ画像を形成するために必要な構成要素を含む、ビルトイン動き追跡装置を有する取り外し可能メモリカード７１０のブロック図である。図７を参照して記載したように、取り外し可能メモリカード７１０は、動き追跡情報６２５をキャプチャするジャイロスコープ７２０及び加速度計７３０を含む。ジャイロスコープ７２０及び加速度計７３０からの信号をデジタル化するために、１又は複数のアナログ−デジタル（Ａ／Ｄ）変換器８５０が用いられる。動き追跡情報６２５は、任意的に、知覚深度を有するビデオ画像を形成するのに使用するため又は他の用途のために、ビデオ画像キャプチャ装置２１０のプロセッサへ直接送ることができる。ビデオ画像キャプチャ装置２１０によりキャプチャされたビデオ画像６４０は、動き追跡情報６２５と同期してメモリ８６０に格納される。

図６Ａ又は６Ｂのフローチャートのステップを通じて知覚深度を有するビデオ６７０を形成するためにキャプチャビデオ画像６４０の変換を実施する立体変換ソフトウェア８３０は、メモリ８６０に、又はＡＳＩＣのような特定の他の形式の記憶装置にも格納できる。幾つかの実施形態では、メモリ８６０の一部は、取り外し可能メモリカード７１０とビデオ画像キャプチャ装置の他のメモリとの間で共有できる。幾つかの実施形態では、立体変換ソフトウェア８３０は、知覚深度を有するビデオを生成する種々のモードの間で選択する及び基準線６１５のような種々の選択肢を指定するユーザ入力８７０を受け付ける。通常、ユーザ入力８７０は、図１に示したようなビデオ画像キャプチャ装置２１０のユーザ入力制御９３を通じて供給できる。立体変換ソフトウェア８３０は、プロセッサ８４０を用い、格納されたビデオ画像６４０及び動き追跡情報６２５を処理して知覚深度を有するビデオ６７０を生成する。プロセッサ８４０は、取り外し可能メモリカード７１０の内部にあるか、又は代替としてビデオ画像キャプチャ装置の内部のプロセッサであり得る。知覚深度を有するビデオ６７０は、メモリ８６０に格納されるか、又はビデオ画像キャプチャ装置若しくはホストコンピュータにある特定の他のメモリに格納できる。

幾つかの実施形態では、位置センサ７９は、有線若しくは無線接続を用いてビデオ画像キャプチャ装置２１０と通信する外部位置検知アクセサリとして設けることができる。例えば、外部位置検知アクセサリは、ＵＳＢ若しくはＢｌｕｅｔｏｏｔｈ接続を用いてビデオ画像キャプチャ装置２１０に接続できる全地球測位システム受信機を含むドングルであり得る。外部位置検知アクセサリは、受信信号を処理しビデオ画像キャプチャ装置２１０と通信するソフトウェアを含み得る。外部位置検知アクセサリは、図６Ａ又は６Ｂのフローチャートのステップを通じて知覚深度を有するビデオ６７０を形成するためにキャプチャビデオ画像６４０の変換を実施する立体変換ソフトウェア８３０も含み得る。

幾つかの実施形態では、画像処理は、知覚深度を有するビデオを形成するステップ６６５においてステレオ画像ペア内のビデオフレームの一方又は両方を調整して見る経験を向上させるために用いることができる。例えば、ビデオ画像キャプチャ装置２１０が縦方向に動いたこと又は２つのビデオフレームがキャプチャされた時間の間で傾いたことを検出した場合、ビデオフレームの一方又は両方は、縦方向にシフトされるか又は回転され、ビデオフレームを更に良好に揃える。動き追跡情報６２５は、適切な量のシフト及び回転を決定するために用いることができる。シフト又は回転がビデオフレームに適用される場合には、通常、ビデオフレームをトリミングし、シフト／回転画像がフレームを満たすようにすることが望ましい。

１０ビデオ画像キャプチャ装置
１４電子画像キャプチャユニット
１６レンズ
１８画像センサ
２０光路
２２シャッタ
２４タイミング生成器
２６フィルタ組立体
２８開口
４４光学システム
４８画像ディスプレイ
５０ズーム制御
５２マクロ制御
５４焦点制御
５６レンジファインダ
５８輝度センサ
６０フラッシュシステム
６１フラッシュ
６２フラッシュセンサ
６３フラッシュ制御
６４ディスプレイ制御
６５制御ユニット
６６システム制御
６８アナログ信号プロセッサ
７０デジタル信号プロセッサ
７２ａデジタル信号プロセッサ（ＤＳＰ）メモリ
７２ｂシステムメモリ
７２ｃメモリカード
７２ｄプログラムメモリ
７４状態ディスプレイ
７６ビューファインダディスプレイ
７８方位センサ
７９位置センサ
８０アナログ−デジタル（Ａ／Ｄ）変換器
８１データバス
８２ソケット
８３メモリカードインタフェース
８４ホストインタフェース
８６ビデオエンコーダ
９３ユーザ入力制御
２１０ビデオ画像キャプチャ装置
２１５視野
２２０ピラミッドオブジェクト
２３０ボールオブジェクト
２４０方形ブロックオブジェクト
２５０キャプチャ画像フレーム
２６０ピラミッドオブジェクト位置
２７０ボールオブジェクト位置
２８０方形ブロックオブジェクト位置
３１５視野
３５０キャプチャ画像フレーム
３６０ピラミッドオブジェクト位置
３７０ボールオブジェクト位置
３８０方形ブロックオブジェクト位置
４１５視野
４５０キャプチャ画像フレーム
４６０ピラミッドオブジェクト位置
４７０ボールオブジェクト位置
４８０方形ブロックオブジェクト位置
５５０画像オーバレイ
５５５ピラミッドオブジェクト視差
５６０ボールオブジェクト視差
５６５方形ブロックオブジェクト視差
５８０画像オーバレイ
５８５ピラミッドオブジェクト視差
５９０ボールオブジェクト視差
５９５方形ブロックオブジェクト視差
６１０基準線を選択するステップ
６１５基準線
６２０ビデオをキャプチャするステップ
６２５動き追跡情報
６３０動き追跡情報を分析するステップ
６３５カメラの動きステップ
６４０ビデオ画像
６４５ビデオ画像を分析するステップ
６５０画像の動き
６５５フレームオフセットを決定するステップ
６６０フレームオフセット
６６５知覚深度を有するビデオを形成するステップ
６７０知覚深度を有するビデオ
６７５ステレオペアメタデータを有するビデオを格納するステップ
６８０ステレオペアメタデータを有するビデオ
７１０取り外し可能メモリカード
７２０ジャイロスコープ
７３０加速度計
８３０立体変換ソフトウェア
８４０プロセッサ
８５０アナログ−デジタル（Ａ／Ｄ）変換器
８６０メモリ
８７０ユーザ入力

Claims

知覚深度を有するビデオを提供するビデオ画像キャプチャ装置であって、
ビデオフレームをキャプチャする画像センサ、
シーンを前記画像センサに単一視野から画像化する光学システム、
前記画像センサによりキャプチャされたビデオ画像シーケンスを格納するデータ記憶システム、
前記ビデオ画像シーケンスについて、前記画像キャプチャ装置の相対位置を検知する位置検知装置、
検知した前記画像キャプチャ装置の相対位置の指標を格納されたビデオ画像シーケンスと関連付けて前記データ記憶システムに格納する手段、
データプロセッサ、
前記データプロセッサに通信可能に接続されたメモリシステムであって、前記データプロセッサに、
前記画像キャプチャ装置の格納された相対位置に応じて、ビデオ画像のステレオ対を選択し、
前記ビデオ画像のステレオ対のシーケンスを用いて、知覚深度を有するビデオを提供する、
ことにより知覚深度を有するビデオを提供させるよう構成された命令を格納するメモリシステム、
を有するビデオ画像キャプチャ装置。
前記位置検知装置は、加速度計、ジャイロスコープ装置又は全地球測位システム装置を有する、請求項１に記載のビデオ画像キャプチャ装置。
前記位置検知装置は、前記ビデオ画像キャプチャ装置から取り外し可能である、請求項１に記載のビデオ画像キャプチャ装置。
前記の取り外し可能な位置検知装置は、取り外し可能メモリカードレセプタクル内に合う形式である、請求項３に記載のビデオ画像キャプチャ装置。
取り外し可能な動き追跡装置は、前記データプロセッサに知覚深度を有するビデオを提供させるよう構成された命令を格納する前記メモリシステムを更に有する、請求項３に記載のビデオ画像キャプチャ装置。
前記位置検知装置は、前記ビデオ画像キャプチャ装置の外部にあり、有線又は無線接続を用いて前記ビデオ画像キャプチャ装置と通信する、請求項１に記載のビデオ画像キャプチャ装置。
前記ビデオ画像のステレオ対は、前記ビデオ画像キャプチャ装置の前記検知された相対位置が特定の距離だけ変化しているビデオ画像対を特定することにより選択される、請求項１に記載のビデオ画像キャプチャ装置。
前記特定の距離は、水平方向の距離である、請求項７に記載のビデオ画像キャプチャ装置。
前記特定の距離は、前記画像キャプチャ装置の前記検知された相対位置が前記画像キャプチャ装置の垂直方向又は回転方向の動きを示すとき、減少する、請求項７に記載のビデオ画像キャプチャ装置。
前記特定の距離は、前記画像キャプチャ装置の前記検知された相対位置が前記画像キャプチャ装置の所定の範囲外の動きを示すとき、零まで減少する、請求項７に記載のビデオ画像キャプチャ装置。
前記データプロセッサに知覚深度を有するビデオを提供させるよう構成された前記命令は、前記シーン内のオブジェクトの動きを決定するために前記キャプチャされたビデオ画像シーケンスを分析するステップを含み、前記ビデオ画像のステレオ対の選択は、前記の決定したオブジェクトの動きに更に応じる、請求項１に記載のビデオ画像キャプチャ装置。
前記シーン内の前記オブジェクトの動きは、前記キャプチャされたビデオ画像シーケンス内の対応するオブジェクトの相対位置を相関させることにより決定される、請求項１１に記載のビデオ画像キャプチャ装置。
前記ビデオ画像のステレオ対の選択は、
前記ビデオ画像キャプチャ装置の前記格納された相対位置に応じて前記ビデオ画像のステレオ対のフレームオフセットを決定するステップ、
前記オブジェクトの動きが所定の範囲外であると決定されたとき、前記フレームオフセットを減少させるステップ、
前記減少したフレームオフセットを用いてビデオ画像のステレオ対を選択するステップ、
を有する、請求項１１に記載のビデオ画像キャプチャ装置。
前記フレームオフセットは、オブジェクトの動きの量が所定の範囲外であるとき、零まで減少される、請求項１３に記載のビデオ画像キャプチャ装置。
前記知覚深度を有するビデオは、前記格納されたビデオ画像のステレオ対に関連する前記ビデオ画像のステレオ対の間のフレームオフセットの指標を格納することにより提供される、請求項１に記載のビデオ画像キャプチャ装置。
前記フレームオフセットの指標は、前記キャプチャされたビデオ画像シーケンスを格納するために用いられるデジタルビデオファイル内のメタデータとして格納される、請求項１５に記載のビデオ画像キャプチャ装置。
前記フレームオフセットの指標は、デジタルメタデータファイルに格納され、前記デジタルメタデータファイルは、前記キャプチャされたビデオ画像シーケンスを格納するために用いられるデジタルビデオファイルと関連付けられる、請求項１５に記載のビデオ画像キャプチャ装置。
前記知覚深度を有するビデオは、ビデオフレーム毎に画像のステレオ対を格納することにより提供される、請求項１に記載のビデオ画像キャプチャ装置。
前記知覚深度を有するビデオは、左目と右目のための相補的カラーフィルタを有する眼鏡で見るのに適したアナグリフ画像を格納することにより提供される、請求項１に記載のビデオ画像キャプチャ装置。
カラー画像ディスプレイ、
前記カラー画像ディスプレイに前記アナグリフ画像を表示する手段、
を更に有する請求項１９に記載のビデオ画像キャプチャ装置。
立体画像を見るために配置されたレンチキュラーアレイを備えた画像ディスプレイ、
前記画像ディスプレイに前記知覚深度を有するビデオを表示する手段、
を更に有する請求項１に記載のビデオ画像キャプチャ装置。