JP6059223B2 - 携帯型投射捕捉デバイス - Google Patents

Description

本発明は、携帯型投射捕捉デバイスに関する。

文書および他の物体の画像のデジタル捕捉を改善するために、また、物理的な作業面上の実物体およびプロジェクトされた物体を用いて作業するインタラクティブなユーザー体験を改善するために、新規のプロジェクション捕捉システムが開発されている。

文書および他の物体の画像のデジタル捕捉等を改善したプロジェクション捕捉システムを提供する。

上記目的を達成するために、本発明にかかるプロジェクション捕捉システムは、携帯型投射捕捉デバイスであって、該デバイスが作業面とともに用いるように配備されるとき、該作業面上の捕捉エリアを定義するデジタルカメラであって、該カメラは前記捕捉エリア内で静止画像およびビデオ画像を捕捉するように構成されるデジタルカメラと、前記カメラの下方に搭載され、該デバイスが作業面とともに用いるように配備されるとき、前記捕捉エリアの上に重なる前記作業面上の表示エリアを定義するプロジェクターであって、該プロジェクターは前記表示エリア内に、前記カメラによって捕捉された画像と、前記捕捉エリアにおいてカメラ画像捕捉を行うように実物体を照明する白色光とをプロジェクトするように構成されるプロジェクターとを備える。

本発明の一例による、新規のプロジェクション捕捉システムを示す外観斜視図であり、２次元物体の画像（ハードコピー写真）が捕捉され表示されている。 本発明の一例による、新規のプロジェクション捕捉システムを示す外観斜視図であり、３次元物体（立方体）の画像が捕捉され表示されている。 本発明の一例による、図１のシステム等のプロジェクション捕捉システムを示す内観斜視図である。 図２に示すプロジェクション捕捉システムのブロック図である。 図２および図３に示すシステムにおけるユーザー入力デバイスの一例を示すブロック図である。 図２および図３に示すプロジェクション捕捉システムにおけるカメラおよびプロジェクターの位置決めを示す側面図である。 図２および図３に示すプロジェクション捕捉システムにおけるカメラおよびプロジェクターの位置決めを示す正面図である。 プロジェクション捕捉システムにおけるプロジェクターおよびカメラの様々な位置を示す一連の側面図のうちの１つであり、グレアスポットをカメラ捕捉エリア外に移すことに関連する問題のうちのいくつかを示している。 プロジェクション捕捉システムにおけるプロジェクターおよびカメラの様々な位置を示す一連の側面図のうちの１つであり、グレアスポットをカメラ捕捉エリア外に移すことに関連する問題のうちのいくつかを示している。 プロジェクション捕捉システムにおけるプロジェクターおよびカメラの様々な位置を示す一連の側面図のうちの１つであり、グレアスポットをカメラ捕捉エリア外に移すことに関連する問題のうちのいくつかを示している。 プロジェクション捕捉システムにおけるプロジェクターおよびカメラの様々な位置を示す一連の側面図のうちの１つであり、グレアスポットをカメラ捕捉エリア外に移すことに関連する問題のうちのいくつかを示している。 プロジェクション捕捉システムにおけるプロジェクターおよびカメラの様々な位置を示す一連の側面図のうちの１つであり、グレアスポットをカメラ捕捉エリア外に移すことに関連する問題のうちのいくつかを示している。 図２および図３に示すプロジェクション捕捉システムにおけるカメラの一例を示す図である。 図２および図３に示すプロジェクション捕捉システムにおけるカメラの一例を示す図である。 図２および図３に示すプロジェクション捕捉システムにおけるプロジェクターの一例を示す図である。 図２および図３に示すプロジェクション捕捉システムにおけるユーザー入力デバイスの例を示す図である。 図２および図３に示すプロジェクション捕捉システムにおけるユーザー入力デバイスの例を示す図である。 本発明の別の例による、新たな携帯型投射捕捉デバイスを示す斜視図である。 本発明の別の例による、新たな携帯型投射捕捉デバイスを示す斜視図である。 本発明の別の例による、新たな携帯型投射捕捉デバイスを示す斜視図である。

同じ部品符号は図面全体を通じて同じ部品または類似の部品を指すのに用いられる。
図面に示し以下で説明する例は、本発明を説明するが限定するものではなく、本発明は、この「発明を実施するための形態（Description）」に続く特許請求の範囲において規定される。
新規のプロジェクション捕捉システムの一例において、デジタルカメラおよびプロジェクターが携帯型デバイス内にともに収容される。携帯型デバイスにおいて、プロジェクターは、画像捕捉のためにカメラ捕捉エリア内の物体を照明し、かつカメラによって捕捉された画像を捕捉エリアに重なる表示エリア内にプロジェクトするように機能する。一例では、プロジェクターはカメラの下方に位置決めされ、作業面の上方のカメラの高さよりも長い光路に沿って表示エリア内に光をプロジェクトするように構成される。これには例えば、プロジェクターからの光を表示エリア内に反射する、プロジェクターの上方に位置決めされたミラーを用いる。プロジェクターは、カメラによって捕捉される画像を表示することに限定されない。プロジェクターは、例えば、外部ソースから取得したデジタルコンテンツも表示し得る。デジタルコンテンツには、協調環境においてリンクされた他の投射捕捉デバイスから取得したコンテンツが含まれる。

図１Ａおよび図１Ｂは、新規のプロジェクション捕捉システム１０およびこのシステム１０に関連付けられたインタラクティブな作業空間１２の一例を示す外観斜視図である。図２は、外部ハウジング１３が取り除かれたプロジェクション捕捉システム１０の一例を示す斜視図である。図３は、図２に示すシステム１０のブロック図である。図１Ａ、図１Ｂ、図２および図３を参照すると、プロジェクション捕捉システム１０は、デジタルカメラ１４と、プロジェクター１６と、コントローラー１８とを備える。カメラ１４およびプロジェクター１６は、カメラ１４が作業空間１２内の物体２０の画像を捕捉し、プロジェクター１６が物体画像２２を作業空間１２内にプロジェクトし、いくつかの例ではカメラ１４がプロジェクトされた物体画像２２の画像を捕捉するために、コントローラー１８に動作可能に接続される。ハウジング１３の下側部分は、プロジェクター１６（および赤外カメラ３０）の上の透明窓２１を備える。

図１Ａに示す例では、作業空間１２内の作業面２４上に配置された２次元物体２０（ハードコピー写真）がカメラ１４（図２）によって撮影され、物体２０が作業空間１２の脇に取り除かれ、物体画像２２が作業面２４上に投射されている。作業面２４において、物体画像２２はカメラ１４（図２）によって撮影すること、および／または別の方法でユーザーによって操作することができる。図１Ｂに示す例では、作業面２４上に配置された３次元物体２０（立方体）がカメラ１４（図２）によって撮影され、物体２０が作業空間１２の脇に取り除かれ、物体画像２２が作業空間１２内に投射されている。作業空間１２において、物体画像２２はカメラ１２によって撮影すること、および／または別の方法でユーザーによって操作することができる。

システム１０は、ユーザーがシステム１０とインタラクトすることを可能にするユーザー入力デバイス２６も備える。ユーザーは、入力デバイス２６を通じて作業空間１２内の物体２０および／または物体画像２２とインタラクトし得、協調ユーザーインタラクションのために、物体画像２２が遠隔システム１０（図示せず）上の他の作業空間１２に送信され、所望の場合、更なるユーザーインタラクションのために、物体画像２２をカメラ１４によって撮影し、ローカルおよび／または遠隔作業空間１２内に再プロジェクトし得る（正：may be）。図１Ａでは、作業面２４はデスクトップまたは他の基礎をなす支持構造２３の一部である。図１Ｂでは、作業面２４は、タッチセンサーエリアを含み得る携帯型マット２５上にある。図１Ａでは、例えばユーザー制御パネル２７が作業面２４上に投射されるのに対し、図１Ｂでは、制御パネル２７はマット２５のタッチセンサーエリア内に埋め込み得る。同様に、Ａ４サイズ、レターサイズまたは他の標準サイズの文書配置エリア２９を、図１Ａでは作業面２４上にプロジェクトし得、図１Ｂではマット２５上にプリントし得る。当然ながら、作業面２４の他の構成も可能である。例えば、いくつかの用途では、システム１０が本来は空白のマット２５を用いて作業面２４の色、テクスチャまたは他の特性を制御し、これによって、コントロールパネル２７および文書配置エリア２９が図１Ａにおいてデスクトップ２３に投射されるのと全く同じように、図１Ｂにおいて空白のマット２５上にコントロールパネル２７および文書配置エリア２９をプロジェクトし得ることが望ましい場合がある。

図４に示す例では、ユーザー入力デバイス２６は、赤外デジタルスタイラス２８と、作業空間１２内のスタイラス２８を検出する赤外カメラ３０とを備える。任意の適切なユーザー入力デバイスを用い得るが、デジタルスタイラスは、検知パッドまたは他の特殊な表面を伴うことなく作業面２４沿いを含めた３次元での入力を可能にする利点を有する。このため、システム１０をより多岐にわたる作業面２４上で用いることができる。また、作業面２４の向きが通常水平であることにより、作業面２４が多くの共通タスクに有用になる。作業面２４上で従来の筆記具を用いることができることは、垂直なまたは移動式のコンピューティングインターフェースよりも有利である。作業デスクトップ上にインタラクティブディスプレイをプロジェクトすることにより、演算タスクを、実際のデスクトップ上に存在し得る標準的な物体と混合することができ、これによって物理的な物体がプロジェクトされた物体と共存することができる。したがって、実際の筆記具をそれらのデジタル対応物（スタイラス２８等）とともに用いる快適性が効果的な使用モデルである。３次元パッドのないデジタルスタイラスによって、検知パッドが作業面２４上で従来の器具を用いる妨げになることなく、物理的な物体の上または隣に注釈を付けることが可能になる。

システム１０の１つの例示的な実施態様では、プロジェクター１６はカメラ１４の光源としての役割を果たす。カメラ捕捉エリア３２（図１２）およびプロジェクター表示エリア３４（図１４）は作業面２４の上で重なる。このため、プロジェクター１６を用いて、画像の投射およびカメラ照明の双方について大幅な動作効率を得ることができる。プロジェクター１６から作業空間１２を通って作業面２４までの光路は、最小の影遮蔽（shadow occlusion）でユーザーとディスプレイとのインタラクション（user display interaction）を可能にする一方で、そうでなければカメラ１４の視界を撹乱する（blind）ことになる作業面２４および作業空間１２内の物体からの反射グレアを回避するように、カメラ１４に対して位置決めするべきである。以下で説明するシステム構成は、従来のカメラ照明配置の結果生じることになる、グレアによるアーチファクトを回避する一方で、作業空間１２内の２次元および３次元の物体の適切な照明および投射のために望ましいプロジェクター光路の十分鋭い入射角を依然として維持する。

理想的には、プロジェクター１６は、作業空間１２の真上に、平行光線を確保するように作業面２４の上方の無限遠の高さに取り付けられる。この構成は当然ながら現実的でない。プロジェクター１６が作業面２４の上方の現実的な高さまで下げられた（しかし依然として直下を向いている）場合であっても、プロジェクターの光は光沢面および半光沢面並びに物体からカメラ１４に直接戻るように反射され、眩い反射グレアを生成することになる。このため、グレアスポットはカメラ捕捉エリア３２の外に移されなくてはならない。（反射グレアは、入射光線の入射角および反射光線の反射角が等しく、入射方向、反射方向および法線方向が同一平面上にある鏡面反射からのグレアを指す）。

この反射グレアの問題に対する商業的に妥当な解決法を達成するために、カメラ１４およびプロジェクター１６は表示エリア３２、３４の捕捉中心から離れるようにシフトされ、プロジェクター１６は、図５および図６に示すように低く基部３６の近くに位置決めされ、折り返しミラー３８がプロジェクターの光路内に導入され、作業面２４の上方の高い場所にプロジェクター位置をシミュレートする。プロジェクター１６のシミュレートされた位置、およびミラー３８の上方の対応する光路は、図５および図６において仮想線で示されている。しかしながら、図５および図６に示す構成をより詳細に説明する前に、グレアスポットをカメラ捕捉エリア３２の外に移すための他の取り得る構成に関連する問題を検討することが有用である。

図７において、カメラ１４は捕捉エリア３２の中心に位置決めされ、オーバーヘッドプロジェクター１６は、カメラ１４がプロジェクター光路を遮らないように中心から僅かに外れている。図７の構成において、反射グレアスポット３９（入射光線４１と反射光線４３との交点）は捕捉エリア３２内にあり、このため、捕捉エリア３２内のいくつかの物体および画像に対しカメラ１４の視界を撹乱することになる。加えて、図７に示す構成の場合、カメラ１４およびプロジェクター１６は双方が基部の上方の高い場所に位置決めされ、システム１０は上部が重くなり、このため商品の実施態様には望ましくない。図８に示すように、プロジェクター１６が、グレアスポット３９をカメラ捕捉エリア３２の外側に移すのに必要な距離をとって脇に位置決めされる場合、対応するプロジェクターレンズの必要とされるオフセットは実現可能でなくなる。また、図８に示すシステム１０の構成の任意の製品実施態様は望ましくないほど幅広で上部が重い。

図９に示すように、捕捉エリア３２上でカメラ１４を中心から外れるように移すことによって、プロジェクター１６がシステムの幅をより狭くするように引き入れられるが、プロジェクターレンズオフセットは依然として大きすぎ、製品は依然として上部が重い。図１０に示す構成では、プロジェクター１６は許容可能なレンズオフセットに十分近くし得るような高さまで引き上げられるが、製品はここでは高さが高すぎ、上部が重い。最も望ましい解決法は、図５および図１１に示す、プロジェクター１６の「折り返し」光路である。ここでは、図１０の「高くタイトな」構成が折り返しミラー３８を用いてシミュレートされる。図５および図１１において、プロジェクター１６および上側光路は、ミラー３８の反射面上で折り返され、図１０の構成と同じ光路を作業面２４上にプロジェクトする。この折り返し効果は図５において最もよく見られる。ここで、折り返し角度θ１＝θ２およびφ１＝φ２である。

図５および図６に示すように、カメラ１４は、プロジェクターの光路を遮らないように作業空間１２上でミラー３８の正面に配置される。カメラ１４は、カメラ１４およびプロジェクター１６の双方について許容可能なオフセットでグレアスポット３９を捕捉エリア３２外に保持するように、全体配置の一部としてＹ方向（図５）において中心から外れて位置決めされる。プロジェクター１６はミラー３８上に焦点を合わせられ、それにより、プロジェクター１６からの光はミラー３８から作業空間１２内に反射する。プロジェクター１６を低く下げ、折り返しミラー３８をプロジェクター光路内に導入することによって、グレアスポット３９は許容可能なプロジェクターオフセットで捕捉エリア３２外に保持され、システム１０は商業的に魅力的な製品実施態様をサポートするのに十分狭く、短く、安定している（上部が重くない）。

このため、再び図１Ａ、図１Ｂおよび図２を参照すると、システム１０の構成要素は、単一のデバイス４０としてともに収容し得る。図３も参照すると、システム１０を統合スタンドアロンデバイス４０として実施するのに役立つように、コントローラー１８は、デバイス４０内にともに収容されるプロセッサ４２、メモリ４４、および入／出力部４６を備え得る。コントローラー１８のこの構成のために、カメラ１４およびプロジェクター１６の機能を制御し協調させるシステムプログラミングは、実質的に、プロセッサ４２によって実行されるコントローラーメモリ４４上に存在し得、このためスタンドアロンデバイス４０が可能になり、カメラ１４およびプロジェクター１６の特殊なプログラミングの必要性が低減する。例えば、コントローラー１８が全体的にまたは部分的に、カメラ１４およびプロジェクター１６から遠隔にあるコンピューターまたはサーバーを用いて形成される他の構成が可能であるが、図１Ａ、図１Ｂおよび図２に示すデバイス４０等の小型スタンドアロン装置は、統合された小型移動デバイス４０においてユーザーに完全な機能性を提供する。

ここで図１２を参照すると、カメラ１４は捕捉エリア３２の中心からオフセットされた或るロケーションにおいて、作業空間１２の上方のミラー３８の正面に位置決めされる。上記で示したように、カメラ１４のこのオフセット位置は、プロジェクター１６の光路を遮ることなく作業空間１２内の物体を撮影するときの反射グレアを回避するのに役立つ。カメラ１４は通常、作業空間１２内で静止画像およびビデオ画像を選択的に捕捉する任意の適切なデジタルカメラを表すが、システム１０のほとんどの用途において高解像度デジタルカメラが用いられることになることが予期される。本明細書において用いるとき、「高解像度」デジタルカメラとは、少なくとも１２メガピクセルのセンサーアレイを有するカメラを意味する。いくつかの基本的なスキャン機能およびコピー機能には、より低解像度のカメラも受容可能であり得るが、現在のところ、１２メガピクセル未満の解像度は、全ての操作機能および協調機能に十分詳細なデジタル画像を生成するのに適していない。高解像度センサーを有する小さなサイズの高品質デジタルカメラが今や非常に一般的であり、多岐にわたるカメラ製造者から市販されている。高解像度センサーを、多くのデジタルカメラにおいて利用可能な高性能デジタル信号処理（ＤＳＰ：digital signal processing）チップと組み合わせると、ほとんどのシステム１０の用途に受容可能な性能を届ける十分高速な処理時間、例えばクリックからプレビューまでの１秒未満の時間が可能になる。

ここで図１３も参照すると、示される例では、カメラセンサー５０は作業面２４の面に平行な面に向けられ、光はシフトレンズ５２を通ってセンサー５０に焦点を合わせられる。センサー５０およびレンズ５２のこの構成を用いて、物体画像におけるデジタル台形補正を行うことなく、台形歪みを光学的に補正し得る。カメラ１４の視野は、作業空間１２内の３次元捕捉空間５１を定義し、この捕捉空間内でカメラ１４は効果的に画像を捕捉することができる。捕捉空間５１は作業面２４上のカメラ捕捉エリア３２によってＸ次元およびＹ次元において画定される。レンズ５２は、捕捉空間５１に対応する固定距離、固定焦点および固定ズームについて最適化し得る。

図１４を参照すると、プロジェクター１６は、プロジェクター１６からの光がミラー３８から作業空間１２内に反射するように、プロジェクター表示エリア３４の外側の基部３６付近に位置決めされ、ミラー３８上に焦点を合わせられる。プロジェクター１６およびミラー３８は作業空間１２内の３次元表示空間５３を定義し、この表示空間内でプロジェクター１６は効果的に画像を表示することができる。プロジェクター表示空間５３はカメラ捕捉空間５１（図１２）の上に重なり、作業面２４上の表示エリア３４によってＸ次元およびＹ次元において画定される。プロジェクター１６は通常、任意の適切な光プロジェクターを表すが、システム１０のほとんどの用途の場合に、ＬＥＤまたはレーザーベースのデジタル光処理（ＤＬＰ：digital light processing）プロジェクターの小型なサイズおよび電力効率が望ましい。プロジェクター１６は投射画像における完全な光学台形補正を可能にするシフトレンズも用い得る。上記で示したように、ミラー３８を用いることによって、プロジェクターの有効光路長が増大し、プロジェクター１６のオーバーヘッド配置を模倣する一方、統合されたスタンドアロンデバイス４０にとって商業的に妥当な高さを依然として可能にする。

スタンドアロンデバイス４０としてのシステム１０に適した特性の１つの例が表１に示される。（表１における次元の記載は図５および図６に対するものである）。

プロジェクター１６は静止画像およびビデオ画像を捕捉するカメラ１２のための光源としての役割を果たすので、プロジェクター光は反射グレアによる不具合を生じる場合があるいかなる周辺光も相殺する（swamp out）のに十分明るくなくてはならない。２００ルーメン以上のプロジェクター光はシステム１０およびデバイス４０の通常のデスクトップ用途の場合に周辺光を相殺するのに十分明るいことが確定している。ビデオ捕捉およびリアルタイムビデオ協調の場合、プロジェクター１６は作業空間１２内に白色光を放ち、物体（複数の場合もある）２０を照明する。ＬＥＤプロジェクター１６の場合、白色光を作り上げる赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤの時系列は、カメラ１４のビデオフレームレートと同期される。プロジェクター１６のリフレッシュレートおよび各ＬＥＤサブフレームリフレッシュ周期は、ビデオ画像内の「レインボーバンディング」および他の望ましくない効果を回避するために、捕捉フレームごとのカメラの露光時間の整数倍とすべきである。また、カメラのビデオフレームレートは、通常、ＡＣ線周波数の２倍（例えば６０ＨｚのＡＣ電力線の場合、１２０Ｈｚ）で点滅する任意の周辺蛍光照明の周波数と同期すべきである。周辺光センサーを用いて周辺光周波数を検知し、それに従ってカメラ１４のビデオフレームレートを調整することができる。静止画像捕捉の場合、プロジェクターの赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤをカメラフラッシュのために同時にオンにして、作業空間１２における光の明度を増大させ、周辺光を相殺するのに役立ち、画像内のノイズを低減するようにシャッタースピードをより高速にすることおよび／または開口をより小さくすることを可能にする。

図に示され上記で説明される、スタンドアロンデバイス４０に統合されるシステム１０の例示的な構成によって、製品サイズと、性能と、可用性と、コストとの間の所望のバランスが達成される。プロジェクター１６の光路が折り返されることによって、デバイス４０の高さが低減する一方、カメラ１２の捕捉エリア内の反射グレアを防止するように作業空間１２の上方の高い場所でのプロジェクターの効果的な配置が維持される。プロジェクターの光路は、３Ｄ物体画像捕捉を可能にする鋭角で水平の作業面２４を照らす。より長い光路と鋭角とのこの組み合わせによって、捕捉エリアを超えて外れる光を最小にして、カメラフラッシュの光均一性を最大にする。加えて、光路が折り返されることによって、製品の安定性のために基部３６の近くにプロジェクター１６を配置することが可能になる。

システム１０において用いるのに適した入力デバイスおよび技法は、例えば、指によるタッチ、タッチジェスチャー、スタイラス、空中ジェスチャー、音声認識、頭部追跡および視標追跡を含む。タッチパッドを用いて、グラフィカルユーザーインターフェースをナビゲートするか、またはプッシュ、フリック、スワイプ、スクロール、ピンチズームおよび２本指回転のような直感的ジェスチャー動作を実行するためのマルチタッチインターフェースを可能にすることができる。構造化光、飛行時間、外乱光パターン（disturbed light pattern）または立体視を用いた深度カメラを用いて、タッチパッドなしで空中ジェスチャーまたは制限されたタッチおよびタッチジェスチャー検出も可能にし得る。システム１０のユーザー入力２６として、タッチフリーデジタルスタイラスが特に適している。このため、図に示す例において、ユーザー入力２６は、赤外デジタルスタイラス２８と、作業空間１２内のスタイラス２８を検出する赤外カメラ３０とを備える。上記で示したように、タッチフリーデジタルスタイラスは、検知パッドまたは他の特殊な表面を伴うことなく作業面２４沿いを含めた３次元での入力を可能にする利点を有する。

ここで図４および図１５を参照すると、入力デバイス２６は、赤外スタイラス２８と、赤外カメラ３０と、スタイラス充電ドック５４とを備える。スタイラス２８は、赤外ライト５６と、タッチに基づいて自動的にライト５６をオンおよびオフにするタッチセンサーペン先スイッチ５８と、ライト５６を手動でオンおよびオフにする手動オン／オフスイッチ６０とを備える。（ペン先スイッチ５８および手動スイッチ６０は図４のブロック図に示されている）。ライト５６は、例えば、カメラ３０とライト５６との間の開けた見通し線を維持するのに役立つように、図１５に示すようにスタイラス２８の先端に位置決めし得る。ライト５６は光がオンであるかまたはオフであるかをユーザーが判断するのに役立つように可視光も発し得る。

ペン先スイッチ５８は、例えば約２ｇｒの力までタッチを検知し、従来の筆記具をシミュレートし得る。スタイラスのペン先が作業面２４または別の物体にタッチすると、ペン先スイッチ５８は接触を検出し、ライト５６をオンにする。ライト５６がオンになったことはカメラ３０によって検出され、カメラ３０は（マウスボタンクリックまたはタッチパッド上の指によるタッチと同様に）タッチ接触イベントをシグナリングする。カメラ３０はライト５６がオンであり続ける限り、スタイラス２８の任意の動きを追跡し、接触をシグナリングし続ける。ユーザーは、ペンのように任意の表面上でスタイラス２８を方々にスライドさせ、表面をトレースするかまたは制御機能をアクティベートすることができる。スタイラスのペン先がもはや物体と接触していないとき、ライト５６はオフに切り替えられ、カメラ３０は接触なしをシグナリングする。手動光スイッチ６０を用いて非タッチイベントもシグナリングし得る。例えば、ユーザーは、３次元作業空間１２内で作業しているとき、「仮想」接触イベントを手動でシグナリングすることによって、作業面２４の上方で投射画像を修正するか、変更するかまたは他の方法で操作することを望み得る。

赤外カメラ３０およびミラー３８は作業空間１２内の３次元赤外捕捉空間６１を定義し、この赤外捕捉空間内で、赤外カメラ３０はスタイラス２８からの光を効果的に検出することができる。捕捉空間６１は作業面２４上の赤外カメラ捕捉エリア６２によってＸ次元およびＹ次元において画定される。示される例では、図１４および図１５を比較することによって最も良好に見てとれるように、赤外カメラ捕捉空間６１はプロジェクター表示空間５３と同一の広がりを持つ。このため、赤外カメラ３０は表示空間５３内の任意の場所でスタイラス起動を捕捉し得る。

図１６に示す１つの例示的な実施態様では、カメラ３０は、プロフェクターの視野と、赤外カメラの視野とが一致するように投射光路内に組み込まれ、スタイラス２８、したがって赤外カメラ３０からの追跡信号が作業空間１２内の任意の場所でプロジェクターディスプレイと適切に位置合わせされるのに役立つ。図１６を参照すると、プロジェクター１６において赤色ＬＥＤ６６、緑色ＬＥＤ６８および青色ＬＥＤ７０によって生成される可視光６４が（シフトレンズ７４を含む）様々な光学機器７２を通過してミラー３８（図１４）に出る。ミラー３８からプロジェクター１６に向かって反射された、作業空間１２内のスタイラス２８からの赤外光７５は、赤外ビームスプリッター７８によってシフトレンズ８０を通じて赤外カメラセンサー７６に向けられる。（上記で説明したカメラ１４の例示的な構成と同様に、カメラ３０の赤外光センサー７６は作業面２４の面に平行な面に向け得、光は完全な光学台形補正のためにシフトレンズ８０を通じてセンサー７６に焦点を合わせられる（正：is focused））。

いくつかの商業的な実施態様の場合、図１６に示すように、プロジェクター１６および赤外カメラ３０を単一のハウジング８２内にともに収容することが望ましい場合がある。図１６に示す赤外カメラ３０の幾何学的構成は、スタイラス２８が作業面２４の上方のどの高さにあろうと、スタイラス追跡信号がディスプレイと位置合わせされることを確保するのに役立つ。プロジェクターの視野および赤外カメラの視野が一致していない場合、作業面２４の上方の２つ以上の高さにおいてスタイラス追跡を較正するのは困難であり得、所望のスタイラス入力位置と、結果として表示される位置との間の視差シフトのリスクが生じる。

作業空間１２は通常、物体２０を支持する物理的な作業面２４を含むことが予期されるが、物理的な作業面を有しない完全に投射された作業空間として実施することもできる。加えて、作業空間１２は、２次元および３次元の物体を用いて作業する３次元作業空間として、または２次元の物体のみを用いて作業する２次元作業空間として実施し得る。作業空間１２の構成は通常、その大部分が、システム１０のハードウェアおよびプログラミング要素によって決まるが、物理的な作業面２４の特性によって影響を受ける場合もある。このため、システム１０およびデバイス４０のいくつかの例において、デバイス３６が動作するときに、物理的な作業空間内で明示されることになる仮想作業空間がシステム１０に伴って生じるという意味で、作業空間１２をシステム１０の一部として考えることが適切な場合もあれば、他の例では、作業空間１２をシステム１０の一部として考えないことが適切な場合もある。

図１７〜図１９は、携帯型投射捕捉デバイス４０および携帯型投射捕捉デバイス４０に関連付けられたインタラクティブな作業空間１２の別の例を示す斜視図である。図１７〜図１９を参照すると、携帯型デバイス４０は、捕捉エリア３２（および捕捉空間５１）内の物体２０の静止画像およびビデオ画像を捕捉するデジタルカメラ１４と、捕捉エリア３２（および捕捉空間５１）内の物体を照明し、表示エリア３４上（および表示空間５３内）に画像をプロジェクトするプロジェクター１６とを備える。捕捉エリア３２内に配置された２次元物体２０（ハードコピー写真）がカメラ１４（図１７および図１８）によって撮影され、捕捉エリア３２から物体２０が取り除かれ、物体画像２２が表示エリア３４（図１９）上に投射され、この表示エリアにおいて物体画像はカメラ１４によって撮影することおよび／または他の方法でユーザーによって操作することができる。

この例では、デバイス４０は、カメラ１４からのライブフィード、カメラ１４によって以前に捕捉された画像、または表示空間５３内に投射されたグラフィカルユーザーインターフェース（ＧＵＩ：graphical user interface）８６を通じて画像がユーザーによって操作されるときのその画像の表現を選択的に表示する電子ディスプレイ８４も備える。（図１７〜図１９に示す例ではＧＵＩ８６は表示エリア３２上に投射される）。カメラ１４、プロジェクター１６、およびディスプレイ８４は、コントローラー１８を通じてともに動作可能に接続され、単一の携帯型デバイス４０としてハウジング１３内にともに収容される。プロジェクター１６はハウジング１３内の高い場所でカメラ１４の下方に位置決めされ、表示空間内および表示エリア３４上に直接光をプロジェクトする。プロジェクター表示空間５３および表示エリア３４はカメラ捕捉空間５１および捕捉エリア３２の上に重なり、それによってプロジェクター１６は空間５１内およびエリア３２上の実物体２０の画像を捕捉するカメラ１４の光源としての役割を果たすことができ、またカメラ１４は空間５１内およびエリア３２に投射された画像２０の画像を捕捉することができる。

コントローラー１８はＧＵＩ８６を生成するようにプログラムされ、プロジェクター１６はＧＵＩ８６をプロジェクトする。ＧＵＩ８６は、例えば、図１７および図１８における捕捉ボタン８８、並びに図１９における取り消しボタン９０、確定ボタン９２およびＯＫボタン９４等のデバイス制御「ボタン」を含む。図１７〜図１９におけるデバイス４０は、より複雑なＧＵＩ、およびコントローラー１８における対応する制御プログラミング、並びに他のユーザー入力デバイス（複数の場合もある）も含む場合があるが、図１７〜図１９のデバイス構成は、より安価な消費者デスクトップ製品市場により適した基本的なデジタルコピー機能および画像操作機能を示している。

図に示す、１つのカメラ１４および１つのプロジェクター１６を有するシステム１０およびデバイス４０の例は、２つ以上のカメラ１４および／または２つ以上のプロジェクター１６の使用を除外するものではない。実際、システム１０およびデバイス４０のいくつかの用途において、２つ以上のカメラ、２つ以上のプロジェクターまたは２つ以上の他のシステム構成要素を含むことが望ましい場合がある。このため、本明細書において用いられるような数量が特定されない語（the articles "a" and "an"）は１つまたは複数を意味する。

この「発明を実施するための形態（Description）」の冒頭に示したように、図に示し上記で説明した例は本発明を説明するものであるが限定するものではない。他の例、実施形態および実施態様が可能である。したがって、上記の説明は、添付の特許請求の範囲において規定される本発明の範囲を限定すると解釈されるべきでない。

Claims (15)

1. 携帯型投射捕捉デバイスにおいて、
   該デバイスが作業面とともに用いられるように配備されるとき、該作業面上の捕捉エリアを定義するデジタルカメラであって、前記捕捉エリア内で静止画像およびビデオ画像を捕捉するように構成されたデジタルカメラと、
   該カメラの下方でかつ前記作業面の上方に搭載され、前記デバイスが作業面とともに用いられるように配備されるとき、前記捕捉エリアの上に重なる前記作業面上の表示エリアを定義するプロジェクターであって、該表示エリア内に、
   前記カメラによって捕捉された画像と、
   カメラ画像捕捉のために前記捕捉エリア内の実物体を照明する白色光と、
   をプロジェクトするように構成されたプロジェクターと、
   前記プロジェクターの上方に配置され、該プロジェクターからの光を前記作業面上の表示エリアに向けて反射するミラーと、
   を備え、
   前記カメラは、前記プロジェクターの光路を遮ることのない位置に、かつ前記作業面上の捕捉エリア内の物体を撮影するときの反射グレアを回避することのできる、前記捕捉エリアの上方で該捕捉エリアの中心からオフセットされた位置に、固定して位置決めされ、
   前記プロジェクターおよび前記ミラーは、該ミラーで反射された前記プロジェクターからの光によって前記作業面上に生成される反射グレアスポットが、前記捕捉エリアの外に保持されるように位置決めされている、携帯型投射捕捉デバイス。
2. 前記プロジェクターは、赤色発光ダイオード、緑色発光ダイオードおよび青色発光ダイオードを用いて、前記カメラのビデオフレームレートと同期した少なくとも２００ルーメンの白色光を前記捕捉エリア内にプロジェクトするように構成される、請求項１に記載の携帯型投射捕捉デバイス。
3. 前記プロジェクターのリフレッシュ周期および各発光ダイオードサブフレームのリフレッシュ周期は、捕捉フレームごとの前記カメラの露出時間の整数倍である、請求項２に記載の携帯型投射捕捉デバイス。
4. 前記デバイスが作業面とともに用いられるように配備されるとき、
   前記プロジェクターは前記表示エリアによって２次元で画定されたボリュームの外側で前記カメラの下方に位置決めされる、請求項１に記載の携帯型投射捕捉デバイス。
5. 前記デバイスが水平の作業面とともに用いられるように配備されるとき、前記プロジェクターは、前記作業面の上方の前記カメラの高さよりも長い光路に沿って前記表示エリア内に光をプロジェクトするように構成される、請求項４に記載の携帯型投射捕捉デバイス。
6. 携帯型投射捕捉デバイスであって、
   作業面上の捕捉空間内の物体の静止画像およびビデオ画像を捕捉するデジタルカメラと、
   該カメラとともに収容され、該カメラの下方でかつ前記作業面の上方に位置するプロジェクターであって、前記捕捉空間内の物体を照明し、該捕捉空間の上に重なる表示空間内に、前記カメラによって捕捉された画像をプロジェクトするプロジェクターと、
   前記プロジェクターの上方に配置され、該プロジェクターからの光を前記捕捉空間および前記表示空間に向けて反射するミラーと、
   を備え、
   前記カメラは、前記プロジェクターの光路を遮ることのない位置に、かつ前記捕捉空間内の物体を撮影するときの反射グレアを回避することのできる、前記捕捉空間の上で捕捉エリアの中心からオフセットされた位置に、固定して位置決めされ、
   前記プロジェクターおよび前記ミラーは、該ミラーで反射された前記プロジェクターからの光によって前記作業面上に生成される反射グレアスポットが、前記捕捉エリアの外に保持されるように位置決めされている、携帯型投射捕捉デバイス。
7. 前記カメラおよび前記プロジェクターとともに収容されるコントローラーを更に備え、
   前記コントローラーにより、
   前記プロジェクターを用いて前記捕捉空間内の物体を照明し、
   前記カメラを用いて、前記プロジェクターによって照明される前記捕捉空間内の物体の画像を捕捉し、
   前記プロジェクターを用いて、前記カメラによって捕捉された画像を前記表示空間内にプロジェクトする、
   ように前記カメラおよび前記プロジェクターが前記コントローラーを通じて互いに動作可能に接続される、請求項６に記載の携帯型投射捕捉デバイス。
8. 前記カメラおよび前記プロジェクターは、グラフィカルユーザーインターフェースを前記表示空間内にプロジェクトするように、前記コントローラーを通じて互いに動作可能に接続される、請求項７に記載の携帯型投射捕捉デバイス。
9. 前記コントローラーと前記プロジェクターと前記カメラとともに収容される電子ディスプレイを更に備え、該ディスプレイは前記コントローラーに動作可能に接続され、前記カメラによって捕捉された画像を表示する、請求項７に記載の携帯型投射捕捉デバイス。
10. 前記コントローラーに動作可能に接続され、前記表示空間においてユーザーが前記デバイスとインタラクトすることを可能にするように構成されるユーザー入力デバイスをさらに備える、請求項７に記載の携帯型投射捕捉デバイス。
11. 前記ユーザー入力デバイスは、
    赤外デジタルスタイラスと、
    前記コントローラー、前記プロジェクターおよび前記カメラとともに収容される赤外カメラであって、前記表示空間と一致する該赤外カメラの捕捉空間において前記赤外デジタルスタイラスによって放射される赤外光を捕捉する赤外カメラと、
    を備える、請求項１０に記載の携帯型投射捕捉デバイス。
12. 前記赤外カメラは、前記プロジェクターの視野および前記赤外カメラの視野が一致するように前記プロジェクターの光路内に組み込まれる、請求項１１に記載の携帯型投射捕捉デバイス。
13. 水平の作業面を有する３次元作業空間とともに用いるインタラクティブな携帯型投射捕捉デバイスであって、該デバイスは、
    平坦な水平の作業面上で該デバイスを支持する平坦部を有する基部と、
    該デバイスが前記作業面とともに用いられるように配備されるとき、前記作業空間上の或る位置において前記基部によって支持されるデジタルカメラであって、該カメラは前記作業面上の捕捉エリアによって２次元で画定される３次元捕捉空間を定義するデジタルカメラと、
    該カメラの下方でかつ前記作業面の上方に前記基部によって支持されるプロジェクターであって、該プロジェクターは前記捕捉エリアの少なくとも一部分の上に重なる前記作業面上の表示エリアによって２次元で画定される３次元表示空間を定義するプロジェクターと、
    前記基部によって支持されるコントローラーであって、
    前記プロジェクターを用いて前記捕捉空間内の物体を照明し、
    前記カメラを用いて、前記プロジェクターによって照明される前記捕捉空間内の物体の画像を捕捉し、
    前記プロジェクターを用いて、前記カメラによって捕捉された画像を前記表示空間内にプロジェクトする、
    ように構成されるコントローラーと、
    前記プロジェクターの上方に配置され、該プロジェクターからの光を前記作業面上の表示エリアに向けて反射するミラーと、
    を備え、
    前記カメラは、前記プロジェクターの光路を遮ることのない位置に、かつ前記作業面上の捕捉エリア内の物体を撮影するときの反射グレアを回避することのできる、前記捕捉エリアの上方で該捕捉エリアの中心からオフセットされた位置に、固定して位置決めされ、
    前記プロジェクターおよび前記ミラーは、該ミラーで反射された前記プロジェクターからの光によって前記作業面上に生成される反射グレアスポットが、前記捕捉エリアの外に保持されるように位置決めされている、携帯型投射捕捉デバイス。
14. 前記基部の上で前記カメラを収容する第１の部分と、前記基部上で前記プロジェクターおよび前記コントローラーを収容する第２の部分と、を有するハウジングをさらに備える、請求項１３に記載の携帯型投射捕捉デバイス。
15. 前記ミラーは、前記ハウジングの前記第１の部分において前記カメラとともに収容され、前記プロジェクターおよび前記ミラーは、該ミラーによって反射された前記プロジェクターからの光が前記捕捉空間を照明するように互いに対して位置決めされる、請求項１４に記載の携帯型投射捕捉デバイス。

Images