JP2007514241A - 内蔵型インタラクティブ・ビデオ・ディスプレイ・システム - Google Patents
内蔵型インタラクティブ・ビデオ・ディスプレイ・システム Download PDFInfo
- Publication number
- JP2007514241A JP2007514241A JP2006543992A JP2006543992A JP2007514241A JP 2007514241 A JP2007514241 A JP 2007514241A JP 2006543992 A JP2006543992 A JP 2006543992A JP 2006543992 A JP2006543992 A JP 2006543992A JP 2007514241 A JP2007514241 A JP 2007514241A
- Authority
- JP
- Japan
- Prior art keywords
- screen
- camera
- light
- display system
- video display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 151
- 230000000007 visual effect Effects 0.000 claims abstract description 65
- 238000005286 illumination Methods 0.000 claims abstract description 45
- 230000003993 interaction Effects 0.000 claims abstract description 24
- 230000008859 change Effects 0.000 claims abstract description 16
- 230000004044 response Effects 0.000 claims abstract description 8
- 239000000463 material Substances 0.000 claims description 88
- 238000000034 method Methods 0.000 claims description 69
- 230000010287 polarization Effects 0.000 claims description 62
- 230000004313 glare Effects 0.000 claims description 52
- 230000000694 effects Effects 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 20
- 230000004438 eyesight Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 239000002245 particle Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000000149 argon plasma sintering Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000001678 irradiating effect Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000006117 anti-reflective coating Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 229910052736 halogen Inorganic materials 0.000 description 2
- 150000002367 halogens Chemical class 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007373 indentation Methods 0.000 description 2
- -1 polyethylene Polymers 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 230000035484 reaction time Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 239000004698 Polyethylene Substances 0.000 description 1
- 241000566604 Sturnella Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229920000891 common polymer Polymers 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 229920000573 polyethylene Polymers 0.000 description 1
- 239000002861 polymer material Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Projection Apparatus (AREA)
- Overhead Projectors And Projection Screens (AREA)
- Position Input By Displaying (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。プロジェクタは、視覚映像を、該視覚映像を表示するスクリーン上に投影し、該プロジェクタは、該視覚映像を、該スクリーンの前側のユーザへの提示のために、該スクリーンの裏側に投影する。イルミネータは、該スクリーンの前側近くの対象を照らす。カメラは、照らされた対象と該視覚映像との相互作用を検知し、該スクリーンは、該カメラに検知可能な光に対して少なくとも部分的に透過性であり、該カメラが該スクリーンを通して該照らされた対象を検知することを可能にする。コンピュータシステムは、該プロジェクタに、該相互作用に応じて該視覚映像を変えるように指示する。
Description
この出願は、2002年5月28日に提出され、本願の譲受人に譲渡されたBellによる“INTERACTIVE VIDEO DISPLAY SYSTEM”というタイトルの同時係属中の米国特許出願第10/160,217号からの優先権を主張する一部継続特許出願であり、該出願は、参照により本明細書に組み込まれる。また、この出願は、2003年9月18日に提出され、本願の譲受人に譲渡されたBellによる“SELF−CONTAINED INTERACTIVE VIDEO DISPLAY SYSTEM”というタイトルの同時係属中の米国仮特許出願第60/504,375号から、2003年10月24日に提出され、本願の譲受人に譲渡されたBellによる“METHOD AND SYSTEM FOR PROCESSING CAPTURED IMAGE INFORMATION IN AN INTERACTIVE VIDEO SYSTEM”というタイトルの同時係属中の米国仮特許出願第60/514,024号から、2003年12月9日に提出され、本願の譲受人に譲渡されたBellによる“SELF−CONTAINED INTERACTIVE VIDE DISPLAY SYSTEM AND FEATURES RELATING THERETO”というタイトルの同時係属中の米国仮特許出願第60/528,439号から、および2004年3月18日に提出され、本願の譲受人に譲渡されたBell et al.による“METHOD AND SYSTEM FOR ALLOWING A CAMERA TO VIEW AN AREA IN FRONT OF A DISPLAY BY IMAGING IT THROUGH THE DISPLAY”というタイトルの同時係属中の米国仮特許出願第60/554,520号から優先権を主張し、これら全ては参照により本明細書に組み込まれる。
本文書は、ビジュアル電子ディスプレイの分野に関する。具体的には、ここで説明する実施形態は、内蔵型インタラクティブ・ビデオ・ディスプレイ・システムに関する。
長年にわたって、情報は、典型的には、静的ディスプレイを用いてオーディエンスに伝達された。例えば、商品広告は、印刷広告やポスターを用いて提示された。テレビや映画の登場に伴って、情報は、動的ディスプレイ(例えば、コマーシャル)を用いて提示できるようになった。静的ディスプレイよりも魅力的ではあるが、動的ディスプレイは、典型的には、ユーザと該ディスプレイとの間の双方向性を実現できない。
最近になって、インタラクティブ・タッチスクリーンが、情報を平面上に表示するのに用いられてきている。例えば、イメージをタッチスクリーン上に表示することができ、また、ユーザは、該タッチスクリーンに触れて、該イメージを変えることにより、該イメージと対話することができる。しかし、該タッチスクリーン上に表示されたイメージと対話するために、該ユーザは、該タッチスクリーンに実際に触れなければならない。また、典型的には、タッチスクリーンは、どんなときにも1つの入力を受取ることしかできず、該入力の形態を識別することができない。本質的に、現在のタッチスクリーンは、一本指接触の入力を受取ることしかできない。
店舗販売、小売広告、プロモーション、アーケードの催し場所等の使用目的によっては、情報をユーザに対して表示するインタラクティブ・インタフェースを提供することが望ましい。この双方向性は、情報を提示する、より魅力的なインタフェース(例えば、媒体、広告等)を提供する。ちょっとの間だけでも人の注目を捉えることにより、人は、従来のディスプレイよりも、該インタラクティブ・ディスプレイに表示された情報を吸収しやすくなる。
上述したように、現在のインタラクティブ・ディスプレイは、典型的には、ユーザがタッチスクリーン表面に物理的に触れることを必要とする。双方向性を提供するにはタッチスクリーンとの接触を要するため、多数の潜在的なユーザは、現在のインタラクティブ・ディスプレイに興味を持たず、あるいは、該ディスプレイを敬遠する。また、一度に、1人のユーザのみがタッチスクリーンと対話することができるため、多くのユーザは、排除される。さらに、現在のタッチスクリーンは、入力の形態を識別できないため、対話に応答して表示できる情報の種類が限定されている。
本発明の様々な実施形態、すなわち、内蔵型インタラクティブ・ビデオ・ディスプレイ・システムを本明細書において説明する。一実施形態において、プロジェクタは、視覚イメージをスクリーン上に投影して該視覚イメージを表示し、該プロジェクタは、該スクリーンの前面のユーザへの提示のために、該スクリーンの裏面に該視覚イメージを投影する。一実施形態において、該プロジェクタは、偏光を放射し、また、グレアを抑えるために、垂直方向の直線偏光フィルムが、該スクリーンの前面に隣接して配置される。一実施形態において、垂直方向の直線偏光フィルムは、該スクリーンの前面及び裏面に隣接して配置される。一実施形態において、該プロジェクタは、軸外しプロジェクタである。一実施形態において、対象は、人であるユーザの体の一部である。
一実施形態において、上記スクリーンは、散乱偏光子を備え、上記プロジェクタは、該散乱偏光子によって分散された偏光で偏光を放射し、カメラは、該散乱偏光子によって散乱されない偏光に感度が良い。別の実施形態においては、該スクリーンは、該プロジェクタによって放射された波長であって、該カメラに検知可能な波長ではない光を散乱させる材料を含む。別の実施形態において、該スクリーンは、実質的に半透過性から実質的に透過性に変化することができる時間ベースの材料を含み、該スクリーンは、該プロジェクタが該視覚イメージを投影しているときは実質的に半透過性であり、該カメラが、該スクリーンの前面の近くで対象を検知しているときは、実質的に透過性である。別の実施形態においては、該スクリーンは、特定の角度で実質的に半透過性であり、かつ他の角度で実質的に透過性である材料を備え、該プロジェクタは、該特定の角度から該スクリーン上に光を投影する。
イルミネータは、上記スクリーンの前面近くの対象を照らす。一実施形態において、該イルミネータは、該対象を赤外線照明で照らす赤外線イルミネータであり、上記カメラは、赤外線照明を検知する赤外線カメラである。一実施形態において、該イルミネータは、該カメラの露出に合わせてストロボされる。一実施形態において、該イルミネータは、該スクリーンを通して該対象上に照明を投影する。一実施形態において、該イルミネータは、該カメラ上でのグレア効果のいかなる可能性も低減するように配置される。一実施形態において、該イルミネータは、該イルミネータが該スクリーンを通して照明を投影しないように該スクリーンのそばに配設される。一実施形態において、上記システムは、複数のイルミネータを備え、該イルミネータは、該スクリーンのそばで、かつ該スクリーンの裏側に配設される。
カメラは、照らされた対象と視覚イメージとの相互作用を検知し、上記スクリーンは、該カメラに対して検知可能な光に対して少なくとも部分的に透過性であり、該カメラが、該スクリーンを通して該照らされた対象を検知できるようにする。コンピュータシステムは、該相互作用に応じて該視覚イメージを変化させるように該プロジェクタに指示する。
一実施形態において、上記プロジェクタ、上記カメラ、上記イルミネータ及び上記コンピュータシステムは、エンクロージャ内に含まれており、該エンクロージャの一方の面は、該スクリーンを備える。一実施形態において、該システムは、上記視覚イメージを該スクリーン上に投影するミラーをさらに備え、該プロジェクタは、該スクリーンに間接的に向けられ、該ミラーは、該視覚イメージを該スクリーンに向け直す。一実施形態において、上記システムは該カメラの視野の歪みを補正するために、該スクリーンに隣接して配置されたフレネルレンズをさらに備える。別の実施形態においては、該システムはさらに、該カメラの視野の歪みを補正するために、該スクリーンから一定距離に配置された一連のミラーストリップを備える。一実施形態において、該カメラのイメージは、該対象によって引き起こされた相互作用が、該スクリーン近傍の該対象の物理的位置に整合するように、該視覚イメージに対して調整される。
一実施形態において、上記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、該対象の該スクリーンからの距離に関する情報を判断するように機能する。一実施形態において、上記カメラは、ステレオカメラである。別の実施形態においては、該カメラは、タイムオブフライト型カメラである。一実施形態において、該タイムオブフライト型カメラは、該タイムオブフライト型カメラがそれ自体へ戻して反射しないように配置される。一実施形態において、上記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、第2の内蔵型インタラクティブ・ビデオ・ディスプレイ・システムと共にタイル張りのように並べることができる。一実施形態において、該内蔵型インタラクティブ・ビデオ・ディスプレイ・システムはさらに、第2のカメラと、該カメラのための第1のフレネルレンズと、該第2のカメラのための第2のフレネルレンズとを備え、該カメラによって見られる空間と該第2のカメラによって見られる空間とを合成できるようにする。
一実施形態において、上記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、上記対象が上記スクリーンに隣接している場合に、タッチスクリーン機能性を提供する。一実施形態において、該内蔵型インタラクティブ・ビデオ・ディスプレイ・システムはさらに、該スクリーンの前面に隣接する透過型タッチスクリーンを備える。別の実施形態においては、該内蔵型インタラクティブ・ビデオ・ディスプレイ・システムはさらに、該スクリーンの前面に隣接する縁部が照射される透過性シートを備え、上記カメラは、該対象が、該縁部が照射される透過性シートに接触したときに生成される光を識別するように機能する。
別の実施形態においては、本発明は、内蔵型インタラクティブ・ビデオ・ディスプレイ・システムを用いてインタラクティブ・視覚イメージを提示する方法を提供する。視覚イメージは、スクリーン上に投影され、該視覚イメージは、該スクリーンの前面のユーザへの提示のために、該スクリーンの裏面に投影される。該スクリーンの前面近くの対象が照らされる。該対象と該視覚イメージとの相互作用が検知され、該スクリーンは、該対象を該スクリーンを通して検知できるように、光に対して少なくとも部分的に透過性である。該視覚イメージは、該相互作用に応じて変化する。
次に、本発明の様々な実施形態、すなわち、その実施例が添付図面に示されている、第2の電子デバイスの周囲での対象の存在をモニタリングする電子デバイスについて詳細に説明する。本発明をそれらの実施形態に関して説明するが、該実施形態は、本発明をそれらの実施形態に限定しようとするものではないことは理解されよう。むしろ本発明は、添付の請求項によって定義される本発明の趣旨及び範囲内に含まれる代替例、変更例及び等価物をカバーしようとするものである。さらに、本発明に関する以下の詳細な説明においては、本発明の完全な理解を可能にするために、多数の特定の詳細が記載されている。しかし、当業者は、本発明をそれらの特定の詳細を要することなく実施することができることを認識するであろう。他の事例において、周知の方法、処理手順、コンポーネント及び回路は、本発明の態様を不必要に分かりにくくしないように、詳細に説明されていない。
以下の詳細な説明のいくつかの部分は、処理手順、ステップ、論理ブロック、処理、およびコンピュータメモリ上で実行することができるデータビットに関する動作の他の記号表現に関して示されている。それらの説明及び表現は、作用の内容を当業者に有効に伝えるために、データ処理技術において当業者により用いられる手段である。処理手順、コンピュータが実行するステップ、論理ブロック、プロセス等は、ここでは及び一般に、所望の結果につながるステップまたは命令からなる自己矛盾のないシーケンスであると考えられる。該ステップは、物理量の物理的処理を要するステップである。通常、必ずしもそうではないが、それらの量は、コンピュータシステムにおいて、格納する、転送する、結合する、比較するおよび他の方法で処理することが可能な電気的または磁気的信号の形をとる。それらの信号を、ビット、値、要素、記号、文字、項、数等と呼ぶことは、一般的に有利である場合があることが分かっている。
しかし、それらの全て及び同様の用語は、適当な物理量と関連付けられ、および、単にそれらの量に適用される便利なラベルであると考えるべきである。以下の考察から明らかなように、別に具体的に述べない限り、本発明の全体を通して、“投影する”または“検知する”または“変化する”または“照らす”または“補正する”または“なくす”等の用語を用いる考察が、電子システム(例えば、図1のインタラクティブ・ビデオ・システム100)または該電子デバイスのレジスタやメモリ内の物理的(電子的)量として表されたデータを処理し、かつ該データを、該電子デバイスのメモリまたはレジスタあるいは他のそのような情報蓄積、伝送または表示デバイス内の物理量として同様に表された他のデータに変換する同様の電子計算デバイスの動作及びプロセスを指すことは正しく認識されよう。
本発明の様々な実施形態、すなわち内蔵型インタラクティブ・ビデオ・ディスプレイ・システムについて本明細書で説明する。一実施形態において、プロジェクタは、視覚イメージを、該視覚イメージを表示するスクリーン上に投影し、該プロジェクタは、該視覚イメージを、該スクリーンの前面のユーザへの提示のために該スクリーンの裏面に投影する。イルミネータは、該スクリーンの前面の近くの対象を照らす。カメラは、照らされた対象と該視覚イメージとの相互作用を検知し、該スクリーンは、該カメラに検知可能な光に対して少なくとも部分的に透過性であり、該カメラが該スクリーンを通して該照らされた対象を検知することを可能にする。コンピュータシステムは、該プロジェクタに、該相互作用に応じて該視覚イメージを変化させるように指示する。
インタラクティブ・ビデオ・プロジェクション・システム
次に、本発明を、1つ以上の例示的な実施形態のかたちで説明する。1つの例示的な実施形態によれば、図1に示すようなインタラクティブ・ビデオ・システム100が提供される。インタラクティブ・ビデオ・システム100は、可視光を遮断するフィルタを備えるカメラ115と、カメラ115から見えるスクリーン130を照らすイルミネータ125と、イメージをスクリーン130のインタラクティブスペース上に投影するプロジェクタ120と、カメラ115のイメージを入力として受取り、ビデオイメージをプロジェクタ120へ出力するコンピュータ110とを使用する。一実施形態において、イルミネータ125は、赤外線イルミネータであり、カメラ115は、イルミネータ125の赤外光によって照らされたイメージを記録するように機能する赤外線カメラである。カメラ115及びイルミネータ125を、見えない光であって、赤外光に限定されない光の何らかの形態を用いて作動するように構成することができることを認識すべきである。
次に、本発明を、1つ以上の例示的な実施形態のかたちで説明する。1つの例示的な実施形態によれば、図1に示すようなインタラクティブ・ビデオ・システム100が提供される。インタラクティブ・ビデオ・システム100は、可視光を遮断するフィルタを備えるカメラ115と、カメラ115から見えるスクリーン130を照らすイルミネータ125と、イメージをスクリーン130のインタラクティブスペース上に投影するプロジェクタ120と、カメラ115のイメージを入力として受取り、ビデオイメージをプロジェクタ120へ出力するコンピュータ110とを使用する。一実施形態において、イルミネータ125は、赤外線イルミネータであり、カメラ115は、イルミネータ125の赤外光によって照らされたイメージを記録するように機能する赤外線カメラである。カメラ115及びイルミネータ125を、見えない光であって、赤外光に限定されない光の何らかの形態を用いて作動するように構成することができることを認識すべきである。
コンピュータ110は、カメラ115の入力を処理して、ピクセルごとの基準で、スクリーン130の前の空間のどの部分が人(または動く物体)で占められているか、及びスクリーン130のどの部分が背景であるかを識別する。コンピュータ110は、背景がらしく見えるかといういくつかの生成モデルを展開した後、該背景のそのコンセプトをカメラ115が現在見ているものと比較することにより、このことを実現する。代替的に、カメラ115の入力を処理するコンピュータ110のコンポーネントは、視覚システムとして公知である。この視覚システムの様々な実施形態は、2002年5月28日に提出され、本願の譲受人に譲渡されたBellによる“INTERACTIVE VIDEO DISPLAY SYSTEM”というタイトルの同時係属中の米国特許出願第10/160,217号、2003年9月18日に提出され、本願の譲受人に譲渡されたBellによる“SELF−CONTAINED INTERACTIVE VIDEO DISPLAY SYSTEM”というタイトルの同時係属中の米国仮特許出願第60/504,375号、及び2003年10月24日に提出され、本願の譲受人に譲渡されたBellによる“METHOD AND SYSTEM FOR PROCESSING CAPTURED IMAGE INFORMATION IN AN INTERACTIVE VIDEO SYSTEM”というタイトルの同時係属中の米国仮特許出願第60/514,024号に記載されており、これらの明細書の全ては参照により本明細書に組み込まれる。
該生成される背景は、上記システムを、ライティングの変化、上記スクリーン上の擦り傷及び他の障害に対して復元力があるため、上記視覚の重要な部分である。該視覚システムの出力は、エフェクトエンジンに送り込まれる白黒マスクイメージであり、該エフェクトエンジンは、コンピュータ110上でも作動する。該エフェクトエンジンは、インタラクティブ・グラフィックをスクリーン130上に生成するアプリケーションを実行する。アーチストは、幅広い種類のエフェクトコンポーネント及びスクリプト記述を用いてエフェクトをデザインすることができ、該エフェクトは、多種多様のインタラクティブ・エクスペリエンスを生成することを可能にする。そして、該エフェクトエンジンにより生成されたイメージは、プロジェクタ120へ出力される。
インタラクティブ・ビデオ・システム100の全ての電子コンポーネント(例えば、カメラ115、プロジェクタ120、コンピュータ110及びイルミネータ125)は、スクリーン130の一方側にあり、一方、ユーザとの対話は、スクリーン130の他方側で行われることが望ましい。一実施形態において、スクリーン130は、イメージをスクリーン130の表面に形成できるように、プロジェクタ120の光に対して部分的に半透過性である。しかし、スクリーン130は、カメラ115が、スクリーン130の反対側の対象を見ることができるように、カメラ115に対して部分的に透過性でもある。この明細書の全体を通して使われている透過性及び半透過性という用語は、それぞれ、少なくとも部分的に透過性および/または半透過性ということを意味するように定義されることを認識すべきである。また、この明細書の全体を通して使われている“散乱した”及び“散乱していない”という用語は、それぞれ、“実質的に散乱した”及び“実質的に散乱していない”ということを意味するように定義されることを認識すべきである。そしてまた、この明細書の全体を通して使われている“拡散した”及び“拡散していない”という用語は、それぞれ、“実質的に拡散した”及び“実質的に拡散していない”ということを意味するように定義されることを認識すべきである。
図1は、本発明の例示的な実施形態のコンポーネントの一つの物理的構成を示す。カメラ115、イルミネータ125、コンピュータ110及びプロジェクタ120を含む全ての感知及びディスプレイコンポーネントは、ボックス140の内部にある。一実施形態において、ボックス140の全ての側面は、1つの側面を除いて不透明である。不透明ではないこの1つの側面は、投影されたイメージを表示するスクリーン130である。
一実施形態においては、強度のレイリー散乱及び他の形態の比較的小さな散乱を有する滑らかで平坦な材料がスクリーン130に用いられる。光がスクリーン130(半透過型スクリーン)によって散乱された場合、該光は、スクリーン130上のイメージとして目に見えることになる。光がスクリーン130(透過型スクリーン)によって散乱または吸収された場合には、該光は、窓ガラスのようにスクリーン130をまっすぐ通過することになる。
レイリー散乱は、1/(波長4)に比例し、このことは、短い波長を有する光が、長い波長を有する光よりも多く散乱することを意味する。従って、800ナノメータ(nm)より大きい波長を有する赤外光は、400nm 700nmの波長を有する可視光ほどは散乱しない。この実施形態において、プロジェクタ120は可視光を用いるが、カメラ115は赤外光用いて、カメラ115がスクリーン130を通して見ることを可能にすると共に、プロジェクタ120により放射された光は、スクリーン130上に散乱される。一実施形態において、スクリーン130の材質は、良好なレイリー散乱を有するが、他の種類の最小限の散乱を有するように、滑らかでかつ好ましくは約40nm程度まで均質である。
一実施形態において、上記スクリーンの材料は、ほとんどの可視光を散乱させる微細構造を有する。しかし、該構造は、高密度すぎず、または厚すぎるものではなく、そうでなければ、ほとんどの赤外光も散乱することになる。また、該材料は、多くの可視光または赤外光を吸収すべきではなく、さもなければ、このことは、該材料を不透明にして劣等なスクリーンにすることになる。強度のレイリー散乱の特性を満たす材料の一実施例は、通常の白いプラスチックのゴミ袋である。一実施形態において、スクリーン130は、該袋を2つのガラスシートの間に挟み込むことによって形成される。この特性を満たす材料の別の実施例は、ポリエチレンシートである。
イルミネータ125及びカメラ115のフィルタの波長を増加させると、(適切なスクリーン材料及び厚さを選択した状態で)増加した波長が(グレアを最小化する)可視光の散乱の量を最大化し、かつ(該スクリーン上の対象のカメラ115の視野を改善する)赤外光の散乱量を最小化するため、インタラクティブ・ビデオ・システム100の性能が改善される。一実施形態においては、950nmのLEDクラスタ・イルミネータと、そのレンズの前に40nm幅950nm中心帯域通過フィルタを有するモノクロームCCDカメラとが使用される。
その性能をさらに向上させるために、いくつかの特徴をインタラクティブ・ビデオ・システム100に付加することができる。
カメラ上のグレアを低減すること
イルミネータ125からカメラ115上には、反射グレアがある可能性がある。このグレアは、スクリーン130越しに見るカメラ115の能力に干渉する可能性がある。一実施形態においては、この干渉を緩和し、かつカメラ115の性能を改善するために、近赤外線反射防止膜が、スクリーン130の底部および/または上部に設けられる。また、イルミネータ125をスクリーン130に対して斜角に配設して、鏡面反射が起きることを防ぐことができる。
イルミネータ125からカメラ115上には、反射グレアがある可能性がある。このグレアは、スクリーン130越しに見るカメラ115の能力に干渉する可能性がある。一実施形態においては、この干渉を緩和し、かつカメラ115の性能を改善するために、近赤外線反射防止膜が、スクリーン130の底部および/または上部に設けられる。また、イルミネータ125をスクリーン130に対して斜角に配設して、鏡面反射が起きることを防ぐことができる。
さらに、別の実施形態においては、グレアをさらに軽減するために、赤外線直線偏光フィルタが、イルミネータ125及びカメラ115の前に(カメラ115の偏光と直角なイルミネータ125の偏光の方向で)付加される。このグレアは、スクリーン130の底部で直接反射する光が、まだ偏光しており、一方、スクリーン130の外部で対象に当たる光が、その偏光を失うために起きる。
指向性周囲赤外線
周囲の赤外線源は、インタラクティブ・ビデオ・システム100の視覚システムに対して問題を引き起こす可能性がある。例えば、明るい外部赤外線源が、一方向から該ディスプレイ上に照射されている場合、この赤外線源と上記スクリーンとの間の物体は、スクリーン130上に赤外線の影を落とすことになる。該視覚システムは、この影とスクリーン130上の実際の対象とを混同して、該アプリケーションを誤作動させる可能性がある。赤外線の影の問題を低減するために、いくつかの方法を用いることができる。
周囲の赤外線源は、インタラクティブ・ビデオ・システム100の視覚システムに対して問題を引き起こす可能性がある。例えば、明るい外部赤外線源が、一方向から該ディスプレイ上に照射されている場合、この赤外線源と上記スクリーンとの間の物体は、スクリーン130上に赤外線の影を落とすことになる。該視覚システムは、この影とスクリーン130上の実際の対象とを混同して、該アプリケーションを誤作動させる可能性がある。赤外線の影の問題を低減するために、いくつかの方法を用いることができる。
一実施形態において、イルミネータ125の波長は、出来る限り均一になるように選択することができる。イルミネータ125により最も強力に出力された波長の光のみを通過させる狭小の帯域通過フィルタを、カメラ115の前に付加することができる。
別の実施形態において、パターン化されたイルミネータの使用は、上記システムが、スクリーン130上の赤外線の影と実際の対象とを識別できるようにする。さらなる詳細は、参照により本明細書に組み込まれる、2002年5月28日に提出されたBellによる“INTERACTIVE VIDEO DISPLAY SYSTEM”というタイトルの米国特許出願第10/160,217号を参照。
別の実施形態においては、イルミネータ125及びカメラ115をストロボさせることができる。発光ダイオード(LED)等のある照明源は、連続的につけることができる場合よりも短期間にはるかに明るくつけることができる。イルミネータ125が、カメラ115の露出中にのみつけられ、かつカメラの露出が十分短い場合、イルミネータ125の明るさは、周囲光と比較して大幅に増幅される。このことは、イルミネータ125が非常に明るくつけられる、短時間の露出中のカメラ115のイメージは、イルミネータ125が、連続的ではあるが、より低い連続使用輝度である、より長時間の露出からのイメージと比較して、かなり少ない周囲光を含むが、イルミネータ125からのほぼ同量の光を含むことになるため、真実である。
カメラ115とイルミネータ125は、同期させることができる。例えば、マイクロコントローラまたは他の電子回路は、カメラ露出同期を読取りまたは設定することができ、また、適当なときに、イルミネータ125に対してパルス状電力をトリガすることができる。
カメラの2番目の露出毎の間にのみイルミネータ125をつけることにより、ストロービングの性能をさらに改善することができる。従って、カメラ115は、イルミネータ125をオンにした状態の露出と、イルミネータ125をオフにした状態の露出を交互に行うことになる。目的は、周囲の赤外光を取り除くことであるため、コンピュータ110は、現在のイメージと前のイメージとの差をとることにより、周囲光を伴わないイメージを連続的に生成することができる。イルミネータ125は、2番目のフレームごとにのみ照らされるため、一方のイメージは、周囲赤外光のみを有することになるが、他方のイメージは、周囲赤外光に加えてイルミネータ125の光を有することになる。現在のイメージと前のイメージとの間のピクセルに関する差をとることにより、該周囲赤外光を相殺して、イルミネータ125の光のみを残すことができる。
インタレースCCDカメラの場合においては、交互の露出の間にイルミネータ125を光らせることで、偶数のラインは、イルミネータ125がオンであり、奇数のラインは、イルミネータ125がオフであるカメラ出力イメージを生成する。従って、2つのイメージを比較する代わりに、コンピュータ110は、該奇数ラインと偶数ラインとの間の差をとって周囲光を取り去ることができる。ストロービングは、上記第1及び第2のカメラがそれぞれの露出をわずかに異なる時間に行い、イルミネータ125が、該2つの露出のうちの一方のときにのみオンになるように設定された2つのカメラ115を用いて実行することができる。代替的に、該2つのカメラは、わずかに異なる波長に対して感度良くすることができ、また、イルミネータ125は、第2の波長でのみ光を放射する。
別の実施形態において、周囲赤外光を伴わない環境においては、イルミネータ125は、2番目の露出ごとに、上記システムの反応時間を低減する。イルミネータ125がオフの間のいかなる動きも、2番目の露出中に気づかれない。しかし、このことは、2番目の露出ごとにイルミネータ125の一部のみをオフにすることにより、または単にイルミネータ125の出力を低減することにより改善することができる。その結果、イルミネータ125は、“途中ずっとオン”と“一時的にオン”との間を交互に行う。コンピュータ110が、現在の露出と前の露出との間の差をとった場合、その結果は、周囲赤外光を含まず、かつイルミネータ125の光の一部を含むことになる。この構成は、周囲光を伴わない環境及びある程度周囲光を伴う環境の両方において、ユーザにとってもっとも速い可能性のある反応時間を実現できるであろう。
プロジェクタ・グレア
上記スクリーン材料は、完全に半透過性ではないため、プロジェクタ120からの光の一部は、スクリーン130を直接通過する可能性がある。その結果として、プロジェクタ120は、ユーザの目にグレアを引き起こす可能性がある。一実施形態においては、イルミネータ125の波長をより長くし、かつより散乱を生じるスクリーン130を用いることにより、カメラ115は、それでもスクリーン130を通してみることができ、可視光グレアの量は低減される。
上記スクリーン材料は、完全に半透過性ではないため、プロジェクタ120からの光の一部は、スクリーン130を直接通過する可能性がある。その結果として、プロジェクタ120は、ユーザの目にグレアを引き起こす可能性がある。一実施形態においては、イルミネータ125の波長をより長くし、かつより散乱を生じるスクリーン130を用いることにより、カメラ115は、それでもスクリーン130を通してみることができ、可視光グレアの量は低減される。
別の実施形態においては、直線偏光シートを、上記グレアをなくすまたは低減するのに用いることができる。図2は、直線偏光シートが、グレアをなくすまたは低減するのに用いられる一構成を示す。垂直方向偏光シート230および水平方向偏光シート220はそれぞれスクリーン210の真下、および真上に配置されている。投影された光が垂直方向偏光シート230を通過すると、その光は垂直方向に偏光される。散乱により光が偏光されるため、スクリーン210上の散乱光の多くは、依然としてビューワにとって可視である。しかし、(グレアを引き起こす)スクリーン210によって散乱されない光は、該光が垂直方向に偏光されているため、水平方向偏光シート220によってほとんど全てが吸収される。従って、グレアはなくなり、スクリーン210は、明るいままである。上記カメラが赤外光に感度が良い場合には、赤外光を偏光しない直線偏光材料を選択することができることに注意する。
別の実施形態において、上記プロジェクタが液晶(LCD)プロジェクタの場合には、光は既に偏光されていることになる。いくつかのLCDプロジェクタの場合、赤色、緑色及び青色光の全てが同じ方向に偏光されている。この場合、上記スクリーンの下に偏光フィルムは必要ない、いくつかのLCDプロジェクタにおいては、赤色及び青色は、一方向に偏光され、緑色は、該方向から90度ずれて偏光される。この場合、一実施形態においては、上記偏光シートが存在しており、赤―青方向から45度および135度それて偏光させるべきである。別の実施形態においては、同じ方向に偏光された赤色、緑色及び青色光を得るために、色選択性偏光回転子を該プロジェクタ上または該プロジェクタ内に配設することができる。この場合、該スクリーンの前に1つのみの直線偏光子を要する。ColorLink Corporationにより生み出された位相差板スタック“ColorSelect”技術等の色選択性偏光回転子は、緑色光の偏光を90度だけ回転させるのに用いられる。代替的に、赤色及び青色光の偏光を90度だけ回転させて同じ効果を得ることもできる。
物理的構成
上記インタラクティブ・ビデオ・ディスプレイ・システムの多くの可能な物理的構成がある。1つの構成は、図1に示しかつ描写したような卓上用ディスプレイである。該インタラクティブ・ビデオ・ディスプレイ・システムは、表面上にあり、全ての電子機器を1つのボックス内に収容しており、数フィートの高さであり、該ボックスの上部に水平スクリーンを有する。しかし、該インタラクティブ・ビデオ・ディスプレイ・システムは、斜めの、垂直のまたは湾曲したディスプレイを形成するのに用いることもできる。
上記インタラクティブ・ビデオ・ディスプレイ・システムの多くの可能な物理的構成がある。1つの構成は、図1に示しかつ描写したような卓上用ディスプレイである。該インタラクティブ・ビデオ・ディスプレイ・システムは、表面上にあり、全ての電子機器を1つのボックス内に収容しており、数フィートの高さであり、該ボックスの上部に水平スクリーンを有する。しかし、該インタラクティブ・ビデオ・ディスプレイ・システムは、斜めの、垂直のまたは湾曲したディスプレイを形成するのに用いることもできる。
上記インタラクティブ・ビデオ・ディスプレイ・システムにより占有される物理的スペースの一部は、単にデッドスペースであり、上記スクリーン上に適度に大きなイメージを有するためには、上記プロジェクタは、該スクリーンからかなりの距離にあることが必要である。この距離は、ミラーの使用によって減らすことができ、このことは、該プロジェクタのビームの方向を変えること、およびより小さなスペースに収めることを可能にする。一実施形態において、上記カメラは、上記ボックス内の異なる箇所に設けることができ、また、該スクリーンがクリアな視野を有する限り、ミラーを通して該スクリーンを見ることができる。一実施形態において、赤外光イルミネータは、対象を該ボックスの上に照らす限り、該ボックス内のどこにでも、または、該ボックスの表面にも設けることができる。
図3は、上記システムのいくつかの他の可能な構成の断面図を示す。全てのパーツを容易に固定することができるので、図示のデザインは、どの方向にも回転させることができる。ディスプレイ310は、図1で説明したインタラクティブ・ビデオ・ディスプレイを示す。ディスプレイ320及び330は、上記プロジェクタのビームの方向を変えるミラーを用いてよりコンパクトになっているインタラクティブ・ビデオ・ディスプレイを示す。ディスプレイ340及び350は、角度をつけたカメラを用い(ディスプレイ340)、該プロジェクタのビームの方向を変えるミラーを用いて(ディスプレイ350)角度がつけられたインタラクティブ・ビデオ・ディスプレイを示す。ディスプレイ360は、該プロジェクタのビームの方向を変える多数のミラーを用いたインタラクティブ・ビデオ・ディスプレイを示す。
インタラクティブ・ビデオ・ディスプレイの追加的な構成
本発明の一つの態様によれば、スクリーンの前の領域を照らす多数の例示的な方法が提供される。内蔵型インタラクティブ・ビデオ・ディスプレイにおいて、赤外光カメラ、赤外光イルミネータ及び可視光プロジェクタは、全てスクリーンの一方側にあり、一方、ユーザは、他方側にいる。所望の機能性を実行するために、使用される該スクリーンの材料は、可視光に対してほとんど半透過性であり(しかし、わずかに透過性であってもよい)、及び、好ましくは、赤外光に対してほとんど透過性である(本明細書において、以後、“赤外光透過・可視光半透過性スクリーン(IR−Transparent VIS−Translucent screen)”または“メインスクリーン”と呼ぶ)。上記赤外光イルミネータにより放射された光は、該スクリーンを通過する際に、ある程度散乱する。この光は、上記カメラによって獲得され、該カメラのイメージを低コントラスト及び色あせたものにする可能性がある。その結果として、該スクリーンの向こうの対象に関する該カメラの視野を妨げる可能性があり、このことは、低下した動作特性をもたらすことになる。
本発明の一つの態様によれば、スクリーンの前の領域を照らす多数の例示的な方法が提供される。内蔵型インタラクティブ・ビデオ・ディスプレイにおいて、赤外光カメラ、赤外光イルミネータ及び可視光プロジェクタは、全てスクリーンの一方側にあり、一方、ユーザは、他方側にいる。所望の機能性を実行するために、使用される該スクリーンの材料は、可視光に対してほとんど半透過性であり(しかし、わずかに透過性であってもよい)、及び、好ましくは、赤外光に対してほとんど透過性である(本明細書において、以後、“赤外光透過・可視光半透過性スクリーン(IR−Transparent VIS−Translucent screen)”または“メインスクリーン”と呼ぶ)。上記赤外光イルミネータにより放射された光は、該スクリーンを通過する際に、ある程度散乱する。この光は、上記カメラによって獲得され、該カメラのイメージを低コントラスト及び色あせたものにする可能性がある。その結果として、該スクリーンの向こうの対象に関する該カメラの視野を妨げる可能性があり、このことは、低下した動作特性をもたらすことになる。
本発明は、上記の問題を多くの方法で対処する。一実施形態において、上記赤外光イルミネータは、可能な限り上記スクリーンに近づけて配置することができる。例えば、該イルミネータは、境界に沿って該スクリーンと直接対向して配置してもよい。この構成を図4Aに示す。(図4Aにおいて、“イルミネータのためのカバー402”と呼ぶ)該イルミネータの前の材料は、赤外光に対して、少なくともやや半透過性であり、または透過性である何らかの材料を含んでもよい。イルミネータのためのカバー402の材料に対するオプションは、該メインスクリーン材料、透き通った透過性材料、または、赤外光に対して透過性である黒い不透明材料を含む。後の図におけるイルミネータのためのカバーに対する説明は、同様の意味を有する。上記メインスクリーン上への赤外光の漏れを防ぐために、物理的ブロックを用いてもよい。
しかし、上記の実施形態は、上記スクリーンの近くで、かつ該スクリーンの中心の近くにある対象の不十分な照明を生じる可能性がある。これは、たいていの物質に斜角で照射された光が、通過するのではなく、該物質の表面で反射する傾向があり、例えば、該物質の透過性が機能的に低下しているためである。このことに対処する一つの方法は、該スクリーンを単に上記ディスプレイの表面から後ろへ動かすことであり、それによって、赤外線イルミネータがより小さな斜角で該スクリーンを通して照射することが可能になる。この構成を図4Bに示す。
別の実施形態においては、上記イルミネータは、該イルミネータが、上記スクリーンの前の全ての領域を容易に照らせることができるような方法で、該スクリーンの前に配置することができる。該イルミネータが該スクリーンの前から突出している一つの構成を図5Aに示す。ディスプレイの表面が凹んだ別の構成は図5Bに示されている。図4A、図4B、図5A及び図5Bに示す実施形態においては、該イルミネータは、連続線内に、または有利な配置で、該スクリーンの周りに等間隔で配置することができる。図4A、図4B、図5A及び図5Bに示すこれらの照明方法は、該スクリーンの後ろにあり、かつ該スクリーンを通して照射するイルミネータと組合わせることもできる。
軸外し(off−axis)投影
本発明の別の態様によれば、軸外し投影は、上記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムの性能を改善するのに用いられる。軸外しビデオプロジェクタは、矩形状ビデオイメージを斜角で平面上に投影することが可能である。これらの軸外しプロジェクタは、該システム全体のサイズを大幅に縮小できるようにし、また、グレアを低減できるようにするので、インタラクティブ・ディスプレイにとって非常に重要である。
本発明の別の態様によれば、軸外し投影は、上記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムの性能を改善するのに用いられる。軸外しビデオプロジェクタは、矩形状ビデオイメージを斜角で平面上に投影することが可能である。これらの軸外しプロジェクタは、該システム全体のサイズを大幅に縮小できるようにし、また、グレアを低減できるようにするので、インタラクティブ・ディスプレイにとって非常に重要である。
図6A及び図6Bは、軸外しプロジェクタを用いた内蔵型インタラクティブ・ビデオ・ディスプレイの2つの構成を示す。軸外しプロジェクタを有する赤外線透過、可視光半透過性スクリーンを用いた場合、グレアは低減される。該スクリーンは、可視光に対して完全に半透過性ではない(赤外光に対して完全に透過性ではない)ため、ある程度の可視光は、該スクリーンを通過することになる。該スクリーンが厚い場合には、いっそう多くの残りの可視光が散乱されることになり、グレアが低減される。また、該スクリーンをより厚く形成することは、該スクリーンが、赤外光に対して完全には透過性ではないため、該スクリーンの赤外線に対する透過性を小さくする。しかし、可視光が、直角ではなく、斜角で該スクリーンを通過する場合、該光は、より多くの距離を該スクリーンを通して進まなければならず、グレアの量が低減される。例えば、該スクリーンと平行に30度で該スクリーンを通過する光は、該スクリーンに対して直角な角度で通過する光の2倍の量、スクリーン材料を通過する必要がある。従って、赤外線カメラが、該スクリーンを直接見ると共に、上記可視光プロジェクタが光を斜角で該スクリーン上に照射する場合、該赤外線カメラの最大透過性及び該可視光プロジェクタの最大半透過性を得ることができる。
透過性フラットパネルディスプレイ
上記内蔵型インタラクティブ・ビデオ・ディスプレイは、ビデオプロジェクタ以外のディスプレイ技術で実施することができる。上記メインスクリーンの代わりに該ディスプレイを使用する場合、上記カメラに見える光に対して少なくとも部分的に透過性であるフラットパネルディスプレイを実施することができる。例えば、Provisionにより販売されているLCDパネルの形態の透過イメージングマトリックスを、該カメラが近赤外線カメラである実施形態におけるディスプレイに用いることができる。この形態のLCDパネルは、表示される色が白色の場合、クリアでありかつ透過性である。また、該ディスプレイは、どんな色が表示されていようとも、近赤外線で透過性である。ノート型PCモニタに使用される透過性LCDパネル、フラットパネルLCDコンピュータモニタ及びフラットパネルLCD TVスクリーンを含む多くの種類のLCDパネルも、近赤外線で透過性である特性を有する。
上記内蔵型インタラクティブ・ビデオ・ディスプレイは、ビデオプロジェクタ以外のディスプレイ技術で実施することができる。上記メインスクリーンの代わりに該ディスプレイを使用する場合、上記カメラに見える光に対して少なくとも部分的に透過性であるフラットパネルディスプレイを実施することができる。例えば、Provisionにより販売されているLCDパネルの形態の透過イメージングマトリックスを、該カメラが近赤外線カメラである実施形態におけるディスプレイに用いることができる。この形態のLCDパネルは、表示される色が白色の場合、クリアでありかつ透過性である。また、該ディスプレイは、どんな色が表示されていようとも、近赤外線で透過性である。ノート型PCモニタに使用される透過性LCDパネル、フラットパネルLCDコンピュータモニタ及びフラットパネルLCD TVスクリーンを含む多くの種類のLCDパネルも、近赤外線で透過性である特性を有する。
上記カメラに見える光に対して少なくとも部分的に透過性である上記フラットパネルディスプレイは、この文書では、“透過性フラットパネルディスプレイ”と呼ぶ。本明細書で説明した実施例は、赤外線が完全に透過性である透過性フラットパネルディスプレイと赤外線カメラとを含むが、該実施は、異なる波長範囲で機能するカメラ、及び該カメラにより検知可能な光に対して完全に透過性である透過性フラットパネルディスプレイに対して、同様に当てはまる。
透過型LCDパネルまたは赤外線に対して少なくとも部分的に透過性である他のフラットパネルディスプレイ技術を用いると、インタラクティブ・フラットパネル・ディスプレイを、赤外線カメラを用いて構成することができる。透過型LCDは、典型的には、それ自体の照度が不足しているため、外部光源により照射する必要がある。一実施形態において、この外部光源は、該LCDパネルの後方の白色可視光イルミネータを含む。一実施形態において、上記カメラに対して透過性であるが、可視光イルミネータを散乱させるスクリーンは、該イルミネータの光をより容易に拡散するように、該LCDパネルのすぐ後ろに配設される。
図7Aは、本発明の一実施形態による例示的な透過型インタラクティブ・フラットパネル・ディスプレイ・システム700を示す。一実施形態において、ディスプレイ700の外観は、赤外線透過・可視光半透過性スクリーン720材料を透過型フラットパネルディスプレイ710の後ろに配置することにより、改善されている。それに伴って、どのような光をスクリーン720に照射しても、より多く拡散してディスプレイ710が照らされることになる。スクリーン720のライティングを最大限に拡散させるために、システム700は、斜角で該スクリーン上に照射する光730または独立した拡散板740を該光の前に有する光730を用いてもよい。拡散板740は、カメラ760の視野を遮らないことに注意する。図7Bは、透過型フラットパネルディスプレイ710及びスクリーン720を取り除いた状態の平面切り欠き図における同じ構成を示す。可視光イルミネータ730は、LED、蛍光灯、ネオン管、エレクトロルミネセントワイヤまたはシート、ハロゲン光及び白熱電球を含む、可視光を生成可能な何らかのライティング技術を含んでもよい。赤外線イルミネータ750は、LED、加熱ランプ、ハロゲンランプまたは白熱ランプを含む、上記カメラに見える赤外光を生成することが可能な何らかのライティング技術を含んでもよい。赤外光及び可視光は、両方とも、同じ光源によって生成してもよい。代替的に、赤外光のより良好な制御に対しては、可視光に対して透過性であるが、赤外光に対しては不透明であるフィルムを、可視光イルミネータ730を覆って設けてもよい。
「指向性周囲赤外線」の章で述べたストロービング技術を含むプロジェクタをベースとするシステムに対して言及した改良、「物理的構成」の章で述べた物理的構成及び「インタラクティブ・ビデオ・ディスプレイの追加的な構成」の章で述べた上記イルミネータの配置は、全て、この章で述べた透過型フラットパネルディスプレイをベースとするシステムに適用可能である。
プロジェクタではなく透過型フラットパネルディスプレイの使用は、上記インタラクティブ・ビデオ・ディスプレイのサイズを著しく低減することを可能にする。しかし、このことは、上記スクリーンを通して見ることができなければならないコンピュータ視覚システムに対して問題を引き起こす。該スクリーンとディスプレイボックスの背面との間にわずかな距離しかない場合、カメラ760は、スクリーン720の前の全領域、すなわち、ユーザの手等の該システムが検知すべき対象の位置を見るために、極端に広い角度にしなければならなくなる。このことは、斜角で該スクリーンを通してみる際の困難性のため、問題を引き起こす可能性がある。
斜角での照射の問題を解決する一つの方法は、スクリーン720を通過する光に影響を及ぼすことなくスクリーン720で反射される赤外光をなくすための、カメラ760の周囲での偏光材料の使用である。該スクリーン面で反射する光は、該スクリーン面に対して平行に強度に偏光する傾向があるため、該スクリーン面と直角にカメラ760を取り囲み、かつそのスクリーン面と直角な偏光を有する偏光子は、スクリーン720の後ろの赤外線イルミネータ750からのほとんどまたは全ての迷反射光をなくさなければならない。
歪への対処
カメラ視野歪みの問題は、本明細書に記載した全ての内蔵型インタラクティブ・ビデオ・ディスプレイ(例えば、投影システム及び透過型フラットパネルディスプレイをベースとするシステム)に存在する可能性がある。たいていの場合、上記スクリーンの上の領域のカメラの2次元視野は、激しい歪みを有する可能性がある。例えば、図7Aにおいて、対象712及び対象714は、スクリーン720の前の全く異なる位置にあるにもかかわらず、カメラ760には同じ位置にあるように見える。スクリーン720の上の相互作用に対して正確に感知するためには、この歪みは補正する必要がある。
カメラ視野歪みの問題は、本明細書に記載した全ての内蔵型インタラクティブ・ビデオ・ディスプレイ(例えば、投影システム及び透過型フラットパネルディスプレイをベースとするシステム)に存在する可能性がある。たいていの場合、上記スクリーンの上の領域のカメラの2次元視野は、激しい歪みを有する可能性がある。例えば、図7Aにおいて、対象712及び対象714は、スクリーン720の前の全く異なる位置にあるにもかかわらず、カメラ760には同じ位置にあるように見える。スクリーン720の上の相互作用に対して正確に感知するためには、この歪みは補正する必要がある。
歪みのない環境においては、物理的対象に対応するスクリーン720上の仮想位置は、該対象の輪郭のスクリーン720上への垂直投影である。フレネルレンズ等の平坦な補正光学系を、該スクリーンと直角である入射光の向きをカメラ760の方へ変えるように、スクリーン720の上または近傍に配置することができる。それに伴って、カメラ760は、対象を、スクリーン720の表面に対して正しい位置に見る。図8Aは、プロジェクタをベースとするインタラクティブ・ビデオ・ディスプレイ・システム800に対するこの構成の例示的な実施形態を断面で示す。カメラ810は、垂直方向からスクリーン830上に照射する光線の向きをカメラ810に向けさせるフレネルレンズ820の焦点距離に配置されている。その結果として、対象が位置802から位置804へ移動した場合、カメラ810に対するその視位置は変わらない。従って、所望の効果が実現され、すなわち、スクリーン820の上の対象は、スクリーン820の上の該対象の輪郭の垂直投影である仮想位置を有する。該カメラのレンズの光学系は、特別に配慮する価値があり、ピンホールレンズは、理想的な焦点深度及び画像明瞭をもたらすが、無限領域に焦点を合わせる能力を有する広角レンズは、焦点深度及び写像性をある程度犠牲にして、より明るいイメージを可能にすることになる。歪みをなくすフレネルレンズ方法は、投影型及び透過型のフラットパネルディスプレイをベースとするインタラクティブシステムと共に用いることができることを認識すべきである。
内蔵型プロジェクタディスプレイに対して上記フレネルレンズを使用する場合、該レンズの前の赤外線透過・可視光半透過性スクリーンは、該プロジェクタの光を散乱させ、また、このスクリーンと該フレネルレンズとの間の距離はほとんどゼロであり、そのため投影イメージの歪はないので、該フレネルレンズは、該投影イメージに影響を及ぼさない。
透過型フラットパネルディスプレイに対して上記フレネルレンズを使用する場合、該透過型フラットパネルディスプレイは、ビューワに近づけて、上記赤外線透過・可視光半透過性スクリーン及びフレネルレンズの前に配置することができる。該フレネルレンズは、白色光によるバックライトが、既に拡散されているか、または、該フレネルレンズと透過型フラットパネルディスプレイとの間の材料によって拡散されるため、該ディスプレイの照明に影響を及ぼさない。
代替的に、上記歪みは、図8Bに示すように、上記ディスプレイの背面に一連のミラーストリップを用いることにより、なくすことができる。これらのミラーストリップ910は、該ディスプレイ上に垂直に照射する光の向きをカメラ920の方へ変えるようにデザインされている。該カメラは、光に干渉しないように、該ディスプレイの側に配設されている。ミラーストリップ910の実際の数は、非常に多くの数とすることができ、また、該ストリップ自体は、非常に薄くすることができる。一実施形態においては、スクリーン930の背面からの光を通過させて照射できるようにするミラーストリップ910の間の十分な空間が形成される。しかし、カメラ920は、その視野により、それらの光を見ることができず、この領域のカメラ920の視野は、全てミラーストリップ910である。スクリーン930と直角な方向で見た場合、ミラーストリップ910は、各円の中心がカメラ920の位置にある円曲線を形成する。
プロジェクタは、ミラーストリップ910を通して容易に照射することができないため、本実施形態は、該プロジェクタが、該ミラーストリップと該スクリーンとの間の空間を通して該スクリーン上に投影する、透過型フラットパネルディスプレイまたは軸外し投影ディスプレイを用いてより有効にすることができる。しかし、これは、該ミラーストリップを通して照射するプロジェクタの使用を排除しない。ある程度の光は失われるが、該プロジェクタの光は、この時点で焦点が合わず、それに伴って、最終的な投影イメージが影響を受けない。
代替的に、見られるシーンに関する深度情報(各ピクセルで見られる上記カメラから対象までの距離)を得ることができる場合、該カメラにより見られる対象ごとの各ピクセルによって占められる該スクリーンの上の位置のx−y−z座標を(単純な座標変換によって)再構成することができ、それに伴って、該カメラの歪んだ視野を補正することができる。このような深度情報は、限定するものではないが、ステレオカメラ、タイムオブフライト型カメラ及びパターン化した照射を含む様々な手段を用いて得ることができる。
上記カメラのイメージの各ピクセルに対するx−y−z座標を用いた歪みのない3次元(3D)視野を再構成する能力は、単純なデータの重ね合わせにより、多数のカメラのデータの、上記スクリーンの前の対象の単一の統合視野への結合も可能にするであろう。多数のカメラ(または、立体視を3Dに用いる場合、多数の組のカメラ)の使用は、該カメラに対して、より狭小な視野を用いて、上記ディスプレイを一様に平坦に形成できるようにするであろう。この場合、該カメラまたはカメラの組は、該カメラが、該スクリーンの後ろの領域を一様にカバーするように、理想的に配置される。例えば、該カメラは、該スクリーンの後ろに格子状に配置することができる。
散乱偏光子スクリーンを用いたイメージの投影及びキャプチャ
次に、別のスクリーン材料について説明する。このスクリーン材料は、本願においてすでに説明したプロジェクタベースの及び透過型フラットパネルディスプレイベースのシステムに用いられる“赤外線透過・可視光半透過性スクリーン”に対する代替例として機能する。該スクリーンは、対象と、上記インタラクティブ・ディスプレイ・システムとの間に配置されているため、該スクリーンは、投影イメージを透過すると共に、照明源及びカメラが該スクリーンを通して明瞭に見ることができるようにする。一実施形態において、該スクリーンは、表示イメージチャネルのための透過拡散板として機能すると共に、該カメラのキャプチャリングチャネルのためのウィンドウとしても機能する。該スクリーンに対する追加的な必要条件は、ビューワをグレア、すなわち、直接的なまたは十分に散乱していないプロジェクタ光による不快な視覚刺激から防ぐことである。
次に、別のスクリーン材料について説明する。このスクリーン材料は、本願においてすでに説明したプロジェクタベースの及び透過型フラットパネルディスプレイベースのシステムに用いられる“赤外線透過・可視光半透過性スクリーン”に対する代替例として機能する。該スクリーンは、対象と、上記インタラクティブ・ディスプレイ・システムとの間に配置されているため、該スクリーンは、投影イメージを透過すると共に、照明源及びカメラが該スクリーンを通して明瞭に見ることができるようにする。一実施形態において、該スクリーンは、表示イメージチャネルのための透過拡散板として機能すると共に、該カメラのキャプチャリングチャネルのためのウィンドウとしても機能する。該スクリーンに対する追加的な必要条件は、ビューワをグレア、すなわち、直接的なまたは十分に散乱していないプロジェクタ光による不快な視覚刺激から防ぐことである。
場合によっては、小粒子散乱は、単一粒子散乱に対してλ4波長依存を有するが、たいていの拡散板は、多重散乱を利用して適切な拡散を実施する。多重散乱においては、散乱光の波長依存性は、ミルクの色によって実演されるように、よりはるかに中立である。小粒子によってコヒーレントに散乱された光の強度は、(n−1)2に比例することが分かっており、ただし、nは、該粒子とホストマトリクスとの間の相対屈折率である。本発明において、それは、キャプチャリングチャネルにおける透過性及び表示チャネルにおけるぼやけを可能にするように活用されるこの散乱の特性である。ここで用いる方法は、限定するものではないが、該キャプチャリングチャネルにおける赤外線の使用と矛盾しない。一般的なポリマー材料の散乱は、可視光と近赤外光との間のコントラストを生成するには不十分である。その代わり、本発明者らは、該キャプチャリングチャネルを偏光状態の1つの状態に分類し、該表示チャネルを直交する状態に分類する。また、発明者等は、偏光の1つの状態に対するマトリクスと散乱分子との間の屈折率整合(n=1)及び直交状態に対する屈折率不整合(n≠1)という特性を有するスクリーンを用いる。このようにして、該スクリーンは、該表示チャネルに対して実質的なぼやけを、該キャプチャリングチャネルに対して実質的な透過性を有することになる。材料は、非常に狭小なスペクトル(20nm程度)を有することができる該キャプチャリングチャネルにおいてほぼ完璧な屈折率整合を実施するように調整することができる。2つの主要なマトリクスは、この種のスクリーンのパフォーマンス、すなわち、シングルピース透過(the single piece transmission;Tsp)及び偏光子効率(polarizer efficiency;PE)を規定するのに用いることができる。これらの量は、次のように等式1及び等式2で定義される。
ただし、T‖及びT⊥は、上記2つの状態における直接(例えば、散乱していないまたは小角散乱した)透過率である。
完全な偏光子の場合、TSP=0.5及びPE=1である。実際の偏光子の場合、上記スクリーンの厚さまたは粒子濃度が一定の有効範囲を超えると、多重散乱によりTSPは減少し、かつPEは増加することになる。これら2つのパフォーマンスマトリクスは、所定の散乱システムの材料及び処理パラメータを調節することにより、所定の用途に対して最適化することができる。高いTSPは、上記カメラにおいて主として高い解像力をもたらし、高いPEは、主として低いグレアをもたらす。
一実施形態において、上記プロジェクタの光は、上記スクリーンの半透過状態で偏光される。LCDプロジェクタの場合、これは、非常に低い損失で配置することができる。投影されたイメージ光の一部は後方散乱され、また一部は、前方領域で選択的に散乱される。上記カメラに用いられる照明は、迷光を回避するために、優先的に偏光される。このことは、フィルム型吸収偏光子を用いて容易に実現することができる。照らされた対象は、該光を拡散的に反射し、またほぼ同等の部分が、透過性及び散乱に対応して偏光状態で生成される(例えば、偏光は保たれない)。該カメラは、上記対象からの直接光のみが撮像されるように、吸収型の偏光フィルタを備えている。また、該カメラは、ビデオフィードバック及び周囲光からの干渉を避けるために、ランプスペクトルに整合する狭帯域フィルタを備えてもよい。該散乱偏光子が、該散乱光が入射光の偏光を維持する別の特性を有する場合、周囲光の反射は低減されることになり、より高いコントラストがもたらされる。図9A及び図9Bは、本発明の一実施形態による、散乱偏光子スクリーンを有するインタラクティブ・ビデオ・ディスプレイ・システムの概略的レイアウトを示す。斜めの矢印及び双方向矢印は、偏光の状態を表す。
典型的なLCDプロジェクタは、その投射レンズから偏光した光を放射する。しかし、ほとんどの一般的なタイプの3重パネルLCDプロジェクタの場合、緑原色の偏光は、赤原色及び青原色の偏光に対して直角である。(これは、X立方体コンバイナデザインの結果である。)そのため、3原色全てを同じ偏光で投影するには、緑色は、他の2色と同様にしなければならない。このことは、(例えば、日本のPolatechno Corp.から入手可能な)リターダ・スタックを用いることにより、非常に低い損失で実現することができ、該スタックは、赤色及び青色のリターダンスと比較して、半波長のリターダンスを緑色チャネルに付加する。このスタックコンポーネントは、該コンバイナ立方体と投影レンズとの間に、または、該レンズと該スクリーンとの間に配置することができる。高ルーメン出力を維持し、かつ画像アーチファクトを避けるためには、偏光保存性の投影レンズアセンブリを用いることが必要である。
内蔵型インタラクティブ投影型ディスプレイの代替構成
HoloClear、Dai Nippon Printingにより製造されているホログラフィックスクリーン等の部分的に透過性であるが、光がスクリーン上に特定の角度で投射したときには半透過性であるスクリーン材料は、該ディスプレイのコンテナ内部がユーザに対して完全に暗くなるような方法で、該内蔵型インタラクティブ・ディスプレイに用いることができる。このことは、上記赤外線カメラ及びイルミネータの前に、赤外線に対して透過性である黒ウィンドウを用いて、該コンテナの全ての内面を黒にすることにより、実現することができる。該スクリーン材料は、部分的に透過性であるため、該カメラは、該スクリーン越しに対象を見ることができる。しかし、該プロジェクタは、適当な角度(HoloClearの場合は35度)でオフセットされているため、該プロジェクタからの光は完全に拡散され、グレアがなくなる。該ディスプレイのユーザは、その内部が真っ暗であるため、該部分的に透過性のスクリーン越しに何かが見えなくてもよい。
HoloClear、Dai Nippon Printingにより製造されているホログラフィックスクリーン等の部分的に透過性であるが、光がスクリーン上に特定の角度で投射したときには半透過性であるスクリーン材料は、該ディスプレイのコンテナ内部がユーザに対して完全に暗くなるような方法で、該内蔵型インタラクティブ・ディスプレイに用いることができる。このことは、上記赤外線カメラ及びイルミネータの前に、赤外線に対して透過性である黒ウィンドウを用いて、該コンテナの全ての内面を黒にすることにより、実現することができる。該スクリーン材料は、部分的に透過性であるため、該カメラは、該スクリーン越しに対象を見ることができる。しかし、該プロジェクタは、適当な角度(HoloClearの場合は35度)でオフセットされているため、該プロジェクタからの光は完全に拡散され、グレアがなくなる。該ディスプレイのユーザは、その内部が真っ暗であるため、該部分的に透過性のスクリーン越しに何かが見えなくてもよい。
別の実施形態においては、現在、インテリアデザイナー向けに市販されている“プライバシーガラス”製品等の、電流が印加されたときに、瞬時にクリアから半透過性に切り替わることができるスクリーン材料を用いることができる。この材料は、本明細書において、(例えば、時間により透過性あるいは半透過性になる)時間ベースの材料と呼ぶことにする。この材料は、波長または偏光選択性スクリーンの代わりに用いることができる。カメラの露出は、非常に短い(例えば、1秒間に約100マイクロ秒で30回)。上記カメラが露出しているときに、該スクリーン材料はクリアであり、該カメラが該スクリーンを通して見ることができるようになる。プロジェクタシステムの場合、電子(例えば、高速液晶シャッター)または機械的シャッターは、該プロジェクタの光出力を遮断することができ、該プロジェクタがこの間にユーザの目に照射しないことを実現する。該カメラが露出していないときには、該スクリーン材料は、半透過性に変わり、該プロジェクタの光またはバックライトの光が散乱できるようになる。バックライトという用語は、上記フラットパネルディスプレイを可視光で照らす照明源を指すことを認識すべきである。
インタフェースの全般的な説明
本明細書において本文により暗に説明したが、このシステムは、内蔵型ディスプレイシステムに対するインタフェースについて記述する。このインタフェースは、位置、輪郭の感知、および場合によっては該ディスプレイの前の(人であるユーザを含む)対象の距離、及びこの感知に基づく実時間効果の表示を可能にする。これらの実時間効果は、該ディスプレイの仮想空間における対応する位置における動作の効果に対する該ディスプレイの前の物理的空間における動作のマッピングを含んでもよい。換言すれば、該システムは、ユーザの手等の物理的対象が、該ディスプレイ上の仮想対象の位置に位置している場合に、該ディスプレイ上の仮想対象との相互作用が起きるように較正することができる。このディスプレイは、何らかの検出装置の可視的な標示がない、すなわち、該ディスプレイ自体が可視的であるという物理的特性を有する。本願において後述するウィンドウ・ディスプレイ・システムの場合、該インタフェースは、上記内蔵型ディスプレイに対して説明したのと同様であるが、該ディスプレイは、該ユーザと同じ該ウィンドウの側に装置が配置されていないウィンドウディスプレイの形態をとる。
本明細書において本文により暗に説明したが、このシステムは、内蔵型ディスプレイシステムに対するインタフェースについて記述する。このインタフェースは、位置、輪郭の感知、および場合によっては該ディスプレイの前の(人であるユーザを含む)対象の距離、及びこの感知に基づく実時間効果の表示を可能にする。これらの実時間効果は、該ディスプレイの仮想空間における対応する位置における動作の効果に対する該ディスプレイの前の物理的空間における動作のマッピングを含んでもよい。換言すれば、該システムは、ユーザの手等の物理的対象が、該ディスプレイ上の仮想対象の位置に位置している場合に、該ディスプレイ上の仮想対象との相互作用が起きるように較正することができる。このディスプレイは、何らかの検出装置の可視的な標示がない、すなわち、該ディスプレイ自体が可視的であるという物理的特性を有する。本願において後述するウィンドウ・ディスプレイ・システムの場合、該インタフェースは、上記内蔵型ディスプレイに対して説明したのと同様であるが、該ディスプレイは、該ユーザと同じ該ウィンドウの側に装置が配置されていないウィンドウディスプレイの形態をとる。
本発明の多くの実施形態において、ビデオカメラは、検出装置として使用される。該カメラのイメージは、実時間での静止背景から該カメラのイメージにおける(人等の)前景対象を分離するコンピュータ視覚システムへの入力となる。この前景−背景の識別は、上記表示スクリーンに表示されるイメージを生成するインタラクティブ・ビデオ・ディスプレイ・アプリケーションへの入力になる。これらのイメージは、該インタラクティブ・アプリケーションの表示されたイメージに対する対象の効果が、該対象と同じ物理的位置にあるように較正することができる。このことは、拡張現実感の錯覚をもたらし、人は、ピックアップ、押しまたは引き等の普通の体の動きによって、該スクリーン上のイメージまたは対象と相互に作用することができ、実際の対象またはイメージを操作するという錯覚が可能になる。
透過性ディスプレイスクリーン
上記システムの一実施形態においては、LCDスクリーンまたは他のそのような透過性スクリーンがディスプレイ装置として用いられる。上記カメラは、人であるユーザの動きを検知するものであり、該スクリーンの後ろに配置されている。それに伴って、該カメラの視野は、該スクリーンを通して見ることにより、該スクリーンの前の領域を見る。人であるユーザ及び対象を該カメラによって検知することができる該スクリーンの前のこの領域は、インタラクティブ領域と呼ばれる。そのため、該スクリーンは、該カメラによって見られる光の波長に対して、少なくとも部分的に透過性である。
上記システムの一実施形態においては、LCDスクリーンまたは他のそのような透過性スクリーンがディスプレイ装置として用いられる。上記カメラは、人であるユーザの動きを検知するものであり、該スクリーンの後ろに配置されている。それに伴って、該カメラの視野は、該スクリーンを通して見ることにより、該スクリーンの前の領域を見る。人であるユーザ及び対象を該カメラによって検知することができる該スクリーンの前のこの領域は、インタラクティブ領域と呼ばれる。そのため、該スクリーンは、該カメラによって見られる光の波長に対して、少なくとも部分的に透過性である。
上記スクリーン上に表示されている内容が、該スクリーンの向こうの対象の上記カメラのイメージに影響を及ぼすのを防ぐために、該カメラは、(黒色を含む)どんな内容が表示されていようとも、該スクリーンが部分的に透過性である光の波長で作動する。理想的には、該スクリーン上の内容は、該カメラによって見られる光の波長において、該スクリーンの光特性に対する影響を有するべきではない。ノート型及びフラットパネルコンピュータディスプレイに用いられるLCDモニタの場合、該LCDスクリーンは、典型的には、該スクリーンを通して該カメラが見ることが920nm以上の光の波長に対してのみ感度が良い場合に、この特性を実現する。しかし、いくつかのLCDパネルは、800nm等の可視光に近い波長でもこの特性を実現する。また、該LCDスクリーンにおける偏光子は、それらの波長で光を偏光しない。
上記LCDまたは他の透過性ディスプレイスクリーンは、ビューワが該スクリーン上の内容を見ることができるように照らされる。理想的には、この光は、明るくかつ該スクリーンの全域に一様に拡がるようにすべきである。典型的なLCDディスプレイは、様々なバックライト及びエッジライトソリューションのうちのいずれか一つを用いる。しかし、それらのソリューションは、典型的には、散乱、反射または不透過性材料からなるいくつかの層を該スクリーンの後ろに設けることを伴い、それらは、該スクリーンの後ろのカメラが、該スクリーンの前の領域を見えるようにはしない。しかし、本発明は、該カメラが、該スクリーンの前の領域を見えるようにすると共に、該スクリーンの前の領域の明るさ及び一様な照射も実現できるいくつかの選択的散乱材料についても説明する。
次のソリューションにおいては、バックライティングまたはエッジライティングのための照射源は、好ましくは、蛍光灯または白色LED等の長寿命の効率的な白色可視光エミッタであるが、何らかの可視光源であってもよい。
1.レイリー散乱材料
一つのソリューションは、上記スクリーンの背面に、強力なレイリー散乱を有する材料のシートを配置することと、白色バックライティングまたはエッジライティングを用いて上記表示スクリーンを照らすことと、近赤外線検知カメラを用いて該スクリーンを通して見ることとを含む。レイリー散乱は、散乱される光の波長の出力の逆数の4乗に比例するため、ほとんど全ての白色光は、該レイリー材料によって散乱され、該スクリーンの一様な照射が実現できる。しかし、該カメラによって見られる赤外光の比較的わずかな部分だけが、赤外線が、可視光よりも長い波長からなるため、散乱されることになる。
一つのソリューションは、上記スクリーンの背面に、強力なレイリー散乱を有する材料のシートを配置することと、白色バックライティングまたはエッジライティングを用いて上記表示スクリーンを照らすことと、近赤外線検知カメラを用いて該スクリーンを通して見ることとを含む。レイリー散乱は、散乱される光の波長の出力の逆数の4乗に比例するため、ほとんど全ての白色光は、該レイリー材料によって散乱され、該スクリーンの一様な照射が実現できる。しかし、該カメラによって見られる赤外光の比較的わずかな部分だけが、赤外線が、可視光よりも長い波長からなるため、散乱されることになる。
2.ざらつきのある材料
別のソリューションは、平坦領域の間に散在されたバンプ、***、くぼみ、溝からなる物理的構成を有する材料の平坦シートを形成することを含む。この材料は、上記表示スクリーンの背面に配置することができる。この材料は、該材料を通過する全ての光を視射角で散乱させると共に、該材料を通過する光のほんの一部を垂直に散乱させるという効果を有することができる。いくつかのそのような材料を図10A及び図10Bに示す。図10Aは、光を散乱する微小バンプまたは***1010を有する材料1000の単純化した断面を示す。該散乱は、光を散乱する材料の外部に該***またはバンプを形成することにより、または、他の方法によって、***またはバンプ1010の表面をテクスチャー加工することにより、実現することができる。図10Bは、光を散乱する微小な溝またはくぼみ1060を有する材料1050の単純化した断面を示す。該散乱は、溝またはくぼみ1060の表面をテクスチャー加工することにより、溝またはくぼみ1060に、光を散乱する物質を充填することにより、または、他の方法によって実現することができる。全ての場合において、該材料の表面に対してほぼ垂直に通過する光のかなりの部分は散乱されず、視射角で通過して表面に達する光のほぼ全てが散乱されることになる。
別のソリューションは、平坦領域の間に散在されたバンプ、***、くぼみ、溝からなる物理的構成を有する材料の平坦シートを形成することを含む。この材料は、上記表示スクリーンの背面に配置することができる。この材料は、該材料を通過する全ての光を視射角で散乱させると共に、該材料を通過する光のほんの一部を垂直に散乱させるという効果を有することができる。いくつかのそのような材料を図10A及び図10Bに示す。図10Aは、光を散乱する微小バンプまたは***1010を有する材料1000の単純化した断面を示す。該散乱は、光を散乱する材料の外部に該***またはバンプを形成することにより、または、他の方法によって、***またはバンプ1010の表面をテクスチャー加工することにより、実現することができる。図10Bは、光を散乱する微小な溝またはくぼみ1060を有する材料1050の単純化した断面を示す。該散乱は、溝またはくぼみ1060の表面をテクスチャー加工することにより、溝またはくぼみ1060に、光を散乱する物質を充填することにより、または、他の方法によって実現することができる。全ての場合において、該材料の表面に対してほぼ垂直に通過する光のかなりの部分は散乱されず、視射角で通過して表面に達する光のほぼ全てが散乱されることになる。
従って、上記スクリーンがエッジライティングによって照らされる場合、上記表示スクリーンは、一様かつ明るく照らすことができると共に、上記カメラが該スクリーンと通して見ることができるようになる。図11は、本発明の一実施形態による、内蔵型エッジライティング・インタラクティブ・ディスプレイの断面の単純化した概略図を示す。エッジライティング1110は、表示スクリーン1140(例えば、LCD)を照らす可視照明を形成する。スクリーン1150は、表示スクリーン1140に隣接して配置されており、視射角(例えば、エッジライティング1110の角度)で該スクリーンに当たる光を散乱させるように機能する。イルミネータ1120は、カメラ1130の視野の対象を照らす。イルミネータ1120からの光は、垂直な角度またはほぼ垂直な角度で表示スクリーン1140に当たり、散乱されない。
3.散乱偏光子
別の実施形態においては、“散乱偏光子スクリーンを用いたイメージ投影及びキャプチャ”の章で述べたような散乱偏光子が、上記表示スクリーンの背面に配置されている。この散乱偏光子は、一方の偏光の光を散乱させ、反対の偏光の光を散乱させない。該表示スクリーンは、バックライティングを用いて、該バックライトを該散乱偏光子上の散乱方向と同じ方向に直線偏光させることにより一様に照らすことができる。従って、全てのバックライトは、該表示スクリーンを通過する前に散乱される。
別の実施形態においては、“散乱偏光子スクリーンを用いたイメージ投影及びキャプチャ”の章で述べたような散乱偏光子が、上記表示スクリーンの背面に配置されている。この散乱偏光子は、一方の偏光の光を散乱させ、反対の偏光の光を散乱させない。該表示スクリーンは、バックライティングを用いて、該バックライトを該散乱偏光子上の散乱方向と同じ方向に直線偏光させることにより一様に照らすことができる。従って、全てのバックライトは、該表示スクリーンを通過する前に散乱される。
代替的に、該バックライトは偏光させないことができ、直線偏光子は、該偏光子の偏光を、光を散乱する散乱偏光子における方向と同じ方向に向けた状態で、該散乱偏光子と該表示スクリーンとの間に配置してもよい。それに伴って、該散乱偏光子により散乱されない該バックライトからのいかなる光も、直線偏光とは反対の偏光からなり、該光は吸収される。このことは、該表示スクリーンに対する照射を一様にし、ユーザの目における厄介なグレアがなくなる。
上記表示スクリーンがLCDスクリーンである場合、該LCDスクリーンの背面に形成された直線偏光があるため、該バックライトは偏光される必要がない。この場合、一様な照明は、単に、該散乱偏光子を、該散乱偏光子における最大散乱の方向が、該LCDスクリーンの裏面の直線偏光子の偏光と平行になるように向けて、該LCDスクリーンの裏面に該散乱偏光子を配置することにより、散乱されないバックライトによって実現することができる。従って、該散乱偏光子によって散乱される光のみが、該LCDスクリーンを通過できるようになる。
フラットパネルディスプレイスクリーン
表示スクリーンを用いた内蔵型ディスプレイ1200の例示的な実施形態の単純化した断面図を図12Aに示す。該ディスプレイは、白色可視光1220によってバックライティングされるLCDスクリーン1210を用いて形成される。散乱偏光子1215は、この光全てを散乱させ、ビューワにとって一様な照明を実現できる。該内蔵型ユニットの側部のミラー1225は、光1220からの白色の迷光を反射して表示スクリーン1210の方へ戻し、その明るさを増す。920nm〜960nmの近赤外光に対してのみ感度が良いビデオカメラ1230は、“カメラの視野”と呼ばれる、LCDスクリーン1210の前の領域を見る。この視野内の対象は、カメラ1230に見えることになる。該カメラの視野に対する照射は、赤外線LEDクラスタ1240のセットから来て、該クラスタは、カメラ1230によって見える波長で上記ボックスの裏側に光を生成する。明るい鏡面反射性ハイライトが、該カメラのイメージに現れるのを防ぐために、これらのLED1240からの光は、LCDスクリーン1210に到達する前に拡散スクリーン1245によってわずかに散乱される。フレネルレンズ1250は、LCDスクリーン1210の前の領域の該カメラの視野の歪みを低減するのに用いられる。
表示スクリーンを用いた内蔵型ディスプレイ1200の例示的な実施形態の単純化した断面図を図12Aに示す。該ディスプレイは、白色可視光1220によってバックライティングされるLCDスクリーン1210を用いて形成される。散乱偏光子1215は、この光全てを散乱させ、ビューワにとって一様な照明を実現できる。該内蔵型ユニットの側部のミラー1225は、光1220からの白色の迷光を反射して表示スクリーン1210の方へ戻し、その明るさを増す。920nm〜960nmの近赤外光に対してのみ感度が良いビデオカメラ1230は、“カメラの視野”と呼ばれる、LCDスクリーン1210の前の領域を見る。この視野内の対象は、カメラ1230に見えることになる。該カメラの視野に対する照射は、赤外線LEDクラスタ1240のセットから来て、該クラスタは、カメラ1230によって見える波長で上記ボックスの裏側に光を生成する。明るい鏡面反射性ハイライトが、該カメラのイメージに現れるのを防ぐために、これらのLED1240からの光は、LCDスクリーン1210に到達する前に拡散スクリーン1245によってわずかに散乱される。フレネルレンズ1250は、LCDスクリーン1210の前の領域の該カメラの視野の歪みを低減するのに用いられる。
次に、図12Aの例示的な実施形態を介した可視光及び赤外光の光路について説明する。本発明者らは、光の2つの垂直な偏光を偏光A及び偏光Bと呼ぶことにする。
白色光イルミネータ1220からの可視光は、非偏光を始め、拡散材料1245により散乱させる、フレネルレンズ1250により向きを変える、あるいは、その光路上のミラー1225で反射してスクリーン1210へ向けることができる。次いで、この光は、散乱偏光子1215を通過し、該偏光子は、偏光Aの全ての光を散乱させ、かつ偏光Bの光を散乱させない(ここで、A及びBは、2つの垂直偏光を指す)。散乱された光は、散乱後のその偏光を保つ。そして、この光は、LCDスクリーン1210を通過し、該スクリーンは、偏光Bの全ての光を吸収し、偏光Aの全ての光を伝達する。従って、LCDスクリーン1210は、散乱光のみを用いて照らされ、ビューワは、一様に照らされたスクリーンを見る。
赤外線イルミネータ1240から放射された赤外光は、非偏光を始めなくてもよい。状況に応じて、改善された明瞭性のため、この光は、該光が散乱偏光子1215によってあまり散乱されないように、まず赤外線直線偏光子1260を通過して、該光を偏光Bで偏光させることができる。次に、該赤外光は、拡散材料1245により散乱させる、フレネルレンズ1250により向きを変える、あるいは、その光路上のミラー1225で反射させてスクリーン1210へ向けることができる。該光が偏光されない場合、その一部は、散乱偏光子1215を通過する際に散乱されることになるが、偏光Bの光は、散乱偏光子1215を通過して散乱されない。該赤外光の波長は十分に長いため、該赤外光は、影響を受けずにLCDスクリーン1210を通過し、人の手等の、該スクリーンの前の対象を照らすことができる。
上記表示スクリーンの前からカメラ1230に向かって戻ってくる赤外光は、LCDスクリーン1210の影響を受けない。しかし、該光が散乱偏光子1215を通過する際、偏光Aの光は散乱し、偏光Bの光は散乱しないままとなる。次に、該光は、フレネルレンズ1250を通過するが、偏光に顕著な影響は及ぼさない。カメラ1230は、該カメラの直前に赤外線直線偏光子1260を有し、この偏光子1260は、偏光Aの光を吸収し、偏光Bの光を伝達する。従って、カメラ1230は、散乱偏光子1260によって散乱されないままであった偏光Bの光を見るのみである。このことは、カメラ1230に、該スクリーンの該領域のクリアで高コントラストのイメージをもたらす。
LCDをベースとするインタラクティブ・ディスプレイの別の例示的な実施形態を断面で図12Bに示す。該システム全体は、楔状である。該システムデザインは、図12Aで示しかつ説明したデザインと同様のものである。しかし、赤外線イルミネータは、カメラ1262へのグレアを最小化するように配置されている。上記スクリーンの上及び該スクリーン近傍の対象は、内側赤外線イルミネータ1264によって照らされ、該イルミネータは、散乱偏光子1266及びLCDパネル1268を通して照射する。しかし、該イルミネータは、カメラ1262に対するグレアの影響を低減するために、フレネルレンズ1276を通して照射しない。フレネルレンズ1276は、内側赤外線イルミネータ1264のための空間を設けるために、LCDパネル1268の表面及び散乱偏光子1266から引っ込められている。外側の赤外線イルミネータ1270は、該スクリーンからさらに離れている対象を照らす。赤外線イルミネータ1270は、LCDパネル1268または散乱偏光子1266(を通してではなく)周辺を照射し、グレアをさらに低減できるようにする。白色可視光イルミネータ1272は、該システムのベースの側部に沿って配置されており、バックライトカバー1274によって覆われている。バックライトカバー1274は、該スクリーン上の周囲赤外線の存在を低減して、カメラ1262によってキャプチャされたイメージのコントラストを改善するために、近赤外線を吸収するが、可視光を伝達する材料で構成してもよい。
散乱偏光子を用いた投影型ディスプレイスクリーン
上記インタラクティブ・ビデオ・ディスプレイの別の実施形態においては、プロジェクタ及び投影スクリーンが、ディスプレイ装置として用いられる。人であるユーザの動きを検知するのに用いられる上記カメラは、該スクリーンの後ろに配置されている。それに伴って、該カメラは、該スクリーンを通して見ることにより、該スクリーンの前方の領域を見る。そのため、該スクリーンは、該カメラによって見られる光の波長に対して、少なくとも部分的に透過性である。上記散乱偏光子は、このシステムにおける投影スクリーンとして機能することができる。
上記インタラクティブ・ビデオ・ディスプレイの別の実施形態においては、プロジェクタ及び投影スクリーンが、ディスプレイ装置として用いられる。人であるユーザの動きを検知するのに用いられる上記カメラは、該スクリーンの後ろに配置されている。それに伴って、該カメラは、該スクリーンを通して見ることにより、該スクリーンの前方の領域を見る。そのため、該スクリーンは、該カメラによって見られる光の波長に対して、少なくとも部分的に透過性である。上記散乱偏光子は、このシステムにおける投影スクリーンとして機能することができる。
上記散乱偏光子は、完全に作動しなくてもよいことを認識すべきである。散乱されることになっている該偏光における少量の光は、散乱されなくてもよい。プロジェクタが直接見られたときの該プロジェクタの極度の明るさのため、該プロジェクタのレンズの内側の明るい光源は、該散乱偏光子を通して直接見ることができるが、該プロジェクタの光は、最大の散乱のために適切な方向に偏光することができる。この明るいグレアのスポットは、散乱されないプロジェクタの光が吸収されるように、該散乱偏光子の前に直線偏光子を用いることによりなくすことができる。また、該プロジェクタ光が、完全に偏光されない場合、同様の問題が生じることになる。この問題は、該散乱偏光子の後ろに直線偏光子を用いることにより緩和することができる。どちらの場合においても、それらの偏光子は、該プロジェクタ光と平行に向けられている。上記カメラが、近赤外線または他の非可視光波長である場合、該可視光偏光子は、該カメラが、その影響を受けないように選択することができる。従って、該カメラは、該スクリーンを通して見ることができる。
鏡面反射をなくすこと
また、上記カメラのイルミネータからの鏡面反射は、該カメラのイメージに有害な影響を及ぼす可能性がある。これらの影響は、反射防止膜を、上記表示スクリーンの一方の面または両面に、およびレイリー散乱材料、テクスチャー加工された材料、散乱材料またはフレネルレンズを含む、該スクリーンの後ろの何らかの表面に施すことにより、軽減することができる。また、これらの影響は、該カメラの照射から該カメラに戻る鏡面反射がないように、該イルミネータから来る光をある角度に向けることにより軽減することができる。
また、上記カメラのイルミネータからの鏡面反射は、該カメラのイメージに有害な影響を及ぼす可能性がある。これらの影響は、反射防止膜を、上記表示スクリーンの一方の面または両面に、およびレイリー散乱材料、テクスチャー加工された材料、散乱材料またはフレネルレンズを含む、該スクリーンの後ろの何らかの表面に施すことにより、軽減することができる。また、これらの影響は、該カメラの照射から該カメラに戻る鏡面反射がないように、該イルミネータから来る光をある角度に向けることにより軽減することができる。
このような構成の一実施例を図13に示す。この構成は、カメラ1320から離れており、かつスクリーン1330に垂直に照射するスポットイルミネータ1310を用い、カメラ1320へのいかなる鏡面反射も防ぐ。これらのイルミネータによってカバーされていない領域は、スクリーン1330への視射角で照射するイルミネータ1340によって照射され、反射光がカメラ1320に戻って照射されることを防ぐ。
別の実施形態においては、図14に示すように、カメラのイルミネータ1440の鏡面反射がカメラ1430から離れてはね返るように、散乱偏光子1410または他の選択性散乱材料をわずかに傾けることができる。図に示すように、イルミネータ1440からの鏡面反射は、該ボックスの側部の方へ向きが変えられる。別の実施形態においては、カメラへの鏡面反射を和らげるために、拡散材料を該カメラのイルミネータの前に配置することができる。これらのイルミネータからの光は、該ディスプレイの裏からそれらの光を跳ね返させることによっても拡散させることができる。
図15は、本発明の一実施形態による、タイムオブフライト型カメラ1530を用いたインタラクティブ・ビデオ・ディスプレイ・システム1500の例示的な構成を示す。典型的なデザインにおいては、該カメラ及び該カメラのイルミネータは、互いに近接させて配置しなければならず、また、該イルミネータからの光は散乱させることができないため、鏡面反射は、タイムオブフライト型カメラ1530に対して問題を引き起こす。従って、上述したアプローチは、該スクリーンの裏から該カメラに戻る反射によって激しいグレアを引き起こす該カメラのイルミネータにより、タイムオブフライト型カメラを用いる実施においては、うまくいかないことになる。しかし、上記コンピュータ視覚システムは、3Dカメラの情報を用いて、所望の座標系への座標変換を実行することができるため、該カメラは、該スクリーンの中心の後ろに配置する必要はなく、また、多数のカメラからのデータを融合することができる。従って、例えば、2つのカメラ1530が異なる時間に露出を行うかぎりにおいて、それらのイルミネータからのいかなる鏡面反射も避けるために、2つのタイムオブフライト型カメラ1530を、スクリーン1510の前の領域をある角度で見るのに用いることができる。この構成において、カメラは、その内蔵されているイルミネータの鏡面反射も見ることができない。
タッチスクリーン・インタフェースの付加
上述したシステムは、上記スクリーンから数インチ離れた対象やジェスチャーを認識するが、タッチスクリーンの反応も同様に実行することができ、ユーザは、該スクリーンに本当に触って、動作を起こせるようにしなければならない。このことは、該システムが、追加的な様々なユーザインタフェースをサポートできるようにすることになる。例えば、このインタフェースは、ユーザが、該スクリーンの上で両手をそろえてカップ状にすることにより、該スクリーン上の仮想対象を“集める”ことができるようにするが、そのイメージに触れることにより仮想対象を“ピックアップ”した後、該スクリーン上の別の箇所に触れることにより該対象を“落とす”こともできるようにする。
上述したシステムは、上記スクリーンから数インチ離れた対象やジェスチャーを認識するが、タッチスクリーンの反応も同様に実行することができ、ユーザは、該スクリーンに本当に触って、動作を起こせるようにしなければならない。このことは、該システムが、追加的な様々なユーザインタフェースをサポートできるようにすることになる。例えば、このインタフェースは、ユーザが、該スクリーンの上で両手をそろえてカップ状にすることにより、該スクリーン上の仮想対象を“集める”ことができるようにするが、そのイメージに触れることにより仮想対象を“ピックアップ”した後、該スクリーン上の別の箇所に触れることにより該対象を“落とす”こともできるようにする。
このタッチスクリーンの作用は、いくつかの方法のうちの1つで実施することができる。この章及び後の章で説明する該タッチスクリーンの実施例は、プロジェクタをベースとするインタラクティブ・ビデオ・システム及び透過型フラットパネルディスプレイをベースとするインタラクティブ・ビデオ・システムの両方と適合する。現在のタッチスクリーン技術は、上記表示スクリーンを覆う部分が上記カメラに対して透過性である限り、該システムのスクリーンと一体化することができる。これは、抵抗性タッチスクリーン、容量性タッチスクリーン、赤外線格子タッチスクリーン及び表面弾性波タッチスクリーンを含む。しかし、これらスクリーンの全ては、該スクリーンへの一本指によるタッチングしか検知することができず、また、短時間のタップと対照的に、連続的なタッチングまでも検知することができないという欠点を有する。上記の欠点を克服するいくつかの解決法があり、そのほとんどは、上記システムが、対象と該スクリーンとの間の距離に関する情報をキャプチャできるようにする。この3Dデータは、ジェスチャー認識等の高レベルの視覚処理にとって有用である。
マルチユーザ・タッチスクリーン及び3Dデータ:ステレオカメラ
このシステムに対して、いくつかのわずかな変更を行うことにより、複数の人が上記スクリーンを同時に使用できるようにするマルチユーザ・タッチスクリーンを形成することができる。一実施形態において、ステレオカメラを単一のカメラに代えて用いることができる。該ステレオカメラは、単一のカメラシステムと同じ波長感度及びフィルタ構成を有するであろう。しかし、上記コンピュータは、該ステレオカメラから2つのイメージを取得することができ、また、マー・ポジオ(Marr−Poggio)アルゴリズム等のいくつかの周知の立体視アルゴリズムのうちのいずれか1つを用いて、スクリーン上に見える対象のための距離情報を導出することができる。該スクリーンまでの距離は分かっているので、該コンピュータは、該対象の距離情報と該スクリーンまでの距離とを比較することにより、何らかの対象が該スクリーンに触れているか否かを識別することができる。
このシステムに対して、いくつかのわずかな変更を行うことにより、複数の人が上記スクリーンを同時に使用できるようにするマルチユーザ・タッチスクリーンを形成することができる。一実施形態において、ステレオカメラを単一のカメラに代えて用いることができる。該ステレオカメラは、単一のカメラシステムと同じ波長感度及びフィルタ構成を有するであろう。しかし、上記コンピュータは、該ステレオカメラから2つのイメージを取得することができ、また、マー・ポジオ(Marr−Poggio)アルゴリズム等のいくつかの周知の立体視アルゴリズムのうちのいずれか1つを用いて、スクリーン上に見える対象のための距離情報を導出することができる。該スクリーンまでの距離は分かっているので、該コンピュータは、該対象の距離情報と該スクリーンまでの距離とを比較することにより、何らかの対象が該スクリーンに触れているか否かを識別することができる。
マルチユーザ・タッチスクリーン及び3Dデータ:1カメラステレオ
図16は、本発明の一実施形態による、ミラーを用いて3D情報を得る構成1600を示す。ステレオデータは、ミラー1620を上記ボックスの内側側部に配置することにより、1つのカメラ1610のみを用いて取得することができる。従って、カメラ1610は、直接的に及びある角度でスクリーン1630を見ることになる。スクリーン1630に触れている対象は、該カメラのメインイメージ及び反射イメージの両方において、ミラー1620の縁部から同じ距離に現れることになる。しかし、スクリーン1630の上の対象は、該メインイメージ及び反射イメージにおいて、ミラー1620の縁部から異なる距離にあることになる。これらのイメージを比較することにより、上記コンピュータは、各対象がスクリーン1630に触れているか否かを論理的に推理することができる。
図16は、本発明の一実施形態による、ミラーを用いて3D情報を得る構成1600を示す。ステレオデータは、ミラー1620を上記ボックスの内側側部に配置することにより、1つのカメラ1610のみを用いて取得することができる。従って、カメラ1610は、直接的に及びある角度でスクリーン1630を見ることになる。スクリーン1630に触れている対象は、該カメラのメインイメージ及び反射イメージの両方において、ミラー1620の縁部から同じ距離に現れることになる。しかし、スクリーン1630の上の対象は、該メインイメージ及び反射イメージにおいて、ミラー1620の縁部から異なる距離にあることになる。これらのイメージを比較することにより、上記コンピュータは、各対象がスクリーン1630に触れているか否かを論理的に推理することができる。
マルチユーザ・タッチスクリーン及び3Dデータ:パターン化した照射
図17は、本発明の一実施形態による、パターン化した照射を用いて3D情報を得る別の構成1700を示す。光パターンを投影するパターン化赤外線イルミネータ1710は、通常の赤外線イルミネータの代わりに用いることができる。このシステムは、スクリーン1720上の対象とスクリーン1720の上方の対象を識別することができる。しかし、このシステムの精度は、パターン化赤外線イルミネータ1710をある角度でスクリーン1720上に照射させることにより、ある場合においては、ミラー1730から上記ボックス内部の側部にはね返すことにより、改善することができる。対象に対するパターン化した光の位置は、スクリーン1720から離れてまたは該スクリーンの方へ短距離移動する際に、劇的に変化し、該対象とスクリーン1720との距離を、コンピュータ1740によって容易に判断できるようにする。
図17は、本発明の一実施形態による、パターン化した照射を用いて3D情報を得る別の構成1700を示す。光パターンを投影するパターン化赤外線イルミネータ1710は、通常の赤外線イルミネータの代わりに用いることができる。このシステムは、スクリーン1720上の対象とスクリーン1720の上方の対象を識別することができる。しかし、このシステムの精度は、パターン化赤外線イルミネータ1710をある角度でスクリーン1720上に照射させることにより、ある場合においては、ミラー1730から上記ボックス内部の側部にはね返すことにより、改善することができる。対象に対するパターン化した光の位置は、スクリーン1720から離れてまたは該スクリーンの方へ短距離移動する際に、劇的に変化し、該対象とスクリーン1720との距離を、コンピュータ1740によって容易に判断できるようにする。
マルチユーザ・タッチスクリーン及び3Dデータ・タイムオブフライト型システム
上記カメラは、Canestaおよび3DV systemsから入手可能なモデル等のタイムオブフライト型赤外線カメラとすることができる。このカメラは、そのイメージの各ピクセルのための距離情報を検知する、本来備わった機能を有する。この種のカメラを使用する場合、上記スクリーンからの全ての赤外線グレアをなくすことが非常に重要であり、さもなければ、該カメラは、該スクリーン上の上記イルミネータの反射を実際の対象と間違えることになる。赤外線グレアをなくす方法は上述している。
上記カメラは、Canestaおよび3DV systemsから入手可能なモデル等のタイムオブフライト型赤外線カメラとすることができる。このカメラは、そのイメージの各ピクセルのための距離情報を検知する、本来備わった機能を有する。この種のカメラを使用する場合、上記スクリーンからの全ての赤外線グレアをなくすことが非常に重要であり、さもなければ、該カメラは、該スクリーン上の上記イルミネータの反射を実際の対象と間違えることになる。赤外線グレアをなくす方法は上述している。
マルチユーザ・タッチスクリーン:複数波長
タッチスクリーンの機能は、それぞれのカメラとイルミネータとの組を異なる赤外線周波数とした状態で、2つのカメラ及び2つのイルミネータを有することにより実現することができる。例えば、一方のカメラ‐イルミネータの組は、800nmの光を用い、他方の組は、1100nmの光を用いることができる。該スクリーンの散乱は、該波長の逆数の4乗に比例するため、該800nmのカメラは、該1100nmのカメラよりも遥かに小さい、該スクリーンの向こうにあるものを見る能力を有することになる。その結果として、該スクリーンに触れている、または、触れそうになっている対象のみが、該800nmのカメラに見えることになり、一方、1100nmのカメラは、該スクリーンから数インチ離れている対象を見ることができることになる。両カメラ共、それらのデータを上記コンピュータに入力して、独立した視覚システムを介して実行する。該800nmのデータは、上記タッチスクリーンインターフェースへの入力となり、一方、1100nmのカメラは、該スクリーンの上の対象を検知することができるため、ジェスチャー入力に用いられるであろう。
タッチスクリーンの機能は、それぞれのカメラとイルミネータとの組を異なる赤外線周波数とした状態で、2つのカメラ及び2つのイルミネータを有することにより実現することができる。例えば、一方のカメラ‐イルミネータの組は、800nmの光を用い、他方の組は、1100nmの光を用いることができる。該スクリーンの散乱は、該波長の逆数の4乗に比例するため、該800nmのカメラは、該1100nmのカメラよりも遥かに小さい、該スクリーンの向こうにあるものを見る能力を有することになる。その結果として、該スクリーンに触れている、または、触れそうになっている対象のみが、該800nmのカメラに見えることになり、一方、1100nmのカメラは、該スクリーンから数インチ離れている対象を見ることができることになる。両カメラ共、それらのデータを上記コンピュータに入力して、独立した視覚システムを介して実行する。該800nmのデータは、上記タッチスクリーンインターフェースへの入力となり、一方、1100nmのカメラは、該スクリーンの上の対象を検知することができるため、ジェスチャー入力に用いられるであろう。
マルチユーザ・タッチスクリーン:ディスプレイ面上の狭小ビーム
図18Aは、本発明の一実施形態による、追加的なイルミネータを用いて3D情報を得る構成1800及び1850を示す。第2のイルミネータ1810は、該ディスプレイ面上または該ディスプレイ面に近接している対象のみを照らすのに用いることができる。例えば、LEDまたはレーザ等の狭角イルミネータが、スクリーン1820とほぼ平行に向けられて、スクリーン1820のすぐ内側または外側に配置されている場合、スクリーン1820に隣接する対象は、上記カメラのイメージに非常に明るく現れることになる。円筒形レンズまたは他の手段を、該イルミネータの光を垂直ではなく水平方向に拡大するのに用いることができ、該光が該スクリーンの全領域をカバーするのを可能にする。それに伴って、上記視覚システムは、該非常に明るい対象が、スクリーン1820に近接しているかまたは該スクリーンに触れていることを論理的に推理することができる。
図18Aは、本発明の一実施形態による、追加的なイルミネータを用いて3D情報を得る構成1800及び1850を示す。第2のイルミネータ1810は、該ディスプレイ面上または該ディスプレイ面に近接している対象のみを照らすのに用いることができる。例えば、LEDまたはレーザ等の狭角イルミネータが、スクリーン1820とほぼ平行に向けられて、スクリーン1820のすぐ内側または外側に配置されている場合、スクリーン1820に隣接する対象は、上記カメラのイメージに非常に明るく現れることになる。円筒形レンズまたは他の手段を、該イルミネータの光を垂直ではなく水平方向に拡大するのに用いることができ、該光が該スクリーンの全領域をカバーするのを可能にする。それに伴って、上記視覚システムは、該非常に明るい対象が、スクリーン1820に近接しているかまたは該スクリーンに触れていることを論理的に推理することができる。
別の実施形態においては、上記ビームは、上記ディスプレイ面の内側に照射することができる。図18Bに示すそのような一実施形態の照射システム。透過性パネル1860は、メイン表示スクリーン1855の前に配置されている。イルミネータ1870は、狭小ビームを透過性パネル1860の縁部に照射する。急峻な入射角のため、光1870は、透過性パネル1860の境界内で完全に反射する。しかし、対象1875が該スクリーンに触れている場合には、光1870は散乱することができ、該光が、透過性パネル1860の境界から抜け出すことが可能になる。その結果、この光1880は、カメラ1885により検知することができる。このことは、カメラ1885が、対象1875またはユーザが該スクリーンに触れているときを検知することができるようにする。
上記スクリーンの表面または該表面近傍に、イルミネータの第2のセットを用いるこれらのアプローチの場合、これらは上記システムが、上記メインイルミネータからの光と第2のイルミネータからの光とを識別できるようになっているいくつかのデザインである。この識別は、該システムが、単に該スクリーンの前にある対象とは別に、該スクリーンに触れている対象を検知できるようにするので重要である。
まず、イルミネータの2つの組は、交互のカメラ露出の間に作動させることができ、上記システムが、各イルミネータにより照らされるときに、上記スクリーンの前の領域を見ることができるようにする。代替的に、該システムは、各カメラ‐イルミネータの組を異なる波長で作動させた状態で、2つのカメラを用いることができる。また、該システムは、2つのカメラを用いることができるが、各カメラ‐イルミネータの組を異なる時間にストロボさせることができる。
マルチユーザ・タッチスクリーン及び3Dデータ:輝度比
タッチスクリーンの動作は、異なるイルミネータを、該スクリーンに対して異なる距離に配置することにより、実現することができる。イルミネータAが、該スクリーンから2フィート離れており、イルミネータBが該スクリーンから1フィート離れていると仮定する。照明源の明るさは、該照明源からの距離の逆二乗に比例する。すなわち、対象に対するA及びBからの光の割合は、その距離が変化するにつれて変わる。この割合は、上記コンピュータが、対象が該スクリーン上にあるか否かを判断できるようにする。表1は、A及びBからの光の割合がどのように該スクリーン上の対象と該スクリーンの1インチ上の対象とを識別できるかという実施例を示す。
タッチスクリーンの動作は、異なるイルミネータを、該スクリーンに対して異なる距離に配置することにより、実現することができる。イルミネータAが、該スクリーンから2フィート離れており、イルミネータBが該スクリーンから1フィート離れていると仮定する。照明源の明るさは、該照明源からの距離の逆二乗に比例する。すなわち、対象に対するA及びBからの光の割合は、その距離が変化するにつれて変わる。この割合は、上記コンピュータが、対象が該スクリーン上にあるか否かを判断できるようにする。表1は、A及びBからの光の割合がどのように該スクリーン上の対象と該スクリーンの1インチ上の対象とを識別できるかという実施例を示す。
上記比は、対象が完全な黒色でない限り、どんな色の対象物であろうとも有効である。また、上記LEDの光は非均一であるため、該スクリーンに触れている対象の比は、該対象が、該スクリーンのどの部分に触れているかにより、変化する可能性がある。しかし、該比は、較正プロセス中に確立することができ、また、該スクリーンの各箇所で最近観測した最大比を記録することにより、長い間に再確認することができる。
イルミネータAとイルミネータBは、区別することができる。一実施形態においては、2つのカメラ及びイルミネータが使用され、“マルチユーザ・タッチスクリーン:複数波長”の見出しのところで説明したように、異なる波長に対して調整される。すなわち、イルミネータAは、カメラAだけに見え、イルミネータBは、カメラBだけに見える。
別の実施形態においては、イルミネータA及びイルミネータBは、同じ波長を有するが、異なる時間にオンされる。1つのカメラがある場合、イルミネータA及びイルミネータBは、AがオンでBがオフの間に、全ての偶数番のカメラ露出が行われ、AがオフでBがオンの間に、全ての奇数番のカメラ露出が行われるように、交互に作動させることができる。このことは、有効フレームレートを2倍減らすが、1つのカメラが、A及びBにより別々に照らされたイメージをキャプチャできるようにする。そして、上記コンピュータは、該2つのイメージを比較して、各箇所における輝度比を計算し、対象が上記スクリーンに触れたときを判断することができる。該カメラの同期信号を読取りまたは生成する回路を形成することにより、該イルミネータを該カメラと同期させることは容易である。
別の実施形態においては、2つの別々のカメラは、上記イルミネータが、対応するカメラが露出を行うときにのみ作動するようにストロボされ、該2つのカメラの露出が、オーバーラップしないようにずらされる限り、(両方共、同じ波長で)イルミネータA及びイルミネータBに連係させることができる。
全ての場合において、上記コンピュータは、Aによって照らされた上記スクリーンのイメージと、Bによって照らされた上記スクリーンのイメージとを比較して、各箇所における輝度比を判断し、それによって、対象の該スクリーンからの距離を判断することができる。Aを該スクリーンから2フィート離し、Bを該スクリーンから1フィート離した実施例は、単に一つの実施形態であり、他の距離の比または配置も役に立つ。
タイリング(TILING)
上記システムは、内蔵型ボックス内にあり、また、上記スクリーンは、該スクリーンの全ての側部を占めることができるので、より大きなスクリーンを形成するために、スクリーンは、全てのスクリーンを同じ側部にした状態で、格子状にまとめて重ねることができる。各システムにおける上記コンピュータがネットワーク化されている場合、該システムは、リアルタイムの視覚信号及び内容に関する情報を共有することができ、該スクリーンが1つの大きなシームレススクリーンとして機能できるようにする。美観的理由により、個々のタイルを張るように並べられたユニットのスクリーンは、1つの非常に大きなスクリーンと替えてもよい。
上記システムは、内蔵型ボックス内にあり、また、上記スクリーンは、該スクリーンの全ての側部を占めることができるので、より大きなスクリーンを形成するために、スクリーンは、全てのスクリーンを同じ側部にした状態で、格子状にまとめて重ねることができる。各システムにおける上記コンピュータがネットワーク化されている場合、該システムは、リアルタイムの視覚信号及び内容に関する情報を共有することができ、該スクリーンが1つの大きなシームレススクリーンとして機能できるようにする。美観的理由により、個々のタイルを張るように並べられたユニットのスクリーンは、1つの非常に大きなスクリーンと替えてもよい。
ぼやけの量からの距離情報の取得
あるスクリーン材料及び構造は、典型的な散乱の角度が小さい入射光の散乱を引き起こす可能性がある。すなわち、該スクリーン材料を通過する光の大部分は、方向をわずかに変える。図19Aは、わずかに散乱することの概念的実施例を示し、各光の散乱線に対する矢印の長さは、その方向に散乱した光の部分を表し、有限数の矢印が示されているが、散乱角度の分布は連続的である。
あるスクリーン材料及び構造は、典型的な散乱の角度が小さい入射光の散乱を引き起こす可能性がある。すなわち、該スクリーン材料を通過する光の大部分は、方向をわずかに変える。図19Aは、わずかに散乱することの概念的実施例を示し、各光の散乱線に対する矢印の長さは、その方向に散乱した光の部分を表し、有限数の矢印が示されているが、散乱角度の分布は連続的である。
この形態の散乱は、いくつかの方法で実現することができる。強度のミー散乱を伴う材料は、この特性を呈する。また、テクスチャー加工された表面を有する材料も、所望の方法で光の向きをわずかに変える。理想的には、該テクスチャーは、該光路において、小さな平均偏差及び確率的に滑らかな偏差をもたらすであろう。図19Bは、そのようなテクスチャーの一実施例を示す。該テクスチャーのサイズは、投影イメージの視野からそれないように十分小さい。この散乱の効果は、強度のミー散乱またはテクスチャー加工された表面を有するように、メインスクリーンの材料を変更することによって実現することができる。代替的に、これらの特性は、該メインスクリーン材料とともに挟み込まれている第2のスクリーン材料に付加してもよい。
このような材料の上記スクリーンの一部としての使用は、上記カメラによる景色の見方に影響を及ぼすことになる。該カメラによって見られる全ての対象は、該材料の散乱特性によってぼやけることになる。しかし、ぼやけの量は距離に依存する。該スクリーンに触れている対象は、ぼやけていないままであるが、離れていく対象は、徐々にさらにぼやけることになる。これは、該スクリーン表面で所定の角度で光線を散乱させることは、該スクリーンから該光線までの距離に比例する散乱の物理的距離を意味するからである。例えば、45度だけ水平方向に光線を散乱させることは、該光線を、該スクリーンから1フィートの距離において、その水平方向の位置で1フィートそらさせるが、該それは、該スクリーンから2フィートの距離においては、2フィートである。
そして、上記視覚システムは、このぼやけたイメージを用いて、シャープなエッジ及びぼやけたエッジの両方を検出し、かつ各エッジに対してぼやけの量の推定を実行できるエッジ検出技術の利用を含む多くの方法により、該距離を再構成することができる。Elder−Zuckerアルゴリズムは、そのようなエッジ検出技術の一つである。ぼやけの量が一旦、分かると、該スクリーンからの該対象のエッジの距離を判断することができ、ぼやけの量は、該距離に比例するので、該視覚システムに、該対象に関する3D情報を与えられる。
上記視覚システムのタスクは、規則的な赤外線照射の代わりにまたは該赤外線照射に加えて、上記カメラに見える赤外線パターンを投影するパターン化照明源を用いることにより、単純化することができる。このパターンは、ドット、ライン、あるいは、シャープなエッジを有する他のテクスチャーを含んでもよい。該パターンは、該スクリーンを通すことを含むいくつかの方向から投影することができる。該パターンが該スクリーンを通して投影される場合、散乱の量は2倍になるが、距離依存の散乱の効果は変わらない。
上記スクリーン上の全ての対象をパターンで照らすことにより、上記視覚システムの性能は向上する。パターン化された照明を用いない場合、該イメージのどの位置における3D情報も判断することが困難であり、この場合、均一な輝度の対象の中間等のエッジはない。しかし、全ての対象をこの投影パターンでカバーする場合、該イメージのどの位置におけるぼやけ情報も得ることが容易である。
投影されたテクスチャーを用いて、異なる方法を、ぼやけの量を推定するのに用いることができる。ソーベルフィルタまたはピラミッド分解等の画像コンボリューションは、異なるスケールにおける信号強度及び階調度に関する情報を得るのに用いることができる。該テクスチャーがドットパターンである場合、該ドットに相当するイメージにおける箇所は、局所最大値を探すことにより見つけることができる。そして、各局所最大値周辺の領域の階調度の強度を調べることにより、どの程度ぼやけが発生しているかを判断することができる。該ドットのエッジにおける階調度は、ぼやけの量にほぼ反比例する。そのため、各ドットにおける階調度は、上記スクリーンからの距離に関連付けることができる。
カメラ構成
上記システムの一実施形態において、上記カメラは、人の目には見えない波長の光に対して感度が良い。不可視波長の光を放出するイルミネータを付け加えることにより、該カメラは、光をユーザの目に照射することなく、暗い室内で上記表示スクリーンの前の領域の良好に照らされたイメージを取得することができる。また、選択した光の波長により、該表示スクリーンの内容は、該カメラに見えない可能性もある。例えば、920nm〜960nmの波長の光に対してのみ感度が良いカメラは、LCDスクリーン上にどのようなイメージが表示されていようとも、該LCDスクリーンを透過性のものとして見ることになる。
上記システムの一実施形態において、上記カメラは、人の目には見えない波長の光に対して感度が良い。不可視波長の光を放出するイルミネータを付け加えることにより、該カメラは、光をユーザの目に照射することなく、暗い室内で上記表示スクリーンの前の領域の良好に照らされたイメージを取得することができる。また、選択した光の波長により、該表示スクリーンの内容は、該カメラに見えない可能性もある。例えば、920nm〜960nmの波長の光に対してのみ感度が良いカメラは、LCDスクリーン上にどのようなイメージが表示されていようとも、該LCDスクリーンを透過性のものとして見ることになる。
上記システムの別の実施形態においては、上記カメラは、狭い範囲の波長の近赤外線に対してのみ感度が良く、この場合、該範囲内の最も短い波長は、少なくとも920nmである。上記スクリーンの前の領域は、この波長範囲の光を放射する赤外線LEDからなるクラスタによって照らされる。該カメラは、該LEDによって生成された波長の光のみを伝達する帯域通過フィルタを備えた近赤外線に感度が良いモノクロCCDである。さらなるイメージ品質の向上及び周囲光の排除のために、該カメラとLEDとを一緒にストロボさせることができる。
上記システムの一実施形態において、上記カメラは、上記スクリーンの前の領域の比較的歪んでいない視野を有する。歪みを低減するために、該カメラは、該スクリーンから有効な距離に配置することができる。代替的に、該カメラは、該スクリーンに近づけて配置することができ、フレネルレンズを該スクリーン上または該スクリーンの後ろに配置することができる。図20Aは、該カメラを該スクリーンに近接させた高歪み構成を示す。図20Aにおいては、対象2010及び対象2020が、該カメラの視野からは同じ位置に見えるが、該スクリーンの非常に異なる部分の上にあることに注意する。図20B、図21A及び図21Bは、歪みが低減された幾つかの構成を示す。図20Bは、該カメラが該スクリーンから離れており、該カメラの視野を反射させることにより、ディスプレイ全体をコンパクトに保つことができる低歪み構成を示す。図20Bにおいては、対象2030及び対象2040が、該カメラの視野からは同じ位置に見え、該スクリーンの上の同様の位置を占めていることに注意する。図21A及び図21Bは、それぞれ、歪みを低減またはなくすフレネルレンズの使用を示す。
フレネルレンズは、複数のカメラを上記システムにおいて使用できるようにするためにも用いることができる。図21Cは、2カメラシステムにおいて歪みをなくすフレネルレンズの使用を示す。各カメラは、該カメラの視野に対する歪みをなくすフレネルレンズを有する。該2つのカメラの視野が、交差することなくわずかに接するため、対象は、一方のカメラの視野から他方のカメラの視野へ途切れなく通過することができる。この方法は、多くのカメラに恩恵を及ぼし、カメラからなる格子を該スクリーンの後ろに配置することができるようにする。この方法は、上記インタラクティブ・ディスプレイを奥行きのないものにすることができ、該ディスプレイに、フラットパネルディスプレイと同様の形状要素を与える。同様に、歪みをなくすフレネルレンズの使用は、全てのディスプレイからの複数のカメラを、継ぎ目なく一緒にタイル張りのように並べることができるように、複数の内蔵型ディスプレイを一緒にタイル張りのように並べることができるようにする。
上記カメラからの3Dイメージを取得するのにある方法を用いる場合、該カメラの位置は、座標変換を実行することにより、歪みをソフトウェアで補正することができるため、重要性が小さくなる。例えば、各ピクセルに対する該カメラの深度測定値は、(x,y,z)座標に変換することができ、ここで、x及びyは、該箇所に最も近い該表示スクリーン上の位置に対応し、zは、該箇所に対する該スクリーン上の位置(x,y)からの距離に対応する。3Dイメージは、数あるソフトウェアをベースとする及びハードウェアをベースとするアプローチの中でも、タイムオブフライト型カメラを用いることにより、ハードウェアで取得することができる。タイムオブフライト型カメラの製造者は、Canestaおよび3DV Systemsを含む。上述したアプローチは、ほとんどのタイムオブフライト型カメラが赤外線イルミネータを用いるため、タイムオブフライト型カメラを上記スクリーンの後ろに配置することと両立する。
カメラのためのイルミネータ
上記カメラの波長を考慮して上記スクリーンの前のインタラクティブ領域を照らすイルミネータは、該スクリーンの周囲、該スクリーンの後ろまたはその両方に配置することができる。
上記カメラの波長を考慮して上記スクリーンの前のインタラクティブ領域を照らすイルミネータは、該スクリーンの周囲、該スクリーンの後ろまたはその両方に配置することができる。
それらのイルミネータが該スクリーンの周囲に配置されている場合、該イルミネータは、上記インタラクティブ領域を直接照らし、それらの明るさを最大限にできるようにする。しかし、この構成は、信頼できるものではなく、ユーザが該イルミネータの光路を遮断する可能性があり、該インタラクティブ領域内のいくつかの対象が照らされることが妨げられる可能性がある。また、この構成は、該スクリーンに触れている対象を照らすことを困難にする。
上記スクリーン周辺に配置されたイルミネータについての上述した問題は、該イルミネータを該スクリーンの後ろに配置することにより解決され、上記カメラの近傍のイルミネータの場合、該カメラに見えるいかなる対象も照らされることになる。しかし、それらのイルミネータからの光は、レイリー散乱物質、テクスチャー加工された材料、または、該スクリーンの後ろの散乱偏光子によって後方散乱する可能性がある。この後方散乱は、該カメラのイメージのコントラストを著しく低下させ、上記視覚システムが該カメラのイメージを解読することを困難にする。
光が散乱偏光子によって散乱されている場合、上記カメラは、近赤外光に対して感度が良く、上記イルミネータは近赤外光を放射し、それに伴って、上述したコントラストの損失は、赤外光を直線偏光させる赤外線直線偏光子を用いることによって低減することができる。偏光方向を、散乱偏光子が透過性である方向に対して平行にした状態で、該カメラの前に赤外線直線偏光子を配置することは、後方散乱を著しく低減し、かつコントラストを改善することになる。また、偏光方向を、該散乱偏光子が透過性である方向に対して平行にした状態で、該赤外線イルミネータの前に赤外線直線偏光子を配置することも、後方散乱を低減し、かつコントラストを改善することになる。
ウィンドウディスプレイ
本発明の別の態様によれば、上記内蔵型インタラクティブ・ビデオ・ディスプレイは、ウィンドウディスプレイと共に使用することができる。内蔵型インタラクティブ・ビデオ・ディスプレイは、様々な物理的構成、例えば、上記スクリーンを水平、垂直または対角線状に配置することで、配置することができる。しかし、そのようなディスプレイをウィンドウ上に配置した場合には、いくつかの追加的な実行可能な構成がある。
本発明の別の態様によれば、上記内蔵型インタラクティブ・ビデオ・ディスプレイは、ウィンドウディスプレイと共に使用することができる。内蔵型インタラクティブ・ビデオ・ディスプレイは、様々な物理的構成、例えば、上記スクリーンを水平、垂直または対角線状に配置することで、配置することができる。しかし、そのようなディスプレイをウィンドウ上に配置した場合には、いくつかの追加的な実行可能な構成がある。
図22は、本発明の一実施形態による、インタラクティブ・ウィンドウ・ディスプレイ2200の例示的な構成を示す。一実施形態においては、内蔵型とする代わりに、コンポーネントを物理的に分離することができる。スクリーン2210は、ウィンドウ2220面に直接貼ることができ、あるいは、ウィンドウ2220の後ろに独立して設けることができる。カメラ2230、プロジェクタ2240及びイルミネータ2250は、近くに、または、別々の位置に配置することができ、また、床、天井またはウィンドウ2220からの様々な距離の間のどこかに設けることができる。場合によっては、赤外線イルミネータ2250を、該イルミネータが、スクリーン2210を通してではなく、対象を直接照射するように、スクリーン2210の側に配置することができる。また、場合によっては、カメラ2230とコンピュータ2260との間、または、コンピュータ2260とプロジェクタ2240との間の通信をワイヤレスにしてもよい。
ウィンドウディスプレイ内の該カメラは、一般に、水平方向に向けられている。その結果として、該カメラは、通常、上記スクリーンから任意の距離で人を見る。視覚ソフトウェア、スクリーン材料または他のシステムを、過大な距離における対象を識別及び除去するのに用いることができるが、より遠くの対象が、それらを見るカメラのために、一定の最小高さからなる必要があるように、該カメラを上方へ傾けることも可能である。それに伴って、数フィートのスクリーンの範囲内の人のみが該スクリーンと相互に作用することができる。そのようなディスプレイに近づいてくるユーザは、該スクリーンの底部に最初に現れ、その後、該ユーザが該スクリーンに近づくにつれて、段々浮かび上がってくる仮想的な存在に気付くことになる。図22は、このように上方に傾けたカメラ2230を示す。
グレアは、ウィンドウディスプレイにおける課題である。しかし、ウィンドウディスプレイのユーザが、典型的に、該スクリーンを見る角度は限られる。そういう人たちは、おそらく、該ディスプレイ上の対象を指差す空間を有するように、該ディスプレイから少なくとも数(例えば、2)フィートの距離を保つため、一般に、斜角で該スクリーンを見ることはないであろう。目線以下のディスプレイの場合、人は、特に、斜角で該ディスプレイを見上げることはないであろう。該プロジェクタが、そのビームを斜角で下方へ投影する状態で、該スクリーンに極端に近づけてかつ該スクリーンの上部の上に配置されている場合には、この低グレア状態が実現されるであろう。代替的に、該ディスプレイが目線以上になるように配置されている場合、該プロジェクタを該スクリーンの下に近づけて配置して、斜角で上方に投影することにより、同様のグレアの低減を達成することができる。軸外しプロジェクタは特に、この種の構成に特に有用であることに注意する。
ウィンドウユニット:代替構成
上記スクリーンの可視光透過性は、内蔵型ユニットよりもウィンドウユニットにおいてより望ましい。従って、ウィンドウディスプレイは、特定の角度で該スクリーン上に照射される光に対して半透過性である部分的に透過性のスクリーンを用いて形成することができる。該部分的に透過性のスクリーンを形成するのに用いることができる一つの材料は、Dai Nippon Printingにより製造されて“HoloClear”の商品名で市販されており、このような材料は、35度の角度で該スクリーンに照射される光に対して半透過性である。このスクリーンは、上記赤外線透過・可視光半透過性スクリーンまたは散乱偏光子スクリーンの代わりになる。上記プロジェクタが、該角度で該スクリーン上に光を照射した場合、該プロジェクタからのグレアは生じないであろう。上記カメラが、該プロジェクタから(該スクリーンに対して)著しく異なる角度にある限り、上記システムは、正しく機能することができるであろう。
上記スクリーンの可視光透過性は、内蔵型ユニットよりもウィンドウユニットにおいてより望ましい。従って、ウィンドウディスプレイは、特定の角度で該スクリーン上に照射される光に対して半透過性である部分的に透過性のスクリーンを用いて形成することができる。該部分的に透過性のスクリーンを形成するのに用いることができる一つの材料は、Dai Nippon Printingにより製造されて“HoloClear”の商品名で市販されており、このような材料は、35度の角度で該スクリーンに照射される光に対して半透過性である。このスクリーンは、上記赤外線透過・可視光半透過性スクリーンまたは散乱偏光子スクリーンの代わりになる。上記プロジェクタが、該角度で該スクリーン上に光を照射した場合、該プロジェクタからのグレアは生じないであろう。上記カメラが、該プロジェクタから(該スクリーンに対して)著しく異なる角度にある限り、上記システムは、正しく機能することができるであろう。
ウィンドウユニットに対するインタフェース
上記ウィンドウユニットに対するインタフェースは、ステレオカメラ、タイムオブフライト型カメラ及びこの特許の“タッチスクリーン”の章で説明した技術の使用を含む、上記内蔵型ユニットと同様の方法を用いて、距離に依存して形成することができる。一実施形態において、該ウィンドウユニットとの相互作用は、全身のインタラクションと、指差し等のより厳密なジェスチャーとの混合を含む。
上記ウィンドウユニットに対するインタフェースは、ステレオカメラ、タイムオブフライト型カメラ及びこの特許の“タッチスクリーン”の章で説明した技術の使用を含む、上記内蔵型ユニットと同様の方法を用いて、距離に依存して形成することができる。一実施形態において、該ウィンドウユニットとの相互作用は、全身のインタラクションと、指差し等のより厳密なジェスチャーとの混合を含む。
深度情報を抽出する視覚システムの場合、いくつかの方法によって、指差しジェスチャーと他の手の動きとを分離することが可能である。まず、上記カメラのイメージは、全身のインタラクションに対する1つの距離範囲と、指差しジェスチャーに対する別の(おそらくより近い)距離範囲とを用いて、いくつかの距離範囲に分けることができる。後者の距離範囲における対象は、ポインタとして追跡され、その位置は、該ディスプレイ上で実行されるアプリケーションに対する入力として作用する。代替的に、該スクリーンから特定の距離に満たない全ての対象は、該スクリーンに最も近い該対象内の箇所を見つけるために分析することができる。該箇所が、少なくとも特定の閾値だけ、該対象の残りよりも該スクリーンに近い場合、該箇所は、指差しジェスチャーのための入力になる。該スクリーン上の視覚フィードバックは、何らかの検出された手の動きの位置を示すように実行することができる。
グレアを低減する方法
ビューワが常に、特定の角度範囲から上記プロジェクタのグレアを見るようにする場合、該グレアは、該光景の該カメラの視野に有害な影響を及ぼすことなく、さらに低減することができる。図23A、図23B及び図23Cは、それぞれ、本発明の異なる実施形態による、グレアを低減する様々な方法を示す単純化した概略図である。図23Aは、プリーツ付きのスクリーン材料を示す。該スクリーンは、斜角で来る光線が、スクリーンのいくつかの層を通過しなければならず、ほぼ直線状に来る光線が、通常、1つの層のみを通過するように、プリーツが付けられていると仮定する。該プロジェクタの光が斜角で来て、該カメラがほぼ平行に該スクリーンを見る場合、該プロジェクタの光の散乱の量は、該カメラの視野に有害な影響を及ぼすことなく、大幅に増加することになる。図23Aにおいて、該カメラの視野の大部分は、1つの層を通過するのみであるが、投射された光の全ては、複数の層を通過する。
ビューワが常に、特定の角度範囲から上記プロジェクタのグレアを見るようにする場合、該グレアは、該光景の該カメラの視野に有害な影響を及ぼすことなく、さらに低減することができる。図23A、図23B及び図23Cは、それぞれ、本発明の異なる実施形態による、グレアを低減する様々な方法を示す単純化した概略図である。図23Aは、プリーツ付きのスクリーン材料を示す。該スクリーンは、斜角で来る光線が、スクリーンのいくつかの層を通過しなければならず、ほぼ直線状に来る光線が、通常、1つの層のみを通過するように、プリーツが付けられていると仮定する。該プロジェクタの光が斜角で来て、該カメラがほぼ平行に該スクリーンを見る場合、該プロジェクタの光の散乱の量は、該カメラの視野に有害な影響を及ぼすことなく、大幅に増加することになる。図23Aにおいて、該カメラの視野の大部分は、1つの層を通過するのみであるが、投射された光の全ては、複数の層を通過する。
所望の効果を実現するには、いくつかの方法がある。プリーツ付きスクリーンの代わりに、図23Bに示すように、プリーツ付きスクリーンと同じ効果を生成するマイクロルーバー材料を有する平坦なスクリーンを代替使用することができる。代替的に、図23Cに示すように、スクリーン材料の小さく、平坦なシート状粒子を、(全て水平方向に向けて)透過性基板に付加することができる。全ての場合において、斜角で該スクリーンに近づく典型的な光線は、該材料と垂直な典型的な光線よりもより多くの散乱材料に遭遇する。
全ての場合における上記スクリーンのテクスチャーは、ビューワがそれに気付かないくらい十分に小さくすべきである。この方法は、軸外しプロジェクタを使用する場合に最も有用であるが、該プロジェクタ及びカメラが異なる角度で該スクリーンを見るどのような状況においても有用である。
上記赤外線光源が上記スクリーンを照射すること及びコントラストを低下させることを防ぐことが重要である。すなわち、赤外線イルミネータが該スクリーンの後ろに配置されている場合、該スクリーンの散乱が最小化される角度で該赤外線イルミネータを配置することが有利である。
代替的に、狭い範囲の視角で半透過性であり、かつ他の全ての角度で透過性である(Lumisty等の)視界制御フィルム製品は、場合によっては、グレアを低減するのを促進することができる。
上記プロジェクタを、上記スクリーンに対して特定の角度で配置することにより、該プロジェクタのビームを直接見る誰かが、上記視界制御フィルムが半透過性になる角度で該スクリーンを見ることになるようにすることができる。図24A及び図24Bは、視界制御フィルムがグレアを低減することができる一つの方法を示す。図24Aは、1種類の視界制御フィルムを通して光を見る人(またはカメラ)の体験を示す。該半透過性領域からの光は拡散され、この領域内の光源からのいかなるグレアも低減されまたはなくなる。2つの透過性領域からの光源は拡散されず、人またはカメラが、それらの領域内で対象を見ることができるようになる。視界制御フィルムの領域の境界は、多くの場合、一方向に沿った光線と該視界制御フィルムの表面との間の角度に対する値の範囲によって定義される。図24Bは、インタラクティブ・ウィンドウ・ディスプレイ上のグレアを低減する、単純化した構成の視界制御フィルムを示す。該視界制御フィルムは、上記赤外線透過・可視光半透過性スクリーンと共に使用される。該プロジェクタの角度のため、該視界制御フィルムが光を拡散させる角度である状態を要することなく、該プロジェクタのビームを直接見ることが可能である。しかし、上記カメラは、該視界制御フィルムが透過性である角度で向けられているため、該視界制御フィルムを通して対象を見ることができる。従って、グレアは、光景を見る該カメラの能力に影響を及ぼすことなく低減される。
例示的な構成
ウィンドウディスプレイ2500の一つの例示的な実施形態は、図25に示すように、散乱偏光子をスクリーンとして用いる。この実施形態は、該ディスプレイを作動させるのに必要な全ての検知及び表示コンポーネントが、ウィンドウ2505の後ろに配置されているインタラクティブ・ウィンドウ・ディスプレイ2500である。ウィンドウディスプレイ2500は、ウィンドウ2505の前のユーザが、自然な身体動作によって、ウィンドウ2505上に表示されたビデオイメージと対話できるようになっている。
ウィンドウディスプレイ2500の一つの例示的な実施形態は、図25に示すように、散乱偏光子をスクリーンとして用いる。この実施形態は、該ディスプレイを作動させるのに必要な全ての検知及び表示コンポーネントが、ウィンドウ2505の後ろに配置されているインタラクティブ・ウィンドウ・ディスプレイ2500である。ウィンドウディスプレイ2500は、ウィンドウ2505の前のユーザが、自然な身体動作によって、ウィンドウ2505上に表示されたビデオイメージと対話できるようになっている。
一実施形態において、表示されたイメージは、LCDプロジェクタ2510によって生成される。ほとんどのLCDプロジェクタにおいては、赤色及び青色の光が一方向に偏光され、緑色は、垂直方向に偏光される。ColorLink Corporationによって生み出された位相差板スタック“ColorSelect”技術等の色選択性偏光回転子2515は、緑色の光の偏光を90度回転させるのに用いられる。代替的に、赤色及び青色の光の偏光は、同じ効果を実現するために、90度だけ回転させることができる。プロジェクタ2510の前に色選択性偏光回転子2515を配置することにより、全てのプロジェクタの光は、同じ偏光になる。散乱偏光子2525は、最大散乱の方向が該プロジェクタの光と平行になるように正しい方向に配置されている。従って、このプロジェクタの光が散乱偏光子2525に達すると、該光は全て散乱され、該スクリーンの他方側のユーザに対するイメージが生成される。
近赤外光のみに感度が良いビデオカメラ2530は、“カメラの視野”と呼ばれる、該スクリーンの前の領域を見る。この視野内の対象は、カメラ2530に見えることになる。該カメラの視野のための照明は、赤外線LEDクラスタ2535からなるセットから来て、該クラスタは、カメラ2530により見える波長の光を該スクリーンの裏側に生成する。該カメラの視野は、該スクリーン近傍にいる人のみが、該視野の範囲内にあるように、上方に傾斜されている。このことは、該スクリーンから離れた対象が、カメラ2530を入力として用いるインタラクティブ・アプリケーションに影響を及ぼすことを防止する。
次に、図25の例示的な実施形態を介した可視光及び赤外光の経路について説明する。光の2つの垂直な偏光は、偏光A及び偏光Bと呼ぶ。
可視光は、赤色光及び青色光が偏光Aで緑色が偏光Bの状態でLCDプロジェクタ2510から現れる。この光は、まず、色選択性偏光回転子2515を通過し、該回転子は、赤色光及び青色光を散乱させずに、緑色光が偏光Aになるように、該緑色光の偏光を回転させる。次に、この光は、直線偏光子2520を通過し、該偏光子は、偏光Aの光を伝達し、偏光Bの光を吸収する。この直線偏光子2520は、該光を“浄化し”、すなわち、該偏光子は、まだBで偏光されている該プロジェクタの光を吸収する。次いで、該光は、散乱偏光子2525を通過し、該偏光子は、偏光Aの光を散乱させ、偏光Bの光を伝達するような方向に配置されている。すなわち、該プロジェクタの光のほぼ全てが散乱される。この散乱光は、その偏光Aを保つことに注意する。状況に応じて、該光は、その後、偏光Aの光を伝達し、かつ偏光Bの光を吸収する直線偏光子2540を通過してもよい。この偏光子は、イメージ品質の改善に役立つ。
赤外線イルミネータ2535から放射された赤外光は、非偏光を始める可能性がある。状況に応じて、改善された明瞭度のために、この光は、少量の該光が散乱偏光子2525により散乱されるように、まず、赤外線直線偏光子を通過して該光を偏光Bに偏光させることができる。該光が偏光されない場合、該光の一部は、該光が散乱偏光子2525を通過する際に散乱されることになるが、偏光Aの光は、散乱されずに散乱偏光子2525を通過することになる。該赤外光の波長は十分に長いため、該光は、影響を受けずにいずれかの可視光直線偏光子2540を通過し、人であるユーザ等の上記スクリーンの前の対象を照らすことができる。
ウィンドウ2505の前からカメラ2530の方へ戻ってくる赤外光は、直線偏光子2540の影響を受けない。しかし、該光が散乱偏光子2525を通過する際に、偏光Aの光は散乱し、偏光Bの光は散乱されないままとなる。カメラ2530は、その直前に赤外線直線偏光子2545を有し、この偏光子2545は、偏光Aの光を吸収し、かつ偏光Bの光を伝達する。従って、カメラ2530は、散乱偏光子2545によって散乱されていない偏光Bの光のみを見る。このことは、カメラ2530に、該スクリーンの前の領域の明瞭で高コントラストのイメージを与える。
プリズムフィルムの使用
一般的なインタラクティブ投影型ウィンドウディスプレイにおいては、該ウィンドウディスプレイの下の領域をクリアにし、上記カメラが見る領域が上方に傾斜するように該カメラを配置することが望ましいことが多い。この状況は、プリズムフィルムを通過する全ての光の向きを特定の角度に向け直すプリズムフィルムの使用によって実現することができる。例えば、3Mにより製造されているVikuiti IDF filmは、入射光の向きを20度変える。1つ以上のそれらのフィルムを上記投影スクリーンのいずれかの面に配置して、光を上方へ向け直すことにより、該カメラは、図26に示すように、該スクリーンと比較してより高く配置することができる。
一般的なインタラクティブ投影型ウィンドウディスプレイにおいては、該ウィンドウディスプレイの下の領域をクリアにし、上記カメラが見る領域が上方に傾斜するように該カメラを配置することが望ましいことが多い。この状況は、プリズムフィルムを通過する全ての光の向きを特定の角度に向け直すプリズムフィルムの使用によって実現することができる。例えば、3Mにより製造されているVikuiti IDF filmは、入射光の向きを20度変える。1つ以上のそれらのフィルムを上記投影スクリーンのいずれかの面に配置して、光を上方へ向け直すことにより、該カメラは、図26に示すように、該スクリーンと比較してより高く配置することができる。
小型化
上記システムの全体のサイズは、ミラーを用いて小型化することができる。図27は、上記カメラ及びプロジェクタが、上記ウィンドウから離れる方向に向けられて、該ウィンドウに隣接して配置されており、ミラーが該光ビームを反射して該ウィンドウの方へ戻す構成を示す。
上記システムの全体のサイズは、ミラーを用いて小型化することができる。図27は、上記カメラ及びプロジェクタが、上記ウィンドウから離れる方向に向けられて、該ウィンドウに隣接して配置されており、ミラーが該光ビームを反射して該ウィンドウの方へ戻す構成を示す。
カメラの改良
さらなるイメージ品質の向上及び周囲光の排除のために、上記カメラと該カメラのイルミネータとを、一緒にストロボさせることができる。このアプローチは、3Dイメージングのための様々なソフトウェア及びハードウェアアプローチの利用と完全に適合する。特に、このデザインのカメラ及びイルミネータは、タイムオブフライト型カメラと置き換えることができる。
さらなるイメージ品質の向上及び周囲光の排除のために、上記カメラと該カメラのイルミネータとを、一緒にストロボさせることができる。このアプローチは、3Dイメージングのための様々なソフトウェア及びハードウェアアプローチの利用と完全に適合する。特に、このデザインのカメラ及びイルミネータは、タイムオブフライト型カメラと置き換えることができる。
可視光システム
(図25に示すように)直線偏光子が散乱偏光子に隣接して付加されていない場合、該デザインは、赤外線カメラの使用を必要としない。偏光方向を、該散乱偏光子が透過性になる方向と平行にした状態で、該カメラの直前に可視光直線偏光子がある限り、カラーまたは白黒の可視光カメラは、上記スクリーンの前の領域を撮像することができる。従って、投影されたイメージは、該カメラによって見られず、該カメラが、妨げられていない該スクリーンの前の領域を見ることができるようになる。このカメラは、現在ある周囲光によって、または、該スクリーンの前のユーザ及び対象を照らすために該ディスプレイの近くに配置された追加的な可視光によって作動することができる。追加的な可視光を付加した場合、該カメラ及び光は、該カメラのイメージの品質を向上させ、かつ周囲光及び該イメージに対するプロジェクタの光の影響を制限するために、本願の“方向性周囲赤外線”の章で説明したように、一緒にストロボしてもよい。
(図25に示すように)直線偏光子が散乱偏光子に隣接して付加されていない場合、該デザインは、赤外線カメラの使用を必要としない。偏光方向を、該散乱偏光子が透過性になる方向と平行にした状態で、該カメラの直前に可視光直線偏光子がある限り、カラーまたは白黒の可視光カメラは、上記スクリーンの前の領域を撮像することができる。従って、投影されたイメージは、該カメラによって見られず、該カメラが、妨げられていない該スクリーンの前の領域を見ることができるようになる。このカメラは、現在ある周囲光によって、または、該スクリーンの前のユーザ及び対象を照らすために該ディスプレイの近くに配置された追加的な可視光によって作動することができる。追加的な可視光を付加した場合、該カメラ及び光は、該カメラのイメージの品質を向上させ、かつ周囲光及び該イメージに対するプロジェクタの光の影響を制限するために、本願の“方向性周囲赤外線”の章で説明したように、一緒にストロボしてもよい。
さらなるイメージ品質の向上に対しては、高速開口を上記プロジェクタのレンズの前に配置することができる。この開口は、機械的または電子的なものにすることができ、すなわち、1つの利用可能な電子的開口は、Meadowlark Opticsによって製造されている、液晶をベースとするVelocity Shutterである。一実施形態において、このシャッタは、ほとんど常に開いたままであり、該プロジェクタの光が通過できるようになっている。該シャッタは、該プロジェクタの光を遮断し、上記カメラが写真を撮るためだけに閉じる。該カメラの露出時間が短い場合、該プロジェクタの輝度は、ほとんど影響を受けないことになる。該カメラの露出中に該プロジェクタの光を遮断する速度シャッタの使用も、可視光カメラを、投影型インタラクティブフロアまたはウォールディスプレイの前で使用できるようにすることに注意する。
インタラクティブ・ビデオ・プロジェクション・システムにおける可視光カメラの使用の場合、各ピクセルを前景または背景として分類する視覚信号に加えて、上記スクリーンの前の人(該システムのユーザ)のリアルタイムの写真が得られることに注意する。このことは、該視覚システムが、該システムのユーザの写真と、除去される静止背景とを分離することを可能にする。この情報は、該システムが、人為的に生成されたイメージを該ユーザの上または周囲に挿入した状態で、該ユーザのカラーイメージを、表示する該イメージ中に配置できるようにする。このシステムが正確に較正されている場合、ユーザは、該スクリーンに触れることができ、該ユーザの表示されたイメージは、該スクリーン上の同じ位置に同時に触れることになる。これらの特徴は、例えば、ユーザが、インタラクティブな内容に配置されたユーザ自身を事実上見ることができることを含む、このディスプレイ上で実行するインタラクティブなアプリケーションの品質の著しい向上を実現できる。
上記カメラからの可視光イメージは、該ミラーは、実際のミラーのように見えかつ作用する仮想ミラーを形成するのに用いることができるが、該ミラーイメージは、電子的に操作することができる。例えば、該イメージは、非反転ミラーを形成するように水平方向に裏返すことができ、この場合、ユーザは、他の人が該ユーザのイメージを見る様に、該ユーザ自身のイメージを見る。代替的に、該イメージは、人が、自身の背中を見るために振り返ることができるように、遅延させることができる。従って、このシステムは、例えば、ドレッシングルームを含む、ミラーが使用される環境における用途を有することができる。
タイムオブフライト型カメラ・インタラクティブ・ディスプレイ
本発明の実施形態は、タイムオブフライト型カメラを用いて実施することができる。タイムオブフライト型カメラは、そのイメージの各ピクセルのための距離情報を検知する予め組込まれた性能を有する。タイムオブフライト型カメラを使用すると、変更されたディスプレイに対する必要性が排除される。換言すれば、該タイムオブフライト型カメラは、変更を要することなく、何らかのディスプレイ(例えば、LCDパネル、ブラウン管ディスプレイ等)と共に機能してもよい。単一のタイムオブフライト型カメラを用いてもよい。しかし、単一のタイムオブフライト型カメラは、該カメラに近接している対象によって遮られている対象を検知することができない可能性がある。そのため、本発明の実施形態は、図28に示すように、複数のタイムオブフライト型カメラを用いる。
本発明の実施形態は、タイムオブフライト型カメラを用いて実施することができる。タイムオブフライト型カメラは、そのイメージの各ピクセルのための距離情報を検知する予め組込まれた性能を有する。タイムオブフライト型カメラを使用すると、変更されたディスプレイに対する必要性が排除される。換言すれば、該タイムオブフライト型カメラは、変更を要することなく、何らかのディスプレイ(例えば、LCDパネル、ブラウン管ディスプレイ等)と共に機能してもよい。単一のタイムオブフライト型カメラを用いてもよい。しかし、単一のタイムオブフライト型カメラは、該カメラに近接している対象によって遮られている対象を検知することができない可能性がある。そのため、本発明の実施形態は、図28に示すように、複数のタイムオブフライト型カメラを用いる。
カメラの冗長性を用いれば、他方の対象を遮る一方の対象のため、もはや、全ての対象を検知できない1つのカメラのことを気にする必要はない。例えば、図29に示すように、4つのタイムオブフライト型カメラを、1つのディスプレイの角部に配置して、該ディスプレイの全体の領域がインタラクティブにすることができる。複数のカメラに対してこのタイムオブフライト型の実施を用いるために、座標変換が各タイムオブフライト型カメラの各ピクセルに対して実行されて、各ピクセルが共通の座標空間内に入れる。1つのこのような空間は、(x,y)、すなわち、該ディスプレイ面に垂直に投影されるポイントの位置と、(z)、すなわち、該ディスプレイからの距離とによって定義される。この座標空間の変換は、上記スクリーンに対する各カメラの角度(及び位置)で見ることにより決定することができる。代替的に、該変換は、既知のサイズ、形状及び位置の対象が、該スクリーンの前に配置されている較正プロセスによって決定することができる。該カメラの各々に対象を撮像させることにより、適切な変換機能を、各カメラによって見られるポイントから該共通の座標空間内のポイントへ確定することができる。該カメラの座標変換がリアルタイムで行われる場合、3Dの該カメラの前の領域のリアルタイムの写真が実現される。
利用法
上記インタラクティブ・ビデオ・ディスプレイ・システムは、多くの異なる用途に用いることができる。タッチスクリーンのような動作及び全体または部分的な輪郭相互作用を有する該システムの能力は、ボタン及び対象のより厳密な選択及び操作を要する情報インタフェースに対するそのアピールを増す。
上記インタラクティブ・ビデオ・ディスプレイ・システムは、多くの異なる用途に用いることができる。タッチスクリーンのような動作及び全体または部分的な輪郭相互作用を有する該システムの能力は、ボタン及び対象のより厳密な選択及び操作を要する情報インタフェースに対するそのアピールを増す。
透過性ディスプレイスクリーンをベースとする及びプロジェクタをベースとするインタラクティブ・ディスプレイ・システムは、限定するものではないが、ユーザが自身の体を動かしてゲームをプレイするインタラクティブ・ビデオゲーム、インタラクティブメニュー、カタログ、及びジェスチャーを用いて、情報内容のページをユーザに検索させる検索システム、ユーザが、自身のイメージを用いて衣服を試着できるようにするシステム、ユーザのイメージまたは輪郭が、ビデオ・エフェクト・システムへの入力として作用するピュア・エンタテインメント用途、該スクリーンの前のユーザの動きと相互作用するインタラクティブ・キャラクター、及びユーザが体を動かすことによって相互作用する仮想遊園地及び童話を含む。
本発明の他の利用法は、限定するものではないが、ユーザが、ディスプレイ上で製品をカスタマイズする使用可能なオプションをカスタマイズするまたは見ることを可能にすること、ディスプレイ上の製品を、ディスプレイインタフェース、キーボード、クレジットカードの読取り、または、これら3つの組合せを用いて、該ディスプレイで注文できるようにすること、該ディスプレイ上の複数の製品の特徴を比較すること、該ディスプレイ上の複数の製品間の組合せまたは互換性を示すこと、及び製品を異なる仮想背景(例えば、水、森、アスファルト等)内に置いて、その特徴を説明することを含む。
周辺装置
透過性ディスプレイスクリーンをベースとする及びプロジェクタをベースとするインタラクティブ・ディスプレイ・システムは、限定するものではないが、マイクロフォン、タッチスクリーン、キーボード、マウス、RFIDタグ、圧力パッド、携帯電話の信号、PDA及びスピーカを含む追加的な入力装置及び出力装置を組み込むことができる。
透過性ディスプレイスクリーンをベースとする及びプロジェクタをベースとするインタラクティブ・ディスプレイ・システムは、限定するものではないが、マイクロフォン、タッチスクリーン、キーボード、マウス、RFIDタグ、圧力パッド、携帯電話の信号、PDA及びスピーカを含む追加的な入力装置及び出力装置を組み込むことができる。
透過性ディスプレイスクリーンをベースとする及びプロジェクタをベースとするインタラクティブ・ディスプレイ・システムは、一緒にタイル張りのように並べて、単一のより大きなスクリーンまたはインタラクティブ領域を形成することができる。また、タイル張りのように並べられたスクリーンまたは物理的に独立したスクリーンもネットワーク化することができ、一方のスクリーン上のアクションが他方のスクリーン上のイメージに影響を及ぼすことを可能にする。
例示的な実施において、本発明は、統合する方法またはモジュラー化する方法で、制御論理のかたちでハードウェアとソフトウェアの組合せを用いて実施される。本明細書に記載した開示及び教示に基づいて、当業者は、本発明を実施する他の手段および/または方法を理解するであろう。
一つの例示的な態様において、上述したように本発明は、カメラが、ディスプレイの前の領域を見ることができるようになっているシステムを実現できる。関連する発明において、システムは、該ディスプレイの前に反応性空間を生成するように形成される。本発明は、該反応性空間から情報を取得するのに用いることができる。
概して、この文書は、内蔵型インタラクティブ・ビデオ・ディスプレイ・システムについて開示している。プロジェクタは、視覚映像を、該視覚映像を表示するスクリーン上に投影し、該プロジェクタは、該視覚映像を、該スクリーンの前側のユーザへの提示のために、該スクリーンの裏側に投影する。イルミネータは、該スクリーンの前側近くの対象を照らす。カメラは、照らされた対象と該視覚映像との相互作用を検知し、該スクリーンは、該カメラに検知可能な光に対して少なくとも部分的に透過性であり、該カメラが、該スクリーンを通して該照らされた対象を検知できるようになっている。コンピュータシステムは、該相互作用に応じて該視覚映像を変えるように該プロジェクタに指示する。
本明細書に記載した実施例及び実施形態が、単に説明のためのものであり、また、それを踏まえて様々な変更または変形が、当業者に思いつかれ、この出願の趣旨及び範囲内に及び添付の請求項の範囲内に含まれるべきであることは言うまでもない。本明細書において引用した全ての出版物、特許及び特許出願は、それらの全体が参照により本明細書に組み込まれる。
本発明の様々な実施形態、すなわち、内蔵型インタラクティブ・ビデオ・ディスプレイ・システムはこのように説明された。本発明を特定の実施形態において説明してきたが、本発明は、そのような実施形態によって限定されるものと解釈すべきではなく、むしろ以下の請求項に従って解釈すべきであることを正しく認識すべきである。
この明細書の一部に組み込まれており、かつ該明細書の一部を構成する添付図面は、本発明の実施形態を示し、また、説明と共に本発明の原理を説明するのに役立つ。
図1は、本発明の一実施形態によるインタラクティブ・ビデオ・システムのコンポーネントの一つの物理的構成を示す。
図2は、本発明の一実施形態による、直線偏光シートが、グレアをなくすまたは低減するのに用いられるスクリーンの一つの構成を示す。
図3は、本発明の様々な実施形態による、インタラクティブ・ビデオ・システムのいくつかの他の構成の断面図を示す。
図4Aは本発明の実施形態によるインタラクティブ・ビデオ・システムの実施形態を示す概略図である。
図44Bは、本発明の実施形態によるインタラクティブ・ビデオ・システムの実施形態を示す概略図である。
図5Aは、本発明の実施形態によるインタラクティブ・ビデオ・システムの実施形態を示す概略図である。
図5Bは、本発明の実施形態によるインタラクティブ・ビデオ・システムの実施形態を示す概略図である。
図6Aは、本発明の実施形態による軸外し投影の2つの構成を示す概略図である。
図66Bは、本発明の実施形態による軸外し投影の2つの構成を示す概略図である。
図7Aは、本発明の一実施形態による、インタラクティブ・フラットパネル・ディスプレイ・システムを示す概略図である。
図7Bは、本発明の一実施形態による、インタラクティブ・フラットパネル・ディスプレイ・システムを示す概略図である。
図8Aは、本発明の一実施形態による、フレネルレンズを用いてイメージ歪みを低減する技術を示す概略図である。
図8Bは、本発明の一実施形態による、一連のミラーストリップを用いてイメージ歪みを低減する技術を示す概略図である。
図9Aは、本発明の一実施形態による、散乱偏光子スクリーンを有するインタラクティブ・ビデオ・ディスプレイ・システムの概略レイアウトを示す。
図9Bは、本発明の一実施形態による、散乱偏光子スクリーンを有するインタラクティブ・ビデオ・ディスプレイ・システムの概略レイアウトを示す。
図10Aは、本発明の一実施形態による、微小散乱***部またはバンプを有するスクリーンの断面を示す。
図10Bは、本発明の一実施形態による、微小散乱ピットまたは溝を有するスクリーンの断面を示す。
図11は、本発明の一実施形態による、エッジライティングのためのサンプルの構成を示す。
図12Aは、本発明の一実施形態によるフラットパネルディスプレイの断面を示す。
図12Bは、本発明の別の実施形態によるフラットパネルディスプレイの断面を示す。
図13は、本発明の一実施形態によるカメラ及び照明サブシステムを示す。
図14は、本発明の一実施形態による、傾けた散乱偏光子を用いた、カメラのための照明サブシステムを示す。
図15は、本発明の一実施形態による、タイムオブフライト型カメラのためのカメラ及び照明サブシステムを示す。
図16は、本発明の一実施形態による、3Dデータをキャプチャする第1の構成を示す。
図17は、本発明の一実施形態による、3Dデータをキャプチャする第2の構成を示す。
図18Aは、本発明の一実施形態による、3Dデータをキャプチャする2つの追加的な構成を示す。
図18Bは、本発明の一実施形態による、3Dデータをキャプチャする別の構成を示す。
図19Aは、本発明の一実施形態による、光散乱を示す概略図である。
図19Bは、本発明の一実施形態による、光散乱を示す概略図である。
図20Aは、本発明の一実施形態による、高歪みを示す。
図20Bは、本発明の一実施形態による、ディスプレイスクリーンからカメラを遠ざけたことによる低減された歪みを示す。
図21Aは、本発明の一実施形態による、フレネルレンズを用いた歪み低減を示す。
図21Bは、本発明の一実施形態による、フレネルレンズを用いた歪み排除を示す。
図21Cは、本発明の一実施形態による、2カメラシステムにおいて歪みをなくすフレネルレンズの使用を示す。
図22は、本発明の一実施形態による、ウィンドウディスプレイを示す概略図である。
図23Aは、本発明の異なる実施形態による、グレアを低減する様々な技術を説明する概略図である。
図23Bは、本発明の異なる実施形態による、グレアを低減する様々な技術を説明する概略図である。
図23Cは、本発明の異なる実施形態による、グレアを低減する様々な技術を説明する概略図である。
図24Aは、本発明の実施形態による、視界制御フィルムを用いてグレアを低減する技術を説明する概略図である。
図24Bは、本発明の実施形態による、視界制御フィルムを用いてグレアを低減する技術を説明する概略図である。
図25は、本発明の一実施形態による、散乱偏光子を用いたウィンドウディスプレイの一つの構成の断面を示す。
図26は、本発明の一実施形態による、散乱偏光子及びマイクロプリズム材料を用いたウィンドウディスプレイの一つの構成の断面を示す。
図27は、本発明の一実施形態による、簡潔化目的のためにミラーを用いたウィンドウディスプレイの一つの構成の断面を示す。
図28は、本発明の一実施形態による、多数のタイムオブフライト型カメラを含むインタラクティブ・ディスプレイの側面を示す。
図29は、本発明の一実施形態による、多数のタイムオブフライト型カメラを含むインタラクティブ・ディスプレイの平面を示す。
Claims (55)
- 視覚イメージを投影するプロジェクタと、
前記視覚イメージを表示するスクリーンであって、前記スクリーンの前側のユーザへの提示のために、前記プロジェクタが前記視覚イメージを前記スクリーンの裏側に投影する、スクリーンと、
前記スクリーンの前記前側近くの対象を照らすイルミネータであって、前記イルミネータが、前記スクリーンのそばに配置されており、かつ前記スクリーンの前記前側に照明を投影する、イルミネータと、
照らされた対象と前記視覚イメージとの相互作用を検知するカメラであって、前記スクリーンが、前記カメラに検知可能な光に対して少なくとも部分的に透過性であり、前記カメラが、前記スクリーンを通して前記照らされた対象を検知できるようにしている、カメラと、
前記プロジェクタに、前記相互作用に応じて前記視覚イメージを変えるように指示するコンピュータシステムと、
を備える内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。 - 前記イルミネータが、赤外線照明を投影する赤外線イルミネータであり、前記カメラが赤外線カメラであり、前記プロジェクタ、前記赤外線カメラ、前記赤外線イルミネータ及び前記コンピュータシステムがエンクロージャ内に備えられており、前記エンクロージャの一つの側部が前記スクリーンを備える、請求項1に記載のシステム。
- 直角に方向付けられた直線偏光フィルムが、前記スクリーンの前記前側及び前記裏側に隣接して配置されている、請求項1または請求項2に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記プロジェクタは、偏光された光を放射し、直角に方向付けされた直線偏光フィルムが、前記スクリーンの前記前側に隣接して配置されている、請求項1または請求項2に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記イルミネータが前記カメラの露出に合わせてストロボされる、請求項1または請求項2に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記プロジェクタ、前記カメラ、前記イルミネータ及び前記コンピュータシステムがエンクロージャ内に備えられており、前記エンクロージャの一つの側部が前記スクリーンを備える、請求項1に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記視覚イメージを前記スクリーン上に投影するミラーをさらに備え、前記プロジェクタが前記スクリーンに間接的に向けられており、前記ミラーが、前記視覚イメージを前記スクリーンへ向ける、請求項1または請求項2に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記イルミネータが、照明を前記スクリーンを通して前記対象に投影する、請求項1または請求項2に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記イルミネータが、前記カメラ上でのグレアの影響に対するいかなる可能性も低減するように配置されている、請求項8に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記イルミネータは、前記イルミネータが前記スクリーンを通して照明を投影しないように、前記スクリーンのそばに配置されている、請求項1または請求項2に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 複数のイルミネータを備え、前記イルミネータが、前記スクリーンのそばで、かつ前記スクリーンの後ろに配置されている、請求項1または請求項2に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記プロジェクタが軸外しプロジェクタである、請求項1または請求項2に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記カメラの視界の歪みを補正するために、前記スクリーンに隣接して配置されたフレネルレンズをさらに備える、請求項1に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記カメラの視覚の歪みを補正するために、前記スクリーンから一定距離に配置された一連のミラーストリップをさらに備える、請求項1に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記スクリーンが散乱偏光子を備え、前記プロジェクタが、前記散乱偏光子によって実質的に散乱される偏向で偏光した光を放射し、前記カメラが、前記散乱偏光子によって実質的に散乱されない偏光の光に対して感度が良い、請求項1または請求項2に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記スクリーンが、前記プロジェクタによって放射された波長の光を実質的に散乱させるが、前記カメラに検知可能な波長は実質的に散乱させない材料を備える、請求項1または請求項2に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記スクリーンが、実質的に半透過性から実質的に透過性に変化することができる時間ベースの材料を備え、前記スクリーンは、前記プロジェクタが前記視覚イメージを投影しているときに実質的に半透過性であり、また、前記カメラが、前記スクリーンの前記前側近くの対象を検知しているときに実質的に透過性である、請求項1または請求項2に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記スクリーンが、特定の角度で実質的に半透過性であり、他の角度で実質的に透過性である材料を備え、前記プロジェクタが、前記特定の角度で光を前記スクリーン上に投影する、請求項1または請求項2に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記カメラのイメージは、前記対象によって引き起こされた前記相互作用が、前記スクリーンに近い前記対象の物理的位置と整合するように、前記視覚イメージに対して較正される、請求項1または請求項2に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、前記スクリーンからの前記対象の距離に関する情報を決定するように作動する、請求項1または請求項2に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記カメラがステレオカメラである、請求項20に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記カメラがタイムオブフライト型カメラである、請求項20に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記タイムオブフライト型カメラは、前記タイムオブフライト型カメラがそれ自体へ戻して反射しないように配置されている、請求項22に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、前記対象が前記スクリーンに近接している場合に、タッチスクリーンの機能性を実行できる、請求項1または請求項2に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記スクリーンの前記前側近くに透過性タッチスクリーンをさらに備える、請求項24に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記スクリーンの前記前側近くに縁部が照射される透過性シートをさらに備え、前記カメラは、前記対象が、前記縁部が照射される透過性シートに接触したときに生成される光を識別するように作動する、請求項24に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記対象が、人であるユーザの体の一部である、請求項1または請求項2に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムは、第2の内蔵型インタラクティブ・ビデオ・ディスプレイ・システムと共にタイルを張るように並べることができる、請求項1または請求項2に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 第2のカメラと、前記カメラのための第1のフレネルレンズと、前記第2のカメラのための第2のフレネルレンズとをさらに備え、前記カメラ及び前記第2のカメラによって見られる空間を一緒につなげることを可能にする、請求項1または請求項2に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 内蔵型インタラクティブ・ビデオ・ディスプレイ・システムを用いて、インタラクティブな視覚イメージを提示する方法であって、
視覚イメージをスクリーン上に投影することであって、前記視覚イメージが、前記スクリーンの前側のユーザに対する提示のために前記スクリーンの裏側に投影されることと、
前記スクリーンのそばのイルミネータを用いて、前記スクリーンの前記前側近くの対象を照らすことと、
前記対象と前記視覚イメージとの相互作用を検知することであって、前記スクリーンは、前記対象を前記スクリーンを通して検知することができるように、光に対して、少なくとも部分的に透過性であることと、
前記相互作用に応じて前記視覚イメージを変えることと、
を備える方法。 - 前記対象を照らすことが、赤外光照明を用いて前記対象を照らすことを含み、前記相互作用を検知することが、前記対象に投影された赤外光照明を検知することを含む、請求項30に記載の方法。
- 前記視覚イメージを前記スクリーン上に投影することにより、グレアをなくすことを含み、直角に方向付けられた直線偏光フィルムが、前記スクリーンの前記前側及び前記裏側に隣接して配置されている、請求項30に記載の方法。
- 偏光した光を投影することにより、グレアをなくすことをさらに含み、直角に方向付けられた直線偏光フィルムが、前記スクリーンの前記前側に隣接して配置されている、請求項30に記載の方法。
- 前記照らすことが、前記検知することに合わせてストロボされる、請求項30に記載の方法。
- 前記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムがエンクロージャ内に備えられており、前記エンクロージャの一つの側部が前記スクリーンを備える、請求項30に記載の方法。
- 前記視覚イメージを投影することがさらに、ミラーを介して前記視覚イメージを前記スクリーン上に投影することを含み、前記プロジェクタは、前記ミラーが前記視覚イメージを前記スクリーンへ再仕向けするように、前記スクリーンに間接的に向けられている、請求項30に記載の方法。
- 前記対象を照らすことが、前記スクリーンを通して照明を前記対象に投影することを備える、請求項30に記載の方法。
- 前記スクリーンに隣接して配置されたフレネルレンズを用いて、前記カメラの視覚の歪みを補正することをさらに備える、請求項30に記載の方法。
- 前記スクリーンから一定距離に配置された一連のミラーを用いて、前記カメラの視覚の歪みを補正することをさらに備える、請求項30に記載の方法。
- 前記スクリーンが散乱偏光子を備え、前記投影することが、前記散乱偏光子によって実質的に散乱される偏光で偏光した光を放射し、前記検知することが、前記散乱偏光子によって実質的に散乱されない偏光の光に対して感度が良い、請求項30に記載の方法。
- 前記スクリーンが、前記投影することにおいて放射された波長の光を実質的に散乱させるが、前記検知することにおいて検知可能な波長を散乱させない材料を備える、請求項30に記載の方法。
- 前記スクリーンが、実質的に半透過性から実質的に透過性に変化することができ、前記投影することにおいて実質的に半透過性であり、前記検知することにおいて実質的に透過性である時間ベースの材料を備える、請求項30に記載の方法。
- 前記スクリーンが、特定の角度で実質的に半透過性であり、かつ他の角度で実質的に透過性である材料を備え、前記投影することが、前記特定の角度で光を前記スクリーンに投影する、請求項30に記載の方法。
- 前記対象によって引き起こされた前記相互作用が、前記スクリーン近くの前記対象の物理的位置に整合するように、前記検知することにおいて取得されたイメージを前記視覚イメージに対して較正することをさらに備える、請求項30に記載の方法。
- 前記対象の前記スクリーンからの距離に関する情報を決定することをさらに備える、請求項30に記載の方法。
- 前記検知することが、ステレオカメラによって実行される、請求項45に記載の方法。
- 検知することが、タイムオブフライト型カメラによって実行される、請求項45に記載の方法。
- 前記タイムオブフライト型カメラが、それ自体へ戻して反射しないように、前記タイムオブフライト型カメラを配置することをさらに備える、請求項47に記載の方法。
- 前記対象が前記スクリーンに触れているときに、タッチスクリーンの機能性を提供することをさらに備える、請求項30に記載の方法。
- 前記スクリーンの前記前側に隣接して透過性タッチスクリーンを設けることをさらに備える、請求項49に記載の方法。
- 前記スクリーンの前記前側に隣接して縁部が照射される透過性シートを設けることをさらに備え、前記検知することは、前記対象が、前記縁部が照射される透過性シートに接触したときに生成される光を識別するように作動する、請求項49に記載の方法。
- 前記対象が、人であるユーザの体の一部である、請求項30に記載の方法。
- 前記内蔵型インタラクティブ・ビデオ・ディスプレイ・システムを第2の内蔵型インタラクティブ・ビデオ・ディスプレイ・システムと共にタイルを張るように並べることをさらに備える、請求項30に記載の方法。
- 前記赤外線カメラの視覚の歪みを補正するために、前記スクリーンに隣接して配置されたフレネルレンズをさらに備える、請求項2に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
- 前記イルミネータが、前記対象を赤外線照明で照らす赤外線イルミネータであり、前記カメラが、赤外線照明を検知する赤外線カメラである、請求項1に記載の内蔵型インタラクティブ・ビデオ・ディスプレイ・システム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US52843903P | 2003-12-09 | 2003-12-09 | |
US55452004P | 2004-03-18 | 2004-03-18 | |
US10/946,263 US8035612B2 (en) | 2002-05-28 | 2004-09-20 | Self-contained interactive video display system |
PCT/US2004/041319 WO2005057921A2 (en) | 2003-12-09 | 2004-12-09 | Self-contained interactive video display system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007514241A true JP2007514241A (ja) | 2007-05-31 |
Family
ID=34679516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006543992A Pending JP2007514241A (ja) | 2003-12-09 | 2004-12-09 | 内蔵型インタラクティブ・ビデオ・ディスプレイ・システム |
Country Status (4)
Country | Link |
---|---|
US (2) | US8035612B2 (ja) |
EP (1) | EP1695196A2 (ja) |
JP (1) | JP2007514241A (ja) |
WO (1) | WO2005057921A2 (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008264321A (ja) * | 2007-04-23 | 2008-11-06 | Takahiro Matsuo | 演出装置およびその演出方法 |
JP2009506457A (ja) * | 2005-08-31 | 2009-02-12 | マイクロソフト コーポレーション | 対話式ディスプレイ面の入力方法 |
JP2009528570A (ja) * | 2006-02-28 | 2009-08-06 | マイクロソフト コーポレーション | 対話型ディスプレイ・パネルの均一照明 |
JP2011513828A (ja) * | 2008-02-29 | 2011-04-28 | マイクロソフト コーポレーション | 切替え可能なディフューザを備える対話型サーフェイスコンピュータ |
KR20110062484A (ko) * | 2009-12-03 | 2011-06-10 | 엘지전자 주식회사 | 사용자의 프레전스 검출에 의한 제스쳐 인식 장치의 전력 제어 방법 |
JP2011175543A (ja) * | 2010-02-25 | 2011-09-08 | Sanyo Electric Co Ltd | 指示体検出装置及びタッチパネル |
JP2012078516A (ja) * | 2010-09-30 | 2012-04-19 | Dainippon Printing Co Ltd | インタラクティブボード用の透過型スクリーン、インタラクティブボード、インタラクティブボードシステム |
JP2012215963A (ja) * | 2011-03-31 | 2012-11-08 | Hitachi Consumer Electronics Co Ltd | 映像表示装置 |
JP2013165480A (ja) * | 2012-01-13 | 2013-08-22 | Dowango:Kk | 映像システム、および撮影方法 |
WO2014003100A1 (ja) * | 2012-06-29 | 2014-01-03 | 株式会社セガ | 映像演出装置 |
JP2014063064A (ja) * | 2012-09-21 | 2014-04-10 | Dainippon Printing Co Ltd | 車載用表示装置、及び車載用透過型曲面スクリーン |
JP2014512031A (ja) * | 2011-03-17 | 2014-05-19 | モトローラ ソリューションズ インコーポレイテッド | タッチレス・インタラクティブ・ディスプレイシステム |
JP2014535096A (ja) * | 2011-10-07 | 2014-12-25 | クアルコム,インコーポレイテッド | 視覚ベースの対話式投影システム |
JP2018505455A (ja) * | 2015-01-30 | 2018-02-22 | ソフトキネティック ソフトウェア | 1つのシングル・センシング・システムを使用したマルチ・モーダル・ジェスチャー・ベースの対話型のシステム及び方法 |
US10533728B2 (en) | 2016-08-30 | 2020-01-14 | Panasonic Intellectual Property Management Co., Ltd. | Lighting device |
Families Citing this family (546)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
US7966078B2 (en) | 1999-02-01 | 2011-06-21 | Steven Hoffberg | Network media appliance system and method |
US7259747B2 (en) | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
US8300042B2 (en) | 2001-06-05 | 2012-10-30 | Microsoft Corporation | Interactive video display system using strobed light |
US8035612B2 (en) | 2002-05-28 | 2011-10-11 | Intellectual Ventures Holding 67 Llc | Self-contained interactive video display system |
US7019736B2 (en) * | 2002-03-20 | 2006-03-28 | Hewlett-Packard Development Company, L.P. | Method and apparatus for image display |
US6990639B2 (en) | 2002-02-07 | 2006-01-24 | Microsoft Corporation | System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration |
US7710391B2 (en) | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
WO2004055776A1 (en) | 2002-12-13 | 2004-07-01 | Reactrix Systems | Interactive directed light/sound system |
US8456447B2 (en) | 2003-02-14 | 2013-06-04 | Next Holdings Limited | Touch screen signal processing |
US8508508B2 (en) | 2003-02-14 | 2013-08-13 | Next Holdings Limited | Touch screen signal processing with single-point calibration |
US7629967B2 (en) | 2003-02-14 | 2009-12-08 | Next Holdings Limited | Touch screen signal processing |
US7665041B2 (en) | 2003-03-25 | 2010-02-16 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
US8745541B2 (en) | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
WO2005041579A2 (en) | 2003-10-24 | 2005-05-06 | Reactrix Systems, Inc. | Method and system for processing captured image information in an interactive video display system |
US20050088407A1 (en) | 2003-10-24 | 2005-04-28 | Matthew Bell | Method and system for managing an interactive video display system |
JP2005230476A (ja) * | 2004-02-23 | 2005-09-02 | Aruze Corp | ゲーム機 |
WO2005104010A2 (en) * | 2004-04-15 | 2005-11-03 | Gesture Tek, Inc. | Tracking bimanual movements |
US7538759B2 (en) | 2004-05-07 | 2009-05-26 | Next Holdings Limited | Touch panel display system with illumination and detection provided from a single edge |
US7593593B2 (en) | 2004-06-16 | 2009-09-22 | Microsoft Corporation | Method and system for reducing effects of undesired signals in an infrared imaging system |
US20060118634A1 (en) * | 2004-12-07 | 2006-06-08 | Blythe Michael M | Object with symbology |
ES2791718T3 (es) * | 2005-01-07 | 2020-11-05 | Qualcomm Inc | Detección y seguimiento de objetos en imágenes |
US20060158437A1 (en) * | 2005-01-20 | 2006-07-20 | Blythe Michael M | Display device |
JP4689684B2 (ja) | 2005-01-21 | 2011-05-25 | ジェスチャー テック,インコーポレイテッド | 動作に基づくトラッキング |
US7760962B2 (en) * | 2005-03-30 | 2010-07-20 | Casio Computer Co., Ltd. | Image capture apparatus which synthesizes a plurality of images obtained by shooting a subject from different directions, to produce an image in which the influence of glare from a light is reduced |
US9128519B1 (en) | 2005-04-15 | 2015-09-08 | Intellectual Ventures Holding 67 Llc | Method and system for state-based control of objects |
US8081822B1 (en) | 2005-05-31 | 2011-12-20 | Intellectual Ventures Holding 67 Llc | System and method for sensing a feature of an object in an interactive video display |
GB2428344A (en) * | 2005-07-08 | 2007-01-24 | Sharp Kk | Multiple view directional display |
US8625845B2 (en) * | 2005-08-06 | 2014-01-07 | Quantum Signal, Llc | Overlaying virtual content onto video stream of people within venue based on analysis of the people within the video stream |
US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
JP4093279B2 (ja) * | 2005-10-24 | 2008-06-04 | ソニー株式会社 | 背面投射型画像表示装置 |
US8160400B2 (en) | 2005-11-17 | 2012-04-17 | Microsoft Corporation | Navigating images using image based geometric alignment and object based controls |
US8098277B1 (en) | 2005-12-02 | 2012-01-17 | Intellectual Ventures Holding 67 Llc | Systems and methods for communication between a reactive video system and a mobile communication device |
US7630002B2 (en) * | 2007-01-05 | 2009-12-08 | Microsoft Corporation | Specular reflection reduction using multiple cameras |
JP4708278B2 (ja) * | 2006-05-12 | 2011-06-22 | 株式会社アシスト | タッチパネルシステム及びその動作方法 |
JP4707034B2 (ja) * | 2006-07-07 | 2011-06-22 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理方法、入力インタフェース装置 |
US8589824B2 (en) * | 2006-07-13 | 2013-11-19 | Northrop Grumman Systems Corporation | Gesture recognition interface system |
US8972902B2 (en) * | 2008-08-22 | 2015-03-03 | Northrop Grumman Systems Corporation | Compound gesture recognition |
US9696808B2 (en) * | 2006-07-13 | 2017-07-04 | Northrop Grumman Systems Corporation | Hand-gesture recognition method |
US8180114B2 (en) * | 2006-07-13 | 2012-05-15 | Northrop Grumman Systems Corporation | Gesture recognition interface system with vertical display |
WO2008010024A1 (en) * | 2006-07-16 | 2008-01-24 | Cherradi I | Free fingers typing technology |
US8234578B2 (en) * | 2006-07-25 | 2012-07-31 | Northrop Grumman Systems Corporatiom | Networked gesture collaboration system |
US20080096651A1 (en) * | 2006-07-28 | 2008-04-24 | Aruze Corp. | Gaming machine |
US8441467B2 (en) * | 2006-08-03 | 2013-05-14 | Perceptive Pixel Inc. | Multi-touch sensing display through frustrated total internal reflection |
US8144271B2 (en) | 2006-08-03 | 2012-03-27 | Perceptive Pixel Inc. | Multi-touch sensing through frustrated total internal reflection |
US8432448B2 (en) * | 2006-08-10 | 2013-04-30 | Northrop Grumman Systems Corporation | Stereo camera intrusion detection system |
US8203540B2 (en) * | 2006-09-05 | 2012-06-19 | Honeywell International Inc. | LCD panel with integral touchscreen |
US20080055495A1 (en) * | 2006-09-05 | 2008-03-06 | Honeywell International Inc. | LCD panel with synchronized integral touchscreen |
US7843516B2 (en) * | 2006-09-05 | 2010-11-30 | Honeywell International Inc. | LCD touchscreen panel with scanning backlight |
JP4567028B2 (ja) | 2006-09-26 | 2010-10-20 | エルジー ディスプレイ カンパニー リミテッド | マルチタッチ感知機能を有する液晶表示装置とその駆動方法 |
US7679610B2 (en) * | 2006-09-28 | 2010-03-16 | Honeywell International Inc. | LCD touchscreen panel with external optical path |
US7924272B2 (en) | 2006-11-27 | 2011-04-12 | Microsoft Corporation | Infrared sensor integrated in a touch panel |
US8269746B2 (en) * | 2006-11-27 | 2012-09-18 | Microsoft Corporation | Communication with a touch screen |
US8094129B2 (en) * | 2006-11-27 | 2012-01-10 | Microsoft Corporation | Touch sensing using shadow and reflective modes |
EP2613281B1 (en) | 2006-12-29 | 2014-08-13 | Qualcomm Incorporated | Manipulation of virtual objects using enhanced interactive system |
US8212857B2 (en) * | 2007-01-26 | 2012-07-03 | Microsoft Corporation | Alternating light sources to reduce specular reflection |
JP2008217590A (ja) * | 2007-03-06 | 2008-09-18 | Fuji Xerox Co Ltd | 情報共有支援システム、情報処理装置及び制御プログラム |
US8005238B2 (en) | 2007-03-22 | 2011-08-23 | Microsoft Corporation | Robust adaptive beamforming with enhanced noise suppression |
JP5212991B2 (ja) * | 2007-03-30 | 2013-06-19 | 独立行政法人情報通信研究機構 | 空中映像インタラクション装置及びそのプログラム |
US8115753B2 (en) | 2007-04-11 | 2012-02-14 | Next Holdings Limited | Touch screen system with hover and click input methods |
US8005237B2 (en) | 2007-05-17 | 2011-08-23 | Microsoft Corp. | Sensor array beamformer post-processor |
US8094137B2 (en) | 2007-07-23 | 2012-01-10 | Smart Technologies Ulc | System and method of detecting contact on a display |
WO2009018317A2 (en) * | 2007-07-30 | 2009-02-05 | Perceptive Pixel, Inc. | Liquid multi-touch sensor and display device |
US20090046145A1 (en) * | 2007-08-15 | 2009-02-19 | Thomas Simon | Lower Perspective Camera for Review of Clothing Fit and Wearability and Uses Thereof |
DE102007039669A1 (de) * | 2007-08-22 | 2009-02-26 | Navigon Ag | Anzeigeeinrichtung mit Bildfläche |
KR20100075460A (ko) | 2007-08-30 | 2010-07-02 | 넥스트 홀딩스 인코포레이티드 | 저 프로파일 터치 패널 시스템 |
US8432377B2 (en) | 2007-08-30 | 2013-04-30 | Next Holdings Limited | Optical touchscreen with improved illumination |
JP5430572B2 (ja) | 2007-09-14 | 2014-03-05 | インテレクチュアル ベンチャーズ ホールディング 67 エルエルシー | ジェスチャベースのユーザインタラクションの処理 |
US8629976B2 (en) | 2007-10-02 | 2014-01-14 | Microsoft Corporation | Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems |
US8139110B2 (en) * | 2007-11-01 | 2012-03-20 | Northrop Grumman Systems Corporation | Calibration of a gesture recognition interface system |
US9377874B2 (en) * | 2007-11-02 | 2016-06-28 | Northrop Grumman Systems Corporation | Gesture recognition light and video image projector |
US8159682B2 (en) | 2007-11-12 | 2012-04-17 | Intellectual Ventures Holding 67 Llc | Lens system |
WO2009067224A1 (en) * | 2007-11-19 | 2009-05-28 | Cirque Corporation | Touchpad combined with a display and having proximity and touch sensing capabilities |
DE102007060293A1 (de) * | 2007-12-12 | 2009-06-18 | Diehl Ako Stiftung & Co. Kg | Berührungsempfindlicher Tastschalter |
US8405636B2 (en) | 2008-01-07 | 2013-03-26 | Next Holdings Limited | Optical position sensing system and optical position sensor assembly |
US8933876B2 (en) | 2010-12-13 | 2015-01-13 | Apple Inc. | Three dimensional user interface session control |
US9035876B2 (en) | 2008-01-14 | 2015-05-19 | Apple Inc. | Three-dimensional user interface session control |
US8166421B2 (en) * | 2008-01-14 | 2012-04-24 | Primesense Ltd. | Three-dimensional user interface |
US9857915B2 (en) * | 2008-01-25 | 2018-01-02 | Microsoft Technology Licensing, Llc | Touch sensing for curved displays |
US8259163B2 (en) | 2008-03-07 | 2012-09-04 | Intellectual Ventures Holding 67 Llc | Display with built in 3D sensing |
JP2009245390A (ja) * | 2008-03-31 | 2009-10-22 | Brother Ind Ltd | 表示処理装置及び表示処理システム |
US8194233B2 (en) | 2008-04-11 | 2012-06-05 | Microsoft Corporation | Method and system to reduce stray light reflection error in time-of-flight sensor arrays |
US8581848B2 (en) | 2008-05-13 | 2013-11-12 | Pixart Imaging Inc. | Hybrid pointing device |
US8730169B2 (en) * | 2009-10-29 | 2014-05-20 | Pixart Imaging Inc. | Hybrid pointing device |
US8974295B2 (en) | 2008-06-03 | 2015-03-10 | Tweedletech, Llc | Intelligent game system including intelligent foldable three-dimensional terrain |
US10265609B2 (en) * | 2008-06-03 | 2019-04-23 | Tweedletech, Llc | Intelligent game system for putting intelligence into board and tabletop games including miniatures |
US10155156B2 (en) | 2008-06-03 | 2018-12-18 | Tweedletech, Llc | Multi-dimensional game comprising interactive physical and virtual components |
WO2012033863A1 (en) | 2010-09-09 | 2012-03-15 | Tweedletech, Llc | A board game with dynamic characteristic tracking |
DE102008026517A1 (de) * | 2008-06-03 | 2009-12-10 | Zumtobel Lighting Gmbh | Beleuchtungs- und Anzeigevorrichtung |
US9649551B2 (en) | 2008-06-03 | 2017-05-16 | Tweedletech, Llc | Furniture and building structures comprising sensors for determining the position of one or more objects |
US8602857B2 (en) | 2008-06-03 | 2013-12-10 | Tweedletech, Llc | Intelligent board game system with visual marker based game object tracking and identification |
US20090309838A1 (en) * | 2008-06-11 | 2009-12-17 | Microsoft Corporation | Use of separation elements with rear projection screen |
TWI397838B (zh) * | 2008-06-11 | 2013-06-01 | Univ Nat Taiwan | Virtual touch screen device |
US8595218B2 (en) | 2008-06-12 | 2013-11-26 | Intellectual Ventures Holding 67 Llc | Interactive display management systems and methods |
US8385557B2 (en) | 2008-06-19 | 2013-02-26 | Microsoft Corporation | Multichannel acoustic echo reduction |
US8345920B2 (en) * | 2008-06-20 | 2013-01-01 | Northrop Grumman Systems Corporation | Gesture recognition interface system with a light-diffusive screen |
US8325909B2 (en) | 2008-06-25 | 2012-12-04 | Microsoft Corporation | Acoustic echo suppression |
US20090322706A1 (en) * | 2008-06-26 | 2009-12-31 | Symbol Technologies, Inc. | Information display with optical data capture |
US8203699B2 (en) | 2008-06-30 | 2012-06-19 | Microsoft Corporation | System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed |
US8773352B1 (en) * | 2008-07-16 | 2014-07-08 | Bby Solutions, Inc. | Systems and methods for gesture recognition for input device applications |
DE102008034283A1 (de) * | 2008-07-22 | 2010-01-28 | Evoluce Ag | Multitouch-Bildschirm mit einer Flüssigkristall-Bildschirmebene |
US9459784B2 (en) | 2008-07-25 | 2016-10-04 | Microsoft Technology Licensing, Llc | Touch interaction with a curved display |
US20100026645A1 (en) * | 2008-07-29 | 2010-02-04 | Sang-Hoon Yim | Touch display panel |
FR2934741B1 (fr) * | 2008-08-01 | 2011-04-01 | Julien Letessier | Dispositif interactif et procede d'utilisation. |
FI20085794A0 (fi) * | 2008-08-26 | 2008-08-26 | Multitouch Oy | Vuorovaikutteinen näyttölaite |
KR101483462B1 (ko) * | 2008-08-27 | 2015-01-16 | 삼성전자주식회사 | 깊이 영상 획득 장치 및 방법 |
CN102160018B (zh) * | 2008-09-15 | 2014-09-24 | 惠普开发有限公司 | 具有多个摄像机的触摸屏显示器 |
FI20080534A0 (fi) * | 2008-09-22 | 2008-09-22 | Envault Corp Oy | Turvallinen ja valikoidusti kiistettävissä oleva tiedostovarasto |
US20100079409A1 (en) * | 2008-09-29 | 2010-04-01 | Smart Technologies Ulc | Touch panel for an interactive input system, and interactive input system incorporating the touch panel |
US8810522B2 (en) * | 2008-09-29 | 2014-08-19 | Smart Technologies Ulc | Method for selecting and manipulating a graphical object in an interactive input system, and interactive input system executing the method |
US20100083109A1 (en) * | 2008-09-29 | 2010-04-01 | Smart Technologies Ulc | Method for handling interactions with multiple users of an interactive input system, and interactive input system executing the method |
CN101727245B (zh) | 2008-10-15 | 2012-11-21 | 北京京东方光电科技有限公司 | 多点触摸定位方法及多点触摸屏 |
US9586135B1 (en) | 2008-11-12 | 2017-03-07 | David G. Capper | Video motion capture for wireless gaming |
US9383814B1 (en) | 2008-11-12 | 2016-07-05 | David G. Capper | Plug and play wireless video game |
US10086262B1 (en) | 2008-11-12 | 2018-10-02 | David G. Capper | Video motion capture for wireless gaming |
US20100134409A1 (en) * | 2008-11-30 | 2010-06-03 | Lenovo (Singapore) Pte. Ltd. | Three-dimensional user interface |
US8681321B2 (en) | 2009-01-04 | 2014-03-25 | Microsoft International Holdings B.V. | Gated 3D camera |
JP5780970B2 (ja) * | 2009-01-14 | 2015-09-16 | パーセプティブ ピクセル インコーポレイテッド | タッチ感応ディスプレイ |
US9524047B2 (en) * | 2009-01-27 | 2016-12-20 | Disney Enterprises, Inc. | Multi-touch detection system using a touch pane and light receiver |
US8267781B2 (en) | 2009-01-30 | 2012-09-18 | Microsoft Corporation | Visual target tracking |
US8565476B2 (en) | 2009-01-30 | 2013-10-22 | Microsoft Corporation | Visual target tracking |
US8682028B2 (en) | 2009-01-30 | 2014-03-25 | Microsoft Corporation | Visual target tracking |
US8588465B2 (en) | 2009-01-30 | 2013-11-19 | Microsoft Corporation | Visual target tracking |
US8295546B2 (en) | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Pose tracking pipeline |
US20100199231A1 (en) | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Predictive determination |
US8577085B2 (en) | 2009-01-30 | 2013-11-05 | Microsoft Corporation | Visual target tracking |
US7996793B2 (en) | 2009-01-30 | 2011-08-09 | Microsoft Corporation | Gesture recognizer system architecture |
US8487938B2 (en) | 2009-01-30 | 2013-07-16 | Microsoft Corporation | Standard Gestures |
US8577084B2 (en) | 2009-01-30 | 2013-11-05 | Microsoft Corporation | Visual target tracking |
US8565477B2 (en) | 2009-01-30 | 2013-10-22 | Microsoft Corporation | Visual target tracking |
US8448094B2 (en) | 2009-01-30 | 2013-05-21 | Microsoft Corporation | Mapping a natural input device to a legacy system |
US8294767B2 (en) | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Body scan |
US8624962B2 (en) * | 2009-02-02 | 2014-01-07 | Ydreams—Informatica, S.A. Ydreams | Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images |
KR101617645B1 (ko) * | 2009-02-24 | 2016-05-04 | 삼성전자주식회사 | 디스플레이 제어 방법 및 이를 이용한 장치 |
JP2010204730A (ja) * | 2009-02-27 | 2010-09-16 | Seiko Epson Corp | ジェスチャーに応答して機器を制御するシステム |
US20100235786A1 (en) * | 2009-03-13 | 2010-09-16 | Primesense Ltd. | Enhanced 3d interfacing for remote devices |
US8773355B2 (en) | 2009-03-16 | 2014-07-08 | Microsoft Corporation | Adaptive cursor sizing |
US9256282B2 (en) | 2009-03-20 | 2016-02-09 | Microsoft Technology Licensing, Llc | Virtual object manipulation |
US8988437B2 (en) | 2009-03-20 | 2015-03-24 | Microsoft Technology Licensing, Llc | Chaining animations |
US20110165923A1 (en) * | 2010-01-04 | 2011-07-07 | Davis Mark L | Electronic circle game system |
US9313376B1 (en) | 2009-04-01 | 2016-04-12 | Microsoft Technology Licensing, Llc | Dynamic depth power equalization |
WO2010125492A1 (en) * | 2009-04-29 | 2010-11-04 | Koninklijke Philips Electronics N.V. | A laser diode based multiple-beam laser spot imaging system for characterization of vehicle dynamics |
US8253746B2 (en) | 2009-05-01 | 2012-08-28 | Microsoft Corporation | Determine intended motions |
US8660303B2 (en) | 2009-05-01 | 2014-02-25 | Microsoft Corporation | Detection of body and props |
US8638985B2 (en) * | 2009-05-01 | 2014-01-28 | Microsoft Corporation | Human body pose estimation |
US9498718B2 (en) | 2009-05-01 | 2016-11-22 | Microsoft Technology Licensing, Llc | Altering a view perspective within a display environment |
US9377857B2 (en) | 2009-05-01 | 2016-06-28 | Microsoft Technology Licensing, Llc | Show body position |
US9015638B2 (en) | 2009-05-01 | 2015-04-21 | Microsoft Technology Licensing, Llc | Binding users to a gesture based system and providing feedback to the users |
US8503720B2 (en) | 2009-05-01 | 2013-08-06 | Microsoft Corporation | Human body pose estimation |
US8181123B2 (en) | 2009-05-01 | 2012-05-15 | Microsoft Corporation | Managing virtual port associations to users in a gesture-based computing environment |
US9898675B2 (en) | 2009-05-01 | 2018-02-20 | Microsoft Technology Licensing, Llc | User movement tracking feedback to improve tracking |
US8942428B2 (en) | 2009-05-01 | 2015-01-27 | Microsoft Corporation | Isolate extraneous motions |
US8340432B2 (en) | 2009-05-01 | 2012-12-25 | Microsoft Corporation | Systems and methods for detecting a tilt angle from a depth image |
US8649554B2 (en) | 2009-05-01 | 2014-02-11 | Microsoft Corporation | Method to control perspective for a camera-controlled computer |
WO2010130084A1 (zh) * | 2009-05-12 | 2010-11-18 | 华为终端有限公司 | 远程呈现***、方法及视频采集设备 |
US20100295782A1 (en) | 2009-05-21 | 2010-11-25 | Yehuda Binder | System and method for control based on face ore hand gesture detection |
US8693724B2 (en) | 2009-05-29 | 2014-04-08 | Microsoft Corporation | Method and system implementing user-centric gesture control |
US8509479B2 (en) | 2009-05-29 | 2013-08-13 | Microsoft Corporation | Virtual object |
US9383823B2 (en) | 2009-05-29 | 2016-07-05 | Microsoft Technology Licensing, Llc | Combining gestures beyond skeletal |
US8418085B2 (en) | 2009-05-29 | 2013-04-09 | Microsoft Corporation | Gesture coach |
US8625837B2 (en) | 2009-05-29 | 2014-01-07 | Microsoft Corporation | Protocol and format for communicating an image from a camera to a computing environment |
US8744121B2 (en) | 2009-05-29 | 2014-06-03 | Microsoft Corporation | Device for identifying and tracking multiple humans over time |
US8320619B2 (en) | 2009-05-29 | 2012-11-27 | Microsoft Corporation | Systems and methods for tracking a model |
US8379101B2 (en) | 2009-05-29 | 2013-02-19 | Microsoft Corporation | Environment and/or target segmentation |
US9400559B2 (en) | 2009-05-29 | 2016-07-26 | Microsoft Technology Licensing, Llc | Gesture shortcuts |
US8542252B2 (en) | 2009-05-29 | 2013-09-24 | Microsoft Corporation | Target digitization, extraction, and tracking |
US9182814B2 (en) | 2009-05-29 | 2015-11-10 | Microsoft Technology Licensing, Llc | Systems and methods for estimating a non-visible or occluded body part |
US8856691B2 (en) | 2009-05-29 | 2014-10-07 | Microsoft Corporation | Gesture tool |
US8487871B2 (en) | 2009-06-01 | 2013-07-16 | Microsoft Corporation | Virtual desktop coordinate transformation |
US9323396B2 (en) * | 2009-06-01 | 2016-04-26 | Perceptive Pixel, Inc. | Touch sensing |
US8624853B2 (en) * | 2009-06-01 | 2014-01-07 | Perceptive Pixel Inc. | Structure-augmented touch sensing with frustated total internal reflection |
US8736581B2 (en) * | 2009-06-01 | 2014-05-27 | Perceptive Pixel Inc. | Touch sensing with frustrated total internal reflection |
KR101604030B1 (ko) * | 2009-06-16 | 2016-03-16 | 삼성전자주식회사 | 어레이 방식의 후방 카메라를 이용한 멀티터치 센싱 장치 |
US20100315413A1 (en) * | 2009-06-16 | 2010-12-16 | Microsoft Corporation | Surface Computer User Interaction |
KR20100136649A (ko) * | 2009-06-19 | 2010-12-29 | 삼성전자주식회사 | 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치 |
TWI447622B (zh) * | 2009-06-26 | 2014-08-01 | Hon Hai Prec Ind Co Ltd | 光學觸控裝置 |
US8416206B2 (en) * | 2009-07-08 | 2013-04-09 | Smart Technologies Ulc | Method for manipulating a graphic widget in a three-dimensional environment displayed on a touch panel of an interactive input system |
US8390680B2 (en) | 2009-07-09 | 2013-03-05 | Microsoft Corporation | Visual representation expression based on player expression |
US9159151B2 (en) | 2009-07-13 | 2015-10-13 | Microsoft Technology Licensing, Llc | Bringing a visual representation to life via learned input from the user |
US8289300B2 (en) * | 2009-07-17 | 2012-10-16 | Microsoft Corporation | Ambient correction in rolling image capture system |
CN102498453B (zh) | 2009-07-23 | 2016-04-06 | 惠普发展公司,有限责任合伙企业 | 具有光学传感器的显示器 |
GB2485086B (en) * | 2009-07-23 | 2014-08-06 | Hewlett Packard Development Co | Display with an optical sensor |
KR20110010906A (ko) * | 2009-07-27 | 2011-02-08 | 삼성전자주식회사 | 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치 |
US8264536B2 (en) | 2009-08-25 | 2012-09-11 | Microsoft Corporation | Depth-sensitive imaging via polarization-state mapping |
US9141193B2 (en) | 2009-08-31 | 2015-09-22 | Microsoft Technology Licensing, Llc | Techniques for using human gestures to control gesture unaware programs |
BR112012004521A2 (pt) * | 2009-09-01 | 2016-03-22 | Smart Technologies Ulc | sistema de entrada interativa com razão melhorada de sinal em relação ao ruído (snr) e método de captura de imagem |
US8330134B2 (en) | 2009-09-14 | 2012-12-11 | Microsoft Corporation | Optical fault monitoring |
US8508919B2 (en) | 2009-09-14 | 2013-08-13 | Microsoft Corporation | Separation of electrical and optical components |
US8760571B2 (en) | 2009-09-21 | 2014-06-24 | Microsoft Corporation | Alignment of lens and image sensor |
US8428340B2 (en) | 2009-09-21 | 2013-04-23 | Microsoft Corporation | Screen space plane identification |
US8976986B2 (en) | 2009-09-21 | 2015-03-10 | Microsoft Technology Licensing, Llc | Volume adjustment based on listener position |
US9014546B2 (en) | 2009-09-23 | 2015-04-21 | Rovi Guides, Inc. | Systems and methods for automatically detecting users within detection regions of media devices |
US8452087B2 (en) | 2009-09-30 | 2013-05-28 | Microsoft Corporation | Image selection techniques |
US8723118B2 (en) | 2009-10-01 | 2014-05-13 | Microsoft Corporation | Imager for constructing color and depth images |
US8760416B2 (en) * | 2009-10-02 | 2014-06-24 | Dedo Interactive, Inc. | Universal touch input driver |
US8867820B2 (en) | 2009-10-07 | 2014-10-21 | Microsoft Corporation | Systems and methods for removing a background of an image |
US7961910B2 (en) | 2009-10-07 | 2011-06-14 | Microsoft Corporation | Systems and methods for tracking a model |
US8963829B2 (en) | 2009-10-07 | 2015-02-24 | Microsoft Corporation | Methods and systems for determining and tracking extremities of a target |
US8564534B2 (en) | 2009-10-07 | 2013-10-22 | Microsoft Corporation | Human tracking system |
CA2778774A1 (en) * | 2009-10-16 | 2011-04-21 | Rpo Pty Limited | Methods for detecting and tracking touch objects |
US9400548B2 (en) | 2009-10-19 | 2016-07-26 | Microsoft Technology Licensing, Llc | Gesture personalization and profile roaming |
US8581847B2 (en) | 2009-10-29 | 2013-11-12 | Pixart Imaging Inc. | Hybrid pointing device |
US20120013532A1 (en) * | 2009-10-29 | 2012-01-19 | Pixart Imaging Inc. | Hybrid pointing device |
US8988432B2 (en) | 2009-11-05 | 2015-03-24 | Microsoft Technology Licensing, Llc | Systems and methods for processing an image for target tracking |
US8843857B2 (en) | 2009-11-19 | 2014-09-23 | Microsoft Corporation | Distance scalable no touch computing |
EP2507683A1 (en) * | 2009-12-04 | 2012-10-10 | Next Holdings Limited | Methods and systems for position detection using an interactive volume |
US9244533B2 (en) | 2009-12-17 | 2016-01-26 | Microsoft Technology Licensing, Llc | Camera navigation for presentations |
US20110150271A1 (en) | 2009-12-18 | 2011-06-23 | Microsoft Corporation | Motion detection using depth images |
US8320621B2 (en) | 2009-12-21 | 2012-11-27 | Microsoft Corporation | Depth projector system with integrated VCSEL array |
CN101776836B (zh) * | 2009-12-28 | 2013-08-07 | 武汉全真光电科技有限公司 | 投影显示***及桌面计算机 |
US20110164032A1 (en) * | 2010-01-07 | 2011-07-07 | Prime Sense Ltd. | Three-Dimensional User Interface |
US9019201B2 (en) | 2010-01-08 | 2015-04-28 | Microsoft Technology Licensing, Llc | Evolving universal gesture sets |
US8631355B2 (en) | 2010-01-08 | 2014-01-14 | Microsoft Corporation | Assigning gesture dictionaries |
US9268404B2 (en) | 2010-01-08 | 2016-02-23 | Microsoft Technology Licensing, Llc | Application gesture interpretation |
US8502789B2 (en) * | 2010-01-11 | 2013-08-06 | Smart Technologies Ulc | Method for handling user input in an interactive input system, and interactive input system executing the method |
US8334842B2 (en) | 2010-01-15 | 2012-12-18 | Microsoft Corporation | Recognizing user intent in motion capture system |
US8933884B2 (en) | 2010-01-15 | 2015-01-13 | Microsoft Corporation | Tracking groups of users in motion capture system |
US8676581B2 (en) | 2010-01-22 | 2014-03-18 | Microsoft Corporation | Speech recognition analysis via identification information |
US8265341B2 (en) | 2010-01-25 | 2012-09-11 | Microsoft Corporation | Voice-body identity correlation |
US8864581B2 (en) | 2010-01-29 | 2014-10-21 | Microsoft Corporation | Visual based identitiy tracking |
US8891067B2 (en) | 2010-02-01 | 2014-11-18 | Microsoft Corporation | Multiple synchronized optical sources for time-of-flight range finding systems |
US20110188116A1 (en) * | 2010-02-02 | 2011-08-04 | Nikolay Ledentsov Ledentsov | Device for generation of three-demensional images |
US8619122B2 (en) | 2010-02-02 | 2013-12-31 | Microsoft Corporation | Depth camera compatibility |
US8687044B2 (en) | 2010-02-02 | 2014-04-01 | Microsoft Corporation | Depth camera compatibility |
US8717469B2 (en) | 2010-02-03 | 2014-05-06 | Microsoft Corporation | Fast gating photosurface |
US8659658B2 (en) | 2010-02-09 | 2014-02-25 | Microsoft Corporation | Physical interaction zone for gesture-based user interfaces |
WO2011098654A1 (en) | 2010-02-09 | 2011-08-18 | Multitouch Oy | Interactive display |
US8499257B2 (en) | 2010-02-09 | 2013-07-30 | Microsoft Corporation | Handles interactions for human—computer interface |
US8633890B2 (en) | 2010-02-16 | 2014-01-21 | Microsoft Corporation | Gesture detection based on joint skipping |
US8928579B2 (en) | 2010-02-22 | 2015-01-06 | Andrew David Wilson | Interacting with an omni-directionally projected display |
US8787663B2 (en) * | 2010-03-01 | 2014-07-22 | Primesense Ltd. | Tracking body parts by combined color image and depth processing |
US8422769B2 (en) | 2010-03-05 | 2013-04-16 | Microsoft Corporation | Image segmentation using reduced foreground training data |
US8655069B2 (en) | 2010-03-05 | 2014-02-18 | Microsoft Corporation | Updating image segmentation following user input |
US8411948B2 (en) | 2010-03-05 | 2013-04-02 | Microsoft Corporation | Up-sampling binary images for segmentation |
US20110223995A1 (en) | 2010-03-12 | 2011-09-15 | Kevin Geisner | Interacting with a computer based application |
US8279418B2 (en) | 2010-03-17 | 2012-10-02 | Microsoft Corporation | Raster scanning for depth detection |
US8213680B2 (en) | 2010-03-19 | 2012-07-03 | Microsoft Corporation | Proxy training data for human body tracking |
US8514269B2 (en) | 2010-03-26 | 2013-08-20 | Microsoft Corporation | De-aliasing depth images |
US8523667B2 (en) | 2010-03-29 | 2013-09-03 | Microsoft Corporation | Parental control settings based on body dimensions |
US8605763B2 (en) | 2010-03-31 | 2013-12-10 | Microsoft Corporation | Temperature measurement and control for laser and light-emitting diodes |
US9646340B2 (en) | 2010-04-01 | 2017-05-09 | Microsoft Technology Licensing, Llc | Avatar-based virtual dressing room |
US9098873B2 (en) | 2010-04-01 | 2015-08-04 | Microsoft Technology Licensing, Llc | Motion-based interactive shopping environment |
US8351651B2 (en) | 2010-04-26 | 2013-01-08 | Microsoft Corporation | Hand-location post-process refinement in a tracking system |
US8379919B2 (en) | 2010-04-29 | 2013-02-19 | Microsoft Corporation | Multiple centroid condensation of probability distribution clouds |
US8760403B2 (en) | 2010-04-30 | 2014-06-24 | Pixart Imaging Inc. | Hybrid human-interface device |
US8648836B2 (en) | 2010-04-30 | 2014-02-11 | Pixart Imaging Inc. | Hybrid pointing device |
US8284847B2 (en) | 2010-05-03 | 2012-10-09 | Microsoft Corporation | Detecting motion for a multifunction sensor device |
US7876288B1 (en) | 2010-08-11 | 2011-01-25 | Chumby Industries, Inc. | Touchscreen with a light modulator |
US8885890B2 (en) | 2010-05-07 | 2014-11-11 | Microsoft Corporation | Depth map confidence filtering |
US8498481B2 (en) | 2010-05-07 | 2013-07-30 | Microsoft Corporation | Image segmentation using star-convexity constraints |
US8457353B2 (en) | 2010-05-18 | 2013-06-04 | Microsoft Corporation | Gestures and gesture modifiers for manipulating a user-interface |
US8878773B1 (en) | 2010-05-24 | 2014-11-04 | Amazon Technologies, Inc. | Determining relative motion as input |
US8803888B2 (en) | 2010-06-02 | 2014-08-12 | Microsoft Corporation | Recognition system for sharing information |
KR101931825B1 (ko) * | 2010-06-02 | 2018-12-21 | 터치캐스트 엘엘씨 | 텔레프롬프팅 시스템 및 방법 |
US9008355B2 (en) | 2010-06-04 | 2015-04-14 | Microsoft Technology Licensing, Llc | Automatic depth camera aiming |
US8751215B2 (en) | 2010-06-04 | 2014-06-10 | Microsoft Corporation | Machine based sign language interpreter |
US9557574B2 (en) | 2010-06-08 | 2017-01-31 | Microsoft Technology Licensing, Llc | Depth illumination and detection optics |
US8330822B2 (en) | 2010-06-09 | 2012-12-11 | Microsoft Corporation | Thermally-tuned depth camera light source |
US8675981B2 (en) | 2010-06-11 | 2014-03-18 | Microsoft Corporation | Multi-modal gender recognition including depth data |
US9384329B2 (en) | 2010-06-11 | 2016-07-05 | Microsoft Technology Licensing, Llc | Caloric burn determination from body movement |
US8749557B2 (en) | 2010-06-11 | 2014-06-10 | Microsoft Corporation | Interacting with user interface via avatar |
US8982151B2 (en) | 2010-06-14 | 2015-03-17 | Microsoft Technology Licensing, Llc | Independently processing planes of display data |
US8558873B2 (en) | 2010-06-16 | 2013-10-15 | Microsoft Corporation | Use of wavefront coding to create a depth image |
US8670029B2 (en) | 2010-06-16 | 2014-03-11 | Microsoft Corporation | Depth camera illuminator with superluminescent light-emitting diode |
US8296151B2 (en) | 2010-06-18 | 2012-10-23 | Microsoft Corporation | Compound gesture-speech commands |
US8381108B2 (en) | 2010-06-21 | 2013-02-19 | Microsoft Corporation | Natural user input for driving interactive stories |
US8416187B2 (en) | 2010-06-22 | 2013-04-09 | Microsoft Corporation | Item navigation using motion-capture data |
US9262015B2 (en) * | 2010-06-28 | 2016-02-16 | Intel Corporation | System for portable tangible interaction |
JP5791131B2 (ja) | 2010-07-20 | 2015-10-07 | アップル インコーポレイテッド | 自然な相互作用のための相互作用的現実拡張 |
US9201501B2 (en) | 2010-07-20 | 2015-12-01 | Apple Inc. | Adaptive projector |
TW201205386A (en) * | 2010-07-21 | 2012-02-01 | Pixart Imaging Inc | Touch system and touch sensing method |
US8704151B2 (en) * | 2010-08-11 | 2014-04-22 | Blackberry Limited | Communication device sensor assembly |
US9075434B2 (en) | 2010-08-20 | 2015-07-07 | Microsoft Technology Licensing, Llc | Translating user motion into multiple object responses |
US20130154929A1 (en) * | 2010-08-27 | 2013-06-20 | Sebastian Stopp | Multiple-layer pointing position determination on a medical display |
US8613666B2 (en) | 2010-08-31 | 2013-12-24 | Microsoft Corporation | User selection and navigation based on looped motions |
US8437506B2 (en) | 2010-09-07 | 2013-05-07 | Microsoft Corporation | System for fast, probabilistic skeletal tracking |
US20120058824A1 (en) | 2010-09-07 | 2012-03-08 | Microsoft Corporation | Scalable real-time motion recognition |
US8988508B2 (en) | 2010-09-24 | 2015-03-24 | Microsoft Technology Licensing, Llc. | Wide angle field of view active illumination imaging system |
US8959013B2 (en) | 2010-09-27 | 2015-02-17 | Apple Inc. | Virtual keyboard for a non-tactile three dimensional user interface |
US8681255B2 (en) | 2010-09-28 | 2014-03-25 | Microsoft Corporation | Integrated low power depth camera and projection device |
US8548270B2 (en) | 2010-10-04 | 2013-10-01 | Microsoft Corporation | Time-of-flight depth imaging |
GB2498485A (en) * | 2010-10-05 | 2013-07-17 | Hewlett Packard Development Co | Entering a command |
TW201215434A (en) * | 2010-10-08 | 2012-04-16 | Hon Hai Prec Ind Co Ltd | Ring sensor and the interaction system |
US9484065B2 (en) | 2010-10-15 | 2016-11-01 | Microsoft Technology Licensing, Llc | Intelligent determination of replays based on event identification |
US8592739B2 (en) | 2010-11-02 | 2013-11-26 | Microsoft Corporation | Detection of configuration changes of an optical element in an illumination system |
US8866889B2 (en) | 2010-11-03 | 2014-10-21 | Microsoft Corporation | In-home depth camera calibration |
EP2638431A1 (en) * | 2010-11-12 | 2013-09-18 | 3M Innovative Properties Company | Interactive polarization-selective projection display |
US8667519B2 (en) | 2010-11-12 | 2014-03-04 | Microsoft Corporation | Automatic passive and anonymous feedback system |
WO2012064520A1 (en) * | 2010-11-12 | 2012-05-18 | 3M Innovative Properties Company | Interactive polarization-preserving projection display |
US10726861B2 (en) | 2010-11-15 | 2020-07-28 | Microsoft Technology Licensing, Llc | Semi-private communication in open environments |
US9349040B2 (en) | 2010-11-19 | 2016-05-24 | Microsoft Technology Licensing, Llc | Bi-modal depth-image analysis |
GB2486445B (en) * | 2010-12-14 | 2013-08-14 | Epson Norway Res And Dev As | Camera-based multi-touch interaction apparatus system and method |
US10234545B2 (en) | 2010-12-01 | 2019-03-19 | Microsoft Technology Licensing, Llc | Light source module |
US8553934B2 (en) | 2010-12-08 | 2013-10-08 | Microsoft Corporation | Orienting the position of a sensor |
US8872762B2 (en) | 2010-12-08 | 2014-10-28 | Primesense Ltd. | Three dimensional user interface cursor control |
US8618405B2 (en) | 2010-12-09 | 2013-12-31 | Microsoft Corp. | Free-space gesture musical instrument digital interface (MIDI) controller |
US8408706B2 (en) | 2010-12-13 | 2013-04-02 | Microsoft Corporation | 3D gaze tracker |
US9171264B2 (en) | 2010-12-15 | 2015-10-27 | Microsoft Technology Licensing, Llc | Parallel processing machine learning decision tree training |
US8920241B2 (en) | 2010-12-15 | 2014-12-30 | Microsoft Corporation | Gesture controlled persistent handles for interface guides |
US8884968B2 (en) | 2010-12-15 | 2014-11-11 | Microsoft Corporation | Modeling an object from image data |
US8448056B2 (en) | 2010-12-17 | 2013-05-21 | Microsoft Corporation | Validation analysis of human target |
US8803952B2 (en) | 2010-12-20 | 2014-08-12 | Microsoft Corporation | Plural detector time-of-flight depth mapping |
US8994718B2 (en) | 2010-12-21 | 2015-03-31 | Microsoft Technology Licensing, Llc | Skeletal control of three-dimensional virtual world |
US9821224B2 (en) | 2010-12-21 | 2017-11-21 | Microsoft Technology Licensing, Llc | Driving simulator control with virtual skeleton |
US9823339B2 (en) | 2010-12-21 | 2017-11-21 | Microsoft Technology Licensing, Llc | Plural anode time-of-flight sensor |
US8385596B2 (en) | 2010-12-21 | 2013-02-26 | Microsoft Corporation | First person shooter control with virtual skeleton |
US9848106B2 (en) | 2010-12-21 | 2017-12-19 | Microsoft Technology Licensing, Llc | Intelligent gameplay photo capture |
US9123316B2 (en) | 2010-12-27 | 2015-09-01 | Microsoft Technology Licensing, Llc | Interactive content creation |
US8488888B2 (en) | 2010-12-28 | 2013-07-16 | Microsoft Corporation | Classification of posture states |
US9247238B2 (en) | 2011-01-31 | 2016-01-26 | Microsoft Technology Licensing, Llc | Reducing interference between multiple infra-red depth cameras |
US8401225B2 (en) | 2011-01-31 | 2013-03-19 | Microsoft Corporation | Moving object segmentation using depth images |
US8401242B2 (en) | 2011-01-31 | 2013-03-19 | Microsoft Corporation | Real-time camera tracking using depth maps |
US8587583B2 (en) | 2011-01-31 | 2013-11-19 | Microsoft Corporation | Three-dimensional environment reconstruction |
US8724887B2 (en) | 2011-02-03 | 2014-05-13 | Microsoft Corporation | Environmental modifications to mitigate environmental factors |
CN103347437B (zh) | 2011-02-09 | 2016-06-08 | 苹果公司 | 3d映射环境中的凝视检测 |
US8942917B2 (en) | 2011-02-14 | 2015-01-27 | Microsoft Corporation | Change invariant scene recognition by an agent |
US8497838B2 (en) | 2011-02-16 | 2013-07-30 | Microsoft Corporation | Push actuation of interface controls |
TWI437476B (zh) | 2011-02-24 | 2014-05-11 | Au Optronics Corp | 互動式立體顯示系統及計算三維座標的方法 |
US9551914B2 (en) | 2011-03-07 | 2017-01-24 | Microsoft Technology Licensing, Llc | Illuminator with refractive optical element |
US9067136B2 (en) | 2011-03-10 | 2015-06-30 | Microsoft Technology Licensing, Llc | Push personalization of interface controls |
US8571263B2 (en) | 2011-03-17 | 2013-10-29 | Microsoft Corporation | Predicting joint positions |
US8718748B2 (en) * | 2011-03-29 | 2014-05-06 | Kaliber Imaging Inc. | System and methods for monitoring and assessing mobility |
US9470778B2 (en) | 2011-03-29 | 2016-10-18 | Microsoft Technology Licensing, Llc | Learning from high quality depth measurements |
US10642934B2 (en) | 2011-03-31 | 2020-05-05 | Microsoft Technology Licensing, Llc | Augmented conversational understanding architecture |
US9298287B2 (en) | 2011-03-31 | 2016-03-29 | Microsoft Technology Licensing, Llc | Combined activation for natural user interface systems |
US9842168B2 (en) | 2011-03-31 | 2017-12-12 | Microsoft Technology Licensing, Llc | Task driven user intents |
US9760566B2 (en) | 2011-03-31 | 2017-09-12 | Microsoft Technology Licensing, Llc | Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof |
US8503494B2 (en) | 2011-04-05 | 2013-08-06 | Microsoft Corporation | Thermal management system |
US8824749B2 (en) | 2011-04-05 | 2014-09-02 | Microsoft Corporation | Biometric recognition |
US20130335361A1 (en) * | 2011-04-22 | 2013-12-19 | Glenn A. Wong | Systems and methods for displaying data on large interactive devices |
US8620113B2 (en) | 2011-04-25 | 2013-12-31 | Microsoft Corporation | Laser diode modes |
WO2012147960A1 (ja) * | 2011-04-28 | 2012-11-01 | Necシステムテクノロジー株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
US8702507B2 (en) | 2011-04-28 | 2014-04-22 | Microsoft Corporation | Manual and camera-based avatar control |
US9259643B2 (en) | 2011-04-28 | 2016-02-16 | Microsoft Technology Licensing, Llc | Control of separate computer game elements |
US8570372B2 (en) * | 2011-04-29 | 2013-10-29 | Austin Russell | Three-dimensional imager and projection device |
US8760499B2 (en) * | 2011-04-29 | 2014-06-24 | Austin Russell | Three-dimensional imager and projection device |
US10671841B2 (en) | 2011-05-02 | 2020-06-02 | Microsoft Technology Licensing, Llc | Attribute state classification |
US8888331B2 (en) | 2011-05-09 | 2014-11-18 | Microsoft Corporation | Low inductance light source module |
US9064006B2 (en) | 2012-08-23 | 2015-06-23 | Microsoft Technology Licensing, Llc | Translating natural language utterances to keyword search queries |
US9137463B2 (en) | 2011-05-12 | 2015-09-15 | Microsoft Technology Licensing, Llc | Adaptive high dynamic range camera |
US8788973B2 (en) | 2011-05-23 | 2014-07-22 | Microsoft Corporation | Three-dimensional gesture controlled avatar configuration interface |
US8760395B2 (en) | 2011-05-31 | 2014-06-24 | Microsoft Corporation | Gesture recognition techniques |
US8526734B2 (en) | 2011-06-01 | 2013-09-03 | Microsoft Corporation | Three-dimensional background removal for vision system |
US9594430B2 (en) | 2011-06-01 | 2017-03-14 | Microsoft Technology Licensing, Llc | Three-dimensional foreground selection for vision system |
US9363448B2 (en) | 2011-06-02 | 2016-06-07 | Touchcast, Llc | System and method for providing and interacting with coordinated presentations |
US10796494B2 (en) | 2011-06-06 | 2020-10-06 | Microsoft Technology Licensing, Llc | Adding attributes to virtual representations of real-world objects |
US9724600B2 (en) | 2011-06-06 | 2017-08-08 | Microsoft Technology Licensing, Llc | Controlling objects in a virtual environment |
US8597142B2 (en) | 2011-06-06 | 2013-12-03 | Microsoft Corporation | Dynamic camera based practice mode |
US9098110B2 (en) | 2011-06-06 | 2015-08-04 | Microsoft Technology Licensing, Llc | Head rotation tracking from depth-based center of mass |
US8897491B2 (en) | 2011-06-06 | 2014-11-25 | Microsoft Corporation | System for finger recognition and tracking |
US8929612B2 (en) | 2011-06-06 | 2015-01-06 | Microsoft Corporation | System for recognizing an open or closed hand |
US9013489B2 (en) | 2011-06-06 | 2015-04-21 | Microsoft Technology Licensing, Llc | Generation of avatar reflecting player appearance |
US9208571B2 (en) | 2011-06-06 | 2015-12-08 | Microsoft Technology Licensing, Llc | Object digitization |
US9597587B2 (en) | 2011-06-08 | 2017-03-21 | Microsoft Technology Licensing, Llc | Locational node device |
KR101423536B1 (ko) * | 2011-06-14 | 2014-08-01 | 한국전자통신연구원 | 인쇄매체 기반 혼합현실 구현 장치 및 방법 |
US9459758B2 (en) | 2011-07-05 | 2016-10-04 | Apple Inc. | Gesture-based interface with enhanced features |
US8881051B2 (en) | 2011-07-05 | 2014-11-04 | Primesense Ltd | Zoom-based gesture user interface |
US9377865B2 (en) | 2011-07-05 | 2016-06-28 | Apple Inc. | Zoom-based gesture user interface |
CN102902419A (zh) * | 2011-07-27 | 2013-01-30 | 原相科技股份有限公司 | 混合式指向装置 |
US10088924B1 (en) * | 2011-08-04 | 2018-10-02 | Amazon Technologies, Inc. | Overcoming motion effects in gesture recognition |
US8891868B1 (en) | 2011-08-04 | 2014-11-18 | Amazon Technologies, Inc. | Recognizing gestures captured by video |
US9030498B2 (en) | 2011-08-15 | 2015-05-12 | Apple Inc. | Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface |
US8786730B2 (en) | 2011-08-18 | 2014-07-22 | Microsoft Corporation | Image exposure using exclusion regions |
US9218063B2 (en) | 2011-08-24 | 2015-12-22 | Apple Inc. | Sessionless pointing user interface |
US9122311B2 (en) | 2011-08-24 | 2015-09-01 | Apple Inc. | Visual feedback for tactile and non-tactile user interfaces |
US8982100B2 (en) | 2011-08-31 | 2015-03-17 | Smart Technologies Ulc | Interactive input system and panel therefor |
JP2013061552A (ja) * | 2011-09-14 | 2013-04-04 | Ricoh Co Ltd | プロジェクタ装置および操作検出方法 |
GB201117542D0 (en) * | 2011-10-11 | 2011-11-23 | Light Blue Optics Ltd | Touch-sensitive display devices |
US9389677B2 (en) | 2011-10-24 | 2016-07-12 | Kenleigh C. Hobby | Smart helmet |
US8988394B2 (en) * | 2011-10-25 | 2015-03-24 | Semiconductor Components Industries, Llc | Electronic devices with camera-based user interfaces |
US10019112B2 (en) * | 2011-10-25 | 2018-07-10 | Semiconductor Components Industries, Llc | Touch panels with dynamic zooming and low profile bezels |
US9557836B2 (en) | 2011-11-01 | 2017-01-31 | Microsoft Technology Licensing, Llc | Depth image compression |
US9117281B2 (en) | 2011-11-02 | 2015-08-25 | Microsoft Corporation | Surface segmentation from RGB and depth images |
US8896688B2 (en) * | 2011-11-04 | 2014-11-25 | Hewlett-Packard Development Company, L.P. | Determining position in a projection capture system |
US8854426B2 (en) | 2011-11-07 | 2014-10-07 | Microsoft Corporation | Time-of-flight camera with guided light |
US8724906B2 (en) | 2011-11-18 | 2014-05-13 | Microsoft Corporation | Computing pose and/or shape of modifiable entities |
US20150292875A1 (en) | 2011-11-23 | 2015-10-15 | The Trustees of Columbia University in the Coty of New York | Systems, methods, and media for performing shape measurement |
US8651678B2 (en) * | 2011-11-29 | 2014-02-18 | Massachusetts Institute Of Technology | Polarization fields for dynamic light field display |
US8509545B2 (en) | 2011-11-29 | 2013-08-13 | Microsoft Corporation | Foreground subject detection |
US8803800B2 (en) | 2011-12-02 | 2014-08-12 | Microsoft Corporation | User interface control based on head orientation |
US8635637B2 (en) | 2011-12-02 | 2014-01-21 | Microsoft Corporation | User interface presenting an animated avatar performing a media reaction |
WO2013086246A1 (en) | 2011-12-06 | 2013-06-13 | Equisight Inc. | Virtual presence model |
US9100685B2 (en) | 2011-12-09 | 2015-08-04 | Microsoft Technology Licensing, Llc | Determining audience state or interest using passive sensor data |
US8630457B2 (en) | 2011-12-15 | 2014-01-14 | Microsoft Corporation | Problem states for pose tracking pipeline |
US8879831B2 (en) | 2011-12-15 | 2014-11-04 | Microsoft Corporation | Using high-level attributes to guide image processing |
US8971612B2 (en) | 2011-12-15 | 2015-03-03 | Microsoft Corporation | Learning image processing tasks from scene reconstructions |
US8811938B2 (en) | 2011-12-16 | 2014-08-19 | Microsoft Corporation | Providing a user interface experience based on inferred vehicle state |
US9342139B2 (en) | 2011-12-19 | 2016-05-17 | Microsoft Technology Licensing, Llc | Pairing a computing device to a user |
US9223138B2 (en) | 2011-12-23 | 2015-12-29 | Microsoft Technology Licensing, Llc | Pixel opacity for augmented reality |
US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
US20150253428A1 (en) | 2013-03-15 | 2015-09-10 | Leap Motion, Inc. | Determining positional information for an object in space |
US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US9501152B2 (en) | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US9223415B1 (en) | 2012-01-17 | 2015-12-29 | Amazon Technologies, Inc. | Managing resource usage for task performance |
US9606586B2 (en) | 2012-01-23 | 2017-03-28 | Microsoft Technology Licensing, Llc | Heat transfer device |
US9720089B2 (en) | 2012-01-23 | 2017-08-01 | Microsoft Technology Licensing, Llc | 3D zoom imager |
US9052414B2 (en) | 2012-02-07 | 2015-06-09 | Microsoft Technology Licensing, Llc | Virtual image device |
US9354748B2 (en) | 2012-02-13 | 2016-05-31 | Microsoft Technology Licensing, Llc | Optical stylus interaction |
US9779643B2 (en) | 2012-02-15 | 2017-10-03 | Microsoft Technology Licensing, Llc | Imaging structure emitter configurations |
US9726887B2 (en) | 2012-02-15 | 2017-08-08 | Microsoft Technology Licensing, Llc | Imaging structure color conversion |
US9368546B2 (en) | 2012-02-15 | 2016-06-14 | Microsoft Technology Licensing, Llc | Imaging structure with embedded light sources |
US9297996B2 (en) | 2012-02-15 | 2016-03-29 | Microsoft Technology Licensing, Llc | Laser illumination scanning |
US9229534B2 (en) | 2012-02-28 | 2016-01-05 | Apple Inc. | Asymmetric mapping for tactile and non-tactile user interfaces |
US20130222353A1 (en) * | 2012-02-29 | 2013-08-29 | Microsoft Corporation | Prism illumination-optic |
US8749529B2 (en) | 2012-03-01 | 2014-06-10 | Microsoft Corporation | Sensor-in-pixel display system with near infrared filter |
US9134807B2 (en) | 2012-03-02 | 2015-09-15 | Microsoft Technology Licensing, Llc | Pressure sensitive key normalization |
US8873227B2 (en) | 2012-03-02 | 2014-10-28 | Microsoft Corporation | Flexible hinge support layer |
US9075566B2 (en) | 2012-03-02 | 2015-07-07 | Microsoft Technoogy Licensing, LLC | Flexible hinge spine |
US8935774B2 (en) | 2012-03-02 | 2015-01-13 | Microsoft Corporation | Accessory device authentication |
US9870066B2 (en) | 2012-03-02 | 2018-01-16 | Microsoft Technology Licensing, Llc | Method of manufacturing an input device |
US9578318B2 (en) | 2012-03-14 | 2017-02-21 | Microsoft Technology Licensing, Llc | Imaging structure emitter calibration |
US11068049B2 (en) | 2012-03-23 | 2021-07-20 | Microsoft Technology Licensing, Llc | Light guide display and field of view |
US9377863B2 (en) | 2012-03-26 | 2016-06-28 | Apple Inc. | Gaze-enhanced virtual touchscreen |
US9558590B2 (en) | 2012-03-28 | 2017-01-31 | Microsoft Technology Licensing, Llc | Augmented reality light guide display |
US10191515B2 (en) | 2012-03-28 | 2019-01-29 | Microsoft Technology Licensing, Llc | Mobile device light guide display |
US8898687B2 (en) | 2012-04-04 | 2014-11-25 | Microsoft Corporation | Controlling a media program based on a media reaction |
US9717981B2 (en) | 2012-04-05 | 2017-08-01 | Microsoft Technology Licensing, Llc | Augmented reality and physical games |
US8933982B2 (en) | 2012-04-24 | 2015-01-13 | Hewlett-Packard Development Company, L.P. | Display-camera systems |
US9210401B2 (en) | 2012-05-03 | 2015-12-08 | Microsoft Technology Licensing, Llc | Projected visual cues for guiding physical movement |
CA2775700C (en) | 2012-05-04 | 2013-07-23 | Microsoft Corporation | Determining a future portion of a currently presented media program |
US20130300590A1 (en) | 2012-05-14 | 2013-11-14 | Paul Henry Dietz | Audio Feedback |
US10502876B2 (en) | 2012-05-22 | 2019-12-10 | Microsoft Technology Licensing, Llc | Waveguide optics focus elements |
US8989535B2 (en) | 2012-06-04 | 2015-03-24 | Microsoft Technology Licensing, Llc | Multiple waveguide imaging structure |
US10031556B2 (en) | 2012-06-08 | 2018-07-24 | Microsoft Technology Licensing, Llc | User experience adaptation |
US9019615B2 (en) | 2012-06-12 | 2015-04-28 | Microsoft Technology Licensing, Llc | Wide field-of-view virtual image projector |
US8947353B2 (en) | 2012-06-12 | 2015-02-03 | Microsoft Corporation | Photosensor array gesture detection |
US9256089B2 (en) * | 2012-06-15 | 2016-02-09 | Microsoft Technology Licensing, Llc | Object-detecting backlight unit |
JP6018707B2 (ja) | 2012-06-21 | 2016-11-02 | マイクロソフト コーポレーション | デプスカメラを使用するアバター構築 |
US9836590B2 (en) | 2012-06-22 | 2017-12-05 | Microsoft Technology Licensing, Llc | Enhanced accuracy of user presence status determination |
WO2014009953A2 (en) * | 2012-07-09 | 2014-01-16 | Radion Engineering Co. Ltd. | Object tracking system and method |
US9317109B2 (en) | 2012-07-12 | 2016-04-19 | Mep Tech, Inc. | Interactive image projection accessory |
US9355345B2 (en) | 2012-07-23 | 2016-05-31 | Microsoft Technology Licensing, Llc | Transparent tags with encoded data |
US9696427B2 (en) | 2012-08-14 | 2017-07-04 | Microsoft Technology Licensing, Llc | Wide angle depth detection |
US8964379B2 (en) | 2012-08-20 | 2015-02-24 | Microsoft Corporation | Switchable magnetic lock |
US9152173B2 (en) | 2012-10-09 | 2015-10-06 | Microsoft Technology Licensing, Llc | Transparent display device |
US9703469B2 (en) * | 2012-10-18 | 2017-07-11 | Dreamworks Animation Llc | Distinguishing between impulses and continuous drag operations on a touch-sensitive surface |
US8882310B2 (en) | 2012-12-10 | 2014-11-11 | Microsoft Corporation | Laser die light source module with low inductance |
US9513748B2 (en) | 2012-12-13 | 2016-12-06 | Microsoft Technology Licensing, Llc | Combined display panel circuit |
US10192358B2 (en) | 2012-12-20 | 2019-01-29 | Microsoft Technology Licensing, Llc | Auto-stereoscopic augmented reality display |
US9857470B2 (en) | 2012-12-28 | 2018-01-02 | Microsoft Technology Licensing, Llc | Using photometric stereo for 3D environment modeling |
US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
US9251590B2 (en) | 2013-01-24 | 2016-02-02 | Microsoft Technology Licensing, Llc | Camera pose estimation for 3D reconstruction |
US20140210707A1 (en) * | 2013-01-25 | 2014-07-31 | Leap Motion, Inc. | Image capture system and method |
US9052746B2 (en) | 2013-02-15 | 2015-06-09 | Microsoft Technology Licensing, Llc | User center-of-mass and mass distribution extraction using depth images |
US9940553B2 (en) | 2013-02-22 | 2018-04-10 | Microsoft Technology Licensing, Llc | Camera/object pose from predicted coordinates |
CN104020894B (zh) * | 2013-02-28 | 2019-06-28 | 现代自动车株式会社 | 用于识别触摸的显示装置 |
US9638835B2 (en) | 2013-03-05 | 2017-05-02 | Microsoft Technology Licensing, Llc | Asymmetric aberration correcting lens |
US9135516B2 (en) | 2013-03-08 | 2015-09-15 | Microsoft Technology Licensing, Llc | User body angle, curvature and average extremity positions extraction using depth images |
US9092657B2 (en) | 2013-03-13 | 2015-07-28 | Microsoft Technology Licensing, Llc | Depth image processing |
US11002854B2 (en) | 2013-03-13 | 2021-05-11 | Cognex Corporation | Lens assembly with integrated feedback loop and time-of-flight sensor |
US10712529B2 (en) | 2013-03-13 | 2020-07-14 | Cognex Corporation | Lens assembly with integrated feedback loop for focus adjustment |
US9274606B2 (en) | 2013-03-14 | 2016-03-01 | Microsoft Technology Licensing, Llc | NUI video conference controls |
US9953213B2 (en) | 2013-03-27 | 2018-04-24 | Microsoft Technology Licensing, Llc | Self discovery of autonomous NUI devices |
US9654763B2 (en) * | 2013-04-02 | 2017-05-16 | Htc Corporation | Controlling method of detecting image-capturing gesture |
CN103150063A (zh) * | 2013-04-09 | 2013-06-12 | 北京紫霄科技有限公司 | 一种基于lcd的光学多点触控设备 |
US9749541B2 (en) * | 2013-04-16 | 2017-08-29 | Tout Inc. | Method and apparatus for displaying and recording images using multiple image capturing devices integrated into a single mobile device |
US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
US9442186B2 (en) | 2013-05-13 | 2016-09-13 | Microsoft Technology Licensing, Llc | Interference reduction for TOF systems |
US9658717B2 (en) | 2013-05-14 | 2017-05-23 | Otter Products, Llc | Virtual writing surface |
US9229583B2 (en) | 2013-05-29 | 2016-01-05 | Otter Products, Llc | Object location determination including writing pressure information of a stylus |
WO2014201466A1 (en) | 2013-06-15 | 2014-12-18 | The SuperGroup Creative Omnimedia, Inc. | Method and apparatus for interactive two-way visualization using simultaneously recorded and projected video streams |
US9402051B2 (en) | 2013-06-15 | 2016-07-26 | The SuperGroup Creative Omnimedia, Inc. | Apparatus and method for simultaneous live recording through and projecting live video images onto an interactive touch screen |
US20140370980A1 (en) * | 2013-06-17 | 2014-12-18 | Bally Gaming, Inc. | Electronic gaming displays, gaming tables including electronic gaming displays and related assemblies, systems and methods |
US9170685B2 (en) | 2013-06-20 | 2015-10-27 | Otter Products, Llc | Object location determination |
US9666231B2 (en) | 2014-06-26 | 2017-05-30 | Touchcast LLC | System and method for providing and interacting with coordinated presentations |
US10523899B2 (en) | 2013-06-26 | 2019-12-31 | Touchcast LLC | System and method for providing and interacting with coordinated presentations |
US10297284B2 (en) | 2013-06-26 | 2019-05-21 | Touchcast LLC | Audio/visual synching system and method |
US11488363B2 (en) | 2019-03-15 | 2022-11-01 | Touchcast, Inc. | Augmented reality conferencing system and method |
US11659138B1 (en) | 2013-06-26 | 2023-05-23 | Touchcast, Inc. | System and method for interactive video conferencing |
US10356363B2 (en) | 2013-06-26 | 2019-07-16 | Touchcast LLC | System and method for interactive video conferencing |
US10075676B2 (en) | 2013-06-26 | 2018-09-11 | Touchcast LLC | Intelligent virtual assistant system and method |
US9787945B2 (en) | 2013-06-26 | 2017-10-10 | Touchcast LLC | System and method for interactive video conferencing |
US10757365B2 (en) | 2013-06-26 | 2020-08-25 | Touchcast LLC | System and method for providing and interacting with coordinated presentations |
US9661256B2 (en) | 2014-06-26 | 2017-05-23 | Touchcast LLC | System and method for providing and interacting with coordinated presentations |
US9852764B2 (en) | 2013-06-26 | 2017-12-26 | Touchcast LLC | System and method for providing and interacting with coordinated presentations |
US11405587B1 (en) | 2013-06-26 | 2022-08-02 | Touchcast LLC | System and method for interactive video conferencing |
US10084849B1 (en) | 2013-07-10 | 2018-09-25 | Touchcast LLC | System and method for providing and interacting with coordinated presentations |
US9392219B2 (en) | 2013-07-31 | 2016-07-12 | Howlett-Packard Development Company, L.P. | Display-camera system |
US10281987B1 (en) | 2013-08-09 | 2019-05-07 | Leap Motion, Inc. | Systems and methods of free-space gestural interaction |
US9778546B2 (en) | 2013-08-15 | 2017-10-03 | Mep Tech, Inc. | Projector for projecting visible and non-visible images |
US9721383B1 (en) | 2013-08-29 | 2017-08-01 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
GB2518233A (en) * | 2013-09-17 | 2015-03-18 | Nokia Technologies Oy | Remote Detection |
US9462253B2 (en) | 2013-09-23 | 2016-10-04 | Microsoft Technology Licensing, Llc | Optical modules that reduce speckle contrast and diffraction artifacts |
US9632572B2 (en) * | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
US9443310B2 (en) | 2013-10-09 | 2016-09-13 | Microsoft Technology Licensing, Llc | Illumination modules that emit structured light |
US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
US9674563B2 (en) | 2013-11-04 | 2017-06-06 | Rovi Guides, Inc. | Systems and methods for recommending content |
US9769459B2 (en) | 2013-11-12 | 2017-09-19 | Microsoft Technology Licensing, Llc | Power efficient laser diode driver circuit and method |
US9335866B2 (en) | 2013-11-20 | 2016-05-10 | Otter Products, Llc | Retractable touchscreen adapter |
US9508385B2 (en) | 2013-11-21 | 2016-11-29 | Microsoft Technology Licensing, Llc | Audio-visual project generator |
US9971491B2 (en) | 2014-01-09 | 2018-05-15 | Microsoft Technology Licensing, Llc | Gesture library for natural user input |
KR102343519B1 (ko) * | 2014-01-10 | 2021-12-24 | 아비질론 코포레이션 | 내면 반사를 감소시키기 위한 카메라 하우징 |
US10120420B2 (en) | 2014-03-21 | 2018-11-06 | Microsoft Technology Licensing, Llc | Lockable display and techniques enabling use of lockable displays |
US10255251B2 (en) | 2014-06-26 | 2019-04-09 | Touchcast LLC | System and method for providing and interacting with coordinated presentations |
US10324733B2 (en) | 2014-07-30 | 2019-06-18 | Microsoft Technology Licensing, Llc | Shutdown notifications |
US9304235B2 (en) | 2014-07-30 | 2016-04-05 | Microsoft Technology Licensing, Llc | Microfabrication |
US10592080B2 (en) | 2014-07-31 | 2020-03-17 | Microsoft Technology Licensing, Llc | Assisted presentation of application windows |
US10254942B2 (en) | 2014-07-31 | 2019-04-09 | Microsoft Technology Licensing, Llc | Adaptive sizing and positioning of application windows |
US10678412B2 (en) | 2014-07-31 | 2020-06-09 | Microsoft Technology Licensing, Llc | Dynamic joint dividers for application windows |
CN204480228U (zh) | 2014-08-08 | 2015-07-15 | 厉动公司 | 运动感测和成像设备 |
EP4005649A1 (en) * | 2014-12-04 | 2022-06-01 | Dov Rotshtain | Computer-controlled board games |
US10171745B2 (en) * | 2014-12-31 | 2019-01-01 | Dell Products, Lp | Exposure computation via depth-based computational photography |
US10097892B2 (en) * | 2015-01-23 | 2018-10-09 | Turner Broadcasting System, Inc. | Method and system for production and capture of content for linear broadcast and publication |
US9372347B1 (en) | 2015-02-09 | 2016-06-21 | Microsoft Technology Licensing, Llc | Display system |
US9513480B2 (en) | 2015-02-09 | 2016-12-06 | Microsoft Technology Licensing, Llc | Waveguide |
US9429692B1 (en) | 2015-02-09 | 2016-08-30 | Microsoft Technology Licensing, Llc | Optical components |
US9535253B2 (en) | 2015-02-09 | 2017-01-03 | Microsoft Technology Licensing, Llc | Display system |
US11086216B2 (en) | 2015-02-09 | 2021-08-10 | Microsoft Technology Licensing, Llc | Generating electronic components |
US9423360B1 (en) | 2015-02-09 | 2016-08-23 | Microsoft Technology Licensing, Llc | Optical components |
US10317677B2 (en) | 2015-02-09 | 2019-06-11 | Microsoft Technology Licensing, Llc | Display system |
US9827209B2 (en) | 2015-02-09 | 2017-11-28 | Microsoft Technology Licensing, Llc | Display system |
US10018844B2 (en) | 2015-02-09 | 2018-07-10 | Microsoft Technology Licensing, Llc | Wearable image display system |
US10168785B2 (en) | 2015-03-03 | 2019-01-01 | Nvidia Corporation | Multi-sensor based user interface |
US10901548B2 (en) * | 2015-04-07 | 2021-01-26 | Omnivision Technologies, Inc. | Touch screen rear projection display |
US9819903B2 (en) | 2015-06-05 | 2017-11-14 | The SuperGroup Creative Omnimedia, Inc. | Imaging and display system and method |
JP2017004458A (ja) * | 2015-06-16 | 2017-01-05 | 富士通株式会社 | 入力装置、入力制御方法、および、入力制御プログラム |
CN105511093B (zh) * | 2015-06-18 | 2018-02-09 | 广州优视网络科技有限公司 | 3d成像方法及装置 |
WO2017021813A2 (en) * | 2015-07-23 | 2017-02-09 | Mahmoud Meribout | System and method for real-time flow measurement in pipelines using thz imaging |
CN108141523B (zh) * | 2015-10-07 | 2020-03-03 | 麦克赛尔株式会社 | 影像显示装置和用于其的操作检测方法 |
US11513637B2 (en) * | 2016-01-25 | 2022-11-29 | Hiroyuki Ikeda | Image projection device |
US10412280B2 (en) | 2016-02-10 | 2019-09-10 | Microsoft Technology Licensing, Llc | Camera with light valve over sensor array |
JP6702746B2 (ja) * | 2016-02-10 | 2020-06-03 | キヤノン株式会社 | 撮像装置、その制御方法、プログラム及び記憶媒体 |
US10257932B2 (en) | 2016-02-16 | 2019-04-09 | Microsoft Technology Licensing, Llc. | Laser diode chip on printed circuit board |
US10462452B2 (en) | 2016-03-16 | 2019-10-29 | Microsoft Technology Licensing, Llc | Synchronizing active illumination cameras |
US20230409148A1 (en) * | 2016-06-08 | 2023-12-21 | Architectronics Inc. | Virtual mouse |
US11868569B2 (en) * | 2016-06-08 | 2024-01-09 | Architectronics Inc. | Virtual mouse |
US10209832B2 (en) * | 2016-07-25 | 2019-02-19 | Google Llc | Detecting user interactions with a computing system of a vehicle |
TWI611326B (zh) * | 2016-07-26 | 2018-01-11 | 互動式顯示及讀取系統 | |
US10539860B2 (en) * | 2016-08-30 | 2020-01-21 | Kinestral Technologies, Inc. | Dynamic user control system |
US10663361B2 (en) * | 2016-10-13 | 2020-05-26 | The Trustees Of Columbia University In The City Of New York | Systems and methods for tactile sensing |
US10447946B2 (en) * | 2017-04-26 | 2019-10-15 | Marco Pinter | Interactive artistic presentation system with thermographic imagery |
US10684173B2 (en) | 2017-04-26 | 2020-06-16 | Marco Pinter | Interactive artistic presentation system with thermographic imagery |
CN107257414B (zh) * | 2017-07-18 | 2019-07-23 | Oppo广东移动通信有限公司 | 一种屏幕状态控制方法、装置、存储介质及移动终端 |
US10539864B2 (en) | 2018-02-08 | 2020-01-21 | Guardian Glass, LLC | Capacitive touch panel having diffuser and patterned electrode |
CN108509083B (zh) * | 2018-04-08 | 2021-06-01 | 北京小米移动软件有限公司 | 显示面板和终端 |
CN111256748A (zh) * | 2020-01-21 | 2020-06-09 | 西安大目智能设备研究所有限公司 | 一种基于可编程面阵光源的机器视觉***及其应用 |
DE102020111336A1 (de) | 2020-04-27 | 2021-10-28 | Keba Ag | Selbstbedienungsautomat |
US11262646B2 (en) | 2020-05-14 | 2022-03-01 | The Boeing Company | Projection system for baby-changing station translucent displays and methods of operating thereof |
US11178365B1 (en) | 2020-05-14 | 2021-11-16 | The Boeing Company | Projection system for translucent displays and methods of operating thereof |
CN112434741A (zh) * | 2020-11-25 | 2021-03-02 | 杭州盛世传奇标识***有限公司 | 一种互动介绍标识的使用方法、***、装置和存储介质 |
US20220368835A1 (en) * | 2021-03-03 | 2022-11-17 | Ji Shen | Display with integrated camera |
US11681376B1 (en) * | 2022-08-18 | 2023-06-20 | Universal City Studios Llc | System and method for providing feedback to a guest interacting with a display |
Family Cites Families (213)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US670744A (en) * | 1900-08-22 | 1901-03-26 | Luther B Thomas | Indexing-machine. |
US2917980A (en) | 1955-12-30 | 1959-12-22 | Mergenthaler Linotype Gmbh | Lenslet assembly for photocomposing machines |
US3068754A (en) | 1958-07-30 | 1962-12-18 | Corning Giass Works | Prismatic light transmitting panel |
US3763468A (en) | 1971-10-01 | 1973-10-02 | Energy Conversion Devices Inc | Light emitting display array with non-volatile memory |
JPS5189419A (ja) | 1975-02-03 | 1976-08-05 | ||
US4275395A (en) * | 1977-10-31 | 1981-06-23 | International Business Machines Corporation | Interactive projection display system |
EP0055366B1 (en) | 1980-12-30 | 1987-03-18 | International Business Machines Corporation | System for remotely displaying and sensing information using shadow parallax |
JPS59182688A (ja) * | 1983-03-31 | 1984-10-17 | Toshiba Corp | ステレオ視処理装置 |
GB8421783D0 (en) * | 1984-08-29 | 1984-10-03 | Atomic Energy Authority Uk | Stereo camera |
US5001558A (en) * | 1985-06-11 | 1991-03-19 | General Motors Corporation | Night vision system with color video camera |
US4843568A (en) * | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
US5004558A (en) * | 1986-11-03 | 1991-04-02 | Monsanto Company | Sulfone peroxycarboxylic acids |
US4887898A (en) | 1988-04-13 | 1989-12-19 | Rowe Furniture Corporation | Fabric projection system |
US4948371A (en) * | 1989-04-25 | 1990-08-14 | The United States Of America As Represented By The United States Department Of Energy | System for training and evaluation of security personnel in use of firearms |
CA2030139C (en) * | 1989-11-20 | 2002-04-23 | David M. Durlach | 3-d amusement and display device |
CA2040273C (en) * | 1990-04-13 | 1995-07-18 | Kazu Horiuchi | Image displaying system |
US5138304A (en) | 1990-08-02 | 1992-08-11 | Hewlett-Packard Company | Projected image light pen |
US6732929B2 (en) * | 1990-09-10 | 2004-05-11 | Metrologic Instruments, Inc. | Led-based planar light illumination beam generation module employing a focal lens for reducing the image size of the light emmiting surface of the led prior to beam collimation and planarization |
US5239373A (en) | 1990-12-26 | 1993-08-24 | Xerox Corporation | Video computational shared drawing space |
US5151718A (en) | 1990-12-31 | 1992-09-29 | Texas Instruments Incorporated | System and method for solid state illumination for dmd devices |
US5534917A (en) | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
US5325473A (en) * | 1991-10-11 | 1994-06-28 | The Walt Disney Company | Apparatus and method for projection upon a three-dimensional object |
US5861881A (en) * | 1991-11-25 | 1999-01-19 | Actv, Inc. | Interactive computer system for providing an interactive presentation with personalized video, audio and graphics responses for multiple viewers |
US5444462A (en) | 1991-12-16 | 1995-08-22 | Wambach; Mark L. | Computer mouse glove with remote communication |
DE59306619D1 (de) * | 1992-01-29 | 1997-07-10 | Thomson Brandt Gmbh | Videokamera, wahlweise als Projektor betreibbar |
US5497269A (en) * | 1992-06-25 | 1996-03-05 | Lockheed Missiles And Space Company, Inc. | Dispersive microlens |
US6008800A (en) | 1992-09-18 | 1999-12-28 | Pryor; Timothy R. | Man machine interfaces for entering data into a computer |
US5982352A (en) | 1992-09-18 | 1999-11-09 | Pryor; Timothy R. | Method for providing human input to a computer |
US5442252A (en) | 1992-11-16 | 1995-08-15 | General Electric Company | Lenticulated lens with improved light distribution |
US5319496A (en) * | 1992-11-18 | 1994-06-07 | Photonics Research Incorporated | Optical beam delivery system |
US5526182A (en) * | 1993-02-17 | 1996-06-11 | Vixel Corporation | Multiple beam optical memory system |
US5436639A (en) | 1993-03-16 | 1995-07-25 | Hitachi, Ltd. | Information processing system |
US5454043A (en) | 1993-07-30 | 1995-09-26 | Mitsubishi Electric Research Laboratories, Inc. | Dynamic and static hand gesture recognition through low-level image analysis |
JPH07135623A (ja) | 1993-10-27 | 1995-05-23 | Kinseki Ltd | 網膜直接表示装置 |
US5510828A (en) * | 1994-03-01 | 1996-04-23 | Lutterbach; R. Steven | Interactive video display system |
US5426474A (en) * | 1994-03-22 | 1995-06-20 | Innersense, Inc. | Light projection system using randomized fiber optic bundle |
FI96081C (fi) * | 1994-05-20 | 1996-04-25 | Nokia Telecommunications Oy | Menetelmä ja laitteisto PAM-moduloidun signaalin muodostamiseksi |
US5528263A (en) * | 1994-06-15 | 1996-06-18 | Daniel M. Platzker | Interactive projected video image display system |
US5808784A (en) | 1994-09-06 | 1998-09-15 | Dai Nippon Printing Co., Ltd. | Lens array sheet surface light source, and transmission type display device |
US5682468A (en) * | 1995-01-23 | 1997-10-28 | Intergraph Corporation | OLE for design and modeling |
US5548694A (en) | 1995-01-31 | 1996-08-20 | Mitsubishi Electric Information Technology Center America, Inc. | Collision avoidance system for voxel-based object representation |
US5594469A (en) * | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
JP3539788B2 (ja) | 1995-04-21 | 2004-07-07 | パナソニック モバイルコミュニケーションズ株式会社 | 画像間対応付け方法 |
US6191773B1 (en) | 1995-04-28 | 2001-02-20 | Matsushita Electric Industrial Co., Ltd. | Interface apparatus |
US5633691A (en) * | 1995-06-07 | 1997-05-27 | Nview Corporation | Stylus position sensing and digital camera with a digital micromirror device |
US5882204A (en) * | 1995-07-13 | 1999-03-16 | Dennis J. Lannazzo | Football interactive simulation trainer |
US5591972A (en) * | 1995-08-03 | 1997-01-07 | Illumination Technologies, Inc. | Apparatus for reading optical information |
US5574511A (en) | 1995-10-18 | 1996-11-12 | Polaroid Corporation | Background replacement for an image |
US6308565B1 (en) | 1995-11-06 | 2001-10-30 | Impulse Technology Ltd. | System and method for tracking and assessing movement skills in multidimensional space |
US6176782B1 (en) * | 1997-12-22 | 2001-01-23 | Philips Electronics North America Corp. | Motion-based command generation technology |
US5828485A (en) | 1996-02-07 | 1998-10-27 | Light & Sound Design Ltd. | Programmable light beam shape altering device using programmable micromirrors |
US6084979A (en) | 1996-06-20 | 2000-07-04 | Carnegie Mellon University | Method for creating virtual reality |
US6400374B2 (en) * | 1996-09-18 | 2002-06-04 | Eyematic Interfaces, Inc. | Video superposition system and method |
US5923475A (en) | 1996-11-27 | 1999-07-13 | Eastman Kodak Company | Laser printer using a fly's eye integrator |
US5969754A (en) | 1996-12-09 | 1999-10-19 | Zeman; Herbert D. | Contrast enhancing illuminator |
JP3298437B2 (ja) | 1996-12-18 | 2002-07-02 | セイコーエプソン株式会社 | 光学素子、偏光照明装置および投写型表示装置 |
US6118888A (en) | 1997-02-28 | 2000-09-12 | Kabushiki Kaisha Toshiba | Multi-modal interface apparatus and method |
DE19708240C2 (de) | 1997-02-28 | 1999-10-14 | Siemens Ag | Anordnung und Verfahren zur Detektion eines Objekts in einem von Wellen im nichtsichtbaren Spektralbereich angestrahlten Bereich |
US6088612A (en) | 1997-04-04 | 2000-07-11 | Medtech Research Corporation | Method and apparatus for reflective glare removal in digital photography useful in cervical cancer detection |
US6058397A (en) * | 1997-04-08 | 2000-05-02 | Mitsubishi Electric Information Technology Center America, Inc. | 3D virtual environment creation management and delivery system |
JPH10334270A (ja) | 1997-05-28 | 1998-12-18 | Mitsubishi Electric Corp | 動作認識装置及び動作認識プログラムを記録した記録媒体 |
JP3145059B2 (ja) | 1997-06-13 | 2001-03-12 | 株式会社ナムコ | 情報記憶媒体及び画像生成装置 |
US6075895A (en) * | 1997-06-20 | 2000-06-13 | Holoplex | Methods and apparatus for gesture recognition based on templates |
JP3968477B2 (ja) * | 1997-07-07 | 2007-08-29 | ソニー株式会社 | 情報入力装置及び情報入力方法 |
US6720949B1 (en) * | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
US6522312B2 (en) * | 1997-09-01 | 2003-02-18 | Canon Kabushiki Kaisha | Apparatus for presenting mixed reality shared among operators |
JP3795647B2 (ja) | 1997-10-29 | 2006-07-12 | 株式会社竹中工務店 | ハンドポインティング装置 |
JP3794180B2 (ja) * | 1997-11-11 | 2006-07-05 | セイコーエプソン株式会社 | 座標入力システム及び座標入力装置 |
US6166744A (en) | 1997-11-26 | 2000-12-26 | Pathfinder Systems, Inc. | System for combining virtual images with real-world scenes |
US6611241B1 (en) | 1997-12-02 | 2003-08-26 | Sarnoff Corporation | Modular display system |
US6388657B1 (en) * | 1997-12-31 | 2002-05-14 | Anthony James Francis Natoli | Virtual reality keyboard system and method |
US6198844B1 (en) * | 1998-01-28 | 2001-03-06 | Konica Corporation | Image processing apparatus |
US6349301B1 (en) * | 1998-02-24 | 2002-02-19 | Microsoft Corporation | Virtual environment bystander updating in client server architecture |
US6266053B1 (en) * | 1998-04-03 | 2001-07-24 | Synapix, Inc. | Time inheritance scene graph for representation of media content |
AU3639699A (en) | 1998-04-13 | 1999-11-01 | Eyematic Interfaces, Inc. | Wavelet-based facial motion capture for avatar animation |
JP3745117B2 (ja) | 1998-05-08 | 2006-02-15 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP2000105583A (ja) | 1998-07-27 | 2000-04-11 | Ricoh Co Ltd | インタラクティブ表示装置 |
US6263339B1 (en) | 1998-08-25 | 2001-07-17 | Informix Software, Inc. | Dynamic object visualization and code generation |
US6228538B1 (en) * | 1998-08-28 | 2001-05-08 | Micron Technology, Inc. | Mask forming methods and field emission display emitter mask forming methods |
US6122014A (en) | 1998-09-17 | 2000-09-19 | Motorola, Inc. | Modified chroma keyed technique for simple shape coding for digital video |
JP2000163196A (ja) * | 1998-09-25 | 2000-06-16 | Sanyo Electric Co Ltd | ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置 |
DE19845030A1 (de) * | 1998-09-30 | 2000-04-20 | Siemens Ag | Bildsystem |
US6501515B1 (en) | 1998-10-13 | 2002-12-31 | Sony Corporation | Remote control system |
US6106119A (en) | 1998-10-16 | 2000-08-22 | The Board Of Trustees Of The Leland Stanford Junior University | Method for presenting high level interpretations of eye tracking data correlated to saved display images |
AU1930700A (en) | 1998-12-04 | 2000-06-26 | Interval Research Corporation | Background estimation and segmentation based on range and color |
GB9902235D0 (en) * | 1999-02-01 | 1999-03-24 | Emuse Corp | Interactive system |
KR100608119B1 (ko) * | 1999-02-18 | 2006-08-02 | 후지쯔 가부시끼가이샤 | 광 이용 효율이 개선된 조명장치 |
US6333735B1 (en) | 1999-03-16 | 2001-12-25 | International Business Machines Corporation | Method and apparatus for mouse positioning device based on infrared light sources and detectors |
JP3644295B2 (ja) * | 1999-03-17 | 2005-04-27 | セイコーエプソン株式会社 | 投写型表示装置 |
US6292171B1 (en) * | 1999-03-31 | 2001-09-18 | Seiko Epson Corporation | Method and apparatus for calibrating a computer-generated projected image |
US6614422B1 (en) * | 1999-11-04 | 2003-09-02 | Canesta, Inc. | Method and apparatus for entering data using a virtual input device |
JP2000350865A (ja) * | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体 |
US6545706B1 (en) * | 1999-07-30 | 2003-04-08 | Electric Planet, Inc. | System, method and article of manufacture for tracking a head of a camera-generated image of a person |
US6965693B1 (en) | 1999-08-19 | 2005-11-15 | Sony Corporation | Image processor, image processing method, and recorded medium |
JP3905670B2 (ja) | 1999-09-10 | 2007-04-18 | 株式会社リコー | 座標入力検出装置、情報記憶媒体及び座標入力検出方法 |
US6407870B1 (en) * | 1999-10-28 | 2002-06-18 | Ihar Hurevich | Optical beam shaper and method for spatial redistribution of inhomogeneous beam |
US6826727B1 (en) | 1999-11-24 | 2004-11-30 | Bitstream Inc. | Apparatus, methods, programming for automatically laying out documents |
JP3760068B2 (ja) | 1999-12-02 | 2006-03-29 | 本田技研工業株式会社 | 画像認識装置 |
GB2356996A (en) | 1999-12-03 | 2001-06-06 | Hewlett Packard Co | Improvements to digital cameras |
WO2001045004A1 (en) | 1999-12-17 | 2001-06-21 | Promo Vu | Interactive promotional information communicating system |
US6666567B1 (en) | 1999-12-28 | 2003-12-23 | Honeywell International Inc. | Methods and apparatus for a light source with a raised LED structure |
US20050195598A1 (en) | 2003-02-07 | 2005-09-08 | Dancs Imre J. | Projecting light and images from a device |
JP4332964B2 (ja) * | 1999-12-21 | 2009-09-16 | ソニー株式会社 | 情報入出力システム及び情報入出力方法 |
JP4549468B2 (ja) | 1999-12-28 | 2010-09-22 | 株式会社トプコン | レンズメータ |
JP3363861B2 (ja) | 2000-01-13 | 2003-01-08 | キヤノン株式会社 | 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体 |
US6747666B2 (en) * | 2000-01-26 | 2004-06-08 | New York University | Method and system for facilitating wireless, full-body, real-time user interaction with digitally generated text data |
US20020140633A1 (en) | 2000-02-03 | 2002-10-03 | Canesta, Inc. | Method and system to present immersion virtual simulations using three-dimensional measurement |
US6491396B2 (en) | 2000-02-15 | 2002-12-10 | Seiko Epson Corporation | Projector modulating a plurality of partial luminous fluxes according to imaging information by means of an electro-optical device |
US6663491B2 (en) | 2000-02-18 | 2003-12-16 | Namco Ltd. | Game apparatus, storage medium and computer program that adjust tempo of sound |
AU2001249994A1 (en) | 2000-02-25 | 2001-09-03 | Interval Research Corporation | Method and system for selecting advertisements |
SE0000850D0 (sv) * | 2000-03-13 | 2000-03-13 | Pink Solution Ab | Recognition arrangement |
JP3842515B2 (ja) | 2000-03-24 | 2006-11-08 | セイコーエプソン株式会社 | 多重解像度画像解析による指示位置検出 |
JP2002014997A (ja) | 2000-04-27 | 2002-01-18 | Ntt Comware Corp | 広告情報配信方法及び広告情報配信システム |
US7859519B2 (en) | 2000-05-01 | 2010-12-28 | Tulbert David J | Human-machine interface |
US6406119B1 (en) * | 2000-05-18 | 2002-06-18 | Samsung Electronics Co., Ltd. | Ink smearing preventing method of terminal equipment of inkjet output device |
JP4402262B2 (ja) | 2000-06-07 | 2010-01-20 | オリンパス株式会社 | プリンタ装置及び電子カメラ |
US6752720B1 (en) * | 2000-06-15 | 2004-06-22 | Intel Corporation | Mobile remote control video gaming system |
US6873710B1 (en) | 2000-06-27 | 2005-03-29 | Koninklijke Philips Electronics N.V. | Method and apparatus for tuning content of information presented to an audience |
US7149262B1 (en) | 2000-07-06 | 2006-12-12 | The Trustees Of Columbia University In The City Of New York | Method and apparatus for enhancing data resolution |
US7227526B2 (en) * | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
JP4666808B2 (ja) | 2000-07-27 | 2011-04-06 | キヤノン株式会社 | 画像表示システム、画像表示方法、及び記憶媒体、プログラム |
US6754370B1 (en) * | 2000-08-14 | 2004-06-22 | The Board Of Trustees Of The Leland Stanford Junior University | Real-time structured light range scanning of moving scenes |
US6707444B1 (en) * | 2000-08-18 | 2004-03-16 | International Business Machines Corporation | Projector and camera arrangement with shared optics and optical marker for use with whiteboard systems |
US7103838B1 (en) | 2000-08-18 | 2006-09-05 | Firstrain, Inc. | Method and apparatus for extracting relevant data |
US6654734B1 (en) | 2000-08-30 | 2003-11-25 | International Business Machines Corporation | System and method for query processing and optimization for XML repositories |
JP2002092023A (ja) | 2000-09-14 | 2002-03-29 | Nippon Telegr & Teleph Corp <Ntt> | 情報提供装置および方法と情報提供プログラムを記録した記録媒体 |
US6965684B2 (en) * | 2000-09-15 | 2005-11-15 | Canon Kabushiki Kaisha | Image processing methods and apparatus for detecting human eyes, human face, and other objects in an image |
US7058204B2 (en) * | 2000-10-03 | 2006-06-06 | Gesturetek, Inc. | Multiple camera control system |
JP3467017B2 (ja) | 2000-11-30 | 2003-11-17 | キヤノン株式会社 | 位置姿勢の決定方法及び装置並びに記憶媒体 |
JP2002171507A (ja) | 2000-11-30 | 2002-06-14 | Yokogawa Electric Corp | コンテンツ配信方法およびコンテンツ配信システム |
US6431711B1 (en) | 2000-12-06 | 2002-08-13 | International Business Machines Corporation | Multiple-surface display projector with interactive input capability |
JP2002222424A (ja) * | 2001-01-29 | 2002-08-09 | Nec Corp | 指紋照合システム |
US6621483B2 (en) | 2001-03-16 | 2003-09-16 | Agilent Technologies, Inc. | Optical screen pointing device with inertial properties |
US20020178440A1 (en) | 2001-03-28 | 2002-11-28 | Philips Electronics North America Corp. | Method and apparatus for automatically selecting an alternate item based on user behavior |
US20020140682A1 (en) | 2001-03-29 | 2002-10-03 | Brown Frank T. | Optical drawing tablet |
US6912313B2 (en) * | 2001-05-31 | 2005-06-28 | Sharp Laboratories Of America, Inc. | Image background replacement method |
US8035612B2 (en) | 2002-05-28 | 2011-10-11 | Intellectual Ventures Holding 67 Llc | Self-contained interactive video display system |
US8300042B2 (en) * | 2001-06-05 | 2012-10-30 | Microsoft Corporation | Interactive video display system using strobed light |
US7259747B2 (en) | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
EP1689172B1 (en) | 2001-06-05 | 2016-03-09 | Microsoft Technology Licensing, LLC | Interactive video display system |
JP2003004905A (ja) | 2001-06-18 | 2003-01-08 | Toppan Printing Co Ltd | 両面レンズシートとそれを用いたリア型プロジェクションスクリーンおよび表示装置 |
JP2003016804A (ja) | 2001-06-27 | 2003-01-17 | Nichia Chem Ind Ltd | Led表示灯 |
WO2003009579A2 (en) * | 2001-07-17 | 2003-01-30 | Amnis Corporation | Computational methods for the segmentation of images of objects from background in a flow imaging instrument |
US7274800B2 (en) * | 2001-07-18 | 2007-09-25 | Intel Corporation | Dynamic gesture recognition from stereo sequences |
US7068274B2 (en) * | 2001-08-15 | 2006-06-27 | Mitsubishi Electric Research Laboratories, Inc. | System and method for animating real objects with projected images |
JP2003173237A (ja) * | 2001-09-28 | 2003-06-20 | Ricoh Co Ltd | 情報入出力システム、プログラム及び記憶媒体 |
US8561095B2 (en) * | 2001-11-13 | 2013-10-15 | Koninklijke Philips N.V. | Affective television monitoring and control in response to physiological data |
US7006055B2 (en) * | 2001-11-29 | 2006-02-28 | Hewlett-Packard Development Company, L.P. | Wireless multi-user multi-projector presentation system |
WO2003048856A1 (fr) * | 2001-12-03 | 2003-06-12 | Toppan Printing Co., Ltd. | Feuille de mosaique de lentilles, ecran de transmission et afficheur de type retroprojecteur |
TWI222029B (en) * | 2001-12-04 | 2004-10-11 | Desun Technology Co Ltd | Two-in-one image display/image capture apparatus and the method thereof and identification system using the same |
US20030128389A1 (en) | 2001-12-26 | 2003-07-10 | Eastman Kodak Company | Method for creating and using affective information in a digital imaging system cross reference to related applications |
US7307636B2 (en) | 2001-12-26 | 2007-12-11 | Eastman Kodak Company | Image format including affective information |
KR20030058894A (ko) | 2002-01-02 | 2003-07-07 | 조영탁 | 가상 골프 시뮬레이터 |
US7339521B2 (en) * | 2002-02-20 | 2008-03-04 | Univ Washington | Analytical instruments using a pseudorandom array of sources, such as a micro-machined mass spectrometer or monochromator |
JP4027118B2 (ja) | 2002-02-25 | 2007-12-26 | 富士通株式会社 | 本人認証方法、プログラム及び装置 |
JP4165095B2 (ja) | 2002-03-15 | 2008-10-15 | オムロン株式会社 | 情報提供装置および情報提供方法 |
US6607275B1 (en) | 2002-03-20 | 2003-08-19 | The Neiman Marcus Group, Inc. | Merchandise display case and system |
US6707054B2 (en) * | 2002-03-21 | 2004-03-16 | Eastman Kodak Company | Scannerless range imaging system having high dynamic range |
US6831664B2 (en) | 2002-03-22 | 2004-12-14 | Koninklijke Philips Electronics N.V. | Low cost interactive program control system and method |
US7710391B2 (en) | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
US20050122308A1 (en) * | 2002-05-28 | 2005-06-09 | Matthew Bell | Self-contained interactive video display system |
US7170492B2 (en) * | 2002-05-28 | 2007-01-30 | Reactrix Systems, Inc. | Interactive video display system |
US7348963B2 (en) * | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
EP1552427A4 (en) * | 2002-06-13 | 2009-12-16 | Mark Logic Corp | PARENT-CHILD QUERY INDEX FOR XML DATA BANKS |
US7574652B2 (en) * | 2002-06-20 | 2009-08-11 | Canon Kabushiki Kaisha | Methods for interactively defining transforms and for generating queries by manipulating existing query data |
US20040091110A1 (en) * | 2002-11-08 | 2004-05-13 | Anthony Christian Barkans | Copy protected display screen |
US7576727B2 (en) | 2002-12-13 | 2009-08-18 | Matthew Bell | Interactive directed light/sound system |
WO2004055776A1 (en) * | 2002-12-13 | 2004-07-01 | Reactrix Systems | Interactive directed light/sound system |
WO2004068182A2 (en) * | 2003-01-24 | 2004-08-12 | Digital Optics International Corporation | High density illumination system |
US6999600B2 (en) * | 2003-01-30 | 2006-02-14 | Objectvideo, Inc. | Video scene background maintenance using change detection and classification |
US6877882B1 (en) * | 2003-03-12 | 2005-04-12 | Delta Electronics, Inc. | Illumination system for a projection system |
US7665041B2 (en) * | 2003-03-25 | 2010-02-16 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
JP4127546B2 (ja) | 2003-04-15 | 2008-07-30 | 富士通株式会社 | 画像照合装置、画像照合方法、及び画像照合プログラム |
WO2004097741A1 (ja) | 2003-04-25 | 2004-11-11 | Fujitsu Limited | 指紋照合装置、指紋照合方法および指紋照合プログラム |
US7193608B2 (en) * | 2003-05-27 | 2007-03-20 | York University | Collaborative pointing devices |
FR2856963B1 (fr) | 2003-07-03 | 2006-09-01 | Antolin Grupo Ing Sa | Siege de vehicule automobile |
JP2005049795A (ja) | 2003-07-31 | 2005-02-24 | Dainippon Printing Co Ltd | スクリーン用レンズシート |
US20050088407A1 (en) * | 2003-10-24 | 2005-04-28 | Matthew Bell | Method and system for managing an interactive video display system |
WO2005041579A2 (en) | 2003-10-24 | 2005-05-06 | Reactrix Systems, Inc. | Method and system for processing captured image information in an interactive video display system |
US20050104506A1 (en) * | 2003-11-18 | 2005-05-19 | Youh Meng-Jey | Triode Field Emission Cold Cathode Devices with Random Distribution and Method |
US7619824B2 (en) | 2003-11-18 | 2009-11-17 | Merlin Technology Limited Liability Company | Variable optical arrays and variable manufacturing methods |
US7681114B2 (en) * | 2003-11-21 | 2010-03-16 | Bridgeborn, Llc | Method of authoring, deploying and using interactive, data-driven two or more dimensional content |
KR100970253B1 (ko) * | 2003-12-19 | 2010-07-16 | 삼성전자주식회사 | 발광소자의 제조 방법 |
WO2005091651A2 (en) | 2004-03-18 | 2005-09-29 | Reactrix Systems, Inc. | Interactive video display system |
WO2005104010A2 (en) * | 2004-04-15 | 2005-11-03 | Gesture Tek, Inc. | Tracking bimanual movements |
US7382897B2 (en) | 2004-04-27 | 2008-06-03 | Microsoft Corporation | Multi-image feature matching using multi-scale oriented patches |
US7394459B2 (en) | 2004-04-29 | 2008-07-01 | Microsoft Corporation | Interaction between objects and a virtual environment display |
US20050265587A1 (en) | 2004-06-01 | 2005-12-01 | Schneider John K | Fingerprint image database and method of matching fingerprint sample to fingerprint images |
US7432917B2 (en) | 2004-06-16 | 2008-10-07 | Microsoft Corporation | Calibration of an interactive display system |
US7519223B2 (en) | 2004-06-28 | 2009-04-14 | Microsoft Corporation | Recognizing gestures and using gestures for interacting with software applications |
EP1789928A4 (en) | 2004-07-30 | 2011-03-16 | Extreme Reality Ltd | SYSTEM AND METHOD FOR PICTURE PROCESSING BASED ON THE 3D ROOM DIMENSION |
US7728821B2 (en) * | 2004-08-06 | 2010-06-01 | Touchtable, Inc. | Touch detecting interactive display |
JP2006068315A (ja) | 2004-09-02 | 2006-03-16 | Sega Corp | ポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体 |
US7330584B2 (en) * | 2004-10-14 | 2008-02-12 | Sony Corporation | Image processing apparatus and method |
WO2006081428A2 (en) | 2005-01-27 | 2006-08-03 | Symyx Technologies, Inc. | Parser for generating structure data |
WO2006086508A2 (en) | 2005-02-08 | 2006-08-17 | Oblong Industries, Inc. | System and method for genture based control system |
US20060184993A1 (en) | 2005-02-15 | 2006-08-17 | Goldthwaite Flora P | Method and system for collecting and using data |
US7570249B2 (en) | 2005-03-30 | 2009-08-04 | Microsoft Corporation | Responding to change of state of control on device disposed on an interactive display surface |
US20060258397A1 (en) | 2005-05-10 | 2006-11-16 | Kaplan Mark M | Integrated mobile application server and communication gateway |
US7428542B1 (en) | 2005-05-31 | 2008-09-23 | Reactrix Systems, Inc. | Method and system for combining nodes into a mega-node |
US7970870B2 (en) | 2005-06-24 | 2011-06-28 | Microsoft Corporation | Extending digital artifacts through an interactive surface |
US20080040692A1 (en) * | 2006-06-29 | 2008-02-14 | Microsoft Corporation | Gesture input |
US7737636B2 (en) | 2006-11-09 | 2010-06-15 | Intematix Corporation | LED assembly with an LED and adjacent lens and method of making same |
US7745771B2 (en) | 2007-04-03 | 2010-06-29 | Delphi Technologies, Inc. | Synchronous imaging using segmented illumination |
US20080252596A1 (en) | 2007-04-10 | 2008-10-16 | Matthew Bell | Display Using a Three-Dimensional vision System |
US7678147B2 (en) * | 2007-05-01 | 2010-03-16 | Moximed, Inc. | Extra-articular implantable mechanical energy absorbing systems and implantation method |
US8726194B2 (en) * | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
JP5430572B2 (ja) * | 2007-09-14 | 2014-03-05 | インテレクチュアル ベンチャーズ ホールディング 67 エルエルシー | ジェスチャベースのユーザインタラクションの処理 |
JP5228439B2 (ja) * | 2007-10-22 | 2013-07-03 | 三菱電機株式会社 | 操作入力装置 |
US8159682B2 (en) | 2007-11-12 | 2012-04-17 | Intellectual Ventures Holding 67 Llc | Lens system |
US20100039500A1 (en) * | 2008-02-15 | 2010-02-18 | Matthew Bell | Self-Contained 3D Vision System Utilizing Stereo Camera and Patterned Illuminator |
US8259163B2 (en) * | 2008-03-07 | 2012-09-04 | Intellectual Ventures Holding 67 Llc | Display with built in 3D sensing |
US8595218B2 (en) * | 2008-06-12 | 2013-11-26 | Intellectual Ventures Holding 67 Llc | Interactive display management systems and methods |
-
2004
- 2004-09-20 US US10/946,263 patent/US8035612B2/en not_active Expired - Fee Related
- 2004-12-09 EP EP04813622A patent/EP1695196A2/en not_active Withdrawn
- 2004-12-09 JP JP2006543992A patent/JP2007514241A/ja active Pending
- 2004-12-09 WO PCT/US2004/041319 patent/WO2005057921A2/en active Application Filing
-
2007
- 2007-10-30 US US11/929,947 patent/US8035624B2/en not_active Expired - Fee Related
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009506457A (ja) * | 2005-08-31 | 2009-02-12 | マイクロソフト コーポレーション | 対話式ディスプレイ面の入力方法 |
JP2009528570A (ja) * | 2006-02-28 | 2009-08-06 | マイクロソフト コーポレーション | 対話型ディスプレイ・パネルの均一照明 |
JP2008264321A (ja) * | 2007-04-23 | 2008-11-06 | Takahiro Matsuo | 演出装置およびその演出方法 |
JP2011513828A (ja) * | 2008-02-29 | 2011-04-28 | マイクロソフト コーポレーション | 切替え可能なディフューザを備える対話型サーフェイスコンピュータ |
KR20110062484A (ko) * | 2009-12-03 | 2011-06-10 | 엘지전자 주식회사 | 사용자의 프레전스 검출에 의한 제스쳐 인식 장치의 전력 제어 방법 |
KR101688655B1 (ko) | 2009-12-03 | 2016-12-21 | 엘지전자 주식회사 | 사용자의 프레전스 검출에 의한 제스쳐 인식 장치의 전력 제어 방법 |
JP2011175543A (ja) * | 2010-02-25 | 2011-09-08 | Sanyo Electric Co Ltd | 指示体検出装置及びタッチパネル |
JP2012078516A (ja) * | 2010-09-30 | 2012-04-19 | Dainippon Printing Co Ltd | インタラクティブボード用の透過型スクリーン、インタラクティブボード、インタラクティブボードシステム |
JP2014512031A (ja) * | 2011-03-17 | 2014-05-19 | モトローラ ソリューションズ インコーポレイテッド | タッチレス・インタラクティブ・ディスプレイシステム |
JP2012215963A (ja) * | 2011-03-31 | 2012-11-08 | Hitachi Consumer Electronics Co Ltd | 映像表示装置 |
JP2014535096A (ja) * | 2011-10-07 | 2014-12-25 | クアルコム,インコーポレイテッド | 視覚ベースの対話式投影システム |
US9626042B2 (en) | 2011-10-07 | 2017-04-18 | Qualcomm Incorporated | Vision-based interactive projection system |
JP2013165480A (ja) * | 2012-01-13 | 2013-08-22 | Dowango:Kk | 映像システム、および撮影方法 |
WO2014003100A1 (ja) * | 2012-06-29 | 2014-01-03 | 株式会社セガ | 映像演出装置 |
JP2014008295A (ja) * | 2012-06-29 | 2014-01-20 | Sega Corp | 映像演出装置 |
JP2014063064A (ja) * | 2012-09-21 | 2014-04-10 | Dainippon Printing Co Ltd | 車載用表示装置、及び車載用透過型曲面スクリーン |
JP2018505455A (ja) * | 2015-01-30 | 2018-02-22 | ソフトキネティック ソフトウェア | 1つのシングル・センシング・システムを使用したマルチ・モーダル・ジェスチャー・ベースの対話型のシステム及び方法 |
US10533728B2 (en) | 2016-08-30 | 2020-01-14 | Panasonic Intellectual Property Management Co., Ltd. | Lighting device |
Also Published As
Publication number | Publication date |
---|---|
WO2005057921A2 (en) | 2005-06-23 |
US8035624B2 (en) | 2011-10-11 |
WO2005057921A3 (en) | 2005-09-29 |
US8035612B2 (en) | 2011-10-11 |
EP1695196A2 (en) | 2006-08-30 |
US20080150913A1 (en) | 2008-06-26 |
US20050162381A1 (en) | 2005-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8035612B2 (en) | Self-contained interactive video display system | |
KR101258587B1 (ko) | 자체로서 완비된 상호작용 비디오 디스플레이 시스템 | |
US7710391B2 (en) | Processing an image utilizing a spatially varying pattern | |
KR101247095B1 (ko) | 인터랙티브 디스플레이 조명 및 개체 검출 방법과 인터랙티브 디스플레이 시스템 | |
US8682030B2 (en) | Interactive display | |
US7630002B2 (en) | Specular reflection reduction using multiple cameras | |
JP6078884B2 (ja) | カメラ式マルチタッチ相互作用システム及び方法 | |
TWI470507B (zh) | 具可切換漫射器的互動式平面電腦 | |
EP2335141B1 (en) | Interactive display device with infrared capture unit | |
Hirsch et al. | BiDi screen: a thin, depth-sensing LCD for 3D interaction using light fields | |
TWI397838B (zh) | Virtual touch screen device | |
US20090128499A1 (en) | Fingertip Detection for Camera Based Multi-Touch Systems | |
US20080060854A1 (en) | Retroreflection based multitouch sensor | |
JP2014517361A (ja) | カメラ式マルチタッチ相互作用装置、システム及び方法 | |
KR101507458B1 (ko) | 대화식 디스플레이 | |
Chan et al. | On top of tabletop: A virtual touch panel display | |
JP4759412B2 (ja) | テーブル型情報表示端末 |