JP2017536715A - 立体空間の物理的な対話の発現 - Google Patents
立体空間の物理的な対話の発現 Download PDFInfo
- Publication number
- JP2017536715A JP2017536715A JP2017512921A JP2017512921A JP2017536715A JP 2017536715 A JP2017536715 A JP 2017536715A JP 2017512921 A JP2017512921 A JP 2017512921A JP 2017512921 A JP2017512921 A JP 2017512921A JP 2017536715 A JP2017536715 A JP 2017536715A
- Authority
- JP
- Japan
- Prior art keywords
- pimovs
- continuous
- projection
- people
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000014509 gene expression Effects 0.000 title description 4
- 230000010399 physical interaction Effects 0.000 title description 3
- 230000002452 interceptive effect Effects 0.000 claims abstract description 30
- 230000003993 interaction Effects 0.000 claims description 49
- 230000006854 communication Effects 0.000 claims description 47
- 238000004891 communication Methods 0.000 claims description 47
- 230000004044 response Effects 0.000 claims description 20
- 238000009877 rendering Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 59
- 230000008569 process Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 13
- 241001465754 Metazoa Species 0.000 description 12
- 230000009471 action Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 9
- 239000011521 glass Substances 0.000 description 9
- 210000003128 head Anatomy 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 239000004927 clay Substances 0.000 description 6
- 230000001788 irregular Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 241000699666 Mus <mouse, genus> Species 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000007474 system interaction Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- IRLPACMLTUPBCL-KQYNXXCUSA-N 5'-adenylyl sulfate Chemical compound C1=NC=2C(N)=NC=NC=2N1[C@@H]1O[C@H](COP(O)(=O)OS(O)(=O)=O)[C@@H](O)[C@H]1O IRLPACMLTUPBCL-KQYNXXCUSA-N 0.000 description 1
- 241000282461 Canis lupus Species 0.000 description 1
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 244000035744 Hura crepitans Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
- G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F19/00—Advertising or display means not otherwise provided for
- G09F19/12—Advertising or display means not otherwise provided for using special optical effects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
- G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
- G09F9/302—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements characterised by the form or geometrical disposition of the individual elements
- G09F9/3026—Video wall, i.e. stackable semiconductor matrix display modules
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/337—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/0055—Adaptation of holography to specific applications in advertising or decorative art
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2300/00—Aspects of the constitution of display devices
- G09G2300/02—Composition of display devices
- G09G2300/026—Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2352/00—Parallel handling of streams of display data
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/04—Display device controller operating with a plurality of display units
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/08—Power processing, i.e. workload management for processors involved in display operations, such as CPUs or GPUs
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/02—Networking aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/006—Pseudo-stereoscopic systems, i.e. systems wherein a stereoscopic effect is obtained without sending different images to the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Accounting & Taxation (AREA)
- Marketing (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Projection Apparatus (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
「PiMovsシステム」は、立体空間の物理的な対話の発現(physically interactive manifestation of a volumetric space、すなわち「PiMovs」)を提供する。幾何学フレームワークの外周は、連続するディスプレイ面で包囲され、隣接するディスプレイ面で当該外周の各セクションを覆う。更なる連続ディスプレイ面が、フレームワークの上面及び/又は下面を覆ってもよく、これらのディスプレイ面の一部のエッジも、外周上のディスプレイ面のエッジに隣接する。センサは、フレームワークの周囲の所定のゾーン内のユーザの位置及びナチュラルユーザインタフェース(NUI)入力を追跡する。連続する立体投影が生成され、各隣接ディスプレイ面の各エッジにまたがるシームレスな包囲としてディスプレイ面を介してフレームワーク上に表示される。この立体投影は、その後、追跡されたユーザの位置及びNUI入力に自動的に適合される。
Description
立体写真は、2つ以上のレンズを有するカメラ(又は画像キャプチャの間に動く単一のカメラ)を使用して、シミュレートされた3D画像をキャプチャするために、人の両眼視をシミュレートする。結果として得られる立体画像を、3D眼鏡等とともに用いて、ユーザにその画像の3Dのビューを提示することができる。関連する研究では、立体ディスプレイは、特別な機器を使用して、3Dオブジェクト又はモデルの3D視覚表現をユーザに提供する。
対照的に、パノラマ写真は、特別な機器又はソフトウェアを使用して、最大360度までカバーすることができる、細長い視界(field of view)で画像をキャプチャする。そのようなパノラマは、部屋又は空間のインテリアや壁を覆うカーブしたスクリーン上に、あるいは複数のスクリーン又はディスプレイ上に投影されてよく、その部屋や空間内にいるユーザが、あたかもそのパノラマのシーン内にいるかのようにパノラマを見ることを可能にすることができる。
この発明の概要の記載は、発明の詳細な説明において以下で更に説明される概念の選択を簡単な形で導入するために提供される。この発明の態様の記載は、特許請求に係る主題の主要な特徴又は本質的特徴を特定するようには意図されておらず、特許請求に係る主題の範囲を決定する際の助けとして用いられるようにも意図されていない。さらに、本明細書において先行技術の特定の欠点が指摘又は検討されることがあるが、特許請求に係る主題は、そのような先行技術における欠点のいずれか又は全てを解決又は対処する実装に限定するよう意図されていない。
一般に、「PiMovsシステム」は、本明細書で説明されるように、立体空間の物理的な対話の発現(physically interactive manifestation of a volumetric space、すなわち「PiMovs」)を実装するための様々な技術を提供する。この対話的な立体投影は、複数のユーザが、幾何学フレームワーク(geometric framework)を覆うか、これを備える、隣接ディスプレイ面上に描画される2D及び/又は3Dコンテンツを見て、対話することを可能にする。
より具体的には、PiMovsシステムは、幾何学フレームワークの外側の外周の周囲に連続配置で配置される複数の隣接ディスプレイ面を備える対話的立体ディスプレイを提供する。さらに、1つ以上の追加のディスプレイ面が任意選択で、幾何学フレームワークの上面及び/又は下面を覆うように配置されてもよい。言い換えると、幾何学フレームワークの少なくとも外側の外周と、任意選択により上面及び/又は下面が、連続する隣接ディスプレイ面で覆われる。PiMovsシステムは、幾何学フレームワークの外部でユーザに可視となる、連続立体投影(contiguous volumetric projection)をディスプレイ面上に一緒に生成するコンピューティングデバイスを使用する。この立体投影は、各隣接ディスプレイ面の各エッジにまたがって連続する連続立体投影のシームレスな包囲(seamless wrapping)を表す。
また、実装において、この立体投影は、幾何学フレームワークの外周を覆う(又は形成する)単一のカーブした又は柔軟な360度のディスプレイの表面にまたがる連続立体投影のシームレスな包囲を表すことに留意されたい。したがって、説明の目的のために、以下の議論では、時々「連続ディスプレイ面(contiguous display surface)」というフレーズを使用することがある。このフレーズは、幾何学フレームワークの外周を覆う(又は備える)単一のカーブした又は柔軟な360度のディスプレイを覆う又は備える複数の隣接ディスプレイを含む双方の場合を指すものとして定義される。
様々な対話シナリオ及び能力を可能にするために、PiMovsシステムは、1つ以上のカメラ又は位置感知デバイス若しくは技術を使用して、幾何学フレームワークの周囲の所定の半径内の1人以上の人々の位置を追跡する。PiMovsシステムは、連続立体投影を、幾何学フレームワークの外側の周囲の人々の追跡した位置に対してリアルタイムで自動的に適合する。これにより、これらの人々が幾何学フレームワークの外側の周囲を動くときに、連続立体投影内の物体が、その人々に対して幾何学フレームワーク内の空間の一貫した位置を占めるように見えるようになる。いずれかの隣接する画面エッジ又はディスプレイ面にまたがって遷移することを含め、物又は物体の画像又はビデオが連続ディスプレイ面の周囲を動く又は遷移するとき、その遷移もシームレスであることに留意されたい。
上記の要約を考慮して、本明細書で説明されるPiMovsシステムは、幾何学フレームワークの外側を覆う連続ディスプレイ面を使用して、立体空間の物理的な対話的発現を実装するための様々な技術を提供する。ちょうど説明した利点に加えて、PiMovsシステムの他の利点は、添付の図面とともに考慮するときに以下に続く詳細な説明から明らかになるであろう。
特許請求に係る主題の具体的な特徴、態様及び利点は、以下の説明、特許請求の範囲及び添付の図面との関連でより良く理解されるであろう。
特許請求に係る主題の様々な実装の以下の説明は、添付の図面への参照を行う。添付の図面は、その説明の一部を形成し、特許請求に係る主題を実施することができる例示の具体的実装よって示されている。現在の特許請求に係る主題の範囲から逸脱することなく、他の実装を利用してもよく、構造的変更を行ってもよいことを理解されたい。
1.0 導入
一般に、本明細書で説明されるとき、「PiMovsシステム」は、立体空間の物理的な対話発現(physically interactive manifestation of a volumetric space、すなわち「PiMovs」)を実装するための様々な技術を提供する。複数のPiMovsシステムが対話して通信することがあるので、個々のPiMovsシステムは、説明の目的で「PiMovsユニット」と呼ばれることがある。
様々な実装において、PiMovsシステムは、幾何学フレームワークの外面を覆うように、複数のディスプレイ面(例えばモニタ、投影面又は他のディスプレイデバイス)を編成することによって達成される。幾何学フレームワークは、これらには限定されないが、ピラミッド型、立体形、円形、不定形等を含め、側壁セクション(sidewall sections)を有し、かつ任意選択で上部及び下部セクションのいずれか又は双方を有する任意の所望の形状で実装され、これにより、任意の所望のサイズの360度の幾何学フレームワークを形成する。この幾何学フレームワークの外周は連続ディスプレイ面で包囲され、隣接ディスプレイ面でその外周の各セクションを覆う。
様々な実装において、この立体投影は、幾何学フレームワークの外周を覆う(又は形成する)単一のカーブした又は柔軟な360度のディスプレイの表面にまたがる連続立体投影のシームレスな包囲を表すことに留意されたい。したがって、説明の目的のために、以下の議論では、時々「連続ディスプレイ面(contiguous display surface)」というフレーズを使用することがある。このフレーズは、幾何学フレームワークの外周を覆う(又は備える)単一のカーブした又は柔軟な360度のディスプレイを覆う又は備える複数の隣接ディスプレイを含む双方の場合を指すものとして定義される。
PiMovsシステムは、次いで、幾何学フレームワークを備える連続ディスプレイ面の包囲を介して幾何学フレームワーク上への連続立体投影を生成し、表示する。より具体的には、PiMovsシステムは、各隣接ディスプレイ面の各境界エッジにまたがるか、あるいは幾何学フレームワークの外側を覆う又は備える単一のディスプレイの連続する面(及びその面内に存在し得る任意のシーム)にまたがるシームレスな包囲として描画されるという点で連続的である。言い換えると、連続する立体投影は、幾何学フレームワークの側面と、任意選択で上部及び/又は下部の全ての隣接エッジにまたがる。その結果、幾何学フレームワークの側壁を形成する連続ディスプレイ面の周囲の連続する立体投影の360度のシームレスな包囲が生じ、これは任意選択で、幾何学フレームワークの任意選択の上部及び/又は下部を交差してこれを覆う、全ての側面からの同じ立体投影のシームレスな包囲も含む。
この包囲は、立体投影が、隣接するディスプレイエッジにまたがって連続するという点でシームレスであると考えられることに留意されたい。したがって、ディスプレイ面が、投影又は表示能力を限定するエッジベゼル又は他の境界を含む場合、これらのディスプレイ面の対応する可視線(visible line)又はエッジが、他の方法では連続立体投影内に存在する可能性がある。しかしながら、様々な実装において、PiMovsシステムは、各ディスプレイ面の隣接エッジがシームレスな境界と視覚的に接続するように、ベゼル又はフレームのないディスプレイを使用するか、ベゼル又はフレームのない投影ディスプレイを使用する。
さらに、幾何学フレームワークの外側の1つ以上の領域をモニタリングするセンサを使用して、フレームワークの所定の半径内の人々の位置及びナチュラルユーザインタフェース(NUI)入力を追跡する。NUI入力には、これらに限定されないが、音声入力、空中及び接触ベースのジェスチャの双方又はその組合せを含むジェスチャベースの入力、様々な面、物体又は他のユーザ上のユーザタッチ、ホバリングベースの入力又はアクション等が含まれることに留意されたい。さらに、様々な実装において、追跡及び/又はジェスチャベースの入力は、連続ディスプレイ面に表示される生き物、人、デジタルのアバター等の表現が、幾何学フレームワークの周囲の所定の半径内の1人以上の人々を追跡及び/又は映し出す移動、動き又はジェスチャを行うことができるように、ユーザの動き又はジェスチャを映し出すこと(mirroring)を含んでもよい。
様々な実装において、PiMovsシステムは、1人以上のユーザの追跡された位置及び/又は1つ以上のNUI入力に応答して、連続立体投影を動的に適合する。例えば様々な実装において、この動的な適合は、これらに限定されないが、立体投影を、追跡された位置及び/又は任意の1つ以上のNUI入力に適合させることを含む能力を提供する。そのような動的な適合の一例は、様々な実装において、追跡される人々が幾何学フレームワークの外側の周囲を動くときに、その追跡される人々に対して幾何学フレームワーク内の空間の一貫した位置を占めるように投影内の物体を見せるようなやり方で、リアルタイムで自動的に適合される。
有利には、複数のPiMovsシステムが、有線又は無線ネットワーク、あるいは他の通信リンクを介して対話してよい。そのような対話は、対話するPiMovsシステムのいずれか1つ以上への連続立体投影に関連付けられる特定の適用及び/又はコンテンツに応じて、リアルタイムであってもよく、ディレイされてもよい。したがって、いずれかのPiMovsシステムと対話するユーザは、いずれかの場所で、他のPiMovsシステムと、あるいは他のPiMovsシステムの他のユーザと対話してもよい。これらの対話するPiMovsシステムのいずれか1つ以上の任意のセクションに表示される連続立体投影の少なくとも一部は、ユーザNUI入力、ユーザ追跡及びPiMovsシステム対話の任意の組合せの間の対話に動的に適合してもよい。そのような実装の結果として得られる効果にはユーザ対話効率の改善とユーザ対話性能の向上を提供することが含まれるが、これに限定されない。
有利には、様々な実装において、これらの能力は、PiMovsシステムが、世界中で(及び/又は軌道(orbital)若しくは他の空間ベースの場所で)ローカルコミュニティによって接続される日常環境内に配置されるシームレスなイメージのビジョンを提供することを可能にする。したがって、PiMovsシステムは、広範な対話及び通信能力を可能にする。例えばPiMovsシステムはどこにでも配置される可能性があるので、様々な実装において、PiMovsシステムは、キュレーション(例えば芸術作品の立体表示、アウトドアイベントや美術館、国際宇宙ステーション等の)3D位置への立体ポータル、のための対話的キャンバス(interactive canvas)を提供する。そのような実装の結果として得られる効果にはユーザ対話効率の改善とユーザ対話性能の向上を提供することが含まれるが、これに限定されない。
さらに、PiMovsシステムの各ユーザ又はユーザ以外のビューアーの対話経験は、連続立体投影のコンテンツ、並びにそのコンテンツに対する任意の特定のユーザ対話又は動きに依存して、状況的に(contextually)異なってよい。したがって、PiMovsシステムは、教育的、仕事関連、公的又は私的なイベント、エンターテイメント、ゲーム、通信等の交換を介して、人々又は場所を接続する公的(又は私的な)物体を提供する。多くのそのような交換では、複数のユーザは、魅惑的なローカル又はグローバルな経験又はローカル又はグローバルな経験の双方の組合せを見せることができるような連続立体投影を作成し、共有し、これらを聞き、見て、対話することができる。そのような実装の結果として得られる効果にはユーザ対話効率の改善とユーザ対話性能の向上を提供することが含まれるが、これに限定されない。
1.1 システム概要:
上記のように、PiMovsシステムの幾何学フレームワークを、任意の所望の形状で形成することができる。しかしながら、説明の目的で、以下の議論では、概して、ディスプレイ面によって覆われる4つの側面と上部を有する立方体(cube)の形で形成されるバージョンの幾何学フレームワークについて言及する。やはり、PiMovsシステムの上部及び/又は下部のディスプレイ面は任意選択であることを理解されたい。
例えばPiMovsシステムのテストされる実装は、「背面投影ディスプレイパネル(rear projective display panels)」を定義するよう柔軟な背面投影部材(flexible rear-projection material)でコーティングされるクリアなアクリルパネル、あるいは他の半透明又は透明なポリマー又はガラス部材で構築される側壁と上部を使用して、立方形で構築された。1つ以上のコンピューティングデバイスの制御下で、その立方体の5つの面(この例では、立方体の下部の除く)の各々について別個のプロジェクタが立方体の内部に配置されて、各アクリルパネルの背面を覆う背面投影部材の上に画像及び/又はビデオを投影していた。しかしながら、複数の面を覆う単一のプロジェクタを使用してもよく、あるいは単一の面を覆う複数のプロジェクタを使用してもよいことを理解されたい。これらの投影された画像及び/又はビデオは、その後、立方体の外側から明確に見えるようになった。さらに、様々な追跡及びNUIセンサは、立方体の近くの複数のユーザに関連して追跡し、入力を受け取ることを可能にするよう、立方体の周囲に配置された。図1は、そのような立方体の外側の芸術描画(artistic rendering)を示している。特に、図1は、立方形のPiMovsシステム180の外面を形成するディスプレイ面(130、140、150、160及び170)を覆う、連続立体投影120を見ている複数のユーザ(100及び110)を示す例示の図を提供している。
図1の立体投影120は、立方体の外側上のディスプレイ面(130、140、150、160及び170)に描画されるが、ビューアー(100及び110)には、立方体の内側に表示される芸術作品として見える。立方体の各面が異なる視点から芸術作品を表示し、かつ立体投影が、この例では立方体の外周全体及び上部を完全かつシームレスに包むので、この視覚的印象が維持される。その結果、この例では、ユーザが立方体の外側の周囲を動いたとしても、立体投影は、ユーザには、立方体の内部の3D物体の描画として見える。
上記で要約した処理の一部が、図2の一般的なシステム図によって例示される。特に、図2のシステム図は、本明細書で説明されるような、PiMovsシステムの様々な実装を達成するための様々なハードウェアコンポーネントとプログラムモジュールとの間の相互関係を図示している。さらに、図2のシステム図は、PiMovsシステムの様々な実装の高レベルのビューを示しているが、図2は、本明細書を通して説明されるような、PiMovsシステムの全ての可能性のある実装の包括的又は完全な例を提供するように意図されていない。
加えて、図2において、破線又は点線によって表されていることがあるいずれかのボックス及びボックス間の相互接続は、本明細書で説明されるPiMovsシステムの代替又は任意選択の実装を表すことに留意されたい。さらに、以下で説明されるように、これらの代替又は任意選択の実装のいずれか又は全てが、本明細書の全体を通して説明される他の代替的な実装と組み合わせて使用されてもよい。
一般に、図2によって示されるように、PiMovsシステムによって可能にされる処理は、ディスプレイ面を包む(又はディスプレイ面から形成される)幾何学フレームワーク200を提供することによって動作を開始する。一般に、この幾何学フレームワーク200は、360度幾何学フレームワークの外周セクションと上部及び/又は下部セクションの周囲の連続的配置として配置される複数のディスプレイ面、あるいは幾何学フレームワークの外周を覆う(又は形成する)単一のカーブ型又は柔軟な360度ディスプレイを含む。PiMovsシステムは、次いで立体投影モジュール210を使用して、連続立体投影のシームレスな被覆を描画、表示及び/又は投影することにより、ディスプレイ面上に連続立体投影を生成する。そのような連続立体投影は、各隣接ディスプレイ面の各エッジにまたがって流れるか、単一の連続ディスプレイ面上に流れる。
追跡モジュール220は、様々な位置感知デバイスを使用して、幾何学フレームワークの周囲の所定の半径内の1人以上の人々の位置を追跡する。代替的に、あるいは組合せとして、NUI入力モジュール240は、1つ以上のNUI入力(例えば音声、ジェスチャ、顔の表情、タッチ等)を受け取り、かつ/又は任意選択で1つ以上のユーザデバイス(例えばスマートフォン、タブレット、ウェアラブルセンサ又はコンピューティングデバイス等)から、1人以上のユーザからの入力を受け取る。投影更新モジュール230は、次いで、PiMovsシステムの幾何学フレームワークの外側の周囲の所定のゾーン内の1人以上の人々の追跡された位置及び/又はNUI入力に応答して、立体投影を動的に適応させる。
最後に、PiMovs制御モジュール250は、表示されるかPiMovsシステムとの対話に使用されるべき1つ以上のアプリケーション及び/又はユーザインタフェースモードを選択するのに使用され、かつ/又はカスタマイズパラメータ等を入力するのに使用される、管理ユーザインタフェース等を提供する。PiMovs制御モジュール250との対話は、様々な通信技術のいずれかを使用して達成される。そのような通信技術は、管理ユーザがPiMovs制御モジュールへリモートからアクセスすることを可能にする有線又は無線の通信システムを含むが、これに限定されない。さらに、様々な実装において、PiMovs制御モジュール250は、複数のPiMovsユニットのうちのいずれかのPiMovs制御モジュール250へのアクセスを介して複数のPiMovsユニットを制御することができ、その結果、PiMovsユニット間でデータを共有することができるように、やはり任意の所望の有線又は無線通信技術を介してPiMovsユニット間の通信を可能にする。
様々な実装において、PiMovs制御モジュール250は、PiMovsシステムの様々な動作パラメータに対する管理コントロールも提供する。そのような動作パラメータの例には、これに限定されないが、ゲームや通信アプリケーション等といったアプリケーションのうちのいずれのアプリケーションが、PiMovsシステムによって実行又は実装さているかが含まれる。他の例には、これらには限定されないが、ローカル又はリモートアクセスを可能にすること、ユーザからの入力を追跡又は受信する対話ゾーンの距離を設定すること、PiMovsシステムが対話することになるユーザの最大人数を設定すること、アプリケーション又はアプリケーションパラメータを選択すること、連続ディスプレイ面上に表示されるテキストのオーバレイを設定又は選択すること、オーディオソースを設定又は調整すること、テーマを選択又は定義すること等を含め、設定動作パラメータ及び管理機能が含まれる。
2.0 PiMovsシステムの動作の詳細:
上述のプログラムモジュールは、PiMovsシステムの様々な実装形態を実装するために用いられる。上記で概説したように、PiMovsシステムは、幾何学フレームワークの外側を覆う連続ディスプレイ面を使用して立体空間の物理的な対話発現を実装するための様々な技術を提供する。以下のセクションは、PiMovsシステムの様々な実装の動作、及び図1及び図2に関連してセクション1で説明したプログラムモジュールを実装するための例示の方法についての詳細な議論を提供する。特に、以下のセクションは、PiMovsシステムの様々な実装の例及び詳細を提供し、以下のものが含まれる:
・PiMovsシステムの動作概要;
・PiMovsシステムの例示の幾何学フレームワーク;
・例示のPiMovs追跡、感知及び描画デバイス及びハードウェア;
・例示のPiMovsインタフェースフレームワークの考慮事項
・PiMovsの接続性(connectivity)
・立体投影
・例示のPiMovsベースのアプリケーション及び対話
・PiMovsシステムの動作概要;
・PiMovsシステムの例示の幾何学フレームワーク;
・例示のPiMovs追跡、感知及び描画デバイス及びハードウェア;
・例示のPiMovsインタフェースフレームワークの考慮事項
・PiMovsの接続性(connectivity)
・立体投影
・例示のPiMovsベースのアプリケーション及び対話
2.1 動作の概要:
上記のように、本明細書で説明されるPiMovsシステムは、幾何学フレームワークの外側を覆う又は備える連続ディスプレイ面を使用して立体空間の物理的な対話発現を実装するための様々な技術を提供する。さらに、上記で概説した能力は、複数の利点及び興味深い用途を提供する。
例えばPiMovsシステムの幾何学フレームワークの各側面又はセクションは対話的である。この対話性は、部分的に、PiMovsシステムの周囲に配置される複数の追跡及びNUIセンサ及び入力デバイスの使用を通して可能にされる。これは、PiMovsシステムが、該PiMovsシステムの幾何学フレームワークの側面又はセクションごとに複数の人々を同時に追跡し、そのような複数の人々からのNUI入力を受け取ることを可能にする。PiMovsシステムの側面又はセクションごとに複数の人々と対話して応答するというこの能力は、実質的に制限のない対話モードを実装することを可能にする。そのような実装の結果として得られる技術的効果には、これに限られないが、ユーザ対話効率の改善と、ユーザ対話性能の向上を提供することが含まれる。
例えばPiMovsシステムの立方形の実装の4つの側面の各々と対話している4人の人々がいる場合、16の同時かつ潜在的に異なる対話経験が存在する可能性がある。この数は、ローカル又はリモートのPiMovsシステムと対話している人々のうちいずれか2人又はそれ以上が、異なるPiMovsシステムとの間で様々な対話を共有することを可能にすることにより、指数関数的に増加する。より具体的には、1つのPiMovsシステムの対話に対する1又は多数の人々に加えて、1つ以上のPiMovsシステムを介して1人以上の人々の間の対話の任意の組合せを可能にする、PiMovs対PiMovs対話(PiMovs-to-PiMovs interactions)も存在する。また、様々な実装において、ユーザは、スマートフォン、タブレット、ウェアラブルコンピューティングデバイス又は他のポータブルコンピューティングデバイス上で動作するモバイルアプリケーション等を介して、PiMosシステムの1つ以上の特徴及び能力と対話することができることにも留意されたい。
2.2 幾何学フレームワーク:
上記のように、PiMovsシステムの幾何学フレームワークは、側面セクションと任意選択の上部及び/又は下部セクションを有する任意の所望の形状で実装され、これにより、任意の所望のサイズの360度の幾何学フレームワークを形成する。そのような形状は、正多角形(例えばピラミッド型、立方体、八角形等)、不規則な多角形、球形や楕円、不定形等のカーブした形状等を含むが、これに限定されない。幾何学フレームワークは、例えば半球体又は不定形の上部を有する立方体のように、そのような形状の任意の組合せを含んでもよい。
形状に関わらず、この幾何学フレームワークの外周は、連続ディスプレイ面で包囲され、隣接するディスプレイ面、あるいは単一の連続又はカーブした面でその外周の各セクションを覆う。そのようなディスプレイ面の例には、限定ではないが、背面投影のための半透明又は透明な部材、固定又は屈曲可能な画面又はディスプレイデバイス等が含まれる。言い換えると、外周上の各ディスプレイ面は、その外周上の少なくとも2つの他のディスプレイ面のエッジに隣接し、したがって、当該少なくとも2つの他のディスプレイ面のエッジに続くか接続するエッジを有している。上記のように、様々な実装において、連続ディスプレイ面は、幾何学フレームワークの360度の包囲を形成する1つ以上の単一連続又はカーブ型の面を含んでもよい。追加の隣接ディスプレイ面は、フレームワークの上部及び/又は下部セクションを任意選択で覆ってよい。さらに、様々な任意選択の実装では、任意選択の上部又は下部セクションの外側の境界に沿った各ディスプレイ面の少なくとも1つのエッジは、外周上の1つ以上のディスプレイ面のエッジに隣接するか、他の方法で接続してよい。言い換えると、そのような実装では、幾何学フレームワークの側面と上部(及び/又は下部)が、任意選択でディスプレイ面により包囲され、その結果、連続立体投影が、全ての隣接又は連続するディスプレイエッジにまたがって続く。
例えば基礎となる立方形の幾何学フレームワークの各セクション(例えば4つの側面セクションと上部セクション)とほぼ同じ寸法を有する5つの矩形のディスプレイ面を備える立方形のPiMovsシステムを考える。この実装では、各側面セクション上の各ディスプレイ面の2つの反対側にあるエッジの各々が、隣接する側面セクション上のディスプレイ面の対応するエッジに接続することになる。加えて、上部セクションのディスプレイ面の4つのエッジが、幾何学フレームワークの側面セクション上のディスプレイ面の各々のエッジのうちの1つに接続することになる。言い換えると、この例示の立方形のPiMovsシステムの側面及び上部は、ディスプレイ面で包囲され、隣接するエッジの全てが接続される。
さらに、ディスプレイ面(例えば半透明ガラス、アクリルパネル等のような投影部材)が十分な構造強度を有する場合、これらのディスプレイ面は、基礎となるフレームワークがディスプレイ面をサポートするという必要性をなくすようなやり方でそのような部材のエッジを結合することにより、一体的に形成されるか他の方法で結合されてよい。言い換えると、使用される部材に依存して、様々な実装では、ディスプレイ面自体が、PiMovsシステムの基礎となる幾何学フレームワークを形成する。
例えばPiMovsシステムのテストされる実装は、クリアなアクリルパネルで構築される側壁と上部を使用して立方体の形式で構築された。これらのクリアなアクリルパネルの各々の背面投影面(すなわち、立方体の内側のパネル面)は、ラミネートとして塗布される柔軟な背面投影の中間粒度の高コントラスト部材でコーティングされた。この構成は、PiMovsシステムが、立方体の内部に配置されるプロジェクタを使用して、画像及び/又はビデオを各アクリルパネルの背面上に投影することを可能にし、これらの画像及び/又はビデオはアクリルパネルの正面から(すなわち、立方体の外側から)明確に見ることができる。
加えて、このアクリル立方体のエッジ及び角は、これらのシーム部分でアクリルの光学的性質を保持するように注意深く結合され、これによりシーム部分における立体投影の光学的歪みを最小にしている。これは、PiMovsシステムが、上記のように立方体の内側のプロジェクタを使用して、立体投影の十分にシームレスな表示を立方体の投影面上に描画することを可能にした。さらに、様々な実装において、PiMovsシステムによって提供される立体投影を、連続ディスプレイ面のセクション間の角又は他の非平面的な接続部の近くで適応的に歪めて、これらの角又は非平面的な接続部の結果から生じる任意の光学的ひずみを最小にする。
様々な実装において、PiMovsシステムの幾何学フレームワークを、例えば固定式又は回転式のベースのような、地面(ground)又は他の面上に配置することができる。PiMovsシステムの幾何学フレームワークをベース上に配置することの利点の1つは、例えばプロジェクタ、コンピュータ、追跡システム、NUIセンサ及び入力デバイス、サウンドシステム、カメラ等のように、PiMovsシステムに関連付けられるハードウェアの一部又は全てを、そのベース上に配置するか他の方法で結合することができることにある。さらに、様々な実装では、ケーブル又は他のサポート構造を使用して、PiMovsシステムの幾何学フレームワークを持ち上げるか浮かせてもよい(suspend)。ベースと同様に、PiMovsシステムの幾何学フレームワークを持ち上げるか浮かせるための任意のケーブル又は他のサポート構造を使用して、幾何学フレームワークを動かすか回転させることができる。いずれの場合にも、幾何学フレームワークの移動又は回転は、何らかの所定のスケジュール又は経路(path)で実行されるか、PiMovsシステムとのユーザ対話に応答して実行される。そのような実装の結果として得られる技術的効果には、ユーザ対話効率の改善とユーザ対話性能の向上を提供することが含まれるが、これに限定されない。
2.3 PiMovs追跡、感知及び描画ハードウェア:
上記のように、PiMovsシステムの様々な実装は、各セクションがディスプレイ面で覆われる、幾何学フレームワークを含む。有利には、固定のフラットスクリーン又は屈曲可能なディスプレイ、あるいは背面投影ハードウェアとの使用のための投影ディスプレイ面の場合、PiMovsシステムの内側は、立体投影に干渉することなく、多様な機器を配置することができる空間を提供する。そのような実装の結果として得られる技術的効果には、これらに限定されないが、見えない場所又は他の安全な場所にそのようなハードウェアを配置することにより、物理的及び処理上のセキュリティを向上させるための物理的なパラメータ及びコントロールを提供することが含まれる。しかしながら、PiMovsユニットの内側にそのようなハードウェアを配置することは、そのハードウェアを保護し、かつ視界から隠すという双方の役割を果たすが、PiMovsシステムの一般的機能性を素材的に変更することなく、このハードウェアの一部又は全てをPiMovsシステムの外側上又はその近くの可視の位置に配置してもよいことを理解されたい。
例えば図3は、PiMovsシステムを実装する際に使用するためにPiMovsシステム内に配置される例示のハードウェアを図示している。この例示のハードウェアは、これらに限定されないが、様々なコンピューティング、ディスプレイ、追跡及びNUIハードウェアデバイスを含む。この例では、複数のセクションごとのコンピューティングデバイス(per-section computing devices)(例えば305、310及び315)が、全体の立体投影の各個々のセクションを生成又は他の方法で描画する。しかしながら、ここでは図示されていないが、複数のNUIハードウェアデバイスを単一のコンピューティングデバイスに接続してもよく、あるいは、単一のNUIハードウェアデバイスを複数のコンピューティングデバイスに接続してもよいことを理解されたい。代替又は組合せとして、任意選択の全体コンピューティングデバイス320が、全体の立体投影の一部又は全てを生成又は他の方法で描画する。いずれの場合にも、結果として得られる立体投影が、PiMovsシステムの幾何学フレームワークを覆う(又は備える)ディスプレイデバイス上でのプレゼンテーションのために、複数のセクションごとのプロジェクタ又はディスプレイデバイス(例えば325、330及び335)に渡される。
表示された立体投影は、その後、1つ以上のセクションごとの追跡及びNUIセンサ(例えば340、345及び350)を介して受け取られる追跡情報及び/NUI入力に応答して、動的に更新される。代替又は組合せとして、全体追跡及びNUIセンサ355のセットが、立体投影を動的に更新する際に使用するために、追跡情報及びNUI入力を任意選択の全体コンピューティングデバイス320に提供することができる。追跡及びNUIセンサ(例えば340、345及び350)とコンピューティングデバイス(例えば305、310、315及び320)との間の通信は、任意の所望の有線又は無線脳通信プロトコル又はインタフェースを使用して達成される。そのような通信プロトコル及びインタフェースの例には、これらに限定されないが、有線又は無線のインタフェース(例えば近距離通信、リモートコントロールやIR対応型スマートフォンのようなIRベースの入力デバイス、イーサーネット(登録商標)、USB、FireWire(登録商標)、Thunderbolt(登録商標)、IEEE 802.x等)上でUDP、TCP/IP等によるデータストリーミングを感知することが含まれる。
PiMovsシステムの様々な実装は、様々な任意選択の通信又はネットワークインタフェース360を含むことにも留意されたい。任意選択の通信又はネットワークインタフェース360は、セクションごとのコンピューティングデバイス(例えば305、310及び315)のいずれか及び任意選択の全体コンピューティングデバイス320が、立体投影のセクションの描画及び投影又は表示を調整することを可能にする。さらに、任意選択の通信又はネットワークインタフェース360は、セクションごとのコンピューティングデバイス(例えば305、310及び315)のいずれか及び任意選択の全体コンピューティングデバイス320が、他のPiMovsユニットと対話するためにデータを送受信することを可能にする。
加えて、任意選択の通信又はネットワークインタフェース360は、セクションごとのコンピューティングデバイス(例えば305、310及び315)のいずれか及び任意選択の全体コンピューティングデバイス320が、任意の所望の目的又は用途のために、(例えばクラウドベースのストレージ、パブリック又はプライベートネットワーク、インターネット等の)様々なソースへデータを送信するか、様々なソースからデータを受信することを可能にする。コンピューティングデバイス(例えば305、310、315及び320)のうちのいずれかが、クライアント/サーバモデルで動作することができることに留意されたい。クライアント/サーバモデルでは、1つ以上のコンピューティングデバイスが、専用のセンサデバイスに関連付けられ、別のコンピューティングデバイスが、データを処理し、立体投影の生成を調整するようサーバとして動作する。
図4は、単一の例示の立体形状のPiMovsユニットの部分的な内部ビューを提供している。ここでは、明確性のために、コンピューティングデバイスと追跡及びNUIセンサは省略されている。特に、ディスプレイ面(例えばディスプレイ面400及び410)の背面上への背面投影の場合、1つ以上のセクションごとプロジェクタ(例えば420及び430)は、幾何学フレームワークを覆うディスプレイ面の1つ以上の対応するセクションへ全体の立体投影のセクションを投影するように、幾何学フレームワークの内側に配置される。これらのプロジェクタは、1つ以上のコンピューティングデバイスによって制御され、結果として得られる立体投影は、追跡されるユーザの動き及び/又はユーザのNUI入力に動的に適合される。加えて、図示されるように、PiMovsシステムは、任意選択で1つ以上のスピーカ又はオーディオデバイス440を含む。
同様に、図5は、例示のコンピューティング、投影及びNUIハードウェアを示す単一の例示のPiMovsユニットの上面図を提供する。図4に図示される例示のPiMovsユニットとは対照的に、図5に図示されるPiMovsユニットは、不定形の外周形状500を使用して達成される。複数のセクションごとの投影デバイス(例えば515から575)によって出力される立体投影は、追跡及びNUIセンサ510から受け取られる追跡及びユーザNUI入力に応答して、コンピューティングデバイス505によって制御される。
2.3.1 追跡センサ:
上記のように、PiMovsシステムは、様々な追跡センサ及び技術のいずれかを使用して、人々が何をしているか、人々がどこにいるかをモニタし、彼らの動きを追跡する。そのような追跡は、顔又は他の識別情報がPiMovsシステムによって収集されず、考慮もされないように、匿名状態にデフォルト設定されていることに留意されたい。しかしながら、様々な実装では、ユーザが、PiMovsシステムに、特定のアプリケーション(applications)のために使用される異なるレベルの識別情報をキャプチャして使用することを許容する明示的な許可を与えてもよい。さらに、上記のように、様々な実装では、ユーザは、スマートフォンやタブレット、ウェアラブルコンピューティングデバイス又は他のポータブルコンピューティングデバイス上で動作するモバイルアプリケーション等を介して、PiMovsシステムの1つ以上の機能及び能力と対話することができる。
一般に、追跡及びNUI入力に使用されるセンサは、特定の距離又は範囲内で良好に動作する傾向がある。したがって、様々な実装において、PiMovsシステムは、任意選択で、ユーザ追跡及び/又はNUI入力を、個々のPiMovsユニットの周囲の特定の範囲又はゾーンに限定する。例えば図6に図示されるように、一実装では、八角形の外周を有するPiMovsユニット600は、PiMovsユニットの周囲に固定又は調整可能な対話ゾーン610を含む。この例では、固定又は調整可能な対話ゾーン610によって示される最小距離の内側又は外側のいずれかにいるユーザは、NUI入力について追跡又はモニタされない。
対話ゾーンが使用されるかどうかに関わらず、追跡センサ及び技術を使用して、PiMovsシステムのセンサ範囲内のPiMovsユニット、他のユーザ又は他の物体の位置との相対で、ユーザ骨格データ、身体の位置、動き及び姿勢、頭部の位置、注視等を追跡する。位置センサ又はセンサハードウェアとソフトウェアベースの技術の組合せを使用するいずれかの所望の追跡又は位置決定技術を、そのような目的に使用することができる。その例には、これらに限定されないが、2D又は立体カメラ、深度センサ、赤外カメラ及びセンサ、レーザベースのセンサ、マイクロ波ベースのセンサ、PiMovsユニットの周囲の圧力マット、様々なユーザ追跡の目的のために音声をキャプチャするか指向性オーディオ技術を使用するためのマイクロフォンアレイ、ユーザ装着又は携行型センサ(限定ではないが、GPS感知又は追跡システム、ユーザによって装着又は携行されるモバイルデバイスに結合される加速度計、頭部装着型ディスプレイデバイス、頭部取付又は装着型仮想現実デバイス等を含む)の任意の所望の組合せが含まれる。
2.3.2 NUIセンサ:
様々な実装において、PiMovsシステムは、任意の所望の組合せのセンサを使用して、1人以上のユーザからのNUI入力をキャプチャ又は他の方法で受け取るか、これを導出する。有利には、PiMovsユニットとの相対でユーザを追跡するのに使用されるセンサ(セクション2.3.1の上記議論を参照されたい)の一部又は全てを使用して、MUI入力を受け取ることもできる。そのような実装の結果として得られる技術的効果には、これらに限定されないが、追跡及びユーザ対話効率の改善及びユーザ対話性能の向上を提供することが含まれる。一般に、NUI入力には、限定ではないが、以下のものが含まれることがある:
a.マイクロフォン又は他のセンサを介してキャプチャされるユーザ音声又は発声から導出されるNUI入力であり、1人以上のユーザを追跡するようマイクロフォンアレイ等を使用する指向性オーディオ追跡を任意選択で含む、;
b.ユーザの顔の表情から、2D又は深度カメラ(例えば立体又は飛行時間カメラシステム、赤外カメラシステム、RGBカメラシステム、そのようなデバイスの組合せ等)のような撮像デバイスを使用してキャプチャされるユーザの手、指、手首、腕、脚、身体、頭部、目等の位置、動き又は向きから導出されるNUI入力;
c.エア及び接触ベースのジェスチャの双方、ユーザによって保持される物体(例えば棒(wands)や、テニスラケット、卓球ラケット等のようなスポーツ用品)の動きから導出されるジェスチャを含め、ジェスチャ認識から導出されるNUI入力;
d.様々な表面、物体又は他のユーザの上のユーザタッチから導出されるNUI入力;
e.ホバリングベースの入力又はアクション等から導出されるNUI入力;
f.単独又は他のNUI情報との組合せのいずれかで現在又は過去のユーザの挙動、入力、アクション等を評価して、ユーザの意図、希望及び/又は予想されるアクションのような情報を予測する、予測マシンインテリジェンス処理から導出されるNUI入力。
a.マイクロフォン又は他のセンサを介してキャプチャされるユーザ音声又は発声から導出されるNUI入力であり、1人以上のユーザを追跡するようマイクロフォンアレイ等を使用する指向性オーディオ追跡を任意選択で含む、;
b.ユーザの顔の表情から、2D又は深度カメラ(例えば立体又は飛行時間カメラシステム、赤外カメラシステム、RGBカメラシステム、そのようなデバイスの組合せ等)のような撮像デバイスを使用してキャプチャされるユーザの手、指、手首、腕、脚、身体、頭部、目等の位置、動き又は向きから導出されるNUI入力;
c.エア及び接触ベースのジェスチャの双方、ユーザによって保持される物体(例えば棒(wands)や、テニスラケット、卓球ラケット等のようなスポーツ用品)の動きから導出されるジェスチャを含め、ジェスチャ認識から導出されるNUI入力;
d.様々な表面、物体又は他のユーザの上のユーザタッチから導出されるNUI入力;
e.ホバリングベースの入力又はアクション等から導出されるNUI入力;
f.単独又は他のNUI情報との組合せのいずれかで現在又は過去のユーザの挙動、入力、アクション等を評価して、ユーザの意図、希望及び/又は予想されるアクションのような情報を予測する、予測マシンインテリジェンス処理から導出されるNUI入力。
NUIベースの情報又は入力のタイプ又はソースに関わらず、そのような入力はその後、PiMovsシステムの1つ以上の入力、出力、アクション若しくは機能的特徴を、かつ/又はPiMovsシステムに関連付けられるコンピューティングデバイスのいずれかによって実行されている任意のアプリケーションを、開始し、終了し、あるいは他の方法で制御するかこれらと対話するために使用される。
さらに、様々な実装では、PiMovsシステムの1つ以上のディスプレイ面は、直接ユーザ入力を可能にする。例えば様々な実装では、ディスプレイ面の1つ以上が、タッチ感知式(例えば抵抗式又は容量式タッチ、光学感知等)である。さらに、様々な実装では、ディスプレイ面の1つ以上は、ユーザがこれらの面を押すか引っ張り、あるいは他の方法で変形することを可能にするよう柔軟であり、この場合、結果として生じる変形は、これらのディスプレイ面上に表示されている基礎となる立体投影との直接対話を提供する。言い換えると、これらのタイプのタッチ及びユーザ変形を、ローカル及びリモートPiMovsシステムに関して、1つ以上のディスプレイ面上に描画されるコンテンツと対話するためのNUI入力として使用することができる。
2.4 PiMovsインタフェースフレームワーク:
一般に、PiMovsシステムのディスプレイ面上に描画される立体投影は、ユーザ追跡及びNUI入力に応答して変化するので、PiMovsシステム上で展開される全ての対話経験は、ユーザがこれらの立体投影にどのように応答又は対話するかに応じて、PiMovsシステム上のいずれかの他の対話経験とは異なる傾向があるだろう。
様々な実装において、PiMovsシステムは、広範囲の入力及びアプリケーション設計をサポートするインタフェースフレームワークを使用することにより、そのような異なる入力に適合する。例えば様々な実装では、PiMovsシステムは、広範なコーディング環境及びグラフィクスフレームワークを提供する。そのようなコーディング環境及びグラフィクスフレームワークは、これらに限られないが、任意の所望のオープンソースのコーディング環境又はグラフィクスフレームワークと、例えばJava(登録商標)ベースのコーディング及びフレームワーク、C++ベースのオープンフレームワーク、ユニティベース展開のエコシステム等のような多様な独占的なコーディング環境又はグラフィクスフレームワークのいずれかを含む。しかしながら、PiMovsシステムは、いずれかの特定のオープンソース又は独占的なコーディング環境又はグラフィクスフレームワークに限定されるよう意図されていないことを理解されたい。
様々な実装において、PiMovsシステムは、該PiMovsシステムによって実行されている様々なディスプレイアプリケーションに、追跡及びNUIセンサデータストリームをブロードキャストするための統合的な処理を提供する、フレームワークユーティリティを提供する。例えば様々な実装において、PiMovsシステムに関連付けられるいずれかのコンピューティングデバイス上で動作する最小限のサーバタイプアプリケーションを使用して、センサのうちのいずれかからの入力を、PiMovsシステムに関連付けられるコンピューティングデバイスのいずれかによって消費し、作用することができる、消費しやすい柔軟なネットワークブロードキャストに変換する。そのようなブロードキャストのコンテンツの例には、立体投影の何らかの特定の部分に対する又は他の特定のユーザに対する、特定のユーザアクション、動き、NUI入力等のような情報が含まれる。
さらに、様々な実装において、PiMovsシステムは、1つ以上のNUIセンサデータストリームを組み合わせてPiMovsシステムの周囲の空間の結合ビュー(cohesive view)にする。これは、限定ではないが、PiMovsシステムの周囲を歩いている1人以上の人が個々のNUIセンサエリアには入らずに離れて行くが、常に結合ビュー内に留まっているように、PiMovsシステムの周囲を歩いている1人以上の人を追跡することを含め、広範囲の実装及び適用を可能にする。有利には、これは、PiMovsシステムの連続ディスプレイ面上に描画される立体投影のシームレスな性質に加えて、NUIデータを「シームレス」に維持する。そのような実装の結果として得られる技術的効果には、限定ではないが、ユーザ対話効率の改善と、ユーザ対話性能の向上を提供することが含まれる。
例えば様々な実装において、PiMovsシステムは任意選択で、サウンドシンセサイザ、コンピュータ及び他のマルチメディアデバイスをネットワーク化するためのオープンサウンドコントロール(OSC:Open Sound Control)プロトコルが、センサデータをブロードキャストするためにPiMovsシステムによって使用されるように適合する。一般に、OSCは、様々な対話的分野のフレームワーク(interactive art frameworks)で有益なTCP/IP実装を提供するユーザデータグラムプロトコル(UDP)の上に構築される。そのような場合、データメッセージは、変数のタイプされた引数に続くルーティングアドレスとともにフォーマットされる。
様々な実装において、PiMovsシステムは、PiMovsシステムのセンサ範囲内の手若しくは指の動き又は他のジェスチャNUI入力を、タッチスクリーン及び/又はポインティングデバイスイベント又は入力へ転換又は他の方法で変換するように動作する、アプリケーションプログラミングインタフェース(API)又は他のアプリケーション又はインタフェースを提供する。これは、いずれかの既存のプログラム又はアプリケーションについて入力ソースが最初に何を意図又は予想されていたとしても、これらのプログラム又はアプリケーションが入力を受け取っているかのように、PiMovsシステムがこれらのプログラム又はアプリケーションを使用又はこれらと対話することを可能にする。例えば様々な実装において、PiMovsシステムは、NUIセンサから受け取った手の位置を変換し、マウスカーソルを移動させるよう、PiMovsシステムに関連付けられるオペレーティングシステムに指示する。同様に、様々な実装において、PiMovsシステムは、例えば握り拳のような手のジェスチャを、現在のカーソル位置におけるタッチイベント(タッチスクリーン又は他のタッチ感知面上でのユーザのタッチのような)として変換することができる。そのようなタッチイベントは、次いで、対応する「マウスダウン」又はクリックイベント等に変換されてよい。
2.5 PiMovs接続性(Connectivity):
上記のように、様々な実装において、PiMovsシステムは、ネットワーク化された対話的な公開物体(public object)を提供する。さらに、そのような対話は、いずれかの2つ以上のPiMovsユニット間で、これらのユニットがどこに配置されているかに関わらず、これらのPiMovsユニット間で通信又はネットワーキング経路が存在する限りにおいて起こる可能性がある。PiMovsユニット間のそのような対話の結果は、コンテンツ、対話及び経験を世界にまたがり、更には宇宙ベースの場所にいる複数のユーザによって共有することができる、対話的エコシステムである。
例えば図7は、任意の場所から通信する個々のPiMovsユニットと対話する複数のユーザを示す、例示のPiMovsエコシステムの図を提供する。例えば図7の図では、複数のユーザ700が、シアトルでPiMovsユニット710上に描画された立体投影と対話している。また、図7は、ロンドンでPiMovsユニット730上に描画された立体投影と対話している複数のユーザ720も示している。また、図7は、北京でPiMovsユニット750上に描画された立体投影と対話している複数のユーザ740も示している。最後に、図7は、ニューヨークのタイムズスクエアで相対的にかなり大きいPiMovsユニット770上に描画された立体投影と対話している複数のユーザ760も示している。図7の例では、PiMovsユニット(710、730、750及び770)の各々が、有線及び/又は無線のネットワーク接続を介して通信している。有利には、PiMovsシステムの通信能力は、図7に図示されるPiMovsユニットの各々のユーザが一緒に、これらのPiMovsユニットの一部又は全てに表示され得る共通の立体投影と対話することを可能にする。
様々な実装において、1つのPiMovsシステムの任意の側面、面又はセクション上の立体投影のセクションと対話しているユーザは、別の場所でPiMovsシステムの任意の側面、面又はセクション上の立体投影のセクションと対話している、別の場所にいるユーザと対話することができる。さらに、任意のPiMovsシステムの各側面、面又はセクションが、異なるPiMovsシステムの側面、面又はセクションと対話してもよく、これにより、任意の特定のPiMovsシステムが、任意の時間に複数のPiMovsシステムと通信し対話してもよい。
上記のように、様々な実装において、PiMovsシステムは、限定ではないが、スマートフォンやタブレット、メディアデバイス、リモートコントロール、ポインティングデバイス等を含むポータブルコンピュータと対話するための様々な通信能力を提供する。PiMovsシステムとそのようなポータブルデバイスとの間の対話及び通信を可能にする通信技術は、これらに限定されないが、RFID又は他の近距離通信、IRベースの通信、Bluetooth(登録商標)、Wi−Fi(例えばIEEE 802.11(a/b/g/n/i等)GSM(登録商標)(Global System for Mobile)通信、GPRS(general Packet Radio Service)、様々なCDMA(various code division multiple access)無線ベース技術、EV−DO(Evolution-Data Optimized)、EDGE(Enhanced Data Rates for GSM Evolution)、UMTS(Universal Mobile Telecommunications System)、DECT(Digital Enhanced Cordless Telecommunications)、デジタルAMPS(すなわち、IS-136/TDMA)、iDEN(Integrated Digital Enhanced Network)等を含む。
様々な実装において、上記したもののような通信能力は、PiMovsシステムが、ユーザによって担持される様々なポータブルコンピューティングデバイスへデータ又は情報をプッシュ又は他の方法で送信することを可能にし、また、これらのデバイスが、PiMovsシステムから情報をプルすることも可能にする。そのような能力の単なる一例は、スマートフォンのようなポータブルコンピューティングデバイスに組み込まれ、結合されるか又は他の方法で通信するセンサを使用して、例えばPiMovsシステムにセンサデータを提供するか、他のデータ又はユーザ個人化情報を入力又は共有することである。そのような能力の別の単なる一例は、限定ではないが、立体投影上にオーバレイとして、あるいは立体投影内に他の方法で含まれる画像要素として、1つ以上のQR(Quick Response)コード又は他のスキャン可能なコードを表示することを含む。ユーザは、その後、カメラ機能のあるポータブルコンピューティングデバイスを使用して、そのようなコードをスキャンして、これらのコンピューティングデバイスが第2の画面経験(second-screen experience)を提供することを可能にするか、あるいは関連するデータを自動的に取り出す(例えばファイル、情報、リンク等をダウンロードし、あるいはウェブページ等を開く)ことを可能にすることができる。
2.6 立体投影:
既存のパノラマ又は仮想現実の「部屋」はしばしば、ユーザがあたかもその空間の内側にいるかのように見える、外側の空間又はシーンのビューを一緒にステッチ(stitch)する。言い換えると、パノラマ及び仮想現実の部屋はしばしば、何らかの空間のステッチされたパノラマビューを表す画像又はビデオの再生を提供する。
対照的に、PiMovsシステムによって提供される立体投影は、ビューアーに、幾何学フレームワークの内側に表示されるコンテンツとして見えるビューを表し、このビューは、ビューアーによって幾何学フレームワークの外側から観察可能である。幾何学フレームワークの各面又はセクションが、異なる視点からの立体投影のコンテンツを表示することができ、そして、立体投影が、幾何学フレームワークの外周全体と、任意選択により上面及び/又は下面を完全かつシームレスに包囲するので、この視覚的印象が維持される。その結果、ユーザがその幾何学フレームワークの外側の周囲を移動したとしても、ユーザには、立体投影の一部又は全てが、幾何学フレームワークの内側の2D及び/又は3Dコンテンツの描画として見える。
より具体的には、PiMovsシステムの立体投影は、2D又は3Dコンテンツ、あるいは2D又は3Dコンテンツの任意の所望の組合せを含んでよい。立体投影のコンテンツは、ユーザが動いて、その立体投影を見るか他の方法で対話すると、ユーザの追跡された位置に自動的に適合される。様々な実装において、立体投影のこの自動適合には、限定ではないが、ユーザの位置及びPiMovsシステムに対する視野角に基づいて、立体投影の視点を変更することも含まれる。
2.6.1 透視図(Perspective Views)及び位置追跡:
上記のように、様々な実装において、ユーザがPiMovsシステムの周囲を歩くかPiMovsシステムに関連して動くと、その視点は、立体投影の仮想物体又は他のコンテンツが、幾何学フレームワークの内側の一貫した物理的な空間又は場所にあるように見えるように変化する。これは、単に各画面又はディスプレイ面上の異なるカメラアングルを示すものと同じではない。代わりに、PiMovs システムに関連付けられる1つ以上のセンサが、個々の人々又は人々のグループ及び/又は各人の頭部を積極的に追跡し、次いで、画面又はディスプレイ面ごとに、人がPiMovsシステムに対して移動すると、個々の画面にまたがって視点が変化するように、仮想カメラアングルを積極的に変更する。様々な実装において、この同じ視点の問題は、ディスプレイ面ごとに複数のプロジェクタとの組合せによる偏光画面(polarized screens)等、あるいはアクティブシャッターガラス等を使用することにより、画面又はディスプレイ面ごとの複数の人々について解決される。これは、同じディスプレイ画面を異なるアングルから見ている人々が、その相対的なビューアーングルに依存して、同じ画面の異なる画像又は異なる視点を見ることを可能にする。
説明の目的で、以下の例は、立方体のPiMovsシステムの場合を説明する。この場合、単一のユーザが、4つの側面を有する立方体のPiMovsシステムを見ている。以下の例は、側面ごとに追加のビューアーに挿入され、マルチサイドのPiMovsシステムの追加の側面に挿入されてもよいことに留意されたい。
例えば単一のユーザが4つの側面のPiMovsシステムを見ており、1つ以上のコンピュータが一緒に、各追跡センサ及び各ディスプレイ面上に描画される立体投影の部分を制御する場合を考える。この場合、センサデータストリームは、ユーザの目の位置、ユーザの頭部の位置及び/又はユーザの骨格位置に基づいてPiMovsシステムの周囲内のユーザの動きのリアルタイムの統一ビューに組み合わされる。このリアルタイムユーザ追跡情報はPiMovsシステムによって使用され、追跡されたユーザに可視の任意のディスプレイ面を修正し、そのユーザに対して立体投影のコンテンツの正しい視点のビューを表示する。言い換えると、この例では、立体投影のコンテンツは、ビューアーに対して、PiMovsシステムの内部に存在するように見え、かつユーザがPiMovsシステムの幾何学フレームの外側の周囲を動くとディスプレイ面の間をシームレスに遷移する、仮想空間のシームレスな表現として見えることになる。
そのような能力を実装することができる様々な方法の1つは、PiMovsシステムの各面又はセクション(例えば各ディスプレイ面)と同じサイズであり、したがって、これら覆う仮想境界のボックス(virtual bounding boxes)を考慮する。各仮想境界のボックスは、立体投影の対応する面又はセクション上に描画される1つ以上の物体、シーン又は他のコンテンツを囲む。説明の目的で、描画されているコンテンツ(すなわち、物体、シーン又は他のコンテンツ)を物体と呼ぶことがあることに留意されたい。
仮想光線トレーシングカメラ(virtual ray-tracing camera)が、追跡されるユーザのビューの始点に対応する空間内の点から物体の方に向けられる。より多数の仮想光線が、仮想光線トレーシングカメラから物体の方へ投影され、PiMovsシステムの対応するディスプレイ面を表す視界(field of view)を覆う。その後、各仮想光線が、立体投影の対応する面又はセクションを覆う仮想境界ボックスと交差する位置が、仮想光線が当たる任意の可視テクスチャの対応する色に沿って自動的に識別される。
次いで、各仮想光線の識別された交差の色を使用して、これらの光線が可視境界ボックスと交差した同じ場所で(立体投影の対応する面又はセクションを覆う)仮想可視ボックスを更新する。この可視ボックスの周囲には、固定の仮想位置には4つの仮想カメラがあり、立方体の各側面に対して1つである。各仮想カメラは、その固定の仮想位置から見える、更新された仮想可視ボックスの画像を実質的にキャプチャし、次いで、その実質的にキャプチャされた画像をPiMovsシステムの対応する物理ディスプレイに描画する。
次いでユーザが移動すると、仮想光線の追跡カメラは、ユーザの追跡されたビューポイントとともに動くが、引き続き物体の方へポイントする。上記で説明される処理は、ユーザがPiMovsシステムの幾何学フレームワークの外側の周囲を移動すると、実際の立体投影がリアルタイムで継続的に更新されるように、連続的に繰り返される。
さらに、この立方体PiMovsシステムの例では、(ユーザが角に又は角の近くに立っていると想定すると)側面のうちの最大2つがユーザに可視となるであろう。したがって、様々な実装において、ユーザに可視でない側面は、デフォルトのビューを表示するか、ビューを表示せず、あるいは異なるユーザの追跡に基づいてそれぞれのビューを表示してもよい。
2.6.2 立体及び3Dディスプレイの考慮事項:
一般に、任意の立体投影の任意の部分の一部又は全てのコンテンツは、立体画像及び/又はビデオを1つ以上のディスプレイ面に投影するよう、立体プロジェクタ等を使用して描画される3Dコンテンツを含み得る。そのような実装では、使用されている3D技術の特定のタイプに依存して、ユーザが装着している受動3D眼鏡又はアクティブシャッター眼鏡(例えば高速に左右目を切り替える眼鏡等)が、実際のコンテンツとして立体投影を見るであろう。さらに何らかの固定又は受動3Dディスプレイデバイスは、3Dモニタの特定の範囲又は表示角度内のユーザが、3D眼鏡又はアクティブシャッター眼鏡の使用なしに3Dのコンテンツを見ることを可能にする。したがって、PiMovsシステムの幾何学フレームワークのディスプレイ面の一部又は全てについて完全又は部分的な3D表示能力を含むように、幾何学フレームワークの1つ以上のセクション(又はサブセクション)を、そのような3Dタイプのデバイスを用いてタイル化し、包囲し、あるいは他の方法で覆うことができる。様々な実装において、PiMovsシステムは、一般的にコンピュータゲーム及び映画に使用される3Dの表示視点を変更するための技術に視差及び運動感覚を追加することにより、立体投影の立体コンテンツ又は3Dコンテンツを改善するように立体投影を修正する。さらに、各目について別個の左右画像を使用することにより、人間の脳に対して、立体投影内の深度又は3Dコンテンツを認識させる。
一般に、任意の立体投影の任意の部分の一部又は全てのコンテンツは、立体画像及び/又はビデオを1つ以上のディスプレイ面に投影するよう、立体プロジェクタ等を使用して描画される3Dコンテンツを含み得る。そのような実装では、使用されている3D技術の特定のタイプに依存して、ユーザが装着している受動3D眼鏡又はアクティブシャッター眼鏡(例えば高速に左右目を切り替える眼鏡等)が、実際のコンテンツとして立体投影を見るであろう。さらに何らかの固定又は受動3Dディスプレイデバイスは、3Dモニタの特定の範囲又は表示角度内のユーザが、3D眼鏡又はアクティブシャッター眼鏡の使用なしに3Dのコンテンツを見ることを可能にする。したがって、PiMovsシステムの幾何学フレームワークのディスプレイ面の一部又は全てについて完全又は部分的な3D表示能力を含むように、幾何学フレームワークの1つ以上のセクション(又はサブセクション)を、そのような3Dタイプのデバイスを用いてタイル化し、包囲し、あるいは他の方法で覆うことができる。様々な実装において、PiMovsシステムは、一般的にコンピュータゲーム及び映画に使用される3Dの表示視点を変更するための技術に視差及び運動感覚を追加することにより、立体投影の立体コンテンツ又は3Dコンテンツを改善するように立体投影を修正する。さらに、各目について別個の左右画像を使用することにより、人間の脳に対して、立体投影内の深度又は3Dコンテンツを認識させる。
興味深いことに、様々な実装において、1つ以上の3Dモニタを、幾何学フレームワークのより大きなディスプレイ面の異なるセクションに挿入するか、他の方法で統合することができる。したがって、個々のユーザの頭部及び/又は目の追跡を使用して、対応する3Dモニタ挿入に関して、これらの個々のユーザについての立体投影のシーンの「仮想カメラアングル」を変更することができる。したがって、ユーザが立っているか見ているかに依存して、個々のユーザは、全体の立体投影のより小さな部分への3Dウィンドウ(3D window)を経験することがある。したがって、全体の幾何学フレームワークを、3Dモニタで包囲するか覆って、立体投影の一部又は全てを、これらの3Dモニタを介して描画して表示する。
2.7 例示のアプリケーション(Exemplary Applications)及びユーザ対話シナリオ:
上記のように、PiMovsシステムの側面又はセクションごとに複数の人々と対話及び応答する能力は、実質的に無制限のモードの対話及びアプリケーション(適応)が実装されることを可能にする。そのようなアプリケーションの数例を以下の段落で議論する。提示される例示のアプリケーションは、単に説明の目的のために検討されるものであり、これらの例示のアプリケーションは、PiMovsシステムの使用を、説明される例示のアプリケーションのタイプに限定するように意図されていないことを理解されたい。
2.7.1 形状シフターアプリケーション(Shape-Shifter Application):
上記のように、PiMovsシステムによって可能にされる全ての対話経験は異なることになる。例えばPiMovsシステムによって可能にされる1つのアプリケーションは、形状シフトアプリケーションであり、この場合、ユーザは、動的に映し出されるが、変更された抽象化(mirrored but altered abstraction)として自分自身を見る(例えば吸血鬼としてのユーザ、ケンタウロスとしてのユーザ、異なる衣服を着たユーザ、月の上を歩いているユーザ等)。
様々な実装において、これらの変更された抽象化は、全体の立体投影上に描画される。そのような適用では、例えば移動すること、ジャンプすること、手を振ること又は単にPiMovsシステムを通り過ぎること等の動きにより、変更された抽象化の移動を、PiMovsシステムの追跡能力を介するユーザの移動にマップすることになる。さらに、この適用の様々な実装では、幾何学フレームワークの異なる側面へと移動するユーザは、他の様々な抽象化への更なる形状シフトを見ることになる。
さらに、そのような目的に使用さされる抽象化のタイプは、1人以上のユーザの検出される年齢、性別、人種(race)等に依存して変えることができる。例えばユーザの映し出された画像(例えば変更された抽象化)を恐ろしいオオカミ男のように見えるように変えることは、十代のユーザには適しているが、より小さな子供には適していないことがある(蝶や何らか他の怖くない抽象化としてより適切に写し出される可能性がある)。
形状シフトアプリケーションの幾つかの追加のオプション及びモードが以下で簡潔に説明される。
a.インビテーションモード(Invitation Mode):様々な実装において、各PiMovsユニットは、テーマに基づく立体投影を表示して、ユーザの注意及び対話を誘う。様々な実装において、このテーマは、PiMovsユニットの周囲の外部環境及び/又はその環境内の人々に応じて、手動で選択されるか自動的に選択される。例えばPiMovsユニットの周囲でアクティビティがないとき、特定のテーマ内の1以上の動物、生き物、人々等(例えばセレンゲティの平原地帯の絶滅寸前の動物、想像上の生き物、歴史上の有名人物、宇宙人等)が、PiMovsユニットの面にまたがって周期的に飛び、走り又は歩いて、通り過ぎる人々の好奇心を生み出す。
b.オルタナティブユニバース(Alternative Universe):PiMovsシステムの周囲の空間がよりアクティブになると、動物が(幾何学フレームワークの面のそれぞれのディスプレイ面上で)そのグループから姿を現して、そのペース及び空間内の配置を範囲内の通行人(in-range passersby)にマップする。ユーザがそのペースを落とすか止まると、これらの動物はこれを映し出すことになる。様々な実装において、ユーザは次いで、自然言語処理又は他の言語ベースのコンピュータ対話技術を使用して、その動物と会話してよい。例えばユーザは、最も近いBBQレストランがどこにあるかをイノシシに聞いてもよい。イノシシは、次いで、録音済みの音声又は合成音声で答えることができ、地図又はそのレストランまでの道を表示してもよい。
c.マジックコーナー(Magic Corners):PiMovsシステムの幾何学フレームワークの周囲の流れを促進するために、様々なアプリケーションでは、コーナーを曲がることにより、PiMovsシステムテーマ内の別の動物への形状シフトをトリガすることになる。PiMovsシステムの他の面は、同じ対話モデルであるが(PiMovsシステムテーマに分類される)異なる動物を反映する。ユーザが離れるとき、あるいは特定の時間の後に、ある動物が、対話の終了を知らせるためにそのグループの外へ歩いて行くことになる。
d.抽象又は芸術的表現(Abstract or Artistic Representation):別世界の遊び心のある経験を提示するよう、視覚的に人目を引く抽象的な芸術作品(artist abstractions)として動物を表示することができる。
e.アニマルパラダイス(Animal Parades):様々な実装では、1つ以上のPiMovsシステムが、動物又は生き物に、PiMovsシステム上に描画される立体投影にまたがってふざけて行進(march)させることにより、世界中の関連する異なるPiMovsシステムから動物又は生き物のパラダイスを描画することで、他のPiMovsシステムへの好奇心及び潜在的な訪問を促すように動作する。
f.公開イベント(Public Events):PiMovsシステムを、オリンピックやバーニングマン(Burning Man)のようなイベント会場に置くことができる。生き物又はテーマはこれに応じて変化してよい(例えばオリンピックのマスコットや、宇宙人、スポーツのスター等)。
a.インビテーションモード(Invitation Mode):様々な実装において、各PiMovsユニットは、テーマに基づく立体投影を表示して、ユーザの注意及び対話を誘う。様々な実装において、このテーマは、PiMovsユニットの周囲の外部環境及び/又はその環境内の人々に応じて、手動で選択されるか自動的に選択される。例えばPiMovsユニットの周囲でアクティビティがないとき、特定のテーマ内の1以上の動物、生き物、人々等(例えばセレンゲティの平原地帯の絶滅寸前の動物、想像上の生き物、歴史上の有名人物、宇宙人等)が、PiMovsユニットの面にまたがって周期的に飛び、走り又は歩いて、通り過ぎる人々の好奇心を生み出す。
b.オルタナティブユニバース(Alternative Universe):PiMovsシステムの周囲の空間がよりアクティブになると、動物が(幾何学フレームワークの面のそれぞれのディスプレイ面上で)そのグループから姿を現して、そのペース及び空間内の配置を範囲内の通行人(in-range passersby)にマップする。ユーザがそのペースを落とすか止まると、これらの動物はこれを映し出すことになる。様々な実装において、ユーザは次いで、自然言語処理又は他の言語ベースのコンピュータ対話技術を使用して、その動物と会話してよい。例えばユーザは、最も近いBBQレストランがどこにあるかをイノシシに聞いてもよい。イノシシは、次いで、録音済みの音声又は合成音声で答えることができ、地図又はそのレストランまでの道を表示してもよい。
c.マジックコーナー(Magic Corners):PiMovsシステムの幾何学フレームワークの周囲の流れを促進するために、様々なアプリケーションでは、コーナーを曲がることにより、PiMovsシステムテーマ内の別の動物への形状シフトをトリガすることになる。PiMovsシステムの他の面は、同じ対話モデルであるが(PiMovsシステムテーマに分類される)異なる動物を反映する。ユーザが離れるとき、あるいは特定の時間の後に、ある動物が、対話の終了を知らせるためにそのグループの外へ歩いて行くことになる。
d.抽象又は芸術的表現(Abstract or Artistic Representation):別世界の遊び心のある経験を提示するよう、視覚的に人目を引く抽象的な芸術作品(artist abstractions)として動物を表示することができる。
e.アニマルパラダイス(Animal Parades):様々な実装では、1つ以上のPiMovsシステムが、動物又は生き物に、PiMovsシステム上に描画される立体投影にまたがってふざけて行進(march)させることにより、世界中の関連する異なるPiMovsシステムから動物又は生き物のパラダイスを描画することで、他のPiMovsシステムへの好奇心及び潜在的な訪問を促すように動作する。
f.公開イベント(Public Events):PiMovsシステムを、オリンピックやバーニングマン(Burning Man)のようなイベント会場に置くことができる。生き物又はテーマはこれに応じて変化してよい(例えばオリンピックのマスコットや、宇宙人、スポーツのスター等)。
2.7.2 共有デジタルアートアプリケーション:
PiMovsシステムによって可能にされる別のアプリケーションは、複数のユーザが、デジタル「クレイ(clay)」という仮想ブロックに対して、ローカルに又は世界中から、他者と対話又は協調することを可能にすることであり、リアルタイム対話を直接提示し、「アーティスト」の見解(notion)を分散化する。図8及び図9はこのアプリケーションの簡単な例を示す。
特に、図8は、様々なハンドベースのジェスチャをNUI入力として使用して、PiMovsシステム850のディスプレイ面上の動的な立体投影として提示されるデジタルクレイ(digital clay)840を形作る、複数のユーザ(800、810、820及び830)を示している。同様に、図9は、同様のデジタルアート対話のクローズアップを示しており、複数のユーザ(900及び910)が、様々なハンドベースのジェスチャをNUI入力として使用してデジタルクレイ920を形作っている。
共有デジタルアートアプリケーションの様々な実装についての幾つかの追加のオプション及びモードを、以下で簡単に概説する。
a.協調的サンドボックス(Collaborative Sandbox)としてのPiMovsシステム:異なる都市のPiMovsが1つの協調的プレイエリアへのポータルとしての役割を果たす。各都市は、より大きな複数都市協調の一部を表す、「クレイ」の特定の色付けされたセットと対話する。
b.リアルタイム協調(Real-Time Collaboration):PiMovsユニットの周囲の多くの参加者が、(色を通して識別される)モデルの一部と対話し、彼らの都市のプッシュ及びプルが、より大きなピクチャにどのように影響するかを、動的に適合する立体投影を通して見ることができる。全ての参加者が、他の都市は協調のそれぞれの部分とどのように対話しているかを見ている。
c.ジェスチャ操作(Gestural Manipulation):(例えば色によって識別される)「クレイ」の1つの都市のセクションを、ジェスチャによりプッシュ又はプルすることができ、リアルタイムで見ることができる。
d.マザーディスプレイ(Mother Display):「マザー」又はプライマリPiMovsユニットは、異なる都市の各々にいるユーザによる「クレイ」の結合操作(joint manipulation)によって作成される芸術作品の全体的な立体投影を描画する。様々な実装において、マザーPiMovsユニットは、数都市の間の芸術的協調の低速度撮影(time-lapse)を用いて美しい瞬間を作成することができる。この低速度撮影によって網羅されるタイムスパンは、分単位、時間単位、日単位、あるいは週単位でも測定され、したがって、世界中からの作品の連続的変形を生じる。
a.協調的サンドボックス(Collaborative Sandbox)としてのPiMovsシステム:異なる都市のPiMovsが1つの協調的プレイエリアへのポータルとしての役割を果たす。各都市は、より大きな複数都市協調の一部を表す、「クレイ」の特定の色付けされたセットと対話する。
b.リアルタイム協調(Real-Time Collaboration):PiMovsユニットの周囲の多くの参加者が、(色を通して識別される)モデルの一部と対話し、彼らの都市のプッシュ及びプルが、より大きなピクチャにどのように影響するかを、動的に適合する立体投影を通して見ることができる。全ての参加者が、他の都市は協調のそれぞれの部分とどのように対話しているかを見ている。
c.ジェスチャ操作(Gestural Manipulation):(例えば色によって識別される)「クレイ」の1つの都市のセクションを、ジェスチャによりプッシュ又はプルすることができ、リアルタイムで見ることができる。
d.マザーディスプレイ(Mother Display):「マザー」又はプライマリPiMovsユニットは、異なる都市の各々にいるユーザによる「クレイ」の結合操作(joint manipulation)によって作成される芸術作品の全体的な立体投影を描画する。様々な実装において、マザーPiMovsユニットは、数都市の間の芸術的協調の低速度撮影(time-lapse)を用いて美しい瞬間を作成することができる。この低速度撮影によって網羅されるタイムスパンは、分単位、時間単位、日単位、あるいは週単位でも測定され、したがって、世界中からの作品の連続的変形を生じる。
2.7.3 仮想ポータル:
PiMovsシステムによって可能にされる別のアプリケーションは、ユーザに、大きなスケールで緊密なもの(intimate one)と会話するよう新しい場所への仮想移送を提供し、自発的コミュニティを構築する。センサは人々を追跡し、カメラを使用するので、様々な実装において、PiMovsシステムは、プライバシを保護するために別のPiMovsユニットの立体投影で描画される人々を不鮮明にすることになることに留意されたい。結果として、ユーザは(別の場所からの立体投影を通して)別の人を見ることができるが、その別の人の顔を特定することはできない。しかしながら、ユーザは、他者がそのユーザを見ることができ、潜在的には対話することができるようにすることを望む場合、ユーザは、自身の顔からスクランブルアルゴリズムを除去することができる。仮想ポータルアプリケーションの様々な実装についての幾つかの具体的な例及び追加のオプション及びモードを、以下で簡潔に概説する。
a.場所選択「ルーレット」:PiMovsユニットに誰も近づいていないとき、世界中の他のPiMovsユニットへのポータルについて全ての可能性が生きているように見える。近づくと、あるいは人々が特定の範囲内にいる場合、PiMovsユニットは、検索基準に合致する異なる立方体へのポータルについて検索するように「ルーレット」モードに入る。そのような基準の例には、他のPiMovsユニットの周囲のアクティビティ、訪問者の年齢、したがって子供の場合には子供のみ、特定の場所の要求(例えば「パリをお願いします」又は「私をポルトガルに連れて行って」)、世界の別の場所のユーザに合致するシャツの色等が含まれるが、これらに限定されない。図10はこの実装の例を示す。特に図10は、PiMovsユニット1010への接近1000を示している。PiMovsユニット1010は、世界中の他のPiMovsユニットへの利用可能なポータルの視覚的に回転するグリッドを表す、立体投影1020を表示している。
a.ルーブル(又は他の場所)へのポータル:「ルーレット」がセクションを作ると、異なるPiMovsユニットのビューへの次元ポータル(dimensional portal)が、そのPiMovsユニットの場所に通じる。言い換えると、あるPiMovsユニットの立体投影を別のPiMovsユニットに移送する(transport)ことができる。様々な実装においては、人々を描くために、PiMovsユニットに対する訪問者の近さは、ポータル環境がどのくらい明確又は曖昧に見えるかを示す。様々な実装において、PiMovsシステムは、ポータル内の人々を分けて、人間のつながりを促進するようこれらの人々を明確に見えるようにする。立方形において、会話について直ぐに立ち上がる人がいない場合、訪問者は、手を振る(wave)することによりポータル内の誰かの注意を得ることが可能である。実際、図11はそのような例を示している。特に、図11は、女性1100が、異なる場所におけるPiMovsユニット1120のポータルを通して、遠方にいる(立体投影として)可視の男性1110に手を振っている様子を図示している。図12は、2つの別個のPiMovsユニットを介した女性1100と男性1110との間の後続のフェーストゥーフェース通信(リアルタイムビデオ、オーディオ等)を示すことにより、この例を継続している。この例では女性1100と男性1110の双方が、互いに対して、それぞれのローカルPiMovsユニットを介して立体投影として見える。さらに、これらの人々の各々の音声は、1つ以上のローカルPiMovsセンサ(例えばマイクロフォン)によってキャプチャされ、他のPiMovsユニットに送信され、1つ以上のオーディオ出力デバイス等を介して再生される。
b.インタフェースの例:近接性に加えて、ウインクや笑顔、「ハロー」と言うことは、PiMovsユニット上の環境を反応させて、心地よくなり(crisp)、注意を引き、人々を引き込む。対話が終わるとき、あるいはユーザが新たな場所を見たいと思う場合、後退することは、ポータルを不鮮明なものにする。ルーレットが再び開始し、あるいは他の方法で誰かフレームへ足を踏み入れる場合、顔認識は、ポータルを開いたままにして、継続する会話が心地よいものになることを可能にするであろう。
c.人間のつながり(Human Connection):人が、親密な会話のために正しい範囲内に入ると、立方体上のポータルはクリアになって、その状態にとどまる。外見的に異なる位置からの2人の人々が、立方形を使用してフェーストゥーフェースの会話を持つ。図11及び図12に関連して上記した議論及び例を参照されたい。
d.仮想のつながり(Virtual Connection):「ルーレット」がいかなる結果も生成しない場合、PiMovsシステムは、ユーザが会話をすることができる「スマート」アバターを生成することになる。
e.リアルタイムトランザクション:様々な二者通信シナリオでは、PiMovsシステムは、様々なリアルタイムマシン翻訳技術のいずれかを使用して、各ユーザの言語の音声の他のユーザの言語の音声へと翻訳する。例えばそのような能力は、ネイティブの英語の話者(又はいずれかの他の言語)が、それぞれのPiMovsユニットを介して他のユーザに提示される各ユーザの立体投影を介して、ネイティブの北京官話の話者(又はいずれかの他の言語)とリアルタイムで会話することを可能にする
f.ポータル・ベースボールゲーム(Portal-Based Ball Game):様々な実装において、多様な共有ゲームベースのアプリケーションが、PiMovsシステムによって可能にされる。例えば1つのそのようなゲームでは、ユーザは、NUI入力(例えば空中の手のスワイプ等)をジェスチャとして使用して、仮想のボールを「打つ」。このボールは、次いでローカルのPiMovsユニットのいずれかの他の面にバウンドし、あるいは、そのローカルのPiMovsユニットの外に飛び出して、リモートのローカルPiMovsユニットへとバウンドし、その結果、複数の人々が、世界中の複数の異なるローカルPiMovsユニットから一緒にボールで遊ぶことができる。ユーザがボールを打つと、速度と指向性ベクトルが与えられる。特定の側面上にユーザがいない場合、この壁は固体になり、ボールが跳ね返ることになる。さらに、ボールは上部から飛び出して、別の立体形に向かう可能性がある。やはり、このボールは、全ての関連するPiMovsユニット内で、それ自体によって描画され得る立体投影として表され、PiMovsユニット内にどのような立体投影が表示されているとしても、仮想ボールがバウンスするそのような立体投影の上に重ね合される。
PiMovsシステムによって可能にされる別のアプリケーションは、ユーザに、大きなスケールで緊密なもの(intimate one)と会話するよう新しい場所への仮想移送を提供し、自発的コミュニティを構築する。センサは人々を追跡し、カメラを使用するので、様々な実装において、PiMovsシステムは、プライバシを保護するために別のPiMovsユニットの立体投影で描画される人々を不鮮明にすることになることに留意されたい。結果として、ユーザは(別の場所からの立体投影を通して)別の人を見ることができるが、その別の人の顔を特定することはできない。しかしながら、ユーザは、他者がそのユーザを見ることができ、潜在的には対話することができるようにすることを望む場合、ユーザは、自身の顔からスクランブルアルゴリズムを除去することができる。仮想ポータルアプリケーションの様々な実装についての幾つかの具体的な例及び追加のオプション及びモードを、以下で簡潔に概説する。
a.場所選択「ルーレット」:PiMovsユニットに誰も近づいていないとき、世界中の他のPiMovsユニットへのポータルについて全ての可能性が生きているように見える。近づくと、あるいは人々が特定の範囲内にいる場合、PiMovsユニットは、検索基準に合致する異なる立方体へのポータルについて検索するように「ルーレット」モードに入る。そのような基準の例には、他のPiMovsユニットの周囲のアクティビティ、訪問者の年齢、したがって子供の場合には子供のみ、特定の場所の要求(例えば「パリをお願いします」又は「私をポルトガルに連れて行って」)、世界の別の場所のユーザに合致するシャツの色等が含まれるが、これらに限定されない。図10はこの実装の例を示す。特に図10は、PiMovsユニット1010への接近1000を示している。PiMovsユニット1010は、世界中の他のPiMovsユニットへの利用可能なポータルの視覚的に回転するグリッドを表す、立体投影1020を表示している。
a.ルーブル(又は他の場所)へのポータル:「ルーレット」がセクションを作ると、異なるPiMovsユニットのビューへの次元ポータル(dimensional portal)が、そのPiMovsユニットの場所に通じる。言い換えると、あるPiMovsユニットの立体投影を別のPiMovsユニットに移送する(transport)ことができる。様々な実装においては、人々を描くために、PiMovsユニットに対する訪問者の近さは、ポータル環境がどのくらい明確又は曖昧に見えるかを示す。様々な実装において、PiMovsシステムは、ポータル内の人々を分けて、人間のつながりを促進するようこれらの人々を明確に見えるようにする。立方形において、会話について直ぐに立ち上がる人がいない場合、訪問者は、手を振る(wave)することによりポータル内の誰かの注意を得ることが可能である。実際、図11はそのような例を示している。特に、図11は、女性1100が、異なる場所におけるPiMovsユニット1120のポータルを通して、遠方にいる(立体投影として)可視の男性1110に手を振っている様子を図示している。図12は、2つの別個のPiMovsユニットを介した女性1100と男性1110との間の後続のフェーストゥーフェース通信(リアルタイムビデオ、オーディオ等)を示すことにより、この例を継続している。この例では女性1100と男性1110の双方が、互いに対して、それぞれのローカルPiMovsユニットを介して立体投影として見える。さらに、これらの人々の各々の音声は、1つ以上のローカルPiMovsセンサ(例えばマイクロフォン)によってキャプチャされ、他のPiMovsユニットに送信され、1つ以上のオーディオ出力デバイス等を介して再生される。
b.インタフェースの例:近接性に加えて、ウインクや笑顔、「ハロー」と言うことは、PiMovsユニット上の環境を反応させて、心地よくなり(crisp)、注意を引き、人々を引き込む。対話が終わるとき、あるいはユーザが新たな場所を見たいと思う場合、後退することは、ポータルを不鮮明なものにする。ルーレットが再び開始し、あるいは他の方法で誰かフレームへ足を踏み入れる場合、顔認識は、ポータルを開いたままにして、継続する会話が心地よいものになることを可能にするであろう。
c.人間のつながり(Human Connection):人が、親密な会話のために正しい範囲内に入ると、立方体上のポータルはクリアになって、その状態にとどまる。外見的に異なる位置からの2人の人々が、立方形を使用してフェーストゥーフェースの会話を持つ。図11及び図12に関連して上記した議論及び例を参照されたい。
d.仮想のつながり(Virtual Connection):「ルーレット」がいかなる結果も生成しない場合、PiMovsシステムは、ユーザが会話をすることができる「スマート」アバターを生成することになる。
e.リアルタイムトランザクション:様々な二者通信シナリオでは、PiMovsシステムは、様々なリアルタイムマシン翻訳技術のいずれかを使用して、各ユーザの言語の音声の他のユーザの言語の音声へと翻訳する。例えばそのような能力は、ネイティブの英語の話者(又はいずれかの他の言語)が、それぞれのPiMovsユニットを介して他のユーザに提示される各ユーザの立体投影を介して、ネイティブの北京官話の話者(又はいずれかの他の言語)とリアルタイムで会話することを可能にする
f.ポータル・ベースボールゲーム(Portal-Based Ball Game):様々な実装において、多様な共有ゲームベースのアプリケーションが、PiMovsシステムによって可能にされる。例えば1つのそのようなゲームでは、ユーザは、NUI入力(例えば空中の手のスワイプ等)をジェスチャとして使用して、仮想のボールを「打つ」。このボールは、次いでローカルのPiMovsユニットのいずれかの他の面にバウンドし、あるいは、そのローカルのPiMovsユニットの外に飛び出して、リモートのローカルPiMovsユニットへとバウンドし、その結果、複数の人々が、世界中の複数の異なるローカルPiMovsユニットから一緒にボールで遊ぶことができる。ユーザがボールを打つと、速度と指向性ベクトルが与えられる。特定の側面上にユーザがいない場合、この壁は固体になり、ボールが跳ね返ることになる。さらに、ボールは上部から飛び出して、別の立体形に向かう可能性がある。やはり、このボールは、全ての関連するPiMovsユニット内で、それ自体によって描画され得る立体投影として表され、PiMovsユニット内にどのような立体投影が表示されているとしても、仮想ボールがバウンスするそのような立体投影の上に重ね合される。
3.0 PiMovsシステムの動作概要:
図1〜図12に関連し、更に上記セクション1及びセクション2で提供された詳細な説明に関して上述した処理は、図13の一般的な動作フロー図によって更に図示される。具体的に、図13は、PiMovsシステムの様々な実装の一部の動作を要約する、例示の動作フロー図を提供している。図13は、本明細書で説明されるPiMovsシステムの様々な実装の全ての網羅的な表現であるようには意図されておらず、図13に表現される実装は、単に説明の目的のために提供されていることに留意されたい。
さらに、図13内で破線又は点線によって表される任意のボックス又はボックス間の相互接続は、本明細書で説明されるPiMovsシステムの任意選択又は代替的実装を表すことに留意されたい。さらに、これらの任意選択又は代替的実装のいずれか又は全てが、以下で説明されるように、本明細書全体を通して説明される他の代替的な実装との組合せで使用されてもよい。
一般に、図13によって図示されるように、PiMovsシステムは、連続立体投影を受信及び/又は生成するよう、1つ以上のコンピューティングデバイス1300を使用することにより動作を開始する。上記で検討したように、この連続立体投影は、連続ディスプレイ面の周囲に連続し、かつ隣接ディスプレイ面のいずれかの隣接エッジにまたがる、立体投影のシームレスな包囲として、ディスプレイ面1310上に描画される。様々な実装において、コンピューティングデバイス1300は、立体投影のデータベース及び関連するコンテンツ又はライブラリから1つ以上の所定の立体投影1350を受け取る。
また、1つ以上のコンピューティングデバイス1300は、幾何学フレームワークの周囲の所定の半径内にいる1人以上の人の位置、骨格、身体の動き、頭部等を追跡する際に使用するためのセンサデータも追跡センサ1320から受け取る。同様に、1つ以上のコンピューティングデバイス1300は、幾何学フレームワークの周囲の所定の半径内にいる1人以上のユーザからの、1つ以上のNUIセンサ1330の入力(例えば発話又は音声、ジェスチャ、顔の表情、目の注視、タッチ等)も受け取る。1つ以上のコンピューティングデバイス1300は次いで、幾何学フレームワークの外側の周囲の所定のゾーン内にいる1人以上の人々の追跡された位置及び/又はNUI入力に応答して、ディスプレイ面1310に描画、投影又は他の方法で表示されている立体投影を動的に適合する。
様々な実装において、PiMovsユニットのローカル又はリモート管理を可能にするよう管理ユーザインタフェース1340が提供される。一般に、管理ユーザインタフェース1340は、システム管理者又はアクセス権を有するユーザが、様々な管理タスクを実行することを可能にする。そのような管理タスクには、限定ではないが、カスタマイズパラメータ等を含め、PiMovsユニットのコンピューティングデバイス1300によって実行されるべきアプリケーションを(例えばPiMovsアプリケーションライブラリ1360から)選択することが含まれる。管理ユーザインタフェース1340は、システム管理者又はアクセス権を有するユーザが1つ以上のセンサ(例えば追跡センサ1320及び/又はNUIセンサ1330)を構成することも可能にする。さらに、管理ユーザインタフェース1340は、システム管理者又はアクセス権を有するユーザがデフォルトのテーマを(例えば所定のPiMovsテーマ1370のデータベース又はライブラリから)定義又は選択することも可能にする。
上記のように、様々な実施形態において、PiMovsシステムは、様々なオーディオ出力デバイス1380も含む。一般に、これらのオーディオ出力デバイス1380(例えばスピーカ又はオーディオ出力チャネル)は単に、立体投影に対応するオーディオを出力する。これらのオーディオ出力デバイス1380は、様々な通信タイプのアプリケーション(例えば図12に関連するセクション2.7.2の上記の議論を参照されたい)とともに使用されてもよい。
最後に、様々な実施形態において、PiMovsシステムは、1つ以上の通信又はネットワークインタフェースを使用して、様々なソースへデータを送信し、様々なソースからのデータを受信する、通信インタフェース1390等も含む。そのような様々なソースには、これらに限られないが、他のPiMovsユニット、クラウドベースのストレージ、パブリック又はプライベートネットワーク、インターネット、ユーザコンピューティングデバイス又はスマートフォン等が含まれる。
4.0 クレームサポート:
以下の段落では、本明細書において、特許請求される可能性がある実装の様々な例を要約する。しかしながら、以下で要約される実装は、特許請求に係る主題を限定するよう意図されておらず、PiMovsシステムの詳細な説明の観点で請求され得ることに留意されたい。さらに、以下で要約される実装のいずれか又は全ては、詳細な説明全体を通して説明される実装の一部又は全て及び図面の1つ以上に図示されるいずれかの実装との任意の所望の組合せで請求されてよい。加えて、以下の実装は、本明細書全体を通して説明される詳細な説明及び図面の観点から理解されるように意図されていることに留意されたい。
様々な実装において、PiMovsシステムは、1人以上の人々が、対話ディスプレイシステムを備える幾何学フレームワークの外側の周囲を動くと、当該人々の追跡される位置に応答して、連続立体投影を動的に適合するための手段によって実装される対話ディスプレイシステムを提供する。
例えば様々な実装において、対話ディスプレイは、360度の幾何学フレームワークの外周を覆うか作成するように配置される連続ディスプレイ面を提供することによって実装される。加えて、1つ以上の位置感知デバイスが、幾何学フレームワークの周囲の所定の半径内の1人以上の人々の位置を追跡するように適用される。1つ以上のコンピューティングデバイスが、ディスプレイ面上に連続立体投影を一緒に生成するように適用される。さらに、この連続立体投影は、連続ディスプレイ面を備えるいずれかの隣接ディスプレイ面のいずれかのエッジにまたがる前記連続立体投影のシームレスな包囲を提供する。加えて、連続立体投影は、1人以上の人々が幾何学フレームワークの外側の周囲を動くときに当該人々の動きに応答して、連続立体投影を動的に調整することにより、追跡した位置を動的に適合する。
さらに、以前の段落のいずれかで説明された実装は、1つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、1人以上の人々が幾何学フレームワークの外側の周囲を動くときに、連続立体投影内の物体が1人以上の人々に対して幾何学フレームワーク内の空間の一貫した位置(consistent position)を占めるように見えるよう、追跡した位置に対して連続立体投影を動的に適合するための手段、処理又は技術と組み合わされてもよい。
さらに、以前の段落のいずれかで説明された実装は、1つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、1つ以上の隣接エッジに沿って一緒に組み合わされて幾何学フレームワークの対応するセクションを形成する、1つ以上の背面投影ディスプレイパネルを含めることにより、連続ディスプレイ面を実装するための手段、処理又は技術と組み合わされてもよい。
さらに、以前の段落のいずれかで説明された実装は、1つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、連続するディスプレイ面の1つ以上のディスプレイパネルを結合(join)して、対応するシーム部分におけるディスプレイパネルの光学特性を保持するための手段、処理又は技術と組み合わされてよく、これにより、対応するシーム部分における立体投影の光学的歪みを最小にする。
さらに、以前の段落のいずれかで説明された実装は、1つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、幾何学フレームワークの内側に1つ以上のプロジェクタを配列又は配置して、背面投影ディスプレイパネルの対応する部分の上に立体投影の部分を投影するための手段、処理又は技術と組み合わされてもよい。
さらに、以前の段落のいずれかで説明された実装は、1つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、幾何学フレームワークの周囲の所定のゾーン内の1人以上の人々の動きに応答して、1つ以上の所定の立体投影のセットから、連続立体投影を自動的に選択するための手段、処理又は技術と組み合わされてもよい。
さらに、以前の段落のいずれかで説明された実装は、1つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、連続立体投影を、1人以上の人々からの1つ以上のナチュラルユーザインタフェース(NUI)入力に動的に適合させるための手段、処理又は技術と組み合わされてもよい。
さらに、以前の段落のいずれかで説明された実装は、1つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、幾何学フレームワークの外周の周囲の何らかの最小距離の所定の対話ゾーン内の1人以上の人々からのNUI入力を受け入れるための手段、処理又は技術と組み合わされてもよい。
さらに、以前の段落のいずれかで説明された実装は、1つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、連続立体投影を各々が含む複数の対話的ディスプレイ間のリアルタイム対話を可能にする、通信インタフェースを提供するための手段、処理又は技術と組み合わされてもよい。
更なる実装では、連続立体投影が、いずれかの隣接ディスプレイ面のいずれかの隣接エッジにまたがる連続立体投影のシームレスな包囲を提供するように、連続幾何学フレームワークの外周を形成する1つ以上のディスプレイ面上に連続立体投影を描画するための手段、処理又は技術を介して、立体投影を表示するためのシステムが提供されるそのような実装は、幾何学フレームワークの周囲の所定の半径内の1人以上の人々のセンサデータ受け取って位置を追跡してもよい。加えて、そのような実装は、幾何学フレームワークの周囲の所定の半径内の人々のうちの1人以上からナチュラルユーザインタフェース(NUI)入力を受け取ってもよい。さらに、そのような実装は、追跡した位置とNUI入力に応答して、連続立体投影を動的に適合してもよい。
さらに、以前の段落のいずれかで説明された実装は、1つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全ては、1人以上の人々が幾何学フレームワークの外側の周囲を動くときに、連続立体投影内の物体が1人以上の人々に対して幾何学フレームワーク内の空間の一貫した位置を占めるように見えるよう、1人以上の人々の追跡した位置に対して連続立体投影を動的に適合するための手段、処理又は技術と組み合わされてもよい。
さらに、以前の段落のいずれかで説明された実装は、1つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全ては、1つ以上の隣接エッジに沿って一緒に結合される背面投影ディスプレイパネルからディスプレイ面の1つ以上を構築するための手段、処理又は技術と組み合わされてもよい。
さらに、以前の段落のいずれかで説明された実装は、1つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、幾何学フレームワークの内側に1つ以上のプロジェクタを配列又は配置して、背面投影ディスプレイパネルの対応する部分の上に立体投影の部分を投影するための手段、処理又は技術と組み合わされてもよい。
さらに、以前の段落のいずれかで説明された実装は、1つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、立体投影を表示するためのシステムの複数のインスタンス間のリアルタイム対話を提供する通信インタフェースを実装するための手段、処理又は技術と組み合わされてよく、立体投影の各々は、別個の、関連する又は共有される立体投影を提供してよい。
さらに、以前の段落のいずれかで説明された実装は、1つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、立体投影を表示するためのシステムのうちの2つ以上の間で立体投影を共有して、人々がこれらのシステム間をリアルタイムで通信することを可能にする動的な立体描画を提供するための手段、処理又は技術と組み合わされてよい。
さらに、以前の段落のいずれかで説明された実装は、1つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、立体投影を表示するためのシステムのうちの2つ以上の間で立体投影を共有して、1人以上の人々がNUIジェスチャを使用してシステムの異なるインスタンス間でボールで遊ぶことを可能にする、リアルタイム対話的仮想ボールゲームの動的な立体描画を提供するための手段、処理又は技術と組み合わされてよい。
さらに、以前の段落のいずれかで説明された実装は、1つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、幾何学フレームワークの周囲の所定の半径内の1人以上の人々のNUI入力に対してリアルタイムで反応する仮想アバターを提供するよう立体投影を適用するための手段、処理又は技術と組み合わされてよい。
更なる実装では、連続幾何学フレームワークの外周及び上部を形成するように一緒に結合させるための手段、処理又は技術を介して、立体ディスプレイデバイスが提供される。立体ディスプレイデバイスは、各隣接ディスプレイ面の各隣接エッジにまたがるシームレスな包囲として連続立体投影を描画するためコンピューティングデバイスを適用する。コンピューティングデバイスは更に、幾何学フレームワークの周囲の所定の半径内の1人以上の人々の位置を追跡するためのセンサデータを受け取るように適用される。加えて、コンピューティングデバイスは、1人以上の人々が幾何学フレームワークの外側の周囲を動くときに、連続立体投影内の物体が1人以上の人々に対して何学フレームワーク内の空間の一貫した位置を占めるように見えるよう、追跡した位置に応答して、連続立体投影を動的に適合するように適用される。
さらに、以前の段落のいずれかで説明された実装は、1つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、所定の半径内の人々の1人以上から、ナチュラルユーザインタフェース(NUI)入力を受け取るようにコンピューティングデバイスを適用するための手段、処理又は技術と組み合わされてよい。
さらに、以前の段落のいずれかで説明された実装は、1つ以上の追加の実装及び代替と組み合わされてもよい。例えば先行する実装の一部又は全てが、NUI入力の1つ以上に応答して、連続立体投影を動的に適合するようにコンピューティングデバイスを適用するための手段、処理又は技術と組み合わされてよい。
5.0 例示の動作環境:
本明細書で説明されるPiMovsシステムは、様々なタイプの汎用又は専用のコンピューティングシステム環境又は構成で動作する。図14は、本明細書で説明されるようなPiMovsシステムの様々な実装及び要素が実施されてよい汎用のコンピュータシステムの簡略化した例を図示している。図14で破線又は点線で表される任意のボックスは、簡略化されたコンピューティングデバイスの代替的実装を表し、以下で説明される、これらの代替の実装のいずれか又は全てが、本明細書を通して説明される他の代替的実装との組合せで使用されてもよいことを認識されたい。
例えば図14は、簡略化されたコンピューティングデバイス1400の一般的なシステム図を示している。PiMovsシステムとともに動作可能なそのようなデバイスの例には、ポータブル電子デバイス、ウェアラブルコンピューティングデバイス、ハンドヘルドコンピューティングデバイス、ラップトップ又はモバイルコンピュータ、携帯電話やスマートフォン及びPDAといった通信デバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能家庭用電子機器、ネットワークPC、ミニコンピュータ、オーディオ又はビデオメディアプレイヤ、ハンドヘルドリモートコントロールデバイスとが含まれるが、これらに限定されない、また、PiMovsシステムは、広範な電子デバイス又は物体と通信するか他の方法で結合される任意のタッチスクリーン又はタッチ感知面とともに実装されてもよいことを認識されたい。
デバイスがPiMovsシステムを実装することを可能にするために、コンピューティングデバイス1400は、基本の演算動作を可能にするよう十分な演算能力及びシステムメモリを有するべきである。加えて、コンピューティングデバイス1400は1つ以上のセンサ1405を含んでよい。1つ以上のセンサは、これらに限定されないが、加速度計、カメラ、容量式センサ、近接性センサ、マイクロフォン、マルチスペクトルセンサ等を含む。さらに、コンピューティングデバイス1400は、PiMovsシステムの様々な実装形態を実装する際に使用するための動作システムファームウェア1425(あるいは他のファームウェア又はプロセッサアクセス可能なメモリ又はストレージ)も含んでよい。
図14によって図示されるように、コンピューティングデバイス1400の演算能力は一般に、1つ以上の処理ユニット1410によって例示されており、1つ以上のGPU1415も含んでよい。そのいずれか又は双方がシステムメモリ1420と通信する。コンピューティングデバイス1400の処理ユニット1410は、DSP、VLIW又は他のマイクロコントローラのような専用のマイクロプロセッサであってよく、あるいはマルチコアCPU内の専用のGPUベースのコアを含め、1つ以上の処理コアを有する従来的なCPUとすることができる。
加えて、簡略化したコンピューティングデバイス1400は、例えば通信インタフェース1430のような他のコンポーネントも含んでよい。簡略化したコンピューティングデバイス1400は、1つ以上の従来的なコンピュータ入力デバイス1440又はそのようなデバイス(例えばタッチスクリーン、タッチ感知面、ポインティングデバイス、キーボード、オーディオ入力デバイス、音声又はスピーチベースの入力及び制御デバイス、ビデオ入力デバイス、触覚入力デバイス、有線又は無線データ伝送用のデバイス)の組合せも含んでよい。
同様に、簡略化されたコンピューティングデバイス1400との様々な対話、並びに1人以上のユーザ又はPiMovsシステムに関連付けられる他のデバイス若しくはシステムに対する入力、出力、制御、フィードバック及び応答を含め、PiMovsシステムの任意の他のコンポーネント又は特徴との様々な対話が、様々なナチュラルユーザインタフェース(NUI)シナリオによって可能にされる。PiMovsシステムによって可能にされるNUI技術及びシナリオは、マウスやキーボード、リモートコントロール等のような入力デバイスによって課される人工制約から解放されて、1人以上のユーザがPiMovsシステムと「自然な」方法で対話することを可能にする技術を含むが、これに限定されない。
そのようなNUI実装は、これに限定されないが、マイクロフォン又は他のセンサを介してキャプチャされるユーザのスピーチ又は発声から導出されるか、NUI情報を使用することを含め、様々な技術の使用によって可能にされる。そのようなNUI実装は、これに限定されないが、ユーザの顔の表情から、2D又は深度カメラ(例えば立体又は飛行時間カメラシステム、赤外カメラシステム、RGBカメラシステム、そのようなデバイスの組合せ等)のような撮像デバイスを使用してキャプチャされるユーザの手、指、手首、脚、身体、頭部、目等の位置、動き又は向きから導出される情報を含め、様々な技術の使用によっても可能にされる。更なる例には、タッチ及びスタイル認識から、ジェスチャ認識(オンスクリーン上と、画面又はディスプレイ面に近接するものとの双方)、エア及び接触ベースのジェスチャ、様々な表面、物体又は他のユーザ上のユーザタッチ、ホバリングベースの入力又はアクション等から導出されるNUI情報を含むが、これらに限定されない。加えて、NUI実装は、単独又は他のNUI情報との組合せのいずれかで現在又は過去のユーザの挙動、入力、アクション等を評価して、ユーザの意図、希望及び/又は目標のような情報を予測する、様々な予測マシンインテリジェンス処理の使用も含むが、これに限定されない。NUIベース情報のタイプ又はソースに関わらず、そのような情報を使用して、PiMovsシステムの1つ以上の入力、出力、アクション又は機能的特徴を開始、終了、又は他の方法で制御するか対話する。
しかしながら、そのようなNUIシナリオは、NUI入力の任意の組合せとともに人工制約(artificial constraints)又は追加の信号の使用を組み合わせることによって、更に増補することができる。そのような人工制約又は追加の信号は、マウスやキーボード、リモートコントロール等のような入力デバイスによって、あるいは加速度計、ユーザの筋肉によって生じる電気信号を表す筋電信号を受け取るための筋電図検査(EMG)センサ、心拍モニタ、ユーザの汗を測定するためのガルバニック皮膚伝導センサ、ユーザの体温変化又は差を測定するためのウェアラブル又はリモートバイオセンサ等のような様々なリモート又はユーザ装着センサによって課されるか、これらによって生じることがある。これらのタイプの人工制約又は追加の信号から導出される任意のそのような情報を、いずれか1つ以上のNUI入力と組み合わせて、PiMovsシステムの1つ以上の入力、出力、アクション又は機能的特徴を開始、終了又は他の方法で制御するか対話することができる。
簡略化したコンピューティングデバイス1400は、例えば1つ以上の従来的なコンピュータ出力デバイス1450(例えばディスプレイデバイス1455、オーディオ出力デバイス、ビデオ出力デバイス、有線又は無線データ伝送のためのデバイス等)のような、他の任意選択のコンポーネントも含んでよい。汎用コンピュータのための典型的な通信インタフェース1430、入力デバイス1440、出力デバイス1450及びストレージデバイス1460は、当業者には周知であり、本明細書では詳細には説明されないことに留意されたい。
簡略化したコンピューティングデバイス1400は、様々なコンピュータ読取可能媒体も含んでよい。コンピュータ読取可能媒体は、ストレージデバイス1460を介してアクセス可能な任意の利用可能媒体とすることができ、コンピュータ読取可能又はコンピュータ実行可能命令、データ構造、プログラムモジュール又は他のデータのような情報の格納のために、取外し可能1470及び/又は取外し不可能1480のいずれかの揮発性媒体と不揮発性媒体の双方を含む。
限定ではなく例として、コンピュータ読取可能媒体は、コンピュータ記憶媒体及び通信媒体を備える。コンピュータ記憶媒体は、有形のコンピュータ又はマシン読取可能媒体又はストレージデバイスを指す。例えばDVD、CD、フロッピーディスク、テープドライブ、ハードドライブ、光学デバイス、半導体メモリデバイス、RAM,ROM、EEPROM、フラッシュメモリ又は他のメモリ技術、磁気カセット、磁気テープ、磁気ディスクストレージ又は他の磁気ストレージデバイス、あるいは所望の情報を格納するのに使用することができ、1つ以上のコンピューティングデバイスによってアクセスすることができる任意の他のデバイス等である。
対照的に、コンピュータ読取可能又はコンピュータ実行可能命令、データ構造、プログラムモジュール等のような情報の記憶又は保持を、様々な上述の通信媒体のいずれかを使用して、1つ以上の変調データ信号又は搬送波を保持すること、あるいは他のトランスポート機構又は通信プロトコルを使用することによって達成することもでき、いずれかの有線又は無線情報伝達機構を含む。「変調データ信号」又は「搬送波」という用語は、情報を支合内にエンコードするような方法で設定又は変更される特性のうちの1つ以上を有する信号を指すことに留意されたい。例えば通信媒体は、1つ以上の変調データ信号を担持する有線ネットワーク又は直接優先接続のような有線媒体と、音響、RF、赤外線、レーザ及び1つ以上の変調データ信号又は搬送波を送受信するための他の無線媒体を含む。上記の任意の組合せも通信媒体の範囲内に含まれるべきである。
さらに、本明細書で説明されるPiMovsシステム又はその一部の様々な実装の一部又は全てを具現化するソフトウェア、プログラム及び/又はコンピュータプログラム製品を、コンピュータ実行可能命令又は他のデータ構造の形で、コンピュータ又はマシン読取可能媒体又は記憶デバイスと通信媒体の任意の所望の組合せから格納し、受信し、送信し又は読み出してもよい。
最後に、本明細書で説明されるPiMovsシステムは、コンピューティングデバイスによって実行される、プログラムモジュールのようなコンピュータ実行可能な命令の一般的コンテキストで説明されてもよい。一般に、プログラムモジュールは、特定のタスクを実行するか特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。
本明細書で説明される実装は、1つ以上のタスクが1つ以上のリモート処理デバイスによって実行される分散コンピューティング環境で実施されてよく、1つ以上の通信ネットワークを通してリンクされる1つ以上のデバイスのクラウド内で実施されてもよい。分散コンピューティング環境では、プログラムモジュールが、メディア記憶デバイスを含め、ローカルとリモート双方のコンピュータ記憶媒体に配置されてよい。またさらに、上述の命令は、部分的又は全体的にハードウェア論理回路として実装されてもよく、ハードウェア論理回路は、プロセッサを含んでもよく、含まなくてもよい。
代替又は追加として、本明細書で説明される機能の一部又は全てを、少なくとも部分的に1つ以上のハードウェア論理コンポーネントによって実施することができる。例えば限定ではないが、使用することができる例示のタイプのハードウェア論理コンポーネントは、フィールドプログラマブルゲートアレイ(FPGAs)、特定用途向け集積回路(ASICs)、特定用途向け規格品(ASSPs)、システムオンチップシステム(SOCs)、結合プログラム可能論理回路(CPLDs)等を含む。
PiMovsシステムの上記説明は、例示及び説明の目的で提示されている。これは包括的であるように意図されておらず、特許請求に係る主題を、開示される正確な形に限定するように意図されていない。上記の教示の観点から多くの修正及び変形が可能である。さらに、上述の代替的実装のいずれか又は全てが、PiMovsシステムの追加のハイブリッド実装を形成するよう所望の任意の組合せで使用してもよいことに留意されたい。本発明の範囲は、この詳細な説明によって限定されないが、添付の特許請求の範囲によって限定されるように意図される。本主題は、構造的特徴及び/又は方法的動作に特有の言語で説明されているが、添付の特許請求の範囲で定義される主題は、必ずしも上述の具体的な特徴又は動作に限定されないことが理解されよう。むしろ、上述の具体的な特徴及び動作は、特許請求に係る発明を実装するための例示の形式として開示されており、他の均等な特徴及び動作は、特許請求の範囲内にあるように意図される。
Claims (15)
- 対話的ディスプレイであって:
360度の幾何学フレームワークの外周を覆うように配置される連続ディスプレイ面と;
前記幾何学フレームワークの周囲の所定の半径内の1人以上の人々の位置を追跡する1つ以上の位置感知デバイスと;
前記連続ディスプレイ面上に連続立体投影を一緒に生成する1つ以上のコンピューティングデバイスであって、前記連続立体投影は、前記連続ディスプレイ面を備えるいずれかの隣接ディスプレイ面のいずれかのエッジにまたがる前記連続立体投影のシームレスな包囲を備える、1つ以上のコンピューティングデバイスと;
を具備し、
前記連続立体投影は、1人以上の人々が前記幾何学フレームワークの外側の周囲を動くときに、当該人々の動きに応答して、前記連続立体投影を動的に調整することにより、前記追跡した位置を動的に適合する、
対話的ディスプレイ。 - 前記連続立体投影は、前記1人以上の人々が前記幾何学フレームワークの外側の周囲を動くときに、前記連続立体投影内の物体が前記1人以上の人々に対して前記幾何学フレームワーク内の空間の一貫した位置を占めるように見えるよう、前記追跡した位置を動的に適合する、
請求項1に記載の対話的ディスプレイ。 - 前記連続ディスプレイ面は、1つ以上の隣接エッジに沿って一緒に結合されて前記幾何学フレームワークの対応するセクションを形成する、1つ以上の背面投影ディスプレイパネルを含む、
請求項1に記載の対話的ディスプレイ。 - 1つ以上のプロジェクタが前記幾何学フレームワークの内側に配置され、前記背面投影ディスプレイパネルの対応する部分の上に前記連続立体投影の部分を投影する、
請求項3に記載の対話的ディスプレイ。 - 前記連続立体投影が、前記幾何学フレームワークの周囲の所定のゾーン内の1人以上の人々の動きに応答して、1つ以上の所定の立体投影のセットから自動的に選択される、
請求項1乃至3のいずれかに記載の対話的ディスプレイ。 - 前記連続立体投影は、前記幾何学フレームワークの前記外周の周囲の所定の対話ゾーン内の1人以上の人々からの1つ以上のナチュラルユーザインタフェース(NUI)入力に動的に適合する、
請求項1、2、3又は5に記載の対話的ディスプレイ。 - 連続立体投影を各々が含む複数の対話的ディスプレイ間のリアルタイム対話を可能にする、通信インタフェースを更に備える、
請求項1、2、3、5又は6に記載の対話的ディスプレイ。 - 立体投影を表示するためのシステムであって:
汎用のコンピューティングデバイスと;
前記コンピューティングデバイスによって実行可能なプログラムモジュールを備えるコンピュータプログラムと;
を備え、前記コンピューティングデバイスは、前記コンピュータプログラムの前記プログラムモジュールによって:
連続立体投影が、いずれかの隣接ディスプレイ面のいずれかの隣接エッジにまたがる前記連続立体投影のシームレスな包囲を提供するように、連続する幾何学フレームワークの外周を形成する1つ以上のディスプレイ面上に前記連続立体投影を描画し、
前記幾何学フレームワークの周囲の所定の半径内の1人以上の人々のセンサデータ受け取って位置を追跡し、
前記幾何学フレームワークの周囲の前記所定の半径内の前記人々のうちの1人以上からナチュラルユーザインタフェース(NUI)入力を受け取り、
前記追跡した位置と前記NUI入力に応答して、前記連続立体投影を動的に適合する、
ように指示される、システム。 - 前記連続立体投影は、前記1人以上の人々が前記幾何学フレームワークの外側の周囲を動くときに、前記連続立体投影内の物体が前記1人以上の人々に対して前記幾何学フレームワーク内の空間の一貫した位置を占めるように見えるよう、前記追跡した位置を動的に適合する、
請求項8に記載のシステム。 - 立体ディスプレイデバイスであって:
連続する幾何学フレームワークの外周及び上部を形成するように一緒に結合される複数の隣接ディスプレイ面と;
各隣接ディスプレイ面の各隣接エッジにまたがるシームレスな包囲として連続立体投影を描画するためコンピューティングデバイスと;
を備え、
前記コンピューティングデバイスを使用して、前記幾何学フレームワークの周囲の所定の半径内の1人以上の人々の位置を追跡するためのセンサデータを受け取り、
前記コンピューティングデバイスを使用して、前記1人以上の人々が前記幾何学フレームワークの外側の周囲を動くときに、前記連続立体投影内の物体が前記1人以上の人々に対して前記幾何学フレームワーク内の空間の一貫した位置を占めるように見えるよう、前記追跡した位置に応答して、前記連続立体投影を動的に適合する、
立体ディスプレイデバイス。 - 前記ディスプレイ面の1つ以上が、1つ以上の隣接エッジに沿って一緒に結合される背面投影ディスプレイパネルであり、
1つ以上のプロジェクタが前記幾何学フレームワークの内側に配置され、前記背面投影ディスプレイパネルの対応する部分の上に前記立体投影の部分を投影する、
請求項8に記載のシステム。 - 通信インタフェースが、請求項8に記載のシステムの複数のインスタンス間のリアルタイム対話を可能にし、複数のインスタンスの各々が連続立体投影を含む、
請求項8又は11に記載のシステム。 - 前記のシステムの2つ以上の立体投影が、これらのシステム間でリアルタイム通信をする1人以上の人々の動的な立体描画を提供する、
請求項12に記載のシステム。 - 前記立体投影は、前記幾何学フレームワークの周囲の前記所定の半径内の1人以上の人々のNUI入力に対してリアルタイムで反応する、仮想アバターを提供する、
請求項8、11、12又は13に記載のシステム。 - 前記コンピューティングデバイスは、前記所定の半径内の前記人々の1人以上から、ナチュラルユーザインタフェース(NUI)入力を受け取り、
前記コンピューティングデバイスは、前記NUI入力の1つ以上に応答して、前記連続立体投影を動的に適合する、
請求項10に記載の立体ディスプレイデバイス。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/479,369 US20160070356A1 (en) | 2014-09-07 | 2014-09-07 | Physically interactive manifestation of a volumetric space |
US14/479,369 | 2014-09-07 | ||
PCT/US2015/048446 WO2016037020A2 (en) | 2014-09-07 | 2015-09-04 | Physically interactive manifestation of a volumetric space |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017536715A true JP2017536715A (ja) | 2017-12-07 |
Family
ID=54197057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017512921A Pending JP2017536715A (ja) | 2014-09-07 | 2015-09-04 | 立体空間の物理的な対話の発現 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20160070356A1 (ja) |
EP (1) | EP3195596A2 (ja) |
JP (1) | JP2017536715A (ja) |
KR (1) | KR20170052635A (ja) |
CN (1) | CN106687914A (ja) |
WO (1) | WO2016037020A2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022526511A (ja) * | 2019-08-28 | 2022-05-25 | 北京市商▲湯▼科技▲開▼▲發▼有限公司 | インタラクティブ方法、装置、デバイス、及び記憶媒体 |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10021162B2 (en) * | 2014-02-07 | 2018-07-10 | Sk Techx Co., Ltd. | Cloud streaming service system, and method and apparatus for providing cloud streaming service |
US10721280B1 (en) * | 2015-05-29 | 2020-07-21 | Sprint Communications Company L.P. | Extended mixed multimedia reality platform |
WO2017212720A1 (ja) | 2016-06-08 | 2017-12-14 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
US10607417B2 (en) * | 2016-06-08 | 2020-03-31 | Sony Interactive Entertainment Inc. | Image generating apparatus and image generating method |
US20180063205A1 (en) * | 2016-08-30 | 2018-03-01 | Augre Mixed Reality Technologies, Llc | Mixed reality collaboration |
US10313751B2 (en) | 2016-09-29 | 2019-06-04 | International Business Machines Corporation | Digital display viewer based on location |
US10321258B2 (en) * | 2017-04-19 | 2019-06-11 | Microsoft Technology Licensing, Llc | Emulating spatial perception using virtual echolocation |
US11113887B2 (en) * | 2018-01-08 | 2021-09-07 | Verizon Patent And Licensing Inc | Generating three-dimensional content from two-dimensional images |
US10712990B2 (en) | 2018-03-19 | 2020-07-14 | At&T Intellectual Property I, L.P. | Systems and methods for a customer assistance station |
EP3553629B1 (en) | 2018-04-12 | 2024-04-10 | Nokia Technologies Oy | Rendering a message within a volumetric data |
US11006091B2 (en) | 2018-11-27 | 2021-05-11 | At&T Intellectual Property I, L.P. | Opportunistic volumetric video editing |
CN109901371B (zh) * | 2019-03-01 | 2021-09-03 | 悠游笙活(北京)网络科技有限公司 | 一种全息成像***和方法 |
US11212514B2 (en) * | 2019-03-25 | 2021-12-28 | Light Field Lab, Inc. | Light field display system for cinemas |
WO2020257453A1 (en) | 2019-06-20 | 2020-12-24 | Dirtt Environmental Solutions Inc. | Voice communication system within a mixed-reality environment |
US11533468B2 (en) * | 2019-06-27 | 2022-12-20 | Samsung Electronics Co., Ltd. | System and method for generating a mixed reality experience |
JP2021071944A (ja) * | 2019-10-31 | 2021-05-06 | ソニー株式会社 | 画像表示装置 |
US11590432B2 (en) * | 2020-09-30 | 2023-02-28 | Universal City Studios Llc | Interactive display with special effects assembly |
CN115812173A (zh) * | 2021-05-20 | 2023-03-17 | 京东方科技集团股份有限公司 | 在立体显示设备中动态显示三维图像对象的方法、动态立体显示设备和计算机程序产品 |
WO2023149963A1 (en) | 2022-02-01 | 2023-08-10 | Landscan Llc | Systems and methods for multispectral landscape mapping |
US11526324B2 (en) * | 2022-03-24 | 2022-12-13 | Ryland Stefan Zilka | Smart mirror system and method |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100498923C (zh) * | 2002-12-20 | 2009-06-10 | 环球影像公司 | 具有三维凸形显示面的显示*** |
US7352340B2 (en) * | 2002-12-20 | 2008-04-01 | Global Imagination | Display system having a three-dimensional convex display surface |
US7118228B2 (en) * | 2003-11-04 | 2006-10-10 | Hewlett-Packard Development Company, L.P. | Image display system |
US20100045705A1 (en) * | 2006-03-30 | 2010-02-25 | Roel Vertegaal | Interaction techniques for flexible displays |
TW200921627A (en) * | 2007-09-25 | 2009-05-16 | Koninkl Philips Electronics Nv | Modular 3D display and method for driving the same |
FR2928809B1 (fr) * | 2008-03-17 | 2012-06-29 | Antoine Doublet | Systeme interactif et procede de commande d'eclairages et/ou de diffusion d'images |
US8928659B2 (en) * | 2010-06-23 | 2015-01-06 | Microsoft Corporation | Telepresence systems with viewer perspective adjustment |
CN102096529A (zh) * | 2011-01-27 | 2011-06-15 | 北京威亚视讯科技有限公司 | 多点触控交互*** |
US9097968B1 (en) * | 2011-07-13 | 2015-08-04 | Manuel Acevedo | Audiovisual presentation system comprising an enclosure screen and outside projectors directed towards the enclosure screen |
US20130093646A1 (en) * | 2011-10-18 | 2013-04-18 | Reald Inc. | Electronic display tiling apparatus and propagation based method thereof |
US8998422B1 (en) * | 2012-03-05 | 2015-04-07 | William J. Snavely | System and method for displaying control room data |
CN102708767B (zh) * | 2012-05-22 | 2014-09-17 | 杨洪江 | 基于中央计算机的全息多维广告动静结合展示*** |
US9911137B2 (en) * | 2012-07-18 | 2018-03-06 | Intersection Design And Technology, Inc. | Reactive signage |
KR101916663B1 (ko) * | 2012-12-18 | 2018-11-08 | 삼성전자주식회사 | 이용자의 시선 방향 또는 중력 방향 중 적어도 하나를 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치 |
-
2014
- 2014-09-07 US US14/479,369 patent/US20160070356A1/en not_active Abandoned
-
2015
- 2015-09-04 JP JP2017512921A patent/JP2017536715A/ja active Pending
- 2015-09-04 CN CN201580047986.0A patent/CN106687914A/zh active Pending
- 2015-09-04 EP EP15770691.2A patent/EP3195596A2/en not_active Withdrawn
- 2015-09-04 KR KR1020177009310A patent/KR20170052635A/ko unknown
- 2015-09-04 WO PCT/US2015/048446 patent/WO2016037020A2/en active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022526511A (ja) * | 2019-08-28 | 2022-05-25 | 北京市商▲湯▼科技▲開▼▲發▼有限公司 | インタラクティブ方法、装置、デバイス、及び記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
CN106687914A (zh) | 2017-05-17 |
EP3195596A2 (en) | 2017-07-26 |
WO2016037020A2 (en) | 2016-03-10 |
WO2016037020A3 (en) | 2016-05-12 |
KR20170052635A (ko) | 2017-05-12 |
US20160070356A1 (en) | 2016-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017536715A (ja) | 立体空間の物理的な対話の発現 | |
US10596478B2 (en) | Head-mounted display for navigating a virtual environment | |
US11948260B1 (en) | Streaming mixed-reality environments between multiple devices | |
JP7109408B2 (ja) | 広範囲同時遠隔ディジタル提示世界 | |
US9656168B1 (en) | Head-mounted display for navigating a virtual environment | |
US11969666B2 (en) | Head-mounted display for navigating virtual and augmented reality | |
Zhang et al. | " Third-Person" Augmented Reality-Based Interactive Chinese Drama | |
Sherstyuk et al. | Virtual roommates: sampling and reconstructing presence in multiple shared spaces | |
Wang | Immersive and Interactive Digital Stage Design Based on Computer Automatic Virtual Environment and Performance Experience Innovation | |
Fergusson de la Torre | Creating and sharing immersive 360° visual experiences online | |
Yi et al. | The Evolution of Immersive Video Creation | |
Janis | Interactive natural user interfaces | |
WO2021231128A1 (en) | Spatial video capture and replay | |
Chen | Augmenting immersive cinematic experience/scene with user body visualization. | |
Herder et al. | Four Metamorphosis States in a Distributed Virtual (TV) Studio: Human, Cyborg, Avatar, and Bot–Markerless Tracking and Feedback for Realtime Animation Control |