TWI442311B - 在遊戲中使用三維環境模型 - Google Patents

在遊戲中使用三維環境模型 Download PDF

Info

Publication number
TWI442311B
TWI442311B TW100149581A TW100149581A TWI442311B TW I442311 B TWI442311 B TW I442311B TW 100149581 A TW100149581 A TW 100149581A TW 100149581 A TW100149581 A TW 100149581A TW I442311 B TWI442311 B TW I442311B
Authority
TW
Taiwan
Prior art keywords
depth
model
camera
dense
depth camera
Prior art date
Application number
TW100149581A
Other languages
English (en)
Other versions
TW201234261A (en
Inventor
Shahram Izadi
David Molyneaux
Otmar Hilliges
David Kim
Jamie Daniel Joseph Shotton
Pushmeet Kohli
Andrew Fitzgibbon
Stephen Edward Hodges
David Alexander Butler
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of TW201234261A publication Critical patent/TW201234261A/zh
Application granted granted Critical
Publication of TWI442311B publication Critical patent/TWI442311B/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6009—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Description

在遊戲中使用三維環境模型
本發明涉及電腦應用軟體，尤其涉及遊戲應用軟體。
已經開發了使用諸如攝影機或深度相機之類的相機來偵測使用者的移動或使用者所持的控制器的移動並因此賦能使用者與遊戲進行互動的遊戲系統。為了偵測使用者的位置/運動，相機所擷取的圖像被分割以選擇前景(使用者)並移除背景。使用者隨後可以在在遊戲本身內建立的環境中與遊戲中的角色或物件互動，該環境完全與使用者的實際環境分開。
以下描述的各實施例不限於解決已知遊戲系統的缺點中的任一個或全部的實現。
下文呈現了本發明的簡要概述，以便向讀者提供基本理解。本發明內容不是本發明的詳盡概述，並且不標識本發明的關鍵/重要元素，亦不描述本發明的範圍。發明內容唯一的目的是以簡化形式呈現本文所揭示的概念選擇，作為稍後呈現的更詳細的描述的序言。
描述了在遊戲中使用3D環境模型。在一實施例中，隨著行動深度相機四處移動，該行動深度相機被用於擷取一系列深度圖像，並從該系列深度圖像中產生環境的密集(dense)3D模型。該密集3D模型被合併到互動式應用軟體中，諸如遊戲中。行動深度相機隨後被置於靜態位置以用於互動式階段(在某些實例中是遊戲)，且系統從相機擷取的第二系列深度圖像中偵測使用者在該環境的一部分中的移動。該移動將使用者輸入提供給互動式應用軟體(諸如遊戲)。在其他實施例中，可執行對3D模型中的物件的自動辨識和標識，並且該等所標識的物件隨後改變互動式應用軟體操作的方式。
經由結合附圖參考以下具體實施方式，可更易於領會並更好地理解許多附帶特徵。
下文結合附圖提供的具體實施方式意欲作為本發明實例的描述，並不意欲表示可以構建或使用本發明實例的唯一形式。本描述闡述了本發明實例的功能，以及用於構建和操作本發明實例的步驟的序列。然而，可以經由不同的實例來實現相同或等效功能和序列。
圖1是站在房間中的且持有行動深度相機102的人100的示意圖，該行動深度相機102與互動式計算系統103(諸如遊戲系統)通訊(且可被認為形成互動式計算系統103的一部分)。該房間包含各種物件106(諸如椅子、桌子、門、窗、植物和燈)、另一個人104、顯示器105和一隻貓108。顯示器105可例如是電視機或電腦監視器，或者可或者是能夠顯示互動式計算系統103的圖形化使用者介面(GUI)的任何其他形式的顯示器，包括結合了顯示器或投影顯示器的眼鏡。物件106中的許多是靜態的，但該等物件中的一些可以移動，如人100、104和貓108。隨著持有行動深度相機102的人100在房間中四處移動或者靜止站立著的同時使行動深度相機102移動，該行動深度相機擷取房間和物件的深度圖像。
行動深度相機102與密集3D環境模型化系統110(在此種情況下環境是房間)通訊，該3D環境模型化系統110可以是互動式計算系統103的一部分。「密集」在該實例中代表從使用來自傳入深度圖的全部或許多點以隱式地描述表面中所得的模型的高度準確性和解析度。此模型可與「稀疏」模型相反，「稀疏」模型僅取點的子集來加速計算和減少記憶體佔用(footprint)。例如，使用由行動深度相機102擷取的圖像來隨著人在房間裡四處移動或將行動深度相機102四處移動來形成和構建環境的密集3D模型。
即時相機追蹤系統112監視相機102在房間中的位置和方向。即時相機追蹤系統112可與行動深度相機102整合，或者可以處於另一位置，諸如作為互動式計算系統103的一部分。不管即時相機追蹤系統112位於何處，其皆能夠直接或間接地接收來自行動深度相機102的通訊。在一實例中，即時相機追蹤系統112可被提供在作為互動式計算系統103的一部分的計算設備處，並且可與行動深度相機102進行無線通訊。在其他實例中，即時相機追蹤系統112可以處於建築物中的別處或處於使用任何合適類型的通訊網路與行動深度相機102進行通訊的另一遠端位置。
即時相機追蹤系統112向密集3D模型化系統提供輸入，以允許各單獨的深度圖像被構建到整體3D模型中。即時相機追蹤系統112亦可追蹤相機相對於環境的3D模型的位置。相機追蹤和3D模型化的組合被稱為同時定位和繪圖(SLAM)。
即時相機追蹤系統112和密集3D模型化系統110的輸出可被整合引擎114使用，整合引擎114可包括遊戲引擎、增強現實引擎或實現環境的密集3D模型的至少一部分到應用軟體的整合的任何引擎。例如，整合引擎可使得使用者能夠與互動式應用軟體(可以是遊戲)互動。例如，被模型化的真實世界物件可被包括在遊戲(或其他互動式)環境中，此情況在下文中更詳細地描述。在另一實例中，行動深度相機102處的投影儀可被安排取決於即時相機追蹤系統112和3D模型化系統110的輸出來投影圖像。
作為另一實例，圖2圖示建築物某層200的平面視圖。持有行動深度相機204的人202正如虛線箭頭208所示在該層四處移動。此人沿走廊206走過各個房間和傢俱210。即時相機追蹤系統112能夠在行動深度相機204移動時追蹤其位置，並且3D模型化系統產生該層的3D模型或圖。人202攜帶行動深度相機204不是必要的。在其他實例中，行動深度相機204被安裝在機器人或運載工具上。此情況亦適用於圖1的實例。
在圖3中圖示互動式計算系統103的操作的實例的流程圖。隨著行動深度相機102在環境(諸如圖1所示的房間)中四處移動，從行動深度相機102接收一系列深度圖像(方塊302)。隨後使用該系列的深度圖像來產生環境的密集3D模型(方塊304)，隨後將該3D模型(或模型的一部分)整合到互動式應用軟體內，該互動式應用軟體在互動式計算系統上執行並且使用者可以與其進行互動(方塊306)。在互動式計算系統103是遊戲系統的情況下，互動式應用軟體是遊戲且3D模型(或其一部分)被整合到遊戲中。一旦3D模型被整合到了遊戲中，該模型就可對使用者可見或者可在遊戲內使用但不對使用者可見。環境的密集3D模型(亦可被稱為密集3D背景模型)的產生可被認為是互動式計算系統的操作的第一階段(如虛線方塊31所指示的)，並且可離線執行或作為應用軟體(例如，遊戲)的一部分即時地執行或作為分開的活動(例如，作為遊戲或遊戲系統的設置階段)。
當相機處於靜態時，隨後從行動深度相機102接收第二系列深度圖像(方塊308)，使用該第二系列深度圖像來用3D動態地追蹤相機的視野(FOV)內的即時移動，該即時移動將僅表示在第一階段被模型化的環境區域(例如，僅僅是房間的一部分)(方塊310)。該環境區域可被稱為「感興趣的區域」，並且在某些實現中，在該系統操作階段期間存在行動深度相機的定義的固定位置(例如，在圖1所示的顯示器105以上或以下)。在環境的一部分中的即時感測(方塊308和310)可被認為是互動式計算系統的操作的第二階段(如虛線方塊32所指示的)。即時移動資料作為輸入被提供給互動式應用軟體，該即時移動資料可包括原始資料或經處理的資料(諸如關於所標識的使用者姿勢的資料)(方塊312)。亦可(即時地或稍後)使用第二系列深度圖像來更新先前產生的3D模型(方塊314)，經更新的模型(或經更新的模型的各態樣)隨後可被回饋回到應用軟體中(如從方塊314到方塊306的虛線箭頭所指示的)。
將環境的詳細模型(可被認為是背景)合併到互動式應用軟體(諸如遊戲)中提升了整體使用者體驗並且可增加互動的真實性。例如，在使用者與互動式應用軟體中的虛擬物件(諸如球)互動的情況下，可基於密集3D模型來適應球的移動和行為。若使用者對著牆或其他物件踢虛擬球，則互動式應用軟體可基於密集3D模型來修改虛擬球的行為(如應用軟體的GUI中所示)，以使得球看上去從牆彈回來。在另一實例中，若使用者對著房間內的較小的(真實)物件踢虛擬球，則球可能不一定彈回來，但可遵循虛擬球對真實物件的虛擬影響來改變虛擬球的軌跡。在決定虛擬球的所得運動時可使用特定的較小的真實物件的特性，如下文更詳細地描述的。亦可將環境的其他態樣合併到互動式應用軟體中，諸如來自真實光源(例如，圖1的檯燈或窗)的光、來自物件(例如，圖1中的植物)的陰影等。
另外，將環境的詳細模型合併到互動式應用軟體(諸如遊戲)中可提供新的使用者體驗。例如，在使用者自己家裡(例如，在第一階段已經被擷取的他們的起居室中)玩的微型規模的飛行模擬遊戲(例如，使用者在模擬的微型飛機中飛行)。在另一實例中，互動式應用軟體(諸如遊戲)可將房間變換成森林或其他替換環境，例如，帶有從沙發上滾降的瀑佈的環境等等。在其他實例中，互動式應用軟體(諸如遊戲)可使得使用者能夠將他們自己的家合併到模擬遊戲中。在又一實例中，將詳細模型合併到互動式應用軟體中可使得使用者能夠在實際對家庭裝飾作出改變(例如，將牆刷成不同的顏色、改變地毯的顏色、拆除一面牆等)或購買新的傢俱之前嘗試對房間的虛擬表示內家庭裝飾的改變、新傢俱等。在一種實現中，互動式應用軟體可由家庭傢俱店來提供(例如，經由他們的網站)，以使得你可以在建立整合到應用軟體中的模型時導入要使用的深度資料，隨後從商店向虛擬場景導入各項。
圖1所示的系統包括單個深度相機(行動深度相機102)，而圖3所示的方法賦能使用單個深度感測設備來建立環境的詳細3D模型並且亦允許3D地追蹤更大的環境的區域內的即時移動。此舉提供了比包括多個深度感測設備的系統成本更低的系統。圖3的方法亦可結合包括多個深度相機的系統來使用，此情況將在下文中結合圖8更詳細地描述。
圖4是用於即時相機追蹤器416、密集模型形成系統424和整合引擎432(可以是遊戲引擎)的行動環境擷取設備400的示意圖。行動環境擷取設備400包括深度相機402，深度相機402被安排成擷取場景的深度圖像序列(或系列)。稍後對深度相機的引用代表單獨的深度相機或作為如圖4所示的行動環境擷取設備的一部分的深度相機。取決於用於深度感測的技術，深度相機可能需要附加的元件(例如，在深度相機402偵測到紅外結構化光圖案的情況下，需要發射器404)，儘管該等附加的元件可能不一定與深度相機位於同處。
每一深度圖像414(或，深度圖訊框)包括二維圖像，該二維圖像中的每一圖像元素(亦即，像素)包括諸如從相機到所擷取的場景中的造成了該圖像元素的物件的長度或距離等深度值。該深度值可以是以指定量測單位(如米或釐米)來提供的絕對值，或可以是相對深度值。在每一擷取到的深度圖像414中，存在大約300，000或更多個圖像元素，每一圖像元素具有深度值。深度相機402的訊框率足夠高以能夠將深度圖像用於運轉中的機器人、電腦遊戲或其他應用軟體(例如，每秒20訊框或更高)。
深度資訊可以使用任何合適的技術來獲得，包括但不限於飛行時間、結構化光、以及立體圖像。行動環境擷取設備400亦可包括被安排成以可由深度相機402查明深度資訊的方式來照亮該場景的發射器404。
例如，在深度相機402是紅外(IR)飛行時間相機的情況下，發射器404將IR光發射到該場景上，並且深度相機402被安排成偵測從該場景中的一或多個物件的表面反向反射的光。在一些實例中，可以從發射器404發出脈衝紅外光，使得外出光脈衝與對應的傳入光脈衝之間的時間可由深度相機來偵測和量測，並被用來決定從環境擷取設備400到場景中的物件上的位置的實體距離。另外，在一些實例中，可將來自發射器404的出射光波的相位與入射光波的相位在深度相機402處進行比較來決定相移。隨後經由包括例如快門式光脈衝成像的各種技術藉由分析反射光束隨時間的強度來將相移用於決定從行動環境擷取設備400到各物件上的位置的實體距離。
在另一實例中，行動環境擷取設備400可使用結構化光來擷取深度資訊。在此種技術中，可使用發射器404將圖案化光(例如，顯示為諸如斑點、網格，或橫條圖案等已知圖案的光，其亦可隨時間變化)投影到場景上。在撞擊到場景中的物件表面時，圖案從擷取該圖案的深度相機402的視角變形。分析所擷取的圖案的變形來決定從深度相機402到場景中的物件的絕對或相對距離。
在另一實例中，深度相機402包括一對立體相機，以便獲得並解析視覺立體資料來產生相對深度資訊。在此種情況下，發射器404可被用來照亮場景或可被省略。
在某些實例中，除了深度相機402之外，行動環境擷取設備400包括被稱為RGB相機406的彩色攝像機。RGB相機406被安排成在可見光頻率處擷取場景的圖像序列。
行動環境擷取設備400可包括定向感測器408，諸如慣性量測裝置(IMU)、加速計、陀螺儀、羅盤或其他定向感測器408。然而，使用定向感測器不是必要的。行動環境擷取設備400可包括諸如GPS等位置追蹤設備，但此情況不是必須的。
行動環境擷取設備可包括如上述及之投影儀412，儘管此情況並非必需。行動環境擷取設備亦包括一或多個處理器、記憶體和通訊基礎結構，如下文更詳細地描述的。行動環境擷取設備可以在外殼中提供，該外殼的形狀和大小制定成由使用者手持或由使用者佩戴。在其他實例中，行動環境擷取設備的大小和形狀被制定成被合併或安裝在運載工具、玩具，或其他可行動裝置上。亦可使得行動環境相機成形以使得在固定(或靜態)位置中(例如，在第二階段中，圖3的方塊32)操作時其可被放置在表面或支架上。
行動環境擷取設備400連接到即時追蹤器416。該連接可以是實體有線連接或可以使用無線通訊。在一些實例中，行動環境擷取設備400經由諸如網際網路等一或多個通訊網路間接連接到即時追蹤器416。
即時追蹤器416是使用通用微處理器控制一或多個圖形處理單元(GPUs)或其他平行計算單元而電腦實現的。其包括訊框對準引擎418並且可任選地包括環封閉引擎420和重新定位引擎422。即時追蹤器416從深度相機402獲得深度圖像訊框，並亦可任選地從行動環境擷取設備400獲得輸入，並可任選地獲得地圖資料434。即時追蹤器416可用於使深度圖像訊框空間對準，以產生深度相機402的六自由度(6DOF)姿勢估計的即時系列428。其亦可產生各對深度圖像訊框之間的變換的變換參數。在一些實例中，即時追蹤器操作來自深度相機的各對深度圖像訊框414。在其他實例中，即時追蹤器416採用單個深度圖像414並將其與該環境的密集3D模型426對準而非與另一深度圖像對準。在與本案同一天提交的題為「使用深度圖的即時相機追蹤」的共同待批的美國專利申請中描述了即時追蹤的方法的實例。下文亦將參考圖11和圖12來簡要描述該方法。
即時追蹤器416將相機姿態作為輸出提供給密集3D模型產生系統424，密集3D模型產生系統424將該資訊與深度圖像訊框一起使用來形成和儲存行動環境擷取設備400在其中移動的場景或環境的密集3D模型426。例如，在圖1的情況下，3D模型將是房間中的表面和物件的3D模型。在圖2的情況下，3D模型將是建築物的該層的3D模型。密集3D模型可被儲存在GPU記憶體中。在與本案同一天提交的題為「三維環境重構」的共同待批的美國專利申請中描述了密集3D模型產生的方法的實例。下文亦將參考圖13和圖14來簡要描述該方法。在SIGGRAPH '96上發佈的由Curless和Levoy撰寫的題為「用於從範圍圖像中構建複雜模型的容量法」論文的方法中描述了密集3D模型產生的方法的另一實例。
在一個實例中，即時追蹤器416及/或密集3D模型形成系統424所執行的處理可以離開行動環境擷取設備400的位置而遠端執行。例如，行動環境擷取設備400可被連接到(或包括)具有相對低處理能力並且經由通訊網路將深度圖像串流傳送到伺服器的計算設備。該伺服器具有相對高的處理能力，並且執行即時追蹤器416及/或密集3D模型形成系統424的在計算上複雜的任務。該伺服器可以逐訊框返回密集重構(dense reconstruction)的已渲染圖像以向使用者提供互動體驗，並且在模型完成時亦返回最終密集3D重構以供後續本端使用(例如，在遊戲中使用)。此種安排避免了使用者對擁有高能力本端計算設備的需要。
為了協助使用者構建密集3D模型，可將回饋以密集3D模型的即時渲染的形式提供給使用者。此舉使得使用者能夠在密集模型被構建時查看該密集模型的狀態，從而協助使用者擷取已經被遺漏的區域。可將色彩及/或紋理疊加到渲染上以便向使用者指示環境中的哪些區域需要更多的資料。此舉為使用者提供了更互動的體驗。亦可向使用者提供音訊或視覺提示以將他們引導至被遺漏的區域或在密集3D模型中品質較差的區域。
行動環境擷取設備400可結合連接到顯示裝置430的整合引擎432(可以是遊戲引擎)使用。例如，遊戲可以是第一人稱射擊(FPS)遊戲、高爾夫遊戲、拳擊遊戲、摩托車賽車遊戲或其他類型的電腦遊戲。密集3D模型可被提供給整合引擎432，且模型的各態樣被合併到遊戲中，如上文參考圖3所描述的。例如，3D模型可用於決定房間中物件的形狀和位置，該等物件隨後可被合併到遊戲本身中作為玩家可與其進行互動的遊戲中物件，或者遊戲中的虛擬物件可與環境中的物件(虛擬地)互動(例如，玩家踢的虛擬球在擊中房間的牆或環境中的其他物件之後可能看上去彈回來)。整合引擎432在第二階段期間(例如，在整合引擎是遊戲系統的情況下的玩遊戲期間)亦使用所擷取的深度圖像來3D地追蹤在感興趣區域中的即時移動並使用該移動作為到應用軟體(諸如遊戲)的輸入。使用深度圖像414來追蹤即時移動可使用已知技術來執行，該已知技術諸如由基於取樣(exemplar)的身體部位辨識所遵循的背景移除(例如，如在2009年5月1日提出申請的題為「人類身體姿態估計」的共同待批的美國專利申請中描述的，公開號為US2010-0278384-A1)。亦可將來自整合引擎432的諸如關於遊戲的遊戲狀態或元資料等的資料提供給即時追蹤器416。
可任選地，圖資料434對即時追蹤器416是可用的。例如，此舉可以是架構師對該環境(例如，房間或建築物的層)的繪圖、該環境中已知的地標的位置、可從另一源獲得的該環境的圖。
即時追蹤器的訊框對準引擎418被安排成對準各對深度圖像訊框，或深度圖像訊框和來自密集3D模型的深度圖像訊框的估計。其使用迭代程序，該迭代程序是用一或多個圖形處理單元來實現的，以使訊框對準引擎即時操作。循環封閉引擎420被安排成偵測行動環境擷取設備何時移動到循環中，以使得當前深度訊框中圖示的場景與先前的深度訊框中圖示的場景至少部分地重疊。例如，此操作可在使用者在圖2中的建築物的整層四處走動並再次到達起始點時發生。此操作亦可以在使用者在房間四處移動至某傢俱背後並再次出來到原始起始位置或接近該原始起始位置時發生。重新定位引擎422被安排成處理以下情況：即時追蹤器失去行動環境擷取設備400的當前位置並且重新定位或再次找出當前位置。
如上所述，在一個實例中，即時追蹤器416及/或密集3D模型產生系統424所執行的處理可以在行動環境擷取設備400的位置的遠端處執行。例如，行動環境擷取設備400可被連接到(或包括)具有相對低處理能力並且經由通訊網路將深度圖像串流傳送到伺服器的計算設備。伺服器具有相對高的處理能力，並且執行即時追蹤器416及/或密集3D模型產生系統424的在計算上複雜的任務。該伺服器可以逐訊框返回密集重構(dense reconstruction)的已渲染圖像以向使用者提供互動體驗，並且在模型完成時亦返回最終密集3D重構以供後續本端使用(例如，在遊戲中使用)。此種安排避免了使用者對擁有高能力本端計算設備的需要。
在上述系統和方法中，基於在行動深度相機運動的同時所擷取的深度圖像來構造的密集3D模型(階段1，圖3中的方塊31)被整合到在互動式計算系統上執行的應用軟體中，且一旦行動深度相機被安置並因此變為靜態時，使用者可經由被偵測的運動來與應用軟體(以及環境)互動(階段2，圖3中的方塊32)。在某些實例中，系統可向使用者提供關於如何在階段1中移動行動深度相機的指令，而在其他實例中，使用者可以用任何方式自由地移動行動深度相機。在上述系統和方法的一種變型中，互動式計算系統亦可包括物件辨識模組502，如圖5的示意圖所示。由該模組502從3D模型中辨識出的物件可包括主動物件(諸如顯示裝置430或其他周邊設備504，諸如揚聲器、投影儀、光源等)和被動物件(諸如傢俱項)。
圖6圖示涉及使用物件辨識模組502的互動式計算系統的操作的一部分的流程圖。該方法例如可形成將3D模型整合到圖3中的應用軟體中的步驟(方塊306)的一部分，或者可由整合引擎在該步驟之後執行。分析3D模型(如由密集3D模型產生系統424所產生的)(方塊602)來尋找可辨識的對象。此舉可以例如藉由尋找所產生的模型中的特定特徵或者將模型的各部分與所儲存的範本進行比較來執行，其中該等範本或特定特徵可被儲存在物件資料庫506中。在一實例中，通用「電視機」範本可被儲存，該範本定義了電視機的近似形狀(例如，大約10cm深且具有大約16:9的寬高比)。可使用任何合適的圖像分析或機器學習方法來執行該分析(方塊602中)，而在某些實例中，訓練資料可被儲存在物件資料庫506中。
取決於密集3D模型的解析度，物件辨識模組502能夠標識壓紋的或鐫刻的產品徽標以協助物件標識(例如，戴爾(商標)徽標可指示電腦或電腦顯示器)。在行動環境擷取設備400包括除了深度相機402之外的可任選的RGB相機406(如圖4所示)的情況下，RGB圖像可結合3D模型來使用以執行物件辨識(例如，用於徽標偵測或讀取條碼或產品ID)。在要被辨識的物件包括顯示器(諸如電視機、電腦監視器或行動電話)的情況下，可在掃瞄的同時在設備上顯示已知的特定圖案(且在設備在系統的控制之下的情況下，該已知的圖案可由系統輸出到設備)，以使得其可被容易地用RGB來偵測出。類似地，對於投影儀，投影儀可獨立地或在系統的控制下輸出已知圖案(可任選地隨著時間變化)，且可藉由在世界中尋找該RGB圖案來決定投影儀在房間中的位置(例如，藉由使用從深度重構中所知的房間幾何圖形)。在某些系統中，可使用標記物(例如，紅外反射性標記物)來協助物件辨識/分類。
當物件已被辨識時(方塊604中的「是」)，關於該物件的資料被輸入到在整合引擎432上執行的應用軟體中(方塊606)，該應用軟體可以是例如在遊戲系統上執行的遊戲。關於該物件的該資料可例如包括物件類型(例如，「電視機」或「顯示器」)和(例如，相對於行動深度相機或行動環境擷取設備400的當前位置的)位置資訊。隨後基於所標識的物件來調整應用軟體執行(或操作)(方塊608)。
存在可基於所標識的物件來調整應用軟體執行(或操作)(方塊608中)的許多不同的方式，且該方式可取決於已經被標識的物件的類型。當物件是主動物件(諸如揚聲器)時，可調整互動式計算系統的音訊輸出(方塊681)以將揚聲器的位置和間隔考慮在內。以此方式，系統能夠模擬環繞聲系統的效果，或者真實的環繞系統能夠使用完整的3D房間重構來校準和最佳化其輸出。在某些實例中，當標識了多個揚聲器時，執行附加步驟可能是需要的，諸如按順序從每一揚聲器發出聲音以在來自互動式計算系統的音訊輸出與所偵測的揚聲器物件的音訊輸出之間進行區分(行動環境擷取設備400可任選地包括未在圖4中圖示的麥克風)。在某些情形中，此情況可能不是必須的，因為該資訊可以從所偵測的揚聲器物件的大小/形狀及/或從揚聲器的相對定位中推斷出。對揚聲器的偵測和稍後對環繞聲的模擬可例如用於提高遊戲的真實性或增加的真實性環境。
主動物件的另一實例是顯示裝置430本身，並且可以使用相機和顯示器的相對位置的知識來執行對指向設備的自動校準(方塊682)，如參考圖7所述。在許多已知系統中，為將指向設備與顯示器702校準，在在顯示器的每一角落中顯示的十字線704(或其他標記物)處指向(且可能在指向的同時按壓按鈕)是必要的，如圖7的上半部圖所示。然而在本文所述系統中，整合引擎知道深度相機712、顯示器714和指向設備716(諸如在玩球類遊戲時的球拍或在玩FPS遊戲時的模擬武器)的相對位置，因此可以(例如，使用三角法)計算使用者在顯示器上指向的位置(由圖7的下半部的圖中的箭頭718所標記)，而不需要初始校準階段(如圖7的上半部的圖所示)。此外，基於已經產生的環境的密集3D模型，整合引擎亦可決定使用者正在指向環境中的什麼，即使使用者並未指向顯示器。此舉可以例如使得使用者能夠選擇在行動深度相機在其靜態位置(在階段2中)的視野外部的真實物件(例如，經由指向該物件)並將其導入到遊戲中作為遊戲中對象。
在圖7所示的且如上述及之一種變型中，該方法可用於決定使用者正看著環境中的哪裡。由於系統知道深度相機和顯示器的相對位置以及使用者的頭和眼睛的相對位置，該系統可執行頭部追蹤以使得藉由移動他們的頭使用者可四處查看GUI。此舉提供了用於探索遊戲中的虛擬環境或增加的真實性應用軟體的非常真實且直觀的介面。
在另一實例中，可例如基於所標識的物件來調整應用軟體的GUI(方塊683)，其中辨識出光源(諸如圖1所示的檯燈或窗)，可調整GUI以模擬源自光源的所標識的位置的所顯示的場景中的附加的光。當所偵測的物件是窗時，GUI可被適應以調整可能從經由該窗的陽光中預期的任何閃光(例如，基於一天中的時間和一年中的時間)或者模擬如先前實例中的附加的光。
可以理解，揚聲器和顯示器僅僅是主動物件的兩個實例，且系統可辨識其他主動物件並隨後調整來自應用軟體至該主動物件的輸出(方塊608中)。可基於該主動物件的所偵測的位置及/或其他物件的所偵測的位置來調整至主動物件的輸出(方塊685中)。
在其他實例中，設備可以是所標識的主動物件，諸如投影儀，且可基於其所決定的相對於環境中所標識的其他物件的位置來調整投影儀的輸出。此舉消除了對校準階段的需要，且意味著系統可基於所標識的主動物件的所偵測的位置來自動適應以校準本身。投影儀可投影可視圖像(或其他GUI)，且可基於投影儀的已知位置及其與圖像將被投影到的表面的相對位置來調整該等可視圖像，例如，以補償表面不平整或相對於投影儀成角度。亦可基於投影儀的已知位置來為投影產生圖像，以向使用者提供更身臨其境的環境並將顯示從主顯示器中延伸，主顯示器可以是所投影的顯示或在電視機上圖示的顯示、電腦監視器或其他顯示螢幕。具體地，可即時地將所投影的圖像適應到使用者的位置(例如，他們的臉和眼睛的位置)，以使得實現3D效果並且圖像可被投影到任意的表面幾何圖形上。
在另一實例中，投影儀可投影供在深度偵測中使用的結構化光圖案，且可基於投影儀的已知位置(例如，相對於行動深度相機的當前位置)來改變所投影的結構化光圖案(方塊685中)。在投影以某一角度擊中平面的情況下，圖像可能預先變形以便補償投影圖像的任何透視變形(亦被稱為楔形效應)。在一實例中，按兩個步驟來使圖像預先變形。第一，從與投影表面中心垂直的位置將表面與2D投影圖像在投影上紋理化到所擷取的3D模型中。隨後使用與投影儀共享相同非本征和本征透鏡參數的虛擬相機將紋理化的3D表面投影回2D圖像。投影相對於使用者(而非平面)而言可能是未變形的，此舉允許系統在任意的不平坦表面上校正變形。可藉由從使用者的所估計的眼睛位置在投影上將表面(即使是不平坦的)紋理化到所擷取的3D模型中來修改上述技術。
上述實例皆是主動物件；然而，亦可基於對被動物件的偵測來調整應用軟體執行，該被動物件諸如傢俱項或實際上其他動畫物件(諸如圖1所示的其他人104或貓108)。當使用者正與虛擬物件(諸如球)互動時並且扔/踢該虛擬物件，整合引擎內的實體引擎可被調整(方塊684)以更準確地模擬虛擬物件和真實物件之間的互動。若虛擬球從牆彈回來，其可能比從諸如沙發(亦被稱為沙發椅)等更軟的對象彈回來移動得更快。若虛擬球意外地接觸到了燈106或真實的貓108，則整合引擎可模擬近似的聲效並向使用者播放(例如，打碎玻璃的聲音或貓的「喵喵」叫聲)。
儘管上述物件辨識在開始玩遊戲(或階段2中的其他使用者互動)之前執行，但物件辨識可另外地或替換地基於當深度相機處於靜態時產生的第二系列的深度圖像來執行(如圖3的方塊308中所接收的)。在該實例中，使用者與物件互動的方式可用於辨識或分類物件，且此操作可使用基於取樣的身體部位辨識方法或其他方法。例如，使用者坐在其上的物件可由物件辨識模組502標識為椅子或沙發。
可以理解，可基於上述所標識的物件來調整或適應應用軟體執行(方塊608中)的方式僅僅提供了某些實例。一旦從密集3D模型中標識了物件並將該資訊回饋到適合的引擎/模組，存在作出調整以提升使用者體驗並增強使用者與應用軟體的互動的真實性的許多方式。
上述系統僅包括單個深度相機、行動深度相機102、204、402，然而其他示例性系統亦可包括一或多個附加的深度相機802-806，如圖8所示，且在該示例性系統中亦可使用上述方法(例如，如圖3和圖6所示)。系統中的深度相機102、802-806中的每一個可以是相同的或者其可以是不同的(例如，其可具有不同形狀的視野，其可包括廣角、短距和長距深度相機的組合及/或其可包括使用不同技術的相機，諸如結構化光、飛行時間、立體聲、鐳射測距儀等)。附加的深度相機802-806可以是靜態相機，並因此可具有對行動深度相機102的不同形狀的外殼，或者附加的深度相機802-806中的一或多個亦可以是行動深度相機。每一深度相機皆使用有線或無線連接連接到互動式計算系統。
在此種系統的一種實現中，行動深度相機102可單獨用於產生環境的密集3D模型(在圖3的方塊304中)或者可使用從多個深度相機接收的一系列圖像。此外，在第二階段中(方塊32)，來自所有深度相機102、802-806或該等相機的子集的圖像可用於3D地追蹤即時移動(在圖3的方塊310中)。在一實例中，為每一深度相機執行分開的即時身體部位辨識，且使用具有最高置信度值的追蹤器的結果，以便補償傢俱、其他使用者或使用者本身導致的對使用者的遮擋。
在包括多個深度相機的系統的一種實現(諸如圖8所示)中，圖6所示的方法可用於偵測附加的深度相機802-806的存在和位置，並基於其所決定的位置來調整應用軟體執行(在圖6的方塊608中)。另外，每一靜態相機可單獨地追蹤使用者以便決定其相對於使用者的方向。可使用該知識來解析關於相機相對於其他靜態相機的位置的任何模糊。在該實例中，調整應用軟體執行可包括基於已知相機位置來執行系統的自動校準，且該校準可在即時地偵測運動時使用(例如，在圖3中的方塊32的操作的第二階段中，其中使用來自多個深度相機的一系列圖像)。
在深度相機不完全相同的情況下，除了相機的存在和位置之外，(圖6的)物件辨識可用於偵測相機的類型。如上所述，在行動深度相機作為亦包括RGB相機的行動環境擷取設備(例如，如圖4所示)的一部分的情況下，由RGB相機擷取的圖像亦可用於對相機的類型的標識。在其他實例中，其他特性可用於標識相機的類型，諸如特定的標記物或設備上的標籤(例如，紅外反射性標記物)。
在另一種變型中，基於多個深度相機的所決定的位置(或相對位置)的自動校準可藉由比較3D模型來執行。圖9是多個深度相機的自動校準的示例性方法的流程圖，其中使用從每一深度相機(方塊902中)接收的一系列深度圖像來產生分開的密集3D模型(方塊904中)，該方法包括一個行動深度相機的情況。可使用該系列中的所有圖像或來自圖像的子集(例如，以減少所需的計算)來產生模型。一旦產生了模型，隨後將各個模型進行比較以標識在一個以上的模型中可見的共用特徵集(方塊906)，並且基於在兩個或兩個以上模型中的共用特徵集的標識，可計算與每一模型相關聯的相機的相對位置(方塊908)。在一實例中，在環境包括交錯的表面(諸如其上具有多個物件的咖啡桌)的情況下，此種特徵為計算相機的相對位置提供了良好的基準點，因為在物件的安排中幾乎不可能或不存在對稱性。在圖9所示的方法的一種實現中，對共用特徵集的標識可藉由標識第一模型(諸如交錯的咖啡桌)中的特定特徵的安排並隨後檢查每一其他模型以決定相同的特徵安排是否在該模型中可見來實現。在一示例性實現中，可在稀疏興趣點處從每一個模型中提取描述符向量，隨後將該等描述符向量進行匹配以提供不同模型之間的初始對應關係。最後，對基準訊框之間(例如，在比較兩個模型的情況下的兩個基準訊框之間)的變換執行某種最佳化以將其對準。
圖10圖示示例性的基於計算的設備1000的各種元件，該設備可以實現為計算及/或電子設備中的任何形式，且其中可以實現本文所描述的方法中的任何方法的實施例。
基於計算的設備1000包括一或多個處理器1002，處理器1002可以是微處理器、控制器或用於處理電腦可執行指令的任何其他合適類型的處理器，該電腦可執行指令用於控制設備的操作以便從第一系列的深度圖像中產生環境的密集3D模型並在應用軟體中使用該模型的至少一部分並從第二系列的深度圖像中追蹤環境的一部分中的即時移動以用作至應用軟體的輸入。在某些實例中，對於使用晶片上系統體系結構的實例，處理器1002可包括用硬體(而非軟體或韌體)實現本文描述的方法的一部分的一或多個固定功能方塊(亦被稱為加速計)。
基於計算的設備1000亦可包括圖形處理系統1004，圖形處理系統1004經由通訊介面1006與處理器1002通訊，並且包括一或多個圖形處理單元(GPUs)1008，圖形處理單元1008被安排成以快速且高效的方式來執行並行的線程操作。圖形處理系統1004亦包括記憶體設備1010，其被安排成賦能從GPU 1008的快速並行存取。在各實例中，可在產生密集3D模型中使用GPU，如下文中更詳細地描述的。
基於計算的設備1000亦包括輸入/輸出(I/O)介面1012，輸入/輸出介面1012被安排成從一或多個設備(諸如行動環境擷取設備(包括深度相機)、深度相機、以及可任選地一或多個使用者輸入裝置(例如，遊戲控制器、滑鼠、鍵盤等))接收輸入並處理輸入。I/O介面1012亦可用作通訊介面，其可被安排為與一或多個通訊網路(例如，網際網路)通訊。
亦提供了顯示介面1014，其被安排為將顯示資訊輸出到顯示裝置，顯示裝置可以與基於計算的設備1000分開或整合到基於計算的設備1000。顯示資訊可提供圖形化使用者介面，例如，用於密集3D模型的至少一部分已經被整合到其中的應用軟體的圖形化使用者介面。在一實施例中，顯示裝置亦可在顯示裝置是觸敏顯示裝置的情況下擔當使用者輸入裝置，且在此種情形中，I/O介面1012和顯示介面1014可被組合成單個介面或顯示裝置可經由該兩個介面來連接。
可以使用可由基於計算的設備1000存取的任何電腦可讀取媒體來提供電腦可執行指令。電腦可讀取媒體可以包括例如諸如記憶體1016等電腦儲存媒體和通訊媒體。諸如記憶體1016等電腦儲存媒體包括以用於儲存如電腦可讀取取指令、資料結構、程式模組或其他資料等資訊的任何方法或技術實現的揮發性和非揮發性、可移除和不可移除媒體。電腦儲存媒體包括但不限於，RAM、ROM、EPROM、EEPROM、快閃記憶體或其他記憶體技術、CD-ROM、數位多功能光碟(DVD)或其他光儲存、磁帶盒、磁帶、磁碟儲存或其他磁儲存設備，或者可用於儲存資訊以供計算設備存取的任何其他非傳輸媒體。相反，通訊媒體可以以諸如載波或其他傳輸機制等已調制資料信號來體現電腦可讀取取指令、資料結構、程式模組或者其他資料。如本文所定義的，電腦儲存媒體不包括通訊媒體。儘管電腦儲存媒體(記憶體1016)被示為在基於計算的設備1000內，但可以理解，該儲存可遠端地分佈或位於遠端，並且經由網路或其他通訊鏈路來存取(例如，使用I/O介面1012)。
可以在基於計算的設備處提供包括作業系統1018或任何其他合適的平臺軟體的平臺軟體以使得能夠在該設備上執行應用軟體1020。記憶體1016亦可儲存可執行指令以實現密集模型整合引擎1022、物件辨識模組1024、整合引擎1026(例如遊戲引擎)和相機追蹤引擎1028中的一或多個的功能。記憶體亦可提供資料儲存器1030，資料儲存器1030可用於提供對處理器1002使用的資料的儲存，例如，儲存所接收的一系列深度圖像、儲存所產生的密集3D模型、儲存在執行物件辨識中使用的資料(例如，以提供圖5所示的物件資料庫506)等。
在與本案同一天提交的題為「使用深度圖的即時相機追蹤」的共同待批的美國專利申請，如上文在圖4的論述中所引用的，描述了使用由深度相機產生的深度圖的即時相機追蹤的方法，且該方法的各態樣可參考圖4、圖11和圖12來描述。在一種示例性實現中，圖4的訊框對準引擎418是在具有一或多個GPU 416或其他平行計算單元的計算設備處用電腦實現的。例如，平行計算單元可以是向量處理器、單指令多資料(SIMD)體系結構、圖形處理單元或其他平行計算設備。其包括迭代最接近的點的程序和可任選的平面提取分量。迭代最接近的點的程序使用投影資料關聯和點到面的錯誤度量。訊框對準引擎從深度相機接收當前的深度圖。該圖亦被稱為目的地深度圖。在某些實例中，其亦從深度相機接收源深度圖，該源深度圖是先前的深度圖訊框。在其他實例中，訊框對準引擎取源深度圖的密集表面模型估計。訊框對準引擎的輸出是用於將當前的訊框和源訊框進行對準(或訊框估計)的變換的一組配準參數，且該等參數可使用圖11所示的方法來計算。在某些實例中，該等配準參數作為SE3矩陣來提供(將在下文中更詳細地描述)；然而，配準參數亦可用任何合適的形式來提供。該等配準參數被即時追蹤器416用來產生該深度相機的6自由度姿勢估計的即時系列。
圖11是訊框對準引擎處的示例性迭代程序的流程圖。形成(1100)配準參數的初始估計。該等參數是用於將當前訊框和源訊框對準的變形的配準參數。該初始估計是用任何合適的方式形成的。例如，以下資訊源中的一或多個可被用來形成初始估計：遊戲狀態、遊戲元資料、圖資料、RGB相機輸出、定向感測器輸出、GPS資料等。在另一實例中，藉由預測相機在何處正使用關於相機的先前運動路徑的資訊來形成初始估計。例如，可假定該相機具有恆定的速度或恆定的加速度。可以使用相機從時刻0到時刻t-1的運動路徑來估計在時刻t相機將在何處，並因此獲得配準參數的估計。
使用初始估計，計算(1102)當前訊框和源訊框(深度圖或估計的深度圖)之間的各對相應點。一對相應點是來自來自一個深度圖的一點和來自另一深度圖的一點，其中該等點被估計為來自場景中的同一真實世界點。術語「點」在本文被用於指示像素，或一組或一小塊相鄰像素。由於點的可能組合的數量很大，該對應性問題是非常困難的。藉由標識每個圖像中的諸如線、邊緣、角落等形狀隨後嘗試在各對圖像間匹配彼等形狀，前面的使用彩色或灰度圖像的方法已經解決了該問題。相反，圖12所示的和下文中述及之方法標識對應點而無需尋找深度圖中的形狀。計算(1104)配準參數的經更新的估計，其對被應用到所計算的相應點的誤差度量進行最佳化。進行檢查以評估是否達到收斂(1106)。若達到，則輸出經更新的估計和配準參數中的很少的改變或沒有改變(1108)。若沒有達到，則該迭代程序重複，如圖11中所指示的。
參考圖12，現在提供有關如何計算各對相應點的更多細節。計算每一可用點的表面法線(方塊1202)且在一實例中，對於給定點，該藉由尋找深度圖中的兩個(或兩個以上)最接近的相鄰點並計算併入該等相鄰點和該點本身的表面片來實現該給定點的表面法線。隨後計算該表面小塊在該點的位置處的法線。
隨後執行尋找對應的點對的程序(方塊1204)。現在在源深度圖和當前深度圖可用而不使用密集3D模型的情況下描述該點。對於來自源深度圖的每一被取樣的源點，從與源深度圖相關聯的相機位置經由取樣的源點將光線投影到目的地深度圖中的目的地點(方塊1206)。在一些情況下，目的地點可以沿著所投影的光線在被取樣的源點前方。該投影程序可被稱為「投影資料關聯」。隨後作出對周圍候選的對應點以及包括目的地點的搜尋(方塊1208)。例如，搜尋是針對具有與被取樣的源點的表面法線相容的表面法線且在目的地點的指定歐幾裡德距離內的點的。表面法線在其在彼此的指定範圍內時被稱為是相容的。例如，該指定範圍和歐幾裡德距離可以是使用者可配置的及/或使用與有關特定應用條件相關的經驗資料來設置的。
找到一或多個候選對應點作為該搜尋的結果(方塊1208中)。從該等候選對應點中選擇單個點(方塊1210中)以形成與源點的對。此種選擇是以距離度量為基礎做出的。例如，計算源點和該候選對應點中的每個點之間的歐幾裡德距離。隨後選擇提供最小歐幾裡德距離的那對點。隨後對每一個被取樣的源點重複方塊604的程序，或者在未實現取樣的情況下對源深度圖的每一可用點重複方塊604的程序。
在某些實施例中，向對應點對中的每一個賦予權重(方塊1212中)。例如，可以使用來自其他源(諸如RGB相機或其他感測器)的資訊來賦予權重。在一實例中，計算與深度相機的量測特性有關的權重(諸如徑向透鏡變形及/或與深度有關的誤差)並將其與對應點對中的每一個一起儲存。在另一實例中，包括使用邊緣偵測演算法在深度圖中偵測的邊緣處的點的對比其他對被賦予更高的權重。在應用誤差度量以改善結果的品質的程序期間，可以使用該等權重。例如，與深度有關的誤差的權重允許將高深度值考慮在內，該高深度值可能由於缺乏準確性而具有很大的波動。
在某些實施例中，拒絕包括在深度圖邊緣處或附近的點的對(方塊1214)。此舉有助於避免兩個深度圖間只是部分重疊的情況下的誤差。亦可以使用其他準則來拒絕對。例如，在某些實施例中執行平面提取，且在此種情況下，可拒絕該平面上的對，以便阻止由大平面偏差的追蹤器並因此忽略深度圖中較小的但唯一的部分。
在某些實施例中，從當前深度圖和源深度圖中的任一個或兩者中取取樣點(方塊1200中)，並且將該等取樣點用作候選以從中尋找對應點對。在此種實施例中，為每一被取樣的點而非每一可用點計算表面法線(方塊1202中)，隨後為每一被取樣的源點實現方塊1204的程序。取樣可以藉由隨機地選擇指定比例的點而實現。在另一實施例中，以將點的表面法線考慮在內的方式來實現取樣(方塊1200中)，並因此可在方塊1202之後執行。例如，為每一點計算表面法線(方塊1202)並且為不同範圍的表面法線值用複數個柱建立長條圖。如此進行取樣：實現跨越各柱的均勻取樣。
在與本案同一天提交的題為「三維環境重構」的共同待批的美國專利申請，如上文在圖4的論述中所引用的，描述了從描述相機位置和方向的資料以及由深度相機產生的深度圖中構建真實世界環境的3D模型的方法，且該方法的各態樣可參考圖4、圖13和圖14來描述。
圖13圖示用於產生3D環境模型的可並行化程序的實例的流程圖。在一個實例中，圖13的程序在GPU處理器上、多核處理器上，或允許高度的執行並行化的其他類型的處理器上執行。在其他實例中，若單核處理器足夠快速的話，亦可使用單核處理器。首先，在記憶體設備上建立用於儲存模型的3D體(方塊1300)。在一個實例中，在圖形處理系統(例如，圖10的系統1004)的記憶體上建立3D體，此舉賦能從GPU的快速、並行的存取。
3D體可被視覺化為記憶體的立方體，其中每一記憶體位置是表示正被模型化的環境的空間中的點的體素。因此，3D體直接表示真實世界環境的空間部分。由於3D體直接對應於真實世界體，所以固定大小的記憶體中表示的真實世界體的大小決定了模型的解析度。例如，若較大的真實世界體要被模型化，則記憶體的每一體素表示真實世界空間中較大的區域，並因此解析度低於較小的真實世界體被模型化的情況。然而若更多記憶體可用，則可以更高的解析度對較大的真實世界體模型化。
一旦在記憶體中建立了3D體(方塊1300中)，則模型化程序經由從行動環境擷取設備400接收(方塊1302中)深度圖像414以及在擷取該深度圖像時深度相機402的6DOF姿態估計來開始。6DOF姿態估計指示了深度相機402的位置和方向，並且可由即時追蹤器416來提供。在一個實例中，6DOF姿態估計可以採用SE3矩陣的形式，該矩陣描述了深度相機402相對於真實世界座標的旋轉和轉換。此變換矩陣可以被更加正式地表示為：
其中Tk 是深度圖像訊框k的變換矩陣，Rk 是訊框k的相機旋轉，tk 是訊框k處的相機轉換，歐幾裡德群組SE 3 :={R ,t |R SO 3 ,t □3 )。藉由乘以該變換矩陣，可以將相機空間中的座標(亦即，來自相機角度)映射到真實世界座標。
可對3D體的平面中的每一體素賦予獨立的執行線程(方塊1304)。例如，若體的平面是z平面，則對3D體的x座標和y座標的每一組合賦予執行線程。每一個獨立的執行線程隨後執行相同的操作，如圖13中的虛線方塊1306所指示的。每一線程執行的操作在圖14中圖示。圖14圖示3D體1400的俯視視圖(亦即，圖示x軸1420和z軸1422，而處於清楚的目的忽略了y軸)。對體的z平面上的每一座標賦予執行線程，被表示為T1 1402、T2 1404......Tn-1 1406、Tn 1408。方塊1306中的每一線程執行的操作首先被參考T1 1402來說明。
執行線程的z座標被設為零(方塊1308中)，而與該線程相關聯的體素的x、y、z座標被轉換為真實世界座標(方塊1310中)。例如，在線程T1 1402的情況下，與該線程相關聯的x、y座標是(0,0)，所以當z座標被設為零時，此舉提供可被轉換為真實世界座標的座標(0,0,0)(亦即，圖14中的體素1410)。一旦決定了體素1410的真實世界座標，則其可使用深度相機的6DOF位置和方向來進行變換以決定深度圖像414中該體素的對應位置。此意味著與該線程相關聯的當前體素的真實世界座標經由深度相機的投影來透視投影。換言之，若表示真實世界中的該點的體素正由具有其位置和方向的深度相機查看，則此決定深度圖像414中該點的座標是什麼。該體素的深度相機透視座標被表示為pX、pY、pZ。深度相機透視座標可藉由u=pX/pZ和v=pY/pZ被轉換為深度圖像像素座標(被表示為u、v)。
深度相機402的透視在圖14中由虛線圖示，該虛線指示深度相機402的截錐體1412。圖14亦圖示從深度相機輸出的深度圖像414中的表面1414。
當前與該線程相關聯的體素的深度圖像座標(u,v)用於決定(方塊1314中)該體素是否位於深度相機的截錐體1412中。若否，則可跳過該體素。參考圖14，注意，在線程T1 的情況中，當前體素1410在相機的截錐體1412內。此情況可以例如與由線程Tn-1 考慮的第一體素相反，該第一體素在相機截錐體1412之外，因此被跳過。
若決定當前體素在相機截錐體1412內，則決定關於體素與環境中的點之間的距離的因數，該點位於環境中從相機角度的與該體素對應的位置處。位於環境中對應位置處的點可由深度圖像中(u,v)處的深度值提供。因此，參考圖14，該因數考慮了體素1410和深度圖像414中的表面1414上映射到體素1410上的點之間的距離1416。
在一個實例中，所計算的因數(方塊1320)是帶符號的距離函數。帶符號的距離函數計算提供當前體素與深度圖像414中的對應點之間的距離的值，且帶有符號以使得在深度圖像中的對應點之外(亦即，外部)的體素(從相機的角度)被給予正距離，而在深度圖像中的對應點之內(亦即，內部)的體素(從相機的角度)被給予負距離。零值指示相關聯的體素恰巧與對應點一致。帶符號的距離函數可容易地從深度圖像中(u,v)處的深度值減去pZ來計算。例如，圖14中的體素1410在表面141上的對應點前方，並因此具有正的帶符號的距離函數值。相反，圖14中的體素1418在表面1414上的其對應點後方，並因此具有負的帶符號的距離函數值。
帶符號的距離函數值隨後被正規化(方塊1322中)為預定義距離值。在一個實例中，該預定義值可以是小的距離，諸如5cm，儘管可使用任何合適的值。隨後決定(方塊1314中)該經正規化的距離是否大於正的閾值(若帶符號的距離是正的)或小於負的閾值(若帶符號的距離是負的)。若是，則帶符號的距離函數值被截斷(方塊1326中)為最大或最小值。例如，若經正規化的距離大於正的閾值，則該值可在+1處截斷(在正規化之後正的閾值)，而若經正規化的距離小於負的閾值，則該值可在-1處截斷(在正規化之後負的閾值)。該計算的結果被稱為截斷的帶符號的距離函數(TSDF)。
例如，參考圖14，體素1410是表面1414之外的相對較大的距離，並因此可被截斷為+1。相反，體素1418是表面1414之內相對較短的距離，並因此可能不被截斷，並保持其經正規化的距離(例如-0.6)。
經正規化的(並若合適，被截斷的)帶符號的距離函數值隨後與先前儲存在當前體素處的任何值進行組合。在此情況是被合併到3D體中的第一深度圖像的情況下，不存在先前的值。然而，隨著從深度相機接收和合併其他訊框，則值可能已經存在於體素處。
在一個實例中，藉由求平均將帶符號的距離函數值與先前的值進行組合(方塊1328)。此舉可有助於用移動物件構建環境的模型，因為其允許已經移動的物件隨著時間隨著所添加的量測變得更舊以及與更近的量測進行平均而消失。例如，可以使用指數衰減移動平均。在另一實例中，平均可以是使用與從深度相機到相關聯的體素的距離有關的加權函數的加權平均。經平均的帶符號的距離函數值隨後可被儲存在當前體素處(方塊1330)。
在一替換實例中，可在每一體素處儲存兩個值。可計算和儲存帶符號的距離函數值的加權和，並且亦可計算和儲存所計算的權重的和。加權平均隨後可被計算為(加權和)/(權重和)。
隨後決定(方塊1316中)3D體的所有z平面是否皆被該線程考慮了。若否，則遞增z座標(方塊1318)，且可對z方向上的下一體素重複該程序。換言之，線程開始沿著體的z方向迭代過等效體素(亦即，具有相同x、y座標的)，決定截斷的帶符號的距離函數值並用先前的值對其求平均。
該操作被重複直到線程已經迭代過了所有的z平面。該操作由每一個線程來執行，該等線程中的每一個被分配到z平面上的不同x、y座標。對於圖5中的記憶體佈局，在某一時刻體的一個平面的該序列具有良好的記憶體存取效率特性，因為一個z平面對應於線性間隔陣列的較小的連續區域。因此，一旦此操作由所有的線程完成且分析了整個3D體，則為每一體素計算相對於深度圖像414的截斷的帶符號的距離函數。該程序隨後等待要從深度相機接收的下一深度圖像訊框，並且再次開始，在可能的情況下向3D體添加更多的值。
該程序的結果是3D體包括具有在-1和+1之間的均值的體素(儘管注意，該均值可由諸如以上的「加權和」和「權重和」值之類的多個值表示)。零均值指示環境中的表面出現在該位置。因為深度圖像的多個訊框隨著時間被添加到體，所以儲存在體中的模型被逐漸地構建地越來越詳細。對環境的相同區域的重複量測增加了更多的細節，並有效地提高了由深度相機提供的資訊的解析度。此外，亦有效地從深度圖像中平均出了雜訊，留下了更平滑的表面。此結果使得可以在模型中看到不能從各個深度圖像中看到的細節。
以此方式使用單獨的執行線程實現了整個3D體上的計算上的高效處理。例如，GPU處理器被安排為高效地執行並行程式線程，其中每一線程執行相同的操作。此舉使得以上參考圖13描述的模型產生程序被即時地執行，從而使得該模型按深度相機的訊框率來構建。
儘管在本文中將本發明的實例描述並圖示為在遊戲系統中實現，但是所描述的系統只是作為實例而非限制來提供的。本領域中的技藝人士將會認識到，本發明的實例適於在包括增強的真實性系統和機器人學系統、遙現和模擬在內的各種不同類型的互動式計算系統中的應用軟體。其他實例包括掃瞄3D電視機或3D呈現的遠端顯示、產生虛擬觀光的內容、遠端協調、掃瞄緊急服務和第一回應者的場景。
本文所使用的術語「電腦」代表帶有處理能力使得其可以執行指令的任何設備。本領域的技藝人士將認識到，此種處理能力被整合到許多不同的設備中，因此，術語電腦憭包括PC、伺服器、行動電話、個人數位助理和許多其他設備。
本文描述的方法可由有形儲存媒體上的機器可讀形式的軟體來執行，例如電腦程式的形式，該電腦程式包括在該程式在電腦上執行時適用於執行本文描述的任何方法的所有步驟的電腦程式代碼裝置並且其中該電腦程式可被包括在電腦可讀取媒體上。有形(或非瞬態)儲存媒體的示例性可包括磁碟(disk)、拇指型驅動器、記憶體等，而不包括所傳播的信號。軟體可以適合於在並行處理器或連續處理器上執行，使得各方法步驟可以以任何適當的順序實現，或同時實現。
此舉確認了軟體可以是有價值的、可單獨交易的商品。其意欲包含執行於或者控制啞摂或標準硬體以實現所需功能的軟體。其亦意欲包含例如用於設計矽晶片，或者用於配置通用可程式設計晶片的HDL(硬體描述語言)軟體等「描述」或者定義硬體設定以實現期望功能的軟體。
本領域的技藝人士將認識到，用來儲存程式指令的儲存設備可以分佈在網路上。例如，遠端電腦可以儲存被描述為軟體的程序的實例。本端或終端電腦可以存取遠端電腦並下載軟體的一部分或全部以執行程式。或者，本端電腦可以根據需要下載軟體的片段，或在本端終端上執行一些軟體指令，並在遠端電腦(或電腦網路)上執行另一些軟體指令。本領域的技藝人士亦將認識到，藉由利用本領域的技藝人士已知的傳統技術，軟體指令的全部，或一部分可以藉由諸如DSP、可程式設計邏輯陣列等等之類的專用電路來實現。
如本領域技藝人士將清楚的，本文提供的任何範圍或者設備值皆可以被擴展或者改變而不失去所尋求的效果。
儘管用結構特徵及/或方法動作專用的語言描述了本標的，但可以理解，所附申請專利範圍中定義的標的不必限於上述具體特徵或動作。相反，上述具體特徵和動作是作為實現請求項的示例性形式揭示的。
可以理解，上文所描述的益處和優點可以涉及一個實施例或可以涉及多個實施例。各實施例不限於解決所述問題中的任一個或全部的實施例或具有所述益處和優點中的任一個或全部的實施例。進一步可以理解，對「一個」項目的引用代表彼等項目中的一或多個。
本文所描述的方法的步驟可以在適當的情況下以任何合適的順序，或同時實現。另外，在不偏離本文所描述的標的的精神和範圍的情況下，可以從任何一個方法中刪除各單獨的方塊。上文所描述的任何實例的各態樣可以與所描述的其他實例中的任何實例的各態樣相結合，以構成進一步的實例，而不會丟失尋求的效果。
本文使用了術語「包括」意欲包括已標識的方法的方塊或元素，但是此種方塊或元素不構成排它性的清單，方法或設備可以包含額外的方塊或元素。
可以理解，上文對一較佳實施例的描述只是作為實例提供並且本領域的技藝人士可以做出各種修改。以上說明、實例和資料提供了對本發明的各示例性實施例的結構和使用的全面描述。儘管上文以一定的詳細度或參考一或多個單個實施例描述了本發明的各實施例，但是，在不偏離本發明的精神或範圍的情況下，本領域的技藝人士可以對所揭示的實施例作出很多更改。
31．．．虛線方塊
32．．．虛線方塊
100．．．人
102．．．行動深度相機
103．．．互動式計算系統
104．．．另一個人
105．．．顯示器
106．．．物件
108．．．貓
110．．．密集3D環境模型化系統
112．．．即時相機追蹤系統
114．．．整合引擎
200．．．建築物某層
202．．．人
204．．．行動深度相機
206．．．走廊
208．．．虛線箭頭
210．．．傢俱
302．．．方塊
304．．．方塊
306．．．方塊
308．．．方塊
310．．．方塊
312．．．方塊
314．．．方塊
400．．．行動環境擷取設備
402．．．深度相機
404．．．發射器
406．．．RGB相機
408．．．定向感測器
412．．．投影儀
414．．．各對深度圖像訊框
416．．．即時追蹤器
418．．．訊框對準引擎
420．．．循環封閉引擎
422．．．重新定位引擎
424．．．密集3D模型產生系統
426．．．密集3D模型
428．．．即時系列
430．．．顯示裝置
432．．．整合引擎
434．．．圖資料
502．．．物件辨識模組
504．．．其他周邊設備
506．．．物件資料庫
602．．．方塊
604．．．方塊
606．．．方塊
608．．．方塊
681．．．方塊
682．．．方塊
683．．．方塊
684．．．方塊
685．．．方塊
702．．．顯示器
704．．．十字線
712．．．深度相機
714．．．顯示器
716．．．指向設備
718．．．箭頭
802．．．深度相機
804．．．深度相機
806．．．深度相機
902．．．方塊
904．．．方塊
906．．．方塊
908．．．方塊
1000．．．設備
1002．．．處理器
1004．．．圖形處理系統
1006．．．通訊介面
1008．．．圖形處理單元(GPU)
1010．．．記憶體設備
1012．．．輸入/輸出介面
1014．．．顯示介面
1016．．．記憶體
1018．．．作業系統
1020．．．應用軟體
1022．．．密集模型整合引擎
1024．．．物件辨識模組
1030．．．資料儲存器
1100．．．步驟
1102．．．步驟
1104．．．步驟
1106．．．步驟
1108．．．步驟
1200．．．方塊
1202．．．方塊
1204．．．方塊
1206．．．方塊
1208．．．方塊
1210．．．方塊
1212．．．方塊
1214．．．方塊
1306．．．虛線方塊
1308．．．方塊
1310．．．方塊
1314．．．方塊
1316．．．方塊
1318．．．方塊
1320．．．方塊
1322．．．方塊
1326．．．方塊
1328．．．方塊
1330．．．方塊
1400．．．3D體
1402．．．線程T1
1404．．．線程T2
1406．．．線程Tn-1
1408．．．線程Tn
1410．．．體素
1412．．．截錐體
1414．．．表面
1416．．．距離
1418．．．體素
1420．．．x軸
1422．．．z軸
根據附圖閱讀以上具體實施方式，將更好地理解本發明，在附圖中：
圖1圖示站在房間中並且持有行動深度相機的人的示意圖，該行動深度相機可被用於產生該房間的3D模型；
圖2圖示由持有行動深度相機的人來探測的建築物某層的平面視圖；
圖3是圖1中所示的互動式計算系統的操作的實例的流程圖；
圖4和圖5是連接到互動式計算系統的行動深度相機的示意圖；
圖6圖示互動式計算系統的操作的一部分的流程圖，該流程圖涉及使用圖5中圖示的物件辨識模組；
圖7圖示校準指向設備的已知方法和自動校準方法兩者的示意圖；
圖8是與圖1中圖示的安排類似的但具有多個深度相機的安排的示意圖；
圖9是多個深度相機的自動校準的示例性方法的示例性流程圖；
圖10圖示可在其中實現本文所描述的各種方法的各實施例的示例性的基於計算的設備；
圖11是訊框對準引擎處的示例性迭代程序的流程圖；
圖12是更詳細地圖示計算對應點的對的步驟的流程圖；
圖13是用於產生3D環境模型的可並行化程序的實例的流程圖；及
圖14圖示示例性可並行化的、帶符號的距離函數計算。
在各個附圖中使用相同的元件符號來代表相同的部件。
100．．．人
102．．．行動深度相機
103．．．互動式計算系統
104．．．另一個人
105．．．顯示器
106．．．物件
108．．．貓
110．．．密集3D環境模型化系統
112．．．即時相機追蹤系統
114．．．整合引擎

Claims (20)

  1. 一種互動式計算系統，該互動式計算系統包括：一輸入，該輸入用於當一行動深度相機處於運動時從該行動深度相機接收第一系列深度圖像以及當該行動深度相機處於靜態時從該行動深度相機接收一第二系列深度圖像；一即時相機追蹤引擎，該即時相機追蹤引擎用於當該行動深度相機處於運動時追蹤該行動深度相機的一位置；一密集3D環境模型化系統，該密集3D環境模型化系統被安排為從任何系列深度圖像以及來自該即時相機追蹤引擎的位置資料中產生該環境的一密集3D模型；及一整合引擎，該整合引擎被安排成將該密集3D模型的至少一部分整合到一應用軟體中並藉由使用該第二系列深度圖像追蹤該環境的一部分中的即時移動來將使用者輸入提供給該應用軟體。
  2. 如請求項1之互動式計算系統，該互動式計算系統進一步包括：一物件辨識模組，該物件辨識模組被安排為分析該環境的該密集3D模型並標識該模型中的物件。
  3. 如請求項2之互動式計算系統，其中該整合引擎進一步被安排為基於該密集3D模型中一所標識的物件來適應該應用軟體。
  4. 如請求項3之互動式計算系統，其中適應該應用軟體包括基於一偵測到的一顯示器和該行動深度相機的一相對位置來自動決定一物件的位置校準資訊。
  5. 如請求項4之互動式計算系統，其中該物件包括一指向設備或該系統的一使用者。
  6. 如請求項1之互動式計算系統，該互動式計算系統進一步包含該行動深度相機。
  7. 如請求項6之互動式計算系統，該互動式計算系統進一步包含複數個額外的深度相機。
  8. 如請求項3之互動式計算系統，其中該所辨識的物件是一投影儀，且該整合引擎被安排為使用該3D模型影響該投影儀的輸出。
  9. 如請求項1之互動式計算系統，其中該系統是一遊戲系統且該應用軟體是一遊戲。
  10. 一種操作一互動式計算系統的方法，該方法包括以下步驟：當一行動深度相機在一環境中四處運動時從該行動深度相機接收一系列深度圖像；從該系列深度圖像中產生該環境的一密集3D模型；將該密集3D模型的至少一部分整合到一應用軟體中；當該行動深度相機未運動時從該行動深度相機接收一第二系列深度圖像；及使用該第二系列深度圖像3D地追蹤該環境的一區域中的即時移動。
  11. 如請求項10之方法，該方法進一步包括以下步驟：使用該第二系列深度圖像來產生該密集3D模型。
  12. 如請求項11之方法，該方法進一步包括以下步驟：使用該第二系列深度圖像來更新該密集3D模型。
  13. 如請求項10之方法，其中將該密集3D模型的至少一部分整合到一應用軟體中之步驟包括以下步驟：分析該密集3D模型以自動標識該模型中的物件；在一物件被標識的情況下，將物件類型和物件位置資訊輸入到應用軟體中；及基於該輸入物件類型和位置資訊來調整該應用軟體的操作。
  14. 如請求項13之方法，其中該物件包括一主動物件，且調整該應用軟體的執行之步驟包括以下步驟：調整該主動物件的一輸出。
  15. 如請求項13之方法，其中該物件包括一顯示器，且調整該應用軟體的執行之步驟包括以下步驟：基於一偵測到的該顯示器和該行動深度相機的一相對位置來自動校準一物件相對於該顯示器的一位置。
  16. 如請求項13之方法，其中調整該應用軟體的執行之步驟包括以下步驟：調整另一偵測到的物件的輸出。
  17. 如請求項13之方法，其中該物件包括另一深度相機，且調整該應用軟體的執行之步驟包括以下步驟：基於每一深度相機的一相對位置來校準該系統。
  18. 如請求項10之方法，該方法進一步包括以下步驟：從一或多個附加深度相機中的每一個接收一系列深度圖像；從該每一系列深度圖像中產生該環境的一密集3D模型；標識一個以上的密集3D模型中的共用特徵；及基於該所標識的共用特徵來計算相機的相對位置。
  19. 如請求項10之方法，其中該互動式計算系統是一遊戲系統且該應用軟體是一遊戲。
  20. 一種遊戲系統，該遊戲系統具有一第一和第二操作階段，該遊戲系統包含：一輸入，該輸入用於當一行動深度相機處於該第一操作階段時從該行動深度相機接收一第一系列深度圖像以及當該行動深度相機處於該第二操作階段時從該行動深度相機接收一第二系列深度圖像；其中該行動深度相機在該第一操作階段中是處於運動中且在該第二操作階段中是處於靜態；一即時相機追蹤引擎，該即時相機追蹤引擎被安排為當該行動深度相機處於該第一操作階段時追蹤該行動深度相機的一位置；一密集3D模型化系統，該密集3D模型化系統被安排為使用該第一系列深度圖像以及來擷取每一深度圖像時該行動深度相機的位置產生一房間的一3D模型；及一遊戲引擎，該遊戲引擎被安排成將該密集3D模型的至少一部分整合到一遊戲中並使用該第二系列深度圖像作為對該遊戲的一使用者輸入追蹤該房間的一部分中的即時移動。
TW100149581A 2011-01-31 2011-12-29 在遊戲中使用三維環境模型 TWI442311B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/017,729 US8570320B2 (en) 2011-01-31 2011-01-31 Using a three-dimensional environment model in gameplay

Publications (2)

Publication Number Publication Date
TW201234261A TW201234261A (en) 2012-08-16
TWI442311B true TWI442311B (zh) 2014-06-21

Family

ID=46576972

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100149581A TWI442311B (zh) 2011-01-31 2011-12-29 在遊戲中使用三維環境模型

Country Status (9)

Country Link
US (1) US8570320B2 (zh)
EP (1) EP2670496B1 (zh)
JP (1) JP6001562B2 (zh)
KR (1) KR101881620B1 (zh)
CN (1) CN102681661B (zh)
AR (1) AR084931A1 (zh)
HK (1) HK1174113A1 (zh)
TW (1) TWI442311B (zh)
WO (1) WO2012106070A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9906721B2 (en) 2015-10-30 2018-02-27 Essential Products, Inc. Apparatus and method to record a 360 degree image
TWI634440B (zh) * 2015-10-30 2018-09-01 基礎產品股份有限公司 用於產生無失真寬視圖影像的成像裝置及方法
US10218904B2 (en) 2015-10-30 2019-02-26 Essential Products, Inc. Wide field of view camera for integration with a mobile device
TWI745955B (zh) * 2020-05-06 2021-11-11 宏碁股份有限公司 擴增實境系統與其錨定顯示方法

Families Citing this family (224)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2023812T3 (pl) 2006-05-19 2017-07-31 The Queen's Medical Center Układ śledzenia ruchu dla adaptacyjnego obrazowania w czasie rzeczywistym i spektroskopii
US10080107B2 (en) * 2007-04-30 2018-09-18 Intech 21, Inc. Topographical display generator for ad hoc network
US9766074B2 (en) 2008-03-28 2017-09-19 Regents Of The University Of Minnesota Vision-aided inertial navigation
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
EP2193825B1 (en) * 2008-12-03 2017-03-22 Alcatel Lucent Mobile device for augmented reality applications
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8532962B2 (en) * 2009-12-23 2013-09-10 Honeywell International Inc. Approach for planning, designing and observing building systems
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
JP2011197777A (ja) * 2010-03-17 2011-10-06 Sony Corp 情報処理装置、情報処理方法およびプログラム
US9256982B2 (en) 2010-03-17 2016-02-09 Microsoft Technology Licensing, Llc Medical image rendering
US8990049B2 (en) 2010-05-03 2015-03-24 Honeywell International Inc. Building structure discovery and display from various data artifacts at scene
US8538687B2 (en) 2010-05-04 2013-09-17 Honeywell International Inc. System for guidance and navigation in a building
US8773946B2 (en) * 2010-12-30 2014-07-08 Honeywell International Inc. Portable housings for generation of building maps
US9247238B2 (en) 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
US8401242B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US9329469B2 (en) * 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US10972680B2 (en) * 2011-03-10 2021-04-06 Microsoft Technology Licensing, Llc Theme-based augmentation of photorepresentative view
CN103582851B (zh) * 2011-04-06 2016-05-11 皇家飞利浦有限公司 针对动态3d健康护理环境中的安全性的***和方法
US8849030B2 (en) 2011-04-22 2014-09-30 Microsoft Corporation Image retrieval using spatial bag-of-features
US8760499B2 (en) * 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
US9053571B2 (en) 2011-06-06 2015-06-09 Microsoft Corporation Generating computer models of 3D objects
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
US9268520B1 (en) * 2011-06-21 2016-02-23 Amazon Technologies, Inc. Altering content projection
US8890953B1 (en) * 2011-06-27 2014-11-18 Rawles Llc Optical-based scene detection and audio extraction
US9342928B2 (en) 2011-06-29 2016-05-17 Honeywell International Inc. Systems and methods for presenting building information
WO2013032933A2 (en) 2011-08-26 2013-03-07 Kinecticor, Inc. Methods, systems, and devices for intra-scan motion correction
US9274595B2 (en) * 2011-08-26 2016-03-01 Reincloud Corporation Coherent presentation of multiple reality and interaction models
KR20130043300A (ko) * 2011-10-20 2013-04-30 삼성전자주식회사 프로젝터를 통해 투사되는 영상을 보정하기 위한 장치 및 방법
US9710958B2 (en) * 2011-11-29 2017-07-18 Samsung Electronics Co., Ltd. Image processing apparatus and method
US9241141B1 (en) * 2011-12-23 2016-01-19 Amazon Technologies, Inc. Projection block extraction
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US20130182079A1 (en) * 2012-01-17 2013-07-18 Ocuspec Motion capture using cross-sections of an object
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
KR101929451B1 (ko) * 2012-02-03 2018-12-14 삼성전자주식회사 로봇의 제어 장치 및 방법
CN104641399B (zh) * 2012-02-23 2018-11-23 查尔斯·D·休斯顿 用于创建环境并用于共享环境中基于位置的体验的***和方法
US10600235B2 (en) 2012-02-23 2020-03-24 Charles D. Huston System and method for capturing and sharing a location based experience
US9367731B2 (en) * 2012-05-23 2016-06-14 Intel Corporation Depth gradient based tracking
JP5966624B2 (ja) * 2012-05-29 2016-08-10 株式会社リコー 情報処理装置及び情報表示システム
EP2672461A1 (de) * 2012-06-05 2013-12-11 a.tron3d GmbH Verfahren zum Fortsetzen von Aufnahmen zum Erfassen von dreidimensionalen Geometrien von Objekten
US8983662B2 (en) * 2012-08-03 2015-03-17 Toyota Motor Engineering & Manufacturing North America, Inc. Robots comprising projectors for projecting images on identified projection surfaces
US9332243B2 (en) 2012-10-17 2016-05-03 DotProduct LLC Handheld portable optical scanner and method of using
US10674135B2 (en) 2012-10-17 2020-06-02 DotProduct LLC Handheld portable optical scanner and method of using
US9576183B2 (en) * 2012-11-02 2017-02-21 Qualcomm Incorporated Fast initialization for monocular visual SLAM
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
KR101839035B1 (ko) * 2012-11-26 2018-03-19 한국전자통신연구원 멀티 ｇｐｕ를 기반으로 하는 ３차원 복원을 위한 장치 및 그 방법
CN103869933B (zh) * 2012-12-11 2017-06-27 联想(北京)有限公司 信息处理的方法和终端设备
US20210390330A1 (en) * 2012-12-20 2021-12-16 Sarine Technologies Ltd. System and method for determining the traceability of gemstones based on gemstone modeling
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9357199B2 (en) 2013-01-04 2016-05-31 Qualcomm Incorporated Separate track storage of texture and depth views for multiview coding plus depth
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9153067B2 (en) * 2013-01-21 2015-10-06 Honeywell International Inc. Systems and methods for 3D data based navigation using descriptor vectors
US9123165B2 (en) 2013-01-21 2015-09-01 Honeywell International Inc. Systems and methods for 3D data based navigation using a watershed method
US9251590B2 (en) * 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9782141B2 (en) 2013-02-01 2017-10-10 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
JP6250024B2 (ja) * 2013-02-19 2017-12-20 ミラマ サービス インク キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法
WO2014130854A1 (en) * 2013-02-21 2014-08-28 Regents Of The Univesity Of Minnesota Extrinsic parameter calibration of a vision-aided inertial navigation system
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
CN103218826B (zh) * 2013-03-19 2016-08-10 浙江中控研究院有限公司 基于Kinect的抛体检测、三维定位与轨迹预测方法
CN105453559B (zh) * 2013-04-16 2017-12-29 点积公司 手持式便携光学扫描器及其使用方法
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9607401B2 (en) 2013-05-08 2017-03-28 Regents Of The University Of Minnesota Constrained key frame localization and mapping for vision-aided inertial navigation
US9349179B2 (en) * 2013-05-10 2016-05-24 Microsoft Technology Licensing, Llc Location information determined from depth camera data
DE102013208654A1 (de) * 2013-05-10 2014-11-13 Iris-Gmbh Infrared & Intelligent Sensors Sensorsystem und Verfahren zur Aufnahme eines Handvenenmusters
US9025863B2 (en) * 2013-06-27 2015-05-05 Intel Corporation Depth camera system with machine learning for recognition of patches within a structured light pattern
EP2818948B1 (en) * 2013-06-27 2016-11-16 ABB Schweiz AG Method and data presenting device for assisting a remote user to provide instructions
US9210417B2 (en) * 2013-07-17 2015-12-08 Microsoft Technology Licensing, Llc Real-time registration of a stereo depth camera array
WO2015013418A2 (en) * 2013-07-23 2015-01-29 The Regents Of The University Of California Method for processing feature measurements in vision-aided inertial navigation
US9843689B1 (en) * 2013-08-01 2017-12-12 Amazon Technologies, Inc. Self stabilizing projector
US20150042640A1 (en) * 2013-08-07 2015-02-12 Cherif Atia Algreatly Floating 3d image in midair
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9996974B2 (en) 2013-08-30 2018-06-12 Qualcomm Incorporated Method and apparatus for representing a physical scene
KR102115930B1 (ko) * 2013-09-16 2020-05-27 삼성전자주식회사 디스플레이 장치 및 영상 처리 방법
US9591295B2 (en) 2013-09-24 2017-03-07 Amazon Technologies, Inc. Approaches for simulating three-dimensional views
US9530243B1 (en) 2013-09-24 2016-12-27 Amazon Technologies, Inc. Generating virtual shadows for displayable elements
US9437038B1 (en) 2013-09-26 2016-09-06 Amazon Technologies, Inc. Simulating three-dimensional views using depth relationships among planes of content
US9224237B2 (en) * 2013-09-27 2015-12-29 Amazon Technologies, Inc. Simulating three-dimensional views using planes of content
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9367203B1 (en) 2013-10-04 2016-06-14 Amazon Technologies, Inc. User interface techniques for simulating three-dimensional depth
US10152136B2 (en) 2013-10-16 2018-12-11 Leap Motion, Inc. Velocity field interaction for free space gesture interface and control
JP6318542B2 (ja) * 2013-10-24 2018-05-09 富士通株式会社 表示制御方法、表示制御プログラムおよび情報処理装置
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US20150139505A1 (en) * 2013-11-18 2015-05-21 Electronics And Telecommunications Research Institute Method and apparatus for predicting human motion in virtual environment
CN104679397A (zh) * 2013-11-29 2015-06-03 英业达科技有限公司 显示器及其控制方法
CN103678892A (zh) * 2013-12-03 2014-03-26 腾讯科技(成都)有限公司 一种角色对象管理的方法和装置
US10126822B2 (en) 2013-12-16 2018-11-13 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual configuration
TWI549476B (zh) * 2013-12-20 2016-09-11 友達光電股份有限公司 顯示系統及調整可視範圍的方法
KR102035670B1 (ko) * 2013-12-27 2019-10-23 한국전자통신연구원 표면 모델 정합 장치 및 방법
TWI530909B (zh) 2013-12-31 2016-04-21 財團法人工業技術研究院 影像合成系統及方法
US20150193971A1 (en) * 2014-01-03 2015-07-09 Motorola Mobility Llc Methods and Systems for Generating a Map including Sparse and Dense Mapping Information
US20180350216A1 (en) * 2014-01-03 2018-12-06 Google Inc. Generating Representations of Interior Space
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
EP3157422A4 (en) 2014-03-24 2018-01-24 The University of Hawaii Systems, methods, and devices for removing prospective motion correction from medical imaging scans
US9779508B2 (en) 2014-03-26 2017-10-03 Microsoft Technology Licensing, Llc Real-time three-dimensional reconstruction of a scene from a single camera
JP6613244B2 (ja) * 2014-03-27 2019-11-27 ゲーム コンプレックス， インコーポレイテッド 物理的空間におけるアクションのゲーミフィケーション
EP2933779A1 (en) * 2014-04-15 2015-10-21 Alcatel Lucent Capturing an environment with objects
JP6003942B2 (ja) * 2014-04-24 2016-10-05 トヨタ自動車株式会社 動作制限装置及び動作制限方法
US9996636B2 (en) * 2014-05-13 2018-06-12 Atheer, Inc. Method for forming walls to align 3D objects in 2D environment
CN104008571B (zh) * 2014-06-12 2017-01-18 深圳奥比中光科技有限公司 基于深度相机的人体模型获取方法及网络虚拟试衣***
US10012504B2 (en) 2014-06-19 2018-07-03 Regents Of The University Of Minnesota Efficient vision-aided inertial navigation using a rolling-shutter camera with inaccurate timestamps
US9658070B2 (en) 2014-07-11 2017-05-23 Regents Of The University Of Minnesota Inverse sliding-window filters for vision-aided inertial navigation systems
WO2016014718A1 (en) 2014-07-23 2016-01-28 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
JP2016038889A (ja) 2014-08-08 2016-03-22 リープ モーション, インコーポレーテッドLeap Motion, Inc. モーション感知を伴う拡張現実
US10394327B2 (en) 2014-09-12 2019-08-27 University Of Washington Integration of auxiliary sensors with point cloud-based haptic rendering and virtual fixtures
US10110881B2 (en) * 2014-10-30 2018-10-23 Microsoft Technology Licensing, Llc Model fitting from raw time-of-flight images
US11250630B2 (en) 2014-11-18 2022-02-15 Hallmark Cards, Incorporated Immersive story creation
US10235806B2 (en) * 2014-11-21 2019-03-19 Rockwell Collins, Inc. Depth and chroma information based coalescence of real world and virtual world images
US9875357B2 (en) * 2015-02-06 2018-01-23 Qualcomm Incorporated Methods and systems for detecting fake user interactions with a mobile device for improved malware protection
JP2018506797A (ja) 2015-02-12 2018-03-08 ネクストブイアール・インコーポレイテッド 環境測定を行うための、及び／又は、このような測定を使用するための方法及び装置
US10684485B2 (en) * 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
US9699394B2 (en) 2015-03-09 2017-07-04 Microsoft Technology Licensing, Llc Filter arrangement for image sensor
US9639166B2 (en) 2015-03-11 2017-05-02 Microsoft Technology Licensing, Llc Background model for user recognition
US9709404B2 (en) 2015-04-17 2017-07-18 Regents Of The University Of Minnesota Iterative Kalman Smoother for robust 3D localization for vision-aided inertial navigation
WO2016204658A1 (ru) * 2015-06-15 2016-12-22 Арташес Валерьевич ИКОНОМОВ Оптическая приставка к мобильному телефону типа смартфон
JP6756090B2 (ja) * 2015-06-17 2020-09-16 凸版印刷株式会社 画像処理装置、方法、及びプログラム
US20160379405A1 (en) * 2015-06-26 2016-12-29 Jim S Baca Technologies for generating computer models, devices, systems, and methods utilizing the same
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
CN108136257B (zh) 2015-08-17 2021-09-21 乐高公司 创建虚拟游戏环境的方法和采用该方法的互动游戏***
WO2017029279A2 (en) * 2015-08-17 2017-02-23 Lego A/S Method of creating a virtual game environment and interactive game system employing the method
US20170091999A1 (en) * 2015-09-25 2017-03-30 Rafael Blumenfeld Method and system for determining a configuration of a virtual robot in a virtual environment
US20170092000A1 (en) * 2015-09-25 2017-03-30 Moshe Schwimmer Method and system for positioning a virtual object in a virtual simulation environment
JP6902028B2 (ja) * 2015-11-20 2021-07-14 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． Ｒｇｂｄカメラ姿勢のラージスケール判定のための方法およびシステム
US10716515B2 (en) 2015-11-23 2020-07-21 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10220172B2 (en) 2015-11-25 2019-03-05 Resmed Limited Methods and systems for providing interface components for respiratory therapy
EP4053795A1 (en) 2015-12-31 2022-09-07 ML Netherlands C.V. A method and system for real-time 3d capture and live feedback with monocular cameras
JP6362631B2 (ja) * 2016-01-15 2018-07-25 株式会社ｍｅｌｅａｐ 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ
CN105797378A (zh) * 2016-03-16 2016-07-27 成都电锯互动科技有限公司 一种基于虚拟现实技术的游戏视频实现方法
CN105797379A (zh) * 2016-03-16 2016-07-27 成都电锯互动科技有限公司 一种基于虚拟现实技术的游戏视频处理方法
JP2017182129A (ja) * 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置。
US10257490B2 (en) 2016-04-28 2019-04-09 Verizon Patent And Licensing Inc. Methods and systems for creating and providing a real-time volumetric representation of a real-world event
US10275937B2 (en) 2016-05-06 2019-04-30 National Taiwan University Indirect illumination method and 3D graphics processing device
US10339662B2 (en) 2016-05-23 2019-07-02 Microsoft Technology Licensing, Llc Registering cameras with virtual fiducials
US10326979B2 (en) 2016-05-23 2019-06-18 Microsoft Technology Licensing, Llc Imaging system comprising real-time image registration
US10203209B2 (en) 2016-05-25 2019-02-12 Regents Of The University Of Minnesota Resource-aware large-scale cooperative 3D mapping using multiple mobile devices
JP6088094B1 (ja) * 2016-06-20 2017-03-01 株式会社Ｃｙｇａｍｅｓ 複合現実環境を作成するためのシステム等
US11466990B2 (en) 2016-07-22 2022-10-11 Regents Of The University Of Minnesota Square-root multi-state constraint Kalman filter for vision-aided inertial navigation system
WO2018062251A1 (ja) * 2016-09-30 2018-04-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
US20180124378A1 (en) * 2016-11-03 2018-05-03 Qualcomm Incorporated Enhanced depth map images for mobile devices
US10152851B2 (en) 2016-11-29 2018-12-11 Microsoft Technology Licensing, Llc Notification artifact display
US10843068B2 (en) * 2017-01-18 2020-11-24 Xvisio Technology Corp. 6DoF inside-out tracking game controller
CN106844289A (zh) * 2017-01-22 2017-06-13 苏州蜗牛数字科技股份有限公司 基于手机摄像头扫描环境进行建模的方法
CN106959747B (zh) * 2017-02-14 2020-02-18 深圳奥比中光科技有限公司 三维人体测量方法及其设备
US10489651B2 (en) * 2017-04-14 2019-11-26 Microsoft Technology Licensing, Llc Identifying a position of a marker in an environment
US10817724B2 (en) * 2017-05-01 2020-10-27 Microsoft Technology Licensing, Llc Real time object surface identification for augmented reality environments
CN107168532B (zh) * 2017-05-05 2020-09-11 武汉秀宝软件有限公司 一种基于增强现实的虚拟同步显示方法及***
JP7161281B2 (ja) * 2017-05-23 2022-10-26 トヨタ紡織株式会社 乗物シート用移動システム
JP6275310B1 (ja) 2017-05-26 2018-02-07 株式会社テクテック 拡張現実表示システム、プログラム及び方法
CN107185245B (zh) * 2017-05-31 2020-10-23 武汉秀宝软件有限公司 一种基于slam技术的虚实同步显示方法及***
CN109089090A (zh) * 2017-06-13 2018-12-25 中强光电股份有限公司 投影触控***及其校正方法
US10805684B2 (en) * 2017-06-21 2020-10-13 mindHIVE Inc. Systems and methods for creating and editing multi-component media
EP3646583A4 (en) * 2017-06-29 2021-07-14 Open Space Labs, Inc. AUTOMATED SPATIAL INDEXING OF IMAGES ON THE BASIS OF FLOOR PLAN FEATURES
US10885714B2 (en) * 2017-07-07 2021-01-05 Niantic, Inc. Cloud enabled augmented reality
CN107551551B (zh) * 2017-08-09 2021-03-26 Oppo广东移动通信有限公司 游戏效果构建方法及装置
US10482575B2 (en) * 2017-09-28 2019-11-19 Intel Corporation Super-resolution apparatus and method for virtual and mixed reality
US10559126B2 (en) * 2017-10-13 2020-02-11 Samsung Electronics Co., Ltd. 6DoF media consumption architecture using 2D video decoder
CN107730561B (zh) 2017-10-17 2021-07-06 奥比中光科技集团股份有限公司 深度相机温度误差校正方法及***
EP3707892B1 (en) * 2017-11-10 2023-08-16 Koninklijke KPN N.V. Obtaining image data of an object in a scene
US10653957B2 (en) * 2017-12-06 2020-05-19 Universal City Studios Llc Interactive video game system
US10907971B2 (en) 2017-12-08 2021-02-02 Regents Of The University Of Minnesota Square root inverse Schmidt-Kalman filters for vision-aided inertial navigation and mapping
US10339718B1 (en) * 2017-12-29 2019-07-02 Verizon Patent And Licensing Inc. Methods and systems for projecting augmented reality content
JP6353994B1 (ja) * 2018-01-17 2018-07-04 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理方法、および情報処理装置
US11250592B2 (en) * 2018-01-30 2022-02-15 Sony Interactive Entertainment Inc. Information processing apparatus
JP6453501B1 (ja) * 2018-02-01 2019-01-16 株式会社Ｃｙｇａｍｅｓ 複合現実システム、プログラム、方法、及び携帯端末装置
CN110152293B (zh) * 2018-02-13 2022-07-22 腾讯科技（深圳）有限公司 操控对象的定位方法及装置、游戏对象的定位方法及装置
GB2571306A (en) * 2018-02-23 2019-08-28 Sony Interactive Entertainment Europe Ltd Video recording and playback systems and methods
WO2019183113A1 (en) 2018-03-20 2019-09-26 Pcms Holdings, Inc. System and method for optimizing dynamic point clouds based on prioritized transformations
WO2019182811A1 (en) * 2018-03-20 2019-09-26 Pcms Holdings, Inc. System and method for dynamically adjusting level of details of point clouds
US10984583B2 (en) * 2018-03-28 2021-04-20 Apple Inc. Reconstructing views of real world 3D scenes
US10449461B1 (en) * 2018-05-07 2019-10-22 Microsoft Technology Licensing, Llc Contextual in-game element recognition, annotation and interaction based on remote user input
US10846923B2 (en) * 2018-05-24 2020-11-24 Microsoft Technology Licensing, Llc Fusion of depth images into global volumes
US11170224B2 (en) 2018-05-25 2021-11-09 Vangogh Imaging, Inc. Keyframe-based object scanning and tracking
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US11940277B2 (en) 2018-05-29 2024-03-26 Regents Of The University Of Minnesota Vision-aided inertial navigation system for ground vehicle localization
EP3830631A4 (en) * 2018-08-03 2021-10-27 Magic Leap, Inc. NON-FUSED POSE DRIFT CORRECTION OF A FUSED TOTEM IN A USER INTERACTION SYSTEM
US11412194B2 (en) * 2018-08-17 2022-08-09 Dana Comradd Method and system for employing depth perception to alter projected images on various surfaces
US11276244B2 (en) * 2018-09-18 2022-03-15 AB Strategies SEZC Ltd. Fixing holes in a computer generated model of a real-world environment
CN109413152B (zh) * 2018-09-25 2021-02-26 上海瑾盛通信科技有限公司 图像处理方法、装置、存储介质及电子设备
CN109448137B (zh) * 2018-10-23 2023-01-10 网易（杭州）网络有限公司 交互方法、交互装置、电子设备及存储介质
US11170577B2 (en) * 2018-10-30 2021-11-09 Facebook Technologies, Llc Generating and modifying representations of objects in an augmented-reality or virtual-reality scene
US11403810B2 (en) * 2018-11-02 2022-08-02 Facebook Technologies, Llc. Display engine for post-rendering processing
WO2020115784A1 (ja) * 2018-12-03 2020-06-11 マクセル株式会社 拡張現実表示装置及び拡張現実表示方法
CN113273211A (zh) 2018-12-14 2021-08-17 Pcms控股公司 用于对空间数据进行程序化着色的***和方法
US20220156960A1 (en) * 2019-03-28 2022-05-19 Sony Group Corporation Information processing apparatus, information processing method, and program
US11562714B1 (en) * 2019-03-28 2023-01-24 Amazon Technologies, Inc. Remote generation of augmented reality overlays
CN109960545B (zh) * 2019-03-29 2022-09-13 网易（杭州）网络有限公司 虚拟对象控制方法、***、装置、介质及电子设备
US11170552B2 (en) 2019-05-06 2021-11-09 Vangogh Imaging, Inc. Remote visualization of three-dimensional (3D) animation with synchronized voice in real-time
US11232633B2 (en) * 2019-05-06 2022-01-25 Vangogh Imaging, Inc. 3D object capture and object reconstruction using edge cloud computing resources
CN113826376B (zh) * 2019-05-24 2023-08-15 Oppo广东移动通信有限公司 用户设备和斜视校正方法
US20220215677A1 (en) * 2019-06-06 2022-07-07 Sony Group Corporation Information processing device, information processing method, and program
US20200394932A1 (en) * 2019-06-13 2020-12-17 Ampliospeech Ltd. Systems and methods for generating interactive online material for therapy and learning
JP7335221B2 (ja) * 2019-08-20 2023-08-29 株式会社Cygames 画像認識モデルを用いた識別子情報推論のための電子装置、方法、プログラム及びシステム
CN110673114B (zh) * 2019-08-27 2023-04-18 三赢科技（深圳）有限公司 校准三维相机深度的方法、装置、计算机装置及存储介质
WO2021042277A1 (zh) * 2019-09-03 2021-03-11 浙江大学 基于神经网络的三维物体法向量、几何及材质获取方法
US11325041B2 (en) * 2019-09-20 2022-05-10 Martin Thomas Horstman, III Codeless video game creation platform
JP2021051537A (ja) * 2019-09-25 2021-04-01 ミストウォーカー・コーポレーション 画像表示システム、方法、およびプログラム
CN112569574B (zh) * 2019-09-30 2024-03-19 超级魔方(北京)科技有限公司 一种模型拆解方法、装置、电子设备及可读存储介质
US11400376B2 (en) * 2019-10-23 2022-08-02 Sony Interactive Entertainment Inc. AI-generated internal environments based on external geometry
US11301712B2 (en) * 2019-11-07 2022-04-12 Sap Se Pointer recognition for analog instrument image analysis
EP4062268A1 (en) * 2019-11-19 2022-09-28 Orcam Technologies Ltd. Wearable systems and methods for locating an object
US11335063B2 (en) 2020-01-03 2022-05-17 Vangogh Imaging, Inc. Multiple maps for 3D object scanning and reconstruction
US20210279967A1 (en) * 2020-03-06 2021-09-09 Apple Inc. Object centric scanning
US11237641B2 (en) * 2020-03-27 2022-02-01 Lenovo (Singapore) Pte. Ltd. Palm based object position adjustment
US11508085B2 (en) * 2020-05-08 2022-11-22 Varjo Technologies Oy Display systems and methods for aligning different tracking means
CN113703161B (zh) * 2020-05-22 2023-07-25 宏碁股份有限公司 扩增实境***与其锚定显示方法
US11436812B2 (en) * 2020-05-29 2022-09-06 Open Space Labs, Inc. Machine learning based object identification using scaled diagram and three-dimensional model
CN112245910B (zh) * 2020-10-27 2023-08-11 苏州欢跳体育文化科技有限公司 一种基于Quest头显的建模、极限运动方法和***
US20220128347A1 (en) * 2020-10-28 2022-04-28 Kamerai Private Limited System and method to measure object dimension using stereo vision
CN112435316B (zh) * 2020-11-30 2023-05-12 上海米哈游天命科技有限公司 一种游戏中的防穿模方法、装置、电子设备及存储介质
CN112950759B (zh) * 2021-01-28 2022-12-06 贝壳找房(北京)科技有限公司 基于房屋全景图的三维房屋模型构建方法及装置
US20230031480A1 (en) * 2021-07-28 2023-02-02 Htc Corporation System for tracking camera and control method thereof
CN115191788B (zh) * 2022-07-14 2023-06-23 慕思健康睡眠股份有限公司 一种基于智能床垫的体感互动方法及相关产品

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US5699444A (en) * 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
US5696591A (en) 1996-01-05 1997-12-09 Eastman Kodak Company Apparatus and method for detecting longitudinally oriented flaws in a moving web
US6084979A (en) * 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
US6009359A (en) 1996-09-18 1999-12-28 National Research Council Of Canada Mobile system for indoor 3-D mapping and creating virtual environments
US7098435B2 (en) * 1996-10-25 2006-08-29 Frederick E. Mueller Method and apparatus for scanning three-dimensional objects
US6130677A (en) * 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6094215A (en) * 1998-01-06 2000-07-25 Intel Corporation Method of determining relative camera orientation position to create 3-D visual images
US6504569B1 (en) 1998-04-22 2003-01-07 Grass Valley (U.S.), Inc. 2-D extended image generation from 3-D data extracted from a video sequence
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
JP3740865B2 (ja) * 1998-10-08 2006-02-01 コニカミノルタホールディングス株式会社 多視点３次元データの合成方法および記録媒体
US20040075738A1 (en) 1999-05-12 2004-04-22 Sean Burke Spherical surveillance system architecture
US20020024517A1 (en) * 2000-07-14 2002-02-28 Komatsu Ltd. Apparatus and method for three-dimensional image production and presenting real objects in virtual three-dimensional space
US6735387B1 (en) 2001-01-10 2004-05-11 Tim Schnell Motion detector camera
KR20020011851A (ko) * 2001-01-15 2002-02-09 정영균 인공시각과 패턴인식을 이용한 체감형 게임 장치 및 방법.
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
GB2378337B (en) * 2001-06-11 2005-04-13 Canon Kk 3D Computer modelling apparatus
US6781618B2 (en) 2001-08-06 2004-08-24 Mitsubishi Electric Research Laboratories, Inc. Hand-held 3D vision system
US6940538B2 (en) 2001-08-29 2005-09-06 Sony Corporation Extracting a depth map from known camera and model tracking data
US7023432B2 (en) 2001-09-24 2006-04-04 Geomagic, Inc. Methods, apparatus and computer program products that reconstruct surfaces from data point sets
JP4115117B2 (ja) * 2001-10-31 2008-07-09 キヤノン株式会社 情報処理装置および方法
US7646372B2 (en) * 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7352359B2 (en) * 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to inertial tracking
US9474968B2 (en) * 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US7391409B2 (en) * 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US7352358B2 (en) * 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to acoustical tracking
US9682319B2 (en) * 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
US6974373B2 (en) * 2002-08-02 2005-12-13 Geissler Technologies, Llc Apparatus and methods for the volumetric and dimensional measurement of livestock
US7177737B2 (en) 2002-12-17 2007-02-13 Evolution Robotics, Inc. Systems and methods for correction of drift via global localization with a visual landmark
US7257237B1 (en) * 2003-03-07 2007-08-14 Sandia Corporation Real time markerless motion tracking using linked kinematic chains
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
CN100416336C (zh) * 2003-06-12 2008-09-03 美国西门子医疗解决公司 校准真实和虚拟视图
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7366325B2 (en) 2003-10-09 2008-04-29 Honda Motor Co., Ltd. Moving object detection using low illumination depth capable computer vision
US8134637B2 (en) 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US7831094B2 (en) 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
US7839402B2 (en) * 2004-06-23 2010-11-23 Koninklijke Philips Electronics N.V. Virtual endoscopy
US7697748B2 (en) * 2004-07-06 2010-04-13 Dimsdale Engineering, Llc Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range
WO2006084385A1 (en) 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system
EP1851727A4 (en) * 2005-02-23 2008-12-03 Craig Summers AUTOMATIC SCENES MODELING FOR 3D CAMERA AND 3D VIDEO
US20060262188A1 (en) * 2005-05-20 2006-11-23 Oded Elyada System and method for detecting changes in an environment
US7944454B2 (en) 2005-09-07 2011-05-17 Fuji Xerox Co., Ltd. System and method for user monitoring interface of 3-D video streams from multiple cameras
JP4777433B2 (ja) 2005-10-27 2011-09-21 エヌイーシー ラボラトリーズ アメリカ インク ビデオ前景の分割方法
US7539557B2 (en) 2005-12-30 2009-05-26 Irobot Corporation Autonomous mobile robot
EP2016562A4 (en) * 2006-05-07 2010-01-06 Sony Computer Entertainment Inc METHOD FOR IMPLEMENTING AFFECTIVE PROPERTIES IN A COMPUTER GENERATED AVATAR DURING A COMPUTER GAME
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
US9348463B2 (en) 2006-08-03 2016-05-24 New York University Retroreflection based multitouch sensor, method and program
US8023726B2 (en) * 2006-11-10 2011-09-20 University Of Maryland Method and system for markerless motion capture using multiple cameras
US8340398B2 (en) * 2006-12-02 2012-12-25 Electronics And Telecommunications Research Institute Correlation extract method for generating 3D motion data, and motion capture system and method for easy composition of humanoid character on real background image using the same
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
FR2911211B1 (fr) * 2007-01-05 2009-06-12 Total Immersion Sa Procede et dispositifs pour inserer en temps reel des objets virtuels dans un flux d'images a partir de donnees issues de la scene reelle representee par ces images
JP5255623B2 (ja) * 2007-04-20 2013-08-07 ソフトキネティック エス．エイ． ボリューム認識方法およびシステム
JP5380789B2 (ja) 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
GB2452508A (en) * 2007-09-05 2009-03-11 Sony Corp Generating a three-dimensional representation of a sports game
US8902227B2 (en) * 2007-09-10 2014-12-02 Sony Computer Entertainment America Llc Selective interactive mapping of real-world objects to create interactive virtual-world objects
DE102007045835B4 (de) * 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
US8542907B2 (en) * 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US20090244097A1 (en) * 2008-03-25 2009-10-01 Leonardo William Estevez System and Method for Providing Augmented Reality
EP2327061A4 (en) 2008-08-15 2016-11-16 Univ Brown METHOD AND DEVICE FOR ESTIMATING BODY SHAPES
US9245382B2 (en) 2008-10-04 2016-01-26 Microsoft Technology Licensing, Llc User-guided surface reconstruction
US8610706B2 (en) 2008-10-04 2013-12-17 Microsoft Corporation Parallel surface reconstruction
US8855819B2 (en) 2008-10-09 2014-10-07 Samsung Electronics Co., Ltd. Method and apparatus for simultaneous localization and mapping of robot
US9600067B2 (en) 2008-10-27 2017-03-21 Sri International System and method for generating a mixed reality environment
US20100128112A1 (en) * 2008-11-26 2010-05-27 Samsung Electronics Co., Ltd Immersive display system for interacting with three-dimensional content
EP2193825B1 (en) * 2008-12-03 2017-03-22 Alcatel Lucent Mobile device for augmented reality applications
KR101199492B1 (ko) * 2008-12-22 2012-11-09 한국전자통신연구원 광역 이동을 고려한 실시간 카메라 트래킹 장치 및 방법
US8624962B2 (en) * 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8379101B2 (en) 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US8542252B2 (en) * 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US20100316282A1 (en) * 2009-06-16 2010-12-16 Hope Clinton B Derivation of 3D information from single camera and movement sensors
JP4609603B2 (ja) * 2010-07-21 2011-01-12 コニカミノルタホールディングス株式会社 ３次元情報表示装置および３次元情報表示方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9906721B2 (en) 2015-10-30 2018-02-27 Essential Products, Inc. Apparatus and method to record a 360 degree image
TWI634440B (zh) * 2015-10-30 2018-09-01 基礎產品股份有限公司 用於產生無失真寬視圖影像的成像裝置及方法
US10218904B2 (en) 2015-10-30 2019-02-26 Essential Products, Inc. Wide field of view camera for integration with a mobile device
TWI745955B (zh) * 2020-05-06 2021-11-11 宏碁股份有限公司 擴增實境系統與其錨定顯示方法
US11205309B2 (en) 2020-05-06 2021-12-21 Acer Incorporated Augmented reality system and anchor display method thereof

Also Published As

Publication number Publication date
KR20140008510A (ko) 2014-01-21
US20120194517A1 (en) 2012-08-02
TW201234261A (en) 2012-08-16
EP2670496A2 (en) 2013-12-11
WO2012106070A3 (en) 2012-10-26
CN102681661A (zh) 2012-09-19
JP2014513822A (ja) 2014-06-05
KR101881620B1 (ko) 2018-07-24
EP2670496B1 (en) 2021-01-06
HK1174113A1 (zh) 2013-05-31
CN102681661B (zh) 2015-05-20
AR084931A1 (es) 2013-07-10
EP2670496A4 (en) 2017-02-08
JP6001562B2 (ja) 2016-10-05
WO2012106070A2 (en) 2012-08-09
US8570320B2 (en) 2013-10-29

Similar Documents

Publication Publication Date Title
TWI442311B (zh) 在遊戲中使用三維環境模型
TWI567659B (zh) 照片表示視圖的基於主題的增強
KR101876419B1 (ko) 프로젝션 기반 증강현실 제공장치 및 그 방법
TWI467494B (zh) 使用深度圖進行移動式攝影機定位
KR101861313B1 (ko) 삼차원 환경 재구성
US8401225B2 (en) Moving object segmentation using depth images
TWI469813B (zh) 在動作擷取系統中追踪使用者群組
CN102413414B (zh) 用于扩展现实的高精度3维音频的***和方法
US9075434B2 (en) Translating user motion into multiple object responses
CN102331840B (zh) 基于回环运动的用户选择和导航
KR20170062533A (ko) 공유된 공간 증강 현실 경험을 생성하기 위한 프로젝터 구동 기술
CN105190703A (zh) 使用光度立体来进行3d环境建模
US20100194863A1 (en) Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
US20100302253A1 (en) Real time retargeting of skeletal data to game avatar
US20110305398A1 (en) Image generation system, shape recognition method, and information storage medium
CN102222329A (zh) 深度检测的光栅扫描
US20200230488A1 (en) Pre-Visualization Device
Piérard et al. I-see-3d! an interactive and immersive system that dynamically adapts 2d projections to the location of a user's eyes
CN102591456B (zh) 对身体和道具的检测
KR20210042476A (ko) 프로젝션 기술을 이용한 증강현실 제공방법 및 시스템
TW200947347A (en) Volume recognition method and system
Hansen Utilising computer vision to create an augmented reality training aid for basketball shooting: a thesis presented in partial fulfilment of the requirements for the degree of Master of Engineering at Massey University, Manawatū, New Zealand
CN102375541B (zh) 将用户运动转换成多个对象响应
Rafighi Automatic and adaptable registration of live RGBD video streams sharing partially overlapping views

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees