TWI469813B - 在動作擷取系統中追踪使用者群組 - Google Patents

在動作擷取系統中追踪使用者群組 Download PDF

Info

Publication number
TWI469813B
TWI469813B TW99144040A TW99144040A TWI469813B TW I469813 B TWI469813 B TW I469813B TW 99144040 A TW99144040 A TW 99144040A TW 99144040 A TW99144040 A TW 99144040A TW I469813 B TWI469813 B TW I469813B
Authority
TW
Taiwan
Prior art keywords
group
participant
application
action
view
Prior art date
Application number
TW99144040A
Other languages
English (en)
Other versions
TW201143866A (en
Inventor
Relja Markovic
Stephen G Latta
Kevin A Geisner
David Hill
Darren A Bennett
Jr David C Haley
Brian S Murphy
Shawn C Wright
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of TW201143866A publication Critical patent/TW201143866A/zh
Application granted granted Critical
Publication of TWI469813B publication Critical patent/TWI469813B/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/833—Hand-to-hand fighting, e.g. martial arts competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6072—Methods for processing data by generating or executing the game program for sound processing of an input signal, e.g. pitch and rhythm extraction, voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8017—Driving on land or water; Flying
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8023—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game the game being played by multiple players at a common site, e.g. in an arena, theatre, shopping mall using a large public display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

在動作擷取系統中追踪使用者群組
本發明關於在動作擷取系統中追踪參與者群組。
動作擷取系統可得到有關人體或其他物件在物理空間中之位置及動作，並可將這些資料輸入至電腦系統中之應用程式。例如，人體之動作可被映射至三維人體骨架模型並用來建立動畫化之角色或虛擬角色(avatar)。光學系統(包括可見光或不可見光，例如紅外線)使用攝影機以在其視野中偵測人體的存在。雖可在人體上加上標記以幫助偵測，但亦有無標記之系統被開發出來。有些系統使用人體所攜帶或付著於人體之慣性感測器來偵測動作。例如，在一些電玩遊戲應用程式中，參與者握持無線控制器，而無線控制器可在遊戲進行過程中偵測動作。然而，需要有進一步的改善以讓個人或群組與應用程式能有更自然的互動。
本發明提供一種以處理器實施之方法、動作擷取系統及具體之電腦可讀取儲存裝置，其用於追踪一組參與者以提供統一輸出給應用程式。
在動作擷取系統中，追踪一或多個參與者在視野中之動作並以其做為應用程式之輸入。在一方案中，基於一參與者群組之動作及(或)動位置而提供統一輸入給應用程式。亦可使用該群組之聲音資訊做為輸入。應用程式可透過顯示器及聲音輸出提供即時回饋給參與者或群組。例如，群組可基於群組中各個參與者之動作來控制虛擬角色在虛擬空間中之動作。在一範例實施例中，群組輸入用來在應用程式中操作或平衡虛擬角色。在另一樣態中，可針對在視野中被遮住或部分在視野外之參與者而產生所缺少的資料。在又另一樣態中，使用了將應用程式之不連續輸出減到最低之技術。
在一實施例中，以處理器實施之方法包括追踪動作擷取系統中的多個參與者，其中包括追踪包含動作擷取系統之視野中之多個參與者身體之群組之步驟。追踪之步驟包括偵測視野中之參與者身體。參與者可被各別的偵測。基於該追踪步驟，群組之動作可基於群組中之參與者的動作而被視為單一實體。例如，可以辨視群組中之各別的成員而識別出包括該群組之非固定形狀物體(blob)或質塊(mass)。又或者每個參與者可被識別為一個體。每個參與者的代表點位置(representative point location)可被決定，且群組之動作可基於每個參與者之代表點位置的整體運動來決定。該方法更包括提供輸入至應用程式，其中輸入係基於被當做為單一實體之群組之動作。應用程式在顯示器上顯示一虛擬空間，並依輸入即時更新，因此群組基於被當做為單一實體之群組織動作來控制應用程式。
此處提供發明說明以簡介本發明之一些概念，其將於下文詳述。本發明說明並非用以認識申請之標的之關鍵特徵或必要特徵，亦非用以限制申請之標的之範圍。
各種不同的技術可用來讓一個或一組參與者在動作擷取系統中與應用程式互動。深度攝影機系統可在實體空間中追踪群組之位置及動作，並提供統一輸入至應用程式。來自群組的聲音資訊亦可做為輸入。可以想見在群組如同一個隊伍般運作時，每個參與者都對應用程式有部分的控制權而帶來具娛樂效果的群組體驗。在某些情況下，一參與者可有較其他參與者多或少的控制權，其基於該參與者之特徵，例如體型。
第1a及1b圖繪示一範例實施例之動作擷取系統10，其中參與者18與一模擬拳擊比賽應用程式互動。動作擷取系統10用來識別、分析及(或)追踪人體目標(例如為參與者18)，在此亦稱為使用者或玩家。
如圖1a所示，動作擷取系統10可包括計算環境12，如電腦、遊戲系統或主機或其他類似物。計算環境12可包括硬體組件及(或)軟體組件以執行應用程式，其可用於如教學及(或)娛樂等目的。
動作擷取系統10可更包括深度攝影機系統20。深度攝影機系統20可為，舉例而言，可用來監控一或多個參與者(如參與者18)之影像的攝影機，該些參與者之手勢及(或)動作可被擷取、分析並追踪以在應用程式中執行一或多個控制或行為(例如使虛擬角色或螢幕上之角色活動)，其於後詳述。
動作擷取系統10可連接至影音裝置16，例如電視、螢幕、高解析度電視(high-definition television(HDTV)，或其他可提供影音輸出給使用者之類似物。聲音輸出亦可經由獨立裝置提供。為了驅動影音裝置16，計算環境12可包括視訊轉接器(如顯示卡)或音訊轉接器(如音效卡)，其提供與應用程式相關之影音訊號。影音裝置16可透過S端子線、同軸電纜、HDMI線、DVI線、VGA線或其他類似物連接至計算環境12。
參與者18可被深度攝影機系統20追踪而使該參與者之手勢及(或)動作可被擷取而用以使虛擬角色或螢幕上之角色活動，及(或)該等手勢及動作可被解譯成對應用程式之輸入控制，該應用程式係由計算環境12所執行。因此，依本發明一實施例，使用者18可移動其身體以控制應用程式及(或)使虛擬角色或螢幕上之角色活動。
舉例而言，應用程式可為拳擊遊戲，其中參與者18加入遊戲，而影音裝置16以視覺呈現之方式提供一拳擊對手38給參與者18。計算環境12亦可使用影音裝置16以視覺呈現之方式提供一玩家虛擬角色40，其代表該參與者，且參與者可以自己身體的動作來控制玩家虛擬角色40。
如第1b圖中所示，參與者18可在實體空間(例如為參與者所處之房間)中揮拳，以使玩家虛擬角色40在虛擬空間(其包括一拳擊場)中揮拳。因此，依一範例實施例，動作擷取系統10之計算環境12及深度攝影機系統20可用於辨識及分析實體空間中參與者18之揮拳動作，而該揮拳動作可在模擬拳賽之應用程式中做為輸入以在虛擬空間中控制玩家虛擬角色40。
參與者18之其他動作可以解釋為其他的控制或行為及(或)用以使玩家虛擬角色動作，例如控制其上下及左右擺動、移步、格擋、出剌拳或其他各種不同的拳。另外，某些動作所產生之控制可對應至控制玩家虛擬角色40以外之行為。例如，在一實施例中，玩家可用動作來結束、暫停、或儲存遊戲、選擇關卡、看高分排行、與朋友通訊等等。玩家可用動作由主使用者介面選擇遊戲或其他應用程式。因此，使用者18之所有動作都可按適當之方式加以使用並分析，以與應用程式互動。
參與者在與應用程式互動時可握持如道具等之物件。在此實施例中，參與者及物件之動作可用來控制應用程式。例如使用者握持球拍之動作可被追踪並用來在模擬網球之應用程式中控制螢幕上之球拍。在另一範例實施例中，玩家握持玩具武器(如塑膠劍)之動作可用來控制在應用程式之虛擬空間中對應之武器，而該應用程式之虛擬空間係提供一海盜船。
動作擷取系統10更可將目標動作解釋為在遊戲或休閒及娛樂之應用程式的範圍以外之作業系統及(或)應用程式的控制。例如，幾乎在作業系統及(或)應用程式中所有的方面皆可以參與者18之動作來控制。
第2圖繪示第1a圖之動作擷取系統10之範例方塊圖。深度攝影機系統20可經組態以透過任可適當的技術(如飛時測量(time-of-flight)、結構光(structured light)、立體影像或其他類似技術)擷取具有深度資訊之視訊，包括具有深度值之深度影像。深度攝影機系統20可將深度資訊整理為「Z圖層」，或與由深度攝影機之視線延伸出之Z軸垂直之圖層。
深度攝影機系統20可包括影像攝影機組件22，如可在一實體空間中擷取場景之深度影像之深度攝影機。深度影像可包括所擷取之場景之二維像素區，其中二維像素區中之每個像素都有代表其與影像攝影機組件22之線性距離的相關深度值。
影像攝影機組件22可包括紅外(IR)光組件24、三維攝影機26以及紅綠藍(RGB)攝影機28，其可用於擷取場景之深度影像。例如，在飛時測量分析中，深度攝影機系統20之紅外光組件可發射紅外光至實體空間並使用感測器(圖未示)偵測來自實體空間中一或多個目標及物件之反相散射光，其可使用(例如)三維攝影機26及(或)紅綠藍攝影機28。在一些實施例中，可使用脈衝紅外光以使發出之光脈衝及相應之接收光脈衝可被量測且用於決定實體空間中由深度攝影機系統20至目標或物件上之特定位置的實體距離。發出之光波的波長可與接收之光波的波長比較以決定相位移。接著，相位移可用來決定深度攝影機系統至目標或物件上之特定位置的實體距離。
飛時測量分析亦可用來間接決定深度攝影機系統20至目標或物件上之特定位置的實體距離，其以各種技術，包括，例如快門光脈衝成像(shutter light pulse imaging)，在一段時間內分析反射光之光束的強度。
在另一範例實施例中，深度攝影機系統20可使用結構光來擷取深度資訊。在此種分析中，圖案化的光(也就是顯示為已知圖案的光，如格狀或條狀)可被投射(例如以紅外光組件24)至場景上。在圖案投射至場景中一或多個目標或物件之表面之後，會因應於場景而變形。圖案之變形可被(例如)三維攝影機26及(或)紅綠藍攝影機28擷取並分析以決定深度攝影機系統至目標或物件上之特定位置的實體距離。
依另一實施例，深度攝影機系統20可包括兩個以上實體分離之攝影機，其可由不同角度觀看場景以得到可用以產生深度資訊之視覺立體資料。
深度攝影機系統20更可包括麥克風30，其包括接收並將音波轉換為電氣訊號之(例如)傳感器或感測器。另外，麥克風30可用來接收音訊訊號，例如為參與者提供之聲音，其用以控制在計算環境12上所執行之應用程式。音訊訊號可包括參與者發出之聲音，如說話、口哨、大叫及其他由口中發出之聲音，或是如拍手或跺腳等非由口中發出之聲音。
深度攝影機系統20可包括處理器32，其可與影像攝影機組件22通訊。處理器32包括標準處理器、特殊處理器、微處理器或其他可執行指令之類似物，其中指令例如包括接收深度影像之指令、基於深度影像產生立體像素網格(grid of voxels)、移除立體像素網格中之背景以將與人體目標相關之立體像素分離出來、決定分離出來之人體的一或多個邊界之位置或地點、基於一或多個邊界之位置或地點來調整模型或任何其他適當之指令，其於後詳述。
深度攝影機系統20可更包括記憶體組件34，其可儲存由處理器32所執行之指令，亦可儲存三維攝影機及紅綠藍攝影機所拍攝之影像或影像訊框或任何其他適當之資訊、影像或其他類似物。依一範例實施例，記憶體組件34可包括隨機存取記憶體、唯讀記憶體、暫存記憶體、快取記憶體、快閃記憶體、硬碟或任何其他適當之具體的電腦可讀儲存組件。記憶體組件34可為通過匯流排21與影像攝影機組件22及處理器32通訊之分離組件。依另一實施例，記憶體組件34可與處理器32及(或)影像攝影機組件22整合。
深度攝影機系統20可透過通訊連結36與計算環境12通訊。通訊連結36可為有線及(或)無線連結。依一實施例，計算環境12可透過通訊連結36提供一時脈訊號至深度攝影機系統20，其指示何時需要由深度攝影機系統20之視野中之實體空間擷取影像資料。
另外，深度攝影機系統20可透過通訊連結36將由三維攝影機26及(或)紅綠藍攝影機28擷取之深度資訊及影像，及(或)由深度攝影機系統20所產生之骨架模型提供給計算環境12。計算環境12則可使用該模型、深度資訊及所擷取影像來控制應用程式。如第2圖中所示，計算環境12可包括手勢資料庫190，其例如為收集許多手勢過濾器，而每個手勢過濾器皆含有關於可由骨架模型所施行之手勢(當使用者移動時)之資訊。例如，手勢過濾器可提供：舉起或平舉一隻手或雙手、旋轉手臂畫圓、像鳥一樣拍動手臂、前傾、後傾、傾向一側、向上跳、抬起腳跟處掂腳、原地踏步、走到視野或實體空間之另一點等等。藉由將偵測到之動作與每個過濾器比較，可識辨參與者所執行之手勢或動作。亦可決定動作被執行至何種程度。
由深度攝影機系統所擷取之資料以骨架模型及與其相關之動作之形式，與手勢資料庫190中之手勢過濾器比較以辨別使用者(以骨架模型呈現)在何時執行一或多個特定動作。這些動作可與應用程式之控制相關。
計算環境亦可包括處理器192，其用於執行儲存在記憶體194中之指令以提供影音輸出訊號至顯示裝置196並達成此處所述之其他功能。
第3圖繪示可用於第1a圖之動作擷取系統中之計算環境的範例方塊圖。計算環境可用來解釋一或多個手勢或其他動作，並因應於此而更新顯示器上之視覺空間。上述第1a、1b、2圖中的計算環境(如計算環境12)可包括多媒體主機100，其例如為一遊戲主機。多媒體主機100具有中央處理單元(central processing unit，CPU)101，其具有L1快取102、L2快取104以及快閃唯讀記憶體106。L1快取102以及L2快取104暫時性地儲存資料並因此而減少記憶體存取週期，並藉此增進處理速度及效能。所使用之CPU 101可具有一個以上之核心，且因此具有額外的L1快取102及L2快取104。快閃唯讀記憶體106可儲存執行碼，其在多媒體主機100之電源開啟時於開機程序的起始相位期間載入。
圖像處理單元(graphic processing unit，GPU)108及視訊編碼/解碼器114組成用於高速及高解析度之圖像處理之視訊處理管線(pipeline)。資料經由匯流排由圖像處理單元108送至視訊編碼/解碼器114。視訊處理管線輸出資料至影音埠140以傳輸至電視或其他顯示器。記憶體控制器110連接至GPU 108以使處理器可存取不同類型之記憶體112，例如隨機存取記憶體(RAM)。
多媒體主機100包括輸出入控制器120、系統管理控制器122、音訊處理單元123、網路介面控制器124、第一USB控制器(USB host controller)126、第二USB控制器128以及一前面板輸出入子組合130，其較佳的實施於模組118上。USB控制器126及128可做為周邊控制器142(1)-142(2)、無線配接器148、以及外部記憶體裝置146(例如快閃記憶體、外部CD/DVD ROM光碟機、可移除式媒體等)之主控制器(host)。網路介面124及(或)無線配接器148提供網路(例如網際網路、家庭網路等)存取，並可為任何各種有線及無線配接器組件，其包括乙太網路卡、數據機、藍牙模組、纜線數據機以及其類似物。
系統記憶體143用以儲存在開機程序時載入之應用程式資料。媒體驅動器(media drive)144可包含DVD/CD光碟機、硬碟或其他可移除媒體驅動器。媒體驅動器144可在多媒體主機100之內部或外部。應用程式資料可經由媒體驅動器144來存取以在多媒體主機100上執行、播放等。媒體驅動器144經由匯流排(例如為串列ATA匯流排或其他更高速之匯流排)連接至輸出入控制器120。
系統管理控制器122提供各種與確保多媒體主機100之可用性相關之服務功能。音訊處理單元123及音訊編碼132組成對應之音訊處理管線，其具有高音質及立體聲處理。音訊資料在音訊處理單元123及音訊編碼132之間藉由通訊連結傳輸，音訊處理管線輸出資料至影音埠140以由外部之音訊播放器或具有音訊能力裝置重現。
前面板輸出入子組合130支援電源鈕150以及彈出鈕152之功能，亦支援任何LED或其他露在媒體主機100之外表面之外的指示燈。系統電源模組136提供電源給多媒體主機100之組件。風扇130用來冷卻多媒體主機100內部之電路。
CPU 101、GPU 108、記憶體控制器110以及各種其他在多媒體主機100內之組件透過一或多個匯流排交互連接。匯流排包括串列及並列匯流排、記憶體匯流排、週邊匯流排、以及處理器或區域匯流排，其使用多種不同的任何匯流排架構。
當多媒體主機100的電源開啟時，應用程式資料可由系統記憶體143載入至記憶體112及(或)快取102、104，並在CPU 101上執行。應用程式可呈現一圖形使用者介面，當使用者在多媒體主機100上之不同媒體類型中瀏覽時，圖形使用者介面可提供一致的使用者體驗。在操作時，應用程式及(或)其他媒體驅動器144中之媒體可由媒體驅動器144開啟或播放以對多媒體主機100提供額外的功能。
多媒體主機100可僅將系統連接至電視或其他顯示器而做為獨立系統運作。在此獨立運作模式中，多媒體主機100可使一或多個使用者與系統互動、看電影或聽音樂。然而，若透過網路介面124或無線配接器148而可整合寬頻連接，則多媒體主機100更可做為一更大的網路社群之成員而運作。
當多媒體主機100之電源開啟時，特定量之硬體資源被保留下來供多媒體主機100之作業系統使用。這些資源可包括保留記憶體(如16MB)、CPU及GPU週期(如5%)、網路頻寬(如8kbs)等。由於資源在系統開機時即被保留，因此應用程式看不到這些保留之資源。
特別是，保留的記憶體最好夠大而可包含作業系統核心、共存系統應用程式及驅動程式。保留之CPU資源最好可維持恆定，因此若保留之CPU資源沒有被系統應用程式使用，則閒置執行緒會把未使用之週期消耗掉。
至於GPU資源保留，系統應用程式所產生的較不耗資源的訊息(如彈出視窗)可使用GPU中斷以將程式碼排程(schedule)使彈出視窗顯示為覆蓋層(overlay)。覆蓋層所需的記憶體量視覆蓋之區域大小而定，且覆蓋層最好以螢幕解析度而調整大小。完整的使用者介面由共存系統應用程式所使用時，最好是用與應用程式之解析度無關之解析度。可用縮放器(scaler)來設定此解析度而不需改變頻率使電視重新同步。
在多媒體主機100開機且系統資源被保留後，共存系統應用程式執行以提供系統功能。系統功能被封裝(encapsulated)在一組系統應用程式中，該組系統應用程式在上述所保留之系統資源中執行。作業系統核心辨識出系統應用程式之執行緒，相對於遊戲應用程式執行緒。系統應用程式最好經排程以在預定之時間及時段在CPU 101上執行，使應用程式所看到的系統資源一致。排程可使在主機上執行之遊戲應用程式對快取之干擾減到最小。
當共存系統應用程式需要音訊時，音訊處理即因其對時間的敏感性(time sensitivity)而被非同步地排程至遊戲應用程式中。多媒體主機應用程式管理器(於後文詳述)在系統應用程式生效中時，控制遊戲應用程式音訊音量(如靜音、衰減)。
輸入裝置(例如控制器142(1)及142(2))為遊戲應用程式及系統應用程式所共用。輸入裝置並不是被保留之資源，但可在系統應用程式及遊戲應用程式間切換，以使該裝置之焦點(focus)在其中之一上。應用程式管理器較佳地控制輸入串流之切換，而不需知道與遊戲應用程式相關之資訊，而驅動程式維持與焦點切換相關之狀態資訊。主機100可由圖2之深度攝影機系統20(包括攝影機26及28)接收額外之輸入。
第4圖繪示可用在第1a圖之動作擷取系統中之計算環境的另一範例方塊圖。計算環境可用於解釋一或多個手勢或其他動作，而因應於此更新顯示器上的視覺空間。計算環境220包含電腦241，其通常包括各種具體的電腦可讀取儲存媒體。此可為任何可被電腦241存取之媒體，且包括揮發性及非揮發性媒體、可移除及不可移除媒體。系統記憶體222包括電腦儲存媒體，其可為揮發及(或)非揮發記憶體，如唯讀記憶體223及隨機存取記憶體260。基本輸出入系統(basic input/output system,BIOS)224，其包含幫助電腦241之元件間傳遞資訊(如開機時)之基本常式(routine)，且通常儲存於唯讀記憶體223中。隨機存取記憶體260通常包含資料及(或)程式模組，其可立即存取及(或)處理單元259或在其上運行。例如(而非限制)第4圖繪示作業系統225、應用程式226、其他程式模組227以及程式資料228。
電腦241亦可包括其他可移除或不可移除、可揮發或不可揮發之電腦儲存媒體，例如讀寫不可移除、非揮發性之磁性媒體的硬碟238、讀寫可移除、非揮發性之磁碟片254之磁碟機239以及讀寫可移除、非揮發性之光碟片(如CDROM或其他光學媒體)253之光碟機240。其他可用於範例作業環境之可移除及不可移除、揮發性及非揮發性之具體的電腦可讀取儲存媒體包括(但不限於)：磁帶卡匣、快閃記憶卡、DVD、數位影帶、固態RAM、固態ROM以及其類似物。硬碟238通常會透過不可移除之記憶體介面(如介面234)連接至系統匯流排221，而磁碟機239及光碟機240通常由可移除之記憶體介面(如介面235)連接至系統匯流排221。
上述繪示於第4圖中之驅動器及其相關之電腦儲存媒體可儲存電腦可讀取指令、資料結構、程式模組以及其他資料以供電腦241使用。舉例而言，硬碟238在圖中用以儲存作業系統258、應用程式257、其他程式模組256以及程式資料255。需注意這些組件可與作業系統225、應用程式226、其他程式模組227以及程式資料228相同或不同。作業系統258、應用程式257、其他程式模組256以及程式資料255在此以不同之元件符號標示以表示它們至少為不同之複製物。使用者可透過輸入裝置(如鍵盤251及指標裝置252(通常稱為滑鼠、軌跡球或觸控板)，輸入命令及資訊至電腦241中。其他輸入裝置(圖未示)可包括麥克風、搖桿、遊戲把手、碟形天線、掃描器或其他類似物。這些及其他輸入裝置常常會透過使用者輸入介面236連接至處理單元259，而使用者輸入介面236與系統匯流排耦合，但亦可以其他介面及匯流排結構連接，如平行埠、遊戲埠或USB。第2圖之深度攝影機系統20(包括攝影機26及28)可幫主機100定義額外之裝置。螢幕242或其他種類的顯示器亦透過介面連接至系統匯流排221，如視訊介面232。除了螢幕以外，電腦亦可包括其他週邊輸出設備，例如為揚聲器244及印表機243，其可透過輸出週邊介面233連接。
電腦241可使用邏輯連接至一或多台遠端電腦(如遠端電腦246)而在一網路環境中運行。遠端電腦246可為個人電腦、伺服器、路由器、網路電腦、端點裝置或其他常見的網路節點，雖然第4圖中僅繪示記憶體儲存裝置247，但其通常包含與上述電腦241相關之多個或所有元件。上述邏輯連接包括區域網路(local area network，LAN)245及廣域網路(wide area network，WAN)249。此種網路環境常見於辦公室、企業電腦網路、內部網路及網際網路中。
當使用在LAN網路環境中時，電腦241透過網路介面或配接器237連接至LAN 245。當使用在WAN網路環境中時，電腦241通常包括數據機250或其他用來在WAN(例如網際網路)上建立通訊連結之機制。數據機250(其可為內建或外接式)可透過使用者輸入介面236或其他適當之機構連接至系統匯流排221。在網路環境中，程式模組(其與電腦241相關或為其一部分)可儲存在遠端記憶體儲存裝置中。舉例而言(而非限制)，第4圖繪示遠端應用程式248儲存於記憶體裝置247上。但應了解此處之網路連結僅為範例，而亦可使用其他在電腦間建立通訊連結之機制。
第5圖繪示使一或多個參與者可與動作擷取系統互動之方法。步驟500追踪一或多個在動作擷取系統之視野中之參與者。以下參照第6a-6j及7a-7e圖提供更多關於步驟500之細節。追踪之步驟可分析來自頭部追踪之深度影像與位置資料，以由深度影像中辨識出代表每個參與者之質塊。為使不完整的資料更強健，追踪時可使彙集利用各種技術(如骨骼追踪及手勢辨識)得來之所有資訊以推導出個別參與者及四肢的質塊資料。質塊可以各種演算法偵測，其中包括階層叢集法。追踪之步驟可決定彙集之質塊及各別之質塊的大小、位置、速度、加速度及突然的動作，以驅動應用程式之控制狀態及使代表被追踪之各參與者或參與者群組之虛擬角色動作。
步驟502追踪一或多個參與者之聲音。如上所述，音訊訊號可參與者發出之聲音，如說話、口哨、大叫及其他由口中發出之聲音，或是如拍手或跺腳等非由口中發出之聲音。可以偵測出音調和音量。步驟504基於步驟500及502之追踪提供輸出至應用程式。例如，此可包括關於視野中之參與者的動作及位置的資訊、關於實體空間及其中之參與者的音訊及視覺特性之資訊(如參與者衣服之顏色、參與者之大小及形狀)及實體空間中固定物件(如家俱)之特性，如大小、形狀、位置及顏色。在步驟506中，應用程式回應於輸入，其將參照第7a-7e，8a-8d及9a-9d圖說明。
第6a圖繪示第5圖中步驟500追踪一或多個參與者之動作的範例方法。範例方法例如可以第2-4圖中所述之深度攝影機系統20及(或)計算環境12、100或220實施。可描瞄一或多個參與者以產生如骨架模型、網格人體模型或任何其他適於用以代表一個或一組參與者之模型。接著，模型可被用來與應用程式互動，其在計算環境中執行。掃瞄以產生模型之步驟可在應用程式開始或啟動時發生，或在其他由被掃瞄之參與者的應用程式控制之時間點。一個或一群參與者可被掃瞄而產生骨架模型，其可被追踪，而使用者58之實體動作或行動可做為即時使用者介面而調整及(或)控制應用程式之參數。例如，一個或一組參與者被迫踪之動作可用來在角色扮演遊戲中移動虛擬角色或其他螢幕上之角色、用來在一電子賽車遊戲中控制螢幕上之載具、在一虛擬環境中控制建造或組織物件或執行其他適當之應用程式控制。
在一實施例中，在步驟600時接收深度資訊，例如由深度攝影機系統接收。深度攝影機系統可擷取或觀測包括一或多個目標之視野。在一範例實施例中，深度攝影機系統可使用任何適當之技術(如飛時量測分析、結構光分析、立體視覺分析或其他類似上述之分析)獲得與擷取區域內之一或多個目標相關之深度資訊。深度資訊可包括具有多個觀測像素之深度影像，其中每個觀測像素具有一觀測深度值，如上所述。
可將深度影像縮小取樣為較低之處理解析度以使其更容易使用及處理而減少計算上的負擔。另外，一或多個高變異及(或)高雜訊之深度值可由深度影像中被移除及(或)平滑化、部分失去及(或)被移除之深度資訊可被填補及(或)重建，及(或)任何適當之處理可在接收到之深度資訊上執行以使深度資訊可用來產生模型，如上述第6e及6f圖之骨架模型。
在決策步驟604中，決定深度影像是否包括一或多個人體目標。此可包括將每個目標或物件填色並將其與一圖案比較以決定深度影像是否包括人體目標。例如，在深度影像中選定區域或點之像素的不同深度值可被比較以決定可界定上述目標或物件之邊緣。Z層之可能的Z值可基於該決定之邊緣被填色。例如，與決定之邊緣相關之像素及邊緣內之區域的像素可彼此相關以界定在擷取區域中之目標或物件，該目標或物件可與一圖案相比較，其於下詳述。
若決策步驟604為「是」，則執行步驟606。若決策步驟為「否」，則在步驟600接收額外的深度資訊。
與每個目標或物件相比較之圖案可包括一或多個資料結構，其具有共同界定典型人體的一組變數。與，例如，在視野中與人體目標或非人體目標像素相關之資訊，可用來與變數比較以辨識人體目標。在一實施例中，在變數組中之每個變數皆可基於身體部位而加上不同的權重。例如，在圖案中之頭及(或)肩膀等之各個人體部位可有相對於其他身體部位(如腿)較高之權重值。依一實施例，權重值可在將目標與變數比較以決定目標是否為人體以及哪個目標是人體時使用。例如，變數若和具有較高權重值之目標匹配，則目標為人體之可能性與和較低權重值之目標匹配時為高。
步驟606包括掃描一或多個人體目標以得到各身體部位。可掃瞄一或多個人體目標以提供長度、寬度或其他與參與者之一或多個身體部位相關之量測(measurement)，以提供準確的參與者模型。在一範例實施例中，人體目標可被獨立出來，且可產生人體目標之位元罩(bitmask)以掃描一或多個身體部位。位元罩可以(例如)以下方式產生：對人體目標進行填色以使人體目標可被由其他目標或物件被分離出來。接著一或多個身體部位之位元罩可被分析以產生如骨架模型、網格人體模型或其他類似之人體目標之模型。例如，依一實施例，由掃描位元罩決定之量測值可用以界定一或多個骨架模型中之關節，如上第6e及6f圖所述。一或多個關節可用來定義一或多個可對應至人體之身體部位的骨骼。
例如，人體目標的位元罩之上端可與頭部之上端的位置相關。在決定頭部之上端後，位元罩可被向下掃描並決定脖子的位置、肩膀的位置等。在被掃描處之位元罩的寬度(例如)可與典型之脖子、肩膀等相關之寬度臨界值比較。在另一實施例中，之前掃描到之位置的距離和位元罩中之身體部位可用來決定脖子、肩膀或其他類似物之位置。一些身體部位如腿、腳等可基於(例如)其他身體部位之位置來計算。在決定身體部位之值後，可產生包括身體部位之量測值的資料結構。資料結構可包括將多重深度影像平均所得之掃描結果，而多重深度影像可由深度攝影機系統在不同的時間點提供。步驟608包括產生一或多個人體目標之模型。在一實施例中，由掃描位元罩所得之量測值可用來決定骨架模型之一或多個關節。一或多個關節可用以界定一或多個骨骼，其對應至人體之身體部位。例如，第6e圖繪示如第6a圖中之步驟608之參與者之一範例骨架模型630，而第6f圖繪示如第6a圖中之步驟608之參與者之另一範例骨架模型630。
一般而言，每個身體部位皆可特徵化為一數學向量，其定義關節及骨架模型之骨骼。身體部位之間可在關節處互相相對移動。例如，前臂段638可連接至關節639，而上臂段634則連接至關節632及636。前臂段638可相對於上臂段634移動。
一或多個關節可調整至使關節在一關節與人體之身體部位間之距離的正常範圍內，以產生更精確的骨架模型。模型更可基於(例如)與人體目標相關之高度來調整。
在步驟610，藉由每秒更新數次參與者或群組之位置來追踪模型。當使用者或群組在實體空間中移動時，來自深度攝影機系統之資訊可用來調整骨架模型以使骨架模型表示一參與者。特定而言，一或多個力可施加在一或多個接受力之骨架模型的態樣上，以將骨架模型之姿勢調整至更接近實體空間中之人體目標之姿勢。
一般而言，可使用任何已知之追踪一或多個參與者之動作的技術。
第6b圖繪示第5圖之步驟500中之追踪視野中一或多個參與者之範例方法，其中決定了每個參與者之代表點位置。在一方案中，針對一或多個群組的每一組，在步驟612時，群組中之參與者在視野中被各別地追踪。注意每一組亦僅可有單一參與者。步驟616決定一或多個群組之每一組的每個參與者之代表點位置。代表點位置可表示中心點(如質心或幾何中心)，其可用以呈現參與者之位置，且可被追踪而呈現參與者之動作。具有均勻質量之物件的幾何中心與質心相同，其對人體來說為合理的假設。代表點位置可以多種方式計算。在一方案中，在步驟614時，決定由視野中每個參與者獲得之骨架模型的代表點位置(見第6h圖)。在另一方案中，在步驟618時，決定邊界柱形或矩形(或其他包含視野中每個參與者之邊界形狀)之代表點位置(見第6i圖)。步驟620針對一或多個群組之一組，基於群組中之每個參與者的位置決定一組參與者之代表點位置。步驟621中，針對多群組，基於單組代表點位置決定一多組代表點位置。例如，多組代表點位置可為不同單組代表點位置之質心(見第6j圖)。
在第6b圖之步驟618中，在第6i圖中，對相同之群組645，參與者631(或骨架模型630)具有邊界形狀656，其為一體積形狀，經縮放以剛好包住骨架模型。類似地，參與者643(或骨架模型642)具有邊界形狀658。對邊界形狀656及658而言，代表點位置及幾何中心分別為點660及662。
在更詳細之範例中，以邊界柱形來說，其為可包住一參與者之最小柱形，例如寬度及高度(見第7a圖)。
第6c圖繪示一範例方法，其用於第5圖中步驟500之追踪視野中一或多個參與者，其中決定單一形狀之代表點位置。步驟622包括，對於一或多個群組之每一組而言，將視野中之一組參與者視為單一形狀(如非固定形狀物體)來追踪之步驟(見第6g圖)，且步驟624包括針對一或多個群組之每一組，決定形狀之代表點位置。當偵測到多組時，步驟625包括基於每個單組代表點位置而決定多組代表點位置。例如，假設偵測到兩個不同的群組(第1及第2組，見第6j圖)。在每個時間點決定兩個單組代表點位置，每組一個，且基於兩個單組代表點位置決定一個多組代表點位置。例如，多組代表點位置可為兩個單組代表點位置之質心。
在又一實施例中，具有骨架模型630及642之二參與者之群組645繪示於第6h圖中。點650為骨架模型630之代表點位置，而點652為骨架模型642之代表點位置。在此例中，代表點位置為骨架模型之幾何中心。若注意點650因手臂向左舉而稍微偏向穿過骨架模型630之軀幹中間的中心線的左側，即可了解此情況。對於骨架模型642，幾何中心652在穿過軀幹中間的中心線上，因身體(包括手臂位置)以中心線對稱。
第6d圖繪示第5圖之步驟500中追踪視野中一或多個參與者之範例方法，其中決定一共同動作。步驟626包括各別地追踪在視野中之參與者的動作。如前述，手勢過濾器可用在多個不同動作之每一者上，如：舉起或平舉一隻手或雙手、旋轉手臂畫圓、像鳥一樣拍動手臂、前傾、後傾、傾向一側、向上跳、蹲下、抬起腳跟處掂腳、原地踏步、走到視野或實體空間之另一點等等。藉由比較每個過濾器與偵測到之動作，可辨識由一或多個參與者所做之特定手勢或動作。
步驟627包括決定數個執行一共同動作之參與者。
步驟628(其可做為額外之步驟或取代步驟627)包括決定參與者將該共同動作作做什麼程度。例如，如傾向一側之身體動作可做到不同的程度。偏離鉛垂線之一點點傾倒(如10-20度)可以代表較小的程度，而傾倒至(例如)20-30則代表較大的程度。類似地，舉起手臂之身體動作亦可由低於水平之-20度做到水平(0度)，其表示較小程度，而舉起手臂(例如)至水平，或其他任何高於水平處則表示為較大程度。可以類似方式定義跳、揮手或其他身體動作之不同程度。
共同動作做的程度亦可基於該動作被執行之次數。例如，舉起手之身體動作亦可用反覆舉起手臂之方式來達成，而在每次舉手的動作間，手臂會回到在參與者兩側之放鬆的位置。可以計算手臂在一定的時間內舉起的次數。亦可決定手臂舉起的頻率。
應用程式可基於執行共同動作之參與者的人數，及(或)參與者做該共同動作的程度而有不同的回應。例如，在一群人控制船的在河上行駛的遊戲中(見第7a圖)，該群人可一起跳起以使船跳過障礙。在較多人執行跳起的動作及(或)當參與者跳得更高時，船可以跳得更高。可追踪一或多個代表點位置之垂直運動以偵測一或多個參與者之垂直運動。
第6g圖繪示群組645做為非固定形狀物體644，或加上群組邊界形狀646。非固定形狀物體644可被定義為群組645之近似任意形狀的邊界形狀，而邊界形狀646則例如為柱狀或矩形。邊界形狀646之代表點位置為點641之幾何中心。在此例中，非固定形狀物體644之代表點位置與點641相似。此方案並不需要知道有多少參與者在非固定形狀物體中，或知道有多個參與者。我們可以把整個質塊當成單一個執行動作者。另外，必需把影像資料映射到骨架模型。每個參與者身體631及643之輪廓和邊際已足以辨識非固定形狀物體之形狀。
在第6h圖中，群組之代表點位置及幾何中心為點654，其位於點650及652之間。
在第6i圖中，群組之代表點位置及幾何中心為點664，其位於點660及662之間
第6j圖繪示第6b圖之步驟621中及第6c圖之步驟625中之基於多單一群組代表點位置決定多群組代表點位置之範例。在此，點647為第一組663之單一組代表點位置、點648為第二組661之單一組代表點位置，而點649為基於每個單一組代表點位置647及648之多組代表點位置。
第7a圖繪示從高處檢視該實體空間726時，一群組中各個不同參與者之邊界柱體728、732及736。第7a圖亦包括顯示器700以及深度攝影機系統720，其包括代表感測器718以及深度攝影機系統之視野中之實體空間726，其中線722及724為視野之邊界線。在此定義一座標系統，其包括深度攝影機之光軸或z軸(例如在一方向的中間延伸之線，其由深度攝影機看向實體空間)，而實體空間通常在該光軸兩側對稱。若深度攝影機與顯示器面向同一方向，光軸一般會垂直於顯示面平面。另外亦定義與z軸交叉且互相垂直之軸(y軸)。x軸(圖未示)可在實體空間中垂直延伸。
在第7a圖之例中，一組參與者之代表點位置可由從二或三個直角座標中之軸上的代表點位置座標獲得。例如，代表點位置為參與者之中心點730、734及738，其分別由邊界柱體728、732及736代表。沿著y軸，中心點730、734及738分別在座標y1、y2及y3之位置。該群組之y軸代表點位置為ycg=(y1+y2+y3)/3，此處假設每個參與者的權重都相同。在另一方案中，每個參與者依其實際特徵(如寬度)被分別設定權重。例如，w1、w2、及w3分別為邊界柱體728、732及736之寬度。在此例中，群組之y軸代表點位置為ycg=((w1 x y1)+(w2 x y2)+(w3 x y3))/(w1+w2+w3)。一般來說，群組之y軸代表點位置為(w x y)之和/w之和。第7a圖會於後與群組提供給應用程式之控制輸入一起描述。
類似地，在z軸上中心點730、734及738分別在座標z1、z2及z3之位置。該群組之z軸代表點位置為zcg=(z1+z2+z3)/3，此處假設每個參與者的權重都相同。若每個參與者依寬度被分別設定權重，則群組之z軸代表點位置為zcg=((w1 x z1)+(w2 x z2)+(w3 x z3))/(w1+w2+w3)。一般來說，群組之z軸代表點位置為(w x z)之和/w之和。接下來，群組之代表點位置可以(ycg,zcg)定義在點740。在垂直x軸上之群組之代表點位置的第三座標亦可被使用。
若考慮大小，需注意深度攝影機系統可基於以下現象來調整：離攝影機較遠的參與者以較少的像素呈現，而較近的參與者以較多的像素呈現。
如前述，需注意可在視野中偵測多組參與者。例如，視野可被分為z軸上及(或)y軸上之多個區域，且在每個區域中對群組分別進行偵測。區域的大小和數量可依視野中參與者之排置而調整。區域可被界定為使參與者之叢集會維持在一共同區域中。在此可使用柱狀圖及其他叢集辨識技術。另外，每個群組可對應用程式提供各別的輸入。亦可基於單組輸入之組合來提供統一之多組輸入。另外，偵測位置可追踪一段時間以決定單組動作，而多組動作依該單組動作而決定。需注意輸入至應用程式之多組動作或位置，係基於組成多組的每個群組的動作及位置。
第7a圖繪示範例顯示器及實體空間，其中決定了每個參與者之大小和代表點位置，並決定且使用群組之代表點位置來操控虛擬角色。如前所述，第7a圖繪示從高處檢視該實體空間726之一群組中三個不同參與者之邊界柱體728、732及736。第7a圖亦包括顯示器700以及深度攝影機系統720，其包括代表感測器718以及深度攝影機系統之視野中之實體空間726，其中線722及724為視野之邊界線。需注意深度攝影機系統720，包括代表感測器718以及顯示器700皆由站在視野中且望向顯示器之參與者的觀點所繪示。
一範例應用程式提供讓群組依其在視野中之代表點位置在河上駕駛一艘船的遊戲。參與者群組需克服河道之彎折及障礙。圖中繪示船710及虛擬角色乘客712。在一方案中，當群組成員之位置使其代表點位置740在z軸之左側時，船向左側行駛。當群組成員之位置使其代表點位置740在z軸之右側時，船向右側行駛。又或可相對於群組之初始位置而決定駕駛輸入。亦可有其他控制之動作，例如群組向前移動或把手舉過頭時可(例如)使船的前端抬起以克服障礙。亦可當群組在視野726中向前移動時使船的速度加快，而向後移動時使船的速度減慢。亦可以群組之聲音做為輸入，以使船在音量較大時行駛得較快。因此，可提供多對一輸入機制以彙集每個參與者之動作、位置及(或)聲音做為一統一輸入至應用程式。如此可有較佳之娛樂效果及團隊合作的感覺。
需注意船710可視為非人體虛擬角色，因其代表該群組且其由該群組之動作及其他輸入來操作。
如上述，可偵測視野中之多組參與者並提供應用程式來自各群組之各別控制輸入。例如，假設除了第7a圖中所繪示的三個參與者的群組外，還有一個第二群組(未圖示)在其後做為旁觀者。第二組在開始時可以相對上地較為靜態。然而，若顯示器上出現令人激動的時刻，第二組的成員可能會站起來開始歡呼。來自第二組的動作和提高的音量可被偵測並做為輸入，而回應於此應用程式可(例如)將船710加速及(或)提供歡樂的背景音樂。在另一例中，在第二組的成員可開始左右搖擺以使應用程式作出其他回應。
選擇性地，在接上網路的方案中，多參與者可在不同地點同時與一應用程式互動。例如，由邊界柱體728及732所代表的參與者可在第一動作擷取系統之第一視野的實體空間中，而由邊界柱體736所代表的參與者則在第二動作擷取系統之第二視野的另一實體空間中。這些參與者可經排置以同時在一虛擬空間中互動。第一動作擷取系統追踪在第一視野中的兩個參與者之移動而第二動作擷取系統追踪第二視野中之另一參與者之移動。
第一動作擷取系統經由網路而從第二動作擷取系統接受關於第二視野中之參與者的位置及動作資料，並將該資訊與第一視野中之位置與動作資訊結合以提供應用程式一統一輸入。應用程式接著以一影音輸出回應該統一輸入。第二動作擷取系統可類似地經由網路而從第一動作擷取系統接受資料以使相關的參與者接收到相同的影音輸出。
第7b圖繪示一範例顯示器及實體空間，其為第7a圖中之代表點位置740移至接近z軸中間之右側。船710回應於此移動，且船與乘客712在顯示器750中直行。
第7c圖基於第7b圖繪示一範例顯示器及實體空間，其中每個玩家具有各自的虛擬角色。例如乘客虛擬角色756、758及754分別代表由邊界柱體728、732及736代表之參與者。另外，在顯示器752中，虛擬角色在船710中的位置對應至參與者在視野中之位置。例如，虛擬角色756及754大約在彼此的旁邊，而虛擬角色758則稍微位於其後方且在中間偏左。類似地，由邊界柱體756及754所代表之參與者大約在彼此的旁邊，而虛擬角色758所代表之參與者則稍微位於其後方且在中間偏左。此例顯示參與者在實體空間之位置如何控制在虛擬空間中之位置。
第7d圖繪示一範例顯示器，其中一群組在一平衡遊戲中提供輸入。群組之位置和駕駛遊戲類似地可做為輸入而決定虛擬角色之平衡。特別是，在顯示器760中，虛擬角色762走在鋼索760上，並握持一桿以維持平衡。群組試著以其在視野中之位置維持虛擬角色的平衡。在此處虛擬角色稍微倒向左側。或是群組中之每個參與者可傾向一側以控制虛擬角色。
第7e圖基於第7d圖中群組之代表點位置移動繪示一範例顯示器。在顯示器770中，虛擬角色762基於群組之輸入而往前直行。
第8a圖繪示產生被擋住或部分在視野外之參與者所缺失的資料。在一些情況下，深度攝影機系統可能會暫時無法擷取正在追踪且與應用程式互動之參與者的身體，例如參與者可能一部分被物件或視野中之其他人擋住，或是身體有部分在視野外。在此種情況下，可能造成基於參與者之骨架模型所產生之虛擬角色不完全，並造成參與者的困擾且無法繼續操作。為避免此結果，可以採用一些測量方式來產生代表沒有被深度攝影機系統擷取之缺失的身體部位。
步驟800包括從參與者或群組接收深度攝影機系統資料。資料可表示對深度攝影機系統來說可見之參與者的一部分。參與者之另一部分對深度攝影機系統為不可見的而因此不為該資料所表示。步驟801包括將每個參與者的資料映射至骨架模型上。僅代表身體之一部分(例如頭、軀幹、手及一隻腳)的資料映射至骨架模型之對應部分。此映射可包括將像素資料與人體之骨架模型相關連以建立人體目標之模型，如第6a圖所述。
在決策步驟802，若骨架模型並非大部分都沒有被映射到，則執行步驟804，其中虛擬角色基於大部分完全映射之骨架模型而產生。若沒被映射之部分包括骨架模型之特定部分，例如10-20%的該模型表面積(其會在參與者被深度攝影機系統完整地擷取的情形下被映射)，則該沒被映射之部分會被認為是很大量的。這表示若此部分未被映射則會導致不完整的虛擬角色而造成參與者之困擾且無法繼續操作。最後產生的虛擬角色在步驟805時顯示。若在步驟802時一部分的骨架模型未映射，則執行步驟803，其中產生資料以映射骨架模型未映射的部分。產生的資料(其代表參與者無法被深度攝影機系統看到之部分)映射到骨架模型剩下的部分以提供大致上完整映射之骨架模型。產生的資料可提供參與者之缺失部分的動作。例如，如下參照第8b-8d圖所述，參與者之肢體(如腿)可能被遮擋，在此時步驟803產生代表腿之資料。此可基於在前一訊框用來代表該參與者之骨架模型。參與者之特徵(如尺寸及形狀)可由該骨架模型得知。另外，基於對應於參與者之可見部分之骨架模型部分，可決定對應於該參與者之非可見部分的骨架模型之特性。例如，若一腿被遮住，但身體的可見部分顯示該參與者站著，則被遮住的腿可依站姿產生。對於所產生資料的顏色及材質資訊，可基於，例如，身體之可見部分的顏色及材質資訊及(或)有顯示現在缺失之身體部位之先前訊框來決定。手勢辨識亦可用來決定缺失身體部分之特徵，使得若身體的可見部分與特定手勢一致，該缺失的部分亦應與此手勢一致。
虛擬角色在步驟804係基於骨架模型而產生，而該骨架模型係基於由深度攝影機系統所獲得之影像資料及所產生資料而部分地映射而成。虛擬角色依大致完整映射之骨架模型表示參與者，其使虛擬角色表示參與者可見及不可見之部分。
需注意第8a圖之程序可每秒重複多次，以在參與者之可見及不可見部分於深度攝影機系統所提供之影像資料的不同訊框中變動時，可更新虛擬角色。
第8b圖基於第8a圖之範例來繪示顯示器及實體空間，其中參與者在視野中未被遮住。顯示器806繪示一虛擬空間，其中虛擬角色812站在路807上。深度攝影機系統820包括一代表感測器818，而實體空間826係在深度攝影機系統之視野中所提供，其中線822及824為視野之邊界。參與者828及物件830(如家俱)在實體空間內。在此例中，感測器818可清楚的看到參與者828，且可擷取所有提供完整映射之骨架模型832所需之影像資料，而虛擬角色812由此產生。骨架模型為隱藏之概念結構。
第8c圖基於第8b圖繪示顯示器及實體結構，其中視野中之參與者828部分被物件830遮住，而使產生之虛擬角色不完整。在與應用程式互動時，參與者828可在實體空間中移動而使參與者之一部分變為對深度攝影機系統不可見。在此種情況下，影像資料不足以映射至骨架模型834。例如，參與者882之左腳可能被物件830遮住，在此情況下會沒有資料可映射至骨架模型834之左腳。當虛擬角色813依據骨架模型834而產生在顯示器808上時，會缺少左腳。此可能造成參與者828之困擾，特別是若虛擬角色之外觀在參與者與應用程式互動時不斷的在被遮住及未被遮住之狀態間重複時會經常改變，造成虛擬角色對應之改變。
第8d圖依第8b圖繪示顯示器及實體結構，其中雖視野中之參與者828部分地被遮住，但產生之虛擬角色814是完整的。在此參與者828之可見部分的影像資料映射至骨架模型834，如第8c圖中所示。然而，腿836所繪示而產生之資料用來表示缺失的身體部位。產生的資料與骨架模型之部分834結合，而該部分由可見之身體部位映射以提供總體骨架模型838，其大致上完整呈現參與者828。結果，由骨架模型838產生之虛擬角色814可呈現參與者828可見及不可見之身體部位。例如，虛擬角色814之左腿817基於骨架模型838之左腿836來表示參與者之左腿，而虛擬角色814其他的身體部位815則基於骨架模型838之其他的身體部位834來表示參與者其他之身體部位。
第9a圖繪示回應於第5圖步驟506中之所述輸入之應用程式之例，其中當參與者之動作不合理時限制虛擬角色之動作。額外的技術可用來防止不運續或會造成困擾的應用程式輸出。在一方案中，(例如)與實體空間中之位置改變相關的動作被評估以決定其是否合理。在實體空間中追踪的程序可能有時會因各種原因而失效，如被遮住、參與者暫時離開後又回到視野中、由於玩家之外觀相似而無法分辨、使用道具、玩家互換位置等。這些都可造成錯誤，也就是應用程式產生不連續或易混淆的輸出，如虛擬角色突然跨越整個螢幕。
一般來說，基於深度攝影機系統之視野的影像資料，至少一參與者身體在視野中被追踪，而追踪之結果被應用程式用來在顯示器上之虛擬空間提供虛擬角色，並使虛擬角色代表至少一參與者身體且其由至少一參與者身體之動作所控制。根據從追踪步驟所得的結果是否與至少一預設情況相符來做決定，而與該預設情況相符表示有使應用程式在顯示器上提供錯誤輸出之風險。例如，決策步驟900決定預設情況是否有發生，而在該預設情況中至少一參與者身體在一定時間內在視野中移動的距離超出合理的範圍。因應於此，基於從追踪步驟所得的結果與至少一預設情況相符，則執行減少使應用程式在顯示器上提供錯誤輸出之風險的步驟。例如，步驟901包括對顯示器上之虛擬角色的動作加上限制。
例如，虛擬角色在顯示器中之動作可被限制在一定的量或一定之速率下。該一定量及速率可經選擇而用來避免顯示器上產生不連續之顯示。虛擬角色亦可被限制而使其不能動作。虛擬角色亦可被限制而使其可做動作之一定量與至少一參與者身體停留在一位置之時段成正比的增加(其中參與者身體停在該位置時視為不合理的動作)直到允許正常量之動作。動作的量可考慮顯示器上之虛擬角色及(或)虛擬空間中之虛擬角色的動作來定義。
第9a-9c圖中之技術可以在深度攝影機系統及(或)計算環境中實行。對一參與者，動作亦可基於參與者之代表點位置的動作來決定；而對一群組，動作可基於群組之代表點位置的動作來決定，如先前所討論。另外，該決定可針對特定之應用程式的狀況。例如，和不需要玩家作大動作的應用程式相較之下，在需要玩家在實體空間中作大動作的應用程式中，較大的動作可能是合理的。此決定可基於某些因素，如年紀、性別、體適能程度或身體障礙。例如，一動作可能對較靈敏的參與者為合理的，但對較慢的參與者就不合理。以下參照第9d圖提供一例。
第9b圖繪示回應於第5圖步驟506中之所述輸入的應用程式之例，其在決定新參與者或群組要與應用程式互動之前加上一等待時間。在決策步驟902中，例如當一或多個其他參與者或群組正在與應用程式互動時，決定是否在視野中偵測到新的參與者或群組。在此例中，可能誤認新參與者或群組想要與應用程式互動。例如，新參與者或群組可能只是經過視野中而不想和應用程式互動。因此，若應用程式在顯示器上顯示了一或多個虛擬角色並基於新參與者或群組之動作而開始移動虛擬角色，則現在正在與應用程式互動之一或多個參與者或群組會被干擾。即使現在沒有參與者在與應用程式互動而應用程式處於靜止模式，當不想與應用程式互動之新的參與者或群組經過視野中時，啟動應用程式並提供視訊及音訊輸出亦不是所希望的結果。此為一種錯誤輸出。另一個情況則關於在視野中錯誤地偵測到一新參與者之身體。
因此，擁有會造成應用程式在顯示器上提供錯誤輸出之風險的預設情況，可包含了追踪步驟錯誤地辨識在視野中之至少一新參與者身體，及(或)應用程式誤以為視野中之至少一新參與者與應用程式互動。
步驟903基於新參與者或群組第一次被偵測到之位置到視野之邊緣的距離選擇等待時間。因此，基於追踪之結果與預設之情況相符，應用程式提供錯誤輸出之風險會因在該應用程式以為至少一新參與者欲與應用程式互動之前，加上最小等待時間而減低。另外，最小等待時間可為至少一新參與者身體在該視野中第一次被偵測到之位置至該視野之邊緣的距離之函數。而距離愈長時該最小等待時間愈長，距離愈短時該最小等待時間愈短。例如，新加入之參與者或群組第一次被偵測到的位置不太可能在相對上離視野較遠之中間區域，因為通常參與者會由邊緣區域進入視野，如由另一個房間或房間中視野外之其他位置進入視野。亦有可能(但不常發生)參與者被物件擋住而突然在視野之中間被偵測到。此時可使用修正過之等待時間。
在決策步驟904中，若等待時間已結束，步驟905會得出新參與者或群組欲與應用程式互動之結論。此時允許互動，且新的虛擬角色會在步驟906中顯示並啟動(例如)以允許互動。因此，應用程式在最小等待時間結束後在顯示器上的虛擬空間中顯示一新的虛擬角色以代表至少一新參與者。
第9c圖繪示回應於第5圖步驟506中之所述輸入的應用程式之例，其在決定新參與者或群組不再與應用程式互動之前加上一等待時間。決策步驟907決定視野中之參與者或群組不再被偵測到。在一些情況中，現在正與應用程式互動之參與者或群組可能沒有繼續在視野中被偵測到。例如，他們可能還在視野中但沒繼續被深度攝影機系統偵測到，原因可能是例如因為深度攝影機系統失效，或因視野中之遮蔽物。又或者他們可能短暫地離開視野，且欲回來繼續與應用程式互動。在此情況中，應用程式可能誤判參與者或群組不繼續和應用程式互動，且(例如)可能使一虛擬角色失效並轉換為沒有音訊及視訊輸出之靜止模式；或是待機輸出，如螢幕保護程式。
可能有造成應用程式提供錯誤輸出之風險之預設情況，包括追踪無法偵測視野中至少一參與者身體，且應用程式誤認為至少一參與者不繼續與應用程式互動。
若決策步驟907為真，步驟908基於參與者或群組最後偵測到之位置與視野之邊緣的距離選擇等待時間。因此，若追踪的結果與預設之情況相符，應用程式提供錯誤輸出之風險因在決定至少一參與者不繼續與應用程式互動之前加上最小等待時間而減低。另外，最小等待時間可為至少一新參與者身體在該視野中最後被偵測到之位置至該視野之邊緣的距離之函數。而距離愈長時該最小等待時間愈長，距離愈短時該最小等待時間愈短。例如，參與者或群組最後被偵測到的位置不太可能在相對上離視野較遠之中間區域，因為通常參與者會由邊緣區域離開視野，如由視野中去到另一個房間或房間中視野外之其他位置。亦有可能(但不常發生)參與者被物件擋住而突然消失在視野中。此時可使用修正過之等待時間。
在決策步驟909中，若等待時間已結束，步驟910會得出新參與者或群組欲停止與應用程式互動之結論。此時互動停止，且虛擬角色會在步驟911中失效。因此，應用程式在最小等待時間結束後，在顯示器上的虛擬空間中使虛擬角色失效以代表至少一參與者不繼續與應用程式互動。
第9d圖依第9b及9c圖繪示範例顯示器及實體空間，其中參與者之動作及位置被評估。顯示器912繪示一虛擬空間，其中虛擬角色914站在路913上。深度攝影機系統920包括代表感測器918，而實體空間926係在深度攝影機系統之視野中所提供，其中線922及924為視野之邊界。具有中間點930之邊界柱體928代表一參與者或群組。中間點930到邊界922之距離(到邊界922之最短距離)為d2。亦可決定邊界柱體928至邊界922之距離。具有中間點930之邊界柱體928代表錯誤的偵測到參與者或群組。中間點940到中間點930之距離為d1。亦可決定邊界柱體928至邊界柱體938之距離。
在第9a圖中，如上所述，決定參與者或群組在一定的時間中的移動量是否合理。在此，距離d1代表在一小段時間(如少於1秒)中不合理的移動量，其中實體空間926通常為客廳或娛樂室之大小，其可於一參與者之家中。在顯示器912中，虛擬角色914之位置依中間點930之位置而定，且虛擬角色915之位置依中間點940之位置而定，並位於顯示器912上實質上不同的一部分。可看到參與者之位置被錯誤地決定以由中間點930移動至中間點940，而可能會顯示虛擬角色915而非虛擬角色914，而使參與者無法繼續。
在第9b圖中，如上所述，決定對參與者或群組之偵測是否錯誤。假設中間點930代表參與者或群組第一次被偵測到之位置。在此情況中，在決策步驟904中，等待時間可以距離d2之函數的方式實行，其距離d2為第一次偵測到的位置和視野之邊緣922之距離。
在第9c圖中，如上所述，決定對參與者或群組離開視野之偵測是否錯誤。假設中間點930代表參與者或群組最後被偵測到之位置。在此情況中，等待時間可以根據距離d2而在決策步驟909中實行，其距離d2為第一次偵測到的位置和視野之邊緣922之距離。
提供前文中本發明之技術的實施方式之目的為例示及描述。其並不欲以所揭露之特定形式做為本技術之實施方式或對本技術作任何限制。可依前文之教示做各種修改及變化。選擇上述之實施例因其可對本發明之技術及實際應用做最佳的解說，而使其他熟悉此項技藝者可以最佳方式對此技術進行各種修改，以適合所需之特定使用方式而應用於各種實施例中。本發明之技術的範疇應由所附之申請專利範圍所界定。
10．．．動作擷取系統
12．．．計算環境
16．．．影音裝置
18．．．參與者
20．．．深度攝影機系統
21．．．匯流排
22．．．影像攝影機組件
24．．．紅外光組件
26．．．三維攝影機
28．．．紅綠藍攝影機
30．．．麥克風
32．．．處理器
34．．．記憶體組件
36．．．通訊連結
38．．．拳擊對手
40．．．虛擬角色
58．．．使用者
100．．．多媒體主機
101．．．中央處理單元
102．．．L1快取
104．．．L2快取
106．．．快閃唯讀記憶體
108．．．圖像處理單元
112．．．記憶體
114．．．視訊編碼/解碼器
118．．．模組
120．．．輸出入控制器
122．．．系統管理控制器
123．．．音訊處理單元
124．．．網路介面控制器
126．．．第一USB控制器
128．．．第二USB控制器
130．．．前面板輸出入子組合
132．．．音訊編碼
136．．．系統電源模組
140．．．影音埠
143．．．系統記憶體
144．．．媒體驅動器
148．．．無線配接器
150．．．電源鈕
190．．．手勢資料庫
192．．．處理器
194．．．記憶體
196．．．顯示裝置
220．．．計算環境
222．．．系統記憶體
221．．．匯流排
223．．．唯讀記憶體
224．．．基本輸出入系統
225．．．作業系統
226．．．應用程式
227．．．其他程式模組
228．．．程式資料
232．．．視訊介面
233．．．輸出週邊介面
234、235．．．介面
236．．．使用者輸入介面
237．．．網路介面
238．．．硬碟
239．．．磁碟機
240．．．光碟機
241．．．電腦
242．．．螢幕
243．．．印表機
244．．．揚聲器
245．．．區域網路
246．．．遠端電腦
249．．．廣域網路
248．．．遠端應用程式
250．．．數據機
251．．．鍵盤
252．．．指標裝置
253．．．光碟片
254．．．磁碟片
255．．．程式資料
256．．．程式模組
257．．．應用程式
258．．．作業系統
259．．．處理器
260．．．隨機存取記憶體
630、642．．．骨架模型
631．．．參與者
632、636、639．．．關節
634．．．上臂段
638．．．前臂段
643．．．參與者
644．．．非固定形狀物體
646．．．群組邊界形狀
645、661、663、．．．群組
641、647、648、649、650、652、654、660、662、663、664．．．點
656、658．．．邊界形狀
710．．．船
712．．．乘客
718．．．代表感測器
720．．．深度攝影機系統
722、724．．．線
728、732、736．．．邊界柱體
730、734、738．．．中心點
740．．．代表點位置
750．．．顯示器
754、756、758、762．．．虛擬角色
807．．．路
812．．．虛擬角色
815．．．身體部位
817．．．左腿
818．．．感測器
820．．．深度攝影機系統
822、824．．．線
826．．．實體空間
828．．．參與者
830．．．物件
836．．．腿
912．．．顯示器
913．．．路
914、915．．．虛擬角色
815．．．身體部位
817．．．左腿
818．．．感測器
820．．．深度攝影機系統
922、924．．．線
826．．．實體空間
928、938．．．邊界柱體
828．．．參與者
930、940．．．中間點
830．．．物件
836．．．腿
d1．．．距離
第1a及1b圖繪示一範例實施例之動作擷取系統10，其中參與者18與一模擬拳擊比賽之應用程式互動。
第2圖繪示第1a圖之動作擷取系統10之範例方塊圖。
第3圖繪示可用於第1a圖之動作擷取系統中之計算環境的範例方塊圖。
第4圖繪示可用在第1a圖之動作擷取系統中之計算環境的另一範例方塊圖。
第5圖繪示使一或多個參與者可與動作擷取系統互動之方法。
第6a圖繪示第5圖中步驟500追踪一或多個參與者之動作的範例方法。
第6b圖繪示第5圖之步驟500中之追踪視野中一或多個參與者之範例方法，其中決定了每個參與者之代表點位置。
第6c圖繪示一範例方法，其用於第5圖中步驟500之追踪視野中一或多個參與者，其中決定單一形狀之代表點位置。
第6d圖繪示第5圖之步驟500中追踪視野中一或多個參與者之範例方法，其中決定一共同動作。
第6e圖繪示第6a圖之步驟608中一參與者之範例骨架模型。
第6f圖繪示第6a圖之步驟608中一參與者之另一範例骨架模型。
第6g圖繪示第6a圖之步驟608中一參與者之範例模型。
第6h圖繪示第6b圖之步驟614中基於骨架模型決定代表點位置之範例。
第6i圖繪示第6b圖之步驟618中基於邊界柱體或矩形決定代表點位置之範例。
第6j圖繪示第6b圖之步驟621中及第6c圖之步驟625中之基於多單一群組代表點位置決定多群組代表點位置之範例。
第7a圖繪示一範例顯示器及實體空間，其中決定每個參與者之大小及代表點位置，並決定群組之代表點位置且使用操作虛擬角色。
第7b圖基於第7a圖中群組之代表點位置移動繪示一範例顯示器及實體空間。
第7c圖基於第7b圖繪示一範例顯示器及實體空間，其中每個玩家具有各自的虛擬角色。
第7d圖繪示一範例顯示器，其中一群組在一平衡遊戲中提供輸入。
第7e圖基於第7d圖中群組之代表點位置移動繪示一範例顯示器。
第8a圖繪示產生被擋住或部分在視野外之參與者所缺失的資料。
第8b圖依第8a圖之範例繪示顯示器及實體空間，其中參與者在視野中未被遮住。
第8c圖依第8b圖繪示顯示器及實體結構，其中視野中之參與者828部分被物件830遮住，而使產生之虛擬角色不完整。
第8d圖依第8b圖繪示顯示器及實體結構，其中雖視野中之參與者828部分被遮住，但產生之虛擬角色814是完整的。
第9a圖繪示回應於第5圖步驟506中之所述輸入之應用程式之例，其中當參與者之動作不合理時限制虛擬角色之動作。
第9b圖繪示回應於第5圖步驟506中之所述輸入之應用程式之例，其在決定新參與者或群組要與應用程式互動之前加上一等待時間。
第9c圖繪示回應於第5圖步驟506中之所述輸入之應用程式之例，其在決定新參與者或群組不與應用程式互動之前加上一等待時間。
第9d圖依第9b及9c圖繪示範例顯示器及實體空間，其中參與者之動作及位置被評估。
220．．．計算環境
222．．．系統記憶體
221．．．匯流排
223．．．唯讀記憶體
224．．．基本輸出入系統
225．．．作業系統
226．．．應用程式
227．．．其他程式模組
228．．．程式資料
232．．．視訊介面
233．．．輸出週邊介面
234、235．．．介面
236．．．使用者輸入介面
237．．．網路介面
238．．．硬碟
239．．．磁碟機
240．．．光碟機
241．．．電腦
242．．．螢幕
243．．．印表機
244．．．揚聲器
245．．．區域網路
246．．．遠端電腦
249．．．廣域網路
248．．．遠端應用程式
250．．．數據機
251．．．鍵盤
252．．．指標裝置
253．．．光碟片
254．．．磁碟片
255．．．程式資料
256．．．程式模組
257．．．應用程式
258．．．作業系統
259．．．處理器
260．．．隨機存取記憶體

Claims (20)

  1. 一種以處理器實施之方法，其用於追踪一動作擷取系統中之多個參與者，該方法包括以下之處理器實施步驟：追踪至少一群組，其包括一第一群組，該第一群組包含在該動作擷取系統之一視野中之多個參與者身體，而追踪之步驟包括偵測在該視野中之該參與者身體；以該追踪步驟為基礎，基於該第一群組中之該些參與者的動作而決定該第一群組之動作以做為一第一單一實體；以及提供輸入至一應用程式，該等輸入係基於做為該第一單一實體之該第一群組之該動作，而該應用程式在一顯示器上顯示一虛擬空間，並基於該等輸入而更新該顯示器。
  2. 如申請專利範圍第2項之處理器實施方法，其中：該決定該第一群組之動作以做為該第一單一實體之步驟包含決定該第一組之代表點位置之動作，該第一群組之該代表點位置基於在該視野中之該些參與者身體之位置。
  3. 如申請專利範圍第1項之處理器實施方法，其中：該決定該第一群組之動作以做為該第一單一實體之步驟包含決定該第一組之代表點位置之動作，該第一群組之該代表點位置基於在該視野中之該些參與者身體之尺寸。
  4. 如申請專利範圍第1項之處理器實施方法，其中：該應用程式提供至少一虛擬角色在該顯示器上，且該第一群組基於該第一群組之該動作而控制該至少一虛擬角色，其使該虛擬角色基於該視野中之該第一群組的該動作而在該虛擬空間之一方向上動作。
  5. 如申請專利範圍第4項之處理器實施方法，其中：該應用程式包含下列至少一者：(a)一平衡遊戲，且該第一群組基於該第一群組在該視野中動作之該方向控制該至少一虛擬角色之一平衡，以及(b)一駕駛遊戲，其中該虛擬角色包含一載具，且該第一群組基於該第一群組在該視野中動作之該方向控制該載具之行駛方向。
  6. 如申請專利範圍第1項之處理器實施方法，其中：基於該追踪步驟，決定該第一群組中執行一共同動作之參與者之一數目，對該應用程式之該等輸入係基於該第一群組中執行該共同動作之參與者之該數目，而使該第一群組基於該第一群組中執行該共同動作之參與者之該數目，來控制該應用程式。
  7. 如申請專利範圍第1項之處理器實施方法，更包括以下步驟：基於該追踪，對執行該共同動作之該第一群組中之該參與者，決定其執行該共同動作之一程度(degree)，且對該應用程式之該等輸入係基於執行該共同動作之該程度，而使該第一群組基於執行該共同動作之該程度來控制該應用程式
  8. 如申請專利範圍第1項之處理器實施方法，更包括以下步驟：追踪該第一群組之一音量，其中對該應用程式之該等輸入係基於該音量，而使該第一群組基於該音量來控制該應用程式。
  9. 如申請專利範圍第1項之處理器實施方法，更包括以下步驟：透過一網路從另一動作擷取系統接收資料，該另一動作擷取系統追踪其一視野中之至少另一參與者之身體，該資料指示該至少另一參與者之身體在該另一動作擷取系統之該視野中之動作，且做為該第一單一實體之該第一群組之該動作係基於該第一群組中該參與者之該動作來決定，其包括該至少一其他參與者之該動作。
  10. 如申請專利範圍第1項之處理器實施方法，其中該至少一群組包括一第二群組，而該方法更包含以下步驟：追踪該第二群組，該第二群組包含在該動作擷取系統之該視野中之多個參與者的身體；以該第二群組之該追踪步驟為基礎，基於該第二群組中之該些參與者的動作而決定該第二群組之動作以做為一第二單一實體；以及決定一多組動作，該多組動作係以該第一群組之動作及該第二群組之動作為基礎；其中提供至該應用程式之該等輸入係基於該多組動作。
  11. 一種動作擷取系統，其包含：一深度攝影機系統，具有一視野；一顯示器；至少一處理器，其與該深度攝影機系統及該顯示器相關，該至少一處理器執行指令以(a)追踪該視野中之一參與者以決定該參與者在該視野中之動作，並提供代表該參與者之一部分的資料，而該參與者之該部分對該深度攝影機系統為可見，而該參與者之另一部分對該深度攝影機系統為不可見，(b)將該資料映射至一骨架模型之一對應部分，(c)產生代表對該深度攝影機系統為不可見之該參與者之該另一部分的資料，(d)將該產生之資料映射至該骨架模型之剩餘部分以提供一映射骨架模型，(e)基於該映射骨架模型而提供代表該參與者之一虛擬角色，以使該虛擬角色代表該參與者之可見及不可見部分，以及(f)提供一訊號至該顯示器以顯示影像，其中該等影像包括該虛擬角色，且該虛擬角色因應於該動作而被控制。
  12. 如申請專利範圍第11項之動作擷取系統，其中：該至少一處理器在該參與者之可見及不可見部分在該影像資料中之不同訊框中變動時更新該虛擬角色，其中該影像資料由該深度攝影機系統提供。
  13. 如申請專利範圍第11項之動作擷取系統，其中：該參與者之該不可見部分在該視野外。
  14. 如申請專利範圍第11項之動作擷取系統，其中：該參與者之該不可見部分在該視野中被遮住。
  15. 一種具體之電腦可讀取儲存裝置，其具有電腦可讀取軟體，該軟體嵌入於其中而用以程式化至少一處理器以施行一動作擷取系統中之一方法，該方法包括以下步驟：基於該深度攝影機系統之一視野之影像資料的訊框，追踪在該視野中之至少一參與者身體，該追踪步驟將結果提供給一應用程式使用，以提供一顯示器上之一虛擬空間中的一虛擬角色，使得該虛擬角色呈現該至少一參與者身體且其由該至少一參與者身體之動作控制；決定該追踪之結果何時才會符合至少一預設情況，該預設狀況具有使該應用程式對該顯示器提供錯誤輸出之風險；基於該決定，減少該應用程式對該顯示器提供該錯誤輸出之該風險。
  16. 如申請專利範圍第15項之具體之電腦可讀取儲存裝置，其中：該至少一預設情況包含該至少一參與者身體移動一距離，該距離超過了在一特定時段內在該視野中之實際上可能之距離；以及基於該追踪之該結果與該至少一預設情況相符，該減少風險之步驟包含對該顯示器上之該虛擬角色加上移動限制之步驟。
  17. 如申請專利範圍第15項之具體之電腦可讀取儲存裝置，其中該至少一預設情況包含該追踪步驟無法偵測該視野中之該至少一參與者身體，且該應用程式作成該至少一參與者不欲和該應用程式互動之錯誤結論；以及基於該追踪之該結果與該至少一預設情況相符，該減少風險之步驟包含在該應用程式作成該至少一參與者不欲和該應用程式互動之結論前加上一等待時間之步驟，其中該等待時間為該至少一參與者身體在該視野中最後被偵測到之位置至該視野之邊緣的距離之函數，而該距離愈長時該等待時間愈長。
  18. 如申請專利範圍第17項之具體之電腦可讀取儲存裝置，其中：在該最小等待時間結束後，該應用程式使該虛擬空間中之該虛擬角色失效以代表該至少一參與者不再與該應用程式互動。
  19. 如申請專利範圍第15項之具體之電腦可讀取儲存裝置，其中該至少一預設情況包含以下至少一者：(a)該追踪之步驟誤測至少一新參與者身體，及(b)該應用程式做出錯誤的結論認為該至少一新參與者欲與該應用程式互動；以及基於該追踪之該等結果與該至少一預設情況相符，該減少風險之步驟包含在該應用程式作出該至少一新參與者正與該應用程式互動之結論前加上一最小等待時間之步驟，其中該最小等待時間為該至少一新參與者身體在該視野中最初被偵測到之位置至該視野之邊緣的距離之函數，而該距離愈長時該最小等待時間愈長。
  20. 如申請專利範圍第19項之具體之電腦可讀取儲存裝置，其中：該應用程式在該最小等待時間結束後在該虛擬空間中顯示一新虛擬角色以代表該至少一新參與者。
TW99144040A 2010-01-15 2010-12-15 在動作擷取系統中追踪使用者群組 TWI469813B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/688,793 US8933884B2 (en) 2010-01-15 2010-01-15 Tracking groups of users in motion capture system

Publications (2)

Publication Number Publication Date
TW201143866A TW201143866A (en) 2011-12-16
TWI469813B true TWI469813B (zh) 2015-01-21

Family

ID=44121916

Family Applications (1)

Application Number Title Priority Date Filing Date
TW99144040A TWI469813B (zh) 2010-01-15 2010-12-15 在動作擷取系統中追踪使用者群組

Country Status (4)

Country Link
US (2) US8933884B2 (zh)
CN (1) CN102129293B (zh)
TW (1) TWI469813B (zh)
WO (1) WO2011087887A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI638278B (zh) * 2016-04-13 2018-10-11 芋頭科技(杭州)有限公司 一種即時手勢檢測的在線驗證方法及系統
TWI767307B (zh) * 2020-08-27 2022-06-11 孕龍科技股份有限公司 遊戲把手之訊號轉換裝置

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8121361B2 (en) 2006-05-19 2012-02-21 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
US9182814B2 (en) * 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
US8334842B2 (en) 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US8933884B2 (en) 2010-01-15 2015-01-13 Microsoft Corporation Tracking groups of users in motion capture system
US8284157B2 (en) 2010-01-15 2012-10-09 Microsoft Corporation Directed performance in motion capture system
EP2371432A3 (en) * 2010-03-09 2011-11-23 Crytek GmbH A multi-user computer-controlled video gaming system and a method of controlling at least one game mechanic
EP2371435A1 (en) * 2010-03-09 2011-10-05 Crytek GmbH A multi-user computer-controlled input system and a method of compressing and processing multiple input data
JP2012000165A (ja) * 2010-06-14 2012-01-05 Sega Corp ビデオゲーム装置
EP2431844B1 (en) * 2010-08-27 2013-05-08 Tangiamo AB Correlated sensor system
KR20120046973A (ko) * 2010-11-03 2012-05-11 삼성전자주식회사 움직임 정보 생성 방법 및 장치
CN102478960B (zh) * 2010-11-29 2015-11-18 国际商业机器公司 人机交互设备以及将该设备用于虚拟世界的装置和方法
US20120182431A1 (en) * 2011-01-18 2012-07-19 Asanov Pavel Method and apparatus for sharing a physical activity between several people
US9098731B1 (en) 2011-03-22 2015-08-04 Plickers Inc. Optical polling platform methods, apparatuses and media
US20130127620A1 (en) 2011-06-20 2013-05-23 Cerner Innovation, Inc. Management of patient fall risk
US10546481B2 (en) 2011-07-12 2020-01-28 Cerner Innovation, Inc. Method for determining whether an individual leaves a prescribed virtual perimeter
US9489820B1 (en) 2011-07-12 2016-11-08 Cerner Innovation, Inc. Method for determining whether an individual leaves a prescribed virtual perimeter
US9741227B1 (en) 2011-07-12 2017-08-22 Cerner Innovation, Inc. Method and process for determining whether an individual suffers a fall requiring assistance
US9606209B2 (en) 2011-08-26 2017-03-28 Kineticor, Inc. Methods, systems, and devices for intra-scan motion correction
JP5862143B2 (ja) * 2011-09-15 2016-02-16 オムロン株式会社 ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体
JP2013065112A (ja) * 2011-09-15 2013-04-11 Omron Corp ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US20140307920A1 (en) * 2013-04-12 2014-10-16 David Holz Systems and methods for tracking occluded objects in three-dimensional space
JP5686108B2 (ja) * 2012-02-24 2015-03-18 株式会社ダイフク 誤作業防止装置および誤作業防止装置が設けられた仕分け設備
TWI557685B (zh) * 2012-05-23 2016-11-11 雲南恆達睿創三維數字科技有限公司 網格動畫製作方法
TW201401183A (zh) * 2012-06-18 2014-01-01 tian-xiang Chen 深度攝影的人臉或頭部偵測方法
CN104428107B (zh) * 2012-07-10 2016-06-29 西门子公司 机器人布置和用于控制机器人的方法
WO2014051584A1 (en) * 2012-09-27 2014-04-03 Empire Technology Development, Llc Character model animation using stored recordings of player movement interface data
US9836863B2 (en) * 2012-10-15 2017-12-05 Disney Enterprises, Inc. Method and system for visualization of athletes
CN102968615B (zh) * 2012-10-25 2015-11-25 上海威镜信息科技有限公司 一种具有密集人流中的抗干扰功能的三维人体数据识别方法
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US9304603B2 (en) * 2012-11-12 2016-04-05 Microsoft Technology Licensing, Llc Remote control using depth camera
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9626015B2 (en) 2013-01-08 2017-04-18 Leap Motion, Inc. Power consumption in motion-capture systems with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
WO2014120734A1 (en) 2013-02-01 2014-08-07 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
US9866900B2 (en) 2013-03-12 2018-01-09 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to detect shapes
US20140267611A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Runtime engine for analyzing user motion in 3d images
WO2014200589A2 (en) 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9234742B2 (en) * 2013-05-01 2016-01-12 Faro Technologies, Inc. Method and apparatus for using gestures to control a laser tracker
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
KR102060129B1 (ko) 2013-08-05 2019-12-27 삼성전자주식회사 다면 센싱을 이용한 동작 인식방법 및 장치
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
TWI537767B (zh) 2013-10-04 2016-06-11 財團法人工業技術研究院 可調體感範圍之多人指引系統與其方法
US20150103184A1 (en) * 2013-10-15 2015-04-16 Nvidia Corporation Method and system for visual tracking of a subject for automatic metering using a mobile device
US10096223B1 (en) 2013-12-18 2018-10-09 Cerner Innovication, Inc. Method and process for determining whether an individual suffers a fall requiring assistance
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US9729833B1 (en) 2014-01-17 2017-08-08 Cerner Innovation, Inc. Method and system for determining whether an individual takes appropriate measures to prevent the spread of healthcare-associated infections along with centralized monitoring
US10078956B1 (en) 2014-01-17 2018-09-18 Cerner Innovation, Inc. Method and system for determining whether an individual takes appropriate measures to prevent the spread of healthcare-associated infections
US10225522B1 (en) 2014-01-17 2019-03-05 Cerner Innovation, Inc. Method and system for determining whether an individual takes appropriate measures to prevent the spread of healthcare-associated infections
US10004462B2 (en) 2014-03-24 2018-06-26 Kineticor, Inc. Systems, methods, and devices for removing prospective motion correction from medical imaging scans
EP3188660A4 (en) 2014-07-23 2018-05-16 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
US20160110593A1 (en) * 2014-10-17 2016-04-21 Microsoft Corporation Image based ground weight distribution determination
US20160125638A1 (en) * 2014-11-04 2016-05-05 Dassault Systemes Automated Texturing Mapping and Animation from Images
US10090068B2 (en) 2014-12-23 2018-10-02 Cerner Innovation, Inc. Method and system for determining whether a monitored individual's hand(s) have entered a virtual safety zone
US10524722B2 (en) 2014-12-26 2020-01-07 Cerner Innovation, Inc. Method and system for determining whether a caregiver takes appropriate measures to prevent patient bedsores
US10091463B1 (en) 2015-02-16 2018-10-02 Cerner Innovation, Inc. Method for determining whether an individual enters a prescribed virtual zone using 3D blob detection
US10019806B2 (en) * 2015-04-15 2018-07-10 Sportsmedia Technology Corporation Determining x,y,z,t biomechanics of moving actor with multiple cameras
US10342478B2 (en) 2015-05-07 2019-07-09 Cerner Innovation, Inc. Method and system for determining whether a caretaker takes appropriate measures to prevent patient bedsores
US9892611B1 (en) * 2015-06-01 2018-02-13 Cerner Innovation, Inc. Method for determining whether an individual enters a prescribed virtual zone using skeletal tracking and 3D blob detection
GB201512283D0 (en) * 2015-07-14 2015-08-19 Apical Ltd Track behaviour events
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US9672428B2 (en) * 2015-09-11 2017-06-06 Disney Enterprises, Inc. Systems and methods for detecting free-standing groups of individuals
US10007339B2 (en) * 2015-11-05 2018-06-26 Oculus Vr, Llc Controllers with asymmetric tracking patterns
GB201520367D0 (en) * 2015-11-19 2016-01-06 Bespoke Vr Ltd Editing interactive motion capture data for creating the interaction characteristics of non player characters
US10716515B2 (en) 2015-11-23 2020-07-21 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10878220B2 (en) 2015-12-31 2020-12-29 Cerner Innovation, Inc. Methods and systems for assigning locations to devices
CN105718052B (zh) 2016-01-18 2018-09-11 京东方科技集团股份有限公司 一种纠正体感交互追踪失败的指示方法及装置
US9805274B2 (en) * 2016-02-03 2017-10-31 Honda Motor Co., Ltd. Partially occluded object detection using context and depth ordering
JP6575400B2 (ja) * 2016-03-02 2019-09-18 富士通株式会社 指先位置推定装置、操作判定装置、指先位置推定システム、指先位置推定プログラム及び指先位置推定方法
US11511156B2 (en) 2016-03-12 2022-11-29 Arie Shavit Training system and methods for designing, monitoring and providing feedback of training
US10147184B2 (en) 2016-12-30 2018-12-04 Cerner Innovation, Inc. Seizure detection
US20190079591A1 (en) * 2017-09-14 2019-03-14 Grabango Co. System and method for human gesture processing from video input
US10643446B2 (en) 2017-12-28 2020-05-05 Cerner Innovation, Inc. Utilizing artificial intelligence to detect objects or patient safety events in a patient room
US10482321B2 (en) 2017-12-29 2019-11-19 Cerner Innovation, Inc. Methods and systems for identifying the crossing of a virtual barrier
US10520407B2 (en) 2018-03-01 2019-12-31 Saudi Arabian Oil Company Nano-indentation tests to characterize hydraulic fractures
CN108829233B (zh) * 2018-04-26 2021-06-15 深圳市同维通信技术有限公司 一种交互方法及装置
US10636118B2 (en) 2018-06-25 2020-04-28 Microsoft Technology Licensing, Llc Input scaling to keep controller inside field of view
WO2020061087A1 (en) * 2018-09-20 2020-03-26 Ocelot Laboratories Llc Method and device for attenuation of co-user interactions in simulated reality (sr) space
US10922936B2 (en) 2018-11-06 2021-02-16 Cerner Innovation, Inc. Methods and systems for detecting prohibited objects
TWI715903B (zh) * 2018-12-24 2021-01-11 財團法人工業技術研究院 動作追蹤系統及方法
US10867502B1 (en) 2019-09-12 2020-12-15 Toshiba Global Commerce Solutions Holdings Corporation Method and apparatus for reuniting group members in a retail store
JP2021087580A (ja) * 2019-12-03 2021-06-10 株式会社スクウェア・エニックス ゲーム装置、ゲーム処理方法及びプログラム
TWI736083B (zh) 2019-12-27 2021-08-11 財團法人工業技術研究院 動作預測的方法及系統
TWI763208B (zh) * 2020-12-25 2022-05-01 宏碁股份有限公司 聲音訊號處理方法及電子裝置
US20230103161A1 (en) * 2021-09-24 2023-03-30 Apple Inc. Devices, methods, and graphical user interfaces for tracking mitigation in three-dimensional environments

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW449490B (en) * 1999-09-14 2001-08-11 Kim Woon Yong Video game apparatus and method of controlling the same
TWI266248B (en) * 2004-01-16 2006-11-11 Sony Computer Entertainment Inc Method and apparatus for optimizing capture device settings through depth information
TWI294090B (zh) * 2005-01-04 2008-03-01 Pixart Imaging Inc
TW201000179A (en) * 2008-06-25 2010-01-01 Cywee Group Ltd Electron game control device and method capable of sensing the image of user's body

Family Cites Families (202)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) * 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) * 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) * 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) * 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) * 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) * 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US5508731A (en) * 1986-03-10 1996-04-16 Response Reward Systems L.C. Generation of enlarged participatory broadcast audience
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) * 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) * 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) * 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) * 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) * 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) * 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) * 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) * 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) * 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) * 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) * 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) * 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) * 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) * 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) * 1990-02-13 1991-10-29
US5101444A (en) * 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) * 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) * 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) * 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) * 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) * 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
CA2101633A1 (en) 1991-12-03 1993-06-04 Barry J. French Interactive video testing and training system
US5210604A (en) * 1991-12-10 1993-05-11 Carpenter Loren C Method and apparatus for audience participation by electronic imaging
US5365266A (en) * 1991-12-10 1994-11-15 Carpenter Loren C Video imaging method and apparatus for audience participation
US5875108A (en) * 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) * 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) * 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) * 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) * 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) * 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) * 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) * 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) * 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) * 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) * 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) * 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) * 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) * 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) * 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) * 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) * 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) * 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) * 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) * 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5704836A (en) * 1995-03-23 1998-01-06 Perception Systems, Inc. Motion-based command generation technology
US5682229A (en) * 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) * 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US5682196A (en) * 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) * 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6430997B1 (en) * 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) * 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6098458A (en) * 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) * 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) * 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
WO1997041925A1 (en) * 1996-05-08 1997-11-13 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) * 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5793382A (en) * 1996-06-10 1998-08-11 Mitsubishi Electric Information Technology Center America, Inc. Method for smooth motion in a distributed virtual reality environment
US5989157A (en) * 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
CN1168057C (zh) * 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的***
JP3064928B2 (ja) * 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
EP0849697B1 (en) * 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US5993314A (en) * 1997-02-10 1999-11-30 Stadium Games, Ltd. Method and apparatus for interactive audience participation by audio command
US6009210A (en) * 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) * 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) * 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6256046B1 (en) 1997-04-18 2001-07-03 Compaq Computer Corporation Method and apparatus for visual sensing of humans for active public interfaces
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) * 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6101289A (en) * 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6130677A (en) * 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
WO1999019828A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6384819B1 (en) 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6181343B1 (en) * 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
EP1059970A2 (en) 1998-03-03 2000-12-20 Arena, Inc, System and method for tracking and assessing movement skills in multidimensional space
US6159100A (en) * 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) * 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
US6661918B1 (en) 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
EP2026035A2 (en) 1998-12-16 2009-02-18 3DV Systems Ltd. 3D camera for distance measurements
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6512838B1 (en) 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6554706B2 (en) * 2000-05-31 2003-04-29 Gerard Jounghyun Kim Methods and apparatus of displaying and evaluating motion data in a motion game apparatus
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US20020075305A1 (en) 2000-12-18 2002-06-20 Beaton Brian F. Graphical user interface for a virtual team environment
US7937285B2 (en) 2001-04-12 2011-05-03 Massachusetts Institute Of Technology Remote collaborative control and direction
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
JP2005505357A (ja) * 2001-10-10 2005-02-24 ソニー・コンピュータ・エンタテインメント・アメリカ・インク ゲーム環境におけるキャラクタによりゲーム情報を提供するための方法
US7130446B2 (en) 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
ATE321689T1 (de) 2002-04-19 2006-04-15 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US9474968B2 (en) * 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US7782297B2 (en) * 2002-07-27 2010-08-24 Sony Computer Entertainment America Inc. Method and apparatus for use in determining an activity level of a user in relation to a system
US8570378B2 (en) * 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US20090143141A1 (en) 2002-08-06 2009-06-04 Igt Intelligent Multiplayer Gaming System With Multi-Touch Display
CN1610519A (zh) 2002-09-19 2005-04-27 松下电器产业株式会社 身体运动评价装置及身体运动评价***
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US7257237B1 (en) * 2003-03-07 2007-08-14 Sandia Corporation Real time markerless motion tracking using linked kinematic chains
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
JP2004329463A (ja) * 2003-05-06 2004-11-25 Nintendo Co Ltd ゲーム装置および仮想カメラの制御プログラム
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
JP4546956B2 (ja) 2003-06-12 2010-09-22 本田技研工業株式会社 奥行き検出を用いた対象の向きの推定
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
WO2005104010A2 (en) 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
JP3880008B2 (ja) * 2004-12-21 2007-02-14 株式会社光栄 キャラクタ集団移動制御プログラム、記憶媒体及びゲーム装置
US7853041B2 (en) 2005-01-07 2010-12-14 Gesturetek, Inc. Detecting and tracking objects in images
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
US7379566B2 (en) 2005-01-07 2008-05-27 Gesturetek, Inc. Optical flow based tilt sensor
JP5631535B2 (ja) 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
WO2006099597A2 (en) 2005-03-17 2006-09-21 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
US20060258457A1 (en) 2005-04-22 2006-11-16 Brigham Thomas C Enhancement of collective experience
JP5038296B2 (ja) 2005-05-17 2012-10-03 クアルコム，インコーポレイテッド 方位感受性信号出力
JP4711223B2 (ja) * 2005-08-02 2011-06-29 株式会社セガ 画像生成プログラム、記憶媒体、画像処理方法及び画像処理装置
DE602005010696D1 (de) 2005-08-12 2008-12-11 Mesa Imaging Ag Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
CA2751707C (en) 2005-11-18 2014-07-08 Accenture Global Services Gmbh Multiple target detection and application state navigation system
US7599520B2 (en) * 2005-11-18 2009-10-06 Accenture Global Services Gmbh Detection of multiple targets on a plane of interest
JP5089060B2 (ja) * 2006-03-14 2012-12-05 株式会社ソニー・コンピュータエンタテインメント エンタテインメントシステムおよびゲームコントローラ
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
EP2050067A1 (en) 2006-08-03 2009-04-22 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
EP2613281B1 (en) * 2006-12-29 2014-08-13 Qualcomm Incorporated Manipulation of virtual objects using enhanced interactive system
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US20080220878A1 (en) * 2007-02-23 2008-09-11 Oliver Michaelis Method and Apparatus to Create or Join Gaming Sessions Based on Proximity
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US8218811B2 (en) 2007-09-28 2012-07-10 Uti Limited Partnership Method and system for video interaction based on motion swarms
EP2203893A4 (en) 2007-10-30 2014-05-07 Hewlett Packard Development Co INTERACTIVE DISPLAY SYSTEM WITH GROUP GESTURE DETECTION
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US20100037273A1 (en) 2008-08-07 2010-02-11 Brian Dressel Interactive video presentation
US9399167B2 (en) 2008-10-14 2016-07-26 Microsoft Technology Licensing, Llc Virtual space mapping of a variable activity region
US20100201693A1 (en) 2009-02-11 2010-08-12 Disney Enterprises, Inc. System and method for audience participation event with digital avatars
US8953029B2 (en) * 2009-05-08 2015-02-10 Sony Computer Entertainment America Llc Portable device interaction via motion sensitive controller
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8933884B2 (en) 2010-01-15 2015-01-13 Microsoft Corporation Tracking groups of users in motion capture system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW449490B (en) * 1999-09-14 2001-08-11 Kim Woon Yong Video game apparatus and method of controlling the same
TWI266248B (en) * 2004-01-16 2006-11-11 Sony Computer Entertainment Inc Method and apparatus for optimizing capture device settings through depth information
TWI294090B (zh) * 2005-01-04 2008-03-01 Pixart Imaging Inc
TW201000179A (en) * 2008-06-25 2010-01-01 Cywee Group Ltd Electron game control device and method capable of sensing the image of user's body

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI638278B (zh) * 2016-04-13 2018-10-11 芋頭科技(杭州)有限公司 一種即時手勢檢測的在線驗證方法及系統
TWI767307B (zh) * 2020-08-27 2022-06-11 孕龍科技股份有限公司 遊戲把手之訊號轉換裝置

Also Published As

Publication number Publication date
CN102129293A (zh) 2011-07-20
WO2011087887A2 (en) 2011-07-21
TW201143866A (en) 2011-12-16
WO2011087887A3 (en) 2011-11-03
US8933884B2 (en) 2015-01-13
US20110175809A1 (en) 2011-07-21
US7961174B1 (en) 2011-06-14
CN102129293B (zh) 2014-06-18

Similar Documents

Publication Publication Date Title
TWI469813B (zh) 在動作擷取系統中追踪使用者群組
JP7181316B2 (ja) Ｈｍｄ環境での高速中心窩レンダリングのための予測及びｇｐｕに対する最新の更新を伴う視線追跡
US8660310B2 (en) Systems and methods for tracking a model
US9195305B2 (en) Recognizing user intent in motion capture system
CN105073210B (zh) 使用深度图像的用户身体角度、曲率和平均末端位置提取
US9824260B2 (en) Depth image processing
JP5981990B2 (ja) 全自動動的有関節モデル較正
JP5739872B2 (ja) モーションキャプチャにモデルトラッキングを適用するための方法及びシステム
US9245177B2 (en) Limiting avatar gesture display
US20100302253A1 (en) Real time retargeting of skeletal data to game avatar
US20110109617A1 (en) Visualizing Depth
TW201546658A (zh) 人體追蹤系統
EP2956909B1 (en) User center-of-mass and mass distribution extraction using depth images
CN107077730A (zh) 基于剪影的肢寻找器确定

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees