TW202113555A - 具有滑動選單的人工實境系統 - Google Patents

具有滑動選單的人工實境系統 Download PDF

Info

Publication number
TW202113555A
TW202113555A TW109118659A TW109118659A TW202113555A TW 202113555 A TW202113555 A TW 202113555A TW 109118659 A TW109118659 A TW 109118659A TW 109118659 A TW109118659 A TW 109118659A TW 202113555 A TW202113555 A TW 202113555A
Authority
TW
Taiwan
Prior art keywords
menu
artificial reality
hand
gesture
reality system
Prior art date
Application number
TW109118659A
Other languages
English (en)
Inventor
強納森 拉瓦斯
賈斯柏 史帝芬斯
亞當 瓦爾加
艾蒂安 蘋尚
西蒙 提克納
珍妮弗 沙史柏拉克
圖密 凱爾 沙爾居
羅伯特 艾利斯
巴列特 福克斯
Original Assignee
美商菲絲博克科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商菲絲博克科技有限公司 filed Critical 美商菲絲博克科技有限公司
Publication of TW202113555A publication Critical patent/TW202113555A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明描述一種人工實境系統，其在一人工實境環境內顯現、呈現及控制使用者介面元素，且回應於使用者之一或多個偵測到之手勢而進行動作。該人工實境系統可包括可使用一個手部予以激活且與其互動的一選單。回應於偵測到使用一個手部進行之一選單激活手勢，該人工實境系統可顯現一選單。該手部之一選單滑動手勢（例如，水平運動）可用於使一可滑動接合的使用者介面（UI）元素沿該選單之一水平維度移動，同時該UI選單之水平定位保持不變。與該選單滑動手勢正交的該手部之運動（例如，非水平運動）可使得該選單重新定位。該人工實境系統之實施方案不需要使用兩隻手部或使用其他輸入裝置來與該人工實境系統互動。

Description

具有滑動選單的人工實境系統
本發明大體上係關於人工實境系統，諸如虛擬實境、混合實境及/或擴增實境系統，且更特定言之，係關於人工實境系統之使用者介面。
人工實境系統在諸如電腦遊戲、健康及安全、工業以及教育之許多領域中的應用正變得愈來愈普遍。作為幾個實例，人工實境系統正併入行動裝置、遊戲控制台、個人電腦、電影院及主題公園中。一般而言，人工實境為在呈現給使用者之前已以某一方式調整的實境形式，其可包括例如虛擬實境（virtual reality；VR）、擴增實境（augmented reality；AR）、混合實境（mixed reality；MR）、混雜實境或其某一組合及/或衍生物。
典型的人工實境系統包括用於向使用者顯現及顯示內容的一或多個裝置。作為一個實例，人工實境系統可併有由使用者穿戴且經組態以將人工實境內容輸出至使用者之頭戴式顯示器（head mounted display；HMD）。人工實境內容可包括完全產生之內容或與所俘獲內容（例如，真實世界視訊及/或影像）組合的所產生之內容。在操作期間，使用者典型地與人工實境系統互動以選擇內容、啟動應用程式或以其他方式組態系統。
一般而言，本發明描述人工實境系統，且更具體而言，描述用於在人工實境環境內呈現及控制使用者介面元素之圖形使用者介面元素及技術。
舉例而言，描述回應於偵測到使用者之一或多個預定義手勢而產生及顯現圖形使用者介面元素以用於向使用者顯示之人工實境系統，該等預定義手勢諸如使用者之手部、手指、拇指或手臂之特定運動、組態、位置及/或定向，或預定義手勢之組合。在一些實例中，人工實境系統可進一步回應於偵測到特定手勢與其他條件之組合而觸發圖形使用者介面元素之產生及顯現，該等其他條件諸如實體環境中特定手勢相對於使用者之當前視場（其可藉由使用者之即時視線追蹤而判定）或相對於使用者所穿戴之HMD之姿勢的位置及定向。
在一些實例中，人工實境系統可產生圖形使用者介面元素且將其呈現為相對於當前在人工實境系統之顯示器內顯現之人工實境內容之覆疊元素。圖形使用者介面元素可例如為：圖形使用者介面，諸如選單或子選單，使用者與其互動以操作人工實境系統；或可由使用者選擇及操縱的個別圖形使用者介面元素，諸如切換元素、下拉元素、選單選擇元素、二維或三維形狀、圖形輸入鍵或鍵盤、內容顯示視窗及其類似者。
一些HMD的技術問題為缺少可用於與人工實境系統之各種態樣互動的輸入裝置，例如用於定位選單內之選擇使用者介面元素的輸入裝置。在一些系統中，人工實境系統可使用使用者之兩隻手部來為使用者提供與選單或圖符（icon）之互動。然而，此類型互動的技術問題係一個手部可遮擋另一手部，從而使得人工實境系統難以準確地判定使用者之意圖。另外，一些使用者可患有使其無法使用兩隻手部來與人工實境系統互動的殘疾。作為前述技術問題的技術解決方案，一些態樣包括可使用一個手部激活且與其互動的選單。回應於偵測到使用一個手部進行之選單激活手勢，該人工實境系統可顯現選單。該手部之選單滑動手勢（例如，水平運動）可用於使可滑動接合的使用者介面（UI）元素沿該選單之水平維度移動，同時該選單之水平定位保持不變。在一些態樣中，與該選單滑動手勢實質上正交的該手部之運動（例如，非水平運動）可使得該選單重新定位。人工實境系統之實施方案不需要使用兩隻手部或使用其他輸入裝置來與人工實境系統互動，且由此，此優於習知人工實境實施方案之技術改良可提供一或多個實際應用，諸如提供易用性，提供患有與使用一個手部有關之殘疾的人員與系統互動的能力，以及準確地判定使用者與選單或其他使用者介面元素之互動的能力。
在一或多個實例態樣中，一種人工實境系統包括：影像俘獲裝置，其經組態以俘獲影像資料；頭戴式裝置（HMD），其經組態以輸出人工實境內容；手勢偵測器，其經組態以自該影像資料識別選單激活手勢，該選單激活手勢包含手部之如下組態：該手部呈實質上翹（upturned）定向且該手部之拇指及手指呈捏合（pinching）組態；UI引擎，其經組態以回應於該選單激活手勢而產生選單介面以及在相對於該選單介面之第一位置處的可滑動接合的UI元素；以及顯現引擎，其經組態以顯現該人工實境內容、該選單介面及該可滑動接合的UI元素以供在該HMD處顯示。
在一或多個其他實例態樣中，一種方法包括：藉由包括頭戴式裝置（HMD）之人工實境系統經由影像俘獲裝置以獲得影像資料；藉由該人工實境系統自該影像資料識別選單激活手勢，該選單激活手勢包含手部之如下組態：該手部呈實質上翹定向且該手部之拇指及手指呈捏合組態；藉由該人工實境系統回應於該選單激活手勢而產生選單介面以及在相對於該選單介面之第一位置處的可滑動接合的UI元素；以及藉由該人工實境系統顯現人工實境內容、該選單介面及該可滑動接合的UI元素以供在該HMD處顯示。
在一或多個額外實例態樣中，一種非暫時性電腦可讀取媒體包含在經執行時使得人工實境系統之一或多個處理器進行以下操作的指令：經由影像俘獲裝置來俘獲影像資料；自該影像資料識別選單激活手勢，該選單激活手勢包含該手部之組態；回應於該選單激活手勢，產生選單介面以及在相對於該選單介面之第一位置處的可滑動接合的UI元素；在該選單激活手勢之後，識別選單滑動手勢，該選單滑動手勢包含該手部之該組態與該手部之運動的組合；回應於該選單滑動手勢，將該可滑動接合的UI元素平移至相對於該選單介面之第二位置；以及顯現人工實境內容、該選單介面及該可滑動接合的UI元素以供在頭戴式裝置（HMD）處顯示。
本發明之技術之一或多個實例之細節闡述於隨附圖式及以下描述中。該等技術之其他特徵、目標及優點將自該描述及該等圖式以及自申請專利範圍顯而易見。
圖1A為描繪根據本發明之技術的實例人工實境系統10之圖示，該人工實境系統呈現及控制人工實境環境內之使用者介面元素。在一些實例實施方案中，人工實境系統10回應於由使用者110進行之一或多個所偵測到的手勢而產生圖形使用者介面元素且將其顯現給使用者110。亦即，如本文中所描述，人工實境系統10回應於偵測到由使用者110進行之一或多個特定手勢（諸如使用者之手部、手指、拇指或手臂之特定運動、組態、方位及/或定向）而呈現一或多個圖形使用者介面元素124、126。在其他實例中，人工實境系統10呈現及控制專門設計用於人工實境環境內之使用者互動及操縱之使用者介面元素，諸如專用切換元素、下拉元素、選單選擇元素、圖形輸入鍵或鍵盤、內容顯示視窗及其類似者。
在圖1A之實例中，人工實境系統10包括頭戴式裝置（HMD）112、控制台106及（在一些實例中）一或多個外部感測器90。如所展示，HMD 112典型地由使用者110穿戴且包括用於向使用者110呈現人工實境內容122之電子顯示器及光學總成。另外，HMD 112包括用於追蹤HMD 112之運動的一或多個感測器（例如，加速計），且可包括用於俘獲周圍實體環境之影像資料之一或多個影像俘獲裝置138，例如攝影機、線掃描器及其類似者。在此實例中，控制台106展示為單一計算裝置，諸如遊戲控制台、工作站、桌上型電腦或膝上型電腦。在其他實例中，控制台106可跨越諸如分散式計算網路、資料中心或雲端計算系統之複數個計算裝置而分散。如此實例中所展示，控制台106、HMD 112及感測器90可經由網路104以通信方式耦接，該網路104可為有線或無線網路，諸如WiFi、網狀網路或短程無線通信媒體。儘管HMD 112在此實例中展示為與控制台106通信，例如繫鏈至該控制台或與該控制台無線通信，但在一些實施方案中，HMD 112用作獨立的行動人工實境系統。
一般而言，人工實境系統10使用自真實世界之3D實體環境所俘獲的資訊以顯現人工實境內容122，以供向使用者110顯示。在圖1A之實例中，使用者110觀看藉由在控制台106及/或HMD 112上所執行之人工實境應用程式加以建構及顯現之人工實境內容122。作為一個實例，人工實境內容122可為消費者遊戲應用程式，其中使用者110顯現為具有一或多個虛擬物體128A、128B之化身120。在一些實例中，人工實境內容122可包含真實世界影像與虛擬物體之混合，例如混合實境及/或擴增實境。在其他實例中，人工實境內容122可為例如視訊會議應用程式、導航應用程式、教學應用程式、訓練或模擬應用程式，或實施人工實境之其他類型之應用程式。
在操作期間，人工實境應用程式藉由追蹤及計算參考座標（典型為HMD 112之觀看視角）之姿勢資訊來建構人工實境內容122以供向使用者110顯示。使用HMD 112作為參考座標且基於如藉由HMD 112之當前所估計姿勢所判定之當前的視場130，人工實境應用程式顯現3D人工實境內容，其在一些實例中可至少部分地覆疊於使用者110之真實世界之3D實體環境上。在此過程期間，人工實境應用程式使用自HMD 112所接收的感測到之資料（諸如移動資訊及使用者命令），且在一些實例中使用來自任何外部感測器90（諸如外部攝影機）之資料來俘獲在真實世界之實體環境內之3D資訊，諸如使用者110之運動及/或關於使用者110之特徵追蹤資訊。基於感測到之資料，人工實境應用程式針對HMD 112之參考座標來判定當前姿勢，且根據當前姿勢來顯現人工實境內容122。
此外，根據本發明之技術，基於感測到的資料，人工實境應用程式偵測由使用者110進行之手勢，且回應於偵測到一或多個特定手勢而產生一或多個使用者介面元素，例如UI選單124及UI元素126，其可覆疊於經呈現給使用者之底層的人工實境內容122上。就此而言，使用者介面元素124、126可被視為在人工實境環境中呈現給使用者之人工實境內容122之部分。以此方式，人工實境系統10回應於偵測到使用者110之一或多個特定手勢（諸如使用者之手部、手指、拇指或手臂之特定運動、組態、位置及/或定向）而動態地呈現一或多個圖形的使用者介面元素124、126。使用者之手部之實例組態可包括拳頭、伸展之一或多個指頭（digit）、手部之個別指頭中之一或多者之相對及/或絕對位置及定向、手部之手掌之形狀等。使用者介面元素可例如為：圖形使用者介面，諸如選單或子選單，使用者110與其互動以操作人工實境系統；或可由使用者110選擇及操縱之個別使用者介面元素，諸如圖符元素、切換元素、下拉元素、選單選擇元素、二維或三維形狀、圖形輸入鍵或鍵盤、內容顯示視窗及其類似者。儘管描繪為例如二維元素，但UI元素126可為二維或三維形狀，其可由進行手勢之使用者操縱以在人工實境環境中平移、縮放及/或旋轉該形狀。
此外，如本文中所描述，在一些實例中，人工實境系統10可回應於其他條件而觸發圖形使用者介面元素124、126之產生及顯現，該等其他條件諸如藉由系統所執行之一或多個應用程式之當前狀態或實體環境中特定偵測到之手勢相對於使用者110之當前的視場130（如可藉由使用者之即時視線追蹤判定）之位置及定向，或其他條件。
更具體而言，如本文中進一步所描述，HMD 112之影像俘獲裝置138俘獲影像資料，其表示真實世界實體環境中的在影像俘獲裝置138之視場130內的物體。視場130典型地與HMD 112之觀看視角一致。在諸如圖1A之所說明實例的一些實例中，人工實境應用程式將使用者110之手部132在視場130內之部分顯現為人工實境內容122內之虛擬手部136。在其他實例中，人工實境應用程式可在包含混合實境及/或擴增實境之人工實境內容122內呈現使用者110之手部132及/或手臂134之真實世界影像。在任一實例中，使用者110能夠將其手部132及/或手臂134在視場130內之部分作為人工實境內容122內之物體觀看。在其他實例中，人工實境應用程式可能無法顯現使用者之手部132或手臂134之表示。
在任何情況下，在操作期間，人工實境系統10在由HMD 112之影像俘獲裝置138所俘獲之影像資料內進行物體辨識，以識別使用者110之手部132（包括視情況識別個別手指或拇指）及/或手臂134之全部或部分。另外，人工實境系統10經由滑動時間滑動視窗來追蹤手部132（視需要包括手部之特定指頭）及/或手臂134之部分之位置、定向及組態。人工實境應用程式分析手部132及/或手臂134之部分的任何經追蹤運動、組態、位置及/或定向，以識別由特定物體、例如由使用者110之手部132（包括手部之特定指頭）及/或手臂134之部分、進行之一或多個手勢。為了偵測手勢，人工實境應用程式可將手部132及/或手臂134之部分之運動、組態、位置及/或定向與儲存於人工實境系統10之手勢庫中之手勢定義進行比較，其中手勢庫中之每一手勢可映射至一或多個動作。在一些實例中，偵測移動可包括追蹤手部132之指頭（個別手指及拇指）中之一或多者之位置，包括所定義組合之指頭（諸如食指及拇指）中之任一者是否聚集在一起以在實體環境中觸碰或近似觸碰。在其他實例中，偵測移動可包括追蹤相對於HMD 112之當前姿勢之手部132之定向（例如，手指指向HMD 112或遠離HMD 112）及/或手臂134之定向（亦即，手臂之法線面朝向HMD 112）。手部132（或其部分）之位置及定向可替代地被稱為手部132（或其部分）之姿勢。
此外，人工實境應用程式可分析手部132及/或手臂134之組態、位置及/或定向以識別手勢，該手勢包括手部132及/或手臂134在至少臨限時段內保持處於一或多個特定組態、位置及/或定向。作為實例，手部132及/或手臂134在至少可組態時段內而在視場130內保持實質上靜止的一或多個特定位置可由人工實境系統10用作以下指示：使用者110嘗試進行意欲觸發人工實境應用程式之所要回應（諸如觸發特定類型之使用者介面元素124、126（諸如選單）之顯示）之手勢。作為另一實例，手部132之手指及/或手掌及/或手臂134在至少可組態時段內而在視場130內保持之一或多個特定組態可由人工實境系統10用作使用者110嘗試進行手勢之指示。儘管在圖1A中僅說明使用者110之右手132及右臂134，但在其他實例中，人工實境系統10可識別使用者110之左手及/或左臂，或使用者110之右手及左手兩者及/或右臂及左臂兩者。以此方式，人工實境系統10可偵測實體環境內藉由任一手部進行之單手手勢、雙手手勢或基於手臂之手勢，且回應於偵測到之手勢而產生相關聯的使用者介面元素。
根據本發明之技術，人工實境應用程式判定所識別手勢是否對應於由控制台106及/或HMD 112之手勢庫中之複數個條目中之一者所定義之手勢。如下文更詳細地描述，手勢庫中之條目中之每一者可將不同手勢定義為使用者之手部、指頭（手指或拇指）及/或手臂隨時間推移之特定運動、組態、位置及/或定向，或此類性質之組合。此外，所定義手勢中之每一者可與呈待由人工實境應用程式進行之一或多個動作形式之所要回應相關聯。作為一個實例，手勢庫中之所定義手勢中之一或多者可觸發待顯現及覆疊於人工實境內容122上之一或多個使用者介面元素（例如UI選單124）之產生、變換及/或組態，其中手勢可定義人工實境內容122中之UI選單124之方位及/或定向。作為另一實例，所定義手勢中之一或多者可指示使用者110與特定使用者介面元素之互動（例如UI選單124之UI元素126之選擇）以觸發對所呈現使用者介面之改變、所呈現使用者介面之子選單之呈現或其類似者。
在一些態樣中，人工實境應用程式可分析手部132及/或手臂134之組態、位置及/或定向以識別選單激活手勢，其包括手部132在至少臨限時段內保持處於特定組態及定向。在一些態樣中，選單激活手勢可例如為手部保持處於實質上向上位置同時該手部之手指及拇指呈捏合（pinching）組態。在一些態樣中，選單激活手勢可包含手部之定位成捏合組態之手指及拇指，與手部之定向無關。選單滑動手勢可使得根據使用者手部移動之虛擬手部沿UI選單124之一維度滑動，同時選單在滑動方向上保持靜止。選單滑動手勢除外在各方向上之運動可使UI選單124基於該運動而重新定位。作為實例，選單滑動手勢可為使用者的手部132在維持選單激活手勢的同時在水平方向上之運動。虛擬手部136可在選單在水平方向上保持靜止時沿水平維度移動。在一些實例中，除了虛擬手部136或代替虛擬手部136，人工實境應用程式亦產生可滑動接合的UI元素（圖1中未示出）。在豎直方向上的移動可使UI選單124重新定位。
若使用者將進行選擇手勢，而不進一步進行選單滑動手勢以將虛擬手部136滑動至例如靠近UI選單124之另一選單項目的另一位置，則維持選單激活手勢時的選單滑動手勢可使得人工實境應用程式顯現UI選單124之特定選單項目將被選定的指示。該特定選單經起動以供由使用者選擇。該指示可為：虛擬手部136或可滑動接合的UI元素之位置靠近該選單項目；例如用不同顏色突顯該選單項目；放大該選單項目；或某一其他指示。
因此，本發明之技術提供對人工實境系統之內容顯現及顯示之電腦相關領域的特定技術改良。舉例而言，如本文中所描述之人工實境系統可藉由基於由使用者進行之直觀而獨特之手勢之偵測來產生及顯現覆疊於人工實境內容上之使用者介面元素，而向人工實境應用程式之使用者（諸如使用者110）提供高品質的人工實境體驗。更具體而言，該等技術可為使用者提供呈手勢形式的直觀使用者輸入，使用者可藉由該等手勢來激活選單介面，且隨後沿該選單之一維度來平移可滑動接合的UI元素或經起動以供由使用者選擇的選單項目之其他指示。
此外，如本文所描述之系統可經組態以基於經定義以避免追蹤遮擋的手部及手臂移動來偵測某些手勢。追蹤遮擋可發生在使用者之一個手部至少部分地重疊另一手部時，從而使得難以準確地追蹤每一手部上之個別指頭（手指及拇指），以及每一手部之位置及定向。因此，如本文所描述之系統可經組態以主要偵測基於單手或單臂之手勢。基於單手或單臂之手勢之使用可進一步為具有較大及精細運動技能限制之使用者提供增強之可利用性。另外，如本文所描述之系統可經組態以偵測基於雙手或雙臂之手勢，其中使用者之手部不互動或彼此不重疊。
另外，如本文所描述之系統可經組態以偵測向使用者提供自身觸覺反饋之手勢。舉例而言，使用者之每一手部上之拇指與一或多個手指可在實體世界中觸碰或近似觸碰，作為指示與人工實境內容中之特定使用者介面元素之互動的預定義手勢之部分。使用者手部之在拇指與一或多個手指之間的觸碰可為使用者提供在使用者與實體使用者輸入物件（諸如實體鍵盤或其他實體輸入裝置上之按鈕）直接互動時所感覺到之感覺的模擬。
圖1B為描繪根據本發明之技術的另一實例人工實境系統20之圖示。類似於圖1A之人工實境系統10，在一些實例中，圖1B之人工實境系統20可呈現及控制專門設計用於人工實境環境內之使用者互動及操縱之使用者介面元素。在各種實例中，人工實境系統20亦可回應於偵測到使用者之一或多個特定手勢而產生某些圖形使用者介面元素且將其顯現給使用者。
在圖1B之實例中，人工實境系統20包括外部攝影機102A及102B（統稱為「外部攝影機102」）、HMD 112A至112C（統稱為「HMD 112」）、控制器114A及114B（統稱為「控制器114」）、控制台106及外部感測器90。如圖1B中所展示，人工實境系統20表示多使用者環境，其中在控制台106及/或HMD 112上執行之人工實境應用程式基於各別使用者之對應參考座標之當前觀看視角以向使用者110A至110C（統稱為「使用者110」）中之每一者呈現人工實境內容。亦即，在此實例中，人工實境應用程式藉由追蹤及計算HMD 112中之每一者之參考座標之姿勢資訊來建構人工內容。人工實境系統20使用自外部攝影機102、HMD 112及控制器114所接收之資料來俘獲真實世界環境內之3D資訊，諸如使用者110之運動及/或關於使用者110及真實世界物體108之追蹤資訊，以用於計算HMD 112之對應參考座標之更新後姿勢資訊。作為一個實例，人工實境應用程式可基於針對HMD 112C所判定之當前觀看視角而將具有虛擬物體128A至128C（統稱為「虛擬物體128」）之人工實境內容122顯現為在空間上覆疊於真實世界物體108A至108C（統稱為「真實世界物體108」）上。另外，根據HMD 112C之視角，人工實境系統20分別基於使用者110A、110B之所估計位置而顯現化身120A、120B。
HMD 112中之每一者在人工實境系統20內同時操作。在圖1B之實例中，使用者110中之每一者可為人工實境應用程式中之「玩家」或「參與者」，且使用者110中之任一者可為人工實境應用程式中之「觀眾」或「觀察者」。HMD 112C可藉由追蹤使用者110C之手部132及/或手臂134且將手部132在視場130內之部分顯現為人工實境內容122內之虛擬手部136，而實質上類似於圖1A之HMD 112加以操作。HMD 112B可自使用者110B所固持之控制器114A接收使用者輸入。HMD 112A亦可實質上類似於圖1A之HMD 112加以操作，且接收呈使用者110A之手部132A、132B之手勢形式的使用者輸入。HMD 112B可自使用者110B所固持之控制器114接收使用者輸入。控制器114可使用短程無線通信之近場通信（諸如藍芽（Bluetooth））、使用有線通信鏈路或使用其他類型之通信鏈路來與HMD 112B通信。
以類似於上文關於圖1A所論述的實例之方式，人工實境系統20之控制台106及/或HMD 112C產生及顯現使用者介面元素124、126，其可覆疊於向使用者110C顯示之人工實境內容122上。此外，控制台106及/或HMD 112C可基於經由姿勢追蹤對由使用者110C進行之直觀而獨特之手勢之偵測來觸發使用者介面元素124、126之產生及動態顯示。舉例而言，人工實境系統20可回應於偵測到使用者110C之一或多個特定手勢（諸如使用者之手部、手指、拇指或手臂之特定運動、組態、位置及/或定向）而動態地呈現一或多個圖形使用者介面元素124、126。如圖1B中所展示，除了經由HMD 112C之影像俘獲裝置138所俘獲之影像資料或代替經由HMD 112C之影像俘獲裝置138俘獲之影像資料，來自外部攝影機102之輸入資料亦可用於追蹤及偵測使用者110之手部及手臂（諸如使用者110C之手部132）之特定運動、組態、位置及/或定向，包括手部之指頭（手指、拇指）中之個別者及/或組合之移動。
在一些態樣中，人工實境應用程式可在控制台106上運行，且可利用影像俘獲裝置（即102A及102B）來分析手部132B之組態、位置及/或定向，以識別可由HMD 112A之使用者進行之選單提示手勢、選單激活手勢、選單滑動手勢、選擇手勢或選單定位運動等。類似地，HMD 112C可利用影像俘獲裝置138來分析手部132C之組態、位置及/或定向，以識別可由HMD 112C之使用者進行之選單提示手勢、選單激活手勢、選單滑動手勢、選擇手勢或選單定位運動等。人工實境應用程式可以類似於上文關於圖1A所描述之方式來回應於此類手勢而顯現UI選單124及虛擬手部136。
圖2為描繪經組態以根據本發明之技術操作的實例HMD 112之圖示。圖2之HMD 112可為圖1A及圖1B之HMD 112中之任一者的實例。HMD 112可作為諸如圖1A、圖1B之人工實境系統10、20的人工實境系統之部分，或可用作經組態以實施本文中所描述之技術的獨立行動人工實境系統。
在此實例中，HMD 112包括用於將HMD 112緊固至使用者之前剛體及帶。另外，HMD 112包括經組態以將人工實境內容呈現給使用者之內向電子顯示器203。電子顯示器203可具有任何合適之顯示器技術，諸如液晶顯示器（liquid crystal display；LCD）、量子點顯示器、點矩陣顯示器、發光二極體（light emitting diode；LED）顯示器、有機發光二極體（organic light-emitting diode；OLED）顯示器、陰極射線管（cathode ray tube；CRT）顯示器、電子墨水，或能夠產生視覺輸出之單色、彩色或任何其他類型之顯示器。在一些實例中，電子顯示器為用於向使用者之每只眼睛提供單獨影像之戴眼鏡式立體顯示器。在一些實例中，當追蹤HMD 112之位置及位向以用於根據HMD 112及使用者之當前觀看視角來顯現人工實境內容時，將電子顯示器203相對於HMD 112之前剛體的已知定向及位置用作參考座標，亦稱作本端原點。在其他實例中，HMD 112可呈其他可穿戴的頭戴式顯示器形式，諸如眼鏡或護目鏡。
如圖2中進一步展示，在此實例中，HMD 112進一步包括一或多個運動感測器206，諸如一或多個加速計（亦稱為慣性量測單元或「IMU」），其輸出指示HMD 112之當前加速度的資料；GPS感測器，其輸出指示HMD 112之方位的資料；雷達或聲納，其輸出指示HMD 112與各種物體之距離的資料；或其他感測器，其提供在實體環境內之HMD 112或其他物體之方位或定向的指示。此外，HMD 112可包括整合式的影像俘獲裝置138A及138B（統稱為「影像俘獲裝置138」），諸如視訊攝影機、雷射掃描器、都卜勒（Doppler）雷達掃描器、深度掃描器或其類似者，其經組態以輸出表示實體環境之影像資料。更具體而言，影像俘獲裝置138俘獲表示實體環境中的在影像俘獲裝置138之視場130A、130B內的物體的影像資料，該視場130A、130B典型地與HMD 112之觀看視角一致。HMD 112包括內部控制單元210，其可包括內部電源及具有一或多個處理器、記憶體及硬體之一或多個印刷電路板，以提供用於執行可程式化操作之操作環境以處理感測到之資料且在電子顯示器203上呈現人工實境內容。
在一個實例中，根據本文中所描述之技術，內部控制單元210經組態以基於感測到之資料來識別由使用者進行之特定手勢或手勢組合，且作為回應而進行動作。舉例而言，回應於一個經識別手勢，內部控制單元210可產生及顯現經覆疊於人工實境內容上之特定使用者介面元素以供在電子顯示器203上顯示。如本文中所解釋，根據本發明之技術，內部控制單元210可在由影像俘獲裝置138俘獲之影像資料內進行物體辨識，以識別使用者之手部132、手指、拇指、手臂或另一部分，且追蹤所識別部分之移動、位置、組態等，從而識別由使用者進行之預定義手勢。回應於識別出預定義手勢，內部控制單元210採取一些動作，諸如自與使用者介面元素相關聯之選項集合中選擇一選項、將手勢轉換成輸入（例如字元）、啟動應用程式或以其他方式顯示內容，及其類似者。在一些實例中，內部控制單元210回應於偵測到經指定為用於顯露使用者介面之「觸發事項」之預定義手勢而動態地產生及呈現使用者介面元素，諸如選單。在其他實例中，內部控制單元210回應於來自可進行物體辨識、運動追蹤及手勢偵測之外部裝置（諸如控制台106）或其任何部分的指示而進行此類功能。
作為實例，內部控制單元210可利用影像俘獲裝置138A及138B來分析手部132及/或手臂134之組態、位置、移動及/或定向，以識別可由HMD 112之使用者進行之選單提示手勢、選單激活手勢、選單滑動手勢、選擇手勢或選單定位運動等。內部控制單元210可基於偵測到選單提示手勢、選單激活手勢、選單滑動手勢、選擇手勢及選單定位運動而顯現UI選單、可滑動接合的UI元素及/或虛擬手部。
圖3為展示圖1A、圖1B之人工實境系統10、20之控制台106及HMD 112之實例實施方案的方塊圖。在圖3之實例中，控制台106基於感測到之資料，諸如自HMD 112及/或外部感測器接收到之運動資料及影像資料，以根據本文中所描述之技術來針對HMD 112進行姿勢追蹤、手勢偵測及使用者介面產生及顯現。
在此實例中，HMD 112包括一或多個處理器302及記憶體304，在一些實例中，該等處理器及記憶體提供用於執行操作系統305之電腦平台，該操作系統可為例如嵌入式、即時多任務操作系統或其他類型之操作系統。繼而，操作系統305提供用於執行一或多個軟體組件307（包括應用程式引擎340）之多任務操作環境。如關於圖2之實例所論述，處理器302耦接至電子顯示器203、運動感測器206及影像俘獲裝置138。在一些實例中，處理器302及記憶體304可為[温分開的離散組件。在其他實例中，記憶體304可為與處理器302同置於單一積體電路內之晶載記憶體。
一般而言，控制台106為計算裝置，其處理自外部攝影機102（圖1B）及/或HMD 112所接收之影像及追蹤資訊以針對HMD 112進行手勢偵測及使用者介面產生。在一些實例中，控制台106為單一計算裝置，諸如工作站、桌上型電腦、膝上型電腦或遊戲系統。在一些實例中，控制台106的至少一部分（諸如處理器312及/或記憶體314）可跨越雲端計算系統、資料中心或跨越網路而分散，該網路諸如網際網路（Internet）、另一公用或專用通信網路，例如寬頻、蜂巢式、Wi-Fi及/或用於在計算系統、伺服器及計算裝置之間傳輸資料的其他類型之通信網路。
在圖3之實例中，控制台106包括一或多個處理器312及記憶體314，在一些實例中，該等處理器及記憶體提供用於執行操作系統316之電腦平台，該操作系統可為例如嵌入式、即時多任務操作系統或其他類型之操作系統。繼而，操作系統316提供用於執行一或多個軟體應用程式317之多任務操作環境。處理器312耦接至一或多個I/O介面315，其提供用於與諸如鍵盤、遊戲控制器、顯示裝置、影像俘獲裝置、HMD及其類似者之外部裝置通信之一或多個I/O介面。此外，一或多個I/O介面315可包括用於與諸如網路104之網路通信的一或多個有線或無線網路介面控制器（network interface controller；NIC）。處理器302、312中之每一者可包含多核心處理器、控制器、數位信號處理器（digital signal processor；DSP）、特殊應用積體電路（application specific integrated circuit；ASIC）、場可程式化閘陣列（field-programmable gate array；FPGA）或等效離散或積體邏輯電路系統中之任何一或多者。記憶體304、314可包含用於儲存資料及可執行軟體指令之任何形式之記憶體，諸如隨機存取記憶體（random-access memory；RAM）、唯讀記憶體（read only memory；ROM）、可程式化唯讀記憶體（programmable read only memory；PROM）、可抹除可程式化唯讀記憶體（erasable programmable read only memory；EPROM）、電子可抹除可程式化唯讀記憶體（electronically erasable programmable read only memory；EEPROM）及快閃記憶體。
控制台106之軟體應用程式317用以提供整個人工實境應用程式。在此實例中，軟體應用程式317包括應用程式引擎320、顯現引擎322、手勢偵測器324、姿勢追蹤器326及使用者介面引擎328。
一般而言，應用程式引擎320包括用以提供及呈現例如以下各者之人工實境應用程式之功能性：電話會議應用程式、遊戲應用程式、導航應用程式、教學應用程式、訓練或模擬應用程式及其類似者。應用程式引擎320可包括例如用於在控制台106上實施人工實境應用程式之一或多個套裝軟體、軟體程式庫、硬體驅動程式及/或應用程式介面（Application Program Interface；API）。回應於應用程式引擎320進行的控制，顯現引擎322產生3D人工實境內容以藉由HMD 112之應用程式引擎340向使用者顯示。
根據如藉由姿勢追蹤器326判定之針對參考座標（典型地為HMD 112之觀看視角）之當前姿勢資訊，應用程式引擎320及顯現引擎322建構人工內容以供向使用者110顯示。基於當前觀看視角，顯現引擎322建構3D人工實境內容，其在一些情況下可至少部分地覆疊於使用者110之真實世界3D環境上。在此過程期間，姿勢追蹤器326對自HMD 112接收的感測到之資料（諸如移動資訊及使用者命令）進行操作，且在一些實例中對來自諸如外部攝影機之任何外部感測器90（圖1A、圖1B）之資料進行操作，以俘獲在真實世界環境內之3D資訊，諸如使用者110之運動及/或關於使用者110之特徵追蹤資訊。基於感測到之資料，姿勢追蹤器326針對HMD 112之參考座標來判定當前姿勢，且根據當前姿勢來建構人工實境內容以用於經由一或多個I/O介面315而傳達至HMD 112，以供向使用者110顯示。
此外，基於感測到之資料，手勢偵測器324分析使用者之部位（例如手部、手臂、手腕、手指、手掌、拇指）之所追蹤運動、組態、位置及/或定向，以識別由使用者110進行之一或多個手勢。更具體而言，手勢偵測器324分析在藉由HMD 112之影像俘獲裝置138及/或外部感測器90及外部攝影機102所俘獲之影像資料內所辨識的物體，以識別使用者110之手部及/或手臂，且追蹤手部及/或手臂相對於HMD 112之移動，從而識別由使用者110進行之手勢。手勢偵測器324可基於所俘獲影像資料來追蹤移動，包括手部、指頭及/或手臂之位置及定向之改變，且將物體之運動向量與手勢庫330中之一或多個條目進行比較以偵測由使用者110進行之手勢或手勢組合。手勢庫330中之一些條目可各自將手勢定義為一系列運動或運動模式，諸如使用者之手部、特定手指、拇指、手腕及/或手臂之相對路徑或空間平移及旋轉。手勢庫330中之一些條目可各自將手勢定義為使用者之手部及/或手臂（或其部分）在特定時間或在一段時間內之組態、位置及/或定向。手勢類型之其他實例係可能的。另外，手勢庫330中之條目中之每一者可針對所定義之手勢或一系列手勢來指定該手勢或一系列手勢觸發動作所需的條件，諸如與HMD 112之當前視場之空間關係、與當前由使用者觀察到之特定區域之空間關係（如可藉由個人之即時視線追蹤所判定）、所顯示之人工內容之類型、所執行之應用程式之類型及其類似者。
手勢庫330中之條目中之每一者進一步可針對所定義手勢中之每一者或手勢組合/一系列手勢來指定待由軟體應用程式317進行之所要回應或動作。舉例而言，根據本發明之技術，某些專用手勢可經預定義，使得回應於偵測到預定義手勢中之一者，使用者介面引擎328將使用者介面動態地產生為向使用者顯示之人工實境內容之覆疊，藉此允許使用者110即使在與人工實境內容互動時亦容易調用使用者介面以用於組態HMD 112及/或控制台106。在其他實例中，某些手勢可能與其他動作相關，該等動作諸如提供輸入、選擇物體、啟動應用程式及其類似者。
作為實例，手勢庫330可包括描述選單提示手勢、選單激活手勢、選單滑動手勢、選擇手勢及選單定位運動之條目。手勢偵測器324可處理來自影像俘獲裝置138之影像資料以分析使用者手部之組態、位置、運動及/或定向，從而識別可由使用者進行之選單提示手勢、選單激活手勢、選單滑動手勢、選擇手勢及選單定位運動等。顯現引擎322可基於偵測到選單提示手勢、選單激活手勢、選單滑動手勢及選單定位運動而顯現選單及虛擬手部。使用者介面引擎328可定義所顯示的選單，且可控制回應於由選擇手勢所引起之選擇而進行的動作。
圖4為描繪根據本發明之技術的藉由圖1A、圖1B之人工實境系統之HMD 112進行手勢偵測及使用者介面產生之實例的方塊圖。
在此實例中，類似於圖3，HMD 112包括一或多個處理器302及記憶體304，在一些實例中，該等處理器及記憶體提供用於執行操作系統305之電腦平台，該操作系統可為例如嵌入式、即時多任務操作系統或其他類型之操作系統。繼而，操作系統305提供用於執行一或多個軟體組件417之多任務操作環境。此外，處理器302耦接至電子顯示器203、運動感測器206及影像俘獲裝置138。
在圖4之實例中，軟體組件417用以提供整個人工實境應用程式。在此實例中，軟體組件417包括應用程式引擎440、顯現引擎422、手勢偵測器424、姿勢追蹤器426及使用者介面引擎428。在各個實例中，軟體組件417類似於圖3的控制台106之對應組件（例如，應用程式引擎320、顯現引擎322、手勢偵測器324、姿勢追蹤器326及使用者介面引擎328）進行操作，以根據偵測到的使用者110之手勢來建構覆疊於人工內容上或作為人工內容之部分的使用者介面元素以供向使用者110顯示。在一些實例中，顯現引擎422建構3D人工實境內容，其可至少部分地覆疊於使用者110之真實世界實體環境上。
類似於關於圖3所描述之實例，基於感測到之資料，手勢偵測器424分析使用者之部位（例如手部、手臂、手腕、手指、手掌、拇指）之所追蹤運動、組態、位置及/或定向，以識別由使用者110進行之一或多個手勢。根據本發明之技術，使用者介面引擎428將使用者介面元素產生為待向使用者110顯示之人工實境內容之部分（例如覆疊於人工實境內容上），及/或基於藉由手勢偵測器424偵測到之使用者110之一或多個手勢或手勢組合而進行動作。更具體而言，手勢偵測器424分析在藉由HMD 112之影像俘獲裝置138及/或外部感測器90或外部攝影機102所俘獲之影像資料內經辨識之物體，以識別使用者110之手部及/或手臂，且追蹤手部及/或手臂相對於HMD 112之移動，從而識別由使用者110進行之手勢。手勢偵測器424可基於所俘獲影像資料來追蹤移動，包括手部、指頭及/或手臂之位置及定向之改變，且將物體之運動向量與手勢庫430中之一或多個條目進行比較以偵測由使用者110進行之手勢或手勢組合。
手勢庫430類似於圖3之手勢庫330。手勢庫430中之條目中之每一者可針對所定義之手勢或一系列手勢來指定該手勢或一系列手勢觸發動作所需的條件，諸如與HMD 112之當前視場之空間關係、與當前由使用者觀察到之特定區域之空間關係（如可藉由個人之即時視線追蹤判定）、所顯示之人工內容之類型、所執行之應用程式之類型及其類似者。
回應於偵測到匹配手勢或手勢組合，HMD 112進行指派給手勢庫430中之匹配條目之回應或動作。舉例而言，根據本發明之技術，某些專用手勢可經預定義，使得回應於手勢偵測器424偵測到預定義手勢中之一者，使用者介面引擎428將使用者介面動態地產生為向使用者顯示之人工實境內容之覆疊，藉此允許使用者110在觀看人工實境內容時容易調用使用者介面以用於組態HMD 112。在其他實例中，回應於手勢偵測器424偵測到預定義手勢中之一者，使用者介面引擎428及/或應用程式引擎440可接收輸入、選擇與使用者介面元素相關聯之值或參數、啟動應用程式、修改可組態設定、發送訊息、開始或停止過程，或進行其他動作。
作為實例，手勢庫430可包括用以描述選單提示手勢、選單激活手勢、選單滑動手勢、選單定位運動及選擇手勢之條目。手勢偵測器424可利用來自影像俘獲裝置138之影像資料來分析使用者手部之組態、位置及/或定向，從而識別可由使用者進行之選單提示手勢、選單激活手勢、選單滑動手勢、選擇手勢或選單定位運動等。顯現引擎422可基於偵測到選單激活手勢、選單滑動手勢、選擇手勢及選單定位運動而顯現UI選單、可滑動接合的元素及/或虛擬手部。使用者介面引擎328可定義所顯示的選單，且可控制藉由應用程式引擎440回應於由選擇手勢所引起之選擇而進行的動作。
圖5及圖6為說明用於激活選單提示及選單之實例方法以及用於判定選單之定位及與選單之使用者互動之實例方法的流程圖。圖5及圖6中所說明之操作可由人工實境系統（諸如圖1A、圖1B之人工實境系統10、20）之一或多個組件來執行。舉例而言，操作中之一些或全部可由手勢偵測器（圖3及圖4之手勢偵測器324、424）、使用者介面引擎（圖3及圖4之使用者介面引擎328、428）及顯現引擎（圖3及圖4之顯現引擎322、422）中之一或多者來執行。
圖5為說明根據本發明之態樣的用於激活選單提示或選單介面之實例方法之操作的流程圖。如上文所提及，手部之某些組態可經偵測且用於觸發選單介面或選單提示之激活。人工實境系統可判定手部之當前組態（502）。該組態可包括手部之定向以及手部之指頭相對於彼此之定位。在一或多個態樣中，可俘獲並分析影像資料以判定手部之組態。除了影像資料或代替影像資料，其他感測器資料亦可用於判定手部之組態。
人工實境系統可判定手部之當前組態是否指示使用者正在進行選單提示手勢（504）。在一或多個態樣中，人工實境系統可經組態（例如由使用者組態）以判定左手或右手之組態。在一或多個態樣中，人工實境系統可利用描述手部之當前組態的資料以及手勢庫中指定特定手勢之一或多個條項中的資料，來判定手部之當前組態是否為選單提示手勢。在一或多個態樣中，選單提示手勢可為手部之如下組態：其中手部處於實質上翹（upturned）定向，且使用者手部之手指及拇指經定位成使得該手指與拇指之間存在空間。對於選單提示手勢，使用者手部之手指及拇指可形成「C」形或鉗形，其中手指及拇指之末端並未觸碰。受益於本發明的於所屬領域中具有通常知識者將瞭解手部之其他組態可用作選單提示手勢。
回應於判定使用者已進行選單提示手勢，人工實境系統可顯現選單提示（506）。在一或多個態樣中，在表示使用者手部之定向的虛擬手部附近顯現選單提示。選單提示可為位於虛擬手部之與進行選單提示手勢之使用者之手指及拇指對應的虛擬手指與虛擬拇指之間的UI元素。
圖8為說明根據本發明之態樣的選單提示810的實例HMD顯示800。在圖8中所說明之實例中，人工實境系統之使用者已將其手部置於實質上翹定向，其中在食指與拇指之間具有空間。（食指以外的其他手指亦可用於選單提示及選單激活手勢。）人工實境系統可判定手部之位置及定向，且可顯現虛擬手部136以匹配使用者手部之定向及手指定位。另外，人工實境系統可基於手部之組態而偵測使用者之手部已進行選單提示手勢。回應於偵測到選單提示手勢，人工實境系統可在虛擬手部之食指與拇指之間顯現選單提示810。選單提示810可作為充當針對使用者之指示或提醒（亦即，提示）的使用者介面元素，其中使用者可用拇指及食指進行動作（例如，捏合動作）以將使用者手部置於選單激活手勢，從而使得人工實境系統向使用者提供選單。在一些態樣中，選單提示810可包括在食指與拇指之間延伸的線條。在一些態樣中，選單提示810可包括位於拇指與食指之間的虛擬物體。在一些態樣中，選單提示810可包括突顯食指及/或拇指。可顯現其他類型之使用者介面元素作為選單提示810。舉例而言，可使用箭頭來指示使用者之食指及拇指應移動用以激活選單之方向。
返回至圖5，在顯現選單提示之後，人工實境系統可判定手部之新當前組態（502）。在顯現選單提示與判定手部之新組態之間可存在由人工實境系統所執行之許多其他操作。
若手部之當前組態與選單提示手勢不匹配，則人工實境系統可判定手部之當前組態是否指示使用者正進行選單激活手勢。在一或多個態樣中，人工實境系統可利用描述手部之當前組態的資料以及手勢庫中之一或多個條項中的資料，來判定手部之當前組態是否為選單激活手勢。在一或多個態樣中，選單激活手勢可為手部之如下組態：其中手部處於實質上翹定向，且使用者手部之手指及拇指經定位成處於捏合組態。受益於本發明的於所屬領域中具有通常知識者將瞭解手部之其他組態可用作選單激活手勢。舉例而言，選單激活手勢可包含定位成捏合組態之手指及拇指，與手部之定向無關。
回應於判定使用者已進行選單激活手勢，人工實境系統可顯現UI選單（510）。在一或多個態樣中，在表示使用者手部之定向的虛擬手部附近顯現選單。在一些態樣中，僅當人工實境系統首先偵測到選單提示手勢時，人工實境系統才可回應於偵測到選單激活手勢而顯現UI選單。在一些態樣中，選單提示手勢並非前提條件。
圖7A為根據本發明之態樣的描繪UI選單124之實例HMD顯示700。在圖7A中所說明之實例中，人工實境系統之使用者已將其手部置於實質上翹定向，其中手部之食指及拇指呈捏合組態。（同樣，食指用作手部之手指的一個實例。）人工實境系統可判定手部之位置及定向，且可顯現虛擬手部136以表示使用者手部之定向及手指定位。另外，人工實境系統可基於手部之組態而偵測使用者之手部已進行選單激活手勢。回應於偵測到選單激活手勢，人工實境系統可在虛擬手部附近顯現UI選單124。UI選單124可包括沿UI選單124之一維度排列的一或多個UI元素126。在一或多個態樣中，一或多個UI元素126可為沿座標空間（諸如觀看空間或顯示空間）之水平維度所排列的選單項目。在圖7A中所說明之實例中，僅展示座標軸704以說明座標空間。在實際顯示器上不一定呈現座標軸704。在圖7A至圖7G中所說明之實例中，水平維度沿X軸，豎直維度沿Y軸，且深度沿Z軸。
如上文所提及，選單激活手勢可包括使用者將其手部置於實質上翹定向。舉例而言，人工實境系統可偵測垂直於手部之另一手掌表面的向量702亦實質上垂直於由X軸及Z軸所形成之平面。在一或多個態樣中，若向量702在與由X軸及Z軸所形成之平面垂直的三十度（由虛線說明）內，則向量702可被視為實質上垂直。在一或多個態樣中可使用三十度以外的其他臨限值。
在一或多個態樣中，可在虛擬手部136附近顯現可滑動接合的UI元素706。在圖7A中所說明之實例中，可滑動接合的UI元素706為圓形。諸如球形、三角形、正方形等其他圖形元素，或僅虛擬手部136可充當可滑動接合的UI元素706。另外，虛擬手部136之一或多個手指可經突顯，以指示一或多個手指之突顯部分為可滑動接合的UI元素。
圖7B為說明根據本發明之態樣的UI選單及可滑動接合的UI元素之實例HMD顯示740。在圖7B中所說明之實例中，使用者已進行選單滑動手勢，以使得人工實境系統在選單項目708附近之位置處顯現可滑動接合的UI元素706。在一或多個態樣中，在可滑動接合的UI元素706附近的選單項目708可經突顯或以其他方式增強或修改，以指示在使用者進行選擇手勢之後，選單項目708將被選定。除了突顯選單項目708或代替突顯選單項目708，亦可在選單元素708附近提供標記710。可使用各種突顯機制，包括邊界突顯、背景突顯、閃爍、放大等可用於突顯選單項目708。突顯選單元素708可指示若使用者進行選擇手勢，則選單元素708將被選定。在一或多個態樣中，選擇手勢可為手部中與呈捏合組態之手指不同的手指之移動，例如釋放捏合組態。在一或多個態樣中，選擇手勢可為手部在實質上垂直於UI選單之平面的方向上之移動。如本文所使用，與平面「實質上垂直」可指示在與該平面垂直的0至2度內、在與該平面垂直的0至5度內、在與該平面垂直的0至10度內、在與該平面垂直的0至20度內、或在與該平面垂直的0至30度內。在一或多個態樣中，選擇手勢可為將手部之拇指及手指重新組態成不再呈捏合組態。在一或多個態樣中，選擇手勢可為另一手指（例如，小指）之運動或重組態，諸如彎曲或伸展。對選擇手勢之偵測可使得人工實境系統進行某一動作。舉例而言，選擇手勢可使應用程式具現化，或可使當前運行之應用程式變成HMD之顯示器之前景，或在一些情況下可使人工實境系統在特定執行之人工實境應用程式內進行某一動作。
由此，可使用一系列手勢來觸發選單124之顯示，將可滑動接合的UI元素706定位在選單124之選單元素708上方或附近，以及選擇選單元素708。在一實例實施方案中，使用者可進行選單激活手勢（例如，將手部之手指定位成捏合組態），以使得HMD顯示選單124。使用者可進行選單滑動手勢（例如，在維持捏合組態的同時移動其手部），以使得可滑動接合的UI元素706根據手部之運動而沿選單124滑動。使用者接著可進行選擇手勢（例如，自捏合組態釋放手指及拇指），以選擇由可滑動接合的UI元素706所指示的選單元素708。
返回至圖5，在顯現UI選單124之後，人工實境系統可判定手部之新當前組態（502）。在顯現UI選單124與判定手部之新組態之間可存在由人工實境系統所執行之許多其他操作。
若人工實境系統偵測到使用者手部不再進行選單提示手勢或選單激活手勢，則人工實境系統可判定是否已顯示UI選單124或選單提示810。若已顯示，則人工實境系統可由於使用者之手部不再呈顯示UI選單124或選單提示810之適當組態而自HMD顯示移除UI選單124或選單提示810（514）。
在移除UI選單124或選單提示810之後，流程返回至判定手部之新當前組態（502）。在移除UI選單124或選單提示810與判定手部之新組態之間可存在由人工實境系統所執行之許多其他操作。
圖6為說明根據本發明之態樣的用於定位UI選單且與該UI選單互動之實例方法之操作的流程圖。人工實境系統可判定手部之位置（602）。舉例而言，可根據自影像感測器或自與人工實境系統耦接之其他類型感測器所俘獲之影像資料來判定位置。
人工實境系統可判定UI選單當前是否激活（亦即，經由HMD來顯現及顯示）（604）。若UI選單當前未激活，則流程可返回至判定手部之更新後位置（602）。在判定UI選單是否激活與判定手部之更新後位置之間可存在由人工實境系統所執行之許多其他操作。
若UI選單被激活，則人工實境系統可判定使用者是否已進行選單滑動手勢（606）。在一些態樣中，選單滑動手勢可為手部在選單激活時（例如在使用者手部進行選單激活手勢時）之實質水平運動。舉例而言，人工實境系統可比較手部之前一位置與手部之當前定位，以判定是否已出現選單滑動手勢。若偵測到選單滑動手勢，則人工實境系統可根據選單滑動手勢而沿UI選單124來平移虛擬手部及/或可滑動接合的介面元素（608）。若選單項目呈豎直定向，則選單滑動手勢可為手部之實質豎直運動。若並未偵測到選單滑動手勢，則人工實境系統可判定是否偵測到並非選單滑動手勢的手部之其他運動（610）。「實質」豎直及水平可為在豎直或水平之5度、10度、20度或30度內。
圖7C為說明根據本發明之態樣的UI選單及選單滑動手勢之實例HMD顯示750。在一或多個態樣中，選單滑動手勢可為使用者手部沿UI選單124之水平維度之運動（例如，平行於X軸之運動）。在圖7C中所說明之實例中，使用者（在維持選單激活手勢的同時）已沿UI選單124之水平維度來移動其手部。人工實境系統可根據使用者手部之運動而重新定位虛擬手部136及可滑動接合的UI元素706，使得虛擬手部136及可滑動接合的UI元素706靠近選單項目712。人工實境系統可自選單元素708移除突顯且可突顯選單元素712，以指示若使用者進行選擇手勢，則選單元素712將被選定。除了突顯選單項目712或代替突顯選單項目712，亦可顯示標記714。在一些實例中，人工實境系統不會突顯選單項目。在一些實例中，人工實境系統不會顯現UI元素706。在一或多個態樣中，UI選單124在水平方向上保持與選單滑動手勢之前所處位置相同的位置。換言之，當虛擬手部136及可滑動接合的UI元素706回應於使用者進行選單滑動手勢而沿UI選單124之水平維度移動時，UI選單124在水平方向上靜止。
返回至圖6，在判定是否已偵測到水平運動之後，人工實境系統可判定使用者手部是否已發生非水平運動（610）。舉例而言，人工實境系統可判定是否存在豎直方向上之運動（亦即，平行於Y軸之運動）及/或前至後或後至前運動（亦即，平行於Z軸之運動）。若偵測到使用者手部之非水平運動，則人工實境系統可基於非水平運動而平移虛擬手部、可滑動接合的UI元素及UI選單之位置。在UI選單項目呈豎直排列的實例中，使用者手部之非豎直運動構成手部之「其他移動」。
圖7D為說明已偵測到豎直運動之後的UI選單的實例HMD顯示760。在圖7D中所說明之實例中，使用者向下移動其手部。人工實境系統可偵測豎直運動，且可基於偵測到的豎直運動而平移UI選單124、虛擬手部136及可滑動接合的UI元素706之位置。在一些態樣中，若除了豎直運動亦未偵測到水平運動，則虛擬手部136及可滑動接合的UI元素706保持在其相對於UI選單124之先前位置。由此，同一選單元素712在出現豎直運動時保持突顯。
圖7E為說明已偵測到後至前運動（亦即，使用者沿Z軸移動其手部更接近自身）之後的UI選單的實例HMD顯示770。人工實境系統可偵測後至前運動，且可基於偵測到的後至前運動而平移UI選單124、虛擬手部136及可滑動接合的UI元素706之位置。由此，虛擬手部、UI選單124及可滑動接合的UI元素706之位置看起來更大，且由此更接近使用者。在一些態樣中，若除了沿Z軸之運動亦未偵測到水平運動，則虛擬手部136及可滑動接合的UI元素706保持在其相對於UI選單124之先前位置。由此，同一選單元素712在出現沿Z軸之運動時保持突顯。
返回至圖6，在UI選單、虛擬手部及可滑動接合的UI元素已根據使用者手部之運動（若存在）而平移之後，人工實境系統可基於使用者手部之當前位置而在UI選單124附近顯現虛擬手部及可滑動接合的UI元素。流程可隨後返回至判定手部之更新後位置（602）。在顯現UI選單與判定手部之更新後位置之間可存在由人工實境系統所執行之許多其他操作。
圖7F為說明根據本發明之態樣的UI選單124及UI圖符陣列720之實例HMD顯示780。在一些態樣中，UI選單124之選單項目可對應於應用程式。在一或多個態樣中，UI選單124可劃分成兩個部分716及718。在部分716中之選單元素可表示喜愛的應用程式，且在部分718中之選單元素可表示當前在人工實境系統內運行之應用程式。此外，在一些態樣中，人工實境系統可呈現用以表示可取用應用程式或在人工實境系統中運行之應用程式的圖符之UI圖符陣列720。在UI圖符陣列720中之個別圖符上之影像可表示對應的應用程式之當前顯示或與該應用程式相關聯的影像。
圖7G為說明根據本發明之態樣的UI選單124及UI圖符陣列720之實例HMD顯示790。在圖7G中所說明之實例中，虛擬手部136及可滑動接合的UI元素706靠近選單項目724。在此實例中，使用三維突顯，其中靠近可滑動接合的UI元素706的選單項目可被拉近，從而使得影像對於使用者而言看起來更大。另外，對應於選單項目724之圖符722亦可突顯。在此實例中，圖符722之邊界經突顯。
上文論述已呈現其中UI選單在水平方向上經組態的人工實境系統之態樣。在其他態樣中，UI選單可在豎直方向上經組態。在此等態樣中，手部之豎直運動可使得可滑動接合的UI元素及虛擬手部沿UI選單之豎直維度移動，同時UI選單在豎直方向上保持靜止。非豎直運動（亦即，水平運動或前至後運動）可使得UI選單之位置根據非豎直運動而平移。
本發明中所描述之技術可至少部分地實施於硬體、軟體、韌體或其任何組合中。舉例而言，所描述技術之各種態樣可實施於一或多個處理器內，包括一或多個微處理器、DSP、特殊應用積體電路（ASIC）、場可程式化閘陣列（FPGA）或任何其他等效積體或離散邏輯電路，以及此等組件之任何組合。術語「處理器」或「處理電路」大體上可指單獨或與其他邏輯電路或任何其他等效電路組合之前述邏輯電路中之任一者。包含硬體之控制單元亦可進行本發明之技術中之一或多者。
此類硬體、軟體及韌體可實施於同一裝置內或分開的裝置內，以支援本發明中所描述之各種操作及功能。另外，可將所描述單元、模組或組件中之任一者一起實施或單獨實施為離散但可相互操作之邏輯裝置。將不同特徵描繪為模組或單元意欲突顯不同功能性態樣，且未必暗示此類模組或單元必須由分開的硬體或軟體組件來實現。確切而言，與一或多個模組或單元相關聯之功能性可由分開的硬體或軟體組件來執行，或整合於共同或分開的硬體或軟體組件內。
本發明中所描述之技術亦可體現或編碼於含有指令之電腦可讀取媒體（諸如，電腦可讀取儲存媒體）中。嵌入或編碼於電腦可讀取儲存媒體中之指令可例如在執行指令時使可程式化處理器或其他處理器執行方法。電腦可讀取儲存媒體可包括隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可程式化唯讀記憶體（PROM）、可抹除可程式化唯讀記憶體（EPROM）、電子可抹除可程式化唯讀記憶體（EEPROM）、快閃記憶體、硬碟、CD-ROM、軟碟、卡匣、磁性媒體、光學媒體或其他電腦可讀取媒體。
如本文中藉助於各種實例所描述，本發明之技術可包括人工實境系統或結合人工實境系統來實施。如所描述，人工實境為在向使用者呈現之前已經以某一方式調整的實境形式，其可包括例如虛擬實境（VR）、擴增實境（AR）、混合實境（MR）、混雜實境或其某一組合及/或衍生物。人工實境內容可包括完全產生之內容或與所俘獲內容（例如，真實世界相片）組合之所產生內容。人工實境內容可包括視訊、音訊、觸覺反饋或其某一組合，且其中之任一者可在單一通道中或在多個通道中呈現（諸如，對觀看者產生三維效應之立體聲視訊）。另外，在一些具體實例中，人工實境可與例如用以在人工實境中創建內容及/或用於人工實境中（例如，在人工實境中執行活動）之應用、產品、配件、服務或其某一組合相關聯。提供人工實境內容之人工實境系統可實施於各種平台上，包括連接至主機電腦系統之頭戴式裝置（HMD）、獨立式HMD、行動裝置或計算系統，或能夠將人工實境內容提供至一或多個觀看者之任何其他硬體平台。
10、20:人工實境系統 90:外部感測器 102、102A、102B:外部攝影機 104:網路 106:控制台 108、108A至108C:真實世界物體 110、110A至110C:使用者 112、112A至112C:頭戴式裝置（HMD） 114、114A、114B:控制器 120、120A、120B:化身 122:人工實境內容 124:使用者介面元素/UI選單 126:使用者介面元素/UI元素 128、128A至128C:虛擬物體 130、130A、130B:視場 132:手部/右手 132A至132B:手部 134:手臂/右臂 136:虛擬手部 138、138A、138B:影像俘獲裝置 203:電子顯示器 206:運動感測器 210:內部控制單元 302、312:處理器 304、314:記憶體 305、316:操作系統 307:軟體組件 315:I/O介面 317:軟體應用程式 320、340:應用程式引擎 322:顯現引擎 324:手勢偵測器 326:姿勢追蹤器 328:使用者介面引擎 330:手勢庫 417:軟體組件 422:顯現引擎 424:手勢偵測器 426:姿勢追蹤器 428:使用者介面引擎 430:手勢庫 440:應用程式引擎 502、504、506、508、510、512、514:步驟 602、604、606、608、610、612、614:步驟 700:HMD顯示 702:向量 704:座標軸 706:可滑動接合的UI元素 708、712:選單項目/選單元素 710、714:標記 716、718:部分 720:UI圖符陣列 722:圖符 724:選單項目 740、750、760、770、790、800:HMD顯示 810:選單提示
[圖1A]為描繪根據本發明之技術的實例人工實境系統之圖示，該人工實境系統呈現及控制人工實境環境內之使用者介面元素。 [圖1B]為描繪根據本發明之技術的另一實例人工實境系統之圖示。 [圖2]為描繪根據本發明之技術操作的實例HMD之圖示。 [圖3]為展示圖1A、圖1B之人工實境系統之控制台及HMD之實例實施方案的方塊圖。 [圖4]為描繪根據本發明之技術的藉由圖1A、圖1B之人工實境系統之HMD進行手勢偵測及使用者介面產生之實例的方塊圖。 [圖5]為說明根據本發明之態樣的用於激活選單提示或UI選單之實例方法之操作的流程圖。 [圖6]為說明根據本發明之態樣的用於定位UI選單且與該UI選單互動之實例方法之操作的流程圖。 [圖7A]至[圖7G]為說明根據本發明之態樣以定位UI選單且與UI選單互動的實例HMD顯示。 [圖8]為說明根據本發明之態樣的選單提示的實例HMD顯示。 貫穿諸圖及描述，相同元件符號係指相同元件。
10:人工實境系統
90:外部感測器
104:網路
106:控制台
110:使用者
112:頭戴式裝置(HMD)
120:化身
122:人工實境內容
124:使用者介面元素/UI選單
126:使用者介面元素/UI元素
128A、128B:虛擬物體
130:視場
132:手部/右手
134:手臂/右臂
136:虛擬手部
138:影像俘獲裝置

Claims (20)

  1. 一種人工實境系統，其包含： 影像俘獲裝置，其經組態以俘獲影像資料； 頭戴式顯示器（HMD），其經組態以輸出人工實境內容； 手勢偵測器，其經組態以自該影像資料識別選單激活手勢，該選單激活手勢包含手部之以下組態：該手部呈實質上翹定向且該手部之拇指及手指呈捏合組態； 使用者介面（UI）引擎，其經組態以回應於該選單激活手勢而產生選單介面以及在相對於該選單介面之第一位置處產生可滑動接合的UI元素；以及 顯現引擎，其經組態以顯現該人工實境內容、該選單介面及該可滑動接合的UI元素以供在該HMD處顯示。
  2. 如請求項1之人工實境系統， 其中該選單介面包含沿該選單介面之維度排列的一或多個選單項目，且 其中該UI引擎經組態以根據該可滑動接合的UI元素相對於該選單介面之位置而突顯該一或多個選單項目中之一者。
  3. 如請求項2之人工實境系統，其中該一或多個選單項目對應於在該人工實境系統上所執行之各別應用程式。
  4. 如請求項1之人工實境系統， 其中該手勢偵測器進一步經組態以自該影像資料識別選單滑動手勢，該選單滑動手勢包含該手部之該組態與該手部之運動的組合，且 其中該UI引擎進一步經組態以回應於該選單滑動手勢而將該可滑動接合的UI元素平移至相對於該選單介面之第二位置。
  5. 如請求項4之人工實境系統， 其中該選單介面包含沿該選單介面之維度排列的一或多個選單項目， 其中為將該可滑動接合的UI元素平移至相對於該選單介面之該第二位置，該UI引擎經組態以沿該選單介面之該維度將該可滑動接合的UI元素滑動至相對於該選單介面之該第二位置。
  6. 如請求項4之人工實境系統， 其中該選單滑動手勢包含該手部在實質第一方向上之運動， 其中該手勢偵測器經組態以自該影像資料識別該手部在該選單激活手勢之後的在實質第二方向上之運動，該實質第二方向與該實質第一方向實質上正交， 其中該UI引擎進一步經組態以回應於該手部在該實質第二方向上之該運動而平移該可滑動接合的UI元素及該選單介面，同時保持該可滑動接合的UI元素相對於該選單介面之位置。
  7. 如請求項1之人工實境系統，其進一步包含： 應用程式引擎，其用於執行一或多個人工實境應用程式， 其中該手勢偵測器經組態以自該影像資料識別該選單滑動手勢之後的選擇手勢，且 其中該應用程式引擎經組態以回應於該選擇手勢而進行動作。
  8. 如請求項7之人工實境系統，其中該選擇手勢包含以下中之一者：（1）移動該手部之另一手指；（2）在實質上垂直於該選單介面之方向上平移該手部；或（3）將該手部之該拇指及該手指重新組態成不再呈該捏合組態。
  9. 如請求項1之人工實境系統， 其中該手勢偵測器進一步經組態以自該影像資料識別該選單激活手勢之前的選單提示手勢，且 其中該UI引擎進一步經組態以回應於該選單提示手勢而產生選單提示元素。
  10. 如請求項9之人工實境系統，其中該選單提示手勢包含組態成實質上翹位置之該手部，其中在拇指與手指之間具有空間，且 其中該UI引擎在虛擬手部之拇指與手指之間的空間中產生該選單提示元素。
  11. 如請求項10之人工實境系統，其中該選單提示元素包含在該虛擬手部之該拇指與該手指之間的線條。
  12. 如請求項1之人工實境系統，其中該影像俘獲裝置與該HMD整合。
  13. 一種方法，其包含： 藉由包括頭戴式顯示器（HMD）之人工實境系統以經由影像俘獲裝置來獲得影像資料； 藉由該人工實境系統以自該影像資料識別選單激活手勢，該選單激活手勢包含手部之以下組態：該手部呈實質上翹定向且該手部之拇指及手指呈捏合組態； 藉由該人工實境系統以回應於該選單激活手勢而產生選單介面以及在相對於該選單介面之第一位置處產生可滑動接合的UI元素；以及 藉由該人工實境系統以顯現人工實境內容、該選單介面及該可滑動接合的UI元素以供在該HMD處顯示。
  14. 如請求項13之方法，其中該選單介面包含沿該選單介面之維度排列的一或多個選單項目，該方法進一步包含： 該人工實境系統根據該可滑動接合的UI元素相對於該選單介面之位置而突顯該一或多個選單項目中之一者。
  15. 如請求項13之方法，其進一步包含： 藉由該人工實境系統以自該影像資料識別選單滑動手勢，該選單滑動手勢包含該手部之該組態與該手部之運動的組合；且 藉由該人工實境系統以回應於該選單滑動手勢而將該可滑動接合的UI元素平移至相對於該選單介面之第二位置。
  16. 如請求項15之方法，其中將該可滑動接合的UI元素平移至相對於該選單介面之該第二位置包含沿該選單介面之維度將該可滑動接合的UI元素滑動至相對於該選單介面之該第二位置。
  17. 如請求項15之方法， 其中該選單滑動手勢包含該手部在實質第一方向上之運動，該方法進一步包含： 藉由該人工實境系統以自該影像資料識別該手部在該選單激活手勢之後的在實質第二方向上之運動，該實質第二方向與該實質第一方向實質上正交；且 藉由該人工實境系統以回應於該手部在該實質第二方向上之該運動而平移該可滑動接合的UI元素及該選單介面，同時保持該可滑動接合的UI元素相對於該選單介面之位置。
  18. 如請求項13之方法，其進一步包含： 藉由該人工實境系統以自該影像資料識別選單提示手勢；以及 藉由該人工實境系統以回應於該選單提示手勢而產生選單提示元素。
  19. 一種非暫時性電腦可讀取媒體，其包含在經執行時使得人工實境系統之一或多個處理器進行以下操作的指令： 經由影像俘獲裝置來俘獲影像資料； 自該影像資料識別選單激活手勢，該選單激活手勢包含手部之組態； 回應於該選單激活手勢，產生選單介面以及在相對於該選單介面之第一位置處產生可滑動接合的UI元素； 在該選單激活手勢之後，識別選單滑動手勢，該選單滑動手勢包含該手部之該組態與該手部之運動的組合； 回應於該選單滑動手勢，將該可滑動接合的UI元素平移至相對於該選單介面之第二位置；以及 顯現人工實境內容、該選單介面及該可滑動接合的UI元素以供在頭戴式顯示器（HMD）處顯示。
  20. 如請求項19之非暫時性電腦可讀取媒體，其中該指令進一步使得該一或多個處理器進行以下操作： 自該影像資料識別選單提示手勢，該選單提示手勢包含組態成實質上翹位置之該手部，其中在拇指與手指之間具有空間；且 回應於該選單提示手勢而在虛擬手部之拇指與手指之間的空間中產生選單提示元素。
TW109118659A 2019-06-07 2020-06-03 具有滑動選單的人工實境系統 TW202113555A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/434,919 US10890983B2 (en) 2019-06-07 2019-06-07 Artificial reality system having a sliding menu
US16/434,919 2019-06-07

Publications (1)

Publication Number Publication Date
TW202113555A true TW202113555A (zh) 2021-04-01

Family

ID=71842836

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109118659A TW202113555A (zh) 2019-06-07 2020-06-03 具有滑動選單的人工實境系統

Country Status (7)

Country Link
US (1) US10890983B2 (zh)
EP (1) EP3980870A1 (zh)
JP (1) JP2022535316A (zh)
KR (1) KR20220016274A (zh)
CN (1) CN113853575A (zh)
TW (1) TW202113555A (zh)
WO (1) WO2020247550A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI764838B (zh) * 2021-09-27 2022-05-11 國立臺中科技大學 整合即時錄影與截圖功能之同步直播教學裝置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11275453B1 (en) 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
US11455078B1 (en) * 2020-03-31 2022-09-27 Snap Inc. Spatial navigation and creation interface
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
US11925863B2 (en) * 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
US12032803B2 (en) * 2020-09-23 2024-07-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11562528B2 (en) 2020-09-25 2023-01-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11921931B2 (en) * 2020-12-17 2024-03-05 Huawei Technologies Co., Ltd. Methods and systems for multi-precision discrete control of a user interface control element of a gesture-controlled device
US11782577B2 (en) 2020-12-22 2023-10-10 Snap Inc. Media content player on an eyewear device
US11797162B2 (en) * 2020-12-22 2023-10-24 Snap Inc. 3D painting on an eyewear device
US20220206588A1 (en) * 2020-12-29 2022-06-30 Snap Inc. Micro hand gestures for controlling virtual and graphical elements
US11740313B2 (en) 2020-12-30 2023-08-29 Snap Inc. Augmented reality precision tracking and display
US11954242B2 (en) 2021-01-04 2024-04-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
AU2022210589A1 (en) * 2021-01-20 2023-09-07 Apple Inc. Methods for interacting with objects in an environment
US11995230B2 (en) * 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
US12013985B1 (en) 2021-02-25 2024-06-18 Snap Inc. Single-handed gestures for reviewing virtual content
EP4327185A1 (en) 2021-04-19 2024-02-28 Snap, Inc. Hand gestures for animating and controlling virtual and graphical elements
CN113282169B (zh) * 2021-05-08 2023-04-07 青岛小鸟看看科技有限公司 头戴式显示设备的交互方法、装置及头戴式显示设备
US20230135974A1 (en) * 2021-11-04 2023-05-04 Microsoft Technology Licensing, Llc Multi-factor intention determination for augmented reality (ar) environment control
WO2023080943A1 (en) * 2021-11-04 2023-05-11 Microsoft Technology Licensing, Llc. Multi-factor intention determination for augmented reality (ar) environment control
WO2023080957A1 (en) * 2021-11-04 2023-05-11 Microsoft Technology Licensing, Llc. Multi-factor intention determination for augmented reality (ar) environment control
US11928264B2 (en) * 2021-12-16 2024-03-12 Lenovo (Singapore) Pte. Ltd. Fixed user interface navigation
CN116795203A (zh) * 2022-03-17 2023-09-22 北京字跳网络技术有限公司 基于虚拟现实的操控方法、装置及电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8935003B2 (en) * 2010-09-21 2015-01-13 Intuitive Surgical Operations Method and system for hand presence detection in a minimally invasive surgical system
EP3654146A1 (en) * 2011-03-29 2020-05-20 QUALCOMM Incorporated Anchoring virtual images to real world surfaces in augmented reality systems
US20120249740A1 (en) * 2011-03-30 2012-10-04 Tae-Yon Lee Three-dimensional image sensors, cameras, and imaging systems
US9477303B2 (en) * 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US10228242B2 (en) * 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
CN112651288B (zh) 2014-06-14 2022-09-20 奇跃公司 用于产生虚拟和增强现实的方法和***
US20160088060A1 (en) * 2014-09-24 2016-03-24 Microsoft Technology Licensing, Llc Gesture navigation for secondary user interface
US10067636B2 (en) * 2016-02-09 2018-09-04 Unity IPR ApS Systems and methods for a virtual reality editor
DE102016006767A1 (de) * 2016-06-02 2017-12-07 Audi Ag Verfahren zum Betreiben eines Anzeigesystems und Anzeigesystem
CN108536273A (zh) * 2017-03-01 2018-09-14 天津锋时互动科技有限公司深圳分公司 基于手势的人机菜单交互方法与***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI764838B (zh) * 2021-09-27 2022-05-11 國立臺中科技大學 整合即時錄影與截圖功能之同步直播教學裝置

Also Published As

Publication number Publication date
US20200387228A1 (en) 2020-12-10
KR20220016274A (ko) 2022-02-08
JP2022535316A (ja) 2022-08-08
US10890983B2 (en) 2021-01-12
WO2020247550A1 (en) 2020-12-10
CN113853575A (zh) 2021-12-28
EP3980870A1 (en) 2022-04-13

Similar Documents

Publication Publication Date Title
TW202113555A (zh) 具有滑動選單的人工實境系統
EP3997552B1 (en) Virtual user interface using a peripheral device in artificial reality environments
US11003307B1 (en) Artificial reality systems with drawer simulation gesture for gating user interface elements
CN113826058B (zh) 具有自触觉虚拟键盘的人工现实***
TW202046085A (zh) 基於捏合和拉放手勢偵測人工實境系統中的輸入
US20200387286A1 (en) Arm gaze-driven user interface element gating for artificial reality systems
US10921879B2 (en) Artificial reality systems with personal assistant element for gating user interface elements
US11086475B1 (en) Artificial reality systems with hand gesture-contained content window
US10955929B2 (en) Artificial reality system having a digit-mapped self-haptic input method
US11043192B2 (en) Corner-identifiying gesture-driven user interface element gating for artificial reality systems
US10852839B1 (en) Artificial reality systems with detachable personal assistant for gating user interface elements