TWI516099B

TWI516099B - 用以降低平台電力之帶有延遲期間的視訊串流之手勢前置處理技術

Info

Publication number: TWI516099B
Application number: TW103100634A
Authority: TW
Inventors: 傑瑞米布爾
Original assignee: 英特爾公司
Priority date: 2013-01-09
Filing date: 2014-01-08
Publication date: 2016-01-01
Also published as: US9104240B2; EP2755165A3; US20140193030A1; CN103916647B; CN103916647A; TW201448581A; EP2755165A2

Description

用以降低平台電力之帶有延遲期間的視訊串流之手勢前置處理技術

本發明係有關於用以降低平台電力之帶有延遲期間的視訊串流之手勢前置處理技術。

發明背景

大半終端使用者對電腦的使用係連結至網際網路且係透過瀏覽介面進行。常見使用及活動例如包括，以搜尋引擎為基礎的瀏覽、電子郵件、社交網絡、內容消費(例如新聞文章及觀看視訊)、內容分享(例如相片、音樂等)、線上購物及採買、及地圖及指南，只列舉其中少數。此等常見網際網路的使用通常涉及某種形式的以使用者為基礎的導航，諸如典型係使用滑鼠或觸控墊及關鍵字完成。

致力於改良使用者的導航經驗，已經出現以手為基礎的導航技術。更明確言之，使用者手的移動可藉所謂的網路攝影機記錄及轉譯成指標器的移動。結合網路攝影機操作的典型以手為基礎的導航應用能夠仿真通常使用常規滑鼠或觸控墊進行的動作：點選、點兩下、拖曳、及捲動。一使用者也可使用頭部移動以控制電腦或以其它方式執行導航。使用相機以具現人體手勢有兩種基本方法：使用具有所謂的標記之物體的手勢(於該處標記係部署在與相機感測器互動的視野)，及無標記手勢(諸如無標記手勢)。無標記手勢技術能夠使用三維或3D相機(具有Z深度)具現，其典型的觀察距離係在約3至5米之範圍；或使用二維或2D相機(從2D資訊解譯3D移動)具現，其典型的觀察距離係在約0.5米之範圍。

於運算環境諸如桌上型電腦或工作站、膝上型電腦或平板電腦、或遊戲機臺中的圖形處理通常涉及大量複雜的運算。此等運算例如包括確保影像被適當地即時地呈現以及手勢辨識。此等操作之脈絡中出現多個重要議題。

依據本發明之一實施例，係特地提出一種用於處理一原始視訊串流之系統包含一臨界值檢測階段係經組配以決定該視訊串流之一目前訊框與該視訊串流之一前一訊框是否有足夠差異，且響應於該目前訊框與該前一訊框不具有足夠差異，該臨界值檢測階段係進一步經組配以停止藉由一接續階段對該目前訊框的進一步處理；及一目標存在階段係經組配以決定該目前訊框是否包括膚色著色像素，且響應於該目前訊框不包括膚色著色像素，該目標存在階段係進一步經組配以停止藉由一接續階段對該目前訊框的進一步處理；其中該等臨界值檢測及/或目標存在階段中之至少一者可被選擇性地解除作動歷經一延遲期間。

802、902‧‧‧平台

900‧‧‧系統

905‧‧‧晶片組

910‧‧‧處理器

912‧‧‧記憶體

914‧‧‧儲存裝置

915‧‧‧圖形次系統

916‧‧‧應用程式

918‧‧‧無線電

920、1004‧‧‧顯示器

922‧‧‧使用者介面

930‧‧‧內容服務裝置

940‧‧‧內容傳遞裝置

950‧‧‧導航控制器

960‧‧‧網路

1000‧‧‧裝置

1002‧‧‧殼體

1006‧‧‧輸入/輸出(I/O)裝置

1008‧‧‧天線

1012‧‧‧導航特性件

圖1a圖解示例說明依據本發明之一實施例，用以進行一視訊串流的手勢前置處理以減低平台功耗的一種梯級式、分散式方法。

圖1b示例說明依據本發明之一實施例圖1a之梯級式分散式處理的流程圖。

圖2a示例說明依據本發明之一實施例一系統的方塊圖，該系統係經組配以進行一視訊串流的梯級式、分散式手勢前置處理以降低平台功耗。

圖2b示例說明依據本發明之一實施例，來自於圖2a之系統的不同階段之控制及資料。

圖2c顯示依據本發明之一實施例給定一特定電腦系統安裝設定，針對多個方法各自的典型CPU利用率，及如此驗證藉使用一視訊串流處理的梯級式、分散式手勢前置處理所能具有的改良潛力。

圖3a示例說明依據本發明之一實施例，經組配以進行一視訊串流的梯級式、分散式手勢前置處理以降低平台功耗的一電腦系統使用情況實施例。

圖3b-e各自示例說明依據本發明之一實施例相機及GP電路之配置實施例。

圖4示例說明依據本發明之一實施例，經組配以進行一視訊串流的梯級式、分散式手勢前置處理俾便降低平台功耗的電腦系統之方塊圖。

圖5示例說明依據本發明之另一實施例，經組配以進行一視訊串流的梯級式、分散式手勢前置處理俾便降低平台功耗的電腦系統之方塊圖。

圖6示例說明依據本發明之另一實施例，經組配以進行一視訊串流的梯級式、分散式手勢前置處理俾便降低平台功耗的電腦系統之方塊圖。

圖7示例說明依據本發明之一實施例，可降低多少平台功耗之一實施例。

圖8示例說明依據本發明之另一實施例，經組配以進行一視訊串流的梯級式、分散式手勢前置處理俾便降低平台功耗的應用程式規劃介面(API)之方塊圖。

圖9示例說明依據本發明之一實施例組配的媒體系統。

圖10示例說明依據本發明之一實施例組配的行動運算系統。

較佳實施例之詳細說明

揭示藉採用梯級式及分散式管線方法用以處理一視訊串流以減低平台電力的技術，其中選擇性地執行CPU密集處理。依據若干實施例，該等技術係特別地適合用於一視訊串流的有效以手為基礎的導航手勢處理。該項處理的梯級式及分散式本質許可在影像處理之前，從一給定相機轉移影像資料至記憶體所需的電力減低。舉例言之，於一個範例情況下，該等技術係在一使用者的電腦系統中具現，其中初始臨界值檢測(影像擾動)及選擇性地，使用者存在(手影像)處理組件係在該系統的相機附近或內部，及該相機係位在該系統的主顯示器內或附近。當該使用者的打手勢的手結合某個其它使用者活動諸如鍵盤、滑鼠或觸控螢幕活動時，該等技術藉由在手勢前置處理期間，選擇性地導入一延遲期而可進一步減少影像處理。當此種活動係由電腦系統檢知時，可安全地推定以手為基礎的打導航手勢不會同時地進行，因此於此等無手勢期間及歷經其後的一簡短延遲期(例如50至1000毫秒，或50至500毫秒，或50至100毫秒)可停止影像處理，該延遲期間通常係反映該使用者將他/她的手從滑鼠/鍵盤/螢幕位置移動回中性位置所耗的時間週期，於該處典型地進行以手為基礎的打導航手勢。此種停止可選擇性地從事，諸如唯有當該電腦系統係用電池或其它有限電力操作時才執行。該電腦系統例如可為具有在系統內部及/或外部的顯示器及相機的行動式或固定式電腦系統。於某些情況下，此種中性位置的所在可由使用者組配。

概略綜論

如先前解說，在圖形處理脈絡中，特別就手勢辨識脈絡而言有多項重要議題。舉例言之，執行典型2D及3D視訊影像處理以供手勢辨識的工作負荷耗用相當大量輸入/輸出(I/O)電力，且讓中央處理單元(CPU)利用率及平台熱設計功耗(偶爾稱作為TDP)預算變最大化。此等問題在下列應用中更為擴大，於該處相機「經常性地啟動」及提供影像以供處理，因此即便在該視覺影像內部沒有任何動作仍然不斷地耗電。舉例言之，拍攝影像資訊及推送至CPU接受處理容易耗用超過10瓦，即便簡單手勢或否則運算上簡單的工作亦復如此。大半影像處理工作負荷典型地涉及更加運算上複雜的工作且係在或接近可用的最大視訊處理功率操作，及本質上係受CPU利用率及功率預算所限。如此，影像處理應用程式可能消耗全部可用的CPU週期，沒有留下或否則留下不足的CPU處理能力給其它應用。相機電力本身係占在影像處理之前將影像資料從相機移轉至記憶體所需視訊拍攝電力(含平台控制器中樞器、CPU、及記憶體電力)中的相對小分量。影像處理演算法受此等因素而有效地自限性，及若利用該演算法時將耗用遠更多電力。舉例言之，典型的演算法自限制訊框率為每秒15框(FPS)，使用較高FPS將獲得較佳的辨識。如此，視訊影像處理可能消耗最大量平台功率，即便沒有關注影像(例如打手勢等)有待分析時亦復如此。

如此及依據本發明之實施例，揭示用以降低平台電力之視訊串流之處理技術。雖然該等技術可用以處理任一型視訊內容，但依據若干實施例係特別地適合用於一視訊串流的有效的以手為基礎的導航手勢處理。該等技術可以梯級式及分散式具現，使得在影像處理之前將影像資料從相機移轉至記憶體所需的電力大減。舉例言之，於一個實施例情況下，該等技術可在一使用者的電腦系統具現，其中前置處理組件係在該系統的相機附近或內部，及該相機係位在該系統的主顯示器內或附近。於若干此等實施例中，該等技術進一步包含藉由在手勢前置處理期間選擇性地導入一延遲期而減少影像處理。詳言之，沒有以手為基礎的導航手勢期間可識別為此時使用者的手正在從事若干其它以使用者介面為基礎的活動，諸如以鍵盤或滑鼠或觸控螢幕為基礎的活動。當由電腦系統偵知此等活動時，可安全地推定不會同時進行以手為基礎的打導航手勢，因此於此等無手勢期間及歷經其後的一簡短延遲期(例如50至500毫秒)可停止影像處理，該延遲期間通常係反映該使用者將他/她的手從滑鼠/鍵盤/螢幕移動回中性位置所耗的時間週期，於該處典型地進行以手為基礎的打導航手勢。此種停止可選擇性地從事，諸如唯有當該電腦系統係用電池電力操作時才執行。依據若干實施例，當利用外部電源操作時，則該延遲期可設定為零以提供即時反應性，此點針對某些應用諸如以手勢為基礎的遊戲時可能合乎所需。

該電腦系統例如可為膝上型電腦或小筆電(其中該顯示器乃蓋型顯示器)，或桌上型電腦或工作站電腦或遊戲主機(其中該顯示器為外部顯示器)，或平板電腦或智慧型手機(其中該顯示器乃該電腦系統的該使用者介面及殼體的一體成型部件)。該顯示器例如可為LCD或CRT、或觸控螢幕顯示器，且可與計算裝置一體成型(例如平板電腦、膝上型電腦、行動電話)或在計算裝置外部(例如桌上型電腦、膝上型電腦或平板電腦)。相機例如可為單一2D相機或網路相機，但可使用任何合宜的相機技術，包括3D相機或所謂的立體相機對，且可與計算裝置及/或顯示器一體成型或在外部。

依據一個具體實施例，前置處理組件包括臨界值檢測階段、目標存在階段、分節階段、手剖析器階段、及手勢辨識階段。臨界值檢測階段通常係經組配以決定一視訊框是否為有效地空白。若該訊框並非空白或已經從前一框以有意義的方式改變，則處理過渡至目標存在階段，其係經組配以找出目標像素顏色，特別其顏色匹配膚色特性的像素。若找到夠多個膚色像素提示可能存在有一手指，則處理過渡至分節階段，其係經組配以分開關注像素與非關注像素，因而操作為適應性膚色檢測階段(膚色/非膚色邊緣檢測)。於一個實施例組態中，此一階段將一彩色視訊框變換成一斑點影像，可編碼成單色影像或灰階影像。斑點用以表示膚色像素區。依據若干具體實施例，此一階段也係經組配以校正相機雜訊及照明差異，使用侵蝕變形法及膨脹變形法平滑化斑點。

手剖析器階段係經組配以進行由分節階段所產生的斑點資料之空間解譯，及試圖將斑點資料對映至人解剖幾何形狀。依據一實施例，該相關性之選擇大半係取決於使用狀況及有關相機的打出該導航手勢的人的視角之假設。取決於景況而定，偶爾只要求邊資料，偶爾要求填滿的斑點資料，偶爾要求人造手模型。如將瞭解，取決於被成像的身體部分之複雜程度，解剖專一性剖析可能難以通俗化，因而難以置入固定函式解。但於本使用情況下，在手剖析器階段，例如藉分析手斑點邊緣可檢測得手。例如，手剖析器階段可經組配以比較邊的斜率以識別峰(指尖)的位置。依據若干具體實施例，從手斑點可定位拇指及食指，及此等可用作為手勢辨識工作的目標。手勢辨識階段係經組配以從事由手剖析器階段所生成的解剖/手資料的時間性解譯。舉例言之，若手勢辨識階段係用以檢測滑鼠相當操作，則可尋找使用者指尖及/或手的位置變化。

注意並非全部此等五個前置處理階段必須在該電腦系統的相機附近或內部。也無需全部皆在電腦系統的顯示器內或附近以達成節電。舉例言之，鑑於本文揭示將明瞭，若臨界值檢測階段及目標存在階段乃在顯示器附近的相機感測器內具現的唯二階段，而其餘階段係在CPU(例如作為手勢API的一部分，容後詳述)中具現，則此一實施例仍將達成顯著節電。又，不同的使用模型可指示不同的具現策略。舉例言之，可能期望有兩模型操作：2D模型用於網際網路導航(較為隨便的用途涉及相對低複雜度手勢)，及3D模型用於較為密集應用程式(例如CAD操縱、後製軟體可能涉及相對高複雜度手勢)。於此等實施例中，2D模型可全然在相機感測器內執行(因相機成本增高)，而3D模型可在相機感測器從事首二或首三階段，及然後將原始影像資料傳送至手勢API用於藉電腦系統的CPU執行的手勢處理階段(或將原始影像資料傳送至特化軟體應用程式)。在2D及3D兩者模型中達成節電，特別當在相機的視野(FOV)內沒有任何關注事物時尤為如此。

於若干實施例中，多個梯級式及分散式前置處理組件的邏輯連結至電腦系統係具現為手勢應用程式規劃介面(後文稱作「手勢API」)。依據若干實施例，該手勢API例如可呈現為擴延通用串列匯流排人機介面(USB HID)類別裝置。一般而言，手勢API有效地暴露來自多個前置處理階段(臨界值檢測階段、目標存在階段、分節階段、手剖析器階段、及手勢辨識階段)的資訊，使得若期望時，此種資訊可由電腦系統的其它部件使用。於若干實施例中，該API可進一步經規劃或以其它方式經組配以含括安全性/私密性策略，因而例如防止電腦系統的CPU或其它資源被來自於該視訊串流的不安全資訊所接取。

如鑑於本文揭示將瞭解，此處提供的手勢前置處理視訊串流技術可用於多項應用中之任一者，包括改良以手勢為基礎的網際網路導航以及以手勢為基礎的電腦導航。該項技術有用的一項此種特定應用為使用距離約0.5米的2D相機之無標記手勢辨識。但若有所需，該等技術可應用至無數其它應用，含以3D為基礎的應用。如鑑於本文揭示將瞭解無數使用模型，諸如桌上型或使用者膝上型或公園長椅上型筆記型電腦或小筆電、家用或辦公室用有一或多個外接顯示器的桌上型電腦或筆記型電腦或小筆電、於工作/隔間環境的桌上型電腦或筆記型電腦或小筆電、咖啡廳桌面上的筆記型電腦或小筆電、會議室桌面上的筆記型電腦或小筆電、飛機托盤頂面上的筆記型電腦或小筆電、及網咖(例如有一或多個外接顯示器的桌上型電腦)，只舉出數個實例。

如鑑於本文揭示將瞭解，電腦系統內部的視訊處理工作的功耗理想上地係與得自電腦系統的相機感測器之原始影像資料的摘要程度相稱。換言之，原始影像資料消耗極少電力，臨界值影像遞增地消耗更多功率，檢測存在消耗又更多功率等。依據一實施例，為了達成此項目的，前置處理組件有效地具現一分段或分級的操作序列，於該處進行中的各個階段漸進地消耗更多電力以在該視訊串流的影像內部產生更高層級的相關資訊或意義。但須注意有些中間階段可能使用比後來階段更多的電力，及本案所請求專利的本發明絕非意圖囿限於具有任何特定功耗進展的階段。例如，於若干實施例中，分節階段比另四個階段的組合更加運算密集。總體而言，前置處理組件集合地且有效地可分析一原始(未經壓縮的)視訊串流或一視訊串流的子集以決定在該視訊串流的影像內部之意義或相關性。該等前置處理組件例如可於硬體(例如暫存器傳送語言諸如硬體描述語言(Verilog)或VHDL，或其它閘層面邏輯或特製半導體)或軟體/韌體(例如於微控制器內執行的微碼)具現。

系統架構

圖1a圖解示例說明依據本發明之一實施例，用以進行一視訊串流的手勢前置處理以減低平台功耗的一種梯級式、分散式方法。如圖可知，有五個分開的資料摘要層面可有效地劃分在電腦系統的分散式效能基元與CPU間。此等層面包括原始資料、臨界值化、存在、指令、及辨識。如圖進一步可知，與此等資料摘要層面各自相聯結的處理可於(或接近)相機內進行，或在圖形處理單元(GPU)硬體加速度或在CPU上執行的應用軟體上進行。如圖進一步可知，在該等位準中之至少某一者處理可以一個延遲期具現，如此處解釋，當可推定在相機的視野內並未出現相關活動時的適當時間，該延遲期間可用以有效地將該層面的處理解除作動。

原始資料例如可為編碼視訊串流或原始影像串流。原始資料通常指示本經壓縮的影像資料，而編碼視訊串流典型地係經壓縮。壓縮演算法典型地係用以匹配大量資料通過低頻寬通訊通道，此點典型地係在相機感測器晶片內部進行。資料壓縮典型地降低了影像的保真度且使得影像處理更加困難。在臨界值化層面，可進行臨界值化以偵知影像的干擾因而粗略地識別使用者活動的存在。舉例言之，此種粗略識別將檢測得從沒有使用者存在的資料訊框之一串流過渡成有使用者存在的資料訊框之一串流，如使用者移動(視訊內容)及/或使用者語言(音訊內容)指示。如於本具體實施例中可知，原始資料層面及臨界值化層面各自可在相機內部或否則在附近處理。

一旦此種粗略識別係在臨界值化層面完成，則在存在層面可識別內容中特定使用者特徵的存在。舉例言之，特定使用者特徵可包括使用者的臉及/或手。進一步參考圖1a描繪的該具體實施例可知，於某些情況下，可在相機內部或否則在附近進行此種特定層面的處理，或於其它情況下藉GPU作為加速處理，取決於涉及的影像分析複雜度(例如臉部分析可能比手部分析更複雜)。

一旦做出此種精緻辨識特定使用者特徵存在於內容串流中，則該等使用者特徵可在指令層面大致上評比手勢。舉例言之，臉部及/或手部活動通常可評比為指令狀手勢，例如移動手或轉頭。進一步參考圖1a描繪的該具體實施例可知，此一特定處理層面可藉GPU作為加速處理進行。於某些情況下，GPU可與CPU共用定位，或可透過匯流排而操作式耦接至CPU。於後述情況下，GPU可與CPU位在同一片母板上，或在母板外部(例如在操作式耦接至母板的專用圖形處理卡上，或在透過一通訊埠操作式耦接至電腦系統的一外部圖形處理裝置上)。

一旦識別一指令狀手勢，然後在辨識層面該手勢經評估為一特定指令。該指令例如可為一使用者導航指令用以引導該使用者正在執行的線上購物處理。舉例言之，至於視訊內容，以臉為基礎的手勢可接受臉部辨識，及/或以手為基礎的手勢可接受分析以辨識符合美式手語(ASL)的手勢，因而識別一給定指令。如進一步參考圖1a描繪的該具體實施例可知，此一特定層面的處理可藉在CPU上執行的應用軟體進行。

圖1b示例說明依據本發明之一實施例圖1a之梯級式分散式處理的流程圖。如於本具體實施例可知，在一給定電腦設施中一視訊相機用來產生一使用者手部活動的原始影像資料。於其它實施例中，該欲處理的視訊內容可包括使用者的臉部活動。如鑑於本文揭示將瞭解，與內容型別獨立無關，此處提供用於前置處理媒體內容的梯級式及分散式技術可以類似方式同等適用。

流程始於接收來自該感測器的原始影像資料串流，其可包括一或多個相機。如此處討論，若使用多於一個相機，則各個視訊串流可據此處理。如圖可知，於本具體實施例中的初處理層面(臨界值化及存在層面)可在延遲期間被選擇性地解除作動，如轉向參考圖2a將解釋。用於圖1b之本文描述其餘部分之目的，假設於此等層面的處理被作動。

在臨界值化層面，視訊串流經分析以檢測視訊串流的擾動。於一個具體實施例中，若該目前視訊框與前一個視訊框的差異係大於10%，則可簽發一檢測信號。臨界值依一個實施例與下個實施例不同(例如5%或以上，或50%或以上等)，且可視期望的給定因素設定，諸如針對一給定電腦系統(使用例)設施觀察得的特定環境及對該環境/系統中的變化之期望敏感性程度。若未超過預先確立的粗略臨界值，則該處理繼續接收與監視原始影像資料。但若超過該粗略臨界值，則該處理繼續存在層面，在該影像中檢測得一使用者手。如先前解釋，於若干實施例中，於臨界值及存在層面的前置處理可在相機電路進行，或在專用電路進行，該專用電路係經組配以部署於相機附近且與相對短距離的相機操作式耦合(例如少於0.1米，諸如0.05米或以下，或透過匯流排結構或其它合宜通訊埠直接地耦接至相機機殼)，使得IO電力比較若來自相機的全部影像內容係提供給在該CPU上執行的應用軟體時將使用的IO電力減低。如將瞭解，本案所請求專利的本發明並非意圖受限於在該專用電路與給定相機感測器間的任何特定距離之範圍；反而此處提出的使用梯級式、分散式前置處理方案的構思可在任何多個組態具現。若該影像不包括任何可被辨識為使用者手的內容，則該處理繼續接收與監視原始影像資料。

但若該影像確實包括可被辨識為使用者手的內容，則該處理繼續在或否則朝向指令層面，將成像手與已知手勢相聯結的人造手模型對映。於若干此等具體實施例中，成像手與多個此等模型作比較，針對各個模型決定相似性分數。該處理繼續在指令層面決定影像是否包括打出已知手勢的手。於若干此等情況下，例如，獲得最高相似性分數的模型可識別為匹配。於其它情況下，具有相似性分數超過預先確立臨界值的第一模型可被識別為匹配(因而無需測試全部模型)。如先前解釋，於若干實施例中，此一指令層面前置處理可進行為GPU加速處理。若於指令層面決定該影像不包括打出已知手勢的手，則處理返回存在層面，繼續分析視訊串流有關影像中是否有一使用者手。如鑑於本文揭示將瞭解，指令層面通知存在層面有關其發現(例如並無斑點資料)，使得在存在層面的處理係以經教育訓練方式進行。

但若在指令層面決定該影像不包括打出已知手勢的手，則該處理繼續傳送該手勢資料給應用軟體用以在辨識層面處理。如先前解釋，此一處理層面傾向於為CPU 密集。於本實施例情況下，進一步注意手勢資料透過USB HID API(手勢API)而上傳該堆疊。此一API將轉向參考圖8討論。如進一步將瞭解指令層面的決定可足以確切地識別一已知手勢，及將不執行隨後在以CPU為基礎的辨識層面之處理，藉此進一步節省以CPU為基礎的功耗。

如此，藉由在相機內部或否則附近進行至少部分程度的一視訊串流之手勢前置處理，可實質上節省功耗，特別有助於行動運算裝置(例如膝上型電腦、小筆電、平板電腦、智慧型手機等)。一般而言，原因在於大部分視訊處理涉及相對低複雜度處理，可在經組配及定位以減低IO活動及CPU工作負荷的分散式電路中進行，而涉及較高複雜度處理的處理之其餘百分比可發送作為原始資料給GPU用於加速處理及/或給CPU內的驅動器(應用軟體)用於處理。就此方面而言，此處提供之技術藉運用專用分散式效能基元或在相機及GPU內(或附近)跑的硬體函式，可減少在通用CPU核心執行的以軟體為基礎的演算法之需要。

圖2a示例說明依據本發明之一實施例一系統的方塊圖，該系統係經組配以進行一視訊串流的梯級式、分散式手勢前置處理以降低平台功耗。如圖可知，該系統為手勢處理管線，其係經組配以多個分散式組件(本實施例情況下為五個)。於本具體實施例中，該等組件中之二者亦即臨界值檢測階段及目標存在階段係具現為手勢前置處理(GP)電路，該電路係在相機內部或否則在其附近。視情況而定，響應於延遲期控制信號，此二組件各自可被作動或解除作動，將參考表1作說明。如鑑於本文揭示將瞭解，GP電路若係實際上直接整合於相機電路內部或否則充分地接近相機，則GP電路可被視為與相機「共同定位」，只要GP電路係足夠接近相機感測器因而減低IO功率及CPU處理時間，或否則比較CPU更加接近相機即可。另一組件分節階段為GPU加速度。另二組件亦即手剖析器及手勢辨識階段係在電腦系統的CPU執行。如鑑於本文揭示將顯然易知在本梯級式及分散式架構上的變異，於該處任何此等梯級式及分散式架構允許就活動及閒置電力景況為最佳化。更明確言之，與相機及GPU共同定位的視訊處理組件更加有效地固定功能，因而比傳統CPU解相同運算問題要求更少電力。

如此處使用，「GP電路」乃積體電路，其係經組配以進行圖2a所示五個階段中之一或多者，其係在提供有待分析的視訊串流的相機內部具現，或其係具現為專用電路經組配以藉前文解釋的相對短連結而與該相機直接耦合(例如比較習知技術減低IO功率及CPU週期，於習知技術中全部視訊係從相機送至以CPU為基礎的驅動器)。共同定位的GP電路及相機各自可集積於顯示器內部，或在顯示器外部，或某種合宜組合。舉例言之，於若干特定具體實施例中，該GP電路可具現在行動運算裝置(例如膝上型電腦、小筆電等)的鉸接顯示器蓋內部，且在也係埋設在該蓋內部的一相機電路附近。於其它此種以蓋為基礎的顯示器情況下，GP電路可直接地具現在埋設相機本身內部。於其它具體實施例中，該GP電路可直接地具現在外部相機內部，該相機係經組配以夾在或以其它方式操作式耦接至例如電腦系統(例如桌上型電腦、膝上型電腦等)的以蓋為基礎的或外部顯示器。於又其它具體實施例中，該GP電路可於離散包裝具現且係經組配以操作式耦合此種外部相機。於又其它具體實施例中，該GP電路可埋設在外部顯示器的殼體內部及在相機電路附近，其也係埋設在該顯示器內部。於其它此等外部顯示器之實施例中，該GP電路可直接地具現在埋設式相機本身內部。如鑑於本文揭示將瞭解，該GP電路與相機電路間的集積程度或接近程度愈大，則在該相機與GP電路影像處理次系統間的IO功率所能達成的減低愈大。

該臨界值檢測階段乃該管線中的第一階段，且係經組配以粗略地決定一視訊框是否有效地為空白。若該目前視訊框係與前一框充分相似，則該框被視為空白。依據一個此種實施例，此點例如可使用具現加總與比較各個框的亮度通道之簡單演算法的低功率晶片達成，若該視訊使用RGB色彩空間，則由綠分色取代其位置，原因在於YUV像素的大部分亮度成分係含在RGB像素的綠分色。若目前框與前一框間的差異係大於一給定臨界值，則將觸發移動至下個階段。否則空白框不送至下個階段，如此輔助當該使用者不打手勢時的電源管理。

依據一實施例，該目標存在階段係經組配以具現相對低複雜度方法以找出目標像素顏色。於某些情況下，此一階段尋找其顏色匹配膚色特性的像素。與膚色的匹配例如可於晶片中進行，該晶片係經組配以將RGB(或YUV)資料串流變換成HSV像素。人類膚色占有色調中相對有限範圍，允許快速的低功率的固定函式變換及比較。注意該目標存在階段不要求針對前一框的任何資料儲存或資訊。若在掃描線發現有足夠膚色像素提示可能存在有手指，則處理過渡至下個階段。否則，不存在有目標的框或含不足量膚色像素的框不送至下個階段，如此輔助當該使用者不打手勢時的電源管理。

依據一實施例，分節階段係經組配以接收來自該目標存在階段的目標存在訊框，及分開關注像素與不關注像素。於一個實施例中，此一階段具現適應性膚色檢測演算法，其將一彩色視訊框變換成一斑點影像，該斑點影像可被編碼為單色或灰階影像。舉例言之，以灰階影像為例，非零像素可用以表示一斑點的像素，及黑像素指示一非斑點的像素。基本上，斑點用以表示膚色像素區。該適應性膚色檢測根據訊框資料調整皮膚色調的下限及上限。除了使用侵蝕變形法及膨脹變形法平滑化斑點之外，如此也消除因相機雜訊及照明所致的相散像素。如已知形態學乃根據形狀處理數位影像的數學方法。膨脹變形通常係指膨脹或填補一目標物體的操作。侵蝕變形涉及類似方法，但係在影像背景上操作而非在物體上操作。如鑑於本文揭示將瞭解，許多GPU具有指令可經槓桿化用於分節階段的最佳化具現。

依據一實施例，手剖析器階段係經組配以從事斑點資料的空間解譯。於一個特定具體實施例中，取決於接受評估的目標手勢，該階段試圖將斑點資料對映至人解剖幾何形狀，諸如人手模型或人體模型。如鑑於本文揭示將瞭解，該手剖析器階段試圖將斑點資料與人體部分/姿勢相關聯的方式大半係取決於使用情況，及環繞該人的相機視角的假設。斑點的解譯方式也有差異。於某些情況下，只使用邊緣決定人體幾何形狀即足。於其它景況下，填空的斑點更加適合。於某些情況下，來自於分節階段的斑點資料可能需要額外處理以去除對正確地剖析不利的斑點上的視覺假影，及該手剖析器階段可經組配以去除此等假影。以相機經組配以觀看使用者的手為例，藉分析手斑點的邊緣可檢測手指。比較在邊緣上不同取樣點的斜率可提示峰(例如指尖)位置。進一步分析該等峰狀斑點(就各個像素間之距離及斜率而言)，能夠揭露指尖係附接至指幹。若有所需，此一階段可試圖仿造一整個人手，含全部五個指尖位置。於某些情況下，檢測單一手指即足。就此方面而言，使用模型決定所需分析量。如先前指示，解剖專一性剖析(例如手剖析)可能難以普及化，因而難以置於固定函式矽晶片。因此，於若干實施例中，手剖析器階段係藉CPU執行。

依據本發明之一實施例，手勢辨識階段係經組配以從事解剖/手資料的時間性解譯(接收自手剖析器階段的斑點資料)。舉例言之，若該階段係用以分析滑鼠或觸控墊的操作，則可尋找一或多個指尖的位置改變。於某些情況下，原先相機影像中的移動模糊將使得手剖析器階段難以決定人體解剖。於此種情況下，手勢辨識階段可探討有關使用情況的假設以改良手勢解譯的可靠度。舉例言之，若手剖析器階段在一框內成功地檢測得一完整手指，但只能決定下個框內的指尖位置(例如無法確定該指尖所附接的「適當」手指)，則手勢辨識階段可假設在下個框乃同一根手指。

概略言之，分節階段、手剖析器階段及手勢辨識階段可經組配以發送回授給臨界值檢測階段或目標存在階段。舉例言之，於圖2a之具體實施例中可知，若手剖析器階段確實找到一個夠大的斑點可能為手，則可發訊給臨界值檢測階段復置前一框的亮度/綠計數器為零，藉此迫使下個框指示該框係為非空白框。於一個特定具體實施例中，此型傳訊可透過在GP電路的臨界值檢測階段矽晶片上的單一針腳/導線具現，例如可從一驅動器控制。依據另一實施例，另外也可於USB上方進行。如此有助於防止下述景況，於該處不動的手造成臨界值檢測階段誤認該手乃靜態背景的一部分。另一個回授迴路情況之實施例為當檢測得夠大的斑點時(如圖2a之描繪及標示以目標存在-資料流)，迫使系統從相機直接發送資料至分節階段，不會發送至臨界值檢測階段及目標存在階段。此型表現藉由去除不必要的臨界值相關處理而改良功率。但須注意雖然此種回授機制可提供進一步的最大化程度，但非全部實施例所必需。即便此等技術具現的成本貴得驚人，舉例言之，替代解決方案為每1或2秒落回至目標存在階段以檢查目標是否連續存在。於此種情況下，付出的犧牲則為喪失一個訊框的手勢指令資料。

圖2b描述依據本發明之一實施例，來自於圖2a之系統的不同階段之控制及資料。依據一個具體實施例，GP電路可經組配以臨界值檢測階段及目標存在階段，且可進一步經組配以控制資料多工器，決定是否向上游發送資料(用於分節)以喚醒系統與否。依據若干此等實施例，運用此種應需發送資料的辦法，可達成顯著地保留平台電力，及唯有當需被喚醒時才喚醒電腦系統。

如圖可知，來自一起始框的原始資料提供給臨界態，該臨界態係經組配以比較針對關注區域的前一框，檢測一給定框的改變。若不符合改變臨界值，則可減少FPS，及處理繼續監視訊框的原始資料。若滿足臨界值，則原始資料發送至目標存在階段，該階段係經組配以尋找在關注色調範圍內的目標存在。色調範圍例如可使用藉多個實施例收集的實驗資料決定。於其它實施例中，色調範圍可決定作為初始安裝設定過程或校準過程量測一給定使用者的膚色的一部分。於任何此等情況下，若沒有找到合宜目標，則控制返回臨界態。否則，若在該給定框率(例如內設框率或於本控制迴路中精製的框率)找到一合宜目標，則控制發送給分節處理態，如先前解說，進行適應性膚色檢測。也須注意如先前解釋，於若干實施例中，於某些情況下，諸如當檢測得夠大的斑點時(如圖2b之描繪及於處理態期間標示以資料/控制流程)，系統可將原始資料從相機直接發送至分節處理態，不會發送給臨界值及目標存在態。

於任何此等情況下，分節處理態係經組配以進行適應性膚色檢測以將影像分節。於若干實施例中，使用變形方法，可消除雜訊且可平滑化影像。適應性皮膚影像資訊提供給手剖析器態，其係經組配以對映斑點資料至人類解剖幾何形狀，諸如於本實施例情況下的人手模型。若手剖析器態無法驗證一給定斑點係相對應於一手，則控制返回目標存在態(未檢測得斑點)。但若手剖析器態確認一給定斑點係相對應於一手，則控制發送至手勢辨識態(找到斑點)。然後手勢辨識態分析手資料的特定指令，諸如由使用者所提供的導航指令。當完成此項分析時，該訊框的處理流程已經完成，然後可據此控制在該電腦系統上執行的給定應用。

圖2c顯示在GP電路中可具現的五個處理各自的典型CPU利用，給定一特定設定其包括2-2.66GHz CPU及USB相機其提供640x480像素視訊資料框。如圖可知，分節耗用最大利用率，具有較少迭代重複改變，分節乃可被加速的良好候選者。依據本發明之一實施例，藉GPU加速的適應性膚色檢測演算法將有助於改良系統總體的效能及電源效率。由於工作負荷可在CPU/GPU間分攤，如此也將確保資料框的處理而無任何框遺失。典型最惡劣情況手剖析器利用率係出現在當找到較大型斑點及有較長周邊長度時。依據若干具體實施例，在如此處描述區劃該處理(例如臨界值檢測及目標存在係分散於USB相機或其附近，及分節係經GPU加速)後，總CPU利用率將低於10%。

使用情況及系統組態實施例

圖3a示例說明依據本發明之一實施例，經組配以進行一視訊串流的梯級式、分散式手勢前置處理以降低平台功耗的一電腦系統使用情況實施例。如圖可知，使用者以常見的或典型方式坐在電腦系統前方。本實施例的電腦系統顯示為具有外部顯示器的桌上型電腦配置，但也可為如所瞭解的任何合宜電腦系統，諸如膝上型電腦或小筆電或使用以蓋為基礎的顯示器之其它此種行動運算裝置，或使用外部顯示器的行動運算裝置，或觸控螢幕裝置諸如平板電腦或智慧型手機。

於任何此等情況下，本具體實施例的系統係進一步經組配以相機及GP電路。相機例如可用以拍攝使用者姿勢，諸如手勢。於圖3a描繪的本實施例之情況下，相機及GP電路係埋設在顯示器頂部，因而包括一視野FOV包括使用者手將使用例如電腦系統鍵盤、滑鼠、觸控螢幕、或其它此等輸入裝置活動區。但須注意給定如此處描述的系統之手勢解譯能力，該使用者無需實際上接觸此等輸入裝置。反而，該使用者可單純地在指定的使用者輸入區，諸如在視野FOV內移動他的或她的手，因而使用如此處討論的以手為基礎的手勢與電腦系統有效溝通。圖3b-e示例說明針對相機及GP電路的多個範例配置。

圖3b示例說明範例情況，於該處GP電路係整合入或以其它方式納入相機的成像積體電路(矽晶片或其它) 內部以藉由消除相機感測器與若少部分影像處理功能間的IO電力而進一步降低平台功耗。於本實施例情況下(以及圖3c-3e顯示的實施例情況)，GP電路包括至少臨界值檢測電路及目標存在電路，及若有所需，可能其它此處提供的手勢前置處理電路。圖3c示例說明另一個範例情況，於該處相機及GP電路係彼此分開具現，但雖言如此彼此接近及藉相當短的通訊匯流排而彼此操作式耦合，該匯流排於本具體實施例中為USB匯流排。如將瞭解，任何數目的其它合宜通訊埠及匯流排結構皆可使用。圖3d示例說明另一個範例情況，於該處GP電路係整合入或以其它方式納入相機的成像積體電路內部，及該相機係埋設於顯示器內部。圖3e示例說明另一個範例情況，於該處相機係嵌置於顯示器內，及GP電路係經組配為孤立裝置，其係經組配以操作式耦合該裝置的USB埠，因而提供接取嵌置其中的相機。如圖3a-e指示的任何此等情況下，該顯示器例如可為外部操作型顯示器、觸控螢幕顯示器、或以蓋為基礎的顯示器。

圖4示例說明依據本發明之一實施例膝上型電腦系統的方塊圖，該系統係經組配以進行一視訊串流的梯級式、分散式手勢前置處理俾便降低平台功耗。如圖可知，本實施例具有膝上型電腦的典型形狀因數，包括一基板部分，其係藉鉸鏈而操作式耦接至一顯示器部分。該顯示器可具有觸控螢幕能力，但例如也可為LED顯示器。一般而言，所顯示的架構及功能大半視需要可以習知的或客製的技術具現，但與視訊內容的梯級式及分散式手勢前置處理的架構及功能例外，其係依據本發明之一實施例具現及容後詳述。

於本實施例情況下，GP電路係含括於顯示器電路的感測器資料處理區塊，其係透過一相對應的行動工業處理器介面-相機串列介面(MIPI-CSI)而操作式耦接至兩個整合型相機。一個相機係聚焦在第一使用者輸入區因而拍攝使用者手勢，及另一相機係聚焦在第二使用者輸入區因而拍攝使用者頭部及臉部姿勢。如將瞭解，手GP電路係經組配以臨界值檢測階段及目標存在階段用於使用者手勢處理，及頭-臉GP電路係經組配以臨界值檢測階段及目標存在階段用於使用者頭部及/或臉部姿勢處理。如此，於本實施例情況下，該GP電路可被有效地分叉成兩個手勢專一性區塊。於其它具體實施例中，若有所需，一個相機可結合一機械式鏡頭總成使用，有效地許可單一相機拍攝兩個目標使用者輸入區。於此種情況下，GP電路可具現為單一區塊，其能夠處理涉及的各型手勢。

如將瞭解，GP電路可以類似方式針對手及頭-臉各自具現。如先前解釋，與解剖標的無關，GP電路的臨界值檢測階段可以閘層面邏輯或其它經組配以例如加總與比較各框的亮度通道的特製半導體具現，及若目前框與前一框間的差係高於一給定臨界值(例如>3%變化，或>5%變化，或>10%變化)，則可生成一使用者檢測信號，藉此觸發原始資料之傳送至目標存在階段。否則，無變化框或空白框有效地遏止此種檢測信號，藉此在無手勢期間節電。以類似方式且與解剖目標獨立無關，目標存在階段GP電路可以閘層面邏輯或其它特製半導體具現，該半導體係經組配以例如將RGB(或YUV)資料串流掃描線轉換成一HSV像素，及比較其中表示的像素色調值與相對有限的膚色色調範圍。若膚色像素出現在掃描線以提示可能存在有手指或臉，則處理過渡至分節階段。否則，不存在有目標的訊框或膚色像素不足的訊框不發送至下個階段，或以其它方式受遏止因而在無手勢期間節電。於其它實施例中，目標存在階段可於GPU具現，給定其函式的並列本質(例如針對在一給定掃描線中的各個像素，進行並列色調分析)。如將瞭解，但於此種情況下，將影像資料從相機發送至GPU的IO電力成本通常較高。雖言如此，使用GPU仍然避免與在驅動器層面處理該影像資料需要的相聯結的CPU週期。

如先前解釋，於本具體實施例中，分節階段偶爾係與CPU共同定位，但其它實施例可利用與CPU通訊的分開GPU。依據一個具體實施例，分節階段係經組配以將其接收的各個彩色視訊框變換成一斑點影像，其中非零像素表示斑點像素，及黑像素指示非斑點像素。於此種情況下，例如斑點可用以表示膚色像素區。就此方面而言，分節階段適用以或以其它方式更清晰地界定在一給定框內部以膚色色調為基礎的斑點邊界，藉此有效地一給定影像的複雜度至二進制配置(斑點及無斑點)。此種以掃描線為基礎的處理工作適用於並列處理，使得分節階段變成GPU具現的理想候選者。

於其它實施例中，以類似目標存在階段之方式，分節階段可在有閘層面邏輯或其它特製半導體的GP電路具現。但界定斑點資料邊界通常要求處理大量掃描線，增高了目標存在階段的複雜度。但此複雜度例如可由使用適合目標解剖特徵的假設及合理程度的內插予以抵消。舉例言之，假設做出和平記號的手乃目標解剖特徵，及處理一手影像的三或四條掃描線。第一掃描線例如顯示通過和平記號V字形上部所取的非膚色像素(三組)與膚色像素(兩組)的交替組群。同理，第二掃描線可顯示通過和平記號V字形下部所取的非膚色像素(三組)與膚色像素(兩組)的交替組群，但兩個膚色像素部分間的該非膚色像素部分之長度將較短。第三掃描線可顯示通過手本體部所取的非膚色像素(兩組)與膚色像素(一組)的交替組群，及第四掃描線可顯示通過手腕部所取的非膚色像素(兩組)與膚色像素(一組)的交替組群，其中於手本體部的該組膚色像素係於腕區的該組膚色像素更長。如此，例如若此等3或4條掃描線的特性可使用以邏輯為基礎的比較證實，則與中間掃描線相聯結的手資料可內插或以其它方式估計，及據此可指定總膚色斑點邊界。

手剖析器階段及手勢辨識階段可在基板內藉CPU執行作為應用程式驅動器的一部分，但限制條件為如此處描述藉稍早階段作動。再度，依據若干實施例，此等處理另外可於GPU或甚至於GP電路進行。為了達成此項目的，前置處理功能整合入GPU及/或GP電路的程度例如可根據(一方面)此種整合的費用/成本與(另一方面)節省功耗及CPU週期間之平衡的成本效益分析。如鑑於本文揭示將瞭解，藉由在GP電路具現臨界值檢測階段及目標存在階段，在GPU具現分節階段，及允許手剖析器階段及手勢辨識階段在CPU上執行，可以相對低成本而實現顯著節省成本。進一步整合入GP電路的可能不合理或否則不合乎期望，但本發明之範圍並非受此所限。

進一步參考圖4，SRAM快取記憶體可用以儲存與視訊的有效處理相聯結的參數，且可以其它型別的合宜記憶體技術具現。舉例言之，於若干實施例中，可使用記憶體以儲存典型地包括由一使用者所提供的手勢之一訊框內部座標。此等座標例如可根據實驗分析建立及/或隨著時間精製，或可由使用者組配。總而言之，此等座標可由GP電路(及其它組件，若有所需)使用以有效地進一步降低影像處理負荷。就此方面而言，可分析視訊串流之一子集。該記憶體也可包括與特定使用者設定相聯結的膚色範圍。此項資料例如可基於實驗分析隨時間而建立，或可為使用者組配。如將瞭解，無數其它型別的資訊及資料可儲存於記憶體。

效能基元乃可提供以支援GP電路功能的選擇性組件，且可在硬體及/或軟體具現。適用於處理手勢視訊的效能基元之實施例可為例如矩陣乘法或加法模組。另一個函式實施例為富利葉變換模組，以將一影像從空域轉換成頻域以協助處理。就更一般性瞭解，由以CPU為基礎的驅動器處理所使用的任何影像處理工具可在效能基元具現以輔助分散式前置處理功能。選擇性地私密性及安全性策略模組可經組配以提供對抗惡意行為的保護，且可經具現以執行一或多個安全性策略，諸如與信賴裝置處理環境相聯結者。例如，私密性及安全性策略模組可執行策略，諸如以使用者為基礎的策略(例如有些使用者可能不想啟動相機)及以平台為基礎的策略(例如唯有可信任平台模組(TPM)裝置才能透過USB埠而連結至平台控制器中樞器(PCH))。

圖4顯示的其它顯示器及基板組件可如典型方式或否則以其它期望方式具現。圖5示例說明依據本發明之另一實施例，經組配以進行一視訊串流的梯級式、分散式手勢前置處理俾便降低平台功耗的小筆電電腦系統之方塊圖。如圖可知，該系統的顯示器部分係類似圖4顯示的膝上型電腦系統的顯示器部分，及先前相關討論也適用於此處。基板區段也類似，但因屬小筆電組態故略有組配差異。如此，該CPU例如可為英特爾(Intel®)原子(Atom^TM)CPU或適用於小筆電、桌上型小筆電及其它此等低功耗微縮電腦系統的其它此種處理器。如前文解釋，GPU可如圖所示與CPU共同定位或以其它方式與CPU操作式耦接。

圖6示例說明依據本發明之另一實施例，具有外部顯示器且經組配以進行一視訊串流的梯級式、分散式手勢前置處理俾便降低平台功耗的電腦系統之方塊圖。電腦系統例如可為桌上型電腦或膝上型電腦(利用電池供電的有對接裝置或無對接裝置)。如圖可知，該系統的顯示器及基板部分可類似圖4及5顯示的該系統的顯示器/基板部分，及前文相關討論也同等地適用於此。可使用無數其它電腦系統架構及組態，及本案所請求專利的本發明並不限於特定一者。

圖7指出依據本發明之一實施例，將視訊前置處理推出核心/非核心之外及推進相機模組內部所達成的節電。總△功率為高於平台的待機功率所消耗的功率。如鑑於本文揭示將瞭解，當影像中不存在有內容時，視訊操作的CPU C0%占用率可實質上減低。如進一步可知，雖然將影像處理從核心移至非核心節省約1.4瓦功率(來自於CPU週期的減少)，但當前置處理(諸如臨界值檢測態及目標存在態)係在相機感測器本身內部執行時，藉此消除I/O功率，可達成約3.6瓦的額外節約功率。

可用於網際網路導航的手勢實施例通常係仰賴粗粒度手勢(例如向上/向下捲動、下一頁/前一頁、點兩下等)，只有單一細粒度手勢典型地係用於例如移動滑鼠。當進入特定本文資訊時，只要求在鍵盤上鍵入。典型文字類別包括URL、使用者名稱、密碼、搜尋字(包括街名等)。於許多情況下，極少需要或無需移動滑鼠。如此，簡單手勢進一步允許手勢辨識具現為在相機本身內部的分散式處理。

手勢API

圖8示例說明依據本發明之另一實施例，經組配以進行一視訊串流的梯級式、分散式手勢前置處理俾便降低平台功耗的應用程式規劃介面(API)之方塊圖。於本實施例情況下，手勢API乃在本特定系統上有用的一或多個API(感測器API、脈絡API)。原始感測器資料係透過感測器API處理，及手勢API前置處理原始感測器資料，及暴露來自臨界值檢測及目標存在階段的資訊(存在及臨界值資料)、以及分節、手剖析器、及/或手勢辨識階段的資訊(手勢資料)而與該運算是否係在相機感測器內部/附近或在CPU/主記憶體上跑的軟體驅動程式內部執行獨立無關。如圖進一步可知，手勢API可包括私密性及安全性策略，諸如以使用者為基礎的策略(例如有些使用者可能不想啟動相機)及以平台為基礎的策略(例如唯有可信任平台模組(TPM)裝置才能透過USB埠而連結至平台控制器中樞器(PCH))。如先前解釋，手勢API前置處理原始視訊資料及呈現為已擴延的USB HID類別裝置。於此種情況下，原始資料不受影像及呈現為標準USB視訊類別裝置。

手勢API可經規劃或以其它方式經組配以通訊狀態訊息給相機裡的一手勢裝置端點，諸如包含使用者輸入區的像素(例如鍵盤/滑鼠區，如圖3a所示)。外部顯示器相機的程序係與筆記型電腦整合型顯示器相機的程序相同。於一個實施例情況下，該程序包括：定位鍵盤於視訊串流的視野；以關注像素形式(虛擬標記)通訊鍵盤資訊給相機/GP電路；於相機感測器/GP電路開始手勢前置處理工作；視需要更新鍵盤位置；及透過手勢API呈現手勢處理資訊給平台。於一多顯示器系統或多鍵盤系統中，使用者可指出哪個顯示器或鍵盤為主要。任何合宜數目的選項皆可用於此。

也如先前解釋，藉手勢API解譯的手勢可用以加強其它互補輸入模組，諸如由鍵盤及/或滑鼠所接收的使用者輸入。多個搜尋引擎目前結合多個滑鼠/觸控手勢，使用者可使用該等手勢作為捷徑以改進其瀏覽經驗。該使用者可作動/解除作動特定捷徑，及視需要增加新的客製化捷徑。此種系統的一個缺點(超越缺乏標準化)是全部捷徑集合地加總成為潛在大量可能被使用的手勢，造成心智困惑，無可避免地妨礙廣為人採用。依據本發明之一個實施例，提出相對精簡的以手勢為基礎的指令之列表，其可視需要修正/擴大。可期望某些規劃能力，原因在於大半勤快的使用者可能期望擴充手勢列表，及大部分使用者可能想要針對在例如我的最愛中列舉的網頁加上個人化的手勢。大部分使用者典型地頻繁地一再使用相同網頁(例如谷歌、電子郵件、臉書等)。將此鍵盤/滑鼠指令串列減至單一手勢(或短的手勢串列)可改良使用容易程度及加速使用者的網頁切換時間。

此外，藉若干手勢要求可考慮給予「中性返回」。「中性位置」乃當不打手勢時手部的統計上平均位置。舉例言之，手掌靠在掌靠上，手指置於下列鍵：Q-E-R-G-空白鍵-空白鍵-H-U-I-P。中性返回乃手返回中性位置(例如打出一個手勢而在開始打下個手勢前)。於大半電腦系統使用模型中，雙手係維持在中性位置。期望減少粗大手勢，在手勢期間將手掌留在相同的實體位置。如此簡化了影像處理，原因在於全部影像處理演算法將忽略在相機的視野以外的全部視覺活動。如將瞭解，圖8顯示的其它組件及特性件係如同先前就圖4-6的討論或以其它方式如典型具現。

延遲期

如先前解釋，當根據該使用者的目前活動及/或他/她的電腦系統之操作狀態/環境而從事手勢前置處理工作時，可導入一延遲期間，因而藉去除浪費掉的處理週期而更進一步降低平台功耗。舉例言之，及如先前解釋，若該使用者在鍵盤上鍵入，或使用滑鼠，或觸摸一觸控螢幕顯示器，或意圖做可檢測活動，該活動可被辨識或以其它方式定義為以手為基礎的導航手勢以外的活動，則能夠假設該使用者不會同時正在做以手為基礎的導航手勢。如此，該使用者將消耗有限時間將他/她的手從目前非手勢活動位置重新定位成中性位置，從該處開始打期望的手勢。在此非手勢週期出現的任何影像處理變成浪費處理週期及浪費功率，因此可被停止，更進一步提高功率效率。

如此，於此等實施例情況下，於無手勢週期期間及其後的一簡短延遲期間可停止影像處理。該簡短週期(此處稱作延遲期)例如可於50至500毫秒，或於50至250毫秒，或於50至100毫秒之範圍。於更加一般性情況下，此一延遲期間可設定為反映該使用者將他/她的手從滑鼠/鍵盤/螢幕返回中性位置所耗時間，於該中性位置典型地進行以手為基礎的導航手勢。如先前解釋，此一中性位置的定位可由使用者組配。若有所需，以類似方式，延遲期間也可由使用者組配，因而提供客製效能。

如鑑於本文揭示將進一步瞭解，取決於操作環境因素，諸如目前在電腦系統上執行的應用程式(例如文字處理應用程式相對於遊戲應用程式)、節電方案(例如全功率模式相對於休眠模式或其它低功率模式)、及/或電腦系統的電源(例如電池相對於市電)，可選擇性地從事該延遲期間或以其它方式調整。舉例言之，當根據外部電力操作時，延遲期間可設定為零或某個較低延遲，因而提供更高反應性，視情況而定可能合乎所需。同理，當執行具有嚴格即時應答要求的應用程式時，諸如某些遊戲應用程式，延遲期間可設定為零或某個較低延遲，因而提供更高即時應答。於其它實施例情況下，若電腦系統係用電池電力操作，則50-100毫秒延遲可為人所接受以因應從低功率態喚醒平台(例如因而許可PCH/CPU/DRAM的電力備援)。同理，若晚近出現按鍵/移動滑鼠，則可接受額外50-100毫秒延遲，原因在於當使用者的手移回中性位置時典型將不打手勢。一般構想為在延遲期間，停止影像前置處理為人所能接受，原因在於相機視野中可能沒有出現任何內容，諸如使用者不可能打手勢時，或當使用者打出手勢但系統尚未就緒解譯時。

如前記，響應於一延遲控制信號，臨界值檢測及目標存在階段(或其它階段中之任一者)可被解除作動，當指示例如該使用者沒做需要分析的導航手勢時，或系統尚未就緒解譯此等導航手勢時選擇性地設定該延遲控制信號(或復置，視情況而定)。表1列舉提供此等指示的活動實施例。

每次延遲控制信號被復置(因而解除作動GP電路)，維持在解除作動態歷經短的延遲期間(例如50至500毫秒)，因而有效地抑制不必要的視訊手勢前置處理。可檢測活動的延遲評估及延遲控制信號的設定/復置例如可藉主機電腦系統的作業系統或BIOS的軟體具現。於另一個實施例中，延遲評估可在電腦系統上執行的特定手勢處理驅動器內部具現。

一具現實施例以虛擬-RTL邏輯提供如下，於該處信號「Reg_Processing_Enable」用以作動/解除作動前置處理工作。注意此等工作係彼此並列進行。

於一個此種實施例情況下，信號Reg_Processing_Enable例如可為一訊息或一符記，下傳(例如從作業系統或BIOS或專用驅動器)至相機感測器中的手勢前置處理單元(例如臨界值檢測階段、目標存在階段、等)以作動/解除作動其操作，諸如於圖1a-b及2a之具體實施例所示。概略言之，延遲評估可在任何層面具現，於該處存取關注的操作環境因素，諸如使用者輸入裝置活動指標、電力來源及狀態、及應用狀態。如此處描述，無數其它類型的使用者活動及他/她電腦系統的操作狀態/環境可用於延遲決定。總而言之，當使用者不可能打導航手勢時，或當該使用者打手勢但系統尚未就緒解譯時，如本文各處描述的手勢前置處理活動可被選擇性地解除作動以節約平台電力。

系統實施例

圖9示例說明依據若干實施例，可進行如此處描述的視訊內容之梯級式及分散式手勢前置處理的系統900實施例。於若干實施例中，系統900可為媒體系統，但系統900非僅限於此一脈絡。舉例言之，系統900可結合入個人電腦(PC)、膝上型電腦、超膝上型電腦、平板電腦、觸控墊、可攜式電腦、手持式電腦、掌上型電腦、個人數位助理器(PDA)、小區式電話、小區式電話/PDA組合、電視、智慧型裝置(例如智慧型手機、智慧型平板或智慧型電視)、行動網際網路裝置(MID)、傳訊裝置、資料通訊裝置、機上盒、遊戲機臺、或能夠執行圖形渲染操作的其它此等運算環境。

於若干實施例中，系統900包含耦接至一顯示器920的一平台902。平台902可從內容裝置接收內容，諸如內容服務裝置930或內容傳遞裝置940或其它類似的內容來源。包括一或多個導航特性件的導航控制器950可用以與例如平台902及/或顯示器920互動。此等組件各自容後詳述。

於若干實施例中，平台902可包括晶片組905、處理器910、記憶體912、儲存裝置914、圖形次系統915、應用程式916及/或無線電918的任一項組合。晶片組905可提供處理器910、記憶體912、儲存裝置914、圖形次系統915、應用程式916及/或無線電918間之交互通訊。舉例言之，晶片組905可包括能夠提供與儲存裝置914交互通訊的一儲存裝置配接器(圖中未描繪)。

處理器910可具現為複雜指令集電腦(CISC)或精簡指令集電腦(RISC)處理器、x86指令集可相容性處理器、多核心、或任何其它微處理器或中央處理單元(CPU)。於若干實施例中，處理器910可為雙核心處理器、雙核心行動處理器等。記憶體912可具現為依電性記憶體裝置，諸如但非僅限於隨機存取記憶體(RAM)、動態隨機存取記憶體(DRAM)、或靜態RAM(SRAM)。儲存裝置914可具現為非依電性儲存裝置，諸如但非僅限於磁碟機、光碟機、磁帶機、內部儲存裝置、附接儲存裝置、快閃記憶體、電池後備同步DRAM(SDRAM)、及/或網路可存取儲存裝置。於若干實施例中，儲存裝置914可包括例如當包括多個硬碟機時增加有價值的數位媒體之儲存效能的保護技術。

圖形次系統915可執行影像諸如靜像或視訊用於顯示時的處理。圖形次系統915例如可為圖形處理單元(GPU)或視覺處理單元(VPU)。類比或數位介面可用以通訊式耦合圖形次系統915與顯示器920。舉例言之，該介面可為高畫質多媒體介面、顯示埠、無線HDMI、及/或無線HD 符合技術。圖形次系統915可整合入處理器910或晶片組905。圖形次系統915可為通訊式耦接至晶片組905的孤立卡。此處描述的梯級式及分散式圖形及/或視訊處理技術可在多個硬體架構(例如相機附近的相機晶片中的GP電路)具現。於又另一個實施例中，圖形及/或視訊功能包括若干分散式前置處理階段(例如手剖析器及手勢辨識)可藉通用處理器具現，含多核心處理器。於又其它情況下，可使用共同定位的或離散GPU處理器(例如分節階段)。

無線電918可包括可運用多種無線通訊技術的能夠發射與接收信號的一或多個無線電。此等技術可涉及通過一或多個無線網路的通訊。無線網路之實施例包括(但非僅限於)無線區域網路(WLAN)、無線個人區域網路(WPAN)、無線都會區域網路(WMAN)、小區式網路、及衛星網路。於通過此等網路的通訊中，無線電918可根據一或多個適用標準的任何版本操作。

於若干實施例中，顯示器920可包括任何電視型監視器或顯示器。顯示器920可包括例如液晶顯示器(LCD)螢幕、電泳顯示器(EPD)或液體紙顯示器、平板顯示器、觸控螢幕顯示器、電視狀裝置及/或電視機。顯示器920可為數位及/或類比。於若干實施例中，顯示器920可為全像術或三維顯示器。又，顯示器920可為能接收視覺投影的透明表面。此等投影可傳遞各型資訊、影像、及/或物體。舉例言之，此等投影可為行動增強實境(MAR)應用程式的一視覺疊加。在一或多個軟體應用程式916的控制之下，平台902 可在顯示器920上顯示使用者介面922。

於若干實施例中，內容服務裝置930可由任何國家的、國際的及/或獨立的服務或主持，及如此例如透過網際網路或其它網路可存取至平台902。內容服務裝置930可耦接至平台902及/或顯示器920。平台902及/或內容服務裝置930可耦接至網路960以通訊(例如發送及/或接收)媒體資訊至及自網路960。內容傳遞裝置940也可耦接至平台902及/或顯示器920。於若干實施例中，內容服務裝置930可包括有線電視盒、個人電腦、網路、電話、能夠傳遞數位資訊及/或內容的網際網路作動裝置或設施、及透過網路960或直接地能夠在內容提供者與平台902及/或顯示器920間單向地及/或雙向地通訊內容的任何其它類似裝置。須瞭解該內容可透過網路960單向地或雙向地在系統900的組件中之任一者與一內容提供者間通訊。內容之實施例可包括任何媒體資訊，包括例如視訊、音樂、圖形、文字、醫療及遊戲內容等。

內容服務裝置930可接收內容，諸如有線電視節目包括媒體資訊、數位資訊、及/或其它內容。內容提供者之實施例可包括任何有線電視或衛星電視或無線電或網際網路內容提供者。所提出的實施例絕非表示限制依據本文揭示的具現之範圍。於若干實施例中，平台902可從具有一或多個導航特性件的導航控制器950接收信號。導航控制器950的導航特性件例如可用以與使用者介面922互動。於多個具現中，導航控制器950可為指標裝置，可為電腦硬體組件(尤其人機介面裝置)其許可一使用者將空間(例如連續的且多維)資料輸入一電腦。許多系統諸如圖形使用者介面(GUI)、及電視機及監視器許可該使用者使用實體手勢控制與提供資料給該電腦或電視。

導航控制器950的導航特性件之移動可藉顯示在一顯示器(例如顯示器920)上的一指標、游標、對焦圈、其它視覺指標而再現在該顯示器上。舉例言之，在軟體應用程式916的控制之下，位在導航控制器950上的導航特性件可對映至例如顯示在使用者介面922上的虛擬導航特性件。於若干實施例中，導航控制器950可非為分開組件，反而可整合入平台902及/或顯示器920。但如將瞭解，本文揭示並非限於此處顯示的或描述的元件或脈絡。

於若干實施例中，驅動器(圖中未顯示)可包括技術以許可使用者在軟體啟動之後，例如當被作動時，藉觸摸一按鈕而即刻地開關平台902，例如電視。當該平台被「關閉」時，程式邏輯可允許平台902串流化內容至媒體配接器或其它內容服務裝置930或內容傳遞裝置940。此外，例如，晶片組905可包括5.1環繞音效及/或高傳真7.1環繞音效的硬體及/或軟體支援。驅動器可包括集積式圖形平台的圖形驅動器。於若干實施例中，該圖形驅動器可包含一周邊組件互聯(PCI)快速圖形卡。

於多個實施例中，顯示於系統900內的組件中之任一或多者可予整合。舉例言之，平台902與內容服務裝置930可整合，或平台902與內容傳遞裝置940可整合，或平台 902、內容服務裝置930、與內容傳遞裝置940可整合。於多個實施例中，平台902及顯示器920可為整合單元。例如，顯示器920與內容服務裝置930可整合，或顯示器920與內容傳遞裝置940可整合。但此等範例並非意圖限制本案請求專利之本發明。

於多個實施例中，系統900可具現為無線系統、有線系統、或兩者的組合。當具現為無線系統時，系統900可包括適用以透過一無線分享媒體而通訊的組件及介面，諸如一或多個天線、發射器、接收器、收發器、放大器、濾波器、控制邏輯等。無線分享媒體之一實施例可包括無線頻譜部分，諸如RF頻譜等。當具現為有線系統時，系統900可包括適用以透過一有線通訊媒體而通訊的組件及介面，諸如輸入/輸出(I/O)配接器、連結I/O配接器與相對應有線通訊媒體的實體連接器、網路介面控制器(NIC)、碟片控制器、視訊控制器、音訊控制器等。有線通訊媒體之實施例可包括導線、纜線、金屬引線、印刷電路板(PCB)、背板、交換架構、半導體材料、雙絞線、同軸纜線、光纖等。

平台902可建立一或多個邏輯通道或實體通道以通訊資訊。該資訊可包括媒體資訊及控制資訊。媒體資訊可指表示對一使用者有意義的內容之任何資料。內容的實施例可包括例如來自於語音對話、視訊會議、串流化視訊、電子郵件或文字訊息、語音信箱訊息、文數符號、圖形、影像、視頻、文字等的資料。控制資訊可指表示對自動化系統有意義的指令、指示或控制字元的任何資料。舉例言之，控制資訊可用以安排媒體資訊通過一系統的路徑，或指示一節點以預定方式處理該媒體資訊(例如如此處描述，使用硬體輔助特權存取違反檢查)。但實施例並非限於圖9中顯示的或描述的元件或脈絡。

如前文描述，系統900可以多種實體樣式或形狀因數具體實施。圖10示例說明其中可具體實施系統900的小形狀因數裝置1000的具現。例如於多個實施例中，裝置1000可具體實施為具有無線能力的一行動運算裝置。一行動運算裝置例如可指具有處理系統及行動電源或電源供應器諸如一或多個電池的任何裝置。

如前文描述，行動運算裝置之實施例可包括個人電腦(PC)、膝上型電腦、超膝上型電腦、平板電腦、觸控墊、可攜式電腦、手持式電腦、掌上型電腦、個人數位助理器(PDA)、小區式電話、小區式電話/PDA組合、電視、智慧型裝置(例如智慧型手機、智慧型平板或智慧型電視)、行動網際網路裝置(MID)、傳訊裝置、資料通訊裝置等。

行動運算裝置之實施例也可包括配置以由個人穿戴的電腦，諸如手腕電腦、手指電腦、戒指電腦、眼鏡電腦、皮帶夾電腦、臂帶電腦、鞋電腦、衣著電腦、及其它可穿戴電腦。於多個實施例中，行動運算裝置可具現為能夠執行電腦應用程式以及語音通訊及/或資料通訊的智慧型電話。雖然若干實施例係以具現為智慧型電話的行動運算裝置舉例描述，但須瞭解其它實施例也可使用其它無線行動運算裝置具現。實施例並非僅限於本脈絡。

如圖10顯示，裝置1000可包括一殼體1002、一顯示器1004、一輸入/輸出(I/O)裝置1006、及一天線1008。裝置1000也可包括導航特性件1012。顯示器1004可包括適用於行動運算裝置顯示資訊的任何適當顯示器單元。I/O裝置1006可包括將資訊登入一行動運算裝置的任何合宜I/O裝置。I/O裝置1006之實施例可包括文數鍵盤、數字小鍵盤、觸控墊、輸入鍵、按鈕、相機、開關、翹板開關、麥克風、揚聲器、語音辨識裝置及軟體等。資訊也可藉麥克風載入裝置1000。此種資訊可藉一語音辨識裝置數位化。實施例並非僅限於本脈絡。

如先前描述，實施例可使用多種硬體元件、軟體元件、或兩者的組合具現。硬體元件之實施例可包括處理器、微處理器、電路、電路元件(例如電晶體、電阻器、電容器、電感器等)、積體電路、特定應用積體電路(ASIC)、可規劃邏輯裝置(PLD)、數位信號處理器(DSP)、可現場程式規劃閘陣列(FPGA)、邏輯閘、暫存器、半導體裝置、晶片、微晶片、晶片組等。軟體元件之實施例可包括軟體組件、程式規劃、應用程式、電腦程式、應用程式規劃、系統程式、機器程式、作業系統軟體、中介軟體、韌體、軟體模組、常式、次常式、函式、方法、程序、軟體介面、應用程式規劃介面(API)、指令集、計算碼、電腦碼、碼節段、電腦碼節段、字碼、數值、符號或其任一項組合。決定一實施例是否使用硬體元件及/或軟體元件具現可根據任何數目的因素而改變，諸如期望的運算速率、功率位準、耐熱性、處理週期預算、輸入資料率、輸出資料率、記憶體資源、資料匯流排速度、及其它設計或效能限制。

若干實施例例如可使用可儲存一指令或一指令集的機器可讀取媒體或物體具現，該等指令若由一機器執行時可使得該機器從事依據本發明之一實施例的方法及/或操作。此種機器可包括例如任何合宜處理平台、計算平台、計算裝置、處理裝置、計算系統、處理系統、電腦、處理器等，且可使用硬體與軟體之任一項合宜組合具現。機器可讀取媒體或物體可包括例如任何合宜型別的記憶體單元、記憶體裝置、記憶體物體、記憶體媒體、儲存裝置、儲存物體、儲存媒體及/或儲存單元，例如記憶體、活動式或非活動式媒體、可抹除或非可抹除媒體、可寫式或非可寫式媒體、數位或類比媒體、硬碟、軟碟、光碟-唯讀記憶體(CD-ROM)、可錄式光碟(CD-R)、可覆寫式光碟(CD-RW)、光碟、磁性媒體、磁光媒體、活動式記憶卡或碟、各型數位影音碟(DVD)、磁帶、卡匣等。該等指令可包括使用任何合宜高階、低階、目的導向、視覺、彙編及/或解譯程式語言具現的任何合宜型別的可執行碼。

鑑於本文揭示無數變化及組態將為顯然易知。舉例言之，本發明之一個具體實施例提出一種用於處理一原始視訊串流之系統。該系統包括一臨界值檢測階段經組配以決定該視訊串流之一目前訊框與該視訊串流之一前一訊框是否有足夠差異，且響應於該目前訊框與該前一訊框不具有足夠差異，該臨界值檢測階段係進一步經組配以停止藉由一接續階段對該目前訊框的進一步處理。該系統進一步包括一目標存在階段經組配以決定該目前訊框是否包括膚色著色像素，且響應於該目前訊框不包括膚色著色像素，該目標存在階段係進一步經組配以停止藉由一接續階段對該目前訊框的進一步處理。該等臨界值檢測及/或目標存在階段中之至少一者可被選擇性地解除作動歷經一延遲期間。於某些情況下，該臨界值檢測階段係經組配以加總與比較該目前訊框之一亮度通道與該前一訊框之一亮度通道，及若該等目前與前一訊框間之該差異係高於一給定臨界值，則該目前訊框之資料係發送至該目標存在階段用於進一步處理。於某些情況下，該目標存在階段係經組配以將該目前訊框之資料轉換成一或多個HSV像素，及若發現有足夠數目的膚色著色像素，則該目前訊框之資料係傳送至一下個處理階段。於一個此種情況下，該下個處理階段係為一分節階段經組配以分開關注像素與非關注像素，其中關注像素係以斑點表示及非關注像素係以非斑點表示。於此等情況下，該分節階段係經組配以消除因相機雜訊及/或照明所致的分散像素，及/或使用侵蝕及/或膨脹變形法處理成像資料中之至少一者。於其它此等情況下，該分節階段係在一圖形處理單元(GPU)具現。於其它此等情況下，該系統進一步包括一剖析器階段其係經組配以執行接收自該分節階段的斑點資料之空間解譯。於一個此種情況下，該剖析器階段係藉將該斑點資料對映至一目標人類解剖幾何形狀模型以執行空間解譯。該目標人類解剖幾何形狀例如可為手。於其它此等情況下，該系統進一步包括一手勢辨識階段其係經組配以執行接收自該剖析器階段的斑點資料之時間解譯。於一個此種情況下，該分節、剖析器、及/或手勢辨識階段中之至少一者係經組配以發送回授給該等臨界值檢測及/或目標存在階段中之至少一者。鑑於本文揭示其它相關實施例將為顯然易知。舉例言之，另一實施例提出一種成像裝置包括如本段各式定義的系統及操作式耦接至該系統的相機。於一個此種情況下，該等臨界值檢測階段及目標存在階段中之至少一者係在該相機的感測器電路內部具現。本發明之另一個具體實施例提出一種顯示器包括如本段各式定義的系統。於若干實施例情況下，延遲期間係在50至1000毫秒之範圍，且響應於一指示該系統的一使用者不可能正在打導航手勢或該系統尚未就緒處理視訊(例如因已被喚醒)而被觸發。

本發明之另一個具體實施例提出一種用於處理一原始視訊串流之系統。該系統包括一臨界值檢測階段經組配以決定該視訊串流之一目前訊框與該視訊串流之一前一訊框是否有足夠差異，且響應於該目前訊框與該前一訊框不具有足夠差異，該臨界值檢測階段係進一步經組配以停止藉由一接續階段對該目前訊框的進一步處理。該系統進一步包括一目標存在階段經組配以決定該目前訊框是否包括膚色著色像素，且響應於該目前訊框不包括膚色著色像素，該目標存在階段係進一步經組配以停止藉由一接續階段對該目前訊框的進一步處理。該系統進一步包括一分節階段經組配以接收自該目前訊框的資料，及分開關注像素與非關注像素，其中關注像素係以斑點表示及非關注像素係以非斑點表示。該系統進一步包括手剖析器階段其係經組配以執行接收自該分節階段的斑點資料之空間解譯，及一手勢辨識階段其係經組配以執行接收自該手剖析器階段的斑點資料之時間解譯及識別使用者以手為基礎的導航手勢。該等臨界值檢測、目標存在、分節、剖析器、及手勢辨識階段係經組配成一梯級式及分散式配置，及該等臨界值檢測及/或目標存在階段中之至少一者可被選擇性地解除作動歷經一延遲期間。於某些情況下，該等臨界值檢測及目標存在階段中之至少一者係在一相機內部或附近具現，該相機係可部署於一第一位置且具有一視野其包括一使用者輸入區，及該等分節、剖析器、及手勢辨識階段係位在與該第一位置不同的一或多個位置。於某些情況下，臨界值檢測及目標存在階段係在顯示器內部具現。於某些情況下，該分節階段係在一圖形處理單元中具現，及該等剖析器及手勢辨識階段係在藉應用程式軟體具現。於某些情況下，該系統進一步包括一應用程式規劃介面(API)用以操作式耦合該等階段中之一或多者至其中該系統係經組配以操作的一運算平台。於若干此等情況下，該API係呈現為一擴延通用串列匯流排人機介面(USB HID)類別裝置。於若干實施例情況下，延遲期間係在50至1000毫秒之範圍，且響應於一指示該系統的一使用者不可能正在打導航手勢或該系統尚未就緒處理視訊而被觸發。另一個具體實施例提出一種包括如本段各項描述的系統之媒體處理系統。另一個具體實施例提出一種包括如本段各項描述的系統之行動運算系統(例如智慧型手機、平板電腦、膝上型電腦、小筆電)。

本發明之另一個具體實施例提出一種使用一原始視訊串流之電腦導航方法。該方法包括於一第一處理階段，決定該視訊串流之一目前訊框與該視訊串流之一前一訊框是否有足夠差異，且響應於該目前訊框並非與該前一訊框具有足夠差異，停止藉由一接續階段對該目前訊框的進一步處理。該方法繼續於一第二處理階段，決定該目前訊框是否包括膚色著色像素，且響應於該目前訊框不包括膚色著色像素，停止藉由一接續階段對該目前訊框的進一步處理。該等第一及第二處理階段中之至少一者可被選擇性地解除作動歷經一延遲期間，該延遲期間係於50至1000毫秒之範圍，且響應於一指示並未正在進行導航手勢而被觸發，因此藉由避免不含導航手勢的視訊框的處理而節約電力。於某些情況下，該方法繼續於一第三處理階段接收來自該目前訊框之資料及分開關注像素與非關注像素，其中關注像素係以斑點表示及非關注像素係以非斑點表示。於某些情況下，該方法繼續於一第四處理階段，藉將該斑點資料對映至人類解剖幾何形狀而執行接收自該第三處理階段的斑點資料之空間解譯。於某些情況下，該方法繼續於一第五處理階段，執行接收自該第四處理階段的斑點資料之時間解譯以識別一使用者導航手勢。於某些情況下，該方法繼續根據該使用者導航手勢導引一電腦系統。於某些實施例情況下，該等處理階段係組配成梯級式及分散式配置。

前文描述已經呈示本發明之具體實施例用於示例說明及描述之目的。絕非意圖為互斥或限制本發明於所揭示的精準形式。鑑於本文揭示可能做出許多修正及變化。意圖本發明之範圍並非受本詳細說明部分所限，但而係由隨附之申請專利範圍界定。

Claims

一種用於處理一原始視訊串流之系統，其包含：一臨界值檢測階段，其經組配以決定該視訊串流之一目前訊框與該視訊串流之一前一訊框是否有足夠差異，且響應於該目前訊框並非與該前一訊框具有足夠差異，該臨界值檢測階段係進一步經組配以停止藉由一接續階段對該目前訊框的進一步處理；及一目標存在階段，其經組配以決定該目前訊框是否包括膚色著色像素，且響應於該目前訊框不包括膚色著色像素，該目標存在階段係進一步經組配以停止藉由一接續階段對該目前訊框的進一步處理；其中該等臨界值檢測及/或目標存在階段中之至少一者可被選擇性地解除作動歷經一延遲期間。
如請求項1之系統，其中該臨界值檢測階段係經組配以加總與比較該目前訊框之一亮度通道與該前一訊框之一亮度通道，及若該等目前與前一訊框間之該差量(delta)係高於一給定臨界值，則該目前訊框之資料被遞送至該目標存在階段用於進一步處理。
如請求項1之系統，其中該目標存在階段係經組配以將該目前訊框之資料轉換成一或多個HSV像素，及若發現有足夠數目的膚色著色像素，則該目前訊框之資料被遞送至一下個處理階段。
如請求項3之系統，其中該下個處理階段係為一分節階段經組配以分開關注像素與非關注像素，其中關注像素係以斑點(blobs)表示及非關注像素係以非斑點表示。
如請求項4之系統，其中該分節階段係經組配以消除因相機雜訊及/或照明所致的分散像素，及/或使用侵蝕及/或膨脹變形法處理成像資料中之至少一者。
如請求項4之系統，其中該分節階段係在一圖形處理單元(GPU)中具現。
如請求項4之系統，其進一步包含：一剖析器階段，其係經組配以執行接收自該分節階段的斑點資料之空間解譯。
如請求項7之系統，其中該剖析器階段係藉將該斑點資料對映至一目標人類解剖幾何形狀模型以執行空間解譯。
如請求項8之系統，其中該目標人類解剖幾何形狀係為一手。
如請求項7之系統，其進一步包含：一手勢辨識階段，其係經組配以執行接收自該剖析器階段的斑點資料之時間解譯。
如請求項10之系統，其中該分節、剖析器、及/或手勢辨識階段中之至少一者係經組配以發送回授給該等臨界值檢測及/或目標存在階段中之至少一者。
如請求項1之系統，其中該延遲期間係於50至1000毫秒之範圍，且係響應於一指示該系統的一使用者不可能正在打導航手勢或該系統尚未就緒處理視訊而被觸發。
一種成像裝置，其包含如請求項1至12中任一項之系統以及操作式耦接至該系統的一相機。
如請求項13之成像裝置，其中該臨界值檢測階段及該目標存在階段中之至少一者係在該相機的感測器電路內部具現。
一種顯示器，其包含如請求項1至12中任一項之系統。
一種用於處理一原始視訊串流之系統，其包含：一臨界值檢測階段，其經組配以決定該視訊串流之一目前訊框與該視訊串流之一前一訊框是否有足夠差異，且響應於該目前訊框並非與該前一訊框具有足夠差異，該臨界值檢測階段係進一步經組配以停止藉由一接續階段對該目前訊框的進一步處理；及一目標存在階段，其經組配以決定該目前訊框是否包括膚色著色像素，且響應於該目前訊框不包括膚色著色像素，該目標存在階段係進一步經組配以停止藉由一接續階段對該目前訊框的進一步處理；一分節階段，其經組配以接收自該目前訊框的資料，並且分開關注像素與非關注像素，其中關注像素係以斑點表示及非關注像素係以非斑點表示；一手剖析器階段，其係經組配以執行接收自該分節階段的斑點資料之空間解譯；及一手勢辨識階段，其係經組配以執行接收自該手剖析器階段的斑點資料之時間解譯並且識別使用者以手為基礎的導航手勢；其中該等臨界值檢測、目標存在、分節、剖析器、與手勢辨識階段係經組配成一梯級式與分散式配置，並且該等臨界值檢測及/或目標存在階段中之至少一者可被選擇性地解除作動歷經一延遲期間。
如請求項16之系統，其中該等臨界值檢測及目標存在階段中之至少一者係在一相機內部或附近具現，該相機係可部署於一第一位置且具有一視野其包括一使用者輸入區，及該等分節、剖析器、與手勢辨識階段係位在與該第一位置不同的一或多個位置。
如請求項17之系統，其中該等臨界值檢測及目標存在階段係在一顯示器內具現。
如請求項16之系統，其中該分節階段係在一圖形處理單元中具現，及該等剖析器及手勢辨識階段係藉由應用程式軟體具現。
如請求項16之系統，其進一步包含一應用程式規劃介面(API)用以操作式耦合該等階段中之一或多者至其中該系統係經組配以操作的一運算平台。
如請求項20之系統，其中該API係呈現為一擴延通用串列匯流排人機介面(USB HID)類別裝置。
如請求項16之系統，其中該延遲期間係於50至1000毫秒之範圍，且係響應於一指示該系統的一使用者不可能正在打導航手勢或該系統尚未就緒處理視訊而被觸發。
一種媒體處理系統，其包含如請求項16至22中任一項之系統。
一種行動運算系統，其包含如請求項16至22中任一項之系統。
一種使用一原始視訊串流之電腦導航方法，其包含：於一第一處理階段，決定該視訊串流之一目前訊框與該視訊串流之一前一訊框是否有足夠差異，且響應於該目前訊框並非與該前一訊框具有足夠差異，停止藉由一接續階段對該目前訊框的進一步處理；及於一第二處理階段，決定該目前訊框是否包括膚色著色像素，且響應於該目前訊框不包括膚色著色像素，停止藉由一接續階段對該目前訊框的進一步處理；其中該等第一與第二處理階段中之至少一者可被選擇性地解除作動歷經一延遲期間，該延遲期間係於50至1000毫秒之範圍，且響應於一指示沒有導航手勢正在做而被觸發，因此藉由避免不含導航手勢的視訊框的處理而節約電力。