TWI582676B - 物件指示符顯示技術 - Google Patents

物件指示符顯示技術 Download PDF

Info

Publication number
TWI582676B
TWI582676B TW104130785A TW104130785A TWI582676B TW I582676 B TWI582676 B TW I582676B TW 104130785 A TW104130785 A TW 104130785A TW 104130785 A TW104130785 A TW 104130785A TW I582676 B TWI582676 B TW I582676B
Authority
TW
Taiwan
Prior art keywords
display
touch
indicator
distance
camera
Prior art date
Application number
TW104130785A
Other languages
English (en)
Other versions
TW201617820A (zh
Inventor
康金曼
喬迪 摩瑞歐皮爾斯
大衛Ｂ 索爾特
Original Assignee
惠普發展公司有限責任合夥企業
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 惠普發展公司有限責任合夥企業 filed Critical 惠普發展公司有限責任合夥企業
Publication of TW201617820A publication Critical patent/TW201617820A/zh
Application granted granted Critical
Publication of TWI582676B publication Critical patent/TWI582676B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1631—Panel PC, e.g. single housing hosting PC and display panel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Description

物件指示符顯示技術
本發明係有關於物件指示符顯示技術。
發明背景
今日許多計算系統包括一顯示器、一相機、及一輸入裝置。有些系統中，顯示器可以是觸敏顯示器，偶爾稱作為觸控螢幕。輸入裝置包括例如、一滑鼠、一鍵盤、或能檢測與其接觸的實體物件之一觸敏表面。
依據本發明之一實施例，係特地提出一種計算系統，其包含：一觸敏表面；一顯示器；至少一個相機用以擷取表示位在該相機與該觸敏表面間之一物件的一影像；及一檢測引擎用以：至少基於該影像，決定相對應於該物件投影至該觸敏表面上的顯示座標，其中該顯示器係非平行於該觸敏表面；至少基於該物件是否觸摸該觸敏表面而自至少兩個不同物件指示符選擇一物件指示符；及提供該經選取的物件指示符給該顯示器用於顯示該經選取的物件指示符於該顯示器上在該等經決定的顯示座標。
15‧‧‧支持表面
25‧‧‧觸控筆
26‧‧‧梢端
35、35R、35L‧‧‧手
37、37a-j‧‧‧指尖
40、40a-c‧‧‧物件
100‧‧‧計算系統
110‧‧‧支持結構
120‧‧‧底部
120A‧‧‧前端
120B‧‧‧後端
122‧‧‧凸部
140‧‧‧直立構件
140A‧‧‧上端
140B‧‧‧下端
140C、150C‧‧‧前側
140D、150D‧‧‧後側
150、350‧‧‧計算裝置
150A‧‧‧頂側
150B‧‧‧底側
152‧‧‧顯示器
154‧‧‧相機
155、205‧‧‧中線、中軸
156a-156j‧‧‧物件指示符
160‧‧‧頂部
160A‧‧‧近端
160B‧‧‧遠端
160C‧‧‧頂面
160D‧‧‧底面
162‧‧‧摺疊鏡
162A‧‧‧高度反射性表面
164‧‧‧感測器束
164A‧‧‧RGB相機
164B‧‧‧IR相機
164C‧‧‧深度相機
164D‧‧‧周圍光感測器
165‧‧‧視野
166‧‧‧IR光投射器
167‧‧‧IR光
170‧‧‧檢測引擎
180‧‧‧投影機單元
182‧‧‧殼體
182A、184A‧‧‧上端
182B、184B‧‧‧下端
183‧‧‧內腔
184‧‧‧投影機總成
186‧‧‧耦聯構件或安裝構件
187‧‧‧可見光
188‧‧‧投影機顯示空間
188L‧‧‧長度
188W‧‧‧寬度
200‧‧‧觸敏表面
202‧‧‧觸敏區域
310‧‧‧處理資源
320‧‧‧電腦可讀取媒體
322-324‧‧‧指令
900‧‧‧方法
905、910、915‧‧‧方塊
後文詳細說明部分參考附圖，附圖中：圖1為包含一識別引擎之計算系統實例的示意透視圖；圖2為圖1之計算系統實例的另一幅示意透視圖；圖3為圖1之計算系統實例的示意側視圖；圖4為圖1之計算系統實例的示意前視圖；圖5為圖1之計算系統實例於一操作實例期間的示意側視圖；圖6為圖1之計算系統實例於另一個操作實例期間的示意前視圖；圖7A為圖1之計算系統實例之另一幅側視圖；圖7B為圖7A之計算系統實例之透視圖；圖8為圖1之計算系統實例之一計算裝置實例之方塊圖；圖9為圖1之計算系統實例之另一個計算裝置實例之方塊圖；及圖10為用於顯示至少一個物件指示符之方法實例之流程圖。
較佳實施例之詳細說明
有些計算系統中，藉由許可使用者使用物件諸如觸控筆一指尖或多指尖、棋子等，連同在計算系統上跑的一應用程式，可提升使用者經驗。該等物件可用作為輸入裝置、應用程式(例如，遊戲)附件、或用於任何其它目的。 當使用此等物件時，若該使用者沒有接收到計算系統的適當指示，則可能難以讓使用者知曉該計算系統是否已經檢測得物件及在何處檢測得。
於此處描述之若干實施例中，揭示一種計算系統。該計算系統可包括例如一表面(觸敏表面)、一顯示器、及至少一個相機用以擷取表示位在該相機與該觸敏表面間之一物件的一影像。該計算系統也可包括一檢測引擎用以至少以該影像為基礎，決定顯示座標其係相對應於該物件之投影至該觸敏表面上，及於該處該顯示器並非平行於該觸敏表面。系統也可至少基於該物件是否觸摸觸敏表面自至少兩個不同物件指示符選擇一物件指示符，及提供經選取的物件指示符給顯示器，用以在顯示器上在已決定的顯示座標顯示該經選取的物件指示符。
現在參考附圖，圖1-6為包含一檢測引擎170之一計算系統100實例之示意圖。於圖1-6之實施例中，系統100可包括一支持結構110、一計算裝置150、一顯示器152、及一觸敏表面200。系統100也可包括一感測器束164指向例如觸敏表面，用以擷取表示設置於觸敏表面200上或上方的一物件之一或多個影像。計算裝置150可包括一檢測引擎170用以，基於至少一或多個影像(例如，接收自感測器束164)，決定與物件在觸敏表面上的投影之座標相關聯的顯示座標，及用以在該顯示器上顯示於經決定的顯示座標的一物件指示符。
計算裝置150可包含依從此處揭示之原理的任何 合宜計算裝置。如此處使用，「計算裝置」可包含電子顯示裝置、智慧型電話、平板、晶片組、一體機電腦(例如，包含一顯示裝置的裝置其也罩住該電腦之處理資源)、桌上型電腦、筆記型電腦、工作站、伺服器、任何其它處理裝置或設備、或其組合。於本實施例中，裝置150為一體機電腦，具有一中軸或一中線155、第一側或頂側150A、與該頂側150A軸向相對的第二側或底側150B、軸向延伸於兩側150A及150B間之一前側150C、也軸向延伸於兩側150A及150B間且與前側150C概略地徑向相對之一後側150D。一顯示器152係沿前側150C設置及界定系統100的一觀看表面用以顯示影像以供由系統100之一使用者觀看。於此處描述之實施例中，一顯示器可包括適用於顯示影像、視訊等的任何技術之組件。
於若干實施例中，顯示器152可以是觸敏顯示器。於此處描述之實施例中，一觸敏顯示器可包括例如，用於顯示影像、視訊等的任何合宜技術(例如，組件)，且可包括用於檢測實體接觸(例如，觸控輸入)的任何合宜技術(例如，組件)，諸如，電阻式、電容式、表面聲波、紅外線(IR)、應變計、光學成像、聲波脈衝識別、分散式信號感測、或胞元內系統等。於此處描述之實施例中，顯示器152可指一觸敏顯示器152。裝置150可進一步包括一相機154，例如可以是網路相機。於若干實施例中，相機154可擷取位在顯示器152前方的一使用者的影像。於若干實施例中，裝置150也可包括麥克風或其它裝置用以接收聲音輸入(例如，來自 一使用者的語音輸入)。
於圖1-6之實施例中，支持結構110包括一底部120、一直立構件140、及一頂部160。底部120包括第一端或前端120A、及第二端或後端120B。底部120可接合一支持表面15以支承系統100之至少部分組件(例如構件140、單元180、裝置150、頂部160等)的重量。於若干實施例中，當系統100經組配用於操作時，底部120可以此種方式接合支持表面15。於圖1-6之實施例中，當底部120係設置於支持表面15上時，例如圖2中例示，底部120之前端120A包括一凸部122，該凸部122可設置於支持表面15上方且與其分開(在凸部122與表面15間形成一間隔或一餘隙)。於此等實施例中，觸敏表面200之一側的部分可位在(例如，容納於)凸部122與表面15間所形成的該空間內部。於此等實施例中，將表面200之一部分置於由凸部122與表面15間所形成的該空間內部可協助表面200的妥為對齊。於其它實施例中，其它合宜方法或裝置可使用來協助表面200的對齊。
直立構件140包括第一端或上端140A、與該上端140A相對的第二端或下端140B、延伸於該等末端140A與140B間之第一側或前側140C、及與前側140C相對的也延伸於該等末端140A與140B間之第二側或後側140D。構件140之下端140B係耦聯至底部120之後端120B，使得構件140實質上從支持表面15向上延伸。
頂部160包括第一端或近端160A、與該近端160A相對之一第二端或遠端160B、延伸於該等末端160A與160B 間之頂面160C、及與頂面160C相對的也延伸於該等末端160A與160B間之底面160D。頂部160之近端160A係耦聯至直立構件140的上端140A使得遠端160B從直立構件140的上端140A向外延伸。如此，於圖2顯示之實施例中，頂部160係只支承在末端160A(而非在末端160B)，因而於此處稱作懸臂式頂部。於若干實施例中，底部120、構件140、及頂部160全部係一體成形。於其它實施例中，底部120、構件140、及頂部160可分開形成(亦即非為一體成形)。
觸敏表面200可包括一中軸或一中線205、一第一側或前側200A、及與該前側200A軸向相對之一第二側或後側200B。觸敏表面200可包含任何合宜技術用於檢測由一物件與表面200之實體接觸，諸如一手或其它物件(例如，含有傳導性材料的物件)其放置於表面200上或接近表面200可能造成表面200的電容或其它參數的可檢測變化。舉例言之，觸敏表面200可包含任何合宜技術用於檢測(及於若干實施例中追蹤)由一使用者的一或多個觸控輸入，用以許可該使用者透過此種觸控輸入，而與由裝置150或其它計算裝置執行的軟體互動。至於另一個實施例，觸敏表面200可包含任何合宜技術用於檢測(及於若干實施例中追蹤)設置於觸敏表面200上的一或多個物件用以許可該使用者透過此種物件的放置、旋轉、移動、及其它操控而與由裝置150或其它計算裝置執行的軟體互動。
於此處描述之實施例中，觸敏表面200可以是任何合宜觸敏平面(或實質上平面)物件，諸如觸敏板、桌面、 片材等。於若干實施例中，觸敏表面200可水平(或近似或實質上水平)設置。舉例言之，表面200可設置於支持表面15上，其可以是水平(或近似或實質上水平)。
於若干實施例中，全部或實質上全部表面200能檢測如前文描述之觸控輸入。於其它實施例中，少於全部表面200能檢測如前文描述之觸控輸入。舉例言之，表面200可包含一觸敏區域202，延伸歷經少於全部表面200，其中區域202能檢測如前文描述之觸控輸入。於其它實施例中，區域202延伸遍歷實質上全部表面200(例如，實質上可與表面200享有共同邊界)。區域202可實質上對齊軸205。
如前文描述，表面200可對齊結構110的底部120用以輔助表面200的適當對齊(例如，至少於系統100之操作期間)。於圖1-6之實施例中，表面200之後側200B可設置於底部120之凸部122與支持表面15間，使得後端200B對齊底部120的前側120A用以輔助表面200與系統100之其它組件的適當總體對齊(及特別，區域202的適當對齊)。於若干實施例中，表面200可對齊裝置150使得裝置150之中線155實質上對齊表面200之中線205。於其它實施例中，表面200可以其它方式對齊裝置150。
於若干實施例中，表面200與裝置150可彼此通訊連結(例如，電氣耦合)使得由表面200接收的使用者輸入可通訊給裝置150。表面200與裝置150可透過任何合宜有線或無線通訊技術或機制而彼此通訊，諸如WI-FI、藍牙、超音波技術、電纜、電線、電導體、具有磁性固定力的電氣載 荷彈簧伸縮接腳、或其類、或其組合。於圖1-6之實施例中，配置於表面200之後側200B上的暴露電氣接點接合底部120之凸部122內部相對應的電氣伸縮接腳引線，以於系統100之操作期間在裝置150與表面200間通訊資訊(亦即轉移信號)。於此等實施例中，該等電氣接點係藉(位在底部120之凸部122與支持表面15間之間隙中的)相鄰磁鐵固定結合在一起，以藉磁力吸引與固定(例如機械方式)沿表面200之後側200B配置的一相對應鐵磁材料及/或磁性材料。
參考圖3，投影機單元180包含一外部殼體182，及設置於殼體182內部之一投影機總成184。殼體182包括一第一端或上端182A、與該上端182A相對之一第二端或下端182B、及一內腔183。於圖3之實施例中，殼體182進一步包括一耦聯構件或安裝構件186，以接合及支承裝置150(例如，至少於系統100之操作期間)。構件186可為用以懸吊及支承如前文描述之任何合宜計算裝置150之任何合宜機制或裝置。舉例言之，構件186可包含一鉸鏈，其包括一轉軸，使得裝置150可環繞該轉軸旋轉(例如，由一使用者)而達成觀看顯示器152之一最佳視角。於若干實施例中，裝置150可持久地或半持久地附接至單元180之殼體182。於若干實施例中，殼體180及裝置150可一體成形地及/或單塊地形成為單一單元。
參考圖4，於若干實施例中，當裝置150透過殼體182上的安裝構件186而從結構110懸吊時，當系統100係從前方觀看(亦即實質上面對設置在裝置150的前側150C上的 顯示器152)時，投影機單元180(亦即殼體182及總成184兩者)可實質上係隱藏在裝置150後方。此外，如圖4顯示，當裝置150係如前文描述從結構110懸吊時，投影機單元180(亦即殼體182及總成184兩者)及任何藉此投射的影像可實質上相對於裝置150之中線155對準或對中。
再度參考圖3，投影機總成184係大致上設置於殼體182的內腔183內部，及包括一第一端或上端184A、與該上端184A相對之一第二端或下端184B。上端184A係鄰近殼體182的上端182A，而下端184B係鄰近殼體182的下端182B。投影機總成184可包含任何合宜數位光投影機總成用以接收來自計算裝置(例如裝置150)之光，及投射與該輸入資料相對應之影像(例如從上端184A射出)。舉例言之，於若干實施例中，投影機總成184包含一數位光處理(DLP)投影機或矽上液晶(LCoS)投影機，其為優異的輕薄短小的高能效投影引擎，具有多重顯示解析度及尺寸，例如，標準XGA解析度(1024x768像素)具有4：3縱橫比，或標準WXGA解析度(1280x800像素)具有16：10縱橫比。投影機總成184進一步通訊式連結(例如，電氣耦接)至裝置150以便從其中接收資料用以基於所接收的資料而從上端184A產生(例如，投射)光及影像。投影機總成184可透過任何合宜型別之電氣耦合，例如，或此處描述之任何其它合宜通訊技術或機制而通訊式連結至裝置150。於若干實施例中，總成184可透過電氣導體、WI-FI、藍牙、光學連結、超音波連結、或其組合而通訊式連結至裝置150。於圖1-6之實施例中，裝置 150係透過設置於安裝構件186內部之電氣引線或導體(例如，關聯表面200及底部120如前文描述)通訊式連結至總成184，使得當裝置150透過構件186而從結構110懸吊時，設置於構件186內部之電氣引線接觸設置於裝置150上的相對應引線或導體。
仍然參考圖3，頂部160進一步包括一摺疊鏡162及一感測器束164。鏡162包括一高度反射性表面162A，其係沿頂部160之底面160D設置，且係定位以於操作期間反射從投影機總成184之上端184A投射的光、影像等朝向表面200。鏡162可包含任何合宜型別之反射鏡或反射面。於圖1-6之實施例中，摺疊鏡162可包含一標準前表面經真空金屬化鍍鋁之玻璃鏡，其係作用以將從總成184發射之光摺疊向下朝向表面200。於其它實施例中，鏡162可具有複合非球面曲率，以用作為反射透鏡元件而提供額外聚焦倍率或光學矯正。
感測器束164包括至少一個感測器(例如，相機或其它類型的感測器)用以基於感測器束164與表面200間之一區域的狀態(例如，出現在該區的活動)而檢測、測量、或以其它方式獲得資料。感測器束164與表面200間之該區域的狀態可包括在表面200上及/或上方之物件，或發生在表面200上及/或上方之活動。於圖3之實施例中，束164包括一RGB相機(或影像感測器)164A、一IR相機(或IR感測器)164B、一深度相機(或深度感測器)164C、及一周圍光感測器164D。於此處描述之實施例中，相機可稱作為「感測器」。
於若干實施例中，RGB相機164A可以是擷取彩色影像(例如，靜像及視訊中之至少一者)的相機。於若干實施例中，RGB相機164A可以是根據RGB顏色模型擷取影像的相機，其可於此處稱作為「RGB影像」。但須瞭解於其它實施例中，RGB相機164A可以是根據其它顏色模型擷取影像的相機，諸如YUV、YCbCr、RAW等。於若干實施例中，RGB相機164A可以相當高解析度擷取影像，諸如約數百萬像素(MP)之解析度。舉個實例，RGB相機164A可以14 MP之解析度擷取彩色(例如，RGB)影像。於其它實施例中，RGB相機164A可以不同解析度擷取影像。於若干實施例中，RGB相機164A可指向表面200且可擷取表面200、設置於表面200與RGB相機164A間(例如，懸停於表面200上方或觸摸表面200)之物件、或其組合的影像。
IR相機164B可以是檢測在相機164B的視野中多個點的IR光強度之相機。於此處描述之實施例中，IR相機164B可結合系統100之IR光投射器166操作用以擷取IR影像。於此等實施例中，各個IR影像可包含多個像素，各自表示在由該像素表示之一點檢測得的IR光強度。於若干實施例中，系統100之頂部160可包括一IR光投射器166用以投射IR光167朝向表面200，及IR相機164B可指向表面200。於此等實施例中，IR相機164B可檢測由表面200、設置於表面200與IR相機164B間(例如，懸停於表面200上方或觸摸表面200)之物件、或其組合所反射的IR光強度。於若干實施例中，IR相機164B可排它地檢測由IR光投射器166所投射的 (例如，自表面200、物件等反射的，或直接接收自紅外光源)IR光167。
深度相機164C可以是用以檢測於深度相機164C之視野內的物件各部分個別的距離(或深度)之相機(感測器等)。如此處使用，由深度相機檢測得的資料於此處可稱作為「距離」或「深度」資料。於此處描述之實施例中，深度相機164C可擷取多像素深度影像(例如，深度映射圖)，其中各個像素之資料表示在由該像素表示之一點一物件之一部分的距離或深度(自相機164C測量)。深度相機164C可使用任何合宜技術具體實施，諸如立體視覺相機、具有均一IR光流之單IR相機、具有均一IR光流之雙IR相機、結構化光深度感測器技術、飛行時間(TOF)深度感測器技術、或其組合。於若干實施例中，深度感測器164C可指示何時一物件(例如，三維物件)係在表面200上。於若干實施例中，深度感測器164C可檢測位在表面200上或懸停於表面200上方的一物件(或其部分)之存在、形狀、輪廓、移動、及個別距離中之至少一者。
周圍光感測器164D可配置用以測量於系統100周圍環境中之光強度。於若干實施例中，系統100可運用感測器164D之測量值以調整系統100之其它組件，諸如系統100之感測器或相機(例如，相機164A-164C)的曝光設定值、自系統100之光源(例如，投影機總成184、顯示器152等)發射之光強度、或其類。
於若干實施例中，感測器束164可刪除感測器 164A-164D中之至少一者。於其它實施例中，除了感測器164A-164D之外，或替代感測器164A-164D中之至少一者，感測器束164可包含其它相機、感測器等。舉例言之，感測器束164可包括一使用者介面感測器，包含用於追蹤一使用者輸入裝置諸如手、觸控筆、指標裝置等的任何合宜裝置(例如，感測器、相機)。於若干實施例中，使用者介面感測器可包括一對相機其係配置用以立體鏡方式追蹤一使用者輸入裝置(例如，觸控筆)由一使用者環繞表面200(例如，環繞表面200之區域202)的移動。於其它實施例中，使用者介面感測器可額外或另外包括IR相機或感測器配置用以檢測由一使用者輸入裝置所發射的或所反射的紅外光。於若干實施例中，感測器束164可包括一手勢相機用以檢測由物件(例如，手等)打出預定手勢。於若干實施例中，手勢相機可包含一深度相機及額外功能用以隨著時間之推移而檢測、追蹤等不同類型的移動。
於此處描述之實施例中，束164的感測器164A-164D中之各者係通訊式連結(例如，耦合)至裝置150使得感測器束164內部產生的資料(例如，由相機擷取的影像)可提供給裝置150，裝置150可提供指令給感測器束164的感測器及相機。束164的感測器164A-164D可透過任何合宜有線或無線通訊技術或機制而通訊式連結至裝置150，其實例描述如前。於圖1-6之實施例中，電氣導體可自束164，經由頂部160、直立構件140、及投影機單元180，通過設置於安裝構件186(如前文描述)內部的引線而路由至裝置150 內部。
參考圖5及圖6，於系統100之操作期間，投影機總成184可投射可見光187用以反射偏離鏡162朝向表面200，藉此顯示可見影像於表面200的一投影機顯示空間188上。於圖5及圖6之實施例中，顯示空間188可以是實質上矩形，具有長度188L及寬度188W。於若干實施例中，長度188L可約為16吋，而寬度188W可約為12吋。於其它實施例中，長度188L及寬度188W可具有不同值。
於若干實施例中，感測器束164之相機(例如，相機164A-164C)係配置於系統100內部使得各個相機之視野包括表面200之一空間168，該空間可重疊部分或全部顯示空間188，或可與顯示空間188享有共同邊界。於此處描述之實施例中，感測器束164之相機(例如，相機164A-164C)的視野可謂包括空間168，但偶爾表面200可能至少被表面200上或上方的物件部分阻擋。於此等實施例中，表面200上或上方的物件可以在相機164A-164C中之至少一者的視野內。於此等實施例中，感測器束164之感測器可根據感測器束164與表面200之空間168間的一區域的狀態(例如，發生其中的活動，設置其中的物件)而獲得資料。於若干實施例中，空間188與空間168重合或相對應於表面200之區域202，使得觸敏區域202、投影機總成184、及感測器束164的功能全部皆相關於相同界定區執行。感測器束164之相機(例如，相機164A-164C)的一視野165示意例示於圖7A。於若干實施例中，感測器束164之相機(例如，相機164A-164C) 中之各者可具有略為不同的視野。
現在參考圖5及圖6，裝置150可導引投影機總成184投射影像至表面200上(例如，至區域202上)。裝置150也可顯示影像於顯示器152上(該影像可以是與藉投影機總成184投射至區域202上的影像相同或相異)。藉總成184投射的影像可包含由藉裝置150執行的軟體所產生的資訊及/或影像。於若干實施例中，一使用者可以任何合宜方式，諸如使用使用者的手35(例如，透過觸摸、輕敲、手勢、或其它觸控輸入)、使用觸控筆25、或透過任何其它合宜使用者輸入裝置，藉由實體接合觸敏表面200而與投射在表面200上的且顯示在顯示器152上的影像互動。如前文描述，觸敏表面200可透過實體接合表面200而檢測此種互動。又，於若干實施例中，投影機總成184也可投射影像(至少部分)在設置於表面200上的物件上(例如，手35，如圖5顯示)。
舉個實例，當一使用者透過實體接觸而與觸敏表面200互動時，表面200可產生觸控輸入資訊且經由任何合宜連結(其實施例係如前文描述)提供給裝置150。於若干實施例中，OS可傳送所接收的觸控輸入給在裝置150上執行的另一個應用程式(例如，程式等)。回應於此，執行OS或應用程式可變更藉投影機總成184投射的影像、顯示在顯示器152上的影像、或其組合。如此處使用，「應用程式」、「電腦應用程式」、或「服務」為藉處理資源可執行的機器可讀取指令之一集合。於若干實施例中，一使用者可與顯示在顯示器152(其可以是觸敏顯示器)上的影像、或裝置150之任 何其它輸入裝置(例如，鍵盤、滑鼠等)以類似方式互動。
於若干實施例中，感測器束164之感測器(例如，相機)也可產生系統輸入，其可提供給裝置150用於進一步處理。舉例言之，系統100可利用束164的相機以檢測物件(例如，使用者的手35、指尖37、觸控筆25等)的存在及位置中之至少一者，及提供表示檢測資訊的系統輸入資訊給裝置150。於若干實施例中，系統100可運用一或多個相機用以決定物件的三維定位，及提供該定位資訊給裝置150。於若干實施例中，系統100可利用得自束164之至少兩個不同相機(例如，得自相機164A、164B、及164C之兩個相機的組合)之至少兩個影像用以決定物件的三維定位。舉例言之，感測器束164之至少兩個相機可配置以從事該物件的立體鏡物件追蹤。於若干實施例中，一物件(例如，觸控筆25)可包括至少一部分(例如，梢端26)經以紅外線逆反射塗覆層(例如，塗料)塗覆，其可用作為紅外線逆反射鏡。於此等實施例中，束164可包括IR相機(或感測器)，如前文描述，其可檢測反射偏離塗覆部的IR光用以使得當物件跨區域202移動時，裝置150追蹤該物件之經塗覆部的位置。於若干實施例中，表面200(具有藉總成184投射於其上的影像)可作為系統100內部的第二或替代觸敏顯示器。此外，如前文描述，與顯示在表面200上的影像之互動的檢測可經由使用感測器束164之感測器而予提升。
於若干實施例中，系統100可擷取一實體物件的二維(2D)影像或產生三維(3D)掃描，使得物件之影像然後 可投射在表面200上用於其進一步使用及操控。舉例言之，如圖6顯示，一物件40可置於表面200上，使得束164之感測器(例如，相機164A-164C中之至少一者)可檢測物件40的位置、維度、及顏色中之至少一者，用以提升其2D影像或產生其3D掃描。於此等實施例中，如前文描述，由束164之感測器收集的資訊可提供給裝置150(例如，裝置150之作業系統(OS)、應用程式、服務等)。於若干實施例中，在接收資訊之後，裝置150(例如，OS、應用程式、服務等)可指示投影機總成184投射物件40之影像至表面200上。物件40例如可以是手35、指尖37、觸控筆25或任何其它實體物件，諸如棋子、書本、馬克杯、筆、文件、照片等。
圖7A及圖7B分別例示包含檢測引擎170之計算系統100之一實例的側視圖及透視圖。於圖7A及圖7B之實例中，使用者可使用左手35L的指尖37a-37e及指尖37f-37j作為可藉檢測引擎170檢測與處理的物件，容後詳述。
圖8為包含檢測引擎170之圖1之計算系統100的部分實例之方塊圖。更明確言之，圖8例示計算裝置150之一實例，其包含檢測引擎170及一電腦可讀取媒體320且如前文描述，係通訊式連結至感測器束164(如前文描述)之至少一個相機(例如，相機164A)，連結至觸敏表面200，及連結至顯示器152。雖然於圖8中未顯示但計算裝置150也可通訊式連結至系統100之其它組件，如前文描述。
計算裝置150(或實現檢測引擎170的任何其它計算裝置)可包括至少一個處理資源。於此處描述之實施例 中，一個處理資源例如可包括一個處理器或多個處理器含括於單一計算裝置內或分布跨多個計算裝置。如此處使用，「處理器」可以是中央處理單元(CPU)、以半導體為基礎之微處理器、圖形處理單元(GPU)、經組配以取回及執行指令的可現場程式規劃閘陣列(FPGA)、適用於取回及執行儲存於機器可讀取儲存媒體上的指令的其它電子電路、或其組合。
如前記，計算裝置150可包含檢測引擎170。於若干實施例中，於此處未顯示，計算裝置150可包含額外引擎，及檢測引擎170可包含多個子引擎。於此處描述之實施例中，計算裝置150之任何引擎(例如，引擎170)可以是硬體與程式設計之任何組合用以實現個別引擎的功能。硬體與程式設計之此等組合可以多種不同方式實現。舉例言之，程式設計可以是儲存於非暫態機器可讀取儲存媒體(例如，電腦可讀取媒體320)上的處理器可執行指令，及硬體可包括一處理資源用以執行該等指令。於此等實施例中，機器可讀取儲存媒體可儲存指令，其當藉處理資源執行時可實現該等引擎。儲存該等指令的機器可讀取儲存媒體可整合於處理資源的相同計算裝置(例如，裝置150)內用以執行該等指令，或機器可讀取儲存媒體可與計算裝置及處理資源分開但可存取該等裝置。處理資源可包含一個處理器或多個處理器含括於單一計算裝置內或分布跨多個計算裝置。
於若干實施例中，指令可以是安裝包之部分，其當安裝時可由處理資源執行而實現系統100之引擎。於此等 實施例中，機器可讀取儲存媒體可以是可攜式媒體，諸如光碟、DVD、或快閃驅動裝置、或由一伺服器維持的一記憶體，自其中可下載及安裝該安裝包。於其它實施例中，指令可以是已經安裝於包括處理資源的計算裝置(例如，裝置150)上的一應用程式或多應用程式之部分。於此等實施例中，機器可讀取儲存媒體可包括記憶體，諸如硬碟驅動裝置、固態驅動裝置等。
如此處使用，「機器可讀取儲存媒體」可以是用以含有或儲存資訊諸如可執行指令、資料等的任何電子式、磁學、光學、或其它實體儲存裝置。舉例言之，此處描述之任何機器可讀取儲存媒體可以是儲存裝置驅動裝置(例如，硬碟驅動裝置)、快閃記憶體、隨機存取記憶體(RAM)、任何類型的儲存碟(例如，光碟、DVD等)及其類、或其組合中之任一者。又，此處描述之任何機器可讀取儲存媒體可以是非暫態。
參考圖8結合圖7A及圖7B，檢測引擎170可自感測器束164之一或多個相機獲得表示一物件的一或多個影像(例如，表示該物件的一或多個RGB影像，表示該物件的一或多個紅外線影像，及/或表示該物件的一或多個深度影像)。於若干實施例中，引擎170可獲得表示該物件的至少兩個影像，及於若干實施例中，該等兩個影像可得自感測器束164之兩個不同相機。於若干實施例中，該等兩個相機可以是感測器束164之任二相機。
基於所得的影像，引擎170可決定物件(例如，圖 7A及圖7B中例示的一或多個手指37a-37j)之三維定向(例如，座標)。該三維座標例如可以笛卡爾座標(x,y,z)表示，具有一原點例如在距一使用者的觀點的觸感區域202的左上角。於若干實施例中，「z」軸可垂直表面200，及「y」軸可平行中線205。於其它實施例中，可使用其它座標系及方位用以界定該(等)物件的三維座標。
基於所得一物件的三維座標，引擎170可決定該物件投影至觸敏表面200上的二維座標。於若干實施例中，該物件的投影可以是平行投影，於該處該物件的三維座標係透過垂直表面200的一線投射至表面200上的一點。舉例言之，若指尖37j之三維影像資料為(x1,y1,z1)，則其二維投影座標可以是(x1,y1)，如圖7B中例示。於其它實施例中，該物件的投影可以是透視投影，於該處該物件的三維座標係透過非必然垂直表面200的一線而投射至表面200上的一點，諸如連接該物件與一預定點之一線，例如感測器束164或投影機總成184上的某一點。無論選用哪一型投影，引擎170可根據該物件的三維座標及表面200之定位及方位而獲得該物件投射到表面200上的二維座標。
於若干實施例中，引擎170可從得自感測器束164之一或多個相機的一或多個影像直接獲得二維投影座標，而無需首先獲得該物件的三維座標。舉例言之，引擎170可使用一或多個預先經校準的轉換矩陣用以將所得影像內部物件的(二維)座標轉換成二維投影座標。
於若干實施例中，根據所決定的二維投影座標， 引擎170可決定顯示器152上的二維顯示座標。顯示座標可以多種方式與投影座標相關聯(或相對應)。於若干實施例中，顯示座標可以是投影座標的線性或非線性函數。舉例言之，引擎170可使用一或多個轉換矩陣用以將投影座標轉換成顯示座標。於若干實施例中，座標經轉換使得投影座標中之點(0,0)(例如，區域202之左上角)係被轉換成顯示座標中之點(0,0)(例如，顯示器152之左上角)。同理，引擎170可藉顯示器152之寬度與區域202之寬度間之一比值按比例縮放投影座標的「x」座標，及藉顯示器152之高度與區域202之高度間之一比值按比例縮放投影座標的「y」座標。結果，區域202的右下角可被轉換成顯示器152的右下角。
在決定顯示座標之後，引擎170可在顯示器152上顯示一物件指示符於顯示座標。如此處使用，「顯示一物件指示符」可指例如提供物件指示符給顯示器152用以顯示物件指示符，造成顯示器152顯示物件指示符。舉例言之，如圖7B例示，引擎170可決定表面200上的指尖37a-37j的投影座標，如前文描述。根據投影座標，引擎170可計算顯示座標，及顯示物件指示符156a-156j在或接近個別求出的顯示座標。舉例言之，針對指尖37j，引擎170可決定投影座標(x1,y1)。基於此等投影座標，引擎170可求出顯示座標(x2,y2)，及顯示物件指示符156j在此等座標，如圖7B中描繪。
顯示的物件指示符可包括任何類型的形狀、小圖幟、圖形等，且可具有不同顏色及不同程度的透明度或不透明度。於若干實施例中，顯示在顯示器152上的全部物件 指示符可具有相同的外觀，而於其它實施例中，同時顯示的相對應於兩個不同物件的指示符可相異(例如，具有不同外觀)。於若干實施例中，引擎170可檢測物件的類型(例如，指尖、觸控筆等)及根據物件的類型而選擇多個(例如，至少兩個)不同的物件指示符中之一者。引擎170可進一步區別同一類型的不同物件。舉例言之，針對各個指尖，引擎170可檢測該指尖相對應於哪一隻手上的哪一根手指，及針對不同手指及不同手而選擇不同的物件指示符。
於若干實施例中，顯示在顯示器152上的一或多個物件指示符可組合(例如，疊加其上)顯示在顯示器152上的另一個影像。其它影像可藉計算裝置150執行的作業系統或應用程式提供給顯示器152。據此，使用者可使用物件，諸如指尖，用以識別及選擇顯示在顯示器152上的一個影像之目標區，及物件指示符可用作為視覺指南或游標，指示相對應於物件在表面200上的投影之在顯示器152上的位置。
如前文描述，於若干實施例中，物件(例如，指尖37)可以設置於感測器束164與表面200間之該區域的任何位置。據此，物件可觸碰表面200、懸停於表面200上方等。於若干實施例中，引擎170可決定(例如，根據來自表面200的信號)一特定物件是否觸及表面200，及基於該項決定而自多個指示符中選擇一不同物件指示符(或修改相同物件指示符的外觀)。舉例言之，觸敏表面200可檢測物件的一或多個觸摸，及傳送描述該等一或多個觸摸的觸控資料給引擎170。
根據接收自表面200的觸控資料，針對含括於該觸控資料中的各個觸摸，引擎170可決定該觸摸是否與如前文描述基於得自感測器束164的影像檢測得的物件(例如，指尖)中之一者相關聯。舉例言之，引擎170可判定在表面200上的一特定觸摸之位置是否重合或落入於距該等物件中之一者或距該等物件中之一者在表面200上的投影之一經預先界定的距離(例如，1毫米)以內。舉例言之，引擎170可判定一特定觸摸之位置是否在一特定物件正下方或實質上下方，其例如可基於觸控資料及得自感測器束164之相機之一或多個影像(或基於該等影像決定的該物件之三維座標)決定。於若干實施例中，引擎170可例如使用得自深度相機164C的深度資料，或使用如前文描述決定的三維座標，藉由決定物件距表面200的距離而判定一特定觸摸是否關聯一特定物件。舉例言之，若多個物件中只有一個觸摸表面200，則引擎170可藉由判定具有最短距離的物件或具有小於一經預先界定的距離(例如，1毫米)的物件而決定哪個物件係觸摸表面200。
於如圖7A及圖7B例示之實施例中，指尖37c及37d係觸摸表面200而其它指尖係懸停於表面200上方。於本實施例中，引擎170可根據由表面200提供的觸控資料檢測兩個觸摸，及決定(例如，基於指尖37a-37j之影像或基於該等影像決定的指尖37a-37j之三維定位)該等兩個觸摸相對應於指尖37c及37d。據此，如圖7B中例示，引擎170可自第一類型(例如，打亮圓)選擇物件指示符156c及156d，及自第二(不同) 類型(例如，非打亮圓)選擇物件指示符156a、156b、及156e-156j。如此可讓使用者確認已經檢測一或多個觸摸，且也給使用者提供一視覺指南有關顯示在顯示器152上的物件指示符哪個相對應於觸摸物件，而哪個相對應於非觸摸(懸停)物件。如此可讓使用者集中注意力例如只在觸摸表面200的物件上。於若干實施例中，引擎170可經組配(例如，由使用者組配)以只顯示觸摸表面200的物件的物件指示符、只顯示非觸摸表面200的物件、或顯示兩類型物件。
於若干實施例中，引擎170可判定是否基於物件指示符而顯示一物件的物件指示符。舉例言之，顯示器152可以是觸敏顯示器，於該種情況下，使用者可偶爾藉使用(例如，觸摸)顯示器152而選擇提供使用者輸入，而非使用如前文描述的物件檢測功能。於此等實施例中，引擎170可判定該物件(例如，指尖)移動靠近顯示器152而遠離表面200，及根據該項判定而停止顯示針對該物件或針對全部物件的物件指示符。同理，引擎170可判定該物件移動遠離顯示器152而靠近表面200，及根據該項判定而開始顯示針對該物件的物件指示符。
更明確言之，於若干實施例中，引擎170可根據物件距表面200的距離，根據物件距顯示器152的距離，判定是否顯示一物件的物件指示符。舉例言之，若一物件係落入於距表面200的一經預先界定的距離(例如，150毫米)以內，則引擎170可顯示該物件的物件指示符，而若物件係不落入於(或移動至外側)距表面200的該經預先界定的距離 以內，則不顯示(或停止顯示)該物件指示符。至於另一個實例，若一物件係落入於距顯示器152的一經預先界定的距離以內，則引擎170可顯示該物件的物件指示符，而若物件係不落入於(或移動至外側)距顯示器152的該經預先界定的距離以內，則不顯示(或停止顯示)該物件指示符。於若干實施例中，若一物件距表面200的距離係小於物件距顯示器152的距離，則引擎170可顯示該物件的物件指示符，否則即不顯示該物件指示符。
於若干實施例中，引擎170可根據一物件距表面200的距離與物件距顯示器152的距離之比值而決定是否顯示物件的物件指示符。舉例言之，若該比值或差值係小於一預定比值或預定差值，則引擎170可顯示該物件的物件指示符，若該比值或差值係大於或等於該預定比值或預定差值，則不顯示(或停止顯示)該物件指示符。於若干實施例中，引擎170可根據一物件與感測器束164間之距離，例如基於來自周圍光感測器164D或感測器束164之其它相機的輸入而決定是否顯示物件的物件指示符。舉例言之，若該距離係小於一預定距離，則引擎170可顯示該物件的物件指示符，若該距離係大於或等於該預定距離，則不顯示(或停止顯示)該物件指示符。
於若干實施例中，引擎170可執行一遲滯機制，及當物件穿越該臨界值時，調整預定距離、比值、差值、及前文討論的其它臨界值。如此可防止當該物件位置靠近該臨界值時的抖動(物件指示符的快速顯示及隱藏)，及意外 地來回穿越臨界值。於若干實施例中，前文討論的各種臨界值可以經預先界定且經固定，或可由使用者組配。於若干實施例中，物件距顯示器152及表面200的距離可由引擎170決定，例如如前文描述，基於物件的三維座標決定，或使用其它合宜方法決定，諸如使用得自深度相機164C或感測器束164之其它相機的深度資料。於若干實施例中，引擎170可針對各個物件決定是否顯示該物件的物件指示符。如此，於若干實施例中，引擎170可針對一或多個受檢物件同時顯示物件指示符，而不顯示針對其它受檢物件的物件指示符。於其它實施例中，若運用前文描述之技術中之任一者，引擎170不須顯示至少一個物件指示符，則引擎170可針對任何受檢物件不顯示物件指示符。
雖然於部分前述實施例中引擎170被描述為經組配以只決定物件的位置及顯示一相對應物件指示符一次，但須瞭解引擎170可經組配以連續執行描述的功能，例如每秒固定次數(例如，30次)。如此，於若干實施例中，當一或多個物件移動且當若干物件觸摸或停止觸摸表面200時，引擎170可連續地即時地檢測新物件位置及觸摸，及據此更新所顯示的物件指示符。
圖9為計算裝置150之一部分實例之方塊圖。於圖9之實施例中，如前文描述，計算裝置150係通訊式連結至觸敏表面200、相機164A-164C、及顯示器152。相機164A-164C中之各者可位在表面200上方且指向表面200。計算裝置150可進一步包括一處理資源310及包含(例如，編碼) 指令322-324的機器可讀取儲存媒體320。
於若干實施例中，儲存媒體320可包括額外指令。於其它實施例中，指令322-324及此處相關儲存媒體320描述的任何其它指令可儲存於遠離但可存取計算裝置150及處理資源310的一機器可讀取儲存媒體上。處理資源310可提取、解碼、及執行儲存於儲存媒體320上的指令用以實現此處描述之功能。於其它實施例中，儲存媒體320的指令中之任一者的功能可以電子電路形式、以編碼在機器可讀取儲存媒體上之可執行指令形式、或其組合實現。機器可讀取儲存媒體320可以是非暫態機器可讀取儲存媒體。
於若干實施例中，如前文描述，指令322可基於例如得自感測器束164之兩個不同相機的至少兩個影像而決定一物件的三維座標。於若干實施例中，如前文描述，該物件可位在表面上或上方(例如，懸停於表面上方或觸摸該表面)，於該處表面可以是顯示器表面以外的任何表面，例如，非平行於顯示器表面的任何表面，諸如觸敏表面200。基於三維物件座標，指令324可判定二維顯示座標可相關聯或可相對應於該物件投影至表面上的二維投影座標，如前文描述。指令324可在顯示器上所決定的顯示座標顯示一物件指示符。
如前文描述，於若干實施例中，表面可以是觸敏表面，及媒體320也可包括指令用以自觸敏表面接收表示至少一個觸摸的觸控資料；判定該觸摸是否與該物件相關聯，如前文描述；及根據該觸摸是否與該物件相關聯而自 至少兩個不同物件指示符中選出該物件指示符。媒體320也可包括指令用以檢測物件的類型(例如，觸控筆、指尖等)及根據檢測得的類型而選定物件指示符，如前文描述。又，媒體320也可包括指令用以基於物件距表面之距離及物件距顯示器之距離(例如，基於該等二距離間之比值及/或差值)而決定是否顯示物件指示符。
於若干實施例中，此處相關圖9描述的特徵及功能可組合此處相關圖1-8及圖10中之任一者描述的特徵及功能提供。
圖10為用於顯示至少一個物件指示符之方法900實例之流程圖。方法900例如可藉具有至少一個計算裝置(例如，計算裝置150)具有至少一個處理資源(例如，處理資源310)的至少一個計算系統(例如，計算系統100)，或藉硬體及/或軟體處理器、計算裝置及/或計算系統之任何其它組合執行。
於方塊905，方法900可決定多個物件的位置(例如，三維位置)，於該處至少一個物件可觸摸一表面(例如，觸敏表面200)，而至少另一個物件可不觸摸表面。舉例言之，如前文描述，該方法可根據得自感測器束164之一或多個相機的一影像或多影像而決定該位置。於方塊910，方法900可根據該等位置而決定針對該物件或多個物件中之各者顯示座標。如前文描述，一物件的顯示座標可相對應於(或為其線性函數)物件在表面上的投影。表面可以是顯示器(例如，顯示器152)之表面以外的任何表面，諸如觸敏表面 200。於方塊915，該方法可在一顯示器(例如，顯示器152)上顯示針對該等多個物件中之一者或各者的一物件指示符，如前文描述。
於若干實施例中，方法900可包括額外方塊。例如，方法900也可檢測在表面(例如，若該表面為觸敏表面諸如表面200)上的一或多個觸摸，及針對各個物件，基於該物件是否相對應於觸摸(例如，觸摸觸敏表面)中之任一者而自至少兩個不同物件指示符中選出一個物件指示符。於若干實施例中，顯示器可以是觸敏顯示器，及該方法也可針對一特定物件基於該物件距表面之距離及其距顯示器之距離(例如，基於該等二距離間之比值及/或差值)而決定是否顯示一物件指示符。
雖然圖10之流程圖顯示執行某些功能的特定順序，但方法900並不限於該順序。舉例言之，於該流程圖中循序顯示的功能可以不同順序從事，可同時或部分同時執行，或其組合。於若干實施例中，此處相關圖10描述的特徵及功能可組合相關圖1-9中之任一者描述的特徵及功能提供。
35L‧‧‧左手
35R‧‧‧右手
100‧‧‧系統
140‧‧‧直立構件
150‧‧‧計算裝置
160‧‧‧頂部
162‧‧‧鏡
164A‧‧‧RGB相機
164B‧‧‧IR相機
164C‧‧‧深度相機
165‧‧‧視野
166‧‧‧IR光投射器
170‧‧‧檢測引擎
200‧‧‧觸敏表面

Claims (15)

  1. 一種計算系統，其包含：一觸敏表面；一顯示器；至少一個相機用以擷取表示位在該相機與該觸敏表面間之一物件的一影像；及一檢測引擎用以：至少基於該影像，決定相對應於投影至該觸敏表面上的物件投影的顯示座標，其中該顯示器係非平行於該觸敏表面；至少基於該物件是否觸摸該觸敏表面而自至少兩個不同物件指示符選擇一物件指示符；及提供該經選取的物件指示符給該顯示器，用以於該顯示器上在該等經決定的顯示座標處顯示該經選取的物件指示符。
  2. 如請求項1之計算系統，其中：該觸敏表面係用以檢測一觸摸；及該檢測引擎係進一步用以：決定藉該觸敏表面檢測的觸摸是否與該物件相關聯。
  3. 如請求項2之計算系統，其中該物件包含一指尖。
  4. 如請求項1之計算系統，其中該顯示器包含一觸敏顯示器，及該檢測引擎係進一步用以： 基於該物件距該觸敏表面之距離及該物件距該顯示器之距離中之至少一者而決定是否顯示該物件指示符。
  5. 如請求項4之計算系統，其中該檢測引擎係用以基於i)該物件距該觸敏表面之距離與該物件距該顯示器之距離的一比值，及ii)該物件距該觸敏表面之距離與該物件距該顯示器之距離的一差值中之至少一者而決定是否顯示該物件指示符。
  6. 一種用於顯示物件指示符的方法，其包含：決定多個物件之位置，其中至少一個物件係觸摸一表面及至少一個物件係不觸摸該表面；至少基於該等位置，針對該等多個物件中之各個物件，決定相對應於投影至該表面上的物件投影座標之顯示座標；及針對該等多個物件中之各個物件，於一顯示器上在該等經決定的顯示座標處顯示一物件指示符，其中該表面係與顯示器的表面不同。
  7. 如請求項6之方法，其中該表面包含一觸敏表面，該方法進一步包含：針對自該等多個物件之各個物件，基於該物件是否觸摸該觸敏表面而自至少兩個不同物件指示符選擇該物件指示符。
  8. 如請求項6之方法，其中該等位置的該決定係基於得自一RGB相機、一紅外線相機、及一深度相機中之至少一者的多個影像。
  9. 如請求項6之方法，其中該顯示器包含一觸敏顯示器，該方法進一步包含：針對該等物件中之至少一者，基於該物件距該表面之距離及該物件距該顯示器之距離中之至少一者而決定是否顯示該物件指示符。
  10. 如請求項9之方法，其中決定是否顯示該物件指示符係基於i)該物件距該表面之距離與該物件距該顯示器之距離的一比值，及ii)該物件距該表面之距離與該物件距該顯示器之距離的一差值中之至少一者。
  11. 一種非暫態機器可讀取儲存媒體包含可由包含一顯示器的一計算系統的一處理資源執行的指令，該等指令可執行用以：基於得自多個相機中之兩個不同相機的至少兩個影像而決定一物件的三維座標，其中該等多個相機包含至少一RGB相機、一紅外線相機、及一深度相機；基於該物件的該三維座標，決定相對應於二維投影座標之二維顯示座標，其中該等二維投影座標相對應於投影至該顯示器的表面以外之一表面上的物件投影；及提供一物件指示符，用以於該顯示器上在該等經決定的顯示座標處進行顯示。
  12. 如請求項11之非暫態機器可讀取儲存媒體，其中該表面包含一觸敏表面，及其中該等指令係進一步可執行用以：自該觸敏表面接收表示至少一個觸摸之觸控資料；決定該觸摸是否與該物件相關聯；及 基於該決定而自至少兩個不同物件指示符選擇該物件指示符。
  13. 如請求項12之非暫態機器可讀取儲存媒體，其中該等指令可進一步執行來檢測該物件之一類型，及其中選擇該物件指示符係進一步基於該物件之該類型。
  14. 如請求項11之非暫態機器可讀取儲存媒體，其中該等指令係進一步可執行用以：基於該物件距該表面之距離及該物件距該顯示器之距離中之至少一者而決定是否提供該物件指示符以進行顯示。
  15. 如請求項14之非暫態機器可讀取儲存媒體，其中該等指令係進一步可執行用以：基於i)該物件距該表面之距離與該物件距該顯示器之距離的一比值，及ii)該物件距該表面之距離與該物件距該顯示器之距離的一差值中之至少一者而決定是否提供該物件指示符以進行顯示。
TW104130785A 2014-09-30 2015-09-17 物件指示符顯示技術 TWI582676B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/058189 WO2016053269A1 (en) 2014-09-30 2014-09-30 Displaying an object indicator

Publications (2)

Publication Number Publication Date
TW201617820A TW201617820A (zh) 2016-05-16
TWI582676B true TWI582676B (zh) 2017-05-11

Family

ID=55631125

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104130785A TWI582676B (zh) 2014-09-30 2015-09-17 物件指示符顯示技術

Country Status (5)

Country Link
US (2) US10168838B2 (zh)
EP (1) EP3201722A4 (zh)
CN (1) CN107077195B (zh)
TW (1) TWI582676B (zh)
WO (1) WO2016053269A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016076175A (ja) * 2014-10-08 2016-05-12 キヤノン株式会社 情報処理装置
TWI562046B (en) * 2015-06-25 2016-12-11 Wistron Corp Optical touch apparatus and width detecting method thereof
US11144113B2 (en) * 2018-08-02 2021-10-12 Firefly Dimension, Inc. System and method for human interaction with virtual objects using reference device with fiducial pattern
US10970922B2 (en) * 2018-09-28 2021-04-06 Apple Inc. Generating a 3D model of a fingertip for visual touch detection
EP4115271A1 (en) * 2020-03-04 2023-01-11 Abusizz AG Interactive display apparatus and method for operating the same
TWI799137B (zh) * 2021-02-23 2023-04-11 仁寶電腦工業股份有限公司 電子裝置及其使用方法
US11740689B1 (en) * 2022-06-16 2023-08-29 Apple Inc. Electronic devices with projectors

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200512636A (en) * 2003-09-19 2005-04-01 America Online Inc Selective input system based on tracking of motion parameters of an input device
US20050162402A1 (en) * 2004-01-27 2005-07-28 Watanachote Susornpol J. Methods of interacting with a computer using a finger(s) touch sensing input device with visual feedback
CN103608754A (zh) * 2011-06-05 2014-02-26 苹果公司 用于提供对无物理触摸能力的基于触摸的用户界面的控制的设备、方法和图形用户界面
US20140201685A1 (en) * 2013-01-14 2014-07-17 Darren Lim User input determination

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US20050078092A1 (en) 2003-10-08 2005-04-14 Clapper Edward O. Whiteboard desk projection display
JP3880582B2 (ja) 2004-02-13 2007-02-14 Ｎｅｃビューテクノロジー株式会社 複数のカメラを備えたプロジェクタ
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US20080018591A1 (en) 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US8199117B2 (en) 2007-05-09 2012-06-12 Microsoft Corporation Archive for physical and digital objects
US8103109B2 (en) 2007-06-19 2012-01-24 Microsoft Corporation Recognizing hand poses and/or object classes
US8358277B2 (en) 2008-03-18 2013-01-22 Microsoft Corporation Virtual keyboard based activation and dismissal
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
US8760391B2 (en) * 2009-05-22 2014-06-24 Robert W. Hawkins Input cueing emersion system and method
CN103558931A (zh) 2009-07-22 2014-02-05 罗技欧洲公司 用于远程、虚拟屏幕输入的***和方法
WO2011031538A2 (en) 2009-08-27 2011-03-17 California Institute Of Technology Accurate 3d object reconstruction using a handheld device with a projected light pattern
JP2011210188A (ja) * 2010-03-30 2011-10-20 Sony Corp 画像処理装置、画像表示方法、画像表示プログラム、および画像表示プログラムを記録した記録媒体
TWI423096B (zh) 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
WO2011136783A1 (en) * 2010-04-29 2011-11-03 Hewlett-Packard Development Company L. P. System and method for providing object information
US20120299876A1 (en) 2010-08-18 2012-11-29 Sony Ericsson Mobile Communications Ab Adaptable projection on occluding object in a projected user interface
KR101756664B1 (ko) 2010-12-24 2017-07-26 엘지디스플레이 주식회사 적외선 방식 터치스크린 표시장치 및 이의 터치지점 판단방법
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
US8619049B2 (en) 2011-05-17 2013-12-31 Microsoft Corporation Monitoring interactions between two or more objects within an environment
JP5830987B2 (ja) * 2011-07-06 2015-12-09 ソニー株式会社 表示制御装置、表示制御方法およびコンピュータプログラム
US8842057B2 (en) 2011-09-27 2014-09-23 Z124 Detail on triggers: transitional states
GB201117542D0 (en) 2011-10-11 2011-11-23 Light Blue Optics Ltd Touch-sensitive display devices
US20140362052A1 (en) 2012-01-20 2014-12-11 Light Blue Optics Ltd Touch Sensitive Image Display Devices
US8854433B1 (en) * 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US9377863B2 (en) 2012-03-26 2016-06-28 Apple Inc. Gaze-enhanced virtual touchscreen
US8933912B2 (en) * 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US9092090B2 (en) * 2012-05-17 2015-07-28 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Structured light for touch or gesture detection
US9429417B2 (en) 2012-05-17 2016-08-30 Hong Kong Applied Science and Technology Research Institute Company Limited Touch and motion detection using surface map, object shadow and a single camera
US8837780B2 (en) 2012-06-22 2014-09-16 Hewlett-Packard Development Company, L.P. Gesture based human interfaces
US8836768B1 (en) * 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
JP6089722B2 (ja) * 2013-01-23 2017-03-08 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9204130B2 (en) 2013-02-06 2015-12-01 Caterpillar Inc. Method and system for creating a three dimensional representation of an object
US20140267029A1 (en) * 2013-03-15 2014-09-18 Alok Govil Method and system of enabling interaction between a user and an electronic device
US9160993B1 (en) * 2013-07-18 2015-10-13 Amazon Technologies, Inc. Using projection for visual recognition
CN105593786B (zh) * 2013-11-07 2019-08-30 英特尔公司 对象位置确定
US9720506B2 (en) * 2014-01-14 2017-08-01 Microsoft Technology Licensing, Llc 3D silhouette sensing system
TWI524772B (zh) * 2014-02-19 2016-03-01 中強光電股份有限公司 投影系統及其投影方法
US11106314B2 (en) * 2015-04-21 2021-08-31 Dell Products L.P. Continuous calibration of an information handling system projected user interface
US11188143B2 (en) * 2016-01-04 2021-11-30 Microsoft Technology Licensing, Llc Three-dimensional object tracking to augment display area

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200512636A (en) * 2003-09-19 2005-04-01 America Online Inc Selective input system based on tracking of motion parameters of an input device
US20050162402A1 (en) * 2004-01-27 2005-07-28 Watanachote Susornpol J. Methods of interacting with a computer using a finger(s) touch sensing input device with visual feedback
CN103608754A (zh) * 2011-06-05 2014-02-26 苹果公司 用于提供对无物理触摸能力的基于触摸的用户界面的控制的设备、方法和图形用户界面
US20140201685A1 (en) * 2013-01-14 2014-07-17 Darren Lim User input determination

Also Published As

Publication number Publication date
US20190114034A1 (en) 2019-04-18
EP3201722A1 (en) 2017-08-09
US20170249054A1 (en) 2017-08-31
US10379680B2 (en) 2019-08-13
CN107077195A (zh) 2017-08-18
EP3201722A4 (en) 2018-05-16
WO2016053269A1 (en) 2016-04-07
TW201617820A (zh) 2016-05-16
US10168838B2 (en) 2019-01-01
CN107077195B (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
TWI582676B (zh) 物件指示符顯示技術
TWI531929B (zh) 基於影像來識別觸控表面的目標接觸區域之技術
TWI559174B (zh) 以手勢爲基礎之三維影像操控技術
EP3072032B1 (en) Projection screen for specularly reflecting infrared light
TWI545463B (zh) 投影系統及管理投影系統之方法
US10664090B2 (en) Touch region projection onto touch-sensitive surface
CN105723300A (zh) 基于表示对象的图像确定分割边界
TWI530863B (zh) 投影運算系統、用以修改其中觸控輸入之方法及相關非暫態電腦可讀儲存裝置
US10481733B2 (en) Transforming received touch input
CN107077196B (zh) 识别触敏表面上的对象
US10877597B2 (en) Unintended touch rejection
TW201621554A (zh) 物件影像之捕捉及投影技術

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees