TWI804671B - 互動顯示方法與互動顯示系統 - Google Patents

互動顯示方法與互動顯示系統 Download PDF

Info

Publication number
TWI804671B
TWI804671B TW108130804A TW108130804A TWI804671B TW I804671 B TWI804671 B TW I804671B TW 108130804 A TW108130804 A TW 108130804A TW 108130804 A TW108130804 A TW 108130804A TW I804671 B TWI804671 B TW I804671B
Authority
TW
Taiwan
Prior art keywords
feature
scale
features
detailed
paired
Prior art date
Application number
TW108130804A
Other languages
English (en)
Other versions
TW202109272A (zh
Inventor
王必先
林郁欣
張志嘉
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW108130804A priority Critical patent/TWI804671B/zh
Priority to US16/680,497 priority patent/US11295133B2/en
Publication of TW202109272A publication Critical patent/TW202109272A/zh
Application granted granted Critical
Publication of TWI804671B publication Critical patent/TWI804671B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Control Of El Displays (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

一種互動顯示方法與互動顯示系統。互動顯示系統包括透明顯示器與至少一影像感測裝置。藉由影像感測裝置朝向多個操作者擷取影像資料。從影像資料萃取操作者的至少一細部特徵與至少一大範圍特徵，並偵測透明顯示器的一顯示平面上的至少一投影點。對各細部特徵與各大範圍特徵進行配對。對各投影點與各大範圍特徵進行配對。依據各細部特徵與各大範圍特徵的配對結果與各投影點與各大範圍特徵的配對結果決定操作者其中之一的指向、執行互動延續操作及/或提供提示資訊。

Description

互動顯示方法與互動顯示系統
本揭露是有關於一種互動顯示方法與互動顯示系統。
透明顯示器依其技術原理，可分為穿透式透明顯示器與投影式透明顯示器。透明顯示器具有透明、輕薄等特性，可將顯示器上顯示的虛擬影像與現實世界的場景結合，賦予使用者者一種直觀且直覺的視覺體驗。透明顯示器可廣泛地導入車用抬頭顯示器、自動販賣機、商品櫥窗、博物館展品導覽、觀光車輛導覽等應用中。觀看者不僅可透過透明顯示器觀看到實物，同時也可在透明顯示器上看到疊合在實物上或顯示在其周圍的資訊，甚至透過生物特徵追蹤技術或觸控技術與透明顯示器上的顯示資訊互動。
雖然結合顯示技術與生物特徵追蹤技術或觸控技術的指向性互動顯示方法已逐漸出現於各種應用上，但這些技術仍存在許多改善空間。例如，互動顯示系統可結合多種人體特徵或觸控點來辨識使用者互動意圖，從而提供符合使用者期望的顯示資訊。然而，在多位使用者同時與互動顯示系統進行互動的情況下，互動顯示系統可偵測到許多人體特徵與許多觸控點，但互動顯示系統可能無法正確配對這些人體特徵或觸控點，致使互動顯示系統易有指向性錯亂的問題發生。換言之，在正確配對同一使用者的人體特徵與觸控點的條件下，使用者的指向才可正確被估測而提供符合使用者預期的顯示內容。舉例來說，圖1是習知透明顯示器10與多位使用者互動的示意圖。若互動顯示系統將使用者A1的眼部特徵E1配對至另一使用者B1對顯示平面S1施予的觸控點T1，則互動顯示系統將產生錯誤的指向V1。因此，互動顯示系統將依據錯誤的指向V1顯示透明顯示器10後方目標物件Obj1的物件資訊（即，毛毛蟲），而無法依據正確的指向V2顯示符合使用者A1期望的目標物件Obj2的物件資訊。
本揭露一實施例提供一種互動顯示方法，適用於包括透明顯示器、至少一影像感測裝置與處理裝置的互動顯示系統。互動顯示方法包括下列步驟。藉由所述影像感測裝置朝向多個操作者擷取影像資料。藉由所述處理裝置執行以下步驟：從所述影像資料萃取所述操作者的至少一細部特徵與至少一大範圍特徵，並偵測所述透明顯示器一顯示平面上的至少一投影點，其中所述投影點反應於所述操作者的互動行為而產生；對各所述細部特徵與各所述大範圍特徵進行配對；對各所述投影點與各所述大範圍特徵進行配對；以及依據各所述細部特徵與各所述大範圍特徵的配對結果與各所述投影點與各所述大範圍特徵的配對結果決定所述操作者其中之一的指向。
本揭露一實施例提供一種互動顯示系統，包括透明顯示器、至少一影像感測裝置與處理裝置。處理裝置耦接透明顯示器與所述影像感測裝置。影像感測裝置朝向多個操作者擷取影像資料。處理裝置經配置以執行以下步驟：從所述影像資料萃取所述操作者的至少一細部特徵與至少一大範圍特徵，並偵測所述透明顯示器一顯示平面上的至少一投影點，其中所述投影點反應於所述操作者的互動行為而產生；對各所述細部特徵與各所述大範圍特徵進行配對；對各所述投影點與各所述大範圍特徵進行配對；以及依據各所述細部特徵與各所述大範圍特徵的配對結果與各所述投影點與各所述大範圍特徵的配對結果決定所述操作者其中之一的指向。
為讓本揭露能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本揭露的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本揭露的一部份，並未揭示所有本揭露的可實施方式。更確切的說，這些實施例只是本揭露中的互動顯示方法以及互動顯示系統的範例。
於本揭露一實施例中，在有多操作者與透明顯示器進行互動的情況中，將屬於同一操作者的多種互動意圖資訊（像是局部器官特徵、肢體特徵、觸控點或浮空指向投影點等等）進行正確配對，以依據對應至同一操作者的多種互動意圖資訊決定出正確的指向。藉此，透明顯示器可依據正確的指向顯示出符合操作者意圖的顯示內容。此外，當操作者的特徵資訊偵測失敗或互動意圖資訊無法成功配對時，可提供操作者提示資訊(例如:建議移動位置、告知消失特徵、告知可辨識或不可辨識的操作者辨識碼（User ID）等)，以利提昇特徵偵測與配對多種互動意圖資訊的成功率與準確度。此外，當操作者的特徵無法被正確感測或互動意圖資訊無法成功配對時，還是可依據剩餘可用的互動意圖資訊決定指向，以達到延續互動使用的目的。
圖2是依照本揭露一實施例的互動顯示系統的示意圖。請參照圖2，互動顯示系統20包括透明顯示器210、至少一影像感測裝置220與處理裝置230。處理裝置230可耦接透明顯示器210與影像感測裝置220。互動顯示系統20可與多位操作者進行互動。更進一步來說，互動顯示系統20可判斷多位操作者的指向，並據以提供對應的顯示效果與內容。於本揭露的實施例中，操作者可以是機器人、機器手臂、工具機或人類使用者，本揭露對此不限制。
透明顯示器210是具有一定程度的光線穿透性的顯示器或浮空投影裝置，人類使用者觀看時能夠呈現出顯示器相對於使用者另一側的景物，例如是薄膜電晶體液晶顯示器（Thin film transistor liquid crystal display，TFT-LCD）、場色序（Field sequential color）顯示器、主動式有機發光顯示器（Active matrix organic light emitting display，AMOLED）、電濕潤顯示器等穿透式透明顯示器，或者是投影式透明顯示器。於一實施例中，透明顯示器210除了具備可透視且可顯示資訊的透明顯示面板外，於顯示介面上亦可結合觸控面板而接收使用者直接接觸點擊的互動，亦或結合可偵測點擊、手勢觸發的感應器，例如是聲波、紅外線、影像感測手部觸發動作，而基於觸發動作提供互動顯示功能。
影像感測裝置220可朝向位於透明顯示器210的一側的多個操作者擷取影像資料。在一實施例中，影像感測裝置220為達成擷取多操作者影像資料，可置放多組影像感測裝置，拓展需照相特徵的視野，合併多組偵測影像。影像感測裝置220可依據紅外光感測技術、自然光感測技術、超聲波感測技術或雷射感測技術等來擷取多位操作者的影像資料，本揭露對此不限制。從另一觀點來看，影像感測裝置220可能是眼動儀、深度照相機、彩色照相機、立體照相機等等影像感測設備。此外，圖2是以一個影像感測裝置220為例進行說明，但於其他實施例中，影像感測裝置的數目可以是一個或多個，本揭露對此不限制。
處理裝置230包括一個或多個處理器（以下以處理器231為代表進行說明）以及一個或多個儲存裝置（以下以儲存裝置232為代表進行說明）。處理裝置230可由電腦主機、伺服器或具有資料運算能力的計算機裝置來實現。此外，處理裝置230可由一台或多台電子裝置實現，本揭露對此不限制。
處理器231例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuits，ASIC）、可程式化邏輯裝置（programmable logic device，PLD）或其他類似裝置或這些裝置的組合。處理器231用以執行儲存裝置232所記錄的指令或程式。於本揭露中，處理器231用來運算操作者特徵萃取，細部特徵與大範圍特徵配對，投影點與大範圍特徵配對。處理器231可依據配對結果決定操作者的指向資訊，並依據指向資訊決定顯示內容。若某一操作者的細部特徵、大範圍特徵或投影點發生缺失，處理器231用來執行互動延續操作而產生延續性的指向資訊，並可用以提供提示資訊給使用者。
儲存裝置232可以是任何型態的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）或類似元件或上述元件的組合。儲存裝置232用以儲存由影像感測裝置220擷取的影像資料，且記錄可供處理器231存取並執行的程式或指令。本揭露中，儲存裝置232可用來儲存影像萃取特徵資訊、可供運算查詢的操作者特徵資料庫。
圖3A是依照本揭露一實施例的互動顯示方法的流程圖。圖3A所述的方法流程可結合圖2所示的互動顯示系統20來實現。請同時參照圖2及圖3A。
首先，藉由影像感測裝置220朝向多個操作者擷取影像資料（步驟S310）。影像資料可包括彩色影像、深度影像、紅外線感測影像、超聲波影像或雷射影像等等。此外，影像資料可包括具有不同影像擷取範圍的多張影像。舉例而言，影像資料可包括對操作者的局部部位進行取像的小範圍影像資料，像是臉部影像、手部影像或針對手持物件所擷取的小範圍影像資料。上述手持裝置例如是用以與透明顯示器210進行互動的遙控物件或遙控電子裝置。此外，影像資料還可包括對操作者的整體進行取像的大範圍影像資料，像是涵蓋操作者半身或全身的大範圍影像資料。
在取得多個操作者的影像資料之後，處理裝置230從影像資料萃取操作者的至少一細部特徵與至少一大範圍特徵，並偵測透明顯示器210的顯示平面上的至少一投影點（步驟S320）。具體而言，處理裝置230可自影像資料萃取操作者的至少一細部特徵與至少一大範圍特徵。所述細部特徵例如是眼睛特徵、視線特徵、機器人的零件特徵、或手持物件上的圖騰特徵等帶有操作者互動意圖的特徵。所述大範圍特徵例如是肢體特徵、骨架特徵、手勢特徵等等可表示操作者的操控姿態的特徵。
此外，顯示平面上的投影點是反應於操作者的互動行為而產生，而操作者的互動行為包括實際觸碰顯示平面的觸控行為或未實際觸碰顯示平面的浮空指向行為。換言之，顯示平面上的投影點例如是透明顯示器210所偵測的觸控點，也可以是基於影像分析技術、生物特徵感測技術或體感偵測技術而估測出來的浮空指向投影點。
接著，處理裝置230對各細部特徵與各大範圍特徵進行配對（步驟S330）。並且，處理裝置230對各投影點與各大範圍特徵進行配對（步驟S340）。步驟S330及步驟S340亦可交替操作，兩者無順序關係。換言之，處理裝置230將逐一判斷細部特徵是否可與大範圍特徵相匹配，以獲取細部特配與大範圍特徵之間的配對連結關係。相同的，處理裝置230將逐一判斷投影點是否可與大範圍特徵相匹配，以獲取投影點與大範圍特徵之間的配對連結關係。
具體而言，在萃取細部特徵與大範圍特徵時，處理裝置230可一併獲取細部特徵相對於影像座標系的平面座標位置與大範圍特徵相對於影像座標系的平面座標位置。此外，在偵測投影點時，處理裝置230可一併獲取投影點相對於螢幕座標系的平面座標位置。處理裝置230可執行座標系轉換融合，以獲取細部特徵、大範圍特徵與投影點相對於同一參考座標系的空間座標位置。基此，處理裝置230可依據細部特徵相對於參考座標系的空間座標位置與大範圍特徵相對於參考座標系的空間座標位置配對各細部特徵與各大範圍特徵。處理裝置230可依據投影點相對於參考座標系的空間座標位置與大範圍特徵相對於參考座標系的空間座標位置配對各投影點與各大範圍特徵。
舉例而言，以細部特徵為眼部特徵且大範圍特徵為肢體特徵為例，對於同一操作者而言，由於眼睛生長於頭部上，因此眼部特徵的空間座標位置必定與肢體特徵中的頭部特徵的空間座標位置存在特定關聯規則。於是，依據眼部特徵的空間座標位置與肢體特徵中頭部特徵的空間座標位置，處理裝置230可將作為細部特徵的眼部特徵與作為大範圍特徵的肢體特徵進行配對，從而將屬於同一操作者的細部特徵與大範圍特徵配對起來。具體而言，處理裝置230可判斷細部特徵的空間座標位置與大範圍特徵的空間座標位置之間的距離是否介於特徵資料庫所訂細部特徵對應大範圍特徵的閥值範圍，而決定是否配對細部特徵與大範圍特徵。例如自影像萃取之頭部特徵(即大範圍特徵)的範圍轉換成共同空間投影尺寸是10~15cm，眼睛特徵(即細部特徵)位置雖因人而異，但也會在頭部範圍內，可據以設定為頭部特徵之中心點±8cm為一眼睛配對區域。
此外，以投影點為觸控點且大範圍特徵為肢體特徵為例，對於同一操作者而言，觸控點是因為手部觸碰顯示平面而產生，因此投影點的空間座標位置必定與肢體特徵中的手部特徵的空間座標位置存在特定關聯規則。例如：處理裝置230藉由大範圍影像偵測到操作者在觸控面板橫向7cm的位置進行觸控操作並偵測到觸控面板總共15cm。同時，觸控面板偵測操作者的觸控操作發生在面板橫向7cm的觸控位置，因此處理裝置230可將操作者的大範圍特徵與觸控點進行配對。於是，依據投影點的空間座標位置與肢體特徵中手部特徵的空間座標位置，處理裝置230可將作為投影點的觸控點與作為大範圍特徵的肢體特徵進行配對，從而配對屬於同一操作者的投影點與大範圍特徵。具體而言，處理裝置230可判斷觸控點的空間座標位置與手部特徵的空間座標位置是否足夠接近，而決定是否配對投影點與大範圍特徵。
之後，處理裝置230可依據各細部特徵與各大範圍特徵的配對結果與各投影點與各大範圍特徵的配對結果決定操作者其中之一的指向。於本實施例中，反應於細部特徵中的第一細部特徵與大範圍特徵中的第一大範圍特徵藉由位置或影像特徵資訊配對成功且投影點中的第一投影點與第一大範圍特徵藉由位置或影像特徵資訊配對成功，處理裝置230依據第一細部特徵與第一投影點決定操作者其中之一的第一指向，以透過透明顯示器210依據第一指向顯示互動資訊（步驟S350）。像是，處理裝置230可判斷第一指向至指向透明顯示器210後方的目標物件，從而驅動透明顯示器210於顯示目標物件的物件資訊。於本揭露實施例中，第一細部特徵與第一大範圍特徵成功配對，代表第一細部特徵可一對一配對至第一大範圍特徵。第一投影點與第一大範圍特徵成功配對，代表第一投影點可一對一配對至第一大範圍特徵。值得一提的是，由於大範圍特徵分別與細部特徵以及投影點具有特定關聯規則，因此細部特徵與投影點可先後分別與大範圍特徵進行配對。之後，與同一大範圍特徵配對成功的細部特徵與投影點就可被判定為對應於同一操作者，而依據屬於同一操作者的細部特徵與投影點來產生正確的指向，從而避免互動意圖資訊配對錯誤而產生錯誤指向的現象。
舉例而言，請參照圖3B，圖3B 是依照本揭露一實施例的情境示意圖。在影像感測裝置220擷取使用者U1與使用者U2的影像資料後。處理裝置230可自影像資料獲取眼部特徵EU1與EU2以及肢體特徵BU1與BU2。處理裝置230可依據透明顯示器210的觸控偵測獲取觸控點TU1與觸控點TU2。接著，處理裝置230可依據眼部特徵EU1的空間座標位置與肢體特徵BU1中頭部特徵HU1的空間座標位置來配對眼部特徵EU1與肢體特徵BU1。並且，處理裝置230可依據觸控點TU1的空間座標位置與肢體特徵BU1中手部特徵GU1的空間座標位置來配對觸控點TU1與肢體特徵BU1。於是，處理裝置230便可獲取眼部特徵EU1與觸控點TU1之間的對應性，從而依據眼部特徵EU1與觸控點TU1產生使用者U1的指向DF1。透明顯示器210可依據指向DF1顯示符合互動意圖的互動資訊。由此可見，處理裝置230可避免將分別屬於不同使用者的眼部特徵與觸控點進行配對而產生錯誤的指向資訊。相似的，處理裝置230可利用肢體特徵BU2中手部特徵GU2與頭部特徵HU2獲取眼部特徵EU2與觸控點TU2之間的對應性，從而依據眼部特徵EU2與觸控點TU2產生使用者U2的指向DF2。基此，透明顯示器210將基於指向DF1與DF2顯示互動資訊給使用者U1與U2。
於一實施例中，處理裝置230可進一步判斷第一指向是否通過透明顯示器210的顯示平面，以決定是否依據第一指向顯示互動資訊。換言之，當第一指向通過透明顯示器210的顯示範圍時，處理裝置230可提供互動資訊給操作者。否則，當第一指向未通過透明顯示器210的顯示範圍時，處理裝置230將不提供互動資訊給操作者。
圖4是依照本揭露一實施例的互動顯示方法的流程圖。圖4所述的方法流程可結合圖2所示的互動顯示系統20來實現。請同時參照圖2及圖4。步驟S410~S450與前述實施例的步驟S310~S350相似，故其詳細內容在此不再贅述。
在本實施例中，處理裝置230判斷第一指向是否通過透明顯示器210的顯示平面（步驟S460）。具體而言，第一指向為向量資訊，因而處理裝置230可判斷第一指向是否通過空間中具有特定尺寸的一平面（即顯示平面）。若第一指向通過透明顯示器210的顯示平面，處理裝置230透過透明顯示器210依據第一指向顯示互動資訊（步驟S470）。如圖2B所示，處理裝置230可判定第一指向DF1通過透明顯示器210的顯示平面S2，並透過透明顯示器210依據第一指向DF1顯示互動資訊。另一方面，若第一指向未通過透明顯示器210的顯示平面，處理裝置230禁能透明顯示器210依據第一指向顯示互動資訊（步驟S480）。
於一實施例中，當細部特徵與大範圍特徵無法成功一對一配對或大範圍特徵與投影點無法成功一對一配對時，處理裝置230可產生予操作者的提示資訊，例如:建議移動位置、告知消失特徵、可辨識或不可辨識的使用者ID等，並由透明顯示器210顯示提示資訊。藉此，若操作者可依據提示資訊正確修正所在位置，處理裝置230可獲取過去原本缺失的細部特徵、大範圍特徵或投影點，從而提昇細部特徵、大範圍特徵與投影點的配對成功率。此外，當細部特徵、大範圍特徵與投影點無法成功配對或發生缺失時，處理裝置230可依據可用的未成功配對的細部特徵、大範圍特徵或投影點來決定恰當的指向，以使操作者與互動顯示系統20之間互動得以延續。
圖5是依照本揭露一實施例的互動顯示方法的流程圖。圖5所述的方法流程可結合圖2所示的互動顯示系統20來實現。請同時參照圖2及圖5。步驟S510~S540與前述實施例的步驟S310~S340相似，故其詳細內容在此不再贅述。
在本實施例中，反應於一配對失敗結果，處理裝置230執行一互動延續操作而產生第二指向，以透過透明顯示器210依據第二指向顯示互動資訊（步驟S550）。配對失敗結果包括：細部特徵中的第二細部特徵未成功配對、投影點中的第二投影點未成功配對，或大範圍特徵中的第二大範圍特徵未成功配對。於此，無法成功一對一配對之細部特徵、大範圍特徵、投影點，分別稱為第二細部特徵、第二大範圍特徵、第二投影點，而採用任一無法成功配對特徵完成之指向稱為第二指向。互動延續操作包括：依據未成功配對的第二細部特徵、未成功配對的第二大範圍特徵，或未成功配對的第二投影點，處理裝置230決定操作者其中之一第二指向，以透過透明顯示器210依據第二指向顯示互動資訊。
詳細而言，於特徵萃取過程中或投影點的偵測過程中可能發生錯誤，因而導致部份操作者的細部特徵、大範圍特徵或投影點發生缺失。或者，於細部特徵與大範圍特徵的配對過程中可能發生誤判。或者，於投影點與大範圍特徵的配對過程中可能發生誤判。或者，於細部特徵與大範圍特徵的配對過程中可能發生重疊配對多操作者。或者，於投影點與大範圍特徵的配對過程中可能重疊配對多操作者。或者，若操作者的身體部位超出影像感測範圍，將導致部份操作者的細部特徵或大範圍特徵發生缺失。上述這些現象都可能造成細部特徵與大範圍特徵無法一對一成功配對，也可能造成投影點與大範圍特徵無法一對一成功配對。於本實施例中，反應於判定存在配對失敗的結果，處理裝置230可依據未成功配對的第二細部特徵、未成功配對的第二大範圍特徵或未成功配對的第二投影點來決定用以延續互動體驗的第二指向。後續實施例將針對互動延續操作的不同實施態樣進行詳細說明。此外，基於圖4的說明，處理裝置230同樣可判斷第二指向是否通過顯示平面而決定是否顯示互動資訊。
此外，反應於一配對失敗結果，處理裝置230藉由透明顯示器210顯示予操作者的提示資訊，例如:建議移動位置、告知消失特徵、告知可辨識或不可辨識的使用者ID等，並由透明顯示器210顯示提示資訊（步驟S560）。換言之，處理裝置230可依據步驟S530與步驟S540的配對結果產生提示資訊。舉例而言，假設某一操作者的細部特徵發生缺失，則大範圍特徵其中之一將無法配對至當前萃取的細部特徵。在此情況下，處理裝置230可提示操作者一個移動位置或移動方向。若操作者依據此移動位置或移動方向進行移動，可排除細部特徵缺失的狀況，而處理裝置230可成功配對移動後之操作者的細部特徵與大範圍特徵。
以下將分別針對互動延續操作中的多種指向計算方式列舉實施例進行說明。亦即，圖5的步驟S550可包括下列多種不同的實施方式。
圖6A是依照本揭露一實施例的互動顯示方法的流程圖。圖6A所述的方法流程可結合圖2所示的互動顯示系統20來實現。請同時參照圖2及圖6A。步驟S610~S640與前述實施例的步驟S310~S340相似，故其詳細內容在此不再贅述。
於本實施例中，配對失敗結果包括：第二大範圍特徵未成功配對至細部特徵且第二大範圍特徵成功配對至投影點中的第三投影點。可配對的細部特徵、大範圍特徵、投影點，稱為第一細部特徵、第一大範圍特徵、第一投影點，以上三項同時配對所建立之第一細部特徵與第一投影點連線指向稱為第一指向。無法一對一成功配對之細部特徵、大範圍特徵、投影點，分別稱為第二細部特徵、第二大範圍特徵、第二投影點，採用任一無法配對特徵完成之指向稱為第二指向。對應的，互動延續操作包括：依據未與細部特徵配對成功的第二大範圍特徵以及與第二大範圍特徵相配對的第三投影點決定所述操作者其中之一的第二指向。亦即，反應於配對失敗結果，處理裝置230依據未與細部特徵配對成功的第二大範圍特徵以及與第二大範圍特徵相配對的第三投影點決定操作者其中之一的第二指向，以透過透明顯示器210依據第二指向顯示互動資訊（步驟S650）。
具體而言，某一操作者的細部特徵可能被障礙物阻擋或超出影像感測範圍而發生缺失，因而導致第二大範圍特徵無法成功一對一配對至細部特徵。或者，某一操作者的第二大範圍特徵可能因為配對誤判而被配對至兩個細部特徵，因而導致第二大範圍特徵無法成功一對一配對至細部特徵。在此情況下，若第二大範圍特徵可成功配對至第三投影點，處理裝置230還是可利用第二大範圍特徵取代之第二細部特徵而與第三投影點計算出第二指向。例如，雖然某一操作者的肢體特徵無法成功配對至眼部特徵或某一操作者的肢體特徵被配對至兩個眼部特徵，但此操作者的肢體特徵可成功配對至顯示平面上的投影點，則處理裝置230可依據肢體特徵中的頭部特徵與顯示平面上的投影決定出指向。其中此實施例第二指向仍非完整配對，可予操作者提示資訊，例如:建議移動位置、告知消失特徵、告知可辨識或不可辨識的使用者ID等，並由透明顯示器210顯示提示資訊。
舉例而言，請參照圖6B，圖6B是依照本揭露一實施例的互動顯示方法的情境示意圖。處理裝置230可自影像資料萃取出一個眼部特徵E6_2以及三個肢體特徵B6_1～B6_3，並偵測出三個觸控點T6_1～T6_3。在此情況下，肢體特徵B6_2成功配對至眼部特徵E6_2，且肢體特徵B6_2成功配對至觸控點T6_2。因此，處理裝置230可依據同樣成功配對至肢體特徵B6_2的眼部特徵E6_2與觸控點T6_2決定使用者U6_2的指向。此外，肢體特徵B6_1、B6_3未成功配對至任何眼部特徵，但肢體特徵B6_1、B6_3分別成功配對至觸控點T6_1、T6_3。因此，處理裝置230於互動延續操作中依據肢體特徵B6_1中的頭部特徵與觸控點T6_1決定使用者U6_1的指向，處理裝置230例如可連結肢體特徵B6_1中的頭部特徵的空間座標位置與觸控點T6_1的空間座標位置產生使用者U6_1的指向。類似地，處理裝置230可依據相同的方式決定使用者U6_3的指向。
圖7A是依照本揭露一實施例的互動顯示方法的流程圖。圖7A所述的方法流程可結合圖2所示的互動顯示系統20來實現。請同時參照圖2及圖7A。步驟S710~S740與前述實施例的步驟S310~S340相似，故其詳細內容在此不再贅述。
於本實施例中，大範圍特徵發生缺失，配對失敗結果包括：第二細部特徵未成功配對至大範圍特徵且第二投影點未成功配對至大範圍特徵。對應的，互動延續操作包括：依據未與大範圍特徵配對成功的第二細部特徵以及未與大範圍特徵配對成功的第二投影點，依據特徵資料庫的合理組合，決定操作者其中之一的第二指向。亦即，反應於配對失敗結果，處理裝置230依據未與大範圍特徵配對成功的第二細部特徵以及未與大範圍特徵配對成功的第二投影點，決定操作者其中之一的第二指向，以透過透明顯示器210依據第二指向顯示互動資訊（步驟S750）。
具體而言，某一操作者的大範圍特徵可能被障礙物阻擋或超出影像感測範圍而發生缺失，因而導致第二細部特徵無法成功一對一配對至大範圍特徵且第二投影點也無法成功一對一配對至大範圍特徵。在此情況下，依據第二細部特徵的座標位置與第二投影點的座標位置，處理裝置230決定利用第二細部特徵與第二投影點計算出第二指向。例如，在某一操作者的肢體特徵發生缺失的情況下，處理裝置230可依據操作者眼睛可聚焦和可伸手觸擊的距離建立於特徵資料庫，藉由設定眼睛(即細部特徵)與觸控點(即投影點)距離20~65cm而判定此範圍(20~65cm)內的細部特徵和觸控點可配對來產生第二指向，因此處理裝置230可依據未與肢體特徵配對成功的眼部特徵與未與肢體特徵配對成功的投影點計算出第二指向，並予操作者提示資訊 (例如:建議移動位置、告知消失特徵、告知可辨識或不可辨識的使用者ID等)，並由透明顯示器210顯示提示資訊。
舉例而言，請參照圖7B，圖7B是依照本揭露一實施例的互動顯示方法的情境示意圖。處理裝置230可自影像資料萃取出三個眼部特徵E7_1～E7_3以及一個肢體特徵B7_2，並偵測出三個觸控點T7_1～T7_3。在此情況下，肢體特徵B7_2成功配對至眼部特徵E7_2，且肢體特徵B7_2成功配對至觸控點T7_2。因此，處理裝置230可依據同樣成功配對至肢體特徵B7_2的眼部特徵E7_2與觸控點T7_2決定使用者U7_2的指向。此外，眼部特徵E7_1、E7_3未成功配對至任何肢體特徵，且觸控點T7_1、T7_3未成功配對至任何肢體特徵。因此，於互動延續操作中，藉由比較眼部特徵E7_1、E7_3與觸控點T7_1、T7_3之間的距離，處理裝置230可依據眼部特徵E7_1與較靠近之觸控點T7_1決定使用者U7_1的指向，並依據眼部特徵E7_2與較靠近之觸控點T7_2決定使用者U7_2的指向。
圖8A是依照本揭露一實施例的互動顯示方法的流程圖。圖8A所述的方法流程可結合圖2所示的互動顯示系統20來實現。請同時參照圖2及圖8A。步驟S810~S840與前述實施例的步驟S310~S340相似，故其詳細內容在此不再贅述。
於本實施例中，投影點無法一對一配對，配對失敗結果包括：第二投影點配對至多組大範圍特徵且大範圍特徵中的第三大範圍特徵成功配對至細部特徵中的第三細部特徵。基此，處理裝置230可自大範圍特徵中挑選出符合特定評分條件的第三大範圍特徵，以輔助指向資訊的決定。於此，可成功一對一配對的細部特徵、大範圍特徵、投影點分別稱為第一細部特徵、第一大範圍特徵、第一投影點，而以上三項同時配對所建立之第一細部特徵與第一投影點連線指向稱為第一指向。相對的，無法一對一成功配對之細部特徵、大範圍特徵、投影點分別稱為第二細部特徵、第二大範圍特徵、第二投影點。對應的，互動延續操作包括：自大範圍特徵中挑選符合特定評分條件的第三大範圍特徵，並依據與第三大範圍特徵配對成功的第三細部特徵與所述第二投影點決定操作者其中之一的第二指向。亦即，反應於配對失敗結果，處理裝置230依據未與大範圍特徵配對成功的第二投影點與第三細部特徵，決定操作者其中之一的第二指向，以透過透明顯示器210依據第二指向顯示互動資訊（步驟S850）。
具體而言，大範圍特徵與投影點之間的配對可能發生配對誤判，而導致第二投影點未成功配對至大範圍特徵。或者，若兩個操作者的碰觸顯示平面上相同或相當接近的觸控位置，則第二投影點可能被配對至兩個大範圍特徵，導致第二投影點未成功配對至大範圍特徵。在此情況下，處理裝置230可先自剩餘的大範圍特徵挑選出符合特定評分條件的第三大範圍特徵，並取得成功配對至第三大範圍特徵的第三細部特徵，依據第三細部特徵的空間座標位置與第二投影點的空間座標位置，處理裝置230可決定利用第三細部特徵與第二投影點計算出第二指向。例如，在某一投影點無法成功一對一配對至肢體特徵的情況下，處理裝置230對該投影點對應到兩個誤配的肢體臉部(即兩操作者的兩大範圍特徵)與特徵資料庫中之用於篩選的評分條件挑選出其中之一作為第三大範圍特徵。於此，評分條件例如是特徵資料庫中眼睛可聚焦距離與可觸控距離的最接近特徵，臉部與透明顯示器210距離20~65cm，距離近得高分，且臉部朝向和顯示平面之朝向的角度偏差小於0~15度，角度小得高分，兩個誤配的肢體臉部之中高分者被選為第三大範圍特徵。於是，處理裝置230可依據挑選出來的第三大範圍特徵與第二投影點產生第二指向，像是處理裝置230可依據未與肢體特徵一對一配對成功的投影點與經篩選之第三大範圍特徵配對的眼部特徵計算出第二指向。其中此實施例第二指向仍非完整配對，可予操作者提示資訊，例如:建議移動位置、告知消失特徵、告知可辨識或不可辨識的使用者ID等，並由透明顯示器210顯示提示資訊。
於一實施例中，第三大範圍特徵可利用已知特徵資料庫內的知識而被篩選出來。例如：基於16cm的腳板長度，可預測頭部在身高90-110cm的位置，且頭部應當位於投影點周圍20-60cm。基此，可據以利用操作者之第三大範圍特徵中的頭部特徵和第二投影點提供第二指向。
舉例而言，請參照圖8B，圖8B是依照本揭露一實施例的互動顯示方法的情境示意圖。處理裝置230可自影像資料萃取出三個眼部特徵E8_1～E8_3以及三個肢體特徵B8_1～E8_3，並偵測出兩個觸控點T8_1、T8_3。在此情況下，肢體特徵B8_3成功配對至眼部特徵E8_3，且肢體特徵B8_3成功配對至觸控點T8_3。因此，處理裝置230可依據同樣成功配對至肢體特徵B8_3的眼部特徵E8_3與觸控點T8_3決定使用者U8_3的指向。此外，觸控點T8_1未成功一對一配對至任何肢體特徵。因此，於互動延續操作中，藉由比較眼部特徵E8_1、E8_2與觸控點T8_1之間的距離，處理裝置230可依據眼部特徵E8_1、E8_2中較靠近觸控點T8_1的一者與觸控點T8_1決定使用者U8_1與U8_1共用的第二指向，從而避免顯示內容混亂。
圖9A是依照本揭露一實施例的互動顯示方法的流程圖。圖9A所述的方法流程可結合圖2所示的互動顯示系統20來實現。請同時參照圖2及圖9A。步驟S910~S940與前述實施例的步驟S310~S340相似，故其詳細內容在此不再贅述。
於本實施例中，投影點缺失，配對失敗結果包括：第二大範圍特徵未成功配對至投影點且大範圍特徵中的第二大範圍特徵成功配對至細部特徵中的第三細部特徵。對應的，互動延續操作包括：依據未與投影點配對成功的第二大範圍特徵與第三細部特徵，決定操作者其中之一的第二指向。亦即，反應於配對失敗結果，處理裝置230依據未與投影點配對成功的第二大範圍特徵與第三細部特徵，決定操作者其中之一的第二指向，以透過透明顯示器210依據第二指向顯示互動資訊（步驟S950）。
具體而言，投影點可能因為偵測過程發生錯誤而發生缺失，因而導致第二大範圍特徵無法成功配對至任何投影點。在此情況下，若第二大範圍特徵可成功配對至第三細部特徵，處理裝置230還是可依據第二大範圍特徵與第三細部特徵計算出第二指向。例如，某一操作者的肢體特徵無法成功配對至顯示平面上的投影點，但處理裝置230例如還是可依據肢體特徵中的手部特徵與眼睛特徵決定第二指向。其中此實施例第二指向仍非完整配對，可予操作者提示資訊，例如:建議移動位置、告知消失特徵、告知可辨識或不可辨識的使用者ID等，並由透明顯示器210顯示提示資訊。
舉例而言，請參照圖9B，圖9B是依照本揭露一實施例的互動顯示方法的情境示意圖。處理裝置230可自影像資料萃取出三個眼部特徵E9_1～E9_3以及三個肢體特徵B9_1～B9_3，並偵測出一個觸控點T9_2。依據前述說明可知，處理裝置230可依據眼部特徵E9_2、肢體特徵B9_2、觸控點T9_2決定使用者U9_2的指向。此外，因為投影點缺失，肢體特徵B9_1、B9_3未成功配對至任何投影點，但肢體特徵B9_1、B9_3分別成功配對至眼部特徵E9_1、E9_3。因此，互動延續操作中，處理裝置230依據肢體特徵B9_1、B9_3中手部特徵與眼部特徵E9_1、E9_3之間的距離，處理裝置230可依據肢體特徵B9_1中的手部特徵與眼部特徵E9_1決定使用者U9_1的指向，處理裝置230例如可連結肢體特徵B9_1中的手部特徵的空間座標位置與眼部特徵E9_1的空間座標位置產生使用者U9_1的指向。類似地，處理裝置230可依據相同的方式決定使用者U9_3的指向。
圖10A是依照本揭露一實施例的互動顯示方法的流程圖。圖10A所述的方法流程可結合圖2所示的互動顯示系統20來實現。請同時參照圖2及圖10A。步驟S1010~S1040與前述實施例的步驟S310~S340相似，故其詳細內容在此不再贅述。
於本實施例中，大範圍特徵與細部特徵缺失，配對失敗結果包括：第二投影點未成功配對至大範圍特徵且無可關聯細部特徵或可替代的大範圍特徵可協同第二投影點產生第二指向。對應的，互動延續操作包括：依據未成功配對的第二投影點與位於透明顯示器一側的目標物件，決定第二指向。亦即，反應於配對失敗結果，處理裝置230依據未成功配對的第二投影點，決定操作者其中之一的第二指向，以透過透明顯示器210依據第二指向顯示互動資訊（步驟S1050）。
具體而言，某一操作者的大範圍特徵與細部特徵可能同時被障礙物阻擋或超出影像感測範圍而發生缺失，因而導致第二投影點無法成功一對一配對至大範圍特徵。此外，由於某一操作者的細部特徵與大範圍特徵同時發生缺失，因而無法使用細部特徵與偵測到的投影點來產生指向。例如：有觸控點，沒有偵測到肢體和眼睛。在此情況下，依據透明顯示器210後方的一目標物件的空間座標位置與第二投影點的空間座標位置，處理裝置230可決定利用第二投影點計算出第二指向。其中此實施例第二指向仍非完整配對，可予操作者提示資訊，例如:建議移動位置、告知消失特徵、告知可辨識或不可辨識的操作者辨識碼（User ID）等，並由透明顯示器210顯示提示資訊。
舉例而言，請參照圖10B，圖10B是依照本揭露一實施例的互動顯示方法的情境示意圖。處理裝置230可自影像資料萃取出眼部特徵E10_2以及肢體特徵B10_2，並偵測出觸控點T10_1～T10_2。依據前述說明可知，處理裝置230可依據眼部特徵E10_2、肢體特徵B10_2、觸控點T10_2決定使用者U10_2的指向。此外，因為眼部特徵與肢體特徵發生缺失，投影點T10_1未成功配對至任何眼部特徵與肢體特徵。因此，互動延續操作中，處理裝置230依據透明顯示器210後方的一目標物件的空間座標位置與投影點T10_1的空間座標位置決定指向。處理裝置230例如可連結投影點T10_1與透明顯示器210後方與投影點T10_1最靠近的一目標物件的座標位置而產生使用者U10_1的指向。
於一實施例中，假設大範圍特徵為肢體特徵。處理裝置230可進一步判斷肢體特徵中的手部特徵是否符合互動控制條件。互動控制條件包括肢體特徵包括符合指向控制姿態的手部特徵且此手部特徵足夠靠近顯示平面。若某一肢體特徵不包括符合互動控制條件的手部特徵，處理裝置230可排除此某一肢體特徵。藉此，可避免將沒有互動意圖的路人的肢體特徵納入配對流程而發生誤判。
圖11是依照本揭露一實施例的互動顯示方法的流程圖。圖11所述的方法流程可結合圖2所示的互動顯示系統20來實現。請同時參照圖2及圖11。
於一實施例中，大範圍特徵為肢體特徵。在對眼部特徵與肢體特徵進行配對與對投影點與肢體特徵進行配對之前，處理裝置230可執行圖11所示的步驟S1101～S1104。處理裝置230依據大範圍特徵中的多個關節位置判斷大範圍特徵是否包括符合指向控制姿態特徵（步驟S1101）。具體而言，處理裝置230可依據特徵資料庫建立觸控手的肩關節至腕關節之間的投影距離或三維空間位置來判斷肢體特徵是否包括符合指向控制姿態的手部特徵，例如：垂手姿態時，肩關節至腕關節對螢幕的投影長度，成人可為50~70cm；舉手觸控時，此投影長度變短，例如:0~40cm，可以藉此判斷是否為觸控姿態，此可過濾掉垂手靠近螢幕僅是路過的非操作者。或者，處理裝置230可依據手指關節來判斷肢體特徵是否包括符合指向控制姿態的手部特徵。
接著，若大範圍特徵包括符合指向控制姿態特徵（步驟S1101判斷為是），處理裝置230判斷符合指向控制姿態的手部特徵與顯示平面之間的距離是否介於距離範圍內（步驟S1102），例如觸控手指與螢幕距離接近於0。具體而言，處理裝置230可進一步依據手部特徵與顯示平面之間的距離來判斷操作者是否有互動意圖。此距離閥值範圍可視實際需求而設計之，本揭露對此不限制。若指向控制姿態特徵與顯示平面之間的距離介於距離閥值範圍內（步驟S1102判斷為是），處理裝置230保留包括手部特徵的肢體特徵（步驟S1103），使保留下來的肢體特徵可用以進行配對。
另一方面，若大範圍特徵不包括符合指向控制姿態特徵（步驟S1101判斷為否），處理裝置230排除不包括符合指向控制姿態特徵的大範圍特徵（步驟S1104）。若指向控制姿態特徵與顯示平面之間的距離不介於距離閥值範圍內（步驟S1102判斷為否），處理裝置230排除包括指向控制姿態特徵的大範圍特徵（步驟S1105）。藉此，可避免將沒有互動意圖的路人的大範圍特徵納入配對流程而發生誤判。
於本揭露一實施例中，在多操作者與互動顯示系統中的透明顯示器同時進行互動的情況下，大範圍特徵可用來協助正確配對細部特徵與顯示平面上的投影點，以更加準確地判斷出此些操作者的指向。藉此，本揭露的互動顯示系統可達成高準確度的互動體驗，並使得顯示於透明顯示器上的資訊易於觀看。
雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍及其均等範圍所界定者為準。
10、210:透明顯示器 20:互動顯示系統 220:影像感測裝置 230:處理裝置 231:處理器 232:儲存裝置 A1、B1、U1、U2、U6_1、U6_2、U6_3、U7_1、U7_2、U7_3、U8_1、U8_2、U8_3、U9_1、U9_2、U9_3、U10_1、U10_2:使用者 E1、EU1、EU2、E6_2、E7_1、E7_2、E7_3、E8_1、E8_2、E8_3、E9_1、E9_2、E9_3、E10_2:眼部特徵 S1:顯示平面 V1、V2、DF1、DF2:指向 T1、TU1、TU2:觸控點 T6_1、T6_2、T6_3、T7_1、T7_2、T7_3、T8_1、T8_3、T9_2、T10_1、T10_2:投影點 Obj1、Obj2:目標物件 BU1、BU2、B6_1、B6_2、B6_3、B7_2、B8_1、B8_2、B8_3、B9_1、B9_2、B9_3、B10_2:肢體特徵 GU1、GU2:手部特徵 HU1、HU2:頭部特徵 S310～S350、S410～S480、S510～S560、S610～S650、S710～S750、S810～S850、S910～S950、S1010～S1050、S1101～S1105:步驟
圖1是習知透明顯示器與多位使用者互動的示意圖。 圖2是依照本揭露一實施例的互動顯示系統的示意圖。 圖3A是依照本揭露一實施例的互動顯示方法的流程圖。 圖3B是依照本揭露一實施例的透明顯示器與多位使用者互動的情境示意圖。 圖4是依照本揭露一實施例的互動顯示方法的流程圖。 圖5是依照本揭露一實施例的互動顯示方法的流程圖。 圖6A是依照本揭露一實施例的互動顯示方法的流程圖。 圖6B是依照本揭露一實施例的互動顯示方法的情境示意圖。 圖7A是依照本揭露一實施例的互動顯示方法的流程圖。 圖7B是依照本揭露一實施例的互動顯示方法的情境示意圖。 圖8A是依照本揭露一實施例的互動顯示方法的流程圖。 圖8B是依照本揭露一實施例的互動顯示方法的情境示意圖。 圖9A是依照本揭露一實施例的互動顯示方法的流程圖。 圖9B是依照本揭露一實施例的互動顯示方法的情境示意圖。 圖10A是依照本揭露一實施例的互動顯示方法的流程圖。 圖10B是依照本揭露一實施例的互動顯示方法的情境示意圖。 圖11是依照本揭露一實施例的互動顯示方法的流程圖。
S310~S350:步驟

Claims (18)

  1. 一種互動顯示方法，適用於包括透明顯示器、至少一影像感測裝置與處理裝置的互動顯示系統，包括：藉由所述影像感測裝置朝向多個操作者擷取影像資料；以及藉由所述處理裝置執行以下步驟：從所述影像資料萃取所述操作者的至少一細部特徵與至少一大範圍特徵，並偵測所述透明顯示器的一顯示平面上的至少一投影點，其中所述投影點反應於所述操作者的互動行為而產生；對各所述細部特徵與各所述大範圍特徵進行配對；對各所述投影點與各所述大範圍特徵進行配對；以及依據各所述細部特徵與各所述大範圍特徵的配對結果與各所述投影點與各所述大範圍特徵的配對結果決定所述操作者其中之一的指向，所述互動顯示方法更包括藉由所述處理裝置執行以下步驟：反應於一配對失敗結果，執行一互動延續操作而產生一第二指向，以藉由所述透明顯示器依據所述第二指向顯示互動資訊或提供予所述操作者的提示資訊，其中所述配對失敗結果包括：所述細部特徵中的第二細部特徵未成功配對、所述投影點中的第二投影點未成功配對，或所述大範圍特徵中的第二大範圍特徵未成功配對，其中所述互動延續操作包括：依據未成功配對的所述第 二細部特徵、未成功配對的所述第二大範圍特徵，或未成功配對的所述第二投影點，查詢特徵資料庫中之特徵關聯評分而選出一特徵組合，並決定所述操作者其中之一的所述第二指向。
  2. 如申請專利範圍第1項所述之互動顯示方法，其中依據各所述細部特徵與各所述大範圍特徵的配對結果與各所述投影點與各所述大範圍特徵的配對結果決定所述操作者其中之一的所述指向的步驟包括：反應於所述細部特徵中的第一細部特徵與所述大範圍特徵中的第一大範圍特徵配對成功且所述投影點中的第一投影點與所述第一大範圍特徵配對成功，依據配對成功之所述第一細部特徵與所述第一投影點決定所述操作者其中之一的第一指向，以透過所述透明顯示器依據所述第一指向顯示互動資訊。
  3. 如申請專利範圍第1項所述之互動顯示方法，其中提供所述提示資訊的操作包括建議移動位置、告知缺失特徵，以及告知操作者辨識碼的辨識結果。
  4. 如申請專利範圍第1項所述的互動顯示方法，其中所述配對失敗結果包括：所述第二大範圍特徵未成功配對至所述細部 特徵且所述第二大範圍特徵成功配對至所述投影點中的第三投影點，其中所互動延續操作包括：依據未與所述細部特徵配對成功的所述第二大範圍特徵以及與所述第二大範圍特徵相配對的所述第三投影點決定所述操作者其中之一的所述第二指向。
  5. 如申請專利範圍第1項所述的互動顯示方法，其中所述配對失敗結果包括：所述第二細部特徵未成功配對至所述大範圍特徵且所述第二投影點未成功配對至所述大範圍特徵，其中所述互動延續操作包括：依據未與所述大範圍特徵配對成功的所述第二細部特徵以及未與所述大範圍特徵配對成功的所述第二投影點，決定所述操作者其中之一的所述第二指向。
  6. 如申請專利範圍第1項所述的互動顯示方法，其中所述配對失敗結果包括：所述第二投影點未成功一對一配對至所述大範圍特徵且所述大範圍特徵中的第三大範圍特徵成功配對至所述細部特徵中的第三細部特徵，其中所述互動延續操作包括：自所述大範圍特徵中挑選符合特定評分條件的所述第三大範圍特徵，並依據與所述第三大範圍特徵配對成功的所述第三細部 特徵與所述第二投影點決定所述操作者其中之一的所述第二指向。
  7. 如申請專利範圍第1項所述的互動顯示方法，其中所述配對失敗結果包括：所述第二大範圍特徵未成功配對至所述投影點且所述第二大範圍特徵成功配對至所述細部特徵中的第三細部特徵，其中所述互動延續操作包括：依據未與所述投影點配對成功的所述第二大範圍特徵與所述第三細部特徵，決定所述操作者其中之一的所述第二指向。
  8. 如申請專利範圍第1項所述的互動顯示方法，其中所述配對失敗結果包括：所述第二投影點未成功配對至所述大範圍特徵，且無一可關聯細部特徵，其中所述互動延續操作包括：依據未成功配對的所述第二投影點與位於所述透明顯示器一側的目標物件，決定所述第二指向。
  9. 如申請專利範圍第1項所述之互動顯示方法，其中在配對所述大範圍特徵之前，所述方法更包括藉由所述處理裝置執行以下步驟：依據所述大範圍特徵中的多個關節位置判斷所述大範圍特徵 是否包括符合指向控制姿態特徵；若所述大範圍特徵包括符合所述指向控制姿態特徵，判斷所述指向控制姿態特徵與所述顯示平面之間的距離是否介於一距離閥值範圍內；以及若所述指向控制姿態特徵與所述顯示平面之間的距離介於所述距離閥值範圍內，保留包括指向控制姿態特徵的所述大範圍特徵。
  10. 一種互動顯示系統，包括：一透明顯示器；一影像感測裝置，朝向多個操作者擷取影像資料；以及一處理裝置，耦接所述透明顯示器與所述影像感測裝置，所述處理裝置經配置以執行以下步驟：從所述影像資料萃取所述操作者的至少一細部特徵與至少一大範圍特徵，並偵測所述透明顯示器的一顯示平面上的至少一投影點，其中所述投影點反應於所述操作者的互動行為而產生；對各所述細部特徵與各所述大範圍特徵進行配對；對各所述投影點與各所述大範圍特徵進行配對；以及依據各所述細部特徵與各所述大範圍特徵的配對結果與各所述投影點與各所述大範圍特徵的配對結果決定所述操作者其中之一的指向，所述處理裝置更經配置以執行以下步驟： 反應於一配對失敗結果，執行一互動延續操作而產生一第二指向，以藉由所述透明顯示器顯示依據所述第二指向顯示互動資訊或提供予所述操作者的提示資訊，其中所述配對失敗結果包括：所述細部特徵中的第二細部特徵未成功配對、所述投影點中的第二投影點未成功配對，或所述大範圍特徵中的第二大範圍特徵未成功配對，其中所述互動延續操作包括：依據未成功配對的所述第二細部特徵、未成功配對的所述第二大範圍特徵，或未成功配對的所述第二投影點，查詢特徵資料庫中之特徵關聯評分而選出特徵組合，並決定所述操作者其中之一的所述第二指向。
  11. 如申請專利範圍第10項所述之互動顯示系統，所述處理裝置更經配置以執行以下步驟：反應於所述細部特徵中的第一細部特徵與所述大範圍特徵中的第一大範圍特徵配對成功且所述投影點中的第一投影點與所述第一大範圍特徵配對成功，依據配對成功之所述第一細部特徵與所述第一投影點決定所述操作者其中之一的一第一指向，以透過所述透明顯示器依據所述第一指向顯示互動資訊。
  12. 如申請專利範圍第10項所述之互動顯示系統，其中提供所述提示資訊的操作包括建議移動位置、告知缺失特徵或告知操作者辨識碼的辨識結果。
  13. 如申請專利範圍第10項所述之互動顯示系統，其中所述配對失敗結果包括：所述第二大範圍特徵未成功配對至所述細部特徵且所述第二大範圍特徵成功配對至所述投影點中的第三投影點，其中所互動延續操作包括：依據未與所述細部特徵配對成功的所述第二大範圍特徵以及與所述第二大範圍特徵相配對的所述第三投影點決定所述操作者其中之一的所述第二指向。
  14. 如申請專利範圍第10項所述之互動顯示系統，其中所述配對失敗結果包括：所述第二細部特徵未成功配對至所述大範圍特徵且所述第二投影點未成功配對至所述大範圍特徵，其中所述互動延續操作包括：依據未與所述大範圍特徵配對成功的所述第二細部特徵以及未與所述大範圍特徵配對成功的所述第二投影點，決定所述操作者其中之一的所述第二指向。
  15. 如申請專利範圍第10項所述之互動顯示系統，其中所述配對失敗結果包括：所述第二投影點未成功一對一配對至所述大範圍特徵且所述大範圍特徵中的第三大範圍特徵成功配對至所述細部特徵中的第三細部特徵，其中所述互動延續操作包括：自所述大範圍特徵中挑選符合特定評分條件的所述第三大範圍特徵，並依據與所述三大範圍特徵配對成功的所述第三細部特徵與所述第二投影點決定所述操作者其中之一的所述第二指向。
  16. 如申請專利範圍第10項所述之互動顯示系統，其中所述配對失敗結果包括：所述第二大範圍特徵未成功配對至所述投影點且所述第二大範圍特徵成功配對至所述細部特徵中的第三細部特徵，其中所述互動延續操作包括：依據未與所述投影點配對成功的所述第二大範圍特徵與所述第三細部特徵，決定所述操作者其中之一的所述第二指向。
  17. 如申請專利範圍第10項所述之互動顯示系統，其中所述配對失敗結果包括：所述第二投影點未成功配對至所述大範圍特徵，且無一可關聯細部特徵，其中所述互動延續操作包括：依據未成功配對的所述第二投影點與位於所述透明顯示器一 側的目標物件，決定所述操作者其中之一的所述第二指向。
  18. 如申請專利範圍第10項所述之互動顯示系統，其中在配對所述大範圍特徵之前，所述處理裝置更經配置以下執行以下步驟：依據所述大範圍特徵中的多個關節位置判斷所述大範圍特徵是否包括符合指向控制姿態特徵；若所述大範圍特徵包括符合所述指向控制姿態特徵，判斷所述指向控制姿態特徵與所述顯示平面之間的距離是否介於一距離閥值範圍內；以及若所述指向控制姿態特徵與所述顯示平面之間的距離介於所述距離閥值範圍內，保留包括指向控制姿態特徵的所述大範圍特徵。
TW108130804A 2019-08-28 2019-08-28 互動顯示方法與互動顯示系統 TWI804671B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW108130804A TWI804671B (zh) 2019-08-28 2019-08-28 互動顯示方法與互動顯示系統
US16/680,497 US11295133B2 (en) 2019-08-28 2019-11-12 Interaction display method and interaction display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108130804A TWI804671B (zh) 2019-08-28 2019-08-28 互動顯示方法與互動顯示系統

Publications (2)

Publication Number Publication Date
TW202109272A TW202109272A (zh) 2021-03-01
TWI804671B true TWI804671B (zh) 2023-06-11

Family

ID=74682024

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108130804A TWI804671B (zh) 2019-08-28 2019-08-28 互動顯示方法與互動顯示系統

Country Status (2)

Country Link
US (1) US11295133B2 (zh)
TW (1) TWI804671B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI818665B (zh) * 2021-11-10 2023-10-11 財團法人工業技術研究院 資訊顯示方法及其資訊顯示系統與處理裝置
CN116107534A (zh) 2021-11-10 2023-05-12 财团法人工业技术研究院 信息显示方法及其处理装置与信息显示***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120206333A1 (en) * 2011-02-16 2012-08-16 Seok-Joong Kim Virtual touch apparatus and method without pointer on screen
US20160179205A1 (en) * 2013-06-27 2016-06-23 Eyesight Mobile Technologies Ltd. Systems and methods of direct pointing detection for interaction with a digital device
CN107026932A (zh) * 2016-01-31 2017-08-08 贺少珍 互动的方法和可互动的智能可穿戴设备
US20170287139A1 (en) * 2009-10-07 2017-10-05 Microsoft Technology Licensing, Llc Methods and systems for determining and tracking extremities of a target

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8970502B2 (en) 2006-05-26 2015-03-03 Touchtable Ab User identification for multi-user touch screens
US8593402B2 (en) * 2010-04-30 2013-11-26 Verizon Patent And Licensing Inc. Spatial-input-based cursor projection systems and methods
JP5784213B2 (ja) 2011-03-29 2015-09-24 クアルコム，インコーポレイテッド 骨格追跡を使用した物理的表面上への仮想投影上での選択的な手のオクルージョン
CN105593785B (zh) * 2013-11-01 2019-11-12 英特尔公司 凝视辅助触摸屏输入
US9600993B2 (en) * 2014-01-27 2017-03-21 Atlas5D, Inc. Method and system for behavior detection
US10088971B2 (en) * 2014-12-10 2018-10-02 Microsoft Technology Licensing, Llc Natural user interface camera calibration
US20170068414A1 (en) 2015-09-09 2017-03-09 Microsoft Technology Licensing, Llc Controlling a device
US10671843B2 (en) 2017-03-31 2020-06-02 Intel Corporation Technologies for detecting interactions with surfaces from a spherical view of a room
CN107247926B (zh) 2017-05-19 2019-09-17 浙江大华技术股份有限公司 一种人体检测方法及装置
TWI636425B (zh) 2017-06-21 2018-09-21 晶睿通訊股份有限公司 介面運作方法及其手持裝置
KR102625457B1 (ko) * 2019-08-16 2024-01-16 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170287139A1 (en) * 2009-10-07 2017-10-05 Microsoft Technology Licensing, Llc Methods and systems for determining and tracking extremities of a target
US20120206333A1 (en) * 2011-02-16 2012-08-16 Seok-Joong Kim Virtual touch apparatus and method without pointer on screen
US20160179205A1 (en) * 2013-06-27 2016-06-23 Eyesight Mobile Technologies Ltd. Systems and methods of direct pointing detection for interaction with a digital device
CN107026932A (zh) * 2016-01-31 2017-08-08 贺少珍 互动的方法和可互动的智能可穿戴设备

Also Published As

Publication number Publication date
TW202109272A (zh) 2021-03-01
US11295133B2 (en) 2022-04-05
US20210064875A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
TWI690842B (zh) 基於手勢辨認的互動顯示方法和裝置
JP7191714B2 (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
US8947351B1 (en) Point of view determinations for finger tracking
JP5846662B2 (ja) ３次元で表示されるオブジェクトのユーザの選択ジェスチャに応答する方法およびシステム
TWI670625B (zh) 視線輸入裝置、視線輸入方法、及程式
TWI486629B (zh) 穿透型頭部穿戴式顯示系統與互動操作方法
US9684372B2 (en) System and method for human computer interaction
US11635827B2 (en) Control device, display device, program, and detection method
US20190265841A1 (en) 3d touch interaction device, touch interaction method thereof, and display device
TWI804671B (zh) 互動顯示方法與互動顯示系統
US20160139762A1 (en) Aligning gaze and pointing directions
WO2011146070A1 (en) System and method for reporting data in a computer vision system
WO2017021902A1 (en) System and method for gesture based measurement of virtual reality space
JP2017004356A (ja) 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置
US9122346B2 (en) Methods for input-output calibration and image rendering
JP2017526096A (ja) 反射に基づくコントロールのアクティブ化
CN112445320A (zh) 互动显示方法与互动显示***
TWI836680B (zh) 立體影像互動模擬系統與運作方法
TWI767232B (zh) 透明顯示系統、視差校正方法與圖像輸出方法
US9465483B2 (en) Methods for input-output calibration and image rendering
EP3059664A1 (en) A method for controlling a device by gestures and a system for controlling a device by gestures
KR102024314B1 (ko) 공간터치 인식방법 및 이를 이용한 공간터치 인식장치
TW202418042A (zh) 立體影像互動模擬系統與運作方法
JP2017004539A (ja) 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置
Najman et al. Projector-Leap Motion calibration for gestural interfaces