TWI501130B - 虛擬觸控輸入系統 - Google Patents

虛擬觸控輸入系統 Download PDF

Info

Publication number
TWI501130B
TWI501130B TW099135513A TW99135513A TWI501130B TW I501130 B TWI501130 B TW I501130B TW 099135513 A TW099135513 A TW 099135513A TW 99135513 A TW99135513 A TW 99135513A TW I501130 B TWI501130 B TW I501130B
Authority
TW
Taiwan
Prior art keywords
virtual
image
touch
input system
micro
Prior art date
Application number
TW099135513A
Other languages
English (en)
Other versions
TW201218041A (en
Inventor
Hau Wei Wang
Fu Cheng Yang
Chun Chieh Wang
Shu Ping Dong
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW099135513A priority Critical patent/TWI501130B/zh
Priority to US12/981,492 priority patent/US20120092300A1/en
Publication of TW201218041A publication Critical patent/TW201218041A/zh
Application granted granted Critical
Publication of TWI501130B publication Critical patent/TWI501130B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Position Input By Displaying (AREA)

Description

虛擬觸控輸入系統
本發明是有關於一種虛擬觸控輸入系統,適用於約手臂長度的短距離虛擬觸控操作。
手機與筆電已成為隨身的資訊平台,例如具備通訊、影音視訊、上網、導航、儲存、記事等功能。但現有隨身平台存在一些問題,例如是手機受限螢幕及鍵盤大小,瀏覽及輸入不方便;筆電則受限於重量及桌面支撐依賴性,行動便利性低。現有隨身平台技術均無法同時具備大螢幕、輸入方便、行動便利三種功能。又,現有手機與筆電的訊息內容與真實實體影像並未結合。例如使用導航、翻譯、照相攝影記錄、人臉辨識功能時,因訊息與實體兩者視野不一致,眼睛需在主體(道路、書本、人物)及機器間來回切換,已造成不安全及不方便問題。又,隨著功能持續增加,受限原隨身平台架構,擴充性已面臨限制。
至少基於上述的考量,其需要有可同時提供大螢幕、輸入方便、行動便利性功能,且數位訊息與實體對應性高的新隨身平台,以滿足消費需求。
近年來手機製造業者、電腦業者、顯示業者、網路搜尋業者,均已積極從不同角度發展下一代的隨身I/O技術,各別勾勒出未來的智慧行動顯示情境,其中以視覺平台占最重要的角色。當所有服務都上雲端後,前端的硬體或作業系統(OS)不論是PC、NB、或智慧型電話(smart phone) 都將簡化,移到後端處理。其結合“服務模式”之簡易終端(thin client)連網,即相當每個人可擁有一部虛擬超級電腦。這意味著以後的PC、NB、或Smart Phone將不再是原本的形貌。因此,如何能因應滿足雲端時代人的需求是研發技術的其一。
傳統技術因應隨身平台所提出的影像處理,允許藉由頭戴式雙向顯示裝置來同時看到實景以及微型顯示的影像,其又可稱為雙向顯示(see-through display)技術。圖1繪示雙向顯示技術的機制示意圖。參閱圖1,一個透光基板100中的兩端設置有反射面102以及反射面104。當微型影像顯示器106的影像光被反射面102到另一個反射面104,而反射面104將影像光反射到人眼108。如此人眼108可以同時看到前面的實景,也可以看到微型影像顯示器106所顯示的影像。
然而,將透光基板100以頭戴式雙向顯示裝置的形式設計時,就可以達到頭戴式的雙向顯示器的功用。
本發明提出微型個人視覺互動平台,可以利用在人眼附近建立一頭戴式隨身I/O平台,如此可以與實際場景結合,以達到虛擬觸控的操作而提供所需的資訊。
本發明一實施例提出一種虛擬觸控輸入系統,包括一雙向顯示裝置、一微影像顯示器、至少二個微型拍攝元件及一影像處理單元。雙向顯示裝置有一支架與一光學鏡組,可以使一實際景物的一影像光直接穿透而進入到一觀 視位置。微影像顯示器設置於支架上,藉由光學鏡組以投射一顯示影像到該觀視位置,以產生一虛擬影像面,其中虛擬影像面包括一數位資訊。至少二個微型拍攝元件設置於該支架,用以拍攝該實物景象以及一觸控指標物。影像處理單元耦接於該雙向顯示裝置,以辨識該觸控指標物且計算出該觸控指標物被轉換到虛擬影像面的一相對位置給該微影像顯示器。
本發明一實施例提出一種虛擬觸控輸入系統包括一頭戴式雙向顯示裝置、一微影像顯示器、至少二個微型拍攝元件及一影像處理單元。頭戴式雙向顯示裝置有一支架與一光學鏡組。微影像顯示器設置於支架上,藉由該頭戴式雙向顯示裝置以投射一顯示影像到一觀視位置,而產生一虛擬影像面。虛擬影像面包括一觸控數位資訊。微型拍攝元件設置於該支架,用以拍攝一觸控指標物。影像處理單元耦接於該頭戴式雙向顯示裝置,以辨識該觸控指標物且計算出該觸控指標物被轉換到該虛擬影像面的一相對位置給微影像顯示器,以觸控該觸控數位資訊。
本發明提出具有雙向顯示技術與立體視覺(Stereoscopic vision)測量定位的兩種功能的技術,成為一完整的隨身I/O平台。此隨身I/O平台可以至少具備幾種功能:(1)可看到外面實體,又可看到電子訊息畫面的雙向顯示功能;(2)電子訊息與實體影像可結合的視覺人性化功能;(3)可凌空輸入操作,可走到那裡編輯到那裡的高行動 方便功能,且可擴充數位服務功能。本發明的實施例至少可以解決目前手機及電腦螢幕小、輸入不易等問題。且本發明也提供擴増實境(AR)技術下的更多發展平台,突破擴増實境長久以來缺少合適視覺平台的問題,使擴増實境技術能發揮互動性。
以下舉一些實施例來說明本發明。然而,本發明並不侷限於所舉的實施例。又,所舉的實施例之間也允許有適當的結合。
就雙向顯示技術而言,本發明提出雙向顯示裝置。圖2繪示依據本發明一實施例,一種雙向顯示技術的頭戴式雙向顯示裝置系統示意圖。參閱圖2,本發明提出以頭戴式雙向顯示裝置的結構為基礎來達成雙向顯示技術。頭戴式雙向顯示裝置的形式不限定何種特定形式,其也可以包括護目鏡等的其他非於一般頭戴式雙向顯示裝置的形式。具有雙向顯示功能的雙向顯示裝置110,其包括有光學鏡組114a、114b與支架115。在支架115上也設置有一個或兩個微型顯示器112a、112b。於此,若是以兩個微型顯示器112a、112b來設置,則其顯示內容可以是相同的影像產生二維視覺影像或是具有視差的影像以產生三維視覺影像。若是以一個微型顯示器來設置,則其所顯示的影像會同時被二眼接受。微型顯示器112a、112b所顯示的影像會藉由光學鏡組114a、114b的反射結構,以投射到使用者的雙眼成像處,亦可使用折射、反射、繞射三種結構交互搭配,如(1)折射結構(2)反射結構(3)繞射結構(4)折射結合反 射結構(5)折射結合繞射結構(6)反射結合繞射結構(7)折射結合反射結合繞射結構,以投射到使用者雙眼。如此,使用者的雙眼可以同時看到當前的實物116的實景也可以同時看到微型顯示器112a、112b所顯示的影像。
至於微型顯示器112a、112b所有顯示的影像,例如可以藉由行動電子裝置95與網路端90連結,以提供所需要顯示的數位資訊。
圖3繪示依據本發明一實施例,人眼所看到的影像示意圖。參閱圖3,對於使用者的人眼所觀看到的影像其包括直接看到的實物116的內容,也包括由微型顯示器所顯示而成像在人眼的一虛擬顯示面120上的描述文字(descriptions)122等等的內容。此描述文字122例如是藉由網路端90所提供關於此實物116的描述資訊。
然而,上述的雙向顯示頭戴式雙向顯示裝置仍缺少觸控的輸入方式,以能方便控制在虛擬顯示面120所顯示的動態內容。要達到具有觸控功能的操作,就必需更設置能偵測觸控指標的位置,其配合在虛擬顯示面120的虛擬觸控功能,就可以達到觸控的操作,以提升整個的操作效能。圖4繪示依據本發明一實施例,具有立體視覺測量定位的頭戴式雙向顯示裝置架構示意圖。參閱圖4,使用者可以從具有立體視覺測量定位的頭戴式雙向顯示裝置130直接看到實物景像134,例如是一個人有穿馬靴。頭戴式雙向顯示裝置130也設置有至少二個微型拍攝元件132在兩端,以兩個(或以上)微型拍攝元件即可構成一立體視覺 定位元件,此立體視覺定位元件不限於擺設在支架之上,只要可構成立體視覺定位之條件,可擺設於頭戴式雙向顯示器周邊任意位置。微型拍攝元件132例如是微型相機或是其他取像元件。於此,微型拍攝元件132會與微型顯示器112a、112b相互連接,進而與網路端90連接做資料的相互傳輸。微型拍攝元件132可以拍攝觸控工具136a、136b。微型拍攝元件132藉由一影像處理單元以辨識觸控工具136a、136b的觸控指標物,其觸控工具136a、136b例如是手指,而指尖當作觸控指標物。影像處理單元更計算出觸控指標物被轉換到一虛擬影像面上的一相對位置給微影像顯示器12a、112b。如此,系統得知在虛擬影像面的哪些位置被觸控,而回應其對應的動作。
圖5繪示依據本發明一實施例,虛擬影像面上結合實物景像的觸控操作示意圖。參閱圖5,如藉由微型拍攝元件132攝取實物景像134後,藉由網路遠端所提供的相關數位資訊會由微型顯示器112a、112b顯示,其投射到人眼後就構成一虛擬影像面140。而實物景像134也同時會被人眼看到,成為視覺影。此時在虛擬影像面140例如顯示關於實物景像134的描述資訊144、146,另外描述資訊144、146中也可以有下一層資訊可以藉由虛擬觸控來點選操作,其例如是關於馬靴的型態資訊。描述資訊144也可以有觸控圖案142。更例如,觸控操作也可以由一虛擬鍵盤來操作。藉由對觸控工具136a、136b的觸控點的位置偵測,可以在無實體的空間中藉由虛擬觸控來操作。換句話 說,一般所知的實體滑鼠、鍵盤、觸控螢幕等可以改變成虛擬的操操作方式,無需實物觸碰。
至於如何分析得到觸控工具136a、136b的觸控指標物的位置,其例如是指尖的位置會於後面描述。至於當指尖到達選項後,如何啟動觸控操作可以有特定的動作或是其他機制來啟動,無需特別限制。
圖6繪示依據本發明一實施例,藉由虛擬觸控輸入系統的虛擬操作示意圖。參閱圖6,當使用者戴上本發明提出的頭戴式雙向顯示裝置時,在一虛擬影像面150上可以用手指152進行觸控操作。觸控操作除了可以在觸控的點選區域作操作外,也可以在虛擬影像面150上做連續動作的操作,例如是繪圖。而虛擬影像面150的背景實物可能是一白色背景。換句話說,虛擬影像面150例如可以與遠端的電腦主機進行操作。虛擬影像面150即是電腦係統的虛擬螢幕。本發明提出的頭戴式雙向顯示裝置可以在各種適合的環境下應用,與遠端的電腦係統連接就行操作,而無須限定在所舉的實施例。
圖7繪示依據本發明一實施例,虛擬觸控輸入系統示意圖。參閱圖7,具有雙向顯示以及偵測觸控指標物的頭戴式雙向顯示裝置180,其支架上設置有微型顯示器202。微型顯示器202所顯示的影像藉由頭戴式雙向顯示裝置的結構,例如是配合光學鏡組的結構而將投射到人眼,使視覺上在一虛擬影像面208上顯示數位資訊212,且人眼可以看到實物景像206。虛擬影像面208與實物景像206同 時在視覺上產生。
支架上更設置有多個微型拍攝元件200,可以拍攝實物景像206以及觸控工具210,其例如是手指。微型拍攝元件200所拍攝到的影像,以及微型顯示器202可以藉由行動電子產品220與網路(internet)222連結,而例如使用在遠端處理單元224的影像處理功能辨識出手指的指尖位置在虛擬影像面208的位置,進而得知觸控工具210的觸控操作,其例如除了可以得知是否觸控顯示數位資訊212的點選操作外,有可以得知觸控工具210有拖曳的操作等等。然而,影像處理也無需全部藉由遠端的處理單元224來達成,其部分的處理功能也可以整合設置在支架上。處理單元代表所需要的各種影像辨識與分析的處理功能。經過微型拍攝元件200與微型顯示器202的座標系統轉換可以得知在微型顯示器202上對應虛擬影像面208所處位置,因此可以進行觸控等操作。
以下描述如何藉由微型拍攝元件200來偵測觸控工具210的空間位置。有能夠偵測出觸控工具210的3維位置,其至少需要二個微型拍攝元件200以不同角度拍攝才能決定。本實施例以二個微型拍攝元件200為例,但是也可以使用更多的微型拍攝元件200來計算決定。圖8繪示依據本發明一實施例,二個微型拍攝元件從影像影面的位置估計出觸控位置的機制示意圖。參閱圖8,支架上的座標系統XYZ而言,二個微型拍攝元件200的鏡頭(lens)300中心點相隔t的距離。鏡頭300後方有影像感影元件302, 例如是一般的CCD。
要在例如手臂長z=500mm的近距離內,使手指能凌空輸入,達到虛擬觸控完成虛擬標籤觸發及拖拉功能,其需發展“近距離虛擬觸控技術”。本架構將以鏡頭300配合影像感影元件302,取的影像後,經由立體視覺系統(Stereoscopic vision system)的方法將手指定位。接著利用手指在兩個影像感影元件302上的個別位置(xcl,ycl)及(xcr,ycr),定位出手指3D座標(x0,y0,z0)。藉由幾何推導可以推導出式(1)~(4)的關係。
其中,t為兩個影像感影元件302的間距,h為影像感影元 件302的軸向偏移(sensor axial offset),f為鏡頭焦距,β為鏡頭收斂角度(lens convergence angle)。
若想增大手指左右的定位範圍(xy),可藉縮小微型camera的鏡頭焦距f來達到。但相同的CCD像素要解析較大的視野(field of view,FOV),即視野加大,則手指深度定位精度(z)勢必下降。所以必須有微型拍攝技術才能同時達到超短焦距微鏡頭及高像素,才能將遠距離手指定位做到近距離虛擬觸控。
圖9繪示依據本發明實施例,較遠距離觸控操作的有效操作範圍示意圖。參閱圖9,在鏡頭300後面的影像感影元件302較遠的設置。如此,藉由幾何分析可以得出多個參數,進而界定出二個微型拍攝元件200的交叉範圍,其即是有效的觸控操作範圍,如斜線陰影所標示的區域。由於是較遠距離的觸控操作,其觸控操作範圍較小。
以下說明圖9的參數,兩個鏡頭300中心軸與水平面之夾角為δ,θ表示為視野角度大小,當視野角小,鏡頭焦距f短時,則雙鏡頭因小視野角度造成視野重疊範圍區域有大小限制,視野重疊範圍區域則表示有效操作範圍。Zmax、Zmin分別表示有效操作範圍中最大及最小深度距離,有效操作範圍區域於x方向上的最大範圍則表示為Xp,Zp則是有效操作範圍區域於x方向上的最大範圍距離雙鏡頭深度位置,C則表是雙鏡頭軸線焦點。U與G分別表示內深度距離Zp>Z>Zmin與Zmax>Z>Zp內之x方向非視野重疊區。當較遠距離觸控操作的有效操作範圍將受 限於焦距f。於圖9所示,在鏡頭300距離後面的影像感影元件302較遠時,即焦距f較大時。如此,藉由幾何分析可以得出多個參數,進而界定出二個微型拍攝元件200的交叉範圍,其即表示有效的觸控操作範圍,如斜線陰影所標示的區域。當鏡頭焦距大,則視野較窄,而觸控操作範圍較小。
圖10繪示依據本發明實施例,較近距離觸控操作的有效操作範圍示意圖。參閱圖10,當鏡頭焦距小,視野廣,其觸控操作的有效操作範圍大。如果鏡頭300後面的影像感影元件302是較接近的設置,即焦距f較小時,一樣藉由幾何分析可以得出多個參數,進而界定出二個微型拍攝元件200的交叉範圍,其即是有效的近距離的觸控操作範圍,如斜線陰影所標示的區域,其觸控操作範圍比圖9的觸控操作範圍大。
於此需要注意的是,由於鏡頭的幾何結構,其所拍攝到的影像都會有變形等的問題。因此,觸控指標由鏡頭成像於影像感影元件302,如果直接計算實際的空間位置會有不一致現象,如此也可能會造成觸控操作不正確。於一實施例,影像變形的問題可以藉由校正來達成。如圖9-10的繪示,其觸控操作範圍可以從幾何關係推得。在此觸控操作範圍中可以取多個校正參考點。每一個校正參考點會預先實際量測,而得到計算後的量測位置。由於每個校正參考點在實際的空間座標的值,因此可以得到量測位置的座標偏移量。基於校正的解析度的要求所完成的校正資 料,每一個量測位置可以根據其所在位置而被校正回理想的觸控操作範圍的對應空間位置。如此,所拍攝的影像以及觸控工具都可以被校正,趨向真實的景物的位置。
本發明利用立體視覺定位技術、雙向顯示裝置與隨身I/O嵌入式平台達成一虛擬觸控技術。透過雙向顯示裝置兩側的微型攝影機,拍攝實體畫面,並可透過雙向顯示器投射出虛擬繪圖影像。當雙手進入微型攝影機的工作區域內時,可接收手指影像,並轉換成手指的定位座標。此時雙向顯示器上,可同時看到虛擬繪圖影像以及手指定位影像。透過虛擬繪圖模組與虛擬觸控模組分別將虛擬繪圖影像及手指定位座標兩項資訊送至虛實影像結合模組。經過一連串的畫面擷取,運算,並重複此動作,即可進行手指點擊、拖曳虛擬繪圖影像的功能,以達成虛擬觸控技術。
上述功能可以構成行動隨身的I/O平台。圖11繪示依據本發明一實施例,頭戴式隨身I/O崁入式平台架構示意圖。參閱圖11,藉由微型拍攝元件500取得影像後,影像處理模組502,利用硬體處理的設計方式將包含有影像預處理函式庫的影像資料庫506轉變為硬體設計,藉以取代傳統由中央處理單元(CPU)直接處理輸入影像的模式,此一設計將可有效提升影像處理效能,並降低中央處理單元資源的使用量。虛擬繪圖模組508是利用在影像資料庫506內預建構之場景資訊內容,建立虛擬繪圖影像。虛實影像結合模組510是以前一幅真實場景為基準,透過動態模式追蹤真實場景之變異程度。同時,結合影像尺度不變特徵 轉換,快速獲得到虛擬影像投影的座標位置。虛擬影像顯示模組512是透過虛實影像結合模組510送出的虛擬影像座標,例如虛擬標籤等來驅動頭戴式雙向顯示裝置514的顯示。虛擬觸控模組504將微型拍攝元件500所接收到的手指影像,變成手指的定位座標,並且分析出對應頭戴式雙向顯示裝置514所顯示影像上的觸控位置,進而提供觸控的操作顯示。
又從操作的方法來描述,此I/O台也可以由幾個步驟來達成。圖12繪示依據本發明一實施例,動態實虛結合的控制流程示意圖。參閱圖12,動態實虛結合的控制流程於步驟S100,一真實世界的實體物件為目標物。於步驟S102,其利用兩個CCD取像且包括對視角的控制而輸出即時擷取的影像I(n-1),其中n-1代表前一次擷取的影像。於步驟S104,將轉影像I(n-1)轉成空間的影像,且擷取影像特徵。於步驟S106,分析出影像特徵S(n-1)。又,於步驟S102,其繼續即時擷取當前影像I(n)。於步驟S108,取的影像I(n)的空間影像。於步驟S110,分析出影像特徵S(n)。於步驟S112,將步驟S110與步驟S106所得到的影像特徵S(n)與影像特徵S(n-1)做影像特徵差異分析。於步驟S114,根據影像特徵差異分析的結果,利用視覺控制演算法的得到影像特徵轉換矩陣。於步驟S116,利用2D/3D註冊演算法算出所需要的控制量。於步驟S118,進行虛擬空間資訊以及模板定位控制,其會與由步驟S102所取得的實體空間做模板重合,而輸出虛擬目標物體。於步驟 S120,藉由光學雙向透視式的顯示器,使人眼可以穿透看到真實世界的實體物件已可以同時看到虛擬目標物體。如此,在步驟S120與步驟S100之間,實體物件以及虛擬目標物體與的虛實資訊會在模板融合顯示。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
90‧‧‧網路端
95‧‧‧行動電子裝置
100‧‧‧透光基板
102‧‧‧反射面
104‧‧‧反射面
106‧‧‧微型顯示器
108‧‧‧人眼
110‧‧‧頭戴式雙向顯示裝置
112a、112b‧‧‧微型顯示器
114a、114b‧‧‧光學鏡組
115‧‧‧支架
116‧‧‧實物
120‧‧‧虛擬顯示面
122‧‧‧描述文字
130‧‧‧頭戴式雙向顯示裝置
152‧‧‧手指
180‧‧‧頭戴式雙向顯示裝置
200‧‧‧微型拍攝元件
202‧‧‧微型顯示器
206‧‧‧實物景像
208‧‧‧虛擬影像面
210‧‧‧觸控工具
212‧‧‧數位資訊
220‧‧‧行動電子產品
222‧‧‧網路
224‧‧‧遠端處理單元
300‧‧‧鏡頭
302‧‧‧影像感影元件
500‧‧‧微型拍攝元件
502‧‧‧影像處理模組
132‧‧‧微型拍攝元件
134‧‧‧實物景像
136a、136b‧‧‧觸控工具
140‧‧‧虛擬影像面
142‧‧‧觸控圖案
144‧‧‧描述資訊
146‧‧‧描述資訊
150‧‧‧虛擬影像面
504‧‧‧虛擬觸控模組
506‧‧‧影像資料庫
508‧‧‧虛擬繪圖模組
510‧‧‧虛實影像結合模組
512‧‧‧虛擬影像顯示模組
514‧‧‧頭戴式雙向顯示裝置
S100-S120‧‧‧步驟
圖1繪示雙向顯示技術的機制示意圖。
圖2繪示依據本發明一實施例,一種雙向顯示技術的頭戴式雙向顯示裝置系統示意圖。
圖3繪示依據本發明一實施例,人眼所看到的影像示意圖。
圖4繪示依據本發明一實施例,具有立體視覺測量定位的頭戴式雙向顯示裝置架構示意圖。
圖5繪示依據本發明一實施例,虛擬影像面上結合實物景像的觸控操作示意圖。
圖6繪示依據本發明一實施例,藉由虛擬觸控輸入系統的虛擬操作示意圖。
圖7繪示依據本發明一實施例,虛擬觸控輸入系統示意圖。
圖8繪示依據本發明一實施例,二個微型拍攝元件從影像影面的位置估計出觸控位置的機制示意圖。
圖9繪示依據本發明實施例,較遠距離觸控操作的有效操作範圍示意圖。
圖10繪示依據本發明實施例,較近距離觸控操作的有效操作範圍示意圖。
圖11繪示依據本發明一實施例,頭戴式隨身I/O崁入式平台架構示意圖。
圖12繪示依據本發明一實施例,動態實虛結合的控制流程示意圖。
180‧‧‧頭戴式雙向顯示裝置
200‧‧‧微型拍攝元件
202‧‧‧微型顯示器
206‧‧‧實物景像
208‧‧‧虛擬影像面
210‧‧‧觸控工具
212‧‧‧數位資訊
220‧‧‧行動電子產品
222‧‧‧網路
224‧‧‧遠端處理單元

Claims (17)

  1. 一種虛擬觸控輸入系統,包括:一雙向顯示裝置,有一支架與一光學鏡組,該光學鏡組可以使一實際景物的一影像光直接穿透而進入到一觀視位置;一微影像顯示器,設置於該支架上,藉由該光學鏡組以投射一顯示影像到該觀視位置,以產生一虛擬影像面,其中該虛擬影像面包括一描述資訊;至少二個微型拍攝元件,設置於該支架,用以拍攝該實物景象以及一觸控指標物;以及一影像處理單元,耦接於該頭戴式雙向顯示裝置,以辨識該觸控指標物,且計算出該觸控指標物被轉換到該虛擬影像面的一相對位置給該微影像顯示器,其中該虛擬影像面的該描述資訊包括對應該觸控指標物的該相對位置所執行的一觸控操作的描述資訊以及觸控圖案。
  2. 如申請專利範圍第1項所述之虛擬觸控輸入系統,其中該觸控資訊包括觸控選項。
  3. 如申請專利範圍第1項所述之虛擬觸控輸入系統,其中該觸控資訊包括虛擬輸入鍵盤。
  4. 如申請專利範圍第1項所述之虛擬觸控輸入系統,其中該些微型拍攝元件與一外部網路資訊系統耦接,該外部網路資訊系統根據拍攝的該實物景象提供對應相關的該描述資訊。
  5. 如申請專利範圍第1項所述之虛擬觸控輸入系統,其中該虛擬影像面與該實際景物在該觀視位置是重疊。
  6. 如申請專利範圍第1項所述之虛擬觸控輸入系統,其中該些微型拍攝元件是藉由不同角度交叉的設置以拍攝該觸控指標物,而藉由影像處理單元分析出該觸控指標物的一空間三維座標。
  7. 如申請專利範圍第1項所述之虛擬觸控輸入系統,其中該些微型拍攝元件藉由不同角度交叉的設置構成有效的一拍攝空間,且該影像處理單元包含有一位置校正資訊,將拍攝的該實物景象與該觸控指標物,以校正回到對應該拍攝空間中的一預計實際位置。
  8. 如申請專利範圍第1項所述之虛擬觸控輸入系統,其中該影像處理單元也計算出該實物景象轉換到該虛擬影像面的一相對位置。
  9. 如申請專利範圍第1項所述之虛擬觸控輸入系統,其中該影像處理單元包括計算將該實際景物的座標轉換到該微型拍攝元件的一影像感影面上的座標,再轉換到該虛擬影像面上的座標。
  10. 如申請專利範圍第1項所述之虛擬觸控輸入系統,其中該光學鏡組具有導光結構,以將該微影像顯示器的該顯示影像導引與投射到該觀視位置。
  11. 如申請專利範圍第1項所述之虛擬觸控輸入系統,其中該觀視位置是一使用者的雙眼。
  12. 如申請專利範圍第1項所述之虛擬觸控輸入系 統,其中該些微型拍攝元件的數量是二個,分別設置在該支架的一左鏡框與一右鏡框上。
  13. 如申請專利範圍第1項所述之虛擬觸控輸入系統,其中該些微型拍攝元件也拍攝該實際景物,且由該影像處理單元分析出該實際景物的一景深資訊。
  14. 一種虛擬觸控輸入系統,包括:一雙向顯示裝置,有一支架與一光學鏡組;一微影像顯示器,設置於該支架上,藉由該雙向顯示裝置以投射一顯示影像到一觀視位置,而產生一虛擬影像面,其中該虛擬影像面包括一描述資訊;至少二個微型拍攝元件,設置於該支架,用以拍攝一觸控指標物;以及一影像處理單元,耦接於該雙向顯示裝置,以辨識該觸控指標物且計算出該觸控指標物被轉換到該虛擬影像面的一相對位置給該微影像顯示器,以觸控該該描述資訊,該描述資訊包括對應該相對位置所產生的一觸控操作的描述資訊以及觸控圖案。
  15. 如申請專利範圍第14項所述之虛擬觸控輸入系統,其中該描述資訊包括一顯示影像與控制該顯示影像的一觸控選項。
  16. 如申請專利範圍第14項所述之虛擬觸控輸入系統,其中該描述資訊包括一顯示影像與控制該顯示影像的一虛擬輸入鍵盤。
  17. 如申請專利範圍第14項所述之虛擬觸控輸入系統,其中該雙向顯示裝置是頭戴式。
TW099135513A 2010-10-18 2010-10-18 虛擬觸控輸入系統 TWI501130B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW099135513A TWI501130B (zh) 2010-10-18 2010-10-18 虛擬觸控輸入系統
US12/981,492 US20120092300A1 (en) 2010-10-18 2010-12-30 Virtual touch system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW099135513A TWI501130B (zh) 2010-10-18 2010-10-18 虛擬觸控輸入系統

Publications (2)

Publication Number Publication Date
TW201218041A TW201218041A (en) 2012-05-01
TWI501130B true TWI501130B (zh) 2015-09-21

Family

ID=45933733

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099135513A TWI501130B (zh) 2010-10-18 2010-10-18 虛擬觸控輸入系統

Country Status (2)

Country Link
US (1) US20120092300A1 (zh)
TW (1) TWI501130B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8970692B2 (en) * 2011-09-01 2015-03-03 Industrial Technology Research Institute Head mount personal computer and interactive system using the same
US8941560B2 (en) 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US8884928B1 (en) * 2012-01-26 2014-11-11 Amazon Technologies, Inc. Correcting for parallax in electronic displays
TWI489326B (zh) 2012-06-05 2015-06-21 Wistron Corp 操作區的決定方法與系統
US9335919B2 (en) * 2012-06-25 2016-05-10 Google Inc. Virtual shade
TWI471756B (zh) * 2012-11-16 2015-02-01 Quanta Comp Inc 虛擬觸控方法
TWI495903B (zh) * 2013-01-09 2015-08-11 Nat Univ Chung Hsing 具無接觸手勢控制之眼鏡型行動電話
TWI649675B (zh) * 2013-03-28 2019-02-01 新力股份有限公司 Display device
CN105190480B (zh) * 2013-05-09 2018-04-10 索尼电脑娱乐公司 信息处理设备和信息处理方法
EP2843507A1 (en) 2013-08-26 2015-03-04 Thomson Licensing Display method through a head mounted device
JP6229572B2 (ja) * 2014-03-28 2017-11-15 セイコーエプソン株式会社 ライトカーテン設置方法および双方向表示装置
KR102303115B1 (ko) 2014-06-05 2021-09-16 삼성전자 주식회사 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법
US9766806B2 (en) * 2014-07-15 2017-09-19 Microsoft Technology Licensing, Llc Holographic keyboard display
US9911235B2 (en) 2014-11-14 2018-03-06 Qualcomm Incorporated Spatial interaction in augmented reality
TWI656359B (zh) * 2017-05-09 2019-04-11 瑞軒科技股份有限公司 用於混合實境之裝置
US10747386B2 (en) * 2017-06-01 2020-08-18 Samsung Electronics Co., Ltd. Systems and methods for window control in virtual reality environment
TWI757941B (zh) * 2020-10-30 2022-03-11 幻景啟動股份有限公司 影像處理系統以及影像處理裝置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JP2005301668A (ja) * 2004-04-12 2005-10-27 Seiko Epson Corp 情報処理装置および情報処理プログラム
CN101530325A (zh) * 2008-02-29 2009-09-16 韦伯斯特生物官能公司 具有虚拟触摸屏的定位***
JP2010146481A (ja) * 2008-12-22 2010-07-01 Brother Ind Ltd ヘッドマウントディスプレイ
JP2010145861A (ja) * 2008-12-19 2010-07-01 Brother Ind Ltd ヘッドマウントディスプレイ
TW201032139A (en) * 2009-02-26 2010-09-01 Simpleact Inc Mobile device for displaying representative image of object

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
JP2002157606A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体
JP2003337963A (ja) * 2002-05-17 2003-11-28 Seiko Epson Corp 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JP2005301668A (ja) * 2004-04-12 2005-10-27 Seiko Epson Corp 情報処理装置および情報処理プログラム
CN101530325A (zh) * 2008-02-29 2009-09-16 韦伯斯特生物官能公司 具有虚拟触摸屏的定位***
JP2010145861A (ja) * 2008-12-19 2010-07-01 Brother Ind Ltd ヘッドマウントディスプレイ
JP2010146481A (ja) * 2008-12-22 2010-07-01 Brother Ind Ltd ヘッドマウントディスプレイ
TW201032139A (en) * 2009-02-26 2010-09-01 Simpleact Inc Mobile device for displaying representative image of object

Also Published As

Publication number Publication date
TW201218041A (en) 2012-05-01
US20120092300A1 (en) 2012-04-19

Similar Documents

Publication Publication Date Title
TWI501130B (zh) 虛擬觸控輸入系統
US10674142B2 (en) Optimized object scanning using sensor fusion
US9207773B1 (en) Two-dimensional method and system enabling three-dimensional user interaction with a device
US8836768B1 (en) Method and system enabling natural user interface gestures with user wearable glasses
US9651782B2 (en) Wearable tracking device
US8933912B2 (en) Touch sensitive user interface with three dimensional input sensor
CN103336575B (zh) 一种人机交互的智能眼镜***及交互方法
WO2015180659A1 (zh) 图像处理方法和图像处理装置
CN106454311B (zh) 一种led三维成像***及方法
JP2017102768A (ja) 情報処理装置、表示装置、情報処理方法、及び、プログラム
CN102959616A (zh) 自然交互的交互真实性增强
CN104102343A (zh) 交互式输入***和方法
CN110377148B (zh) 计算机可读介质、训练对象检测算法的方法及训练设备
JP2017505933A (ja) 実在の物体上に固定された仮想画像を生成する方法及びシステム
JP2023515669A (ja) マルチビューステレオのための疎点の三角測量および緻密化を学習することによる深度推定のためのシステムおよび方法
US20150009119A1 (en) Built-in design of camera system for imaging and gesture processing applications
EP3413165B1 (en) Wearable system gesture control method and wearable system
WO2018028152A1 (zh) 一种图像采集设备、虚拟现实设备
KR101343748B1 (ko) 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
JP2017187667A (ja) 頭部装着型表示装置およびコンピュータープログラム
CN116194866A (zh) 使用6dof姿态信息对准来自分离相机的图像
CN104423578A (zh) 交互式输入***和方法
WO2023173668A1 (zh) 一种虚拟场景中的输入识别方法、设备及存储介质
JP2022133133A (ja) 生成装置、生成方法、システム、およびプログラム
US20170300121A1 (en) Input/output device, input/output program, and input/output method