TWI757872B

TWI757872B - 整合動作感測器的擴增實境系統與擴增實境顯示方法

Info

Publication number: TWI757872B
Application number: TW109131893A
Authority: TW
Inventors: 黃詠証
Original assignee: 宏碁股份有限公司
Priority date: 2020-09-16
Filing date: 2020-09-16
Publication date: 2022-03-11
Also published as: TW202213063A

Abstract

一種整合動作感測的擴增實境系統與擴增實境顯示方法。擴增實境系統包括頭戴式顯示裝置與計算機裝置。頭戴式顯示裝置包括影像擷取裝置與動作感測器。透過影像擷取裝置擷取第i幀環境影像，並依據第i幀環境影像決定虛擬物件的顯示位置。獲取顯示器相對於頭戴式顯示裝置的深度距離。由動作感測器產生頭戴式顯示裝置的動作感測資料。在擷取第（i+1）幀環境影像之前，依據動作感測資料與深度距離調整虛擬物件的顯示位置。由頭戴式顯示裝置依據調整後的顯示位置顯示虛擬物件。虛擬物件顯示為錨定於顯示器的顯示邊框上。

Description

整合動作感測器的擴增實境系統與擴增實境顯示方法

本發明是有關於一種擴增實境設備，且特別是有關於一種整合動作感測器的擴增實境系統與擴增實境顯示方法。

隨著科技的發展，擴增實境(Augmented Reality，AR)技術的應用越來越多，AR技術將虛擬的資訊應用到真實世界。

另一方面，隨著資訊處理量的增加，單一螢幕的筆記型電腦已逐漸無法滿足工作者的需求。一般而言，位於辦公室內的使用者，可將筆記型電腦連接至另一台桌上型顯示器，以使用多螢幕顯示功能來提昇工作效率。但是，在外辦公的使用者無法隨身攜帶體積龐大的桌上型顯示器，因而較難以享受多螢幕顯示功能帶來的便利。

有鑑於此，本發明提出一種整合動作感測器的擴增實境系統與擴增實境顯示方法，其可即時反應於使用者的操作狀態透過頭戴式顯示裝置顯示位於顯示器的顯示邊框旁邊的虛擬物件。

本發明實施例提供一種擴增實境系統，其包括頭戴式顯示裝置以及計算機裝置。頭戴式顯示裝置包括影像擷取裝置與動作感測器，並用以顯示一虛擬物件。前述虛擬物件疊合顯示為錨定於一顯示器的顯示邊框上。計算機裝置連接頭戴式顯示裝置，並包括儲存裝置與處理器。前述處理器耦接儲存裝置，並經配置以執行下列步驟。透過影像擷取裝置擷取第i幀環境影像，並依據第i幀環境影像決定虛擬物件的顯示位置，其中i為大於0的整數。獲取顯示器相對於頭戴式顯示裝置的深度距離。藉由動作感測器產生頭戴式顯示裝置的動作感測資料。在影像擷取裝置擷取第(i+1)幀環境影像之前，依據動作感測資料與深度距離調整虛擬物件的顯示位置。藉由頭戴式顯示裝置依據調整後的顯示位置顯示虛擬物件。

本發明實施例提供一種擴增實境顯示方法，包括下列步驟。透過頭戴式顯示裝置上的影像擷取裝置擷取第i幀環境影像，並依據第i幀環境影像決定虛擬物件的顯示位置，其中i為大於0的整數。獲取顯示器相對於頭戴式顯示裝置的深度距離。藉由頭戴式顯示裝置上的動作感測器產生頭戴式顯示裝置的動作感測資料。在影像擷取裝置擷取第(i+1)幀環境影像之前，依據動作感測資料與深度距離調整虛擬物件的該顯示位置。藉由頭戴式顯示裝置依據調整後的顯示位置顯示虛擬物件。虛擬物件疊合顯示為錨定於顯示器的顯示邊框上。

基於上述，於本發明的實施例中，可藉由頭戴式顯示裝置顯示虛擬物件來實現多螢幕顯示功能。並且，在擷取下一幀環境影像定位出虛擬物件的顯示位置之前，可透過頭戴式顯示裝置的動作感測資料來動態調整虛擬物件的顯示位置，好讓使用者可觀看到穩定地相連於主顯示器之顯示邊框上的虛擬物件。藉此，虛擬物件的錨定顯示不僅可讓使用者感受到多螢幕功能的便利，並且可提昇使用者觀看虛擬物件的觀看體驗。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

10:擴增實境系統

110:頭戴式顯示裝置

120:計算機裝置

111:影像擷取裝置

112:顯示器

130:顯示器

122:儲存裝置

123:處理器

E_L:左顯示邊框

E_T:上顯示邊框

E_R:右顯示邊框

V_T、V_R、V_L:虛擬物件

S310~S350、S410~S433:步驟

圖1是依照本發明一實施例的擴增實境系統的示意圖。

圖2A至圖2C是依照本發明一實施例的擴增實境系統的應用情境圖。

圖3是依照本發明一實施例的擴增實境顯示方法的流程圖。

圖4是依照本發明一實施例的調整虛擬物件之顯示位置的流程圖。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法與系統的範例。

圖1是依照本發明一實施例的擴增實境系統的示意圖。請參照圖1，擴增實境系統10包括頭戴式顯示裝置110以及計算機裝置120，其可為單一整合系統或分離式系統。具體而言，擴增實境(AR)系統10中的頭戴式顯示裝置110與計算機裝置120可以實作成一體式(all-in-one，AIO)頭戴式顯示器。於另一實施例中，計算機裝置120可實施為電腦系統，並經由有線傳輸介面或是無線傳輸介面與頭戴式顯示裝置110相連。舉例而言，擴增實境系統10可實施為一體式的AR眼鏡，或者實施為經由通訊介面相連結的AR眼鏡與電腦系統。

擴增實境系統10用於向使用者提供擴增實境內容。需特別說明的是，擴增實境系統10中的頭戴式顯示裝置110用以顯示虛擬物件，且此虛擬物件會顯示為錨定於真實場景中的顯示器130的顯示邊框上。顯示器130例如為筆記型電腦、平板電腦或智慧型手機的顯示螢幕或桌上型顯示器，本發明對此不限制。換言之，當使用者配戴頭戴式顯示裝置110觀看真實場景中的顯示器130時，擴增實境系統10所提供的虛擬物件可作為輔助螢幕。

頭戴式顯示裝置110包括影像擷取裝置111、顯示器112 以及動作感測器113。影像擷取裝置111用以擷取環境影像並且包括具有透鏡以及感光元件的攝像鏡頭。感光元件用以感測進入透鏡的光線強度，進而產生影像。感光元件可以例如是電荷耦合元件(charge coupled device，CCD)、互補性氧化金屬半導體(complementary metal-oxide semiconductor，CMOS)元件或其他元件，本發明不在此設限。在一實施例中，影像擷取裝置111固定設置於頭戴式顯示裝置110上，並用於拍攝位於頭戴式顯示裝置110前方的實際場景。舉例而言，當使用者配戴頭戴式顯示裝置110時，影像擷取裝置111可位於使用者雙眼之間或位於某一眼外側而朝使用者前方的實際場景進行拍攝動作。

顯示器112是具有一定程度的光線穿透性的顯示裝置，使用者觀看時能夠呈現出相對於觀看者另一側的實際場景。顯示器112可以液晶、有機發光二極體、電子墨水或是投影方式等顯示技術顯示虛擬物件，其具有半透明或是透明的光學鏡片。因此，使用者透過顯示器112所觀看到的內容將會是疊加虛擬物件的擴增實境場景。在一實施例中，顯示器112可實作為擴增實境眼鏡的鏡片。

動作感測器113例如是六軸感測器(可進行方向及加速度的感測)，可使用的感測器種類包括重力感測器(g-sensor)、陀螺儀(gyroscope)、加速度計(accelerometer)、電子羅盤(Electronic Compass)、測高儀(altitude meter)或是其他適合的動作感測器或上述感測器的組合搭配。

然而，除了影像擷取裝置111、顯示器112以及動作感測器113之外，頭戴式顯示裝置110更可包括未繪示於圖1的元件，像是揚聲器、控制器以及各式通信介面等等，本發明對此不限制。

另一方面，計算機裝置120可包括儲存裝置122，以及處理器123。儲存裝置122用以儲存資料與供處理器123存取的程式碼(例如作業系統、應用程式、驅動程式)等資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體(flash memory)或其組合。

處理器123耦接儲存裝置122，例如是中央處理單元(central processing unit，CPU)、應用處理器(application processor，AP)，或是其他可程式化之一般用途或特殊用途的微處理器(microprocessor)、數位訊號處理器(digital signal processor，DSP)、影像訊號處理器(image signal processor，ISP)、圖形處理器(graphics processing unit，GPU)或其他類似裝置、積體電路及其組合。處理器123可存取並執行記錄在儲存裝置122中的程式碼與軟體元件，以實現本發明實施例中的擴增實境顯示方法。

為了方便說明，以下將以計算機裝置120實施為包括內建的顯示器130且經由習知通訊介面與頭戴式顯示裝置110相連的電腦系統為範例進行說明。具體而言，於一實施例中，計算機裝置120可將相關的AR內容提供予頭戴式顯示裝置110，再由頭戴式顯示裝置110呈現予使用者觀看。舉例而言，計算機裝置120 實施為筆記型電腦、智慧型手機、平板電腦、電子書、遊戲機等具有顯示功能的電子裝置，本發明並不對此限制。顯示器130可以是液晶顯示器(Liquid Crystal Display，LCD)、發光二極體(Light Emitting Diode，LED)顯示器、有機發光二極體(Organic Light Emitting Diode，OLED)等各類型的顯示器，本發明對此不限制。

圖2A至圖2C是依照本發明一實施例的擴增實境系統的應用情境圖。請參照圖2A至圖2C，當使用者在配戴頭戴式顯示裝置110的情況下觀看真實場景中的顯示器130時，影像擷取裝置111會朝顯示器130拍攝環境影像。需說明的是，顯示器130之螢幕邊緣或螢幕角落呈現有輔助標記，而計算機裝置120可依據環境影像的輔助標記來定位顯示器130的顯示邊框，並依據定位結果決定虛擬物件的顯示參數，像是顯示邊界、顯示尺寸或顯示位置等等，致使虛擬物件可呈現為錨定於顯示器130的顯示邊框上。於一實施例中，輔助標記可以實施為貼附於顯示器130上的貼紙，或由顯示器130自行顯示輔助標記。

基此，當使用者透過頭戴式顯示裝置110的顯示器112觀看真實場景中的顯示器130時，使用者可看到疊加虛擬物件的實際場景，且虛擬物件顯示為錨定於顯示器130的顯示邊框上。更具體而言，虛擬物件會顯示為固定連接於顯示器130的上側、左側或右側，而不會遮蔽到顯示器130的顯示內容。

如圖2A至圖2C的範例所示，當使用者透過頭戴式顯示裝置110的顯示器112觀看顯示器130時，使用者可看到自顯示器130的上顯示邊框E_T、左顯示邊框E_L與右顯示邊框E_R向外展開的虛擬物件V_T、V_R、V_L。虛擬物件V_T、V_R、V_L可用以提供各種資訊給使用者，例如是視窗、文件、影像、桌面或執行應用程式生成的視覺輸出等等。因此，當使用者透過頭戴式顯示裝置110觀看顯示器130時，可享受到多螢幕顯示功能帶來的便利。然而，圖2A至圖2C僅為一示範說明，本發明對於虛擬物件的數量與其錨定的顯示邊框並不限制。

此外，參照圖2A與圖2C可知，用以定位出顯示器130之顯示邊框的輔助標記可包括位於顯示器130之螢幕邊緣的標記線B1、B2、B3。參照圖2B可知，用以定位出顯示器130之顯示邊框的輔助標記可包括位於顯示器130之多個螢幕角落的多個標記點C1、C2、C3、C4。亦即，計算機裝置120可藉由辨識環境影像中的標記線B1、B2、B3的或標記點C1、C2、C3、C4來定位出顯示器130於AR座標系統下的位置資訊與深度資訊，從而決定虛擬物件V_T、V_R、V_L的顯示位置。

需說明的是，影像擷取裝置111可定時地拍攝環境影像(例如以30Hz的擷取幀率來產生環境影像)，而計算機裝置120可依據環境影像重複地計算顯示器130於AR座標系統下的位置資訊與深度資訊，而持續更新虛擬物件V_T、V_R、V_L的顯示參數。藉此，在滿足顯示虛擬物件V_T、V_R、V_L之條件的情況下，即便使用者的位置改變或其頭部轉動，虛擬物件V_T、V_R、V_L依然可顯示為錨定於顯示器130的顯示邊框上。

值得一提的是，於一實施例中，影像擷取裝置111可依序先後擷取第i幀環境影像與第(i+1)幀環境影像，其中i為大於0的整數。計算機裝置120依據第i幀環境影像決定虛擬物件的顯示位置之後，在依據第(i+1)幀環境影像決定虛擬物件的顯示位置之前，計算機裝置120可依據動作感測器113所產生的動作感測資料動態調整虛擬物件的顯示位置，以避免虛擬物件的顯示受限於影像擷取幀率而出現不順暢的視覺感受。

以下即搭配擴增實境系統10的各元件列舉實施例，以說明擴增實境顯示方法的詳細步驟。

圖3是依照本發明一實施例的擴增實境顯示方法的流程圖。請參照圖1與圖3，本實施例的方式適用於上述實施例中的擴增實境系統10，以下即搭配擴增實境系統10中的各項元件說明本實施例之擴增實境顯示方法的詳細步驟。

於步驟S310，處理器123透過頭戴式顯示裝置110上的影像擷取裝置111擷取第i幀環境影像，並依據第i幀環境影像決定虛擬物件的顯示位置。環境影像為位於使用者周遭的實際場景的影像。詳細來說，實際場景的影像關聯於影像擷取裝置111的視野範圍。於一實施例中，影像擷取裝置111可依據一擷取幀率擷取環境影像。於一實施例中，影像擷取裝置111可透過有線傳輸介面或無線傳輸介面將環境影像傳送計算機裝置120。基於前述可知，處理器123可依據第i幀環境影像中的輔助標記定位出顯示器130於AR座標系統中的位置資訊，並據以決定虛擬物件的顯示位置。

於一實施例中，當處理器123自第i幀環境影像辨識出顯示器130上的輔助標記，虛擬物件可便持續顯示於顯示器130的周圍。於一實施例中，反應於第i幀環境影像中輔助標記位於第i幀環境影像中的預定範圍內，處理器123依據第i幀環境影像決定虛擬物件的顯示位置，並控制頭戴式顯示裝置110基於顯示位置顯示虛擬物件。反應於第i幀環境影像中輔助標記未位於第i幀環境影像中的預定範圍內，處理器123控制頭戴式顯示裝置110不顯示虛擬物件。舉圖2A為例，第i幀環境影像可劃分為尺寸相同的左區塊與右區塊。當據第i幀環境影像中的標記線B3位於第i幀環境影像的左區塊(即預定範圍)內時，代表使用者往顯示器130右側的方向觀看，因而處理器123可控制頭戴式顯示裝置110基於虛擬物件的顯示位置顯示虛擬物件V_R。換言之，當使用者頭部的轉動至一定程度時，虛擬物件才會顯示於顯示器130的一側。

於步驟S320，處理器123獲取顯示器130相對於頭戴式顯示裝置110的深度距離。於一實施例中，藉由訊號發射器(未繪示)主動發出光源、紅外線、超音波、雷射等作為訊號搭配時差測距技術(time-of-flight，ToF)，處理器123可獲取顯示器130相對於頭戴式顯示裝置110的深度距離。於一實施例中，可透過影像擷取裝置111與另一影像感測器以不同視角同時擷取其前方的兩張影像，以利用兩張影像的視差來計算顯示器130相對於頭戴式顯示裝置110的深度距離。

值得一提的是，於一實施例中，處理器123可依據第i幀環境影像中輔助標記的成像尺寸，估測顯示器130相對於頭戴式顯示裝置110的深度距離。具體而言，當影像擷取裝置111與輔助標記相距標準深度並拍攝輔助標記時，輔助標記於此拍攝影像中的尺寸即為標準尺寸。標準尺寸與標準深度可依據事前校正程序而產生，並記錄於儲存裝置122中。因此，藉由比較第i幀環境影像中輔助標記的成像尺寸以及標準尺寸，處理器123可估測出取顯示器130相對於頭戴式顯示裝置110的深度距離。

舉例而言，當輔助標記為位於顯示器130之多個螢幕角落的多個標記點(如圖2B所示的標記點C1~C4)，則輔助標記的成像尺寸包括標記點的直徑。當輔助標記為位於顯示器130之螢幕邊緣的多個標記線(如圖2A所示的標記線B1~B3)，則輔助標記的成像尺寸包括標記線的長度。

於一實施例中，處理器123可獲取輔助標記的標準尺寸與標準深度之間的比例值。接著，處理器123可依據比例值與第i幀環境影像中輔助標記的成像尺寸，估測顯示器130相對於頭戴式顯示裝置110的深度距離。舉例而言，處理器123可先獲取標記線的標準長度與標準深度之間的比例值，再依據此比例值與第i幀環境影像中標記線的成像長度計算顯示器130相對於頭戴式顯示裝置110的深度距離。處理器123可以下列公式(1)計算顯示器130相對於頭戴式顯示裝置110的深度距離。

d=(D1/X1)*x 公式(1)其中，d為顯示器130相對於頭戴式顯示裝置110的深度距離；D1為標準深度；X1為標準長度；x為第i幀環境影像中輔助標記的成像長度。

接著，於步驟S330，處理器123可藉由動作感測器113產生頭戴式顯示裝置110的動作感測資料。動作感測資料可包括速度、加速度、角加速度、壓力、磁力等等感測資料。於一實施例中，動作感測資料可包括對應於三座標軸向(X軸、Y軸與Z軸)的加速度與角速度。

於步驟S340，在影像擷取裝置111擷取第(i+1)幀環境影像之前，處理器123可依據動作感測資料與深度距離調整虛擬物件的顯示位置。詳細而言，處理器123可依據動作感測器113產生的動作感測資料計算出頭戴式顯示裝置110相對於三座標軸向上的移動量與旋轉量。舉例而言，處理器123可積分動作感測資料中的角速度而計算出旋轉角度，或者處理器123可對動作感測資料中的加速度進行兩次積分而獲取移動距離。於是，於一實施例中，處理器123可依據頭戴式顯示裝置110的移動量來調整虛擬物件的顯示位置。於一實施例中，處理器123可依據頭戴式顯示裝置110的旋轉量與顯示器130的深度距離來調整虛擬物件的顯示位置。基此，反應於使用者的頭部轉動或移動，處理器123會更新虛擬物件於AR座標系統中的顯示位置，而因此一併更新輸出畫面中虛擬物件的顯示位置。

於步驟S350，藉由頭戴式顯示裝置110依據調整後的顯示位置顯示虛擬物件。至少一虛擬物件顯示為錨定於顯示器130的至少一顯示邊框上。詳細而言，透過利用已知的幾何向量投影演算法，處理器123可依據虛擬物件於AR座標系統中的顯示位置產生提供給頭戴式顯示裝置110的輸出畫面。基此，當頭戴式顯示裝置110依據處理器123提供的輸出畫面進行顯示時，使用者可看到錨定於顯示器130之顯示邊框上的虛擬物件。虛擬物件的顯示位置會依據動作感測資料而調整，但視覺上虛擬物件不會反應使用者頭部的移動或轉動而與顯示器130的顯示邊框分離。

圖4是依照本發明一實施例的調整虛擬物件之顯示位置的流程圖。請參照圖1與圖4，圖4所示的流程為圖3步驟S340的一實施例。本實施例的方式適用於上述實施例中的擴增實境系統10，以下即搭配擴增實境系統10中的各項元件說明本實施例之擴增實境顯示方法的詳細步驟。

於步驟S410，處理器123依據動作感測資料計算頭戴式顯示裝置110的旋轉量。旋轉量可以是單位時間內的旋轉角度。於一實施例中，此旋轉量可包括相對於第一座標軸旋轉的傾仰(pitch)旋轉量以及相對於第二座標軸旋轉的偏擺(yaw)旋轉量。例如：傾仰旋轉量可用以表示使用者上下擺動頭部時的旋轉角度，而偏擺旋轉量可用以表示使用者左右搖動頭部時的旋轉角度。

於步驟S420，處理器123依據旋轉量與深度距離計算一位置變化量。詳細而言，基於頭戴式顯示裝置110的旋轉量以及顯示器130的深度距離，處理器123可計算出虛擬物件於一參考座標系統中的絕對位置變化量，例如是AR座標系統中的絕對位置變化量。於一實施例中，處理器123可將旋轉量與深度距離代入預設函式而產生絕對位置變化量。於是，於步驟S430，處理器123可依據位置變化量調整虛擬物件的顯示位置。

於此，步驟S430可實施為子步驟S431~子步驟S433。於子步驟S431，處理器123判斷位置變化量是否大於一門檻值。此門檻值可依據實際需求而設置，本發明對此不限制。若位置變化量未大於門檻值，於子步驟S432，處理器123不調整虛擬物件的顯示位置。若位置變化量大於門檻值，於子步驟S433，處理器123依據位置變化量調整虛擬物件的顯示位置。於一實施例中，處理器123可依據位置變化量將基於第i幀環境影像所計算出來的先前顯示位置調整為當前顯示位置，以控制頭戴式顯示裝置110基於虛擬物件的當前顯示位置進行顯示。此外，藉由判斷位置變化量是否大於門檻值的條件設置，可避免動作感測的誤差影響虛擬物件的顯示穩定度。

綜上所述，於本發明實施例中，當使用者配戴頭戴式顯示裝置觀看主顯示器時，即便頭戴式顯示裝置動態移動，但頭戴式顯示裝置所呈現的虛像物件與實際場景中主顯示器的顯示邊框可達到良好的對齊貼合。藉此，使用者可透過虛擬物件獲取更多的資訊量，並享優良舒適的觀看體驗。此外，在依據下一幀環境影像定位出虛擬物件的顯示位置之前，透過依據動作感測資料調整虛擬物件的顯示位置，可加強虛擬物件的顯示流暢度。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。