TW201447375A - 擴增實境之頭戴式電子裝置及方法 - Google Patents
擴增實境之頭戴式電子裝置及方法 Download PDFInfo
- Publication number
- TW201447375A TW201447375A TW102120873A TW102120873A TW201447375A TW 201447375 A TW201447375 A TW 201447375A TW 102120873 A TW102120873 A TW 102120873A TW 102120873 A TW102120873 A TW 102120873A TW 201447375 A TW201447375 A TW 201447375A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- module
- head
- electronic device
- body part
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 63
- 230000033001 locomotion Effects 0.000 claims abstract description 36
- 210000003128 head Anatomy 0.000 claims description 33
- 230000009471 action Effects 0.000 claims description 23
- 230000005540 biological transmission Effects 0.000 claims description 10
- 239000012925 reference material Substances 0.000 claims description 9
- 230000007613 environmental effect Effects 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 2
- 239000011521 glass Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000003993 interaction Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本發明揭露一種擴增實境方法,其包括以下步驟:以一影像擷取模組擷取真實環境之影像,且影像具有至少一物件以及一身體部位;以一處理模組依據影像計算物件以及身體部位之景深資料;以一體特徵辨識模組追蹤身體部位,並輸出一動作資料;以處理模組依據物件及身體部位之景深資料以及動作資料,顯示相對應的擴增實境一虛擬圖像或影像於一透光顯示模組。本發明另外揭露一種擴增實境之頭戴式電子裝置。
Description
本發明係關於一種擴增實境之頭戴式電子裝置及方法。
視覺是人類取得外界資訊最簡單又最直接的方式。在科技還不夠進步的過去,人類只能看到真實環境中實際存在的物體,從中所得到的資訊有限,難以滿足人類無窮的好奇心與求知慾。
擴增實境(Augmented reality)是一種用於將虛擬化影像或畫面,與使用者觀察到的真實環境結合的技術。擴增實境能提供更即時、更多樣性,尤其是非以肉眼直接可看到的資訊,大大提升使用上的便利性,以及讓使用者開始能與環境產生即時互動。
奠基於顯示與傳輸技術的突破,今日已有廠商推出擴增實境的產品,例如圖1所示之電子眼鏡1。電子眼鏡1具有透明顯示投影顯示鏡片11、攝影模組12、感應模組13、無線傳輸模組14以及處理模組15。藉由無線傳輸模組14接收定位資料,攝影模組12擷取周圍環境畫面而辨識模組16辨識其中物件,感應模組13感應環境溫度、光度資料,以及
處理模組15提供時間資料。如圖2所示,上述資料綜合後可被顯示於投影透明顯示鏡片11上,使用者透過電子眼鏡1,不僅可以看到真實環境中的物件17,更可以同時看到所需的數位資訊,擴大了實境的內容。
然而,在這樣的應用中,距離真正的互動尚有一段距離,例如電子眼鏡1所顯示的虛擬內容,與真實環境中的物件只能有位置上的配合,如圖2中顯示「A大樓」的字樣於A大樓旁,並無法利用真實環境中物間之間相當重要的前後遠近關係,而以有景深的方式呈現虛擬影像。另外,電子眼鏡1提供的擴增實境內容,也無法隨著使用者的肢體動作而有所反應,讓虛擬產生的影像畫面缺乏真實性。
是以,如何提供一種擴增實境裝置及方法,其可以利用真實環境中的景深資訊,以及使用者的動作資訊,從而讓擴增實境的內容能與實際觀察到之環境及使用者動作產生更好的互動,已經成為本領域重要的課題之一。
本發明之目的在於提供一種擴增實境之頭戴式電子裝置及方法,其可以利用真實環境中的景深資訊,以及使用者的動作資訊,從而讓擴增實境的內容能與實際觀察到之環境及使用者動作產生更好的互動。
依據本發明之擴增實境方法係實施於一頭戴式電子裝置。頭戴式電子裝置包括一影像擷取模組、一體特徵辨識模組、一透光顯示模組以及一處理模組。擴增實境方法包括以下步驟:以影像擷取模組擷取真實環境之影像,且影像具有至少一物件以及一身體部位;以處理模組依據影像計算物件以
及身體部位之景深資料;以體特徵辨識模組追蹤身體部位,並輸出一動作資料;以處理模組依據物件及身體部位之景深資料以及動作資料,顯示一虛擬圖像或影像於透光顯示模組。
依據本發明之擴增實境之頭戴式電子裝置,包括:一影像擷取模組、一處理模組、一體特徵辨識模組以及一透光顯示模組。影像擷取模組擷取真實環境之影像,且影像具有至少一物件以及一身體部位。處理模組耦接影像擷取模組,並依據影像計算物件以及身體部位之景深資料。體特徵辨識模組耦接處理模組,且追蹤身體部位並輸出一動作資料。透光顯示模組耦接處理模組,且處理模組依據物件及身體部位之景深資料以及動作資料,顯示一虛擬圖像或影像於透光顯示模組。
在本發明一實施例中,處理模組係利用光流法,以計算出物件以及身體部位之景深資料。
在本發明一實施例中,頭戴式電子裝置包括二影像擷取模組,其分別擷取真實環境之影像。該些影像中分別具有物件以及身體部位。處理模組係利用立體匹配法,取得立體視差值,以計算出物件以及身體部位之景深資料。
在本發明一實施例中,頭戴式電子裝置包括一動作感測器模組,其感測使用者頭部之方向、位置或動作以輸出一頭部參考資料。處理模組依據頭部參考資料輸出另一虛擬圖像或影像於透光顯示模組。
在本發明一實施例中,頭戴式電子裝置包括一動作感測器模組,其感測使用者頭部之方向、位置或動作以輸出一頭部參考資料。處理模組依據頭部參考資料調整虛擬圖像或影像於透光顯示模組之顯示位置。
在本發明一實施例中,體特徵辨識模組追蹤身體
部位係依據身體部位之輪廓、形狀或距離辨識身體部位,再例如對應到內建或接收的三維模型,較佳為人形仿真三維模型,並比較一時間內,身體部位之位置而達成。
在本發明一實施例中,處理模組依據一三維環境地圖資料,顯示一三維環境地圖影像於透光顯示模組。較佳地,三維環境地圖資料係透過頭戴式電子裝置之一無線傳輸模組接收所得,或由處理模組依據真實環境之複數個環境景深資料及複數個環境彩度資料計算所得。
在本發明一實施例中,頭戴式電子裝置包括二透光顯示模組,分別顯示供左右眼觀看之虛擬圖像或影像。
綜上所述,藉由本發明之擴增實境之頭戴式電子裝置及方法,可以透過影像擷取模組及處理模組分別計算出位於真實環境中物件的景深與身體部位的景深,再結合體特徵辨識模組追蹤使用者動作,使得使用者與物件所在之真實環境之間有了立體的互動關係。也就是,例如真實環境中不同物件所在之遠近不同,當使用者的手往前伸長的距離不同時,本發明之裝置或方法,便可以判斷手是與不同物件進行互動,從而提供使用者看到不同的擴增實境內容,使得實境與虛擬之間有更緊密的結合。
另外,本發明一實施例中,頭戴式電子裝置可以具有二透光顯示模組,以利用例如左右眼視差方式,產生立體的虛擬圖像或影像,更進一步提升使用者與真實環境的立體互動效果。
又再另一實施例中,頭戴式電子裝置可以包括一動作感測器模組,以掌握使用者的位置、頭部轉向或或動作等資料,隨時改變或調整虛擬圖像或影像,讓使用者有更佳的第
一人稱體驗效果,或者讓擴增實境所產生的圖像或影像對應到各類型之三維空間。
1‧‧‧電子眼鏡
11‧‧‧顯示鏡片
12‧‧‧攝影模組
13‧‧‧感應模組
14‧‧‧無線傳輸模組
15‧‧‧處理模組
16‧‧‧辨識模組
17‧‧‧物件
3‧‧‧頭戴式電子裝置
3a‧‧‧頭戴式電子裝置
3b‧‧‧頭戴式電子裝置
31‧‧‧影像擷取模組
31a‧‧‧影像擷取模組
32‧‧‧處理模組
33‧‧‧體特徵辨識模組
34‧‧‧透光顯示模組
34a‧‧‧透光顯示模組
341‧‧‧透光玻璃板
35‧‧‧動作感測器模組
5‧‧‧影像
51‧‧‧物件
511‧‧‧咖啡桌
52‧‧‧身體部位
521‧‧‧手
53‧‧‧虛擬圖像
531‧‧‧咖啡杯
531a‧‧‧虛擬鍵盤
圖1為習知技術之電子眼鏡;圖2為圖1所示之電子眼鏡之擴增實境內容;圖3為依據本發明一實施例之一種擴增實境之頭戴式電子裝置的外觀示意圖;圖4為圖3所示之頭戴式電子裝置之系統方塊圖;圖5a及圖5b為圖3所示之頭戴式電子裝置運作時所擷取之影像示意圖;圖5c係為圖3所示之頭戴式電子裝置產生虛擬圖像時,與真實環境的互動示意圖;圖5d係為圖3所示之頭戴式電子裝置產生虛擬圖像時,與真實環境的另一互動示意圖;圖6係為依據本發明另一實施例之頭戴式電子裝置的外觀示意圖;以及圖7為依據本發明又一實施例之頭戴式電子裝置的系統方塊圖。
以下將參照相關圖式,說明依據本創作較佳實施例之一種擴增實境之頭戴式電子裝置及方法,其中相同的元件將以相同的參照符號加以說明。
圖3為依據本發明一實施例之一種擴增實境之頭
戴式電子裝置的外觀示意圖,圖4為圖3所示之頭戴式電子裝置之系統方塊圖。請同時參考圖3及圖4所示,在本實施例中,頭戴式電子裝置3可以為一具有擴增實境功能之電子眼鏡,其包括一影像擷取模組31、一處理模組32、一體特徵辨識模組33以及一透光顯示模組34。處理模組32可以包括中央處理器(Central Processing Unit,CPU)、繪圖處理器(Graphic Processing Unit,GPU)、特殊應用積體電路(Application-specific integrated circuit,ASIC)、現場可編輯邏輯閘陣列(Field Programmable Gate Array,FPGA)或數位訊號處理器(Digital Signal Processor,DSP)等各種具有訊號處理、邏輯運算以及演算法執行的單元,以進行如影像演算、影像校正、影像列位、景深抽出、三維環境重建、物體辨認、動作追蹤及預測等功能,且該些單元可以設置於同一電路板,以節省空間。如圖2所示,上述其他模組均可以與處理模組32耦接,較佳為直接電性連接,以將產生的訊號或資料送入處理模組32處理,或獲得處理模組32輸出的訊號或資料。當然,頭戴式電子裝置3還包括一或多個記憶模組(圖未示),其中可以設置有各式記憶體(Memory),另外也還包括硬碟等儲存裝置、電源電路等一般電腦系統運作的架構。
影像擷取模組31用於擷取真實環境之影像,具體可為微型攝影機,具有拍攝照片或影片的功能,且較佳地,拍攝或攝影係以第一人稱視角的方式進行。圖5a為圖3所示之頭戴式電子裝置運作時所擷取之影像示意圖,請參考圖5所示,在本實施例中,擷取之影像5包括至少一真實環境中存在的物件51,例如咖啡桌,以及使用者身體的一部份52,例如手的前臂與手掌。
體特徵辨識模組33用於追蹤使用者的動作,並輸出動作資料。體特徵辨識模組33可以具有獨立的FGPA、ASIC、DSP、GPU及CPU,以提升反應靈敏度與降低動作資料輸出的延遲。在本實施例中,配合單一個影像擷取模組31,處理模組32可以先依據擷取之單一影像,利用光流法(Optical flow),以計算出物件51以及身體部位52之景深,並分別輸出二者的景深資料,或於一個整合的景深資料中同時包括二者,本發明在此不限。體特徵辨識模組33取得景深資料後,可先利用例如顏色或距離(可由景深得到)為參數,取出身體部位52,再與儲存的輪廓或形狀或三維模型資料比對,以判斷是否確為使用者身體之一部分。接著,於一段時間後,重新辨識出該身體部位52,並將其於影像5中之更新位置與原先位置比較,達到追蹤動作的功能,並輸出動作資料。其中,光流法是通過檢測影像像素點的強度隨時間的變化,進而推斷出物體移動速度及方向的方法,其實施細節係為本領域所屬領域中具有通常知識者所能理解者,於此不再贅述。另外,體特徵辨識模組33也可輔以預測演算法,增加動作追蹤的穩定性及速度。
當處理模組32取得物件51之景深資料、身體部位52之景深資料以及動作資料後,可以綜合運算,以判斷出使用者藉由什麼動作與真實環境中之物件51進行互動,再據以比對儲存於記憶模組內之預設指令,或藉由資料傳輸,比對雲端系統內預設之指令,而對應顯示一虛擬圖像53或影像於透光顯示模組34(如圖5b所示)。
透光顯示模組34可以藉由一半反射鏡與一微投影單元,將所欲呈現之虛擬圖像或影像呈現於一透光玻璃板341
上來達成,使得使用者不會受到顯示模組的遮蔽,而失去正常觀察實境的視覺功能。當然,在其他實施例中,透光顯示模組34亦可以藉由有機發光二極體(Organic Light-Emitting Diode,OLED)的技術來達成,其利用OLED自發光之特性,免除背光源而實現透光顯示的效果。
本實施例具體實現時,可如圖5c所示,當使用者透過透光玻璃板341看到真實環境中有一咖啡桌511(即真實環境中之物件),同時,影像擷取模組31可以以第一人稱之視角取得含有該咖啡桌511之影像,並頭戴式電子裝置3可依據上述方法計算出咖啡桌511的景深,以及依據物件特徵辨識方法,識別出該物件是咖啡桌511。接著,當使用者的手也出現在視線中時,頭戴式電子裝置3可再計算出手521的景深,並藉由手521的輪廓,識別出是使用者的手521。當然,頭戴式電子裝置3也可以在咖啡桌511、手521兩者同時出現時一併計算並識別,本發明在此不限。
當使用者以手521靠近咖啡桌511的過程中,體特徵辨識模組33可追蹤出手521的動作,並輸出手521在真實環境中進行的三維動作資料。有別於傳統只能辨識出在觸控平面上的二維動作,當得知手521的三維動作資料,並結合景深資料後,頭戴式電子裝置3可以知道手521是由使用者而伸向咖啡桌511,當與記憶模組中之指令比對後,可以在手521到達咖啡桌511旁時,輸出控制訊號,使透光顯示模組34顯示一個虛擬的咖啡杯531,且因為該咖啡杯531影像的位置會與真實的咖啡桌511配合,使得使用者的整體視覺可以產生有一咖啡杯531在咖啡桌511上的印象,是為擴增實境的結果。
圖5d係為圖3所示之頭戴式電子裝置產生虛擬圖像時,與真實環境的另一互動示意圖。請參考圖5d所示,在此種使用狀態下,因為使用者的手較為靠近咖啡桌,且有打按鍵盤的動作,是以頭戴式電子裝置3會顯示一個虛擬鍵盤531a的圖像於透光顯示模組34,且此實施例中,頭戴式電子裝置3還可具有音效模組或震動模組(圖未示),故當使用者向特定的按鍵按壓下去時,頭戴式電子裝置3會辨識該特定動作,或者辨識該按壓按鍵,從而產生相應的其他虛擬影像或畫面,例如按鍵顏色改變或呼叫出其他虛擬的操作介面,或者產生音效或聲響或震動,以對使用者的動作產生反應或回饋,從而有更佳的互動效果。
圖6係為依據本發明另一實施例之頭戴式電子裝置的外觀示意圖。請參考圖6所示,在本實施例中,頭戴式電子裝置3a與前述之頭戴式電子裝置3具有大致相同之元件結構與作動方式,惟頭戴式電子裝置3a具有二影像擷取模組31a以及二透光顯示模組34a。二個影像擷取模組31a可分別以不同視角擷取之真實環境之影像,產生人類雙眼視覺的效果。當二個影像中分別具有物件以及身體部位,也就是二個影像擷取模組31a都同時拍攝到物件以及身體部位時,處理模組係利用立體匹配法(Stereo Matching)的方式,取得立體視差值,再據以計算出物件以及身體部位之景深,而產生更為精確之景深資料。立體匹配法是通過分析平行的左右兩影像,利用近物移動大遠物移動小的原理進而推斷影像景深。另外,二個透光顯示模組34a可以分別顯示供左右眼觀看之虛擬圖像或影像,藉由雙眼視差,使得顯示之虛擬影像或圖像產生立體的視覺效果,讓虛擬物件與實境更緊密地結合。
圖7為依據本發明又一實施例之頭戴式電子裝置的系統方塊圖。請參考圖7所示,在本實施例中,頭戴式電子裝置與圖4所示者大致相同,惟頭戴式電子裝置3b更包括一動作感測器模組35,以感測使用者頭部之方向、位置或動作。動作感測器模組35可以包括陀螺儀(Gyroscope)、加速度感測器(Accelerometer)、磁強計(Magnetometer)或三者的任意組合,由於頭戴式電子裝置3b係固定穿戴於使用者之頭部,故當轉動頭部觀看不同真實環境時,動作感測器模組35可以同步輸出一頭部參考資料。當處理模組接收到頭部參考資料時,可以有例如兩種對應效果。
其一是由處理模組32輸出另一虛擬圖像或影像於透光顯示模組34,此效果可以與頭戴式電子裝置3b中接收全球定位系統之模組配合,使得例如原本擴增實境之內容是顯示北方相關之地圖或景物資料,在頭部轉動後,即同步改變成顯示東或西方之地圖或景物資料。又或者,當使用者頭部轉動後,對應顯示不同的虛擬圖示,以產生如智慧型手機操作介面換頁的效果,是為一種以使用者為中心的三維人機操作介面。
其二是由處理模組32依據頭部參考資料調整原本的虛擬圖像或影像於透光顯示模組之顯示位置,而達成的方式同樣可以與頭戴式電子裝置3b中之一接收全球定位系統之模組配合,換言之,由於轉動頭部後,原本咖啡桌在視野中的位置也會發生變化,此時可以依據頭部參考資料改變咖啡杯於透光顯示模組上的顯示位置,使得咖啡杯看起來還是位於咖啡桌上,讓擴增出來的虛擬資料與實境有更真實的結合。
在本發明又一實施例中,頭戴式電子裝置可以以處理模組依據一三維環境地圖資料,顯示一三維環境地圖影
像於透光顯示模組,使得使用者觀看的內容,除真實的三維環境影像,還可以包括對應該環境之虛擬的三維環境或地圖影像畫面。上述應用包括提升取得之資訊的量與質,以應用於軍事方面,例如將衛星提供的體熱感測資料與真實環境結合,以使使用者可以從擴增實境的內容中看到牆後方的敵人。當然,上開應用更可以用於三維擴增實境遊戲,使使用者能將電子遊戲帶入現實生活的環境之中。
三維環境地圖資料可以透過前述之景深資料進一步處理所得。具體來說,隨著使用者在真實環境中的移動,處理模組除可以即時處理出複數個景深資料,即複數個深度圖(Depth map image)外,可以依據影像擷取模組所得供之影像或圖像,處理得到複數個環境彩度資料,即彩度圖。接著,利用3D環境地圖建構(Simultaneous Localization and Mapping,SLAM)演算法,即可以產生三維環境地圖資料。其後,配合例如前述之動作感測器模組之陀螺儀、加速度感測器、磁強計或三者的任意組合所輸出之頭部參考資料,讓擴增實境之內容物件對應到真實環境。具體來說,陀螺儀可以檢測出傾斜角度(包括Roll代表左右傾斜;Yaw代表左右轉動;Pitch代表前後傾斜);加速度感測器可以偵測實體三維空間中,X、Y、Z三軸的加速度資訊;而磁強計可以偵測地球磁力線資訊,藉以找出東南西北平衡。是以。透過上述三者或其任意組合可以使得擴增實境之內容可以對應到以透光顯示模組為中心並向外延伸之三維空間,亦即對應到頭部轉動方向為中心的三維真實環境。
本發明另外接露一種擴增實境之方法,其係透過一頭戴式電子裝置實施。在一實施例中,擴增實境之方法包括
以下步驟:以一影像擷取模組擷取真實環境之影像,且影像具有至少一物件以及一身體部位;以一處理模組依據影像計算物件以及身體部位之景深資料;以一體特徵辨識模組追蹤身體部位,並輸出一動作資料;以處理模組依據物件及身體部位之景深資料以及動作資料,顯示一虛擬圖像或影像於一透光顯示模組。惟擴增實境之方法即實施該方法之頭戴式電子裝置,其步驟流程與元件結構之細節均與前述實施例大致相同,可參考前述,於此不再贅述。
承上所述,藉由本發明之擴增實境之頭戴式電子裝置及方法,可以透過影像擷取模組及處理模組分別計算出位於真實環境中物件的景深與身體部位的景深,再結合體特徵辨識模組追蹤使用者動作,使得使用者與物件所在之真實環境之間有了立體的互動關係。也就是,例如真實環境中不同物件所在之遠近不同,當使用者的手往前伸長的距離不同時,本發明之裝置或方法,便可以判斷手是與不同物件進行互動,從而提供使用者看到不同的擴增實境內容,使得實境與虛擬之間有更緊密的結合。
另外,本發明一實施例中,頭戴式電子裝置可以具有二透光顯示模組,以利用例如左右眼視差方式,產生立體的虛擬圖像或影像,更進一步提升使用者與真實環境的立體互動效果。
又再另一實施例中,頭戴式電子裝置可以包括一動作感測器模組,以掌握使用者的位置、頭部轉向或或動作等資料,隨時改變或調整虛擬圖像或影像,讓使用者有更佳的第一人稱體驗效果,或者讓擴增實境所產生的圖像或影像對應到各類型之三維空間。
上列詳細說明乃針對本發明之一可行實施例進行具體說明,惟該實施例並非用以限制本發明之專利範圍,凡未脫離本發明技藝精神所為之等效實施或變更,均應包含於本案之專利範圍中。
綜上所述,本案不僅於技術思想上確屬創新,並具備習用之傳統方法所不及之上述多項功效,已充分符合新穎性及進步性之法定發明專利要件,爰依法提出申請,懇請 貴局核准本件發明專利申請案,以勵發明,至感德便。
3‧‧‧頭戴式電子裝置
31‧‧‧影像擷取模組
32‧‧‧處理模組
33‧‧‧體特徵辨識模組
34‧‧‧透光顯示模組
341‧‧‧透光玻璃板
Claims (18)
- 一種擴增實境之方法,其係實施於一頭戴式電子裝置,該頭戴式電子裝置包括一影像擷取模組、一體特徵辨識模組、一透光顯示模組以及一處理模組,該擴增實境方法包括以下步驟:以該影像擷取模組擷取真實環境之影像,且該影像具有至少一物件以及一身體部位;以該處理模組依據該影像計算該物件以及該身體部位之景深資料;以該體特徵辨識模組追蹤該身體部位,並輸出一動作資料;以該處理模組依據該物件及該身體部位之景深資料以及該動作資料,顯示一虛擬圖像或影像於該透光顯示模組。
- 如申請專利範圍第1項所述之擴增實境之方法,其中該處理模組係利用光流法,以計算出該物件以及該身體部位之該些景深資料。
- 如申請專利範圍第1項所述之擴增實境之方法,其中該頭戴式電子裝置包括二該影像擷取模組,其分別擷取真實環境之影像,且該些影像中分別具有該物件以及該身體部位,該處理模組係利用立體匹配法,取得立體視差值,以計算出該物件以及該身體部位之該些景深資料。
- 如申請專利範圍第1項所述之擴增實境之方法,其中該頭戴式電子裝置包括一動作感測器模組,其感測使用者頭部之方向、位置或動作以輸出一頭部參考資料,且該處理模組依據該頭部參考資料輸出另一虛擬圖像或影像於該透 光顯示模組。
- 如申請專利範圍第1項所述之擴增實境之方法,其中該頭戴式電子裝置包括一動作感測器模組,其感測使用者頭部之方向、位置或動作以輸出一頭部參考資料,且該處理模組依據該頭部參考資料調整該虛擬圖像或影像於該透光顯示模組之顯示位置。
- 如申請專利範圍第1項所述之擴增實境之方法,其中該體特徵辨識模組追蹤該身體部位係依據該身體部位之輪廓、形狀、顏色、或距離或三維模型辨識該身體部位,並比較一時間內,該身體部位之位置而達成。
- 如申請專利範圍第1項所述之擴增實境之方法更包括以下步驟:以該處理模組依據一三維環境地圖資料,顯示一三維環境地圖影像於該透光顯示模組。
- 如申請專利範圍第7項所述之擴增實境之方法,其中該三維環境地圖資料係透過該頭戴式電子裝置之一無線傳輸模組接收所得,或由該處理模組依據該真實環境之複數個環境景深資料及複數個環境彩度資料計算所得。
- 如申請專利範圍第1項所述之擴增實境之方法,其中該頭戴式電子裝置包括二該透光顯示模組,其分別顯示供左右眼觀看之該虛擬圖像或影像。
- 一種擴增實境之頭戴式電子裝置,包括:一影像擷取模組,擷取真實環境之影像,且該影像具有至少一物件以及一身體部位;一處理模組,耦接該影像擷取模組,該處理模組依據該影像計算該物件以及該身體部位之景深資料; 一體特徵辨識模組,耦接該處理模組,該體特徵辨識模組追蹤該身體部位並輸出一動作資料;以及一透光顯示模組,耦接該處理模組,該處理模組依據該物件及該身體部位之該些景深資料以及該動作資料,顯示一虛擬圖像或影像於該透光顯示模組。
- 如申請專利範圍第10項所述之頭戴式電子裝置,其中該處理模組係利用光流法,以計算出該物件以及該身體部位之該些景深資料。
- 如申請專利範圍第10項所述之頭戴式電子裝置,其包括二該影像擷取模組,該些影像擷取模組分別擷取真實環境之影像,且該些影像中分別具有該物件以及該身體部位,該處理模組係利用立體匹配法,取得立體視差值,以計算出該物件以及該身體部位之該些景深資料。
- 如申請專利範圍第10項所述之頭戴式電子裝置更包括:一動作感測器模組,耦接該處理模組,該動作感測模組感測使用者頭部之方向、位置或動作以輸出一頭部參考資料,且該處理模組依據該頭部參考資料輸出另一虛擬圖像或影像於該透光顯示模組。
- 如申請專利範圍第10項所述之頭戴式電子裝置更包括:一動作感測器模組,耦接該處理模組,該動作感測模組感測使用者頭部之方向、位置或動作以輸出一頭部參考資料,且該處理模組依據該頭部參考資料調整該虛擬圖像或影像於該透光顯示模組之顯示位置。
- 如申請專利範圍第10項所述之頭戴式電子裝置,其中該體特徵辨識模組追蹤該身體部位係依據該身體部位之輪廓、形狀或距離辨識該身體部位,並比較一時間內,該身 體部位之位置而達成。
- 如申請專利範圍第10項所述之頭戴式電子裝置,其中該處理模組依據一三維環境地圖資料,顯示一三維環境地圖影像於該透光顯示模組。
- 如申請專利範圍第16項所述之頭戴式電子裝置,其中該三維環境地圖資料係透過該頭戴式電子裝置之一無線傳輸模組接收所得,或由該處理模組依據該真實環境之複數個環境景深資料及複數個環境彩度資料計算所得。
- 如申請專利範圍第10項所述之頭戴式電子裝置,其包括二該透光顯示模組,分別顯示供左右眼觀看之該虛擬圖像或影像。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102120873A TW201447375A (zh) | 2013-06-13 | 2013-06-13 | 擴增實境之頭戴式電子裝置及方法 |
US14/182,457 US20140368539A1 (en) | 2013-06-13 | 2014-02-18 | Head wearable electronic device for augmented reality and method for generating augmented reality using the same |
CN201410257945.1A CN104243962A (zh) | 2013-06-13 | 2014-06-11 | 扩增实境的头戴式电子装置及产生扩增实境的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102120873A TW201447375A (zh) | 2013-06-13 | 2013-06-13 | 擴增實境之頭戴式電子裝置及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW201447375A true TW201447375A (zh) | 2014-12-16 |
Family
ID=52018845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW102120873A TW201447375A (zh) | 2013-06-13 | 2013-06-13 | 擴增實境之頭戴式電子裝置及方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20140368539A1 (zh) |
CN (1) | CN104243962A (zh) |
TW (1) | TW201447375A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI570664B (zh) * | 2015-03-10 | 2017-02-11 | Next Animation Studio Ltd | The expansion of real-world information processing methods, the expansion of real processing modules, Data integration method and data integration module |
TWI574223B (zh) * | 2015-10-26 | 2017-03-11 | 行政院原子能委員會核能研究所 | 運用擴增實境技術之導航系統 |
TWI629507B (zh) * | 2017-05-11 | 2018-07-11 | 宏達國際電子股份有限公司 | 頭戴式顯示裝置以及適應性遮罩方法 |
TWI629506B (zh) * | 2017-01-16 | 2018-07-11 | 國立台灣大學 | 眼球凝視運動之影像穿透式擴增實境裝置、頭戴式顯示器及近距離物體之擴增實境方法 |
US11054912B2 (en) | 2016-10-09 | 2021-07-06 | Advanced New Technologies Co., Ltd. | Three-dimensional graphical user interface for informational input in virtual reality environment |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9129404B1 (en) | 2012-09-13 | 2015-09-08 | Amazon Technologies, Inc. | Measuring physical objects and presenting virtual articles |
KR20150103723A (ko) | 2013-01-03 | 2015-09-11 | 메타 컴퍼니 | 가상 또는 증강매개된 비전을 위한 엑스트라미시브 공간 이미징 디지털 아이 글래스 |
US10099030B2 (en) | 2013-09-06 | 2018-10-16 | Iarmourholdings, Inc. | Mechanical and fluid system and method for the prevention and control of motion sickness, motion-induced vision sickness, and other variants of spatial disorientation and vertigo |
US9080868B2 (en) * | 2013-09-06 | 2015-07-14 | Wesley W. O. Krueger | Mechanical and fluid system and method for the prevention and control of motion sickness, motion-induced vision sickness, and other variants of spatial disorientation and vertigo |
US9791917B2 (en) * | 2015-03-24 | 2017-10-17 | Intel Corporation | Augmentation modification based on user interaction with augmented reality scene |
TWI596378B (zh) * | 2015-12-14 | 2017-08-21 | 技嘉科技股份有限公司 | 可攜式虛擬實境系統 |
US10026232B2 (en) * | 2016-01-04 | 2018-07-17 | Meta Compnay | Apparatuses, methods and systems for application of forces within a 3D virtual environment |
CN105657370A (zh) * | 2016-01-08 | 2016-06-08 | 李昂 | 一种封闭性的可穿戴全景摄像与处理***及其操作方法 |
KR102610120B1 (ko) | 2016-01-20 | 2023-12-06 | 삼성전자주식회사 | Hmd 디바이스 및 그 제어 방법 |
TWI583997B (zh) * | 2016-04-01 | 2017-05-21 | 揚昇照明股份有限公司 | 顯示箱 |
US10877713B2 (en) | 2016-11-02 | 2020-12-29 | Telefonaktiebolaget Lm Ericsson (Publ) | Controlling display of content using an external display device |
CN106384365B (zh) * | 2016-11-22 | 2024-03-08 | 经易文化科技集团有限公司 | 一种包含深度信息获取的扩增实境***及其方法 |
JP2018137505A (ja) * | 2017-02-20 | 2018-08-30 | セイコーエプソン株式会社 | 表示装置およびその制御方法 |
US11024064B2 (en) * | 2017-02-24 | 2021-06-01 | Masimo Corporation | Augmented reality system for displaying patient data |
EP3585254B1 (en) | 2017-02-24 | 2024-03-20 | Masimo Corporation | Medical device cable and method of sharing data between connected medical devices |
EP3622529A1 (en) | 2017-05-08 | 2020-03-18 | Masimo Corporation | System for pairing a medical system to a network controller by use of a dongle |
JPWO2018216220A1 (ja) * | 2017-05-26 | 2020-05-07 | 株式会社オプティム | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム |
TW201917447A (zh) * | 2017-10-27 | 2019-05-01 | 廣達電腦股份有限公司 | 頭戴式顯示裝置以及色差強化方法 |
KR102029906B1 (ko) * | 2017-11-10 | 2019-11-08 | 전자부품연구원 | 이동수단의 가상현실 콘텐츠 제공 장치 및 방법 |
CN108156467B (zh) * | 2017-11-16 | 2021-05-11 | 腾讯科技(成都)有限公司 | 数据传输方法和装置、存储介质及电子装置 |
US20190385372A1 (en) * | 2018-06-15 | 2019-12-19 | Microsoft Technology Licensing, Llc | Positioning a virtual reality passthrough region at a known distance |
DE102018126855A1 (de) * | 2018-10-26 | 2020-04-30 | Visualix GmbH | Vorrichtung und Verfahren zur Positionsbestimmung in einem 3D-Modell einer Umgebung |
ES2722473B2 (es) * | 2019-01-28 | 2020-02-19 | Univ Valencia Politecnica | Sistema y metodo de medida de la percepcion de la profundidad en la vision |
CN113031754A (zh) * | 2019-12-09 | 2021-06-25 | 未来市股份有限公司 | 头戴式显示***及其旋转中心修正方法 |
CN114201028B (zh) * | 2020-09-01 | 2023-08-04 | 宏碁股份有限公司 | 扩增实境***与其锚定显示虚拟对象的方法 |
US11592294B2 (en) * | 2020-10-01 | 2023-02-28 | Jeffrey Rabin | Head positioning and posture balance reference device |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130278631A1 (en) * | 2010-02-28 | 2013-10-24 | Osterhout Group, Inc. | 3d positioning of augmented reality information |
US20120212484A1 (en) * | 2010-02-28 | 2012-08-23 | Osterhout Group, Inc. | System and method for display content placement using distance and location information |
GB201103200D0 (en) * | 2011-02-24 | 2011-04-13 | Isis Innovation | An optical device for the visually impaired |
US9183676B2 (en) * | 2012-04-27 | 2015-11-10 | Microsoft Technology Licensing, Llc | Displaying a collision between real and virtual objects |
US9536338B2 (en) * | 2012-07-31 | 2017-01-03 | Microsoft Technology Licensing, Llc | Animating objects using the human body |
US9552673B2 (en) * | 2012-10-17 | 2017-01-24 | Microsoft Technology Licensing, Llc | Grasping virtual objects in augmented reality |
-
2013
- 2013-06-13 TW TW102120873A patent/TW201447375A/zh unknown
-
2014
- 2014-02-18 US US14/182,457 patent/US20140368539A1/en not_active Abandoned
- 2014-06-11 CN CN201410257945.1A patent/CN104243962A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI570664B (zh) * | 2015-03-10 | 2017-02-11 | Next Animation Studio Ltd | The expansion of real-world information processing methods, the expansion of real processing modules, Data integration method and data integration module |
TWI574223B (zh) * | 2015-10-26 | 2017-03-11 | 行政院原子能委員會核能研究所 | 運用擴增實境技術之導航系統 |
US11054912B2 (en) | 2016-10-09 | 2021-07-06 | Advanced New Technologies Co., Ltd. | Three-dimensional graphical user interface for informational input in virtual reality environment |
TWI629506B (zh) * | 2017-01-16 | 2018-07-11 | 國立台灣大學 | 眼球凝視運動之影像穿透式擴增實境裝置、頭戴式顯示器及近距離物體之擴增實境方法 |
TWI629507B (zh) * | 2017-05-11 | 2018-07-11 | 宏達國際電子股份有限公司 | 頭戴式顯示裝置以及適應性遮罩方法 |
US10771773B2 (en) | 2017-05-11 | 2020-09-08 | Htc Corporation | Head-mounted display devices and adaptive masking methods thereof |
Also Published As
Publication number | Publication date |
---|---|
CN104243962A (zh) | 2014-12-24 |
US20140368539A1 (en) | 2014-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW201447375A (zh) | 擴增實境之頭戴式電子裝置及方法 | |
JP7445720B2 (ja) | 拡張現実のためのシステムおよび方法 | |
CN109313500B (zh) | 纤细形状因子的无源光学和惯性跟踪 | |
CN107111370B (zh) | 现实世界对象的虚拟表示 | |
US9367136B2 (en) | Holographic object feedback | |
EP2984634B1 (en) | Holographic snap grid | |
JP5739674B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 | |
JP5891125B2 (ja) | 映像処理装置、映像処理方法、および映像処理システム | |
KR102257255B1 (ko) | 혼합 현실 스포트라이트 | |
US11217024B2 (en) | Artificial reality system with varifocal display of artificial reality content | |
US9317971B2 (en) | Mechanism to give holographic objects saliency in multiple spaces | |
JP6558839B2 (ja) | 媒介現実 | |
JP5602618B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 | |
JP6770536B2 (ja) | 仮想画像生成システムにおけるテキストをより効率的に表示するための技法 | |
US20160343166A1 (en) | Image-capturing system for combining subject and three-dimensional virtual space in real time | |
KR20150093831A (ko) | 혼합 현실 환경에 대한 직접 상호작용 시스템 | |
KR20160148557A (ko) | 월드 락 디스플레이의 품질 피드백 기법 | |
CN110709897A (zh) | 用于***到图像中的图像内容的阴影生成 | |
CN110969658B (zh) | 利用来自多个设备的图像进行定位和标测 | |
JP2021060627A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2011258155A (ja) | 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法 | |
JP2021535526A (ja) | 模擬現実(sr)におけるデバイス共有及び対話性の表示 | |
JP6161749B2 (ja) | 映像処理装置、映像処理方法、および映像処理システム | |
KR101638550B1 (ko) | 혼합현실을 이용한 가상현실 시스템 및 그 구현방법 | |
KR20230070308A (ko) | 웨어러블 장치를 이용한 제어가능한 장치의 위치 식별 |