TWI669654B - 模擬環境顯示系統及方法 - Google Patents

模擬環境顯示系統及方法 Download PDF

Info

Publication number
TWI669654B
TWI669654B TW107100372A TW107100372A TWI669654B TW I669654 B TWI669654 B TW I669654B TW 107100372 A TW107100372 A TW 107100372A TW 107100372 A TW107100372 A TW 107100372A TW I669654 B TWI669654 B TW I669654B
Authority
TW
Taiwan
Prior art keywords
indicator
pointed
information
scene
specific part
Prior art date
Application number
TW107100372A
Other languages
English (en)
Other versions
TW201837696A (zh
Inventor
李興豪
李經豪
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201837696A publication Critical patent/TW201837696A/zh
Application granted granted Critical
Publication of TWI669654B publication Critical patent/TWI669654B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種模擬環境顯示系統包含第一穿戴裝置以及計算單元。第一穿戴裝置用以輸出模擬環境中的第一景象,第一景象當中顯示虛擬物件,第一穿戴裝置更用以追蹤第一物件的第一方向,並於第一景象當中顯示對應第一方向的第一指標。計算單元用以判斷虛擬物件中被第一指標指向的特定部份,並記錄對應於被第一指標指向的特定部份的第一資訊,並根據第一資訊執行作業程序。

Description

模擬環境顯示系統及方法
本案涉及一種模擬環境顯示系統及方法。
虛擬實境技術是一種實用性相當高之技術,其可用於向多數使用者呈現視覺效果,尤可應用於像是會議或研討會等場合之上。畢竟,對大多數使用者而言,透過可視的三維效果來呈現試做原型或是設計圖等,其可以呈現的內容一定較僅展示二維的圖片而言更為直觀。然而,當將虛擬實境技術應用於位於不同空間的複數使用者時,現行的虛擬實境技術顯然仍存在著缺失,亟待加以改良。
本案的一實施態樣係涉及一種模擬環境顯示系統,用以提供一模擬環境。系統包含一第一穿戴裝置以及一計算單元。該第一穿戴裝置用以輸出該模擬環境中的一第一景象,該第一景象當中顯示一虛擬物件。該第一穿戴裝置更用以追蹤一第一物件的一第一方向,並根據該第一方向於該第一景象當中提供一第一指標。該計算單元用以判斷該虛擬物件中被 該第一指標指向的一特定部份,該計算單元並記錄對應於被該第一指標指向的該特定部份的一第一資訊,該計算單元並根據該第一資訊執行一作業程序。
本案的另一實施態樣係涉及一種模擬環境顯示方法,用以提供一模擬環境。該模擬環境顯示方法包含下列步驟:透過一第一穿戴裝置輸出該模擬環境中的一第一景象,其中該第一景象當中顯示一虛擬物件;透過該第一穿戴裝置追蹤一第一物件的一第一方向;透過該第一穿戴裝置根據該第一方向於該第一景象當中提供一第一指標;透過一計算單元判斷該虛擬物件中被該第一指標指向的一特定部份;透過該計算單元記錄對應於被該第一指標指向的該特定部份的一第一資訊;以及透過該計算單元根據該第一資訊執行一作業程序。
應注意的是,前述的發明內容以及後述的實施方式皆僅係舉例說明,其主要目的係為詳細地解釋本案申請專利範圍當中的內容。
100‧‧‧穿戴裝置
200‧‧‧計算單元
300‧‧‧穿戴裝置
400‧‧‧穿戴裝置
500‧‧‧計算單元
600‧‧‧穿戴裝置
700‧‧‧計算單元
E1、E3、E4‧‧‧眼球
EO1‧‧‧第一方向
EO2‧‧‧第二方向
EO3‧‧‧第三方向
EO4‧‧‧第四方向
VT‧‧‧虛擬跑車
IN1‧‧‧第一指標
IN2‧‧‧第二指標
IN3‧‧‧第三指標
IN4‧‧‧第四指標
IN6‧‧‧第六指標
F1‧‧‧手指
U6‧‧‧第六使用者
FO6‧‧‧第六方向
S1‧‧‧第一景象
S5‧‧‧景象
S6‧‧‧第六景象
S501~S506‧‧‧步驟流程
第1圖為根據本案一實施例繪示的模擬環境顯示系統示意圖;第2圖為根據本案第1圖之實施例繪示的模擬環境顯示系統示意圖;第3圖為根據本案一實施例繪示的模擬環境顯示系統示意圖; 第4圖為根據本案一實施例繪示的模擬環境顯示系統示意圖;以及第5圖為本案一實施例的模擬環境顯示方法之步驟流程圖。
以下將以圖式及詳細敘述清楚說明本案之精神,任何所屬技術領域中具有通常知識者在瞭解本案之實施例後,當可由本案所教示之技術,加以改變及修飾,其並不脫離本案之精神與範圍。
本文之用語只為描述特定實施例,而無意為本案之限制。單數形式如“一”、“這”、“此”、“本”以及“該”,如本文所用,同樣也包含複數形式。
關於本文中所使用之『第一』、『第二』、...等,並非特別指稱次序或順位的意思,亦非用以限定本案,其僅為了區別以相同技術用語描述的元件或操作。
關於本文中所使用之『耦接』或『連接』,均可指二或多個元件或裝置相互直接作實體接觸,或是相互間接作實體接觸,亦可指二或多個元件或裝置相互操作或動作。
關於本文中所使用之『包含』、『包括』、『具有』、『含有』等等,均為開放性的用語,即意指包含但不限於。
關於本文中所使用之『及/或』,係包括所述事物的任一或全部組合。
關於本文中所使用之方向用語,例如:上、下、左、右、前或後等,僅是參考附加圖式的方向。因此,使用的方向用語是用來說明並非用來限制本案。
關於本文中所使用之用詞(terms),除有特別註明外,通常具有每個用詞使用在此領域中、在本案之內容中與特殊內容中的平常意義。某些用以描述本案之用詞將於下或在此說明書的別處討論,以提供本領域技術人員在有關本案之描述上額外的引導。
第1圖為根據本案一實施例繪示的模擬環境顯示系統示意圖。此處所述的模擬環境係為透過若干計算單元呈現的虛擬物件所建構而成的環境,例如,可為虛擬實境、擴增實境或混合實境等等。如第1圖所繪示,一穿戴裝置100與一計算單元200通訊耦接。在一實施例中,該穿戴裝置100係由一第一使用者(圖中未示)所穿戴。該穿戴裝置100係用以向該第一使用者顯示一虛擬實境當中的一第一景象S1,其中該第一景象所顯示的景物將對應該第一使用者的移動而更新。該穿戴裝置100可自該計算單元200接收訊號進而顯示並更新該第一景象S1。該第一景象S1係顯示於該穿戴裝置100上的顯示螢幕(圖中未示),而非直接投影於現實環境當中。對應該第一使用者的一視角,該第一景象S1將顯示該虛擬實境當中的一部份景物。
如同第1圖所示,該虛擬實境當中顯示有一虛擬跑車VT。該第一使用者的眼球E1可於該第一景象S1當中觀看該虛擬跑車VT的尾端。在本實施例中,透過設置於該穿戴裝 置100上的一光學感測器(圖中未示),該穿戴裝置100可追蹤該眼球E1的一第一方向EO1。進一步地,該穿戴裝置100可於該第一景象S1當中提供對應該第一方向EO1的一第一指標IN1。該第一方向EO1所指的是由該眼球E1的瞳孔向外延伸出的方向,其中該第一方向EO1與此瞳孔的表面相互垂直。該第一指標IN1係用以顯示該第一使用者在該第一景象S1當中所觀看的位置。如圖中所示,該第一指標IN1係指向該虛擬跑車VT的尾端上的左側部份,其即代表,該穿戴裝置100追蹤使用者的眼球E1目前正朝向該第一指標IN1所指向的位置。
在本實施例中,該計算單元200係用以判斷該虛擬跑車VT的哪個部份被該第一指標IN1所指向,並進一步儲存關於被指向的該部份的一第一資訊。如同第1圖所示,該計算單元200可判斷該虛擬跑車VT尾端上的左側部份被該第一指標IN1所指向,因此,該計算單元200儲存的該第一資訊即對應於該虛擬跑車VT尾端上的左側部份。另外,應注意的是,該第一資訊係關於該虛擬跑車VT的若干部份被該第一指標IN1所指向的次數。
例如,當該第一指標IN1被判斷指向該虛擬跑車VT上的一第一部份時,關於該第一部份被指向的次數將被儲存起來。對應地,當該第一指標IN1被判斷指向該虛擬跑車VT上的一第二部份時,關於該第二部份被指向的次數將被儲存起來。據此,透過觀察該第一資訊,即可瞭解該第一使用者觀看該虛擬跑車VT上的各個特定部份的次數。
在本實施例中,該第一資訊亦可為在該第一景象 S1當中包含被第一指標IN1所指向的該部份的一影像或影片。例如,當該計算單元200判斷該第一指標IN1指向該虛擬跑車VT上的該第一部份時,該計算單元200將觸發該穿戴裝置100以擷取該第一景象S1的一即時影像,而在被擷取的該即時影像當中,將顯示該第一指標IN1係指向於該虛擬跑車VT尾端上的左側部份。
在本實施例中,當該計算單元200儲存該第一資訊時,該穿戴裝置100相對於其所處空間的當前位置亦將一同被記錄。透過此種方式,該計算單元200可判斷該第一使用者係自哪個視角觀看該虛擬跑車VT上的哪些部份。在一些實施例當中,該第一指標IN1係為僅有該穿戴裝置100以及該計算單元200可判讀之指標,該第一使用者並無法於該第一景象S1當中實際觀察到該第一指標IN1的存在。
在本實施例中,當該計算單元200儲存關於被指向的該部份的該第一資訊時,該計算單元200更可根據該第一資訊執行一作業程序。例如,該計算單元200可利用某些特殊標誌或顏色標記該虛擬跑車VT上被指向的該部份,如此一來,該第一使用者即可於該第一景象S1當中觀看到被標記的該部份。在另一例子中,該計算單元200可利用某些虛擬物件或是顏色遮蔽該虛擬跑車VT上被指向的該部份,在此狀況下,該第一使用者便無法於該第一景象S1當中觀看到該虛擬跑車VT上被遮蔽的該部份。在其他例子中,該計算單元200可於該第一景象S1當中對該虛擬跑車VT上被指向的該部份進行重塑形,或者,該計算單元200也可發送關於該虛擬跑車VT上被指 向的該部份的一通知。
第2圖為根據本案第1圖之實施例繪示的模擬環境顯示系統示意圖。如第2圖所示,在本實施例中,該穿戴裝置100同樣地顯示前述實施例中的該第一景象S1,同樣地,該虛擬跑車VT的尾端被顯示於該第一景象S1當中。在本實施例中,該穿戴裝置100可追蹤該眼球E1的一第二方向EO2,並於該第一景象S1當中提供對應該第二方向EO2的一第二指標IN2。該第二方向EO2所指的是由該眼球E1的中心延伸至該眼球E1的瞳孔的方向。該第二指標IN2係用於表示該第一使用者(圖中未示)在該第一景象S1當中所觀看的方向。如圖中所示,該第二指標IN2係指向該虛擬跑車VT的尾端的右側部份,其即代表,該穿戴裝置100追蹤使用者的眼球E1目前正朝向該第二指標IN2所指向的位置。
同理地,在本實施例中,該計算單元200係用以判斷該虛擬跑車VT的哪個部份被該第二指標IN2所指向,並進一步儲存關於被指向的該部份的一第二資訊。如同第1圖所示,該計算單元200可判斷該虛擬跑車VT尾端上的右側部份被該第二指標IN2所指向,因此,該計算單元200儲存的該第二資訊即對應於該虛擬跑車VT尾端上的右側部份。應注意的是,該第二資訊係關於該虛擬跑車VT的若干部份被該第二指標IN2所指向的次數。然而,根據第1圖之實施例,由於該第一資訊以及該第二資訊皆為關於該虛擬跑車VT的若干部份被指標所指向的次數,是故,若該第一指標IN1以及該第二指標IN1皆被判斷指向該虛擬跑車VT上的同一部份,該第一資訊以 及該第二資訊兩者可被加總計算。據此,透過分析該第一資訊以及該第二資訊,即可獲知該第一使用者可能喜愛或不喜愛該虛擬跑車VT上的某些部份。
在本實施例中,當該計算單元200儲存該第一資訊以及該第二資訊時,該計算單元200更可根據該第一資訊以及該第二資訊執行一作業程序。例如,該計算單元200可標記或遮蔽該虛擬跑車VT上被指向的該部份,如此一來,該第一使用者即可於該第一景象S1觀看被標記的該部份產生的對應變化。
第3圖為根據本案一實施例繪示的模擬環境顯示系統示意圖。如第3圖所繪示,一穿戴裝置300以及一穿戴裝置400與一計算單元500通訊耦接。在一實施例中,該穿戴裝置300係由一第三使用者所穿戴,而該穿戴裝置400係由一第四使用者所穿戴。該穿戴裝置300係用以向該第三使用者顯示一虛擬實境當中的一第三景象,而該穿戴裝置400係用以向該第四使用者顯示該虛擬實境當中的一第四景象。在該第三景象以及該第四景象當中,皆顯示有一虛擬跑車VT。然而,由於該第三使用者以及該第四使用者係自該虛擬實境當中的相近視角觀看該虛擬跑車VT,故使用者由該第三景象以及該第四景象當中能觀看到的景物大致上相同,即如第3圖當中的景象S5所繪示。該景象S5當中所繪示的係為自該第三使用者以及該第四使用者的視點在該虛擬實境當中所能夠觀看到的部份景物。
請見第3圖,在該第三景象以及該第四景象當 中,皆可觀看到該虛擬跑車VT的尾端,如同景象S5所示。在本實施例中,該第三使用者的眼球E3可於該第三景象當中觀看到該虛擬跑車VT的尾端,而該穿戴裝置300可追蹤該眼球E3的一第三方向EO3,並於該第三景象當中提供對應該第三方向EO3的一第三指標IN3。同理地,該第四使用者的眼球E4可於該第四景象當中觀看到該虛擬跑車VT的尾端,而該穿戴裝置400可追蹤該眼球E4的一第四方向EO4,並於該第四景象當中提供對應該第四方向EO4的一第四指標IN4。如同該景象S5所示,該第三指標IN3係指向該虛擬跑車VT的尾端上的左側部份,而該第四指標IN4係指向該虛擬跑車VT的尾端上的右側部份。
在本實施例中,該計算單元500係用以判斷該虛擬跑車VT的哪個部份被該第三指標IN3以及該第四指標IN4所指向,該計算單元500並進一步儲存關於被該第三指標IN3所指向的該部份的一第三資訊以及儲存關於被該第四指標IN4所指向的該部份的一第四資訊。如第3圖所示,該計算單元500可判斷該虛擬跑車VT尾端上的左側部份被該第三指標IN3所指向,因此,該計算單元500儲存的該第三資訊即對應於該虛擬跑車VT尾端上的左側部份。另外,該計算單元500可判斷該虛擬跑車VT尾端上的右側部份被該第四指標IN4所指向,因此,該計算單元500儲存的該第四資訊即對應於該虛擬跑車VT尾端上的右側部份。
在本實施例中,當該計算單元500儲存該第三資訊以及該第四資訊時,該計算單元500更可根據該第三資訊以 及該第四資訊執行一作業程序。例如,該計算單元500可發送關於該虛擬跑車VT上被指向的該部份的一通知,而該第三使用者以及該第四使用者可於該景象S5當中觀看到該通知。
在本實施例中,該第三資訊係關於該虛擬跑車VT的若干部份被該第三指標IN3所指向的次數,而該第四資訊係關於該虛擬跑車VT的若干部份被該第四指標IN4所指向的次數。由於該第三資訊以及該第四資訊皆為關於該虛擬跑車VT的若干部份被指標所指向的次數,是故,若該第三指標IN3以及該第四指標IN4皆被判斷指向該虛擬跑車VT上的同一部份,該第三資訊以及該第四資訊兩者可被加總計算以產生一第五資訊。亦即,當該計算單元500與多個穿戴裝置通訊耦接時,該計算單元500可搜集多個使用者觀看該虛擬跑車VT上的各部份的資訊。而透過分析該第五資訊,即可獲知該第三使用者以及該第四使用者可能喜愛或不喜愛該虛擬跑車VT上的某些部份。
在本實施例中,該第五資訊亦可為關於被該第三指標IN3以及該第四指標IN4所指向的該部份的一影像或影片。此外,在一些實施例當中,該虛擬實境當中該虛擬跑車VT的表面分佈有許多座標點,而該計算單元500可判斷其中的哪些座標點被該第三指標IN3或是該第四指標IN4所指向,如此一來,該計算單元500即可更精確地判斷該虛擬跑車VT上的哪些部份被該第三指標IN3或是該第四指標IN4所指向。在某些實施例當中,該第三指標IN3以及該第四指標IN4係為僅有該穿戴裝置300、該穿戴裝置400以及該計算單元500可判讀之 指標,該第三使用者並無法於該第三景象當中實際觀察到該第三指標IN3的存在,同樣地,該第四使用者也無法於該第四景象當中實際觀察到該第四指標IN4的存在。
第4圖為根據本案一實施例繪示的模擬環境顯示系統示意圖。如第4圖所繪示,一穿戴裝置600與一計算單元700通訊耦接。在一實施例當中,該穿戴裝置600係由一第六使用者U6所穿戴。該穿戴裝置600係用以向該第六使用者U6顯示一虛擬實境當中的一第六景象S6,其中該第六景象S6當中顯示有一虛擬跑車VT。
如同第4圖所示,在該第六景象S6當中,可觀看到該虛擬跑車VT的尾端。在一實施例中,該第六使用者U6可於該第六景象S6當中觀看該虛擬跑車VT的尾端。當該第六使用者U6欲與其他使用者討論該虛擬跑車VT上的某部份時,該第六使用者U6將透過他的手指F1指向該虛擬跑車VT上的該部份。此時,透過設置於該穿戴裝置600上的一光學感測器(圖中未示),該穿戴裝置600可追蹤該手指F1的一第六方向FO6。進一步地,該穿戴裝置600可於該第六景象S6當中提供對應該第六方向FO6的一第六指標IN6。如圖中所示,對應該第六方向FO6的該第六指標IN6指向了該虛擬跑車VT的尾端的中間部份,是故,該計算單元700可判斷該虛擬跑車VT尾端上的中間部份被該第六指標IN6所指向,而該計算單元700更可儲存關於被該第六指標IN6所指向的該部份的一第六資訊。
在本實施例中,當該計算單元700儲存該第六資訊時,該計算單元700更可根據該第六資訊執行一作業程序。 例如,該計算單元500可對該虛擬跑車VT的尾端的中間部份進行重塑形,而該第六使用者U6即可於該第六景象S6當中觀看該虛擬跑車VT的上被重塑形的該部份。
如上述實施例所示,可以瞭解,本案的計算單元並非僅可用於追蹤使用者的眼球所指向的方向,其也可追蹤使用者的各肢體所指向的方向。本案提供了一種技術手段,用以蒐集關於使用者頻繁地觀看或是不觀看虛擬物件上的哪些部份的資訊,隨後,可再對這些資訊進行分析。經過此種分析,即可發現虛擬物件上設計優良的部份或具有設計缺陷的部份。
然而,應當理解,上述實施例當中的該計算單元300僅係本案其中一種可行的實施方式而已。在一些實施例當中,該計算單元200、該計算單元500以及該計算單元700可為設置於上述穿戴裝置當中的中央處理器(CPU)、繪圖處理器(GPU)或是其他的控制單元。端看該計算單元設置於哪個穿戴裝置當中,該計算單元可判斷該虛擬跑車VT的哪些部份被指標所指向,並對應地儲存關於被指向的部份的資訊。
第5圖為本案一實施例的模擬環境顯示方法之步驟流程圖。關於此方法的各個步驟,將於下列段落中詳細地說明。
步驟S501:透過一第一穿戴裝置輸出該模擬環境中的一第一景象,其中該第一景象當中顯示一虛擬物件。如第1圖以及第2圖的實施例所示,在該些實施例中,該穿戴裝置100可向該第一使用者輸出該虛擬實境當中的該第一景象S1。而在該第一景象S1當中,該第一使用者可以觀看到該虛 擬跑車VT,詳細地說,該第一使用者可透過其眼球E1觀看該虛擬跑車VT的尾端。
步驟S502:透過該第一穿戴裝置追蹤一第一物件的一第一方向。如第1圖以及第2圖的實施例所示,在該些實施例中,該穿戴裝置100可追蹤使用者眼球E1的該第一方向EO1,其中該第一方向EO1可為由該眼球E1中心穿越該眼球E1的瞳孔延伸而出的方向。
步驟S503:透過該第一穿戴裝置於該第一景象當中顯示對應該第一方向的一第一指標。如第1圖以及第2圖的實施例所示,在該些實施例中,對應該第一方向EO1的該第一指標IN1被提供於該第一景象S1當中。該第一指標IN1係用於標示該第一使用者正觀看該第一景象S1當中的哪個位置。如圖中所示,該第一指標IN1係指向於該虛擬跑車VT的尾端的左側部份,其即代表,該穿戴裝置100追蹤使用者的眼球E1目前正朝向該第一指標IN1所指向的位置。
步驟S504:透過一計算單元判斷該第一指標指向該虛擬物件的某些特定部份。如第1圖以及第2圖的實施例所示,在該些實施例中,該計算單元200將先判斷該虛擬跑車VT的哪個部份被該第一指標IN1所指向,再進一步儲存關於被指向的該部份的該第一資訊。如第1圖所示,該計算單元200可判斷該虛擬跑車VT尾端上的左側部份被該第一指標IN1所指向。如第2圖所示,該計算單元200可判斷該虛擬跑車VT尾端上的右側部份被該第一指標IN1所指向。
步驟S505:透過該計算單元記錄對應被指向的該 些特定部份的一第一資訊。如第1圖以及第2圖的實施例所示,在該些實施例中,該計算單元200更用於儲存關於該虛擬跑車VT上被指向的該部份的該第一資訊。如第1圖所示,該計算單元200所儲存的該第一資訊係對應於該虛擬跑車VT尾端上的左側部份。如第2圖所示,該計算單元200所儲存的該第二資訊係對應於該虛擬跑車VT尾端上的右側部份。該第一資訊以及該第二資訊皆為該虛擬跑車VT的各部份被該第一指標IN1所指向的次數,而當該計算單元200判斷該第一指標IN1重複指向該虛擬跑車VT上的某部份時,該次數將被累計計算。
步驟S506:透過該計算單元根據該第一資訊執行一作業程序。如第1圖以及第2圖的實施例所示,在該些實施例中,當該計算單元200儲存關於該虛擬跑車VT上被指向的部份的該第一資訊以及該第二資訊時,該計算單元200更可根據該第一資訊以及該第二資訊對該虛擬跑車VT上被指向的部份執行該作業程序。在一些實施例當中,該作業程序可為標記該虛擬跑車VT上被指向的該部份、遮蔽該虛擬跑車VT上被指向的該部份、重塑形該虛擬跑車VT上被指向的該部份或是發送關於該虛擬跑車VT上被指向的該部份的一通知。
雖然本案以實施例揭露如上,然其並非用以限定本案,任何熟習此技藝者,在不脫離本案之精神和範圍內,當可作各種之更動與潤飾,因此本案之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (18)

  1. 一種模擬環境顯示系統,用以提供一模擬環境,該模擬環境顯示系統包含:一第一穿戴裝置,用以輸出該模擬環境中的一第一景象,該第一景象當中顯示一虛擬物件,該虛擬物件對應複數表面座標,其中該第一穿戴裝置更用以追蹤一第一物件的一第一方向,並根據該第一方向於該第一景象當中提供一第一指標;以及一計算單元,用以判斷該虛擬物件中被該第一指標指向的一特定部份,其中該計算單元係根據該第一指標指向該虛擬物件對應的該些表面座標中的何者來確認該虛擬物件中被該第一指標指向的該特定部份,該計算單元並記錄對應於被該第一指標指向的該特定部份的一第一資訊,並根據該第一資訊執行一作業程序,其中該作業程序包含遮蔽該虛擬物件的該特定部份、重塑形該虛擬物件的該特定部份或發送關於該虛擬物件的該特定部份的一通知。
  2. 如請求項1所述之模擬環境顯示系統,其中該第一資訊係為該特定部份被該第一指標所指向的次數。
  3. 如請求項1所述之模擬環境顯示系統,其中當該計算單元記錄該第一資訊時,該計算單元紀錄該第一穿戴裝置的一位置。
  4. 如請求項1所述之模擬環境顯示系統,更包含:一第二穿戴裝置,用以輸出該模擬環境中的一第二景象,該第二景象當中顯示該虛擬物件,其中該第二穿戴裝置更用以追蹤一第二物件的一第二方向,並根據該第二方向於該第二景象當中顯示對應該第二方向的一第二指標;其中該計算單元更用以判斷該虛擬物件中被該第二指標指向的一特定部份,並記錄對應於被該第二指標指向的該特定部份的一第二資訊。
  5. 如請求項4所述之模擬環境顯示系統,其中該第一資訊係為該些特定部份被該第一指標所指向的一第一次數,而該第二資訊係為該些特定部份被該第二指標所指向的一第二次數,當被該第一指標所指向的該特定部份相同於被該第二指標所指向的該特定部份,該第一次數與該第二次數被加總為一第三次數。
  6. 如請求項1所述之模擬環境顯示系統,其中該第一資訊係該特定部份於該第一景象當中的一影像。
  7. 如請求項1所述之模擬環境顯示系統,其中該第一資訊係該特定部份於該第一景象當中的一影片。
  8. 如請求項1所述之模擬環境顯示系統,其中該第一物件係為一球體,而該第一方向係為自該球體的表面上的一點延伸且垂直於該點的方向。
  9. 如請求項1所述之模擬環境顯示系統,其中該第一物件係為具有一尖端的一物體,而該第一方向係為自該物體的該尖端延伸的方向。
  10. 一種模擬環境顯示方法,用以提供一模擬環境,該模擬環境顯示方法包含:透過一第一穿戴裝置輸出該模擬環境中的一第一景象,其中該第一景象當中顯示一虛擬物件,該虛擬物件對應複數表面座標;透過該第一穿戴裝置追蹤一第一物件的一第一方向;透過該第一穿戴裝置根據該第一方向於該第一景象當中提供一第一指標;透過一計算單元判斷該虛擬物件中被該第一指標指向的一特定部份,其中該計算單元係根據該第一指標指向該虛擬物件對應的該些表面座標中的何者來確認該虛擬物件中被該第一指標指向的該特定部份;透過該計算單元記錄對應於被該第一指標指向的該特定部份的一第一資訊;以及透過該計算單元根據該第一資訊執行一作業程序,其中該作業程序包含遮蔽該虛擬物件的該特定部份、重塑形該虛擬物件的該特定部份或發送關於該虛擬物件的該特定部份的一通知。
  11. 如請求項10所述之模擬環境顯示方法,其中該第一資訊係為該特定部份被該第一指標所指向的次數。
  12. 如請求項10所述之模擬環境顯示方法,更包含:當該計算單元記錄該第一資訊時,透過該計算單元紀錄該第一穿戴裝置的一位置。
  13. 如請求項10所述之模擬環境顯示方法,更包含:透過一第二穿戴裝置輸出該模擬環境中的一第二景象,其中該第二景象當中顯示該虛擬物件;透過該第二穿戴裝置追蹤一第二物件的一第二方向;透過該第二穿戴裝置根據該第二方向於該第二景象當中提供對應該第二方向的一第二指標;透過該計算單元判斷該虛擬物件中被該第二指標指向的一特定部份;透過該計算單元記錄對應於被該第二指標指向的該特定部份的一第二資訊;以及透過該計算單元根據該第二資訊執行該作業程序。
  14. 如請求項13所述之模擬環境顯示方法,其中該第一資訊係為該些特定部份被該第一指標所指向的一第一次數,而該第二資訊係為該些特定部份被該第二指標所指向的一第二次數,當被該第一指標所指向的該特定部份相同於被該第二指標所指向的該特定部份,該第一次數與該第二次數被加總為一第三次數。
  15. 如請求項10所述之模擬環境顯示方法,其中該第一資訊係該特定部份於該第一景象當中的一影像。
  16. 如請求項10所述之模擬環境顯示方法,其中該第一資訊係該特定部份於該第一景象當中的一影片。
  17. 如請求項10所述之模擬環境顯示方法,其中該第一物件係為一球體,而該第一方向係為自該球體的表面上的一點延伸且垂直於該點的方向。
  18. 如請求項10所述之模擬環境顯示方法,其中該第一物件係為具有一尖端的一物體,而該第一方向係為自該物體的該尖端延伸的方向。
TW107100372A 2017-04-06 2018-01-04 模擬環境顯示系統及方法 TWI669654B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762482207P 2017-04-06 2017-04-06
US62/482,207 2017-04-06
US15/823,607 US10401957B2 (en) 2017-04-06 2017-11-28 System and method for providing simulated environment
US15/823,607 2017-11-28

Publications (2)

Publication Number Publication Date
TW201837696A TW201837696A (zh) 2018-10-16
TWI669654B true TWI669654B (zh) 2019-08-21

Family

ID=60953795

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107100372A TWI669654B (zh) 2017-04-06 2018-01-04 模擬環境顯示系統及方法

Country Status (4)

Country Link
US (1) US10401957B2 (zh)
EP (1) EP3385822B1 (zh)
CN (1) CN108693964B (zh)
TW (1) TWI669654B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11831665B2 (en) 2021-01-04 2023-11-28 Bank Of America Corporation Device for monitoring a simulated environment
US11693479B2 (en) * 2021-09-28 2023-07-04 Htc Corporation Virtual image display device and object selection method for virtual image thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130050432A1 (en) * 2011-08-30 2013-02-28 Kathryn Stone Perez Enhancing an object of interest in a see-through, mixed reality display device
TW201516850A (zh) * 2013-10-22 2015-05-01 Wintek Corp 電子裝置
US9363569B1 (en) * 2014-07-28 2016-06-07 Jaunt Inc. Virtual reality system including social graph
CN105653012A (zh) * 2014-08-26 2016-06-08 蔡大林 多用户沉浸式全互动虚拟现实工程培训***
TW201643506A (zh) * 2015-06-15 2016-12-16 三星電子股份有限公司 頭戴式顯示裝置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
KR101655818B1 (ko) 2014-12-11 2016-09-08 현대자동차주식회사 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130050432A1 (en) * 2011-08-30 2013-02-28 Kathryn Stone Perez Enhancing an object of interest in a see-through, mixed reality display device
TW201516850A (zh) * 2013-10-22 2015-05-01 Wintek Corp 電子裝置
US9363569B1 (en) * 2014-07-28 2016-06-07 Jaunt Inc. Virtual reality system including social graph
CN105653012A (zh) * 2014-08-26 2016-06-08 蔡大林 多用户沉浸式全互动虚拟现实工程培训***
TW201643506A (zh) * 2015-06-15 2016-12-16 三星電子股份有限公司 頭戴式顯示裝置

Also Published As

Publication number Publication date
CN108693964A (zh) 2018-10-23
EP3385822B1 (en) 2020-06-24
US10401957B2 (en) 2019-09-03
EP3385822A1 (en) 2018-10-10
US20180292899A1 (en) 2018-10-11
CN108693964B (zh) 2020-07-03
TW201837696A (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
Sereno et al. Collaborative work in augmented reality: A survey
US11861062B2 (en) Blink-based calibration of an optical see-through head-mounted display
Henderson et al. Exploring the benefits of augmented reality documentation for maintenance and repair
US9632314B2 (en) Head mounted display device displaying thumbnail image and method of controlling the same
Livingston et al. Pursuit of “X-ray vision” for augmented reality
CN107168534B (zh) 一种基于cave***的渲染优化方法及投影方法
CN102884492A (zh) 增强现实的指向装置
Berning et al. A study of depth perception in hand-held augmented reality using autostereoscopic displays
WO2019160699A3 (en) Using tracking of display device to control image display
JP2009134681A (ja) 画像処理装置、画像処理方法
CN110926334A (zh) 测量方法、装置、电子设备及存储介质
Oda et al. 3D referencing techniques for physical objects in shared augmented reality
TWI669654B (zh) 模擬環境顯示系統及方法
US11393153B2 (en) Systems and methods performing object occlusion in augmented reality-based assembly instructions
Adcock et al. Visualization of off-surface 3D viewpoint locations in spatial augmented reality
US10582190B2 (en) Virtual training system
Sundstedt et al. A systematic review of visualization techniques and analysis tools for eye-tracking in 3D environments
Lages et al. Enhanced geometric techniques for point marking in model-free augmented reality
Tiefenbacher et al. Augmented reality evaluation: A concept utilizing virtual reality
Zielinski et al. Evaluating the effects of image persistence on dynamic target acquisition in low frame rate virtual environments
CN116863107A (zh) 增强现实提供方法、装置以及非暂时性计算机可读介质
Egorova et al. Determination of workspace for motion capture using Kinect
JP2022111015A5 (zh)
JP2022182836A (ja) 映像処理装置及びその制御方法及びプログラム
Cho et al. RealityReplay: Detecting and Replaying Temporal Changes In Situ Using Mixed Reality