TWI539413B - 虛擬教室提供裝置以及方法 - Google Patents

Description

虛擬教室提供裝置以及方法

本發明是有關於一種虛擬顯示裝置以及方法，且特別是有關於一種虛擬教室提供裝置以及方法。

在現今數位科技媒體普及的時代下，人類接受新知和學習的方式已經與過去大幅不同，不論是正式學習或是非正式的學習活動，都與外在情境無法全然分割。為了了解如何讓學習者學習的更有效率，教學情境一直是教育界極為重視的研究議題。其中，教學情境的研究一般會在真實教室或實驗室內進行。

在真實教室中進行教學情境的研究時，研究者會希望參與的老師與學生能照著預設的情境上課。然而，真實教室中的變數太多，常無法輕易分析出到底是何種變數影響了實驗結果，造成實驗與資料的取得皆相當不容易。

在實驗室進行教學情境的研究時，所模擬出之教學環境容易與現實有所脫節。因此，所分析出之結果常會不符合現實狀況。

因此，如何了解使用者的學習困難，設計與開發學 習與教學策略，改善現今教學環境中的各種教學及學習教材設計上的缺失等，實屬當前重要研發課題之一，亦成為當前相關領域亟需改進的目標。

因此，本發明之一態樣是在提供一種虛擬教室提供裝置，用以藉由頭戴式顯示元件(Head Mount Display，HMD)顯示虛擬教室，並監控使用者於教室內之注意力。虛擬教室提供裝置包含一頭戴式顯示元件、一儲存元件、一監控元件以及一處理元件。處理元件電性連接頭戴式顯示元件、儲存元件以及監控元件。頭戴式顯示元件供一使用者配戴。儲存元件儲存至少一教學教材以及至少一教室劇本檔。其中，教室劇本檔用以模擬一虛擬教室。處理元件包含一顯示模組以及一行為反應收集模組。顯示模組驅動頭戴式顯示元件顯示教室劇本檔，以於頭戴式顯示元件上模擬虛擬教室，並於頭戴式顯示元件上所模擬之虛擬教室內顯示教學教材。行為反應收集模組驅動監控元件持續監控使用者對於虛擬教室內之一注意力範圍。

本發明之另一態樣是提供一種虛擬教室提供方法，其包含以下步驟：

(a)藉由一頭戴式顯示元件(Head Mount Display，HMD)顯示一教室劇本檔，以於頭戴式顯示元件上模擬一虛擬教室。其中，頭戴式顯示元件用以配戴於一使用者。

(b)於頭戴式顯示元件上所模擬之虛擬教室內顯示一教學教材。

(c)持續監控使用者對於虛擬教室內之一注意力範圍。

100‧‧‧虛擬教室提供裝置

110‧‧‧頭戴式顯示元件

120‧‧‧儲存元件

130‧‧‧監控元件

140‧‧‧處理元件

141‧‧‧顯示模組

142‧‧‧行為反應收集模組

142a‧‧‧注意力分析次模組

143‧‧‧注意力線產生模組

144‧‧‧劇本編輯模組

145‧‧‧評量模組

146‧‧‧監控模組

147‧‧‧教材輸入模組

150‧‧‧輸入元件

201‧‧‧使用者之注意力範圍

202‧‧‧投影布幕

203‧‧‧前方同學

301‧‧‧注意力方向

302‧‧‧預定視線範圍

303、304‧‧‧注意力線

401、402、403‧‧‧虛擬人物(同學)

500‧‧‧虛擬教室提供方法

510-540‧‧‧步驟

第1圖為依照本發明一實施方式的一種虛擬教室提供裝置之功能方塊圖。

第2圖係本發明之虛擬教室之一實施例之示意圖。

第3圖為本發明中產生注意力線之一實施例之示意圖。

第4A圖以及第4B圖為教室劇本檔之實施例之示意圖。

第5圖為依據本發明之一實施例之一虛擬教室提供方法之流程圖。

以下將以圖式及詳細說明本發明之精神，任何所屬技術領域中具有通常知識者在瞭解本發明之較佳實施例後，當可由本發明所教示之技術加以改變及修飾，其並不脫離本發明之精神與範圍。

參照第1圖，其為依照本發明一實施方式的一種虛擬教室提供裝置之功能方塊圖。虛擬教室提供裝置藉由頭戴式顯示元件(Head Mount Display，HMD)顯示虛擬教室， 並監控使用者於教室內之注意力。

虛擬教室提供裝置100包含一頭戴式顯示元件110、一儲存元件120、一監控元件130以及一處理元件140。處理元件140電性連接頭戴式顯示元件110、儲存元件120以及監控元件130。儲存元件120可為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或其他類型之儲存元件。處理元件140可為中央處理器(Central Processing Unit，CPU)、控制元件(control unit)、微處理器(micro processor)或其他可執行指令之硬體元件。其中，處理元件140之各模組可實作為程式碼，並將此些程式碼儲存於儲存元件120中。於是，處理元件140讀取並執行儲存元件120中之此些程式碼後，提供各模組相應之功能。

頭戴式顯示元件110供一使用者配戴。於是，使用者在配戴頭戴式顯示元件110後，可觀看頭戴式顯示元件110中所顯示之畫面。

儲存元件120儲存至少一教學教材以及至少一教室劇本檔。其中，教室劇本檔用以模擬一虛擬教室。

處理元件140包含一顯示模組141以及一行為反應收集模組142。顯示模組141驅動頭戴式顯示元件110顯示教室劇本檔，以於頭戴式顯示元件110上模擬虛擬教室。此外，顯示模組141進一步於頭戴式顯示元件110上所模擬之虛擬教室內顯示教學教材。參照第2圖，其係本發明之虛擬教室之一實施例之示意圖。在本實施例中，頭戴式 顯示元件110上模擬虛擬教室內可具有一投影布幕202。於是，可將儲存元件120中之教學教材顯示在投影布幕202之位置上，以模擬使用教學教材上課之狀況。如此一來，配戴頭戴式顯示元件110之使用者就有如置身在一真實教室內上課。

行為反應收集模組142驅動監控元件130持續監控使用者對於虛擬教室內之一使用者之注意力範圍201。在本發明之一些實施例中，監控元件130可為陀螺儀、重力感測器(g sensor)或其他可用以偵測使用者之頭部指向之元件。於是，監控元件130可依據使用者之頭部指向，而判斷出使用者對於虛擬教室內之使用者之注意力範圍201。在本發明之另一些實施例中，監控元件130可為瞳孔偵測元件，用以偵測使用者之瞳孔注視方向。於是，監控元件130可依據使用者之瞳孔注視方向，而判斷出使用者對於虛擬教室內之使用者之注意力範圍201。

此外，頭戴式顯示元件110上所顯示之畫面可隨著使用者注意力方向的改變，進而移往虛擬教室內相應的位置。如此一來，可更真實的呈現使用者於教室中學習之歷程。

隨著頭戴式顯示元件110上教室劇本檔的播放，處理元件140可持續將各時間點上使用者之注意力範圍，記錄至儲存元件120。如此一來，可了解使用者在學習過程中，所注意的事物為何，進而可作為日後設計教材之依據。

在本發明之一些實施例中，虛擬教室更可包含數個 虛擬物件，如虛擬人物、黑板、白板、投影布幕或其他教室內可能出現之物件。於是，行為反應收集模組142之一注意力分析次模組142a可分析注意力範圍落於各虛擬物件之範圍大小，並根據分析結果，自此些虛擬物件找出至少一注意力目標。舉例來說，使用者之注意力範圍201主要落於投影布幕202以及前方同學203上，其中又以投影布幕202佔使用者之注意力範圍201之絕大部分。因此，注意力分析次模組142a可分析出使用者當前之注意力目標為投影布幕202。如此一來，可依使用者於各個時間點的注意力目標，分析出使用者於學習過程中是否專心學習，或是被其他虛擬物件所吸引而不專注。此外，處理元件140可進一步利用支持向量機(Support Vector Machine，SVM)且搭配事前的數據分析來對注意力範圍內的虛擬物件進行分類，以將偵測到的物件做出最佳的分類。換句話說，處理元件140能對偵測到的物件做出注意力位置的最佳判讀。

另外，處理元件140更可包含一注意力線產生模組143。注意力線產生模組143驅動監控元件130偵測使用者之一注意力方向，並產生注意力方向上一預定視線範圍內之複數條注意力線。舉例來說，監控元件130偵測到使用者之一注意力方向為301時，注意力線產生模組143可產生注意力方向301上一預定視線範圍302內之數條注意力線303、304。其中，注意力線產生模組143可藉由隨機產生、均勻分佈或其他方式，產生注意力方向301上一預定視線範圍302內之數條注意力線303、304(如第3圖所示)。 預定視線範圍302可為與注意力方向301夾一預設角度之圓錐狀範圍。注意力分析次模組142a可根據注意力線303、304落於各虛擬物件之數量，分析注意力範圍落於虛擬物件之範圍大小。例如，虛擬物件上注意力線之數量最多者，注意力分析次模組142a則判定此虛擬物件佔注意力範圍之絕大部分。如此一來，即使頭戴式顯示元件110上所虛擬出之教室為立體影像，仍能簡單的藉由注意力線的數量，判斷使用者之注意力放在哪一個虛擬物件上。

在本發明之一些實施例中，虛擬教室提供裝置100更可包含電性連接處理元件140之一輸入元件150。輸入元件150可為鍵盤、滑鼠、圖形化使用者介面或其他類型之輸入元件。處理元件140更可包含一劇本編輯模組144。劇本編輯模組144透過輸入元件150，接收一編輯訊號，用以編輯教室劇本檔中至少一虛擬人物於虛擬教室之座位或不同時間點的行為。舉例來說，可於教室劇本檔中編輯某個時間點上，前方兩位同學401、402相互交談(如第4A圖所示)。又例如說，可於教室劇本檔中編輯某個時間點上，前方同學403回頭轉向使用者(如第4B圖所示)。在本發明之其他實施例中，更可編輯教室劇本檔中特定時間點發生的事件以及虛擬人物(如教師與學生)的行為動作。此外，亦可進一步在教室劇本檔中匯入不同的音訊效果後產生仿真感。於是，研究者可以自由在教室劇本檔中編入不同的劇本情境，研究當使用者進入該情境中，面對其他的虛擬人物之行為或是遇到不同的劇本情況，會有怎樣的行 為反應，注意力又會有怎樣的轉移。儲存元件120中可以依據研究目的儲存不同的教室劇本檔，並且可以隨時讀取、預覽編撰好的教室劇本檔。

在本發明之一些實施例中，教室劇本檔是在Unity遊戲引擎和3Ds Max上開發。處理元件140上之各模組可用Visual C#或其他程式碼實作，而提供相應功能。當使用者戴上頭戴式顯示元件110啟動虛擬教室提供裝置100時，就化身為虛擬教室裡的一位學生。研究者需事前選定教材以及設計好教室劇本檔。教學教材可以在虛擬教室中的投影幕上播放，並搭配由虛擬教室中建置的虛擬教師播送語音講述。教室劇本檔可利用劇本編輯模組144來對每個虛擬人物做行為控制。舉例來說，研究者可先透過輸入元件150調整每個虛擬人物的座位，接著再指定每個人物在特定時間點做出指定的動作，並且將行為動作結合不同的音訊效果。可在教室劇本檔中設計虛擬人物在教室情境中一連串可能會出現或是突發的干擾行為。此外，教室劇本檔的編輯過程中，可先載入教學教材。選定好教材後繼續編輯才能使得虛擬人物在教學教材播放的特定時間點上，進行預設之行為。之後，播放教室劇本檔時會出現教材影片以供比對。此時可以選擇要編輯的虛擬人物，並且編輯匯入預期每個虛擬人物在什麼時間點進行哪種行為動作以及行為動作的音訊檔案，確定編輯完成存檔後，可以點擊預覽功能，則會出現教學教材和虛擬人物在虛擬教室場景中的預覽畫面。

儲存元件120所儲存之教學教材可以為不同表徵形式、不同性質的教學教材，包含圖像(如PG、PNG等)或影片(如AVI、MP4、MOV、OGV等)的教材形式，並可透過教材輸入模組147儲存至儲存元件120中。此外，研究者可以依據不同的研究目的製作多個教室劇本檔，然後儲存於儲存元件120即可使用。而虛擬人物座位編輯的部分則是可以調整虛擬人物在教室中的位置。當完成劇本和座位的編輯後，可輸出三種txt檔案，分為動作、音效和座位，並可藉由Unity讀取這三個輸入檔以呈現整個虛擬教室的環境。

實驗開始時，使用者須先適應頭戴式顯示元件110中之3D虛擬場景。接著就可以開始播放教室劇本檔，進行正式的學習活動。顯示模組141驅動頭戴式顯示元件110播放教室劇本檔，以呈現擬真的課堂教室學習環境。除了教室環境以外，還有虛擬老師和虛擬學生。於是，可讓使用者有身臨真實教室情境的感覺。

學習結束後，可接著觸發評量模組145之執行。評量模組145可以提供學習後的評量試題，作為評估使用者在虛擬教室情境中的學習成效或是態度表現等。試題和問卷可以讓研究者依據固定的格式檔案進行編寫，再存入儲存元件120，供評量模組145於學習後提供。答題完成即實驗結束。

實驗過程中，行為反應收集模組142將會記錄下使用者注意力範圍的產生時間、中心座標等資訊。行為反應 收集模組142可利用SVM來對大量的注意力範圍之資料進行分類，以將偵測到的物件做出最佳的分類。換句話說，行為反應收集模組142能對偵測到的物件做出注意力位置的最佳判讀。實驗過程所記錄的注意力範圍原始檔案，可經由行為反應收集模組142中的注意力範圍程式進行分析。此外，處理元件140可於事後提供實驗還原功能，用以清楚了解當時使用者的學習情形。

在虛擬教室提供裝置100運作時，除使用者配戴的頭戴式顯示元件110以外，監控模組146還可以驅動另一台螢幕同步顯示實驗畫面，以便於實驗者在實驗當下監控使用者的學習狀態，瞭解使用者是否有依照研究者的指令行動並觀察記錄使用者的學習情形。除了即時監控以外，監控模組146還有另一個功能，就是可以還原當時虛擬教室中所有的場景事件，包括使用者的頭轉角度、虛擬人物的動作和授課實況，因此能夠回顧使用者在每個時間點當下的學習情形。而注意力範圍的部分，也可以依研究者的需求，透過還原的功能再次收集。

儲存元件120可記錄使用者的基本資料、實驗中每個虛擬人物在每個時間點的動作、使用者頭轉的角度、注意力範圍的分布，以及各項評量分數。

第5圖為依據本發明之一實施例之一虛擬教室提供方法之流程圖。虛擬教室提供方法可實作為一電腦程式產品(如應用程式)，並儲存於一電腦可讀取記錄媒體中，而使電腦讀取此記錄媒體後執行虛擬教室提供方法。電腦 可讀取記錄媒體可為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之電腦可讀取記錄媒體。虛擬教室提供方法500包含以下步驟：在步驟510中，藉由一頭戴式顯示元件(Head Mount Display，HMD)顯示一教室劇本檔，以於頭戴式顯示元件上模擬一虛擬教室。其中，頭戴式顯示元件用以配戴於一使用者。

在步驟520中，於頭戴式顯示元件上所模擬之虛擬教室內顯示一教學教材。舉例來說，可將教學教材顯示於虛擬教室內之黑板、白板或投影布幕上。如此一來，配戴頭戴式顯示元件之使用者就有如置身在一真實教室內上課。

在步驟530中，持續監控使用者對於虛擬教室內之一注意力範圍。在本發明之一些實施例中，可偵測使用者之一頭部指向或一瞳孔注視方向，作為產生注意力範圍之依據。此外，頭戴式顯示元件上所顯示之畫面可隨著使用者注意力方向的改變，進而移往虛擬教室內相應的位置。如此一來，可更真實的呈現使用者於教室中學習之歷程。

此外，隨著頭戴式顯示元件上教室劇本檔的播放，可持續將各時間點上使用者之注意力範圍記錄下來。於是，可在步驟540中，根據教室劇本檔以及使用者於各時間點之注意力範圍，分析使用者之學習過程。如此一來，可了解使用者在學習過程中，所注意的事物為何，進而可 作為日後設計教材之依據。

在本發明之一些實施例中，虛擬教室內更包含數個虛擬物件，如虛擬人物、黑板、白板、投影布幕或其他教室內可能出現之物件。於是，在虛擬教室提供方法500中，可分析使用者注意力範圍落於各虛擬物件之範圍大小。於是，可根據該分析結果，自虛擬物件找出至少一注意力目標。如此一來，可依使用者於各個時間點的注意力目標，分析出使用者於學習過程中是否專心學習，或是被其他虛擬物件所吸引而不專注。

在本發明之一些實施例中，更可偵測使用者之一注意力方向(如頭部指向或瞳孔注視方向)。然後，可於注意力方向上一預定視線範圍內產生數條注意力線。於是，可根據注意力線落於各虛擬物件之數量，分析注意力範圍落於各虛擬物件之範圍大小。如此一來，即使頭戴式顯示元件上所虛擬出之教室為立體影像，仍能簡單的藉由注意力線的數量，判斷使用者之注意力放在哪一個虛擬物件上。

在本發明之一些實施例中，可透過一輸入元件(如鍵盤、滑鼠、圖形化使用者介面或其他類型之輸入元件)，接收一編輯訊號，用以編輯教室劇本檔中至少一虛擬人物於虛擬教室之座位或不同時間點的行為。如此一來，研究者可以依據不同的研究目的，製作所需之教室劇本檔。

雖然本發明已以實施方式揭露如上，然其並非用以限定本發明任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護 範圍當視後附之申請專利範圍所界定者為準。

100‧‧‧虛擬教室提供裝置

110‧‧‧頭戴式顯示元件

120‧‧‧儲存元件

130‧‧‧監控元件

140‧‧‧處理元件

141‧‧‧顯示模組

142‧‧‧行為反應收集模組

142a‧‧‧注意力分析次模組

143‧‧‧注意力線產生模組

144‧‧‧劇本編輯模組

145‧‧‧評量模組

146‧‧‧監控模組

147‧‧‧教材輸入模組

150‧‧‧輸入元件

Claims (10)

1. 一種虛擬教室提供裝置，包含：一頭戴式顯示元件(Head Mount Display，HMD)，供一使用者配戴；一儲存元件，儲存至少一教學教材以及至少一教室劇本檔，其中該教室劇本檔用以模擬一虛擬教室；一監控元件；以及一處理元件，電性連接該頭戴式顯示元件、該儲存元件以及該監控元件，其中該處理元件包含：一顯示模組，驅動該頭戴式顯示元件顯示該教室劇本檔，以於該頭戴式顯示元件上模擬該虛擬教室，並於該頭戴式顯示元件上所模擬之該虛擬教室內顯示該教學教材；以及一行為反應收集模組，驅動該監控元件持續監控該使用者對於該虛擬教室內之一注意力範圍。
2. 如請求項1所述之虛擬教室提供裝置，其中該虛擬教室更包含複數個虛擬物件，該行為反應收集模組更包含：一注意力分析次模組，分析該注意力範圍落於該些虛擬物件之範圍大小，並根據該分析結果，自該些虛擬物件找出至少一注意力目標。
3. 如請求項2所述之虛擬教室提供裝置，其中該處理元件更包含：一注意力線產生模組，驅動該監控元件偵測該使用者之一注意力方向，並產生該注意力方向上一預定視線範圍內之 複數條注意力線，其中該注意力分析次模組根據該些注意力線落於該些虛擬物件之數量，分析該注意力範圍落於該些虛擬物件之範圍大小。
4. 如請求項1所述之虛擬教室提供裝置，更包含一輸入元件，且該處理元件更包含：一劇本編輯模組，透過該輸入元件，接收一編輯訊號，用以編輯該教室劇本檔中至少一虛擬人物於該虛擬教室之座位或不同時間點的行為。
5. 如請求項1所述之虛擬教室提供裝置，其中該監控元件偵測該使用者之一頭部指向或一瞳孔注視方向，作為產生該注意力範圍之依據。
6. 一種虛擬教室提供方法，包含：(a)藉由一頭戴式顯示元件(Head Mount Display，HMD)顯示一教室劇本檔，以於該頭戴式顯示元件上模擬一虛擬教室，其中該頭戴式顯示元件用以配戴於一使用者；(b)於該頭戴式顯示元件上所模擬之該虛擬教室內顯示一教學教材；以及(c)持續監控該使用者對於該虛擬教室內之一注意力範圍。
7. 如請求項6所述之虛擬教室提供方法，其中該虛擬教室更包含複數個虛擬物件，該虛擬教室提供方法更包含： 分析該注意力範圍落於該些虛擬物件之範圍大小；以及根據該分析結果，自該些虛擬物件找出至少一注意力目標。
8. 如請求項7所述之虛擬教室提供方法，更包含：偵測該使用者之一注意力方向；於該注意力方向上一預定視線範圍內產生複數條注意力線；以及根據該些注意力線落於該些虛擬物件之數量，分析該注意力範圍落於該些虛擬物件之範圍大小。
9. 如請求項6所述之虛擬教室提供方法，更包含：透過一輸入元件，接收一編輯訊號，用以編輯該教室劇本檔中至少一虛擬人物於該虛擬教室之座位或不同時間點的行為。
10. 如請求項6所述之虛擬教室提供方法，更包含：偵測該使用者之一頭部指向或一瞳孔注視方向，作為產生該注意力範圍之依據。