TWI663546B

TWI663546B - 可支援虛擬實境應用程式的混合實境系統及其顯示方法

Info

Publication number: TWI663546B
Application number: TW106134067A
Authority: TW
Inventors: 林熙; 楊朝光
Original assignee: 宏碁股份有限公司
Priority date: 2017-10-02
Filing date: 2017-10-02
Publication date: 2019-06-21
Also published as: CN109598797B; CN109598797A; EP3462310A1; TW201915717A; EP3462310B1; US20190102931A1

Abstract

一種可支援虛擬實境應用程式的混合實境系統及其顯示方法，其中混合實境系統包括處理裝置及混合實境頭戴裝置，處理裝置提供可執行虛擬實境內容的第一應用程式介面及可執行混合實境內容的第二應用程式介面。此方法包括由處理裝置取得第一虛擬實境內容，透過第二應用程式介面將混合實境頭戴裝置所需的畫面相關設定告知第一應用程式介面，透過第一應用程式介面根據畫面相關設定繪示第一虛擬實境內容對應的第一圖形資料並建立共享控制代碼以傳送至第二應用程式介面，透過第二應用程式介面藉由共享控制代碼顯示第一圖形資料於混合實境頭戴裝置。

Description

可支援虛擬實境應用程式的混合實境系統及其顯示方法

本發明是有關於一種混合實境系統及其顯示方法，且特別是有關於一種可支援虛擬實境應用程式的混合實境系統及其顯示方法。

混合實境是將現實世界與虛擬世界結合，以創造出新的環境，其中現實世界中的物件能夠與虛擬世界中的物件共同存在並且產生即時的互動。目前市面上的混合實境應用程式主要是建構在通用Windows平台（Universal Windows Platform，UWP）上，但其所提供的混合實境內容（mixed reality content）數量較少，因而降低了消費者的使用意願。

有鑑於此，本發明提供一種可支援虛擬實境應用程式的混合實境系統及其顯示方法，其可以低成本的硬體設備結合虛擬實境平台進而提升建立混合實境產品的優勢。

在本發明的一實施例中，上述的混合實境系統的顯示方法適用於包括處理裝置以及混合實境頭戴裝置的混合實境系統，其中處理裝置提供可執行虛擬實境內容的第一應用程式介面以及可執行混合實境內容的第二應用程式介面，第二應用程式介面關聯於混合實境頭戴裝置。此方法包括由處理裝置取得第一虛擬實境內容，由處理裝置透過第二應用程式介面告知第一應用程式介面有關於混合實境頭戴裝置所需的畫面相關設定，由處理裝置透過第一應用程式介面根據畫面相關設定繪示對應於第一虛擬實境內容的第一圖形資料，由處理裝置透過第一應用程式介面建立關聯於第一圖形資料的共享控制代碼（share handle）並且傳送共享控制代碼至第二應用程式介面，以及由處理裝置透過第二應用程式介面藉由共享控制代碼顯示第一圖形資料於混合實境頭戴裝置。

在本發明的一實施例中，上述的混合實境系統包括處理裝置以及混合實境頭戴裝置，其中處理裝置連接於混合實境頭戴裝置並且提供可執行虛擬實境內容的第一應用程式介面以及可執行混合實境內容的第二應用程式介面，其中第二應用程式介面關聯於混合實境頭戴裝置。處理裝置用以執行上述的混合實境系統的顯示方法。

在本發明的一實施例中，上述的混合實境系統包括處理裝置以及混合實境頭戴裝置，其中處理裝置內建於混合實境頭戴裝置並且提供可執行虛擬實境內容的第一應用程式介面以及可執行混合實境內容的第二應用程式介面，其中第二應用程式介面關聯於混合實境頭戴裝置。處理裝置用以執行上述的混合實境系統的顯示方法。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法與系統的範例。

圖1為根據本發明一實施例所繪示的混合實境系統的方塊圖。首先圖1先介紹混合實境系統的所有構件以及配置關係，詳細功能將配合圖2一併揭露。

請參照圖1，混合實境系統100包括處理裝置110以及混合實境頭戴裝置120。

在本實施例中，處理裝置110可以是具有運算能力並且具有處理器的運算裝置，例如是檔案伺服器、資料庫伺服器、應用程式伺服器、工作站、個人電腦、筆記型電腦等。處理器可以是北橋（north bridge）、南橋（south bridge）、場式可程式閘陣列（field programmable array，FPGA）、可程式化邏輯裝置（programmable logic device，PLD）、特殊應用積體電路（application specific integrated circuits，ASIC）、中央處理單元（central processing unit，CPU）、應用處理器（application processor，AP），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、圖形處理器（graphics processing unit，GPU）、其他類似裝置或這些裝置的組合。處理裝置110可執行混合實境內容以將虛擬的場景、物體以及角色融入現實之中，創造出嶄新的環境，並且其可與混合實境頭戴裝置120進行溝通，以讓使用者得以在混合實境世界中進行互動。

本領域具通常知識者應明瞭，處理裝置110更包括資料儲存裝置以及通訊介面。資料儲存裝置可以是任意型式的非暫態性、揮發性、非揮發性的記憶體，其用以儲存緩衝資料、永久資料以及用來執行處理裝置110的功能的編譯程式碼。此外，資料儲存裝置可以是可被處理裝置110存取的外接硬碟、雲端儲存或是其它外接記錄裝置。通訊介面可以是支援任何有線連接或是無線通訊標準以與其它裝置進行連線。

混合實境頭戴裝置120可以是具有內建頭部追蹤系統的頭戴顯示器或是眼鏡。混合實境頭戴裝置120至少包括整合顯示器、動作感測器、***以及通訊介面。顯示器例如是液晶顯示器（liquid-crystal display，LCD）、發光二極體（light-emitting diode，LED）顯示器或其他類似裝置。動作感測器可以是加速度計（例如：重力感測器）、陀螺儀（例如：陀螺儀感測器）或任何可偵測混合實境頭戴裝置120的線性移動以及旋轉移動的感測器。***可以是影像感測器、深度感測器及其組合來實現混合實境頭戴裝置120的定位。通訊介面可以是支援任何有線連接或是無線通訊標準以與處理裝置110進行資料傳輸。

在本實施例中，混合實境頭戴裝置120會將所感測到的資料藉由通訊介面以習知的無線或有線方式輸出至處理裝置110，而處理裝置110會將混合實境內容傳送給虛擬實境頭戴裝置120的顯示器呈現。在另一實施例中，處理裝置110可與混合實境頭戴裝置120整合為單一裝置，也就是處理裝置110將內建於混合實境頭戴裝置120而成為整合式全功能（all-in-one）的系統，本發明不在此設限。

在本實施例中，處理裝置110可提供第一應用程式架構平台以及第二應用程式架構平台，而兩個架構平台並不相容。在此，第一應用程式介面可於第一應用程式架構平台上執行虛擬實境內容，而第二應用程式介面可於第二應用程式架構平台上執行混合實境內容並且將其顯示於混合實境頭戴裝置120。此外，假設第一應用程式架構平台以及第二應用程式架構平台皆有各自的多媒體應用程式介面，而兩者底層的執行環境（runtime）是共通的。

以下即搭配圖1的混合實境系統100的各元件列舉實施例，以圖2為根據本發明之一實施例所繪示的混合實境系統的顯示方法的流程圖來說明混合實境系統100支援虛擬實境內容的詳細步驟。

請同時參照圖1以及圖2，首先處理裝置110將取得第一虛擬實境內容（步驟S202）。在此的第一虛擬實境內容可以是處理裝置110自第三方商店的虛擬實境內容平台所下載的遊戲、電影等虛擬實境內容。在其它實施例中，第一虛擬實境內容亦可以是預先儲存於處理裝置110的記憶體或者是自其它裝置、儲存媒體所接收。

接著，處理裝置110將透過第二應用程式介面告知第一應用程式介面有關於混合實境頭戴裝置120所需的畫面相關設定（步驟S204）。詳細來說，由於第一虛擬實境內容是基於第一應用程式介面所繪製，因此第二應用程式介面將告知第一應用程式介面有關於混合實境頭戴裝置120所需要的虛擬空間度量、畫面解析度等等相關設定，以確保最終顯示於混合實境頭戴裝置12的影像達到良好的視覺化效果。

之後，處理裝置110將透過第一應用程式介面根據混合實境頭戴裝置120所需的畫面相關設定繪示對應於第一虛擬實境內容的第一圖形資料（步驟S206）。在此，第一應用程式介面可利用多媒體應用程式介面中的3D繪圖編程介面，繪示出對應於混合實境頭戴裝置120左右眼各自的圖形資料（即，第一圖形資料）。

接著，處理裝置110將建立關聯於第一圖形資料的共享控制代碼，並且將共享控制代碼傳送至第二應用程式介面（步驟S208），其中共享控制代碼即代表第一圖形資料的識別元以及對於第一圖形資料的特定存取權限。基此，處理裝置110將透過第二應用程式介面藉由共享控制代碼將第一圖形資料顯示於混合實境頭戴裝置120（步驟S210）。也就是說，第二應用程式介面可藉由共享控制代碼直接使用第一應用程式介面所繪示的第一圖形資料，並且將其顯示在混合實境頭戴裝置120的左右眼。

值得一提的是，一般習知在進行影像串流傳輸時往往會進行編碼以及解碼程序。當影像串流的品質越高，編碼以及解碼所耗費的系統資源也相應地越大。此外，基於編碼後所輸出的影像串流為固定的解析度、資料格式，接收端除了需將編碼後的影像串流進行解碼外，更需要依據接收端的顯示器針對每一張影像進行額外的光學、色彩校正、變形處理等程序。另一方面，在本實施例中，由於第二應用程式介面是直接取得來自第一應用程式介面依照混合實境頭戴裝置120所需的畫面相關設定所繪示的原始第一圖形資料，因此不需要再進行額外的編碼、解碼程序以及影像校正，以大幅減少效能損耗。此外，第二應用程式介面仍可再選擇性地針對所接收到的第一圖形資料進行圖像變形、資料格式再做進一步的調整，以達到更完整的適應性影像處理的效果。

以下將以圖3根據本發明之一實施例所繪示的混合實境系統的顯示方法的功能方塊圖來說明圖2所提出的方法如何實際地應用於微軟Windows作業系統中。在此先說明的是，目前微軟所提供的混合實境程式（Windows mixed reality App）是建構在通用Windows平台（Universal Windows Platform，UWP）上，但其所提供的混合實境內容數量較少。另一方面，目前具有最多虛擬實境內容的平台為Steam數位遊戲平台，然而其所支援的硬體設備為需要有一定空間來架設***的虛擬實境系統，以對虛擬實境頭戴裝置進行追蹤，並且較適於執行於Win32等一般傳統型應用程式架構平台。也就是說，部份程式在Win32架構平台與UWP平台上有不相容的情況。在本實施例中，假設前述的第一應用程式架構平台為Win32，而第二應用程式架構平台為UWP。此外，假設第一應用程式介面為可於Win32架構平台上執行的OpenVR應用程式介面，而第二應用程式介面為可於UWP架構平台上執行的UWP混合實境應用程式介面，其中兩個架構平台各自的多媒體應用程式介面DirectX，而兩者底層的執行環境是共通的。

請同時參照圖1以及圖3，假設處理裝置120已從例如是Steam數位遊戲平台取得虛擬實境內容。首先，UWP混合實境應用程式介面361將告知OpenVR應用程式介面351有關於混合實境頭戴裝置120所需的畫面相關設定（步驟S302）。接著，OpenVR應用程式介面351將使用DirectX中的3D繪圖編程介面OpenVR D3D 353繪示左右眼的圖形資料TD（步驟S304）。基於底層的執行環境DirectX 3D runtime 360為共通，OpenVR應用程式介面351建立左右眼的圖形資料的共享控制代碼SH（步驟S306），以傳送給DirectX中的3D繪圖編程介面UWP D3D 363（步驟S308）。接著，UWP D3D 363將藉由共享控制代碼SH直接使用OpenVR D3D 353所繪示左右眼的圖形資料TD（步驟S310），並且將左右眼的圖形資料TD顯示於混合實境頭戴裝置120（步驟S312）。步驟S302～S312的詳細細節請參照圖2的相關對應，與此不再贅述。

綜上所述，本發明所提出可支援虛擬實境應用程式的混合實境系統及其顯示方法，其利用不同架構平台下底層的執行環境仍是共通的特性，以共享控制代碼的機制使得混合實境系統得以支援虛擬實境內容。如此一來，本發明可以低成本的硬體設備結合虛擬實境平台進而提升建立混合實境產品的優勢。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100：混合實境系統 110：處理裝置 120：混合實境頭戴裝置 S202～S210、S302～S312：步驟 351：OpenVR應用程式介面 353：OpenVR D3D 360：DirectX 3D runtime 361：UWP混合實境應用程式介面 363：UWP D3D SH：共享控制代碼 TD：圖形資料

圖1為根據本發明一實施例所繪示的混合實境系統的方塊圖。圖2為根據本發明之一實施例所繪示的混合實境系統的顯示方法的流程圖。圖3為根據本發明之一實施例所繪示的混合實境系統的顯示方法的功能方塊圖。

Claims

一種可支援虛擬實境應用程式的混合實境系統的顯示方法，其中該混合實境系統包括處理裝置以及混合實境頭戴裝置，該處理裝置提供可執行虛擬實境內容的第一應用程式介面以及可執行混合實境內容的第二應用程式介面，該第二應用程式介面關聯於該混合實境頭戴裝置，該方法包括：由該處理裝置取得第一虛擬實境內容；由該處理裝置透過該第二應用程式介面告知該第一應用程式介面有關於該混合實境頭戴裝置所需的畫面相關設定；由該處理裝置透過該第一應用程式介面根據該畫面相關設定繪示對應於該第一虛擬實境內容的第一圖形資料；由該處理裝置透過該第一應用程式介面建立關聯於該第一圖形資料的共享控制代碼並且傳送該共享控制代碼至該第二應用程式介面；以及由該處理裝置透過該第二應用程式介面藉由該共享控制代碼顯示該第一圖形資料於該混合實境頭戴裝置。
如申請專利範圍第1項所述的方法，其中由該處理裝置取得該第一虛擬實境內容的步驟包括：由該處理裝置自第三方的虛擬實境內容平台下載該第一虛擬實境內容。
如申請專利範圍第1項所述的方法，其中該畫面相關設定包括該混合實境頭戴裝置的畫面解析度以及虛擬空間度量至少之一者。
如申請專利範圍第1項所述的方法，其中該處理裝置提供第一應用程式架構平台以及第二應用程式架構平台，該第一應用程式介面得以於該第一應用程式架構平台執行虛擬實境內容，該第二應用程式介面得以於該第二應用程式架構平台執行混合實境內容，該第一應用程式架構平台以及該第二應用程式架構平台分別具有第一多媒體應用程式介面以及第二多媒體應用程式介面，其中該第一多媒體應用程式介面與該第二多媒體應用程式介面的底層的執行環境為共通。
如申請專利範圍第4項所述的方法，其中由該處理裝置透過該第一應用程式介面根據該畫面相關設定繪示對應於該第一虛擬實境內容的該第一圖形資料的步驟包括：由該處理裝置透過該第一應用程式介面，以該第一多媒體應用程式介面中的3D繪圖編程介面，根據該畫面相關設定繪示對應於該第一虛擬實境內容的該第一圖形資料。
如申請專利範圍第4項所述的方法，其中由該處理裝置透過該第一應用程式介面建立關聯於該第一圖形資料的該共享控制代碼並且傳送該共享控制代碼至該第二應用程式介面的步驟包括：由該處理裝置透過該第一應用程式介面，以該第一多媒體應用程式介面中的3D繪圖編程介面，建立該共享控制代碼；以及由該第一多媒體應用程式介面中的該3D繪圖編程介面通過該執行環境傳送該共享控制代碼至該第二多媒體應用程式介面中的3D繪圖編程介面。
如申請專利範圍第6項所述的方法，其中由該處理裝置透過該第二應用程式介面藉由該共享控制代碼顯示該第一圖形資料於該混合實境頭戴裝置的步驟包括：由該處理裝置透過該第二應用程式介面，以該第二多媒體應用程式介面中的該3D繪圖編程介面，藉由該共享控制代碼直接存取該第一圖形資料，並且顯示該第一圖形資料於該混合實境頭戴裝置。
如申請專利範圍第4項所述的方法，其中該第二應用程式架構平台為通用Windows平台，而該第一應用程式架構平台為該通用Windows平台以外的架構平台。
一種可支援虛擬實境應用程式的混合實境系統，包括：混合實境頭戴裝置；以及處理裝置，連接於該混合實境頭戴裝置，用以提供可執行虛擬實境內容的第一應用程式介面以及可執行混合實境內容的第二應用程式介面，其中該第二應用程式介面關聯於該混合實境頭戴裝置，而該處理裝置用以執行下列步驟：取得第一虛擬實境內容；透過該第二應用程式介面告知該第一應用程式介面有關於該混合實境頭戴裝置所需的畫面相關設定；透過該第一應用程式介面根據該畫面相關設定繪示對應於該第一虛擬實境內容的第一圖形資料；透過該第一應用程式介面建立關聯於該第一圖形資料的共享控制代碼並且傳送該共享控制代碼至該第二應用程式介面；以及透過該第二應用程式介面藉由該共享控制代碼顯示該第一圖形資料於該混合實境頭戴裝置。
一種可支援虛擬實境應用程式的混合實境系統，包括：混合實境頭戴裝置；以及處理裝置，內建於該混合實境頭戴裝置，用以提供可執行虛擬實境內容的第一應用程式介面以及可執行混合實境內容的第二應用程式介面，其中該第二應用程式介面關聯於該混合實境頭戴裝置，而該處理裝置用以執行下列步驟：取得第一虛擬實境內容；透過該第二應用程式介面告知該第一應用程式介面有關於該混合實境頭戴裝置所需的畫面相關設定；透過該第一應用程式介面根據該畫面相關設定繪示對應於該第一虛擬實境內容的第一圖形資料；透過該第一應用程式介面建立關聯於該第一圖形資料的共享控制代碼並且傳送該共享控制代碼至該第二應用程式介面；以及透過該第二應用程式介面藉由該共享控制代碼顯示該第一圖形資料於該混合實境頭戴裝置。