TW202320022A - 合成器層外推 - Google Patents
合成器層外推 Download PDFInfo
- Publication number
- TW202320022A TW202320022A TW111140902A TW111140902A TW202320022A TW 202320022 A TW202320022 A TW 202320022A TW 111140902 A TW111140902 A TW 111140902A TW 111140902 A TW111140902 A TW 111140902A TW 202320022 A TW202320022 A TW 202320022A
- Authority
- TW
- Taiwan
- Prior art keywords
- pose
- time
- frame
- image
- display
- Prior art date
Links
- 238000013213 extrapolation Methods 0.000 title claims description 15
- 239000000872 buffer Substances 0.000 claims abstract description 140
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000009877 rendering Methods 0.000 claims abstract description 44
- 238000003860 storage Methods 0.000 claims description 39
- 239000011521 glass Substances 0.000 claims description 27
- 230000033001 locomotion Effects 0.000 claims description 22
- 238000013519 translation Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 8
- 230000015654 memory Effects 0.000 description 34
- 210000003128 head Anatomy 0.000 description 33
- 238000004891 communication Methods 0.000 description 16
- 230000003190 augmentative effect Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 230000009466 transformation Effects 0.000 description 9
- 241000226585 Antennaria plantaginifolia Species 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 230000004886 head movement Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 208000003164 Diplopia Diseases 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 208000029444 double vision Diseases 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000003467 diminishing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/503—Blending, e.g. for anti-aliasing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
- G09G5/026—Control of mixing and/or overlay of colours in general
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/02—Details of power systems and of start or stop of display operation
- G09G2330/021—Power management, e.g. power saving
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/02—Details of power systems and of start or stop of display operation
- G09G2330/021—Power management, e.g. power saving
- G09G2330/022—Power management, e.g. power saving in absence of operation, e.g. no data being entered during a predetermined time
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
- G09G2340/0435—Change or adaptation of the frame rate of the video stream
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/14—Solving problems related to the presentation of information to be displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computing Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
在一個具體實例中,一種方法可自一應用程式獲得(a)一影像及(b)在該影像前方具有一第一位姿的一層圖框。該方法可針對與一第一時間相關聯之一第一視點,藉由將該影像及具有該第一位姿之該層圖框分開地呈現至一顯示緩衝區中而產生一第一顯示圖框。該方法可在該第一時間顯示該第一顯示圖框。該方法可基於該層圖框之該第一位姿及一先前所提交層圖框之一第二位姿來判定該層圖框之一經外推位姿。該方法可針對與一第二時間相關聯之一第二視點,藉由將該影像及具有該經外推位姿之該層圖框分開地呈現至該顯示緩衝區中而產生一第二顯示圖框。該方法可在該第二時間顯示該第二顯示圖框。
Description
本發明大體而言係關於人工實境,諸如虛擬實境及擴增實境。
優先權
本申請案主張2021年10月27日申請之美國臨時專利申請案第63/272,566號及2022年10月21日申請之美國非臨時專利申請案第18/048,602號的優先權,該等專利申請案係以引用方式併入本文中。
人工實境係在呈現給使用者之前已以某一方式調整之實境形式,其可包括例如虛擬實境(virtual reality;VR)、擴增實境(augmented reality;AR)、混合實境(mixed reality;MR)、擴展實境(extended reality;ER)、混雜實境或其某一組合及/或衍生物。人工實境內容可包括完全產生之內容或與所捕獲內容(例如,真實世界相片)組合之所產生內容。人工實境內容可包括視訊、音訊、觸覺回饋或其某一組合,且其中之任一者可在單一通道中或在多個通道中(諸如,對觀看者產生三維效應之立體視訊)呈現。人工實境可與例如用於在人工實境中創建內容及/或用於人工實境中(例如,在人工實境中執行活動)之應用程式、產品、配件、服務或其某一組合相關聯。提供人工實境內容之人工實境系統可實施於各種平台上,包括連接至主機電腦系統之頭戴式顯示器(head-mounted display;HMD)、獨立式HMD、行動裝置或計算系統或能夠將人工實境內容提供至一或多個觀看者之任何其他硬體平台。
本文中所描述之特定具體實例係關於使用外推演算法以產生用於經外推圖框之合成器層之系統及方法。特定言之,合成器層為意欲佔據裝置欄位之子集(諸如,包括選單或邊框之層圖框),且接著與額外層組合以製得顯示圖框的層。舉例而言,取決於像素/度(PPD)、虛擬螢幕之大小、觀看距離及解析度及其他因素,合成器層可為四邊形層或圓柱形層。PPD為在某一視角下對像素數目之量度。PPD可用以描述關於與AR/VR系統相關聯之不同類型之顯示器的銳度及清晰度。通常,AR/VR系統獲得可儲存於眼睛緩衝區中之影像,諸如二維(2D)影像。當AR/VR系統產生含有具有映射至其上之2D紋理之表面(諸如面板)的眼睛緩衝區時,合成器會扭曲影像以向觀看者呈現物理上一致之體驗(例如藉由補償眼鏡失真及頭部移動),所得顯示圖框經饋送至顯示管線,最終在顯示器上輸出,該2D紋理由於雙重混疊而遭受低解析度。同樣地,難以向使用者顯示需要非常清晰的層,諸如精細選單或面板。習知方法係將層之紋理映射至眼睛緩衝區中。然而,習知方法具有若干缺點:(1)眼睛緩衝區內容在低PPD下儲存,(2)若層圖框經烘烤至場景中,則當使用者之視點稍微改變時由層圖框遮蔽之場景之部分不可復原,(3)因為眼睛緩衝區中之內容被取樣兩次,所以其由於雙重取樣(導致雙重混疊)而進一步降低其解析度。合成器層可藉由將層圖框與諸如眼睛緩衝區之內容分開提交而有效地增加層圖框之PPD。結果,合成器可將多個分開地呈現至顯示緩衝區中以提供改良之PPD且避免遮擋問題。
因為AR/VR頭戴裝置之功率受約束,於是以所需圖框率來呈現每一圖框係低效且昂貴的。因此,AR/VR系統可僅呈現所要圖框率的一半且外推中間圖框,以允許較長時間呈現各圖框並延長與AR/VR系統相關聯的電池壽命。舉例而言,AR/VR系統可呈現30個圖框/秒(fps)並外推中間圖框以使得系統顯示60 fps。作為另一實例,AR/VR系統將場景呈現為2D影像且將其儲存於具有在時間M之位姿的眼睛緩衝區中。位姿包括平移及定向以描述在兩個空間之間的關係。到在時間N顯示眼睛緩衝區時,使用者之頭部可移動至不同位姿。因此,眼睛緩衝區中之2D影像可諸如藉由使用非同步時間扭曲(ATW)而調整以適應頭部旋轉。同樣地,眼睛緩衝區中之2D影像可經扭曲以解決由人工實境眼鏡引起的幾何失真。對於經外推圖框(諸如,圖框N+1),眼睛緩衝區中之內容(諸如,2D影像)以類似方式經更新以考量在彼時間使用者之視點。由於更多時間已過去,場景中之物件亦可四處移動。舉例而言,場景中被投擲的球可在時間N與時間N+1之間行進。為了考量物件移動,AR/VR系統應用諸如非同步空間扭曲(ASW)之方法,以例如在線性運動中根據運動向量移動2D影像中之物件。到在時間N+1顯示眼睛緩衝區時,使用者之頭部可改變位姿。因此,AR/VR系統可施加ATW來調整眼睛緩衝區中之2D影像以適應頭部旋轉且使2D影像扭曲以解決由人工實境眼鏡引起的幾何失真。
AR/VR系統亦可施加ATW以調整具有第一位姿之層圖框以適應頭部旋轉。AR/VR系統亦可使層圖框扭曲以解決由人工實境眼鏡引起的幾何失真。特定言之,AR/VR系統應用運動外推演算法以基於層圖框之第一位姿(諸如,在時間M之位姿)及先前所提交層圖框之第二位姿(諸如,在時間M-1之位姿)來判定用於經外推圖框之層圖框的經外推位姿。舉例而言,在線性或恆定速度之假定下,AR/VR系統可引入加速度以更新層圖框之位姿。在時間N+1之層圖框之內容可與在時間N提交之內容相同或在訊息可自時間N至N+1改變的情況下用較新內容更新。AR/VR系統可將ATW及ASW施加於層圖框之文字內容以考量在彼時間使用者之視點。AR/VR系統可使文字扭曲以解決由人工實境眼鏡引起的幾何失真。同樣地,AR/VR系統可藉由將層圖框之紋理內容與眼睛緩衝區中之2D影像分開地提交而產生合成器層。舉例而言,若存在一個眼睛緩衝區及5個邊框,則AR/VR系統可提交總共6次扭曲操作。接著在時間N+1時藉由合成器將經扭曲結果組合成最終顯示圖框。
本文中所揭示之具體實例僅為實例,且本揭示內容之範圍不限於該等具體實例。特定具體實例可包括本文所揭示之具體實例的組件、元件、特徵、功能、操作或步驟中之全部、一些或無一者。根據本發明之具體實例尤其在針對一種方法、儲存媒體、系統及電腦程式產品之所附申請專利範圍中揭示,其中在一個技術方案類別中提及之任何特徵(例如方法)亦可在另一技術方案類別(例如系統)中主張。僅出於形式原因選擇所附申請專利範圍中之依賴性或反向參考。然而,亦可主張由對任何前述技術方案之反向故意參考(尤其多個依賴性)產生的任何主題,以使得技術方案及其特徵之任何組合被揭示且可無關於在所附申請專利範圍中選擇的依賴性而主張。可主張之主題不僅包含如所附申請專利範圍中闡明的特徵之組合而且包含技術方案中特徵之任何其他組合,其中技術方案中所提及之各特徵可與任何其他特徵或技術方案中之其他特徵的組合進行組合。此外,本文中所描述或描繪之具體實例及特徵中之任一者可在單獨技術方案中及/或在與本文中所描述或描繪之任何具體實例或特徵或與所附申請專利範圍之特徵中之任一者的任何組合中加以主張。
AR/VR系統可能由於有限之可用電池功率、由於較小大小及最大安全溫度而導致之熱耗散,或例如來自裝置之電池、CPU或GPU之計算而在功率、熱或計算上受約束。AR/VR系統之組態經設計為滿足頭戴式顯示器之功率及計算效率,該等頭戴式顯示器滿足藉由較佳解析度、刷新率及動態範圍驅動之不斷增長的計算要求,以便延長未繫結AR/VR裝置之持續使用時間且以足夠速度完成圖框以避免使用者不適。以所需圖框率呈現每一圖框可消耗功率及計算,此對AR/VR系統之電池壽命及熱限度有負面影響。舉例而言,當AR/VR系統顯示60 fps時,AR/VR系統可僅呈現30 fps且外推中間圖框。另一顯示問題為與AR/VR系統相關聯之顯示圖框中的所呈現影像或層圖框之低解析度及抖動。當頭部及/或眼睛移動時,再投影步驟可引入視覺假影,諸如抖動或雙重視覺。儘管此等視覺假影可適合於電腦圖形、自然影像或大文字,但使用者非常難以閱讀層圖框中之精細詳細文字。基於VR呈現管線保持高解析度視覺品質係至關重要的,因此層圖框可非常清晰且適合使用者閱讀。特定具體實例可使用合成器層以改良影像品質且避免雙重混疊。合成器層僅為在眼睛緩衝區之頂部上呈現的紋理,其具有諸如變換及形狀之個別屬性。合成器層將層圖框解析度與眼睛緩衝區解析度解耦以避免雙重取樣假影,諸如雙重混疊。
特定言之,AR/VR系統藉由外推在合成器內部以顯示刷新率來再生合成器層變換。舉例而言,當AR/VR系統在半速率模式下運行使得顯示器上的圖框之一半藉由使先前圖框扭曲(諸如ASW)而產生時。習知方法使用與先前圖框完全相同的位姿(其包括3D空間中之平移及定向)而自在影像前方具有第一位姿的層圖框呈現顯示圖框的一半,此係不正確的。特定具體實例可使用基於層圖框之第一位姿及先前所提交層圖框之第二位姿的經外推位姿來產生顯示圖框。結果,AR/VR系統可使用諸如線性插值(lerping)函數之外推演算法基於歷史變換而產生平滑的外推之層變換位姿(亦進行縮放)。當使用兩個或多於兩個歷史變換來預測下一圖框之層變換時,AR/VR系統可考量諸如加速或減速之2階運動。
圖 1A繪示範例人工實境系統100A。在特定具體實例中,人工實境系統100A可包含頭戴裝置104、控制器106及計算系統108等。使用者102可穿戴頭戴裝置104,該頭戴裝置可將視覺人工實境內容顯示給使用者102。頭戴裝置104可包括音訊裝置,該音訊裝置可將音訊人工實境內容提供給使用者102。頭戴裝置104可包括可捕獲環境之影像及視訊之一或多個攝影機。頭戴裝置104可包括眼睛追蹤系統以判定使用者102之輻輳距離。頭戴裝置104可被稱作頭戴式顯示器(head-mounted display;HDM)。控制器106可包含觸控板及一或多個按鈕。控制器106可自使用者102接收輸入,且將輸入中繼至計算系統108。控制器106亦可將觸覺回饋提供給使用者102。計算系統108可經由纜線或無線連接而連接至頭戴裝置104及控制器106。計算系統108可控制頭戴裝置104及控制器106,以將人工實境內容提供給使用者102及自該使用者接收輸入。計算系統108可為獨立式主機電腦系統、與頭戴裝置104整合之機載電腦系統、行動裝置,或能夠將人工實境內容提供給使用者102及自該使用者接收輸入之任何其他硬體平台。
圖 1B繪示範例擴增實境系統100B。擴增實境系統100B可包括頭戴式顯示器(HMD)110(例如眼鏡),其包含框架112、一或多個顯示器114及計算系統120。顯示器114可為透明或半透明的,允許穿戴HMD 110之使用者透過顯示器114看到真實世界,且同時將視覺人工實境內容顯示給使用者。HMD 110可包括音訊裝置,該音訊裝置可將音訊人工實境內容提供給使用者。HMD 110可包括可捕獲環境之影像及視訊之一或多個攝影機。HMD 110可包括眼睛追蹤系統以追蹤穿戴HMD 110之使用者的輻輳移動。擴增實境系統100B可進一步包括包含觸控板及一或多個按鈕之控制器。控制器可自使用者接收輸入,且將輸入中繼至計算系統120。控制器亦可將觸覺回饋提供給使用者。計算系統120可經由纜線或無線連接而連接至HMD 110及控制器。計算系統120可控制HMD 110及控制器以將擴增實境內容提供給使用者及自使用者接收輸入。計算系統120可為獨立式主機電腦系統、與HMD 110整合之機載電腦系統、行動裝置,或能夠將人工實境內容提供給使用者及自該使用者接收輸入之任何其他硬體平台。
圖 2A繪示用於針對不同時間圖框之AR/VR系統之合成器層外推的範例合成器200。合成器200可獲得眼睛緩衝區204及在眼睛緩衝區前方具有在時間M或M+1之第一位姿的層圖框202。眼睛緩衝區及層圖框可為相異的。合成器200可藉由將眼睛緩衝區204及具有第一位姿之層圖框202中之影像分開地呈現至顯示緩衝區208中,而產生用於與第一時間(諸如所呈現之時間圖框N或N+2)相關聯之第一視點的第一顯示圖框。合成器可在第一時間(諸如經呈現之時間圖框N或N+2)顯示第一顯示圖框。特定言之,合成器200可外推中間時間圖框,諸如在N+1或N+3時之經外推時間圖框。合成器200可藉由將ASW及ATW施加於來自眼睛緩衝區204之影像來判定扭曲之眼睛緩衝區206,以考量人工場景中之頭部旋轉或運動。合成器200亦可調整扭曲之眼睛緩衝區206以校正由人工實境眼鏡引起的幾何失真。同樣地,合成器200可將ATW施加於層圖框202以考量頭部旋轉且使層圖框202扭曲以校正由人工實境眼鏡引起的幾何失真。在特定具體實例中,合成器200可基於層圖框202之第一位姿及先前所提交層圖框之第二位姿來判定層圖框之經外推位姿。合成器200可藉由將經扭曲眼睛緩衝區206及具有經外推位姿之層圖框202中之影像分開地呈現至顯示緩衝區216中,而產生用於與第二時間(諸如經外推之時間圖框N+1或N+3)相關聯之第二視點的第一顯示圖框。合成器可在第二時間(諸如經外推時間圖框N+1或N+3)將第二顯示圖框發送至顯示管線。因此,AR/VR系統可使用正確變換以在圖框之確切時間內使用正確頭部位姿來產生每一顯示圖框,以避免2D面板抖動。
圖 2B繪示AR/VR系統之範例合成器200。在特定具體實例中,合成器200可包括眼睛緩衝區管理器210、層圖框管理器250及顯示圖框管理器270。在特定具體實例中,眼睛緩衝區管理器210可呈現具有位姿M 212之影像資料。舉例而言,影像資料具有在時間M之位姿212,可為以30 fps呈現的2D影像中之場景。眼睛緩衝區管理器210可將2D影像儲存於具有在時間M之位姿214的眼睛緩衝區資料中,之後在時間圖框N 272將具有在時間M之位姿214的所接收之眼睛緩衝區資料提交至顯示圖框管理器270以用於顯示器280。到在時間圖框N 272時顯示具有在時間M之位姿214的眼睛緩衝區資料時,使用者之頭部有可能會稍微移動。因此,眼睛緩衝區管理器210包括處理模組A 220,以使用ATW 222來調整具有在時間M之位姿214的眼睛緩衝區資料以考量頭部旋轉,且使用ATW 222使具有在時間M之位姿214的眼睛緩衝區資料扭曲以使用由人工實境眼鏡引起的幾何失真資料226來校正幾何失真。另一方面,場景中之物件可在時間圖框N至下一時間圖框N+1期間移動。處理模組A 220可施加ASW以諸如根據運動向量而線性地移動具有位姿M 212之影像資料場景中的彼等物件。結果,處理模組A 220判定儲存於經扭曲眼睛緩衝區216中之經扭曲影像。接著在時間N+1時,以類似方式更新經扭曲眼睛緩衝區216中之內容以考量在彼時間使用者之視點。眼睛緩衝區管理器210可在顯示管線中將所接收之經扭曲眼睛緩衝區216提交至顯示圖框管理器270,以用於在時間圖框N+1時進行額外修改且用於顯示器280。
在AR/VR系統中,當使用者102之頭戴裝置104位置改變時,需要調整所呈現影像以考量在彼時間使用者之視點。舉例而言,當使用者102移動他的/她的頭部時,需要相應地更新顯示於頭戴裝置104之顯示裝置上的2D影像以考量最新的頭戴裝置位姿。然而,在頭戴裝置104之顯示裝置上呈現2D影像存在時間延遲。若使用者102之頭部在運動中,則AR/VR系統需要基於新的頭部位姿來判定所呈現影像之新透視圖。直接方法為視需要在每一時間圖框呈現具有在時間M之位姿214的眼睛緩衝區。然而,其在功率、熱及計算方面係耗時且低效的。取而代之,儲存於具有在時間M之位姿214的眼睛緩衝區資料中之2D影像可使用時間扭曲來變換以考量新透視圖,諸如使用者102之新視野(FOV)。
另外,眼睛緩衝區管理器210施加若干扭曲技術來調整儲存於具有在時間M之位姿214的眼睛緩衝區資料中之2D影像,以校正在場景經呈現之後發生的使用者102之頭部運動且從而減少感知潛時。在一些具體實例中,眼睛緩衝區管理器210可施加參數時間扭曲、無參數時間扭曲及ATW來考量使用者102之頭部旋轉。特定言之,眼睛緩衝區管理器210可在將所呈現影像發送至顯示器之前將時間扭曲施加於所呈現影像,以便校正在場景經呈現之後發生的頭部運動且從而減少感知潛時。舉例而言,時間扭曲可與定向相關聯以校正頭部位姿中之旋轉改變。時間扭曲亦可與扭曲程序組合以校正幾何失真。對於相當複雜場景,組合之時間扭曲可提供相當大的優點,即2D扭曲需要少得多的計算資源。舉例而言,參數時間扭曲可施加仿射操作,如影像之平移、旋轉及縮放,而以均一方式重新定位影像之像素。因此,雖然參數時間扭曲可用以正確地更新用於使用者102之頭部旋轉之場景。然而,參數時間扭曲不能考量使用者102之頭部之平移,此係因為影像之一些區域相較於其他區域可能受不同影響。
另外,眼睛緩衝區管理器210可施加無參數時間扭曲來考量影像之區段之無參數失真,諸如拉伸。無參數時間扭曲可部分地考量由於去遮擋所引起的使用者102之頭部平移,去遮擋係指要觀看之物件的曝露或先前隱藏於視圖中之物件的再現。
另外,眼睛緩衝區管理器210可施加ATW 222來處理具有在時間M之位姿214的眼睛緩衝區資料,以考量由於諸如在AR/VR頭戴式顯示器/HMD設定中使用者之頭部移動、諸如在視訊遊戲手持型控制器設定中之游標移動及其他移動而發生的視點改變。ATW 222經施加以將場景呈現及時間扭曲分離成兩個單獨的非同步操作。特定言之,ATW 222可在多個執行緒上與呈現並行地執行。在每次垂直同步之前,ATW 222執行緒都可自由呈現執行緒完成的最新圖框產生新的時間扭曲之圖框。同樣地,可在GPU上或在外部硬體上執行ATW 222以將所顯示影像之圖框率提高至高於呈現率。結果,當AR/VR系統僅以所要圖框率的一半或低於顯示圖框率來呈現影像時,眼睛緩衝區管理器210可施加ATW以產生中間圖框以減少抖動,從而導致週期性出現,其中所呈現之眼睛緩衝區在其準備好顯示垂直同步所需的時間或與自遠端引擎傳輸圖框相關聯時並不完整。
轉向圖4C,
圖 4C繪示ASW實例。眼睛緩衝區管理器210可將ASW施加於圍繞當前圖框422呈現的緩衝區域420。緩衝區域420可用於非同步地移位所呈現場景以匹配AR/VR系統中使用者之當前頭部位置。因此,當前圖框420可經編碼為圖框,而ASW圖框424可回應於就使用者而言之頭部移動而自緩衝區域420及當前圖框422予以呈現/產生。特定言之,ASW圖框424係針對HMD顯示器上之另一時間圖框自當前圖框420予以判定。AR/VR系統可簡單地使用基於運動向量資料及深度資料之圖框外推及圖框再投影來判定ASW圖框424。運動向量資料藉由分析當前圖框420、基於歷史圖框估計運動速度或藉由產生圖框之應用程式提交來量測當前圖框420中之各像素的移動速度。深度資料量測各像素相距呈現攝影機之距離以用於基於深度之再投影,從而減少HMD潛時。
轉回至圖2B,AR/VR系統可施加ATW及ASW兩者以允許所呈現圖框之時間及空間扭曲以校正頭部位置之移動及所關注區域之場景運動。同樣地,AR/VR系統可施加ATW及ASW兩者以減少位置抖動及與人工實境眼鏡或顯示器相關聯之其他假影。所關注區域可基於眼睛追蹤或內容資訊予以判定。舉例而言,***呈現系統之主機裝置可產生用於場景之所關注區域的單一深度平面以強調來自所關注區域之貢獻。用於單一深度平面之值及參數可基於眼睛追蹤資訊予以判定。
另外,層圖框管理器250自AR/VR系統接收層圖框,諸如具有在時間M之第一位姿252的面板資料。層圖框管理器250應用處理模組B 260以使用ATW 262來調整所接收之層圖框以考量頭部旋轉,且使所接收之層圖框扭曲以校正由人工實境眼鏡引起的幾何失真。層圖框管理器250可將所接收之層圖框提交至顯示圖框管理器270。特定言之,層圖框管理器250可將所接收之層圖框與眼睛緩衝區214中之影像分開地提交。合成器200可針對與第一時間相關聯之第一視點,藉由將眼睛緩衝區中之影像與層圖框分開地呈現至顯示緩衝區中來產生第一顯示圖框272。第一顯示圖框可為具有更佳的PPD以供使用者閱讀且無遮擋問題的合成器層。顯示器280可顯示第一顯示圖框以供使用者閱讀來自眼睛緩衝區之影像及層圖框中之精細詳細文字兩者。因此,由合成器200產生的合成器層藉由將層圖框提交至眼睛緩衝區而解決與習知方法相關聯的若干問題,諸如層圖框之低PPD及雙重混疊。特定言之,合成器層係藉由場景中之2D表面之數學表示(諸如四邊形表面、部分圓柱形表面等)來特性化。基於所接收資訊,合成器200可在將合成器層添加至三維(3D)VR環境上之前施加射線追蹤而以實體顯示解析度極限來呈現合成器層。此導致當在VR中觀看時2D表面上的影像品質相比於藉由產生眼睛緩衝區而呈現含有2D表面之完整3D環境要高得多,此係因為眼睛緩衝區在呈現於顯示器上之前藉由ATW進一步重新取樣(雙重混疊)。
另外,AR/VR系統可更新在現有XR實施中合成器層自合成器層空間至應用程式參考空間之變換。合成器層空間及應用程式參考空間可藉由具有原點及三條軸線(x/y/z)之笛卡爾座標系統來特性化。合成器層自合成器層空間至應用程式參考空間之變換係藉由應用4×4矩陣予以判定,該4×4矩陣可將均質四維(4D)向量自一空間變換至另一空間。舉例而言,在應用程式參考空間中合成器層空間之位姿對應於自應用程式參考空間至合成器層空間之變換。此變換控制2D表面出現在虛擬3D場景中之位置。然而,由於功率、熱或計算約束,AR/VR系統有時無法完成足夠快速地呈現圖框或自遠端引擎對圖框之傳輸經延遲,因此先前圖框(被稱為陳舊圖框)再次藉由合成器修改且用於稍後呈現於顯示器上。替代地,AR/VR系統可注意到延遲呈現或傳輸且使得能夠藉由ASW減小至所要顯示速率模式的一半。
在此等情況下,若合成器層未被校正以在確切顯示時間圖框內使用正確頭部位姿,則合成器層在移動時可出現抖動。舉例而言,若使用者平移他的/她的頭部同時將他的/她的眼睛保持在虛擬面板之一點上,則使用者之移動似乎在虛擬空間中來回跳躍。歸因於高圖框率,此可顯現為兩個重影影像(雙重視覺),同時面板以顯示速率的一半在虛擬空間中進行移位。該效應令人不適且極大地增加與虛擬面板交互的難度,諸如在閱讀文字或點選使用者介面(UI)按鈕時。至關重要的是,使用正確變換以在確切顯示時間圖框內使用正確頭部位姿來產生每一顯示圖框,以避免2D面板抖動。合成器200可遞送來自層圖框之圖框而以諸如90 fps之刷新率顯示每一刷新循環,而不管應用程式呈現之圖框率如何。合成器200可藉由單調增加顯示圖框計數器N來遞送來自層圖框之圖框。同樣地,合成器200可以30 fps之應用程式呈現圖框率在層圖框中提交層更新資訊且單調增加層圖框計數器M。
另外,層圖框管理器250自AR/VR系統接收額外層圖框,諸如具有在時間M-1之第二位姿254的面板資料。處理模組B 260可基於層圖框之第一位姿及先前所提交層圖框之第二位姿來外推用於時間N+1之層圖框的位姿。存在各種外推演算法以應對用於時間N+1之層圖框之位姿應用外推。舉例而言,處理模組B 260可施加外推演算法266以基於方程式1外推用於時間N+1之層圖框之位姿。作為另一實例,處理模組B 260可基於層圖框之三個或多於三個先前提交之位姿來考量線性/恆定速度之加速度分量。結果,處理模組B 260可判定層圖框之經更新之位姿。層圖框之內容可與在時間N提交之內容相同或用較新內容更新,其中訊息自時間N至N+1可改變。特定言之,處理模組B 260可施加ATW 262以考量頭部旋轉,且使用與經扭曲眼睛緩衝區216中之影像分開的幾何失真資料264使面板扭曲以校正幾何失真。舉例而言,若存在一個經扭曲眼睛緩衝區資料216及五個邊框,則AR/VR系統可針對經扭曲眼睛緩衝區資料216及五個邊框中之各者應用不同扭曲操作。處理模組B 260可使用ATW 262使層圖框扭曲且使用幾何失真資料264使層圖框扭曲以校正幾何失真,從而判定要提交給顯示圖框管理器270之經扭曲面板資料256。合成器200可針對與第二時間相關聯之第二視點(諸如時間圖框N+1),藉由將影像及具有經外推位姿之層圖框分開地呈現至顯示緩衝區中而產生第二顯示圖框276。
(1)
其中
t係當前顯示圖框顯示時間,
及
係由AR/VR系統提交之最新2個可用歷史位姿,
及
係對應的經預測顯示時間,
係藉由在2個位姿之間在定向上施加平滑線性插值且在位置上施加線性插值而進行平滑線性插值的函數。
圖 3繪示藉由AR/VR系統之射線追蹤而顯示緩衝區的範例眼睛緩衝區。在特定具體實例中,顯示器280可獲得具有在時間M之位姿214的眼睛緩衝區資料且將其扭曲至前端緩衝區,諸如顯示緩衝區,以用於掃描輸出及顯示。雖然顯示解析度係由硬體設定,但在選擇眼睛緩衝區解析度方面存在自由度。為了呈現眼睛緩衝區,顯示器280可藉由在頂點著色器中應用預計算之網格失真(諸如桶形失真)來校正由光學件引起的失真。結果,顯示器280將具有在時間M之位姿214的眼睛緩衝區資料中之影像302投影在相距使用者之眼睛306預定的距離(諸如一公尺)處。同樣地,顯示器280經由顯示緩衝區像素射出射線304以判定輸出顏色。AR/VR系統施加射線追蹤技術來計算在點之間的可見度。舉例而言,若接合歐幾里德空間中之兩個點的線段不與任何障礙物相交,則該兩個點可彼此可見。射線追蹤技術係以影像為中心之演算法,用於解決與可見度及陰影相關聯的兩個步驟程序中之可見度問題:一個步驟遍及影像中之所有像素進行疊代,且另一步驟遍及場景中之物件進行疊代。
圖 4A至
圖 4B繪示範例枕形失真及桶形失真。當顯示器280將影像302投影在相距使用者之眼睛306預定距離處時,光學件引入幾何失真。藉由與場景中之直線在影像中保持筆直的直線投影之偏差來量測網格失真。圖4A展示由凸球面眼鏡引起的枕形失真之實例。諸如影像放大率之網格失真隨著相距垂直於網格之光軸的距離而增加。舉例而言,並不經過影像402之中心404的線406朝向影像之中心404向內彎曲。圖4B展示可用以抵消枕形失真之網格失真效應的桶形失真之實例。桶形失真可與凹球面透鏡相關聯。諸如負影像放大率之網格失真隨著相距垂直於網格之光軸的距離而增加。舉例而言,並不經過影像402之中心404的線406遠離影像之中心404向外彎曲。桶形失真及枕形失真兩者可由人工實境眼鏡之孔徑引起。然而,枕形失真具有正失真效應,其中正方形之影像在中心處的放大程度低於在邊緣處的放大程度。桶形失真具有負失真效應,其中正方形之影像在中心處之放大程度大於在邊緣處之放大程度。AR/VR系統可一起使用枕形失真及桶形失真兩者以修正與人工實境眼鏡相關聯之失真。
圖 5繪示後失真空間中之範例黑色及綠色64×64像素棋盤形眼睛緩衝區。VR光柵化器經設計為將以向量圖形格式描述之影像轉換成光柵影像,該光柵影像包含一系列像素、圓點或線,該等像素、圓點或線當一起顯示時創建經由形狀表示之影像。特定言之,最佳VR光柵化器可對曲線光柵化,該等曲線可在後失真空間中變成直線。在圖5中,由於經施加以抵消由人工實境眼鏡引起之枕形失真的桶形失真,中心像素被放大。由於在預失真空間中使用直線光柵化器之限制,因此施加桶形失真。為了在中心區域中達成大致1: 1像素比,理想的眼睛緩衝區解析度應高於顯示緩衝區解析度。然而,由於行動GPU硬體約束,對於典型VR裝置(諸如Oculus Quest)之所推薦眼睛緩衝區解析度實際上低於顯示緩衝區解析度,以此高解析度呈現將無法在圖框時序預算內完成。舉例而言,Quest 2顯示緩衝區解析度為1832×1920,且理想的眼睛緩衝區解析度為2560×2736(約2倍像素)。然而,所推薦解析度為1440×1584(約0.65倍像素)。因此,對於Quest 2,VR系統在後失真空間中獲得較差PPD。結果,後失真空間中之較差PPD對於看起來平滑自然影像係可接受的,但後失真空間中之較差PPD對於應維持清晰度以供使用者閱讀的精細字型大小係不可接受的。
圖 6A至
圖 6B繪示範例時間扭曲再投影校正。顯示器280可在將影像及/或面板寫入至顯示緩衝區之前施加時間扭曲再投影。當AR/VR系統呈現一圖框時,預測使用者之位姿,諸如使用者頭部之平移及定向,並將使用者之位姿呈現至該圖框。圖6A展示在時間圖框N時之時間扭曲再投影校正的範例。舉例而言,使用者之眼睛306以直角向下看影像302。因此,在時間圖框N之再投影影像602居中。圖6B展示在時間圖框N+1時之時間扭曲再投影校正的範例。很明顯,使用者之眼睛306藉由抬頭看影像302移動至不同位姿。重要的是,AR/VR系統可在提交供顯示之圖框之前將時間扭曲施加於眼睛緩衝區中之影像306,以基於當前感測器讀數校正透鏡失真之經預測位姿及頭部位姿預測誤差。結果,在時間圖框N+1之再投影影像604由於使用者眼睛306之不同位姿而與在時間圖框N之先前再投影影像602極不同。
然而,再投影步驟產生呈額外模糊之形式的額外假影。所產生之額外假影使影像及/或邊框之解析度劣化。通常,影像之降級品質對於使用者閱讀而言係可接受的。然而,面板之降級品質使得使用者難以閱讀精細的詳細文字。此非想要現象係由雙重混疊造成,此係因為面板之詳細文字經混疊兩次:當文字內容自紋理圖集重新取樣至眼睛緩衝區中時,文字內容第一次混疊;且文字內容在再投影眼睛緩衝區中之影像時第二次混疊。因此,需要在硬體約束下提高解析度且避免可使視覺品質降級的雙重混疊問題。
圖 7繪示具有低解析度眼睛緩衝區及四邊形層之範例VR合成器層。VR系統可使用合成器層以避免雙重混疊問題。合成器層包含在眼睛緩衝區之頂部上呈現的紋理,其具有諸如變換及形狀之個別屬性。圖7展示具有低解析度眼睛緩衝區702及四邊形層704之合成器層706。四邊形層704中之文字係清楚且清晰的,而低解析度眼睛緩衝區702係模糊的。然而,低解析度對於使用者仍可接受。當AR/VR系統將四邊形層704中之文字及眼睛緩衝區702中之影像分開地再投影且以多遍次方式將合成器層(諸如四邊形層704中之文字,在另一者(諸如眼睛緩衝區702中之影像)之後)呈現至顯示緩衝區中時,會導致四邊形層704中之文字及眼睛緩衝區702中之影像在解析度上之對比。儘管四邊形層704在組成期間需要具有額外呈現成本的單獨再投影,但四邊形層704藉由將四邊形層之解析度與眼睛緩衝區解析度解耦而有效地避免雙重混疊問題。結果,與習知方法相比,合成器層提供更佳解析度。習知方法首先將層合成至眼睛緩衝區中,且接著時間扭曲再次再投影含有該層的眼睛緩衝區。因此,眼睛緩衝區中之影像及四邊形層中之文字兩者由於雙重混疊問題而遭受低解析度。
另外,合成器層706將四邊形層704之呈現率與眼睛緩衝區702之顯示刷新率解耦,此對於靜態文字內容或串流傳輸應用程式至關重要。舉例而言,若四邊形層704呈現並不頻繁改變的UI選單,則AR/VR系統不需要每一圖框重新提交層-而合成器200可在各圖框上恰當地重新定位該層。
圖 8A至
圖 8B繪示範例四邊形層及圓柱形層。AR/VR系統之PPD係藉由視野(FOV)及每隻眼睛解析度而特性化。在標稱觀看條件下,當使用者之眼睛306直視前方的影像302之中心時,AR/VR系統將最大PPD集中在影像中心處。結果,AR/VR系統可以通用層形狀觀看垂直於觀看方向的大螢幕。舉例而言,AR/VR系統針對6 PPD之像素密度具有64×64每隻眼睛解析度,覆蓋焦點區域之10×10度區段。然而,AR/VR系統之PPD亦與層形狀緊密地相關聯,諸如四邊形或圓柱形。圖8A展示四邊形層。與AR/VR系統相關聯之透鏡失真使得實體PPD在中心處大致恆定且朝向周邊減小。儘管四邊形之虛擬PPD增加,但顯示器之實體PPD減小。因此,在VR中,四邊形層由於因PPD失配引起之取樣不足而朝向邊緣丟失資訊,因為不存在有足夠實體像素來表示虛擬像素。
圖8B展示圓柱形層。圓柱形表面具有在水平軸上維持恆定PPD的特點,因此圓柱形層朝向層邊緣比四邊形層做得更好。當使用者之眼睛恰好定位於圓柱體中心處時,圓柱形層對於水平軸上之任何給定點亦具有相等距離,從而使得諸如文字之精細特徵在閱讀方向上看起來大小相等。
當考慮在後失真空間中直視前方的圓柱形層時,其朝向眼鏡之中心聚焦更大的解析度。結果,AR/VR系統在眼鏡中心附近獲得峰值及大致恆定的實體PPD。儘管朝向層邊緣存在實體與虛擬PPD偏差,但其藉由層之曲率進一步予以減輕。
圖 9繪示在四邊形層與圓柱形層之間的範例比較。特定言之,在四邊形層與圓柱形層之間的周邊PPD失配隨著層變得較小而減小。對於小層902之小表面,失配係最小的,因此可使用四邊形層或圓柱形層。應注意,圓柱之良好PPD屬性僅在對於文字閱讀至關重要之水平方向上有效。垂直軸表現得像四邊形,且因此其最好保持短。然而,對於大層904之大表面,失配極大,因此可取決於PPD要求及層組態而使用四邊形層或圓柱形層。
當在VR中呈現層(具有給定形狀)時,可以靈活地組態許多虛擬參數:虛擬螢幕之大小、觀看距離及解析度。結果,AR/VR系統之組態歸結為PPD。很容易使用PPD及縮放因子來控制層之解析度及其大小。為維持VR中之感知大小,縮放因子必須補償增加之解析度。舉例而言,當面板像素密度自16增加至20時,需要20/16=1.25的比例因數來保持相同感知大小(虛擬PPD)。此實際上為在Quest 1與Quest 2之間的參數組態改變以及虛擬PPD在Home Shell環境中已增大的原因。應注意,增加面板像素密度會增加應用程式呈現成本。
作為另一實例,藉由分別在1.375及1.5之比例因數下將感知文字可讀性增加至22及24實現的感知文字可讀性改良,可藉由使用VR瀏覽器作為測試案例進一步增加Quest 2之PPD來提高文字可讀性。除此之外,對於Quest 2 HMD,進一步增加PPD並沒有顯著益處,此係因為由於實體PPD低於虛擬PPD,因此報酬遞減。
在VR中,有可能將層推得更遠且將其縮放得更大以補償透視縮短,因此面板FoV及虛擬PPD保持恆定。然而,需要在小層902或大層904之間進行選擇。小層902接近於觀看者,諸如用於虛擬電話。大層904遠離觀看者,諸如用於虛擬告示牌。觀看距離與平移誤差成反比。亦即,將表面推得更遠有助於減少抖動並提高舒適度。另一方面,HMD焦距組態經設計用於1.3公尺,且Home Shell環境之面板與使用者相距2公尺。在理想情境下,VR系統可施加焦距以確切地匹配觀看距離,以減少由輻輳調節衝突(vergence-accommodation conflict;VAC)引起的任何可能的不適。結果,VR系統保持觀看距離接近1.3公尺。屈光度誤差相當小,約0.27 D,且其對舒適度的影響尚不清楚。在未來使用變焦系統調整焦距將是可能的,且在此領域中需要進一步研究以更好地理解屈光度失配取捨。
圖 10繪示用於顯示經外推合成器層之範例方法1000。該方法1000可開始於步驟1010,其中計算系統可自應用程式獲得影像。在特定具體實例中,將場景呈現至影像中且儲存於眼睛緩衝區中。在特定具體實例中,應用程式可為VR裝置。在步驟1020處,系統可自應用程式獲得在影像前方具有第一位姿的層圖框。在步驟1030處,系統可針對與第一時間相關聯之第一視點,藉由將影像及具有第一位姿之層圖框分開地呈現至顯示緩衝區中而產生第一顯示圖框。與應用程式相關聯的使用者之頭部可在時間N顯示影像時稍微移動。因此,眼睛緩衝區管理器210可施加ATW來調整所獲得影像以考量頭部旋轉且使所獲得影像扭曲以校正由人工實境眼鏡引起的幾何失真。層圖框緩衝區管理器250可施加ATW來調整所獲得之具有第一位姿之層圖框以考量頭部旋轉,且使所獲得之層圖框扭曲以校正由人工實境眼鏡引起的幾何失真。在步驟1040處,系統可在第一時間圖框顯示第一顯示圖框。第一時間圖框可為圖框N。
在步驟1050處,系統可基於層圖框之第一位姿及先前所提交層圖框之第二位姿來判定層圖框之經外推位姿。層圖框管理器250可施加線性外推演算法以基於層圖框之兩個或多於兩個先前提交之位姿(諸如在時間M及M-1之位姿)來外推針對時間N+1之層圖框之位姿。舉例而言,層圖框管理器250可使用線性外推函數以實施對在兩個位姿之間的定向之平滑線性插值及對在兩個位姿之間的位置之線性插值。在步驟1060處,系統可針對與第二時間相關聯之第二視點,藉由將影像及具有經外推位姿之層圖框分開地呈現至顯示緩衝區中而產生第二顯示圖框。在步驟1070處,系統可在第二時間顯示第二顯示圖框。第二時間圖框可為時間圖框N+1。
在適當時,特定具體實例可重複圖10之方法之一或多個步驟。儘管本揭示內容將圖10之方法之特定步驟描述及繪示為按特定次序發生,但本揭示內容涵蓋以任何合適次序發生的圖10之方法之任何合適步驟。此外,儘管本揭示內容描述及繪示用於顯示經外推之合成器層的包括圖10之方法之特定步驟的範例方法,但本揭示內容涵蓋用於顯示經外推合成器層的包括任何合適步驟的任何合適之方法,該等任何合適步驟在適當時可包括圖10之方法中的全部步驟、一些步驟或不包括任何步驟。此外,儘管本揭示內容描述及繪示進行圖10之方法之特定步驟的特定組件、裝置或系統,但本揭示內容涵蓋進行圖10之方法之任何合適步驟的任何合適組件、裝置或系統之任何合適組合。
圖 11繪示範例電腦系統1100。在特定具體實例中,一或多個電腦系統1100執行本文中所描述或繪示之一或多種方法之一或多個步驟。在特定具體實例中,一或多個電腦系統1100提供本文中所描述或繪示之功能性。在特定具體實例中,在一或多個電腦系統1100上運行的軟體執行本文中所描述或繪示之一或多種方法之一或多個步驟或提供本文中所描述或繪示之功能性。特定具體實例包括一或多個電腦系統1100之一或多個部分。本文中,在適當時,對電腦系統之參考可涵蓋計算裝置,且反之亦然。此外,在適當時,對電腦系統之參考可涵蓋一或多個電腦系統。
本揭示內容涵蓋任何合適數目個電腦系統1100。本揭示內容涵蓋採取任何合適實體形式之電腦系統1100。作為實例而非作為限制,電腦系統1100可為嵌入式電腦系統、系統單晶片(SOC)、單板電腦系統(single-board computer system;SBC)(諸如(例如)模組電腦(computer-on-module;COM)或模組系統(system-on-module;SOM))、桌上型電腦系統、膝上型電腦或筆記本電腦系統、交互式查詢一體機、大型電腦、電腦系統之網格、行動電話、個人數位助理(PDA)、伺服器、平板電腦系統、擴增/虛擬實境裝置,或此等中之兩者或多於兩者的組合。在適當時,電腦系統1100可包括一或多個電腦系統1100;為單式或分佈式;橫跨多個位置;橫跨多個機器;橫跨多個資料中心;或駐留於雲端中,該雲端可包括一或多個網路中之一或多個雲端組件。在適當時,一或多個電腦系統1100可在無實質空間或時間限制情況下執行本文中所描述或繪示的一或多種方法之一或多個步驟。作為實例而非作為限制,一或多個電腦系統1100可即時或以批量模式執行本文中所描述或繪示的一或多種方法之一或多個步驟。在適當時,一或多個電腦系統1100可在不同時間或在不同位置執行本文中所描述或繪示的一或多種方法之一或多個步驟。
在特定具體實例中,電腦系統1100包括處理器1102、記憶體1104、儲存器1106、輸入/輸出(I/O)介面1108、通信介面1110及匯流排1112。儘管本發明描述及繪示具有在特定配置中之特定數目個特定組件的特定電腦系統,但本揭示內容涵蓋具有在任何合適配置中之任何合適數目個任何合適組件的任何合適之電腦系統。
在特定具體實例中,處理器1102包括用於執行指令(諸如構成電腦程式之指令)之硬體。作為實例而非作為限制,為執行指令,處理器1102可自內部暫存器、內部快取記憶體、記憶體1104或儲存器1106擷取(或提取)指令;解碼並執行該等指令;且接著將一或多個結果寫入至內部暫存器、內部快取記憶體、記憶體1104或儲存器1106。在特定具體實例中,處理器1102可包括用於資料、指令或位址之一或多個內部快取記憶體。本揭示內容涵蓋在適當時包括任何合適數目個任何合適內部快取記憶體的處理器1102。作為實例而非作為限制,處理器1102可包括一或多個指令快取記憶體、一或多個資料快取記憶體及一或多個轉譯後備緩衝器(translation lookaside buffer;TLB)。指令快取記憶體中之指令可為記憶體1104或儲存器1106中之指令的複本,且指令快取記憶體可加速藉由處理器1102進行的對彼等指令之擷取。資料快取記憶體中之資料可為記憶體1104或儲存器1106中用於在處理器1102處執行以進行操作的指令之資料的複本;在處理器1102處執行以用於由在處理器1102處執行之後續指令存取或用於寫入至記憶體1104或儲存器1106的先前指令之結果;或其他合適資料。資料快取記憶體可加速藉由處理器1102進行的讀取或寫入操作。TLB可加速用於處理器1102之虛擬位址轉譯。在特定具體實例中,處理器1102可包括用於資料、指令或位址之一或多個內部暫存器。本揭示內容涵蓋在適當時包括任何合適數目個任何合適內部暫存器的處理器1102。在適當時,處理器1102可包括一或多個算術邏輯單元(ALU);係多核心處理器;或包括一或多個處理器1102。儘管本揭示內容描述及繪示特定處理器,但本揭示內容涵蓋任何合適的處理器。
在特定具體實例中,記憶體1104包括用於儲存供處理器1102執行之指令或供處理器1102操作所針對之資料的主記憶體。作為實例而非作為限制,電腦系統1100可將指令自儲存器1106或另一源(諸如(例如)另一電腦系統1100)載入至記憶體1104。處理器1102可接著將指令自記憶體1104載入至內部暫存器或內部快取記憶體。為執行指令,處理器1102可自內部暫存器或內部快取記憶體擷取指令並對其進行解碼。在指令執行期間或之後,處理器1102可將一或多個結果(其可為中間或最終結果)寫入至內部暫存器或內部快取記憶體。處理器1102可接著將彼等結果中之一或多者寫入至記憶體1104。在特定具體實例中,處理器1102僅執行一或多個內部暫存器或內部快取記憶體中或記憶體1104(相對於儲存器1106或在別處)中之指令且僅對一或多個內部暫存器或內部快取記憶體中或記憶體1104(相對於儲存器1106或在別處)中之資料進行操作。一或多個記憶體匯流排(其可各自包括位址匯流排及資料匯流排)可將處理器1102耦接至記憶體1104。如下文所描述,匯流排1112可包括一或多個記憶體匯流排。在特定具體實例中,一或多個記憶體管理單元(MMU)駐留於處理器1102與記憶體1104之間並促進對由處理器1102所請求之記憶體1104的存取。在特定具體實例中,記憶體1104包括隨機存取記憶體(RAM)。在適當時,此RAM可為揮發性記憶體。在適當時,此RAM可為動態RAM(DRAM)或靜態RAM(SRAM)。此外,在適當時,此RAM可為單埠或多埠RAM。本揭示內容涵蓋任何合適之RAM。在適當時,記憶體1104可包括一或多個記憶體1104。儘管本揭示內容描述及繪示特定記憶體,但本揭示內容涵蓋任何合適的記憶體。
在特定具體實例中,儲存器1106包括用於資料或指令之大容量儲存器。作為實例而非作為限制,儲存器1106可包括硬碟機(HDD)、軟碟機、快閃記憶體、光碟、磁性光碟、磁帶或通用串列匯流排(USB)驅動機或此等中之兩者或多於兩者的組合。在適當時,儲存器1106可包括可抽換式或非可抽換式(或固定)媒體。在適當時,儲存器1106可在電腦系統1100之內部或外部。在特定具體實例中,儲存器1106係非揮發性固態記憶體。在特定具體實例中,儲存器1106包括唯讀記憶體(ROM)。在適當時,此ROM可為遮罩程式設計之ROM、可程式化ROM(PROM)、可抹除PROM(EPROM)、電可抹除PROM(EEPROM)、電可改ROM(EAROM),或快閃記憶體或此等中之兩者或多於兩者的組合。本揭示內容涵蓋採取任何合適實體形式的大容量儲存器1106。在適當時,儲存器1106可包括促進在處理器1102與儲存器1106之間的通信之一或多個儲存控制單元。在適當時,儲存器1106可包括一或多個儲存器1106。儘管本揭示內容描述及繪示特定儲存器,但本揭示內容涵蓋任何合適之儲存器。
在特定具體實例中,I/O介面1108包括硬體、軟體或此兩者,提供一或多個介面用於在電腦系統1100與一或多個I/O裝置之間的通信。在適當時,電腦系統1100可包括此等I/O裝置中之一或多者。此等I/O裝置中之一或多者可實現在個人與電腦系統1100之間的通信。作為實例而非作為限制,I/O裝置可包括鍵盤、小鍵盤、麥克風、監視器、滑鼠、印表機、掃描器、揚聲器、靜態攝影機、手寫筆、平板電腦、觸控螢幕、軌跡球、視訊攝影機、另一合適之I/O裝置或此等中之兩者或多於兩者之組合。I/O裝置可包括一或多個感測器。本揭示內容涵蓋任何合適之I/O裝置及用於其之任何合適之I/O介面1108。在適當時,I/O介面1108可包括一或多個裝置或軟體驅動程式,從而使得處理器1102能夠驅動此等I/O裝置中之一或多者。在適當時,I/O介面1108可包括一或多個I/O介面1108。儘管本揭示內容描述及繪示特定I/O介面,但本揭示內容涵蓋任何合適的I/O介面。
在特定具體實例中,通信介面1110包括硬體、軟體或此兩者,提供一或多個介面用於電腦系統1100與一或多個其他電腦系統1100或一或多個網路之間的通信(諸如(例如)基於封包之通信)。作為實例而非作為限制,通信介面1110可包括用於與乙太網路或其他基於有線之網路通信的網路介面控制器(NIC)或網路配接器或用於與無線網路(諸如WI-FI網路)通信的無線NIC(WNIC)或無線配接器。本揭示內容涵蓋任何合適的網路及用於其之任何合適的通信介面1110。作為實例而非作為限制,電腦系統1100可與特用網路、個人區域網路(PAN)、區域網路(LAN)、廣域網路(WAN)、都會區域網路(MAN)或網際網路之一或多個部分或此等中之兩者或多於兩者的組合通信。此等網路中之一或多者的一或多個部分可能係有線或無線的。作為實例,電腦系統1100可與無線PAN(WPAN)(諸如(例如)藍牙(BLUETOOTH)WPAN)、WI-FI網路、WI-MAX網路、蜂巢式電話網路(諸如(例如)全球行動通信系統(GSM)網路),或其他合適無線網路或此等中之兩者或多於兩者的組合通信。在適當時,電腦系統1100可包括用於此等網路中之任一者的任何合適之通信介面1110。在適當時,通信介面1110可包括一或多個通信介面1110。儘管本揭示內容描述及繪示特定通信介面,但本揭示內容涵蓋任何合適的通信介面。
在特定具體實例中,匯流排1112包括將電腦系統1100之組件彼此耦接的硬體、軟體,或此兩者。作為實例而非作為限制,匯流排1112可包括加速圖形埠(AGP)或其他圖形匯流排、增強行業標準架構(EISA)匯流排、前側匯流排(FSB)、超傳輸(HYPERTRANSPORT;HT)互連、行業標準架構(ISA)匯流排、INFINIBAND互連、低針腳數(LPC)匯流排、記憶體匯流排、微型通道架構(MCA)匯流排、周邊組件互連(PCI)匯流排、PCI高速(PCIe)匯流排、串列進階附接技術(SATA)匯流排、視訊電子標準協會局部(VLB)匯流排,或另一合適匯流排或此等中之兩者或多於多者的組合。在適當時,匯流排1112可包括一或多個匯流排1112。儘管本揭示內容描述及繪示特定匯流排,但本揭示內容涵蓋任何合適的匯流排或互連件。
本文中,在適當時,一或多個電腦可讀取非暫時性儲存媒體可包括一或多個基於半導體或其他積體電路(IC)(諸如(例如)場可程式化閘陣列(FPGA)或特殊應用IC(ASIC))、硬碟機(HDD)、混合式硬碟(HHD)、光碟、光碟機(ODD)、磁光碟、磁光驅動機、軟碟、軟碟機(FDD)、磁帶、固態硬碟(SSD)、RAM驅動機、安全數位卡或驅動機、任何其他合適之電腦可讀取非暫時性儲存媒體,或此等中之兩者或多於兩者的任何合適組合。在適當時,電腦可讀取非暫時性儲存媒體可為揮發性、非揮發性或揮發性與非揮發性之組合。
在本文中,除非另外明確指示或上下文另外指示,否則「或」為包括性而非排他性的。因此,除非另外明確指示或上下文另外指示,否則本文中「A或B」意謂「A、B或其兩者」。此外,除非另外明確指示或上下文另外指示,否則「及」係聯合及各自兩者。因此,除非另外明確指示或上下文另外指示,否則本文中「A及B」意謂「A及B,聯合地或各自地」。
本揭示內容之範圍涵蓋一般熟習此項技術者將瞭解的本文中所描述或繪示之範例性具體實例的全部改變、取代、變化、更改及修改。本揭示內容之範圍不限於本文中所描述或繪示之範例性具體實例。此外,儘管本揭示內容將本文各別具體實例描述及繪示為包括特定組件、元件、特徵、功能、操作或步驟,但此等具體實例中之任一者可包括一般熟習此項技術者將瞭解的本文中任何位置所描述或繪示之組件、元件、特徵、功能、操作或步驟中之任一者的任何組合或排列。此外,所附申請專利範圍中對經調適以、經配置以、能夠、經組態以、經啟用以、可操作以或操作性以執行一特定功能的設備或系統或設備或系統之組件的參考涵蓋彼設備、系統、組件,無論其或彼特定功能是否經啟動、經接通抑或解鎖,只要彼設備、系統或組件如此經調適、經配置、能夠、經組態、經啟用、可操作或操作性即可。另外,儘管本揭示內容將特定具體實例描述或繪示為提供特定優點,但特定具體實例可提供此等優點中無一者、一些或全部。
100A:人工實境系統
100B:擴增實境系統
102:使用者
104:頭戴裝置
106:控制器
108:計算系統
110:頭戴式顯示器(HMD)
112:框架
114:顯示器
120:計算系統
200:範例合成器
202:層圖框
204:眼睛緩衝區
206:扭曲之眼睛緩衝區
208:顯示緩衝區
210:眼睛緩衝區管理器
212:位姿M/在時間M之位姿
214:在時間M之位姿
216:顯示緩衝區/經扭曲眼睛緩衝區/經扭曲眼睛緩衝區資料
220:處理模組A
222:非同步時間扭曲(ATW)
226:幾何失真資料
250:層圖框管理器
252:在時間M之第一位姿
254:在時間M-1之第二位姿
256:經扭曲面板資料
260:處理模組B
262:非同步時間扭曲(ATW)
264:幾何失真資料
266:外推演算法
270:顯示圖框管理器
272:時間圖框N/第一顯示圖框
276:第二顯示圖框
280:顯示器
302:影像
304:射線
306:使用者之眼睛
402:影像
404:中心
406:線
420:緩衝區域
422:當前圖框
424:非同步空間扭曲(ASW)圖框
602:在時間圖框N之再投影影像
604:在時間圖框N+1之再投影影像
702:低解析度眼睛緩衝區
704:四邊形層
706:合成器層
902:小層
904:大層
1000:方法
1010:步驟
1020:步驟
1030:步驟
1040:步驟
1050:步驟
1060:步驟
1070:步驟
1100:電腦系統
1102:處理器
1104:記憶體
1106:儲存器
1108:輸入/輸出(I/O)介面
1110:通信介面
1112:匯流排
[圖1A]繪示範例人工實境系統。
[圖1B]繪示範例擴增實境系統。
[圖2A]繪示用於針對不同時間圖框之AR/VR系統之合成器層外推的範例合成器。
[圖2B]繪示AR/VR系統之範例合成器。
[圖3]繪示藉由AR/VR系統之射線追蹤而顯示緩衝區的範例眼睛緩衝區。
[圖4A]至[圖4B]繪示範例枕形失真及桶形失真。
[圖4C]繪示ASW實例。
[圖5]繪示後失真空間中之範例黑色及綠色64×64像素棋盤形眼睛緩衝區。
[圖6A]至[圖6B]繪示範例時間扭曲再投影校正。
[圖7]繪示具有低解析度眼睛緩衝區及四邊形層之範例VR合成器層。
[圖8A]至[圖8B]繪示範例四邊形層及圓柱形層。
[圖9]繪示在四邊形層與圓柱形層之間的範例比較。
[圖10]繪示用於顯示經外推合成器層之範例方法。
[圖11]繪示範例電腦系統。
1000:方法
1010:步驟
1020:步驟
1030:步驟
1040:步驟
1050:步驟
1060:步驟
1070:步驟
Claims (20)
- 一種藉由人工實境裝置之計算系統進行之方法,其包含: 自應用程式獲得(a)影像及(b)在該影像前方具有第一位姿的層圖框,其中該影像與該層圖框係相異的; 針對與第一時間相關聯之第一視點,藉由將該影像及具有該第一位姿之該層圖框分開地呈現至顯示緩衝區中而產生第一顯示圖框; 在該第一時間顯示該第一顯示圖框; 基於該層圖框之該第一位姿及先前所提交層圖框之第二位姿來判定該層圖框之經外推位姿; 針對與第二時間相關聯之第二視點,藉由將該影像及具有該經外推位姿之該層圖框分開地呈現至該顯示緩衝區中而產生第二顯示圖框;及 在該第二時間顯示該第二顯示圖框。
- 如請求項1之方法,其進一步包含: 針對與該第一時間相關聯之該第一視點,在將該影像呈現至該顯示緩衝區中之前將非同步時間扭曲(ATW)施加於該影像以調整頭部旋轉;及 針對與該第一時間相關聯之該第一視點,在將該影像呈現至該顯示緩衝區中之前使該影像扭曲以解決由人工實境眼鏡引起的幾何失真。
- 如請求項1之方法,其進一步包含: 針對與該第一時間相關聯之該第一視點,在將具有該第一位姿之該層圖框呈現至該顯示緩衝區中之前將ATW施加於具有該第一位姿之該層圖框以調整頭部旋轉;及 針對與該第一時間相關聯之該第一視點,在將具有該第一位姿之該層圖框呈現至該顯示緩衝區中之前使具有該第一位姿之該層圖框扭曲以解決由人工實境眼鏡引起的幾何失真。
- 如請求項1之方法,其中該層圖框之該經外推位姿係使用線性外推演算法基於該第二時間、該層圖框之該第一位姿及該第一時間以及該先前所提交層圖框之該第二位姿及對應時間予以判定。
- 如請求項1之方法,其進一步包含: 針對與該第二時間相關聯之該第二視點,在將該影像呈現至該顯示緩衝區中之前將ATW及非同步空間扭曲(ASW)施加於該影像以調整頭部旋轉;及 針對與該第二時間相關聯之該第二視點,在將該影像呈現至該顯示緩衝區中之前使該影像扭曲以解決由人工實境眼鏡引起的幾何失真。
- 如請求項5之方法,其中施加該ASW以根據運動向量來線性地移動該影像中之物件以考量物件移動。
- 如請求項1之方法,其進一步包含: 針對與該第二時間相關聯之該第二視點,在將具有該經外推位姿之該層圖框呈現至該顯示緩衝區中之前將ATW施加於具有該經外推位姿之該層圖框以調整頭部旋轉;及 針對與該第二時間相關聯之該第二視點,在將具有該經外推位姿之該層圖框呈現至該顯示緩衝區中之前使具有該經外推位姿之該層圖框扭曲以解決由人工實境眼鏡引起的幾何失真。
- 如請求項1之方法,其中該第一時間係以所要圖框率的一半來呈現,且該第二時間係經外推之中間時間圖框。
- 如請求項1之方法, 其中該第一顯示圖框及該第二顯示圖框顯示於四邊形層上,且 其中該第一顯示圖框及該第二顯示圖框顯示於圓柱形層上。
- 如請求項1之方法, 其中該位姿係藉由第一空間在第二空間中之位置及定向予以判定, 其中該位置判定在該第一空間與該第二空間之間的平移,且 其中該定向判定在該第一空間與該第二空間之間的旋轉。
- 一種包含軟體之一或多個電腦可讀取非暫時性儲存媒體,該軟體在經過執行時進行以下操作: 自應用程式獲得(a)影像及(b)在該影像前方具有第一位姿的層圖框,其中該影像與該層圖框係相異的; 針對與第一時間相關聯之第一視點,藉由將該影像及具有該第一位姿之該層圖框分開地呈現至顯示緩衝區中而產生第一顯示圖框; 在該第一時間顯示該第一顯示圖框; 基於該層圖框之該第一位姿及先前所提交層圖框之第二位姿來判定該層圖框之經外推位姿; 針對與第二時間相關聯之第二視點,藉由將該影像及具有該經外推位姿之該層圖框分開地呈現至該顯示緩衝區中而產生第二顯示圖框;及 在該第二時間顯示該第二顯示圖框。
- 如請求項11之一或多個電腦可讀取非暫時性儲存媒體,其進一步包含: 針對與該第一時間相關聯之該第一視點,在將該影像呈現至該顯示緩衝區中之前將非同步時間扭曲(ATW)施加於該影像以調整頭部旋轉;及 針對與該第一時間相關聯之該第一視點,在將該影像呈現至該顯示緩衝區中之前使該影像扭曲以解決由人工實境眼鏡引起的幾何失真。
- 如請求項11之一或多個電腦可讀取非暫時性儲存媒體, 針對與該第一時間相關聯之該第一視點,在將具有該第一位姿之該層圖框呈現至該顯示緩衝區中之前將ATW施加於具有該第一位姿之該層圖框以調整頭部旋轉;及 針對與該第一時間相關聯之該第一視點,在將具有該第一位姿之該層圖框呈現至該顯示緩衝區中之前使具有該第一位姿之該層圖框扭曲以解決由人工實境眼鏡引起的幾何失真。
- 如請求項11之一或多個電腦可讀取非暫時性儲存媒體,其中該層圖框之該經外推位姿係使用線性外推演算法基於該第二時間、該層圖框之該第一位姿及該第一時間以及該先前所提交層圖框之該第二位姿及對應時間予以判定。
- 如請求項11之一或多個電腦可讀取非暫時性儲存媒體,其進一步包含: 針對與該第二時間相關聯之該第二視點,在將該影像呈現至該顯示緩衝區中之前將ATW及非同步空間扭曲(ASW)施加於該影像以調整頭部旋轉;及 針對與該第二時間相關聯之該第二視點,在將該影像呈現至該顯示緩衝區中之前使該影像扭曲以解決由人工實境眼鏡引起的幾何失真。
- 如請求項15之一或多個電腦可讀取非暫時性儲存媒體,其中該ASW經施加以根據運動向量來線性地移動該影像中之物件以考量物件移動。
- 如請求項11之一或多個電腦可讀取非暫時性儲存媒體,其進一步包含: 針對與該第二時間相關聯之該第二視點,在將具有該經外推位姿之該層圖框呈現至該顯示緩衝區中之前將ATW施加於具有該經外推位姿之該層圖框以調整頭部旋轉;及 針對與該第二時間相關聯之該第二視點,在將具有該經外推位姿之該層圖框呈現至該顯示緩衝區中之前使具有該經外推位姿之該層圖框扭曲以解決由人工實境眼鏡引起的幾何失真。
- 如請求項11之一或多個電腦可讀取非暫時性儲存媒體, 其中該第一時間係以所要圖框率的一半來呈現,且該第二時間係經外推之中間時間圖框, 其中該第一顯示圖框及該第二顯示圖框顯示於四邊形層上,且 其中該第一顯示圖框及該第二顯示圖框顯示於圓柱形層上。
- 如請求項11之一或多個電腦可讀取非暫時性儲存媒體, 其中該位姿係藉由第一空間在第二空間中之位置及定向予以判定, 其中該位置判定在該第一空間與該第二空間之間的平移,且 其中該定向判定在該第一空間與該第二空間之間的旋轉。
- 一種系統,其包含: 一或多個處理器;及 一或多個電腦可讀取非暫時性儲存媒體,其耦接至該一或多個處理器中之一或多者且包含指令,該指令在由該一或多個處理器中之一或多者執行時使得該系統進行以下操作: 自應用程式獲得(a)影像及(b)在該影像前方具有第一位姿的層圖框,其中該影像與該層圖框係相異的; 針對與第一時間相關聯之第一視點,藉由將該影像及具有該第一位姿之該層圖框分開地呈現至顯示緩衝區中而產生第一顯示圖框; 在該第一時間顯示該第一顯示圖框; 基於該層圖框之該第一位姿及先前所提交層圖框之第二位姿來判定該層圖框之經外推位姿; 針對與第二時間相關聯之第二視點,藉由將該影像及具有該經外推位姿之該層圖框分開地呈現至該顯示緩衝區中而產生第二顯示圖框;及 在該第二時間顯示該第二顯示圖框。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163272566P | 2021-10-27 | 2021-10-27 | |
US63/272,566 | 2021-10-27 | ||
US18/048,602 | 2022-10-21 | ||
US18/048,602 US20230128288A1 (en) | 2021-10-27 | 2022-10-21 | Compositor layer extrapolation |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202320022A true TW202320022A (zh) | 2023-05-16 |
Family
ID=84406277
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111140902A TW202320022A (zh) | 2021-10-27 | 2022-10-27 | 合成器層外推 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230128288A1 (zh) |
TW (1) | TW202320022A (zh) |
WO (1) | WO2023076474A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210192681A1 (en) * | 2019-12-18 | 2021-06-24 | Ati Technologies Ulc | Frame reprojection for virtual reality and augmented reality |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10089790B2 (en) * | 2015-06-30 | 2018-10-02 | Ariadne's Thread (Usa), Inc. | Predictive virtual reality display system with post rendering correction |
US10242654B2 (en) * | 2017-01-25 | 2019-03-26 | Microsoft Technology Licensing, Llc | No miss cache structure for real-time image transformations |
US10410349B2 (en) * | 2017-03-27 | 2019-09-10 | Microsoft Technology Licensing, Llc | Selective application of reprojection processing on layer sub-regions for optimizing late stage reprojection power |
US10514753B2 (en) * | 2017-03-27 | 2019-12-24 | Microsoft Technology Licensing, Llc | Selectively applying reprojection processing to multi-layer scenes for optimizing late stage reprojection power |
US10861215B2 (en) * | 2018-04-30 | 2020-12-08 | Qualcomm Incorporated | Asynchronous time and space warp with determination of region of interest |
US11315328B2 (en) * | 2019-03-18 | 2022-04-26 | Facebook Technologies, Llc | Systems and methods of rendering real world objects using depth information |
US11270492B2 (en) * | 2019-06-25 | 2022-03-08 | Arm Limited | Graphics processing systems |
US11363247B2 (en) * | 2020-02-14 | 2022-06-14 | Valve Corporation | Motion smoothing in a distributed system |
US11503270B1 (en) * | 2021-08-10 | 2022-11-15 | Varjo Technologies Oy | Imaging systems and methods for facilitating local lighting |
-
2022
- 2022-10-21 US US18/048,602 patent/US20230128288A1/en active Pending
- 2022-10-27 TW TW111140902A patent/TW202320022A/zh unknown
- 2022-10-27 WO PCT/US2022/048021 patent/WO2023076474A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023076474A1 (en) | 2023-05-04 |
US20230128288A1 (en) | 2023-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8102428B2 (en) | Content-aware video stabilization | |
CN106204712B (zh) | 分段线性不规则光栅化 | |
US11170577B2 (en) | Generating and modifying representations of objects in an augmented-reality or virtual-reality scene | |
US20230039100A1 (en) | Multi-layer reprojection techniques for augmented reality | |
US11100899B2 (en) | Systems and methods for foveated rendering | |
EP3572916B1 (en) | Apparatus, system, and method for accelerating positional tracking of head-mounted displays | |
WO2018204092A1 (en) | Methods and systems for multistage post-rendering image transformation | |
US11138800B1 (en) | Optimizations to reduce multi-channel ray casting for color sampling | |
US11893676B2 (en) | Parallel texture sampling | |
Friston et al. | Perceptual rasterization for head-mounted display image synthesis. | |
JP2024502772A (ja) | 合成イメージの生成 | |
GB2564866A (en) | Method of and data processing system for providing an output surface | |
US20200090575A1 (en) | Data processing systems | |
TW202320022A (zh) | 合成器層外推 | |
US20210090322A1 (en) | Generating and Modifying Representations of Objects in an Augmented-Reality or Virtual-Reality Scene | |
JP2024502273A (ja) | 時間的中心窩レンダリング | |
US11887245B2 (en) | Techniques for rendering signed distance functions | |
US11783533B2 (en) | Frame extrapolation with application generated motion vector and depth | |
TW202316239A (zh) | 具有應用程式產生的移動向量和深度之圖框外插 | |
US20230063422A1 (en) | Techniques for rendering signed distance functions | |
JP2023538828A (ja) | 距離場グラフィックスレンダリングのためのアンチエイリアシング |